(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-22
(45)【発行日】2023-05-30
(54)【発明の名称】映像符号化におけるイントラブロックコピーの実装形態の態様
(51)【国際特許分類】
H04N 19/593 20140101AFI20230523BHJP
【FI】
H04N19/593
(21)【出願番号】P 2021551505
(86)(22)【出願日】2020-03-02
(86)【国際出願番号】 CN2020077418
(87)【国際公開番号】W WO2020177662
(87)【国際公開日】2020-09-10
【審査請求日】2021-08-27
(31)【優先権主張番号】PCT/CN2019/076848
(32)【優先日】2019-03-04
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/077725
(32)【優先日】2019-03-11
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/079151
(32)【優先日】2019-03-21
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/085862
(32)【優先日】2019-05-07
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/088129
(32)【優先日】2019-05-23
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/091691
(32)【優先日】2019-06-18
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/093552
(32)【優先日】2019-06-28
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】シュー ジジョン
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】ジャン カイ
(72)【発明者】
【氏名】リウ ホンビン
(72)【発明者】
【氏名】ワン ユエ
【審査官】鉢呂 健
(56)【参考文献】
【文献】特表2017-535148(JP,A)
【文献】米国特許出願公開第2015/0373358(US,A1)
【文献】XU, Xiaozhong et al.,Description of Core Experiment 8: Screen Content Coding Tools,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 03-12 Oct. 2018, [JVET-L1028-v3],JVET-L1028 (version 4),ITU-T,2018年11月05日,<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L1028-v4.zip>: JVET-L1028-v3_clean.docx: p.7
【文献】HENG, Brian et al.,Non-CE8: Proposed Cleanup for Current Picture Referencing,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0402-v1],JVET-M0402 (version 1),ITU-T,2019年01月02日,<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0402-v1.zip>: JVET-M0402-v1.docx: pp.1-6
【文献】PAHM VAN, Luong et al.,CE8-related: Restrictions for the search area of the IBC blocks in CPR,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018, [JVET-L0404 - v2],JVET-L0404 (version 2),ITU-T,2018年10月02日,<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0404-v2.zip>: JVET-L0404.docx: pp.1-6
【文献】LI, Bin et al.,On Intra BC mode,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct. - 1 Nov. 2013, [JCTVC-O0183],JCTVC-O0183 (version 1),ITU-T,2013年10月14日,<URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O0183-v1.zip>: JCTVC-O0183.doc.doc: pp.1-12
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
視覚メディア処理方法であって、
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、第1のコーディングモードが前記現在の映像ブロックに適用されることを判定することと、
前記現在の映像ブロックにおける第1のブロックベクトル(BVx,BVy)を導出することと、
前記第1のブロックベクトル及び輝度バッファに基づいて前記現在の映像ブロックの予測サンプルを生成することであって、フィルタリング演算を適用せずに前の映像ブロックの再構成サンプルを前記輝度バッファに記憶し、前記第1のコーディングモードにおいて前記現在の映像ブロックを含む同じピクチャから前記予測サンプルを導出する、生成することと、
前記予測サンプルに基づいて前記変換を行うことと、
を含み、
前記輝度バッファのサイズは、M=mW及びN=Hによって示され、Mは前記輝度バッファの幅であり、Nは前記輝度バッファの高さであり、Wは前記現在の映像ブロックを含むコーディングツリーブロックの幅であり、Hは前記現在の映像ブロックを含むコーディングツリーブロックの高さであり、mは正の整数でありW又はHに基づいて導出され、M及びNは全て正の整数である、
方法。
【請求項2】
前記現在の映像ブロックの左上隅に関連する任意のピクセル(x0,y0)について、y0+BVy及びx0+BVxが特定の範囲に制限される、
請求項1に記載の方法。
【請求項3】
y0+BVyは、[0、…、N-1]の範囲にあり、
x0+BVxは、[0、…、M-1]の範囲にある、
請求項2に記載の方法。
【請求項4】
ピクチャ又はスライスをコーディングする前に、前記輝度バッファがリセットされる、
請求項1~3のいずれか1項に記載の方法。
【請求項5】
前記輝度バッファの要素は、固定値でリセットされる、
請求項1~4のいずれか1項に記載の方法。
【請求項6】
参照領域は、前記コーディングツリーブロックの行において、最も近い利用可能な(m-1)コーディングツリーブロックを含む、
請求項1~5のいずれか1項に記載の方法。
【請求項7】
ピクチャの左上隅に対して位置(x,y)を再構成した後、前記輝度バッファにおける位置(x mod M,y mod N)の値が、位置(x,y)の再構成された値で更新される
請求項1~6のいずれか1項に記載の方法。
【請求項8】
前記変換は、前記現在の映像ブロックを前記ビットストリームに符号化することを含む、
請求項1~7のいずれか1項に記載の方法。
【請求項9】
前記変換は、前記ビットストリームから前記現在の映像ブロックを復号化することを含む、
請求項1~7のいずれか1項に記載の方法。
【請求項10】
プロセッサと、命令を有する非一時的メモリと、を含む映像データ処理装置であって、
前記プロセッサは、前記命令を実行することで、
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、第1のコーディングモードが前記現在の映像ブロックに適用されることを判定することと、
前記現在の映像ブロックにおける第1のブロックベクトル(BVx,BVy)を導出することと、
前記第1のブロックベクトル及び輝度バッファに基づいて前記現在の映像ブロックの予測サンプルを生成することであって、フィルタリング演算を適用せずに前の映像ブロックの再構成サンプルを前記輝度バッファに記憶し、前記第1のコーディングモードにおいて前記現在の映像ブロックを含む同じピクチャから前記予測サンプルを導出する、生成することと、
前記予測サンプルに基づいて前記変換を行うことと、
を実行し、
前記輝度バッファのサイズは、M=mW及びN=Hによって示され、Mは前記輝度バッファの幅であり、Nは前記輝度バッファの高さであり、Wは前記現在の映像ブロックを含むコーディングツリーブロックの幅であり、Hは前記現在の映像ブロックを含むコーディングツリーブロックの高さであり、mは正の整数でありW又はHに基づいて導出され、M及びNは全て正の整数である、
装置。
【請求項11】
命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、プロセッサに、
映像の現在の映像ブロックと前記映像のビットストリームとの変換のために、第1のコーディングモードが前記現在の映像ブロックに適用されることを判定することと、
前記現在の映像ブロックにおける第1のブロックベクトル(BVx,BVy)を導出することと、
前記第1のブロックベクトル及び輝度バッファに基づいて前記現在の映像ブロックの予測サンプルを生成することであって、フィルタリング演算を適用せずに前の映像ブロックの再構成サンプルを前記輝度バッファに記憶し、前記第1のコーディングモードにおいて前記現在の映像ブロックを含む同じピクチャから前記予測サンプルを導出する、生成することと、
前記予測サンプルに基づいて前記変換を行うことと、
を実行させ、
前記輝度バッファのサイズは、M=mW及びN=Hによって示され、Mは前記輝度バッファの幅であり、Nは前記輝度バッファの高さであり、Wは前記現在の映像ブロックを含むコーディングツリーブロックの幅であり、Hは前記現在の映像ブロックを含むコーディングツリーブロックの高さであり、mは正の整数でありW又はHに基づいて導出され、M及びNは全て正の整数である、
記憶媒体。
【請求項12】
映像のビットストリームを記録する
方法であって、
第1のコーディングモードが現在の映像ブロックに適用されることを判定することと、
前記現在の映像ブロックにおける第1のブロックベクトル(BVx,BVy)を導出することと、
前記第1のブロックベクトル及び輝度バッファに基づいて前記現在の映像ブロックの予測サンプルを生成することであって、フィルタリング演算を適用せずに前の映像ブロックの再構成サンプルを前記輝度バッファに記憶し、前記第1のコーディングモードにおいて前記現在の映像ブロックを含む同じピクチャから前記予測サンプルを導出する、生成することと、
前記予測サンプルに基づいて前記ビットストリームを生成することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記録することと、
を含み、
前記輝度バッファのサイズは、M=mW及びN=Hによって示され、Mは前記輝度バッファの幅であり、Nは前記輝度バッファの高さであり、Wは前記現在の映像ブロックを含むコーディングツリーブロックの幅であり、Hは前記現在の映像ブロックを含むコーディングツリーブロックの高さであり、mは正の整数でありW又はHに基づいて導出され、M及びNは全て正の整数である、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、2020年3月2日出願の国際特許出願PCT/CN2020/077418号に基づくものであり、2019年3月4日出願の国際特許出願PCT/CN2019/076848号、2019年3月11日出願の国際特許出願PCT/CN2019/077725号、2019年3月21日出願の国際特許出願PCT/CN2019/079151号、2019年5月7日出願の国際特許出願PCT/CN2019/085862号、2019年5月23日出願の国際特許出願PCT/CN2019/088129号、2019年6月18日出願の国際特許出願PCT/CN2019/091691号、2019年6月28日出願の国際特許出願PCT/CN2019/093552号の優先権及び利益を適時に主張する。前述の全ての特許出願は、参照によりその全体が本明細書に組み込まれる。
【0002】
この特許明細書は、映像符号化および復号化技術、デバイスおよびシステムに関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信及び表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
本明細書は、映像または画像を復号化または符号化するためのイントラブロックコピーモードにおけるバッファ管理およびブロックベクトル符号化のための様々な実施形態および技術を説明する。
【0005】
一つの例示的な態様において、映像または画像(視覚データ)処理の方法が開示される。この方法は、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することであって、変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、現在の映像ブロックを含む符号化ツリーユニットの左上位置に対する現在の映像ブロックの位置(x0、y0)に空間的に配置され、かつブロックベクトル(BVx、BVy)を有するサンプルに対して、参照位置(P,Q)のバッファの対応する参照を計算することであって、参照位置(P,Q)はブロックベクトル(BVx,BVy)と位置(x0,y0)を使用して判定される、計算することと、参照位置(P,Q)がバッファの外側にあることを判定すると、現在の映像ブロックを含む符号化ツリーユニットに対する現在の映像ブロックの位置に少なくとも部分的に基づいて参照位置を再計算することと、を含む。
【0006】
別の例示的な態様において、映像データ処理の別の方法が開示される。この方法は、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、空間的に、現在の映像ブロックを含むピクチャの左上位置に対する現在の映像ブロックの位置(x,y)に位置し、ブロックベクトル(BVx,BVy)を有するサンプルに対して、現在の映像ブロックの位置(x,y)、現在の映像ブロックの寸法(dimension)、ピクチャの寸法、現在の映像ブロックを含む符号化ツリーユニットの寸法、またはバッファの寸法のうちの少なくとも1つに関連付けられた1つ以上の条件を満たすことに少なくとも部分的に基づいて、ブロックベクトル(BVx,BVy)を有効なものとして割り当てることと、ブロックベクトル(BVx,BVy)が有効であることを判定するチェックを行うことと、ブロックベクトル(BVx,BVy)が有効であることを確認すると、バッファにおける対応する参照を参照位置(P,Q)で計算することであって、参照位置(P,Q)が、ブロックベクトル(BVx,BVy)、位置(x,y)、およびバッファの寸法を使用して判定される、計算することと、を含む。
【0007】
さらに、別の例示的な態様において、映像データ処理の別の方法が開示される。この方法は、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、現在の映像ブロックについてのブロックベクトル(BVx,BVy)またはブロックベクトル差(BVDx,BVDy)を判定することであって、変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、ブロックベクトル(BVx,BVy)のうちの少なくとも1つの成分、またはブロックベクトルの差分(BVDx,BVDy)の少なくとも1つの成分を範囲内に収まるように正規化することと、を含む。
【0008】
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための再構成サンプルを記憶するために使用するバッファを判定することであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、バッファに記憶された、再構成されたサンプルを、順番にしたがって更新することと、を含む。
【0009】
別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行うことであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われ、変換時に、予測計算に使用される第1の精度は、再構成計算に使用される第2の精度よりも低くなる、変換を行うことと、を含む。
【0010】
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行うことであって、変換時には,nおよびMは整数である場合に、nM×nMサイズの参照領域が使用され、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応するコーディングツリーユニット列のn×n個の直近の利用可能なコーディングツリーユニットからのサンプルを含む、行うことを含む。
【0011】
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行うことであって、変換時には,n、pおよびMは整数である場合に、nM×pMサイズの参照領域が使用され、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応するコーディングツリーユニット列のn×p-1個の直近の利用可能なコーディングツリーユニットからのサンプルを含む、行うことを含む。
【0012】
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像領域の仮想パイプラインデータユニット(VPDU)の現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行うことであって、変換時には,k、nおよびMは整数である場合に、nM×nMサイズの参照領域が使用され、VPDUの寸法がkM×kMであり、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応するコーディングツリーユニット列のn×n-k個の直近の利用可能なコーディングツリーユニットからのサンプルを含む、行うことを含む。
【0013】
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、視覚メディアデータの、サイズがw×hである現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、現在の映像ブロックを含む、サイズがM×Mの符号化ツリーユニット(CTU)の左上位置に対する現在の映像ブロックの位置(x0,y0)に空間的に配置され、かつブロックベクトル(BVx,BVy)を有するサンプルに対して、バッファにおける参照位置(P,Q)から始まる対応する参照領域を計算することであって、参照位置(P,Q)は、ブロックベクトル(BVx,BVy)および/または位置(x0,y0)を使用して判定する、計算することと、参照領域および/または参照位置(P,Q)に1つ以上の規則ベースの制約を適用して、参照領域と映像領域との重なりを制限することと、を含む。
【0014】
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することを含み、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づいて、イントラブロックコピーモードで行われる、判定することと、現在の映像ブロックを含む符号化ユニット(CU)に対する現在の映像ブロックの位置(x0,y0)に空間的に位置するサンプルに対して、バッファにおける参照位置から始まる対応する参照領域を計算することと、参照領域及び参照位置を調整して、前に処理されたブロックのうちどれを予測に用いるかを判定することと、を含む。
【0015】
さらに別の例示的な態様において、映像処理の別の方法が開示される。この方法は、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、映像の成分Xを使用して、この映像の成分cの現在の映像ブロックに対応するブロックベクトルの有効性を判定することであって、この成分Xは、映像の輝度成分とは異なる、判定することと、この現在の映像ブロックに対してこのブロックベクトルが有効であると判定された場合、このブロックベクトルを使用してこの変換を行うことであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピー(IBC)モードで行われる、変換を行うことと、を含む。
【0016】
さらに別の例示的な態様において、上述された方法を実装するように構成された処理装置を備える映像エンコーダまたはデコーダ装置が開示される。
【0017】
別の例示的な態様において、コンピュータ可読プログラム媒体が開示される。この媒体は、開示された方法のうちの1つを実装するための処理装置実行可能命令を具現化するコードを記憶する。
【0018】
これらの、および他の態様は、本明細書でより詳細に説明される。
【図面の簡単な説明】
【0019】
【
図1】現在のピクチャ参照またはイントラブロックコピー映像または画像符号化技術を例示する。
【
図3】(x,y)から始まるブロックの符号化を例示する。
【
図4】前回符号化された64×64ブロックを選択するための、考えられる代替方法を例示する。
【
図5】64×64ブロックの符号化/復号化の順序を変更するための、考えられる代替方法を例示する。
【
図6】映像または画像の処理方法の一例を示すフローチャートである。
【
図7】映像または画像の符号化または復号化を行うハードウェアプラットフォームを示すブロック図である。
【
図8】64×64ブロックの復号化の順序が上から下へ、左から右である場合、前回の符号化された64×64ブロックを選択するための、別の考えられる代替方法を示す。
【
図9】前回の符号化された64×64ブロックを選択するための、別の考えられる代替方法を示す。
【
図10】リシェイプを伴う復号化処理の例示的なフローチャートを示す。
【
図11】64×64ブロックの復号化の順序が左から右、上から下である場合、前回の符号化された64×64ブロックを選択するための、別の考えられる代替方法を示す。
【
図12】IBC参照バッファステータスを示す図であり、1つのブロックは64×64CTUを示す。
【
図13】IBCのための参照領域の1つの配置を示す。
【
図14】IBCのための参照領域の別の配置を示す。
【
図15】現在の仮想パイプラインデータユニット(VPDU)がピクチャ境界の右側にある場合のIBCのための参照領域の別の配置を示す。
【
図16】1つのCTU行内のVPDUを順次復号化する場合の仮想バッファの状態の例を示す。
【
図17】開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。
【
図18】映像データ処理方法の一例を示すフローチャートである。
【
図19】映像データ処理方法の一例を示すフローチャートである。
【
図20】映像データ処理方法の一例を示すフローチャートである。
【
図21】映像データ処理方法の一例を示すフローチャートである。
【
図22】映像データ処理方法の一例を示すフローチャートである。
【
図23】映像データ処理方法の一例を示すフローチャートである。
【
図24】映像データ処理方法の一例を示すフローチャートである。
【
図25】映像データ処理方法の一例を示すフローチャートである。
【
図26】映像データ処理方法の一例を示すフローチャートである。
【
図27】映像データ処理方法の一例を示すフローチャートである。
【
図28】映像データ処理方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0020】
本明細書では、理解を容易にするために章の見出しを使用しており、1つの章に開示された実施形態をその章にのみ限定するものではない。本明細書は、映像または画像を復号化または符号化するためのイントラブロックコピーモードにおけるバッファ管理およびブロックベクトル符号化のための様々な実施形態および技術を説明する。
【0021】
1. 概要
【0022】
本明細書は、映像符号化技術に関する。具体的には、映像符号化におけるイントラブロックコピーに関する。これは、例えば、汎用映像符号化など、開発中の規格に適用されてもよい。本発明は、将来の映像符号化規格または映像コーデックにも適用可能である。
【0023】
2. 簡単な説明
【0024】
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)との間にJoint Video Expert Team(JVET)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
【0025】
2.1 HEVC/H.265におけるインター予測
【0026】
各インター予測されたPUは、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測子に対するデルタ(delta)として明確にコーディングされてもよい。
【0027】
1つのCUがスキップモードにて符号化される場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、符号化された動きベクトル差分も参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替として、動きパラメータの明示的な送信があり、動きベクトル(より正確には、動きベクトル予測子と比較した動きベクトル差分(MVD))、各参照ピクチャリストの対応する参照ピクチャインデックス、および参照ピクチャリストの使用状況が、各PUに明確に信号通知される。このようなモードを、本開示では高度動きベクトル予測(AMVP)と呼ぶ。
【0028】
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、サンプルのうちの1つのブロックからPUを生成する。これを「単一予測」と呼ぶ。PスライスおよびBスライスの両方に対して単一予測が利用可能である。
【0029】
両方の参照ピクチャリストを使用することを信号通知が示す場合、サンプルのうちの2つのブロックからPUを生成する。これを「双方向予測」と呼ぶ。Bスライスのみに双方向予測が利用可能である。
【0030】
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マージモードについて説明する。
【0031】
2.2 現在のピクチャの参照
【0032】
現在のピクチャの参照(CPR)は、イントラブロックコピー(IBC)と呼ばれたこともあるが、HEVCスクリーンコンテンツ符号化拡張機能(HEVC-SCC)と現在のVVCテストモデルに採用されている。IBCは、動き補償の概念をフレーム間符号化からイントラフレーム符号化に拡張する。
図1に示すように、現在のブロックは、CPRが適用される場合、同じピクチャ内の1つの参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。CPRは、カメラでキャプチャされたほとんどのシーケンスに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。CPRは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、インター符号化ユニット(CU)は、現在のピクチャをその参照ピクチャとして選択する場合、CPRを適用することができる。この場合、MVをブロックベクトル(BV)と改称し、BVは常に整数画素精度を有する。メインプロファイルHEVCに適合するように、現在のピクチャは、復号化ピクチャバッファ(DPB)における「長期」参照ピクチャとしてマークされる。なお、同様に、マルチプルビュー/3D映像符号化規格において、ビュー間の参照ピクチャも「長期」参照ピクチャとしてマークされる。
【0033】
BVがその参照ブロックを見つけた後、この参照ブロックをコピーすることで予測を生成することができる。残差は、元の信号から参照画素を減算することによって得ることができる。そして、他の符号化モードと同様に、変換および量子化を適用することができる。
【0034】
【0035】
しかしながら、参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、画素値の一部または全部は規定されない。基本的に、このような問題に対処するために2つの解決策がある。1つは、このような状況、例えばビットストリーム適合性を許可しないことである。もう1つは、これらの未定義の画素値にパディングを適用することである。以下のサブセッションでは、解決策を詳細に説明する。
【0036】
2.3 HEVCスクリーンコンテンツ符号化拡張機能におけるCPR
【0037】
HEVCのスクリーンコンテンツ符号化拡張機能において、1つのブロックが現在のピクチャを参照として使用する場合、以下の仕様のテキストに示すように、参照ブロック全体が利用可能な再構成された領域内にあることを保証すべきである。
変数offsetXおよびoffsetYは、以下のように導出される。
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (8-104)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (8-105)
参照ピクチャが現在のピクチャである場合、輝度動きベクトルmvLXは、以下の制約に従うべきであることが、ビットストリーム適合性の要件である。
- 6.4.1項で規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb,yCb)と等しく設定された(xCurr,yCurr)と、(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)に等しく設定された近傍の輝度位置(xNbY,yNbY)と、が入力として呼び出されると、出力はTRUEとなる。
- 6.4.1項に規定されたようなz走査順序ブロックの可用性に対する導出処理が、(xCb,yCb)と等しく設定された(xCurr,yCurr)と、(xPb+(mvLX[0]>>2)+nPbW-1+offsetX、yPb+(mvLX[1]>>2)+nPbI-I-1+offsetY)と等しく設定された近傍の輝度位置(xNbY,yNbY)と、が入力として呼び出されると、出力はTRUEとなる。
- 次の条件の一方または両方がtrueであること
- (mvLX[0]>>2)の値+nPbW+xB1+offsetXが0以下である。
- (mvLX[1]>>2)の値+nPbH+yB1+offsetYが0以下である。
- 次の条件がtrueとなること。
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCb/CtbSizeY<=yCb/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (8-106)
【0038】
このように、参照ブロックが現在のブロックと重複するケース、または参照ブロックがピクチャの外にあるケースは発生しない。参照ブロックまたは予測ブロックを埋める必要がない。
【0039】
2.4 CPR/IBCの例
【0040】
VVC試験モデルにおいて、参照ブロック全体は現在の符号化ツリーユニット(CTU)を有するべきであり、現在のブロックと重複しない。よって、参照または予測ブロックをパディングする必要がない。
【0041】
デュアルツリーが有効化される場合、分割構造は、輝度CTUとクロマCTUとで異なってもよい。従って、4:2:0カラーフォーマットの場合、1つのクロマブロック(例えば、CU)は、複数の輝度CUに分割されたコロケーションされた1つの輝度領域に対応してもよい。
【0042】
クロマブロックは、以下の条件がtrueである場合に、CPRモードでのみ符号化することができる。
1)コロケーションされた輝度ブロックの輝度CUの各々は、CPRモードで符号化されるべきである。
2)輝度4×4ブロック’BVの各々は、まず、クロマブロックのBVに変換され、クロマブロックのBVは、有効なBVである。
【0043】
2つの条件のいずれかがfalseである場合、クロマブロックは、CPRモードで符号化されない。
【0044】
なお、有効なBVの定義には、以下の制約がある。
1)BVによって特定される参照ブロックのすべてのサンプルは、制限された検索範囲内にあるべきである(例えば、現在のVVC設計において同じCTU内にある)。
2)BVによって特定された参照ブロックのすべてのサンプルが再構成されている。
【0045】
2.5 CPR/IBCの例
【0046】
いくつかの実施例において、CPR/IBCのための参照領域は、現在のCTUに制限され、最大128×128である。CPR/IBCブロックがより多くの参照候補を有することができる一方、CPR/IBCの参照バッファを1つのCTUから維持または低減することができるように、参照領域を動的に変更してメモリを再利用し、CPR/IBCの参照サンプルを記憶する。
【0047】
図2は1つの方法を示しており、1つのブロックは64×64であり、1つのCTUは4つの64×64ブロックを含む。64×64ブロックを符号化する場合、前の3つの64×64ブロックを参照として使用できる。そうすることによって、デコーダは、CPR/IBCをサポートするために、4つの64×64ブロックを記憶するだけでよい。
【0048】
ピクチャの左上隅に対する現在の輝度CUの位置を(x,y)とし、ブロックベクトルを(BVx,BVy)とする。現在の設計において、BVが有効であるかどうかは、輝度位置((x+BVx)>>6<<6+(1<<7),(y+BVy)>>6<<6)が再構成されておらず、((x+BVx)>>6<<6+(1<<7),(y+BVy)>>6<<6)が(x>>6<<6,y>>6<<6)と等しくないことによって知ることができる。
【0049】
2.6 インループリシェイプ(ILR)
【0050】
インループリシェイプ(ILR)の基本的な考えは、元の(第1のドメインにおける)信号(予測/再構成信号)を第2のドメイン(リシェイプされたドメイン)に変換することである。
【0051】
インループ輝度リシェイパは、1対のルックアップテーブル(LUT)として実装されるが、信号通知されたLUTから他方を計算することができるので、2つのLUTのうちの一方のみを信号通知する必要がある。各LUTは、1次元10ビット1024エントリマッピングテーブル(1D-LUT)である。1つのLUTは、フォワードLUT、FwdLUTであり、これは、入力輝度コード値Yiを変更された値Yr:Yr=FwdLUT[Yi]にマッピングする。他方のLUTは、逆LUT、InvLUTであり、変更されたコード値YrをY^i:Y^i=InvLUT[Yr]にマッピングする。(Y^iはYiの再構成値を表す)。
【0052】
2.6.1 PWLモデル
【0053】
概念的には、区分線形(PWL)は、以下のように実装される。
【0054】
x1、x2を2つの入力支点とし、y1、y2を1つのピースに対応する出力支点とする。x1とx2との間の任意の入力値xに対する出力値yは、以下の式によって補間することができる
【0055】
y=((y2-y1)/(x2-x1))*(x-x1)+y1
【0056】
固定点実装では、この式は、以下のように書き換えることができる。
y=((m*x+2FP_PREC-1)>>FP_PREC)+c
【0057】
mはスカラーであり、cはオフセットであり、FP_PRECは精度を規定するための定数である。
【0058】
いくつかの実施例において、PWLモデルは、1024エントリのFwdLUTマッピングテーブルおよびInvLUTマッピングテーブルを予め計算するために使用されるが、PWLモデルは、LUTを予め計算することなく、実装において同一のマッピング値をオンザフライで計算することも可能にする。
【0059】
2.6.2.1 輝度のリシェイプ
【0060】
インループ輝度リシェイプの方法は、より複雑性低いパイプラインを提供し、且つインタースライス再構成におけるブロック単位のイントラ予測のための復号化待ち時間を排除する。イントラ予測は、インタースライスおよびイントラスライスの両方のために、リシェイプされたドメインにおいて行われる。
【0061】
イントラ予測は、スライスタイプにかかわらず、常にリシェイプされたドメインで行われる。このような構成によれば、前回のTU再構成を行った直後にイントラ予測を開始することができる。このような構成は、スライスに依存する代わりに、イントラモードのための統一された処理を提供することもできる。
図10は、CE12-2の方式に基づく復号化処理を示すブロック図である。
【0062】
32ピース区分線形(PWL)モデルの代わりに、16ピースのPWLモデルを使用して、輝度およびクロマ残差スケーリングを行った。
【0063】
インループ輝度リシェイパを用いたインタースライス再構成(薄い緑色の影が付けられたブロックは、リシェイプされたドメインにおける信号を示す。輝度残差、輝度内予測、および輝度内再構成)
【0064】
2.6.2.2 輝度依存クロマ残差スケーリング
【0065】
輝度依存クロマ残差スケーリングは、固定小数点整数演算で実装される乗算処理である。クロマ残差スケーリングは、輝度信号のクロマ信号との相互作用を補償する。TUレベルでクロマ残差スケーリングを適用する。具体的には、以下が適用される。
- イントラの場合、再構成された輝度を平均する。
- インターの場合、予測輝度を平均する。
【0066】
この平均値は、PWLモデルにおけるインデックスを特定するために使用される。このインデックスは、スケーリング係数cScaleInvを特定する。クロマ残差にその数を乗算する。
【0067】
なお、クロマスケーリング係数は、再構成された輝度値ではなく、フォワードマップされた予測輝度値から算出される。
【0068】
2.6.2.3 ILR側情報の信号通知
【0069】
パラメータは(現在)タイルグループヘッダ(ALFに類似)で送信される。これらは、40~100ビットを要すると報告されている。
【0070】
いくつかの実施例において、追加された構文は、イタリック体で強調されている。
【0071】
【0072】
【0073】
新しい構文表タイルグループリシェイパを追加する。
【0074】
【0075】
一般的に、シーケンスパラメータセットRBSPの意味論では、次の意味論を追加する。sps_reshaper_enabled_flagが1と等しい場合は、符号化映像シーケンス(CVS)においてリシェイパが使用されていることを規定している。sps_reshaper_enabled_flagが0と等しい場合は、CVSにおいてリシェイパが使用されていないことを規定している。
【0076】
タイルグループヘッダ構文において、以下の意味論を追加する。
tile_group_reshaper_model_present_flagが1と等しい場合は、tile_group_reshaper_model()がタイルグループ内に存在することを規定している。
tile_group_reshaper_model_present_flagが0と等しい場合は、tile_group_reshaper_model()がタイルグループヘッダに存在しないことを規定している。
tile_group_reshaper_model_present_flagが存在しない場合は、0に等しいと推論される。
tile_group_reshaper_enabled_flagが1と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていることを規定している。
tile_group_reshaper_enabled_flagが0と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていないことを規定している。
tile_group_reshaper_enable_flagが存在しない場合、0であると推論される。
tile_group_reshaper_chroma_residual_scale_flagが1と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングを有効であることを規定している。
tile_group_reshaper_chroma_residual_scale_flagが0と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングが有効でないことを規定している。
tile_group_reshaper_chroma_residual_scale_flagが存在しない場合は、0であると推測される。
【0077】
tile_group_reshaper_model()構文を追加する
reshape_model_min_bin_idxは、最小のビン(またはピース)インデックスを、リシェイパ構築処理に使用するように規定している。
reshape_model_min_bin_idxの値が0~MaxBinIdxの範囲内にあるものとする。MaxBinIdxの値は15と等しいとする。
reshape_model_delta_max_bin_idxは、最大許容ビン(またはピース)インデックスMaxBinIdxから最大ビンインデックスを引いたものが、リシェイパ構築処理で使用されることを規定している。
reshape_model_max_bin_idxの値は、MaxBinIdx-reshape_model_delta_max_bin_idxに等しく設定される。
reshaper_model bin_delta_abs_cw_prec_minus1+1は、構文reshape_model_bin_delta_abs_CW[i]の表現に使用するビット数を規定している。
reshape_model_bin_delta_abs_CW[i]は、i番目のビンの絶対デルタコード名値を規定する。reshaper_model_bin_delta_sign_CW_flag[i]は、reshape_model_bin_delta_abs_CW[i]のサインを次のように記述する。
- reshape_model_bin_delta_sign_CW_flag[i]が0と等しい場合、対応する変数RspDeltaCW[i]は正の値である。
- そうでない場合(reshape_model_bin_delta_sign_CW_flag[i]が0と等しくない)、対応する変数RspDeltaCW[i]は負の値である。
reshape_model_bin_delta_sign_CW_flag[i]が存在しない場合、0に等しいと推測される。
変数RspDeltaCW[i]=(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i];
変数RspCW[i]は、以下のステップとして導出される。
変数OrgCWは、(1<<BitDepthY)/(MaxBinIdx+1)に等しく設定される。
-reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idxの場合、RspCW[i]=OrgCW+RspDeltaCW[i]である。
- そうでない場合、RspCW[i]=0である。
BitDepthYの値が10に等しい場合、RspCW[i]の値は、32~2*OrgCW_1の範囲内にくる。
iが0~MaxBinIdx+1の範囲にある変数InputPivot[i]は、以下のように導出される。
InputPivot[i]=i*OrgCW
iが0~MaxBinIdx+1の範囲にあり、変数ScaleCoef[i]およびInvScaleCoeff[i]がそれぞれ0~MaxBinIdxの範囲にあり、iが0~MaxBinIdxの範囲にある変数ReshapePivot[i]は、以下のように導出される。
【0078】
shiftY=14
ReshapePivot[0]=0;
for(i=0;i<=MaxBinIdx;i++){
ReshapePivot[i+1]=ReshapePivot[i]+RspCW[i]
ScaleCoef[i]=(RspCW[i]*(1<<shiftY)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(RspCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<shiftY)/RspCW[i]
}
【0079】
iが0~MaxBinIdxの範囲内にある変数ChromaScaleCoef[i]は、以下のように導出される。
ChromaResidualScaleLut[64]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024};
shiftC=11
-if(RspCW[i]==0)
ChromaScaleCoef[i]=(1<<shiftC)
-Otherwise(RspCW[i]!=0),ChromaScaleCoef[i]=
ChromaResidualScaleLut[RspCW[i]>>1]
【0080】
2.6.2.4 ILRの使用方法
【0081】
エンコーダ側では、まず、各ピクチャ(またはタイルグループ)をリシェイプされたドメインに変換する。そして、すべての符号化処理は、リシェイプされたドメインで行われる。イントラ予測の場合、近傍のブロックはリシェイプされたドメインにあり、インター予測の場合、まず、参照ブロック(復号化ピクチャバッファからの元のドメインから生成される)をリシェイプされたドメインに変換する。そして、残差を生成し、ビットストリームに符号化する。
【0082】
ピクチャ全体(またはタイルグループ)の符号化/復号化が終わった後、リシェイプされたドメインのサンプルを元のドメインに変換し、次いで、非ブロック化フィルタおよび他のフィルタを適用する。
【0083】
以下の場合、予測信号へのフォワードリシェイプは無効化される。
【0084】
現在のブロックはイントラ符号化されている。
【0085】
現在のブロックはCPR(現在のピクチャを参照し、別名イントラブロックコピー、IBC)として符号化される。
【0086】
現在のブロックは、結合されたインターイントラモード(CIIP)として符号化され、イントラ予測ブロックのためにフォワードリシェイプは無効化される。
【0087】
3. 様々な実施形態によって解決される問題の例
【0088】
現在のCPR/IBCの設計において、いくつかの問題が存在する。
1)参照領域が動的に変化するため、エンコーダ/デコーダの処理が複雑になる。
2)無効なブロックベクトルは容易に生成され、チェックしにくいため、エンコーダおよびデコーダの両方を複雑にする。
3)参照領域が不規則であると、ブロックベクトルの符号化が非効率になる。
4)128×128より小さいCTUサイズに対してどのように対処するかは不明である。
5)BVが有効であるか無効であるかの判定処理において、クロマブロックの場合、この決定は、輝度サンプルの可用性に基づいて行われ、このことは、デュアルツリーパーティション構造に起因して誤った判定をもたらす可能性がある。
【0089】
4. 例示的な実施形態
【0090】
いくつかの実施形態において、CPR/IBCブロックが参照を得るために、通常のバッファを使用できる。
【0091】
関数isRec(x,y)は、画素(x,y)が再構成され、IBCモードによって参照されたかどうかを示すように規定される。(x,y)が異なるスライス/タイル/ブリックのピクチャから外れている場合、isRec(x,y)はfalseを返し、(x,y)が再構成されていない場合、isRec(x,y)はfalseを返す。別の例において、サンプル(x,y)が再構成されたが、何らかの他の条件が満たされた場合、そのサンプルは、参照領域外/異なるVPDU内など、利用不可能であるとマークされてもよく、isRec(x,y)はfalseを返す。
【0092】
関数isRec(c,x,y)は、成分cのサンプル(x,y)が利用可能であるかどうかを示すように規定される。例えば、サンプル(x,y)がまだ再構成されていない場合、それは利用不可能であるとマークされる。別の例において、サンプル(x,y)が再構成されたが、何らかの他の条件が満たされた場合、該サンプル(x,y)はまた、使用不可能であるとしてマークされてもよく、例えば、ピクチャから外れている/異なるスライス/タイル/ブリック内にある/異なるVPDU内にある、許可された参照領域のなどのようにサンプル(x,y)が利用不可能である場合、isRec(c,x,y)はfalseを返し、そうでない場合、trueを返す。
【0093】
以下の説明において、参照サンプルは再構成サンプルであってもよい。なお、「画素バッファ」は、「1つの色成分のバッファ」または「複数の色成分のバッファ」に応答してもよい。
【0094】
CPR/IBC用参照バッファ
【0095】
1. CPR/IBCのために輝度参照サンプルを記憶するために、M×N個の画素バッファを使用することが提案される。
a. 一例において、バッファサイズは64×64である。
b. 一例において、バッファサイズは128×128である。
c. 一例において、バッファサイズは64×128である。
d. 一例において、バッファサイズは128×64である。
e. 一例において、NはCTUの高さに等しい。
f. 一例において、N=nHであり、HはCTUの高さであり、nは正の整数である。
g. 一例において、MはCTUの幅に等しい。
h. 一例において、M=mWであり、WはCTUの幅であり、mは正の整数である。
i. 一例において、バッファサイズは、CTUサイズに等しくなく、例えば、96×128または128×96である。
j. 一例において、バッファサイズはCTUサイズに等しい。
k. 一例において、M=mW、N=Hであり、WおよびHは、CTUの幅および高さであり、mは、正の整数である。
l. 一例において、M=W、N=nHであり、WおよびHは、CTUの幅および高さであり、nは、正の整数である。
m. 一例において、M=mW、N=nHであり、WおよびHは、CTUの幅および高さであり、mおよびnは、正の整数である。
n. 上記例において、mおよびnはCTUのサイズに依存してもよい。
i. 一例において、CTUのサイズが128×128である場合、m=1であり、n=1である。
ii. 一例において、CTUのサイズが64×64である場合、m=4であり、n=1である。
iii. 一例において、CTUのサイズが32×32である場合、m=16であり、n=1である。
iv. 一例において、CTUのサイズが16×16である場合、m=64であり、n=1である。
o. 代替的に、バッファサイズはCTUサイズに対応する。
p.代替的に、このバッファサイズは、仮想パイプラインデータユニット(VPDU)のサイズに対応する。
q. Mおよび/またはNは、エンコーダからデコーダに、例えばVPS/SPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ等で信号通知されてもよい。
【0096】
2. Mおよび/またはNは、規格で規定された異なるプロファイル/レベル/層で異なってもよい。別のMc×Nc画素バッファを使用して、CPR/IBCのためのクロマ参照サンプルを記憶することが提案される。
a. 一例において、4:2:0映像の場合、Mc=M/2およびNc=N/2である。
b. 一例において、4:4:4映像の場合、Mc=MおよびNc=Nである。
c. 一例において、4:2:2映像の場合、Mc=MおよびNc=N/2である。
d. 代替的に、McおよびNcは、MおよびNから独立してもよい。
e. 一例において、クロマバッファは、CbおよびCrに対応する2つのチャネルを含む。
f. 一例において、Mc=Mであり、Nc=Nである。
【0097】
3. M×Nサンプルバッファを使用してPR/IBCのためにRGB参照サンプルを記憶ことが提案される。
a. 一例において、バッファサイズは64×64である。
b. 一例において、バッファサイズは128×128である。
c. 一例において、バッファサイズは64×128である。
d. 一例において、バッファサイズは128×64である。
e. 代替的に、バッファサイズはCTUサイズに対応する。
f. 代替的に、このバッファサイズは、仮想パイプラインデータユニット(VPDU)のサイズに対応する。
【0098】
4. バッファは、ループフィルタリングの前に再構成された画素を記憶することができることが提案される。ループフィルタリングは、非ブロック化フィルタ、適応ループフィルタ(ALF)、サンプル適応オフセット(SAO)、クロス成分ALF、または任意の他のフィルタを参照してもよい。
a. 一例において、バッファは、現在のCTUにサンプルを記憶することができる。
b. 一例において、バッファは、現在のCTUの外部にサンプルを記憶することができる。
c. 一例において、バッファは、現在のピクチャの任意の部分からのサンプルを記憶することができる。
d. 一例において、バッファは、他のピクチャからのサンプルを記憶することができる。
【0099】
5. バッファは、ループフィルタリングの後に再構成された画素を記憶することができることが提案される。ループフィルタリングは、非ブロック化フィルタ、適応ループフィルタ(ALF)、サンプル適応オフセット(SAO)、クロス成分ALF、または任意の他のフィルタを参照してもよい。
a. 一例において、バッファは、現在のCTUにサンプルを記憶することができる。
b. 一例において、バッファは、現在のCTUの外部にサンプルを記憶することができる。
c. 一例において、バッファは、現在のピクチャの任意の部分からのサンプルを記憶することができる。
d. 一例において、バッファは、他のピクチャからのサンプルを記憶することができる。
【0100】
6. バッファは、ループフィルタリング前およびループフィルタリング後の両方で再構成されたサンプルを記憶することができることが提案される。ループフィルタリングは、非ブロック化フィルタ、適応ループフィルタ(ALF)、サンプル適応オフセット(SAO)、クロス成分ALF、または任意の他のフィルタを参照してもよい。
a. 一例において、バッファは、現在のピクチャからのサンプルと他のピクチャからのサンプルとを、それらのサンプルの可用性に基づいて記憶することができる。
b. 一例において、他のピクチャからの参照サンプルは、ループフィルタリング後の再構成サンプルからのものである。
c. 一例において、他のピクチャからの参照サンプルは、ループフィルタリングの前に再構成されたサンプルからのものである。
【0101】
7. バッファは、符号化映像データのビット深度とは異なり得る所与のビット深度を有するサンプルを記憶することが提案される。
a. 一例において、再構成バッファ/符号化映像データのビット深度は、バッファに記憶されたIBC参照サンプルのビット深度よりも大きい。
b. 一例において、内部ビット深度が1つの映像シーケンスのための入力ビット深度と異なる場合、例えば(10ビット対8ビット)であっても、IBC参照サンプルは、入力ビット深度に位置合わせされて記憶される。
c. 一例において、ビット深度は再構成バッファのビット深度と同じである。
d. 一例において、ビット深度は、入力画像/映像のビット深度と同じである。
e. 一例において、ビット深度は、予め規定された数と同じである。
f. 一例において、ビット深度は、標準のプロファイルに依存する。
g. 一例において、出力ビット深度/入力ビット深度/内部ビット深度と比較したビット深度またはビット深度の差は、SPS/PPS/シーケンスヘッダ/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/タイルヘッダまたは他の種類の映像データユニットにおいて信号通知されてもよい。
h. 提案された方法は、他の黒丸印で言及された提案されたバッファ定義に適用されてもよく、代替的に、IBCの既存の設計にも適用されてもよい。
i. バッファの各色成分のビット深度は異なってもよい。
【0102】
バッファ開始
【0103】
8. 所与の値でバッファを初期化することが提案される。
a. 一例において、バッファは所与の値で初期化される。
i. 一例において、所与の値は、入力ビット深度および/または内部ビット深度に依存してもよい。
ii. 一例において、バッファは、中間グレー値で初期化され、例えば、8ビット信号の場合、128が設定され、10ビット信号の場合、512が設定される。
iii. 一例において、ILRが使用される場合、バッファはforwardLUT(m)で初期化される。例m=1<<(Bitdepth-1)。
b. 代替的に、バッファは、SPS/VPS/APS/PPS/シーケンスヘッダ/タイルグループヘッダ/ピクチャヘッダ/tile/CTU/符号化ユニット/VPDU/領域で信号通知される値で初期化される。
c. 一例において、この所与の値は、前に復号化されたピクチャまたはスライスまたはCTUの行またはCTUまたはCUのサンプルから導出されてもよい。
d. この所与の値は、異なる色成分ごとに異なってもよい。
【0104】
9. 代替的に、前回符号化されたブロックからの復号化された画素を使用してバッファを初期化することが提案される。
a. 一例において、復号化された画素は、インループフィルタリング前の画素である。
b. 一例において、バッファサイズがCTUである場合、バッファは、利用可能である場合、前回の復号化されたCTUの復号化された画素で初期化される。
c. 一例において、バッファサイズが64×64である場合、そのバッファサイズは、利用可能である場合、前回の復号化された64×64ブロックの復号化された画素で初期化される。
d. 代替的に、さらに、前回符号化されたブロックが利用可能でない場合、黒丸印8の方法が適用されてもよい。
【0105】
バッファの参照
【0106】
10. 1つのブロックがバッファ内の画素を参照として使用するために、このブロックは、バッファ内の位置(x,y),x=0,1,2,...,M-1;y=0,1,2,...,N-1,を使って参照先を示すことができる。
【0107】
11. 代替的に、この参照位置は、l=y*M+x,l=0,1,...,M*N-1として表すことができる。
【0108】
12. なお、現在のCTUに関するブロックの左上の位置を(x0,y0)として、ブロックベクトル(BVx,BVy)=(x-x0,y-y0)をデコーダに送信し、バッファにおける参照先を示してもよい。
【0109】
13. 代替的に、ブロックベクトル(BVx,BVy)は、(x-x0+Tx,y-y0+Ty)として規定されてもよく、TxおよびTyは、予め規定されたオフセットである。
【0110】
14. 任意の画素(x0,y0)および(BVx,BVy)の場合、バッファにおけるその参照は、(x0+BVx,y0+BVy)に見出すことができる。
a. 一例において、(x0+BVx,y0+BVy)がバッファの外にある場合、それは境界にクリップされる。
b. 代替的に、(x0+BVx,y0+BVy)がバッファの外にある場合、その基準値は、所与の値、例えば、中間グレーとして予め規定される。
c. 代替的に、参照位置は、常にバッファ内にあるように、((x0+BVx)mod M,(y0+BVy)mod N)として規定される。
【0111】
15. 任意の画素(x0,y0)および(BVx,BVy)に対して、(x0+BVx,y0+BVy)がバッファの外にある場合、その基準値はバッファにおける値から導出されてもよい。
a. 一例において、この値は、バッファにおけるサンプル((x0+BVx)mod M,(y0+BVy)mod N)から導出される。
b. 一例において、この値は、バッファにおけるサンプル((x0+BVx)mod M, clip(y0+BVy,0,N-1))から導出される。
c. 一例において、この値は、バッファにおけるサンプル(clip(x0+BVx,0,M-1),(y0+BVy)mod N)から導出される。
d. 一例において、この値は、バッファにおけるサンプル(clip(x0+BVx,0,M-1),clip(y0+BVy,0,N-1))から導出される。
【0112】
16. バッファ範囲外の特定の座標を許可しない場合がある。
a. 一例において、CTUの左上隅およびブロックベクトル(BVx,BVy)に対する任意の画素(x0,y0)について、y0+BVyが[0,..,N-1]の範囲内にあるべきであることが、ビットストリーム制約である。
b. 一例において、CTUおよびブロックベクトル(BVx,BVy)の左上隅の任意の画素(x0,y0)に対して、x0+BVxが[0,..,M-1]の範囲内にあるべきであることが、ビットストリーム制約である。
c. 一例において、CTUおよびブロックベクトル(BVx,BVy)の左上隅の任意の画素(x0,y0)に対して、y0+BVyが[0,..,N-1]の範囲内にあるべきであり、且つx0+BVxが[0,..,M-1]の範囲内にあるべきであることが、ビットストリーム制約である。
【0113】
17. 1つのブロックの信号通知されたまたは導出されたブロックベクトルがバッファの外のどこかを指している場合、バッファに基づいてパディングを行ってもよい。
a. 一例において、バッファの外の任意のサンプルの値は、予め規定された値で規定される。
i. 一例において、この値は、1<(ビット深度-1)であってもよく、例えば、8ビット信号の場合、128であり、10ビット信号の場合、512である。
ii. 一例において、ILRが使用される場合、この値はforwardLUT(m)であってもよい。例m=1<<(Bitdepth-1).
iii. 代替的に、予め規定された値の表示は、SPS/PPS/シーケンスヘッダ/ピクチャヘッダ/スライスヘッダ/タイルグループ/タイル/CTU/CUレベルで信号通知または表示されてもよい。
b. 一例において、バッファの外の任意のサンプルは、バッファにおける最も近いサンプルの値として規定される。
【0114】
18. バッファ参照からの取り扱い方法は、水平方向と垂直方向とで異なってもよく、または現在のブロックの位置によって(例えば、ピクチャ境界により近いか否か)異なってもよい。
a. 一例において、y0+BVyが[0,N-1]の外にある場合、(x0+BVx,y0+BVy)のサンプル値が予め規定された値として割り当てられる。
b. 一例において、x0+BVxが[0,M-1]の外にある場合、(x0+BVx,y0+BVy)のサンプル値が予め規定された値として割り当てられる。
c. 代替的に、(x0+BVx,y0+BVy)のサンプル値を((x0+BVx)mod M,y0+BVy)のサンプル値として割り当て、これにより、(((x0+BVx)mod M,y0+BVy)がまだバッファの外にある場合には、その値をさらに導出するために他の方法を呼び出してもよい。
d. 代替的に、(x0+BVx,y0+BVy)のサンプル値を(x0+BVx,(y0+BVy)mod N)のサンプル値として割り当て、これにより、(x0+BVx,(y0+BVy)mod N)がまだバッファの外にある場合には、その値をさらに導出するために他の方法を呼び出してもよい。
【0115】
ブロックベクトル表現
【0116】
19. ブロックベクトル(BVx,BVy)の各成分またはその成分の1つを一定の範囲に正規化してもよい。
a. 一例において、BVxは、(BVx mod M)に置き換えられてもよい。
b. 代替的に、BVxは、((BVx+X)mod M)-Xに置き換えられてもよく、Xは、予め規定された値である。
i. 一例において、Xは64。
ii. 一例において、XはM/2。
iii. 一例において、Xは、現在のCTUに対するブロックの水平座標である。
c. 一例において、BVyは、(BVy mod N)に置き換えられてもよい。
d. 代替的に、BVyを((BVy+Y)mod N)-Yで置き換えてもよく、Yは予め規定された値である。
i. 一例において、Yは64。
ii. 一例において、YはN/2。
iii. 一例において、Yは、現在のCTUに対するブロックの垂直座標である。
【0117】
20. BVxおよびBVyは、異なる正規化範囲を有してもよい。
【0118】
21. ブロックベクトル差(BVDx,BVDy)を一定の範囲に正規化することができる。
a. 一例において、BVDxは、(BVDx mod M)に置き換えられてもよく、関数modは、リマインダを返す。
b. 代替的に、BVDxは、((BVDx+X)mod M)-Xに置き換えられてもよく、Xは、予め規定された値である。
i. 一例において、Xは64。
ii. 一例において、XはM/2。
c. 一例において、BVyは、(BVDy mod N)に置き換えられてもよい。
d. 代替的に、BVyを((BVDy+Y)mod N)-Yで置き換えてもよく、Yは予め規定された値である。
i. 一例において、Yは64。
ii. 一例において、YはN/2。
【0119】
22. BVDxおよびBVDyは、異なる正規化範囲を有してもよい。
【0120】
ブロックベクトルの妥当性検査
【0121】
IBCバッファの幅および高さをWbufおよびHbufとする。ピクチャの左上隅に対して(X,Y)から始まるW×Hブロック(輝度ブロック、クロマブロック、CU、TU、4×4、2×2、または他のサブブロックであってもよい)の場合、ブロックベクトル(BVx、BVy)が有効であるかどうかを示すために、以下を適用してもよい。Wpic、Hpicを1つのピクチャの幅および高さとし、Wctu、Hctuを1つのCTUの幅および高さとする。関数floor(x)は、xより大きくない最大の整数を返す。関数isRec(x,y)は、サンプル(x,y)を再構成した場合、それを返す。
【0122】
23. いずれかの参照位置がピクチャ境界の外にあっても、ブロックベクトル(BVx,BVy)を有効であるとして設定してもよい。
a. 一例において、ブロックベクトルは、X+BVx<0であっても有効であるとして設定してもよい。
b. 一例において、ブロックベクトルは、X+W+BVx>Wpicであっても、有効であるとして設定してもよい。
c. 一例において、Y+BVy<0であっても、ブロックベクトルを有効であるとして設定してもよい。
d. 一例において、Y+H+BVy>Hpicであっても、ブロックベクトルを有効であるとして設定してもよい。
【0123】
24. 現在のCTU行の外側に参照位置が存在しても、ブロックベクトル(BVx,BVy)を有効であるとして設定してもよい。
a. 一例において、ブロックベクトルは、Y+BVy<floor(Y/Hctu)*Hctuであっても有効であるとして設定してもよい。
b. 一例において、ブロックベクトルは、Y+H+BVy>=floor(Y/Hctu)*Hctu+Hctuであっても有効であるとして設定してもよい。
【0124】
25. ブロックベクトル(BVx,BVy)は、いずれかの参照位置が現在のCTUおよび左(n-1)CTUの外にあったとしても、有効であるとして設定してもよく、nは、IBCのための参照領域として使用できるCTU(現在のCTUを含む、または除く)の数である。
a. 一例において、ブロックベクトルは、X+BVx<floor(X/Wctu)*Wctu-(n-1)*Wctuであっても有効であるとして設定してもよい。
b. 一例において、ブロックベクトルは、X+W+BVx>floor(X/Wctu)*Wctu+Wctuであっても、有効であるとして設定してもよい。
【0125】
26. 特定のサンプルが再構成されていなくても、ブロックベクトル(BVx,BVy)を有効として設定してもよい。
a. 一例において、isRec(X+BVx,Y+BVy)がfalseであっても、ブロックベクトルを有効であるとして設定してもよい。
b. 一例において、isRec(X+BVx+W-1,Y+BVy)がfalseであっても、ブロックベクトルを有効であるとして設定してもよい。
c. 一例において、isRec(X+BVx,Y+BVy+H-1)がfalseであっても、ブロックベクトルを有効であるとして設定してもよい。
d. 一例において、isRec(X+BVx+W-1,Y+BVy+H-1)がfalseであっても、ブロックベクトルを有効であるとして設定してもよい。
【0126】
27. ブロックベクトル(BVx,BVy)は、1つのブロックがCTU行における第1のCTUのブロックでない場合、常に有効であるとして設定してもよい。
a. 代替的に、ブロックベクトルは、常に有効であるとして設定してもよい。
【0127】
28. 以下の3つの条件をすべて満たす場合、ブロックベクトル(BVx,BVy)を常に有効であるとして設定してもよい。
・X+BVx>=0
・Y+BVy>=floor(Y/Hctu)
・isRec(X+BVx+W-1,Y+BVy+H-1)==true
a. 代替的に、1つのCTU行における第1のCTUのブロックについて、3つの条件をすべて満たす場合、ブロックベクトルを常に有効であるとして設定してもよい。
【0128】
29. ブロックベクトル(BVx,BVy)が有効である場合、ブロックのサンプルコピーはブロックベクトルに基づいて行われてもよい。
a. 一例において、サンプル(X,Y)の予測は、((X+BVx)%Wbuf,(Y+BVy)%Hbuf)から得ることができる。
【0129】
バッファ更新
【0130】
30. 新しいピクチャまたはタイルを符号化するとき、バッファはリセットされてもよい。
a. 「リセット」という用語は、バッファが初期化されることを指すことができる。
b. 用語「リセット」は、バッファ内のすべてのサンプル/画素が所与の値(例えば、0または-1)に設定されることを指すことができる。
【0131】
31. VPDUの符号化を終えたら、バッファはVPDUの再構成された値で更新されてもよい。
【0132】
32. CTUの符号化を終えたら、バッファはCTUの再構成された値で更新されてもよい。
a. 一例において、バッファが満杯でない場合、バッファはCTUによってCTUを順次更新することができる。
b. 一例において、バッファが満杯である場合、最も古いCTUに対応するバッファ領域を更新する。
c. 一例において、M=mW、N=H(W、HはCTUのサイズであり、M、Nはバッファサイズである)であり、前回更新された領域が(kW,0)から始まる場合、更新する次の開始位置は、((k+1)W mod M,0)となる。
【0133】
33. バッファは、各CTU行の最初にリセットされてもよい。
a. 代替的に、バッファは、各CTUの復号化の開始時にリセットされてもよい。
b. 代替的に、バッファは、1つのタイルを復号化する開始時にリセットされてもよい。
c. 代替的に、バッファは、1つのタイルグループ/ピクチャの復号化の開始時にリセットされもよい。
【0134】
34. (x,y)から始まるブロックの符号化を終えたら、(x,y)から始まるバッファの対応する領域は、ブロックからの再構成によって更新される。
a. 一例において、(x,y)は、CTUの左上隅に対する位置である。
【0135】
35. ピクチャに対するブロックの符号化を終えたら、バッファの対応する領域は、ブロックからの再構成によって更新される。
a. 一例において、バッファにおける位置(x mod M,y mod N)の値は、ピクチャの左上隅に対する位置(x,y)の再構成された画素値で更新されてもよい。
b. 一例において、バッファにおける位置(x mod M,y mod N)の値は、現在のタイルの左上隅に対する位置(x,y)の再構成された画素値で更新されてもよい。
c. 一例において、バッファにおける位置(x mod M,y mod N)の値は、現在のCTU行の左上隅に対する位置(x,y)の再構成された画素値で更新されてもよい。
d. 一例において、バッファ内の値は、ビット深度整列後の再構成された画素値で更新されてもよい。
【0136】
36. (x,y)から始まるブロックの符号化を終えたら、(xb,yb)から始まるバッファの対応する領域は、ブロックからの再構成によって更新され、(xb,yb)および(x,y)は2つの異なる座標である。
a. 一例において、(x,y)は、CTUの左上隅に関する位置であり、(xb,yb)は、(x+update_x,y+update_y)であり、update_xおよびupdate_yは、バッファにおける更新可能な位置を示す。
【0137】
37. 上記の例では、1つのブロックの再構成された値は、フィルタ(例えば、非ブロック化フィルタ)を適用する前の再構成された値を示してもよい。
a. 代替的に、1つのブロックの再構成された値は、フィルタ(例えば、非ブロック化フィルタ)が適用された後の再構成された値を示してもよい。
【0138】
38. バッファが再構成されたサンプルから更新されるとき、再構成されたサンプルは、記憶される前にまず修正されてもよく、例えば、サンプルのビット深度を変更してもよい。
a. 一例において、バッファは、バッファのビット深度へのビット深度整列後、再構成されたサンプル値で更新される。
b. 一例において、バッファ値は、値{p+[1<<(b-1)]}>>bに基づいて更新され、pは、再構成されたサンプル値であり、bは、予め規定されたビットシフト値である。
c. 一例において、バッファ値は、clip({p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1)の値に基づいて更新され、pは、再構成されたサンプル値であり、bは、予め規定されたビットシフト値であり、ビット深度は、バッファビット深度である。
d. 一例において、バッファ値は、値{p+[1<(b-1)-1]}>bに基づいて更新され、pは、再構成されたサンプル値であり、bは、予め規定されたビットシフト値である。
e. 一例において、バッファ値は、clip({p+[1<<(b-1)-1]}>>b,0,(1<<bitdepth)-1)の値に基づいて更新され、pは、再構成されたサンプル値であり、bは、予め規定されたビットシフト値であり、bitdepthは、バッファビット深度である。
f. 一例において、バッファ値は、値p>>bに基づいて更新される。
g. 一例において、バッファ値は、clip(p>>b,0,(1<<bitdepth)-1)の値に基づいて更新され、bitdepthは、バッファビット深度である。
h. 上記例において、bは、ビット深度から入力サンプルビット深度を引いたものとして再構成されてもよい。
【0139】
39. バッファサンプルを使用して予測を形成する場合、前処理を適用することができる。
a. 一例において、予測値は、p<<bであり、pは、バッファにおけるサンプル値であり、bは、予め規定された値である。
b. 一例において、予測値は、clip(p<<b,0,1<<bitdepth)であり、bitdepthは、再構成サンプルのビット深度である。
c. 一例において、予測値は、(p<<b)+(1<<(bitdepth-1))であり、pは、バッファにおけるサンプル値であり、bは、予め規定された値であり、bitdepthは、再構成サンプルのビット深度である。
d. 上記例において、bは、ビット深度から入力サンプルビット深度を引いたものとして再構成されてもよい。
【0140】
40. バッファは所与の順番で更新されてもよい。
a. 一例において、バッファは順次更新されてもよい。
b. 一例において、バッファは、再構成されたブロックの順に基づいて更新されてもよい。
【0141】
41. バッファが満杯である場合、バッファ内のサンプルを最新の再構成サンプルに置き換えることができる。
a. 一例において、サンプルは、先入れ先出し方式で更新されてもよい。
b. 一例において、最も古いサンプルが置き換えられる。
c. 一例において、サンプルに優先順位を割り当て、この優先順位に基づいてサンプルを置き換えることができる。
d. 一例において、サンプルは、他のサンプルが最初に置き換えられるように、「長期」としてマークされ得る。
e. 一例において、高い優先順位を示すために、1つのブロックとともに1つのフラグを送信することができる。
f. 一例において、優先順位を示すために、1つのブロックとともに1つの数字を送信することができる。
g. 一例において、ある特徴を有する再構成されたブロックからのサンプルは、他のサンプルが最初に置き換えられるように、より高い優先順位を割り当てられる。
i. 一例において、IBCモードで符号化されたサンプルのパーセンテージが閾値よりも大きい場合、ブロックのすべてのサンプルに高い優先順位を割り当てることができる。
ii. 一例において、Paletteモードで符号化されたサンプルのパーセンテージが閾値よりも大きい場合、ブロックのすべてのサンプルに高い優先順位を割り当てることができる。
iii. 一例において、IBCまたはPaletteモードで符号化されたサンプルのパーセンテージが閾値よりも大きい場合、ブロックのすべてのサンプルに高い優先順位を割り当てることができる。
iv. 一例において、変換スキップモードで符号化されたサンプルのパーセンテージが閾値よりも大きい場合、ブロックのすべてのサンプルに高い優先順位を割り当てることができる。
v. この閾値は、ブロックサイズ、色成分、CTUサイズに基づいて異なってもよい。
vi. 閾値は、SPS/PPS/シーケンスヘッダ/スライスヘッダ/タイルグループ/タイルレベル/領域で信号通知されてもよい。
h. 一例において、このバッファが一杯であることは、このバッファにおける利用可能なサンプルの数が所与の閾値に等しいかまたはそれよりも多いことを意味し得る。
i. 一例において、バッファにおける利用可能なサンプルの数が64×64×3輝度サンプル以上である場合、バッファは満杯であると判定されてもよい。
【0142】
代替バッファ組み合わせ
【0143】
42. 前回符号化された3つの64×64ブロックを常に参照領域として使用する代わりに、現在のブロック(またはVPDU)の位置に基づいてそれを適応的に変更することが提案される。
a. 一例において、64×64ブロックを符号化/復号化するとき、前回の3つの64×64ブロックを参照として使用できる。
図2に比べ、前回の64×64個のブロックをより多く組み合わせてもよい。
図2は、前の64×64ブロックの異なる組み合わせの例を示す。
【0144】
43. z走査順序を用いる代わりに、垂直走査順序を使用してもよい。
a. 一例において、1つのブロックがz走査順序にインデックス0..3を有する4つのVPDUに分割される場合、符号化/復号化の順序は、0、2、1、3である。
b. 一例において、64×64個のブロックを符号化/復号化するとき、前回の3つの64×64個のブロックを参照として使用できる。
図2と比較して、より多くの種類の64×64ブロックの符号化/復号化の順序を適用することができる。
図4は、64×64ブロックの異なる符号化/復号化の順序の例を示す。
c. 代替的に、上記方法は、スクリーンコンテンツの符号化にのみ適用されてもよい。
d. 代替的に、上記方法は、1つのタイル/タイルグループ/ピクチャに対してCPRが有効化される場合にのみ適用されてもよい。
e. 代替的に、上記方法は、1つのCTUまたは1つのCTU行に対してCPRが有効化される場合にのみ適用されてもよい。
【0145】
仮想IBCバッファ
【0146】
以下、輝度サンプルにおいて、VPDUの幅および高さを、それぞれWVPDU(例えば、64)およびHVPDU(例えば、64)と表す。代替的に、WVPDUおよび/またはHVPDUは、他の映像ユニット(例えば、CTU)の幅および/または高さを表してもよい。
【0147】
44. IBC参照領域の状態を追跡し続けるために、仮想バッファを維持してもよい。
a. 一例において、仮想バッファサイズは、mWVPDU×nHVPDUである。
i. 一例において、mは3に等しく、nは2に等しい。
ii. 一例において、mおよび/またはnは、ピクチャ解像度、CTUサイズに依存してもよい。
iii. 一例において、mおよび/またはnは、信号通知されてもよく、または予め規定されてもよい。
b. 一例において、上記の黒丸印および副黒丸印で記載された方法は、仮想バッファに適用されてもよい。
c. 一例において、ピクチャ/スライス/タイル/ブリックの左上隅に対するサンプル(x,y)は、(x%(mWVPDU),y%(nHVPDU))にマッピングされてもよい。
【0148】
45. アレイを使用して、仮想バッファに関連付けられた各サンプルの可用性を追跡してもよい。
a. 一例において、フラグは、仮想バッファにおけるサンプルに関連付けて、バッファにおけるサンプルがIBC参照として使用できるか否かを特定してもよい。
b. 一例において、輝度サンプルおよびクロマサンプルを含む各4×4ブロックは、1つのフラグを共有して、そのブロックに関連付けられたいずれかのサンプルがIBC参照として使用できるかどうかを示してもよい。
c. 一例において、3×2個のVPDUに対応するアレイ(例えば、各4×4ブロックは、同じ可用性フラグを共有してもよい)は、IBC参照サンプルの可用性を追跡するように維持される。
d. 一例において、4×2個のVPDUに対応するアレイ(例えば、各4×4ブロックは、同じ可用性フラグを共有してもよい)は、IBC参照サンプルの可用性を追跡するように維持される。
【0149】
46. VPDUまたは映像ユニットの復号化を終えた後、仮想バッファに関連付けられた特定のサンプルは、IBC参照に利用不可能なものとしてマークされてもよい。
a. 一例において、どのサンプルが利用不可能であるかは、直近に復号化されたVPDUの位置に依存してもよい。
b. 1つのサンプルが利用不可能とマークされた場合、このサンプルからの予測は許可されない。
i. 代替的に、他の方法(例えば、デフォルト値を使用する)をさらに適用して、予測子を導出し、利用不可能なサンプルを置き換えてもよい。
【0150】
47. 最近復号化されたVPDUの位置を記録し、仮想バッファに関連付けられたどのサンプルが利用不可能であるとマークされているかを識別しやすくすることができる。
a. 一例において、VPDUを復号化する開始時に、最近復号化されたVPDUの位置に基づいて、仮想バッファに関連付けられたいくつかのサンプルに利用不可能なマークを付けることができる。
i. 一例において、直近に復号化されたVPDUのピクチャ/スライス/タイル/ブリック/他の映像処理ユニットの左上隅に対して(xPrevVPDU,yPrevVPDU)を左上位置として表し、yPrevVPDU%(nHVPDU)が0に等しいと、特定の位置(x,y)は、利用不可能とマークを付けることができる。
1. 一例において、xは、[xPrevVPDU-2WVPDU+2mWVPDU)% mWVPDU,((xPrevVPDU-2WVPDU+2mWVPDU)% mWVPDU)-1+WVPDU]のような範囲内にあってもよい。
2. 一例において、yは、[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU]のような範囲内にあってもよい。
3. 一例において、xは、[xPrevVPDU-2WVPDU+2mWVPDU]%mWVPDU、((xPrevVPDU-2WVPDU+2mWVPDU)%mWVPDU、((xPrevVPDU-2WVPDU+2mWVPDU)%mWVPDU)-1+WVPDU]のような範囲内にあってもよく、yは、[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU]のような範囲内にあってもよい。
ii. 一例において、直近に復号化されたVPDUのピクチャ/スライス/タイル/ブリック/他の映像処理ユニットの左上隅に対して、(xPrevVPDU,yPrevVPDU)を左上位置として表し、yPrevVPDU%(nHVPDU)が0に等しくない場合、特定の位置(x,y)は、利用不可能とマークを付けることができる。
1. 一例において、xは、[xPrevVPDU-WVPDU+2mWVPDU)% mWVPDU,((xPrevVPDU-WVPDU+2mWVPDU)% mWVPDU)-1+WVPDU]のような範囲内にあってもよい。
2. 一例において、yは、[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU]のような範囲内にあってもよい。
3. 一例において、xは、[xPrevVPDU-WVPDU+2mWVPDU)% mWVPDU,((xPrevVPDU-WVPDU+2mWVPDU)% mWVPDU)-1+WVPDU]のような範囲内にあってもよく、yは、[yPrevVPDU%(nHVPDU),(yPrevVPDU%(nHVPDU))-1+HVPDU]のような範囲内にあってもよい。
【0151】
48. 1つのCUが複数のVPDUを含む場合、VPDUに基づくIBC参照可用性マーキング処理を適用する代わりに、IBC参照可用性マーキング処理は以下のCUに従ってもよい。
a. 一例において、複数のVPDUを含むCUを復号化する開始時に、CU内のVPDUを復号化する前に、各VPDUごとにIBC参照可用性マーキング処理を適用してもよい。
b. このような場合、128×64個のIBCブロックと64×128個のIBCブロックとは許可されないことがある。
i. 一例において、128×64および64×128個のCUのためのpred_mode_ibc_flagは送信されなくてもよく、0に等しいと推測されてもよい。
【0152】
49. 参照ブロックまたはサブブロックの場合、右上隅の参照可用性ステータスをチェックして、この参照ブロックに関連付けられたブロックベクトルが有効であるかどうかを判断する必要がない場合がある。
a. 一例において、ブロックベクトルが有効であるか否かを判断して、ブロック/サブブロックの左上、左下、右下の角のみをチェックする。
【0153】
50. IBCバッファサイズは、VPDUのサイズ(幅/高さはvSizeで表される)および/またはCTB/CTUのサイズ(幅/高さはctbSizeで表される)に依存してもよい。
a. 一例において、バッファの高さはctbSizeに等しくてもよい。
b. 一例において、バッファの幅は、min(ctbSize,64)に依存してもよい。
i. 一例において、バッファの幅は、(128*128/vSize,min(ctbSize,64))であってもよい。
【0154】
51. IBCバッファは、画素範囲外の値を含んでもよく、このことは、この位置がIBC参照に利用可能でない(例えば、他のサンプルの予測に利用されない)可能性があることを示す。
a. サンプル値は、サンプルが利用不可能であることを示す値に設定してもよい。
b. 一例において、この値は、-1であってもよい。
c. 一例において、この値は、[0,1<<(internal_bit_depth)-1]の外側の任意の値であってもよく、internal_bit_depthは正の整数値である。
例えば、internal_bit_depthは、1つの色成分のサンプルを符号化/復号化するために使用される内部ビット深度である。
d. 一例において、この値は、[0, 1<<(input_bit_depth)- 1]の範囲外の任意の値であってもよく、input_bit_depthは正の整数値である。例えば、input_bit_depthは、1つの色成分のサンプルを符号化/復号化するために使用される入力ビット深度である。
【0155】
52. IBCバッファにおけるサンプルの可用性マーキングは、現在のブロックの位置、現在のブロックのサイズ、CTU/CTBのサイズ、およびVPDUのサイズに依存してもよい。一例において、(xCb,yCb)は、ピクチャの左上に対するブロックの位置を表し、ctbSizeは、CTU/CTBのサイズ(即ち、幅および/または高さ)であり、vSize=min(ctbSize,64)であり、wIbcBufおよびhIbcBufは、IBCバッファの幅および高さである。
a. 一例において、(xCb%vSize)が0に等しく、(yCb%vSize)が0に等しい場合、IBCバッファにおける特定の位置のセットは、利用不可能とマークを付けることができる。
b. 一例において、現在のブロックのサイズがVPDUのサイズ、即ち、min(ctbSize,64)より小さい場合、利用不可能とマークを付けられた領域は、VPDUのサイズに従ってもよい
c. 一例において、現在のブロックのサイズがVPDUのサイズより大きい場合、即ち、min(ctbSize,64)である場合、利用不可能とマークを付けられた領域は、CUのサイズに従ってもよい。
【0156】
53. ピクチャの左上位置に対する映像ユニット(例えば、VPDU(xV,yV))の復号化の開始時に、IBCバッファにおける対応する位置は、画素範囲外の値に設定してもよい。
a. 一例において、バッファにおける位置(x%wIbcBuf,y%hIbcBuf)を有し、x=xV、...、xV+ctbSize-1、y=yV、...、yV+ctbSize-1を有するバッファサンプルは、値-1に設定される。wIbcBufおよびhIbcBufは、IBCバッファの幅および高さであり、ctbSizeは、CTU/CTBの幅である。
i. 一例において、hIbcBufはctbSizeに等しくてもよい。
【0157】
54. ビットストリーム適合性の制約は、IBCバッファにおけるサンプルの値に従ってもよい。
a. 一例において、IBCバッファにおける1つのブロックベクトルに関連付けられた1つの参照ブロックが画素範囲外の値を含む場合、このビットストリームは不正である可能性がある。
【0158】
55. IBCバッファにおける可用性表示に基づいて、ビットストリーム適合性の制約を設定してもよい。
a. 一例において、IBCバッファにマッピングされたいずれかの参照サンプルが、1つのブロックを符号化/復号化するために利用不可能とマークを付けられた場合には、このビットストリームは不正である可能性がある。
b. 一例において、singletreeが使用される場合、1つのブロックを符号化/復号化するためにIBCバッファにマッピングされたいずれかの輝度参照サンプルが利用不可能とマークを付けられた場合には、このビットストリームは不正である可能性がある。
c. 1つの適合ビットストリームは、IBC符号化ブロックの場合、関連付けられたブロックベクトルがIBCバッファにマッピングされた1つの参照ブロックを指してもよく、1つのブロックを符号化/復号化するためにIBCバッファに位置する各輝度参照サンプルには利用可能なものとしてマークを付けることを満たすことができる(例えば、サンプルの値は、[K0,K1]の範囲内にあり、例えば、K0が0に設定され、K1が(1<<BitDepth-1)に設定され、BitDepthは、内部ビット深度または入力ビット深度である)。
【0159】
56. ビットストリーム適合性の制約は、分割木のタイプおよび現在のCUの符号化のtreeTypeに依存してもよい。
a. 一例において、dualtreeが高レベル(例えば、スライス/ピクチャ/ブリック/タイル)で許可され、現在の映像ブロック(例えば、CU/PU/CB/PB)がシングルツリーで符号化される場合、ビットストリーム制約は、IBCバッファにマッピングされたすべての成分の位置が利用不可能としてマークされているかどうかをチェックする必要がある場合もある。
b. 一例において、dualtreeがハイレベル(例えば、スライス/ピクチャ/ブリック/タイル)で許可され、現在の輝度映像ブロック(例えば、CU/PU//CB/PB)がデュアルツリーで符号化されている場合には、ビットストリームの制約により、クロマ成分のIBCバッファ内にマッピングされた位置が利用不可能としてマークされているかどうかを無視してもよい。
i. 代替的に、このような場合、ビットストリーム制約は、依然として、IBCバッファにマッピングされたすべての成分の位置が利用不可能としてマークされているかどうかをチェックすることもある。
c. 一例において、シングルツリーが使用される場合、ビットストリーム制約は、IBCバッファにマッピングされたクロマ成分の位置が利用不可能であるか否かを無視することができる。
【0160】
現在のVTM設計の改善
【0161】
57. IBCの予測は、再構成よりも低い精度を有していてもよい。
a. 一例において、予測値は、値clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<bに基づいており、pは、再構成されたサンプル値であり、bは、予め規定されたビットシフト値であり、bitdepthは、予測サンプルビットのビット深度である。
b. 一例において、予測値は、値clip{{p+[1<<(b-1)-1]}>>b,0,(1<<bitdepth)-1}<<bに基づいており、pは、再構成されたサンプル値であり、bは、予め規定されたビットシフト値である。
c. 一例において、予測値は、値((p>>b)+(1<<(bitdepth-1)))<<bに基づいており、ビット深度は、予測サンプルのビット深度である。
d. 一例において、予測値は、値(clip((p>>b),0,(1<<(bitdepth-b)))+(1<<(bitdepth-1)))<<bに基づいており、ビット深度は、予測サンプルのビット深度である。
e. 一例において、予測値は、ILRが適用されるかどうかに基づいて、異なる方法でクリップされる。
f. 上記例において、bは、ビット深度から入力サンプルビット深度を引いたものとして再構成されてもよい。
g. 一例において、出力ビット深度/入力ビット深度/内部ビット深度と比較したビット深度またはビット深度の差は、SPS/PPS/シーケンスヘッダ/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/タイルヘッダまたは他の種類の映像データユニットにおいて信号通知されてもよい。
【0162】
58. IBCの予測の一部はより精度が低くてもよく、他の部分は再構成と同じ精度を有する。
a. 一例において、許容される参照領域は、異なる精度(例えば、ビット深度)を有するサンプルを含んでもよい。
b. 一例において、現在の64×64ブロックが復号化されていない他の64×64ブロックからの参照は、精度が低く、現在の64×64ブロックからの参照は、再構成と同じ精度を有する。
c. 一例において、復号化されている現在のCTU以外のCTUからの参照は精度が低く、現在のCTUからの参照は再構成と同じ精度を有する。
d. 一例において、特定の色成分の集まりからの参照は精度が低く、他の色成分からの参照は再構成と同じ精度を有する。
【0163】
59. CTUのサイズがM×Mであり、参照領域のサイズがnM×nMである場合、参照領域は、CTUの行における最も近い利用可能なn×n CTUである。
a. 一例において、参照領域のサイズが128×128であり、CTUのサイズが64×64である場合、1つのCTU行における最も近い利用可能な4つのCTUをIBC参照に使用できる。
b. 一例において、参照領域のサイズが128×128であり、CTUのサイズが32×32である場合、1つのCTU行における最も近い利用可能な16個のCTUをIBC参照に使用できる。
【0164】
60. CTUのサイズがMであり、参照領域のサイズがnMである場合、参照領域は、CTUの行/タイルにおける最も近い利用可能なn-1個のCTUである。
a. 一例において、参照領域のサイズが128×128または256×64であり、CTUのサイズが64×64である場合、1つのCTU行における最も近い利用可能な3つのCTUをIBC参照に使用できる。
b. 一例において、参照領域のサイズが128×128または512×32であり、CTUのサイズが32×32である場合、1つのCTU行における最も近い利用可能な15個のCTUをIBC参照に使用できる。
【0165】
61. CTUのサイズがMである場合、VPDUのサイズはkMであり、参照領域のサイズはnMであり、参照領域はCTUの行/タイルにおける最も近い利用可能なn-k個のCTUである。
a. 一例において、CTUのサイズは64×64であり、VPDUのサイズも64×64であり、参照のサイズは128×128であり、1つのCTUの行における最も近い3つのCTUをIBC参照のために使用できる。
b. 一例において、CTUのサイズは32×32であり、VPDUのサイズは64×64であり、参照のサイズは128×128であり、1つのCTU行における最も近い(16-4)=12個のCTUをIBC参照のために使用できる。
【0166】
62. IBCを使用して、左上隅が(x,y)であるw×hブロックの場合、参照ブロックをメモリ再利用のための特定の領域から守る制約があり、wおよびhは、現在のブロックの幅および高さである。
a. 一例において、CTUのサイズが128×128であり、(x,y)=(m×64,n×64)である場合、参照ブロックは、((m-2)×64,n×64)から始まる64×64の領域と重複することはできない。
b. 一例において、CTUのサイズが128×128である場合、参照ブロックは、w×hブロックの左上隅が(x-128,y)である場合に重複することはできない。
c. 一例において、CTUのサイズが128×128である場合、(x+BVx,y+BVy)は、左上隅は(x-128,y)であるw*hブロック内に存在することはなく、BVxおよびBVyは、現在のブロックのブロックベクトルを表す。
d. 一例において、CTUのサイズがM×Mであり、IBCバッファサイズがk×M×Mである場合、参照ブロックは、w×hブロックと重複することができず、左上隅は(x-k×M,y)であり、BVxおよびBVyは、現在のブロックのブロックベクトルを表す。
e. 一例において、CTUのサイズがM×Mであり、IBCバッファサイズがk×M×Mである場合、(x+BVx,y+BVy)は、w×hイントラブロック内に存在することはなく、左上隅は(x-k×M,y)であり、BVxおよびBVyは、現在のブロックのブロックベクトルを表す。
【0167】
63. CTUのサイズがM×Mでなく、参照領域のサイズがnM×nMである場合、参照領域は、CTUの行における最も近い利用可能なn×n-1個のCTUである。
a. 一例において、参照領域のサイズが128×128であり、CTUのサイズが64×64である場合、1つのCTU行における最も近い利用可能な3つのCTUをIBC参照に使用できる。
b. 一例において、参照領域のサイズが128×128であり、CTUのサイズが32×32である場合、1つのCTU行における最も近い利用可能な15個のCTUをIBC参照に使用できる。
【0168】
64. (2m*64,2n*64)から始まる64×64のブロックのCU、即ち128×128CTUにおける左上の64×64ブロックの場合、そのIBC予測は、((2m-2)*64,2n*64)から始まる64×64ブロック、((2m-1)*64,2n*64)から始まる64×64ブロック、および((2m-1)*64,(2n+1)*64)から始まる64×64ブロック、および現在の64×64ブロックにおける再構成サンプルから行うことができる。
【0169】
65. ((2m+1)*64、(2n+1)*64)から始まる64×64ブロックのCU、すなわち、128×128CTUにおける右下の64×64ブロックの場合、そのIBC予測は、現在の128×128CTUからであってもよい。
【0170】
66. ((2m+1)*64,2n*64)から始まる64×64のブロックのCU、即ち128×128CTUにおける右上の64×64ブロックの場合、そのIBC予測は、((2m-1)*64, 2n*64)から始まる64×64ブロック、((2m-1)*64,(2n+1)*64)から始まる64×64ブロック、および(2m*64,2n*64)から始まる64×64ブロック、および現在の64×64ブロックにおける再構成サンプルから行うことができる。
a. 代替的に、(2m*64,(2n+1)*64)から始まる64×64ブロックを再構成した場合、IBC予測は、((2m-1)*64,2n*64)から始まる64×64ブロック、(2m*64,2n*64)から始まる64×64ブロック、(2m*64,(2n+1)*64)から始まる64×64ブロック、および現在の64×64ブロックにおける再構成サンプルから行うことができる。
【0171】
67. (2m*64,(2n+1)*64)から始まる64×64ブロックのCU、即ち128×128CTUにおける左下の64×64ブロックの場合、そのIBC予測は、((2m-1)*64,(2n+1)*64)から始まる64×64ブロック、(2m*64,2n*64)から始まる64×64ブロック、((2m+1)*64,2n*64)から始まる64×64ブロック、および現在の64×64ブロックにおける再構成サンプルから行うことができる。
a. 代替的に、((2m+1)*64,2n*64)から始まる64×64ブロックを再構成されていない場合、IBC予測は、((2m-1)*64,2n*64)から始まる64×64ブロック、((2m-1)*64,(2n+1)*64)から始まる64×64ブロック、(2m*64,2n*64)から始まる64×64ブロック、および現在の64×64ブロックにおける再構成サンプルから行うことができる。
【0172】
68. 現在のCUがどの64×64ブロックに属するかに基づいて、参照領域を調整することが提案される。
a. 一例において、(x,y)から始まるCUの場合、(y>>6)&1==0のとき、((x>>6<<6)-128,y>>6<<6)および((x>>6<<6)-64,y>>6<<6)から始まる2つまたは2つ前までの64×64ブロックは、IBCモードによって参照することができる。
b. 一例において、(x,y)から始まるCUの場合、(y>>6)&1==1であるとき、((x>>6<<6)-64,y>>6<<<6)から始まる1つの前の64×64ブロックは、IBCモードによって参照することができる。
【0173】
69. (x,y)から始まり、ブロックベクトル(BVx,BVy)を有するブロックの場合、isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))がtrueならば、ブロックベクトルは無効である。
a. 一例において、ブロックは輝度ブロックである。
b. 一例において、このブロックは、4:4:4フォーマットではクロマブロックである。
c. 一例において、このブロックは、輝度成分およびクロマ成分の両方を含む。
【0174】
70. (x,y)から始まり、ブロックベクトル(BVx,BVy)を有する4:2:0形式のクロマブロックの場合、isRec(((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))がtrueならば、ブロックベクトルは無効である。
【0175】
71. 成分cのブロックに対してBVが無効であるかどうかの判定は、輝度サンプルのみをチェックする代わりに、成分Xのサンプルの可用性に依存してもよい。
a. (x,y)から始まり、ブロックベクトル(BVx,BVy)を有する成分cのブロックの場合、isRec(c,((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))がtrueであれば、ブロックベクトルは無効として扱ってもよい。
i. 一例において、このブロックは、輝度ブロックである(例えば、cは、輝度成分であるか、またはRGB符号化のためのG成分である)。
ii. 一例において、このブロックは、4:4:4フォーマットのクロマブロックである(例えば、cは、cbまたはcr成分、またはRGB符号化のためのB/R成分である)。
iii. 一例において、例えば、このブロックは、輝度およびクロマ成分の両方を含むなど、輝度およびクロマ成分の両方のためのサンプルの可用性がチェックしてもよい。
b. 成分cの(x,y)から始まり、ブロックベクトル(BVx,BVy)を有する4:2:0形式のクロマブロックの場合、isRec(c,((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))がtrueである場合、ブロックベクトルは、無効として扱ってもよい。
c. 成分cの(x,y)から始まり、ブロックベクトル(BVx,BVy)を有するクロマブロックまたはサブブロックの場合、クロマ成分のためのisRec(c,x+BVx+Chroma_CTU_size,y)がtrueである場合、ブロックベクトルは無効として扱ってもよく、Chroma_CTU_sizeは、クロマ成分のCTUサイズである。
i. 一例において、4:2:0フォーマットの場合、Chroma_CTU_sizeは64であってもよい。
ii. 一例において、クロマサブブロックは、4:2:0フォーマットの2×2ブロックであってもよい。
iii. 一例において、クロマサブブロックは、4:4:4フォーマットの4×4ブロックであってもよい。
iv. 一例において、クロマサブブロックは、輝度成分における最小CUサイズに対応しうる。
1. 代替的に、クロマサブブロックは、クロマ成分の最小CUサイズに対応してもよい。
【0176】
72. 上述したすべての黒丸印について、参照バッファは複数のM×Mブロック(M=64)を含むと仮定する。しかしながら、これは、参照バッファが複数のN×M個のブロックを含む(例えば、N=128、M=64)等の他の場合にも拡張できる。
【0177】
73. 上述したすべての黒丸印に対して、参照バッファが現在のブロックと同じブリック/タイル/タイルグループ/スライス内にあるべきであるという、さらなる制限を適用してもよい。
a. 一例において、参照バッファの一部が現在のブリック/タイル/タイルグループ/スライスの外にある場合、IBCの使用は無効にされ得る。IBC関連構文要素の信号通知はスキップしてもよい。
b. 代替的に、参照バッファの一部が現在のブリック/タイル/タイルグループ/スライスの外にある場合、IBCは1つのブロックに対して依然として有効化される可能性があるが、1つのブロックに関連付けられたブロックベクトルは残りの参照バッファのみを指してもよい。
【0178】
74. IBCの参照領域として、現在のVPDUを除き、利用可能であれば、CTU/CTB行の第1のVPDU行において、K1個の最近符号化VPDUを有し、可能であれば、CTU/CTB行の第2のVPDU行において、K2個の最近符号化VPDUを有することが提案される。
a. 一例において、K1は2に等しく、K2は1に等しい。
b. 一例において、上記方法は、CTU/CTBサイズが128×128であり、VPDUサイズが64×64である場合に適用されてもよい。
c. 一例において、上記方法は、CTU/CTBサイズが64×64であり、VPDUサイズが64×64および/または32×32である場合に適用されてもよい。
d. 一例において、上記方法は、CTU/CTBサイズが32×32であり、VPDUサイズが32×32以下である場合に適用されてもよい。
【0179】
75. 上述した方法は、異なる段階で適用されてもよい。
a. 一例において、ブロックベクトル(BV)のモジュール演算(例えば、mod b)を、BVの可用性チェック処理において呼び出して、BVが有効であるか否かを判定してもよい。
b. 一例において、ブロックベクトル(BV)のモジュール演算(例えば、mod b)を呼び出して、IBC仮想バッファまたは再構成ピクチャバッファにおける参照サンプルの位置(例えば、現在のサンプルの位置およびBVのモジュール結果に基づいて)を特定してもよい(例えば、インループフィルタリング処理の前)。
【0180】
5. 実施形態
【0181】
5.1 実施形態#1
【0182】
IBCのためのバッファの1つの実装形態を以下に説明する。
【0183】
バッファサイズは128×128である。CTU のサイズも128×128である。1つのCTU行における第1のCTUの符号化のために、バッファは128(8ビットの映像信号の場合)で初期化される。CTU行におけるk番目のCTUを符号化するために、バッファは、(k-1)番目のCTUのループフィルタリングの前に、再構成で初期化される。
【0184】
図3は、(x,y)から始まるブロックの符号化を例示する。
【0185】
現在のCTUに関する(x,y)から始まるブロックを符号化する場合、ブロックベクトル(BVx,BVy)=(x-x0,y-y0)をデコーダに送信し、参照ブロックがIBCバッファにおける(x0,y0)からであることを示す。それぞれ、ブロックの幅をwとし、ブロックの高さをhとする。ブロックの符号化を終えるとき、IBCバッファにおける(x,y)から始まるwxh領域は、ループフィルタリング前のブロックの再構成によって更新される。
【0186】
5.2 実施形態#2
【0187】
図4は、前回符号化された64×64ブロックを選択するための、考えられる代替方法を例示する。
【0188】
5.3 実施形態#3
【0189】
図5は、64×64ブロックの符号化/復号化の順序を変更することができる代替方法を例示する。
【0190】
5.4 実施形態#4
【0191】
図8は、64×64ブロックの復号化の順序が上から下へ、左から右である場合、前回の符号化された64×64ブロックを選択する別の考えられる代替方法を示す。
【0192】
5.5 実施形態#5
【0193】
図9は、前回の符号化された64×64ブロックを選択する別の考えられる代替方法を示す。
【0194】
5.6 実施形態#6
【0195】
図11は、64×64ブロックの復号化の順序が左から右、上から下である場合、前回の符号化された64×64ブロックを選択するための別の考えられる代替方法を示す。
【0196】
5.7 実施形態#7
【0197】
CTUのサイズがW×Wであり、デコーダにおいて、サイズがmW×Wであり、ビット深度がBであるIBCバッファを実装すると、以下のようになる。
【0198】
CTU行の復号化の開始時に、バッファを値(1<<(B-1))で初期化し、更新の開始点(xb,yb)を(0,0)に設定する。
【0199】
CTUの左上隅に関する、サイズがw×hである(x,y)から始まるCUを復号化する場合、ビット深度をBビットに整列させた後、(xb+x,yb+y)およびw×hサイズから始まる領域を、CUの再構成された画素値で更新する。
【0200】
CTUを復号化した後、更新開始点(xb,yb)を((xb+W)mod mW,0)と設定する。
【0201】
ブロックベクトル(BVx,BVy)を有するIBC CUを復号化するとき、CTUの左上隅に関する任意の画素(x,y)について、予測信号のビット深度にビット深度整列した後、バッファの位置((x+BVx)mod mW,(y+BVy)mode W)からその予測を抽出する。
【0202】
一例において、Bは7または8に設定され、一方、ブロックの出力/入力ビット深度は10に等しくてもよい。
【0203】
5.8 実施形態#8
【0204】
ピクチャの左上隅に関する(x,y)およびブロックベクトル(BVx,BVy)から始まる輝度CUまたは結合輝度/クロマCUの場合、ブロックベクトルは、isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))がtrueの場合は無効である。
【0205】
ピクチャの左上隅に関する(x,y)およびブロックベクトル(BVx,BVy)から始まるクロマCUの場合、ブロックベクトルは、isRec(((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))がtrueの場合は無効である。
【0206】
5.9 実施形態#9
【0207】
ピクチャの左上隅に関する4:2:0形式の(x,y)から始まるクロマブロックまたはサブブロック、およびブロックベクトル(BVx,BVy)の場合、isRec(c,(x+BVx+64,y+BVy)がtrueで、cがクロマ成分であるとき、ブロックベクトルは無効である。
【0208】
ピクチャの左上隅に関する、4:4:4形式の(x,y)から始まるクロマブロックまたはサブブロック、およびブロックベクトル(BVx,BVy)の場合、isRec(c,(x+BVx+64,y+BVy)がtrueで、cがクロマ成分であるとき、ブロックベクトルは無効である。
【0209】
5.10 実施形態#10
【0210】
ピクチャの左上隅に関する(x,y)およびブロックベクトル(BVx,BVy)から始まる輝度CUまたは結合輝度/クロマCUの場合、ブロックベクトルは、isRec(((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))がtrueの場合は無効である。
【0211】
ピクチャの左上隅に関する、4:2:0形式の(x,y)から始まるクロマブロックまたはサブブロック、およびブロックベクトル(BVx,BVy)の場合、isRec(c,((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))がtrueで、cがクロマ成分であるとき、ブロックベクトルは無効である。
【0212】
5.11 実施形態#11
【0213】
本実施形態においては、現在のVPDUを除き、第1のVPDUの行にある2つの最も符号化されたVPDUと、第1のCTU/CTBの行の第2のVPDUの行にある1つの最も符号化されたVPDUとを保持する実装が強調される。
【0214】
符号化順が上から下へ、左から右への場合、参照領域は
図13のように示される。
【0215】
VPDUの符号化順が左から右および上から下であり、かつ、現在のVPDUがピクチャ境界の右側にない場合、参照領域は、
図14のように示される。
【0216】
VPDUの符号化順が左から右および上から下であり、かつ現在のVPDUがピクチャ境界の右側にある場合、参照領域を
図15として示すことができる。
【0217】
輝度ブロック(x,y)のサイズがw×hだとすると、ブロックベクトル(BVx,BVy)は有効であるか、どうかは以下の条件をチェックすることによって知ることができる。
【0218】
isRec(((x+BVx+128)>>6<<6)-(refy&0x40)+(x%64),((y+BVy)>>6<<6)+(refy>>6==y>>6)?(y%64):0)。ここでは、refy=(y&0x40)?(y+BVy):(y+BVy+w-1)。
【0219】
上記関数がtrueを返す場合、ブロックベクトル(BVx,BVy)は無効であり、そうでない場合、ブロックベクトルは有効であり得る。
【0220】
5.12 実施形態#12
【0221】
CTUのサイズが192×128である場合、サイズが192×128の仮想バッファが維持されてIBCの参照サンプルを追跡する。
【0222】
ピクチャの左上隅に対するサンプル(x,y)は、バッファの左上隅に対する位置(x%192,y%128)に関連付けられる。以下のステップは、IBC参照のために仮想バッファに関連付けられたサンプルの可用性をどのようにマークするかを示す。
【0223】
ピクチャの左上隅に対する位置(xPrevVPDU,yPrevVPDU)を記録して、直近に復号化されたVPDUの左上のサンプルを表す。
1) 1つのVPDU行の復号化の開始時に、バッファのすべての位置が利用不可能とマークされる。(xPrevVPDU,yPrevVPDU)は、(0,0)として設定される。
2) VPDUの第1のCUの復号化開始時に、x=(xPrevVPDU-2WVPDU+2mWVPDU)%(mWVPDU),..,((xPrevVPDU-2WVPDU+2mWVPDU)%(mWVPDU))-1+WVPDU;and y=yPrevVPDU%(nHVPDU),..,(yPrevVPDU%(nHVPDU))-1+HVPDUの場合の位置(x,y)を利用不可能としてマークしてもよい。そして、(xPrevVPDU,yPrevVPDU)を(xCU,yCU)として、即ち、CUのピクチャに対する左上位置に設定する。
3) 1つのCUを復号化した後、x=xCU%(mWVPDU),...,(xCU+CU_width-1)%(mWVPDU)およびy=yCU%(nHVPDU),...,(yCU+CU_height-1)%(nHVPDU)の場合の位置(x,y)は、利用可能としてマークされる。
4)ブロックベクトル(xBV,yBV)を有するIBCCUの場合、x=(xCU+xBV)%(mWVPDU),...,(xCU+xBV+CU_width-1)%(mWVPDU)およびy=(yCU+yBV)%(nHVPDU),...,(yCU+yBV+CU_height-1)%(nHVPDU)の場合の位置(x,y)は、利用不可能としてマークされ、ブロックベクトルは、無効であると考えられる。
【0224】
図16は、ピクチャにおけるバッファ状態をVPDUの復号化状態とともに示す。
【0225】
5.13 実施形態#13
【0226】
CTUのサイズが128×128であるか、またはCTUのサイズがVPDUのサイズよりも大きい(例えば、現在の設計においては、64×64)場合、またはCTUのサイズがVPDUのサイズよりも大きい(例えば、現在の設計においては、64×64)場合には、サイズ192×128の仮想バッファを維持してIBCのための参照サンプルを追跡する。以下、a<0の場合、(a % b)をfloor(a/b)*bとして定義し、floor(c)は、c以下の最大の整数を返す。
【0227】
ピクチャの左上隅に対するサンプル(x,y)は、バッファの左上隅に対する位置(x%192,y%128)に関連付けられる。以下のステップは、IBC参照のために仮想バッファに関連付けられたサンプルの可用性をどのようにマークするかを示す。
【0228】
ピクチャの左上隅に対する位置(xPrevVPDU,yPrevVPDU)を記録して、直近に復号化されたVPDUの左上のサンプルを表す。
1) 1つのVPDU行の復号化の開始時に、バッファのすべての位置が利用不可能とマークされる。(xPrevVPDU,yPrevVPDU)は、(0,0)として設定される。
2) VPDUの第1のCUの復号化の始めに、
a. yPrevVPDU%64が0に等しい場合、x=(xPrevVPDU-128)%192,..,((xPrevVPDU-128)%192)+63;およびy=yPrevVPDU%128,..,(yPrevVPDU%128)+63の位置(x,y)は、利用不可能としてマークされる。そして、(xPrevVPDU,yPrevVPDU)を(xCU,yCU)として、即ち、CUのピクチャに対する左上位置に設定する。
b. そうでない場合、x=(xPrevVPDU-64)%192,..,((xPrevVPDU-64)%192)+63;およびy=yPrevVPDU%128,..,(yPrevVPDU%128)+63の位置(x,y)は、利用不可能としてマークされる。そして、(xPrevVPDU,yPrevVPDU)を(xCU,yCU)として、即ち、CUのピクチャに対する左上位置に設定する。
3) 1つのCUを復号化した後、x=xCU%192,...,(xCU+CU_width-1)%192およびy=yCU%128,...,(yCU+CU_height-1)%128の場合の位置(x,y)は、利用可能としてマークされる。
4) ブロックベクトル(xBV,yBV)を有するIBCCUの場合、x=(xCU+xBV)%192,...,(xCU+xBV+CU_width-1)%192およびy=(yCU+yBV)%128,...,(yCU+yBV+CU_height-1)%128の場合の位置(x,y)は、利用不可能としてマークされ、ブロックベクトルは、無効であると考えられる。
【0229】
CTUのサイズがS×Sである場合、Sが128に等しくないので、Wbufを128*128/Sに等しくする。サイズWbufxSの仮想バッファが維持して、IBCの参照サンプルを追跡する。この場合、VPDUのサイズはCTUのサイズに等しい。
【0230】
ピクチャの左上隅に対する位置(xPrevVPDU,yPrevVPDU)を記録して、直近に復号化されたVPDUの左上のサンプルを表す。
1) 1つのVPDU行の復号化の開始時に、バッファのすべての位置が利用不可能とマークされる。(xPrevVPDU,yPrevVPDU)は、(0,0)として設定される。
2) VPDUの第1のCUの復号化の開始時に、x=(xPrevVPDU-Wbuf*S)%S,..,((xPrevVPDU-Wbuf*S)%S)+S-1;andy=yPrevVPDU%S,..,(yPrevVPDU%S)+S-1の場合の位置(x,y)は、利用不可能であるとマークされる。そして、(xPrevVPDU,yPrevVPDU)を(xCU,yCU)として、即ち、CUのピクチャに対する左上位置に設定する。
3) 1つのCUを復号化した後、x=xCU%(Wbuf),...,(xCU+CU_width-1)%(Wbuf)およびy=yCU%S,...,(yCU+CU_height-1)%Sである場合の位置(x,y)は、利用可能としてマークされる。
4) ブロックベクトル(xBV,yBV)を有するIBCCUの場合、x=(xCU+xBV)%(Wbuf),...,(xCU+xBV+CU_width-1)%(Wbuf)およびy=(yCU+yBV)%S,...,(yCU+yBV+CU_height-1)%Sの場合の位置(x,y)は、利用不可能としてマークされ、ブロックベクトルは、無効であると考えられる。
【0231】
5.14 実施形態#14
【0232】
CTUのサイズが128×128であるか、またはCTUのサイズがVPDUのサイズよりも大きい(例えば、現在の設計においては、64×64)場合、またはCTUのサイズがVPDUのサイズよりも大きい(例えば、現在の設計においては、64×64)場合には、サイズ256×128の仮想バッファを維持してIBCのための参照サンプルを追跡する。以下、a<0の場合、(a%b)をfloor(a/b)*bとして定義し、floor(c)は、c以下の最大の整数を返す。
【0233】
ピクチャの左上隅に対するサンプル(x,y)は、バッファの左上隅に対する位置(x%256,y%128)に関連付けられる。以下のステップは、IBC参照のために仮想バッファに関連付けられたサンプルの可用性をどのようにマークするかを示す。
【0234】
ピクチャの左上隅に対する位置(xPrevVPDU,yPrevVPDU)を記録して、直近に復号化されたVPDUの左上のサンプルを表す。
1) 1つのVPDU行の復号化の開始時に、バッファのすべての位置が利用不可能とマークされる。(xPrevVPDU,yPrevVPDU)は、(0,0)として設定される。
2) VPDUの第1のCUの復号化の始めに、
a. yPrevVPDU%64が0に等しい場合、x=(xPrevVPDU-128)%256,..,((xPrevVPDU-128)%256)+63;およびy=yPrevVPDU%128,..,(yPrevVPDU%128)+63の位置(x,y)は、利用不可能としてマークされる。そして、(xPrevVPDU,yPrevVPDU)を(xCU,yCU)として、即ち、CUのピクチャに対する左上位置に設定する。
b. そうでない場合、x=(xPrevVPDU-64)%256,..,((xPrevVPDU-64)%256)+63;およびy=yPrevVPDU%128,..,(yPrevVPDU%128)+63の位置(x,y)は、利用不可能としてマークされる。そして、(xPrevVPDU,yPrevVPDU)を(xCU,yCU)として、即ち、CUのピクチャに対する左上位置に設定する。
3) 1つのCUを復号化した後、x=xCU%256,...,(xCU+CU_width-1)%256およびy=yCU%128,...,(yCU+CU_height-1)%128の場合の位置(x,y)は、利用可能としてマークされる。
4) ブロックベクトル(xBV,yBV)を有するIBCCUの場合、x=(xCU+xBV)%256,...,(xCU+xBV+CU_width-1)%256およびy=(yCU+yBV)%128,...,(yCU+yBV+CU_height-1)%128の場合の位置(x,y)は、利用不可能としてマークされ、ブロックベクトルは、無効であると考えられる。
【0235】
CTUのサイズが128×128でない、または64×64未満である、または64×64未満である場合、前の実施例、すなわち、実施形態#14と同じ処理が適用される。
【0236】
5.15 実施形態#15
【0237】
IBC参照可用性マーキング処理を以下のように説明する。この文書では、その変更を太字、下線、イタリック体で示している。
【0238】
【0239】
【0240】
BufWidth は(CtbSizeY==128)?256:(128*128/CtbSizeY)に等しく、BufHeightはCtbSizeYに等しい。
【0241】
7.3.7.5 符号化ユニット構文
【0242】
【0243】
8.6.2 IBCブロックの動きベクトル成分の導出処理
【0244】
8.6.2.1 一般
...
8.6.3.2項のブロックベクトルmvLでブロックベクトル妥当性検査処理が呼び出される時に、isBVvalidがtrueであることが、ビットストリーム共同性能の要件である。...
【0245】
8.6.3 ibcブロックの復号化処理
【0246】
8.6.3.1 一般
【0247】
この処理は、ibc予測モードで符号化された符号化ユニットを復号化するときに呼び出される。
【0248】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight、
- 水平および垂直方向の輝度符号化サブブロックの数を規定する変数numSbXおよびnumSbY、
- 動きベクトルmv[xSbIdx][ySbIdx]withxSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1、- 現在のブロックの色成分インデックスを規定する変数cIdx。
- a (nIbcBufW)×(ctbSize)array ibcBuf
...
【0249】
xSbIdx=0..numSbX-1,およびySbIdx=0..numSbY-1である場合のサブブロックインデックス(xSbIdx,ySbIdx)の各コーディングサブブロックに対して、以下が適用される。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサンプルを規定する輝度位置(xSb,ySb)は、以下のように導出される。
(xSb,ySb)=(xCb+xSbIdx*sbWidth,yCb+ySbIdx*sbHeight) (8-913)
【0250】
cIdxが0に等しい場合、nIbcBufWをibcBufferWidthに設定し、そうでない場合、nIbcBufWを(ibcBufferWidth/SubWidthC)に設定する。以下のことが適用される。
predSamples[xSb+x][ySb+y]=ibcBuf[(xSb+x+(mv[xSb][ySb][0]>>4))% nIbcRefW][ySb+y+(mv[xSb][ySb][1]>>4)]with x=0..sbWidth-1
and y=0..sbHeight-1.
...
【0251】
8.6.3.2ブロックベクトル妥当性検査処理
【0252】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight、
- 水平および垂直方向の輝度符号化サブブロックの数を規定する変数numSbXおよびnumSbY、
- xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の場合のブロックベクトルmv[xSbIdx][ySbIdx]、
- 現在のブロックの色成分インデックスを規定する変数cIdx、
- a(nIbcBufW)x(ctbSize)array ibcBuf
【0253】
この処理の出力は、ブロックベクトルが有効であるかどうかを示すためのフラグisBVvalidである。
【0254】
以下が適用される
1. isBVvalidはtrueに等しくなるように設定される。
2. ((yCb &(ctbSize-1)+mv[0][0][1]+cbHeight)>ctbSizeの場合、isBVvalidはfalseに等しく設定される。
3. そうでない場合、xSbIdx=0..numSbX-1,およびySbIdx=0..numSbY-1である各サブブロックインデックスxSbIdx,ySbIdxに対しては、ibcBufの左上の輝度サンプルに対するその位置を導出する。
xTL=(xCb+xSbIdx*sbWidth+mv[xSbIdx][ySbIdx][0])&(nIbcBufW-1)
yTL=(yCb&(ctbSize-1))+ySbIdx * sbHeight+mv[xSbIdx][ySbIdx][1]
xBR=(xCb+xSbIdx * sbWidth+sbWidth-1+mv[xSbIdx][ySbIdx][0])&(nIbcBufW-1)
yBR=(yCb &(ctbSize-1))+ySbIdx * sbHeight+sbHeight-1+mv[xSbIdx][ySbIdx][1]
もし(isDecoded[xTL>>2][yTL>>2]==0)あるいは(isDecoded[xBR>>2][yTL>>2]==0)あるいは(isDecoded[xBR>>2][yBR>>2]==0)であれば、isBVvalidはfalseに等しいと設定される。
【0255】
8.7.5ピクチャ再構成処理
【0256】
8.7.5.1 一般
【0257】
この処理への入力は以下の通りである。
- 現在のピクチャ成分の左上のサンプルに対する現在のブロックの左上のサンプルを規定する位置(xCurr,yCurr)、
- 現在のブロックの幅および高さをそれぞれ規定する変数nCurrSwおよびnCurrSh、
- 現在のブロックの色成分を規定する変数cIdx、
- 現在のブロックの予測サンプルを規定するan(nCurrSw)×(nCurrSh) array predSamples、
- 現在のブロックの残差サンプル規定するan(nCurrSw)×(nCurrSh) array 。
【0258】
この処理の出力は以下の通りである。
- 再構成されたピクチャサンプルアレイrecSamples。
- IBC参照アレイibcBuf
...
nIbcBufWはibcBufの幅であることを示し,以下が適用される。
ibcBuf[(xCurr+i)&(nIbcBufW-1)][(yCurr+j)&(ctbSize-1)]=recSamples[xCurr+i][yCurr+j]
with i=0..nCurrSw-1,j=0..nCurrSh-1.
【0259】
5.16 実施形態#16
【0260】
以下の変更を除き、上記実施形態と同じである。
【0261】
【0262】
【0263】
BufWidthは(CtbSizeY==128)?192:(128*128/CtbSizeY)に等しく、BufHeightはCtbSizeYに等しい。
【0264】
5.17 実施形態#17
【0265】
本明細書では、一部の例における変化は、太字、下線を付したテキストで示される。
【0266】
7.3.7 スライスデータ構文
【0267】
7.3.7.1 一般スライスデータ構文
【0268】
【0269】
7.4.8.5 符号化ユニット構文
【0270】
以下のすべての条件がtrueである場合、NumHmvpSmrIbcCandをNumHmvpIbcCandに等しく設定し、HmvpSmrIbcCandList[i]をHmvpIbcCandList[i]に等しく設定してi=0..NumHmvpIbcCand-1とすることにより、共有したマージ候補リスト領域に対する履歴に基づく動きベクトル予測子は更新される。
- IsInSmr[x0][y0]is equal to TRUE.
- SmrX[x0][y0]is equal to x0.
- SmrY[x0][y0]is equal to y0.
【0271】
x=x0..x0+cbWidth-1およびy=y0..y0+cbHeight-1に対して、以下の通り割り当てをする。
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
vSizeをmin(ctbSize,64)、wIbcBufを(128*128/ctbSize)とする。ibcBufの幅および高さは、wIbcBufおよびctbSizeに従う。
refresHIbcBufが1に等しい場合、以下が適用される。
-ibcBuf[x % wIbcBuf][y % ctbSize]=-1,for x=x0..x0+wIbcBuf-1 and y=y0..y0+ctbSize-1
-resetIbcBuf=0
(x0 % vSize)が0に等しく、かつ、(y0 % vSize)が0に等しいとき,但しx=x0..x0+vSize-1 であって y=y0..y0+vSize -1であるが,以下が適用される。
ibcBuf[x % wIbcBuf][y % ctbSize]=-1
【0272】
8.6.2 IBCブロックの動きベクトル成分の導出処理
【0273】
8.6.2.1一般
【0274】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
【0275】
この処理の出力は以下の通りである。
- 1/16分数サンプル精度mvLにおける輝度動きベクトル。
【0276】
輝度動きベクトルmvLは、以下のように導出される。
- 8.6.2.2項で規定されたIBC輝度動きベクトル予測の導出処理は、輝度位置(xCb,yCb)、変数cbWidthおよびcbHeightを入力として呼び出され、その出力は輝度動きベクトルmvLである。
- general_merge_flag[xCb][yCb]が0の場合、以下が適用される
1. 変数mvdは、以下のように導出される。
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
2. 8.5.2.14項で規定されるような動きベクトルの丸め処理は、mvLに等しく設定されたmvXセット、MvShift+2に等しく設定されたrightShiftセット、MvShift+2に等しく設定されたleftShiftセットを入力として呼び出され、丸められたmvLが出力となる。
3. 輝度動きベクトルmvLは、以下のように修正される。
u[0]=(mvL[0]+mvd[0]+218)% 218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0](8-886)
u[1]=(mvL[1]+mvd[1]+218)% 218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)
注1- 上記で指定したmvL[0]およびmvL[1]の結果値は、常に-217~217-1の範囲に含まれる。
【0277】
8.6.2.6項で規定されるような履歴に基づく動きベクトル予測子リストの更新処理は、輝度動きベクトルmvLを使用して呼び出される。
輝度ブロックベクトルmvLが以下の制約に従うべきであることは、ビットストリーム適合性の要件である。
- (((yCb+(mvL[1]>4))% wIbcBuf)+cbHeightがctbSize以下である。
- x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、ibcBuf[(x+(mvL[0]>>4))% wIbcBuf][(y+(mvL[1]>>4))% ctbSize]は-1に等しくならない。
【0278】
8.7.5 ピクチャ再構成処理
【0279】
8.7.5.1 一般
【0280】
この処理への入力は以下の通りである。
- 現在のピクチャ成分の左上のサンプルに対する現在のブロックの左上のサンプルを規定する位置(xCurr,yCurr)、
- 現在のブロックの幅および高さをそれぞれ規定する変数nCurrSwおよびnCurrSh、
- 現在のブロックの色成分を規定する変数cIdx、
- 現在のブロックの予測サンプルを規定するan(nCurrSw)×(nCurrSh)array predSamples、
- 現在のブロックの残差サンプル規定するan(nCurrSw)×(nCurrSh)array predSamples。
【0281】
この処理の出力は、再構成ピクチャサンプルアレイrecSamplesおよびIBCバッファアレイibcBufである。
【0282】
色成分cIdxの値に基づいて、以下の割り当てが行われる。
- cIdxが0に等しい場合、recSamplesは再構成ピクチャサンプルアレイSLに対応し、関数clipCidx1はClip1Yに対応する。
- そうでない場合、cIdxが1に等しければ、tuCbfChromaはtu_cbf_cb[xCurr][yCurr]に等しく設定され、recSamplesは再構成されたクロマサンプル配列SCbに対応し、関数clipCidx1はClip1Cに対応する。
- そうでない場合(cIdxが2に等しい)、tuCbfChromaをtu_cbf_cr[xCurr][yCurr]に等しく設定し、recSamplesは再構成されたクロマサンプル配列SCrに対応し、関数clipCidx1はClip1Cに対応する。
【0283】
slice_lmcs_enabled_flagの値によって、以下が適用される。- slice_lmcs_enabled_flagが0に等しい場合、位置(xCurr,yCurr)における再構成サンプルrecSamplesの(nCurrSw)×(nCurrSh)ブロックは、i=0..nCurrSw-1,j=0..nCurrSh-1に対しては下記のように導出する。
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
- そうでない場合(slice_lmcs_enabled_flagが1に等しい)、以下が適用される。
- cIdxが0に等しい場合、以下が適用される。
- 8.7.5.2項で規定されるような輝度サンプルのマッピング処理を伴うピクチャ再構成は、輝度位置(xCurr,yCurr)、ブロック幅nCurrSwおよび高さnCurrSh、予測輝度サンプル配列preSamples、および残差輝度サンプル配列resSamplesを入力として呼び出され、出力は再構成輝度サンプル配列reCamplesとなる。
-それ以外の場合(cIdxが0より大きい場合)は,8.7.5.3項で規定されているクロマサンプルの輝度依存クロマ残差スケーリング処理によるピクチャ再構成が、クロマの位置(xCurr,yCurr)、変換ブロックの幅nCurrSwおよび高さnCurrSh、現在のクロマ変換ブロックの符号化ブロックフラグtuCbfChroma、予測クロマサンプル配列 predSamples、残差クロマサンプル配列resSamplesを入力として呼び出され、再構成されたクロマサンプル配列recSamplesを出力とする。現在の符号化ユニットを復号化した後、以下が適用される。
ibcBuf[(xCurr+i)% wIbcBuf][(yCurr+j)% ctbSize]=recSamples[xCurr+i][yCurr+j]for i=0..nCurrSw-1,j=0..nCurrSh-1.
【0284】
5.18 実施形態#18
【0285】
本明細書では、いくつかの例における変更を、太字、下線、イタリック体で示している。
【0286】
7.3.7 スライスデータ構文
【0287】
7.3.7.1 一般スライスデータ構文
【0288】
【0289】
7.4.8.5符号化ユニット構文
【0290】
以下のすべての条件がtrueである場合、NumHmvpSmrIbcCandをNumHmvpIbcCandに等しく設定し、HmvpSmrIbcCandList[i]をHmvpIbcCandList[i]に等しく設定してi=0..NumHmvpIbcCand-1とすることにより、共有したマージ候補リスト領域に対する履歴に基づく動きベクトル予測子は更新される。
- IsInSmr[x0][y0]is equal to TRUE.
- SmrX[x0][y0]is equal to x0.
- SmrY[x0][y0]is equal to y0.
【0291】
x=x0..x0+cbWidth-1およびy=y0..y0+cbHeight-1に対して、以下の通り割り当てをする。
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
【0292】
vSizeをmin(ctbSize,64)に、wIbcBufYを(128*128/CtbSizeY)に設定する。
ibcBufLは、幅がwIbcBufYであり、高さがCtbSizeYである配列である。
ibcBufCbおよびibcBufCrは、幅がwIbcBufC=(wIbcBufY/SubWidthC)であり、高さが(CtbSizeY/SubHeightC)であるアレイ、すなわちCtbSizeCである。
【0293】
resetIbcBufが1に等しい場合、以下が適用される。
- ibcBufL[x % wIbcBufY][y % CtbSizeY]=-1,for x=x0..x0+wIbcBufY-1 and y=y0..y0+CtbSizeY-1
- ibcBufCb[x % wIbcBufC][y % CtbSizeC]=-1,for x=x0..x0+wIbcBufC-1 and y=y0..y0+CtbSizeC -1
- ibcBufCr[x % wIbcBufC][ y % CtbSizeC ]=-1,for x=x0..x0+wIbcBufC-1 and y=y0..y0+CtbSizeC-1
- resetIbcBuf=0
【0294】
(x0 % vSizeY)が0と等しく、(y0 % vSizeY)が0と等しい場合、以下が適用される。
- ibcBufL[x % wIbcBufY][y% CtbSizeY]=-1,for x=x0..x0+vSize -1 and y=y0..y0+vSize -1
- ibcBufCb[ x % wIbcBufC][y % CtbSizeC]=-1,for x=x0/SubWidthC..x0/SubWidthC+vSize/ SubWidthC-1 and y=y0/SubHeightC..y0/SubHeightC+vSize/SubHeightC-1
- ibcBufCr[ x % wIbcBufC][y % CtbSizeC]=-1,for x=x0/SubWidthC..x0/SubWidthC+vSize/SubWidthC-1 and y=y0/SubHeightC..y0/SubHeightC+vSize/SubHeightC-1
【0295】
8.6.2 IBCブロックの動きベクトル成分の導出処理
【0296】
8.6.2.1 一般
【0297】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
【0298】
この処理の出力は以下の通りである。
- 1/16分数サンプル精度mvLにおける輝度動きベクトル。
【0299】
輝度動きベクトルmvLは、以下のように導出される。
- 8.6.2.2項で規定されたIBC輝度動きベクトル予測の導出処理は、輝度位置(xCb,yCb)、変数cbWidthおよびcbHeightを入力として呼び出され、その出力は輝度動きベクトルmvLである。
- general_merge_flag[xCb][yCb]が0と等しい場合、以下が適用される。
4. 変数mvdは、以下のように導出される。
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
5. 8.5.2.14項で規定されるような動きベクトルの丸め処理は、mvLに等しく設定されたmvXセット、MvShift+2に等しく設定されたrightShiftセット、MvShift+2に等しく設定されたleftShiftセットを入力として呼び出され、丸められたmvLが出力となる。
6. 輝度動きベクトルmvLは、以下のように修正される。
u[0]=(mvL[0]+mvd[0]+218)% 218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0] (8-886)
u[1]=(mvL[1]+mvd[1]+218)% 218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)注1- 上記で指定したmvL[0]およびmvL[1]の結果値は、常に-217~217-1の範囲に含まれる。
【0300】
8.6.2.6項で規定されるような履歴に基づく動きベクトル予測子リストの更新処理は、輝度動きベクトルmvLを使用して呼び出される。
【0301】
8.6.2.5項は、mvLを入力として、mvCを出力として呼び出される。
輝度ブロックベクトルmvLが以下の制約に従うべきであることは、ビットストリーム適合性の要件である。
- (((yCb+(mvL[1]>4))% CtbSizeY)+cbHeightがCtbSizeY以下である。
- x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、ibcBufL[(x+(mvL[0]>>4))% wIbcBufY][(y+(mvL[1]>>4))% CtbSizeY]は、-1に等しくはならない。
- treeType がSINGLE_TREEに等しい場合、x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1に対しては、,ibcBufCb[(x+(mvC[0]>5))% wIbcBufC][(y+(mvC[1]>>5))% CtbSizeC]]は、-1に等しくはならない。
【0302】
8.6.3 ibcブロックの復号化処理
【0303】
8.6.3.1 一般
【0304】
この処理は、ibc予測モードで符号化された符号化ユニットを復号化するときに呼び出される。
【0305】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight、
- 現在のブロックの色成分インデックス、
- 動きベクトルmv、
- an(wIbcBufY)×(CtbSizeY)array ibcBufL,an(wIbcBufC)×(CtbSizeC)array ibcBufCb, an(wIbcBufC)×(CtbSizeC)array ibcBufCr。
【0306】
この処理の出力は以下の通りである。
- 予測サンプルの配列predSamples。
【0307】
x=xCb..xCb+Width-1およびy=yCb..yCb+Height-1の場合、以下が適用される
cIdxが0に等しい場合
predSamples[x][y]=ibcBufL[(x+mv[0]>>4))% wIbcBufY][(y+(mv[1]>>4))% CtbSizeY]
cIdxが1に等しい場合
predSamples[x][y]=ibcBufCb[(x+mv[0]>>5))% wIbcBufC][(y+(mv[1]>>5))% CtbSizeC]
cIdxが2に等しい場合
predSamples[x][y]=ibcBufCr[(x+mv[0]>>5))% wIbcBufC][(y+(mv[1]>>5))% CtbSizeC]
【0308】
8.7.5ピクチャ再構成処理
【0309】
8.7.5.1一般
【0310】
この処理への入力は以下の通りである。
- 現在のピクチャ成分の左上のサンプルに対する現在のブロックの左上のサンプルを規定する位置(xCurr,yCurr)、
- 現在のブロックの幅および高さをそれぞれ規定する変数nCurrSwおよびnCurrSh、
- 現在のブロックの色成分を規定する変数cIdx、
- 現在のブロックの予測サンプルを規定するan(nCurrSw)×(nCurrSh)array predSamples、
- 現在のブロックの残差サンプル規定するan(nCurrSw)×(nCurrSh)array。
【0311】
この処理の出力は、再構成されたピクチャサンプルアレイrecSamplesおよびIBCバッファアレイibcBufL、ibcBufCb、ibcBufCrである。
【0312】
色成分cIdxの値に基づいて、以下の割り当てが行われる。
- cIdxが0に等しい場合、recSamplesは再構成ピクチャサンプルアレイSLに対応し、関数clipCidx1はClip1Yに対応する。
- そうでない場合、cIdxが1に等しければ、tuCbfChromaはtu_cbf_cb[xCurr][yCurr]に等しく設定され、recSamplesは再構成されたクロマサンプル配列SCbに対応し、関数clipCidx1はClip1Cに対応する。
- そうでない場合、(cIdxが2に等しければ、tuCbfChromaはtu_cbf_cb[xCurr][yCurr]に等しく設定され、recSamplesは再構成されたクロマサンプル配列SCbに対応し、関数clipCidx1はClip1Cに対応する。
【0313】
slice_lmcs_enabled_flagの値によって、以下が適用される。- slice_lmcs_enabled_flagが0に等しい場合、位置(xCurr,yCurr)における再構成サンプルrecSamplesの(nCurrSw)x(nCurrSh)ブロックは、i=0..nCurrSw-1,j=0..nCurrSh-1に対しては下記のように導出する。
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
- そうでない場合(slice_lmcs_enabled_flagが1に等しい)、以下が適用される。
- cIdxが0に等しい場合、以下が適用される。
- 8.7.5.2項で規定されるような輝度サンプルのマッピング処理を伴うピクチャ再構成は、輝度位置(xCurr,yCurr)、ブロック幅nCurrSwおよび高さnCurrSh、予測輝度サンプル配列preSamples、および残差輝度サンプル配列resSamplesを入力として呼び出され、出力は再構成輝度サンプル配列reCamplesとなる。
- それ以外の場合(cIdxが0より大きい場合)は,8.7.5.3項で規定されているクロマサンプルの輝度依存クロマ残差スケーリング処理によるピクチャ再構成が、クロマの位置(xCurr,yCurr)、変換ブロックの幅nCurrSwおよび高さnCurrSh、現在のクロマ変換ブロックの符号化ブロックフラグtuCbfChroma、予測クロマサンプル配列predSamples、残差クロマサンプル配列resSamplesを入力として呼び出され、再構成されたクロマサンプル配列recSamplesを出力とする。
【0314】
現在の符号化ユニットを復号化した後、以下を適用することができる。
cIdxが0に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_LUMAに等しい場合、以下が適用される。
ibcBufL[(xCurr+i)% wIbcBufY][(yCurr+j)% CtbSizeY]=recSamples[xCurr+i][yCurr+j]
for i=0..nCurrSw-1, j=0..nCurrSh-1.
cIdxが1に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_CHROMAに等しい場合、以下が適用される。
ibcBufCb[(xCurr+i)% wIbcBufC][(yCurr+j)% CtbSizeC]=recSamples[xCurr+i][yCurr+j]
for i=0..nCurrSw-1, j=0..nCurrSh-1.
cIdxが2に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_CHROMAに等しい場合、以下が適用される。
ibcBufCr[(xCurr+i)% wIbcBufC][(yCurr+j)% CtbSizeC]=recSamples[xCurr+i][yCurr+j]
for i=0..nCurrSw-1, j=0..nCurrSh-1.
【0315】
5.19 実施形態#19
【0316】
本明細書では、一部の例における変化は、太字、下線を付したテキストで示される。
【0317】
7.3.7 スライスデータ構文
【0318】
7.3.7.1 一般スライスデータ構文
【0319】
【0320】
7.4.8.5符号化ユニット構文
【0321】
以下のすべての条件がtrueである場合、NumHmvpSmrIbcCandをNumHmvpIbcCandに等しく設定し、HmvpSmrIbcCandList[i]をHmvpIbcCandList[i]に等しく設定してi=0..NumHmvpIbcCand-1とすることにより、共有したマージ候補リスト領域に対する履歴に基づく動きベクトル予測子は更新される。
- IsInSmr[x0][y0]is equal to TRUE.
- SmrX[x0][y0]is equal to x0.
- SmrY[x0][y0]is equal to y0.
【0322】
x=x0..x0+cbWidth-1およびy=y0..y0+cbHeight-1に対して、以下の通り割り当てをする。
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
【0323】
vSizeをmin(ctbSize,64)に、wIbcBufYを(128*128/CtbSizeY)に設定する。ibcBufLは、幅がwIbcBufYであり、高さがCtbSizeYである配列である。ibcBufCbおよびibcBufCrは、幅がwIbcBufC=(wIbcBufY/SubWidthC)であり、高さが(CtbSizeY/SubHeightC)であるアレイ、すなわちCtbSizeCである。
【0324】
resetIbcBufが1に等しい場合、以下が適用される。
- ibcBufL[x % wIbcBufY][y % CtbSizeY]=-1,for x=x0..x0+wIbcBufY-1 and y=y0..y0+CtbSizeY-1
- ibcBufCb[x % wIbcBufC][y % CtbSizeC]=-1,for x=x0..x0+wIbcBufC-1 and y=y0..y0+CtbSizeC-1
- ibcBufCr[x % wIbcBufC][y % CtbSizeC]=-1,for x=x0..x0+wIbcBufC-1 and y=y0..y0+CtbSizeC-1
- resetIbcBuf=0
【0325】
(x0 % vSizeY)が0と等しく、(y0 % vSizeY)が0と等しい場合、以下が適用される。
- ibcBufL[ x % wIbcBufY][y % CtbSizeY]=-1,for x=x0..x0+min(vSize,cbWidth)-1 and y=y0..y0+min(vSize, cbHeight)-1
- ibcBufCb[ x % wIbcBufC][y % CtbSizeC]=-1,for x=x0/SubWidthC..x0/SubWidthC+min(vSize/SubWidthC,cbWidth)-1 and y=y0/SubHeightC..y0/SubHeightC+min(vSize/SubHeightC,cbHeight)-1
- ibcBufCr[ x % wIbcBufC][y % CtbSizeC]=-1,for x=x0/SubWidthC..x0/SubWidthC+min(vSize/SubWidthC,cbWidth)-1 and y=y0/SubHeightC..y0/SubHeightC+min(vSize/SubHeightC,cbHeight)-1
【0326】
8.6.2 IBCブロックの動きベクトル成分の導出処理
【0327】
8.6.2.1 一般
【0328】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
【0329】
この処理の出力は以下の通りである。
- 1/16分数サンプル精度mvLにおける輝度動きベクトル。
【0330】
輝度動きベクトルmvLは、以下のように導出される。
- 8.6.2.2項で規定されたIBC輝度動きベクトル予測の導出処理は、輝度位置(xCb,yCb)、変数cbWidthおよびcbHeightを入力として呼び出され、その出力は輝度動きベクトルmvLである。- general_merge_flag[xCb][yCb]が0の場合、以下が適用される
7. 変数mvdは、以下のように導出される。
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
8. 8.5.2.14項で規定されるような動きベクトルの丸め処理は、mvLに等しく設定されたmvXセット、MvShift+2に等しく設定されたrightShiftセット、MvShift+2に等しく設定されたleftShiftセットを入力として呼び出され、丸められたmvLが出力となる。
9. 輝度動きベクトルmvLは、以下のように修正される。
u[0]=(mvL[0]+mvd[0]+218)% 218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0] (8-886)
u[1]=(mvL[1]+mvd[1]+218)% 218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)
注1- 上記で指定したmvL[0]およびmvL[1]の結果値は、常に-217~217-1の範囲に含まれる。
【0331】
8.6.2.6項で規定されるような履歴に基づく動きベクトル予測子リストの更新処理は、輝度動きベクトルmvLを使用して呼び出される。
8.6.2.5項は、mvLを入力として、mvCを出力として呼び出される。
輝度ブロックベクトルmvLが以下の制約に従うべきであることは、ビットストリーム適合性の要件である。
- (((yCb+(mvL[1]>4))% CtbSizeY)+cbHeightがCtbSizeY以下である。
- x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、ibcBufL[(x+(mvL[0]>>4))% wIbcBufY][(y+(mvL[1]>>4))% CtbSizeY]は、-1に等しくはならない。
- treeTypeがSINGLE_TREEに等しい場合、x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1に対しては、ibcBufCb[(x+(mvC[0]>5))%wIbcBufC][(y+(mvC[1]>>5))%CtbSizeC]]は、-1に等しくはならない。
【0332】
8.6.3 ibcブロックの復号化処理
【0333】
8.6.3.1 一般
【0334】
この処理は、ibc予測モードで符号化された符号化ユニットを復号化するときに呼び出される。
【0335】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight、
- 現在のブロックの色成分インデックスを規定する変数cIdx、
- ・動きベクトルmv、- an(wIbcBufY)x(CtbSizeY)array ibcBufL,an(wIbcBufC)x(CtbSizeC)array ibcBufCb, an(wIbcBufC)x(CtbSizeC)array ibcBufCr.
【0336】
この処理の出力は以下の通りである。
- 予測サンプルの配列predSamples
【0337】
x=xCb..xCb+Width-1およびy=yCb..yCb+Height-1,の場合、以下が適用される
cIdxが0に等しい場合
predSamples[x][y]=ibcBufL[(x+mv[0]>>4))% wIbcBufY][(y+(mv[1]>>4))% CtbSizeY]
cIdxが1に等しい場合
predSamples[x][y]=ibcBufCb[(x+mv[0]>>5))% wIbcBufC][(y+(mv[1]>>5))% CtbSizeC]
cIdxが2に等しい場合
predSamples[x][y]=ibcBufCr[(x+mv[0]>>5))% wIbcBufC][(y+(mv[1]>>5))% CtbSizeC]
【0338】
8.7.5ピクチャ再構成処理
【0339】
8.7.5.1 一般
【0340】
この処理への入力は以下の通りである。
- 現在のピクチャ成分の左上のサンプルに対する現在のブロックの左上のサンプルを規定する位置(xCurr,yCurr)、
- 現在のブロックの幅および高さをそれぞれ規定する変数nCurrSwおよびnCurrSh、
- 現在のブロックの色成分を規定する変数cIdx、
- 現在のブロックの予測サンプルを規定するan(nCurrSw)×(nCurrSh)array predSamples、
- 現在のブロックの残差サンプル規定するan(nCurrSw)×(nCurrSh)array。
【0341】
この処理の出力は、再構成されたピクチャサンプルアレイrecSamplesおよびIBCバッファアレイibcBufL、ibcBufCb、ibcBufCrである。
【0342】
色成分cIdxの値に基づいて、以下の割り当てが行われる。
- cIdxが0に等しい場合、recSamplesは再構成ピクチャサンプルアレイSLに対応し、関数clipCidx1はClip1Yに対応する。
- そうでない場合、cIdxが1に等しければ、tuCbfChromaはtu_cbf_cb[xCurr][yCurr]に等しく設定され、recSamplesは再構成されたクロマサンプル配列SCbに対応し、関数clipCidx1はClip1Cに対応する。
- そうでない場合、(cIdxが2に等しければ、tuCbfChromaはtu_cbf_cb[xCurr][yCurr]に等しく設定され、recSamplesは再構成されたクロマサンプル配列SCrに対応し、関数clipCidx1はClip1Cに対応する。
【0343】
slice_lmcs_enabled_flagの値によって、以下が適用される。-slice_lmcs_enabled_flagが0に等しい場合、位置(xCurr,yCurr)における再構成サンプルrecSamplesの(nCurrSw)×(nCurrSh)ブロックは、i=0..nCurrSw-1,j=0..nCurrSh-1に対しては下記のように導出する。
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
- そうでない場合(slice_lmcs_enabled_flagが1に等しい)、以下が適用される。
- cIdxが0に等しい場合、以下が適用される。
- 8.7.5.2項で規定されるような輝度サンプルのマッピング処理を伴うピクチャ再構成は、輝度位置(xCurr,yCurr)、ブロック幅nCurrSwおよび高さnCurrSh、予測輝度サンプル配列preSamples、および残差輝度サンプル配列resSamplesを入力として呼び出され、出力は再構成輝度サンプル配列reCamplesとなる。
- それ以外の場合(cIdxが0より大きい場合)、8.7.5.3項で規定されているクロマサンプルの輝度依存クロマ残差スケーリング処理によるピクチャ再構成が、クロマの位置(xCurr,yCurr)、変換ブロックの幅nCurrSwおよび高さnCurrSh、現在のクロマ変換ブロックの符号化ブロックフラグtuCbfChroma、予測クロマサンプル配列 predSamples、残差クロマサンプル配列resSamplesを入力として呼び出され、再構成されたクロマサンプル配列recSamplesを出力とする。
【0344】
現在の符号化ユニットを復号化した後、以下を適用することができる。
cIdxが0に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_LUMAに等しい場合、以下が適用される。
ibcBufL[(xCurr+i)% wIbcBufY][(yCurr+j)% CtbSizeY]=recSamples[xCurr+i][yCurr+j]
for i=0..nCurrSw-1,j=0..nCurrSh-1.
cIdxが1に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_CHROMAに等しい場合、以下が適用される。
ibcBufCb[(xCurr+i)% wIbcBufC][(yCurr+j)%
CtbSizeC]=recSamples[xCurr+i][yCurr+j]
for i=0..nCurrSw-1, j=0..nCurrSh-1.
cIdxが2に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_CHROMAに等しい場合、以下が適用される。
ibcBufCr[(xCurr+i)% wIbcBufC][(yCurr+j)% CtbSizeC]=recSamples[xCurr+i][yCurr+j]
for i=0..nCurrSw-1,j=0..nCurrSh-1.
【0345】
5.20 実施形態#20
【0346】
本明細書では、いくつかの例における変更を、太字、下線、イタリック体で示している。
【0347】
7.3.7 スライスデータ構文
【0348】
7.3.7.1 一般スライスデータ構文
【0349】
【0350】
7.4.8.5 符号化ユニット構文
【0351】
以下のすべての条件がtrueである場合、NumHmvpSmrIbcCandをNumHmvpIbcCandに等しく設定し、HmvpSmrIbcCandList[i]をHmvpIbcCandList[i]に等しく設定してi=0..NumHmvpIbcCand-1とすることにより、共有したマージ候補リスト領域に対する履歴に基づく動きベクトル予測子は更新される。
- IsInSmr[x0][y0] is equal to TRUE.
- SmrX[x0][y0] is equal to x0.
- SmrY[x0][y0] is equal to y0.
【0352】
x=x0..x0+cbWidth-1およびy=y0..y0+cbHeight-1に対して、以下の通り割り当てをする。
CbPosX[x][y]=x0 (7-135)
CbPosY[x][y]=y0 (7-136)
CbWidth[x][y]=cbWidth (7-137)
CbHeight[x][y]=cbHeight (7-138)
【0353】
vSizeをmin(ctbSize,64)に、wIbcBufYを(128*128/CtbSizeY)に設定する。
ibcBufLは、幅がwIbcBufYであり、高さがCtbSizeYである配列である。
ibcBufCbおよびibcBufCrは、幅がwIbcBufC=(wIbcBufY/SubWidthC)であり、高さが(CtbSizeY/SubHeightC)であるアレイ、すなわちCtbSizeCである。
【0354】
resetIbcBufが1に等しい場合、以下が適用される。
- ibcBufL[x%wIbcBufY][y % CtbSizeY]=-1,for x=x0..x0+wIbcBufY-1 and y=y0..y0+CtbSizeY-1
- ibcBufCb[x % wIbcBufC][y % CtbSizeC]=-1,for x=x0..x0+wIbcBufC-1 and y=y0..y0+CtbSizeC-1
- ibcBufCr[x % wIbcBufC][y % CtbSizeC]=-1,for x=x0..x0+wIbcBufC-1 and y=y0..y0+CtbSizeC-1
- resetIbcBuf=0
【0355】
(x0 % vSizeY)が0と等しく、(y0 % vSizeY)が0と等しい場合、以下が適用される。
- ibcBufL[x % wIbcBufY][y % CtbSizeY]=-1,for x=x0..x0+max(vSize,cbWidth)-1 and y=y0..y0+max(vSize,cbHeight)-1
- ibcBufCb[x % wIbcBufC][y % CtbSizeC]=-1,for x=x0/SubWidthC..x0/SubWidthC+max(vSize/SubWidthC,cbWidth)-1 and y=y0/SubHeightC..y0/SubHeightC+max(vSize/SubHeightC,cbHeight)-1
- ibcBufCr[x % wIbcBufC][y % CtbSizeC]=-1,for x=x0/SubWidthC..x0/SubWidthC+max(vSize/SubWidthC,cbWidth)-1 and y=y0/SubHeightC..y0/SubHeightC+max(vSize/SubHeightC,cbHeight)-1
【0356】
8.6.2 IBCブロックの動きベクトル成分の導出処理
【0357】
8.6.2.1 一般
【0358】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb,yCb)、- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
【0359】
この処理の出力は以下の通りである。
- 1/16分数サンプル精度mvLにおける輝度動きベクトル。
【0360】
輝度動きベクトルmvLは、以下のように導出される。
- 8.6.2.2項で規定されたIBC輝度動きベクトル予測の導出処理は、輝度位置(xCb,yCb)、変数cbWidthおよびcbHeightを入力として呼び出され、その出力は輝度動きベクトルmvLである。
- general_merge_flag[xCb][yCb]が0と等しい場合、以下が適用される。
10. 変数mvdは、以下のように導出される。
mvd[0]=MvdL0[xCb][yCb][0] (8-883)
mvd[1]=MvdL0[xCb][yCb][1] (8-884)
11. 8.5.2.14項で規定されるような動きベクトルの丸め処理は、mvLに等しく設定されたmvXセット、MvShift+2に等しく設定されたrightShiftセット、MvShift+2に等しく設定されたleftShiftセットを入力として呼び出され、丸められたmvLが出力となる。
12. 輝度動きベクトルmvLは、以下のように修正される。
u[0]=(mvL[0]+mvd[0]+218)% 218 (8-885)
mvL[0]=(u[0]>=217)?(u[0]-218):u[0] (8-886)
u[1]=(mvL[1]+mvd[1]+218)% 218 (8-887)
mvL[1]=(u[1]>=217)?(u[1]-218):u[1] (8-888)
注1- 上記で指定したmvL[0]およびmvL[1]の結果値は、常に-217~217-1の範囲に含まれる。
【0361】
8.6.2.6項で規定されるような履歴に基づく動きベクトル予測子リストの更新処理は、輝度動きベクトルmvLを使用して呼び出される。
【0362】
8.6.2.5項は、mvLを入力として、mvCを出力として呼び出される。
輝度ブロックベクトルmvLが以下の制約に従うべきであることは、ビットストリーム適合性の要件である。
- (((yCb+(mvL[1]>4))% CtbSizeY)+cbHeightがCtbSizeY以下である。
- x=xCb..xCb+cbWidth-1およびy=yCb..yCb+cbHeight-1の場合、ibcBufL[(x+(mvL[0]>>4))% wIbcBufY][(y+(mvL[1]>>4))% CtbSizeY]は、-1に等しくはならない。
【0363】
8.6.3 ibcブロックの復号化処理
【0364】
8.6.3.1 一般
【0365】
この処理は、ibc予測モードで符号化された符号化ユニットを復号化するときに呼び出される。
【0366】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化ブロックの左上のサンプルを規定する輝度位置(xCb,yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight、
- 現在のブロックの色成分インデックスを規定する変数cIdx、
- 動きベクトルmv
- an(wIbcBufY)×(CtbSizeY) array ibcBufL,
an(wIbcBufC)×(CtbSizeC)array ibcBufCb, an(wIbcBufC)×(CtbSizeC)array ibcBufCr。
【0367】
この処理の出力は以下の通りである。
- 予測サンプルの配列predSamples。
【0368】
x=xCb..xCb+Width-1およびy=yCb..yCb+Height-1,の場合、以下が適用される
cIdxが0に等しい場合
predSamples[x][y]=ibcBufL[(x+mv[0]>>4))% wIbcBufY][(y+(mv[1]>>4))% CtbSizeY]
cIdxが1に等しい場合
predSamples[x][y]=ibcBufCb[(x+mv[0]>>5))% wIbcBufC][(y+(mv[1]>>5))% CtbSizeC]
cIdxが2に等しい場合
predSamples[x][y]=ibcBufCr[(x+mv[0]>>5))%wIbcBufC][(y+(mv[1]>>5))% CtbSizeC]
【0369】
8.7.5 ピクチャ再構成処理
【0370】
8.7.5.1 一般
【0371】
この処理への入力は以下の通りである。
- 現在のピクチャ成分の左上のサンプルに対する現在のブロックの左上のサンプルを規定する位置(xCurr,yCurr)、
- 現在のブロックの幅および高さをそれぞれ規定する変数nCurrSwおよびnCurrSh、
- 現在のブロックの色成分を規定する変数cIdx、
- 現在のブロックの予測サンプルを規定するan(nCurrSw)×(nCurrSh) array predSamples、
- 現在のブロックの残差サンプル規定するan(nCurrSw)×(nCurrSh) array。
【0372】
この処理の出力は、再構成されたピクチャサンプルアレイrecSamplesおよびIBCバッファアレイibcBufL、ibcBufCb、ibcBufCrである。
【0373】
色成分cIdxの値に基づいて、以下の割り当てが行われる。
- cIdxが0に等しい場合、recSamplesは再構成ピクチャサンプルアレイSLに対応し、関数clipCidx1はClip1Yに対応する。
- そうでない場合、cIdxが1に等しければ、tuCbfChromaはtu_cbf_cb[xCurr][yCurr]に等しく設定され、recSamplesは再構成されたクロマサンプル配列SCbに対応し、関数clipCidx1はClip1Cに対応する。
- そうでない場合、(cIdxが2に等しければ、tuCbfChromaはtu_cbf_cb[xCurr][yCurr]に等しく設定され、recSamplesは再構成されたクロマサンプル配列SCbに対応し、関数clipCidx1はClip1Cに対応する。
【0374】
slice_lmcs_enabled_flagの値によって、以下が適用される。
- slice_lmcs_enabled_flagが0に等しい場合、位置(xCurr,yCurr)における再構成サンプルrecSamplesの(nCurrSw)x(nCurrSh)ブロックは、i=0..nCurrSw-1,j=0..nCurrSh-1に対しては下記のように導出する。
recSamples[xCurr+i][yCurr+j]=clipCidx1(predSamples[i][j]+resSamples[i][j]) (8-992)
- そうでない場合(slice_lmcs_enabled_flagが1に等しい)、以下が適用される。
- cIdxが0に等しい場合、以下が適用される。
- 8.7.5.2項で規定されるような輝度サンプルのマッピング処理を伴うピクチャ再構成は、輝度位置(xCurr,yCurr)、ブロック幅nCurrSwおよび高さnCurrSh、予測輝度サンプル配列preSamples、および残差輝度サンプル配列resSamplesを入力として呼び出され、出力は再構成輝度サンプル配列reCamplesとなる。
- それ以外の場合(cIdxが0より大きい場合)は,8.7.5.3項で規定されているクロマサンプルの輝度依存クロマ残差スケーリング処理によるピクチャ再構成が、クロマの位置(xCurr,yCurr)、変換ブロックの幅nCurrSwおよび高さnCurrSh、現在のクロマ変換ブロックの符号化ブロックフラグtuCbfChroma、予測クロマサンプル配列predSamples、残差クロマサンプル配列resSamplesを入力として呼び出され、再構成されたクロマサンプル配列recSamplesを出力とする。
【0375】
現在の符号化ユニットを復号化した後、以下を適用することができる。
cIdxが0に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_LUMAに等しい場合、以下が適用される。
ibcBufL[(xCurr+i)% wIbcBufY][(yCurr+j)% CtbSizeY]=recSamples[xCurr+i][yCurr+j]
for i=0..nCurrSw-1,j=0..nCurrSh-1.
cIdxが1に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_CHROMAに等しい場合、以下が適用される。
ibcBufCb[(xCurr+i)% wIbcBufC][(yCurr+j)% CtbSizeC]=recSamples[xCurr+i][yCurr+j]
fori=0..nCurrSw-1,j=0..nCurrSh-1.
cIdxが2に等しく、treeTypeがSINGLE_TREEまたはDUAL_TREE_CHROMAに等しい場合、以下が適用される。
ibcBufCr[(xCurr+i)% wIbcBufC][(yCurr+j)%
CtbSizeC]=recSamples[xCurr+i][yCurr+j]
fori=0..nCurrSw-1,j=0..nCurrSh-1.
【0376】
図6は、視覚媒体(映像または画像)処理の例示的な方法の一例を示すフローチャートである。方法600は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のため、イントラブロックコピー符号化モードを使用して現在の映像ブロックのための参照サンプルを記憶するバッファサイズを判定することと(602)、このバッファに記憶された参照サンプルを使用してこの変換を行うことと(604)を含む。
【0377】
以下の項は、方法600の実施形態および他の方法によって実装されるいくつかの例示的な好適な特徴を説明する。追加の例は、本明細書の第4章に記載する。
【0378】
1. 現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換のため、イントラブロックコピー符号化モードを使用して前記現在の映像ブロックのための参照サンプルを記憶するバッファサイズを判定することと、前記バッファに記憶された前記参照サンプルを使用して前記変換を行うことと、を含む、映像処理方法。
【0379】
2. 前記バッファサイズが所定の定数である、第1項に記載の方法。
【0380】
3. 前記サイズがM×Nであり、MおよびNが整数である、第1項から2項のいずれかに記載の方法。
【0381】
4. M×Nが64×64または128×128または64×128に等しい、第3項に記載の方法。
【0382】
5. 前記バッファサイズは、前記現在の映像ブロックの符号化ツリーユニットのサイズに等しい、第1項に記載の方法。
【0383】
6. 前記バッファサイズは、前記変換に使用される仮想パイプラインデータユニットのサイズに等しい、第1項に記載の方法。
【0384】
7. 前記バッファサイズは、前記ビットストリーム表現における1つのフィールドに対応する、第1項に記載の方法。
【0385】
8. 前記フィールドは、映像パラメータセット、シーケンスパラメータセットまたはピクチャパラメータセット、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダレベルでのビットストリーム表現に含まれる、第7項に記載の方法。
【0386】
9. 前記バッファの前記サイズが、輝度成分の参照サンプルとクロマ成分の参照サンプルとで異なる、第1~8項のいずれかに記載の方法。
【0387】
10. 前記バッファの前記サイズは、前記現在の映像ブロックのクロマサブサンプリングフォーマットに依存する、第1~8項のいずれかに記載の方法。
【0388】
11. 前記参照サンプルはRGBフォーマットで記憶される、第1~8項のいずれかに記載の方法。
【0389】
12. 前記バッファは、ループフィルタリング前およびループフィルタリング後の再構成サンプルを記憶するために使用される、第1~11項のいずれかに記載の方法。
【0390】
13. ループフィルタリングは、非ブロック化フィルタリング、または適応ループフィルタリング(ALF)、またはサンプル適応オフセット(SAO)フィルタリングを含む、第12項に記載の方法。
【0391】
14. 現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換のため、前記参照サンプルの初期値を使用してイントラブロックコピー符号化モードを使用して前記現在の映像ブロックのための参照サンプルを記憶するバッファを初期化することと、前記バッファに記憶された前記参照サンプルを使用して前記変換を行うことと、を含む、映像処理方法。
【0392】
15. 前記初期値は定数に対応する、第14項に記載の方法。
【0393】
16. 前記初期値は、現在の映像ブロックのビット深度の関数である、第14~15項のいずれかに記載の方法。
【0394】
17. 前記定数が中間グレー値に対応する、第15項に記載の方法。
【0395】
18. 前記初期値は、前回復号化された映像ブロックの画素値に対応する、第項14に記載の方法。
【0396】
19. 前回復号化された映像ブロックは、インループフィルタリング前の復号化されたブロックに対応する、第18項に記載の方法。
【0397】
20. 前記バッファサイズが第1~13項の1つに記載のものである、第14~19項のいずれかに記載の方法。
【0398】
21. xおよびyの数字を使用して、前記バッファ内の画素位置がアドレス指定される、第1~20項のいずれかに記載の方法。
【0399】
22. 前記バッファ内の画素位置を0からM*N-1までの範囲の単一の数を使用して、アドレス指定し、MおよびNは、バッファの画素幅および画素高さである、第1~20項のいずれかに記載の方法。
【0400】
23. 現在のビットストリーム表現は、前記変換のためのブロックベクトルを含み、(BVx,BVy)として表される前記ブロックベクトルは、(x-x0,y-y0)に等しく、(x0,y0)は、前記現在の映像ブロックの符号化ツリーユニットの左上位置に対応する、第1~20項のいずれかに記載の方法。
【0401】
24. 現在のビットストリーム表現は、前記変換のためのブロックベクトルを含み、(BVx,BVy)として表される前記ブロックベクトルは、(x-x0+Tx,y-y0+Ty)に等しく、(x0,y0)は、前記現在の映像ブロックの符号化ツリーユニットの左上位置に対応し、TxおよびTyは、オフセット値である、第1~20項のいずれかに記載の方法。
【0402】
25. TxおよびTyが予め規定されたオフセット値である、第24項に記載の方法。
【0403】
26. 前記変換の間、位置(x0,y0)にあり、ブロックベクトル(BVx,BVy)を有する画素に対し、前記バッファにおける対応する参照が、参照位置(x0+BVx,y0+BVy)に見出される、第1~20項のいずれかに記載の方法。
【0404】
27. 前記参照位置が前記バッファの外にある場合、前記バッファにおける前記参照は、前記バッファの境界でクリッピングすることによって判定される、第26項に記載の方法。
【0405】
28. 前記参照位置が前記バッファの外にある場合、前記バッファにおける前記参照は、所定の値を有すると判定される、第26項に記載の方法。
【0406】
29. 前記変換の間、位置(x0,y0)にあり、ブロックベクトル(BVx,BVy)を有する画素に対し、前記バッファにおける対応する参照が、参照位置((x0+BVx)mod M,(y0+BVy)mod N)に見出され、「mod」は、モジュロ演算であり、MおよびNは、前記バッファのxおよびy寸法を表す整数である、第1~20項に記載の方法。
【0407】
30. 映像と現在の映像ブロックのビットストリーム表現との間での変換中に、映像境界におけるイントラブロックコピー符号化のための参照サンプルを記憶するバッファをリセットすることと、このバッファに記憶された参照サンプルを使用してこの変換を行うことと、を含む、映像処理方法。
【0408】
31. 前記映像境界は、新しいピクチャまたは新しいタイルに対応する、第30項に記載の方法。
【0409】
32. 前記変換は、前記リセットの後、前記バッファを仮想パイプラインデータユニット(VPDU)の再構成された値で更新することによって行われる、第30項に記載の方法。
【0410】
33. 前記変換は、前記リセットの後、前記バッファを符号化ツリーユニットの再構成された値で更新することによって行われる、第30項に記載の方法。
【0411】
34. 前記リセットは、各符号化ツリーユニット行の最初に行われる、第30項に記載の方法。
【0412】
35. 前記バッファの前記サイズは、64×64の前回復号化されたブロックL個に対応し、Lは整数である、第1項に記載の方法。
【0413】
36. 前記変換中に前記バッファ内のサンプルを読み取るかまたは記憶するために、垂直走査順序が使用される、第1~35項のいずれかに記載の方法。
【0414】
37. 現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換のため、イントラブロックコピー符号化モードを使用して前記現在の映像ブロックのための参照サンプルを記憶するためのバッファを使用することであって、前記バッファの第1のビット深度は、前記符号化されたデータの第2のビット深度とは異なる、使用することと、前記バッファに記憶された前記参照サンプルを使用して前記変換を行うことと、を含む、映像処理方法。
【0415】
38. 前記第1のビット深度が前記第2のビット深度よりも大きい、第37項に記載の方法。
【0416】
39. 前記第1のビット深度が、変換中に使用される再構成バッファのビット深度と同じである、第37~38項のいずれかに記載の方法。
【0417】
40. 前記第1のビット深度が、前記ビットストリーム表現において値または差分値として信号伝達される、第37~39項のいずれかに記載の方法。
【0418】
41. 前記変換は、クロマおよび輝度成分に対して異なるビット深度を使用する、第37~40項のいずれかに記載の方法。
【0419】
第37~41項までの追加の実施形態および実施例は、第4章の第7項に記載されている。
【0420】
42. イントラブロックコピーモードを使用して現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、前記変換中に予測計算に使用される第1の精度は、前記変換中に再構成計算に使用される第2の精度より低い、映像処理方法。
【0421】
43. 前記予測計算は、clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<bを使用して、再構成サンプル値から予測サンプル値を判定することを含み、pは、再構成サンプル値であり、bは、予め規定されたビットシフト値であり、bitdepthは、予測サンプル精度である、第43項に記載の方法。
【0422】
第42~43項までの追加の実施形態および実施例は、第4章の第28~31、および34項に記載されている。
【0423】
44. イントラブロックコピーモードを使用して現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、サイズnM×nMは、符号化ツリーユニットサイズM×Mに使用され、nおよびNは、整数であり、前記現在の映像ブロックは、前記符号化ツリーユニットに位置決めされ、前記参照領域は、前記現在の映像ブロックに対応する符号化ツリーユニットで最も近く、利用可能なn×n符号化ツリーユニットである、映像処理方法。
【0424】
第4項の追加の実施形態および実施例は、第4章の第35項に記載されている。
【0425】
45. イントラブロックコピーモードを使用して現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、サイズnM×nMは、符号化ツリーユニットサイズ、M×M以外に使用され、nおよびNは、整数であり、前記現在の映像ブロックは、前記符号化ツリーユニットに位置決めされ、前記参照領域は、前記現在の映像ブロックに対応する符号化ツリーユニットで最も近く、利用可能なn×n-1符号化ツリーユニットである、映像処理方法。
【0426】
第4項の追加の実施形態および実施例は、第4章の第36項に記載されている。
図8および9には、さらなる例示的な実施形態が示されている。
【0427】
46. M=mW、N=Hであり、WおよびHは、現在の映像ブロックの符号化ツリーユニット(CTU)の幅および高さであり、mは、正の整数である、請求項3に記載の方法。
【0428】
47. M=WかつN=nHであり、WおよびHは、符号化ツリーユニット(CTU)の幅および高さであり、nは、正の整数である、請求項3に記載の方法。
【0429】
48. M=mW、N=nHであり、WおよびHは、符号化ツリーユニット(CTU)の幅および高さであり、mおよびnは、正の整数である、請求項3に記載の方法。
【0430】
49. nおよびmがCTUのサイズに依存する、請求項46~48のいずれかに記載の方法。
【0431】
50. 現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のため、前記映像の成分Xを使用して前記映像の成分cの前記現在の映像ブロックに対応するブロックベクトルの妥当性を判定することであって、前記成分Xは、前記映像の輝度成分とは異なる、判定することと、前記ブロックベクトルが前記現在の映像ブロックに対して有効であると判定されると前記ブロックベクトルを使用して前記変換を行うことと、を含む映像処理方法。ここで、(BVx,BVy)と表されるブロックベクトルは、(x-x0,y-y0)に等しく、(x0,y0)は、現在の映像ブロックの符号化ツリーユニットの左上位置に対応する。
【0432】
51. 前記成分cが、前記映像の輝度成分に対応する、項50項に記載の方法。
【0433】
52. 前記現在の映像ブロックがクロマブロックであり、前記映像が4:4:4フォーマットである、第50項に記載の方法。
【0434】
53. 前記映像は、4:2:0形式であり、前記現在の映像ブロックは、位置(x,y)で始まるクロマブロックであり、前記判定することは、isRec(c,((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))がtrueである場合には前記ブロックベクトルは無効であると判定することを含む、第50項に記載の方法。
【0435】
54. 前記映像は、4:2:0形式であり、前記現在の映像ブロックは、位置(x,y)から始まるクロマブロックであり、前記判定することは、isRec(c,x+BVx+Chroma_CTU_size,y)がtrueである場合には、前記ブロックベクトルは無効であると判定することを含む、第50項に記載の方法
【0436】
55. 映像領域の現在の仮想パイプラインデータユニット(VPDU)の現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換のため、選択的に、映像領域の第1の行から前処理済みVPDUであるK1および第2の行の前処理済みVPDUであるK2を使用することを判定することと、変換を行うことであって、この変換は、現在のVPDUの残りを使用することを除外する、変換を多なうことと、を含む映像処理方法。
【0437】
56. K1=1であり、K2=2である、第55項に記載の方法。
【0438】
57. 前記現在の映像ブロックは、前記映像領域の寸法または前記現在のVPDUの寸法に基づいて選択的に処理される、第55~56項に記載の方法。
【0439】
58. 現在の映像ブロックと、前記現在の映像ブロックのビットストリーム表現との間での変換のためにブロックベクトルの妥当性チェックを行うことであって、前記ブロックベクトルは、イントラブロックコピーモードで使用する、妥当性チェックを行うことと、前記妥当性チェックの結果を使用して前記変換中に前記ブロックベクトルを選択的に使用することと、を含む、映像処理方法。
【0440】
59. イントラブロックコピー(IBC)バッファを前記変換中に使用し、前記IBCバッファの幅と高さをWbufおよびHbufとして、前記現在の映像ブロックの寸法がW×Hであり、前記ブロックベクトルは、(BVx,BVy)として表現され、現在の映像ブロックは、WpicおよびHpicの寸法を有する現在のピクチャにあり、符号化ツリーユニットは、幅および高さとしてWctuおよびHctuを有し、前記妥当性チェックは、所定の規則を使用する、第58項に記載の方法。
【0441】
60. 前記現在の映像ブロックは、輝度ブロック、クロマブロック、符号化ユニットCU、変換ユニットTU、4×4ブロック、2×2ブロック、または画素座標(X,Y)から始まる親ブロックのサブブロックである、第58~59項のいずれかに記載の方法。
【0442】
61. 前記妥当性チェックは、前記現在のピクチャの境界外にある前記ブロックベクトルを妥当であると見なす、第58~60項のいずれかに記載の方法。
【0443】
62. 前記妥当性チェックは、符号化ツリーユニットの境界外にあるブロックベクトルを妥当であると見なす、第58~60項のいずれかに記載の方法。
【0444】
前章の第23~30項では、上記第58~62項の追加例および変形例を述べている。
【0445】
63. 前記変換は、前記現在の映像ブロックから前記ビットストリーム表現を生成することを含む、第1~62項のいずれかに記載の方法。
【0446】
64. 前記変換は、前記ビットストリーム表現から前記現在の映像ブロックの画素値を生成することを含む、第1~62項のいずれかに記載の方法。
【0447】
65. 請求項1~62の1項以上に記載の方法を実装するように構成された処理装置を備える映像エンコーダ装置。
【0448】
66. 第1~62項の1項以上に記載の方法を実装するように構成された処理装置を備える、映像デコーダ装置。
【0449】
67. コードが記憶されたコンピュータ可読媒体であって、前記コードは第1~62項のいずれかまたは複数項に記載の方法を実装するための処理装置が実行可能な命令を実施する、コンピュータ可読媒体。
【0450】
図7は、映像/画像処理装置700のハードウェアプラットフォームを示すブロック図である。装置700は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置700は、スマートフォン、タブレット、コンピュータ、IoT(Internet of Things)受信機等により実装されてもよい。装置700は、1つ以上の処理装置702と、1つ以上のメモリ704と、映像処理ハードウェア706と、を含んでもよい。1つまたは複数の処理装置702は、本明細書に記載される1つ以上の方法(方法600を含むが、これに限定されない)を実装するように構成されてもよい。メモリ(複数可)704は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア706は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
【0451】
現在の映像ブロックに対応するビットストリーム表現は、ビットの連続したセットである必要はなく、ヘッダ、パラメータセット、およびネットワーク抽象化層(NAL)パケットにまたがって分散されてもよい。
【0452】
セクションA:追加の例示的な実施形態
【0453】
セクションAにおいて、本明細書に記載される技術の一部を実装するために、VVC規格の現在のバージョンを修正し得る別の例示的な実施形態を提示する。
【0454】
本セクションでは、現在のIBC参照バッファ設計におけるいくつかの問題を分析し、これらの問題に対処するための異なる設計を提示する。復号化メモリと混合する代わりに、独立したIBC参照バッファが提案される。現在のアンカと比較して、提案されたスキームは、クラスFで-0.99%/-0.71%/-0.79%のAI/RA/LD-Bの輝度BD率、4:2:0 TGMでは-2.57%/-1.81%/-1.36%で、6.7%のメモリの減少、あるいは、クラスFでは-1.31%/-1.01%/-0.81%、4:2:0 TGMでは-3.23%/-2.33%/-1.71%で、6.7%のメモリの増加を示している。
【0455】
A1. 導入
【0456】
イントラブロックコピー、すなわちIBC(または現在のピクチャ参照、即ち前のCPR)符号化モードが採用される。なお、IBC参照サンプルはオンチップメモリに記憶されるべきであり、従って、1つのCTUの限られた参照領域が規定される。バッファのためのエクストラオンチップメモリを制限するために、現在の設計は、64×64メモリを再利用して現在のVPDUを復号化するので、IBCをサポートするために必要なメモリは3つの追加の64×64ブロックのメモリのみである。CTUの大きさが128×128である場合の、現在の参照領域を
図2に示す。
【0457】
現在の草案(VVC草案4)において、領域は、次のように定義される。
【0458】
【0459】
このように、合計基準サイズはCTUである。
【0460】
A2. 現在の設計における潜在的な問題
【0461】
現在の設計は、現在のVPDUを復号化するために64×64メモリを再使用することを想定し、IBC基準は、それに応じてVPDUメモリの再利用に合わせられる。このような設計は、VPDU復号化メモリをIBCバッファで束ねる。次のような問題が考えられる。
1. より小さなCTUサイズを扱うことが問題となり場合がある。CTUのサイズが32x32であるとすると、現在のVPDUを復号化する現在の64×64メモリが、異なるアーキテクチャにおいて32×32レベルのメモリ再利用を効率的にサポートできるかどうかは、不明である。
2. 参照領域は有意に異なる。従って、あまりにも多くのビットストリーム適合性の制約が導入されている。これは、参照領域を効率的に利用し、合法的なビットストリームの生成を回避するために、エンコーダに余分な負担をかける。また、異なるモジュール、例えばマージリストにおいて無効なBVを有する可能性が高まる。これらの無効なBVを扱うことにより、余分なロジックまたは余分な適合性の制約を導入してしまう場合がある。これは、エンコーダまたはデコーダに負担をもたらすだけでなく、BV符号化とMV符号化との間に相違を生じさせる可能性がある。
3. 設計がうまく拡大縮小されていない。VPDU復号化はIBCバッファと混合されるので、現在の1つの128×128CTU設計に対して参照領域を増減させることは容易ではない。を利用することは、より低いまたはより高いプロファイルなどの、後の開発において、より優れた符号化効率とオンチップメモリのトレードオフを有効に利用するための柔軟性を制限する可能性がある。
4. IBC参照バッファのビット深度は、復号化バッファに接続される。通常、スクリーンコンテンツのビット深度は内部復号化のビット深度よりも小さいが、バッファは、大部分が丸められたり量子化されたりするノイズを表すビットを記憶するために、依然としてメモリを費やす必要がある。より高い復号化ビット深度構成を考える場合、この問題はさらに深刻になる。
【0462】
A3. クリアなIBCバッファ設計
【0463】
上記サブセクションに記載された問題に対処するために、我々は、復号化メモリと混合されない専用のIBCバッファを有することを提案する。
【0464】
128×128CTUの場合、バッファは8ビットのサンプルを含む128×128として規定され、サイズw×hのCU(x,y)が復号化されていると、ループフィルタリング前のバッファの再構成は8ビットに変換され、位置(x%128,y%128)から始まるw×hブロック領域に書き込まれる。モジュロ演算子%は、常に正の数を返す。即ち、x<0であってx%Lを-(-x%L)と定義すると、例えば、-3%128=125である。
【0465】
画素(x,y)がIBCモードでBV=(BVx,BVy)で符号化されると仮定すると、IBC参照バッファにおける予測サンプルは、((x+BVx)%128、(y+BVy)%128)に位置し、画素値は予測前に10ビットに変換される。
【0466】
バッファを(W,H)と見なす場合、(x,y)から始まるCTUまたはCUを復号化した後、ループフィルタリング前の再構成された画素を(x%W,y%H)から始まるバッファに記憶する。このように、CTUを復号化した後、対応するIBC参照バッファはそれに応じて更新される。このような設定は、CTUのサイズが128×128でない場合に発生することがある。例えば、64×64 CTUの場合、現在のバッファサイズは、256×64バッファと見なすことができる。64×64 CTU の場合のバッファの状態を
図2に示す。
【0467】
図12は、IBC参照バッファステータスを示す図であり、1つのブロックは64×64CTUを示す。
【0468】
このような設計において、IBCバッファはVPDU復号化メモリとは異なるので、すべてのIBC参照バッファを参照として使用できる。
【0469】
IBCバッファのビット深度が8ビットである場合、3つの追加の10ビット64×64バッファを必要とする現在の設計に比べ、オンチップメモリの増加は、(8*4)/(10*3)-100%=6.7%である。
【0470】
ビット深度をさらに低減した場合メモリ要件をさらに低減することができる。例えば、7ビットバッファの場合、オンチップメモリの節約は、100%-(7*4)/(10*3)=6.7%である。
【0471】
この設計では、唯一のビットストリーム適合性の制約は、参照ブロックが現在のタイルの現在のCTU行における再構成された領域内にあるべきである、ということである。
【0472】
各CTU行の開始時に512への初期化が許可される場合、すべてのビットストリーム適合性の制約を除去することができる。
【0473】
A4. 実験結果
【0474】
いくつかの実施形態において、開示された方法は、VTM-4.0ソフトウェアを使用して実装されてもよい。
【0475】
10ビットバッファ実装およびCTCの場合、このデコーダは、現在のVTM4.0エンコーダに完全に適合する。すなわち、これは、提案されたデコーダがVTM-4.0 CTCビットストリームを正確に復号化することができることを意味する。
【0476】
7ビットバッファの実装形態では、表1に示す結果が得られる。
【0477】
8ビットバッファの実装形態では、結果を表2に示す。
【0478】
【0479】
【0480】
図17は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1700を示すブロック図である。様々な実装形態は、システム1700のモジュールの一部又は全部を含んでもよい。システム1700は、映像コンテンツを受信するための入力ユニット1702を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット1702は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
【0481】
システム1700は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール1704を含んでもよい。符号化モジュール1704は、入力ユニット1702からの映像の平均ビットレートを符号化モジュール1704の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール1704の出力は、モジュール1706によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット1702において受信された、記憶された又は通信された映像のビットストリーム(又は符号化)表現は、モジュール1708によって使用されて、表示インターフェースユニット1710に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解されよう。
【0482】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI)(登録商標)またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
【0483】
図18は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例18に関連して説明する。ステップ1802において、このプロセスは、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定し、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる。ステップ1804において、現在の映像ブロックを含む符号化ツリーユニットの左上位置に対する現在の映像ブロックの位置(x0、y0)に空間的に配置され、かつブロックベクトル(BVx、BVy)を有するサンプルに対して、このプロセスは、バッファにおける対応する参照を参照位置(P,Q)で計算し、この参照位置(P,Q)はブロックベクトル(BVx,BVy)と位置(x0,y0)を使用して判定される。参照位置(P,Q)がバッファの外側にあると判定されると、ステップ1805において、現在の映像ブロックを含む符号化ツリーユニットに対する現在の映像ブロックの位置に少なくとも部分的に基づいて、このプロセスは、参照位置を再計算する。
【0484】
図19は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例29に関連して説明する。ステップ1902において、このプロセスは、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定し、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる。ステップ1904において、現在の映像ブロックを含むピクチャの左上の位置に対して、現在の映像ブロックの位置(x,y)に空間的に配置され、ブロックベクトル(BVx,BVy)を有するサンプルに対して、このプロセスは、現在の映像ブロックの位置(x,y)、現在の映像ブロックの寸法、ピクチャの寸法、現在の映像ブロックを含む符号化ツリーユニットの寸法、またはバッファの寸法のうちの少なくとも1つに関連付けられた1つ以上の条件を満たすことに少なくとも部分的に基づいて、ブロックベクトル(BVx,BVy)を有効なものとして割り当てる。ステップ1906において、このプロセスは、ブロックベクトル(BVx,BVy)が有効であるかどうかを判断するためのチェックを行う。ステップ1908において、ブロックベクトル(BVx,BVy)が有効であることを確認すると、このプロセスは、バッファにおける対応する参照を参照位置(P,Q)で計算し、この参照位置(P,Q)が、ブロックベクトル(BVx,BVy)、位置(x,y)、およびバッファの寸法を使用して判定される。
【0485】
図20は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例19に関連して説明する。ステップ2002において、このプロセスは、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、現在の映像ブロックについてのブロックベクトル(BVx,BVy)またはブロックベクトル差(BVDx,BVDy)を判定し、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる。ステップ2004において、このプロセスは、ブロックベクトル(BVx,BVy)のうちの少なくとも1つの成分、またはブロックベクトルの差分(BVDx,BVDy)の少なくとも1つの成分を範囲内に収まるように正規化する。
【0486】
図21は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例40に関連して説明する。ステップ2102において、このプロセスは、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための再構成サンプルを記憶するために使用するバッファを判定し、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる。ステップ2104において、このプロセスは、バッファに記憶された再構成サンプルを順番にしたがって更新する。
【0487】
図22は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例57に関連して説明する。ステップ2202において、このプロセスは、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行い、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われ、変換時に、予測計算に使用される第1の精度は、再構成計算に使用される第2の精度よりも低くなる。
【0488】
図23は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例59に関連して説明する。ステップ2302において、このプロセスは、現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行い、この変換時には、nおよびMは整数である場合に、nM×nMサイズの参照領域が使用され、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応するコーディングツリーユニット列のn×n個の直近の利用可能なコーディングツリーユニットからのサンプルを含む。
【0489】
図24は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例60に関連して説明する。ステップ2402において、このプロセスは、現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行い、この変換時には,n、pおよびMは整数である場合に、nM×pMサイズの参照領域が使用され、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応する符号化ツリーユニット列のn×p-1個の直近の利用可能な符号化ツリーユニットからのサンプルを含む。
【0490】
図25は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例61に関連して説明する。ステップ2502において、このプロセスは、映像領域の仮想パイプラインデータユニット(VPDU)の現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行い、この変換時には、k、nおよびMは整数である場合に、nM×nMサイズの参照領域が使用され、VPDUの寸法がkM×kMであり、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応する符号化ツリーユニット列のn×n-k個の直近の利用可能な符号化ツリーユニットからのサンプルを含む。
【0491】
図26は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例62~66に関連して説明する。ステップ2602において、このプロセスは、視覚メディアデータのw×h寸法の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定し、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる。ステップ2604において、現在の映像ブロックを含む符号化ツリーユニット(CTU)の左上位置に対する現在の映像ブロックの位置(x0、y0)に空間的に配置され、かつブロックベクトル(BVx、BVy)を有するサンプルに対して、このプロセスは、バッファにおける参照位置(P,Q)から始まる対応する参照領域を計算し、参照位置(P,Q)はブロックベクトル(BVx,BVy)および/または位置(x0,y0)を使用して判定される。ステップ2606において、このプロセスは、参照領域および/または参照位置(P、Q)に1つ以上の規則ベースの制約を適用して、参照領域と映像領域との重なりを制限する。
【0492】
図27は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例68に関連して説明する。ステップ2702において、このプロセスは、視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定し、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる。ステップ2704において、現在の映像ブロックを含む符号化ユニット(CU)に対して、現在の映像ブロックの位置(x0,y0)に空間的に位置するサンプルに対して、このプロセスは、バッファにおける参照位置から始まる対応する参照領域を計算する。ステップ2706において、このプロセスは、前回処理されたブロックのうちどれを予測に用いるかを判定するために、参照領域及び参照位置を調整する。
【0493】
図28は、映像データ処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第4章の例示的な実施例69~75に関連して説明する。ステップ2802において、このプロセスは、映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、映像の成分Xを使用して、この映像の成分cの現在の映像ブロックに対応するブロックベクトルの有効性を判定し、この成分Xは、映像の輝度成分とは異なる。ステップ2804において、このプロセスは、現在の映像ブロックに対してブロックベクトルが有効であると判定すると、ブロックベクトルを使用して変換を行い、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピー(IBC)モードモードで行われる。
【0494】
本明細書のいくつかの実施形態は、項に基づく形式で提示される。
【0495】
A1. 視覚メディア処理方法であって、
視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、
現在の映像ブロックを含む符号化ツリーユニットの左上位置に対する現在の映像ブロックの位置(x0、y0)に空間的に配置され、かつブロックベクトル(BVx、BVy)を有するサンプルについて、バッファにおける対応する参照を参照位置(P,Q)で計算することであって、参照位置(P,Q)はブロックベクトル(BVx,BVy)と位置(x0,y0)を使用して判定される、計算することと、
参照位置(P,Q)がバッファの外側にあることを判定すると、現在の映像ブロックを含む符号化ツリーユニットに対する現在の映像ブロックの位置に少なくとも部分的に基づいて参照位置を再計算することと、を含む、方法。
【0496】
A2. 参照位置(P,Q)は、P=x0+BVx、Q=y0+BVyとして判定される、A1項に記載の方法。
【0497】
A3.再計算は、
現在の映像ブロックが符号化ツリーユニットに対して水平方向に位置するか、又は符号化ツリーユニットに対して垂直方向に位置するかどうかに少なくとも部分的に基づいて、参照位置(P,Q)を再計算することを含む、第1項に記載の方法。
【0498】
A4. 現在の映像ブロックが符号化ツリーユニットに対して水平方向に位置する、A1~A3項のいずれか1項以上に記載の方法。
【0499】
A5. 現在の映像ブロックが符号化ツリーユニットに対して垂直方向に位置する、A1~A3項のいずれか1項以上に記載の方法。
【0500】
A6.再計算は、
現在の映像ブロックが視覚メディアデータの境界から予め規定された距離内にあるかどうかに少なくとも部分的に基づいて、参照位置(P,Q)を再計算する、第1項に記載の方法。
【0501】
A7. 現在の映像ブロックが、視覚メディアデータの境界から予め規定された距離内に位置する、A1~A2項及びA6項のいずれか1項以上に記載の方法。
【0502】
A8. Nがバッファのy次元を表す整数であり、(y0+BVy)が範囲[0,..,N-1]の外側にあることを判定することに応じて、参照位置(P,Q)に予め規定された値が割り当てられる、A1~A2項のいずれか1項以上に記載の方法。
【0503】
A9. Mがバッファのy次元を表す整数であり、(x0+BVx)が範囲[0,..,M-1]の外側にあることを判定することに応じて、参照位置(P,Q)に予め規定された値が割り当てられる、A1~A2項のいずれか1項以上に記載の方法。
【0504】
A10. 参照位置(P、Q)は、((x0+BVx)mod M、y0+BVy)として割り当てられ、式中、“mod”は、xmod y=x-y*floor(x/y)、floor(a)はa以下の最大の整数、Mはバッファのx次元を表す整数として定義されるモジュロ演算である、A1~A2項のいずれか1項以上に記載の方法。
【0505】
A11. 参照位置(P、Q)は、(x0+BVx,(y0+BVy)mod N))として割り当てられ、式中、“mod”は、xmod y=x-y*floor(x/y)、floor(a)はa以下の最大の整数、Nはバッファのy次元を表す整数として定義されるモジュロ演算である、A1~A2項のいずれか1項以上に記載の方法。
【0506】
A12. (x0+BVx)mod M,y0+BVy)がバッファの外側にあると判定することに応じて、追加の処理が行われる、A10項に記載の方法。
【0507】
A13. (x0+BVx,(y0+BVy)mod N))がバッファの外側にあると判定することに応じて、追加の処理が行われる、A12項に記載の方法。
【0508】
B1. 視覚メディア処理方法であって、
視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、
現在の映像ブロックを含むピクチャの左上の位置に対して、現在の映像ブロックの位置(x,y)に空間的に配置され、ブロックベクトル(BVx,BVy)を有するサンプルに対して、現在の映像ブロックの位置(x,y)、現在の映像ブロックの寸法、ピクチャの寸法、現在の映像ブロックを含む符号化ツリーユニットの寸法、またはバッファの寸法のうちの少なくとも1つに関連付けられた1つ以上の条件を満たすことに少なくとも部分的に基づいて、ブロックベクトル(BVx,BVy)を有効なものとして割り当てることと、
ブロックベクトル(BVx,BVy)が有効であるかどうかを判断するためのチェックを行うことと、
ブロックベクトル(BVx,BVy)が有効であることを確認すると、バッファにおける対応する参照を参照位置(P,Q)で計算することであって、参照位置(P,Q)が、ブロックベクトル(BVx,BVy)、位置(x,y)、およびバッファの寸法を使用して判定される、計算することとを含む、方法。
【0509】
B2. 参照位置(P,Q)が((x+BVx)%Wbuf,(x+BVy)%Hbuf)として判定され、式中、Wbuf×Hbufはバッファの寸法を示し、「%」はモジュロ演算を示し、x<0のときの「x%y」はx-y*floor(x/y)として定義され、ここでfloor(a)はaを超えない最大の整数である、B1項に記載の方法。
【0510】
C1. 視覚メディア処理方法であって、
視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のため、現在の映像ブロックについてのブロックベクトル(BVx,BVy)またはブロックベクトル差(BVDx,BVDy)を判定することであって、変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、
ブロックベクトル(BVx,BVy)のうちの少なくとも1つの成分、またはブロックベクトルの差分(BVDx,BVDy)の少なくとも1つの成分を範囲内に収まるように正規化することと、を含む、方法。
【0511】
C2.正規化することは、
バッファの寸法に基づいて、ブロックベクトル(BVx,BVy)の少なくとも1つの成分、又はブロックベクトル差(BVDx,BVDy)の少なくとも1つの成分が範囲内にあるように正規化することを含み、バッファは、イントラブロックコピーモードにおける予測のための参照サンプルを記憶する、C1項に記載の方法。
【0512】
C3. 成分BVxが(BVxmod M)に正規化され、式中、Mはバッファのx次元を表す整数であり、「mod」は、xmod y=x-y*floor(x/y)として定義されるモジュロ演算であり、floor(a)は、a以下の最大の整数である、C2項に記載の方法。
【0513】
C4. 成分BVDxが((BVDy+x0)mod M)-Vに正規化され、式中、Mはバッファのx次元を表す整数であり、「mod」は、xmod y=x-y*floor(x/y)として定義されるモジュロ演算であり、式中、floor(a)は、a以下の最大の整数であり、Vは、予め規定された値である、C2項に記載の方法。
【0514】
C5. Vが64である、C4項に記載の方法。
【0515】
C6. VがM/2である、C4項に記載の方法。
【0516】
C7. Vがx0である、C4項に記載の方法。
【0517】
C8. 成分BVyが(BVy mod N)に正規化され、式中、Nはバッファのy次元を表す整数であり、「mod」は、xmod y=x-y*floor(x/y)として定義されるモジュロ演算であり、floor(a)は、a以下の最大の整数である、C2項に記載の方法。
【0518】
C9. 成分BVyが((BVy+y0)mod N)-Vに正規化され、式中、Nはバッファのy次元を表す整数であり、「mod」は、xmod y=x-y*floor(x/y)として定義されるモジュロ演算であり、式中、floor(a)は、a以下の最大の整数であり、Vは、予め規定された値である、C2項に記載の方法。
【0519】
C10. Vが64である、C9項に記載の方法。
【0520】
C11. VがN/2である、C9項に記載の方法。
【0521】
C12. Vがy0である、C9項に記載の方法。
【0522】
C13. 成分BVx及びBVyが異なる範囲内にあるように正規化される、C1項に記載の方法。
【0523】
C14. 成分BVDxが(BVDxmod M)に正規化され、式中、Mはバッファのx次元を表す整数であり、「mod」は、xmod y=x-y*floor(x/y)として定義されるモジュロ演算であり、floor(a)は、a以下の最大の整数である、C2項に記載の方法。
【0524】
C15. 成分BVDxが((BVDx+x0)mod M)-Vに正規化され、式中、Mはバッファのx次元を表す整数であり、「mod」は、xmod y=x-y*floor(x/y)として定義されるモジュロ演算であり、式中、floor(a)は、a以下の最大の整数であり、Vは、予め規定された値である、C2項に記載の方法。
【0525】
C16. Vが64である、C15項に記載の方法。
【0526】
C17. VがM/2である、C15項に記載の方法。
【0527】
C18. Vがx0である、C15項に記載の方法。
【0528】
C19. 成分BVDyが(BVDy mod N)に正規化され、式中、Nはバッファのy次元を表す整数であり、「mod」は、モジュロ演算である、C2項に記載の方法。
【0529】
C20. 成分BVDyが((BVDy+y0)mod N)-Vに正規化され、式中、Nはバッファのy次元を表す整数であり、「mod」は、モジュロ演算であり、Vは、予め規定された値である、C2項に記載の方法。
【0530】
C21. Vが64である、C20項に記載の方法。
【0531】
C22. VがN/2である、C20項に記載の方法。
【0532】
C23. Vがy0である、C20項に記載の方法。
【0533】
C24. 成分BVDx及びBVDyが異なる範囲内にあるように正規化される、C1項に記載の方法。
【0534】
D1. 視覚メディア処理方法であって、
現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための再構成サンプルを記憶するために使用するバッファを判定することであって、変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、
バッファに記憶された再構成サンプルを、順にしたがって更新することと、を含む、方法。
【0535】
D2. バッファは、順番にしたがって更新される、D1項に記載の方法。
【0536】
D3. バッファは、再構成されたブロックの順にしたがって更新される、D1項に記載の方法。
【0537】
D4.
バッファが満杯であると判定されると、バッファに記憶された再構成サンプルを最近再構成されたサンプルに置き換えることをさらに含む、D1項に記載の方法。
【0538】
D5. バッファに記憶された再構成サンプルを先入れ先出し順に置き換える、D1項に記載の方法。
【0539】
D6. バッファに記憶された再構成サンプルの最も古い集合を置き換える、D1項に記載の方法。
【0540】
D7. バッファに記憶された再構成サンプルが、割り当てられた優先順位値であり、バッファに記憶された再構成サンプルを優先順位値に従って置き換える、D1項に記載の方法。
【0541】
D8. バッファに記憶された再構成サンプルのサブセットに、将来の置き換えのためのマークを付け、サブセットに含まれていないサンプルを最初に置き換える、D1項に記載の方法。
【0542】
D9. ビットストリーム表現に含まれるフラグは、1つ以上の条件を満たす優先順位値を示す、D7項に記載の方法。
【0543】
D10. 現在の映像ブロックの特徴に基づいて優先順位値が割り当てられる、D7項に記載の方法。
【0544】
D11. 1つ以上の条件は、パレットモードおよび/またはイントラブロック符号化(IBC)モードおよび/または変換スキップモードを使用して符号化された再構成サンプルのパーセンテージに関連する、D9項に記載の方法。
【0545】
D12. パレットモードおよび/またはイントラブロック符号化(IBC)モードおよび/または変換スキップモードを使用して符号化された再構成サンプルのパーセンテージが閾値を超えていることを判定することに応じて、現在の映像ブロックにおけるすべてのサンプルを高い優先順位として割り当てる、D11項に記載の方法。
【0546】
D13. 閾値は、現在の映像ブロックのサイズおよび/または現在の映像ブロックの色成分、および/または現在の映像ブロックを含む符号化ツリーユニット(CTU)のサイズに基づく、D12項に記載の方法。
【0547】
D14. 閾値がビットストリーム表現のフィールドとして含まれる、D13項に記載の方法。
【0548】
D15. フィールドは、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、シーケンスヘッダ、スライスヘッダ、タイルグループ、タイルレベル、又は映像領域に含まれる、D14項に記載の方法。
【0549】
D16. バッファにおける利用可能なサンプルの数が閾値以上であることを判定することは、バッファが満杯であることを示す、D4項に記載の方法。
【0550】
D17. 閾値が64×64×3輝度サンプルである、D16項に記載の方法。
【0551】
E1. 視覚メディア処理方法であって、
現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行うことであって、変換は、映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われ、変換時に、予測計算に使用される第1の精度は、再構成計算に使用される第2の精度よりも低くなる、変換を行うことと、を含む方法。
【0552】
E2. 予測計算は、clip{{p+[1<<(b-1)]}>>b,0,(1<<bitdepth)-1}<<bを使用して、再構成サンプル値から予測サンプル値を判定することを含み、pは、再構成サンプル値であり、bは、予め規定されたビットシフト値であり、bitdepthは、予測サンプル精度であり、clipは、clip(x,y,z)=(x<y)?y:(x>z?z:x)と定義されるクリッピング演算である、E1項に記載の方法。
【0553】
E3. 予測計算は、clip{{p+[1<<(b-1)-1]}>>b,0,(1<<bitdepth)-1}<<bを使用して、再構成サンプル値から予測サンプル値を判定することを含み、pは、再構成サンプル値であり、bは、予め規定されたビットシフト値であり、bitdepthは、予測サンプル精度であり、clipは、clip(x,y,z)=(x<y)?y:(x>z?z:x)と定義されるクリッピング演算である、E1項に記載の方法。
【0554】
E4. 予測計算は、((p>>b)+(1<<(bitdepth-1)))<<bを使用して、再構成サンプル値から予測サンプル値を判定することを含み、pは、再構成サンプル値であり、bは、予め規定されたビットシフト値であり、bitdepthは、予測サンプル精度である、E1項に記載の方法。
【0555】
E5. 予測計算は、(clip((p>>b),0,(1<<(bitdepth-b)))+(1<<(bitdepth-1)))<<bを使用して、再構成サンプル値から予測サンプル値を判定することを含み、pは、再構成サンプル値であり、bは、予め規定されたビットシフト値であり、bitdepthは、予測サンプル精度であり、clipは、clip(x,y,z)=(x<y)?y:(x>z?z:x)と定義されるクリッピング演算である、E1項に記載の方法。
【0556】
E6. 予測計算は、インループリシェイピング(ILR)ステップが適用されるかどうかに基づいて、クリッピング演算を使用して、再構成されたサンプル値から予測サンプル値を判定することを含む、E1項に記載の方法。
【0557】
E7. bが、再構成されたサンプルと現在の映像ブロックのビット深度の差である、E1~E5項のいずれか1項以上に記載の方法。
【0558】
E8. 第1の精度および/または第2の精度、および/または第1の精度と第2の精度との差が、ビットストリーム表現におけるフィールドとして信号通知される、E1項に記載の方法。
【0559】
E9. 予測計算は、再構成されたサンプル値から予測サンプル値を判定することを含み、予測サンプル値の第1の部分は第1の精度を有し、予測サンプル値の第2の部分は第2の精度を有する、E1項に記載の方法。
【0560】
E10. 現在の映像ブロックは、異なる精度のサンプルを含む符号化ツリーユニット内に位置する、E9項に記載の方法。
【0561】
E11. 異なる精度を有するサンプルが、現在の映像ブロックに対して許容される参照領域に含まれる、E10項に記載の方法。
【0562】
E12. 別の映像ブロックを含む符号化ツリーユニットに関連付けられた第1の参照領域は、第1の精度を使用し、第2の参照領域は、現在の映像ブロックを含む符号化ツリーユニットに関連付けられた第2の参照領域は、第2の精度を使用する、E9項に記載の方法。
【0563】
E13. 第1の参照領域が第1の色成分に対応し、第2の参照領域が第2の色成分に対応する、E12項に記載の方法。
【0564】
F1. 視覚メディア処理方法であって、
現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行うことであって、変換時には,nおよびMは整数である場合に、nM×nMサイズの参照領域が使用され、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応するコーディングツリーユニット列のn×n個の直近の利用可能なコーディングツリーユニットからのサンプルを含む、行うことを含む、方法。
【0565】
F2. 参照領域のサイズは128×128サンプルであり、符号化ツリーユニットのサイズは64×64であり、バッファは、現在の映像ブロックを含む同じ符号化ツリーユニット行内の4つの最も近い利用可能な符号化ツリーユニットを含む、F1項に記載の方法。
【0566】
F3. 参照領域のサイズは128×128サンプルであり、符号化ツリーユニットのサイズは32×32であり、バッファは、現在の映像ブロックを含む同じ符号化ツリーユニット行内の16個の最も近い利用可能な符号化ツリーユニットを含む、F1項に記載の方法。
【0567】
G1. 視覚メディア処理方法であって、
現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行うことであって、変換時には,n、pおよびMは整数である場合に、nM×pMサイズの参照領域が使用され、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応するコーディングツリーユニット列のn×p-1個の直近の利用可能なコーディングツリーユニットからのサンプルを含む、行うことを含む。
【0568】
G2. 参照領域のサイズは128×128サンプルまたは256×64サンプルであり、符号化ツリーユニットのサイズは64×64であり、バッファは、現在の映像ブロックを含む同じ符号化ツリーユニット行内の3つの最も近い利用可能な符号化ツリーユニットを含む、G1項に記載の方法。
【0569】
G3. 参照領域のサイズは128×128サンプルまたは512×32サンプルであり、符号化ツリーユニットのサイズは32×32であり、バッファは、現在の映像ブロックを含む同じ符号化ツリーユニット行内の15個の最も近い利用可能な符号化ツリーユニットを含む、G1項に記載の方法。
【0570】
G4. 符号化ツリーユニットのサイズがM×Mである、G1項に記載の方法。
【0571】
G5. バッファの外側のサンプルは変換中に使用することが許可されない、G1項~G4項のいずれか1項に記載の方法。
【0572】
H1. 視覚メディア処理方法であって、
映像領域の仮想パイプラインデータユニット(VPDU)の現在の映像ブロックと、現在の映像ブロックのビットストリーム表現との間での変換を、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードを使用して行うことであって、変換時には,k、nおよびMは整数である場合に、nM×nMサイズの参照領域が使用され、VPDUの寸法がkM×kMであり、現在の映像ブロックは、符号化ツリーユニットに位置決めされ、参照領域は、現在の映像ブロックに対応するコーディングツリーユニット列のn×n-k個の直近の利用可能なコーディングツリーユニットからのサンプルを含む、行うことを含む方法。
【0573】
H2. 参照領域のサイズは128×128サンプルであり、符号化ツリーユニットのサイズは64×64であり、VPDUの寸法は64×64であり、バッファは、現在の映像ブロックを含む同じ符号化ツリーユニット行内の3つの最も近い利用可能な符号化ツリーユニットを含む、G1項に記載の方法。
【0574】
H3. 参照領域のサイズは128×128サンプルであり、符号化ツリーユニットのサイズは32×32であり、VPDUの寸法は64×64であり、バッファは、現在の映像ブロックを含む同じ符号化ツリーユニット行内の12個の最も近い利用可能な符号化ツリーユニットを含む、H1項に記載の方法。
【0575】
I1. 視覚メディア処理方法であって、
視覚メディアデータのw×hサイズの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することであって、変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、
現在の映像ブロックを含むサイズがM×Mの符号化ツリーユニット(CTU)の左上位置に対する現在の映像ブロックの位置(x0、y0)に空間的に配置され、かつブロックベクトル(BVx、BVy)を有するサンプルに対して、バッファにおける参照位置(P,Q)から始まる対応する参照領域を計算することであって、参照位置(P,Q)はブロックベクトル(BVx、BVy)および/または位置(x0,y0)を使用して判定する、計算することと、
参照領域および/または参照位置(P、Q)に1つ以上の規則ベースの制約を適用して、参照領域と映像領域との重なりを制限することと、を含む方法。
【0576】
I2. CTUのサイズが128×128である場合、(x0,y0)を(m×64,n×64)で表すと、参照領域は、((m-2)×64,n×64)で表される左上隅を有するサイズ64×64の映像領域と重ならないように制限され、mおよびnは整数である、I1項に記載の方法。
【0577】
I3. CTUのサイズが128×128である場合、(x0,y0)を(m×64,n×64)で表すと、参照領域は、(x0-128,y0)で表される左上隅を有するサイズw×hの映像領域と重ならないように制限され、mおよびnは整数である、I1項に記載の方法。
【0578】
I4. バッファのサイズがkM×Mである場合、参照領域が、(x0-kM y0)として表される左上隅を有するサイズw×hの映像領域と重複しないように制限される、I1項に記載の方法。
【0579】
I5. 現在の映像ブロックの左上の位置が(2m*64,2n*64)として表される場合、再構成されたブロックの左上の位置は、((2m-2)*64,2n*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0580】
I6. 現在の映像ブロックの左上の位置が(2m*64,2n*64)として表される場合、再構成されたブロックの左上の位置は、((2m-1)*64,2n*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0581】
I7. 現在の映像ブロックの左上の位置が(2m*64,2n*64)として表される場合、再構成されたブロックの左上の位置は、((2m-1)*64,(2n+1)*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0582】
I8. 現在の映像ブロックの左上の位置が(2m*64,2n*64)として表される場合、再構成されたブロックの左上の位置は、現在の映像ブロックの左上の位置に位置する、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0583】
I9. 現在の映像ブロックの左上の位置が((2m+1)*64,(2n+1)*64)として表される場合、再構成されたブロックの左上の位置は、現在の映像ブロックの左上の位置に位置する、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0584】
I10. 現在の映像ブロックの左上の位置が((2m+1)*64,2n*64)として表される場合、再構成されたブロックの左上の位置は、((2m-1)*64,2n*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0585】
I11. 現在の映像ブロックの左上の位置が((2m+1)*64,2n*64)として表される場合、再構成されたブロックの左上の位置は、((2m-1)*64,(2n+1)*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0586】
I12. 現在の映像ブロックの左上の位置が((2m+1)*64,2n*64)として表される場合、再構成されたブロックの左上の位置は、(2m*64,2n*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0587】
I13. 現在の映像ブロックの左上の位置が((2m+1)*64,2n*64)として表される場合、前再構成されたブロックの左上の位置は、現在の映像ブロックの左上の位置に位置する、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0588】
I14. 現在の映像ブロックの左上の位置が(2m*64,(2n+1)*64)として表される場合、再構成されたブロックの左上の位置は、((2m-1)*64,(2n+1)*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0589】
I15. 現在の映像ブロックの左上の位置が(2m*64,(2n+1)*64)として表される場合、再構成されたブロックの左上の位置は、(2m*64,2n*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0590】
I16. 現在の映像ブロックの左上の位置が(2m*64,(2n+1)*64)として表される場合、再構成されたブロックの左上の位置は、((2m+1)*64,2n*64)として表され、式中、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0591】
I17. 現在の映像ブロックの左上の位置が(2m*64,(2n+1)*64)として表される場合、再構成されたブロックの左上の位置は、現在の映像ブロックの左上の位置に位置する、mおよびnは整数であり、現在の映像ブロックのサイズは64×64である、I1項に記載の方法。
【0592】
J1. 視覚メディア処理方法であって、
視覚メディアデータの現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、イントラブロックコピーモードで予測するための参照サンプルを記憶するバッファを判定することであって、この変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピーモードで行われる、判定することと、
現在の映像ブロックを含む符号化ユニット(CU)に対して、現在の映像ブロックの位置(x0,y0)に空間的に位置するサンプルに対して、バッファにおける参照位置から始まる対応する参照領域を計算することと、
前回処理されたブロックのうちどれを予測に用いるかを判定するために、参照領域及び参照位置を調整することと、を含む、方法。
【0593】
J2. (y0>>6)&1==0のとき、最大2つの前回処理されたブロックが予測に使用され、2つの前回処理されたブロックの左上の位置は((x>>6<<6)-128,y>>6<<6)および((x>>6<<6)-64,y>>6<<6)で表される。J1項に記載の方法。
【0594】
J3. (y0>>6)&1==1である場合、左上位置が((x>>6<<6)-64,y>>6<<<6)で表される1つの前回処理されたブロックを予測に使用する、J1項に記載の方法。
【0595】
K1. 映像処理方法であって、
映像の現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換のために、映像の成分Xを使用して、映像の成分cの現在の映像ブロックに対応するブロックベクトルの有効性を判定することであって、成分Xは、映像の輝度成分とは異なる、判定することと、
現在の映像ブロックに対してブロックベクトルが有効であると判定すると、ブロックベクトルを使用して変換を行うことであって、変換は、現在の映像ブロックと同じ映像領域に位置する再構成ブロックに関する動き情報に基づくイントラブロックコピー(IBC)モードで行われることと、を含む、方法。
【0596】
K2. 現在の映像ブロックは位置(x,y)から開始し、判定することは、isRec((x+BVx)>>6<<6)+128-((y+BVy)>>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))が真である場合に無効であると判定することを含み、サンプル(x,y)がIBCモードで再構成され、ブロックベクトルが(BVx,BVy)と表記されている場合に、isRec(x,y)が真である、K1項に記載の方法。
【0597】
K3. 成分cが、映像の輝度成分に対応する、K1項に記載の方法。
【0598】
K4. 現在の映像ブロックがクロマブロックであり、映像が4:4:4フォーマットである、K1項に記載の方法。
【0599】
K5. 現在の映像ブロックは、輝度成分及びクロマ成分を含む、K1項に記載の方法。
【0600】
K6. 映像が4:2:0フォーマットであり、現在の映像ブロックは、位置(x,y)から始まるクロマブロックであり、判定することは、ブロックベクトルが、isRec(c.((x+BVx)>>5<<5)+64-(((y+BVy)>>5)&1)*32+(x%32),((y+BVy)>>5<<5)+(y%32))が真である場合に無効であると判定することを含み、サンプル(x,y)がIBCモードで再構成された場合、isRec(x,y)が真である、K1項に記載の方法。
【0601】
K7. 判定は、映像の成分Xのサンプルの可用性に少なくとも部分的に基づいている、項K1に記載の方法。
【0602】
K8. 現在の映像ブロックが位置(x,y)から始まり、判定することは、ブロックベクトルが、isRec(c.((x+BVx)>>6<<6)+128-(((y+BVy)>>6)&1)*64+(x%64),((y+BVy)>>6<<6)+(y%64))が真の場合には無効であると判定し、isRec(c,x,y)は、成分cのサンプル(x,y)が利用可能であり、IBCモードによって再構成され、ブロックベクトルが(BVx,BVy)と表記される場合には、真である、K7項に記載の方法。
【0603】
K9. 現在の映像ブロックが輝度ブロックである、K8項に記載の方法。
【0604】
K10. 現在の映像ブロックがクロマブロックであり、映像が4:4:4フォーマットである、K8項に記載の方法。
【0605】
K11. 判定するステップは、映像の成分Xのサンプルの可用性を判定するステップを含む、K7項に記載の方法。
【0606】
K12. 現在の映像ブロックは、位置(x,y)から始まり、判定するステップは、isRec(c,x+BVx+Chroma_CTU_size,y)が真の場合、ブロックベクトルが無効であると判定し、成分cのサンプル(x,y)が利用可能であり、IBCモードによって再構成された場合にはisRec(c,x,y)が真であり、ブロックベクトルは、(BVx,BVy))、Chroma_CTU_sizeは、クロマ成分の符号化ツリーユニットのサイズを示す、K7項に記載の方法。
【0607】
K13. クロマ成分のための符号化ツリーユニットのサイズが64である、K12項に記載の方法。
【0608】
K14. 現在の映像ブロックの特徴を判定する方法であって、
イントラブロックコピーモードにおいて、予測のための参照サンプルを記憶するバッファを判定することと、
現在の映像ブロックを含む符号化ツリーユニット(CTU)の左上の位置に対して、現在の映像ブロックの位置(x0,y0)に空間的に位置するサンプルに対して、バッファにおける参照位置(P,Q)から始まる対応する参照領域を計算することと、をさらに含む、K1項に記載の方法。
【0609】
K15. バッファは、サイズM×Mのブロックを記憶する、K14項に記載の方法。
【0610】
K16. バッファは、サイズN×Mのブロックを記憶し、式中、MとNが等しくない、K14項に記載の方法。
【0611】
K17. 1つ以上の条件が満たされる場合、バッファの使用が制限される、K14項に記載の方法。
【0612】
K18. バッファが現在の映像ブロックと同じブリック/タイル/タイルグループ/スライス内にある場合、バッファの使用が制限される、K14項に記載の方法。
【0613】
L1. 変換は、現在の映像ブロックからビットストリーム表現を生成することを含むA1~K18項のいずれかに記載の方法。
【0614】
L2. 変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、A1~K18項のいずれかに記載の方法。
【0615】
L3. A1~K18のいずれか1項以上に記載の方法を実施するように構成された処理装置を備える映像エンコーダ装置。
【0616】
L4. A1~K18項のいずれか1項以上に記載の方法を実施するように構成された処理装置を備える、映像デコーダ装置。
【0617】
L5. コードが記憶されたコンピュータ可読媒体であって、コードはA1~K18の1項以上のいずれかに記載の方法を実施するための処理装置実行可能命令を具現化する、コンピュータ可読媒体。
【0618】
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。
【0619】
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
【0620】
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、又はこれらの1つ以上の組み合わせであってもよい。「データ処理ユニット」又は「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、又は複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はこれらの1つ以上の組み合わせを構成するコードを含むことができる。
【0621】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとも呼ばれる)は、コンパイルされた言語又は解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、又はコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、又は他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラム又はデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、又は複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
【0622】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理及びロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
【0623】
コンピュータプログラムの実行に適した処理装置は、例えば、汎用及び専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、又は光ディスクを含んでもよく、又はこれらの大容量記憶デバイスからデータを受信するか、又はこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置及びメモリは、特定用途のロジック回路によって補完されてもよく、又は特定用途のロジック回路に組み込まれてもよい。
【0624】
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書において、「または」の使用は、文脈からそうでないことが明確に示されていない限り、「および/または」を含むことが意図される。
【0625】
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例の文脈で説明された様々な特徴は、複数の実施形態において別個に又は任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブ組み合わせまたはサブ組み合わせのバリエーションに向けられてもよい。
【0626】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番で又は連続した順番で実行されること、又は示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0627】
いくつかの実装形態及び例のみが記載されており、この特許文献に記載され図示されている内容に基づいて、他の実施形態、拡張及び変形が可能である。