IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ▲騰▼▲訊▼科技(深▲セン▼)有限公司の特許一覧

特表2024-527143符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器
<>
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図1
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図2
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図3
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図4
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図5
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図6
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図7
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図8
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図9
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図10
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図11
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図12
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図13
  • 特表-符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-19
(54)【発明の名称】符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器
(51)【国際特許分類】
   H04N 19/119 20140101AFI20240711BHJP
   H04N 19/176 20140101ALI20240711BHJP
   H04N 19/593 20140101ALI20240711BHJP
【FI】
H04N19/119
H04N19/176
H04N19/593
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024506589
(86)(22)【出願日】2022-12-28
(85)【翻訳文提出日】2024-02-01
(86)【国際出願番号】 CN2022142701
(87)【国際公開番号】W WO2023125631
(87)【国際公開日】2023-07-06
(31)【優先権主張番号】202111671659.6
(32)【優先日】2021-12-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技(深▲セン▼)有限公司
【氏名又は名称原語表記】TENCENT TECHNOLOGY (SHENZHEN) COMPANY LIMITED
【住所又は居所原語表記】35/F,Tencent Building,Kejizhongyi Road,Midwest District of Hi-tech Park,Nanshan District, Shenzhen,Guangdong 518057,CHINA
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】王英彬
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159TA12
5C159TA62
5C159TB08
5C159TC12
5C159TC31
5C159UA02
5C159UA05
(57)【要約】
本願は、符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、媒体、及びコンピュータ機器を開示している。この符号化ブロックの処理方法は、ビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定するステップと、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、を含む。
【特許請求の範囲】
【請求項1】
コンピュータ機器が実行する、イントラブロックコピー予測モードに基づく符号化ブロックの処理方法であって、
ビットストリームを受信し、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、
を含む方法。
【請求項2】
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する前記ステップは、
前記ビットストリームに基づいて、前記現在の符号化ブロックのブロックベクトルを決定するステップと、
前記ブロックベクトルに基づいて、前記参照符号化ブロックの第1位置情報を取得するステップと、
前記第1位置情報と前記現在の符号化ブロックとに基づいて、前記位置関係を決定するステップと、を含む、
請求項1に記載の方法。
【請求項3】
前記第1位置情報と前記現在の符号化ブロックとに基づいて、前記位置関係を決定する前記ステップは、
前記現在の符号化ブロックの第2位置情報を取得するステップと、
前記第1位置情報における右下隅の水平座標が前記第2位置情報における左上隅の水平座標以上であり、かつ、前記第1位置情報における右下隅の垂直座標が前記第2位置情報における左上隅の垂直座標以上である場合、前記位置関係が重なっていると決定するステップと、を含む、
請求項2に記載の方法。
【請求項4】
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、
所定の基本分割単位に基づいて、前記マージブロックを分割することにより、前記複数のターゲット符号化ブロックを取得するステップを含む、
請求項1乃至3のいずれか1項に記載の方法。
【請求項5】
前記現在の符号化ブロックの画像サンプリングフォーマットを取得するステップと、
前記画像サンプリングフォーマットに基づいて、前記現在の符号化ブロックの画像サンプリング比を決定するステップと、をさらに含み、
所定の基本分割単位に基づいて、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、
前記基本分割単位に基づいて、前記マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得するステップと、
前記基本分割単位と前記画像サンプリング比とに基づいて、前記マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得するステップと、を含む、
請求項4に記載の方法。
【請求項6】
所定の基本分割単位に基づいて、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、
前記基本分割単位を取得するステップと、
前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、前記比較結果に基づいて、ターゲット分割単位を決定するステップと、
前記ターゲット分割単位に基づいて、前記マージブロックを分割することにより、前記複数のターゲット符号化ブロックを取得するステップと、を含む、
請求項4に記載の方法。
【請求項7】
前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、前記比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、
前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、
前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、を含む、
請求項6に記載の方法。
【請求項8】
前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、前記比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、
前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、
前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記現在の符号化ブロックの高さの値を前記ターゲット分割単位とするステップと、を含む、
請求項6に記載の方法。
【請求項9】
コンピュータ機器が実行するビデオ復号化方法であって、
現在の画像が含まれる符号化済みビデオのビットストリームを受信するステップと、
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、
前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得するステップと、
前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定し、前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得するステップと、
を含む方法。
【請求項10】
前記符号化済みビデオのビットストリームに基づいて、シーケンスヘッダフラグを決定するステップをさらに含み、
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する前記ステップは、
前記シーケンスヘッダフラグのフラグ値が所定値である場合、前記現在の符号化ブロックと前記参照符号化ブロックとの位置関係を決定するステップであって、前記シーケンスヘッダフラグのフラグ値は、符号化側での符号化時に設定されたものである、ステップを含む、
請求項9に記載のビデオ復号化方法。
【請求項11】
前記現在の符号化ブロックがマージブロックであると決定した場合、前記現在の符号化ブロックに対応する残差係数を0に調整するステップをさらに含む、
請求項9に記載のビデオ復号化方法。
【請求項12】
コンピュータ機器が実行するビデオ符号化方法であって、
現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、
前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得し、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定するステップと、
を含む方法。
【請求項13】
イントラブロックコピー予測モードに基づく符号化ブロックの処理装置であって、
ビットストリームを受信し、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する受信ユニットと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定する決定ユニットと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する分割ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、分割ユニットと、
を含む装置。
【請求項14】
前記受信ユニットは、前記ビットストリームに基づいて、前記現在の符号化ブロックのブロックベクトルを決定し、前記ブロックベクトルに基づいて、前記参照符号化ブロックの第1位置情報を取得し、前記第1位置情報と前記現在の符号化ブロックとに基づいて、前記位置関係を決定する、
請求項13に記載の装置。
【請求項15】
前記分割ユニットは、所定の基本分割単位に基づいて、前記マージブロックを分割することにより、前記複数のターゲット符号化ブロックを取得する、
請求項13又は14に記載の装置。
【請求項16】
ビデオ復号化装置であって、
現在の画像が含まれる符号化済みビデオのビットストリームを受信する受信ユニットと、
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する処理ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、処理ユニットと、
前記複数のターゲット符号化ブロックのブロックベクトルとイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、
前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、
前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得する復号化ユニットと、
を含む装置。
【請求項17】
前記処理ユニットは、さらに、前記符号化済みビデオのビットストリームに基づいて、シーケンスヘッダフラグを決定し、前記シーケンスヘッダフラグのフラグ値が所定値である場合、前記現在の符号化ブロックと前記参照符号化ブロックとの位置関係を決定し、前記シーケンスヘッダフラグのフラグ値は、符号化側での符号化時に設定されたものである、
請求項16に記載の装置。
【請求項18】
ビデオ符号化装置であって、
現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する決定ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、決定ユニットと、
前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、
前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、
を含む装置。
【請求項19】
コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによってロードされて、請求項1乃至12のいずれか1項に記載の方法のステップを実行させるように構成されることを特徴とするコンピュータ可読記憶媒体。
【請求項20】
プロセッサとメモリとを備えるコンピュータ機器であって、前記メモリには、コンピュータプログラムが記憶されており、前記プロセッサは、前記メモリに記憶されている前記コンピュータプログラムを呼び出すことにより、請求項1乃至12のいずれか1項に記載の方法のステップを実行することを特徴とするコンピュータ機器。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2021年12月31日に中国特許庁に提出された、出願番号が第202111671659.6号であり、発明の名称が「処理方法及び装置、ビデオ復号化方法、ビデオ符号化方法、及び装置」である中国特許出願に基づく優先権を主張する。
【0002】
本願は、コンピュータの技術分野に関し、具体的には、符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、媒体、及びコンピュータ機器に関する。
【背景技術】
【0003】
AV1、AVS3、及びVVCなどの現在のビデオ符号化規格では、参照ブロックが現在のブロックと重なる部分を持つことが許可されないようにイントラブロックコピー予測モードが制限されている。しかしながら、スクリーンコンテンツビデオは強い空間的な相関性を持つことが多いため、近接する画素を使用して現在のブロックを予測するために、大きな符号化ブロックが一連の小さなサブブロックに分割されることが多い。この一連の小さなサブブロックには、同じ動き情報を持つサブブロックが一部あり、これらの同じ動き情報を符号化することは、追加のビットオーバーヘッドをもたらす。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願の実施例は、符号化・復号化のオーバーヘッドを効率的に節約し、符号化・復号化の性能を向上させることができる符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、媒体、及びコンピュータ機器を提供する。
【課題を解決するための手段】
【0005】
一態様によれば、本願の実施例では、コンピュータ機器が実行する、イントラブロックコピー予測モードに基づく符号化ブロックの処理方法が提供されている。この方法は、ビットストリームを受信し、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、を含む。
【0006】
別の態様によれば、本願の実施例では、コンピュータ機器が実行するビデオ復号化方法が提供されている。この方法は、現在の画像が含まれる符号化済みビデオのビットストリームを受信するステップと、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得するステップと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定し、前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得するステップと、を含む。
【0007】
別の態様によれば、本願の実施例では、コンピュータ機器が実行するビデオ符号化方法が提供されている。この方法は、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得し、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定するステップと、を含む。
【0008】
別の態様によれば、本願の実施例では、イントラブロックコピー予測モードに基づく符号化ブロックの処理装置が提供されている。この装置は、ビットストリームを受信し、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する受信ユニットと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定する決定ユニットと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する分割ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、分割ユニットと、を含む。
【0009】
別の態様によれば、本願の実施例では、ビデオ復号化装置が提供されている。この装置は、現在の画像が含まれる符号化済みビデオのビットストリームを受信する受信ユニットと、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する処理ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、処理ユニットと、前記複数のターゲット符号化ブロックのブロックベクトルとイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得する復号化ユニットと、を含む。
【0010】
別の態様によれば、本願の実施例では、ビデオ符号化装置が提供されている。この装置は、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する決定ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、決定ユニットと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、を含む。
【0011】
別の態様によれば、本願の実施例では、コンピュータプログラムを記憶したコンピュータ可読記憶媒体が提供されている。コンピュータプログラムは、プロセッサによってロードされて、上記のいずれかの実施例における方法のステップを実行させるように構成される。
【0012】
別の態様によれば、本願の実施例では、プロセッサとメモリとを備えるコンピュータ機器が提供されている。メモリには、コンピュータプログラムが記憶されており、プロセッサは、メモリに記憶されているコンピュータプログラムを呼び出すことにより、上記のいずれかの実施例における方法のステップを実行する。
【0013】
別の態様によれば、本願の実施例では、コンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムが提供されている。該コンピュータ命令は、コンピュータ可読記憶媒体に記憶されている。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取り、プロセッサが該コンピュータ命令を実行すると、該コンピュータ機器に上記のいずれかの実施例における方法のステップを実行させる。
【図面の簡単な説明】
【0014】
本願の実施例の技術的方法をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。
【0015】
図1】本願の実施例で提供されるIBC予測モードに基づく符号化ブロックの処理方法のフローの模式図である。
図2】本願の実施例で提供されるイントラブロックコピー予測モードの模式図である。
図3】本願の実施例で提供されるIBC予測モードに基づく符号化ブロックの処理方法の他のフローの模式図である。
図4】本願の実施例で提供されるIBC予測モードに基づく符号化ブロックの処理方法の他のフローの模式図である。
図5】本願の実施例で提供されるIBC予測モードに基づく符号化ブロックの処理装置の構成の模式図である。
図6】本願の実施例で提供されるコンピュータ機器の模式的な構成図である。
図7】本願の実施例で提供されるビデオ復号化方法のフローの模式図である。
図8】本願の実施例で提供されるビデオデコーダの基本的なフローの例示図である。
図9】本願の実施例で提供されるビデオエンコーダの基本的なフローの他の例示図である。
図10】本願の実施例で提供されるビデオ復号化方法の他のフローの模式図である。
図11】本願の実施例で提供されるビデオ復号化装置の構成の模式図である。
図12】本願の実施例で提供されるビデオ符号化方法のフローの模式図である。
図13】本願の実施例で提供されるビデオ符号化装置の構成の模式図である。
図14】本願の実施例で提供される他のコンピュータ機器の模式的な構成図である。
【発明を実施するための形態】
【0016】
以下、本願の実施例の図面を参照しながら、本願の実施例の技術的方法を明確かつ完全に説明する。明らかなように、説明する実施例は、本願の一部の実施例に過ぎず、全部の実施例ではない。当業者が創造的な労働をせずに本願の実施例から得る全ての他の実施例は、本願の保護範囲に属する。
【0017】
まず、本願の実施例の説明に現れる名詞又は用語の一部については、以下のように解釈する。
【0018】
イントラ予測:予測用の信号は、同一の画像内の符号化・再構成済みの領域からのものである。
【0019】
イントラブロックコピー(Intra block copy、IBCと略称)予測モード:IBC予測モードは、HEVCのスクリーンコンテンツ符号化(SCC:Screen Content Coding)拡張で採用されたイントラ符号化ツールであり、スクリーンコンテンツの符号化効率を著しく向上させる。IBC予測モードは、ブロックレベルの符号化モードであり、符号化側でブロックマッチング(BM:Block Matching)技術を使用して、各符号化単位(CU:Coding Unit)に対して最適マッチングブロックを探す。
【0020】
AVS3、VVC、及びAV1では、スクリーンコンテンツ符号化の性能を向上させるために、IBC予測モード技術が同様に採用されている。IBC予測モードは、スクリーンコンテンツビデオの空間的な相関性を利用し、現在の画像における符号化済み画像の画素を使用して、現在の符号化対象ブロックの画素を予測し、画素を符号化するために必要なビットを効率的に節約することができる。
【0021】
HEVC、VVC、AVS3、AV1、AV2のような現在の主流のビデオ符号化規格は、いずれも、ブロックに基づくハイブリッド符号化フレームワークを採用している。これらは、オリジナルビデオデータを一連の符号化ブロックに分割して、予測、変換、及びエントロピー符号化などのビデオ符号化方法を組み合わせることにより、ビデオデータの圧縮を実現する。ここで、動き補償は、ビデオ符号化によく使われる予測方法である。動き補償は、時間領域又は空間領域におけるビデオコンテンツの冗長性の特性に基づいて、符号化済み領域から現在の符号化ブロックの予測値を導出する。
【0022】
ここで、入力されたオリジナルビデオ信号に対して、以下の一連の操作及び処理を行ってもよい。
【0023】
ブロック分割構造(block partition structure):1つの処理単位の大きさに基づいて、入力画像を若干の重ならない処理単位に分割し、各処理単位に対して類似の圧縮操作を行う。この処理単位は、CTU又はLCUと呼ばれる。CTUから下へさらに細かく分割して、CUと呼ばれる1つ又は複数の基本的な符号化単位を取得することができる。各CUは、符号化プロセスの最も基本的な要素である。CU毎に採用され得る様々な符号化方式を以下に説明する。
【0024】
予測符号化(Predictive Coding):イントラ予測、インター予測、及びIBC予測などの方式を含む。オリジナルビデオ信号に対して、選択された再構成済みビデオ信号を用いた予測を行った後、残差ビデオ信号が得られる。符号化側は、現在のCUに対して、多くの可能な予測符号化モードのうち、最も適切な1つのモードを決定して復号化側に知らせる必要がある。
【0025】
変換符号化及び量子化(Transform Coding & Quantization):離散フーリエ変換(DFT)、離散コサイン変換(DCT)などの変換操作によって、残差ビデオ信号が変換領域に変換され、この変換操作が変換係数と呼ばれる。変換領域における信号は、さらに非可逆量子化操作が行われ、一定の情報が失われ、量子化された信号が圧縮表現に有利になる。いくつかのビデオ符号化規格では、選択できる変換方式が複数あり得る。このため、符号化側は、現在符号化するCUのために、そのうちの1つの変換を選択して復号化側に知らせる必要もある。量子化の細かさは、通常、量子化パラメータ(QP)によって決まる。QPの値が大きい場合は、値の範囲がより大きい係数が同一の出力として量子化されることを表すため、通常、より大きな歪み及び低いビットレートをもたらす。逆に、QPの値が小さい場合は、値の範囲が小さい係数が同一の出力として量子化されることを表すため、通常、小さな歪みをもたらすとともに、高いビットレートに対応する。
【0026】
エントロピー符号化(Entropy Coding)又は統計的符号化:量子化された変換領域信号に対して、各値の発生頻度に従って統計的符号化を行い、最終的に2値化された(0又は1)圧縮ビットストリームを出力する。また、符号化によって生成されたその他の情報、例えば、選択されたモードやブロックベクトルなどに対しても、ビットレートを低減するために、エントロピー符号化を行う必要がある。統計的符号化は、可逆符号化方式の1つであり、同じ信号の表現に必要なビットレートを効果的に低減することができる。一般的な統計的符号化方式としては、可変長符号化(VLC:Variable Length Coding)やコンテキスト適応型バイナリ算術符号化(CABAC:Content Adaptive Binary Arithmetic Coding)がある。
【0027】
ループフィルタリング(Loop Filtering):符号化された画像に対して逆量子化、逆変換、及び予測補償の操作を行うことにより、再構成された復号化画像を取得することができる。再構成画像は、オリジナル画像と比較して、量子化の影響があるため、一部の情報がオリジナル画像と異なり、歪みが生じる。再構成画像に対してデブロッキングフィルタリングのようなフィルタリング操作を行うことにより、量子化によって生じる歪みの程度を効果的に低減することができる。これらのフィルタリングされた再構成画像が、後続の符号化画像の参照として将来の信号の予測に用いられるため、上述したフィルタリング操作は、ループフィルタリング、即ち、符号化ループ内でのフィルタリング操作とも呼ばれる。
【0028】
AV1、AVS3、及びVVCなどの現在のビデオ符号化規格では、参照ブロックが現在のブロックと重なる部分を持つことが許可されないようにIBC予測モードが制限されている。しかしながら、スクリーンコンテンツビデオは強い空間的な相関性を持つことが多いため、近接する画素を使用して現在のブロックを予測するために、大きな符号化ブロックが一連の小さなサブブロックに分割されることが多い。これにより、参照ブロックが現在のブロックと重ならないという制限が満たされる。分割された小さなブロックには、同じ動き情報を持つものが一部あり、これらの同じ動き情報を符号化することは、追加のビットオーバーヘッドをもたらす。
【0029】
本願の実施例では、IBC予測モードに基づく符号化ブロックの処理方法及び処理装置、ビデオ復号化方法及びビデオ復号化装置、媒体及び機器が提供されている。これにより、符号化オーバーヘッドを効果的に節約し、符号化性能を向上させ、近接する画素を使用して現在のブロックを予測することによって追加のビットオーバーヘッドをもたらすという問題をある程度緩和することができる。本願の実施例は、IBC予測モードの符号化技術、及び、IBC予測モード技術を用いたビデオコーデック又はビデオ圧縮の製品に適用可能である。
【0030】
具体的には、本願の実施例の方法は、コンピュータ機器によって実行されてもよい。ここで、該コンピュータ機器は、端末又はサーバなどの機器であってもよい。
【0031】
本願の実施例で提供される技術的方法をより良く理解するために、以下、本願の実施例で提供される技術的方法の適用可能な応用シナリオを簡単に紹介する。なお、以下に紹介する応用シナリオは、限定ではなく、本願の実施例を説明するためにのみ使用される。符号化ブロックの処理方法がコンピュータ機器によって実行される場合を例にする。ここで、該コンピュータ機器は、端末又はサーバなどの機器であってもよい。
【0032】
本願の実施例は、クラウド技術又はブロックチェーンネットワーク技術との組み合わせによって実現されてもよい。例えば、本願の実施例で開示される符号化ブロックの処理方法では、これらのデータがブロックチェーンに保存されてもよい。例えば、ビットストリーム、位置関係、マージブロック、及びターゲット符号化ブロックは、いずれも、ブロックチェーンに保存されてもよい。
【0033】
ビットストリーム、位置関係、マージブロック、及びターゲット符号化ブロックの記憶及び検索の実現を容易にするために、任意選択的に、該符号化ブロックの処理方法は、ビットストリーム、位置関係、マージブロック、及びターゲット符号化ブロックをブロックチェーンネットワークに送信することにより、ブロックチェーンネットワークのノードに、ビットストリーム、位置関係、マージブロック、及びターゲット符号化ブロックを新たなブロックに充填させ、新たなブロックに対してコンセンサス合意に達した場合、新たなブロックをブロックチェーンの末尾に追加させるステップをさらに含む。本願の実施例では、ビットストリーム、位置関係、マージブロック、及びターゲット符号化ブロックをブロックチェーンに追加して記憶することにより、レコードのバックアップを実現することができ、ターゲット符号化ブロックを取得する必要がある場合、ブロックチェーンから相応のターゲット符号化ブロックを直接かつ迅速に取得することができ、符号化ブロックの処理効率を向上させる。
【0034】
以下、それぞれ詳しく説明する。なお、以下の実施例の説明順序は、実施例の優先順位を限定するものではない。
【0035】
本願の各実施例では、IBC予測モードに基づく符号化ブロックの処理方法が提供されている。本願の実施例では、認識方法がコンピュータ機器によって実行される場合を例に説明する。
【0036】
なお、本願のIBC予測モードに基づく符号化ブロックの処理方法は、符号化側にも復号化側にも適用可能である。以下の実施例では、復号化側を例に説明する。
【0037】
図1を参照する。図1は、本願の実施例で提供される処理方法のフローの模式図である。この方法は、以下のステップを含む。
【0038】
ステップ110では、ビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する。
【0039】
具体的には、IBC予測モードは、スクリーンコンテンツ符号化(Screen Content Coding、SCCと略称)拡張で採用された符号化ツールであり、スクリーンコンテンツの符号化効率を著しく向上させる。AVS3、VVC、及びAV1では、スクリーンコンテンツ符号化の性能を向上させるために、IBC技術が同様に採用されている。IBCは、スクリーンコンテンツビデオの空間的な相関性を利用し、現在の画像における符号化済み画像の画素を使用して、現在の符号化対象ブロックの画素を予測し、画素を符号化するために必要なビットを効率的に節約することができる。
【0040】
図2を参照する。図2は、イントラブロックコピー予測モードの模式図である。灰色の領域は符号化済み領域であり、参照ブロックは符号化済み領域に位置する。現在の符号化ブロックは、現在のブロックと略称され、白色の領域、即ち、未符号化領域に位置する。ここで、現在の符号化ブロックとその参照ブロックとの変位は、ブロックベクトル(Block Vector、BVと略称)と呼ばれる。
【0041】
理解できるように、1つのビデオには、複数のピクチャが含まれる。各々のピクチャが複数の領域に分割され、各領域に対して符号化又は復号化が実行される。例えば、1つのピクチャは、1つ又は複数のタイル及び/又はスライスに分割される。各々のタイル及び/又はスライスは、1つ又は複数の同じ大きさの符号化ツリー単位(CTU)に分割される。言い換えれば、1つのピクチャは同じ大きさのCTUに分割でき、1つ又は複数のCTUは1つのタイル又は1つのスライスを構成できる。各々のCTUは、1つ又は複数のCUに分割できる。各CUに適用される情報は、CUのシンタックスとして符号化され、1つのCTUに含まれるCUに共通して適用される情報は、CTUのシンタックスとして符号化される。
【0042】
ビットストリームは、画像のビットストリーム、又はビデオのビットストリームを含む。復号化側では、ビットストリームに復号化ビットストリームが含まれ、符号化側では、ビットストリームに符号化ビットストリームが含まれる。以下の実施例では、復号化ビットストリームを例に説明する。
【0043】
ビットストリームを受信すると、現在の符号化ブロックを決定し、ビットストリームに含まれる動き情報に基づいて、参照符号化ブロックの位置情報を決定することができ、さらに、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する。
【0044】
任意選択的に、ビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップは、ビットストリームに基づいて、現在の符号化ブロックのブロックベクトルを決定するステップと、ブロックベクトルに基づいて、参照符号化ブロックの第1位置情報を取得するステップと、参照符号化ブロックの第1位置情報と現在の符号化ブロックとに基づいて、位置関係を決定するステップと、を含む。
【0045】
具体的には、画像は、エンコーダに入力されると、まず、一連のCTUに分割される。次に、各CTUに対して、異なる分割構造を採用して、例えば、四分木や二分木などの方式で分割を行ってもよい(即ち、4つのブロックに等分するか、又は、2つのブロックに分ける)。これらの符号化ブロックに対して、様々な予測モードを試みることになるが、本願の各実施例では、IBC符号化ブロックに使用される予測モードを考慮する。IBC符号化ブロックに対して、エンコーダは、現在の画像の再構成済み領域を探索し、最適マッチングブロックを参照ブロックとして取得する。この過程は「動き推定」と呼ばれる。ここで、参照ブロックと現在のブロックとの変位は、「ブロックベクトル(Block Vector、BVと略称)」と呼ばれる。
【0046】
ビットストリームに基づいて、現在の符号化ブロックのブロックベクトルを決定する。ここで、ブロックベクトルは、現在の符号化ブロックとその参照領域内の最適マッチングブロックとの相対変位を表す。分割された各ブロックのいずれにも、復号化側に伝送する必要がある相応の動き情報(例えば、ブロックベクトル)がある。復号化側では、受信されたビットストリームと現在の符号化ブロックとに基づいて、現在の符号化ブロックのブロックベクトルを取得することができる。
【0047】
ブロックベクトルに基づいて、現在符号化ブロックと参照符号化ブロックとの相対変位を取得し、さらに参照符号化ブロックの第1位置情報を決定する。ここで、参照符号化ブロックには、現在の符号化ブロックが存在する画像内の最適マッチングブロックが含まれる。
【0048】
現在の符号化ブロック及び参照符号化ブロックの位置情報が決定されると、参照符号化ブロックと現在の符号化ブロックとの位置関係を取得することができる。
【0049】
任意選択的に、参照符号化ブロックの第1位置情報と現在の符号化ブロックとに基づいて、位置関係を取得する方法は、現在の符号化ブロックの第2位置情報を取得するステップと、第1位置情報における右下隅の水平座標が第2位置情報における左上隅の水平座標以上であり、かつ、第1位置情報における右下隅の垂直座標が第2位置情報における左上隅の垂直座標以上である場合、位置関係が重なっていると決定するステップと、を含む。
【0050】
例えば、現在の符号化ブロックの第2位置情報は、左上隅の座標(cur_x,cur_y)として表される。ここで、水平座標はcur_xであり、垂直座標はcur_yである。(b_w,b_h)は、現在の符号化ブロックの幅の値及び高さの値である。現在のIBC符号化ブロックのブロックベクトルは(mv_x,mv_y)であり、mv_xはブロックベクトルのx座標値であり、mv_yはブロックベクトルのy座標値である。
【0051】
参照符号化ブロックの第1位置情報の右下隅の座標(ref_br_x,ref_br_y)の計算は、
【0052】
[数式1]
ref_br_x=cur_x+b_w-1+mv_x
【0053】
[数式2]
ref_br_y=cur_y+b_h-1+mv_y
として表すことができる。
【0054】
数式1及び数式2によって、参照符号化ブロックの第1位置情報を算出することができる。
【0055】
第1位置情報における右下隅の水平座標が第2位置情報における左上隅の水平座標以上であり、かつ、第1位置情報における右下隅の垂直座標が第2位置情報における左上隅の垂直座標以上である場合、即ち、ref_br_x≧cur_x、かつ、ref_br_y≧cur_yである場合、位置関係が重なっていると決定する。
【0056】
ステップ120では、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定する。
【0057】
ここで、マージブロックは、同じブロックベクトルを持つ符号化ブロックを表す。
【0058】
なお、現在の符号化ブロックに対して動き推定を行う際に、参照符号化ブロックと現在の符号化ブロックとが重なることが許可される。
【0059】
符号化時にエンコーダが動き推定を完了している場合、同じ動き情報を持ついくつかのサブブロックを探してもよい。例えば、大きさが32×32である領域を単位として、各サブブロックの動き情報を調べて、これらのサブブロックが同じブロックベクトルを持ち、かつ、現在の32×32の領域の右下隅のサブブロックの参照符号化ブロックが現在の32×32の領域にあるか否かを決定する。さらに、これらのサブブロックをマージしてもよい。例えば、これらのサブブロックを32×32のマージブロックにマージする。マージブロックのブロックベクトルは、サブブロックのブロックベクトルに等しい。
【0060】
ステップ130では、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得し、複数のターゲット符号化ブロックには、同じ動き情報が含まれる。
【0061】
図3を参照すると、任意選択的に、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップは、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップ131を含む。
【0062】
具体的には、基本分割単位は、コーデックで許容される分割の最小幅及び最小高さに等しくてもよいし、コーデックで許容される分割の最小幅及び最小高さの整数倍であってもよいし、その他の所定の基本的な幅及び高さであってもよい。ここで、所定の基本分割単位は、ハードウェア設計における基本メモリセルの大きさであってもよい。例えば、所定の基本分割単位(part_w,part_h)は、(4,1)、(8,1)、(1,4)、又は(1,8)などの値である。
【0063】
例えば、基本分割単位は(part_w,part_h)であり、ここで、part_wは基本分割単位の幅であり、part_hは基本分割単位の高さであり、part_w及びpart_hの値はそれぞれN_w*min_w及びN_h*min_hとされてもよく、N_w及びN_hはいずれも1以上の整数である。min_w及びmin_hは、それぞれ、コーデックで許容される分割の最小幅及び最小高さである。
【0064】
所定の上記基本分割単位(part_w,part_h)に基づいて、現在のブロックを、大きさが(part_w,part_h)であるターゲット符号化ブロックに分解し、後続でターゲット符号化ブロック毎に再構成を行ってもよい。
【0065】
任意選択的に、所定の基本分割単位に基づいて、マージブロックを分割する前に、現在の符号化ブロックの画像サンプリングフォーマットを取得するステップと、画像サンプリングフォーマットに基づいて、現在の符号化ブロックの画像サンプリング比を決定するステップと、をさらに含み、所定の基本分割単位に基づいて、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、所定の基本分割単位に基づいて、マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得するステップと、所定の基本分割単位と画像サンプリング比とに基づいて、マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得するステップと、を含む。
【0066】
具体的には、マージブロックを分割する際に、現在の画像サンプリングフォーマットに基づいて分割を行ってもよい。現在の符号化ブロックの画像サンプリングフォーマットを取得する。画像サンプリングフォーマットは、YUV420フォーマットやYUV444フォーマットなどを含んでもよいが、これらに限定されない。画像サンプリングフォーマットに基づいて、現在の符号化ブロックの画像サンプリング比を決定する。例えば、輝度画像と色度画像との画像サンプリング比の幅の比をratio_w、高さの比をratio_hとする。YUV420フォーマットで、画像サンプリング比はratio_w=2、ratio_h=2であるが、YUV444フォーマットでは、ratio_w=1、ratio_h=1である。
【0067】
画像サンプリングフォーマット及び画像サンプリング比が決定されると、色度成分に対して、所定の基本分割単位に基づいて、マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得するが、輝度成分に対して、所定の基本分割単位と画像サンプリング比とに基づいて、マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得してもよい。
【0068】
例えば、輝度画像と色度画像との画像サンプリング比の幅の比をratio_w、高さの比をratio_hとする。色度画像は、基本分割単位(part_w,part_h)をパラメータとして分割されるが、輝度画像は、(part_w*ratio_w,part_h*ratio_h)をパラメータとして分割される。
【0069】
YUV420フォーマットでは、ratio_w=2、ratio_h=2である。現在の符号化ブロックに色度成分及び輝度成分が含まれる場合、(part_w*2,part_y*2)を単位として、現在の符号化ブロックの輝度成分をサブブロック、即ち、複数の輝度のターゲット符号化ブロックに分解する。これに応じて、(part_w,part_y)を単位として、現在の符号化ブロックの色度成分を分解することにより、複数の色度のターゲット符号化ブロックを取得する。
【0070】
YUV420フォーマットでは、ratio_w=2、ratio_h=2である。現在の符号化ブロックに輝度成分のみが含まれる場合、(part_w,part_h)を単位として、現在の符号化ブロックを分解することにより、複数の輝度のターゲット符号化ブロックを取得する。
【0071】
YUV444フォーマットでは、ratio_w=1、ratio_h=1である。色度サンプル数と輝度サンプル数が同じであり、色度サンプル及び輝度サンプルのいずれにも普通のサンプリングフォーマットが採用される。この場合、(part_w,part_h)を単位として、現在の符号化ブロックを分解することにより、複数のターゲット符号化ブロックを取得する。
【0072】
このように、所定の基本分割単位と画像サンプリング比とに基づいて、異なるサンプリングフォーマットのピクチャに対して、サンプリング比に対応する分割サイズで分割を行うことができ、さらに、後続の符号化又は復号化で色度成分及び輝度成分を調整する必要がなく、符号化効率を向上させる。
【0073】
図4を参照すると、任意選択的に、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップは、所定の基本分割単位を取得するステップ132と、基本分割単位を現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定するステップ133と、ターゲット分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップ134と、をさらに含む。
【0074】
本願の一実施例において、基本分割単位を現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する方法は、ブロックベクトルのy座標値が基本分割単位の高さの値以下である場合、現在の符号化ブロックのx座標において、現在の符号化ブロックの幅の値をターゲット分割単位とし、現在の符号化ブロックのy座標において、基本分割単位の高さの値をターゲット分割単位とするステップと、ブロックベクトルのy座標値が基本分割単位の高さの値より大きい場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値をターゲット分割単位とし、現在の符号化ブロックのy座標において、基本分割単位の高さの値をターゲット分割単位とするステップと、を含む。
【0075】
具体的には、平面座標系において、ブロックベクトルはx座標及びy座標を含んでもよい。
【0076】
例えば、基本分割単位は(part_w,part_h)であり、ここで、part_wは基本分割単位の幅の値であり、part_hは基本分割単位の高さの値である。現在の符号化ブロックのブロックベクトルは(mv_x,mv_y)であり、ここで、mv_xはブロックベクトルのx座標値であり、mv_yはブロックベクトルのy座標値である。
【0077】
mv_y≦-part_hの場合、現在の符号化ブロックのx座標において、b_wの値に基づいて分割を行い、現在の符号化ブロックのy座標において、part_hの値に基づいて分割を行い、つまり、(b_w,part_h)をターゲット分割単位として、現在の符号化ブロックを分割する。mv_y>-part_hの場合、基本分割単位(part_w,part_h)をターゲット分割単位として、現在の符号化ブロックを分割する。
【0078】
同様に、ブロックベクトルのx座標値が基本分割単位の幅の値以下である場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値をターゲット分割単位とし、現在の符号化ブロックのy座標において、現在の符号化ブロックの高さの値をターゲット分割単位とする。
【0079】
ブロックベクトルのx座標値が基本分割単位の幅の値より大きい場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値をターゲット分割単位とし、現在の符号化ブロックのy座標において、基本分割単位の高さの値をターゲット分割単位とする。
【0080】
上記の例では、mv_x≦-part_wの場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値であるpart_wの値に基づいて分割を行い、現在の符号化ブロックのy座標において、現在の符号化ブロックの高さの値であるb_hの値に基づいて分割を行い、つまり、(part_w,b_h)をターゲット分割単位として、現在の符号化ブロックを分割する。mv_x>-part_wの場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値part_wに基づいて分割を行い、現在の符号化ブロックのy座標において、基本分割単位の高さの値part_hに基づいて分割を行い、つまり、基本分割単位(part_w,part_h)をターゲット分割単位として、現在の符号化ブロックを分割する。
【0081】
なお、本願の位置情報の座標系は、複数の方向を含んでもよく、本実施例は、2つ以上の方向の座標系の分割の場合にも適用される。
【0082】
本願の他の実施例において、分割には、少なくともx座標及びy座標の分割が含まれ、基本分割単位を現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する方法は、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値をターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値をターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、基本分割単位の幅の値をターゲット分割単位とし、前記現在の符号化ブロックのy座標において、現在の符号化ブロックの高さの値をターゲット分割単位とするステップと、を含む。
【0083】
具体的には、平面座標系において、ブロックベクトルはx座標及びy座標を含んでもよい。
【0084】
例えば、基本分割単位は(part_w,part_h)であり、ここで、part_wは基本分割単位の幅であり、part_hは基本分割単位の高さである。現在の符号化ブロックのブロックベクトルは(mv_x,mv_y)であり、ここで、mv_xはブロックベクトルのx座標値であり、mv_yはブロックベクトルのy座標値である。
【0085】
mv_y≦-part_hの場合、現在の符号化ブロックのx座標において、b_wの値に基づいて分割を行い、現在の符号化ブロックのy座標において、part_hの値に基づいて分割を行い、つまり、(b_w,part_h)をターゲット分割単位として、現在の符号化ブロックを分割する。mv_y>-part_hの場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値part_wに基づいて分割を行い、現在の符号化ブロックのy座標において、現在の符号化ブロックの高さの値b_hに基づいて分割を行い、つまり、(part_w,b_h)をターゲット分割単位として、現在の符号化ブロックを分割する。
【0086】
同様に、ブロックベクトルのx座標値が基本分割単位の幅の値以下である場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値をターゲット分割単位とし、現在の符号化ブロックのy座標において、現在の符号化ブロックの高さの値をターゲット分割単位とする。
【0087】
ブロックベクトルのx座標値が基本分割単位の幅の値より大きい場合、現在の符号化ブロックのx座標において、現在の符号化ブロックの幅の値をターゲット分割単位とし、現在の符号化ブロックのy座標において、基本分割単位の高さの値をターゲット分割単位とする。
【0088】
上記の例では、mv_x≦-part_wの場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値であるpart_wの値に基づいて分割を行い、現在の符号化ブロックのy座標において、現在の符号化ブロックの高さの値であるb_hの値に基づいて分割を行い、つまり、(part_w,b_h)をターゲット分割単位として、現在の符号化ブロックを分割する。mv_x>-part_wの場合、現在の符号化ブロックのx座標において、現在の符号化ブロックの幅の値b_wに基づいて分割を行い、現在の符号化ブロックのy座標において、基本分割単位の高さの値part_hに基づいて分割を行い、つまり、(b_w,part_h)をターゲットターゲット分割単位として、現在の符号化ブロックを分割する。
【0089】
なお、本願の位置情報の座標系は、複数の方向を含んでもよく、本実施例は、2つ以上の方向の座標系の分割の場合にも適用される。
【0090】
このように、本願では、ビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定し、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する。本願では、現在の符号化ブロックと参照符号化ブロックが重なっている位置関係に基づいて、現在の符号化ブロックをマージブロックとして決定し、マージブロックを分割し、分割されたターゲット符号化ブロックに同じ動き情報がある。符号化側での符号化時に、各サブブロックの動き情報をそれぞれ符号化する必要がなく、マージブロックの動き情報を符号化するだけでよい。これにより、ビットオーバーヘッドを効果的に節約し、符号化性能の向上に有利である。復号化側において、本願では、現在の符号化ブロックと参照符号化ブロックが重なっている位置関係と、現在の符号化ブロックの位置、幅や高さなどの情報とに基づいて、現在の符号化ブロックがマージブロックであるか否かを暗黙的に導出し、所定の分割方式でマージブロックを分解して、それを複数のターゲット符号化ブロックに分解することができる。
【0091】
また、現在の符号化ブロックの動き情報に基づいて分割単位が決定され、複数の分割方式があることで、符号化ブロックの分割が最小分割単位を満たすことを前提に、近接する画素を可能な限り用いて現在のブロックを予測することができ、強い空間的な相関性を持つことが多いスクリーンコンテンツビデオに対して、IBC予測モードの予測能力をある程度向上させることができる。
【0092】
上述した全ての技術的方法は、任意の組み合わせで本願の選択可能な実施例を形成することができるが、ここでは一々の説明を省略する。
【0093】
本願の実施例の符号化ブロックの処理方法のより良い実施を容易にするために、本願の実施例は、IBC予測モードに基づく符号化ブロックの処理方法をさらに提供する。図5を参照する。図5は、本願の実施例で提供される処理装置の構成の模式図である。ここで、この処理装置500は、ビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する受信ユニット510と、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定する決定ユニット520と、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する分割ユニット530であって、複数のターゲット符号化ブロックには、同じ動き情報が含まれる、分割ユニット530と、を含んでもよい。
【0094】
任意選択的に、受信ユニット510は、ビットストリームに基づいて、現在の符号化ブロックのブロックベクトルを決定し、ブロックベクトルに基づいて、参照符号化ブロックの第1位置情報を取得し、第1位置情報と現在の符号化ブロックとに基づいて、位置関係を決定してもよい。
【0095】
任意選択的に、受信ユニット510は、前記現在の符号化ブロックの第2位置情報を取得し、前記第1位置情報における右下隅の水平座標が前記第2位置情報における左上隅の水平座標以上であり、かつ、前記第1位置情報における右下隅の垂直座標が前記第2位置情報における左上隅の垂直座標以上である場合、前記位置関係が重なっていると決定してもよい。
【0096】
任意選択的に、分割ユニット530は、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得してもよい。
【0097】
任意選択的に、分割ユニット530は、さらに、現在の符号化ブロックの画像サンプリングフォーマットを取得し、画像サンプリングフォーマットに基づいて、現在の符号化ブロックの画像サンプリング比を決定し、基本分割単位に基づいて、マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得し、所定の基本分割単位と画像サンプリング比とに基づいて、マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得してもよい。
【0098】
任意選択的に、分割ユニット530は、基本分割単位を取得し、基本分割単位を現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいてターゲット分割単位を決定し、ターゲット分割単位に基づいてマージブロックを分割することにより、複数のターゲット符号化ブロックを取得してもよい。
【0099】
任意選択的に、分割ユニット530は、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とし、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位としてもよい。
【0100】
任意選択的に、分割ユニット530は、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とし、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記現在の符号化ブロックの高さの値を前記ターゲット分割単位としてもよい。
【0101】
なお、本願の実施例における処理装置500の各モジュールの機能は、それぞれ、上記の各方法実施例のいずれかの具体的な実現形態を参照すればよく、ここではこれ以上の説明を省略する。
【0102】
上記処理装置500の各ユニットは、ソフトウェア、ハードウェア、及びこれらの組み合わせによって、全部又は一部が実現されてもよい。上記の各ユニットは、ハードウェアの形でコンピュータ機器のプロセッサに埋め込まれてもよく、独立していてもよい。また、上記の各ユニットは、ソフトウェアの形でコンピュータ機器のメモリに記憶されてもよい。これにより、プロセッサが上記の各ユニットに対応する動作を呼び出して実行することを容易にする。
【0103】
処理装置500は、例えば、メモリを備え、プロセッサを搭載して演算能力を有する端末又はサーバに組み込まれてもよく、あるいは、該処理装置500は、その端末又はサーバであってもよい。該端末は、スマートフォン、タブレットコンピュータ、ノートパソコン、スマートテレビ、スマートスピーカー、ウェアラブルスマートデバイス、パーソナルコンピュータ(PC:Personal Computer)などの機器であってもよい。端末は、クライアントを含んでもよい。該クライアントは、ビデオクライアント、ブラウザクライアント、又はインスタントコミュニケーションクライアントなどであってもよい。サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツデリバリネットワーク(CDN:Content Delivery Network)、及びビッグデータや人工知能プラットフォームなどのベースクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
【0104】
図6は、本願の実施例で提供されるコンピュータ機器600の模式的な構成図である。図6に示すように、コンピュータ機器600は、通信インタフェース601と、メモリ602と、プロセッサ603と、通信バス604と、を含んでもよい。通信インタフェース601、メモリ602、プロセッサ603は、通信バス604を介して相互の通信を実現する。通信インタフェース601は、コンピュータ機器600が外部機器とデータ通信を行うためのものである。メモリ602は、ソフトウェアプログラム及びモジュールを記憶するために使用することができる。プロセッサ603は、メモリ602に記憶されたソフトウェアプログラム及びモジュール、例えば、前述した方法実施例における相応の動作のソフトウェアプログラムを実行する。
【0105】
任意選択的に、該プロセッサ603は、メモリ602に記憶されたソフトウェアプログラム及びモジュールを呼び出すことにより、ビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定するステップと、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、を実行してもよい。
【0106】
任意選択的に、コンピュータ機器600は、メモリを備え、プロセッサを搭載して演算能力を有する端末又はサーバに組み込まれてもよく、あるいは、該コンピュータ機器600は、その端末又はサーバであってもよい。該端末は、スマートフォン、タブレットコンピュータ、ノートパソコン、スマートテレビ、スマートスピーカー、ウェアラブルスマートデバイス、パーソナルコンピュータなどの機器であってもよい。該サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、CDN、及びビッグデータや人工知能プラットフォームなどのベースクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
【0107】
図7を参照する。本願では、ビデオ復号化方法がさらに提供されている。この方法は、現在の画像が含まれる符号化済みビデオのビットストリームを受信するステップ710と、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップ720と、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定するステップ730と、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップ740であって、複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップ740と、複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得するステップ750と、予測値に基づいて、現在の符号化ブロックの再構成値を決定するステップ760と、再構成値を復号化することにより、復号化ビデオのビットストリームを取得するステップ770と、を含む。
【0108】
具体的には、現在の画像が含まれる符号化済みビデオのビットストリームを受信し、ビデオビットストリームにおける各々のフレームの画像に対して、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定し、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する。
【0109】
任意選択的に、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する方法は、ビットストリームに基づいて、現在の符号化ブロックのブロックベクトルを決定するステップと、ブロックベクトルに基づいて、参照符号化ブロックの第1位置情報を取得するステップと、参照符号化ブロックの第1位置情報と現在の符号化ブロックとに基づいて、位置関係を決定するステップと、を含む。
【0110】
任意選択的に、前記第1位置情報と前記現在の符号化ブロックとに基づいて、前記位置関係を決定する方法は、現在の符号化ブロックの第2位置情報を取得するステップと、前記第1位置情報における右下隅の水平座標が前記第2位置情報における左上隅の水平座標以上であり、かつ、前記第1位置情報における右下隅の垂直座標が前記第2位置情報における左上隅の垂直座標以上である場合、前記位置関係が重なっていると決定するステップと、を含む。
【0111】
任意選択的に、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する方法は、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップを含む。
【0112】
任意選択的に、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前に、方法は、現在の符号化ブロックの画像サンプリングフォーマットを取得するステップと、画像サンプリングフォーマットに基づいて、現在の符号化ブロックの画像サンプリング比を決定するステップと、をさらに含み、所定の基本分割単位に基づいて、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、所定の基本分割単位に基づいて、マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得するステップと、所定の基本分割単位と画像サンプリング比とに基づいて、マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得するステップと、を含む。
【0113】
任意選択的に、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記方法は、基本分割単位を取得するステップと、基本分割単位を現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定するステップと、ターゲット分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップと、をさらに含む。
【0114】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、前記比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、を含む。
【0115】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、前記比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記現在の符号化ブロックの高さの値を前記ターゲット分割単位とするステップと、を含む。
【0116】
具体的な実施形態は、上述した符号化ブロックの処理方法と同様であり、ここではさらなる一々の説明を省略する。
【0117】
ターゲット符号化ブロックが決定されると、ステップ750では、複数のターゲット符号化ブロックのブロックベクトルとイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得し、イントラブロックコピー予測モードは、イントラブロックコピー予測、イントラストリングコピー予測などを含んでもよい。具体的な符号化又は復号化の実現では、これらの予測方法を単独で又は組み合わせて使用することが可能である。これらの予測方法を使用した符号化ブロックの場合、通常、ビットストリームにおいて、1つ又は複数の参照ブロックに対する現在のブロック(又は現在のブロックと同一位置のブロック)の変位を示す1つ又は複数の2次元の変位ベクトルを明示的又は暗黙的に符号化する必要がある。
【0118】
ステップ760及び770では、予測値に基づいて、現在の符号化ブロックの再構成値を決定し、再構成値を復号化することにより、復号化ビデオのビットストリームを取得する。
【0119】
図8を参照する。図8は、ビデオデコーダの基本的なフローの例示図を示す。復号化側で、デコーダは、ビットストリームを取得した後、各CUを決定し、まず、エントロピー復号化を行って、各種のモード情報及び量子化後の変換係数を取得する。各係数を逆量子化及び逆変換することにより、残差信号を取得する。一方、既知の符号化モード情報に基づいて、所定の予測符号化方法によって、該CUに対応する予測信号を取得する。残差信号と予測信号とを加算すると、再構成信号を取得することができる。最後に、画像の再構成値を復号化して、ループフィルタリング操作を行うことにより、最終的な出力信号を生成する。
【0120】
なお、それと同時に、上述したいずれかの符号化ブロックの処理方法を符号化側に適用して、ビデオ符号化側で符号化処理を行うことができる。
【0121】
図9を参照する。図は、ビデオエンコーダの基本的なフローの例示図である。符号化側では、上述したIBC予測モードに基づく符号化ブロックの処理方法のいずれかにしたがって、符号化ブロックを処理することにより、ターゲット符号化ブロックを取得する。一方で、ターゲット符号化ブロックに対して変換符号化及び量子化を行う。他方で、ターゲット符号化ブロックに対して、符号化モード決定器が決定したイントラモード決定器によってイントラ画像予測を行い、動き推定に基づいて動き補償予測を実現することにより、最終的に予測情報を取得する。符号化モード、イントラ予測モード、及び動き情報に基づいて、変換符号化及び量子化後のデータ及び予測情報に対してエントロピー符号化を行って、符号化ビットストリームを出力する。
【0122】
図10を参照すると、任意選択的に、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップの前に、符号化済みビデオのビットストリームに基づいて、シーケンスヘッダフラグを決定するステップ780と、シーケンスヘッダフラグのフラグ値が所定値である場合、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップ790であって、シーケンスヘッダフラグのフラグ値は、符号化側での符号化時に設定されたものである、ステップ790と、をさらに含む。
【0123】
具体的には、ビットストリーム構造では、シーケンスレイヤにシーケンスヘッダが含まれ、符号化側では、本願の符号化ブロックの処理方法を適用するか否かを決定するために、シーケンスヘッダフラグにフラグ値を設定し、復号化側では、現在の符号化ブロックを処理する前に、シーケンスヘッダフラグのフラグ値を抽出し、所定値である場合、本願の符号化ブロックの処理方法を使用して現在の符号化ブロックを処理し、逆に、シーケンスヘッダフラグのフラグ値が所定値ではない場合、本願の処理方法を使用しないようにしてもよい。
【0124】
例えば、シーケンスヘッダフラグのフラグ値が1である場合は、本願の処理方法を使用することを表し、値が0である場合は、本願の処理方法を使用しないことを表す。このように、シーケンスヘッダフラグを本願の処理方法のスイッチ値とすることができる。
【0125】
任意選択的に、ビデオ復号化方法は、現在の符号化ブロックがマージブロックであると決定した場合、現在の符号化ブロックに対応する残差係数を0に調整するステップをさらに含む。
【0126】
具体的には、現在の符号化ブロックがマージブロックである場合、残差係数の符号化をスキップし、現在の符号化ブロックに対応する残差係数を0に調整し、再構成値を決定する際に、予測値を再構成値として決定し、ターゲット符号化ブロック毎に再構成を行ってもよい。
【0127】
このように、復号化側では、残差係数を復号化する必要がなく、予測値に基づいて再構成値を直接決定することができ、復号化効率をある程度向上させる。
【0128】
上記の全ての技術的方法は、任意の組み合わせで本願の選択可能な実施例を形成することができるが、ここでは一々の説明を省略する。
【0129】
本願では、現在の画像が含まれる符号化済みビデオのビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定し、マージブロックを分割することにより、同じ動き情報が含まれる複数のターゲット符号化ブロックを取得し、複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得し、予測値に基づいて現在の符号化ブロックの再構成値を決定し、再構成値を復号化することにより、復号化ビデオのビットストリームを取得する。復号化側において、本願では、現在の符号化ブロックと参照符号化ブロックが重なっている位置関係と、現在の符号化ブロックの位置、幅や高さなどの情報とに基づいて、現在の符号化ブロックがマージブロックであるか否かを暗黙的に導出し、所定の分割方式でマージブロックを分解して、それを複数のターゲット符号化ブロックに分解することができる。
【0130】
本願の実施例のビデオ復号化方法のより良い実施を容易にするために、本願の実施例は、ビデオ復号化装置をさらに提供する。図11を参照する。図は、本願の実施例で提供されるビデオ復号化装置の構成の模式図である。ここで、このビデオ復号化装置800は、現在の画像が含まれる符号化済みビデオのビットストリームを受信する受信ユニット810と、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する処理ユニット820であって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、処理ユニット820と、複数のターゲット符号化ブロックのブロックベクトルとイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得する予測ユニット830と、予測値に基づいて、現在の符号化ブロックの再構成値を決定する再構成ユニット840と、再構成値を復号化することにより、復号化ビデオのビットストリームを取得する復号化ユニット850と、を含んでもよい。
【0131】
なお、本願の実施例におけるビデオ復号化装置の各モジュールの機能は、それぞれ、上記の各方法実施例のいずれかの具体的な実現形態を参照すればよく、ここではこれ以上の説明を省略する。
【0132】
上記ビデオ復号化装置の各ユニットは、ソフトウェア、ハードウェア、及びこれらの組み合わせによって、全部又は一部が実現されてもよい。上記の各ユニットは、ハードウェアの形でコンピュータ機器のプロセッサに埋め込まれてもよく、独立していてもよい。また、上記の各ユニットは、ソフトウェアの形でコンピュータ機器のメモリに記憶されてもよい。これにより、プロセッサが上記の各ユニットに対応する動作を呼び出して実行することを容易にする。
【0133】
ビデオ復号化装置は、例えば、メモリを備え、プロセッサを搭載して演算能力を有する端末又はサーバに組み込まれてもよく、あるいは、該ビデオ復号化装置は、その端末又はサーバであってもよい。該端末は、スマートフォン、タブレットコンピュータ、ノートパソコン、スマートテレビ、スマートスピーカー、ウェアラブルスマートデバイス、パーソナルコンピュータ(PC:Personal Computer)などの機器であってもよい。端末は、クライアントを含んでもよい。該クライアントは、ビデオクライアント、ブラウザクライアント、又はインスタントコミュニケーションクライアントなどであってもよい。サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツデリバリネットワーク(CDN:Content Delivery Network)、及びビッグデータや人工知能プラットフォームなどのベースクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
【0134】
図12を参照する。本願では、ビデオ符号化方法がさらに提供されている。この方法は、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップ1210と、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定するステップ1220と、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップ1230であって、複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップ1230と、複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得するステップ1240と、予測値に基づいて、現在の符号化ブロックの再構成値を決定するステップ1250と、を含む。
【0135】
具体的には、符号化側で、各々のフレームの画像に対して、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定し、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する。
【0136】
任意選択的に、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する方法は、ビットストリームに基づいて、現在の符号化ブロックのブロックベクトルを決定するステップと、ブロックベクトルに基づいて、参照符号化ブロックの第1位置情報を取得するステップと、参照符号化ブロックの第1位置情報と現在の符号化ブロックとに基づいて、位置関係を決定するステップと、を含む。
【0137】
任意選択的に、前記第1位置情報と前記現在の符号化ブロックとに基づいて、前記位置関係を決定する方法は、現在の符号化ブロックの第2位置情報を取得するステップと、前記第1位置情報における右下隅の水平座標が前記第2位置情報における左上隅の水平座標以上であり、かつ、前記第1位置情報における右下隅の垂直座標が前記第2位置情報における左上隅の垂直座標以上である場合、前記位置関係が重なっていると決定するステップと、を含む。
【0138】
任意選択的に、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する方法は、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップを含む。任意選択的に、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前に、方法は、現在の符号化ブロックの画像サンプリングフォーマットを取得するステップと、画像サンプリングフォーマットに基づいて、現在の符号化ブロックの画像サンプリング比を決定するステップと、をさらに含む。
【0139】
所定の基本分割単位に基づいて、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、所定の基本分割単位に基づいて、マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得するステップと、所定の基本分割単位と画像サンプリング比とに基づいて、マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得するステップと、を含む。
【0140】
任意選択的に、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記方法は、基本分割単位を取得するステップと、基本分割単位を現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定するステップと、ターゲット分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップと、をさらに含む。
【0141】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、前記比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、を含む。
【0142】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、前記比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記現在の符号化ブロックの高さの値を前記ターゲット分割単位とするステップと、を含む。
【0143】
具体的な実施形態は、上述した符号化ブロックの処理方法と同様であり、ここではさらなる一々の説明を省略する。
【0144】
任意選択的に、符号化側で、シーケンスヘッダフラグに所定値のフラグ値を設定することにより、復号化側で、該所定値に基づいて本願の復号化方法を適用するか否かを決定する。具体的な実施形態は、上述したビデオ復号化方法と同様であり、ここではさらなる一々の説明を省略する。
【0145】
上記の全ての技術的方法は、任意の組み合わせで本願の選択可能な実施例を形成することができるが、ここでは一々の説明を省略する。
【0146】
本願の実施例では、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、同じ動き情報が含まれる複数のターゲット符号化ブロックを取得し、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から現在の符号化ブロックの予測値を取得し、前記予測値に基づいて前記現在の符号化ブロックの再構成値を決定する。これにより、符号化側での符号化時に、各サブブロックの動き情報をそれぞれ符号化する必要がなく、マージブロックの動き情報を符号化するだけでよく、ビットオーバーヘッドを効果的に節約し、符号化性能の向上に有利である。また、現在の符号化ブロックの動き情報に基づいて分割単位が決定され、複数の分割方式があることで、符号化ブロックの分割が最小分割単位を満たすことを前提に、近接する画素を可能な限り用いて現在のブロックを予測することができ、強い空間的な相関性を持つことが多いスクリーンコンテンツビデオに対して、イントラブロックコピー予測モードの予測能力をある程度向上させることができる。
【0147】
本願の実施例のビデオ符号化方法のより良い実施を容易にするために、本願の実施例は、ビデオ符号化装置をさらに提供する。図13を参照する。図は、本願の実施例で提供されるビデオ符号化装置の構成の模式図である。ここで、このビデオ符号化装置900は、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する決定ユニット910であって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、決定ユニット910と、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニット920と、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニット930と、を含んでもよい。
【0148】
なお、本願の実施例におけるビデオ符号化装置900の各モジュールの機能は、それぞれ、上記の各方法実施例のいずれかの具体的な実現形態を参照すればよく、ここではこれ以上の説明を省略する。
【0149】
上記ビデオ符号化装置900の各ユニットは、ソフトウェア、ハードウェア、及びこれらの組み合わせによって、全部又は一部が実現されてもよい。上記の各ユニットは、ハードウェアの形でコンピュータ機器のプロセッサに埋め込まれてもよく、独立していてもよい。また、上記の各ユニットは、ソフトウェアの形でコンピュータ機器のメモリに記憶されてもよい。これにより、プロセッサが上記の各ユニットに対応する動作を呼び出して実行することを容易にする。
【0150】
ビデオ符号化装置900は、例えば、メモリを備え、プロセッサを搭載して演算能力を有する端末又はサーバに組み込まれてもよく、あるいは、該ビデオ符号化装置900は、その端末又はサーバであってもよい。該端末は、スマートフォン、タブレットコンピュータ、ノートパソコン、スマートテレビ、スマートスピーカー、ウェアラブルスマートデバイス、パーソナルコンピュータ(PC:Personal Computer)などの機器であってもよい。端末は、クライアントを含んでもよい。該クライアントは、ビデオクライアント、ブラウザクライアント、又はインスタントコミュニケーションクライアントなどであってもよい。サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツデリバリネットワーク(CDN:Content Delivery Network)、及びビッグデータや人工知能プラットフォームなどのベースクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
【0151】
図14は、本願の実施例で提供されるコンピュータ機器1000の模式的な構成図である。図14に示すように、コンピュータ機器1000は、通信インタフェース1100と、メモリ1200と、プロセッサ1300と、通信バス1400と、を含んでもよい。通信インタフェース1100、メモリ1200、プロセッサ1300は、通信バス1400を介して相互の通信を実現する。通信インタフェース1100は、コンピュータ機器900が外部機器とデータ通信を行うためのものである。メモリ1200は、ソフトウェアプログラム及びモジュールを記憶するために使用することができる。プロセッサ1300は、メモリ1200に記憶されたソフトウェアプログラム及びモジュール、例えば、前述した方法実施例における相応の動作のソフトウェアプログラムを実行する。
【0152】
任意選択的に、該コンピュータ機器1000が符号化機器である場合、該プロセッサ1300は、メモリ1200に記憶されたソフトウェアプログラム及びモジュールを呼び出すことにより、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得するステップと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定するステップと、を実行してもよい。
【0153】
任意選択的に、該コンピュータ機器1000が復号化機器である場合、該プロセッサ1300は、メモリ1200に記憶されたソフトウェアプログラム及びモジュールを呼び出すことにより、現在の画像が含まれる符号化済みビデオのビットストリームを受信するステップと、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得するステップと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定し、前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得するステップと、を実行してもよい。
【0154】
任意選択的に、該コンピュータ機器1000は、端末又はサーバであってもよい。該端末は、スマートフォン、タブレットコンピュータ、ノートパソコン、スマートテレビ、スマートスピーカー、ウェアラブルスマートデバイス、パーソナルコンピュータなどの機器であってもよい。該サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、CDN、及びビッグデータや人工知能プラットフォームなどのベースクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
【0155】
任意選択的に、本願では、メモリとプロセッサとを備えるコンピュータ機器がさらに提供されている。メモリには、コンピュータプログラムが記憶されており、該プロセッサは、コンピュータプログラムを実行すると、上記の各方法実施例におけるステップを実現する。
【0156】
本願では、コンピュータプログラムを記憶するためのコンピュータ可読記憶媒体がさらに提供されている。該コンピュータ可読記憶媒体は、コンピュータ機器に適用可能であり、該コンピュータプログラムは、コンピュータ機器に、本願の実施例の符号化ブロックの処理方法における相応のフローを実行させる。簡略化するために、ここではこれ以上の説明を省略する。
【0157】
本願では、コンピュータ命令を含むコンピュータプログラム製品がさらに提供されている。該コンピュータ命令は、コンピュータ可読記憶媒体に記憶されている。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取り、プロセッサが該コンピュータ命令を実行すると、コンピュータ機器に本願の実施例の符号化ブロックの処理方法における相応のフローを実行させる。簡略化するために、ここではこれ以上の説明を省略する。
【0158】
本願では、コンピュータ命令を含むコンピュータプログラムがさらに提供されている。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されている。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ命令を読み取り、プロセッサが該コンピュータ命令を実行すると、コンピュータ機器に本願の実施例の符号化ブロックの処理方法における相応のフローを実行させる。簡略化するために、ここではこれ以上の説明を省略する。
【0159】
前記機能は、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本願の技術的方法は、本質的に、言い換えれば、従来技術に寄与する部分、あるいは、該技術的方法の一部が、ソフトウェア製品の形で具現化されてもよい。該コンピュータソフトウェア製品は、記憶媒体に記憶されており、コンピュータ機器(パーソナルコンピュータ、サーバであってもよい)に、本願の各実施例における方法の全部又は一部のステップを実行させるための若干の命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、ROM、RAM、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶できる様々な媒体を含む。
【0160】
上記は本願の具体的な実施形態に過ぎないが、本願の保護範囲はこれに限定されない。本願に掲示された技術的範囲内で、本技術分野に詳しい技術者が容易に想到し得るいかなる変更又は置換えも、全て本願の保護範囲内に含まれるべきである。それゆえ、本願の保護範囲は、特許請求の範囲に従うべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
【手続補正書】
【提出日】2024-02-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータ機器が実行する、イントラブロックコピー予測モードに基づく符号化ブロックの処理方法であって、
ビットストリームを受信し、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、
を含む方法。
【請求項2】
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する前記ステップは、
前記ビットストリームに基づいて、前記現在の符号化ブロックのブロックベクトルを決定するステップと、
前記ブロックベクトルに基づいて、前記参照符号化ブロックの第1位置情報を取得するステップと、
前記第1位置情報と前記現在の符号化ブロックとに基づいて、前記位置関係を決定するステップと、を含む、
請求項1に記載の方法。
【請求項3】
前記第1位置情報と前記現在の符号化ブロックとに基づいて、前記位置関係を決定する前記ステップは、
前記現在の符号化ブロックの第2位置情報を取得するステップと、
前記第1位置情報における右下隅の水平座標が前記第2位置情報における左上隅の水平座標以上であり、かつ、前記第1位置情報における右下隅の垂直座標が前記第2位置情報における左上隅の垂直座標以上である場合、前記位置関係が重なっていると決定するステップと、を含む、
請求項2に記載の方法。
【請求項4】
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、
所定の基本分割単位に基づいて、前記マージブロックを分割することにより、前記複数のターゲット符号化ブロックを取得するステップを含む、
請求項1乃至3のいずれか1項に記載の方法。
【請求項5】
前記現在の符号化ブロックの画像サンプリングフォーマットを取得するステップと、
前記画像サンプリングフォーマットに基づいて、前記現在の符号化ブロックの画像サンプリング比を決定するステップと、をさらに含み、
所定の基本分割単位に基づいて、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、
前記基本分割単位に基づいて、前記マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得するステップと、
前記基本分割単位と前記画像サンプリング比とに基づいて、前記マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得するステップと、を含む、
請求項4に記載の方法。
【請求項6】
所定の基本分割単位に基づいて、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、
前記基本分割単位を取得するステップと、
前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定するステップと、
前記ターゲット分割単位に基づいて、前記マージブロックを分割することにより、前記複数のターゲット符号化ブロックを取得するステップと、を含む、
請求項4に記載の方法。
【請求項7】
前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、
前記ブロックベクトルの高さ方向成分を示すy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックの幅方向位置を示すx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックの高さ方向位置を示すy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、
前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、を含む、
請求項6に記載の方法。
【請求項8】
前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、
前記ブロックベクトルの高さ方向成分を示すy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックの幅方向位置を示すx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックの高さ方向位置を示すy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、
前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記現在の符号化ブロックの高さの値を前記ターゲット分割単位とするステップと、を含む、
請求項6に記載の方法。
【請求項9】
コンピュータ機器が実行するビデオ復号化方法であって、
現在の画像が含まれる符号化済みビデオのビットストリームを受信するステップと、
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、
前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得するステップと、
前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定し、前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得するステップと、
を含む方法。
【請求項10】
前記符号化済みビデオのビットストリームに基づいて、シーケンスヘッダフラグを決定するステップをさらに含み、
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する前記ステップは、
前記シーケンスヘッダフラグのフラグ値が所定値である場合、前記現在の符号化ブロックと前記参照符号化ブロックとの位置関係を決定するステップであって、前記シーケンスヘッダフラグのフラグ値は、符号化側での符号化時に設定されたものである、ステップを含む、
請求項9に記載の方法。
【請求項11】
前記現在の符号化ブロックがマージブロックであると決定した場合、前記現在の符号化ブロックに対応する残差係数を0に調整するステップをさらに含む、
請求項9に記載の方法。
【請求項12】
コンピュータ機器が実行するビデオ符号化方法であって、
現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、
前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から前記現在の符号化ブロックの予測値を取得し、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定するステップと、
を含む方法。
【請求項13】
イントラブロックコピー予測モードに基づく符号化ブロックの処理装置であって、
ビットストリームを受信し、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する受信ユニットと、
前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定する決定ユニットと、
前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する分割ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、分割ユニットと、
を含む装置。
【請求項14】
ビデオ復号化装置であって、
現在の画像が含まれる符号化済みビデオのビットストリームを受信する受信ユニットと、
前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する処理ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、処理ユニットと、
前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、
前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、
前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得する復号化ユニットと、
を含む装置。
【請求項15】
ビデオ符号化装置であって、
現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する決定ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、決定ユニットと、
前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、
前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、
を含む装置。
【請求項16】
コンピュータに、請求項1、請求項9又は請求項12のいずれか1項に記載の方法を実行させるコンピュータプログラム
【請求項17】
プロセッサとメモリとを備えるコンピュータ機器であって、前記メモリには、コンピュータプログラムが記憶されており、前記プロセッサは、前記メモリに記憶されている前記コンピュータプログラムを呼び出すことにより、請求項1、請求項9又は請求項12のいずれか1項に記載の方法を実行することを特徴とするコンピュータ機器。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0002
【補正方法】変更
【補正の内容】
【0002】
本願は、コンピュータの技術分野に関し、具体的には、符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器に関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0004
【補正方法】変更
【補正の内容】
【0004】
本願の実施例は、符号化・復号化のオーバーヘッドを効率的に節約し、符号化・復号化の性能を向上させることができる符号化ブロックの処理方法、ビデオ符号化復号化方法、装置、コンピュータプログラム、及びコンピュータ機器を提供する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
別の態様によれば、本願の実施例では、コンピュータ機器が実行するビデオ符号化方法が提供されている。この方法は、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から前記現在の符号化ブロックの予測値を取得し、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定するステップと、を含む。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
別の態様によれば、本願の実施例では、ビデオ復号化装置が提供されている。この装置は、現在の画像が含まれる符号化済みビデオのビットストリームを受信する受信ユニットと、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する処理ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、処理ユニットと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、前記現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、前記再構成値を復号化することにより、復号化ビデオのビットストリームを取得する復号化ユニットと、を含む。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
別の態様によれば、本願の実施例では、ビデオ符号化装置が提供されている。この装置は、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する決定ユニットであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、決定ユニットと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニットと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニットと、を含む。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0035
【補正方法】変更
【補正の内容】
【0035】
本願の各実施例では、IBC予測モードに基づく符号化ブロックの処理方法が提供されている。本願の実施例では、処理方法がコンピュータ機器によって実行される場合を例に説明する。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0039
【補正方法】変更
【補正の内容】
【0039】
具体的には、IBC予測モードは、スクリーンコンテンツ符号化(Screen Content Coding、SCCと略称)拡張で採用された符号化ツールであり、スクリーンコンテンツの符号化効率を著しく向上させる。AVS3、VVC、及びAV1では、スクリーンコンテンツ符号化の性能を向上させるために、IBC技術が同様に採用されている。IBC予測モードは、スクリーンコンテンツビデオの空間的な相関性を利用し、現在の画像における符号化済み画像の画素を使用して、現在の符号化対象ブロックの画素を予測し、画素を符号化するために必要なビットを効率的に節約することができる。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0065
【補正方法】変更
【補正の内容】
【0065】
任意選択的に、所定の基本分割単位に基づいて、マージブロックを分割する前に、ステップ130は、現在の符号化ブロックの画像サンプリングフォーマットを取得するステップと、画像サンプリングフォーマットに基づいて、現在の符号化ブロックの画像サンプリング比を決定するステップと、をさらに含み、所定の基本分割単位に基づいて、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する前記ステップは、所定の基本分割単位に基づいて、マージブロックの色度成分を分割することにより、複数の色度のターゲット符号化ブロックを取得するステップと、所定の基本分割単位と画像サンプリング比とに基づいて、マージブロックの輝度成分を分割することにより、複数の輝度のターゲット符号化ブロックを取得するステップと、を含む。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0088
【補正方法】変更
【補正の内容】
【0088】
上記の例では、mv_x≦-part_wの場合、現在の符号化ブロックのx座標において、基本分割単位の幅の値であるpart_wの値に基づいて分割を行い、現在の符号化ブロックのy座標において、現在の符号化ブロックの高さの値であるb_hの値に基づいて分割を行い、つまり、(part_w,b_h)をターゲット分割単位として、現在の符号化ブロックを分割する。mv_x>-part_wの場合、現在の符号化ブロックのx座標において、現在の符号化ブロックの幅の値b_wに基づいて分割を行い、現在の符号化ブロックのy座標において、基本分割単位の高さの値part_hに基づいて分割を行い、つまり、(b_w,part_h)をターゲット分割単位として、現在の符号化ブロックを分割する。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0093
【補正方法】変更
【補正の内容】
【0093】
本願の実施例の符号化ブロックの処理方法のより良い実施を容易にするために、本願の実施例は、IBC予測モードに基づく符号化ブロックの処理装置をさらに提供する。図5を参照する。図5は、本願の実施例で提供される処理装置の構成の模式図である。ここで、この処理装置500は、ビットストリームを受信し、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定する受信ユニット510と、位置関係が重なっている場合、現在の符号化ブロックがマージブロックであると決定する決定ユニット520と、マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する分割ユニット530であって、複数のターゲット符号化ブロックには、同じ動き情報が含まれる、分割ユニット530と、を含んでもよい。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0114
【補正方法】変更
【補正の内容】
【0114】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、を含む。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】0115
【補正方法】変更
【補正の内容】
【0115】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記現在の符号化ブロックの高さの値を前記ターゲット分割単位とするステップと、を含む。
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】0117
【補正方法】変更
【補正の内容】
【0117】
ターゲット符号化ブロックが決定されると、ステップ750では、複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得し、イントラブロックコピー予測モードは、イントラブロックコピー予測、イントラストリングコピー予測などを含んでもよい。具体的な符号化又は復号化の実現では、これらの予測方法を単独で又は組み合わせて使用することが可能である。これらの予測方法を使用した符号化ブロックの場合、通常、ビットストリームにおいて、1つ又は複数の参照ブロックに対する現在のブロック(又は現在のブロックと同一位置のブロック)の変位を示す1つ又は複数の2次元の変位ベクトルを明示的又は暗黙的に符号化する必要がある。
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】0121
【補正方法】変更
【補正の内容】
【0121】
図9を参照する。図は、ビデオエンコーダの基本的なフローの例示図である。符号化側では、上述したIBC予測モードに基づく符号化ブロックの処理方法のいずれかにしたがって、符号化ブロックを処理することにより、ターゲット符号化ブロックを取得する。一方で、ターゲット符号化ブロックに対して変換符号化及び量子化を行う。他方で、ターゲット符号化ブロックに対して、符号化モード決定器が決定したイントラモード決定器によってイントラ画像予測を行い、動き推定に基づいて動き補償予測を実現することにより、最終的に予測情報を取得する。符号化モード、イントラ予測モード、及び動き情報に基づいて、変換符号化及び量子化後のデータ及び予測情報に対してエントロピー符号化を行って、符号化ビットストリームを出力する。
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】0122
【補正方法】変更
【補正の内容】
【0122】
図10を参照すると、任意選択的に、ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップの前に、上記ビデオ復号化方法は、符号化済みビデオのビットストリームに基づいて、シーケンスヘッダフラグを決定するステップ780と、シーケンスヘッダフラグのフラグ値が所定値である場合、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップ790であって、シーケンスヘッダフラグのフラグ値は、符号化側での符号化時に設定されたものである、ステップ790と、をさらに含む。
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】0123
【補正方法】変更
【補正の内容】
【0123】
具体的には、ビットストリーム構造では、シーケンスレイヤにシーケンスヘッダが含まれ、符号化側では、本願の符号化ブロックの処理方法を適用するか否かを決定するために、シーケンスヘッダフラグにフラグ値を設定し、復号化側では、現在の符号化ブロックを処理する前に、シーケンスヘッダフラグのフラグ値を抽出し、シーケンスヘッダフラグのフラグ値が所定値である場合、本願の符号化ブロックの処理方法を使用して現在の符号化ブロックを処理し、逆に、シーケンスヘッダフラグのフラグ値が所定値ではない場合、本願の処理方法を使用しないようにしてもよい。
【手続補正19】
【補正対象書類名】明細書
【補正対象項目名】0130
【補正方法】変更
【補正の内容】
【0130】
本願の実施例のビデオ復号化方法のより良い実施を容易にするために、本願の実施例は、ビデオ復号化装置をさらに提供する。図11を参照する。図11は、本願の実施例で提供されるビデオ復号化装置の構成の模式図である。ここで、このビデオ復号化装置800は、現在の画像が含まれる符号化済みビデオのビットストリームを受信する受信ユニット810と、前記ビットストリームに基づいて、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する処理ユニット820であって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、処理ユニット820と、複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得する予測ユニット830と、予測値に基づいて、現在の符号化ブロックの再構成値を決定する再構成ユニット840と、再構成値を復号化することにより、復号化ビデオのビットストリームを取得する復号化ユニット850と、を含んでもよい。
【手続補正20】
【補正対象書類名】明細書
【補正対象項目名】0141
【補正方法】変更
【補正の内容】
【0141】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、を含む。
【手続補正21】
【補正対象書類名】明細書
【補正対象項目名】0142
【補正方法】変更
【補正の内容】
【0142】
任意選択的に、前記基本分割単位を前記現在の符号化ブロックのブロックベクトルと比較し、比較結果に基づいて、ターゲット分割単位を決定する前記ステップは、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値以下である場合、前記現在の符号化ブロックのx座標において、前記現在の符号化ブロックの幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記基本分割単位の高さの値を前記ターゲット分割単位とするステップと、前記ブロックベクトルのy座標値が前記基本分割単位の高さの値より大きい場合、前記現在の符号化ブロックのx座標において、前記基本分割単位の幅の値を前記ターゲット分割単位とし、前記現在の符号化ブロックのy座標において、前記現在の符号化ブロックの高さの値を前記ターゲット分割単位とするステップと、を含む。
【手続補正22】
【補正対象書類名】明細書
【補正対象項目名】0146
【補正方法】変更
【補正の内容】
【0146】
本願の実施例では、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、同じ動き情報が含まれる複数のターゲット符号化ブロックを取得し、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から現在の符号化ブロックの予測値を取得し、前記予測値に基づいて前記現在の符号化ブロックの再構成値を決定する。これにより、符号化側での符号化時に、各サブブロックの動き情報をそれぞれ符号化する必要がなく、マージブロックの動き情報を符号化するだけでよく、ビットオーバーヘッドを効果的に節約し、符号化性能の向上に有利である。また、現在の符号化ブロックの動き情報に基づいて分割単位が決定され、複数の分割方式があることで、符号化ブロックの分割が最小分割単位を満たすことを前提に、近接する画素を可能な限り用いて現在のブロックを予測することができ、強い空間的な相関性を持つことが多いスクリーンコンテンツビデオに対して、イントラブロックコピー予測モードの予測能力をある程度向上させることができる。
【手続補正23】
【補正対象書類名】明細書
【補正対象項目名】0147
【補正方法】変更
【補正の内容】
【0147】
本願の実施例のビデオ符号化方法のより良い実施を容易にするために、本願の実施例は、ビデオ符号化装置をさらに提供する。図13を参照する。図13は、本願の実施例で提供されるビデオ符号化装置の構成の模式図である。ここで、このビデオ符号化装置900は、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定し、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定し、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得する決定ユニット910であって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、決定ユニット910と、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から前記現在の符号化ブロックの予測値を取得する予測ユニット920と、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定する再構成ユニット930と、を含んでもよい。
【手続補正24】
【補正対象書類名】明細書
【補正対象項目名】0151
【補正方法】変更
【補正の内容】
【0151】
図14は、本願の実施例で提供されるコンピュータ機器1000の模式的な構成図である。図14に示すように、コンピュータ機器1000は、通信インタフェース1100と、メモリ1200と、プロセッサ1300と、通信バス1400と、を含んでもよい。通信インタフェース1100、メモリ1200、プロセッサ1300は、通信バス1400を介して相互の通信を実現する。通信インタフェース1100は、コンピュータ機器1000が外部機器とデータ通信を行うためのものである。メモリ1200は、ソフトウェアプログラム及びモジュールを記憶するために使用することができる。プロセッサ1300は、メモリ1200に記憶されたソフトウェアプログラム及びモジュール、例えば、前述した方法実施例における相応の動作のソフトウェアプログラムを実行する。
【手続補正25】
【補正対象書類名】明細書
【補正対象項目名】0152
【補正方法】変更
【補正の内容】
【0152】
任意選択的に、該コンピュータ機器1000が符号化機器である場合、該プロセッサ1300は、メモリ1200に記憶されたソフトウェアプログラム及びモジュールを呼び出すことにより、現在の符号化ブロックと参照符号化ブロックとの位置関係を決定するステップと、前記位置関係が重なっている場合、前記現在の符号化ブロックがマージブロックであると決定するステップと、前記マージブロックを分割することにより、複数のターゲット符号化ブロックを取得するステップであって、前記複数のターゲット符号化ブロックには、同じ動き情報が含まれる、ステップと、前記複数のターゲット符号化ブロックのブロックベクトル情報とイントラブロックコピー予測モードとに基づいて、現在の画像から前記現在の符号化ブロックの予測値を取得するステップと、前記予測値に基づいて、前記現在の符号化ブロックの再構成値を決定するステップと、を実行してもよい。
【国際調査報告】