特表 2024-543436 復号方法、符号化方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-21

(54)【発明の名称】復号方法、符号化方法及び装置

(51)【国際特許分類】

   H04N 19/126 20140101AFI20241114BHJP

   H04N 19/176 20140101ALI20241114BHJP

   H04N 19/186 20140101ALI20241114BHJP

   H04N 19/136 20140101ALI20241114BHJP

   H04N 19/156 20140101ALI20241114BHJP

   H04N 19/154 20140101ALI20241114BHJP

【ＦＩ】

H04N19/126

H04N19/176

H04N19/186

H04N19/136

H04N19/156

H04N19/154

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024527665

(86)(22)【出願日】2022-11-10

(85)【翻訳文提出日】2024-07-10

(86)【国際出願番号】 CN2022131068

(87)【国際公開番号】W WO2023083245

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】202111334223.8

(32)【優先日】2021-11-11

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】508219313

【氏名又は名称】杭州海康威視数字技術股▲フン▼有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】魏 ▲亮▼

(72)【発明者】

【氏名】▲陳▼ 方▲棟▼

(72)【発明者】

【氏名】王 莉

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MA23

5C159MC01

5C159MC11

5C159ME01

5C159PP16

5C159TA46

5C159TB08

5C159TC02

5C159TC04

5C159TC08

5C159TC42

5C159TC51

5C159TD03

5C159TD12

5C159UA02

5C159UA05

5C159UA16

(57)【要約】

画像復号方法、符号化方法及び装置であり、ビデオ符号化及び復号の分野に関する。該復号方法は、まず、ビットストリームを解析して１つ又は複数の画像フレームを取得するステップであって、１つの画像フレームは１つ又は複数のＣＵを含む、ステップと、次に、前記１つの画像フレームの複数のＱＰ値を決定するステップであって、１つのＣＵは複数のＱＧを含み、１つのＱＧは１つのＱＰ値に対応する、ステップと、最後に、前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップと、を含む。

【特許請求の範囲】

【請求項1】

復号側によって実行される画像復号方法であって、
ビットストリームを解析して１つ又は複数の画像フレームを取得するステップであって、１つの画像フレームは１つ又は複数の符号化ユニットＣＵを含む、ステップと、
前記１つの画像フレームの複数の量子化パラメータＱＰ値を決定するステップであって、１つのＣＵは複数の量子化グループＱＧを含み、１つのＱＧは１つのＱＰ値に対応する、ステップと、
前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップと、を含む、
ことを特徴とする画像復号方法。

【請求項2】

前記１つのＣＵは複数の残差係数を含み、前記１つのＱＧは前記複数の残差係数のうちの一部の残差係数を含み、前記一部の残差係数は前記１つのＱＰ値を共有する、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記１つのＱＧに対応する１つのＱＰ値は、輝度ＱＰ値と色度ＱＰ値とを含み、
前記１つの画像フレームの複数のＱＰ値を決定するステップは、
前記１つのＱＧの輝度ＱＰ値と色度ＱＰ値とをそれぞれ取得するステップ、
又は、
前記１つのＱＧの輝度ＱＰ値を取得し、
前記輝度ＱＰ値に基づいて前記１つのＱＧの色度ＱＰ値を取得するステップを含む、
ことを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記１つの画像フレームの複数のＱＰ値を決定するステップは、
前記１つのＱＧの予測ＱＰ値を取得するステップと、
前記１つのＱＧの予測ＱＰ値及び導出情報に基づいて、前記１つのＱＧのＱＰ値を決定するステップと、を含み、
前記導出情報は、前記１つのＱＧの平坦度情報又はテクスチャ情報、ビットストリームバッファの残りスペース、又は歪み制約情報のうちのいずれか１つ又は複数の組み合わせである、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記導出情報が前記歪み制約情報であり、前記歪み制約情報は、前記複数のＱＧのうちのいずれか１つのＱＧの歪み閾値を指示する場合、
前記１つのＱＧの予測ＱＰ値及び導出情報に基づいて、前記１つのＱＧのＱＰ値を決定するステップは、
前記予測ＱＰ値に対応する予測歪みを決定するステップと、
前記予測歪みが前記歪み閾値以下である場合、前記予測ＱＰ値を前記ＱＧのＱＰ値として決定するステップと、
前記予測歪みが前記歪み閾値より大きい場合、前記歪み閾値によって決定されたＱＰ値を前記ＱＧのＱＰ値として決定するステップと、を含む、
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記導出情報が前記１つのＱＧの平坦度情報又はテクスチャ情報、又は前記ビットストリームバッファの残りスペースである場合、
前記１つのＱＧの予測ＱＰ値及び導出情報に基づいて、前記１つのＱＧのＱＰ値を決定するステップは、
前記導出情報に基づいて前記１つのＱＧのＱＰオフセットを決定するステップと、
前記１つのＱＧの予測ＱＰ値と前記ＱＰオフセットとの和を前記１つのＱＧのＱＰ値として決定するステップと、を含む、
ことを特徴とする請求項４に記載の方法。

【請求項7】

前記１つのＱＧの予測ＱＰ値を取得するステップは、
前記１つのＱＧに隣接する、前記１つのＣＵ内の少なくとも１つの他のＱＧのＱＰ値を取得し、
前記少なくとも１つの他のＱＧのＱＰ値に基づいて、前記１つのＱＧの予測ＱＰ値を決定するステップ、
又は、
前記１つのＣＵのＱＰ値を前記１つのＱＧの予測ＱＰ値として決定するステップを含む、
ことを特徴とする請求項４～６のいずれか１項に記載の方法。

【請求項8】

前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップは、
前記複数のＱＰ値の各ＱＰ値について、前記ＱＰ値に対応する量子化ステップＱｓｔｅｐを取得するステップと、
前記ＱＰ値に対応するＱＧに含まれるレベル値を取得するステップと、
選択された量子化器の組み合わせに基づいて、前記ＱＧのレベル値を逆量子化するステップと、を含み、
前記量子化器の組み合わせは、１つ又は複数の量子化器を含む、
ことを特徴とする請求項１に記載の方法。

【請求項9】

前記量子化器は、均一量子化器又は非均一量子化器である、
ことを特徴とする請求項８に記載の方法。

【請求項10】

前記１つのＱＧは、前記１つの画像フレームの１つ又は複数の画素点を含む、
ことを特徴とする請求項１に記載の方法。

【請求項11】

前記複数のＱＧのうちの少なくとも２つのＱＧに対応するＱＰ値が異なる、
ことを特徴とする請求項１に記載の方法。

【請求項12】

復号側によって実行される画像復号方法であって、
ビットストリームを解析して１つ又は複数の画像フレームを取得するステップであって、１つの画像フレームは１つ又は複数の符号化ユニットＣＵを含む、ステップと、
前記１つの画像フレームの複数の量子化パラメータＱＰ値を決定するステップであって、１つのＣＵは複数の画素点を含み、１つの画素点は１つのＱＰ値に対応し、前記複数の画素点のうちの少なくとも２つの画素点のＱＰ値が異なる、ステップと、
前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップと、を含む、
ことを特徴とする画像復号方法。

【請求項13】

前記１つの画像フレームの複数のＱＰ値を決定するステップは、
前記１つの画素点の予測ＱＰ値を取得するステップと、
前記１つの画素点の予測ＱＰ値及び導出情報に基づいて、前記１つの画素点のＱＰ値を決定するステップと、を含み、
前記導出情報は、前記１つの画素点の周囲の１つ又は複数の再構成済み画素点の情報である、
ことを特徴とする請求項１２に記載の方法。

【請求項14】

前記１つの画素点の予測ＱＰ値は、前記１つの画素点が位置するＣＵ又はＱＧのＱＰ値であり、又は前記１つの画素点の周囲の１つ又は複数の再構成済み画素点のＱＰ値に基づいて導出され、導出方法は、平均値、中央値、又は最頻値のうちの少なくとも１つを計算することを含む、
ことを特徴とする請求項１３に記載の方法。

【請求項15】

前記再構成済み画素点は、前記１つの画素点を中心とする、辺の長さが３又は５の正方形領域内の画素点、又は対角線の長さが３又は５の菱形領域内の画素点である、
ことを特徴とする請求項１３又は１４に記載の方法。

【請求項16】

前記再構成済み画素点の情報は、
画素値、平坦度情報又はテクスチャ情報、背景輝度、コントラストのうちのいずれか１つ又は複数の組み合わせを含む、
ことを特徴とする請求項１３に記載の方法。

【請求項17】

前記１つの画素点の予測ＱＰ値及び導出情報に基づいて、前記１つの画素点のＱＰ値を決定するステップは、
前記１つの画素点の周囲の１つ又は複数の再構成済み画素点の情報に基づいて、前記画素点の指示情報を決定するステップと、
前記指示情報が第１の閾値以下であり、且つ前記予測ＱＰ値が人間の目がちょうど知覚できる歪みに対応するＱＰ値以上である場合、人間の目がちょうど知覚できる歪みに対応するＱＰ値を前記画素点のＱＰ値として決定するステップと、を含み、
前記人間の目がちょうど知覚できる歪みに対応するＱＰ値は予め設定された値であり、又は、ビットストリームから解析して得られ、又は、周囲の再構成済みＣＵの平坦度情報又はテクスチャ情報、背景輝度、コントラスト情報に基づいて導出される、
ことを特徴とする請求項１３に記載の方法。

【請求項18】

符号化側によって実行される画像符号化方法であって、
１つの画像フレームを１つ又は複数の符号化ユニットＣＵに分割するステップと、
前記１つの画像フレームの複数の量子化パラメータＱＰ値を決定するステップであって、１つのＣＵは複数の量子化グループＱＧを含み、１つのＱＧは１つのＱＰ値に対応する、ステップと、
前記複数のＱＰ値に基づいて前記１つの画像フレームを符号化するステップと、を含む、
ことを特徴とする画像符号化方法。

【請求項19】

符号化側によって実行される画像符号化方法であって、
１つの画像フレームを１つ又は複数の符号化ユニットＣＵに分割するステップと、
前記１つの画像フレームの複数の量子化パラメータＱＰ値を決定するステップであって、１つのＣＵは複数の画素点を含み、１つの画素点は１つのＱＰ値に対応し、前記複数の画素点のうちの少なくとも２つの画素点のＱＰ値が異なる、ステップと、
前記複数のＱＰ値に基づいて前記１つの画像フレームを符号化するステップと、を含む、
ことを特徴とする画像符号化方法。

【請求項20】

ビットストリーム解析ユニットと、ＱＰ決定ユニットと、画像復号ユニットと、を含む画像復号装置であって、
前記ビットストリーム解析ユニット、前記ＱＰ決定ユニット、及び前記画像復号ユニットは、請求項１～１７のいずれか１項に記載の方法を実施するために用いられる、
ことを特徴とする画像復号装置。

【請求項21】

画像分割ユニットと、ＱＰ決定ユニットと、画像符号化ユニットと、を含む画像符号化装置であって、
前記画像分割ユニット、前記ＱＰ決定ユニット、及び前記画像符号化ユニットは、請求項１８又は１９に記載の方法を実施するために用いられる、
ことを特徴とする画像符号化装置。

【請求項22】

符号化側と復号側とを含むビデオコーディングシステムであって、
前記符号化側と前記復号側とが通信可能に接続され、前記復号側は請求項１～１７のいずれか１項に記載の方法を実施するために用いられ、前記符号化側は請求項１８又は１９に記載の方法を実施するために用いられる、
ことを特徴とするビデオコーディングシステム。

【請求項23】

プロセッサとメモリとを含む電子デバイスであって、
前記メモリは、コンピュータ命令を記憶するために用いられ、前記プロセッサは、メモリから前記コンピュータ命令を呼び出して実行し、請求項１～１９のいずれか１項に記載の方法を実施するために用いられる、
ことを特徴とする電子デバイス。

【請求項24】

コンピュータプログラム又は命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラム又は命令が電子デバイスによって実行されると、請求項１～１９のいずれか１項に記載の方法が実施される、
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１１月１１日に提出された、出願番号が２０２１１１３３４２２３．８の中国特許出願の優先権を主張し、該出願は引用の方式で本明細書に組み込まれる。

【0002】

本発明は、ビデオ符号化及び復号の分野に関し、特に、画像復号方法、符号化方法、及び装置に関する。

【背景技術】

【0003】

ビデオ符号化及び復号技術において、ビデオ圧縮技術は特に重要である。ビデオ圧縮技術は、ビデオシーケンスにおける固有の冗長な情報を削減又は除去するために、空間（画像内）予測及び／又は時間（画像間）予測を実行する。ビデオ圧縮の基本原理は、空間領域と時間領域とコードワードとの間の相関性を量子化し、冗長性をできるだけ除去することである。量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは、信号の連続値（又は大量の離散値）を有限の複数の離散振幅（ｄｉｓｃｒｅｔｅ ａｍｐｌｉｔｕｄｅｓ）にマッピングし、信号値の多対一のマッピングを実現するプロセスである。

【0004】

現在のやり方では、１フレームの画像に含まれる１つ又は複数の符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）について、符号化側は、各ＣＵの量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）を取得し、該ＱＰに基づいてＣＵを符号化してビットストリームを取得し、それに応じて、復号側は、ビットストリームを逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）してＣＵのＱＰを取得し、該ＱＰに基づいてＣＵを復号する。ＣＵは画像コンテンツに基づいて分割されるものであり、符号化側及び復号側は、１つのＣＵに対応する画像コンテンツを量子化するために同じＱＰを使用するため、画像符号化及び復号プロセスの量子化歪みが大きくなる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、画像符号化及び復号プロセスにおける量子化歪みが大きいという問題を解決する、画像復号方法、符号化方法及び装置を提供する。

【課題を解決するための手段】

【0006】

本発明は以下の技術案を採用する。

【0007】

第１の態様によれば、本発明は画像復号方法を提供し、前記方法は、ビデオコーディングシステムに適用されてもよく、又は、該方法は、該方法を実現するためにビデオコーディングをサポートすることができる復号側に適用されてもよく、例えば、該復号側はビデオデコーダを含む。前記方法は、まず、ビットストリームを解析して１つ又は複数の画像フレームを取得するステップであって、１つの画像フレームは１つ又は複数のＣＵを含む、ステップと、次に、前記１つの画像フレームの複数のＱＰ値を決定するステップであって、１つのＣＵは複数のＱＧを含み、１つのＱＧは１つのＱＰ値に対応する、ステップと、最後に、前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップと、を含む。

【0008】

１つのＣＵ内の全ての残差係数（ｒｅｓｉｄｕａｌ ｃｏｅｆｆｉｃｉｅｎｔ）が同じＱＰ値を使用することによって引き起こされる大きい画像歪みと比較して、本実施例において提供されるビデオ画像の復号プロセスでは、１つのＣＵは複数のＱＧに分割されてもよく、各ＱＧ内の１つ又は複数の残差係数は１つのＱＰ値を共有するため、ビデオデコーダは、画像フレームに対応する１つ又は複数のＣＵに対してより細かい粒度のＱＰ決定を行うことができ、一定の圧縮率を保証しながら、画像フレームの復号歪みを低減し、ビデオ画像復号の真実性及び正確性を向上させる。

【0009】

１つのオプション的な実施形態において、前記１つのＣＵは複数の残差係数を含み、前記１つのＱＧは前記複数の残差係数のうちの一部の残差係数を含み、前記一部の残差係数は前記１つのＱＰ値を共有する。

【0010】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定する前に、前記方法は、第１のルールに従って前記１つの画像フレームに含まれる１つのＣＵを分割し、前記複数のＱＧを取得するステップをさらに含み、前記第１のルールは分割領域と分割方式とを含み、前記分割領域は変換領域又は画素領域であり、前記分割方式は均一分割と非均一分割とのうちの少なくとも１つを含む。

【0011】

１つのオプション的な実施形態において、前記１つのＣＵは複数の残差係数を含み、前記複数の残差係数の位置は座標でマークされ、前記座標は横座標と縦座標とを含む。前記分割領域が変換領域である場合、第１のルールに従って前記１つの画像フレームに含まれる１つのＣＵを分割し、前記複数のＱＧを取得するステップは、前記複数の残差係数のうち、座標和が第１の座標閾値に達していない残差係数を第１のＱＧに分割し、前記座標和が前記第１の座標閾値に達している残差係数を第２のＱＧに分割するステップを含み、前記座標和は、残差係数の横座標と縦座標との和である。

【0012】

又は、前記複数の残差係数のうち、座標和が第１の座標閾値に達していない残差係数を第１のＱＧに分割し、前記座標和が前記第１の座標閾値に達しているが、第２の座標閾値に達していない残差係数を第２のＱＧに分割し、前記座標和が前記第２の座標閾値に達している残差係数を第３のＱＧに分割し、前記第２の座標閾値は前記第１の座標閾値より大きい。

【0013】

１つのオプション的な実施形態において、前記１つのＣＵは複数の残差係数を含み、前記分割領域が変換領域である場合、第１のルールに従って前記１つの画像フレームに含まれる１つのＣＵを分割し、前記複数のＱＧを取得するステップは、
前記複数の残差係数をソートし、前記複数の残差係数のうち、第１の比例閾値に達していない残差係数を第１のＱＧに分割し、前記第１の比例閾値に達している残差係数を第２のＱＧに分割するステップを含み、前記複数の残差係数のソート方式は、ジグザグ（ｚｉｇ－ｚａｇ）、逆ジグザグ（ｒｅｖｅｒｓｅ ｚｉｇ－ｚａｇ）のいずれかである。

【0014】

又は、前記複数の残差係数をソートし、前記複数の残差係数のうち、第１の比例閾値に達していない残差係数を第１のＱＧに分割し、前記第１の比例閾値に達しているが、第２の比例閾値に達していない残差係数を第２のＱＧに分割し、前記第２の比例閾値に達している残差係数を第３のＱＧに分割し、前記第２の比例閾値は前記第１の比例閾値より大きい。

【0015】

１つのオプション的な実施形態において、前記１つのＣＵは複数の残差係数を含み、前記分割領域が画素領域である場合、第１のルールに従って前記１つの画像フレームに含まれる１つのＣＵを分割し、前記複数のＱＧを取得するステップは、前記複数の残差係数に対して水平又は垂直方向の対称分割を行い、同じ数の残差係数を含む２つのＱＧを取得するステップを含む。

【0016】

又は、前記複数の残差係数に対して水平又は垂直方向の対称分割を行い、３つのＱＧを取得し、前記３つのＱＧのうち、２つの隣接しないＱＧに含まれる残差係数の数が一致し、もう１つのＱＧに含まれる残差係数の数が前記２つの隣接しないＱＧに含まれる残差係数の数の和と一致する。

【0017】

又は、前記複数の残差係数に対して水平又は垂直方向の分割を行い、一致しない数の残差係数を含む２つのＱＧを取得する。

【0018】

又は、前記複数の残差係数に対して水平又は垂直方向の分割を行い、３つのＱＧを取得し、前記３つのＱＧに含まれる残差係数は対称関係を有しない。

【0019】

１つのオプション的な実施形態において、前記１つのＱＧに対応する１つのＱＰ値は、輝度ＱＰ値と色度ＱＰ値とを含む。前記１つの画像フレームの複数のＱＰ値を決定するステップは、前記１つのＱＧの輝度ＱＰ値と色度ＱＰ値とをそれぞれ取得するステップを含む。

【0020】

又は、前記１つのＱＧの輝度ＱＰ値を取得し、前記輝度ＱＰ値に基づいて前記１つのＱＧの色度ＱＰ値を取得する。

【0021】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定するステップは、前記ビットストリームを解析して前記１つの画像フレームのマーク情報を取得するステップであって、前記マーク情報は前記１つのＱＧのＱＰ値を指示するために用いられ、及び／又は、前記マーク情報は前記１つのＣＵのＱＰ値を指示するために用いられる、ステップを含む。

【0022】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定するステップは、第１に、前記ビットストリームを解析して前記１つの画像フレームのマーク情報を取得するステップであって、前記マーク情報は前記１つのＱＧのＱＰオフセットを指示するために用いられる、ステップと、第２に、前記１つのＱＧの予測ＱＰ値及び前記マーク情報に基づいて前記１つのＱＧのＱＰ値を決定するステップと、を含む。

【0023】

１つのオプション的な実施形態において、前記１つのＱＧの予測ＱＰ値及び前記マーク情報に基づいて前記１つのＱＧのＱＰ値を決定するステップは、前記１つのＱＧの予測ＱＰ値を取得し、前記１つのＱＧの予測ＱＰ値と前記ＱＰオフセットとの和を前記１つのＱＧのＱＰ値として決定するステップを含む。

【0024】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定するステップは、前記１つのＱＧの予測ＱＰ値を取得するステップと、前記１つのＱＧの予測ＱＰ値及び導出情報に基づいて、前記１つのＱＧのＱＰ値を決定するステップと、を含み、前記導出情報は、前記１つのＱＧの平坦度情報又はテクスチャ情報、ビットストリームバッファの残りスペース、又は歪み制約情報のうちのいずれか１つ又は複数の組み合わせである。

【0025】

１つのオプション的な実施形態において、前記導出情報が前記歪み制約情報であり、前記歪み制約情報は、前記複数のＱＧのうちのいずれか１つのＱＧの歪み閾値を指示する場合、前記１つのＱＧの予測ＱＰ値及び導出情報に基づいて、前記１つのＱＧのＱＰ値を決定するステップは、前記予測ＱＰ値に対応する予測歪みを決定するステップと、前記予測歪みが前記歪み閾値以下である場合、前記予測ＱＰ値を前記ＱＧのＱＰ値として決定するステップと、前記予測歪みが前記歪み閾値より大きい場合、前記歪み閾値によって決定されたＱＰ値を前記ＱＧのＱＰ値として決定するステップと、を含む。

【0026】

１つのオプション的な実施形態において、前記導出情報が前記１つのＱＧのコンテンツ情報、又は前記ビットストリームバッファの残りスペースである場合、前記１つのＱＧの予測ＱＰ値及び導出情報に基づいて、前記１つのＱＧのＱＰ値を決定するステップは、前記導出情報に基づいて前記１つのＱＧのＱＰオフセットを決定するステップと、前記１つのＱＧの予測ＱＰ値と前記ＱＰオフセットとの和を前記１つのＱＧのＱＰ値として決定するステップと、を含む。

【0027】

１つのオプション的な実施形態において、前記１つのＱＧの予測ＱＰ値を取得するステップは、前記１つのＱＧに隣接する、前記１つのＣＵ内の少なくとも１つの他のＱＧのＱＰ値を取得し、前記少なくとも１つの他のＱＧのＱＰ値に基づいて、前記１つのＱＧの予測ＱＰ値を決定するステップを含む。

【0028】

又は、前記１つのＣＵのＱＰ値を前記１つのＱＧの予測ＱＰ値として決定する。

【0029】

１つのオプション的な実施形態において、前記１つの画像フレームは少なくとも第１部分のＣＵと第２部分のＣＵとを含み、前記第１部分のＣＵと前記第２部分のＣＵとは重なる領域を有さず、前記第１部分のＣＵと前記第２部分のＣＵとのＱＰ値の取得方法が異なる。

【0030】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定するステップは、前記ビットストリームを解析して前記１つの画像フレームのマーク情報を取得するステップであって、前記マーク情報は前記第１部分のＣＵのＱＰオフセットを含む、ステップと、前記マーク情報に基づいて前記第１部分のＣＵのＱＰ値を決定するステップと、前記第２部分のＣＵについて、前記第２部分のＣＵの予測ＱＰ値を取得するステップと、前記第２部分のＣＵの予測ＱＰ値及び導出情報に基づいて、前記第２部分のＣＵのＱＰ値を決定するステップと、を含み、前記導出情報は、前記第２部分のＣＵの平坦度情報又はテクスチャ情報、ビットストリームバッファの残りスペース、又は歪み制約情報のうちのいずれか１つ又は複数の組み合わせである。

【0031】

１つのオプション的な実施形態において、前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップは、まず、前記複数のＱＰ値の各ＱＰ値について、前記ＱＰ値に対応する量子化ステップＱｓｔｅｐを取得するステップと、次に、前記ＱＰ値に対応するＱＧに含まれるレベル値を取得するステップと、最後に、選択された量子化器の組み合わせに基づいて、前記ＱＧのレベル値を逆量子化するステップと、を含み、前記量子化器の組み合わせは、１つ又は複数の量子化器を含む。例示的に、前記量子化器は、均一量子化器又は非均一量子化器である。

【0032】

１つのオプション的な実施形態において、前記量子化器の組み合わせは、前記ビットストリームに付加されたマーク情報、又は前記ＱＧ内の残差係数の分布によって決定される。

【0033】

１つのオプション的な実施形態において、前記ＱＧのレベル値を逆量子化するステップは、まず、前記ＱＧの分割領域タイプを決定するステップと、次に、前記ＱＧの分割領域タイプが変換領域である場合、前記復号側の行列テンプレートライブラリから、前記ＱＧのパラメータ情報にマッチングする量子化行列を選択するステップであって、前記行列テンプレートライブラリは、複数のタイプの量子化行列テンプレートを含み、前記パラメータ情報は、前記ＱＧのサイズ、前記ＱＧが位置するＣＵのサイズ、輝色度チャネル情報及び平坦度情報のうちのいずれか１つ又は複数の組み合わせを含む、ステップと、最後に、前記ＱＧの量子化行列を用いて前記ＱＧにおけるレベル値を逆量子化して前記ＱＧの残差係数を取得するステップと、を含む。

【0034】

１つのオプション的な実施形態において、前記複数のタイプの量子化行列テンプレートは、平坦ブロックテンプレートとテクスチャブロックテンプレートとを含み、前記平坦ブロックテンプレートにおける、周波数が周波数閾値より高い残差係数のＱｓｔｅｐは、前記平坦ブロックテンプレートにおける、周波数が前記周波数閾値に達していない残差係数のＱｓｔｅｐ以上であり、前記テクスチャブロックテンプレートにおける、周波数が周波数閾値より高い残差係数のＱｓｔｅｐは、前記テクスチャブロックテンプレートにおける、周波数が前記周波数閾値に達していない残差係数のＱｓｔｅｐ以下である。

【0035】

１つのオプション的な実施形態において、前記行列テンプレートライブラリに含まれる量子化行列テンプレートは、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＣＴ）、離散サイン変換（ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＳＴ）、整数変換又は離散ウェーブレット変換（ｄｉｓｃｒｅｔｅ ｗａｖｅ ｔｒａｎｓｆｏｒｍ、ＤＷＴ）のうちのいずれか１つ又は複数の変換方式によって取得される。

【0036】

１つのオプション的な実施形態において、前記１つのＱＧは、前記１つの画像フレームの１つ又は複数の画素点を含む。

【0037】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定するステップは、前記ビットストリームを解析して前記１つのＣＵ内の１つ又は複数のマークされたＱＧを決定するステップであって、復号プロセスにおいて前記１つ又は複数のマークされたＱＧは逆量子化される必要があり、前記１つのＣＵ内のマークされていないＱＧは逆量子化されない、ステップと、前記１つ又は複数のマークされたＱＧの各ＱＧについて、前記各ＱＧのＱＰ値を取得するステップと、を含む。

【0038】

又は、前記１つのＣＵに含まれる全てのＱＧの走査順序を決定し、前記走査順序は、上から下、左から右、ジグザグ又は逆ジグザグの順序のうちのいずれか１つ又は複数の組み合わせを含み、前記全てのＱＧの各ＱＧについて、前記走査順序に従って前記各ＱＧのＱＰ値を取得する。

【0039】

１つのオプション的な実施形態において、前記複数のＱＧのうちの少なくとも２つのＱＧに対応するＱＰ値が異なる。

【0040】

第２の態様によれば、本発明は画像復号方法を提供し、前記方法は、ビデオコーディングシステムに適用されてもよく、又は、該方法は、該方法を実現するためにビデオコーディングをサポートすることができる復号側に適用されてもよく、前記方法は復号側によって実行され、前記方法は、ビットストリームを解析して１つ又は複数の画像フレームを取得するステップであって、１つの画像フレームは１つ又は複数のＣＵを含む、ステップと、前記１つの画像フレームの複数のＱＰ値を決定するステップであって、１つのＣＵは複数の画素点を含み、１つの画素点は１つのＱＰ値に対応し、前記複数の画素点のうちの少なくとも２つの画素点のＱＰ値が異なる、ステップと、前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップと、を含む。

【0041】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定するステップは、前記１つの画素点の予測ＱＰ値を取得するステップと、前記１つの画素点の予測ＱＰ値及び導出情報に基づいて、前記１つの画素点のＱＰ値を決定するステップと、を含み、前記導出情報は、前記１つの画素点の周囲の１つ又は複数の再構成済み画素点の情報である。

【0042】

別のオプション的な実施形態において、前記１つの画素点の予測ＱＰ値は、前記１つの画素点が位置するＣＵ又はＱＧのＱＰ値であり、又は前記１つの画素点の周囲の１つ又は複数の再構成済み画素点のＱＰ値に基づいて導出され、導出方法は、平均値、中央値、又は最頻値のうちの少なくとも１つを計算することを含む。

【0043】

別のオプション的な実施形態において、前記再構成済み画素点は、前記１つの画素点を中心とする、辺の長さが３又は５の正方形領域内の画素点、又は対角線の長さが３又は５の菱形領域内の画素点である。

【0044】

別のオプション的な実施形態において、前記再構成済み画素点の情報は、画素値、平坦度情報又はテクスチャ情報、背景輝度、コントラストのうちのいずれか１つ又は複数の組み合わせを含む。

【0045】

別のオプション的な実施形態において、前記１つの画素点の予測ＱＰ値及び導出情報に基づいて、前記１つの画素点のＱＰ値を決定するステップは、前記１つの画素点の周囲の１つ又は複数の再構成済み画素点の情報に基づいて、前記画素点の指示情報を決定するステップと、前記指示情報が第１の閾値以下であり、且つ前記予測ＱＰ値が人間の目がちょうど知覚できる歪みに対応するＱＰ値以上である場合、人間の目がちょうど知覚できる歪みに対応するＱＰ値を前記画素点のＱＰ値として決定するステップと、を含む。ここで、人間の目がちょうど知覚できる歪みに対応するＱＰ値は予め設定された値（例えば、符号化側又は復号側において予め設定された画像レベル又はＣＵレベル情報）であり、又は、前記人間の目がちょうど知覚できる歪みに対応するＱＰ値はビットストリームから解析して得られ（画像レベル又はＣＵレベル伝送）、又は、人間の目がちょうど知覚できる歪みに対応するＱＰ値は周囲の再構成済みＣＵの平坦度情報又はテクスチャ情報、背景輝度、コントラスト情報に基づいて導出される。

【0046】

第３の態様によれば、本発明は画像符号化方法を提供し、前記方法は、ビデオコーディングシステムに適用されてもよく、又は、該方法は、該方法を実現するためにビデオコーディングをサポートすることができる符号化側に適用されてもよく、前記方法は符号化側によって実行され、前記方法は、１つの画像フレームを１つ又は複数のＣＵに分割するステップと、前記１つの画像フレームの複数のＱＰ値を決定するステップであって、１つのＣＵは複数のＱＧを含み、１つのＱＧは１つのＱＰ値に対応する、ステップと、前記複数のＱＰ値に基づいて前記１つの画像フレームを符号化するステップと、を含む。

【0047】

第４の態様によれば、本発明は画像符号化方法を提供し、前記方法は、ビデオコーディングシステムに適用されてもよく、又は、該方法は、該方法を実現するためにビデオコーディングをサポートすることができる符号化側に適用されてもよく、前記方法は符号化側によって実行され、前記方法は、１つの画像フレームを１つ又は複数のＣＵに分割するステップと、前記１つの画像フレームの複数のＱＰ値を決定するステップであって、１つのＣＵは複数の画素点を含み、１つの画素点は１つのＱＰ値に対応し、前記複数の画素点のうちの少なくとも２つの画素点のＱＰ値が異なる、ステップと、前記複数のＱＰ値に基づいて前記１つの画像フレームを符号化するステップと、を含む。

【0048】

第５の態様によれば、本発明は画像復号装置を提供し、復号装置は復号側に適用され、該復号装置は、第１の態様又は第２の態様の可能な実施形態のいずれかにおける方法を実施するための各モジュールを含む。例えば、ビットストリーム解析ユニット、ＱＰ決定ユニット及び画像復号ユニットである。

【0049】

有益な効果については、第１の態様又は第２の態様のいずれかの説明に記載されているので、ここでは繰り返さない。前記復号装置は、第１の態様又は第２の態様のいずれかの方法の例における動作を実現する機能を有する。前記機能は、ハードウェアによって実現されてもよく、ハードウェアが対応するソフトウェアを実行することによって実現されてもよい。前記ハードウェア又はソフトウェアは、上記の機能に対応する１つ又は複数のモジュールを含む。

【0050】

第６の態様によれば、本発明は画像符号化装置を提供し、符号化装置は符号化側に適用され、該符号化装置は、第３の態様又は第４の態様の可能な実施形態のいずれかにおける方法を実施するための各モジュールを含む。例えば、前記符号化装置は、画像分割ユニット、ＱＰ決定ユニット及び画像符号化ユニットを含む。有益な効果については、第３の態様又は第４の態様のいずれかの説明に記載されているので、ここでは繰り返さない。前記符号化装置は、第３の態様又は第４の態様のいずれかの方法の例における動作を実現する機能を有する。前記機能は、ハードウェアによって実現されてもよく、ハードウェアが対応するソフトウェアを実行することによって実現されてもよい。前記ハードウェア又はソフトウェアは、上記の機能に対応する１つ又は複数のモジュールを含む。

【0051】

第７の態様によれば、本発明は、プロセッサとメモリとを含む電子デバイスを提供し、前記メモリは、コンピュータ命令を記憶するために用いられ、前記プロセッサは、メモリから前記コンピュータ命令を呼び出して実行し、第１の態様～第４の態様のいずれかの実施形態における方法を実施するために用いられる。

【0052】

例えば、該電子デバイスは、ビデオエンコーダ、又はビデオエンコーダを含む符号化側を指してもよい。

【0053】

また、例えば、該電子デバイスは、ビデオデコーダ、又はビデオデコーダを含む復号側を指してもよい。

【0054】

第８の態様によれば、本発明は、コンピュータプログラム又は命令が記憶されたコンピュータ可読記憶媒体を提供し、コンピュータプログラム又は命令がコンピューティングデバイス、又はコンピューティングデバイスが位置するストレージシステムによって実行されると、第１の態様～第４の態様のいずれかの実施形態における方法が実施される。

【0055】

第９の態様によれば、本発明は、命令を含むコンピュータプログラム製品を提供し、コンピュータプログラム製品がコンピューティングデバイス又はプロセッサ上で実行されると、コンピューティングデバイス又はプロセッサに該命令を実行させ、第１の態様～第４の態様のいずれかの実施形態における方法が実施される。

【0056】

第１０の態様によれば、本発明はビデオコーディングシステムを提供し、該ビデオコーディングシステムは符号化側と復号側とを含み、復号側は第１の態様～第２の態様のいずれかの実施形態における方法を実施するために用いられ、符号化側は第３の態様～第４の態様のいずれかの実施形態における方法を実施するために用いられる。

【0057】

本発明は、上記の各態様において提供される実施形態に基づいて、さらに組み合わせてより多くの実施形態を提供することも可能である。

【図面の簡単な説明】

【0058】

【図1】本発明によるビデオコーディングシステムの例示的なブロック図である。

【図2】本発明によるビデオエンコーダの例示的なブロック図である。

【図3】本発明によるビデオデコーダの例示的なブロック図である。

【図4】本発明によるビデオ符号化／復号の概略フローチャートである。

【図5】本発明による画像復号方法の概略フローチャートである。

【図6】本発明による変換領域分割の概略図である。

【図7】本発明による画素領域分割の概略図である。

【図8】本発明による予測符号化方式でＱＰを取得する概略フローチャートである。

【図9】本発明による画素点の分布の概略図である。

【図10】本発明による画像フレーム復号の概略フローチャートである。

【図11】本発明による量子化行列テンプレートの概略図である。

【図12】本発明による画像符号化方法の概略フローチャートである。

【図13】本発明による復号装置の概略構造図である。

【図14】本発明による符号化装置の概略構造図である。

【図15】本発明による電子デバイスの概略構造図である。

【発明を実施するための形態】

【0059】

以下の各実施例の説明を明確且つ簡潔にするために、まず関連技術について簡単に説明する。

【0060】

図１は、本発明によるビデオコーディングシステムの例示的なブロック図であり、本明細書で使用されるように、用語「ビデオコーダ」は、一般的に、ビデオエンコーダ及びビデオデコーダの両方を指す。本発明において、「ビデオコーディング」又は「コーディング」という用語は、一般的に、ビデオ符号化又はビデオ復号を指してもよい。ビデオコーディングシステム１のビデオエンコーダ１００及びビデオデコーダ２００は、本発明において提供される複数の新しいフレーム間予測モードのうちのいずれか１つにおいて説明される様々な方法の例に従って、現在コーディングされている画像ブロック又はそのサブブロックの動き情報、例えば動きベクトルを予測するために用いられ、予測された動きベクトルが、動き推定方法を使用して得られた動きベクトルにできるだけ近くなるようにし、それによって、符号化中に差分動きベクトルを伝送する必要がなく、符号化及び復号性能をさらに改善する。

【0061】

図１に示すように、ビデオコーディングシステム１は、符号化側１０と復号側２０とを含む。符号化側１０は、符号化済みビデオデータを生成する。従って、符号化側１０は、ビデオ符号化装置と呼ばれてもよい。復号側２０は、符号化側１０によって生成された符号化済みビデオデータを復号することができる。従って、復号側２０は、ビデオ復号装置と呼ばれてもよい。符号化側１０、復号側２０、又は両方の各実施形態は、１つ又は複数のプロセッサと、前記１つ又は複数のプロセッサに結合されたメモリとを含んでもよい。本明細書に記載されるように、前記メモリは、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はコンピュータによってアクセス可能な命令もしくはデータ構造の形で所望のプログラムコードを記憶するために使用され得る任意の他の媒体を含んでもよいが、これらに限定されない。

【0062】

符号化側１０及び復号側２０は、デスクトップコンピュータ、モバイルコンピューティングデバイス、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの携帯電話、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲーム機、車載コンピュータ、又はそれらの類似のものを含む様々な装置を含んでもよい。

【0063】

復号側２０は、リンク３０を介して符号化側１０から符号化済みビデオデータを受信することができる。リンク３０は、符号化済みビデオデータを符号化側１０から復号側２０に移動させることができる１つ又は複数の媒体又は装置を含んでもよい。一例では、リンク３０は、符号化側１０が符号化済みビデオデータを復号側２０にリアルタイムで直接送信することを可能にする１つ又は複数の通信媒体を含んでもよい。この例では、符号化側１０は、通信規格（例えば、無線通信プロトコル）に従って符号化済みビデオデータを変調し、変調されたビデオデータを復号側２０に送信してもよい。前記１つ又は複数の通信媒体は、無線周波数（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、ＲＦ）スペクトル又は１つ又は複数の物理伝送線路などの無線及び／又は有線通信媒体を含んでもよい。前記１つ又は複数の通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク（例えば、インターネット）などのパケットベースのネットワークの一部を形成してもよい。前記１つ又は複数の通信媒体は、ルータ、スイッチ、基地局、又は符号化側１０から復号側２０への通信を容易にする別のデバイスを含んでもよい。

【0064】

別の例では、符号化済みデータは、出力インタフェース１４０から記憶装置４０に出力されてもよい。同様に、符号化済みデータは、入力インタフェース２４０を介して記憶装置４０からアクセスされてもよい。記憶装置４０は、ハードディスクドライブ、ブルーレイディスク、デジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性又は不揮発性メモリ、又は符号化済みビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、分散型又はローカルアクセス可能な複数のデータ記憶媒体のうちのいずれか１つを含んでもよい。

【0065】

別の例では、記憶装置４０は、ファイルサーバ又は符号化側１０によって生成された符号化済みビデオを保持できる別の中間記憶装置に対応してもよい。復号側２０は、ストリーミング伝送又はダウンロードによって、記憶装置４０から記憶されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化済みビデオデータを記憶し、符号化済みビデオデータを復号側２０に送信することができる任意のタイプのサーバであってもよい。一例では、ファイルサーバは、ネットワークサーバ（例えば、ウェブサイト用）、ファイル転送プロトコル（ｆｉｌｅ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ、ＦＴＰ）サーバ、ネットワーク接続ストレージ（ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ、ＮＡＳ）装置、又はローカルディスクドライブを含む。復号側２０は、任意の標準的なデータ接続（インターネット接続を含む）を介して符号化済みビデオデータにアクセスしてもよい。これは、無線チャネル（例えば、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ－ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉ）接続）、有線接続（例えば、デジタル加入者回線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）、ケーブルモデムなど）、又はファイルサーバに記憶された符号化済みビデオデータにアクセスするのに適した両方の組み合わせを含んでもよい。記憶装置４０からの符号化済みビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組み合わせであってもよい。

【0066】

本発明による画像復号方法は、例えば、地上波テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ストリーミングビデオ送信（例えば、インターネット経由）、データ記憶媒体に記憶するためのビデオデータの符号化、データ記憶媒体に記憶するためのビデオデータの復号、又は他のアプリケーションをサポートするためのビデオ符号化及び復号に適用されてもよい。いくつかの例では、ビデオコーディングシステム１は、例えば、ビデオストリーミング伝送、ビデオ再生、ビデオ放送及び／又はビデオ電話などのアプリケーションをサポートするために、一方向又は双方向ビデオ伝送をサポートするために用いられてもよい。

【0067】

図１に示したビデオコーディングシステム１は一例に過ぎず、本発明の技術は、符号化装置と復号装置との間のいかなるデータ通信を必ずしも含まないビデオコーディング設定（例えば、ビデオ符号化又はビデオ復号）に適用することができる。他の例では、データは、ローカルメモリから検索され、ネットワーク上でストリーミングされるなどである。ビデオ符号化装置は、データを符号化してメモリに記憶してもよく、及び／又は、ビデオ復号装置は、メモリからデータを取り出して復号してもよい。多くの例において、符号化及び復号は、互いに通信することなく、データをメモリに符号化し、及び／又は、データをメモリから取り出して復号するだけの装置によって実行される。

【0068】

図１の例では、符号化側１０は、ビデオソース１２０、ビデオエンコーダ１００、及び出力インタフェース１４０を含む。いくつかの例では、出力インタフェース１４０は、変調器／復調器（モデム）及び／又は送信機を含んでもよい。ビデオソース１２０は、ビデオキャプチャデバイス（例えば、カメラ）、前にキャプチャされたビデオデータを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインタフェース、及び／又はビデオデータを生成するためのコンピュータグラフィックスシステム、又はビデオデータのこれらのソースの組み合わせを含んでもよい。

【0069】

ビデオエンコーダ１００は、ビデオソース１２０からのビデオデータを符号化することができる。いくつかの実施例では、符号化側１０は、出力インタフェース１４０を介して、符号化済みビデオデータを復号側２０に直接送信する。他の例では、符号化済みビデオデータは、復号側２０が復号及び／又は再生のためにアクセスするために、記憶装置４０に記憶されてもよい。

【0070】

図１の例では、復号側２０は、入力インタフェース２４０と、ビデオデコーダ２００と、表示装置２２０とを含む。いくつかの例では、入力インタフェース２４０は、受信機及び／又はモデムを含む。入力インタフェース２４０は、リンク３０を介して、及び／又は記憶装置４０から符号化済みビデオデータを受信してもよい。表示装置２２０は、復号側２０と一体化されてもよいし、復号側２０の外部に設けられてもよい。一般的に、表示装置２２０は、復号済みビデオデータを表示する。表示装置２２０は、様々な表示装置、例えば、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）ディスプレイ又は他のタイプの表示装置を含んでもよい。

【0071】

図１には示されていないが、いくつかの態様では、ビデオエンコーダ１００及びビデオデコーダ２００は、それぞれ、オーディオエンコーダ及びデコーダと一体化されてもよく、共通のデータストリーム又は個別のデータストリームにおけるオーディオ及びビデオの両方の符号化に対応するために、適切なマルチプレクサ－デマルチプレクサユニット又は他のハードウェア及びソフトウェアを含んでもよい。いくつかの例では、適用可能である場合、デマルチプレクサ（ＭＵＸ－ＤＥＭＵＸ）ユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ、ＵＤＰ）などの他のプロトコルに準拠してもよい。

【0072】

ビデオエンコーダ１００及びビデオデコーダ２００の各々は、例えば、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、ディスクリートロジック、ハードウェア、又はそれらの任意の組み合わせとして実現されてもよい。本発明が部分的にソフトウェアで実施される場合、装置は、ソフトウェア用の命令を適切な不揮発性コンピュータ可読記憶媒体に記憶し、１つ又は複数のプロセッサを使用してハードウェアにおいて前記命令を実行することによって本発明の技術を実施してもよい。上記の内容（ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせなどを含む）のいずれかは、１つ又は複数のプロセッサと見なされてもよい。ビデオエンコーダ１００及びビデオデコーダ２００の各々は、１つ又は複数のエンコーダ又はデコーダに含まれてもよく、前記エンコーダ又はデコーダのいずれかは、対応する装置内の複合エンコーダ／デコーダ（コーデック）の一部として一体化されてもよい。

【0073】

本発明では、ビデオエンコーダ１００は、概して、例えばビデオデコーダ２００に、特定の情報を「シグナリング」又は「送信」する別の装置と呼ばれてもよい。「シグナリング」又は「送信」という用語は、概して、圧縮されたビデオデータを復号するためのシンタックス要素及び／又は他のデータの伝送を指してもよい。この伝送は、リアルタイム又はほぼリアルタイムで発生してもよい。代わりに、この通信は、一定期間にわたって発生してもよく、例えば、符号化中に、符号化済みビットストリームにおいてシンタックス要素をコンピュータ可読記憶媒体に記憶する時に発生してもよく、復号装置は、前記シンタックス要素がこの媒体に記憶された後、いつでも前記シンタックス要素を検索してもよい。

【0074】

ＪＣＴ－ＶＣは、Ｈ．２６５（ＨＥＶＣ）規格を開発した。ＨＥＶＣ標準化は、ＨＥＶＣテストモデル（ＨＥＶＣ ｍｏｄｅｌ、ＨＭ）と呼ばれるビデオ復号装置の進化モデルに基づく。Ｈ．２６５の最新の標準文書は、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５から取得することができ、最新バージョンの標準文書はＨ．２６５（１２／１６）であり、該標準文書は全文引用により本明細書に組み込まれる。ＨＭは、ＩＴＵ－ＴＨ．２６４／ＡＶＣの既存のアルゴリズムに対して、ビデオ復号装置がいくつかの追加の能力を有すると仮定する。例えば、Ｈ．２６４は９つのフレーム内予測符号化モードを提供し、ＨＭは最大３５つのフレーム内予測符号化モードを提供することができる。

【0075】

ＪＶＥＴは、Ｈ．２６６規格の開発に取り組んでいる。Ｈ．２６６標準化のプロセスは、Ｈ．２６６テストモデルと呼ばれるビデオ復号装置の進化モデルに基づく。Ｈ．２６６のアルゴリズム記述は、ｈｔｔｐ：／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔから取得することができ、最新のアルゴリズム記述はＪＶＥＴ－Ｆ１００１－ｖ２に含まれ、該アルゴリズム記述文書は全文引用により本明細書に組み込まれる。同時に、ｈｔｔｐｓ：／／ｊｖｅｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿ＨＭＪＥＭＳｏｆｔｗａｒｅ／からＪＥＭテストモデルの参考ソフトウェアを取得することができ、同様に全文引用により本明細書に組み込まれる。

【0076】

一般的に、ＨＭの動作モデル記述は、ビデオフレーム又は画像を、輝度及び色度サンプルの両方を含むツリーブロック又は最大符号化ユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）のシーケンスに分割することができ、ＬＣＵはコーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）とも呼ばれる。ツリーブロックは、Ｈ．２６４規格のマクロブロックと類似の目的を有する。スライスは、復号順順序で連続するいくつかのツリーブロックを含む。ビデオフレーム又は画像を１つ又は複数のストライプに分割してもよい。四分木に基づいて各ツリーブロックを符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）に分割してもよい。例えば、四分木のルートノードであるツリーブロックを４つの子ノードに分割し、各子ノードを親ノードとして他の４つの子ノードにさらに分割してもよい。四分木のリーフノードとしての最終的に分割できない子ノードは、復号済みビデオブロックなどの復号ノードを含む。復号済みビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義することができ、復号ノードの最小サイズを定義することもできる。

【0077】

ＣＵのサイズは、復号ノードのサイズに対応し、形状は正方形でなければならない。ＣＵのサイズの範囲は、８×８画素から最大６４×６４画素、又はそれ以上のツリーブロックのサイズまで可能である。

【0078】

ビデオシーケンスは、通常、一連のビデオフレーム又は画像を含む。画像グループ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ、ＧＯＰ）は例示的に、一連の、１つ、又は複数のビデオ画像を含む。ＧＯＰは、ＧＯＰのヘッダ情報、１つ又は複数の画像のヘッダ情報、又はその他の場所に、ＧＯＰに含まれる画像の数を記述するシンタックスデータを含んでもよい。画像の各スライスは、対応する画像の符号化モードを記述するスライスシンタックスデータを含んでもよい。ビデオエンコーダ１００は、通常、ビデオデータを符号化するために個別のビデオスライス内のビデオブロックを操作する。ビデオブロックは、ＣＵ内の復号ノードに対応してもよい。ビデオブロックは、固定又は可変のサイズを有してもよく、指定された復号規格に応じてサイズが異なってもよい。

【0079】

本発明において、「Ｎ×Ｎ」と「ＮかけるＮ」は同じ意味で使うことができ、垂直次元及び水平次元に従ったビデオブロックの画素サイズを指し、例えば、１６×１６画素又は１６かける１６画素である。一般に、１６×１６ブロックは、垂直方向に１６画素（ｙ＝１６）、水平方向に１６画素（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、垂直方向にＮ個の画素を有し、水平方向にＮ個の画素を有し、Ｎは非負の整数値を表す。ブロック内の画素は、行及び列に配列されてもよい。また、ブロックは、必ずしも水平方向と垂直方向に同じ数の画素を有する必要はない。例えば、ブロックはＮ×Ｍ個の画素を含み、Ｍは必ずしもＮに等しくない。

【0080】

ＣＵのフレーム内／フレーム間予測復号が行われた後、ビデオエンコーダ１００は、ＣＵの残差データを計算してもよい。ＣＵは、空間領域（画素領域とも呼ばれる）内の画素データを含んでもよく、ＣＵは、残差ビデオデータに変換（例えば、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＣＴ）、整数変換、離散ウェーブレット変換、又は概念的に類似した変換）を適用した後の変換領域内の係数を含んでもよい。残差データは、符号化されていない画像の画素とＣＵに対応する予測値との画素差に対応してもよい。ビデオエンコーダ１００は、残差データを含むＣＵを形成し、ＣＵの変換係数を生成してもよい。

【0081】

任意の変換により変換係数を生成した後、ビデオエンコーダ１００は、変換係数の量子化を実行してもよい。量子化とは、例示的に、係数を量子化して、係数を表すためのデータ量を削減することによってさらに圧縮するプロセスである。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減することができる。例えば、量子化中にｎビット値をｍビット値に切り捨ててもよく、ｎはｍより大きい。

【0082】

いくつかの可能な実施形態において、ビデオエンコーダ１００は、量子化済み変換係数を予め定義された走査順序で走査して、エントロピー符号化され得るシリアライズベクトル（ｓｅｒｉａｌｉｚｅｄ ｖｅｃｔｏｒ）を生成してもよい。他の可能な実施形態において、ビデオエンコーダ１００は、適応走査を実行してもよい。量子化済み変換係数を走査して１次元ベクトルを形成した後、ビデオエンコーダ１００は、コンテキストベース適応型可変長符号化（ｃｏｎｔｅｘｔ－ｂａｓｅｄ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ－ｌｅｎｇｔｈ ｃｏｄｅ、ＣＡＶＬＣ）、コンテキストベース適応型バイナリ算術符号化（ｃｏｎｔｅｘｔ－ｂａｓｅｄ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ、ＣＡＢＡＣ）、シンタックスベース適応型バイナリ算術符号化（ｓｙｎｔａｘ－ｂａｓｅｄ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ、ＳＢＡＣ）、確率間隔分割エントロピー（ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ、ＰＩＰＥ）符号化、又は他のエントロピー符号化方法に基づいて１次元ベクトルをエントロピー符号化してもよい。ビデオエンコーダ１００は、ビデオデコーダ２００がビデオデータを復号するために使用するように、符号化済みビデオデータに関連するシンタックス要素をエントロピー符号化してもよい。

【0083】

ＣＡＢＡＣを実行するために、ビデオエンコーダ１００は、コンテキストモデル内のコンテキストを伝送されるシンボルに割り当ててもよい。コンテキストは、シンボルの隣接値が非ゼロであるか否かに関連してもよい。ＣＡＶＬＣを実行するために、ビデオエンコーダ１００は、伝送されるシンボルの可変長符号を選択してもよい。可変長符号化（ｖａｒｉａｂｌｅ－ｌｅｎｇｔｈ ｃｏｄｅ、ＶＬＣ）におけるコードワードは、比較的短い符号が可能性の高いシンボルに対応し、長い符号が可能性の低いシンボルに対応するように構成され得る。このように、ＶＬＣを使用することで、送信される各シンボルに等しい長さのコードワードを使用する場合と比較して、ビットレートを節約することができる。シンボルに割り当てられたコンテキストに基づいて、ＣＡＢＡＣにおける確率を決定することができる。

【0084】

本発明の実施形態において、ビデオエンコーダは、画像間の時間的冗長性を低減するためにフレーム間予測を実行してもよい。本発明では、ビデオデコーダによって現在復号されているＣＵは、現在のＣＵと呼ばれ得る。本発明では、ビデオデコーダによって現在復号されている画像は、現在の画像と呼ばれ得る。

【0085】

図２は、本発明によるビデオエンコーダの例示的なブロック図である。ビデオエンコーダ１００は、ビデオを後処理エンティティ４１に出力するために用いられる。後処理エンティティ４１は、ビデオエンコーダ１００からの符号化済みビデオデータを処理することができるビデオエンティティの例を表し、例えば、媒体認識ネットワーク素子（ＭＡＮＥ）又はスティッチング／編集装置である。いくつかの例では、後処理エンティティ４１は、ネットワークエンティティの例であってもよい。いくつかのビデオ符号化システムにおいて、後処理エンティティ４１及びビデオエンコーダ１００は、別々の装置のいくつかの部分であってもよく、他の場合、後処理エンティティ４１に関して説明された機能は、ビデオエンコーダ１００を含む同じ装置によって実行されてもよい。一例では、後処理エンティティ４１は、図１の記憶装置４０の例である。

【0086】

図２の例では、ビデオエンコーダ１００は、予測処理ユニット１０８、フィルタユニット１０６、復号済み画像バッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ、ＤＰＢ）１０７、加算器１１２、変換器１０１、量子化器１０２、及びエントロピーエンコーダ１０３を含む。予測処理ユニット１０８は、フレーム間予測器１１０及びフレーム内予測器１０９を含む。画像ブロック再構成のために、ビデオエンコーダ１００は、逆量子化器１０４、逆変換器１０５、及び加算器１１１をさらに含む。フィルタユニット１０６は、１つ又は複数のループフィルタ、例えば、デブロッキングフィルタ、適応ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ、ＡＬＦ）及びサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）フィルタを表すことを意図している。図２では、フィルタユニット１０６をインループフィルタとして示しているが、他の実施形態において、フィルタユニット１０６をアフターループフィルタ（ａｆｔｅｒ－ｌｏｏｐ ｆｉｌｔｅｒ）として実施してもよい。一例では、ビデオエンコーダ１００は、ビデオデータメモリ、分割ユニット（図示せず）をさらに含んでもよい。

【0087】

ビデオデータメモリは、ビデオエンコーダ１００のコンポーネントによって符号化されるべきビデオデータを記憶してもよい。ビデオデータメモリに記憶されたビデオデータは、ビデオソース１２０から取得することができる。ＤＰＢ １０７は、参照画像メモリであってもよく、ビデオエンコーダ１００がフレーム内、フレーム間コーディングモードでビデオデータを符号化するための参照ビデオデータを記憶する。ビデオデータメモリ及びＤＰＢ １０７は、複数のメモリ装置のうちの任意の１つ、例えば、シンクロナスダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＤＲＡＭ）、磁気ＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＭＲＡＭ）、抵抗ＲＡＭ（ｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＲＡＭ）、又は他のタイプのメモリ装置によって形成されてもよい。ビデオデータメモリ及びＤＰＢ １０７は、同一のメモリ装置又は別々のメモリ装置によって提供されてもよい。

【0088】

図２に示すように、ビデオエンコーダ１００は、ビデオデータを受信し、前記ビデオデータをビデオデータメモリに記憶する。分割ユニットは、ビデオデータをいくつかの画像ブロックに分割し、これらの画像ブロックは、例えば、四分木構造又は二分木構造に基づく画像ブロック分割などのように、より小さいブロックにさらに分割されてもよい。この分割は、スライス（ｓｌｉｃｅ）、タイル（ｔｉｌｅ）又はその他のより大きなユニットへの分割を含んでもよい。ビデオエンコーダ１００は、通常、符号化されるべきビデオスライス内の画像ブロックを符号化するコンポーネントを示す。前記スライスは、複数の画像ブロックに分割されてもよい（スライスと呼ばれる画像ブロックセットに分割されてもよい）。予測処理ユニット１０８は、現在の画像ブロックに使用される複数の可能なコーディングモードのうちの１つ、例えば、複数のフレーム内コーディングモードのうちの１つ又は複数のフレーム間コーディングモードのうちの１つを選択してもよい。予測処理ユニット１０８は、フレーム内、フレーム間コーディングされたブロックを、残差ブロックを生成するために加算器１１２に提供し、参照画像として使用される符号化済みブロックを再構成するために加算器１１１に提供してもよい。

【0089】

予測処理ユニット１０８内のフレーム内予測器１０９は、空間的冗長性を除去するために、符号化される現在のブロックと同じフレーム又はスライス内の１つ又は複数の隣接ブロックに対して現在の画像ブロックのフレーム内予測符号化を実行してもよい。予測処理ユニット１０８内のフレーム間予測器１１０は、時間的冗長性を除去するために、１つ又は複数の参照画像内の１つ又は複数の予測ブロックに対して現在の画像ブロックのフレーム間予測符号化を実行してもよい。

【0090】

具体的には、フレーム間予測器１１０は、現在の画像ブロックを符号化するために使用されるフレーム間予測モードを決定するために用いられてもよい。例えば、フレーム間予測器１１０は、ビットレート－歪み分析により、候補フレーム間予測モードセットにおける各フレーム間予測モードのビットレート－歪み値を計算し、その中から最適なビットレート－歪み特性を有するフレーム間予測モードを選択してもよい。ビットレート－歪み分析は、通常、符号化済みブロックと、前記符号化済みブロックを生成するために符号化される元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化済みブロックを生成するためのビットコードレート（即ち、ビット数）を決定する。例えば、フレーム間予測器１１０は、候補フレーム間予測モードセットにおける、前記現在の画像ブロックを符号化するためのビットレート歪みコストが最も小さいフレーム間予測モードを、現在の画像ブロックに対してフレーム間予測を行うためのフレーム間予測モードとして決定してもよい。

【0091】

フレーム間予測器１１０は、決定されたフレーム間予測モードに基づいて、現在の画像ブロック内の１つ又は複数のサブブロックの動き情報（例えば、動きベクトル）を予測し、現在の画像ブロック内の１つ又は複数のサブブロックの動き情報（例えば、動きベクトル）を用いて現在の画像ブロックの予測ブロックを取得又は生成するために用いられる。フレーム間予測器１１０は、参照画像リストのうちの１つにおいて、前記動きベクトルが指す予測ブロックを位置決めしてもよい。フレーム間予測器１１０はさらに、ビデオデコーダ２００がビデオスライスの画像ブロックを復号するときに使用するように、画像ブロック及びビデオスライスに関連するシンタックス要素を生成してもよい。又は、一例では、フレーム間予測器１１０は、各サブブロックの動き情報を使用して動き補償プロセスを実行して、各サブブロックの予測ブロックを生成することによって現在の画像ブロックの予測ブロックを取得する。なお、ここで、フレーム間予測器１１０は、動き推定及び動き補償プロセスを実行する。

【0092】

具体的には、現在の画像ブロックに対してフレーム間予測モードを選択した後、フレーム間予測器１１０は、エントロピーエンコーダ１０３が、選択されたフレーム間予測モードを指示する情報を符号化するように、現在の画像ブロックの選択されたフレーム間予測モードを指示する情報をエントロピーエンコーダ１０３に提供してもよい。

【0093】

フレーム内予測器１０９は、現在の画像ブロックに対してフレーム内予測を実行してもよい。具体的には、フレーム内予測器１０９は、現在のブロックを符号化するためのフレーム内予測モードを決定してもよい。例えば、フレーム内予測器１０９は、ビットレート－歪み分析を使用して各テスト対象のフレーム内予測モードのビットレート－歪み値を計算し、テスト対象のモードから最適なビットレート－歪み特性を有するフレーム内予測モードを選択してもよい。いずれの場合であっても、画像ブロックに対してフレーム内予測モードを選択した後、フレーム内予測器１０９は、エントロピーエンコーダ１０３が、選択されたフレーム内予測モードを指示する情報を符号化するように、現在の画像ブロックの選択されたフレーム内予測モードを指示する情報をエントロピーエンコーダ１０３に提供してもよい。

【0094】

予測処理ユニット１０８がフレーム間予測、フレーム内予測によって現在の画像ブロックの予測ブロックを生成した後、ビデオエンコーダ１００は、符号化される現在の画像ブロックから前記予測ブロックを減算して残差画像ブロックを形成する。加算器１１２は、この減算を実行する１つ又は複数のコンポーネントを表す。前記残差ブロック内の残差ビデオデータは、１つ又は複数の伝送ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）に含まれてもよく、変換器１０１に適用される。変換器１０１は、例えば離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＣＴ）又は概念的に類似した変換などの変換を用いて残差ビデオデータを残差変換係数に変換する。変換器１０１は、残差ビデオデータを画素値領域から変換領域、例えば周波数領域に変換することができる。

【0095】

変換器１０１は、得られた変換係数を量子化器１０２に送信してもよい。量子化器１０２は、前記変換係数を量子化してビットコードレートをさらに低減する。いくつかの例では、量子化器１０２は、その後、量子化済み変換係数を含む行列に対する走査を実行してもよい。又は、エントロピーエンコーダ１０３が走査を実行してもよい。

【0096】

量子化後、エントロピーエンコーダ１０３は、量子化済み変換係数をエントロピー符号化する。例えば、エントロピーエンコーダ１０３は、コンテキスト適応型可変長符号化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、シンタックスベース適応型バイナリ算術符号化（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）符号化、又は他のエントロピー符号化方法もしくは技術を実行してもよい。エントロピーエンコーダ１０３によってエントロピー符号化された後、符号化済みビットストリームは、ビデオデコーダ２００に送信されるか、後で送信される又はビデオデコーダ２００によって検索されるためにアーカイブされてもよい。エントロピーエンコーダ１０３は、符号化される現在の画像ブロックのシンタックス要素をエントロピー符号化してもよい。

【0097】

逆量子化器１０４及び逆変換器１０５は、それぞれ逆量子化及び逆変換を適用して、例えば、後で参照画像として使用する参照ブロックを提供するために、画素領域において残差ブロックを再構成する。加算器１１１は、再構成済み残差ブロックを、フレーム間予測器１１０又はフレーム内予測器１０９によって生成された予測ブロックに追加して、再構成済み画像ブロックを生成する。フィルタユニット１０６は、ブロック効果（ｂｌｏｃｋ ａｒｔｉｆａｃｔｓ）などの歪みを低減するために、再構成済み画像ブロックに適用されてもよい。その後、該再構成済み画像ブロックは参照ブロックとして復号済み画像バッファ１０７に記憶され、後続のビデオフレーム又は画像におけるブロックに対してフレーム間予測を行うために、フレーム間予測器１１０によって参照ブロックとして用いられてもよい。

【0098】

なお、ビデオエンコーダ１００の他の構造変化は、ビデオストリームを符号化するために用いられてもよい。例えば、いくつかの画像ブロック又は画像フレームについて、変換器１０１によって処理される必要がなく、ビデオエンコーダ１００は残差信号を直接量子化してもよく、それに応じて、逆変換器１０５によって処理される必要もなく、又は、いくつかの画像ブロック又は画像フレームについて、ビデオエンコーダ１００は、残差データを生成せず、それに応じて、変換器１０１、量子化器１０２、逆量子化器１０４、及び逆変換器１０５によって処理される必要がなく、又は、ビデオエンコーダ１００は、フィルタユニット１０６によって処理される必要がなく、再構成済み画像ブロックを参照ブロックとして直接記憶してもよく、又は、ビデオエンコーダ１００内の量子化器１０２及び逆量子化器１０４は組み合わされてもよい。

【0099】

図３は、本発明によるビデオデコーダ２００の例示的なブロック図である。図３の例では、ビデオデコーダ２００は、エントロピーデコーダ２０３、予測処理ユニット２０８、逆量子化器２０４、逆変換器２０５、加算器２１１、フィルタユニット２０６、及びＤＰＢ ２０７を含む。予測処理ユニット２０８は、フレーム間予測器２１０及びフレーム内予測器２０９を含んでもよい。いくつかの例では、ビデオデコーダ２００は、図２のビデオエンコーダ１００について説明した符号化プロセスとほぼ逆の復号プロセスを実行してもよい。

【0100】

復号プロセスにおいて、ビデオデコーダ２００は、ビデオエンコーダ１００から、符号化済みビデオスライスの画像ブロック及び関連するシンタックス要素を表す符号化済みビデオビットストリームを受信する。ビデオデコーダ２００は、ネットワークエンティティ４２からビデオデータを受信してもよく、オプションで、前記ビデオデータをビデオデータメモリ（図示せず）に記憶してもよい。ビデオデータメモリは、ビデオデコーダ２００のコンポーネントによって復号されるビデオデータ、例えば、符号化済みビデオビットストリームを記憶してもよい。ビデオデータメモリに記憶されたビデオデータは、例えば、記憶装置４０、カメラなどのローカルビデオソース、ビデオデータを介した有線又は無線ネットワーク通信、又は物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリは、符号化済みビデオビットストリームからの符号化済みビデオデータを記憶するための復号済み画像バッファ（ＣＰＢ）として機能することができる。従って、ビデオデータメモリは、図３には示されていないが、ビデオデータメモリ及びＤＰＢ ２０７は、同一のメモリであってもよいし、別々に設けられたメモリであってもよい。ビデオデータメモリ及びＤＰＢ ２０７は、例えば、複数のメモリ装置のうちの任意の１つ、例えば、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリ装置によって形成されてもよい。

【0101】

ネットワークエンティティ４２は、サーバ、ＭＡＮＥ、ビデオエディタ／カッター（ｃｕｔｔｅｒ）、又は上述した技術の１つ又は複数を実施するための他の装置であってもよい。ネットワークエンティティ４２は、ビデオエンコーダ、例えば、ビデオエンコーダ１００を含んでもよいし、含まなくてもよい。ネットワークエンティティ４２が符号化済みビデオビットストリームをビデオデコーダ２００に送信する前に、ネットワークエンティティ４２は、本発明で説明される技術の一部を実施してもよい。いくつかのビデオ復号システムにおいて、ネットワークエンティティ４２及びビデオデコーダ２００は、別々の装置の部分であってもよく、他の場合、ネットワークエンティティ４２に関して説明された機能は、ビデオデコーダ２００を含む同じ装置によって実行されてもよい。いくつかの場合、ネットワークエンティティ４２は、図１の記憶装置４０の例であってもよい。

【0102】

ビデオデコーダ２００のエントロピーデコーダ２０３は、量子化済み係数及びいくつかのシンタックス要素を生成するために、ビットストリームをエントロピー復号する。エントロピーデコーダ２０３は、シンタックス要素を予測処理ユニット２０８に転送する。ビデオデコーダ２００は、ビデオスライスレベル及び／又は画像ブロックレベルでのシンタックス要素を受信してもよい。

【0103】

ビデオスライスがフレーム内復号済み（Ｉ）スライスとして復号された場合、予測処理ユニット２０８のフレーム内予測器２０９は、シグナリングによって通知されたフレーム内予測モード、及び現在のフレーム又は画像の以前の復号済みブロックからのデータに基づいて、現在のビデオスライスの画像ブロックの予測ブロックを生成してもよい。ビデオスライスがフレーム間復号済み（即ち、Ｂ又はＰ）スライスとして復号された場合、予測処理ユニット２０８のフレーム間予測器２１０は、エントロピーデコーダ２０３から受信したシンタックス要素に基づいて、現在のビデオスライスの現在の画像ブロックを復号するためのフレーム間予測モードを決定し、決定されたフレーム間予測モードに基づいて、前記現在の画像ブロックを復号してもよい（例えば、フレーム間予測を実行する）。具体的に、フレーム間予測器２１０は、現在のビデオスライスの現在の画像ブロックを予測するために新しいフレーム間予測モードを使用するか否かを決定してもよく、シンタックス要素が、現在の画像ブロックを予測するために新しいフレーム間予測モードを使用することを指示する場合、新しいフレーム間予測モード（例えば、シンタックス要素によって指定される新しいフレーム間予測モード又はデフォルトの新しいフレーム間予測モード）に基づいて現在のビデオスライスの現在の画像ブロック又は現在の画像ブロックのサブブロックの動き情報を予測し、それによって、動き補償プロセスによって予測された現在の画像ブロック又は現在の画像ブロックのサブブロックの動き情報を使用して現在の画像ブロック又は現在の画像ブロックのサブブロックの予測ブロックを取得又は生成してもよい。ここで、動き情報は、参照画像情報及び動きベクトルを含んでもよく、参照画像情報は、一方向／双方向予測情報、参照画像リスト番号及び参照画像リストに対応する参照画像インデックスを含んでもよいが、これらに限定されない。フレーム間予測について、参照画像リストの１つ内の参照画像の１つから予測ブロックを生成してもよい。ビデオデコーダ２００は、ＤＰＢ ２０７に記憶された参照画像に基づいて、参照画像リスト、即ちリスト０及びリスト１を構築してもよい。現在の画像の参照フレームインデックスは、参照フレームリスト０及びリスト１のうちの１つ又は複数に含まれてもよい。いくつかの例では、ビデオエンコーダ１００は、特定のブロックの特定のシンタックス要素を復号するために新しいフレーム間予測モードを使用するか否かを指示する通知をシグナリングしてもよく、又は、新しいフレーム間予測モードを使用するか否か、及び特定のブロックの特定のシンタックス要素を復号するために具体的にどの新しいフレーム間予測モードを使用するかを指示する通知をシグナリングしてもよい。なお、ここで、フレーム間予測器２１０は動き補償プロセスを実行する。

【0104】

逆量子化器２０４は、ビットストリームに提供され、エントロピーデコーダ２０３によって復号された量子化済み変換係数を逆量子化する、即ち量子化を解除する。逆量子化プロセスは、ビデオスライス内の各画像ブロックについてビデオエンコーダ１００によって計算された量子化パラメータを用いて、加えられるべき量子化の程度を決定することと、及び加えられるべき逆量子化の程度を同様に決定することとを含んでもよい。逆変換器２０５は、逆ＤＣＴ、逆整数変換、又は概念的に類似した逆変換プロセスなどの逆変換を変換係数に適用して、画素領域内の残差ブロックを生成する。

【0105】

フレーム間予測器２１０が現在の画像ブロック又は現在の画像ブロックのサブブロックのための予測ブロックを生成した後、ビデオデコーダ２００は、逆変換器２０５からの残差ブロックと、フレーム間予測器２１０によって生成された対応する予測ブロックとを加算して再構成されたブロック、即ち復号済み画像ブロックを得る。加算器２１１は、この加算を実行するコンポーネントを表す。必要に応じて、ループフィルタ（復号ループ内又は復号ループの後）を使用して画素変換を平滑化してもよく、又は他の方式でビデオ品質を改善してもよい。フィルタユニット２０６は、１つ又は複数のループフィルタ、例えば、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）及びサンプル適応オフセット（ＳＡＯ）フィルタを表してもよい。図３では、フィルタユニット２０６をインループフィルタとして示しているが、他の実施形態において、フィルタユニット２０６をアフターループフィルタとして実施してもよい。一例では、フィルタユニット２０６は、ブロック歪みを低減するためにブロック再構成に適用され、その結果は復号済みビデオストリームとして出力される。また、所定のフレーム又は画像内の復号済み画像ブロックを復号済み画像バッファ２０７に記憶し、ＤＰＢ ２０７を介して後続の動き補償のための参照画像を記憶してもよい。ＤＰＢ ２０７は、後で表示装置（例えば、図１の表示装置２２０）に表示するための復号済みビデオを記憶してもよいメモリの一部であってもよいし、このようなメモリと分離されてもよい。

【0106】

なお、ビデオデコーダ２００の他の構造変化は、符号化済みビデオビットストリームを復号するために用いられてもよい。例えば、ビデオデコーダ２００は、フィルタユニット２０６によって処理されずに出力ビデオストリームを生成してもよく、又は、いくつかの画像ブロック又は画像フレームについて、ビデオデコーダ２００のエントロピーデコーダ２０３は量子化済み係数を復号しなかった場合、それに応じて逆量子化器２０４及び逆変換器２０５によって処理される必要がない。

【0107】

本発明の技術は、図１から図３に示され説明されたビデオエンコーダ１００及びビデオデコーダ２００のような、本発明において説明されたビデオエンコーダ又はビデオデコーダのいずれか１つによって実行されてもよい。即ち、１つの可能な実施形態において、図２において説明されたビデオエンコーダ１００は、ビデオデータのブロックの符号化中にフレーム間予測を実行するときに、以下に説明される特定の技術を実行してもよい。別の可能な実施形態において、図３において説明されたビデオデコーダ２００は、ビデオデータのブロックの復号中にフレーム間予測を実行するときに、以下に説明される特定の技術を実行してもよい。従って、一般的な「ビデオエンコーダ」又は「ビデオデコーダ」への引用は、ビデオエンコーダ１００、ビデオデコーダ２００、又は別のビデオ符号化又は復号ユニットを含んでもよい。

【0108】

図１～図３は、本発明において提供される例に過ぎず、いくつかの例では、ビデオエンコーダ１００、ビデオデコーダ２００、及びビデオコーディングシステムは、より多くの又はより少ない構成要素又はユニットを含んでもよい。

【0109】

以下、図１～図３に示すビデオコーディングシステムに基づいて、本発明は、ビデオ符号化／復号の可能な実施形態を提供し、図４に示すように、図４は、本発明によるビデオ符号化／復号の概略フローチャートであり、該ビデオ符号化／復号の実施形態は、プロセス（１）～（５）を含み、プロセス（１）～（５）は、上記の符号化側１０、ビデオエンコーダ１００、復号側２０、又はビデオデコーダ２００のうちのいずれか１つ又は複数によって実行されてもよい。

【0110】

プロセス（１）：１フレームの画像を１つ又は複数の互いに重ならない並列符号化ユニットに分割する。該１つ又は複数の並列符号化ユニットは、図４に示す並列符号化ユニット１及び並列符号化ユニット２のように、互いに依存せず、完全に並列に／独立して符号化及び復号することができる。

【0111】

プロセス（２）：各並列符号化ユニットについて、それをさらに１つ又は複数の互いに重ならない独立符号化ユニットに分割してもよく、各独立符号化ユニットは互いに依存しなくてもよいが、いくつかの並列符号化ユニットヘッダ情報を共有してもよい。

【0112】

例えば、独立符号化ユニットの幅はｗ＿ｌｃｕであり、高さはｈ＿ｌｃｕである。並列符号化ユニットが１つの独立符号化ユニットに分割される場合、独立符号化ユニットのサイズは並列符号化ユニットと完全に同じであり、そうでない場合、独立符号化ユニットの幅は高さより大きくなければならない（エッジ領域の場合を除く）。

【0113】

通常、独立符号化ユニットは、固定のｗ＿ｌｃｕ×ｈ＿ｌｃｕであってもよく、ｗ＿ｌｃｕ及びｈ＿ｌｃｕがいずれも２のＮ乗（Ｎ≧０）であり、例えば、独立符号化ユニットのサイズは、１２８×４、６４×４、３２×４、１６×４、８×４、３２×２、１６×２又は８×２などである。

【0114】

１つの可能な例として、独立符号化ユニットは、固定の１２８×４であってもよい。並列符号化ユニットのサイズが２５６×８である場合、並列符号化ユニットを４つの独立符号化ユニットに均等に分割してもよく、並列符号化ユニットのサイズが２８８×１０である場合、並列符号化ユニットは、第１／２行の２つの１２８×４＋１つの３２×４の独立符号化ユニット、及び第３行の２つの１２８×２＋１つの３２×２の独立符号化ユニットに分割される。

【0115】

なお、独立符号化ユニットは、輝度Ｙ、色度Ｃｂ、色度Ｃｒの３つの成分、又は赤（ｒｅｄ、Ｒ）、緑（ｇｒｅｅｎ、Ｇ）、青（ｂｌｕｅ、Ｂ）の３つの成分を含んでもよいし、これらの成分のうちのいずれか１つのみを含んでもよい。独立符号化ユニットが３つの成分を含む場合、これら３つの成分のサイズは完全に同じであってもよいし、異なってもよく、具体的には画像の入力フォーマットに関連する。

【0116】

プロセス（３）：各独立符号化ユニットについて、それをさらに１つ又は複数の互いに重ならない符号化ユニットに分割してもよく、独立符号化ユニット内の各符号化ユニットは互いに依存してもよく、例えば、複数の符号化ユニットは、相互参照して事前符号化及び事前復号を行ってもよい。

【0117】

符号化ユニットと独立符号化ユニットとのサイズが同じである場合（即ち、独立符号化ユニットが１つの符号化ユニットのみに分割される場合）、そのサイズは、プロセス（２）に記載の全てのサイズであってもよい。

【0118】

独立符号化ユニットが互いに重ならない複数の符号化ユニットに分割される場合、その可能な分割例として、水平均等分割（符号化ユニットの高さが独立符号化ユニットと同じであるが、幅が異なり、その１／２、１／４、１／８、１／１６などであってもよい）、垂直均等分割（符号化ユニットの幅が独立符号化ユニットと同じであるが、高さが異なり、その１／２、１／４、１／８、１／１６などであってもよい）、水平及び垂直均等分割（四分木分割）などがあり、水平等分が好ましい。

【0119】

符号化ユニットの幅がｗ＿ｃｕであり、高さがｈ＿ｃｕである場合、その幅は高さより大きくなければならない（エッジ領域の場合を除く）。通常、符号化ユニットは、固定のｗ＿ｃｕ×ｈ＿ｃｕであってもよく、ｗ＿ｃｕ及びｈ＿ｃｕがいずれも２のＮ乗（Ｎは０以上）であり、例えば、１６×４、８×４、１６×２、８×２、８×１、４×１などである。

【0120】

１つの可能な例として、符号化ユニットは固定の１６×４であってもよい。独立符号化ユニットのサイズが６４×４である場合、独立符号化ユニットを４つの符号化ユニットに均等に分割してもよく、独立符号化ユニットのサイズが７２×４である場合、４つの１６ｘ４＋１つの８×４の符号化ユニットに分割される。

【0121】

なお、符号化ユニットは、輝度Ｙ、色度Ｃｂ、色度Ｃｒの３つの成分（又は赤Ｒ、緑Ｇ、青Ｂの３つの成分）を含んでもよいし、これらの成分のうちのいずれか１つの成分のみを含んでもよい。３つの成分を含む場合、これらの成分のサイズは完全に同じであってもよいし、異なってもよく、具体的には画像の入力フォーマットに関連する。

【0122】

なお、プロセス（３）は、ビデオ符号化／復号方法におけるオプション的なステップであり、ビデオエンコーダ／デコーダは、プロセス（２）で得られた独立符号化ユニットの残差係数（又は残差値）に対して符号化／復号を行ってもよい。

【0123】

プロセス（４）：符号化ユニットについて、それをさらに１つ又は複数の互いに重ならない予測グループ（Ｐｒｅｄｉｃｔｉｏｎ Ｇｒｏｕｐ、ＰＧ）に分割してもよく、ＰＧをＧｒｏｕｐと略称してもよく、各ＰＧを選択された予測モードに従って符号化及び復号し、ＰＧの予測値を取得して符号化ユニット全体の予測値を構成し、予測値及び符号化ユニットのオリジナル値に基づいて、符号化ユニットの残差値を取得する。

【0124】

プロセス（５）：符号化ユニットの残差値に基づいて、符号化ユニットをグループ分けし、１つ又は複数の互いに重ならない残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ、ＲＢ）を取得し、各ＲＢの残差係数を選択されたモードに従って符号化及び復号し、残差係数ストリームを形成する。具体的には、残差係数に対して変換を行うものと、変換を行わないものとに分けることができる。

【0125】

ここで、プロセス（５）における残差係数の符号化、復号方法の選定されたモードは、半固定長符号化方式（ｓｅｍｉ－ｆｉｘｅｄ－ｌｅｎｇｔｈ ｃｏｄｉｎｇ ｍｏｄｅ）、指数ゴロム（Ｇｏｌｏｍｂ）符号化方法、Ｇｏｌｏｍｂ－Ｒｉｃｅ符号化方法、トランケーテッドユーナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）符号化方法、ランレングス（ｒｕｎ－ｌｅｎｇｔｈ）符号化方法、オリジナル残差値を直接符号化する方法などのいずれかを含んでもよいが、これらに限定されない。

【0126】

例えば、ビデオエンコーダは、ＲＢ内の係数を直接符号化してもよい。

【0127】

また、例えば、ビデオエンコーダは、残差ブロックに対してＤＣＴ、ＤＳＴ、Ｈａｄａｍａｒｄ変換などの変換を行ってから、変換後の係数を符号化してもよい。

【0128】

１つの可能な例として、ＲＢが比較的小さい場合、ビデオエンコーダは、直接にＲＢ内の各係数に対して統一的な量子化を行ってから、バイナリ符号化を行ってもよい。ＲＢが比較的大きい場合、さらに複数の係数グループ（ｃｏｅｆｆｉｃｉｅｎｔ ｇｒｏｕｐ、ＣＧ）に分割し、各ＣＧに対して統一的な量子化を行ってから、バイナリ符号化を行ってもよい。本発明のいくつかの実施例では、係数グループ（ＣＧ）と量子化グループ（ＱＧ）は同じであってもよい。

【0129】

以下、半固定長符号化方式で残差係数の符号化の部分を例示的に説明する。まず、１つのＲＢブロック内の残差絶対値の最大値を修正最大値（ｍｏｄｉｆｉｅｄ ｍａｘｉｍｕｍ、ｍｍ）として定義する。次に、該ＲＢブロック内の残差係数の符号化ビット数を決定する（同一のＲＢブロック内の残差係数の符号化ビット数は一致する）。例えば、現在のＲＢブロックの重要限界値（ｃｒｉｔｉｃａ ｌｌｉｍｉｔ、ＣＬ）が２であり、現在の残差係数が１である場合、残差係数１を符号化するのに２ビットが必要であり、０１と表される。現在のＲＢブロックのＣＬが７である場合、これは、８－ｂｉｔの残差係数及び１－ｂｉｔの符号ビットを符号化することを表す。ＣＬの決定は、現在のサブブロックの全ての残差が［－２＾（Ｍ－１），２＾（Ｍ－１）］の範囲内にあることを満たす最小のＭ値を見つけることである。－２＾（Ｍ－１）と２＾（Ｍ－１）の２つの境界値が同時に存在する場合、Ｍを１増加させる必要があり、即ち、現在のＲＢブロックの全ての残差を符号化するのにＭ＋１ビットが必要であり、－２＾（Ｍ－１）と２＾（Ｍ－１）の２つの境界値のうちの１つのみが存在する場合、該境界値が－２＾（Ｍ－１）であるか２＾（Ｍ－１）であるかを決定するために１つのＴｒａｉｌｉｎｇビットを符号化する必要があり、全ての残差に－２＾（Ｍ－１）と２＾（Ｍ－１）のいずれも存在しない場合、該Ｔｒａｉｌｉｎｇビットを符号化する必要がない。

【0130】

また、いくつかの特殊な場合について、ビデオエンコーダは、残差値ではなく、直接に画像のオリジナル値を符号化してもよい。

【0131】

以下、図面を参照しながら本発明の実施例の実施形態を詳細に説明する。

【0132】

図５は、本発明による画像復号方法の概略フローチャートであり、該画像復号方法は、図１に示すビデオコーディングシステムに適用されてもよく、該画像復号方法は、復号側２０によって実行されてもよく、具体的に、該復号方法は、復号側２０に含まれるビデオデコーダ２００によって実行されてもよく、図５を参照し、本実施例による復号方法は、以下のステップを含む。

【0133】

Ｓ５１０、ビデオデコーダ２００は、取得されたビットストリームを解析して１つ又は複数の画像フレームを取得する。

【0134】

ここで、上記の１つの画像フレームは１つ又は複数のＣＵを含む。

【0135】

図５に示すように、１つの画像フレームは、３×５＝１５個のＣＵを含んでもよい。なお、１つの画像フレームは、２０個のＣＵなどのより多くのＣＵを含んでもよく、１つの画像フレームは、１つのＣＵ又は２つのＣＵなどのより少ないＣＵを含んでもよい。

【0136】

Ｓ５２０、ビデオデコーダ２００は、１つの画像フレームの複数のＱＰ値を決定する。

【0137】

ここで、１つのＣＵは複数のＱＧを含み、１つのＱＧは１つのＱＰ値に対応する。

【0138】

上記の１つのＣＵは複数の残差係数を含み、該１つのＱＧは前述の複数の残差係数のうちの一部の残差係数を含み、該一部の残差係数は１つのＱＰ値を共有する。

【0139】

なお、符号化プロセスにおいて、ビデオエンコーダが該残差係数を量子化した後、該残差係数はレベル値とも呼ばれる。本分野において、残差係数及びレベル値は、残差係数と総称されてもよく、本実施例では、いずれも残差係数で表され、本発明に対する限定として理解されるべきではない。

【0140】

１つのＣＵ内の全ての残差係数が同じＱＰ値を使用することによって引き起こされる大きい画像歪みと比較して、本実施例において提供されるビデオ画像の復号プロセスでは、１つのＣＵは複数のＱＧに分割されてもよく、各ＱＧ内の１つ又は複数の残差係数は１つのＱＰ値を共有するため、ビデオデコーダは、画像フレームに対応する１つ又は複数のＣＵに対してより細かい粒度のＱＰ決定を行うことができ、一定の圧縮率を保証しながら、画像フレームの復号歪みを低減し、ビデオ画像復号の真実性及び正確性を向上させる。

【0141】

１つのオプション的な実施形態において、１つのＱＧは１つの画素点又は複数の画素点を含んでもよく、各画素点はいずれも対応する残差係数を有する。

【0142】

第１の可能なケースでは、１つのＱＧが１つの画素点を含む場合、ＱＧの量子化プロセスは、画像フレームの適応的ポイントバイポイント量子化とも呼ばれてもよく、該ポイントバイポイント量子化は、ＱＧ分割を行わないＣＵに適用されてもよい。ポイントバイポイント量子化の特徴は、各画素点が異なるＱＰを使用することを許可することであり、ＱＰの粒度を画素レベルまで精細化することに相当する。このように、ポイントバイポイント量子化の方法を用いて画像フレームを逆量子化することによって、画像フレームの圧縮率を変えることなく、画像フレームの主観品質を大幅に向上させることができる。

【0143】

第２の可能なケースでは、１つのＱＧが複数の画素点を含む場合、１つのＱＧに含まれる複数の画素点に対応する残差係数は、１つのＱＰ値を共有してもよい。

【0144】

別のオプション的な実施形態において、ＣＵは、ビデオデコーダ２００が、第１のルールに従って１つの画像フレームに含まれる１つのＣＵを分割し、複数のＱＧを取得することによって決定されてもよい。

【0145】

該第１のルールは分割領域と分割方式とを含み、該分割領域は変換領域又は画素領域であり、該割方式は均一分割と非均一分割とのうちの少なくとも１つを含む。

【0146】

１つのＣＵに含まれる複数の残差係数の位置は座標でマークされ、該マークは横座標と縦座標をと含んでもよい。例えば、残差係数の位置座標は（ｉ，ｊ）であり、ｉは横座標であり、ｊは縦座標である。以下、いくつかの可能な例を提供し、第１のルール及びＣＵ内のＱＧの分割を説明する。

【0147】

第１の可能な例では、分割領域のタイプが変換領域である場合、ビデオデコーダ２００が１つのＣＵを分割して複数のＱＧを取得するプロセスは、複数の残差係数のうち、座標和が第１の座標閾値に達していない残差係数を第１のＱＧに分割し、座標和が第１の座標閾値に達している残差係数を第２のＱＧに分割することを含む。該座標和は、残差係数の横座標と縦座標との和である。

【0148】

図６は、本発明による変換領域分割の概略図であり、１つのＣＵは、１６個の残差係数に対応する領域を含み、左上隅の残差係数の座標は（１，１）であり、右下隅の残差係数の座標は（４、４）である。

【0149】

ＱＧ（２－１）は、変換領域のＱＧ二分割方式を示し、（ｉ，ｊ）位置の残差係数について、「ｉ＋ｊ≦閾値１」を満たす残差係数が第１のＱＧであり、その他が第２のＱＧであり、例えば、該閾値１は５．５である。また、「ｉ＋ｊ＜閾値１」を満たす残差係数が第１のＱＧであり、その他が第２のＱＧであってもよい。

【0150】

第２の可能な例では、分割領域のタイプが変換領域である場合、ビデオデコーダ２００が１つのＣＵを分割して複数のＱＧを取得するプロセスは、複数の残差係数のうち、座標和が第１の座標閾値に達していない残差係数を第１のＱＧに分割し、座標和が第１の座標閾値に達しているが、第２の座標閾値に達していない残差係数を第２のＱＧに分割し、座標和が第２の座標閾値に達している残差係数を第３のＱＧに分割することを含む。該第２の座標閾値は、該第１の座標閾値より大きい。

【0151】

図６に示すように、ＱＧ（３－１）は、変換領域のＱＧ三分割方式を示し、（ｉ，ｊ）位置の残差係数について、「ｉ＋ｊ＜閾値１」を満たす残差係数が第１のＱＧであり、「閾値１≦ｉ＋ｊ＜閾値２」を満たす残差係数が第２のＱＧであり、「ｉ＋ｊ≧閾値２」を満たす残差係数が第３のＱＧであり、閾値２は閾値１より大きく、例えば、閾値１＝５．５、閾値２＝６．５である。

【0152】

また、「ｉ＋ｊ≦閾値１」を満たす残差係数が第１のＱＧであり、「閾値１＜ｉ＋ｊ≦閾値２」を満たす残差係数が第２のＱＧであり、「ｉ＋ｊ＞閾値２」を満たす残差係数が第３のＱＧであってもよく、閾値２が閾値１より大きく、例えば、閾値１＝５、閾値２＝６である。

【0153】

第３の可能な例では、分割領域のタイプが変換領域である場合、ビデオデコーダ２００が１つのＣＵを分割して複数のＱＧを取得するプロセスは、複数の残差係数をソートし、複数の残差係数のうち、第１の比例閾値に達していない残差係数を第１のＱＧに分割し、第１の比例閾値に達している残差係数を第２のＱＧに分割することを含む。複数の残差係数のソート方式は、ジグザグ、逆ジグザグのいずれかである。

【0154】

例えば、図６に示すように、ＱＧ（２－２）は、変換領域のＱＧジグザグ二分割方式を示し、最初の７／１６（４３．７５％）の残差係数が第１のＱＧに分割され、残りの残差係数が第２のＱＧに分割される。

【0155】

また、例えば、図６に示すように、ＱＧ（２－３）は、変換領域のＱＧ逆ジグザグ二分割方式を示し、最初の７／１６（４３．７５％）の残差係数が第１のＱＧに分割され、残りの残差係数が第２のＱＧに分割される。

【0156】

第４の可能な例では、分割領域のタイプが変換領域である場合、ビデオデコーダ２００が１つのＣＵを分割して複数のＱＧを取得するプロセスは、複数の残差係数をソートし、複数の残差係数のうち、第１の比例閾値に達していない残差係数を第１のＱＧに分割し、第１の比例閾値に達しているが、第２の比例閾値に達していない残差係数を第２のＱＧに分割し、第２の比例閾値に達している残差係数を第３のＱＧに分割することを含む。該第２の比例閾値は第１の比例閾値より大きい。

【0157】

例えば、図６に示すように、ＱＧ（３－２）は、変換領域のＱＧジグザグ三分割方式を示し、最初の５／１６（３１．２５％）の残差係数が第１のＱＧに分割され、最後の３／１６（１８．７５％）の残差係数が第２のＱＧに分割され、残りの残差係数が第３のＱＧに分割される。

【0158】

また、例えば、図６に示すように、ＱＧ（３－３）は、変換領域のＱＧ逆ジグザグ三分割方式を示し、最初の５／１６（３１．２５％）の残差係数が第１のＱＧに分割され、最後の３／１６（１８．７５％）の残差係数が第２のＱＧに分割され、残りの残差係数が第３のＱＧに分割される。

【0159】

上記の第１～第４の可能な例は、本実施例がＣＵ内の変換領域の分割を説明するために提供した例に過ぎず、本発明に対する限定として理解されるべきではない。分割領域のタイプが変換領域である場合、座標閾値、比例閾値の選択は、ＣＵの画像コンテンツ又はビデオ符号化及び復号のニーズに応じて決定されてもよく、本発明はこれについて限定しない。また、１つのＣＵ内のＱＰ決定精度を向上させるために、変換領域は、４、５、１０、又はそれ以上などのより多くのＱＧに分割されてもよく、本発明はこれについて限定しない。

【0160】

分割領域のタイプが画素領域である場合、以下、いくつかの可能な例を提供し、第１のルール及びＣＵ内のＱＧの分割を説明する。

【0161】

第５の可能な例では、ビデオデコーダ２００が、複数の残差係数に対して水平又は垂直方向の対称分割を行い、同じ数の残差係数を含む２つのＱＧを取得する。これら２つのＱＧに含まれる残差係数の比は、１：１である。

【0162】

図７は、本発明による画素領域分割の概略図であり、ＱＧ＿画素（ｐｉｘｅｌ、Ｐ）（２－１）は、ＣＵの垂直方向に対称二分割を行う例を示し、ＱＧ＿Ｐ（２－４）は、ＣＵの水平方向に対称二分割を行う例を示す。

【0163】

第６の可能な例では、ビデオデコーダ２００が、複数の残差係数に対して水平又は垂直方向の対称分割を行い、３つのＱＧを取得する。３つのＱＧのうち、２つの隣接しないＱＧに含まれる残差係数の数が一致し、もう１つのＱＧに含まれる残差係数の数が２つの隣接しないＱＧに含まれる残差係数の数の和と一致する。

【0164】

図７に示すように、ＱＧ＿Ｐ（３－１）は、ＣＵの垂直方向に対称三分割を行う例を示し、両側のＱＧに含まれる残差係数の数は同じであり、これら３つのＱＧに含まれる残差係数の数の比は１：２：１である。ＱＧ＿Ｐ（３－４）は、ＣＵの水平方向に対称三分割を行う例を示し、これら３つのＱＧに含まれる残差係数の数の比は１：２：１である。

【0165】

第７の可能な例では、ビデオデコーダ２００が、複数の残差係数に対して水平又は垂直方向の分割を行い、一致しない数の残差係数を含む２つのＱＧを取得する。

【0166】

例えば、図７に示すＱＧ＿Ｐ（２－２）は、ＣＵの垂直方向に二分割を行う例を示し、これら２つのＱＧに含まれる残差係数の比は１：３である。

【0167】

また、例えば、ＱＧ＿Ｐ（２－３）は、ＣＵの垂直方向に二分割を行う例を示し、これら２つのＱＧに含まれる残差係数の比は３：１である。

【0168】

また、例えば、ＱＧ＿Ｐ（２－５）は、ＣＵの水平方向に二分割を行う例を示し、これら２つのＱＧに含まれる残差係数の比は１：３である。

【0169】

また、例えば、ＱＧ＿Ｐ（２－６）は、ＣＵの水平方向に二分割を行う例を示し、これら２つのＱＧに含まれる残差係数の比は３：１である。

【0170】

第８の可能な例では、ビデオデコーダ２００が、複数の残差係数に対して水平又は垂直方向の分割を行い、３つのＱＧを取得する。これら３つのＱＧに含まれる残差係数は対称関係を有しない。

【0171】

例えば、図７に示すＱＧ＿Ｐ（３－２）は、ＣＵの垂直方向に三分割を行う例を示し、これら３つのＱＧに含まれる残差係数の比は１：１：２である。

【0172】

また、例えば、ＱＧ＿Ｐ（３－３）は、ＣＵの垂直方向に三分割を行う例を示し、これら３つのＱＧに含まれる残差係数の比は２：１：１である。

【0173】

また、例えば、ＱＧ＿Ｐ（３－５）は、ＣＵの水平方向に三分割を行う例を示し、これら３つのＱＧに含まれる残差係数の比は１：１：２である。

【0174】

また、例えば、ＱＧ＿Ｐ（３－６）は、ＣＵの水平方向に三分割を行う例を示し、これら３つのＱＧに含まれる残差係数の比は２：１：１である。

【0175】

上記の第５～第８の可能な例は、本実施例がＣＵ内の画素領域の分割を説明するために提供した例に過ぎず、本発明に対する限定として理解されるべきではない。分割領域のタイプが画素領域である場合、ＱＧに含まれる残差係数の比は、ＣＵの画像コンテンツ又はビデオ符号化及び復号のニーズに応じて決定されてもよく、本発明はこれについて限定しない。また、１つのＣＵ内のＱＰ決定精度を向上させるために、画素領域は、４、５、１０、又はそれ以上などのより多くのＱＧに分割されてもよく、本発明はこれについて限定しない。

【0176】

このように、ビデオデコーダ２００は、画素領域と変換領域の残差係数に対して異なるＱＧ分割方式を採用し、ＱＰ量子化プロセスも異なるため、画像復号の歪みを低減する。ＱＰ量子化プロセスについては、本明細書におけるＱＰ値の取得プロセスの説明に記載されているので、ここでは繰り返さない。

【0177】

引き続き図５を参照し、ビデオデコーダ２００が１つの画像フレームの複数のＱＰ値を取得した後、本実施例による画像復号方法は、以下のステップＳ５３０をさらに含む。

【0178】

Ｓ５３０、ビデオデコーダ２００は、複数のＱＰ値に基づいて１つの画像フレームを復号する。

【0179】

例えば、ビデオデコーダ２００は、複数のＱＰ値に基づいて１つの画像フレームを復号した後、復号済み画像を取得する。ビデオデコーダ２００が複数の画像フレームを復号した後、ビットストリームを復号した後のビデオを取得する。

【0180】

このように、本実施例では、ビデオデコーダは、ＱＧを粒度として画像復号のＱＰ量子化を行うことができ、１つのＣＵは複数のＱＧに分割されてもよく、１つのＱＧが１つのＱＰ値に対応するため、１つのＣＵ内の全ての残差係数が同じＱＰ値を使用することによって引き起こされる大きい画像歪みと比較して、本実施例では、ビデオデコーダは、画像フレームに対応する１つ又は複数のＣＵに対してより細かい粒度のＱＰ決定を行うことができ、一定の圧縮率を保証しながら、画像フレームの復号歪みを低減し、ビデオ画像復号の真実性及び正確性を向上させる。

【0181】

本発明において提供される技術に基づいて、ビデオ符号化／復号プロセスにおいて、ビデオエンコーダ／ビデオデコーダは、各ＱＧ（又はＣＵ）のＱＰ値を取得し、ここでは、いくつかの可能な実施形態を提供する。

【0182】

１つの可能な実施形態において、１つのＱＧに対応する１つのＱＰ値は、輝度ＱＰ値と色度ＱＰ値とを含む。輝度ＱＰ値（ＱＰ＿Ｙ）とは、画像フレームの輝度（Ｌｕｍｉｎａｎｃｅ又はＬｕｍａ）を量子化又は逆量子化するために必要なＱＰ値であり、色度ＱＰ値とは、画像フレームの色度（Ｃｈｒｏｍｉｎａｎｃｅ又はＣｈｒｏｍａ）を量子化又は逆量子化するために必要なＱＰ値である。例示的に、上記のＳ５２０について、ビデオデコーダ２００が１つの画像フレームの複数のＱＰ値を決定することは、以下の２つの可能なケースを含んでもよい。

【0183】

第１の可能なケースでは、ビデオデコーダ２００が、１つのＱＧの輝度ＱＰ値と色度ＱＰ値とをそれぞれ取得する。

【0184】

第２の可能なケースでは、まず、ビデオデコーダ２００が、１つのＱＧの輝度ＱＰ値を取得し、次に、ビデオデコーダ２００が、輝度ＱＰ値に基づいて１つのＱＧの色度ＱＰ値を決定する。例えば、色度ＱＰ値は、ＱＰ＿Ｙに画像パラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＰＰＳ）レイヤ及びＳｌｉｃｅレイヤのＱＰオフセット値を加算した値である。

【0185】

例示的に、上記の輝度ＱＰ値及び色度ＱＰ値は、ビデオデコーダ２００がビットストリームを解析することによって取得されてもよい。

【0186】

ＣＵに含まれるＱＧに対してＱＰ決定（又はＱＰ量子化と呼ばれる）を行う際に、ビデオデコーダ２００は、まずＣＵレベルのＱＰ値を取得し、次に該ＣＵ内のＱＧレベルのＱＰ値を取得してもよい。

【0187】

以下、１つの画像フレームの複数のＱＰ値を決定するための２つの可能な実施形態を提供する。

【0188】

第１の可能な実施形態、直接符号化／復号：ビデオデコーダ２００は、ビットストリームを解析して１つの画像フレームのマーク情報を取得し、該マーク情報は１つのＱＧのＱＰ値を指示するために用いられ、及び／又は、マーク情報は１つのＣＵのＱＰ値を指示するために用いられる。

【0189】

例えば、ニアロスレス（ｎｅａｒ－ｌｏｓｓｌｅｓｓ）圧縮において、小さいＱＰ値が出現する確率が大きいＱＰ値より高いため、ビデオデコーダ２００は、トランケーテッドユーナリ符号、トランケーテッドライス符号（ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｃｏｄｅ）、又は指数ゴロム符号などの方式で、ビットストリームに付加されたマーク情報に含まれるＱＰ値を用いて、ＱＧに含まれる残差係数（レベル値）を逆量子化してもよい。

【0190】

このように、ビデオエンコーダ２００が１つのＣＵに対してＱＰ決定を行う際に、該マーク情報には該ＣＵのＱＰ値が付加されてもよい。ＣＵ内のＱＧに対してＱＰ決定を行う必要がない場合、ビデオデコーダ２００は、ビットストリームに付加されたマーク情報に基づいてＣＵのＱＰ値を決定してもよく、ビデオデコーダがＣＵのＱＰ値を取得するために、ビットストリーム内の画像フレームを推論することを回避し、ビデオデコーダの計算リソースの消費を低減し、画像復号の効率を向上させる。

【0191】

また、例えば、ビデオエンコーダ２００が１つのＣＵ内の複数のＱＧに対してＱＰ決定を行う際に、該マーク情報には、該複数のＱＧのうちのいずれか１つのＱＧのＱＰ値が付加されてもよい。

【0192】

また、例えば、該マーク情報には、ＣＵのＱＰ値と、該ＣＵ内のいずれかのＱＧのＱＰ値とが付加されてもよい。

【0193】

このように、ビデオエンコーダ２００が１つのＱＧに対してＱＰ決定を行う際に、該マーク情報には該ＱＧのＱＰ値が付加されてもよく、ビデオデコーダがＣＵのＱＧ値を取得するために、ビットストリーム内の画像フレームを推論することを回避し、ビデオデコーダの計算リソースの消費を低減し、画像復号の効率を向上させる。

【0194】

第２の可能な実施形態、予測符号化／復号：ビデオデコーダ２００が、実際の（符号化された）ＱＰ値と予測ＱＰ（ｐｒｅｄｉｃｔ ＱＰ、ｐｒｅｄＱＰ）値との差（ｄｅｌｔａＱＰ）を符号化し、これは、まず、現在のブロック（ＣＵ又はＱＧ）のｐｒｅｄＱＰを取得するステップと、次に、現在のブロックのｄｅｌｔａＱＰを決定するステップと、最後に、実際の（符号化された）ＱＰ値がＱＰ＝ｐｒｅｄＱＰ＋ｄｅｌｔａＱＰであると決定するステップと、を含む。

【0195】

以下、ビデオデコーダ２００が１つの画像フレーム内の１つのＱＧのＱＰ値を決定することを例として詳細に説明し、図８に示すように、図８は、本発明による予測符号化方式でＱＰを取得する概略フローチャートであり、該ＱＰの取得プロセスは、ビデオデコーダ又はビデオエンコーダによって実現されてもよく、ここでは、ビデオデコーダ２００を例として説明し、該ＱＰの取得プロセスは、以下のステップを含む。

【0196】

Ｓ８１０、ビデオデコーダ２００は、ＱＧの予測ＱＰ値を取得する。

【0197】

１つの可能な実施形態において、ビデオデコーダ２００は、ＱＧが位置するＣＵのＱＰ値を該ＱＧの予測ＱＰ値として決定する。例示的に、該ＣＵのＱＰ値は、ビデオデコーダ２００がビットストリームのマーク情報を解析することによって決定されてもよい。

【0198】

別の可能な実施形態において、ビデオデコーダ２００は、まず、ＱＧが位置するＣＵ内の、該ＱＧに隣接する少なくとも１つの他のＱＧのＱＰ値を取得し、該少なくとも１つの他のＱＧのＱＰ値に基づいて、前述のＱＧの予測ＱＰ値を決定してもよい。例えば、ビデオデコーダ２００は、該ＱＧに隣接する他のＱＧのＱＰ値を該ＱＧの予測ＱＰ値として決定する。

【0199】

Ｓ８２０、ビデオデコーダ２００は、ＱＧのＱＰオフセットを取得する。

【0200】

本明細書において、ＱＰオフセットは、ｄｅｌｔａＱＰで表されてもよい。

【0201】

引き続き図８を参照し、Ｓ８２０について、本実施例は２つの可能な実施形態を提供する。

【0202】

第１のオプション的な実施形態において、図８に示すＳ８２０Ａのように、ビデオデコーダ２００は、ビットストリームに付加されたマーク情報を用いてＱＧのＱＰオフセットを決定してもよい。

【0203】

Ｓ８２０Ａ、ビデオデコーダ２００は、ビットストリームを解析して、ＱＧのＱＰオフセットを指示するマーク情報を取得する。

【0204】

例えば、ビットストリームを取得した後、ビデオデコーダ２００は、該ビットストリームを解析して、ＱＧが位置する画像フレームのマーク情報を取得し、該マーク情報は、該ＱＧのＱＰオフセット（ｄｅｌｔａＱＰ）を指示するために用いられる。

【0205】

第２のオプション的な実施形態において、図８に示すＳ８２０Ｂのように、ビデオデコーダ２００は、導出情報を用いてＱＧのＱＰオフセットを決定してもよい。

【0206】

Ｓ８２０Ｂ、ビデオデコーダ２００は、ＱＧの導出情報に基づいてＱＧのＱＰオフセットを決定する。

【0207】

該導出情報は、該ＱＧの平坦度情報（ｆｌａｔｎｅｓｓ ｉｎｆｏｒｍａｔｉｏｎ）又はテクスチャ情報（ｔｅｘｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）、ビットストリームバッファの残りスペース、又は歪み制約情報（ｄｉｓｔｏｒｔｉｏｎ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）のうちのいずれか１つ又は複数の組み合わせであってもよい。ここで、平坦度情報又はテクスチャ情報は、ＱＧの画像勾配を指示するために用いられ、歪み制約情報は、１つの画像フレームに含まれる複数のＱＧのうちのいずれか１つのＱＧの歪み閾値を指示し、ビットストリームバッファの残りスペースは、ビットストリームバッファ（例えば、ｂｕｆｆｅｒスペース）の利用可能な残りのスペースを指示するために用いられる。

【0208】

第１のケースでは、導出情報は平坦度情報又はテクスチャ情報であり、ビデオデコーダ２００は、該平坦度情報又はテクスチャ情報に基づいてＱＧのＱＰオフセットを導出してもよい。例えば、ビデオデコーダ２００は、現在のブロック（ＱＧ）のテクスチャ複雑度を計算し、テクスチャ複雑度が高い（例えば、テクスチャ複雑度閾値に達している）ＱＧに対して、大きいＱＰ（例えば、２０）を使用し、テクスチャ複雑度が低い（例えば、テクスチャ複雑度閾値に達していない）ＱＧに対して、小さいＱＰ（例えば、５）を使用する。

【0209】

第２のケースでは、導出情報はビットストリームバッファの残りスペースであり、ビデオデコーダ２００は、画像全体の全ての画素の平均ビット数ＢＰＰｔｏｔａｌ、及び残りの符号化されていない画素の平均ビット数ＢＰＰｌｅｆｔを計算し、ＢＰＰｌｅｆｔ＞ＢＰＰｔｏｔａｌの場合、ＱＰを減少させ、そうでない場合、ＱＰを増加させる。ここで、ＢＰＰｔｏｔａｌ及びＢＰＰｌｅｆｔは、以下の式で取得されてもよい。

【数1】

【0210】

第３のケースでは、導出情報が歪み制約情報である場合、Ｄで量子化歪み（逆量子化後の再構成値と量子化前の残差との間の差）を表し、任意の行列Ａについて、

【数2】

と記す。

【0211】

（１）画素領域の残差を量子化する場合、画素領域の最大歪みが△を超えないことの必要十分条件は、

【数3】

であり、これにより画素領域のＱＰ値を導出することができる。

【0212】

（２）変換領域の残差を量子化する場合、Ｒで画素領域の残差を表し、Ｕ、Ｖで水平変換行列及び垂直変換行列で表すと、画素領域の最大歪みと変換領域の最大歪みとの間に下記式が満たされる。従って、画素領域の最大歪みが△を超えないことの十分条件は、変換領域の最大歪みが、

【数4】

を満たすことであり、これにより変換領域のＱＰ値を導出することである。

【数5】

【0213】

引き続き図８を参照し、本実施例において提供されるＱＰの取得プロセスは、以下のステップをさらに含む。

【0214】

Ｓ８３０、ビデオデコーダ２００は、ＱＧの予測ＱＰ値及びＱＰオフセットに基づいてＱＧのＱＰ値を決定する。

【0215】

例えば、ビデオデコーダ２００は、ＱＧの予測ＱＰ値とＱＰオフセットとの和を、該ＱＧのＱＰ値として決定する。

【0216】

なお、Ｓ８２０Ｂで提供される第３のケースにおいて、ビデオデコーダ２００がＱＧのＱＰ値を取得する場合、以下のケースが存在する可能性がある。

【0217】

ビデオデコーダ２００は、ＱＧの参照ＱＰ値に基づいて対応する予測歪みを決定し、予測歪みが歪み閾値以下である場合、該参照ＱＰ値をＱＧのＱＰ値として決定し、予測歪みが歪み閾値より大きい場合、歪み閾値によって決定されたＱＰ値をＱＧのＱＰ値として決定する。

【0218】

例１において、導出情報が歪み制約情報のみを含む場合、該参照ＱＰ値は、Ｓ８１０で決定されたＱＧの予測ＱＰ値である。

【0219】

例２において、導出情報が歪み制約情報とテクスチャ情報（又は平坦度情報）とを含む場合、該参照ＱＰ値は、テクスチャ情報（又は平坦度情報）によって決定されたｄｅｌｔａＱＰとＳ８１０で決定された予測ＱＰ値とを加算して得られたＱＰ値であってもよい。

【0220】

例３において、導出情報が歪み制約情報とビットストリームバッファの残りスペースとを含む場合、該参照ＱＰ値は、ビットストリームバッファの残りスペースによって決定されたｄｅｌｔａＱＰとＳ８１０で決定された予測ＱＰ値とを加算して得られたＱＰ値であってもよい。

【0221】

即ち、上記の導出情報は、ＱＧを決定するためのｄｅｌｔａＱＰであってもよいし、ＱＧを直接決定するための実際の符号化されたＱＰ値であってもよく、導出情報の具体的な使用プロセスは、ビデオ符号化及び復号におけるＱＰ量子化／逆量子化のニーズに応じて決定されてもよく、上記の３つのケース及び３つの例は、本発明に対する限定として理解されるべきではない。

【0222】

前述の例１～例３は、本実施例がビデオデコーダ２００が導出情報を用いてＱＧのＱＰ値を決定することを説明するための例に過ぎず、本発明に対する限定として理解されるべきではなく、他の例において、導出情報は、歪み制約情報、テクスチャ情報（又は平坦度情報）及びビットストリームバッファの残りスペースを同時に含んでもよく、本発明はこれについて限定しない。

【0223】

なお、上記の色度／輝度ＱＰ値、直接符号化／予測符号化、ビットストリーム付加／導出情報解析は、本発明において提供されるいくつかの例に過ぎず、本発明に対する限定として理解されるべきではない。

【0224】

１つのオプション的な実施形態において、１つの画像フレームは少なくとも第１部分のＣＵと第２部分のＣＵとを含み、第１部分のＣＵと第２部分のＣＵとは重なる領域を有さず、第１部分のＣＵと第２部分のＣＵとのＱＰ値の取得方法が異なる。例えば、第１部分のＣＵのＱＰ値の取得方式はビットストリームのマーク情報に付加することであり、第２部分のＣＵのＱＰ値の取得方式はビデオデコーダ２００によって導出することである。

【0225】

具体的に、上記のビデオデコーダ２００が１つの画像フレームの複数のＱＰ値を決定するプロセスは、第１に、ビデオデコーダ２００がビットストリームを解析して１つの画像フレームのマーク情報を取得するプロセスであって、該マーク情報は第１部分のＣＵのＱＰオフセットを含む、プロセスと、ビデオデコーダ２００がマーク情報に基づいて第１部分のＣＵのＱＰ値を決定するプロセスと、第２に、ビデオデコーダ２００が第２部分のＣＵについて、第２部分のＣＵの予測ＱＰ値を取得するプロセスと、ビデオデコーダ２００が第２部分のＣＵの予測ＱＰ値及び導出情報に基づいて、第２部分のＣＵのＱＰ値を決定するプロセスとを含んでもよい。導出情報の関連内容については、前述のＱＧの導出情報に対する説明に記載されているので、その中のＱＧをＣＵに置き換えればよく、ここでは繰り返さない。

【0226】

例えば、ビデオデコーダ２００は、１枚の画像を複数の領域に分割し、異なる領域のＣＵに対して異なるＱＰ処理方式を使用する。画像レベルで異なる領域の基準ＱＰ値を伝送し、ＣＵレベルで異なる領域のマーク情報を伝送する。異なる領域のＣＵレベルＱＰは、ビットストリーム伝送の方式によって取得されてもよく、復号側導出の方式によって取得されてもよい。例えば、ビデオデコーダは、画像を関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｓｅｔ、ＲＯＩ）と非ＲＯＩ領域とに分割し、ＲＯＩ領域のＣＵ（第１部分のＣＵ）について、ビットストリーム伝送の方式（例えば、上記のマーク情報）によってＱＰ値を取得し、非ＲＯＩ領域のＣＵ（第２部分のＣＵ）について、復号側導出（例えば、上記の導出情報）の方式によってＱＰ値を取得する。

【0227】

１つのオプション的な実施形態として、１つの画像フレームの１つのＣＵは、複数のＱＧを含んでもよく、これら複数のＱＧは、部分的にＱＰ量子化されてもよく、全てＱＰ量子化されてもよい。

【0228】

例えば、Ｓ５２０のプロセスにおいて、１つの画像フレームの１つのＣＵに含まれる全てのＱＧが符号化プロセスにおいて量子化された場合、ビデオデコーダ２００は、まず、該１つの画像フレームの１つのＣＵに含まれる全てのＱＧの走査順序を決定してもよい。そして、ビデオデコーダ２００は、全てのＱＧの各ＱＧについて、走査順序に従って各ＱＧのＱＰ値を取得する。ここで、走査順序は、上から下、左から右、ジグザグ又は逆ジグザグの順序のうちのいずれか１つを含む。

【0229】

具体的に、一部のＱＧのみを量子化し、他のＱＧを量子化しない場合、量子化されたＱＧの位置をマークし、これらのＱＧに対応するＱＰを取得する必要がある。例えば、これらのＱＧのそれぞれについて１つのＱＰオフセットを符号化してもよい。

【0230】

また、例えば、Ｓ５２０のプロセスにおいて、１つの画像フレームの１つのＣＵに含まれる一部のＱＧが符号化プロセスにおいて量子化された場合、ビデオデコーダ２００は、ビットストリームを解析して１つの画像フレームの１つのＣＵ内のマークされた１つ又は複数のＱＧを決定してもよく、復号プロセスにおいて該１つ又は複数のマークされたＱＧはＱＰ逆量子化される必要があり、さらに、ビデオデコーダ２００は、マークされた１つ又は複数のＱＧの各ＱＧについて、各ＱＧのＱＰ値を取得する。

【0231】

具体的に、全てのＱＧを量子化する場合、ある走査順序に従って各ＱＧに対応するＱＰを順次取得する必要があり、その走査順序は分割方式に関連し、上から下、左から右、ジグザグ又は逆ジグザグの順序であってもよい。例えば、これらのＱＧのそれぞれについて１つのＱＰオフセットを符号化してもよい。

【0232】

このように、１つの画像フレームの１つのＣＵ内の全てのＱＧについて、ビットストリームに付加されるマーク情報を用いて該全てのＱＧのＱＰ量子化方式（一部量子化又は全部量子化）を区別することができ、ビデオデコーダが無差別にＱＰ量子化を行うことを回避し、ビデオデコーダがＱＰ量子化を行うために必要な計算リソース及び画像歪みを低減し、ビデオの復号効率及び正確性を向上させる。

【0233】

また、１つのＱＧが１つの画像フレーム内の１つの画素点のみを含む場合、１つの画素点は１つのＱＰ値に対応し、１つの画像フレームに含まれる全ての画素点のうちの少なくとも２つの画素点のＱＰ値が異なるとき、該画素点のＱＰ値量子化プロセス（ポイント予測モード）はポイントバイポイント量子化技術を使用してもよく、例えば、該ポイントバイポイント量子化技術は、ビデオデコーダ２００が現在の画素点の周囲の再構成済み画素情報に基づいて現在の画素点のＱＰ値を適応的に調整するプロセスを含む。ここで、再構成済み画素情報は、画素値、平坦度情報又はテクスチャ情報、背景輝度、コントラストなどを含むが、これらに限定されない。

【0234】

なお、適応的ポイントバイポイント量子化技術は、ＱＧに適用されてもよいし、ＱＧ分割を行わないＣＵに適用されてもよい。ポイントバイポイント量子化技術の特徴は、１つの画像フレーム内の各画素点が異なるＱＰ値を使用することを許可することであり、ＱＰ値量子化の粒度を画素レベルまで精細化することに相当する。

【0235】

ポイントバイポイント量子化技術の１つの実施形態は、ＱＰ_ｐｒｅｄで現在のＣＵ又はＱＧのＱＰ値を表し、ＱＰ_ＪＮＤ≧０で人間の目がちょうど知覚できる歪み（Ｊｕｓｔ Ｎｏｔｉｃｅａｂｌｅ Ｄｉｓｔｏｒｔｉｏｎ、ＪＮＤ）に対応するＱＰ値を表し、ｏｆｆｓｅｔ＞０でＱＰオフセット値（ビットストリームで伝送されてもよいし、予め設定されてもよい）を表すと、現在の画素のＱＰ値が以下のように調整される。

【数6】

ここで、閾値２＞閾値１である。又は、

【数7】

である。

【0236】

上記の２つの現在の画素のＱＰ値の決定方式は、本実施例において提供される例に過ぎず、本発明に対する限定として理解されるべきではない。

【0237】

このように、ビデオデコーダがポイントバイポイント量子化技術を使用することによって、画像フレームの圧縮率を変えることなく、画像フレームの主観品質を大幅に向上させ、画像フレームの歪みを低減することができる。

【0238】

以下、画像フレーム内の画素点のＱＰ量子化プロセスを説明するための１つの可能な実施形態を提供する。

【0239】

例示的に、ビデオデコーダ２００は、１つの画素点の予測ＱＰ値を取得し、１つの画素点の予測ＱＰ値及び導出情報に基づいて、１つの画素点のＱＰ値を決定する。

【0240】

１つの可能なケースでは、１つの画素点の予測ＱＰ値は、該画素点が位置するＣＵ又はＱＧのＱＰ値である。別の可能なケースでは、１つの画素点の予測ＱＰ値は、該画素点の周囲の１つ又は複数の再構成済み画素点のＱＰ値に基づいて導出され、導出方法は、平均値（例えば、複数の画素点のＱＰ値の平均値）、中央値（例えば、複数の画素点のＱＰ値の中央値）、又は最頻値（例えば、複数の画素点のＱＰ値のうち、出現頻度が最も高いＱＰ値）のうちの少なくとも１つを計算することを含む。

【0241】

上記の画素点の導出情報は、該画素点の周囲の１つ又は複数の再構成済み画素点の情報であってもよい。ここで、該再構成済み画素点の情報は、画素値、平坦度情報又はテクスチャ情報、背景輝度、コントラストのうちのいずれか１つ又は複数の組み合わせを含む。なお、前述のいくつかの情報は、本実施例において提供される例に過ぎず、本発明に対する限定として理解されるべきではない。

【0242】

また、上記の「周囲」の意味は、ＱＰ値が決定される画素点の近傍画素点であると理解してもよく、ここで、いくつかの可能な例を提供して説明する。図９に示すように、図９は本発明による画素点の分布の概略図であり、図９における（Ａ）は、現在の画素点を中心とする正方形領域の分割の例を示し、ここで２つの可能なケースを提供し、ケース１において、再構成済み画素点は、図９の（Ａ）に示す周囲画素点１のような、現在の画素点を中心とする、辺の長さが３の正方形領域内の画素点であり、ケース２において、再構成済み画素点は、図９の（Ａ）に示す周囲画素点２のような、現在の画素点を中心とする、辺の長さが５の正方形領域内の画素点である。

【0243】

図９における（Ｂ）は、現在の画素点を中心とする菱形領域の分割の例を示し、ここで２つの可能なケースを提供し、ケース１、再構成済み画素点は、図９の（Ｂ）に示す周囲画素点１のような、現在の画素点を中心とする、対角線の長さが３の菱形領域内の画素点であり、ケース２、再構成済み画素点は、図９の（Ｂ）に示す周囲画素点２のような、現在の画素点を中心とする、対角線の長さが５の菱形領域内の画素点である。

【0244】

図９は、本実施例が現在の画素点の周囲の再構成済み画素点を説明するための例に過ぎず、本発明に対する限定として理解されるべきではない。他のいくつかの可能な例では、現在の画素点の周囲の再構成済み画素点は、現在の画素点に上下に隣接するか、又は左右に隣接する１つ又は２つの画素点であってもよい。

【0245】

１つのオプション的な実施形態として、１つの画素点の予測ＱＰ値及び導出情報に基づいて、１つの画素点のＱＰ値を決定するステップは、１つの画素点の周囲の１つ又は複数の再構成済み画素点の情報に基づいて、画素点の指示情報を決定するステップと、指示情報が第１の閾値以下であり、且つ予測ＱＰ値が人間の目がちょうど知覚できる歪みに対応するＱＰ値以上である場合、人間の目がちょうど知覚できる歪みに対応するＱＰ値を画素点のＱＰ値として決定するステップと、を含む。

【0246】

第１の閾値は、予め設定されてもよく、ビデオ符号化及び復号の圧縮率又は歪み率要件に基づいて決定されてもよい。また、第１閾値は、ユーザの入力情報に基づいて決定されてもよい。

【0247】

なお、人間の目がちょうど知覚できる歪み対応するＱＰ値は画像レベル又はＣＵレベル情報である。

【0248】

例えば、人間の目がちょうど知覚できる歪みに対応するＱＰ値はビットストリームから解析して得られ、例えば、該ビットストリームに人間の目がちょうど知覚できる歪みに対応するＱＰ値、例えば２０が付加されている。

【0249】

また、例えば、人間の目がちょうど知覚できる歪みに対応するＱＰ値は周囲の再構成済みＣＵの平坦度情報又はテクスチャ情報、背景輝度、コントラスト情報に基づいて導出される。ＱＰ値を導出するプロセスについては、図９の関連内容に記載されているので、ここでは繰り返さない。

【0250】

また、人間の目がちょうど知覚できる歪みに対応するＱＰ値は、ビデオエンコーダ又はビデオデコーダによって予め設定された値、例えば１５であってもよい。即ち、人間の目がちょうど知覚できる歪みに対応するＱＰ値は、ビットストリームのマーク情報に付加されるだけでなく、ビデオエンコーダ又はビデオデコーダがビデオ符号化／復号中に解析したものであってもよいし、予め設定されたＱＰ値であってもよい。本実施例では、人間の目がちょうど知覚できる歪みに対応するＱＰ値を現在の画素点のＱＰ値決定に導入することによって、各画素点が人間の目がちょうど知覚できる歪みに対応する判断情報を満たし、画像歪みを低減し、画像の主観品質を向上させる。

【0251】

ここで、１つの可能な具体例を提供して画素点のＱＰ値決定プロセスを説明し、表３に示すように、表３は現在の画素点の区間二分割のＱＰ値決定の概略を示す。

【表1】

【0252】

ここで、ｏｆｆｓｅｔ＞０は、ＱＰオフセット値（ビットストリームで伝送されてもよいし、予め設定されてもよい）である。

【0253】

方式１：指示情報が閾値以下である場合、ＱＰ_ｐｒｅｄとＱＰ_ＪＮＤとのうちの小さい方を現在の画素点のＱＰ値として決定し、指示情報が閾値より大きい場合、画素点の予測ＱＰ値（ＱＰ_ｐｒｅｄ）を現在の画素点のＱＰ値として決定する。

【0254】

方式２：指示情報が閾値以下である場合、ＱＰ_ｐｒｅｄとＱＰ_ＪＮＤとのうちの小さい方を現在の画素点のＱＰ値として決定し、指示情報が閾値より大きい場合、ＱＰ_ｐｒｅｄとＱＰオフセット（ｏｆｆｓｅｔ）との和を現在の画素点のＱＰ値として決定する。

【0255】

方式３：指示情報が閾値以下であるとき、ＱＰ_ｐｒｅｄを現在の画素点のＱＰ値として決定し、指示情報が閾値より大きい場合、画素点のＱＰ_ｐｒｅｄとＱＰオフセット（ｏｆｆｓｅｔ）との和を現在の画素点のＱＰ値として決定する。

【0256】

なお、上記の例及び表３は、本実施例において提供される現在の画素点のＱＰ値の可能な取得方式に過ぎず、本発明に対する限定として理解されるべきではない。

【0257】

このように、人間の目がちょうど知覚できる歪みに対応するＱＰ値を現在の画素点のＱＰ値決定プロセスに導入することによって、各画素点が人間の目がちょうど知覚できる歪みに対応する判断情報を満たし、画像歪みを低減し、画像の主観品質を向上させる。

【0258】

ビデオデコーダ２００が１つの画像フレームのＱＰ値を取得した後、上記のＳ５３０について、本発明は１つの可能な実施形態を提供し、図１０は、本発明による画像フレーム復号の概略フローチャートであり、Ｓ５３０は、以下のステップＳ１０１０～Ｓ１０３０を含んでもよい。

【0259】

Ｓ１０１０、複数のＱＰ値の各ＱＰ値について、ＱＰ値に対応する量子化ステップ（Ｑｓｔｅｐ）を取得する。

【0260】

ビデオデコーダは、ＱＰ値に基づいて、数式導出とテーブルルックアップとのうちの少なくとも１つによってＱｓｔｅｐを取得してもよく、以下、４つの可能な実現方法を提供する。

【0261】

方法１：Ｑｓｔｅｐ＝２×ＱＰ＋１。

【0262】

方法２：ｏｃｔａｖｅでＱＰのビットオーダー（ｂｉｔ ｏｒｄｅｒ）を表し、即ちＱＰの１ｏｃｔａｖｅが増加するたびに、Ｑｓｔｅｐが２倍になり、通常、ｏｃｔａｖｅは６又は８に選ばれる。ｏｆｆｓｅｔで１つの整数オフセット値を表すと、

【数8】

となる。

【0263】

方法３：ｏｃｔａｖｅでＱＰのビットオーダーを表し、即ちＱＰの１ｏｃｔａｖｅが増加するたびに、Ｑｓｔｅｐが２倍になり、通常、ｏｃｔａｖｅは６又は８に選ばれる。ｏｆｆｓｅｔで１つの整数オフセット値を表し、

【数9】

でそれぞれ切り上げ及び切り捨てを表す。

【数10】

とすると、量子化ステップは、

【数11】

となる。

【0264】

方法４：以下、量子化と逆量子化の例を提供する。

【数12】

ここで、ｃは量子化される残差係数（変換領域又は画素領域）であり、ｌは量子化後のレベル値であり、ｃ’は逆量子化後の再構成値であり、Ｑｓｔｅｐは量子化ステップであり、ｆ∈［０，１）は丸めを制御するパラメータであり、［０，１－ｆ）は量子化デッドゾーン（レベル値が０である区間）である。

【0265】

ｆ∈［０，１）で丸めを制御するパラメータを表し、｛ｃ_ｉ｝は現在のＱＧ又はＣＵ内の全ての量子化される残差係数であり、Ｔは方法３の式で取得でき、

【数13】

とする。

【0266】

Ｔ＜Ｍの場合、Ｑｓｔｅｐは下記の式で与えられ、そうでない場合、量子化係数と再構成値はいずれもゼロである。

【数14】

【0267】

該方法４の１つの可能な実施形態は、ａ＝ｆ＊２^Ｔ－Ｍ又はａ＝２^Ｔ－Ｍとすることであり、Ｍはビットストリームで伝送されてもよく、ビット深度として直接取得されてもよい。

【0268】

画素領域の残差を量子化する場合、方法３では、量子化係数を「Ｍ－Ｔ」ビットで表現できるようにするためにｃｌｉｐ操作を必要とするが、方法４の量子化係数はｃｌｉｐなしで自然に「Ｍ－Ｔ」ビットで表現できる。

【0269】

また、ＪＰＥＧ－ＸＳにおける均一量子化の方式は、方法４においてｆ＝０．５とし、Ｍをビットストリームで伝送する。

【0270】

なお、ＱＰ値が大きいほど、Ｑｓｔｅｐが大きくなり、量子化が粗くなり、量子化歪みが大きくなり、係数符号化のビットレートが小さくなる。パラメータｆは量子化デッドゾーンの長さに関連し、ｆが小さいほど、量子化デッドゾーンが長くなり、量子化後のレベル値がゼロ点に近づく。ｆ＝０．５の場合、上記の方法４で提供される量子化及び逆量子化の式は、四捨五入に相当し、量子化歪みは最小である。ｆ＜０．５の場合、ｆが小さいほど、量子化歪みが大きくなり、係数符号化のビットレートが小さくなる。Ｈ．２６５では、Ｉ画像ｆ＝１／３とし、Ｂ／Ｐ画像ｆ＝１／６とする。

【0271】

引き続き図８を参照し、上記のＳ５３０は、以下のステップをさらに含んでもよい。

【0272】

Ｓ１０２０、ＱＰ値に対応するＱＧに含まれるレベル値を取得する。

【0273】

Ｓ１０３０、選択された量子化器の組み合わせに基づいて、ＱＧのレベル値を逆量子化する。

【0274】

該量子化器の組み合わせは、１つ又は複数の量子化器を含み、該量子化器は、均一量子化器又は非均一量子化器である。

【0275】

例えば、均一量子化器とは、均一スカラ量子化器（ｕｎｉｆｏｒｍ ｓｃａｌａｒ ｑｕａｎｔｉｚｅｒ）を指し、その量子化又は逆量子化の式は、上記のＳ１０１０の方法４において提供される量子化及び逆量子化の式を参照することができ、パラメータｆ∈［０，１）は、以下のように設定される。

【0276】

方法１：ｆを０．５又は他の固定値にする。

【0277】

方法２：ｆは、ＱＰ値、予測モード及び変換を行うか否かに基づいて適応的に決定することができる。

【0278】

また、例えば、非均一量子化器とは、非均一スカラ量子化器（ｎｏｎ－ｕｎｉｆｏｒｍ ｓｃａｌａｒ ｑｕａｎｔｉｚｅｒ）を指し、量子化レベル値と、量子化区間と、逆量子化の再構成値との間の対応関係は、テーブルルックアップにより取得されてもよい。１つの可能な実施形態を以下の表1に示す。

【表2】

【0279】

ここで、０≦ｘ_０＜ｘ_１＜ｘ_２＜ｘ_３＜…であり、再構成値と量子化区間は不均一であり、再構成値は、位置する量子化区間の確率重心（ｐｒｏｂａｂｉｌｉｔｙ ｃｅｎｔｒｏｉｄ）である。

【0280】

量子化器の組み合わせは、１つの非均一スカラ量子化器を使用してもよいし、複数の非均一スカラ量子化器を使用してもよい。

【0281】

例えば、量子化器の組み合わせは、ビットストリームに付加されたマーク情報によって決定される。

【0282】

また、例えば、量子化器の組み合わせは、ＱＧ内の残差係数の分布によって決定される。例えば、ビデオデコーダは、どの量子化器を使用するかを適応的に選択し、選択の根拠はモード情報又は変換情報であってもよく、モード情報又は変換情報はＱＧ内の残差係数の分布に関連する。

【0283】

上記のＳ１０３０について、ＱＧのレベル値を逆量子化することは、以下のプロセスを含んでもよい。

【0284】

まず、ＱＧの分割領域タイプを決定する。

【0285】

次に、ＱＧの分割領域タイプが変換領域である場合、復号側の行列テンプレートライブラリから、ＱＧのパラメータ情報にマッチングする量子化行列を選択する。

【0286】

行列テンプレートライブラリは、複数のタイプの量子化行列テンプレートを含み、該パラメータ情報は、ＱＧのサイズ、ＱＧが位置するＣＵのサイズ、輝色度チャネル情報及び平坦度情報のうちのいずれか１つ又は複数の組み合わせを含む。

【0287】

最後に、ＱＧの量子化行列を用いてＱＧにおけるレベル値を逆量子化してＱＧの残差係数を取得する。

【0288】

画素領域内の異なる位置の残差係数は同様に重要であるため、量子化行列を使用しない。変換領域の係数は低周波数係数と高周波数係数に分けられ、量子化行列によって、高低周波数係数が異なる量子化ステップを使用するようになり、一定の圧縮率を保証しながら画像の主観品質を向上させることができる。

【0289】

量子化行列の要素分布には、特定のテンプレートがあり、本発明では、異なるサイズの符号化ブロックが異なる量子化行列テンプレートを使用することが可能であり、大きいサイズの量子化行列は、１つ又は複数の小さいサイズの量子化行列をアップサンプリングすることによって取得されてもよい。行列テンプレートライブラリに含まれる量子化行列テンプレートは、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、整数変換又は離散ウェーブレット変換（ＤＷＴ）のうちのいずれか１つ又は複数の変換方式によって取得されてもよい。図１１に示すように、図１１は本発明による量子化行列テンプレートの概略図であり、量子化行列テンプレートは具体的に以下を含む。

【0290】

（１）水平及び垂直方向がいずれもＤＣＴ／ＤＳＴ変換である場合（図１１における（１）を参照）、同じ逆対角線（ａｎｔｉ－ｄｉａｇｏｎａｌ）上の係数は同じ周波数を有し、同じ量子化ステップを採用し、異なる逆対角線上の係数は異なる量子化ステップを採用してもよい。

【0291】

（２）水平及び垂直方向がいずれもウェーブレット変換である場合（図１１における（２）を参照）、四分木テンプレートを採用し、４つのサブブロックはそれぞれ低／中／高周波に対応し、同じ周波数帯域のサブブロックは同じ量子化ステップを採用し、異なる周波数帯域のサブブロックは異なる量子化ステップを採用してもよい。

【0292】

（３）垂直方向がＤＣＴ／ＤＳＴ変換、水平方向がウェーブレット変換である場合（図１１における（３）を参照）、まず垂直方向に均等に二分割し、左側のサブブロックはウェーブレット変換の低周波であり、右側のサブブロックはウェーブレット変換の高周波である。各サブブロック内部の上側はＤＣＴ／ＤＳＴ変換の低周波であり、下側はＤＣＴ／ＤＳＴ変換の高周波である。行列要素Ａ’／Ｂ’／Ｃ’／Ｄ’を、それぞれＡ／Ｂ／Ｃ／Ｄに同じオフセット値を加えたものにしてもよい。

【0293】

（４）水平方向がＤＣＴ／ＤＳＴ変換、垂直方向がウェーブレット変換である場合（図１１における（４）を参照）、まず水平方向に均等に二分割し、上側のサブブロックはウェーブレット変換の低周波であり、下側のサブブロックはウェーブレット変換の高周波である。各サブブロック内部の左側はＤＣＴ／ＤＳＴ変換の低周波であり、右側はＤＣＴ／ＤＳＴ変換の高周波である。行列要素Ａ’／Ｂ’／Ｃ’／Ｄ’を、それぞれＡ／Ｂ／Ｃ／Ｄに同じオフセット値を加えたものにしてもよい。

【0294】

オプションで、行列テンプレートライブラリに含まれる複数のタイプの量子化行列テンプレートは、平坦ブロックテンプレート（ｆｌａｔ ｂｌｏｃｋ ｔｅｍｐｌａｔｅｓ）とテクスチャブロックテンプレート（ｔｅｘｔｕｒｅ ｂｌｏｃｋ ｔｅｍｐｌａｔｅｓ）とを含んでもよい。平坦ブロックテンプレートにおける、周波数が周波数閾値より高い残差係数のＱｓｔｅｐは、平坦ブロックテンプレートにおける、周波数が周波数閾値に達していない残差係数のＱｓｔｅｐ以上である。テクスチャブロックテンプレートにおける、周波数が周波数閾値より高い残差係数のＱｓｔｅｐは、テクスチャブロックテンプレートにおける、周波数が周波数閾値に達していない残差係数のＱｓｔｅｐ以下である。

【0295】

例えば、ビデオデコーダは、平坦度情報に基づいて現在のブロックを平坦ブロック又はテクスチャブロックとしてマークし、テクスチャマスキング効果（ｔｅｘｔｕｒｅ ｍａｓｋｉｎｇ ｅｆｆｅｃｔ）に従って量子化行列テンプレートを設計する。（１）、現在のブロック（ＱＧ）が平坦ブロックである場合、量子化行列における高周波数係数のＱｓｔｅｐは低周波数係数のＱｓｔｅｐ以上であり、人間の目は平坦ブロックの低周波数歪みに対して高周波数歪みより敏感であるため、高周波数係数はより大きな損失を許容する。（２）現在のブロック（ＱＧ）がテクスチャブロックである場合、量子化行列における高周波数係数のＱｓｔｅｐは低周波数係数のＱｓｔｅｐ以下であり、人間の目はテクスチャブロックの高周波数歪みに対して低周波数歪みより敏感であるため、テクスチャブロックの高周波数係数を優先的に保護する。

【0296】

即ち、画像復号方法では、ビデオデコーダは、まずＱＧのＱＰとＱｓｔｅｐとを取得し、ビットストリームからレベル値を解析し、次に量子化器を適応的に選択し、レベル値を逆量子化し、再構成値を得ることによって、画像フレームの復号を実現する。

【0297】

結論として、１つのＣＵ内の全ての残差係数が同じＱＰ値を使用することによって引き起こされる大きい画像歪みと比較して、本実施例において提供されるビデオ画像の復号プロセスでは、１つのＣＵは複数のＱＧに分割されてもよく、各ＱＧ内の１つ又は複数の残差係数は１つのＱＰ値を共有するため、ビデオデコーダは、画像フレームに対応する１つ又は複数のＣＵに対してより細かい粒度のＱＰ決定を行うことができ、一定の圧縮率を保証しながら、画像フレームの復号歪みを低減し、ビデオ画像復号の真実性及び正確性を向上させる。

【0298】

それに対応して、画像符号化方法において、ビデオエンコーダは、まずＱＧのＱＰ、Ｑｓｔｅｐ及び残差係数を取得し、量子化器を適応的に選択し、残差係数を量子化し、最後に量子化係数を調整し、最終的なレベル値を得ることによって、画像フレームの符号化を実現する。

【0299】

図２に示すビデオエンコーダ１００に基づいて、本発明は、画像符号化方法をさらに提供し、図１２に示すように、図１２は、本発明による画像符号化方法の概略フローチャートであり、該画像符号化方法は、ビデオエンコーダ１００によって実行されてもよいし、ビデオエンコーダ１００の機能をサポートする符号化側（例えば、図１に示す符号化側１０）によって実行されてもよく、ここでは、ビデオエンコーダ１００が符号化方法を実現することを例として説明し、該画像符号化方法は、以下のステップを含む。

【0300】

Ｓ１２１０、ビデオエンコーダ１００は、１つの画像フレームを１つ又は複数のＣＵに分割する。

【0301】

Ｓ１２２０、ビデオエンコーダ１００は、１つの画像フレームの複数のＱＰ値を決定する。

【0302】

一例では、１つのＣＵは複数のＱＧを含み、１つのＱＧは１つのＱＰ値に対応する。

【0303】

別の例では、１つのＣＵは複数の画素点を含み、１つの画素点は１つのＱＰ値に対応し、複数の画素点のうちの少なくとも２つの画素点のＱＰ値が異なる。

【0304】

Ｓ１２３０、ビデオエンコーダ１００は、複数のＱＰ値に基づいて１つの画像フレームを符号化する。

【0305】

符号化方法におけるＱＰ値の量子化については、上記の図４～図１１の復号方法における対応するプロセスに記載されているので、ここでは繰り返さない。

【0306】

このように、１つのＣＵ内の全ての残差係数が同じＱＰ値を使用することによって引き起こされる大きい画像歪みと比較して、本実施例において提供されるビデオ画像の符号化プロセスでは、１つのＣＵは複数のＱＧ（又は画素点）に分割されてもよく、各ＱＧ内の１つ又は複数の残差係数は１つのＱＰ値を共有するため、ビデオエンコーダは、画像フレームに対応する１つ又は複数のＣＵに対してより細かい粒度のＱＰ決定を行うことができ、一定の圧縮率を保証しながら、画像フレームの符号化歪みを低減し、ビデオ画像符号化の真実性及び正確性を向上させる。

【0307】

なお、上記の実施例における機能を実現するために、ビデオエンコーダ／ビデオデコーダは、各機能を実行するための対応するハードウェア構造及び／又はソフトウェアモジュールを含む。当業者であれば容易に理解できるように、本発明に開示された実施例において説明された各例のユニット及び方法のステップを参照して、本発明は、ハードウェア、又はハードウェアとコンピュータソフトウェアとの組み合わせの形で実現され得る。ある機能がハードウェアで実行されるか、コンピュータソフトウェアがハードウェアを駆動する方式で実行されるかは、技術案の特定の適用シナリオ及び設計制約条件に依存する。

【0308】

図１３は、本発明による復号装置の概略構造図であり、該復号装置１３００は、ビットストリーム解析ユニット１３１０と、ＱＰ決定ユニット１３２０と、画像復号ユニット１３３０とを含む。復号装置１３００は、上記の復号方法の実施例におけるビデオデコーダ又は復号側の機能を実施するために用いられてもよく、従って、上記の復号方法の実施例の有益な効果を実現することもできる。本発明の実施例において、該復号装置１３００は、図１に示す復号側２０又はビデオデコーダ２００であってもよく、図３に示すビデオデコーダ２００であってもよく、復号側２０又はビデオデコーダ２００に適用されるモジュールであってもよい。

【0309】

ビットストリーム解析ユニット１３１０、ＱＰ決定ユニット１３２０、及び画像復号ユニット１３３０は、図４～図１１におけるいずれかの実施例において提供される復号方法を実施するために用いられる。上記のビットストリーム解析ユニット１３１０、ＱＰ決定ユニット１３２０、及び画像復号ユニット１３３０に関するより詳細な説明は、図４～図１１に示す方法の実施例における関連する説明を直接参照することによって直接得ることができるため、ここでは繰り返さない。

【0310】

図１４は、本発明による符号化装置の概略構造図であり、該符号化装置１４００は、画像分割ユニット１４１０と、ＱＰ決定ユニット１４２０と、画像符号化ユニット１４３０とを含む。符号化装置１４００は、上記の復号方法の実施例におけるビデオエンコーダ又は符号化側の機能を実施するために用いられてもよく、従って、上記の符号化方法の実施例の有益な効果を実現することもできる。本発明の実施例において、該符号化装置１４００は、図１に示す符号化側１０又はビデオエンコーダ１００であってもよく、図２に示すビデオエンコーダ１００であってもよく、符号化側１０又はビデオエンコーダ１００に適用されるモジュールであってもよい。

【0311】

画像分割ユニット１４１０、ＱＰ決定ユニット１４２０、及び画像符号化ユニット１４３０は、図１２において提供される符号化方法を実施するために用いられる。上記の画像分割ユニット１４１０、ＱＰ決定ユニット１４２０、及び画像符号化ユニット１４３０に関するより詳細な説明は、図４～図１２に示す方法の実施例における関連する説明を直接参照することによって直接得ることができるため、ここでは繰り返さない。

【0312】

本発明は電子デバイスをさらに提供し、図１５に示すように、図１５は本発明による電子デバイスの概略構造図であり、電子デバイス１５００はプロセッサ１５１０とインタフェース回路１５２０とを含む。プロセッサ１５１０とインタフェース回路１５２０とは互いに結合される。なお、インタフェース回路１５２０は、トランシーバ又は入出力インタフェースであってもよい。オプションで、電子デバイス１５００は、プロセッサ１５１０によって実行される命令を記憶するため、又はプロセッサ１５１０が命令を実行するために必要な入力データを記憶するため、又はプロセッサ１５１０が命令を実行した後に生成されるデータを記憶するためのメモリ１５３０をさらに含んでもよい。

【0313】

該電子デバイス１５００は、プロセッサ１５１０と通信インタフェース１５２０とを含む。プロセッサ１５１０と通信インタフェース１５２０とは互いに結合される。なお、通信インタフェース１５２０は、トランシーバ又は入出力インタフェースであってもよい。オプションで、電子デバイス１５００は、プロセッサ１５１０によって実行される命令を記憶するため、又はプロセッサ１５１０が命令を実行するために必要な入力データを記憶するため、又はプロセッサ１５１０が命令を実行した後に生成されるデータを記憶するためのメモリ１５３０をさらに含んでもよい。

【0314】

電子デバイス１５００が図４～図１１に示す方法を実施するために用いられる場合、プロセッサ１５１０及びインタフェース回路１５２０は、上記のビットストリーム解析ユニット１３１０、ＱＰ決定ユニット１３２０、及び画像復号ユニット１３５０の機能を実行するために用いられる。

【0315】

電子デバイス１５００が図１２に示す方法を実施するために用いられる場合、プロセッサ１５１０及びインタフェース回路１５２０は、上記の画像分割ユニット１４１０、ＱＰ決定ユニット１４２０、及び画像符号化ユニット１４３０の機能を実行するために用いられる。

【0316】

本発明の実施例では、上記の通信インタフェース１５２０、プロセッサ１５１０、及びメモリ１５３０の間の具体的な接続媒体を限定しない。本発明の実施例では、図１５において、通信インタフェース１５２０、プロセッサ１５１０、及びメモリ１５３０は、バス１５４０を介して接続され、バスは、図１５において太線で示され、他の構成要素間の接続方式は、例示的なものに過ぎず、これについて特に限定しない。前記バスは、アドレスバス、データバス、制御バスなどに分けることができる。表現を容易にするために、図１５には、１本の太線のみが示されているが、バスが１本のみ、又はバスの種類が１種類のみであることを意味するものではない。

【0317】

メモリ１５３０は、本発明の実施例において提供される復号方法又は符号化方法に対応するプログラム命令／モジュールのようなソフトウェアプログラム及びモジュールを記憶するために用いられてもよく、プロセッサ１５１０は、メモリ１５３０に記憶されたソフトウェアプログラム及びモジュールを実行することによって、様々な機能アプリケーション及びデータ処理を実行する。該通信インタフェース１５２０は、他のデバイスとのシグナリングやデータの通信に用いられてもよい。本発明では、該電子デバイス１５００は、複数の通信インタフェース１５２０を有してもよい。

【0318】

なお、本発明の実施例におけるプロセッサは、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、ニューラル処理ユニット（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＮＰＵ）、又はグラフィック処理ユニット（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、又は他のプログラマブル論理デバイス、トランジスタ論理デバイス、ハードウェアコンポーネント、又はそれらの任意の組み合わせであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、任意の従来のプロセッサであってもよい。

【0319】

本発明の実施例における方法のステップは、ハードウェアによって実現されてもよく、プロセッサがソフトウェア命令を実行することによって実現されてもよい。ソフトウェア命令は、対応するソフトウェアモジュールから構成されてもよく、ソフトウェアモジュールは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、プログラマブル読み取り専用メモリ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルハードディスク、ＣＤ－ＲＯＭ、又は当技術分野で周知の任意の他の形態の記憶媒体に記憶されてもよい。例示的な記憶媒体は、プロセッサが該記憶媒体から情報を読み取り、該記憶媒体に情報を書き込むことができるように、プロセッサに結合される。もちろん、記憶媒体は、プロセッサの構成要素であってもよい。プロセッサ及び記憶媒体は、ＡＳＩＣ内に配置されてもよい。また、該ＡＳＩＣは、ネットワークデバイス又は端末デバイス内に配置されてもよい。もちろん、プロセッサ及び記憶媒体は、独立したコンポーネントとしてネットワークデバイス又は端末デバイス内に存在してもよい。

【0320】

上記の実施例において、その全部又は一部は、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせによって実現してもよい。ソフトウェアを用いて実現する場合、その全部又は一部はコンピュータプログラム製品の形態で実現されてもよい。前記コンピュータプログラム製品は、１つ又は複数のコンピュータプログラム又は命令を含む。前記コンピュータプログラム又は命令がコンピュータ上でロードされ、実行されると、本発明の実施例に記載のプロセス又は機能の全部又は一部が実行される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、ネットワークデバイス、ユーザ機器、又は他のプログラマブル装置であってもよい。前記コンピュータプログラム又は命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は１つのコンピュータ可読記憶媒体から他のコンピュータ可読記憶媒体に伝送されてもよく、例えば、前記コンピュータプログラム又は命令は、１つのウェブサイト、コンピュータ、サーバ又はデータセンターから有線又は無線で他のウェブサイト、コンピュータ、サーバ又はデータセンターに伝送されてもよい。前記コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体、又は１つもしくは複数の利用可能な媒体を集積したサーバやデータセンターなどのデータ記憶デバイスであってもよい。前記利用可能な媒体は、フロッピーディスク、ハードディスク、又は磁気テープなどの磁気媒体であってもよく、又はデジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ）などの光学媒体であってもよく、又はソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ、ＳＳＤ）などの半導体媒体であってもよい。

【0321】

本発明の各実施例において、特別な説明及び論理的な矛盾がなければ、異なる実施例間の用語及び／又は説明は一貫しており、互いに引用することができ、異なる実施例における技術的特徴は、その内部の論理関係に従って組み合わせて新しい実施例を形成することができる。本発明において、「少なくとも１つ」は１つ又は複数を指し、「複数」は２つ以上を指す。「及び／又は」は、関連対象の関連関係を説明し、３種類の関係が存在してもよいことを表し、例えば、Ａ及び／又はＢは、Ａが単独で存在する場合、ＡとＢが同時に存在する場合、Ｂが単独で存在する場合を表すことができ、Ａ、Ｂは単数又は複数であってもよい。本発明の文字による説明において、文字「／」は、一般的に、前後の関連対象が「又は」の関係であることを表し、本発明の式において、文字「／」は、前後の関連対象が「除算」の関係であることを表す。

【0322】

なお、本発明の実施例に関わる様々な数字の番号は、説明の便宜のために付けられたものに過ぎず、本発明の実施例の範囲を限定するためのものではない。上記の各プロセスの番号の大きさは、実行順序を意味するものではなく、各プロセスの実行順序は、その機能及び内部ロジックによって決定されるべきである。

【符号の説明】

【0323】

1300 復号装置
1310 ビットストリーム解析ユニット
1320 ＱＰ決定ユニット
1330 画像復号ユニット
1400 符号化装置
1410 画像分割ユニット
1420 ＱＰ決定ユニット
1430 画像符号化ユニット
1500 電子デバイス
1510 プロセッサ
1520 通信インタフェース
1530 メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2024-07-10

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

１つのオプション的な実施形態において、前記１つの画像フレームの複数のＱＰ値を決定する前に、前記方法は、第１のルールに従って前記１つの画像フレームに含まれる１つのＣＵを分割し、前記複数のＱＧを取得するステップをさらに含み、前記第１のルールは分割領域と分割方式とを含み、前記分割領域は画素領域であり、前記分割方式は均一分割を含む。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００４０

【補正方法】変更

【補正の内容】

【0040】

第２の態様によれば、本発明は画像復号方法を提供し、前記方法は、ビデオコーディングシステムに適用されてもよく、又は、該方法は、該方法を実現するためにビデオコーディングをサポートすることができる復号側に適用されてもよく、前記方法は復号側によって実行され、前記方法は、ビットストリームを解析して１つ又は複数の画像フレームを取得するステップであって、１つの画像フレームは１つ又は複数のＣＵを含む、ステップと、前記１つの画像フレームの複数のＱＰ値を決定するステップであって、１つのＣＵは複数の画素点を含み、１つの画素点は１つのＱＰ値に対応し、前記複数の画素点のうちの少なくとも２つの画素点のＱＰ値が異なり、１つの画素点のＱＰ値は、現在の画素点の周囲の再構成済み画素情報に基づいて適応的に調整することによって決定される、ステップと、前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップと、を含む。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４２

【補正方法】変更

【補正の内容】

【0042】

別のオプション的な実施形態において、前記１つの画素点の予測ＱＰ値は、前記１つの画素点が位置するＣＵ又はＱＧのＱＰ値であり、又は前記１つの画素点の周囲の１つ又は複数の再構成済み画素点のＱＰ値に基づいて導出され、導出方法は、平均値、中央値、又は最頻値のうちの少なくとも１つを計算することを含む。１つの実施形態において、ＱＧはＣＢ（ｃｏｄｉｎｇ ｂｌｏｃｋ、コーディングブロック）のサブブロックである。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００４３

【補正方法】変更

【補正の内容】

【0043】

別のオプション的な実施形態において、前記再構成済み画素点は、前記１つの画素点を中心とする正方形領域内の画素点、又は菱形領域内の画素点である。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】変更

【補正の内容】

【0045】

別のオプション的な実施形態において、前記１つの画素点の予測ＱＰ値及び導出情報に基づいて、前記１つの画素点のＱＰ値を決定するステップは、前記１つの画素点の周囲の１つ又は複数の再構成済み画素点の情報に基づいて、前記画素点の指示情報を決定するステップと、前記指示情報と、人間の目がちょうど知覚できる歪みに対応するＱＰ値とに基づいて予測ＱＰ値を調整し、調整されたＱＰ値を前記画素点のＱＰ値として決定するステップと、を含む。ここで、人間の目がちょうど知覚できる歪みに対応するＱＰ値は予め設定された値（例えば、符号化側又は復号側において予め設定された画像レベル又はＣＵレベル情報）であり、又は、前記人間の目がちょうど知覚できる歪みに対応するＱＰ値はビットストリームから解析して得られ（画像レベル又はＣＵレベル伝送）、又は、人間の目がちょうど知覚できる歪みに対応するＱＰ値は周囲の再構成済みＣＵの平坦度情報又はテクスチャ情報、背景輝度、コントラスト情報に基づいて導出される。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００４７

【補正方法】変更

【補正の内容】

【0047】

第４の態様によれば、本発明は画像符号化方法を提供し、前記方法は、ビデオコーディングシステムに適用されてもよく、又は、該方法は、該方法を実現するためにビデオコーディングをサポートすることができる符号化側に適用されてもよく、前記方法は符号化側によって実行され、前記方法は、１つの画像フレームを１つ又は複数のＣＵに分割するステップと、前記１つの画像フレームの複数のＱＰ値を決定するステップであって、１つのＣＵは複数の画素点を含み、１つの画素点は１つのＱＰ値に対応し、前記複数の画素点のうちの少なくとも２つの画素点のＱＰ値が異なり、１つの画素点のＱＰ値は、現在の画素点の周囲の再構成済み画素情報に基づいて適応的に調整することによって決定される、ステップと、前記複数のＱＰ値に基づいて前記１つの画像フレームを符号化するステップと、を含む。

【手続補正7】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

復号側によって実行される画像復号方法であって、
ビットストリームを解析して１つ又は複数の画像フレームを取得するステップであって、１つの画像フレームは１つ又は複数の符号化ユニットＣＵを含む、ステップと、
前記１つの画像フレームの複数の量子化パラメータＱＰ値を決定するステップであって、１つのＣＵは複数の量子化グループＱＧを含み、１つのＱＧは１つのＱＰ値に対応する、ステップと、
前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップと、を含む、
ことを特徴とする画像復号方法。

【請求項2】

前記１つのＣＵは複数の残差係数を含み、前記１つのＱＧは前記複数の残差係数のうちの一部の残差係数を含み、前記一部の残差係数は前記１つのＱＰ値を共有する、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記１つの画像フレームの複数のＱＰ値を決定する前に、
第１のルールに従って前記１つの画像フレームに含まれる１つのＣＵを分割し、前記複数のＱＧを取得するステップをさらに含み、
前記第１のルールは分割領域と分割方式とを含み、前記分割領域は画素領域であり、前記分割方式は均一分割を含む、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記１つのＱＧに対応する１つのＱＰ値は、輝度ＱＰ値と色度ＱＰ値とを含み、
前記１つの画像フレームの複数のＱＰ値を決定するステップは、
前記１つのＱＧの輝度ＱＰ値と色度ＱＰ値とをそれぞれ取得するステップ、
又は、
前記１つのＱＧの輝度ＱＰ値を取得し、
前記輝度ＱＰ値に基づいて前記１つのＱＧの色度ＱＰ値を取得するステップを含む、
ことを特徴とする請求項１に記載の方法。

【請求項5】

前記複数のＱＰ値に基づいて前記１つの画像フレームを復号するステップは、
前記複数のＱＰ値の各ＱＰ値について、前記ＱＰ値に対応する量子化ステップＱｓｔｅｐを取得するステップと、
前記ＱＰ値に対応するＱＧに含まれるレベル値を取得するステップと、
選択された量子化器の組み合わせに基づいて、前記ＱＧのレベル値を逆量子化するステップと、を含み、
前記量子化器の組み合わせは、１つ又は複数の量子化器を含む、
ことを特徴とする請求項１に記載の方法。

【請求項6】

前記量子化器の組み合わせは、前記ビットストリームに付加されたマーク情報によって決定され、又は、
前記量子化器の組み合わせは、前記ＱＧ内の残差係数の分布によって決定される、
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記量子化器は、均一量子化器又は非均一量子化器である、
ことを特徴とする請求項５に記載の方法。

【請求項8】

前記１つのＱＧは、前記１つの画像フレームの１つ又は複数の画素点を含む、
ことを特徴とする請求項１に記載の方法。

【請求項9】

前記複数のＱＧのうちの少なくとも２つのＱＧに対応するＱＰ値が異なる、
ことを特徴とする請求項１に記載の方法。

【請求項10】

符号化側によって実行される画像符号化方法であって、
１つの画像フレームを１つ又は複数の符号化ユニットＣＵに分割するステップと、
前記１つの画像フレームの複数の量子化パラメータＱＰ値を決定するステップであって、１つのＣＵは複数の量子化グループＱＧを含み、１つのＱＧは１つのＱＰ値に対応する、ステップと、
前記複数のＱＰ値に基づいて前記１つの画像フレームを符号化するステップと、を含む、
ことを特徴とする画像符号化方法。

【請求項11】

ビットストリーム解析ユニットと、ＱＰ決定ユニットと、画像復号ユニットと、を含む画像復号装置であって、
前記ビットストリーム解析ユニット、前記ＱＰ決定ユニット、及び前記画像復号ユニットは、請求項１～９のいずれか１項に記載の方法を実施するために用いられる、
ことを特徴とする画像復号装置。

【請求項12】

画像分割ユニットと、ＱＰ決定ユニットと、画像符号化ユニットと、を含む画像符号化装置であって、
前記画像分割ユニット、前記ＱＰ決定ユニット、及び前記画像符号化ユニットは、請求項１０に記載の方法を実施するために用いられる、
ことを特徴とする画像符号化装置。

【請求項13】

符号化側と復号側とを含むビデオコーディングシステムであって、
前記符号化側と前記復号側とが通信可能に接続され、前記復号側は請求項１～９のいずれか１項に記載の方法を実施するために用いられ、前記符号化側は請求項１０に記載の方法を実施するために用いられる、
ことを特徴とするビデオコーディングシステム。

【請求項14】

プロセッサとメモリとを含む電子デバイスであって、
前記メモリは、コンピュータ命令を記憶するために用いられ、前記プロセッサは、メモリから前記コンピュータ命令を呼び出して実行し、請求項１～１０のいずれか１項に記載の方法を実施するために用いられる、
ことを特徴とする電子デバイス。

【請求項15】

コンピュータプログラム又は命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラム又は命令が電子デバイスによって実行されると、請求項１～１０のいずれか１項に記載の方法が実施される、
ことを特徴とするコンピュータ可読記憶媒体。

【国際調査報告】