特許 7489776 適応変換ベースのビデオ圧縮のための最後の係数符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】適応変換ベースのビデオ圧縮のための最後の係数符号化

(51)【国際特許分類】

   H04N 19/13 20140101AFI20240517BHJP

   H04N 19/136 20140101ALI20240517BHJP

   H04N 19/176 20140101ALI20240517BHJP

【ＦＩ】

H04N19/13

H04N19/136

H04N19/176

【請求項の数】 11

(21)【出願番号】P 2019500806

(86)(22)【出願日】2017-07-12

(65)【公表番号】

(43)【公表日】2019-07-18

(86)【国際出願番号】 EP2017067616

(87)【国際公開番号】W WO2018011303

(87)【国際公開日】2018-01-18

【審査請求日】2020-07-09

【審判番号】

【審判請求日】2023-03-07

(31)【優先権主張番号】16305919.9

(32)【優先日】2016-07-15

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ラセール，セバスチャン

(72)【発明者】

【氏名】プリ，サウラブ

(72)【発明者】

【氏名】ル カレ，パトリック

【合議体】

【審判長】畑中 高行

【審判官】川崎 優

【審判官】高橋 宣博

(56)【参考文献】

【文献】米国特許出願公開第２０１５／２６４４０３（ＵＳ，Ａ１）

【文献】特表２０１８－５３３３０９（ＪＰ，Ａ）

【文献】特表２０１９－５２５５７６（ＪＰ，Ａ）

【文献】ＩＴＵ－Ｔ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ ＯＦ ＩＴＵ ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ－Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（０４／２０１５），２０１５年４月，ｐｐ．１０５－１０６， ２００－２０１

【文献】Ｏｓｍａｎ Ｇ． Ｓｅｚｅｒ， ｅｔ ａｌ．，“ＳＰＡＲＳＥ ＯＲＴＨＯＮＯＲＭＡＬ ＴＲＡＮＳＦＯＲＭＳ ＦＯＲ ＩＭＡＧＥ ＣＯＭＰＲＥＳＳＩＯＮ”、２００８ １５ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、２００８年１０月１５日、ｐｐ．１４９－１５２

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 19/00-19/98

(57)【特許請求の範囲】

【請求項1】

変換係数のブロックを符号化する方法であって、
画像値のブロックを第２の数の変換係数のブロックに変換する部分変換を使用して、第１の数の画像値のブロックを変換することであって、前記第２の数は、前記第１の数より少なく、かつ、前記部分変換のサイズに対応し、前記部分変換のサイズ及び前記変換係数のブロックに適用される走査順序は、前記変換係数のブロックの変換係数の位置を示す、ことと、
前記変換係数の前記走査順序によって決定される最後の非ゼロ変換係数の変換係数のブロックにおける位置を定義する２つの座標をエントロピー符号化することと、を含み、
前記２つの座標のうちの第１の座標のエントロピー符号化に用いられる前記２つの座標のうちの第１の座標の二値化に割り当てられるビットの最大数は、前記部分変換のサイズに依存する、方法。

【請求項2】

前記部分変換の前記サイズを示す情報が、ビットストリームでエンコードされる、請求項１に記載の方法。

【請求項3】

オフラインで学習された適応部分変換のセットが、前記画像値のブロックを変換するために使用される、請求項１又は２に記載の方法。

【請求項4】

変換係数のセットを符号化する装置であって、
画像値のブロックを第２の数の変換係数のブロックに変換する部分変換を使用して、第１の数の画像値のブロックに関して動作する変換回路であって、前記第２の数は、前記第１の数より少なく、かつ、前記部分変換のサイズに対応し、前記部分変換のサイズ及び前記変換係数のブロックに適用される走査順序は、前記変換係数のブロックの変換係数の位置を示す、変換回路と、
前記変換係数の前記走査順序によって決定される最後の非ゼロ変換係数の変換係数のブロックにおける位置を定義する２つの座標をエントロピー符号化するエントロピー符号器であって、前記２つの座標のうちの第１の座標のエントロピー符号化に用いられる前記２つの座標のうちの第１の座標の二値化に割り当てられるビットの最大数は、前記部分変換のサイズに依存する、エントロピー符号器と、
を含む装置。

【請求項5】

前記部分変換の前記サイズを示す情報が、ビットストリームでエンコードされる、請求項４に記載の装置。

【請求項6】

変換係数のセットを復号する方法であって、
最後の非ゼロ係数の位置の２つの座標をエントロピー復号することであって、変換係数のセットは、第１の数の画像値の初期ブロックを第２の数の変換係数に変換する部分変換の結果であり、前記第２の数は、前記第１の数より少なく、かつ、前記部分変換のサイズに対応し、前記部分変換のサイズ及び前記変換係数のブロックに適用される走査順序は、前記変換係数のブロックの変換係数の位置を示し、前記２つの座標のうちの第１の座標のエントロピー符号化に用いられる前記２つの座標のうちの第１の座標の二値化に割り当てられるビットの最大数は、前記部分変換のサイズに依存することを特徴とする、ことと、
前記第１の数の画像値の初期ブロックを示す、結果として生じる画像値のブロックを得るために、逆部分変換を使用して前記変換係数のセットを逆変換することと、
を含む、方法。

【請求項7】

前記部分変換の前記サイズを示す情報が、ビットストリームから復号される、請求項６に記載の方法。

【請求項8】

変換係数のセットを復号する装置であって、
前記変換係数からの最後の非ゼロ係数の位置の２つの座標をエントロピー復号するエントロピー復号器であって、変換係数のセットは、第１の数の画像値の初期ブロックを第２の数の変換係数に変換する部分変換の結果であり、前記第２の数は、前記第１の数より少なく、かつ、前記部分変換のサイズに対応し、前記部分変換のサイズ及び前記変換係数のブロックに適用される走査順序は、前記変換係数のブロックの変換係数の位置を示し、前記２つの座標のうちの第１の座標のエントロピー符号化に用いられる前記２つの座標のうちの第１の座標の二値化に割り当てられるビットの最大数は、前記部分変換のサイズに依存することを特徴とする、エントロピー復号器と、
前記第１の数の画像値の初期ブロックを示す、結果として生じる画像値のブロックを得るために、逆部分変換を使用して変換係数に関して動作する逆変換回路と、
を含む、装置。

【請求項9】

前記部分変換の前記サイズを示す情報が、ビットストリームから復号される、請求項８に記載の装置。

【請求項10】

請求項６又は７に記載の方法による変換係数のセットを復号するための命令を保存した、非一時的コンピュータ可読記憶媒体。

【請求項11】

請求項１乃至３のうち何れか１項に記載の変換係数のブロックを符号化するための命令を保存した、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は、一般に、ビデオ圧縮及び復元システムに関し、より詳細には、ブロックベースの変換に関する。

【背景技術】

【0002】

変換Ｔは、ｎ個のピクセルのブロックをｎ個の変換係数に変換する。このプロセスは、ピクセル値を元に戻すために、変換係数に逆変換Ｔ^-1を適用することにより、可逆的である。部分変換Ｐの場合、ｎ個のピクセルは、ｎ個より少ないｍ個の変換係数に変換され、ここでは、ｍ＜ｎである。すなわち、不足しているｎ－ｍ個の係数がゼロに設定されると仮定することができる。近似「逆」変換Ｐ’を変換係数に適用することにより、初期ピクセル値の近似が得られる。Ｐ’は、近似であり、部分変換が可逆的ではないため、正確な数学的逆数ではない。一般的に、係数の部分変換ブロックは、ピクセルブロックの低周波情報を表す。

【0003】

一部のビデオ符号化標準規格では、変換係数は、一般的に高周波から低周波への走査順序が関連付けられる二次元（２Ｄ）ブロックに入れられる。係数の量子化の後に、図１に示すように、高周波から低周波へのスキャン順序に関して、最初の非ゼロ量子化係数が、最後の符号化係数と呼ばれる。

【0004】

係数に関連付けられた２Ｄブロックトポロジーにおいて、最後の符号化係数は、図２に示すように、サイズｎ＝Ｎ×Ｎのブロックに関して２つの座標（ｘ、ｙ）を有する。
定義上、０≦ｘ、ｙ≦Ｎ－１である。これらの２つの座標は、復号器側で非ゼロ符号化係数を決定するための情報として、ビットストリームに符号化される。少なくとも、これらの座標は、座標（ｘ、ｙ）の係数がゼロではないことを示し、この係数の後にくる係数は、低から高への走査順序に関して、全てゼロである。

【0005】

残りの係数（図１においてクエスチョンマークで示す）が、ゼロであるか、それともゼロでないかの変換係数の有意性を示す追加の情報が、信号に追加されてもよい。

【0006】

従来、過去数十年に開発された多くのビデオ及び画像コーデックにおいては、例えば離散コサイン変換又は離散サイン変換などの固定変換を各ブロックのピクセルに適用することにより、変換係数が得られる。次いで、これらの係数は、例えばＶＬＣ、算術符号器、又はＣＡＢＡＣ（コンテキスト適応二値算術符号化）などのエントロピー符号器によってエンコードされる量子化係数を得るために、限定子（quantifier）Ｑによって量子化される。

【0007】

可能な限り効率的に、最後の符号化係数位置をエンコードすることが望ましい。

【0008】

固定変換の代替手段として、内容適応部分変換を使用することができる。これは、エネルギーのより良い圧縮をもたらし、従って、ビットレートを減少させる。しかし、適応変換が、復号器に送られる必要があり、引き換えにビットレートが増加する。もしそのような変換を送ることに気を付けなければ、より良い圧縮にもかかわらず、全体的なビットレートが増加し、適応変換は、何のメリットもない。

【0009】

HEVC/H.265標準規格は、２つの座標（ｘ、ｙ）を使用することによって、最後の符号化係数位置の符号化を導入した。各座標が、打ち切り単項コードを使用して二値化され、次いで、各ビット又はＨＥＶＣ用語では「ビン」が、コンテキストに基づいたチャネル適応を用いたＣＡＢＡＣを使用してエンコードされる。ＨＥＶＣでは、２つの座標ｘ及びｙが、別々にエンコードされ、及び復号される。

【発明の概要】

【0010】

先行技術の上記及び他の欠点及びデメリットは、部分変換のサイズの知識を使用した、部分変換の使用により得られる、最後の符号化係数を符号化する方法及び装置に向けられる本原理によって対処される。

【0011】

本原理の一局面によれば、変換係数を得るために画像値のブロックを変換するステップと、最後の符号化係数の位置をエントロピー符号化するセットであって、最後の符号化係数の位置が、ｙ座標のエントロピー符号化が係数を得るために使用された部分変換のサイズの知識に依存するような２つの座標によって提供されるセットと、を含む、変換係数のセットを符号化する方法が提供される。

【0012】

本原理の別の局面によれば、変換係数を得るために、画像値のブロックに関して動作する変換回路と、変換係数の最後の符号化係数の位置が、ｙ座標のエントロピー符号化が、係数を得るために使用された部分変換のサイズの知識に依存するような２つの座標によって提供されるエントロピー符号器と、を含む変換係数のセットを符号化する装置が提供される。

【0013】

本原理の別の局面によれば、変換係数のセットを復号する方法が提供される。この方法は、変換係数をエントロピー復号することによって、最後の符号化係数の位置を生成することであって、最後の符号化係数の位置が、ｙ座標の前記エントロピー復号が、係数を得るために使用された部分変換のサイズの知識に依存することを特徴とする２つの座標（ｘ、ｙ）によって提供されることと、画像値のブロックを得るために、変換係数を逆変換するステップと、を含む。

【0014】

本原理の別の局面によれば、変換係数のセットを復号する装置が提供される。この装置は、変換係数からの最後の符号化係数の位置を表すコードに関して動作するエントロピー復号器であって、最後の符号化係数の位置が、ｙ座標のエントロピー符号化が、係数を得るために使用された部分変換のサイズの知識に依存することを特徴とする２つの座標（ｘ、ｙ）によって提供される、エントロピー復号器を含む。この装置は、画像値のブロックを得るために、変換係数に関して動作する逆変換回路をさらに含む。

【0015】

本原理の別の局面によれば、最後の符号化係数の位置が、ｙ座標のエントロピー符号化が、係数を得るために使用された部分変換のサイズの知識に依存することを特徴とする２つの座標（ｘ、ｙ）によって提供されるような変換係数のセットを復号するための命令を保存した非一時的コンピュータ可読記憶媒体が、提供される。

【0016】

本原理の別の局面によれば、最後の符号化係数の位置が、ｙ座標のエントロピー符号化が、係数を得るために使用された部分変換のサイズの知識に依存することを特徴とする２つの座標（ｘ、ｙ）によって提供されるような変換係数のセットを復号するためのビットストリームを保存した非一時的コンピュータ可読記憶媒体が、提供される。

【0017】

本原理の上記及び他の局面、特徴及び利点が、添付の図面と関連して読まれる例示的実施形態の以下の詳細な説明から明白となるだろう。

【図面の簡単な説明】

【0018】

【図1】変換ユニットの走査順序を示す。

【図2】最後の符号化係数の座標の一例を示す。

【図3】１２個の係数を有した４×４の変換ユニットにおける符号化の一例を示す。

【図4】座標値のサフィックス及びプレフィックスの決定を示す。

【図5】オンザフライ学習スキームを示す。

【図6】様々な状況に関するＢＤレート利得対変換ベクトル数を示す。

【図7】部分変換を用いた８×８ブロックの符号化を示す。

【図8】コンテキスト値の構造を示す。

【図9】コンテキスト値の展開を示す。

【図10】隣接チャネルに応じたコンテキスト選択の一例を示す。

【図11】本原理を使用した変換係数のセットを符号化する方法の一実施形態を示す。

【図12】本原理を使用した変換係数のセットを符号化する装置の一実施形態を示す。

【図13】本原理を使用した変換係数のセットを復号する方法の一実施形態を示す。

【図14】本原理を使用した変換係数のセットを復号する装置の一実施形態を示す。

【発明を実施するための形態】

【0019】

以下の実施形態によって解決される技術的課題は、２Ｄ部分変換が適用されたピクセルの変換ブロックにおいて、最後の符号化係数の位置を符号化するコストを削減している。

【0020】

これらの実施形態は、ビデオ符号化標準規格においてよく使用されるエントロピー符号化スキームの改良である。そのようなビデオ符号化標準規格の１つは、HEVC/H.265標準規格であるが、実施形態は、この標準規格に限定されない。

【0021】

本原理の主要な考えは、部分変換がピクセル値のブロックに使用される場合、一部の変換係数が、必然的にゼロであることが分かっており、従って、最後の符号化係数の位置に対して、及び最後の符号化係数の位置を表す座標（ｘ、ｙ）に対して幾つかの制約が課されるということである。記載の実施形態では、部分変換を使用して、係数を変換するためにピクセルのブロックを変換する場合、上記制約を使用して、２つの座標（ｘ、ｙ）を効率的にエンコードすることに重点を置いている。

【0022】

本考えは、（ｘ、ｙ）の符号化がより効率的であるように、ｍ＜ｎの場合は、全ての座標ペア（ｘ、ｙ）が受け入れ可能なわけではないという事実を用いる。これは、圧縮性能の向上をもたらすことができる。

【0023】

具体的には、部分変換を使用する場合、（ｘ、ｙ）の符号化がより効率的であるように、全ての座標ペア（ｘ、ｙ）が受け入れ可能なわけではないという事実を暗に考慮する。部分変換を用いたこの特定の実施形態においては、部分変換を使用して修正ＨＥＶＣ標準規格に対してテストが行われ、（ｘ、ｙ）の符号化の向上が、約－０．５％の圧縮利得をもたらすことが示された。

【0024】

本明細書に提示される考えは、座標ペア（ｘ、ｙ）を符号化するためのＨＥＶＣアルゴリズムの主要部分を保持することを提案するが、１つの特徴、すなわち、ｘが分かれば、ｙの符号化の可能な範囲を縮小することを加える。

【0025】

例えば、図３に見られるように、ｍ＝１２の変換係数をもたらす部分変換Ｐを用いた４×４ブロックを考察する。その結果、０～１１の係数は、非ゼロとなり得るが、１２～１５の係数は、必然的にゼロであることが分かる。

【0026】

最後の符号化係数の座標ｘは、０（位置０、１、３、６の場合）～３（位置９の場合のみ）の範囲内にある。ｘが分かれば、ｙの範囲は、実際にｘに依存する。上記の例では、
ｘ＝０又はｘ＝１は、［０、３］の範囲内のｙをもたらす
ｘ＝２は、［０、２］の範囲内のｙをもたらす
ｘ＝３は、ｙ＝０をもたらす；この場合、ｙは、符号化される必要さえない

【0027】

この符号化のプロセスは、ｘを復号し、次いで、ｍが既知であり、且つどこかでエンコードされると仮定して、ｙの範囲を演繹し、次いでｙを復号するので、復号可能であることが容易に理解される。

【0028】

ＨＥＶＣでは、座標ｘ又はｙが、図４に示すように、プレフィックス及びサフィックスに分けられる。
例えば、座標値が１４の場合、プレフィックスは、７であり、及びサフィックスは、２ビットに符号化される。サフィックスは、最初の値が座標値から減算された後の余りである（１４－１２＝２）。座標値が３の場合、プレフィックスは３であるが、サフィックスは存在しない。

【0029】

プレフィックスは、打ち切り単項符号化を用いて二値化される。打ち切りは、プレフィックス値の上限を提供するブロックサイズの知識に基づいて行われる。二値化プレフィックスの各ビットが、ＣＡＢＡＣ及び専用コンテキストを用いてエンコードされる。

【0030】

例えば、４×４のブロックにおいて、可能なプレフィックスは、それぞれ１、０１、００１、及び０００（打ち切り）に二値化される０、１、２、又は３である。別の例では、８×８のブロックにおいて、可能なプレフィックスは、０～５であり、１、０１、００１、０００１、００００１、及び０００００（打ち切り）に二値化される。

【0031】

サフィックスは、固定長符号化を用いて二値化され、固定長サフィックスは、コンテキストを使用せずにバイパスモードでＣＡＢＡＣを使用して、そのままエンコードされる。例えば、１６×１６のブロックにおいて、座標値が、１４の場合、プレフィックスは、７（０００００００に二値化される）であり、且つサフィックスは、２（１０に二値化され、及び２ビットに符号化される）である。

【0032】

プレフィックス及びサフィックスへの二値化プロセスは、ＨＥＶＣの場合と同様に、プレフィックスに対してのみコンテキストを使用して維持される。本原理の主な特性は、ｘの値に応じて、ｙのコンテキストの範囲を縮小させることができることである。

【0033】

通常、変換Ｔは、ｎ個のピクセルのブロックを、ｍ＝ｎ個の変換係数に変換する。このプロセスは、ピクセル値を元に戻すために、変換係数に逆変換Ｔ^－１を適用することにより、可逆的である。部分変換Ｐの場合、ｎ個のピクセルは、より少ないｍ＜ｎ個の変換係数に変換される。つまり、欠けているｍ－ｎ個の係数がゼロに設定されると仮定することができる。「逆」変換Ｐ’（もちろん、部分変換が可逆的ではないため、数学的逆数ではない）を変換係数に適用することにより、初期ピクセル値の近似が得られる。一般的に、部分変換係数は、ピクセルブロックの低周波情報を表す。

【0034】

部分変換が使用される場合、あるｍ－ｎ個の変換係数が必然的にゼロであることが分かっており、従って、最後の符号化係数の位置に対して、及び座標（ｘ、ｙ）に対して幾つかの制約が課される。この場合、これらの制約を暗に使用することによって、部分変換を使用して、ＴＵピクセルを変換係数に変換する場合、実施形態は、２つの座標（ｘ、ｙ）の効率的なエンコーディングを自動的に処理することが示される。

【0035】

ＤＣＴ又はＤＳＴなどの系統的変換の代わりに、異なる分類及び変換最適化スキームを使用して、大きな訓練セットに対してオフラインで学習される適応直交変換のセットを代わりに使用することができる。この変換のセットは、コーデックに供給され、セットの中から最良の変換が、レート歪み最適化（ＲＤＯ）ループにおいて、選択される。より適応的な手法は、あるシーケンスのある特定のイントラフレームに関して、直交変換のセットを学習することである。これは、本明細書の残りの部分で、オンザフライブロックベース変換学習スキームと呼ばれる。このスキームを図５に示す。

【0036】

図５のブロック図は、アルゴリズムが２つの部分、すなわち、ビデオ／画像コーデック内の残差ブロックの分類、及び新しい変換のセットの生成に分けられる一般的なオンザフライスキームを示す。第１のステップは、残差ブロックをＫ個の異なるクラス（Ｓ_１…Ｓ_Ｋ）に分類する。第２のステップにおいて、各クラスに関して、その特定のクラスの再構成誤差の最小化を使用して、新しい変換を得る。一般的に、特異値分解（ＳＶＤ）及び（カルーネン・レーベ変換）ＫＬＴを使用して、直交変換のセットが生成される。これらの２つのステップは、解の収束又は停止基準に達するまで反復される。ブロック図に見られるように、システムへの入力は、ある分離不可能な直交変換の初期セット（Ｔ_１…Ｔ_Ｋ）と併せたイントラフレーム又は画像である。システムは、復号器に送られるビットストリームにエンコードされる必要があるシンタックス情報と併せた学習変換のセット（Ｔ’_１…Ｔ’_Ｋ）を出力する。一般に、これらの変換基底ベクトルをエンコードするために必要とされるオーバーヘッドビットは、フレームをエンコードするために必要とされるビットと比較してかなり大きい。

【0037】

ＳＶＤのエネルギー圧縮特性により、最初の「ｍ」個のベクトルのみが復号器に送信され、残りの（ｎ－ｍ）個の変換ベクトルが、グラム・シュミット法に類似した完了アルゴリズムを用いて生成されるか、あるいはゼロにさせられ、従って、部分変換をもたらす、学習変換の不完全な表現を演繹することによって、オーバーヘッドコストをかなり減らすことができることが観察される。

【0038】

Bjontegaard歪みレート（ＢＤレート）に対する、変換の最後の数個のベクトルを切り捨てる影響を示すために、サイズ６４×６４の４つの分離不可能な最適化変換を４Ｋシーケンス「PeopleOnStreet」及び「Traffic」に対して学習させる。最初の「ｍ」個のベクトルが保持され、次いで、完了アルゴリズムを使用して、基底ベクトルの残りが完了されるこれらのシーケンスに対して、エンコーディングテストが行われる。図６は、符号化基底ベクトルの数に対する性能利得の変動を示す。縦軸は、アンカー（ＨＥＶＣテストソフトウェアHM15.0）に対する、及び変換コストを考慮に入れない利得率である。

【0039】

変換ベクトルの最初の半分（すなわち、ｍ＝３２）のみを保持することによって、ＢＤレートの観点から、無視できるほどの性能低下があることが、図２において観察される。ｍ＝１６の場合、すなわち、最初の１６個の基底ベクトルのみが符号化される場合、性能は、全ての「ｎ」個の基底ベクトルを符号化することによって得られる全体的なビットレートと比較して、１％低下するが、変換ベクトルのオーバーヘッドコストは、総オーバーヘッドの４分の１にまで減少する。ｍ＝８の場合、ＢＤレート性能の観点から、性能のかなりの損失があるが、オーバーヘッドもさらに減少する。一般に、これは、性能損失とオーバーヘッドコストとの間にトレードオフが存在することを示す。

【0040】

最初の「ｍ」個の変換ベクトルのみをエンコードする時のＢＤレートの観点からの性能低下が、ビデオの内容に依存するので、「ｍ」の最適値を推定するために、内容適応方法が必要である。直感的に、低ビットレートでは、係数のほとんどは、ゼロに量子化され、高ビットレートでは、係数のエネルギーは、高周波においても、かなりのものである。従って、「ｍ」の値は、内容及び量子化パラメータＱＰに依存する。

【0041】

残差信号エネルギーは、平均して、ＤＣ係数が、平均して最大エネルギーを有する最初の数個の係数により集中し、より高周波の係数に向かうにつれて、減少する。従って、高周波係数のほとんどが、ゼロに量子化される。オーバーヘッドとしてフレームと共に符号化される必要がある「ｍ」の最良値を計算するために、単純な閾値ベースの方法を適用することができる。

【0042】

ＥをＤＣＴ係数のエネルギーの和とする。パラメータｐとＥとの乗算によって、閾値ｔを定義し、
ｔ＝ｐ・Ｅ
を得る。

【0043】

「ｍ」の値は、単純に、この閾値より大きい平均エネルギーを持つ係数の数から計算することができる。「ｐ」の値は、実験的に見つけることができる。表１は、エンコードされるベクトルの総数のパーセンテージを単位とした「ｐ」の選択値に関して、この閾値を上回るベクトルの数「ｍ」の変動を示す。高ＱＰにおいて、必要とされる平均ベクトル数は、低ＱＰにおいて必要とされる平均ベクトル数と比較して、かなり少ないことが、表１から観察される。また、ベクトルの数「ｍ」も、内容に応じて変動する。

【0044】

【表1】

【0045】

部分変換を使用して、本原理が適用される場合、ｙの範囲は、ｘに依存する。

【0046】

最後の１６－１２＝４が、常にゼロであるような、ｍ＝１２の部分変換を使用した図３の例を再度考察する。係数位置１２に関連付けられた座標（２、２）を最も効率的に符号化するには、どのようにすればよいのだろうか。１つの可能性は、ｘ＝２を最初に符号化することである。その二値化は、ＨＥＶＣの場合と同様に、００１である。この場合、ｙの可能な範囲は、０～２であることが分かっており、従って、ＨＥＶＣの場合と同様に３までの打ち切り単項符号化の代わりに、２までの打ち切り単項符号化を使用することができる。これは、ｙに関する二値化００を００１の代わりにもたらす。そして、二値化プロセスにおいて１ビットを獲得し、従って、より良好な圧縮性能がもたらされる。

【0047】

図３の例において、この実施形態を用いた二値化の幾つかの追加の例：
（０００、０）の代わりに（０００、なし）に二値化される（３、０）
ＨＥＶＣの場合と同様に、（０、０）に二値化される（０、０）
（３、３）は、不可能な座標である

【0048】

部分変換を用いたこの実施形態は、ｍ＝５７の部分変換を使用した８×８のＴＵの例に関する図７に見られるように、サフィックスを使用する座標ｙに簡単に拡張される。最初の５７個の変換係数は、非ゼロでもよいが、最後の６４－５７＝７個の係数は、必然的にゼロである。最後の符号化係数位置が５５であると想定する。これにより、座標（ｘ、ｙ）＝（５、６）が与えられる。ｙのプレフィックスは、５であり、そのサフィックスは、０である。ＨＥＶＣにおいては、サフィックスは、１ビットについて符号化されるべきであるが、この想定ケースでは、係数５５の直下の係数５８が、この場合、必然的にゼロであると分かっているので、サフィックスは、１になることができないことが分かっており、従って、サフィックスは、符号化されず、符号化の１ビットが獲得される。

【0049】

HEVC/H.265標準規格では、バイナリデータを符号化するための新しいツールが、算術符号器、つまりコンテキスト適応二値算術符号化（又はＣＡＢＡＣ）において提案されている。０又は１の値をとるバイナリシンボルｓが、１となる確率ｐ、及び０となる確率１－ｐに続いて符号化される。この確率は、コンテキストから演繹され、及び各シンボルの符号化の後に適応される。

【0050】

コンテキスト値は、８ビット値である（図８を参照）。先頭ビットは、最確シンボル（Most Probable Symbol）（又はＭＰＳ）を表し、次の７ビットが、そこから確率ｐが演繹される確率ｐ’（又は状態）を表す。

【0051】

コンテキスト値の更新は、符号化シンボルがＭＰＳに等しいか否かに応じて、図９に記載するプロセスに続いて行われる。

【0052】

２つの表、符号化シンボルがＭＰＳである場合には、transldxMPS、及び符号化シンボルがＭＰＳでない（すなわち、それは、最も確からしくないシンボル（Least Probable Symbol）（ＬＰＳ）である）場合には、transldxLPSを用いて、展開が行われる。これらの表は、名称がpStateldxであるエントリｐ’に関する表２において提供される。

【0053】

【表2】

【0054】

ＭＰＳとなるシンボルｓの確率ｐ_ＭＰＳは、０～１２７まで、８ビットについて線形に量子化される。これは、コンテキスト値から、
ｐ_ＭＰＳ＝（ｐ’＋６４）／１２７＝（pStateldx＋６４）／１２７
によって演繹され、１となるシンボルｓの確率ｐは、ＭＰＳの値に応じて、ｐ_ＭＰＳから明らかに演繹される。
ＭＰＳ＝１の場合、ｐ＝ｐ_ＭＰＳであり、
ＭＰＳ＝０の場合、ｐ＝１－ｐ_ＭＰＳである。

【0055】

コンテキスト適応符号化は、符号化が、シンボルが属するチャネルの統計に動的に従うことを可能にする強力なツールである。また、各チャネルは、統計が混ざること、及びプロセスのメリットを失うことを回避するために、それ自体のコンテキストを持つべきである。これは、多くのチャネルをモデル化するために、数百のコンテキストを使用するHEVC/H.265において、多くのコンテキストの広範な使用をもたらした。例えば、コンテキストを使用する全てのチャネルの中には、
・動きベクトル残差、
・ＴＵ符号化フラグ、
・最後の有意係数位置、
・符号化グループ符号化フラグ
・変換係数有意フラグ
・変換係数大きさ（１より大きい、及び２より大きい）フラグ
・ＳＡＯデータ
・他のデータ
がある。

【0056】

これらのコンテキスト／チャネルの全ては、主に、カラーチャネル（すなわち、チャネルがルマであるか、あるいはクロマであるか）、変換ユニットサイズ、変換係数の位置、隣接シンボル値、及び他の要因にも依存する。

【0057】

一例として、図１０に示すように、符号化グループ（ＣＧ）符号化フラグが、現在のＣＧの下及び右にあるＣＧ符号化フラグが、１であるか否かに応じて選択される。

【0058】

結局、コンテキストの選択は、多くのもの、従って、膨大な数のコンテキストに依存する。もちろん、復号器は、エンコーダとの同期及びストリームのパースを確実にするために、エンコーダ側で行われたものと一致するようにコンテキスト値を更新しなければならない。

【0059】

本明細書に記載の実施形態は、画像ブロック値から係数を得るために使用される部分変換のサイズを考慮することによって、潜在的ｙ座標候補の範囲を縮小することを提案する。

【0060】

記載の原理を実施するために必要とされる関連のシンタックスは、ｍの値部分変換のサイズのエンコーディングであるべきである。この値は、向上した二値化及び打ち切り単項符号化も復号器で決定できるように、フレーム又はスライスレベルで符号化することができる。

【0061】

復号プロセスに関して、本明細書に記載の原理は、復号器が最後の符号化係数位置を復号できるようにするために復号器に適切に影響を与えなければならない。

【0062】

部分変換を使用した上記実施形態では、ｙサフィックスの向上した二値化及び打ち切り単項符号化にも影響が与えられる。

【0063】

本原理の上記特徴に加えて、記載の実施形態は、ｍ又はそれから係数のサブセットを決定することができる情報の符号化が、ビットストリーム中にあることを提供する。さらに、最後の符号化係数は、２つの座標（ｘ、ｙ）によって提供され、並びにサブセット及びｘの値を使用して、ｙの範囲が決定される。また、打ち切り符号化は、決定した範囲に基づいて、ｙのプレフィックス及びサフィックスに使用される。

【0064】

提案した考えは、ビデオストリームのシンタックス内に存在し、適用される復号方法を示唆する点において、規範的である。そのため、この考えは、ＨＥＶＣの後継などのビデオ標準規格において実施することができる。

【0065】

変換係数のセットを符号化する方法１１００の一実施形態を図１１に示す。この方法は、開始ブロック１１０１で始まり、制御は、画像値のブロックを変換して変換係数値を生成するブロック１１１０に進む。制御は、ブロック１１１０から、ｙ座標を符号化するために変換のサイズの知識を使用して、最後の符号化係数をエントロピー符号化するブロック１１２０に進む。

【0066】

変換係数のセットを符号化する装置１２００の一実施形態を図１２に示す。この装置は、入力ポートで画像値のブロックを受信し、出力ポートで変換係数を生成する変換回路１２１０を含む。変換回路１２１０のこの出力ポートは、エントロピー符号器１２２０への入力と信号接続している。エントロピー符号器１２２０は、変換のサイズの知識を使用して、最後の符号化係数位置のｙ座標を符号化することによって、ｙ座標を符号化して最後の符号化係数値を生成する。

【0067】

変換係数のセットを復号する方法１３００の一実施形態を図１３に示す。この方法は、開始ブロック１３０１で始まり、制御は、ｙ座標を復号するために変換のサイズの知識を使用して、最後の符号化係数をエントロピー復号するブロック１３１０に進む。制御は、ブロック１３１０から、係数の逆変換を行って画像値を生成するブロック１３２０に進む。

【0068】

変換係数のセットを復号する装置１４００の一実施形態を図１４に示す。この装置は、最後の符号化係数のコードを包含する変換係数を受信し、ｙ座標を復号するために変換のサイズの知識を使用して最後の符号化係数のｙ座標を復号する。エントロピー復号器１４１０の出力は、逆変換回路１４２０の入力と信号接続している。逆変換回路１４２０は、入力ポートで変換係数を受信し、それらを逆変換して、出力ポートで画像値のブロックを生成する。

【0069】

前述の実施形態は、セットトップボックス（ＳＴＢ）、モデム、ゲートウェイ、又はビデオエンコーディング又は復号を行う他のデバイスにおいて実施することができる。

【0070】

図示される様々な要素の機能は、専用ハードウェア及び適切なソフトウェアと共同してソフトウェアを実行可能なハードウェアの使用により提供することができる。プロセッサによって提供される場合、これらの機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は複数の個々のプロセッサ（これらの一部は共有されてもよい）によって提供されてもよい。また、「プロセッサ」又は「コントローラ」という用語の明確な使用は、ソフトウェアを実行することができるハードウェアのみを指すと解釈されるものではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを保存するためのリードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶装置（これらに限定されない）を暗に包含してもよい。

【0071】

従来型及び／又はカスタムの他のハードウェアも包含されてもよい。同様に、図示されるスイッチは、単に概念的なものである。それらの機能は、プログラム論理の動作により、専用論理により、プログラム制御及び専用論理のインタラクションにより、又は手動で実施されてもよく、特定の技術は、文脈からより具体的に理解されるように、実施者によって選択可能である。

【0072】

本明細書は、本原理を例示する。従って、本明細書に明確に記載又は図示されないが、本原理を具現化し、且つ本原理の精神及び範囲内に包含される様々なアレンジメントを当業者が考案することが可能であることが認識されるだろう。

【0073】

本明細書に列挙した全ての例及び条件付き言語は、本原理及び一人又は複数の本発明者によって当該分野の促進のために寄与される概念を読み手が理解することを助ける教育的目的のためのものであり、上記具体的に列挙された例及び条件に限定されないと解釈されるものである。

【0074】

また、本原理の原理、局面及び実施形態、並びにそれらの具体的な例を列挙した本明細書中の全ての記述は、それらの構造的均等物及び機能的均等物の両方を網羅することが意図される。さらに、そのような均等物は、現在知られている均等物及び将来開発される均等物（すなわち、構造に関係なく、同じ機能を行う開発されるあらゆる要素）の両方を包含することが意図される。

【0075】

従って、例えば、本明細書に提示されるブロック図が、本原理を具現化する例示的回路網の概念図を表すことが、当業者には認識されるだろう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどが、コンピュータ可読媒体において実質的に表すことができ、従って、コンピュータ又はプロセッサ（そのようなコンピュータ又はプロセッサが明確に示されているか否かにかかわらず）によって実行することができる様々なプロセスを表すことが認識されるだろう。

【0076】

本明細書の特許請求の範囲では、ある特定の機能を行うための手段として表現される要素は、例えば、ａ）その機能を行う回路要素の組み合わせ、又はｂ）その機能を行うためのソフトウェアを実行する適切な回路網と組み合わせた、あらゆる形態のソフトウェア（従って、ファームウェア、マイクロコードなどを包含する）を包含する、その機能を行うあらゆるやり方を網羅することが意図される。そのような特許請求の範囲によって定義される本原理は、様々な列挙した手段によって提供される機能性が、特許請求の範囲が求める態様で、組み合わせられ、まとめられるという事実に帰する。従って、これらの機能性を提供することができるあらゆる手段が、本明細書に示されるものと同等であると見なされる。

【0077】

本明細書における本原理の「１つの実施形態（“one embodiment”）」又は「一実施形態（“an embodiment”）」、及びそれらの他のバリエーションに対する言及は、その実施形態に関連して記載された特定の特徴、構造、特性などが、本原理の少なくとも１つの実施形態に包含されることを意味する。従って、「１つの実施形態において」又は「一実施形態において」というフレーズの出現、その上、本明細書全体を通して様々な箇所に出現するその他のバリエーションは、必ずしも、全て同じ実施形態を指すわけではない。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
変換係数のブロックを符号化する方法であって、
変換係数のサブセットがゼロであることが知られているように、前記変換係数を得るために部分変換を使用して画像値のブロックを変換することと、
前記変換係数の走査によって決定される最後の非ゼロ変換係数のブロックにおける位置を定義する２つの座標をエントロピー符号化することと、
を含み、
前記２つの座標の一方の座標（ｙ）の前記エントロピー符号化が、前記部分変換のサイズの知識に依存する、方法。
（付記２）
前記部分変換の前記サイズの知識が、ビットストリームでエンコードされる、付記１に記載の方法。
（付記３）
前記２つの座標のそれぞれをプレフィックスとサフィックスとに分けることと、
前記部分変換の前記サイズの知識から、前記ｙ座標の前記プレフィックスの値を推論することと、
をさらに含む、付記１又は２に記載の方法。
（付記４）
オフラインで学習された適応部分変換のセットが、前記画像値のブロックを変換するために使用され得る、付記１～３のいずれか一項に記載の方法。
（付記５）
変換係数のセットを符号化する装置であって、
変換係数を得るために、部分変換を使用して画像値のブロックに関して動作する変換回路と、
前記変換係数の走査によって決定される前記変換係数から最後の符号化係数の位置を表す２つの座標を生成するエントロピー符号器であって、
前記最後の符号化係数の前記位置が、ｙ座標のエントロピー符号化が、前記部分変換のサイズの知識に依存することを特徴とする２つの座標（ｘ、ｙ）によって提供される、エントロピー符号器と、
を含む装置。
（付記６）
前記部分変換の前記サイズの知識が、ビットストリームでエンコードされる、付記５に記載の装置。
（付記７）
前記エントロピー符号器が、前記２つの座標のそれぞれをプレフィックスとサフィックスとに分け、及び前記ｘ座標から、前記ｙ座標の前記プレフィックスの値を推論する、付記５又は６に記載の装置。
（付記８）
変換係数のセットを復号する方法であって、
コードをエントロピー復号することによって、最後の符号化係数の位置を生成することであって、
前記最後の符号化係数の前記位置が、ｙ座標の前記エントロピー復号が、部分変換のサイズの知識に依存することを特徴とする２つの座標（ｘ、ｙ）によって提供されることと、
画像値のブロックを得るために、部分変換を使用して変換係数を逆変換することと、
を含む、方法。
（付記９）
前記部分変換の前記サイズの知識が、ビットストリームから復号される、付記８に記載の方法。
（付記１０）
前記２つの座標のそれぞれをプレフィックスとサフィックスとに分けることと、
前記部分変換の前記サイズの知識から、前記ｙ座標の前記プレフィックスの値を推論することと、
をさらに含む、付記８又は９に記載の方法。
（付記１１）
変換係数のセットを復号する装置であって、
前記変換係数からの最後の符号化係数の位置を表すコードに関して動作するエントロピー復号器であって、
前記最後の符号化係数の前記位置が２つの座標（ｘ、ｙ）によって提供され、ｙ座標のエントロピー復号が、部分変換のサイズの知識に依存することを特徴とする、エントロピー復号器と、
画像値のブロックを得るために、部分変換を使用して変換係数に関して動作する逆変換回路と、
を含む、装置。
（付記１２）
前記部分変換の前記サイズの知識が、ビットストリームから復号される、付記１１に記載の装置。
（付記１３）
前記エントロピー復号器が、前記２つの座標のそれぞれをプレフィックスとサフィックスとに分け、及び前記部分変換の前記サイズの知識から、前記ｙ座標の前記プレフィックスの値を推論する、付記１１又は１２に記載の装置。
（付記１４）
付記８～１０のいずれか一項に記載の方法による変換係数のセットを復号するための、又は付記１～４のいずれか一項に記載の変換係数のブロックを符号化するための命令を保存した、非一時的コンピュータ可読記憶媒体。
（付記１５）
付記８～１０のいずれか一項に記載の方法によるビットストリームを保存した非一時的コンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】