特表 2024-520778 マルチスレッドＣＡＢＡＣ復号

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-24

(54)【発明の名称】マルチスレッドＣＡＢＡＣ復号

(51)【国際特許分類】

   H04N 19/13 20140101AFI20240517BHJP

   H04N 19/176 20140101ALI20240517BHJP

【ＦＩ】

H04N19/13

H04N19/176

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023575575

(86)(22)【出願日】2022-04-25

(85)【翻訳文提出日】2023-12-22

(86)【国際出願番号】 US2022026204

(87)【国際公開番号】W WO2022260771

(87)【国際公開日】2022-12-15

(31)【優先権主張番号】17/341,233

(32)【優先日】2021-06-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ワン、ジェイソン

(72)【発明者】

【氏名】スリバスタバ、マノージュ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159PP04

5C159RC11

5C159TA59

5C159TB08

5C159TC41

5C159TC42

5C159TD15

5C159UA02

5C159UA05

(57)【要約】

【解決手段】ＣＡＢＡＣ符号化媒体の改良された復号のための方法、システム、及びコンピュータ可読媒体が記載される。復号ループは、コンテキスト確率を使用して、符号化された２進要素のシーケンスから、符号化された２進要素を復号して、復号された２進要素を生成することを含む。このシーケンス内の次の符号化された２進要素に対する次のコンテキスト確率が、復号された２進要素から決定され、この次の符号化された２進要素を復号するための次のコンテキスト確率が次の反復のために復号ループに提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

ＣＡＢＡＣ符号化媒体を復号する方法であって、
コンテキスト確率を使用して、符号化された２進要素のシーケンスから、前記符号化された２進要素を復号して、復号された２進要素を生成することと、
前記復号された２進要素から、前記シーケンス内の次の符号化された２進要素に対する次のコンテキスト確率を決定することと、
前記次の符号化された２進要素を復号するために、前記次のコンテキスト確率を、次の反復の復号ループに提供することと、
を含む、前記復号ループを含む、方法。

【請求項2】

次の符号化された２進要素に対する前記次のコンテキスト確率を決定することは、前記次のコンテキスト確率を決定するためのコンテキストを提供するように構成されている有限状態機械の状態を前進させることを含む、請求項１に記載の方法。

【請求項3】

前記復号ループは、前記復号された２進要素、及び前記有限状態機械の前記状態を用いて、ルックアップテーブル内の前記次のコンテキスト確率をルックアップすることをさらに含む、請求項２に記載の方法。

【請求項4】

前記ルックアップテーブルは、プロセッサのデータキャッシュに格納される、請求項３に記載の方法。

【請求項5】

前記復号ループが、第１の処理スレッドで処理される、請求項１に記載の方法。

【請求項6】

前記復号ループの終了状態で、以前に復号された２つ以上の要素から、復号された２進列を出力することと、前記復号された２進列の構文を構文解析して、第２の処理スレッドで前記構文解析された構文から、復号されたシンボルを生成することと、をさらに含む、請求項５に記載の方法。

【請求項7】

前記復号ループが、第１のプロセッサコアで処理される、請求項１に記載の方法。

【請求項8】

前記復号ループの終了状態で、以前に復号された２つ以上の要素から、復号された２進列を出力することと、復号された２進列の構文を構文解析して、第２のプロセッサコアで前記構文解析された構文から、復号されたシンボルを生成することと、をさらに含む、請求項７に記載の方法。

【請求項9】

前記復号ループの終了状態で、以前に復号された２つ以上の要素から、復号された２進列を出力することと、復号された２進列の構文を構文解析して、グラフィック処理装置で前記構文解析された構文から、復号されたシンボルを生成することと、をさらに含む、請求項７に記載の方法。

【請求項10】

符号化された離散コサイン変換係数、動きベクトルまたはブロック予測モードに対する２進列を復号することをさらに含む、請求項１に記載の方法。

【請求項11】

複数の構文解析器を並列に実行することをさらに含む、請求項１に記載の方法。

【請求項12】

前記有限状態機械のための命令は、プロセッサの命令キャッシュに格納される、請求項２に記載の方法。

【請求項13】

ＣＡＢＡＣ符号化媒体を復号するためのシステムであって、
プロセッサと、
前記プロセッサに結合されたメモリと、
前記メモリに具体化されたプロセッサ実行可能命令であって、前記命令が、
コンテキスト確率を使用して、符号化された２進要素のシーケンスから、符号化された２進要素を復号して、復号された２進要素を生成することと、
前記復号された２進要素から、前記シーケンス内の次の符号化された２進要素に対する次のコンテキスト確率を決定することと、
前記次の符号化された２進要素を復号するために、前記次のコンテキスト確率を、次の反復の復号ループに提供することと、
を含む、前記復号ループを含む、ＣＡＢＡＣ符号化媒体を復号する方法を実装するように構成されている、前記命令と、
を備える、システム。

【請求項14】

次の符号化された２進要素に対する前記次のコンテキスト確率を決定することは、前記次のコンテキスト確率を決定するためのコンテキストを提供するように構成されている有限状態機械の状態を前進させることを含む、請求項１３に記載のシステム。

【請求項15】

前記復号ループは、前記復号された２進要素、及び前記有限状態機械の前記状態を用いて、ルックアップテーブル内の前記次のコンテキスト確率をルックアップすることをさらに含む、請求項１４に記載のシステム。

【請求項16】

前記ルックアップテーブルは、前記プロセッサのデータキャッシュに格納されている、請求項１５に記載のシステム。

【請求項17】

前記復号ループが、前記プロセッサの第１の処理スレッドで処理され、前記復号ループが、前記復号ループの終了状態で、以前に復号された２つ以上の要素から、復号された２進列を出力することをさらに含む、請求項１３に記載のシステム。

【請求項18】

前記復号された２進列の構文を構文解析して、前記プロセッサの第２の処理スレッドで前記構文解析された構文から、復号されたシンボルを生成するように構成される構文解析器をさらに備える、請求項１７に記載のシステム。

【請求項19】

前記復号ループが、前記プロセッサの第１のプロセッサコアで処理され、前記復号ループが、前記復号ループの終了状態で、以前に復号された２つ以上の要素から、復号された２進列を出力することをさらに含む、請求項１３に記載のシステム。

【請求項20】

前記復号された２進列の構文を構文解析して、前記プロセッサの第２のプロセッサコアで前記構文解析された構文から、復号されたシンボルを生成するように構成される構文解析器をさらに備える、請求項１９に記載のシステム。

【請求項21】

復号された２進列の構文を構文解析して、グラフィック処理装置で前記構文解析された構文から、復号されたシンボルを生成するように構成された構文解析器を有する前記グラフィック処理装置をさらに備え、前記復号ループが、前記復号ループの終了状態で、以前に復号された２つ以上の要素から、復号された２進列を出力することをさらに含む、請求項１３に記載のシステム。

【請求項22】

前記復号ループが、前記復号ループの終了状態で、以前に復号された２つ以上の要素から、復号された２進列を出力することをさらに含み、前記方法が、符号化された離散コサイン変換係数、動きベクトルまたはブロック予測モードに対する２進列を復号することをさらに含む、請求項１３に記載のシステム。

【請求項23】

並列に実行される複数の構文解析器をさらに備える、請求項１３に記載のシステム。

【請求項24】

前記有限状態機械の命令が、前記プロセッサの命令キャッシュに格納される、請求項１４に記載のシステム。

【請求項25】

コンピュータ可読命令が具体化された非一時的コンピュータ可読媒体であって、前記命令が、コンピュータによる実行時にＣＡＢＡＣ符号化媒体を復号する方法を実装するように構成されており、前記方法が、
コンテキスト確率を使用して、符号化された２進要素のシーケンスから、符号化された２進要素を復号して、復号された２進要素を生成することと、
前記復号された２進要素から、前記シーケンス内の次の符号化された２進要素に対する次のコンテキスト確率を決定することと、
前記次の符号化された２進要素を復号するために、前記次のコンテキスト確率を、次の反復の復号ループに提供することと、
を含む、前記復号ループを含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の態様は、符号化された媒体の復号に関する。特に、本開示の態様は、改善されたコンテキスト適応型２値算術コード化（ＣＡＢＡＣ）の復号に関する。

【背景技術】

【0002】

図１に示されているように、先行技術のＣＡＢＡＣ復号は密なループである。ＣＡＢＡＣ復号エンジン１０２は、復号すべき各二分決定（ビン）１０１に対して、ビンの確率テーブル１０７から、ビンがゼロまたは１である確率を求めなければならない。コンテキスト適応型２値算術コード化という名前が示すように、確率は、このビンのコンテキスト１０６に依存する。例としてＶＰ９デコーダを使用すると、全てのＤＣＴ係数が同じ整数ビット深度によって表される場合、コンテキストがなければ各ビット位置における０または１の確率は同じである。例えば、同じビット深度整数全ての最上位ビットは同じ確率を共有する。ＤＣＴ係数の真の確率を解決するには、コンテキストが決定されなくてはならない。

【0003】

ビンの正しいコンテキストを検出する（１０６）ために、デコーダは構文解析器１０４を実行して、それまでに復号された全てのビン１０３を構文解析し、復号されたシンボル１０５を決定しなければならない。例えば、構文解析器は、現在の係数のビット深度が５（４値ビットと１符号ビット）であることを検出し、この係数に対して４つのビンが復号されていることを検出するものとする。この場合、構文解析器は、４ビットが係数であると判定したときに、次のビンがこの係数の符号ビットを表すと判定する。この情報を知ることにより、ＣＡＢＡＣエンジンは、符号ビットビンを復号するための正しい確率を選択することができる。ＣＡＢＡＣエンジンは、次のビンを復号する前に、構文解析器が最後のビン構文解析を完了するのを常に待機する。これによって、ビンレベルでのデータ依存性が得られる。

【0004】

現代の汎用プロセッサは、複数のプロセッサコアを有し、各プロセッサコアは、複数の計算ユニットを有する。複数のプロセッサコアは、スレッドレベル並列を利用することができ、複数の計算ユニットは、命令レベル並列を利用することができる。しかしながら、ＣＡＢＡＣビンの復号は密なループであるため、複数のスレッドにおいて単一のループを実行すると、ループの反復ごとに大きなスレッド間通信遅延が生じる。ＣＡＢＡＣアルゴリズムは、ビンレベルでデータの依存関係を形成するので、ＣＡＢＡＣアルゴリズムには、複数の計算ユニットに対する命令レベルの並列性もない。その結果、ＣＡＢＡＣ復号ループは、コアごとに複数のプロセッサコア及び複数の計算ユニットを利用することができない。したがって、汎用プロセッサを用いたＣＡＢＡＣ復号の性能は悪くなる傾向にある。

【0005】

ＣＡＢＡＣエントロピーコード化は、ＡＶＣ（Ｈ．２６４）、ＨＥＶＣ（Ｈ．２６５）、ＶＶＣ（Ｈ．２６６）、ＶＰ９、及びＡＶ１などのビデオ圧縮規格では一般的である。現在のところ、専用のハードウェアデコーダだけが、１００Ｍｂｐｓ超の制約無しのＣＡＢＡＣストリームをリアルタイムで復号できる。コンシューマグレードのプロセッサコア１つだけでは、そのようなストリームを復号するためには速さが十分ではない。既存の汎用プロセッサによって高ビットレートでリアルタイムの復号を可能にする唯一の実現可能なアプローチは、並列復号である。残念なことに、ＣＡＢＡＣストリームに適した並列復号は存在しない。ビデオコード化規格では、マルチスライス、マルチタイル、及びウエーブフロントなどの並列復号を可能にするために、複数のコード化ツールまたは制約が導入されている。しかし、これらのツールまたは制約は、コード化効率を若干低下させる可能性があり、全てのエンコーダが、これらのコード化ツールをサポートするわけではなく、または制約を受け入れるわけではない。最適には、デコーダは、全ての入力ストリームがそのようなツールまたは制約を有していることを前提とするべきではない。

【0006】

こうした文脈の中で、本開示の態様が生じる。

【図面の簡単な説明】

【0007】

本開示の教示は、添付図面とあわせて以下の詳細な説明を検討することによって容易に理解できる。

【0008】

【図1】ＣＡＢＡＣ符号化媒体を復号するための先行技術の方法のフロー図である。

【図2】本開示の態様による、ＣＡＢＡＣ符号化媒体を復号するための改善された方法のフロー図である。

【図3】本開示の態様による、ＣＡＢＡＣ符号化媒体を復号するための改善された方法における状態機械の動作のフロー図である。

【図4】本開示の態様による、ＣＡＢＡＣ符号化構文要素を復号するための二分決定木としての状態機械の実装を表すツリー図である。

【図5】本開示の態様のコンテキスト内でのストリーミングデータピクチャの１つの可能な分割を例示する概略図である。

【図6】本開示の態様に従って動作するように構成されているコンピュータシステムの一例を例示するブロック図である。

【発明を実施するための形態】

【0009】

以下の詳細な説明は、例示を目的として多くの具体的な詳細を含むが、当業者は、以下の詳細に対する多くの変形及び改変が本発明の範囲内にあることを認識する。したがって、以下で説明される発明の例示的な実施形態は、特許請求される発明への一般性を失うことなく、及び特許請求される発明への限定を課すことなく示される。

【0010】

本開示の態様は、並列復号ツール及び制約を導入したビデオ規格から独立して並列ＣＡＢＡＣ復号を可能にする。並列ＣＡＢＡＣの実装は、複数のＣＰＵコアまたはＣＰＵ／ＧＰＵの計算能力を利用して、高ビットレートの制約されていないＣＡＢＡＣストリームをリアルタイムで復号することができる。既存の並列化ソリューションは、並列化のための分割位置を決定するために、エンコーダ規格によって定義されたエンコーダからの情報を用いて、スライス、行またはタイルのレベルでピクチャを復号するタスクを分割する。ビデオ符号化規格の中には、並列復号のためにピクチャを分割するためのエンコーダからの情報を得ていないため、並列化が不可能なものもある。また、並列復号のためにピクチャを分割する情報は、ピクチャと共に符号化すべき追加データを必要とする。したがって、フレームがピクチャを分割するための情報と共に符号化されると、コード化効率が低下する。本開示の態様は、ピクチャを分割するための情報が不足しているビデオ規格での並列ＣＡＢＡＣ復号を可能にする方法を提供する。

【0011】

ＣＡＢＡＣ復号の並列化の改善された方法を説明する前に、デジタルピクチャ、例えば、ビデオピクチャが、ストリーミングアプリケーション及びストレージアプリケーション向けにどのように符号化／復号されるかを理解することが有用である。本開示の態様の文脈では、ビデオピクチャデータは、コード化及び復号に適したサイズのユニットで分解され得る。例えば、ビデオデータの場合には、このビデオデータは複数のピクチャに分解され得、各ピクチャは一連の画像における特定の画像に相当する。ビデオデータの各ユニットは、サイズの異なるサブユニットに分解されてもよい。一般的に、各ユニット内には、いくつかの最小または基本的なサブユニットが存在する。ビデオデータの場合、各ビデオフレームは、複数のピクセルに分解され得、各ピクセルはルマ（輝度）データ及びクロマ（色）データを含む。

【0012】

例として、及び限定することなく、図５に示されるように、単一のピクチャ５００（例えば、デジタルビデオフレーム）は、１つ以上のセクションに分解され得る。本明細書で使用するとき、用語「セクション」は、ピクチャ５００内の１つ以上のルマサンプルまたはクロマサンプルのグループを指すことがある。セクションは、ピクチャ内の単一のルマサンプルまたはクロマサンプルからピクチャ全体までの範囲にわたり得る。セクションの非限定的な例は、スライス（例えば、マクロブロック行）５０２、マクロブロック５０４、サブマクロブロック５０６、ブロック５０８、及び個々のピクセル５１０を含む。図５に例示されるように、各スライス５０２は、マクロブロック５０４の１つ以上の行、または１つ以上のそのような行の一部を含む。行内のマクロブロックの数は、マクロブロックのサイズ、ならびにピクチャ５００のサイズ及び解像度によって決まる。例えば、各マクロブロックが１６×１６のクロマサンプルまたはルマサンプルを含む場合、各行内のマクロブロックの数は、ピクチャ５００の幅（クロマサンプル単位またはルマサンプル単位）を１６で割ることによって求められ得る。各マクロブロック５０４は、いくつかのサブマクロブロック５０６に分解され得る。各サブマクロブロック５０６は、いくつかのブロック５０８に分解され得、各ブロックは、いくつかのクロマサンプルまたはルマサンプル５１０を含み得る。例として、及び限定することなく、一般的なビデオコード化スキームでは、各マクロブロック５０４は、４つのサブマクロブロック５０６に分解されてもよい。各サブマクロブロックは、４つのブロック５０８に分解されてもよく、各ブロックは、１６個のクロマサンプルまたはルマサンプル５１０の４×４配列を含んでもよい。

【0013】

Ｈ．２６５などの一部のコーデックは、符号化のために所与のピクチャを異なるサイズの２つ以上のセクションに分解できるようにする。具体的には、Ｈ．２６５規格は、ピクチャをパーティショニングするという「タイル」概念を導入している。タイルは、ピクチャの独立に復号可能な領域であり、いくつかの共有ヘッダ情報と共に符号化される。タイルは、追加的に、ビデオピクチャの局所領域への空間的ランダムアクセスを目的に使用され得る。ピクチャの典型的なタイル構成は、各タイルにおおよそ同数のコード化ユニット（ＣＵ）を有する矩形領域にピクチャをセグメント化することで構成される。コード化ユニットは、Ｈ．２６４規格のマクロブロック（ＭＢ）に類似している。ただし、ＣＵのサイズはエンコーダによって設定することができ、マクロブロックよりも大きくすることができる。ＣＵのサイズは、ピクチャの最良のパーティショニングのために、ビデオコンテンツに応じて柔軟かつ適応的に合わせることができる。

【0014】

各ピクチャは、フレームまたはフィールドのいずれかであり得ることに留意されたい。フレームは、完全画像を指す。フィールドは、特定のタイプのディスプレイデバイス上で画像を表示することを促進するために使用される画像の一部である。一般に、画像内のクロマサンプルまたはルマサンプルは、行に配列される。表示を促進するために、画像は、ピクセルの行を交互に２つの異なるフィールドに分けることによって分割されることがある。その場合、２つのフィールド内のクロマサンプルまたはルマサンプルの行が、完全画像を形成するようにインタレースされ得る。陰極線管（ＣＲＴ）ディスプレイなどの一部のディスプレイデバイスでは、２つのフィールドが、単に続けざまに相次いで表示され得る。ディスプレイでピクセルを照明するために使用される蛍光体、または他の発光素子の残光が残像性と相まって、２つのフィールドが連続像として知覚されることになる。液晶ディスプレイなど特定のディスプレイデバイスでは、表示される前に２つのフィールドを単一のピクチャにインタレースする必要がある場合がある。符号化画像を表すストリーミングデータは、画像がフィールドであるかまたはフレームであるかを示す情報を含む場合があり、あるいは規格によっては、そのような情報が無い場合がある。そのような情報は、画像へのヘッダに含まれてもよい。

【0015】

ＭＰＥＧ２、ＭＰＥＧ４、及びＨ．２６４などの現代のビデオコーダ／デコーダ（コーデック）は、一般に、典型的にはＩフレーム、Ｐフレーム、及びＢフレームとそれぞれ称される、イントラフレーム、予測フレーム、及び両方向予測フレームとして知られる３つの基本的なタイプのうちの１つとしてビデオフレームを符号化する。

【0016】

Ｉフレームは、それ自体を除くピクチャを全く参照することなくコード化されたピクチャである。Ｉフレームは、ランダムアクセスのために使用され、他のＰフレームまたはＢフレームの復号のための参照として使用される。Ｉフレームは、ランダムアクセスポイント（デコーダが所与のピクチャ位置においてゼロから適切に復号を開始することを可能にする）を生じさせるためにエンコーダによって生成されることがある。Ｉフレームは、画像の詳細を区別することが、有効なＰフレームまたはＢフレームの生成を禁止する場合に生成されてもよい。Ｉフレームが完全なピクチャを含むことを理由に、Ｉフレームは典型的には、ＰフレームまたはＢフレームよりも符号化するために多くのビットを必要とする。ビデオフレームは、多くの場合、入力ビデオ内でシーンの変更が検出されると、Ｉフレームとして符号化される。

【0017】

Ｐフレームは、復号されるために、いくつかの他のピクチャ（複数可）の事前復号を必要とする。Ｐフレームは、典型的には、Ｉフレームよりも符号化のために少ないビットを必要とする。Ｐフレームは、復号順序で前のＩフレームに対する差分に関する符号化情報を含む。Ｐフレームは、典型的には、グループオブピクチャ（ＧｏＰ）内の先行するＩフレームを参照する。Ｐフレームは、画像データ及び動きベクトル変位の両方、ならびにその２つの組み合わせを含んでもよい。いくつかの標準コーデック（ＭＰＥＧ－２など）では、Ｐフレームは、復号中に参照として以前に復号されたピクチャを１つだけ使用し、そのピクチャが表示順序でＰフレームに先行することも必要とする。Ｈ．２６４では、Ｐフレームは、復号中に参照として以前に復号された複数のピクチャを使用することができ、その予測に使用されるピクチャ（複数可）に対していずれかの任意の表示順序関係を有することができる。

【0018】

Ｂフレームは、復号されるためにＩフレームまたはＰフレームのいずれかの事前復号を必要とする。Ｐフレームと同様に、Ｂフレームは、画像データ及び動きベクトル変位の両方、及び／またはその２つの組み合わせを含んでもよい。Ｂフレームは、以前に復号された２つの異なる参照領域を使用して取得された予測を平均化することによって、動き領域（例えば、マクロブロックまたはより小さなエリアなどのフレームのセグメント）の予測を形成するいくつかの予測モードを含んでもよい。いくつかのコーデック（ＭＰＥＧ－２など）では、Ｂフレームは、他のピクチャの予測のための参照として使用されることはない。結果として、そのようなＢピクチャには、細部が失われても後続ピクチャの予測品質に悪影響を与えないことを理由に、より低品質の符号化（通常よりも使用するビットが少なくなる）が使用されてもよい。Ｈ．２６４などの他のコーデックでは、Ｂフレームは、（エンコーダの判定により）他のピクチャの復号のための参照として使用される場合、または参照として使用されない場合がある。いくつかのコーデック（ＭＰＥＧ－２など）は、復号中に参照として以前に復号されたピクチャを正確に２つ使用し、それらのピクチャのうちの１つが表示順序でＢフレームピクチャに先行し、もう１つがそれに続くことを求める。Ｈ．２６４などの他のコーデックでは、Ｂフレームは、復号中に参照として以前に復号されたピクチャを１つ、２つ、または３つ以上使用する場合があり、その予測に使用されるピクチャ（複数可）に対していずれかの任意の表示順序関係を有することができる。Ｂフレームは、典型的には、ＩフレームまたはＰフレームのいずれかよりも符号化に少ないビットを必要とする。

【0019】

本明細書で使用されるように、用語Ｉフレーム、Ｂフレーム、及びＰフレームは、例えば、ストリーミングビデオのコンテキストに関して上記説明されたように、Ｉフレーム、Ｂフレーム、及びＰフレームと類似した特性を持ついずれかのストリーミングデータユニットに適用されてもよい。

【0020】

デジタルビデオピクチャを符号化するために、エンコーダは、複数のデジタル画像を受信し、各画像を符号化する。デジタルピクチャの符号化は、セクションごとに進められ得る。本明細書で使用するとき、画像圧縮は、デジタル画像にデータ圧縮を適用することを指す。画像圧縮の目的は、所与の画像のデータを効率的な圧縮データの形式で記憶または伝送することを可能にするために、その画像の画像データの冗長性を削減することである。

【0021】

エントロピー符号化は、コード長が信号の確率にマッチするように信号にコードを割り当てるコード化方式である。典型的には、エントロピーエンコーダは、等しい長さのコードによって表されるシンボルを、確率の負の対数に比例したコードによって表されるシンボルと置き換えることによって、データを圧縮するために使用される。

【0022】

ＣＡＢＡＣは、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣ及び高効率ビデオコード化（ＨＥＶＣ）規格で使用されるエントロピー符号化の一形態である。ＣＡＢＡＣは、ビデオ符号化で使用される他のほとんどのエントロピー符号化アルゴリズムよりもはるかに優れた圧縮を提供することが特徴的であり、Ｈ．２６４／ＡＶＣ符号化方式に、以前のものよりも優れた圧縮能力を提供する主要な要素の１つである。しかしながら、ＣＡＢＡＣが算術コード化を使用するということは、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）よりも復号に大きな処理量を要求することがあることを留意されたい。

【0023】

研究から、ＣＡＢＡＣビン復号を実行するために以下の演算が必要であることが判明した。これらの演算は、ＣＡＢＡＣコア演算と称される。
１． 前に復号された全てのビンに従って、次のビンのためのコンテキストを選択する。
２． 次のビンの確率を求める。
３． 次のビンを復号する。

【0024】

この開示の洞察は、全ての構文解析器タスクがＣＡＢＡＣコア演算に属しているわけではないことである。例えば、ＤＣＴ係数の復号では、４つの値のビットビン及び１つの符号のビットビンを全て復号した後に、デコーダは、符号付き整数を再構築し、これをＤＣＴ係数マトリクスに格納する。整数再構築及び格納のプロセスは、ＣＡＢＡＣコア演算ではなく、ＣＡＢＡＣ復号を行うスレッドとは切り離された別のスレッドに移すこともあり得る。ＣＡＢＡＣビン復号は、算術計算及びテーブルルックアップを行うのに必要な演算がほとんどない、非常に密なループである。これに反して、構文解析器は格段に大きい。構文シンボルの各タイプは、再構築するための専用のコードブロックを有する。

【0025】

符号化システムの文法がスーパーブロックレベルまたはマクロブロックのレベルでコンテキストレスである場合、そのレベルでの状態とＣＡＢＡＣビンコンテキストとの間には多対１の関係があることが判明している。換言すれば、機械状態を使用して、スーパーブロックレベルまたはマクロブロックレベルでＣＡＢＡＣビンのコンテキストをルックアップすることができる。シンボル再構築がＣＡＢＡＣ復号スレッドから除かれる場合、コンテキストのない文法で全てのシンボルを復号するように、有限状態機械が定義され得る。復号サイクルの構文再構築関数を除くことにより、少なくともサイクルの重い構文要素全てが、有限状態機械によって構文解析されることが可能になる。サイクルの重い構文要素は、ＤＣＴ係数、動きベクトル、及びブロック予測モードなどの復号されたシンボルを含む。ループに依存し、状態機械を使用して再構築できないいくつかのシンボルが存在し、典型的には、これらのシンボルはピクチャレベルであり、先行技術で使用されているシンボル依存コンテキストルックアップを用いて復号され得ることに留意すべきである。

【0026】

図２に示されているように、ＣＡＢＡＣエンジン２０８と構文解析器２０９との間の分離によって、シンボルを完全に再構築することなく（２０５）、復号された２進列（「構文要素の２値化」または「ビン列」とも称される場合がある）を使用して、ＣＡＢＡＣエンジン２０８内にループを形成することができる。ＣＡＢＡＣエンジン２０８は、ＣＡＢＡＣ符号化入力ストリーム２０１を受信すること、復号されたビン列２０３を生成するＣＡＢＡＣ復号エンジン２０２、現在の２進要素（本明細書では「ビン」とも呼ばれる）が復号されたときに状態を進め、コンテキスト確率ルックアップテーブル２０７にコンテキストを提供するコンテキスト状態機械２０６を含む。コンテキスト確率テーブル２０７は、状態機械２０６からの状態及び現在の復号された２進要素２０３と共に使用されて、次の２進要素が１または０になる確率をＣＡＢＡＣ復号エンジン２０２に提供する。本明細書で使用される場合、２進要素またはビンは、ビット列の単一ビットである。２進列またはビンは、２進要素の集合であり、構文要素の２値化からの構文要素の値の中間表現である。

【0027】

復号された２進要素２０３からのコンテキスト確率、及び有限状態機械２０６の状態を解決することにより、プログラムサイズの縮小が可能となり、さらに、構文解析への依存性が無くなるため、並列処理が可能となる。構文再構築をＣＡＢＡＣ復号スレッドから抜き出した後、スレッドは、既存のマルチコアプロセッサのＣＰＵコアのレベル１命令キャッシュに容易に収まり得る。コンテキスト確率テーブル２０７は、ＣＰＵのデータキャッシュにロードされるのに十分に小さくなり得る。ＣＡＢＡＣエンジン２０８は、構文解析器２０９から独立して動作して、密なループでビンを復号することができる。これによってさらに、様々な程度の並列性が可能になる。構文解析器２０９の複数のインスタンスは、プロセッサの別個のスレッドまたはプロセッサの別個のコアで実行することができ、ＣＡＢＡＣエンジン２０８は、構文解析器２０９を実行する別個のコアにビンを供給することができる。いくつかの代替的な実装では、ＣＡＢＡＣエンジン２０８は、中央処理装置（ＣＰＵ）上に実装することができ、構文解析器２０９は、１つ以上のグラフィック処理装置（ＧＰＵ）上に実装することができる。いくつかの他の代替的な実装では、ＣＡＢＡＣエンジン２０８は、プロセッサのＣＰＵコア上に実装されてもよく、構文解析器２０９は、プロセッサのＧＰＵコア上に実装されてもよい。

【0028】

構文解析器２０９は、ＣＡＢＡＣエンジン２０８からの復号されたビン列２０３を復号されたシンボル２０５に変換する構文解析演算２０４を実装し得る。構文解析器は、各シンボルを個別に復号するために並列に実行され得る符号化規格における各タイプの構文シンボルに対して専用のコードブロックを含み、または並列性を高めるために、構文解析器２０９は、スーパーブロック、マクロブロック、またはブロックのレベルでシンボルを同時に復号してもよい。構文解析器２０９をＣＡＢＡＣエンジン２０８から分離することにより、構文解析演算の並列化が可能になる。そのような並列化は、１つのコアまたは複数のコア、あるいはコア内の計算ユニットで実行され得る、並列スレッドの実装を含み得る。

【0029】

ＣＡＢＡＣエンジン２０８に戻ると、図３は、本開示の態様による有限状態機械の例示的な実装を示す。図示されているように、有限状態機械は、初期状態３０１を取得し、初期状態を現在の状態に前進させる。システムは、次の状態を決定するために、（前のビンが復号された場合に）最後に復号されたビン値を有する有限状態機械の現在の状態を使用する（３０６）。次の状態は、ルックアップテーブル３０２を用いて、次のビンのコンテキスト確率を決定するために使用される。いくつかの実装では、コンテキスト状態機械２０６は、２つの別個のルックアップ演算を実行することができ、コンテキスト状態機械は、自機の状態からコンテキストをルックアップするために使用する内部ルックアップテーブルを含むことができる。状態機械２０６の内部ルックアップテーブルから求められた現在のコンテキストを用いて、次に状態機械は、コンテキスト確率ルックアップテーブル２０７からビン確率をルックアップすることができる。任意の好適な方法を使用して、コンテキストからビン確率を求めることができる。例として、限定としてではなく、１つの方法は、所与のコンテキストに対してビン確率を一定と定義し、したがって各コンテキストが配列内で確率を有する方法である。代替的な例として、限定としてではなく、もう１つの方法は、コンテキストによってインデックスされる確率の配列を有する方法である。ＣＡＢＡＣエンジンは、同じコンテキストを有する前のビンの復号結果に従って配列のエントリを更新し得る。

【0030】

コンテキスト確率が求められると、そのコンテキスト確率をＣＡＢＡＣ復号エンジン２０２に供給すること（３０７）が可能であり、ＣＡＢＡＣ復号エンジン２０２は、そのコンテキスト確率を使用して、次のビン値を決定し得る。ＣＡＢＡＣ復号エンジン２０２の入力は、入力ＣＡＢＡＣストリーム２０１、及びルックアップテーブル３０２を用いて決定されたコンテキスト確率である。コンテキスト確率を提供した後、状態機械は、次の状態が終了状態であるかどうかを判定するためのチェックを実行する（３０３）。次の状態が終了状態でない場合（いいえ）、状態機械は、次の状態を現在の状態に変更し（３０４）、ビン値３０６及び現在の状態３０４を取得し、ルックアップテーブル３０２を使用して次のコンテキスト確率を決定するなどによって、ループを継続する。

【0031】

次の状態が終了状態である場合（はい）、有限状態が終了プログラム状態３０５に入る。ＣＡＢＡＣ復号ループは、先に復号された全ての２進要素から、復号されたビン列を出力する。例えば、限定するものではないが、ＣＡＢＡＣ復号ループは、２つ以上の先行して復号された２進要素を有する復号された２進列を出力することができる。終了プログラム状態３０５は、ブロック、マクロブロックまたはスーパーブロックの終了を示す付加的なエントリを含むことができる。状態エントリの終了は、シンボルのタイプを示すいくつかの２進数を含むことができ、復号されたビン列を適切な構文解析器に向かわせる。いくつかの実装では、並列に動作する複数の構文解析器が存在し、状態エントリの終了を用いて、復号されたビン列を、対応する復号されたビン列にシンボルをマッチさせる適切な構文解析器に向かわせることができる。あるいは、構文解析器は、エントリの終了フラグを使用して、適切な構文解析演算を選択することができる。

【0032】

したがって、ＣＡＢＡＣ符号化媒体の改善された復号を行う方法は、復号ループを含むことができ、この復号ループは、コンテキスト確率を使用して、符号化された２進要素のシーケンスから、符号化された２進要素を復号して、復号された２進要素を生成することを含み得る。次のコンテキスト確率が、復号された２進要素からのシーケンスにおける次の符号化された２進要素について決定され、次の反復のために復号ループに提供される。次の符号化された２進要素に対する次のコンテキスト確率を決定することは、次のコンテキスト確率を決定するためのコンテキストを提供するように構成されている有限状態機械の状態を前進させることを含み得る。有限状態機械のための命令は、プロセッサの命令キャッシュに格納され得る。さらに、復号された２進要素及び有限状態機械の状態を用いてルックアップテーブル内の次のコンテキスト確率をルックアップすることにより、ルックアップテーブルが使用され得る。ルックアップテーブルは、プロセッサのデータキャッシュに格納されてもよい。いくつかの実装では、復号された２進列が、復号ループの終了状態で、先行して復号された２つ以上の２進要素のシーケンスから生成されてもよい。以前に復号された２つ以上の２進要素は、符号化された２進シーケンスから復号された全ての２進要素であり得ることを理解されたい。復号ループは、第１の処理スレッドで処理されてもよく、復号された２進列の構文を構文解析して、構文解析された構文から復号されたシンボルを生成することは、第２の処理スレッドで行われてもよい。他の実装では、復号ループは第１のプロセッサコアで処理されてもよく、復号された２進列の構文を構文解析して、構文解析された構文から復号されたシンボルを生成することは、第２のプロセッサコアで実行されてもよい。さらに他の実装では、復号ループはプロセッサで処理されてもよく、復号された２進列の構文を構文解析して、構文解析された構文から復号されたシンボルを生成することは、グラフィック処理装置で実行されてもよい。ＣＡＢＡＣ符号化媒体を復号するための改善された方法は、並列に動作する複数の構文解析器を含んでもよく、復号された２進列の構文を構文解析して、この構文解析された構文から復号されたシンボルを生成する。ＣＡＢＡＣ符号化媒体を復号するための改善された方法は、符号化された離散コサイン変換係数、動きベクトルまたはブロック予測モードのための２進要素を復号することをさらに含み得る。

【0033】

図４は、最終的なシンボル値決定で終わる二分決定木として示されている有限状態機械の実装を示す。この二分決定木中の各ノードは、状態機械の状態を表す。第１の状態４０１は、関連する確率を有し得る２つの２進選択肢を有する。第１の状態４０１のビン値がゼロの場合、状態機械は、シンボル値０の終了状態４０２に進む。第１の状態４０１のビン値が１の場合、状態機械は、第２の状態４０３に進み、第２のビン値を決定する。第１の状態と同様に、第２の状態も、関連するコンテキスト確率を伴う２つの選択肢を有する。第２の状態４０３の２進値が１であると決定された場合、状態機械は、シンボル値４を有する終了状態４０４に進む。値が０であると決定された場合、状態機械は第３の状態４０５に進み、第３のビン値を決定する。上記のように、コンテキスト確率を使用して状態値を決定することができ、値が１であれば、状態は終了状態に進み、シンボル値は３に決定される（４０６）。値が０であると決定された場合、状態は第４の状態４０７に進み、これまでのように２進値が決定される。ここでは、第４の状態は、終了状態であり、したがって、両方のビン値が、終了シンボル値を提供する。２進値が０の場合、シンボル値は１であると決定され（４０８）、２進値が１の場合、終了シンボル値は２である（４０９）。状態は、最終的な値に到達するように組み合わされ得るビン値を表す。例えば、３のシンボル値に対しては、状態ツリーを介して処理することによって、１０１の２進数が生成される。

【表1】

上記表１は、図４に示されているような状態機械の例をルックアップテーブルとして示す。表１の第１の列は、状態機械の現在の状態を表す。状態は、シンボルを完全に復号する必要なく、コンテキストを追跡する。現在の状態の２進値が決定されると、テーブルを使用して、次の状態及び次の状態の確率が決定され得る。例えば、第１の２進値が１である場合、状態機械は、次の状態の列に示される第２のビンに進み、次のビンが０である確率が最終列に提供される。この確率は、テーブルで使用される値ビンを決定するためにＣＡＢＡＣ復号エンジンに提供される。したがって状態機械は、コンテキスト確率決定を支援するために、表１に示したものと同様の表を含むことができる。

【0034】

復号されたシンボルのコンテキスト依存性の性質は、シンボル間でコンテキスト確率が異なることを意味するので、復号対象の各シンボルに対して、表１などの別のコンテキストテーブル、及び別の状態機械が必要となり得る。いくつかの実装では、特定の記号についてテーブル内の一部のデータのみを置き換えることによって、テーブルの数を減らすことができる。例えば、限定するものではないが、いくつかのシンボルコンテキスト確率がほぼ同一の場合があり、それらのテーブルが数エントリしか異なっていない場合がある。ほぼ同一のテーブルを処理するために、新たなテーブル全体をデータキャッシュにロードするのではなく、既にロードされたテーブルにおいて、シンボルが異なるエントリのみを変更することができる。したがって、データバッファをフラッシュし、新たなテーブルを書き込むのに必要なサイクルを減らすことができる。

【0035】

図６は、本開示の態様によるビデオコード化を実装するために使用され得るコンピュータシステム６００のブロック図を例示する。システム６００は、一般に、メインバス６０５を介して通信するメインプロセッサ６０３、メモリ６０４、及びグラフィック処理装置（ＧＰＵ）６２６を含み得る。プロセッサ６０３は、１つ以上のプロセッサコア、例えば、シングルコア、デュアルコア、クアッドコア、プロセッサ－コプロセッサ、セルプロセッサ、アーキテクチャなどを含み得る。各コアは、相互に並行して命令を処理することができる１つ以上の処理スレッドを含み得る。プロセッサは、システム用のＧＰＵとして機能し得る１つ以上の統合グラフィックコアを含むことができる。

【0036】

本開示のいくつかの実装では、プロセッサ６０３は、ＣＡＢＡＣエンジン６２３及び構文解析器６２４を実行することができる。ＣＡＢＡＣエンジン６２３は、プロセッサ６０３の命令キャッシュに収まるほどデータサイズが十分に小さい状態機械命令を含み得る。ＣＡＢＡＣエンジン６２３はまた、ＣＡＢＡＣ復号されたバイナリ構文要素と状態機械からの状態とを、次の符号化された２進構文要素のためのコンテキスト確率に変換するために、１つ以上のコンテキストテーブルを含み得る。例えば、限定するものではないが、コンテキスト確率を決定するための２つのルックアップ演算である、第１の演算は、機械状態の状態からコンテキストを決定し、第２のルックアップは、コンテキストからビンコンテキスト確率を決定する。コンテキストテーブルは、例えばレベル１データキャッシュ、レベル２キャッシュまたはレベル３キャッシュなどのデータキャッシュに収まるほどデータサイズが十分に小さくてよい。構文解析器６２４は、ＣＡＢＡＣエンジン６２３とは別個のスレッド上で動作することができる。例えば、ＣＡＢＡＣエンジンは、第１のスレッドで実行することができ、構文解析器６２４は、第２のスレッドで並列に実行することができる。あるいは、構文解析器６２４は、プロセッサ６０３の別個のコアまたはＧＰＵコアで実行可能である。構文解析器は、復号された２進列の構文または文法を構文解析し、復号された構文要素またはシンボルを生成し得る。いくつかの実装では、構文解析器６２７は、メモリからグラフィック処理装置（ＧＰＵ）６２６にロード可能である。構文解析器６２７は、プロセッサ６０３上で実行されているＣＡＢＡＣエンジン６２３から、復号された２進列を受け取り得る。

【0037】

メモリ６０４は、集積回路の形態、例えば、ＲＡＭ、ＤＲＡＭ、及びＲＯＭなどであってもよい。メモリはまた、プロセッサ６０３内のプロセッサコアの全てによってアクセス可能なメインメモリであってもよい。いくつかの実施形態では、プロセッサ６０３は、１つ以上のプロセッサコアまたは１つ以上のコプロセッサと関連付けられたローカルメモリを有してもよい。デコーダプログラム６２２は、プロセッサ６０３上で実行することができるプロセッサ可読命令の形式でメモリ６０４に記憶されてもよい。デコーダプログラム６２２は、例えば上述したように、ＣＡＢＡＣ符号化された信号データを復号されたピクチャに復号するように構成されてもよい。デコーダプログラム６２２は、ＣＡＢＡＣエンジン６２３、及び構文解析器６２４の演算を調整し得る。ＣＡＢＡＣエンジン６２３は、ＣＡＢＡＣ符号化された２進要素を取得し、復号された２進要素を生成することができる。ＣＡＢＡＣエンジン６２３は、２つ以上の復号された２進要素、すなわち、構文解析器によって１つのシンボルまたは複数のシンボルに構文解析される復号された２進列を作成する。ＣＡＢＡＣエンジン６２３は、メモリ６０４からプロセッサ６０３の命令キャッシュにロードされる状態機械を含み得る。状態機械は、状態機械の適切なシンボルが復号されるまでメモリ６０４に格納される多くの状態機械６１０のうちの１つであってもよく、その時点で、適切な状態機械の命令がプロセッサ６０３の命令キャッシュにロードされる。ＣＡＢＡＣエンジンはまた、メモリ６０４からプロセッサ６０３のデータキャッシュにロードされるコンテキストテーブルを含み得る。コンテキストテーブルは、メモリ６０４に格納されている多数のコンテキストテーブル６２１のうちの１つであってよい。各シンボルは、上記で述べたように、状態機械からの状態と現在復号されている２進構文要素とを使用して、そのシンボルに関連する符号化された２進構文要素を復号するために、関連するコンテキストテーブルを有し得る。メモリ６０４は、復号された２進列を復号されたシンボルに変換する構文解析器プログラム６０９を含むこともできる。構文解析器プログラム６０９は、プロセッサ６０３によって実行されてもよく、構文解析器６０９の少なくとも一部が、メモリ６０４からプロセッサ６０３の命令キャッシュ及び／またはデータキャッシュにロードされてもよい。ＧＰＵ６２７上で実行される構文解析器を有する実装では、構文解析器６２７は、プロセッサ６０３上で実行されている、またはメモリ６０４内のバッファ６０８に格納されているＣＡＢＡＣエンジン６２３から、復号された２進構文要素を受け取ることができる。バッファ６０８は、符号化されたデータ、または復号プロセス中に生成または受信された他のデータをメモリ６０４に記憶することができる。

【0038】

システム６００はまた、入出力（Ｉ／Ｏ）要素６０７、電源（Ｐ／Ｓ）６１１、クロック（ＣＬＫ）６１２、及びキャッシュ６１３などの周知のサポート機能６０６を含んでもよい。システム６００は、任意選択で、プログラム６１７及び／またはデータ６１８を記憶するためのディスクドライブ、ＣＤ－ＲＯＭドライブ、テープドライブ、または同種のものなどの大容量記憶装置６１５を含み得る。デコーダプログラム６２２及び構文解析器６０９は、プログラム６１７として大容量記憶装置６１５に記憶され得る。コンテキストテーブル６２１、状態機械６１０、及びバッファリングされたデータもまた、データ６１８として大容量記憶装置６１５に記憶され得る。デバイス６００はまた、任意選択で、システム６００とユーザとの間のインタラクションを促進するためのユーザインターフェース６１６及びユーザ入力デバイス６０２を含み得る。ユーザインターフェース６１６は、テキスト、数字、グラフィックシンボル、または画像を表示する陰極線管（ＣＲＴ）またはフラットパネルスクリーンの形態を取り得る。ユーザ入力デバイス６０２は、キーボード、マウス、ジョイスティック、ライトペン、またはグラフィカルユーザインターフェース（ＧＵＩ）と共に使用することができる他のデバイスを含んでもよい。システム６００はまた、デバイスがインターネットなどのネットワーク６２０を通じて他のデバイスと通信することを可能にするためのネットワークインターフェース６１４を含んでもよい。システム６００は、ネットワーク６２０に接続された他のデバイスから、ネットワークインターフェース６１４を介して、符号化されたストリーミングデータの１つ以上のフレーム（例えば、１つ以上の符号化されたビデオフレーム）を受信することができる。これらのコンポーネントは、ハードウェア、ソフトウェア、もしくはファームウェア、またはこれらのうちの２つ以上の何らかの組み合わせで実装され得る。

【0039】

上記は、本発明の好適な実施形態の完全な説明であるが、種々の代案、修正、及び等価物を使用することが可能である。したがって、本発明の範囲は、上記説明を参照して判定されるべきでなく、代わりに、均等物のそれらの全範囲に従った、添付の特許請求の範囲を参照して判定されるべきである。好ましいか否かに関わらず、本明細書で説明された任意の特徴が、好ましいか否かに関わらず、本明細書で説明された任意の他の特徴と組み合わされてよい。以下の特許請求の範囲では、不定冠詞「Ａ」または「Ａｎ」は、明確に述べられる場合を除き、冠詞に続く項目のうちの１つ以上の量を指す。添付の特許請求の範囲は、手段プラス機能の限定が、フレーズ「～する手段（ｍｅａｎｓ ｆｏｒ）」を使用して所与の請求項に明確に記載されない限り、そのような限定を含むとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】