特許 6985436 低遅延のためのサンプルアレイ符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6985436

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月22日

(54)【発明の名称】低遅延のためのサンプルアレイ符号化

(51)【国際特許分類】

   H04N 19/13 20140101AFI20211213BHJP

   H04N 19/176 20140101ALI20211213BHJP

   H04N 19/436 20140101ALI20211213BHJP

【ＦＩ】

   H04N19/13

   H04N19/176

   H04N19/436

【請求項の数】13

【外国語出願】

【全頁数】41

(21)【出願番号】特願2020-18483(P2020-18483)

(22)【出願日】2020年2月6日

(62)【分割の表示】特願2018-98441(P2018-98441)の分割

【原出願日】2012年7月16日

(65)【公開番号】特開2020-92437(P2020-92437A)

(43)【公開日】2020年6月11日

【審査請求日】2020年3月9日

(31)【優先権主張番号】61/508,477

(32)【優先日】2011年7月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515089080

【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(72)【発明者】

【氏名】ジョージ ヴァレーリ

(72)【発明者】

【氏名】ヘンケル アナスタージア

(72)【発明者】

【氏名】キルヒホッファー ハイナー

(72)【発明者】

【氏名】マルペー デトレフ

(72)【発明者】

【氏名】シーアル トーマス

【審査官】 坂東 大五郎

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

エントロピー符号化されたデータストリームからサンプルアレイ（１０）を復元するためのデコーダであって、前記デコーダはハードウェア装置またはコンピュータを備え、かつ、
各エントロピースライスについて、それぞれのエントロピー符号化パス（１４）順で、それぞれの確率推定を用いて、エントロピー復号化を実行し、
前記それぞれのエントロピースライスの前に復号化されたパートを用いて、前記それぞれのエントロピー符号化パスに沿って、前記それぞれの確率推定を適応させ、
前記複数のエントロピースライスの前記エントロピー復号化を、エントロピースライス順序（１６）を用いてシーケンシャルに開始し、
予め定められたエントロピースライスのエントロピー復号化において、前記予め定められたエントロピースライスの前に復号化されたパートを用いて適応された前記予め定められたエントロピースライスのそれぞれの確率推定と、前記予め定められたエントロピースライスに空間的に隣接し、かつ、前記空間的に隣接するエントロピースライスの隣接するパートにおいて、エントロピースライス順序で前記予め定められたエントロピースライスに先行する、空間的に隣接するエントロピースライスの前記エントロピー復号化において用いられた確率推定と、に基づいて前記予め定められたエントロピースライスの現在のパートのエントロピー復号化を実行して、
前記エントロピー符号化されたデータストリーム内の複数のエントロピースライスをエントロピー復号化し、前記エントロピースライスに関連付けられた前記サンプルアレイの異なる部分（１２）をそれぞれ復元するように構成され、
前記デコーダが、エントロピースライス順序において前記先行するエントロピースライスに対応する部分の前記それぞれの符号化パス順で２番目のブロックをエントロピー復号化した後に現れる前記確率推定を記憶し、前記それぞれのエントロピースライスに対応する部分の前記それぞれのエントロピー符号化パス順で最初のブロックを復号化する前に、初期化のために前記記憶された確率推定を使用するように構成され、
前記エントロピースライスはチャンクに細分化され、前記デコーダは、
現在のチャンクが前記予め定められたエントロピースライスの部分の前記エントロピー符号化パス順で最初のサブ部分に対応するかどうかをチェックし、
対応する場合は、前記それぞれの確率推定を適応させたうえで前記現在のチャンクをエントロピー復号化し、前記予め定められたエントロピースライスの部分の前記それぞれのエントロピー符号化パス順で２番目のサブ部分に対応する他のチャンクをエントロピー復号化するときに、前記現在のチャンクをエントロピー復号化した後に現れる前記それぞれの確率推定の状態を考慮にいれ、
対応しない場合は、前記現在のチャンクに対応するサブ部分に前記それぞれのエントロピー符号化パス順で先行する前記予め定められたエントロピースライスの部分のサブ部分に対応するチャンクをエントロピー復号化した後に現れる確率推定によって決まる確率推定を用いて、前記現在のチャンクをエントロピー復号化する、
ように構成され、
前記デコーダはイントラ予測およびフレーム間予測を使用するように構成される、
デコーダ。

【請求項2】

前記異なる部分は、前記サンプルアレイのブロックの行である、請求項１に記載のデコーダ。

【請求項3】

前記エントロピースライス順序は、前記異なる部分が、実質的に互いに平行に延在する前記エントロピースライス順序に沿って、前記エントロピースライスの前記エントロピー符号化パス（１４）に対して角度のある方向（１６）にお互いを追従するように、選択された、請求項１または請求項２に記載のデコーダ。

【請求項4】

各エントロピースライスは、前記サンプルアレイの対応する部分についてのデータをエントロピー符号化しており、前記異なる部分は、前記サンプルアレイのブロックの行を形成していて、前記ブロックは行および列に規則的に配列されていて前記エントロピースライスに対応する部分が同じ数のブロックから成り、かつ前記エントロピー符号化パスが前記ブロックの行に沿って平行に向くようになっていて、前記デコーダは、各エントロピースライス（９０）について、前記それぞれのエントロピースライスに対応する部分（１２）の前記それぞれの符号化パス（１４）順で最初のブロックを復号化する前に、前記エントロピースライス順序（１６）において先行するエントロピースライスに対応する部分（１２）の前記それぞれのエントロピー符号化パス順で２番目のブロック（５０）をエントロピー復号化した後に現れる確率推定によって、前記それぞれのエントロピースライスに対する前記確率推定（９４）の初期化を実行するように構成される、請求項１または請求項２に記載のデコーダ。

【請求項5】

各エントロピースライスは、前記サンプルアレイの対応する部分についてのデータをエントロピー符号化しており、前記異なる部分は前記サンプルアレイのブロックの行を形成し、前記ブロックは行および列に規則的に配列されていて前記エントロピースライスに対応する部分が同じ数のブロックから成り、かつ前記エントロピー符号化パスが前記ブロックの行に沿って平行に向くようになっていて、前記デコーダは、各エントロピースライスについて、前記それぞれのエントロピー符号化パスに沿ったエントロピー復号化と前記それぞれの符号化パスに沿った適応を実行して、前記予め定められたエントロピースライスの前記現在のパートが前記予め定められたエントロピースライスの前記それぞれの確率推定（９４）に基づいてエントロピー復号化された後に、前記予め定められたエントロピースライスの前記それぞれの確率推定（９４）が、前記予め定められたエントロピースライスの前記現在のパート、および前記空間的に隣接するエントロピースライスの隣接するパートのエントロピー復号化において現れる前記確率推定によって適応されるように構成される、請求項１または請求項２に記載のデコーダ。

【請求項6】

前記デコーダは、エントロピースライス順序において直接に連続するエントロピースライスの前記エントロピー復号化をステアリングし、前記エントロピー符号化パスに沿ってブロック単位で測定された直接に連続するエントロピースライスに対応する部分の現在復号化されるブロックの距離が２ブロックより低くなることを防止するように構成される、請求項１または請求項２に記載のデコーダ。

【請求項7】

前記デコーダは、エントロピースライス順序において直接に連続するエントロピースライスの前記エントロピー復号化をステアリングし、前記エントロピー符号化パスに沿ってブロック単位で測定された直接に連続するエントロピースライスに対応する部分の現在復号化されるブロックの距離が２ブロックにとどまるように構成される、請求項１または請求項２に記載のデコーダ。

【請求項8】

前記エントロピースライスは、チャンクに細分化され、前記デコーダは、前記チャンクを非インターリーブするデインターリーバを備え、前記エントロピースライスのいずれかの全体を受信する前でさえ、前記エントロピースライスの前記エントロピー復号化を、前記エントロピー符号化パスに沿って平行に開始するように構成される、請求項１または請求項２に記載のデコーダ。

【請求項9】

前記サンプルアレイ（１０）はサンプルのシーケンスの現在のサンプルアレイであり、前記デコーダは、予め定められたエントロピースライスのエントロピー復号化において、前記予め定められたエントロピースライスの前に復号化されたパートを用いて適応された前記予め定められたエントロピースライスの前記それぞれの確率推定と、前記空間的に隣接し、エントロピースライス順序において先行するエントロピースライスの、前記空間的に隣接するエントロピースライスの隣接するパートにおけるエントロピー復号化において用いられた確率推定と、前記現在のサンプルアレイ以外の他のサンプルアレイに関係する前記エントロピー符号化されたデータストリームの前に復号化されたフレームの復号化において用いられた確率推定とに基づいて、前記予め定められたエントロピースライスの前記現在のパートをエントロピー復号化するように構成される、請求項１または請求項２に記載のデコーダ。

【請求項10】

サンプルアレイ（１０）をデータストリームに符号化するためのエンコーダであって、前記エンコーダはハードウェア装置またはコンピュータを備え、
各エントロピースライスについて、それぞれの確率推定を用いて、それぞれのエントロピー符号化パス（１４）に沿ってエントロピー符号化を実行し、
前記それぞれのエントロピースライスの前に符号化されたパートを用いて、前記それぞれのエントロピー符号化パスに沿って前記それぞれの確率推定を適応させ、
前記複数のエントロピースライスのエントロピー符号化を、エントロピースライス順序（１６）を用いてシーケンシャルに開始し、
予め定められたエントロピースライスのエントロピー符号化において、前記予め定められたエントロピースライスの前に符号化されたパートを用いて適応された前記予め定められたエントロピースライスの前記それぞれの確率推定と、前記予め定められたエントロピースライスに空間的に隣接し、かつ、前記予め定められたエントロピースライスにエントロピースライス順序において先行する空間的に隣接する先行エントロピースライスの前記エントロピー符号化において用いられた確率推定と、に基づいて前記予め定められたエントロピースライスの現在のパートのエントロピー符号化を実行して、
複数のエントロピースライスを、各エントロピースライスを前記サンプルアレイの異なる部分（１２）にそれぞれ関連付けて、前記データストリームにエントロピー符号化するように構成され、
前記エンコーダは、前記エントロピースライス順序において先行するエントロピースライスに対応する部分の前記それぞれのエントロピー符号化パス順で２番目のブロックをエントロピー符号化した後に現れる前記確率推定を記憶し、前記それぞれのエントロピースライスに対応する部分の前記それぞれのエントロピー符号化パス順で最初のブロックを符号化する前に、初期化のために前記記憶された確率推定を使用するように構成され、
前記エントロピースライスはチャンクに細分化され、前記エンコーダは、
現在のチャンクが前記予め定められたエントロピースライスの部分の前記エントロピー符号化パス順で最初のサブ部分に対応するかどうかをチェックし、
対応する場合は、前記それぞれの確率推定を適応させたうえで前記現在のチャンクをエントロピー符号化し、前記予め定められたエントロピースライスの部分の前記エントロピー符号化パス順で２番目のサブ部分に対応する他のチャンクをエントロピー符号化するときに、前記現在のチャンクのエントロピー符号化した後に現れる前記それぞれの確率推定の状態を考慮にいれ、
対応しない場合は、前記現在のチャンクに対応するサブ部分に前記エントロピー符号化パス順で先行する前記予め定められたエントロピースライスの部分のサブ部分に対応するチャンクをエントロピー符号化した後に現れる確率推定によって決まる確率推定を用いて、前記現在のチャンクをエントロピー符号化する、
ように構成され、
前記エンコーダはイントラ予測およびフレーム間予測を使用するように構成される、
エンコーダ。

【請求項11】

エントロピー符号化されたデータストリームから、サンプルアレイ（１０）を復元する方法であって、
各エントロピースライスについて、それぞれのエントロピー符号化パス（１４）に沿って、それぞれの確率推定を用いて、エントロピー復号化を実行し、
前記それぞれのエントロピースライスの前に復号化されたパートを用いて、前記それぞれのエントロピー符号化パスに沿って前記それぞれの確率推定を適応させ、
前記複数のエントロピースライスのエントロピー復号化を、エントロピースライス順序（１６）を用いてシーケンシャルに開始し、
予め定められたエントロピースライスのエントロピー復号化において、前記予め定められたエントロピースライスの前に復号化されたパートを用いて適応された前記予め定められたエントロピースライスの前記それぞれの確率推定と、前記予め定められたエントロピースライスに空間的に隣接し、かつ、前記予め定められたエントロピースライスにエントロピースライス順序において先行する空間的に隣接するエントロピースライスの前記エントロピー復号化において用いられた確率推定と、に基づいて前記予め定められたエントロピースライスの現在のパートのエントロピー復号化を実行して、
前記エントロピー符号化されたデータストリーム内の複数のエントロピースライスをエントロピー復号化し、前記エントロピースライスに関連付けられた前記サンプルアレイの異なる部分（１２）をそれぞれ復元するステップを含み、
前記エントロピースライス順序において先行するエントロピースライスに対応する部分の前記それぞれのエントロピー符号化パス順で２番目のブロックをエントロピー復号化した後に現れる前記確率推定が記憶され、前記記憶された確率推定は前記それぞれのエントロピースライスに対応する部分の前記それぞれのエントロピー符号化パス順で最初のブロックを復号化する前の初期化のために使用され、
前記エントロピースライスはチャンクに細分化され、前記方法は、
現在のチャンクが前記予め定めされたエントロピースライスの部分の前記エントロピー符号化パス順で最初のサブ部分に対応するかどうかをチェックするステップと、
対応する場合は、前記それぞれの確率推定を適応させたうえで前記現在のチャンクをエントロピー復号化し、前記予め定められたエントロピースライスの部分の前記エントロピー符号化パス順で２番目のサブ部分に対応する他のチャンクをエントロピー復号化するときに、前記現在のチャンクをエントロピー復号化した後に現れる前記それぞれの確率推定の状態を考慮に入れるステップと、
対応しない場合は、前記現在のチャンクに対応するサブ部分に前記エントロピー符号化パス順で先行する前記予め定められたエントロピースライスの部分のサブ部分に対応するチャンクをエントロピー復号化した後に現れる確率推定によって決まる確率推定を用いて、前記現在のチャンクをエントロピー復号化するステップを含み、
前記方法はイントラ予測およびフレーム間予測を使用するステップを含む、方法。

【請求項12】

サンプルアレイ（１０）をデータストリームに符号化する方法であって、
各エントロピースライスについて、それぞれの確率推定を用いて、それぞれのエントロピー符号化パス（１４）に沿ってエントロピー符号化を実行し、
前記それぞれのエントロピースライスの前に符号化されたパートを用いて、前記それぞれのエントロピー符号化パスに沿って前記それぞれの確率推定を適応させ、
前記複数のエントロピースライスのエントロピー符号化を、エントロピースライス順序（１６）を用いてシーケンシャルに開始し、
予め定められたエントロピースライスのエントロピー符号化において、前記予め定められたエントロピースライスの前に符号化されたパートを用いて適応された前記予め定められたエントロピースライスの前記それぞれの確率推定と、前記予め定められたエントロピースライスに空間的に隣接し、かつ、前記予め定められたエントロピースライスにエントロピースライス順序において先行する空間的に隣接するエントロピースライスの前記エントロピー符号化において用いられた確率推定と、に基づいて前記予め定められたエントロピースライスの現在のパートのエントロピー符号化を実行して、
前記データストリームに複数のエントロピースライスをエントロピー符号化するステップであって、前記各エントロピースライスは前記サンプルアレイの異なる部分（１２）に関連付けられる、ステップを含み、
前記エントロピースライス順序において先行するエントロピースライスに対応する部分の前記それぞれのエントロピー符号化パス順で２番目のブロックをエントロピー符号化した後に現れる前記確率推定が記憶され、前記記憶された確率推定は前記それぞれのエントロピースライスに対応する部分の前記それぞれのエントロピー符号化パス順で最初のブロックを符号化する前の初期化のために使用され、
前記エントロピースライスはチャンクに細分化され、前記方法は、
現在のチャンクが前記予め定められたエントロピースライスの部分の前記エントロピー符号化パス順で最初のサブ部分に対応するかどうかをチェックするステップと、
対応する場合は、前記それぞれの確率推定を適応させたうえで前記現在のチャンクをエントロピー符号化し、前記予め定められたエントロピースライスの部分の前記エントロピー符号化パス順で２番目のサブ部分に対応する他のチャンクをエントロピー符号化するときに、前記現在のチャンクをエントロピー符号化した後に現れる前記それぞれの確率推定の状態を考慮に入れるステップと、
対応しない場合は、前記現在のチャンクに対応するサブ部分に前記エントロピー符号化パス順で先行する前記予め定められたエントロピースライスの部分のサブ部分に対応するチャンクをエントロピー符号化した後に現れる確率推定によって決まる確率推定を用いて、前記現在のチャンクをエントロピー符号化するステップを含み、
前記方法はイントラ予測およびフレーム間予測を使用するステップを含む、方法。

【請求項13】

コンピュータ上で動作するとき、請求項１１に記載の方法を実行するように構成されたプログラムコードを有するコンピュータプログラム記憶した、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像またはビデオの符号化のようなサンプルアレイ符号化に関する。

【背景技術】

【0002】

ＨＥＶＣ規格による増大した処理要求ならびにビデオ解像度の期待される増大により、エンコーダおよびデコーダの並列化は非常に重要になっている。広範囲にわたる現代の電子デバイスにおいて、マルチコアアーキテクチャが利用可能となってきている。その結果として、マルチコアアーキテクチャの使用を可能にする効率的な方法が必要とされる。

【0003】

ＬＣＵの符号化または復号化は、ラスタースキャンにおいて生じ、それによってＣＡＢＡＣ確率が各画像の特性に適応される。空間従属性は、隣接するＬＣＵ間に存在する。各ＬＣＵ（最大符号化ユニット）は、異なる成分、たとえば、動きベクトル、予測、イントラ予測、その他のために、その左側、上側、上左側および上右側の隣接ＬＣＵによって決まる。復号化において並列化を可能とするため、これらの従属性は、通常は、技術水準のアプリケーションにおいて、中断されることを必要とするかまたは中断される。

【0004】

並列化のいくつかのコンセプト、言い換えればウェーブフロント処理が提案されている。更なる研究に対して誘因となることは、符号化効率の損失を低下させ、従ってエンコーダおよびデコーダにおける並列化アプローチに対するビットストリームの負担を低減する技術を実行することである。さらに、低遅延処理は、利用可能な技術によって可能ではなかった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１１／０４２６４５号

【特許文献2】米国特許出願公開第２００８／００１７９６号

【非特許文献】

【0006】

【非特許文献1】Henry et al, Wavefront Parallel Procesasing, 96. MPEG MEETING, 21-3-2011-25-3-2011, GENEVA, no. m19714, 19 March 2011, XP030048281

【発明の概要】

【0007】

従って、本発明の目的は、符号化効率において比較的少ないペナルティで、より低い遅延を可能とするサンプルアレイに対する符号化コンセプトを提供することである。

【0008】

この目的は、特許請求の範囲の独立請求項の主題によって達成される。

【0009】

予め定められたエントロピースライスの現在のパートのエントロピー符号化が、予め定められたエントロピースライスの前に符号化されたパートを用いて適応された予め定められたエントロピースライスのそれぞれの確率推定だけでなく、空間的に隣接する、エントロピースライス順序において先行するエントロピースライスのエントロピー符号化において、その隣接するパートで用いられた確率推定に基づいている場合、エントロピー符号化に用いられる確率推定は、より密接に実際のシンボル統計量に適応され、それにより、通常は低遅延コンセプトによって生じる符号化効率の減少を低下させる。時間的な相互関係は、付加的にまたは代わりに利用することができる。

【0010】

例えば、空間的に隣接する、エントロピースライス順序において先行するエントロピースライスのエントロピー符号化において用いられた確率推定に関する従属性には、予め定められたエントロピースライスのエントロピー符号化の始めにおける確率推定の初期化を含むことができる。通常、確率推定は、サンプルアレイ素材の代表的な配合のシンボル統計量に適応された値に初期化される。確率推定の初期化値の伝送を回避するために、それらは、規約によってエンコーダおよびデコーダに知られている。しかしながら、そのような予め定められた初期化値は、当然、現在符号化されたサンプルアレイ素材の実際の統計量から −より多くまたはより少なく− 偏移するので、当然、一方ではサイド情報のビットレートと他方では符号化効率の間の単に妥協である。エントロピースライスの符号化の過程の間の確率適応化は、確率推定を実際のシンボル統計量に対して適応させる。このプロセスは、後の値は、現在手元にあるサンプルアレイの実際のシンボル統計量にある程度適応されているので、現在の／予め定められたエントロピースライスのエントロピー符号化の始めにおいて、ちょうど述べられた空間的に隣接する、エントロピースライス順序において先行するエントロピースライスの既に適応された確率推定を用いて、確率推定を初期化することによって加速される。それにもかかわらず、予め定められた／現在のエントロピースライスに対する確率推定の初期化において、先行するエントロピースライスのエントロピー符号化の終わりに現れるよりむしろ、その隣接するパートで用いられた確率推定を用いることによって、低遅延符号化を可能とすることができる。この方策によって、ウェーブフロント処理は依然として可能である。

【0011】

更に、空間的に隣接する、エントロピースライス順序において先行するエントロピースライスのエントロピー符号化に用いられた確率推定に関する上述の従属性は、現在の／予め定められたエントロピースライス自身のエントロピー符号化において用いられる確率推定を適応する適応化プロセスを含むことができる。確率推定の適応化は、確率推定の現在の状態を実際のシンボル統計量に適応させるために、ちょうど符号化されたパート、すなわち、ちょうど符号化されたシンボルの使用を含む。この方策によって、初期化された確率推定は、いくらかの適応化レートで実際のシンボル統計量に適応される。この適応化レートは、ちょうど述べられた確率推定の適応化を、現在の／予め定められたエントロピースライスの現在符号化されたシンボルに基づくだけでなく、空間的に隣接する、エントロピースライス順序において先行するエントロピースライスの隣接するパートにおいて現れる確率推定によって実行することによって増大する。また、現在のエントロピースライスの現在のパートの空間的な近傍と、先行するエントロピースライスの隣接するパートを適切に選択することによって、ウェーブフロント処理は依然として可能である。現在のエントロピースライスに沿って自身の確率推定適応を先行するエントロピースライスの確率適応化と結合することの利点は、単に現在のエントロピースライスのシンボルよりもむしろ、現在および前のエントロピースライスにおいてトラバースするシンボルの数が適応化に貢献するので、実際のシンボル統計量に対する適応化が起こるレートが増大することである。

【図面の簡単な説明】

【0012】

本発明の実施形態の有利な実施態様は、従属クレームの主題である。更に、好ましい実施態様が以下の図面に関して記載される。

【図1】例示的なエンコーダのブロック図を示す。

【図2】画像の、スライスおよびスライスパート（すなわちブロックまたは符号化ユ ニット）への、それらの中で定められた符号化順序に沿った分割の概略図を示す。

【図3】図１の１つのような例示的なエンコーダの機能のフロー図を示す。

【図4】図１の１つのような例示的なエンコーダの機能を説明する図解図を示す。

【図5】エンコーダおよびデコーダの並列動作の実施に対する図解図を示す。

【図6】例示的なデコーダのブロック図を示す。

【図7】図６の１つのような例示的なデコーダの機能のフロー図を示す。

【図8】図１〜６の符号化スキームから結果として生じる例示的なビットストリーム の図解図を示す。

【図9】他のＬＣＵの助けによってどのように確率を計算するかの例を図式的に示す 。

【図10】ＨＭ３．０との比較において、イントラ（４スレッド）に対するＲＤ結果 を図示するグラフを示す。

【図11】ＨＭ３．０との比較において、低遅延（１スレッド）に対するＲＤ結果を 図示するグラフを示す。

【図12】ＨＭ３．０との比較において、ランダムアクセス（１スレッド）に対する ＲＤ結果を図示するグラフを示す。

【図13】ＨＭ３．０との比較において、低遅延（４スレッド）に対するＲＤ結果を 図示するグラフを示す。

【図14】エントロピースライスの可能な合成を図式的かつ例示的に図示する。

【図15】エントロピースライスの可能なシグナリングを図式的かつ例示的に図示す る。

【図16】チャンクによるエントロピースライスデータの符号化、セグメント化、イ ンターリービングおよび復号化を図式的かつ例示的に図示する。

【図17】フレーム間の可能な合成を図式的かつ例示的に図示する。

【図18】配列された情報の可能な使用法を図式的かつ例示的に図示する。

【図19】連続的なサンプルアレイにわたる空間的／時間的スペース内を斜めに走る ウェーブフロントの可能性を図式的に示す。

【図20】エントロピースライスをチャンクに細分化する他の実施例を図式的に示す 。

【発明を実施するための形態】

【0013】

符号化効率に関してより少ないペナルティで低遅延の達成を改善する以下に概説される方策の理解を容易にするため、図１のエンコーダは、本願の実施形態の有利なコンセプトと、それを図１の実施形態にどのように組み込むことができるかについて前もって議論することなく、より一般的な用語で最初に記載される。しかしながら、図１に示される構造は、単に本願の実施形態を用いることができる説明のための環境として役立つことを述べるべきである。本発明の実施形態によるエンコーダとデコーダの一般化と変形例が簡単に述べられる。

【0014】

図１は、サンプルアレイ１０を、エントロピー符号化されたデータストリーム２０に符号化するエンコーダを示す。図１に示されるように、サンプルアレイ１０は、サンプルアレイのシーケンス３０の１つとすることができ、エンコーダは、シーケンス３０をデータストリーム２０に符号化するように構成することができる。

【0015】

図１のエンコーダは、全般的に参照符号４０によって示され、データストリーム２０を出力するエントロピー符号化ステージ４４が引き続くプリコーダ４２を備える。プリコーダ４２は、各シンタックス要素が予め定められたシンタックス要素タイプのセットのそれぞれの１つであり、次にそれぞれのセマンティクスに関連する、予め定められたシンタックスのシンタックス要素によってそのコンテンツを記述するため、サンプルアレイ１０を受信し、動作するように構成される。

【0016】

シンタックス要素を用いたサンプルアレイ１０の記述において、プリコーダ４２は、サンプルアレイ１０を符号化ユニット５０に細分化することができる。用語「符号化ユニット」は、以下により詳細に述べられる理由のために、代わりに「符号化ツリーユニット」（ＣＴＵ）と呼ばれる。プリコーダ４２がサンプルアレイ１０をどのように符号化ユニット５０に細分化することができるかの１つの可能性が、図２において例示的に示される。この実施例によれば、細分化は、サンプルアレイ１０を符号化ユニット５０に規則的に細分化し、その結果、後者は、全部のサンプルアレイ１０をオーバーラップなしにギャップレスにカバーするように行および列に配置される。言い換えれば、プリコーダ４２は、各符号化ユニット５０をシンタックス要素によって記述するように構成することができる。これらのシンタックス要素のいくつかは、それぞれの符号化ユニット５０の更なる細分化のための細分化情報を形成することができる。細分化情報は、例えば、マルチツリー細分化によって、これらの予測ブロック５２の各々に対して予測モードを関連する予測パラメータに関連づけるプリコーダ４２による、それぞれの符号化ユニット５０の予測ブロック５２への細分化を記述することができる。この予測細分化は、図２に図示されるように、サイズにおいて異なる予測ブロック５２を許容することができる。プリコーダ４２は、予測ブロック５２毎の予測残差を記述するために、予測ブロック５２を残差ブロック５４に更に細分化するために、残差予測情報を予測ブロック５２に関連づけることもできる。従って、プリコーダは、ハイブリッド符号化スキームによるサンプルアレイ１０のシンタックス記述を生成するように構成することができる。しかしながら、既に上記されたように、プリコーダ４２がシンタックス要素によってサンプルアレイ１０を記述するちょうど述べられた方法は、単に図示の目的で提示されたものであって、異なって実施することもできる。

【0017】

プリコーダ４２は、サンプルアレイ１０の隣接する符号化ユニット５０のコンテンツ間の空間的相互関係を利用することができる。例えば、プリコーダ４２は、現在符号化されている符号化ユニット５０に空間的に隣接する前に符号化された符号化ユニット５０に対して決定されたシンタックス要素から、特定の符号化ユニット５０に対するシンタックス要素を予測することができる。図１および２において、例えば、上部および左手のとなりは、矢印６０および６２で図示されるように、予測に対して役に立つ。そのうえ、プリコーダ４２は、イントラ−予測モードにおいて、現在の符号化ユニット５０のサンプルの予測を取得するように、隣接する符号化ユニット５０の既に符号化されたコンテンツを現在の符号化ユニット５０に外挿することができる。図１に示されたように、プリコーダ４２は、空間的相互関係の利用を越えて、図１において矢印６４で説明のために示された前に符号化されたサンプルアレイから、現在の符号化ユニット５０に対するサンプルおよび／またはシンタックス要素を一時的に予測することができる。すなわち、動き補償された予測をプリコーダ４２によって用いることができ、動きベクトル自身は、前に符号化されたサンプルアレイの動きベクトルからの時間的予測に従うことができる。

【0018】

すなわち、プリコーダ４２は、符号化ユニット別に、サンプルアレイ１０のコンテンツを記述することができ、このために、空間的予測を用いることができる。空間的予測は、各符号化ユニット５０に対して、同じサンプルアレイ１０の空間的に隣接する符号化ユニットに限定され、その結果、サンプルアレイ１０の符号化ユニット５０の中で符号化順序６６に従うとき、空間的予測に対して予測レファレンスとして役立つ隣接する符号化ユニットは、現在の符号化ユニット５０の前に、符号化順序６６によってトラバースする。図２において図示されたように、符号化ユニット５０の中で定められた符号化順序６６は、例えば、符号化ユニット５０が上から下に行単位でトラバースするラスタースキャン順序とすることができる。オプションとして、アレイ１０の、タイルのアレイへの細分化は、スキャン順序６６を、−ラスタースキャン順序において−、次にラスタースキャンタイプとすることもできるタイル順序において、１つのタイルを次に対して先行する前の最初に備える符号化ユニット５０をトラバースさせるようにすることができる。例えば、空間的予測は、単に、現在の符号化ユニット５０が存在する符号化ユニットの行の上の符号化ユニットの行内の隣接する符号化ユニット５０と、同じ符号化ユニットの行内であるが、現在の符号化ユニットに対して左側の符号化ユニットを含むことができる。以下でより詳細に説明されるように、空間的相互関係／空間的予測上のこの制限は、並列ウェーブフロント処理を可能にする。

【0019】

プリコーダ４２は、シンタックス要素をエントロピー符号化ステージ４４に転送する。ちょうど概説されたように、これらのシンタックス要素のいくつかは、予測的に符号化される、すなわち予測残差を表す。プリコーダ４２は、従って、予測的符号化器とみなすことができる。その他に、プリコーダ４２は、符号化ユニット５０のコンテンツの予測のコード残差を変換するように構成された変換符号化器とすることができる。

【0020】

エントロピー符号化ステージ４４の例示的な内部構造は、図１においても示される。図のように、エントロピー符号化ステージ４４は、オプションとして、可能なステージ数がシンボルアルファベットの基数を超える、プリコーダ４２から受信されたシンタックス要素の各々を、エントロピー符号化エンジン４４がそれに基づいて動作するシンボルアルファベットのシンボルｓ_iのシーケンスに変換するシンボライザを備えることができる。エントロピー符号化エンジン４４は、オプションのシンボライザ７０の他に、コンテキストセレクタ７２とイニシャライザ７４、確率推定マネージャ７６、確率推定アダプタ７８およびエントロピー符号化コア８０を備えることができる。エントロピー符号化コアの出力は、エントロピー符号化ステージ４４の出力を形成する。また、エントロピー符号化コア８０は、２つの入力、言い換えれば１つはシンボルのシーケンスのシンボルｓiを受信する入力と、他の１つはシンボルの各々に対する確率推定ｐ_iを受信する入力を備える。

【0021】

エントロピー符号化の性質により、圧縮レートに関する符号化効率は確率推定の改善によって増加し、確率推定が実際のシンボル統計量によくマッチすればするほど、圧縮レートはよくなる。

【0022】

図１の実施例において、コンテキストセレクタ７２は、各シンボルｓiに対して、マネージャ７６によって管理される利用可能なコンテキストのセットの中で対応するコンテキストｃiを選択するように構成される。コンテキストの選択は、しかしながら、単にオプションの機能を形成し、例えば、各シンボルに対して同じコンテキストを用いることによって省くことができる点に留意すべきである。しかしながら、コンテキストの選択を用いる場合、コンテキストセレクタ７２は、現在の符号化ユニットの外部の符号化ユニットに関する、言い換えれば上述の限定された近傍内の隣接する符号化ユニットに関する情報に少なくとも部分的に基づいてコンテキストの選択を実行するように構成することができる。

【0023】

マネージャ７６は、各利用可能なコンテキストに対して、関連する確率推定を記憶する記憶装置を備える。例えば、シンボルアルファベットをバイナリのアルファベットとし、その結果、各利用可能なコンテキストに対して、単に１つの確率値が記憶されるようにすることができる。

【0024】

イニシャライザ７４は、利用可能なコンテキストに対して、マネージャ７６内で記憶された確率推定を、断続的に初期化または再初期化することができる。このような初期化を実行することができる可能な瞬間は、更に以下で議論される。

【0025】

アダプタ７８は、シンボルｓ_iおよび対応する確率推定ｐ_iのペアーにアクセスし、それゆえにマネージャ７６内で確率推定を適応させる。すなわち、それぞれのシンボルｓ_iをエントロピー符号化するために、エントロピー符号化コア８０によって、確率推定がデータストリーム２０に適用されるたびに、アダプタ７８は、この現在のシンボルｓ_iの値によるこの確率推定を変化させることができ、その結果、この確率推定ｐ_iは、その確率推定に関連する次のシンボルを（そのコンテキストによって）符号化するとき、実際のシンボル統計量によりよく適応される。すなわち、アダプタ７８は、選択されたコンテキストに対する確率推定を、対応するシンボルｓ_iとともにマネージャ７６から受信し、それゆえに確率推定ｐ_iを適応させ、その結果、同じコンテキストｃ_iの次のシンボルｓ_iに対して、適応された確率推定が用いられる。

【0026】

エントロピー符号化コア８０は、例えば、算数符号化スキームによって、または確率−インターバル−分割−エントロピー符号化スキームにおいて動作するように構成される。算術符号化において、エントロピー符号化コア８０は、例えば、シンボルのシーケンスを符号化するとき、例えば、確率インターバル幅値および確率インターバルオフセット値によって定められた確率インターバルによって定められる状態によって、その状態を連続的に更新する。パイプコンセプトにおいて動作するとき、エントロピー符号化コア８０は、例えば、確率推定の可能な値のドメインを、これらのインターバルの各々に関して固定−確率エントロピー符号化を実行することによって、異なるインターバルに細分化し、それにより、符号化効率が、関連する確率インターバルにそれぞれ合せられる、サブインターバルの各々に対して、サブストリームが取得される。エントロピー符号化の場合には、データストリーム２０の出力は、インターバル細分化プロセスをエミュレートするまたはやり直すことを可能にする復号化側の情報に対する、算術的に符号化されたデータストリームのシグナリングである。

【0027】

当然、エントロピー符号化状態４４に対して、サンプルアレイ１０に関するすべての情報、すなわちすべてのシンタックス要素／シンボルｓ_iを、確率推定をその始めにおいて単に一度だけ初期化することによって、エントロピー符号化することが可能であり、そして、次にアダプタ７８によって確率推定を連続的に更新する。これは、しかしながら、復号化側でシーケンシャルに復号化されなければならないデータストリーム２０に結果としてなる。言い換えれば、いかなるデコーダに対しても、結果として生じるデータストリームをいくつかのサブ部分に細分化し、サブ部分を並列に復号化する可能性はない。これは、次にいかなる低遅延労力も妨げる。

【0028】

それゆえに、以下に更に詳細に概説されるように、サンプルアレイ１０を記述するデータ量を、いわゆるエントロピースライスに細分化することは好ましい。これらのエントロピースライスの各々は、それゆえに、サンプルアレイ１０に関するシンタックス要素の異なるセットをカバーする。しかしながら、エントロピー符号化ステージ４４が、互いに完全に独立する各エントロピースライスを、最初に確率推定を一度初期化し、次に各エントロピースライスに対して個別に確率推定を連続的に更新することによって、エントロピー符号化する場合、用いられる確率推定が実際のシンボル統計量にまだ）正確に適応されないサンプルアレイ１０に関し、それを記述するデータの増大するパーセンテージのために、符号化効率が低下する。

【0029】

一方では低い符号化遅延、他方では高い符号化効率の要望に対応するちょうど述べられた問題を克服するため、ここで図３に関して記載される以下の符号化スキームを用いることができる。

【0030】

最初に、サンプルアレイ１０を記述するデータは、以下において「エントロピースライス」と呼ばれている部分に細分化される。細分化８０は、オーバーラップフリーである必要はない。他方では、この細分化は、少なくとも部分的にサンプルアレイ１０の異なる部分への空間細分化に対応することができる。すなわち、細分化８０によれば、サンプルアレイ１０を記述するシンタックス要素は、それぞれのシンタックス要素が関係する符号化ユニット５０の位置によって異なるエントロピースライス上に分配することができる。例えば、図２を参照されたい。図２は、サンプルアレイ１０の異なる部分１２への例示的な細分化を示す。各部分は、それぞれのエントロピースライスに対応する。例示的に示されるように、各部分１２は、符号化ユニット５０の行に対応する。他の細分化は、しかしながら、同様に可能である。しかしながら、サンプルアレイ１０の部分１２への細分化が、上述の符号化順序６６に従い、その結果、部分１２が符号化順序６６に沿って符号化ユニットの連続するランをカバーする場合、それは有益である。しかしながら、そうであったとしても、符号化順序６６に沿った部分１２の始まりおよび終わりの位置は、それぞれ符号化ユニット５０の行の左側と右側の端と一致する必要はない。符号化ユニット５０の境界との一致でさえも、お互いに直接に追従し、符号化順序６６は強制的である必要はない。

【0031】

そのような方法でサンプルアレイ１０を細分化することによって、エントロピースライス順序６６は、部分１２が符号化順序６６に沿ってお互いに追従する部分１２の中で定められる。そのうえ、各エントロピースライスに対して、それぞれのエントロピー符号化パス１４、言い換えればそれぞれの部分１２に向って走る符号化パス６６のフラグメントが定められる。部分１２が符号化ユニット５０の行と一致する図２の実施例において、各エントロピースライスのエントロピー符号化パス１４は、行方向に沿って、お互いに平行に、すなわちここでは左手側から右手側を指し示している。

【0032】

スライス境界を交差しないように、プリコーダ４２によって実行される空間的予測と、コンテキストセレクタ７２によって実行されるコンテキストの導出を限定する、すなわち、その結果、空間的予測およびコンテキスト選択が他のエントロピースライスに対応するデータによって決定しないようにすることが可能である点に留意すべきである。このように、「エントロピースライス」は、例えば、以下に概説される確率初期化／適応化の従属性を除いて、お互いから完全に独立に復号化可能であるＨ．２６４における「スライス」の通常の定義に対応する。しかしながら、ＷＰＰ処理は、プリコーディングの反転、すなわちシンタックス要素に基づく復元と、エントロピーコンテキスト選択が関係する限りにおいて依然として可能であるので、空間的予測およびコンテキスト選択、すなわち一般的に言って従属性を許容し、ローカル／空間的相互従属性を活用するために、スライス境界を交差することも可能である。その限りにおいて、エントロピースライスは「従属スライス」に何らかの形で対応する。

【0033】

細分化８０は、例えば、エントロピー符号化ステージ４４によって実行することができる。細分化は、固定するまたはシーケンス３０のアレイ中で変化することができる。細分化は、規約毎に固定するまたはデータストリーム２０内でシグナリングすることができる。

【0034】

エントロピースライスに基づいて、実際のエントロピー符号化、すなわち８２を起こすことができる。各エントロピースライスに対して、エントロピー符号化は、開始フェーズ８４と継続フェーズ８６に構造化することができる。開始フェーズ８４は、例えば、確率推定の初期化ならびにそれぞれのエントロピースライスに対する実際のエントロピー符号化プロセスのトリガーを含む。実際のエントロピー符号化は、次に継続フェーズ８６の間、実行される。フェーズ８６の間のエントロピー符号化は、それぞれのエントロピー符号化パス１４に沿って実行される。各エントロピースライスに対する開始フェーズ８４は、複数のエントロピースライスのエントロピー符号化がエントロピースライス順序１６を用いてシーケンシャルに開始するように制御される。

【0035】

ここで、お互いに完全に独立する各エントロピースライスのエントロピー符号化から結果として生じる上記概説されたペナルティを回避するために、エントロピー符号化プロセス８２は、現在のパート、例えば、現在のエントロピースライスの現在の符号化ユニットが、現在のエントロピースライスの前に符号化されたパート、すなわち図２の場合において現在の符号化ユニット５０の左側に対する現在のエントロピースライスのパートを用いて適応された現在のエントロピースライスのそれぞれの確率推定と、エントロピースライス順序１６において空間的に隣接する先行するエントロピースライスのエントロピー符号化においてその隣接するパート、すなわち隣接する符号化ユニットで用いられた確率推定とに基づいて、エントロピー符号化されるように制御される。

【0036】

上述した従属性をより明確に記載するため、図４が参照される。図４は、エントロピースライス順序１６におけるｎ−１、ｎおよびｎ＋１番目のエントロピースライスを、参照符合９０によって示す。各エントロピースライス９０は、それぞれのエントロピースライス９０に関連するサンプルアレイ１０の部分１２を記述するシンタックス要素のシーケンスを包含する。エントロピー符号化パス１４に沿って、エントロピースライス１９は、セグメント９２のシーケンスにセグメント化され、その各々は、エントロピースライス９０が関係する部分１２の符号化ユニット５０のそれぞれの１つに対応する。

【0037】

上述のように、エントロピースライス９０のエントロピー符号化において用いられる確率推定は、継続フェーズ８６の間、エントロピー符号化パス１４に沿って連続的に更新され、その結果、確率推定は、それぞれのエントロピースライス９０の実際のシンボル統計量に次第によく適応する、−すなわち、確率推定はそれぞれのエントロピースライスに関連する。図４において、継続フェーズ８６の間、エントロピースライス９０のエントロピー符号化に用いられる確率推定９４は連続的に更新されるが、単にセグメント９２の始まりと終わりの位置で生じる確率推定９４の状態が、更に以下で図示され言及される。特に、開始フェーズ８４の間に初期化された最初のセグメント９２のエントロピー符号化の前の状態が９６で示され、最初のセグメントを符号化した後に現れる状態が９８で図示され、最初の２つのセグメントを符号化した後に現れる状態が１００で示される。同じ要素は、図４において、エントロピースライス順序１６において、ｎ−１のエントロピースライスと、引き続くエントロピースライス、すなわちエントロピースライスｎ＋１に対しても示される。

【0038】

ここで、上記概説された従属性を達成するため、ｎ番目のエントロピースライス９０のエントロピー符号化に対する初期状態９６は、先行するエントロピースライスｎ−１の符号化の間に現れる確率推定９４のいかなる中間状態によってもセットされる。「中間状態」は、初期状態９６および全部のエントロピースライスｎ−１のエントロピー符号化の後に現れる最終状態を除いて、確率推定９４のいかなる状態をも示す。こうすることによって、エントロピースライス順序１６に沿ったエントロピースライス９０のシーケンスのエントロピー符号化は、次のエントロピースライスのエントロピー符号化に対する確率推定９４の初期化に対して用いられる状態に先行するセグメント９２の数、すなわちａと、後続するセグメント９２の数、すなわちｂとの比率によって決定される並列度で並列化することができる。特に、図４において、ａは、矢印１０４で図示される、現在のエントロピースライスの状態９６を、先行するエントロピースライスの状態１００に等しくなるようにセットするように、初期化によって、状態１００の適応に等しくなるように例示的にセットされる。

【0039】

この方策によって、エントロピー符号化パス順序１４において状態１００に追従するいかなるセグメント９２のエントロピー符号化も、継続フェーズ８６の間、同じエントロピースライスの先行するセグメントに基づいて適応された確率推定９４ならびに先行するエントロピースライス９０の３番目のセグメント９２のエントロピー符号化において用いられた確率推定によって決まる。

【0040】

したがって、エントロピースライス９０のエントロピー符号化は、パイプライン化されたスケジューリングにおいて並列に実行することができる。タイムスケジューリングに課される唯一の制限は、いくつかのエントロピースライスのエントロピー符号化が、単に先行するエントロピースライスのａ番目のセグメント９２のエントロピー符号化を終了した後に開始することができるということである。エントロピースライス順序１６において直接お互いを追従するエントロピースライス９０は、継続フェーズ８６の間、エントロピー符号化手順の時間配列に関する他のいかなる制限も受けない。

【0041】

しかしながら、他の実施形態によれば、より強い結合が、付加的におよび／または代わりに用いられる。特に、図４において代表的な矢印１０６によって図示されるように、継続フェーズ８６の間の確率推定の適応化は、特定のセグメント９２に対応する符号化ユニットのデータが、それぞれのセグメント９２の始めにおける状態からこのセグメント９２の終わりまで、確率推定９４を変化させることを生じさせ、これにより、上記で示された実際のシンボル統計量の近似を改善する。すなわち、適応化１０６は、エントロピースライスｎ−１に対して、単にエントロピースライスｎ−１のデータによって実行され、同じことがエントロピースライスｎ等の確率推定の適応化１０６に対して適用される。例えば、エントロピースライス９０間の更なる干渉なしに、確率推定の適応化１０６を実行することによって、矢印１０４に関して上述された初期化を実行することが可能である。しかしなから、実際のシンボル統計量の確率推定近似を促進させるために、連続するエントロピースライスの確率推定の適応化１０６を結合することができ、その結果、現在のエントロピースライスｎの確率推定の適応化を適応させるときに、先行するエントロピースライスｎ−１の確率推定の適応化１０６も影響し、または考慮される。これは、ｎ−１番目のエントロピースライス９０のエントロピー符号化に対する空間的に隣接する確率推定９４の状態１１０からｎ番目のエントロピースライス９０のエントロピー符号化に対する確率推定９４の状態１００から指し示す矢印１０８によって、図４において図示される。上記概説された状態９６の初期化を用いるとき、確率適応化の結合１０８は、例えば、先行するエントロピースライスのｂセグメント９２のエントロピー符号化の後に現れるいかなるｂ確率推定状態も用いることができる。より正確に言うと、現在のエントロピースライスの第１のセグメント９２のエントロピー符号化の後に現れる確率推定は、通常の確率適応化１０６と、先行するエントロピー符号化のａ＋１番目のセグメント９２のエントロピー符号化の間の確率推定の適応化１０６から結果として生じる確率推定状態を考慮すること１０８による結果とすることができる。「考慮すること」は、例えば、いくらかの平均演算を含むことができる。実施例は、以下に更に概説される。言い換えれば、ｎ番目のエントロピースライス９０のエントロピー符号化に対する、そのエントロピー符号化セグメントの始めにおける確率推定９４の状態９８は、適応化１０６を用いて適応された現在のエントロピースライスｎのエントロピー符号化に対する確率推定９４の直前の状態９６と、確率適応化１０６によって修正された先行するエントロピースライスｎ−１のａ＋１番目のセグメント９２のエントロピー符号化の前の状態との平均演算の結果とすることができる。同様に、状態１００は、現在のエントロピースライスｎのエントロピー符号化の間に実行される適応化１０６の結果と、先行するエントロピースライスｎ−１等のａ＋２番目のセグメント９２のエントロピー符号化の間の確率適応化の結果との平均演算の結果とすることができる。

【0042】

より詳しくは、
ｐ（ｎ）→｛ｉ，ｊ｝とする。ここで、ｉ，ｊは任意の符号化ユニットの位置を示し（ここで（０，０）は左上の位置であり、（Ｉ，Ｊ）は右下の位置である）、ｉ∈｛１…Ｉ｝、ｊ∈｛１…Ｊ｝、Ｉは列の番号であり、Ｊは行の番号であり、ｐ（）はパス順序６６を定める。
Ｐ_[i,j]は、エントロピー符号化ユニット｛ｉ，ｊ｝において用いられる確率推定を示し、
Ｔ（Ｐ_[i,j]）は、エントロピー符号化ユニット｛ｉ，ｊ｝に基づくＰ_[i,j]の確率適応化１０６の結果を示す。
そのとき、連続するエントロピースライス９０の確率推定１０６は、結合され、次式によって、通常のエントロピースライスの内部適用化をＰ_p(n-1)＝Ｔ（Ｐ_p(n)）に従って置き換えることができる。

【0043】

【0044】

ここで、Ｎは１または２以上とすることができ、｛ｉ，ｊ｝₁…_N、それぞれ、任意の前の（エントロピースライス順序１６において）エントロピースライス９０およびその関連する部分１２から選択される。関数「平均」は、加重和、中央値関数、その他の１つとすることができる。ｐ（ｎ）＝｛ｉ，ｊ｝は、現在の符号化ユニットであり、ｐ（ｎ＋１）は、それぞれ、符号化順序１４および６６に従って追従する。提案された実施形態において、ｐ（ｎ＋１）＝｛ｉ＋１，ｊ｝である。

【0045】

好ましくは、｛ｉ，ｊ｝₁…_Nは、各ｋ∈｛１…Ｎ｝に対して、｛ｉ，ｊ｝₁…_N＝｛ｉ_k，ｊ_k｝およびｉ_k＜ｉ＋３、ｊ_k＜ｊを満たす。ここで、ｐ（ｎ）＝｛ｉ，ｊ｝は現在の符号化ユニット（すなわち現在のエントロピースライスの２番目または追従する符号化ユニットのいずれか）であり、すなわちそれらはウェーブフロントを超えて存在することはない。

【0046】

後者の変形例において、エントロピー符号化のタイムスケジューリングは、エントロピースライス９０を並列にエントロピー符号化するとき、より密接にお互いに結合される。すなわち、継続フェーズ８６の間、現在のエントロピースライスのラインにおける次のセグメント９２は、単にエントロピー符号化パス順序１４において更なる上位の位置である先行するエントロピースライスの対応するセグメントの終了によって、始めることができる。

【0047】

言い換えれば、上記説明は、デコーダ４０および、特にエントロピー符号化ステージ４４が、ｎ番目のようなエントロピースライス９０に対して、ｎ番目のエントロピースライスに対応する部分１２の最初の符号化ユニット／最初のブロック５０に対応する最初のセグメント９２をそれぞれの符号化パス１４に沿って復号化する前に、エントロピースライス順序１６において、先行するエントロピースライスに対応する部分１２の２番目の符号化ユニット／ブロックをそれぞれの符号化パス１４に沿ってエントロピー復号化した後に現れる確率推定によって、その確率推定９４の初期化を実行するように構成された、実施例を示したものである。付加的にまたは代わりに、デコーダ４０および、特にエントロピー符号化ステージ４４は、各エントロピースライス９０に対して、現在のエントロピースライスの現在のパート／ブロック／符号化ユニット５０が現在のエントロピースライス９０のそれぞれの確率推定９４に基づいてエントロピー復号化された後に、現在のエントロピースライスのそれぞれの確率推定９４が、現在のエントロピースライスのこの現在のパートと、現在のエントロピースライスの現在のパート／ブロック／符号化ユニットの右側に対して２番目の列における上部に隣接する行におけるような、空間的に隣接する先行するエントロピースライスの隣接するパート／ブロック／符号化ユニット５０のエントロピー復号化において現れる確率推定によって適応されるように、エントロピー復号化および確率推定の適応化を実行するように構成することができる。

【0048】

上記説明から明らかになったように、確率推定は、各エントロピースライス５０に対して別々に適応／管理されなければならない。これは、それぞれの確率推定記憶１２０（図１参照）において、図４、すなわち９６、９８、１００、１１０および１０２に関して例示的に示され、言及されたように、エントロピースライスをシーケンシャルに処理し、確率推定状態を記憶することによってなすことができる。あるいは、エントロピースライスを並列に復号化するために、複数のエントロピー符号化ステージ４４を提供することができる。これは、エントロピー符号化ステージ４４の複数のインスタンス化が示された図５において図示され、エントロピースライスのそれぞれ１つおよびサンプルアレイ１０の対応する部分１２にそれぞれ関連する。図５は、それぞれのエントロピー復号化ステージ１３０の並列のインスタンス化を用いることによる復号化プロセスおよびその可能な実施態様をも図示している。これらのエントロピー復号化ステージ１３０の各々は、データストリーム２０によって伝達されるエントロピースライスのそれぞれによって供給される。

【0049】

図５は、エントロピー符号化ステージ４４およびそれぞれの復号化ステージ１３０が、完全にはお互いに独立に並列に動作しないことを示している。むしろ、記憶装置１２０に記憶されるような記憶された確率推定状態は、それぞれのエントロピースライスに対応する１つのステージから、エントロピースライス順序１６に従って追従するエントロピースライスに関係する他のステージに、引き渡される。

【0050】

図５は、説明の便宜上、１つの符号化ユニット５０内で、予測ブロック５２の中で定められたトラバース順序１４０のような符号化ユニット５０の可能な細分化をトラバースする可能なトラバース順序をも示す。すべてのこれらの予測ブロック５２に対して、対応するシンタックス要素はそれぞれのセグメント９２内に、これらのシンタックス要素の値に対応して含まれ、確率推定９４は、パス１４０のトラバースの間、上述された「Ｔ」を定義する符号化ユニット５０のトラバースの間の適応化によって、適応化される。Ｈ．２６４およびＨＥＶＣにかかるＣＡＢＡＣにおいて、「Ｔ」は、テーブルベースで、すなわち、現在のコンテキストに対する確率推定の現在の状態から、そのコンテキストに関連する現在のシンボル値によって決定される次の状態への遷移を定義する「テーブルウォーク」によって実行される。

【0051】

図１のエンコーダの実施形態に対応するデコーダの実施形態を示す図６に進む前に、プリコーダ４２の予測的な性質は、単に説明のための実施形態として役立つ点に留意すべきである。さらに代替の実施形態によれば、プリコーダ４２は、例えば、サンプルアレイ１０のオリジナルのサンプル値である、エントロピー符号化ステージ４４が動作するシンタックス要素によって、やめることができる。さらに代わりとして、プリコーダ４２は、ＪＰＥＧにおけるようなサンプルアレイ１０のサブバンド分解を形成するように構成することができる。コンテキストセレクタ７２のオプションの性質は、既に上述されている。同じことがイニシャライザ７４に関して適用される。同じことが異なって装備されてもよい。

【0052】

図６は、図１のエンコーダ４０に対応するデコーダ２００を示す。デコーダ２００の構造は、エンコーダ４０の構造を実質的に反映するものであることは、図６から明らかである。すなわち、デコーダ２００は、データストリーム２０を受信する入力２０２を備え、エントロピー復号化ステージ２０４とコンストラクタ２０６の連結が続く。エントロピー復号化ステージ２０４は、データストリーム２０２内で伝達されるエントロピースライスをエントロピー復号化し、次に、復号化されたシンボルｓ_iおよびシンタックス要素を、それぞれコンストラクタ２０６に転送し、コンストラクタ２０６は、次に、それぞれのリクエスト２０８によって、エントロピー復号化ステージ２０４からシンタックス要素をリクエストする。言い換えれば、コンストラクタ２０６は、エンコーダ内でプリコーダ４２によって生成されたシンタックス要素ストリームを解析する責務をも負担する。したがって、コンストラクタ２０６は、エントロピー復号化ステージ２０４から、シンタックス要素をシーケンシャルにリクエストする。エントロピー復号化ステージ２０４は、エントロピー符号化ステージ４４と実質的に同じ方法で構築される。したがって、エントロピー復号化ステージ２０４の内部ブロックの同じ参照符号が再利用される。シンボライザ７０は、存在するならば、シンタックス要素に対するリクエストをシンボルに対するリクエストに変え、エントロピー復号化コア８０は、それぞれのシンボル値ｓ_iによって答え、シンボライザ７０は、有効なシンボル語を形成する受信されたシンボルのシーケンスをシンタックス要素にマッピングし、それをコンストラクタ２０６に転送する。コンストラクタ２０６は、上記で概説された予測的復号化等を用いたようなエントロピー復号化ステージ２０４から受信されたシンタックス要素のストリームからサンプルアレイ１０を復元する。より正確に言うと、コンストラクタ２０６は、符号化順序６６をも用い、予測６０、６２および６４を実行することによって、符号化ユニット毎に復号化を実行する。シンタックス要素に対するまたはサンプル値に対する１つ以上の予測は、オプションとしてシンタックス要素ストリームのシンタックス要素から取得される予測残差を用いることによって、加算のように結合される。エントロピー復号化コア８０は、ちょうどエントロピー符号化コア８０のように、算術復号化コンセプトまたは確率インターバル分割エントロピー復号化コンセプトに従うことができる。算数復号化の場合、エントロピー復号化コア８０は、部分的インターバル幅値およびこの部分的インターバルを指し示すオフセット値のような値のフォームにおいて、内部状態を連続的に更新することができる。更新は、到着するデータストリームを用いてなされる。現在の部分的インターバルは、確率推定マネージャ７６とともにコンテキストセレクタ７２によって各シンボルｓ_iに対して提供される確率推定ｐ_iを用いて、エントロピー符号化コア８０に類似して細分化される。アダプタ７８は、コンテキストセレクタ７２によってシンボルｓ_iに関連するコンテキストｃ_iの確率推定値ｐ_iを更新するために、復号化されたシンボル値ｓ_iを用いて確率推定の適応化を実行する。イニシャライザ７４による初期化は、同じインスタンスに、符号化側と同じ方法でなされる。

【0053】

図６のデコーダは、図３に関して上述されたエンコーダの機能に非常に類似した方法で動作する。ステップ２３０において、サンプルアレイ１０は、エントロピースライスに細分化される。例えば、図８を参照されたい。図８は、入力２０２に到着するデータストリーム２０と、特にそれに含まれるエントロピースライス９０を示す。ステップ２３０において、これらのエントロピースライス９０の各々は、それぞれのエントロピースライス９０が関連する部分１２に関連し、その結果、それぞれの先行するエントロピースライスに基づく上述の確率推定の初期化および確率推定の適応化を実行することができる。サンプルアレイの細分化、または、より正確に言うと、エントロピースライス９０の、それらのそれぞれの部分１２との関連付けは、コンストラクタ２０６によって実行することができる。関連付けは、エントロピー符号化されない部分においてデータストリーム２０内に含まれるサイド情報のような異なる方策によって、または規約によって達成することができる。

【0054】

エントロピースライス９０は、次に、エントロピー復号化プロセス２３２において、符号化プロセス８２を反映させる方法で、言い換えれば、各エントロピースライス９０に対して、確率推定の初期化と適応化によって、開始フェーズ２３４と継続フェーズ２３６を符号化プロシージャと同じ方法で同じインスタンスに実行することによって、エントロピー復号化される。

【0055】

符号化に関して上述されたのと同じ並列化が、復号化側において可能である。図５に示されたエントロピー復号化ステージのインスタンス化１３０は、図６におけるエントロピー復号化ステージ２０４に関して示されたようにそれぞれ具現化することができる。確率推定記憶装置２４０は、エントロピー符号化順序１６において引き続くエントロピースライスのエントロピー復号化に対して責任があるエントロピー復号化ステージ１３０における使用に対して、確率推定の状態を記憶するために用いることができる。

【0056】

本願の実施形態が記載された後、今までに記載されたコンセプトが、異なる言い回しを用いて、再び以下に記載される。以下に、本願のいくつかの更なる態様が記載される。以下において、上述された符号化ユニット５０は、ＬＣＵ（最大符号化ユニット）と呼ばれ、それにより、来たるべきＨＥＶＣ規格に対する用語に適合する。

【0057】

第１に、上述された確率適応化１０６は、図９に関して再び簡単に記述される。

【0058】

現在のＬＣＵは、先行する左側のＬＣＵを符号化した後に利用可能な、ＣＡＢＡＣ確率のような確率推定を用いる。例えば、ｘによって示される図９のＬＣＵは、左手側のＬＣＵのエントロピー符号化の終わりまでＬＣＵｘの左側に対して適応された確率推定ｐ₁を用いてエントロピー符号化されると仮定される。しかしながら、情報が、左側のものだけでなく、既に処理されて利用可能な１つ以上の他のＬＣＵから用いられる場合、確率適応化においてより良い結果を達成することができる。

【0059】

上述のように、エントロピースライスのエントロピー復号化およびエントロピー符号化において、各ＬＣＵの符号化または復号化の前に、他のＬＣＵからの既に存在する確率（確率推定）の助けによって新しい確率推定が演算される。より正確に言うと、確率適応化は、現在のエントロピースライスのあらゆる先行するＬＣＵから実行されるだけでなく、エントロピースライス順序に先行するエントロピースライスのＬＣＵからも実行することができる。このアプローチは、再び図９において表される。したがって、図９においてＸで示された現在のＬＣＵの始めの確率は、次のように演算することができる。

【0060】

【0061】

ここで、ａ₁，…ａ_kはＬＣＵの重み係数である。

【0062】

どの重みの確率が最も良い結果を提供するかはテストされている。この実験において、近傍のＬＣＵのみが用いられている。この研究は、左側のＬＣＵから７５％および上右側のＬＣＵからの２５％の重みを用いることを明らかにする。図１０〜１３において、その結果が提供される。「Ｐｒｏｂ.Ａｄａｐ」を用いて与えられたグラフは、上述された確率適応化を用いる。

【0063】

しかしながら、確率推定の適応化において、隣接するブロックのみを用いることはできない。各最も近いＬＣＵは、確率最適化に対する使用を有意とすることができる自身の近傍を特別に有する。言い換えれば、上側の最も近い行からのＬＣＵのみを適用することはできない。図９において、確率推定の導出が、最初に近傍からとられ、各次の上側の行の各上右側のＬＣＵ（ｐ₅およびｐ_kを参照）からとることができた実施例を見ることができる。

【0064】

上記概説された確率再計算または確率推定の適応化によって、いくつかの複雑度が導入されることが認められるべきである。確率推定の新しい演算は、例えば、次の３つのステップにおいて生ずる。第１に、各候補の確率推定は、各コンテキストの状態から得られなければならない。これは、それぞれ記憶装置１２０および２４０に記憶することによって、またはこれらの状態が同時に利用可能であるように並列のエントロピースライスｎ／復号化プロセスをステアリングすることによって、なされる。第２に、式（１）を用いて、最適化された確率（ｐ_new）がつくられる。すなわち、異なるエントロピースライスの適応された確率推定を結合するために、例えば、いくつかの平均演算を用いることができる。最後のステップとして、新しいコンテキストの状態がｐ_newから変換され、古いものを置換する。すなわち、確率推定マネージャ７６は、このように取得された新しい確率推定を採用する。各シンタックス要素に対するこのパフォーマンスは、特に乗算演算を用いることで、複雑度を非常に増大させることができる。このペナルティを低減する唯一の方法は、これらの３つのステップを回避しようと試みることである。候補の数およびそれらの重みが決定される場合、各状態に対して予め計算されたテーブルを近似することができる。従って、候補のインデックス（コンテキストの状態）の助けによるテーブル日付への１つの簡単なアクセスのみを必要とする。

【0065】

この技術は、両方のアプリケーションに対して、エントロピースライスを用いておよびエントロピースライスを用いないで、良い結果を提供することができることが主張される。第１のアプリケーションは、フレーム毎に１つのスライスのみを用い、従って確率適応化は他のいかなる変化もなしに最適化される。エントロピースライスの場合には、確率の適応化は、他のスライスから独立な各スライス内で生ずる。これは、現在のＬＣＵの確率の速い学習を可能にする。

【0066】

上記説明において、上側ラインの２番目のＬＣＵの使用、すなわち確率推定の初期化に対する２番目のＬＣＵの使用も提供された。上述されたビットストリーム（エントロピースライス）のいくつかの条件が達成された場合、符号化および復号化の並列化が可能である。ＬＣＵ間のＣＡＢＡＣ確率の従属性は、壊れていなければならない。ウェーブフロント並列処理によって、各ラインの最初のＬＣＵを、前のラインの最後のＬＣＵから独立させることが重要である。それは、例えば、ＣＡＢＡＣ確率がＬＣＵの各ラインの始めにおいて再初期化される場合、達成することができる。しかしながら、この方法は、各再初期化が画像の特異性に適応された、達成されたＣＡＢＡＣ確率を失うので、最適でない。このペナルティは、各ラインの最初のＬＣＵのＣＡＢＡＣ確率の初期化が、前のラインの２番目のＬＣＵの後に取得される確率によって生ずる場合、低減することができる。

【0067】

上述されたように、確率適応化速度における利益は、空間的に隣接するエントロピースライスの確率適応化を結合することによって、達成可能である。特に、言い換えれば、上記説明は、エントロピー符号化されたデータストリームからサンプルアレイ（１０）を復元する図６の１つのようなデコーダであって、エントロピー符号化されたデータストリーム内の複数のエントロピースライスをエントロピー復号化する（エントロピー復号化ステージによって実行される）ように構成され、各エントロピースライスに対して、それぞれの確率推定を用いて、それぞれのエントロピー符号化パス（１４）に沿ってエントロピー復号化を実行し、それぞれのエントロピースライスの前に復号化されたパートを用いて、それぞれのエントロピー符号化パスに沿ってそれぞれの確率推定を適応させ、エントロピースライス順序（１６）を用いて、複数のエントロピースライスのエントロピー復号化をシーケンシャルに開始し、そして、予め定められたエントロピースライスのエントロピー復号化において、予め定められたエントロピースライスの前に復号化されたパート（例えば、ｐ１を含む）を用いて適応された予め定められたエントロピースライスのそれぞれの確率推定と、空間的に隣接する、エントロピースライス順序において先行するエントロピースライス（例えば、Ｘを含むスライス）のエントロピー復号化において、空間的に隣接するエントロピースライスの隣接するパート（ｐ４のような）で用いられた確率推定とに基づいて、予め定められたエントロピースライスの現在のパート（ｘ）のエントロピー復号化を実行することによって、エントロピースライスに関連するサンプルアレイの異なる部分（１２）をそれぞれ復元する、デコーダをも予期する。

【0068】

異なる部分は、サンプルアレイのブロック（例えばＬＣＵまたはマクロブロック）の行とすることができる。
後者は、ビデオの画像とすることができる。エントロピー符号化パスは、行ワイズに延在することができる。エントロピー符号化、そして従って、確率適応化も同様に、コンテキスト適応可能とすることができる。エントロピースライス順序は、一般に、エントロピースライス順序に沿って、異なる部分が、エントロピースライスのエントロピー符号化パス（１４）に対して角度をなす方向（１６）においてお互いに追従し、次に、実質的にお互いに対して平行に延在するように、選択することができる。この方策によって、エントロピースライスの現在の復号化されたパート（図においてｐ１、ｐ４、ｐ５＋１およびｐｋのような）の「ウェーブフロント」は、一般に、エントロピースライスパスに対して部分のシーケンスの方向よりも小さい角度を形成するラインに沿って配置することができる。左上のレファレンスが常にそこにあるために、スライスを並列に処理する全てのスレッドに対して、ウェーブフロントは、２ｘのブロック位置毎に１ｙの傾斜を有しなければならないようにすることができる。

【0069】

デコーダは、各エントロピースライスに対して、それぞれのエントロピースライスのサンプルアレイ部分のパートのユニットにおいて、それぞれのエントロピー符号化パスに沿ってエントロピー復号化を実行し、その結果、エントロピースライスがそれぞれ同じ数のパートから成り、その部分のパートのシーケンスが、エントロピースライスパスに沿ってエントロピースライスパスに対してお互いに横方向に配列されるように構成することができる。予め定められたエントロピースライスの部分の現在のパートは、結果として生じるパートのグリッド（例えばＬＣＵまたはマクロブロック）に帰属する。各エントロピースライスに対する、それぞれのエントロピー符号化パスに沿ったエントロピー復号化の実行において、デコーダは、エントロピースライス順序における直接に連続するエントロピースライスの開始時間の間のオフセット／シフトを保存することができ、その結果、エントロピースライスの現在復号化されるパートのウェーブフロントは、エントロピースライスパスおよびエントロピースライス順序方向に関して０．５ｘブロック位置の傾斜を備えたラインまでのような対角線を形成する。オフセット／シフトは、直接に連続するエントロピースライスの全てのペアーに対する２つのパートに対応することができる。あるいは、デコーダは、単に、直接に連続する（そして、それらのサンプルアレイの部分１２が関係する限り直接に隣接する）エントロピースライスの現在復号化されるパートの距離が２パート未満になることを回避することができる。上の図を参照されたい：パート／ブロックｐ４が復号化されるとすぐに、その右側のパート／ブロックはパス順序１６に従って復号化され、もしあれば、Ｘまたはそれに先行するパート／ブロックのいずれかが同時に復号化される。この方策によって、デコーダは、Ｘの復号化において用いられる確率推定を決定するために、パート／ブロックｐ４のコンテンツ、すなわち、パス順序１６において現在のパートＸに後続する予め定められたエントロピースライスの部分１２のパートに配列される空間的に隣接する部分内のパートに基づいて既に適応された確率推定を用いることができる。２つのパートの即時のエントロピースライスの復号化において固定のオフセットの場合、デコーダは、空間的に隣接する引き続くパート（すなわちｐ４の右側のパート）のエントロピー復号化に対して、同時にパート／ブロックｐ４のコンテンツに基づいて既に適応された確率推定を用いることが可能である。

【0070】

上述されたように、Ｘの復号化に対して用いられる確率推定を決定するために、既に適応された確率推定の重み付け加算を用いることができる。

【0071】

また、上述されたように、エントロピースライス順序は、フレーム境界を超えることもできる。

【0072】

先行するエントロピースライスからのちょうど概説された確率採用は、先行するエントロピースライスにおいてそのような隣接するパートが利用可能である現在の／予め定められたエントロピースライスのすべてのパートに対して実行することができることに留意すべきである。すなわち、これは、パス方向１６に沿った最初のパートに対しても真であり、この１番最初のパート／ブロック（図において各エントロピースライスの最左）に対して、採用は上述された初期化に等しい。

【0073】

より良く適応させるために、この場合においても、２つの上述された方法を一緒に結合することができる。１スレッドおよび４スレッド、すなわち並列に用いられた処理ユニットによるこのプロセスの結果は、図１０〜１３（２ＬＣＵ＋Ｐｒｏｂ.Ａｄａｐまたは２ＬＣＵのグラフ）において図示されている（Ｐｒｏｂ.Ａｄａｐは「確率適応化」を示す）。

【0074】

上記実施形態のコンテキストと、特に以下に記載された更なる実施形態、特にＬＣＵの使用をより良く理解するために、最初にＨ．２６４／ＡＶＣの構成に目を通すことができる。

【0075】

Ｈ．２６４／ＡＶＣにおける符号化されたビデオシーケンスは、ＮＡＬユニットストリームにおいて集められた一連のアクセスユニットから成り、それらは１つのシーケンスパラメータのセットのみを用いる。各ビデオシーケンスは、独立に復号化することができる。符号化されたシーケンスは、符号化された画像のシーケンスから成る。符号化されたフレームは、全体のフレームまたは単一のフィールドとすることができる。各画像は、固定サイズのマクロブロック（ＨＥＶＣにおいて：ＬＣＵ）に区分化される。いくつかのマクロブロックまたはＬＣＵは、一緒に１つのスライスにマージすることができる。画像は、それ故に１つ以上のスライスの集まりである。このデータ分離のゴールは、他のスライスからのデータの使用なしに、スライスによって表された画像のエリアにおけるサンプルの独立の復号化を可能にすることである。

【0076】

しばしば「エントロピースライス」とも称された技術は、従来のスライスの付加的なサブスライスへの分割である。具体的には、それは、単一のスライスのエントロピー符号化されたデータのスライシングを意味する。スライスにおけるエントロピースライスの配置は、異なる種類を有することができる。最も簡単なものは、フレームにおいて、ＬＣＵ／マクロブロックの各行を、１つのエントロピースライスとして用いることである。代わりに、列または分離した領域を、中断し、お互いに切り換えることさえできるエントロピースライス、例えば図１４におけるスライス１、として利用することができる。

【0077】

エントロピースライスコンセプトの明らかな目的は、復号化プロセスの時間を改善する、すなわちプロセスをスピードアップするために、並列のＣＰＵ／ＧＰＵおよびマルチコアアーキテクチャの使用を可能にすることである。現在のスライスは、解析し、他のスライスデータに対する参照なしに復元することができるパーティションに分割することができる。エントロピースライスアプローチによって２、３の利益が達成されるが、それによりいくつかのペナルティが現れる。

【0078】

まず最初に、主な目的は、並列の符号化および復号化プロセスに適するビットストリームを生成することである。予測に対して空間および動き情報を用いるため、隣接するＬＣＵ（左、上、右上）が符号化されたバージョンとして既に利用可能である場合にのみ、ＬＣＵを符号化できることを考慮しなければならない。スライスすることによって並列性を可能にするため、スライスの処理間のシフト（例えば、ウェーブフロントアプローチに対して典型的な、２つのＬＣＵのシフト）を実現しなければならない。ＣＡＢＡＣ確率の適応化のため、ＬＣＵは、前の符号化されたＬＣＵから利用可能な確率を用いる。ラスタースキャン順序に関して、画像をスライスすることによって生ずる問題は、各ラインの最初のＬＣＵが前のラインの最後のＬＣＵによって決定されることから、並列性の妨害となることである。この影響は、いくつかのスライスを同時に開始することができるように、スライス間のＣＡＢＡＣ確率の従属性が破壊されなければならないことである。このようにする１つの方法は、通常のＣＡＢＡＣ再初期化であるが、それによって全ての採用されたデータは失われる。その結果、ビットレートが増加する可能性がある。

【0079】

第２に、各スライスはそれ自身のサブビットストリームを生成し、それをメインストリームにシリーズに入れることができる。しかし、これらのスライスおよびメインストリームにおけるそれらの位置を正しく識別できるように、デコーダに特別な情報を引き渡す必要がある。シグナリングに対する２つのシナリオがサポートされる。位置情報は、画像ヘッダ（スライス長さ情報）にまたは各スライスヘッダ（開始コードとして指し示す）に記憶することができる。各エントロピースライスの終わりにおけるバイト配列と位置情報は、損失を増やす。

【0080】

エントロピースライスに対するシグナリングによって導入されるペナルティを低減するために、シグナリングに対して良い符号化技術を用いることが重要である。スタートコードが各スライスに対して用いられる場合、すなわち、あまりに多くの付加的なバイト（例えばスライス毎に最小４バイト）がビットストリームに付加される場合に、エントロピースライスシグナリングに対する目に見えるペナルティがフレームにおいて導入される。確かに、開始コードを用いたエントロピースライス９０の挿入は、エンコーダが即座にエントロピースライスを出力することができる低遅延シナリオにおいて利益を有する。そのような場合、可能なエントリーポイントの前もってのシグナリングがない。

【0081】

しかしながら、より少ない低遅延の厳密なシナリオにおいて、スライス長（オフセット）を記憶する機会がより適切であるように思われる。このような情報を符号化する１つの周知の方法は、可変長コード（ＶＬＣ）または指数ゴロンブ符号化である。ＶＬＣの主な特徴は、真の情報の前に空の情報（ゼロ）を加えることである。これらのゼロの助けにより、オフセット長についての情報を記憶するコードを決定することができる。我々は、これを実現する他の技術であって、図１５においてスキームが示され、Ｘ＝ＥｎｔｒｏｐｙＳｌｉｃｅＳｉｚｅがエントロピースライスに含まれるバイトの量である技術を提案する。各次のＸ（オフセット）は、前の、既に符号化され、シグナリングされたエントロピースライスのオフセットと現在のものとの間のサイズにおける差分として定められる。このコンセプトの主な特徴は、サイズＸによる差分を形成し、従って、データ量を減少し、３ビットまで加算することができ、デコーダによって、各エントロピースライスのサイズについての適当な情報を導き出すことを可能にする。ＶＬＣと比較すると、エントロピースライスヘッダにおいて節約されるビット量を得ることができる。

【0082】

すなわち、例えば、図１５の態様によれば、情報信号をエントロピー符号化するコンセプトが提供され、並列処理能力にもかかわらず、今までに利用可能なコンセプトと比較して、より高い圧縮レートを可能にする。この態様によれば、サンプルアレイが符号化されるエントロピー符号化されたデータストリームのセクション２０は、サンプルアレイの異なる部分１２がエントロピー符号化される図８における９０のようなエントロピースライスと、エントロピー符号化されたデータストリーム内で、エントロピー復号化ドメインにおいて測定された、エントロピースライス９０の開始位置３０２を表す情報を備える図９における破線３００によって図示されたヘッダとを備えるものであって、当該情報は、予め定められたエントロピースライスに対して、先行するエントロピースライスｎ−１の開始位置と予め定められたエントロピースライスｎの開始位置の差分を表す差分値を備え、当該差分は、ＶＬＣビットシーケンスとして、データストリームに含まれる。

【0083】

特に、ＶＬＣビットシーケンスは、差分ｘがインターバル［０，２^a−１］、［２^a，２^b＋２^a−１］、［２^b＋２^a，２^c＋２^b＋２^a−１］、その他の数ｚのシーケンスのｙ番目に落ちることを示す可変長ｙの接頭部と、長さａ，ｂ，ｃ，…のシーケンスのｙ番目のＰＣＭ符号化された接尾部を有することができる。ａ，ｂ，ｃ，…が２の累乗に選ばれる場合、対応するｙが加算される場合、すなわち、その結果、ａ＋１、ｂ＋２、ｃ＋３、その他が全て２の累乗である場合、バイト配列を保存することができる。数ｚは、図１５において例示的に選択される３つに制限されない。

【0084】

図１におけるようなエンコーダは、連続する開始位置の差分をＶＬＣビットシーケンスに変えるように、すなわち最初に接頭部を決定し、すなわちそのサブインターバル内に差分が存在し（ｙ番目の）、そして接尾部を、開始位置の差分に等しくなるようにプラスし、０、２^a、２^b＋２^a、その他のｙ番目をマイナスしたものにセットすることによって、適切に設計される。図６におけるようなデコーダは、ＶＬＣビットシーケンスから現在のエントロピースライスｎの開始位置を導き出すように、すなわち最初に接頭部を検査してｙを取得し、次に差分を接尾部の値プラス０、２^a、２^b＋２^a、その他のｙ番目にセットし、次に差分を先行するエントロースライスｎ−１の開始ポイントに加算することにより、適切に設計される。

【0085】

更なる利益は、エントロピースライスのセグメント化によって、言い換えれば低遅延伝送と復号化のスピードアップに対して、達成することができる。

【0086】

ビデオストリーミングにおいて、より高い解像度（フルＨＤ、クワッドＨＤ他）の実現は、より高い伝送データ量に導く。時間に敏感なシナリオ、いわゆる低遅延の使用ケース（＜１４５ｍｓ）に対して、転送時間は、クリチカルな要素になる。ビデオ会議アプリケーションに対するＡＤＳＬのアップロードリンクを考慮する。ここで、いわゆるストリームのランダムアクセスポイント（通常これらはＩフレームと呼ばれる）は、伝送の間にボトルネックを生じさせる候補である。

【0087】

その問題を解決し、伝送および復号化時間の遅延、すなわち端末間の遅延を最小化するために、並列伝送および処理のためのインターリーブ化されたエントロピースライススキームに対して、新しい技術を適用することができる。

【0088】

ＨＥＶＣは、デコーダ側においていわゆるウェーブフロント処理を許容する。それは、エントロピースライスの使用によって使用可能になる。通常のケースにおいて、全部のスライスのデータは、一度に配信される。復号化プロセスは、符号化されたデータがウェーブフロント−デコーダ−エンジンに到達するとすぐに開始する。デコーダが１つのフレームを開始し、終了することができる時間を低減するために、本発明の実施形態よれば、インターリーブアプローチを用いたエントロピースライスの小さなチャンクへのセグメント化が使用される。それ故に、エンコーダは、特定のエントロピースライスに対応するデータを、通常のケースより早くトランスポート層に配信することができる。それは、より速い伝送と、クライアントにおける並列の復号化プロセスのより早い開始に結果としてなる。

【0089】

スライスのチャンクの生成は、全ての従属性を保持する更なるスライス（従属スライス）において、エントロピースライスを細分化するによって、更に達成することができる。各最大符号化ユニット（ＬＣＵ）／符号化ツリーユニット（ＣＴＵ）においてそうする場合、これらのチャンクは、チャンクをインターリーブ形式で伝送し、付加的なシグナリングによって復元するまたは少なくともチャンクのオリジナルの復号化順序の知識を提供することを可能にするシステムレイヤー技術を付加的に用いることによって、インターリーブ化することができる。このようなシグナリングは、Ｈ．２６４／ＡＶＣに対するＩＥＴＦ ＲＴＰ ペイロードフォーマット（ＲＦＣ３９８４）において定められたような、復号化順序番号（ＤＯＮ）とすることができる。他のシステム方法は、異なるＰＩＤをこれらの各々にアサインし、更に多重化し、それによってトランスポートチャンネル上でそれらをインターリーブ化することによって、ウェーブフロントサブストリームのチャンクを、ＭＥＰＧ−２システムにおけるような異なるトランスポートストリームに適用することができる。

【0090】

そのアプローチは、追従するフレームのスライスまたはエントロピースライスが、例えばウェーブフロント方法において、追従するフレームのエントロピースライスの復号化に必要な情報がフレーム間レファレンスの利用可能性に基づいているという知識に基づいて、既に復号化することができる場合には、フレーム境界を越えて適用することもできる。復号化順序において後続するこれらの既に復号化可能なフレームのデータは、最大可能な／シグナリングされた動きベクトル長またはデータパートの先行するフレームに対する従属性を示すストリームにおける付加的な情報、またはパラメータセットのようなシーケンスの固定された位置においてシグナリングされる位置を示す固定された参照スキームから導き出すことができる。これは、以下に更に概説される。

【0091】

画像は、図２および９において描かれた最大符号化ユニット（ＬＣＵ）−行毎に１つのエントロピースライスによって符号化することができる。それは、デコーダ側でのウェーブフロント技術の使用に対して有利である。符号化プロセスの間、各スライスのビットストリームは、一定のサイズのセグメントに分割することができる。次に、結果としてのセグメントは、インターリーブ化され、伝送に引き渡すことができる。一定のサイズのセグメントは、その可変長により、ビットストリームの終わりにおいて問題をもたらす可能性がある。

【0092】

ここで、可能な２つの一般解がある。第１の解は、１バイトセグメントの生成（通常、スライスのビットストリーム表現はバイト配列されている）と、各デコーダエンジンによるバイトの消費の制御、すなわち、デコーダがエントロピースライスの完了を発見することである。

【0093】

第２の解は、スライスの終わりにおいてファイナライズコードを用いることである。最後のケースにおいて、可変長セグメントは可能であるが、それはまた、より高いデータ量に導く可能性がある。他の方法は、エントロピースライス長のシグナリングである。このような変形例の１つの方法が以下に記載される。

【0094】

セグメントのサイズおよびインターリーブモードは、１つのＳＥＩメッセージまたはＳＰＳのいずれかにおいてシグナリングすることができる。

【0095】

伝送スキームは、図１６に示される。

【0096】

このように、例えば、図１６の態様によれば、今までに利用可能なコンセプトと比較してより低遅延を可能にする、サンプルアレイのエントロピー符号化のコンセプトが提供される。この態様によれば、情報信号が符号化される符号化されたデータストリーム２０は、エントロピースライス９０のようなスライスまたは情報信号の異なる部分１２が（予測的におよび／またはエントロピー）符号化されるちょうど完全に独立に復号化可能なスライス（左手側に示される）を備え、スライス９０は、符号化されたデータストリーム２０内に、インターリーブ化された方法で配置される（右手側に示される）チャンク（シェードされたボックス３１０）に細分化され、インターリーブ化は、ブラケット３１２によって表される。

【0097】

上記に示され、他の態様に関して記載されたように、スライスは、エントロピースライス９０とすることができ、それは、次に、フレームのスライスの適当なサブセットとすることができ、したがって、符号化されたデータストリームは、エントロピー符号化されたデータストリーム２０とすることができる。

【0098】

いずれのスライス９０の復号化に対しても責任があるデコーダは、他のデコーダの前のスライス（スライス順序１６による）によって消費される継続時間を待つ必要がないので、スライス９０のインターリーブ化３１２は、より低遅延を可能とする。むしろ、全ての利用可能なデコーダは、その最初のチャンク３１０が利用可能であるとすぐに、それらの関連するスライスの復号化を開始することが可能であり、潜在的なスライス間の従属性は解消される（ウェーブフロントアプローチを参照）。

【0099】

異なる部分１２は、エントロピースライスの中で独立にセットされた確率推定を用いて、または、例えば、言い換えれば異なる部分１２がそれぞれのエントロピー符号化パス１４に沿ってエントロピースライス９０に符号化されるような、上述された確率推定のエントロピースライス間の採用を用いて、エントロピースライス９０にエントロピー符号化することができ、下位のエントロピースライスは、前に記載されたように、とりわけ、対応する部分の空間的に隣接するパートにおいて、より高いランクのエントロピースライスにおいて用いられる確率推定から導き出された確率推定を用いて、その中で符号化されるそれらの対応する部分１２を有する。

【0100】

エントロピー符号化されたデータストリーム２０は、図１６においてオプションとして示されたヘッダを付加的に備えることができる。ヘッダ３００はシーケンス３０のフレーム（サンプルアレイ）に関連することができ、ヘッダ３００はエントロピースライスの長さを表す情報を備える。エントロピースライス９０の長さに関する情報は、ＶＬＣコードを用いて、上述されたヘッダ３００内で符号化することができる。エントロピースライスの長さについての知識を用いて、復号化側において、エントロピースライス９０の各々に関連する最後のチャンクとその長さを識別することが可能である。しかしながら、開始コードまたは他の表示スキームを用いることもできる。スライスの開始位置は、まさにスライスの終了を知っている復号化プロセスによって識別することもできる。それ故に、デコーダの表示にちょうど依存することを可能とすることができるが、これは、場合によっては、ストリームにおいて「以前の」エントロピースライスが「以後の」スライスよりも後に終了する場合に、デコーダ間のシグナリングを必要とする。これは、特定のケースに対して、ストリームにおいて、開始コードに基づくことができる「適応的」シグナリングを必要とすることができる。

【0101】

例えば、エントロピースライス９０は、図１６において図示されたように、ヘッダ３００の後に配置することができる。

【0102】

チャンク３１０は、少なくとも、チャンクがエントロピー符号化されたデータストリーム２０内に配置される順序に沿ったチャンクの最初の１つからの、チャンク３１０のシーケンスの始めの隣接する部分に関する限り、等しい長さとすることができる。引き続くチャンクは、長さにおいて変化することができる。引き続くチャンクは、シーケンスの始めの隣接する部分の長さに等しくてもよく、またはこの長さより小さくてもよい。引き続くチャンクの長さは、エントロピースライス９０の長さまたは開始位置を表すヘッダ３００内の上述の情報から導き出すことができる。チャンク３１０は、エントロピースライスの中で定められた順序に従って、周期的な方法で、エントロピー符号化されたデータストリーム２０内に配置することができる。エントロピースライスに対して、完全に前のサイクル内にあるチャンクは、現在および引き続くサイクルにおいてスキップすることができる。

【0103】

他の情報信号、それからビデオ信号のようなサンプルアレイシーケンスは、同様にデータストリーム２０によって伝達することができる。従って、異なる部分１２は、画像／フレームのような予め定められたサンプルアレイの部分である必要はない。

【0104】

上述のように、エントロピースライス９０は、エントロピースライス間予測および／またはフレーム間予測の予測残差のエントロピー符号化を用いて、予測符号化によってその中に符号化されるサンプルアレイ１０の異なる部分１２を有することができる。すなわち、上述のように、異なる部分は、フレーム１０の空間的に区別可能な部分または多重フレーム３０とすることができる。後者のケースは、追従するフレームのスライスまたはエントロピースライスが、例えば、ウェーブフロント方法において、既に復号化することができる場合に、追従するフレームのエントロピースライスの復号化に必要な情報が利用可能なフレーム間レファレンスに起因する知識に基づいて、適用される。復号化順序において後続するフレームのこれらの既に復号化可能なデータは、先行するフレームのデータパートの従属性を示す、ストリームにおける最大の許容された／シグナリングされた動きベクトル長または付加的な情報から導き出すことができ、エントロピースライス間予測はイントラ予測を含むことができ、その一方で、フレーム間予測は動き補償された予測を含むことができる。実施例は以下で概説される。

【0105】

上述されたエントロピースライスの中でセットする確率推定の独立性は、確率適応化ならびにコンテキストモデリングの両方に関係することができる。すなわち、エントロピースライス内で選択されるコンテキストは、他のエントロピースライスから独立に選択することができ、コンテキストの確率推定は、同様に他のいかなるエントロピースライスからも独立に初期化し、適応することができる。

【0106】

対応するエントロピーデコーダは、以下のように構成することができる。

【0107】

フレームの異なる部分がエントロピー符号化されるエントロピースライス９０を備えるエントロピー符号化されたデータストリーム２０を復号化するように構成され、エントロピースライスが、エントロピー符号化されたデータストリーム２０内にインターリーブ化された方法で配置されるチャンク３１０に細分化される、エントロピーデコーダは、図６に示されたように構成することができ、図１６において３１４で表される、チャンク３１０を非インターリーブ化するように構成されたデインターリーバを付加的に備えることができる。

【0108】

特に、図５において図示されたように、エントロピーデコーダは、異なる処理カーネル上で走るスレッドのような複数のエントロピーデコーダ１３０を備えることができ、デインターリーバは、各エントロピースライスに対して、そのチャンク３１０を、それぞれのエントロピースライスに関連するエントロピーデコーダ４４に転送するように構成することができる。

【0109】

言い換えれば、エントロピースライスは、チャンクに細分化することができ、次に、インターリーブ化することができ、デコーダは、チャンクを非インターリーブ化するデインターリーバを備えることができ、エントロピースライスに関する動作を、全体としていずれかのエントロピースライスの受信の前にさえ、パス１６に沿って並列に開始することができる。チャンクの長さは、例えば、画像等における多くの特定の空間パート／ブロックに対応するように、好ましくは、シンタックスドメインよりむしろエントロピー符号化ドメインにおいて測定される（後者のオプションが同様に利用可能であるにもかかわらず、）ことを想起すべきである。

【0110】

次に、時間的従属性の使用が記載される。それは、今までに記載された確率推定拡張形態に加えて、または代わりに用いることができる。

【0111】

ウェーブフロント処理パターンは、ここで記載されたように、各ＬＣＵに対してフレーム間の時間的従属性をも用いた新しい確率計算によって、エントロピー符号化に対して拡張することができる。

【0112】

周知のように、確率は、各フレームの始め（最初のＬＣＵ）において再初期化される。これにより、前のフレームにおいて既に取得された確率は消失する。符号化効率の損失を低減するため、参照フレーム３２４から現在のフレーム１０またはエントロピースライス１２の最初のＬＣＵに対して、画像の終わりの状態（３２０）または、エントロピースライスの使用の場合において、スライスの終わりの状態（３２２）の確率を、それぞれ引き渡すことができる（図１７）。並列のウェーブフロント処理はフレーム境界を超えることもできるので、すなわちフレームのスライスの符号化の間、先行するフレームのスライスの符号化プロセスが既に終了していない可能性があるので、参照フレームにおいて対応するスライスのこのようなデータは、参照されたスライスにおいて、終わりの位置だけでなく、以前の位置からも導き出すことができる。それ故に、シグナリングは、参照位置を示すために用いることができる、またはスキームによって示すことができる。

【0113】

【0114】

参照フレームの終わりの状態の解析プロセスは、確率適応化の方法によってテストされ、その結果は、図１０〜１９上に図示されている（時間的グラフ）。

【0115】

他のフレームからの日付を用いる他の機会は、配列されたＬＣＵの間で取得された確率を交換することである。主なアイデアは、参照フレームの性質が現在のフレームからあまり大きく異ならないという主張に基づいている。フレームにおけるＬＣＵに沿った確率の学習を速めるために、現在のフレームにおいて各ＬＣＵの終わりの状態を適当なＬＣＵに引渡すことをトライすることができる。この提案は、図１８において図示される。

【0116】

参照フレームのもとで、異なる機会を理解することができる。例として、最後に符号化されたフレームは、参照フレームとして用いることができる。その他には、同じ時間的レイヤーのみからの最後に符号化されたフレームを、参照に対して充当することができる。

【0117】

その上、このアプローチは、参照フレームからの最後の（スライス）情報の使用、確率適応化、および上側ラインの２番目のＬＣＵの使用として、既に上記提案された方法と併合することができる。

【0118】

上記空間的適応化プロセスは、次のように修正することができる。

【0119】

【0120】

ここで、Ｎは１または２以上とすることができ、｛ｉ，ｊ｝₁…_Nは、それぞれ、現在のサンプルアレイ１０およびその関連する部分１２におけるいずれかの前の（エントロピースライス順序１６において）エントロピースライス９０から選択され（そのなかにあり）、Ｍは１または２以上とすることができ、｛ｉ，ｊ｝’₁…_Mは、先行するサンプルアレイ３５０内にある。ＣＵ５０｛ｉ，ｊ｝’₁…_Mの少なくとも１つは、ｐ（ｎ）に対して同じ位置に配置されるようにすることができる。ＣＵ５０｛ｉ，ｊ｝₁…_Nの可能な選択に関して、上記記載が参照される。関数「平均」は、加重和、メディアン関数、その他のいずれかとすることができる。

【0121】

上記空間的適応化プロセスは、次式によって置き換えることができる。

【0122】

【0123】

ここで、Ｍは１または２以上とすることができ、｛ｉ，ｊ｝’₁…_Mは、先行するサンプルアレイ内にある。｛ｉ，ｊ｝’₁…_Mの少なくとも１つは、ｐ（ｎ）に対して同じ位置に配置されるようにすることができる。｛ｉ，ｊ｝₁…_Nの可能な選択に関して、上記記載が参照される。関数「平均」は加重和、メディアン関数、その他のいずれかとすることができる。｛ｉ，ｊ｝’₁…_Mの少なくとも１つは、ｐ（ｎ）に対して同じ位置に配置されるようにすることができる。

【0124】

配列された情報の使用の特定の拡張として、１つまたはさらに多くの参照フレームから、他ブロックから取得された日付を利用するアプローチを適用することができる。

【0125】

早期に言及された技術は、現在のフレームにおいてまたは参照フレームにおいて、直接の近傍から取得された情報のみを用いる。しかしながら、それは、このケースにおいて得られた確率が最高のものであることを意味しない。隣接するＬＣＵは、画像区分化（残差）によって、必ずしも最良の確率モデルを有しない。最良の結果は、予測がなされるブロックの助けを借りて達成することができると想定される。そして、従って、この適当なブロックを、現在のＬＣＵに対するレファレンスとして用いることができる。

【0126】

このように、上記の適応化の実施例において、｛ｉ，ｊ｝₁…_Nおよび／または｛ｉ，ｊ｝’₁…_Mは、ｐ（ｎ）に対する予測器の提供者として役立つＣＵによって選択することができる。

【0127】

提案された時間的確率適応化／初期化スキームは、エントロピースライスなしでまたはフレーム毎に単一のエントロピースライスで用いることもできる。

【0128】

後者の態様によれば、確率適応化速度における利益は、時間的に隣接する／関連するフレームの確率適応化を結合することによって達成される。そこで記載されることは、図６のようなデコーダであり、デコーダは、エントロピー符号化されたデータストリームからサンプルアレイのシーケンスを復元するように構成され、また、サンプルアレイのシーケンスの現在のサンプルアレイを復元するために、エントロピー符号化されたデータストリームの現在のフレームをエントロピー復号化し、確率推定を用いてエントロピー符号化パスに沿ってエントロピー復号化を実行し、現在のフレームの前に復号化されたパートを用いて、エントロピー符号化パスに沿って確率推定を適応させるように構成され、エントロピー復号化ステージは、エントロピー符号化されたデータストリームの前に復号化されたフレームの復号化において用いられた確率推定に基づいて、現在のフレームに対する確率推定を初期化または決定するように構成される。

【0129】

すなわち、例えば、現在のフレームに対する確率推定は、エントロピー符号化されたデータストリームの前に復号化されたフレームの復号化を終了した後に結果として生じる確率推定に基づいて初期化される。バッファーの要求条件は、単に確率推定の終わりの状態が現在フレームの復号化の始まりまでバッファリングされなければならないだけであるので、それ故に低い。もちろん、この態様は、各部分１２の最初のパートに対して、以前のエントロピースライス（利用可能であれば）において空間的に隣接するパートに対して用いられた確率推定だけでなく、例えば、重み付けされた方法で、前のフレームにおいて対応する（例えば、空間的に）エントロピースライスの確率推定の終わりの状態が用いられるという点において、図１〜９の態様と結合可能である。並列のウェーブフロント処理はフレーム境界を超えることもできるので、すなわちフレームのスライスの符号化の間、先行するフレームのスライスの符号化プロセスが既に終了していない可能性があるので、参照フレームにおいて対応するスライスのこのようなデータは、参照されたスライスにおいて、終わりの位置だけでなく、以前の位置からも導き出すことができる。それ故に、シグナリングは、参照位置を示すために用いることができる、またはスキームによって示すことができる。

【0130】

更に、例えば、前に復号化されたフレームのパート／ブロックの符号化に対して用いられた確率推定は、終わりの状態だけでなく、全てバッファリングされ、デコーダは、上述のように、予め定められたエントロピースライスのエントロピー符号化において（空間的結合の確率導出の上記記載を参照して）、予め定められたエントロピースライスの前に復号化されたパート（例えば、ｐ１を含む）を用いて適応された予め定められたエントロピースライスのそれぞれの確率推定と、前に復号化されたフレームのエントロピースライスの空間的に対応するパートのエントロピー復号化において用いられた確率推定とに基づいて、オプションとして、空間的に隣接する、エントロピースライス順序において先行するエントロピースライス（例えば、Ｘを含むスライス）のエントロピー復号化において、空間的に隣接する先行するエントロピースライスの隣接するパート（ｐ４のような）において用いられた確率推定を付加的に用いることによって、予め定められたエントロピースライスの現在のパート（Ｘ）のエントロピー復号化を実行する。また、上述されたように、パートの中の空間的な対応と、前に復号化されたフレームの中で現在のフレームに対する確率採用に対して適当なものの識別は、現在のパート／ブロックの動きインデックス、動きベクトル、その他のような動き情報の助けによって定めることができる。

【0131】

これまで、ウェーブフロント処理の間に延在するウェーブフロントは、サンプルアレイの順に実行される符号化／復号化によって、主として１つのサンプルアレイ１０によって斜めに延在するように記載されていた。しかしながら、これは必須ではない。ここで、図１９が参照される。図１９は、サンプルアレイのシーケンスからの部分を示し、そのシーケンスのサンプルアレイは、それらの中で定められ、提示の時間順序と一致してもよくまたは一致しなくてもよいサンプルアレイ符号化順序３８０において配置されるように表される。図１９は、サンプルアレイ１０の、各々の４つのエントロピースライスへの細分化を例示的に示す。既に符号化／復号化されたエントロピースライスはハッチングされて示される。４つの符号化／復号化スレッド（符号化／復号化ステージ）３８２は、インデックスｎを有するサンプルアレイの４つのエントロピースライス１２に関して現在動作している。しかしながら、図１９は、左にあるスレッド番号５を示し、図１９において番号５を有するこの更なるスレッド３８２が、現在符号化／復号化されるフレームｎにおいてそれぞれの参照部分が既に利用可能である、すなわちスレッド１〜４のいずれかによって既に処理されたことが保証される部分で、ラインにおいて次のサンプルアレイ、すなわちｎ＋１を符号化／復号化するように動作することが可能である。これらの部分は、例えば、図１において６４で示される予測において参照される。

【0132】

図１９は、一方では、サンプルアレイｎの既に処理された、すなわち既に符号化／復号化された部分、すなわちサンプルアレイ内のハッチングされた部分と、他方では、サンプルアレイｎのまだ処理されていない部分、すなわちサンプルアレイのハッチングされてない部分の間の境界に対して同じ場所に配置されるサンプルアレイｎ＋１によって延在するラインを、破線３８４によって例示的に示す。図１９は、また、両矢印によって、列方向および行方向において測定された動きベクトルの最大可能長さ、すなわちそれぞれｙ_maxおよびｘ_maxを示す。したがって、図１９は、また、鎖線３８６によって、ライン３８４の変位したバージョン、言い換えれば距離が列方向においてｙ_max、行方向においてｘ_max以下にならないようにライン３８４から最大可能距離だけ離れて配置されたライン３８６を示す。図に示すように、サンプルアレイｎにおけるいずれの参照部分も見つかることが保証されるサンプルアレイｎ＋１における符号化ユニット５０が、サンプルアレイｎの既に処理された部分内に完全に含まれるようにある、言い換えればサンプルアレイｎ＋１の半分に設定されるそれらがライン３８６に対して上流側にある。したがって、スレッド５は、図１９に示すように、これらの符号化ユニットを復号化／符号化するように既に動作することが可能である。図に示すように、６番目のスレッドでさえも、サンプルアレイｎ＋１のエントロピースライス順序１６において２番目のエントロピースライスに関して動作することができる。これにより、ウェーブフロントは、サンプルアレイのシーケンス３０にわたる空間的−時間的スペースによって、空間的だけでなく時間的にも延在する。

【0133】

ちょうど言及されたウェーブフロント態様は、エントロピースライス境界を横切って上記概説された確率推定結合と組合せても働くことに留意されたい。

【0134】

更に、上記概説されたチャンク態様に関して、エントロピースライスの、より小さいピース、すなわちチャンクへの細分化は、エントロピー符号化ドメインにおいて、すなわちエントロピー圧縮ドメインにおいて、実行されることに限定されない点にも留意すべきである。上記議論について考える：上記記載されたエントロピースライスは、それの前に符号化／復号化されたエントロピースライスまたは前に符号化／復号化されたフレームからの確率推定の導出、すなわちそのような前のエントロピースライスの確率推定に基づく確率推定の初期化および／または適応化によるウェーブフロント処理の可能性にもかかわらず、符号化効率の損失を低減する利益を有する。これらのエントロピースライスの各々は、ウェーブフロント処理の場合には１つのスレッドによってエントロピー符号化／復号化されると想定される。すなわち、エントロピースライスを細分化するとき、チャンクを並列に符号化可能／復号化可能にレンダリングする必要はない。むしろ、エンコーダは、エントロピー符号化をファイナライズする前に、単にそのエントロピースライスのビットストリームのサブパートを出力する機会を提供するだけであり、デコーダは、同じエントロピースライスの残りのチャンクの受信の前に、これらのサブパート、すなわちチャンクに関して動作する機会を提供する。その上、インターリービングは、受信側において可能になる。しかしながら、後の非インターリーブ化を可能とするために、エントロピー符号化ドメインにおいて細分化を実行する必要はない。特に、断続的に確率インターバルの内部状態、すなわちエントロピー符号化／復号化コアのそれぞれ確率インターバル幅値およびオフセット値を単にリセットすることにより、上記提案されたエントロピースライスのより小さいチャンクへの細分化を、重度の符号化効率の損失なしに実行することが可能である。しかしながら、確率推定はリセットされない。むしろ、それらは、それぞれエントロピースライスの始めから終わりまで連続的に更新／適応される。この方策によって、圧縮ビットストリームドメインよりもむしろシンタックス要素ドメインにおいて実行される細分化によって、エントロピースライスを個々のチャンクに細分化することが可能である。細分化は、チャンクインターフェイスのデコーダへのシグナリングを容易にするために、下に概説された空間的細分化に従うことができる。チャンクの各々は、例えば、そのエントロピースライスに対するインデックスとともにそれぞれのエントロピースライスの開始位置に対して、または上左側のコーナーのようなサンプルアレイ１０の突出した位置に対して、符号化順序１４に関して測定された、サンプルアレイにおけるその開始位置を表す自身のチャンクヘッダによって提供することができる。

【0135】

後者の実施形態によるエントロピースライスのチャンクへの細分化をより明確に記載するために、図２０が参照される。図２０は、単に説明の目的に対して、４つのエントロピースライスに細分化されるサンプルアレイ１０を示す。サンプルアレイ１０の現在符号化される部分は、ハッチングされて示される。３つのスレッドは、サンプルアレイ１０のエントロピー符号化に関して現在動作しており、応急手当ベースでエントロピースライスのチャンクを出力する：例えば、サンプルアレイ１０の部分１２に対応する、エントロピースライス順序１６において最初のエントロピースライスを見て頂きたい。部分１２のサブパート１２ａを符号化した後に、エンコーダは、そこからチャンク３９０を形成する、すなわちエントロピー符号化コア８０が、チャンク３９０を形成するために算術符号化するケースにおいて、今までにサブ部分１２ａから作り出された算数ビットストリームをファイナライズするためにいくつかの終了手順を実行する。符号化手順は、次に、新しいエントロピービットストリームを開始しながら、符号化順序１４においてエントロピースライス１２の引き続くサブ部分１２ｂに関して再開される。これは、例えば、エントロピー符号化コア８０の確率インターバル幅値および確率インターバルオフセット値のような、内部状態がリセットされることを意味する。しかしながら、確率推定はリセットされない。それらは不変のままにされる。これは、図２０において矢印３９２によって図示される。図２０において、エントロピースライスまたは部分１２が２つ以上のサブ部分に細分化され、したがって、２番目のチャンク１ｂでさえ、符号化順序１４に沿って部分１２の終わりに到達する前に終了するいくつかのエントロピーに従い、そこにおいて、ラインにおける次のチャンクがその他によって開始されることが例示的に示される。

【0136】

同時に、他のスレッドは、エントロピースライス順序１６において２番目のエントロピースライスまたは部分１２に関して動作する。この２番目のエントロピースライス／部分１２の最初のサブ部分を終了すると、チャンク２ａが出力され、そこにおいて２番目のエントロピースライスの残りのエントロピー符号化が開始されるが、しかしながら、チャンク２ａの終わりにおいて確率推定を有効なものとして維持する。

【0137】

図２０は、時間軸３９４によって、チャンク３９０は、それらがファイナライズされるとすぐに出力されることを図示しようとしている。これは、図１６において表されたものに類似するインターリービングに導く。各チャンクは、パケットにパケット化され、いずれかの順序においていくつかのトランスポート層によって復号化側に移送することができる。トランスポート層は、矢印３９６を用いて図示されている。

【0138】

デコーダは、チャンクを、そのサブ部分１２ａ，１２ｂ、その他に対して再アサインしなければならない。このために、各チャンク３９０は、その関連するサブ部分１２ａまたは１２ｂ、すなわちそれを記述するシンタックス要素がそれぞれのチャンクにおいてエントロピー符号化されるサブ部分、の始めの位置を表すヘッダセクション３９８を有することができる。この情報を用いることによって、デコーダは、各チャンク３９０を、そのエントロピースライスと、そしてそのエントロピースライスの部分１２内のそのサブ部分と関連づけることが可能である。

【0139】

説明の便宜上、図２０は、エントロピースライス１２の連続するサブ部分１２ａと１２ｂの間の接続が、連続する符号化ユニット５０の間の境界と一致する必要はないという可能性をも例示的に示す。むしろ、当該接続は、上述された符号化ユニットの例示的なマルチツリー細分化のより深いレベルにおいて定めることができる。ヘッダ３９８に含まれる位置情報は、それぞれの符号化ユニットのそれぞれのサブブロック、すなわちそれぞれのサブブロックに関して記述されるシンタックス要素のシーケンス内の位置、を識別するために、十分に正確に現在のチャンク３９０に関連するサブ部分の始めを示すことができる。

【0140】

上記議論から明らかになったように、符号化効率の損失は、エントロピースライスのチャンクへの細分化からほとんど生じなかった。単にエントロピー終了プロセスおよびパケット化は、いくらかの符号化効率の損失を含む可能性があるが、他方では低遅延の利益は莫大である。

【0141】

また、ちょうど言及された空間細分化チャンク態様は、空間的および時間的に、エントロピースライス境界を横切って、上記概説された確率推定結合と組合せても働くことに留意されたい。

【0142】

図６のデコーダのようなデコーダは、以下のようにチャンク伝送を取り消すことができる。特に、デコーダは、どのエントロピースライスに現在のチャンクが帰属するかについてチェックすることができる。このチェックは、前述の位置情報に基づいてなすことができる。次に、現在のチャンクが、エントロピー符号化パス１４に沿って、対応するエントロピースライスの部分の第１のサブ部分に対応するかどうかをチェックすることができる。その場合、デコーダは、現在のチャンクをそれぞれの確率推定の適応のもとでエントロピー復号化し、予め定められたエントロピースライスの部分の２番目のサブ部分に対応する他のチャンクをエントロピー符号化パスに沿ってエントロピー復号化するとき、現在のチャンクのエントロピー復号化の終わりにおいて現れるそれぞれの確率推定の状態を考慮することができる。「考慮する」は、チャンク１ｂの始めにおける確率推定を、チャンクの１ａのサブ部分１２ａの終わりにおいて、チャンク１ａの始めにおける確率推定の状態から開始する確率適応によって現れる確率推定に等しく、またはそれと上述された他のエントロピースライスからのエントロピー確率推定との組合せに等しくセットすることを含むことができる。最初のチャンク１２ａの始めにおける確率初期化が関係している限り、これも対応するエントロピースライスの始めを形成するので、上記議論が参照される。言い換えれば、現在のスライスが順序１４において２番目のまたは引き続くチャンクである場合、デコーダは、エントロピー符号化パス１４に沿って、現在のチャンクに対応するサブ部分に先行する予め定められたエントロピースライスの部分のサブ部分に対応するチャンクのエントロピー復号化の終わりにおいて現れる確率推定によって決まる確率推定を用いて、現在のチャンクをエントロピー復号化することができる。

【0143】

上記記載は、並列の符号化および復号化に有用であり、ならびに新進のＨＥＶＣビデオ符号化規格において既に存在するプロセスの最適化に対して役立つことができる、異なる方法を明らかにする。エントロピースライスの簡単な概要が提示されてきた。どのようにそれらを形成することができ、どの利益がスライシングによって達成することができ、どんなペナルティがそれらの技術から生ずることができるかが示されてきた。ＬＣＵ間のローカルの従属性と、更には異なるフレームのＬＣＵ間の時間的な従属性をより良く利用することによって、フレームにおいてＬＣＵ（最大符号化ユニット）に沿った確率の学習プロセスを改善すると想定される多くの方法が提案されてきた。異なる組合せが、符号化および復号化の並列化によるおよびよらない両方のコンセプトに対して改善を提供することが主張される。

【0144】

例えば、提案されたアプローチのベストミックスによる、高効率性におけるパフォーマンスの改善は、エントロピースライスを使用しないＨＭ３．０と比較して、イントラにおいて−０．４％、低遅延において−０．７８％およびランダムアクセスにおいて−０．６３％、または、通常の再初期化によるエントロピースライスアプローチと比較して、イントラにおいて−０．７％、低遅延において−１．９５％およびランダムアクセスにおいて−１．５％である。

【0145】

特に、とりわけ、以下の技術が上記提示されてきた。
・ＬＣＵのローカルだけでなく、時間的な従属性も用い、各ＬＣＵを符号化する前にＣＡＢＡＣ確率の適応化を最適化する（図１〜９、１７および１８を参照）。
・復号化においてより多くの柔軟性を達成し、またフレームにおける特定の領域がお互いから独立になるようにエントロピースライスを利用することができる。
・並列化、例えばウェーブフロント処理に対して、スライス／エントロピースライスの開始位置の最小限のシグナリングを可能にする（図１５を参照）。
・エントロピースライス／スライスのインターリーブ化された移送によって、並列化されたエンコーダ−送信機−受信機−デコーダ環境における低遅延の移送を可能にする（図１６を参照）。

【0146】

上述された全ての方法は集積され、ＨＭ３．０においてテストされてきた。参照ポイントがいかなるエントロピースライスの実施もないＨＭ３．０である取得結果は、表１および２において提示されている（ここで、２ＬＣＵは上側ラインの２番目のＬＣＵの使用、２ＬＣＵ＋Ｐｒｏｂ.Ａｄａｐは確率適応化の方法と併合された２ＬＣＵ、Ｔｅｍｐｏｒａｌは各ＬＣＵに対する確率適応化による時間的従属性（参照フレームの最終状態）の使用である）。

【0147】

【0148】

【0149】

しかしながら、提案されたアプローチが、ＬＣＵの各ラインの始めにおける確率の再初期化によって、ウェーブフロント処理にどのように影響するかを知ることは興味深い。これらの結果は、表３および４に図示されている（ここで、ｏｒｉｇ＿ｎｅｉＩｎｉｔは、エントロピースライスを用いないＨＭ３．０と、初期化によるエントロピースライスの使用との比較である）。

【0150】

【0151】

【0152】

上記の結果は、フレーム内およびフレーム間の従属性のかなり多い使用と既に取得された情報の合理的な適用が平均損失を防止することを示している。

【0153】

ＨＥＶＣビデオの符号化および復号化に対するウェーブフロント処理のアプローチは、ウェーブフロント並列処理のコンセプトによって、隣接するＬＣＵ間の従属性ならびに時間的なフレームの従属性を用いる可能性を併合する。このようにして、損失を低減することができ、パフォーマンスの進歩を達成することができる。

【0154】

確率適応化スピードにおける利益は、空間的に隣接するエントロピースライスの確率適応化の演算によって達成されてきた。

【0155】

既に上述されたように、すべての上記の態様はお互いに結合することができ、従って、特定の態様に関する特定の実施の可能性の言及は、もちろん他の態様に対しても適用される。

【0156】

いくつかの態様が装置の文脈において記載されてきたが、これらの態様は対応する方法の記述をも表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロック、アイテムまたは機能の記述をも表す。いくつかのまたはすべての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。

【0157】

上述された本発明の符号化された信号は、デジタル記憶媒体に記憶することができ、または無線の伝送媒体のような伝送媒体またはインターネットのような有線の伝送媒体を伝送することができる。

【0158】

特定の実現要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に記憶された電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故に、デジタル記憶媒体は、コンピュータ読取可能とすることができる。

【0159】

本発明に係るいくつかの実施形態は、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータキャリアを備える。

【0160】

一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法の１つを実行するように動作可能であるプログラムコードによるコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能なキャリアに記憶することができる。

【0161】

他の実施形態は、機械読取可能なキャリアに記憶された、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備える。

【0162】

言い換えれば、本発明の方法の一実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するプログラムコードを有するコンピュータプログラムである。

【0163】

本発明の方法の更なる実施形態は、それ故に、その上に記録され、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備えるデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、通常は有形および／または非過渡的である。

【0164】

本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットによって転送されるように構成することができる。

【0165】

更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。

【0166】

更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムがインストールされたコンピュータを備える。

【0167】

本発明に係る更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムを、受信者に転送（例えば、電子的または光学的に）するように構成された装置またはシステムを備える。受信者は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信者へ転送するファイルサーバを備えることができる。

【0168】

いくつかの実施形態において、本願明細書に記載された方法のいくつかまたは全ての機能を実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。

【0169】

上記記載された実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、当業者にとって明らかであると理解される。それ故に、本発明は、間近に迫った特許請求の範囲のスコープのみによって制限され、本願明細書の実施形態の記載および説明の方法によって表された特定の詳細によって制限されないことが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】