▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】並列符号化機能の強化概念
(51)【国際特許分類】
H04N 19/13 20140101AFI20231129BHJP
H04N 19/167 20140101ALI20231129BHJP
H04N 19/174 20140101ALI20231129BHJP
H04N 19/436 20140101ALI20231129BHJP
H04N 19/70 20140101ALI20231129BHJP
【ＦＩ】
H04N19/13
H04N19/167
H04N19/174
H04N19/436
H04N19/70
【請求項の数】
12
(21)【出願番号】P 2022191645
(22)【出願日】2022-11-30
(62)【分割の表示】P 2020552744の分割
【原出願日】2019-03-28
(65)【公開番号】P2023025139
(43)【公開日】2023-02-21
【審査請求日】2022-12-27
(31)【優先権主張番号】18165206.6
(32)【優先日】2018-03-29
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】ゲオルク，ワレリ
(72)【発明者】
【氏名】ヒンツ，トビアス
(72)【発明者】
【氏名】マ，ジャッキー
(72)【発明者】
【氏名】ブランデンブルク，イェンス
(72)【発明者】
【氏名】レーマン，クリスティアン
(72)【発明者】
【氏名】ウィエコウスキ，アダム
(72)【発明者】
【氏名】シュヴァルツ，ハイコ
(72)【発明者】
【氏名】マルペ，デトレフ
(72)【発明者】
【氏名】ウィーガント，トーマス
(72)【発明者】
【氏名】シエル，トーマス
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０１７／０４３９４９（ＷＯ，Ａ１）
【文献】国際公開第２０１３／１１５５７２（ＷＯ，Ａ１）
【文献】特開２０１３－１２３２０６（ＪＰ，Ａ）
【文献】Jianle Chen, et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-G1001-v1，7th Meeting: Torino, IT，2017年08月19日，pp.41-43
【文献】M. Albrecht, et al.，Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-J0014-v4，10th Meeting: San Diego, US，2018年04月，pp.18-20
【文献】A. Wieckowski, et al.，Thread Parallel Encoding，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-J0036，10th Meeting: San Diego, US，2018年04月，pp.1-10
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサとメモリとを備えるビデオエンコーダであって、前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記ビデオエンコーダに、ブロックベースの符号化によって、ビデオ（１１）の画像（１２）を符号化データ（９４）に符号化し（１０）、
エントロピー符号化（３４）はコンテキスト適応型エントロピー符号化を使用して、現在の画像（１２）のためのデータ（９４）をストライプ（９０ａ、９０ｂ、９０ｃ）に沿ってデータストリーム（１４）に符号化し、前記ストライプはコーディングツリーユニットラインであり、現在の画像のストライプは前の画像からの各同一位置にあるストライプを有し、共通のストライプＩＤによって示される位置を有する同一位置にあるストライプは前記ストライプの開始点（１００ａ、１００ｂ、１００ｃ）でコンテキストエントロピー確率を初期化し、前記ストライプの符号化が進行することにつれて前記コンテキストエントロピー確率を適応させ、
以前に符号化された画像のストライプについて、各ストライプのバッファリング点（１０２ａ、１０２ｂ、１０２ｃ）までの開始点（１００ａ、１００ｂ、１００ｃ）で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態をバッファリングし、
第１のモードに従ってコンテキストエントロピー確率を初期化することであって、前記第１のモードで動作するとき、前記エンコーダは前記現在の画像（１２）の各ストライプについて、前記各ストライプのストライプＩＤを使用して、前に符号化された画像内の前記各ストライプと同じストライプＩＤを有するストライプについてバッファリングされるコンテキストエントロピー確率の状態のバッファ内でルックアップを実行し、各ストライプの開始点におけるコンテキストエントロピー確率を、前記ルックアップされた状態のコンテキストエントロピー確率に初期化し、前記ビデオエンコーダが以下の１つ以上のセットからさらなる情報を追加的に使用することによってルックアップを実行し、
各ストライプに関連する量子化パラメータと、
各ストライプのスライスタイプ、及び
前記現在の画像の時間的レベルと、
前記第１のモードがアクティブであることを前記データストリーム内の信号を用いて伝えさせる、命令を含む、
ビデオエンコーダ。
【請求項2】
前記メモリは前記少なくとも１つのプロセッサによって実行されると、前記ビデオエンコーダに、前記現在の画像の各ストライプについて、前記開始点（１００ａ、１００ｂ、１００ｃ）において初期化された前記コンテキストエントロピー確率を前記各ストライプについてのバッファリング点（１０２ａ、１０２ｂ、１０２ｃ）まで適応させることから生じるコンテキストエントロピー確率の１つ以上の最新の状態をバッファリングすることを実行させる命令をさらに含む、請求項１に記載のビデオエンコーダ。
【請求項3】
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記ビデオエンコーダに、コンテキストエントロピー確率を初期化する第２のモードで動作させ、前記第２のモードで動作するとき、前記現在の画像のストライプを他の画像のストライプのコンテキストエントロピー確率から独立して初期化し、
前記第１のモード又は前記第２のモードのいずれがアクティブであるかをデータストリーム内の信号を用いて伝える、
命令をさらに含む請求項１に記載のビデオエンコーダ。
【請求項4】
少なくとも１つのプロセッサとメモリとを備えるビデオデコーダであって、前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記ビデオデコーダに、ブロックベースの復号によって、ビデオ（１１’）の画像（１２’）から符号化データ（１４）に復号し（２０）、
エントロピー復号（５０）はコンテキスト適応型エントロピー復号を使用して、現在の画像（１２’）のためのデータ（９４）をストライプ（９０ａ、９０ｂ、９０ｃ）に沿ってデータストリーム（１４）に復号し、前記ストライプはコーディングツリーユニットラインであり、現在の画像のストライプは前の復号された画像からの各同一位置にあるストライプを有し、共通のストライプＩＤによって示される位置を有する同一位置にあるストライプは前記ストライプの開始点（１００ａ、１００ｂ、１００ｃ）でコンテキストエントロピー確率を初期化し、前記ストライプの符号化が進行することにつれて前記コンテキストエントロピー確率を適応させ、
以前に復号された画像のストライプについて、各ストライプのバッファリング点（１０２ａ、１０２ｂ、１０２ｃ）までの開始点（１００ａ、１００ｂ、１００ｃ）で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態をバッファリングし、
第１のモードに従ってコンテキストエントロピー確率を初期化することであって、前記第１のモードで動作するとき、前記デコーダは前記現在の画像（１２’）の各ストライプについて、前記各ストライプのストライプＩＤを使用して、前に復号された画像内の前記各ストライプと同じストライプＩＤを有するストライプについてバッファリングされるコンテキストエントロピー確率の状態のバッファ内でルックアップを実行し、各ストライプの開始点におけるコンテキストエントロピー確率を、前記ルックアップされた状態のコンテキストエントロピー確率に初期化し、前記ビデオデコーダが以下の１つ以上のセットからさらなる情報を追加的に使用することによってルックアップを実行し、
各ストライプに関連する量子化パラメータと、
各ストライプのスライスタイプ、及び
前記現在の画像の時間的レベルと、
前記第１のモードがアクティブであることを前記データストリームから抽出する、命令を含む、
ビデオデコーダ。
【請求項5】
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記ビデオデコーダに、コンテキストエントロピー確率を初期化する第２のモードで動作させ、前記第２のモードで動作するとき、前記現在の画像のストライプを他の画像のストライプのコンテキストエントロピー確率から独立して初期化し、
前記第１のモード又は前記第２のモードのいずれがアクティブであるかをデータストリーム内の信号を用いて伝える、
命令をさらに含む請求項４に記載のビデオデコーダ。
【請求項6】
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記ビデオデコーダに、コンテキストエントロピー確率を初期化する第２のモードで動作させ、前記第２のモードで動作するとき、前記現在の画像のストライプを他の画像のストライプのコンテキストエントロピー確率から独立して初期化し、
前記第１のモード又は前記第２のモードのいずれがアクティブであるかをデータストリーム内の信号を用いて伝える、
請求項４に記載のビデオデコーダ。
【請求項7】
ビデオ符号化方法であって、ブロックベースの符号化によって、ビデオ（１１）の画像（１２）を符号化データ（９４）に符号化すること（９２）と、
エントロピー符号化すること（９８）、はコンテキスト適応型エントロピー符号化を使用して、現在の画像（１２）のためのデータ（９４）をストライプ（９０ａ、９０ｂ、９０ｃ）に沿ってデータストリーム（１４）に符号化し、前記ストライプはコーディングツリーユニットラインであり、現在の画像のストライプは前の画像からの各同一位置にあるストライプを有し、共通のストライプＩＤによって示される位置を有する同一位置にあるストライプは前記ストライプの開始点（１００ａ、１００ｂ、１００ｃ）でコンテキストエントロピー確率を初期化し、前記ストライプの符号化が進行することにつれて前記コンテキストエントロピー確率を適応させることと、
以前に符号化された画像のストライプについて、各ストライプのバッファリング点（１０２ａ、１０２ｂ、１０２ｃ）までの開始点（１００ａ、１００ｂ、１００ｃ）で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態をバッファリングすることと、
第１のモードに従ってコンテキストエントロピー確率を初期化することであって、前記第１のモードで動作するとき、前記現在の画像（１２）の各ストライプについて、前記各ストライプのストライプＩＤを使用して、前に符号化された画像内の前記各ストライプと同じストライプＩＤを有するストライプについてバッファリングされるコンテキストエントロピー確率の状態のバッファ内でルックアップを実行し、各ストライプの開始点におけるコンテキストエントロピー確率を、前記ルックアップされた状態のコンテキストエントロピー確率に初期化し、以下の１つ以上のセットからさらなる情報を追加的に使用することによってルックアップが実行される、
各ストライプに関連する量子化パラメータと、
各ストライプのスライスタイプ、及び
前記現在の画像の時間的レベルと、
前記第１のモードがアクティブであることを前記データストリーム内の信号を用いて伝えさせることと、
含む、ビデオ符号化方法。
【請求項8】
前記現在の画像の各ストライプについて、前記開始点（１００ａ、１００ｂ、１００ｃ）において初期化された前記コンテキストエントロピー確率を前記各ストライプについてのバッファリング点（１０２ａ、１０２ｂ、１０２ｃ）まで適応させることから生じるコンテキストエントロピー確率の１つ以上の最新状態をバッファリングすることをさらに含む、請求項７に記載のビデオ符号化方法。
【請求項9】
ビデオ復号方法であって、ブロックベースの復号によって、ビデオ（１１’）の画像（１２’）から符号化データ（１４）に復号すること（２０）と、
エントロピー復号（５０）はコンテキスト適応型エントロピー復号を使用して、現在の画像（１２’）のためのデータ（９４）をストライプ（９０ａ、９０ｂ、９０ｃ）に沿ってデータストリーム（１４）に復号し、前記ストライプはコーディングツリーユニットラインであり、現在の画像のストライプは前の復号された画像からの各同一位置にあるストライプを有し、共通のストライプＩＤによって示される位置を有する同一位置にあるストライプは前記ストライプの開始点（１００ａ、１００ｂ、１００ｃ）でコンテキストエントロピー確率を初期化し、前記ストライプの符号化が進行することにつれて前記コンテキストエントロピー確率を適応させることと、
以前に復号された画像のストライプについて、各ストライプのバッファリング点（１０２ａ、１０２ｂ、１０２ｃ）までの開始点（１００ａ、１００ｂ、１００ｃ）で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態をバッファリングすることと、
第１のモードに従ってコンテキストエントロピー確率を初期化することであって、前記第１のモードで動作するとき、前記現在の画像（１２’）の各ストライプについて、前記各ストライプのストライプＩＤを使用して、前に復号された画像内の前記各ストライプと同じストライプＩＤを有するストライプについてバッファリングされるコンテキストエントロピー確率の状態のバッファ内でルックアップを実行し、各ストライプの開始点におけるコンテキストエントロピー確率を、前記ルックアップされた状態のコンテキストエントロピー確率に初期化し、以下の１つ以上のセットからさらなる情報を追加的に使用することによってルックアップが実行される、
各ストライプに関連する量子化パラメータと、
各ストライプのスライスタイプ、及び
前記現在の画像の時間的レベルと、
前記第１のモードがアクティブであることを前記データストリーム内の信号を用いて伝えることと、
を含む、ビデオ復号方法。
【請求項10】
前記現在の画像の各ストライプについて、前記開始点（１００ａ、１００ｂ、１００ｃ）において初期化された前記コンテキストエントロピー確率の前記各ストライプのバッファリング点（１０２ａ、１０２ｂ、１０２ｃ）までの適応から生じるコンテキスト確率の１つ以上の最新状態をバッファリングすることをさらに含む、請求項９に記載のビデオ復号方法。
【請求項11】
コンテキストエントロピー確率を初期化する第２のモードで動作することであって、前記第２のモードで動作するとき、前記現在の画像のストライプを他の画像のストライプのコンテキストエントロピー確率から独立して初期化することと、前記第１のモード又は前記第２のモードのいずれがアクティブであるかをデータストリームから抽出することと、
をさらに含む請求項９に記載のビデオ復号方法。
【請求項12】
少なくとも１つのプロセッサ上で実行されると、請求項７～１１のいずれか一項に記載の方法を前記少なくとも１つのプロセッサに実行させるコンピュータプログラムが記憶されたコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、エンコーダ及び／又はデコーダでの並列処理に対するそれぞれのコーデックの適合性を向上させることのできるビデオ符号化概念に関する。
【背景技術】
【0002】
Ｈ．２６５／ＨＥＶＣは、エンコーダ及び／又はデコーダでの並列処理を向上させる又は更に可能にするツールを提供しているビデオコーデックである。
例えば、ＨＥＶＣは、互いに独立して符号化されたタイルアレイへの画像の細分割をサポートする。
ＨＥＶＣでサポートされているもう１つの概念はＷＰＰに関連しており、ＷＰＰにより、何らかの最小ＣＴＵオフセットが連続ＣＴＵラインの処理で遵守されている場合、画像のＣＴＵ行又はＣＴＵラインを左から右に並列に（つまりストライプで）処理することができる。
しかし、ビデオエンコーダ及び／又はビデオデコーダの並列処理機能を一層効率的にサポートするビデオコーデックを手近に用意しておくことが好ましい。
例えば、ＨＥＶＣは、互いに独立して符号化されたタイルアレイへの画像の細分割をサポートする。
ＨＥＶＣでサポートされているもう１つの概念はＷＰＰに関連しており、ＷＰＰにより、何らかの最小ＣＴＵオフセットが連続ＣＴＵラインの処理で遵守されている場合、画像のＣＴＵ行又はＣＴＵラインを左から右に並列に（つまりストライプで）処理することができる。
しかし、ビデオエンコーダ及び／又はビデオデコーダの並列処理機能を一層効率的にサポートするビデオコーデックを手近に用意しておくことが好ましい。
【発明の概要】
【発明が解決しようとする課題】
【0003】
したがって、本発明の目的は、並列性に関してエンコーダ及び／又はデコーダでのより効率的な処理を可能にするビデオコーデックを提供することである。
【課題を解決するための手段】
【0004】
この目的は、本出願の独立請求項の主題によって達成される。
【0005】
＜第１の態様＞
本出願の第１の態様によれば、ビデオコーデックは、画像ストライプ認識方法でコンテキストエントロピー確率管理を実行することによって、並列符号化／復号機能をサポートするという点でより効率化される。
すなわち、第１の態様の出発点は、画像がブロックベース符号化を用いて符号化データに符号化され、符号化データが、画像を分割し、ＣＴＵラインなどの相互に並列に画像を横断するストライプに沿ってコンテキスト適応エントロピー符号化を用いてデータストリームにエントロピー符号化され、例えば、画像の左側の境界などのストライプの始点でコンテキストエントロピー確率を初期化し、ストライプに沿ってコンテキストエントロピー確率を適応させる。
ビデオの画像の符号化データへの符号化、及び符号化データのデータストリームへのエントロピー符号化は、それらがエンコーダ及びデコーダでのＷＰＰ処理、すなわち符号化及び復号を可能にするように設計され得、空間イントラ画像符号化依存性は、特定の画像のストライプの現在処理されている部分の周りの範囲を定義するため、任意のストライプについて、それぞれのストライプの現在処理されている部分の空間イントラ画像符号化依存性範囲は、それぞれの画像の他のストライプの現在処理されている部分の波面の背後の既に処理済みの部分をカバーするだけである。
第１の態様によれば、並列性は、各ストライプについて、それぞれのストライプのバッファリング点まで始点で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率をバッファリングし、コンテキストエントロピー確率の初期化の際に、現在の画像の各ストライプについて、それぞれのストライプの同じ場所に配置されている前の画像のストライプに関してバッファリングされた状態をルックアップすることによって更に効率化される。
ルックアップは、ルックアップのインデックス（索引）又はインデックスの一部として情報を使用するなど、現在の画像内のそれぞれのストライプの位置に関する情報を用いて実行される。
つまり、ストライプを初期化するためのコンテキストエントロピー確率のバッファリングとルックアップは、ストライプを認識する方法で、又は別の言い方をすれば、ビデオの画像内の各ストリップ位置に対して個別に実行される。
この手段により、この他の画像の様々なストライプの別の画像のコンテキストエントロピー確率を初期化するためにある画像から別の画像に継承されるコンテキストエントロピー確率は、継承された確率の受信者に対して適応された画像コンテンツ、つまり現在の画像の同じ場所に配置されたストライプに基づき適応されている。
同じ場所に配置された画像コンテンツに基づいて適合されているため、これらの確率は、それぞれのストライプでの現在の画像の実際のエントロピー確率に厳密に適合させるべきである。
したがって、本出願の第１の態様によれば、並列処理は、ある画像のストライプから別の画像の同じ場所に配置されたストライプに、ストライプ認識方法でコンテキストエントロピー確率を継承させる、又は別の言い方をすれば、同じ場所に配置されたストライプに対して個別に継承を実行することによって更に効率化されるため、継承されたコンテキストエントロピー確率のより厳密な適応により符号化効率が向上する。
この符号化効率の向上の結果、ストライプ個別バッファリング、すなわち同じ場所に配置されたストライプに起因する古い確率を置き換えるＦＩＦＯ方式と、コンテキストエントロピー確率の初期化、すなわち前の画像の同じ場所に配置されたストライプの確率の適用とに関連した、処理オーバーヘッドの増加が比較的低くなる。
具体的には、コンテキストエントロピー確率をバッファリングするためのバッファ量を増やす必要があり、ストライプインデックス形式などのストライプ位置の情報が、現在の画像の現在のストライプのみのコンテキストエントロピー確率を検索するためのインデックスのエントリとしてこの情報を用いる形式など、バッファリング及び／又はルックアップにおいて考慮に入れられるべきである。
本出願の第１の態様によれば、ビデオコーデックは、画像ストライプ認識方法でコンテキストエントロピー確率管理を実行することによって、並列符号化／復号機能をサポートするという点でより効率化される。
すなわち、第１の態様の出発点は、画像がブロックベース符号化を用いて符号化データに符号化され、符号化データが、画像を分割し、ＣＴＵラインなどの相互に並列に画像を横断するストライプに沿ってコンテキスト適応エントロピー符号化を用いてデータストリームにエントロピー符号化され、例えば、画像の左側の境界などのストライプの始点でコンテキストエントロピー確率を初期化し、ストライプに沿ってコンテキストエントロピー確率を適応させる。
ビデオの画像の符号化データへの符号化、及び符号化データのデータストリームへのエントロピー符号化は、それらがエンコーダ及びデコーダでのＷＰＰ処理、すなわち符号化及び復号を可能にするように設計され得、空間イントラ画像符号化依存性は、特定の画像のストライプの現在処理されている部分の周りの範囲を定義するため、任意のストライプについて、それぞれのストライプの現在処理されている部分の空間イントラ画像符号化依存性範囲は、それぞれの画像の他のストライプの現在処理されている部分の波面の背後の既に処理済みの部分をカバーするだけである。
第１の態様によれば、並列性は、各ストライプについて、それぞれのストライプのバッファリング点まで始点で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率をバッファリングし、コンテキストエントロピー確率の初期化の際に、現在の画像の各ストライプについて、それぞれのストライプの同じ場所に配置されている前の画像のストライプに関してバッファリングされた状態をルックアップすることによって更に効率化される。
ルックアップは、ルックアップのインデックス（索引）又はインデックスの一部として情報を使用するなど、現在の画像内のそれぞれのストライプの位置に関する情報を用いて実行される。
つまり、ストライプを初期化するためのコンテキストエントロピー確率のバッファリングとルックアップは、ストライプを認識する方法で、又は別の言い方をすれば、ビデオの画像内の各ストリップ位置に対して個別に実行される。
この手段により、この他の画像の様々なストライプの別の画像のコンテキストエントロピー確率を初期化するためにある画像から別の画像に継承されるコンテキストエントロピー確率は、継承された確率の受信者に対して適応された画像コンテンツ、つまり現在の画像の同じ場所に配置されたストライプに基づき適応されている。
同じ場所に配置された画像コンテンツに基づいて適合されているため、これらの確率は、それぞれのストライプでの現在の画像の実際のエントロピー確率に厳密に適合させるべきである。
したがって、本出願の第１の態様によれば、並列処理は、ある画像のストライプから別の画像の同じ場所に配置されたストライプに、ストライプ認識方法でコンテキストエントロピー確率を継承させる、又は別の言い方をすれば、同じ場所に配置されたストライプに対して個別に継承を実行することによって更に効率化されるため、継承されたコンテキストエントロピー確率のより厳密な適応により符号化効率が向上する。
この符号化効率の向上の結果、ストライプ個別バッファリング、すなわち同じ場所に配置されたストライプに起因する古い確率を置き換えるＦＩＦＯ方式と、コンテキストエントロピー確率の初期化、すなわち前の画像の同じ場所に配置されたストライプの確率の適用とに関連した、処理オーバーヘッドの増加が比較的低くなる。
具体的には、コンテキストエントロピー確率をバッファリングするためのバッファ量を増やす必要があり、ストライプインデックス形式などのストライプ位置の情報が、現在の画像の現在のストライプのみのコンテキストエントロピー確率を検索するためのインデックスのエントリとしてこの情報を用いる形式など、バッファリング及び／又はルックアップにおいて考慮に入れられるべきである。
【0006】
＜第２の態様＞
本出願の第２の態様はまた、コンテキストエントロピー確率の初期化に関する。
しかしながら、第２の態様では、時間的相互依存性を考慮する。
第２の態様によれば、ビデオの画像は、画像が異なる時間レベルに分類されることに従って、画像間の階層的な時間符号化相互依存性を定義するように符号化データに符号化される。
各時間レベルについて、それぞれの時間レベルの画像は、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、各非ゼロ時間レベルについて、それぞれの非ゼロ時間レベルの画像は、相互に独立して符号化される。
例えば、閉鎖又は開放ＧＯＰ構造を使用できる。
各画像のコンテキストエントロピー確率が新たに初期化されることを回避するために、符号化データは、各画像について、コンテキストエントロピー確率がそれぞれの画像内の少なくとも１つの始点で初期化されるようにデータストリームに符号化される。
コンテキストエントロピー確率は、少なくとも１つの始点から前方へそれぞれの画像を横断する符号化経路に沿って適応される。
本出願の第２の態様によれば、ある画像から別の画像にコンテキストエントロピー確率を継承するためのコンテキストエントロピー確率管理は、特定の時間レベルへのメンバーシップを認識するように行われる。
例えば、画像の少なくともサブセットのそれぞれについて、それぞれの画像の少なくとも１つのバッファリング点までの符号化経路に沿ったコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態がバッファリングされ、その後、コンテキストエントロピー確率の初期化の際に、現在の画像内の少なくとも１つの始点のそれぞれについて、現在の画像の時間レベルに関する情報を用いてインデックスが決定され、このインデックスを用いて、現在の画像の時間レベルよりも下位の時間レベルの、前に符号化／復号された画像についてバッファリングされた状態をルックアップする。
つまり、特定の画像についてのバッファリングされたコンテキストエントロピー確率のルックアップは、時間レベルのランク付けが遵守され、同じ時間レベルの画像間に時間的な相互依存性を導入しないように行われる。
この手段により、最上位時間レベルなどの特定の時間レベルの画像の符号化／復号をスケジュール化し、それにもかかわらず、前にバッファリングされた学習／適応されたコンテキストエントロピー確率を利用して並列処理することが可能であり、これにより、符号化効率を向上させると共に、並列処理機能に関する適合性を向上させることができる。
本出願の第２の態様はまた、コンテキストエントロピー確率の初期化に関する。
しかしながら、第２の態様では、時間的相互依存性を考慮する。
第２の態様によれば、ビデオの画像は、画像が異なる時間レベルに分類されることに従って、画像間の階層的な時間符号化相互依存性を定義するように符号化データに符号化される。
各時間レベルについて、それぞれの時間レベルの画像は、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、各非ゼロ時間レベルについて、それぞれの非ゼロ時間レベルの画像は、相互に独立して符号化される。
例えば、閉鎖又は開放ＧＯＰ構造を使用できる。
各画像のコンテキストエントロピー確率が新たに初期化されることを回避するために、符号化データは、各画像について、コンテキストエントロピー確率がそれぞれの画像内の少なくとも１つの始点で初期化されるようにデータストリームに符号化される。
コンテキストエントロピー確率は、少なくとも１つの始点から前方へそれぞれの画像を横断する符号化経路に沿って適応される。
本出願の第２の態様によれば、ある画像から別の画像にコンテキストエントロピー確率を継承するためのコンテキストエントロピー確率管理は、特定の時間レベルへのメンバーシップを認識するように行われる。
例えば、画像の少なくともサブセットのそれぞれについて、それぞれの画像の少なくとも１つのバッファリング点までの符号化経路に沿ったコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態がバッファリングされ、その後、コンテキストエントロピー確率の初期化の際に、現在の画像内の少なくとも１つの始点のそれぞれについて、現在の画像の時間レベルに関する情報を用いてインデックスが決定され、このインデックスを用いて、現在の画像の時間レベルよりも下位の時間レベルの、前に符号化／復号された画像についてバッファリングされた状態をルックアップする。
つまり、特定の画像についてのバッファリングされたコンテキストエントロピー確率のルックアップは、時間レベルのランク付けが遵守され、同じ時間レベルの画像間に時間的な相互依存性を導入しないように行われる。
この手段により、最上位時間レベルなどの特定の時間レベルの画像の符号化／復号をスケジュール化し、それにもかかわらず、前にバッファリングされた学習／適応されたコンテキストエントロピー確率を利用して並列処理することが可能であり、これにより、符号化効率を向上させると共に、並列処理機能に関する適合性を向上させることができる。
【0007】
＜第３の態様＞
本出願の別の態様は、フィルタパラメータ化に関係する。
特に、本出願の第３の態様は、適応型ループフィルタなどのインループ又はポストフィルタについてのフィルタパラメータ化設定値が、処理、すなわち符号化及び復号中に、最後に適用されたフィルタパラメータ化設定値の一種のプール又はリザーバを形成するようにバッファリングされるビデオコーデックに関し、新たな設定値又は完全に新たな設定値を送信しなければならない代わりに、この現在の画像についてのインループ又はポストフィルタのフィルタ化パラメータ化設定値を導出するため、インデックスを、現在の画像についてデータストリーム内の信号を用いて伝えることができる。
第２の態様のように、ビデオの画像は、画像が異なる時間レベルに分類される、画像間の階層的な時間符号化相互依存性を定義するようにデータストリームに符号化されると想定され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
符号化は、前述のインループ又はポストフィルタを用いて行われる。
少なくともサブセットの画像のそれぞれについて、それぞれの画像に適用されるインループ又はポストフィルタのフィルタパラメータ化設定値がバッファリングされる。
例えば、バッファリングは、フィルタのパラメータ設定値が明示的に、つまりインデックス付けなしでデータストリーム内で通知される画像に対して行われる。
例えば、フィルタのパラメータ化設定値がデータストリームで明示的に信号伝達されていない現在の画像の場合、ループ内又はポストフィルタのフィルタパラメータ化設定値には、データストリーム内のインデックスの信号伝達が含まれる。
本出願の第３の態様では、このインデックスは、バッファ状態のサブセットのうちの１つにインデックスを付け、このサブセットは、現在の画像の時間レベル以上の時間レベルの画像に関してバッファリングされた状態を除外する。
すなわち、フィルタパラメータ化設定値に関連するサイド情報オーバーヘッドを低減するために使用されるフィルタパラメータ化設定値のインデックス付けは、画像間の階層的時間符号化相互依存性もフィルタパラメータ化設定値信号伝達に関して遵守されるように行われる。
フィルタパラメータ化設定値のバッファリングは、バッファリングされるフィルタパラメータ化設定値が生じる画像のそれぞれの時間レベル、及びフィルタパラメータ化設定値が決定される現在の画像の時間レベルを認識する方法で行われ、エンコーダは、下位の時間レベルの、前に処理された画像に由来する現在の画像についてバッファリングされたフィルタパラメータ化設定値に単にインデックスを付けるように、インデックス付けの制限に従う。
この手段により、最上位時間レベルの画像などの特定の非ゼロの時間レベルの画像の並列処理が、フィルタパラメータ化設定値サイド情報オーバーヘッドを低く維持するためのリザーバとしての使用に関して、バッファリングされたフィルタパラメータ化設定値の使用において比較的小さな制限で可能になる。
エンコーダ及びデコーダは、例えば、ＦＩＦＯ方式で、様々な時間レベルに関連する１つ以上の最新の設定値をバッファリングするために、前の画像の状態をバッファリングするときに、様々な時間レベルのメンバーシップを考慮に入れることができる。
本出願の別の態様は、フィルタパラメータ化に関係する。
特に、本出願の第３の態様は、適応型ループフィルタなどのインループ又はポストフィルタについてのフィルタパラメータ化設定値が、処理、すなわち符号化及び復号中に、最後に適用されたフィルタパラメータ化設定値の一種のプール又はリザーバを形成するようにバッファリングされるビデオコーデックに関し、新たな設定値又は完全に新たな設定値を送信しなければならない代わりに、この現在の画像についてのインループ又はポストフィルタのフィルタ化パラメータ化設定値を導出するため、インデックスを、現在の画像についてデータストリーム内の信号を用いて伝えることができる。
第２の態様のように、ビデオの画像は、画像が異なる時間レベルに分類される、画像間の階層的な時間符号化相互依存性を定義するようにデータストリームに符号化されると想定され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
符号化は、前述のインループ又はポストフィルタを用いて行われる。
少なくともサブセットの画像のそれぞれについて、それぞれの画像に適用されるインループ又はポストフィルタのフィルタパラメータ化設定値がバッファリングされる。
例えば、バッファリングは、フィルタのパラメータ設定値が明示的に、つまりインデックス付けなしでデータストリーム内で通知される画像に対して行われる。
例えば、フィルタのパラメータ化設定値がデータストリームで明示的に信号伝達されていない現在の画像の場合、ループ内又はポストフィルタのフィルタパラメータ化設定値には、データストリーム内のインデックスの信号伝達が含まれる。
本出願の第３の態様では、このインデックスは、バッファ状態のサブセットのうちの１つにインデックスを付け、このサブセットは、現在の画像の時間レベル以上の時間レベルの画像に関してバッファリングされた状態を除外する。
すなわち、フィルタパラメータ化設定値に関連するサイド情報オーバーヘッドを低減するために使用されるフィルタパラメータ化設定値のインデックス付けは、画像間の階層的時間符号化相互依存性もフィルタパラメータ化設定値信号伝達に関して遵守されるように行われる。
フィルタパラメータ化設定値のバッファリングは、バッファリングされるフィルタパラメータ化設定値が生じる画像のそれぞれの時間レベル、及びフィルタパラメータ化設定値が決定される現在の画像の時間レベルを認識する方法で行われ、エンコーダは、下位の時間レベルの、前に処理された画像に由来する現在の画像についてバッファリングされたフィルタパラメータ化設定値に単にインデックスを付けるように、インデックス付けの制限に従う。
この手段により、最上位時間レベルの画像などの特定の非ゼロの時間レベルの画像の並列処理が、フィルタパラメータ化設定値サイド情報オーバーヘッドを低く維持するためのリザーバとしての使用に関して、バッファリングされたフィルタパラメータ化設定値の使用において比較的小さな制限で可能になる。
エンコーダ及びデコーダは、例えば、ＦＩＦＯ方式で、様々な時間レベルに関連する１つ以上の最新の設定値をバッファリングするために、前の画像の状態をバッファリングするときに、様々な時間レベルのメンバーシップを考慮に入れることができる。
【0008】
＜第４の態様＞
本出願の別の態様は、それぞれの画像のブロックに関連付けられたブロック毎に変化する量子化パラメータを利用するビデオコーデックに関する。
おそらく、パラメータ化された非ブロック化フィルタなどのインループ又はポストフィルタが、量子化パラメータに従って設定値される符号化に関与する。
しかしながら、データストリーム内の符号化データの符号化は、現在の画像の所定ブロックについて、所定ブロックに関連する量子化パラメータが、空間予測を用いて、所定ブロックに直接隣接する画像の隣接ブロックをカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、データストリーム内で符号化される方法で実行される。
すなわち、本出願の第４の態様によれば、所定ブロックに関連する量子化パラメータが、例えば、現在の画像の前のストライプ内など、所定ブロックから更に離れたブロックの量子化パラメータに依存することが回避される。
したがって、エンコーダは、ストライプの符号化順序で連続するインターストライプの符号化オフセットに従うことにより、これらのストライプの符号化を並列に実行できる。
エンコーダは、例えば、レート制御を用いて、及び／又は何らかのレート／歪み最適化に応じてなどの特定の手法に従って、量子化パラメータを設定し、予測残差の量子化などのタスクだけでなく、量子化パラメータを用いて、この量子化パラメータが依存するフィルタパラメータ化設定値をインループ又はポストフィルタについて設定する追加のタスクについても瞬時に量子化パラメータを使用することができる。
前のストライプの処理の完了を待つ必要がない。
したがって、符号化待ち時間全体が短縮される。
現在の画像の所定ブロックの量子化パラメータの空間予測が依存するブロックが、例えば、所定ブロックが属する現在のスライスの外側、又は更には画像の外側にあるために利用できない場合、代わりに、スライス量子化パラメータ、すなわち現在のスライスに対して送信されるパラメータを用いることができる。
本出願の別の態様は、それぞれの画像のブロックに関連付けられたブロック毎に変化する量子化パラメータを利用するビデオコーデックに関する。
おそらく、パラメータ化された非ブロック化フィルタなどのインループ又はポストフィルタが、量子化パラメータに従って設定値される符号化に関与する。
しかしながら、データストリーム内の符号化データの符号化は、現在の画像の所定ブロックについて、所定ブロックに関連する量子化パラメータが、空間予測を用いて、所定ブロックに直接隣接する画像の隣接ブロックをカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、データストリーム内で符号化される方法で実行される。
すなわち、本出願の第４の態様によれば、所定ブロックに関連する量子化パラメータが、例えば、現在の画像の前のストライプ内など、所定ブロックから更に離れたブロックの量子化パラメータに依存することが回避される。
したがって、エンコーダは、ストライプの符号化順序で連続するインターストライプの符号化オフセットに従うことにより、これらのストライプの符号化を並列に実行できる。
エンコーダは、例えば、レート制御を用いて、及び／又は何らかのレート／歪み最適化に応じてなどの特定の手法に従って、量子化パラメータを設定し、予測残差の量子化などのタスクだけでなく、量子化パラメータを用いて、この量子化パラメータが依存するフィルタパラメータ化設定値をインループ又はポストフィルタについて設定する追加のタスクについても瞬時に量子化パラメータを使用することができる。
前のストライプの処理の完了を待つ必要がない。
したがって、符号化待ち時間全体が短縮される。
現在の画像の所定ブロックの量子化パラメータの空間予測が依存するブロックが、例えば、所定ブロックが属する現在のスライスの外側、又は更には画像の外側にあるために利用できない場合、代わりに、スライス量子化パラメータ、すなわち現在のスライスに対して送信されるパラメータを用いることができる。
【0009】
＜第５の態様＞
本出願の第５の態様は、空間符号化依存性範囲に関して適応可能であるビデオコーデックに関する。
すなわち、ビデオコーデックは、ビデオの画像をデータストリームに符号化する際に空間イントラ画像符号化依存性を使用するが、コーデックは、複数の符号化依存性範囲設定値のうちで選択された空間符号化依存性範囲をデータストリーム内の信号を用いて伝えることができる。
ビデオの現在の画像の現在のブロックに関する空間イントラ画像符号化依存性の空間範囲は、選択された空間符号化依存性範囲設定値に応じて設定される。
例えば、これは、イントラ予測ブロックなどの現在のブロックについて画像コンテンツを予測すること、現在のブロックについての符号化パラメータを予測すること、又は現在のブロックに関連する符号化パラメータを符号化するためのコンテキストエントロピー確率を導出すること、又はこれらの可能性の全てに適用される。
空間符号化依存性範囲に関してビデオコーデックを適応可能にすることで、一方ではインタースライス符号化オフセット又は符号化波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点での符号化効率に関して、ビデオの画像を符号化／復号する際の並列性の程度に関して、ビデオコーデックを適応可能にする。
すなわち、本出願の第５の態様は、低減された空間符号化依存性範囲による符号化圧縮効率のわずかな減少を犠牲にして、より高い並列性の間の重み付けを可能にする。
一実施形態によれば、信号伝達は、空間最小インターストライプ復号オフセットを用いて行われる。
本出願の第５の態様は、空間符号化依存性範囲に関して適応可能であるビデオコーデックに関する。
すなわち、ビデオコーデックは、ビデオの画像をデータストリームに符号化する際に空間イントラ画像符号化依存性を使用するが、コーデックは、複数の符号化依存性範囲設定値のうちで選択された空間符号化依存性範囲をデータストリーム内の信号を用いて伝えることができる。
ビデオの現在の画像の現在のブロックに関する空間イントラ画像符号化依存性の空間範囲は、選択された空間符号化依存性範囲設定値に応じて設定される。
例えば、これは、イントラ予測ブロックなどの現在のブロックについて画像コンテンツを予測すること、現在のブロックについての符号化パラメータを予測すること、又は現在のブロックに関連する符号化パラメータを符号化するためのコンテキストエントロピー確率を導出すること、又はこれらの可能性の全てに適用される。
空間符号化依存性範囲に関してビデオコーデックを適応可能にすることで、一方ではインタースライス符号化オフセット又は符号化波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点での符号化効率に関して、ビデオの画像を符号化／復号する際の並列性の程度に関して、ビデオコーデックを適応可能にする。
すなわち、本出願の第５の態様は、低減された空間符号化依存性範囲による符号化圧縮効率のわずかな減少を犠牲にして、より高い並列性の間の重み付けを可能にする。
一実施形態によれば、信号伝達は、空間最小インターストライプ復号オフセットを用いて行われる。
【0010】
＜第６の態様＞
本出願の第６の態様は、ビデオのイントラ予測部分と、ビデオの純粋なイントラ予測部分とが異なって設定された空間符号化依存性範囲を使用するビデオコーデックに関する。
空間符号化依存性範囲に関して利用可能な符号化モードにビデオコーデックを反応し易くすることで、一方ではインタースライス符号化オフセット又は波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点からの符号化効率に関して、ビデオの画像の符号化／復号の並列性に関してビデオコーデックを適応可能にする。
ここでは、第５の側面と比較して、並列処理を優先して符号化効率を向上させる価値が、インター予測符号化部分よりも、ビデオの純粋にイントラ符号化された部分に対して、相互依存性を符号化するためのソースに関する限り、後者はあまり制限されていないために増大することが考慮に入れられている。
本出願の第６の態様は、ビデオのイントラ予測部分と、ビデオの純粋なイントラ予測部分とが異なって設定された空間符号化依存性範囲を使用するビデオコーデックに関する。
空間符号化依存性範囲に関して利用可能な符号化モードにビデオコーデックを反応し易くすることで、一方ではインタースライス符号化オフセット又は波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点からの符号化効率に関して、ビデオの画像の符号化／復号の並列性に関してビデオコーデックを適応可能にする。
ここでは、第５の側面と比較して、並列処理を優先して符号化効率を向上させる価値が、インター予測符号化部分よりも、ビデオの純粋にイントラ符号化された部分に対して、相互依存性を符号化するためのソースに関する限り、後者はあまり制限されていないために増大することが考慮に入れられている。
【0011】
本出願の前述の態様に関して、全ての態様などの前述の態様のうちの２つ以上がビデオコーデックに同時に実装されるように、同じものを組み合わせることができることに留意されたい。
【0012】
更に、本出願の好適な態様は、従属請求項の主題であり、本出願の好ましい実施形態は、図を参照して以下説明する。
【図面の簡単な説明】
【0013】
【図1】２つの画像グループ（ＧＯＰ）の画像を示す概略図であり、矢印により時間信号予測フローを示しており、画像は、画像順序カウント（ＰＯＣ）に従う時間表示順序に沿って左から右に水平に配置され、階層的時間レベルに対応する４つのレベルの１つに垂直に広がる。
【図2】図１に示すように符号化された２つのＧＯＰ画像を示す概略図であり、更に図２は、最上位時間レベルなどの同じ時間レベルの画像を並列に符号化／復号する機能を無効にするコンテキストのＣＡＢＡＣ時間伝播を示している。
【図5】例として、予測及び残差符号化のために画像をブロックに分割することを示す概略図である。
【図6】ＷＰＰ方式でビデオの符号化及び復号を提供するビデオエンコーダ及びビデオデコーダの機能を示す概略図であり、図６に示す基本機能は、図７～図１６を参照して説明するビデオエンコーダ及びビデオデコーダの実施形態の根底となり得る。
【図7】ある画像から別の画像へのストライプ位置認識コンテキストエントロピー確率継承を利用する実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図である。
【図8】ある画像から別の画像への時間レベル認識コンテキストエントロピー確率継承を利用する実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図である。
【図9】パラメータセットの一部、ここでは例示的にＳＰＳの例を示しており、時間的次元におけるコンテキストエントロピー確率継承のモードの変動を可能にする。
【図10】時間的予測依存性に関する限り、図１に示すように符号化された２つのＧＯＰの画像を示す概略図であり、図１０は、矢印を用いて、図８に示す概念に対応する概念に従って、画像間の時間的コンテキストエントロピー確率継承を示している。
【図12】時間レベル認識的にバッファリングスキームを用いて画像のフィルタパラメータ設定値を信号を用いて伝える一実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図である。
【図13】現在のブロックの直接の隣接ブロックよりも現在のブロックから離れたブロックのＱＰへの依存を回避するように空間予測を用いて、ブロック単位で画像全体のＱＰ変動を信号を用いて伝える一実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図であり、使用不能な隣接ブロックのＱＰのフォールバック予測子として、スライスＱＰを使用することができ、図示されていないが、左上に隣接し得る第３の空間予測子を、空間的近隣に更に含むことができる。
【図14】平行性機能に対する範囲設定値の影響を説明するために、異なるサイズの空間イントラ画像符号化依存性範囲により、異なるインターストライプオフセットで互いにオフセットされた現在の処理部分を示す。
【図15】パラメータセットの構文部分の例、ここでは例示的にＳＰＳを示し、インター予測モードも提供する他のスライスと比較したＩスライスの範囲設定値の別個の信号伝達を示す。
【図16】データストリーム内の範囲設定値の信号伝達を提供するビデオエンコーダ及びビデオデコーダの機能を示す概略図である。
【発明を実施するための形態】
【0014】
上記で簡単に説明した各種態様に関する本出願の実施形態の以下の説明において、実施形態は、最新ビデオ符号化規格ＩＴＵ Ｔ Ｈ．２６５｜ＭＰＥＧ Ｈ ＨＥＶＣ［１］を遵守する次世代ビデオ符号化システムに対して新規な技術を形成する、又は新規な技術を組み込むことができ、まず、最新ビデオ符号化規格ＩＴＵ Ｔ Ｈ．２６５｜ＭＰＥＧ Ｈ ＨＥＶＣ［１］又はＪＥＭソフトウェア［３］で利用可能ないくつかの関連符号化ツールについて簡単に紹介する。
【0015】
時間的依存性を考慮し、ビデオ符号化で一般的に使用される構成の１つは、階層的画像形成が画像グループ（ＧＯＰ）に組み込まれる「ランダムアクセス」符号化モードであり、一例を図１に示す。
画像１０間のいくつかの依存性によって引き起こされる構造的遅延は、ＧＯＰ１２ａ、１２ｂ内、及びＧＯＰ１２ａ、１２ｂ間の画像並列処理を可能にする。
画像１０間のいくつかの依存性によって引き起こされる構造的遅延は、ＧＯＰ１２ａ、１２ｂ内、及びＧＯＰ１２ａ、１２ｂ間の画像並列処理を可能にする。
【0016】
図１に示すように、画像１０は１行に配置されているのではなく、複数行に分散されている。
この表示は、画像１０間の構造的な階層的時間依存性と、それらの時間レベル（ＴＩｄ）との関連を目立たせるように選択されている。
階層に関しては、時間レベル０（ＴＩｄ０）の画像を除いて、１２ａ、１２ｂなどのＧＯＰ内の同じ時間層の画像１０は、互いに依存しない。
より正確には、それぞれの矢印を介して接続されているように示されている画像は、必ずしも相互に依存しているわけではない。
それどころか、相互の依存が禁止されていない。そうすることが可能である。
更に、画像は概して、復号順序において現在の画像に先行する同じ時間レベルの画像に依存し得るが、図１を参照して説明される種の依存順序には、以下に説明する並列化アプローチの要件又は前提条件がある。
そのため、時間レベルによっては、いくつかの画像を並列処理できる。
例えば、ＧＯＰ０内のＰＯＣ１、３、５、７の画像１０は並列処理が可能である。
しかし、一部の符号化ツールでは、画像間に依存性が生じる場合がある。
これは、並列処理のための完全な技術的ソリューションの妨げとなる。
続いて提示する実施形態では、そのような問題を克服するための特別なメカニズムを提案する。
この表示は、画像１０間の構造的な階層的時間依存性と、それらの時間レベル（ＴＩｄ）との関連を目立たせるように選択されている。
階層に関しては、時間レベル０（ＴＩｄ０）の画像を除いて、１２ａ、１２ｂなどのＧＯＰ内の同じ時間層の画像１０は、互いに依存しない。
より正確には、それぞれの矢印を介して接続されているように示されている画像は、必ずしも相互に依存しているわけではない。
それどころか、相互の依存が禁止されていない。そうすることが可能である。
更に、画像は概して、復号順序において現在の画像に先行する同じ時間レベルの画像に依存し得るが、図１を参照して説明される種の依存順序には、以下に説明する並列化アプローチの要件又は前提条件がある。
そのため、時間レベルによっては、いくつかの画像を並列処理できる。
例えば、ＧＯＰ０内のＰＯＣ１、３、５、７の画像１０は並列処理が可能である。
しかし、一部の符号化ツールでは、画像間に依存性が生じる場合がある。
これは、並列処理のための完全な技術的ソリューションの妨げとなる。
続いて提示する実施形態では、そのような問題を克服するための特別なメカニズムを提案する。
【0017】
予測とスライスを考慮に入れると、現在のビデオ符号化規格の圧縮ゲインのかなりの部分が、高度な予測から得られる。
これには、時間的及び空間的フィルタリングを用いて再構築された信号からの予測、並びにシンボル予測が含まれて、ビットストリームで送信される信号オーバーヘッドを最小限に抑える。
シンボル予測は、現在のＣＴＵの左側と上部にある２つの隣接ＣＴＵを用いて実行される。
これには、時間的及び空間的フィルタリングを用いて再構築された信号からの予測、並びにシンボル予測が含まれて、ビットストリームで送信される信号オーバーヘッドを最小限に抑える。
シンボル予測は、現在のＣＴＵの左側と上部にある２つの隣接ＣＴＵを用いて実行される。
【0018】
１つの画像に属するシンボルを送信する際に、様々なフレーミングが利用可能である。
それぞれに長所と短所がある。
最小のオーバーヘッドと、最良のローカル予測機能と、を備えた最も効果的な方法は、画像毎に１つのスライスのみを送信することである。
エラー堅牢性のために設計された別の変形は、画像を複数のスライスに分割することである。
デフォルトでは、スライスはシンボル符号化にも空間予測にもインタースライス予測を使用しないため、各スライスを任意の順序で個別に解析及び再構築することができる。
この適応型予測スキームは、エラーの伝播を防ぎ、エラー堅牢性とＲ－Ｄ性能間の柔軟なトレードオフを可能にする。
画像のシンボルを送信する別の変形は、依存スライスと呼ばれる。
このアプローチは、個々のＣＴＵラインの並列処理、波面並列処理（ＷＰＰ）に焦点を当てているが、エラーの堅牢性には焦点を当てていない。
予測データの可用性を保証するという制約により、依存スライスは、画像毎の単一スライスと同様のＲ－Ｄ性能を備えるが、個々のＣＴＵラインに並列実行を適用する自由度がある。
追加要件が、違反してはならない連続ＣＴＵライン間の最小ＣＴＵオフセットを定義する。
このオフセットにより、所与のＣＴＵについて、予測に必要な左、左上、右上、右上の参照ＣＴＵが既に再構築され、使用可能であることが保証される。
それぞれに長所と短所がある。
最小のオーバーヘッドと、最良のローカル予測機能と、を備えた最も効果的な方法は、画像毎に１つのスライスのみを送信することである。
エラー堅牢性のために設計された別の変形は、画像を複数のスライスに分割することである。
デフォルトでは、スライスはシンボル符号化にも空間予測にもインタースライス予測を使用しないため、各スライスを任意の順序で個別に解析及び再構築することができる。
この適応型予測スキームは、エラーの伝播を防ぎ、エラー堅牢性とＲ－Ｄ性能間の柔軟なトレードオフを可能にする。
画像のシンボルを送信する別の変形は、依存スライスと呼ばれる。
このアプローチは、個々のＣＴＵラインの並列処理、波面並列処理（ＷＰＰ）に焦点を当てているが、エラーの堅牢性には焦点を当てていない。
予測データの可用性を保証するという制約により、依存スライスは、画像毎の単一スライスと同様のＲ－Ｄ性能を備えるが、個々のＣＴＵラインに並列実行を適用する自由度がある。
追加要件が、違反してはならない連続ＣＴＵライン間の最小ＣＴＵオフセットを定義する。
このオフセットにより、所与のＣＴＵについて、予測に必要な左、左上、右上、右上の参照ＣＴＵが既に再構築され、使用可能であることが保証される。
【0019】
ＣＡＢＡＣコンテキスト変数（ＣＣＶ）は、確率を表す適応モデルである。
ＣＣＶは、特定のシンボル又はシンボルセットのエントロピーをモデル化するために、算術エントロピー符号化と組み合わせて使用される。
適応という文言は、モデルのローカル統計値に適応するように、最新の符号化状態に向けてモデルを永続的に更新することを示す。
更新ステップは、通常、算術符号化動作に組み込まれている。
最初に、ＣＣＶの現在の状態を用いて算術符号化プロセスをパラメータ化し、いったん復号されたシンボルが導出されると、それを用いて、所与のステップサイズで現在の復号確率に向けてＣＣＶを更新する。
ＣＣＶは、特定のシンボル又はシンボルセットのエントロピーをモデル化するために、算術エントロピー符号化と組み合わせて使用される。
適応という文言は、モデルのローカル統計値に適応するように、最新の符号化状態に向けてモデルを永続的に更新することを示す。
更新ステップは、通常、算術符号化動作に組み込まれている。
最初に、ＣＣＶの現在の状態を用いて算術符号化プロセスをパラメータ化し、いったん復号されたシンボルが導出されると、それを用いて、所与のステップサイズで現在の復号確率に向けてＣＣＶを更新する。
【0020】
シンボル値の統計値は変動し続けるため、ＣＣＶのセットを用いてスライスデータを算術的に符号化する。
しかし、ＣＣＶは、符号化又は復号に使用する前に、所定の状態に初期化する必要がある。
デフォルトのＣＣＶ初期化は、新しいスライスの復号／符号化プロセスが開始されたときに実行される。
しかし、ＣＣＶは、符号化又は復号に使用する前に、所定の状態に初期化する必要がある。
デフォルトのＣＣＶ初期化は、新しいスライスの復号／符号化プロセスが開始されたときに実行される。
【0021】
最新のＣＡＢＡＣコンテキストの初期化は、次のように実行される。
デフォルトのコンテキスト初期化は、初期化関数をＣＣＶに適用することによって行われる。
この関数は、ＣＣＶＣＭＭ固有の定数値から計算され、スライスレベルＱＰによって変更されたインデックスパラメータを介して選択された初期ＣＣＶＣＭＭ状態を決定する。
デフォルトのコンテキスト初期化は、初期化関数をＣＣＶに適用することによって行われる。
この関数は、ＣＣＶＣＭＭ固有の定数値から計算され、スライスレベルＱＰによって変更されたインデックスパラメータを介して選択された初期ＣＣＶＣＭＭ状態を決定する。
【0022】
モデル初期化パラメータは、広範なビデオ素材を表す初期状態を達成するために、十分なテスト素材を用いた徹底的なテストで収集された経験的データから導出されるが、計算されたＣＣＶ初期状態は、実際のコンテンツのための最適設定値が得られるであろう状態と大幅に異なることが多い。
【0023】
上述のＷＰＰアプローチでは、ＣＣＶではＣＴＵ回線毎にリセットが必要になるため、初期化性能ギャップがより深刻な問題になるであろう。
この性能ギャップを克服するために、特別な初期化メカニズムが導入された。
この性能ギャップを克服するために、特別な初期化メカニズムが導入された。
【0024】
並列処理をサポートするＩＴＵ Ｔ Ｈ．２６５｜ＭＰＥＧ ＨＥＶＣでも、これまでにローカルＣＣＶ導出技術が使用されている。
波面並列処理では、ＣＴＵラインは個々のスレッドによって独立して処理することができる。
ＣＴＵラインの解析プロセスを分離するには、ＣＡＢＡＣエンジンをリセットし、各ＣＴＵラインの先頭で全てのＣＣＶを初期化する必要がある。
デフォルトのＣＣＶ初期化プロセスは、必ずしもコンテンツ依存ＣＣＶ状態を最適な方法でモデル化するわけではない。そこで、依存スライスと組み合わせた初期化の新しい方法が提案された。
波面並列処理では、ＣＴＵラインは個々のスレッドによって独立して処理することができる。
ＣＴＵラインの解析プロセスを分離するには、ＣＡＢＡＣエンジンをリセットし、各ＣＴＵラインの先頭で全てのＣＣＶを初期化する必要がある。
デフォルトのＣＣＶ初期化プロセスは、必ずしもコンテンツ依存ＣＣＶ状態を最適な方法でモデル化するわけではない。そこで、依存スライスと組み合わせた初期化の新しい方法が提案された。
【0025】
ＣＣＶの設定を向上させるため、画像の第１のラインのみが、デフォルトＣＣＶ初期化を用いて初期化される。
上記ライン内の第２のＣＴＵが処理された後、画像内の後続の全ラインが、上記ＣＴＵラインからＣＣＶ状態を継承する。
この初期化概念は、依存スライスに関してのみ使用可能であるため、必要最小限のＣＴＵオフセットを活用できる。
上記ライン内の第２のＣＴＵが処理された後、画像内の後続の全ラインが、上記ＣＴＵラインからＣＣＶ状態を継承する。
この初期化概念は、依存スライスに関してのみ使用可能であるため、必要最小限のＣＴＵオフセットを活用できる。
【0026】
この初期化方法は、ライン毎のデフォルト初期化よりも改善されているが、継承されたＣＣＶの更新プロセスに寄与できるＣＴＵが少ないため、達成され得るゲインは制限される。
【0027】
ある種の一時的なＣＣＶ導出が、ＪＥＭ－Ｓｏｆｔｗａｒｅ［２］で提案及び実行されている。
基本的な考え方は、時間的類似性の活用である。
したがって、ＣＣＶセットの状態のスナップショットを格納できるバッファが確立される。
ＣＣＶセットの状態は、画像の中央にあるＣＴＵが処理されたときに格納される。
実行された変形では、ＣＣＶ状態は、現在のスライスレベルＱＰを用いてインデックスとしてバッファに格納される。
基本的な考え方は、時間的類似性の活用である。
したがって、ＣＣＶセットの状態のスナップショットを格納できるバッファが確立される。
ＣＣＶセットの状態は、画像の中央にあるＣＴＵが処理されたときに格納される。
実行された変形では、ＣＣＶ状態は、現在のスライスレベルＱＰを用いてインデックスとしてバッファに格納される。
【0028】
後続の画像の新しい復号プロセスが開始されると、ＣＣＶバッファは、現在のスライスレベルＱＰに関して格納されている有効なＣＣＶセットについてチェックされる。
例えば、図２では、矢印で示された画像によるＣＣＶ状態の再利用が矢印で示されており、ＣＣＶ状態はバッファに格納されていて、矢印の原点を成す画像から取得される。
使用可能なセットがある場合、ＣＣＶの状態は、バッファから、解析／符号化に使用される現在のＣＣＶにコピーされる。
あるいは、有効なＣＭＭセットが使用不能な場合、デフォルトの初期化機能を用いて現在のＣＣＶ設定値を設定する。
例えば、図２では、矢印で示された画像によるＣＣＶ状態の再利用が矢印で示されており、ＣＣＶ状態はバッファに格納されていて、矢印の原点を成す画像から取得される。
使用可能なセットがある場合、ＣＣＶの状態は、バッファから、解析／符号化に使用される現在のＣＣＶにコピーされる。
あるいは、有効なＣＭＭセットが使用不能な場合、デフォルトの初期化機能を用いて現在のＣＣＶ設定値を設定する。
【0029】
ＨＥＶＣ又はＪＥＭから既知の特定の符号化ツール、及びそれらの制約又は欠点を説明したが、以下の説明では、次に説明する実施形態の１つ又は複数を組み込む方法で実装できるビデオエンコーダ及びビデオデコーダの例の説明に移る。
特に、このビデオエンコーダ及びビデオデコーダの例の提示は、後に説明する実施形態の理解を容易にするかもしれないが、後に説明する本出願の実施形態は、ＨＥＶＣ又はＪＥＭの実装変形を形成することにも、図３～５を参照して説明するビデオエンコーダ及びビデオデコーダの実装変形を形成することにも限定されないと留意されたい。
特に、このビデオエンコーダ及びビデオデコーダの例の提示は、後に説明する実施形態の理解を容易にするかもしれないが、後に説明する本出願の実施形態は、ＨＥＶＣ又はＪＥＭの実装変形を形成することにも、図３～５を参照して説明するビデオエンコーダ及びビデオデコーダの実装変形を形成することにも限定されないと留意されたい。
【0030】
図３は、一連の画像１２から構成されるビデオ１１をデータストリーム１４に予測的に符号化するための装置を示す。
この目的のため、ブロック単位の予測符号化が使用される。
更に、変換ベースの残差符号化が例示的に使用される。
装置又はエンコーダは、参照符号１０で示す。
図４は、対応するデコーダ２０、すなわち、データストリーム１４からの画像ブロック内の画像１２’から構成されるビデオ１１’を予測的に復号するように構成された装置２０を示し、ここでも例示的に、変換ベースの残差復号を使用する。
アポストロフィは、デコーダ２０によって再構成された画像１２’及びビデオ１１’が、予測残差信号の量子化によって生じた符号化損失のため、装置１０によって最初に符号化された画像１２からそれぞれ逸脱していることを示す。
図３及び図４は、例示的に、変換ベースの予測残差符号化を用いているが、本出願の実施形態は、この種の予測残差符号化に限定されない。
これは、以下に概説するように、図３及び図２を参照して説明する他の詳細にも当てはまる。
この目的のため、ブロック単位の予測符号化が使用される。
更に、変換ベースの残差符号化が例示的に使用される。
装置又はエンコーダは、参照符号１０で示す。
図４は、対応するデコーダ２０、すなわち、データストリーム１４からの画像ブロック内の画像１２’から構成されるビデオ１１’を予測的に復号するように構成された装置２０を示し、ここでも例示的に、変換ベースの残差復号を使用する。
アポストロフィは、デコーダ２０によって再構成された画像１２’及びビデオ１１’が、予測残差信号の量子化によって生じた符号化損失のため、装置１０によって最初に符号化された画像１２からそれぞれ逸脱していることを示す。
図３及び図４は、例示的に、変換ベースの予測残差符号化を用いているが、本出願の実施形態は、この種の予測残差符号化に限定されない。
これは、以下に概説するように、図３及び図２を参照して説明する他の詳細にも当てはまる。
【0031】
エンコーダ１０は、予測残差信号を空間－スペクトル変換し、こうして得られた予測残差信号をデータストリーム１４に符号化するように構成される。
同様に、デコーダ２０は、データストリーム１４からの予測残差信号を復号し、こうして得られた予測残差信号をスペクトル－空間変換するように構成される。
同様に、デコーダ２０は、データストリーム１４からの予測残差信号を復号し、こうして得られた予測残差信号をスペクトル－空間変換するように構成される。
【0032】
エンコーダ１０は内部に、元の信号、すなわちビデオ１１又は現在の画像１２からの予測信号２６の偏差を測定するために、予測残差信号２４を生成する予測残差信号形成器２２を含んでもよい。
予測残差信号形成器２２は、例えば、元の信号、すなわち現在の画像１２から予測信号を減算する減算器であってもよい。
エンコーダ１０は、予測残差信号２４を空間－スペクトル変換して、スペクトル領域予測残差信号２４’を取得する変換器２８を更に含み、この信号は、同じくエンコーダ１０によって構成される量子化器３２により量子化される。
このように量子化された予測残差信号２４’’は、ビットストリーム１４に符号化される。
この目的のために、エンコーダ１０は、データストリーム１４に変換及び量子化された予測残差信号をエントロピー符号化するエントロピーコーダ３４を任意選択で備えてもよい。
予測残差信号２６は、データストリーム１４に復号され、データストリーム１４から復号可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測段３６によって生成される。
この目的のために、予測段３６は、図３に示すように、量子化損失を除いて信号２４’に対応するスペクトル領域予測残差信号２４’’’を得るように予測残差信号２４’’を非量子化する非量子化器３８と、次いで、予測残差信号２４’’’を逆変換、すなわちスペクトル－空間変換して、量子化損失を除いて元の予測残差信号２４に対応する予測残差信号２４’’’’を取得する逆変換器４０と、を内部に含むことができる。
次に、予測段３６の結合器４２は、再構成された信号４６、すなわち元の信号１２の再構成を取得するように、例えば加算によって、予測信号２６と予測残差信号２４’’’’を再結合する。
再構成された信号４６は、信号１２’に対応し得る。
次に、予測段３６の予測モジュール４４は、例えば、空間予測、すなわち、イントラ予測、及び／又は時間予測、すなわち、インター予測を使用することによって、信号４６に基づいて予測信号２６を生成する。
エントロピーコーダ３４は、予測残差信号２４’’だけでなく、残差データに加えて、予測モード、予測パラメータ、量子化パラメータ、及び／又はフィルタパラメータなどの画像を記述する他の符号化データもデータストリームにエントロピー符号化する。符号化データは画像を表す。
データストリームに符号化された構文要素を表す場合もある。
エントロピーコーダ３４は、この符号化データを無損失でデータストリーム１２に符号化する。
エントロピー符号化は、コンテキスト適応型であってもよい。
すなわち、コンテキストが、時間的及び／又は空間的に隣接し、前に符号化された符号化データに基づいてエントロピー符号化される対象の現在の符号化データの一部に対して選択され、各コンテキストは、対応するコンテキストエントロピー確率、すなわち、シンボル確率の推定値に関連付けられている。
選択されるコンテキストの確率は、現在のエントロピー符号化データエンティティに使用され、それに基づいて更新される。
最初に、例えば、１つの画像に関連する符号化データのエントロピー符号化の開始時、コンテキストの確率が初期化される。
いくつかの実施形態では、この点に関する詳細を以下に記載するが、この詳細は他の実施形態に関しては任意選択である。
予測残差信号形成器２２は、例えば、元の信号、すなわち現在の画像１２から予測信号を減算する減算器であってもよい。
エンコーダ１０は、予測残差信号２４を空間－スペクトル変換して、スペクトル領域予測残差信号２４’を取得する変換器２８を更に含み、この信号は、同じくエンコーダ１０によって構成される量子化器３２により量子化される。
このように量子化された予測残差信号２４’’は、ビットストリーム１４に符号化される。
この目的のために、エンコーダ１０は、データストリーム１４に変換及び量子化された予測残差信号をエントロピー符号化するエントロピーコーダ３４を任意選択で備えてもよい。
予測残差信号２６は、データストリーム１４に復号され、データストリーム１４から復号可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測段３６によって生成される。
この目的のために、予測段３６は、図３に示すように、量子化損失を除いて信号２４’に対応するスペクトル領域予測残差信号２４’’’を得るように予測残差信号２４’’を非量子化する非量子化器３８と、次いで、予測残差信号２４’’’を逆変換、すなわちスペクトル－空間変換して、量子化損失を除いて元の予測残差信号２４に対応する予測残差信号２４’’’’を取得する逆変換器４０と、を内部に含むことができる。
次に、予測段３６の結合器４２は、再構成された信号４６、すなわち元の信号１２の再構成を取得するように、例えば加算によって、予測信号２６と予測残差信号２４’’’’を再結合する。
再構成された信号４６は、信号１２’に対応し得る。
次に、予測段３６の予測モジュール４４は、例えば、空間予測、すなわち、イントラ予測、及び／又は時間予測、すなわち、インター予測を使用することによって、信号４６に基づいて予測信号２６を生成する。
エントロピーコーダ３４は、予測残差信号２４’’だけでなく、残差データに加えて、予測モード、予測パラメータ、量子化パラメータ、及び／又はフィルタパラメータなどの画像を記述する他の符号化データもデータストリームにエントロピー符号化する。符号化データは画像を表す。
データストリームに符号化された構文要素を表す場合もある。
エントロピーコーダ３４は、この符号化データを無損失でデータストリーム１２に符号化する。
エントロピー符号化は、コンテキスト適応型であってもよい。
すなわち、コンテキストが、時間的及び／又は空間的に隣接し、前に符号化された符号化データに基づいてエントロピー符号化される対象の現在の符号化データの一部に対して選択され、各コンテキストは、対応するコンテキストエントロピー確率、すなわち、シンボル確率の推定値に関連付けられている。
選択されるコンテキストの確率は、現在のエントロピー符号化データエンティティに使用され、それに基づいて更新される。
最初に、例えば、１つの画像に関連する符号化データのエントロピー符号化の開始時、コンテキストの確率が初期化される。
いくつかの実施形態では、この点に関する詳細を以下に記載するが、この詳細は他の実施形態に関しては任意選択である。
【0033】
同様に、デコーダ２０は、予測段３６に対応する構成要素、及び該予測段に対応するように相互接続される構成要素から成る。
特に、デコーダ２０のエントロピーデコーダ５０は、データストリームからの量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号することができる。
コンテキストの導出は、エンコーダと同期するように行うことができる。
結果は、例えば、予測残差データを含む符号化データである。
次に、予測段３６のモジュールに関して上記のように相互接続されて協働する逆量子化器５２、逆変換器５４、結合器５６、及び予測モジュール５８は、予測残差信号２４’’に基づいて再構成された信号を復元し、図４に示すように、結合器５６の出力は、再構成された信号、すなわち、ビデオ１１’又は現在の画像１２’をもたらす。
特に、デコーダ２０のエントロピーデコーダ５０は、データストリームからの量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号することができる。
コンテキストの導出は、エンコーダと同期するように行うことができる。
結果は、例えば、予測残差データを含む符号化データである。
次に、予測段３６のモジュールに関して上記のように相互接続されて協働する逆量子化器５２、逆変換器５４、結合器５６、及び予測モジュール５８は、予測残差信号２４’’に基づいて再構成された信号を復元し、図４に示すように、結合器５６の出力は、再構成された信号、すなわち、ビデオ１１’又は現在の画像１２’をもたらす。
【0034】
具体的に上述していないが、エンコーダ１０が、例えば、レート及び歪み関連の基準、すなわち符号化コストの最適化、及び／又は何らかのレート制御の使用などの何らかの最適化スキームにより、予測モードや運動パラメータなどを含むいくつかの符号化パラメータを設定できることは容易に明らかである。
以下でより詳細に説明するように、エンコーダ１０及びデコーダ２０、並びにそれぞれのモジュール４４、５８は、イントラ符号化モード及びインター符号化モードなどの異なる予測モードをサポートする。
エンコーダとデコーダがこれらの予測モードを切り替える粒度は、画像１２及び１２’のブロックへの細分割に対応してもよい。
なお、これらのブロックのいくつかは、イントラ符号化されるだけのブロックであってもよく、いくつかのブロックは、インター符号化されるだけのブロックであってもよく、任意選択で、更に別のブロックは、イントラ符号化及びインター符号化の両方を用いて得られるブロックであってもよい。
イントラ符号化モードによれば、ブロックの予測信号は、それぞれのブロックの空間的に既に符号化／復号された隣接部に基づいて取得される。
いくつかのイントラ符号化サブモードが存在する可能性があり、その中の選択は、いわば、一種のイントラ予測パラメータを表す。
それぞれの方向性イントラ符号化サブモードに固有の特定の方向に沿って隣接のサンプル値をそれぞれのブロックに外挿することによって、それぞれのブロックの予測信号が満たされる方向性又は角度イントラ符号化サブモードがあり得る。
イントラ符号化サブモードは、例えば、ＤＣ符号化モードなどの１つ以上の更なるサブモードを含んでもよく、これにより、それぞれのブロックの予測信号が、それぞれのブロック内の全サンプルにＤＣ値を割り当てる、及び／又は、平面イントラ符号化モードにより、それぞれのブロックの予測信号が、隣接サンプルに基づく２次元線形関数によって定義された傾斜及びオフセットでそれぞれのブロックのサンプル位置にわたる２次元線形関数により記述されるサンプル値の空間分布になるように近似又は決定される。
代替的又は追加的に、イントラ予測モードは、使用するパッチの明示的又は暗黙的な指示と共にイントラパターン検索（予測子と同じものを用いて現在の画像の既に処理された部分内にパッチを配置する）を使用し、イントラ予測では、ニューラルネットワークの使用などの直接変換ドメインで、及び／又は直接変換ドメインで隣接残差ブロックからの予測変換係数で、予測子が提供される。
比較して、インター予測モードによれば、ブロックの予測信号は、例えば、ブロック内部を時間的に予測することによって取得することができる。
インター予測モードのパラメータ化のために、運動ベクトルは、データストリーム内で信号化され得、運動ベクトルは、前に符号化／復号された画像が、それぞれのブロックの予測信号を取得するためにサンプリングされる、ビデオ１１の、前に符号化された画像部分の空間変位を示す。
つまり、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化変換係数レベルなどのデータストリーム１４に含まれる残差信号符号化に加えて、データストリーム１４は、ブロック予測モードに割り当てるための予測関連パラメータ、イントラ予測モード用の運動パラメータなどの割り当てられた予測モードの予測パラメータ、及び任意選択で、割り当てられた予測モード及び予測パラメータを用いてブロックの最終予測信号の構成を制御する追加パラメータに符号化され得ることを意味する。
更に、データストリームは、画像１２及び１２’のブロックへの細分割をそれぞれ制御及び信号伝達するパラメータを含むことができる。
デコーダ２０は、これらのパラメータを用いて、エンコーダが行ったのと同じ方法で画像を細分割し、同じ予測モード及びパラメータをブロックに割り当て、同じ予測を実行して同じ予測信号をもたらす。
以下でより詳細に説明するように、エンコーダ１０及びデコーダ２０、並びにそれぞれのモジュール４４、５８は、イントラ符号化モード及びインター符号化モードなどの異なる予測モードをサポートする。
エンコーダとデコーダがこれらの予測モードを切り替える粒度は、画像１２及び１２’のブロックへの細分割に対応してもよい。
なお、これらのブロックのいくつかは、イントラ符号化されるだけのブロックであってもよく、いくつかのブロックは、インター符号化されるだけのブロックであってもよく、任意選択で、更に別のブロックは、イントラ符号化及びインター符号化の両方を用いて得られるブロックであってもよい。
イントラ符号化モードによれば、ブロックの予測信号は、それぞれのブロックの空間的に既に符号化／復号された隣接部に基づいて取得される。
いくつかのイントラ符号化サブモードが存在する可能性があり、その中の選択は、いわば、一種のイントラ予測パラメータを表す。
それぞれの方向性イントラ符号化サブモードに固有の特定の方向に沿って隣接のサンプル値をそれぞれのブロックに外挿することによって、それぞれのブロックの予測信号が満たされる方向性又は角度イントラ符号化サブモードがあり得る。
イントラ符号化サブモードは、例えば、ＤＣ符号化モードなどの１つ以上の更なるサブモードを含んでもよく、これにより、それぞれのブロックの予測信号が、それぞれのブロック内の全サンプルにＤＣ値を割り当てる、及び／又は、平面イントラ符号化モードにより、それぞれのブロックの予測信号が、隣接サンプルに基づく２次元線形関数によって定義された傾斜及びオフセットでそれぞれのブロックのサンプル位置にわたる２次元線形関数により記述されるサンプル値の空間分布になるように近似又は決定される。
代替的又は追加的に、イントラ予測モードは、使用するパッチの明示的又は暗黙的な指示と共にイントラパターン検索（予測子と同じものを用いて現在の画像の既に処理された部分内にパッチを配置する）を使用し、イントラ予測では、ニューラルネットワークの使用などの直接変換ドメインで、及び／又は直接変換ドメインで隣接残差ブロックからの予測変換係数で、予測子が提供される。
比較して、インター予測モードによれば、ブロックの予測信号は、例えば、ブロック内部を時間的に予測することによって取得することができる。
インター予測モードのパラメータ化のために、運動ベクトルは、データストリーム内で信号化され得、運動ベクトルは、前に符号化／復号された画像が、それぞれのブロックの予測信号を取得するためにサンプリングされる、ビデオ１１の、前に符号化された画像部分の空間変位を示す。
つまり、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化変換係数レベルなどのデータストリーム１４に含まれる残差信号符号化に加えて、データストリーム１４は、ブロック予測モードに割り当てるための予測関連パラメータ、イントラ予測モード用の運動パラメータなどの割り当てられた予測モードの予測パラメータ、及び任意選択で、割り当てられた予測モード及び予測パラメータを用いてブロックの最終予測信号の構成を制御する追加パラメータに符号化され得ることを意味する。
更に、データストリームは、画像１２及び１２’のブロックへの細分割をそれぞれ制御及び信号伝達するパラメータを含むことができる。
デコーダ２０は、これらのパラメータを用いて、エンコーダが行ったのと同じ方法で画像を細分割し、同じ予測モード及びパラメータをブロックに割り当て、同じ予測を実行して同じ予測信号をもたらす。
【0035】
図５は、一方では、再構成された信号、すなわち再構成画像１２’と、他方ではデータストリームで送られる予測残差信号２４’’’’及び予測信号２６の組み合わせとの間の関係を示す。
上述したように、組み合わせは加算であってもよい。
予測信号２６は、画像領域を様々なサイズのブロック８０に細分割したものとして図５に示されているが、これは単なる例である。
細分割は、ブロックの行及び列への画像領域の規則的細分割、又は四分木細分割のような様々なサイズのリーフブロックへの画像１２のマルチツリー細分割などの任意の細分割であり得、それらの混合が図５に示されており、画像領域は、最初にツリールートブロックの行及び列に細分され、次に、再帰的マルチツリー細分割に従って更に細分割されて、最終的にブロック８０になる。
上述したように、組み合わせは加算であってもよい。
予測信号２６は、画像領域を様々なサイズのブロック８０に細分割したものとして図５に示されているが、これは単なる例である。
細分割は、ブロックの行及び列への画像領域の規則的細分割、又は四分木細分割のような様々なサイズのリーフブロックへの画像１２のマルチツリー細分割などの任意の細分割であり得、それらの混合が図５に示されており、画像領域は、最初にツリールートブロックの行及び列に細分され、次に、再帰的マルチツリー細分割に従って更に細分割されて、最終的にブロック８０になる。
【0036】
図５の予測残差信号２４’’’’はまた、画像領域のブロック８４への再分割として示されている。
これらのブロックは、符号化ブロック８０と区別するために、変換ブロックと呼ばれることがある。
事実上、図５は、エンコーダ１０及びデコーダ２０がそれぞれ、画像１２及び画像１２’のブロックへの２つの異なる細分割、すなわち、符号化ブロック８０への細分割と、ブロック８４への再分割を使用できることを示している。
両方の細分割は同じである可能性があり、すなわち、各ブロック８０は、同時に変換ブロック８４を形成し得、逆もまた同様であるが、図５は、例えば、変換ブロック８４への細分割がブロック８０への細分割の拡張を形成する結果、２つのブロック８０間の任意の境界が２つのブロック８４間の境界に重なる、あるいは別の言い方をすれば、各ブロック８０が、変換ブロック８４の１つと一致する、又は変換ブロック８４のクラスタと一致する場合を示す。
しかしながら、細分割はまた、変換ブロック８４がブロック８０間のブロック境界を交互に横切ることができるように、互いに独立して決定又は選択することもできる。
変換ブロック８４への細分割に関する限り、ブロック８０への細分割に関して提示されたものと同様の陳述が当てはまる。
すなわち、ブロック８４は、行列で配置された画像領域のブロックへの規則的細分割の結果、画像領域の再帰的マルチツリー細分割の結果、又はそれらの組み合わせ、又はその他の種類の分割であってもよい。
なお、ブロック８０及び８４は、正方形、長方形、又はその他の形状に限定されない。
更に、現在の画像１２を予測信号が形成されるブロック８０に再分割すること、及び現在の画像１２を予測残差が符号化されるブロック８４に再分割することは、符号化／復号に使用される唯一の細分割でなくてもよい。
これらの再分割は、予測信号決定及び残差符号化が実行される粒度を形成するが、これらの再分割以外の粒度でも、エンコーダ及びデコーダは、予測パラメータなどの前述のパラメータのいくつかを含み得る特定の符号化パラメータを設定し得る。
これらのブロックは、符号化ブロック８０と区別するために、変換ブロックと呼ばれることがある。
事実上、図５は、エンコーダ１０及びデコーダ２０がそれぞれ、画像１２及び画像１２’のブロックへの２つの異なる細分割、すなわち、符号化ブロック８０への細分割と、ブロック８４への再分割を使用できることを示している。
両方の細分割は同じである可能性があり、すなわち、各ブロック８０は、同時に変換ブロック８４を形成し得、逆もまた同様であるが、図５は、例えば、変換ブロック８４への細分割がブロック８０への細分割の拡張を形成する結果、２つのブロック８０間の任意の境界が２つのブロック８４間の境界に重なる、あるいは別の言い方をすれば、各ブロック８０が、変換ブロック８４の１つと一致する、又は変換ブロック８４のクラスタと一致する場合を示す。
しかしながら、細分割はまた、変換ブロック８４がブロック８０間のブロック境界を交互に横切ることができるように、互いに独立して決定又は選択することもできる。
変換ブロック８４への細分割に関する限り、ブロック８０への細分割に関して提示されたものと同様の陳述が当てはまる。
すなわち、ブロック８４は、行列で配置された画像領域のブロックへの規則的細分割の結果、画像領域の再帰的マルチツリー細分割の結果、又はそれらの組み合わせ、又はその他の種類の分割であってもよい。
なお、ブロック８０及び８４は、正方形、長方形、又はその他の形状に限定されない。
更に、現在の画像１２を予測信号が形成されるブロック８０に再分割すること、及び現在の画像１２を予測残差が符号化されるブロック８４に再分割することは、符号化／復号に使用される唯一の細分割でなくてもよい。
これらの再分割は、予測信号決定及び残差符号化が実行される粒度を形成するが、これらの再分割以外の粒度でも、エンコーダ及びデコーダは、予測パラメータなどの前述のパラメータのいくつかを含み得る特定の符号化パラメータを設定し得る。
【0037】
図５は、予測信号２６と予測残差信号２４’’’’の組み合わせが、再構成信号１２’を直接もたらすことを示す。
しかしながら、例えば、別のＤＰＢを有する別の予測ループで符号化／復号される他の図面又は他の符号化層から得られる予測信号など、代替の実施形態に従って、２つ以上の予測信号２６を予測残差信号２４’’’’と組み合わせて、画像１２’をもたらすことができることに留意されたい。
しかしながら、例えば、別のＤＰＢを有する別の予測ループで符号化／復号される他の図面又は他の符号化層から得られる予測信号など、代替の実施形態に従って、２つ以上の予測信号２６を予測残差信号２４’’’’と組み合わせて、画像１２’をもたらすことができることに留意されたい。
【0038】
図５において、変換ブロック８４は、以下の意味を有するものとする。
変換器２８及び逆変換器５４は、これらの変換ブロック８４単位で変換を実行する。
例えば、多くのコーデックは、全ての変換ブロック８４に対して何らかの種類のＤＳＴ又はＤＣＴを使用する。
いくつかのコーデックは変換のスキップを可能にするので、いくつかの変換ブロック８４に関して、予測残差信号は空間領域に直接符号化される。
しかしながら、後述の実施形態によれば、エンコーダ１０及びデコーダ２０は、いくつかの変換をサポートするように構成される。
例えば、エンコーダ１０及びデコーダ２０によってサポートされる変換は、
ＤＣＴ－ＩＩ（又はＤＣＴ－ＩＩＩ）、ここで、ＤＣＴは離散コサイン変換の略であり、すなわち、ＤＳＴ－ＩＶ、ＤＳＴは離散サイン変換の略であり、ＤＣＴ－ＩＶ、ＤＳＴ－ＶＩＩ、恒等変換（ＩＴ）を含むことができる。
変換器２８及び逆変換器５４は、これらの変換ブロック８４単位で変換を実行する。
例えば、多くのコーデックは、全ての変換ブロック８４に対して何らかの種類のＤＳＴ又はＤＣＴを使用する。
いくつかのコーデックは変換のスキップを可能にするので、いくつかの変換ブロック８４に関して、予測残差信号は空間領域に直接符号化される。
しかしながら、後述の実施形態によれば、エンコーダ１０及びデコーダ２０は、いくつかの変換をサポートするように構成される。
例えば、エンコーダ１０及びデコーダ２０によってサポートされる変換は、
ＤＣＴ－ＩＩ（又はＤＣＴ－ＩＩＩ）、ここで、ＤＣＴは離散コサイン変換の略であり、すなわち、ＤＳＴ－ＩＶ、ＤＳＴは離散サイン変換の略であり、ＤＣＴ－ＩＶ、ＤＳＴ－ＶＩＩ、恒等変換（ＩＴ）を含むことができる。
【0039】
当然ながら、変換器２８がこれらの変換の全ての順方向変換バージョンをサポートする一方、デコーダ２０又は逆変換器５４は以下の対応する逆方向又は逆バージョン、すなわち、逆ＤＣＴ－ＩＩ（又は逆ＤＣＴ－ＩＩＩ）、逆ＤＳＴ－ＩＶ、逆ＤＣＴ－ＩＶ、逆ＤＳＴ－ＶＩＩ、恒等変換（ＩＴ）をサポートする。
【0040】
いずれの場合でも、サポートされる変換のセットは、スペクトル－空間変換や空間－スペクトル変換など、一方の変換のみを含み得ることに留意されたい。
【0041】
既に概説したように、図３～図５は、本出願によるビデオエンコーダ及びデコーダの特定の例を形成するために、以下で更に説明する実施形態を実行できる例として提示されている。
これまでのところ、図３及び４のビデオエンコーダ及びデコーダはそれぞれ、本明細書で後述するビデオエンコーダ及びデコーダの可能な実装を表す。
ただし、これらは単なる代表例である。
ブロック８０へのブロック細分割に関して、同じことが、図５を参照して概説された方法又はそれとは異なる方法で行われ得ることに留意されたい。
変換ブロックへの細分割が存在する場合は、図５を参照して説明したように、又は別の方法で行うこともできる。
特に、一方ではブロックへの細分割、他方では変換ブロックなどの他のブロックへの細分割は、画像１２をこれらのブロックにそれぞれ別々に細分割することによって互いに独立して、又は依存的に行うことができる。
例えば、変換ブロックへの細分割などの一方の細分割が、上記のように他方の細分割の拡張を形成することができる、又は両方の細分割が、例えば、図５を参照して説明したような画像のツリールートブロック８６への細分割など、共通の一次細分割の別々の拡張を形成することができる。
そして、そのような可能性は、特定の予測パラメータや予測モードなどの定義に関してなど、以下で説明する他のサブ画像の粒度にも当てはまる。
異なる細分割をこれらのエンティティの異なるエンティティに使用することができ、それらの細分割は、互いに独立して、部分的に独立して、又は互いからの拡張として定義することができる。
とはいえ、以下の説明は、図３～図５を参照してこれまで説明されていないこと、すなわち、以下に説明する各種実施形態に係るビデオエンコーダ及びビデオデコーダに実装される機能及び符号化ツールに焦点を当てている。
これらの符号化ツールは、各実施形態で同時に様々な態様に従ってビデオエンコーダ及びビデオデコーダに実装される必要がないため、符号化ツールとその細部は特定の実施形態に関して以下に説明する。
これまでのところ、図３及び４のビデオエンコーダ及びデコーダはそれぞれ、本明細書で後述するビデオエンコーダ及びデコーダの可能な実装を表す。
ただし、これらは単なる代表例である。
ブロック８０へのブロック細分割に関して、同じことが、図５を参照して概説された方法又はそれとは異なる方法で行われ得ることに留意されたい。
変換ブロックへの細分割が存在する場合は、図５を参照して説明したように、又は別の方法で行うこともできる。
特に、一方ではブロックへの細分割、他方では変換ブロックなどの他のブロックへの細分割は、画像１２をこれらのブロックにそれぞれ別々に細分割することによって互いに独立して、又は依存的に行うことができる。
例えば、変換ブロックへの細分割などの一方の細分割が、上記のように他方の細分割の拡張を形成することができる、又は両方の細分割が、例えば、図５を参照して説明したような画像のツリールートブロック８６への細分割など、共通の一次細分割の別々の拡張を形成することができる。
そして、そのような可能性は、特定の予測パラメータや予測モードなどの定義に関してなど、以下で説明する他のサブ画像の粒度にも当てはまる。
異なる細分割をこれらのエンティティの異なるエンティティに使用することができ、それらの細分割は、互いに独立して、部分的に独立して、又は互いからの拡張として定義することができる。
とはいえ、以下の説明は、図３～図５を参照してこれまで説明されていないこと、すなわち、以下に説明する各種実施形態に係るビデオエンコーダ及びビデオデコーダに実装される機能及び符号化ツールに焦点を当てている。
これらの符号化ツールは、各実施形態で同時に様々な態様に従ってビデオエンコーダ及びビデオデコーダに実装される必要がないため、符号化ツールとその細部は特定の実施形態に関して以下に説明する。
【0042】
ここで最初に説明する一実施形態は、本出願の第１の態様に関し、ビデオエンコーダ及びビデオデコーダが、特定の画像をデータストリーム１４に記述する符号化データのストライプ式エントロピー符号化を使用するビデオコーデックに関する。
以下に説明する第１の態様に関して、本出願の実施形態によりビデオエンコーダ及びビデオデコーダによって使用されるフレームワーク又は概念を説明するために、図６を参照する。
図６は、符号化されるビデオ１１の画像１２を示し、図６に示すように、画像１２は、ストライプ９０ａ、９０ｂ、及び９０ｃに分割される。ストライプの数は重要ではない。
ストライプ９０ａ～９０ｃは、図５で導入されたようなツリールートブロックの行によって形成することができる。すなわち、ストライプ９０ａ～９０ｃは、画像１２を分割し、相互に平行に画像１２を横切る。
ストライプ９０ａ～９０ｃの意義は次のとおりである。ブロックベース符号化を使用することにより、画像１２は符号化データに符号化される。
符号化手順は、矢印９２を用いて図６に示されている。
符号化データは、参照記号９４を用いて図６に示され、画像１２の画像領域に対応するように配置されるとして示されている。
符号化９２はブロックベースであるため、符号化データ９４は、符号化ブロック８０及び／又は変換ブロック８４などのロック９６単位で画像１２を記述する。
したがって、符号化データ９４は、画像１２に対してある種の空間的関連性を有する。
符号化データ９４は、例えば、それぞれが特定のブロック又は部分に関連する画像１２を記述する構文要素の集合であってもよい。
符号化データ９４は、上記のように、変換係数、予測パラメータ、及び予測モードなどの残差サンプル値を含み得る。
以下に説明する第１の態様に関して、本出願の実施形態によりビデオエンコーダ及びビデオデコーダによって使用されるフレームワーク又は概念を説明するために、図６を参照する。
図６は、符号化されるビデオ１１の画像１２を示し、図６に示すように、画像１２は、ストライプ９０ａ、９０ｂ、及び９０ｃに分割される。ストライプの数は重要ではない。
ストライプ９０ａ～９０ｃは、図５で導入されたようなツリールートブロックの行によって形成することができる。すなわち、ストライプ９０ａ～９０ｃは、画像１２を分割し、相互に平行に画像１２を横切る。
ストライプ９０ａ～９０ｃの意義は次のとおりである。ブロックベース符号化を使用することにより、画像１２は符号化データに符号化される。
符号化手順は、矢印９２を用いて図６に示されている。
符号化データは、参照記号９４を用いて図６に示され、画像１２の画像領域に対応するように配置されるとして示されている。
符号化９２はブロックベースであるため、符号化データ９４は、符号化ブロック８０及び／又は変換ブロック８４などのロック９６単位で画像１２を記述する。
したがって、符号化データ９４は、画像１２に対してある種の空間的関連性を有する。
符号化データ９４は、例えば、それぞれが特定のブロック又は部分に関連する画像１２を記述する構文要素の集合であってもよい。
符号化データ９４は、上記のように、変換係数、予測パラメータ、及び予測モードなどの残差サンプル値を含み得る。
【0043】
符号化データ９４は、エントロピー符号化９８を用いてデータストリーム１４にエントロピー符号化される。
しかし、このエントロピー符号化は一気には実行されない。
すなわち、符号化データ９８は、ストライプ９０ａ～９０ｃに沿ったコンテキスト適応型エントロピー符号化を用いて、ビデオエンコーダによってデータストリーム１４に符号化される。
すなわち、特定のストライプに関連する符号化データ９４は、データストリームに別個に符号化されることによって、ＷＰＰサブストリームと呼ばれてもよく、ストライプ９０ａ～９０ｃ毎のサブストリームを形成する。
この目的のために、各ストライプ９０ａ～９０ｃについて、コンテキストエントロピー確率、及び任意選択で、算術符号化を使用する場合の確率区間パラメータなどの内部状態が、ストライプ９０ａ～９０ｃの始点１００ａ、１００ｂ、及び１００ｃで初期化され、始点１００ｉからその終点（図６では、図１２の右側）までそれぞれのストライプを符号化する間に、実際の統計値に適合されて、主に符号化データの実際の値に従って更新される。
言い換えれば、ストライプ９０ａに関連する符号化データ９４の部分は、始点１００ａからある終点１０２ａまでエントロピー符号化され、始点１００ａではコンテキスト初期化、及び始点１００ａから終点１０２ａでは連続的なコンテキスト更新又は適応が行われる。
同様に、ストライプ９０ｂに関する符号化データ９４は、始点１００ｂから終点１０２ｂまでエントロピー符号化され９８、始点１００ｂではコンテキスト初期化及び終点１０２ｂに向かう符号化中は連続的なコンテキスト適応が行われ、同じことが他のストライプ、ここではストライプ９０ｃにも当てはまる。
復号は、同じコンテキストが導出されて、同じ初期化が実行される際に、同じように実行される。
しかし、このエントロピー符号化は一気には実行されない。
すなわち、符号化データ９８は、ストライプ９０ａ～９０ｃに沿ったコンテキスト適応型エントロピー符号化を用いて、ビデオエンコーダによってデータストリーム１４に符号化される。
すなわち、特定のストライプに関連する符号化データ９４は、データストリームに別個に符号化されることによって、ＷＰＰサブストリームと呼ばれてもよく、ストライプ９０ａ～９０ｃ毎のサブストリームを形成する。
この目的のために、各ストライプ９０ａ～９０ｃについて、コンテキストエントロピー確率、及び任意選択で、算術符号化を使用する場合の確率区間パラメータなどの内部状態が、ストライプ９０ａ～９０ｃの始点１００ａ、１００ｂ、及び１００ｃで初期化され、始点１００ｉからその終点（図６では、図１２の右側）までそれぞれのストライプを符号化する間に、実際の統計値に適合されて、主に符号化データの実際の値に従って更新される。
言い換えれば、ストライプ９０ａに関連する符号化データ９４の部分は、始点１００ａからある終点１０２ａまでエントロピー符号化され、始点１００ａではコンテキスト初期化、及び始点１００ａから終点１０２ａでは連続的なコンテキスト更新又は適応が行われる。
同様に、ストライプ９０ｂに関する符号化データ９４は、始点１００ｂから終点１０２ｂまでエントロピー符号化され９８、始点１００ｂではコンテキスト初期化及び終点１０２ｂに向かう符号化中は連続的なコンテキスト適応が行われ、同じことが他のストライプ、ここではストライプ９０ｃにも当てはまる。
復号は、同じコンテキストが導出されて、同じ初期化が実行される際に、同じように実行される。
【0044】
以下に説明する実施形態が関係する具体的な問題は、始点１００ａ及び１００ｃでのコンテキスト初期化に関する。
１つのオプションは、符号化順序、同じ画像１２の先行するストライプ、又は前に符号化／復号された画像のコンテキスト更新／適応に関係なく、又はそれとは独立して、各ストライプ９０ａ～９０ｃに対してデフォルトの方法で新たにコンテキスト初期化を実行することであろう。
上述したように、これは、スライス量子化パラメータなどのそれぞれのストライプ９０ａ～９０ｃに関連付けられた量子化パラメータに応じて、デフォルトのコンテキストエントロピー確率を選択することによって行うことができる。
後で説明するように、この初期化方法は、ここで説明するモードに加えて、コンテキスト初期化のための１つのモードを更に形成する場合がある。
例えば、ＨＥＶＣにおいて選択される別のオプションは、始点と終点の間のどこかの中間点までの同じ画像の直前ストライプに関して更新されたコンテキストエントロピー確率の状態に基づいて、例えば上から下への符号化順序で、任意の２番目又は以後のストライプのコンテキストエントロピー確率を初期化することである。
したがって、各画像のストライプの初期化は、他の画像のストライプのコンテキストエントロピー確率とは無関係に行われる。
後述するように、この初期化方法は、現在説明されているものに加えて、コンテキスト初期化のための１つのモードを依然として形成する場合もある。
１つのオプションは、符号化順序、同じ画像１２の先行するストライプ、又は前に符号化／復号された画像のコンテキスト更新／適応に関係なく、又はそれとは独立して、各ストライプ９０ａ～９０ｃに対してデフォルトの方法で新たにコンテキスト初期化を実行することであろう。
上述したように、これは、スライス量子化パラメータなどのそれぞれのストライプ９０ａ～９０ｃに関連付けられた量子化パラメータに応じて、デフォルトのコンテキストエントロピー確率を選択することによって行うことができる。
後で説明するように、この初期化方法は、ここで説明するモードに加えて、コンテキスト初期化のための１つのモードを更に形成する場合がある。
例えば、ＨＥＶＣにおいて選択される別のオプションは、始点と終点の間のどこかの中間点までの同じ画像の直前ストライプに関して更新されたコンテキストエントロピー確率の状態に基づいて、例えば上から下への符号化順序で、任意の２番目又は以後のストライプのコンテキストエントロピー確率を初期化することである。
したがって、各画像のストライプの初期化は、他の画像のストライプのコンテキストエントロピー確率とは無関係に行われる。
後述するように、この初期化方法は、現在説明されているものに加えて、コンテキスト初期化のための１つのモードを依然として形成する場合もある。
【0045】
以下で更に説明する実施形態は、更に一歩進んで、前に符号化／復号された画像の同じ場所に配置されたストライプに適合／更新されたコンテキストエントロピー確率に基づいて、特定の画像１２の符号化順序における最初のものを含む各ストライプに関するコンテキストエントロピー確率の初期化を可能にし、その詳細については、以下で説明する。
【0046】
しかし、その前に、図６の符号化／復号概念は、ＷＰＰ処理をサポートように実行され得ることに留意されたい。例えば、エントロピー符号化９８は、現在のストライプの現在のエントロピー符号化部分１０６の隣接空間１０４に依存するようにコンテキスト選択又はコンテキストモデル化が実行される方法で実行することができる。
隣接空間１０４は、現在のエントロピー符号化ブロック１０６に配置され、例えば符号化順序の先行している部分など、現在処理される、すなわち現在符号化／復号される同じ画像の他のストライプの部分が、隣接空間１０４よりもそれぞれの終点に近い限り、符号化順序において直前のものなどの隣接又は他のストライプに延在する空間テンプレートのようなものであり、ストライプの並列処理、すなわち、並列符号化／復号は、隣接空間１０４内の符号化データの可用性を侵害することなく実行可能であり、これに基づき、現在のストライプの現在のエントロピー符号化部分１０６のコンテキストが決定される。
隣接空間１０４の空間コンテキスト導出範囲の空間的制限は、また、図６の矢印１０８によって示されるエントロピー復号手順の並列実装を可能にする。
隣接空間１０４は、現在のエントロピー符号化ブロック１０６に配置され、例えば符号化順序の先行している部分など、現在処理される、すなわち現在符号化／復号される同じ画像の他のストライプの部分が、隣接空間１０４よりもそれぞれの終点に近い限り、符号化順序において直前のものなどの隣接又は他のストライプに延在する空間テンプレートのようなものであり、ストライプの並列処理、すなわち、並列符号化／復号は、隣接空間１０４内の符号化データの可用性を侵害することなく実行可能であり、これに基づき、現在のストライプの現在のエントロピー符号化部分１０６のコンテキストが決定される。
隣接空間１０４の空間コンテキスト導出範囲の空間的制限は、また、図６の矢印１０８によって示されるエントロピー復号手順の並列実装を可能にする。
【0047】
同様に、符号化手順９２は、現在の符号化部分１１０に対する隣接空間１１２に基づいて、現在の符号化部分１１０の空間予測を含み得る。
コンテキスト導出領域１０４と同様に、予測ソース領域１１２は、現在のストライプに対して１つ以上の隣接ストライプに拡張することができ、他のストライプの現在の処理部分が領域１１２よりも終点に近い限り、現在のストライプの現在の部分１１０の予測用ソースとして使用されるデータの可用性が満たされる。
空間予測は、サンプルの予測又は符号化パラメータの予測に関係する場合もある。
よって、領域１０４及び１１２の結合の拡張は、インターストライプ符号化オフセット／復号オフセットが上述の空間イントラ画像符号化依存性範囲に重複しない限り、符号化９２及びエントロピー符号化９８と、対応する復号手順１０８及び１１４との並列実施を可能にする空間イントラ予測符号化依存性範囲を定義する。
コンテキスト導出領域１０４と同様に、予測ソース領域１１２は、現在のストライプに対して１つ以上の隣接ストライプに拡張することができ、他のストライプの現在の処理部分が領域１１２よりも終点に近い限り、現在のストライプの現在の部分１１０の予測用ソースとして使用されるデータの可用性が満たされる。
空間予測は、サンプルの予測又は符号化パラメータの予測に関係する場合もある。
よって、領域１０４及び１１２の結合の拡張は、インターストライプ符号化オフセット／復号オフセットが上述の空間イントラ画像符号化依存性範囲に重複しない限り、符号化９２及びエントロピー符号化９８と、対応する復号手順１０８及び１１４との並列実施を可能にする空間イントラ予測符号化依存性範囲を定義する。
【0048】
図７を参照して、一実施形態に係るビデオエンコーダ及びビデオデコーダが説明され、これらは、図３から図５に関して図示及び説明されるように実装され得る、又は異なる風に実装され得る。
いずれの場合も、ビデオエンコーダとビデオデコーダは、図６を参照して説明した機能、つまり、ＷＰＰ対応符号化／復号をサポートする。
言い換えると、ビデオ符号化は、ストライプに関してビデオ符号化とビデオ復号を並列に実行できるように行われる。
言い換えれば、ビデオ符号化は、ストライプ９０ａ～９０ｃの同時処理部分が何らかのインターストライプ符号化オフセットに従う限り、領域１０４及び１１２は別の領域の現在処理される部分を超えて拡張することや覆うことがないように行われる。
むしろ、後者の領域は、他のストライプの現在処理される部分の周りに広がる領域の前方を延びる。
しかしながら、代替の実施形態によれば、ビデオデータ９４の符号化は、例えば、並列処理を可能にしない方法で行われることに留意されたい。
更に、領域１０４に関して図６で説明されるようなコンテキストの空間的導出は、必ずしも使用されない場合がある。
図６の実施形態がこの状況に関して完全に説明されているとしても、図７を参照して説明された実施形態に係るビデオエンコーダもビデオデコーダも実際に並列処理を実行する必要がないという事実に特に留意されたい。
ビデオエンコーダは、ストライプに関して逐次符号化を実行することによって、ＷＰＰ処理だけでなくストライプの逐次処理を用いて復号可能なデータストリーム１４を形成することができる。
いずれの場合も、ビデオエンコーダとビデオデコーダは、図６を参照して説明した機能、つまり、ＷＰＰ対応符号化／復号をサポートする。
言い換えると、ビデオ符号化は、ストライプに関してビデオ符号化とビデオ復号を並列に実行できるように行われる。
言い換えれば、ビデオ符号化は、ストライプ９０ａ～９０ｃの同時処理部分が何らかのインターストライプ符号化オフセットに従う限り、領域１０４及び１１２は別の領域の現在処理される部分を超えて拡張することや覆うことがないように行われる。
むしろ、後者の領域は、他のストライプの現在処理される部分の周りに広がる領域の前方を延びる。
しかしながら、代替の実施形態によれば、ビデオデータ９４の符号化は、例えば、並列処理を可能にしない方法で行われることに留意されたい。
更に、領域１０４に関して図６で説明されるようなコンテキストの空間的導出は、必ずしも使用されない場合がある。
図６の実施形態がこの状況に関して完全に説明されているとしても、図７を参照して説明された実施形態に係るビデオエンコーダもビデオデコーダも実際に並列処理を実行する必要がないという事実に特に留意されたい。
ビデオエンコーダは、ストライプに関して逐次符号化を実行することによって、ＷＰＰ処理だけでなくストライプの逐次処理を用いて復号可能なデータストリーム１４を形成することができる。
【0049】
図７の実施形態によれば、ビデオエンコーダ及びビデオデコーダの両方は、後述するように、特定のバッファリング点までの適応から生じるコンテキストエントロピー確率の状態をバッファリングするためのバッファ１２０を備える。
バッファ状態１２２は、現在の処理画像１２のストライプ９０ａ～９０ｃのコンテキストエントロピー確率を初期化するために使用される、最終の適用状態の一種のリザーバ又はプールを形成する。
特に、現在の処理画像１２と、前に処理された、すなわち、前に符号化／復号された画像１２’とを示す図７を参照されたい。
図６を参照して説明したように、画像１２’のストライプ９０ａ～９０ｃのエントロピー符号化／復号は、共通の符号化方向に沿ってそれぞれの始点１００ａ～１００ｃから終点１０２ａ～１０２ｃまで、すなわち図７の例では左から右に行われる。
その間に、前述のバッファリング点１２４ａ～１２４ｃが存在する。
したがって、始点１００ａ～１００ｃで初期化されたコンテキストエントロピー確率の状態は、画像１２’の実際の画像コンテキストに従って継続的に更新／適応され、バッファリング点１２４ａ～１２４ｃで生じる中間状態は、図７の実施形態に従ってバッファリングされた状態である。
したがって、これらはコンテキスト確率の一種のスナップショットを形成する。
以下の説明から明らかなように、バッファリング点１２４ａ～１２４ｃまでに現れるようなコンテキストエントロピー確率の中間状態は、ビデオ１１の各画像のエンコーダ及びデコーダでバッファ１２０にバッファリングされる必要はない。
例えば、一部の画像、つまり特定の時間レベルの画像の場合、バッファリングがスキップされることがある。
しかしながら、これは、現在説明されている実施形態については役割を果たさない可能性があるため、詳細はさしあたり省略する。
画像１２’の各スライス９０ａ～９０ｃをエントロピー符号化する際に現れる状態１２２は、様々なストライプ位置のストライプに由来する状態１２２間を区別するようにバッファ１２０にバッファリングすることができる。
図７に示すように、ビデオ１１の画像１２及び１２’は同じようにストライプ９０ａ～９０ｃに分割されるため、ストライプは互いに同じ場所に配置され、画像１２の各ストライプ９０は、画像１２’の同じストライプＩＤのストライプと同じ場所に配置される。
図７は、バッファリング状態１２０が、ストライプＩＤ毎に、言い換えればストライプ位置毎にバッファ１２０にバッファリングされるストライプＩＤ認識バッファリングを示す。
つまり、バッファ状態がテーブルでバッファリングされている。
バッファ１２０へのバッファリングは、バッファ１２０が、ストライプＩＤ毎に、最終バッファ状態１２０のみを格納するように行うことができる。
つまり、ストリップＩＤで、及び任意選択で後述する１つ以上の基準で、新しいバッファ状態に対応する古い状態が、新しいバッファ状態に置き換えられる。
別の基準に関して、図７は、バッファ状態１２０が、関連する量子化パラメータに従って更に区別され得ることを例示的に示している。
他の基準は、スライスタイプ、すなわち、それぞれのストライプ又は時間レベルに関連付けられた予測モードのタイプ（イントラモードのみ、又はイントラモード及びインターモード）に関係し得る。
より正確には、符号化データを符号化／復号するために使用され、次にバッファリング点１２４ａ～１２４ｃまでのコンテキスト更新／適応中にエントロピー符号化／復号されたＱＰが、属するストライプＩＤによる状態１２２の区別に加えて、エントロピー符号化から生じるバッファ状態１２０を区別するためにも使用される。
したがって、可能な量子化パラメータＱＰ１、ＱＰ２．．．のうちの関連するストライプＩＤ及び量子化パラメータＱＰの特定ペアの状態１２２が、ストライプＩＤ及び量子化パラメータＱＰの同じペアの、前のバッファ状態１２２を置き換える又は更新する。
ストライプＩＤと１つ以上の基準の他の組み合わせも実行可能である。
ＱＰ認識は、破線を用いて図７に示されている。
したがって、前述のＱＰとして、スライスＱＰを使用することができる。
スライスＱＰは、画像の大部分、つまりストライプ全体などのスライスに割り当てられる。
しかしながら、レート制御、すなわち、ブロック内で局所的に変動するＱＰと組み合わせて、例えば、格納位置又はバッファリング点１２４ａ～１２４ｃでのｑｐは、代替的に、異なるＱＰ間を区別するようにバッファ内のコンテキスト状態のバッファリングを格納するために使用することができる。
次に、始点１００ａ～１００ｃでのロード又はコンテキスト更新のために、それぞれのストライプの最初のブロックのスライスＱＰ又はローカルＱＰを使用することができる。
バッファ状態１２２は、現在の処理画像１２のストライプ９０ａ～９０ｃのコンテキストエントロピー確率を初期化するために使用される、最終の適用状態の一種のリザーバ又はプールを形成する。
特に、現在の処理画像１２と、前に処理された、すなわち、前に符号化／復号された画像１２’とを示す図７を参照されたい。
図６を参照して説明したように、画像１２’のストライプ９０ａ～９０ｃのエントロピー符号化／復号は、共通の符号化方向に沿ってそれぞれの始点１００ａ～１００ｃから終点１０２ａ～１０２ｃまで、すなわち図７の例では左から右に行われる。
その間に、前述のバッファリング点１２４ａ～１２４ｃが存在する。
したがって、始点１００ａ～１００ｃで初期化されたコンテキストエントロピー確率の状態は、画像１２’の実際の画像コンテキストに従って継続的に更新／適応され、バッファリング点１２４ａ～１２４ｃで生じる中間状態は、図７の実施形態に従ってバッファリングされた状態である。
したがって、これらはコンテキスト確率の一種のスナップショットを形成する。
以下の説明から明らかなように、バッファリング点１２４ａ～１２４ｃまでに現れるようなコンテキストエントロピー確率の中間状態は、ビデオ１１の各画像のエンコーダ及びデコーダでバッファ１２０にバッファリングされる必要はない。
例えば、一部の画像、つまり特定の時間レベルの画像の場合、バッファリングがスキップされることがある。
しかしながら、これは、現在説明されている実施形態については役割を果たさない可能性があるため、詳細はさしあたり省略する。
画像１２’の各スライス９０ａ～９０ｃをエントロピー符号化する際に現れる状態１２２は、様々なストライプ位置のストライプに由来する状態１２２間を区別するようにバッファ１２０にバッファリングすることができる。
図７に示すように、ビデオ１１の画像１２及び１２’は同じようにストライプ９０ａ～９０ｃに分割されるため、ストライプは互いに同じ場所に配置され、画像１２の各ストライプ９０は、画像１２’の同じストライプＩＤのストライプと同じ場所に配置される。
図７は、バッファリング状態１２０が、ストライプＩＤ毎に、言い換えればストライプ位置毎にバッファ１２０にバッファリングされるストライプＩＤ認識バッファリングを示す。
つまり、バッファ状態がテーブルでバッファリングされている。
バッファ１２０へのバッファリングは、バッファ１２０が、ストライプＩＤ毎に、最終バッファ状態１２０のみを格納するように行うことができる。
つまり、ストリップＩＤで、及び任意選択で後述する１つ以上の基準で、新しいバッファ状態に対応する古い状態が、新しいバッファ状態に置き換えられる。
別の基準に関して、図７は、バッファ状態１２０が、関連する量子化パラメータに従って更に区別され得ることを例示的に示している。
他の基準は、スライスタイプ、すなわち、それぞれのストライプ又は時間レベルに関連付けられた予測モードのタイプ（イントラモードのみ、又はイントラモード及びインターモード）に関係し得る。
より正確には、符号化データを符号化／復号するために使用され、次にバッファリング点１２４ａ～１２４ｃまでのコンテキスト更新／適応中にエントロピー符号化／復号されたＱＰが、属するストライプＩＤによる状態１２２の区別に加えて、エントロピー符号化から生じるバッファ状態１２０を区別するためにも使用される。
したがって、可能な量子化パラメータＱＰ１、ＱＰ２．．．のうちの関連するストライプＩＤ及び量子化パラメータＱＰの特定ペアの状態１２２が、ストライプＩＤ及び量子化パラメータＱＰの同じペアの、前のバッファ状態１２２を置き換える又は更新する。
ストライプＩＤと１つ以上の基準の他の組み合わせも実行可能である。
ＱＰ認識は、破線を用いて図７に示されている。
したがって、前述のＱＰとして、スライスＱＰを使用することができる。
スライスＱＰは、画像の大部分、つまりストライプ全体などのスライスに割り当てられる。
しかしながら、レート制御、すなわち、ブロック内で局所的に変動するＱＰと組み合わせて、例えば、格納位置又はバッファリング点１２４ａ～１２４ｃでのｑｐは、代替的に、異なるＱＰ間を区別するようにバッファ内のコンテキスト状態のバッファリングを格納するために使用することができる。
次に、始点１００ａ～１００ｃでのロード又はコンテキスト更新のために、それぞれのストライプの最初のブロックのスライスＱＰ又はローカルＱＰを使用することができる。
【0050】
しかし、コンテキストエントロピー確率を初期化する際に、エンコーダ及びデコーダは、現在の画像１２のストライプ毎に、バッファ１２０内の対応する状態、すなわち、状態１２２のうちの１つをルックアップする。
特に、現在の画像１２の各ストライプ９０ａ～９０ｃについて、ビデオエンコーダ及びビデオデコーダは、現在の画像１２内のそれぞれのストライプの位置に関する情報を用いて、すなわち、それぞれのストライプのストライプＩＤを用いてインデックスを形成することができ、このインデックスを用いて、エンコーダ及びデコーダは、それぞれのストライプ９０ａ～９０ｃの始点１００ａ～１００ｃのコンテキストエントロピー確率を初期化するために、そのストライプＩＤの対応する状態１２２をルックアップする。
ＱＰ認識の場合、ルックアップは、現在の画像１２のそれぞれのストライプ９０ａ～９０ｃに関連付けられた量子化パラメータに応じて更に行われる。
すなわち、例えば、ストライプ９０ａの場合、始点１００ａでのコンテキストエントロピー確率は、ストライプＩＤ番号１、すなわち、ストライプ９０ａに対応するストライプＩＤに関してバッファリングされたバッファ状態１２２に基づいて初期化される。
追加のＱＰ依存性の場合、ルックアップは、それぞれのストライプ９０ａに割り当てられたストライプＩＤとＱＰのペアに基づいて、すなわち、このストライプＩＤと量子化パラメータＱＰのペアに対応するバッファ１２０の状態１２２をルックアップすることによって行われる。
特に、現在の画像１２の各ストライプ９０ａ～９０ｃについて、ビデオエンコーダ及びビデオデコーダは、現在の画像１２内のそれぞれのストライプの位置に関する情報を用いて、すなわち、それぞれのストライプのストライプＩＤを用いてインデックスを形成することができ、このインデックスを用いて、エンコーダ及びデコーダは、それぞれのストライプ９０ａ～９０ｃの始点１００ａ～１００ｃのコンテキストエントロピー確率を初期化するために、そのストライプＩＤの対応する状態１２２をルックアップする。
ＱＰ認識の場合、ルックアップは、現在の画像１２のそれぞれのストライプ９０ａ～９０ｃに関連付けられた量子化パラメータに応じて更に行われる。
すなわち、例えば、ストライプ９０ａの場合、始点１００ａでのコンテキストエントロピー確率は、ストライプＩＤ番号１、すなわち、ストライプ９０ａに対応するストライプＩＤに関してバッファリングされたバッファ状態１２２に基づいて初期化される。
追加のＱＰ依存性の場合、ルックアップは、それぞれのストライプ９０ａに割り当てられたストライプＩＤとＱＰのペアに基づいて、すなわち、このストライプＩＤと量子化パラメータＱＰのペアに対応するバッファ１２０の状態１２２をルックアップすることによって行われる。
【0051】
上述の方法で、前に処理された画像１２’で学習／更新されたコンテキストエントロピー確率を継承することができる。
バッファリング点１２４ａ～１２４ｃは、終点１２０ａ～１２０ｃの相当近くに配置することができる。
終点１０２ａ、１０２ｂ、１０２ｃと一致することさえあり得るが、更なる可能性を以下説明し、予測用参照部分の欠落などのエッジ現象に関連する統計的変化によって、コンテキストエントロピー確率が影響を受ける、又は悪影響を及ぼされるのを回避するために好ましい場合がある。
ストライプＩＤ認識バッファリングのおかげで、ある画像１２’から別の画像１２に継承又は再利用された再利用又は継承コンテキストエントロピー確率は、同じ又は類似の画像コンテンツに関連し、したがって、現在の画像１２のストライプ９０ａ～９０ｃのコンテキストエントロピー確率を初期化するために使用される状態１２２は、それぞれ、コンテキスト適応型エントロピー符号化手順９８又は対応する復号手順１０８の対象となる実際のサンプル統計値をより厳密に表す。
バッファリング点１２４ａ～１２４ｃは、終点１２０ａ～１２０ｃの相当近くに配置することができる。
終点１０２ａ、１０２ｂ、１０２ｃと一致することさえあり得るが、更なる可能性を以下説明し、予測用参照部分の欠落などのエッジ現象に関連する統計的変化によって、コンテキストエントロピー確率が影響を受ける、又は悪影響を及ぼされるのを回避するために好ましい場合がある。
ストライプＩＤ認識バッファリングのおかげで、ある画像１２’から別の画像１２に継承又は再利用された再利用又は継承コンテキストエントロピー確率は、同じ又は類似の画像コンテンツに関連し、したがって、現在の画像１２のストライプ９０ａ～９０ｃのコンテキストエントロピー確率を初期化するために使用される状態１２２は、それぞれ、コンテキスト適応型エントロピー符号化手順９８又は対応する復号手順１０８の対象となる実際のサンプル統計値をより厳密に表す。
【0052】
図８を参照して次に説明する実施形態によれば、ビデオエンコーダ及びビデオデコーダは、図６を参照して説明した方法で、すなわち、ＷＰＰ処理を可能にする方法で、ビデオ１１の画像を符号化／復号するように構成されてもよいし、されなくてもよい。
したがって、図８では、図７を参照して説明した画像に対応するビデオ１１の画像１２及び１２’は、破線を用いてこの状況を示すための単なるオプションとして、ストライプに細分割されるものとして示されている。
しかしながら、図８の例によれば、ビデオエンコーダ及びビデオデコーダは、いずれの場合も、以下のようにして、符号化データ９４の符号化９２／復号１１４、及び符号化データ９４のエントロピー符号化９８及びエントロピー復号１０８のタスクを実行する。
特に、符号化データ９４は、図１に示すように、ビデオの画像間の階層的な時間的符号化相互依存性を定義する方法で画像１２を表すか又は符号化する。
つまり、画像は異なる時間レベルＴｉｄに分類され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
このようにして、符号化データ９４が定義される。
エントロピー符号化９８及びエントロピー復号１０８に関する限り、インター画像依存性を伴わない方法で同じことを行うことができる。
すなわち、例えば、コンテキストは、隣接空間１０４のみを使用する方法で選択され得る。
あるいは、エントロピー符号化はまた、コンテキスト選択用に時間的ソースを活用することができるが、その場合、符号化データ９４の形成に関して、すなわち符号化９２及び復号１１４に関して今説明した階層的時間符号化相互依存性が、エントロピー符号化、すなわち９８と１０８に関しても遵守される。
いずれの場合も、エントロピー符号化９８及び復号１０８に何らかのコンテキスト適応型エントロピー符号化が使用され、その際に、ビデオ１１の各画像について、コンテキストエントロピー確率が、それぞれの画像内の少なくとも１つの始点１４０で初期化される。
始点１４０は、例えば、図６を参照して説明したストライプ分割及びＷＰＰ有効化処理を使用する場合、ストライプ符号化順序の第１のストライプの始点１０８ａであってもよい。
又は、図８を参照して以下説明する初期化とバッファリングは、ストライプ認識方法で実行されることによって、図７の概念と図８の概念の両方を使用する。
図８に更に示すように、あるバッファリング、すなわち、少なくとも１つの始点１４０からいずれかのバッファリング点１４２に適合／更新されたコンテキストエントロピー確率状態のバッファリングが行われる。
この場合も、各始点に１つなど、２つ以上のバッファリング点１４２を使用することができる。
ストライプを使用するとき、バッファリング点は図７を参照して説明したように配置することができる。
例えば、１つのバッファリング点１４２を使用し、ストライプ分割を使用しない場合、バッファリング点１４２はビデオ１１の画像間の中間点であってもよい。
したがって、図８では、図７を参照して説明した画像に対応するビデオ１１の画像１２及び１２’は、破線を用いてこの状況を示すための単なるオプションとして、ストライプに細分割されるものとして示されている。
しかしながら、図８の例によれば、ビデオエンコーダ及びビデオデコーダは、いずれの場合も、以下のようにして、符号化データ９４の符号化９２／復号１１４、及び符号化データ９４のエントロピー符号化９８及びエントロピー復号１０８のタスクを実行する。
特に、符号化データ９４は、図１に示すように、ビデオの画像間の階層的な時間的符号化相互依存性を定義する方法で画像１２を表すか又は符号化する。
つまり、画像は異なる時間レベルＴｉｄに分類され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
このようにして、符号化データ９４が定義される。
エントロピー符号化９８及びエントロピー復号１０８に関する限り、インター画像依存性を伴わない方法で同じことを行うことができる。
すなわち、例えば、コンテキストは、隣接空間１０４のみを使用する方法で選択され得る。
あるいは、エントロピー符号化はまた、コンテキスト選択用に時間的ソースを活用することができるが、その場合、符号化データ９４の形成に関して、すなわち符号化９２及び復号１１４に関して今説明した階層的時間符号化相互依存性が、エントロピー符号化、すなわち９８と１０８に関しても遵守される。
いずれの場合も、エントロピー符号化９８及び復号１０８に何らかのコンテキスト適応型エントロピー符号化が使用され、その際に、ビデオ１１の各画像について、コンテキストエントロピー確率が、それぞれの画像内の少なくとも１つの始点１４０で初期化される。
始点１４０は、例えば、図６を参照して説明したストライプ分割及びＷＰＰ有効化処理を使用する場合、ストライプ符号化順序の第１のストライプの始点１０８ａであってもよい。
又は、図８を参照して以下説明する初期化とバッファリングは、ストライプ認識方法で実行されることによって、図７の概念と図８の概念の両方を使用する。
図８に更に示すように、あるバッファリング、すなわち、少なくとも１つの始点１４０からいずれかのバッファリング点１４２に適合／更新されたコンテキストエントロピー確率状態のバッファリングが行われる。
この場合も、各始点に１つなど、２つ以上のバッファリング点１４２を使用することができる。
ストライプを使用するとき、バッファリング点は図７を参照して説明したように配置することができる。
例えば、１つのバッファリング点１４２を使用し、ストライプ分割を使用しない場合、バッファリング点１４２はビデオ１１の画像間の中間点であってもよい。
【0053】
しかしながら、図８の場合、バッファリング点１４２までのコンテキスト適応／更新のスナップショットを表す状態１４２のバッファリングは、時間レベル認識方法で実行される。
すなわち、状態１２２は、バッファリング点１４２が一部を成す画像１２’の時間レベルに関連付けられる方法で格納することができる。
図８は、バッファリングが更に、エントロピー符号化及びそれぞれの状態１２２が取得されたバッファリング点１４２までのコンテキスト適応／更新が関連する符号化データの基礎となる関連量子化パラメータを認識するように実行できるという事実を示す。
ストライプ分割の場合、ストライプＩＤは、バッファ状態１２２毎にも記録することができる。
図８の例に従ってこのように満たされるバッファ１２０は、例えば、（ａ）対応する時間レベル、（ｂ）時間レベルとストライプＩＤ又はスライスタイプの量子化パラメータとのペア、（ｃ）時間レベル、ストライプＩＤの量子化パラメータ、スライスタイプの量子化パラメータの３つ、又はスライスタイプ、（ｄ）これら全ての修飾子の４つ、に関して最終のバッファ状態１２２を格納することができる。
しかし、画像毎にバッファリングを行うことはできない。
例えば、バッファリングは単に、中括弧１４４及びバッファ１２０内の格納部分の破線マーキングによって示されるように、最上位時間レベル以外の時間レベルの画像１２’のそれぞれのバッファリング点１４２に現れる状態１２２に関して行うことができる。
その理由は、最上位層のバッファ状態が、画像１２のコンテキストエントロピー確率を初期化するために決して使用されないことを考慮すると明らかになる。
特に、画像１２の始点１４０でコンテキストエントロピー確率を初期化する際に、エンコーダ及びデコーダは、現在の画像１２の時間レベルに関する情報を用いてバッファ１２０へのインデックスを判定し、このインデックスを用いて、現在の画像１２のものよりも時間レベルが低位の画像１２’などの、前に符号化／復号された画像に関してバッファ状態１２０を検索することができる。
特に、このようにコンテキストエントロピー確率の継承又は再利用を制限することにより、すなわち、低位時間レベルの画像に由来する状態に限定されたバッファ状態１２２のルックアップに制限することにより、前に符号化／復号された画像の、前に学習又は更新されたコンテキストエントロピー確率を用いて、例えば、図１を参照して前述したように、それにもかかわらず、最上位時間レベルの画像の並列符号化を可能にし得る。
すなわち、状態１２２は、バッファリング点１４２が一部を成す画像１２’の時間レベルに関連付けられる方法で格納することができる。
図８は、バッファリングが更に、エントロピー符号化及びそれぞれの状態１２２が取得されたバッファリング点１４２までのコンテキスト適応／更新が関連する符号化データの基礎となる関連量子化パラメータを認識するように実行できるという事実を示す。
ストライプ分割の場合、ストライプＩＤは、バッファ状態１２２毎にも記録することができる。
図８の例に従ってこのように満たされるバッファ１２０は、例えば、（ａ）対応する時間レベル、（ｂ）時間レベルとストライプＩＤ又はスライスタイプの量子化パラメータとのペア、（ｃ）時間レベル、ストライプＩＤの量子化パラメータ、スライスタイプの量子化パラメータの３つ、又はスライスタイプ、（ｄ）これら全ての修飾子の４つ、に関して最終のバッファ状態１２２を格納することができる。
しかし、画像毎にバッファリングを行うことはできない。
例えば、バッファリングは単に、中括弧１４４及びバッファ１２０内の格納部分の破線マーキングによって示されるように、最上位時間レベル以外の時間レベルの画像１２’のそれぞれのバッファリング点１４２に現れる状態１２２に関して行うことができる。
その理由は、最上位層のバッファ状態が、画像１２のコンテキストエントロピー確率を初期化するために決して使用されないことを考慮すると明らかになる。
特に、画像１２の始点１４０でコンテキストエントロピー確率を初期化する際に、エンコーダ及びデコーダは、現在の画像１２の時間レベルに関する情報を用いてバッファ１２０へのインデックスを判定し、このインデックスを用いて、現在の画像１２のものよりも時間レベルが低位の画像１２’などの、前に符号化／復号された画像に関してバッファ状態１２０を検索することができる。
特に、このようにコンテキストエントロピー確率の継承又は再利用を制限することにより、すなわち、低位時間レベルの画像に由来する状態に限定されたバッファ状態１２２のルックアップに制限することにより、前に符号化／復号された画像の、前に学習又は更新されたコンテキストエントロピー確率を用いて、例えば、図１を参照して前述したように、それにもかかわらず、最上位時間レベルの画像の並列符号化を可能にし得る。
【0054】
実施形態に係る時間レベル認識バッファリング及びルックアップをもう少し精査しよう。
例えば、上述したように、画像１２の始点１４０でコンテキスト初期化のためにルックアップされたコンテキストエントロピー確率はこのように行われるため、初期化が、画像１２のうちの１つよりも時間レベルが下位の画像１２’から把握されたバッファ状態１２２に基づいて行われる。
しかしながら、時間レベルの同等性は、画像１２がゼロレベル、すなわち、一種の基本時間レベルを形成する最下位レベルのメンバーである場合に認められ得る。
画像１２’のバッファリング点１４２に現れる状態のバッファリングに関する限り、以下に留意されたい。
バッファリングは時間レベルを認識する。例えば、最上位時間レベルでの画像１２’の状態１２２は、時間レベルの制限によりコンテキスト初期化の使用のために上記状態をルックアップすることができる画像がないために格納されない。
他の全ての画像の場合、対応するバッファリング点１４２で現れる状態は、バッファ１２０にバッファリングされ得る。
しかしながら、対応する時間レベルに対応するエントリ、またコンテキスト継承がＱＰ、ストライプＩＤ、及び／又はスライスタイプである場合、ＱＰ、ストライプＩＤ及び／又はスライスタイプの対応エントリで、１回のみ表にバッファリングする代わりに、この画像１２’の状態１２２を用いて、上位時間レベルの対応バッファ状態１２２を上書き又は置換することができる。
したがって、画像１２’が時間レベルゼロのものである場合、その状態１２２は、時間レベルゼロだけでなくより上位の時間レベルに関してバッファ１２０に入力される。
画像１２’が時間レベル１のものである場合、バッファリング点１４２での状態１２２が、時間レベル１及び上位の時間レベル、すなわち時間レベル２に関してバッファ１２０に入力される。
画像１２の始点１４０でコンテキストエントロピー確率を初期化するとき、画像１２の時間レベルから導出されたインデックスは、画像１２の時間レベルより１つ下位の時間レベルのバッファ１２０内の対応する位置を指すことができる。
次に、これは、おそらく、より下位の時間レベルである画像１２のＱＰ及び／又はスライスＩＤ及び／又はスライスタイプに更に対応する最終バッファ状態１２２である。
しかしながら、状態１２２をバッファリングするための様々なアプローチも実行可能である。
時間レベル、及び任意選択で、ストライプＩＤ及び／又はＱＰ及び／又はスライスタイプから構成されるベクトルによってアドレス可能な方法で状態１２２を格納する表形式でバッファ１２０内の状態１２２をバッファリングする代わりに、状態１２２は、一次元線形方式でバッファ１２０にバッファリングされる。
次に、インデックス付けに使用できるインデックスは、現在の画像１２の始点１４０でのコンテキスト初期化に使用される対応状態１２２のランクを判定することができる。
ランクは、状態１２２がバッファリングされた順序に対応する可能性がある。
画像１２に使用される状態を決定する際に、エンコーダ及びデコーダは、例えば、より低位時間レベルのものを決定するために、バッファ状態１２２を最終バッファ状態１２２から最も遠いバッファ状態に横断させることができ（任意選択で（オプションで）、画像１２がレベル０である場合に同等性を認める）、及び任意選択で、ストライプＩＤ及び／又はＱＰ及び／又はスライスタイプを、始点１４０に関連するストライプＩＤ及び／又はＱＰ及び／又はスライステープに対応させることができ、最初に遭遇した状態、すなわち最終バッファ状態がコンテキストの初期化に使用される。
あるいは、検索基準を満たす、そのような状態のうちいくつかの最終の状態の平均などの組み合わせを、初期化に使用することができる。
例えば、上述したように、画像１２の始点１４０でコンテキスト初期化のためにルックアップされたコンテキストエントロピー確率はこのように行われるため、初期化が、画像１２のうちの１つよりも時間レベルが下位の画像１２’から把握されたバッファ状態１２２に基づいて行われる。
しかしながら、時間レベルの同等性は、画像１２がゼロレベル、すなわち、一種の基本時間レベルを形成する最下位レベルのメンバーである場合に認められ得る。
画像１２’のバッファリング点１４２に現れる状態のバッファリングに関する限り、以下に留意されたい。
バッファリングは時間レベルを認識する。例えば、最上位時間レベルでの画像１２’の状態１２２は、時間レベルの制限によりコンテキスト初期化の使用のために上記状態をルックアップすることができる画像がないために格納されない。
他の全ての画像の場合、対応するバッファリング点１４２で現れる状態は、バッファ１２０にバッファリングされ得る。
しかしながら、対応する時間レベルに対応するエントリ、またコンテキスト継承がＱＰ、ストライプＩＤ、及び／又はスライスタイプである場合、ＱＰ、ストライプＩＤ及び／又はスライスタイプの対応エントリで、１回のみ表にバッファリングする代わりに、この画像１２’の状態１２２を用いて、上位時間レベルの対応バッファ状態１２２を上書き又は置換することができる。
したがって、画像１２’が時間レベルゼロのものである場合、その状態１２２は、時間レベルゼロだけでなくより上位の時間レベルに関してバッファ１２０に入力される。
画像１２’が時間レベル１のものである場合、バッファリング点１４２での状態１２２が、時間レベル１及び上位の時間レベル、すなわち時間レベル２に関してバッファ１２０に入力される。
画像１２の始点１４０でコンテキストエントロピー確率を初期化するとき、画像１２の時間レベルから導出されたインデックスは、画像１２の時間レベルより１つ下位の時間レベルのバッファ１２０内の対応する位置を指すことができる。
次に、これは、おそらく、より下位の時間レベルである画像１２のＱＰ及び／又はスライスＩＤ及び／又はスライスタイプに更に対応する最終バッファ状態１２２である。
しかしながら、状態１２２をバッファリングするための様々なアプローチも実行可能である。
時間レベル、及び任意選択で、ストライプＩＤ及び／又はＱＰ及び／又はスライスタイプから構成されるベクトルによってアドレス可能な方法で状態１２２を格納する表形式でバッファ１２０内の状態１２２をバッファリングする代わりに、状態１２２は、一次元線形方式でバッファ１２０にバッファリングされる。
次に、インデックス付けに使用できるインデックスは、現在の画像１２の始点１４０でのコンテキスト初期化に使用される対応状態１２２のランクを判定することができる。
ランクは、状態１２２がバッファリングされた順序に対応する可能性がある。
画像１２に使用される状態を決定する際に、エンコーダ及びデコーダは、例えば、より低位時間レベルのものを決定するために、バッファ状態１２２を最終バッファ状態１２２から最も遠いバッファ状態に横断させることができ（任意選択で（オプションで）、画像１２がレベル０である場合に同等性を認める）、及び任意選択で、ストライプＩＤ及び／又はＱＰ及び／又はスライスタイプを、始点１４０に関連するストライプＩＤ及び／又はＱＰ及び／又はスライステープに対応させることができ、最初に遭遇した状態、すなわち最終バッファ状態がコンテキストの初期化に使用される。
あるいは、検索基準を満たす、そのような状態のうちいくつかの最終の状態の平均などの組み合わせを、初期化に使用することができる。
【0055】
本出願の更なる態様の実施形態に進む前に、図７及び図８の実施形態がＨＥＶＣ又はＪＥＭでどのように実施され得るかについて簡単に説明しなければならない。
例えば、図７の概念及び／又は図８の概念は、前に符号化／復号された画像からのＣＡＢＡＣコンテキスト変数状態の継承の１つのモードとして提供することができ、そのモードは、例えば図９のＳＰＳに示すように、ｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅのような特定変数によってＳＰＳ、ＰＰＳ、又はスライスヘッダなどの何らかの高レベルで信号を用いて伝えることができる。
つまり、構文要素の１つのモードオプションは、上述したような現在ＪＥＭで使用されている、前に復号／符号化された画像からのＣＡＢＡＣコンテキスト変数状態継承に対応することができ、１つのモードは図７の概念及び／又は図８の概念の構文要素の値に対応していてもよい。
例えば、図７の概念及び／又は図８の概念は、前に符号化／復号された画像からのＣＡＢＡＣコンテキスト変数状態の継承の１つのモードとして提供することができ、そのモードは、例えば図９のＳＰＳに示すように、ｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅのような特定変数によってＳＰＳ、ＰＰＳ、又はスライスヘッダなどの何らかの高レベルで信号を用いて伝えることができる。
つまり、構文要素の１つのモードオプションは、上述したような現在ＪＥＭで使用されている、前に復号／符号化された画像からのＣＡＢＡＣコンテキスト変数状態継承に対応することができ、１つのモードは図７の概念及び／又は図８の概念の構文要素の値に対応していてもよい。
【0056】
例えば、上記の構文要素は次の意味を持つことができる。
【0057】
０に等しいｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅは、時間モードが無効になり、前述のように、所定の表からの従来の初期化、すなわち他のストライプに関係なく、ＱＰのみに基づく初期化が使用されることを指定する。
【0058】
１に等しいｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅは、ＣＡＢＡＣコンテキスト変数の時間的初期化モードが、前に復号された画像のコンテキスト状態の採用によって行われることを指定する。
したがって、これは次の適応ルールで表すことができる。
ＣＣＶＳｌｉｃｅＴｙｐｅ，ＱＰ＝ＣＣＶＲｅｆＳｌｉｅｎｃｅＴｙｐｅ，ＱＰ
ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファである場合、バッファは始点１４０で初期化される確率をバッファリングし、ＳｌｉｃｅＴｙｐｅは画像の現在のスライスのタイプ、ＱＰは量子化パラメータ値である。
ＣＣＶＲｅｆは、同じＳｌｉｃｅＴｙｐｅ及びＱＰで前に復号された画像の参照コンテキスト変数バッファである。
したがって、これは次の適応ルールで表すことができる。
ＣＣＶＳｌｉｃｅＴｙｐｅ，ＱＰ＝ＣＣＶＲｅｆＳｌｉｅｎｃｅＴｙｐｅ，ＱＰ
ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファである場合、バッファは始点１４０で初期化される確率をバッファリングし、ＳｌｉｃｅＴｙｐｅは画像の現在のスライスのタイプ、ＱＰは量子化パラメータ値である。
ＣＣＶＲｅｆは、同じＳｌｉｃｅＴｙｐｅ及びＱＰで前に復号された画像の参照コンテキスト変数バッファである。
【0059】
特定のＳｌｉｃｅＴｙｐｅ及びＱＰのＣＣＶＲｅｆが使用できない場合（つまり、最初の画像を復号する場合）、モード０について説明したように、所定の表からの従来の初期化方法が使用される。
【0060】
ＣＡＢＡＣ適応の時間的方法を改善し、並列化スループットを改善するべき追加の初期化モードは次のとおりである。
【0061】
２に等しいｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅは、ＣＡＢＡＣコンテキスト変数の時間的初期化モードが、前に復号された画像ＣＴＵのライン毎のコンテキスト状態を採用することによって実行されることを指定する。
したがって、ＣＡＢＡＣ初期化プロセスは、次の適応ルールで表すことができる。
ＣＣＶＳｌｉｃｅＴｙｐｅ，ＱＰ，ＣＴＵＬｉｎｅＮｕｍ＝ＣＣＶＲｅｆＳｌｉｃｅＴｙｐｅ，ＱＰ，ＣＴＵＬｉｎｅＮｕｍ
ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファである場合、ＳｌｉｃｅＴｙｐｅは画像の現在のスライスのタイプ、ＱＰは量子化パラメータ値、ＣＴＵＬｉｎｅＮｕｍはＣＴＵライン番号である。
したがって、ＣＡＢＡＣ初期化プロセスは、次の適応ルールで表すことができる。
ＣＣＶＳｌｉｃｅＴｙｐｅ，ＱＰ，ＣＴＵＬｉｎｅＮｕｍ＝ＣＣＶＲｅｆＳｌｉｃｅＴｙｐｅ，ＱＰ，ＣＴＵＬｉｎｅＮｕｍ
ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファである場合、ＳｌｉｃｅＴｙｐｅは画像の現在のスライスのタイプ、ＱＰは量子化パラメータ値、ＣＴＵＬｉｎｅＮｕｍはＣＴＵライン番号である。
【0062】
ＣＣＶＲｅｆは、同じＳｌｉｃｅＴｙｐｅ、ＱＰ、及びＣＴＵＬｉｎｅＮｕｍを用いて前に復号された画像１２’の参照コンテキスト変数バッファである。
特定のＳｌｉｃｅＴｙｐｅ、ＱＰ、及びＣＴＵＬｉｎｅＮｕｍのＣＣＶＲｅｆが使用できない場合（つまり、最初の画像を復号する場合）、所定の表を使用する従来の初期化方法が、モード０で指定されたように使用される。
特定のＳｌｉｃｅＴｙｐｅ、ＱＰ、及びＣＴＵＬｉｎｅＮｕｍのＣＣＶＲｅｆが使用できない場合（つまり、最初の画像を復号する場合）、所定の表を使用する従来の初期化方法が、モード０で指定されたように使用される。
【0063】
３に等しいｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅは、ＣＡＢＡＣコンテキスト変数の時間初期化モードが、同じ時間レベルの、前に復号された画像のコンテキスト状態を採用することによって実行されることを指定する。
これは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ＝ＣＣＶＲｅｆＴＩｄ
ここで、ＣＣＶは現在の画像のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄである。
これは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ＝ＣＣＶＲｅｆＴＩｄ
ここで、ＣＣＶは現在の画像のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄである。
【0064】
ＣＣＶＲｅｆは、時間レベルＴＩｄで前に復号された画像の参照コンテキスト変数バッファである。
【0065】
ＣＣＶＲｅｆが使用できない場合（つまり、最初の画像を復号する場合）、所定のテーブルを使用する従来の初期化方法が使用される。
【0066】
４に等しいｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅは、ＣＡＢＡＣコンテキスト変数の時間初期化モードが、現在の時間レベルで前に復号された画像のコンテキスト状態を採用することによって実行され、この状態がＣＴＵライン毎に採用されることを指定する。
したがって、ＣＡＢＡＣ初期化プロセスは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ，ＣＴＵＬｉｎｅＮｕｍ＝ＣＣＶＲｅｆＴＩｄ，ＣＴＵＬｉｎｅＮｕｍ
ここで、ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄであり、ＣＴＵＬｉｎｅＮｕｍはＣＴＵライン番号である。
したがって、ＣＡＢＡＣ初期化プロセスは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ，ＣＴＵＬｉｎｅＮｕｍ＝ＣＣＶＲｅｆＴＩｄ，ＣＴＵＬｉｎｅＮｕｍ
ここで、ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄであり、ＣＴＵＬｉｎｅＮｕｍはＣＴＵライン番号である。
【0067】
ＣＣＶＲｅｆは、時間レベルＴＩｄで前に復号された画像１２’の参照コンテキスト変数バッファである。
【0068】
ＣＣＶＲｅｆが使用できない場合（つまり、最初の画像を復号する場合）、所定の表を使用する従来の初期化方法が使用される。
【0069】
５に等しいｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅは、図８に示すように、ＣＡＢＡＣコンテキスト変数の時間初期化モードが、前の時間レベルの、前に復号された画像のコンテキスト状態の採用によって実行されることを指定する。
これは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ＝ＣＣＶＲｅｆＴＩｄＲｅｆ
ここで、ＣＣＶは現在の画像１２のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄである。
これは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ＝ＣＣＶＲｅｆＴＩｄＲｅｆ
ここで、ＣＣＶは現在の画像１２のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄである。
【0070】
ＣＣＶＲｅｆは、単一の画像１２’の参照コンテキスト変数バッファ、又は復号順において現在の画像に先行する時間レベルＴＩｄＲｅｆの複数の画像のコンテキスト変数の組み合わせである。
【0071】
ＴＩｄＲｅｆは、次のように導出される。ＴＩｄ＞０の場合はＴＩｄＲｅｆ＝ＴＩｄ－１であり、それ以外の場合は０である。
【0072】
特定のＴＩｄＲｅｆのＣＣＶＲｅｆが使用できない場合（つまり、最初の画像を復号する場合）、所定の表を使用する従来の初期化方法が使用される。
【0073】
６に等しいｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅは、ＣＡＢＡＣコンテキスト変数の時間初期化モードが、図８のように前の時間レベルで前に復号された画像のコンテキスト状態を採用することによって実行され、この状態が図７のようにＣＴＵライン毎に採用されることを指定する。
したがって、ＣＡＢＡＣ初期化プロセスは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ，ＣＴＵＬｉｎｅＮｕｍ＝ＣＣＶＲｅｆＴＩｄＲｅｆ，ＣＴＵＬｉｎｅＮｕｍ
ここで、ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄであり、ＣＴＵＬｉｎｅＮｕｍはＣＴＵライン番号である。
したがって、ＣＡＢＡＣ初期化プロセスは、次の適応ルールで表すことができる。
ＣＣＶＴＩｄ，ＣＴＵＬｉｎｅＮｕｍ＝ＣＣＶＲｅｆＴＩｄＲｅｆ，ＣＴＵＬｉｎｅＮｕｍ
ここで、ＣＣＶが現在の画像１２のＣＡＢＡＣコンテキスト変数バッファであり、ＴＩｄは現在の画像の時間レベルＩｄであり、ＣＴＵＬｉｎｅＮｕｍはＣＴＵライン番号である。
【0074】
ＣＣＶＲｅｆは、画像の参照コンテキスト変数ＣＴＵラインバッファ、又は復号順において現在の画像に先行する時間レベルＴＩｄＲｅｆの複数の画像１２’のＣＣＶ ＣＴＵラインバッファの組み合わせである。
【0075】
ＴＩｄＲｅｆは、次のように導出される。ＴＩｄ＞０の場合はＴＩｄＲｅｆ＝ＴＩｄ－１であり、それ以外の場合は０である。
【0076】
特定のＴＩｄＲｅｆのＣＣＶＲｅｆ、ＣＴＵＬｉｎｅＮｕｍが使用できない場合（つまり、最初の画像を復号する場合）、所定の表を使用する従来の初期化方法が使用される。
【0077】
図７及びモード２、４、及び６による前のフレームからのＣＴＵライン毎のＣＡＢＡＣコンテキスト初期化について、以下で詳しく説明する。
【0078】
ＣＡＢＡＣコンテキスト変数のローカル適応を改善するために、ＣＣＶ初期化は、ＣＴＵライン番号、つまりストライプ位置の番号インデックスによってアドレス指定される新しいバッファ次元を用いて行われる。
【0079】
この方法は、複数の格納された変数を区別するバッファインデックスを用いて、各ＣＴＵラインのＣＣＶセット１２２の状態を格納するＣＣＶバッファ１２０を利用する。
ランダムアクセスポイントでの適切な動作を保証するために、ＣＭＭバッファ１２０全体をリセットすることができる。
ランダムアクセスポイントでの適切な動作を保証するために、ＣＭＭバッファ１２０全体をリセットすることができる。
【0080】
符号化（復号）プロセスが正の格納信号を取得すると、現在のＣＴＵラインコーダ（デコーダ）からのＣＣＶの現在の状態が、ＣＴＵライン番号と追加のインデックスを用いてバッファ内の格納位置にアドレス指定してＣＣＶバッファに格納される。
【0081】
格納信号は、ＣＵライン９０内の特定のＣＴＵ位置１４２に到達することによってトリガーすることができ、この位置は、例えばＣＴＵライン内の最後の又は任意の固定位置であってもよい。
１．境界ＣＴＵからモデルの更新を除外するための、ＣＴＵラインの３／４の固定位置。
２．画像内に完全に配置されている最後のＣＴＵの位置
３．右上隅が画像の境界に含まれる最後のＣＴＵの位置
１．境界ＣＴＵからモデルの更新を除外するための、ＣＴＵラインの３／４の固定位置。
２．画像内に完全に配置されている最後のＣＴＵの位置
３．右上隅が画像の境界に含まれる最後のＣＴＵの位置
【0082】
次の画像１２では、各ＣＴＵライン９０ａ～９０ｃの開始１００ａから１００ｃで、ＣＣＶラインバッファ１２０は、バッファインデックスが与えられた現在のラインの有効なエントリ１２２についてチェックされる。
利用可能なエントリがある場合、ＣＣＶ状態はＣＣＶラインバッファ１２０から現在のＣＴＵラインコーダのＣＣＶセットにコピーされる。
そうでなく、所与のバッファインデックスで現在のラインに利用可能なＣＣＶがない場合、コーダは制限なくデフォルトのコンテキスト初期化概念を使用する。
利用可能なエントリがある場合、ＣＣＶ状態はＣＣＶラインバッファ１２０から現在のＣＴＵラインコーダのＣＣＶセットにコピーされる。
そうでなく、所与のバッファインデックスで現在のラインに利用可能なＣＣＶがない場合、コーダは制限なくデフォルトのコンテキスト初期化概念を使用する。
【0083】
提案されたＣＴＵライン毎の時間的ＣＣＶ予測の利点は、優れたローカル統計値の活用である。
更に、この方法は現在のＷＰＰ初期化プロセスよりも優れている。
バッファのインデックス作成には、２つの変数が利用できる。
第１の変数は、現在のスライスレベルＱＰをバッファインデックスとして使用する。
ＱＰをバッファインデックスとして使用する意図は、様々な画像の同じＱＰに対して同様のＣＣＶ状態を想定し、同じ時間レベルからのＣＣＶの使用を意味することにある。
更に、この方法は現在のＷＰＰ初期化プロセスよりも優れている。
バッファのインデックス作成には、２つの変数が利用できる。
第１の変数は、現在のスライスレベルＱＰをバッファインデックスとして使用する。
ＱＰをバッファインデックスとして使用する意図は、様々な画像の同じＱＰに対して同様のＣＣＶ状態を想定し、同じ時間レベルからのＣＣＶの使用を意味することにある。
【0084】
しかしながら、同じ時間レベルからの予測は、フレーム並列符号化アプローチを実行するときに問題を引き起こす可能性がある。
【0085】
したがって、第２の変数は、画像の時間レベルからバッファインデックスを導出して、同じ又はより上位の時間レベルの画像から時間ＣＣＶ予測を回避する予測階層を確立する。
【0086】
図８及びモード５と６による詳細な時間レベル制限付きＣＡＢＡＣコンテキスト初期化は、次のように行うことができる。
ＣＡＢＡＣ時間初期化モード（ｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅ ５ 及び６）の制限により、ごくわずかな符号化効率損失で画像の並列化を可能にする。
並列化により画像の処理順序が異なるため、制限が必要である。
前の時間レベルからのコンテキスト変数適応には、画像から画像への変数の直接採用、及びそれらの選択的な加重組み合わせが含まれる場合がある。
これには、現在の画像の上のＣＴＵラインからのローカル予測ＣＣＶと１つ以上の時間予測ＣＣＶの選択的な加重組み合わせも含まれる場合がある。
加重選択は、コンテキスト状態の平均化、時間距離を意識したコンテキスト状態の平均化、又は複数のバッファリングされたＣＣＶからの特定のコンテキスト状態の選択によって実行できる。
ＣＡＢＡＣ時間初期化モード（ｃａｂａｃ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｍｏｄｅ ５ 及び６）の制限により、ごくわずかな符号化効率損失で画像の並列化を可能にする。
並列化により画像の処理順序が異なるため、制限が必要である。
前の時間レベルからのコンテキスト変数適応には、画像から画像への変数の直接採用、及びそれらの選択的な加重組み合わせが含まれる場合がある。
これには、現在の画像の上のＣＴＵラインからのローカル予測ＣＣＶと１つ以上の時間予測ＣＣＶの選択的な加重組み合わせも含まれる場合がある。
加重選択は、コンテキスト状態の平均化、時間距離を意識したコンテキスト状態の平均化、又は複数のバッファリングされたＣＣＶからの特定のコンテキスト状態の選択によって実行できる。
【0087】
【0088】
上記の例は、ビデオエンコーダ及びビデオデコーダが、データストリーム１４で伝達される現在のモード設定値に応じて、図７及び図８に従って動作するように実装され得ることを明らかにした。
更に、図９に示す構文要素に関して提示される説明が明らかにするように、追加的又は代替的に、コンテキストエントロピー確率管理はスライスタイプを認識するように行うことができる。
例えば、ＩスライスとＰスライスは互いに区別できる。つまり、スライスは単にインター予測モードを可能にし、スライスはイントラ予測とインター予測の両方を可能にする。
更に、ある始点１００ａ～１００ｃ又は１４０でのコンテキスト初期化は、例えば、図７の概念によるストライプＩＤを含み、図８の概念の場合には現在の画像の時間レベル未満のストライプＩＤを含むそれぞれの検索基準を満たすために最新バッファ状態を使用する代わりに、バッファ状態１２２の組み合わせに基づいて行うことができる。
更に、図９に示す構文要素に関して提示される説明が明らかにするように、追加的又は代替的に、コンテキストエントロピー確率管理はスライスタイプを認識するように行うことができる。
例えば、ＩスライスとＰスライスは互いに区別できる。つまり、スライスは単にインター予測モードを可能にし、スライスはイントラ予測とインター予測の両方を可能にする。
更に、ある始点１００ａ～１００ｃ又は１４０でのコンテキスト初期化は、例えば、図７の概念によるストライプＩＤを含み、図８の概念の場合には現在の画像の時間レベル未満のストライプＩＤを含むそれぞれの検索基準を満たすために最新バッファ状態を使用する代わりに、バッファ状態１２２の組み合わせに基づいて行うことができる。
【0089】
本出願の別の態様の実施形態の説明に進む前に、ＪＥＭ基準ソフトウェアの最新状態に関して簡単な概要を提供するものとする。
特に、本出願の次の態様は、ビデオの画像に適用されるインループ又はポストフィルタのパラメータ化についてである。
そのようなインループフィルタ２５０、２５２は、例えば、それぞれ、図３及び図４の予測モジュール４４及び５８の入力のすぐ上流に配置され得る、又はデコーダ２０のみの出力に配置されたポストフィルタ２５４であり得る。
以下では、後続の実施形態及び態様が焦点を当てるパラメータ化がＦＩＲフィルタなどの適応型ループフィルタであると仮定するが、これは、本明細書に記載の実施形態に限定的ではないことは明らかである。
フィルタパラメータ化設定値は、フィルタリングされた信号を改善するために選択された、インループ又はポストフィルタのフィルタカーネルのフィルタタップの設定値に関係し得る。
特に、本出願の次の態様は、ビデオの画像に適用されるインループ又はポストフィルタのパラメータ化についてである。
そのようなインループフィルタ２５０、２５２は、例えば、それぞれ、図３及び図４の予測モジュール４４及び５８の入力のすぐ上流に配置され得る、又はデコーダ２０のみの出力に配置されたポストフィルタ２５４であり得る。
以下では、後続の実施形態及び態様が焦点を当てるパラメータ化がＦＩＲフィルタなどの適応型ループフィルタであると仮定するが、これは、本明細書に記載の実施形態に限定的ではないことは明らかである。
フィルタパラメータ化設定値は、フィルタリングされた信号を改善するために選択された、インループ又はポストフィルタのフィルタカーネルのフィルタタップの設定値に関係し得る。
【0090】
次に出現した規格ＩＴＵ－ＴＨ．２６６に関しては、適応型ループフィルタ（ＡＬＦ）が提案されている。
現在の実装は、ＪＥＭ基準ソフトウェア［２］から入手可能である。
ＡＬＦは、各画像の処理後にフィルタパラメータが格納される特定のパラメータセットを利用する。
エンコーダとデコーダはこれを同期して実行する。
パラメータの時間的適応のために、エンコーダは、現在の画像に使用されるべき既に格納された全パラメータのセットから特定のパラメータを識別するために高レベルの情報を送信している。
したがって、これには、同じ時間レベルの、前に復号された画像からのパラメータの使用を含むこともできる。
このような依存性は、画像の並列処理には実用的ではない。
現在の実装は、ＪＥＭ基準ソフトウェア［２］から入手可能である。
ＡＬＦは、各画像の処理後にフィルタパラメータが格納される特定のパラメータセットを利用する。
エンコーダとデコーダはこれを同期して実行する。
パラメータの時間的適応のために、エンコーダは、現在の画像に使用されるべき既に格納された全パラメータのセットから特定のパラメータを識別するために高レベルの情報を送信している。
したがって、これには、同じ時間レベルの、前に復号された画像からのパラメータの使用を含むこともできる。
このような依存性は、画像の並列処理には実用的ではない。
【0091】
この障害を克服するために、以下に説明する特定の実施形態では、現在の時間レベル内でのフィルタパラメータ伝播を制限し、その代わりに、より下位の時間レベルからのパラメータのみを参照するように提案する。
【0092】
これは、特定の動作点の暗黙的な定義、又は明示的な高レベルの信号伝達（ＳＰＳ、ＰＰＳ、スライスヘッダ）によって実行できる。
後者は、ＡＬＦ継承を例示的に使用する場合、特定のＡＬＦモード又はフラグを介して実行することができる。
ＳＰＳで通知されるこのようなフラグの例を図１１に示す。
後者は、ＡＬＦ継承を例示的に使用する場合、特定のＡＬＦモード又はフラグを介して実行することができる。
ＳＰＳで通知されるこのようなフラグの例を図１１に示す。
【0093】
パラメータの挙動は、次の意味によって定義される。
０に等しいａｌｆ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｒｅｓｔｒｉｃｔｉｏｎは、時間モード制限が使用されないことを指定する。これにより、次の適応ルールが作成される。
ＡＬＦＰａｒａｍＰｉｃＮｕｍ＝ＡＬＦＰａｒａｍＰｉｃＮｕｍＲｅｆ
ここで、ＰｉｃＮｕｍは復号順における画像番号であり、ＰｉｃＮｕｍＲｅｆは復号順におけるＰｉｃＮｕｍに先行する復号順における画像番号である。
ＰｉｃＮｕｍＲｅｆはエンコーダによって選択され、従来のＡＬＦ符号化プロセス内の各画像に対して明示的に信号を用いて伝えることができる。
０に等しいａｌｆ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｒｅｓｔｒｉｃｔｉｏｎは、時間モード制限が使用されないことを指定する。これにより、次の適応ルールが作成される。
ＡＬＦＰａｒａｍＰｉｃＮｕｍ＝ＡＬＦＰａｒａｍＰｉｃＮｕｍＲｅｆ
ここで、ＰｉｃＮｕｍは復号順における画像番号であり、ＰｉｃＮｕｍＲｅｆは復号順におけるＰｉｃＮｕｍに先行する復号順における画像番号である。
ＰｉｃＮｕｍＲｅｆはエンコーダによって選択され、従来のＡＬＦ符号化プロセス内の各画像に対して明示的に信号を用いて伝えることができる。
【0094】
１に等しいａｌｆ＿ｔｅｍｐｏｒａｌ＿ｉｎｉｔ＿ｒｅｓｔｒｉｃｔｉｏｎは、ＡＬＦパラメータの制限された時間的適応を指定する。適応は、前の時間レベルの、前に復号された画像からのみ許可される。
したがって、ＰｉｃＮｕｍＲｅｆの導出プロセスでは、現在の時間レベルの画像を使用するように制限されている。
したがって、ＰｉｃＮｕｍＲｅｆの導出プロセスでは、現在の時間レベルの画像を使用するように制限されている。
【0095】
このＡＬＦパラメータ適応の制限により、並列化スループットが向上し、符号化効率の損失はごくわずかである。
【0096】
とはいえ、ビデオエンコーダ及びビデオデコーダの機能の実施形態が説明される図１２を参照されたい。
ビデオエンコーダとビデオデコーダの両方は、図１２の実施形態により、ビデオ１１の画像１２のデータストリーム１４へのブロックベース符号化を使用する。
符号化又は符号化及び復号は、例えば、インループフィルタ又はポストフィルタを含み、そのパラメータ化は、エンコーダによって決定され、以下でより詳細に説明される方法でデコーダに信号を用いて送られる。
更に、符号化は、それぞれ図１及び図８を参照して説明した階層的時間符号化相互依存性を定義するように行われる。
ビデオエンコーダとビデオデコーダの両方は、図１２の実施形態により、ビデオ１１の画像１２のデータストリーム１４へのブロックベース符号化を使用する。
符号化又は符号化及び復号は、例えば、インループフィルタ又はポストフィルタを含み、そのパラメータ化は、エンコーダによって決定され、以下でより詳細に説明される方法でデコーダに信号を用いて送られる。
更に、符号化は、それぞれ図１及び図８を参照して説明した階層的時間符号化相互依存性を定義するように行われる。
【0097】
エンコーダは、ビデオ１１の各画像１２について、それぞれの画像に適用されたときにそれぞれのフィルタをパラメータ化するためのインループ又はポストフィルタのフィルタパラメータ化設定値を判定する。
以下でより詳細に説明するように、エンコーダ及びデコーダは、前に符号化／復号されたビデオ１１の画像で使用されるインループ又はポストフィルタのフィルタパラメータ化設定値のプール又はリザーバをバッファ２００内にバッファリングする。
バッファリングは、インループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ２００にバッファリングされた任意のフィルタパラメータ化設定値とは異なるとエンコーダによって判定される場合にのみ、画像１２に対して選択的に実行され得る。
例えば、エンコーダは、サブセットの画像１２について、このサブセット内の画像のインループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ２００にバッファリングされたフィルタパラメータ化設定値にインデックス付けすることなく、データストリーム１４で通知されるべきであると判定することができ、このような画像１２に関しては、フィルタパラメータ化設定値はバッファに格納される２０２。
他のサブセットの画像１２について、フィルタパラメータ化設定値は、エンコーダによって、バッファ２００にバッファリングされたバッファ付きフィルタパラメータ化設定値の１つに等しいと判定され、エンコーダは、それぞれの画像に関して、バッファ２００内でそれぞれのフィルタパラメータ設定値を指すデータストリーム１４内のインデックスを信号を用いて伝える２０４。
デコーダはそれに応じて動作する。
すなわち、現在の画像のフィルタパラメータ化設定値がデータストリーム１４で明示的に通知される場合、デコーダは、この明示的な信号からフィルタパラメータ化設定値を導き出し、バッファ２００にバッファリングする。
そうでない場合、デコーダは、データストリーム１４からそれぞれの画像のインデックスを導出し、バッファ２００からのインループ又はポストフィルタのフィルタパラメータ化設定値にインデックスを付ける。同じものは再度バッファリングされ得ない。
エンコーダ及びデコーダは、バッファ２００の内容を同期させておき、例えば、バッファリングの順序において特定数の最近バッファリングされたフィルタパラメータ化設定値をバッファリングし、データストリーム１４で伝達されるインデックスは、バッファリング順に従って、すなわち、バッファ２００で想定されるランクに従ってフィルタパラメータ化設定値にインデックスを付けることができる。
しかし、他の可能性も存在する場合がある。
別の変形の可能性も存在する。例えば、各画像１２について、バッファ付きフィルタパラメータ化設定値がバッファ２００から完全に採用されるかどうか、又はそれぞれの画像のフィルタパラメータ化設定値がデータストリーム１４における明示的な信号伝達によって完全に新たに符号化されるかどうかを決定する代わりに、フィルタパラメータ化設定値がバッファ２００に格納されたフィルタパラメータ化設定値のいずれとも異なるように選択された画像が、バッファリングされたフィルタパラメータ化設定値の１つへの修正の形でデータストリーム１４内において通知されることによって、そのような画像について、フィルタパラメータの修正に加えて、バッファ２００へのインデックスを伝えることができる。
そのような修正されたフィルタパラメータ化設定値は、ビデオエンコーダ及びビデオデコーダによって、それぞれ、バッファ２００にバッファリングされ得るが、バッファリングされた設定から完全に採用されたものは、バッファリングされなくてもよい。
以下でより詳細に説明するように、エンコーダ及びデコーダは、前に符号化／復号されたビデオ１１の画像で使用されるインループ又はポストフィルタのフィルタパラメータ化設定値のプール又はリザーバをバッファ２００内にバッファリングする。
バッファリングは、インループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ２００にバッファリングされた任意のフィルタパラメータ化設定値とは異なるとエンコーダによって判定される場合にのみ、画像１２に対して選択的に実行され得る。
例えば、エンコーダは、サブセットの画像１２について、このサブセット内の画像のインループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ２００にバッファリングされたフィルタパラメータ化設定値にインデックス付けすることなく、データストリーム１４で通知されるべきであると判定することができ、このような画像１２に関しては、フィルタパラメータ化設定値はバッファに格納される２０２。
他のサブセットの画像１２について、フィルタパラメータ化設定値は、エンコーダによって、バッファ２００にバッファリングされたバッファ付きフィルタパラメータ化設定値の１つに等しいと判定され、エンコーダは、それぞれの画像に関して、バッファ２００内でそれぞれのフィルタパラメータ設定値を指すデータストリーム１４内のインデックスを信号を用いて伝える２０４。
デコーダはそれに応じて動作する。
すなわち、現在の画像のフィルタパラメータ化設定値がデータストリーム１４で明示的に通知される場合、デコーダは、この明示的な信号からフィルタパラメータ化設定値を導き出し、バッファ２００にバッファリングする。
そうでない場合、デコーダは、データストリーム１４からそれぞれの画像のインデックスを導出し、バッファ２００からのインループ又はポストフィルタのフィルタパラメータ化設定値にインデックスを付ける。同じものは再度バッファリングされ得ない。
エンコーダ及びデコーダは、バッファ２００の内容を同期させておき、例えば、バッファリングの順序において特定数の最近バッファリングされたフィルタパラメータ化設定値をバッファリングし、データストリーム１４で伝達されるインデックスは、バッファリング順に従って、すなわち、バッファ２００で想定されるランクに従ってフィルタパラメータ化設定値にインデックスを付けることができる。
しかし、他の可能性も存在する場合がある。
別の変形の可能性も存在する。例えば、各画像１２について、バッファ付きフィルタパラメータ化設定値がバッファ２００から完全に採用されるかどうか、又はそれぞれの画像のフィルタパラメータ化設定値がデータストリーム１４における明示的な信号伝達によって完全に新たに符号化されるかどうかを決定する代わりに、フィルタパラメータ化設定値がバッファ２００に格納されたフィルタパラメータ化設定値のいずれとも異なるように選択された画像が、バッファリングされたフィルタパラメータ化設定値の１つへの修正の形でデータストリーム１４内において通知されることによって、そのような画像について、フィルタパラメータの修正に加えて、バッファ２００へのインデックスを伝えることができる。
そのような修正されたフィルタパラメータ化設定値は、ビデオエンコーダ及びビデオデコーダによって、それぞれ、バッファ２００にバッファリングされ得るが、バッファリングされた設定から完全に採用されたものは、バッファリングされなくてもよい。
【0098】
いずれにせよ、図１２の実施形態によれば、データストリーム１４でインデックスが伝えられる２０４現在の画像１２のインループ又はポストフィルタのフィルタパラメータ化設定値は、このインデックスによって、バッファ２００にバッファリングされたフィルタパラメータ化設定値のサブセットのうちの１つを参照し、このサブセットは、現在の画像の時間レベル以上の時間レベルの画像に関してバッファリングされたフィルタパラメータ化設定値を除外する。
【0099】
したがって、図１２の実施形態によれば、ビデオエンコーダは、ビデオエンコーダがバッファ２００からのフィルタパラメータ化設定値を完全に再利用するか、あるいはバッファリングされたフィルタパラメータ設定値のサブセット、つまり、より下位の時間レベルの画像に由来する設定の完全な再利用の可能な候補を制限しないかという点で、時間レベルを認識したフィルタパラメータ化設定値を実行することができる。
更に、ビデオエンコーダ及びビデオデコーダの両方は、バッファリング２０２が時間レベル認識的に行われるという点で、時間レベル認識として動作することができる。
例えば、フィルタパラメータ化設定値が完全に再利用されていない画像のフィルタパラメータ化設定値は、それにもかかわらず、対応する画像が最上位時間レベルである場合、バッファリングされない２０２可能性があり、その結果、その後処理される画像のためにインデックス付けされない場合がある。
２０４でのインデックスの信号伝達でさえ、時間レベルに依存する場合がある。
例えば、必然的に最上位時間レベルの画像について、データストリーム１４にインデックスが存在しない場合がある。
更に、インデックスの信号伝達は、より下位の時間レベルの画像のみに由来するフィルタパラメータ化設定値の縮小されたサブセットのサイズに適応させることができる。
更に、上記のように、インデックスは、特定のバッファリングされたフィルタパラメータ化設定値が由来し、それぞれのフィルタパラメータ化設定値に加えてバッファ２００に格納される画像の画像カウントインデックスに従って、バッファリングされたフィルタパラメータ化設定値を指し得るが、データストリーム１４で伝達されるインデックスは、その代わりに、バッファ２００内のバッファランクに対応する線形ランクアドレスに従ってバッファリングされたフィルタパラメータ化設定値にインデックス付けすることができ、その結果、ビデオエンコーダとビデオデコーダとの間の同期を維持するために、ビデオエンコーダとビデオデコーダは、時間レベルを認識したフィルタパラメータ設定値のバッファリングを実行する必要がある。
これに関して、図８の場合と同様に、時間レベルの制限は、最下位の時間レベル、すなわちレベルゼロの画像について緩和され得ることに留意されたい。
これらの画像に関しては、同レベル、すなわちレベル０の画像に由来するパラメータ化設定値をフィルタリングするための指標が許可される場合がある。
更に、ビデオエンコーダ及びビデオデコーダの両方は、バッファリング２０２が時間レベル認識的に行われるという点で、時間レベル認識として動作することができる。
例えば、フィルタパラメータ化設定値が完全に再利用されていない画像のフィルタパラメータ化設定値は、それにもかかわらず、対応する画像が最上位時間レベルである場合、バッファリングされない２０２可能性があり、その結果、その後処理される画像のためにインデックス付けされない場合がある。
２０４でのインデックスの信号伝達でさえ、時間レベルに依存する場合がある。
例えば、必然的に最上位時間レベルの画像について、データストリーム１４にインデックスが存在しない場合がある。
更に、インデックスの信号伝達は、より下位の時間レベルの画像のみに由来するフィルタパラメータ化設定値の縮小されたサブセットのサイズに適応させることができる。
更に、上記のように、インデックスは、特定のバッファリングされたフィルタパラメータ化設定値が由来し、それぞれのフィルタパラメータ化設定値に加えてバッファ２００に格納される画像の画像カウントインデックスに従って、バッファリングされたフィルタパラメータ化設定値を指し得るが、データストリーム１４で伝達されるインデックスは、その代わりに、バッファ２００内のバッファランクに対応する線形ランクアドレスに従ってバッファリングされたフィルタパラメータ化設定値にインデックス付けすることができ、その結果、ビデオエンコーダとビデオデコーダとの間の同期を維持するために、ビデオエンコーダとビデオデコーダは、時間レベルを認識したフィルタパラメータ設定値のバッファリングを実行する必要がある。
これに関して、図８の場合と同様に、時間レベルの制限は、最下位の時間レベル、すなわちレベルゼロの画像について緩和され得ることに留意されたい。
これらの画像に関しては、同レベル、すなわちレベル０の画像に由来するパラメータ化設定値をフィルタリングするための指標が許可される場合がある。
【0100】
等しい時間レベルの画像のバッファリングされたフィルタパラメータ化設定値の除外の使用又は未使用の表示が、例えば最上位時間レベルの画像の復号を並列化することなどによって復号タスクの処理をスケジューリングするために、この種のプロミスに依存する機能を有するデコーダを用いて適用されるか否かを上に示した。
【0101】
一方では図８を参照して説明された実施形態と、他方では図１２を参照して説明された実施形態は、コンテキストエントロピー確率の時間的継承だけでなくインループ又はポストフィルタのフィルタパラメータ化設定値のバッファベースの信号伝達が可能なビデオエンコーダ及びビデオデコーダをもたらすために組み合わせることができる。
【0102】
以下では、本出願の第４の態様の実施形態を説明し、この実施形態は、画像全体のブロックで予測残差信号を量子化するために使用される量子化パラメータを変化させ、いわゆるデルタＱＰで、すなわち空間予測を用いて量子化パラメータを信号を用いて伝えるＨＥＶＣ及びＪＥＭなどのビデオコーデックに関係する。
【0103】
最新規格［１］では、ＱＰ予測は、現在のＣＵの左側と上部にある隣接空間のＣＵから導出された２つの値の合計を、最後の右シフトによって１ずつスケールダウンすることによって行われる。
２つの導出値は、隣接空間の可用性をチェックすることによって個別に取得される。
隣接部が予測に使用できる場合、導出値は隣接ＣＵのＱＰを取得し、ＣＵが予測に使用できない場合、導出値は変数ｐｒｅｖＣｏｄｅｄＣＵＱＰに設定される。
変数ｐｒｅｖＣｏｄｅｄＣＵＱＰは、スライスＱＰで初期化され、スライス内の符号化ＣＵ毎に更新される。
２つの導出値は、隣接空間の可用性をチェックすることによって個別に取得される。
隣接部が予測に使用できる場合、導出値は隣接ＣＵのＱＰを取得し、ＣＵが予測に使用できない場合、導出値は変数ｐｒｅｖＣｏｄｅｄＣＵＱＰに設定される。
変数ｐｒｅｖＣｏｄｅｄＣＵＱＰは、スライスＱＰで初期化され、スライス内の符号化ＣＵ毎に更新される。
【0104】
この導出方式の欠点は、ＷＰＰに従って個々のＣＴＵラインの並列処理を使用するが、ビットストリームにＷＰＰ構文を適用しないエンコーダアプローチの場合、依存性の問題が発生することである。
この理由は、変数ｐｒｅｖＣｏｄｅｄＣＵＱＰは、上記の任意のＣＴＵラインで符号化されている可能性のある最終符号化ＱＰに依存するので、特定のＣＴＵの開始時に、ラインエンコーダには認識されないからである。
この理由は、変数ｐｒｅｖＣｏｄｅｄＣＵＱＰは、上記の任意のＣＴＵラインで符号化されている可能性のある最終符号化ＱＰに依存するので、特定のＣＴＵの開始時に、ラインエンコーダには認識されないからである。
【0105】
並列符号化／復号を使用するときに高度に最適化されたシステムで発生する可能性がある因果関係の問題を克服するための特定の実施形態では、空間ＱＰ予測のための新しい簡略化アルゴリズムが以下のように提案される。
現在のＣＵの左、上、左上に隣り合う隣接符号化ユニット（ＣＵ）が評価される。
隣接ＣＵ’毎に、中間変数ｄｅｒｉｖｅｄＱｐＸＸＸが導入される。
隣接ＣＵが使用可能な場合、変数ｄｅｒｉｖｅｄＱｐＸＸＸはその隣接ＣＵのＱＰの値に設定され、それ以外の場合、変数は現在のスライスレベルＱＰの値に設定される。
現在のＣＵの左、上、左上に隣り合う隣接符号化ユニット（ＣＵ）が評価される。
隣接ＣＵ’毎に、中間変数ｄｅｒｉｖｅｄＱｐＸＸＸが導入される。
隣接ＣＵが使用可能な場合、変数ｄｅｒｉｖｅｄＱｐＸＸＸはその隣接ＣＵのＱＰの値に設定され、それ以外の場合、変数は現在のスライスレベルＱＰの値に設定される。
【0106】
予測ＱＰは、ｄｅｒｉｖｅｄＱｐＡｂｏｖｅＬｅｆｔによって下げられたｄｅｒｉｖｅｄＱｐＬｅｆｔとｄｅｒｉｖｅｄＱｐＡｂｏｖｅの合計を、ｄｅｒｉｖｅｄＱｐＬｅｆｔとｄｅｒｉｖｅｄＱｐＡｂｏｖｅがまたがるＱＰ範囲にクリッピングすることによって取得される。
【0107】
これは、次の擬似コードにより表すことができる。
ｉｆ（ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ＜＝ｄｅｒｉｖｅｄＱｐＬｅｆｔ）
ｐｒｅｄｉｃｔＱｐ ＝ｍａｘ（ ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ、ｍｉｎ（ｄｅｒｉｖｅｄＱｐＬｅｆｔ、（ ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ＋ｄｅｒｉｖｅｄＱｐＬｅｆｔ－ｄｅｒｉｖｅｄＱｐＡｂｏｖｅＬｅｆｔ）））
ｅｌｓｅ
ｐｒｅｄｉｃｔＱｐ ＝ｍａｘ（ ｄｅｒｉｖｅｄＱｐＬｅｆｔ、ｍｉｎ（ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ、（ ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ＋ｄｅｒｉｖｅｄＱｐＬｅｆｔ－ｄｅｒｉｖｅｄＱｐＡｂｏｖｅＬｅｆｔ）））
ｉｆ（ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ＜＝ｄｅｒｉｖｅｄＱｐＬｅｆｔ）
ｐｒｅｄｉｃｔＱｐ ＝ｍａｘ（ ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ、ｍｉｎ（ｄｅｒｉｖｅｄＱｐＬｅｆｔ、（ ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ＋ｄｅｒｉｖｅｄＱｐＬｅｆｔ－ｄｅｒｉｖｅｄＱｐＡｂｏｖｅＬｅｆｔ）））
ｅｌｓｅ
ｐｒｅｄｉｃｔＱｐ ＝ｍａｘ（ ｄｅｒｉｖｅｄＱｐＬｅｆｔ、ｍｉｎ（ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ、（ ｄｅｒｉｖｅｄＱｐＡｂｏｖｅ＋ｄｅｒｉｖｅｄＱｐＬｅｆｔ－ｄｅｒｉｖｅｄＱｐＡｂｏｖｅＬｅｆｔ）））
【0108】
本出願の第４の態様の実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す図１３を参照されたい。
図１３は、ビデオ１１の現在の符号化／復号画像１２と、画像１２のブロック３００への細分割を示し、ビデオエンコーダはブロック単位で量子化パラメータを変化させ、このパラメータを用いて、画像１２の予測残差信号がデータストリーム１４に符号化される。
ビデオ１１の画像１２のデータストリーム１４への符号化３０２は、図６を参照して上記で説明したように、復号側で並列復号を可能にすることは想定されていない。
ビデオエンコーダは、並列モードではなく順次モードであってもよい。
すなわち、ビデオエンコーダは、図６を参照して説明したように動作し得るが、図１３は、順次モードを示す。
符号化手順３０２は、図６を参照して上記で説明された符号化の両方の段階、すなわち、画像１２のビデオデータへの符号化、及びその後のビデオデータのデータストリーム１４へのエントロピー符号化を含む。
復号手順は、矢印３０４を用いて図１３に示されている。
様々なブロック３００に使用される量子化パラメータを送信するために、空間予測概念が使用される。
図１３は、ＱＰが３００ａで送信される現在の処理ブロックを示す。
ブロック３００’及び３００’’の数が２つに制限されず、あるいは１つのみ又は３つ以上であってもよい場合、ブロック３００ａの特定の近傍が検査されて、ブロック３００ａに対して所定の相対位置に隣接するブロック３００’及び３００’’が配置される。
また、左側の隣接ブロック３００’及び上側の隣接ブロック３００’’の使用は例示であり、異なる隣接ブロック位置を選択することができる。
ブロック３００ａの左上に隣接する第３のブロック、すなわち、ブロック３００ａの左上隅に隣接するサンプルの範囲は、例えば、点線で図１３に示されている。
これらのブロック３００’及び３００’’に割り当てられた量子化パラメータに基づいて、ブロック３００ａのＱＰが予測され、予測オフセット又はデルタＱＰがデータストリーム１４でブロック３００ａに送信される。
ブロック３００’、３００’’及び３００’’’に基づく予測の導出は、上記のように、すなわち、ブロック３００’、３００’’のＱＰの合計からブロック３００’’’のＱＰを引いて、ブロック３００’、３００’’のＱＰの中間に来るようにクリップされて具体化することができる。
別の方法は、単に３００’のＱＰをＱＰ予測子として使用する、又はブロック３００’、３００’’のＱＰの中央値又は平均値を予測子として使用することである。
例えば、ブロック位置が現在のブロック３００ａが配置されるスライス３０６の外側にあるため、又はそれぞれのブロック３００’又は３００’’のそれぞれのブロック位置が現在の画像１２の外側あるために利用できない各ブロック３００’又は３００’’については、そのＱＰは、ブロック３００ａが配置されるスライス３０６に関してデータストリームで送信されたスライスＱＰによって置換又は代用される。
交換は、参加している全てのＱＰが利用できない場合にのみ適用することもできる。
例えば、ブロック３００’、３００’’のＱＰの中央値又は平均値をＱＰ予測子として使用する場合、スライスＱＰの使用は、両方のＱＯ、すなわちブロック３００’及び３００’’のＱＰが使用できない場合にのみ予測子として使用できる。
ブロックの一方だけが欠落している又は使用できない場合、他方の利用可能なＱＰが予測子として使用される。
ブロック３００’のＱＰをＱＰ予測子として使用する場合、ブロック３００’のＱＰが欠落していると、スライスＱＰの使用が適用される。
言い換えれば、ブロック３００ａの量子化パラメータ予測子は、所定ブロックに対して所定の相対位置関係を有する１つ以上のブロック位置における１つ以上のブロックで３００’～３００’’’の量子化パラメータから導出され、現在のタイル若しくはスライスの外側、又は更には画像領域の外側など、所定ブロックが配置されている現在の画像の所定領域の外側のブロック位置にある任意のブロックの量子化パラメータは、所定領域に関してデータストリームで通知される主要な量子化パラメータで置き換えられる。
言い換えれば、例えば、ブロックが、ブロック３００ａが属する特定の画像領域の外側にあるために量子化パラメータが利用できない特定のブロックが、スライスＱＰなどの所定の領域に関してデータストリーム内で通知された主要な量子化パラメータで置き換えられる。
あるいは、全てのブロックなど、ブロック３００’～３００’のうち１つ以上のＱＰが使用できない場合、主要な量子化パラメータがＱＰ予測子として直接使用される。
例えば、図１３は、破線で示される、画像１２の２つのスライス３０６への細分割を示す。
ブロック３００ａのＱＰの予測子が、現在のブロック３００ａからより遠いブロック、すなわち、ブロック３００ａに直接隣接していないブロックのＱＰに依存することを回避することにより、画像１２が分割されるストライプ９０ａ、９０ｂ及び９０ｃについて図６で並列に示される符号化データ９４によって表される中間レベルへの画像１２の符号化を少なくとも実行することが可能である。
特に、符号化順序によれば、ストライプ９０ａ～９０ｃは互いに続き、上記のようにＪＥＭに従って利用できないブロックの置換概念を使用すると、１つのストライプの先行するストライプへの符号化の順次依存性につながる。
というのは、この概念は、符号化順序に沿った最新のＱＰの一種のバッファリングを使用するものであり、これはあるストライプから次のストライプへのＱＰ値のドラッグを含むからである。
ブロック３００ａのＱＰを予測するための制限された空間予測範囲、又は言い換えれば、予測ソースの制限された範囲を用いて、エンコーダは、スライス３０６を分割するストライプ９０ａ及び９０ｂについて、先行するストライプ９０ａに関する符号化データへの符号化を終了するまで、符号化順序において後続のストライプ９０ｂの符号化を待つ必要なく、符号化順序に沿って、ここでは例示的に左から右に並列に１つの共通スライス３０６内の画像コンテンツの符号化を開始することが可能である。
ブロック３００ａのＱＰに基づいて、エンコーダ及びデコーダは、予測残差信号の量子化のためのこの量子化パラメータの使用に加えて、図３及び４に示す２５０から２５４などのインループ又はポストフィルタのフィルタパラメータ化を設定することができる。
興味深いことに、ブロック３００ａのＱＰ値は既に固定され、データストリーム１４で送信する準備ができているため、エンコーダは、先行するストライプ９０ａに関する符号化データ形成が完了する前に、後続のストライプ９０ｂに関して現在の処理ブロック３００ａの位置で局所的にフィルタリング又はフィルタリングの一部を実行することさえできる。
フィルタリングの空間的到達範囲のため、「フィルタリングの一部」という限定的な文言が使用されている。
例えば、非ブロック化フィルタの性質上、右側及び下側の隣接ブロックに境界を成す隣接ブロックのフィルタリングは、すぐに実行することができない。
隣接ブロックが処理されると、フィルタリングは処理が延期される。
局所的にフィルタリングされるブロックは、現在のブロックの左上にわずかにずれているブロックである。
図１３は、ビデオ１１の現在の符号化／復号画像１２と、画像１２のブロック３００への細分割を示し、ビデオエンコーダはブロック単位で量子化パラメータを変化させ、このパラメータを用いて、画像１２の予測残差信号がデータストリーム１４に符号化される。
ビデオ１１の画像１２のデータストリーム１４への符号化３０２は、図６を参照して上記で説明したように、復号側で並列復号を可能にすることは想定されていない。
ビデオエンコーダは、並列モードではなく順次モードであってもよい。
すなわち、ビデオエンコーダは、図６を参照して説明したように動作し得るが、図１３は、順次モードを示す。
符号化手順３０２は、図６を参照して上記で説明された符号化の両方の段階、すなわち、画像１２のビデオデータへの符号化、及びその後のビデオデータのデータストリーム１４へのエントロピー符号化を含む。
復号手順は、矢印３０４を用いて図１３に示されている。
様々なブロック３００に使用される量子化パラメータを送信するために、空間予測概念が使用される。
図１３は、ＱＰが３００ａで送信される現在の処理ブロックを示す。
ブロック３００’及び３００’’の数が２つに制限されず、あるいは１つのみ又は３つ以上であってもよい場合、ブロック３００ａの特定の近傍が検査されて、ブロック３００ａに対して所定の相対位置に隣接するブロック３００’及び３００’’が配置される。
また、左側の隣接ブロック３００’及び上側の隣接ブロック３００’’の使用は例示であり、異なる隣接ブロック位置を選択することができる。
ブロック３００ａの左上に隣接する第３のブロック、すなわち、ブロック３００ａの左上隅に隣接するサンプルの範囲は、例えば、点線で図１３に示されている。
これらのブロック３００’及び３００’’に割り当てられた量子化パラメータに基づいて、ブロック３００ａのＱＰが予測され、予測オフセット又はデルタＱＰがデータストリーム１４でブロック３００ａに送信される。
ブロック３００’、３００’’及び３００’’’に基づく予測の導出は、上記のように、すなわち、ブロック３００’、３００’’のＱＰの合計からブロック３００’’’のＱＰを引いて、ブロック３００’、３００’’のＱＰの中間に来るようにクリップされて具体化することができる。
別の方法は、単に３００’のＱＰをＱＰ予測子として使用する、又はブロック３００’、３００’’のＱＰの中央値又は平均値を予測子として使用することである。
例えば、ブロック位置が現在のブロック３００ａが配置されるスライス３０６の外側にあるため、又はそれぞれのブロック３００’又は３００’’のそれぞれのブロック位置が現在の画像１２の外側あるために利用できない各ブロック３００’又は３００’’については、そのＱＰは、ブロック３００ａが配置されるスライス３０６に関してデータストリームで送信されたスライスＱＰによって置換又は代用される。
交換は、参加している全てのＱＰが利用できない場合にのみ適用することもできる。
例えば、ブロック３００’、３００’’のＱＰの中央値又は平均値をＱＰ予測子として使用する場合、スライスＱＰの使用は、両方のＱＯ、すなわちブロック３００’及び３００’’のＱＰが使用できない場合にのみ予測子として使用できる。
ブロックの一方だけが欠落している又は使用できない場合、他方の利用可能なＱＰが予測子として使用される。
ブロック３００’のＱＰをＱＰ予測子として使用する場合、ブロック３００’のＱＰが欠落していると、スライスＱＰの使用が適用される。
言い換えれば、ブロック３００ａの量子化パラメータ予測子は、所定ブロックに対して所定の相対位置関係を有する１つ以上のブロック位置における１つ以上のブロックで３００’～３００’’’の量子化パラメータから導出され、現在のタイル若しくはスライスの外側、又は更には画像領域の外側など、所定ブロックが配置されている現在の画像の所定領域の外側のブロック位置にある任意のブロックの量子化パラメータは、所定領域に関してデータストリームで通知される主要な量子化パラメータで置き換えられる。
言い換えれば、例えば、ブロックが、ブロック３００ａが属する特定の画像領域の外側にあるために量子化パラメータが利用できない特定のブロックが、スライスＱＰなどの所定の領域に関してデータストリーム内で通知された主要な量子化パラメータで置き換えられる。
あるいは、全てのブロックなど、ブロック３００’～３００’のうち１つ以上のＱＰが使用できない場合、主要な量子化パラメータがＱＰ予測子として直接使用される。
例えば、図１３は、破線で示される、画像１２の２つのスライス３０６への細分割を示す。
ブロック３００ａのＱＰの予測子が、現在のブロック３００ａからより遠いブロック、すなわち、ブロック３００ａに直接隣接していないブロックのＱＰに依存することを回避することにより、画像１２が分割されるストライプ９０ａ、９０ｂ及び９０ｃについて図６で並列に示される符号化データ９４によって表される中間レベルへの画像１２の符号化を少なくとも実行することが可能である。
特に、符号化順序によれば、ストライプ９０ａ～９０ｃは互いに続き、上記のようにＪＥＭに従って利用できないブロックの置換概念を使用すると、１つのストライプの先行するストライプへの符号化の順次依存性につながる。
というのは、この概念は、符号化順序に沿った最新のＱＰの一種のバッファリングを使用するものであり、これはあるストライプから次のストライプへのＱＰ値のドラッグを含むからである。
ブロック３００ａのＱＰを予測するための制限された空間予測範囲、又は言い換えれば、予測ソースの制限された範囲を用いて、エンコーダは、スライス３０６を分割するストライプ９０ａ及び９０ｂについて、先行するストライプ９０ａに関する符号化データへの符号化を終了するまで、符号化順序において後続のストライプ９０ｂの符号化を待つ必要なく、符号化順序に沿って、ここでは例示的に左から右に並列に１つの共通スライス３０６内の画像コンテンツの符号化を開始することが可能である。
ブロック３００ａのＱＰに基づいて、エンコーダ及びデコーダは、予測残差信号の量子化のためのこの量子化パラメータの使用に加えて、図３及び４に示す２５０から２５４などのインループ又はポストフィルタのフィルタパラメータ化を設定することができる。
興味深いことに、ブロック３００ａのＱＰ値は既に固定され、データストリーム１４で送信する準備ができているため、エンコーダは、先行するストライプ９０ａに関する符号化データ形成が完了する前に、後続のストライプ９０ｂに関して現在の処理ブロック３００ａの位置で局所的にフィルタリング又はフィルタリングの一部を実行することさえできる。
フィルタリングの空間的到達範囲のため、「フィルタリングの一部」という限定的な文言が使用されている。
例えば、非ブロック化フィルタの性質上、右側及び下側の隣接ブロックに境界を成す隣接ブロックのフィルタリングは、すぐに実行することができない。
隣接ブロックが処理されると、フィルタリングは処理が延期される。
局所的にフィルタリングされるブロックは、現在のブロックの左上にわずかにずれているブロックである。
【0109】
エンコーダとデコーダは、例えば最後にアクセスしたＱＰ予測子を使用するＨＥＶＣに従って、両方のモードから選択するために使用される信号伝達を使用するなど、ＱＰを異なる方法で予測する別のモードで代替的に動作できる場合があることに留意されたい。
【0110】
本出願の第５の態様は、図６のＷＰＰ処理機能サポートするタイプのビデオエンコーダ及びビデオデコーダに関する。
図６を参照して説明したように、ストライプ間のＷＰＰ処理において従うべきインターストライプ符号化／復号オフセットは、空間イントラ画像符号化依存性範囲に依存する。
次に説明する実施形態によれば、ビデオエンコーダ及びビデオデコーダは、データストリームを介して互いに通信することにより、この範囲をいくつかの状態の１つに設定することができて、空間冗長性の活用のわずかな低下を犠牲にして、より高い並列性と並列処理との間の重み付けが可能になる。
したがって、一方では符号化効率がわずかに低下し、他方では空間冗長性の活用がわずかに上昇するために符号化効率がわずかに向上して並列性が低下する。
以下の説明もまた、ＪＥＭ又はＨＥＶＣの修正の形でのアイデアの提示から始まり、空間イントラ画像符号化依存性範囲を測定する可能性としてＣＴＵ依存性オフセット信号伝達を使用する。
以下、一般化した実施形態について説明する。
図６を参照して説明したように、ストライプ間のＷＰＰ処理において従うべきインターストライプ符号化／復号オフセットは、空間イントラ画像符号化依存性範囲に依存する。
次に説明する実施形態によれば、ビデオエンコーダ及びビデオデコーダは、データストリームを介して互いに通信することにより、この範囲をいくつかの状態の１つに設定することができて、空間冗長性の活用のわずかな低下を犠牲にして、より高い並列性と並列処理との間の重み付けが可能になる。
したがって、一方では符号化効率がわずかに低下し、他方では空間冗長性の活用がわずかに上昇するために符号化効率がわずかに向上して並列性が低下する。
以下の説明もまた、ＪＥＭ又はＨＥＶＣの修正の形でのアイデアの提示から始まり、空間イントラ画像符号化依存性範囲を測定する可能性としてＣＴＵ依存性オフセット信号伝達を使用する。
以下、一般化した実施形態について説明する。
【0111】
波面並列処理（ＷＰＰ）を使用する場合、連続するＣＴＵライン間の２つのＣＴＵの最小所要ＣＴＵオフセットは、最新規格［１］によって定義されており、予測に使用可能な基準を確保する。
新たに出現する規格［３］では、新しいツールが組み込まれる可能性があり、２つのＣＴＵのＣＴＵオフセットではもはや十分でなく、新しいツールを危険にさらす可能性がある。
新たに出現する規格［３］では、新しいツールが組み込まれる可能性があり、２つのＣＴＵのＣＴＵオフセットではもはや十分でなく、新しいツールを危険にさらす可能性がある。
【0112】
特定の実施形態では、上位ＣＴＵラインへの依存性の処理を一般化するために、ライン毎に適用されるＣＴＵ依存性オフセットパラメータの明示的な信号伝達が使用される。
ＣＴＵＸｒｅｆ、ＹｒｅｆへのＣＴＵ依存性オフセットは、イントラスライスと非イントラスライスに対して個別に信号を用いて送られる場合がある。
値０は、提案された制限スキームが無効になっていることを示す。
値が０でない場合、ＣＴＵＸｒｅｆ、Ｙｒｅｆに対応するＣＵ、ＰＵ、又はＴＵが参照に使用でき、ＣＴＵＸｒｅｆ、Ｙｒｅｆが現在のＣＴＵＸｃｕｒ、Ｙｃｕｒの予測に使用でき、参照が制限されておらず、例えば、異なるスライス、タイル内、又は画像の外側にあり、次の条件が当てはまる。
ＣＴＵＸｒｅｆ、ＹｒｅｆへのＣＴＵ依存性オフセットは、イントラスライスと非イントラスライスに対して個別に信号を用いて送られる場合がある。
値０は、提案された制限スキームが無効になっていることを示す。
値が０でない場合、ＣＴＵＸｒｅｆ、Ｙｒｅｆに対応するＣＵ、ＰＵ、又はＴＵが参照に使用でき、ＣＴＵＸｒｅｆ、Ｙｒｅｆが現在のＣＴＵＸｃｕｒ、Ｙｃｕｒの予測に使用でき、参照が制限されておらず、例えば、異なるスライス、タイル内、又は画像の外側にあり、次の条件が当てはまる。
【0113】
－ＷＰＰの場合：
（Ｙｒｅｆ＝Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ≦Ｘｃｕｒ）又は
（Ｙｒｅｆ＜Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ＜（（Ｙｃｕｒｒ－Ｙｒｅｆ）＊（ＣＴＵ＿ｄｅｐｅｎｄｅｎｃｙ＿ｏｆｆｓｅｔ＿ｉｄ－１）＋Ｘｃｕｒ））、
－順次処理順序の場合：
（Ｙｒｅｆ＝Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ≦Ｘｃｕｒ）又は
（Ｙｒｅｆ＜Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ＜（（Ｙｃｕｒｒ－Ｙｒｅｆ）＊（ＣＴＵ＿ｄｅｐｅｎｄｅｎｃｙ＿ｏｆｆｓｅｔ＿ｉｄ－１）＋Ｘｃｕｒ＋１））
ここで、Ｘｒｅｆ、Ｙｒｅｆ、Ｘｃｕｒ、ＹｃｕｒはＣＴＵ位置座標である。
（Ｙｒｅｆ＝Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ≦Ｘｃｕｒ）又は
（Ｙｒｅｆ＜Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ＜（（Ｙｃｕｒｒ－Ｙｒｅｆ）＊（ＣＴＵ＿ｄｅｐｅｎｄｅｎｃｙ＿ｏｆｆｓｅｔ＿ｉｄ－１）＋Ｘｃｕｒ））、
－順次処理順序の場合：
（Ｙｒｅｆ＝Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ≦Ｘｃｕｒ）又は
（Ｙｒｅｆ＜Ｙｃｕｒ ＡＮＤ Ｘｒｅｆ＜（（Ｙｃｕｒｒ－Ｙｒｅｆ）＊（ＣＴＵ＿ｄｅｐｅｎｄｅｎｃｙ＿ｏｆｆｓｅｔ＿ｉｄ－１）＋Ｘｃｕｒ＋１））
ここで、Ｘｒｅｆ、Ｙｒｅｆ、Ｘｃｕｒ、ＹｃｕｒはＣＴＵ位置座標である。
【0114】
図１４に、２つの異なるＣＴＵ依存性の影響を示す。
いずれの図も、同じ仮想符号化時間の後に取得されたスナップショットを示している。
一方では、Ａ）での構造的遅延の増加が、最後のＣＴＵラインがまだ開始されていない理由であるが、Ｂ）では、処理されるＣＴＵがほとんど残っていない。
他方、Ａにおいて上記のＣＴＵラインから予測できるブロックは更に２つあり、複数のラインの空間依存性を利用するツールを使用すると、予測に利用可能な領域が大幅に拡大される。
いずれの図も、同じ仮想符号化時間の後に取得されたスナップショットを示している。
一方では、Ａ）での構造的遅延の増加が、最後のＣＴＵラインがまだ開始されていない理由であるが、Ｂ）では、処理されるＣＴＵがほとんど残っていない。
他方、Ａにおいて上記のＣＴＵラインから予測できるブロックは更に２つあり、複数のラインの空間依存性を利用するツールを使用すると、予測に利用可能な領域が大幅に拡大される。
【0115】
ＣＴＵ依存性オフセットパラメータの値が大きいと、空間予測に対してより広い領域を用いてツールのＲ－Ｄゲインを増やすことができるが、ＷＰＰ又は並列再構成を使用すると構造的遅延が長くなることに留意されたい。
隣接部からの再構成サンプルの空間予測が主にイントラスライス内で使用されるのに対し、非イントラスライスは通常、スライスタイプ依存ＣＴＵ依存性オフセットを使用した時間予測を使用するため、構造的遅延とＲ－Ｄ性能間のトレードオフは、様々なニーズに簡単に適応させることができる。
隣接部からの再構成サンプルの空間予測が主にイントラスライス内で使用されるのに対し、非イントラスライスは通常、スライスタイプ依存ＣＴＵ依存性オフセットを使用した時間予測を使用するため、構造的遅延とＲ－Ｄ性能間のトレードオフは、様々なニーズに簡単に適応させることができる。
【0116】
１に等しいＣＴＵ＿ｄｅｐｅｎｄｅｎｃｙ＿ｏｆｆｓｅｔ＿ｉｄで、特別な動作点を実現できる。
この場合、ＷＰＰの場合であれば、構造的遅延は完全に排除される。
これは、低遅延シナリオで役立つ場合がある。
順次モードの空間範囲パラメータ、つまりＷＰＰではないパラメータは、空間予測ツールを制限するため、複雑さ対品質のパラメータと見なすことができることに留意されたい。
この場合、ＷＰＰの場合であれば、構造的遅延は完全に排除される。
これは、低遅延シナリオで役立つ場合がある。
順次モードの空間範囲パラメータ、つまりＷＰＰではないパラメータは、空間予測ツールを制限するため、複雑さ対品質のパラメータと見なすことができることに留意されたい。
【0117】
これらの提案されたパラメータは、高レベルのセットＳＰＳ、ＰＰＳなど又はスライスヘッダを介して信号を用いて伝達される場合がある。
その例を図１５に示す。
その例を図１５に示す。
【0118】
ビデオ１２のデータストリーム１４への符号化を可能にするＷＰＰをサポートするビデオエンコーダ及びビデオデコーダのどの実施形態が説明されているかについては、図１６を参照されたい。
符号化手順４０２は、図６の両方の符号化ステップ、すなわち９２及び９８を組み込んでおり、同じことが、図１６に示す復号４０４、すなわち、ステップ１０８及び１１４にも当てはまる。
ここで、ビデオコーデックは、データストリーム１４が、空間イントラ画像符号化依存性範囲設定値をいくつかの可能な設定のうちの１つに設定する信号４０６を伝送するように設計されている。
設定は、空間イントラ画像符号化の依存範囲の幅又は広さが異なる場合がある。
空間イントラ画像符号化依存性範囲は、図６の４０８に示されており、現在の処理部分４１０の領域を決定し、この領域に基づいて、予測及びコンテキスト導出又はその他の空間冗長性活用タスクが符号化ブロック４１０に対して実行され得る。
特に、空間イントラ画像符号化依存性範囲設定値は、ここでは例示的に左から右である各ストライプ内の符号化方向に沿ったストライプ符号化順序で先行する任意の先行ストライプ９０ａにおいて、範囲領域４０８が関係する現在の部分４１０から延びる４０８の量が異なり得る。
この量は、水平方向、すなわち各ストライプ９０ａ～９０ｃ内の符号化順序方向に沿ってオフセットとして長さを測定する両方向矢印を用いて、図１６の４１２で示されている。
上記のように、オフセット４１２は、現在の部分４１０が配置されている現在のストライプまでのストライプ距離に応じて、ストライプ内の範囲領域４０８の部分について増加し得る。
符号化手順４０２は、図６の両方の符号化ステップ、すなわち９２及び９８を組み込んでおり、同じことが、図１６に示す復号４０４、すなわち、ステップ１０８及び１１４にも当てはまる。
ここで、ビデオコーデックは、データストリーム１４が、空間イントラ画像符号化依存性範囲設定値をいくつかの可能な設定のうちの１つに設定する信号４０６を伝送するように設計されている。
設定は、空間イントラ画像符号化の依存範囲の幅又は広さが異なる場合がある。
空間イントラ画像符号化依存性範囲は、図６の４０８に示されており、現在の処理部分４１０の領域を決定し、この領域に基づいて、予測及びコンテキスト導出又はその他の空間冗長性活用タスクが符号化ブロック４１０に対して実行され得る。
特に、空間イントラ画像符号化依存性範囲設定値は、ここでは例示的に左から右である各ストライプ内の符号化方向に沿ったストライプ符号化順序で先行する任意の先行ストライプ９０ａにおいて、範囲領域４０８が関係する現在の部分４１０から延びる４０８の量が異なり得る。
この量は、水平方向、すなわち各ストライプ９０ａ～９０ｃ内の符号化順序方向に沿ってオフセットとして長さを測定する両方向矢印を用いて、図１６の４１２で示されている。
上記のように、オフセット４１２は、現在の部分４１０が配置されている現在のストライプまでのストライプ距離に応じて、ストライプ内の範囲領域４０８の部分について増加し得る。
【0119】
図１６に示すように、到達領域４０８は、図１６に示すように必然的に現在の符号化部分４１０から画像１２の左上隅まで延びるか、又は図１６の破線で示すように画像１２の上端及び左端への延長が制限されるように構成することができる。
後者の制限は、信号４０６から独立していてもよく、又は依存していてもよい。
範囲設定値の変動は、図１４を参照して説明したように、符号化及び復号４０２及び４０４が実行され得る並列性に影響を与えるが、低い並列性は、空間冗長性の活用可能性の向上による符号化効率の向上によって補償される、又はその逆も同じである。
図１４を参照して上述したように、信号伝達４０６によって信号を用いて送られる様々な設定は、ＷＰＰ処理、すなわち、ストライプ９０ａ～９０ｃの並列処理において従うべき最小インターストライプ符号化／復号オフセットを直接示すパラメータによって示すことができる。
図１６を参照して説明される実施形態によれば、ビデオコーデックは、信号伝達４０６によって提供される信号伝達可能な空間イントラ画像符号化依存性範囲の１つ又はサブセットに従って単に動作するビデオエンコーダ又はビデオデコーダにも適用可能であり得ることに留意されたい。
例えば、エンコーダは、設定の１つに従って動作するように固定され得、そしてそれは、データストリーム１４で、この設定を、信号を用いて伝える。
デコーダは、同様に、信号伝達４０６の信号設定がサポートされていない場合に、受信したデータストリーム１４を復号できないことをユーザに通知することで、信号伝達４０６又はその１つ又はサブセットによって信号伝達可能な全ての設定を操作又はサポートすることができる。
図１６は、現在の符号化ブロック４１０の符号化又は空間イントラ画像符号化依存性による現在の符号化ブロック４１０に関連する符号化パラメータが依存する現在の画像１２内の空間範囲４０８が、ストライプ符号化順序において現在の画像の先行するストライプ、ここでは９０ａをオーバーレイし得ることを示しているが、この範囲は２つ以上の先行するストライプをオーバーレイする場合もあることに留意されたい。
更に、複数の空間イントラ画像符号化範囲設定値のそれぞれについて、空間範囲が符号化順方向に広がる距離は、インターストライプ距離の増加と共に増加し得る、すなわち、距離４１２が測定されるストライプに対するブロック４１０を含むストライプの距離の増加と共に単調に増加し得る。
２つの設定を比較すると、これらの距離４１２は、前の全てのストライプについて、２つの設定のうちの一方が他方よりも大きい、又はその逆である。
更に、上述したように、選択された空間イントラ画像符号化範囲設定値は、Ｉスライスなどのビデオの純粋なイントラ予測符号化部分と、Ｐ及びＢスライスなどのインター予測符号化部分について、別々に信号を用いて伝えることができる。
上述したように、空間範囲は、予測依存性及び／又はコンテキスト導出依存性に関連していてもよい。
変動は、イントラ予測のためのパッチを検索する検索範囲などの予測子検索範囲、又は予測パラメータ値ドメインのサイズに影響を与える可能性があり、したがって、特定の予測パラメータのコードレート及びその解析が変動し得る。
後者の制限は、信号４０６から独立していてもよく、又は依存していてもよい。
範囲設定値の変動は、図１４を参照して説明したように、符号化及び復号４０２及び４０４が実行され得る並列性に影響を与えるが、低い並列性は、空間冗長性の活用可能性の向上による符号化効率の向上によって補償される、又はその逆も同じである。
図１４を参照して上述したように、信号伝達４０６によって信号を用いて送られる様々な設定は、ＷＰＰ処理、すなわち、ストライプ９０ａ～９０ｃの並列処理において従うべき最小インターストライプ符号化／復号オフセットを直接示すパラメータによって示すことができる。
図１６を参照して説明される実施形態によれば、ビデオコーデックは、信号伝達４０６によって提供される信号伝達可能な空間イントラ画像符号化依存性範囲の１つ又はサブセットに従って単に動作するビデオエンコーダ又はビデオデコーダにも適用可能であり得ることに留意されたい。
例えば、エンコーダは、設定の１つに従って動作するように固定され得、そしてそれは、データストリーム１４で、この設定を、信号を用いて伝える。
デコーダは、同様に、信号伝達４０６の信号設定がサポートされていない場合に、受信したデータストリーム１４を復号できないことをユーザに通知することで、信号伝達４０６又はその１つ又はサブセットによって信号伝達可能な全ての設定を操作又はサポートすることができる。
図１６は、現在の符号化ブロック４１０の符号化又は空間イントラ画像符号化依存性による現在の符号化ブロック４１０に関連する符号化パラメータが依存する現在の画像１２内の空間範囲４０８が、ストライプ符号化順序において現在の画像の先行するストライプ、ここでは９０ａをオーバーレイし得ることを示しているが、この範囲は２つ以上の先行するストライプをオーバーレイする場合もあることに留意されたい。
更に、複数の空間イントラ画像符号化範囲設定値のそれぞれについて、空間範囲が符号化順方向に広がる距離は、インターストライプ距離の増加と共に増加し得る、すなわち、距離４１２が測定されるストライプに対するブロック４１０を含むストライプの距離の増加と共に単調に増加し得る。
２つの設定を比較すると、これらの距離４１２は、前の全てのストライプについて、２つの設定のうちの一方が他方よりも大きい、又はその逆である。
更に、上述したように、選択された空間イントラ画像符号化範囲設定値は、Ｉスライスなどのビデオの純粋なイントラ予測符号化部分と、Ｐ及びＢスライスなどのインター予測符号化部分について、別々に信号を用いて伝えることができる。
上述したように、空間範囲は、予測依存性及び／又はコンテキスト導出依存性に関連していてもよい。
変動は、イントラ予測のためのパッチを検索する検索範囲などの予測子検索範囲、又は予測パラメータ値ドメインのサイズに影響を与える可能性があり、したがって、特定の予測パラメータのコードレート及びその解析が変動し得る。
【0120】
追加的又は代替的に、ビデオエンコーダ及びビデオデコーダは、信号伝達機能なしで動作することができるが、範囲設定値が、単にイントラ予測モードを提供するスライス、すなわち、純粋にイントラ予測されるスライスと、イントラ予測モード及びインター予測モードの両方を提供するスライスとが異なるように固定される。
特に、範囲４０８はＩスライスの方が広く、それにより並列性機能が低下するが、インター予測はこれらのスライスには利用できず、これらのスライスは必然的にイントラ予測の使用に制限されるため、スライスの符号化効率は大幅に向上する。
しかし、ビデオ１１の大部分は、ＰスライスやＢスライスなどのインター予測モードも提供するスライスで構成されており、イントラ予測モードはこれらのスライスに対して重要な役割を果たさないため、後者についての並列性は、符号化効率にわずかな影響を与えるだけで増加する。
残りの詳細については、前の説明を参照されたい。
特に、範囲４０８はＩスライスの方が広く、それにより並列性機能が低下するが、インター予測はこれらのスライスには利用できず、これらのスライスは必然的にイントラ予測の使用に制限されるため、スライスの符号化効率は大幅に向上する。
しかし、ビデオ１１の大部分は、ＰスライスやＢスライスなどのインター予測モードも提供するスライスで構成されており、イントラ予測モードはこれらのスライスに対して重要な役割を果たさないため、後者についての並列性は、符号化効率にわずかな影響を与えるだけで増加する。
残りの詳細については、前の説明を参照されたい。
【0121】
いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロック又はデバイスは、方法ステップ又は方法ステップの特徴に対応する。
同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロック又はアイテム又は機能の説明も表す。
方法ステップの一部又は全ては、例えば、マイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって（又は用いて）実行することができる。
いくつかの実施形態では、最も重要な方法ステップの１つ以上が、そのような装置によって実行され得る。
同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロック又はアイテム又は機能の説明も表す。
方法ステップの一部又は全ては、例えば、マイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって（又は用いて）実行することができる。
いくつかの実施形態では、最も重要な方法ステップの１つ以上が、そのような装置によって実行され得る。
【0122】
本発明のデータストリームは、デジタル記憶媒体に格納することができる、又はインターネットなどの無線伝送媒体又は有線伝送媒体の伝送媒体上で送信することができる。
【0123】
特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実装することができる。
実装は、例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどのデジタル記憶媒体を用いて実行でき、記憶媒体には、電子的に読み取り可能な制御信号が格納されており、それぞれの方法が実行されるように、プログラマブルコンピュータシステムと協働する（又は協働することができる）。
したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
実装は、例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどのデジタル記憶媒体を用いて実行でき、記憶媒体には、電子的に読み取り可能な制御信号が格納されており、それぞれの方法が実行されるように、プログラマブルコンピュータシステムと協働する（又は協働することができる）。
したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
【0124】
本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0125】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するように動作する。
プログラムコードは、例えば、機械可読キャリアに格納されてもよい。
プログラムコードは、例えば、機械可読キャリアに格納されてもよい。
【0126】
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載された方法の１つを実行するためのコンピュータプログラムを含む。
【0127】
言い換えれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で説明される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0128】
したがって、本発明の方法の別の実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録したデータキャリア（又はデジタル記憶媒体、又はコンピュータ可読媒体）である。
データキャリア、デジタルストレージメディア、又は記録媒体は、通常、有形及び／又は非一時的である。
データキャリア、デジタルストレージメディア、又は記録媒体は、通常、有形及び／又は非一時的である。
【0129】
したがって、本発明の方法の別の実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリーム又は一連の信号を用いてある。
データストリーム又は一連の信号は、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
データストリーム又は一連の信号は、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
【0130】
別の実施形態は、本明細書に記載の方法の１つを実行するように構成又は適合された処理手段、例えば、コンピュータ又はプログラマブル論理デバイスを含む。
【0131】
更なる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
【0132】
本発明の別の実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを（例えば、電子的又は光学的に）受信機に転送するように構成された装置又はシステムを含む。
受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。
装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。
装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
【0133】
いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を用いて、本明細書に記載の方法の機能の一部又は全てを実行することができる。
いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するために、マイクロプロセッサと協働することができる。
概して、方法は、好ましくは、任意のハードウェア装置によって実行される。
いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するために、マイクロプロセッサと協働することができる。
概して、方法は、好ましくは、任意のハードウェア装置によって実行される。
【0134】
本明細書に記載の装置は、ハードウェア装置を用いて、又はコンピュータを用いて、又はハードウェア装置とコンピュータの組み合わせを用いて実装することができる。
【0135】
本明細書に記載の装置、又は本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェア及び／又はソフトウェアで実装することができる。
【0136】
本明細書に記載の方法は、ハードウェア装置を用いて、又はコンピュータを用いて、又はハードウェア装置とコンピュータの組み合わせを用いて実行することができる。
【0137】
本明細書に記載の方法、又は本明細書に記載の装置の任意の構成要素は、ハードウェア及び／又はソフトウェアによって少なくとも部分的に実行することができる。
【0138】
上記の実施形態は、本発明の原理を単に例示するものである。
本明細書に記載の構成及び詳細の修正及び変形は、当業者にとっては自明であろうと理解される。
したがって、本発明は特許請求の範囲によってのみ限定され、本明細書の実施形態の記載及び説明として提示された特定の詳細に限定されないことが意図される。
本明細書に記載の構成及び詳細の修正及び変形は、当業者にとっては自明であろうと理解される。
したがって、本発明は特許請求の範囲によってのみ限定され、本明細書の実施形態の記載及び説明として提示された特定の詳細に限定されないことが意図される。
【0139】
＜参考文献＞
［１］ＩＳＯ／ＩＥＣ、ＩＴＵ－Ｔ．Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ．ＩＴＵ－Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５ ＩＳＯ／ＩＥＣ２３００８ １０（ＨＥＶＣ）、第１版、２０１３；第２版、２０１４。
［２］ＪＥＭ基準ソフトウェア、ｈｔｔｐｓ：／／ｊｖｅｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿ＨＭＪＥＭＳｏｆｔｗａｒｅ／．
［３］Ｊ．Ｃｈｅｎ、Ｅ．Ａｌｓｈｉｎａ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、Ｊ．－Ｒ．Ｏｈｍ、Ｊ．Ｂｏｙｃｅ．Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ７（ＪＥＭ７）、ＪＶＥＴ、ｄｏｃ．ＪＶＥＴ－Ｇ１００１、２０１７年８月
［４］”ＪＶＥＴ ｇｒｏｕｐ”［Ｏｎｌｉｎｅ］．Ａｖａｉｌａｂｌｅ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／．
［１］ＩＳＯ／ＩＥＣ、ＩＴＵ－Ｔ．Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ．ＩＴＵ－Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５ ＩＳＯ／ＩＥＣ２３００８ １０（ＨＥＶＣ）、第１版、２０１３；第２版、２０１４。
［２］ＪＥＭ基準ソフトウェア、ｈｔｔｐｓ：／／ｊｖｅｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿ＨＭＪＥＭＳｏｆｔｗａｒｅ／．
［３］Ｊ．Ｃｈｅｎ、Ｅ．Ａｌｓｈｉｎａ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、Ｊ．－Ｒ．Ｏｈｍ、Ｊ．Ｂｏｙｃｅ．Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ７（ＪＥＭ７）、ＪＶＥＴ、ｄｏｃ．ＪＶＥＴ－Ｇ１００１、２０１７年８月
［４］”ＪＶＥＴ ｇｒｏｕｐ”［Ｏｎｌｉｎｅ］．Ａｖａｉｌａｂｌｅ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／．
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】