特許 7513809 エンコーダ、デコーダ、および、フレキシブルにサイズ化された画像パーティションのための複雑な処理を伴う符号化方法と復号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】エンコーダ、デコーダ、および、フレキシブルにサイズ化された画像パーティションのための複雑な処理を伴う符号化方法と復号化方法

(51)【国際特許分類】

   H04N 19/11 20140101AFI20240702BHJP

   H04N 19/159 20140101ALI20240702BHJP

   H04N 19/174 20140101ALI20240702BHJP

   H04N 19/176 20140101ALI20240702BHJP

   H04N 19/593 20140101ALI20240702BHJP

   H04N 19/70 20140101ALI20240702BHJP

【ＦＩ】

H04N19/11

H04N19/159

H04N19/174

H04N19/176

H04N19/593

H04N19/70

【請求項の数】 6

(21)【出願番号】P 2023119326

(22)【出願日】2023-07-21

(62)【分割の表示】P 2021538095の分割

【原出願日】2020-02-11

(65)【公開番号】P2023139166

(43)【公開日】2023-10-03

【審査請求日】2023-08-16

(31)【優先権主張番号】18248303.2

(32)【優先日】2018-12-28

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】スクーピン ローベルト

(72)【発明者】

【氏名】サンチェス デ ラ フエンテ ヤーゴ

(72)【発明者】

【氏名】ヘルゲ コルネリウス

(72)【発明者】

【氏名】シーアル トーマス

(72)【発明者】

【氏名】ズューリング カルステン

(72)【発明者】

【氏名】ウィーガント トーマス

【審査官】久保 光宏

(56)【参考文献】

【文献】国際公開第２０１５／０５４８１３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０１３９２９６（ＵＳ，Ａ１）

【文献】特開２０１６－１８５９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０５１８１１（ＷＯ，Ａ１）

【文献】特表２０１６－５３４６６０（ＪＰ，Ａ）

【文献】特表２０１７－５１３３３２（ＪＰ，Ａ）

【文献】国際公開第２０１６／２０８２４１（ＷＯ，Ａ１）

【文献】特表２０１６－５３４６４９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００１６５０５（ＵＳ，Ａ１）

【文献】Recommendation ITU-T H.265 (02/2018)，[online], ITU-T，2018年02月13日，Pages 46-48 and 97，[令和4年5月2日検索], インターネット, <URL: https://www.itu.int/rec/T-REC-H.265-201802-S/en>.

【文献】Tzu-Der Chuang, et al.，"CE2-related: IntraBC constraint for multiple tiles"，JCTVC-T0056，version 3，[online], Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2015年02月10日，Pages 1-7，[令和4年8月25日検索], インターネット, <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/current_document.php?id=9825> and <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/20_Geneva/wg11/JCTVC-T0056-v3.zip>.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサとメモリとを含むビデオエンコーダであって、前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記ビデオエンコーダに、
現在の画像のセグメントに対する第１のフラグをデータストリームに符号化することであって、１に等しい前記第１のフラグは、前記セグメントのブロックがイントラ予測のみされることを示し、前記セグメントの前記ブロックが前記現在の画像の再構成されたサンプルのみに基づいて予測されることを意味し、
１に等しい前記第１のフラグに基づいて、前記データストリームに第２のフラグを符号化することを決定し、
前記セグメントの現在のブロックがイントラブロックコピー（ＩＢＣ）を使用して符号化されているか否かを示す前記第２のフラグを前記データストリームに符号化することであって、前記現在のブロックがＩＢＣを使用して符号化されている場合、前記現在の画像の再構成されたサンプルの参照ブロックからサンプルをコピーすることによって、前記現在のブロックが予測され、
前記現在のブロックがＩＢＣを使用して符号化されることを示す前記第２のフラグに基づいて、前記現在の画像の再構成されたサンプルの前記参照ブロックからサンプルをコピーすることによって、前記現在のブロックの予測を決定し、
前記現在のブロックの前記予測に基づいて、予測残差を前記データストリームに符号化させる、
命令を含むビデオエンコーダ。

【請求項2】

少なくとも１つのプロセッサとメモリとを含むビデオデコーダであって、前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記ビデオデコーダに、
データストリームから現在の画像のセグメントに対する第１のフラグを復号することであって、前記セグメントは前記データストリームに符号化され、１に等しい前記第１のフラグは、前記セグメントのブロックがイントラ予測のみされることを示し、前記セグメントのブロックが前記現在の画像の再構成されたサンプルのみに基づいて予測されることを意味し、
１に等しい前記第１のフラグに基づいて、前記データストリームから第２のフラグを復号することを決定し、
前記データストリームから、前記セグメントの現在のブロックがイントラブロックコピー（ＩＢＣ）を使用して符号化されているか否かを示す前記第２のフラグを復号することであって、前記現在のブロックがＩＢＣを使用して符号化されている場合、前記現在の画像の再構成されたサンプルの参照ブロックからサンプルをコピーすることによって、前記現在のブロックが予測され、
前記現在のブロックがＩＢＣを使用して符号化されることを示す第２のフラグに基づいて、前記現在の画像の再構成されたサンプルの前記参照ブロックからサンプルをコピーすることによって、前記現在のブロックの予測を決定し、
前記現在のブロックの予測値と、前記データストリームから復号された予測残差とに基づいて、前記現在のブロックを再構成させる、
命令を含むビデオデコーダ。

【請求項3】

ビデオ符号化方法であって、
現在の画像のセグメントに対する第１のフラグをデータストリームに符号化することであって、１に等しい前記第１のフラグは、前記セグメントのブロックがイントラ予測のみされることを示し、前記セグメントの前記ブロックが前記現在の画像の再構成されたサンプルのみに基づいて予測されることを意味する、ことと、
１に等しい前記第１のフラグに基づいて、前記データストリームに第２のフラグを符号化することを決定することと、
前記セグメントの現在のブロックがイントラブロックコピー（ＩＢＣ）を使用して符号化されているか否かを示す前記第２のフラグを前記データストリームに符号化することであって、前記現在のブロックがＩＢＣを使用して符号化されている場合、前記現在の画像の再構成されたサンプルの参照ブロックからサンプルをコピーすることによって、前記現在のブロックが予測する、ことと、
前記現在のブロックがＩＢＣを使用して符号化されることを示す前記第２のフラグに基づいて、前記現在の画像の再構成されたサンプルの前記参照ブロックからサンプルをコピーすることによって、前記現在のブロックの予測を決定することと、
前記現在のブロックの前記予測に基づいて、予測残差を前記データストリームに符号化することと、
を含む、ビデオ符号化方法。

【請求項4】

ビデオ復号方法であって、
データストリームから現在の画像のセグメントに対する第１のフラグを復号することであって、前記セグメントは前記データストリームに符号化され、１に等しい前記第１のフラグは、前記セグメントのブロックがイントラ予測のみされることを示し、前記セグメントのブロックが前記現在の画像の再構成されたサンプルのみに基づいて予測されることを意味する、ことと、
１に等しい前記第１のフラグに基づいて、前記データストリームから第２のフラグを復号することを決定することと、
前記データストリームから、前記セグメントの現在のブロックがイントラブロックコピー（ＩＢＣ）を使用して符号化されているか否かを示す前記第２のフラグを復号することであって、前記現在のブロックがＩＢＣを使用して符号化されている場合、前記現在の画像の再構成されたサンプルの参照ブロックからサンプルをコピーすることによって、前記現在のブロックが予測する、ことと、
前記現在のブロックがＩＢＣを使用して符号化されることを示す第２のフラグに基づいて、前記現在の画像の再構成されたサンプルの前記参照ブロックからサンプルをコピーすることによって、前記現在のブロックの予測を決定することと、
前記現在のブロックの予測値と、前記データストリームから復号された予測残差とに基づいて、前記現在のブロックを再構成させることと、
を含む、ビデオ復号方法。

【請求項5】

コンピュータプログラムがコンピュータによって実行されるとき、ステップを実行するように、その上に記憶されたコンピュータプログラムを有する非一時的デジタル記憶媒体であって、
前記ステップは、
現在の画像のセグメントに対する第１のフラグをデータストリームに符号化するステップであって、１に等しい前記第１のフラグは、前記セグメントのブロックがイントラ予測のみされることを示し、前記セグメントの前記ブロックが前記現在の画像の再構成されたサンプルのみに基づいて予測されることを意味する、ステップと、
１に等しい前記第１のフラグに基づいて、前記データストリームに第２のフラグを符号化することを決定するステップと、
前記セグメントの現在のブロックがイントラブロックコピー（ＩＢＣ）を使用して符号化されているか否かを示す前記第２のフラグを前記データストリームに符号化するステップであって、前記現在のブロックがＩＢＣを使用して符号化されている場合、前記現在の画像の再構成されたサンプルの参照ブロックからサンプルをコピーすることによって、前記現在のブロックが予測される、ステップと、
前記現在のブロックがＩＢＣを使用して符号化されることを示す前記第２のフラグに基づいて、前記現在の画像の再構成されたサンプルの前記参照ブロックからサンプルをコピーすることによって、前記現在のブロックの予測を決定するステップと、
前記現在のブロックの前記予測に基づいて、予測残差を前記データストリームに符号化するステップと、
を含む、非一時的デジタル記憶媒体。

【請求項6】

コンピュータプログラムがコンピュータによって実行されるとき、ステップを実行するように、その上に記憶されたコンピュータプログラムを有する非一時的デジタル記憶媒体であって、
前記ステップは、
データストリームから現在の画像のセグメントに対する第１のフラグを復号するステップであって、前記セグメントは前記データストリームに符号化され、１に等しい前記第１のフラグは、前記セグメントのブロックがイントラ予測のみされることを示し、前記セグメントのブロックが前記現在の画像の再構成されたサンプルのみに基づいて予測されることを意味する、ステップと、
１に等しい前記第１のフラグに基づいて、前記データストリームから第２のフラグを復号することを決定するステップと、
前記データストリームから、前記セグメントの現在のブロックがイントラブロックコピー（ＩＢＣ）を使用して符号化されているか否かを示す前記第２のフラグを復号するステップであって、前記現在のブロックがＩＢＣを使用して符号化されている場合、前記現在の画像の再構成されたサンプルの参照ブロックからサンプルをコピーすることによって、前記現在のブロックが予測する、ステップと、
前記現在のブロックがＩＢＣを使用して符号化されることを示す第２のフラグに基づいて、前記現在の画像の再構成されたサンプルの前記参照ブロックからサンプルをコピーすることによって、前記現在のブロックの予測を決定するステップと、
前記現在のブロックの予測値と、前記データストリームから復号された予測残差とに基づいて、前記現在のブロックを再構成するステップと、
を含む、非一時的デジタル記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ビデオエンコード化とビデオデコード化、特に、エンコーダ、デコーダ、および、フレキシブルにサイズ化された画像データのための複雑な処理を伴う符号化方法と復号化方法に関する。

【背景技術】

【0002】

Ｈ．２６５／ＨＥＶＣ（ＨＥＶＣ＝高能率ビデオ符号化）は、既に、エンコーダおよび／またはデコーダで、並列処理を高めるか、または可能にさえするためのツールを提供するビデオ符号器である。例えば、ＨＥＶＣは、互いに独立して符号化されるタイルの配列の中へ、画像のサブ分割を支援する。連続的なＣＴＵラインの処理において、ある最小のＣＴＵオフセットが守られることが提供されるならば、ＨＥＶＣによって支援される別の概念は、画像のＣＴＵ－列またはＣＴＵ－ラインが左から右に平行に、例えば縞状に処理されることに従うＷＰＰに付随する（ＣＴＵ＝コード化ツリーユニット）。しかし、ビデオエンコーダおよび／またはビデオデコーダの並列処理機能をより一層効率的に支援するビデオ符号器を手近にもつことが好ましい。

【0003】

以下において、最新技術に従ってＶＣＬパーティション化への入門が説明される（ＶＣＬ＝ビデオコード化層）。

【0004】

一般に、ビデオコード化において、画像サンプルのコード化プロセスは、より小さいパーティション（仕切り）を必要とする。サンプルは、予測または変換の符号化などの共同の処理のために、いくつかの矩形のエリアに分割される。従って、画像は、ビデオシーケンスのエンコード化の間、一定である特定のサイズのブロックにパーティション分割される。Ｈ．２６４／ＡＶＣ規格において、１６×１６個のサンプルの固定サイズのブロック、いわゆるマクロブロックが使われる（ＡＶＣ＝高度ビデオコード化）。

【0005】

最新技術のＨＥＶＣ規格（非特許文献１を参照）において、６４×６４個のサンプルの最大のサイズのコード化ツリーブロック（ＣＴＢ）またはコード化ツリーユニット（ＣＴＵ）がある。ＨＥＶＣのより一層の説明において、そのような種類のブロックのために、より多くの共通項ＣＴＵが使われる。

【0006】

ＣＴＵは、ラスタ走査順に処理され、左上のＣＴＵから始まり、画像の中のＣＴＵをライン状に処理し、右下のＣＴＵに降りる。

【先行技術文献】

【非特許文献】

【0007】

【文献】[1] ISO/IEC, ITU-T. High efficiency video coding. ITU-T Rec ommendation H.265 | ISO/IEC 23008 10 (HEVC), edition 1, 2013; edition 2, 2014.

【発明の概要】

【発明が解決しようとする課題】

【0008】

コード化されたＣＴＵデータは、スライスと呼ばれる一種のコンテナの中へ整理される。元来、以前のビデオコード化規格において、スライスは、画像の１つ以上の連続的なＣＴＵを含むセグメントを意味する。スライスは、コード化されたデータのセグメントのために採用される。別の観点から、完全な画像は、また、１つの大きいセグメントとして定義でき、後に、歴史的に、スライスの用語はまだ用いられている。コード化された画像サンプル以外、スライスは、いわゆるスライスヘッダーの中へ置かれる、スライス自身のコード化プロセスに関連した追加の情報も含む。

【0009】

最新技術によると、ＶＣＬ（ビデオコード化層）は、フラグメンテーション（断片化）および空間のパーティション化のための技術も含む。そのようなパーティション化は、例えば、並列化における負荷バランス、ネットワーク伝送におけるＣＴＵサイズ整合、エラー緩和などを処理している間、様々な理由のためにビデオコード化において用いられる。

【0010】

それゆえに、この発明の目的は、ビデオエンコード化とビデオデコード化のための改善された概念を提供することである。

【課題を解決するための手段】

【0011】

この発明の目的は独立請求項の主なる事項により解決される。

【0012】

好ましい実施の形態は、従属請求項において提供される。

【発明の効果】

【0013】

この発明によれば、ビデオエンコード化とビデオデコード化のための改善された概念が得られる。

【図面の簡単な説明】

【0014】

以下において、この発明の実施の形態が、図面を参照して詳細に説明される。

【0015】

【図1】図１は、実施の形態に従うビデオエンコーダを示す。

【図2】図２は、実施の形態に従うビデオデコーダを示す。

【図3】図３は、実施の形態に従うシステムを示す。

【図4】図４は、タイル境界を生成する部分ＣＴＵを置き代えることによって影響さ れたＣＴＵを例示する。

【図5】図５は、部分ＣＴＵからの画像補償ごとのルマ（ｌｕｍａ）サンプルを示す 。

【図6】図６は、ＣＴＵグリッド整列不適合を示す。

【図7】図７は、グリッド不適合が影響したＣＴＵの比率を示す。

【図8】図８は、２つのセットのタイル境界を示す。

【図9】図９は、現在の画像の中の部分ＣＴＵの後の、参照画像の中の対応するＣＴ Ｕの列を示す。

【図10】図１０は、ビデオエンコーダを示す。

【図11】図１１は、ビデオデコーダを示す。

【図12】図１２は、一方で、再構成された信号、すなわち、再構成された画像と、 他方で、データストリームにおいて信号で伝えられた予測残留信号および予測信号の 結合との間の関係を示す。

【図13】図１３は、ラスタ走査順のスライスによる画像セグメント化を示す。

【図14】図１４は、タイルによる画像パーティション化を示す。

【発明を実施するための形態】

【0016】

図面の以下の説明は、この発明の実施の形態が組み込まれているコード化フレーム作業のための一例を形成するために、ビデオのコード化画像のためのブロックに基づいた予測的な符号器のエンコーダとデコーダの説明の提供で始まる。それぞれのエンコーダおよびデコーダは、図１０～図１２に関して説明される。以下において、図１～図３および後続の図面で説明された実施の形態も、図１０および図１１のエンコーダとデコーダの下にあるコーディングフレーム作業に従って動作していないエンコーダとデコーダを形成するために用いられるけれども、この発明の概念の実施の形態の記載が、そのような概念が図１０および図１１のエンコーダとデコーダにそれぞれどのように組み込まれているかについての説明と共に提供される。

【0017】

図１０は、ビデオエンコーダ、変換に基づいた残留コード化を例示的に使って、データストリーム１４の中へ画像１２を予測的にコード化するための装置を示す。装置、またはエンコーダは、符号１０を使って示される。図１１は、対応するビデオデコーダ２０、すなわち、変換に基づいた残留デコード化を使って、データストリーム１４から画像１２’を予測的にデコードするように構成された装置２０を示す。アポストロフィは、デコーダ２０によって再構成されるような画像１２’が、予測残留信号の量子化により導入されたコード化損失について、装置１０によってオリジナルの符号化された画像１２から派生することを示すために使用される。この応用の実施の形態は、この種類の予測残留コード化に限定されないけれども、図１０および図１１は、変換に基づいた予測残留コード化を例示的に使う。これは、以下で概説されるように、図１０および図１１について説明された他の詳細にも当てはまる。

【0018】

エンコーダ１０は、予測残留信号を空間からスペクトルへの変換に従属させて、従って、得られた予測残留信号を、データストリーム１４の中へ符号化するように構成される。同様に、デコーダ２０は、データストリーム１４から予測残留信号をデコードし、従って、得られた予測残留信号をスペクトルから空間への変換に従属させるように構成される。

【0019】

内部には、エンコーダ１０は、オリジナルの信号から、すなわち画像１２から予測信号２６の派生を測定するように、予測残留信号２４を生成する予測残留信号形成器２２を含む。予測残留信号形成器２２は、例えば、オリジナルの信号から、すなわち画像１２から予測信号を取り出す減算器である。エンコーダ１０は、エンコーダ１０にも含まれる量子化器３２によって、量子化に従属するスペクトル領域予測残留信号２４’を得るために、予測残留信号２４を空間からスペクトルへの変換に従属させている変換器２８をさらに含む。従って、量子化された予測残留信号２４’’はビットストリーム１４にコード化される。この目的のために、エンコーダ１０は、エントロピーが、データストリーム１４に変換されて、量子化されるように予測残留信号をコード化する、エントロピーコーダ３４を任意に含む。予測信号２６は、データストリーム１４の中へエンコードされ、かつ、データストリーム１４からデコードされた予測残留信号２４’’に基づいて、エンコーダ１０の予測ステージ３６によって生成される。この目的のために、予測ステージ３６は、図１０に示されるように、量子化損失を除いて信号２４’に対応するスペクトル領域予測残留信号２４’’’を得るために、予測残留信号２４’’を逆量子化する逆量子化器３８と、逆量子化器３８に後続して、量子化損失を除いてオリジナルの予測残留信号２４に対応する予測残留信号２４’’’’を得るために、後者の予測残留信号２４’’’を、逆変換すなわちスペクトルから空間への変換に従属させる逆変換器４０とを内部的に含む。予測ステージ３６の結合器４２は、再構成された信号４６、すなわちオリジナルの信号１２の再構成を得るために、加算などによって予測信号２６と予測残留信号２４’’’’を再結合する。再構成された信号４６は信号１２’に対応する。予測ステージ３６の予測モジュール４４は、例えば空間予測、すなわちイントラ画像予測および／または時間的な予測、すなわちインター画像予測を使って、信号４６に基づいて予測信号２６を生成する。

【0020】

同様に、デコーダ２０は、図１１に示すように、予測ステージ３６に対応する構成部品を内部に含み、予測ステージ３６に対応する方法でインター接続される。特に、デコーダ２０のエントロピーデコーダ５０は、量子化されたスペクトル領域予測残留信号２４’’をデータストリームからエントロピーデコードする。その上、逆量子化器５２、逆変換器５４、結合器５６および予測モジュール５８は、インター接続して、予測ステージ３６のモジュールについて上で説明した方法でインター接続され、かつ、協働して、予測残留信号２４’’に基づいて再構成された信号を回復する。その結果、図１１に示すように、結合器５６の出力が、再構成された信号、すなわち画像１２’を生じる。

【0021】

上で特に説明しないけれども、エンコーダ１０が、例えば、あるレートおよび歪みに関連した基準、すなわちコード化コストを最適化する方法で、いくつかの最適化計画などに従って、例えば、予測モード、および動作パラメータなどを含むいくつかのコード化パラメータを設定することは明らかである。例えば、エンコーダ１０およびデコーダ２０および対応するモジュール４４，５８は、それぞれイントラコード化モードやインターコード化モードなどの異なる予測モードを支援する。エンコーダおよびデコーダがこれらの予測モードのタイプの間で切り換わる粒状性は、コード化セグメントまたはコード化ブロックの中へ画像１２，１２’のサブ分割にそれぞれ対応する。これらのコード化セグメントのユニットにおいて、例えば、画像は、イントラコードされたブロックとインターコードされたブロックとにサブセグメントされる。イントラコードされたブロックは、以下により詳細に概説されるように、それぞれのブロックの既に符号化された／復号された近傍を、空間に基づいて予測される。いくつかのイントラコード化モードが存在し、それぞれのセグメントが、それぞれのイントラコード化セグメントの中へ、それぞれの方向のイントラコード化モードのために規定される、特定の方向に沿って近傍のサンプル値を外挿することによって満たされることに従う、方向のまたは角度のイントラコード化モードを含むそれぞれのイントラコードされたセグメントのために選択される。例えば、イントラコード化モードは、それぞれのイントラコードされたブロックのための予測が、ＤＣ値を、それぞれのイントラコードされたセグメント内の全てのサンプルへ割り当てることに従う、ＤＣコード化モードなどの１つ以上の別のモード、および／または、それぞれのブロックの予測が、近傍のサンプルに基づいて二次元線形機能によって定義された平面のドライブ傾きとオフセットとを持つ、それぞれのイントラコードされたブロックのサンプルポジションの上の二次元線形機能によって説明されたサンプル値の空間の分配であるように近似され、または、決定されることに従う、平面のイントラコード化モードを含む。それと比較して、例えば、インターコードされたブロックは、時間的に予測される。インターコードされたブロックのために、動作ベクトルは、データストリーム内で、信号で伝えられる。動作ベクトルは、画像１２が属するビデオの前にコードされた画像の一部分の空間の置換を指示する。前にコードされた／デコードされた画像は、それぞれのインターコードされたブロックのための予測信号を得るために、そこで抽出される。これは、データストリーム１４によって構成される残留信号コード化に加えて、量子化されたスペクトル領域予測残留信号２４’’を表すエントロピーコードされた変換係数レベルなど意味する。データストリーム１４は、コード化モードを様々なブロックに割り当てるため、それらの中へ符号化済みのコーディングモードパラメータ、および、インターコードされたセグメントのための動作パラメータなどのいくつかのブロックのための予測パラメータ、および、セグメントの中へ画像１２および画像１２’のサブセグメントをそれぞれ制御して信号で伝えるためのパラメータなどの任意の別のパラメータを持つ。デコーダ２０は、同じ予測モードをセグメントに割り当てるために、エンコーダがしたと同じ方法で画像をサブ分割するために、そして、同じ予測信号を結果として生じるように同じ予測を実行するために、これらのパラメータを用いる。

【0022】

図１２は、一方で、再構成された信号、すなわち再構成された画像１２’の間の関係を説明して、他方で、データストリーム１４の中の信号としての予測残留信号２４’’’’と予測信号２６との結合を説明する。既に上で表示したように、結合は加算である。予測信号２６は、図１２において画像エリアのサブ分割として、斜線を使って図示的に指示されるイントラコードされたブロック、および、斜線無しで図示的に指示されるインターコードされたブロックの中へ示される。サブセグメントは、矩形ブロックまたは非矩形ブロックの列と行の中への画像エリアの規則的なサブ分割、または、変化するサイズの複数のリーフブロックの中へのツリールートブロックからの画像１２のマルチツリーサブ分割のような幾つかのサブ分割である。その混合物は、図１２に示される。図１２において、画像エリアは、最初に、ツリールートブロックの列と行にサブ分割され、それから更に、１つ以上のリーフブロックの中へサブ分割化している再帰的なマルチツリーに従ってサブ分割される。

【0023】

また、データストリーム１４は、イントラコードされたブロック８０のために、そこへコードされたイントラコード化モードを持ち、いくつかの支援されたイントラコード化モードのうちの１つを、それぞれのイントラコードされたブロック８０に割り当てる。インターコードされたブロック８２のために、データストリーム１４は、そこへコードされる１つ以上の動作パラメータを持つ。一般的に言って、インターコードされたブロック８２は、時間的にコードされることに限定されない。代わりに、インターコードされたブロック８２は、画像１２が属するビデオの前にコードされた画像などの、現在の画像１２自身を越える、前にコードされた部分から予測されたブロック、あるいは、別の表示の画像、あるいは、それぞれスケール可変のエンコーダとデコーダであるエンコーダとデコーダの場合の階層的に下の層でもある。

【0024】

図１２の予測残留信号２４’’’’は、ブロック８４の中への画像エリアのサブセグメントとしても示される。これらのブロックは、コード化ブロック８０，８２から区別するために、変換ブロックと呼ばれる。効果において、図１２は、エンコーダ１０およびデコーダ２０が、それぞれ、ブロックの中への画像１２および画像１２’の２つの異なるサブ分割、すなわち、コード化ブロック８０，８２への１つのサブ分割化および変換ブロック８４への別のサブ分割を使うことを示す。両方のサブ分割は同じである。すなわち、それぞれのコード化ブロック８０，８２は、同時に変換ブロック８４を形成する。しかし、図１２は、例えば、変換ブロック８４へのサブ分割が、コード化ブロック８０，８２へのサブ分割の拡張を形成する場合を示す。従って、２つのブロック８０，８２の間のどの境界も、２つのブロック８４の間の境界をオーバーラップする。代わりに言うと、それぞれのブロック８０，８２は、変換ブロックのうちの１つに対応するか、または変換ブロック８４の群れに対応するかのいずれかである。しかし、サブ分割は、また、変換ブロック８４がブロック８０，８２の間のブロック境界を代わりに横切るように、互いに独立して決定または選択される。変換ブロック８４へのサブ分割が関係する限り、同様なステートメントが、ブロック８０，８２へのサブ分割について前面に出されたそれらとして、すなわち、ブロック８４が、（列および行への配置を持つまたは持たない）ブロックへの画像エリアの規則的なサブ分割の結果、または、画像エリアの再帰的なマルチツリーのサブ分割化の結果、または、それの結合、または、どのような他の種類のブロック類として当てはまる。余談であるが、ブロック８０，８２，８４が、二次式、矩形またはどのような他の形でも限定されないことに注目される。

【0025】

図１２は、予測信号２６と予測残留信号２４’’’’との結合が、再構成された信号１２’を直接結果として生じる、ことをさらに説明する。しかし、１つ以上の予測信号２６が、代わりの実施の形態に従って、画像１２’へ結果として生じるように、予測残留信号２４’’’’と結合することは注目するべきである。

【0026】

図１２において、変換ブロック８４は以下の意義をもつ。変換器２８および逆変換器５４は、これらの変換ブロック８４のユニットの中で、それらの変換を実行する。例えば、多くの符号器は、すべての変換ブロック８４のために、ある種類のＤＳＴまたはＤＣＴを使う。いくつかの符号器は、変換ブロック８４のうちのいくつかのために、予測残留信号が空間領域の中で直接にコードされるように、変換を省略することを許す。しかし、以下に説明される実施の形態に従って、エンコーダ１０およびデコーダ２０は、それらがいくつかの変換を支援するような方法で構成される。例えば、エンコーダ１０およびデコーダ２０により支援された変換は、以下のものを含む。

【0027】

〇 ＤＣＴ－ＩＩ（または、ＤＣＴ－ＩＩＩ）、ここで、ＤＣＴは離散余弦変換を表す。
〇 ＤＳＴ－ＩＶ、ここで、ＤＳＴは離散的正弦変換を表す。
〇 ＤＣＴ－ＩＶ
〇 ＤＳＴ－ＶＩＩ
〇 恒等変換（ＩＴ）

【0028】

もちろん、変換器２８が、これらの変換の前の変換バージョンの全てを支援する一方、デコーダ２０または逆変換器５４は、その対応する回帰または逆バージョンを支援する。

【0029】

〇 逆ＤＣＴ－ＩＩ（または、逆ＤＣＴ－ＩＩＩ）
〇 逆ＤＳＴ－ＩＶ
〇 逆ＤＣＴ－ＩＶ
〇 逆ＤＳＴ－ＶＩＩ
〇 恒等変換（ＩＴ）

【0030】

後続の説明は、変換が、エンコーダ１０およびデコーダ２０によって支援される、より多くの詳細を提供する。とにかく、支援された変換のセットが、１つのスペクトルから空間への変換、または、空間からスペクトルへの変換などの１つの変換を単に含むことに注目するべきである。

【0031】

既に上で概説したように、図１０～図１２は、例として、さらに以下に説明される発明の概念が、現在の応用に従って、エンコーダとデコーダのための具体的な例を形成するために実行されることを示す。今までのところ、図１０と図１１のエンコーダおよびデコーダは、それぞれ、ここ以下に説明されるエンコーダとデコーダの可能な実行を表す。しかし、図１０と図１１は例に過ぎない。現在の応用の実施の形態に従うエンコーダは、以下のより多くの詳細に概説された概念を使って、図１０のエンコーダなどと異なって、画像１２のブロックに基づいた符号化を実行する。例えば、それはビデオエンコーダではなく、静止画像エンコーダである。それはインター予測を支援しない。あるいは、ブロック８０の中へのサブ分割は、図１２において例証されるより異なる方法で実行される。同様に、現在の応用の実施の形態に従うデコーダは、さらに以下で概説されたコード化概念を使って、データストリーム１４から画像１２’のブロックに基づいたデコード化を実行する。図１０のエンコーダなどと異なって、画像１２のブロックに基づいた符号化を実行する。例えば、それは図１１のデコーダ２０と異なり、それはビデオデコーダではなく、静止画像デコーダである。それはイントラ予測を支援しない。あるいは、それは、図１２について説明されるより異なる方法で、画像１２’をブロックの中へサブセグメントする。および／または、それは、例えば、変換領域でなく空間領域のデータストリーム１４から予測残留を引き出す。

【0032】

スライスでパーティション化する画像が、今から簡単に説明される。

【0033】

Ｈ．２６３規格が開始すると、特定の走査順で、隣接するブロックを表しているデータのシーケンスが、スライスと呼ばれるグループの中へ組織される。一般に、画像の異なるスライスのＣＴＵの間、例えば予測とエントロピー符号化についての従属性は禁止される。従って、画像内のそれぞれのスライスは独立して再構成される。

【0034】

図１３は、ラスタ走査順のスライスによる画像セグメント化を示す。スライスのサイズは、ＣＴＵ（コード化ツリーユニット）の数、および、図１３に示されたスライスに属するそれぞれのコード化されたＣＴＵのサイズによって決定される。図１３は、５０個のＣＴＵ、例えばＣＴＵ２２１、ＣＴＵ２２４およびＣＴＵ２５１を含む。

【0035】

タイルでパーティション分割する画像は、図１４に関連して今から簡単に説明される。図１４は、５０個のＣＴＵ、例えばＣＴＵ２２３、ＣＴＵ２２７、およびＣＴＵ２４１を含む。

【0036】

概念は、Ｈ．２６４／ＡＶＣに追加されたフレキシブルなマクロブロックオーダリング（ＦＭＯ）にまったく類似であるけれども、タイルは、ＨＥＶＣにおいて導入された概念である。タイルの概念は、画像をいくつかの矩形の領域にセグメントすることを許す。

【0037】

従って、タイルは、図１４に示されるように、指定された高さと幅によって、オリジナルの画像を、列と行の与えられた数にそれぞれセグメントすることの結果である。その結果として、ＨＥＶＣビットストリーム内のタイルは、規則的なグリッドを形成する共通の境界を持つことを要求される。

【0038】

以下において、実施の形態に従う一般的なビデオエンコーダが図１３において説明される。実施の形態に従う一般的なビデオデコーダが図２において説明される。そして、実施の形態に従う一般的なシステムが図３において説明される。

【0039】

図１は、実施の形態に従う一般的なビデオエンコーダ１０１を示す。

【0040】

ビデオエンコーダ１０１は、符号化済みビデオ信号を生成することによって、ビデオの複数の画像を符号化するように構成される。複数の画像のそれぞれは、オリジナルの画像データを含む。

【0041】

ビデオエンコーダ１０１は、符号化済み画像データを含む、符号化済みビデオ信号を生成するために構成されたデータエンコーダ１１０を含む。データエンコーダは、符号化済み画像データに、ビデオの複数の画像を符号化するように構成される。

【0042】

さらに、ビデオエンコーダ１０１は、複数の画像のそれぞれの符号化済み画像データを出力するために構成された出力インターフェイス１２０を含む。

【0043】

図２は、実施の形態に従う一般的なビデオデコーダ１５１を示す。

【0044】

ビデオデコーダ１５１は、ビデオの複数の画像を再構成するために、符号化済み画像データを含む符号化済みたビデオ信号を、復号するために構成される。

【0045】

ビデオデコーダ１５１は、符号化済みビデオ信号を受信するために構成された入力インターフェイス１６０を含む。

【0046】

さらに、ビデオデコーダは、符号化済み画像データを復号することによって、ビデオの複数の画像を再構成するために構成されたデータデコーダ１７０を含む。

【0047】

図３は、実施の形態に従う一般的なシステムを示す。

【0048】

システムは、図１のビデオエンコーダ１０１、および、図２のビデオデコーダ１５１を含む。

【0049】

ビデオエンコーダ１０１は、符号化済みビデオ信号を生成するように構成される。ビデオデコーダ１５１は、ビデオの画像を再構成するために、符号化済みビデオ信号を復号するように構成される。

【0050】

この発明の第１の面は、請求項１ないし請求項５において、請求項４５ないし請求項４９において、および、請求項８９ないし請求項９３において要求される。

【0051】

この発明の第２の面は、請求項６ないし請求項１３において、請求項５０ないし請求項５７において、および、請求項９４ないし請求項９８において要求される。

【0052】

この発明の第３の面は、請求項１４ないし請求項１８において、請求項５８ないし請求項６２において、および、請求項９９ないし請求項１０３において要求される。

【0053】

この発明の第４の面は、請求項１９ないし請求項２２において、請求項６３ないし請求項６６において、および、請求項１０４ないし請求項１０８において要求される。

【0054】

この発明の第５の面は、請求項２４ないし請求項２７において、請求項６８ないし請求項７１において、および、請求項１０９ないし請求項１１３において要求される。

【0055】

この発明の第６の面は、請求項２８ないし請求項３２において、請求項７２ないし請求項７６において、および、請求項１１４ないし請求項１１８において要求される。

【0056】

この発明の第７の面は、請求項３３および請求項３４において、請求項７７および請求項７８において、および、請求項１１９ないし請求項１２３において要求される。

【0057】

この発明の第８の面は、請求項３５ないし請求項３８において、請求項７９ないし請求項８２において、および、請求項１２４ないし請求項１２８において要求される。

【0058】

この発明の第９の面は、請求項４０ないし請求項４４において、請求項８４ないし請求項８８において、および、請求項１２９ないし請求項１３３において要求される。

【0059】

請求項２３、請求項３９、請求項６７、および、請求項８３は、例えば、この発明の異なる面のために使用される、特定の例を要求する。

【0060】

以下において、実施の形態に従って、フレキシブルにサイズ化された画像パーティションのために取り扱う複雑さの詳細が説明される。

【0061】

タイルは、ＨＥＶＣにおいて、画像のためのサブセグメント構造として規定される。それらは、画像パラメータセット（ＰＰＳ）において定義される。そこで、それらの次元が与えられる。タイルは、いま定義されたように、ＣＴＵ（一般に６４個のサンプル）の倍数であるサイズを持つ。画像の最後のタイルのみ、すなわち、右または底の境界でのタイルのみが、６４個より少ない右および底の画像境界でのそれらのＣＴＵを持ことを許される。

【0062】

しかし、そのような制限は、２，３の使用ケースを防止する。

【0063】

ＭＣＴＳビットストリームのマージ：オリジナルの画像境界が、マージされた（１つにされた）ビットストリームの中の画像境界でないように、単一のビットストリーム内で一緒にマージされるビットストリームは、ＣＴＵのために選んだサイズの倍数であることを必要とする。

【0064】

適切な負荷バランス化、そこで、タイルは、予め決められたサイズ（ＣＴＵサイズ）の倍数で、必ずしもそうとは限らないで内容に順応する。

【0065】

さらに、ＪＶＥＴ－多用途ビデオコード化によって開発された現在のビデオコード化規格は、ＣＴＵのより大きい値（最高は１２８個）を許す。それは、ＣＴＵの倍数ではないタイルを許すことをいっそう重要にする。要求された機能が必要であるかどうかに基づいて、部分ＣＴＵを定義することは、可能であるけれども、そのような場合のためのコード化効率に影響する。それでも、タイルが、決定されたサイズの完全な数のＣＴＵを含むことを許すのではなく、タイルの最も右のＣＴＵかつ底の境界のＣＴＵが、より少ないことを許すことが望ましい。

【0066】

しかし、そのような機能が許されるとき、異なる面はデコード化プロセスに影響する。

【0067】

以下において、画像内の部分ＣＴＵの複雑さを制御することが説明される。

【0068】

特に、この発明の第１の面が、今から詳細に説明される。

【0069】

現在、全てのＣＴＵは、同じサイズである。プロセッサは、予め決められたサイズの構成を復号するために最適である。可変のサイズが、デコーダのための複雑さ増加を課すこと、を許す。特に、ＣＴＵの数は、画像から画像へ変化することができる。

【0070】

現在の発明の第１の面は、そのような可変のサイズ化されたＣＴＵが、それぞれのタイル内で許されるとき、制限が、可変のサイズ化されたＣＴＵの数を、画像から画像へ一定に保持することを満たされること、を必要とすることである。

【0071】

第１の面において、制限が常に適用される。

【0072】

図４は、タイル境界を生成する部分ＣＴＵに置き代わることによって、影響されたＣＴＵを示す。

【0073】

仮にタイルのサイズが、予め決められたＣＴＵのサイズの倍数ではないならば、予め決められたＣＴＵのサイズより小さい可変のサイズ化されたＣＴＵが導入される。図４に示されるように、画像のそれぞれにおいて、同じ数のそのような可変のサイズ化されたＣＴＵを持つことが、ビットストリーム一致の要件である。

【0074】

さらに、この特性は、ｎｕｍ＿ｐａｒｔｉａｌ＿ｃｔｕｓ＿ｃｏｎｓｔａｎｔ＿ｆｌａｇを指示する、パラメータセットの中のフラグを使って、デコーダに信号で伝えられる。

【0075】

この発明の第２の面が、今から詳細に説明される。

【0076】

第２の面は、それらの複雑さの影響力において、タイル境界を生成する部分ＣＴＵを、規則的なタイル境界から区別する。デコーダが、時間ユニット毎に、復号されたペル（ｐｅｌ）の最大量のためにレベル制限をチェックするとき、それは部分ＣＴＵのための複雑さ因子を加算する。例えば、仮に可変のサイズ化されたＣＴＵであることが、タイル境界によって、サイズにおいて制限されないならば、部分ＣＴＵは、その実際のサイズの１．５倍で、または、予め決められたＣＴＵのサイズのペルの数でカウントされる。これは、画像のサイズ制限が部分ＣＴＵの存在によって影響される、ことを意味する。例えば、仮に全てのＣＴＵが、同じサイズであるならば、デコーダのための画像制限は、１秒毎に５０個のフレームで４０９６×２１６０個である。しかし、仮に、定義される全ての５×４個のタイルが、右および底の境界での部分ＣＴＵ、すなわち２０個の部分ＣＴＵを持つならば、制限は、同じフレームレートで４０５６×２１２８個である。

【0077】

図５は、部分ＣＴＵからの画像補償ごとのルマ（ｌｕｍａ）サンプルを示す。特に、複雑さ順応画像エリアが、図５に示される。

【0078】

さらに、可変のサイズ化されたＣＴＵのサイズに対する下限は、どの方向においても、１つのサンプルと予め決められたＣＴＵサイズとの間のサイズをもつ小さい可変のＣＴＵを恣意的に許す、ことを反対するように、参照画像の動作ベクトルまたは置換情報が、コード化プロセスにおいて、例えば１６×１６個のサンプルの粒状性を持って格納されることによって、粒状性とみなすことを課される。可変のサイズ化されたＣＴＵは、２つのＣＴＵが同じ動作ベクトル格納ユニットの範囲内に存在しないように、例えば動作ベクトル格納粒状性から指示されるか、または引き出されるべき、予め決められた最小のＣＴＵサイズより小さいことを許されない。

【0079】

この発明の第３の面が、今から詳細に説明される。

【0080】

そのような別の独立した第３の面において、部分ＣＴＵの存在は、タイルの複雑さの信号化のために考慮される。例えば、ＨＥＶＣは、タイルを含む空間のセグメントの複雑さを説明するＶＵＩの中に、パラメータのｍｉｎ＿ｓｐａｔｉａｌ＿ｓｅｇｍｅｎｔａｔｉｏｎ＿ｉｄｃを含む。現在、タイルに適用されるとき、それは、「（４＊ＰｉｃＳｉｚｅＩｎＳａｍｐｌｅｓＹ）／（ｍｉｎ＿ｓｐａｔｉａｌ＿ｓｅｇｍｅｎｔａｔｉｏｎ＿ｉｄｃ＋４）より多いルマサンプルを含むＣＶＳ（コード化されたビデオシーケンス）の中にタイルがない」ことを暗示する。さらに、この発明の一部分として、複雑さの信号化は、最大のタイルのサイズ、および／または、デフォルトＣＴＵのサイズと部分ＣＴＵのサイズとの間の関係に従属する、部分ＣＴＵの与えられた数より多く含まないように、タイルのために制限する。代わりに、追加のパラメータが、画像において許された部分ＣＴＵの相対的な量を指示するＶＵＩにおいて信号で伝えられる。

【0081】

以下において、実施の形態は、ＣＴＵ境界が画像から画像へ変わることができることを説明する。

【0082】

特に、この発明の第４の面が、今から詳細に説明される。

【0083】

仮にタイルが、予め定義されたＣＴＵサイズよりより小さい粒状性で終わる、それらの右／底の境界を持ち、後続のタイルが、予め定義されたサイズのＣＴＵで始まるならば、タイルセットアップが画像から画像へ変わるとき、画像を横切るＣＴＵの整列は、達成されないで、時間的な動作ベクトル予測を使うなど、ある予測的なコード化のために有害である。メモリ管理はより難しく、画像から画像への生成するＣＴＵの境界の誤った整列の柔軟性を制限することが望ましい。

【0084】

第４の面は、部分ＣＴＵを生成するどのタイル境界でも、それが、同じビデオシーケンス内の異なる画像で、同じスプリット比率で、部分ＣＴＵを生成する、位置に動くことができるだけであることを強制するべきである。これは、図６に示されるように、初期の最後のＣＴＵポジションおよび修正された最後のＣＴＵポジションからの範囲によってカバーされなかったエリアの中の整列されたＣＴＵを持つことを許す。

【0085】

図６は、ＣＴＵグリッド整列不適合を示す。

【0086】

この発明の第５の面が、今から詳細に説明される。

【0087】

第５の面において、制限は、図７に示されるように、グリッド不適合が、部分タイル境界を変更することを伴って画像の間に生じる、ブロックのレートのために適用される。この強制は、与えられたプロフィール／レベルのためのデフォルト方法の中で定義されるか、または、ビットストリームの中の構文要素、例えばｎｕｍ＿ｍｉｓａｌｉｇｎｅｄ＿ｃｔｕｓ＿ｐｅｒ＿ｐｉｃｔｕｒｅとして指示されるかいずれかである。図７は、グリッド不適合が影響したＣＴＵの比率を示す。

【0088】

代わりに、部分（境界）ＣＴＵの数が同じ比率で一定のままである、ここに説明された強制は、タイル境界の指示が柔軟なままであるけれども、強制を果たす必要がある、簡素な強制指示、例えばｍｉｓａｌｉｇｎｍｅｎｔ＿ｃｏｎｓｔａｎｔ＿ｆｌａｇとして実施されるか、または、少ない柔軟な方法によって達成される。

【0089】

この発明の第６の面が、今から詳細に説明される。

【0090】

第６の面において、ＣＴＵの誤った整列は、完全に避けられる。２つのセットのタイル境界が定義される。第１のセットのタイル境界は、従来のタイル境界に対応する。
・エントロピー符号化リセット
・イントラ予測制限
・走査順変換
そして、さらに、第１のセットのタイルは、右および底のタイル境界で、部分ＣＴＵを生成することを許す。

【0091】

第２のセットのタイル境界は、右および／または底のタイル境界で、すなわち、前記タイル境界の左および／または上へ、部分ＣＴＵを生成するだけであり、エントロピー符号化リセットまたはイントラ予測または走査順の変換を暗示しない。従って、画像内の部分ＣＴＵの位置は、実際のタイルの構成が、時間を切り換えることを許される間、静的であり続けることができる（そして強制する）。

【0092】

図８は、２つのセットのタイル境界を示す。ＣＶＳ内で、ポジションを変更するタイル境界は、新しい部分タイルを生成することを許されない。図８は、第１のセットのタイル境界が、時間瞬間Ｔ－１から時間瞬間Ｔへポジションを変更し、新しい第２のセットのタイル境界が、たとえ走査順およびエントロピー符号化およびイントラ予測に変化が起きても、時間瞬間Ｔ－１と同様な時間瞬間Ｔで、部分ＣＴＵのポジションを維持するように導入される、異なる時間瞬間の２つの画像に基づいた発明を示す。

【0093】

この発明の第７の面が、今から詳細に説明される。

【0094】

別の独立した実施の形態において、問題は、ラインバッファ要件において、複雑さの影響力を減らすように部分ＣＴＵの導入に取り組まれる。

【0095】

図９は、現在の画像の中の部分ＣＴＵの後の、参照画像の中の対応するＣＴＵの列を示す。

【0096】

図９に示されるように、１つの画像の中の部分ＣＴＵの水平の列は、部分ＣＴＵの列なしで、参照画像についてＣＴＵグリッドの誤った整列を導く。単一の列（現在のＣＴＵの列）は、ＡＴＭＶＰ（二者択一の時間動作ベクトル予測）などのツールのために、２つのＣＴＵの列のＣＵ（ＣＵ＝コード化ユニット）にアクセスする。配列されたＣＴＵの列は、しばしば、ハードウェア実行（ラインバッファとして参照）の中のコスト集約高速メモリにおいてキャッシュされるので、多数のＣＴＵの列をこのキャッシュの中に保持することは、望ましくない。従って、画像を横切るＣＴＵの列の整列を、タイル境界を生成する部分ＣＴＵの存在の中に維持するために、別の制限は、それらの上の部分ＣＴＵを生成する水平のタイル境界が、コード化されたビデオシーケンスの間、変わることを許さず、それゆえ静的であることである。

【0097】

以下において、実施の形態に従う、配列されたＣＴＵからの予測子派生が説明される。

【0098】

特に、この発明の第８の面が、今から詳細に説明される。

【0099】

ＴＭＶＰ（時間動作ベクトル予測）およびＡＴＭＶＰ派生は、現在、予め定義されたＣＴＵのサイズに従属し、すなわち、画像の上の一定のＣＴＵグリッドを使う。

【0100】

ＴＭＶＰに対して、
仮に、ｙＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹが、ｙＣｏｌＢｒ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹと等しいならば、ｙＣｏｌＢｒは、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより少なく、ｘＣｏｌＢｒは、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより少ない。
（すなわち、仮に参照画像の右底のＣＢが、同じＣＴＵの列の中にあるならば、後に、それはラインバッファメモリーの中にキャッシュされる。）

【0101】

そして、右底に配列された予測子が取られる。さもなければ（仮に、参照画像の右底のＣＢが、同じＣＴＵの列の中でＮＯＴであるならば、後に、それはラインバッファの中でＮＯＴである）、センターに配列された予測子が取られる。

【0102】

ＡＴＭＶＰに対して、ＣｏｌＰｉｃの内側に配列されたサブブロックの位置（ｘＣｏｌＳｂ、ｙＣｏｌＳｂ）は次の通り引き出される。
ｘＣｏｌＳｂ＝Ｃｌｉｐ３（ｘＣｔｂ、Ｍｉｎ（ＣｕｒＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＹ－１、ｘＣｔｂ＋（１＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ）＋３）、ｘＳｂ＋（ｔｅｍｐＭｖ［０］＞＞４））
ｙＣｏｌＳｂ＝Ｃｌｉｐ３（ｙＣｔｂ、Ｍｉｎ（ＣｕｒＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＹ－１、ｙＣｔｂ＋（１＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ）－１）、ｙＳｂ＋（ｔｅｍｐＭｖ［１］＞＞４））

【0103】

すなわち、配列されたサブブロックの座標は、同じＣＴＵの列の内側へあるように、それぞれの次元において切り取られる。同じラインバッファの考慮が当てはまる。

【0104】

ＴＭＶＰおよびＡＴＭＶＰの両方は、配列されたブロックおよびサブブロックの派生のために、コード化された画像の全てのサンプルを、コード化されたブロックに分割する、予め定義されたＣＴＵのサイズＣｔｂＬｏｇ２ＳｉｚｅＹを使う。

【0105】

部分ＣＴＵを生成することを許されるタイル境界のため、ＣＴＵグリッドは一定ではなく、画像から画像へ変化し、図９に示すように変化する数のＣＴＵの列の間のオーバーラップを生成する。この発明のこの部分において、現在の画像のＣＴＵグリッドは、バッファ管理および予測子アクセスを組織するために、基準のフレームの上に課される。すなわち、現在の局所の部分ＣＴＵの次元またはサイズは、（画像を横切る一定の最大のＣＴＵサイズと対比されるように）使用された（配列された）参照画像の中の参照されたエリアを選択するために適用される。

【0106】

ＴＭＶＰのために、この発明の１つの実施の形態は下記である。

【0107】

ｙＴｉｌｅＳｔａｒｔおよびｘＴｉｌｅＳｔａｒｔは、タイル開始および配列されたブロックに対応して関連する現在のコード化ブロックのサンプルポジションに対応する、ｙＣｂＩｎＴｉｌｅおよびｘＣｂＩｎＴｉｌｅによって現在のコード化ブロックを運営する与えられたタイルの左上のサンプルポジションに対応する。

【0108】

（違いは太い活字体で強調される）：
ｙＣｂＩｎＴｉｌｅ＝ｙＣｂ－ｙＴｉｌｅＳｔａｒｔ
ｙＣｏｌＢｒＩｎＴｉｌｅ＝ｙＣｏｌＢｒ－ｙＴｉｌｅＳｔａｒｔ
ＣｔｂＬｏｇ２ＨｅｉｇｈｔＹ（ｙ）は、それぞれのＣＴＵの列の高さを説明する。
仮に、ｙＣｂＩｎＴｉｌｅ＞＞ＣｔｂＬｏｇ２ＨｅｉｇｈｔＹ（ｙＣｂＩｎＴｉｌｅ）が、ｙＣｏｌＢｒＩｎＴｉｌｅ＞＞ＣｔｂＬｏｇ２ＨｅｉｇｈｔＹ（ｙＣｂＩｎＴｉｌｅ）と等しいならば、ｙＣｏｌＢｒは、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより少なく、ｘＣｏｌＢｒは、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓより少ない。

【0109】

そして、右底に配列された予測子が取られる。さもなければ、センターに配列された予測子が取られる。

【0110】

ＡＴＭＶＰのために、調整されたクリップ操作の形式の実施の形態は、次の通りである。
ＣｏｌＰｉｃの内側に配列されたサブブロックの位置（ｘＣｏｌＳｂ、ｙＣｏｌＳｂ）は、次の通り引き出される。
ｘＣｏｌＳｂ＝Ｃｌｉｐ３（ｘＣｔｂ、Ｍｉｎ（ＣｕｒＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＹ－１、ｘＣｔｂ＋（１＜＜ＣｔｂＬｏｇ２ＷｉｄｔｈＹ（ｘＣｔｂ））＋３）、ｘＳｂ＋（ｔｅｍｐＭｖ［０］＞＞４））
ｙＣｏｌＳｂ＝Ｃｌｉｐ３（ｙＣｔｂ、Ｍｉｎ（ＣｕｒＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＹ－１、ｙＣｔｂ＋（１＜＜ＣｔｂＬｏｇ２ＨｅｉｇｈｔＹ（ｙＣｔｂ））－１）、
ｙＳｂ＋（ｔｅｍｐＭｖ［１］＞＞４））

【0111】

以下において、サブ画像態様コード化ツール制限指示が説明される。

【0112】

特に、この発明の第９の面が、今から詳細に説明される。

【0113】

以前のビデオコード化規格において、サブ画像（例えば、スライスまたはタイル）態様コード化制限は、次の通り区別される。
Ｉ＿ＳＬＩＣＥ－イントラコード化（通常、ランダムアクセスポイント）は、他の画像に対する基準を使わない。
Ｐ＿ＳＬＩＣＥ－予測的なコード化。動作補償予測のための１つの参照画像リストから１つの画像を使いなさい。
Ｂ＿ＳＬＩＣＥ－２つの参照画像リストを持つ双予測的なコード化。両方リストの中の画像から動作補償予測を結合することを許す。

【0114】

この文脈の中の用語のスライスまたはタイルは、交換可能である。すなわち、ビットストリームの中の連続的なＣＴＵのグループは、単一のコード化された画像に属し、一緒にコード化されたエントロピーである。

【0115】

この違いは、２つのことを許す。すなわち、
－スライスまたはタイルのヘッダーの構成要素の分析化から、すぐ上のそれぞれのサブ画像の構成要素の分析化およびデコード化プロセスを制御すること、および
－例えばＢ＿ＳＬＩＣＥＳなどの計算的に複雑なタイプの使用を禁止することによって、そのようなタイプに基づいてプロファルすること。

【0116】

タイプ指示は、また、それぞれのタイプ、例えば、最も限定されたタイプであるＩ＿ＳＬＩＣＥタイプ、および、１つの参照画像を使って、インター予測を含むように制限を緩和するＰ＿ＳＬＩＣＥタイプ、および、提供順と異なる画像のビットストリーム順を許すことによって、時間的に先行および後続する画像の両方から基準を含むための別の制限を緩和するＢ＿ＳＬＩＣＥタイプと関連した制限の袋と解釈できる。

【0117】

以下の問題が生じる。
－Ｉ＿ＳＬＩＣＥタイプは、参照として、現在のコード化された画像を使う予測に基づいた、「動作」補償された、または、翻訳補償されたブロックのようなＰ＿ＳＬＩＣＥタイプである、「現在の画像の参照化」も含む。
－Ｐ＿ＳＬＩＣＥは、もう頻繁に使用されず、応用において、Ｂ＿ＳＬＩＣＥによって大抵置き代えられる。
－インター予測は、２つの参照フレームの使用を越えて発展する。

【0118】

現在の画像の参照化は、上を参照する通り、従来のイントラ予測と比較して、デコード化プロセスに追加の複雑さを課す。従来、イントラ予測は、例えば内挿を通じて予測されたブロックのサンプル値を生成するために、現在予測されたブロック、例えば直接近傍のサンプル、または、いわゆるマルチ参照ライン予測において、直接近傍のサンプルの少ない数（例えば３つ）のラインに直ぐ近くの、現在の画像内のサンプル値にだけ依存する。他方の現在の画像の参照化は、基準ブロックのサンプル値が、現在のブロックの位置にコピーされる、ビデオシーケンスのフレームの間のインター予測において、以前に使用されただけのメカニズムに依存する。この技術の中の予測子を生成するためにアクセスされたサンプルの量は、正規のイントラ予測よりずっと高い。そのために、予測子のサンプルは、比較されたずっと少ないアクセスされたサンプルから引き出されるだけでなく、適した動作ベクトルまたは置換情報を引き出すためのエンコーダ側での検索はずっと高い。さらに、参照画像は、参照のために、現在の画像の上における、これまでより大きい領域、すなわち再構成された領域の利用可能性をもたらすために、現在の画像のデコード化プロセスに沿ってアップデートされる必要がある。

【0119】

この発明の１つの実施の形態において、上記のタイプ区別を使う代わりに、実際の課されたツール制限が、（タイル）ヘッダーにおいて信号で伝えられる。

【0120】

１）フラグは、現在の画像より他に参照画像の使用が使われるかどうかを指示するように、使用される（イントラ／インタースイッチ）。

【0121】

２）フラグは、現在の画像の参照化の使用を指示するように使用される（現在のコード化された画像を使うインター予測）。これは、イントラ／インター選択に従属して信号で伝えられる。

【0122】

３）構文要素は、予測プロセスにおいて使われる、参照画像リストの数を指示するように、信号で伝えられる。現在の画像の参照化のみが使われる場合において、この構文要素は１に等しいと推定される。他の場合において、１の値は、以前にＰ＿ＳＬＩＣＥタイプであったものに適用される一方、２の値は、以前のＢ＿ＳＬＩＣＥタイプに適用される。追加の値は、例えば、マルチ仮説予測を指示するために使用される。
例示の構文は表１の通りである。

【0123】

【表1】

【0124】

１と等しいｃｕｒｒｅｎｔ＿ｐｉｃｔｕｒｅ＿ｏｎｌｙ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇは、参照として現在の画像を使うことのみが許される、ことを指示する。これは従来のＩ＿ＳＬＩＣＥタイプと同様である。

【0125】

１と等しいｃｕｒｒｅｎｔ＿ｐｉｃｔｕｒｅ＿ｉｎｔｅｒ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇは、現在の画像がインター予測のために利用可能である、ことを指示する（「現在の画像の参照化」または「イントラブロックコピー」ツール）。

【0126】

ｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ａｃｔｉｖｅは、能動的な参照画像リストの数を指示する。
仮に、ｃｕｒｒｅｎｔ＿ｐｉｃｔｕｒｅ＿ｏｎｌｙ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇが１と等しく、
ｃｕｒｒｅｎｔ＿ｐｉｃｔｕｒｅ＿ｉｎｔｅｒ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇが０と等しいならば、
ｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ａｃｔｉｖｅは、０に能動的である（そして、ビットストリームから除外される）。
仮に、ｃｕｒｒｅｎｔ＿ｐｉｃｔｕｒｅ＿ｏｎｌｙ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇが０と等しいならば、
１と等しいｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ａｃｔｉｖｅは、Ｐ＿ＳＬＩＣＥと同様なタイルタイプを指示し、
２と等しいｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ａｃｔｉｖｅは、Ｂ＿ＳＬＩＣＥと同様なタイルタイプを指示し、
２より大きいｎｕｍ＿ｒｅｆ＿ｐｉｃ＿ｌｉｓｔｓ＿ａｃｔｉｖｅは、例えばマルチ仮説インター予測のために、より多くの参照画像リストの使用を指示するように使用される。

【0127】

装置の文脈の中で、いくつかの面が説明されたけれども、これらの面が、対応する方法の説明も表していることは明確である。ブロックまたはデバイスは、方法ステップまたは方法ステップの機能に対応する。相似して、方法ステップの文脈の中で説明された面も、対応する装置の対応するブロックまたはアイテムまたは機能の説明を表す。いくつかのまたは全ての方法ステップは、例えばマイクロプロセッサー、プログラム化可能なコンピュータまたは電子回路のような、ハードウェア装置（または、使うこと）によって実行される。いくつかの実施の形態において、最も重要な方法ステップのうちの１つ以上は、そのような装置によって実行される。

【0128】

特定の実現要求に従属することによって、この発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、または、少なくとも部分的にハードウェアにおいて、または、少なくとも部分的にソフトウェアにおいて実現できる。実現は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協力して（または、協力する可能性がある）、それに格納された電子的に読み取り可能な制御信号を持つデジタルの格納媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使って実行できる。従って、デジタルの格納媒体は、コンピュータが読み取り可能である。

【0129】

この発明に従ういくつかの実施の形態は、ここに説明された方法のうちの１つが実行されるように、プログラム化可能なコンピュータシステムと協力する可能性がある、電子的に読み取り可能な制御信号を持つデータキャリアを含む。

【0130】

一般に、この発明の実施の形態は、プログラムコードを持つコンピュータプログラム製品として実施できる。プログラムコードは、コンピュータプログラム製品がコンピュータ上を稼働するとき、方法のうちの１つを実行するために操作される。プログラムコードは、例えば、機械が読み取り可能なキャリアの上に格納される。

【0131】

他の実施の形態は、機械読み取り可能なキャリアに格納された、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0132】

すなわち、この発明の方法の実施の形態は、従って、コンピュータプログラムがコンピュータ上を稼働するとき、ここに説明された方法のうちの１つを実行するためのプログラムコードを持つコンピュータプログラムである。

【0133】

この発明の方法の別の実施の形態は、従って、その上に記録された、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（または、デジタルの格納媒体、または、コンピュータが読み取り可能な媒体）である。データキャリアまたはデジタルの格納媒体または記録された媒体は、一般に、有形および／または非一時的である。

【0134】

この発明の方法の別の実施の形態は、従って、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたはシーケンスの信号である。データストリームまたはシーケンスの信号は、データ通信接続を経て、例えばインターネットを経て、転送されるように構成される。

【0135】

別の実施の形態は、ここに説明された方法のうちの１つを実行するように構成または適用された、処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。

【0136】

別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを、その上にインストールしているコンピュータを含む。

【0137】

この発明に従う別の実施の形態は、ここに記述された方法のうちの１つを実行するためのコンピュータプログラムを、レシーバーに転送（例えば、電子的にまたは光学的に）するように構成された装置またはシステムを含む。レシーバーは、例えば、コンピュータ、モバイルデバイス、メモリデバイス、または同類である。装置またはシステムは、例えば、コンピュータプログラムをレシーバーに転送するためのファイルサーバーを含む。

【0138】

いくつかの実施の形態において、プログラム可能な論理デバイス（例えば、フィールドプログラム可能なゲートアレイ）は、ここに説明された方法の機能のうちのいくつかまたは全てを実行するために使用される。いくつかの実施の形態において、フィールドプログラム可能なゲートアレイは、ここに説明された方法のうちの１つを実行するために、マイクロプロセッサーと協力する。一般に、方法は、どのようなハードウェア装置によっても、好んで実行される。

【0139】

ここに説明された装置は、ハードウェア装置を使って、または、コンピュータを使って、または、ハードウェア装置とコンピュータとの結合を使って実施される。

【0140】

ここに説明された方法は、ハードウェア装置を使って、または、コンピュータを使って、または、ハードウェア装置とコンピュータとの結合を使って実行される。

【0141】

上記の説明された実施の形態は、単に、本発明の原則のために示される。ここに説明された配列および詳細の、部分修正と変形とが、他の当業者に明白であることは理解される。従って、ここの実施の形態の記述および説明の方法で提供された特定の詳細によってではなく、今にも起こりそうな特許の請求項の範囲のみによって制限されることが、意思である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】