(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024020281
(43)【公開日】2024-02-14
(54)【発明の名称】ブロック統合およびスキップモードをサポートする画像符号化
(51)【国際特許分類】
H04N 19/70 20140101AFI20240206BHJP
H04N 19/96 20140101ALI20240206BHJP
H04N 19/52 20140101ALI20240206BHJP
【FI】
H04N19/70
H04N19/96
H04N19/52
【審査請求】有
【請求項の数】35
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023188257
(22)【出願日】2023-11-02
(62)【分割の表示】P 2021044196の分割
【原出願日】2011-11-04
(31)【優先権主張番号】61/410,246
(32)【優先日】2010-11-04
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】515089080
【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー
【住所又は居所原語表記】1 Research Circle,Niskayuna,NY 12309,USA
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】シュヴァルツ ハイコ
(72)【発明者】
【氏名】キルヒホーファー ハイナー
(72)【発明者】
【氏名】ヘレ フィリップ
(72)【発明者】
【氏名】オーディン ジーモン
(72)【発明者】
【氏名】シュテーゲマン ヤン
(72)【発明者】
【氏名】ブロス ベンヤミン
(72)【発明者】
【氏名】マルペ デトレフ
(72)【発明者】
【氏名】ウィーガント トーマス
(57)【要約】 (修正有)
【課題】統合のアクティブ化とスキップモードのアクティブ化の両方に関してビットストリームの中で共通の信号化を使用することにより符号化効率を増大させる装置を提供する。
【解決手段】符号化器10は、共通のフラグが、現在のサンプルセット40と関連した符号化パラメータが統合候補に従ってセットされるか又はビットストリーム30から取り出されることになるかどうか及び画像20の現在のサンプルセットが、いかなる残差データもなしで、現在のサンプルセットと関連した符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか又はビットストリーム30の中の残差データによって現在のサンプルセットと関連した符号化パラメータに応じた予測信号をリファインすることによって再構築されることになるかを共通に信号化する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像(20)が内に符号化されるビットストリーム(30)を復号化するように構成された装置であって、前記画像の前記サンプルアレイは、各々が各符号化パラメータと関連するサンプルセットに分割され、前記装置は、現在のサンプルセットに関して、前記現在のサンプルセットと関連付けられた前記符号化パラメータが、統合候補に従ってセットされることになるか、または、前記ビットストリーム(30)から取り出されることになるかについての第1の決定、および、前記画像(20)の前記現在のサンプルセットが、いかなる残差データもなしで、前記現在のサンプルセットと関連付けられた前記符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、前記ビットストリーム(30)の内の残差データによって、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータに応じた前記予測信号をリファインすることによって再構築されることになるかについての第2の決定に関する前記ビットストリーム(30)の内のフラグに共通に応答するように構成されることを特徴とする、装置。
【請求項2】
前記装置は、前記復号化器が、
前記ビットストリーム(30)の内の前記フラグが、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータが統合候補に従って設定されることになることをシグナリングする場合、
統合候補に従って前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータを設定することによって前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータを得て、いかなる残差データもなしで、前記符号化パラメータに応じた予測信号のみに基づいて前記画像(20)の前記現在のサンプルセット(40)を再構築し、そして、
前記ビットストリームの内の前記フラグが、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータが統合候補に従って設定されることになることをシグナリングしない場合、
別のフラグに応じて、前記装置が、
前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータを統合候補に従って設定することによって得て、前記ビットストリーム(30)から前記現在のサンプルセット(40)の残差データを取得し、前記予測信号および前記残差データに基づいて前記画像(20)の前記現在のサンプルセット(40)を再構築する、または、
前記ビットストリーム(30)から前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータを抽出し、前記ビットストリーム(30)から前記現在のサンプルセット(40)についての残差データを得て、前記予測信号および前記残差データに基づいて前記画像(20)の前記現在のサンプルセット(40)を再構築するように、
前記ビットストリームの内の前記別のフラグに応答するように、構成されることを特徴とする、請求項1に記載の装置。
【請求項3】
前記復号化器は、前記復号化器が、
前記ビットストリームの内の前記フラグが、前記現在のサンプルセットと関連付けられた前記符号化パラメータが統合候補に従って設定されることになることをシグナリングする場合、
前記現在のサンプルセットに前記現在のためのサポートされた分割パターンの内の既定の1つを適用し、
前記ビットストリームの内の前記フラグが、前記現在のサンプルセットと関連付けられた前記符号化パラメータが統合候補に従って設定されることになることをシグナリングしない場合、
前記現在のサンプルセットのための前記サポートされた分割パターンの1つをシグナ
リングする前記ビットストリームの内の分割情報に応答するように、構成されることを特徴とする、請求項1又は請求項2に記載の復号化器。
【請求項4】
前記サポートされた分割パターンの内の前記既定の1つは、非分割モードであり、前記復号化器は、前記復号化器が、
前記ビットストリームの内の前記フラグが、前記現在のサンプルセットと関連付けられた前記符号化パラメータが統合候補に従って設定されることになることをシグナリングする場合、
統合候補に従ってそれを設定することによって前記現在のサンプルセットと関連付けられた符号化パラメータを得て、いかなる残差データもなしで、前記符号化パラメータに応じた予測信号のみに基づいて、前記画像の前記現在のサンプルセットを再構築するように、そして、
前記ビットストリームの内の前記フラグが、前記現在のサンプルセットと関連付けられた前記符号化パラメータが統合候補に従って設定されることになることをシグナリングしない場合、
前記現在のサンプルセットのための前記サポートされた分割パターンのうちの1つをシグナリングする前記ビットストリームの内の分割情報に応答し、
前記ビットストリームから前記現在のサンプルセットのための残差データを得て、
前記現在のサンプルセットの前記シグナリングされたサポートされた分割パターンの各サンプルサブセットに関して、前記復号化器が、別のフラグに応じて、
統合候補に従ってそれを設定することによって前記各サンプルサブセットと関連付けられた符号化パラメータを得る、または、
前記ビットストリームから、前記各サンプルサブセットと関連付けられた前記符号化パラメータを抽出するように、
前記ビットストリームの内の前記別のフラグに応答し、
各サンプルサブセットの前記符号化パラメータに応じた予測信号および前記残差データに基づいて、前記画像の前記現在のサンプルセットを再構築するように構成されることを特徴とする、請求項3に記載の復号化器。
【請求項5】
前記復号化器は、
前記シグナリングされたサポートされた分割パターンが2つ以上のサンプルサブセットへの前記現在のサンプルセットの細分化を特定する場合、
符号化順で前記サンプルサブセットの1番目のサンプルサブセット以外の全てのサンプルサブセットに関して、
前記各サンプルサブセットについての統合候補のセットから、
前記各サンプルサブセットと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう、前記サンプルサブセットのいずれかと関連付けられた符号化パラメータと同じである符号化パラメータを有する統合候補を除去するように構成されることを特徴とする、請求項4に記載の復号化器。
【請求項6】
符号化された画像(20)を有するビットストリームを復号化するための装置であって、
サンプル(40)のサンプルセットに前記画像(20)を細分化するように構成されたサブディバイダー(82)と、
1つ以上の各サンプルセットのグループに前記サンプルセット(40)を統合するように構成されたマージャー(84)と、
サンプルセットの前記グループの単位で、前記画像(20)の全域で変化する符号化パラメータを使用して、前記画像(20)を復号化するように構成された復号化器(86)であって、前記復号化器(86)は、既定のサンプルセットに関して、前記画像(20)を予測し、前記既定のサンプルセットについての予測残差を復号化し、前記予測残差と前記画像(20)を予測することから生じる予測とを組み合わせることによって前記画像を復号化するように構成される、前記復号化器(86)と、
前記サンプルセット(40)の少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、前記各サンプルセット(40)が別のサンプルセット(40)とともに前記グループのうちの1つに統合されることになるかどうかに関してシグナリングする、前記ビットストリーム(30)から前記予測残差および前記符号化パラメータを抽出するように構成されたエクストラクター(88)であって、前記マージャー(84)は、前記1つ以上のシンタックス要素に応答して、前記統合を実行するように構成される、前記エクストラクターとを含み、
前記1つ以上のシンタックス要素の前記可能な状態のうちの1つは、前記各サンプルセット(40)が、別のサンプルセット(40)とともに前記グループのうちの1つに統合されることになっており、前記ビットストリーム(30)に、符号化され、挿入された予測残差を有しないことシグナリングすることを特徴とする、装置。
【請求項7】
前記エクストラクターはまた、前記ビットストリームから細分化情報を抽出するようにも構成され、前記サブディバイダーは、前記細分化情報に応答して、サンプルセットに前記画像を細分化するように構成されることを特徴とする、請求項6に記載の装置。
【請求項8】
前記エクストラクターおよび前記マージャーは、サンプルセット走査順に従って、前記サンプルセットを通って順次進むように構成され、かつ、現在のサンプルセットに関して、
前記ビットストリームから第1のバイナリシンタックス要素(mrg_cbf)を抽出し、
前記第1のバイナリシンタックス要素が、前記グループのうちの1つに、第1のバイナリ状態をとる場合、前記現在のサンプルセットについての前記符号化パラメータがこのグループと関連付けられた前記符号化パラメータと等しいことを推定することによって、前記現在のサンプルセットを統合し、前記現在のサンプルセットについての前記予測残差の前記抽出をスキップし、サンプルセット走査順における前記次のサンプルセットに進み、
前記第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、前記ビットストリームから第2のシンタックス要素(mrg、mrg_idx)を抽出し、
前記第2のシンタックス要素に応じて、前記グループのうちの1つに、前記現在のサンプルセットについての前記符号化パラメータがこのグループと関連付けられた前記符号化パラメータに等しいことを推定することによって、前記現在のサンプルセットを統合する、または、前記現在のサンプルセットについての前記予測残差に関する少なくとも1つの更なるシンタックス要素を抽出することによって、前記現在のサンプルセットについての前記符号化パラメータの前記抽出を実行するように構成されることを特徴とする、請求項6又は請求項7に記載の装置。
【請求項9】
前記サンプルセットの少なくともサブセットの各々のための前記1つ以上のシンタックス要素はまた、前記各サンプルセットが、別のサンプルセットとともに前記独立のセットのうちのいずれか1つに統合されることになる場合、前記各サンプルセットと隣接する既定の候補サンプルセットのうちのセットのどれを用いて、前記各サンプルセットが統合されることになるかをシグナリングすることを特徴とする、請求項6~請求項8のいずれかに記載の装置。
【請求項10】
前記エクストラクターはまた、前記ビットストリームから細分化情報を抽出するようにも構成され、前記サブディバイダーは、前記細分化情報に応答して、サンプルセットに階層的に前記画像を細分化するように構成され、前記エクストラクターは、前記画像が細分化される前記サンプルセットによって構成される親サンプルセットの子サンプルセットを通って順次進むように構成され、かつ、現在の子サンプルセットに関して、
前記ビットストリームから第1のバイナリシンタックス要素(mrg_cbf)を抽出し、
前記第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、前記独立のセットのうちの1つに、前記現在の子サンプルセットについての前記符号化パラメータがこの独立のセットと関連付けられた前記符号化パラメータに等しいことを推定することによって、前記現在の子サンプルセットを統合し、前記現在の子サンプルセットについての前記予測残差の前記抽出をスキップし、前記次の子サンプルセットに進み、
前記第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、前記ビットストリームから第2のシンタックス要素(mrg、mrg_idx)を抽出し、
前記第2のシンタックス要素に応じて、前記グループのうちの1つに、前記現在の子サンプルセットについての前記符号化パラメータがこのグループと関連付けられた前記符号化パラメータに等しいことを推定することによって、前記現在の子サンプルセットを統合して、または、前記現在の子サンプルセットについての前記予測残差に関する少なくとも1つの更なるシンタックス要素を抽出することによって、前記現在の子サンプルセットについての前記符号化パラメータの前記抽出を実行して、
前記次の子サンプルセットに関して、前記現在の子サンプルセットの前記第1のバイナリシンタックス要素が前記第1のバイナリ状態をとる場合、前記第1のバイナリシンタックス要素の抽出をスキップして、代わりに前記第2のシンタックス要素を抽出することから始めること、および、前記現在の子サンプルセットの前記第1のバイナリシンタックス要素が前記第2のバイナリ状態をとる場合、前記第1のバイナリシンタックス要素を抽出することによって、前記次の子サンプルセットに進むように構成されることを特徴とする、請求項6~請求項8のいずれかに記載の装置。
【請求項11】
前記第1のバイナリシンタックス要素および前記第2のバイナリシンタックス要素は、コンテキスト適応可変長符号化またはコンテキスト適応(バイナリ)算術符号化を使用して符号化され、前記シンタックス要素を符号化するための前記コンテキストは、すでに符号化されたブロックのこれらのシンタックス要素のための値に基づいて得られることを特徴とする、請求項10に記載の装置。
【請求項12】
ビットストリーム(30)に画像(20)を符号化するための装置であって、前記画像(20)の前記サンプルアレイは、各々が各符号化パラメータと関連するサンプルセット(40)に分割され、前記装置は、現在のサンプルセットに関して、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータが、統合候補に従って設定されることになるか、または、前記ビットストリーム(30)から取り出されることになるかに関して、および、前記画像(20)の前記現在のサンプルセット(40)が、いかなる残差データもなしで、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、前記ビットストリーム(30)の内の残差データによって前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータに応じた前記予測信号をリファインすることによって再構築されることになるかに関して、共通にシグナリングする前記ビットストリームの内のフラグを符号化するように構成されることを特徴とする、前記装置。
【請求項13】
画像を符号化するための装置であって、
サンプルのサンプルセットに前記画像を細分化するように構成されたサブディバイダー(72)と、
前記サンプルセットを1つ以上のサンプルセットのグループにそれぞれ統合するように構成されたマージャー(74)と、
サンプルセットの前記グループの単位で、前記画像の全域で異なる符号化パラメータを使用して、前記画像を符号化するように構成された符号化器(76)であって、前記符号化器(76)は、前記画像を予測して、既定のサンプルセットについての予測残差を符号化することによって、前記画像を符号化するように構成される、前記符号化器(76)と、
前記サンプルセットの少なくともサブセットの各々についての1つ以上のシンタックス要素とともに、前記各サンプルセットが別のサンプルセットとともに前記グループのうちの1つに統合されるか否かをシグナリングする、ビットストリームに前記予測残差および前記符号化パラメータを挿入するように構成されたストリームジェネレータ(78)とを含み、
前記1つ以上のシンタックス要素の可能な状態のうちの1つは、前記各サンプルセットが、別のサンプルセットとともに前記グループのうちの1つに統合されることになっており、前記ビットストリームに、符号化され、挿入された予測残差を有しないことをシグナリングすることを特徴とする、前記装置。
【請求項14】
画像(20)が内に符号化されるビットストリーム(30)を復号化するための方法であって、前記画像の前記サンプルアレイは、各々が各符号化パラメータと関連するサンプルセットに分割され、前記方法は、現在のサンプルセットに関して、前記現在のサンプルセットと関連付けられた前記符号化パラメータが、統合候補に従って設定されることになるか、または、前記ビットストリーム(30)から取り出されることになるかについての第1の決定、および、前記画像(20)の前記現在のサンプルセット(40)が、いかなる残差データもなしで、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、前記ビットストリームの内の残差データによって、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータに応じた前記予測信号をリファインすることによって再構築されることになるかについての第2の決定に関する、前記ビットストリーム(30)の内のフラグに共通に反応するステップを含むことを特徴とする、前記方法。
【請求項15】
符号化された画像(20)を有するビットストリームを復号化するための方法であって、前記方法は、
サンプル(40)のサンプルセットに前記画像(20)を細分化するステップと、
前記サンプルセット(40)を1つ以上のサンプルセットのグループにそれぞれ統合するステップと、
サンプルセットの前記グループの単位で、前記画像(20)の全域で異なる符号化パラメータを使用して、前記画像(20)を復号化するステップであって、前記復号化器(86)は、既定のサンプルセットに関して、前記画像(20)を予測して、前記既定のサンプルセットについての予測残差を復号化して、前記予測残差と前記画像(20)を予測することから生じる予測とを組み合わせることによって、前記画像を復号化するように構成される前記ステップと、
前記サンプルセット(40)の少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、前記各サンプルセット(40)が別のサンプルセット(40)とともに前記グループのうちの1つに統合されることになるかどうかをシグナリングする、前記ビットストリーム(30)から前記予測残差および前記符号化パラメータを抽出するステップであって、前記マージャー(84)は、前記1つ以上のシンタックス要素に応答して、前記統合を実行するように構成される前記ステップとを含み、
前記1つ以上のシンタックス要素の前記可能な状態のうちの1つは、前記各サンプルセット(40)が、別のサンプルセット(40)とともに前記グループのうちの1つに統合されることになっており、前記ビットストリーム(30)に、符号化され、挿入された予測残差を有しないことをシグナリングすることを特徴とする、前記方法。
【請求項16】
ビットストリーム(30)に画像(20)を符号化するための方法であって、前記画像(20)の前記サンプルアレイは、各々が各符号化パラメータと関連するサンプルセット(40)に分割され、前記方法は、現在のサンプルセットに関して、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータが、統合候補に従って設定されることになるか、または、前記ビットストリーム(30)から取り出されることになるかに関して、および、前記画像(20)の前記現在のサンプルセット(40)が、いかなる残差データもなしで、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータに応じた予測信号のみに基づいて、再構築されることになるか、または、前記ビットストリーム(30)の内の残差データによって、前記現在のサンプルセット(40)と関連付けられた前記符号化パラメータに応じた前記予測信号をリファインすることによって、再構築されることになるかに関して、共通にシグナリングする前記ビットストリームの内のフラグを符号化するステップを含むことを特徴とする、前記方法。
【請求項17】
サンプルのサンプルセットに画像を細分化するステップと、
前記サンプルセットを1つ以上のサンプルセットのグループにそれぞれ統合するステップと、
サンプルセットの前記グループの単位で、前記画像の全域で変化する符号化パラメータを使用して、前記画像を符号化するステップであって、前記符号化器(76)は、前記画像を予測して、既定のサンプルセットについての予測残差を符号化することによって、前記画像を符号化するように構成される、前記ステップと、
前記サンプルセットの少なくともサブセットのそれぞれについての1つ以上のシンタックス要素とともに、前記各サンプルセットが別のサンプルセットとともに前記グループのうちの1つに統合されるか否かに関してシグナリングする、ビットストリームに、前記予測残差および前記符号化パラメータを挿入するステップと、
前記1つ以上のシンタックス要素の前記可能な状態のうちの1つは、前記各サンプルセットが、別のサンプルセットとともに前記グループのうちの1つに統合されることになっており、前記ビットストリームに、符号化され、挿入された予測残差を有しないことをシグナリングすることを特徴とする、前記画像を符号化するための方法。
【請求項18】
コンピュータ上で動作するときに、請求項14又は請求項17に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、画像および/またはビデオ符号化、および、特に、ブロック分割およびスキップモードをサポートするコーデックに関する。
【背景技術】
【0002】
多くの画像および/またはビデオコーデックは、ブロック単位で画像を処理する。例えば、予測コーデックは、予測パラメータについてあまりにも多くの補助情報を使うことになるが、高空間分解能で予測パラメータセットを非常に正確に設定することと、予測パラメータの低空間分解能のために予測残差を符号化するのに必要なビット量の増加を招く、予測パラメータを非常に粗く設定することとの間の良い妥協点を得るために、ブロック粒度を使用する。要するに、予測パラメータのための最適な設定が、両極端の間のどこかに存在する。
【0003】
上述の課題についての最適解を得るために、いくつかの試みがなされている。例えば、行および列に規則的に配置されたブロックへの画像の規則的な細分化を使用する代わりに、マルチツリー分割する細分化は、細分化情報のための適切な要求でブロックに画像を細分化することの自由度を増加させようとする。しかし、マルチツリー細分化さえも、著しい量のデータのシグナリングを必要とし、画像を細分化する際の自由度は、このようなマルチツリー細分化を使用する場合でさえ、かなり制限される。
【0004】
画像細分化をシグナリングするために必要な補助情報の量と、画像を細分化する際の自由度との間のより良いトレードオフを可能にするために、ブロックの統合が、統合情報をシグナリングするために必要な妥当な量の追加データで、可能な画像細分化の数を増加させるために使用することができる。統合されているブロックに関しては、結果として生じるブロックの統合されたグループが画像の直接細分化された部分であるかのように、同様に、符号化パラメータは、全体でただ一度だけビットストリームの内で送信されることを必要とする。
【0005】
画像内容を符号化する際の効率をさらに増加させるために、スキップモードは、いくつかのブロックベースの画像コーデックに導入され、スキップモードは、符号化器が特定のブロックの残差データを復号化器に送信することを避けることを可能にした。すなわち、スキップモードは、特定のブロックについての残差データ送信を抑制することが可能である。特定のブロックに関する残差データの送信を抑制する能力は、結果として符号化品質と費やされる全体のビットレートとの間の最適トレードオフが期待されうる符号化/予測パラメータを符号化するためのより広い粒度間隔をもたらす。当然、このことにより残差データを符号化するのに必要なレートを低下させている残余部分を減少させるが、その一方で、符号化/予測パラメータの符号化の空間分解能を増加させることは、結果として補助情報レートの増加をもたらす。しかし、スキップモードが利用可能であるため、残余部分が非常に小さいので残余部分の別個の送信も省略しうるように、符号化/予測パラメータが送信される粒度を適度に更に増加させるだけで、急激な符号化レートの節約を得ることが有利でありえる。
【0006】
しかしながら、ブロック統合およびスキップモード使用の組み合わせによって新たに生じる残存する冗長のため、なお、より良い符号化効率を達成する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
このように、本願発明の目的は、増加した符号化効率を有する符号化構想を提供することである。この目的は、出願に係る独立請求項によって達成される。
【課題を解決するための手段】
【0008】
本願発明の根底にある考え方は、統合のアクティブ化およびスキップモードのアクティブ化の両方に関してビットストリームの内で共通のシグナリングが使用される場合、更なる符号化効率の増加が達成されうるということである。すなわち、ビットストリームの内の1つ以上のシンタックス要素の可能な状態のうちの1つが、画像の現在のサンプルセットに関して、各サンプルセットが統合されることになっており、予測残差の符号化されてビットストリームに挿入されないことをシグナリングしうる。別な言い方をすれば、共通のフラグが、現在のサンプルセットと関連付けられた符号化パラメータが、統合候補に従って設定されることになるか、または、ビットストリームから取り出されることになるか、並びに、画像の現在のサンプルセットが、いかなる残差データもなしで、現在のサンプルセットと関連付けられた符号化パラメータに応じた予測信号のみに基づいて、再構築されることになるかどうか、または、ビットストリームの内の残差データによって現在のサンプルセットと関連付けられた符号化パラメータに応じた予測信号をリファインすることによって再構築されることになるかを共通にシグナリングしうる。
【0009】
本願発明の発明者は、この統合のアクティブ化とスキップモードのアクティブ化の共通のシグナリングの導入が、統合のアクティブ化および/またはスキップモードのアクティブ化を互いに別々にシグナリングするための付加的オーバーヘッドが、低減されうる、または、統合およびスキップモードが同時にアクティブ化されない場合には費やされるだけの必要がありうるように、ビットレートを節約することを発見した。
【0010】
本願発明の有利な実施態様は、付随した従属請求項の対象である。
【0011】
本願の好ましい実施態様は、図に関して更に詳細に以下に説明される。
【図面の簡単な説明】
【0012】
【
図1】
図1は、実施形態による符号化のための装置のブロック図を示す。
【
図2】
図2は、より詳細な実施形態による符号化のための装置のブロック図を示す。
【
図3】
図3は、実施形態による復号化のための装置のブロック図を示す。
【
図4】
図4は、より詳細な実施形態による復号化のための装置のブロック図を示す。
【
図7a】
図7aは、ツリールートブロック、符号化単位(ブロック)、および予測単位(パーティション)への画像の可能な細分化を概略的に示す。
【
図7b】
図7bは、図示の例に従ってパーティションのレベルにまで、
図7aに示されたツリールートブロックの細分化ツリーを示す。
【
図8】
図8は、実施形態による可能なサポートされた分割パターンのセットのための実施形態を示す。
【
図9】
図9は、
図8に従ってブロック分割を使用するときに、ブロック統合とブロック分割を組み合わせることから効率的に生じる可能な分割パターンを示す。
【
図10】
図10は、実施形態によるスキップ/ダイレクトモードのための候補ブロックを概略的に示す。
【
図11】
図11は、実施形態によるシンタックスのシンタックス部分を示す。
【
図12】
図12は、実施形態によるシンタックスのシンタックス部分を示す。
【
図13a】
図13aは、実施形態によるシンタックスのシンタックス部分を示す。
【
図13b】
図13bは、実施形態によるシンタックスのシンタックス部分を示す。
【
図14】
図14は、実施形態によるパーティションのための隣接したパーティションの定義を概略的に示す。
【発明を実施するための形態】
【0013】
以下の記載に関して、同じ参照符号が異なる図に関係して使用されるときはいつでも、これらの図の1つに関して提示された各要素に関連付けられた説明が、1つの図から他の図へと説明を移ることがこの他の図の残りの記載と矛盾しない場合には、同様に、他の図に適用される点に留意されたい。
【0014】
図1は、ビットストリーム30に画像20を符号化する装置10を示す。当然、画像20は、符号化器10がビデオエンコーダである場合にはビデオの一部でありえる。
【0015】
図1には明示的に示されてはいないが、画像20は、サンプルのアレイとして示される。画像20のサンプルアレイは、サンプルセット40に分割される。そして、それらは、画像20の重畳なしの1つの連結された領域をカバーしているサンプルセットなどのいかなるサンプルのセットでもありえる。理解を容易にするために、サンプルセット40がブロック40として示され、以下、ブロックと呼ぶが、以下の記載は、特別な種類のサンプルセット40に制限されるものとしてみなされるべきではない。具体的な実施形態によれば、サンプルセット40は、長方形のおよび/または正方形のブロックである。
【0016】
例えば、画像20は、例として
図1に示されるようにブロック40が行および列に配置されるように、ブロック40の規則的な配置に細分化されうる。しかし、ブロック40への画像20の他のいかなる細分化も可能でありうる。特に、ブロック40への画像20の細分化は、固定されうる、すなわち、デフォルトで復号化器に知られうる、または、復号化器へのビットストリーム30の内でシグナリングされうる。特に、画像20のブロック40は、サイズの点で変わりうる。例えば、クワッドツリー(quad-tree)細分化などのマルチツリー細分化は、この場合、ツリールートブロックのマルチツリー細分化のリーフブロック(leaf block)を形成するブロック40を得るために、画像20に、または、規則的に配置されたツリールートブロックへの画像20の規則的な事前細分化に適用されうる。
【0017】
いずれにせよ、符号化器10は、現在のサンプルセット40に関して、現在のサンプルセット40と関連付けられた符号化パラメータが、統合候補に従って設定されることになるか、または、ビットストリーム30から取り出されることになるかどうか、そして、画像20の現在のサンプルセットが、いかなる残差データなしで、現在のサンプルセットと関連付けられた符号化パラメータに応じた予測信号にのみ基づいて再構築されることになるか、または、ビットストリーム30の内の残差データによって、現在のサンプルセット40と関連付けられた符号化パラメータに応じた予測信号をリファインすることによって再構築されることになるかどうかを共通にシグナリングする、フラグをビットストリーム30に符号化するように構成される。例えば、符号化器10は、現在のサンプルセット40に関して、第1の状態をとる場合、現在のサンプルセット40と関連付けられた符号化パラメータが、ビットストリーム30から取り出されることになるのではなく、統合候補に従って設定されることになること、および、画像20の現在のサンプルセットが、いかなる残差データなしで、現在のサンプルセットと関連付けられた符号化パラメータに応じた予測信号のみに基づいて再構築されることになることを、そして、他の状態をとる場合、現在のサンプルセット40と関連付けられた符号化パラメータが、ビットストリーム30から取り出されることになること、または、画像20の現在のサンプルセットが、ビットストリーム30の内の残差データによって、現在のサンプルセット40と関連付けられた符号化パラメータに応じた予測信号をリファインすることによって再構築することになることを共通にシグナリングする、ビットストリーム30の内のフラグを符号化するように構成される。このことは、以下のことを意味する。符号化器10は、ブロック40の統合をサポートする。統合は、条件的である。すなわち、すべてのブロック40が、統合に従うというわけではない。いくつかのブロック40に関して、それは、例えばレート歪み最適化の観点において、現在ブロック40を統合候補と統合することが有利であるが、他に関しては、その逆が当てはまる。特定のブロック40が統合の対象とされるべきかどうかを決めるために、符号化器10は、統合候補のセットまたはリストを決定し、これらの統合候補の各々に関して、その統合候補と現在ブロック40を統合することが、例えばレート歪み最適化の観点で、最も好ましい符号化オプションを形成するかどうかをチェックする。符号化器10は、ビットストリーム30の、前に符号化された部分に基づいて、現在ブロック40のための統合候補のセットまたはリストを決定するように構成される。例えば、符号化器10は、符号化器10によって適用された符号化順に従って前に符号化された、位置的におよび/または時間的に隣接したブロック40と関連付けられた符号化パラメータを採用することによって、統合候補のセットまたはリストの少なくとも一部を抽出する。時間的隣接は、例えば、画像20が属するビデオの前に符号化された画像のブロックを表し、その時間的に隣接するブロックは、現在の画像20の現在ブロック40に空間的に重なるように空間的に位置する。したがって、統合候補のセットまたはリストのこの部分に関して、各統合候補と空間的におよび/または時間的に隣接したブロックとの間に1対1の関連がある。各統合候補は、それと関連付けられた符号化パラメータを有する。現在ブロック40が統合候補のいずれかに統合される場合、符号化器10は、統合候補に従って、現在ブロック40の符号化パラメータを設定する。例えば、符号化器10は、各統合候補に等しくなるように、現在ブロック40の符号化パラメータを設定することができる。すなわち、符号化器10は、各統合候補から現在ブロック40の符号化パラメータを複製することができる。このように、統合候補のセットまたはリストのこの上記部分に関して、統合候補の符号化パラメータは、空間的におよび/または時間的に隣接したブロックから直接採用される、または、各統合候補の符号化パラメータは、それを採用することによって、すなわち、それと等しい統合候補を設定することによって、この種の空間的におよび/または時間的に隣接したブロックの符号化データから得られる。しかしながら、一方で、例えば、領域変更に従って、採用された符号化パラメータをスケールすることによって、領域変更を考慮にいれる。例えば、統合に従う符号化パラメータの少なくとも一部は、動きパラメータを含むことができる。しかし、動きパラメータは、異なる参照画像インデックスに関するものでもよい。より正確には、採用されることになる動きパラメータは、現在の画像と参照画像との間の特定の時間間隔に関するものでもよく、そして、現在ブロックを各動きパラメータを有する各統合候補と統合する際に、符号化器10は、その時間間隔を現在ブロックのために選択される時間間隔に適用するために、各統合候補の動きパラメータをスケーリングするように構成されうる。
【0018】
いずれにせよ、これまで説明された統合候補は、それらの全部がそれらと関連付けられた符号化パラメータを有するという共通点があり、そして、これらの統合候補と隣接したブロックとの間に1対1の関連がある。したがって、上記統合候補のいずれかとブロック40を統合することは、スケーリングアダプテーション等を除いて、符号化パラメータがブロック40のこれらのグループ内で画像20の全域で変化しないように、1つ以上のブロック40のグループへのこれらのブロックの統合として考えられうる。事実上、上記統合候補のいずれかに関する統合は、符号化パラメータが画像20にわたって変化する粒度を削減する。その上、上記統合候補のいずれかに関する統合は、結果として、それぞれ、ブロック40およびブロック40のグループに画像20を細分化する際の付加的な自由度をもたらす。従って、この点に関して、ブロックのこの種のグループへのブロック40の統合は、符号化器10に、ブロック40のこれらのグループの単位で、画像20の全域で変化する符号化パラメータを使用して、画像20を符号化させることを考えることができる。
【0019】
上で述べた統合候補の他に、符号化器10は、2つ以上の隣接したブロックの符号化パラメータの組み合わせ、例えばそれらの算術平均、幾何平均または隣接したブロックの符号化パラメータの中央値などの結果である統合候補のセット/リストに統合候補を追加することもできる。
【0020】
このように、事実上、符号化器10は、ブロック40への画像20の細分化によって定められる粒度と比較して、符号化パラメータがビットストリーム30の内で明示的に送信される粒度を削減する。これらのブロック40のいくつかは、上記概説された統合オプションを用いて、全く同一の符号化パラメータを使用して、ブロックのグループを形成する。いくつかのブロックは、統合によって互いに連結されるが、各スケーリングアダプテーションおよび/または組合せの機能によって互いに相関している異なる符号化パラメータを使用する。いくつかのブロック40は、統合に従わず、したがって、符号化器10は、ビットストリーム30に符号化パラメータを直接符号化する。
【0021】
符号化器10は、画像20のための予測信号を決定するために、このように定められたブロック40の符号化パラメータを使用する。符号化器10は、予測信号が各ブロック40と関連付けられた符号化パラメータによって決まるという点において、予測信号のブロックごとのこの決定を実行する。
【0022】
符号化器10によって実行された別の決定は、残余部分、すなわち、現在ブロック40の各局部での予測信号と元の画像内容との差がビットストリーム30の内で送信されることになるかどうかということである。すなわち、符号化器10は、ブロック40に関して、スキップモードが各ブロックに適用されるかどうかを決定する。スキップモードが適用される場合、符号化器10は、単に、各ブロック40と関連付けられた符号化パラメータから得られた又はそれに応じた予測信号の形で、現在の部分40の内の画像20を符号化し、スキップモードが選択されなかった場合、符号化器10は、予測信号と残差データの両方を使用して、ブロック40の内のビットストリーム30へ画像20を符号化する。
【0023】
統合とスキップモードに関する決定をシグナリングするためにビットレートを節約するために、符号化器10は、ブロック40のための1つのフラグを使用して、両方の決定を共通にシグナリングする。より正確には、共通のシグナリングが、統合およびスキップモードの両方のアクティブ化が、第1の可能なフラグ状態をとっているビットストリーム30の内の各ブロック40のフラグによって共通に示され、一方、そのフラグの別のフラグ状態が、統合またはスキップモードのうちのいずれかがアクティブ化されないことを復号化器に示すだけであるように、実現することができる。例えば、符号化器10は、特定のブロック40に関して、統合をアクティブ化するが、スキップモードを非アクティブ化させるように決定することができる。その場合、符号化器10は、統合およびスキップモードのうちの少なくとも1つの非アクティブ化をビットストリーム30の内でシグナリングするために、別のフラグ状態を使用し、一方で、その後に、例えば、別のフラグを用いてビットストリーム30の内で統合のアクティブ化をシグナリングする。したがって、符号化器10は、統合およびスキップモードが同時にアクティブ化されないブロック40の場合にだけこの更なるフラグを送信する必要がある。更に後述する実施形態において、第1のフラグは、mrg_cbfまたはskip_flagと呼ばれ、一方、補助的な統合インジケータフラグは、mrgまたはmerge_flagと呼ばれる。統合およびスキップモードのアクティブ化を共通にシグナリングするための1つのシグナリング状態のこの共通使用がビットストリーム30の全体のビットレートを削減することが、本願の発明者によって発見された。
【0024】
上記で説明されたシグナリング状態に関して、この種のシグナリング状態が、ビットストリーム30の1ビットの状態によって決定されることができる点に留意する必要がある。しかし、符号化器10は、ビットストリーム30をエントロピー符号化するように構成されえて、したがって、フラグおよびビットストリーム30のシグナリング状態の間の対応は、より複雑になりうる。その場合、その状態は、エントロピー復号化領域においてビットストリーム30の1ビットに対応することができる。更に、シグナリング状態は、符号化語が可変長符号化方式に従って割り当てられるフラグの2つの状態のうちの1つに対応することができる。算術符号化の場合には、統合およびスキップモードのアクティブ化を共通にシグナリングするシグナリング状態は、算術符号化方式の基礎をなしているシンボルアルファベットのシンボルのうちの1つに対応しうる。
【0025】
上記概説されたように、符号化器10は、ビットストリーム30の内のフラグを使用して、統合およびスキップモードの同時のアクティブ化を信号送信する。以下で更に詳細に概説されるように、このフラグは、2つ以上の可能な状態を有するシンタックス要素の内で送信されうる。このシンタックス要素は、例えば、同様に他の符号化オプションも信号送信しうる。詳細は、以下で更に詳しく説明される。しかし、その場合、1つ以上のシンタックス要素の可能な状態のうちの1つは、同時のアクティブ化をシグナリングする。すなわち、現在ブロック40のちょうど言及されたシンタックス要素が、この既定の可能な状態をとるときはいつでも、符号化器10は、それによって、統合およびスキップモードの両方のアクティブ化をシグナリングする。復号化器は、このように統合のアクティブ化およびスキップモードのアクティブ化に関して、それぞれ、更なるシグナリングを必要としない。
【0026】
上で概説された記載に関して、ブロック40への画像20の分割が、符号化パラメータが画像20のために決定される最も微細な解像度を示さないこともある点に留意する必要がある。むしろ、符号化器10は、サブブロック50および60に、すなわち、サンプルサブセットに、それぞれ、現在ブロック40を分割するためのサポートされた分割パターンのうちの1つをビットストリーム30の内で信号送信するために、更なる分割情報と各ブロック40を付随させうる。その場合、同時の統合/スキップ決定は、ブロック40の単位で、符号化器10によって実行されるが、例えば、互いに分離した補助的な統合決定および/またはスキップモード決定に伴う符号化パラメータは、
図1の例として示されたブロック40において、ブロック40の再分割の単位で、すなわち、サブブロック50および60の単位で、画像20に関して定められる。当然、非分割モードは、サポートされた分割パターンのうちの1つを示すことができ、それによって、結果として符号化器10が単にブロック40のための符号化パラメータの1セットを決定するだけである。各分割パターンのサブブロック50および60の数にかかわりなく、統合決定は、すべてのサブブロックに、すなわち、その1つ以上のサブブロックに適用しうる。すなわち、統合がブロック40に関してアクティブ化される場合、このアクティブ化は、すべてのサブブロックに有効でありうる。以下に更に概説される実施形態によれば、統合およびスキップモードのアクティブ化を共通にシグナリングする上述の共通の状態は、フラグ又はシンタックス要素がこの状態をとる場合に、現在ブロックについての分割情報の更なる送信が必要ないように、現在ブロック40についてのサポートされた分割パターンのうちの非分割パターンを、追加的に、同時にシグナリングしうる。当然、別の方法として、サポートされた分割パターンの内の他のいかなる分割パターンも、統合およびスキップモードのアクティブ化に加えて、同時に示されることができる。
【0027】
本願のいくつかの実施形態によれば、符号化器10は、ブロック40のブロック分割とサブブロック50および60の統合の共通使用から生じるビット効率ペナルティを回避する。より正確には、符号化器10は、例えばレート歪み最適化の観点において、更なる分割ブロック40により良いかどうかに関して、そして、サポートされた分割パターンのうちのいずれが、特定の符号化パラメータが画像20の現在ブロック40の内で設定される若しくは定められる粒度を適用させるために、現在ブロック40のために使用されなければならないかに関して、決定しうる。以下で更に詳細に概説されるように、符号化パラメータは、例えば、インター予測パラメータなどの予測パラメータを示すことができる。この種のインター予測パラメータは、例えば、参照画像インデックス、動きベクトル(motion vector)などを含むことができる。サポートされた分割パターンは、例えば、非分割モード(non-partitioning mode)、すなわち現在ブロック40が更に細分化されないオプション、横分割モード(horizontally partitioning mode)、すなわち現在ブロック40が横方向に延びた線に沿って上部又は最上部と下部又は最下部に細分化されるオプション、および、縦分割モード(vertically partitioning mode)、すなわち現在ブロック40が縦方向に延びた線に沿って左側部分および右側部分に縦に細分化されるオプションを含むことができる。これの他に、サポートされた分割パターンは、現在ブロック40が現在ブロック40の4分の1とそれぞれみなされる更なる4つのブロックに更に規則的に細分化されるオプションを含むこともできる。更に、その分割は、画像20のすべてのブロック40に、または、インター予測モードなどの、それと関連する特定の符号化モードを有するものなどの単にその適当なサブセットだけに関係することができる。同様に、統合が、それ自体で、単に特定のブロック、例えばインター予測モードで符号化されたものに関して利用できるだけでありうることに留意されたい。以下で更に概説される実施形態によれば、上述した共通に解釈された状態はまた、各ブロックがイントラ予測モードでなくインター予測モードであることを同時にシグナリングする。したがって、ブロック40に関して上述したフラグの1つの状態は、このブロックが更に分割されず、統合およびスキップモードの両方がアクティブ化されるインター予測符号化ブロックであることをシグナリングしうる。しかし、フラグが他の状態をとっている場合の補助的な決定として、各パーティションまたはサンプルサブセット50および60は、統合が各パーティション50および60に適用されるかどうかをシグナリングするために、ビットストリーム30の内で更なるフラグによって、個々に同時に起こりうる。更に、サポートされた分割モードの異なるサブセットは、ブロック40に関して利用可能でありえ、それは、例えば、ブロックサイズ、それが、組み合わせて又は個々に、マルチツリー細分化リーフブロックである場合、ブロック40の細分化レベルによって決まる。
【0028】
すなわち、特にブロック40を得るためのブロックへの画像20の細分化が、固定されうる、または、ビットストリームの内でシグナリングされうる。同様に、現在ブロック40を更に分割するために使用される分割パターンは、分割情報の形で、ビットストリーム30の内でシグナリングすることができる。従って、その分割情報は、このように、ブロック40への画像20の細分化の一種の拡張であるとして考えることができる。一方では、ブロック40への画像20の細分化の元の粒度の更なる関連は、依然維持されうる。例えば、符号化器10は、ビットストリーム30の内で、ブロック40によって定められた粒度で、画像20の各部分またはブロック40のために使用される符号化モードをシグナリングするように構成されうる一方で、符号化器10は、各ブロック40のために選択された各分割パターンによって定められる増加した(微細な)粒度で、各ブロック40の内で各符号化モードの符号化パラメータを変化させるように構成できる。例えば、ブロック40の粒度で信号送信された符号化モードは、時間インター予測モード、視点間(inter-view)予測モードなどのイントラ予測モード、インター予測モードなどの間で区別することができる。各ブロック40の分割から生じる1つ以上のサブブロック(パーティション)と関連付けられた符号化パラメータの種類は、各ブロック40に割り当てられた符号化モードに依存する。例えば、イントラ符号化されたブロック40に関して、符号化パラメータは、画像20の前に復号化された部分のどの画像コンテンツが各ブロック40を満たすように使用されるかについての空間的な方向を含みうる。インター符号化されたブロック40の場合、符号化パラメータは、特に、動き補償予測のための動きベクトルを含むことができる。
【0029】
図1は、例として、2つのサブブロック50およびブロック60に細分化されているものとしての現在ブロック40を示す。特に、縦分割モードが例として示される。より小さいブロック50およびブロック60は、サブブロック50およびサブブロック60、または、パーティション50およびパーティション60、または、予測単位50および予測単位60とも呼ぶことができる。特に、符号化器10は、サポートされた分割パターンのシグナリングされた1つが、2つ以上の更なるブロック50およびブロック60への現在ブロック40の細分化を特定する場合に、符号化順でサブブロック50およびサブブロック60の1番目のサブブロック以外の全ての更なるブロックに関して、各サブブロックのための符号化パラメータ候補のセットから、各サブブロックに統合されるときに、サポートされた分割パターンの1つとなるであろうサブブロックのいずれかと関連付けられた符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成することができる。より正確に言えば、サポートされた分割パターンの各々のために、符号化順は、結果として生じる1つ以上のパーティション50およびパーティション60の間で定められる。
図1の場合、符号化順は、例として、左のパーティション50が右のパーティション60の前に符号化されることを定める矢印70で示される。横分割モードの場合には、上のパーティションが下のパーティションの前に符号化されることが定められうる。いずれにせよ、符号化器10は、符号化順70で2番目のパーティション60に関して、各2番目のパーティション60についての符号化パラメータ候補のセットから、この統合の結果、すなわち、両方のパーティション50およびパーティション60が、実際、低い符号化率で現在ブロック40について非分割モードを選択することによって等しく生じうるそれと関連付けられた同じ符号化パラメータを有するであろうことを回避するために、1番目のパーティション50と関連付けられた符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成される。
【0030】
より正確に言えば、符号化器10は、ブロック分割とともに効率的な方法でブロック統合を使用するように構成されうる。ブロック統合に関する限り、符号化器10は、パーティション50およびパーティション60ごとに、符号化パラメータ候補の各セットを決定しうる。符号化器は、前に復号化されたブロックと関連付けられた符号化パラメータに基づいて、パーティション50およびパーティション60ごとに、符号化パラメータ候補のセットを決定するように構成することができる。特に、符号化パラメータ候補のセットの内の符号化パラメータ候補の少なくともいくつかは、前に復号化されたパーティションの符号化パラメータと等しいことがある、すなわち、前に復号化されたパーティションの符号化パラメータから採用されることがある。加えて、または、代わりに、符号化パラメータ候補の少なくともいくつかは、中央値、平均などの適切な組み合わせによって、2つ以上の前に符号化されたパーティションと関連付けられた符号化パラメータ候補から得られうる。しかし、符号化器10が、符号化パラメータ候補の削減されたセットの決定と、除去後に1つ以上のこの種の符号化パラメータ候補が残る場合に、1つの除かれなかった又は選択された符号化パラメータ候補に依存して、各パーティションと関連付けられた符号化パラメータを設定するために、1番目でないパーティション60ごとに、残りの除かれなかった符号化パラメータ候補のうちの1つの選択を実行するように構成されるので、符号化器10は、パーティション50とパーティション60との再結合に効率よくつながるであろう符号化パラメータ候補が除かれるように除去を実行するように構成される。すなわち、それにより効率的な分割状況が、単に分割情報だけを用いてこの分割を直接信号送信する場合よりもより複雑に符号化されるシンタックスの集まりは、効果的に回避される。
【0031】
さらに、符号化パラメータ候補のセットがより小さくなるにつれて、ビットストリーム30に統合情報を符号化するのに必要な補助情報の量は、これらの候補セットのより少ない数の要素のため減少しうる。特に、復号化器が、
図1の符号化器が行うのと同じ方法で符号化パラメータ候補のセットを決定して、その後削減することが可能であるので、
図1の符号化器10は、例えば、ビットストリーム30にシンタックス要素を挿入するためにより少ないビットを使用して、符号化パラメータ候補の削減されたセットを利用することができ、除かれなかった符号化パラメータのどれが統合のために使われることになるかを特定する。当然、ビットストリーム30へのシンタックス要素の導入は、各パーティションのための除かれなかった符号化パラメータ候補の数が単に1である場合には、完全に抑制されることができる。いずれにしても、統合により、すなわち、除かれなかった符号化パラメータ候補のうちの残りの1つ、又は選択された1つに依存して、各パーティションと関連付けられた符号化パラメータを設定することにより、符号化器10は、ビットストリーム30への各分割のための符号化パラメータの完全に新たな挿入を抑制することが可能であり、これにより同様に補助情報を削減する。本願のいくつかの実施形態によれば、符号化器10は、各パーティションのための符号化パラメータ候補のうちの残りの1つ、又は選択された1つをリファインするためのリファインメント情報を、ビットストリーム30の内でシグナリングするように構成されうる。
【0032】
統合候補リストを削減するという上記可能性によって、符号化器10は、パーティションの符号化パラメータとのそれらの符号化パラメータの比較によって除かれることになる統合候補を決定するように構成でき、それによる統合は、別のサポートされた分割パターンを生ずる。例えば、左のパーティション50の符号化パラメータが右のパーティション60のための符号化パラメータ候補のセットの1つの要素を形成するとすれば、符号化パラメータ候補を処理するこの方法は、効率的に、
図1に示した場合の少なくとも1つの符号化パラメータ候補を除く。しかし、更なる符号化パラメータ候補は、それらが左のパーティション50の符号化パラメータに等しい場合にも、除かれうる。しかし、本願発明の他の実施形態によれば、符号化器10は、各パーティションに統合されるときに、結果としてサポートされた分割パターンのうちの1つとなるであろう候補ブロックのこのセットから、その又はそれらの候補ブロックを除去することによって、符号化順で2番目以降のパーティションごとに、候補ブロックのセットを決定するように構成されうる。ある意味では、これは以下のことを意味する。符号化器10は、候補セットの各要素が、その候補がその関連付けられたパーティションの各符号化パラメータを採用するという点でそれと関連付けられた、現在ブロック40または前に符号化されたブロック40のいずれかのちょうど1つのパーティションを有するように、パーティション50またはパーティション60(すなわち、符号化順で1番目のものとその次のもの)それぞれのために、統合候補を決定するように構成することができる。例えば、候補セットの各要素は、前に符号化されたパーティションのこの種の符号化パラメータのうちの1つに等しくありえる、すなわち、その中から採用されうる、または、少なくとも、追加的にスケーリングすること又は追加的に送信されたリファインメント情報を用いたリファインメントなどによって、ただ1つのこの種の前に符号化されたパーティションの符号化パラメータから得られうる。しかし、符号化器10はまた、この種の候補セットに、更なる要素または候補を加えるように、すなわち、1つ以上の前に符号化されたパーティションの符号化パラメータの組み合わせから得られた、または、修正によって、1つの動きパラメータリストの符号化パラメータだけをとることなどによって1つの前に符号化されたパーティションの符号化パラメータから得られた符号化パラメータ候補を加えるように構成されうる。「組み合わされた(combined)」要素のために、各候補要素の符号化パラメータと各パーティションとの間に1:1の関連性はない。
図1の説明の1番目の変形例によれば、符号化器10は、全部の候補セットから全部の候補を除くように構成することができ、その符号化パラメータは、パーティション50の符号化パラメータに等しい。
図1の説明の後者の変形例によれば、符号化器10は、パーティション50と関連している候補セットの要素だけを除くように構成されることができる。両方の見解を一致させれば、符号化器10は、結合によって得られる符号化パラメータを有する候補セットの残りの部分まで除去(及び等しい符号化パラメータを有する候補のサーチ)を拡げることなく、いくつかの(例えば隣接した)前に符号化されたパーティションとの1:1の関連を示している候補セットの部分から候補を除くように構成することができる。しかし、当然、1つの組み合わせが冗長表現にもつながる場合、これは、リストから冗長な符号化パラメータを除くことによって、または、組み合わされた候補にも冗長チェックを実行することによって、解決することができる。
【0033】
図1の上記実施形態にフィットする復号化器の実施形態について説明する前に、より詳細な実施態様の
図1による、符号化のための装置、すなわち、符号化器が、
図2に関して以下で更に詳細に概説される。
図2は、ブロック40へ画像20を細分化するように構成されたサブディバイダー(subdivider)72と、上で概説されたように、1つ以上のサンプルセットのグループにブロック40を統合するように構成されたマージャー(merger)74と、サンプルセットのグループの単位で画像20の全域で変化する符号化パラメータを使用して画像20を符号化するように構成された符号化器または符号化ステージ76と、ストリームジェネレータ78を含むような符号化器を示す。符号化器76は、画像20を予測して、既定のブロックについての予測残差を符号化することによって、画像20を符号化するように構成される。すなわち、符号化器76は、上記の通り、すべてのブロック40についてではないが、予測残差を符号化する。むしろ、それらのいくつかは、スキップモードをアクティブ化させる。ストリームジェネレータ78は、少なくともブロック40のサブセットごとに、1つ以上のシンタックス要素とともに、ビットストリーム30に予測残差および符号化パラメータを挿入するように構成され、各ブロック40が別のブロックとともにグループのうちの1つに統合されるかどうかや各ブロックがスキップモードを使用するかどうかをシグナリングする。上述の通り、サブディバイダー72の細分化の基礎をなしている細分化情報は、ストリームジェネレータ78によって画像20に関してビットストリーム30に符号化されうる。これは、
図2の破線で示される。マージャー74による統合決定および符号化器76によるスキップモード決定は、上で概説されたように、現在ブロック40の1つ以上のシンタックス要素の可能な状態のうちの1つが、各ブロックが、画像20の別のブロックとともに、ブロックのグループのうちの1つに統合されることになっており、ビットストリーム30に、符号化され、挿入された予測残差を有しないことをシグナリングするように、ストリームジェネレータ78によってビットストリーム30に共通に符号化される。ストリームジェネレータ78は、例えば、その挿入を実行するために、エントロピー符号化を使用することができる。サブディバイダー72は、ブロック40への画像20の細分化、並びに、パーティション50および60へのそれぞれ任意の更なる分割の役割を果たしうる。マージャー74は、上で概説された統合決定の役割を果たし、一方、符号化器76は、例えば、ブロック40についてのスキップモードを決定しうる。当然、これらの決定の全ては、組み合わせにおけるレート/歪み測度に影響し、したがって、装置10は、どのオプションが好ましいかを確かめるために、いくつかの決定オプションを試してみるように構成されうる。
【0034】
図1および
図2に関する本願発明の実施形態による符号化器について説明した後、実施形態による復号化のための装置、すなわち、復号化器80が、
図3に関して説明される。
図3の復号化器80は、上記の通り、符号化された画像20を有するビットストリーム30を復号化するように構成される。特に、復号化器80は、現在のサンプルセットまたはブロック40に関して、現在ブロック40と関連付けられた符号化パラメータが統合候補によって設定されることになるか、または、ビットストリーム30から取り出されることになるかについての第1の決定、および、画像20の現在ブロック40が残差データなしでも、現在ブロック40と関連付けられた符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、ビットストリーム30の内で残差データによって現在ブロック40と関連付けられた符号化パラメータに応じた予測信号をリファインすることによって再構築されることになるかについての第2の決定に関する、ビットストリーム30の内の上述したフラグに共通に応答するように構成される。
【0035】
すなわち、復号化器の機能は、
図1および
図2に関して説明された符号化器のそれとほとんど一致する。例えば、復号化器80は、ブロック40に画像40の細分化を実行するように構成されうる。この細分化は、デフォルトで復号化器80に知られていることができる、または、復号化器80は、ビットストリーム30から各細分化情報を抽出するように構成することができる。ブロック40が統合されるときはいつでも、復号化器80は、統合候補によってその符号化パラメータを設定することによって、そのブロック40と関連付けられた符号化パラメータを得るように構成されうる。統合候補を決定するために、復号化器80は、符号化器がそうしたのとちょうど同じ方法で、統合候補のセットまたはリストの上で概説された決定を実行することができる。これは、本願のいくつかの実施形態に従って、ブロック分割およびブロック統合間の上で概説された冗長を回避するために、統合候補の事前のセット/リストの削減さえも含む。統合がアクティブ化されるときはいつでも、統合候補の決定されたセットまたはリストの内からの選択は、各統合インデックスをビットストリーム30から抽出することによって復号化器80によって実行されることができる。統合インデックスは、上記の通りに決定された統合候補の(削減された)セットまたはリストから使用される統合候補を指し示す。更に、上でも説明されたように、復号化器80はまた、サポートされた分割パターンのうちの1つに従った分割にブロック40をかけるように構成することもできる。当然、これらの分割パターンのうちの1つは、ブロック40が更に分割されない非分割モードを含みうる。特定のブロック40のための統合およびスキップモードのアクティブ化を示している共通に定められた状態をとっている十分に説明されたフラグの場合には、復号化器80は、いかなる残差信号との組み合わせよりはむしろ予測信号のみに基づいて現在ブロック40を再構築するように構成することができる。換言すれば、復号化器80は、その場合、現在ブロック40のための残差データ抽出を抑制して、現在ブロックの符号化パラメータから抽出された予測信号を用いることによって、現在ブロック40の内の画像20を再構築するだけである。上ですでに説明されたように、復号化器80は、フラグの共通の状態を、このブロックがインター予測されたブロックである、および/または更に分割されなかったブロックであるという現在ブロック40のためのシグナリングとしても解釈することができる。すなわち、復号化器80は、ビットストリーム30の内の現在ブロック40の問題のフラグが、現在ブロック40と関連付けられた符号化パラメータが統合を使用して設定されることになることをシグナリングする場合、それが統合候補に従ってこれらの符号化パラメータを設定することによって現在ブロック40と関連付けられた符号化パラメータを得て、いかなる残差データなしで現在ブロック40の符号化パラメータに応じた予測信号にだけ基づいて画像20の現在ブロック40を再構築するように構成されうる。しかし、問題のフラグが、現在ブロック40が統合に従属しない、または、スキップモードが使用されないことをシグナリングする場合、復号化器80は、ビットストリーム30の内で別のフラグに応答することができ、その結果、復号化器80は、この別のフラグに依存して、各統合候補によってそれを設定することによって現在ブロックと関連付けられた符号化パラメータを得て、ビットストリーム30から現在ブロックに関する残差データを得て、予測信号および残差データに基づいて画像20の現在ブロック40を再構築する、または、ビットストリーム30から現在ブロック40に関連する符号化パラメータを抽出し、ビットストリーム30から現在ブロック40に関する残差データを得て、予測信号および残差データに基づいて画像20の現在ブロック40を再構築する。上で概説されるように、復号化器80は、第1のフラグが、統合およびスキップモードのアクティブ化を同時にシグナリングする共通シグナリング状態(commonly signaling state)をとらない場合にだけ、ビットストリーム30の内で別のフラグの存在を予測するように構成されうる。そのときだけ、復号化器80は、統合がスキップモードなしで起こるかどうか確かめるために、別のフラグをビットストリームから抽出する。当然、別な方法として、復号化器80は、スキップモードがアクティブか非アクティブかをシグナリングするこの第3のフラグを用いて、第2のフラグが統合の非アクティブをシグナリングする場合に、現在ブロック40のためのビットストリーム30の内で別の第3のフラグを待つように構成することができる。
【0036】
図2と同様に、
図4は、
図3の復号化のための装置のありうる実施態様を示す。したがって、
図4は、復号化するための装置、すなわち、復号化器80を示し、それは、ビットストリーム30に符号化された画像20をブロック40に細分化するように構成されたサブディバイダー82と、ブロック40を1つ以上の各ブロックのグループに統合するように構成されたマージャー84と、サンプルセットのグループの単位で画像20の全域で変化する符号化パラメータを使用して画像20を復号化するまたは再構築するように構成された復号化器86と、エクストラクター(extractor)88とを含む。復号化器86はまた、既定のブロック40、すなわち、スキップモードがスイッチオフされたものに関して、画像20を予測して、既定のブロック40についての予測残差を復号化して、予測残差と画像20を予測することからから生じる予測とを組み合わせることによって、画像20を復号化するように構成される。エクストラクター88は、ブロック40の少なくともサブセットの各々に関して1つ以上のシンタックス要素とともに、各ブロック40が別のブロック40とともにグループの1つに統合されることになるか否かをシグナリングするビットストリーム30から予測残差と符号化パラメータを抽出するように構成される。ここで、マージャー84は、1つ以上のシンタックス要素に応答してその統合を実行するように構成され、その1つ以上のシンタックス要素の可能な状態のうちの1つが、各ブロック40が別のブロック40とともにブロックのグループの1つに統合されることになっており、ビットストリーム30に符号化され、挿入された予測残差を有しないことをシグナリングする。
【0037】
このように、
図4を
図2と比較して、サブディバイダー82は、サブディバイダー72によって発生された細分化をもとに戻すように、サブディバイダー72のような働きをする。サブディバイダー82は、デフォルトで画像20の細分化について知っているかまたはエクストラクター88を介してビットストリーム30から細分化情報を抽出する。同様に、マージャー84は、ブロック40の統合を形成して、ビットストリーム30内で、上で概説されたシグナリングを介してブロック40およびブロック部分に関してアクティブ化される。復号化器86は、ビットストリーム30の内で符号化パラメータを使用して画像20の予測信号の生成を実行する。統合の場合には、復号化器86は、隣接したブロック/パーティションから現在ブロック40または現在ブロックパーティションの符号化パラメータを複製するか、あるいは、そうでなければ、統合候補に従ってその符号化パラメータを設定する。
【0038】
すでに上で概説されたように、エクストラクター88は、現在ブロックに関するフラグ又はシンタックス要素の可能な状態のうちの1つを、統合およびスキップモードのアクティブ化を同時にシグナリングする信号として解釈するように構成される。同時に、エクストラクター88は、また、現在ブロック40のためのサポートされた分割パターンの内の既定の1つをシグナリングするためにも、その状態を解釈することができる。例えば、既定の分割パターンは、ブロック40が分割されないままで、このように1つのパーティション自体を形成する非分割モードでありえる。したがって、エクストラクター88は、各フラグまたはシンタックス要素が同時にシグナリングする状態をとらない場合、ビットストリーム30が、単にブロック40の分割をシグナリングする分割情報を含むことを予想する。以下で更に詳細に概説されるように、分割情報が、シンタックス要素を介してビットストリーム30の内で伝達されえて、それは、現在ブロック40の符号化モードを制御する、すなわち、ブロック40をインター符号化されるものとイントラ符号化されるものとに並行して分割する。その場合、第1のフラグ/シンタックス要素の共通シグナリング状態は、インター予測符号化モードのシグナリングと解釈することもできる。シグナリングされた分割情報から生じるパーティションの各々に関して、エクストラクター88は、ブロック40のための第1のフラグ/シンタックス要素が、統合およびスキップモードのアクティブ化を同時にシグナリングする共通シグナリング状態をとらない場合には、別の統合フラグをビットストリームから抽出することができる。その場合、スキップモードは、スイッチオフされるようにエクストラクター88によって必然的に解釈されえて、そして、統合が個々にパーティションに関してビットストリーム30によってアクティブにされうるが、残差信号は、この現在ブロック40のためにビットストリーム30から抽出される。
【0039】
このように、
図3または
図4の復号化器80は、ビットストリーム30を復号化するように構成される。上述の通り、ビットストリーム30は、画像20の現在ブロック40のためのサポートされた分割パターンのうちの1つをシグナリングすることができる。復号化器80は、サポートされた分割パターンのうちのシグナリングされた1つが2つ以上のパーティション50およびパーティション60への現在ブロック40の細分化を特定する場合、符号化順70におけるパーティションのうちの1番目のパーティション50以外の全てのパーティションに関して、すなわち、
図1及び
図3に示された例におけるパーティション60に関して、各パーティションのための符号化パラメータ候補のセットから、各パーティションと統合されるときに、サポートされた分割パターンのうちの1つ、すなわち、サポートされた分割パターンのうちの1つであるがビットストリーム30の内でシグナリングされなかったものとなる、パーティションのいずれかと関連付けられた符号化パラメータと同じである又は等しい符号化パラメータを有する符号化パラメータ候補を除くように構成されうる。
【0040】
例えば、復号化器80は、除かれなかった符号化パラメータ候補の数が0でない場合に、除かれなかったパラメータ候補のうちの1つに依存して、各パーティション60と関連付けられた符号化パラメータを設定するように構成することができる。例えば、復号化器80は、付加的なリファインメントの有無にかかわらず、および/または、符号化パラメータが関連する時間的距離によるスケーリングの有無にかかわらず、除かれなかった符号化パラメータ候補のうちの1つに等しくなるように、それぞれ、パーティション60の符号化パラメータを設定する。例えば、除かれなかった候補のうち統合する符号化パラメータ候補は、パーティション60のためのビットストリーム30の内で明示的にシグナリングされた参照画像インデックスとは別のそれと関連付けられた別の参照画像インデックスを有しうる。その場合、符号化パラメータ候補の符号化パラメータは、それぞれ参照画像インデックスと関連付けられた動きベクトルを定めることができ、復号化器80は、両方の参照画像インデックス間の比率に従って、最後に選択された除かれなかった符号化パラメータ候補の動きベクトルをスケーリングするように構成することができる。このように、上述の変形例によれば、統合に従う符号化パラメータは、動きパラメータを含む一方で、参照画像インデックスは、それから分離される。しかし、上記のように、別の実施形態によれば、参照画像インデックスは、統合に従う符号化パラメータの一部でもありえる。
【0041】
統合動作(merge behavior)がインター予測されたブロック40に制限されうることは、
図1及び
図2の符号化器と
図3及び
図4の復号化器に等しくあてはまる。したがって、復号化器80および符号化器10は、現在ブロック40に関してイントラおよびインター予測モードをサポートして、現在ブロック40がインター予測モードで符号化されている場合にだけ統合を実行するように構成することができる。したがって、この種のインター予測された前に符号化されたパーティションの符号化/予測パラメータだけが、候補リストを決定/構築するために使用することができる。
【0042】
すでに上述したように、符号化パラメータは、予測パラメータでもよく、復号化器80は、各パーティションのための予測信号を得るために、パーティション50およびパーティション60の予測パラメータを使用するように構成することができる。当然、符号化器10も、同様に予測信号の抽出を実行する。しかし、符号化器10は、加えて、適切な最適化の意味において、いくつかの最適化を得るために、ビットストリーム30の内にすべての他のシンタックスとともに予測パラメータを設定する。
【0043】
更に、すでに上記で説明されたように、符号化器は、各パーティションのための(除かれなかった)符号化パラメータ候補の数が1より大きいものである場合だけ、(除かれなかった)符号化パラメータ候補にインデックスを挿入するように構成することができる。したがって、復号化器80は、(除かれなかった)符号化パラメータ候補の数が1より大きいものである場合、例えばパーティション60のための(除かれなかった)符号化パラメータ候補の数に応じて、ビットストリーム30が、(除かれなかった)符号化パラメータ候補のうちのどれが統合のために使用されるかについて特定しているシンタックス要素を含むのを単に予想するように構成できる。しかし、候補セットが総計で2より小さくなる場合は、上述の通り、ただ1つの前に符号化されたパーティションの符号化パラメータを採用するまたはそれらから抽出することによって得られたそれらの候補まで候補セットの削減の実行を制限することによって、組み合わされた符号化パラメータ、すなわち、1つ以上又は2つ以上の前に符号化されたパーティションの符号化パラメータの組合せによって得られたパラメータを使用した候補のリスト/セットを拡張することによって生じることから、通常、除外されうる。同様に逆のこと、すなわち、通常、他のサポートされた分割パターンとなるパーティションのそれと同じ値を有する全ての符号化パラメータ候補を除くことも可能である。
【0044】
決定に関して、復号化器80は、符号化器10が行うように動作する。すなわち、復号化器80は、前に復号化されたパーティションと関連付けられた符号化パラメータに基づいて、パーティション又はブロック40のパーティションのための統合候補のセットを決定するように構成することができる。すなわち、符号化順は、各ブロック40のパーティション50およびパーティション60の内でだけでなく、画像20自体のブロック40の内でも定められる。パーティション60の前に符号化されていたすべてのパーティションは、このように、
図3の場合のパーティション60などの、後に続くパーティションのいずれかのための統合候補のセットの決定のための基準として役立つ。上でも説明されているように、符号化器および復号化器は、統合候補のセットの決定を、特定の空間および/または時間的隣接にあるパーティションに制限することができる。例えば、復号化器80は、現在のパーティションに隣接する、前に復号化されたパーティションと関連付けられた符号化パラメータに基づいて、統合候補のセットを決定するように構成することができ、この種のパーティションは、現在ブロック40の外側および内部に位置することができる。当然、統合候補の決定は、符号化順で1番目のパーティションのために実行されることもできる。単に除去のみは、なされないこともある。
【0045】
図1の説明と一致して、復号化器80は、前に復号化されたパーティションの最初のセットから、各1番目でないパーティション60のための符号化パラメータ候補のセットを決定するように構成することができ、イントラ予測モードで符号化されているものを除外する。
【0046】
更に、符号化器が、ブロック40に画像20を細分化するために、細分化情報をビットストリームに導入している場合には、復号化器80は、ビットストリーム30の細分化情報に従って、この種の符号化ブロック40への画像20の細分化を元に戻すように構成することができる。
【0047】
図1ないし
図4に関して、現在ブロック40のための残差信号が、符号化パラメータに関してパーティションによって定められた粒度と異なりうる粒度でビットストリーム30を介して送信することができることに留意する必要がある。例えば、スキップモードがアクティブにされていないブロックに関して、
図1の符号化器10は、パーティション50およびパーティション60への分割とは並列の又は独立した方法で、1つ以上の変換ブロックにブロック40を細分化するように構成することができる。符号化器は、更なる細分化情報によって、ブロック40のための各変換ブロック細分化をシグナリングしうる。次に、復号化器80は、ビットストリームの更なる細分化情報によって、1つ以上の変換ブロックへのブロック40のこの更なる細分化を元に戻して、これらの変換ブロックの単位で、ビットストリームから現在ブロック40の残差信号を抽出するように構成することができる。変換ブロック分割の意義は、符号化器におけるDCTなどの変換と復号化器におけるIDCTなどの対応する逆変換が、個々に、ブロック40の各変換ブロックの内で実行されることでありうる。ブロック40の内で画像20を再構築するために、符号化器10は、各パーティション50およびパーティション60で符号化パラメータを適用することによって得られた予測信号と残差信号を、それぞれ、加算するなどして、結合する。しかし、残差符号化は、変換および逆変換をそれぞれ含まず、予測残差が例えば変わりに空間ドメインにおいて符号化されることに留意されたい。
【0048】
下記の更なる実施形態の更にあり得る詳細を説明する前に、
図1ないし
図4の符号化器および復号化器の可能性のある内部構造は、
図5および
図6に関して説明される。しかしながら、マージャーおよびサブディバイダーは、ハイブリッド符号化の性質に注目するために、これらの図には示されない。
図5は、例として、符号化器10がどのように内部的に構築されうるかについて示す。図に示すように、符号化器10は、減算器108、変換器100、およびビットストリームジェネレータ102を含むことができ、それらは、
図5に示すように、エントロピー符号化を実行することができる。要素108、要素100および要素102は、画像20を受信する入力112と前述のビットストリーム30を出力している出力114との間で直列に接続される。特に、減算器108は、入力112と接続されるその非反転入力を有し、変換器100は、減算器108の出力とビットストリームジェネレータ102の1番目の入力との間に接続され、次に、ビットストリームジェネレータ102は、出力114と接続される出力を有する。
図5の符号化器10は、さらに、逆変換器104と、アダー110とを含み、それらは、変換器100の出力に、記載された順に、直列に接続される。符号化器10は、更に、アダー110の出力とアダー110の更なる入力と減算器108の反転入力との間に接続される予測器106とを含む。
【0049】
図5の要素は、以下の通りに相互に作用する。予測器106は、減算器108の逆入力に印加されて、予測の結果、すなわち予測信号を用いて、画像20の部分を予測する。減算器108の出力は、次に、予測信号と画像20の各部との間の差、すなわち残差信号を示す。残差信号は、変換器100の変換符号化に従う。すなわち、変換器100は、変換係数レベルを得るために、DCTなどの変換、および変換された残差信号、すなわち、変換係数に関する後続の量子化を実行しうる。逆変換器104は、変換器100の量子化のため情報損失を除いて変換器100に残差信号入力に対応する、再構築された残差信号を得るために、変換器100によって出力された最終的な残差信号を再構築する。再構築された残差信号と予測器106による出力としての予測信号の足し合わせは、結果として画像20の各部分の再構築となり、アダー110の出力から予測器106の入力へと送られる。予測器106は、イントラ予測モード、インター予測モードなどのような上述のような種々のモードで作動する。予測信号を得るために予測器106によって適用された予測モードおよび対応する符号化または予測パラメータは、ビットストリームへの挿入のためのエントロピー符号化器102に、予測器106によって送られる。
【0050】
符号化器に関して
図5に示された可能性に対応する
図3および
図4の復号化器80の内部構造の可能な実施態様が、
図6に示される。図に示すように、復号化器80は、
図6に示すようにエントロピー復号化器として実装できるビットストリーム抽出器150、逆変換器152、およびアダー154を含むことができ、それらは、記載の順に、復号化器の入力158および出力160の間に接続される。更に、
図6の復号化器は、アダー154の出力とその更なる入力との間に接続される予測器156を含む。エントロピー復号化器150は、予測器156のパラメータ入力と接続される。
【0051】
図6の復号化器の機能を簡単に説明すると、エントロピー復号化器150は、ビットストリーム30に含まれるすべての情報を抽出するためにある。使用されたエントロピー符号化スキームは、可変長符号化または算術符号化でもよい。これによって、エントロピー復号化器150は、残差信号を示しているビットストリーム変換係数レベルから元に戻し、逆変換器152にそれを送る。更に、エントロピー復号化器150は、上述のエクストラクター88として働き、ビットストリームからすべての符号化モードおよび関連付けられた符号化パラメータを元に戻して、予測器156にそれを送る。加えて、分割情報および統合情報は、エクストラクター150によってビットストリームから抽出される。逆変換された、すなわち再構築された残差信号および予測器156から得られるような予測信号は、アダー154によって加算されるなどして、結合され、次に、こうして元に戻された再構築された信号を出力160で出力し、それを予測器156に送る。
【0052】
図5および
図6を比較することから明白になるように、要素152、要素154および要素156は、機能的に、
図5の要素104、要素110および要素106に対応する。
【0053】
図1~
図6についての上記説明において、いくつかの異なる可能性は、画像20の可能な細分化および画像20を符号化することに関係するパラメータのいくつかを変化させる際の対応する粒度に関して提示された。この種の可能性は、
図7aおよび
図7bに関しても説明される。
図7aは、画像20のうちの一部を示す。
図7aの実施形態によれば、符号化器および復号化器は、最初に、ツリールートブロック200に画像20を細分化するように構成される。そのようなツリールートブロックは、
図7aに示される。ツリールートブロックへの画像20の細分化は、点線で示すように行および列で規則的になされる。ツリールートブロック200のサイズは、符号化器によって選択することができて、ビットストリーム30によって復号化器にシグナリングされた。代わりに、これらのツリールートブロック200のサイズは、デフォルトで固定することができる。ツリールートブロック200は、符号化ブロックまたは符号化単位と呼ぶことがある上述の区別されたブロック40を生じさせるために、クワッドツリー分割を用いて細分化される。これらの符号化ブロックまたは符号化単位は、
図7aの細い実線によって描画される。これによって、符号化器は、各ツリールートブロック200に細分化情報を加えて、その細分化情報をビットストリームに挿入する。この細分化情報は、ツリールートブロック200がブロック40に細分化されることになる方法について示す。これらのブロック40の粒度で、およびその単位で、予測モードが、画像20の内で変化する。上記のように、各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、どのサポートされた分割パターンが各ブロック40のために使用されるかについての分割情報を伴う。しかしながら、この点に関しては、共通シグナリング状態をとるとき、それぞれのブロック40のための別の分割情報の明示的な送信が符号化器側で抑制されえて、したがって、復号化器側で予想されることができないように、上述したフラグ/シンタックス要素は、各ブロック40のためのサポートされた分割モードのうちの1つを同時にシグナリングしうることを想起されたい。
図7aについて示した場合において、多くの符号化ブロック40に関しては、符号化ブロック40が空間的に対応するパーティションと一致するように、非分割モードが選択されている。換言すれば、符号化ブロック40は、同時に、それと関連付けられた予測パラメータの各セットを有するパーティションである。予測パラメータの種類は、次に、各符号化ブロック40と関連付けられたモードに依存する。しかし、別の符号化ブロックは、例として、更に分割されるように示される。ツリールートブロック200の一番右上のコーナーの符号化ブロック40は、例えば、4つのパーティションに分割されることが示されるが、ツリールートブロック200の一番右下のコーナーの符号化ブロックは2つのパーティションに縦に細分化されることが例示的に示される。パーティションへの分割のための細分化は、点線によって示される。
図7aはまた、このように定められたパーティションの内の符号化順を示す。図に示すように、深さ優先走査順が使用される。ツリールートブロック境界を横切って、符号化順は、ツリールートブロック200の行が画像20の上から下への行ごとに走査される走査順で進められうる。この方法によって、特定のパーティションがその上側の境界と左側の境界に隣接する前に符号化されたパーティションを有する可能性を最大にすることが可能である。各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、統合がその中の対応するパーティションのために作動するかどうかについて示しているビットストリームの内の統合スイッチインジケータを有することができる。単にこのルールがブロック40の最も小さい可能なブロックサイズに関してなされるだけであるという例外によって、パーティション/予測単位へのブロックの分割が、最大で2つのパーティションの分割に制限することができる点に留意する必要がある。これは、ブロック40を得るためにクワッドツリー細分化を使用する場合、ブロック40に画像20を細分化するための細分化情報と、パーティションにブロック40を細分化するための分割情報との間の冗長を回避することができる。あるいは、非対称のものを含む又は含まない、単に1つ又は2つのパーティションへの分割だけが許容されることができる。
【0054】
図7bは、細分化ツリーを示す。実線については、ツリールートブロック200の細分化が示され、一方、点線は、符号化ブロック40であるクワッドツリー細分化のリーフブロックの分割を表す。すなわち、符号化ブロックの分割は、クワッド細分化の一種の拡張を示す。
【0055】
すでに上述したように、各符号化ブロック40は、変換ブロックが各符号化ブロック40の異なる細分化を示しうるように、変換ブロックに並列して細分化されうる。
図7aおよび
図7bに示されないこれらの変換ブロックの各々に、符号化ブロックの残差信号を変換するための変換は、別々に実行されうる。
【0056】
以下に、本願発明の更なる実施形態について説明する。前記実施形態が、ブロック統合とブロック分割との間の関連に集中した一方で、以下の記載はまた、スキップ/ダイレクトモードなどの現在のコーデックにおいて知られた他の符号化原理に関する本願の態様を含む。にもかかわらず、以下の記載は、別の実施形態、すなわち上記のものから分離された実施形態を単に説明するだけであるとみなされるということではない。むしろ、下記の説明も、上記実施形態に関する可能な実施態様の詳細を明らかにする。したがって、下記の説明は、すでに上で示された図の参照符号を使用し、その結果、後述する各可能な実施態様はまた、上記実施形態の可能なバリエーションを定める。これらのバリエーションの大部分は、個々に前記実施形態に移されうる。
【0057】
換言すれば、本願の実施形態は、サンプルのセットに関して、統合と残差データの欠如の組み合わされたシグナリングによって、画像およびビデオ符号化アプリケーションにおいて補助情報のレートを削減するための方法を説明する。換言すれば、画像およびビデオ符号化アプリケーションの補助情報レートは、統合スキームの使用を示しているシンタックス要素および残差データの欠如を示しているシンタックス要素を組み合わせることによって削減される。
【0058】
更に、これらのバリエーションおよびさらなる詳細を説明する前に、画像およびビデオコーデックに関する概要が示される。
【0059】
画像およびビデオ符号化アプリケーションにおいて、画像と関連付けられたサンプルアレイは、任意に形作られた領域、三角形、または他の形状を含む長方形又は四角ブロックまたはサンプルの他の集合を示しうる、サンプルの特定のセット(またはサンプルセット)に通常分割される。サンプルアレイの細分化は、シンタックスによって固定されうる、または、細分化は、ビットストリームの内で(少なくとも部分的に)シグナリングされる。細分化情報をシグナリングするための補助情報レートを小さく保つために、シンタックスは、通常、より小さいブロックへのブロックの細分化などの単純な分割となる限られた数の選択のみを許容する。よく使用される分割スキームは、4つのより小さい正方形ブロックへの、または、同一サイズの2つの長方形ブロックへの、または、異なるサイズの2つの長方形ブロックへの正方形ブロックの分割である。ここで、実際に使用される分割は、ビットストリームの内でシグナリングされる。サンプルセットは、予測情報または残差符号化モードなどを特定できる特定の符号化パラメータと関連する。ビデオ符号化アプリケーションにおいて、分割は、しばしば、動き表現のためになされる。(分割パターン内の)ブロックのすべてのサンプルは、動きパラメータの同じセットと関係し、それは、予測の種類(例えば、リスト0、リスト1、または双方向予測;および/または平行移動またはアフィン予測または異なる動きモデルを用いた予測)を特定するパラメータ、使用される参照画像を特定するパラメータ、通常、予測器に差として送信される参照画像に対する動きを特定するパラメータ(例えば、変位ベクトル、アフィン動きパラメータベクトル、他の動きモデルのための動きパラメータベクトル)、動きパラメータの精度(例えば2分の1サンプルまたは4分の1サンプルの精度)、(例えば照度補償のための)参照サンプル信号の重み付けを特定するパラメータ、または、現在ブロックの動き補償された予測信号を得るために使用される補間フィルタを特定するパラメータを含みうる。サンプルセットごとに、(例えば、予測および/または残差符号化を特定するために)個々の符号化パラメータが送信されると仮定される。改善された符号化効率を得るために、本願発明は、2つ以上のサンプルセットをいわゆるサンプルセットのグループに統合する方法および特定の実施形態を示す。この種のグループの全てのサンプルセットは、同じ符号化パラメータを共有する。そして、それは、そのグループにおけるサンプルセットのうちの1つと共に送信されることができる。こうすることによって、符号化パラメータは、個々にサンプルセットのグループのサンプルセットごとに送信される必要はなく、その代わりに、符号化パラメータは、サンプルセットの全てのグループのために一度だけ送信される。
【0060】
その結果、符号化パラメータを送信するための補助情報レートは削減され、全体の符号化効率は、改善される。代わりのアプローチとして、符号化パラメータのうちの1つ以上のための付加的なリファインメントは、サンプルセットのグループのサンプルセットの1つ以上のために送信されることができる。そのリファインメントは、グループのすべてのサンプルセットに、または、それが送信されるサンプルセットだけに、適用されうる。
【0061】
本願発明のいくつかの実施形態は、(上述のように)さまざまなサブブロック50、60へのブロックの分割と統合処理を組み合わせる。通常、画像またはビデオ符号化システムは、ブロック40のためのさまざまな分割パターンをサポートする。一例として、正方形ブロックは、分割されないか、または、同じサイズの4つの正方形ブロックに、(正方形ブロックが縦又は横に分割される)2つの同じサイズの2つの長方形ブロックに、若しくは、(縦又は横に)異なるサイズの長方形ブロックに分割されうる。説明された典型的なパーティションパターンは、
図8に示される。上記説明に加えて、分割は、1以上のレベルの分割さえも関係しうる。例えば、正方形のサブブロックはまた、任意選択で、同じ分割パターンを使用して更に分割されうる。この種の分割処理が、(正方形又は長方形)ブロックを例えばその隣接ブロックのうちの1つと統合することを可能にする統合処理と組み合わされるときに生じる問題は、それが生じる分割が、分割パターンと統合信号の異なる組合せによって得ることができるということである。それ故、同じ情報は、異なる符号化語を使用してビットストリームにおいて送信することができ、それは、符号化効率に関して明らかに最適状態に及ばない。単純な例として、(
図8の左上隅にて示したように、)更に分割されない正方形ブロックを考慮する。この分割は、このブロック40が細分化されないというシンタックス要素を送ることによって、直接、シグナリングすることができる。しかし、同じパターンは、このブロックが、例えば、2つの縦に(または横に)配置された長方形ブロック50、60に細分化されることを特定するシンタックス要素を送ることによってシグナリングすることもできる。それから、これらの長方形ブロックのうちの2番目が1番目の長方形ブロックと統合されることを特定する統合情報を送ることができ、結果として、そのブロックが更に分割されないという信号を送るときとちょうど同じ分割となる。同じことは、最初にブロックが4つの正方形のサブブロックに細分化されることを特定して、それから、全てのこれらの4つのブロックを効率的に統合する統合情報を送ることによって得られる。この構想は、明らかに最適状態に及ばない(我々が同じものをシグナリングするために異なる符号化語を有するからである)。
【0062】
本願発明のいくつかの実施形態は、補助情報レートを削減して、したがってブロックのための異なる分割パターンを提供するという構想と統合についての構想との組み合わせのために、符号化効率を増加させる。
図8の分割パターン例を見れば、2つ長方形ブロックを用いた分割パターンのいずれかによって更に分割されなかったブロックの「シミュレーション(simulation)」は、長方形ブロックが1番目の長方形ブロックと統合される場合を禁ずる(すなわち、ビットストリームシンタックス仕様から除外する)ときに回避されうる。より深く問題をみるとき、1番目の長方形ブロックと同じパラメータ(例えば、予測を特定するための情報)と関係する任意の他の隣接(すなわち、1番目でない長方形ブロック)と2番目の長方形を統合することによって細分化されなかったパターンを「シミュレートする(simulate)」ことは可能である。これらの統合パラメータが、結果としてサポートされた分割パターンのうちの1つをシグナリングすることによって得ることもできるパターンをもたらすとき、特定の統合パラメータの送信が、ビットストリームシンタックスから除外される方法で、統合情報の送信を条件づけることによって、冗長は回避されうる。例として、現在の分割パターンが、例えば、2番目のブロック、すなわち
図1及び
図3の場合のブロック60のための統合情報を送る前に、
図1及び
図3に示すように、2つの長方形ブロックへの細分化を特定する場合、可能な統合候補のうちのどれが、1番目の長方形ブロック、すなわち
図1及び
図3の場合のブロック50と同じパラメータ(例えば、予測信号を特定するためのパラメータ)を有するかをチェックすることができる。そして、(1番目の長方形ブロック自体を含む)同じ動きパラメータを有する全ての候補は、統合候補のセットから除かれる。統合情報をシグナリングするために送られる符号化語またはフラグは、結果として生じる候補セットに適合される。候補セットがパラメータチェックによって空になる場合、統合情報は送信できない。候補セットがちょうど1つのエントリからなる場合、そのブロックが統合されるかどうかについてシグナリングされるだけであり、その候補は、復号化器側等で得られうるので、シグナリングされる必要がない。上記例に関して、同じ構想はまた、4つのより小さい正方形ブロックに正方形ブロックを分割する分割パターンにも使用される。ここで、統合フラグの送信は、細分化を特定しない分割パターンも、同じサイズの2つの長方形ブロックへの細分化を特定する2つの分割パターンのいずれもが統合フラグの組み合わせによって達成できない方法で適合される。特定の分割パターンを用いた上記例に最も多い構想を説明したが、(他の分割パターンと対応する統合情報との組合せによって特定の分割パターンの仕様を回避する)同じ構想が分割パターンの他のセットのために使用されることができることは明らかである。
【0063】
考慮される必要がある他の態様は、統合構想がビデオ符号化設計で見られるスキップまたはダイレクトモードにある意味で類似しているということである。スキップ/ダイレクトモードにおいて、基本的に、動きパラメータは、現在ブロックのために送信されないが、空間的および/または時間的隣接から推定される。スキップ/ダイレクトモードの特定の効率的な構想において、動きパラメータ候補(参照フレームインデックス、変位ベクトル、その他)のリストは、空間および/または時間的隣接から生成され、候補パラメータのうちのどれが選択されるかについて特定するこのリストへのインデックスが送信される。双方向予測されたブロック(または多重仮説フレーム)のために、別の候補が参照リストごとにシグナリングされることができる。可能な候補は、現在ブロックの上部のブロック、現在ブロックの左のブロック、現在ブロックの左上のブロック、現在ブロックの右上のブロック、これらの候補でさまざまなものの中央値予測器、1つ以上の前の参照フレームにおける同じ位置に配置されたブロック(または、他のすでに符号化されたブロック、または、すでに符号化されたブロックから得られる組み合わせ)を含むことができる。
【0064】
スキップ/ダイレクトを統合構想と組み合わせることは、ブロックがスキップ/ダイレクトまたは統合モードを使用して、符号化されうることを意味する。スキップ/ダイレクトおよび統合構想は類似するが、セクション1において更に詳細に説明される2つの構想の違いがある。スキップおよびダイレクトの主な違いは、スキップモードが、残差信号が送信されないことを更にシグナリングすることである。統合構想が使用されるときに、通常、ブロックが0以外の変換係数レベルを含むかどうかをシグナリングするフラグが送信される。
【0065】
改善された符号化効率を得るために、上及び下で説明される実施形態は、サンプルセットが他のサンプルセットの符号化パラメータを使用するかどうかのシグナリングと残差信号がブロックのために送信されないかどうかのシグナリングとを組み合わせる。組み合わされたフラグは、サンプルセットが他のサンプルセットの符号化パラメータを使用すること、および、残差データが送信されないことを示す。この場合に関して、2つではなく1つのフラグだけが送信されることを必要とする。
【0066】
上述したように、本願発明のいくつかの実施形態はまた、統合アプローチが、ビットストリームの冗長を生ぜしめることなく、画像のサンプルアレイのための分割を選択するための可能性の数を著しく増加させるので、ビットストリームを生み出すためにより大きな自由度を符号化器に供給する。符号化器が、例えば、特定のレート歪み測度を最小化するために、より多くの選択肢の中から選ぶことができるので、符号化効率は、改善されうる。例として、細分化と統合との組み合わせによって示されうる追加のパターンのいくつか(例えば
図9のパターン)は、(動き推定およびモード決定のための対応するブロックサイズを使用して)追加的にテストすることができ、純粋に分割することによって(
図8)、そして、分割および統合によって(
図9)提供された最も良いパターンが、特定のレート歪み測度に基づいて選択することができる。加えて、各ブロックごとに、すでに符号化された候補セットのいずれかを用いた統合が、特定のレート歪み測度の減少において生ずるかどうかについてテストされることができ、対応する統合フラグは、符号化処理の間、設定される。要約すれば、符号化器を作動させるいくつかの可能性がある。単純なアプローチにおいて、符号化器は、(最高水準の符号化スキームとして)サンプルアレイの最大の細分化を最初に決定することができる。そうすると、それは、サンプルセットごとに、他のサンプルセットまたはサンプルセットの他のグループを用いた統合が特定のレート歪みコスト測度を削減するかどうかをチェックすることができる。ここで、サンプルセットの統合されたグループと関連付けられた予測パラメータは、(例えば新たな動きサーチを実行することによって、)再推定することができる。または、現在サンプルセットのためにすでに決定された予測パラメータおよび統合のための候補サンプルセット(またはサンプルセットのグループ)は、サンプルセットの考慮されたグループのために評価することができる。より広範囲なアプローチにおいて、特定のレート歪みコスト測度は、サンプルセットの付加的な候補グループのために評価することができる。特例として、さまざまな可能な分割パターン(例えば
図8参照)をテストするときに、分割および統合の組み合わせによって示されることができるパターンの一部又は全部(例えば
図9参照)は、加えて、テストされることができる。すなわち、パターンの全てに関して、特定の動き推定およびモード決定処理が実行され、最も小さいレート歪み測度を得るパターンが選択される。この処理は、上記の低煩雑性処理と組み合わされることもできる。その結果、結果として生じるブロックのために、(例えば
図8および
図9のパターンの外で)すでに符号化されたブロックに関する統合がレート歪み測度の減少を生じさせるかどうかが追加的にテストされる。
【0067】
以下において、例えば
図1、
図2および
図5の符号化器と
図3、
図4および
図6の復号化器などに関して、上で概説された実施形態のためのいくつかの可能な詳細な実施態様について説明される。すでに上で述べたように、それは画像およびビデオ符号化において使用可能である。上述の通り、画像または画像のためのサンプルアレイの特定のセットは、ブロックに分解されることができ、それは、特定の符号化パラメータと関連している。画像は、通常、複数のサンプルアレイからなる。加えて、画像は、付加的な補助のサンプルアレイと関連しうる。そして、それは、例えば、透明性情報または深度マップを特定することができる。(補助のサンプルアレイを含む)画像のサンプルアレイは、1つ以上のいわゆる平面群に分類することができる。ここで、各平面群は、1つ以上のサンプルアレイからなる。画像の平面群は、独立に、または、画像が複数の平面群と関連している場合には、同じ画像の他の平面群からの予測によって、符号化されうる。各平面群は、通常、ブロックに分解される。ブロック(またはサンプルアレイの対応するブロック)は、インター画像予測またはイントラ画像予測によって予測される。ブロックは、異なるサイズを有することができて、正方形または長方形でありえる。ブロックへの画像の分割は、シンタックスによって固定することもでき、または、それは、(少なくとも部分的に)ビットストリームの内でシグナリングすることもできる。しばしば定められたサイズのブロックに関する細分化の信号を送るシンタックス要素が送信される。この種のシンタックス要素は、小さいブロックに細分化されるかや、どのように細分化されるかを特定することができ、そして、例えば予測の目的で、符号化パラメータと関連している。可能な分割パターンの例が
図8に示される。ブロック(またはサンプルアレイの対応するブロック)のすべてのサンプルに関して、関連付けられた符号化パラメータの復号化は、特定の方法で特定される。例において、ブロックの全てのサンプルが、(すでに符号化された画像のセットにおいて参照画像を識別する)参照インデックス、(参照画像と現在の画像との間のブロックの動きについての測度を特定する)動きパラメータ、補間フィルタを特定するためのパラメータ、イントラ予測モードなどの予測パラメータの同じセットを使用して、予測される。動きパラメータは、横成分および縦成分を有する変位ベクトルによって、または、6つの成分からなるアフィン動きパラメータなどの高次動きパラメータによって、示すことができる。特定の予測パラメータ(例えば参照インデックスおよび動きパラメータ)の複数のセットが1つのブロックと関連することも可能である。その場合、これらの特定の予測パラメータのセットごとに、ブロック(またはサンプルアレイの対応するブロック)のための1つの中間の予測信号が生成され、そして、最終的な予測信号は、中間の予測信号を重畳することを含む結合によって構築される。対応する重み付けパラメータおよび場合によっては(重み付けされた和に加算される)一定のオフセットは、画像に関して、若しくは参照画像、若しくは参照画像のセットに関して固定されうる、または、それらは、対応するブロックのための予測パラメータのセットに含まれうる。元のブロック(またはサンプルアレイの対応するブロック)とそれらの予測信号との差(残差信号とも呼ばれる)は、通常、変換され、量子化される。しばしば、二次元変換が、残差信号(または残差ブロックのための対応するサンプルアレイ)に適用される。変換符号化のために、予測パラメータの特定のセットが使用されたブロック(またはサンプルアレイの対応するブロック)は、変換を適用する前に、更に分割されることができる。変換ブロックは、予測のために使用されるブロックと等しくする、またはそれより小さくすることができる。変換ブロックが、予測のために使用されるブロックの2つ以上を含むことも可能である。異なる変換ブロックは、異なるサイズを有することができ、そして、変換ブロックは正方形または長方形のブロックを表すことができる。
図1~
図7に関する上記例では、1番目の細分化のリーフノード、すなわち符号化ブロック40が、一方では、符号化パラメータの粒度を定めているパーティションに、他方では、二次元変換が個々に適用される変換ブロックに更に並列に分割されうる点が留意された。変換後、結果として生じる変換係数は、量子化され、そして、いわゆる変換係数レベルが得られる。変換係数レベル並びに予測パラメータ、そして、存在するとすれば、細分化情報は、エントロピー符号化される。特に、変換ブロックのための符号化パラメータは、残差パラメータと呼ばれている。予測パラメータと同様に残差パラメータ、そして、存在するとすれば、細分化情報は、エントロピー符号化されうる。H.264としての最新技術のビデオ符号化標準において、符号化ブロックフラグ(coded block flag)(CBF)と呼ばれているフラグは、全ての変換係数レベルが0であり、従って、残差パラメータが符号化されないことをシグナリングしうる。本願発明によれば、このシグナリングは、統合アクティブ化シグナリングと組み合わされる。
【0068】
最新技術の画像およびビデオ符号化標準において、シンタックスによって供給されるブロックに画像(または平面群)を細分化することの可能性は、非常に制限される。通常、事前に定められたサイズのブロックがより小さいブロックに細分化されうるかどうか(場合によってはその方法)が特定されるだけでありえる。例えば、H.264における最大のブロックサイズは、16x16である。16x16ブロックは、マクロブロックとも呼ばれ、各画像は、1番目のステップにおいて、マクロブロックに分割される。16x16マクロブロックごとに、それが16x16ブロックとして、または、2つの16x8ブロックとして、または、2つの8x16ブロックとして、または、4つの8x8ブロックとして、符号化されるかどうかがシグナリングされうる。16x16ブロックが4つの8x8ブロックに細分化される場合、これらの8x8ブロックの各々は、1つの8x8ブロックとして、または、2つの8x4ブロックとして、または、2つの4x8ブロックとして、または、4つの4x4ブロックとして、符号化されうる。最新技術の画像およびビデオ符号化標準のブロックに分割を特定するための可能性の小さいセットは、細分化情報をシグナリングするための補助情報レートが小さく保たれることができる利点があるが、ブロックのための予測パラメータを送信するのに必要なビットレートが、以下に説明されるように有意になりうるという不利な点がある。予測情報の信号を送るための補助情報レートは、通常、ブロックのための全体のビットレートの有意な量を示す。そして、この補助情報が削減されるときに、符号化効率は、増加することができる。そして、それは、例えば、より大きいブロックサイズを使用することにより達成することができる。H.264と比較してサポートされた分割パターンのセットを増加することも可能である。例えば、
図8に示された分割パターンは、すべてのサイズ(または選択されたサイズ)の正方形のブロックのために供給されることができる。ビデオシーケンスの実像または画像は、特定の性質を有する任意で形づくられたオブジェクトからなる。例えば、この種のオブジェクトまたはオブジェクトの部分は、一意なテクスチャまたは一意な動きによって特徴づけられる。そして、通常、予測パラメータの同一のセットは、この種のオブジェクトまたはオブジェクトの一部のために使用されることができる。しかし、オブジェクト境界は、通常、大きな予測ブロック(例えばH.264の16x16マクロブロック)のための可能なブロック境界と一致しない。符号化器は、通常、結果として特定のレート歪みコスト測度の最小限になる(可能性の限られたセットの中の)細分化を決定する。任意で形作られたオブジェクトのために、これは、結果として多数の小ブロックになる。この記述は、上記(述べたような)より多くの分割パターンが供給されるときにも成立する。分割パターンの量があまりにも大きくなってはならない点に留意する必要がある。というのも、多くの補助情報および/または符号化器/復号化器の計算量が、これらのパターンの信号を送信し、処理するのに必要となるからである。そこで、任意で形作られたオブジェクトは、分割のため、しばしば結果として多数の小ブロックになることができる。そして、これらの小ブロックの各々が、送信される必要がある予測パラメータのセットと関連するので、補助情報レートは、全体のビットレートの有意な部分になりうる。しかし、小ブロックのいくつかが、まだ同じオブジェクトの領域またはオブジェクトの一部を示すので、多数の得られたブロックのための予測パラメータは、同じである又は非常に類似している。直観的に、ブロックを細分化することを可能にするだけなく、細分化の後に得られる2つ以上のブロックを統合することを可能にする方法でシンタックスが拡張されるとき、符号化効率は増加されうる。結果として、同じ予測パラメータによって符号化される一群のブロックを得る。この種の一群のブロックのための予測パラメータは、一回のみ符号化されることを必要とする。
図1~
図7の上記例において、例えば、統合が起こる場合、現在のブロック40のための符号化パラメータは送信されない。すなわち、符号化器は、現在ブロックと関連付けられた符号化パラメータを送信せず、そして、復号化器は、ビットストリーム30が現在ブロック40のための符号化パラメータを含むことを予想しない。むしろ、その特定の実施形態によれば、単にリファインメント情報だけが、統合された現在ブロック40のために伝達されうる。候補セットの決定およびその削減並びに統合などが、画像20のうちの他の符号化ブロック40のために実行される。符号化ブロックは、何とか符号化チェーンに沿って符号化ブロックのグループを形成する。そこにおいて、これらのグループのための符号化パラメータは、全体で一回だけビットストリームの内で送信される。
【0069】
符号化予測パラメータの数を減らすことによって節約されるビットレートが統合情報の符号化のために追加的に費やされるビットレートより大きい場合、説明された統合は、結果として増加した符号化効率になる。(統合のための)説明されたシンタックス拡張が、冗長を生じさせることなしで、ブロックへの画像または平面群の分割を選択する際の付加的な自由度を符号化器に供給することが、更に述べられなければならない。符号化器は、まず細分化をして、それから結果として生じるブロックのいくつかが予測パラメータの同一のセットを有するかどうかをチェックするようには制限されない。1つの単純な変形例として、符号化器は、最新技術の符号化技術として細分化を最初に決定することができる。次に、その隣接ブロック(またはブロックの関連付けられたすでに決定されたグループ)のうちの1つとの統合が、レート歪みコスト測度を削減するかどうかをブロックごとにチェックすることができる。これにおいて、ブロックの新しいグループと関連付けられた予測パラメータが、(例えば新たな動きサーチを実行することによって、)再度推定されることができる、または、現在ブロックおよび隣接のブロック若しくはブロックのグループのためにすでに決定された予測パラメータが、ブロックの新たなグループのために評価することができる。符号化器は、分割および統合の組み合わせによって供給されるパターン(のサブセット)を直接チェックすることもできる。すなわち、動き推定およびモード決定は、すでに上で述べたように結果として生じる形状でなされることができる。統合情報は、ブロックベースでシグナリングされうる。実際上、その統合はまた、現在ブロックのための予測パラメータの推定で得た結果と解釈することもできる。ここで、推定された予測パラメータは、隣接したブロックのうちの1つの予測パラメータに等しく設定される。
【0070】
スキップとは別のモードに関して、CBFのような付加的なフラグは、残差信号が送信されないことをシグナリングするために必要とされる。H.264の最新の技術ビデオ符号化標準のスキップ/ダイレクトモードの2つの変形、時間的ダイレクトモードおよび空間的ダイレクトモードがあり、それは、画像レベルで選択される。両方のダイレクトモードは、Bピクチャに適用できるだけである。時間的ダイレクトモードにおいて、参照画像リスト0に関する参照インデックスは、0に等しく設定され、参照画像リスト1に関する参照インデックス並びに両方の参照リストに関する動きベクトルは、参照画像リスト1の第1の参照画像の同じ位置に配置されたマクロブロックの動きデータに基づいて得られる。時間的ダイレクトモードは、時間コロケートした(temporal collocated)ブロックからの動きベクトルを使用して、現在ブロックとそのコロケートブロックとの間の時間距離に従って動きベクトルをスケールする。空間的ダイレクトモードにおいて、両方の参照画像リストのための参照インデックスおよび動きベクトルは、基本的には、空間的隣接における動きデータに基づいて推定される。参照インデックスは、空間的隣接において対応する参照インデックスの最小値として選択され、そして、各動きベクトル構成要素は、空間的隣接における対応する動きベクトル構成要素の中央値に等しく設定される。スキップモードは、(PおよびBピクチャの)H.264の16x16マクロブロックを符号化するために使用されることができるだけであり、ダイレクトモードは、16x16マクロブロックまたは8x8サブマクロブロックを符号化するために使用することができる。ダイレクトモードとは対照的に、統合が現在ブロックに適用される場合、すべての予測パラメータは、現在ブロックが統合されるブロックから複製することができる。統合はまた、結果として1つのパターンのすべてのサンプルが同じ予測パラメータを使用して予測している上述のよりフレキシブルな分割パターンをもたらす任意のブロックサイズに適用することもできる。
【0071】
上記または下記で概説される実施形態の根本概念は、統合およびCBFフラグを結合することによって、CBFフラグを送信するために必要であるビットレートを削減することである。サンプルセットが統合を使用して、残差データが送信されない場合、1つのフラグは、両方をシグナリングして送信される。
【0072】
画像およびビデオ符号化アプリケーションにおける補助情報レートを削減するために、(長方形または正方形のブロックまたは任意形状の領域またはサンプルの他の集合を示しうる)サンプルの特定のセットは、通常、符号化パラメータの特定のセットと関連する。これらのサンプルセットの各々に関して、符号化パラメータは、ビットストリームに含まれる。符号化パラメータは、予測パラメータを示すことができ、それは、サンプルの対応するセットがすでに符号化されたサンプルを使用してどのように予測されるかについて特定する。サンプルセットへの画像のサンプルアレイの分割は、シンタックスによって固定されうるかまたはビットストリーム内の対応する細分化情報によってシグナリングされうる。1つのブロックについて複数の分割パターンが、許容されうる。サンプルセットのための符号化パラメータは、シンタックスによって与えられる既定の順で送信される。サンプルの現在のセットに関して、それがサンプルセットのグループに1つ以上の他のサンプルセットに(例えば、予測の目的で)統合されることがシグナリングされうる。対応する統合情報のための値の可能なセットは、特定の分割パターンが他の分割パターンと対応する統合データとの組み合わせによって示すことができない方法で、採用された分割パターンに適用されうる。サンプルセットのグループのための符号化パラメータは、一度だけ送信することを必要とする。予測パラメータに加えて、残差パラメータ(例えば変換補助情報および量子化補助情報および変換係数レベル)が送信されることができる。現在のサンプルセットが統合される場合、統合プロセスを示している補助情報が送信される。この補助情報は、更に、統合情報と呼ばれる。上記および下記で説明される実施形態は、統合情報のシグナリングが(残差データがブロックのために存在するかどうかを特定している)符号化ブロックフラグのシグナリングと組み合わされる構想を説明する。
【0073】
特別な実施形態において、統合情報は、組み合わされた、いわゆるmrg_cbfフラグを含み、それは、現在のサンプルセットが統合され、かつ、残差データが送信されない場合、1に等しい。この場合、更なる符号化パラメータおよび残差パラメータは送信されない。組み合わされたmrg_cbfフラグが0に等しい場合、統合が適用されるかどうかを示している別のフラグが符号化される。さらに、残差パラメータが送信されないことを示しているフラグが、符号化される。CABACおよびコンテキスト適応VLCにおいて、統合情報に関連付けられたシンタックス要素のための確率の導出(およびVLCテーブル・スイッチング)のためのコンテキストは、すでに送信されたシンタックス要素および/または復号化パラメータ(例えば組み合わされたmrg_cbfフラグ)の関数として、選択することができる。
【0074】
好ましい実施形態において、組み合わされたmrg_cbfフラグを含んでいる統合情報は、符号化パラメータ(例えば予測情報および細分化情報)の前に符号化される。
【0075】
好ましい実施形態において、複合mrg_cbfフラグを含んでいる統合情報は、符号化パラメータ(例えば予測情報および細分化情報)のサブセットの後、符号化される。細分化情報から生じる、全てのサンプルセットに関して、統合情報は、符号化することができる。
【0076】
図11から
図13に関して更に下で説明される実施形態において、mrg_cbfは、skip_flagと呼ばれている。通常、mrg_cbfは、ブロック統合と関連付けられたスキップの他のバージョンであることを示すために、merge_skipと呼ぶことができる。
【0077】
以下の好ましい実施形態は、長方形および正方形のブロックを示すサンプルのセットに関して説明されるが、それは直接の方法でサンプルの任意の形状の領域または他の集合まで拡張されうる。好ましい実施形態は、統合方式に関連付けられたシンタックス要素と残差データの欠如を示しているシンタックス要素との組み合わせを示す。残差データは、残差補助情報並びに変換係数レベルを含むことができる。好ましい実施態様に関しても、残差データの欠如は、符号化ブロックフラグ(CBF)によって特定されるが、それは同様に他の手段またはフラグによって表現されうる。0に等しいCBFは、残差データが送信されないケースに関する。
【0078】
1.統合フラグおよびCBFフラグの組み合わせ
以下に、補助的な統合をアクティブにするフラグは、mrgと呼ばれているが、後の
図11~
図13に関して、それはmerge_flagと呼ばれている。同様に、統合インデックスは、現在はmrg_idxと呼ばれているが、後に、merge_idxが使用される。
【0079】
1つのシンタックス要素を用いた統合フラグとCBFフラグとの可能な組み合わせが、このセクションにおいて説明される。以下概説されるこの可能な組み合わせの説明は、
図1~
図6に示されて上記説明のいずれにでも変換することができる。
【0080】
好ましい実施形態において、最大で3つのシンタックス要素が、統合情報およびCBFを特定するために送信される。
【0081】
第1のシンタックス要素(以下、mrg_cbfと呼ぶ)は、サンプルの現在のセットが他のサンプルセットと統合されるかどうか、そして、すべての対応するCBFが0に等しいかどうか特定する。(統合なしで異なる分割パターンによってシグナリングされうる分割を生じる候補の可能性のある除去の後、)候補サンプルセットの抽出されたセットが空でない場合にのみ、mrg_cbfシンタックス要素は、符号化のみされることができる。しかし、統合候補のリストが決して消えないこと、すなわち、少なくとも1つまたは少なくとも2つの利用可能な統合候補があることが、デフォルトで保証されうる。本願発明の好ましい実施形態において、候補サンプルセットの抽出されたセットが空でない場合、mrg_cbfシンタックス要素は、以下の通りに符号化される。
【0082】
- 現在ブロックが統合され、かつ、CBFがすべての構成要素(例えば輝度および2つのクロマ成分)に関して0に等しい場合、mrg_cbfシンタックス要素は1にセットされて、符号化される。
- そうでない場合、mrg_cbfシンタックス要素は、0に等しく設定されて、符号化される。
【0083】
mrg_cbfシンタックス要素についての値0および1は、切り替えられることもできる。
【0084】
別にmrgと呼ばれる第2のシンタックス要素は、サンプルの現在のセットが他のサンプルセットに統合されるかどうかを特定する。mrg_cbfシンタックス要素が1に等しい場合、mrgシンタックス要素は符号化されず、代わりに1に等しいと推定される。(候補サンプルの抽出されたセットが空であるので)mrg_cbfシンタックス要素がない場合、mrgシンタックス要素もまた存在せず、0に等しいと推定される。しかし、統合候補のリストが決して消えないこと、すなわち、少なくとも1つまたは少なくとも2つの利用可能な統合候補があることが、デフォルトで保証されうる。
【0085】
mrgシンタックス要素が1に等しい(または1に等しいと推定される)場合にのみ符号化される、mrg_idxとも呼ばれる第3のシンタックス要素は、候補サンプルセットのセットのうちのどれが統合のために採用されるかについて特定する。好ましい実施形態において、候補サンプルセットの抽出されたセットが1つ以上の候補サンプルセットを含む場合、mrg_idxシンタックス要素は符号化されるだけである。別の好ましい実施形態において、候補サンプルセットの抽出されたセットのうちの少なくとも2つのサンプルセットが異なる符号化パラメータと関連する場合、mrg_idxシンタックス要素は、符号化されるだけである。
【0086】
統合候補リストは、構文解析処理能力を改善して、情報損失に関してよりロバストになるように、構文解析および再構築を分離するために固定することさえできることが述べられなければならない。より正確には、その分離は、リストエントリおよび符号化語の固定された割り当てを使用することにより保証することができる。これはリストの長さを固定することを要しない。しかし、付加的な候補を付け加えることによってリストの長さを同時に固定することは、固定された(より長い)符号化語の符号化効率損失を補償することを可能にする。このように、前述のように、候補のリストが1つ以上の候補を含む場合、統合インデックスシンタックス要素は、送信することができるだけである。しかし、これは、統合インデックスを解析する前にリストを抽出することを必要とし、同時にこれらの2つの処理を実行することを妨げるであろう。増加した構文解析スループットを可能にし、構文解析プロセスを伝送誤差に関してよりロバストにするために、インデックス値および固定された数の候補ごとに一定の符号化語を使用することによりこの依存性を取り除くことは可能である。この数が候補選択によって達しえない場合、リストを完成させるために補助的候補を抽出することは可能である。これらの付加的な候補は、すでにリストにあるおそらく異なる候補の動きパラメータから構築されるいわゆる組み合わされた候補、およびゼロ動きベクトルを含むことができる。
【0087】
好ましい実施形態において、予測パラメータ(または、より一般的には、サンプルセットと関連付けられた特定の符号化パラメータ)のサブセットが送信された後、サンプルのセットのための統合情報は符号化される。予測パラメータのサブセットは、1つ以上の参照画像インデックス、または、動きパラメータベクトルまたは参考画像インデックスの1つ以上の成分、および動きパラメータベクトル等の1つ以上の成分からなりうる。
【0088】
好ましい実施形態において、統合情報のmrg_cbfシンタックス要素は、分割モードの削減されたセットに関してのみ、符号化される。分割モードの可能なセットは、
図8に示される。好ましい実施形態において、分割モードのこの削減されたセットは、1つに限られていて、第1の分割モード(
図8のリストの左上)に対応する。例えば、ブロックが更に分割されない場合だけ、mrg_cbfは符号化される。更なる例として、mrg_cfbは、正方形のブロックについてのみ、符号化することができる。
【0089】
他の好ましい実施形態において、統合情報のmrg_cbfシンタックス要素は、この分割が
図8に示される可能な分割モードのうちの1つ、例えば左下の4ブロックを用いた分割モードである分割の1つのブロックのためだけに、符号化される。好ましい実施形態において、これらの分割モードのうちの1つで組合せられる一つ以上のブロックがある場合、(復号化順で)1番目の統合されたブロックの統合情報は、全体のパーティションのためのmrg_cbfシンタックス要素を含む。その後復号化される同じ分割モードの他のすべてのブロックに関して、統合情報は、サンプルの現在のセットが他のサンプルセットに統合されるかどうかを特定しているmrgシンタックス要素を含むだけである。残差データがあるかどうかの情報は、1番目のブロックにおいて符号化されるmrg_cbfシンタックス要素から推定される。
【0090】
更なる本願発明の好ましい実施形態において、サンプルのセットのための統合情報は、予測パラメータ(または、より一般的には、サンプルセットと関連する特定の符号化パラメータ)の前に符号化される。mrg_cbf、mrgおよびmrg_idxシンタックス要素を含む統合情報は、上記の1番目の好ましい実施形態に示されたような方法で符号化される。統合情報が、サンプルの現在のセットが他のサンプルのセットに統合されないこと、そして、構成要素のうちの少なくとも1つに関して、CBFが1に等しいことをシグナリングする場合、予測または符号化パラメータおよび残差パラメータは送信されるだけである。好ましい実施形態において、mrg_cbfシンタックス要素が、現在ブロックが統合され、すべての成分のためのCBFがゼロに等しいことを特定する場合、この現在ブロックに関して、統合情報の後に必要とされるシグナリングはもはや存在しない。
【0091】
他の本願発明の好ましい実施形態において、シンタックス要素mrg_cbf、mrgおよびmrg_idxは、1つまたは2つのシンタックス要素として組み合わされて、符号化される。好ましい実施形態において、mrg_cbfおよびmrgは、1つのシンタックス要素に組み合わされる。そして、それは以下のケースのいずれかを特定する:(a)ブロックが統合され、それが残差データを含まないケース、(b)ブロックが統合され、残差データを含む(または残差データを含みうる)ケース、(c)ブロックが統合されないケース。他の好ましい形態において、シンタックス要素mrgおよびmrg_idxは、1つのシンタックス要素に組み合わされる。Nが統合候補の数である場合、組み合わされたシンタックス要素は、以下のケースのうちの1つを特定する:ブロックが統合されない、ブロックが候補1に統合される、ブロックが候補2に統合される、…、ブロックが候補Nに統合される。本願発明の更なる好ましい実施形態において、シンタックス要素mrg_cfb、mrgおよびmrg_idxは、1つのシンタックス要素に結合される。そして、(候補の数であるNを用いて)それは以下のケースの1つを特定する:ブロックが統合されない、ブロックが候補1に統合され且つ残差データを含まない、ブロックが候補2に統合され且つ残差データを含まない、・・・、ブロックが候補Nに統合され且つ残差データを含まない、ブロックが候補1に統合され且つ残差データを含む(または含みうる)、ブロックが候補2に統合され且つ残差データを含む(または含みうる)、・・・、ブロックが候補Nに統合され且つ残差データを含む(または含みうる)。組み合わされたシンタックス要素は、可変長符号化によって送信されることができるか、または算術符号化によって送信されることができるか、またはいかなる特定の2値化方式も使用してバイナリの算術符号化によって送信されることができる。
【0092】
2.統合フラグとCBFフラグとの組み合わせおよびスキップ/ダイレクトモード
スキップ(SKIP)/ダイレクト(DIRECT)モードは、特定のブロックサイズおよび/またはブロック形状の全て又はそれのみのためにサポートされうる。最新の技術ビデオ符号化標準H.264に特定されるようなスキップ/ダイレクトモードの拡張において、候補ブロックのセットは、スキップ/ダイレクトモードのために使用される。スキップとダイレクトとの違いは残差パラメータが送られるかどうかである。スキップおよびダイレクトの(例えば予測に関する)パラメータは、対応する候補のいずれかから推定されることができる。どの候補が符号化パラメータを推定するために使用されるかについてシグナリングする候補インデックスは、符号化される。複数の予測が(H.264 B-フレームにおいて使用される双方向予測的なブロックのような)現在ブロックのための最終的な予測信号を形成するために組み合わされる場合、あらゆる予測は異なる候補に関することができる。このようにあらゆる予測のために、候補インデックスは、符号化することができる。
【0093】
本願発明の好ましい実施形態において、スキップ/ダイレクトのための候補リストは、統合モードのための候補リストとは異なる候補ブロックを含むことができる。1つの例が、
図10に示される。候補リストは、以下のブロックを含むことができる(現在ブロックは、Xiで示される)
●動きベクトル(Motion Vector)(0,0)
●中央値(Median)(左(Left)、上(Above)、コーナー(Corner)間)
●左ブロック(Left block)(Li)
●上ブロック(Above block)(Ai)
●コーナーブロック(順番に:右上(Above Right)(Ci1)、左下(Below Left)(Ci2)、左上(Above Left)(Ci3))
●異なるが、すでに符号化された画像のコロケートブロック(Collocated block)
【0094】
以下の記号は、下記実施形態を説明するために使用される。
●set_mvp_oriは、スキップ/ダイレクトモードのために使用される候補のセットである。このセットは{中央値(Median)、左ブロック(Left)、上ブロック(Above)、コーナーブロック(Corner)、コロケートブロック(Collocated)}から構成される。中央値(Median)は、中央値(左、上、コーナーの順序付けられたセットの中央値)であり、コロケートブロック(collocated)は、最も近い参照フレーム(または参照画像リストのうちの1つの1番目の参照画像)によって与えられ、対応する動きベクトルは時間距離に従ってスケーリングされる。例えば、左(Left)、上(Above)、コーナー(Corner)ブロックがない場合、0に等しい両方の成分を有する動きベクトル(Motion Vector)が、追加的に、候補のリストに挿入されうる。
●set_mvp_combは、set_mvp_oriのサブセットである。
【0095】
好ましい実施形態において、スキップ/ダイレクトモードおよびブロック統合モードの両方がサポートされる。スキップ/ダイレクトモードは、候補の元のセットset_mvp_oriを使用する。ブロック統合モードに関連付けられた統合情報は、組み合わされたmrg_cbfシンタックス要素を含むことができる。
【0096】
他の実施形態において、スキップ/ダイレクトモードとブロック統合モードはサポートされるが、スキップ/ダイレクトモードは候補の修正されたセットset_mvp_combを使用する。候補のこの修正されたセットは、元のセットset_mvp_oriの特定のサブセットでありえる。好ましい実施形態において、候補の修正されたセットは、コーナー(Corner)ブロックおよびコロケート(Collocated)ブロックから成る。
他の実施形態において、候補の修正されたセットは、コロケート(Collocated)ブロックから成るだけである。更なるサブセットが可能である。
【0097】
他の実施形態において、スキップモードが関連付けられたパラメータの前に、mrg_cbfシンタックス要素を含んでいる統合情報が符号化される。
【0098】
他の実施形態において、スキップモードが関連付けられたパラメータは、mrg_cbfシンタックス要素を含んでいる統合情報の前に符号化される。
【0099】
他の実施形態によれば、ダイレクトモードは、アクティブにされない(存在しない)ことができ、ブロック統合は、mrg_cbfと交換されるスキップモードを有する候補の拡張セットを有する。
【0100】
好ましい実施形態において、ブロック統合のための候補リストは、異なる候補ブロックを含むことができる。1つの例が、
図10に示される。候補リストは、以下のブロックを含むことができる(現在ブロックは、Xiで示される):
●動きベクトル(Motion Vector)(0,0)
●左ブロック(Left block)(Li)
●上ブロック(Above block)(Ai)
●異なるが、すでに符号化された画像のコロケートブロック(Collocated block)
●コーナーブロック(順番に:右上(Above Right)(Ci1)、左下(Below Left)(Ci2)、左上(Above Left)(Ci3))
●組み合わされた双方向予測的な候補
●スケーリングされていない双方向予測的な候補
【0101】
ブロック統合のための候補の位置が、メモリーアクセスを省くためにインター予測のMVPのリストと同じでありえることが述べられなければならない。
【0102】
更に、リストは、構文解析処理能力を改善し、情報損失に関してよりロバストにするために構文解析および再構築を分離するように上で概説された方法で「固定される(fixed)」ことができる。
【0103】
3.CBFの符号化
好ましい実施形態において、mrg_cfbシンタックス要素が0に等しい(それは、ブロックも統合されないこと、または、それがゼロ以外の残差データを含むことをシグナリングする)場合、残差データのすべての構成要素(例えば輝度および2つのクロマ成分)がゼロであるか否かについてシグナリングするフラグが送信される。mrg_cfbが1に等しい場合、このフラグは送信されない。特定の構成において、mrg_cfbが0に等しい場合、このフラグは送信されず、シンタックス要素mrgはブロックが統合されることを特定する。
【0104】
他の好ましい実施形態において、mrg_cfbシンタックス要素が0に等しい(それは、ブロックが統合されない、または、それがゼロ以外の残差データを含むことをシグナリングする)場合、構成要素のための残差データがゼロであるか否かについてシグナリングする各構成要素についての数個のシンタックス要素が送信される。
【0105】
異なるコンテキストモデルは、mrg_cbfのために使用することができる。
【0106】
このように、上記実施形態は、特に、
サンプルのサンプルセットに画像を細分化するように構成されたサブディバイダーと、
サンプルセットを1つ以上のサンプルセットの独立のセットにそれぞれ統合するように構成されたマージャーと、
サンプルセットの独立のセットの単位で、画像の全域で変化する符号化パラメータを使用して、画像を符号化するように構成された符号化器であって、前記符号化器は、画像を予測して、既定のサンプルセットについての予測残差を符号化することによって、画像を符号化するように構成された符号化器と、
各サンプルセットが他のサンプルセットとともに独立のセットのうちの1つに統合されるかどうかに関してシグナリングする、サンプルセットの少なくともサブセットの各々のための1つ以上のシンタックス要素に加えて、ビットストリームに予測残差および符号化パラメータを挿入するように構成されたストリームジェネレータとを含む、画像を符号化する装置を示す。
【0107】
更に、その中に符号化された画像を有しているビットストリームを復号化するための装置が説明され、それは、
サンプルセットに画像を細分化するように構成されたサブディバイダーと、
各々サンプルセットを1つ以上のサンプルセットの独立のセットに統合するように構成されたマージャーと、
サンプルセットの独立のセットの単位で、画像の全域で変化する符号化パラメータを使用して画像を復号化するように構成された復号化器であって、前記復号化器は、既定のサンプルセットに関して、画像を予測して、既定のサンプルセットについての予測残差を復号化して、予測残差と画像を予測することから生じる予測とを組み合わせることによって画像を復号化するように構成された復号化器と、
前記各サンプルセットが他のサンプルセットとともに独立のセットのうちの1つに統合されることになるかどうかに関してシグナリングする、サンプルセットの少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、ビットストリームから予測残差および符号化パラメータを抽出するように構成されたエクストラクターであって、前記マージャーがシンタックス要素に応答して統合を実行するように構成されたエクストラクターとを含む。
【0108】
1つ以上のシンタックス要素の可能な状態のうちの1つは、各サンプルセットが別のサンプルセットとともに独立のセットの1つに統合されることになっており、ビットストリームに、符号化されて、挿入された予測残差を有しないことをシグナリングする。
【0109】
エクストラクターはまた、ビットストリームから細分化情報を抽出するように構成され、サブディバイダーは、細分化情報に応答してサンプルセットに画像を細分化するように構成されうる。
【0110】
エクストラクターおよびマージャーは、例えば、サンプルセット走査順に従ってサンプルセットを通って順次進み、現在のサンプルセットに関して、
ビットストリームから第1のバイナリシンタックス要素(mrg_cbf)を抽出し、
第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、現在のサンプルセットを独立のセットのうちの1つに、現在のサンプルセットのための符号化パラメータが、この独立のセットと関連付けられた符号化パラメータに等しいことを推定することによって、現在のサンプルセットを統合し、現在のサンプルセットについての予測残差の抽出をスキップし、サンプルセット走査順における次のサンプルセットに進み、
第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、ビットストリームから第2のシンタックス要素(mrg、mrg_idx)を抽出し、
第2のシンタックス要素に応じて、現在のサンプルセットについての予測残差に関する少なくとも1つの更なるシンタックス要素を抽出するとともに、独立のセットのうちの1つに、現在のサンプルセットのための符号化パラメータがこの独立のセットと関連付けられた符号化パラメータに等しいことを推定することによって、現在のサンプルセットを統合する、または、現在のサンプルセットのための符号化パラメータの抽出を実行するように構成されうる。
【0111】
少なくともサンプルセットのサブセットの各々のための1つ以上のシンタックス要素はまた、各サンプルセットが別のサンプルセットとともに独立のセットのいずれか1つに統合されることになる場合、各サンプルセットと隣接する既定の候補サンプルセットのうちのどのセットを用いて、各サンプルセットが統合されるかをシグナリングすることができる。
【0112】
エクストラクターは、1つ以上のシンタックス要素が、各サンプルセットが別のサンプルセットとともに独立のセットのいずれかに統合されることになることをシグナリングしない場合、
各サンプルセットについての符号化パラメータの少なくとも一部が予測されることになるかどうかや、各サンプルセットに隣接する既定の候補サンプルセットの更なるセットのいずれから予測されることになるかをシグナリングする1つ以上の更なるシンタックス要素(スキップ/ダイレクトモード)を、ビットストリームから抽出するように構成されうる。
【0113】
その場合、既定の候補サンプルセットのセットおよび既定の候補サンプルセットの更なるセットは、それぞれ既定の候補サンプルセットのセットおよび既定の候補サンプルセットの更なるセットのうちの少数の既定の候補サンプルセットに関して、互いに独立である又は交差しうる。
【0114】
エクストラクターはまた、ビットストリームから細分化情報を抽出するように構成できて、サブディバイダーは、細分化情報に応答して、サンプルセットに階層的に画像を細分化するように構成され、エクストラクターは、画像が細分化されるサンプルセットによって構成される、親サンプルセットの子サンプルセットを通って順次進み、そして、現在の子サンプルセットに関して、
第1のバイナリシンタックス要素(mrg_cbf)をビットストリームから抽出し、
第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、独立のセットのうちの1つに、現在の子サンプルセットのための符号化パラメータがこの独立のセットと関連付けられた符号化パラメータに等しいことを推定することによって、現在の子サンプルセットを統合し、現在の子サンプルセットについての予測残差の抽出をスキップし、次の子サンプルセットに進み、
第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、第2のシンタックス要素(mrg、mrg_idx)をビットストリームから抽出し、そして、
第2のシンタックス要素に応じて、現在の子サンプルセットについての予測残差に関する少なくとも1つの更なるシンタックス要素を抽出し、次の子サンプルセットに進むと共に、独立のセットの1つに、現在の子サンプルセットについての符号化パラメータがこの独立のセットと関連付けられた符号化パラメータに等しいことを推定することによって、現在の子サンプルセットを統合し、または、現在の子サンプルセットについての符号化パラメータの抽出を実行し、
次の子サンプルセットに関して、現在の子サンプルセットの第1のバイナリシンタックス要素が、第1のバイナリ状態をとる場合、第1のバイナリシンタックス要素の抽出をスキップし、代わりに第2のシンタックス要素を抽出することから始まり、そして、現在の子サンプルセットの第1のバイナリシンタックス要素が、第2のバイナリ状態をとる場合、第1のバイナリシンタックス要素を抽出するように構成される。
【0115】
例えば、親サンプルセット(CU)が2つの子サンプルセット(PU)に分割されることを仮定してみる。第1のPUについては、第1のバイナリシンタックス要素(merge_cbf)が、第1のバイナリ状態を有する場合、1)第1のPUは統合を使用し、第1および第2のPU(CU全体)は、ビットストリームに残差データを有さず、2)第2のPUについては、第2のバイナリシンタックス要素(merge_flag、merge_idx)はシグナリングされる。しかし、第1のPUのための第1のバイナリシンタックス要素が、第2のバイナリ状態を有する場合、1)第1のPUについては、第2のバイナリシンタックス要素(merge_flag、merge_idx)がシグナリングされ、同様に、残差データがビットストリームにあり、一方、2)第2のPUについては、第1のバイナリシンタックス要素(merge_cbf)がシグナリングされる。このように、merge_cbfがすべての前の子サンプルセットに関して第2のバイナリ状態にある場合、merge_cbfは、PUレベルで、すなわち、連続した子サンプルに関してシグナリングされることがありえる。merge_cbfが、連続した子サンプルセットのための第1のバイナリ状態にある場合、この子サンプルセットに続くすべての子サンプルセットが、ビットストリームに残差データを有するというわけではない。例えば4つのPUに分割されたCUに関して、merge_cbfは、例えば、符号化順で3番目および4番目のPUが、ビットストリームに残差データを有しないが、1番目のPUは有するまたは有しうることを意味する2番目のPUに関する第1のバイナリ状態にあることもありえる。
【0116】
第1および第2のバイナリシンタックス要素は、コンテキスト適応可変長符号化またはコンテキスト適応(バイナリ)算術符号化を使用して符号化されうる、そして、シンタックス要素を符号化するためのコンテキストは、すでに符号化されたブロックのこれらのシンタックス要素のための値に基づいて得られる。
【0117】
他の好ましい実施形態において説明したように、候補のリストが一つ以上の候補を含む場合にのみ、シンタックス要素merge_idxが送信されうる。これは、統合インデックスを構文解析する前にリストを得ることを必要とする。これらの2つの処理を並列に実行することを妨げる。増加した構文解析スループットを可能にし、構文解析プロセスを伝送誤差に関してよりロバストにするために、インデックス値ごとの固定された符号化語および固定の数の候補を使用することにより、この依存性を取り除くことは可能である。この数が候補選択によって達しない場合、リストを完成させるために、補助的候補を得ることは可能である。これらの付加的な候補は、すでにリストにあるおそらく異なる候補の動きパラメータおよびゼロ動きベクトルから構築される、いわゆる組み合わされた候補(combined candidates)を含みうる。
【0118】
他の好ましい実施形態において、候補セットのブロックのうちのどれをシグナリングするためのシンタックスが、符号化器および復号化器で同時に適用される。例えば、統合に関するブロックの3つの選択が与えられる場合、それらの3つの選択は、シンタックスにあるのみで、エントロピー符号化のために考慮される。他の全ての選択についての確率は0であるとみなされて、エントロピーコーデックは、符号化器および復号化器で同時に適合される。
【0119】
統合プロセスの結果として推定される予測パラメータは、ブロックと関連している予測パラメータの全セットを示すことができる、または、それらは、これらの予測パラメータ(例えば多重仮説予測(multi-hypotheses prediction)が使用されるブロックの1つの仮説のための予測パラメータ)のサブセットを示すことができる。
【0120】
好ましい実施形態において、統合情報に関連付けられたシンタックス要素は、コンテキストモデリングを使用してエントロピー符号化される。
【0121】
上で概説された実施形態を特定のシンタックスへ移す1つの方法は、次の図に関して以下において説明される。特に、
図11~
図13は、上で概説された実施形態を利用するシンタックスの異なる部分を示す。特に、下で概説される実施形態によれば、画像20が、まず、その画像内容が
図11に示されるシンタックスcoding_treeを使用して符号化される符号化ツリーブロックに分けられる。そこに示されるように、例えば、コンテキスト適応バイナリ算術符号化または他の特定のエントロピー符号化モードに関するentropy_coding_mode_flag=1について、現在の符号化ツリーブロックのクワッドツリー細分化は、符号400でsplit_coding_unit_flagと呼ばれているフラグによってシンタックス部coding_treeの内にシグナリングされる。
図11に示すように、以下に説明される実施形態によれば、ツリールートブロックは、
図7aに示すように深さ優先走査順でsplit_coding_unit_flagによってシグナリングされるように、細分化される。リーフノードに達するときはいつでも、それはシンタックス関数coding_unitを使用して直ちに符号化される符号化単位を示す。このことは、現在のsplit_coding_unit_flagが設定されるかどうかに関してチェックする402の条件節に注目するときに、
図11から分かる。YESの場合は、関数coding_treeは再帰的に呼ばれ、符号化器および復号化器で、それぞれ、更なるsplit_coding_unit_flagの更なる送信/抽出をもたらす。そうでない場合、すなわち、split_coding_unit_flag=0である場合、
図7aのツリールートブロック200の現在のサブブロックは、リーフブロックであり、この符号化単位を符号化するために、
図10の関数coding_unitが404で呼ばれる。
【0122】
現在説明された実施形態において、上述のオプションは、どの統合が、インター予測モードが利用できる画像のために単に使用可能なだけかについて使用される。すなわち、イントラ符号化スライス/画像は、いずれにしろ統合を使用しない。このことは、
図12から認識でき、イントラ画像スライスタイプと異なるスライスタイプの場合、すなわち、現在の符号化単位が属する現在のスライスが、パーティションがインター符号化されることを可能にする場合にのみ、フラグskip_flagが406で送信される。本実施形態によれば、統合は、単にインター予測に関連付けられた予測パラメータだけに関する。本実施形態によれば、skip_flagは、全部の符号化単位40のためにシグナリングされ、そして、skip_flagが1に等しい場合、このフラグ値は、
1)現在の符号化単位のための分割モードが、それが分割されず、その符号化単位のパーティションのみそれ自体を示す、非分割モードであること、
2)現在の符号化単位/パーティションが、インター符号化される、すなわち、インター符号化モードに割り当てられること、
3)現在の符号化単位/パーティションが、統合の影響を受けること、
4)現在の符号化単位/パーティションが、スキップモードに従属する、すなわち、スキップモードをアクティブにすることを並行して復号化器にシグナリングする。
【0123】
したがって、skip_flagが設定される場合、関数prediction_unitは、408で呼ばれ、現在の符号化単位を予測単位であるとして示す。しかし、これは、統合オプションのスイッチングの唯一の可能性ではない。むしろ、全部の符号化単位に関連付けられたskip_flagが406で設定されない場合、非イントラ画像スライスの符号化単位の予測タイプがシンタックス要素pred_typeによって410でシグナリングされ、それに応じて、現在の符号化単位が更に分割されない場合に、例えば412で、現在の符号化単位のいかなるパーティションに関する関数prediction_unitを呼ぶ。
図12において、単に4つの異なる分割オプションだけが利用できるように示されるが、
図8に示された他の分割オプションも同様に利用可能でありうる。他の可能性は、分割オプションPART_NxNが利用可能でないが、他は可能であることであろう。
図8に示される分割オプションとの
図12に使用された分割モードの名前との間の関連は、個々の分割オプションの下の各添え字によって
図8に示される。予測タイプシンタックス要素pred_typeは、予測モード、すなわち、イントラ符号化かインター符号化かをシグナリングするだけでなく、インター符号化モードの場合の分割もシグナリングすることに留意されたい。インター符号化モードの場合が、更に述べられる。関数prediction_unitは、前述の符号化順におけるパーティション50および60などのパーティションごとに呼ばれる。関数prediction_unitは、414でskip_flagをチェックすることから始める。skip_flagが設定される場合、416において必然的にmerge_idxが続く。ステップ414のチェックは、406でシグナリングされたような全体の符号化単位に関連付けられたskip_flagが設定されたかどうかに関してチェックすることについてのものである。そうでない場合は、merge_flagは、418で再度シグナリングされ、後者が設定される場合は、現在のパーティションについての統合候補を示すmerge_idxが、420で続く。さらに、merge_flagは、現在の符号化単位の現在の予測モードが、インター予測モード(422を参照)である場合にのみ、418で現在のパーティションのためにシグナリングされる。すなわち、skip_flagが設定されていない場合、予測モードは、410でpred_typeを介してシグナリングされる。ここにおいて、予測単位ごとに、pred_typeは、インター符号化モードがアクティブである(422を参照)ことをシグナリングする場合には、統合特定フラグ、すなわち、merge_flagは、統合インデックスmerge_idxによって各パーティションごとに統合がアクティブにされるとき、続くパーティションごとに、個々に、送信される。
【0124】
図13から分かるように、本実施形態によれば、424の現在の予測単位のために使用される予測パラメータの送信は、統合が現在の予測単位のために使用されない場合にのみ、すなわち、統合は、skip_flagによっても、各パーティションの各merge_flagによってもアクティブにされないので、実行される。
【0125】
すでに上で示されるように、skip_flag=1は、残差データが送信されないことになると同時にシグナリングする。これは、その送信の直後にskip_flagの状態をチェックする条件節428の他のオプションの中の残差データ送信から得られるように、現在の符号化単位についての
図12の426における残差データの送信が、skip_flagが0に等しい場合にのみ起こるという事実から得られる。
【0126】
今まで、
図11~
図13の実施形態は、entropy_coding_mode_flagが1に等しいという仮定の下においてのみ説明された。しかし、
図11~
図13の実施形態は、他のエントロピー符号化モードが、例えば可変長符号化、より正確であるために、例えばコンテキスト適応可変長符号化など、シンタックス要素をエントロピー符号化するために、使用される場合である、entropy_coding_mode_flag=0の場合の上で概説された実施形態のうちの一実施形態を含む。特に、統合とスキップモードのアクティブ化を同時にシグナリングする可能性は、共通シグナリング状態が各シンタックス要素の2つ以上の状態の中のうちの1つの状態だけである、上で概説された変形例に従う。このことについて、ここでより詳細に説明する。しかしながら、両方のエントロピー符号化モード間で切り替わる可能性が、任意であり、したがって、別の実施形態は、2つのエントロピー符号化モードのうちの1つを可能にすることのみによって、
図11~
図13から容易に得ることができることが強調される。
【0127】
例えば、
図11を参照されたい。entropy_coding_mode_flagが0に等しく、かつ、slice_typeシンタックス要素が、現在のツリールートブロックがインター符号化スライスに属することをシグナリングする、すなわち、インター符号化モードが利用できる場合、シンタックス要素cu_split_pred_part_modeは、430で送信されて、このシンタックス要素は、その名前により示されるように、各分割情報とともに、現在の符号化単位の更なる細分化に関する情報、スキップモードのアクティブ化または非アクティブ化、統合および予測モードのアクティブ化または非アクティブ化をシグナリングする。表1を参照されたい。
【0128】
【0129】
表1は、現在の符号化単位が現在のツリールートブロックの中のクワッドツリー細分化において最も小さいものではないサイズを有する場合におけるシンタックス要素cu_split_pred_part_modeの可能な状態の意味を特定する。その可能な状態は、表1の最も左端の列にリストされる。表1が、現在の符号化単位が最も小さいサイズを有しない場合に関連するので、cu_split_pred_part_modeの状態、すなわち、状態0がある。そして、それは、それは現在の符号化単位が、実際の符号化単位でなく、更なる4つの符号化単位に細分化される必要があり、それらがさらに432の関数coding_treeを呼ぶことによって概説されたように、深さ優先走査順で走査されることをシグナリングする。すなわち、cu_split_pred_part_mode=0は、現在のツリールートブロックの現在のクワッドツリー細分化単位が、4つの更により小さい単位に細分化されることになること、すなわち、split_coding_unit_flag=1をシグナリングする。しかし、cu_split_pred_part_modeがその他の可能な状態をとる場合、split_coding_unit_flag=0であり、現在の単位が現在のツリールートブロックのリーフブロック、すなわち、符号化単位を形成する。その場合、cu_split_pred_part_modeの残りの可能な状態のうちの1つは、現在の符号化単位が統合の影響下にあり、表1の3番目の列でskip_flagが1に等しいことによって示されるスキップモードがアクティブ化されていることを同時にシグナリングする、上記で説明された共通シグナリング状態を示す。一方で、現在の符号化単位の更なるパーティションが生じないこと、すなわち、PART_2Nx2Nが分割モードとして選択されることを同時にシグナリングする。cu_split_pred_part_modeはまた、スキップモードが非アクティブ化で、統合のアクティブ化をシグナリングする可能な状態がある。これは、可能な状態2であり、それは、skip_flag=0であるとともにmerge_flag=1である、非分割モードがアクティブである、すなわち、PART_2Nx2Nに対応する。すなわち、その場合、merge_flagは、prediction_unitシンタックスの中ではなく、予めシグナリングされる。cu_split_pred_part_modeの残りの可能な状態において、1つ以上のパーティションに現在の符号化単位を分割するこれらの分割モードについて、他の分割モードに関するインター予測モードが、シグナリングされる。
【0130】
【0131】
表2は、現在のツリールートブロックのクワッドツリー細分化に従って、現在の符号化単位が可能な限りの最小のサイズを有する場合に、cu_split_pred_part_modeの可能な状態の重要性またはセマンティクスを示す。その場合、cu_split_pred_part_modeのすべての可能な状態は、split_coding_unit_flag=0による更なる細分化に対応しない。しかし、可能な状態0は、そのskip_flag=1であることをシグナリングする、すなわち、統合がアクティブ化され、かつ、スキップモードがアクティブ化されることを同時にシグナリングする。さらに、それは、非分割が起こること、すなわち、分割モードPART_2Nx2Nをシグナリングする。可能な状態1は、表1の可能な状態2に対応し、それは、表2の可能な状態2にあてはまり、それは表1の可能な状態3に対応する。
【0132】
図11~
図13の実施形態の前記説明が、すでに大部分の機能および意味を説明したが、一部の更なる情報が以下に示される。
【0133】
1と等しいskip_flag[x0][y0]は、現在の符号化単位のために(図の40を参照)、PまたはBスライスを復号化するとき、動きベクトル予測器インデックス(merge_idx)以外のどんなシンタックス要素も、skip_flag[x0][y0]の後に解析されないことを特定する。0と等しいskip_flag[x0][y0]は、符号化単位がスキップされないことを特定する。アレイインデックスx0,y0は、画像の左上の輝度サンプルと関連して、考慮された符号化単位の左上の輝度サンプルの位置(x0、y0)を特定する(図の20を参照)。
【0134】
skip_flag[x0][y0]がないときに、0に等しいことが推定される。
【0135】
上記の通り、skip_flag[x0][y0]が1に等しい場合、
- PredModeは、MODE_SKIPに等しいと推定される
- PartModeは、PART_2Nx2Nに等しいと推定される
【0136】
cu_split_pred_part_mode[x0][y0]は、split_coding_unit_flagを、そして、符号化単位がskip_flag[x0][y0]、merge_flag[x0][y0]、PredMode、および符号化単位のPartModeを分割されない時を特定する。配列インデックスx0およびy0は、画像の左上の輝度サンプルと関連して、符号化単位の左上の輝度サンプルの位置(x0,y0)を特定する。
【0137】
merge_flag[x0][y0]は、現在の予測単位(図の50および60、すなわち、符号化単位40の内のパーティション)についてのインター予測パラメータが隣接したインター予測されたパーティションから推定されるかどうかを特定する。アレイインデックスx0,y0は、画像の左上の輝度サンプルと関連して、考慮された予測ブロックの左上の輝度サンプルの位置(x0,y0)を特定する。
【0138】
merge_idx[x0][y0]は、統合候補リストの統合候補インデックスを特定する。ここで、x0,y0は、画像の左上の輝度サンプルと関連して、考慮された予測ブロックの左上の輝度サンプルの位置(x0,y0)を特定する。
【0139】
図11~
図13の前記説明において特に示されていないが、統合候補または統合候補のリストは、本実施形態において、例として、空間的に隣接した予測単位/パーティションの符号化パラメータまたは予測パラメータだけを使用して決定されるだけでなく、むしろ、候補のリストも、時間的に隣接し、前に符号化された画像の時間的に隣接したパーティションの予測パラメータを使用することにより形成される。さらに、空間的におよび/または時間的に隣接した予測単位/パーティションの予測パラメータの組み合わせは、使用され、統合候補のリストに含まれる。当然、単にそのサブセットだけは、使用されることができる。特に、
図14は、空間的な隣接、すなわち、空間的に隣接したパーティションまたは予測単位を決定する1つの可能性を示す。
図14は、例として、予測単位またはパーティション60、およびピクセルB
0~B
2およびA
0~A
1を示し、パーティション60の境界500に直に隣接した位置にする、すなわち、B
2は、パーティション60の左上のピクセルに斜めに隣接し、B
1は、パーティション60の一番右上のピクセルに縦に隣接して、B
0は、パーティション60の一番右上のピクセルに斜めに位置して、A
1はパーティション60の一番左下のピクセルの左横に位置し、A
0は、パーティション60の一番左下のピクセルの斜めに位置している。ピクセルB
0~B
2並びにA
0およびA
1のうちの少なくとも1つを含むパーティションは、空間的隣接を形成し、その予測パラメータは、統合候補を形成する。
【0140】
利用可能であった他の分割モードにつながるそれらの候補の上述の任意の除去を実行するために、以下の関数が使用されうる。
【0141】
特に、候補N、すなわち、ピクセルN=(B
0,B
1,B
2,A
0,A
1)、すなわち、位置(xN,yN)をカバーする予測単位/パーティションから生ずる符号化/予測パラメータは、以下の条件のいずれかが真である場合に、候補リストから除かれる(分割モードPartModeおよび符号化単位の内の各分割を示している対応する分割インデックスPartIdxについての
図8を参照されたい)。
【0142】
- 現在の予測単位のPartModeは、PART_2NxNであり、PartIdxは、1に等しく、輝度位置(xN,yN-1)(PartIdx=0)と輝度位置(xP,yP-1)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP-1]==mvLX[xN,yN]
refIdxLX[xP,yP-1]==refIdxLX[xN,yN]
predFlagLX[xP,yP-1]==predFlagLX[xN,yN]
【0143】
- 現在の予測単位のPartModeは、PART_Nx2Nであり、PartIdxは、1に等しく、輝度位置(xP-1,yP)(PartIdx=0)と輝度位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP-1,yP]==mvLX[xN,yN]
refIdxLX[xP-1,yP]==refIdxLX[xN,yN]
predFlagLX[xP-1,yP]==predFlagLX[xN,yN]
【0144】
- 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは3に等しく、輝度位置(xP-1,yP)(PartIdx=2)と輝度位置(xP-1,yP-1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP-1,yP]==mvLX[xP-1,yP-1]
refIdxLX[xP-1,yP]==refIdxLX[xP-1,yP-1]
predFlagLX[xP-1,yP]==predFlagLX[xP-1,yP-1]
そして、輝度位置(xP,yP-1)(PartIdx=1)および輝度位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP-1]==mvLX[xN,yN]
refIdxLX[xP,yP-1]==refIdxLX[xN,yN]
predFlagLX[xP,yP-1]==predFlagLX[xN,yN]
【0145】
- 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは3に等しく、輝度位置(xP,yP-1)(PartIdx=1)と輝度位置(xP-1,yP-1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP-1]==mvLX[xP-1,yP-1]
refIdxLX[xP,yP-1]==refIdxLX[xP-1,yP-1]
predFlagLX[xP,yP-1]==predFlagLX[xP-1,yP-1]
そして、輝度位置(xP-1,yP)(PartIdx=2)および輝度位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP-1,yP]==mvLX[xN,yN]
refIdxLX[xP-1,yP]==refIdxLX[xN,yN]
【0146】
この点に関して、位置またはロケーション(xP,yP)が、現在のパーティション/予測単位の最も大きい画素を示す点に留意されたい。すなわち、第1の項目に従って、隣接する予測単位、すなわち予測単位Nの各符号化パラメータを直接採用することによって得られたすべての符号化パラメータ候補が、チェックされる。しかし、他の付加的な符号化パラメータ候補は、それがシンタックスによってサポートされた他の分割パターンを得ることになるであろう発生している各予測単位の符号化パラメータと等しいかどうかに関して、同じ方法でチェックできる。ちょうど説明された実施形態によれば、符号化パラメータの同一性は、動きベクトル、すなわちmvLX、参照インデックス、すなわちrefIxLX、およびXが0または1である参照リストXと関連付けられた、パラメータ、すなわち動きベクトルおよび参照インデックスがインター予測において使用されることを示している予測フラグpredFlagLXの同一性のチェックを含む。
【0147】
隣接した予測単位/パーティションの符号化パラメータ候補の除去についての前述の可能性もまた、
図8の右半分に示される非対称分割モードをサポートする場合には適用できる点に留意されたい。その場合、モードPART_2NxNは、全て横に細分化しているモードを示し、PART_Nx2Nは、全て縦に細分化しているモードに対応しうる。更に、モードPART_NxNは、サポートされた分割モードまたは分割パターンから除外することができて、その場合、単なる第1の2つの除去チェックだけが実行されなければならない。
【0148】
実施形態
図11~
図14に関して、イントラ予測されたパーティションを候補のリストから除外すること、すなわち、それらの符号化パラメータが当然に候補のリストに含まれないことがありうることにも留意すべきである。
【0149】
更に、それぞれ、3つのコンテキストがskip_flag、merge_flagおよびmerge_idxのために使用することができる点に留意されたい。
【0150】
いくつかの態様が装置に関連して説明されたが、これらの態様はまた、対応する方法の記載も示すことは明らかである。ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップに関連して説明された態様もまた、対応する装置の対応するブロックまたは項目または特徴の説明を示す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラミング可能なコンピュータまたは電子回路のようなハードウェア装置によって(または用いて)実行することができる。いくつかの実施形態では、最も重要な方法ステップの1つ以上は、この種の装置によって実行することができる。
【0151】
特定の実現要求に応じて、本願発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実現することができる。実施態様は、各方法が実行されるように、それはプログラミング可能な計算機システムと協動する(または協動することができる)、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して実行することができる。従って、デジタル記憶媒体は、計算機可読でありえる。
【0152】
本願発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの1つが実行されるように、プログラミング可能な計算機システムと協動することができる、電子的に読み込み可能な制御信号を有するデータキャリアを含む。
【0153】
通常、本願発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実行されることができ、コンピュータプログラム製品が、コンピュータ上で動作するときに、プログラムコードが本方法のうちの1つを実行するように機能する。プログラムコードは、例えば、機械読み取り可読キャリアに格納されることができる。
【0154】
他の実施形態は、機械読み取り可読キャリアに格納される、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0155】
従って、換言すれば、本願発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、本願明細書において説明された方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0156】
従って、本願発明の方法の更なる実施形態は、その上に記録されて、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含んでいるデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体または記録された媒体は、一般的に、有形である、および/または、一時的でない。
【0157】
従って、本願発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【0158】
更なる実施形態は、本願明細書において説明される方法のうちの1つを実行するために構成された又は適合された、処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。
【0159】
更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをそれにインストールされたコンピュータを含む。
【0160】
本願発明による更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的に、または、光学的に)転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等でありえる。装置またはシステムは、例えば、コンピュータプログラムを受信機へ転送するためのファイルサーバを含むことができる。
【0161】
いくつかの実施形態では、プログラム可能な論理デバイス(例えばフィールドプログラマブルゲートアレイ)は、本願明細書において説明された方法の機能の一部または全部を実行するために使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書において説明された方法のうちの1つを実行するために、マイクロプロセッサと協動することができる。通常、本方法は、好ましくは、いかなるハードウェア装置によっても実行される。
【0162】
上記実施形態は、本願発明の原理のために、単に示しているだけである。本願明細書において説明された装置および詳細の修正及び変更が、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲だけによって制限され、本願明細書における実施形態の記載および説明として示された具体的な詳細によっては制限されないという意図である。
【手続補正書】
【提出日】2023-12-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像(20)が符号化されたビットストリームを復号化するための装置であって、
前記画像(20)をサンプルのサンプルセット(40)に細分化するように構成されたサブディバイダー(82)と、
前記サンプルセット(40)をそれぞれ1つ以上のサンプルセットのグループにマージするように構成されたマージャー(84)と、
前記サンプルセットのグループの単位で前記ビットストリームにおいて送信される符号化パラメータを使用して、前記画像(20)を復号化するように構成された復号化器(86)であって、前記復号化器(86)は、既定のサンプルセットについて、前記画像(20)を予測し、前記既定のサンプルセットについての予測残差を復号化し、前記予測残差と前記画像(20)の予測から生じる予測とを組み合わせることによって、前記画像を復号化するように構成される、復号化器(86)と、
それぞれの前記サンプルセット(40)が別のサンプルセット(40)とともに前記グループのうちの1つにマージされることになるかどうかを示す、前記サンプルセット(40)の少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータを前記ビットストリーム(30)から抽出するように構成されたエクストラクター(88)であって、前記マージャー(84)は、前記1つ以上のシンタックス要素に応答してマージを実行するように構成される、エクストラクター(88)と
を備え、
前記エクストラクターおよび前記マージャーは、サンプルセット走査順に従って前記サンプルセットを順次進むように構成され、かつ、現在のサンプルセットについて、
第1のコンテキストを用いた算術復号化を使用して、前記ビットストリームから第1のバイナリシンタックス要素を抽出し、
前記第1のバイナリシンタックス要素が第1のバイナリ状態をとる場合には、前記現在のサンプルセットのための前記符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットを該グループとマージし、前記現在のサンプルセットについての前記予測残差の抽出をスキップして、サンプルセット走査順で次のサンプルセットに進み、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合には、前記第1のコンテキストとは異なる第2のコンテキストを用いた算術復号化を使用して、前記ビットストリームから第2のシンタックス要素を抽出し、
前記第2のシンタックス要素に応じて、
前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術復号化を使用して、前記ビットストリームから第3のシンタックス要素を抽出し、前記現在のサンプルセットのための前記符号化パラメータが、前記第3のシンタックス要素によってシグナリングされる、各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットを前記グループのうちの1つとマージするとともに、前記現在のサンプルセットについての前記予測残差に関する少なくとも1つのさらなるシンタックス要素を抽出する、または、
前記現在のサンプルセットのための前記符号化パラメータの抽出を実行するとともに、前記現在のサンプルセットについての前記予測残差に関する少なくとも1つのさらなるシンタックス要素を抽出する
ように構成され、
前記サブディバイダーは、マルチツリー細分化を使用して前記画像(20)を細分化するように構成される
ことを特徴とする、装置。
【請求項2】
前記エクストラクターは、前記ビットストリームから細分化情報を抽出するようにも構成され、前記サブディバイダーは、前記細分化情報に応答して前記画像をサンプルセットに細分化するように構成されることを特徴とする、請求項1に記載の装置。
【請求項3】
前記ビットストリームは前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項1に記載の装置。
【請求項4】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項1に記載の装置。
【請求項5】
画像を符号化するための装置であって、
前記画像をサンプルのサンプルセットに細分化するように構成されたサブディバイダー(72)と、
前記サンプルセットをそれぞれ1つ以上のサンプルセットのグループにマージするように構成されたマージャー(74)と、
前記サンプルセットのグループの単位でビットストリームにおいて送信される符号化パラメータを使用して、前記画像を符号化するように構成された符号化器(76)であって、前記符号化器(76)は、前記画像を予測し、既定のサンプルセットについての予測残差を符号化することによって、前記画像を符号化するように構成される、符号化器(76)と、
それぞれの前記サンプルセットが別のサンプルセットとともに前記グループのうちの1つにマージされるか否かを示す、前記サンプルセットの少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータを前記ビットストリームに挿入するように構成されたストリームジェネレータ(78)と
を備え、
前記ストリームジェネレータ(78)は、サンプルセット走査順に従って前記サンプルセットを順次進むように構成され、かつ、現在のサンプルセットについて、
第1のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第1のバイナリシンタックス要素を挿入するように構成され、
ここで前記第1のバイナリシンタックス要素は、第1のバイナリ状態をとっているときに、前記現在のサンプルセットのための符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットが該グループとマージされること、および前記現在のサンプルセットについては前記予測残差の抽出がスキップされ、サンプルセット走査順で次のサンプルセットに進むことを示し、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合、
前記第1のコンテキストとは異なる第2のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第2のシンタックス要素を挿入し、且つ
前記現在のサンプルセットについての予測残差に関する少なくとも1つのさらなるシンタックス要素を挿入するように構成され、
ここで、前記第2のシンタックス要素は、前記現在のサンプルセットが前記グループのうちの1つとマージされるか、または前記符号化パラメータの抽出が前記現在のサンプルセットについて実行されるかを示し、インサーターは、前記第2のシンタックス要素が前記現在のサンプルセットがマージされることになると示している場合、前記現在のサンプルセットのための前記符号化パラメータが各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットをマージし、前記既定の候補サンプルセットのセットのうちの1つをシグナリングする第3のシンタックス要素を、前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術符号化を使用して、前記ビットストリームに挿入するように構成され、
前記サブディバイダーは、マルチツリー細分化を使用して前記画像(20)を細分化するように構成される
ことを特徴とする、装置。
【請求項6】
前記ビットストリームは、前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項5に記載の装置。
【請求項7】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項5に記載の装置。
【請求項8】
画像が符号化されたビットストリームを復号化するための方法であって、前記方法は、
前記画像(20)をサンプルのサンプルセット(40)に細分化するステップと、
前記サンプルセット(40)をそれぞれ1つ以上のサンプルセットのグループにマージするステップと、
前記サンプルセットのグループの単位で前記ビットストリームに送信される符号化パラメータを使用して、前記画像(20)を復号化するステップであって、復号化器(86)は、既定のサンプルセットについて、前記画像(20)を予測し、前記既定のサンプルセットについての予測残差を復号化し、前記予測残差と前記画像(20)の予測から生じる予測とを組み合わせることによって、前記画像を復号化するように構成される、ステップと、
それぞれの前記サンプルセット(40)が別のサンプルセット(40)とともに前記グループのうちの1つにマージされることになるかどうかを示す、前記サンプルセット(40)の少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータを前記ビットストリーム(30)から抽出するステップであって、マージャー(84)は、前記1つ以上のシンタックス要素に応答してマージを実行するように構成される、ステップと
を含み、
前記方法は、サンプルセット走査順に従って前記サンプルセットを順次進むステップと、現在のサンプルセットについて、
第1のコンテキストを用いた算術復号化を使用して、前記ビットストリームから第1のバイナリシンタックス要素を抽出するステップと、
前記第1のバイナリシンタックス要素が第1のバイナリ状態をとる場合、前記現在のサンプルセットのための符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットを該グループとマージし、前記現在のサンプルセットについての前記予測残差の抽出をスキップし、サンプルセット走査順で次のサンプルセットに進むステップと、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合、前記第1のコンテキストとは異なる第2のコンテキストを用いた算術復号化を使用して、前記ビットストリームから第2のシンタックス要素を抽出するステップと、
前記第2のシンタックス要素に応じて、
前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術復号化を使用して、前記ビットストリームから第3のシンタックス要素を抽出し、前記現在のサンプルセットのための符号化パラメータが、前記第3のシンタックス要素によってシグナリングされる、各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットを前記グループのうちの1つにマージするとともに、前記現在のサンプルセットについての前記予測残差に関する少なくとも1つのさらなるシンタックス要素を抽出するステップ、または、
前記現在のサンプルセットのための前記符号化パラメータの前記抽出を実行するとともに、前記現在のサンプルセットについての前記予測残差に関する少なくとも1つのさらなるシンタックス要素を抽出するステップと、
を含み、
前記画像(20)は、マルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項9】
前記ビットストリームは前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項8に記載の方法。
【請求項10】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項8に記載の方法。
【請求項11】
画像を符号化するための方法であって、
前記画像をサンプルのサンプルセットに細分化するステップと、
前記サンプルセットをそれぞれ1つ以上のサンプルセットのグループにマージするステップと、
前記サンプルセットのグループの単位で前記ビットストリームにおいて送信される符号化パラメータを使用して、前記画像を符号化するステップであって、符号化器(76)は、前記画像を予測し、既定のサンプルセットについての予測残差を符号化することによって、前記画像を符号化するように構成される、ステップと、
それぞれの前記サンプルセットが別のサンプルセットとともに前記グループのうちの1つにマージされるか否かを示す、前記サンプルセットの少なくともサブセットの各々についての1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータをビットストリームに挿入するステップと、
を含み、
前記方法は、サンプルセット走査順に従って前記サンプルセットを順次進むステップと、現在のサンプルセットについて、
第1のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第1のバイナリシンタックス要素を挿入するステップであって、
ここで前記第1のバイナリシンタックス要素は、第1のバイナリ状態をとっているときに、前記現在のサンプルセットのための符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットが該グループとマージされること、および前記現在のサンプルセットについての前記予測残差の抽出がスキップされ、サンプルセット走査順で次のサンプルセットに進むことを示す、ステップと、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合、
前記第1のコンテキストとは異なる第2のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第2のシンタックス要素を挿入するステップと、
前記現在のサンプルセットについての予測残差に関する少なくとも1つのさらなるシンタックス要素を挿入するステップであって、
ここで、前記第2のシンタックス要素は、前記現在のサンプルセットが前記グループのうちの1つとマージされることになるか、または前記符号化パラメータの抽出が前記現在のサンプルセットについて実行されるかを示し、インサーターは、前記第2のシンタックス要素が前記現在のサンプルセットがマージされることになると示している場合、前記現在のサンプルセットのための符号化パラメータが、各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットをマージし、前記既定の候補サンプルセットのセットのうちの1つをシグナリングする第3のシンタックス要素を、前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術符号化を使用して前記ビットストリームに挿入するように構成される、ステップと
を含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項12】
前記ビットストリームは前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項11に記載の方法。
【請求項13】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項11に記載の方法。
【請求項14】
ビットストリームを復号化するための方法であって、前記方法は、
前記画像をサンプルのサンプルセットに細分化すること、
前記サンプルセットをそれぞれ1つ以上のサンプルセットのグループにマージすること、
前記サンプルセットのグループの単位で前記ビットストリームにおいて送信される符号化パラメータを用いて、前記画像を符号化することであって、ここで符号化器(76)は、前記画像を予測し、既定のサンプルセットについての予測残差を符号化することによって、前記画像を符号化するように構成される、符号化すること、
それぞれの前記サンプルセットが別のサンプルセットとともに前記グループのうちの1つにマージされるか否かを示す、前記サンプルセットの少なくともサブセットの各々についての1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータをビットストリームに挿入すること
によって符号化されたビットストリームを受信し復号化するステップを含み、
前記方法は、サンプルセット走査順に従って前記サンプルセットを順次進むステップと、現在のサンプルセットについて、
第1のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第1のバイナリシンタックス要素を挿入するステップであって、
ここで前記第1のバイナリシンタックス要素は、第1のバイナリ状態をとっているときに、前記現在のサンプルセットのための符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットが該グループとマージされること、および前記現在のサンプルセットについての前記予測残差の抽出がスキップされ、サンプルセット走査順で次のサンプルセットに進むことを示す、ステップと、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合、
前記第1のコンテキストとは異なる第2のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第2のシンタックス要素を挿入するステップと、
前記現在のサンプルセットについての予測残差に関する少なくとも1つのさらなるシンタックス要素を挿入するステップであって、
ここで、前記第2のシンタックス要素は、前記現在のサンプルセットが前記グループのうちの1つとマージされることになるか、または前記符号化パラメータの抽出が前記現在のサンプルセットについて実行されるかを示し、インサーターは、前記第2のシンタックス要素が前記現在のサンプルセットがマージされることになると示している場合、前記現在のサンプルセットのための符号化パラメータが、各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットをマージし、前記既定の候補サンプルセットのセットのうちの1つをシグナリングする第3のシンタックス要素を、前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術符号化を使用して前記ビットストリームに挿入するように構成される、ステップと
を含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項15】
前記ビットストリームは前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項14に記載の方法。
【請求項16】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項14に記載の方法。
【請求項17】
ビットストリームを復号化するための方法であって、前記方法は、
予測残差および符号化パラメータであって、前記符号化パラメータは画像をサンプルセットに細分化するとともに、前記サンプルセットをサンプルセットのグループにマージすることによって生じるサンプルセットのグループの単位で前記ビットストリームにおいて送信される、予測残差および符号化パラメータと、
それぞれの前記サンプルセットが別のサンプルセットとともに前記グループのうちの1つにマージされるか否かを示す、前記サンプルセットの少なくともサブセットの各々についての1つ以上のシンタックス要素と
を含むビットストリームを受信し復号化するステップを含み、
前記方法は、サンプルセット走査順に従って前記サンプルセットを順次進むステップと、現在のサンプルセットについて、
第1のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第1のバイナリシンタックス要素を挿入するステップであって、
ここで前記第1のバイナリシンタックス要素は、第1のバイナリ状態をとっているときに、前記現在のサンプルセットのための符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットが該グループとマージされること、および前記現在のサンプルセットについての前記予測残差の抽出がスキップされ、サンプルセット走査順で次のサンプルセットに進むことを示す、ステップと、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合、
前記第1のコンテキストとは異なる第2のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第2のシンタックス要素を挿入するステップと、
前記現在のサンプルセットについての予測残差に関する少なくとも1つのさらなるシンタックス要素を挿入するステップであって、
ここで、前記第2のシンタックス要素は、前記現在のサンプルセットが前記グループのうちの1つとマージされることになるか、または前記符号化パラメータの抽出が前記現在のサンプルセットについて実行されるかを示し、インサーターは、前記第2のシンタックス要素が前記現在のサンプルセットがマージされることになると示している場合、前記現在のサンプルセットのための符号化パラメータが、各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットをマージし、前記既定の候補サンプルセットのセットのうちの1つをシグナリングする第3のシンタックス要素を、前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術符号化を使用して前記ビットストリームに挿入するように構成される、ステップと
を含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項18】
前記ビットストリームは前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項17に記載の方法。
【請求項19】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項17に記載の方法。
【請求項20】
画像を記憶するための方法であって、前記方法は、
予測残差および符号化パラメータであって、前記符号化パラメータは前記画像をサンプルセットに細分化するとともに、前記サンプルセットをサンプルセットのグループにマージすることによって生じる、サンプルセットのグループの単位でビットストリームにおいて送信される、予測残差および符号化パラメータと、
それぞれの前記サンプルセットが別のサンプルセットと共に前記グループのうちの1つにマージされるか否かを示す、前記サンプルセットの少なくともサブセットの各々についての1つ以上のシンタックス要素と
を含む前記ビットストリームをデジタル記憶媒体に記憶するステップを含み、
前記方法は、サンプルセット走査順に従って前記サンプルセットを順次進むステップと、現在のサンプルセットについて、
第1のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第1のバイナリシンタックス要素を挿入するステップであって、
ここで前記第1のバイナリシンタックス要素は、第1のバイナリ状態をとっているときに、前記現在のサンプルセットのための符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットが該グループとマージされること、および前記現在のサンプルセットについての前記予測残差の抽出がスキップされ、サンプルセット走査順で次のサンプルセットに進むことを示す、ステップと、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合、
前記第1のコンテキストとは異なる第2のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第2のシンタックス要素を挿入するステップと、
前記現在のサンプルセットについての予測残差に関する少なくとも1つのさらなるシンタックス要素を挿入するステップであって、
ここで、前記第2のシンタックス要素は、前記現在のサンプルセットが前記グループのうちの1つとマージされることになるか、または前記符号化パラメータの抽出が前記現在のサンプルセットについて実行されるかを示し、インサーターは、前記第2のシンタックス要素が前記現在のサンプルがマージされることになると示している場合、前記現在のサンプルセットのための符号化パラメータが、各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットをマージし、前記既定の候補サンプルセットのセットのうちの1つをシグナリングする第3のシンタックス要素を、前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術符号化を使用して前記ビットストリームに挿入するように構成される、ステップと
を含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項21】
前記ビットストリームは前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項20に記載の方法。
【請求項22】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項20に記載の方法。
【請求項23】
画像を送信するための方法であって、
予測残差および符号化パラメータであって、前記符号化パラメータは前記画像をサンプルセットに細分化するとともに前記サンプルセットをサンプルセットのグループにマージすることによって生じる、サンプルセットのグループの単位でビットストリームにおいて送信される、予測残差および符号化パラメータと、
それぞれの前記サンプルセットが別のサンプルセットと共に前記グループのうちの1つにマージされるか否かを示す、前記サンプルセットの少なくともサブセットの各々についての1つ以上のシンタックス要素と
を含む前記ビットストリームを送信媒体で送信するステップを含み、
前記方法は、サンプルセット走査順に従って前記サンプルセットを順次進むステップと、現在のサンプルセットについて、
第1のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第1のバイナリシンタックス要素を挿入するステップであって、
ここで前記第1のバイナリシンタックス要素は、第1のバイナリ状態をとっているときに、前記現在のサンプルセットのための符号化パラメータが前記グループのうちの1つに関連付けられた符号化パラメータと等しいと推定することによって、前記現在のサンプルセットが該グループとマージされること、および前記現在のサンプルセットについての前記予測残差の抽出がスキップされ、サンプルセット走査順で次のサンプルセットに進むことを示す、ステップと、
前記第1のバイナリシンタックス要素が第2のバイナリ状態をとる場合、
前記第1のコンテキストとは異なる第2のコンテキストを用いた算術符号化を使用して、前記ビットストリームに第2のシンタックス要素を挿入するステップと、
前記現在のサンプルセットについての予測残差に関する少なくとも1つのさらなるシンタックス要素を挿入するステップであって、
ここで、前記第2のシンタックス要素は、前記現在のサンプルセットが前記グループのうちの1つとマージされることになるか、または前記符号化パラメータの抽出が前記現在のサンプルセットについて実行されるかを示し、インサーターは、前記第2のシンタックス要素が前記現在のサンプルセットがマージされることになると示している場合、前記現在のサンプルセットのための符号化パラメータが、各サンプルセットに隣接する既定の候補サンプルセットのセットのうちの1つに関連付けられた符号化パラメータに等しいと推定することによって、前記現在のサンプルセットをマージし、前記既定の候補サンプルセットのセットのうちの1つをシグナリングする第3のシンタックス要素を、前記第1のコンテキストおよび前記第2のコンテキストとは異なる第3のコンテキストを用いた算術符号化を使用して前記ビットストリームに挿入するように構成される、ステップと
を含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項24】
前記ビットストリームは前記画像が関連付けられている深度マップをさらに含むことを特徴とする、請求項23に記載の方法。
【請求項25】
情報サンプルのアレイは、互いに独立して符号化されている、前記画像の異なる面に関連するサンプルアレイのうちの1つであることを特徴とする、請求項23に記載の方法。
【請求項26】
画像(20)が符号化されているビットストリーム(30)を復号化するように構成された装置であって、前記画像のサンプルアレイはブロックに分割され、前記ビットストリームは各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかを示し、前記装置は、
現在のブロックについて、前記ビットストリーム(30)からフラグを抽出し、
前記フラグを使用して、
前記現在のブロックに関連付けられた符号化パラメータが、マージ候補に従ってマージすることによって設定されることになるか、または前記ビットストリーム(30)から取り出されることになるのか、
前記画像(20)の前記現在のブロック(40)が、いかなる残差データなしで、前記現在のブロック(40)に関連付けられた符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または、前記現在のブロック(40)に関連付けられた符号化パラメータに応じた前記予測信号を前記ビットストリーム(30)内の残差データによってリファインすることによって再構築されることになるのか、そして
前記現在のブロックがインター画像予測モードで符号化されているのか
を決定するように構成され、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されることになること、前記現在のブロックの残差データが送信されないこと、そして前記現在のブロックがインター画像予測モードで符号化されていることをシグナリングする場合には、
前記現在のサンプルセット(40)に関連付けられた符号化パラメータをマージ候補に従って設定することによって前記現在のブロック(40)に関連付けられた符号化パラメータが得られるように、マージを実行し、
いかなる残差データなしで、前記符号化パラメータに応じた予測信号のみに基づいて、インター画像予測モードを用いて前記画像(20)の前記現在のサンプルセット(40)を再構築するように構成され、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されないことをシグナリングする場合には、
前記現在のブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかを示すシンタックス要素を前記ビットストリームから抽出し、前記現在のブロックがインター画像予測モードで符号化されていると前記シンタックス要素がシグナリングする場合には、前記現在のブロックがさらに分割されている前記現在のブロックの各パーティションについて、前記各パーティションについてマージのアクティブ化を個別に示すマージフラグを抽出するように構成され、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、装置。
【請求項27】
前記ビットストリーム内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されることになることをシグナリングしない場合、
前記装置は、前記現在のブロックの各パーティションについて、前記ビットストリーム内の前記マージフラグに応答して、前記装置が前記マージフラグに応じて、
前記現在のブロックの前記各パーティションについてマージをアクティブ化し、前記現在のブロック(40)の前記各パーティションに関連付けられた符号化パラメータをマージ候補に従って設定することによって、前記現在のブロック(40)の前記各パーティションに関連付けられた符号化パラメータを得て、前記現在のブロック(40)の前記各パーティションについての残差データを前記ビットストリーム(30)から得て、前記予測信号および前記残差データに基づいて前記画像(20)の前記現在のブロック(40)の前記各パーティションを再構築する、または、
前記現在のブロック(40)の前記各パーティションに関連付けられた符号化パラメータを前記ビットストリーム(30)から抽出し、前記現在のブロック(40)の前記各パーティションについての残差データを前記ビットストリーム(30)から得て、前記予測信号および前記残差データに基づいて前記画像(20)の前記現在のブロック(40)の前記各パーティションを再構築する
ように構成されることを特徴とする、請求項26に記載の装置。
【請求項28】
画像(20)が符号化されているビットストリームを復号化するための装置であって、
前記画像(20)をサンプルのブロック(40)に細分化するように構成されたサブディバイダー(82)と、
前記ブロック(40)を1つ以上のブロックのグループにそれぞれマージするように構成されたマージャー(84)と、
前記ブロックのグループの単位で前記ビットストリームにおいて送信される符号化パラメータを使用して、前記画像(20)を復号化するように構成された復号化器(86)であって、前記復号化器(86)は、既定のブロックについて、前記画像(20)を予測し、前記既定のブロックについての予測残差を復号化し、前記予測残差と前記画像(20)の予測から生じる予測とを組み合わせることによって、前記画像を復号化するように構成され、前記ビットストリームは各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングする、復号化器(86)と、
前記各ブロック(40)がインター画像予測モードで符号化されているか、前記各ブロックが別のブロック(40)とともに前記グループのうちの1つにマージされることになるか、そして前記各ブロックの残差データが送信されないか否かを示す、前記ブロック(40)の少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータを前記ビットストリーム(30)から抽出するように構成されたエクストラクター(88)であって、前記マージャー(84)は、前記1つ以上のシンタックス要素に応答してマージを実行するように構成される、エクストラクター(88)と
を含み、
前記1つ以上のシンタックス要素の可能な状態のうちの1つは、前記各ブロック(40)がイントラ画像予測モードで符号化されていること、別のブロック(40)とともに前記グループのうちの1つにマージされることになっていること、そして符号化され前記ビットストリーム(30)に挿入された予測残差がないことをシグナリングし、前記エクストラクター(88)は、前記1つ以上のシンタックス要素が前記可能な状態のうちの前記1つをとらない各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングするシンタックス要素を前記ビットストリームから抽出するように構成され、ここで分割情報は前記各ブロックの分割と、前記各ブロックがインター画像予測モードで符号化されている場合には、前記各ブロックが前記分割情報に従って分割されている各パーティションについて、マージフラグをシグナリングし、前記マージフラグは前記各パーティションについてマージを個別にアクティブ化し、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、装置。
【請求項29】
前記エクストラクターは、前記ビットストリームから細分化情報を抽出するようにも構成され、前記サブディバイダーは、前記細分化情報に応答して、前記画像をブロックに細分化するように構成されることを特徴とする、請求項28に記載の装置。
【請求項30】
ビットストリーム(30)に画像(20)を符号化するための装置であって、前記画像(20)のサンプルアレイはブロック(40)に分割されて、前記ビットストリームが各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかを示し、
前記装置は、現在のブロックについて、フラグを前記ビットストリームに符号化するように構成され、前記フラグは
前記現在のブロック(40)に関連付けられた符号化パラメータが、マージ候補に従ってマージすることによって設定されることになるか、または前記ビットストリーム(30)から取り出されることになるのか、
前記画像(20)の前記現在のブロック(40)が、いかなるの残差データなしに、前記現在のブロック(40)に関連付けられた符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または前記現在のブロック(40)と関連付けられた符号化パラメータに応じた前記予測信号を前記ビットストリーム(30)内の残差データによってリファインすることによって再構築されることになるのか、および
前記現在のブロックはインター画像予測モードで符号化されているのか
を示し、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されることになること、前記現在のブロックの残差データが送信されないこと、そして前記現在のブロックがインター画像予測モードで符号化されていることをシグナリングする場合には、
前記現在のブロック(40)に関連付けられた符号化パラメータをマージ候補に従って設定し、前記画像(20)の前記現在のブロック(40)が、いかなる残差データなしで、前記符号化パラメータに応じた予測信号のみに基づいてインター画像予測モードを用いて再構築されるように、インター画像予測モードを用いて前記現在のブロックを符号化するように構成され、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されないことを示す場合には、
前記現在のブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかを示すシンタックス要素を前記ビットストリームに挿入し、前記現在のブロックがインター画像予測モードで符号化されていると前記シンタックス要素がシグナリングする場合には、前記現在のブロックがさらに分割されている前記現在のブロックの各パーティションについて、前記各パーティションについてマージのアクティブ化を個別に示すマージフラグを挿入するように構成され、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、装置。
【請求項31】
画像をビットストリームに符号化するための装置であって、
前記画像をサンプルのブロックに細分化するように構成されたサブディバイダー(72)と、
前記ブロックをそれぞれ1つ以上のブロックのグループにマージするように構成されたマージャー(74)と、
前記ブロックのグループの単位で前記ビットストリームにおいて送信される符号化パラメータを使用して、前記画像を符号化するように構成された符号化器(76)であって、前記符号化器(76)は、前記画像を予測し、既定のブロックについての予測残差を符号化することによって前記画像を符号化するように構成され、前記ビットストリームは、各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングする、符号化器(76)と、
前記各ブロックがインター画像予測モードで符号化されているか、前記各ブロックが別のブロックとともに前記グループのうちの1つにマージされるか、そして前記各ブロックの残差データが送信されないか否かをシグナリングする、前記ブロックの少なくともサブセットの各々についての1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータをビットストリームに挿入するように構成されたストリームジェネレータ(78)と
を含み、
前記1つ以上のシンタックス要素の可能な状態のうちの1つは、前記各ブロックが、インター画像予測モードで符号化されていること、別のブロックとともに前記グループのうちの1つにマージされることになっていること、そして符号化され前記ビットストリームに挿入された予測残差がないことを示し、前記ストリームジェネレーター(78)は、前記1つ以上のシンタックス要素が前記可能な状態のうちの前記1つをとっていない各ブロックを前記ビットストリームに挿入するように構成され、シンタックス要素は前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングし、分割情報は前記ビットストリームにおいて前記各ブロックの分割をシグナリングし、前記各ブロックが前記分割情報に従って分割されている各パーティションについてはマージフラグをシグナリングし、前記マージフラグは前記各パーティションについて前記マージを個別にアクティブ化し、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、前記装置。
【請求項32】
画像(20)が符号化されているビットストリーム(30)を復号化するための方法であって、前記画像のサンプルアレイはブロックに分割され、前記ビットストリームは各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングし、
前記方法は、現在のブロックについて前記ビットストリーム(30)からフラグを抽出するステップと、
該フラグを使用して、
前記現在のブロックに関連付けられた符号化パラメータが、マージ候補に従ったマージにより設定されることになるか、または前記ビットストリーム(30)から取り出されることになるのか、
前記画像(20)の前記現在のブロック(40)が、いかなる残差データなしで、前記現在のブロック(40)に関連付けられた符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または前記現在のブロック(40)に関連付けられた符号化パラメータに応じた前記予測信号を前記ビットストリーム(30)内の残差データによってリファインすることによって再構築されることになるのか、
前記現在のブロックはインター画像予測モードで符号化されているのか
を決定するステップと、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されることになること、前記現在のブロックの前記残差データが送信されないこと、そして前記現在のブロックがインター画像予測モードで符号化されていることをシグナリングする場合には、
前記現在のブロック(40)に関連付けられた符号化パラメータをマージ候補に従って設定することによって前記現在のブロック(40)に関連付けられた符号化パラメータを得られるように、マージを実行するステップと、
いかなる残差データなしで、前記符号化パラメータに応じた予測信号のみに基づいて、インター画像予測モードを用いて前記画像(20)の前記現在のブロック(40)を再構築するステップと、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されないことをシグナリングする場合には、
前記現在のブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかを示すシンタックス要素を前記ビットストリームから抽出し、前記シンタックス要素が、前記現在のブロックがインター画像予測モードで符号化されているとシグナリングする場合には、前記現在のブロックがさらに細分化されている前記現在のブロックの各パーティションについて、前記各パーティションについて前記マージのアクティブ化を示すマージフラグを抽出するステップと
を含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項33】
画像(20)が符号化されたビットストリームを復号化するための方法であって、前記方法は、
前記画像(20)をブロック(40)に細分化するステップと、
前記ブロック(40)を1つ以上のブロックのグループにそれぞれマージするステップと、
前記画像(20)を予測し、既定のブロックについての予測残差を復号化し、前記予測残差と前記既定のブロックのための前記画像(20)の予測から生じる予測とを組み合わせることによって、前記ブロックのグループの単位で前記ビットストリームにおいて送信される符号化パラメータを使用して前記画像(20)を復号化するステップであって、前記ビットストリームは各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングする、ステップと、
前記各ブロック(40)がインター画像予測モードで符号化されているか、前記各ブロックが別のブロック(40)と共に前記グループの1つにマージされることになるか、そして前記各ブロックの残差データが送信されないか否かを示す、前記ブロック(40)の少なくともサブセットの各々のための1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータを前記ビットストリーム(30)から抽出するステップであって、マージ(84)は前記1つ以上のシンタックス要素に応答して実行される、ステップと
を含み、
前記1つ以上のシンタックス要素の可能な状態のうちの1つは、前記各ブロック(40)がインター画像予測モードで符号化されていること、別のブロック(40)とともに前記グループのうちの1つにマージされることになること、そして符号化され前記ビットストリーム(30)に挿入された予測残差がないことをシグナリングし、前記抽出するステップは、前記1つ以上のシンタックス要素が前記可能な状態のうちの前記1つをとらない各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングするシンタックス要素、前記各ブロックの分割をシグナリングする分割情報、および前記各ブロックがインター画像予測モードで符号化されている場合には、前記分割情報に従って前記各ブロックが分割されている各パーティションについて前記各パーティションのマージを個別にアクティブ化するマージフラグを前記ビットストリームから抽出するステップを含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項34】
ビットストリーム(30)に画像(20)を符号化するための方法であって、前記画像(20)のサンプルアレイはブロック(40)に分割されて、前記ビットストリームが各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかを示し、前記方法は、
現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従ってマージすることにより設定されることになるか、または前記ビットストリーム(30)から取り出されることになるのか、
前記画像(20)の前記現在のブロック(40)が、いかなる残差データなしで、前記現在のブロック(40)に関連付けられた符号化パラメータに応じた予測信号のみに基づいて再構築されることになるか、または前記現在のブロック(40)に関連付けられた符号化パラメータに応じた前記予測信号を前記ビットストリーム(30)内の残差データによってリファインすることによって再構築されることになるのか、そして
前記現在のブロックはインター画像予測モードで符号化されているのか
を示すフラグを、前記現在のブロックについて、前記ビットストリームに符号化するステップと、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられている符号化パラメータがマージ候補に従って設定されることになること、前記現在のブロックの残差データが送信されないこと、そして前記現在のブロックがインター画像予測モードで符号化されていることをシグナリングする場合には、
前記現在のブロック(40)に関連付けられた符号化パラメータを前記マージ候補に従って設定し、前記画像(20)の前記現在のブロック(40)が、いかなる残差データなしで、前記符号化パラメータに応じた予測信号のみに基づいてインター画像予測モードを用いて再構築されるように、インター画像予測モードを使用して前記現在のブロックを符号化するステップと、
前記ビットストリーム(30)内の前記フラグが、前記現在のブロック(40)に関連付けられた符号化パラメータがマージ候補に従って設定されないことをシグナリングする場合には、
前記現在のブロックがイントラ画像予測モードで符号化されているかインター画像符号化モードで符号化されているかを示すシンタックス要素を前記ビットストリームに挿入し、前記シンタックス要素がインター画像予測モードで符号化されている場合には、前記現在のブロックがさらに分割されている前記現在のブロックの各パーティションについて、前記各パーティションについて個別にマージのアクティブ化を示すマージフラグを挿入するステップと、
を含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【請求項35】
画像をビットストリームに符号化するための方法であって、前記方法は、
前記画像をサンプルのブロックに細分化するステップと、
前記ブロックを1つ以上のブロックのグループにそれぞれマージするステップと、
前記ブロックのグループの単位で前記ビットストリームにおいて送信される符号化パラメータを使用して、前記画像を符号化するステップであって、符号化器(76)は、前記画像を予測し、既定のブロックについての予測残差を符号化することによって、前記画像を符号化するように構成され、前記ビットストリームは各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングする、ステップと、
前記各ブロックがインター画像予測モードで符号化されているか、前記各ブロックが別のブロックとともに前記グループのうちの1つにマージされるか、そして前記各ブロックの残差データが送信されないか否かを示す、前記ブロックの少なくともサブセットの各々についての1つ以上のシンタックス要素とともに、前記予測残差および前記符号化パラメータをビットストリームに挿入するステップと、
を含み、
前記1つ以上のシンタックス要素の可能な状態のうちの1つは、前記各ブロックがインター画像予測モードで符号化されていること、別のブロックとともに前記グループのうちの1つにマージされることになること、そして符号化され前記ビットストリームに挿入された予測残差がないことをシグナリングし、前記挿入するステップは、前記1つ以上のシンタックス要素が前記可能な状態のうちの前記1つを取っていない各ブロックについて、前記各ブロックがイントラ画像予測モードで符号化されているかインター画像予測モードで符号化されているかをシグナリングするシンタックス要素を前記ビットストリームに挿入するステップであって、分割情報が前記各ブロックの分割を前記ビットストリームにおいてシグナリングする、ステップと、前記各ブロックが前記分割情報に従って分割されている各パーティションについて、マージフラグであって、前記マージフラグは前記各パーティションについてマージを個別にアクティブ化するマージフラグを挿入するステップとを含み、
前記画像(20)はマルチツリー細分化を使用してサンプルのサンプルセット(40)に細分化される
ことを特徴とする、方法。
【外国語明細書】