(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156727
(43)【公開日】2024-11-06
(54)【発明の名称】ブロック分割及びブロック統合をサポートする画像符号化
(51)【国際特許分類】
H04N 19/119 20140101AFI20241029BHJP
H04N 19/70 20140101ALI20241029BHJP
H04N 19/176 20140101ALI20241029BHJP
【FI】
H04N19/119
H04N19/70
H04N19/176
【審査請求】有
【請求項の数】21
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024117498
(22)【出願日】2024-07-23
(62)【分割の表示】P 2023159938の分割
【原出願日】2011-10-10
(31)【優先権主張番号】61/391,473
(32)【優先日】2010-10-08
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】515089080
【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー
【住所又は居所原語表記】1 Research Circle,Niskayuna,NY 12309,USA
(74)【代理人】
【識別番号】110003915
【氏名又は名称】弁理士法人岡田特許事務所
(72)【発明者】
【氏名】シュヴァルツ ハイコ
(72)【発明者】
【氏名】フィリップ ヘレ
(72)【発明者】
【氏名】マルペ デトレフ
(72)【発明者】
【氏名】ウィーガント トーマス
(72)【発明者】
【氏名】オーディン ジーモン
(72)【発明者】
【氏名】ブロス ベンヤミン
(57)【要約】 (修正有)
【課題】分割符号化と統合符号化の間の冗長性を回避する方法を提供する。
【解決手段】ビットストリーム30がサポートされた分割パターンのうちの1つをシグナリングする画像20の現在ブロック40において、ブロック統合による分割の逆転を回避する場合、さらなる符号化効率の増加を達成する。サポートされた分割パターンのうちのシグナリングされた1つが、2つ以上の更なるブロック50、60への細分化を特定する場合、符号化順で更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、特定の符号化パラメータ候補の除去を実行する。特に、それらの符号化パラメータ候補は、各更なるブロックのための符号化パラメータ候補のセットから除かれ、その符号化パラメータは、各更なるブロックと統合されるときに、サポートされた分割パターンのうちの1つとなる更なるブロックのいずれかと関連した符号化パラメータと同じである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像(20)の現在ブロック(40)のためのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム(30)を復号化するように構成される復号化器(50)であって、前記復号化器は、
前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
前記各更なるブロック(60)についての符号化パラメータ候補のセットから、
前記各更なるブロック(60)と統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、復号化器。
【請求項2】
前記復号化器(50)は、前記除かれなかった符号化パラメータ候補の数が0でない場合、前記除かれなかった符号化パラメータ候補のうちの1つに依存して、前記各更なるブロック(60)と関連した符号化パラメータを設定するように構成されることを特徴とする、請求項1に記載の復号化器。
【請求項3】
前記復号化器(50)は、前記除かれなかった符号化パラメータ候補の数が0でない場合、付加的なリファインメントの有無にかかわらず、および/または、時間的距離に従ってスケーリングすることの有無にかかわらず、前記除かれなかった符号化パラメータ候補のうちの1つに等しい前記各更なるブロックと関連した符号化パラメータを設定するように構成されることを特徴とする、請求項1に記載の復号化器。
【請求項4】
前記復号化器は、前記現在ブロックに関してイントラ予測モードおよびインター予測モードをサポートし、前記現在ブロック(40)がインター予測モードで符号化されている場合にだけ、前記統合および除去を実行するように構成されることを特徴とする、請求項2又は請求項3に記載の復号化器。
【請求項5】
前記符号化パラメータは、予測パラメータであり、前記復号化器は、前記各更なるブロック(60)についての予測信号を得るために、前記各更なるブロック(60)の前記予測パラメータを使用するように構成されることを特徴とする、請求項2~請求項4のいずれかに記載の復号化器。
【請求項6】
前記復号化器は、各更なるブロックについての除かれなかった符号化パラメータ候補の数が1より大きい場合、前記各更なるブロックについての除かれなかった符号化パラメータ候補の前記数に依存して、前記ビットストリーム(30)が、前記除かれなかった符号化パラメータのうちのどれが統合するために使われるかを特定するシンタックス要素を含むことを予想するだけであるように構成されることを特徴とする、請求項1~請求項5のいずれかに記載の復号化器。
【請求項7】
前記復号化器(50)は、前に復号化されたブロックと関連した符号化パラメータに基づいて、前記各更なるブロック(60)についての符号化パラメータ候補の前記セットを決定するように構成されることを特徴とする、請求項1~請求項6のいずれかに記載の復号化器。
【請求項8】
前記復号化器(50)は、前記各更なるブロックに隣接し、前記現在ブロックの外側および内側に位置する、前に復号化されたブロックと関連した前記符号化パラメータに、少なくとも部分的に、基づいて、それぞれ、前記各更なるブロックについての符号化パラメータ候補の前記セットを決定するように構成されることを特徴とする、請求項1~請求項7のいずれかに記載の復号化器。
【請求項9】
前記復号化器(50)は、イントラ予測モードで符号化されているもの以外の、前に復号化されたブロックの最初のセットから、前記各更なるブロックについての符号化パラメータ候補の前記セットを決定するように構成されることを特徴とする、請求項1~請求項8のいずれかに記載の復号化器。
【請求項10】
前記復号化器(50)は、前記ビットストリーム(30)に含まれる細分化情報に従って、符号化ブロックに前記画像(20)を細分化するように構成され、前記符号化ブロックは、前記現在ブロックを含むことを特徴とする、請求項1~請求項9のいずれかに記載の復号化器。
【請求項11】
前記復号化器(50)は、前記ビットストリームに含まれる更なる細分化情報に従って、前記現在ブロック(40)を1つ又は複数の変換ブロックに更に細分化して、前記変換ブロックの単位で、ビットストリーム(30)から前記現在ブロック(40)の残差信号を得るように構成されることを特徴とする、請求項10に記載の復号化器。
【請求項12】
前記復号化器は、前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つの更なるブロックへの前記ブロックの細分化を特定する場合に、符号化順で前記更なるブロックのうちの2番目の更なるブロックに関して、前記2番目の更なるブロックについての符号化パラメータ候補の前記セットから、符号化順で前記更なるブロックのうちの前記1番目の更なるブロックと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、請求項1~請求項11のいずれかに記載の復号化器。
【請求項13】
前記サポートされた分割パターンは、非分割モード、横分割モード、および縦分割モードを含み、前記復号化器は、前記サポートされた分割パターンのうちの前記シグナリングされた1つが、4つの更なるブロックへの前記ブロックの細分化を特定する場合に、
符号化順で前記更なるブロックのうちの前記4番目のブロックに関して、前記4番目の更なるブロックについての符号化パラメータ候補のセットから、異なる行にある前記更なるブロックのうちの他の2つが、互いに等しいそれと関連した符号化パラメータを有するとき、前記4番目の更なるブロックと同じ行にある前記更なるブロックのうちの1つと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除き、
前記4番目のブロックに関して、前記4番目の更なるブロックについての符号化パラメータ候補の前記セットから、異なる列にある前記更なるブロックのうちの他の2つが、互いに等しいそれと関連した符号化パラメータを有するとき、前記4番目の更なるブロックと同じ列にある前記更なるブロックのうちの1つと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、請求項1~請求項12のいずれかに記載の復号化器。
【請求項14】
ビットストリーム(30)に画像(20)を符号化するように構成される符号化器(10)であって、前記符号化器は、
現在ブロック(40)のためのサポートされた分割パターンのうちの1つをビットストリーム(30)の中でシグナリングし、
前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック(50)以外の全ての更なるブロック(60)に関して、
前記各更なるブロック(60)のための符号化パラメータ候補のセットから、
前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、符号化器。
【請求項15】
画像の現在ブロックのためのサポートされた分割パターンのうちの1つをシグナリングするビットストリームを復号化するように構成される復号化器であって、前記復号化器は、
前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロックへの前記ブロックの細分化を特定する場合、
符号化順で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
前記各更なるブロックのための候補ブロックのセットから、
前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう候補ブロックを除くように構成されることを特徴とする、復号化器。
【請求項16】
前記復号化器は、前記除かれなかった候補ブロックの数が0でない場合、前記1つの候補ブロックと関連した符号化パラメータに依存して、前記各更なるブロックの符号化パラメータを設定することによって、前記除かれなかった候補ブロックのうちの1つと前記各更なるブロックを統合するように構成されることを特徴とする、請求項15に記載の復号化器。
【請求項17】
前記復号化器は、前記除かれなかった候補ブロックの数が0でない場合、付加的なリファインメントおよび/または時間的距離に従ってスケーリングすることの有無にかかわらず、前記1つの候補ブロックと関連した符号化パラメータと等しい前記各更なるブロックの符号化パラメータを設定することによって、前記除かれなかった候補ブロックのうちの1つと前記各更なるブロックを統合するように構成されることを特徴とする、請求項15に記載の復号化器。
【請求項18】
前記復号化器は、前記現在ブロックに関してイントラ予測モードおよびインター予測モードをサポートし、前記現在ブロックがインター予測モードで符号化されている場合にだけ、前記統合および除去を実行するように構成されることを特徴とする、請求項16又は請求項17に記載の復号化器。
【請求項19】
前記符号化パラメータは、予測パラメータであり、前記復号化器は、前記各更なるブロックのための予測信号を得るために、前記各更なるブロックの前記予測パラメータを使用するように構成されることを特徴とする、請求項16~請求項18のいずれかに記載の復号化器。
【請求項20】
前記復号化器は、各更なるブロックについての除かれなかった候補ブロックの数が1より大きい場合、前記各更なるブロックについての除かれなかった候補ブロックの前記数に依存して、前記ビットストリームが、前記除かれなかった候補ブロックのうちのどれが統合するために使われるかを特定するシンタックス要素を含むことを予測するだけであるように構成されることを特徴とする、請求項15~請求項19のいずれかに記載の復号化器。
【請求項21】
前記復号化器は、前に復号化されたブロックから、前記各更なるブロックについての候補ブロックの前記セットを決定するように構成されることを特徴とする、請求項15~請求項20のいずれかに記載の復号化器。
【請求項22】
前記復号化器は、前記各更なるブロックと隣接する、前に復号化されたブロックの最初のセットから、前記各更なるブロックについての候補ブロックの前記セットを決定するように構成され、前記最初のセットは、それぞれ、前記現在ブロックの外側および内側に隣接するブロックを含むことを特徴とする、請求項15~請求項21のいずれかに記載の復号化器。
【請求項23】
前記復号化器は、イントラ予測モードで符号化されているものを以外の、前に復号化されたブロックの最初のセットから、前記各更なるブロックについての候補ブロックの前記セットを決定するように構成されることを特徴とする、請求項15~請求項22のいずれかに記載の復号化器。
【請求項24】
前記復号化器は、前記ビットストリームに含まれる細分化情報に従って、符号化ブロックに前記画像を細分化するように構成され、前記符号化ブロックは、前記現在ブロックを含むことを特徴とする、請求項15~請求項23のいずれかに記載の復号化器。
【請求項25】
前記復号化器は、更なる細分化情報に従って、前記現在ブロックを1つ又は複数の変換ブロックに更に細分化して、前記変換ブロックの単位で、ビットストリームから前記現在ブロックの残差信号を得るように構成されることを特徴とする、請求項24に記載の復号化器。
【請求項26】
ビットストリーム(30)に画像(20)を符号化するように構成される符号化器であって、前記符号化器は、
現在ブロック(40)のためのサポートされた分割パターンのうちの1つをビットストリーム(30)の中でシグナリングし、
前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロックへの前記ブロックの細分化を特定する場合、
符号化順で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
前記各更なるブロックのための候補ブロックのセットから、
前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう候補ブロックを除くように構成されることを特徴とする、符号化器。
【請求項27】
画像(20)の現在ブロック(40)のためのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム(30)を復号化するための方法であって、前記方法は、
前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
前記各更なるブロック(60)についての符号化パラメータ候補のセットから、
前記各更なるブロック(60)と統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くステップを含む、方法。
【請求項28】
ビットストリーム(30)に画像(20)を符号化するための方法であって、前記方法は、
現在ブロック(40)のためのサポートされた分割パターンのうちの1つをビットストリーム(30)の中でシグナリングするステップと、
前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロック(60)に関して、
前記各更なるブロック(60)のための符号化パラメータ候補のセットから、
前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くステップを含むことを特徴とする、方法。
【請求項29】
コンピュータプログラムがコンピュータ上で動作するときに、請求項27又は請求項28に記載の方法を実行するためのプログラムコードを有する前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、画像および/またはビデオ符号化、特に、ブロック分割およびブロック統合をサポートするコーデックに関する。
【背景技術】
【0002】
多くの画像および/またはビデオコーデックは、ブロック単位で画像を処理する。例えば、予測コーデックは、予測パラメータについてあまりにも多くの補助情報を費やすことになるが、高空間分解能で予測パラメータセットを非常に正確に設定することと、予測パラメータの低空間分解能のために予測残差を符号化するのに必要なビット量の増加を招く、予測パラメータを非常に粗く設定することとの間の良い妥協点を得るために、ブロック粒度を使用する。要するに、予測パラメータのための最適な設定が、両極端の間のどこかに存在する。
【0003】
上述の課題についての最適解を得るために、いくつかの試みがなされている。例えば、行および列に規則的に配置されたブロックへの画像の規則的な細分化(subdivision)を使用する代わりに、マルチツリー分割する細分化は、細分化情報のための適切な要求でブロックに画像を細分化することの自由度を増加させようとする。しかし、マルチツリー細分化さえも、著しい量のデータのシグナリングを必要とし、画像を細分化する際の自由度は、このようなマルチツリー細分化を使用する場合でさえ、かなり制限される。
【0004】
画像細分化をシグナリングするために必要な補助情報の量と、画像を細分化する際の自由度との間のより良いトレードオフを可能にするために、ブロックの統合(merging)が、統合情報をシグナリングするために必要な妥当な量の追加データで、可能な画像細分化の数を増加させるために使用されることができる。統合されているブロックに関しては、結果として生じるブロックの統合されたグループが画像の直接細分化された部分であるかのように、同様に、符号化パラメータは、全体でただ一度だけビットストリーム中で送信されることを必要とする。
【0005】
しかし、依然として、ブロック統合とブロック細分化との組合せによって新たに生じた冗長が残っているため、より良い符号化効率を達成する必要性がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
このように、本願発明の目的は、さらなる符号化効率を有する符号化コンセプトを提供することである。この目的は、出願に係る独立請求項によって達成される。
【課題を解決するための手段】
【0007】
本願発明の根底にある考え方は、ビットストリームがサポートされた分割パターンのうちの1つをシグナリングする画像の現在ブロックに関して、ブロック統合による分割の逆が回避されれば、更なる符号化効率の増加が達成できるということである。特に、サポートされた分割パターンのシグナリングされた1つが、2つ以上の更なるブロックへのブロックの細分化を規定する場合、符号化順で更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、特定の符号化パラメータ候補の除去が、実行される。特に、その符号化パラメータが、各更なるブロックと統合されるときに、結果としてサポートされた分割パターンのうちの1つとなるであろう更なるブロックのいずれかと関連した符号化パラメータと同じである、それらの符号化パラメータ候補は、各更なるブロックのための符号化パラメータ候補のセットから除かれる。この方法によって、分割符号化と統合符号化との間の冗長は回避され、統合情報をシグナリングするための信号オーバーヘッドを、さらに、削減されたサイズの符号化パラメータ候補のセットを利用することによって削減することができる。さらに、ブロック分割をブロック統合と組合せるプラスの効果は、維持される。すなわち、ブロック分割をブロック統合と組合せるために、達成可能な分割パターンの種類は、ブロック統合のない場合と比較して増加する。信号オーバーヘッドの増加は、合理的な範囲に保たれる。最後に、ブロック統合は、現在ブロックとの境界を越えて更なるブロックを結合させることを可能にし、それによって、ブロック統合なしでは可能でない粒度を提供する。
【0008】
統合候補のセットのわずかに異なる考えを適用すると、上で説明された考えは、本願発明の更なる態様によれば、復号化器が削除されるように構成されている画像の現在のブロックについて、サポートされている分割パターンの1つをシグナリングするビットストリームを復号化するように構成されている復号化器において、サポートされている分割パターンのシグナリングされた1つが、ブロックの2つ以上のさらなるブロックへの細分化を規定している場合、符号化順序でのさらなるブロックの最初のさらなるブロックを除くすべてのさらなるブロックについて、それぞれのさらなるブロックの候補ブロックのセットから、それぞれのさらなるブロックと統合されたときに、サポートされている分割パターンの1つになる候補ブロックを明らかにする。
【0009】
本願発明の有利な実施態様は、付随した従属請求項の対象である。
【0010】
本願の好ましい実施形態は、図に関して更に詳細に以下に説明される。
【図面の簡単な説明】
【0011】
【
図1】
図1は、実施形態による符号化器のブロック図を示す。
【
図2】
図2は、実施形態による復号化器のブロック図を示す。
【
図3】
図3は、
図1の符号化器の可能な内部構造のブロック図を示す。
【
図4】
図4は、
図2の復号化器の可能な内部構造のブロック図を示す。
【
図5A】
図5Aは、ツリールートブロック、符号化単位(ブロック)、および予測単位(パーティション)への画像の可能な細分化を概略的に示す。
【
図5B】
図5Bは、図示に従ってパーティションのレベルにまで、
図5Aに示されたツリールートブロックの細分化ツリーを示す。
【
図6】
図6は、実施形態による可能なサポートされた分割パターンのセットのための実施形態を示す。
【
図7】
図7は、
図6に従ってブロック分割を使用するときに、ブロック統合とブロック分割を組合わせることから効率的に生じる可能な分割パターンを示す。
【
図8】
図8は、実施形態によるSKIP/DIRECTモードのための候補ブロックを概略的に示す。
【
図9】
図9は、実施形態によるシンタックスのシンタックス部分を示す。
【
図10】
図10は、実施形態によるシンタックスのシンタックス部分を示す。
【
図12】
図12は、実施形態によるパーティションのための隣接したパーティションの定義を概略的に示す。
【発明を実施するための形態】
【0012】
以下の記載に関して、同じ参照符号化が異なる図に関係して使用されるときはいつでも、これらの図の1つに関して提示された各要素に関連した説明が、1つの図から他の図へと説明を移ることがこの他の図の残りの記載と矛盾しない場合には、同様に、他の図に適用される点に留意されたい。
【0013】
図1は、本願発明の一実施形態による符号化器10を示す。符号化器10は、ビットストリーム30に画像20を符号化するように構成される。当然、画像20は、符号化器がビデオエンコーダである場合にはビデオの一部でありえる。
【0014】
画像20は、現在、符号化器10によって符号化されることになっているブロック40を含む。
図1に示すように、画像20は、2つ以上のブロック40を含みうる。例えば、画像20は、例として
図1に示されるように、ブロック40が行および列に配置されるように、ブロック40の規則的な配置に細分化されうる。しかし、ブロック40への画像20の他のいかなる細分化も可能でありうる。特に画像20のブロック40への細分化は、固定されてもよく、すなわち、デフォルトで復号化器に既知であってもよく、または、ビットストリーム30内で復号化器にシグナリングされてもよい。特に、画像20のブロック40は、サイズが異なってもよい。例えば、この場合、マルチツリー細分化のリーフブロックを形成するブロック40を得るように、四分木細分化のようなマルチツリー細分化が画像20に適用されてもよいし、規則的に配置されたツリールートブロックに画像20を規則的に事前細分化してもよい。
【0015】
いずれにせよ、符号化器10は、現在ブロック40のためのサポートされた分割パターンのうちの1つをビットストリーム30の中で信号を送るように構成される。すなわち、符号化器10は、例えば、それがレート歪み最適化の観点で、更にパーティションブロック40を分割することが良いかどうかや、特定の符号化パラメータが画像20の現在ブロック40の中にセットされる粒度を適合させるために、サポートされた分割パターンのうちのどれが現在ブロック40のために使用されるべきかに関して決定する。以下で更に詳細に概説されるように、符号化パラメータは、例えば、インター予測パラメータなどの予測パラメータを示すことができる。この種のインター予測パラメータは、例えば、参照画像インデックス、動きベクトル(motion vector)などを含むことができる。サポートされた分割パターンは、例えば、非分割モード(non-partitioning mode)、すなわち現在ブロック40が更に細分化されないオプション、横分割モード(horizontally partitioning mode)、すなわち現在ブロック40が横方向に伸びた線に沿って上部又は最上部と下部又は最下部に細分化されるオプション、および、縦分割モード(vertically partitioning mode)、すなわち現在ブロック40が縦方向に伸びた線に沿って左側部分および右側部分に縦に細分化されるオプションを含むことができる。これの他に、サポートされた分割パターンは、現在ブロック40が現在ブロック40の4分の1とそれぞれみなされる更なる4つのブロックに更に規則的に細分化されるオプションを含むこともできる。更に、その分割は、画像20のすべてのブロック40に、または、インター予測モードなどの、それと関連する特定の符号化モードを有するものなどの単にその適当なサブセットだけに関係することができる。さらに、統合がブロックのパーティションに適用されることになっているありうるブロックのセットは、統合がブロックのパーティションのために利用可能であるかどうかに関して、統合が実行されうるブロック40ごとにビットストリームシグナリングすることによって、更に、限定されうる。当然、この種のシグナリングはまた、可能性がある統合候補パーティションごとに、個々に、なされうる。更に、サポートされた分割モードの種々のサブセットは、組合わせて又は個々に、それがマルチツリー細分化リーフブロックである場合には、ブロック40の細分化レベル、例えばブロックサイズに依存して、ブロック40のために利用可能でありえる。
【0016】
すなわち、特にブロック40を得るためのブロックへの画像20の細分化が、フィックスされうる、または、ビットストリームの中でシグナリングされうる一方で、現在ブロック40のために使用されることになる分割パターンは、分割情報の形で、ビットストリーム30の中でシグナリングされる。従って、その分割情報は、このように、ブロック40への画像20の細分化の一種の拡張であるとして考えることができる。一方では、ブロック40への画像20の細分化の元の粒度の更なる関連は、まだ維持されうる。例えば、符号化器10は、ビットストリーム30の中で、ブロック40によって定められた粒度で、画像20の各部分またはブロック40のために使用される符号化モードをシグナリングするように構成されうる一方で、符号化器10は、各ブロック40のために選択された各分割パターンによって定められる増加した(微細な)粒度で、各ブロック40の中で各符号化モードの符号化パラメータを変化させるように構成される。例えば、ブロック40の粒度でシグナリングされた符号化モードは、時間インター予測モード、視点間(inter-view)予測モードなどのイントラ予測モード、インター予測モードなどの間で区別することができる。各ブロック40の分割から生じる1つ又は複数のサブブロック(パーティション)と関連した符号化パラメータの種類は、各ブロック40に割当てられた符号化モードに依存する。例えば、イントラ符号化されたブロック40に関して、符号化パラメータは、画像20の前に復号化された部分のどの画像内容が各ブロック40を満たすように使用されるかについての空間方向を含みうる。インター符号化されたブロック40の場合、符号化パラメータは、特に、動き補償予測のための動きベクトルを含むことができる。
【0017】
図1は、例として、2つの更なる(より小さい)ブロック50およびブロック60に細分化されているものとしての現在ブロック40を示す。特に、縦分割モードが例として示される。より小さいブロック50およびブロック60は、サブブロック50およびサブブロック60、または、パーティション50およびパーティション60、または、予測単位50および予測単位60とも呼ぶことができる。特に、符号化器10は、サポートされた分割パターンのシグナリングされた1つが、2つ以上の更なるブロック50およびブロック60への現在ブロック40の細分化を規定する場合に、符号化順で更なるブロック50およびブロック60の1番目の更なるブロック以外の全ての更なるブロックに関して、各更なるブロックのための符号化パラメータ候補のセットから、各更なるブロックに統合されるときに、サポートされた分割パターンの1つとなるであろう更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成される。もっと正確に言えば、サポートされた分割パターンの各々のために、符号化順は、結果として生じる1つ又は複数のパーティション50およびパーティション60の間で定められる。
図1の場合、符号化順は、例として、左のパーティション50が右のパーティション60の前に符号化されることを定める矢印70で示される。横分割モードの場合には、上のパーティションが下のパーティションの前に符号化されることが定められうる。いずれにせよ、符号化器10は、符号化順70で2番目のパーティション60に関して、各2番目のパーティション60についての符号化パラメータ候補のセットから、この統合の結果、すなわち、両方のパーティション50およびパーティション60が、実際、低い符号化率で現在ブロック40について非分割モードを選択することによって等しく生じうるそれと関連した同じ符号化パラメータを有するであろうことを回避するために、1番目のパーティション50と関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成される。
【0018】
より正確に言えば、符号化器10は、ブロック分割とともに効率的な方法でブロック統合を使用するように構成される。ブロック統合に関する限り、符号化器10は、パーティション50およびパーティション60ごとに、符号化パラメータ候補の各セットを決定する。符号化器は、前に復号化されたブロックと関連した符号化パラメータに基づいて、パーティション50およびパーティション60ごとに、符号化パラメータ候補のセットを決定するように構成することができる。特に、符号化パラメータ候補のセットの中の符号化パラメータ候補の少なくともいくつかは、前に復号化されたパーティションの符号化パラメータと等しいことがある、すなわち、前に復号化されたパーティションの符号化パラメータから採用されることがある。加えて、または、代わりに、符号化パラメータ候補の少なくともいくつかは、中央値、平均などの適切な組合せによって、2つ以上の前に符号化されたパーティションと関連した符号化パラメータ候補から得られうる。しかし、符号化器10が、符号化パラメータ候補の削減されたセットの決定と、除去後に1つ以上のこの種の符号化パラメータ候補が残る場合に、1つの除かれなかった又は選択された符号化パラメータ候補に依存して、各パーティションと関連した符号化パラメータをセットするために、1番目でないパーティション60ごとに、残りの除かれなかった符号化パラメータ候補のうちの1つの選択を実行するように構成されるので、符号化器10は、パーティション50とパーティション60との再結合に効率よくつながるであろう符号化パラメータ候補が除かれるように除去を実行するように構成される。すなわち、それにより効率的な分割状況が、単に分割情報だけを用いてこの分割を直接シグナリングする場合よりもより複雑に符号化されるシンタックスの集まりは、効果的に回避される。
【0019】
さらに、符号化パラメータ候補のセットがより小さくなるにつれて、ビットストリーム30に統合情報を符号化するのに必要な補助情報の量は、これらの候補セットのより少ない数の要素のために減少しうる。特に、復号化器が、
図1の符号化器が行うのと同じ方法で符号化パラメータ候補のセットを決定して、その後削減することが可能であるので、
図1の符号化器10は、例えば、ビットストリーム30にシンタックス要素を挿入するためにより少ないビットを使用して、符号化パラメータ候補の削減されたセットを利用することができ、除かれなかった符号化パラメータ候補のどれが統合のために使われることになるかを規定する。当然、ビットストリーム30へのシンタックス要素の導入は、各パーティションのための除かれなかった符号化パラメータ候補の数が単に1である場合には、完全に抑制されることができる。いずれにしても、統合により、すなわち、除かれなかった符号化パラメータ候補のうちの残りの1つ、又は選択された1つに依存して、各パーティションと関連した符号化パラメータを設定することにより、符号化器10は、ビットストリーム30への各分割のための符号化パラメータの完全に新たな挿入を抑制することが可能であり、これにより同様に補助情報を削減する。本願のいくつかの実施形態によれば、符号化器10は、各パーティションのための符号化パラメータ候補のうちの残りの1つ、又は選択された1つをリファインするためのリファインメント情報を、ビットストリーム30の中でシグナリングするように構成されうる。
【0020】
上述したように、
図1についての説明によれば、符号化器10は、パーティションの符号化パラメータとのそれらの符号化パラメータの比較によって除かれることになる統合候補を決定するように構成され、それによる統合は、別のサポートされた分割パターンを生ずる。例えば、左のパーティション50の符号化パラメータが右のパーティション60のための符号化パラメータ候補のセットの1つの要素を形成するとすれば、符号化パラメータ候補を処理するこの方法は、効率的に、
図1に示した場合の少なくとも1つの符号化パラメータ候補を除く。しかし、更なる符号化パラメータ候補は、それらが左のパーティション50の符号化パラメータに等しい場合にも、除かれうる。しかし、本願発明の他の実施形態によれば、符号化器10は、各パーティションに統合されるときに、結果としてサポートされた分割パターンのうちの1つとなるであろう候補ブロックのこのセットから、その又はそれらの候補ブロックを除去することによって、符号化順で2番目以降のパーティションごとに、候補ブロックのセットを決定するように構成されうる。ある意味では、これは以下のことを意味する。符号化器10は、候補セットの各要素が、その候補がその関連したパーティションの各符号化パラメータを採用するという点でそれと関連した、現在ブロック40または以前符号化されたブロック40のいずれかのちょうど1つのパーティションを有するように、パーティション50またはパーティション60(すなわち、符号化順で1番目のものとその次のもの)それぞれのために、統合候補を決定するように構成することができる。例えば、候補セットの各要素は、前に符号化されたパーティションのこの種の符号化パラメータのうちの1つに等しくありえる、すなわち、その中から採用されうる、または、少なくとも、追加的にスケーリングすること又は追加的に送信されたリファインメント情報を用いたリファインメントなどによって、ただ1つのこの種の前に符号化されたパーティションの符号化パラメータから得られうる。しかし、符号化器10はまた、この種の候補セットに、更なる要素または候補を加えるように、すなわち、1つ以上の前に符号化されたパーティションの符号化パラメータの組合せから得られた、または、修正によって、1つの動きパラメータリストの符号化パラメータだけをとることなどによって1つの前に符号化されたパーティションの符号化パラメータから得られた符号化パラメータ候補を加えるように構成されうる。「組合わされた(combined)」要素のために、各候補要素の符号化パラメータと各パーティションとの間の1:1の関連性は存在しない。
図1の説明の1番目の変形例によれば、符号化器10は、全部の候補セットから全部の候補を除くように構成することができ、その符号化パラメータは、パーティション50の符号化パラメータに等しい。
図1の説明の後者の変形例によれば、符号化器10は、パーティション50と関連している候補セットの要素だけを除くように構成することができる。両方の見解を一致させると、符号化器10は、結合によって得られる符号化パラメータを有する候補セットの残りの部分まで除去(及び等しい符号化パラメータを有する候補のサーチ)を拡げることなく、いくつかの(例えば隣接した)前に符号化されたパーティションとの1:1の関連を示している候補セットの部分から候補を除くように構成することができる。しかし、当然、1つの組合せが冗長表現にもつながる場合、これは、リストから冗長な符号化パラメータを除くことによって、または、組合わされた候補にも冗長チェックを実行することによって、解決することができる。
【0021】
本願発明の一実施形態による符号化器を説明した後に、
図2を参照して、一実施形態による復号化器80について説明する。
図2の復号化器80は、上記の通り、画像20の現在ブロック40のためのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム30を復号化するように構成される。復号化器80は、サポートされた分割パターンのシグナリングされたものが2つ以上のパーティション50およびパーティション60への現在ブロック40の細分化を規定する場合、符号化順70におけるパーティションのうちの1番目のパーティション50以外の全てのパーティションに関して、すなわち、
図1及び
図2に示された例におけるパーティション60に関して、各パーティションのいずれかと関連した符号化パラメータと同じである又は等しい符号化パラメータを有するそれぞれのパーティション符号化パラメータ候補を符号化パラメータ候補のセットから除くように構成されており、これは各パーティションと統合されるときに、サポートされた分割パターンのうちの1つ、すなわち、ビットストリーム30の中でシグナリングされていないが、それにもかかわらず、サポートされている分割パターンの1つになる。
【0022】
すなわち、復号化器機能は、
図1に関して説明された符号化器のそれと大部分一致する。例えば、復号化器80は、除かれなかった符号化パラメータ候補の数が0でない場合に、除かれなかったパラメータ候補のうちの1つに依存して、各パーティション60と関連した符号化パラメータをセットするように構成することができる。例えば、復号化器80は、付加的なリファインメントの有無にかかわらず、および/または、符号化パラメータがそれぞれ関連する時間的距離によるスケーリングの有無にかかわらず、除かれなかった符号化パラメータ候補のうちの1つに等しくなるように、それぞれ、パーティション60の符号化パラメータをセットする。例えば、除かれなかった候補のうち統合する符号化パラメータ候補は、パーティション60のためのビットストリーム30の中で明示的にシグナリングされた参照画像インデックスとは別のそれと関連した参照画像インデックスを有しうる。その場合、符号化パラメータ候補の符号化パラメータは、それぞれ参照画像インデックスと関連した動きベクトルを定めることができ、復号化器80は、両方の参照画像インデックス間の比率に従って、最後に選択された除かれなかった符号化パラメータ候補の動きベクトルをスケーリングするように構成することができる。このように、上述の変形例によれば、統合に従う符号化パラメータは、動きパラメータを含む一方で、参照画像インデックスは、それから分離される。しかし、上記のように、別の実施形態によれば、参照画像インデックスは、統合に従う符号化パラメータの一部でもありえる。
【0023】
統合挙動がインター予測されたブロック40に制限されうることは、
図1の符号化器および
図2の復号化器に等しくあてはまる。したがって、復号化器80および符号化器10は、現在ブロック40に関してイントラおよびインター予測モードをサポートして、現在ブロック40がインター予測モードで符号化されている場合にだけ候補の統合および除去を実行するように構成することができる。したがって、この種のインター予測された前に符号化されたパーティションの符号化/予測パラメータだけが、候補リストを決定/構築するために使用することができる。
【0024】
すでに上述したように、符号化パラメータは、予測パラメータでもよく、復号化器80は、各パーティションのための予測信号を得るために、パーティション50およびパーティション60の予測パラメータを使用するように構成することができる。当然、符号化器10も、同様に予測信号の抽出を実行する。しかし、符号化器10は、加えて、適切な最適化の意味において、いくつかの最適化を得るために、ビットストリーム30の中にすべての他のシンタックス要素とともに予測パラメータをセットする。
【0025】
更に、すでに上で説明されたように、符号化器は、各パーティションのための除かれなかった符号化パラメータ候補の数が1より大きいものである場合だけ、除かれなかった符号化パラメータ候補にインデックスを挿入するように構成することができる。したがって、復号化器80は、除かれなかった符号化パラメータ候補の数が1より大きいものである場合、例えばパーティション60のための除かれなかった符号化パラメータ候補の数に応じて、ビットストリーム30が、除かれなかった符号化パラメータ候補のうちのどれが統合のために使用されるかについて規定しているシンタックス要素を含むのを単に予想するように構成されうる。しかし、候補セットが総計で2より小さくなる場合は、上述の通り、組合わされた符号化パラメータ、すなわち、1つ以上又は2つ以上の前に符号化されたパーティションの符号化パラメータの組合せによって得られたパラメータを使用して候補のリスト/セットを拡張することによって、候補セットの削減の性能を、正確に1つの以前に符号化されたパーティションの符号化パラメータを採用すること、またはそこから導出されることによって得られた候補に制限することによって、一般的に発生しないようにすることができる。同様に逆のこと、すなわち、一般的に、通常、他のサポートされた分割パターンとなるパーティションのそれと同じ値を有する全ての符号化パラメータ候補を除くことも可能である。
【0026】
決定に関して、復号化器80は、符号化器10がするように動作する。すなわち、復号化器80は、前に復号化されたパーティションと関連した符号化パラメータに基づいて、符号化順70における1番目のパーティション50の後のパーティションのための符号化パラメータ候補のセットを決定するように構成することができる。すなわち、符号化順は、各ブロック40のパーティション50およびパーティション60の中でだけでなく、画像20自体のブロック40の中でも定められる。パーティション60の前に符号化されていたすべてのパーティションは、このように、
図2の場合のパーティション60などの、後に続くパーティションのいずれかのための符号化パラメータ候補のセットの決定のための基準として役立ち得る。上でも説明されているように、符号化器および復号化器は、符号化パラメータ候補のセットの決定を、特定の空間および/または時間的隣接にあるパーティションに制限することができる。例えば、復号化器80は、それぞれ1番目でないパーティションに隣接する前に復号化されたパーティションと関連した符号化パラメータに基づいて、1番目でないパーティション60のための符号化パラメータ候補のセットを決定するように構成されることができ、この種のパーティションは、現在ブロック40の外側および内側に位置してもよい。当然、統合候補の決定は、符号化順で1番目のパーティションのために実行されることもできる。除去だけは実行されない。
【0027】
図1の説明と一致して、復号化器80は、前に復号化されたパーティションの最初のセットから、各1番目でないパーティション60のための符号化パラメータ候補のセットを決定するように構成することができ、イントラ予測モードで符号化されているものを除外する。
【0028】
更に、符号化器が、ブロック40に画像20を細分化するために、細分化情報をビットストリームに導入している場合には、復号化器80は、ビットストリーム30の細分化情報に従って、この種の符号化ブロック40への画像20の細分化を元に戻すように構成することができる。
【0029】
図1および
図2に関して、現在ブロック40のための残差信号が、符号化パラメータに関してパーティションによって定められた粒度と異なりうる粒度でビットストリーム30を介して送信することができることに留意する必要がある。例えば、
図1の符号化器10は、パーティション50およびパーティション60への分割とは並列の又は独立した方法で、1つ又は複数の変換ブロックにブロック40を細分化するように構成することができる。符号化器は、更なる細分化情報によって、ブロック40のための各変換ブロック細分化をシグナリングすることができる。次に、復号化器80は、ビットストリームの更なる細分化情報によって、1つ又は複数の変換ブロックへのブロック40のこの更なる細分化を元に戻して、これらの変換ブロックの単位で、ビットストリームから現在ブロック40の残差信号を導出するように構成することができる。変換ブロック分割の意義は、符号化器におけるDCTなどの変換と復号化器におけるIDCTなどの対応する逆変換が、個々に、ブロック40の各変換ブロックの中で実行されることである。ブロック40として画像20を再構築するために、符号化器10は、各パーティション50およびパーティション60で符号化パラメータを適用することによって得られた予測信号と残差信号を、それぞれ、加算するなどして、結合する。しかし、残差符号化は、変換および逆変換をそれぞれ含まず、予測残差が例えば代わりに空間ドメインにおいて符号化されることに留意されたい。
【0030】
下記の更なる実施形態の更にあり得る詳細を説明する前に、
図1および
図2の符号化器および復号化器の可能性のある内部構造は、
図3および
図4に関して説明される。
図3は、例として、符号化器10がどのように内部的に構築されるかについて示す。
図3に示すように、符号化器10は、減算器108、変換器100、およびビットストリームジェネレータ102を含むことができ、それらは、
図3に示すように、エントロピー符号化を実行することができる。要素108、要素100および要素102は、画像20を受信する入力112と前述のビットストリーム30を出力している出力114との間で直列接続される。特に、減算器108は、入力112と接続されるその非反転入力を有し、変換器100は、減算器108の出力とビットストリームジェネレータ102の1番目の入力との間に接続され、次に、ビットストリームジェネレータ102は、出力114と接続される出力を有する。
図3の符号化器10は、さらに、逆変換器104と、加算器110とを含み、それらは、変換器100の出力に、記載された順に、直列接続される。符号化器10は、更に、加算器110の出力と加算器110の更なる入力と減算器108の反転入力との間に接続される予測器106とを含む。
【0031】
図3の要素は、以下の通りに相互に作用する。予測器106は、減算器108の反転入力に印加されて、予測の結果、すなわち予測信号を用いて、画像20の部分を予測する。減算器108の出力は、次に、予測信号と画像20の各部との間の差分、すなわち残差信号を示す。残差信号は、変換器100の変換符号化に従う。すなわち、変換器100は、変換係数レベルを得るために、DCTなどの変換、および変換された残差信号、すなわち、変換係数に関する後続の量子化を実行しうる。逆変換器104は、変換器100の量子化のため情報損失を除いて変換器100への残差信号入力に対応する、再構築された残差信号を得るために、変換器100によって出力された最終的な残差信号を再構築する。再構築された残差信号と予測器106による出力としての予測信号の足合わせは、結果として画像20の各部分の再構築となり、加算器110の出力から予測器106の入力へと送られる。予測器106は、イントラ予測モード、インター予測モードなどのような上述のような種々のモードで作動する。予測信号を得るために予測器106によって適用された予測モードおよび対応する符号化または予測パラメータは、ビットストリームへの挿入のためのエントロピー符号化器102に、予測器106によって送られる。
【0032】
符号化器に関して
図3に示された可能性に対応する
図2の復号化器80の内部構造の考えられる実施態様が、
図4に示される。図に示すように、復号化器80は、
図4に示すようにエントロピー復号化器として実装されるビットストリーム抽出器150、逆変換器152、および加算器154とを含むことができ、それらは、記載の順に、復号化器の入力158および出力160の間に接続される。更に、
図4の復号化器は、加算器154の出力とその更なる入力との間に接続される予測器156を含む。エントロピー復号化器150は、予測器156のパラメータ入力と接続される。
【0033】
図4の復号化器の機能を簡単に説明すると、エントロピー復号化器150は、ビットストリーム30に含まれるすべての情報を抽出するためにある。使用されたエントロピー符号化スキームは、可変長符号化または算術符号化でもよい。これによって、エントロピー復号化器150は、残差信号を示しているビットストリーム変換係数レベルから元に戻し、逆変換器152にそれを送る。更に、エントロピー復号化器150は、ビットストリームからすべての符号化モードおよび関連した符号化パラメータを元に戻して、予測器156にそれを送る。加えて、分割情報および統合情報は、抽出器150によってビットストリームから抽出される。逆変換された、すなわち再構築された残差信号および予測器156から得られるような予測信号は、加算器154によって加算されるなどして、結合され、次に、こうして元に戻された再構築された信号を出力160で出力し、それを予測器156に送る。
【0034】
図3および
図4を比較することから明白になるように、要素152、要素154および要素156は、機能的に、
図3の要素104、要素110および要素106に対応する。
【0035】
図1~
図4についての上記説明において、いくつかの異なる可能性は、画像20の可能な細分化および符号化画像20に関係するパラメータのいくつかを変化させる際の対応する粒度に関して提示された。この種の可能性は、
図5aおよび
図5bに関しても説明される。
図5aは、画像20のうちの一部を示す。
図5aの実施形態によれば、符号化器および復号化器は、最初に、ツリールートブロック200に画像20を細分化するように構成される。そのようなツリールートブロックの1つは、
図5aに示される。ツリールートブロックへの画像20の細分化は、点線で示すように行および列で規則的になされる。ツリールートブロック200のサイズは、符号化器によって選択されることができて、ビットストリーム30によって復号化器にシグナリングされた。代わりに、これらのツリールートブロック200のサイズは、デフォルトで固定することができる。ツリールートブロック200は、符号化ブロックまたは符号化単位と呼ぶことがある上述の区別されたブロック40を生じさせるために、クワッドツリー分割を用いて細分化される。これらの符号化ブロックまたは符号化単位は、
図5aの細い実線によって描画される。これによって、符号化器は、各ツリールートブロック200に細分化情報を加えて、その細分化情報をビットストリームに挿入する。この細分化情報は、ツリールートブロック200がブロック40に細分化されることになる方法について示す。これらのブロック40の粒度で、およびその単位で、予測モードが、画像20の中で変化する。上記のように、各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、どのサポートされた分割パターンが各ブロック40のために使用されるかについての分割情報を伴う。
図5aについて示した場合において、多くの符号化ブロック40に関しては、符号化ブロック40が空間的に対応するパーティションと一致するように、非分割モードが選択されている。換言すれば、符号化ブロック40は、同時に、それと関連した予測パラメータの各セットを有するパーティションである。予測パラメータの種類は、次に、各符号化ブロック40と関連したモードに依存する。しかし、他の符号化ブロックは、例として、更に分割されるように示される。ツリールートブロック200の一番右上の角の符号化ブロック40は、例えば、4つのパーティションに分割されることが示されるが、ツリールートブロック200の一番右下の角の符号化ブロックは2つのパーティションに縦に細分化されることが例示的に示される。パーティションへの分割のための細分化は、点線によって示される。
図5aはまた、このように定められたパーティションの中の符号化順を示す。図に示すように、深さ優先走査順が使用される。ツリールートブロック境界を横切って、符号化順は、ツリールートブロック200の行が画像20の上から下への行ごとに走査される走査順で続けられうる。この方法によって、特定のパーティションがその上側の境界と左側の境界に隣接する前に符号化されたパーティションを有する可能性を最大にする機会を持つことが可能である。各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、統合がその中の対応するパーティションのために作動するかどうかについて示しているビットストリーム内の統合スイッチインジケータを有することができる。単にこのルールがブロック40の最も小さい可能なブロックサイズに関してなされるだけであるという例外によって、パーティション/予測単位へのブロックの分割が、最大で2つのパーティションの分割に制限されることができる点に留意する必要がある。これは、ブロック40を得るために四分木細分化を使用する場合、ブロック40に画像20を細分化するための細分化情報と、パーティションにブロック40を細分化するための分割情報との間の冗長を回避することができる。あるいは、非対称のものを含む又は含まない、単に1つ又は2つのパーティションへの分割だけが許容されることができる。
【0036】
図5bは、細分化ツリーを示す。実線については、ツリールートブロック200の細分化が示され、一方、点線は、符号化ブロック40である四分木細分化のリーフブロックの分割を表す。すなわち、符号化ブロックの分割は、クワッド細分化の一種の拡張を示す。
【0037】
すでに上で述べたように、各符号化ブロック40は、変換ブロックが各符号化ブロック40の異なる細分化を示しうるように、変換ブロックに並列して細分化されうる。
図5aおよび
図5bに示されないこれらの変換ブロックの各々に、符号化ブロックの残差信号を変換するための変換は、別々に実行されうる。
【0038】
以下に、本願発明の更なる実施形態について説明する。前記実施形態が、ブロック統合とブロック分割との間の関連に集中した一方で、以下の記載はまた、SKIP/DIRECTモードなどの現在のコーデックにおいて知られた他の符号化原理に関する本願の態様を含む。にもかかわらず、以下の記載は、別の実施形態、すなわち上記のものから分離された実施形態を単に説明するだけであるとみなされるということではない。むしろ、下記の説明も、上記実施形態に関する考えられる実施態様の詳細を明らかにする。したがって、下記の説明は、すでに上で示された図の引用符号化を使用し、その結果、後述する各考えられる実施態様はまた、上記実施形態の考えられるバリエーションを定める。これらのバリエーションの大部分は、個々に前記実施形態に移されうる。
【0039】
換言すれば、本願の実施形態は、関連した符号化パラメータを送信するために、サンプル、すなわちブロックの特定のセットと関連したシンタックス要素を統合することによって、画像およびビデオ符号化アプリケーションにおいて補助情報のレートを削減するための方法を説明する。本願の実施形態は、特に、さまざまな分割パターンへの画像の部分の分割との統合シンタックス要素の結合、および符号化パラメータが現在ブロックの空間的および/または時間的隣接から割り出される、SKIP/DIRECTモードとの結合を考慮することができる。その範囲において、上記実施形態は、種々の分割パターンおよびSKIP/DIRECTモードと組合わせて、サンプル、すなわちブロックのセットのための統合を実行するために変更されることができる。
【0040】
更に、これらのバリエーションおよび詳細を説明する前に、画像およびビデオコーデックに関する概要が示される。
【0041】
画像およびビデオ符号化アプリケーションにおいて、画像と関連したサンプル配列は、任意に形作られた領域、三角形、または他の形状を含む長方形又は四角ブロックまたはサンプルの他の集合を示しうる、サンプルの特定のセット(またはサンプルセット)に通常分割される。サンプル配列の細分化は、シンタックスによって固定されうる、あるいは、細分化は、ビットストリームの中で(少なくとも部分的に)シグナリングされる。細分化情報をシグナリングするための補助情報レートを小さく保つために、シンタックスは、通常、より小さいブロックへのブロックの細分化などの単純な分割となる限られた数の選択のみを許容する。よく使用される分割スキームは、4つのより小さい正方形ブロックへの、または、同一サイズの2つの長方形ブロックへの、または、異なるサイズの2つの長方形ブロックへの正方形ブロックの分割である。ここで、実際に使用される分割は、ビットストリームの中でシグナリングされる。サンプルセットは、予測情報または残差符号化モードなどを規定できる特定の符号化パラメータと関係する。ビデオ符号化アプリケーションにおいて、分割は、しばしば、動き表現のためになされる。(分割パターン内の)ブロックのすべてのサンプルは、動きパラメータの同じセットと関係し、それは、予測の種類(例えば、リスト0、リスト1、または双予測;および/または平行移動またはアフィン予測または異なる動きモデルを用いた予測)を規定するパラメータ、使用される参照画像を規定するパラメータ、通常、予測器に差として送信される参照画像に対する動きを規定するパラメータ(例えば、変位ベクトル、アフィン動きパラメータベクトル、他の動きモデルのための動きパラメータベクトル)、動きパラメータの精度(例えば2分の1サンプルまたは4分の1サンプルの精度)、(例えば照度補償のための)参照サンプル信号の重み付けを規定するパラメータ、または、現在ブロックの動き補償された予測信号を得るために使用される補間フィルタを規定するパラメータを含みうる。サンプルセットごとに、(例えば、予測および/または残差符号化を規定するために)個々の符号化パラメータが送信されると仮定する。改善された符号化効率を得るために、本願発明は、2つ以上のサンプルセットをいわゆるサンプルセットのグループに統合する方法および特定の実施形態を示す。この種のグループの全てのサンプルセットは、同じ符号化パラメータを共有する。そして、それは、そのグループにおけるサンプルセットのうちの1つと共に送信されることができる。こうすることによって、符号化パラメータは、個々にサンプルセットのグループのサンプルセットごとに送信される必要はなく、その代わりに、符号化パラメータは、サンプルセットの全グループのために一度だけ送信される。その結果、符号化パラメータを送信するための補助情報レートは削減され、全体の符号化効率は、改善される。代わりのアプローチとして、符号化パラメータのうちの1つ又は複数のための付加的なリファインメントは、サンプルセットのグループのサンプルセットの1つ又は複数のために送信することができる。そのリファインメントは、グループのすべてのサンプルセットに、または、それが送信されるサンプルセットだけに、適用されうる。
【0042】
本願発明の実施形態は、特に、(上述のように)さまざまなサブブロック50、60に、ブロックの分割との統合処理の組合せに関する。通常、画像またはビデオ符号化システムは、ブロック40のためのさまざまな分割パターンをサポートする。一例として、正方形ブロックは、分割されないか、または、同じサイズの4つの正方形ブロックに、(正方形ブロックが縦又は横に分割される)同じサイズの2つの長方形ブロックに、若しくは、(縦又は横に)異なるサイズの長方形ブロックに分割されうる。説明された典型的なパーティションパターンは、
図6に示される。上記説明に加えて、分割は、1以上のレベルの分割さえも関係しうる。例えば、正方形のサブブロックはまた、任意選択で、同じ分割パターンを使用して更に分割されうる。この種の分割処理が、(正方形又は長方形)ブロックを例えばその隣接ブロックのうちの1つと統合することを可能にする統合処理と組合わされるときに生じる問題は、それが生じる分割が、分割パターンと統合信号の異なる組合せによって得ることができるということである。それ故、同じ情報は、異なる符号化語を使用してビットストリームにおいて送信されることができ、それは、符号化効率に関して明らかに最適状態に及ばない。単純な例として、(
図6の左上隅にて示したように、)更に分割されない正方形ブロックを考慮する。この分割は、このブロック40が細分化されないというシンタックス要素を送ることによって、直接、シグナリングされることができる。しかし、同じパターンは、このブロックが、例えば、2つの縦に(または横に)配置された長方形ブロック50、60に細分化されることを規定するシンタックス要素を送ることによってシグナリングされることもできる。それから、これらの長方形ブロックのうちの2番目が1番目の長方形ブロックと統合されることを規定する統合情報を送ることができ、結果として、そのブロックが更に分割されないという信号を送るときとちょうど同じ分割となる。同じことは、最初にブロックが4つの正方形のサブブロックに細分化されることを規定して、それから、全てのこれらの4つのブロックを効率的に統合する統合情報を送ることによって得られる。この構想は、明らかに最適状態に及ばない(我々が同じものをシグナリングするために異なる符号化語を有するからである)。
【0043】
本願発明の実施形態は、補助情報レートを削減して、したがってブロックのための異なる分割パターンを提供するという構想を用いた統合についての構想との組合せのために符号化効率を増加させることに関する構想および可能性を説明する。
図6の分割パターン例を見れば、2つ長方形ブロックを用いた分割パターンのいずれかによって更に分割されなかったブロックの「シミュレーション」は、長方形ブロックが1番目の長方形ブロックと統合される場合を禁ずる(すなわち、ビットストリームシンタックス仕様から除外する)ときに回避されうる。より深く問題を見るとき、1番目の長方形ブロックとして同じパラメータ(例えば、予測を規定するための情報)と関係するその他の隣接(すなわち、1番目でない長方形ブロック)と2番目の長方形を統合することによって細分化されなかったパターンを「シミュレートする」こともまた可能である。本願発明の実施形態は、これらの統合パラメータが、結果としてサポートされた分割パターンのうちの1つをシグナリングすることによって得ることもできるパターンになるとき、特定の統合パラメータの送信が、ビットストリームシンタックスから除外される方法で、統合情報の送信を条件づける。例として、現在の分割パターンが、例えば、2番目のブロック、すなわち
図1及び
図2の場合のブロック60のための統合情報を送る前に、
図1及び
図2に示すように、2つの長方形ブロックへの細分化を規定する場合、考えられる統合候補のうちのどれが、1番目の長方形ブロック、すなわち
図1及び
図2の場合のブロック50と同じパラメータ(例えば、予測信号を規定するためのパラメータ)を有するかをチェックされることができる。そして、(1番目の長方形ブロック自体を含む)同じ動きパラメータを有する全ての候補は、統合候補のセットから除かれる。統合情報をシグナリングするために送られる符号化語またはフラグは、結果として生じる候補セットに適合される。候補セットがパラメータチェックによって空になる場合、統合情報は送信されない。候補セットがちょうど1つのエントリからなる場合、そのブロックが統合されるかどうかについてシグナリングされるだけであり、その候補は、復号化器側等で得られるので、シグナリングされる必要がない。上記例に関して、同じ構想はまた、4つのより小さい正方形ブロックに正方形ブロックを分割する分割パターンにも使用される。ここで、統合フラグの送信は、細分化を規定しない分割パターンも、同じサイズの2つの長方形ブロックへの細分化を規定する2つの分割パターンのいずれもが統合フラグの組合せによって達成できない方法で適応される。特定の分割パターンを用いた上記例に最も多い構想を説明したが、(他の分割パターンと対応する統合情報との組合せによって特定の分割パターンの仕様を回避する)同じ構想が分割パターンの他のセットのために使用されることができることは明らかである。
【0044】
分割だけが許容される構想に対して、説明された本願発明の利点は、(例えば、予測信号を規定するための)同じパラメータと関係している部分への画像の分割をシグナリングすることに関して、はるかに大きな自由度が提供されることである。一例として、細分化されたより大きいブロックの正方形ブロックの統合の結果として生じる付加的な分割パターンは、
図7に表される。しかし、非常に多く結果として生じるパターンが、(前に細分化されたブロックの外に)更に隣接したブロックとの統合によって達成されることができる点に留意すべきである。分割及び統合情報をシグナリングするためのごくわずかな符号化語のみを用いて、様々な分割可能性が提供され、符号化器は、レート歪みの点において(例えば、特定のレート歪み測度を最小にすることによって、)(一定の符号化器煩雑性のために)最も良い選択肢を選択することができる。ただ1つの分割パターン(例えば同じサイズの4つのブロックへの細分化)が統合アプローチと組合わせて提供されるアプローチと比較した利点は、(例えば異なるサイズの長方形のような)よく用いられるパターンがいくつかの細分化および統合フラグの代わりに短い符号化語によってシグナリングすることができることである。
【0045】
考慮される必要がある他の態様は、統合構想がビデオ符号化設計で見つけられるSKIPまたはDIRECTモードにある意味で類似しているということである。SKIP/DIRECTモードにおいて、基本的に、動きパラメータは、現在ブロックのために送信されないが、空間的および/または時間的隣接から割出される。SKIP/DIRECTモードの特定の効率的な構想において、動きパラメータ候補(参照フレームインデックス、変位ベクトル、その他)のリストは、空間および/または時間的隣接から生成され、候補パラメータのうちのどれが選択されるかについて規定するこのリストへのインデックスが送信される。双予測されたブロック(または多重仮説フレーム)のために、別の候補が参照リストごとにシグナリングされることができる。考えられる候補は、現在ブロックの上部のブロック、現在ブロックの左のブロック、現在ブロックの左上のブロック、現在ブロックの右上のブロック、これらの候補でさまざまなものの中央値予測器、1つ又は複数の前の参照フレームにおける同じ位置に配置されたブロック(または、他のすでに符号化されたブロック、または、すでに符号化されたブロックから得られる組合せ)を含むことができる。統合構想をSKIP/DIRECTモードと組合わせるときに、SKIP/DIRECTモードおよび統合モードの両方が同じ候補を含むべきでないことが確実にされなければならない。これは、異なる構成によって達成されることができる。特定のブロックに関してだけ(例えば規定されたサイズより大きいサイズを用いて、または、正方形ブロックに関してだけ、など)(例えば、統合モードより多くの候補を用いて)SKIP/DIRECTモードを可能にし、これらのブロックのための統合モードをサポートしないことがありえる。または、SKIP/DIRECTモードは、削除されることができ、(空間的/時間的に隣接したブロックのためのパラメータの組合わせを示すパラメータを含む)全ての候補は、候補として統合モードに付加される。この選択肢は、
図1~
図5に関しては、すでに上で述べた。増加された候補セットは、(所定の最小サイズより大きいサイズのもの、または正方形のブロックなど)特定のブロックのために使用されるだけでありえる。ここで、他のブロックのために、削減された候補セットが使用される。または、更なる変形として、統合モードは、削減された候補セット(例えば上と左の隣だけ)に関して使用され、そして、更なる候補(例えば左上のモード、同じ位置に配置されたブロック、その他)は、SKIP/DIRECTモードのために使用される。また、この種の構成において、SKIP/DIRECTモードは、特定のブロック(所定の最小サイズより大きいサイズのもの、または、正方形のブロックなど)のために可能とされうるだけであるが、統合モードは、ブロックのより大きいセットのために可能とされる。この種の組合せの利点は、(例えば予測を規定するために)すでに送信されたパラメータの再使用をシグナリングするための複数のオプションが異なるブロックサイズのために提供されることである。例として、より大きい正方形のブロックに関して、より多くのオプションが提供される。というのも、ここで、追加的に費やされるビットレートがレート歪み効率の増加を供給するからである。より小さいブロックについては、オプションのより小さいセットが与えられる。候補セットの増加は、ここで、選択された候補をシグナリングするために必要とされるビットごとに、サンプルの小さい比率のため、レート歪み効率における利得をもたらさないであろう。
【0046】
上述したように、本願発明の実施形態はまた、統合アプローチが、画像のサンプル配列のための分割を選択するための可能性の数を著しく増加させるので、ビットストリームを生み出すためにより大きな自由度を符号化器に供給する。符号化器が、例えば、特定のレート歪み測度を最小化するために、より多くの選択肢の中から選ぶことができるので、符号化効率は、改善されうる。例として、細分化と統合との組合せによって示されうる追加のパターンのいくつか(例えば
図7のパターン)は、(動き推定およびモード決定のための対応するブロックサイズを使用して)追加的にテストすることができ、純粋に分割することによって(
図6)、そして、分割および統合によって(
図7)提供された最も良いパターンが、特定のレート歪み測度に基づいて選択することができる。加えて、各ブロックごとに、すでに符号化された候補セットのいずれかを用いた統合が、特定のレート歪み測度の減少において生ずるかどうかについてテストすることができ、対応する統合フラグは、符号化処理の間、セットされる。要約すると、符号化器を作動させるいくつかの可能性が存在する。単純なアプローチにおいて、符号化器は、(最高水準の符号化スキームとして)サンプル配列の最大の細分化を最初に決定することができる。そうすると、それは、サンプルセットごとに、他のサンプルセットまたはサンプルセットの他のグループを用いた統合が特定のレート歪みコスト測度を削減するかどうかをチェックすることができる。ここで、サンプルセットの統合されたグループと関連した予測パラメータは、(例えば新たな動きサーチを実行することによって、)再推定されることができる。または、現在サンプルセットのためにすでに決定された予測パラメータおよび統合のための候補サンプルセット(またはサンプルセットのグループ)は、サンプルセットの考慮されたグループのために評価されることができる。より広範囲なアプローチにおいて、特定のレート歪みコスト測度は、サンプルセットの付加的な候補グループのために評価することができる。特例として、さまざまな可能な分割パターン(例えば
図6参照)をテストするときに、分割および統合の組合せによって示されることができるパターンの一部又は全部(例えば
図7参照)は、加えて、テストされることができる。すなわち、パターンの全てに関して、特定の動き推定およびモード決定処理が実行され、最も小さいレート歪み測度を得るパターンが選択される。この処理は、上記の低煩雑性処理と組合わされることもできる。その結果、結果として生じるブロックのために、(例えば
図6および
図7のパターンの外で)すでに符号化されたブロックに関する統合がレート歪み測度の減少を生じさせるかどうかが追加的にテストされる。
【0047】
以下において、例えば
図1および
図3の符号化器と
図2および
図4の復号化器などに関して、上で概説された実施形態のためのいくつかの考えられる詳細な実施態様について説明される。すでに上で述べたように、それは画像およびビデオ符号化において使用可能である。上述の通り、画像または画像のためのサンプル配列の特定のセットは、ブロックに分解されることができ、それは、特定の符号化パラメータと関連している。画像は、通常、複数のサンプル配列からなる。加えて、画像は、付加的な補助のサンプル配列と関連しうる。そして、それは、例えば、透明性情報または距離画像(depth map)を規定することができる。(補助のサンプル配列を含む)画像のサンプル配列は、1つ又は複数のいわゆる平面群に分類することができる。ここで、各平面群は、1つ又は複数のサンプル配列からなる。画像の平面群は、独立に、または、画像が複数の平面群と関連している場合には、同じ画像の他の平面群からの予測によって、符号化されうる。各平面群は、通常、ブロックに分解される。ブロック(またはサンプル配列の対応するブロック)は、インター画像予測またはイントラ画像予測によって予測される。ブロックは、異なるサイズを有することができて、正方形または長方形でありえる。ブロックへの画像の分割は、シンタックスによって固定することもでき、または、それは、(少なくとも部分的に)ビットストリームの中でシグナリングすることもできる。しばしば定められたサイズのブロックに関する細分化の信号を送るシンタックス要素が送信される。この種のシンタックス要素はブロックが、小さいブロックに細分化されるかや、どのように分割されるかを規定することができ、そして、例えば予測の目的で、符号化パラメータと関連している。考えられる分割パターンの例が
図6に示される。ブロック(またはサンプル配列の対応するブロック)のすべてのサンプルに関して、関連した符号化パラメータの復号化は、特定の方法で規定される。例において、ブロックの全てのサンプルが、(すでに符号化された画像のセットにおいて参照画像を識別する)参照インデックス、(参照画像と現在の画像との間のブロックの動きについての測度を規定する)動きパラメータ、補間フィルタを規定するためのパラメータ、イントラ予測モードなどの予測パラメータの同じセットを使用して、予測される。動きパラメータは、横成分および縦成分を有する変位ベクトルによって、または、6つの成分からなるアフィン動きパラメータなどの高次動きパラメータによって、示すことができる。特定の予測パラメータ(例えば参照インデックスおよび動きパラメータ)の複数のセットが1つのブロックと関連することも可能である。その場合、これらの特定の予測パラメータのセットごとに、ブロック(またはサンプル配列の対応するブロック)のための1つの中間の予測信号が生成され、そして、最終的な予測信号は、中間の予測信号を重畳することを含む結合によって構築される。対応する重み付けパラメータおよび場合によっては(重み付けされた和に加算される)一定のオフセットは、画像に関して、若しくは参照画像、若しくは参照画像セットに関して固定されうる、または、それらは、対応するブロックのための予測パラメータのセットに含まれうる。元のブロック(またはサンプル配列の対応するブロック)とそれらの予測信号との差(残差信号とも呼ばれる)は、通常、変換され、量子化される。しばしば、二次元変換が、残差信号(または残差ブロックのための対応するサンプル配列)に適用される。変換符号化のために、予測パラメータの特定のセットが使用されたブロック(またはサンプル配列の対応するブロック)は、変換を適用する前に、更に分割することができる。変換ブロックは、予測のために使用されるブロックと等しくする、またはそれより小さくすることができる。変換ブロックが、予測のために使用されるブロックの2つ以上を含むことも可能である。異なる変換ブロックは、異なるサイズを有することができ、そして、変換ブロックは正方形または長方形のブロックを表すことができる。
図1~
図5に関する上記例では、1番目の細分化のリーフノード、すなわち符号化ブロック40が、一方では、符号化パラメータの粒度を定めているパーティションに、他方では、二次元変換が個々に適用される変換ブロックに更に並列に分割されうる点が留意される。変換後、結果として生じる変換係数は、量子化され、そして、いわゆる変換係数レベルが得られる。変換係数レベル並びに予測パラメータ、そして、もしあれば、細分化情報は、エントロピー符号化される。
【0048】
最新技術の画像およびビデオ符号化標準において、シンタックスによって供給されるブロックに画像(または平面群)を細分化することの可能性は、非常に制限される。通常、事前に定められたサイズのブロックがより小さいブロックに細分化されうるかどうか(場合によってはその方法)が規定されるだけでありえる。例えば、H.264における最大のブロックサイズは、16x16である。16x16ブロックは、マクロブロックとも呼ばれ、各画像は、1番目のステップにおいて、マクロブロックに分割される。16x16マクロブロックごとに、それが16x16ブロックとして、または、2つの16x8ブロックとして、または、2つの8x16ブロックとして、または、4つの8x8ブロックとして、符号化されるかどうかがシグナリングされうる。16x16ブロックが4つの8x8ブロックに細分化される場合、これらの8x8ブロックの各々は、1つの8x8ブロックとして、または、2つの8x4ブロックとして、または、2つの4x8ブロックとして、または、4つの4x4ブロックとして、符号化されうる。最新技術の画像およびビデオ符号化標準のブロックに分割を規定するための可能性の小さいセットは、細分化情報をシグナリングするための補助情報レートが小さく保たれることができる利点があるが、ブロックのための予測パラメータを送信するのに必要なビットレートが、以下に説明されるように有意になりうるという不利な点がある。予測情報の信号を送るための補助情報レートは、通常、ブロックのための全体のビットレートの有意な量を示す。そして、この補助情報が削減されるときに、符号化効率は、増加することができる。そして、それは、例えば、より大きいブロックサイズを使用することにより達成することができる。H.264と比較してサポートされた分割パターンのセットを増加させることも可能である。例えば、
図6に示された分割パターンは、すべてのサイズ(または選択されたサイズ)の正方形のブロックのために供給されることができる。ビデオシーケンスの実像または画像は、特定の性質を有する任意で形づくられたオブジェクトからなる。例えば、この種のオブジェクトまたはオブジェクトの部分は、一意なテクスチャまたは一意な動きによって特徴づけられる。そして、通常、予測パラメータの同一のセットは、この種のオブジェクトまたはオブジェクトの一部のために使用されることができる。しかし、オブジェクト境界は、通常、大きな予測ブロック(例えばH.264の16x16マクロブロック)のための考えられるブロック境界と一致しない。符号化器は、通常、結果として特定のレート歪みコスト測度の最小限になる(可能性の限られたセットの中の)細分化を決定する。任意で形作られたオブジェクトのために、これは、結果として多数の小ブロックになる。この記述は、上記(述べたような)多くの分割パターンが供給されるときにも成立する。分割パターンの量があまりにも大きくなってはならない点に留意する必要がある。というのも、多くの補助情報および/または符号化器/復号化器の計算量が、これらのパターンをシグナリングし、処理するのに必要となるからである。そこで、任意で形作られたオブジェクトは、分割のため、しばしば結果として多数の小ブロックになる。そして、これらの小ブロックの各々が、送信される必要がある予測パラメータのセットと関連するので、補助情報レートは、全体のビットレートの有意な部分になりうる。しかし、小ブロックのいくつかが、まだ同じオブジェクトの領域またはオブジェクトの一部を示すので、多数の得られたブロックのための予測パラメータは、同じである又は非常に類似している。直観的に、ブロックを細分化することを可能にするだけなく、細分化の後に得られる2つ以上のブロックを統合することを可能にする方法でシンタックスが拡張されるとき、符号化効率は増加されうる。結果として、同じ予測パラメータによって符号化される一群のブロックを得る。この種の一群のブロックのための予測パラメータは、一回のみ符号化されることを必要とする。
図1~
図5の上記例において、例えば、統合が起こる、すなわち、候補の削減されたセットが0にならない場合、現在のブロック40のための符号化パラメータは送信されない。すなわち、符号化器は、現在ブロックと関連した符号化パラメータを送信せず、そして、復号化器は、ビットストリーム30が現在ブロック40のための符号化パラメータを含むことを予想しない。むしろ、その特定の実施形態によれば、単にリファインメント情報だけが、統合された現在ブロック40のために伝達されうる。候補セットの決定およびその削減並びに統合などが、画像20のうちの他の符号化ブロック40のために実行される。符号化ブロックは、何とか符号化チェーンに沿って符号化ブロックのグループを形成する。そこにおいて、これらのグループのための符号化パラメータは、全体で一回だけビットストリームの中で送信される。
【0049】
符号化予測パラメータの数を減らすことによってセーブされるビットレートが統合情報を符号化するために追加的に費やされるビットレートより大きい場合、説明された統合は、結果として増加した符号化効率になる。(統合のための)説明されたシンタックス拡張が、ブロックへの画像または平面群の分割を選択する際の付加的な自由度を符号化器に供給することが、更に述べられなければならない。符号化器は、まず細分化をして、それから結果として生じるブロックのいくつかが予測パラメータの同一のセットを有するかどうかをチェックするようには制限されない。1つの単純な変形例として、符号化器は、最新技術の符号化技術として細分化を最初に決定することができる。次に、その隣接ブロック(またはブロックの関連したすでに決定されたグループ)のうちの1つとの統合が、レート歪みコスト測度を削減するかどうかをブロックごとにチェックすることができる。これにおいて、ブロックの新しいグループと関連した予測パラメータが、(例えば新たな動きサーチを実行することによって、)再度推定されることができる、または、現在ブロックおよび隣接のブロック若しくはブロックのグループのためにすでに決定された予測パラメータが、ブロックの新たなグループのために評価されることができる。符号化器は、分割および統合の組合せによって供給されるパターン(のサブセット)を直接チェックすることもできる。すなわち、動き推定およびモード決定は、すでに上で述べたように結果として生じる形状でなされることができる。統合情報は、ブロックベースでシグナリングされうる。実際上、その統合はまた、現在ブロックのための予測パラメータの推定で得た結果と解釈されることもできる。ここで、推定された予測パラメータは、隣接したブロックのうちの1つの予測パラメータに等しく設定される。
【0050】
これにおいて、異なる分割パターンと統合情報との組合せが、結果として(同じパラメータと関連している)同じ形状になりうる点に留意する必要がある。これは、同じメッセージが符号化語の異なる組合せによって送信されることができるので、明らかに最適状態には及ばない。この欠点を回避する(または減少される)ために、本願発明の実施形態は、(パラメータの特定のセットと関連している)同じ形状が異なる分割および統合シンタックス要素によってシグナリングされうることを禁止する構想を示す。従って、符号化順で1番目のもの以外の、前に細分化されたブロックの全てのブロックに関して、10や50などの符号化器および復号化器において、統合候補全てに関して、統合が統合情報なしでの分割によってシグナリングされうるパターンの結果となるかどうかがチェックされる。これが真である全ての候補ブロックは、統合候補のセットから除かれ、送信された統合情報は、結果として生じる候補セットに適用される。候補が残らない場合、統合情報は送信されない。1つの候補のみが残る場合、そのブロックが統合されるか否かを規定するフラグが送信されるなどする。この構想の更なる例として、好ましい実施形態が後述される。分割だけが許容される構想に関する説明された実施形態の利点は、はるかに大きな自由度が、(例えば、予測信号を規定するために)同じパラメータと関連している部分への画像の分割をシグナリングするために与えられることである。1つの分割パターン(例えば同じサイズの4つのブロックへの細分化)だけが統合アプローチと組合わされて供給されるアプローチと比較した利点は、(例えば異なるサイズの長方形のような)よく使用されるパターンが、いくつかの細分化および統合フラグの代わりに、短い符号化語によってシグナリングされることができることである。
【0051】
H.264のような最新の技術のビデオ符号化標準はまた、SKIPおよびDIRECTモードと呼ばれている特定のインターコードモードを含む。そこにおいて、予測を規定しているパラメータは、空間的および/または時間的に隣接したブロックから完全に割り出される。SKIPとDIRECTとの差は、SKIPモードが、残差信号が送信されないことを更にシグナリングすることである。SKIP/DIRECTモードのさまざまな提案された改善において、(H.264のような)1つの候補の代わりに、考えられる候補のリストが、現在ブロックの空間および/または時間的隣接から割出される。考えられる候補は、現在ブロックの上部に対するブロック、現在ブロックの左に対するブロック、現在ブロックの左上に対するブロック、現在ブロックの右上に対するブロック、これらの候補でさまざまなものの中央値予測器、1つ又は複数の前の参照フレームの同じ位置に配置されたブロック(または他のすでに符号化されたブロック、またはすでに符号化されたブロックから得られる組合せ)を含むことができる。統合モードとの組合せに関して、SKIP/DIRECTモードと統合モードの両方が同じ候補を含んではならないことが確実にされなければならない。これは、上述のように、種々の構成によって達成することができる。説明された組合せの利点は、(例えば、予測を規定するために)すでに送信されたパラメータの再使用をシグナリングするための複数のオプションが異なるブロックサイズのために供給されることである。
【0052】
本願発明の実施形態の1つの利点は、隣接したブロックをブロックのグループに統合することによって、予測パラメータを送信するために必要とされるビットレートを削減することである。ここで、ブロックの各グループは、符号化パラメータ、例えば予測パラメータや残差符号化パラメータの一意のセットと関連する。統合情報は、ビットストリームの中で、(あれば、細分化情報に加えて、)シグナリングされる。種々の分割パターンとSKIP/DIRECTモードとを組合わせて、対応する統合情報を送ることによって、SKIP/DIRECTモードが「シミュレートされ」、供給されたパターンのいずれも「シミュレートされない」ことが確実にされうる。本願発明の実施形態の利点は、符号化パラメータのための減少された補助情報レートから生じる増加した符号化効率である。本願発明の実施形態は、画像およびビデオ符号化アプリケーションで適用できる。そこにおいて、サンプルのセットは、特定の符号化または予測パラメータと関連する。ここで説明された統合処理はまた、3次元またはより高次元まで拡張する。例えば、いくつかのビデオ画像のグループのブロックは、ブロックの1つのグループに統合することができる。それは、ライトフィールド符号化の4D圧縮に適用されることもできる。一方では、それは、1D信号の圧縮のために使用されることもできる。ここで、1D信号は分割され、所定の分割が統合される。
【0053】
本願発明の実施形態はまた、画像およびビデオ符号化アプリケーションの補助情報レートを削減するための方法に関する。画像およびビデオ符号化アプリケーションにおいて、(長方形若しくは正方形のブロックまたは任意で形作られた領域またはサンプルの他のいかなる集まりを示しうる)サンプルの特定のセットは、通常、符号化パラメータの特定のセットと関連する。これらのサンプルセットごとに、符号化パラメータは、ビットストリームに含まれる。符号化パラメータは、サンプルの対応するセットがどのようにすでに符号化されたサンプルを使用して予測されるかについて規定する予測パラメータを示しうる。サンプルセットへの画像のサンプル配列の分割は、シンタックスによって固定することができる、または、ビットストリームの中で対応する細分化情報によってシグナリングすることができる。ブロックのための複数の分割パターンが、許容することができる。サンプルセットのための符号化パラメータは、シンタックスによって与えられる、事前に定められた順で送信される。本願発明の実施形態はまた、サンプルセットのグループへの1つ又は複数の他のサンプルセットと(例えば予測の目的で)統合される、サンプルの現在のセットのためにシグナリングできる方法を示す。従って、対応する統合情報のための値の考えられるセットは、特定の分割パターンが他の分割パターンおよび対応する統合データの組合せによって示されることができない方法で、使用される分割パターンに適用される。サンプルセットのグループのための符号化パラメータは、一度だけ送信されることを必要とする。特定の実施形態において、現在のサンプルセットが、符号化パラメータがすでに送信されたサンプルセット(またはサンプルセットのグループ)と統合される場合、現在のサンプルセットの符号化パラメータは、送信されない。その代わりに、サンプルの現在のセットのための符号化パラメータは、サンプルの現在のセットが統合されるサンプルセット(またはサンプルセットのグループ)の符号化パラメータに等しく設定される。代わりのアプローチとして、符号化パラメータの1つ又は複数のための付加的なリファインメントは、現在のサンプルセットのために、送信されることができる。そのリファインメントは、グループのすべてのサンプルセットに、または、それが送信されるサンプルセットだけに、適用されることができる。
【0054】
好ましい実施形態において、各サンプルのセットごとに、すべての前に符号化されたサンプルセットのうちのセットは、「原因サンプルセットのうちのセット(set of causal sample sets)」と呼ばれる。サンプルの現在のセットを用いた統合のために使用されうるサンプルのセットは、「候補サンプルセットのうちのセット(set of candidate sample sets)」と呼ばれ、常に「原因サンプルセットのうちのセット」のサブセットである。このサブセットが形成される方法は、復号化器に知られることができて、または、それは、ビットストリーム内で特定することができる。いずれにせよ、符号化器10および復号化器80は、削減されことになる候補セットを決定する。サンプルの中の特定の現在のセットが符号化されて、候補サンプルセットのうちのそのセットが空でない場合、サンプルの中の現在のセットが、候補サンプルセットのこのセットのうちの1つのサンプルセットと統合されるか、(もしそうであれば、/複数の候補が存在する場合、)それらのどれとかについてシグナリングされる。そうでない場合、統合は、このブロックに関しては使用されることができない。統合が分割パターンによって直接規定されもする形状をもたらす候補ブロックは、同じ形状が分割情報と統合データの異なる組合せによって示されうることを回避するために、候補セットから除外される。すなわち、
図1~
図5に関して上述したような各候補の除去によって、候補セットは、削減される。
【0055】
好ましい実施形態において、いくつかの候補サンプルセットのセットは、サンプルの現在のセット内にあらゆるサンプルの直接空間的な隣接を示す(1つ、2つまたはそれ以上でありえる)少なくとも特定の0でない数のサンプルを含む0以上のサンプルセットである。他の本願発明の好ましい実施形態において、候補サンプルセットのセットは、加えて(またはもっぱら)、同じ空間位置を有する、すなわち、候補サンプルセットおよび目下統合の影響を受けている現在のサンプルセットの両方によって含まれるが、異なる画像に含まれる、(1つ、2つまたはそれ以上である)特定の0でない数のサンプルを含むサンプルのセットを含みうる。他の本願発明の好ましい実施形態において、候補サンプルセットのセットは、現在の画像内に、または、他の画像に、前に処理されたデータから抽出されうる。その抽出方法は、特定の方向や現在の画像のイメージ勾配に関連した変換係数などの空間方向情報を含みうる、または、それは、隣接する動き表示などの時間的方向情報を含みうる。受信機で利用可能なこの種のデータや他のデータや(あれば)補助情報から、候補サンプルセットのセットが抽出されることができる。特定の分割パターンによって表現されうるものと同じ形状になる候補の(元の候補セットからの)除去は、符号化器および復号化器において、同じ方法で抽出され、その結果、符号化器および復号化器は、ちょうど同じ方法での統合のための最終的な候補セットを抽出する。
【0056】
好ましい実施形態において、サンプルの考慮されたセットは、長方形または正方形のブロックである。それから、サンプルの統合されたセットは、長方形および/または正方形のブロックの集まりを示す。他の本願発明の好ましい実施形態において、サンプルの考慮されたセットは、任意で形作られた画像領域であり、サンプルの統合されたセットは、任意で形作られた画像領域の集まりを示す。
【0057】
好ましい実施形態において、1つ又は複数のシンタックス要素は、サンプルのセットごとに送信される。そして、それらは、サンプルのセットが、(サンプルセットのすでに統合されたグループの一部でありえる)他のサンプルセットと統合されるかどうかや候補サンプルセットのセットのどれが統合するために使用されるかを規定する。しかし、(例えば、統合なしで異なる分割パターンによってシグナリングされうる分割を生じさせる候補の除去のため)候補セットが空である場合、シンタックス要素は、送信されない。
【0058】
好ましい実施形態において、1つまたは2つのシンタックス要素は、統合情報を規定するために送信される。1番目のシンタックス要素は、サンプルの現在のセットが他のサンプルセットと統合されるかどうかを規定する。1番目のシンタックス要素がサンプルの現在のセットがサンプルの他のセットに統合されることを規定する場合にのみ送信される2番目のシンタックス要素は、候補サンプルセットのセットのうちどれが統合のために使用されるかについて規定する。好ましい実施形態において、1番目のシンタックス要素は、(統合なしで異なる分割パターンによってシグナリングされうる分割を生じさせる候補の可能性がある除去の後に、)候補サンプルセットの抽出されたセットが空でない場合にのみ送信される。他の好ましい実施形態において、2番目のシンタックス要素は、候補サンプルセットの抽出されたセットが1つ以上のサンプルセットを含む場合にのみ送信される。更なる本願発明の好ましい実施形態において、2番目のシンタックス要素は、候補サンプルセットの抽出されたセットの少なくとも2つのサンプルセットが、異なる符号化パラメータと関連する場合にのみ送信される。
【0059】
本願発明の好ましい実施形態において、サンプルのセットための統合情報は、予測パラメータ(または、さらに一般的には、サンプルセットと関連する特定の符号化パラメータ)の前に符号化される。予測または符号化パラメータは、統合情報信号がサンプルの現在のセットがサンプルの他のセットに統合されないという信号を送る場合にのみ送信される。
【0060】
他の好ましい実施形態において、予測パラメータ(または、さらに一般的には、サンプルセットと関連する特定の符号化パラメータ)のサブセットが送信された後に、サンプルのセットのための統合情報が符号化される。予測パラメータのサブセットは、1つ又は複数の参照画像インデックス、あるいは、動きパラメータベクトルの1つ又は複数の成分、または参照インデックス、並びに、1つ又は複数の動きパラメータベクトルの成分などから構成されうる。予測または符号化パラメータのすでに送信されたサブセットは、候補サンプルセットの(削減された)セットを抽出するために使用されうる。一例として、すでに符号化予測又は符号化パラメータと、候補サンプルセットの元のセットの対応する予測又は符号化パラメータとの間の差の測度が、計算されうる。そして、算出された差測度が所定の又は抽出された閾値より小さい又は同じであるそれらのサンプルセットだけが、候補サンプルセットの最終的な(削減された)セットに含まれる。閾値は、算出された差測度に基づいて得ることができる。または、他の例として、差測度が最小化されるサンプルのそれらのセットだけが、選択される。または、サンプルの1セットだけが、差測度に基づいて選択される。後者の場合、統合情報は、それがサンプルの現在のセットがサンプルの1つの候補セットに統合されるかどうかを規定するだけである方法で、削減されうる。
【0061】
以下の好ましい実施形態は、長方形および正方形のブロックを示すサンプルのセットのために説明されるが、それは、直接の方法でサンプルの任意で形作られた領域または他の集合にまで拡張することができる。
【0062】
1.候補ブロックの最初のセットの抽出
このセクションにおいて説明されるサンプルの最初のセットの抽出は、最初の候補セットの抽出に関する。全ての候補ブロックのうちのいくつかは、関連パラメータ(例えば予測情報)、および統合が結果として他の分割パターンを使用することにより得ることもできる最終的な分割になるそれらの候補ブロックの除去を分析することによって、後に除かれうる。この処理は、次のサブセクションにおいて説明される。
【0063】
好ましい実施形態において、最初の候補ブロックのセットは、以下の通りに形成される。現在ブロックの左上のサンプル位置から始まって、その左の隣接したサンプル位置およびその一番上の隣接したサンプル位置が、抽出される。最初の候補ブロックのセットは、最大で2つの要素のみ、すなわち、2つのサンプル位置のうちの1つを含む原因ブロックのセットからのそれらのブロックを有する。このように、最初の候補ブロックのセットは、その要素として、現在ブロックの左上のサンプル位置の2つの直接隣接したブロックを有することができるだけである。
【0064】
本願発明の他の好ましい実施形態において、最初の候補ブロックのセットは、現在ブロックの前に符号化されて、現在ブロックのいかなるサンプルの直接の空間的隣接(直接の空間的隣接は、直接の左隣および/または直接の上隣および/または直接の右隣および/または直接の下隣に制限されうる)を示す1つ又は複数のサンプルを含むすべてのブロックによって与えられる。本願発明の他の好ましい実施形態において、最初の候補ブロックのセットは、加えて(またはもっぱら)、現在ブロックのサンプルのいずれかと同じ位置にあるが、異なる(すでに符号化された)画像に含まれる1つ又は複数のサンプルを含むブロックを含む。本願発明の他の好ましい実施形態において、ブロックの最初の候補セットは、(隣接した)ブロックの上述のセットのサブセットを示す。候補ブロックのサブセットは、固定されうる、シグナリングされうる、または、抽出されうる。候補ブロックのサブセットの抽出は、画像の、または、他の画像の他のブロックのためになされた決定を考慮することができる。一例として、他の候補ブロックと同じ(または非常に類似した)符号化パラメータと関連しているブロックは、ブロックの最初の候補セットに含まれないかもしれない。
【0065】
本願発明の好ましい実施形態において、最初の候補ブロックのセットは、上記の実施形態のうちの1つに関して抽出されるが、以下の制限を有する。動き補償予測(インター予測)を使用しているブロックだけが、候補ブロックのセットの要素でありえる。すなわち、イントラ符号化されたブロックは、(最初の)候補セットに含まれない。
【0066】
上で既に述べたように、組合わされた双予測統合候補、スケールされていない双予測統合候補、およびゼロ動きベクトルなどによるブロック統合のための追加の候補によって、候補のリストを拡張することは可能である。
【0067】
候補ブロックの最初のセットの抽出は、同様に、符号化器および復号化器の両方によって実行される。
【0068】
2.候補ブロックの最後のセットの抽出
最初の候補セットを抽出した後に、最初の候補セット内の候補ブロックの関連パラメータは、分析されて、統合が結果として異なる分割パターンを使用することにより示されることができる分割になる統合候補が、取除かれる。統合されることができるサンプル配列が、異なる形状およびまたはサイズである場合、少なくとも2つの異なる符号化語によって示すことができる同一の分割が、存在しうる。例えば、符号化器がサンプル配列を2つのサンプル配列に分割することを決定する場合、この分割は、2つのサンプル配列を統合することによって逆転されるであろう。この種の冗長記述を回避するために、統合のための候補ブロックのセットは、許容される特定のブロック形状および分割に応じて拘束される。一方では、サンプル配列の許容される形状は、統合のために使用される特定の候補リストに応じて拘束されることができる。分割および統合の2つの機能は、2つを組合わせて、冗長記述が回避されるように、合わせて設計される必要がある。
【0069】
発明の好ましい実施形態において、
図6に示されるスプリッティングモード(または分割モード)のセットは、正方形のブロックのためにサポートされる。特定サイズの正方形ブロックが、同じサイズの4つの小さい正方形ブロックに分割される場合(
図6の左下パターン)、分割パターンの同じセットは、階層分割が規定されることができるように、結果として生じる4つ正方形ブロックに適用することができる。
【0070】
初の候補ブロックのセットを抽出した後に、候補リストの減少は、以下のようになされる。
- 現在ブロックが更に分割されない(
図6の左上のパターン)場合、最初の候補リストは削減されない。すなわち、すべての最初の候補は、統合のための最終的な候補を示す。
- 現在ブロックが、任意のサイズのちょうど2つのブロックに分割される場合、これらの2つのブロックのうちの1つは、もう一方の前に符号化され、それはシンタックスで決定される。1番目の符号化ブロックに関して、最初の候補セットは削減されない。しかし、2番目の符号化ブロックに関して、1番目のブロックと同じ関連パラメータを有するすべての候補ブロックは、候補セット(これは1番目の符号化ブロックを含む)から除去される。
- ブロックが同じサイズの4つの正方形ブロックに分割される場合、(符号化順で)先頭の3つのブロックの最初の候補リストは削減されない。最初の候補リストのすべてのブロックは、最終的な候補リストにも存在する。しかし、符号化順で4番目の(最後の)ブロックに関しては、以下が適用される。
- 現在ブロックとは(
図6の左下にて図示したような分割方式における)異なる行にあるブロックが、同じ関連パラメータ(例えば動きパラメータ)を有する場合、現在ブロックと同じ行にすでに符号化ブロックと同じ動きパラメータを有するすべての候補は、候補セット(これは同じ行のブロックを含む)から取除かれる。
- 現在ブロックとは(
図6の左下にて図示したような分割方式における)異なる列にあるブロックが、同じ関連パラメータ(例えば動きパラメータ)を有する場合、現在ブロックと同じ列のすでに符号化ブロックと同じ動きパラメータを有するすべての候補は、候補セット(これは同じ列のブロックを含む)から取除かれる。
【0071】
(
図6の分割パターンを用いた)実施形態の低煩雑性のバリエーションにおいて、候補リストの削減は、以下の通りになされる。
- 現在ブロックが更に分割されない(
図6の左上のパターン)場合、最初の候補リストは削減されない。すなわち、すべての最初の候補は、統合のための最終的な候補を示す。
- 現在ブロックが任意のサイズのちょうど2つのブロックに分割される場合、これらの2つのブロックのうちの1つは、もう一方の前に符号化され、それはシンタックスで決定される。1番目の符号化ブロックに関して、最初の候補セットは削減されない。しかし、2番目の符号化ブロックに関して、分割パターンの1番目の符号化ブロックは、候補セットから取り除かれる。
- ブロックが同一サイズの4つの正方形ブロックに分割される場合、(符号化順で)先頭の3つのブロックの最初の候補リストは削減されない。最初の候補リストのすべてのブロックは、最終的な候補リストにも存在する。しかし、符号化順で4番目の(最後の)ブロックに関しては、以下が適用される。
- 後に符号化される(現在ブロックとは)別の行のブロックのために、統合情報が、その行の1番目の符号化ブロックに統合されることをシグナリングする場合、現在ブロックと同じ行のブロックは、候補セットから取除かれる。
- 後に符号化される(現在ブロックとは)別の列のブロックのために、統合情報が、その列の1番目の符号化ブロックに統合されることをシグナリングする場合、現在ブロックと同じ列のブロックは、候補セットから取除かれる。
【0072】
他の好ましい実施形態において、
図6に示すのと同じ分割パターンが、同じサイズの2つの長方形ブロックに正方形ブロックを分割するパターンなしで、サポートされる。ブロックを4つの正方形ブロックに分割するパターンを除いて、上記実施形態のいずれかによって説明されるように、候補リストの削減が進行する。ここで、すべての最初の候補は、すべてのサブブロックのために許容される、または、最後の符号化サブブロックの候補リストだけが、以下のように拘束される。前に符号化された3つブロックが、同じパラメータと関連している場合、これらのパラメータと関連するすべての候補は、候補リストから取除かれる。低煩雑性バージョンにおいて、これらの3つのサブブロックがともに組合せられた場合、最後の符号化サブブロックは、3つの前に符号化されたサブブロックのいずれにも統合されることができない。
【0073】
他の好ましい実施形態において、ブロック(またはサンプル配列セットの他の形式)のための分割パターンの異なるセットがサポートされる。分割されないサンプル配列セットのために、最初の候補リストのすべての候補は、統合のために使用することができる。サンプル配列がちょうど2つのサンプル配列に分割される場合、符号化順で1番目であるサンプル配列のために、最初の候補セットのすべての候補は、最終的な候補セットに挿入される。符号化順で2番目のサンプル配列に関して、1番目のサンプル配列と同じ関連パラメータを有するすべての候補は、取除かれる。または、低煩雑性バリエーションにおいて、1番目のサンプル配列だけが、候補セットから取除かれる。サンプル配列を2つ以上のサンプル配列に分割する分割パターンに関して、候補の除去は、他の分割パターンが現在の分割パターンおよび対応する統合情報によってシミュレートされることができるかどうかに依存する。候補除去の処理は、上で明示的に示された構想に従うが、実際にサポートされた候補パターンを考慮する。
【0074】
別の好ましい実施形態において、SKIP/DIRECTモードが、特定のブロックのためにサポートされる場合、SKIP/DIRECTモードの現在の候補でもある統合候補は、候補リストから取除かれる。この除去は、上で説明された候補ブロックの除去と置換えることができる、または、上で説明された候補ブロックの除去と共に使用されうる。
【0075】
3.SKIP/DIRECTモードとの組合せ
SKIP/DIRECTモードは、全てまたは1回だけの特定のブロックサイズおよび/またはブロック形状のためにサポートされることができる。候補ブロックのセットは、SKIP/DIRECTモードのために使用される。SKIPとDIRECTとの違いは、残差情報が送られるかどうかである。SKIPおよびDIRECTの(例えば予測のための)パラメータは、対応する候補のいずれかと等しいと推測される。候補は、候補リストにインデックスを送信することによって選択される。
【0076】
好ましい実施形態において、SKIP/DIRECTのための候補リストは、異なる候補を含むことができる。一例を
図8に示す。候補リストは、以下の候補を含みうる(現在ブロックは、Xiで示される):
- Median(中央値)(左、上、角の間)
- Left(左)ブロック(Li)
- Above(上)ブロック(Ai)
- Corner(角)ブロック(順番に:右上(Ci1)、左下(Ci2)、左上(Ci3))
- 異なるが、すでに符号化された画像のCollocated(配列)ブロック
【0077】
好ましい実施形態において、統合のための候補は、Li(左ブロック)およびAi(上ブロック)を含む。統合のためのこれらの候補を選択することは、現在ブロックがどのブロックに統合されるかをシグナリングするための少しの量の補助情報を必要とする。
【0078】
以下の記号は、以下の実施形態を説明するために使用される:
- set_mvp_oriは、SKIP/DIRECTモードのために使用される候補のセットである。このセットは、{Median(中央値)、Left(左)、Above(上)、Corner(角)、Collocated(配列)}から構成される。ここで、Median(中央値)は、中央値(Left(左)、Above(上)およびCorner(角)の順序付けられたセットにおける中央値)であり、collocated(配列)は、最も近い参照フレームによって与えられて、時間的距離に従ってスケールされる。
- set_mvp_combは、ブロック統合処理と組合わせて、SKIP/DIRECTモードのために使用された候補のセットである。
【0079】
好ましい実施形態のために、SKIP/DIRECTモードとブロック統合モードとの間の組合せは、候補の元のセットによって処理されうる。これは、SKIP/DIRECTモードが、それが単独で作動する時と同じ候補のセットを有することを意味する。この2つのモードを結合する関心は、フレーム間における補助情報をシグナリングする際のそれらの相補性から来る。これらのモードの両方ともが現在ブロックのシグナリングを改善するために隣の情報を使用しているにもかかわらず、ブロック統合は、左および上の隣接のみを処理して、SKIP/DIRECTモードは、最大5つの候補を処理している。主な相補性は、隣接情報を処理する異なるアプローチにある。ブロック統合処理は、すべての参照リストのためのその隣接の情報の全部の集合を保持する。これは、ブロック統合が、参照リストごとにその動きベクトルだけでなく、これらの隣接からの全部の補助情報を保持し、一方で、SKIP/DIRECTモードは、別々に、参照リストごとに、予測パラメータを処理し、参照リストごとに、候補リストにインデックスを送信することを意味する。すなわち、双予測された画像のために、2つのインデックスは、参照リスト0のための候補および参照リスト1のための候補をシグナリングするために送信される。
【0080】
他の好ましい実施形態において、set_mvp_combと呼ばれる候補の組合わされたセットは、ブロック統合モードと組合わせて、SKIP/DIRECTモードのために、見つけることができる。この組合わされたセットは、元のセット(set_mvp_ori)の一部であって、候補のリストset_mvp_combが削減するので、SKIP/DIRECTモードのためのシグナリングの削減を可能にする。元のリスト(set_mvp_ori)から取除かれなければならない候補は、ブロック統合処理によって冗長でありえたか、またはあまり使用されないものである。
【0081】
他の好ましい実施形態において、SKIP/DIRECTモードとブロック統合処理との間の組合せは、Median(中央値)のない元のセット(set_mvp_ori)である候補の組合わせられたセット(set_mvp_comb)によって処理されうる。SKIP/DIRECTモードのためのMedian(中央値)のために観察される低効率のため、元のリストのその削減は、符号化効率における改善をもたらす。
【0082】
他の好ましい実施形態において、SKIP/DIRECTモードとブロック統合との組合せは、候補として、Corner(角)、および/または、Collocated(配列)のみを有した元のセット(set_mvp_ori)である候補の組合わされたセット(set_mvp_comb)によって処理されうる。
【0083】
他の好ましい実施形態において、SKIP/DIRECTモードとブロック統合処理との組合せは、候補として、Corner(角)とCollocated(配列)だけを有するset_mvp_oriである候補の組合わされたセットによって処理されうる。すでに述べたように、SKIP/DIRECTモードとブロック統合との間の相補性にもかかわらず、リストから除かれる必要がある候補は、ブロック統合処理の候補と重複しうるものである。これらの候補は、Left(左)およびAbove(上)である。候補の組合わされたセット(set_mvp_comb)は、2つの候補Corner(角)およびCollocated(配列)だけに削減された。ブロック統合処理と組合わされた、この候補セットset_mvp_combを使用したSKIP/DIRECTモードは、フレーム間における補助情報をシグナリングする効率の高い増加を与える。この実施形態において、SKIP/DIRECTモードおよび統合モードは、いかなる候補ブロックも共有しない。
【0084】
更なる実施形態において、SKIP/DIRECTおよび統合モードのわずかに異なる組合せを、使用することができる。特定のブロックのみに関して(例えば規定されたサイズより大きなサイズを有するブロック、または、正方形ブロックのみに関してなど)、(例えば、統合モードより多くの候補に関して)SKIP/DIRECTモードをイネーブルにして、これらのブロックについては統合モードをサポートしないことは、可能である。または、SKIP/DIRECTモードは、解除することができ、(空間/時間的に隣接したブロックのためのパラメータの組合せを示すパラメータを含む)すべての候補は、候補として統合モードに追加される。この選択肢は、
図1~
図5において説明された。増加された候補セットは、特定のブロックのみに関して(特定された最小サイズより大きなサイズを有するブロック、または、正方形ブロックのみに関してなど)、使用されうる。ここで、他のブロックに関しては、削減された候補セットが使用される。または、更なる変形として、統合モードは、削減された候補セット(例えば上と左の隣だけ)を用いて使用され、更なる候補(例えば左上の隣、同じ位置に配置されたブロックなど)は、SKIP/DIRECTモードのために使用される。また、この種の構成において、SKIP/DIRECTモードは、特定のブロックのみに関して(例えば特定された最小サイズより大きなサイズを有するブロック、または、正方形ブロックのみに関してなど)、許容され得て、一方、統合モードは、ブロックのより大きいセットのために許容される。
【0085】
4.統合情報の送信
好ましい実施形態に関して、特に、
図1~
図5の実施形態に関して、以下が適用されうる。現在ブロックの左上のサンプルの左と上の隣のサンプルを含む2つのブロックだけが候補として考慮されることを仮定する。(上記のような候補の除去の後)最終的な候補ブロックのセットが空でない場合、現在ブロックが候補ブロックのいずれかに統合されるかどうかを規定するmerge_flagと呼ばれる1つのフラグがシグナリングされる。merge_flagが(「false(偽)」のための)0に等しい場合、このブロックは、その候補ブロックのうちの1つに統合されず、すべての符号化パラメータが、普通に送信される。merge_flagが(「true(真)」のための)1に等しい場合、以下が適用される。候補ブロックのセットがただ1つのブロックを含む場合、この候補ブロックは、統合のために使用される。そうでない場合、候補ブロックのセットは、ちょうど2つのブロックを含む。これらの2つのブロックの予測パラメータが同一である場合、これらの予測パラメータは、現在ブロックのために使用される。そうでない場合(2つのブロックが異なる予測パラメータを有する場合)、merge_left_flagと呼ばれているフラグが、シグナリングされる。merge_left_flagが、(「true(真)」のための)1に等しい場合、現在ブロックの左上のサンプル位置の左の隣接したサンプル位置を含んでいるブロックは、候補ブロックのセットから選択される。merge_left_flagが(「false(偽)」のための)0に等しい場合、候補ブロックのセットのうちの他の(すなわち上に隣接した)ブロックが選択される。選択されたブロックの予測パラメータは、現在ブロックのために使用される。他の実施形態において、統合処理の信号を送る組合わされたシンタックス要素が送信される。他の実施形態において、2つの候補ブロックが同じ予測パラメータを有するかに関係なく、merge_left_flagが送信される。
【0086】
シンタックス要素merge_left_flagは、その機能が、除かれなかった候補の中の選択された1つをインデックス付けするので、merge_indexと名づけられうる点に留意する必要がある。
【0087】
他の好ましい実施形態において、2ブロック以上は、候補ブロックのセットに含まれることができる。統合情報(すなわち、ブロックが統合されるか、もしそうであれば、どの候補ブロックに統合されるか)は、1つ又は複数のシンタックス要素によってシグナリングされる。これにおいて、符号化語のセットは、最終的な候補セットの候補の数に依存し、符号化器および復号化器で、同じ方法で選択される。一実施形態において、統合情報は、1つのシンタックス要素を使用して送信される。他の実施形態において、1つのシンタックス要素は、そのブロックが候補ブロック(上記merge_flagと比較)のいずれかと統合されるかどうかを規定する。候補ブロックのセットが空でない場合にのみ、このフラグは送信される。2番目のシンタックス要素は、候補ブロックのうちどれが統合のために使用されるかについてシグナリングする。それは、1番目のシンタックス要素が、現在ブロックが候補ブロックのうちの1つと統合されることをシグナリングする場合にのみ、送信される。本願発明の好ましい実施形態において、候補ブロックのセットが1つ以上の候補ブロックを含む場合、および/または、候補ブロックのいずれかが候補ブロックの他のものとは異なる予測パラメータを有する場合にのみ、2番目のシンタックス要素は送信される。シンタックスは、いくつの候補ブロックが与えられるか、および/または、異なる予測パラメータが候補ブロックとどのように関連しているかに依存することができる。
【0088】
DIRECTモードのためになされたように、ブロック統合のための候補のセットを追加することは可能である。
【0089】
他の好ましい実施形態において説明されたように、候補のリストが1つ以上の候補を含む場合のみ、2番目のシンタックス要素統合インデックスが送信され得る。これは、統合インデックスを解析する前にリストを抽出することを必要とし、これらの2つの処理を並列に実行することを防ぐ。増加した構文解析スループットを可能にするために、そして構文解析処理を送信エラーに関してよりロバストにするために、インデックス値ごとの一定の符号化語および一定数の候補を使用することにより、この依存を取除くことが可能である。この数が、候補選択によって達しない場合、リストを完成させるために補助的候補を抽出することが可能である。これらの付加的な候補は、いわゆる組合わされた候補を含むことができ、それらは、すでにリストに存在するありうる異なる候補の動きパラメータ、およびゼロ動きベクトルから構築される。
【0090】
他の好ましい形態において、候補のブロックのうちどれがセットされるかをシグナリングするためのシンタックスが、符号化器および復号化器で同時に適用される。例えば統合のためのブロックの3つの選択が与えられる場合、それら3つの選択は、シンタックスにおいて存在するだけであって、エントロピー符号化のために考慮される。他の全ての選択についての確率は、0であるとみなされ、エントロピーコーデックは、符号化器および復号化器で同時に調整される。
【0091】
統合処理の結果として割出される予測パラメータは、ブロックと関連する予測パラメータの全セットを示すことができる、または、それらは、これらの予測パラメータ(例えば多重仮説予測が使用されるブロックの1つの仮説のための予測パラメータ)のサブセットの中で示すことができる。
【0092】
好ましい実施形態において、統合情報に関連したシンタックス要素は、コンテキストモデリング(context modeling)を使用してエントロピー符号化される。シンタックス要素は、上記のmerge_flagおよびmerge_left_flagから成ることができる。
【0093】
好ましい実施形態において、3つのコンテキストモデルのうちの1つは、merge_flagを符号化するために使用される。使用されたコンテキストモデルmerge_flag_ctxは、以下のように得られる。候補ブロックのセットが2つの要素を含む場合、merge_flag_ctxの値は、2つの候補ブロックのmerge_flagの値の和に等しい。候補ブロックのセットが1つの要素を含む場合、merge_flag_ctxの値は、この1つの候補ブロックのmerge_flagの値の2倍に等しい。
【0094】
好ましい実施形態において、merge_left_flagは、1つの確率モデルを使用して符号化される。
【0095】
merge_idx(merge_left_flag)のための異なるコンテキストモデル符号化は、使用されることができる。
【0096】
他の実施形態において、異なるコンテキストモデルが使用されうる。非バイナリシンタックス要素は、バイナリシンボル(ビン)のシーケンスにマップすることができる。いくつかのシンタックス要素またはシンタックス要素のビンのためのコンテキストモデルは、隣接したブロックのすでに送信されたシンタックス要素または候補ブロックの数または他の測度に基づいて、抽出され得て、その一方で、シンタックス要素の他のシンタックス要素またはビンは、固定されたコンテキストモデルで符号化することができる。
【0097】
5.符号化器演算
統合アプローチが、当然、増加した信号化オーバーヘッドで、画像のサンプル配列のための分割を選択するための可能性の数を著しく増加するので、統合構想の包含は、符号化器に、ビットストリームの生成のためのより大きな自由度を供給する。細分化および統合の組合せによって示すことができる追加のパターンの一部または全部(例えば、
図6の分割パターンがサポートされる時の
図7のパターン)は、(動き推定およびモード決定のための対応するブロックサイズを使用して)追加的にテストされ得て、単に分割することによって(
図6)、そして、分割および統合によって(
図7)供給されるパターンのうちの最も良いものが、特定のレート歪み測度に基づいて選択することができる。加えて、ブロックごとに、すでに符号化された候補セットのいずれかとの統合が特定のレート歪み測度の削減を生じさせるか、それから対応する統合フラグが符号化プロセスの間セットされるかがテストされうる。
【0098】
他の好ましい実施形態において、符号化器は、(最高水準のコード体系におけるものとして)サンプル配列の最高の細分化を最初に決定することができる。そうすると、他のサンプルセットまたはサンプルセットの他のグループを用いた統合が特定のレート歪みコスト測度を削減するかどうかを、各サンプルセットごとに、チェックすることができる。これにおいて、サンプルセットの統合されたグループと関連した予測パラメータは、(例えば、新たな動きサーチを実行することによって)再推定されうる、または、統合のための現在のサンプルセットおよび候補サンプルセット(またはサンプルセットのグループ)のためにすでに決定された予測パラメータは、サンプルセットの考慮したグループのために評価されうる。
【0099】
他の好ましい実施形態において、特定のレート歪みコスト測度は、サンプルセットの付加的な候補グループのために評価することができる。特定の例として、さまざまな考えられる分割パターン(例えば、
図6参照)をテストするときに、分割および統合の組合せによって示されることができるパターンの一部または全部(例えば、
図7参照)は、さらにテストすることができる。すなわち、パターンの全てに関して、特定の動き推定およびモード決定処理が実行され、最も小さいレート歪み測度に従うパターンが選択される。この処理はまた、上記の低煩雑性プロセスと組合わせることもでき、その結果、結果として生じるブロックに関して、(例えば、
図6および
図7のパターン以外に)すでに符号化されたブロックとの統合がレート歪み測度の減少を生じさせるかどうかが更にテストされる。
【0100】
他の好ましい実施形態において、符号化器は、優先順位で分割および統合によって示されることができる種々のパターンをテストして、それは、一定の実時間要件によってできるだけ多くのパターンをテストする。優先順位はまた、すでに符号化されたブロックや選択された分割パターンに基づいて変更することもできる。
【0101】
上で概説された実施形態を特定のシンタックスへ移す1つの方法が、以下の図に関して以下に説明される。特に、
図9~
図11は、上で概説された実施形態を利用するシンタックスの異なる部分を示す。特に、下で概説された実施形態によれば、画像20は、まず、その画像内容が
図9に示されるsyntax coding_treeを使用して符号化される符号化ツリーブロックにアップデバイドされる。そこに示されるように、例えば、コンテキスト適応バイナリ算術符号化または他の特定のエントロピー符号化モードに関するentropy_coding_mode_flag=1について、現在の符号化ツリーブロックの四分木細分化は、記号400でsplit_coding_unit_flagと呼ばれているフラグによって、シンタックス部coding_tree内にシグナリングされる。
図9に示すように、以下に説明される実施形態によれば、ツリールートブロックは、
図9aに示すように深さ優先走査順でsplit_coding_unit_flagによってシグナリングされるように細分化される。リーフノードに達するときはいつでも、それは、シンタックス関数coding_unitを使用して、すぐに符号化される符号化単位を示す。現在のsplit_coding_unit_flagがセットされるかどうかに関してはチェックする402の条件節で見るときに、これは、
図9から分かる。そうである場合は、関数coding_treeは、再帰的に呼ばれ、符号化器および復号化器で、それぞれ、更なるsplit_coding_unit_flagの更なる送信/抽出につながる。そうでない場合、すなわち、split_coding_unit_flag=0である場合、
図5aのツリールートブロック200の現在のサブブロックは、リーフブロックであり、この符号化単位を符号化するために、
図10の関数coding_unitは、404で呼ばれる。
【0102】
現在説明された実施形態において、上述のオプションは、どの統合が、インター予測モードが利用できる画像のために、単に使用可能なだけかに従って使用される。すなわち、イントラ符号化スライス/画像は、いずれにしろ統合を使用しない。これは、フラグmerge_flagが、スライスタイプが、イントラ画像スライスタイプと等しくない場合にだけ、406で送信される、
図10から分かる。本実施形態によれば、統合は、単にインター予測に関連した予測パラメータだけに関する。本実施形態によれば、merge_flagは、全部の符号化単位40のためにシグナリングされて、また、現在の符号化単位のための特定の分割モード、すなわち、非分割モードを復号化器にシグナリングする。したがって、関数prediction_unitは、予測単位であるとして、現在の符号化単位を意味することに関する408で呼ばれる。しかし、これは、統合オプションにスイッチするための唯一の可能性ではない。むしろ、全部の符号化単位に関連したmerge_flagが406でセットされない場合、非-内部-画像のスライスの符号化単位の予測タイプは、現在の符号化単位が更に分割されない場合に、例えば412で、現在の符号化単位のいかなる分割のための関数prediction_unitを呼ぶことによって、それに依存して、シンタックス要素pred_typeによって410でシグナリングされる。
図10において、単に4つの異なる分割オプションだけが示されるが、
図6に示される他の分割オプションが同様に利用可能でありえる。他の可能性は、分割オプションPART_NxNが入手不可能であるが、他であるということである。
図10において使用される分割モードから
図6に示される分割オプションまでの名前の間の関連は、個々の分割オプションの下に各サブスクリプトによって
図6に示される。関数prediction_unitは、パーティションごと、例えば前述の符号化順でパーティション50および60ごとに呼ばれる。関数prediction_unitは、414でmerge_flagをチェックすることから始める。merge_flagがセットされる場合、merge_indexは、416で必然的に続く。ステップ414でのチェックは、406でシグナリングされたような全部の符号化単位に関連したmerge_flagがセットされたかどうかに関してチェックするためにある。そうでない場合には、merge_flagは、418でさらにシグナリングされて、後者がセットされる場合、merge_indexは、現在のパーティションのための統合候補を示す420で続く。さらにまた、merge_flagは、現在の符号化単位の現在の予測モードが、インター予測モード(422参照)である場合には、単に418で現在のパーティションのためにシグナリングされる。
【0103】
図11から分かるように、424の現在の予測単位のために使用される予測パラメータの送信は、本実施形態によれば、統合が現在の予測単位のために使用されていない場合にだけ実行される。
【0104】
図9~
図11の実施形態の上述の記載は、すでに機能および意味のほとんどを示すが、いくつかの更なる情報は、下で示される。
【0105】
merge_flag[x0][y0]は、現在の予測単位(図における50および60参照)のためのインター予測パラメータが、隣接したインター予測されたパーティションから割り出されるかどうかを規定する。配列インデックスx0、y0は、画像(図における20参照)の左上のlumaサンプルと関連して、考慮された予測ブロック(図における50および60参照)の左上のlumaサンプルの位置(x0,y0)を規定する。
【0106】
merge_idx[x0][y0]は、統合候補リストの統合候補インデックスを規定する。ここで、x0、y0は、画像の左上のlumaサンプルと関連して、考慮された予測ブロックの左上のlumaサンプルの位置(x0,y0)を規定する。
【0107】
図9~
図11の前記説明において特に示されていないが、統合候補または統合候補のリストは、例として、符号化パラメータ又は空間的に隣接した予測単位/パーティションの予測パラメータを使用して、この実施形態において決定されるだけでなく、むしろ、候補のリストは、また、時間的に隣接し前に符号化された画像の時間的に隣接するパーティションの予測パラメータを使用することによって形成される。さらに、空間的におよび/または時間的に隣接した予測単位/パーティションの予測パラメータの組合せは、使用され、統合候補のリストに含まれる。当然、単にそのサブセットだけが使用されうる。特に、
図12は、空間的な隣接関係、すなわち空間的に隣接したパーティションまたは予測単位を決定する1つの可能性を示す。
図12は、例として、予測単位またはパーティション60およびピクセルB
0~B
2およびA
0、A
1を示す。それは、パーティション60の境界500に直接隣り合って位置する、すなわち、B
2は、パーティション60の左上ピクセルに斜めに隣り合って、B
1は、パーティション60の縦方向上側かつ右上ピクセルの垂直上に隣接して位置して、B
0は、パーティション60の右上ピクセルに斜めに位置して、A
1は、パーティション60の横方向左側かつ左下ピクセルに隣接して位置して、A
0は、パーティション60の左下ピクセルに斜めに位置する。ピクセルB
0~B
2およびA
0、A
1のうちの少なくとも1つを含むパーティションは、空間近接を形成し、その予測パラメータは、統合候補を形成する。
【0108】
利用可能でもあった他の分割モードにつながるそれらの候補の上述の除去を実行するために、以下の関数を、使用することができる。
【0109】
特に、以下の状況のいずれかが真である場合、候補N、すなわち、ピクセルN=(B
0,B
1,B
2,A
0,A
1)を変換する予測単位/パーティションから生じる符号化/予測パラメータ、すなわち、位置(xN,yN)は、候補リストから除去される(分割モードPartMode、および符号化単位内の各パーティションをインデックス付けする、対応する分割インデックスPartIdxのための
図6を参照されたい)。
【0110】
- 現在の予測単位のPartModeは、PART_2NxNであり、PartIdxは、1に等しく、luma位置(xP,yP-1)(PartIdx=0)およびluma位置(xN,yN)(Cand.N)をカバーしている予測単位は同一の動きパラメータを有する。
mvLX[xP,yP-1]==mvLX[xN,yN]
refIdxLX[xP,yP-1]==refIdxLX[xN,yN]
predFlagLX[xP,yP-1]==predFlagLX[xN,yN]
【0111】
- 現在の予測単位のPartModeは、PART_Nx2Nであり、PartIdxは、1に等しく、luma位置(xP-1,yP)(PartIdx=0)およびluma位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。mvLX[xP-1,yP]==mvLX[xN,yN]
refIdxLX[xP-1,yP]==refIdxLX[xN,yN]
predFlagLX[xP-1,yP]==predFlagLX[xN,yN]
【0112】
- 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは、3に等しく、luma位置(xP-1,yP)(PartIdx=2)およびluma位置(xP-1,yP-1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP-1,yP]==mvLX[xP-1,yP-1]
refIdxLX[xP-1,yP]==refIdxLX[xP-1,yP-1]
predFlagLX[xP-1,yP]==predFlagLX[xP-1,yP-1]
そして、luma位置(xP,yP-1)(PartIdx=1)およびluma位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP-1]==mvLX[xN,yN]
refIdxLX[xP,yP-1]==refIdxLX[xN,yN]
predFlagLX[xP,yP-1]==predFlagLX[xN,yN]
【0113】
- 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは、3に等しく、luma位置(xP,yP-1)(PartIdx=1)およびluma位置(xP-1,yP-1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP-1]==mvLX[xP-1,yP-1]
refIdxLX[xP,yP-1]==refIdxLX[xP-1,yP-1]
predFlagLX[xP,yP-1]==predFlagLX[xP-1,yP-1]
そして、luma位置(xP-1,yP)(PartIdx=2)およびluma位置(xN、yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP-1,yP]==mvLX[xN,yN]
refIdxLX[xP-1,yP]==refIdxLX[xN,yN]
【0114】
この点に関しては、ポジションまたは位置(xP,yP)が現在のパーティション/予測単位の最大画素を意味する点に留意されたい。すなわち、1番目の項目に従って、すべての符号化パラメータ候補が、隣接した予測単位、すなわち予測単位Nの各符号化パラメータを直接採用することによってどれが抽出されたかがチェックされる。しかし、他の追加の符号化パラメータ候補は、それが、シンタックスによってサポートされる他の分割パターンを得ることになるかについて現れている各予測単位の符号化パラメータに等しいかどうかについて同様にチェックできる。ちょうど説明された実施形態によれば、符号化パラメータが等しいことは、動きベクトル、すなわちmvLX、参照インデックス、すなわちrefIxLX、および、そのパラメータすなわち0または1であるXの参照リストXと関連する動きベクトルと参照インデックスがインター予測に使用されることを示している予測フラグpredFlagLXが等しいことのチェックを含む。
【0115】
隣接した予測単位/パーティションの符号化パラメータ候補の除去のための前述の可能性も、
図6の右半分に示される非対称分割モードをサポートする場合には適用できる点もまた留意されたい。その場合、モードPART_2NxNは、全て横に細分化するモードを示すことができ、PART_Nx2Nは、全て縦に細分化するモードに対応することができる。更に、モードPART_NxNは、サポートされた分割モードまたは分割パターンから除外することができ、その場合、単に先頭の2つの除去チェックだけが実行されなければならない。
【0116】
実施形態
図9~
図12に関して、また、イントラ予測されたパーティションを候補のリストから除外することが可能であること、すなわちそれらの符号化パラメータが当然に候補のリストに含まれないことにも留意されるべきである。
【0117】
更に、3つのコンテキストがmerge_flagおよびmerge_indexのために使用することができることに留意されたい。
【0118】
いくつかの態様が装置と関連して説明されたが、これらの態様はまた、対応する方法の記載を示すことが明らかである。ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップに関連して説明された態様は、また対応するブロックまたは対応する装置の項目または機能の記載を示す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって(またはハードウェア装置を使用することによって)実行することができる。いくつかの実施形態において、いくつか又はそれ以上の最も重要な方法ステップは、この種の装置によって実行することができる。
【0119】
特定の実現要求に応じて、本願発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実装することができる。本実施態様は、各方法が実行されるように、それはプログラミング可能な計算機システムと協動する(または協動することができる)その上に格納される電子的に読込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、Blue-Ray、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して実行することができる。従って、デジタル記憶媒体は、計算機可読でもよい。
【0120】
本願発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの1つが実行されるように、プログラミング可能な計算機システムと協動することができる電子的に読込み可能な制御信号を有するデータキャリアを含む。
【0121】
通常、本願発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができる。そして、そのコンピュータプログラム製品は、コンピュータ上で動作するときに、プログラムコードが本方法のうちの1つを実行するために作動する。プログラムコードは、例えば、機械読取り可読キャリアに、格納されることができる。
【0122】
他の実施形態は、機械読取り可読キャリアに格納された、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0123】
従って、換言すれば、本願発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、本願明細書において説明された方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0124】
従って、本願発明の方法の更なる実施形態は、その上に記録された、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含んでいるデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体または記録媒体は、一般的に、有形である、および/または、非一時的である。
【0125】
従って、本願発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を介して、例えばインターネットを介して、例えば転送されるように構成することができる。
【0126】
更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するように構成された又は適合された処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。
【0127】
更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを含む。
【0128】
本願発明による更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをレシーバに(例えば、電子的に又は光学的に)転送するように構成された装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、記憶装置等でもよい。その装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを含むことができる。
【0129】
いくつかの実施形態において、プログラム可能な論理デバイス(例えばフィールドプログラマブルゲートアレイ)は、本願明細書において説明された方法の機能の一部または全部を実行するために使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書において説明された方法のうちの1つを実行するために、マイクロプロセッサと協動することができる。通常、本方法は、好ましくはいかなるハードウェア装置によっても実行される。
【0130】
上述の実施形態は、本願発明の原理のために、単に示しているだけである。本願明細書において説明された本装置および詳細の修正および変更が、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲により限定されるだけであり、本願明細書の実施形態の記載および説明によって示された具体的な詳細によっては限定されないという意図である。
【手続補正書】
【提出日】2024-08-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像(20)がマルチ分割によって細分化されている、前記画像のブロックのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム(30)を復号化し、
前記サポートされた分割パターンのうちのシグナリングされた前記1つが現在ブロック(40)を2つ以上のさらなるブロック(50,60)に細分化することを指定している場合、
前記さらなるブロックのうちの符号化順(70)で最初のさらなるブロック以外のすべてのさらなるブロックについて、
それぞれの前記さらなるブロック(60)のための符号化パラメータ候補のセットから、
前記各さらなるブロック(60)と統合すると前記サポートされた分割パターンのうちの1つとなる、符号化パラメータ候補を取り除き、
前記各さらなるブロックに隣接する以前に復号化されたブロックに関連付けられた符号化パラメータに少なくとも部分的に基づいて、前記各さらなるブロックのための前記符号化パラメータ候補のセットを決定し、前記決定によって符号化パラメータ候補の一定数に達しなかった場合、補助的な符号化パラメータ候補で前記符号化パラメータ候補のセットを完成して、前記符号化パラメータ候補のセット内の符号化パラメータ候補の数が前記一定数になるようにする
手順を実行するようにプログラミングされたプロセッサを含む、または前記手順を実行するように構成された電子回路を含む、
復号化器(50)。
【請求項2】
前記復号化器は、前記符号化パラメータ候補のセット内の符号化パラメータの数が1よりも大きいか否かに応じて、符号化パラメータ候補のどの一定数が統合のために使用されるかを指定するシンタックス要素を前記ビットストリーム(30)が含むことを予期するように構成される、請求項1に記載の復号化器。
【請求項3】
前記復号化器は、前記サポートされた分割パターンのうちの前記シグナリングされた1つが前記ブロックを2つのさらなるブロックに細分化することを指定する場合、前記さらなるブロックのうちの符号化順で2番目のさらなるブロックについて、前記2番目のさらなるブロックのための前記符号化パラメータ候補のセットから、前記さらなるブロックのうちの符号化順で前記最初のさらなるブロックに関連付けられた符号化パラメータと同じ符号化パラメータを有する符号化パラメータ候補を取り除くように構成される、請求項1または請求項2に記載の復号化器。
【請求項4】
前記画像には追加情報として距離画像が関連付けられている、請求項1または請求項2に記載の復号化器。
【請求項5】
情報サンプルのアレイは、前記画像の異なる平面に関係する、互いに独立して符号化されているサンプルアレイのうちの1つである、請求項1または請求項2に記載の復号化器。
【請求項6】
画像(20)がマルチ分割によって細分化されている、前記画像のブロック(40)のサポートされた分割パターンのうちの1つをシグナリングするビットストリーム(30)を復号化するための方法であって、前記方法は、
前記サポートされた分割パターンのうちのシグナリングされた前記1つが現在ブロック(40)を2つ以上のさらなるブロック(50,60)に細分化することを指定している場合、
前記さらなるブロックのうちの符号化順(70)で最初のさらなるブロック以外のすべてのさらなるブロックについて、
それぞれの前記さらなるブロック(60)のための符号化パラメータ候補のセットから、
前記各さらなるブロック(60)と統合すると前記サポートされた分割パターンのうちの1つとなる、符号化パラメータ候補を取り除くステップを含み、
前記方法はさらに、前記各さらなるブロックに隣接する以前に復号化されたブロックに関連付けられた符号化パラメータに少なくとも部分的に基づいて、前記各さらなるブロックのための前記符号化パラメータ候補のセットを決定するステップと、前記決定によって符号化パラメータ候補の一定数に達しなかった場合、補助的な符号化パラメータ候補で前記符号化パラメータ候補のセットを完成して、前記符号化パラメータ候補のセット内の符号化パラメータ候補の数が前記一定数になるようにするステップを含む、
方法。
【請求項7】
前記画像には追加情報として距離画像が関連付けられている、請求項6に記載の方法。
【請求項8】
情報サンプルのアレイは、前記画像の異なる平面に関係する、互いに独立して符号化されているサンプルアレイのうちの1つである、請求項6に記載の方法。
【請求項9】
マルチ分割によってブロックに細分化されている画像(20)をビットストリーム(30)に符号化し、
ビットストリーム(30)において、現在ブロック(40)のサポートされた分割パターンのうちの1つをシグナリングし、
前記サポートされた分割パターンのうちのシグナリングされた前記1つが前記現在ブロック(40)を2つ以上のさらなるブロック(50,60)に細分化することを指定している場合、
前記さらなるブロックのうちの符号化順(70)で最初のさらなるブロック(50)以外のすべてのさらなるブロック(60)について、
それぞれの前記さらなるブロック(60)のための符号化パラメータ候補のセットから、
前記各さらなるブロックと統合すると前記サポートされた分割パターンのうちの1つとなる、符号化パラメータ候補を取り除き、
前記各さらなるブロックに隣接する以前に符号化されたブロックに関連付けられた符号化パラメータに少なくとも部分的に基づいて、前記各さらなるブロックのための前記符号化パラメータ候補のセットを決定し、前記決定によって符号化パラメータ候補の一定数に達しなかった場合、補助的な符号化パラメータ候補で前記符号化パラメータ候補のセットを完成して、前記符号化パラメータ候補のセット内の符号化パラメータ候補の数が前記一定数になるようにする
手順を実行するようにプログラミングされたプロセッサを含む、または前記手順を実行するように構成された電子回路を含む、
符号化器(10)。
【請求項10】
前記画像には追加情報として距離画像が関連付けられている、請求項9に記載の符号化器。
【請求項11】
情報サンプルのアレイは、前記画像の異なる平面に関係する、互いに独立して符号化されているサンプルアレイのうちの1つである、請求項9に記載の符号化器。
【請求項12】
マルチ分割によってブロックに細分化されている画像(20)をビットストリーム(30)に符号化するための方法であって、前記方法は、
ビットストリーム(30)において、現在ブロック(40)のサポートされた分割パターンのうちの1つをシグナリングするステップと、
前記サポートされた分割パターンのうちのシグナリングされた前記1つが前記現在ブロック(40)を2つ以上のさらなるブロック(50,60)に細分化することを指定している場合、
前記さらなるブロックのうちの符号化順(70)で最初のさらなるブロック(50)以外のすべてのさらなるブロック(60)について、
それぞれの前記さらなるブロック(60)のための符号化パラメータ候補のセットから、
前記各さらなるブロックと統合すると前記サポートされた分割パターンのうちの1つとなる、符号化パラメータ候補を取り除くステップとを含み、
前記方法は、前記各さらなるブロックに隣接する以前に符号化されたブロックに関連付けられた符号化パラメータに少なくとも部分的に基づいて、前記各さらなるブロックのための前記符号化パラメータ候補のセットを決定するステップと、前記決定によって符号化パラメータ候補の一定数に達しなかった場合、補助的な符号化パラメータ候補で前記符号化パラメータ候補のセットを完成して、前記符号化パラメータ候補のセット内の符号化パラメータ候補の数が前記一定数になるようにするステップとをさらに含む、
方法。
【請求項13】
前記画像には追加情報として距離画像が関連付けられている、請求項12に記載の方法。
【請求項14】
情報サンプルのアレイは、前記画像の異なる平面に関係する、互いに独立して符号化されているサンプルアレイのうちの1つである、請求項12に記載の方法。
【請求項15】
コンピュータプログラムがプロセッサによって実行されると、画像(20)がマルチ分割によって細分化されている、前記画像のブロックのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム(30)を復号化するための方法を前記プロセッサに実行させることを特徴とする、前記コンピュータプログラムを記憶したデジタル記憶媒体であって、前記方法は、
前記サポートされた分割パターンのうちのシグナリングされた前記1つが現在ブロック(40)を2つ以上のさらなるブロック(50,60)に細分化することを指定している場合、
前記さらなるブロックのうちの符号化順(70)で最初のさらなるブロック以外のすべてのさらなるブロックについて、
それぞれの前記さらなるブロック(60)のための符号化パラメータ候補のセットから、
前記各さらなるブロック(60)と統合すると前記サポートされた分割パターンのうちの1つとなる、符号化パラメータ候補を取り除くステップと、
前記各さらなるブロックに隣接する以前に復号化されたブロックに関連付けられた符号化パラメータに少なくとも部分的に基づいて、前記各さらなるブロックのための前記符号化パラメータ候補のセットを決定し、前記決定によって符号化パラメータ候補の一定数に達しなかった場合、補助的な符号化パラメータ候補で前記符号化パラメータ候補のセットを完成して、前記符号化パラメータ候補のセット内の符号化パラメータ候補の数が前記一定数になるようにするステップと
を含む、
デジタル記憶媒体。
【請求項16】
前記画像には追加情報として距離画像が関連付けられている、請求項15に記載のデジタル記憶媒体。
【請求項17】
情報サンプルのアレイは、前記画像の異なる平面に関係する、互いに独立して符号化されているサンプルアレイのうちの1つである、請求項15に記載のデジタル記憶媒体。
【請求項18】
画像が符号化されているビットストリームを復号化するための方法であって、前記方法は請求項12に記載の方法によって形成されたビットストリームを受信し復号化するステップを含む、方法。
【請求項19】
マルチ分割によってブロックに細分化されている画像が符号化されているビットストリームを復号化するための方法であって、前記方法はビットストリームを受信し復号化するステップを含み、
前記ビットストリームは、前記画像(20)の現在ブロック(40)のサポートされた分割パターンのうちの1つをシグナリングするシグナリングを含み、前記シグナリングは、
前記サポートされた分割パターンのうちのシグナリングされた前記1つが前記現在ブロック(40)を2つ以上のさらなるブロック(50,60)に細分化することを指定している場合、
前記さらなるブロックのうちの符号化順(70)で最初のさらなるブロック以外のすべてのさらなるブロックについて、
それぞれの前記さらなるブロック(60)のための符号化パラメータ候補のセットから、
前記各さらなるブロック(60)と統合すると前記サポートされた分割パターンのうちの1つとなる、符号化パラメータ候補が取り除かれることを示し、
前記各さらなるブロックのための前記符号化パラメータ候補のセットは、前記各さらなるブロックに隣接する以前に復号化されたブロックに関連付けられた符号化パラメータに少なくとも部分的に基づいて決定され、前記決定によって符号化パラメータ候補の一定数に達しなかった場合、補助的な符号化パラメータ候補で前記符号化パラメータ候補のセットを完成して、前記符号化パラメータ候補のセット内の符号化パラメータ候補の数が前記一定数になるようにする、
方法。
【請求項20】
前記画像には追加情報として距離画像が関連付けられている、請求項18または請求項19に記載の方法。
【請求項21】
情報サンプルのアレイは、前記画像の異なる平面に関係する、互いに独立して符号化されているサンプルアレイのうちの1つである、請求項18または請求項19に記載の方法。
【外国語明細書】