特許 5805991 ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5805991

(24)【登録日】2015年9月11日

(45)【発行日】2015年11月10日

(54)【発明の名称】ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム

(51)【国際特許分類】

   H04N 19/70 20140101AFI20151021BHJP

   H04N 19/109 20140101ALI20151021BHJP

   H04N 19/157 20140101ALI20151021BHJP

   H04N 19/176 20140101ALI20151021BHJP

   H04N 19/59 20140101ALI20151021BHJP

【ＦＩ】

   H04N19/70

   H04N19/109

   H04N19/157

   H04N19/176

   H04N19/59

【請求項の数】21

【外国語出願】

【全頁数】17

(21)【出願番号】特願2011-102960(P2011-102960)

(22)【出願日】2011年5月2日

(65)【公開番号】特開2011-239394(P2011-239394A)

(43)【公開日】2011年11月24日

【審査請求日】2014年4月25日

(31)【優先権主張番号】1053562

(32)【優先日】2010年5月7日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】フランソワ，エドウアール

(72)【発明者】

【氏名】ソロー，ドミニク

(72)【発明者】

【氏名】シ，サーシヤ

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特表２００８−５４４７０８（ＪＰ，Ａ）

【文献】 特開２００９−００５２８０（ＪＰ，Ａ）

【文献】 特表２００６−５００７９６（ＪＰ，Ａ）

【文献】 特開２００４−１７９６８７（ＪＰ，Ａ）

【文献】 特開２００３−３３３６０２（ＪＰ，Ａ）

【文献】 特開２００３−３１９３９８（ＪＰ，Ａ）

【文献】 特開平１０−１３６３７５（ＪＰ，Ａ）

【文献】 特開平０５−０５６４１６（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０３０７４４（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０８８９７６（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０７８１５０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

符号化ツールおよび／またはそれらに関連付けられた符号化パラメータのセットを指定する符号化方法に従って符号化されたピクチャ・シーケンスの再構築方法であって、前記ピクチャは複数の符号化エンティティに分割され、
− ＩＮＴＥＲモードで符号化される符号化エンティティについて、前記符号化エンティティを符号化するために使用される少なくとも１つの参照ピクチャを決定するステップと、
− 前記符号化エンティティが属するピクチャの少なくとも一部に関連付けられたヘッダから、前記少なくとも１つの参照ピクチャに関するプロファイル識別子を復号するステップと、
符号化ツールを用いて前記少なくとも１つの参照ピクチャから前記符号化エンティティを再構築するステップであって、前記符号化ツールは前記符号化ツールに関連付けられた符号化パラメータによって構成され、前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータは前記プロファイル識別子によって識別されたプロファイルによって定められる、ステップと、
を含む、前記再構築方法。

【請求項2】

前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータは、
− 動きベクトルピクセル精度と、
− 動き補償フィルタタイプと、
のうちの少なくとも１つを含む、請求項１に記載の再構築方法。

【請求項3】

前記ピクチャ・シーケンスの少なくとも一部に関連付けられたヘッダ中で、いくつかのプロファイルを指定するデータ項目を復号し、各々のプロファイルは参照ピクチャのタイプに関連付けられ、プロファイル毎に、符号化ツールおよび／またはそれらに関連付けられた符号化パラメータのセットを定義するデータを復号するステップをさらに含む、請求項１又は２に記載の再構築方法。

【請求項4】

前記プロファイル識別子が、前記符号化エンティティが属するピクチャのスライスヘッダから復号される、請求項１から３の何れか一項に記載の再構築方法。

【請求項5】

前記プロファイル識別子が、前記符号化エンティティが属するピクチャのピクチャヘッダから復号される、請求項１から３の何れか一項に記載の再構築方法。

【請求項6】

前記参照ピクチャのタイプが、
ソース・ピクチャ、
フィルタリング済みピクチャ、および
動き補償済みピクチャ、
を含むピクチャ・タイプのセットが属する、請求項１から５の何れか一項に記載の再構築方法。

【請求項7】

前記符号化エンティティの前記再構築ステップが、
前記符号化エンティティについて、前記少なくとも１つの参照ピクチャの動き補償によって予測符号化エンティティを決定するステップと、
前記符号化エンティティについて、係数符号化エンティティを復号するステップと、
前記係数符号化エンティティを、逆量子化係数符号化エンティティに逆量子化するステップと、
前記逆量子化係数符号化エンティティを、残差符号化エンティティに変換するステップと、
前記予測符号化エンティティと前記残差符号化エンティティをマージして、前記再構築された符号化エンティティを形成するステップと、
を含む、請求項１から６の何れか一項に記載の再構築方法。

【請求項8】

前記参照ピクチャが低域フィルタでフィルタリングされたピクチャであるとき、前記符号化エンティティを再構築するために使用される前記符号化ツールが、前記符号化方法によって指定される符号化ツールおよび／または関連付けられた符号化パラメータの前記セットのサブセットである、請求項１から７の何れか一項に記載の再構築方法。

【請求項9】

前記サブセットが、
双一次補間フィルタを用い、１／２のピクセル精度の動きベクトルを用いる動き補償と、
低周波数に有利な量子化マトリクスを用いた一様量子化と、
前記参照ピクチャの低域フィルタリングの方向に適応した変換済み係数の走査を用いるエントロピ符号化と、を含む、請求項８に記載の再構築方法。

【請求項10】

前記参照ピクチャが解像度を改善するフィルタを用いてフィルタリングされたピクチャであるとき、前記符号化エンティティを再構築するために使用される前記符号化ツールおよび／または関連付けられた符号化パラメータが、多相一次補間フィルタを用い、１／８のピクセル精度の動きベクトルを用いる動き補償を含む、請求項１から７の何れか一項に記載の再構築方法。

【請求項11】

前記参照ピクチャが大域動きモデルに従った動き補償ピクチャであるとき、前記符号化エンティティを再構築するために使用される前記符号化ツールが、
Ｎに制限された範囲を有する１／８のピクセル精度の動きベクトルを用いる双一次補間フィルタを用いる動き補償、
サイズ１６×１６のブロックに制限されたパーティショニング、および
他より優先度の高いスキップ・モード、
を含む符号化ツールおよび／または関連付けられた符号化パラメータを含む、請求項１から７の何れか一項に記載の再構築方法。

【請求項12】

Ｎ＝２である、請求項１１に記載の再構築方法。

【請求項13】

ピクチャ・シーケンスの符号化方法であって、前記ピクチャは複数の符号化エンティティに分割され、
− ＩＮＴＥＲモードで符号化される符号化エンティティについて、前記符号化エンティティを符号化するために使用される少なくとも１つの参照ピクチャを決定するステップと、
− 符号化ツールを用いて前記少なくとも１つの参照ピクチャから前記符号化エンティティを符号化するステップであって、前記符号化ツールは、前記参照ピクチャに従って決定された前記符号化ツールに関連付けられた符号化パラメータによって構成される、ステップと、
− 前記符号化エンティティが属する前記ピクチャの少なくとも一部に関連付けられたヘッダ中で、プロファイルを識別する、前記少なくとも１つの参照ピクチャに関するプロファイル識別子を符号化するステップであって、当該識別されたプロファイルは前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータのセットを定める、ステップと、
を含む、前記符号化方法。

【請求項14】

前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータは、
− 動きベクトルピクセル精度と、
− 動き補償フィルタタイプと、
のうちの少なくとも１つを含む、請求項１３に記載の符号化方法。

【請求項15】

前記ピクチャ・シーケンスの少なくとも一部に関連付けられたヘッダ中で、いくつかのプロファイルを指定するデータ項目を符号化し、各々のプロファイルは参照ピクチャのタイプに関連付けられ、プロファイル毎に、符号化ツールおよび／またはそれらに関連付けられた符号化パラメータのセットを定義するデータを符号化するステップをさらに含む、請求項１３又は１４に記載の符号化方法。

【請求項16】

符号化ツールおよび／またはそれらに関連付けられた符号化パラメータのセットを指定する符号化方法に従って符号化されたピクチャ・シーケンスの再構築する復号デバイスであって、前記ピクチャは複数の符号化エンティティに分割され、
− ＩＮＴＥＲモードで符号化される符号化エンティティについて、前記符号化エンティティを符号化するために使用される少なくとも１つの参照ピクチャを決定する手段と、
− 前記符号化エンティティが属するピクチャの少なくとも一部に関連付けられたヘッダから、前記少なくとも１つの参照ピクチャに関するプロファイル識別子を復号する手段と、
符号化ツールを用いて前記少なくとも１つの参照ピクチャから前記符号化エンティティを再構築する手段であって、前記符号化ツールは前記符号化ツールに関連付けられた符号化パラメータによって構成され、前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータは前記プロファイル識別子によって識別されたプロファイルによって定められる、手段と、
を含む、前記復号デバイス。

【請求項17】

前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータは、
− 動きベクトルピクセル精度と、
− 動き補償フィルタタイプと、
のうちの少なくとも１つを含む、請求項１６に記載の復号デバイス。

【請求項18】

前記ピクチャ・シーケンスの少なくとも一部に関連付けられたヘッダ中で、いくつかのプロファイルを指定するデータ項目を復号し、各々のプロファイルは参照ピクチャのタイプに関連付けられ、プロファイル毎に、符号化ツールおよび／またはそれらに関連付けられた符号化パラメータのセットを定義するデータを復号する手段をさらに含む、請求項１６又は１７に記載の復号デバイス。

【請求項19】

ピクチャ・シーケンスを符号化する符号化デバイスであって、前記ピクチャは複数の符号化エンティティに分割され、
− ＩＮＴＥＲモードで符号化される符号化エンティティについて、前記符号化エンティティを符号化するために使用される少なくとも１つの参照ピクチャを決定する手段と、
− 符号化ツールを用いて前記少なくとも１つの参照ピクチャから前記符号化エンティティを符号化する手段であって、前記符号化ツールは、前記参照ピクチャに従って決定された前記符号化ツールに関連付けられた符号化パラメータによって構成される、手段と、
− 前記符号化エンティティが属する前記ピクチャの少なくとも一部に関連付けられたヘッダ中で、プロファイルを識別する、前記少なくとも１つの参照ピクチャに関するプロファイル識別子を符号化する手段であって、当該識別されたプロファイルは前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータのセットを定める、手段と、
を含む、前記符号化デバイス。

【請求項20】

前記符号化ツール及び／又はそれらに関連付けられた符号化パラメータは、
− 動きベクトルピクセル精度と、
− 動き補償フィルタタイプと、
のうちの少なくとも１つを含む、請求項１９に記載の符号化デバイス。

【請求項21】

前記ピクチャ・シーケンスの少なくとも一部に関連付けられたヘッダ中で、いくつかのプロファイルを指定するデータ項目を符号化し、各々のプロファイルは参照ピクチャのタイプに関連付けられ、プロファイル毎に、符号化ツールおよび／またはそれらに関連付けられた符号化パラメータのセットを定義するデータを符号化する手段をさらに含む、請求項１９又は２０に記載の符号化デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピクチャ符号化の分野全般に関する。

【0002】

本発明は、ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および上記ピクチャ・シーケンスを表す符号化データのストリームに関する。

【背景技術】

【0003】

あるピクチャ・シーケンスの現在のピクチャを、当該シーケンス中の以前に符号化して再構築した参照ピクチャと呼ばれるその他のピクチャを用いた時間予測によって符号化することは、当技術分野で既知である。これらの参照ピクチャは、バッファに記憶される。

【0004】

また、このようなバッファに、同じ参照ピクチャの異なるバージョン、例えばこの参照ピクチャの１つまたは複数のフィルタリング済みバージョンを記憶することも、当技術分野で既知である。

【0005】

現在のピクチャの符号化では、例えば符号化モード、量子化、エントロピ符号化、動き補償など、様々なパラメータで構成された様々な符号化ツールを実施する。例えば、動き補償は、動きベクトルの精度によって構成され、量子化は、一様または対数といった量子化タイプによって構成される。

【0006】

現在のピクチャの符号化中、またはその再構築中に、実施される符号化構成、すなわち符号化ツールおよび／または関連する符号化パラメータは、符号化または再構築の対象である現在のピクチャに応じて指定される。例えば、ビデオ符号化標準Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、あるピクチャのブロックの符号化モードを、この現在のピクチャのタイプに応じて指定する。現在のピクチャがタイプＩである場合には、空間予測モード（ＩＮＴＲＡモード）のみが許可され、現在のピクチャがタイプＰである場合には、ＩＮＴＲＡモードに加えて一方向時間予測モード（ＩＮＴＥＲモード）が許可される。

【0007】

符号化対象の現在のピクチャのタイプに応じて指定すると、考慮する様々なピクチャ・タイプに不適当な符号化構成を用いることが避けられるので、効率的である。しかし、ピクチャまたはピクチャ・ゾーン内で、頻繁に使用される構成と、稀にしか使用されない構成がある場合もある。この場合、稀にしか使用されない構成でも通信することが可能でなければならないので、余計な通信コストがかかり、符号化効率が低下する。

【発明の概要】

【0008】

本発明の目的は、従来技術の欠点の少なくとも１つを克服することである。この目的のために、本発明は、符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを指定する符号化方法に従って符号化された、ピクチャが複数の符号化エンティティに分割されるピクチャ・シーケンスの再構築方法に関する。本発明による再構築方法は、ＩＮＴＥＲモードで符号化される各符号化エンティティ毎に、
符号化エンティティについて少なくとも１つの参照ピクチャを決定するステップと、
符号化ツールに関連する符号化パラメータによって構成された符号化ツールを用いて、上記少なくとも１つの参照ピクチャから符号化エンティティを再構築するステップと、を含む。
符号化ツールおよび／または関連する符号化パラメータは、参照ピクチャによって決まるので有利である。

【0009】

本発明の特に有利な特徴によれば、この再構築方法は、上記少なくとも１つの参照ピクチャと関連付けられたプロファイル識別子を復号するステップも含み、プロファイルは、符号化ツールおよび／または関連する符号化パラメータのセットを定義する。

【0010】

本発明の特定の特徴によれば、プロファイル識別子は、符号化エンティティが属するピクチャのヘッダから復号される。

【0011】

本発明の別の特定の特徴によれば、プロファイル識別子は、符号化エンティティが属するピクチャ・スライスのヘッダから復号される。

【0012】

特定の実施例によれば、この再構築方法は、いくつかのプロファイルを復号し、且つ各プロファイル毎に、符号化ツールおよび／またはそれらのツールに関連する符号化パラメータのセットを指定するデータを復号するステップも含む。

【0013】

符号化エンティティの再構築ステップは、
符号化エンティティについて、上記少なくとも１つの参照ピクチャの動き補償によって予測符号化エンティティを決定するステップと、
符号化エンティティについて、係数符号化エンティティを復号するステップと、
係数符号化エンティティを、逆量子化係数符号化エンティティに逆量子化するステップと、
逆量子化係数符号化エンティティを、残差符号化エンティティに変換するステップと、
予測符号化エンティティと残差符号化エンティティをマージして、再構築符号化エンティティを形成するステップとを含むので、有利である。

【0014】

本発明の特定の特徴によれば、参照ピクチャが、低域フィルタでフィルタリングされたピクチャである場合には、符号化エンティティを再構築するために使用される符号化ツールは、符号化方法によって指定される符号化ツールおよび／または関連する符号化パラメータのセットのサブセットである。

【0015】

このサブセットは、
双一次補間フィルタを用い、１／２のピクセル精度の動きベクトルを用いる動き補償と、
低周波数に有利な量子化マトリクスを用いた一様量子化と、
参照ピクチャの低域フィルタリングの方向に適応した変換済み係数の走査を用いるエントロピ符号化と、を含むので有利である。

【0016】

本発明の別の特定の特徴によれば、参照ピクチャが、解像度を高めたフィルタを用いてフィルタリングされたピクチャである場合には、符号化エンティティを再構築するために使用される符号化ツールおよび／または関連する符号化パラメータは、多相一次補間フィルタを用い、１／８のピクセル精度の動きベクトルを用いる動き補償を含む。

【0017】

本発明の別の特定の特徴によれば、参照ピクチャが、大域動きモデルによる動き補償ピクチャである場合には、符号化エンティティを再構築するために使用される符号化ツールは、
Ｎに制限された範囲を有する１／８のピクセル精度の動きベクトルを用いる双一次補間フィルタを用いる動き補償、
サイズ１６×１６のブロックに制限されたパーティショニング、および
好ましいスキップ・モード、を含む符号化ツールおよび／または関連する符号化パラメータを含む。

【0018】

本発明の特定の特性によれば、Ｎ＝２である。

【0019】

また、本発明は、複数の符号化エンティティに分割されたピクチャ・シーケンスを表す符号化データのストリームであって、該ピクチャ・シーケンスの少なくとも一部に関連するヘッダ中に、いくつかのプロファイルを指定するデータ項目を含み、且つ各プロファイル毎に、符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを定義するデータを含み、該シーケンスの各ピクチャ毎に、該ピクチャの少なくとも一部分に関連するヘッダ中に、該ピクチャの一部分の符号化エンティティを符号化するために使用される各参照ピクチャについて関連するプロファイルを示す識別子を含む、ストリームにも関する。

【0020】

また、本発明は、ピクチャが複数の符号化エンティティに分割されるピクチャ・シーケンスの符号化方法にも関する。この符号化方法は、ＩＮＴＥＲモードで符号化される各符号化エンティティ毎に、
符号化エンティティについて、少なくとも１つの参照ピクチャを決定するステップと、
符号化ツールに関連する符号化パラメータによって構成される符号化ツールを用いて、上記少なくとも１つの参照ピクチャから符号化エンティティを符号化するステップと、を含む。
符号化ツールおよび／または関連する符号化パラメータは、参照ピクチャによって決まるので、有利である。

【0021】

添付の図面に示す本発明を制限するものではない実施例および有利な実施態様により、本発明はより良く理解され、説明される。

【図面の簡単な説明】

【0022】

【図1】本発明による再構築方法を示す図である。

【図2】本発明による符号化方法を示す図である。

【図3】本発明による復号装置を示す図である。

【図4】本発明による符号化装置を示す図である。

【発明を実施するための形態】

【0023】

ピクチャは、少なくとも１つのピクチャ・データ項目がそれぞれに関連付けられた、複数のピクセルまたはピクチャ・ポイントを含む。ピクチャ・データ項目は、例えば、輝度データ項目またはクロミナンス・データ項目である。

【0024】

「符号化エンティティ」という用語は、符号化または再構築対象のピクチャの基本構造を指す。符号化エンティティは、当該ピクチャのピクセルのサブセットを含む。あるピクチャの符号化エンティティのセットは、共通のピクセルを有する可能性もあるし、有していない可能性もある。一般に、符号化エンティティは、ピクセルのブロックである。ただし、「符号化エンティティ」という用語は、総称的なものであり、円や多角形など、任意の形状の領域を指すことができる。以後、説明を簡単にするために「ブロック」という用語を用いる。ただし、本明細書を通じて、この用語は、符号化エンティティという総称名で置き換えることができる。

【0025】

「残差」または「予測残差」という用語は、その他のデータの抽出後に得られるデータを指す。抽出は、一般には、ソース・ピクセルから予測ピクセルを減算することである。ただし、抽出は、より一般的であり、とりわけ加重減算を含む。

【0026】

「再構築」という用語は、残差を予測データとマージした後に得られるデータ（例えばピクセル、符号化エンティティ、ブロックなど）を指す。マージは、一般には、予測ピクセルを残差と合計することである。ただし、マージは、より一般的であり、とりわけ加重和を含む。再構築符号化エンティティは、再構築ピクセルを含む符号化エンティティである。

【0027】

ピクチャの復号に関して、「再構築」および「復号」は、同義語として使用されることが極めて多い。従って、「再構築ブロック」は、「復号ブロック」という用語でも表される。

【0028】

ピクチャ・シーケンスは、一般に、ＧＯＰ（グループ・オブ・ピクチャ）で構成される。各ピクチャは、複数のブロックで構成される。各ブロックは、一般に、ピクチャ・スライスに属するので、ピクチャ・スライスはいくつかのブロックで構成される。

【0029】

別のピクチャを予測するために使用される参照ピクチャは、シーケンス中で、参照ピクチャ指標を用いて識別される。

【0030】

本発明によれば、参照ピクチャ・バッファは、様々なピクチャ・タイプに対応する複数のピクチャを含む。これらのピクチャは、特に、以下のタイプに対応する可能性がある。
「ソース・タイプ」ピクチャ。すなわち、以前に再構築された、別々の瞬間に対応する複数のピクチャ。
「フィルタリング・タイプ」ピクチャ。すなわち、以前に再構築されたピクチャのフィルタリングされたバージョン。例えば、空間精細度が低下している。
「補償タイプ」ピクチャ。すなわち、以前に再構築されたピクチャの動き補償されたバージョン。例えば、大域動きで補償された参照ピクチャなど。

【0031】

本発明は、図１を参照して説明する再構築方法、および図２を参照して説明する、それに対応する符号化方法に関する。本発明によれば、符号化方法または再構築方法は、使用する参照ピクチャに応じて当該プロセスが動的に適応するような方法で、現在のブロックを予測するために使用される参照ピクチャに従って現在のブロックをＩＮＴＥＲモードすなわち時間予測モードで符号化または再構築するプロセスを特殊化したものである。この符号化構成および再構築構成は、現在のブロックを符号化するために使用される符号化ツールおよび／またはそれらに関連する符号化パラメータを修正することによって適応する。ツールの例としては、以下が挙げられる。
ＩＮＴＥＲタイプ符号化モード。例えば、単一の参照ピクチャを指すＰモード（一方向）、２つの参照ピクチャを指すＢモード（双方向）、動き情報または残差情報の符号化を必要としないスキップ・モードなど。
ブロックのパーティションを記述するパーティショニング・タイプ。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣビデオ符号化標準は、マクロブロックに対して、１６×１６、１６×８、８×１６、８×８、のパーティションを定義している。８×８のパーティションは、さらに８×４、４×８、４×４のサブ・パーティションにスライスすることができる。
動きベクトルの精度、場合によってはそれらのベクトルの最大振幅や、補間フィルタのサイズおよび係数によって構成される、動き補償タイプ（例えば、双一次フィルタ、双三次フィルタ、ランチョス・フィルタなどを用いた動き補償など）。
量子化ステップ、場合によっては量子化ステップ・オフセット（ピクチャに帰せられるステップに対するオフセット）や量子化マトリクス、「不感帯」のサイズによって構成される量子化タイプ（一様、対数など）。
変換のサイズや、場合によっては変換係数の値によって構成される、符号化／再構築方法においていくつかのバージョン（例えば離散コサイン変換，離散ウェーブレット変換、離散サイン変換、カルーネン・レーベ変換など）を指定することができる変換タイプ。
とりわけ変換係数の走査タイプによって構成されるエントロピ符号化／復号タイプ（例えば可変長符号化、コンテキスト適応二値算術符号化（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、算術符号化など）。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準の場合には、ＣＡＢＡＣ（コンテキスト適応二値算術符号化）符号化は、とりわけ、コンテキスト、初期確率、および確率収束速度によって構成される。

【0032】

本発明によれば、とりわけ上記に定義した参照ピクチャ・タイプに従って、様々なプロファイルが定義される。従って、それぞれが参照ピクチャ・タイプと関連付けられる。各プロファイルは、符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを定義する。例えば、以下のようなプロファイルが定義される。
ジェネリック（ｇｅｎｅｒｉｃ）プロファイル。「ソース・タイプ」参照ピクチャに適用され、標準ツール（例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準で指定される符号化ツール）およびそれらに関連する符号化パラメータを含む。
低解像度プロファイル。低域フィルタを用いた「フィルタリング・タイプ」参照ピクチャに適用される。このフィルタは、フィルタリングの向きを優先したい場合には、等方性または指向性にすることができる。このプロファイルは、「フィルタリング・タイプ」参照ピクチャの場合に特に適応させたジェネリック・プロファイルのサブセットである。このプロファイルは、以下のツールと、それらに関連する符号化パラメータとを含む。
○双一次補間フィルタを用い、１／２のピクセル精度の動きベクトルを用いた動き補償。信号が比較的「フラット」であるため、複雑な補間フィルタを用いても意味がなく、同じ理由から、動きもそれほど精密である必要がない。参照ピクチャを生成する際に適用したフィルタが指向性である（向きによって不鮮明になる）場合にはなおさらであり、この向きに応じた動きの精度は直角方向では低下する可能性があるが、元の精度は維持される。
○低い周波数に有利な量子化マトリクスを用いた一様量子化。実際には、参照ピクチャとして使用した場合には、低域フィルタリング済みピクチャであり、これは、フラットなテクスチャ、従って高い周波数をほとんど含まないテクスチャが好ましいということになるので、こうした低い周波数での符号化を優先することが好ましい。
○エントロピ符号化。どのようなタイプであっても（つまり、この場合には符号化パラメータしか指定されない）、低域フィルタリングが異方性である場合、典型的な例として、参照ピクチャの低域フィルタリングを水平方向にしか実施しない場合には、そのフィルタリングの方向に適応させた変換済み係数の走査を用いる。変換済み係数は、むしろ垂直軸方向に高い周波数を示すので、この軸に沿った変換済み係数の走査を優先することが好ましい。
○低解像度プロファイルのその他の符号化ツールおよび／またはそれらに関連する符号化パラメータは、ジェネリック・プロファイルの符号化ツールおよび／または符号化パラメータに対応する。
高解像度プロファイル。解像度が改善され、例えばコントラストを高める、すなわち参照ピクチャの輪郭をさらに際立たせることができるフィルタを用いた「フィルタリング・タイプ」参照ピクチャに適用される。このプロファイルは、以下のツールおよびそれらに関連する符号化パラメータを含む。
○多相一次補間フィルタ（相数は動き精度によって規定される）を用い、１／８のピクセル精度の動きベクトルを用いた動き補償。
○高解像度プロファイルのその他の符号化ツールおよび／またはそれらに関連する符号化パラメータは、ジェネリック・プロファイルの符号化ツールおよび／または符号化パラメータに対応する。
大域動き補償（ＧＭＣ）プロファイル。大域動きモデルに基づいて動き「補償タイプ」参照ピクチャに適用される。このプロファイルは、以下のツールおよびそれらに関連する符号化パラメータを含む。
○双一次補間フィルタを用いた動き補償。既に実行されている動き補償により、信号を精密に解釈することは既に可能になっているので、狭い範囲の動きベクトル（通常は２ピクセル）を用いた比較的単純な補間でアプリオリに十分である。実際に、参照ピクチャは既に動き補償されているので、符号化動きベクトルは、動き補償残余誤差を補正する働きしかしない。動き残余誤差の補正は精密にすることが可能でなければならないので、１／８ピクセルの精度の動きベクトルを用いる。
○大域動き補償としてのみの１６×１６パーティショニングは、ピクチャの大領域に適用される。
○スキップ・モードは好ましい。すなわち、他の可能なモードより、このモードの方が優先される。
○ＧＭＣプロファイルのその他の符号化ツールおよび／またはそれらに関連する符号化パラメータは、ジェネリック・プロファイルの符号化ツールおよび／または符号化パラメータに対応する。

【0033】

他の変形形態によれば、アドホック・プロファイルを定義することもできる。

【0034】

アドホック・プロファイルは、参照ピクチャの使用解析後に符号化方法によって動的に定義される。例えば、第１の符号化パス中には、ツールおよび許可された構成のセットを、全ての参照ピクチャに対して使用する。その後、参照ピクチャのタイプに応じて使用されたツールの解析を実行する。この解析で、ツールおよび／またはツール構成が、厳密には一部の参照ピクチャに対して使用されたことが分かった場合には、これらの参照ピクチャについて、適応プロファイルを定義し、通信することができる。第２の符号化パス中には、これらの定義されたプロファイルを使用するので、通信コストの低下により、符号化効率が向上する。例えば、第１の符号化中には、いくつかの参照ピクチャ上で、所与の動き補償タイプ（例えば双一次フィルタを用いるもの）が、大多数の場合に保持されるように見えることがある。その後、第２の符号化パスのこの参照ピクチャのプロファイルにおいては、この動き補償タイプが優先される。第２の例によれば、スキップ・モードは、使用する参照ピクチャに応じて特殊化される。ある参照ピクチャに対して、大多数の場合に所与の符号化構成（例えばＡＶＣ補間フィルタおよび１／２のピクセル精度の動きベクトルを用いた１６×１６パーティショニング）が使用される場合、ならびにこの大多数構成について、符号化対象の予測残差が統計的にしばしばヌルである場合には、スキップ・モードは、この大多数構成と関連付けられることになる。すなわち、スキップ・モードで符号化されたブロックは、ＡＶＣ補間フィルタおよび１／２のピクセル動き精度を用いた１６×１６ブロックの動き補償によって再構築される。

【0035】

図１は、符号化データのストリームＦの形態で表されるビデオ・シーケンスの現在のピクチャＩｃの現在のブロックＢｃの再構築方法を示す図である。現在のブロックは、現在のスライスＳｃにも属している。この再構築方法は、図３に示すようにビデオ・デコーダで実施されることが好ましい。

【0036】

ステップ１０で、ストリームＦの現在のブロックについて符号化モードＤＥＣ＿ＭＯＤＥを復号する。

【0037】

ステップ１２で、現在のブロックの符号化モードがＩＮＴＥＲモードであるときには、ストリームＦの現在のブロックについて、現在のブロックを予測する際に使用する参照ピクチャの１つまたは複数の指標を復号する。このステップの変形形態によれば、現在のブロックについて、現在のブロックを予測する際に使用する参照ピクチャの１つまたは複数の指標を、現在のブロックに空間的に隣接する現在のブロック以前に再構築されたブロックに関連する参照ピクチャの１つまたは複数の指標から、あるいは最後に再構築されたピクチャの同じ位置にあるブロックから、決定する。

【0038】

ステップ１４で、ステップ１２で決定された指標によって識別される１つまたは複数の参照ピクチャに応じて決定された符号化ツールおよび／またはそれらに関連する符号化パラメータを用いて、現在のブロックを再構築する。この目的のために、現在のピクチャブロックＩｃを再構築するために使用される各参照ピクチャ毎に、ストリームＦから、例えばピクチャＩｃのヘッダからプロファイル識別子を復号する。変形形態によれば、現在のスライス・ブロックＳｃを再構築するために使用される各参照ピクチャ毎に、ストリームＦから、例えばスライスＳｃのヘッダからプロファイル識別子を復号する。各プロファイルは、符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを定義する。これらのプロファイルは、例えば、ピクチャ・シーケンス中のヘッダ、またはグループ・オブ・ピクチャのヘッダにおいて指定することができる。そのうちの一部は、デフォルトで定義することができるので、ストリームＦ中になくてもよい。従って、ステップ１２で復号された参照ピクチャの指標を用いて、現在のブロックＢｃについて、その再構築に必要なバッファの参照ピクチャを決定する。ヘッダＩｃまたはＳｃの復号したプロファイル識別子を用いて、関連するプロファイルと、従って現在のブロックＢｃを再構築するための符号化ツールおよび／またはそれらに関連する符号化パラメータとを、使用した各参照ピクチャ毎に決定する。ブロックが２つの異なるプロファイルを用いて２つの参照ピクチャから双方向予測モードで予測される場合には、以下の３通りの場合を考慮する。
１．２つのプロファイルのツールおよび／またはそれらに関連する符号化パラメータが同じである。この場合には、それらは、そのまま適用することができる。
２．２つのプロファイルのツールおよび／またはそれらに関連する符号化パラメータが一致せず、双方向予測モードの各一方向予測に対して独立して適用される（例えば、動き補償が各一方向予測に独立して適用され、その結果として、各予測の補間フィルタおよび動きベクトル精度が一致しない）。この場合には、ツールおよび符号化パラメータは、各一方向予測毎に独立して、プロファイルに指定されている通りに適用される。
３．各プロファイルに指定されているツールおよび／またはそれらに関連する符号化パラメータがそのまま一致する（例えば、予測残差の量子化）。この場合には、ジェネリック・プロファイルに指定される構成が使用される。

【0039】

次いで、ブロックＢｃを、時間予測ブロックと残差ブロックのマージによる標準的な方法で再構築する。残差ブロックは、ストリームＦの一部を係数ブロックに復号し、次いでこの係数ブロックに、逆量子化と、場合によっては逆変換とを適用することによって得られる。

【0040】

図２は、符号化データのストリームＦの形態で表されるビデオ・シーケンスの現在のピクチャの現在のブロックＢｃの符号化方法を示す図である。現在のブロックは、現在のスライスＳｃにも属している。この符号化方法は、図４に示すようなビデオ・コーダで実施されることが好ましい。

【0041】

ステップ２０で、現在のブロックについて符号化モードＤＥＴ＿ＭＯＤＥを決定する。

【0042】

ステップ２２で、現在のブロックの符号化モードがＩＮＴＥＲモードであるときには、現在のブロックについて、現在のブロックを予測する際に使用する参照ピクチャの１つまたは複数の指標ＤＥＴ＿ＩＤＸを決定する。このステップの変形形態によれば、現在のブロックについて、現在のブロックを予測する際に使用する参照ピクチャの１つまたは複数の指標を、現在のブロックに空間的に隣接する現在のブロック以前に符号化されたブロックに関連する参照ピクチャの１つまたは複数の指標から、あるいは最後に符号化されたピクチャの同じ位置にあるブロックから、決定する。

【0043】

ステップ２４で、ステップ２２で決定された指標によって識別される１つまたは複数の参照ピクチャに応じて決定された符号化ツールおよび／またはそれらに関連する符号化パラメータを用いて、現在のブロックを符号化する。

【0044】

ステップ２２で決定された参照ピクチャの指標を用いて、現在のブロックＢｃについて、その符号化に必要なバッファの参照ピクチャを決定する。このようにして決定された参照ピクチャのタイプに応じて、１つまたは複数の関連するプロファイルを推定する。例えば、現在のブロックＢが、低域フィルタによる「フィルタリング」タイプ参照ピクチャから予測される場合には、低解像度プロファイルを使用する。その後、現在のブロックから時間予測ブロックを抽出して残差ブロックを得ることによって、標準的な方法でブロックＢｃを符号化する。予測ブロックは、動きベクトルによる参照ピクチャの動き補償によって得られる。次いで、残差ブロックをストリームＦ中で変換し、量子化し、符号化する。低解像度プロファイルを用いるということは、特に、動き補償において、１／２のピクセル精度の動きベクトルおよび双一次補間フィルタを用いることを意味する。

【0045】

プロファイル識別子も、ストリームＦ中で、例えばピクチャＩｃのヘッダ中で符号化され、これは、現在のピクチャＩｃのブロックを符号化するために使用される各参照ピクチャ毎に行われる。変形形態によれば、プロファイル識別子は、現在のスライスＳｃのブロックを符号化するために使用される各参照ピクチャ毎に、ストリームＦ中で、例えばスライスＳｃのヘッダ中で符号化される。

【0046】

各プロファイルは、符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを定義する。これらのプロファイルは、例えば、ピクチャ・シーケンスのヘッダ、またはグループ・オブ・ピクチャのヘッダにおいて指定することができる。そのうちの一部は、デフォルトで定義することができるので、ストリームＦ中になくてもよい。ＩｃまたはＳｃのヘッダに符号化されたプロファイル識別子を用いて、関連するプロファイルと、従って現在のブロックＢｃを符号化するための符号化ツールおよび／またはそれらに関連する符号化パラメータとを、使用した各参照ピクチャ毎に決定することができる。

【0047】

また、本発明は、ピクチャ・シーケンスを表す符号化データのストリームまたは符号化データ構造であって、当該シーケンスまたは当該シーケンスの一部すなわちグループ・オブ・ピクチャに関連するヘッダ中に、いくつかのプロファイルを定義するデータ項目を含み、且つ各プロファイル毎に符号化ツールおよびまたはそれらに関連する符号化パラメータのセットを定義するデータを含む、符号化データのストリームまたは符号化データ構造にも関する。符号化データのストリームは、各ピクチャＩｃまたは各ピクチャ・スライスＳｃのヘッダ中に、このピクチャＩｃまたはスライスＳｃのブロックを符号化するために使用される各参照ピクチャ毎にそれと関連するプロファイルを示す識別子も含む。

【0048】

図３は、復号装置１３を示す概略図である。復号装置１３は、入力において、ピクチャを表すストリームＦを受信する。ストリームＦは、例えば、符号化装置１２からチャネルを介して伝送される。復号装置１３は、図１を参照して説明した本発明による再構築方法を実施することができる。復号装置１３は、復号データを生成することができるエントロピ復号モジュール１３００を備える。復号されたデータは、次いで、逆量子化ＩＱを実行し、その後に逆変換ＩＴを実行することができるモジュール１３０２に伝送される。モジュール１３０２は、モジュール１３０２からのブロックと予測ブロックＢｐとをマージして再構築した現在のブロックＢｃを生成することができる計算モジュール１３０４に接続され、再構築された現在のブロックＢｃは、メモリ１３０６に記憶される。復号装置１３は、動き補償モジュール１３０８も備える。動き補償モジュール１３０８は、メモリ１３０６に記憶された既に再構築されたピクチャ・データ、およびエントロピ復号モジュール１３００から伝送された復号された動きデータから、予測ブロックＢｐを決定する。復号装置のモジュール１３００、１３０２および１３０８は、この再構築方法のステップ１４で決定された符号化ツールおよび／または関連する符号化パラメータを使用する。

【0049】

図４は、符号化装置１２を示す概略図である。符号化装置１２は、入力において、１つまたは複数のピクチャを受信する。符号化装置１２は、図２を参照して説明した本発明による符号化方法を実施することができる。各ピクチャは、複数のピクセル・ブロックに分割され、そのそれぞれが、少なくとも１つのピクチャ・データ項目と関連付けられる。符号化装置１２は、とりわけ、時間予測を用いた符号化を実施する。図４には、符号化装置１２のモジュールのうち、時間予測による符号化またはＩＮＴＥＲ符号化に関係のあるものだけを示してある。ビデオ・コーダの当業者には既知のその他のモジュール（例えば符号化モードの選択や、空間予測など）は、図示していない。符号化装置１２は、とりわけ、現在のブロックＢｃから予測ブロックＢｐを抽出して残差ブロックＢｒを生成することができる計算モジュール１２００を備える。符号化装置１２は、残差ブロックＢｒを変換し、次いで量子化データに量子化することができるモジュール１２０２をさらに備える。また、符号化装置１２は、ストリームＦ中の量子化データを符号化することができるエントロピ符号化モジュール１２０４も備える。符号化装置１２は、モジュール１２０２の逆動作を実行するモジュール１２０６も備える。モジュール１２０６は、復号装置１３のモジュール１３０２と同じである。モジュール１２０６は、逆量子化ＩＱを実行し、その後に逆変換ＩＴを実行する。モジュール１２０６は、モジュール１２０６からのデータ・ブロックと予測ブロックＢｐとをマージして再構築したブロックを生成することができる計算モジュール１２０８に接続され、再構築されたブロックは、メモリ１２１０に記憶される。動き補償モジュール１２１６は、メモリ１２１０に記憶された既に再構築されたピクチャ・データ、および動き推定モジュール１２１２によって決定された動きデータ（すなわち動きベクトルおよび参照ピクチャ指標）から、予測ブロックＢｐを決定する。符号化装置のモジュール１２０２、１２０４、１２０６および１２１６は、この符号化方法のステップ２４で決定された符号化ツールおよび／または関連する符号化パラメータを使用する。

【0050】

上述したツールおよび符号化パラメータは、排他的なものではない。本発明の範囲内で、その他のツールおよび符号化パラメータも考慮し、使用することができる。例えば、いくつかの予測子によって例えば構成される動きベクトルの予測タイプを挙げることができる（例えば「テンプレート・マッチング」予測子、近接ベクトルのメジアン、同じ位置のブロックのベクトルなど）。
＜付記１＞
符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを指定する符号化方法に従って符号化された、ピクチャが複数の符号化エンティティに分割されるピクチャ・シーケンスの再構築方法であって、ＩＮＴＥＲモードで符号化される各符号化エンティティ毎に、
前記符号化エンティティについて少なくとも１つの参照ピクチャを決定するステップ（１０、１２）と、
符号化ツールに関連する符号化パラメータによって構成された符号化ツールを用いて、前記少なくとも１つの参照ピクチャから前記符号化エンティティを再構築するステップ（１４）と、を含む再構築方法において、
前記符号化ツールおよび／または前記関連する符号化パラメータが、前記参照ピクチャのタイプによって決まることを特徴とする、前記再構築方法。
＜付記２＞
前記ピクチャ・シーケンスの少なくとも一部に関連するヘッダ中で、参照ピクチャのタイプにそれぞれ関連するいくつかのプロファイルを指定するデータ項目を復号し、且つ各プロファイル毎に、符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを定義するデータを復号するステップをさらに含む、付記１に記載の再構築方法。
＜付記３＞
前記符号化エンティティが属するピクチャの少なくとも一部に関連するヘッダ中で、前記少なくとも１つの参照ピクチャと関連付けられた、関連するプロファイルを示すプロファイル識別子を復号するステップをさらに含む、付記２に記載の再構築方法。
＜付記４＞
前記プロファイル識別子が、前記符号化エンティティが属するピクチャ・スライスのヘッダから復号される、付記３に記載の再構築方法。
＜付記５＞
前記参照ピクチャのタイプが、
ソース・ピクチャ、
フィルタリング済みピクチャ、および
動き補償済みピクチャ、を含むピクチャ・タイプのセットが属する、付記１から４の何れか一項に記載の再構築方法。
＜付記６＞
前記符号化エンティティの前記再構築ステップ（１４）が、
前記符号化エンティティについて、前記少なくとも１つの参照ピクチャの動き補償によって予測符号化エンティティを決定するステップと、
前記符号化エンティティについて、係数符号化エンティティを復号するステップと、
前記係数符号化エンティティを、逆量子化係数符号化エンティティに逆量子化するステップと、
前記逆量子化係数符号化エンティティを、残差符号化エンティティに変換するステップと、
前記予測符号化エンティティと前記残差符号化エンティティをマージして、前記再構築符号化エンティティを形成するステップとを含む、付記１から５の何れか一項に記載の再構築方法。
＜付記７＞
前記参照ピクチャが、低域フィルタでフィルタリングされたピクチャである場合に、前記符号化エンティティを再構築するために使用される前記符号化ツールが、前記符号化方法によって指定される符号化ツールおよび／または関連する符号化パラメータのセットのサブセットである、付記１から６の何れか一項に記載の再構築方法。
＜付記８＞
前記サブセットが、
双一次補間フィルタを用い、１／２のピクセル精度の動きベクトルを用いる動き補償と、
低周波数に有利な量子化マトリクスを用いた一様量子化と、
前記参照ピクチャの低域フィルタリングの方向に適応した変換済み係数の走査を用いるエントロピ符号化と、を含む、付記７に記載の再構築方法。
＜付記９＞
前記参照ピクチャが、解像度を高めたフィルタを用いてフィルタリングされたピクチャである場合に、前記符号化エンティティを再構築するために使用される前記符号化ツールおよび／または関連する符号化パラメータが、多相一次補間フィルタを用い、１／８のピクセル精度の動きベクトルを用いる動き補償を含む、付記１から６の何れか一項に記載の再構築方法。
＜付記１０＞
前記参照ピクチャが、大域動きモデルによる動き補償ピクチャである場合に、前記符号化エンティティを再構築するために使用される前記符号化ツールが、
Ｎに制限された範囲を有する１／８のピクセル精度の動きベクトルを用いる双一次補間フィルタを用いる動き補償、
サイズ１６×１６のブロックに制限されたパーティショニング、および
他より優先度の高いスキップ・モード、を含む符号化ツールおよび／または関連する符号化パラメータを含む、付記１から６の何れか一項に記載の再構築方法。
＜付記１１＞
Ｎ＝２である、付記１０に記載の再構築方法。
＜付記１２＞
複数の符号化エンティティに分割されたピクチャ・シーケンスを表す符号化データのストリームであって、前記ピクチャ・シーケンスの少なくとも一部に関連するヘッダ中に、参照ピクチャのタイプにそれぞれ関連するいくつかのプロファイルを指定するデータ項目を含み、各プロファイル毎に、符号化ツールおよび／またはそれらに関連する符号化パラメータのセットを定義するデータを含み、前記シーケンスの各ピクチャ毎に、前記ピクチャの少なくとも一部分に関連するヘッダ中に、前記ピクチャの一部分の符号化エンティティを符号化するために使用される各参照ピクチャについて関連するプロファイルを示すプロファイル識別子を含む、前記ストリーム。
＜付記１３＞
ピクチャが複数の符号化エンティティに分割されるピクチャ・シーケンスの符号化方法であって、ＩＮＴＥＲモードで符号化される各符号化エンティティ毎に、
前記符号化エンティティについて、少なくとも１つの参照ピクチャを決定するステップ（２０、２２）と、
符号化ツールに関連する符号化パラメータによって構成される符号化ツールを用いて、前記少なくとも１つの参照ピクチャから前記符号化エンティティを符号化するステップ（２４）と、を含み、
前記符号化ツールおよび／または前記関連する符号化パラメータが、前記少なくとも１つの参照ピクチャのタイプによって決まることを特徴とする、前記符号化方法。

【符号の説明】

【0051】

１２ 符号化装置
１３ 復号装置
１２００ 計算モジュール
１２０２ モジュール
１２０４ エントロピ符号化モジュール
１２０６ モジュール
１２０８ 計算モジュール
１２１０ メモリ
１２１２ 動き推定モジュール
１２１６ 動き補償モジュール
１３００ エントロピ復号モジュール
１３０２ モジュール
１３０４ 計算モジュール
１３０６ メモリ
１３０８ 動き補償モジュール

【図1】

【図2】

【図3】

【図4】