特許 6109712 ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6109712

(24)【登録日】2017年3月17日

(45)【発行日】2017年4月5日

(54)【発明の名称】ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置

(51)【国際特許分類】

   H04N 19/503 20140101AFI20170327BHJP

   H04N 19/46 20140101ALI20170327BHJP

   H04N 19/196 20140101ALI20170327BHJP

   H04N 19/119 20140101ALI20170327BHJP

   H04N 19/147 20140101ALI20170327BHJP

   H04N 19/176 20140101ALI20170327BHJP

   H04N 19/70 20140101ALI20170327BHJP

【ＦＩ】

   H04N19/503

   H04N19/46

   H04N19/196

   H04N19/119

   H04N19/147

   H04N19/176

   H04N19/70

【請求項の数】16

【全頁数】42

(21)【出願番号】特願2013-228029(P2013-228029)

(22)【出願日】2013年11月1日

(62)【分割の表示】特願2009-522843(P2009-522843)の分割

【原出願日】2007年7月31日

(65)【公開番号】特開2014-60763(P2014-60763A)

(43)【公開日】2014年4月3日

【審査請求日】2013年11月5日

(31)【優先権主張番号】60/834,993

(32)【優先日】2006年8月2日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100134094

【弁理士】

【氏名又は名称】倉持 誠

(74)【代理人】

【識別番号】100123629

【弁理士】

【氏名又は名称】吹田 礼子

(72)【発明者】

【氏名】デイボラ，エスコーダ オスカー

(72)【発明者】

【氏名】イン，ペング

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２００５−２７７９６８（ＪＰ，Ａ）

【文献】 特開平０９−２７００１５（ＪＰ，Ａ）

【文献】 特開２００５−１７６０７３（ＪＰ，Ａ）

【文献】 国際公開第０３／０２６３１５（ＷＯ，Ａ１）

【文献】 Satoshi Kondo, Hisao Sasai，A Motion Compensation Technique Using Sliced Blocks In Hybrid Video Coding，Image Processing, 2005. ICIP 2005. IEEE International Conference on，米国，IEEE，２００５年 ９月１１日，vol.2，pp.305-308

【文献】 Oscar Divorra Escoda, et al.，Geometry-Adaptive Block Partitioning for Video Coding，Acoustics, Speech and Signal Processing, 2007. ICASSP 2007. IEEE International Conference on，米国，IEEE，２００７年 ４月１５日，vol.1，pp.I657-I660，ＵＲＬ，http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4217165

【文献】 Oscar Divorra, et al.，Geometry-adaptive Block Partioning，ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 32nd Meeting: San Jose, CA, 20-21 April, 2007，２００７年 ４月１９日，VCEG-AF10.doc，ＵＲＬ，http://wftp3.itu.int/av-arch/video-site/0704_San/VCEG-AF10.zip

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０３Ｍ ３／００−１１／００

(57)【特許請求の範囲】

【請求項1】

ピクチャの少なくとも一部を少なくとも１つのパラメトリック・モデルに応じて適応的に分割することによって前記ピクチャに対応する画像データを符号化する符号化器を有する、ビデオ符号化のための適応的なジオメトリック・パーティション装置において、
前記少なくとも１つのパラメトリック・モデルは、少なくとも１つの曲線の少なくとも１つの定式化を含み、
前記符号化器は、ビデオ符号化規格またはビデオ符号化勧告のハイブリッド予測符号化器であり、かつ、パラメトリック・モデルに基づくパーティションを、前記ピクチャのマクロブロックおよびサブマクロブロックの少なくとも一方に、それぞれ、前記マクロブロックおよび前記サブマクロブロックの少なくとも一方のための符号化モードとして適用し、
前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線の少なくとも一方は、１または２以上の画像輪郭および１または２以上の動き境界のうちの少なくとも一方を表し、
前記曲線は、直線でない形状を有し、
前記符号化器は、少なくとも１つのハイレベル・シンタックス要素を使用して、前記少なくとも１つのパラメトリック・モデルのパラメータの精度の黙示的な符号化を行う、前記装置。

【請求項2】

前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方が、前記画像データのジオメトリック特性を表すモデルから導出される、請求項１記載の装置。

【請求項3】

前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方として、少なくとも１つの多項式が使用される、請求項１記載の装置。

【請求項4】

前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方として、一次多項式モデルが使用される、請求項１記載の装置。

【請求項5】

前記一次多項式モデルが角度パラメータおよび距離パラメータを含む、請求項４記載の装置。

【請求項6】

２以上のパラメトリック・モデルが利用可能である場合、所与の画像部分用の前記少なくとも１つのパラメトリック・モデルがモデルのセットから適応的に選択され、前記選択が黙示的または明示的に符号化される、請求項１記載の装置。

【請求項7】

スライス・ヘッダ・レベル、補助拡張情報レベル、ピクチャ・パラメータ・セット・レベル、シーケンス・パラメータ・セット・レベル、およびネットワーク抽象化レイヤー・ユニット・ヘッダ・レベルのうちの少なくとも１つに前記少なくとも１つのハイレベル・シンタックス要素が配置される、請求項１記載の装置。

【請求項8】

圧縮効率と符号化器の複雑性の少なくとも一方を制御するために、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のパラメータの精度が適応する、請求項１記載の装置。

【請求項9】

ピクチャの少なくとも一部を少なくとも１つのパラメトリック・モデルに応じて適応的に分割することによって前記ピクチャに対応する画像データを符号化するステップを含む、ビデオ符号化のための適応的なジオメトリック・パーティション方法において、
前記少なくとも１つのパラメトリック・モデルは、少なくとも１つの曲線の少なくとも１つの定式化を含み、
前記符号化するステップは、ビデオ符号化規格またはビデオ符号化勧告のハイブリッド予測符号化器であり、かつ、パラメトリック・モデルに基づくパーティションを、前記ピクチャのマクロブロックおよびサブマクロブロックの少なくとも一方に、それぞれ、前記マクロブロックおよび前記サブマクロブロックの少なくとも一方のための符号化モードとして適用する符号化器において実行され、
前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線の少なくとも一方は、１または２以上の画像輪郭および１または２以上の動き境界のうちの少なくとも一方を表し、
前記曲線は、直線でない形状を有し、
前記符号化するステップは、少なくとも１つのハイレベル・シンタックス要素を使用して、前記少なくとも１つのパラメトリック・モデルのパラメータの精度の黙示的な符号化を行う、前記方法。

【請求項10】

前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方が、ジオメトリック特性を表すモデルから導出される、請求項９記載の方法。

【請求項11】

前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方として、少なくとも１つの多項式が使用される、請求項９記載の方法。

【請求項12】

前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方として、一次多項式モデルが使用される、請求項９記載の方法。

【請求項13】

前記一次多項式モデルが角度パラメータおよび距離パラメータを含む、請求項１２記載の方法。

【請求項14】

２以上のパラメトリック・モデルが利用可能である場合、所与の画像部分用の前記少なくとも１つのパラメトリック・モデルがモデルのセットから適応的に選択され、前記選択が黙示的または明示的に符号化される、請求項９記載の方法。

【請求項15】

スライス・ヘッダ・レベル、補助拡張情報レベル、ピクチャ・パラメータ・セット・レベル、シーケンス・パラメータ・セット・レベル、およびネットワーク抽象化レイヤー・ユニット・ヘッダ・レベルのうちの少なくとも１つに前記少なくとも１つのハイレベル・シンタックス要素が配置される、請求項９記載の方法。

【請求項16】

圧縮効率と符号化器の複雑性の少なくとも一方を制御するために、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のパラメータの精度が適応する、請求項９記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的には、ビデオ符号化処理および復号処理に関し、より具体的には、ビデオ符号化処理および復号処理についての適応されたジオメトリック分割を行う方法および装置に関する。

【背景技術】

【0002】

一般的なビデオ符号化技術は、ビデオ画像をモデル化するために、予測に加えて残差符号化を使用する。他のアプローチでもまた、（動き補償を用いる、または、動き補償を用いない）ウエブレット変換を発生させるのにリフティング・スキームが使用される場合のように、信号変換の何らかの処理の段階として予測を考慮することがある。予測は、パーティションをベースとして各フレーム上で実行される。即ち、各フレームは、ブロック、または、ツリー構造にネスト化されたブロックの集合（セット）に分割され、次に、各ブロック・パーティションがイントラ予測子またはインター予測子に加え、何らかの残差符号化を用いて符号化される。ブロックへのフレーム分割は、フレーム全体に渡って通常はブロックであるグリッド領域（マクロブロックと呼ばれる）を定めることによって実行され、さらに、各マクロブロックは、より小さなブロック（サブブロック、または、サブマクロブロックと呼ばれる）に分割される。通常、異なるテクスチャ、色、滑らかさ、および／または異なる動きを有するオブジェクトおよび／またはフレーム領域の境界上のマクロブロックは、客観的および／または主観的に可及的に高品質で、可及的に効率的にマクロブロックの符号化を行うため、サブブロックにさらに分割される傾向にある。

【0003】

近年の研究においては、ツリー構造が画像情報の符号化には最適なものではないことが示されてきた。これらの研究は、規則的なエッジまたは輪郭によって分けられる異質な（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）各領域（ここでは、各領域はフラット、スムーズ、または、静的なテクスチャなどの明確に定義された均一な特性を有するものとみなされる）を画像のツリーベースの符号化によって最適に符号化できないことを支持している。この問題は、エッジ、輪郭、または、配向されたテクスチャに沿って存在するジオメトリカルな冗長性をツリー構造が最適にとらえることができないという事実によるものである。このコンセプトは、適応されたマクロブロックのツリー分割が単純な固定サイズのフレーム分割よりも良好ではあっても、依然として、効率的に符号化を行う目的で二次元データに含まれるジオメトリックな情報をとらえるのには十分に最適なものではないことを示している。

【0004】

フレーム分割は、効率的にビデオ符号化を行う上で重要な鍵となる処理である。ＩＳＯ／ＩＥＣ ＭＥＰＧ−４ Ｐａｒｔ １０ ＡＶＣ規格／ＩＴＵ−Ｔ Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」と呼ぶ。）などの近年のビデオ圧縮技術は、ツリーベースのフレーム・パーティションを使用する。これは、ＩＳＯ／ＩＥＣ ＭＥＰＧ−２規格およびＩＴＵ−Ｔ Ｈ．２６３勧告（以下、「Ｈ．２６３勧告」と呼ぶ。）のような従来のビデオ符号化規格および勧告において通常に使用される単純な均一なブロック・パーティションよりも効率的なものであるように見受けられる。しかしながら、ツリーベースのフレーム分割は、二次元データのジオメトリック構造を効率的にとらえることができないため、依然として可及的に効率的にビデオ情報を符号化するものではない。

【0005】

現在主流のビデオ符号化規格においては、ツリー構造のマクロブロック分割（パーティション）が採用されている。ＩＴＵ−Ｔ Ｈ．２６１勧告（以下、「Ｈ．２６１勧告」と呼ぶ）、ＩＳＯ／ＩＥＣ ＭＥＰＧ−１規格、さらに、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２規格／ＩＴＵ−Ｔ Ｈ．２６３勧告（以下、「ＭＰＥＧ−２規格」と呼ぶ。）は、１６×１６マクロブロック（ＭＢ）・パーティションのみをサポートしている。ＩＳＯ／ＩＥＣ ＭＰＥＧ−４規格／ＩＴＵ−Ｔ Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」と呼ぶ。）シンプル・プロファイル（ｓｉｍｐｌｅ ｐｒｏｆｉｌｅ）またはＩＴＵ−Ｔ Ｈ．２６３（＋）勧告は、１６×１６ＭＢ（マクロブロック）のための１６×１６および８×８のパーティションをサポートしている。１６×１６ＭＢは、１６×８、８×１６、または８×８のサイズのマクロブロック・パーティションに分割することができる。８×８のパーティションは、サブマクロブロックとしても知られている。さらに、サブマクロブロックは、８×４、４×８、および４×４のサブマクロブロック・パーティションに分割される。図１を参照すると、ＭＰＥＧ−４ ＡＶＣ規格に従ったマクロブロック・パーティションのセットが概ね参照符号１００によって示されている。具体的には、マクロブロック・パーティションは、参照符号１１０によって示され、サブマクロブロック・パーティションは、参照符号１２０によって示されている。近年の研究においては、ツリー構造が画像情報の符号化には最適なものではないことが示されてきた。このような研究の中には、画像のツリーベースの符号化によって規則的なエッジまたは輪郭によって分けられる異質な領域を最適に符号化できないことが証明するものがある。

【0006】

このことを対象として行われた従来の取り組みの中には、動き補償のための単純なツリーベースの分割によって提供されるものとは異なる他のタイプのブロック分割が必要とされていることを実験的に確かめたものがある。これらの技術は、ツリーベースのブロック・パーティションに加え、動き推定および補償のための動きエッジにより良好に適応することができる何らかの追加的なマクロブロック・パーティションを使用することを提案している。

【0007】

Ｈ．２６３コーデックのフレームワーク内における従来技術の１つのアプローチ（以下、「第１の従来技術のアプローチ」と呼ぶ。）では、２つの追加的な対角動き補償モードを使用することを提案している。これらのモードのうちの一つが選択されると、対象のマクロブロックが対角セグメントによって分けられた２つの同様の三角形に分割される。符号化モードによっては、この分割は、一方のモードでは、左下の角部から右上の角部に向かって行われ、２番目のモードでは、左上の角部から右下の角部に向かって行われる。図２Ａおよび図２Ｂを参照すると、本明細書において「第１の従来技術のアプローチ」と呼ばれるものに対応する追加的な動き補償符号化モードが概ね参照符号２００、２５０によってそれぞれ示されている。動き補償符号化モード２００は、右側が上がった対角エッジ符号化モードに対応し、動き補償符号化モード２５０は、左側が上がった対角エッジ符号化モードに対応する。

【0008】

第１の従来技術のアプローチは、これらのモードが固定された対角方向による１６×８または８×１６の動き補償モードの単純なバリエーションであるという意味では、非常に限定されたものである。これらのモードが定義するエッジは、非常に粗いものであり、その精密さは、ビデオ・フレームに存在する様々なエッジにフィットするのには十分ではない。ジオメトリック情報の明示的な符号化（が行われることはなく、符号化器においてこの情報の適応された処理が行われることが支障をきたしている。２つのモードは、符号化モードのリストに導入され、これにより、モードのリスト中のこれらの２つのモードの後に位置する他の符号化モードの符号化負荷が増大する。

【0009】

第１の従来技術のアプローチから直接的に発展したものは、３つの他の従来技術に関しており、これらをそれぞれ、本明細書において、第２の従来技術のアプローチ、第３の従来技術のアプローチ、さらに、第４の従来技術のアプローチと言及する。総じてこれらの研究においては、第１の従来技術のアプローチにおいて説明したものよりも多数の動き補償の符号化モードのセットが導入される。第２、第３、および第４の従来技術のアプローチに関して説明するシステムは、配向されたパーティションを含み、多数の追加的な符号化モードを導入する。これらの各モードは、１６×８、８×１６のモードを異なるように変換したバージョン、さらに、ジグザグの輪郭を有する第１の従来技術のアプローチにおいて提案された各モードを異なるように変換したバージョンである。図３を参照すると、「第２」、「第３」、および「第４の従来技術のアプローチ」と呼ばれるものに関する動き補償符号化モードが概ね参照符号３００によって示されている。１８個の動き補償符号化モードが示されている。

【0010】

第１の従来技術のアプローチの場合と同様に、動き補償の第２、第３、および第４の従来のアプローチにおいて定義されるパーティションは、ビデオ・フレームのコンテンツにとっては大雑把であり、精密なものではない。配向されたパーティションのセットの数が第１の従来技術におけるアプローチのものよりも多い場合であっても、依然として、ビデオ・フレームに存在する様々なエッジを効率的に符号化するには十分に精密なものではない。この場合、ジオメトリック情報の明示的な符号化が行われることはなく、符号化器においてこの情報の適応された処理が行われることが支障をきたしている。さらに、より多数のモードのセットを符号化するために導入される負荷は、モードのリストにおける配向されたモードに続く方向性の無いモードにさらに悪い影響を及ぼすものである。

【0011】

第５の従来のアプローチは、第２、第３、および第４の従来技術のアプローチにおいて、動き補償に基づく予測を行う従前の目的に加えて、配向されたモードのパーティション内でイントラ予測を使用することを提案している。第５の従来技術のアプローチに存在する制約は、第２、第３、および第４の従来技術のアプローチから引き継がれているため、前述の各段落に記載された内容の全ては、第５の従来技術のアプローチにも当てはまる。

【0012】

第６の従来技術のアプローチは、文献に存在する研究から、最も柔軟なフレームワークを提案する。第６の従来技術のアプローチは、２つのモードのみを導入することを提案し、これらのモードでは、２つの境界ポイントを結合するセグメントがブロック・パーティションを発生させるために使用される。提案される動き補償符号化モードのうち、第１のモードは、マクロブロックを２つのマクロブロック境界ポイントを接続するセグメントによって分けられる２つのパーティションに分割する。図４Ａを参照すると、本明細書において「第６の従来技術のアプローチ」と呼ばれるものの第１の動き補償符号化モードに従ったマクロブロック分割が概ね参照符号４００によって示されている。

【0013】

第２の提案されたモードは、マクロブロックのサブブロックへの主分割に基づき、さらに、各サブブロックの境界上の２つのポイントを結合するセグメントを使用して、各サブブロックが分割される。図４Ｂを参照すると、本明細書において「第６の従来技術のアプローチ」と呼ばれるものの第２の動き補償符号化モードに従ったマクロブロック分割が概ね参照符号４５０によって示されている。

【0014】

第６の従来技術のアプローチにおいて概略説明されるスキームに関しては、依然として幾つかの制約が存在し、これらの制約は以下のものを含む。

【0015】

第６の従来技術のアプローチに関連する第１の制約としては、セグメントによる２つの境界ポイントの結合として定義されるブロック分割は、より複雑な境界または輪郭の場合を効率的に取り扱うことができないという点である。このため、第６の従来技術のアプローチは、より複雑な形の近似を行うために、マクロブロックをサブブロックに分割し、各サブブロックにおけるセグメントの結合ポイントを使用することを提案するが、これは効率的ではない。

【0016】

第６の従来技術のアプローチに関連する第２の制約は、各パーティションが動き推定のためのものとしてとらえられるだけであり、発生したパーティション内で何らかのイントラ符号化技術を使用することは考慮されないという点である。これにより、提案された技術では、エフェクトを明らかにすること（新たなデータがシーケンスの間にオブジェクトの裏側より現れる状況）を取り扱うことができず、または、単に、いずれかのビデオ・フレームにおいて非時間的な予測方法で情報を符号化することができない。

【0017】

第６の従来技術のアプローチに関連する第３の制約は、歪みおよび符号化コストの観点から、符号化境界ポイントによるパーティション符号化は十分に効率的なものではないという点である。なぜならば、これらは、パーティション境界におけるジオメトリック特性を適切に表すことができないため、ビデオ・フレームにおけるデータのジオメトリック特性を適切に示していないからである。実際、ビデオ・フレームにおけるデータは、通常、相異なるビデオ成分および／またはオブジェクトのローカルな向きおよびローカルな位置のようなジオメトリックな情報のための相異なる統計値を表している。境界ポイントを単純に使用したのでは、このような情報を反映することはできない。従って、このような統計値を符号化のために有効に利用することはできない。

【0018】

第６の従来技術のアプローチに関連する第４の制約は、ビデオ圧縮品質が異なれば、最良の歪み対符号化効率のトレードオフを達成するために、要求されるジオメトリックな情報に対する精度が異なる点である。第６の従来技術のアプローチは、ビデオ圧縮品質に依存してブロック・パーティションを符号化するために送信される情報に適応するものではない。さらに、第６の従来技術のアプローチは、パーティション・ジオメトリック情報の適切な表現を有するものではない、さらに／または、記述するものではない。従って、第６の従来技術のアプローチは、何らかのジオメトリック情報を他のジオメトリック情報よりも高い精度で符号化することが要求されても、このような要求に対応できるものではない。

【0019】

第６の従来技術のアプローチに関連する第５の制約は、境界の一方の側に部分的に存在し、他方の側に部分的に存在するパーティションの境界に存在する画素を第６の従来技術のアプローチが取り扱うようには見受けられない点である。これらの画素は、必要なときに、両方のパーティション側からの情報を合成できるとよい。

【0020】

図８を参照すると、ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号８００によって示されている。

【0021】

ビデオ符号化器８００は、結合器８８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ８１０を含む。結合器８８５の出力部は、変換器／量子化器８２５の第１の入力部と信号通信するように結合されている。変換器／量子化器８２５の出力部は、エントロピー符号化器８４５の第１の入力部と、逆変換器／逆量子化器８５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器８４５の出力部は、結合器８９０の第１の非反転入力部と信号通信するように結合されている。結合器８９０の出力部は、出力バッファ８３５の第１の入力部と信号通信するように結合されている。

【0022】

符号化器コントローラ８０５の第１の出力部は、フレーム順序付けバッファ８１０の第２の入力部と、逆変換器／逆量子化器８５０の第２の入力部と、ピクチャ・タイプ決定モジュール８１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール８２０の入力部と、イントラ予測モジュール８６０の第２の入力部と、デブロッキング・フィルタ８６５の第２の入力部と、動き補償器８７０の第１の入力部と、動き推定器８７５の第１の入力部と、参照ピクチャ・バッファ８８０の第２の入力部と信号通信するように結合されている。

【0023】

符号化器コントローラ８０５の第２の出力部は、補助拡張情報（ＳＥＩ）挿入器８３０の第１の入力部と、変換器／量子化器８２５の第２の入力部と、エントロピー符号化器８４５の第２の入力部と、出力バッファ８３５の第２の入力部と、シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器８４０の入力部と信号通信するように結合されている。

【0024】

ピクチャ・タイプ決定モジュール８１５の第１の出力部は、フレーム順序付けバッファ８１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール８１５の第２の出力部は、マクロブロック・タイプ決定モジュール８２０の第２の入力部と信号通信するように結合されている。

【0025】

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器８４０の出力部は、結合器８９０の第３の非反転入力部と信号通信するように結合されている。

【0026】

逆変換器／逆量子化器８５０の出力部は、結合器８２５の第１の非反転入力部と信号通信するように結合されている。結合器８２５の出力部は、イントラ予測モジュール８６０の第１の入力部と、デブロッキング・フィルタ８６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ８６５の出力部は、参照ピクチャ・バッファ８８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ８８０の出力部は、動き推定器８７５の第２の入力部と信号通信するように結合されている。動き推定器８７５の第１の出力部は、動き補償器８７０の第２の入力部と信号通信するように結合されている。動き推定器８７５の第２の出力部は、エントロピー符号化器８４５の第３の入力部と信号通信するように結合されている。

【0027】

動き補償器８７０の出力部は、スイッチ８９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール８６０の出力部は、スイッチ８９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール８２０の出力部は、スイッチ８９７の第３の入力部と信号通信するように結合されている。スイッチ８９７の出力部は、結合器８２５の第２の非反転入力部と信号通信するように結合されている。

【0028】

フレーム順序付けバッファ８１０の入力部および符号化器コントローラ８０５は、符号化器８００の入力部として、入力ピクチャ８０１を受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器８３０の入力部は、符号化器８００の入力部として、メタデータを受信するために利用可能である。出力バッファ８３５の出力部は、符号化器８００の出力部として、ビットストリームを出力するために利用可能である。

【0029】

図１０を参照すると、ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ復号処理を実行することが可能なビデオ復号器が概ね参照符号１０００によって示されている。

【0030】

ビデオ復号器１０００は、エントロピー復号器１０４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ１０１０を含む。エントロピー復号器１０４５の第１の出力部は、逆変換器／逆量子化器１０５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器１０５０の出力部は、結合器１０２５の第２の非反転入力部と信号通信するように結合されている。結合器１０２５の出力部は、デブロッキング・フィルタ１０６５の第２の入力部と、イントラ予測モジュール１０６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ１０６５の第２の出力部は、参照ピクチャ・バッファ１０８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ１０８０の出力部は、動き補償器１０７０の第２の入力部と信号通信するように結合されている。

【0031】

エントロピー復号器１０４５の第２の出力部は、動き補償器１０７０の第３の入力部と、デブロッキング・フィルタ１０６５の第１の入力部と信号通信するように結合されている。エントロピー復号器１０４５の第３の出力部は、復号器コントローラ１００５の入力部と信号通信するように結合されている。復号器コントローラ１００５の第１の出力部は、エントロピー復号器１０４５の第２の入力部と信号通信するように結合されている。復号器コントローラ１００５の第２の出力部は、逆変換器／逆量子化器１０５０の第２の入力部と信号通信するように結合されている。復号器コントローラ１００５の第３の出力部は、デブロッキング・フィルタ１０６５の第３の入力部と信号通信するように結合されている。復号器コントローラ１００５の第４の出力部は、イントラ予測モジュール１０６０の第２の入力部と、動き補償器１０７０の第１の入力部と、参照ピクチャ・バッファ１０８０の第２の入力部と信号通信するように結合されている。

【0032】

動き補償器１０７０の出力部は、スイッチ１０９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール１０６０の出力部は、スイッチ１０９７の第２の入力部と信号通信するように結合されている。スイッチ１０９７の出力部は、結合器１０２５の第１の非反転入力部と信号通信するように結合されている。

【0033】

入力バッファ１０１０の入力部は、復号器１０００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ１０６５の第１の出力部は、復号器１０００の出力部として、出力ピクチャを出力するために利用可能である。
上記の第１〜第６の従来技術のアプローチに関連する技術は、それぞれ、以下に示す非特許文献１〜６に記載されている。

【先行技術文献】

【非特許文献】

【0034】

【非特許文献1】Ｔ． Ｆｕｋｕｈａｒａ， Ｋ． Ａｓａｉ， Ｔ． Ｍｕｒａｋａｍｉ， “Ｖｅｒｙ Ｌｏｗ Ｂｉｔ−Ｒａｔｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｂｌｏｃｋ Ｐａｒｔｉｔｉｏｎｉｎｇ ａｎｄ Ａｄａｐｔｉｖｅ Ｓｅｌｅｃｔｉｏｎ ｏｆ Ｔｗｏ Ｔｉｍｅ−Ｄｉｆｆｅｒｅｎｔｉａｌ Ｆｒａｍｅ Ｍｅｍｏｒｉｅｓ”， ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｃｉｒｃ． ａｎｄ Ｓｙｓｔ． ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈ．， Ｖｏｌ． ７， Ｎｏ． １， Ｆｅｂｒｕａｒｙ １９９７

【非特許文献2】Ｓ． Ｋａｔｏ， Ｓ． Ｓｅｋｉｇｕｃｈｉ， Ｓ． Ａｄａｃｈｉ， Ｍ． Ｅｔｏｈ， “Ｌｏｗ−ｏｖｅｒｈｅａｄ Ｓｅｇｍｅｎｔ Ｂａｓｅｄ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ Ｈ．２６Ｌ”， ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ ＩＣＡＳＳＰ， Ｏｒｌａｎｄｏ， Ｆｌｏｒｉｄａ， ２００２

【非特許文献3】Ｓ． Ｋａｔｏ， Ｓ． Ｓｅｋｉｇｕｃｈｉ， Ｓ． Ａｄａｃｈｉ， Ｍ． Ｅｔｏｈ， “Ｐｅｒｆｏｒｍａｎｃｅ Ｅｖａｌｕａｔｉｏｎ ｏｎ Ｈ．２６Ｌ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｔｈ Ｓｅｇｍｅｎｔｅｄ Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅｓ”， ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ ＩＣＩＰ， Ｒｏｃｈｅｓｔｅｒ， Ｎｅｗ Ｙｏｒｋ， ２００２

【非特許文献4】Ｓ． Ａｄａｃｈｉ， Ｓ． Ｓｅｋｉｇｕｃｈｉ， Ｓ． Ｋａｔｏ， Ｍ． Ｋｏｂａｙａｓｈｉ ａｎｄ Ｍ． Ｅｔｏｈ， “Ｒｅｆｉｎｅｄ Ｒｅｓｕｌｔｓ ｏｎ ｔｈｅ Ｌｏｗ−ｏｖｅｒｈｅａｄ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅｓ”， Ｐａｔｔａｙａ， Ｔｈａｉｌａｎｄ， ２００１

【非特許文献5】Ｍ． Ｈａｇａｉ， Ｓ． Ｋａｄｏｎｏ ａｎｄ Ｍ． Ｓｃｈｌｏｃｋｅｒｍａｎｎ， “Ｐｒｏｐｏｓａｌ ｏｆ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｍａｃｒｏｂｌｏｃｋ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅｓ （ＶＰＭ２）”， ＪＶＴ−Ｂ０５９ Ｐｒｏｐｏｓａｌ， Ｇｅｎｅｖａ， Ｓｗｉｔｚｅｒｌａｎｄ， ２００２

【非特許文献6】Ｓ． Ｋｏｎｄｏ， Ｈ． Ｓａｓａｉ， “Ａ ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｔｅｈｃｎｉｑｕｅ Ｕｓｉｎｇ Ｓｌｉｃｅｄ Ｂｌｏｃｋｓ ｉｎ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”， ｉｎ Ｐｒｏｃｅｄｕｒｅｓ ｏｆ ＩＥＥＥ ＩＣＩＰ， Ｇｅｎｏｖａ， Ｉｔａｙ， ２００５

【発明の概要】

【0035】

従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化処理および復号処理のためにアダブティブ（適応可能）なジオメトリック分割を行う方法および装置に関する本発明の原理によって対処される。

【0036】

本発明の原理の一態様によれば、装置が提供され、この装置は、少なくとも１つのパラメトリック・モデルに応答してピクチャを少なくとも部分的に、適応的に分割することによってピクチャに対応する画像データを符号化する符号化器を含む。この少なくとも１つのパラメトリック・モデルは、少なくとも１つの曲線の黙示的な定式化および明示的な定式化の少なくとも一方に関わる。

【0037】

本発明の原理の別の態様によれば、方法が提供され、この方法は、少なくとも１つのパラメトリック・モデルに応答してピクチャを少なくとも部分的に、適応的に分割することによってピクチャに対応する画像データを符号化するステップを含む。この少なくとも１つのパラメトリック・モデルは、少なくとも１つの曲線の黙示的な定式化および明示的な定式化の少なくとも一方に関わる。

【0038】

本発明の原理のさらに別の態様によれば、装置が提供され、この装置は、少なくとも１つのパラメトリック・モデルを使用して分割されたピクチャを少なくとも部分的に、再構成することによってピクチャに対応する画像データを復号処理する復号器を含む。この少なくとも１つのパラメトリック・モデルは、少なくとも１つの曲線の黙示的な定式化および明示的な定式化の少なくとも一方に関わる。

【0039】

本発明の原理のさらに別の態様によれば、方法が提供され、この方法は、少なくとも１つのパラメトリック・モデルを使用して分割されたピクチャを少なくとも部分的に、再構成することによってピクチャに対応する画像データを復号処理するステップを含む。この少なくとも１つのパラメトリック・モデルは、少なくとも１つの曲線の黙示的な定式化および明示的な定式化の少なくとも一方に関わる。

【0040】

本発明の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。

【0041】

本発明の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。

【図面の簡単な説明】

【0042】

【図1】本発明の原理が適用されるＭＰＥＧ−４ ＡＶＣの規格に従ったマクロブロック分割のセットのダイアグラムである。

【図2】図２Ａおよび図２Ｂは、本明細書において「第１の従来技術のアプローチ」と呼ばれるものに対応する追加的な動き補償符号化モードのダイアグラムである。

【図3】本明細書において「第２」、「第３」、および「第４の従来技術のアプローチ」と呼ばれるものに関連する動き補償符号化モードのダイアグラムである。

【図4】図４Ａは、本明細書において「第６の従来技術のアプローチ」と呼ばれるものの第１の動き補償符号化モードに従ったマクロブロック分割のダイアグラムである。図４Ｂは、本明細書において「第６の従来技術のアプローチ」と呼ばれるものの第２の動き補償符号化モードに従ったマクロブロック分割のダイアグラムである。

【図5】本発明の原理の実施の形態に従った、パーティションＰ０およびＰ１を用いた多項式モデルに基づいたスムーズな境界パーティションのダイアグラムである。

【図6】本発明の原理の実施の形態に従った、パラメトリック・モデルの使用として、パラメータが記述されたジオメトリー（角度および位置）を用いた一次多項式を使用する例のダイアグラムである。

【図7】本発明の原理の実施の形態に従った、一次多項式を使用したパラメトリック・モデルｆ（ｘ，ｙ）から生成されたパーティション・マスクのダイアグラムである。

【図8】ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ符号化を実行することが可能なビデオ符号化器のブロック図である。

【図9】本発明の原理の実施の形態に従った、本発明の原理と共に使用するように拡張された、ＭＰＥＧ−４ ＡＶＣ規格に従った符号化を実行することが可能なビデオ符号化器のブロック図である。

【図10】ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ復号処理を実行することが可能なビデオ復号器のブロック図である。

【図11】本発明の原理の実施の形態に従った、本発明の原理と共に使用するように拡張された、ＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ復号処理を実行することが可能なビデオ復号器のブロック図である。

【図12】本発明の原理の実施の形態に従った、パラメトリック・モデルベースで分割されたマクロブロックと、そのデブロッキング処理と合わせた使用のダイアグラムである。

【図13】本発明の原理の実施の形態に従った、左側のブロックのパラメータから右側のブロックのパーティション・パラメータを予測する例のダイアグラムである。

【図14】本発明の原理の実施の形態に従った、上側のブロックのパラメータから下側のブロックのパーティション・パラメータを予測する例のダイアグラムである。

【図15】本発明の原理の実施の形態に従った、上側のブロックおよび左側のブロックから右側のブロックのパーティション・パラメータを予測する例のダイアグラムである。

【図16】本発明の原理の実施の形態に従った、モデルベースのパーティション・パラメータおよび予測サーチを使用した、ジオメトリック・モードのための例示的な方法のダイアグラムである。

【図17】本発明の原理の実施の形態に従った、ジオメトリカルに分割された予測ブロックを符号化する例示的な方法のフロー図である。

【図18A】本発明の原理の実施の形態に従った、ジオメトリカルに分割されたインター予測ブロックを符号化する例示的なフロー図である。

【図18B】本発明の原理に従った、ジオメトリカルに分割されたイントラ予測ブロックを符号化する例示的な方法のフロー図である。

【図19】本発明の原理の実施の形態に従った、複数のタイプのモデルを用いて符号化する例示的な方法のフロー図である。

【図20】本発明の原理の実施の形態に従った、ジオメトリカルに分割された予測ブロックを復号する例示的な方法のフロー図である。

【図21A】本発明の原理の実施の形態に従った、ジオメトリカルに分割されたインター予測ブロックを復号する例示的な方法のフロー図である。

【図21B】本発明の原理の実施の形態に従った、ジオメトリカルに分割されたイントラ予測ブロックを復号する例示的な方法のフロー図である。

【図22】本発明の原理の実施の形態に従った、複数のタイプのモデルを用いて符号化する例示的な方法のフロー図である。

【図23】本願の実施の形態に従った、スライス・ヘッダ・シンタックス符号化の例示的な方法のフロー図である。

【図24】本願の実施の形態に従った、ジオメトリック・パラメータ精度を導出する例示的な方法のフロー図である。

【図25】本発明の原理の実施の形態に従った、ジオメトリック・ブロックを再構成する例示的な方法のフロー図である。

【図26】本発明の原理の実施の形態に従った、現在のブロックのための最良のモードをサーチする例示的な方法のフロー図である。

【図27】本発明の原理の実施の形態に従った、スライス・ヘッダ・シンタックス復号処理の例示的な方法のフロー図である。

【発明を実施するための形態】

【0043】

本発明の原理は、ビデオ符号化処理および復号処理のためにアダブティブなジオメトリック分割を行う方法および装置に関する。

【0044】

本説明は、本発明の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本発明の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。

【0045】

本明細書に記載された全ての例および条件付の文言は、本発明の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。

【0046】

また、本明細書における本発明の原理、態様、および、実施の形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。

【0047】

従って、例えば、当業者であれば、本明細書において示されたブロック図は、本発明の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表す。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。

【0048】

各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および不揮発性の記憶装置を黙示的に含むことがある。

【0049】

また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。

【0050】

本願の特許請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本発明の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、出願人は、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなす。

【0051】

本明細書において、本発明の原理の「一実施の形態」、または、「実施の形態」と言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本発明の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、または、「実施の形態においては」は、必ずしも、同一の実施の形態について言及するものではない。

【0052】

用語「ブロック」および「領域」は、本願明細書において同じ意味で使用されていることが理解されよう。

【0053】

さらに、文言「既存のビデオ符号化規格」および「ビデオ符号化勧告」は、開発が完了していないものも含み、本発明の原理を出願する時点で存在するどのような既存のビデオ符号化規格および勧告をも含むことがある。このような規格および勧告として、限定するものではないが、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、Ｈ．２６３＋、Ｈ．２６３＋＋、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣなどが挙げられる。

【0054】

さらに、用語「拡張バージョン」は、ビデオ符号化規格および／または勧告に関して使用された場合には、修正されたもの、進化されたもの、または、さもなければ、拡張されたものを意味する。

【0055】

さらに、表現「画像データ」は、静止画像および動画像（即ち、動きを含む画像シーケンス）のいずれかに対応するデータを意味するように意図されていることが理解されよう。

【0056】

さらに、本明細書において使用される「ハイレベル・シンタックス」は、マクロブロック層よりも階層的に上位に位置するビットストリームに存在するシンタックスを意味する。例えば、本明細書において使用されるハイレベル・シンタックスは、限定するものではないが、スライス・ヘッダ・レベル、補助拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット・レベル、シーケンス・パラメータ・セット・レベル、および、ＮＡＬユニット・ヘッダ・レベルでのシンタックスを意味する場合がある。

【0057】

用語「および／または」の使用は、例えば、「Ａおよび／またはＢ」の場合、１番目に列挙されたオプション（Ａ）の選択、２番目に列挙されたオプション（Ｂ）の選択、または、両方のオプション（ＡおよびＢ）の選択を包含すると意図される。別の例として、「Ａ、Ｂ、および／またはＣ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）の選択、２番目に列挙されたオプション（Ｂ）の選択、３番目に列挙されたオプション（Ｃ）の選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）の選択、２番目および３番目に列挙されたオプション（ＡおよびＣ）の選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含すると意図される。列挙された多くの項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。

【0058】

上述したように、本発明の原理は、ビデオ符号化処理および復号処理のために適応したジオメトリック分割を行う方法および装置に関する。

【0059】

本発明の原理の１つ以上の実施の形態は、ツリーベースのアプローチの効率の悪さを克服するために、ローカル信号のジオメトリーをとらえ、表現することが可能なフレーム領域分割のためのパラメトリック・モデルを使用する。本発明の原理の様々な実施の形態において使用されるパラメトリック・モデリングは、少なくとも１つの曲線（一時多項式の場合には、直線となる）の陰的または陽的な定式化によって画像部分（またはマクロブロック）内の少なくとも１つのパーティションを定義するものとして、定義され、このパラメトリック・モデリングの特定の実施の形態では、いわゆる「陰関数曲線（ｉｍｐｌｉｃｉｔ ｃｕｒｖｅ）」の定式化に従ったパーティションおよび曲線を一緒に定義する。上述した第６の従来技術のアプローチは、ブロックの周縁に位置する２つの所与のポイント間での直線結合としてブロック内部のスライスされたパーティション間の境界を定義するが、この点において、本発明の原理に従って使用される一般的な曲線の定式化は、上述した第６の従来技術のものとは区別される。

【0060】

予測されるフレームの領域またはブロックが与えられると、従来のツリー分割をベースとするモードに加えて、ジオメトリック・パーティション・モードがテストされる。対象のブロックまたは領域は、１つまたは１セットのパラメトリック・モデルによって記述される幾つかの領域に分割される。具体的には、この場合、ブロックまたは領域が２つのパーティションに分割される形式が考えられ、ここで、パーティションの境界は、パラメトリック・モデルまたは関数

【数1】

によって記述される。ｘおよびｙは座標軸を表し、

【数2】

は、パーティションの形状を記述する情報を含むパラメータのセットを表す。フレームのブロックまたは領域が

【数1】

を使用してパーティションに分割されると、生成された各パーティションは、何らかの歪みおよび符号化コスト尺度のトレードオフに基づいて、最も適切な予測子を用いて予測される。

【0061】

このようなパーティションの記述が興味深い理由として、近年の研究において、ツリー構造が画像情報の符号化には最適なものではないことが示されてきたことが挙げられる。これらの研究は、規則的なエッジまたは輪郭によって分けられる異質な各領域を画像のツリーベースの符号化によって最適に符号化できないことを支持している。この問題は、エッジ、輪郭、または、配向されたテクスチャに沿って存在するジオメトリカルな冗長性をツリー構造が最適にとらえることができないという事実によるものである。ビデオ・シーケンスにおいては、エッジおよび／または輪郭が符号化されなければならないような様々な状況が普通に存在する。そのうちの１つは、イントラ符号化されたデータが符号化される場合である。様々な視覚的データの間の境界は、最も関連する情報の１つ、例えば、エッジおよびオブジェクトの輪郭である。インター符号化されたデータでは、動いているオブジェクトの周りの輪郭さらに、異なる動きの領域間の輪郭もまた、関連性があり、重要である。

【0062】

本発明の原理の実施の形態は、二次元データのジオメトリーに適応した一般的なジオメトリックなフレーム分割のための技術を提供する。生成された各領域は、次に、最も効率的なタイプの予測、例えば、インターおよび／またはイントラ予測タイプを使用して符号化される。一実施の形態では、ブロックまたはフレーム領域にジオメトリック・パーティションを生成することを含む。従来のツリーの代わりに、ブロックまたはフレーム領域をジオメトリカルに適応したパーティションに分割することにより、送信される情報量、さらに、予測処理によって生成される残差量を低減することができる。本発明の原理に従って、各ブロック内でパーティション境界の生成、近似、および／または符号化を行うのにパラメトリック・モデルが使用される。このようなアプローチにより、二次元データの主なジオメトリック特性を良好にとらえることが可能となる。例えば、モデル・パラメータは、例として、限定するものではないが、パーティション境界角度、位置、不連続性、および／または、曲率といったものに関わる情報を独立して有するように定義することができる。パーティション符号化のためのパラメトリック・モデルの使用により、極めてコンパクトなパーティション・エッジの記述が可能となり、これにより、符号化するパラメータの数が最小限となる。さらに、パーティション・モデル・パラメータの各々を、それぞれの統計的データおよび性質に従って最良に符号化するために、独立した、または、異なるジオメトリック情報を分離するようにパーティション・モデル・パラメータを定義することができる。このようなモデルベースのジオメトリック情報の処理により、ジオメトリック・パラメータ毎に割り当てられる符号化情報量を選択的に増減させることが可能となる。符号化効率に加え、このような特徴は、演算量の制御に有用であるほか、符号化効率に対する影響を最小限にする。

【0063】

パラメータ・モデルをベースとするパーティション記述を使用する一つの利点は、ブロックにおける２つのパーティションの間でスムーズなパーティション境界を効率的に記述することができる可能性である。多くの場合、イントラ・フレームにおける２つの相異なるオブジェクトまたはエッジ間の境界は、何らかの多項式

【数3】

によってモデル化し、精細に近似することができる。図５を参照すると、パーティションＰ０およびＰ１を用いた多項式モデルに基づくスムーズなパーティション境界が概ね参照符号５００によって示されている。

【0064】

ジオメトリック画像およびビデオ符号化のために、

【数4】

（以下、ｆ（ｘ，ｙ）とも表現する）パラメータは、ローカル角度、位置、および／または、何らかの曲率の大きさなどのジオメトリック情報を記述するように演算することができる。従って、一次多項式

【数5】

の特定の場合において、ブロック・パーティションは、所与の座標軸のセットに対する角度および距離を記述するように表される。

【数6】

パーティション境界は、ｆ（ｘ，ｙ）＝０となる位置（ｘ，ｙ）上で定義される。

【0065】

図６を参照すると、パラメトリック・モデルとして使用するための、ジオメトリー（角度および位置）が記載されたパラメータを用いた一次多項式を使用する例が概ね参照符号６００によって示されている。

【0066】

各ブロックからの２つの領域の生成に係る実施の形態においては、パーティションを記述するのに以下の黙示的な定式を使用することができる。

【数7】

【0067】

零ライン（ｆ（ｘ，ｙ）＝０）の一方の側に位置する全ての画素は、１つのパーティション領域（例えば、パーティション１）に属するものとして分類される。他方の側に位置する全ての画素は、代替的な領域（例えば、パーティション０）に属するものとして分類される。

【0068】

パーティション境界上の画素を取り扱うオプションの方法
各パーティションの離散的な性質を考慮すると、分離ラインまたは曲線の近傍上で、画素の中には、一方、または、他方のパーティションに部分的に属するとみなされるだけのものがある。これは、パラメトリック・モデルの定式化が連続的であり、各パーティションの実現が離散的であるという事実によるものである。

【0069】

このような画素は、パーティションの各側を記述するのに使用される予測子の影響を受けることがある。従って、各画素は、「部分面」として、パーティション１やパーティション０とは異なるラベルが付けられることがある。一方または他方の画素に１および０のラベルを付ける方式を採用しているのは、簡略化のためのものである。「部分面」画素は、従って、その間の何らかの値によって識別することができる。これには、対象画素がどの程度パーティション０に入りこんでいるかの情報を含む（例えば、値１は完全であること、値０．５は半分、値０は何も無いことを表す）。勿論、上述したナンバリングの方式、本明細書に渡って使用するナンバリングの方式は、例示的なもの、分かりやすくするためのものに過ぎず、本明細書において与えられた本発明の原理の開示内容を考慮すれば、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば、本発明の原理の精神の範囲内で、本発明の原理に使用されるこれらのナンバリングの方式、さらに、その他のナンバリングの方式を企図するであろう。前述した内容は、パーティション０のためのラベル付けの以下の定義のように形式的に表される。

【数8】

【0070】

ラベル（ｘ，ｙ）＝１は、該当画素が第１のパーティションに含まれているかどうかを示す。ラベル（ｘ，ｙ）＝０は、該当画素が第２のパーティションに含まれていることを示す。その他の値は、該当する特定の画素に対し、第１のパーティションからの予測値に対する寄与の重み付けを示すように、部分的に分類される。第２のパーティションからの予測は、重み（１−ラベル（ｘ，ｙ））で「部分面」画素の値に寄与する。このジェネリックな画素分類は、パーティション・マスクの形式で生成される。図７を参照すると、一次多項式を使用したパラメトリック・モデルｆ（ｘ，ｙ）から生成されたパーティション・マスクが概ね参照符号７００によって示されている。上述したように、本明細書中に記載した浮動小数点は、想定される選択値の単なる例である。実際、ｆ（ｘ，ｙ）に依存して、０.５以外の閾値が想定可能である。「部分面」として分類される画素についても、それに重なるパーティションのうちの１つの内部での１つ以上の近傍画素の関数として、または、それに重なる１つ以上のパーティションの関数の組み合わせとして、予測可能である。さらに、当該技術分野、関連する技術分野における通常の技術知識を有するものであれば、本明細書に記載された本発明の原理のどのような態様も、整数での実施および／またはルックアップ・テーブルの利用のために適応できる場合があることを理解できるであろう。

【0071】

パーティション関数ｆ，（ｘ，ｙ），パラメータ空間をサンプリングするための考慮事項
復号器が対象のブロックまたは領域のパーティションを決定できるようにするためにモデル・パラメータの符号化および送信が必要である。このため、パーティション・パラメータの精度は、ブロックまたはパーティション領域を記述するために割り当てられる符号化コストの最大の量によって制約を受ける。

【0072】

一般性を失うことなく、想定されるパーティション（または、ジオメトリック・モデル）の辞書は、ｆ（ｘ，ｙ）の各パラメータのサンプリング精度を決定することによって、先験的に定義される。ジオメトリック一次多項式境界の場合、例えば、これは以下のように定義される。

【数9】

ここで、ΔρおよびΔθは、選択された量子化（パラメータ精度）ステップである。しかしながら、選択された値におけるオフセットを設定することができる。θおよびρの量子化された各指数は、パーティションの形状を符号化するために送信される情報である。しかしながら、（ＭＰＥＧ−４ ＡＶＣ規格のために定義されているような）垂直方向および水平方向の各モードが別個の符号化モードとして使用される場合、ρ＝０および角度０度および９０度のジオメトリック・パーティションは、想定されるパーティションの構成のセットより除かれる。これにより、ビットが節約されると共に、複雑性が低減する。

【0073】

復号器は、符号化器によって使用されるパラメータの精度を把握している必要がある。この情報は、パーティション・パラメータの各タイプ毎に、明示的に、または、黙示的に、何らかの既に存在するデータの関数（例えば、ＭＰＥＧ−４ ＡＶＣ規格における量子化パラメータ）として送信することができる。パラメータ精度は、シーケンス、画像、および／またはスライス・レベルなどの何らかのハイレベル・シンタックスに従って適応させることができる。

【0074】

本発明の原理に関して本明細書において記載される領域分割を使用するビデオ通信システムは、領域分割を使用する各領域毎に、パーティションの形状を記述するのに必要な符号化されたパラメータのセットを送信するとよい。送信されるデータの残りは、全てのジオメトリー符号化された領域について、ツリーベースのパーティション・モードで送信されたものと同様である。実際、各モデルベースのパーティションについて、予測情報が送信されるとよい。さらに、予測の後、最終的に、残差予測誤差も符号化されてもよい。

【0075】

パラメトリックな、モデルベースの、ジオメトリック領域分割は、フレームの分割に依存したビデオ符号化器／復号器における全ての処理に影響を与える。本発明の原理を享受することが可能な、本発明の原理に適応させることができるビデオ・システムにおけるより一般的な処理／モジュールは、限定するものではないが、符号化器／復号器の一般的な制御、領域予測（エントロピー補償／イントラ・データ予測）、動き推定、エントロピー符号化処理／復号処理、およびアーティファクト低減のためのインループ・フィルタ処理を含む。

【0076】

以下、ＭＰＥＧ−４ ＡＶＣ規格のフレームワークに関して実施の形態を説明する。しかしながら、本発明の原理は、ＭＰＥＧ−４ ＡＶＣのみに限定されるものではなく、本発明の原理の精神を逸脱することなく、他のビデオ符号化規格や勧告にも容易に利用することができる。

【0077】

本発明の原理に従ったパラメトリック・モデル・パーティションを考慮するためのＭＰＥＧ−４ ＡＶＣ規格 ビデオ符号化器および復号器の拡張
次に、本発明の原理に従ったＭＰＥＧ−４ ＡＶＣ規格の拡張に関して実施の形態を説明する。ＭＥＰＧ−４ ＡＶＣ規格は、符号化性能を最適化するために、ツリーベースのフレーム分割に依存している。本発明の原理に係る実施の形態に従ってＭＰＥＧ−４ ＡＶＣ規格を拡張することは、ＭＰＥＧ−４規格が依存しているツリーベースのフレーム分割に固有の制約を克服するのに役立つ。

【0078】

パラメトリック・モデルベースの領域分割は、新たなブロック符号化モードの形態でＭＰＥＧ−４ ＡＶＣ規格に組み込むことができる。ＭＰＥＧ−４ ＡＶＣ規格のツリーベースのフレーム分割は、必要な時と場所で、１６×１６、１６×８、８×１６、８×８、８×４、４×８、および４×４のブロックに各ピクチャを分割する。これらの分割タイプは、符号化モードに関連付けられ、同時に、モードに依存して、インター・タイプであってもよいし、イントラ・タイプであってもよい。これらのブロック・パーティション・モードに加え、パラメトリック・モデルｆ（ｘ，ｙ）がブロック内のパーティションを記述するのに使用される追加のパーティション・ブロック・モードを導入する。パラメトリック・モデルを用いて分割されるこのようなブロック・モードは、本明細書において、「ジオメトリック・モード（Ｇｅｏｍｅｔｒｉｃ Ｍｏｄｅ）」と呼ばれる。この目的は、可及的に大きなパーティションを生成することである。従って、パラメトリック・モデルの目的は、１６×１６サイズのブロックまたは、ツリーベースのパーティションの各リーフ（葉）が集まったもの（ｕｎｉｏｎｓ）に適用されることである。しかしながら、圧縮効率が問題となる場合、８×８の「ジオメトリック・モード」・ブロックもまた考慮される。８×８の「ジオメトリック・モード」の使用は、複雑性のファクタに依存して有効または無効になる。ハイレベル・シンタックスは、８×８の「ジオメトリック・モード」が使用されているかどうかを示すために、信号によって知らせることもできる。これにより、このようなモードが使用されないときの符号化の負荷を低減することができる。シンタックス・レベルの具体的な例として、限定するものではないが、シーケンス、ピクチャ、および／またはスライス・レベルが挙げられる。

【0079】

このような符号化モードの新たなファミリーを挿入するために、ＭＰＥＧ ＡＶＣ規格における符号化器および／または復号器を修正することができる。図８、図９、図１０、および図１１に描くように、新たなモードを扱って、ジオメトリック情報をとらえ、符号化できるようにするために、ＭＰＥＧ−４ ＡＶＣ規格における主構成ブロックの機能を修正し、拡張することができる。

【0080】

図９を参照すると、本発明の原理と共に使用されるために拡張されたＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号９００によって示されている。

【0081】

ビデオ符号化器９００は、結合器９８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ９１０を含む。結合器９８５の出力部は、ジオメトリック拡張を用いた変換器／量子化器９２７の第１の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた変換器／量子化器９２７の出力部は、ジオメトリック拡張を用いたエントロピー符号化器９４５の第１の入力部と、逆変換器／逆量子化器９５０の第１の入力部と信号通信するように結合されている。ジオメトリック拡張を用いたエントロピー符号化器９４５の出力部は、結合器９９０の第１の非反転入力部と信号通信するように結合されている。結合器９９０の出力部は、出力バッファ９３５の第１の入力部と信号通信するように結合されている。

【0082】

ジオメトリック拡張を用いた符号化器コントローラ９０５の第１の出力部は、フレーム順序付けバッファ９１０の第２の入力部と、逆変換器／逆量子化器９５０の第２の入力部と、ピクチャ・タイプ決定モジュール９１５の入力部と、ジオメトリック拡張を用いたマクロブロック・タイプ（ＭＢタイプ）決定モジュール９２０の入力部と、ジオメトリック拡張を用いたイントラ予測モジュール９６０の第２の入力部と、ジオメトリック拡張を用いたデブロッキング・フィルタ９６５の第２の入力部と、ジオメトリック拡張を用いた動き補償器９７０の第１の入力部と、ジオメトリック拡張を用いた動き推定器９７５の第１の入力部と、参照ピクチャ・バッファ９８０の第２の入力部と信号通信するように結合されている。

【0083】

ジオメトリック拡張を用いた符号化器コントローラ９０５の第２の出力部は、補助拡張情報（ＳＥＩ）挿入器９３０の第１の入力部と、ジオメトリック拡張部を用いた変換器／量子化器９２７の第２の入力部と、ジオメトリック拡張を用いたエントロピー符号化器９４５の第２の入力部と、出力バッファ９３５の第２の入力部と、シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器９４０の入力部と信号通信するように結合されている。

【0084】

ピクチャ・タイプ決定モジュール９１５の第１の出力部は、フレーム順序付けバッファ９１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール９１５の第２の出力部は、ジオメトリック拡張を用いたマクロブロック・タイプ決定モジュール９２０の第２の入力部と信号通信するように結合されている。

【0085】

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器９４０の出力部は、結合器９９０の第３の非反転入力部と信号通信するように結合されている。

【0086】

逆変換器／逆量子化器９５０の出力部は、結合器９２５の第１の非反転入力部と信号通信するように結合されている。結合器９２５の出力部は、ジオメトリック拡張を用いたイントラ予測モジュール９６０の第１の入力部と、ジオメトリック拡張を用いたデブロッキング・フィルタ９６５の第１の入力部と信号通信するように結合されている。ジオメトリック拡張を用いたデブロッキング・フィルタ９６５の出力部は、参照ピクチャ・バッファ９８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ９８０の出力部は、ジオメトリック拡張を用いた動き推定器９７５の第２の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた動き推定器９７５の第１の出力部は、ジオメトリック拡張を用いた動き補償器９７０の第２の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた動き推定器９７５の第２の出力部は、ジオメトリック拡張を用いたエントロピー符号化器９４５の第３の入力部と信号通信するように結合されている。

【0087】

ジオメトリック拡張を用いた動き補償器９７０の出力部は、スイッチ９９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール９６０の出力部は、スイッチ９９７の第２の入力部と信号通信するように結合されている。ジオメトリック拡張を用いたマクロブロック・タイプ決定モジュール９２０の出力部は、スイッチ９９７の第３の入力部と信号通信するように結合されている。スイッチ９９７の出力部は、結合器９２５の第２の非反転入力部と、結合器９８５の反転入力部と信号通信するように結合されている。

【0088】

ジオメトリック拡張を用いたフレーム順序付けバッファ９１０の入力部およびジオメトリック拡張を用いた符号化器コントローラ９０５は、符号化器９００の入力部として、入力ピクチャ９０１を受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器９３０の入力部は、符号化器９００の入力部として、メタデータを受信するために利用可能である。出力バッファ９３５の出力部は、符号化器９００の出力部として、ビットストリームを出力するために利用可能である。

【0089】

図１１を参照すると、本発明の原理と共に使用されるために拡張されたＭＰＥＧ−４ ＡＶＣ規格に従ったビデオ復号処理を実行することが可能なビデオ復号器が概ね参照符号１１００によって示されている。

【0090】

ビデオ復号器１１００は、ジオメトリック拡張を用いたエントロピー復号器１１４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ１１１０を含む。ジオメトリック拡張を用いたエントロピー復号器１１４５の第１の出力部は、ジオメトリック拡張を用いた逆変換器／逆量子化器１１５０の第１の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた逆変換器／逆量子化器１１５０の出力部は、結合器１１２５の第２の非反転入力部と信号通信するように結合されている。結合器１１２５の出力部は、ジオメトリック拡張を用いたデブロッキング・フィルタ１１６５の第２の入力部と、ジオメトリック拡張を用いたイントラ予測モジュール１１６０の第１の入力部と信号通信するように結合されている。ジオメトリック拡張を用いたデブロッキング・フィルタ１１６５の第２の入力部は、参照ピクチャ・バッファ１１８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ１１８０の出力部は、ジオメトリック拡張を用いた動き補償器１１７０の第２の入力部と信号通信するように結合されている。

【0091】

ジオメトリック拡張を用いたエントロピー復号器１１４５の第２の出力部は、ジオメトリック拡張を用いた動き補償器１１７０の第３の入力部と、ジオメトリック拡張を用いたデブロッキング・フィルタ１１６５の第１の入力部と信号通信するように結合されている。ジオメトリック拡張を用いたエントロピー復号器１１４５の第３の出力部は、ジオメトリック拡張を用いた復号器コントローラ１１０５の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた復号器コントローラ１１０５の第１の出力部は、ジオメトリック拡張を用いたエントロピー復号器１１４５の第２の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた復号器コントローラ１１０５の第２の出力部は、ジオメトリック拡張を用いた逆変換器／逆量子化器１１５０の第２の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた復号器コントローラ１１０５の第３の出力部は、ジオメトリック拡張を用いたデブロッキング・フィルタ１１６５の第３の入力部と信号通信するように結合されている。ジオメトリック拡張を用いた復号器コントローラ１１０５の第４の出力部は、ジオメトリック拡張を用いたイントラ予測モジュール１１６０の第２の入力部と、ジオメトリック拡張を用いた動き補償器１１７０の第１の入力部と、参照ピクチャ・バッファ１１８０の第２の入力部と信号通信するように結合されている。

【0092】

ジオメトリック拡張を用いた動き補償器１１７０の出力部は、スイッチ１１９７の第１の入力部と信号通信するように結合されている。ジオメトリック拡張を用いたイントラ予測モジュール１１６０の出力部は、スイッチ１１９７の第２の入力部と信号通信するように結合されている。スイッチ１１９７の出力部は、結合器１１２５の第１の非反転入力部と信号通信するように結合されている。

【0093】

入力バッファ１１１０の入力部は、復号器１１００の入力部として、入力ビットストリームを受信するために利用可能である。ジオメトリック拡張を用いたデブロッキング・フィルタ１１６５の第１の出力部は、復号器１１００の出力部として、出力ピクチャを出力するために利用可能である。

【0094】

ＭＰＥＧ−４ ＡＶＣ規格に対する本発明の原理の使用に係る想定される修正／拡張に関し、符号化器および／または復号制御モジュールは、「ジオメトリック・モード」に必要な全ての決定ルールおよび符号化処理構造を含むように修正／拡張することができる。

【0095】

ＭＰＥＧ−４ ＡＶＣ規格に対する本発明の原理の使用に係る別の想定される修正／拡張に関し、ｆ（ｘ，ｙ）およびそのパラメータによって記述される任意のパーティションを有するブロックを補償するように、動き補償モジュールを適応させることができる。

【0096】

ＭＰＥＧ−４ ＡＶＣ規格に対する本発明の原理の使用に係るさらに別の想定される修正／拡張に関し、パラメトリック・モデルベースの符号化モードにおいて利用可能な相異なる分類のパーティションために最も適切な動きベクトルをテストし、選択するように、動き補償モジュールを適応させることができる。

【0097】

ＭＰＥＧ−４ ＡＶＣ規格に対する本発明の原理の使用に係るさらに別の想定される修正／拡張に関し、パラメトリック・モデルベースの各パーティションにおいて最も適切な予測モードを選択する可能性を用いたパラメトリック・モデルベースのブロック分割を考慮するように、イントラ・フレーム予測を適応させることができる。

【0098】

ＭＰＥＧ−４ ＡＶＣ規格に対する本発明の原理の使用に係るさらに別の想定される修正／拡張に関し、パラメトリック・モデルベースのパーティションを用いたブロック内部の動き領域のより複雑な形状を取り扱うために、デブロッキング・インループ・フィルタ・モジュールを適応させることができる。

【0099】

ＭＰＥＧ−４ ＡＶＣ規格に対する本発明の原理の使用に係るさらに別の想定される修正／拡張に関し、パラメトリック・モデルベースのモードを用いて関連付けられる新たなデータの符号化処理および／復号処理を行うように、エントロピー符号化処理および／または復号処理を適応させ、拡張することができる。さらに、動き領域のより複雑な形状を取り扱うために、動き予測を適応させることができる。パラメトリック・モデルベースのペーティション・パラメータを効率的に符号化するための予測子を生成し、使用することもできる。

【0100】

符号化器特定ブロック
符号化器制御
符号化器制御モジュールは、パラメトリック・モデルベースのブロック・パーティションに基づいて新たなモードを考慮するために拡張することができる。これらのモード（ジオメトリック・モードと呼ばれる）は、ＭＰＥＧ−４ ＡＶＣ規格における既存のモードの中に挿入される。動き補償のためのインターモードの特定の場合においては、１６×１６および８×８のパラメトリック・モデルベースで分割されたブロックが存在する。各モデルは、それぞれ、マクロブロック・サイズのモードおよびサブマクロブロック・サイズのモード内に挿入される。構造的な類似性により、これらのモードは、ジオメトリック１６×１６モードでは、１６×８および／または８×１６の前、間、または後に論理的に挿入され、ジオメトリック８×８モードでは８×４および／または４×８の前、間、または後に挿入される。例示的な実施態様においては、低ビットレートのため、１６×８、および８×１６、さらに、８×４および４×８モードの低コストでの使用を可能にするために、１６×１６および８×８のジオメトリック・モードがＭＰＥＧ−４ ＡＶＣ 方向ホモローグ（ｄｉｒｅｃｔｉｏｎａｌ ｈｏｍｏｌｏｇｕｅｓ）の直後に挿入される。グローバルな使用に係る統計的データに従って、これらを表１および表２に示すように、ＭＰＥＧ−４ ＡＶＣ方向モード（およびサブモード）の直前に挿入することもできる。

【表1】

【表2】

【0101】

動き推定
必要な場合、ジオメトリーが適応されたブロック・パーティションを取り扱うように動き推定モジュールを適応させてもよい。例として、ジオメトリック・モードにおいては、動きは、従来のツリーベースのパーティション・モード１６×８、８×１６、８×４、または、４×８の場合と同様に記述さる。実際、これらのモードは、本願のパラメトリック・モデルベースのパーティション・モードの何らかの特定のインスタンスのように機能することができる。従って、これらは、使用されるパラメトリック・モデルの想定される構成から除外される。各パーティションは、必要に応じて、さらに、ＰブロックまたはＢブロックが符号化中であるかどうかにより、１つまたは複数の参照値を用いてモデル化される。

【0102】

Ｐモードの例：
完全なＰモードのパラメトリック・モデルベースで分割されたブロックにおいては、双方のパーティションが参照フレームから選択された整合パッチによってモデル化される。各パッチは、選択されたジオメトリック・パーティションに適した形状を有していなければならない。ＰマクロブロックおよびＰサブマクロブロックの場合と同様に、動きベクトルがパーティション毎に送信される。この点についての１つの例では、何らかの歪みの尺度（Ｄ）および何らかの符号化コストの尺度（Ｒ）の観点から、ブロック内の情報が最良に記述されるように、動きベクトル、さらに、ｆ（ｘ，ｙ）モデル・パラメータが選択される。この目的で、ＤおよびＲが共に最小化されるように、各ブロックについて全てのパラメータが一緒に最適化される。

【数10】

ここでλは乗算ファクタであり、ＭＶ_１およびＭＶ_０は、パーティション内の双方の動きベクトルを表し、θおよびρは、一次多項式の特定の場合のパーティション・パラメータを示す。各Ωｘは、各種情報のための有効な値のセット（集合）を表す。

【0103】

本発明の原理に係る１つ以上の実施の形態と共に使用される歪みの尺度の適応例は、各パーティションのために生成されるマスクの使用である（図７のマスクの例参照）。次に、各パーティションを考慮するように、以下のように、どのような従来のブロックベースの歪み尺度も修正することができる。

【数11】

上記数式において、ＭＡＳＫ_Ｐ１（ｘ，ｙ）およびＭＡＳＫ_Ｐ０（ｘ，ｙ）は、それぞれ、ｆ（ｘ，ｙ）パーティションの各々を表す。これを高速に実施することは、極めて小さな値（例えば、所与の閾値（０．５などの閾値）未満〜零）のマスク値に対して追加される処理の数を減少させるよって可能となる。また、このような単純化の例は、０．５以下の全ての値は零に切り捨て、０．５を超える全ての値を１に切り上げるといったような単純化されたマスクを作成することでもよい。そこで、一実施の形態においては、マスクが１である位置のもののみが加算され、歪みが算出される。このような場合、追加される処理のみが必要であり、各マスクにおいて零の値を有する全ての位置が無視される。

【0104】

一実施の形態においては、全てのパーティションで動きサーチを実行することに加え、パーティション自体も動き情報と共に決定される。従って、サーチは、ｆ（ｘ，ｙ）パラメータに対しても行われる。図１６を参照すると、モデルベースのパーティション・パラメータおよび予測サーチ（例えば、動き推定のための動きベクトル・サーチ）を使用したジオメトリック・モード推定のための例示的な方法が概ね参照符号１６００によって示されている。

【0105】

方法１６００は、制御をループ端ブロック１６１０に受け渡す開始ブロック１６０５を含む。ループ端ブロック１６１０は、全ての数の想定されるエッジ（エッジの数は、ジオメトリック精度に依存する）に対してループを実行し、変数ｉを初期化し、制御を機能ブロック１６１５に受け渡す。機能ブロック１６１５は、パラメータ・セットｉを用いてパーティションを生成し、制御を機能ブロック１６２０に受け渡す。機能ブロック１６２０は、パーティション・セットｉを与えられた最良の予測子をサーチし、制御を決定ブロック１６２５に受け渡す。決定ブロック１６２５は、最良のパーティションおよび最良の予測が決定されているかどうかを判定する。最良のパーティションおよび最良の予測が決定されている場合には、制御が機能ブロック１６３０に受け渡される。最良のパーティションおよび最良の予測が決定されていない場合には、制御がループ端ブロック１６３５に受け渡される。

【0106】

機能ブロック１６３０は、最良のジオメトリック・パラメータおよび予測子の選択肢を保存し、制御をループ端ブロック１６３５に受け渡す。

【0107】

ループ端ブロック１６３５は、全ての数の想定されるエッジに対してループを終了し、制御を終了ブロック１６４０に受け渡す。

【0108】

ブロック・パーティションのために幾つかの想定されるモデルのタイプのモードを使用することが望まれる場合、動き推定は、データに適応された最良のモデルを見つけるために、複数の異なるモードをテストすることに関わるであろう。復号器側での最良のモデルの選択は、必要な補助情報を送信することによって処理される。

【0109】

エントロピー符号化
エントロピー符号化は、ジオメトリック・パラメータの統計的なデータ、さらに、近傍の復号／符号化ブロックからの予測モデルに従って、ジオメトリック・パラメータを符号化するために拡張することができ、近傍の復号／符号化ブロック自体、ジオメトリック・パーティション情報を含むことがある。パラメトリック・モデルを用いて分割されたブロックのための動きベクトル予測子は、各々の分割されたブロックのジオメトリー、さらに、近傍の、既に符号化されたブロックのジオメトリーに適応されている。各ジオメトリック・パーティション動きベクトルは、空間および／または時間的に近傍のブロックから適応的に選択された動きベクトルのセットより予測される。これについての一実施の形態は、現在のブロック・パーティションのジオメトリーに依存して、１つ、または３つの空間近傍の動きベクトルを使用することである。動きベクトルの数が３である場合、これらには、メジアン・フィルタがかけられる。次に、予測された各動きベクトルは、可変長符号化（ＶＬＣ）または算術符号化に基づく符号化を使用して、ＭＥＰＧ−４ ＡＶＣ規格に従って符号化される。

【0110】

次に、モデルベースのパーティション・パラメータのための２つの例示的な符号化アプローチについて説明する。

【0111】

モデルベースのパーティション・パラメータのための第１の例示的な符号化アプローチにおいては、このようなパラメータは、近傍にモデルベースの（またはジオメトリック）ブロックが存在しない場合に、予測無しに符号化される。そこで、一次多項式の場合、可変長符号化の一実施の形態においては、各角度は、一様な符号を用いて符号化され、半径は、ゴロム符号（Ｇｏｌｏｍｂ ｃｏｄｅ）を使用することができる。

【0112】

モデルベースのパーティション・パラメータのための第２の例示的な符号化アプローチにおいては、このようなパラメータは、少なくとも１つの近傍のモデルベース（またはジオメトリック）ブロックが存在する場合に、予測を用いて符号化される。パラメータ予測の実施の形態は、前側に存在する近傍ブロックからのパラメトリック・モードを現在のブロックに投影することによって実行される。実際、一次多項式の場合、一例では、前のブロックのラインを現在のブロックに継続させることによってパラメータを予測する。２つのブロックが利用可能である場合には、予測されたラインは、マクロブロック境界を有する隣接ラインの両方の交点を結合するものである。

【0113】

図１３を参照すると、左側のブロックのパラメータから右側のブロックのパーティション・パラメータを予測する例が概ね参照符号１３００によって示されている。

【0114】

図１４を参照すると、上側のブロックのパラメータからの下側のブロックのパーティション・パラメータを予測する例が概ね参照符号１４００によって示されている。

【0115】

図１５を参照すると、上側および左側のブロックの各パラメータから下側のブロックのパーティション・パラメータを予測する例が概ね参照符号１５００によって示されている。

【0116】

次に、予測されたパラメータは、ゴロム符号を使用して別個に符号化される。角度の特定の場合において、後のＶＬＣ符号化またはＡＣ符号化のための最良の想定される統計的なデータを有するために、周期的な特性を有効に利用することができる。ＶＬＣの一例においては、ゴロム符号を使用することができる。

【0117】

ジオメトリック・ブロック・モードの符号化処理構造に関し、図１７、図１８、図１９は、一般的なパラメトリック・モデルベースのブロックのための符号化フローチャートの特定の実施の形態を描いている。実際、パラメトリック・モデルベースのブロックを符号化するために、動きデータに追加して、ブロック符号化処理の何らかの時点において、パーティション・パラメータが符号化されることとなる。

【0118】

図１７を参照すると、ジオメトリカルに分割された予測ブロックを符号化する例示的な方法が概ね参照符号１７００によって示されている。

【0119】

方法１７００は、制御を決定ブロック１７１０に受け渡す開始ブロック１７０５を含む。決定ブロック１７１０は、現在のモードタイプがジオメトリック・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・モードタイプである場合には、制御が機能ブロック１７１５に受け渡される。現在のモードタイプがジオメトリック・モードタイプでない場合には、制御が終了ブロック１７３０に受け渡される。

【0120】

機能ブロック１７１５は、ジオメトリック・モードタイプを符号化し、制御を機能ブロック１７２０に受け渡す。機能ブロック１７２０は、ジオメトリック・パーティション・パラメータを符号化し、制御を終了ブロック１７２５に受け渡す。機能ブロック１７２５は、パーティション予測を符号化し、制御を終了ブロック１７３０に受け渡す。

【0121】

図１８Ａを参照すると、ジオメトリカルに分割されたインター予測ブロックを符号化する例示的な方法が概ね参照符号１８００によって示されている。

【0122】

方法１８００は、制御を決定ブロック１８０４に受け渡す開始ブロック１８０２を含む。決定ブロック１８０４は、現在のモードタイプがジオメトリック・インター・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・インター・モードタイプである場合には、制御が機能ブロック１８０６に受け渡される。現在のモードタイプがジオメトリック・インター・モードタイプでない場合には、制御が終了ブロック１８１２に受け渡される。

【0123】

機能ブロック１８０６は、ジオメトリック・インター・モードタイプを符号化し、制御を機能ブロック１８０８に受け渡す。機能ブロック１８０８は、ジオメトリック・パーティション・パラメータを符号化し（例えば、予測のために近傍のジオメトリック・データが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を機能ブロック１８１０に受け渡す。機能ブロック１８１０は、パーティション・インター予測を符号化し（例えば、予測のために近傍の復号されたデータが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を終了ブロック１８１２に受け渡す。

【0124】

図１８Ｂを参照すると、ジオメトリカルに分割されたイントラ予測ブロックを符号化する例示的な方法が概ね参照符号１８５０によって示されている。

【0125】

方法１８５０は、制御を決定ブロック１８５４に受け渡す開始ブロック１８５２を含む。決定ブロック１８５４は、現在のモードタイプがジオメトリック・インター・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・インター・モードタイプである場合には、制御が機能ブロック１８５６に受け渡される。現在のモードタイプがジオメトリック・インター・モードタイプでない場合には、制御が終了ブロック１８６２に受け渡される。

【0126】

機能ブロック１８５６は、ジオメトリック・インター・モードタイプを符号化し、制御を機能ブロック１８５８に受け渡す。機能ブロック１８５８は、ジオメトリック・パーティション・パラメータを符号化し（例えば、予測のために近傍のジオメトリック・データが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を機能ブロック１８６０に受け渡す。機能ブロック１８６０は、パーティション・インター予測を符号化し（例えば、予測のために近傍の復号されたデータが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を終了ブロック１８６２に受け渡す。

【0127】

図１９を参照すると、複数のタイプのモデルを有する例示的な方法が概ね参照符号１９００によって示されている。

【0128】

方法１９００は、制御を決定ブロック１９１０に受け渡す開始ブロック１９０５を含む。決定ブロック１９１０は、現在のモードタイプがジオメトリック・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・モードタイプである場合には、制御が機能ブロック１９１５に受け渡される。現在のモードタイプがジオメトリック・モードタイプでない場合には、制御が終了ブロック１９５０に受け渡される。

【0129】

機能ブロック１９１５は、ジオメトリック・モードタイプを符号化し、制御を準備ブロック１９２０に受け渡す。準備ブロック１９２０は、現在のパーティションのためにパラメトリック・モデルＡまたはＢを選択する。パラメトリック・モデルＡが選択された場合には、制御が機能ブロック１９３５に受け渡される。そうでない場合、パラメトリック・モデルＢが選択された場合には、制御が機能ブロック１９２５に受け渡される。

【0130】

機能ブロック１９３５は、符号をパラメトリック・モデルＡに対応するように指定し、制御を機能ブロック１９４０に受け渡す。機能ブロック１９４０は、パラメトリック・モデルＡのためのジオメトリック・パーティション・パラメータを符号化し、制御を機能ブロック１９４５に受け渡す。

【0131】

機能ブロック１９２５は、符号をパラメトリック・モデルＢに対応するように指定し、制御を機能ブロック１９３０に受け渡す。機能ブロック１９３０は、パラメトリック・モデルＢのためのジオメトリック・パーティション・パラメータを符号化し、制御を機能ブロック１９４５に受け渡す。

【0132】

機能ブロック１９４５は、パーティション予測を符号化し、制御を終了ブロック１９５０に受け渡す。

【0133】

符号化器／復号器共有ブロック
動き補償
パラメトリック・モデルベースで分割されたブロックにおける非方形／非矩形のパーティションを補償するために動き補償モジュールを拡張することができる。動き補償処理のためのブロック再構成は、本明細書においてで上述した動き推定処理に直接続くものである。実際、補償は、動きベクトルに関連付けられた２つの、パーティション形状のピクスマップ（ｐｉｘｍａｐｓ）と共にパーティションの最良のセットを予測子として使用することに対応する。既に定義したように、「部分面（Ｐａｒｔｉａｌ Ｓｕｒｆａｃｅ）」画素は、動きベクトルに関連付けられたピクスマップの所与のルールに従った組み合わせとして算出される。

【0134】

イントラ予測
ブロックのパラメトリック・モデルベースのパーティションに従ってイントラ・データを予測するために、イントラ予測がアップグレードされる。パラメトリック・モデルベースのパーティションを用いたイントラ予測は、パラメトリック・モデルベースのパーティションを用いた動き補償および動き推定と同様に定義されるが、生成されたパーティションの各々を満たすために、代わりにイントラ予測が使用されるという基本的な違いがある。

【0135】

インループ・デブロッキング・フィルタ
インループ・デブロッキング・フィルタは、予測のブロック構造、さらに、残差符号化離散コサイン変換（ＤＣＴ）に起因するブロッキング・アーティファクトを低減する。インループ・デブロッキング・フィルタは、符号化されたビデオ・データに依存して、さらに、ブロック境界に渡った各画素間のローカル強度の差に依存して、フィルタ強度を適応させる。本発明の原理に係る実施の形態は、ビデオ・データ表現の新たな形態を導入する。パラメトリック・モデルベースのパーティションを含むブロックは、必ずしも、各４×４ブロック上で一定の動きベクトル値、または、一定の参照フレーム値を有するものではない。実際、パラメトリック・モデルベースのパーティションを用いて任意に分割されたブロックにおいては、所与の動きベクトルによる影響を受ける領域およびブロック境界は、パラメトリック・モデルによって強いられる形状によって定義される。従って、４×４ブロックは、所与の位置で使用される動きベクトルおよび使用される参照フレームに関し、これが有する全体的な影響により、半分が１つのパーティションとなり、他方の半分が別のパーティションとなるように見える。よって、フィルタ強度決定の処理を適応させることによって、インループ・デブロッキング・フィルタ・モジュールが拡張される。この処理は、ここで、内部ブロック・パーティションの特定の形状を考慮してフィルタ強度を決定することが可能となるとよい。フィルタをかけるブロック境界の部分によっては、他のＭＰＥＧ−４ ＡＶＣモードによってなされるように、４×４のブロックに従うのではなく、パーティションの形状に従って、適切な動きベクトルおよび参照フレームを得る必要がある。図１２を参照すると、パラメトリック・モデルベースで分割されたマクロブロックが概ね参照符号１２００によって示されている。パラメトリック・モデルベースで分割されたマクロブロックは、デブロッキング・フィルタ強度決定のためにどのように情報が選択されるかを示すデブロッキング領域の幾つかの例を含む。フィルタ強度は、各４×４のブロックのデブロッキング・フィルタがかけられる側毎に一度算出される。

【0136】

フィルタ強度算出のために考慮されるパーティションの選択は、フィルタがかけられるブロック側に大部分が重なっているパーティションを選ぶことによって行われる。しかしながら、第２の代替的な方法では、角部のブロックにおける演算を単純にするために、フィルタがかけられる両方のブロック・エッジの大部分を含むパーティションからの動きおよび参照フレーム情報を有するように全ての変換ブロック全体が考慮される。

【0137】

デブロッキング・インループ・フィルタとパラメトリック・モデルベースのブロック分割の使用を組み合わせる第３の代替的な方法では、ブロック境界がモデルベースでブロックが分割されるモード（例えば、ジオメトリック・モード）の影響を受けるとき、場所に係らず、常に、ブロック境界を介してある程度のフィルタをかけることを可能にする。ジオメトリック・モードは、境界に影響を与えるブロック、境界近傍のブロックのいずれかのものである。また、デブロッキング・フィルタをジオメトリック・モードにおけるマクロブロックの境界に位置しない変換ブロックにかけてもよいし、かけなくともよい。

【0138】

デブロッキング・インループ・フィルタを組み合わせる第４の代替的な方法では、最初の２つの方法のいずれかを考慮するが、変換ブロックにおいてある程度のフィルタの使用をトリガーする条件として次のものを追加する。モデルベースのパーティション曲線とマクロブロック境界との間の接合部を含む変換ブロックによってブロック境界が影響を受ける場合には、ある程度のデブロッキングを使用する。

【0139】

復号器特定ブロック
復号器制御モジュール
復号器制御モジュールは、パラメトリック・モデルベースのブロック分割に基づく新たなモードを考慮するために拡張される。これらのモード（ジオメトリック・モードと呼ばれる）は、復号器側で実行されるものと同様に、ＭＰＥＧ−４ ＡＶＣ規格における既存のモードの中に挿入される。符号化器側で符号化される情報を正確に復元するために、符号化器の構造および復号処理シーケンスと完全に一致するように復号器制御モジュールが修正される。

【0140】

エントロピー復号
エントロピー復号は、モデルベースのブロック分割の使用のために拡張することができる。上述したエントロピー符号化処理に従って、エントロピー復号は、上述した符号化処理に一致するように拡張される必要がある。図２０、図２１、および図２２は、パラメトリック・モデルベースの符号化モードに関連する情報を復号するための、この点に関して想定される特定の実施の形態を示しており、ここでは、どのブロック・モードが使用されるかを示す符号語が既に復号されており、復号器制御のために利用可能である。

【0141】

図２０を参照すると、ジオメトリカルに分割された予測ブロックを復号する例示的な方法が概ね参照符号２０００によって示されている。

【0142】

方法２０００は、制御を機能ブロック２０１０に受け渡す開始ブロック２００５を含む。機能ブロック２０１０は、現在のモードタイプがジオメトリック・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・モードタイプである場合には、制御が機能ブロック２０１５に受け渡される。現在のモードタイプがジオメトリック・モードタイプでない場合には、制御が終了ブロック２０２５に受け渡される。

【0143】

機能ブロック２０１５は、ジオメトリック・パーティション・パラメータを復号し、制御を機能ブロック２０２０に受け渡す。機能ブロック２０２０は、パーティション予測を復号し、制御を終了ブロック２０２５に受け渡す。

【0144】

図２１Ａを参照すると、ジオメトリカルに分割されたインター予測ブロックを復号する例示的な方法が概ね参照符号２１００によって示されている。

【0145】

方法２１００は、制御を機能ブロック２１１４に受け渡す開始ブロック２１１２を含む。機能ブロック２１１４は、現在のモードタイプがジオメトリック・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・モードタイプである場合には、制御が機能ブロック２１１６に受け渡される。現在のモードタイプがジオメトリック・モードタイプでない場合には、制御が終了ブロック２１２０に受け渡される。

【0146】

機能ブロック２１１６は、ジオメトリック・パーティション・パラメータを復号し（例えば、予測のために近傍のジオメトリック・データが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を機能ブロック１８１０に受け渡す。機能ブロック２１１８は、パーティション・インター予測を復号し（例えば、予測のために近傍の復号されたデータが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を終了ブロック２１２０に受け渡す。

【0147】

図２１Ｂを参照すると、ジオメトリカルに分割されたイントラ予測ブロックを復号する例示的な方法が概ね参照符号２１５０によって示されている。

【0148】

方法２１５０は、制御を機能ブロック２１６４に受け渡す開始ブロック２１６２を含む。機能ブロック２１６４は、現在のモードタイプがジオメトリック・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・モードタイプである場合には、制御が機能ブロック２１６６に受け渡される。現在のモードがジオメトリック・モードタイプでない場合には、制御が終了ブロック２１７０に受け渡される。

【0149】

機能ブロック２１６６は、ジオメトリック・パーティション・パラメータを復号し（例えば、予測のために近傍のジオメトリック・データが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を機能ブロック２１６８に受け渡す。機能ブロック２１６８はパーティション・イントラ予測を復号し（例えば、予測のために近傍の復号されたデータが利用可能である場合には、これを使用し、適切に符号化テーブルを適応させる）、制御を終了ブロック２１７０に受け渡す。

【0150】

図２２を参照すると、複数のタイプのモデルを復号する例示的な方法が概ね参照符号２２００によって示されている。

【0151】

方法２２００は、制御を決定ブロック２２１０に受け渡す開始ブロック２２０５を含む。決定ブロック２２１０は、現在のモードタイプがジオメトリック・モードタイプであるかどうかを判定する。現在のモードタイプがジオメトリック・モードタイプである場合には、制御が機能ブロック２２１５に受け渡される。現在のモードタイプがジオメトリック・モードタイプでない場合には、制御が終了ブロック２２４０に受け渡される。

【0152】

機能ブロック２２１５は、パラメトリック・モデル選択を復号し、制御を準備ブロック２２２０に受け渡す。準備ブロック２２２０は、現在のパーティションのためにパラメトリック・モデルＡまたはＢを選択する。パラメトリック・モデルＡが選択された場合には、制御が記録ブロック２２２５に受け渡される。そうでない場合、パラメトリック・モデルＢが選択された場合には、制御が機能ブロック２２３０に受け渡される。

【0153】

機能ブロック２２２５は、パラメトリック・モデルＡのためのジオメトリック・パーティション・パラメータを復号し、制御を機能ブロック２２３５に受け渡す。

【0154】

機能ブロック２２３０は、パラメトリック・モデルＢのためのジオメトリック分割パラメータを復号し、制御を機能ブロック２２３５に受け渡す。

【0155】

機能ブロッック２２３５は、パーティション予測を復号し、制御を終了ブロック２２４０に受け渡す。

【0156】

図２３を参照すると、スライス・ヘッダ・シンタックス符号化のための例示的な方法が概ね参照符号２３００によって示されている。

【0157】

方法２３００は、制御を機能ブロック２３１０に受け渡す開始ブロック２３０５を含む。機能ブロック２３１０は、スライス関連情報Ｉを符号化し、制御を機能ブロック２３１５に受け渡す。機能ブロック２３１５は、スライス品質（ＱＰ）符号化情報を符号化し、制御を機能ブロック２３２０に受け渡す。機能ブロック２３２０は、ジオメトリック・パラメータ精度情報を符号化し、制御を機能ブロック２３２５に受け渡す。機能ブロック２３２５は、スライス関連情報ＩＩを符号化し、制御を終了ブロック２３３０に受け渡す。表現「スライス関連情報Ｉ」および「スライス関連情報」は、スライス・ヘッダ関連情報を表し、ジオメトリック精度パラメータがスライス・ヘッダの既存のシンタックス内に挿入される。

【0158】

図２４を参照すると、ジオメトリック・パラメータ精度を導出する例示的な方法が概ね参照符号２４００によって示されている。

【0159】

方法２４００は、制御を機能ブロック２４１０に受け渡す開始ブロック２４０５を含む。機能ブロック２４１０は、今回（即ち、現在）のマクロブロックのためのＱＰパラメータを取得し、制御を機能ブロック２４１５に受け渡す。機能ブロック２４１５は、ジオメトリック・パラメータ精度を算出し、制御を終了ブロック２４２０に受け渡す。

【0160】

図２５を参照すると、ジオメトリック・ブロックを再構成する例示的な方法が概ね参照符号２５００によって示されている。

【0161】

方法２５００は、制御を機能ブロック２５１０に受け渡す開始ブロック２５０５を含む。機能ブロック２５１０は、各パラメータからジオメトリック・パーティションを判定し、制御を機能ブロック２５１５に受け渡す。機能ブロック２５１５は、パーティション予測を再構築し、制御を機能ブロック２５３０に受け渡す。機能ブロッック２５２０は、アンチエイリアス処理を施し、制御を機能ブロック２５２５に受け渡す。機能ブロック２５２５は、再構成された残差を加え、制御を終了ブロック２５３０に受け渡す。

【0162】

図２６を参照すると、現在のブロックのための最良のモードをサーチする例示的な方法が概ね参照符号２６００によって示されている。

【0163】

方法２６００は、制御を機能ブロック２６１０と、機能ブロック２６１５と、機能ブロック２６２０と、機能ブロック２６２５と、および機能ブロック２６３０とに受け渡す開始ブロック２６０５を含む。機能ブロック２６１０は、１６×１６のブロック・モードをテストし、制御を機能ブロック２６３５に受け渡す。機能ブロック２６１５は、１６×８のブロック・モードをテストし、制御を機能ブロック２６３５に受け渡す。機能ブロック２６２０は、８×１６のブロック・モードをテストし、制御を機能ブロック２６３５に受け渡す。機能ブロック２６２５は、１６×１６のブロック・モードをテストし、制御を機能ブロック２６３５に受け渡す。機能ブロック２６３０は、８×８のブロック・モードをテストし、制御を機能ブロック２６３５に受け渡す。

【0164】

機能ブロック２６３５は、現在のブロックのための最良のブロックを選択し、制御を終了ブロック２６４０に受け渡す。

【0165】

図２７を参照すると、スライス・ヘッダ・シンタックス復号の例示的な方法が概ね参照符号２７００によって示されている。

【0166】

方法２７００は、制御を機能２７１０に受け渡す開始ブロック２７０５を含む。機能ブロック２７１０は、スライス関連情報Ｉを復号し、制御を機能ブロック２７１５に受け渡す。機能ブロック２７１５は、スライス品質符号化情報を復号し、制御を機能ブロック２７２０に受け渡す。機能ブロック２７２０は、ジオメトリック・パラメータ精度情報を復号し、制御を機能ブロック２７２５に受け渡す。機能ブロック２７２５は、スライス関連情報ＩＩを復号し、制御を終了ブロック２７３０に受け渡す。

【0167】

本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、少なくとも１つのパラメトリック・モデルに応答して、ピクチャを少なくとも部分的に適応的に分割することによって、前記ピクチャに対応する画像データを符号化する符号化器を含む装置である。前記少なくとも１つのパラメトリック・モデルは、少なくとも１つ曲線の黙示的な定式化および明示的な定式化の少なくとも一方に関わる。

【0168】

別の利点／特徴は、上述した符号化器を有する装置であって、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線の少なくとも一方が、ジオメトリックな信号モデルから導出される、前記装置である。

【0169】

また、別の利点／特徴は、上述した符号化器を有する装置であって、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線の少なくとも一方が、１つ以上の画像輪郭および１つ以上の動き境界のうちの少なくとも一方を記述する、前記装置である。

【0170】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方として、少なくとも１つの多項式が使用される、前記装置である。

【0171】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方として、一次多項式モデルが使用される、前記装置である。

【0172】

さらに、別の利点／特徴は、上述した一次多項式モデルが使用される符号化器を有する装置であって、前記一次多項式モデルが角度パラメータおよび距離パラメータを含む、前記装置である。

【0173】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、１つを超えるパラメトリック・モデルを利用可能である場合、所与の画像部分のための前記少なくとも１つのパラメトリック・モデルが１セットのモデルから適応的に選択され、前記選択が黙示的または明示的に符号化される、前記装置である。

【0174】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記符号化器は、少なくとも１つのハイレベル・シンタックス要素を使用して、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のパラメータの精度の黙示的または明示的な符号化を実行する、前記装置である。

【0175】

さらに、別の利点／特徴は、上述した少なくとも１つのハイレベル・シンタックスを使用する符号化器を有する装置であって、スライス・ヘッダ・レベル、補助拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット・レベル、シーケンス・パラメータ・セット・レベル、およびネットワーク抽象化レイヤー・ユニット・ヘッダ・レベルのうちの少なくとも１つに前記少なくとも１つのハイレベル・シンタックス要素が配置される、前記装置である。

【0176】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、圧縮効率と符号化器の複雑性の少なくとも一方を制御するために、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のパラメータの精度が適応される、前記装置である。

【0177】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のパラメータの精度が圧縮品質パラメータに依存して適応される、前記装置である。

【0178】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記ピクチャのうちの少なくとも１つの、少なくとも１つのパーティションで関連付けられる、予測子データが空間的に近傍のブロックおよび時間的に近傍のブロックのうちの少なくとも一方から予測される、前記装置である。

【0179】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のためのパーティション・モデル・パラメータが空間的に近傍のブロックおよび時間的に近傍のブロックのうちの少なくとも一方から予測される、前記装置である。

【0180】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記符号化器は、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方に従って、１つ以上のパーティションに部分的に存在する各画素の各予測値を、アンチエイリアス処理、前記各画素の対応する各位置の各予測値の一部の組み合わせ、前記各画素の前記対応する各位置の各予測値の合計、近傍値、前記画素が部分的に位置するとみなされる、前記１つ以上のパーティションからの、複数の異なるパーティションの各予測子、の少なくとも１つを使用して算出する、前記装置である。

【0181】

さらに、別の利点／特徴は、上述した符号化器を有する装置であって、前記符号化器が、既存のビデオ符号化規格またはビデオ符号化勧告の既存のハイブリッド予測符号化器の拡張バージョンである、前記装置である。

【0182】

さらに、別の利点／特徴は、上述した既存のビデオ符号化規格またはビデオ符号化勧告の既存のハイブリッド予測符号化器の拡張バージョンである符号化器を有する装置であって、前記符号化器が、前記マクロブロックおよび前記サブマクロブロックのうちの少なくとも一方のための符号化モードとして、前記ピクチャのマクロブロックおよびサブブロックの少なくとも一方に対してパラメトリック・モデルベースのパーティションを適用する、前記装置である。

【0183】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、既存のビデオ符号化規格またはビデオ符号化勧告の既存のマクロブロックおよびサブマクロブロック符号化モード内にパラメトリック・モデルベースの符号化モードが挿入される、前記装置である。

【0184】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、前記符号化器は、前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のモデル・パラメータを選択し、パーティション予測データと共にパラメトリック・モデルベースのパーティションを生成する、前記装置である。

【0185】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、前記符号化器は、歪み尺度および符号化コスト尺度の少なくとも一方を共に最小化するために、前記少なくとも１つのパラメトリック・モデル、前記少なくとも１つの曲線、およびパーティション予測のうちの少なくとも１つのモデル・パラメータを選択する、前記装置である。

【0186】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、少なくとも２つのパラメトリック・モデルベースのパーティションに重なる前記ピクチャのうち、少なくとも１つピクチャの各画素は、前記少なくとも２つのパラメトリック・モデルベースのパーティションの予測値の加重リニア平均である、前記装置である。

【0187】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、パーティション予測は、インターまたはイントラのタイプの少なくとも一方である、前記装置である。

【0188】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、前記符号化器は、パーティション・モデル・パラメータ符号化のための前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のために、パラメータ予測値を選択的に使用する、前記装置である。

【0189】

さらに、別の利点／特徴は、上述したパラメータ予測値を選択的に使用する符号化器を有する装置であって、前記各ピクチャの特定の１つの現在のブロックのための予測値が近傍のブロックから前記現在のブロックへの曲線外挿に基づく、前記装置である。

【0190】

さらに、別の利点／特徴は、上述したパラメータ予測値を選択的に使用する符号化器を有する装置であって、前記復号器は、複数の異なるコンテキスト・テーブルまたは符号化テーブルを使用して前記少なくとも１つのパラメトリック・モデルおよび前記少なくとも１つの曲線のうちの少なくとも一方のパラメータが予測されているかどうかに依存して前記画像データを符号化する、前記装置である。

【0191】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、前記符号化器が、ＩＳＯ／ＩＥＣ ＭＥＰＧ−４ Ｐａｒｔ １０ ＡＶＣ規格／ＩＴＵ−Ｔ Ｈ．２６４勧告のための符号化器の拡張バージョンである、前記装置である。

【0192】

さらに、別の利点／特徴は、上述したパラメトリック・モデルベースのパーティションを適用する符号化器を有する装置であって、パラメトリック・モデルベースのパーティション・モードが使用されている場合に、前記符号化器は、前記マクロブロックおよび前記サブマクロブロックのうちの前記少なくとも一方の非ツリーベースの分割による少なくとも１つのパラメトリック・モデルベースのパーティションによって影響を受ける変換サイズのブロックを取り扱うように適応されたデブロッキング・フィルタおよび参照フレーム・フィルタの少なくとも一方を適用する、前記装置である。

【0193】

本発明の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本発明の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。

【0194】

より好ましくは、本発明の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。

【0195】

添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本発明の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本発明の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。

【0196】

添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本発明の原理の範囲に含まれるべきものと解釈するべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19】

【図20】

【図21A】

【図21B】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】