特許 5978329 暗黙的な動き予測を使用した予測精緻化のための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5978329

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月24日

(54)【発明の名称】暗黙的な動き予測を使用した予測精緻化のための方法及び装置

(51)【国際特許分類】

   H04N 19/105 20140101AFI20160817BHJP

   H04N 19/147 20140101ALI20160817BHJP

   H04N 19/176 20140101ALI20160817BHJP

   H04N 19/46 20140101ALI20160817BHJP

   H04N 19/61 20140101ALI20160817BHJP

【ＦＩ】

   H04N19/105

   H04N19/147

   H04N19/176

   H04N19/46

   H04N19/61

【請求項の数】36

【外国語出願】

【全頁数】26

(21)【出願番号】特願2015-16565(P2015-16565)

(22)【出願日】2015年1月30日

(62)【分割の表示】特願2011-526038(P2011-526038)の分割

【原出願日】2009年9月1日

(65)【公開番号】特開2015-84597(P2015-84597A)

(43)【公開日】2015年4月30日

【審査請求日】2015年1月30日

(31)【優先権主張番号】61/094,295

(32)【優先日】2008年9月4日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ユンフェイ ジォン

(72)【発明者】

【氏名】オスカー ディヴォラ・エスコーダ

(72)【発明者】

【氏名】ペン イン

(72)【発明者】

【氏名】ジョエル ソーレ

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特開２００７−１４３１２４（ＪＰ，Ａ）

【文献】 Xin Li，Video Processing Via Implicit and Mixture Motion Models，IEEE Transactions on Circuits and Systems for Video Technology，２００７年 ８月２０日，Volume 17, Issue 8，pp. 953-963

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

画像ブロックに対して粗い予測を生成するために明示的な動き予測を使用し、前記粗い予測を精緻化するために暗黙的な動き予測を使用して前記画像ブロックを符号化する符号化器を備え、
前記暗黙的な動き予測は、最小二乗予測であり、
予測ブロックにおける画素値は、一度に１つの画素を精緻化され、
最終予測は、レート歪みコストに基づき、前記最小二乗予測により前記粗い予測を精緻化することで得られる精緻化された予測、前記最小二乗予測による精緻化を受けていない前記粗い予測、及び前記精緻化された予測と前記粗い予測との融合された予測を含む予測候補の中から選択され、
表示子は、マクロブロックレベルで前記選択を通知するために使用される、
ビデオ符号化装置。

【請求項2】

前記粗い予測は、イントラ予測及びインター予測の何れかである、
請求項１に記載のビデオ符号化装置。

【請求項3】

最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは、前記画像ブロックに関する空間画素及び時間画素を包含する、
請求項１に記載のビデオ符号化装置。

【請求項4】

前記最小二乗予測は、画素ベース又はブロック・ベースであり得、単一仮説動き補償予測又は複数仮説動き補償予測に使用される、
請求項１に記載のビデオ符号化装置。

【請求項5】

前記最小二乗予測の最小二乗予測パラメータは、前方動き推定に基づいて定義される、
請求項４に記載のビデオ符号化装置。

【請求項6】

前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、あるいは、１つ又は複数の参照ピクチャ・リストに関し、実行可能である、
請求項５に記載のビデオ符号化装置。

【請求項7】

前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる、
請求項４に記載のビデオ符号化装置。

【請求項8】

前記最小二乗予測の動き情報は、動きベクトル予測子によって導出するか、又は推定することが可能である、
請求項４に記載のビデオ符号化装置。

【請求項9】

画像ブロックを符号化する符号化器であって、
前記画像ブロックに対して粗い予測を生成するよう明示的な動き予測を行う動き推定器と、
前記粗い予測を精緻化するよう暗黙的な動き予測を行う予測精緻化器と
を備え、
前記暗黙的な動き予測は、最小二乗予測であり、
予測ブロックにおける画素値は、一度に１つの画素を精緻化され、
最終予測は、レート歪みコストに基づき、前記最小二乗予測により前記粗い予測を精緻化することで得られる精緻化された予測、前記最小二乗予測による精緻化を受けていない前記粗い予測、及び前記精緻化された予測と前記粗い予測との融合された予測を含む予測候補の中から選択され、
表示子は、マクロブロックレベルで前記選択を通知するために使用される、
符号化器。

【請求項10】

前記粗い予測は、イントラ予測及びインター予測の何れかである、
請求項９に記載の符号化器。

【請求項11】

ビデオ符号化器において、画像ブロックを符号化する方法であって、
明示的な動き予測を使用して前記画像ブロックに対して粗い予測を生成する工程と、
暗黙的な動き予測を使用して前記粗い予測を精緻化する工程と
を含み、
前記暗黙的な動き予測は、最小二乗予測であり、
予測ブロックにおける画素値は、一度に１つの画素を精緻化され、
最終予測は、レート歪みコストに基づき、前記最小二乗予測により前記粗い予測を精緻化することで得られる精緻化された予測、前記最小二乗予測による精緻化を受けていない前記粗い予測、及び前記精緻化された予測と前記粗い予測との融合された予測を含む予測候補の中から選択され、
表示子は、マクロブロックレベルで前記選択を通知するために使用される、
方法。

【請求項12】

前記粗い予測は、イントラ予測及びインター予測の何れかである、
請求項１１に記載の方法。

【請求項13】

最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは、前記画像ブロックに関する空間画素及び時間画素を包含する、
請求項１１に記載の方法。

【請求項14】

前記最小二乗予測は、画素ベース又はブロック・ベースであり、単一仮説動き補償予測又は複数仮説動き補償予測に使用される、
請求項１１に記載の方法。

【請求項15】

前記最小二乗予測の最小二乗予測パラメータは、前方動き推定に基づいて定義される、
請求項１４に記載の方法。

【請求項16】

前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、あるいは、１つ又は複数の参照ピクチャ・リストに関し、実行可能である、
請求項１５に記載の方法。

【請求項17】

前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる、
請求項１４に記載の方法。

【請求項18】

前記最小二乗予測の動き情報は、動きベクトル予測子によって導出するか、又は推定することが可能である、
請求項１４に記載の方法。

【請求項19】

明示的な動き予測を使用して生成された、画像ブロックに対する粗い予測を受け取り、暗黙的な動き予測を使用して前記粗い予測を精緻化することにより、前記画像ブロックを復号化する復号化器を備え、
前記暗黙的な動き予測は、最小二乗予測であり、
予測ブロックにおける画素値は、一度に１つの画素を精緻化され、
最終予測は、前記粗い予測とともに受け取られた表示子に基づき、前記最小二乗予測により前記粗い予測を精緻化することで得られる精緻化された予測、前記最小二乗予測による精緻化を受けていない前記粗い予測、及び前記精緻化された予測と前記粗い予測との融合された予測を含む予測候補の中から選択され、
前記表示子は、マクロブロックレベルで前記選択を通知するために使用される、
ビデオ復号化装置。

【請求項20】

前記粗い予測は、イントラ予測及びインター予測の何れかである、
請求項１９に記載のビデオ復号化装置。

【請求項21】

最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは、前記画像ブロックに関する空間画素及び時間画素を包含する、
請求項１９に記載のビデオ復号化装置。

【請求項22】

前記最小二乗予測は、画素ベース又はブロック・ベースであり、単一仮説動き補償予測又は複数仮説動き補償予測において使用される、
請求項１９に記載のビデオ復号化装置。

【請求項23】

前記最小二乗予測の最小二乗予測パラメータは、前方動き推定に基づいて定義される、
請求項２２に記載のビデオ復号化装置。

【請求項24】

前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、あるいは、１つ又は複数の参照ピクチャ・リストに関し、実行可能である、
請求項２３に記載のビデオ復号化装置。

【請求項25】

前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる、
請求項２２に記載のビデオ復号化装置。

【請求項26】

前記最小二乗予測の動き情報は、動きベクトル予測子によって導出するか、又は推定することが可能である、
請求項２２に記載のビデオ復号化装置。

【請求項27】

画像ブロックを復号化する復号化器であって、
明示的な動き予測を使用して生成された、前記画像ブロックに対する粗い予測を受け取り、暗黙的な動き予測を使用して前記粗い予測を精緻化する動き補償器を備え、
前記暗黙的な動き予測は、最小二乗予測であり、
予測ブロックにおける画素値は、一度に１つの画素を精緻化され、
最終予測は、前記粗い予測とともに受け取られた表示子に基づき、前記最小二乗予測により前記粗い予測を精緻化することで得られる精緻化された予測、前記最小二乗予測による精緻化を受けていない前記粗い予測、及び前記精緻化された予測と前記粗い予測との融合された予測を含む予測候補の中から選択され、
前記表示子は、マクロブロックレベルで前記選択を通知するために使用される、
復号化器。

【請求項28】

前記粗い予測は、イントラ予測及びインター予測の何れかである、
請求項２７に記載の復号化器。

【請求項29】

ビデオ復号化器において、画像ブロックを復号化する方法であって、
明示的な動き予測を使用して生成された、前記画像ブロックに対する粗い予測を受け取る工程と、
暗黙的な動き予測を使用して前記粗い予測を精緻化する工程と
を含み、
前記暗黙的な動き予測は、最小二乗予測であり、
予測ブロックにおける画素値は、一度に１つの画素を精緻化され、
最終予測は、前記粗い予測とともに受け取られた表示子に基づき、前記最小二乗予測により前記粗い予測を精緻化することで得られる精緻化された予測、前記最小二乗予測による精緻化を受けていない前記粗い予測、及び前記精緻化された予測と前記粗い予測との融合された予測を含む予測候補の中から選択され、
前記表示子は、マクロブロックレベルで前記選択を通知するために使用される、
方法。

【請求項30】

前記粗い予測は、イントラ予測及びインター予測の何れかである、
請求項２９に記載の方法。

【請求項31】

最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは、前記画像ブロックに関する空間画素及び時間画素を包含する、
請求項２９に記載の方法。

【請求項32】

前記最小二乗予測は、画素ベース又はブロック・ベースであり、単一仮説動き補償予測又は複数仮説動き補償予測に使用される、
請求項２９に記載の方法。

【請求項33】

前記最小二乗予測の最小二乗予測パラメータは、前方動き推定に基づいて定義される、
請求項３２に記載の方法。

【請求項34】

前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、あるいは、１つ又は複数の参照ピクチャ・リストに関し、実行可能である、
請求項３３に記載の方法。

【請求項35】

前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる、
請求項３２に記載の方法。

【請求項36】

前記最小二乗予測の動き情報は、動きベクトル予測子によって導出するか、又は推定することが可能である、
請求項３２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、内容全体を参照により、本明細書及び特許請求の範囲に援用する、西暦２００８年９月４日付出願の米国特許仮出願第６１／０９４２９５号の利益を主張する。

【0002】

本出願の原理は、一般に、ビデオの符号化及び復号化に関し、特に、暗黙的な動き予測を使用した予測精緻化のための方法及び装置に関する。

【背景技術】

【0003】

既存のビデオ符号化標準の大半は、ブロック・ベースの動き補償により、時間冗長度の存在を活用する。前述の標準の例には、ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ （ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ （ＩＴＵ−Ｔ） Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ標準」）が挙げられる。

【0004】

時間冗長度の存在を活用する前述のブロック・ベースの動き補償は、予測信号が、サイド情報（すなわち、動き情報）を明示的に送出することによって得られる前方動き予測の一タイプとみなし得る。動き補償（ＭＣ）の利点を上回らないようにオーバヘッドを最小にするために、粗い動きフィールド（ブロックベース）が多くの場合、使用される。周知の最小二乗予測（ＬＳＰ）などの後方動き予測は、動きベクトルを送信する必要性を回避し得る。しかし、結果として生じる予測性能は、モデル・パラメータ設定（例えば、フィルタ・サポート及び訓練ウィンドウ）に大きく依存する。ＬＳＰ手法では、モデル・パラメータは、局所の動き特性に適応させることが望ましい。本明細書及び特許請求の範囲では、「前方動き予測」は、「明示的な動き予測」と同義で使用される。同様に、「後方動き予測」は、「暗黙的な動き予測」と同義で使用される。
インター予測
ビデオ符号化では、インター予測は、目標フレームと、参照フレームとの間の時間冗長度を削減するために、広範に使用されている。動き推定／補償は、インター予測における主要な構成部分である。一般に、動きモデル及び対応する動き推定手法は２つのカテゴリに分類することが可能である。第１のカテゴリは、明示的な動き表現（動きベクトル）に基づいた前方予測である。動きベクトルは、前述の手法で明示的に送信される。第２のカテゴリは、動き情報が動きベクトルによって明示的に表される訳でない一方、暗黙的に活用される後方予測である。後方予測では、動きベクトルは送信されないが、時間冗長度は対応する復号化器でも活用することが可能である。

【0005】

図１に移れば、ブロック・マッチングが関係する例示的な前方動き推定手法は全体を参照符号１００で示す。前方動き推定手法１００には、サーチ領域１０１内の予測１０２、及びサーチ領域１０１を有する再構成された参照フレーム１１０が関係する。前方動き推定手法１００には、目標ブロック１５１及び再構成領域１５２を有する現在のフレーム１５０も関係する。動きベクトルＭｖは、目標ブロック１５１と予測１０２との間の動きを表すために使用される。

【0006】

前方予測手法１００は、上記第１のカテゴリに対応し、周知であり、例えばＭＰＥＧ−４ ＡＶＣ標準などの現在のビデオ符号化標準において採用されている。第１のカテゴリは通常、２つの工程で行われる。目標ブロック（現在のブロック）１５１と参照フレーム（例えば、１１０）との間の動きベクトルが推定される。次いで、動き情報（動きベクトルＭｖ）が符号化され、復号化器に明示的に送出される。復号化器では、動き情報が復号化され、先行して復号化された再構成された参照フレームから目標ブロック１５１を予測するために使用される。

【0007】

第２のカテゴリは、ビットストリームにおいて動き情報を明示的に符号化しない予測手法のクラスを表す。その代わりに、符号化器において行われるものと同じ動き情報導出が復号化器において行われる。実用的な後方予測手法の１つは、最小二乗予測（ＬＳＰ）が適用される一種の局所化された時空間自動回帰モデルを使用することである。別の手法は、テンプレート・マッチング予測手法などのパッチベースの手法を使用することである。図２に移れば、テンプレート・マッチング予測（ＴＭＰ）が関係する例示的な後方動き推定手法は、全体を参照符号２００によって示す。後方動き推定手法２００には、サーチ領域２１１を有する再構成された参照フレーム２１０、サーチ領域２１１内の予測２１２、及び予測２１２に対する近傍２１３が関係する。後方動き推定手法２００には更に、目標ブロック２５１を有する現在のフレーム２５０、目標ブロック２５１に関するテンプレート２５２、及び再構成された領域２５３が関係する。

【0008】

一般に、前方予測の性能は、送信されるオーバヘッドの量及び予測ブロック・サイズに大きく依存する。ブロック・サイズが削減されると、ブロック毎のオーバヘッドのコストが増加し、これは、平滑な動き及び剛的な動きの予測にのみ好適であるよう前方予測を制限する。後方予測では、オーバヘッドは送信されないので、ブロック・サイズは、更なるオーバヘッドを被ることなく削減することが可能である。よって、後方予測は、変形可能な動きなどの複雑な動きに、より適している。

【0009】

ＭＰＥＧ−４ ＡＶＣ標準インター予測
ＭＰＥＧ−４ ＡＶＣ標準は、木構造の階層マクロブロック・パーティションを使用する。インター符号化された１６×１６画素マクロブロックは、１６×８、８×１６、又は８×８のサイズのマクロブロック・パーティションに分けることができる。８×８画素マクロブロック・パーティションは、サブマクロブロックとしても知られている。サブマクロブロックも、８×４、４×８、及び４×４のサイズのサブマクロブロック・パーティションに分けることができる。符号化器は、圧縮効率及び主観的な品質を最大にするために、特定のマクロブロックの特性に基づいてパーティション及びサブマクロブロック・パーティションに特定のマクロブロックをどのようにして分けるかを選択することができる。

【0010】

複数の参照ピクチャをインター予測に使用することができ、参照ピクチャ・インデクスは、複数の参照ピクチャのうちのどれが使用されるかを示すよう符号化される。Ｐピクチャ（又はＰスライス）の場合、単一方向性予測のみが使用され、許容可能な参照ピクチャがリスト０において管理される。Ｂピクチャ（又はＢスライス）では、２つの参照ピクチャ・リスト（すなわち、リスト０及びリスト１）が管理される。Ｂピクチャ（又はＢスライス）では、リスト０又はリスト１を使用した単一方向性予測が許容されるか、又は、リスト０及びリスト１を使用した双方向予測が許容される。双方向予測が使用される場合、リスト０及びリスト１の予測子を併せて平均化して最終予測子を形成する。

【0011】

各マクロブロック・パーティションは、独立参照ピクチャ・インデックス、予測タイプ（リスト０、リスト１、又は双方向）、及び独立動きベクトルを有し得る。各サブマクロブロック・パーティションは独立動きベクトルを有し得るが、同じサブマクロブロックにおけるサブマクロブロック・パーティションは全て、同じ参照ピクチャ・インデックス及び予測タイプを使用する。

【0012】

ＭＰＥＧ−４ ＡＶＣ標準ジョイント・モデル（ＪＭ）参照ソフトウェアでは、レート歪み最適化（ＲＤＯ）フレームワークはモード決定に使用される。インター・モードの場合、動き推定はモード決定とは別個に考慮される。動き推定はまず、インター・モードのブロック・タイプ全てについて行われ、次いで、モード決定が、インター・モード及びイントラ・モードそれぞれのコストを比較することによって行われる。コストが最小のモードが最善モードとして選択される。Ｐフレームの場合、

【数1】

のモードを選択し得る。

【0013】

Ｂフレームの場合、

【数2】

のモードを選択し得る。

【0014】

しかし、現在のブロック・ベースの標準が、前述の標準の圧縮効率を増加させる予測を提供する一方で、予測精緻化は、特に、変動する条件下で、圧縮効率を更に増加させるために望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0015】

従来技術の前述並びに他の弊害及び欠点が、暗黙的な動き予測を使用した予測精緻化のための方法及び装置に関する本願の原理によって対処される。

【課題を解決するための手段】

【0016】

本願の原理の局面によれば、装置が提供される。装置は、画像ブロックに対して粗い予測を生成するために明示的な動き予測を使用し、粗い予測を精緻化するために暗黙的な動き予測を使用して画像ブロックを符号化する符号化器を含む。

【0017】

本願の原理の別の局面によれば、画像ブロックを符号化する符号化器が提供される。符号化器は、画像ブロックに対して粗い予測を生成するよう明示的な動き予測を行う動き推定器を含む。符号化器は更に、粗い予測を精緻化するよう暗黙的な動き予測を行う予測精緻化器も含む。

【0018】

本願の原理の更に別の局面によれば、ビデオ符号化器において画像ブロックを符号化する方法が提供される。上記方法は、明示的な動き予測を使用して画像ブロックに対して粗い予測を生成する工程を含む。上記方法は、暗黙的な動き予測を使用して粗い予測を精緻化する工程も含む。

【0019】

本願の原理の更に別の局面によれば、装置が提供される。装置は、明示的な動き予測を使用して生成された、画像ブロックに対する粗い予測を受け取り、暗黙的な動き予測を使用して粗い予測を精緻化することにより、画像ブロックを復号化する復号化器を含む。

【0020】

本願の原理の別の局面によれば、画像ブロックを復号化する復号化器が提供される。復号化器は、明示的な動き予測を使用して生成された、画像ブロックに対する粗い予測を受け取り、暗黙的な動き予測を使用して粗い予測を精緻化する動き補償器を含む。

【0021】

本願の原理の更に別の局面によれば、ビデオ復号化器において画像ブロックを復号化する方法が提供される。上記方法は、明示的な動き予測を使用して生成された、画像ブロックに対する粗い予測を受け取る工程を含む。上記方法は、暗黙的な動き予測を使用して粗い予測を精緻化する工程も含む。

【図面の簡単な説明】

【0022】

【図1】ブロック・マッチングを伴う例示的な前方動き推定手法を示すブロック図である。

【図2】テンプレート・マッチング予測（ＴＭＰ）を伴う例示的な後方動き推定手法を示すブロック図である。

【図3】最小二乗予測を使用する例示的な後方動き推定手法を示すブロック図である。

【図4】ブロック・ベースの最小二乗予測の例を示すブロック図である。

【図5】本願の原理の実施例により、本願の原理を適用することができる例示的なビデオ符号化器を示すブロック図である。

【図6】本願の原理の実施例により、本願の原理を適用することができる例示的なビデオ復号化器を示すブロック図である。

【図7A】本願の原理の実施例により、予測精緻化のための画素ベースの最小二乗予測の例を示すブロック図である。

【図7B】本願の原理の実施例により、予測精緻化のための画素ベースの最小二乗予測の例を示すブロック図である。

【図8】本願の原理の実施例により、予測精緻化のためのブロック・ベースの最小二乗予測の例を示すブロック図である。

【図9】本願の原理の実施例により、最小二乗予測による予測精緻化を使用して、画像ブロックに対するビデオ・データを符号化する例示的な方法を示すフロー図である。

【図10】本願の原理の実施例により、最小二乗予測による予測精緻化を使用して画像ブロックに対するビデオ・データを復号化する例示的な方法を示すフロー図である。

【発明を実施するための形態】

【0023】

本願の原理の前述並びに他の局面、構成及び効果は、添付図面とともに読まれる例示的な実施例の以下の詳細な説明から明らかになるであろう。

【実施例】

【0024】

本願の原理は、以下の例示的な図により、更に詳細に理解することができる。

【0025】

本願の原理は、暗黙的な動き予測を使用した予測精緻化のための方法及び装置に関する。

【0026】

本明細書及び特許請求の範囲は、本願の原理を示す。よって、当業者は、本明細書及び特許請求の範囲に明示的に説明するか、又は示していないが、本願の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を考え出すことができるであろう。

【0027】

本明細書及び特許請求の範囲記載の例及び条件付文言は全て、本願の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念の、読者の理解を支援するための教示の目的を意図しており、前述の、特記した例及び条件への限定なしであると解するものとする。

【0028】

更に、本願の原理、局面、及び実施例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。

【0029】

よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本願の原理を実施する例証的な回路の概念図を表すことは当業者によって理解されるであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コード等は何れも、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサによって実行し得る種々の処理を表すということも理解されるであろう。

【0030】

図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを専ら表すものと解するべきでなく、暗黙的には、限定列挙でないが、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。

【0031】

他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念的なものに過ぎない。前述の機能は、プログラム・ロジックの動作によるか、専用ロジックによるか、プログラム制御及び専用ロジックの相互作用によるか、又は手作業によって行うことができ、特定の手法は、コンテキストからより具体的に分かるように実現者によって選択可能である。

【0032】

本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本願の原理は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。

【0033】

本願明細書における、本願の原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ」、及びその他の変形への言及は、本願の実施例に関して説明した特定の構成、構造、特性等が本願の原理の少なくとも一実施例に含まれていることを意味している。よって、本明細書全体の種々の箇所に記載された「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」の句、及び何れかの他の変形は、必ずしも、同じ実施例を全て表している訳でない。

【0034】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、並びに「Ａ及びＢの少なくとも一方」の場合における「／」、「及び／又は」及び「少なくとも１つ」の何れかの使用は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、又は選択肢（Ａ及びＢ）両方の選択を包含することを意図している。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、前述の句は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、３番目に挙げられた選択肢（Ｃ）のみの選択、最初に挙げられた選択肢及び２番目に挙げられた選択肢（Ａ及びＢ）のみの選択、最初に挙げられた選択肢及び３番目に挙げられた選択肢（Ａ及びＣ）のみの選択、２番目に挙げられた選択肢及び３番目に挙げられた選択肢（Ｂ及びＣ）のみの選択、又は、３つの選択肢（Ａ、Ｂ及びＣ）全ての選択を包含することを意図している。当該技術分野及び関連技術分野において通常の知識を有する者が容易に分かるように、このことは、挙げられたいくつもの項目について拡張することができる。

【0035】

本明細書及び特許請求の範囲記載の「画像ブロック」という句は、マクロブロック、マクロブロック・パーティション、サブマクロブロック、及びサブマクロブロック・パーティションのうちの何れかを表す。

【0036】

上述の通り、本願の原理は、暗黙的な動き予測を使用した予測精緻化のための方法及び装置に関する。本願の原理によれば、明示的な動き表現及び暗黙的な動き表現を利用するために前方（動き補償）及び後方（例えば、最小二乗予測（ＬＳＰ））予測手法を組み合わせるビデオ予測手法が提案されている。

【0037】

よって、以下に、最小二乗予測について説明し、次いで、最小二乗予測による予測精緻化について説明する。

【0038】

最小二乗予測
最小二乗予測（ＬＳＰ）は、目標ブロック又は画素を予測するための後方方向ベースの手法であり、これは、暗黙的に動き情報を活用し、対応する復号化器にオーバヘッドとして動きベクトルを送出する必要はない。

【0039】

更に詳細に述べれば、ＬＳＰは、時空間自己回帰問題として予測を表す。すなわち、目標画素の強度値は、その時空間近傍の線形結合によって推定することが可能である。局所動き情報を暗黙的に収容する回帰係数は、時空間訓練ウィンドウ内の局所化された学習によって推定することが可能である。時空間自己回帰モデル及び局所学習は以下のように動作する。

【0040】

個別のビデオ・ソースを表すためにＸ（ｘ，ｙ，ｔ）を使用する。ここで、（ｘ，ｙ）∈［１，Ｗ］×［１，Ｈ］は空間座標であり、ｔ∈［１，Ｔ］はフレーム・インデクスである。単純にするために、ベクトル

【数3】

で、時空間の空間内の画素の位置を表し、

【数4】

（ｉ＝１，２，…，Ｎ）（時空間近傍内の画素の数Ｎは本願のモデルの次数である）でその時空間近傍の位置を表す。

【0041】

時空間自己回帰モデル
ＬＳＰでは、目標画素の強度値は、その近傍画素の線形結合として表される。図３に移れば、最小二乗予測を使用した例示的な後方動き推定手法は、全体を参照符号３００で示す。目標画素Ｘは対角線方向のハッチ・パターンを有する楕円で示す。後方動き推定手法３００には、Ｋフレーム３１０及びＫ−１フレーム３５０が関係する。目標画素Ｘの近傍画素Ｘｉは、クロス・ハッチング・パターンを有する楕円で示す。図３の例に関する自己回帰モデルは以下の通りである：

【数5】

ここで、

【数6】

は、目標画素Ｘの推定であり、

【数7】

は結合係数である。近傍（フィルタ・サポート）のトポロジは、空間再構成画素及び時間再構成画素を組み入れるよう柔軟であり得る。図３は、（Ｋ−１フレームにおける、）時間的に並べた９個の画素、及び（Ｋフレームにおける、）４個の因果的近傍画素を含む、一種の近傍定義の例を示す。

【0042】

時空間局所学習
ビデオ・ソースの非定常性に基づいて、

【数8】

は、ビデオ信号全てにわたって均質であるとみなされる代わりに時空間の空間内で適応的に更新されるはずであるといえる。

【0043】

【数9】

を適応させるやり方の１つには、

【数10】

のように、局所時空間訓練ウィンドウＭ内の平均二乗エラー（ＭＳＥ）を最小にするウィーナーの古典的な着想に従うということがある。

【0044】

訓練ウィンドウにＭ個のサンプルが存在していると仮定する。訓練サンプル全てをＭ×１ベクトル

【数11】

に書き込むことが可能である。訓練サンプル毎のＮ個の近傍を１×Ｎ行ベクトルに入れた場合、訓練サンプル全ては、Ｍ×Ｎのサイズのデータ行列Ｃを生成する。局所最適フィルタ係数

【数12】

の導出は、

【数13】

の最小二乗問題において表される。

【0045】

訓練ウィンドウ・サイズＭがフィルタ・サポート・サイズＮよりも大きい場合、上記問題は、過剰決定され、

【数14】

の閉形式解を認める。

【0046】

上記理論は画素ベースであるが、最小二乗予測は、ブロック・ベースの予測に非常に容易に拡張することが可能である。

【0047】

予測する対象の目標ブロックを表すために

【数15】

を使用するものとし、

【数16】

が、図４に示すような重なった近傍ブロックであるものとする。図４に移れば、ブロック・ベースの最小二乗予測の例全体を参照符号４００で示す。ブロック・ベースの最小二乗予測４００には、近傍ブロック４０１を有する参照フレーム４１０、及び訓練ブロック４５１を有する現在のフレーム４５０が関係する。近傍ブロック４０１は、参照符号Ｘ_１乃至Ｘ_９によっても示す。目標ブロックは参照符号Ｘ０で示す。訓練ブロック４５１は、参照符号Ｙ_ｉ、Ｙ_１、及びＹ_１０で示す。

【0048】

次いで、ブロック・ベースの回帰は

【数17】

の通りである。

【0049】

近傍ブロック及び訓練ブロックは図４に定義される。前述の場合、式（４）のように係数の同様な解を導出することは容易である。

【0050】

動き適応
式（１）又は（５）のモデリング機能は、フィルタ・サポート及び訓練ウィンドウの選択に大きく依存する。ビデオにおける動き情報を捕捉するために、フィルタ・サポート及び訓練ウィンドウのトポロジは、空間及び時間で動き特性に適応すべきである。ビデオ信号内の動き情報の非定常特性により、フィルタ・サポート及び訓練ウィンドウの適応的な選択が望ましい。例えば、低速度動き領域では、図３に示すフィルタ・サポート及び訓練ウィンドウで十分である。しかし、前述の種のトポロジは、高速の動きを捕捉するのに適切でない。並べられた訓練ウィンドウ内のサンプルは、別の動き特性を有し得、これにより、局所化学習ができなくなっている。一般に、フィルタ・サポート及び訓練ウィンドウは、動き軌跡の向きと合されているべきである。

【0051】

動き適応を実現するために２つの解を使用することが可能である。１つには、動きセグメント化に基づいて、ビデオ信号の階層化表現を得るということがある。各階層では、フィルタ・サポート及び訓練ウィンドウの固定トポロジを使用することが可能である。層内のサンプルは全て、同じ動き特性を共有するからである。しかし、前述の適応ストラテジには、不可避に、別の困難な問題である動きセグメント化が関係するからである。

【0052】

別の解は、動き適応を実現するために、時空間再サンプリング及び経験的なベイズ融合手法を活用するというものである。再サンプリングは、生成された多くの再サンプルを含む分散時空間特性を有するビデオ信号の冗長な表現を生成する。各再サンプルでは、フィルタ・サポート及び訓練ウィンドウの固定トポロジを有する上記最小二乗予測モデルにより、回帰結果を得ることが可能である。最終予測は、再サンプルの組からの回帰結果全ての融合である。前述の手法により、非常に好適な予測性能を得ることが可能である。しかし、前述のコストは、再サンプル毎の最小二乗予測を適用することによって被る非常に高い計算量であり、これは、実用的なビデオ圧縮のための最小二乗予測の適用を制限する。

【0053】

図５に移れば、本願の原理を適用することができる例示的なビデオ符号化器全体を参照符号５００で示す。ビデオ符号化器５００は、合成器５８５の非反転入力と信号通信する出力を有するフレーム配列バッファ５１０を含む。合成器５８５の出力は変換器及び量子化器５２５の第１の入力と信号通信で接続される。変換器及び量子化器５２５の出力は、エントロピ符号化器５４５の第１の入力、並びに、逆変換器及び逆量子化器５５０の第１の入力と信号通信で接続される。エントロピ符号化器５４５の出力は、合成器５９０の第１の非反転入力と信号通信で接続される。合成器５９０の出力は、出力バッファ５３５の第１の入力と信号通信で接続される。

【0054】

符号化器コントローラ５０５の第１の出力は、フレーム配列バッファ５１０の第２の入力、逆変換器及び逆量子化器５５０の第２の入力、ピクチャ・タイプ決定モジュール５１５の入力、マクロブロック・タイプ（ＭＢタイプ）決定モジュール５２０の入力、イントラ予測モジュール５６０の第２の入力、デブロッキング・フィルタ５６５の第２の入力、（ＬＳＰ精緻化を有する）動き補償器５７０の第１の入力、動き推定器５７５の第１の入力、及び参照ピクチャ・バッファ５８０の第２の入力と信号通信で接続される。符号化器コントローラ５０５の第２の出力は、補助拡充情報（ＳＥＩ）挿入器５３０の第１の入力、変換器及び量子化器５２５の第２の入力、エントロピ符号化器５４５の第２の入力、出力バッファ５３５の第２の入力、並びに、シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器５４０の入力と信号通信で接続される。符号化器コントローラ５０５の第３の出力は、最小二乗予測モジュール５３３の第１の入力と信号通信で接続される。

【0055】

ピクチャ・タイプ決定モジュール５１５の第１の出力は、フレーム配列バッファ５１０の第３の入力と信号通信で接続される。ピクチャ・タイプの決定モジュール５１５の第２の出力は、マクロブロック・タイプの決定モジュール５２０の第２の入力と信号通信で接続される。

【0056】

シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器５４０の出力は合成器５９０の第３の非反転入力と信号通信で接続される。

【0057】

逆量子化器及び逆変換器５５０の出力は、合成器５１９の第１の非反転入力と信号通信で接続される。合成器５１９の出力は、イントラ予測モジュール５６０の第１の入力及びデブロッキング・フィルタ５６５の第１の入力と信号通信で接続される。デブロッキング・フィルタ５６５の出力は参照ピクチャ・バッファ５８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ５８０の出力は、動き推定器５７５の第２の入力、最小二乗予測精緻化モジュール５３３の第２の入力、及び動き補償器５７０の第３の入力と信号通信で接続される。動き推定器５７５の第１の出力は、動き補償器５７０の第２の入力と信号通信で接続される。動き推定器５７５の第２の出力は、エントロピ符号化器５４５の第３の入力と信号通信で接続される。動き推定器５７５の第３の出力は、最小二乗予測モジュール５３３の第３の入力と信号通信で接続される。最小二乗予測モジュール５３３の出力は、動き補償器５７０の第４の入力と信号通信で接続される。

【0058】

動き補償器５７０の出力はスイッチ５９７の第１の入力と信号通信で接続される。イントラ予測モジュール５６０の出力は、スイッチ５９７の第２の入力と信号通信で接続される。マクロブロック・タイプ決定モジュール５２０の出力は、スイッチ５９７の第３の入力と信号通信で接続される。スイッチ５９７の第３の入力は、（制御入力、すなわち、第３の入力と比較して）スイッチの「データ」入力を、イントラ予測モジュール５６０の動き補償器５７０によって提供する。スイッチ５９７の出力は合成器５１９の第２の非反転入力及び合成器５８５の反転入力と信号通信で接続される。

【0059】

フレーム配列バッファ５１０及び符号化器コントローラ５０５が入力ピクチャを受け取るために、符号化器５００の入力として利用可能である。更に、補助付加情報（ＳＥＩ）挿入器５３０の入力は、メタデータを受信するために、符号化器５００の入力として利用可能である。出力バッファ５３５の出力は、ビットストリームを出力するために、符号化器５００の出力として利用可能である。

【0060】

図６に移れば、本願の原理を適用し得る例示的なビデオ復号化器は全体を参照符号６００で示す。

【0061】

ビデオ復号化器６００は、エントロピ復号化器６４５の第１の入力と信号通信で接続された出力を有する入力バッファ６１０を含む。エントロピ復号化器６４５の第１の出力は逆変換器及び逆量子化器６５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器６５０の出力は、合成器６２５の第２の非反転入力と信号通信で接続される。合成器６２５の出力はデブロッキング・フィルタ６６５の第２の入力及びインター予測モジュール６６０の第１の入力と信号通信で接続される。デブロッキング・フィルタ６６５の第２の出力は参照ピクチャ・バッファ６８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ６８０の出力は動き補償器及びＬＳＰ精緻化予測器６７０の第２の入力と信号通信で接続される。

【0062】

エントロピ復号化器６４５の第２の出力は、動き補償器及びＬＳＰ精緻化予測器６７０の第３の入力及びデブロッキング・フィルタ６６５の第１の入力と信号通信で接続される。エントロピ復号化器６４５の第３の出力は、復号化器コントローラ６０５の入力と信号通信で接続される。復号化器コントローラ６０５の第１の入力はエントロピ復号化器６４５の第２の入力と信号通信で接続される。復号化器コントローラ６０５の第２の出力は、逆変換器及び逆量子化器６５０の第２の入力と信号通信で接続される。復号化器コントローラ６０５の第３の出力は、デブロッキング・フィルタ６６５の第３の入力と信号通信で接続される。復号化器コントローラ６０５の第４の出力は、イントラ予測モジュール６６０の第２の入力、動き補償器及びＬＳＰ精緻化予測器６７０の第１の入力、及び参照ピクチャ・バッファ６８０の第２の入力と信号通信で接続される。

【0063】

動き補償器及びＬＳＰ精緻化予測器６７０の出力は、スイッチ６９７の第１の入力と信号通信で接続される。イントラ予測モジュール６６０の出力は、スイッチ６９７の第２の入力と信号通信で接続される。スイッチ６９７の出力は、合成器６２５の第１の非反転入力と信号通信で接続される。

【0064】

入力バッファ６１０の入力は、入力ビットストリームを受け取るために、復号化器６００の入力として利用可能である。デブロッキング・フィルタ６６５の第１の出力は、出力ピクチャを出力するために、復号化器６００の出力として利用可能である。

【0065】

上述の通り、本願の原理によれば、明示的な動き表現及び暗黙的な動き表現を利用するために前方（動き補償）及び後方（ＬＳＰ）予測手法を組み合わせるビデオ予測手法が提案されている。特に、本願提案の手法の使用には、粗い動きを捕捉するために特定の情報を明示的に送出する工程が関係し、次いで、粗い動きにより、動き予測を精緻化するためにＬＳＰが使用される。これは、ＬＳＰによる後方予測と、前方動き予測とを併せた手法としてみられ得る。本願の原理の利点には、ビットレート・オーバヘッドを削減すること、前方動きの予測品質を向上させること、及び、ＬＳＰの精度を向上させること、並びに、よって、符号化効率を向上させることが含まれる。インター予測のコンテキストで本明細書及び特許請求の範囲に開示し、説明しているが、本明細書及び特許請求の範囲記載の本願の原理の教示があれば、当業者は、本願の原理の趣旨を維持しながら、本願の原理をイントラ予測に容易に拡張することができるであろう。

【0066】

ＬＳＰによる予測精緻化
最小二乗予測は、動き適応を実現するために使用される。これは、位置毎での動き軌道の捕捉が必要である。後方適応的ビデオ符号化手法に最小二乗予測を活用することが可能であるが、前述の問題を解くために、前述の手法によって被る計算量は、実用的な適用例の場合、要求が過度である。ある程度妥当な計算量コストで動き適応を実現するために、動き軌跡を表すためのサイド情報としての動き推定結果を活用する。これは、最小二乗予測により、フィルタ・サポート及び訓練ウィンドウが設定されることを支援し得る。

【0067】

一実施例では、まず、動き推定を行い、次いで、ＬＳＰを行う。フィルタ・サポート及び訓練ウィンドウは、動き推定の出力動きベクトルに基づいて設定される。よって、ＬＳＰは、元の前方動き補償の精緻化工程として機能する。フィルタ・サポートは、空間及び／又は時間近傍再構成画素を組み入れるよう柔軟であり得る。時間近傍は、動きベクトルが指し示す参照ピクチャ内に限定されない。参照ピクチャと現在のピクチャとの間の距離に基づいた同じ動きベクトル、又はスケーリングされた動きベクトルを他の参照ピクチャに使用することが可能である。このようにして、前方精緻化及び後方ＬＳＰの両方を利用して圧縮効率を向上させる。

【0068】

図７Ａ及び図７Ｂに移れば、予測精緻化の画素ベースの最小二乗予測の例全体を参照符号７００で示す。予測精緻化７００の画素ベースの最小二乗予測には、Ｋフレーム７１０及びＫ−１フレーム７５０が関係する。特に、図７Ａ及び図７Ｂに示すように、目標ブロック７２２の動きベクトル（Ｍｖ）は、ＭＰＥＧ−４ＡＶＣ標準に関して行われるものなどの動き推定又は動きベクトル予測子から導出することが可能である。次いで、前述の動きベクトルＭｖを使用して、動きベクトルが指し示す向きに沿ってＬＳＰのフィルタ・サポート及び訓練ウィンドウを設定する。画素又はブロック・ベースのＬＳＰは予測ブロック７１１内で行うことが可能である。ＭＰＥＧ−４ＡＶＣ標準は、木ベースの階層マクロブロック・パーティションをサポートする。一実施例では、ＬＳＰ精緻化はパーティション全てに適用される。別の実施例では、ＬＳＰ精緻化は、１６×１６などの大容量のパーティションにのみ適用される。ブロック・ベースのＬＳＰが予測ブロックに対して行われた場合、ＬＳＰのブロック・サイズは、予測ブロックのものと同じでなくてよい。

【0069】

次に、本発明の原理を含む例示的な実施例を説明する。前述の実施例では、前方動き推定がまず、各パーティションにおいて行われる手法を示す。次いで、予測結果を精緻化するためにパーティション毎にＬＳＰを行う。ＭＰＥＧ−４ ＡＶＣ標準を参照として使用して本願のアルゴリズムを説明するが、当業者に明らかであるように、本願の原理の教示は、他の符号化標準、勧告等に容易に適用し得る。

【0070】

実施例：明示的な動き推定及びＬＳＰ精緻化
前述の実施例では、明示的な動き推定は、まず、予測するブロック又はパーティションの動きベクトルＭｖを得るために行われる。次いで、画素ベースのＬＳＰを行う（本願では、単純にするために、画素ベースのＬＳＰを使用することにより、本願の手法を説明するが、ブロック・ベースのＬＳＰに拡張することは容易である）。動きベクトルＭｖに基づいて画素毎のフィルタ・サポート及び訓練ウィンドウを定義する。図８に移れば、予測精緻化のためのブロック・ベースの最小二乗予測の例全体を参照符号８００で示す。予測精緻化８００のためのブロック・ベースの最小二乗予測には、訓練ブロック８５１を有する現在のフレーム８５０、及び近傍ブロック８０１を有する参照フレーム８１０が関係する。近傍ブロック４０１は、参照符号Ｘ_１乃至Ｘ_９でも示す。目標ブロックは参照符号Ｘ０で示す。訓練ブロック４５１は、参照符号Ｙ_ｉ、Ｙ_１、及びＹ_１０で示す。図７Ａ及び図７Ｂ又は図８に示すように、動きベクトルＭｖの方向に沿ってフィルタ・サポート及び訓練ウィンドウを定義することが可能である。フィルタ・サポート及び訓練ウィンドウは空間画素及び時間画素を包含し得る。予測ブロックにおける画素の予測値は、画素単位で精緻化する。予測ブロック内の画素全てが精緻化されると、最終予測を、レート歪み（ＲＤ）コストに基づいて、ＬＳＰ精緻化を有する／有しない予測候補、又はそれらの融合バージョンのうちから選択することが可能である。最後に、
ｌｓｐ＿ｉｄｃが０に等しい場合、ＬＳＰ精緻化を有しない予測を選択する
ｌｓｐ＿ｉｄｃが１に等しい場合、ＬＳＰ精緻化を有する予測を選択する。
ｌｓｐ＿ｉｄｃが２に等しい場合、ＬＳＰ精緻化を有する予測及びＬＳＰ精緻化を有しない予測の融合された予測バージョンを選択する
というように選択を通知するようＬＳＰ表示子ｌｓｐ＿ｉｄｃを設定する。融合手法は、先行する２つの予測の何れかの線形結合又は非線形結合であり得る。最終選択のオーバヘッドをずっと多く増加させることを避けるために、ｌｓｐ＿ｉｄｃはマクロブロックレベルで企図することが可能である。

【0071】

他の符号化ブロックに対する影響
他の符号化ブロックに対する影響に関し、本願の原理の種々の実施例により、最小二乗予測の動きベクトルに関して次に説明する。ＭＰＥＧ−４ ＡＶＣ標準では、現在のブロックの動きベクトルは近傍ブロックから予測される。よって、現在のブロックの動きベクトルの値は、将来の近傍ブロックに影響を及ぼす。これにより、使用すべき動きベクトルが何であるかに関するＬＳＰ精緻化ブロックの疑問が生じる。第１の実施例では、前方動き推定は、各パーティション・レベルで行われるので、ＬＳＰ精緻化ブロックの動きベクトルを取り出すことが可能である。第２の実施例では、マクロブロック内のＬＳＰ精緻化ブロック全てのマクロレベル動きベクトルを使用することが可能である。

【0072】

他の符号化ブロックに対する影響に関し、本願の原理の種々の実施例により、デブロッキング・フィルタを使用することに関して次に説明する。デブロッキング・フィルタの場合、第１の実施例では、前方動き推定ブロックと同様にＬＳＰ精緻化ブロックを扱い、上記ＬＳＰ精緻化のために動きベクトルを使用することが可能である。次いで、デブロッキング処理は変更されない。第２の実施例では、ＬＳＰ精緻化は、前方動き推定ブロックとは別の特性を有するので、境界強度、フィルタ・タイプ、及びフィルタ長を相応に調節することが可能である。

【0073】

表１は、本願の原理の実施例によるスライス・ヘッダ構文を示す。

【0074】

【表1】

表１のｌｓｐ＿ｅｎａｂｌｅ＿ｆｌａｇ構文要素の意味論は以下の通りである。

【0075】

ｌｓｐ＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しいことは、ＬＳＰ精緻化予測がスライスについてイネーブルされていることを規定する。ｌｓｐ＿ｅｎａｂｌｅ＿ｆｌａｇが０に等しいことは、ＬＳＰ精緻化予測がスライスについてイネーブルされていないことを規定する。

【0076】

表２は、本願の原理の実施例によるマクロブロックレイヤ構文を示す。

【0077】

【表2】

表２のｌｓｐ＿ｉｄｃ構文要素の意味論は以下の通りである。

【0078】

ｌｓｐ＿ｉｄｃが０に等しいことは、予測がＬＳＰ精緻化によって精緻化されないことを規定する。ｌｓｐ＿ｉｄｃが１に等しいことは、予測がＬＳＰによって精緻化されたバージョンであることを規定する。ｌｓｐ＿ｉｄｃが２に等しいことは、予測が、ＬＳＰ精緻化を有する予測候補、及びＬＳＰ精緻化を有しない予測候補の組み合わせであることを規定する。

【0079】

図９に移れば、最小二乗予測を伴う予測精緻化を使用して画像ブロックのビデオ・データを符号化する手法は全体を参照符号９００で示す。方法９００は、開始ブロック９０５を含み、開始ブロック９０５は制御を決定ブロック９１０に移す。決定ブロック９１０は、現在のモードが最小二乗予測モードであるか否かを判定する。肯定の場合、制御は機能ブロック９１５に渡される。さもなければ、制御は機能ブロック９７０に渡される。

【0080】

機能ブロック９１５は、前方動き推定を行い、制御を機能ブロック９２０及び機能ブロック９２５に渡す。機能ブロック９２０は、動き補償を行って予測Ｐ＿ｍｃを取得し、制御を機能ブロック９３０及び機能ブロック９６０に渡す。機能ブロック９２５は、最小二乗予測精緻化を行って精緻化予測Ｐ＿ｌｓｐを生成し、制御を機能ブロック９３０及び機能ブロック９６０に渡す。機能ブロック９６０は、予測Ｐ＿ｍｃ及び予測Ｐ＿ｌｓｐの組み合わせから組み合わせた予測Ｐ＿ｃｏｍｂを生成し、制御を機能ブロック９３０に渡す。機能ブロック９３０は、Ｐ＿ｍｃ、Ｐ＿ｌｓｐ及びＰ＿ｃｏｍｂのうちから最善の予測を選び、制御を機能ブロック９３５に渡す。機能ブロック９３５はｌｓｐ＿ｉｄｃをセットし、制御を機能ブロック９４０に渡す。機能ブロック９４０は、レート歪み（ＲＤ）コストを計算し、制御を機能ブロック９４５に渡す。機能ブロッ９４５は、画像ブロックのモード決定を行い、制御を機能ブロック９５０に渡す。機能ブロック９５０は、画像ブロックの動きベクトル及び他の構文を符号化し、制御を機能ブロック９５５に渡す。機能ブロック９５５は、画像ブロックの残差を符号化し、制御を終了ブロック９９９に渡す。機能ブロック９７０は、他のモード（すなわち、ＬＳＰモード以外）により、画像ブロックを符号化し、制御を機能ブロック９４５に渡す。

【0081】

図１０に移れば、最小二乗予測を有する予測精緻化を使用して画像ブロックのビデオ・データを復号化する例示的な方法全体を参照符号１０００で示す。方法１０００は、開始ブロック１００５を含み、開始ブロック１００５は制御を機能ブロック１０１０に渡す。機能ブロック１０１０は構文を解析し、制御を決定ブロック１０１５に渡す。決定ブロック１０１５は、ｌｓｐ＿ｉｄｃ＞０であるかを判定する。肯定の場合、制御は機能ブロック１０２０に渡される。さもなければ、制御は機能ブロック１０６０に渡される。機能ブロック１０２０は、ｌｓｐ＿ｉｄｃ＞１であるかを判定する。肯定であれば、制御は機能ブロック１０２５に渡される。さもなければ、制御は機能ブロック１０３０に渡される。機能ブロック１０２５は、動きベクトルＭｖ及び残差を復号化し、制御を機能ブロック１０３５及び機能ブロック１０４０に渡す。機能ブロック１０３５は、動き補償を行って予測Ｐ＿ｍｃを生成し、制御を機能ブロック１０４５に渡す。機能ブロック１０４０は、最小二乗予測精緻化を行って予測Ｐ＿ｌｓｐを生成し、制御を機能ブロック１０４５に渡す。機能ブロック１０４５は、予測Ｐ＿ｍｃ及び予測Ｐ＿ｌｓｐの組み合わせから、組み合わせた予測Ｐ＿ｃｏｍｂを生成し、制御を機能ブロック１０５５に渡す。機能ブロック１０５５は残差を予測に加え、現在のブロックに補償し、終了ブロック１０９９に制御を渡す。

【0082】

機能ブロック１０６０は、非ＬＳＰモードで画像ブロックを復号化し、制御を終了ブロック１０９９に渡す。

【0083】

機能ブロック１０３０は、動きベクトル（Ｍｖ）及び残差を復号化し、制御を機能ブロック１０５０に渡す。機能ブロック１０５０は、ＬＳＰ精緻化により、ブロックを予測し、制御を機能ブロック１０５５に渡す。

【0084】

本発明の付随する多くの効果／構成の一部について次に説明する。その一部は上述の通りである。例えば、１つの効果／構成は、画像ブロックに対して粗い予測を生成するために明示的な動き予測を使用し、粗い予測を精緻化するために暗黙的な動き予測を使用して画像ブロックを符号化する符号化器を有する装置である。

【0085】

別の効果／構成は、上記符号化器を有する装置であり、粗い予測は、イントラ予測及びインター予測の一方である。

【0086】

更に別の効果／構成は、上記符号化器を有する装置であり、暗黙的な動き補償は最小二乗予測である。

【0087】

更に、別の効果／構成は、符号化器を有する装置であり、暗黙的な動き補償は上記最小二乗予測であり、最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは画像ブロックに関する空間画素及び時間画素を包含する。

【0088】

更に、別の効果／構成は、符号化器を有する装置であって、暗黙的な動き予測は上記最小二乗予測であり、最小二乗予測は画素ベース又はブロック・ベースであり、単一仮説動き補償予測又は複数仮説動き補償予測において使用される。

【0089】

更に、別の効果／構成は、符号化器を有する装置であって、最小二乗予測は画素ベース又はブロック・ベースであり得、前述の通り、単一仮説動き補償予測又は複数仮説動き補償予測において使用され、最小二乗予測のための最小二乗予測パラメータは、前方動き推定に基づいて定義される。

【0090】

更に、別の効果／構成は、符号化器を有する装置であって、最小二乗予測のための最小二乗予測パラメータは上記前方動き推定に基づいて定義され、最小二乗予測のための時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、又は１つ又は複数の参照ピクチャ・リストに関して行うことが可能である。

【0091】

更に、別の効果／構成は、符号化器を有する装置であって、最小二乗予測は画素ベース又はブロック・ベースであり得、前述の通り、単一仮説動き補償予測又は複数仮説動き補償予測において使用され、ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる。

【0092】

更に、別の効果／構成は、符号化器を有する装置であって、最小二乗予測は画素ベース又はブロック・ベースであり得、前述の通り、単一仮説動き補償予測又は複数仮説動き補償予測において使用され、最小二乗予測のための動き情報は、動きベクトル予測子によって導き出されるか、又は推定され得る。

【0093】

本願の原理の前述並びに他の特徴及び利点は、本明細書及び特許請求の範囲に基づいて当該技術分野における当業者によって容易に確認することができる。本願の原理の教示は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊用途向プロセッサ、又はそれらの組み合わせで実現することができる。

【0094】

最も好ましくは、本願の原理の教示は、ハードウェア及びソフトウェアの組合せとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを有するマシンにアップロードし、前述のマシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や、入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。更に、種々の他の周辺装置を、更なるデータ記憶装置や、印刷装置などのコンピュータ・プラットフォームに接続することができる。

【0095】

添付図面に表す構成システム部分及び方法の一部は好ましくはソフトウェアで実現されるので、システム部分（又は処理機能ブロック）間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲記載の教示があれば、当業者は、本願の原理の前述及び同様な実現形態又は構成に想到することができるであろう。

【0096】

例証的な実施例を、添付図面を参照して本明細書及び特許請求の範囲において記載しているが、本願の原理は上述のまさにその実施例に限定されず、本願の原理の範囲又は趣旨から逸脱しない限り、種々の変更及び修正を当業者により、本願の原理において行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本願の原理の範囲内に含まれることが意図されている。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
装置であって、
画像ブロックに対して粗い予測を生成するために明示的な動き予測を使用し、前記粗い予測を精緻化するために暗黙的な動き予測を使用して画像ブロックを符号化する符号化器を備える装置。
（付記２）
付記１記載の装置であって、前記粗い予測はイントラ予測及びインター予測の何れかである装置。
（付記３）
付記１記載の装置であって、前記暗黙的な動き予測が最小二乗予測である装置。
（付記４）
付記３記載の装置であって、最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは前記画像ブロックに関する空間画素及び時間画素を包含する装置。
（付記５）
付記３記載の装置であって、前記最小二乗予測は画素ベース又はブロック・ベースであり得、単一仮説動き補償予測又は複数仮説動き補償予測に使用される装置。
（付記６）
付記５記載の装置であって、前記最小二乗予測の最小二乗予測パラメータは前方動き推定に基づいて定義される装置。
（付記７）
付記６記載の装置であって、前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、又は１つ又は複数の参照ピクチャ・リストに関して行うことが可能な装置。
（付記８）
付記５記載の装置であって、前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる装置。
（付記９）
付記５記載の装置であって、前記最小二乗予測の動き情報は動きベクトル予測子によって導出するか、又は推定することが可能である装置。
（付記１０）
画像ブロックを符号化する符号化器であって、
前記画像ブロックに対して粗い予測を生成するよう明示的な動き予測を行う動き推定器と、
前記粗い予測を精緻化するよう暗黙的な動き予測を行う予測精緻化器と
を備える符号化器。
（付記１１）
付記１０記載の符号化器であって、前記粗い予測はイントラ予測及びインター予測の何れかである符号化器。
（付記１２）
付記１０記載の符号化器であって、前記暗黙的な動き予測が最小二乗予測である符号化器。
（付記１３）
ビデオ符号化器において、画像ブロックを符号化する方法であって、
明示的な動き予測を使用して前記画像ブロックに対して粗い予測を生成する工程と、
暗黙的な動き推定を使用して前記粗い予測を精緻化する工程と
を含む方法。
（付記１４）
付記１３記載の方法であって、前記粗い予測はイントラ予測及びインター予測の何れかである装置。
（付記１５）
付記１３記載の方法であって、前記暗黙的な動き予測が最小二乗予測である方法。
（付記１６）
付記１５記載の方法であって、最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは前記画像ブロックに関する空間画素及び時間画素を包含する方法。
（付記１７）
付記１５記載の方法であって、前記最小二乗予測は画素ベース又はブロック・ベースであり、単一仮説動き補償予測又は複数仮説動き補償予測に使用される方法。
（付記１８）
付記１７記載の方法であって、前記最小二乗予測の最小二乗予測パラメータは前方動き推定に基づいて定義される方法。
（付記１９）
付記１８記載の方法であって、前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、又は１つ又は複数の参照ピクチャ・リストに関して行うことが可能な方法。
（付記２０）
付記１７記載の方法であって、前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる方法。
（付記２１）
付記１７記載の方法であって、前記最小二乗予測の動き情報は動きベクトル予測器によって導出するか、又は推定することが可能である方法。
（付記２２）
装置であって、
明示的な動き予測を使用して生成された、画像ブロックに対する粗い予測を受け取り、暗黙的な動き予測を使用して前記粗い予測を精緻化することにより、画像ブロックを復号化する復号化器
を備える装置。
（付記２３）
付記２２記載の装置であって、前記粗い予測はイントラ予測及びインター予測の何れかである装置。
（付記２４）
付記２２記載の装置であって、前記暗黙的な動き予測が最小二乗予測である装置。
（付記２５）
付記２４記載の装置であって、最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは前記画像ブロックに関する空間画素及び時間画素を包含する装置。
（付記２６）
付記２４記載の装置であって、前記最小二乗予測は画素ベース又はブロック・ベースであり、単一仮説動き補償予測又は複数仮説動き補償予測において使用される装置。
（付記２７）
付記２６記載の装置であって、前記最小二乗予測の最小二乗予測パラメータは前方動き推定に基づいて定義される装置。
（付記２８）
付記２７記載の装置であって、前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、又は１つ又は複数の参照ピクチャ・リストに関して行うことが可能な装置。
（付記２９）
付記２６記載の装置であって、前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる装置。
（付記３０）
付記２６記載の装置であって、前記最小二乗予測の動き情報は動きベクトル予測子によって導出するか、又は推定することが可能である装置。
（付記３１）
画像ブロックを復号化する復号化器であって、
明示的な動き予測を使用して生成された、前記画像ブロックに対する粗い予測を受け取り、暗黙的な動き予測を使用して前記粗い予測を精緻化する動き補償器
を備える復号化器。
（付記３２）
付記３１記載の復号化器であって、前記粗い予測はイントラ予測及びインター予測の何れかである復号化器。
（付記３３）
付記３１記載の復号化器であって、前記暗黙的な動き予測が最小二乗予測である復号化器。
（付記３４）
ビデオ復号化器において、画像ブロックを復号化する方法であって、
明示的な動き予測を使用して生成された、前記画像ブロックに対する粗い予測を受け取る工程と、
暗黙的な動き予測を使用して前記粗い予測を精緻化する工程と
を含む方法。
（付記３５）
付記３４記載の方法であって、前記粗い予測はイントラ予測及びインター予測の何れかである方法。
（付記３６）
付記３４記載の方法であって、前記暗黙的な動き予測が最小二乗予測である方法。
（付記３７）
付記３６記載の方法であって、最小二乗予測フィルタ・サポート及び最小二乗予測訓練ウィンドウは前記画像ブロックに関する空間画素及び時間画素を包含する方法。
（付記３８）
付記３６記載の方法であって、前記最小二乗予測は画素ベース又はブロック・ベースであり、単一仮説動き補償予測又は複数仮説動き補償予測に使用される方法。
（付記３９）
付記３８記載の方法であって、前記最小二乗予測の最小二乗予測パラメータは前方動き推定に基づいて定義される方法。
（付記４０）
付記３９記載の方法であって、前記最小二乗予測の時間フィルタ・サポートは、１つ又は複数の参照ピクチャに関し、又は１つ又は複数の参照ピクチャ・リストに関して行うことが可能な方法。
（付記４１）
付記３８記載の方法であって、前記ブロック・ベースの最小二乗予測のサイズは、前方動き推定ブロック・サイズと異なる方法。
（付記４２）
付記３８記載の方法であって、前記最小二乗予測の動き情報は動きベクトル予測子によって導出するか、又は推定することが可能である方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】