特許第6594966号(P6594966)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エルジー エレクトロニクス インコーポレイティドの特許一覧

特許6594966向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置
<>
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000082
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000083
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000084
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000085
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000086
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000087
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000088
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000089
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000090
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000091
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000092
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000093
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000094
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000095
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000096
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000097
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000098
  • 特許6594966-向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 図000099
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6594966
(24)【登録日】2019年10月4日
(45)【発行日】2019年10月23日
(54)【発明の名称】向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置
(51)【国際特許分類】
   H04N 19/85 20140101AFI20191010BHJP
   H04N 19/46 20140101ALI20191010BHJP
   H04N 19/117 20140101ALI20191010BHJP
   H04N 19/136 20140101ALI20191010BHJP
   H04N 19/176 20140101ALI20191010BHJP
   H04N 19/189 20140101ALI20191010BHJP
【FI】
   H04N19/85
   H04N19/46
   H04N19/117
   H04N19/136
   H04N19/176
   H04N19/189
【請求項の数】6
【全頁数】36
(21)【出願番号】特願2017-518097(P2017-518097)
(86)(22)【出願日】2015年6月25日
(65)【公表番号】特表2017-535159(P2017-535159A)
(43)【公表日】2017年11月24日
(86)【国際出願番号】KR2015006465
(87)【国際公開番号】WO2016052836
(87)【国際公開日】20160407
【審査請求日】2017年5月9日
(31)【優先権主張番号】62/058,628
(32)【優先日】2014年10月1日
(33)【優先権主張国】US
(31)【優先権主張番号】62/063,350
(32)【優先日】2014年10月13日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(74)【代理人】
【識別番号】100170380
【弁理士】
【氏名又は名称】黒田 裕也
(72)【発明者】
【氏名】オヌール ギュレルユズ
(72)【発明者】
【氏名】シュンヤオ リ
(72)【発明者】
【氏名】イェ セフン
【審査官】 山▲崎▼ 雄介
(56)【参考文献】
【文献】 国際公開第2008/148272(WO,A1)
【文献】 特開2006−295913(JP,A)
【文献】 特開2013−009241(JP,A)
【文献】 国際公開第2013/106888(WO,A1)
【文献】 国際公開第2010/137322(WO,A1)
【文献】 特開2012−044239(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
(57)【特許請求の範囲】
【請求項1】
ビデオ信号をエンコーディングする方法であって、
フィルタバンクからベースフィルタカーネル(base filter kernel)のセットを選択するステップと、
変調スカラー、パーティション情報及びベースフィルタカーネルからなる費用関数を最小化するために予測フィルタパラメータを決定するステップであって、前記ベースフィルタカーネルは、ベースフィルタカーネルの前記選択されたセットに対応する、ステップと、
前記予測フィルタパラメータに基づいてターゲットブロックに対する参照領域のフィルタリングを遂行するステップと、
前記フィルタリングされた参照領域に基づいて前記ターゲットブロックを予測するステップとを含み、
前記予測フィルタパラメータは前記変調スカラー及び前記パーティション情報を含み、
前記パーティション情報は、前記ターゲットブロックのディビジョンストラクチャを示す値であり、
パーティション関数を初期化するステップと
前記ターゲットブロックのサイズが既に決定された最小サイズより大きいか否かを確認するステップと
前記ターゲットブロックのサイズが既に決定された最小サイズより大きければ、前記ターゲットブロックをサブブロックに分割して前記パーティション関数に分割ノードシンボルを追加し、
前記ターゲットブロックのサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加するステップと、
前記パーティション関数に基づいて前記パーティション情報を獲得するステップと、をさらに含む、方法。
【請求項2】
ビデオ信号をデコーディングする方法であって、
予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含むビデオ信号を受信するステップであって、前記予測フィルタパラメータは変調スカラー及びパーティション情報を含み、前記フィルタ選択情報はフィルタバンクに格納されたベースフィルタカーネルのセットを示すインデックスである、ステップと、
前記モーション情報を用いて参照ブロックを獲得するステップと、
前記フィルタ選択情報に基づいて予測フィルタを決定するステップと、
前記予測フィルタパラメータと前記予測フィルタに基づいて前記参照ブロックに対するフィルタリングを遂行するステップであって、
前記予測フィルタパラメータは、前記変調スカラー、前記パーティション情報及びベースフィルタカーネルから成るコスト関数を最小化するよう決定し、
前記パーティション情報はデコーディングされるターゲットブロックのディビジョンストラクチャを示す値である、ステップと、を含み、
前記フィルタリングは、前記パーティション情報に基づいてパーティションブロックの各々に対して遂行される、方法。
【請求項3】
前記フィルタリングされた参照ブロックに基づいて予測ブロックを獲得するステップと、
前記予測ブロックを用いて前記ビデオ信号を復元するステップと、をさらに含む、請求項に記載の方法。
【請求項4】
ビデオ信号をエンコーディングする装置であって、
フィルタバンクからベースフィルタカーネル(base filter kernel)のセットを選択するフィルタ選択ユニットと、
変調スカラー、パーティション情報及びベースフィルタカーネルからなる費用関数を最小化するために予測フィルタパラメータを決定し、前記ベースフィルタカーネルは、ベースフィルタカーネルの前記選択されたセットに対応する、パラメータ決定ユニットと、
前記予測フィルタパラメータに基づいてターゲットブロックに対する参照領域のフィルタリングを遂行するフィルタリングユニットと、
前記フィルタリングされた参照領域に基づいてターゲットブロックを予測する予測ユニットと、を含み、
前記予測フィルタパラメータは前記変調スカラー及び前記パーティション情報を含み、
前記パーティション情報は前記ターゲットブロックのディビジョンストラクチャを示す値であり、
前記パラメータ決定ユニットは、
パーティション関数を初期化し、前記ターゲットブロックのサイズが既に決定された最小サイズより大きいか否かを確認し、前記ターゲットブロックのサイズが既に決定された最小サイズより大きければ、前記ターゲットブロックをサブブロックに分割し、前記パーティション関数に分割ノードシンボルを追加し、前記ターゲットブロックのサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加し、前記パーティション関数に基づいてパーティション情報を獲得するようにされに構成される、装置。
【請求項5】
ビデオ信号をデコーディングする装置であって、
予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含む前記ビデオ信号を受信するビットストリーム受信ユニットと、
前記予測フィルタパラメータは、変調スカラー及びパーティション情報を含み、前記フィルタ選択情報はフィルタバンクに格納されたベースフィルタカーネルのセットを示すインデックスであり、
前記モーション情報を用いて参照ブロックを獲得し、前記フィルタ選択情報に基づいて予測フィルタを決定し、前記予測フィルタパラメータ及び前記予測フィルタに基づいて前記参照ブロックに対するフィルタリングを遂行する予測フィルタリングユニットと、を含み、
前記予測フィルタパラメータは、前記変調スカラー、前記パーティション情報及びベースフィルタカーネルから成るコスト関数を最小化するよう決定し、
前記パーティション情報はデコーディングされるターゲットブロックのディビジョンストラクチャを示す値であり、
前記フィルタリングは、前記パーティション情報に基づいてパーティションブロックの各々に対して遂行される、装置。
【請求項6】
前記フィルタリングされた参照ブロックに基づいて予測ブロックを獲得する予測ユニットと、
前記予測ブロックを用いて前記ビデオ信号を復元する復元ユニットと、をさらに含む、請求項に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はビデオ信号処理方法及び装置に関し、より詳しくは、ターゲット領域を効率良く予測するための技術に関する。
【背景技術】
【0002】
圧縮コーディングはデジタル化した情報を通信ラインに転送するか、またはデジタル化した情報を格納媒体に適切な形態に格納するための一連の信号処理技術を意味する。ビデオ、イメージ、及び音声のようなメディアが圧縮コーディングの対象になることができる。特に、ビデオに対する圧縮コーディングを遂行する技術をビデオ圧縮という。
【0003】
次世代のビデオコンテンツは高い空間解像度、高いフレーム速度、及び高い次元のビデオ画面表現を提供することと期待されている。このようなコンテンツの処理のためには相当の量のメモリ格納容量、メモリ接近速度、及び処理能力が必要である。
【0004】
これによって、予想される問題を解決し、解決策を提示することができるコーディング道具を設計することが好ましい。
【発明の概要】
【発明が解決しようとする課題】
【0005】
既存のインター予測方法でターゲットイメージは、直四角形領域、正四角形領域などの固定された領域で構成され、各々のターゲット領域に対して変位ベクトルが算出される。前記変位ベクトルは、アンカー(anchor)イメージまたは参照イメージ内の該当領域を識別する。このような変位ベクトルはビデオシーケンスのためのモーション推定及びモーション補償のような技術を通じて算出できる。
【0006】
これによって、予測過程でより効率良い予測方法を提供し、コーディング効率を向上させるための予測フィルタを設計することが必要である。
【課題を解決するための手段】
【0007】
本発明の一実施形態は、高効率圧縮のためのコーディング道具を設計する方法を提供する。
【0008】
また、本発明の一実施形態は、予測過程でのより効率良い予測方法を提供する。
【0009】
また、本発明の一実施形態は、コーディング効率を改善するための予測フィルタの設計方法を提供する。
【0010】
また、本発明の一実施形態は、コーディング効率を改善するために新規な方式により予測フィルタを媒介変数化する方法を提供する。
【0011】
また、本発明の一実施形態は、ビデオ信号のエンコーディングまたはデコーディング過程で画面間の予測のためのピクチャに適用される予測フィルタを設計する方法を提供する。
【0012】
また、本発明の一実施形態は、ターゲット領域をよりよく予測する方法を提供する。
【発明の効果】
【0013】
本発明は高効率の圧縮のためのコーディング道具を設計することができる。本発明が適用される圧縮道具はターゲット領域を予測するに当たってノイズを除去することによって、より高いコーディング利得を得ることができる。
【0014】
また、本発明は予測フィルタを設計することによって、より効率良い予測方法を提供することができ、設計された予測フィルタを今後のフレームのモーション補償された予測に活用することによって、ターゲットイメージのノイズを減少させることができ、これによってコーディング効率を向上させることができる。
【図面の簡単な説明】
【0015】
図1】本発明が適用される実施形態に従ってビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
図2】本発明が適用される実施形態に従ってビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
図3】本発明が適用される一実施形態に従ってアンカーイメージに基づいてターゲットイメージをどのように予測することかを例示する図面を示す。
図4】本発明が適用される実施形態に従って設計されたフィルタを用いてビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
図5】本発明が適用される実施形態に従って設計されたフィルタを用いてビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
図6】本発明が適用される一実施形態に従うフィルタに基づいて予測ブロックを形成する方法を例示するフローチャートである。
図7】本発明が適用される実施形態に従って予測フィルタを設計するエンコータ及び前記予測フィルタを用いてビデオ信号を処理するデコーダの概略的ブロック図を例示する。
図8】本発明が適用される一実施形態に従って予測フィルタパラメータをエンコーディングする過程を例示するフローチャートである。
図9】本発明が適用される一実施形態に従って予測フィルタパラメータを決定する過程を例示するフローチャートである。
図10】本発明が適用される一実施形態に従って最適フィルタ係数及び最適パーティション情報を獲得する過程を例示するフローチャートである。
図11】本発明が適用される一実施形態に従って全体分解(full decomposition)が適用されるブロックのパーティション情報を獲得する過程を例示するフローチャートである。
図12】本発明が適用される一実施形態に従って最適フィルタ係数を獲得する詳細な過程を例示するフローチャートである。
図13】本発明が適用される一実施形態に従って最適のパーティション情報を獲得する詳細な過程を例示するフローチャートである。
図14】本発明が適用される一実施形態に従ってパーティションブロックの費用(cost)を算出する過程を例示するフローチャートである。
図15】本発明が適用される一実施形態に従って予測ブロックを生成する費用 (cost)を算出する過程を例示するフローチャートである。
図16】本発明が適用される一実施形態に従って予測フィルタパラメータに基づいてターゲット領域を予測する過程を例示するフローチャートである。
図17】本発明が適用される一実施形態に従って予測フィルタパラメータを含むビデオ信号をデコーディングする過程を例示するフローチャートである。
図18】本発明が適用される一実施形態に従って予測フィルタリングを遂行する予測フィルタリングユニット470の概略的な内部ブロック図を示す。
【発明を実施するための形態】
【0016】
本発明は、ビデオ信号をエンコーディングする方法において、フィルタバンクからベースフィルタカーネル(base filter kernel)セットを選択するステップと、前記ベースフィルタカーネル(base filter kernel)セットに基づいて予測フィルタパラメータを決定するステップと、前記予測フィルタパラメータに基づいてターゲット領域に対する参照領域のフィルタリングを遂行するステップと、前記フィルタリングされた参照領域に基づいてターゲット領域を予測するステップを含み、かつ前記予測フィルタパラメータは変調スカラー及びパーティション情報のうち、少なくとも一つを含むことを特徴とする方法を提供する。
【0017】
また、本発明で、前記決定された予測フィルタパラメータは、変調スカラー、パーティション情報、及びベースフィルタカーネルを含む変数で構成された費用関数を最小化することを特徴とする。
【0018】
また、本発明は、パーティション関数を初期化するステップと、前記ターゲット領域のサイズが既に決定された最小サイズより大きいか否かを確認するステップと、前記ターゲット領域のサイズが既に決定された最小サイズより大きければ、前記ターゲット領域をサブブロックに分割し、前記パーティション関数に分割ノードシンボルを追加し、前記ターゲット領域のサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加するステップと、前記パーティション関数に基づいてパーティション情報を獲得するステップをさらに含むことを特徴とする。
【0019】
また、本発明は、ビデオ信号をデコーディングする方法において、予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含むビデオ信号を受信するステップであって、前記予測フィルタパラメータは変調スカラー及びパーティション情報を含むステップと、前記モーション情報を用いて参照ブロックを獲得するステップと、前記変調スカラー及びベースフィルタカーネルに基づいて予測フィルタを決定するステップと、前記参照ブロックに対するフィルタリングを遂行するステップを含むことを特徴とする方法を提供する。
【0020】
また、本発明で、前記フィルタリングはパーティションブロックの各々に対して遂行されることを特徴とする。
【0021】
また、本発明で、前記フィルタリングされたパーティションブロックに基づいて予測ブロックを獲得するステップと、前記予測ブロックを用いてビデオ信号を復元するステップをさらに含むことを特徴とする。
【0022】
また、本発明は、ビデオ信号をエンコーディングする装置において、フィルタバンクからベースフィルタカーネル(base filter kernel)セットを選択するフィルタ選択ユニットと、前記ベースフィルタカーネル(base filter kernel)セットに基づいて予測フィルタパラメータを決定するパラメータ決定ユニットと、前記予測フィルタパラメータに基づいてターゲット領域に対する参照領域のフィルタリングを遂行するフィルタリングユニットと、前記フィルタリングされた参照領域に基づいてターゲット領域を予測する予測ユニットを含み、かつ前記予測フィルタパラメータは変調スカラー及びパーティション情報のうち、少なくとも一つを含むことを特徴とする装置を提供する。
【0023】
また、本発明で、前記決定された予測フィルタパラメータは、変調スカラー、パーティション情報、及びベースフィルタカーネルを含む変数で構成された費用関数を最小化することを特徴とする。
【0024】
また、本発明で、前記パラメータ決定ユニットは、パーティション関数を初期化し、前記ターゲット領域のサイズが既に決定された最小サイズより大きいか否かを確認し、前記ターゲット領域のサイズが既に決定された最小サイズより大きければ、前記ターゲット領域をサブブロックに分割し、前記パーティション関数に分割ノードシンボルを追加し、前記ターゲット領域のサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加し、前記パーティション関数に基づいてパーティション情報を獲得することを特徴とする。
【0025】
また、本発明は、ビデオ信号をデコーディングする装置において、予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含むビデオ信号を受信するビットストリーム受信ユニットと、前記モーション情報を用いて参照ブロックを獲得し、前記変調スカラー及びベースフィルタカーネルに基づいて予測フィルタを決定し、前記参照ブロックに対するフィルタリングを遂行する予測フィルタリングユニットを含み、かつ前記予測フィルタパラメータは、変調スカラー及びパーティション情報を含むことを特徴とする装置を提供する。
【0026】
また、本発明で、前記フィルタリングされたパーティションブロックに基づいて予測ブロックを獲得する予測ユニットと、前記予測ブロックを用いてビデオ信号を復元する復元ユニットをさらに含むことを特徴とする。
【0027】
以下、添付した図面を参照して本発明の実施形態の構成及びその作用を説明し、図面により説明される本発明の構成及び作用は一つの実施形態として説明されるものであり、これによって、本発明の技術的思想とその核心構成及び作用が制限されるものではない。
【0028】
併せて、本発明で用いられる用語はできる限り、現在広く使われる一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語を用いて説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で用いられた用語の名称だけで単純解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明らかにしようとする。
【0029】
また、本発明で使われる用語は発明を説明するために選択された一般的な用語や、類似の意味を有する他の用語がある場合、より適切な解析のために取替え可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に取り替えられて解析できる。
【0030】
図1及び図2は、本発明が適用される実施形態に従ってビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
【0031】
図1のエンコータ100は、変換ユニット110、量子化ユニット120、逆量子化ユニット130、逆変換ユニット140、バッファ150、予測ユニット160、及びエントロピーエンコーディングユニット170を含む。
【0032】
前記エンコータ100はビデオ信号を受信し、前記ビデオ信号から前記予測ユニット160で出力された予測された信号を差し引きして予測エラーを生成する。
【0033】
前記生成された予測エラーは、前記変換ユニット110に転送される。前記変換ユニット110は、変換方式を前記予測エラーに適用することによって変換係数を生成する。
【0034】
前記量子化ユニット120は、前記生成された変換係数を量子化して前記量子化された係数をエントロピーエンコーディングユニット170に送る。
【0035】
前記エントロピーエンコーディングユニット170は、前記量子化された信号に対するエントロピーコーディングを遂行し、エントロピーコーディングされた信号を出力する。
【0036】
一方、前記量子化ユニット120により出力された前記量子化された信号は、予測信号を生成するために利用できる。例えば、前記エンコータ100のループ内の前記逆量子化ユニット130及び前記逆変換ユニット140は、前記量子化された信号が予測エラーに復元されるように前記量子化された信号に対する逆量子化及び逆変換を遂行することができる。復元された信号は前記復元された予測エラーを前記予測ユニット160により出力された予測信号に加えることによって生成できる。
【0037】
前記バッファ150は、予測ユニット160の今後の参照のために復元された信号を格納する。
【0038】
前記予測ユニット160は以前に復元されて前記バッファ150に格納された信号を用いて予測信号を生成することができる。このような場合、本発明はアンカーイメージ内の領域を用いてターゲットイメージ内の領域を効率良く予測することに関連したものである。ここで、効率は率−歪み(Rate Distortion)の観点または予測エラー内の歪みを定量化する平均自乗エラーのような関連尺度に基づいて決定できる。
【0039】
ターゲット領域をよりよく予測するために、本発明の一実施形態はコーディング効率を向上させるために予測フィルタをどのように設計し、前記予測フィルタに基づいてビデオ信号をどのように処理することかを説明する。
【0040】
図2のデコーダ200は、エントロピーデコーディングユニット210、逆量子化ユニット220、逆変換ユニット230、バッファ240、及び予測ユニット250を含む。
【0041】
図2のデコーダ200は、図1のエンコータ100により出力された信号を受信する。
【0042】
前記エントロピーデコーディングユニット210は、受信された信号に対してエントロピーデコーディングを遂行する。前記逆量子化ユニット220は、量子化ステップサイズ(quantization step size)に対する情報に基づいて前記エントロピーデコーディングされた信号から変換係数を獲得する。前記逆変換ユニット230は、変換係数に対する逆変換を遂行することによって予測エラーを取得する。復元された信号は前記獲得された予測エラーを前記予測ユニット250により出力された予測信号に加えることによって生成される。
【0043】
前記バッファ240は、前記予測ユニット250の今後の参照のために前記復元された信号を格納する。
【0044】
前記予測ユニット250は、以前に復元されて前記バッファ240に格納された信号に基づいて予測信号を生成する。
【0045】
本発明が適用される前記予測方法は、前記エンコータ100及び前記デコーダ200全てで利用できる。
【0046】
図3は、本発明が適用される一実施形態に従ってアンカーイメージに基づいてターゲットイメージをどのように予測することかを例示する図面を示す。
【0047】
ターゲットイメージは、直四角形領域、正四角形領域などの固定された領域で構成されることができ、各々のターゲット領域に対して変位ベクトルが算出できる。前記変位ベクトルはアンカーイメージまたは参照イメージ内の該当領域を識別する。例えば、前記変位ベクトルはビデオシーケンスのためのモーション推定及びモーション補償を通じて算出できる。
【0048】
本発明の技術はターゲット領域及びそれにマッチングされるアンカー領域に集中する技術であって、アンカー領域に基づいてターゲット領域を予測することによって、より予測をよく遂行できるようになる。これは、圧縮効率、ノイズ除去、空間−時間的超高解像度映像処理側面でより向上した結果をもたらすことができる。
【0049】
前記アンカー領域xは次の<数式1>を通じて前記ターゲット領域yを予測するために利用できる。
【0050】
【数1】
【0051】
【化1】
【0052】
【化2】
【0053】
図4及び図5は、本発明が適用される実施形態に従って設計されたフィルタを用いてビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
【0054】
図4のエンコータ400は、変換ユニット410、量子化ユニット420、逆量子化ユニット430、逆変換ユニット440、バッファ450、予測ユニット460、予測フィルタリングユニット470、及びエントロピーエンコーディングユニット480を含む。
【0055】
前記エンコータ400を図1のエンコータ100と比較すると、前記予測フィルタリングユニット470がエンコータ100のブロック図に新しく追加された。したがって、図1の説明が図4にも同様に適用されることができ、及び前記予測フィルタリングユニット470と関連した内容は本明細書で以後に説明される。
【0056】
また、前記予測フィルタリングユニット470が図4の予測ユニット460の以後に別途の機能的ユニットとして位置することはしたが、これは本発明の一実施形態に過ぎず、本発明はこれに限定されるものではない。例えば、前記予測フィルタリングユニット470の機能は、前記予測ユニット460またはその他の機能ユニットで遂行できる。
【0057】
前記予測ユニット460は現在ブロックに対する変位ベクトルを用いてモーション補償を遂行することができ、参照ブロック、即ち、モーション補償されたブロックを探索することができる。この場合、前記エンコータ400はモーションパラメータをデコーダ500に転送することができる。前記モーションパラメータはモーション補償と関連した情報を示す。
【0058】
本発明の一実施形態によれば、前記予測フィルタリングユニット470は予測ブロックを生成するために用いられる予測フィルタを構成することができる。
【0059】
また、前記予測フィルタリングユニット470は予測フィルタ及び参照ブロックの線形畳み込みを用いて予測ブロックを生成することができる。このような場合、前記参照ブロックはアンカー領域としてモーション補償されたブロックを示すことができる。
【0060】
本発明の一実施形態によれば、前記予測フィルタはフィルタカーネル及び変調スカラーを用いて構成できる。エンコータ400及びデコーダ500は、フィルタパラメータを共有することができ、前記フィルタパラメータは前記予測フィルタと関連したパラメータ情報を示す。例えば、前記フィルタパラメータはフィルタ係数及びパーティション情報のうち、少なくとも一つを含むことができる。
【0061】
一方、図5のデコーダ500は、エントロピーデコーディングユニット510、逆量子化ユニット520、逆変換ユニット530、バッファ540、予測ユニット550、及び予測フィルタリングユニット560を含む。
【0062】
図5に説明したように、本発明の一実施形態によれば、前記予測フィルタリングユニット560は予測ブロックを生成するために用いられる予測フィルタを構成することができる。
【0063】
また、前記予測フィルタリングユニット560は前記予測フィルタ及び参照ブロックの線形畳み込みを用いて予測ブロックを生成することができる。
【0064】
このような場合、フィルタパラメータのうちの少なくとも一つは、前記エンコータ400から転送できる。例えば、前記フィルタパラメータは全てのインター予測ブロック(inter-predicted block)に対して前記エンコータ400から転送されるか、または選択的に前記エンコータ400から転送できる。
【0065】
前記デコーダ500を図2のデコーダ200と比較すると、前記予測フィルタリングユニット560がデコーダ200のブロック図に新しく追加された。したがって、図1図2、及び図4の説明が図5にも同様に適用できる。
【0066】
また、前記予測フィルタリングユニット560が図5の予測ユニット550の以後に別途の機能的ユニットとして位置することはしたが、これは本発明の一側面であり、本発明はこれに限定されるものではない。例えば、前記予測フィルタリングユニット560の機能は前記予測ユニット550またはその他の機能ユニットで遂行できる。
【0067】
図6は、本発明が適用される一実施形態に従うフィルタに基づいて予測ブロックを形成する方法を例示するフローチャートである。
【0068】
【化3】
【0069】
【数2】
【0070】
【化4】
【0071】
この後、前記エンコータは以下の<数式3>のように予測フィルタを基盤にした線形畳み込みを用いて予測ブロックを形成することができる。
【0072】
【数3】
【0073】
この<数式3>で、m=1,…,Bであり、n=1,…,B、であり、g*xはアンカー領域に対する予測フィルタの線形畳み込み(linear convolution of the prediction filter with the anchor region)を示す。前記アンカー領域はモーション補償の以後に獲得された参照ブロックを示すことができる。
【0074】
【化5】
【0075】
以下、本発明が適用されるフィルタを効率良く設計するための多様な方法を説明する。
【0076】
ビデオコーディング過程で、一般的なフィルタを設計することは制限されたデータから探り出さなければならない多いパラメータを必要とするので、難しいことである。少ない数のパラメータを有する簡単なフィルタは知り易いが、結果的に性能が満足できないことがある。したがって、少ない数のパラメータを有する効率良いフィルタを設計することができる技術の必要性が増大する。
【0077】
本発明が適用される一実施形態において、フィルタカーネルは固定されることができ、変調スカラーは次の<数式4>のような制限最小化(constraint minimization)を解決するために算出できる。
【0078】
【数4】
【0079】
【化6】
【0080】
【化7】
【0081】
【化8】
【0082】
【化9】
【0083】
【数5】
【0084】
前記<数式5>は実質的にさらに簡単に解を獲得できるようにする。
【0085】
本発明の一実施形態において、ベースフィルタカーネルは次の<数式6>を満たすように選択できる。
【0086】
【数6】
【0087】
【化10】
【0088】
本発明の一実施形態において、前記ベースフィルタカーネルは次の<数式7>のように定義できる。
【0089】
【数7】
【0090】
【化11】
【0091】
このようなフィルタは空間ドメイン上で細密でない結果をもたらすことがある。
【0092】
【化12】
【0093】
【数8】
【0094】
【化13】
【0095】
【化14】
【0096】
【数9】
【0097】
【化15】
【0098】
【化16】
【0099】
【数10】
【0100】
前記値を順にベクトルで整列すれば、<数式11>を得ることができる。
【0101】
【数11】
【0102】
また、予測内の全てのピクセル(m、m)に対して整理すれば、以下のように<数式12>を得ることができる。
【0103】
【数12】
【0104】
前記の順に整列されたターゲットイメージを考慮すれば、訓練集合(training set)上の最適のフィルタが次の<数式13>のように得られる。
【0105】
【数13】
【0106】
本発明の他の実施形態は以下の<数式14>のように訓練集合(training set)上のフィルタカーネルを設計することができる。
【0107】
【数14】
【0108】
このような場合、ブロックの訓練対は(y1,x1)、(y2,x2),…,(ys,xs)として定義できる。例えば、sは100、1000、119191などの整数を示す。
【0109】
また、前記<数式14>の内部最小化成分(inner minimization component)
【化17】
は、例えば、図7で説明される<数式15>乃至<数式18>の他の実施形態に代替できる。
【0110】
本発明の一実施形態において、前記エンコータ及び前記デコーダはビデオシーケンスのフレーム(または、フレームの部分)に対して同一な最適化過程を遂行することができ、結果的に獲得されるフィルタを今後フレーム(または、残余フレームの部分)のモーション補償予測に用いることができる。
【0111】
本発明の一実施形態において、四分木分解または他の領域分解に対する最適化は、フィルタfに対する最適化と結合して遂行できる。更に他の実施形態において、モーション補償、光学的手続、ノイズ除去、及び最適化と関連したその他の処理もまたフィルタfに対する最適化と結合して遂行できる。
【0112】
本発明の一実施形態において、モーション補償で用いられた内挿(interpolation)フィルタが前記設計されたフィルタと結合して全体的なフィルタリング複雑度を低めることができる。
【0113】
図7は、本発明が適用される実施形態に従って予測フィルタを設計するエンコータ及び前記予測フィルタを用いてビデオ信号を処理するデコーダの概略的ブロック図を例示する。
【0114】
本発明は2Dフィルタfの支援がK×Lであると仮定し、この際、K及びLは1より大きいか1と等しい整数である。例えば、前記フィルタは偶数または奇数サイズの正四角形、
【化18】
と定義できる。
【0115】
このようなフィルタはKLフィルタタブの値を用いて媒介変数化できる。本発明で目標とする圧縮応用分野で、フィルタは各x、y対に対してエンコータで設計されることができ、フィルタパラメータは前記デコーダで送られることができる。
【0116】
しかしながら、前記フィルタのパラメータの個数が多いほどこのようなパラメータを与えられた目標ビットレート(target bitrate)で転送チャンネルを介して転送することが難しいことがある。
【0117】
したがって、本発明はパラメータの個数を減らす方法のうちの一つとして、フィルタfが対称になるように制限する方法を提案する。例えば、このような方法は2次元の場合、フィルタfのパラメータ個数をほぼ4個のうちの一つを減らすことができる。一方、このような対称フィルタはアンカーイメージ領域内の方向構造に適合しないので、フィルタリング及び予測効率が減少することがある。
【0118】
周波数ドメインで前記フィルタを制限する更に他の方法は、例えば帯域幅、通過帯域、及び停止帯域パラメータを用いてfをローパス(low-pass)、ハイパス(high-pass)、帯域パス(band-pass)などに制限するものである。しかしながら、このような接近方式また方向構造や精巧な領域を有するイメージに対しては適切でないことがある。
【0119】
【化19】
【0120】
【数15】
【0121】
【化20】
【0122】
【化21】
【0123】
【化22】
【0124】
したがって、多様な種類のビデオシーケンスを圧縮することに有用に利用できるベースフィルタカーネルを設計することが必要である。
【0125】
【化23】
【0126】
【化24】
【0127】
【数16】
【0128】
【数17】
【0129】
【化25】
【0130】
【数18】
【0131】
【化26】
【0132】
【数19】
【0133】
この場合、変調スカラーは各rに対して変化し、一方、前記フィルタカーネルは固定される。
【0134】
【化27】
【0135】
【数20】
【0136】
【数21】
【0137】
【数22】
【0138】
【数23】
【0139】
前記数式で、Fは行列を示す。ベクトル表示を用いる時、本発明はターゲットベクトルが<数式24>のように与えられる統計的モデルを考慮することができる。
【0140】
【数24】
【0141】
【化28】
【0142】
平均自乗予測エラー(mean-squared prediction error)は<数式25>のように獲得できる。
【0143】
【数25】
【0144】
【化29】
【0145】
【数26】
【0146】
【化30】
【0147】
【数27】
【0148】
ここで、ノイズがホワイトノイズの場合、<数式28>が利用できる。
【0149】
【数28】
【0150】
【化31】
【0151】
【数29】
【0152】
前記<数式29>は全てのrに対して<数式30>のように書き直すことができる。
【0153】
【数30】
【0154】
【化32】
【0155】
【数31】
【0156】
【化33】
【0157】
【数32】
【0158】
<数式32>は<数式33>のように単純化できる。
【0159】
【数33】
【0160】
表示(notation)の便宜上、本発明はrが均一に分布したことと仮定する。この際、和から2番目の項は<数式34>に比例するようになる。
【0161】
【数34】
【0162】
【化34】
【0163】
ベースフィルタカーネルと変調重み付け値の結合最適化(joint optimization)は<数式35>のように提供できる。
【0164】
【数35】
【0165】
本発明の一実施形態は、前記のような過程を通じてベースフィルタカーネルと変調重み付け値を生成することができる。
【0166】
本発明の一実施形態では、訓練対の集合(a set of training pairs)が相互関係及び交差相互関係統計を生成することに利用でき、これはまた前記のようなエンコータ及びデコーダシステムを獲得することに利用できる。
【0167】
本発明の他の実施形態では、相互関係及び交差相互関係統計に到達するためによく知られた統計モデル技術が利用できる。
【0168】
本発明の他の実施形態では、ベースフィルタカーネルの集合を獲得してビデオ圧縮に用いることができる。エンコータ及びデコーダのうちの少なくとも一つはベースフィルタカーネル情報を格納して接近するか、または外部に接続して獲得することができる。そして、変調重み付け値はコーディングを遂行する間決定されることができ、これはエンコータからデコーダに転送できる。
【0169】
本発明の他の実施形態では、互いに異なる訓練集合(training set)に対して一つ以上のベースフィルタカーネルの集合が生成できる。このようなベース−フィルタカーネルの集合は格納所(dictionary or storage)またはデータベース(database)内に置かれることができる。以後に、圧縮を実行する間、前記エンコータは、先にベースフィルタカーネルの集合を選択し、前記選択されたベースフィルタカーネルをデコーダに転送することができる。
【0170】
本発明の他の実施形態では、ベースフィルタカーネルと変調スカラーはスケーリングされることができ、前記変調スカラーは変換過程を用いることによって同一な予測フィルタリング結果を得ながら、より効率良い圧縮を遂行できるようになる。例えば、y=FCを通じて予測フィルタリングを遂行することを仮定する時、y=FCT-1TCのように遂行する場合、変換過程(TC成分)を経ることによって、より効率良い圧縮が可能になる。
【0171】
図8は、本発明が適用される一実施形態に従って予測フィルタパラメータをエンコーディングする過程を例示するフローチャートである。
【0172】
【化35】
【0173】
参照フレーム(または、アンカーフレーム)及び圧縮されるブロックがモーションベクトル及びCPF変調重み付け値を決定するモジュールに提供できる。前記モジュールはターゲットブロックYの予測フィルタパラメータを決定することができる(S820)。例えば、前記過程は予測フィルタリングユニット470、パラメータ決定ユニット473及び/又はフィルタパラメータ決定ユニット475により遂行できる。
【0174】
前記予測フィルタパラメータ及び前記選択情報はエンコーディングされて圧縮されたビットストリームでデコーダに転送できる(S830)。デコーダで、この過程は逆に遂行できる。
【0175】
前記ベース予測フィルタバンクは最適化を用いるビデオシーケンスの訓練集合(training set)を用いて構成できる。
【0176】
予測フィルタパラメータが一旦決定されれば、これらは本発明の分野でよく知られた方法を用いてデコーダに転送できる。例えば、四分木パーティショニングはビデオコーディングシステムでパーティショニング情報が転送されることと類似の方式により転送できる。前記予測フィルタパラメータはビデオコーディングシステムにおける変換係数が転送されることと類似の方式により転送できる。
【0177】
図9は、本発明が適用される一実施形態に従って予測フィルタパラメータを決定する過程を例示するフローチャートである。
【0178】
本発明の一実施形態において、前記エンコータはアンカーブロックに対して四分木分解を遂行し、各リーフノードに対するCPF変調重み付け値を決定することができる。そして、対応するCPFに基づいて前記リーフノードをフィルタリングし、フィルタリングされた結果を予測ブロックに用いることができる。
【0179】
本発明の一実施形態に、モーションベクトル測定過程内で本発明を適用することによって予測フィルタパラメータを決定することができる。
【0180】
各々のモーションベクトルに対し、モーションベクトルを用いてモーション補償されたブロックを獲得することができる(S910)。例えば、候補モーションベクトルを用いてモーション補償された候補参照ブロックを獲得することができる。
【0181】
前記予測フィルタリングユニット470は費用関数cost(Y、b、Cb、Pb、F)を最小化するフィルタ係数Cb及びパーティション情報Pbを探索することができる(S920)。
【0182】
また、前記予測フィルタリングユニット470は前記費用関数cost(Y、b、Cb、Pb、F)が予め定義された最小値(minCost)より小さいか否かを確認することができる(S930)。
【0183】
前記費用関数cost(Y、b、Cb、Pb、F)が予め定義された最小値(minCost)より小さな場合、前記フィルタ係数Cb*、前記パーティション情報Pb*、応対したベクトルmv*及び費用関数の最小値は前記条件を満たす値に設定できる(S940)。
【0184】
以後、前記予測フィルタリングユニット470は追加的に探索しなければならないモーションベクトルが存在するかを確認することができる(S950)。
【0185】
追加的に探索しなければならないモーションベクトルが存在する場合、前記過程は再帰的に遂行できる。しかしながら、追加的に探索しなければならないモーションベクトルが存在しない場合、前記予測フィルタリングユニット470は前記フィルタ係数Cb*、前記パーティション情報Pb*、モーションベクトルmv*、及び費用関数の最小値を最適の値に出力することができる。
【0186】
図10は、本発明が適用される一実施形態に従って最適フィルタ係数及び最適パーティション情報を獲得する過程を例示するフローチャートである。
【0187】
本発明の一実施形態において、最小ユニットminUnit、ターゲットブロックY、参照ブロックb、及びベース予測フィルタFが与えられれば、前記予測フィルタリングユニット470は費用関数を共に最小化する予測フィルタパラメータを探すことができる。
【0188】
まず、前記予測フィルタリングユニット470は四分木のような初期パーティション情報Pfullを構成することができる(S1010)。前記初期パーティション情報Pfullは<数式36>のように定義できる。
【0189】
【数36】
【0190】
例えば、最小ユニットminUnitの値は4の値に設定できる。
【0191】
以後、前記予測フィルタリングユニット470は初期パーティション情報Pfullに基づいて最適フィルタ係数Cb及び最適パーティション情報Pbを獲得することができる(S1020)。
【0192】
例えば、最適フィルタ係数Cb及び最適パーティション情報Pbは次の<数式37>により獲得できる。
【0193】
【数37】
【0194】
図11は、本発明が適用される一実施形態に従って全体分解(full decomposition)が適用されるブロックのパーティション情報を獲得する過程を例示するフローチャートである。
【0195】
まず、初期パーティション情報Pfullは初期化できる(S1110)。
【0196】
前記予測フィルタリングユニット470はターゲットブロックYのサイズが最小ユニットminUnitより大きいか否かを確認することができる(S1120)。
【0197】
ターゲットブロックYのサイズが最小ユニットminUnitより大きい場合、前記予測フィルタリングユニット470は、前記ターゲットブロックYを4個のサブブロックΦi(i=1、2、3、4)に分割し、パーティション関数P={P、D}に分割ノードシンボル(divide-node-symbol)を追加することができる(S1130)。
【0198】
例えば、i=1、2、3、4に対し、パーティション情報Pbは<数式38>のように構成できる。
【0199】
【数38】
【0200】
しかしながら、ターゲットブロックYのサイズがminUnitより大きくない場合、前記予測フィルタリングユニット470はリーフノードシンボル(leaf node symbol)をパーティション関数P={P、L}に追加することができる(S1140)。
【0201】
図12は、本発明が適用される一実施形態に従って最適フィルタ係数を獲得する詳細な過程を例示するフローチャートである。
【0202】
図12の実施形態において、本発明は最適フィルタ係数を獲得するための方法を提供する。
【0203】
最適予測フィルタパラメータを探し出すために、前記パーティション情報Pbは<数式39>のように定義できる。
【0204】
【数39】
【0205】
b内の各リーフノードnLに対し、前記予測フィルタリングユニット470はターゲットブロックYからのnLに対応するブロックΦを獲得することができ(S1210)、モーション補償されたブロックbからのnLに対応するブロックγを獲得することができる(S1220)。このような場合、ブロックΦは前記ターゲットブロックY内の各リーフノードに対応するパーティショニングブロックを示し、前記ブロックγは前記モーション補償されたブロックY内の各リーフノードに対応するパーティショニングブロックを示す。
【0206】
前記予測フィルタリングユニット470は、<数式40>のように前記ブロックΦ、ブロックγ、及び前記ベース予測フィルタに基づいてフィルタ係数を算出することができる。
【0207】
【数40】
【0208】
以後、前記算出されたフィルタ係数は<数式41>のように量子化できる。
【0209】
【数41】
【0210】
図13は、本発明が適用される一実施形態に従って最適のパーティション情報を獲得する詳細な過程を例示するフローチャートである。
【0211】
<数式39>のようにパーティション情報を獲得するためのパーティション関数が与えられた時、前記予測フィルタリングユニット470は現在ブロックがリーフノードに対応するか否かを確認することができる(S1310)。
【0212】
現在ブロックがリーフノードに対応する場合、前記予測フィルタリングユニット470はパーティション関数Pをパーティション情報P’として構成することができる。
【0213】
しかしながら、現在ブロックがリーフノードに対応しない場合、前記予測フィルタリングユニット470はフィルタリング無しでブロックγを用いてブロックΦを予測する費用を算出することができる(S1320)。前記算出を通じて、前記予測フィルタリングユニット470はCost1を獲得することができる。
【0214】
また、現在ブロックがリーフノードに対応しない場合、前記予測フィルタリングユニット470はブロックΦとブロックγを4個のサブブロックΦi、γi(i=1、2、3、4)に分割することができ、関連したノード情報niを獲得することができる(S1330)。
【0215】
また、前記予測フィルタリングユニット470は<数式42>に基づいてノード情報niの費用を算出することができる(S1340)。
【0216】
【数42】
【0217】
<数式42>を通じて、前記予測フィルタリングユニット470はCost2を得ることができる。
【0218】
以後、前記予測フィルタリングユニット470はCost1がCost2より小さいか等しいかを確認することができる(S1350)。即ち、現在ブロックがリーフノードでない場合にはフィルタリング無しで予測されたブロックに対する費用とサブブロックに分割されたノードの費用を算出して比較することによって、より効率良い方法を選択できるようになる。
【0219】
Cost1がCost2より小さいか等しい場合、前記予測フィルタリングユニット470はノード情報ni及び前記パーティション関数Pからの導出された情報を切り出すことができる(S1360)。
【0220】
一方、Cost1がCost2より大きい場合、前記予測フィルタリングユニット470はパーティション関数Pをパーティション情報P’で構成することができる。
【0221】
図14は、本発明が適用される一実施形態に従ってパーティションブロックの費用を算出する過程を例示するフローチャートである。
【0222】
本発明の一実施形態において、<数式42>のようにパーティションブロックの費用を算出する過程が詳細に説明される。
【0223】
前記予測フィルタリングユニット470は<数式42>のようにノード情報の費用niを算出することができる。
【0224】
まず、前記予測フィルタリングユニット470は前記ノード情報niがリーフノードに対応するか否かを確認することができる(S1410)。
【0225】
前記ノード情報niがリーフノードに対応する場合、前記予測フィルタリングユニット470はブロックγを用いてブロックΦを予測する費用を算出することができる(S1420)。ブロックΦを予測する費用を算出するための過程は図15で詳細に説明される。
【0226】
しかしながら、現在ブロックがリーフノードに対応しない場合、前記予測フィルタリングユニット470はブロックΦとブロックγを4個のサブブロックΦi、γi(i=1、2、3、4)に分割し、関連したノード情報ni(i=1、2、3、4)を獲得することができる(S1430)。
【0227】
また、前記予測フィルタリングユニット470は前記<数式42>に従ってノード情報niの費用を算出することができる(S1440)。
【0228】
図15は、本発明が適用される一実施形態に従って予測ブロックを生成する費用を算出する過程を例示するフローチャートである。
【0229】
本発明の一実施形態ではブロックΦを予測する費用を算出する方法を提供する。
【0230】
前記予測フィルタリングユニット470はブロックΦ、ブロックγ、及びベース予測フィルタFに基づいてフィルタ係数を算出することができる(S1510)。例えば、前記<数式40>が前記フィルタ係数を算出するために利用できる。
【0231】
また、前記算出されたフィルタ係数は量子化できる(S1520)。例えば、フィルタ係数を量子化するために前記<数式41>が利用できる。
【0232】
前記予測フィルタリングユニット470は<数式43>のような予測関数を用いて予測信号を生成することができる(S1530)。
【0233】
【数43】
【0234】
<数式43>で、ρは予測信号を示し、Γはフィルタリングされたブロックを示す。ΓはΓi=y*fiで表現されることができ、この際、yはブロックを示し、fiはフィルタカーネルを示す。
【0235】
一方、ベース予測フィルタFが与えられれば、前記予測フィルタリングユニット470は前記予測フィルタFを用いてブロックγのフィルタリングを遂行することができる(S1540)。
【0236】
前記フィルタリングされたブロックΓはS1530で予測信号を形成するために活用できる。
【0237】
この後、前記予測フィルタリングユニット470は<数式44>を用いてブロックΦを予測する費用を算出することができる。
【0238】
【数44】
【0239】
【化36】
【0240】
図16は、本発明が適用される一実施形態に従って予測フィルタパラメータに基づいてターゲット領域を予測する過程を例示するフローチャートである。
【0241】
本発明は、予測フィルタパラメータに基づいてターゲット領域を予測するエンコーディング過程を提供する。
【0242】
前記エンコータはターゲット領域の候補モーションベクトルを算出することができ(S1610)、前記候補モーションベクトルを用いて参照領域を決定することができる(S1620)。
【0243】
前記エンコータはベース予測フィルタに基づいて予測フィルタパラメータを決定することができる(S1630)。このような場合、前記予測フィルタパラメータはフィルタ係数及びパーティション情報のうち、少なくとも一つを含んで費用関数を最小化するために決定される。
【0244】
前記ベース予測フィルタは予め定義された予測フィルタバンクから選択できる。
【0245】
予測フィルタパラメータを決定するための多様な実施形態が本実施形態に適用できる。
【0246】
前記エンコータは前記予測フィルタパラメータに基づいてターゲット領域を予測することができる(S1640)。
【0247】
図17は、本発明が適用される一実施形態に従って予測フィルタパラメータを含むビデオ信号をデコーディングする過程を例示するフローチャートである。
【0248】
本発明は、予測フィルタパラメータを含むビデオ信号をデコーディングする方法を提供する。
【0249】
デコーダは、予測フィルタパラメータ、フィルタ選択情報、及びモーション情報のうち、少なくとも一つを含むビデオ信号を受信することができる(S1710)。
【0250】
前記デコーダは前記ビデオ信号から予測フィルタパラメータを獲得してデコーディングすることができる(S1720)。ここで、前記予測フィルタパラメータはフィルタ係数及びパーティション情報のうち、少なくとも一つを含むことができる。他の実施形態に、前記予測フィルタパラメータはデコーダ内の他の情報から誘導されることもできる。
【0251】
前記デコーダは前記フィルタ係数及び前記フィルタ選択情報のうち、少なくとも一つに基づいて予測フィルタを決定することができる(S1730)。このような場合、前記フィルタ選択情報は前記ビデオ信号から獲得されるか、または他の情報から誘導できる。前記デコーダは、前記フィルタ選択情報に基づいて用いられる予測フィルタをベース予測フィルタバンクから選択することができる(S1740)。
【0252】
前記デコーダはパーティション情報に基づいてモーション補償されたブロック内のパーティションブロックの各々に対してフィルタリングを遂行することができる(S1750)。
【0253】
一方、前記デコーダはモーション情報を用いてモーション補償されたブロックを獲得することができる(S1760)。前記モーション補償されたブロックはステップS1750で利用できる。
【0254】
図18は、本発明が適用される一実施形態に従って予測フィルタリングを遂行する予測フィルタリングユニット470の概略的な内部ブロック図を示す。
【0255】
本発明が適用される予測フィルタリングユニット470は、フィルタ選択ユニット472及びパラメータ決定ユニット473を含むことができ、前記パラメータ決定ユニット473は費用算出ユニット(474)、フィルタパラメータ決定ユニット475、及びMV(Motion Vector)決定ユニット(476)を含むことができる。前記予測フィルタリングユニット470は図4のエンコータ内で別個の機能的ユニットとして位置することと例示したが、これは本発明の一側面であり、本発明はこれに限定されるものではない。例えば、前記予測フィルタリングユニット470は予測ユニット460内に位置することもでき、または他のユニットの間に位置することもできる。また、フィルタバンク471も前記予測フィルタリングユニット470と別個に位置できるが、これもまた本発明の一側面であり、本発明はこれに限定されるものではない。例えば、前記フィルタバンク471は前記予測フィルタリングユニット470または予測ユニット460内に含まれて利用されるか、またはエンコータの外部または別個の格納所に含まれて利用できる。これはデコーダの場合にも類似するように適用可能である。
【0256】
前記予測フィルタリングユニット470は、予測フィルタ及び参照ブロックの線形畳み込みを用いて予測ブロックを生成することができる。
【0257】
まず、前記フィルタ選択ユニット472はフィルタバンク471(または、予測フィルタバンク、またはベース予測フィルタ格納所Ω)からベース予測フィルタの集合を選択することができる。
【0258】
前記パラメータ決定ユニット473は、参照フレームまたはアンカーフレーム、及びコーディングブロックを参照して予測フィルタパラメータを決定することができ、前記予測フィルタパラメータに基づいてモーションベクトル及びCPF変調重み付け値を決定することができる。前記予測フィルタパラメータ及び選択情報のうちの少なくとも一つはエンコーディングされて圧縮されたビットストリームでデコーダに転送されることができ、デコーダではこれを逆に遂行することができる。
【0259】
前記費用算出ユニット474は費用関数cost(Y、b、Cb、Pb、F)を最小化するフィルタ係数Cb及びパーティション情報Pbを探すために、前記<数式36>及び前記<数式37>を用いることができる。
【0260】
前記フィルタパラメータ決定ユニット475は、前記費用関数cost(Y、b、Cb、Pb、F)が予め定義された最小値(minCost)より小さいか否かを確認することができる。例えば、前記費用関数cost(Y、b、Cb、Pb、F)が予め定義された最小値(minCost)より小さな場合、獲得されたフィルタ係数Cb*及びパーティション情報Pb*が予測フィルタパラメータの値に設定できる。
【0261】
そして、前記MV(Motion Vector)決定ユニット476は追加的に探索しなければならないモーションベクトルが存在するかを確認することができる。追加的に探索しなければならないモーションベクトルが存在する場合、前記過程が再帰的に遂行できる。
【0262】
しかしながら、追加的に探索しなければならないモーションベクトルが存在しない場合、前記費用関数cost(Y、b、Cb、Pb、F)を最小にするフィルタ係数Cb*、パーティション情報Pb*、及びモーションベクトルを最適の値に決定することができる。
【0263】
前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラー、またはチップ上で具現されて遂行できる。例えば、前記図1図2図4図5、及び図18で図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で具現されて遂行できる。
【0264】
本発明が適用されるデコーダ及びエンコータは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、キャムコーダ、注文型ビデオ(VoD)サービス提供装置、インターネットストリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために利用できる。
【0265】
また、本発明が適用される処理方法はコンピュータにより実行されるプログラムの形態に生産されることができ、コンピュータにより読み取ることができる記録媒体に格納できる。本発明に従うデータ構造を有するマルチメディアデータもまたコンピュータにより読み取ることができる記録媒体に格納できる。前記コンピュータにより読み取ることができる記録媒体はコンピュータにより読み取ることができるデータが格納される全ての種類の格納装置を含む。前記コンピュータにより読み取ることができる記録媒体は、例えば、ブルーレイディスク(BD)、汎用直列バス(USB)、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータにより読み取ることができる記録媒体は、搬送波(例えば、インターネットを通じての転送)の形態に具現されたメディアを含む。また、エンコーディング方法により生成されたビットストリームがコンピュータにより読み取ることができる記録媒体に格納されるか、または有無線通信ネットワークを介して転送できる。
【産業上の利用可能性】
【0266】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下に添付した特許請求範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な他の実施形態を改良、変更、取替、または付加などが可能である。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18