特許 6592086 一般化されたグラフパラメータを用いてグラフ基盤変換を行う方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6592086

(24)【登録日】2019年9月27日

(45)【発行日】2019年10月23日

(54)【発明の名称】一般化されたグラフパラメータを用いてグラフ基盤変換を行う方法及び装置

(51)【国際特許分類】

   H04N 19/12 20140101AFI20191010BHJP

   H04N 19/136 20140101ALI20191010BHJP

   H04N 19/176 20140101ALI20191010BHJP

   H04N 19/196 20140101ALI20191010BHJP

   H04N 19/46 20140101ALI20191010BHJP

   H04N 19/60 20140101ALI20191010BHJP

   H03M 7/30 20060101ALI20191010BHJP

【ＦＩ】

   H04N19/12

   H04N19/136

   H04N19/176

   H04N19/196

   H04N19/46

   H04N19/60

   H03M7/30 A

【請求項の数】4

【全頁数】28

(21)【出願番号】特願2017-525972(P2017-525972)

(86)(22)【出願日】2015年11月13日

(65)【公表番号】特表2018-500806(P2018-500806A)

(43)【公表日】2018年1月11日

(86)【国際出願番号】KR2015012218

(87)【国際公開番号】WO2016076659

(87)【国際公開日】20160519

【審査請求日】2017年6月1日

(31)【優先権主張番号】62/079,566

(32)【優先日】2014年11月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】アミール サイード

(72)【発明者】

【氏名】ユン−シュアン チャオ

(72)【発明者】

【氏名】ヒルミ エネス エーイルメズ

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２０１４−００７４７７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０２７２４２２（ＵＳ，Ａ１）

【文献】 欧州特許出願公開第０２５８２１４０（ＥＰ，Ａ２）

【文献】 Woo-Shik Kim et al.，GRAPH BASED TRANSFORMS FOR DEPTH VIDEO CODING，2012 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNAL PROCESSING (ICASSP 2012)，813-816頁，２０１２年 ３月２５日

【文献】 G. Shen et al.，EDGE-ADAPTIVE TRANSFORMS FOR EFFICIENT DEPTH MAP CODING，28th Picture Coding Symposium (PCS2010)，２０１０年１２月 ８日，566-569頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０３Ｍ ３／００−９／００

Ｈ０４Ｎ １／４１−１／４１９

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

グラフ基盤変換を用いてビデオ信号をデコーディングする方法において、
グラフパラメータセットを含む一般化されたグラフ信号を受信するステップであって、前記グラフパラメータセットは、Ｖ次元ベクトルで表現される頂点パラメータセット及びＶｘＶ行列で表現されるエッジパラメータセットを含む、ステップと、
前記グラフパラメータセットと予め定義されたペナルティ関数とに基づいて、変換ユニットのグラフ基盤変換カーネルを取得するステップと、
前記グラフ基盤変換カーネルを用いて前記変換ユニットをデコーディングするステップと、
を含み、
前記グラフ基盤変換カーネルは、前記グラフパラメータセットと前記予め定義されたペナルティ関数とに基づく最適化関数により算出され、
前記最適化関数は、前記頂点パラメータセットに対する第１のペナルティ関数成分と前記エッジパラメータセットに対する第２のペナルティ関数成分との合計で構成され、
前記グラフ基盤変換カーネルは、前記最適化関数が最小になる値を表す、方法。

【請求項2】

前記予め定義されたペナルティ関数は、前記一般化されたグラフ信号に基づいて生成される、請求項１に記載の方法。

【請求項3】

グラフ基盤変換を用いてビデオ信号をデコーディングする装置において、
グラフパラメータセットを含む一般化されたグラフ信号を受信するように構成されたエントロピーデコーディング部であって、前記グラフパラメータセットは、Ｖ次元ベクトルで表現される頂点パラメータセット及びＶｘＶ行列で表現されるエッジパラメータセットを含む、エントロピーデコーディング部と、
前記グラフパラメータセットと予め定義されたペナルティ関数とに基づいて変換ユニットのグラフ基盤変換カーネルを取得し、前記グラフ基盤変換カーネルを用いて前記変換ユニットをデコーディングするように構成された逆変換部と、
を備え、
前記グラフ基盤変換カーネルは、前記グラフパラメータセットと前記予め定義されたペナルティ関数とに基づく最適化関数により算出され、
前記最適化関数は、前記頂点パラメータセットに対する第１のペナルティ関数成分と前記エッジパラメータセットに対する第２のペナルティ関数成分との合計で構成され、
前記グラフ基盤変換カーネルは、前記最適化関数が最小になる値を表す、装置。

【請求項4】

前記予め定義されたペナルティ関数は、前記一般化されたグラフ信号に基づいて生成される、請求項３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、グラフ基盤の信号処理方法及び装置に関し、より詳細には、一般化されたグラフパラメータを用いてグラフ基盤変換を行う技術に関する。

【背景技術】

【0002】

従来の離散時間信号処理技術は、ほとんどアナログ信号の処理及びフィルタリングから進化しているが、正規的に組織されたデータのサンプリングのようにいくつかの共通した仮定のため、制限されてきた。ビデオ圧縮分野は、基本的に同じ仮定に基盤しており、単に多次元的信号の処理で一般化されただけである。

【0003】

グラフは、多くの応用分野においてデータの幾何学的構造を記述するのに有用なデータ表現形態である。このようなグラフに基盤した信号処理は、各信号サンプルが頂点（ｖｅｒｔｅｘ）を表し、信号の関係が正の加重値を有するグラフエッジで表されるグラフを使用してサンプリング、フィルタリング、フーリエ（Ｆｏｕｒｉｅｒ）変換などのような概念を一般化できる。この方式は、信号を取得する過程と分離することにより、サンプリング及びシーケンス処理においてグラフの特性に代替することができる。したがって、より効率的なグラフ基盤の信号処理方法がビデオ圧縮分野だけでなく、多くの応用分野で求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

グラフ基盤の信号処理は、信号処理の種々の技術とモデルを一般化する新しい技術分野であり、多くの応用分野で有望な結果を見せたことがある。ただし、信号圧縮の際、グラフ基盤の信号処理方式を適用するようになる場合、より良い信号変換または予測を導き出すためには、エンコーダとデコーダが共に同じグラフ（例えば、頂点、エッジ、及びエッジ加重値）を使用する必要がある。より向上した信号圧縮が複雑で適応的なグラフ構造として成し遂げられることができるが、このようなグラフに関する情報をコーディングするオーバーヘッドが相対的に大きくなることにより、これらが提供する利得よりも大きくなり得るという問題がある。したがって、本発明では、このような問題を解決しようとする。

【0005】

また、本発明は、伝統的なスペクトル分解の一般化を用いてグラフ基盤変換を算出する新しい方法を提供しようとする。また、このような一般化によって変換特性をより良く制御しようとし、様々なアプリケーションに適用可能なようにしようとする。

【0006】

また、本発明は、グラフ内の頂点とエッジを識別し、残余値信号をエンコーディングまたはデコーディングする方法を提案する。

【0007】

また、本発明は、予測残余値等のより良いコーディング集合のためのグラフ基盤の道具を開発しようとする。

【0008】

本発明は、グラフパラメータの定義を一般化する方法を提供する。

【0009】

また、本発明は、頂点パラメータセットとエッジパラメータセットのうち、少なくとも１つを用いてグラフ信号を取得する方法を提供する。

【0010】

また、本発明は、ペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）及び制限関数（ｃｏｎｓｔｒａｉｎｔ ｆｕｎｃｔｉｏｎ）のうち、少なくとも１つに基づいて最適化された変換カーネルを取得する方法を提供する。

【0011】

また、本発明は、グラフ信号に対して予め定義されたペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）を適用して固有値（ｅｉｇｅｎｖａｌｕｅ）関数を導き出す方法を提供する。

【0012】

また、本発明は、固有値関数を最適化するグラフ基盤変換カーネルを取得する方法を提供する。

【0013】

また、本発明は、グラフ内の頂点とエッジを識別し、残余値信号をエンコーディングまたはデコーディングする方法を提案する。

【課題を解決するための手段】

【0014】

本発明は、グラフ基盤変換を用いてビデオ信号をデコーディングする方法において、グラフパラメータセットを含む一般化されたグラフ信号を受信するステップと、前記グラフパラメータセットと予め定義されたペナルティ関数とに基づいて、変換ユニットのグラフ基盤変換カーネルを取得するステップと、前記グラフ基盤変換カーネルを用いて前記変換ユニットをデコーディングするステップとを含むことを特徴とする方法を提供する。

【0015】

また、本発明において、前記グラフパラメータセットは、Ｖ次元ベクトルで表現される頂点パラメータセット及びＶｘＶ行列で表現されるエッジパラメータセットのうち、少なくとも１つを含むことを特徴とする。

【0016】

また、本発明において、前記予め定義されたペナルティ関数は、前記一般化されたグラフ信号に基づいて生成されたものであることを特徴とする。

【0017】

また、本発明において、前記グラフ基盤変換カーネルは、前記グラフパラメータセットと予め定義されたペナルティ関数とに基づく最適化関数により算出されることを特徴とする。

【0018】

また、本発明において、前記最適化関数は、頂点パラメータセットに対する第１のペナルティ関数成分とエッジパラメータセットに対する第２のペナルティ関数成分との合計で構成され、前記グラフ基盤変換カーネルは、前記最適化関数が最小になる値を表すことを特徴とする。

【0019】

また、本発明は、一般化されたグラフ信号を用いてグラフ基盤変換を行う方法において、頂点パラメータセット及びエッジパラメータセットのうち、少なくとも１つを含むグラフパラメータを決定するステップと、前記グラフパラメータに基づいて一般化されたグラフ信号を生成するステップと、前記グラフパラメータに基づいて、ペナルティ関数及び制限関数のうち、少なくとも１つを生成するステップと、前記ペナルティ関数及び制限関数のうち、少なくとも１つと前記一般化されたグラフ信号に基づいて最適化関数を生成するステップと、前記最適化関数を最小にする最適のグラフ基盤変換カーネルを取得するステップと、前記最適のグラフ基盤変換カーネルを用いて変換ユニットに対する変換を行うステップとを含むことを特徴とする方法を提供する。

【0020】

また、本発明は、グラフ基盤変換を用いてビデオ信号をデコーディングする装置において、グラフパラメータセットを含む一般化されたグラフ信号を受信するエントロピーデコーディング部と、前記グラフパラメータセットと予め定義されたペナルティ関数とに基づいて変換ユニットのグラフ基盤変換カーネルを取得し、前記グラフ基盤変換カーネルを用いて前記変換ユニットをデコーディングする逆変換部とを備えることを特徴とする装置を提供する。

【0021】

また、本発明は、一般化されたグラフ信号を用いてグラフ基盤変換を行う装置において、頂点パラメータセット及びエッジパラメータセットのうち、少なくとも１つを含むグラフパラメータを決定し、前記グラフパラメータに基づいて一般化されたグラフ信号を生成するグラフ信号生成部と、前記グラフパラメータに基づいて、ペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）及び制限関数（ｃｏｎｓｔｒａｉｎｔ ｆｕｎｃｔｉｏｎ）のうち、少なくとも１つを生成し、前記ペナルティ関数及び制限関数のうち、少なくとも１つと前記一般化されたグラフ信号に基づいて最適化関数を生成し、前記最適化関数を最小にする最適のグラフ基盤変換カーネルを取得する変換行列算出部と、前記最適のグラフ基盤変換カーネルを用いて変換ユニットに対する変換を行う変換実行部とを備えることを特徴とする装置を提供する。

【発明の効果】

【0022】

本発明が適用されるグラフ基盤の信号モデリングは、強力な道具になり得る。具体的に、本発明は、伝統的なスペクトル分解の一般化を用いてグラフ基盤変換を算出する新しい方法を提供することにより、グラフ基盤変換を定義するベクトル等の強い不連続性の問題を回避できる。

【0023】

また、伝統的なスペクトル分解の一般化を介して変換特性をより良く制御することができ、様々なアプリケーションに適用することができる。

【0024】

また、本発明は、ビデオシーケンスの他の部分で信号の統計的特性を適応的に利用することにより、圧縮効率を向上させることができる。

【0025】

また、本発明は、伝統的なスペクトル分解の一般化を介してグラフ信号をエンコーディングするために必要なビットレートの過度なオーバーヘッドを避けることができる。

【図面の簡単な説明】

【0026】

【図1】本発明が適用される実施形態であって、ビデオ信号のエンコーディングが行われるエンコーダの概略的なブロック図を示す。

【図2】本発明が適用される実施形態であって、ビデオ信号のデコーディングが行われるデコーダの概略的なブロック図を示す。

【図3】本発明が適用される一実施形態によってビデオフレーム内の８×８ブロック内での統計的関係をモデリングするために使用されたグラフの例を示す。

【図4】本発明が適用される一実施形態であって、加重値分布を示す２つの形態のグラフを示す。

【図5】本発明が適用される一実施形態であって、１次元グラフと２次元グラフとに基づいてグラフ基盤変換マトリックスを取得する過程を説明するための図である。

【図6】本発明が適用される実施形態であって、グラフ基盤の信号を処理するエンコーダの概略的ブロック図を例示する。

【図7】本発明が適用される実施形態であって、グラフ基盤の信号を処理するデコーダの概略的ブロック図を例示する。

【図8】本発明が適用される一実施形態であって、グラフ基盤変換部の内部ブロック図を示す。

【図9】本発明が適用される一実施形態であって、一般化されたグラフパラメータ及びペナルティ関数に基づいて最適化された変換行列を算出する過程を説明するためのフローチャートである。

【図10】本発明が適用される一実施形態であって、一般化されたグラフパラメータセットを用いてグラフ基盤変換カーネルを取得する過程を説明するためのフローチャートである。

【発明を実施するための形態】

【0027】

以下、添付した図面を参照して本発明の実施形態の構成とその作用を説明し、図面により説明される本発明の構成と作用は１つの実施形態として説明されるものであり、これによって本発明の技術的思想とその核心構成及び作用が制限されるものではない。

【0028】

併せて、本発明で使用される用語はできる限り、現在広く使用される一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細な説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称だけで単純に解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明らかにしようとする。

【0029】

また、本明細書で提示された実施形態がビデオ信号処理に関するものであるが、本発明はビデオ信号処理のみに基盤したものとして推論されてはならず、一般的なグラフ基盤の信号処理方法にも適用できるものである。

【0030】

また、本発明で使用される用語は発明を説明するために選択された一般的な用語や、類似の意味を有する他の用語がある場合、より適切な解析のために取替え可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に取り替えられて解析できる。

【0031】

ビデオシーケンスの他の部分で信号の統計的特性を適応的に変化させる線形変換を適用することによって圧縮効率を向上させることができる。一般的な統計的方法がこのような目的で試みられたが、それらは、制限的な結果をもたらした。本発明では、ビデオ圧縮のためのビデオ統計的特性をモデリングするさらに効率的な方法として、グラフ基盤信号処理技術を紹介する。

【0032】

数学的な分析を単純化し、グラフ理論から知られた結果を利用するために、グラフ基盤信号処理のために開発されたほとんどのアプリケーションは、自己ループ（ｓｅｌｆ−ｌｏｏｐ）（すなわち、それ自体でノードを連結するエッジが無い）無しの無向グラフ（ｕｎｄｉｒｅｃｔｅｄ ｇｒａｐｈ）を用い、各グラフエッジで負数でないエッジ（ｎｏｎ−ｎｅｇａｔｉｖｅ ｅｄｇｅ）だけでモデリングされる。

【0033】

このような接近は、よく定義された不連続性、強いエッジを有したイメージまたは深さイメージをシグナリングするのに成功的に適用されることができる。イメージ及びビデオアプリケーションでＮ^２ピクセルブロックに対応するグラフは、一般的に２Ｎ^２または４Ｎ^２個の負数でない（ｎｏｎ−ｎｅｇａｔｉｖｅ）エッジ加重値に対する送信オーバーヘッドを必要とする。グラフが定義された後、コーディングまたは予測のための直交変換は、グラフラプラシアン行列のスペクトル分解（ｓｐｅｃｔｒａｌ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を計算することにより導かれることができる。例えば、前記スペクトル分解を介して固有ベクトル（ｅｉｇｅｎ ｖｅｃｔｏｒ）及び固有値（ｅｉｇｅｎ ｖａｌｕｅ）を取得できる。

【0034】

本発明は、伝統的なスペクトル分解の新しい一般化を用いてグラフ基盤変換を計算する過程を変形する新しい方法を提供する。ここで、グラフ信号から取得される変換をグラフ基盤変換（Ｇｒａｐｈ−Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ、以下、「ＧＢＴ」とする）と定義することができる。例えば、ＴＵを構成するピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換をＧＢＴといえる。

【0035】

本発明が適用されるスペクトル分解の一般化形態は、所望の特性を有したグラフエッジパラメータの付加的なセット（ａｄｄｉｔｉｏｎａｌ ｓｅｔ）、及びグラフ頂点パラメータ（ｇｒａｐｈ ｖｅｒｔｅｘ ｐａｒａｍｅｔｅｒｓ）に基づいて取得されることができる。このような本発明の実施形態を介して変換特性をより良く制御することができ、変換を定義するベクトルの強い不連続性（ｓｈａｒｐ ｄｉｓｃｏｎｔｉｎｕｉｔｉｅｓ）のような問題を回避できる。以下では、本発明が適用される実施形態を具体的に説明する。

【0036】

図１は本発明が適用される実施形態であって、ビデオ信号のエンコーディングが行われるエンコーダの概略的なブロック図を示す。

【0037】

図１を参照すると、エンコーダ１００は、映像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture Buffer）１７０、インター予測部１８０、イントラ予測部１８５、及びエントロピーエンコーディング部１９０を含んで構成できる。

【0038】

映像分割部１１０は、エンコーダ１００に入力された入力映像（Input image）（または、ピクチャ、フレーム）を１つ以上記の処理ユニットに分割することができる。例えば、前記処理ユニットは、コーディングツリーユニット（ＣＴＵ：Coding Tree Unit）、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）、または変換ユニット（ＴＵ：Transform Unit）でありうる。

【0039】

但し、前記用語は本発明に対する説明の便宜のために使用するだけであり、本発明は該当用語の定義に限定されるものではない。また、本明細書では説明の便宜のために、ビデオ信号をエンコーディングまたはデコーディングする過程で用いられる単位としてコーディングユニットという用語を使用するが、本発明はそれに限定されず、発明内容によって適切に解析可能である。

【0040】

エンコーダ１００は、入力映像信号でインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）を減算して残余信号（residual signal）を生成することができ、生成された残余信号は変換部１２０に送信される。

【0041】

変換部１２０は、残余信号に変換技法を適用して変換係数（transform coefficient）を生成することができる。変換過程は正四角形の同一なサイズを有するピクセルブロックに適用されることもでき、正四角形でない可変サイズのブロックにも適用できる。

【0042】

本発明の一実施形態として、前記変換部１２０は、一般化されたグラフパラメータを用いてグラフ信号を取得できる。

【0043】

本発明の他の一実施形態として、前記変換部１２０は、頂点パラメータセットとエッジパラメータセットのうち、少なくとも１つを用いてグラフ信号を取得でき、前記グラフ信号に対して予め定義されたペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）を適用して固有値（ｅｉｇｅｎｖａｌｕｅ）関数を導き出すことができる。

【0044】

本発明の他の一実施形態として、前記変換部１２０は、ペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）及び制限関数（ｃｏｎｓｔｒａｉｎｔ ｆｕｎｃｔｉｏｎ）のうち、少なくとも１つに基づいて最適化された変換カーネルを取得できる。このとき、前記最適化された変換カーネルは、固有値関数を最適化する値でありうる。

【0045】

量子化部１３０は変換係数を量子化してエントロピーエンコーディング部１９０に送信し、エントロピーエンコーディング部１９０は量子化された信号（quantized signal）をエントロピーコーディングしてビットストリームで出力することができる。

【0046】

量子化部１３０から出力された量子化された信号（quantized signal）は、予測信号を生成するために利用できる。例えば、量子化された信号（quantized signal）はループ内の逆量子化部１４０及び逆変換部１５０を通じて逆量子化及び逆変換を適用することによって、残余信号を復元することができる。復元された残余信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）に加えることによって、復元信号（reconstructed signal）が生成できる。

【0047】

一方、前記のような圧縮過程で隣接したブロックが互いに異なる量子化パラメータにより量子化されることによって、ブロック境界が見える劣化が発生できる。このような現象をブロッキング劣化（blocking artifacts）といい、これは画質を評価する重要な要素の１つである。このような劣化を減らすために、フィルタリング過程を行うことができる。このようなフィルタリング過程を通じてブロッキング劣化を除去するように、現在ピクチャに対する誤差を減らすことによって、画質を向上させることができるようになる。

【0048】

フィルタリング部１６０は、復元信号にフィルタリングを適用し、これを再生装置に出力するか、または復号ピクチャバッファ１７０に送信する。復号ピクチャバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８０で参照ピクチャとして使用できる。このように、フィルタリングされたピクチャを画面間予測モードで参照ピクチャとして用いることによって、画質だけでなく、符号化効率も向上させることができる。

【0049】

復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０での参照ピクチャとして使用するために格納することができる。

【0050】

インター予測部１８０は、復元ピクチャ（reconstructed picture）を参照して時間的重複性及び／又は空間的重複性を除去するために、時間的予測及び／又は空間的予測を行う。ここで、予測を行うために用いられる参照ピクチャは以前の時間に符号化／復号化時、ブロック単位で量子化と逆量子化を経た変換された信号であるので、ブロッキングアーティファクト（blocking artifact）やリンギングアーティファクト（ringing artifact）が存在できる。

【0051】

したがって、インター予測部１８０はこのような信号の不連続や量子化による性能の低下を解決するために、ローパスフィルタ（low pass filter）を適用することによって、ピクセル間の信号をサブピクセル単位で補間することができる。ここで、サブピクセルは補間フィルタを適用して生成された仮想の画素を意味し、整数ピクセルは復元されたピクチャに存在する実際画素を意味する。補間方法には、線形補間、バイリニア補間（bi-linear interpolation）、ウィナーフィルタ（wiener filter）などが適用できる。

【0052】

補間フィルタは復元ピクチャ（reconstructed picture）に適用されて予測の精密度を向上させることができる。例えば、インター予測部１８０は整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（interpolated pixels）で構成された補間ブロック（interpolated block）を予測ブロック（prediction block）に使用して予測を行うことができる。

【0053】

イントラ予測部１８５は、現在符号化を進行しようとするブロックの周辺にあるサンプルを参照して現在ブロックを予測することができる。前記イントラ予測部１８５は、イントラ予測を行うために、次のような過程を行うことができる。まず、予測信号を生成するために必要な参照サンプルを準備することができる。そして、準備した参照サンプルを用いて予測信号を生成することができる。以後、予測モードを符号化するようになる。この際、参照サンプルは参照サンプルパッディング及び／又は参照サンプルフィルタリングを通じて準備できる。参照サンプルは、予測及び復元過程を経たため、量子化エラーが存在することがある。したがって、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリング過程が行われることができる。

【0054】

前記インター予測部１８０または前記イントラ予測部１８５を通じて生成された予測信号（prediction signal）は、復元信号を生成するために用いられるか、または 残余信号を生成するために用いられることができる。

【0055】

図２は本発明が適用される実施形態であって、ビデオ信号のデコーディングが行われるデコーダの概略的なブロック図を示す。

【0056】

図２を参照すると、デコーダ２００は、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture BufferUnit）２５０、インター予測部２６０、及びイントラ予測部２６５を含んで構成できる。

【0057】

そして、デコーダ２００を通じて出力された復元映像信号（reconstructed video signal）は再生装置を通じて再生できる。

【0058】

デコーダ２００は図１のエンコーダ１００から出力された信号を受信することができ、受信された信号はエントロピーデコーディング部２１０を通じてエントロピーデコーディングできる。

【0059】

逆量子化部２２０では量子化ステップサイズ情報を用いてエントロピーデコーディングされた信号から変換係数（transform coefficient）を取得する。ここで、取得された変換係数は、前記図１の変換部１２０で説明した様々な実施形態が適用されたものでありうる。

【0060】

逆変換部２３０では、変換係数を逆変換して残余信号（residual signal）を取得するようになる。

【0061】

取得された残余信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（prediction signal）に加えることによって復元信号（reconstructed signal）が生成される。

【0062】

フィルタリング部２４０は、復元信号（reconstructed signal）にフィルタリングを適用し、これを再生装置に出力するか、または復号ピクチャバッファ部２５０に送信する。復号ピクチャバッファ部２５０に送信されたフィルタリングされた信号はインター予測部２６０で参照ピクチャとして使用できる。

【0063】

本明細書で、エンコーダ１００のフィルタリング部１６０、インター予測部１８０、及びイントラ予測部１８５で説明された実施形態は、各々デコーダのフィルタリング部２４０、インター予測部２６０、及びイントラ予測部２６５にも同一に適用できる。

【0064】

図３は、本発明が適用される一実施形態によってビデオフレーム内の８×８ブロック内での統計的関係をモデリングするために使用されたグラフの例を示す。

【0065】

離散時間（ｄｉｓｃｒｅｔｅ−ｔｉｍｅ）信号処理技術は、アナログ信号を直接処理しフィルタリングすることから発展し、それにより、規則的で組織化されたデータ（ｒｅｇｕｌａｒｌｙ ｏｒｇａｎｉｚｅｄ ｄａｔａ）だけをサンプリングし処理するようないくつかの共通の仮定により制限されてきた。

【0066】

ビデオ圧縮分野は、基本的に同じ仮定に基づくが、多次元信号に一般化されている。グラフ表現に基づいた信号処理は、サンプリング、フィルタリング、フーリエ変換のようなコンセプトを一般化し、各信号サンプルが頂点を表すグラフを用い、信号関係が正の加重値を有したグラフエッジで表現される伝統的な接近から始まる。これは、その取得過程（ａｃｑｕｉｓｉｔｉｏｎ ｐｒｏｃｅｓｓ）から信号を完全に断絶し、それにより、サンプリングレート及びシーケンスのような特性が完全にグラフの特性に代替される。したがって、グラフ表現は、いくつの特定グラフモデルにより定義されることができる。

【0067】

データ値間の経験的連結を表すために、本発明は、普通、無向単純グラフ（ｕｎｄｉｒｅｃｔｅｄ ｓｉｍｐｌｅ ｇｒａｐｈ）及び無向エッジ（ｕｎｄｉｒｅｃｔｅｄ ｅｄｇｅ）だけを有する。ここで、無向単純グラフ（ｕｎｄｉｒｅｃｔｅｄ ｓｉｍｐｌｅ ｇｒａｐｈ）は、自己ループ（ｓｅｌｆ−ｌｏｏｐ）またはマルチエッジがないグラフを意味できる。

【0068】

各エッジに割り当てられた加重値を有した、無向単純グラフ（ｕｎｄｉｒｅｃｔｅｄ ｓｉｍｐｌｅ ｇｒａｐｈ）をＧとすれば、無向単純グラフ（ｕｎｄｉｒｅｃｔｅｄ ｓｉｍｐｌｅ ｇｒａｐｈ）Ｇは、次の数式１のように、３個の因子（ｔｒｉｐｌｅｔ）により説明されることができる。

【0069】

［数式１］

【数1】

【0070】

ここで、Ｖは、Ｖ個のグラフ頂点セットを表し、εは、グラフエッジセットを表し、Ｗは、ＶｘＶ行列で表現される加重値を表す。ここで、加重値Ｗは、次の数式２のように表現されることができる。

【0071】

［数式２］

【数2】

【0072】

Ｗ_ｉ、ｊは、エッジ（ｉ、ｊ）の加重値を表し、Ｗ_ｊ、ｉは、エッジ（ｊ、ｉ）の加重値を表し、頂点（ｉ、ｊ）を連結するエッジがない場合、Ｗ_ｉ、ｊ＝０である。例えば、自己ループが無いことを仮定する場合、常にＷ_ｉ、ｉ＝０である。

【0073】

このような表現は、エッジ加重値を有した無向単純グラフの特別な場合に対して部分的に重複する。これは、Ｗ行列がグラフに関する全ての情報を含んでいるためである。したがって、本発明では、グラフをＧ（Ｗ）で表現する。

【0074】

一方、図３に示すように、本発明は、イメージまたはビデオ内の８×８ピクセルブロックの処理のために使用され得るグラフタイプの２つの実施形態を提供する。各ピクセルは、グラフ頂点に関連付けられ、前記ピクセルの値は、グラフ頂点の値になる。

【0075】

グラフエッジは、グラフ頂点を連結する線を意味できる。前記グラフエッジは、信号内のいかなる形態の統計的依存性を表すために使用され、このとき、正の加重値は、その強度を表すことができる。例えば、各頂点は、全ての他の頂点に連結されることができ、０の加重値は、互いに関連しないか、弱く関連する頂点を連結するエッジに割り当てられることができる。ただし、表現の簡単化のために、０の加重値を有するエッジは完全に除去されることができる。

【0076】

本発明の他の実施形態として、グラフ頂点を連結するエッジは、信号特性によって予め設定されることができる。例えば、頂点は、オーディオ信号に対しては１次元配列上に、イメージに対しては２次元配列上に、また、ビデオフレームに対しては３次元配列上に配置されることができる。このとき、前記３次元配列の場合には、時間軸が３番目の次元になり得る。例えば、図３（ａ）のグラフにおいて、グラフエッジは、それぞれの頂点がそれから最も近い４個の隣接頂点に連結されるように定義されることができる。ただし、ブロック境界の場合は異なるように取り扱われることができる。また、図３（ｂ）のグラフでは、それぞれの頂点がそれから最も近い８個の隣接頂点に連結されるように定義されることができる。

【0077】

図４は、本発明が適用される一実施形態であって、加重値分布を表す２つの形態のグラフを示す。

【0078】

グラフの頂点値は、信号測定（通常、任意変数にモデリングされる）に基づく独立変数であるが、一部信号の特性と合致されるグラフのエッジ加重値を選択することが必要である。図４において、グラフエッジに対する線の色相が互いに異なるエッジ加重値を表すグラフの２つの例が提供される。例えば、濃い色の線は、ｗ＝１の加重値を表し、薄い色の線は、ｗ＝０．２の加重値を表すことができる。

【0079】

図４（ａ）のグラフは、直線に沿って「弱いリンク」を有している場合を示し、２個のエッジ加重値のみを有している場合を示す。ここで、前記「弱いリンク」は、相対的に小さいエッジ加重値を有していることを意味する。

【0080】

これは、事実上、グラフ基盤のイメージ処理で通常使用されることであり、このような構成は、イメージ内のエッジと他の辺との間のピクセル統計の差を表すことができる。

【0081】

図４（ｂ）のグラフは、不規則な領域をカバーするエッジ加重値の分布を示し、本発明では、このようなエッジ加重値の分布グラフを用いて信号を処理する方法を提供しようとする。

【0082】

図５は、本発明が適用される一実施形態であって、１次元グラフと２次元グラフとに基づいてグラフ基盤変換マトリックスを取得する過程を説明するための図である。

【0083】

本発明の一実施形態として、イメージ内のピクセルブロックの処理のために使用され得るグラフタイプは、図５を介して説明されることができる。例えば、図５（ａ）は、ピクセルブロックの各ラインに対応する１次元グラフを示し、図５（ｂ）は、ピクセルブロックに対応する２次元グラフを示すことができる。

【0084】

グラフ頂点（ｖｅｒｔｅｘ）は、ピクセルブロックの各ピクセルに関連付けられ、グラフ頂点の値は、ピクセル値で表現されることができる。そして、グラフエッジ（ｇｒａｐｈ ｅｄｇｅ）は、グラフ頂点を連結する線を意味できる。前記グラフエッジは、信号内のいかなる形態の統計的依存性を表すために使用され、その強度を表す値をエッジ加重値（ｅｄｇｅ ｗｅｉｇｈｔ）といえる。

【0085】

例えば、図５（ａ）は、１次元グラフを表し、０、１、２、３は、各頂点の位置を表し、ｗ_０、ｗ_１、ｗ_２は、各頂点間のエッジ加重値を表す。図５（ｂ）は、２次元グラフを表し、ａ_ｉｊ（ｉ＝０、１、２、３、ｊ＝０、１、２）、ｂ_ｋｌ（ｋ＝０、１、２、ｌ＝０、１、２、３）は、各頂点間のエッジ加重値を表す。

【0086】

各頂点は、全ての他の頂点に連結されることができ、０のエッジ加重値は、互いに関連しないか、弱く関連する頂点を連結するエッジに割り当てられることができる。ただし、表現の簡単化のために、０のエッジ加重値を有するエッジは完全に除去されることができる。

【0087】

ピクセル間関係情報は、各ピクセルをグラフの頂点に対応させたとき、ピクセル間のエッジ有無及びエッジ加重値（ｅｄｇｅ ｗｅｉｇｈｔ）で表現されることができる。

【0088】

この場合、前記ＧＢＴは、次のような過程を介して取得されることができる。例えば、エンコーダまたはデコーダは、ビデオ信号のターゲットブロックからグラフ情報を取得できる。前記取得されたグラフ情報から次の数式３のようにラプラシアン行列（Ｌａｐｌａｃｉａｎ ｍａｔｒｉｘ）Ｌを取得できる。

【0089】

［数式３］

【数3】

【0090】

前記数式３においてＤは、次数行列（Ｄｅｇｒｅｅ ｍａｔｒｉｘ）を表し、例えば、前記次数行列は、各頂点の次数に関する情報を含む対角行列（ｄｉａｇｏｎａｌ ｍａｔｒｉｘ）を意味できる。Ａは、隣接ピクセルとの連結関係（ｅｄｇｅ）を加重値で表す隣接行列（ａｄｊａｃｅｎｃｙ ｍａｔｒｉｘ）を表す。

【0091】

そして、前記ラプラシアン行列（Ｌａｐｌａｃｉａｎ ｍａｔｒｉｘ）Ｌに対して下記の数式４のように固有分解（ｅｉｇｅｎ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を行うことによってＧＢＴカーネルを取得できる。

【0092】

［数式４］

【数4】

【0093】

前記数式４においてＬは、ラプラシアン行列（Ｌａｐｌａｃｉａｎ ｍａｔｒｉｘ）、Ｕは、固有行列（ｅｉｇｅｎ ｍａｔｒｉｘ）、Ｕ^Ｔは、Ｕの転置行列（ｔｒａｎｓｐｏｓｅ ｍａｔｒｉｘ）を意味する。前記数式４において、前記固有行列（ｅｉｇｅｎ ｍａｔｒｉｘ）Ｕは、当該グラフモデルに合う信号に対して特化されたグラフ基盤フーリエ（Ｆｏｕｒｉｅｒ）変換を提供できる。例えば、前記数式４を満たす固有行列（ｅｉｇｅｎ ｍａｔｒｉｘ）Ｕは、ＧＢＴカーネルを意味できる。

【0094】

図６は、本発明が適用される実施形態であって、グラフ基盤の信号を処理するエンコーダの概略的ブロック図を例示する。

【0095】

フーリエ変換または離散フーリエ変換は、信号処理の基本ツールである。グラフフーリエ変換もある。そのような変換は、いくつかの特別なグラフに対して一般的に同様に適用されるが、本発明では、様々なアプリケーションに適用され得るさらに一層広い一般化された形態を提供できる。本発明が適用される実施形態においてグラフは、信号特性に対するインサイト（ｉｎｓｉｇｈｔ）を提供できる。グラフのフーリエ変換を定義するために、本発明は、Ｇ（Ｗ）に対応する次数行列（ｄｅｇｒｅｅ ｍａｔｒｉｘ）で表現されることができる。ここで、次数行列（ｄｅｇｒｅｅ ｍａｔｒｉｘ）は、各頂点の次数に関する情報を含む対角行列（ｄｉａｇｏｎａｌ ｍａｔｒｉｘ）であり、下記の数式５のように定義されることができる。例えば、前記次数は、１つの頂点に繋がっている辺の数を意味できる。

【0096】

［数式５］

【数5】

【0097】

グラフラプラシアン行列Ｌ＝Ｄ−Ｗであり、したがって、グラフラプラシアン行列Ｌ_ｉ、ｊは、次の数式６のとおりである。

【0098】

［数式６］

【数6】

【0099】

このとき、行列Ｔをグラフフーリエ変換であると定義すれば、行列Ｔは、次の数式７のとおりである。

【0100】

［数式７］

【数7】

【0101】

ここで、Ｕは、Ｌを対角化する固有行列を表し、Ｌは、次の数式８のとおりである。

【0102】

［数式８］

【数8】

【0103】

そして、直交行列は、次の数式９のとおりである。

【0104】

［数式９］

【数9】

【0105】

このような定義に基づいて、固有行列（ｅｉｇｅｎ ｍａｔｒｉｘ）Ｕの列（ｃｏｌｕｍｎｓ）は、Ｌの固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒｓ）を含み、Ｌの固有値（ｅｉｇｅｎｖａｌｕｅｓ）は、次の数式１０のように表現されることができる。

【0106】

［数式１０］

【数10】

【0107】

一般的に、固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒｓ）は、特有の形態で定義されないが、本発明の目的によって、Ｌが対称的であるため、全ての固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒｓ）は実数値であり、少なくとも１つの分解（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）は存在することを考慮すべきである。これは、数式８を満たすいかなる行列にも適用可能である。

【0108】

本発明が適用されるいくつかのアプリケーションにおいて、変換行列は、次の数式１１のように、正規化されたラプラシアン行列（ｎｏｒｍａｌｉｚｅｄ Ｌａｐｌａｃｉａｎ ｍａｔｒｉｘ）のスペクトル分解（ｓｐｅｃｔｒａｌ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）から取得されることができる。

【0109】

［数式１１］

【数11】

【0110】

フーリエ変換を定義するために、グラフラプラシアン行列Ｌは、下記の数式１２のように表現されることができ、グラフラプラシアン行列Ｌの固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒｓ）に対して本発明は、下記の数式１３を取得できる。

【0111】

［数式１２］

【数12】

【0112】

［数式１３］

【数13】

【0113】

ここで、λ_ｋは、グラフラプラシアン行列Ｌの固有値（ｅｉｇｅｎｖａｌｕｅ）を表す。

【0114】

本発明において、昇順で固有値（ｅｉｇｅｎｖａｌｕｅｓ）を分類できるならば、上記の数式等は、対応する固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒｓ）が二乗差に対して加重値を適用した合計を増加させるグラフ頂点値を定義することが意味できる。一般的な信号処理において、このような特性は、増加する周波数の正弦波により満たされることができる。また、このような特性は、ラプラシアン固有値（ｅｉｇｅｎｖａｌｕｅｓ）に対応するグラフ基盤変換で周波数コンセプトを一般化するために利用されることができる。

【0115】

スペクトル分解（ｓｐｅｃｔｒａｌ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）は、いくつかの他のアルゴリズム、例えば、Ｊａｃｏｂｉ、Ｇｉｖｅｎｓ、またはＨｏｕｓｅｈｏｌｄｅｒ方式などにより効率的に算出されることができる。しかし、グラフ基盤信号処理において、本発明は、最適化関数を表す下記の数式１５において、Ｒａｙｌｅｉｇｈ ｑｕｏｔｉｅｎｔを用いて固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒｓ）が結果的に｛Ｕ_１、Ｕ_２、．．．、Ｕ_Ｖ｝に算出され得ることを考慮しようとする。ここで、Ｒａｙｌｅｉｇｈ ｑｕｏｔｉｅｎｔをＲ（Ｍ、ｘ）とすれば、Ｒａｙｌｅｉｇｈ ｑｕｏｔｉｅｎｔは、与えられたｃｏｍｐｌｅｘ Ｈｅｒｍｉｔｉａｎ ｍａｔｒｉｘ Ｍと０でないベクトルｘとにより、次の数式１４のように定義されることができる。

【0116】

［数式１４］

【数14】

【0117】

［数式１５］

【数15】

【0118】

ここで、ｓ．ｔ．（ｓｕｂｊｅｃｔ ｔｏ）以下は、最適化問題に対する制限セット（ｓｅｔ ｏｆ ｃｏｎｓｔｒａｉｎｔｓ）を条件としていることを表す。

【0119】

また、本発明は、下記の数式１６に基づいて正規化された固有値（ｎｏｒｍａｌｉｚｅｄ ｅｉｇｅｎｖａｌｕｅｓ）を取得できる。

【0120】

［数式１６］

【数16】

【0121】

本発明は、前記数式１２を用いて下記の数式１７のような代替形態（ａｌｔｅｒｎａｔｉｖｅ ｆｏｒｍ）を取得できる。

【0122】

［数式１７］

【数17】

【0123】

前記数式１７のような最適化関数に対する公式化（ｆｏｒｍｕｌａｔｉｏｎ）の主な困難は、それがよく知られた理論と解決方法と関連があることに対し、非常に制限的であるということである。信号に対して最適の変換を探す問題を考慮するとき、グラフの負数でない（ｎｏｎ−ｎｅｇａｔｉｖｅ）加重値を変更することにより取得されることができる。例えば、グラフモデリングが信号処理のエッジ探知と結合されているとき、本発明は、よく定義されたエッジによる大きい偏差を有することができる。しかし、エッジがブラーリングされるか、その位置が正確に決定され得なければ、より細かい制御が必要である。

【0124】

本発明が適用されるグラフ変換をデザインするにあって、数式１２の二乗差に加重値適用された合計を用いるべき必要はない。本発明によるグラフパラメータ等の一般的な定義を変えるならば、一方では、よく知られた特性を失うようになるが、もう一方では、特定応用により良く合う変換をデザインできるという余力が生じるであろう。

【0125】

したがって、本発明の他の実施形態では、最適化関数を表す数式１７のシーケンスにより定義されたグラフ関連変換計算を一般化するための方法を提供する。以下の実施形態では、特定例題による変換計算式を一般化するための方法を説明する。

【0126】

まず、本発明は、グラフパラメータの定義を一般化する必要がある。Ａ個の頂点パラメータセット（ｖｅｒｔｅｘ ｐａｒａｍｅｔｅｒ ｓｅｔ）が次の数式１８のように定義され得る。このとき、Ａ個の頂点パラメータセット（ｖｅｒｔｅｘ ｐａｒａｍｅｔｅｒ ｓｅｔ）は、Ｖ次元ベクトル（Ｖ−ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒｓ）で表現されることができる。

【0127】

［数式１８］

【数18】

【0128】

そして、Ｂ個のエッジパラメータセット（ｅｄｇｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）は、次の数式１９のように定義されることができ、これは、ＶｘＶ行列で表現されることができる。

【0129】

［数式１９］

【数19】

【0130】

前記数式１８及び数式１９に基づいて、本発明は、グラフ信号を次の数式２０と定義することができる。

【0131】

［数式２０］

【数20】

【0132】

圧縮アプリケーションにおいて、グラフパラメータを効率的に表すために、エンコーディングビット数は非常に重要な要素であるが、本発明は、これを考慮しないことができる。

【0133】

次に、数式２１のように、ペナルティ関数セット（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ ｓｅｔ）を定義することができる。ここで、ペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）とは、制約最適化問題（ｃｏｎｓｔｒａｉｎｔ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍ）を解決するための一種のアルゴリズムを表す。

【0134】

［数式２１］

【数21】

【0135】

【化1】

【0136】

本発明が適用されるペナルティ関数Ｐ_ｋは、次の数式２２のように表現されることができる。

【0137】

［数式２２］

【数22】

【0138】

また、数式２３のように、Ｃ_１、Ｃ_２、．．．、Ｃ_Ｖ次元の制限関数（ｃｏｎｓｔｒａｉｎｔ ｆｕｎｃｔｉｏｎ）を有するＶ個のベクトル関数セットを定義できる。

【0139】

［数式２３］

【数23】

【0140】

前記数式１８〜２３の新しい定義を用いて、最適化された変換行列を取得するための最適化関数を次の数式２４のように定義することができる。数式２４の最適化関数に基づいて、最適化された変換カーネルを取得できる。

【0141】

［数式２４］

【数24】

【0142】

ここで、Ｕ_ｋは、目的関数Ｐ_ｋ（）を最適化する最適値を表し、例えば、本発明に適用される最適化されたグラフ変換カーネルを意味できる。そして、「ｓ．ｔ．」は、「ｓｕｂｊｅｃｔ ｔｏ」の略語であり、最適化関数に対する制限式にしたがうということを表す。前記最適化されたグラフ変換カーネルＵ_ｋの列（ｃｏｌｕｍｎ）は、ｋ＝１、２、…、Ｖに対して順次算出されることができる。

【0143】

本発明が適用される前記数式２４は、ほとんどの一般的な場合をカバーするように表現されたものであるが、以下の実施形態において見えるように、実質的な応用では、必ず制限関数（ｃｏｎｓｔｒａｉｎｔ ｆｕｎｃｔｉｏｎ）を用いる必要はない。そして、同じペナルティ関数が繰り返して用いられ得る。

【0144】

ペナルティ関数等は、頂点値に対してのみ算出されるように定義されることができる。そして、同じ次元にあるパラメータは、数式２５のようなペナルティ関数を用いて算出されることができ、エッジ値の差に対しては、数式２６のようなペナルティ関数を用いることができる。

【0145】

［数式２５］

【数25】

【0146】

［数式２６］

【数26】

【0147】

前記数式２５及び数式２６に基づいて、次の数式２７のような形態の最適化関数を導き出すことができる。

【0148】

［数式２７］

【数27】

【0149】

頂点ペナルティ関数（ｖｅｒｔｅｘ ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）と指数部（ｅｘｐｏｎｅｎｔｓ）α、βを含む、前記数式２７の単純一般化（ｓｉｍｐｌｅ ｇｅｎｅｒａｌｉｚａｔｉｏｎ）は、Ａ＝Ｂ＝１に対応する次の数式２８のような特別な場合でありうる。

【0150】

［数式２８］

【数28】

【0151】

一方、前記図６に示すように、本発明が適用されるエンコーダ６００は、グラフ基盤変換部６１０、量子化部６２０、逆量子化部６３０、逆変換部６４０、バッファ６５０、予測部６６０、及びエントロピーエンコーディング部６７０を備える。

【0152】

エンコーダ６００は、ビデオ信号を受信し、前記ビデオ信号から前記予測部６６０で出力された予測された信号を差し引いて予測エラーを生成する。前記生成された予測エラーは、前記グラフ基盤変換部６１０に送信され、前記グラフ基盤変換部６１０は、変換方式を前記予測エラーに適用することによって変換係数を生成する。このとき、前記グラフ基盤変換部６１０は、前記数式２４、数式２７、または数式２８によって取得されたグラフ基盤変換行列を算出でき、これを用いて変換を行うことができる。また、前記グラフ基盤変換部６１０は、本明細書に記載された実施形態を行うことができる。

【0153】

本発明が適用される他の実施形態として、前記グラフ基盤変換部６１０は、前記数式２４、数式２７、または数式２８によって取得されたグラフ基盤変換行列と前記図１の変換部１２０から取得された変換行列とを比較して、より適した変換行列を選択できる。

【0154】

前記量子化部６２０は、前記生成された変換係数を量子化して、前記量子化された係数をエントロピーエンコーディング部６７０に送信する。

【0155】

前記エントロピーエンコーディング部６７０は、前記量子化された信号に対するエントロピーコーディングを行い、エントロピーコーディングされた信号を出力する。

【0156】

前記量子化部６２０により出力された前記量子化された信号は、予測信号を生成するために使用されることができる。例えば、前記エンコーダ６００のループ内の前記逆量子化部６３０及び前記逆変換部６４０は、前記量子化された信号が予測エラーに復元されるように、前記量子化された信号に対する逆量子化及び逆変換を行うことができる。復元された信号は、前記復元された予測エラーを前記予測部６６０により出力された予測信号に加えることによって生成されることができる。

【0157】

前記バッファ６５０は、予測部６６０の向後参照のために復元された信号を格納する。

【0158】

前記予測部６６０は、以前に復元されて、前記バッファ６５０に格納された信号を使用して予測信号を生成できる。このような場合、本発明は、アンカー（ａｎｃｈｏｒ）イメージ内の領域を使用して目標イメージ内の領域を効率的に予測することに関連したものである。ここで、前記アンカーイメージは、参照イメージ、参照ピクチャ、または参照フレームを意味できる。効率は、レート歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）費用または予測エラー内の歪みを定量化する平均二乗誤差を算出することによって決定されることができる。

【0159】

本発明は、グラフ内の頂点とエッジを識別し、残余値信号をエンコーディングまたはデコーディングする方法を提案する。例えば、本発明の実施形態は、グラフ基盤変換部６１０を介して様々な実施形態を行うことができる。前記グラフ基盤変換部６１０は、前記エンコーダ６００または前記デコーダ７００に含まれることができる。

【0160】

図７は、本発明が適用される実施形態であって、グラフ基盤の信号を処理するデコーダの概略的ブロック図を例示する。

【0161】

図７のデコーダ７００は、図６のエンコーダ６００により出力された信号を受信する。

【0162】

前記エントロピーデコーディング部７１０は、受信された信号に対するエントロピーデコーディングを行う。前記逆量子化部７２０は、量子化ステップサイズ（量子化段階大きさ）に関する情報に基づいて、前記エントロピーデコーディングされた信号から変換係数を取得する。

【0163】

前記逆変換部７３０は、変換係数に対する逆変換を行うことによって予測エラーを取得する。このとき、前記逆変換は、前記エンコーダ６００で取得されたグラフ基盤変換に対する逆変換を意味できる。

【0164】

復元された信号は、前記取得された予測エラーを前記予測部７５０により出力された予測信号に加えることによって生成される。

【0165】

前記バッファ７４０は、前記予測部７５０の向後参照のために前記復元された信号を格納する。

【0166】

前記予測部７５０は、以前に復元されて前記バッファ７４０に格納された信号を基盤として予測信号を生成する。

【0167】

本発明において、一般化されたグラフパラメータに基づいて取得されたグラフ基盤変換は、前記エンコーダ６００または前記デコーダ７００で使用されることができる。

【0168】

図８は、本発明が適用される一実施形態であって、グラフ基盤変換部の内部ブロック図を示す。

【0169】

図８に示すように、グラフ基盤変換部６１０は、グラフパラメータ決定部６１１、グラフ信号生成部６１３、ペナルティ関数生成部６１５、変換行列算出部６１７、及び変換実行部６１９を備えることができる。

【0170】

グラフパラメータ決定部６１１は、ビデオ信号または残余信号のターゲットユニットに対応するグラフ内のグラフパラメータを抽出できる。例えば、前記グラフパラメータは、頂点パラメータ及びエッジパラメータのうち、少なくとも１つを含むことができる。前記頂点パラメータは、頂点位置及び頂点個数のうち、少なくとも１つを含み、前記エッジパラメータは、エッジ加重値及びエッジ加重値個数のうち、少なくとも１つを含むことができる。また、前記グラフパラメータは、所定個数のセット（ｓｅｔ）に定義されることができる。

【0171】

本発明の一実施形態によれば、前記グラフパラメータ決定部６１１から抽出されたグラフパラメータは、一般化された形態で表現されることができる。例えば、Ａ個の頂点パラメータセット（ｖｅｒｔｅｘ ｐａｒａｍｅｔｅｒ ｓｅｔ）が前記数式１８のように定義されることができ、このとき、Ａ個の頂点パラメータセット（ｖｅｒｔｅｘ ｐａｒａｍｅｔｅｒ ｓｅｔ）は、Ｖ次元ベクトル（Ｖ−ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒｓ）で表現されることができる。そして、Ｂ個のエッジパラメータセット（ｅｄｇｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）は、前記数式１９のように定義されることができ、このとき、Ｂ個のエッジパラメータセット（ｅｄｇｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）は、ＶｘＶ行列で表現されることができる。

【0172】

グラフ信号生成部６１３は、前記グラフパラメータ決定部６１１から抽出されたグラフパラメータに基づいてグラフ信号を生成できる。このとき、前記グラフ信号は、前記数式２０のように定義されることができる。

【0173】

前記グラフ基盤変換部６１０は、制約最適化問題（ｃｏｎｓｔｒａｉｎｔ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍ）を解決するために、ペナルティ関数セット（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ ｓｅｔ）を定義することができ、それにより、ペナルティ関数生成部６１５は、最適の変換行列を算出するためのペナルティ関数を生成できる。例えば、前記ペナルティ関数生成部６１５は、前記数式２１のようなペナルティ関数セット（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ ｓｅｔ）を定義することができる。

【0174】

本発明の一実施形態として、ペナルティ関数は、頂点値に対してのみ算出されるように定義されることができる。そして、同じ次元にあるグラフパラメータは、前記数式２５のようなペナルティ関数を用いて算出されることができ、エッジ値の差に対しては、前記数式２６のようなペナルティ関数を用いることができる。

【0175】

変換行列算出部６１７は、前記一般化されたグラフパラメータ及び前記ペナルティ関数のうち、少なくとも１つに基づいて最適化関数を生成でき、前記最適化関数を満たす最適の変換行列を算出できる。例えば、前記数式２５及び数式２６に基づいて、前記数式２７のような形態の最適化関数を導き出すことができる。

【0176】

本発明の一実施形態として、前記一般化されたグラフパラメータに基づくグラフ信号とペナルティ関数とを用いて、最適化された変換行列を取得するための最適化関数を生成でき、例えば、前記最適化関数は、前記数式２４のように定義されることができる。

【0177】

本発明の一実施形態として、頂点に対するペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）及びエッジ値の差（ｅｄｇｅ ｖａｌｕｅ ｄｉｆｆｅｒｅｎｃｅ）のうち、少なくとも１つに対するペナルティ関数（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ）に基づいて最適化関数を定義することができる。

【0178】

変換実行部６１９は、前記変換行列算出部６１７から取得された最適の変換行列を用いて変換を行うことができる。

【0179】

前記図８と関連して、本明細書では、グラフ基盤変換を行う過程を説明するために、各機能別に細分化して説明するが、本発明は、これに限定されない。例えば、前記グラフ基盤変換部６１０は、大別してグラフ信号生成部と変換部とで構成されることができ、この場合、前記グラフパラメータ決定部６１１の機能は、前記グラフ信号生成部で行われることができ、前記ペナルティ関数生成部６１５、前記変換行列算出部６１７、及び前記変換実行部６１９の機能は、前記変換部で行われることができる。また、前記変換部の機能は、変換行列算出部と変換実行部とに区分されることもできる。

【0180】

図９は、本発明が適用される一実施形態であって、一般化されたグラフパラメータ及びペナルティ関数に基づいて最適化された変換行列を算出する過程を説明するためのフローチャートである。

【0181】

エンコーダは、受信されたビデオ信号から予測信号を生成し、ビデオ信号で予測信号を減算して残余信号を生成できる。前記残余信号に対して変換が行われるが、このとき、グラフ基盤信号処理技術を適用してグラフ基盤変換を行うことができる。

【0182】

エンコーダは、ビデオ信号または残余信号のターゲットユニット（例えば、変換ユニット）に対応するグラフ内のグラフパラメータを抽出できる（Ｓ９１０）。例えば、前記グラフパラメータは、頂点パラメータセット及びエッジパラメータセットのうち、少なくとも１つを含むことができる。ここで、前記グラフパラメータは、一般化された形態で表現されることができ、例えば、Ａ個の頂点パラメータセット（ｖｅｒｔｅｘ ｐａｒａｍｅｔｅｒ ｓｅｔ）は、前記数式１８のようにＶ次元ベクトル（Ｖ−ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒｓ）で表現されることができる。そして、Ｂ個のエッジパラメータセット（ｅｄｇｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）は、前記数式１９のようにＶｘＶ行列で表現されることができる。これは、前記グラフ基盤変換部６１０で行われることができ、具体的に、グラフパラメータ決定部６１１により行われることができる。

【0183】

前記エンコーダは、前記一般化されたグラフパラメータに基づいて一般化されたグラフ信号を生成できる（Ｓ９２０）。これは、前記グラフ基盤変換部６１０で行われることができ、具体的に、グラフ信号生成部６１３により行われることができる。

【0184】

一方、前記エンコーダは、制約最適化問題（ｃｏｎｓｔｒａｉｎｔ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍ）を解決するために、ペナルティ関数及び制限関数のうち、少なくとも１つを生成できる（Ｓ９３０）。例えば、前記一般化されたグラフパラメータに基づいてペナルティ関数セット（ｐｅｎａｌｔｙ ｆｕｎｃｔｉｏｎ ｓｅｔ）及び制限関数セットのうち、少なくとも１つを定義することができる。これは、前記グラフ基盤変換部６１０で行われることができ、具体的に、ペナルティ関数生成部６１５により行われることができる。ここで、前記ペナルティ関数は、一般化されたグラフ信号に基づいて生成されることができる。

【0185】

そして、前記ペナルティ関数は、頂点パラメータセットに対する第１のペナルティ関数成分とエッジパラメータセットに対する第２のペナルティ関数成分とを含むことができる。この場合、最適化関数は、前記頂点パラメータセットに対する第１のペナルティ関数成分と前記エッジパラメータセットに対する第２のペナルティ関数成分との合計で構成されることができる。ここで、前記頂点パラメータセットは、Ｖ次元ベクトルで表現されることができ、前記エッジパラメータセットは、ＶｘＶ行列で表現されることができる。

【0186】

前記エンコーダは、前記ペナルティ関数及び制限関数のうち、少なくとも１つと、前記一般化されたグラフ信号に基づいて最適化関数を生成でき（Ｓ９４０）、前記最適化関数を満たす最適の変換行列（または、最適の変換カーネル）を取得できる（Ｓ９５０）。これは、前記グラフ基盤変換部６１０で行われることができ、具体的に、変換行列算出部６１７により行われることができる。

【0187】

前記算出された最適化された変換行列に基づいて前記ターゲットユニットに対して変換を行うことができる（Ｓ９６０）。

【0188】

図１０は、本発明が適用される一実施形態であって、一般化されたグラフパラメータセットを用いてグラフ基盤変換カーネルを取得する過程を説明するためのフローチャートである。

【0189】

本発明が適用されるデコーダは、グラフパラメータセットを含む一般化されたグラフ信号を受信できる（Ｓ１０１０）。ここで、前記グラフパラメータセットは、Ｖ次元ベクトルで表現される頂点パラメータセット及びＶｘＶ行列で表現されるエッジパラメータセットのうち、少なくとも１つを含むことができる。前記グラフパラメータセットは、シンタックスエレメントに送信されるか、またはデコーダ内の他の情報から導かれることができる。

【0190】

前記デコーダは、前記グラフパラメータセットと予め定義されたペナルティ関数とに基づいて、変換ユニットのグラフ基盤変換カーネルを取得できる（Ｓ１０２０）。ここで、前記予め定義されたペナルティ関数は、前記一般化されたグラフ信号に基づいて生成されたものでありうる。そして、前記グラフ基盤変換カーネルは、最適化関数を用いることによって算出されることができ、前記最適化関数は、グラフパラメータセットと予め定義されたペナルティ関数とに基づく。

【0191】

そして、前記デコーダは、前記取得されたグラフ基盤変換カーネルを用いて前記変換ユニットをデコーディングすることができる（Ｓ１０３０）。このとき、前記グラフ基盤変換カーネルは、前記グラフパラメータセットと予め定義されたペナルティ関数とに基づく最適化関数により算出されることができる。また、前記最適化関数は、頂点パラメータセットに対する第１のペナルティ関数とエッジパラメータセットに対する第２のペナルティ関数との合計で構成されることができ、前記グラフ基盤変換カーネルは、前記最適化関数が最小になる値を表すことができる。

【0192】

このように、グラフパラメータの一般化を用いてグラフ基盤変換を算出する新しい方法を提供することにより、グラフ基盤変換を定義するベクトルの強い不連続性の問題を回避でき、変換特性をより良く制御することができ、様々なアプリケーションに適用できるようになる。さらに、グラフ信号をエンコーディングするために必要なビットレートの過度なオーバーヘッドも避けることができる。

【0193】

前記記述されたように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて行われることができる。例えば、前記図１、図２、 図６、 図７、 及び図８で図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて行うことができる。

【0194】

また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために使用できる。

【0195】

また、本発明が適用される処理方法はコンピュータにより実行されるプログラムの形態に生産されることができ、コンピュータにより読み取ることができる記録媒体に格納できる。本発明に従うデータ構造を有するマルチメディアデータもまたコンピュータにより読み取ることができる記録媒体に格納できる。前記コンピュータにより読み取ることができる記録媒体はコンピュータにより読み取ることができるデータが格納される全ての種類の格納装置を含む。前記コンピュータにより読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアルバス（ＵＳＢ）、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータにより読み取ることができる記録媒体は、搬送波（例えば、インターネットを通じての送信）の形態に実現されたメディアを含む。また、エンコーディング方法により生成されたビットストリームがコンピュータにより読み取ることができる記録媒体に格納されるか、または有線／無線通信ネットワークを介して送信できる。

【産業上の利用可能性】

【0196】

以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下に添付した特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態の改良、変更、取替、または付加などが可能である。

【図1】

【図2】

【図3(a)】

【図3(b)】

【図4(a)】

【図4(b)】

【図5(a)】

【図5(b)】

【図6】

【図7】

【図8】

【図9】

【図10】