IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートの特許一覧 ▶ クワンウン、ユニバーシティー、インダストリー‐アカデミック、コラボレーション、ファウンデーションの特許一覧 ▶ ユニバーシティー−インダストリー コーペレーション グループ オブ キュン ヒー ユニバーシティーの特許一覧

特開2023-53247省略符号化を用いた映像符号化及び復号化装置及びその方法
<>
  • 特開-省略符号化を用いた映像符号化及び復号化装置及びその方法 図1
  • 特開-省略符号化を用いた映像符号化及び復号化装置及びその方法 図2
  • 特開-省略符号化を用いた映像符号化及び復号化装置及びその方法 図3
  • 特開-省略符号化を用いた映像符号化及び復号化装置及びその方法 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023053247
(43)【公開日】2023-04-12
(54)【発明の名称】省略符号化を用いた映像符号化及び復号化装置及びその方法
(51)【国際特許分類】
   H04N 19/117 20140101AFI20230404BHJP
   H04N 19/176 20140101ALI20230404BHJP
【FI】
H04N19/117
H04N19/176
【審査請求】有
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2023019813
(22)【出願日】2023-02-13
(62)【分割の表示】P 2021131295の分割
【原出願日】2011-05-06
(31)【優先権主張番号】10-2011-0042990
(32)【優先日】2011-05-06
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2010-0121192
(32)【優先日】2010-12-01
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2010-0042823
(32)【優先日】2010-05-07
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE
(71)【出願人】
【識別番号】511005468
【氏名又は名称】クワンウン、ユニバーシティー、インダストリー‐アカデミック、コラボレーション、ファウンデーション
【氏名又は名称原語表記】KWANGWOON UNIVERSITY INDUSTRY-ACADEMIC COLLABORATION FOUNDATION
(71)【出願人】
【識別番号】507250335
【氏名又は名称】ユニバーシティー-インダストリー コーペレーション グループ オブ キュン ヒー ユニバーシティー
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100096921
【弁理士】
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】リム、スン、チャン
(72)【発明者】
【氏名】リー、ハ、ヒュン
(72)【発明者】
【氏名】ジョン、セ、ユン
(72)【発明者】
【氏名】キム、フイ、ヨン
(72)【発明者】
【氏名】チョ、スク、ヒー
(72)【発明者】
【氏名】キム、ジョン、ホ
(72)【発明者】
【氏名】リー、ジン、ホ
(72)【発明者】
【氏名】チェ、ジン、スー
(72)【発明者】
【氏名】キム、ジン、ウン
(72)【発明者】
【氏名】アン、チー、トゥク
(72)【発明者】
【氏名】シム、ドン、ギュ
(72)【発明者】
【氏名】オー、ソウン、ジュン
(72)【発明者】
【氏名】パク、グワン、フン
(72)【発明者】
【氏名】パク、サ、ネ
(72)【発明者】
【氏名】ジョン、チャン、ウン
(57)【要約】
【課題】省略符号化を用いて映像信号を符号化及び復号化する方法及びその装置を提供す
る。
【解決手段】省略符号化を用いた映像符号化方法は、画面内予測の実行において、符号化
対象映像内で符号化対象信号より先に復元された復元信号に対してフィルタリングを実行
し、前記フィルタリングされた復元信号を用いて前記符号化対象信号の予測信号を生成し
、前記生成された予測信号を前記符号化対象信号の復元信号に設定し、前記符号化対象信
号と前記予測信号との差分に基づいて生成されることができる残余信号を符号化しないこ
とによって前記符号化対象信号を省略符号化する。
【選択図】図1
【特許請求の範囲】
【請求項1】
映像復号化方法であって、
現在ブロックの残差信号を生成するステップと、
前記現在ブロックの予測信号を生成するステップと、
前記残差信号と前記予測信号とに基づいて、前記現在ブロックを復元するステップと、
ジブロッキングフィルタに基づいて、前記復元された現在ブロックを含む復元されたサンプルに第1のフィルタリングを実行するステップと、
前記ジブロッキングフィルタ以外の適応的フィルタに基づいて、前記第1のフィルタリングされ復元されたサンプルに第2のフィルタリングを実行するステップと、
を備え、
前記第2のフィルタリングは、少なくとも一つの適応的フィルタリングパラメータを用いて、ブロック単位で実行され、
前記第2のフィルタリングが実行されるブロックに基づいて、前記適応的フィルタのフィルタ形状が適応的に決定されることを特徴とする映像復号化方法。
【請求項2】
映像符号化方法であって、
現在ブロックの予測信号を生成するステップと、
前記予測信号を用いて前記現在ブロックの残差信号を生成し、前記残差信号を符号化するステップと、
前記符号化された残差信号を復号化するステップと、
前記復号化された残差信号と前記予測信号とに基づいて、前記現在ブロックを復元するステップと、
ジブロッキングフィルタに基づいて、前記復元された現在ブロックを含む復元されたサンプルに第1のフィルタリングを実行するステップと、
前記ジブロッキングフィルタ以外の適応的フィルタに基づいて、前記第1のフィルタリングされ復元されたサンプルに第2のフィルタリングを実行するステップと、
を備え、
前記第2のフィルタリングは、少なくとも一つの適応的フィルタリングパラメータを用いて、ブロック単位で実行され、
前記第2のフィルタリングが実行されるブロックに基づいて、前記適応的フィルタのフィルタ形状が適応的に決定されることを特徴とする映像符号化方法。
【請求項3】
映像符号化方法によって生成されたビットストリームを送信する方法であって、前記映像符号化方法は、
現在ブロックの予測信号を生成するステップと、
前記予測信号を用いて前記現在ブロックの残差信号を生成し、前記残差信号を符号化するステップと、
前記符号化された残差信号を復号化するステップと、
前記復号化された残差信号と前記予測信号とに基づいて、前記現在ブロックを復元するステップと、
ジブロッキングフィルタに基づいて、前記復元された現在ブロックを含む復元されたサンプルに第1のフィルタリングを実行するステップと、
前記ジブロッキングフィルタ以外の適応的フィルタに基づいて、前記第1のフィルタリングされ復元されたサンプルに第2のフィルタリングを実行するステップと、
を備え、
前記第2のフィルタリングは、少なくとも一つの適応的フィルタリングパラメータを用いて、ブロック単位で実行され、
前記第2のフィルタリングが実行されるブロックに基づいて、前記適応的フィルタのフィルタ形状が適応的に決定されることを特徴とするビットストリームを送信する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号の符号化に関し、より詳しくは、省略符号化を用いて映像信号を符
号化及び復号化する方法及びその装置に関する。
【背景技術】
【0002】
静止画または動画を効率的に格納媒体に記録したり送信するためには映像信号を符号化
する必要がある。符号化時の効率を向上させるために多様な方法が提案されており、代表
的に時間的予測(temporal prediction)を用いる方法と空間的予測(s
patial prediction)を用いる方法がある。
【0003】
時間的予測は、現在フレームに時間上隣接する他のフレームから現在フレームの対象ブ
ロック(object block)に対して残差係数(residual coeffic
ients)が最も小さい予測ブロック(predictive block)を検出するこ
とであり、画面間予測(inter prediction)とも呼ばれる。
【0004】
空間的予測は、一つのフレーム内で対象ブロックに隣接する参照ブロック(refer
ence block)の再構成画素値を用いて対象ブロックの予測画素値を求めることで
あり、画面内予測(intra prediction)とも呼ばれる。
【0005】
従来の画面内予測実行過程で使われる空間的に隣接する復元された信号にはジブロッキ
ングフィルタリング(Deblocking Filtering)を適用することができ
ないためブロッキング現象(Blocking Artifact)が発生する。また、前
記隣接する復元された信号は、整数画素(Integer Pel)単位の画素のみ用いた
。また、従来の画面内予測実行過程は、符号化の対象信号と隣接する復元された信号のみ
を用いて実行することによって空間的に制限された画面内予測を実行した。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、映像信号符号化過程で復元信号を用いて符号化対象信号と類似に予測信号を
生成し、元映像信号と前記予測信号との差分により生成されることができる残余信号を符
号化の対象から省略することによって符号化及び復号化の性能を高める省略符号化を用い
た映像符号化及び復号化装置及び方法を提供する。
【0007】
また、本発明は、画面内の符号化過程で省略符号化を用いることによって映像信号符号
化及び復号化の性能を高める映像符号化及び復号化装置及び方法を提供する。
【課題を解決するための手段】
【0008】
本発明の一実施例に係る省略符号化を用いた映像符号化方法は、画面内予測の実行にお
いて、符号化対象映像内で符号化対象信号より先に復元された復元信号に対してフィルタ
リングを実行するステップ、前記フィルタリングされた復元信号を用いて前記符号化対象
信号の予測信号を生成するステップ、前記生成された予測信号を前記符号化対象信号の復
元信号に設定し、前記符号化対象信号と前記予測信号との差分に基づいて生成されること
ができる残余信号を符号化しないことによって前記符号化対象信号を省略符号化するステ
ップ、を含む。
【0009】
前記フィルタリングを実行するステップは、低域通過フィルタ、ジブロッキング(De
blocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィル
タのうち少なくとも一つを用いてフィルタリングを実行する。
【0010】
前記フィルタリングを実行するステップは、低域通過フィルタ、ジブロッキング(De
blocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィル
タのうち少なくとも一つ以上を段階的に実行する。
【0011】
前記フィルタリングを実行するステップは、画面内予測の実行において、前記符号化対
象映像の参照映像が全部復元された後、前記復元された参照映像にフィルタリングを実行
する。
【0012】
前記フィルタリングを実行するステップは、画面内予測の実行において、前記符号化対
象映像の参照映像が一部復元された後、前記復元された参照映像にフィルタリングを実行
する。
【0013】
前記予測信号を生成するステップは、前記符号化対象信号に隣接する復元された画素に
基づいた方向別外挿入法(extrapolation)を実行して予測信号を生成する。
【0014】
前記予測信号を生成するステップは、前記符号化対象信号に隣接する復元された画素及
び前記フィルタリングされた復元信号間のテンプレート照合(Template Matc
hing)を実行して予測信号を生成する。
【0015】
前記予測信号を生成するステップは、前記符号化対象信号及び前記フィルタリングされ
た復元信号間の変位画面内予測(Displaced Intra Prediction)
を実行して予測信号を生成する。
【0016】
前記予測信号を生成するステップは、向上階層(enhancement layer)
内の前記符号化対象信号と前記符号化対象信号の位置に空間的に対応される基本階層(b
ase layer)内の前記フィルタリングされた復元信号を用い、階層間画面内予測を
実行して予測信号を生成する。
【0017】
前記予測信号を生成するステップは、向上時点(enhancement view)内
の前記符号化対象信号と前記符号化対象信号の位置に空間的に対応される基本時点(ba
se view)内の前記フィルタリングされた復元信号を用い、時点間画面内予測を実行
して予測信号を生成する。
【0018】
また、本発明の他の実施例に係る省略符号化を用いた映像符号化方法は、前記残余信号
の符号化なしに、前記符号化対象信号を省略符号化することを示すインジケータを復号化
器に伝達するステップをさらに含む。
【0019】
また、本発明の実施例に係る省略符号化を用いた映像符号化装置は、画面内予測の実行
において、符号化対象映像内で符号化対象信号より先に復元された復元信号に対してフィ
ルタリングを実行するフィルタリング部、前記フィルタリングされた復元信号を用いて前
記符号化対象信号の予測信号を生成する予測信号生成部、前記生成された予測信号を前記
符号化対象信号の復元信号に設定し、前記符号化対象信号と前記予測信号との差分に基づ
いて生成されることができる残余信号を符号化しないことによって前記符号化対象信号を
省略符号化する省略符号化部、前記残余信号の符号化なしに、前記符号化対象信号を省略
符号化したことを示すインジケータ、を含む。
【0020】
また、本発明の実施例に係る省略符号化を用いた映像復号化方法は、画面内予測の実行
において、復号化対象映像内の復号化対象信号に含まれた省略符号化に対するインジケー
タに基づいて、前記復号化対象信号より先に復元された復元信号に対してフィルタリング
を実行するステップ、前記フィルタリングされた復元信号を用いて前記復号化対象信号の
予測信号を生成するステップ、前記生成された予測信号を前記復号化対象信号の復元信号
に設定し、残余信号を復号化しないことによって前記復号化対象信号を復号化するステッ
プ、を含む。
【0021】
また、本発明の実施例に係る省略符号化を用いた映像復号化装置は、画面内予測の実行
において、省略符号化器から伝達を受けた復号化対象映像内の復号化対象信号に含まれた
省略符号化に対するインジケータ、前記インジケータに基づいて、前記復号化対象信号よ
り先に復元された復元信号に対してフィルタリングを実行するフィルタリング部、前記フ
ィルタリングされた復元信号及び前記インジケータに基づいて、前記復号化対象信号の予
測信号を生成する予測信号生成部、残余信号を復号化しないことによって前記復号化対象
信号を復号化する復号化部、を含む。
【発明の効果】
【0022】
本発明は、映像信号符号化過程で復元信号を用いて符号化対象信号と類似に予測信号を
生成し、元映像信号と前記予測信号との差分により生成されることができる残余信号を符
号化の対象で省略することによって符号化及び復号化の性能を高める省略符号化を用いた
映像符号化及び復号化装置及び方法を提供することができる。
【0023】
また、本発明は、復元された符号化対象映像または以前に復元された映像に対して多様
なフィルタリングを実行することによって映像雑音、ブロッキング現象、量子化エラー及
びエイリアシング(Aliasing)などを除去することができる。
【0024】
また、本発明は、多様な方式にフィルタリングされた復元信号を用いて予測信号を符号
化対象信号と類似に生成することができる。
【0025】
また、本発明は、元映像信号と予測信号との差分を介して生成されることができる残余
信号の符号化過程を省略することによって映像符号化の性能を高めることができる。
【図面の簡単な説明】
【0026】
図1】本発明の一実施例に係る省略符号化を用いた映像符号化装置のブロック図である。
図2】本発明の一実施例に係る省略符号化を用いた映像符号化過程の一例を示す。
図3】本発明の一実施例に係る省略符号化を用いた映像復号化装置のブロック図である。
図4】本発明の一実施例に係る省略符号化を用いた映像符号化方法のフローチャートである。
【発明を実施するための形態】
【0027】
以下、本発明の実施例を添付図面を参照して詳細に説明する。
【0028】
図1は、本発明の一実施例に係る省略符号化を用いた映像符号化装置のブロック図であ
る。
【0029】
図1を参照すると、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、フ
ィルタリング部110、予測信号生成部120、省略符号化部130、及びインジケータ
140を含む。
【0030】
フィルタリング部110は、画面内予測の実行において、符号化対象映像内で符号化対
象信号より先に復元された復元信号に対してフィルタリングを実行する。符号化対象映像
とは、元映像で符号化しようとする部分を意味する。符号化対象映像は、元映像の全体或
いは一部である。符号化対象映像は、符号化対象信号を含むことができる。符号化対象信
号は、符号化対象映像を画素、ブロック、ユニット(unit)、ピクチャ、及びフレーム
単位に区分した信号である。即ち、符号化対象信号は、符号化対象画素、符号化対象ブロ
ック、符号化対象ユニット、符号化対象ピクチャ、及び符号化対象フレームを含む概念で
ある。符号化対象映像は、符号化対象信号より先に復元された復元信号を含むことができ
る。復元信号は、符号化対象映像に含まれた複数の信号のうち符号化が完了した以後に復
元された信号を含むことができる。
【0031】
フィルタリング部110は、符号化対象信号より先に復元された復元信号に低域通過フ
ィルタリング(low pass filter)を実行し、復元信号に存在する雑音を減少
させることができる。この時、低域通過フィルタに使われるフィルタ係数は、符号化され
て復号化器に送信されることができる。
【0032】
例えば、画面内予測時に使用する周辺の復元された参照サンプルに対して低域通過フィ
ルタリングを実行することができる。この時、フィルタ適用回数は、1回、2回、N
等に実行することができる。この時、Nは、任意の正の整数を意味する。
【0033】
また、前記フィルタリング実行可否は、符号化パラメータによって異なる。即ち、符号
化対象信号のブロック大きさ、画面内予測モード、周辺ブロックの残余信号存在可否、C
IP(Constrained Intra Prediction)が使われたかどうか、
周辺ブロックの画面内予測方向類似度のうち少なくとも一つ以上の判別によってフィルタ
適用可否を決定することができる。
【0034】
追加的に、前記でフィルタを適用すると決定した場合、フィルタの入力サンプル数を示
すタッブ大きさ(tap size)、低域通過フィルタの係数(coefficient)
、フィルタ強度などを異なるようにすることができる。この時、タッブ大きさは、2-t
ap、3-tap、N-tapのうち一つ以上のフィルタタッブ(tap)を用いてフィル
タリングを実行することができる。この時、Nは、任意の正の整数を意味する。
【0035】
また、フィルタリング部110は、復元信号にジブロッキングフィルタリング(deb
locking filtering)を実行し、復元信号に存在するブロッキング現象を
減少させることができる。ブロッキング現象は、映像符号化過程で実行される量子化のエ
ラーのため発生される。
【0036】
例えば、ジブロッキングフィルタリングは、以下のように実行されることができる。
【0037】
第一、フィルタリングを実行する対象境界を判別することができる。基本的に映像符号
化及び復号化過程で使われる映像が分割された符号化及び復号化単位がフィルタリングを
実行する対象境界と判断されることができる。
【0038】
この時、符号化ユニット(coding unit)の境界、予測ユニット(predic
tion unit)の境界、変換ユニット(transform unit)の境界のうち
いずれか一つの境界がフィルタリングを実行する対象境界になることができる。フィルタ
リング境界判別は、符号化ユニット単位、LCU(largest coding uni
t)単位、スライス(slice)単位、ピクチャ(picture)単位に実行されること
ができる。
【0039】
第二、フィルタリング対象境界のフィルタ強度と境界周辺画素値を用いた計算式の結果
値のうち一つ以上を用いてフィルタリング実行可否を決定することができる。
【0040】
例えば、フィルタ強度は、境界周辺に存在する復元されたサンプルに対してフィルタリ
ングを実行する時、低域通過フィルタ(low pass filter)の入力サンプル数
を示すタッブ大きさ(tap size)、低域通過フィルタの係数(coefficien
t)などを示すことができる。この時、フィルタ強度を決定するために符号化パラメータ
が使われることができる。例えば、画面内予測モード、画面間予測モード、動きベクトル
、参照映像索引、符号化ブロックフラッグのうち一つ以上を使用することができる。例え
ば、境界周辺画素値を用いた計算式の結果値は、フィルタリング対象境界が変換(tra
nsform)及び量子化(quantization)によるブロッキング現象(bloc
king artifact)か、映像内に存在する実際エッジ(edge)かを判別する計
算式の結果値である。
【0041】
第三、前記決定されたフィルタリング対象境界及びフィルタ実行可否の情報を用いてフ
ィルタリング対象境界に対するフィルタリングを実行する。この時、フィルタリングは、
境界周辺の画素値の変化量等によって境界が人間の目によく見えないように境界周辺の画
素値を柔らかくするために低域通過フィルタ、元映像と歪曲を最小化するためのウィーナ
(Wiener)フィルタなどが使われることができる。また、フィルタリング対象境界に
よって1次元フィルタ或いは2次元以上の多次元フィルタが使われることができる。
【0042】
例えば、2次元以上の多次元フィルタは、四角形、円形、矩形などのフィルタの形状(
shape)、水平対称、垂直対称、対角線対称などのフィルタ係数の構造(struct
ure)を有することができる。
【0043】
また、前記フィルタリング実行可否決定手段で決定したフィルタ強度などによって前記
羅列した多様なフィルタがフィルタリング実行手段で使われることができる。例えば、画
面内予測、画面間予測、変換/逆変換、量子化/逆量子化、エントロピ符号化/エントロピ
復号化を含む符号化及び復号化過程がスライス(slice)単位或いはLCU(larg
est coding unit)単位或いはCU(coding unit)単位に実行され
る時、スライス単位或いはLCU単位或いはCU単位にジブロッキングフィルタリングを
実行することができる。符号化及び復号化対象LCUと空間的に隣接するLCUでジブロ
ッキングフィルタリングを含んだ前記一連の符号化及び復号化過程が実行された場合、符
号化及び復号化対象LCUの画面内予測時にジブロッキングフィルタリングが実行された
LCU内の復元されたサンプルを用いることができる。即ち、ジブロッキングフィルタリ
ングが実行されたLCU内の復元されたサンプルを下記予測信号生成部120で用いるこ
とができる。
【0044】
また、フィルタリング部110は、復元信号に対してウィーナ(Wiener)フィルタ
に基づいた適応的ループフィルタリング(Adaptive Loop Filterin
g)を実行することによって、復元信号に存在する量子化エラーを減少させることができ
る。この時、適応的ループフィルタに使われるフィルタ係数は、符号化され、復号化器に
送信されることができる。
【0045】
例えば、適応的ループフィルタリングは、以下のように実行されることができる。
【0046】
前記復号化器に送信された適応的ループフィルタ係数をジブロッキングフィルタリング
が適用された復元サンプルにサンプル単位或いはN×M(NとMは、任意の正の整数)ブロ
ック単位にフィルタリングを実行することができる。この時、適応的ループフィルタリン
グが適用されるサンプルとブロックは、適応的ループフィルタリングの実行可否を示すフ
ィルタマップ(filter map)を用いて決定されることができる。符号化器でフィ
ルタマップをフィルタ係数と共にビットストリームに含んで復号化器に送信することがで
きる。また、前記フィルタは、適応的ループフィルタが適用されるサンプル及びブロック
によって変わることができ、多様なフィルタタッブ大きさ(tap size)とフィルタ
形状(filter shape)が使われることができる。適応的ループフィルタリング
がサンプルとブロックに適用される場合、ジブロッキングフィルタリングが適用された復
元サンプルを用いた計算式により、使用するフィルタが決定されることができる。
【0047】
例えば、画面内予測、画面間予測、変換/逆変換、量子化/逆量子化、エントロピ符号化
/エントロピ復号化、ジブロッキングフィルタリングを含む符号化及び復号化過程がスラ
イス(slice)単位或いはLCU(largest coding unit)単位或いは
CU(coding unit)単位に実行される時、スライス単位或いはLCU単位或い
はCU単位に適応的ループフィルタリングを実行することができる。この時、符号化及び
復号化対象LCUと空間的に隣接するLCUで適応的ループフィルタリングを含んだ前記
一連の符号化及び復号化過程が実行された場合、符号化及び復号化対象LCUの画面内予
測時に適応的ループフィルタリングが実行されたLCU内の復元されたサンプルを用いる
ことができる。即ち、適応的ループフィルタリングが実行されたLCU内の復元されたサ
ンプルを下記予測信号生成部120で用いることができる。また、フィルタリング部11
0は、復元信号に補間(interpolation)フィルタリングを実行し、復元信号
に存在するエイリアシング(Aliasing)現象を減少させることができる。フィルタ
リング部110は、サブ画素(sub-pel)単位に補間フィルタリングを実行すること
ができる。この時、復元信号の補間フィルタリングは、1/2精密度の輝度信号、1/4精
密度の色度信号などに実行されることができる。例えば、補間フィルタリング方法には、
双一次(bilinear)補間方法、平均(average)補間方法などが使われること
ができ、1/8、1/16、1/32、1/N(Nは、任意の整数)などの精密度(pre
cision)に補間フィルタリングを実行することができる。この時、補間されたサン
プルは、予測信号生成部120に用いられることができる。即ち、補間された値が予測信
号になることができ、補間された値を用いて新たな予測信号を生成することもできる。
【0048】
また、フィルタリング部110は、復元信号にノイズ除去フィルタリングを実行し、復
元信号に存在するノイズを除去したり減少させることができる。
【0049】
また、フィルタリング部110で実行されるフィルタリングは、復元信号の輝度(lu
minance)成分だけでなく、色度(chrominance)成分にも適用されるこ
とができる。
【0050】
また、フィルタリング部110は、画面内予測または画面間予測の実行において、符号
化対象映像の参照映像が全部復元された後、前記復元された参照映像にフィルタリングを
実行することができ、符号化対象映像の参照映像が一部復元された後、前記復元された参
照映像にフィルタリングを実行することができる。この時、フィルタリング部110は、
復元信号に低域通過フィルタ、ジブロッキング(Deblocking)フィルタ、適応的
ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つ以上を段階的
に実行することができる。
【0051】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信
号にジブロッキングフィルタを実行することができる。
【0052】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信
号に補間フィルタを実行することができる。
【0053】
例えば、復元信号にジブロッキングフィルタを実行し、ジブロッキングフィルタが実行
された復元信号に適応的ループフィルタを実行することができる。
【0054】
例えば、復元信号に適応的ループフィルタを実行し、適応的ループフィルタが実行され
た復元信号に補間フィルタを実行することができる。
【0055】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信
号にジブロッキングフィルタを実行し、低域通過フィルタとジブロッキングフィルタが実
行された復元信号に適応的ループフィルタを実行することができる。
【0056】
例えば、復元信号に低域通過フィルタを実行し、低域通過フィルタが実行された復元信
号にジブロッキングフィルタを実行し、低域通過フィルタとジブロッキングフィルタが実
行された復元信号に補間フィルタを実行することができる。
【0057】
例えば、復元信号にジブロッキングフィルタを実行し、ジブロッキングフィルタが実行
された復元信号に適応的ループフィルタを実行し、ジブロッキングフィルタと適応的ルー
プフィルタが実行された復元信号に補間フィルタを実行することができる。
【0058】
前記例のように、多様なフィルタが段階的に実行された復元信号を下記予測信号生成部
120で用いることができる。
【0059】
予測信号生成部120は、フィルタリング部110でフィルタリングされた復元信号を
用いて符号化対象信号の予測信号を生成する。
【0060】
予測信号生成部120は、テンプレート照合(Template Matching)を
実行して予測信号を生成することができる。テンプレート照合は、符号化対象信号に隣接
する復元された画素とフィルタリング部110でフィルタリングされた復元信号間の画素
類似度を用いて実行されることができる。この時、画素類似度は、SAD(Sum of
Absolute Difference)、SATD(Sum of Absolute T
ransformed Difference)、SSD(Sum of Squared D
ifference)を介して測定されることができる。
【0061】
テンプレート照合実行の場合、符号化器の符号化対象信号及び復号化器の復号化対象信
号に隣接する復元された画素が同じであるため、テンプレート照合に対する別途のインジ
ケータなしに、符号化器と復号化器で同じ予測信号が生成されることができる。即ち、符
号化器と復号化器で同じテンプレートを用いて予測信号を生成することができる。テンプ
レート照合に使われるテンプレートの大きさは、映像符号化過程の演算処理速度、メモリ
などによって適応的に選択することができる。また、予測信号生成部120は、フィルタ
リングされた復元信号のうち複数のフィルタリングされた復元信号を用いて予測信号を生
成することができる。
【0062】
また、予測信号生成部120は、変位画面内予測(Displaced Intra P
rediction)を実行して予測信号を生成することができる。変位画面内予測は、
符号化対象信号とフィルタリング部110でフィルタリングされた復元信号間の画素類似
度を用いて実行されることができる。
【0063】
変位画面内予測は、変位ベクトル(Displacement Vector)を使用す
る。変位ベクトルは、符号化対象信号と最も類似の値を有するフィルタリングされた復元
信号の位置を示す。符号化器は、変位ベクトルを復号化器に伝達し、復号化器は、変位ベ
クトルの位置に存在する復元信号を用いて符号化器と同じ予測信号を生成することができ
る。復号化器は、符号化器から伝達を受けた変位ベクトルを用いて計算複雑度の大きい増
加なしに予測信号を生成することができる。また、予測信号生成部120は、符号化対象
信号周辺の復元信号に存在する変位ベクトルを符号化対象信号の変位ベクトル予測値とし
て使用することができる。予測信号生成部120は、前記変位ベクトル予測値を基準に符
号化対象信号の周辺領域を探索して予測信号を生成することができる。また、符号化器は
、変位ベクトル予測値と符号化対象信号で探索された周辺領域の変位ベクトルの差分値を
復号化器に伝達することができる。
【0064】
また、予測信号生成部120は、テンプレート照合を実行してフィルタリングされた復
元信号のうち符号化対象信号と最も類似の初期地点を探索し、前記初期地点で変位画面内
予測を実行して予測信号を生成することができる。また、予測信号生成部120は、変位
画面内予測を実行してフィルタリングされた復元信号のうち符号化対象信号と最も類似の
初期地点を探索し、前記初期地点でテンプレート照合を実行して予測信号を生成すること
ができる。
【0065】
また、予測信号生成部120は、符号化対象信号に隣接する復元された画素を用い、ラ
インベースの画面内予測を実行し、予測信号を生成することができる。ラインベースの画
面内予測は、符号化対象信号周辺の復元されたピクセルに対して、符号化対象信号を基準
に方向別に外挿入法(extrapolation)を実行する方法である。
【0066】
この時、方向の個数は、一つ以上の多数である。例えば、2、4、8、16、33など
の個数になることができ、方向及び個数は、予め固定して実行することもでき、復元され
た画素を用いて適応的に決まることもできる。
【0067】
この時、方向別に外挿入法を実行するにあたって、前記フィルタリング部110の一つ
以上の方法を用いることができる。例えば、方向別に前記低域フィルタ適用可否及び方法
を異なるようにしたり、前記補間フィルタ適用可否及び方法を異なるようにして得た信号
を用いて外挿入法を実行することができる。
【0068】
追加的に、外挿入法を実行するにあたって、二つ以上の復元された画素の加重和を用い
ることができ、加重値は、距離またはブロックの大きさによって異なるようにすることが
できる。例えば、類似の方向に該当する予測信号等の加重和を最終予測信号にすることが
できる。
【0069】
また、予測信号生成部120は、空間解像度、画質、フレーム率などが基本階層より高
い、或いは同じ向上階層(enhancement layer)内の符号化対象信号と符
号化対象信号の位置に空間的に対応される基本階層(base layer)内の復元信号
を用いて、階層間画面内予測を実行し、予測信号を生成することができる。
【0070】
例えば、基本階層の空間的解像度と向上階層の空間的解像度が同じ場合、基本階層内の
復元信号を向上階層内の符号化対象信号の画面内予測に用いて、予測信号を生成すること
ができる。
【0071】
例えば、基本階層の空間的解像度と向上階層の空間的解像度が異なる場合、向上階層の
空間的解像度に合わせるように基本階層の空間的解像度をアップサンプリング(upsa
mping)或いはダウンサンプリング(downsampling)などを用いて調節し
、基本階層内の復元信号を向上階層内の符号化対象信号の画面内予測に用いて、予測信号
を生成することができる。
【0072】
また、予測信号生成部120は、向上時点(enhancement view)内の符
号化対象信号と符号化対象信号の位置に空間的に対応される基本時点(base view
)内の復元信号を用いて、時点間画面内予測を実行し、予測信号を生成することができる
【0073】
例えば、基本時点の空間的解像度と向上時点の空間的解像度が同じ場合、基本時点内の
復元信号を向上時点内の符号化対象信号の画面内予測に用いて、予測信号を生成すること
ができる。
【0074】
例えば、基本時点の空間的解像度と向上階層の空間的解像度が異なる場合、向上時点の
空間的解像度に合わせるように基本時点の空間的解像度をアップサンプリング(upsa
mping)或いはダウンサンプリング(downsampling)などを用いて調節し
、基本時点内の復元信号を向上時点内の符号化対象信号の画面内予測に用いて、予測信号
を生成することができる。
【0075】
また、予測信号生成部120は、任意の大きさを有するブロックに分割された符号化対
象信号を用いて予測信号を生成することができる。この時、予測信号の生成は、ラインベ
ースの画面内予測、テンプレート照合、変位画面内予測、階層間画面内予測、及び時点間
画面内予測のうち一つを介して実行されることができる。予測信号生成部120は、分割
された複数個の符号化対象信号を同じ予測信号生成方法を介して予測信号を生成すること
もでき、互いに異なる予測信号生成方法を介して予測信号を生成することもできる。
【0076】
省略符号化部130は、予測信号生成部120で生成された予測信号を符号化対象信号
の復元信号に設定する。設定された復元信号は、符号化対象映像の次の(next)符号化
対象信号の符号化時に使われることができる。また、省略符号化部130は、残余信号を
符号化しないことによって符号化対象信号を省略符号化する。省略符号化部130は、残
余信号に対する変換符号化、量子化、及びエントロピ符号化を実行しない。
【0077】
省略符号化部130は、符号化対象信号を任意のブロック大きさに分割して省略符号化
することができる。この時、省略符号化される符号化対象信号のブロック大きさは、任意
の整数N×M大きさに決定されることができる。各符号化対象信号のブロック大きさに対
応される省略符号化に対するインジケータ及びブロック大きさ情報は、マクロブロック当
たり任意の整数L個ほど復号化器に伝達されることができる。マクロブロックがN×M大
きさに分割されると、この時、マクロブロックに含まれたブロックの個数をL個であると
いうことができる。
【0078】
インジケータ140は、残余信号の符号化なしに、符号化対象信号を省略符号化したこ
とを示すことができる。省略符号化を示すインジケータ140は、フラッグ(Flag)形
態またはマクロブロックモードタイプ(Macroblock Mode Type)形態を
有することができる。また、インジケータ140は、予測信号の生成方法を示すことがで
きる。即ち、インジケータ140は、予測信号をラインベースの画面内予測実行、テンプ
レート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうちいずれか
一つの方式を介して生成したことを示すことができる。この時、予測信号生成方法に対す
るインジケータ140は、フラッグ(Flag)形態またはマクロブロックモードタイプ(
Macroblock Mode Type)の形態を有することができる。また、インジ
ケータ140は、フィルタリング方法を示すことができる。インジケータ140は、低域
通過フィルタ、ジブロッキングフィルタ、適応的ループフィルタ、補間フィルタ、ノイズ
除去フィルタを含む復元信号に対するフィルタリング方法のうちいずれか一つの方式を介
してフィルタリングを実行したことを示すことができる。また、インジケータ140は、
復元信号に対するフィルタリング方法のうち最小一つ以上の方式を実行したことを示すこ
とができる。例えば、復元信号に低域通過フィルタを実行してジブロッキングフィルタを
実行したか、或いは低域通過フィルタを実行して補間フィルタを実行したか、或いはジブ
ロッキングフィルタを実行して適応的ループフィルタを実行したか、或いは適応的ループ
フィルタを実行して補間フィルタを実行したか、或いは低域通過フィルタを実行してジブ
ロッキングフィルタを実行して適応的ループフィルタを実行したか、或いは低域通過フィ
ルタを実行してジブロッキングフィルタを実行して補間フィルタを実行したか、或いはジ
ブロッキングフィルタを実行して適応的ループフィルタを実行して補間フィルタを実行し
たかに対してインジケータ140を介して示すことができる。この時、フィルタリング方
法に対するインジケータ140は、フラッグ(Flag)形態またはマクロブロックモード
タイプ(Macroblock Mode Type)の形態を有することができる。
【0079】
符号化器でインジケータを算術符号化(arithmetic coding)或いは可
変長さ符号化(variable length coding)などにエントロピ符号化し
てビットストリームに挿入し、復号化器でビットストリームをエントロピ復号化して省略
符号化可否或いは予測信号生成方法或いはフィルタリング方法を判別することができる。
【0080】
符号化器で省略符号化、予測信号生成方法、及びフィルタリング方法を示すインジケー
タ140は、復号化器に伝達されることができる。この時、復号化器は、残余信号に対す
る復号化なしに復号化器で生成された予測信号を復号化対象信号の復元信号として用いる
ことができる。
【0081】
図2は、本発明の一実施例に係る省略符号化を用いた映像符号化過程の一例を示す。
【0082】
図2を参照すると、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、元
映像210をブロック単位に省略符号化する。即ち、符号化対象信号は、符号化対象ブロ
ックになることもできる。符号化対象映像220は、符号化対象Aブロック221及びA
ブロック221より先に復元された復元Bブロック223を含むことができる。フィルタ
リング部110は、復元Bブロック223に対してフィルタリングを実行する。この時、
フィルタリングは、低域通過フィルタ、ジブロッキング(Deblocking)フィルタ
、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つを用
いて実行されることができる。フィルタリング部110は、復元Bブロック223に対し
てフィルタリングを実行してCブロック230を生成することができる。予測信号生成部
120は、Cブロック230を用いて符号化対象Aブロック221の予測Dブロック24
0を生成する。この時、予測Dブロック240は、ラインベースの画面内予測、テンプレ
ート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうち一つを介し
て生成されることができる。省略符号化部130は、予測Dブロック240を符号化対象
Aブロック221の復元ブロックに設定することができる。この復元ブロックは、Bブロ
ックを省略符号化する時に用いられることができる。省略符号化部130は、符号化対象
Aブロック221から予測Dブロック240を除去して残余Eブロック250を生成する
ことができる。省略符号化部130は、符号化対象Aブロック221に含まれた残余Eブ
ロック250を符号化しないことによって、符号化対象Aブロック221を省略符号化す
ることができる。省略符号化部130は、省略符号化されたaブロック260を生成する
ことができる。その後、bブロック270を符号化対象ブロックに設定して符号化対象映
像220を省略符号化することができる。
【0083】
図3は、本発明の一実施例に係る省略符号化を用いた映像復号化装置のブロック図であ
る。
【0084】
図3を参照すると、本発明の一実施例に係る省略符号化を用いた映像復号化装置は、イ
ンジケータ310、フィルタリング部320、予測信号生成部330、及び復号化部34
0を含む。
【0085】
インジケータ310は、画面内予測の実行において、省略符号化器で残余信号の符号化
なしに、符号化対象信号を省略符号化したことを示すことができる。省略符号化を示すイ
ンジケータ140は、フラッグ(Flag)形態またはマクロブロックモードタイプ(Ma
croblock Mode Type)形態を有することができる。インジケータ310
は、復号化対象映像内の復号化対象信号に含まれて識別されることができる。また、イン
ジケータ310は、省略符号化過程で予測信号の生成方法を示すことができる。即ち、イ
ンジケータ310は、符号化対象信号の予測信号をラインベースの画面内予測実行、テン
プレート照合、変位画面内予測、階層間画面内予測、及び時点間画面内予測のうちいずれ
か一つの方式を介して生成したことを示すことができる。また、インジケータ310は、
フィルタリング方法を示すことができる。即ち、インジケータ310は、低域通過フィル
タ、ジブロッキングフィルタ、適応的ループフィルタ、補間フィルタ、ノイズ除去フィル
タを含む復元信号に対するフィルタリング方法のうちいずれか一つの方式を介してフィル
タリングを実行したことを示すことができる。また、インジケータ310は、復元信号に
対するフィルタリング方法のうち最小一つ以上の方式を実行したことを示すことができる
。例えば、復元信号に低域通過フィルタを実行してジブロッキングフィルタを実行したか
、或いは低域通過フィルタを実行して補間フィルタを実行したか、或いはジブロッキング
フィルタを実行して適応的ループフィルタを実行したか、或いは適応的ループフィルタを
実行して補間フィルタを実行したか、或いは低域通過フィルタを実行してジブロッキング
フィルタを実行して適応的ループフィルタを実行したか、或いは低域通過フィルタを実行
してジブロッキングフィルタを実行して補間フィルタを実行したか、或いはジブロッキン
グフィルタを実行して適応的ループフィルタを実行して補間フィルタを実行したかに対し
てインジケータ310を介して示すことができる。符号化器でインジケータを算術符号化
(arithmetic coding)或いは可変長さ符号化(variable len
gth coding)などにエントロピ符号化してビットストリームに挿入されたインジ
ケータ310を復号化器でビットストリームをエントロピ復号化して省略符号化可否或い
は予測信号生成方法或いはフィルタリング方法を判別することができる。
【0086】
フィルタリング部320は、インジケータ310に含まれた符号化過程で使われたフィ
ルタリング方法に基づいて、復号化対象信号より先に復元された復元信号に対してフィル
タリングを実行する。復号化対象信号は、復号化対象映像を画素、ブロック、ユニット(
unit)、ピクチャ、及びフレーム単位に区分した信号である。即ち、復号化対象信号
は、復号化対象画素、復号化対象ブロック、復号化対象ユニット、復号化対象ピクチャ、
及び復号化対象フレームを含む概念である。省略符号化を用いた映像符号化装置のフィル
タリング部110と同様に、フィルタリング部320は、復元信号に対して低域通過フィ
ルタ、ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フ
ィルタ、ノイズ除去フィルタのうち少なくとも一つを用いてフィルタリングを実行するこ
とができる。この時、フィルタリング部320は、復元信号に低域通過フィルタ、ジブロ
ッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ、ノイ
ズ除去フィルタのうち少なくとも一つ以上を段階的に実行することができる。フィルタリ
ング部320は、符号化過程で適用されたフィルタリング方法を同様に適用して復元信号
にフィルタリングを実行することができる。
【0087】
予測信号生成部330は、フィルタリング部320でフィルタリングされた復元信号及
びインジケータ310に基づいて、復号化対象信号の予測信号を生成する。予測信号生成
部330は、インジケータ310に含まれた符号化過程で使われた予測信号生成方法に基
づいて復号化対象信号の予測信号を生成することができる。予測信号生成部330は、ラ
インベースの画面内予測、テンプレート照合、変位画面内予測、階層間画面内予測、及び
時点間画面内予測のうち一つを介して復号化対象信号の予測信号を生成することができる
。予測信号生成部330は、符号化過程の予測信号生成部120で適用した予測信号生成
方法と同様の方法を適用して復号化対象信号の予測信号を生成することができる。
【0088】
復号化部340は、残余信号を復号化せずに予測信号を用いて復号化対象信号を復号化
する。復号化部340は、復号化対象信号で残余信号を復号化しないことによって復号化
対象信号を省略復号化する。復号化部340は、残余信号に対する変換復号化、量子化、
及びエントロピ復号化を実行しない。
【0089】
図4は、本発明の一実施例に係る省略符号化を用いた映像符号化方法のフローチャート
である。
【0090】
410ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、画
面内予測の実行において、符号化対象映像内で符号化対象信号より先に復元された復元信
号に対してフィルタリングを実行する。この時、フィルタリングは、低域通過フィルタ、
ジブロッキング(Deblocking)フィルタ、適応的ループフィルタ、補間フィルタ
、ノイズ除去フィルタのうち少なくとも一つを用いて実行されることができる。この時、
フィルタリングは、低域通過フィルタ、ジブロッキング(Deblocking)フィルタ
、適応的ループフィルタ、補間フィルタ、ノイズ除去フィルタのうち少なくとも一つ以上
を段階的に実行することができる。
【0091】
420ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、フ
ィルタリングされた復元信号を用いて符号化対象信号の予測信号を生成する。この時、予
測信号の生成は、ラインベースの画面内予測、テンプレート照合、変位画面内予測、階層
間画面内予測、及び時点間画面内予測のうち一つを介して実行されることができる。
【0092】
430ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、生
成された予測信号を符号化対象信号の復元信号に設定する。設定された復元信号は、符号
化対象映像の次の(next)符号化対象信号の符号化時に使われることができる。
【0093】
440ステップで、本発明の一実施例に係る省略符号化を用いた映像符号化装置は、残
余信号を符号化しないことによって符号化対象信号を省略符号化する。
【0094】
前述したように、符号化された映像データは、図3に示すような映像復号化装置で伝達
され、映像復号化装置では前述した映像符号化方法(図4参照)に対応し、図3に関する説
明で詳細に説明したような映像復号化方法を実行することができる。
【0095】
本発明の実施例に係る方法は、多様なコンピュータ手段を介して実行されることができ
るプログラム命令形態に具現され、コンピュータ読み取り可能媒体に記録されることがで
きる。前記コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ
構造などを単独にまたは組み合わせて含むことができる。前記媒体に記録されるプログラ
ム命令は、本発明のために特別に設計されて構成されたものであり、或いはコンピュータ
ソフトウェア当業者に公知されて使用可能になるものである。
【0096】
以上のように、本発明は、限定された実施例と図面により説明したが、前記実施例に限
定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、こ
のような記載から多様な修正及び変形が可能である。
【0097】
従って、本発明の範囲は、説明された実施例に限定されて決まってはならず、添付の特
許請求の範囲だけでなく、特許請求の範囲と均等なものにより決まらなければならない。
図1
図2
図3
図4