特許 5756537 適応型走査を用いる動画像復号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5756537

(24)【登録日】2015年6月5日

(45)【発行日】2015年7月29日

(54)【発明の名称】適応型走査を用いる動画像復号化方法

(51)【国際特許分類】

   H04N 19/129 20140101AFI20150709BHJP

   H04N 19/157 20140101ALI20150709BHJP

   H04N 19/176 20140101ALI20150709BHJP

   H04N 19/593 20140101ALI20150709BHJP

【ＦＩ】

   H04N19/129

   H04N19/157

   H04N19/176

   H04N19/593

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2014-7967(P2014-7967)

(22)【出願日】2014年1月20日

(62)【分割の表示】特願2012-270597(P2012-270597)の分割

【原出願日】2006年10月19日

(65)【公開番号】特開2014-116967(P2014-116967A)

(43)【公開日】2014年6月26日

【審査請求日】2014年2月19日

(31)【優先権主張番号】10-2005-0099733

(32)【優先日】2005年10月21日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】596180076

【氏名又は名称】韓國電子通信研究院

【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ

(73)【特許権者】

【識別番号】508105669

【氏名又は名称】クァンウン ユニバーシティ リサーチ インスティテュート フォー インダストリー コーオペレーション

(74)【代理人】

【識別番号】100117787

【弁理士】

【氏名又は名称】勝沼 宏仁

(74)【代理人】

【識別番号】100088889

【弁理士】

【氏名又は名称】橘谷 英俊

(72)【発明者】

【氏名】ソ チョン−イル

(72)【発明者】

【氏名】キム ウク−チョン

(72)【発明者】

【氏名】キム キュ−ヒョン

(72)【発明者】

【氏名】カン キョン−オク

(72)【発明者】

【氏名】ホン ジン−ウ

(72)【発明者】

【氏名】イ ヤン−リュル

(72)【発明者】

【氏名】ハン キ−フン

(72)【発明者】

【氏名】フ チェ−ホ

(72)【発明者】

【氏名】シム ドン−ギュ

(72)【発明者】

【氏名】オ ソン−チュン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００５−１６００８９（ＪＰ，Ａ）

【文献】 特開２００２−０２７４７４（ＪＰ，Ａ）

【文献】 特開平０６−２４５２００（ＪＰ，Ａ）

【文献】 特開平０６−０８６２６２（ＪＰ，Ａ）

【文献】 国際公開第２００４／００８７６７（ＷＯ，Ａ１）

【文献】 韓国公開特許第１０−２００４−００２７０４７（ＫＲ，Ａ）

【文献】 Xiaopeng Fan, Yan Lu, and Wen Gao，A novel coefficient scanning scheme for directional spatial prediction-based image compression，Multimedia and Expo, 2003. ICME '03. Proceedings. 2003 International Conference，２００３年 ８月１８日，Vol.2，pp.II-557 - II-560

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

適応型走査に基づく動画像復号化方法であって、
（ａ）エントロピー復号化を符号化ビットストリームに実行し、それによって、エントロピー復号化された信号を生成するステップと、
（ｂ）前記ステップ（ａ）においてエントロピー復号化された復号化信号のための走査方式を決定するステップ（Ｓ６１０；Ｓ６３０）と、
（ｃ）前記エントロピー復号化された信号を前記走査方式に従って復元し、及び、復元した画像を出力するステップと
を有し、
前記走査方式を、前記エントロピー復号化された信号のためのイントラ予測モードに従い適応的に適用し、
前記ステップ（ｂ）において決定された前記走査方式に従い、前記イントラ予測モードが垂直モードのときには、１行目の前記エントロピー復号化された信号を優先的に走査して、該１行目の全ての前記エントロピー復号化された信号を別の行よりも前に走査し、及び、前記イントラ予測モードが水平モードのときには、１列目の前記エントロピー復号化された信号を優先的に走査して、該１列目の全ての前記エントロピー復号化された信号を別の列よりも前に走査する
ことを特徴とする方法。

【請求項2】

前記走査方式を決定する前に、前記エントロピー復号化された信号を逆変換し及び逆量子化することを特徴とする請求項１の方法。

【請求項3】

前記ステップ（ｃ）において、ブロックの１行目における、ブロックの最初の前記エントロピー復号化された信号を走査することを特徴とする請求項１の方法。

【請求項4】

前記ステップ（ａ）において、前記符号化ビットストリームから前記エントロピー復号化された信号のための前記走査方式の情報を取得し、前記情報を前記エントロピー復号化された信号と一緒に出力することを特徴とする請求項１の方法。

【請求項5】

前記エントロピー復号化された信号は残差ブロックであることを特徴とする請求項１の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画データの符号化及び復号化に関し、より詳しくは、所定サイズのブロックに対するイントラ予測の実行後、残差信号のＤＣＴ及び量子化によって生成された係数に対する走査方法をイントラ予測モードによって相違に適用し、圧縮率を高めるための適応型走査を用いる動画像復号化方法に関する。

【背景技術】

【0002】

動画データを符号化（encoding）及び復号化（decoding）するために用いるＨ．２６４標準によると、１つのフレームに含まれている複数のマクロブロック単位、又はマクロブロックを二分割又は四分割して得られたサブブロック単位で符号化及び復号化を行う。符号化及び復号化は、時間的予測と空間的予測に基づいて行われる。時間的予測は、現在フレームのマクロブロックの動きの予測において、隣接するフレームのマクロブロックを参照して予測を行うことであり、空間的予測は、符号化しようとする現在フレームのマクロブロックを、そのフレーム内で隣接するブロックを用いて予測を行うことである。

【0003】

空間的予測をイントラ予測（Intra prediction）ともいうが、イントラ予測は、ある画素の予測において、それと隣接する画素が類似値を有する可能性が高いという特徴を用いるものである。Ｈ．２６４標準は、９つの方向性を考慮した予測モードを用いて現在ブロックの画素値を予測する。

【0004】

図１は、Ｈ．２６４における４×４ブロック及び８×８ブロックに対するイントラ予測モードを示す図面である。

【0005】

同図に示すように、Ｈ．２６４標準では、４×４ブロック及び８×８ブロックのイントラ予測において９つの予測モードを用いる。予測方向によって、垂直（Vertical）モード（モード０）、水平（Horizontal）モード（モード１）、ＤＣモード（モード２）、対角左下向モード（Diagonal_Down_Left mode）（モード３）、対角右下向モード（Diagonal_Down_Right mode）（モード４）、垂直右向モード（Vertical_Right）（モード５）、水平下向モード（Horizontal_Down mode）（モード６）、垂直左向モード（Vertical_Left mode）（モード７）、水平上向モード（Horizontal_Up mode）（モード８）が存在する。矢印は予測方向を示す。以下では、４×４ブロックをイントラ予測する場合、垂直モード及び水平モードにおける予測過程を説明する。

【0006】

図２は、垂直モードにおける画素予測過程を説明するための図面である。

【0007】

同図に示すように、垂直モードにおいて、画素ａ３０２、ｅ３０４、ｉ３０６、ｍ３０８は、垂直方向に隣接する画素Ａから予測し、このような方法によって、画素ｂ、ｆ、ｊ、ｎは画素Ｂから予測し、画素ｃ、ｇ、ｋ、ｏは画素Ｃから予測し、画素ｄ、ｈ、ｌ、ｐは画素Ｄから予測する。

【0008】

図３は、水平モードにおける画素予測過程を説明するための図面である。

【0009】

同図に示すように、水平モードにおいて、画素ａ３１２、ｂ３１４、ｃ３１６、ｄ３１８は、水平方向に隣接する画素Ｉから予測し、このような方法によって、画素ｅ、ｆ、ｇ、ｈは画素Ｊから予測し、画素ｉ、ｊ、ｋ、ｌは画素Ｋから予測し、画素ｍ、ｎ、ｏ、ｐは画素Ｌから予測する。

【0010】

一方、従来の動画符号化器では、予測した信号と現在の信号とを差分した残差信号をＤＣＴ及び量子化した後、ＤＣＴ及び量子化された係数をジグザグ（zig-zag）走査してエントロピー符号化を行う。

【0011】

しかし、予測モードが水平モードか又は垂直モードかによって、残差信号の相関性が水平方向に高いか又は垂直方向に高い可能性が高いという点を考慮すると、予測モードの種類にかかわらず、固定した方式のジグザグ走査を用いて符号化する従来の方法は、高い圧縮率を得るのに不適であるという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明は、上記問題を解決するために提案されたものであって、動画の符号化において、所定サイズのブロックに対するイントラ予測の実行後、残差信号のＤＣＴ及び量子化された係数に対する走査方法をイントラ予測モードに応じて適応的に適用することによって、圧縮率を高めることができる適応型走査を用いる動画符号化装置及び方法、並びにそれによる復号化装置を提供することにその目的がある。

【課題を解決するための手段】

【0013】

上記目的を達成するための本発明は、適応型走査を用いる動画符号化装置であって、予測モードを選択して出力するモード選択手段と、前記予測モードに応じて入力映像の符号化する画素値を予測して、残差信号ブロックを出力する予測手段と、前記残差信号ブロックをＤＣＴ変換し、量子化する変換／量子化手段と、前記量子化された残差信号ブロックを前記予測モードに応じて適応的に走査して符号化する符号化手段とを備えることを特徴とする。

【0014】

一方、本発明は、適応型走査を用いる動画復号化装置であって、符号化されたビットストリームを受信し、エントロピー復号化方法にしたがって復号化して出力するエントロピー復号化部と、該エントロピー復号化部から復号化された信号を受信し、復号化された信号の符号化過程で用いられた走査方式を獲得して、前記復号化された信号と共に出力する走査方式決定部と、前記復号化された信号を前記走査方式にしたがって復元して、復元映像を出力する映像復元部とを備えるが、前記走査方式は、イントラ予測モードによって走査方式を相違に適用した適応型走査方式であることを特徴とする。

【0015】

また一方、本発明は、適応型走査を用いる動画符号化方法であって、予測モードを選択する予測モード選択ステップと、前記選択した予測モードに応じて入力映像の符号化する画素値を予測して、残差信号ブロックを出力する予測ステップと、前記残差信号ブロックをＤＣＴ変換し、量子化する変換／量子化ステップと、前記量子化された残差信号ブロックを前記予測モードに応じて適応的に走査し、走査された係数を出力する適応型走査ステップと、前記走査された係数を符号化する符号化ステップとを含むことを特徴とする。

【発明の効果】

【0016】

本発明は、動画の符号化において、所定サイズのブロックに対するイントラ予測の実行後、残差信号のＤＣＴ及び量子化された係数に対する走査方法をイントラ予測モードに応じて適応的に適用することによって、符号化の圧縮率を大きく向上させることができる効果がある。

【図面の簡単な説明】

【0017】

【図1】Ｈ．２６４における４×４ブロック及び８×８ブロックに対するイントラ予測モードを示す図面である。

【図2】垂直モードにおける画素予測過程を説明するための図面である。

【図3】水平モードにおける画素予測過程を説明するための図面である。

【図4】本発明による動画符号化装置の一実施形態の構成図である。

【図5】従来のジグザグ走査方式を示す図面である。

【図6】本発明による水平優先走査方式の一実施形態を示す図面である。

【図7】本発明による垂直優先走査方式の一実施形態を示す図面である。

【図8】本発明による適応型走査を用いる動画符号化方法の一実施形態のフローチャートである。

【図9】本発明による適応型走査過程の一実施形態の詳細なフローチャートである。

【図10】本発明による動画復号化装置の一実施形態の構成図である。

【発明を実施するための形態】

【0018】

以下の内容は、単に本発明の原理を例示している。したがって、当業者は、本明細書で明確に説明又は図示していないが、本発明の原理を実現し、本発明の概念と範囲に含まれる様々な装置を発明することができる。また、本明細書に列挙する全ての条件付き用語及び実施形態は、原則的に、本発明の概念を理解させるための目的としてのみ明確に意図され、このように特別に列挙する実施形態及び状態によって制限されるものではないことを理解しなければならない。

【0019】

また、本発明の原理、観点、及び実施形態だけでなく、特定の実施形態を列挙する全ての詳細な説明は、このような事項の構造的及び機能的同等物を含むように意図するものとして理解しなければならない。また、このような同等物は、現在公知となっている同等物だけでなく、将来に開発される同等物、すなわち、構造にかかわらず、同じ機能を行うように発明される全ての素子を含むものとして理解しなければならない。

【0020】

したがって、プロセッサ又はこれと類似する概念で表示した機能ブロックを含む図面に示す多様な素子の機能は、専用ハードウェアだけでなく、適切なソフトウェアに係ってソフトウェアを実行する能力を有するハードウェアの使用に提供できる。プロセッサによって提供されるとき、前記機能は、単一専用プロセッサ、単一共有プロセッサ、又は複数の個別的プロセッサによって提供でき、これらのうち、一部は共有することができる。

【0021】

また、プロセッサ、制御、又はこれと類似する概念で提示する用語の使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈してはならず、制限することなく、デジタル信号プロセッサ（ＤＳＰ）、ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ、及び不揮発性メモリを暗示的に含むものとして理解しなければならない。周知慣用の他のハードウェアも含まれ得る。

【0022】

上述した目的、特徴、及び長所は、添付図面に係る以下の詳細な説明によってより明確になるであろう。本発明の説明において、関連の公知技術についての具体的な説明が、本発明の要旨から逸脱する可能性があると判断される場合、その詳細な説明を省略する。以下、添付図面を参照して本発明による好ましい実施形態を詳細に説明する。

【0023】

図４は、本発明による動画符号化装置の一実施形態の構成図である。
同図に示すように、本発明による動画符号化装置は、イントラ予測部１１０、モード選択部１２０、ＤＣＴ／量子化部１３０、及びエントロピーコーディング部１４０を備えて構成される。

【0024】

モード選択部１２０は、前述した様々なイントラ予測モードのうち、最適の予測モードを選択してイントラ予測部１１０に出力する。すなわち、４×４イントラ予測、１６×１６イントラ予測、及び８×８イントラ予測時に、可能な様々な符号化予測モードのうち、１つを選択する。一般的に、レート−歪み（Rate-Distortion）を最大に減らしたレート−歪み最適化（RD Optimization）方法にしたがって１つの予測モードを選択する。

【0025】

前記予測モードは、輝度ブロックである場合、Ｈ．２６４のイントラ４×４輝度符号化モードである垂直（Vertical）モード、水平（Horizontal）モード、ＤＣモード、対角左下向モード（Diagonal_Down_Left mode）、対角右下向モード（Diagonal_Down_Right mode）、垂直右向モード（Vertical_Right mode）、水平下向モード（Horizontal_Down mode）、垂直左向モード（Vertical_Left mode）、及び水平上向モード（Horizontal_Up mode）と、イントラ１６×１６輝度符号化モードである垂直モード、水平モード、プレーン（Plane）モード、及びＤＣモードであることが好ましい。

【0026】

また、前記予測モードは、色度ブロックである場合、Ｈ．２６４イントラＭ×Ｎ色度符号化モードである垂直モード、水平モード、プレーンモード、及びＤＣモードであることが好ましい。

【0027】

イントラ予測部１１０は、モード予測部１２０から受信した予測モードに応じて入力映像に対する予測を行い、符号化しようとする現在フレームのマクロブロック内の画素値と予測画素値との差を示す残差信号ブロックを出力する。本実施形態では、輝度（luminance）ブロックの画素に対しては４×４イントラ予測を行い、色度（chrominance）ブロックの画素に対しては８×８イントラ予測を行う。

【0028】

ＤＣＴ／量子化部１３０は、イントラ予測部１１０から受信した残差信号ブロックに対してＤＣＴ変換し、量子化してエントロピーコーディング部１４０に出力する。

【0029】

エントロピーコーディング部１４０は、前記量子化された残差信号ブロックを予測モードの種類に応じて適応的に走査して係数を並べ、エントロピーコーディングして出力する。エントロピーコーディングは、発生頻度の高いデータに対しては少ないビットを割り当て、発生頻度の低いデータに対しては多くのビットを割り当てることによって、データの圧縮率を高めるコーディング方法である。本発明に適用可能なエントロピーコーディング方法としては、ＣＡＶＬＣ（Context Adaptive Variable Length Coding）、又はＣＡＢＡＣ（Context-Based Adaptive Binary Arithmetic Coding）などがある。

【0030】

図５は、従来のジグザグ走査方式を示す図面である。

【0031】

同図に示すように、従来のジグザグ走査は、ＤＣＴの重要係数が左側上段に位置する可能性が高いということを考慮して考案された方法である。しかし、イントラ予測モードとして垂直モードや水平モードを選択する場合、残差信号の相関性が垂直方向や水平方向に高くなる可能性が高いため、重要係数の位置が垂直モードである場合、１行目付近に重要係数が主に現れ、水平モードである場合、１列目付近に重要係数が主に現れる。したがって、上記のような場合、既存のジグザグ走査に代わる他の走査方法が必要となる。以下、本発明のイントラ予測モードの種類による適応型走査方式の実施形態について説明する。

【0032】

図６は、本発明による水平優先走査方式の一実施形態を示し、図７は、本発明による垂直優先走査方式の一実施形態を示す図面である。

【0033】

本発明の好ましい一実施形態によるエントロピーコーディング部１４０では、イントラ予測モードが垂直モードである場合は、図６のような走査方式（水平優先走査方式）を用い、イントラ予測モードが水平モードである場合は、図７のような走査方式（垂直優先走査方式）を用い、その他の場合は、既存のジグザグ走査方式を用いて係数を並べた後、エントロピーコーディングして出力する。

【0034】

水平優先走査方式は、図６に示すように、まず、１行目の全てのブロックを走査し、次いで２行目のブロックのうち、１番目から３番目のブロック、３行目の２番目及び１番目のブロック、４行目の１番目及び２番目のブロック、３行目の３番目のブロック、２行目の４番目のブロック、３行目の４番目のブロック、４行目の３番目及び４番目のブロックの順に走査する。したがって、本発明による水平優先走査方式は、１行目の全てのブロックを優先走査することによって、行方向に高い相関度を有し、１行目付近に重要係数が主に位置する垂直モードに適合する。

【0035】

垂直優先走査方式は、図７に示すように、まず、１列目の全てのブロックを走査し、次いで２列目の１番目から３番目のブロック、３列目の２番目及び１番目のブロック、４列目の１番目及び２番目のブロック、３列目の３番目のブロック、２列目の４番目のブロック、３列目の４番目のブロック、４列目の３番目及び４番目のブロックの順に走査する。したがって、本発明による垂直優先走査方式は、１列目の全てのブロックを優先走査することによって、列方向に高い相関度を有し、１列目付近に重要係数が主に位置する垂直モードに適合する。

【0036】

本発明は、走査方式の適用をイントラモードに依存して決定するため、既存のシンタックス（syntax）にいかなる影響も与えず、符号化及び復号化段階の走査方式の意味（semantics）のみを若干修正することによって実現できる。したがって、Ｈ．２６４のような動画の符号化／復号化の技術分野の当業者であれば、前述した本発明のイントラ予測モードによる適応型走査方式を既存の動画の符号化／復号化装置に基づいて容易に実現することができるため、その実現に係るより具体的な説明は省略する。

【0037】

図８は、本発明による適応型走査を用いる動画符号化方法の一実施形態のフローチャートである。

【0038】

まず、符号化する映像がイントラ予測部１１０に入力されると（５１０）、モード選択部１２０は、イントラ予測モードを選択する（５２０）。

【0039】

次いで、イントラ予測部１１０は、選択された予測モードに応じて入力映像に対する予測を行い（５３０）、符号化しようとする現在フレームのマクロブロック内の画素値と予測画素値との差分値を有する残差信号ブロックを生成する（５４０）。

【0040】

次いで、ＤＣＴ／量子化部１３０は、前記残差信号ブロックをＤＣＴ変換し、量子化する（５５０）。

【0041】

次いで、エントロピーコーディング部１４０は、前記量子化された残差信号ブロックを前記予測モードに応じて適応型走査を行い（５６０）、走査された係数をエントロピーコーディングして出力する（５７０）。

【0042】

図９は、本発明による適応型走査過程の一実施形態の詳細なフローチャートである。

【0043】

まず、予測モードが垂直モードか否かを判断する（６１０）。

【0044】

前記判断の結果、垂直モードである場合は、水平優先走査を行う（６２０）。

【0045】

一方、前記判断の結果、垂直モードではない場合は、予測モードが水平モードか否かを判断する（６３０）。

【0046】

前記判断の結果、水平モードである場合は、垂直優先走査を行い（６４０）、水平モードではない場合は、ジグザグ走査を行う（６５０）。

【0047】

図１０は、本発明による動画復号化装置の一実施形態の構成図である。

【0048】

同図に示すように、本発明による動画復号化装置は、エントロピー復号化部２１０、走査方式決定部２２０、及び映像復元部２３０を備えて構成される。

【0049】

エントロピー復号化部２１０は、符号化されたビットストリームを受信し、ＣＡＶＬＣ又はＣＡＢＡＣなどのようなエントロピー復号化方法にしたがって復号化を行って出力する。

【0050】

走査方式決定部２２０は、エントロピー復号化部２１０から復号化された信号を受信し、復号化された信号が符号化過程で走査された方式を獲得して、前記復号化された信号と共に映像復元部２３０に伝達する。

【0051】

映像復元部２３０は、前記復号化された信号を前記走査方式にしたがって復元して復元映像を出力する。

【0052】

上述した方法にしたがって、Ｈ．２６４勧告コデック（Reference Codec）であるＪＭ９６（Joint Model 96）を用いて様々なテスト映像に対して実験を行った結果、以下のように圧縮効率が増加することを確認することができた。テスト映像は、Ｈ．２６４で実験映像として勧告する映像を用いて実験を行った。本実験に用いられた具体的な条件は、下記表１のとおりである。

【0053】

【表1】

【0054】

前記表１に記載のように、サイズが異なる７つの映像について実験した。

【0055】

下記表２は、前記実験条件下で従来のＨ．２６４ジグザグ走査を用いる符号化方法と、本発明による適応型走査を用いる符号化方法とにしたがってテスト映像を符号化したときの圧縮率を比較した図表である。

【0056】

【表2】

【0057】

前記表２に記載のように、Ｈ．２６４のジグザグ走査方式のみを用いる符号化の圧縮率よりも、本発明で提案したイントラ予測モードによる適応型走査方式を用いる符号化の圧縮率が一層優れていることが分かる。

【0058】

一方、Ｈ．２６４以後に開発されたビデオ圧縮の標準は、既存の９方向イントラ予測モードが相当な複雑度を要求するため、垂直、水平、ＤＣ、対角の予測モードのみを用いる可能性が高い点を考慮すると、本実施形態による適応型走査方式を用いる符号化は、更に多くの圧縮率向上を期待することができる（約３％bit saving）。

【0059】

一方、前述した動画の符号化及び復号化方法は、コンピュータプログラムによって作成可能である。当該プログラムを構成するコード及びコードセグメントは、当該分野におけるコンピュータプログラマによって容易に推論できる。また、前記プログラムは、コンピュータが読み取ることができる情報格納媒体（computer readable media）に格納され、コンピュータによって読み取られて実行されることによって、動画の符号化及び復号化方法を実現する。前記情報格納媒体は、磁気記録媒体、光記録媒体、及び搬送波媒体を含む。

【0060】

以上で説明した本発明は、前述した実施形態及び添付図面によって限定されるのではなく、本発明の技術的思想から逸脱しない範囲内で様々な置換、変形、及び変更が可能であることは、本発明の属する技術分野における通常の知識を有する者に明らかである。

【産業上の利用可能性】

【0061】

本発明は、動画符号化システムなどに用いられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】