(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-19
(45)【発行日】2024-11-27
(54)【発明の名称】符号化方法及び復号化方法、並びにそれを利用する装置
(51)【国際特許分類】
H04N 19/12 20140101AFI20241120BHJP
H04N 19/157 20140101ALI20241120BHJP
H04N 19/176 20140101ALI20241120BHJP
【FI】
H04N19/12
H04N19/157
H04N19/176
(21)【出願番号】P 2023021838
(22)【出願日】2023-02-15
(62)【分割の表示】P 2022012299の分割
【原出願日】2013-04-16
【審査請求日】2023-02-15
(31)【優先権主張番号】10-2012-0039444
(32)【優先日】2012-04-16
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2012-0040015
(32)【優先日】2012-04-17
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2012-0039622
(32)【優先日】2012-04-17
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2012-0043456
(32)【優先日】2012-04-25
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2013-0041906
(32)【優先日】2013-04-16
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE
(73)【特許権者】
【識別番号】512139102
【氏名又は名称】ユニバーシティ-インダストリー コーオペレイション グループ オブ キョンヒ ユニバーシティ
【氏名又は名称原語表記】UNIVERSITY-INDUSTRY COOPERATION GROUP OF KYUNG HEE UNIVERSITY
(74)【代理人】
【識別番号】100120031
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100096921
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】キム、フイ、ヨン
(72)【発明者】
【氏名】パク、クワン、フン
(72)【発明者】
【氏名】キム、キョン、ヨン
(72)【発明者】
【氏名】リム、ソン、チャン
(72)【発明者】
【氏名】リー、ジン、ホ
(72)【発明者】
【氏名】チェ、ジン、ス
(72)【発明者】
【氏名】キム、ジン、ウン
【審査官】坂東 大五郎
(56)【参考文献】
【文献】特開2011-223068(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
ビデオ復号化方法であって、
ビットストリームから現在ブロックに関連する画面内予測モードを取得するステップと、
前記画面内予測モードに基づいて、前記現在ブロックに画面内予測を実行することによって、前記現在ブロックの予測サンプルを取得するステップと、
前記現在ブロックの変換係数をスキャニングするステップと、
前記変換係数に対して逆量子化を実行することにより、前記現在ブロックの逆量子化された変換係数を取得するステップと、
前記現在ブロックの変換タイプを決定するステップと、
前記決定された変換タイプに基づいて、前記逆量子化された変換係数に対して逆変換を実行することによって前記現在ブロックの残差サンプルを取得するステップと、前記逆変換は水平方向および垂直方向で実行され、
を備え、
前記変換タイプは、DCT(離散コサイン変換)又はDST(離散サイン変換)であると決定され、
前記現在ブロックのサイズが4×4である場合、前記現在ブロックの全ての画面内予測方向モード及び平面モードに対して、前記水平方向及び前記垂直方向の両方に前記DST(離散サイン変換)が適用されることを特徴とするビデオ復号化方法。
【請求項2】
ビデオ符号化方法であって、
現在ブロックの変換係数をスキャニングするステップと、
前記変換係数に対して逆量子化を実行することによって、前記現在ブロックの逆量子化された変換係数を取得するステップと、
前記現在ブロックの変換タイプを決定するステップと、
前記決定された変換タイプに基づいて、前記逆量子化された変換係数に対して逆変換を実行することによって、前記現在ブロックの残差サンプルを取得するステップと、前記逆変換は水平方向および垂直方向で実行され、
を備え、
前記変換タイプは、DCT(離散コサイン変換)またはDST(離散サイン変換)であると決定され、
前記現在ブロックのサイズが4×4である場合、前記現在ブロックの全ての画面内予測方向モード及び平面モードに対して、前記水平方向及び前記垂直方向の両方に前記DST(離散サイン変換)が適用されることを特徴とするビデオ符号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像符号化及び復号化技術に関し、より具体的には、色差(chroma)信
号に対する周波数変換方式及び/又はスキャン方式を決定する方法、並びにそれを利用す
る装置に関する。
【背景技術】
【0002】
最近、HD(High Definition)解像度を有する放送サービスが韓国内だ
けでなく、世界的に拡大されている。これによって、多くのユーザが高解像度、高画質の
映像に慣れており、多くの機関が次世代映像機器に対する開発に拍車を掛けている。
【0003】
HDTVと共にHDTVの4倍以上の解像度を有するUHD(Ultra High D
efinition)に対する関心が増大するにつれて、より高い解像度、高画質の映像
に対する圧縮機術が要求されている。
【0004】
映像圧縮のために、現在ピクチャのピクセル情報を予測により符号化することができる
。例えば、時間的に以前及び/又は以後のピクチャから現在ピクチャに含まれているピク
セル値を予測する画面間(inter)予測技術が適用され、現在ピクチャ内のピクセル情
報を利用して現在ピクチャに含まれているピクセル値を予測する画面内(intra)予測
技術が適用されることができる。
【0005】
ピクセル情報は、輝度(luma)に対する輝度信号と色差(chroma)に対する
色差信号があり、人間の視覚が輝度に敏感であるという点を利用して輝度信号と色差信号
を異なるように扱うこともでき、同じに扱うこともできる。
【0006】
したがって、色差信号と輝度信号を区分して効果的に扱う方法が問題になる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、ビデオ符号化/復号化において、符号化/復号化効率を上げる方法及び装置を
提供することを目的とする。
【0008】
本発明は、色差信号に対する効率的な周波数変換方法及び装置と、色差信号に対する効
率的なスキャン方法及び装置とを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一実施形態において、色差信号に対する周波数変換方式及びスキャン方式を選
択するにあたって、色差信号の画面内予測モードによって周波数変換方式を異なるように
適用することができ、画面内予測モードによってスキャン方式を異なるように決定するこ
ともできる。
【0010】
本発明の他の実施形態において、前記現在ブロックの輝度サンプルに対する画面内予測
モードによって前記現在ブロックの輝度信号及び色差信号に対するスキャニングタイプを
決定することができる。
【0011】
このとき、色差信号に対するスキャニングタイプは、輝度信号に対するスキャニングタ
イプとして同一に適用することができる。または、色差信号に対するスキャニングタイプ
は、輝度信号に対するスキャニングタイプを決定する方法と同じ方法で決定されることも
できる。
【発明の効果】
【0012】
本発明によると、ビデオ符号化/復号化において、符号化/復号化効率を上げることがで
きる。具体的に、本発明によると、色差信号に対する周波数変換及び/又はスキャンを効
率的に実行することができる。
【0013】
また、本発明によると、色差信号に対して周波数変換方式とスキャニング方法を選択す
るにあたって、色差信号の画面内予測方向モードによって色差信号に対する周波数変換方
式を適用し、また、色差信号に対するスキャニング方向を誘導する方法及び装置を利用す
ることで、色差信号の残余信号に対する符号化効率を上げることができる。
【図面の簡単な説明】
【0014】
【
図1】本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図である。
【
図2】本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図である。
【
図3】映像を符号化する時、LCU内でCUを分割する方法の一例を簡単に示す図面である。
【
図4】PUの分割構造に対する例を概略的に説明する図面である。
【
図5】CU内TUの分割構造の一例を簡単に示す図面である。
【
図6】画面内予測のモードを概略的に説明する図面である。
【
図7】数式1の関係を概略的に説明する図面である。
【
図8】重要グループフラグ及び変換係数に対する上段右側方向スキャニングの一例を説明する図面である。
【
図9】画面予測方向によってスキャニング方向を決定する方法の一例を説明するフローチャートである。
【
図10】画面予測方向によってスキャニング方向を決定する方法の他の例を簡単に説明するフローチャートである。
【
図11】残余映像に対する周波数変換方式を選択する方法の一例を説明するフローチャートである。
【
図12】本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一例を説明するフローチャートである。
【
図13】本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他の例を説明するフローチャートである。
【
図14】本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一実施例を示すフローチャートである。
【
図15】本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他の例を説明するフローチャートである。
【
図16】本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。
【
図17】本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。
【
図18】本実施例によって、色差信号のLMモードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法を説明するフローチャートである。
【
図19】本実施例によって、色差信号のIntra_FromLuma(LM)符号化モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。
【
図20】本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。
【
図21】本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。
【
図22】輝度ブロックと色差ブロックとの間の解像度差の一例を示す図面である。
【
図23】輝度ブロックと色差ブロックとの間の解像度差を説明する他の例を示す図面である。
【
図24】本発明による符号化装置の他の例を示す図面である。
【
図25】本発明による復号化装置の他の例を示す図面である。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施例に対して具体的に説明する。本明細書の実施例を
説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨
を不要に不明りょうにすると判断される場合にはその詳細な説明は省略する。
【0016】
本明細書において、一構成要素が他の構成要素に“連結されている”又は“接続されて
いる”と言及された場合、当該他の構成要素に直接的に連結されている、又は接続されて
いることを意味し、又は中間に他の構成要素が存在することを意味する。また、本明細書
において、特定構成を“含む”と記述する内容は、当該構成以外の構成を排除するもので
はなく、追加的な構成が本発明の実施又は本発明の技術的思想の範囲に含まれることがで
きることを意味する。
【0017】
第1、第2などの用語は、多様な構成の説明に使われることができるが、前記構成は、
前記用語により限定されるものではない。前記用語は、一つの構成要素を他の構成要素か
ら区別する目的として使われる。例えば、本発明の権利範囲を外れない限り、第1の構成
は第2の構成と命名することができ、同様に、第2の構成も第1の構成と命名することが
できる。
【0018】
また、本発明の実施例に開示する構成部は、互いに異なる特徴的な機能を示すために独
立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア
構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの
構成部として羅列して含むものであり、各構成部のうち少なくとも2個の構成部が統合さ
れて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行
することができる。各構成部の統合された実施例及び分離された実施例も本発明の本質か
ら外れない限り本発明の権利範囲に含まれる。
【0019】
また、一部の構成要素は、本発明で本質的な機能を遂行する必須的構成要素ではなく、
単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使
われる構成要素を除いた本発明の本質具現に必須的な構成部のみを含んで具現されること
ができ、単に性能向上のために使われる選択的な構成要素を除いた必須的な構成要素のみ
を含む構造も本発明の権利範囲に含まれる。
【0020】
図1は、本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図で
ある。
【0021】
図1を参照すると、前記映像符号化装置100は、動き予測部111、動き補償部11
2、イントラ予測部120、スイッチ115、減算器125、変換部130、量子化部1
40、エントロピー符号化部150、逆量子化部160、逆変換部170、加算器175
、フィルタ部180、及び参照映像バッファ190を含む。
【0022】
映像符号化装置100は、入力映像に対してイントラ(intra)モード又はインター
(inter)モードに符号化を実行することで、ビットストリームを出力することができ
る。イントラ予測は、画面内予測を意味し、インター予測は、画面間予測を意味する。イ
ントラモードである場合、スイッチ115がイントラに切り替えられ、インターモードで
ある場合、スイッチ115がインターに切り替えられることができる。映像符号化装置1
00は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予
測ブロックとの差分を符号化することができる。このとき、入力映像は、元映像(ori
ginal picture)を意味する。
【0023】
イントラモードである場合、イントラ予測部120は、現在ブロック周辺の既に符号化
されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生
成することができる。
【0024】
インターモードである場合、動き予測部111は、動き予測過程で参照映像バッファ1
90に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動き
ベクトルを求めることができる。動き補償部112は、動きベクトルを利用して動き補償
を実行することによって予測ブロックを生成することができる。ここで、動きベクトルは
、インター予測に使われる2次元ベクトルであり、現在ブロックと参照映像内のブロック
との間のオフセットを示すことができる。
【0025】
減算器125は、入力ブロックと生成された予測ブロックとの差分により残差ブロック
を生成することができる。変換部130は、残差ブロックに対して変換(transfo
rm)を実行することで、変換係数(transform coefficient)を出力
することができる。そして、量子化部140は、入力された変換係数を量子化媒介変数と
量子化行列のうち少なくとも一つを利用して量子化することで、量子化された係数(qu
antized coefficient)を出力することができる。このとき、量子化行
列は、符号化器に入力され、入力された量子化行列が符号化器で使われると決定されるこ
とができる。
【0026】
エントロピー符号化部150は、量子化部140で算出された値又は符号化過程で算出
された符号化パラメータ値などに基づいてエントロピー符号化を実行することで、ビット
ストリーム(bit stream)を出力することができる。エントロピー符号化が適用
される場合、高い発生確率を有するシンボル(symbol)に少ない数のビットが割り当
てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表
現されることによって、符号化対象シンボルに対するビット列の大きさが減少されること
ができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まること
ができる。エントロピー符号化部150は、エントロピー符号化のために、指数-ゴロム
コード(Exponential-Golomb Code)、CAVLC(Context
-Adaptive Variable Length Coding)、CABAC(Co
ntext-Adaptive Binary Arithmetic Coding)のよ
うな符号化方法を使用することができる。
【0027】
図1の実施例に係る映像符号化装置は、インター予測符号化、即ち、画面間予測符号化
を実行するため、現在符号化された映像は、参照映像として使われるために復号化されて
格納される必要がある。したがって、量子化された係数は、逆量子化部160で逆量子化
され、逆変換部170で逆変換される。逆量子化及び逆変換された係数は、復元された残
差ブロックになって加算器175を介して予測ブロックと加えられて復元ブロックが生成
される。
【0028】
復元ブロックは、フィルタ部180を経て、フィルタ部180は、デブロッキングフィ
ルタ(deblocking filter)、SAO(Sample Adaptive O
ffset)、ALF(Adaptive Loop Filter)のうち少なくとも一つ
以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部180は、イ
ンループ(in-loop)フィルタとも呼ばれる。デブロッキングフィルタは、ブロック
間の境界に発生したブロック歪曲を除去することができる。SAOは、コーディングエラ
ーを補償するためにピクセル値に適正オフセット(offset)値を加えることができる
。ALFは、復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行
することができる。フィルタ部180を経た復元ブロックは、参照映像バッファ190に
格納されることができる。
【0029】
図2は、本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図で
ある。
【0030】
図2を参照すると、前記映像復号化装置200は、エントロピー復号化部210、逆量
子化部220、逆変換部230、イントラ予測部240、動き補償部250、加算器25
5、フィルタ部260、及び参照映像バッファ270を含む。
【0031】
映像復号化装置200は、符号化器で出力されたビットストリームの入力を受けてイン
トラモード又はインターモードに復号化を実行することで、再構成された映像、即ち、復
元映像を出力することができる。イントラモードである場合、スイッチがイントラに切り
替えられ、インターモードである場合、スイッチがインターに切り替えられることができ
る。映像復号化装置200は、入力されたビットストリームから復元された残差ブロック
(reconstructed residual block)を得、予測ブロックを生成
した後、復元された残差ブロックと予測ブロックを加えて再構成されたブロック、即ち、
復元ブロックを生成することができる。
【0032】
エントロピー復号化部210は、入力されたビットストリームを確率分布によってエン
トロピー復号化し、量子化された係数(quantized coefficient)形
態のシンボルを含むシンボルを生成することができる。エントロピー復号化方法は、前述
したエントロピー符号化方法と同様である。
【0033】
エントロピー復号化方法が適用される場合、高い発生確率を有するシンボルに少ない数
のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てら
れてシンボルが表現されることによって、各シンボルに対するビット列の大きさが減少さ
れることができる。
【0034】
量子化された係数は、逆量子化部220で量子化媒介変数を利用して逆量子化され、逆
変換部230で逆変換され、量子化された係数が逆量子化/逆変換された結果、復元され
た残差ブロックが生成されることができる。
【0035】
逆量子化に使われる量子化行列は、スケーリングリストとも呼ばれる。逆量子化部22
0は、量子化された係数に量子化行列を適用して逆量子化された係数を生成することがで
きる。
【0036】
このとき、逆量子化部220は、符号化器で適用された量子化に対応して逆量子化を実
行することができる。例えば、逆量子化部220は、符号化器で適用された量子化行列を
量子化された係数に逆に適用して逆量子化を実行することができる。
【0037】
映像復号化装置200で逆量子化に使われる量子化行列は、ビットストリームから受信
されることもでき、符号化器及び/又は復号化器が既に保有した基本行列が使われること
もできる。送信される量子化行列の情報は、シーケンスパラメータセット又はピクチャパ
ラメータセットを介して量子化行列大きさ又は量子化行列が適用される変換ブロック大き
さ別に受信されることができる。例えば、4×4変換ブロックのための4×4量子化行列
が受信され、8×8変換ブロックのための8×8行列が受信され、16×16変換ブロッ
クのための16×16行列が受信され、32×32変換ブロックのための32×32行列
が受信されることができる。
【0038】
イントラモードである場合、イントラ予測部240は、現在ブロック周辺の既に復号化
されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生
成することができる。インターモードである場合、動き補償部250は、動きベクトル及
び参照映像バッファ270に格納されている参照映像を利用して動き補償を実行すること
によって予測ブロックを生成することができる。
【0039】
復元された残差ブロックと予測ブロックは、加算器255を介して加えられ、加えられ
たブロックは、フィルタ部260を経ることができる。フィルタ部260は、デブロッキ
ングフィルタ、SAO、ALFのうち少なくとも一つ以上を復元ブロック又は復元ピクチ
ャに適用することができる。フィルタ部260は、再構成された映像、即ち、復元映像を
出力することができる。復元映像は、参照映像バッファ270に格納されてインター予測
に使われることができる。
【0040】
HEVCでは、映像を効率的に符号化するために、符号化単位(Coding Unit
、以下‘CU’という)別に符号化を実行することができる。
【0041】
図3は、映像を符号化する時、最大大きさCU(Largest Coding Uni
t、以下‘LCU’という)内でCUを分割する方法の一例を簡単に示す。
【0042】
符号化装置に入力された映像は、
図3のように、LCU単位に順次分割された後、LC
U単位で分割構造が決定されることができる。
【0043】
分割構造は、LCU内で映像を効率的に符号化するためのCUの分布を意味する。CU
の分布は、CUの大きさを縦横に半分減少した4個のCUに分割するかどうかを決定する
ことによって特定されることができる。分割されたCUは、同じ方式により縦横に半分減
少した4個のCUに再帰的に分割することができる。
【0044】
このとき、CUの分割は、予め定義された深さまで実行されることもできる。深さ情報
は、CUの大きさを示す情報であり、全てのCUに格納されている。基本になるLCUの
深さは0であり、最小大きさCU(Smallest Coding Unit、以下‘S
CU’という)の深さは、予め定義された最大深さである。
【0045】
LCUから縦横に半分に分割を実行する時毎にCUの深さが1ずつ増加する。それぞれ
の深さで、分割が実行されないCUの場合には、2N×2Nの大きさを有し、分割が実行
される場合、分割前2N×2NのCUは、N×N大きさのCU4個に分割される。
【0046】
CUの大きさは、深さが1ずつ増加する時毎に半分に減少する。
図3では、最小深さが
0であるLCUの大きさが64×64画素であり、最大深さが3であるSCUの大きさが
8×8画素である場合を例として説明する。
【0047】
図3の例において、64×64画素のCU(LCU)は、深さが0であり、32×32画
素のCUは、深さが1であり、16×16画素のCUは、深さが2であり、8×8画素の
CU(SCU)は、深さが3である。
【0048】
また、CUを分割するかどうかに対する情報は、CU毎に1ビットの分割情報を介して
表現する。この分割情報は、SCUを除外した全てのCUに含まれており、CUを分割し
ない場合には分割情報の値を0に設定し、分割する場合には分割情報の値を1に設定する
ことができる。
【0049】
予測単位(Prediction Unit、以下‘PU’という)は、予測の単位であ
る。
【0050】
図4は、PUの分割構造に対する例を概略的に説明する図面である。
【0051】
図4の例のように、一つのCUは、複数個のPUに分割されて予測が実行されることが
できる。
【0052】
変換単位(Transform Unit、以下‘TU’という)は、CU内で空間変換
と量子化過程に使われる基本単位である。TUは、正四角形状又は直四角形状を有するこ
とができる。
【0053】
各CUは、一つ又はそれ以上のTUブロックを有することができ、これはクワッドツリ
ー(quad-tree)の構造を有する。
【0054】
図5は、CU内TUの分割構造の一例を簡単に示す。図示されているように、CU51
0内TUは、クワッドツリー構造によって多様な大きさを有することができる。
【0055】
画面内予測(intra prediction)符号化/復号化では、現在ブロックの周
辺ブロックから方向性による予測符号化を実行することができる。
【0056】
画面内予測では、33個の方向性予測モードと3個の非方向性予測モードを加えて総3
6個の予測モードを有して符号化/復号化を実行する。
【0057】
図6は、画面内予測のモードを概略的に説明する図面である。
【0058】
36個の画面内予測方向モードのうち、方向性がない3個のモードとして、平面モード
(Planar;Intra_Planar)、平均モード(DC;Intra_DC)、及び
復元された輝度信号から色差信号を予測するモード(LM;Intra_FromLuma
)が存在する。画面内予測では、この3個の非方向性モードを全部使用することができ、
このうち一部のみを利用することもできる。例えば、平面モードと平均モードのみを使用
し、LMモードを使用しない。
【0059】
36個の画面内予測方向モードに対する符号化は、輝度信号及び色差信号に各々適用さ
れることができる。輝度信号の場合、LMモードは除外されることができ、色差信号の場
合、画面内予測方向モードに対する符号化は、表1のように三つの方法により実行される
ことができる。
【0060】
【0061】
表1において、1番目に輝度信号の画面内予測方向モードを色差信号の画面内予測方向
モードにそのまま適用する誘導されたモード(DM:Derived Mode)が存在し
、2番目に実際画面内予測方向モードを適用する符号化モード(EM:Explicit
Mode)が存在する。EMモードに符号化される色差信号の画面内予測方向モードは、
平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ve
r)、垂直方向で8番目位置したモード(Ver+8又は34番モード)が存在する。最後
に復元された輝度信号から色差信号を予測するLMモードが存在する。
【0062】
この三つのモードの符号化/復号化方法の中から最も効率が良いものが選択されること
ができる。
【0063】
色差信号を予測して符号化/復号化する方法により復元された輝度信号サンプルから色
差信号を予測する方法(Intra_FromLuma)を利用することもできる。この技
術は、色差信号と輝度信号の線形的相関関係を利用する。このとき、利用される線形的相
関関係の一例は、数式1の通りである。
【0064】
【0065】
図7は、数式1の関係を概略的に説明する図面である。
【0066】
数式1のPred
c[x,y]は、
図7(a)の色差(chroma)信号の予測値を意味し
、Rec
L[x,y]は、色差信号の4:2:0サンプリング比率を合わせるために輝度(l
uma)信号を数式2を介して計算した値を意味する。
【0067】
【0068】
数式2において、α値とβ値は、ダウンサンプリングされた輝度信号と色差信号との間
の加重値(α)及び補償値(β)を示す。
【0069】
数式1及び数式2を介して取得された色差信号に対する予測映像を利用することで、原
本映像との差である差分映像が生成されることができる。
【0070】
差分映像は、周波数領域変換と量子化を経てエントロピー符号化される。併せて、周波
数領域変換には、整数変換、整数離散余弦変換(DCT)、整数離散正弦変換(DST)、又
は画面内予測モード従属的なDCT/DSTなどがある。
【0071】
前述したように、原本映像と予測映像との差分映像は、周波数領域変換と量子化を経た
後、エントロピー符号化されることができる。このとき、エントロピー符号化の効率を上
げるために、2次元形態の量子化された映像の係数を1次元形態に再整列することができ
る。
【0072】
既存には、ジグザグスキャニング方法を使用した。これと異なり、本明細書では、量子
化係数に対するスキャニング方法として、ジグザグスキャニング方法でない上段右側方向
(Up-right)を使用することができる。併せて、周波数領域変換には、整数変換、
整数離散余弦変換(DCT)、整数離散正弦変換(DST)、又は画面内予測モード従属的な
DCT/DSTなどがある。
【0073】
任意のブロックに対する量子化係数は、4×4大きさのサブブロックのグループに分け
られて符号化/復号化されることができる。
【0074】
図8は、重要グループフラグ及び変換係数に対する上段右側方向スキャニングの一例を
説明する図面である。
【0075】
図8は、16×16大きさのブロックを4×4大きさのサブブロック16個に分けて符
号化する例を示す。
【0076】
図8(a)は、スキャニングの基本的な方法を示し、
図8(b)は、実際量子化係数をスキ
ャニングする場合の例とその結果を簡単に示す。
【0077】
復号化過程で各サブブロックに変換係数が存在するかどうかは、ビットストリームから
パーシングされたsignificant_coeff_group_flag(sigGr
pFlag)を介して確認することができる。significant_coeff_gr
oup_flag値が‘1’の場合、当該4×4サブブロックに量子化された変換係数が
一つでも存在することを意味し、それに対し、significant_coeff_gr
oup_flag値が‘0’の場合、当該4×4サブブロックに量子化された変換係数が
存在しないことを意味する。
図8における4×4サブブロックに対するスキャニング方向
及びsignificant_coeff_group_flagに対するスキャニング方
向には、両方とも基本的に上段右側(Up-right)スキャニング方向が適用された。
【0078】
図8では、上段右側方向のスキャニング方法が適用されることを説明したが、量子化係
数に対するスキャニング方法には、上段右側方向(Up-right)、水平方向(Hor
izontal)、垂直方向(Vertical)がある。
【0079】
画面間予測では、上段右側方向(Up-right)スキャニング方法を基本的に使用す
ることができ、画面内予測では、上段右側方向(Up-right)、水平方向(Hori
zontal)、垂直方向(Vertical)を選択的に使用することができる。
【0080】
画面内予測において、スキャニング方向は、画面内予測方向によって異なるように選択
されることができる。輝度信号及び色差信号の両方ともに適用されることもできる。
【0081】
表2は、画面予測方向によってスキャニング方向を決定する方法の一例を説明するもの
である。
【0082】
【0083】
表2において、“IntraPredModeValue”は、画面内予測方向を意味
し、輝度信号の場合はIntraPredMode値に該当し、色差信号の場合はInt
raPredModeC値に該当する。また、“log2TrafoSize”は、現在
変換ブロックの大きさを‘log’を使用して表示したものを意味する。
【0084】
例えば、IntraPredModeValueが‘1’というのは、“Intra_
DC”モードを意味し、“log2TrafoSize-2”が‘1’というのは、8×
8ブロックを意味する。
【0085】
また、表2において、IntraPredModeValueとlog2TrafoS
izeにより決定される数0、1、2は、スキャン方向を特定する。例えば、表2におい
て、2は上段右側スキャン方向(Up-right)を示し、1は水平スキャン方向(Ho
rizontal)を示し、2は垂直スキャン方向(Vertical)を示す。
【0086】
図9は、画面予測方向によってスキャニング方向を決定する方法の一例を説明するフロ
ーチャートである。
【0087】
図9において、IntraPredModeは、輝度信号に対する画面内予測方向モー
ドを意味し、IntraPredModeCは、色差信号に対する画面内予測方向モード
を意味する。IntraPredMode(C)は、信号の成分によって輝度信号であって
もよく、色差信号であってもよい。ScanTypeは、残差信号スキャニング方向を意
味し、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horiz
ontal=1)、垂直方向(VER;Vertical=2)がある。
【0088】
図9の例は、エンコーダ装置とデコーダ装置で実行されることができる。また、エンコ
ーダ装置とデコーダ装置内の所定のモジュールで実行されることもできる。
【0089】
図10は、画面予測方向によってスキャニング方向を決定する方法の他の例を簡単に説
明するフローチャートである。
【0090】
図10の例では、輝度信号に対するスキャニング方法と色差信号に対するスキャニング
方法が異なるように表現されている。前記図面において、インデックス(Index)は、
変換の大きさを示す指示子であり、各変換大きさによるIndex値は、下記のように求
めることができる。
【0091】
変換大きさが64×64の場合にはIndex=1、変換大きさが32×32の場合に
はIndex=2、変換大きさが16×16の場合にはIndex=3、変換大きさが8
×8の場合にはIndex=4、変換大きさが4×4の場合にはIndex=5、変換大
きさが2×2の場合にはIndex=6になる。
【0092】
したがって、前記図面を介して画面内予測方向によるスキャニングは、輝度信号の場合
、8×8変換大きさと4×4変換大きさに適用しており、色差信号の場合、最も小さい大
きさである4×4変換大きさにのみ適用していることが分かる。また、画面内予測方向に
よるスキャニングを適用しない場合、全部上段右側方向(DIAG;Up-right=
0)スキャニングを適用することができる。
【0093】
画面内予測において、量子化係数を符号化するために表2から求められたスキャニング
方向は、8のように、4×4サブブロックに対するスキャニング方向及びsignifi
cant_coeff_group_flagに対するスキャニング方向として使われるこ
とができる。
【0094】
前述したように、エンコーディング過程で原本映像と予測映像との差分映像(残余映像)
は、周波数領域変換と量子化を経た後、エントロピー符号化される。このとき、周波数領
域変換による符号化の効率を上げるために、整数変換、整数離散余弦変換(DCT)、整数
離散正弦変換(DST)、又は画面内予測モード従属的なDCT/DSTなどをブロックの
大きさによって選択的又は適応的に適用することができる。
【0095】
また、デコーディング過程では、エントロピー復号化、逆量子化、周波数領域の逆変換
を経て差分映像が復号化される。このとき、整数逆変換、整数離散余弦役変換、整数離散
正弦役変換又は画面内予測モード従属的なDCT/DSTなどをブロック大きさによって
選択的又は適応的に利用することができる。
【0096】
図11は、残余映像に対する周波数変換方式を選択する方法の一例を説明するフローチ
ャートである。
【0097】
まず、現在ブロックが画面内符号化(Intra)で符号化され、且つ輝度信号(Lum
a)のブロックでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周
波数変換方式は、整数変換又は整数離散余弦変換(DCT)を適用する。
【0098】
そうでない場合(現在ブロックが画面内符号化(Intra)で符号化され、且つ輝度信
号(Luma)のブロックである場合)、現在ブロックの輝度信号に対する画面内予測方向
モード(IntraPredMode)を取得する。
【0099】
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかを
確認する。もし、現在ブロックが4×4大きさ(iWidth==4)のブロックでない場
合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換方式は、整数変
換又は整数離散余弦変換(DCT)を適用する。
【0100】
そうでない場合(現在ブロックが4×4大きさ(iWidth==4)のブロックである
場合)、現在ブロックの画面内予測方向モードを検査する。
【0101】
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には整数離散
正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用する。
【0102】
現在ブロックの色差信号に対する周波数変換方式は、水平垂直方向の両方ともに整数離
散余弦変換(DCT)を実行する。
【0103】
一方、もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より
大きく且つ‘25’より小さい場合、現在ブロックの輝度信号に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用する。
【0104】
現在ブロックの色差信号に対する周波数変換方式では、水平垂直方向の両方ともに整数
離散余弦変換(DCT)を実行する。
【0105】
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合、現在ブロックの輝度信号に対する周波数変換方式として、水平方向には
整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DST)を適用する
。
【0106】
現在ブロックの色差信号に対する周波数変換方式では、水平垂直方向の両方ともに整数
離散余弦変換(DCT)を実行する。
【0107】
そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用する。
【0108】
図11で、iWidthは、変換の大きさを示す指示子であり、各変換大きさによるi
Width値は、下記のように求めることができる。
【0109】
変換大きさが64×64の場合にはiWidth=64、変換大きさが32×32の場
合にはiWidth=32、変換大きさが16×16の場合にはiWidth=16、変
換大きさが8×8の場合にはiWidth=8、変換大きさが4×4の場合にはiWid
th=4、変換大きさが2×2の場合にはiWidth=2になる。
【0110】
図11と関連して、スケールされた変換係数のための変換過程(Transforma
tion process for scaled transform coeffici
ents)は、下記の通りである。
【0111】
<スケールされた変換係数のための変換過程>
【0112】
ここでの入力は、下記の通りである。
【0113】
-現在変換ブロックの幅Width:nW
【0114】
-現在変換ブロックの高さHeight:nH
【0115】
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列(array)d
【0116】
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
【0117】
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
【0118】
ここでの出力は、下記の通りである。
【0119】
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列(array)r
【0120】
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、cIdx値が‘0’の場合、
輝度信号の画面内予測方向モードによって変数horizTrTypeとvertTrT
ypeは、以下の表3を介して求められる。もし、そうでない場合、変数horizTr
TypeとvertTrTypeは‘0’に設定する。
【0121】
【0122】
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
【0123】
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式3のように誘導する。
【0124】
【数3】
g
ij=Clip3(-32768,32767,(e
ij+64)>>7)
【0125】
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
【0126】
次に、cIdxによって残余信号に対する配列(nW×nH array r)を数式4の
ように設定する。
【0127】
【0128】
ここで、‘shift’は、cIdxが‘0’の場合、shift=20-BitDe
pthYであり、そうでない場合、shift=20-BitDepthC値を有し、B
itDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味する
。
【0129】
前述したように、色差信号を予測する方法により復元された輝度信号サンプルから色差
信号を予測する方法(Intra_FromLuma)を利用することもできる。
【0130】
Intra_FromLuma方法を利用して符号化された色差成分に対する残余信号(
誤差信号:residual)は、画面内方向モードが存在しないため、基本的に上段右
側方向(Up-right=0)にスキャニングされて符号化が実行される。
【0131】
しかし、Intra_FromLuma方法は、輝度信号と色差信号との類似性を利用
するため、Intra_FromLuma方法により得られた色差信号に対する残余信号
は、輝度信号の残余信号と類似する特性を有する可能性が高い。このような特性を利用し
て色差信号の残余信号に対する符号化効率を上げることができる。
【0132】
また、4×4輝度信号ブロックに対しては、輝度信号の画面内予測方向モードによって
整数離散余弦変換(DCT)及び整数離散正弦変換(DST)を水平垂直方向に異なるように
適用して符号化効率を上げた。これに対し、従来4×4色差信号ブロックに対しては整数
離散余弦変化(DCT)のみを使用している。
【0133】
色差信号の残余映像に対する特性は、輝度信号の残余映像に対する特性と類似する可能
性がある。したがって、輝度信号の残余映像に適用された画面内予測方向モードによる選
択的周波数変換方式を色差信号の残余映像にも適用して符号化効率を上げることができる
。
【0134】
また、色差信号を予測する方法により復元された輝度信号サンプルから色差信号を予測
する方法(Intra_FromLuma)は、輝度信号と色差信号との類似性を利用する
ため、Intra_FromLuma方法により得られた色差信号に対する残余信号が輝
度信号の残余信号と類似する特性を有する可能性が高い。このような特性を利用して色差
信号の残余信号に対する選択的周波数変換方式を利用することで、符号化効率を上げるこ
とができる。
【0135】
このように、Intra_FromLuma方法は、輝度信号と色差信号との類似性を
利用した画面内予測方法である。輝度信号と色差信号が類似するという特性を利用するこ
とで、色差信号の残余信号に対するスキャニング方向を輝度信号の画面内予測方向から誘
導することができる。
【0136】
本明細書では、以下、色差信号に対するスキャニング方向を誘導する方法及び装置に対
して具体的に説明する。
【0137】
[実施例1]色差信号に対するスキャニング方向を輝度信号の画面内予測方向モードに
誘導する方法及び装置
【0138】
図12は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一
例を説明するフローチャートである。
【0139】
図12の例において、色差信号に対するスキャニング方向の誘導は、輝度信号の画面内
予測方向モードに決定されることができる。即ち、輝度信号に対するスキャニング方向が
色差信号にそのまま適用されることができる。したがって、色差信号のスキャニング方向
を誘導するための計算が必要ないため、複雑度減少効果が存在する。
【0140】
図12の動作は、
図1のエンコーディング装置及び
図2のデコーディング装置で実行さ
れることができる。
【0141】
図12を参照すると、現在ブロックの輝度成分が画面内予測されたかどうかが判断され
る(S1210)。現在ブロックが画面内予測されない場合(画面間予測された場合)現在ブ
ロックの色差成分と輝度成分に対しては上段右側方向のスキャニングが実行される(S1
260)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対するス
キャンタイプが両方とも上段右側方向のスキャンになる。
【0142】
現在ブロックの輝度成分が画面内予測され、現在ブロックの輝度成分に対する画面内予
測モードが6以上14以下であるかどうかが判断される(S1220)。即ち、現在ブロッ
クの輝度成分に対する画面内予測モードが水平方向の画面内予測モード又は水平に近い方
向の画面内予測モードであるかどうかが判断される(S1220)。
【0143】
現在ブロックの輝度成分に対する画面内予測モードが6以上14以下である場合、現在
ブロックに対する輝度成分と色差成分に対しては垂直方向のスキャニングが実行される(
S1240)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対す
るスキャンタイプが両方とも垂直方向のスキャンになる。
【0144】
現在ブロックの輝度成分が画面内予測されたが、現在ブロックの輝度成分に対する画面
内予測モードが6以上14以下でない場合、現在ブロックの輝度成分に対する画面内予測
モードが22以上30以下であるかどうかが判断される(S1230)。即ち、現在ブロッ
クの輝度成分に対する画面内予測モードが垂直方向の画面内予測モード及び垂直に近い方
向の画面内予測モードであるかどうかが判断される。
【0145】
現在ブロックの輝度成分に対する画面内予測モードが22以上30以下である場合、現
在ブロックに対する輝度成分と色差成分に対しては水平方向のスキャニングが実行される
(S1250)。即ち、現在ブロックの輝度成分に対するスキャンタイプと色差成分に対す
るスキャンタイプが両方とも水平方向のスキャンになる。
【0146】
現在ブロックの輝度成分が画面内予測されたが、現在ブロックの輝度成分に対する画面
内予測モードが6以上14以下でも22以上30以下でもない場合には、現在ブロックの
輝度成分と色差成分に対して上段右側方向のスキャンが適用される(S1260)。
【0147】
図13は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の他
の例を説明するフローチャートである。
図13の例によると、輝度信号に対するスキャニ
ング方法と色差信号に対するスキャニング方法が統一される効果を得ることができる。
【0148】
図13の動作は、
図1の符号化装置及び
図2の復号化装置で実行されることができる。
【0149】
図13を参照すると、まず、現在ブロックが画面内予測されたかどうかが判断される(
S1310)。
【0150】
画面内予測されない場合、現在ブロックの輝度信号及び色差信号に対しては上段右側方
向のスキャンが適用される(S1390)。
【0151】
現在ブロックが画面内予測された場合、現在ブロックの大きさがインデックスに転換さ
れる(S1320)。例えば、現在ブロックの大きさを特定するインデックスが設定される
ことができる。
【0152】
次に、現在ブロックの画面内予測モードに対する情報、IntraPredModeが
取得されることができる(S1330)。現在ブロックに対する画面内予測モードを指示す
る情報IntraPredModeは、
図6に基づいて取得されることができる。
【0153】
現在ブロックに対してS1320ステップで設定されたインデックスが3より大きく且
つ6より小さいかどうかが判断される(S1340)。現在ブロックに対するインデックス
が3より大きく且つ6より小さい場合でないと、現在ブロックの輝度信号及び色差信号に
対しては上段右側方向のスキャンが適用される(S1390)。
【0154】
現在ブロックに対するインデックスが3より大きく且つ6より小さい場合、現在ブロッ
クの色差信号に対する画面内予測モードが6以上14以下であるかどうかが判断される(
S1350)。現在ブロックの色差信号に対する画面内予測モードが6以上14以下であ
る場合、現在ブロックの色差信号に対して垂直方向のスキャンが適用される(S1370)
。
【0155】
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でない場合、現在
ブロックの色差信号に対する画面内予測モードが22以上30以下であるかどうかが判断
される(S1360)。現在ブロックの色差信号に対する画面内予測モードが22以上30
以下である場合、現在ブロックの色差信号に対して水平方向のスキャンが適用される(S
1380)。
【0156】
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でも22以上30
以下でもない場合、現在ブロックの色差信号に対して上段右側方向のスキャンが適用され
る(S1390)。
【0157】
図13の例は、
図12の例と異なり、現在ブロックの色差信号に対する画面内予測モー
ドを判断してスキャンタイプを決定するが、
図12の場合と同様に、色差信号と輝度信号
のスキャニング方法が同じ方法により決定される。
【0158】
即ち、
図13のフローチャートは、輝度信号のスキャニングにも同一に適用されること
ができる。S1350ステップとS1360において、括弧を使用してIntraPre
dMode(C)と表示した理由は、輝度信号に対してはIntraPredModeを介
して輝度信号に対する画面内予測モードを特定して適用し、色差信号に対してはIntr
aPredModeCを介して色差信号に対する画面内予測モードを特定して適用するこ
とができるということを意味する。
【0159】
したがって、
図13のフローチャートは、輝度信号と色差信号に同一に適用することが
でき、輝度信号に対するスキャニングタイプと色差信号に対するスキャニングタイプは同
じ方法により各々決定されることができる。このとき、スキャニングタイプは、垂直方向
のスキャン、水平方向のスキャン、上段右側方向のスキャンのうちいずれか一つになる。
【0160】
前述した
図12及び
図13の例を変換単位(Transform Unit、以下‘TU
’という)に対するシンタックス構造に反映すると、表4の通りである。
【0161】
表4は、本実施例1によるTUシンタックスの一例を示す。
【0162】
【0163】
ここで、Transform_unitは、一つのTUブロックに対するビットストリ
ームの順序を意味する。log2TrafoSizeは、入力されたlog2Trafo
Widthとlog2TrafoHeightとの間の和を右側シフト(Shift)演算
した結果を意味し、輝度信号に対するTUブロック大きさを意味する。log2Traf
oSizeCは、色差信号に対するTUブロック大きさを意味する。
【0164】
PredModeは、現在ブロックに対する符号化モードを意味し、画面内符号化の場
合‘Intra’であり、画面間符号化の場合‘Inter’である。scanIdxは
、現在TUブロックの輝度信号に対するスキャニング方向情報を示し、上段右側方向(D
IAG;Up-right=0)、水平方向(HOR;Horizontal=1)、垂直
方向(VER;Vertical=2)がある。
【0165】
scanIdxCは、現在TUブロックの色差信号に対するスキャニング方向情報を示
し、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horizo
ntal=1)、垂直方向(VER;Vertical=2)がある。
【0166】
ScanType(スキャンタイプ)は、表2の画面予測方向によるスキャニング方向
を決定する方法のテーブルに基づいて決定される。
【0167】
IntraPredModeは、輝度信号に対する画面内予測方向情報を意味し、In
traPredModeCは、色差信号に対する画面内予測方向情報を意味する。
【0168】
表4と関連して、変換係数レベルは、transCoeffLevel配列にパーシン
グされることができる。このとき、PredModeがIntraである場合、画面内予
測方向モードによって各々異なるスキャニング方向が適用される。このようなスキャニン
グ方向は、表2のScanType配列から得られることができる。
【0169】
色差信号のスキャニング方向は、輝度信号のスキャニング方向をそのまま使用すること
ができる。
【0170】
[実施例2-1]色差信号の画面内予測方向モードが“Intra_FromLuma
”の場合、輝度信号のスキャニング方向を色差信号にそのまま使用する方法及び装置
【0171】
図14は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一
実施例を示すフローチャートである。
【0172】
図14を参照すると、現在ブロックの色差信号の画面内予測方向モードが画面内予測モ
ードであるかどうかを判断する(S1410)。画面内予測モードが適用されない場合、現
在ブロックに対しては上段右側方向のスキャンが適用される。
【0173】
現在ブロックがイントラ予測された場合、現在ブロックの色差信号に対する画面内予測
モードがIntra_FromLumaであるかどうかが判断される(S1420)。現在
ブロックの色差信号に対する画面内予測モードがIntra_FromLumaの場合、
現在ブロックの輝度信号に対する画面内予測モードを現在ブロックの色差信号に対する画
面内予測モードに設定する(S1440)。
【0174】
即ち、現在ブロックの色差信号に対する画面内予測モードが“Intra_FromL
uma”の場合、色差信号の画面内予測方向モードに輝度信号の画面内予測方向モードを
入力して色差信号に対するスキャニング方向を誘導することができる。即ち、色差信号の
画面内予測方向モードが“Intra_FromLuma”の場合には、輝度信号のスキ
ャニング方向をそのまま使用することができる。
【0175】
次に、現在ブロックの色差信号に対する画面内予測モードが6以上14以下であるかど
うかが判断される(S1430)。現在ブロックの色差信号に対する画面内予測モードが6
以上14以下である場合、現在ブロックの色差信号に対して垂直方向のスキャンが適用さ
れる(S1460)。
【0176】
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でない場合、現在
ブロックの色差信号に対する画面内予測モードが22以上30以下であるかどうかが判断
される(S1450)。現在ブロックの色差信号に対する画面内予測モードが22以上30
以下である場合、現在ブロックの色差信号に対して水平方向のスキャンが適用される(S
1470)。
【0177】
現在ブロックの色差信号に対する画面内予測モードが6以上14以下でも22以上30
以下でもない場合、現在ブロックの色差信号に対して上段右側方向のスキャンが適用され
る(S1480)。
【0178】
[実施例2-2]色差信号の画面内予測方向が輝度信号の画面内予測方向と同じ、又は
色差信号の画面内予測モードが“Intra_FromLuma”モードの場合、輝度信
号のスキャニング方向を色差信号にそのまま使用する方法及び装置
【0179】
図15は、本実施例によって、色差信号に対するスキャニング方向を誘導する方法の一
実施例を説明するフローチャートである。
【0180】
図15を参照すると、DM(輝度信号の画面内予測方向モードを色差信号の画面内予測
方向モードとして使用する方法又は色差信号の画面内予測方向が輝度信号の画面内予測方
向と同じになる場合を意味)とLM(Intra_FromLuma)方法が一つで統一され
ることを確認することができる。
【0181】
まず、現在ブロックが画面内予測されたかどうかが判断される(S1505)。画面内予
測でない場合、現在ブロックに対して上段右側方向のスキャンが適用される(S1575)
。
【0182】
現在ブロックが画面内予測された場合、現在ブロックの幅がインデックスに転換される
(S1510)。
【0183】
判断対象サンプルが輝度信号であるかどうかが判断される(S1515)。輝度信号でな
い場合、現在ブロックにDM又はLMが適用されるかどうかを判断し(S1530)、判断
対象が輝度信号の場合、画面内予測モードを指示する情報を取得する(S1520)。
【0184】
応用分野によるプロファイリングのためにLMモードを使用せずにDMモードのみを使
用して色差信号の画面内符号化又は復号化を進行するように制限された場合に本発明を適
用すると、
図15の例において、S1530ステップを適用する時、LMが適用されるか
に対する判断をせずにDNが適用されるかどうかに対してのみ判断することもできる。
【0185】
対象が輝度信号の時、S1525でインデックスが3より大きく且つ6より小さい場合
(即ち、変換大きさが8×8又は4×4の場合)、現在ブロックの輝度信号に対する画面内
予測モードが6以上14以下であるかどうかを判断する(S1555)。現在ブロックの輝
度信号に対する画面内予測モードが6以上14以下である場合、現在ブロックの輝度信号
に対して垂直方向のスキャンが適用される(S1565)。
【0186】
また、現在ブロックの輝度信号に対する画面内予測モードが22以上30以下であるか
どうかを判断(S1560)し、水平方向のスキャンが適用され(S1570)、又は上段右
側方向のスキャンが適用される(S1575)。
【0187】
一方、対象が色差信号である場合、現在ブロックのモードがDM又はLMであるかどう
かが判断される(S1530)。現在ブロックの色差信号に対するモードがDM又はLMで
ない場合、色差信号に対する画面内予測モードを指示する情報を取得し(S1545)、D
M又はLMである場合、輝度信号に対する画面内予測モードを指示する情報を取得した後
(S1535)、色差信号のスキャン方向決定のために色差信号に対する画面内予測モード
を輝度信号に対する画面内予測モードに設定する(S1540)。
【0188】
次に、インデックスが4より大きく且つ7より小さいかどうか(即ち、変換大きさが4
×4又は2×2であるかどうか)が判断される(S1550)。インデックスが4より大き
く且つ7より小さい場合でないと、現在ブロックの色差信号に上段右側方向のスキャンが
適用される(S1575)。
【0189】
インデックスが4より大きく且つ7より小さい場合には、現在ブロックの色差信号に対
する画面内予測モードが6以上14以下であるかどうかを判断する(S1555)。現在ブ
ロックの色差信号に対する画面内予測モードが6以上14以下である場合、現在ブロック
の色差信号に対して垂直方向のスキャンが適用される(S1565)。
【0190】
また、現在ブロックの色差信号に対する画面内予測モードが22以上30以下であるか
どうかを判断(S1560)し、水平方向のスキャンが適用され(S1570)、又は上段右
側方向のスキャンが適用される(S1575)。
【0191】
前述した
図14及び
図15の例を変換単位(Transform Unit、以下‘TU
’という)に対するシンタックス構造に反映すると、表5の通りである。
【0192】
表5は、本実施例1によるTUシンタックスの一例を示す。
【0193】
【0194】
ここで、Transform_unitは、一つのTUブロックに対するビットストリ
ームの順序を意味する。log2TrafoSizeは、入力されたlog2Trafo
Widthとlog2TrafoHeightとの間の和を右側シフト(Shift)演算
した結果を意味し、輝度信号に対するTUブロック大きさを意味する。
【0195】
log2TrafoSizeCは、色差信号に対するTUブロック大きさを意味する。
PredModeは、現在ブロックに対する符号化モードを意味し、画面内符号化の場合
‘Intra’であり、画面間符号化の場合‘Inter’である。
【0196】
scanIdxは、現在TUブロックの輝度信号に対するスキャニング方向情報を示し
、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horizon
tal=1)、垂直方向(VER;Vertical=2)がある。
【0197】
scanIdxCは、現在TUブロックの色差信号に対するスキャニング方向情報を示
し、上段右側方向(DIAG;Up-right=0)、水平方向(HOR;Horizo
ntal=1)、垂直方向(VER;Vertical=2)がある。
【0198】
ScanTypeは、表2の予測方向によるスキャニング方向を決定する方法に基づい
て決定されることができる。
【0199】
IntraPredModeは、輝度信号に対する画面内予測方向情報を意味し、In
traPredModeCは、色差信号に対する画面内予測方向情報を意味する。前記シ
ンタックス表に示すように、もし、IntraPredModeC値がIntra_Fr
omLumaの場合には、輝度信号で使用したスキャニング方向を色差信号にそのまま適
用する。
【0200】
表5と関連して、変換係数レベルは、transCoeffLevel配列にパーシン
グされる。このとき、PredModeがIntraである場合、画面内予測方向モード
によって各々異なるスキャニング方向が適用される。このようなスキャニング方向は、以
下の表のScanType配列から得られることができる。明るさ信号に対するスキャニ
ング方向指示子であるscanIdxを得ようとする時は、以下の表のIntraPre
dModeValue値として明るさ信号画面内予測モードを示すIntraPredM
ode値を使用し、色差信号に対するスキャニング方向指示子であるscanIdxCを
得ようとする時は、表6のIntraPredModeValue値として色差信号画面
内予測モードを示すIntraPredModeC値を使用する。
【0201】
表6は、スキャンタイプを決定する方法の一例を示す。
【0202】
【0203】
表6において、スキャンタイプScanTypeは、log2TrafoSizeとI
ntraPredModeValueにより次のように決定されることができる:Sca
nType[log2TrafoSize-2][IntraPredModeValue]
【0204】
前述したように、変換係数レベルは、transCoeffLevel配列にパーシン
グされる。このとき、PredModeが‘Intra’である場合、画面内予測方向モ
ードによって各々異なるスキャニング方向が適用される。
【0205】
このとき、ScanType[log2TrafoSize-2][IntraPred
ModeValue]は、輝度信号変換ブロックの大きさ(log2TrafoSize)
と画面内予測方向モード(IntraPredModeValue)によって表7のシンタ
ックスによって設定されることができる。
【0206】
【0207】
輝度信号に対するスキャニング方向指示子であるscanIdxを得ようとする時は、
表2のIntraPredModeValue値として輝度信号の画面内予測モードを示
すIntraPredMode値を使用し、色差信号に対するスキャニング方向指示子で
あるscanIdxCを得ようとする時は、表2のIntraPredModeValu
e値として色差信号画面内予測モードを示すIntraPredModeC値を使用する
。
【0208】
本実施例では、現在色差ブロックが“Intra_FromLuma”モードに符号化
された時だけでなく、下記のような場合にも適用することができる。
【0209】
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して本実施例を適用することができる。
【0210】
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して本実施例を適用することができる。ここで、テ
ンプレートシフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
【0211】
その他、本実施例は、多様に適用することができる。
【0212】
例えば、本実施例は、ブロック大きさ又はCU深さ又はTU深さ等によって適用範囲を
異なるようにすることができる。このように適用範囲を決定する変数(即ち、大きさ又は
深さ情報)は、符号化器及び復号化器が予め決められた値を使用するように設定すること
もでき、プロファイル又はレベルによって決められた値を使用するようにすることもでき
、符号化器が変数値をビットストリームで記載すると、復号化器は、ビットストリームか
らこの値を求めて使用することもできる。
【0213】
CU深さによって適用範囲を異なるようにする時は、表8に例示したように、次の三つ
の方式のうちいずれか一つを適用することができる:方式A)与えられた深さ以上の深さ
にのみ適用する方式、方式B)与えられた深さ以下にのみ適用する方式、方式C)与えられ
た深さにのみ適用する方式。
【0214】
表8は、与えられたCU(又は、TU)深さが2の場合、本実施例の各方法を適用する範
囲を決定する方式の例を示す。表8において、Oは、当該深さに適用するということを示
し、Xは、当該深さに適用しないということを示す。
【0215】
【0216】
全ての深さに対して本発明の方法を適用しない場合は、任意の指示子(flag)を使用
して示すこともでき、適用範囲を示すCU深さ値としてCU深さの最大値より一つ大きい
値をシグナリングすることで表現することもできる。
【0217】
また、前述した本発明の方法を適用する範囲を決定する方式を、前述した実施例1と後
述する実施例に各々又は組合せて適用することもできることに留意する。
【0218】
[実施例3]色差信号の画面内予測方向モードによって色差信号の残余映像に対する周
波数変換方式を選択的に誘導する方法及び装置
【0219】
本実施例では、輝度信号の残余映像に適用された画面内予測方向モードによる選択的周
波数変換方式を色差信号の残余映像にも適用することによって符号化効率を上げることが
できる。
【0220】
また、本実施例では、Intra_FromLuma方法により得られた色差信号に対
する残余信号は、輝度信号の残余信号と類似する特性を有するという性質を利用して選択
的に周波数変換をすることができる。
【0221】
図16は、本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の
残余映像に対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャー
トである。
【0222】
図16を参照すると、まず、現在ブロックが画面内符号化(Intra)で符号化され、
且つ現在ブロックが4×4大きさ(trafoSize(又は、iWidth)==4)のブ
ロックの場合(S1605)、現在ブロックに対する周波数変換方式は、整数離散正弦変換
(DST)又は整数離散余弦変換(DCT)を適用する。そうでない場合(S1605)、現在
ブロックの周波数変換方式は、DCTを適用することができる(S1660)。
【0223】
次に、現在ブロックが輝度ブロックの場合(S1610)、輝度信号に対する画面内予測
方向モード(IntraPredMode)を取得する(S1620)。ここで、現在ブロッ
クの輝度信号に対する画面内予測方向モードを、輝度信号に対する残余映像の周波数変換
方式を誘導するのに使用することができる。
【0224】
もし、色差ブロックの場合(S1610)、DMモードであるかどうかを判断する(S1
615)。
【0225】
もし、現在ブロックが色差ブロックであり、且つDMブロックの場合、DCTを適用す
ることができる(S1660)。一方、もし、現在ブロックが色差ブロックであり、且つD
Mブロックでない場合、色差信号に対する画面内予測方向モードを、色差信号に対する残
余映像の周波数変換方式を誘導するのに使用することができる(S1625)。
【0226】
ここで、色差ブロックがDMモードに符号化された場合、DMモードのうち、EMモー
ド(平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(V
er)、垂直方向で8番目位置したモード(Ver+8又は34番モード))に該当する画面
内予測方向モードは、DST又はDCT又はそれ以外の周波数変換方法を適用することが
できる。
【0227】
次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
’より大きく且つ‘10’より小さい場合(S1620)、現在ブロック(輝度及び色差信
号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(DST)を
適用し、垂直方向には整数離散余弦変換(DCT)を適用することができる(S1645)。
【0228】
一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘0
’(Planar)であり、又は‘11’より大きく且つ‘25’より小さい場合(S16
35)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平
垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(S1650)。
【0229】
また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
6’より大きく且つ‘34’より小さい場合(S1640)、現在ブロック(輝度及び色差
信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる(S1655)
。
【0230】
そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができる(S
1660)。
【0231】
前述した
図16の方法を、スケールされた変換係数のための変換過程(Transfo
rmation process for scaled transform coeff
icients)に下記のように反映することができる。
【0232】
図16の例を反映したスケールされた変換係数のための変換過程
【0233】
ここでの入力は、下記の通りである。
【0234】
-現在変換ブロックの幅Width:nW
【0235】
-現在変換ブロックの高さHeight:nH
【0236】
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
【0237】
現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
【0238】
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
【0239】
ここでの出力は、下記の通りである。
【0240】
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
【0241】
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号の場合には、輝度信
号の画面内予測方向モードによって変数horizTrTypeとvertTrType
は、表9を介して求められる。
【0242】
色差信号の場合には、色差信号の画面内予測符号化モードが‘4’より小さい場合、色
差信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、表9を介して求められる。もし、そうでない場合、変数horizTrType
とvertTrTypeは‘0’に設定される。
【0243】
色差信号の画面内予測方向モードが‘35’の場合には、変数horizTrType
とvertTrTypeは‘0’に設定される。
【0244】
【0245】
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
【0246】
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式5のように誘導する。
【0247】
【0248】
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
【0249】
次に、cIdxによって残余信号に対する配列(nW×nH array r)を数式6の
ように設定する。
【0250】
【0251】
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
DepthYであり、そうでない場合、shift=20-BitDepthC値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
【0252】
図17は、本実施例によって、色差信号の画面内予測方向モードに基づいて色差信号の
残余映像に対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャ
ートである。
【0253】
図17を参照すると、まず、現在ブロックが画面内符号化(Intra)で符号化された
かどうかを判断(S1710)し、画面内符号化された場合、現在ブロックに対する周波数
変換方式は、整数離散正弦変換(DST)又は整数離散余弦変換(DCT)を適用する(S1
755)。
【0254】
そうでない場合(現在ブロックが画面内符号化(Intra)で符号化されない場合)、現
在ブロックの輝度又は色差信号に対する画面内予測方向モード(IntraPredMo
de(C))を取得する(S1715)。ここで、輝度信号に対する周波数変換方式を誘導す
る時は、IntraPredMode(C)がIntraPredMode(輝度信号に対
する画面内予測方向モード)に変更され、色差信号に対する周波数変換方式を誘導する時
は、IntraPredMode(C)がIntraPredModeC(色差信号に対す
る画面内予測方向モード)に変更される。ここで、現在ブロックの輝度信号に対する画面
内予測方向モードを、輝度信号に対する残余映像の周波数変換方式を誘導するのに使用す
ることができる。そして、現在ブロックの色差信号に対する画面内予測方向モードを、色
差信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。
【0255】
このとき、周波数変換方式を選択するための画面内予測方向モードは、下記の1~3の
うちいずれか一つのように多様な方法により取得することができる。
【0256】
1.現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号及び色差信号
に対する残余映像に全部適用して周波数変換方式を誘導するのに使用することができる。
【0257】
2.現在ブロックの色差信号に対する画面内予測方向モードを、輝度信号及び色差信号
に対する残余映像に全部適用して周波数変換方式を誘導するのに使用することができる。
【0258】
3.現在ブロックの輝度信号に対しては整数離散余弦変換(DCT)又は整数離散正弦変
換(DST)のみを使用することができる。そして、現在ブロックの色差信号に対する画面
内予測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用す
ることができる。
【0259】
その他、多様な方法により周波数変換方式が誘導されることができる。
【0260】
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかが
判断される(S1720)。もし、現在ブロックが4×4大きさ(iWidth==4)のブ
ロックでない場合、現在ブロックに対する周波数変換方式は、整数変換又は整数離散余弦
変換(DCT)を適用する(S1755)。
【0261】
そうでない場合(現在ブロックが4×4大きさ(iWidth==4)のブロックである
場合)、現在ブロックの画面内予測方向モードを検査する。
【0262】
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合(S1725)、現在ブロックに対する周波数変換方式として、水平方向には整数離
散正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用することが
できる(S1740)。
【0263】
一方、もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より
大きく且つ‘25’より小さい場合(S1730)、現在ブロックに対する周波数変換方式
として、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(
S1745)。
【0264】
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合(S1735)、現在ブロックに対する周波数変換方式として、水平方向に
は整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DST)を適用す
ることができる(S1750)。
【0265】
そうでない場合、現在ブロックに対する周波数変換方式として、水平垂直方向の両方と
もに整数離散余弦変換(DCT)を適用することができる(S1755)。
【0266】
このとき、画面内予測方向モードによる周波数変換方式は、多様に使われることができ
る。例えば、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より
小さい場合、前記例のように、周波数変換方式を適用することもできる。他の方法として
、現在ブロックに対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる。また、他の
方法として、現在ブロックに対する周波数変換方式として、水平垂直方向の両方ともに整
数離散余弦変換(DCT)を適用することもでき、又は水平垂直方向の両方ともに整数離散
正弦変換(DST)を適用することもできる。また、DC(平均値予測、方向性モードでな
いモード)モードのみを除いて他の全ての水平垂直方向に整数離散正弦変換(DST)を適
用することもできる。
【0267】
このように多様な周波数変換方式を多様に適用する方法は、現在ブロックの画面内予測
方向モードが‘2’より大きく且つ‘10’より小さい場合だけでなく、それ以外の画面
内予測方向モード範囲でも適用することができる。このような内容は、下記の実施例でも
同一に適用されることができる。
【0268】
前述した方法を、スケールされた変換係数のための変換過程(Transformat
ion process for scaled transform coefficie
nts)に下記のように反映することができる。
【0269】
図17の例を反映したスケールされた変換係数のための変換過程
【0270】
ここでの入力は、下記の通りである。
【0271】
-現在変換ブロックの幅Width:nW
【0272】
-現在変換ブロックの高さHeight:nH
【0273】
-要素(element)dijを有するスケールされた変換係数の配列;(nW×nH)
配列d
【0274】
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
【0275】
もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又はc
Idxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信号
でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
【0276】
ここでの出力は、下記の通りである。
【0277】
スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×nH)
配列r
【0278】
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、(1)輝度信号の場合には、輝
度信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、表10を介して求められ、(2)色差信号の場合には、色差信号の画面内予測方向
モードによって変数horizTrTypeとvertTrTypeは、表10を介して
求められる。もし、そうでない場合、変数horizTrTypeとvertTrTyp
eは‘0’に設定する。
【0279】
【0280】
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
【0281】
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式7のように誘導する。
【0282】
【0283】
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
【0284】
cIdxによって残余信号に対する配列(nW×nH array r)を数式8のように
設定する。
【0285】
【0286】
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
DepthYであり、そうでない場合、shift=20-BitDepthC値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
【0287】
[実施例4]色差信号のIntra_FromLuma(LM)符号化モードに対して輝
度信号の画面内予測方向モードによって色差信号の残余映像に対する周波数変換方式を選
択的に誘導する方法及び装置
【0288】
図18は、本実施例によって、色差信号のIntra_FromLuma(LM)符号化
モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周
波数変換方式を選択的に誘導する方法を説明するフローチャートである。
【0289】
図18によると、まず、現在ブロックが画面内符号化(Intra)で符号化され、且つ
現在ブロックが4×4大きさ(trafoSize(又は、iWidth)==4)のブロッ
クの場合(S1810)、現在ブロックに対する周波数変換方式は、整数離散正弦変換(D
ST)又は整数離散余弦変換(DCT)を適用する(S1855)。そうでない場合、現在ブ
ロックの周波数変換方式は、DCTを適用することができる。
【0290】
次に、現在ブロックが輝度ブロック又は色差ブロックであり、且つ色差ブロックの画面
内予測方向モードがLMモードの場合(S1815)、輝度信号に対する画面内予測方向モ
ード(IntraPredMode)を取得する(S1820)。
【0291】
ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号及び色差
信号に対する残余映像の周波数変換方式を誘導するのに使用することができる。
【0292】
もし、ブロック(LMモードでない色差ブロック)の場合、DCTを適用することができ
る(S1855)。
【0293】
次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
’より大きく且つ‘10’より小さい場合(S1825)、現在ブロック(輝度及び色差信
号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(DST)を
適用し、垂直方向には整数離散余弦変換(DCT)を適用することができる(S1840)。
【0294】
一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘0
’(Planar)であり、又は‘11’より大きく且つ‘25’より小さい場合(S18
30)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平
垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(S1845)。
【0295】
また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
6’より大きく且つ‘34’より小さい場合(S1835)、現在ブロック(輝度及び色差
信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる(S1850)
。そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができる(S
1855)。
【0296】
一方、前述した
図18の例に係るスケールされた変換係数のための変換過程(Tran
sformation process for scaled transform co
efficients)は、下記の通りである。
【0297】
図18の例に係るスケールされた変換係数のための変換過程
【0298】
ここでの入力は、下記の通りである。
【0299】
-現在変換ブロックの幅Width:nW
【0300】
-現在変換ブロックの高さHeight:nH
【0301】
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
【0302】
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
【0303】
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
【0304】
ここでの出力は、下記の通りである。
【0305】
-スケールされた変換係数を逆変換して求められた残余信号に対する配列;(nW×n
H)配列r
【0306】
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号の場合には、輝度信
号の画面内予測方向モードによって変数horizTrTypeとvertTrType
は、表11を介して求められ、色差信号の符号化モードがIntra_FromLuma(
LM)の場合には、輝度信号の画面内予測方向モードによって変数horizTrTyp
eとvertTrTypeは、表11を介して求められる。もし、そうでない場合、変数
horizTrTypeとvertTrTypeは‘0’に設定する。
【0307】
【0308】
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
【0309】
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式9のように誘導する。
【0310】
【0311】
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
【0312】
cIdxによって残余信号に対する配列(nW×nH array r)を数式10のよう
に設定する。
【0313】
【0314】
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
DepthYであり、そうでない場合、shift=20-BitDepthC値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
【0315】
図19は、本実施例によって、色差信号のIntra_FromLuma(LM)符号化
モードに対して輝度信号の画面内予測方向モードによって色差信号の残余映像に対する周
波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである。
【0316】
図19を参照すると、現在ブロックが条件1(画面内符号化(Intra)で符号化され
、且つ輝度信号(Luma)のブロック)又は条件2(現在ブロックがLMモードであり、且
つ色差(Chroma)信号のブロック)であるかどうかが判断される(S1910)。
【0317】
条件1又は条件2を満たさない場合、現在ブロックの輝度信号及び色差信号に対する周
波数変換方式は、整数変換又は整数離散余弦変換(DCT)を適用する(S1955)。
【0318】
そうでない場合(条件1又は条件2を満たす場合)、現在ブロックの輝度信号に対する画
面内予測方向モード(IntraPredMode)を取得する(S1915)。
【0319】
ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する
残余映像の周波数変換方式を誘導するのに使用することができる。そして、現在ブロック
の色差信号がLMモードに符号化された場合、現在ブロックの輝度信号に対する画面内予
測方向モードを、色差信号に対する残余映像の周波数変換方式を誘導するのに使用するこ
とができる。
【0320】
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかを
判断する(S1920)。もし、現在ブロックが4×4大きさ(iWidth==4)のブロ
ックでない場合、現在ブロックの輝度信号及び色差信号に対する周波数変換方式は、整数
変換又は整数離散余弦変換(DCT)を適用する(S1955)。そうでない場合(現在ブロ
ックが4×4大きさ(iWidth==4)のブロックである場合)、現在ブロックの画面
内予測方向モードを検査する。
【0321】
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合(S1925)、現在ブロックの輝度信号に対する周波数変換方式として、水平方向
には整数離散正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用
することができる(S1940)。現在ブロックの色差信号がLMモードに符号化された場
合、現在ブロックの輝度信号に対する周波数変換方式を、色差信号の残余映像を周波数変
換するのに使用することができる。
【0322】
しかし、現在ブロックの色差信号がLMモードに符号化されない場合、現在ブロックの
色差信号に対して水平垂直方向の両方ともに整数離散余弦変換(DCT)を実行することが
できる(S1955)。
【0323】
もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より大きく
且つ‘25’より小さい場合(S1930)、現在ブロックの輝度信号に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用することができ
る(S1945)。現在ブロックの色差信号がLMモードに符号化された場合、現在ブロッ
クの輝度信号に対する周波数変換方式を、色差信号の残余映像を周波数変換するのに使用
することができる。一方、現在ブロックの色差信号がLMモードに符号化されない場合、
現在ブロックの色差信号に対して水平垂直方向の両方ともに整数離散余弦変換(DCT)を
実行することができる(S1955)。
【0324】
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合(S1935)、現在ブロックの輝度信号に対する周波数変換方式として、
水平方向には整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DS
T)を適用することができる(S1950)。現在ブロックの色差信号がLMモードに符号
化された場合、現在ブロックの輝度信号に対する周波数変換方式を、色差信号の残余映像
を周波数変換するのに使用することができる。そうでない場合、現在ブロックの色差信号
がLMモードに符号化されない場合、現在ブロックの色差信号に対して水平垂直方向の両
方ともに整数離散余弦変換(DCT)を実行することができる(S1955)。
【0325】
そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用する(S195
5)。
【0326】
前述した例を反映したスケールされた変換係数のための変換過程(Transform
ation process for scaled transform coeffic
ients)は、下記の通りである。
【0327】
図19の例を反映したスケールされた変換係数のための変換過程
【0328】
ここでの入力は、下記の通りである。
【0329】
-現在変換ブロックの幅Width:nW
【0330】
-現在変換ブロックの高さHeight:nH
【0331】
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
【0332】
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
【0333】
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
【0334】
ここでの出力は、下記の通りである。
【0335】
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
【0336】
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号の場合には、輝度信
号の画面内予測方向モードによって変数horizTrTypeとvertTrType
は、表12を介して求められ、色差信号の符号化モードがIntra_FromLuma(
LM)の場合には、輝度信号の画面内予測方向モードによって変数horizTrTyp
eとvertTrTypeは、表12を介して求められる。もし、そうでない場合、変数
horizTrTypeとvertTrTypeは‘0’に設定する。
【0337】
【0338】
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
【0339】
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式11のように誘導する。
【0340】
【0341】
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
【0342】
cIdxによって残余信号に対する配列(nW×nH array r)を数式12のよう
に設定する。
【0343】
【0344】
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
DepthYであり、そうでない場合、shift=20-BitDepthC値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
【0345】
ここで、本実施例は、現在色差ブロックが“Intra_FromLuma”モードに
符号化された時だけでなく、下記の1又は2のような多様な場合にも適用されることがで
きる。
【0346】
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して適用することができる。
【0347】
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレート
シフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
【0348】
その他、本実施例は、多様に適用されることができる。
【0349】
[実施例5]画面内予測方向モードによって色差信号の残余映像に対する周波数変換方
式を選択的に誘導する方法及び装置
【0350】
図20は、本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に
対する周波数変換方式を選択的に誘導する方法の一例を説明するフローチャートである。
【0351】
図20を参照すると、まず、現在ブロックが画面内符号化(Intra)で符号化され、
且つ現在ブロックが4×4大きさ(trafoSize(又は、iWidth)==4)のブ
ロックであるかどうかを判断する(S2010)。まず、現在ブロックが画面内符号化(I
ntra)で符号化され、且つ現在ブロックが4×4大きさ(trafoSize(又は、
iWidth)==4)のブロックの場合、現在ブロックに対する周波数変換方式は、整数
離散正弦変換(DST)又は整数離散余弦変換(DCT)を適用する。そうでない場合、現在
ブロックの周波数変換方式は、DCTを適用することができる(S2065)。
【0352】
次に、現在ブロックが輝度ブロック又は色差ブロックであり、且つ色差ブロックの画面
内予測方向モードがLMモードの場合(S2015)、輝度信号に対する画面内予測方向モ
ード(IntraPredMode)を取得する(S2020)。ここで、現在ブロックの輝
度信号に対する画面内予測方向モードを、輝度信号及び色差信号に対する残余映像の周波
数変換方式を誘導するのに使用することができる。
【0353】
もし、そうでない場合、色差ブロックがDMモードであるかどうかを判断する(S20
25)。
【0354】
もし、現在ブロックが色差ブロックであり、且つDMブロックの場合、DCTを適用す
ることができる(S2065)。一方、もし、現在ブロックが色差ブロックであり、且つD
Mブロックでない場合、色差信号に対する画面内予測方向モードを、色差信号に対する残
余映像の周波数変換方式を誘導するのに使用することができる(S2030)。
【0355】
ここで、色差ブロックがDMモードに符号化された場合、DMモードのうち、EMモー
ド(平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(V
er)、垂直方向で8番目位置したモード(Ver+8又は34番モード))に該当する画面
内予測方向モードは、DST又はDCT又はそれ以外の周波数変換方法を適用することが
できる。
【0356】
次に、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
’より大きく且つ‘10’より小さい場合(S2035)、現在ブロック(輝度及び色差信
号ブロック)に対する周波数変換方式として、水平方向には整数離散正弦変換(DST)を
適用し、垂直方向には整数離散余弦変換(DCT)を適用することができる(S2050)。
【0357】
一方、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘0
’(Planar)であり、又は‘11’より大きく且つ‘25’より小さい場合(S20
40)、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式として、水平
垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(S2055)。
【0358】
また、もし、現在ブロック(輝度及び色差信号ブロック)の画面内予測方向モードが‘2
6’より大きく且つ‘34’より小さい場合(S2045)、現在ブロック(輝度及び色差
信号ブロック)に対する周波数変換方式として、水平方向には整数離散余弦変換(DCT)
を適用し、垂直方向には整数離散正弦変換(DST)を適用することができる(S2060)
。
【0359】
そうでない場合、現在ブロック(輝度及び色差信号ブロック)に対する周波数変換方式と
して、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができる(S
2065)。
【0360】
ここで、周波数変換方法を選択的に適用する方法は、下記1~3のうちいずれか一つの
ように多様に適用することができる。
【0361】
1.色差ブロックがDMモードに符号化された場合、DMモードのうち、EMモード(
平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ve
r)、垂直方向で8番目位置したモード(Ver+8又は34番モード))に該当する画面内
予測方向モードに対してのみDST又はDCT又はそれ以外の周波数変換方法を適用する
ことができる。
【0362】
2.色差ブロックがLMモードに符号化された場合、輝度信号から誘導された画面内予
測方向モードのうち、EMモード(平面モード(Planar)、平均モード(DC)、水平
モード(Hor)、垂直モード(Ver)、垂直方向で8番目位置したモード(Ver+8又
は34番モード))に該当する画面内予測方向モードに対してのみDST又はDCT又はそ
れ以外の周波数変換方法を適用することができる。
【0363】
3.画面内予測方向モードがPlanarであり、又はDCの場合にのみ、DST又は
DCT又はそれ以外の周波数変換方法を選択的に適用することができ、その他のモードに
対してはDST又はDCT又はそれ以外の周波数変換方法を固定的に適用することができ
る。または、その反対も可能である。
【0364】
その他、多様な方法により周波数変換方法を誘導することができる。
【0365】
前述した
図20の方法を反映してスケールされた変換係数のための変換(Transf
ormation process for scaled transform coef
ficients)を実行する方法は、下記の通りである。
【0366】
図20の例を反映したスケールされた変換係数のための変換過程
【0367】
ここでの入力は、下記の通りである。
【0368】
-現在変換ブロックの幅Width:nW
【0369】
-現在変換ブロックの高さHeight:nH
【0370】
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
【0371】
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
【0372】
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
【0373】
ここでの出力は、下記の通りである。
【0374】
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
【0375】
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号である場合には、輝
度信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、以下の表13を介して求められ、色差信号である場合には、色差信号の画面内予
測符号化モードが‘4’より小さい場合、色差信号の画面内予測方向モードによって変数
horizTrTypeとvertTrTypeは、表13を介して求められる。一方、
色差信号の符号化モードがIntra_FromLuma(LM)の場合には、輝度信号の
画面内予測方向モードによって、変数horizTrTypeとvertTrTypeは
、以下の表を介して求められる。もし、そうでない場合、変数horizTrTypeと
vertTrTypeは‘0’に設定する。
【0376】
【0377】
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程を実行する。まず、現在ブロックの大きさ(nW,nH)とスケール
された変換係数配列(nW×nH array d)、変数horizTrTypeの入力を
受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を出
力する。
【0378】
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式13のように誘導する。
【0379】
【0380】
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
【0381】
cIdxによって残余信号に対する配列(nW×nH array r)を数式14のよう
に設定する。
【0382】
【0383】
ここで、シフト(Shift)は、cIdxが‘0’の場合、shift=20-Bit
DepthYであり、そうでない場合、shift=20-BitDepthC値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
【0384】
図21は、本実施例によって、画面内予測方向モードに基づいて色差信号の残余映像に
対する周波数変換方式を選択的に誘導する方法の他の例を説明するフローチャートである
。
【0385】
図21によると、まず、現在ブロックが画面内符号化(Intra)で符号化されない場
合(S2105)、現在ブロックの輝度信号及び色差信号に対する周波数変換方式として整
数変換又は整数離散余弦変換(DCT)を適用する(S2160)。
【0386】
そうでない場合(現在ブロックが画面内符号化(Intra)で符号化された場合)、現在
ブロックが輝度信号(Luma)のブロックであるか、現在ブロックの符号化モードがLM
であるかどうかを判断する(S2110)。
【0387】
もし、現在ブロックが輝度信号でもなく、且つ現在ブロックの符号化モードがLMでも
ない場合には、色差信号に対する画面内予測方向モードを取得する(S2115)。そうで
ない場合、輝度信号に対する画面内予測方向モードを取得する(S2120)。
【0388】
ここで、現在ブロックの輝度信号に対する画面内予測方向モードを、輝度信号に対する
残余映像の周波数変換方式を誘導するのに使用することができる。ここで、現在ブロック
の色差信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方
式を誘導するのに使用することができる。
【0389】
そして、現在ブロックの色差信号がLMモードに符号化された場合、現在ブロックの輝
度信号に対する画面内予測方向モードを、色差信号に対する残余映像の周波数変換方式を
誘導するのに使用することができる。
【0390】
次に、現在ブロックが4×4大きさ(iWidth==4)のブロックであるかどうかを
判断する(S2125)。もし、現在ブロックが4×4大きさ(iWidth==4)のブロ
ックでない場合、現在ブロックの輝度信号及び色差信号に対する周波数変換方式は、整数
変換又は整数離散余弦変換(DCT)を適用する(S2160)。そうでない場合(現在ブロ
ックが4×4大きさ(iWidth==4)のブロックである場合)、現在ブロックの画面
内予測方向モードを検査する。
【0391】
ここで、輝度信号に対する周波数変換方式を誘導する時は、IntraPredMod
e(C)がIntraPredMode(輝度信号に対する画面内予測方向モード)に変更さ
れ、色差信号に対する周波数変換方式を誘導する時は、IntraPredMode(C)
がIntraPredModeC(色差信号に対する画面内予測方向モード)に変更される
。
【0392】
もし、現在ブロックの画面内予測方向モードが‘2’より大きく且つ‘10’より小さ
い場合(S2130)、現在ブロックに対する周波数変換方式として、水平方向には整数離
散正弦変換(DST)を適用し、垂直方向には整数離散余弦変換(DCT)を適用することが
できる(S2145)。
【0393】
一方、もし、現在ブロックの画面内予測方向モードが‘0’であり、又は‘11’より
大きく且つ‘25’より小さい場合(S2135)、現在ブロックに対する周波数変換方式
として、水平垂直方向の両方ともに整数離散正弦変換(DST)を適用することができる(
S2150)。
【0394】
一方、もし、現在ブロックの画面内予測方向モードが‘26’より大きく且つ‘34’
より小さい場合(S2140)、現在ブロックに対する周波数変換方式として、水平方向に
は整数離散余弦変換(DCT)を適用し、垂直方向には整数離散正弦変換(DST)を適用す
ることができる(S2155)。
【0395】
そうでない場合、現在ブロックの輝度信号及び色差信号の残余映像に対する周波数変換
方式として、水平垂直方向の両方ともに整数離散余弦変換(DCT)を適用することができ
る(S2160)。
【0396】
前述した例に係る方法をスケールされた変換係数のための変換(Transforma
tion process for scaled transform coeffici
ents)に反映した方法は、下記の通りである。
【0397】
図21の例を反映したスケールされた変換係数のための変換過程
【0398】
ここでの入力は、下記の通りである。
【0399】
-現在変換ブロックの幅Width:nW
【0400】
-現在変換ブロックの高さHeight:nH
【0401】
-要素(element)dijを有するスケールされた変換係数の配列:(nW×nH)
配列d
【0402】
-現在ブロックの輝度信号及び色差信号に対するインデックス:cIdx
【0403】
-もし、cIdxが‘0’の場合、輝度信号を意味し、cIdxが‘1’であり、又は
cIdxが‘2’の場合、色差信号を意味する。また、cIdxが‘1’の場合、色差信
号でCbを意味し、cIdxが‘2’の場合、色差信号でCrを意味する。
【0404】
ここでの出力は、下記の通りである。
【0405】
-スケールされた変換係数を逆変換して求められた残余信号に対する配列:(nW×n
H)配列r
【0406】
現在ブロックに対する符号化モード(PredMode)が画面内予測モード(Intr
a)であり、且つLog2(nW*nH)値が‘4’であり、輝度信号である場合には、輝
度信号の画面内予測方向モードによって変数horizTrTypeとvertTrTy
peは、表14を介して求められ、色差信号である場合には、色差信号の画面内予測方向
モードによって、変数horizTrTypeとvertTrTypeは、表14を介し
て求められ、色差信号の符号化モードがIntra_FromLuma(LM)の場合には
、輝度信号の画面内予測方向モードによって、変数horizTrTypeとvertT
rTypeは、表14を介して求められる。もし、そうでない場合、変数horizTr
TypeとvertTrTypeは‘0’に設定する。
【0407】
【0408】
変数horizTrTypeとvertTrType値を有してスケールされた変換係
数に対する逆変換過程が実行される。まず、現在ブロックの大きさ(nW,nH)とスケー
ルされた変換係数配列(nW×nH array d)、変数horizTrTypeの入力
を受け、水平方向に1次元逆変換を実行することで、配列(nW×nH array e)を
出力する。
【0409】
次に、配列(nW×nH array e)の入力を受けて配列(nW×nH array
g)を数式15のように誘導する。
【0410】
【0411】
次に、現在ブロックの大きさ(nW,nH)と配列(nW×nH array g)、変数v
ertTrTypeの入力を受けて垂直方向に1次元逆変換を実行する。
【0412】
次に、cIdxによって残余信号に対する配列(nW×nH array r)を数式16
のように設定する。
【0413】
【0414】
ここで、シフト(shift)は、cIdxが‘0’の場合、shift=20-Bit
DepthYであり、そうでない場合、shift=20-BitDepthC値を有し
、BitDepthは、現在映像に対するサンプルのビット数(例えば、8ビット)を意味
する。
【0415】
前述した方法は、ブロック大きさ又はCU深さ又はTU深さ等によって適用範囲を異な
るようにすることができる。
【0416】
このように適用範囲を決定する変数(即ち、大きさ又は深さ情報)は、符号化器及び復号
化器が予め決められた値を使用するように設定することもでき、プロファイル又はレベル
によって決められた値を使用するようにすることもでき、符号化器が変数値をビットスト
リームで記載すると、復号化器は、ビットストリームからこの値を求めて使用することも
できる。
【0417】
CU深さによって適用範囲を異なるようにする時は、表15に例示したように、次の三
つの方式が適用されることができる:方式A)与えられた深さ以上の深さにのみ適用する
方式、方式B)与えられた深さ以下にのみ適用する方式、方式C)与えられた深さにのみ適
用する方式
【0418】
表15は、与えられたCU(又はTU)深さが2の場合、本発明の方法を適用する範囲決
定方式の例を示す。表15において、Oは、与えられたCU(又は、TU)深さが2の場合
、本発明の方法を適用する範囲決定方式の例を示す。表15において、Oは、当該深さに
適用可能であるということを示し、Xは、当該深さに適用しないということを示す。
【0419】
【0420】
全ての深さに対して本発明の方法を適用しない場合は、任意の指示子(flag)を使用
して示すこともでき、適用範囲を示すCU深さ値としてCU深さの最大値より一つ大きい
値をシグナリングすることで表現することもできる。
【0421】
また、前述した方法は、輝度信号と色差信号との間の解像度が異なる場合にも適用する
ことができる。
【0422】
例えば、色差信号が輝度信号の1/4大きさと仮定した時(一例として、輝度信号416
×240大きさ、色差信号208×120大きさ)、輝度信号8×8ブロックは、色差信
号4×4ブロックと同じである。
【0423】
図22は、輝度ブロックと色差ブロックとの間の解像度差の一例を示す。
図22の例で
は、輝度信号が8×8ブロック2210であり、色差信号が4×4ブロック2220であ
る場合を例示している。
【0424】
図22の例において、輝度信号2210には4個の4×4ブロックがあり、4×4ブロ
ック毎に各々画面内予測方向モードを有することができる。反面、色差信号2220は、
2×2ブロックに分けられない。
【0425】
この場合、色差信号は、4×4ブロックに対して一つの画面内予測方向モードを有する
ことができる。このとき、色差信号がIntra_FromLuma(LM)モードに符号
化された場合(又は、色差信号がDM(輝度信号の画面内予測方向モードを色差信号の画面
内予測方向モードにそのまま使用するモード)モードに符号化された場合)、色差信号の残
余映像に対する周波数変換方式を誘導するための輝度信号の画面内予測方向モードは、4
個の4×4ブロックのうち一つが使われることができる。
【0426】
色差信号の残余映像に対して選択的に周波数変換方式を適用するために、画面内予測方
向を誘導する方法は、下記1~4のうちいずれか一つのように多様に適用されることがで
きる。
【0427】
1.輝度信号ブロックの左上段に位置したブロックの画面内予測方向モードを使用する
ことができる。
【0428】
2.輝度信号ブロックの右上段又は左下段又は右下段に位置したブロックの画面内予測
方向モードを使用することができる。
【0429】
3.4個の輝度信号ブロックの平均値又は中間値を使用することができる。
【0430】
4.現在ブロックの4個の輝度信号ブロックと現在ブロックの周辺ブロックの色差信号
ブロックの画面内予測方向モードを利用した平均値又は中間値などを使用することができ
る。
【0431】
その他、多様な方法により色差信号に対する画面内予測方向モードを誘導することがで
きる。
【0432】
図23は、輝度ブロックと色差ブロックとの間の解像度差を説明する他の例である。
【0433】
図23の例のように、輝度信号2310には1個の16×16ブロックがあり、1個の
画面内予測モードを有することができる。反面、色差信号2320は、4個の4×4ブロ
ックに分けられることができ、このとき、4×4ブロックの各々に対して画面内予測方向
モードを有することができる。
【0434】
このとき、色差信号がIntra_FromLuma(LM)モードに符号化された場合(
又は、色差信号がDM(輝度信号の画面内予測方向モードを色差信号の画面内予測方向モ
ードにそのまま使用するモード)モードに符号化された場合)、1個の輝度信号の画面内予
測方向モードが各色差信号の残余映像ブロックに対する周波数変換方式を誘導するために
使われることができる。または、色差信号の残余映像ブロックに対する周波数変換方式を
誘導するために、現在ブロックの周辺ブロック(輝度ブロック又は色差ブロック)から画面
内予測方向モードを誘導して使用することもできる。
【0435】
また、前述した方法は、輝度ブロックの大きさによって色差ブロックに異なるように適
用することができ、また、輝度信号映像及び色差映像に異なるように適用することができ
、また、周波数変換方式を水平方向及び垂直方向に異なるように適用することができる。
【0436】
表16は、この方法の組合せを概略的に説明するものである。
【0437】
【0438】
表16の変形された方法のうち、方法“ト1”を見ると、輝度ブロックの大きさが8(
8×8、8×4、2×8等)であり、色差ブロックの大きさが4(4×4、4×2、2×4
)である場合、明細書の実施例1(ト1-実施例1)と、実施例2-1又は実施例2-2(ト
1-実施例2-1又は実施例2-2)と、実施例3(ト1-実施例3)とを輝度信号及び色
差信号及び水平信号及び垂直信号に適用することができる。
【0439】
前記変形された方法のうち、方法“ヲ2”を見ると、輝度ブロックの大きさが16(1
6×16、8×16、4×16等)であり、色差ブロックの大きさが4(4×4、4×2、
2×4)である場合、明細書の実施例1(ヲ2-実施例1)と、実施例2-1又は実施例2
-2(ヲ2-実施例2-1又は実施例2-2)と、実施例3(ヲ2-実施例3)とを輝度信号
及び色差信号及び水平信号に適用して垂直信号には適用しない。
【0440】
ここで、前述した方法は、現在色差ブロックが“Intra_FromLuma”モー
ドに符号化された時だけでなく、下記の1又は2のような多様な場合にも適用することが
できる。
【0441】
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して適用することができる。
【0442】
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレート
シフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
【0443】
その他、多様に適用することができる。
【0444】
[実施例6]色差信号の変換方式及びスキャン方式を統合的に決定する方法及び装置
【0445】
前述したように、色差信号の残余信号(差分映像)に対するスキャニング方法は、色差信
号の画面内予測方向モードによって変わることができる。
【0446】
また、色差信号の残余信号(差分映像)に対する周波数変換方式は、色差信号の画面内予
測方向モードによって変わることができる。
【0447】
色差信号の残余信号(差分映像)に対するスキャニング方法は、色差信号の残余信号に対
する周波数変換方式によって符号化効率が異なることができる。しかし、色差信号の残余
信号(差分映像)に対するスキャニング方法と周波数変換方法は、両方とも色差信号の画面
内予測方向モードによって変わることができるため、二つの方法は、所定の相関関係を有
するということができる。
【0448】
即ち、色差信号の残余信号に対するスキャニング方式と周波数変換方式は、相関関係を
有することができ、二つの方式が統合されて最適の組合せで決定されることができる。し
たがって、実施例1及び実施例2-1/実施例2-2での色差信号に対するスキャニング
方法、実施例3及び実施例4、実施例5の周波数変換方式は、表17のように統合的に決
定されることができる。
【0449】
表17は、本実施例によって色差信号の残余信号に対するスキャニング方法と周波数変
換方式を統合して決定する方法の一例を示す。
【0450】
【0451】
表17は、色差信号の残余信号に対するスキャニング方法と周波数変換方式を統合して
決定する方法の組合せを示す。ここで、EM、DM、及びLMモードは、色差信号に対す
る画面内予測方向モードの符号化方法を示す。
【0452】
輝度信号の画面内予測方向モードを色差信号の画面内予測方向モードとしてそのまま適
用して誘導される色差信号に対するモードがDM(Derived Mode)である。実
際画面内予測方向モードを符号化する色差信号に対するモードがEM(Explicit
Mode)である。EMモードに符号化される色差信号の画面内予測方向モードとして、
平面モード(Planar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ve
r)、垂直方向で8番目位置したモード(Ver+8又は34番モード)が存在する。
【0453】
最後に、復元された輝度信号から色差信号を予測するモードがLM(Intra_Fro
mLuma)モードである。
【0454】
表17において、組合せの一例として、‘A’をみると、色差信号に対する周波数変換
方式を決定するために、色差信号の画面内予測方向モードのうち、EMとLMのみが利用
され、DMが利用されない。EMとLMを利用して周波数変換方式が決定(実施例3、4
、5)され、その後に変換された係数に対するスキャニング方法を決定するために、色差
信号の画面内予測方向モードのうち、EMとDMを利用してスキャニング方式(実施例1
、2)が決定される。
【0455】
ここでは符号化効率を考慮して、色差信号の画面内予測方向モードの中からDMモード
を利用して周波数変換方式を誘導する場合を除外することもできる。例えば、DMモード
に符号化される場合、もし、色差信号の画面内予測方向モードが輝度信号の画面内予測方
向モードと異なり、色差信号の画面内予測方向モードがEMモード(平面モード(Plan
ar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ver)、垂直方向で8番
目位置したモード(Ver+8又は34番モード))には存在しないモードの場合、DMモ
ードに符号化されるよりほかないため、DMモードに符号化された色差信号の画面内予測
方向モードは、正確度という側面において劣化することがあり得る。したがって、DMモ
ードが周波数変換方式の決定に使われないこともある。
【0456】
表17において、組合せの他の例として、‘D’をみると、色差信号に対する周波数変
換方式を決定するために、色差信号の画面内予測方向モードのうち、EMとLMのみが利
用され、DMが利用されない。EMとLMを利用して周波数変換方式が決定(実施例3、
4、5)され、その後に変換された係数に対するスキャニング方法を決定するために、色
差信号の画面内予測方向モードのうち、EM、DM、及びLMを全部利用してスキャニン
グ方式(実施例1、2)が決定される。
【0457】
ここでは符号化効率を考慮して、色差信号の画面内予測方向モードの中からLMモード
を利用してスキャニング方式を誘導する場合が含まれることもできる。実施例1及び2で
説明したように、LMモードに符号化された色差信号は、輝度信号と相関関係を有するこ
とができる。したがって、LMモードに符号化された色差信号の画面内予測方向モードは
、輝度信号の画面内予測方向モードと略同じである。したがって、LMモードに符号化さ
れた色差信号の画面内予測方向モードは、輝度信号と類似する特性を有するため、スキャ
ニング方式の決定に使われることができる。
【0458】
表17において、組合せの他の例として、‘T’をみると、色差信号に対する周波数変
換方式を決定するために、色差信号の画面内予測方向モードのうち、EM、DM、及びL
Mが全部利用される。EM、DM、及びLMを利用して周波数変換方式が決定(実施例3
、4、5)され、その後に変換された係数に対するスキャニング方法を決定するために、
色差信号の画面内予測方向モードのうちEM、DM、及びLMを全部利用してスキャニン
グ方式(実施例1、2)が決定される。
【0459】
表17において、組合の他の例として、‘T’方法を変形すると、色差信号に対する周
波数変換方式を決定するために、色差信号の画面内予測方向モードのうち、EM、DM、
及びLMモードが利用されることができる。このとき、EM、DM、及びLMモードのう
ち、実際復元された色差信号に対する画面内予測方向モードがEMモード(平面モード(P
lanar)、平均モード(DC)、水平モード(Hor)、垂直モード(Ver)、垂直方向
で8番目位置したモード(Ver+8又は34番モード))の場合に対してのみ周波数変換
方式が決定(実施例3、4、5)されることができる。また、変換された係数に対するスキ
ャニング方法を決定するためにも、EM、DM、及びLMが全部利用されることができる
。このとき、EM、DM、及びLMモードのうち、実際復元された色差信号に対する画面
内予測方向モードがEMモード(平面モード(Planar)、平均モード(DC)、水平モ
ード(Hor)、垂直モード(Ver)、垂直方向で8番目位置したモード(Ver+8又は
34番モード))の場合に対してのみスキャニング方式(実施例1、2)が使われることがで
きる。
【0460】
[実施例7]色差信号の変換方式及びスキャン方式を決定するためのテーブルを統合す
る方法及び装置
【0461】
色差信号の残余信号(差分映像)に対するスキャニング方法と周波数変換方法は、両方と
も色差信号の画面内予測方向モードによって変わることができるため、二つの方法は、密
接な相関関係を有するということができる。
【0462】
したがって、本実施例では画面内予測方向モードによって二つの方法を決定するために
使われるテーブルを統合して使用することができる。
【0463】
表18は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方
式及びスキャニング方式の一例を示す。
【0464】
【0465】
また、表19は、本実施例によって画面内予測方向モードに基づいて誘導される周波数
変換方式及びスキャニング方式の他の例を示す。
【0466】
【0467】
表20は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方
式及びスキャニング方式の他の例を示す。
【0468】
【0469】
表21は、本実施例によって画面内予測方向モードに基づいて誘導される周波数変換方
式及びスキャニング方式の他の例を示す。
【0470】
【0471】
表18~表21は、画面内予測方向モードによって誘導される周波数変換方式及びスキ
ャニング方式のテーブルを統合した例を示す。
【0472】
例えば、表19を見ると、画面内予測方向モードが2~5の場合には、垂直水平周波数
変換方式としてDSTが使われ、スキャニング方法として上段右側方向スキャン(DIA
G(up-right))が使われる。画面内予測方向モードが6~14の場合には、垂直
周波数変換方式としてDCTが使われ、水平周波数変換方式としてDSTが使われ、スキ
ャニング方法としてVER(垂直)が使われる。
【0473】
画面内予測方向モードが15~21の場合には、垂直水平周波数変換方式としてDST
が使われ、スキャニング方法としてDIAG(up-right)が使われる。画面内予測
方向モードが22~30の場合には、垂直周波数変換方式としてDSTが使われ、水平周
波数変換方式としてDCTが使われ、スキャニング方法としてHOR(水平)が使われる。
【0474】
画面内予測方向モードが31~34の場合には、垂直水平周波数変換方式としてDST
が使われ、スキャニング方法としてDIAG(up-right)が使われる。
【0475】
このように表19のように、画面内予測方向モードによって周波数変換方式とスキャニ
ング方法が考慮される場合、表18とは異なって、VERとHORによって統一性あるよ
うに具現されることができるという長所がある。
【0476】
ここで、前記方法は、現在色差ブロックが“Intra_FromLuma”モードに
符号化された時だけでなく、下記の1又は2の場合にも適用することができる。
【0477】
1.色差ブロックを予測するにあたって、復元された輝度信号ブロックに加重値をかけ
た後、オフセットを加える全ての方式に対して適用することができる。
【0478】
2.色差ブロックを予測するにあたって、復元された輝度信号ブロックと色差信号ブロ
ックに対するテンプレートシフト(template shift)を利用することで、色
差ブロックを予測する全ての方式に対して適用することができる。ここで、テンプレート
シフトは、輝度信号と色差信号との間の相関性を類推するために使用する。
【0479】
その他、前述した方法は、多様に適用することができる。
【0480】
図24は、本発明によるエンコーディング装置を概略的に説明するブロック図である。
【0481】
図24を参照すると、エンコーディング装置2400は、予測モード特定部2410及
びスキャニング部2420を含む。
【0482】
予測モード特定部2410は、現在ブロックに適用された予測モードを特定する。例え
ば、予測モード特定部2410は、現在ブロックの輝度サンプル及び/又は色差サンプル
に適用された画面内予測モードを特定することができる。
【0483】
このとき、予測モード特定部2410は、
図1の画面内予測部より以前に位置して現在
ブロックに適用する画面内予測モードを特定することもでき、画面内予測部より上位に位
置して現在ブロックに適用された画面内予測モードを特定する情報を出力することもでき
る。
【0484】
画面内予測モードは、
図6に対する説明などで前述した通りである。
【0485】
スキャニング部2420は、現在ブロックの色差信号及び/又は輝度信号をスキャニン
グすることができる。このとき、スキャニング部2420は、現在ブロックの画面内予測
モードに対応して現在ブロックに適用するスキャニングタイプを決定することができる。
【0486】
現在ブロックに適用するスキャニングタイプ(方法)を決定する具体的な方法は、本明細
書の実施例で詳細に説明した通りである。
【0487】
図25は、本発明によるデコーディング装置を概略的に説明するブロック図である。
【0488】
図25を参照すると、デコーディング装置2500は、予測モード特定部2510及び
スキャニング部2520を含む。
【0489】
予測モード特定部2510は、現在ブロックに適用された予測モードを特定する。例え
ば、予測モード特定部2410は、現在ブロックの輝度サンプル及び/又は色差サンプル
に適用された画面内予測モードを特定することができる。
【0490】
画面内予測モードは、
図6に対する説明などで前述した通りである。
【0491】
スキャニング部2520は、現在ブロックの色差信号及び/又は輝度信号をスキャニン
グすることができる。このとき、スキャニング部2520は、現在ブロックの画面内予測
モードに対応して現在ブロックに適用するスキャニングタイプを決定することができる。
【0492】
現在ブロックに適用するスキャニングタイプ(方法)を決定する具体的な方法は、本明細
書の実施例で詳細に説明した通りである。
【0493】
前述した例示的なシステムにおいて、方法は一連のステップ又はブロックで流れ図に基
づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるス
テップは、前述と異なるステップと、異なる順序に又は同時に発生することができる。ま
た、前述した実施例は、多様な態様の例示を含む。例えば、各実施例の組合せも、本発明
の一実施例として理解しなければならない。