知財求人 - 知財ポータルサイト「IP Force」
▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧
特開2024-113154ＢＤＰＣＭを用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024113154
(43)【公開日】2024-08-21
(54)【発明の名称】ＢＤＰＣＭを用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
(51)【国際特許分類】
H04N 19/593 20140101AFI20240814BHJP
H04N 19/70 20140101ALI20240814BHJP
【ＦＩ】
H04N19/593
H04N19/70
【審査請求】有
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2024093660
(22)【出願日】2024-06-10
(62)【分割の表示】P 2023135551の分割
【原出願日】2020-04-17
(31)【優先権主張番号】62/834,976
(32)【優先日】2019-04-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/847,909
(32)【優先日】2019-05-14
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】ユ ソンミ
(72)【発明者】
【氏名】ホ チン
(72)【発明者】
【氏名】チェ チャンウォン
(72)【発明者】
【氏名】チェ チョン ア
(57)【要約】 （修正有）
【課題】効率が向上した画像符号化／復号化方法及び装置を提供する。
【解決手段】画像復号化方法は、イントラ予測された現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを指示する第１情報をビットストリームからパーシングするステップと、前記第１情報が前記現在ブロックに対してＢＤＰＣＭが適用されることを指示する場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定し、前記決定されたＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成するステップと、前記現在ブロックのイントラ予測モードに基づいて、イントラ予測を行うことにより前記現在ブロックの予測ブロックを生成するステップと、前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを復元するステップと、を含む。
【選択図】図１５
【解決手段】画像復号化方法は、イントラ予測された現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを指示する第１情報をビットストリームからパーシングするステップと、前記第１情報が前記現在ブロックに対してＢＤＰＣＭが適用されることを指示する場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定し、前記決定されたＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成するステップと、前記現在ブロックのイントラ予測モードに基づいて、イントラ予測を行うことにより前記現在ブロックの予測ブロックを生成するステップと、前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを復元するステップと、を含む。
【選択図】図１５
【特許請求の範囲】
【請求項1】
画像復号化装置によって行われる画像復号化方法であって、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定することと、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定することと、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することと、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成することと、
前記現在ブロックのイントラ予測モードに基づいて、イントラ予測を行うことにより前記現在ブロックの予測ブロックを生成することと、
前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを再構成することと、
を含むことを特徴とする画像復号化方法。
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定することと、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定することと、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することと、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成することと、
前記現在ブロックのイントラ予測モードに基づいて、イントラ予測を行うことにより前記現在ブロックの予測ブロックを生成することと、
前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを再構成することと、
を含むことを特徴とする画像復号化方法。
【請求項2】
現在ブロックに対してＢＤＰＣＭが適用されるか否かを決定することは、
前記現在ブロックに対して前記ＢＤＰＣＭが適用されるか否かを指示する第１情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１に記載の画像復号化方法。
前記現在ブロックに対して前記ＢＤＰＣＭが適用されるか否かを指示する第１情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１に記載の画像復号化方法。
【請求項3】
前記現在ブロックに対するＢＤＰＣＭの予測方向を決定することは、
前記現在ブロックに対するＢＤＰＣＭの予測方向を指示する第２情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１に記載の画像復号化方法。
前記現在ブロックに対するＢＤＰＣＭの予測方向を指示する第２情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１に記載の画像復号化方法。
【請求項4】
前記現在ブロックに対するＢＤＰＣＭの予測方向は水平方向又は垂直方向を含む、ことを特徴とする請求項１に記載の画像復号化方法。
【請求項5】
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することは、
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードは水平方向モードに決定されることと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードは垂直方向モードに決定されることと、
を含む、ことを特徴とする請求項１に記載の画像復号化方法。
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードは水平方向モードに決定されることと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードは垂直方向モードに決定されることと、
を含む、ことを特徴とする請求項１に記載の画像復号化方法。
【請求項6】
前記画像復号化方法は、
前記現在ブロックに対して前記ＢＤＰＣＭが適用されない場合、ビットストリームを介してシグナリングされる前記現在ブロックの予測情報に基づいて、前記現在ブロックのイントラ予測モードを決定することをさらに含む、ことを特徴とする請求項１に記載の画像復号化方法。
前記現在ブロックに対して前記ＢＤＰＣＭが適用されない場合、ビットストリームを介してシグナリングされる前記現在ブロックの予測情報に基づいて、前記現在ブロックのイントラ予測モードを決定することをさらに含む、ことを特徴とする請求項１に記載の画像復号化方法。
【請求項7】
画像符号化装置によって行われる画像符号化方法であって、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定することと、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定することと、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することと、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成することと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成することと、
前記ＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのレジデュアルブロックを符号化することと、
を含む、ことを特徴とする画像符号化方法。
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定することと、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定することと、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することと、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成することと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成することと、
前記ＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのレジデュアルブロックを符号化することと、
を含む、ことを特徴とする画像符号化方法。
【請求項8】
前記画像符号化方法は、
前記現在ブロックに対して前記ＢＤＰＣＭが適用されるか否かを指示する第１情報を符号化することをさらに含む、ことを特徴とする請求項７に記載の画像符号化方法。
前記現在ブロックに対して前記ＢＤＰＣＭが適用されるか否かを指示する第１情報を符号化することをさらに含む、ことを特徴とする請求項７に記載の画像符号化方法。
【請求項9】
前記現在ブロックに対するＢＤＰＣＭの予測方向を指示する第２情報を符号化することをさらに含む、ことを特徴とする請求項７に記載の画像符号化方法。
【請求項10】
前記現在ブロックに対するＢＤＰＣＭの予測方向は水平方向又は垂直方向を含む、ことを特徴とする請求項７に記載の画像符号化方法。
【請求項11】
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することは、
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードは水平方向モードに決定されることと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードは垂直方向モードに決定されることと、
を含む、ことを特徴とする請求項７に記載の画像符号化方法。
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードは水平方向モードに決定されることと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードは垂直方向モードに決定されることと、
を含む、ことを特徴とする請求項７に記載の画像符号化方法。
【請求項12】
画像復号化装置であって、
メモリ及び少なくとも一つのプロセッサを含み、
前記少なくとも一つのプロセッサは、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定し、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定し、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定し、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成し、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成し、
前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを再構成する、
ことを特徴とする画像復号化装置。
メモリ及び少なくとも一つのプロセッサを含み、
前記少なくとも一つのプロセッサは、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定し、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定し、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定し、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成し、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成し、
前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを再構成する、
ことを特徴とする画像復号化装置。
【請求項13】
前記少なくとも一つのプロセッサは、現在ブロックに対してＢＤＰＣＭが適用されるか否かを決定することは、
前記現在ブロックに対して前記ＢＤＰＣＭが適用されるか否かを指示する第１情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１２に記載の画像復号化装置。
前記現在ブロックに対して前記ＢＤＰＣＭが適用されるか否かを指示する第１情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１２に記載の画像復号化装置。
【請求項14】
前記少なくとも一つのプロセッサは、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定することは、
前記現在ブロックに対するＢＤＰＣＭの予測方向を指示する第２情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１２に記載の画像復号化装置。
前記現在ブロックに対するＢＤＰＣＭの予測方向を指示する第２情報をビットストリームからパーシングすることを含む、ことを特徴とする請求項１２に記載の画像復号化装置。
【請求項15】
前記現在ブロックに対するＢＤＰＣＭの予測方向は水平方向又は垂直方向を含む、ことを特徴とする請求項１２に記載の画像復号化装置。
【請求項16】
前記少なくとも一つのプロセッサは、前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて前記現在ブロックのイントラ予測モードを決定することは、
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードを水平方向モードに決定することと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードを垂直方向モードに決定することと、
を含む、ことを特徴とする請求項１２に記載の画像復号化装置。
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードを水平方向モードに決定することと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードを垂直方向モードに決定することと、
を含む、ことを特徴とする請求項１２に記載の画像復号化装置。
【請求項17】
前記少なくとも一つのプロセッサは、さらに、前記現在ブロックに対して前記ＢＤＰＣＭが適用されない場合、ビットストリームを介してシグナリングされる前記現在ブロックの予測情報に基づいて、前記現在ブロックの前記イントラ予測モードを決定する、ことを特徴とする請求項１２に記載の画像復号化装置。
【請求項18】
画像符号化装置であって、
メモリ及び少なくとも一つのプロセッサを含み、
前記少なくとも一つのプロセッサは、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定し、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対する前記ＢＤＰＣＭの予測方向を決定し、
前記現在ブロックに対する前記ＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定し、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成し、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成し、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを符号化する、
ことを特徴とする画像符号化装置。
メモリ及び少なくとも一つのプロセッサを含み、
前記少なくとも一つのプロセッサは、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定し、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対する前記ＢＤＰＣＭの予測方向を決定し、
前記現在ブロックに対する前記ＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定し、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成し、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成し、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを符号化する、
ことを特徴とする画像符号化装置。
【請求項19】
前記少なくとも一つのプロセッサは、さらに、前記現在ブロックに対して前記ＢＤＰＣＭが適用されるか否かを指示する第１情報を符号化する、ことを特徴とする請求項１８に記載の画像符号化装置。
【請求項20】
前記少なくとも一つのプロセッサは、さらに、前記現在ブロックに対するＢＤＰＣＭの予測方向を指示する第２情報を符号化する、ことを特徴とする請求項１８に記載の画像符号化装置。
【請求項21】
前記現在ブロックに対するＢＤＰＣＭの予測方向は水平方向又は垂直方向を含む、ことを特徴とする請求項１８に記載の画像符号化装置。
【請求項22】
前記少なくとも一つのプロセッサは、前記現在ブロックに対する前記ＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することは、
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードを水平方向モードに決定することと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードを垂直方向モードに決定することと、
を含む、ことを特徴とする請求項１８に記載の画像符号化装置。
前記ＢＤＰＣＭの予測方向が水平方向である場合、前記現在ブロックのイントラ予測モードを水平方向モードに決定することと、
前記ＢＤＰＣＭの予測方向が垂直方向である場合、前記現在ブロックのイントラ予測モードを垂直方向モードに決定することと、
を含む、ことを特徴とする請求項１８に記載の画像符号化装置。
【請求項23】
ビットストリームを格納する非一時的なコンピュータ可読媒体であって、
前記ビットストリームは画像符号化方法によって生成され、前記画像符号化方法は、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定することと、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対する前記ＢＤＰＣＭの予測方向を決定することと、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することと、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成することと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成することと、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを符号化することと、
を含む、ことを特徴とする非一時的なコンピュータ可読媒体。
前記ビットストリームは画像符号化方法によって生成され、前記画像符号化方法は、
現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを決定することと、
前記現在ブロックに対して前記ＢＤＰＣＭが適用される場合、前記現在ブロックに対する前記ＢＤＰＣＭの予測方向を決定することと、
前記現在ブロックに対するＢＤＰＣＭの予測方向に基づいて、前記現在ブロックのイントラ予測モードを決定することと、
前記現在ブロックのイントラ予測モードに基づいてイントラ予測を行うことにより前記現在ブロックの予測ブロックを生成することと、
前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成することと、
前記ＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを符号化することと、
を含む、ことを特徴とする非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、ＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌａｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）を用いて画像を符号化／復号化する方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。
【背景技術】
【0002】
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
【0003】
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
【0005】
また、本開示は、ＢＤＰＣＭを用いて画像を符号化／復号化する方法及び装置を提供することを目的とする。
【0006】
また、本開示は、ＢＤＰＣＭ関連情報を効率よくシグナリングする画像符号化／復号化方法及び装置を提供することを目的とする。
【0007】
また、本開示は、イントラ予測モード又はブロックのサイズに基づいてＢＤＰＣＭの予測方向を導出した後、ＢＤＰＣＭを行う画像符号化／復号化方法及び装置を提供することを目的とする。
【0008】
また、本開示は、ＢＤＰＣＭが適用されたブロックのレジデュアル信号を効率よく符号化する画像符号化／復号化方法及び装置を提供することを目的とする。
【0009】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
【0010】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
【0011】
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
【0012】
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【課題を解決するための手段】
【0013】
本開示の一態様による画像復号化方法は、画像復号化装置によって行われる画像復号化方法であって、イントラ予測された現在ブロックに対してＢＤＰＣＭ（ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるか否かを指示する第１情報をビットストリームからパーシングするステップと、前記第１情報が前記現在ブロックに対してＢＤＰＣＭが適用されることを指示する場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定し、前記決定されたＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成するステップと、前記現在ブロックのイントラ予測モードに基づいて、イントラ予測を行うことにより前記現在ブロックの予測ブロックを生成するステップと、前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを復元するステップと、を含むことができる。
【0014】
本開示による画像復号化方法において、前記第１情報は、前記現在ブロックに０ではないレジデュアル信号が存在する場合にのみパーシングされ、前記現在ブロックに０ではないレジデュアル信号が存在しない場合、前記第１情報のパーシングをスキップし、前記現在ブロックに対してＢＤＰＣＭが適用されないものと決定されることができる。
【0015】
本開示による画像復号化方法において、前記現在ブロックに０ではないレジデュアル信号が存在するか否かは、前記ビットストリームからパーシングされた情報に基づいて判断されることができる。
【0016】
本開示による画像復号化方法において、前記ＢＤＰＣＭの予測方向は、前記ビットストリームからパーシングされた第２情報に基づいて決定されることができる。
【0017】
本開示による画像復号化方法において、前記ＢＤＰＣＭの予測方向と前記イントラ予測モードの予測方向とは同一であることができる。
【0018】
本開示による画像復号化方法において、前記ＢＤＰＣＭの予測方向は、前記イントラ予測モードに基づいて決定されることができる。
【0019】
本開示による画像復号化方法において、前記イントラ予測モードの予測方向が垂直方向である場合、前記ＢＤＰＣＭの予測方向は垂直方向に決定され、前記イントラ予測モードの予測方向が水平方向である場合、前記ＢＤＰＣＭの予測方向は水平方向に決定され、前記イントラ予測モードが非方向性モードである場合、前記ＢＤＰＣＭの予測方向は所定の方向に決定されることができる。
【0020】
本開示による画像復号化方法において、前記所定の方向は、予め定義された方向又は前記現在ブロックの上位レベルでシグナリングされる情報に基づいて導出された方向であることができる。
【0021】
本開示による画像復号化方法において、前記ＢＤＰＣＭの予測方向は、前記現在ブロックのサイズに基づいて決定されることができる。
【0022】
本開示による画像復号化方法において、前記現在ブロックの幅がＷであり、高さがＨであるとき、ＷがＨよりも大きい場合、前記ＢＤＰＣＭの予測方向は水平方向に決定され、ＨがＷよりも大きい場合、前記ＢＤＰＣＭの予測方向は垂直方向に決定されることができる。
【0023】
本開示による画像復号化方法において、前記現在ブロックの幅がＷであり、高さがＨであるとき、Ｗ／Ｈが所定の整数Ｎ以上である場合、前記ＢＤＰＣＭの予測方向は垂直方向に決定され、Ｗ／Ｈが１／Ｎ以下である場合、前記ＢＤＰＣＭの予測方向は水平方向に決定されることができる。
【0024】
本開示の他の態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、イントラ予測された現在ブロックに対してＢＤＰＣＭが適用されるか否かを指示する第１情報をビットストリームからパーシングし、前記第１情報が前記現在ブロックに対してＢＤＰＣＭが適用されることを指示する場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定し、前記決定されたＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを生成し、前記現在ブロックのイントラ予測モードに基づいて、イントラ予測を行うことにより前記現在ブロックの予測ブロックを生成し、前記レジデュアルブロックと前記予測ブロックに基づいて前記現在ブロックを復元することができる。
【0025】
本開示の別の態様による画像符号化方法は、現在ブロックに対してＢＤＰＣＭが適用されるか否かを決定するステップと、前記現在ブロックに対してＢＤＰＣＭが適用される場合、前記現在ブロックに対するＢＤＰＣＭの予測方向を決定するステップと、前記現在ブロックのイントラ予測モードに基づいて、イントラ予測を行うことにより前記現在ブロックの予測ブロックを生成するステップと、前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成するステップと、前記決定されたＢＤＰＣＭの予測方向に基づいて前記現在ブロックのレジデュアルブロックを符号化するステップと、前記現在ブロックに対してＢＤＰＣＭが適用されるか否かを指示する第１情報を符号化するステップと、を含むことができる。
【0026】
本開示による画像符号化方法において、前記ＢＤＰＣＭの予測方向と前記イントラ予測モードの予測方向とは同一であることができる。
【0027】
本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。
【0028】
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
【0029】
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【0030】
本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
【0031】
また、本開示によれば、ＢＤＰＣＭを用いて画像を符号化／復号化する方法及び装置が提供されることができる。
【0032】
また、本開示によれば、ＢＤＰＣＭ関連情報を効率よくシグナリングする画像符号化／復号化方法及び装置が提供されることができる。
【0033】
また、本開示によれば、イントラ予測モード又はブロックのサイズに基づいてＢＤＰＣＭの予測方向を導出した後、ＢＤＰＣＭを行う画像符号化／復号化方法及び装置が提供されることができる。
【0034】
また、本開示によれば、ＢＤＰＣＭが適用されたブロックのレジデュアル信号を効率よく符号化する画像符号化／復号化方法及び装置が提供されることができる。
【0035】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
【0036】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
【0037】
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
【0038】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0039】
【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。
【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【図4】本開示による実施例が適用可能な画像復号化手順の概略的なフローチャートである
【図5】本開示される実施例が適用可能な画像符号化手順の概略的なフローチャートである。
【図6】イントラ予測ベースのビデオ／画像符号化方法を示すフローチャートである。
【図7】本開示によるイントラ予測部１８５の構成を例示的に示す図である。
【図8】イントラ予測ベースのビデオ／画像復号化方法を示すフローチャートである。
【図9】本開示によるイントラ予測部２６５の構成を例示的に示す図である。
【図10】本開示の一実施例によるイントラ予測方向を示す図である。
【図11】本開示の他の実施例によるイントラ予測方向を示す図である。
【図12】本開示によるＢＤＰＣＭのレジデュアルサンプルを符号化する方法を説明するための図である。
【図13】本開示のＢＤＰＣＭを行って生成された修正された量子化レジデュアルブロックを示す図である。
【図14】画像符号化装置でＢＤＰＣＭを適用して現在ブロックを符号化する手順を示すフローチャートである。
【図15】画像復号化装置でＢＤＰＣＭを適用して現在ブロックを復元する手順を示すフローチャートである。
【図16】現在ブロックのシンタックス構造に含まれているＢＤＰＣＭに関する情報を概略的に示す図である。
【図17】本開示の一実施例によるＢＤＰＣＭ関連情報の符号化／復号化方法を説明するためのフローチャートである。
【図18】本開示の他の実施例による現在ブロックのイントラ予測方向に基づいてＢＤＰＣＭの予測方向を誘導する方法を説明するためのフローチャートである。
【図19】本開示の別の実施例によるＢＤＰＣＭの予測方向に基づいて現在ブロックのイントラ予測モードを誘導する方法を説明するためのフローチャートである。
【図20】本開示の別の実施例による現在ブロックのサイズに基づいてＢＤＰＣＭの予測方向を誘導する方法を説明するためのフローチャートである。
【図21】ＣＡＢＡＣエントロピー符号化方法を説明するための図である。
【図22】本開示の一実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図23】本開示の一実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図24】本開示によってＢＤＰＣＭの予測方向を考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【図25】本開示の他の実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図26】本開示の他の実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図27】本開示によってＢＤＰＣＭのラインを考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【図28】本開示の別の実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図29】本開示の別の実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図30】本開示によって周辺ピクセルがＢＤＰＣＭの一番目のラインに含まれるか否かを考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【図31】本開示の別の実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図32】本開示の別の実施例によってＢＤＰＣＭが適用されたブロックに対するテンプレートを説明するための図である。
【図33】本開示によってＢＤＰＣＭの予測方向及び周辺ピクセルがＢＤＰＣＭの一番目のラインに含まれるか否かを考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【図34】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
【発明を実施するための形態】
【0040】
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
【0041】
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
【0042】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するものではなく、別の構成要素をさらに含むことができることを意味する。
【0043】
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。
【0044】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
【0045】
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
【0046】
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
【0047】
本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）／サブピクチャ（ｓｕｂｐｉｃｔｕｒｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイル／サブピクチャで構成できる。また、スライス／タイル／サブピクチャは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。
【0048】
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
【0049】
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
【0050】
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。
変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
【0051】
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。
【0052】
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
【0053】
本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
【0054】
ビデオコーディングシステムの概要
【0055】
図１は本開示によるビデオコーディングシステムを示す図である。
【0056】
一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。
【0057】
一実施例よる符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は符号化部１２に含まれることができる。受信部２１は復号化部２２に含まれることができる。レンダリング部２３はディスプレイ部を含むこともでき、ディスプレイ部は別個のデバイス又は外部コンポーネントとして構成されることもできる。
【0058】
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
【0059】
符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。
【0060】
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。
【0061】
復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。
【0062】
レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。
レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
【0063】
画像符号化装置の概要
【0064】
図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【0065】
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。
【0066】
画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現できる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
【0067】
画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングユニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。
【0068】
予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０へ伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0069】
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードを含むことができる。方向性モードは、予測方向の細密な程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0070】
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
【0071】
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
【0072】
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。
【0073】
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない可変サイズのブロックにも適用されることができる。
【0074】
量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
【0075】
エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像の復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
【0076】
前記ビットストリームは、ネットワークを介して伝送されることができ、或いはデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、或いは伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。
【0077】
量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
【0078】
加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0079】
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０へ伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0080】
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
【0081】
メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するためにインター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。
【0082】
画像復号化装置の概要
【0083】
図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【0084】
図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。
【0085】
画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
【0086】
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニットであるか或いは最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
【0087】
画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像の復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は、受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。
【0088】
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。
【0089】
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャンの順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
【0090】
逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
【0091】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
【0092】
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
【0093】
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
【0094】
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
【0095】
加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0096】
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0097】
メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。
【0098】
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。
【0099】
画像復号化／符号化手順の概要
【0100】
画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に基づいて符号化／復号化されることができる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定されることができ、これに基づいてインター予測の際に順方向予測だけでなく、逆方向予測も行うことができる。
【0101】
図４は本開示による実施例が適用可能な画像復号化手順の概略的なフローチャートである。
【0102】
図４に示す各手順は、図３の画像復号化装置によって行われることができる。具体的には、例えば、ステップＳ４１０は画像復号化装置のエントロピー復号化部２１０で行われることができ、ステップＳ４２０は予測部２６０、２６５で行われることができ、ステップＳ４３０はレジデュアル処理部２２０、２３０で行われることができ、ステップＳ４４０は加算部２３５で行われることができ、ステップＳ４５０はフィルタリング部２４０で行われることができる。ステップＳ４１０は、本開示で説明された情報復号化（パーシング）手順を含むことができ、ステップＳ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ４３０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、ステップＳ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。
【0103】
図４を参照すると、画像復号化手順は、概略的にビットストリームから（復号化による）画像／ビデオ情報を取得する手順（Ｓ４１０）、画像（ピクチャ）復元手順（Ｓ４２０～Ｓ４４０）及び復元された画像（ピクチャ）に対するインループフィルタリング手順（Ｓ４５０）を含むことができる。前記画像復元手順は、インター／イントラ予測（Ｓ４２０）を経て取得した予測サンプル及びレジデュアル処理（Ｓ４３０、量子化された変換係数に対する逆量子化及び／又は逆変換）過程を経て取得したレジデュアルサンプルをベースに行われることができる。前記画像復元手順を介して生成された復元ピクチャに対するインループフィルタリング手順（Ｓ４５０）を介して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャが生成されることができ、前記修正された復元ピクチャが復号化されたピクチャとして出力されることができ、また、画像復号化装置の復号ピクチャバッファ（ＤＰＢ）２５０又はメモリに保存され、以後ピクチャの復号化の際にインター予測手順で参照ピクチャとして使用されることができる。場合によって、前記インループフィルタリング手順は省略されることができ、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、画像復号化装置の復号ピクチャバッファ２５０又はメモリに保存され、以後ピクチャの復号化の際にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略できる。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されることができ、或いは全部が順次適用されることもできる。たとえば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは画像符号化装置においても同様に行われることができる。
【0104】
図５は本開示による実施例が適用可能な画像符号化手順の概略的なフローチャートである。
【0105】
図４に示されている各手順は、図２の画像符号化装置によって行われることができる。
具体的には、例えば、ステップＳ５１０は、画像符号化装置の予測部１８０、１８５で行われることができ、ステップＳ５２０は、レジデュアル処理部１１５、１２０、１３０で行われることができ、ステップＳ５３０は、エントロピー符号化部１９０で行われることができる。ステップＳ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ５３０は、本開示で説明された情報符号化手順を含むことができる。
具体的には、例えば、ステップＳ５１０は、画像符号化装置の予測部１８０、１８５で行われることができ、ステップＳ５２０は、レジデュアル処理部１１５、１２０、１３０で行われることができ、ステップＳ５３０は、エントロピー符号化部１９０で行われることができる。ステップＳ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ５３０は、本開示で説明された情報符号化手順を含むことができる。
【0106】
図５を参照すると、画像符号化手順は、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（オプション）を含むことができる。画像符号化装置は、逆量子化部１４０及び逆変換部１５０を介して量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、ステップＳ５１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルをベースに復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した画像復号化装置で生成した復元ピクチャと同一であることができる。前記復元ピクチャに対するインループフィルタリング手順を介して修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ（ＤＰＢ）１７０又はメモリに保存されることができ、画像復号化装置での場合と同様に、以後ピクチャの符号化の際にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によって、前記インループフィルタリング手順の一部又は全部は省略されることができる。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、画像復号化装置は、前記フィルタリング関連情報に基づいて画像符号化装置と同様の方法でインループフィルタリング手順を行うことができる。
【0107】
このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画コーディング時に発生するノイズを減らすことができ、主観的／客観的ビジュアルクオリティを高めることができる。また、画像符号化装置と画像復号化装置の両方ともでインループフィルタリング手順を行うことにより、画像符号化装置と画像復号化装置は、同じ予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されなければならないデータ量を減らすことができる。
【0108】
上述したように、画像復号化装置だけでなく、画像符号化装置においても画像（ピクチャ）復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部ブロックに対してはインター予測が適用され、残りの一部ブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示による方法及び実施例は、ルマ成分及びクロマ成分に適用されることができる。
【0109】
インラ予測の概要
【0110】
以下、本開示によるイントラ予測について説明する。
【0111】
イントラ予測は、現在ブロックの属するピクチャ（以下、現在ピクチャ）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。
現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの左側（ｌｅｆｔ）境界に隣接するサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接する合計２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接するサンプル、及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接する合計２×ｎＷ個のサンプル、及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接する１つのサンプルを含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接する合計ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接する合計ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接する１つのサンプルを含むこともできる。
現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの左側（ｌｅｆｔ）境界に隣接するサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接する合計２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接するサンプル、及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接する合計２×ｎＷ個のサンプル、及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接する１つのサンプルを含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接する合計ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接する合計ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接する１つのサンプルを含むこともできる。
【0112】
ただし、現在ブロックの周辺参照サンプルの一部は、未だ復号化されていないか或いは利用可能でないことができる。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して、予測に使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。
【0113】
周辺参照サンプルが導出された場合、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうちの予測サンプルに対して、特定の（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モード又は非角度モード、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。
【0114】
また、前記周辺参照サンプルのうち、前記現在ブロックの予測対象サンプルを基準に、前記現在ブロックのイントラ予測モードの予測方向に位置する第１周辺サンプルとその反対方向に位置する第２周辺サンプルとの補間を介して前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。
【0115】
また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭ（Ｌｉｎｅａｒ Ｍｏｄｅｌ）モードと呼ばれることができる。
【0116】
また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの一時予測サンプルを導出し、前記従来の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、前記イントラ予測モードに応じて導出された少なくとも一つの参照サンプルと前記一時予測サンプルを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して、前記現在ブロックの予測サンプルを導出することもできる。この場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。
【0117】
また、現在ブロックの周辺多重参照サンプルラインのうち、最も予測精度が高い参照サンプルラインを選択して、当該ラインから予測方向に位置する参照サンプルを用いて予測サンプルを導出することができる。このとき、使用された参照サンプルラインに関する情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）は、ビットストリームに符号化されてシグナリングされることができる。この場合は、ＭＲＬ（ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＲＬベースのイントラ予測と呼ばれることができる。ＭＲＬが適用されない場合、現在ブロックに直接隣接する参照サンプルラインから参照サンプルが導出されることができ、この場合、参照サンプルラインに関する情報はシグナリングされないことができる。
【0118】
また、現在ブロックを垂直又は水平のサブパーティションに分割し、各サブパーティションに対して同一のイントラ予測モードに基づいてイントラ予測を行うことができる。このとき、イントラ予測の周辺参照サンプルは、各サブパーティション単位で導出されることができる。すなわち、符号化／復号化の順序上、以前のサブパーティションの復元されたサンプルが現在サブパーティションの周辺参照サンプルとして用いられることができる。この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合によってはイントラ予測性能を向上させることができる。このような予測方法は、ＩＳＰ（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）又はＩＳＰベースのイントラ予測と呼ばれることができる。
【0119】
前述したイントラ予測技法は、方向性又は非方向性のイントラ予測モードと区分してイントラ予測タイプ又は付加イントラ予測モードなどのさまざまな用語で呼ばれることができる。例えば、前記イントラ予測技法（イントラ予測タイプ又は付加イントラ予測モードなど）は、上述したＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうちの少なくとも一つを含むことができる。前記ＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定のイントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、上述したような特定のイントラ予測タイプが適用されない場合に一般的に適用でき、前述したイントラ予測モードに基づいて予測が行われることができる。一方、必要に応じて導出された予測サンプルに対する後処理フィルタリングが行われることもできる。
【0120】
具体的には、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要に応じて、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが行われることもできる。
【0121】
図６はイントラ予測ベースのビデオ／画像符号化方法を示すフローチャートである。
【0122】
図６の符号化方法は、図２の画像符号化装置によって行われることができる。具体的には、ステップＳ６１０はイントラ予測部１８５によって行われることができ、ステップＳ６２０はレジデュアル処理部によって行われることができる。具体的には、ステップＳ６２０は減算部１１５によって行われることができる。ステップＳ６３０はエントロピー符号化部１９０によって行われることができる。ステップＳ６３０の予測情報はイントラ予測部１８５によって導出され、ステップＳ６３０のレジデュアル情報はレジデュアル処理部によって導出されることができる。前記レジデュアル情報は前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数として導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。
前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。
前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。
【0123】
画像符号化装置は、現在ブロックに対するイントラ予測を行うことができる（Ｓ６１０）。画像符号化装置は、現在ブロックに対するイントラ予測モード／タイプを決定し、現在ブロックの周辺参照サンプルを導出した後、前記イントラ予測モード／タイプ、及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。
【0124】
図７は本開示によるイトラ予測部１８５の構成を例示的に示す図である。
【0125】
図７に示すように、画像符号化装置のイントラ予測部１８５は、イントラ予測モード／タイプ決定部１８６、参照サンプル導出部１８７及び／又は予測サンプル導出部１８８を含むことができる。イントラ予測モード／タイプ決定部１８６は、前記現在ブロックに対するイントラ予測モード／タイプを決定することができる。参照サンプル導出部１８７は、前記現在ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部１８８は、前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはいないが、後述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部１８５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。
【0126】
画像符号化装置は、複数のイントラ予測モード／タイプのうち、前記現在ブロックに対して適用されるモード／タイプを決定することができる。画像符号化装置は、前記イントラ予測モード／タイプに対するレート歪みコスト（ＲＤ ｃｏｓｔ）を比較し、前記現在ブロックに対する最適のイントラ予測モード／タイプを決定することができる。
【0127】
一方、画像符号化装置は予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングはポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルの一部又は全部がフィルタリングされることができる。場合によっては、前記予測サンプルフィルタリング手順は省略できる。
【0128】
再び図６を参照して、画像符号化装置は、予測サンプル又はフィルタリングされた予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ６２０）。画像符号化装置は、現在ブロックの原本サンプルから前記予測サンプルを減算して前記レジデュアルサンプルを導出することができる。つまり、画像符号化装置は、原本サンプル値から対応する予測サンプル値を減算することにより、レジデュアルサンプル値を導出することができる。
【0129】
画像符号化装置は、前記イントラ予測に関する情報（予測情報）、及び前記レジデュアルサンプルに関するレジデュアル情報を含む画像情報を符号化することができる（Ｓ６３０）。前記予測情報は、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報を含むことができる。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。出力されたビットストリームは、記憶媒体又はネットワークを介して画像復号化装置へ伝達されることができる。
【0130】
前記レジデュアル情報は、後述するレジデュアルコーディングシンタックスを含むことができる。画像符号化装置は、前記レジデュアルサンプルを変換／量子化し、量子化された変換係数を導出することができる。前記レジデュアル情報は、前記量子化された変換係数に対する情報を含むことができる。
【0131】
一方、前述したように、画像符号化装置は、復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。このために、画像符号化装置は、前記量子化された変換係数をさらに逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出することができる。このようにレジデュアルサンプルを変換／量子化した後、再び逆量子化／逆変換を行う理由は、画像復号化装置から導出されるレジデュアルサンプルと同一のレジデュアルサンプルを導出するためである。画像符号化装置は、前記予測サンプルと前記（修正された）レジデュアルサンプルに基づいて、前記現在ブロックに対する復元サンプルを含む復元ブロックを生成することができる。前記復元ブロックに基づいて、前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。
【0132】
図８はイントラ予測ベースのビデオ／画像復号化方法を示すフローチャートである。
【0133】
画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。
【0134】
図８の復号化方法は、図３の画像復号化装置によって行われることができる。ステップＳ８１０乃至Ｓ８３０は、イントラ予測部２６５によって行われることができ、ステップＳ８１０の予測情報及びステップＳ８４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得されることができる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて、現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ８４０）。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ８５０は、加算部２３５又は復元部によって行われることができる。
【0135】
具体的には、画像復号化装置は、受信された予測情報（イントラ予測モード／タイプ情報）に基づいて、現在ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ８１０）。また、画像復号化装置は、前記現在ブロックの周辺参照サンプルを導出することができる（Ｓ８２０）。画像復号化装置は、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる（Ｓ８３０）。この場合、画像復号化装置は、予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルの一部又は全部がフィルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省略できる。
【0136】
画像復号化装置は、受信されたレジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ８４０）。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、前記復元サンプルを含む復元ブロックを導出することができる（Ｓ８５０）。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。
【0137】
図９は本開示によるイントラ予測部２６５の構成を例示的に示す図である。
【0138】
図９に示すように、画像復号化装置のイントラ予測部２６５は、イントラ予測モード／タイプ決定部２６６、参照サンプル導出部２６７及び予測サンプル導出部２６８を含むことができる。イントラ予測モード／タイプ決定部２６６は、画像符号化装置のイントラ予測モード／タイプ決定部１８６で生成されてシグナリングされたイントラ予測モード／タイプ情報に基づいて、前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部２６６は、現在ピクチャ内の復元された参照領域から前記現在ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部２６８は前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはいないが、前述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部２６５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。
【0139】
前記イントラ予測モード情報は、例えばＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が前記現在ブロックに適用されるか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるかを示すフラグ情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができ、前記ＭＰＭが前記現在ブロックに適用される場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）の一つを指すインデックス情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。前記イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リスト又はＭＰＭリストとして構成されることができる。また、前記ＭＰＭが前記現在ブロックに適用されない場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードの一つを指示するリメイニングモード情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。画像復号化装置は、前記イントラ予測モード情報に基づいて、前記現在ブロックのイントラ予測モードを決定することができる。ＭＰＭ候補モードは、現在ブロックの周辺ブロック（例えば、左側周辺ブロック及び上側周辺ブロック）のイントラ予測モード及び追加の候補モードを含むことができる。
【0140】
また、前記イントラ予測技法情報は、様々な形態で実現できる。一例として、前記イントラ予測技法情報は、前記イントラ予測技法のうちのいずれか一つを指示するイントラ予測技法インデックス情報を含むことができる。他の例として、前記イントラ予測技法情報は、前記ＭＲＬが前記現在ブロックに適用されるか、及び、適用される場合には何番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、前記ＩＳＰが前記現在ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、前記ＩＳＰが適用される場合にサブパーティションの分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＰＣの適用如何を示すフラグ情報、又はＬＩＰの適用如何を示すフラグ情報のうちの少なくとも一つを含むことができる。本開示において、ＩＳＰフラグ情報はＩＳＰ適用インジケータと呼ばれることができる。
【0141】
前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、本開示で説明されたコーディング方法を介して符号化／復号化されることができる。例えば、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、ｔｒｕｎｃａｔｅｄ（ｒｉｃｅ）ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピーコーディング（例えば、ＣＡＢＡＣ、ＣＡＶＬＣ）を介して符号化／復号化できる。
【0142】
図１０は本開示の一実施例によるイントラ予測方向を示す図である。
【0143】
イントラ予測モードは、一例として、２つの非方向性イントラ予測モードと、３３個の方向性イントラ予測モードとを含むことができる。前記非方向性イントラ予測モードは、Ｐｌａｎａｒイントラ予測モード及びＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至３４番のイントラ予測モードを含むことができる。
前記Ｐｌａｎａｒイントラ予測モードは、Ｐｌａｎａｒモードと呼ばれることができ、前記ＤＣイントラ予測モードは、ＤＣモードと呼ばれることができる。
前記Ｐｌａｎａｒイントラ予測モードは、Ｐｌａｎａｒモードと呼ばれることができ、前記ＤＣイントラ予測モードは、ＤＣモードと呼ばれることができる。
【0144】
又は、自然画像（ｎａｔｕｒａｌ ｖｉｄｅｏ）で提示された任意のエッジ方向（ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ）をキャプチャするために、図１０に示すように、イントラ予測モードは、２つの非方向性イントラ予測モードと、６５個の拡張された方向性イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、Ｐｌａｎａｒモード及びＤＣモードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番のイントラ予測モードを含むことができる。前記拡張されたイントラ予測モードは、すべてのサイズのブロックに適用されることができ、ルマ成分（ルマブロック）及びクロマ成分（クロマブロック）の両方ともに適用されることができる。
【0145】
又は、前記イントラ予測モードは、２つの非方向性イントラ予測モードと１２９個の方向性イントラ予測モードを含むことができる。前記非方向性イントラ予測モードは、Ｐｌａｎａｒモード及びＤＣモードを含むことができ、前記方向性イントラ予測モードは、２番乃至１３０番のイントラ予測モードを含むことができる。
【0146】
一方、前記イントラ予測モードは、前述したイントラ予測モードの他にも、クロマサンプルのためのＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードをさらに含むことができる。ＣＣＬＭモードは、ＬＭパラメータの導出のために、左側サンプルを考慮するか、上側サンプルを考慮するか、両方を考慮するかによってＬ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭに分けられることができ、クロマ成分に対してのみ適用されることができる。
【0147】
イントラ予測モードは、例えば、下記表１に示すようにインデキシングできる。
【0148】
【表1】
【0149】
図１１は本開示の他の実施例によるイントラ予測方向を示す図である。図１１において、破線方向は、正方形ではないブロックのみに適用される広角（ｗｉｄｅ ａｎｇｌｅ）モードを示す。図１１に示すように、自然画像（ｎａｔｕｒａｌ ｖｉｄｅｏ）で提示された任意のエッジ方向（ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ）をキャプチャするために、一実施例によるイントラ予測モードは、２つの非方向性イントラ予測モードと共に９３個の方向性イントラ予測モードを含むことができる。非方向性イントラ予測モードは、Ｐｌａｎａｒモード及びＤＣモードを含むことができる。方向性イントラ予測モードは、図１１の矢印で示すように、２番乃至８０番と－１番乃至－１４番で構成されるイントラ予測モードを含むことができる。前記ＰｌａｎａｒモードはＩＮＴＲＡ＿ＰＬＡＮＡＲ、ＤＣモードはＩＮＴＲＡ＿ＤＣとそれぞれ表記されることができる。そして、方向性イントラ予測モードは、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１４乃至ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１及びＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２乃至ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ８０と表記されることができる。
【0150】
ＢＤＰＣＭ（Ｂｌｏｃｋ ｄｉｆｆｅｒｅｎｃｅ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）の概要
【0151】
本開示によるＢＤＰＣＭは、量子化レジデュアルドメイン（ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｄｏｍａｉｎ）で行われることができる。量子化レジデュアルドメインは、量子化レジデュアル信号（又は量子化レジデュアル係数）を含むことができ、ＢＤＰＣＭを適用する場合、量子化レジデュアル信号に対する変換はスキップされる。つまり、ＢＤＰＣＭを適用する場合、レジデュアルサンプルに対して変換はスキップされ、量子化は適用される。又は、量子化レジデュアルドメインは、量子化された変換係数を含むことができる。
【0152】
現在ブロックにＢＤＰＣＭが適用される場合、現在ブロックの予測されたサンプルを含む予測されたブロック（予測ブロック）は、イントラ予測によって生成されることができる。このとき、イントラ予測を行うためのイントラ予測モードは、ビットストリームを介してシグナリングされることもでき、後述するＢＤＰＣＭの予測方向に基づいて誘導されることもできる。また、このとき、イントラ予測モードは、垂直予測方向モード又は水平予測方向モードのうちのいずれか一つに決定されることができる。例えば、ＢＤＰＣＭの予測方向が水平方向である場合、イントラ予測モードは水平予測方向モードに決定され、現在ブロックの予測ブロックは水平方向のイントラ予測によって生成されることができる。又は、ＢＤＰＣＭの予測方向が垂直方向である場合、イントラ予測モードは垂直予測方向モードに決定され、現在ブロックの予測ブロックは垂直方向のイントラ予測によって生成されることができる。水平方向のイントラ予測が適用される場合、現在ブロックの左側に隣接するピクセルの値が、現在ブロックの当該ロー（ｒｏｗ）に含まれているサンプルの予測されたサンプル値として決定されることができる。垂直方向のイントラ予測が適用される場合、現在ブロックの上側に隣接するピクセルの値が、現在ブロックの当該カラム（ｃｏｌｕｍｎ）に含まれているサンプルの予測サンプル値として決定されることができる。現在ブロックにＢＤＰＣＭが適用される場合、現在ブロックの予測ブロックを生成する方法は、画像符号化装置及び画像復号化装置で同一に行われることができる。
【0153】
現在ブロックにＢＤＰＣＭが適用される場合、画像符号化装置は、現在ブロックから前記予測ブロックを減算することにより、現在ブロックのレジデュアルサンプルを含むレジデュアルブロックを生成することができる。画像符号化装置は、前記レジデュアルブロックを量子化した後、量子化レジデュアルサンプルと当該量子化レジデュアルサンプルの予測子（ｐｒｅｄｉｃｔｏｒ）との差異値（ｄｉｆｆｅｒｅｎｃｅ又はｄｅｌｔａ）を符号化することができる。画像復号化装置は、ビットストリームから復元された差異値と予測子に基づいて、現在ブロックの量子化レジデュアルサンプルを取得することにより、現在ブロックの量子化レジデュアルブロックを生成することができる。以後、画像復号化装置は、量子化レジデュアルブロックを逆量子化した後、前記予測ブロックと加えることにより現在ブロックを復元することができる。
【0154】
図１２は本開示によるＢＤＰＣＭのレジデュアルサンプルを符号化する方法を説明するための図である。
【0155】
図１２のレジデュアルブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）は、画像符号化装置で現在ブロックから予測ブロックを減算することにより生成されることができる。図１２の量子化レジデュアルブロック（ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）は、前記レジデュアルブロックを量子化することにより生成されることができる。図１２において、ｒｉ、ｊは現在ブロック内（ｉ、ｊ）座標のレジデュアルサンプルの値を示す。現在ブロックのサイズがＭ×Ｎであるとき、ｉの値は０以上Ｍ－１以下であることができる。また、ｊの値は０以上Ｎ－１以下であることができる。例えば、ｒｉ、ｊは現在ブロック内（ｉ、ｊ）座標の原本サンプルの値から予測サンプルの値を差し引くことにより導出されることができる。図１２において、Ｑ（ｒｉ、ｊ）は、現在ブロック内（ｉ、ｊ）座標の量子化レジデュアルサンプルの値を示す。ＢＤＰＣＭの予測は、図１２の量子化レジデュアルサンプルに対して行われることで、修正された量子化レジデュアルサンプル（ｍｏｄｉｆｉｅｄ ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｓａｍｐｌｅｓ）を含むＭ×Ｎサイズの修正された量子化レジデュアルブロック（ｍｏｄｉｆｉｅｄ ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）が生成されることができる。
【0156】
ＢＤＰＣＭの予測方向が水平方向であるとき、現在ブロック内（ｉ、ｊ）座標の修正された量子化レジデュアルサンプルの値（ｒ’ｉ、ｊ）は数式１のように計算されることができる。
【0157】
【数1】
【0158】
前記数式１のように、ＢＤＰＣＭの予測方向が水平方向であるとき、（０、ｊ）座標のｒ’０、ｊの値は、量子化レジデュアルサンプルの値Ｑ（ｒ０、ｊ）がそのまま割り当てられる。その他の（ｉ、ｊ）座標のｒ’ｉ、ｊの値は（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）と（ｉ－１、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ－１、ｊ）との差異値で誘導される。すなわち、（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）を符号化する代わりに、（ｉ－１、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ－１、ｊ）を予測値として用いて計算された差異値を修正された量子化レジデュアルサンプル値（ｒ’ｉ、ｊ）で誘導した後、ｒ’ｉ、ｊの値を符号化する。
【0159】
ＢＤＰＣＭの予測方向が垂直方向であるとき、現在ブロック内（ｉ、ｊ）座標の修正された量子化レジデュアルサンプルの値（ｒ’ｉ、ｊ）は、数式２のように計算されることができる。
【0160】
【数2】
【0161】
前記数式２のように、ＢＤＰＣＭの予測方向が垂直方向であるとき、（ｉ、０）座標のｒ’ｉ、０の値は量子化レジデュアルサンプルの値Ｑ（ｒｉ、０）がそのまま割り当てられる。その他の（ｉ、ｊ）座標のｒ’ｉ、ｊの値は、（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）と（ｉ、ｊ－１）座標の量子化レジュアルサンプルの値Ｑ（ｒｉ、ｊ－１）との差異値で誘導される。すなわち、（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）を符号化する代わりに、（ｉ、ｊ－１）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ－１）を予測値として用いて計算された差異値を修正された量子化レジデュアルサンプル値（ｒ’ｉ、ｊ）で誘導した後、ｒ’ｉ、ｊの値を符号化する。
【0162】
前述したように、隣接する量子化レジデュアルサンプル値を予測値として用いて現在量子化レジデュアルサンプル値を修正する過程をＢＤＰＣＭ予測と呼ぶことができる。
【0163】
最終的に、画像符号化装置は、修正された量子化レジデュアルサンプルを含む修正された量子化レジデュアルブロックを符号化して画像復号化装置に伝送することができる。このとき、前述したように、修正された量子化レジデュアルブロックに対する変換は行われない。
【0164】
図１３は本開示のＢＤＰＣＭを行って生成された修正された量子化レジデュアルブロックを示す。
【0165】
図１３において、Ｈｏｒｉｚｏｎｔａｌ ＢＤＰＣＭは、ＢＤＰＣＭの予測方向が水平方向であるとき、前記数式１に基づいて生成された修正された量子化レジデュアルブロックを示す。また、Ｖｅｒｔｉｃａｌ ＢＤＰＣＭは、ＢＤＰＣＭの予測方向が垂直方向であるとき、前記数式２に基づいて生成された修正された量子化レジデュアルブロックを示す。
【0166】
図１４は画像符号化装置においてＢＤＰＣＭを適用して現在ブロックを符号化する手順を示すフローチャートである。
【0167】
まず、符号化対象ブロックである現在ブロックが入力されると（Ｓ１４１０）、現在ブロックに対して予測を行って予測ブロックを生成することができる（Ｓ１４２０）。ステップＳ１４２０の予測ブロックは、イントラ予測されたブロックであることができ、イントラ予測モードは、前述したように決定されることができる。ステップＳ１４２０で生成された予測ブロックに基づいて、現在ブロックのレジデュアルブロックを生成することができる（Ｓ１４３０）。例えば、画像符号化装置は、現在ブロック（原本サンプルの値）から予測ブロック（予測されたサンプルの値）を差し引くことにより、レジデュアルブロック（レジデュアルサンプルの値）を生成することができる。例えば、ステップＳ１４３０の実行によって、図１２のレジデュアルブロックが生成されることができる。ステップＳ１４３０で生成されたレジデュアルブロックに対して量子化を行い（Ｓ１４４０）、量子化レジデュアルブロックが生成され、量子化レジデュアルブロックに対してＢＤＰＣＭ予測が行われることができる（Ｓ１４５０）。ステップＳ１４４０の実行結果として生成された量子化レジデュアルブロックは、図１２の量子化レジデュアルブロックであることができ、ステップＳ１４５０のＢＤＰＣＭ予測結果、予測方向に沿って図１３の修正された量子化レジデュアルブロックが生成されることができる。ステップＳ１４５０のＢＤＰＣＭ予測は、図１２及び図１３を参照して説明したので、具体的な説明は省略する。以後、画像符号化装置は、修正された量子化レジデュアルブロックを符号化して（Ｓ１４６０）ビットストリームを生成することができる。このとき、修正された量子化レジデュアルブロックに対する変換はスキップされることができる。
【0168】
【0169】
図１５は画像復号化装置においてＢＤＰＣＭを適用して現在ブロックを復元する手順を示すフローチャートである。
【0170】
画像復号化装置は、ビットストリームから現在ブロックの復元に必要な情報（画像情報）を取得することができる（Ｓ１５１０）。現在ブロックの復元に必要な情報は、現在ブロックの予測に関する情報（予測情報）、現在ブロックのレジデュアルに関する情報（レジデュアル情報）などを含むことができる。画像復号化装置は、現在ブロックに対する情報に基づいて現在ブロックに対して予測を行い、予測ブロックを生成することができる（Ｓ１５２０）。現在ブロックに対する予測はイントラ予測であることができ、具体的な説明は図１４を参照して説明したのと同様である。図１５において、現在ブロックに対する予測ブロックを生成するステップ（Ｓ１５２０）は、現在ブロックのレジデュアルブロックを生成するステップＳ１５３０乃至Ｓ１５５０に先行して行われることが図示された。
しかし、これに限定されず、現在ブロックのレジデュアルブロックが生成された後に、現在ブロックの予測ブロックが生成されることもできる。又は、現在ブロックのレジデュアルブロックと現在ブロックの予測ブロックとは同時に生成されることもできる。画像復号化装置は、ビットストリームから現在ブロックのレジデュアル情報をパーシングすることにより、現在ブロックのレジデュアルブロックを生成することができる（Ｓ１５３０）。
ステップＳ１５３０で生成されたレジデュアルブロックは、図１３に示されている修正された量子化レジデュアルブロックであることができる。画像復号化装置は、図１３の修正された量子化レジデュアルブロックに対してＢＤＰＣＭ予測を行うことにより（Ｓ１５４０）、図１２の量子化レジデュアルブロックを生成することができる。ステップＳ１５４０のＢＤＰＣＭ予測は、図１３の修正された量子化レジデュアルブロックから図１２の量子化レジデュアルブロックを生成する手順なので、画像符号化装置で行われるステップＳ１４５０の逆過程に対応することができる。
しかし、これに限定されず、現在ブロックのレジデュアルブロックが生成された後に、現在ブロックの予測ブロックが生成されることもできる。又は、現在ブロックのレジデュアルブロックと現在ブロックの予測ブロックとは同時に生成されることもできる。画像復号化装置は、ビットストリームから現在ブロックのレジデュアル情報をパーシングすることにより、現在ブロックのレジデュアルブロックを生成することができる（Ｓ１５３０）。
ステップＳ１５３０で生成されたレジデュアルブロックは、図１３に示されている修正された量子化レジデュアルブロックであることができる。画像復号化装置は、図１３の修正された量子化レジデュアルブロックに対してＢＤＰＣＭ予測を行うことにより（Ｓ１５４０）、図１２の量子化レジデュアルブロックを生成することができる。ステップＳ１５４０のＢＤＰＣＭ予測は、図１３の修正された量子化レジデュアルブロックから図１２の量子化レジデュアルブロックを生成する手順なので、画像符号化装置で行われるステップＳ１４５０の逆過程に対応することができる。
【0171】
以下、画像復号化装置で行われるステップＳ１５４０のＢＤＰＣＭ予測についてより詳細に説明する。
【0172】
ＢＤＰＣＭの予測方向が水平方向であるとき、画像復号化装置は、数式３を用いて、修正された量子化レジデュアルブロックから量子化レジデュアルブロックを生成することができる。
【0173】
【数3】
【0174】
数式３に規定されているように、（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）は、（０、ｊ）座標から（ｉ、ｊ）座標までの修正された量子化レジデュアルサンプルの値を合算することにより計算されることができる。
【0175】
又は、前記数式３の代わりに数式４を用いて、（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）を計算することができる。
【0176】
【数4】
【0177】
前記数式４は数式１に対応する逆過程である。前記数式４によれば、（０、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒ０、ｊ）は、（０、ｊ）座標の修正された量子化レジデュアルサンプルの値ｒ’０、ｊで誘導される。その他の（ｉ、ｊ）座標のＱ（ｒｉ、ｊ）は、（ｉ、ｊ）座標の修正された量子化レジデュアルサンプルの値ｒ’ｉ、ｊと（ｉ－１、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ－１、ｊ）との和で誘導される。すなわち、（ｉ－１、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ－１、ｊ）を予測値として用いて差異値ｒ’ｉ、ｊを合算することにより、量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）が誘導されることができる。
【0178】
ＢＤＰＣＭの予測方向が垂直方向であるとき、画像復号化装置は、数式５を用いて、修正された量子化レジデュアルブロックから量子化レジデュアルブロックを生成することができる。
【0179】
【数5】
【0180】
数式５に規定されているように、（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）は、（ｉ、０）座標から（ｉ、ｊ）座標までの修正された量子化レジデュアルサンプルの値を合算することにより計算されることができる。
【0181】
又は、前記式５の代わりに数式６を用いて、（ｉ、ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）を計算することができる。
【0182】
【数6】
【0183】
前記数式６は、数式２に対応する逆過程である。前記数式６によれば、（ｉ、０）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、０）は、（ｉ、０）座標の修正された量子化レジデュアルサンプルの値ｒ’ｉ、０で誘導される。その他の（ｉ、ｊ）座標のＱ（ｒｉ、ｊ）は、（ｉ、ｊ）座標の修正された量子化レジデュアルサンプルの値ｒ’ｉ、ｊと（ｉ、ｊ－１）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ－１）との和で誘導される。すなわち、（ｉ、ｊ－１）座標の量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ－１）を予測値として用いて差異値ｒ’ｉ、ｊを合算することにより、量子化レジデュアルサンプルの値Ｑ（ｒｉ、ｊ）が誘導されることができる。
【0184】
前述した方法によってステップＳ１５４０を行うことにより、量子化レジデュアルサンプルで構成された量子化レジデュアルブロックが生成されると、画像復号化装置は、量子化レジデュアルブロックに対して逆量子化を行うことにより（Ｓ１５５０）、現在ブロックのレジデュアルブロックを生成することができる。ＢＤＰＣＭが適用される場合、前述したように現在ブロックに対する変換はスキップされるので、逆量子化レジデュアルブロックに対する逆変換はスキップされることができる。
【0185】
以後、画像復号化装置は、ステップＳ１５２０で生成された予測ブロックとステップＳ１５５０で生成されたレジデュアルブロックに基づいて現在ブロックを復元することができる（Ｓ１５６０）。例えば、画像復号化装置は、予測ブロック（予測されたサンプルの値）とレジデュアルブロック（レジデュアルサンプルの値）とを加えることにより、現在ブロック（復元サンプルの値）を復元することができる。
【0186】
現在ブロックにＢＤＰＣＭが適用されるか否かを指示する第１情報がビットストリームを介してシグナリングされることができる。また、現在ブロックにＢＤＰＣＭが適用される場合、ＢＤＰＣＭの予測方向を指示する第２情報がビットストリームを介してシグナリングされることができる。現在ブロックにＢＤＰＣＭが適用されない場合、前記第２情報はシグナリングされないことができる。
【0187】
図１６は現在ブロックのシンタックス構造に含まれているＢＤＰＣＭに関する情報を概略的に示す図である。
【0188】
図１６に示されている例において、ｂｄｐｃｍ＿ｆｌａｇは、現在ブロックにＢＤＰＣＭが適用されるか否かを指示する第１情報に該当する。ＢＤＰＣＭは、現在ブロックがイントラ予測された場合にのみ許容可能なので、ｂｄｐｃｍ＿ｆｌａｇは、現在ブロックの予測モードがＭＯＤＥ＿ＩＮＴＲＡであるときにのみシグナリングされることができる。
また、ＢＤＰＣＭは、ルマ成分信号（ｃＩｄｘ＝＝０）に対してのみ利用可能であり、現在ブロックのサイズが所定のサイズ（３２×３２）以下である場合にのみ利用可能である。しかし、ＢＤＰＣＭの利用可能な条件は、上記の例に限定されず、ルマ成分信号だけでなく、クロマ成分信号に対しても利用可能である。また、現在ブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でＢＤＰＣＭの利用可能か否かを指示する情報が明示的にシグナリングされることができる。
また、ＢＤＰＣＭは、ルマ成分信号（ｃＩｄｘ＝＝０）に対してのみ利用可能であり、現在ブロックのサイズが所定のサイズ（３２×３２）以下である場合にのみ利用可能である。しかし、ＢＤＰＣＭの利用可能な条件は、上記の例に限定されず、ルマ成分信号だけでなく、クロマ成分信号に対しても利用可能である。また、現在ブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でＢＤＰＣＭの利用可能か否かを指示する情報が明示的にシグナリングされることができる。
【0189】
ｂｄｐｃｍ＿ｆｌａｇが現在ブロックにＢＤＰＣＭが適用されることを指示する場合にのみ、ＢＤＰＣＭの予測方向を指示する第２情報（例えば、ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ）がシグナリングされることができる。前記第２情報が第１値（例えば、０）であるとき、ＢＤＰＣＭの予測方向は水平方向を指示し、前記第２情報が第２値（例えば、１）であるとき、ＢＤＰＣＭの予測方向は垂直方向を指示することができる。
【0190】
信号処理における変換符号化（ｔｒａｎｓｆｏｒｍ ｃｏｄｉｎｇ）とは、入力信号を他のドメインの信号に変換することを意味する。具体的には、ビデオ圧縮分野における変換は、空間ドメイン（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の信号を周波数ドメイン（ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ）の信号に変更することを意味する。ビデオ圧縮分野で変換を行う理由は、空間ドメインの信号を周波数ドメインの信号に変更したとき、低周波領域に情報が集中し、高周波領域はほぼ情報を持たない性質を用いて効率的な圧縮ができるためである。しかし、信号の特性に応じて変換を行わない場合の圧縮効率がより高い場合があり、このような場合には変換をスキップすることができる。
【0191】
前述したように、ＢＤＰＣＭは、変換がスキップされたレジデュアルブロックを符号化する過程で適用されることができる。変換がスキップされた場合、前述したように、レジデュアル情報がブロック内で均等に分布することができる。また、ブロック内の任意のレジデュアル係数の値は、その周辺のレジデュアル係数の値と類似する確率が非常に高い。
また、イントラ予測された変換スキップブロックの場合、参照サンプルとの距離によりブロックの右下側に発生するレジデュアル係数のレベルが、左上側に発生するレジデュアル係数のレベルよりも大きい確率が高い。このような現象は、ブロックのサイズが大きくなるほどさらに顕著になることができる。ＢＤＰＣＭは、上述したようなイントラスキップコーディングされたブロックのレジデュアル係数の分布特性を利用したものである。ＢＤＰＣＭが適用される場合、前述したように、（量子化）レジデュアル係数を符号化する代わりに、行又は列方向にライン単位のレジデュアル係数間の予測を行うことにより発生する差異値を符号化するので、符号化対象レジデュアル係数のレベルの大きさが小さくなる。つまり、ＢＤＰＣＭが適用される場合、上述したように小さくなった係数のレベルを符号化するので、符号化に必要なコンテキスト符号化ビン（ｃｏｎｔｅｘｔ ｃｏｄｅｄ ｂｉｎ）の発生を減少させることができる。これは、復号化器のスループット（ｔｈｒｏｕｇｈｐｕｔ）の向上に寄与することができる。
また、イントラ予測された変換スキップブロックの場合、参照サンプルとの距離によりブロックの右下側に発生するレジデュアル係数のレベルが、左上側に発生するレジデュアル係数のレベルよりも大きい確率が高い。このような現象は、ブロックのサイズが大きくなるほどさらに顕著になることができる。ＢＤＰＣＭは、上述したようなイントラスキップコーディングされたブロックのレジデュアル係数の分布特性を利用したものである。ＢＤＰＣＭが適用される場合、前述したように、（量子化）レジデュアル係数を符号化する代わりに、行又は列方向にライン単位のレジデュアル係数間の予測を行うことにより発生する差異値を符号化するので、符号化対象レジデュアル係数のレベルの大きさが小さくなる。つまり、ＢＤＰＣＭが適用される場合、上述したように小さくなった係数のレベルを符号化するので、符号化に必要なコンテキスト符号化ビン（ｃｏｎｔｅｘｔ ｃｏｄｅｄ ｂｉｎ）の発生を減少させることができる。これは、復号化器のスループット（ｔｈｒｏｕｇｈｐｕｔ）の向上に寄与することができる。
【0192】
一方、前述したように、ＢＤＰＣＭが量子化レジデュアルドメインで行われる場合、レジデュアル信号が存在しなければ、ＢＤＰＣＭを行うことができない。しかし、図１６を参照して説明した符号化ユニットのシンタックス構造によれば、レジデュアル信号が存在しない場合でもＢＤＰＣＭ関連情報をシグナリングするという問題点がある。
【0193】
図１７は本開示の一実施例によるＢＤＰＣＭ関連情報の符号化／復号化方法を説明するためのフローチャートである。
【0194】
図１７に開示された実施例によれば、現在ブロックにレジデュアル信号が存在する場合にのみ、ＢＤＰＣＭ関連情報を符号化／復号化することができるように制限することができる。現在ブロックに対してレジデュアル信号が存在するか否かを指示する情報（例えば、ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ（ｃｂｆ））がビットストリームを介してシグナリングされることができ、ＢＤＰＣＭ関連情報は、前記情報に基づいて符号化／復号化することができる。
【0195】
図１７を参照すると、まず、現在ブロックがイントラ予測されたブロックであるか否かが判断できる（Ｓ１７１０）。現在ブロックがイントラ予測されていない場合、現在ブロックに対してはＢＤＰＣＭが適用されることができない。したがって、現在ブロックに対するＢＤＰＣＭ関連情報は符号化／復号化されないことができる。
【0196】
現在ブロックがイントラ予測された場合、現在ブロックにレジデュアル信号が存在するか否かが判断できる（Ｓ１７２０）。ステップＳ１７２０の判断は、例えば、ｃｂｆ情報に基づいて行われることができる。例えば、現在ブロックのレジデュアル信号を伝送する単位である変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）に対するｃｂｆ情報（ｔｕ＿ｃｂｆ＿ｌｕｍａ）を確認することにより、ステップＳ１７２０が行われることができる。ｔｕ＿ｃｂｆ＿ｌｕｍａが１であれば、現在変換ユニットのルマ成分に対して０ではないレジデュアル係数が存在することを意味し、ｔｕ＿ｃｂｆ＿ｌｕｍａが０であれば、現在変換ユニットのルマ成分に対して０ではないレジデュアル係数が存在しないことを意味することができる。ステップＳ１７２０で、現在ブロックにレジデュアル信号が存在しないと判断されると、現在ブロックに対するＢＤＰＣＭ関連情報は、符号化／復号化されないことができる。
【0197】
ステップＳ１７２０で、現在ブロックにレジデュアル信号が存在すると判断されると、現在ブロックにＢＤＰＣＭが適用されるか否かを指示する情報（例えば、ｂｄｐｃｍ＿ｆｌａｇ）を符号化／復号化することができる（Ｓ１７３０）。画像符号化装置は、現在ブロックにＢＤＰＣＭが適用されるか否かに基づいてｂｄｐｃｍ＿ｆｌａｇの値を決定し、符号化することができる。画像復号化装置は、ｂｄｐｃｍ＿ｆｌａｇをパーシングした後、その値に基づいて現在ブロックにＢＤＰＣＭを適用するか否かを決定することができる。
【0198】
以後、現在ブロックにＢＤＰＣＭが適用されるか否かが判断できる（Ｓ１７４０）。例えば、ステップＳ１７４０の判断は、ｂｄｐｃｍ＿ｆｌａｇの値に基づいて行われることができる。ステップＳ１７４０で、現在ブロックにＢＤＰＣＭが適用されないと判断されると、現在ブロックに対するＢＤＰＣＭの予測方向に関する情報は符号化／復号化されないことができる。
【0199】
ステップＳ１７４０で、現在ブロックにＢＤＰＣＭが適用されると判断されると、ＢＤＰＣＭの予測方向に関する情報（例えば、ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ）を符号化／復号化することができる（Ｓ１７５０）。画像符号化装置は、現在ブロックに適用されたＢＤＰＣＭの予測方向に基づいてｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇの値を決定し、符号化することができる。画像復号化装置は、ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇをパーシングした後、その値に基づいてＢＤＰＣＭの予測方向を決定することができる。
【0200】
図１７に示されている実施例によれば、イントラ予測された現在ブロックに量子化レジデュアル信号が存在する場合にのみ、ＢＤＰＣＭ関連情報の符号化／復号化を行うことにより、符号化効率を向上させることができる。
【0201】
図１７に示されている実施例において、ＢＤＰＣＭ関連情報の符号化／復号化条件として、イントラ予測か否か、レジデュアル信号の存否を判断する。しかし、これに限定されず、ＢＤＰＣＭ関連情報の符号化／復号化条件として、ＢＤＰＣＭ利用可能か否かに対する前述した様々な条件（カラー成分、ブロックのサイズ、上位レベルでシグナリングされる情報など）が判断できる。
【0202】
図１７に示されている実施例は、ルマ成分を対象とするが、これに限定されず、本開示のＢＤＰＣＭがクロマ成分にも適用される場合にも適用できる。つまり、図１７を参照して説明した実施例は、クロマ成分（Ｃｂ、Ｃｒ）のそれぞれに対して適用できる。
【0203】
又は、本開示のＢＤＰＣＭがＲＧＢ画像に対して適用される場合、図１７を参照して説明した実施例は、Ｒ、Ｇ、Ｂ成分のそれぞれに対して適用されることができる。
【0204】
又は、本開示のＢＤＰＣＭがＹＣｏＣｇ画像に対して適用される場合、図１７を参照して説明した実施例は、Ｙ、Ｃｏ、Ｃｇ成分のそれぞれに対して適用されることができる。
【0205】
図１８は本開示の他の実施例による現在ブロックのイントラ予測方向に基づいてＢＤＰＣＭの予測方向を誘導する方法を説明するためのフローチャートである。図１８のステップＳ１８１０乃至Ｓ１８３０は、図１７のステップＳ１７４０乃至Ｓ１７５０を代替することができる。
【0206】
図１８を参照して説明する実施例によれば、現在ブロックのイントラ予測モードが既に利用可能であるので、ＢＤＰＣＭの予測方向に関する情報を別途にシグナリングせずに、現在ブロックのイントラ予測モードからＢＤＰＣＭの予測方向を導出することができる。
【0207】
具体的には、現在ブロックにＢＤＰＣＭが適用されるか否かが判断され（Ｓ１８１０）、ＢＤＰＣＭが適用されない場合、ＢＤＰＣＭの予測方向を導出する過程は行われないことができる。
【0208】
ステップＳ１８１０で、現在ブロックにＢＤＰＣＭが適用されると判断された場合、現在ブロックのイントラ予測モードが判断され（Ｓ１８２０）、現在ブロックのイントラ予測モードに基づいてＢＤＰＣＭの予測方向が導出されることができる（Ｓ１８３０）。
【0209】
一例として、現在ブロックのイントラ予測モードが垂直方向モードである場合、ＢＤＰＣＭの予測方向は垂直方向に導出されることができる。逆に、現在ブロックのイントラ予測モードが水平方向モードである場合、ＢＤＰＣＭの予測方向は水平方向に導出されることができる。現在ブロックのイントラ予測モードが非方向性モードである場合、ＢＤＰＣＭの予測方向は、水平方向及び垂直方向のうちの画像符号化装置と画像復号化装置との間で既に約束された方向に導出されることができる。又は、現在ブロックのイントラ予測モードが非方向性モードである場合、ＢＤＰＣＭの予測方向は、ブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でシグナリングされる情報に基づいて決定されることもできる。又は、図１０を参照して説明した例において、現在ブロックのイントラ予測モードが３４番モードよりも小さい絶対角度を持つモードである場合には、ＢＤＰＣＭの予測方向は水平方向と定義し、そうでない場合には、ＢＤＰＣＭの予測方向は垂直方向と定義することができる。又は、現在ブロックのイントラ予測モードが３４番モード以下の絶対角度を持つモードである場合には、ＢＤＰＣＭの予測方向は水平方向と定義し、そうでない場合には、ＢＤＰＣＭの予測方向は垂直方向と定義することもできる。
【0210】
他の例として、現在ブロックのイントラ予測モードが垂直方向モードである場合、ＢＤＰＣＭの予測方向は水平方向に導出されることができる。逆に、現在ブロックのイントラ予測モードが水平方向モードである場合、ＢＤＰＣＭの予測方向は垂直方向に導出されることができる。現在ブロックのイントラ予測モードが非方向性モードである場合、ＢＤＰＣＭの予測方向は、水平方向及び垂直方向のうち、画像符号化装置と画像復号化装置との間に既に約束された方向に導出されることができる。又は、現在ブロックのイントラ予測モードが非方向性モードである場合、ＢＤＰＣＭの予測方向は、ブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でシグナリングされる情報に基づいて決定されることもできる。又は、図１０を参照して説明した例において、現在ブロックのイントラ予測モードが３４番モードよりも小さい絶対角度を持つモードである場合には、ＢＤＰＣＭの予測方向は垂直方向と定義し、そうでない場合には、ＢＤＰＣＭの予測方向は水平方向と定義することができる。又は、現在ブロックのイントラ予測モードが３４番モード以下の絶対角度を持つモードである場合には、ＢＤＰＣＭの予測方向は垂直方向と定義し、そうでない場合には、ＢＤＰＣＭの予測方向は水平方向と定義することもできる。
【0211】
画像符号化装置は、現在ブロックにＢＤＰＣＭを適用する場合、イントラ予測モードに基づいてＢＤＰＣＭの予測方向を導出してＢＤＰＣＭ予測を行い、ＢＤＰＣＭの予測方向に関する情報は符号化しないことができる。
【0212】
図１８に示されている実施例によれば、既に利用可能なイントラ予測モードを用いてＢＤＰＣＭの予測方向を導出することができる。したがって、ＢＤＰＣＭの予測方向に関する情報をシグナリングする必要がなくなるので、伝送される情報の量が削減できる。
【0213】
図１８に示されている実施例の変形例として、ＢＤＰＣＭの予測方向に関する情報がシグナリングされ、現在ブロックのイントラ予測モードは、ＢＤＰＣＭの予測方向に基づいて導出することもできる。
【0214】
図１９は本開示の別の実施例によるＢＤＰＣＭの予測方向に基づいて現在ブロックのイントラ予測モードを誘導する方法を説明するためのフローチャートである。
【0215】
図１９を参照して説明する実施例によれば、現在ブロックのＢＤＰＣＭの予測方向が既に利用可能であるので、イントラ予測モードに関する情報を別途にシグナリングせずに、現在ブロックのＢＤＰＣＭの予測方向から現在ブロックのイントラ予測モードを導出することができる。
【0216】
具体的に、現在ブロックにＢＤＰＣＭが適用されるか否かが判断され（Ｓ１９１０）、ＢＤＰＣＭが適用されない場合、現在ブロックのイントラ予測モードは、ビットストリームを介してシグナリングされる現在ブロックの予測情報（例えば、イントラ予測モードに関する情報）に基づいて決定されることができる（Ｓ１９４０）。以後、決定されたイントラ予測モードに基づいてイントラ予測が行われることができる（Ｓ１９３０）。
【0217】
ステップＳ１９１０で、現在ブロックにＢＤＰＣＭが適用されると判断された場合、現在ブロックのイントラ予測モードは、現在ブロックのＢＤＰＣＭの予測方向に基づいて決定されることができる（Ｓ１９２０）。例えば、画像符号化装置は、現在ブロックに適用されたＢＤＰＣＭの予測方向に基づいて現在ブロックのイントラ予測モードを決定することができる。また、画像復号化装置は、ＢＤＰＣＭの予測方向に関する情報（ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ）を復号化して現在ブロックのＢＤＰＣＭの予測方向を決定し、決定されたＢＤＰＣＭの予測方向に基づいて現在ブロックのイントラ予測モードを決定することができる。以後、決定されたイントラ予測モードに基づいてイントラ予測が行われることができる（Ｓ１９３０）。
【0218】
一例によれば、ＢＤＰＣＭの予測方向が垂直方向である場合、イントラ予測モードは、垂直方向モードに決定されることができ、ＢＤＰＣＭの予測方向が水平方向である場合、イントラ予測モードは、水平方向モードに決定されることができる。
【0219】
他の例によれば、ＢＤＰＣＭの予測方向が垂直方向である場合、イントラ予測モードは水平方向モードに決定されることができ、ＢＤＰＣＭの予測方向が水平方向である場合、イントラ予測モードは垂直方向モードに決定されることができる。
【0220】
しかし、ＢＤＰＣＭの予測方向に基づいてイントラ予測モードを決定する方法は、これらの例に限定されない。
【0221】
図２０は本開示の別の実施例による現在ブロックのサイズに基づいてＢＤＰＣＭの予測方向を誘導する方法を説明するためのフローチャートである。図２０のステップＳ２０１０乃至Ｓ２０３０は、図１７のステップＳ１７４０乃至Ｓ１７５０を代替することができる。
【0222】
イントラ予測の場合、参照サンプルからの距離が遠いほどレジデュアル係数のレベル（絶対値）が大きくなる特性がある。このような特性を考慮して、図２０を参照して説明する実施例は、ブロックのサイズに関する条件（幅と高さの比較、幅と高さの比率など）に基づいて現在ブロックのＢＤＰＣＭの予測方向を導出することができる。このとき、現在ブロックのイントラ予測モードは考慮されないことができる。
【0223】
具体的には、現在ブロックにＢＤＰＣＭが適用されるか否かが判断され（Ｓ２０１０）、ＢＤＰＣＭが適用されない場合、ＢＤＰＣＭの予測方向を導出する過程は行われないことができる。
【0224】
ステップＳ２０１０で、現在ブロックにＢＤＰＣＭが適用されるものと判断された場合、現在ブロックのサイズに関する条件が判断され（Ｓ２０２０）、その判断結果に基づいてＢＤＰＣＭの予測方向が導出されることができる（Ｓ２０３０）。
【0225】
一例として、現在ブロックの幅（ｗｉｄｔｈ）が高さ（ｈｅｉｇｈｔ）よりも大きい場合、ＢＤＰＣＭの予測方向は水平方向に導出されることができる。逆に、現在ブロックの高さが幅よりも大きい場合、ＢＤＰＣＭの予測方向は垂直方向に導出されることができる。もし現在ブロックの幅と高さが同じである場合、図１８を参照して説明した実施例の方法が適用されることができる。又は、現在ブロックの幅と高さが同一である場合、ＢＤＰＣＭの予測方向は水平方向及び垂直方向のうち、画像符号化装置と画像復号化装置との間で既に約束された方向に導出されるか、或いはブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でシグナリングされる情報に基づいて決定されることもできる。
【0226】
他の例として、現在ブロックの幅が高さよりも大きい場合、ＢＤＰＣＭの予測方向は垂直方向に導出されることができる。逆に、現在ブロックの高さが幅よりも大きい場合、ＢＤＰＣＭの予測方向は水平方向に導出されることができる。もし現在ブロックの幅と高さが同一である場合、図１８を参照して説明した実施例の方法が適用されることができる。
又は、現在ブロックの幅と高さが同一である場合、ＢＤＰＣＭの予測方向は、水平方向及び垂直方向のうち、画像符号化装置と画像復号化装置との間で既に約束された方向に導出されるか、或いはブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でシグナリングされる情報に基づいて決定されることもできる。
又は、現在ブロックの幅と高さが同一である場合、ＢＤＰＣＭの予測方向は、水平方向及び垂直方向のうち、画像符号化装置と画像復号化装置との間で既に約束された方向に導出されるか、或いはブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でシグナリングされる情報に基づいて決定されることもできる。
【0227】
別の例として、現在ブロックの幅と高さの比（ｗｉｄｔｈ／ｈｅｉｇｈｔ）がＮ以上である場合、ＢＤＰＣＭの予測方向は垂直方向に導出されることができる。また、現在ブロックの幅と高さの比率が１／Ｎ以下である場合、ＢＤＰＣＭの予測方向は水平方向に導出されることができる。もし現在ブロックの幅と高さの比率がＮよりも小さく１／Ｎ以上である場合、図１８を参照して説明した実施例の方法が適用されることができる。又は、現在ブロックの幅と高さの比率がＮよりも小さく１／Ｎ以上である場合、ＢＤＰＣＭの予測方向は、水平方向及び垂直方向のうち、画像符号化装置と画像復号化装置との間で既に約束された方向に導出されるか、或いはブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でシグナリングされる情報に基づいて決定されることもできる。このとき、Ｎは１以上の整数であることができる。
【0228】
別の例として、現在ブロックの幅と高さの比率がＮ以上である場合、ＢＤＰＣＭの予測方向は水平方向に導出されることができる。また、現在ブロックの幅と高さの比率が１／Ｎ以下である場合、ＢＤＰＣＭの予測方向は垂直方向に導出されることができる。もし現在ブロックの幅と高さの比率がＮよりも小さく１／Ｎ以上である場合、図１８を参照して説明した実施例の方法が適用されることができる。又は、現在ブロックの幅と高さの比率がＮよりも小さく１／Ｎ以上である場合、ＢＤＰＣＭの予測方向は、水平方向及び垂直方向のうち、画像符号化装置と画像復号化装置との間で既に約束された方向に導出されるか、或いはブロックの上位レベル（シーケンスレベル、ピクチャレベル、スライスレベルなど）でシグナリングされる情報に基づいて決定されることもできる。このとき、Ｎは１以上の整数であることができる。
【0229】
図２０に示されている実施例によれば、現在ブロックのサイズに関する条件に基づいてＢＤＰＣＭの予測方向を導出することができる。よって、ＢＤＰＣＭの予測方向に関する情報をシグナリングする必要がなくなるので、伝送される情報の量が削減できる。
【0230】
ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）及びレジデュアル信号の符号化／復号化の概要
【0231】
画像符号化／復号化装置は、ＣＡＢＡＣを用いて画像情報を符号化／復号化することができる。画像情報の一部又は全部は、図２のエントロピー符号化部１９０によってエントロピー符号化されることができ、画像情報の一部又は全部は、エントロピー復号化部２１０によってエントロピー復号化されることができる。後述するレジデュアル信号に含まれるシンタックス要素は、ＣＡＢＡＣをベースにエントロピー符号化／復号化されることができる。
【0232】
図２１はＣＡＢＡＣエントロピー符号化方法を説明するための図である。
【0233】
入力信号が２進値ではないシンタックス要素である場合、二値化部２１１０を介して入力信号が２進値に変換されることができる。入力信号が既に２進値である場合には、二値化過程が行われないことができる。この時、２進値を構成するそれぞれの２進数０又は１をビン（ｂｉｎ）とすることができる。例えば、二値化された後の２進列が１１０である場合、１、１、０のそれぞれは一つのビンであることができる。一つのシンタックス要素に対する２進、２進列は当該シンタックス要素の値を示すことができる。
【0234】
二値化されたビンは、正規符号化エンジン２１２０又はバイパス符号化エンジン２１３０に入力されることができる。コンテキストモデル決定部２１４０は、当該ビンに対して確率値を反映するコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を割り当て、正規符号化エンジン２１２０は、割り当てられたコンテキストモデルに基づいて当該ビンを符号化することができる。正規符号化エンジン２１２０での各ビンに対する符号化が行われた後、当該ビンに対する確率モデルが更新されることができる。このように符号化されるビンを、コンテキスト符号化ビン（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）とすることができる。バイパス符号化エンジン２１３０では、入力されたビンに対して確率を推定する手順と、符号化後に当該ビンに適用した確率モデルを更新する手順が省略されることができる。バイパス符号化エンジン２１３０は、コンテキストを割り当てる代わりに、均一な確率分布を適用して、入力されるビンを符号化することにより、符号化速度を向上させることができる。バイパス符号化エンジン２１３０を介して符号化されるビンは、バイパスビン（ｂｙｐａｓｓ ｂｉｎ）とすることができる。
【0235】
エントロピー符号化部１９０は、正規符号化エンジン２１２０を介して符号化を行うか、或いはバイパス符号化エンジン２１３０を介して符号化を行うかを決定し、符号化経路をスイッチングすることができる。
【0236】
一方、エントロピー復号化は、図２１の符号化過程が逆順に行われることができる。エントロピー復号化部２１０は、正規コーディング復号化エンジン或いはバイパス復号化エンジンのうちのいずれか一つを用いてビットストリームを２進列に復号化することができる。正規コーディングエンジンでの復号化が行われた後、当該ビンに対する確率モデルが更新されることができる。一方、バイパス復号化エンジンでは、入力されたビットストリームに対して確率を推定する手順、及び確率モデルを更新する手順が省略されることができる。正規コーディング復号化エンジン或いはバイパス復号化エンジンのうちのいずれか一つを介して生成されたビンは、逆二値化部の選択的な逆二値化を介して、最初の入力信号であったシンタックス要素に最終的に復元されることができる。
【0237】
レジデュアルサンプルは、変換、量子化過程を経て量子化された変換係数を用いて誘導できる。量子化された変換係数は変換係数と定義されることができる。ブロック内の変換係数はレジデュアル情報の形でシグナリングされることができる。レジデュアル情報は、レジデュアルコーディングシンタックス要素を含むことができる。画像符号化装置は、レジデュアル情報でレジデュアルコーディングシンタックス要素を構成し、これを符号化してビットストリーム形式で出力することができる。これに対し、画像復号化装置は、ビットストリームからレジデュアルコーディングシンタックス要素を復号化して、量子化された変換係数を取得することができる。以下、レジデュアルコーディングシンタックス要素は、シンタックス要素と呼ばれることがある。
【0238】
一例として、変換係数は、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘ、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ、ａｂｓ＿ｒｅｍａｉｎｄｅｒ、ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌ、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇのうちの少なくとも一つのレジデュアルコーディングシンタックス要素を用いて符号化／復号化できる。変換係数をシンタックス要素を用いて符号化／復号化するプロセスをレジデュアル（データ）コーディング又は（変換）係数コーディングと定義することができる。この時、変換／量子化過程は省略できる。以下、上述したそれぞれのシンタックス要素について詳細に説明する。以下で説明するシンタックス要素の名称は、例示であって、シンタックス要素の名称によって本開示の権利範囲が制限されるものではない。
【0239】
シンタックス要素ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは、関連するブロック内の最後の０ではない係数の（ｘ、ｙ）位置情報を符号化するシンタックス要素である。この際、関連するブロックは、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ、ＣＢ）又は変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ、ＴＢ）であることができる。以下、変換、量子化及びレジデュアルコーディングプロセスにおけるブロックは、符号化ブロック又は変換ブロックであることができる。
【0240】
具体的に、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘは、変換ブロック内のスキャン順序における最後の有効係数（ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の列位置のプレフィックス（ｐｒｅｆｉｘ）を指示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘは、前記変換ブロック内の前記スキャン順序における最後の有効係数の行位置のプレフィックスを指示することができる。ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘは、前記変換ブロック内の前記スキャン順序における最後の有効係数の列位置のサフィックス（ｓｕｆｆｉｘ）を指示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは、前記変換ブロック内の前記スキャン順序における最後の有効係数の行位置のサフィックスを指示することができる。有効係数は、０ではない係数を意味することができる。スキャン順序は、右上方対角スキャン順序、水平スキャン順序及び垂直スキャン順序のうちのいずれか一つであることができる。この時、水平スキャン順序は、左から右方向のスキャン順序を意味することができ、垂直スキャン順序は、上側から下側方向のスキャン順序を意味することができる。スキャン順序は、対象ブロックにイントラ／インター予測が適用されるか否か及び／又は具体的なイントラ／インター予測モードに基づいて決定されることができる。
【0241】
シンタックス要素ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇは、現在ブロックが４個又は１６個のピクセル数を持つサブブロックに分割されるとき（例えば、１×１６、２×８、８×２、１６×１、４×４又は２×２のサブブロック）、各サブブロックが０ではない係数が含まれるか否かを指示するシンタックス要素であることができる。この時、サブブロックは、係数グループ（ｃｏｅｆｆｉｃｉｅｎｔ ｇｒｏｕｐ、ＣＧ）でも表現されることができる。
【0242】
例えば、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇの値が０であれば、それ以上伝送する情報がないので、サブブロックに対する符号化過程が終了することができる。逆に、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇの値が１であれば、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの符号化／復号化過程が行われることができる。スキャン順序によるとき、最後に０ではない係数を含むサブブロックに対しては、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇに対するシグナリングが行われないことができる。これは、左上側サブブロックの場合にＤＣ係数が存在するので、０ではない係数が存在する確率が高いためであり得る。したがって、最後の０ではない係数を含むサブブロックに対しては、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇが符号化されず、その値が１に設定されることができる。
【0243】
ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇが現在サブブロック内に０ではない係数が存在することを指示すると、逆にスキャンされた順序に従って、２進値を持つｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇが符号化／復号化されることができる。スキャン順序に従って、当該スキャン位置（ｎ）の係数に対して１ビットのシンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］が符号化／復号化されることができる。シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］は、現在スキャン位置の係数が０の値を持つか否かを指示するシンタックス要素であることができる。最後の０ではない係数を含んでいるサブブロックの場合、最後の０ではない係数に対しては、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］が符号化／復号化される必要がないので、符号化／復号化過程が省略されることができる。
【0244】
ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］が１である場合にのみ、レベル情報符号化／復号化が行われることができる。この時、レベル情報符号化／復号化過程は、上述したシンタックス要素のうちの少なくとも一つを用いて行われることができる。一方、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｘＣ］［ｙＣ］は、現在ブロック内の各変換係数位置（ｘＣ、ｙＣ）の変換係数が０であるか否かを指示するシンタックス要素であることができる。
【0245】
ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］の符号化／復号化後の残りのレベル値は、下記数式７に基づいて誘導されることができる。
【0246】
【数7】
【0247】
この時、シンタックス要素ｒｅｍＡｂｓＬｅｖｅｌ［ｎ］は、スキャン位置ｎで符号化／復号化されなければならないレベル値を指示することができる。ｃｏｅｆｆ［ｎ］は、実際変換係数値を意味することができる。
【0248】
シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｎ］［０］は、スキャン位置ｎにおける｜ｃｏｅｆｆ［ｎ］｜が１よりも大きいか否かを指示するシンタックス要素であることができる。ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ［ｎ］［０］の値が０であれば、当該位置係数の絶対値は１であることができる。一方、ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ［ｎ］［０］の値が１であれば、ｒｅｍＡｂｓＬｅｖｅｌ［ｎ］は、下記数式８に基づいて誘導されることができる。
【0249】
【数8】
【0250】
シンタックス要素ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ［ｎ］は、下記数式９に基づいてｒｅｍＡｂｓＬｅｖｅｌ［ｎ］のＬＳＢ（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）値を符号化／復号化するのに用いられるシンタックス要素であることができる。つまり、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ［ｎ］は、スキャン位置ｎの変換係数レベル値のパリティ（ｐａｒｉｔｙ）を指示することができる。ｐａｒ＿ｌｅｖｅ＿ｆｌａｇ［ｎ］の符号化／復号化後、ｒｅｍＡｂｓＬｅｖｅｌ［ｎ］を下記数式９に基づいて更新されることができる。
【0251】
【数9】
【0252】
シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｎ］［１］は、スキャン位置ｎでの｜ｃｏｅｆｆ［ｎ］｜が３よりも大きいか否かを指示するシンタックス要素であることができる。例えば、ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ［ｎ］［１］が１である場合にのみ、ａｂｓ＿ｒｅｍａｉｎｄｅｒ［ｎ］が符号化／復号化されることができる。一例として、ｃｏｅｆｆ［ｎ］と各シンタックス要素との関係は、下記数式１０のとおりであることができる。この時、｜ｃｏｅｆｆ［ｎ］｜は、変換係数レベル値を指示し、変換係数に対するＡｂｓＬｅｖｅｌ［ｎ］と表現されることもできる。シンタックス要素ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ［ｎ］は、当該スキャン位置ｎでの変換係数符号（ｓｉｇｎ）を指示することができる。上述した内容を総合すると、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｎ］［ｉ］は、変換係数の絶対値が１又は３のうちのいずれか一つよりも大きいか否かを指示するシンタックス要素であることができる。
【0253】
【数10】
【0254】
上述した内容を考慮すると、｜ｃｏｅｆｆ［ｎ］｜の値に応じて、各シンタックス要素は表２の値を持つことができる。
【0255】
【表2】
【0256】
一方、ＣＡＢＡＣは高い性能を提供するが、スループット（ｔｈｒｏｕｇｈｐｕｔ）の性能が良くないという欠点を持つ。これは、上述したＣＡＢＡＣの正規符号化エンジンによるものであり得る。正規符号化エンジンは、以前ビンの符号化を介して更新された確率状態と範囲を使用するため高いデータ依存性を示し、確率区間を読み取って現在状態を判断するのに多くの時間がかかるという問題点を持つ。この時、コンテキスト符号化ビンの数を制限する場合、ＣＡＢＡＣのスループット問題が解決できる。
【0257】
一例として、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ［ｎ］［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ［ｎ］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｎ］［１］を表現するために使用されたビンの和をサブブロックのサイズに応じて制限することができる。例えば、前記ビンの和は、４×４のサブブロックである場合には３２、２×２サブブロックの場合には８に制限されることができる。コンテキスト要素を符号化するために制限された数のコンテキスト符号化ビンをすべて使用した場合、残りの係数に対してはＣＡＢＡＣが適用されず、バイパス符号化／復号化が行われることができる。つまり、符号化／復号化ビンの数が４×４ＣＧで３２になり、２×２ＣＧでは８になる場合、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ［ｎ］［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ［ｎ］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｎ］［１］は、さらに符号化されないことができる。この時、｜ｃｏｅｆｆ［ｎ］｜は、既に設定されたｄｅｃ＿ａｂｓ＿ｌｅｖｅｌ［ｎ］で符号化／復号化されることができる。又は、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ［ｎ］［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ［ｎ］及び／又はａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｎ］［１］を表現するために使用されたビンの和を変換ブロックのサイズに応じて制限することができる。例えば、前記ビンの和は、ブロック内のピクセル数の１．７５倍であることができる。コンテキスト要素を符号化するために、制限された数のコンテキスト符号化ビンをすべて使用した場合、残りの係数に対してはＣＡＢＡＣが適用されず、バイパス符号化／復号化が行われることができる。つまり、符号化／復号化ビンの数がブロック内のピクセル数の１．７５倍を超える場合（例えば、：１６×１６ブロックの場合には４４８個）、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ｎ］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇ［ｎ］［０］、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ［ｎ］、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ［ｎ］［１］は、さらに符号化されないことができる。この時、｜ｃｏｅｆｆ［ｎ］｜は、既に設定されたｄｅｃ＿ａｂｓ＿ｌｅｖｅｌ［ｎ］で符号化／復号化されることができる。
【0258】
レジデュアル係数のレベルに対するＲｉｃｅパラメータ誘導過程
【0259】
Ｒｉｃｅパラメータの誘導過程は、現在変換ブロックの色成分情報（ｃＩｄｘ）、現在変換ブロックの左上側ルマ位置（ｘ０、ｙ０）、現在レジデュアル係数のスキャン位置（ｘＣ、ｙＣ）、現在変換ブロックの幅（ｌｏｇ２ＴｂＷｉｄｔｈ）と高さ（ｌｏｇ２ＴｂＨｅｉｇｈｔ）の入力を受け、ＲｉｃｅパラメータｃＲｉｃｅＰａｒａｍを出力することができる。
【0260】
まず、変数ｌｏｃＳｕｍＡｂｓが下記表３の擬似コード（ｐｓｅｕｄｏ ｃｏｄｅ）に導出されることができる。
【0261】
【表3】
【0262】
また、ｌｏｃＳｕｍＡｂｓに基づいて、ｃＲｉｃｅＰａｒａｍが表４のように導出されることができる。
【0263】
【表4】
【0264】
前記Ｒｉｃｅパラメータ誘導過程は、シンタックス要素ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌ［］及びシンタックス要素ａｂｓ＿ｒｅｍａｉｎｄｅｒ［］に対して適用できる。すなわち、前記Ｒｉｃｅパラメータ誘導過程は、現在変換ブロック内のレジデュアル係数に対して共通に適用されることもできる。
【0265】
レジデュアル係数のレベルに対する二値化過程（ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ）
【0266】
前記誘導されたｃＲｉｃｅＰａｒａｍは、当該シンタックス要素の二値化過程でｃＭａｘを誘導するために使用できる。当該シンタックス要素のｐｒｅｆｉｘＶａｌは、ｃＭａｘと当該シンタックス要素の値のうちの小さい値に決定されることができる。また、当該シンタックス要素のｓｕｆｆｉｘＶａｌは、当該シンタックス要素の値からｃＭａｘ値を差し引いた値に決定されることができる。前述したように、当該シンタックス要素のｐｒｅｆｉｘＶａｌとｓｕｆｆｉｘＶａｌが決定された後、それぞれに対して二値化過程を行って当該シンタックス要素の二値化されたビンストリングを生成することができる。つまり、当該シンタックス要素の二値化されたビンストリングは、ｐｒｅｆｉｘＶａｌのビンストリング（ｐｒｅｆｉｘ ｂｉｎ ｓｔｒｉｎｇ）とｓｕｆｆｉｘＶａｌ（存在する場合）のビンストリングとを結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）して生成できる。
【0267】
変換スキップされたレジデュアル信号の符号化
【0268】
レジデュアル信号に対して変換がスキップされる場合、空間ドメイン（ｓｐａｔｉａｌ ｄｏｍａｉｏｎ）の量子化レジデュアル信号の統計的信号特性を考慮して、レジデュアル信号の符号化過程が修正できる。
【0269】
例えば、変換ブロック内のスキャン順序における最後の有効係数の位置に関する情報は、符号化が省略できる。変換を行う場合、エネルギーが低周波数領域に集中し、高周波数領域には、０又は有効でないレベルが出現する確率が高い。したがって、変換を行う場合、最後の有効係数の位置が重要な意味を持つことができる。しかし、変換をスキップする場合、上述したような低周波領域へのエネルギー集中現象は発生しない。つまり、変換をスキップする場合、有効係数は現在変換ブロック内で均等に分布するので、最後の有効係数の位置は重要な意味を持たず、これにより符号化されないことがある。
【0270】
また、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［］に対するコンテキストモデルが修正できる。
シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［］のコンテキストモデルは、現在スキャニング位置の周辺位置を参照して誘導できる。この時、参照される周辺位置をテンプレート（ｔｅｍｐｌａｔｅ）と定義することができる。変換をスキップする場合、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［］のコンテキストモデルを決定するためのテンプレートは、現在スキャニング位置の左側位置（ＮＢ０）及び上側位置（ＮＢ１）に修正できる。例えば、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［］のコンテキストモデルを決定するためのコンテキスト増加値（ｃｔｘＩｎｃ、ｃｏｎｔｅｘｔ ｉｎｃｒｅｍｅｎｔ）は、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ＮＢ０］＋ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ＮＢ１］に基づいて誘導できる。つまり、現在スキャニング位置の左側位置のｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ値と現在スキャニング位置の上側位置のｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ値に基づいて現在スキャニング位置のｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのコンテキストモデルが誘導できる。よって、変換をスキップする場合のコンテキストモデルは、対角方向とは独立して決定されることができる。また、３種類のコンテキストモデルのうちのいずれか一つが決定されることができる。
シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［］のコンテキストモデルは、現在スキャニング位置の周辺位置を参照して誘導できる。この時、参照される周辺位置をテンプレート（ｔｅｍｐｌａｔｅ）と定義することができる。変換をスキップする場合、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［］のコンテキストモデルを決定するためのテンプレートは、現在スキャニング位置の左側位置（ＮＢ０）及び上側位置（ＮＢ１）に修正できる。例えば、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［］のコンテキストモデルを決定するためのコンテキスト増加値（ｃｔｘＩｎｃ、ｃｏｎｔｅｘｔ ｉｎｃｒｅｍｅｎｔ）は、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ＮＢ０］＋ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ［ＮＢ１］に基づいて誘導できる。つまり、現在スキャニング位置の左側位置のｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ値と現在スキャニング位置の上側位置のｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ値に基づいて現在スキャニング位置のｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのコンテキストモデルが誘導できる。よって、変換をスキップする場合のコンテキストモデルは、対角方向とは独立して決定されることができる。また、３種類のコンテキストモデルのうちのいずれか一つが決定されることができる。
【0271】
変換がスキップされる場合のレジデュアル信号の分布を考慮して、シンタックス要素ａｂｓ＿ｒｅｍａｉｎｄｅｒ［］の符号化においても修正が必要である。前述したように、ａｂｓ＿ｒｅｍａｉｎｄｅｒ［］の二値化のためにＲｉｃｅパラメータが誘導できる。表３の擬似コードによれば、Ｒｉｃｅパラメータを誘導するために、現在スキャニング位置の右側位置（ｘＣ＋１、ｙＣ）及び下側位置（ｘＣ、ｙＣ＋１）がテンプレートとして使用されることが分かる。しかし、変換がスキップされる場合、前述したｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのテンプレートと同様に、現在スキャニング位置（ｘＣ、ｙＣ）の左側位置（ｘＣ－１、ｙＣ）及び上側位置（ｘＣ、ｙＣ－１）をａｂｓ＿ｒｅｍｉｎｄｅｒ［］のＲｉｃｅパラメータを誘導するためのテンプレートとして定義することができる。又は、変換スキップ残差信号に対するＲｉｃｅ ｐａｒａｍｅｔｅｒは、特定の数字に固定することができる。例えば、変換スキップ残差信号に対するｒｉｃｅ ｐａｒａｍｅｔｅｒは１であることができる。
【0272】
シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのコンテキストモデル誘導過程
【0273】
シンタックス要素は、ＣＡＢＡＣを用いて符号化／復号化できる。ＣＡＢＡＣを行うために、コンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）が誘導されることができる。
コンテキストモデルは、例えば、コンテキストインデックス（ｃｔｘＩｄｘ）を決定することにより誘導でき、ｃｔｘＩｄｘは、変数ｃｔｘＩｄｘＯｆｆｓｅｔとｃｔｘＩｎｃとの和によって誘導できる。この時、ｃｔｘＩｎｃは、前述したように、テンプレートを用いて誘導できる。
コンテキストモデルは、例えば、コンテキストインデックス（ｃｔｘＩｄｘ）を決定することにより誘導でき、ｃｔｘＩｄｘは、変数ｃｔｘＩｄｘＯｆｆｓｅｔとｃｔｘＩｎｃとの和によって誘導できる。この時、ｃｔｘＩｎｃは、前述したように、テンプレートを用いて誘導できる。
【0274】
具体的には、シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのｃｔｘＩｎｃを誘導するために、表５の擬似コードに基づいて変数ｌｏｃＮｕｍＳｉｇ及びｌｏｃＳｕｍＡｂｓＰａｓｓ１が誘導できる。
【0275】
【表5】
【0276】
表５に示すように、ｌｏｃＮｕｍＳｉｇ及びｌｏｃＳｕｍＡｂｓＰａｓｓ１を誘導するための過程で用いられるテンプレートは、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇによって異なることができる。具体的には、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが１である場合（変換がスキップされる場合）、現在スキャニング位置（ｘＣ、ｙＣ）の左側位置（ｘＣ－１、ｙＣ）及び上側位置（ｘＣ、ｙＣ－１）がテンプレートとして用いられることができる。シンタックス要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのｃｔｘＩｎｃは、ｌｏｃＮｕｍＳｉｇ及び／又はｌｏｃＳｕｍＡｂｓＰａｓｓ１に基づいて導出できる。つまり、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのコンテキストモデリングのために用いられるテンプレートは、変換がスキップされるかによって異なるように決定されることができる。
【0277】
前述したように、ＢＤＰＣＭは、変換がスキップされたレジデュアルブロックを符号化する過程で適用できる。ＢＤＰＣＭが適用される場合、前述したように、（量子化された）レジデュアル係数を符号化する代わりに、行又は列の方向にライン単位のレジデュアル係数間の予測を行うことにより発生する差異値を符号化するので、変換がスキップされる他のレジデュアル信号とは別の特性を持つことができる。例えば、一つのライ内の連続したレジデュアルの値が（３、３、４、３）である場合、ＢＤＰＣＭが適用されると、実際に伝送されるレジデュアルの値は（３、０、１、－１）になってレベルが著しく減少し、符号も変わることができる。したがって、ＢＤＰＣＭに適した統計的特性を蓄積することができるように別途のコンテキストモデルを選択するか、或いはレジデュアル係数のレベルを二値化するときに使用するＲｉｃｅパラメータを誘導する方法を適応的に適用する必要がある。
【0278】
前述したように、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのコンテキストモデルを決定するか或いはａｂｓ＿ｒｅｍａｉｎｄｅｒの二値化のためのＲｉｃｅパラメータを誘導するために、周辺ピクセルを参照することができる。この時、参照される周辺ピクセル（又はその位置）をテンプレートと定義することができる。変換がスキップされる場合、現在ピクセル（現在スキャニング位置）の左側位置及び上側位置がテンプレートとして参照できる。もし現在ピクセルがブロック内の最も上側に位置するか或いは最も左側に位置する場合、利用可能な周辺ピクセルのみをテンプレートとして参照することができる。利用可能でない周辺ピクセル位置のｎｏｎ－ｚｅｒｏか否か又はｌｅｖｅｌ値は０に初期化することができる。現在ピクセルの位置が（０、０）である場合、いずれのピクセルも参照することができないので、周辺ピクセルの位置に対するｎｏｎ－ｚｅｒｏか否か又はｌｅｖｅｌ値は０に誘導することができる。
【0279】
【0280】
図２２及び図２３において、「Ｃ」は現在ピクセルを示し、「Ａ」と「Ｌ」はそれぞれ上側周辺ピクセル及び左側周辺ピクセルを示す。また、図２２のブロックの右側に表示された矢印は、ＢＤＰＣＭの予測方向が垂直方向であることを示し、図２３のブロックの下側に表示された矢印は、ＢＤＰＣＭの予測方向が水平方向であることを示す。
【0281】
変換がスキップされたブロックのレジデュアル信号を符号化するために、図２２及び図２３の左側に示されているブロックのように、現在ピクセル（Ｃ）の左側ピクセル（Ｌ）及び上側ピクセル（Ａ）がテンプレートとして参照できる。例えば、前記テンプレートは、ａｂｓ＿ｒｅｍａｉｎｄｅｒ［］のＲｉｃｅパラメータを誘導する場合、又はｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのコンテキストモデルを誘導する場合のテンプレートであることができる。
【0282】
変換がスキップされたブロックがＢＤＰＣＭで予測されたブロックである場合、ＢＤＰＣＭの予測方向に基づいてテンプレートが修正できる。例えば、ＢＤＰＣＭの予測方向が垂直方向である場合、図２２の右側に示されているブロックのように現在ピクセル（Ｃ）の上側ピクセル（Ａ）のみをテンプレートとして参照することができる。また、ＢＤＰＣＭの予測方向が水平方向である場合、図２３の右側に示されているブロックのように現在ピクセル（Ｃ）の左側ピクセル（Ｌ）のみをテンプレートとして参照することができる。
つまり、現在ピクセルの位置（係数、レジデュアル係数、又は量子化レジデュアル係数の位置）に対してＢＤＰＣＭの予測方向を考慮して、参照されていない位置のピクセルは、周辺との類似性を確認するためのテンプレート（ｎｅｉｇｈｂｏｒ ｐｏｓｉｔｉｏｎ ｆｏｒ ｃｏｎｔｅｘｔ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ、ｒｉｃｅ ｐａｒａｍｅｔｅｒ ｄｅｒｉｖａｔｉｏｎ）として活用しないことができる。この場合、例えば、現在係数の位置を基準に、ＢＤＰＣＭの予測方向に位置する参照サンプルはテンプレートとして用い、ＢＤＰＣＭの予測方向に位置しない参照サンプルはテンプレートとして用いないことができる。
つまり、現在ピクセルの位置（係数、レジデュアル係数、又は量子化レジデュアル係数の位置）に対してＢＤＰＣＭの予測方向を考慮して、参照されていない位置のピクセルは、周辺との類似性を確認するためのテンプレート（ｎｅｉｇｈｂｏｒ ｐｏｓｉｔｉｏｎ ｆｏｒ ｃｏｎｔｅｘｔ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ、ｒｉｃｅ ｐａｒａｍｅｔｅｒ ｄｅｒｉｖａｔｉｏｎ）として活用しないことができる。この場合、例えば、現在係数の位置を基準に、ＢＤＰＣＭの予測方向に位置する参照サンプルはテンプレートとして用い、ＢＤＰＣＭの予測方向に位置しない参照サンプルはテンプレートとして用いないことができる。
【0283】
図２４は本開示によってＢＤＰＣＭの予測方向を考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【0284】
図２４に示すように、変換スキップされた現在ブロックにＢＤＰＣＭが適用されるか否かを判断し（Ｓ２４１０）、ＢＤＰＣＭが適用されていない場合、現在ピクセルの左側周辺ピクセル及び上側周辺ピクセルをテンプレートとして定義することができる（Ｓ２４２０）。現在ブロックにＢＤＰＣＭが適用された場合、ＢＤＰＣＭの予測方向が判断され（Ｓ２４３０）、水平方向である場合、現在ピクセルの左側周辺ピクセルをテンプレートとして定義し（Ｓ２４４０）、垂直方向である場合、現在ピクセルの上側周辺ピクセルをテンプレートとして定義することができる（Ｓ２４５０）。上述のように変換スキップされた現在ブロックにＢＤＰＣＭが適用されるか否か及び／又はＢＤＰＣＭの予測方向に基づいて定義された現在ピクセルのテンプレートを用いて符号化／復号化を行うことができる（Ｓ２４６０）。ステップＳ２４６０の符号化／復号化は、例えば、現在ピクセルのレジデュアル信号の符号化／復号化であって、レジデュアル信号のコンテキストモデル誘導過程又はＲｉｃｅパラメータ誘導過程を含むことができる。
【0285】
図２２乃至図２４を参照して説明した実施例によれば、ＢＤＰＣＭの予測方向（例えば、ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ）に基づいて、現在ピクセルに隣接したピクセルのうち、どのピクセルとより高い相関性（ｃｏｒｒｅｌａｔｉｏｎ）を持つかを確認し、これを現在ピクセルに対する周辺ピクセルの統計として活用することにより、符号化効率を高めることができる。
【0286】
【0287】
図２５及び図２６において、「Ｃ」は現在ピクセルを示し、「Ａ」と「Ｌ」はそれぞれ上側周辺ピクセル及び左側周辺ピクセルを示す。また、図２５のブロックの右側に表示された矢印は、ＢＤＰＣＭの予測方向が垂直方向であることを示し、図２６のブロックの下側に表示された矢印は、ＢＤＰＣＭの予測方向が水平方向であることを示す。また、図２５及び図２６において、太い実線で示したラインは、現在ピクセルが位置したＢＤＰＣＭラインを示す。
【0288】
変換がスキップされたブロックのレジデュアル信号を符号化するために、図２５及び図２６の左側に示されているブロックのように、現在ピクセル（Ｃ）の左側ピクセル（Ｌ）及び上側ピクセル（Ａ）がテンプレートとして参照できる。例えば、前記テンプレートは、ａｂｓ＿ｒｅｍａｉｎｄｅｒ［］のＲｉｃｅパラメータを誘導する場合又はｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇのコンテキストモデルを誘導する場合のテンプレートであることができる。
【0289】
変換がスキップされたブロックがＢＤＰＣＭで予測されたブロックである場合、ＢＤＰＣＭの予測方向に基づいてテンプレートが修正できる。例えば、ＢＤＰＣＭの予測方向が垂直方向である場合、図２５の右側に示されているブロックのように現在ピクセル（Ｃ）の左側ピクセル（Ｌ）のみをテンプレートとして参照することができる。また、ＢＤＰＣＭの予測方向が水平方向である場合、図２６の右側に示されているブロックのように現在ピクセル（Ｃ）の上側ピクセル（Ａ）のみをテンプレートとして参照することができる。
【0290】
図２５及び図２６を参照して説明する実施例では、現在ピクセルの位置に対して同じＢＤＰＣＭラインに存在しないピクセルは、周辺との類似性を確認するためのテンプレート（ｎｅｉｇｈｂｏｒ ｐｏｓｉｔｉｏｎ ｆｏｒ ｃｏｎｔｅｘｔ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ、ｒｉｃｅ ｐａｒａｍｅｔｅｒ ｄｅｒｉｖａｔｉｏｎ）として活用しないことができる。
【0291】
図２７は本開示によってＢＤＰＣＭのラインを考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【0292】
図２７に示すように、変換スキップされた現在ブロックにＢＤＰＣＭが適用されるか否かを判断し（Ｓ２７１０）、ＢＤＰＣＭが適用されていない場合、現在ピクセルの左側周辺ピクセル及び上側周辺ピクセルをテンプレートとして定義することができる（Ｓ２７２０）。現在ブロックにＢＤＰＣＭが適用された場合、ＢＤＰＣＭの予測方向が判断され（Ｓ２７３０）、水平方向である場合、現在ピクセルの上側周辺ピクセルをテンプレートとして定義し（Ｓ２７４０）、垂直方向である場合、現在ピクセルの左側周辺ピクセルをテンプレートとして定義することができる（Ｓ２７５０）。つまり、現在ピクセルと同じＢＤＰＣＭラインに存在する周辺ピクセルをテンプレートとして定義することができる。上述のように変換スキップされた現在ブロックにＢＤＰＣＭが適用されるか否か及び／又はＢＤＰＣＭの予測方向に基づいて定義された現在ピクセルのテンプレートを用いて符号化／復号化を行うことができる（Ｓ２７６０）。ステップＳ２７６０の符号化／復号化は、例えば、現在ピクセルのレジデュアル信号の符号化／復号化であって、レジデュアル信号のコンテキストモデル誘導過程又はＲｉｃｅパラメータ誘導過程を含むことができる。
【0293】
図２５乃至図２７を参照して説明した実施例によれば、ＢＤＰＣＭの予測方向（例えば、ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ）に基づいて、現在ピクセルに隣接したピクセルのうち、どのピクセルとより高い相関性（ｃｏｒｒｅｌａｔｉｏｎ）を持つかを確認し、これを現在ピクセルに対する周辺ピクセルの統計として活用することにより、符号化効率を高めることができる。
【0294】
【0295】
図２８及び図２９において、「Ｃ」は現在ピクセルを示し、「Ａ」と「Ｌ」はそれぞれ上側周辺ピクセル及び左側周辺ピクセルを示す。また、図２８のブロックの右側に表示された矢印は、ＢＤＰＣＭの予測方向が垂直方向であることを示し、図２９のブロックの下側に表示された矢印は、ＢＤＰＣＭの予測方向が水平方向であることを示す。
【0296】
ＤＰＣＭでは、予測値がない一番目の値、又はＢＤＰＣＭでは、一番目のラインの値は予測されず、従来と同じ値で符号化される。しかし、その以後からは、以前に符号化されたラインの値との差分が符号化される。よって、符号化されるレベルの大きさが概ね一番目のラインのレベルに比べて非常に小さいか或いは０になることができる。つまり、一番目のラインに含まれたピクセルと他のラインに含まれたピクセルとの間でレベルの大きさが非常に変わる特性を持つことができる。すなわち、一番目のラインに含まれた周辺ピクセルは、２番目のライン以後に含まれた現在ピクセルのテンプレートとして活用することが適切でない場合がある。
【0297】
これを考慮して、図２８及び図２９に示されている実施例は、現在ピクセルの位置とＢＤＰＣＭの予測方向に応じて、一番目のラインに含まれた周辺ピクセルをテンプレート（ｎｅｉｇｈｂｏｒ ｐｏｓｉｔｉｏｎ ｆｏｒ ｃｏｎｔｅｘｔ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ、ｒｉｃｅ ｐａｒａｍｅｔｅｒ ｄｅｒｉｖａｔｉｏｎ）として活用しないことができる。つまり、ＢＤＰＣＭの一番目のラインが利用可能ではないと仮定して、テンプレートを定義することができる。一例として、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇは、現在ピクセルの上側ピクセル及び左側ピクセルが０であるか０ではないかを確認した後、これに基づいてコンテキストモデルを決定する。このとき、一番目のラインは、ｎｏｎ－ｚｅｒｏであるレベルが存在する可能性が他のラインよりも高いので、周辺ピクセルが一番目のラインであるか否かに応じて適応的に統計を累積することにより、符号化効率を向上させることができる。同様に、Ｒｉｃｅパラメータは、現在ピクセルの周辺レベルの大きさに基づいて誘導されるので、現在ピクセルが二番目のラインであれば、一番目のラインの差分されていないレベルを参照しないことにより、現在係数にさらに適したＲｉｃｅパラメータを誘導することができる。
【0298】
図２８の左側に示されているように、ＢＤＰＣＭの予測方向が垂直方向であり、現在ピクセル（Ｃ）の上側ピクセルがＢＤＰＣＭの一番目のラインに属する場合、左側ピクセル（Ｌ）のみをテンプレートとして参照することができる。もし、図２８の右側に示されているように、現在ピクセル（Ｃ）の上側ピクセルがＢＤＰＣＭの一番目のラインに属さない場合、上側ピクセル（Ａ）と左側ピクセル（Ｌ）をテンプレートとして参照することができる。
【0299】
同様に、図２９の左側に示されているように、ＢＤＰＣＭの予測方向が水平方向であり、現在ピクセル（Ｃ）の左側ピクセルがＢＤＰＣＭの一番目のラインに属する場合、上側ピクセル（Ａ）のみをテンプレートとして参照することができる。もし、図２９の右側に示されているように、現在ピクセル（Ｃ）の左側ピクセルがＢＤＰＣＭの一番目のラインに属さない場合、上側ピクセル（Ａ）と左側ピクセル（Ｌ）をテンプレートとして参照することができる。
【0300】
図３０は本開示によって周辺ピクセルがＢＤＰＣＭの一番目のラインに含まれるか否かを考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【0301】
図３０に示されているように、変換スキップされた現在ブロックにＢＤＰＣＭが適用されるか否かを判断し（Ｓ３０１０）、ＢＤＰＣＭが適用されていない場合、現在ピクセルの左側周辺ピクセル及び上側周辺ピクセルをテンプレートとして定義することができる（Ｓ３０２０）。現在ブロックにＢＤＰＣＭが適用された場合、ＢＤＰＣＭの予測方向が判断されることができる（Ｓ３０３０）。ＢＤＰＣＭの予測方向が水平方向である場合、現在ピクセルの左側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在するか否かを判断することができる（Ｓ３０４０）。現在ピクセルの左側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在する場合、現在ピクセルの上側周辺ピクセルのみをテンプレートとして定義することができる（Ｓ３０５０）。現在ピクセルの左側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在しない場合、現在ピクセルの左側周辺ピクセル及び上側周辺ピクセルをテンプレートとして定義することができる（Ｓ３０６０）。同様に、ＢＤＰＣＭの予測方向が垂直方向である場合、現在ピクセルの上側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在するか否かを判断することができる（Ｓ３０７０）。現在ピクセルの上側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在しない場合、現在ピクセルの左側周辺ピクセル及び上側周辺ピクセルをテンプレートとして定義することができる（Ｓ３０６０）。
現在ピクセルの上側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在する場合、現在ピクセルの左側周辺ピクセルのみをテンプレートとして定義することができる（Ｓ３０８０）。上述のように、現在ブロックにＢＤＰＣＭが適用されるか否か、ＢＤＰＣＭの予測方向及び周辺ピクセルがＢＤＰＣＭの一番目のラインに存在するか否かに基づいて定義された現在ピクセルのテンプレートを用いて符号化／復号化を行うことができる（Ｓ３０９０）。ステップＳ３０９０の符号化／復号化は、例えば、現在ピクセルのレジデュアル信号の符号化／復号化であって、レジデュアル信号のコンテキストモデル誘導過程又はＲｉｃｅパラメータ誘導過程を含むことができる。
現在ピクセルの上側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在する場合、現在ピクセルの左側周辺ピクセルのみをテンプレートとして定義することができる（Ｓ３０８０）。上述のように、現在ブロックにＢＤＰＣＭが適用されるか否か、ＢＤＰＣＭの予測方向及び周辺ピクセルがＢＤＰＣＭの一番目のラインに存在するか否かに基づいて定義された現在ピクセルのテンプレートを用いて符号化／復号化を行うことができる（Ｓ３０９０）。ステップＳ３０９０の符号化／復号化は、例えば、現在ピクセルのレジデュアル信号の符号化／復号化であって、レジデュアル信号のコンテキストモデル誘導過程又はＲｉｃｅパラメータ誘導過程を含むことができる。
【0302】
図２８及び図３０を参照して説明した実施例は、現在ピクセルの周辺ピクセルがＢＤＰＣＭの一番目のラインであるか否かに基づいて、現在ピクセルのテンプレートを定義するので、ＢＤＰＣＭの一番目のラインとそれ以後のラインの統計的特性を反映することができる。よって、現在ピクセルに、符号化／復号化にさらに適したコンテキストモデル及びＲｉｃｅパラメータを導出することができる。
【0303】
【0304】
図３１及び図３２において、「Ｃ」は現在ピクセルを示し、「Ａ」と「Ｌ」はそれぞれ上側周辺ピクセル及び左側周辺ピクセルを示す。また、図３１のブロックの右側に表示された矢印は、ＢＤＰＣＭの予測方向が垂直方向であることを示し、図３２のブロックの下側に表示された矢印は、ＢＤＰＣＭの予測方向が水平方向であることを示す。
【0305】
図３１及び図３２を参照して説明する実施例は、図２２及び図２３を参照して説明した実施例と、図２８及び図２９を参照して説明した実施例とを組み合わせたものである。つまり、ＢＤＰＣＭの予測に参照されていない周辺ピクセルとＢＤＰＣＭの一番目のラインに含まれた周辺ピクセルは、テンプレートとして活用しないことができる。
【0306】
具体的に、図３１の左側に示されているブロックのように、ＢＤＰＣＭの予測方向が垂直方向であるとき、現在ピクセル（Ｃ）の上側ピクセルがテンプレートとして活用できるが、現在ピクセル（Ｃ）の上側ピクセルがＢＤＰＣＭの一番目のラインに含まれるので、現在ピクセル（Ｃ）の左側ピクセル及び上側ピクセルはすべてテンプレートとして利用可能でないことができる。また、図３１の右側に示されているブロックのように、現在ピクセル（Ｃ）の上側ピクセル（Ａ）がＢＤＰＣＭの一番目のラインに含まれないので、上側ピクセル（Ａ）が現在ピクセル（Ｃ）のテンプレートとして活用できる。
【0307】
同様に、図３２の左側に示されているブロックのように、ＢＤＰＣＭの予測方向が水平方向であるとき、現在ピクセル（Ｃ）の左側ピクセルがテンプレートとして活用されることができるが、現在ピクセル（Ｃ）の左側ピクセルがＢＤＰＣＭの一番目のラインに含まれるので、現在ピクセル（Ｃ）の左側ピクセル及び上側ピクセルはすべてテンプレートとして利用可能でないことができる。また、図３２の右側に示されているブロックのように、現在ピクセル（Ｃ）の左側ピクセル（Ｌ）がＢＤＰＣＭの一番目のラインに含まれないので、左側ピクセル（Ｌ）が現在ピクセル（Ｃ）のテンプレートとして活用されることができる。
【0308】
図３３は本開示によってＢＤＰＣＭの予測方向及び周辺ピクセルがＢＤＰＣＭの一番目のラインに含まれるか否かを考慮してテンプレートを定義し、コンテキストモデル又はＲｉｃｅパラメータを誘導する方法を説明するためのフローチャートである。
【0309】
図３３に示すように、変換スキップされた現在ブロックにＢＤＰＣＭが適用されるか否かを判断し（Ｓ３３１０）、ＢＤＰＣＭが適用されていない場合、現在ピクセルの左側周辺ピクセル及び上側周辺ピクセルをテンプレートとして定義することができる（Ｓ３３２０）。現在ブロックにＢＤＰＣＭが適用された場合、ＢＤＰＣＭの予測方向が判断できる（Ｓ３３３０）。ＢＤＰＣＭの予測方向が水平方向である場合、現在ピクセルの左側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在するか否かを判断することができる（Ｓ３３４０）。現在ピクセルの左側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在しない場合、現在ピクセルの左側周辺ピクセルをテンプレートとして定義することができる（Ｓ３３５０）。現在ピクセルの左側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在する場合、現在ピクセルの左側周辺ピクセル及び上側周辺ピクセルはすべてテンプレートとして定義されないことができる（Ｓ３３６０）。同様に、ＢＤＰＣＭの予測方向が垂直方向である場合、現在ピクセルの上側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在するか否かを判断することができる（Ｓ３３７０）。現在ピクセルの上側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在しない場合、現在ピクセルの上側周辺ピクセルをテンプレートとして定義することができる（Ｓ３３８０）。現在ピクセルの上側周辺ピクセルがＢＤＰＣＭの一番目のラインに存在する場合、現在ピクセルの左側周辺ピクセルと上側周辺ピクセルはすべてテンプレートとして定義されないことができる（Ｓ３３６０）。前述したように、現在ブロックにＢＤＰＣＭが適用されるか否か、ＢＤＰＣＭの予測方向及び周辺ピクセルがＢＤＰＣＭの一番目のラインに存在するか否かに基づいて定義された現在ピクセルのテンプレートを用いて符号化／復号化を行うことができる（Ｓ３３９０）。ステップＳ３３９０の符号化／復号化は、例えば、現在ピクセルのレジデュアル信号の符号化／復号化であって、レジデュアル信号のコンテキストモデル誘導過程又はＲｉｃｅパラメータ誘導過程を含むことができる。
【0310】
図３１及び図３３を参照して説明した実施例は、ＢＤＰＣＭの予測方向及び現在ピクセルの周辺ピクセルがＢＤＰＣＭの一番目のラインであるか否かに基づいて現在ピクセルのテンプレートを定義するので、ＢＤＰＣＭの統計的特性がよりよく反映されることができる。したがって、現在ピクセルに、符号化／復号化にさらに適したコンテキストモデル及びＲｉｃｅパラメータを導出することができる。
【0311】
また、本発明の別の実施例によれば、図２５及び図２６を参照して説明した実施例と、図２８及び図２９を参照して説明した実施例とを組み合わせて行うことができる。つまり、現在ピクセルと同じＢＤＰＣＭラインに存在しない周辺ピクセルと、ＢＤＰＣＭの一番目のラインに含まれた周辺ピクセルは、テンプレートとして活用しないことができる。
【0312】
図２２乃至図３３を参照して、テンプレートとして利用可能な周辺ピクセルと利用可能でない周辺ピクセルに対する様々な実施例を説明した。しかし、現在ピクセルの位置によって、利用可能でない周辺ピクセルが存在することもできる。例えば、左側周辺ピクセル又は上側周辺ピクセルが現在ブロック内に存在しない場合、当該周辺ピクセルはテンプレートとして利用可能でないことができる。
【0313】
上述した様々な実施例において、利用可能でない周辺ピクセルは、参照しないか或いは所定の値に置換して参照することもできる。例えば、利用可能でない周辺ピクセル位置のｎｏｎ－ｚｅｒｏか否か又はｌｅｖｅｌ値は０に代替されて参照されることもできる。
【0314】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。
【0315】
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
【0316】
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
【0317】
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0318】
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
【0319】
図３４は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
【0320】
図３４に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
【0321】
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
【0322】
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
【0323】
前記ストリーミングサーバは、Ｗｅｂサーバを介したユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
【0324】
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
【0325】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0326】
前記コンテンツストリーミングシステム内の各サーバは分散サーバとして運営されることができ、この場合、各サーバから受信するデータは分散処理されることができる。
【0327】
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
【産業上の利用可能性】
【0328】
本開示による実施例は、画像を符号化／復号化するのに利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
