(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-28
(54)【発明の名称】ビデオ符号化/復号化方法及び装置
(51)【国際特許分類】
H04N 19/105 20140101AFI20240621BHJP
H04N 19/147 20140101ALI20240621BHJP
H04N 19/176 20140101ALI20240621BHJP
H04N 19/503 20140101ALI20240621BHJP
H04N 19/593 20140101ALI20240621BHJP
【FI】
H04N19/105
H04N19/147
H04N19/176
H04N19/503
H04N19/593
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023580913
(86)(22)【出願日】2022-06-30
(85)【翻訳文提出日】2023-12-28
(86)【国際出願番号】 KR2022009403
(87)【国際公開番号】W WO2023277603
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】10-2021-0086881
(32)【優先日】2021-07-02
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0079202
(32)【優先日】2022-06-28
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】512297583
【氏名又は名称】ヒョンダイ モーター カンパニー
(71)【出願人】
【識別番号】512297594
【氏名又は名称】キア コーポレーション
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】ホ,ジン
(72)【発明者】
【氏名】パク,スン ウク
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159TA18
5C159TA26
5C159TA31
5C159TB08
5C159TC02
5C159TC12
5C159TC42
5C159UA02
5C159UA05
(57)【要約】
【課題】ビデオ符号化/復号化方法及び装置を提供する。
【解決手段】本開示に係るビデオ復号化方法は、現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップ、前記参照ブロックと前記参照ブロックに隣接する第1の参照画素を基盤にし、前記現在ブロックに対するイントラ予測ブロックを生成するステップ、歪み計算に前記現在ブロックを用いないことを基盤にし、前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を誘導するステップ、及び、前記加重値、前記インター予測ブロック及び前記イントラ予測ブロックを基盤にし、前記現在ブロックのCIIP(Combined Inter Intra Prediction)予測ブロックを生成するステップを含む。
【選択図】
図10
【特許請求の範囲】
【請求項1】
現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップと、
前記参照ブロックと前記参照ブロックに隣接する第1の参照画素を基盤にし、前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
歪み計算に前記現在ブロックを使用しないことを基盤にし、前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を誘導するステップ、及び、
前記加重値、前記インター予測ブロック、及び前記イントラ予測ブロックを基盤にし、前記現在ブロックのCIIP(Combined Inter Intra Prediction)予測ブロックを生成するステップと、を含むことを特徴とするビデオ復号化方法。
【請求項2】
前記現在ブロックに対するイントラ予測ブロックを生成するステップは、
前記参照ブロックに隣接する第1の参照画素を基盤にして第1のイントラ予測ブロックを生成するステップと、
前記参照ブロックと前記第1のイントラ予測ブロックの歪みを基盤にしてイントラ予測モードを誘導するステップ、及び、
前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にしてイントラ予測ブロックを生成するステップと、を含むことを特徴とする請求項1に記載のビデオ復号化方法。
【請求項3】
前記加重値は、前記現在ブロックに隣接する周辺ブロックのイントラ予測符号化の如何とインター予測符号化の如何を基盤にして誘導されることを特徴とする請求項1に記載のビデオ復号化方法。
【請求項4】
前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を誘導するステップは、
インター予測信号の歪みを誘導するステップと、
イントラ予測信号の歪みを誘導するステップ、及び、
前記インター予測信号の歪みと前記イントラ予測信号の歪みを基盤にして前記加重値を誘導するステップと、を含むことを特徴とする請求項2に記載のビデオ復号化方法。
【請求項5】
前記インター予測信号の歪みは、前記現在ブロックに隣接する第2の参照画素と前記参照ブロックに隣接する第1の参照画素との差を基盤にして誘導されることを特徴とする請求項4に記載のビデオ復号化方法。
【請求項6】
前記イントラ予測信号の歪みを誘導するステップは、
前記イントラ予測モードと前記参照ブロックに隣接する第1の参照画素を基盤にして第2のイントラ予測ブロックを生成するステップ、及び、
前記参照ブロックと前記第2のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを誘導するステップを含むことを特徴とする請求項4に記載のビデオ復号化方法。
【請求項7】
前記イントラ予測信号の歪みを誘導するステップは、
前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にして第3のイントラ予測ブロックを生成するステップ、及び、
前記参照ブロックと前記第3のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを誘導するステップを含むことを特徴とする請求項4に記載のビデオ復号化方法。
【請求項8】
前記イントラ予測信号の歪みを誘導するステップは、
プラナーモードと前記現在ブロックに隣接する第2の参照画素を基盤にして第4のイントラ予測ブロックを生成するステップ、及び、
前記参照ブロックと前記第4のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを誘導するステップを含むことを特徴とする請求項4に記載のビデオ復号化方法。
【請求項9】
さらに、前記歪み計算に前記現在ブロックを用いることを基盤にし、前記インター予測ブロックとイントラ予測ブロックに割り当てられる加重値を獲得するステップと、
前記加重値、前記インター予測ブロック、及び前記イントラ予測ブロックを基盤にして前記現在ブロックのCIIP予測ブロックを生成するステップを含み、
前記加重値は、前記加重値をマッピングしたインデックス情報を基盤にして獲得されることを特徴とする請求項1に記載のビデオ復号化方法。
【請求項10】
前記加重値は、イントラ予測のエラー分布及びインター予測のエラー分布のうちの少なくとも1つを基盤にして誘導されることを特徴とする請求項1に記載のビデオ復号化方法。
【請求項11】
現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップと、
前記参照ブロックと前記参照ブロックに隣接する第1の参照画素を基盤にして前記現在ブロックのイントラ予測ブロックを生成するステップと、
前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を決定するステップ、及び、
前記加重値、前記インター予測ブロック、及び前記イントラ予測ブロックを基盤にして前記現在ブロックのCIIP予測ブロックを生成するステップと、を含むことを特徴とするビデオ符号化方法。
【請求項12】
前記現在ブロックに対するイントラ予測ブロックを生成するステップは、
前記参照ブロックに隣接する第1の参照画素を基盤にして第1のイントラ予測ブロックを生成するステップと、
前記参照ブロックと前記第1のイントラ予測ブロックの歪みを基盤にしてイントラ予測モードを決定するステップ、及び、
前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にしてイントラ予測ブロックを生成するステップと、を含むことを特徴とする請求項11に記載のビデオ符号化方法。
【請求項13】
前記加重値は、前記現在ブロックに隣接する周辺ブロックのイントラ予測符号化の如何とインター予測符号化の如何を基盤にして決定されることを特徴とする請求項11に記載のビデオ符号化方法。
【請求項14】
前記インター予測ブロック及び前記イントラ予測ブロックに割り当てられる加重値を決定するステップは、
インター予測信号の歪みを決定するステップと、
イントラ予測信号の歪みを決定するステップ、及び、
前記インター予測信号の歪みと前記イントラ予測信号の歪みを基盤にして前記加重値を決定するステップと、を含むことを特徴とする請求項12に記載のビデオ符号化方法。
【請求項15】
前記インター予測信号の歪みは、前記現在ブロックに隣接する第2の参照画素と前記参照ブロックに隣接する第1の参照画素との差を基盤にして決定され、
前記イントラ予測信号の歪みを決定するステップは、
前記イントラ予測モードと前記参照ブロックに隣接する第1の参照画素を基盤にして第2のイントラ予測ブロックを生成するステップ、及び、
前記参照ブロックと前記第2のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定するステップを含むことを特徴とする請求項14に記載のビデオ符号化方法。
【請求項16】
前記イントラ予測信号の歪みを決定するステップは、
前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にして第3のイントラ予測ブロックを生成するステップ、及び、
前記参照ブロックと前記第3のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定するステップを含むことを特徴とする請求項14に記載のビデオ符号化方法。
【請求項17】
前記イントラ予測信号の歪みを決定するステップは、
プラナーモードと前記現在ブロックに隣接する第2の参照画素を基盤にして第4のイントラ予測ブロックを生成するステップ、及び、
前記参照ブロックと前記第4のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定するステップを含むことを特徴とする請求項14に記載のビデオ符号化方法。
【請求項18】
前記インター予測信号の歪みは、前記現在ブロックと前記参照ブロックとの差を基盤にして決定され、
前記イントラ予測信号の歪みを決定するステップは、
前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にして第3のイントラ予測ブロックを生成するステップ、及び、
前記現在ブロックと前記第3のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定するステップを含むことを特徴とする請求項14に記載のビデオ符号化方法。
【請求項19】
前記イントラ予測信号の歪みを決定するステップは、
プラナーモードと前記現在ブロックに隣接する第2の参照画素を基盤にして第4のイントラ予測ブロックを生成するステップ、及び、
前記現在ブロックと前記第4のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定するステップを含むことを特徴とする請求項14に記載のビデオ符号化方法。
【請求項20】
さらに、前記加重値をマッピングしたインデックスを符号化するステップを含むことを特徴とする請求項18に記載のビデオ符号化方法。
【請求項21】
ビデオ符号化方法によって生成されたビットストリームを保存する、コンピュータが読み取り可能な記録媒体であって、前記ビデオ符号化方法は、
現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップと、
前記参照ブロックと前記参照ブロックに隣接する第1の参照画素を基盤にして前記現在ブロックに対するイントラ予測ブロックを生成するステップと、
前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を決定するステップ、及び、
前記加重値、前記インター予測ブロック、及び前記イントラ予測ブロックを基盤にして前記現在ブロックのCIIP予測ブロックを生成するステップと、を含むことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ符号化/復号化方法及び装置に関し、より詳しくは、結合された画面内画面間予測(Combined Inter/Intra Prediction,CIIP)モードを用いて現在ブロックの予測ブロックを生成するビデオ符号化/復号化方法及び装置に関する。
【背景技術】
【0002】
以下に記述される内容は、単に本実施例に関連される背景情報のみを提供するだけで従来技術を構成するものではない。
【0003】
ビデオデータは音声データや静止画データなどに比べて多くのデータ量を有するため、圧縮のための処理なしにそれ自体を保存又は伝送するためにはメモリを含む多くのハードウェアリソースが必要となる。
【0004】
したがって、通常、ビデオデータを保存又は伝送するときには、符号化器を使用してビデオデータを圧縮して保存又は伝送し、復号化器では圧縮されたビデオデータを受信して圧縮を解除して再生する。このようなビデオ圧縮技術としては、H.264/AVC、HEVC(High Efficiency Video Coding)などをはじめ、HEVCに比べて約30%以上の符号化効率を向上させたVVC(Versatile Video Coding)が存在する。
【0005】
しかしながら、映像のサイズ及び解像度、フレームレートが徐々に増加しており、それに応じて符号化すべきデータ量も増加しているため、従来の圧縮技術よりも符号化効率が良く、画質改善効果も高い新たな圧縮技術が求められる。
【0006】
結合された画面内画面間予測(Combined Inter/Intra Prediction,CIIP)モードは、画面内予測信号と画面間予測信号を加重平均して現在ブロックの予測ブロックを生成する方法である。結合された画面内画面間予測を遂行する場合、多様な画面内予測モードを用いて多様な加重値を用いる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、結合された画面内画面間予測(Combined Inter/Intra Prediction,CIIP)モードを基盤にして現在ブロックの予測ブロックを生成する方法及び装置を提供することを目的とする。
【0008】
さらに、本開示は、結合された画面内画面間予測モードで、多様な画面内予測モードを決定する方法及び装置を提供することを目的とする。
【0009】
なお、本開示は、結合された画面内画面間予測モードで、多様な加重値を決定する方法及び装置を提供することを目的とする。
【0010】
さらに、本開示は、結合された画面内画面間予測モードで、多様な加重値を伝送する方法及び装置を提供することを目的とする。
【0011】
なお、本開示は、ビデオ符号化/復号化効率を向上させる方法及び装置を提供することを目的とする。
【0012】
さらに、本開示は、本開示のビデオ符号化/復号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
【0013】
なお、本開示は、本開示のビデオ符号化/復号化方法又は装置によって生成されたビットストリームを伝送する方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
本開示に係るビデオ復号化方法は、現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして現在ブロックに対するインター予測ブロックを生成するステップ、前記参照ブロックと前記参照ブロックに隣接する第1の参照画素を基盤にし、前記現在ブロックに対するイントラ予測ブロックを生成するステップ、歪み計算に前記現在ブロックを用いないことを基盤にし、前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を誘導するステップ、及び、前記加重値、前記インター予測ブロック及び前記イントラ予測ブロックを基盤にし、前記現在ブロックのCIIP(Combined Inter Intra Prediction)予測ブロックを生成するステップを含む。
【0015】
本開示に係るビデオ復号化方法において、前記現在ブロックに対するイントラ予測ブロックを生成するステップは、前記参照ブロックに隣接する第1の参照画素を基盤にし、第1のイントラ予測ブロックを生成するステップ、前記参照ブロックと前記第1のイントラ予測ブロックの歪みを基盤にし、イントラ予測モードを誘導するステップ、及び、前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にし、イントラ予測ブロックを生成するステップを含む。
【0016】
本開示に係るビデオ復号化方法において、前記加重値は、前記現在ブロックに隣接する周辺ブロックのイントラ予測符号化の如何とインター予測符号化の如何を基盤にして誘導される。
【0017】
本開示に係る、ビデオ復号化方法において、前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を誘導するステップは、インター予測信号の歪みを誘導するステップ、イントラ予測信号の歪みを誘導するステップ、及び、前記インター予測信号の歪みと前記イントラ予測信号の歪みを基盤にし、前記加重値を誘導するステップを含む。
【0018】
本開示に係るビデオ復号化方法において、前記インター予測信号の歪みは、前記現在ブロックに隣接する第2の参照画素と前記参照ブロックに隣接する第1の参照画素との差を基盤にして誘導される。
【0019】
本開示に係るビデオ復号化方法において、前記イントラ予測信号の歪みを誘導するステップは、前記イントラ予測モードと前記参照ブロックに隣接する第1の参照画素を基盤にし、第2のイントラ予測ブロックを生成するステップ、及び、前記参照ブロックと前記第2のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを誘導するステップを含む。
【0020】
本開示に係るビデオ復号化方法において、前記イントラ予測信号の歪みを誘導するステップは、前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にし、第3のイントラ予測ブロックを生成するステップ、及び、前記参照ブロックと前記第3のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを誘導するステップを含む。
【0021】
本開示に係るビデオ復号化方法において、前記イントラ予測信号の歪みを誘導するステップは、プラナーモードと前記現在ブロックに隣接する第2の参照画素を基盤にし、第4のイントラ予測ブロックを生成するステップ、及び、前記参照ブロックと前記第4のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを誘導するステップを含む。
【0022】
本開示に係るビデオ復号化方法において、前記歪み計算に前記現在ブロックを用いることを基盤にし、前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を獲得するステップ、前記加重値、前記インター予測ブロック及び前記イントラ予測ブロックを基盤にし、前記現在ブロックのCIIP予測ブロックを生成するステップをさらに含み、前記加重値は、前記加重値をマッピングしたインデックス情報を基盤にして獲得される。
【0023】
本開示に係るビデオ復号化方法において、前記加重値は、イントラ予測のエラー分布及びインター予測のエラー分布のうちの少なくとも1つを基盤にして誘導される。
【0024】
本開示に係るビデオ符号化方法は、現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして前記現在ブロックに対するインター予測ブロックを生成するステップ、前記参照ブロックと前記参照ブロックに隣接する第1の参照画素を基盤にし、前記現在ブロックに対するイントラ予測ブロックを生成するステップ、前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を決定するステップ、及び、前記加重値、前記インター予測ブロック及び前記イントラ予測ブロックを基盤にし、前記現在ブロックのCIIP予測ブロックを生成するステップを含む。
【0025】
本開示に係るビデオ符号化方法において、前記現在ブロックに対するイントラ予測ブロックを生成するステップは、前記参照ブロックに隣接する第1の参照画素を基盤にし、第1のイントラ予測ブロックを生成するステップ、前記参照ブロックと前記第1のイントラ予測ブロックの歪みを基盤にし、イントラ予測モードを決定するステップ、及び、前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にし、イントラ予測ブロックを生成するステップを含む。
【0026】
本開示に係るビデオ符号化方法において、前記加重値は、前記現在ブロックに隣接する周辺ブロックのイントラ予測符号化の如何とインター予測符号化の如何を基盤にして決定される。
【0027】
本開示に係るビデオ符号化方法において、前記インター予測ブロックと前記イントラ予測ブロックに割り当てられる加重値を決定するステップは、インター予測信号の歪みを決定するステップ、イントラ予測信号の歪みを決定するステップ、及び、前記インター予測信号の歪みと前記イントラ予測信号の歪みを基盤にし、前記加重値を決定するステップを含む。
【0028】
本開示に係るビデオ符号化方法において、前記インター予測信号の歪みは、前記現在ブロックに隣接する第2の参照画素と前記参照ブロックに隣接する第1の参照画素との差を基盤にして決定され、前記イントラ予測信号の歪みを決定するステップは、前記イントラ予測モードと前記参照ブロックに隣接する第1の参照画素を基盤にし、第2のイントラ予測ブロックを生成するステップ、及び、前記参照ブロックと前記第2のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを決定するステップを含む。
【0029】
本開示に係るビデオ符号化方法において、前記イントラ予測信号の歪みを決定するステップは、前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にし、第3のイントラ予測ブロックを生成するステップ、及び、前記参照ブロックと前記第3のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを決定するステップを含む。
【0030】
本開示に係るビデオ符号化方法において、前記イントラ予測信号の歪みを決定するステップは、プラナーモードと前記現在ブロックに隣接する第2の参照画素を基盤にし、第4のイントラ予測ブロックを生成するステップ、及び、前記参照ブロックと前記第4のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを決定するステップを含む。
【0031】
本開示に係るビデオ符号化方法において、前記インター予測信号の歪みは、前記現在ブロックと前記参照ブロックとの差を基盤にして決定され、前記イントラ予測信号の歪みを決定するステップは、前記イントラ予測モードと前記現在ブロックに隣接する第2の参照画素を基盤にし、第3のイントラ予測ブロックを生成するステップ、及び、前記現在ブロックと前記第3のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを決定するステップを含む。
【0032】
本開示に係るビデオ符号化方法において、前記イントラ予測信号の歪みを決定するステップは、プラナーモードと前記現在ブロックに隣接する第2の参照画素を基盤にし、第4のイントラ予測ブロックを生成するステップ、及び、前記現在ブロックと前記第4のイントラ予測ブロックの歪みを基盤にし、イントラ予測信号の歪みを決定するステップを含む。
【0033】
本開示に係るビデオ符号化方法において、さらに、前記加重値をマッピングしたインデックスを符号化するステップを含む。
【0034】
なお、本開示によると、本開示に係るビデオ符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供される。
【0035】
また、本開示によると、本開示に係るビデオ符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供される。
【0036】
なお、本開示によると、本開示に係るビデオ復号化装置によって受信されて復号され、画像の復元に用いられるビットストリームを保存した記録媒体が提供される。
【発明の効果】
【0037】
本開示によると、結合された画面内画面間予測(Combined Inter/Intra Prediction,CMIP)モードを基盤にして現在ブロックの予測ブロックを生成する方法及び装置が提供される。
【0038】
さらに、本開示によると、結合された画面内画面間予測モードにて多様な画面内予測モードを決定する方法及び装置が提供される。
【0039】
なお、本開示によると、結合された画面内画面間予測モードにて多様な加重値を決定する方法及び装置が提供される。
【0040】
さらに、本開示によると、結合された画面内画面間予測モードにて多様な加重値を伝送する方法及び装置が提供される。
【0041】
なお、本開示によると、ビデオ符号化/復号化効率を向上させる方法及び装置が提供される。
【0042】
本開示から得られる効果は、以上で言及した効果に限定されず、言及しない他の効果は、下の記載から本開示が属する技術分野で通常の知識を有する者に明確に理解されるであろう。
【図面の簡単な説明】
【0043】
【
図1】本開示の技術を具現するビデオ符号化装置に関する例示的なブロック図である。
【
図2】QTBTTTT構造を用いてブロックを分割する方法を説明するための図である。
【
図3a】広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。
【
図3b】広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。
【
図4】現在ブロックの周辺ブロックに関する例示図である。
【
図5】本開示の技術を具現できる画像復号化装置の例示的なブロック図である。
【
図6】本開示の一実施例に係る、結合された画面内画面間予測(Combined Inter/Intra Prediction,CMIP)モードで現在ブロックの予測ブロックを生成する方法を説明するための図である。
【
図7】本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定するために参照する周辺ブロックを説明するための図である。
【
図8】本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。
【
図9】本開示の一実施例に係る、結合された画面内画面間予測モードで多様な画面内予測モードを用いる方法を説明するための図である。
【
図10】本開示の一実施例に係る、結合された画面内画面間予測モードで多様な画面内予測モードを決定する過程を説明するための図である。
【
図11】本開示の別の実施例に係る、結合された画面内画面間予測モードで加重値を決定するために参照する周辺ブロックを説明するための図である。
【
図12】本開示の別の実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。
【
図13】本開示のまた別の実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。
【
図14】本開示の他の実施例に係る、インデックスによる加重値を説明するための図である。
【
図15】本開示の一実施例に係る、加重値のインデックスに固定長コードを割り当てる方法を説明するための図である。
【
図16】本開示の一実施例に係る、加重値のインデックスにフェイズイン(Phased-in)コードを割り当てる方法を説明するための図である。
【
図17】本開示の一実施例に係る、加重値のインデックスに可変長コードを割り当てる方法を説明するための図である。
【
図18a】本開示の一実施例に係る、画面間予測のエラー分布と画面内予測のエラー分布を説明するための図である。
【
図18b】本開示の一実施例に係る、画面間予測のエラー分布と画面内予測のエラー分布を説明するための図である。
【
図19a】本開示の一実施例に係る、8×8ブロックの画面内予測の加重値と8×8ブロックの画面間予測の加重値を説明するための図である。
【
図19b】本開示の一実施例に係る、8×8ブロックの画面内予測の加重値と8×8ブロックの画面間予測の加重値を説明するための図である。
【
図19c】本開示の他の実施例に係る、8×8サイズブロックの画面内予測の加重値を説明するための図である。
【
図19d】本開示の他の実施例に係る、8×8サイズブロックの画面内予測の加重値を説明するための図である。
【
図20】本開示の一実施例に係る、ビデオ復号化過程を説明するための図である。
【
図21】本開示の一実施例に係る、ビデオ符号化過程を説明するための図である。
【発明を実施するための形態】
【0044】
以下、本発明の実施例を例示的な図面を参照して詳しく説明する。各図面の構成要素に参照符号を付加するにあたり、同一の構成要素に対しては、たとえ他の図面に表示されても可能な限り同一の符号を有することに留意されたい。なお、本実施例を説明するにあたり、関連された公知の構成又は機能についての具体的な説明が本実施例の要旨を曖昧にする場合には、詳しい説明は省く。
【0045】
図1は、本開示の技術を具現する映像符号化装置についての例示的なブロック図である。以下では、
図1を参照して映像符号化装置とこの装置の下位構成について説明する。
【0046】
映像符号化装置は、ピクチャ分割部110、予測部120、減算器130、変換部140、量子化部145、並べ替え部150、エントロピー符号化部155、 逆量子化部160、逆変換部165、加算器170、ループフィルタ部180、及びメモリ190を含むように構成される。
【0047】
映像符号化装置の各構成要素は、ハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。
【0048】
1つの映像(ビデオ)は、複数のピクチャを含む1つ以上のシーケンスで構成される。各ピクチャは複数の領域に分割され、各領域に符号化が遂行される。例えば、1つのピクチャは、1つ以上のタイル(Tile)又は/及びスライス(Slice)に分割される。ここで、1つ以上のタイルをタイルグループ(Tile Group)として定義する。各タイル又は/及びスライスは、1つ以上のCTU(Coding Tree Unit)に分割される。そして、各CTUはツリー構造によって1つ以上のCU(Coding Unit)に分割される。各CUに適用される情報はCUのシンタックスとして符号化され、1つのCTUに含まれるCUに共通に適用される情報はCTUのシンタックスとして符号化される。さらに、1つのスライス内のすべてのブロックに共通に適用される情報はスライスヘッダのシンタックスとして符号化され、1つ以上のピクチャを構成するすべてのブロックに適用される情報はピクチャパラメータセット(PPS、Picture Parameter Set)あるいはピクチャ ヘッダに符号化される。さらに、複数のピクチャが共通に参照する情報は、シーケンスパラメータセット(SPS、Sequence Parameter Set)に符号化される。そして、1つ以上のSPSが共通に参照する情報は、ビデオパラメータセット(VPS、Video Parameter Set)に符号化される。さらに、1つのタイル又はタイルグループに共通に適用される情報は、タイル又はタイルグループヘッダのシンタックスとして符号化されてもよい。SPS、PPS、スライスヘッダ、タイル又はタイルグループヘッダに含まれるシンタックスは、上位水準(high level)のシンタックスと称する。
【0049】
ピクチャ分割部110は、CTU(Coding Tree Unit)のサイズを決定する。CTUのサイズに関する情報(CTU size)は、SPS又はPPSのシンタックスとして符号化されて映像復号化装置に伝達される。
【0050】
ピクチャ分割部110は、映像を構成する各ピクチャ(picture)を予め決定されたサイズを有する複数のCTU(Coding Tree Unit)に分割した以降に、ツリー構造(tree structure)を用いてCTU を繰り返し(recursively)分割する。ツリー構造におけるリーフノード(leaf node)が符号化の基本単位であるCU(Coding Unit)となる。
【0051】
ツリー構造では、上位ノード(あるいは親ノード)が同じサイズの4つの下位ノード(あるいは子ノード)に分割されるクワッドツリー(Quad Tree、QT)、又は上位ノードが2つの下位ノードに分割されるバイナリツリー(Binary Tree、BT)、又は上位ノードが1:2:1の比率で3つの下位ノードに分割されるターナリーツリー(Ternary Tree、TT)、又はこれらのQT構造、BT構造、及びTT構造のうちの2つ以上を混用した構造である。例えば、QTBT(Quad Tree plus Binary Tree)構造が用いられてもよく、あるいはQTBTTT(Quad Tree plus Binary Tree Ternary Tree)構造が用いられてもよい。ここで、BTTTを合わせてMTT(Multiple-Type Tree)と称される。
【0052】
図2は、QTBTTT構造を用いてブロックを分割する方法を説明するための図である。
【0053】
図2に示すように、CTUは最初にQT構造に分割される。クワッドツリー分割は、分割ブロック(splitting block)のサイズがQTで許容されるリーフノードの最小ブロックサイズMinQTSizeに到達するまで繰り返される。QT構造の各ノードが下位レイヤの4つのノードに分割されるか否かを指示す第1のフラグQT_split_flagは、エントロピー符号化部155によって符号化されて映像復号化装置にシグナリングされる。QTのリーフノードがBTで許容されるルートノードの最大ブロックサイズMaxBTSizeよりも大きくない場合、BT構造又はTT構造のうちのいずれか1つ以上にさらに分割される。BT構造及び/又はTT構造では、複数の分割方向が存在する。例えば、該当ノードのブロックが横に分割される方向と縦に分割される方向の2つが存在する。
図2に示すように、MTT分割が開始されると、ノードが分割されたか否かを指示す第2のフラグmtt_split_flagと、分割されたら追加的に分割方向(verticalあるいはhorizontal)を示すフラグ及び/又は分割タイプ(BinaryあるいはTernary)を示すフラグがエントロピー符号化部155によって符号化されて映像復号化装置にシグナリングされる。
【0054】
代替的に、各ノードが下位レイヤの4つのノードに分割されるか否かを指示す第1のフラグQT_split_flagを符号化する前に、そのノードが分割されるか否かを指示すCU分割フラグsplit_cu_flagが符号化されてもよい。CU分割フラグsplit_cu_flag値が分割されていないことを指示す場合、該当ノードのブロックが分割ツリー構造におけるリーフノード(leaf node)となり、符号化の基本単位であるCU(coding unit)となる。CU分割フラグsplit_cu_flag値が分割されることを指示す場合、映像符号化装置は、上述した方式で第1のフラグから符号化を開始する。
【0055】
ツリー構造の他の例示としてQTBTが使用される場合、該当ノードのブロックを同一サイズの2つのブロックに横に分割するタイプ(すなわち、symmetric horizontal splitting)と縦に分割するタイプ(すなわち、symmetric vertical splitting)の2つが存在する。BT構造の各ノードが下位レイヤのブロックに分割されるか否かを指示す分割フラグsplit_flag及び、分割されるタイプを指示す分割タイプ情報がエントロピー符号化部155によって符号化されて映像復号化装置に伝達される。一方、該当ノードのブロックを互いに非対称形態の2つのブロックに分割するタイプが追加でさらに存在してもよい。非対称形態には、該当ノードのブロックを1:3のサイズ比率を有する2つの長方形ブロックに分割する形態が含まれてもよく、あるいは該当ノードのブロックを対角線方向に分割する形態が含まれてもよい。
【0056】
CUは、CTUからのQTBT又はQTBTTT分割に応じて様々なサイズを有する。以下では、符号化又は復号しようとするCU(すなわち、QTBTTTのリーフノード)に該当するブロックを「現在ブロック」と称する。QTBTTT分割の採用に応じ、現在ブロックの形状は正方形だけでなく長方形であってもよい。
【0057】
予測部120は、現在ブロックを予測して予測ブロックを生成する。予測部120は、イントラ予測部122とインター予測部124を含む。
【0058】
一般に、ピクチャ内の現在ブロックはそれぞれ予測的にコーディングされる。一般に、現在ブロックの予測は(現在ブロックを含むピクチャからのデータを使用する)イントラ予測技術又は(現在ブロックを含むピクチャ以前にコーディングされたピクチャからのデータを使用する)インター予測技術を使用して遂行される。インター予測は、一方向予測と双方向予測の両方を含む。
【0059】
イントラ予測部122は、現在ブロックが含まれた現在ピクチャ内で現在ブロックの周辺に位置するピクセル(参照ピクセル)を用いて現在ブロック内のピクセルを予測する。予測方向によって複数のイントラ予測モードが存在する。例えば、
図3aに見られるように、複数のイントラ予測モードは、プラナー(planar)モードとDCモードを含む2つの非方向性モードと65個の方向性モードを含む。各予測モードによって使用する周辺ピクセルと演算式が異なるように定義される。
【0060】
長方形形状の現在ブロックに対する効率的な方向性予測のために、
図3bに破線の矢印で図示された方向性モード(67~80番、-1~-14番イントラ予測モード)が追加で使用される。これらは、「広角イントラ予測モード(wide angle intra-prediction modes)」と称される。
図3bで矢印は、予測に使用される対応する参照サンプルを指すものであり、予測方向を示すものではない。予測方向は、矢印が指す方向と反対である。広角イントラ予測モードは、現在ブロックが長方形のときに追加のビット伝送なしに特定の方向性モードを反対方向で予測を遂行するモードである。このとき、広角イントラ予測モードのうちから、長方形の現在ブロックの幅と高さの比率により、現在ブロックに利用可能な一部の広角イントラ予測モードが決定される。例えば、45度より小さい角度を有する広角イントラ予測モード(67~80番イントラ予測モード)は、現在ブロックが、高さが幅より小さい長方形の形態であるときに利用可能であり、-135度より大きい角度を有する広角イントラ予測モード(-1~-14番イントラ予測モード)は、現在ブロックが、幅が高さよりも大きい長方形の形態であるときに利用可能である。
【0061】
イントラ予測部122は、現在ブロックを符号化するのに使用するイントラ予測モードを決定する。一部の例で、イントラ予測部122は、いろんなイントラ予測モードを使用して現在ブロックをエンコーディングし、テストされたモードから使用する適切なイントラ予測モードを選択してもよい。例えば、イントラ予測部122は、いろんなテストされたイントラ予測モードに対するビットレート歪み(rate-distortion)分析を用いてビットレート歪み値を計算し、テストされたモードの中で最善のビットレート歪み特徴を有するイントラ予測モードを選択してもよい。
【0062】
イントラ予測部122は、複数のイントラ予測モードの中から1つのイントラ予測モードを選択し、選択されたイントラ予測モードによって決定される周辺ピクセル(参照ピクセル)と演算式を用いて現在ブロックを予測する。選択されたイントラ予測モードに関する情報は、エントロピー符号化部155によって符号化されて映像復号化装置に伝達される。
【0063】
インター予測部124は、動き補償プロセスを用いて現在ブロックに対する予測ブロックを生成する。インター予測部124は、現在ピクチャより先に符号化及び復号化された参照ピクチャ内で現在ブロックと最も類似したブロックを探索し、その探索されたブロックを用いて現在ブロックに対する予測ブロックを生成する。そして、現在ピクチャ内の現在ブロックと参照ピクチャ内の予測ブロックとの間の変位(displacement)に該当する動きベクトル(Motion Vector:MV)を生成する。一般に、動き推定はルマ(luma)成分に対して遂行され、ルマ成分に基づいて計算された動きベクトルはルマ成分及びクロマ成分の両方に対して使用される。現在ブロックを予測するために使用された参照ピクチャに関する情報及び、動きベクトルに関する情報を含む動き情報は、エントロピー符号化部155によって符号化されて映像復号化装置に伝達される。
【0064】
インター予測部124は、予測の正確性を高めるために、参照ピクチャ又は参照ブロックに対する補間を遂行してもよい。すなわち、連続する2つの整数サンプル間のサブサンプルは、その2つの整数サンプルを含む連続された複数の整数サンプルにフィルタ係数を適用して補間される。補間された参照ピクチャに対して現在ブロックと最も類似したブロックを検索するステップを遂行すると、動きベクトルは整数サンプル単位の精度(precision)ではなく小数単位の精度まで表現される。動きベクトルの精度又は解像度(resolution)は、符号化しようとする対象領域、例えばスライス、タイル、CTU、CUなどの単位ごとに異なるように設定される。このような適応的動きベクトル解像度(Adaptive Motion Vector Resolution:AMVR)が適用される場合、各対象領域に適用する動きベクトル解像度に関する情報は、対象領域ごとにシグナリングされなければならない。例えば、対象領域がCUである場合、各CUに適用された動きベクトル解像度に関する情報がシグナリングされる。動きベクトル解像度に関する情報は、後述する差分動きベクトルの精度を示す情報である。
【0065】
一方、インター予測部124は、双方向予測(bi-prediction)を用いてインター予測を遂行する。双方向予測の場合、2つの参照ピクチャと、各参照ピクチャ内で現在ブロックと最も類似したブロック位置を表す2つの動きベクトルが用いられる。インター予測部124は、参照ピクチャリスト0(RefPicList0)及び参照ピクチャリスト1(RefPicList1)からそれぞれ第1の参照ピクチャ及び第2の参照ピクチャを選択し、各参照ピクチャ内で現在ブロックと類似したブロックを探索して第1の参照ブロックと第2の参照ブロックを生成する。そして、第1の参照ブロックと第2の参照ブロックを平均又は加重平均して現在ブロックに対する予測ブロックを生成する。そして、現在ブロックを予測するために使用した2つの参照ピクチャに関する情報及び、2つの動きベクトルに関する情報を含む動き情報を符号化部150に伝達する。ここで、参照ピクチャリスト0は、予め復元されたピクチャのうち、ディスプレイ順序で現在ピクチャ以前のピクチャで構成され、参照ピクチャリスト1は、予め復元されたピクチャのうち、ディスプレイ順序で現在ピクチャ以降のピクチャで構成される。しかしながら、必ずしもこれに限定されるわけではなく、ディスプレイ順序上で現在ピクチャ以降の既復元のピクチャが参照ピクチャリスト0に追加でさらに含まれてもよく、逆に現在ピクチャ以前の既復元のピクチャが参照ピクチャリスト1に追加でさらに含まれてもよい。
【0066】
動き情報を符号化するのに所要されるビット量を最小化するために多様な方法が用いられる。
【0067】
例えば、現在ブロックの参照ピクチャと動きベクトルが周辺ブロックの参照ピクチャ及び動きベクトルと同一の場合には、その周辺ブロックを識別できる情報を符号化することで、現在ブロックの動き情報を映像復号化装置に伝達できる。この方法を「マージモード(merge mode)」とする。
【0068】
マージモードで、インター予測部124は、現在ブロックの周辺ブロックから予め決定された個数のマージ候補ブロック(以下、「マージ候補」という)を選択する。
【0069】
マージ候補を誘導するための周辺ブロックとしては、
図4に示されたように、現在ピクチャ内で現在ブロックに隣接する左側ブロックA0、左下段ブロックA1、上段ブロックB0、右上段ブロックB1、及び左上段ブロックA2のうちの全部又は一部が使用される。さらに、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ(現在ブロックを予測するために使用された参照ピクチャと同一であってもよく異なってもよい)内に位置するブロックがマージ候補として使用されてもよい。例えば、参照ピクチャ内で現在ブロックと同一の位置にあるブロック(co-located block)又はその同一の位置のブロックに隣接するブロックがマージ候補として追加でさらに使用される。以上で記述された方法によって選定されたマージ候補の個数が予め設定された個数より小さいと、0ベクトルをマージ候補に追加する。
【0070】
インター予測部124は、このような周辺ブロックを用いて予め決定された個数のマージ候補を含むマージリストを構成する。マージリストに含まれたマージ候補の中から現在ブロックの動き情報として使用するマージ候補を選択し、選択された候補を識別するためのマージインデックス情報を生成する。生成されたマージインデックス情報は、符号化部150によって符号化されて映像復号化装置に伝達される。
【0071】
マージスキップ(merge skip)モードはマージモードの特別な場合であり、量子化を遂行した後、エントロピー符号化のための変換係数が全て零(zero)に近いとき、残差信号の伝送なしに周辺ブロック選択情報のみを伝送する。マージスキップモードを用いることで、動きの少ない映像、静止画、スクリーンコンテンツ映像などで相対的に高い符号化効率を達成できる。
【0072】
以下、マージモードとマージスキップモードを総称し、マージ/スキップモードで表す。
【0073】
動き情報を符号化するためのまた別の方法は、AMVP(Advanced Motion Vector Prediction)モードである。
【0074】
AMVPモードで、インター予測部124は、現在ブロックの周辺ブロックを用いて現在ブロックの動きベクトルに対する予測動きベクトル候補を誘導する。予測動きベクトル候補を誘導するために使用される周辺ブロックとしては、
図4に図示された現在ピクチャ内で現在ブロックに隣接する左側ブロックA0、左下段ブロックA1、上段ブロックB0、右上段ブロックB1、及び左上段ブロックA2のうち、全部又は一部が用いられる。さらに、現在ブロックが位置する現在ピクチャではなく、参照ピクチャ(現在ブロックを予測するために使用された参照ピクチャと同じであってもよく異なってもよい)内に位置するブロックが、予測動きベクトル候補を誘導するために使用される周辺ブロックとして使用されてもよい。例えば、参照ピクチャ内で現在ブロックと同じ位置にあるブロック(collocated block)、又はその同じ位置のブロックに隣接するブロックが使用される。以上で記述された方法によって動きベクトル候補の個数が予め設定された個数より小さいと、0ベクトルを動きベクトル候補に追加する。
【0075】
インター予測部124は、この周辺ブロックの動きベクトルを用いて予測動きベクトル候補を誘導し、予測動きベクトル候補を用いて現在ブロックの動きベクトルに対する予測動きベクトルを決定する。そして、現在ブロックの動きベクトルから予測動きベクトルを減算して差分動きベクトルを算出する。
【0076】
予測動きベクトルは、予測動きベクトル候補に予め定義された関数(例えば、中央値、平均値演算など)を適用して求める。この場合、映像復号化装置も予め定義された関数を知っている。また、予測動きベクトル候補を誘導するために使用する周辺ブロックは既に符号化及び復号化が完了されたブロックであるため、映像復号化装置もその周辺ブロックの動きベクトルも既に知っている。したがって、映像符号化装置は、予測動きベクトル候補を識別するための情報を符号化する必要がない。したがって、この場合には、差分動きベクトルに関する情報と、現在ブロックを予測するために使用した参照ピクチャに関する情報が符号化される。
【0077】
一方、予測動きベクトルは、予測動きベクトル候補のうちのいずれか1つを選択する方式で決定されてもよい。この場合には、差分動きベクトルに関する情報及び現在ブロックを予測するために使用した参照ピクチャに関する情報と共に、選択された予測動きベクトル候補を識別するための情報が追加で符号化される。
【0078】
減算器130は、現在ブロックからイントラ予測部122又はインター予測部124によって生成された予測ブロックを減算して残差ブロックを生成する。
【0079】
変換部140は、空間領域のピクセル値を有する残差ブロック内の残差信号を周波数ドメインの変換係数に変換する。変換部140は、残差ブロックの全体サイズを変換単位として使用して残差ブロック内の残差信号を変換してもよく、あるいは残差ブロックを複数個のサブブロックに分割してそのサブブロックを変換単位として使用して変換してもよい。あるいは、変換領域及び、非変換領域である2つのサブブロックに区分し、変換領域サブブロックのみを変換単位として使用して残差信号を変換してもよい。ここで、変換領域サブブロックは、横軸(又は縦軸)基準1:1のサイズ比率を有する2つの長方形ブロックのうちの1つである。この場合、サブブロックのみを変換したことを指示すフラグcu_sbt_flag、方向性(vertical/horizontal)情報cu_sbt_horizontal_flag、及び/又は位置情報cu_sbt_pos_flagがエントロピー符号化部155によって符号化されて映像復号化装置にシグナリングされる。また、変換領域サブブロックのサイズは、横軸(あるいは縦軸)基準1:3のサイズ比率を有し、このような場合、該当分割を区分するフラグcu_sbt_quad_flagが追加的にエントロピー符号化部155によって符号化されて映像復号化装置にシグナリングされる。
【0080】
一方、変換部140は、残差ブロックに対して横方向と縦方向に個別に変換を遂行する。変換のために、様々なタイプの変換関数又は変換行列が用いられる。例えば、横方向変換と縦方向変換のための変換関数の対をMTS(Multiple Transform Set)と定義する。変換部140は、MTSのうち、変換効率が最も良い1つの変換関数対を選択し、横及び縦方向にそれぞれ残差ブロックを変換する。MTSのうちから選択された変換関数対に関する情報mts_idxは、エントロピー符号化部155によって符号化されて映像復号化装置にシグナリングされる。
【0081】
量子化部145は、変換部140から出力される変換係数を、量子化パラメータを用いて量子化し、量子化された変換係数をエントロピー符号化部155に出力する。量子化部145は、任意のブロックあるいはフレームに対し、変換なしに、関連された残差ブロックを直ちに量子化してもよい。量子化部145は、変換ブロック内の変換係数の位置に応じて互いに異なる量子化係数(スケーリング値)を適用してもよい。二次元に配置された量子化された変換係数に適用される量子化行列は符号化されて映像復号化装置にシグナリングされる。
【0082】
並べ替え部150は、量子化された残差値に対して係数値の並べ替えを遂行する。
【0083】
並べ替え部150は、係数走査(coefficient scanning)を用いて2次元の係数アレイを1次元の係数シーケンスに変更する。例えば、並べ替え部150では、千鳥状スキャン(zig-zag scan)又は対角線スキャン(diagonal scan)を用いてDC係数から高周波数領域の係数までスキャンして1次元の係数シーケンスを出力する。変換単位のサイズ及びイントラ予測モードによって千鳥状スキャンの代わりに2次元の係数アレイを列方向にスキャンする垂直スキャン、2次元のブロック形態係数を行方向にスキャンする水平スキャンが使用されてもよい。すなわち、変換単位のサイズ及びイントラ予測モードによって千鳥状スキャン、対角線スキャン、垂直方向スキャン、及び水平方向スキャンのうちから使用されるスキャン方法が決定されてもよい。
【0084】
エントロピー符号化部155は、CABAC(Context-based Adaptive Binary Arithmetic Code)、指数ゴロム(Exponential Golomb)などの様々な符号化方式を用い、並べ替え部150から出力された1次元の量子化された変換係数のシーケンスを符号化することによってビットストリームを生成する。
【0085】
また、エントロピー符号化部155は、ブロック分割に関連されたCTUサイズ、CU分割フラグ、QT分割フラグ、MTT分割タイプ、MTT分割方向などの情報を符号化し、映像復号化装置が映像符号化装置と同様にブロックを分割できるようにする。また、エントロピー符号化部155は、現在ブロックがイントラ予測によって符号化されたか、それともインター予測によって符号化されたかの如何を指示す予測タイプに関する情報を符号化し、予測タイプによってイントラ予測情報(すなわち、イントラ予測モードに関する情報)又はインター予測情報(動き情報の符号化モード(マージモード又はAMVPモード)、マージモードの場合はマージインデックス、AMVPモードの場合は参照ピクチャインデックス及び差分動きベクトルに関する情報)を符号化する。また、エントロピー符号化部155は、量子化に関連された情報、すなわち量子化パラメータに関する情報及び量子化行列に関する情報を符号化する。
【0086】
逆量子化部160は量子化部145から出力される量子化された変換係数を逆量子化して変換係数を生成する。逆変換部165は、逆量子化部160から出力される変換係数を周波数ドメインから空間ドメインに変換して残差ブロックを復元する。
【0087】
加算部170は、復元された残差ブロックと予測部120によって生成された予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、次の順序のブロックをイントラ予測するときに参照ピクセルとして使用される。
【0088】
ループ(loop)フィルタ部180は、ブロックベースの予測及び変換/量子化によって発生するブロッキングアーチファクト(blocking artifacts)、リンギングアーチファクト(ringing artifacts)、ぼかしアーチファクト(blurring artifacts)等を減らすために復元されたピクセルに対するフィルタリングを遂行する。フィルタ部180は、インループ(in-loop)フィルタとしてデブロックフィルタ182、SAO(Sample Adaptive Offset)フィルタ184、及びALF(Adaptive Loop Filter)186の全部又は一部を含む。
【0089】
デブロックフィルタ182は、ブロック単位の符号化/復号化によって発生するブロッキング現象(blocking artifact)を除去するために復元されたブロック間の境界をフィルタリングし、SAOフィルタ184及びalf186は、 デブロックフィルタリングされた映像に対して追加のフィルタリングを遂行する。SAOフィルタ184及びalf186は、損失符号化(lossy coding)によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために使用されるフィルタである。SAOフィルタ184は、CTU単位でオフセットを適用することで、主観的な画質だけでなく符号化効率も向上させる。これに比べ、ALF186はブロック単位のフィルタリングを遂行し、該当ブロックのエッジ及び変化量の程度を区分して異なるフィルタを適用して歪みを補償する。ALFに使用されるフィルタ係数に関する情報は符号化されて映像復号化装置にシグナリングされる。
【0090】
デブロックフィルタ182、SAOフィルタ184、及びALF186を介してフィルタリングされた復元ブロックはメモリ190に保存される。あるピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後に符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。
【0091】
図5は、本開示の技術を具現する映像復号化装置の例示的なブロック図である。以下では、
図5を参照して映像復号化装置とこの装置の下位構成について説明する。
【0092】
映像復号化装置は、エントロピー復号化部510、並べ替え部515、逆量子化部520、逆変換部530、予測部540、加算器550、ループフィルタ部560、及びメモリ570を含むように構成される。
【0093】
図1の映像符号化装置と同様に、映像復号化装置の各構成要素はハードウェア又はソフトウェアで具現されてもよく、ハードウェア及びソフトウェアの組み合わせで具現されてもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現されてもよい。
【0094】
エントロピー復号化部510は、映像符号化装置によって生成されたビットストリームを復号化してブロック分割に関連された情報を抽出することで、復号化しようとする現在ブロックを決定し、現在ブロックを復元するために必要な予測情報と、残差信号に関する情報などを抽出する。
【0095】
エントロピー復号化部510は、SPS(Sequence Parameter Set)又はPPS(Picture Parameter Set)からCTUサイズに関する情報を抽出してCTUのサイズを決定し、ピクチャを決定されたサイズのCTUに分割する。そして、CTUをツリー構造の最上位レイヤ、すなわちルートノードとして決定し、CTUに関する分割情報を抽出することで、ツリー構造を用いてCTUを分割する。
【0096】
例えば、QTBTTT構造を用いてCTUを分割する場合、まずQTの分割に関連された第1のフラグQT_split_flagを抽出して各ノードを下位レイヤの4つのノードに分割する。そして、QTのリーフノードに該当するノードに対しては、MTTの分割に関連された第2のフラグMTT_split_flag及び分割方向(vertical/horizontal)及び/又は分割タイプ(binary/ternary)情報を抽出して該当リーフノードをMTT構造に分割する。これにより、QTのリーフノード以下の各ノードをBT又はTT構造に繰り返し(recursively)分割する。
【0097】
また他の例として、QTBTTT構造を用いてCTUを分割する場合、まずCUの分割可否を指示すCU分割フラグsplit_cu_flagを抽出し、該当ブロックが分割された場合、第1のフラグQT_split_flagを抽出してもよい。分割の過程で、各ノードは、0回以上の繰り返しのQT分割後に0回以上の繰り返しのMTT分割が発生する。例えば、CTUはすぐにMTT分割が発生してもよく、逆に複数回のQT分割のみが発生してもよい。
【0098】
別の例として、QTBT構造を用いてCTUを分割する場合、QTの分割に関連された第1のフラグQT_split_flagを抽出して各ノードを下位レイヤの4つのノードに分割する。そして、QTのリーフノードに該当するノードに対しては、BTでさらに分割されるか否かを指示す分割フラグsplit_flag及び分割方向情報を抽出する。
【0099】
一方、エントロピー復号化部510は、ツリー構造の分割を用いて復号化しようとする現在ブロックを決定すると、現在ブロックがイントラ予測されたかそれともインター予測されたかを指示す予測タイプに関する情報を抽出する。予測タイプ情報がイントラ予測を指示す場合、エントロピー復号化部510は、現在ブロックのイントラ予測情報(イントラ予測モード)に関するシンタックス要素を抽出する。予測タイプ情報がインター予測を指示す場合、エントロピー復号化部510は、インター予測情報に関するシンタックス要素、すなわち、動きベクトル及び、その動きベクトルが参照する参照ピクチャを表す情報を抽出する。
【0100】
また、エントロピー復号化部510は、量子化関連の情報、及び残差信号に関する情報として現在ブロックの量子化された変換係数に関する情報を抽出する。
【0101】
並べ替え部515は、映像符号化装置によって遂行された係数走査順序の逆順で、エントロピー復号化部510でエントロピー復号化された1次元の量子化された変換係数のシーケンスを再び2次元の係数アレイ(すなわち、ブロック)に変更する。
【0102】
逆量子化部520は、量子化された変換係数を逆量子化し、量子化パラメータを用いて量子化された変換係数を逆量子化する。逆量子化部520は、二次元に配列された量子化された変換係数に対して互いに異なる量子化係数(スケーリング値)を適用してもよい。逆量子化部520は、映像符号化装置から量子化係数(スケーリング値)の行列を量子化された変換係数の2次元アレイに適用して逆量子化を遂行する。
【0103】
逆変換部530は、逆量子化された変換係数を周波数ドメインから空間ドメインに逆変換して残差信号を復元することで、現在ブロックに対する残差ブロックを生成する。
【0104】
また、逆変換部530は、変換ブロックの一部領域(サブブロック)のみ逆変換する場合、変換ブロックのサブブロックのみを変換したことを指示すフラグcu_sbt_flag、サブブロックの方向性(vertical/horizontal)情報cu_sbt_horizontal_flag及び/又はサブブロックの位置情報cu_sbt_pos_flagを抽出し、該当サブブロックの変換係数を周波数ドメインから空間ドメインに逆変換することによって残差信号を復元し、逆変換されない領域に対しては残差信号で「0」値を満たすことによって現在ブロックに対する最終残差ブロックを生成する。
【0105】
また、MTSが適用された場合、逆変換部530は、映像符号化装置からシグナリングされたMTS情報mts_idxを用いて横及び縦方向にそれぞれ適用する変換関数又は変換行列を決定し、決定された変換関数を用いて横及び縦方向に変換ブロック内の変換係数に対して逆変換を遂行する。
【0106】
予測部540は、イントラ予測部542及びインター予測部544を含む。イントラ予測部542は、現在ブロックの予測タイプがイントラ予測であるときに活性化され、インター予測部544は、現在ブロックの予測タイプがインター予測であるときに活性化される。
【0107】
イントラ予測部542は、エントロピー復号化部510から抽出されたイントラ予測モードに対するシンタックス要素から複数のイントラ予測モードのうちの現在ブロックのイントラ予測モードを決定し、イントラ予測モードに応じて現在ブロック周囲の参照ピクセルを用いて現在ブロックを予測する。
【0108】
インター予測部544は、エントロピー復号化部510から抽出されたインター予測モードに対するシンタックス要素を用いて現在ブロックの動きベクトルと、その動きベクトルが参照する参照ピクチャを決定し、動きベクトルと参照ピクチャを用いて現在ブロックを予測する。
【0109】
加算器550は、逆変換部から出力される残差ブロックと、インター予測部又はイントラ予測部から出力される予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、後で復号化するブロックをイントラ予測するときの参照ピクセルとして活用される。
【0110】
ループフィルタ部560は、インループフィルタとしてデブロックフィルタ562、SAOフィルタ564及びALF566を含む。デブロックフィルタ562は、ブロック単位の復号化に因って発生するブロッキング現象(blocking artifact)を除去するために、復元されたブロック間の境界をデブロックフィルタリングする。SAOフィルタ564及びALF566は、損失符号化(lossy coding)に因って発生する復元されたピクセルと元本ピクセルとの間の差を補償するために、デブロックフィルタリング以降の復元されたブロックに対して追加のフィルタリングを遂行する。ALFのフィルタ係数は、ビットストリームから復号したフィルタ係数に関する情報を用いて決定される。
【0111】
デブロックフィルタ562、SAOフィルタ564、及びALF566を介してフィルタリングされた復元ブロックはメモリ570に保存される。あるピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後で符号化しようとするピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。
【0112】
図6は、本開示の一実施例に係る、結合された画面内画面間予測(Combined Inter/Intra Prediction,CMIP)モードで現在ブロックの予測ブロックを生成する方法を説明するための図である。画面内予測モードは、イントラ予測モードと同じ意味に該当する。画面内予測モードとイントラ予測モードは混用される。画面間予測モードは、インター予測モードと同じ意味に該当する。画面間予測モードとインター予測モードは混用される。結合された画面内画面間予測モードは、結合されたイントラインター予測モードと同じ意味に該当する。結合された画面内画面間予測モードとCIIPモードは混用される。CIIPモードで、インター予測ブロックは一般マージモードと同じ方法で生成される。イントラ予測ブロックは、現在ブロックの周辺に隣接する参照画素にプラナー(Planar)モードを適用して生成される。生成されたインター予測ブロックとイントラ予測ブロックに加重値を適用して最終的なCIIPを基盤にした予測ブロックが生成される。
【0113】
図6を参照すると、マージ(Merge)モードを基盤にして参照ピクチャ内参照ブロックP
interが誘導される。現在ブロックに隣接する参照画素にプラナーモードが適用されてイントラ予測ブロックP
Planarが生成される。該当参照ブロックP
interとイントラ予測ブロックP
Planarに加重値を適用してCIIPを基盤にした予測ブロックP
CIIPが生成される。CIIPを基盤にした予測ブロックP
CIIPは、
【数1】
の式を用いて生成される。
【0114】
図7は、本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定するために参照する周辺ブロックを説明するための図である。CIIPモードで加重値は、現在ブロックに隣接する周辺ブロックのイントラ予測モード符号化の如何を考慮して決定される。
【0115】
図7を参照すると、CIIPモードで加重値は、現在ブロックに隣接する上側周辺ブロックAと左側周辺ブロックLのイントラ予測モード符号化の如何を考慮して決定される。
【0116】
図8は、本開示の一実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。現在ブロックに隣接する周辺ブロックがイントラ予測モードを多く符号化すると、イントラ予測ブロックに大きな加重値が付与される。逆に、現在ブロックに隣接する周辺ブロックがイントラ予測モードを少なく符号化すると、イントラ予測ブロックに小さな加重値が付与される。
【0117】
図8を参照すると、
図7の現在ブロックの上側周辺ブロックAと左側周辺ブロックLがイントラ予測モードを符号化する場合、イントラ予測ブロックに割り当てられる加重値は3に該当する。上側周辺ブロックAがイントラ予測モードを符号化し、左側周辺ブロックLがイントラ予測モードを符号化しない場合、イントラ予測ブロックに割り当てられる加重値は2に該当する。上側周辺ブロックAがイントラ予測モードを符号化せず、左側周辺ブロックLがイントラ予測モードを符号化する場合、イントラ予測ブロックに割り当てられる加重値は2に該当する。上側周辺ブロックAがイントラ予測モードを符号化せず、左側周辺ブロックLがイントラ予測モードを符号化しない場合、イントラ予測ブロックに割り当てられる加重値は1に該当する。
【0118】
図6ないし
図8で説明したCIIPモードは、イントラ予測モードをプラナーモードに固定して使用するため、現在ブロック周辺に存在する方向性情報を利用しない。また、加重値が特定位置ブロックのイントラ予測モードの利用如何によって決定されるため、加重値の決定に限界がある。
【0119】
図9は、本開示の一実施例に係る、結合された画面内画面間予測モードで多様な画面内予測モードを用いる方法を説明するための図である。
【0120】
図9を参照すると、マージモードを用いて現在ブロックに対する参照ブロックP
interが誘導される。該当参照ブロックP
interの周辺に隣接する第1の参照画素を用いて画面内予測ブロックP
intra1が生成される。参照ブロックP
interと画面内予測ブロックP
intra1の歪みを比較して最適なイントラ予測モードが決定される。ここで、歪みは、SAD(Sum of Absolute Differences)又はSSE(Sum of Square Error)などの多様な相関度測定方法を通じて計算される。参照ブロックP
interと画面内予測ブロックP
intra1の歪みを比較して歪みが最も少ないイントラ予測モードが最適なイントラ予測モードとして決定される。第2の参照画素に決定された最適なイントラ予測モードを適用して画面内予測ブロックP
intra2が生成される。画面内予測ブロックP
intra2は最終イントラ予測ブロックに該当する。
【0121】
図10は、本開示の一実施例に係る、結合された画面内画面間予測モードで多様な画面内予測モードを決定する過程を説明するための図である。
【0122】
図10を参照すると、符号化装置はマージモードを用いて現在ブロックに対応する参照ブロックを決定する(S1010)。符号化装置は、参照ブロックの周辺に隣接する第1の参照画素を基盤にしてイントラ予測ブロックを生成する(S1020)。符号化装置は、参照ブロックと生成されたイントラ予測ブロックの歪みを比較して最適なイントラ予測モードを決定する(S1030)。符号化装置は、決定された最適なイントラ予測モードと第2の参照画素を基盤にして最終イントラ予測ブロックを生成する(S1040)。本開示に係るCIIPモードは多様なイントラ予測モードを使用するので、符号化効率を高める。
【0123】
図11は、本開示の他の実施例に係る、結合された画面内画面間予測モードで加重値を決定するために参照する周辺ブロックを説明するための図である。CIIPモードで加重値を決定するために、現在ブロックに隣接するすべての周辺ブロックの情報が使用される。この場合、符号化装置と復号化装置で加重値を決定するために同一の過程を遂行するので、符号化装置は、加重値情報を復号化装置に伝送する必要がない。これは暗黙的方法に該当する。
【0124】
図11を参照すると、現在ブロックに隣接する周辺ブロックA1‐A8、L1‐L8、及びALの情報を用いて加重値が決定される。該当加重値は、周辺ブロックのイントラ予測符号化とインター予測符号化との比に応じて比例配分して決定される。ただし、本開示はそのような実施例に限定されない。すべての周辺ブロックではなく、任意の位置と任意の個数の周辺ブロックを用いて加重値が決定される。イントラ予測符号化を遂行した周辺ブロックの数がN
intraであり、インター予測符号化を遂行した周辺ブロックの数がN
interの場合、イントラ予測ブロックに割り当てられる加重値W
intraは
【数2】
で計算され、インター予測ブロックに割り当てられる加重値W
interは、
【数3】
で計算される。本開示に係る加重値の決定方法は、現在ブロックに隣接するすべての周辺ブロックを用いて加重値を計算するので、精度が高い。これにより、CIIPモードの符号化効率が向上される。
【0125】
図12は、本開示の他の実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。CIIPモードで、加重値は歪みを用いて計算される。該当加重値は、画面内予測信号の歪みと画面間予測信号の歪みを基盤にして計算される。この場合、符号化装置と復号化装置は、加重値を決定するために同じ過程を遂行するので、符号化装置は、加重値情報を復号化装置に伝送する必要がない。これは暗黙的な方法に該当する。
【0126】
図12を参照すると、画面間予測信号の歪みは、現在ブロックの周辺に隣接する第2の参照画素とマージモードで決定された参照ブロックP
interの周辺に隣接する第1の参照画素との差を計算して決定される。
【0127】
画面内予測信号の歪みは3つの方法で計算される。1番目の方法について説明すると、参照ブロックPinterの周辺に隣接する第1の参照画素を使用して画面内予測ブロックが生成される。該当画面内予測ブロックと参照ブロックPinterの歪みを比較して最適なイントラ予測モードが決定される。決定された最適なイントラ予測モードを第1の参照画素に適用して画面内予測ブロックPintra1が生成される。参照ブロックPinterと画面内予測ブロックPintra1の歪みを計算して画面内予測信号の歪みが計算される。
【0128】
2番目の方法について説明すると、参照ブロックPinterの周辺に隣接する第1の参照画素を使用して画面内予測ブロックが生成される。該当画面内予測ブロックと参照ブロックPinterの歪みを比較して最適なイントラ予測モードが決定される。決定された最適なイントラ予測モードを第2の参照画素に適用して画面内予測ブロックPintra2が生成される。参照ブロックPinterと画面内予測ブロックPintra2の歪みを計算して画面内予測信号の歪みが計算される。
【0129】
3番目の方法について説明すると、プラナーモードを第2の参照画素に適用してプラナーモードを基盤にした画面内予測ブロックPplanarが生成される。参照ブロックPinterとプラナーモードを基盤にした画面内予測ブロックPplanarの歪みを計算して画面内予測信号の歪みが計算される。
【0130】
画面内予測信号の歪みは、上記で説明した3つの方法の中から任意の方法を選択して計算される。画面間予測信号の歪みがD
interであり、画面内予測信号の歪みがD
intraである場合、画面間予測信号に割り当てられる加重値W
interは
【数4】
で計算され、画面内予測信号に割り当てられる加重値W
intraは
【数5】
で計算される。画面間予測信号に割り当てられる加重値W
interは、画面内予測信号の歪みであるD
intraを用いて計算され、画面内予測信号に割り当てられる加重値W
intraは、画面間予測信号の歪みであるD
interを用いて計算される。これは、歪み値が小さいほど予測信号と原本信号の類似度が大きくなり、歪み値が大きくなるほど予測信号と原本信号の類似度が小さくなることを考慮したものである。ここで、歪みは、SAD又はSSEなどの多様な相関度測定方法を通じて計算される。本開示による歪みを基盤にして加重値を計算する方法は、加重値を正確に計算するので、符号化効率を向上させる。
【0131】
図13は、本開示のまた別の実施例に係る、結合された画面内画面間予測モードで加重値を決定する方法を説明するための図である。CIIPモードで、加重値は歪みを用いて計算される。該当加重値は、画面内予測信号の歪みと画面間予測信号の歪みを基盤にして計算される。この場合、符号化装置は、復号化装置で使用できない原本信号である現在ブロックの情報を使用して歪みを計算する。したがって、符号化装置は、歪みを用いて計算された加重値に関する情報を復号化装置に伝送しなければならない。これは明示的な方法に該当する。
【0132】
図13を参照すると、画面間予測信号の歪みは、現在ブロックと参照ブロックP
interとの間の差を計算して決定される。符号化装置は、復号化装置が使用できない現在ブロックの情報を使用する。
【0133】
画面内予測信号の歪みは、2つの方法で計算される。1番目の方法について説明すると、参照ブロックPinterの周辺に隣接する第1の参照画素を使用して画面内予測ブロックが生成される。該当画面内予測ブロックと参照ブロックPinterの歪みを比較して最適なイントラ予測モードが決定される。決定された最適なイントラ予測モードを第2の参照画素に適用して画面内予測ブロックPintraが生成される。現在ブロックと画面内予測ブロックPintraの歪みを計算して画面内予測信号の歪みが計算される。
【0134】
2番目の方法について説明すると、プラナーモードを第2の参照画素に適用してプラナーモードを基盤にした画面内予測ブロックPplanarが生成される。現在ブロックとプラナーモードを基盤にして画面内予測ブロックPplanarの歪みを計算して画面内予測信号の歪みが計算される。
【0135】
画面内予測信号の歪みは、上記で説明した2つの方法の中から任意の方法を選択して計算される。画面間予測信号の歪みがD
interであり、画面内予測信号の歪みがD
intraである場合、画面間予測信号に割り当てられる加重値W
interは
【数6】
で計算され、画面内予測信号に割り当てられる加重値W
intraは、
【数7】
で計算される。画面間予測信号に割り当てられる加重値W
interは、画面内予測信号の歪みであるD
intraを用いて計算され、画面内予測信号に割り当てられる加重値W
intraは、画面間予測信号の歪みであるD
interを用いて計算される。これは、歪み値が小さいほど予測信号と原本信号の類似度が大きくなり、歪み値が大きくなるほど予測信号と原本信号の類似度が小さくなることを考慮したものである。ここで、歪みは、SAD又はSSEなどの多様な相関度測定方法を通じて計算される。本開示による歪みを基盤にして加重値を計算する方法は、加重値を正確に計算するので、符号化効率を向上させる。
【0136】
図14は、本開示の他の実施例に係る、インデックスによる加重値を説明するための図である。
図13によって歪みを基盤にして加重値を計算する場合、符号化装置は、復号化装置が使用できない現在ブロックの情報を用いて歪みを計算する。したがって、符号化装置は、歪みによって計算された加重値に関する情報を復号化装置に伝送しなければならない。一般に、加重値は、0から1の間の任意の小数値に該当する。該当小数値に該当する加重値を伝送するために多くのビットが必要になる。符号化装置は、小数値を有する加重値に関する情報を予め定義された表にマッピングして該当インデックスを復号化装置に伝送する。これにより、伝送ビットが減ってくる。
【0137】
図14を参照すると、加重値をインデックスにマッピングする3つの方法が存在する。方法1は、3つの加重値0.25、0.5、0.75を使用し、インデックスを1から3まで使用する方法に該当する。方法2は、0.125から0.875までの0.125間隔で合計7つの加重値を使用し、インデックスを1から7まで使用する方法に該当する。方法3は、0.1から0.9までの0.1間隔で合計9つの加重値を使用し、インデックスを1から9まで使用する方法に該当する。ただし、本開示はそのような実施例に限定されない。加重値は、任意の個数と任意の値で使用される。
【0138】
図13で計算された加重値と
図14の3つの方法のうちから選択された1つの方法で使用される加重値が比較される。比較の結果、最も類似した加重値を有するインデックスが決定される。決定されたインデックスの画面内予測信号の加重値W
intraと画面間予測信号の加重値W
interを用いてCIIPモードの予測が遂行される。符号化装置は、決定されたインデックスを復号化装置に伝送する。一例として、計算された画面内予測信号の加重値W
intraと画面間予測信号の加重値W
interがそれぞれ0.358及び0.642であり、
図14で方法2が選択された場合、決定されたインデックスは3であり、インデックス3に該当する画面内予測信号の加重値W
intraと画面間予測信号の加重値W
interは、それぞれ0.375及び0.625に該当する。これにより、画面内予測信号の加重値0.375と画面間予測信号の加重値0.625を用いてCIIPモードの予測が遂行される。そして、符号化装置はインデックス3を復号化装置に伝送する。
【0139】
図15は、本開示の一実施例に係る、加重値のインデックスに固定長コードを割り当てる方法を説明するための図である。加重値のインデックスが決定され、決定されたインデックスは固定長コード(Fixed Length Code,FLC)を用いて伝送される。固定長コードを使用してインデックスを伝送する場合、すべてのインデックスに同じ長さのコードワードが割り当てられる。
【0140】
図15を参照すると、方法1はインデックスに2ビットの固定長コードを割り当てる。方法2は、インデックスに3ビットの固定長コードを割り当てる。方法3は、インデックスに4ビットの固定長コードを割り当てる。それぞれの方法は、該当ビットが使用できるコードワードを十分に使用できない。方法1はコードワード11を使用できない。方法2はコードワード111を使用できない。方法3は、コードワード1001、1010、1011、1100、1101、1110、1111を使用できない。これにより、符号化効率が低くなる。ただし、本開示はそのような実施例に限定されない。固定長コードを使用してコードワードをインデックスにマッピングする方法は、任意に決定される。
【0141】
図16は、本開示の一実施例に係る、加重値のインデックスにフェイズイン(Phased-in)コードを割り当てる方法を説明するための図である。
図15の符号化効率が低くなる問題を解決するために、フェーズインコードを使用してインデックスにコードワードが割り当てられる。
【0142】
図16を参照すると、フェーズインコードを使用すると、固定長コードを使用してもコードワードを無駄にすることなくインデックスにコードが割り当てられる。フェーズインコードは、固定長コードであっても互いに異なる長さのコードを使用する。これにより、発生頻度の高いインデックスに短いコードワードが割り当てられ、発生頻度の低いインデックスに長いコードワードが割り当てられる。コードワードの無駄がなくなるため、符号化効率が向上される。ただし、本開示はそのような実施例に限定されない。フェーズインコードを使用してコードワードをインデックスにマッピングする方法は、任意に決定される。
【0143】
図17は、本開示の一実施例に係る、加重値のインデックスに可変長コードを割り当てる方法を説明するための図である。加重値のインデックスに可変長コードを割り当てる方法は、インデックスに互いに異なる長さのコードワードを割り当てる方法に該当する。発生頻度の高いインデックスに短いコードワードが割り当てられ、発生頻度の低いインデックスに長いコードワードが割り当てられる。これにより、符号化効率が向上される。オフライントレーニング(Offline training)を基盤にして各インデックスに発生頻度が調査される。
【0144】
図17を参照すると、TR(Truncated Rice)コードを使用してコードワードが割り当てられる。方法1は、cMAX=2、cRiceParam=0のTRコードを使用してコードワードを生成する。方法2は、cMAX=6、cRiceParam=0のTRコードを使用してコードワードを生成する。方法3は、cMAX=8、cRiceParam=0のTRコードを使用してコードワードを生成する。生成されたコードワードは、順にインデックスに割り当てられる。ただし、本開示はそのような実施例に限定されない。TRコード以外に他の任意のコードを使用してインデックスに可変長コードが割り当てられる。オフライントレーニングを基盤にして発生頻度の高い加重値に小さなインデックスが割り当てられ、発生頻度の低い加重値に大きなインデックスが割り当てられる。その後、発生頻度の高い加重値に短いコードワードが割り当てられ、発生頻度の低い加重値に長いコードワードが割り当てられる。これにより、符号化効率が向上される。
【0145】
図18a及び
図18bは、本開示の一実施例に係る、画面間予測のエラー分布と画面内予測のエラー分布を説明するための図である。
【0146】
図18aを参照すると、画面間予測のエラー分布は、水平/垂直座標値に従って表示される。画面間予測で、現在ブロックの中心を基準に動きベクトルが使用される。これにより、現在ブロックの中心から外へ遠くなるほど画面間予測のエラーが増加する。
【0147】
図18bを参照すると、画面内予測のエラー分布は、水平/垂直座標値に従って表示される。画面内予測で、予測時に使用される参照ブロックが現在ブロックの左上段にある。これにより、左上段から右下段に行くほど画面内予測のエラーが増加する。
【0148】
図19a及び
図19bは、本開示の一実施例に係る、8×8サイズブロックの画面内予測の加重値と8×8サイズブロックの画面間予測の加重値を説明するための図である。画面内予測で、予測時に使用される参照ブロックが現在ブロックの左上段にある。これにより、現在ブロックの左上段領域は画面内予測信号に大きな加重値が割り当てられ、現在ブロックの右下段領域は画面間予測信号に大きな加重値が割り当てられる。
【0149】
図19aを参照すると、8×8サイズブロックにて、左上段領域は画面内予測信号に大きな加重値が割り当てられ、右下段領域は画面内予測信号に小さな加重値が割り当てられる。
【0150】
図19bを参照すると、8×8サイズブロックにて、右下段領域は画面内予測信号に大きな加重値が割り当てられ、左上段領域は画面内予測信号に小さな加重値が割り当てられる。ただし、本開示はそのような実施例に限定されない。ブロックのサイズと形状は、任意のサイズと形状に該当する。割り当てられる加重値は、任意の加重値に該当する。
【0151】
図19c及び
図19dは、本開示の他の実施例に係る、8×8サイズブロックの画面内予測の加重値を説明するための図である。画面内予測で、予測時に使用される参照ブロックが現在ブロックの上段と左側に存在する。これにより、現在ブロックの上段参照ブロックと左側参照ブロックに近い領域には、画面内予測信号に大きな加重値が割り当てられる。
【0152】
図19cを参照すると、8×8サイズブロックにて、上段領域は画面内予測信号に大きな加重値が割り当てられ、下段領域は画面内予測信号に小さな加重値が割り当てられる。
【0153】
図19dを参照すると、8×8サイズブロックにて、左側領域は画面内予測信号に大きな加重値が割り当てられ、右側領域は画面内予測信号に小さな加重値が割り当てられる。ただし、本開示はそのような実施例に限定されない。ブロックのサイズと形状は、任意のサイズと形状に該当する。割り当てられる加重値は、任意の加重値に該当する。
【0154】
図20は、本開示の一実施例に係る、ビデオ復号化過程を説明するための図である。
【0155】
図20を参照すると、復号化装置は、現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして現在ブロックに対するインター予測ブロックを生成する(S2010)。そして、復号化装置は、参照ブロックと参照ブロックに隣接する第1の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成する(S2020)。現在ブロックに対するイントラ予測ブロックを生成することは、参照ブロックに隣接する第1の参照画素を基盤にして第1のイントラ予測ブロックを生成し、参照ブロックと第1のイントラ予測ブロックの歪みを基盤にしてイントラ予測モードを誘導し、イントラ予測モードと、現在ブロックに隣接する第2の参照画素を基盤にしてイントラ予測ブロックを生成することを含む。
【0156】
そして、復号化装置は、歪み計算に現在ブロックを利用しないことを基盤にしてインター予測ブロックとイントラ予測ブロックに割り当てられる加重値を誘導する(S2030)。加重値は、現在ブロックに隣接する周辺ブロックのイントラ予測符号化の如何とインター予測符号化の如何を基盤にして誘導される。インター予測ブロックとイントラ予測ブロックに割り当てられる加重値を誘導することは、インター予測信号の歪みを誘導し、イントラ予測信号の歪みを誘導し、インター予測信号の歪みとイントラ予測信号の歪みを基盤にして加重値を誘導することを含む。インター予測信号の歪みは、現在ブロックに隣接する第2の参照画素と参照ブロックに隣接する第1の参照画素との差を基盤にして誘導される。
【0157】
イントラ予測信号の歪みを誘導することは、イントラ予測モードと参照ブロックに隣接する第1の参照画素を基盤にして第2のイントラ予測ブロックを生成し、参照ブロックと第2のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを誘導することを含む。イントラ予測信号の歪みを誘導することは、イントラ予測モードと現在ブロックに隣接する第2の参照画素を基盤にして第3のイントラ予測ブロックを生成し、参照ブロックと第3のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを誘導することを含む。イントラ予測信号の歪みを誘導することは、プラナーモードと現在ブロックに隣接する第2の参照画素を基盤にして第4のイントラ予測ブロックを生成し、参照ブロックと第4のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを誘導することを含む。復号化装置は、歪み計算に現在ブロックを利用することを基盤にしてインター予測ブロックとイントラ予測ブロックに割り当てられる加重値を獲得する。該当加重値は、加重値をマッピングしたインデックス情報を基盤にして獲得される。加重値は、イントラ予測のエラー分布及びインター予測のエラー分布のうちの少なくとも1つを基盤にして誘導される。そして、復号化装置は、加重値、インター予測ブロック、及びイントラ予測ブロックを基盤にして現在ブロックのCIIP予測ブロックを生成する(S2040)。
【0158】
図21は、本開示の一実施例に係る、ビデオ符号化過程を説明するための図である。
【0159】
図21を参照すると、符号化装置は、現在ブロックに対応して参照ピクチャ内に存在する参照ブロックを基盤にして現在ブロックに対するインター予測ブロックを生成する(S2110)。そして、符号化装置は、参照ブロックと参照ブロックに隣接する第1の参照画素を基盤にして現在ブロックに対するイントラ予測ブロックを生成する(S2120)。現在ブロックに対するイントラ予測ブロックを生成することは、参照ブロックに隣接する第1の参照画素を基盤にして第1のイントラ予測ブロックを生成し、参照ブロックと第1のイントラ予測ブロックの歪みを基盤にしてイントラ予測モードを誘導し、イントラ予測モードと現在ブロックに隣接する第2の参照画素を基盤にしてイントラ予測ブロックを生成することを含む。
【0160】
そして、符号化装置は、歪み計算に現在ブロックを利用しないことを基盤にしてインター予測ブロックとイントラ予測ブロックに割り当てられる加重値を決定する(S2130)。加重値は、現在ブロックに隣接する周辺ブロックのイントラ予測符号化の如何とインター予測符号化の如何を基盤にして決定される。インター予測ブロックとイントラ予測ブロックに割り当てられる加重値を決定することは、インター予測信号の歪みを決定し、イントラ予測信号の歪みを決定し、インター予測信号の歪みとイントラ予測信号の歪みを基盤にして加重値を決定することを含む。インター予測信号の歪みは、現在ブロックに隣接する第2の参照画素と参照ブロックに隣接する第1の参照画素との差を基盤にして決定される。
【0161】
イントラ予測信号の歪みを決定することは、イントラ予測モードと参照ブロックに隣接する第1の参照画素を基盤にして第2のイントラ予測ブロックを生成し、参照ブロックと第2のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定することを含む。イントラ予測信号の歪みを決定することは、イントラ予測モードと現在ブロックに隣接する第2の参照画素を基盤にして第3のイントラ予測ブロックを生成し、参照ブロックと第3のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定することを含む。イントラ予測信号の歪みを決定することは、プラナーモードと現在ブロックに隣接する第2の参照画素を基盤にして第4のイントラ予測ブロックを生成し、参照ブロックと第4のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定することを含む。
【0162】
インター予測信号の歪みは、現在ブロックと参照ブロックとの差を基盤にして決定される。イントラ予測信号の歪みを決定することは、イントラ予測モードと現在ブロックに隣接する第2の参照画素を基盤にして第3のイントラ予測ブロックを生成し、現在ブロックと第3のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定することを含む。イントラ予測信号の歪みを決定することは、プラナーモードと現在ブロックに隣接する第2の参照画素を基盤にして第4のイントラ予測ブロックを生成し、現在ブロックと第4のイントラ予測ブロックの歪みを基盤にしてイントラ予測信号の歪みを決定することを決定することを含む。加重値をマッピングしたインデックスを符号化するステップを含む。そして、符号化装置は、加重値、インター予測ブロック、及びイントラ予測ブロックを基盤にして現在ブロックのCIIP予測ブロックを生成する(S2140)。
【0163】
本明細書のフローチャート/タイミング図では、各プロセスを順次実行することと記載しているが、これは、本開示の一実施例の技術思想を例示的に説明したものにすぎない。言い換えれば、本開示の一実施例が属する技術分野にて通常の知識を有する者であれば、本開示の一実施例の本質的な特性から逸脱しない範囲でフローチャート/タイミング図に記載された順序を変更して実行するか、又は各プロセスのうちの1つ以上のプロセスを並列に実行することで多様に修正及び変形して適用可能であるので、フローチャート/タイミング図は時系列的な順序として限定されるものではない。
【0164】
以上の説明における例示的な実施例は、多くの他の方式で具現されることと理解しなければならない。1つ以上の例示で説明された機能又は方法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで具現される。本明細書で説明された機能的コンポーネントは、それらの具現独立性を特に強調するために「部(unit)」とラベル付けされていることを理解しなければならない。
【0165】
一方、本実施例で説明された多様な機能あるいは方法は、1つ以上のプロセッサによって読み取られて実行される非一時的記録媒体に保存された命令語で具現されてもよい。非一時的記録媒体は、例えばコンピュータシステムによって読み取り可能な形態でデータが保存されるあらゆる種類の記録装置を含む。例えば、非一時的記録媒体は、EPROM(Erasable Programmable Read Only Memory)、フラッシュドライブ、光学ドライブ、磁気ハードドライブ、ソリッドステートドライブ(SSD)のような保存媒体を含む。
【0166】
以上の説明は、本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術分野で通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能であろう。したがって、本実施例は、本実施例の技術思想を限定するものではなく説明するためのものであり、このような実施例によって本実施例の技術思想の範囲が限定されるものではない。本実施例の保護範囲は、特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈されるべきである。
【符号の説明】
【0167】
122 イントラ予測部
510 エントロピー復号化部
542 イントラ予測部
【国際調査報告】