知財求人 - 知財ポータルサイト「IP Force」
特許6761490ＣＮＮ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6761490
(24)【登録日】2020年9月8日
(45)【発行日】2020年9月23日
(54)【発明の名称】ＣＮＮ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置
(51)【国際特許分類】
H04N 19/117 20140101AFI20200910BHJP
H04N 19/136 20140101ALI20200910BHJP
H04N 19/82 20140101ALI20200910BHJP
【ＦＩ】
H04N19/117
H04N19/136
H04N19/82
【請求項の数】30
【全頁数】41
(21)【出願番号】特願2018-567746(P2018-567746)
(86)(22)【出願日】2017年2月13日
(65)【公表番号】特表2019-525544(P2019-525544A)
(43)【公表日】2019年9月5日
(86)【国際出願番号】KR2017001512
(87)【国際公開番号】WO2017222140
(87)【国際公開日】20171228
【審査請求日】2019年2月12日
(31)【優先権主張番号】10-2016-0079240
(32)【優先日】2016年6月24日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2017-0017959
(32)【優先日】2017年2月9日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】592127149
【氏名又は名称】韓国科学技術院
【氏名又は名称原語表記】ＫＯＲＥＡ ＡＤＶＡＮＣＥＤ ＩＮＳＴＩＴＵＴＥ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ
(74)【代理人】
【識別番号】100112874
【弁理士】
【氏名又は名称】渡邊 薫
(74)【代理人】
【識別番号】100147865
【弁理士】
【氏名又は名称】井上 美和子
(74)【代理人】
【識別番号】100147142
【弁理士】
【氏名又は名称】石森 昭慶
(72)【発明者】
【氏名】キム， ムン チャール
【審査官】
後藤 嘉宏
(56)【参考文献】
【文献】
米国特許出願公開第２００９／００３４６２２（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２０１６／０１６２７８２（ＵＳ，Ａ１）
【文献】
特開平０５−１９１７９６（ＪＰ，Ａ）
【文献】
Rongqun Lin et al.，Deep Convolutional Neural Network for Decompressed Video Enhancement，Proceedings of 2016 Data Compression Conference (DCC)，２０１６年 ３月３０日，p.617
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
(57)【特許請求の範囲】
【請求項1】
オリジナル映像と予測映像との間の差に該当する残差映像を変換及び／又は量子化することによって残差情報を生成するステップと、
前記残差情報を逆量子化及び／又は逆変換することによって復元残差情報を生成するステップと、
前記復元残差情報をＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップと、
前記復元情報と前記オリジナル映像に基づいたオリジナル情報の差を算出するステップと、
前記差に基づいて前記ＣＮＮ基盤インループフィルタの加重値を補正するステップと、
を含み、
前記予測映像は、前記オリジナル映像と前記復元情報に基づいて生成される、
ＣＮＮ基盤インループフィルタ学習方法。
前記残差情報を逆量子化及び／又は逆変換することによって復元残差情報を生成するステップと、
前記復元残差情報をＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップと、
前記復元情報と前記オリジナル映像に基づいたオリジナル情報の差を算出するステップと、
前記差に基づいて前記ＣＮＮ基盤インループフィルタの加重値を補正するステップと、
を含み、
前記予測映像は、前記オリジナル映像と前記復元情報に基づいて生成される、
ＣＮＮ基盤インループフィルタ学習方法。
【請求項2】
前記残差情報を生成するステップは、
前記残差映像を変換及び量子化することによって残差情報を生成するステップを含み、
前記復元残差情報を生成するステップは、前記残差情報を逆量子化及び逆変換することによって復元残差情報を生成するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
前記残差映像を変換及び量子化することによって残差情報を生成するステップを含み、
前記復元残差情報を生成するステップは、前記残差情報を逆量子化及び逆変換することによって復元残差情報を生成するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項3】
前記残差情報を生成するステップは、量子化パラメータによる量子化区間に基づいて前記残差映像を変換及び／又は量子化するステップを含み、
前記補正するステップは、前記量子化区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
前記補正するステップは、前記量子化区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項4】
前記残差情報を生成するステップは、歪曲値による歪曲値区間に基づいて前記残差映像を変換及び／又は量子化するステップを含み、
前記補正するステップは、前記歪曲値区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
前記補正するステップは、前記歪曲値区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項5】
前記残差情報を生成するステップは、映像特性のテクスチャ複雑度区間に基づいて前記残差映像を変換及び／又は量子化するステップを含み、
前記補正するステップは、前記テクスチャ複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
前記補正するステップは、前記テクスチャ複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項6】
前記残差情報を生成するステップは、映像特性の動き複雑度区間に基づいて前記残差映像を変換及び／又は量子化するステップを含み、
前記補正するステップは、前記動き複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
前記補正するステップは、前記動き複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項7】
前記復元情報を生成するステップは、前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項8】
前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含む、請求項７に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項9】
前記復元情報を生成するステップは、前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項10】
前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含む、請求項９に記載のＣＮＮ基盤インループフィルタ学習方法。
【請求項11】
オリジナル映像と予測映像との間の差に該当する残差映像を変換及び／又は量子化することによって残差情報を生成する変換及び量子化部と、
前記残差情報を逆量子化及び／又は逆変換することによって復元残差情報を生成する逆量子化及び逆変換部と、
前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、
前記復元残差情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、
前記残差情報と前記予測映像の情報に基づいて符号化を行う符号化部と、
を含む符号化装置。
前記残差情報を逆量子化及び／又は逆変換することによって復元残差情報を生成する逆量子化及び逆変換部と、
前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、
前記復元残差情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、
前記残差情報と前記予測映像の情報に基づいて符号化を行う符号化部と、
を含む符号化装置。
【請求項12】
前記変換及び量子化部は、前記残差映像を変換及び量子化することによって残差情報を生成し、
前記逆量子化及び逆変換部は、前記残差情報を逆量子化及び逆変換することによって復元残差情報を生成する、請求項１１に記載の符号化装置。
前記逆量子化及び逆変換部は、前記残差情報を逆量子化及び逆変換することによって復元残差情報を生成する、請求項１１に記載の符号化装置。
【請求項13】
前記ＣＮＮ基盤インループフィルタは、前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１１に記載の符号化装置。
【請求項14】
前記予測情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１３に記載の符号化装置。
【請求項15】
前記インループフィルタは、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含む、請求項１４に記載の符号化装置。
【請求項16】
前記ＣＮＮ基盤インループフィルタは、前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１１に記載の符号化装置。
【請求項17】
前記予測情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１６に記載の符号化装置。
【請求項18】
前記復元情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１１に記載の符号化装置。
【請求項19】
符号化されたビットストリーム情報に復号化を行って残差情報と予備予測情報を出力するエントロピー復号化部と、
前記残差情報を逆量子化及び／又は逆変換することによって復元残差情報を生成する逆量子化及び逆変換部と、
前記予備予測情報に基づいて予測映像を生成する予測部と、
前記復元残差情報と前記予測映像が入力されて復元情報を出力するＣＮＮ基盤インループフィルタと、
を含む、復号化装置。
前記残差情報を逆量子化及び／又は逆変換することによって復元残差情報を生成する逆量子化及び逆変換部と、
前記予備予測情報に基づいて予測映像を生成する予測部と、
前記復元残差情報と前記予測映像が入力されて復元情報を出力するＣＮＮ基盤インループフィルタと、
を含む、復号化装置。
【請求項20】
前記ＣＮＮ基盤インループフィルタは、前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１９に記載の復号化装置。
【請求項21】
前記復元残差情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２０に記載の復号化装置。
【請求項22】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２１に記載の復号化装置。
【請求項23】
前記ＣＮＮ基盤インループフィルタは、前記復元残差情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１９に記載の復号化装置。
【請求項24】
前記復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含む、請求項２３に記載の復号化装置。
【請求項25】
前記復元残差情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２３に記載の復号化装置。
【請求項26】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２５に記載の復号化装置。
【請求項27】
前記ＣＮＮ基盤インループフィルタは、前記復元残差情報を前記ＣＮＮ基盤インループフィルタに入力することによって残差復元情報を生成する、請求項１９に記載の復号化装置。
【請求項28】
前記残差復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含む、請求項２７に記載の復号化装置。
【請求項29】
前記最終復元情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２８に記載の復号化装置。
【請求項30】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２９に記載の復号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
実施形態は、ＣＮＮ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置に関する。【背景技術】
【0002】
従来におけるインループフィルタリングは、量子化によって隣接符号化ブロック間の画素値の差により発生するブロック境界が視覚的に目に障ることを緩和するために、ブロック境界に沿ってブロック符号化タイプ、ブロック境界画素の強度、動き情報、量子化後の残差信号の存在情報などを用いて隣接符号化ブロックの境界を画素間の差を緩和する方法を利用した。ここで、たとえ固定されたフィルタ係数を使用することで係数を送信していないが、符号化ブロックの境界に対して画質劣化の緩和にのみ効果的であった。【0003】
最近、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準として、符号化ブロックの境界に対してブロック境界の歪曲緩和フィルタリング（ｄｅ−ｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ）の適用だけではなく、追加的に量子化による映像エッジに垂直方向に発生するリンギングアーティファクト（ｒｉｎｇｉｎｇ ａｒｔｅｆａｃｔ）及び明度差の歪曲を減らすためのサンプル適応型オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタリングを２次インループフィルタリングとして使用している。この場合、高周波ブラーリング歪曲（ｂｌｕｒｒｉｎｇ ａｒｔｅｆａｃｔ）を充分に改善することができず、サンプルオフセット及びエッジ方向タイプなどをデコーダに送信しなければならないため、符号化の効率に関する向上に限界がある。【発明の概要】
【発明が解決しようとする課題】
【0004】
実施形態は、量子化によるブロック境界の歪曲、リンギングアーティファクト、及び高周波ブラーリングリング歪曲（ｂｌｕｒｒｉｎｇ ａｒｔｅｆａｃｔ）などを、インループフィルタリングを用いて除去する技術を提供する。【0005】
また、実施形態は、符号化装置及び復号化装置に訓練されたＣＮＮ基盤インループフィルタを用いてインループフィルタ係数を送信しないながらも画質の改善された技術を提供する。【0006】
また、実施形態は符号化装置及び復号化装置が訓練されたＣＮＮ基盤インループフィルタを用いて、画質の改善されたフレームを参照フレームとして使用し、符号化の効率又は復号化の効率を大きく向上させる技術を提供する。【0007】
また、実施形態はスライスタイプごとにインループフィルタリングを適用する技術を提供する。【0008】
また、実施形態は、符号化ブロックごとにインループフィルタリングを適用する技術を提供する。【0009】
また、実施形態は、指定された映像の領域ごとにインループフィルタリング適用する技術を提供する。【課題を解決するための手段】
【0010】
一実施形態に係るＣＮＮ基盤インループフィルタ学習方法は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するステップと、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成するステップと、前記逆フィルタリング情報をＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップと、前記復元情報と前記オリジナル映像に基づいたオリジナル情報の差を算出するステップと、前記差に基づいて前記ＣＮＮ基盤インループフィルタの加重値を補正するステップと、を含み、前記予測映像は、前記オリジナル映像と前記復元情報に基づいて生成される。【0011】
前記フィルタリング情報を生成するステップは、前記残差映像を変換及び量子化することによってフィルタリング情報を生成するステップを含み、前記逆フィルタリング情報を生成するステップは、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成するステップを含み得る。【0012】
前記フィルタリング情報を生成するステップは、量子化パラメータによる量子化区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記量子化区間に対する加重値を補正するステップを含み得る。【0013】
前記フィルタリング情報を生成するステップは、歪曲値による歪曲値区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記歪曲値区間に対する加重値を補正するステップを含み得る。【0014】
前記フィルタリング情報を生成するステップは、映像特性のテクスチャ複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記テクスチャ複雑度区間に対する加重値を補正するステップを含み得る。【0015】
前記フィルタリング情報を生成するステップは、映像特性の動き複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記動き複雑度区間に対する加重値を補正するステップを含み得る。【0016】
前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、前記復元情報は、前記オリジナル映像のような形式であり得る。【0017】
前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含み得る。【0018】
前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、前記復元情報は、前記残差映像のような形式であり得る。【0019】
前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含み得る。【0020】
一実施形態に係る符号化装置は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するフィルタリング部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、前記フィルタリング情報と前記予測映像の情報に基づいて符号化を行う符号化部とを含む。【0021】
前記フィルタリング部は、前記残差映像を変換及び量子化することによってフィルタリング情報を生成し、前記逆フィルタリング部は、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成し得る。前記復元情報は、前記オリジナル映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。
【0022】
前記装置は、前記予測情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【0023】
前記インループフィルタは、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含み得る。【0024】
前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。前記装置は、前記予測情報にインループフィルタリングを行うインループフィルタをさらに含み得る。
【0025】
前記装置は、前記復元情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【0026】
一実施形態に係る復号化装置は、符号化されたビットストリーム情報に復号化を行ってフィルタリング情報と予備予測情報を出力するエントロピー復号化部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記予備予測情報に基づいて予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて復元情報を出力するＣＮＮ基盤インループフィルタとを含む。【0027】
前記復元情報は、前記オリジナル映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。【0028】
前記装置は、前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【0029】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【0030】
前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。【0031】
前記装置は、前記復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含み得る。【0032】
前記装置は、前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【0033】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【0034】
前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報を前記ＣＮＮ基盤インループフィルタに入力することによって残差復元情報を生成し得る。【0035】
前記装置は、前記残差復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含み得る。【0036】
前記最終復元情報にインループフィルタリングを行うインループフィルタをさらに含み得る。【0037】
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【図面の簡単な説明】
【0038】
【図1】符号化装置及び／又は復号化装置を用いるシステムの一例を説明するための図である。
【図2A】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の一例を示す。
【図3】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図4】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図5】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図6】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図7】一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
【図8A】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の一例を示す。
【図9】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図10】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図11】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図12】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図13】一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
【図14】一実施形態に係るＣＮＮ基盤インループフィルタの構造を説明するための図である。
【図15】一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の一例である。
【図16】一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の他の例である。
【図17】一実施形態に係るＣＮＮ基盤インループフィルタの訓練方法を説明するための図面の一例である。
【図18】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【図19】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【図20】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【図21】一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
【発明を実施するための形態】
【0039】
本明細書に開示されている本発明の概念による実施形態について、特定の構造的又は機能的説明は、単に、本発明の概念による実施形態を説明するための目的として例示されたものであり、本発明の概念による実施形態は、様々な形態に実施され、本明細書に説明された実施形態に限定されることはない。【0040】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。【0041】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。【0042】
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。一方、いずれかの構成要素が他の構成要素に「直接連結」されているか「直接接続」されていると言及されたときには、中間に他の構成要素が存在しないものと理解されなければならない。構成要素間の関係を説明する表現、例えば「〜間に」と「直ちに〜の間に」又は「〜に直接隣接する」なども同様に解釈されなければならない。【0043】
本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。【0044】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。【0045】
以下、実施形態を添付の図面を参照して詳説する。添付図面を参照して説明することにおいて、図面符号に関わらず同じ構成要素は同じ参照符号を付与し、これに関する重複説明は省略することにする。【0046】
図１は、符号化装置及び／又は復号化装置を用いるシステムの一例を説明するための図である。【0047】
図１を参照すると、符号化装置及び／又は復号化装置を用いるシステム１０は、ユーザ端末１１とサーバ端末１２を含む。ユーザ端末１１は電子装置を含み得る。電子装置は、パーソナルコンピュータ（ＰＣ）、データサーバ、テレビ（ＴＶ）、又は携帯用装置に具現され得る。【0048】
携帯用装置は、ラップトップコンピュータ、移動電話機、スマートフォン、タブレットＰＣ、モバイルインターネットデバイス（ＭＩＤ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチールカメラ、デジタルビデオカメラ、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ＰＳＰ（ｐｌａｙｓｔａｔｉｏｎ ｐｏｒｔａｂｌｅ）、ＰＮＤ（ｐｅｒｓｏｎａｌ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ）又はｐｏｒｔａｂｌｅ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ、携帯用ゲームコンソール、無線通信端末、ｅブック（ｅ−ｂｏｏｋ）、又はスマートデバイスに具現される。【0049】
サーバ端末１２は、応用サーバ又はサービスサーバなどを含む。【0050】
ユーザ端末１１とサーバ端末１２は、各種の機器又は有無線通信網と通信を行うための通信モデムなどの通信装置、映像を符号化又は復号化したり、符号化及び復号化のために画面間（ｉｎｔｅｒ）又は画面内（ｉｎｔｒａ）の予測をするための各種のプログラムとデータを格納するためのメモリ１８、プログラムを実行して演算及び制御するためのプロセッサ１４などを備える様々な装置を含む。【0051】
また、ユーザ端末１１とサーバ端末１２は、符号化装置によってビットストリームで符号化された映像を映像復号化装置に送信する。例えば、ユーザ端末１１とサーバ端末１２は、リアルタイム又は非リアルタイムに符号化された映像を映像復号化装置に送信する。【0052】
ユーザ端末１１とサーバ端末１２は、有無線通信網又は様々な通信インターフェースを介して符号化された映像を映像復号化装置に送信する。例えば、有無線通信網は、インターネット、近距離無線通信網、無線ＬＡＮ網、ワイヤレスブロードバンド網、又は移動通信網などであり得る。通信インターフェースは、ケーブル又は汎用直列バス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ））などを含み得る。【0053】
また、符号化装置によってビットストリームで符号化された映像は、コンピュータで読み出し可能な記録媒体を介して符号化装置から復号化装置に伝達されてもよい。【0054】
復号化装置は、符号化された映像を復号化して復元された映像を再生する。【0055】
符号化装置と復号化装置は、それぞれ別途の装置であってもよいが、具現に応じて１つの符号化及び復号化装置に製造されてもよい。１つの符号化及び復号化装置の場合、符号化装置の予測部、逆量子化部、逆変換部、加算部、フィルタ部、及びＤＰＢは記載された順に復号化装置の予測部、逆量子化部、逆変換部、加算部、フィルタ部、及びＤＰＢと実質的に同じ技術要素として、少なくとも同じ構造を含んだり、少なくとも同じ機能を行うよう具現され得る。また、エントロピー符号化部はその機能を逆に行うときエントロピー復号化部に対応する。【0056】
したがって、以下の技術要素とその作動原理などに対する詳細説明について、対応する技術要素の重複する説明は省略することにする。【0057】
また、復号化装置は、符号化装置で行われる符号化方法を復号化に適用するコンピューティング装置に対応するため、以下の説明では符号化装置を中心に説明する。符号化装置は符号化器に、復号化装置は復号化器にそれぞれ称される。【0059】
図２Ａ及び図２Ｂを参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ａ、符号化ピクチャーバッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ（ＤＰＢ））１６０、予測部、及び複数の加算器を含む。【0060】
符号化装置１００は、入力映像１１０又は入力スライス１１０に符号化（エンコーディング）を行う。例えば、符号化装置１００は、入力映像１１０又は入力スライス１１０を分割した複数のピクセルブロックｆに符号化を行う。符号化装置１００は、入力映像１１０又は入力スライス１１０を分割する分割部（図示せず）をさらに含んでもよい。分割部（図示せず）は、入力映像１１０又は入力スライス１１０を定められた大きさ（Ｍ×Ｎ）のブロックに分割する。ここで、Ｍ又はＮは、１以上の自然数であり得る。【0061】
分割部（図示せず）は、入力映像１１０又は入力スライス１１０の特性、又は解像度などに基づいてブロックの大きさ（Ｍ×Ｎ）を決定する。分割部（図示せず）は、ブロックの大きさ（Ｍ×Ｎ）を２のべき乗で決定される。分割部（図示せず）は、ブロックの大きさ（Ｍ×Ｎ）をまっ四角の形態又は長方形に決定される。例えば、分割部（図示せず）がまっ四角の形態に決定された場合、ブロックの大きさ（Ｍ×Ｎ）は２５６×２５６、１２８×１２８、６４×６４、３２×３２、１６×１６、８×８、又は４×４などであり得る。【0062】
【0063】
変換及び量子化部１２０は、残差ブロックｅにフィルタリングを行ってフィルタ【0064】
変換及び量子化部１２０は、残差ブロックｅを周波数領域に変換する。残差ブロックｅの各画素は、変換された残差ブロックの変換係数に対応する。【0065】
変換及び量子化部１２０は、変換マトリックスを用いて残差ブロックｅを変換させる。変換マトリックスは、１次元、２次元、又は３次元の変換マトリックスであってもよい。例えば、変換及び量子化部１２０は、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ（ＤＣＴ））、離散サイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ（ＤＳＴ））、水平、垂直単位などに変換マトリックスを使用する。変換及び量子化部１２０は、残差ブロックｅの大きさ、形態、種類（輝度／色差）、符号化モード、予測モード情報、量子化パラメータ、又は隣接ブロックの符号化情報などに基づいて、変換マトリックスの使用の有無を決定する。変換及び量子化部１２０は、残差ブロックｅを変換して変換ブロックＥを生成する。【0066】
変換及び量子化部１２０は、変換ブロックＥに量子化を行って量子化された残差【0067】
変換及び量子化部１２０は、量子化パラメータ（ＱＰ）に基づいて量子化を行う。変換及び量子化部１２０は、変換ブロックＥのブロック単位で量子化パラメータを決定する。量子化パラメータは、シーケンス、ピクチャー、スライス、又はブロックなどの単位で設定され得る。【0068】
変換及び量子化部１２０は、変換ブロックＥの隣接ブロックから少なくとも１つの量子化パラメータを誘導する。変換及び量子化部１２０は、少なくとも１つの量子化パラメータを用いて変換ブロックＥの量子化パラメータを予測する。例えば、変換及び量子化部１２０は、変換ブロックＥの左側、左側の上、左側の下、上側、右側の上、右側の下、下側などの隣接ブロックから少なくとも１つの量子化パラメータを誘導してもよい。変換及び量子化部１２０は、予測した量子化パラメータと隣接ブロックから誘導した量子化パラメータの差分値を算出してエントロピー符号化部１３０に送信する。【0069】
変換及び量子化部１２０が変換ブロックＥの隣接ブロックから量子化パラメータを誘導できない場合、変換及び量子化部１２０は、シーケンス、ピクチャー、スライス、又はブロックなどの単位に送信された基本パラメータに基づいて量子化パラメータを設定する。変換及び量子化部１２０は、基本パラメータと量子化パラメータの差分値を算出してエントロピー符号化部１３０に送信する。【0070】
エントロピー符号化部１３０は、エントロピー符号化を行って符号化データをビットストリームに出力する。符号化データは、量子化パラメータを符号化したビットストリームと符号化されたビットストリームを復号化するために必要な様々な情報を含む。また、符号化データは、符号化されたブロックの形態、量子化パラメータ、量子化ブロックが符号化されたビットストリーム、及び予測に必要な情報などを含んでもよい。
【0071】
【0072】
図１では、説明の便宜のために変換及び量子化部１２０が変換及び量子化を行うものと図示しているが、必ずこれに限定されることなく、残差ブロックｅを変換する変換部と、残差ブロックｅを量子化する量子化部にそれぞれ具現されてもよい。また、逆量子化及び逆変換部１４０が逆量子化及び逆変換を行うものと図示して
【0073】
【0074】
ＣＮＮ基盤インループフィルタ１５０ａは、予測情報にインループフィルタリン【0075】
ＣＮＮ基盤インループフィルタ１５０ａは、深層畳み込みニューラルネットワークを使用する。すなわち、ＣＮＮ基盤インループフィルタ１５０ａは、複数のトレーニングデータに基づいて訓練される。ＣＮＮ基盤インループフィルタ１５０ａは、任意の入力映像に対して適切な出力映像を生成するよう訓練される。【0076】
ＣＮＮ基盤インループフィルタ１５０ａは、入力レイヤ、隠れレイヤ、及び出力レイヤを含む。入力レイヤ、隠れレイヤ、及び出力レイヤはそれぞれ複数のノードを含む。【0077】
隣接するレイヤ間のノードは、連結加重値を有して互いに接続されている。各ノードは、活性化モデルに基づいて動作する。活性化モデルに応じて入力値に対応する出力値が決定される。任意のノードの出力値は、該当ノードに接続された次のレイヤのノードに入力される。次のレイヤのノードは、複数のノードから出力される値が入力される。任意のノードの出力値が次のレイヤのノードに入力される過程で、連結加重値が適用される。次のレイヤのノードは、活性化モデルに基づいて入力値に対応する出力値を、該当ノードに接続されたその次のレイヤのノードに出力する。【0078】
出力レイヤは、インループフィルタリングに対応するノードを含む。出力レイヤのノードは、インループフィルタリングを行った映像（又はブロック）に対応する特徴値を出力する。【0079】
【0080】
【0081】
【0082】
ＣＮＮ基盤インループフィルタ１５０ａの構成及び訓練方法などについては図面を参照して後述する。【0083】
【0084】
【0085】
【0086】
【0087】
予測部１７０は、フレーム内推定部１７１、動き推定部１７２、フレーム内予測部１７３、動き補償部１７４、モード決定部１７５、及び予測映像生成部１７６を含む。【0088】
フレーム内推定部１７１及び動き推定部１７２は、入力映像１１０及び（復号化【0089】
【0090】
フレーム内予測部１７３は、イントラモードで入力映像１１０及び復元ブロック【0091】
【0092】
【0093】
モード決定部１７５は、フレーム内予測部１７３及び動き補償部１７４からのデータに基づいて符号化モードを決定する。例えば、符号化モードは、イントラモード（ｉｎｔｒａ ｍｏｄｅ）、インターモード（ｉｎｔｅｒ ｍｏｄｅ）などであってもよい。【0094】
予測映像生成部１７６は、モード決定部１７５が決定した符号化モードに基づい【0095】
【0096】
図３は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。【0097】
図３を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、ＣＮＮ基盤インループフィルタ１５０ｂ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。【0098】
図３に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ１４５及びＣＮＮ基盤インループフィルタ１５０ｂについて説明する。【0099】
【0100】
インループフィルタ１４５は、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含む。【0101】
すなわち、インループフィルタ１４５が１つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち１つのフィルタに具現される。【0102】
インループフィルタ１４５が２つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）及びサンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）を含むものとして具現される。又は、インループフィルタ１４５は、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。又は、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。インループフィルタ１４５が３つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。
【0103】
サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）は、符号化ブロック単位でリンギングアーティファクト（ｒｉｎｇｉｎｇ ａｒｔｅｆａｃｔ）や画素値区間の歪曲を修正する。サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌ
【0104】
【0105】
ＣＮＮ基盤インループフィルタ１５０ｂは、予測情報にフィルタリングを行って【0106】
【0107】
【0108】
図４は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。【0109】
図４を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｃ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。【0110】
図４に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｃについて説明する。【0111】
ＣＮＮ基盤インループフィルタ１５０ｃは、予測情報にフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｃは、加算器から予備【0112】
【0113】
【0114】
【0115】
図５は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。図５を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、ＣＮＮ基盤インループフィルタ１５０ｄ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
【0116】
図５に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図３に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｄについて説明する。【0117】
ＣＮＮ基盤インループフィルタ１５０ｄは、予測情報にインループフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｄは、イン【0118】
【0119】
【0120】
【0121】
図６は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。【0122】
図６を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。【0123】
図６に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｅについて説明する。【0124】
ＣＮＮ基盤インループフィルタ１５０ｅは、予測情報にインループフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｅは、逆量【0125】
【0126】
図７は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。【0127】
図７を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、インループフィルタ１４７、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。【0128】
図７に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図６に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ１４７について説明する。【0129】
【0130】
インループフィルタ１４７は、図３を参照して前述したように、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【0132】
図８Ａ及び図８Ｂを参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ａ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。【0133】
復号化装置２００は、図２Ａ〜図７に示された符号化装置１００で行われる符号化方法を復号化に適用するコンピューティング装置に対応する。すなわち、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図２Ａに示されたエントロピー符号化部１３０、逆量子化及び逆変換部１４０、変換及び量子化部１２０、復号化ピクチャーバッファ１６０、予測部１７０、及び加算器に対応する。【0134】
エントロピー復号化部２１０は、符号化されたビットストリーム情報にパーシングを行うことによって復号化を行う。エントロピー復号化部２１０は、復号化を行ってフィルタリング情報と予備予測情報を出力する。エントロピー復号化部２１０【0135】
【0136】
【0137】
ＣＮＮ基盤インループフィルタ２３０ａは、予測情報にインループフィルタリン【0138】
図２Ａを参照して上述したように、ＣＮＮ基盤インループフィルタ２３０ａは、深層畳み込みニューラルネットワークを使用する。すなわち、ＣＮＮ基盤インループフィルタ２３０ａは、複数のトレーニングデータに基づいて訓練される。ＣＮＮ基盤インループフィルタ２３０ａは、任意の入力映像に対して適切な出力映像を生成するように訓練される。【0139】
すなわち、ＣＮＮ基盤インループフィルタ２３０ａは、入力レイヤ、隠れレイヤ、及び出力レイヤを含む。入力レイヤ、隠れレイヤ、及び出力レイヤは、それぞれ複数のノードを含む。【0140】
【0141】
【0142】
【0143】
ＣＮＮ基盤インループフィルタ２３０ａの構成及び訓練方法などについては図面を参照して後述する。【0144】
【0145】
【0146】
フレーム内予測部２５１及び動き補償部２５２は、符号化ピクチャーバッファ２
【0147】
【0148】
【0149】
予測映像生成部２５３は、フレーム内予測部２５１及び動き補償部２５２の結果【0150】
図９は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。【0151】
図９を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｂ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。図９に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ２２５及びＣＮＮ基盤インループフィルタ２３０ｂについて説明する。
【0152】
【0153】
インループフィルタ２２５は、上述したようにデブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【0154】
ＣＮＮ基盤インループフィルタ２３０ｂは、予測情報にインループフィルタリン【0155】
【0156】
【0157】
図１０は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。【0158】
図１０を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｃ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器を含む。【0159】
図１０に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｃについて説明する。【0160】
ＣＮＮ基盤インループフィルタ２３０ｃは、予測情報にインループフィルタリン【0161】
【0162】
【0163】
【0164】
図１１は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。【0165】
図１１を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｄ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器を含む。【0166】
図１１に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｄ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図９に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｄについて説明する。【0167】
ＣＮＮ基盤インループフィルタ２３０ｄは、予測情報にインループフィルタリン【0168】
【0169】
【0170】
【0171】
図１２は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。【0172】
図１２を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。【0173】
図１２に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｅについて説明する。【0174】
ＣＮＮ基盤インループフィルタ２３０ｅは、予測情報にインループフィルタリン【0175】
【0176】
【0177】
【0178】
図１３は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。【0179】
図１３を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、インループフィルタ２２７、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。【0180】
図１３に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図１２に示された復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ２２７について説明する。【0181】
【0182】
インループフィルタ２２７は、図９を参照して上述したように、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。【0183】
図１４は、一実施形態に係るＣＮＮ基盤インループフィルタの構造を説明するための図である。【0184】
図１４を参照すると、ＣＮＮ基盤インループフィルタ１５０は、入力レイヤ１５１、隠れレイヤ１５２、及び出力レイヤ１５３を含む。【0185】
入力レイヤ１５１は、入力映像を受信する。入力映像は、劣化された復元映像を含む。例えば、入力レイヤ１５１には、逆量子化及び逆変換部１４０によって逆量子化及び逆変換が実行された復元映像が入力されてもよい。入力映像は、ブロック境界の歪曲、リンギングアーティファクト及び高周波ブラーリング歪曲を含む。復元映像は劣化現象を含む。【0186】
入力レイヤ１５１は、入力映像にイメージパッチを行って隠れレイヤ１５３に抽出する。例えば、入力レイヤ１５１は、入力映像をｆ１×ｆ１の大きさにイメージパッチを行ってもよい。【0187】
隠れレイヤ１５２は、非線型マッピング（ｎｏｎ−ｌｉｎｅａｒ ｍａｐｐｉｎｇ）を行う。隠れレイヤ１５２は、Ｎ個の畳み込みレイヤを含む。ここで、第１畳み込みレイヤ１５２−１から第Ｎ畳み込みレイヤ１５２−Ｎに進行するほど映像の画質は向上し得る。【0188】
ＣＮＮ基盤インループフィルタ１５０は、隠れレイヤ１５２、出力レイヤ１５３、及び損失関数を介してＣＮＮ基盤インループフィルタの訓練が行われる。第１畳み込みレイヤ１５２−１は数式（１）に対応する。
【0189】
【数1】
【0190】
第２畳み込みレイヤは数式（２）に対応する。【0191】
【数2】
【0192】
同じ原理で、第Ｎ畳み込みレイヤ１５２−Ｎは数式（３）に対応する。【0193】
【数3】
【0194】
すなわち、隠れレイヤ１５２は、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）関数を用いて訓練の効率及び速度を高めることができる。出力レイヤ１５３は数式（４）に対応する。
【0195】
【数4】
【0196】
出力レイヤ１５３は、フィルタリングされて画質の向上した出力映像を出力できる。損失関数は数式（５）に対応する。
【0197】
【数5】
【0198】
ＣＮＮ基盤インループフィルタ１５０は、損失関数を介してフィルタリングエラーを最小化するように訓練される。【0199】
図１５は、一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の一例である。【0200】
図１５を参照すると、ＣＮＮ基盤インループフィルタ１５０は、量子化区間ごとに訓練を行う。ＣＮＮ基盤インループフィルタ１５０は、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ（ＱＰ））により歪曲値の異なる復元映像を処理し得る。ここで、ＣＮＮ基盤インループフィルタ１５０は、量子化区間ごとに訓練を行って効果的なフィルタリングを行うことができる。【0201】
量子化パラメータ（ＱＰ）は、０以上５１以下の値であってもよい。各量子化区間は、少なくとも１つの量子化パラメータ（ＱＰ）を含む。ここで、複数の量子化区間が共通として含む量子化パラメータ（ＱＰ）もあり得る。例えば、第１区間と第２区間は、量子化パラメータ（ＱＰ）５を共通として含んでもよい。【0202】
符号化装置１００で符号化時に使用された量子化パラメータ（ＱＰ）は、復号化装置２００で確認できる値であり、符号化装置１００は、符号化時に使用された量子化パラメータ（ＱＰ）を復号化装置２００に送信しなくてもよい。ここで、符号化装置１００は、オーバーヘッドが発生せず、符号化の効率を高めることができる。【0203】
符号化装置１００は、第Ｎ区間の量子化パラメータ（ＱＰ）を用いて復元訓練映像３００を生成する。符号化装置１００は、復元訓練映像３００をＣＮＮ基盤インループフィルタ１５０に送信する。【0204】
ＣＮＮ基盤インループフィルタ１５０は、復元訓練映像３００にフィルタリングを行って出力映像を生成して加算器に送信する。【0205】
加算器は、出力映像及びオリジナル入力訓練映像４００を差分してＣＮＮ基盤インループフィルタ１５０に送信する。【0206】
ＣＮＮ基盤インループフィルタ１５０は、差分に基づいて隠れレイヤ１５２の加重値を調整する。例えば、ＣＮＮ基盤インループフィルタ１５０は、出力映像と入力訓練映像４００の差がないように加重値を調整し得る。ここで、ＣＮＮ基盤インループフィルタ１５０の加重値を補正するための学習は、バックプロパゲーション（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）方法を用いてもよい。【0207】
復元訓練映像３００及び入力訓練映像４００は、様々な実施形態に具現され得る。すなわち、ＣＮＮ基盤インループフィルタ１５０は、数多い訓練方法が存在する。ＣＮＮ基盤インループフィルタ１５０は、訓練方法によって相違に動作得る。【0208】
一例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリング適用前の復元映像であってもよい。ＣＮＮ基盤インループフィルタ１５０は、フィルタリング適用前の復元映像にフィルタリングを行って入力訓練映像４００に近い出力映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図２Ａに示されたＣＮＮ基盤インループフィルタ１５０ａとして動作し得る。【0209】
他の例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリングが適用された映像であってもよい。すなわち、ＣＮＮ基盤インループフィルタ１５０は、フィルタリングが適用された映像にフィルタリングを行ってオリジナル入力訓練映像４００にさらに近い出力映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図３に示されたＣＮＮ基盤インループフィルタ１５０ｂとして動作し得る。【0210】
他の例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリングが適用された映像であり、入力訓練映像４００は残差映像ｅであってもよい。ここで、ＣＮＮ基盤インループフィルタ１５０は、フィルタリングが適用された映像にフィルタリングを適用して残差映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図５に示されたＣＮＮ基盤インループフィルタ１５０ｄとして動作し得る。【0211】
図１６は、一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の他の例である。【0212】
図１６を参照すると、ＣＮＮ基盤インループフィルタ１５０は、歪曲値区間ごとに訓練を行う。ＣＮＮ基盤インループフィルタ１５０は、量子化パラメータ（ＱＰ）により歪曲値が互いに異なり得る。ここで、ＣＮＮ基盤インループフィルタ１５０は、歪曲値区間ごとに訓練を行って効果的なフィルタリングを行うことができる。符号化装置１００で符号化時に使用された歪曲値区間は、復号化装置２００で確認できる値であり、符号化装置１００は、符号化時に使用されたインデックスを復号化装置２００に送信しなくてもよい。ここで、符号化装置１００はオーバーヘッドが発生せず、符号化の効率を高めることができる。
【0213】
歪曲値は、入力訓練映像６００及び復元訓練映像の差である。【0214】
符号化装置１００は、第Ｎ区間の歪曲値に属する復元訓練映像５００を生成する。符号化装置１００は、復元訓練映像５００をＣＮＮ基盤インループフィルタ１５０に送信する。【0215】
ＣＮＮ基盤インループフィルタ１５０は、復元訓練映像５００にフィルタリングを行って出力映像を生成して加算器に送信する。加算器は、出力映像及びオリジナル入力訓練映像６００を差分してＣＮＮ基盤インループフィルタ１５０に送信する。【0216】
ＣＮＮ基盤インループフィルタ１５０は、差分に基づいて隠れレイヤ１５２の加重値を調整する。例えば、ＣＮＮ基盤インループフィルタ１５０は、出力映像と入力訓練映像６００の差がないように加重値を調整し得る。ここで、ＣＮＮ基盤インループフィルタ１５０の加重値を補正するための学習は、バックプロパゲーション方法を用いてもよい。【0217】
復元訓練映像５００は残差映像であってもよい。残差映像は、残差映像に変換及び量子化を行い、再び逆量子化及び逆変換を行った映像である。入力訓練映像６００は残差映像であってもよい。残差映像は、入力映像と復元映像を差分した映像である。復元映像は、インループフィルタリングが適用された映像であるか、又はインループフィルタリングが適用されていない映像である。
すなわち、ＣＮＮ基盤インループフィルタ１５０は、残差映像にフィルタリングを行って残差映像に近い出力映像を生成し得る。この場合、ＣＮＮ基盤インループフィルタ１５０は、図６に示されたＣＮＮ基盤インループフィルタ１５０ｅとして動作し得る。
【0218】
また、ＣＮＮ基盤インループフィルタ１５０は、映像のスライスタイプごとにフィルタリングを行う。以下は、ＣＮＮ基盤インループフィルタ１５０がスライスタイプごとにフィルタリングを行う動作について説明する。【0219】
図１７は、一実施形態に係るＣＮＮ基盤インループフィルタの訓練方法を説明するための図面の一例である。【0220】
図１７を参照すると、ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造（ｌｏｗ ｄｅｌａｙ ｃｏｎｆｉｇｕｒａｔｉｏｎ）の符号化又は復号化過程で複数の映像にフィルタリングを行う。【0221】
複数の映像のスライスタイプは、イントラスライス（ｉｎｔｒａ ｓｌｉｃｅ（Ｉ ｓｌｉｃｅ））、又は予測スライス（ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ（Ｐ ｓｌｉｃｅ））であり得る。【0222】
イントラスライスの映像７００−１及び７００−Ｎは画面内予測を行う。予測スライスの映像７００−２〜７００−４は画面間予測を行う。【0223】
例えば、予測スライスの映像７００−２は、イントラスライスの映像７００−１を参照して映像を予測する。予測スライスの映像７００−３は、イントラスライスの映像７００−１及び予測スライスの映像７００−２を参照して映像を予測する。予測スライスの映像７００−４は、イントラスライスの映像７００−１及び予測スライスの映像７００−２〜７００−３を参照して映像を予測する。【0224】
ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像７００−１及び７００−Ｎにフィルタリングを行い、歪曲の少ない映像を持続的に提供できる。ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像７００−１及び７００−Ｎを周期的に提供できる。【0225】
図１８は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。【0226】
図１８を参照すると、ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造の符号化又は復号化過程で複数の映像８００−１〜８００−３、８００−５、及び８００−５に選択的にフィルタリングを行う。【0227】
複数の映像８００−１〜８００−３、８００−５、及び８００−５のスライスタイプは、イントラスライス（Ｉ ｓｌｉｃｅ）、又は予測スライス（Ｐ ｓｌｉｃｅ）である。【0228】
イントラスライスの映像８００−１は、画面内予測を行う。予測スライスの映像８００−２、８００−３、８００−５、及び８００−７は画面間予測を行う。例えば、予測スライスの映像８００−２は、イントラスライスの映像８００−１を参照して映像を予測する。予測スライスの映像８００−３は、イントラスライスの映像７００−１及び予測スライスの映像８００−２を参照して映像を予測する。同じ原理で、予測スライスの映像８００−５及び８００−７は、以前のスライスの映像を参照して映像を予測する。
【0229】
ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像８００−１及び予測スライスの映像８００−３、８００−５、及び８００−７にフィルタリングを行い、歪曲の少ない映像を持続的に提供できる。ＣＮＮ基盤インループフィルタ１５０は、周期的又は選択的にフィルタリングを行って予測スライスの映像８００−３、８００−５、及び８００−７を提供できる。【0230】
ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（ＣＴＵ））、又は符号化ブロックごとに（Ｃｏｄｉｎｇ Ｕｎｉｔ（ＣＵ））、又は指定された映像領域ごとに選択的に適用し得る。【0231】
図１９は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。【0232】
図１９を参照すると、ＣＮＮ基盤インループフィルタ１５０は、全画面内の構造の符号化、又は復号化過程で複数の映像９００−１〜９００−Ｎにフィルタリングを行う。【0233】
複数の映像９００−１〜９００−Ｎのスライスタイプは、イントラスライス（Ｉ ｓｌｉｃｅ）であり得る。【0234】
イントラスライスの映像９００−１〜９００−Ｎは画面内予測を行う。すなわち、イントラスライスの映像９００−１〜９００−Ｎの歪曲値は他の映像に伝達されず、ＣＮＮ基盤インループフィルタ１５０は、全てのイントラスライスの映像９００−１〜９００−Ｎをフィルタリングして高画質の映像を提供することができる。ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（ＣＴＵ）、又は符号化ブロックごとに（ＣＵ）、又は指定された映像領域ごとに選択的に適用し得る。
【0235】
図２０は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例であり、図２１は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。【0236】
図２０及び図２１を参照すると、ＣＮＮ基盤インループフィルタ１５０は、階層的なＢ画面の構造（ｈｉｅｒａｒｃｈｉｃａｌ Ｂ−ｐｉｃｔｕｒｅ ｃｏｎｆｉｇｕｒａｔｉｏｎ）の符号化又は復号化過程で、複数の映像１０１０−１〜１０１０−３、１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４にフィルタリングを行う。【0237】
階層的なＢ画面の構造は、第１階層ないし第４階層を含む。【0238】
第１階層映像１０１０−１〜１０１０−３のスライスタイプは、イントラスライス（Ｉ ｓｌｉｃｅ）又は予測スライス（Ｐ ｓｌｉｃｅ）であり得る。イントラスライスの映像１０１０−１〜１０１０−３は、画面内予測を行う。【0239】
第２階層ないし第４階層映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４のスライスタイプは、両側の予測スライス（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ（Ｂ ｓｌｉｃｅ））であり得る。両側の予測スライス（Ｂ ｓｌｉｃｅ）の映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４は、下の階層の映像を参照して映像を予測する。ここで、両側の予測スライス（Ｂ ｓｌｉｃｅ）の映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４は、下の階層が以前の映像（前）であっても、又は、以後の映像（後）であっても全て参照できる。例えば、第２階層の映像１０２０−１は、第１階層の映像１０１０−１及び１０１０−２を参照してもよい。第２階層の映像１０２０−２は、第１階層の映像１０１０−２及び１０１０−３を参照してもよい。【0240】
同じ原理で、第４階層の映像１０４０−１は第３階層の映像１０３０−１及び第１階層の映像１０１０−１を参照し、第４階層の映像１０４０−３は第２階層の映像１０２０−１及び第３階層の映像１０３０−２を参照してもよい。【0241】
ＣＮＮ基盤インループフィルタ１５０は、特定の階層を選択してフィルタリングを行う。一例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３にフィルタリングを行ってもよい。【0242】
他の例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３及び２階層の映像１０２０−１及び１０２０−２にフィルタリングを行ってもよい。ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３及び２階層の映像１０２０−１及び１０２０−２にフィルタリングを行う動作については図２０に示す通りである。【0243】
他の例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１１１０−１〜１１１０−３、２階層の映像１１２０−１及び１１２０−２、及び第３階層の映像１１３０−１〜１１３０−４にフィルタリングを行ってもよい。ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１１１０−１〜１１１０−３、２階層の映像１１２０−１及び１１２０−２、及び第３階層の映像１１３０−１〜１１３０−４にフィルタリングを行う動作については図２１に示す通りである。【0244】
ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（ＣＴＵ）、又は符号化ブロックごとに（ＣＵ）、又は指定された映像領域ごとに選択的に適用し得る。【0245】
ＣＮＮ基盤インループフィルタ１５０は、映像内の特定領域にフィルタリングを適用する。例えば、ＣＮＮ基盤インループフィルタ１５０は、映像を複数の領域に分割し、複数の領域のうちの一部の領域だけを選択してフィルタリングを適用する。ここで、ＣＮＮ基盤インループフィルタ１５０は、一部の領域にフィルタリング適用の有無をシグナリングし得る。【0246】
また、ＣＮＮ基盤インループフィルタ１５０は、映像内の動きの量とテクスチャの複雑度のうち少なくとも１つに基づいてフィルタリングを適用し得る。【0247】
以上で前述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。【0248】
ソフトウェアはコンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。【0249】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。【0250】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。【0251】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。