ホーム > 特許ランキング > 財團法人工業技術研究院
知財求人 - 知財ポータルサイト「IP Force」
特開2020-14198ビデオコンテンツ符号化における複数参照ラインのイントラ予測に応用する適応フィルタリング方法、それを用いたビデオ符号化デバイスおよびビデオ復号化デバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-14198(P2020-14198A)
(43)【公開日】2020年1月23日
(54)【発明の名称】ビデオコンテンツ符号化における複数参照ラインのイントラ予測に応用する適応フィルタリング方法、それを用いたビデオ符号化デバイスおよびビデオ復号化デバイス
(51)【国際特許分類】
H04N 19/117 20140101AFI20191220BHJP
H04N 19/136 20140101ALI20191220BHJP
H04N 19/176 20140101ALI20191220BHJP
H04N 19/46 20140101ALI20191220BHJP
【ＦＩ】
H04N19/117
H04N19/136
H04N19/176
H04N19/46
【審査請求】有
【請求項の数】21
【出願形態】ＯＬ
【外国語出願】
【全頁数】30
(21)【出願番号】特願2019-121664(P2019-121664)
(22)【出願日】2019年6月28日
(31)【優先権主張番号】62/691,729
(32)【優先日】2018年6月29日
(33)【優先権主張国】US
(31)【優先権主張番号】62/727,595
(32)【優先日】2018年9月6日
(33)【優先権主張国】US
(71)【出願人】
【識別番号】390023582
【氏名又は名称】財團法人工業技術研究院
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100134577
【弁理士】
【氏名又は名称】石川 雅章
(72)【発明者】
【氏名】林 敬傑
(72)【発明者】
【氏名】林 俊隆
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159RC12
5C159TA69
5C159TB08
5C159TC02
5C159TC42
(57)【要約】
【課題】ビデオコンテンツ符号化における複数参照ラインのイントラ予測に応用する適応フィルタリング方法、それを用いたビデオ符号化デバイスおよびビデオ復号化デバイスを提供する。【解決手段】ビデオコンテンツ符号化におけるイントラ予測方法において、適応フィルタリング方法をフィルタリングの動的決定操作に使用して、イントラ予測において入力サンプルに適用するかどうかを決定することにより、複数参照ラインを使用してイントラ予測の操作を行う場合に、ビデオコンテンツ符号化におけるイントラ予測の複雑度を下げることができ、超高解像度映画の圧縮効率も上げることができる。
【選択図】なし
【特許請求の範囲】
【請求項1】
インデックスを受信するとともに、前記インデックスに基づいてフィルタ選択を行い、前記インデックスに対応するフィルタインデックス（filter index）を生成することと、
前記フィルタインデックス（filter index）に基づいて対応するフィルタを選択するとともに、前記フィルタを使用して入力サンプルに対しフィルタリング操作を行い、フィルタリングされたサンプルを生成して出力する、あるいは前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することと、
を含むイントラ予測（intra prediction）の適応フィルタリング方法。
前記フィルタインデックス（filter index）に基づいて対応するフィルタを選択するとともに、前記フィルタを使用して入力サンプルに対しフィルタリング操作を行い、フィルタリングされたサンプルを生成して出力する、あるいは前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することと、
を含むイントラ予測（intra prediction）の適応フィルタリング方法。
【請求項2】
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）が、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１に記載の方法。
【請求項3】
前記複数参照ライン（ＭＲＬ）を使用する映像サンプルが、統合参照層（ＣＴ）または複数の参照層（ＲＴ）の映像サンプルまたはその組み合わせを含む請求項２に記載の方法。
【請求項4】
前記フィルタインデックス（filter index）が、対応する前記フィルタを選択して、参照サンプル平滑化フィルタリング（ＲＳＦ）を行い、
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）が、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１に記載の方法。
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）が、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１に記載の方法。
【請求項5】
前記フィルタインデックス（filter index）が、さらに、対応する前記フィルタを選択して、境界フィルタリング（boundary filtering）を行い、
前記インデックスが前記近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが前記複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）が、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項４に記載の方法。
前記インデックスが前記近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが前記複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）が、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項４に記載の方法。
【請求項6】
前記フィルタインデックス（filter index）が、対応する前記フィルタを選択して、境界フィルタリング（boundary filtering）を行い、
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）が、前記入力サンプルに対し、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１に記載の方法。
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）が、前記入力サンプルに対し、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１に記載の方法。
【請求項7】
入力サンプルを受信することと、
インデックスに基づいて、前記入力サンプルに対して参照サンプルを行い、参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行うことと、
を含み、前記インデックスが近隣参照層の映像サンプルを使用することを示す時、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後にフィルタリングされたサンプルとして出力し、前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用することを示す時、前記入力サンプルに対し、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力し、
前記フィルタリングされたサンプルに対して、イントラ予測を行う適応フィルタリングを有するイントラ予測（intra prediction）方法。
インデックスに基づいて、前記入力サンプルに対して参照サンプルを行い、参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行うことと、
を含み、前記インデックスが近隣参照層の映像サンプルを使用することを示す時、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後にフィルタリングされたサンプルとして出力し、前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用することを示す時、前記入力サンプルに対し、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力し、
前記フィルタリングされたサンプルに対して、イントラ予測を行う適応フィルタリングを有するイントラ予測（intra prediction）方法。
【請求項8】
前記複数参照ライン（ＭＲＬ）を使用する映像サンプルが、統合参照層（ＣＴ）または複数の参照層（ＲＴ）の映像サンプルを含む請求項７に記載の方法。
【請求項9】
前記フィルタリングされたサンプルに対してイントラ予測を行った後に複数の予測値を出力して境界フィルタリング（boundary filtering）を行うことをさらに含み、
前記インデックスが前記近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記予測値に対して境界フィルタリング（boundary filtering）操作を行った後に出力し、
前記インデックスが前記複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）操作が、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力する請求項７に記載の方法。
前記インデックスが前記近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記予測値に対して境界フィルタリング（boundary filtering）操作を行った後に出力し、
前記インデックスが前記複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記フィルタインデックス（filter index）操作が、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力する請求項７に記載の方法。
【請求項10】
複数のコマンドおよびデータを保存するためのメモリと、
前記コマンドおよび前記データにアクセスし、設定により前記コマンドを実行するためのプロセッサと、
を含み、前記プロセッサが、インデックスを受信して、前記インデックスに基づいてフィルタ選択を行い、前記インデックスに対応するフィルタインデックス（filter index）を生成し、
前記プロセッサが、前記フィルタインデックス（filter index）に基づいて対応するフィルタを選択するとともに、前記フィルタを使用して入力サンプルに対しフィルタリング操作を行い、フィルタリングされたサンプルを生成して出力する、あるいは前記入力サンプルを直接前記フィルタリングされたサンプルとして出力するビデオ符号化デバイス。
前記コマンドおよび前記データにアクセスし、設定により前記コマンドを実行するためのプロセッサと、
を含み、前記プロセッサが、インデックスを受信して、前記インデックスに基づいてフィルタ選択を行い、前記インデックスに対応するフィルタインデックス（filter index）を生成し、
前記プロセッサが、前記フィルタインデックス（filter index）に基づいて対応するフィルタを選択するとともに、前記フィルタを使用して入力サンプルに対しフィルタリング操作を行い、フィルタリングされたサンプルを生成して出力する、あるいは前記入力サンプルを直接前記フィルタリングされたサンプルとして出力するビデオ符号化デバイス。
【請求項11】
前記プロセッサが、前記インデックスに基づいて、複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１０に記載のビデオ符号化デバイス。
【請求項12】
前記複数参照ライン（ＭＲＬ）を使用する映像サンプルが、統合参照層（ＣＴ）または複数の参照層（ＲＴ）の映像サンプルを含む請求項１１に記載のビデオ符号化デバイス。
【請求項13】
前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、対応する前記フィルタを選択して参照サンプル平滑化フィルタリング（ＲＳＦ）を行い、
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１１に記載のビデオ符号化デバイス。
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１１に記載のビデオ符号化デバイス。
【請求項14】
前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、さらに、対応する前記フィルタを選択して境界フィルタリング（boundary filtering）を行い、
前記インデックスが前記近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが前記複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１３に記載のビデオ符号化デバイス。
前記インデックスが前記近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが前記複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１３に記載のビデオ符号化デバイス。
【請求項15】
前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、対応する前記フィルタを選択して境界フィルタリング（boundary filtering）を行い、
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１１に記載のビデオ符号化デバイス。
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記プロセッサが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１１に記載のビデオ符号化デバイス。
【請求項16】
入力画像データと予測値を受信して、計算後に残余値を生成する加算器と、
前記残余値を変換した後に量子化を行ってデータにする変換量子化ユニットと、
前記データを圧縮後の映像データに処理して出力するエントロピー符号化ユニットと、
前記データをビデオ復号化後の画像データに還元する逆量子化逆変換ユニットと、
前記入力画像データおよび前記ビデオ復号化後の画像データを受信して、前記予測値を生成するために使用され、イントラ予測ユニットを含む予測ユニットと、
を含み、前記イントラ予測ユニットが、インデックスを受信するために設定され、前記インデックスに基づいてフィルタ選択を行い、前記インデックスに対応するフィルタインデックス（filter index）を生成するとともに、前記フィルタインデックス（filter index）に基づいて、対応するフィルタを選択してフィルタリング操作を行う、あるいは前記入力サンプルを直接前記フィルタリングされたサンプルとして出力するビデオ符号化デバイス。
前記残余値を変換した後に量子化を行ってデータにする変換量子化ユニットと、
前記データを圧縮後の映像データに処理して出力するエントロピー符号化ユニットと、
前記データをビデオ復号化後の画像データに還元する逆量子化逆変換ユニットと、
前記入力画像データおよび前記ビデオ復号化後の画像データを受信して、前記予測値を生成するために使用され、イントラ予測ユニットを含む予測ユニットと、
を含み、前記イントラ予測ユニットが、インデックスを受信するために設定され、前記インデックスに基づいてフィルタ選択を行い、前記インデックスに対応するフィルタインデックス（filter index）を生成するとともに、前記フィルタインデックス（filter index）に基づいて、対応するフィルタを選択してフィルタリング操作を行う、あるいは前記入力サンプルを直接前記フィルタリングされたサンプルとして出力するビデオ符号化デバイス。
【請求項17】
前記イントラ予測ユニットが、前記インデックスに基づいて、複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力する請求項１６に記載のビデオ符号化デバイス。
【請求項18】
前記イントラ予測ユニットが、前記フィルタインデックス（filter index）に基づいて、対応する前記フィルタを選択して参照サンプル平滑化フィルタリング（ＲＳＦ）を行い、
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１６に記載のビデオ符号化デバイス。
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１６に記載のビデオ符号化デバイス。
【請求項19】
前記イントラ予測ユニットが、前記インデックスに基づいて、対応する前記フィルタを選択して境界フィルタリング（boundary filtering）を行うために設定され、
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１６に記載のビデオ符号化デバイス。
前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後に前記フィルタリングされたサンプルを出力し、
前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記フィルタインデックス（filter index）に基づいて、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す請求項１６に記載のビデオ符号化デバイス。
【請求項20】
圧縮後の映像データを保存するためのメモリと、
前記圧縮後の映像データに対し、エントロピー符号化構文要素に基づいてエントロピー復号化を行い、ビットストリームを取得するエントロピー復号化ユニットと、
前記エントロピー復号化ユニットに結合された予測処理ユニットと、
前記エントロピー復号化ユニットに結合された逆量子化ユニットと、
前記逆量子化ユニットに結合された逆変換処理ユニットと、
前記逆変換処理ユニットおよび前記予測処理ユニットに結合された再構築ユニットと、
前記再構築ユニットおよび前記予測処理ユニットに結合されたフィルタユニットと、
を含み、前記予測処理ユニット、逆量子化ユニット、逆変換処理ユニット、再構築ユニット、およびフィルタユニットが、前記ビットストリームから取り出した構文要素に基づいて、復号化されたビデオデータを生成し、前記予測処理ユニットが、インデックスを取得するために設定され、前記インデックスから、前記復号化されたビデオデータが参照サンプル平滑化フィルタリング（ＲＳＦ）操作および／または境界フィルタリング（boundary filtering）操作を既に行ったかどうかを確認するビデオ復号化デバイス。
前記圧縮後の映像データに対し、エントロピー符号化構文要素に基づいてエントロピー復号化を行い、ビットストリームを取得するエントロピー復号化ユニットと、
前記エントロピー復号化ユニットに結合された予測処理ユニットと、
前記エントロピー復号化ユニットに結合された逆量子化ユニットと、
前記逆量子化ユニットに結合された逆変換処理ユニットと、
前記逆変換処理ユニットおよび前記予測処理ユニットに結合された再構築ユニットと、
前記再構築ユニットおよび前記予測処理ユニットに結合されたフィルタユニットと、
を含み、前記予測処理ユニット、逆量子化ユニット、逆変換処理ユニット、再構築ユニット、およびフィルタユニットが、前記ビットストリームから取り出した構文要素に基づいて、復号化されたビデオデータを生成し、前記予測処理ユニットが、インデックスを取得するために設定され、前記インデックスから、前記復号化されたビデオデータが参照サンプル平滑化フィルタリング（ＲＳＦ）操作および／または境界フィルタリング（boundary filtering）操作を既に行ったかどうかを確認するビデオ復号化デバイス。
【請求項21】
前記予測処理ユニットが、前記インデックスに基づいて、複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、前記イントラ予測ユニットが、前記フィルタインデックス（filter index）に基づいて、前記復号化されたビデオデータが参照サンプル平滑化フィルタリング（ＲＳＦ）操作および／または境界フィルタリング（boundary filtering）操作をまだ行っていないものと認定する請求項２０に記載のビデオ復号化デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオコンテンツ符号化における複数参照ライン（multiple reference line, MRL）のイントラ予測に応用する適応フィルタリング（adaptive filtering）方法、それを用いたビデオ符号化デバイスおよびビデオ復号化デバイスに関するものである。
【背景技術】
【0002】
大量のビデオデータを必要とするアプリケーション、例えば、デジタルテレビ、デジタル直接放送システム、無線放送システム、パーソナルデジタルアシスタント（personal digital assistant, PDA）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話（いわゆる「スマートフォン」）、ビデオ会議デバイス、ビデオストリーミングデバイス、およびそれに類似するデバイス等がますます広まっている。帯域幅容量が制限された通信ネットワークにデータを転送または伝送する時、難度を増加させる可能性がある。したがって、現代の電気通信ネットワークにビデオデータを伝送する前に、通常、ビデオデータを圧縮する。ビデオデータを記憶装置に保存する時、メモリ資源には制限があるため、ビデオのサイズも問題になる可能性がある。ビデオデータを転送または保存する前に、ビデオ圧縮設備は、常に、ビデオデータのソースにおいてソフトウェアおよび／またはハードウェアを使用してビデオデータを符号化し、それによりデジタルビデオ画像を表示するのに必要なデータ量を減らす。そして、ビデオデータを復号化する映像復元回路により圧縮データを対象機器で受信し、復元する。ネットワーク資源に制限があり、同時に、さらに高い映像品質への要求が強まり続ける状況では、圧縮率が高く、且つ画像品質をほとんど損なわない改良型の圧縮復元技術が必要である。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示内容は、インデックスを受信するとともに、前記インデックスに基づいてフィルタ選択を行い、インデックスに対応するフィルタインデックス（filter index）を生成することと；前記フィルタインデックス（filter index）に基づいて対応するフィルタを選択するとともに、前記フィルタを使用して入力サンプルに対しフィルタリング操作を行い、フィルタリングされたサンプルを生成して出力する、あるいは入力サンプルを直接フィルタリングされたサンプルとして出力することと、を含むイントラ予測（intra prediction）の適応フィルタリング方法を提出する。
【0004】
前記イントラ予測（intra prediction）の適応フィルタリング方法の複数の実施例のうちの１つにおいて、前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、フィルタインデックス（filter index）は、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す。
【0005】
本開示内容は、インデックスに基づいて、入力サンプルに対して参照サンプルを行い、参照サンプル平滑化フィルタリング（reference smoothing filtering, RSF）操作を行うことを含む適応フィルタを有するイントラ予測（intra prediction）方法を提出する。前記インデックスが近隣参照層の映像サンプルを使用することを示す時、前記入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後にフィルタリングされたサンプルとして出力する。前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用することを示す時、入力サンプルを直接前記フィルタリングされたサンプルとして出力する。前記フィルタリングされたサンプルに対して、イントラ予測を行う。
【0006】
本開示内容は、メモリと、プロセッサとを含むビデオ符号化デバイスを提出する。前記メモリは、複数のコマンドおよびデータを保存するために使用される。前記プロセッサは、これらのコマンドおよびデータにアクセスし、設定により前記コマンドを実行するために使用され、プロセッサは、インデックスを受信して、前記インデックスに基づいてフィルタ選択を行い、前記インデックスに対応するフィルタインデックス（filter index）を生成する。前記プロセッサは、フィルタインデックス（filter index）に基づいて対応するフィルタを選択するとともに、フィルタを使用して入力サンプルに対しフィルタリング操作を行い、フィルタリングされたサンプルを生成して出力する、あるいは入力サンプルを直接前記フィルタリングされたサンプルとして出力する。
【0007】
前記ビデオ符号化デバイスの複数の実施例のうちの１つにおいて、前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、フィルタインデックス（filter index）は、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す。
【0008】
本開示内容は、入力画像データと予測値を受信して、計算後に残余値を生成する加算器と；前記残余値を変換した後に量子化を行ってデータにする変換量子化ユニットと；前記データを圧縮後の映像データに処理して出力するエントロピー符号化ユニットと；前記データをビデオ復号化後の画像データに還元する逆量子化逆変換ユニットと；前記入力画像データおよび前記ビデオ復号化後の画像データを受信して、前記予測値を生成するために使用され、イントラ予測ユニットを含む予測ユニットと、を含むビデオ符号化デバイスを提出する。前記イントラ予測ユニットは、インデックスを受信するために設定され、前記インデックスに基づいてフィルタ選択を行い、前記インデックスに対応するフィルタインデックス（filter index）を生成するとともに、前記フィルタインデックス（filter index）に基づいて、対応するフィルタを選択してフィルタリング操作を行う、あるいは前記入力サンプルを直接前記フィルタリングされたサンプルとして出力する。
【0009】
本開示内容は、圧縮後の映像データを保存するためのメモリと；前記圧縮後の映像データに対し、エントロピー符号化構文要素に基づいてエントロピー復号化を行い、ビットストリームを取得するエントロピー復号化ユニットと；前記エントロピー復号化ユニットに結合された予測処理ユニットと；前記エントロピー復号化ユニットに結合された逆量子化ユニットと；前記逆量子化ユニットに結合された逆変換処理ユニットと；前記逆変換処理ユニットおよび前記予測処理ユニットに結合された再構築ユニットと；前記再構築ユニットおよび前記予測処理ユニットに結合されたフィルタユニットと、を含むビデオ復号化デバイスを提出する。前記予測処理ユニット、逆量子化ユニット、逆変換処理ユニット、再構築ユニット、およびフィルタユニットは、前記ビットストリームから取り出した構文要素に基づいて、復号化されたビデオデータを生成する。前記予測処理ユニットは、インデックスを取得するために設定され、前記インデックスから、前記復号化されたビデオデータが参照サンプル平滑化フィルタリング（ＲＳＦ）操作および／または境界フィルタリング（boundary filtering）操作を既に行ったかどうかを確認する。
【0010】
本発明の上記および他の目的、特徴、および利点をより分かり易くするため、図面と併せた幾つかの実施形態を以下に説明する。
【図面の簡単な説明】
【0011】
添付図面は、本発明の原理がさらに理解されるために含まれており、本明細書に組み込まれ、且つその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。
【0012】
【図7】図７Ａおよび図７Ｂは、本開示内容の複数の実施例において、イントラ符号化された符号化ユニット（intra-coded CU）に基づいて平滑化フィルタリング操作を行うかどうかを決定することを説明するためのフロー概略図である。
【発明を実施するための形態】
【0013】
ネットワーク、通信システム、ディスプレイ、およびコンピュータ等のアプリケーションの新技術の最近の発展に伴い、多くのアプリケーションは、いずれも、高いビデオ圧縮率、バーチャルリアリティ（virtual reality, VR）、３６０度ビデオコンテンツ等の効率の高いビデオ符号化の解決方案を必要とする。その場に立ち臨むような視覚効果を提供するため、ビデオにおいてより細部まで見えるようにビデオ解像度を向上させるのが一般的な方法である。ＶＲ技術は、通常、ヘッドマウントデバイス（head mounted device, HMD）により実現され、ヘッドマウントデバイスと眼の間の距離は、十分に接近しているため、必要なビデオコンテンツの解像度は、現在の４Ｋから８Ｋ解像度まで、さらには３２Ｋ解像度以上まで向上できることが望ましい。また、画面のリフレッシュレートもＶＲの使用体験に影響するため、画面のリフレッシュレートを毎秒３０枚、毎秒９０枚、さらには毎秒１２０枚まで増加させることが望ましい。上述した要求に基づき、現在使用されている高効率ビデオ符号化（high efficiency video coding, HEVC）（または、Ｈ．２６５とも称す）は、ユーザーにより優れた視覚効果および体験を提供することができない。
【0014】
デジタルビデオに対する符号化効率および画像品質をさらに高めるために、共同ビデオ探索チーム（joint video exploration team, JVET）により、潜在的要求を解決する数種の強化型ビデオ符号化技術を応用する多目的ビデオ符号化（versatile video coding, VVC）において、次世代ビデオ符号化方式（future video coding, FVC）技術が開発された。共同探索テストモデル（joint exploration test model, JEM）が採用するイントラ予測（intra prediction）技術は、従来のＨＥＶＣが具備する３５種類の予測モードから６７種類の予測モード（intra prediction modes, IPM）まで拡張され、より正確な角度予測に用いられる。ＪＥＭは、参照サンプル適応フィルタ（reference samples adaptive filter, RSAF）により参照サンプルの平滑度を改善する方法、または位置依存イントラ予測組み合わせ（position dependent intra prediction combination, PDPC）により選択できる予測を増やす方法、または非分離型二次変換（non-separable secondary transform, NSST）を残余値の変換として用いる方法等の新技術をさらに紹介している。
【0015】
図１は、イントラ予測（intra prediction）の実施例を簡単に説明するための概念図である。イントラ予測（intra prediction）方法は、ブロックユニット（block unit）の空間的に隣接する再構築された映像サンプルを参照して予測を行う映像ブロック予測技術である。ＨＥＶＣが採用する３５種類の予測モード（ＩＰＭ）、またはＪＥＭが採用する６７種類の予測モードは、第０予測モード（mode 0）の平面モード（planar mode）および第１予測モード（mode 1）の直流（ＤＣ）予測モード（DC mode）を含み、いずれも固定された近隣参照層（reference tier, RT）サンプルを予測の参照として使用する。まず、ステップ１１０において、元のブロック“Ｏ”を取得する。ステップ１２０において、イントラ予測モードの選択を行い、選択したイントラ予測モードに基づいて、現符号化ユニット（current coding unit, CU）に対して選択した方向において予測を行い、予測値Ｐを取得する。ステップ１３０において、加算器により予測値Ｐと元のブロックＯを引き算して残余値Ｒ（Ｒ＝Ｏ-Ｐ）を得る。続いて、残余値Ｒに対して変換および量子化を行い、ステップ１４０のように、量子化後の直列データＳ（Ｓ＝Ｑ｛Ｔ｛Ｒ｝｝）を取得し、前記直列データＳを保存する。
【0016】
図２は、複数の予測方向に沿ってイントラ予測（intra prediction）を行うビデオ符号化デバイスの異なる予測パターンを説明したものである。イントラ予測（intra prediction）方法は、ブロックユニット（coding unit）の空間的に隣接する再構築された映像サンプルを参照して予測を行う映像ブロック予測技術である。まず、ビデオ符号化デバイスは、複数の予測方向２１０（矢印で指した方向）に沿って予測を行うことを選択する。上述したように、ＨＥＶＣが採用する３５種類の予測モードであるか、またはＪＥＭが採用する６７種類の予測モード（ＩＰＭ）であるかに関わらず、第０予測モード（mode 0）の平面モード（planar mode）および第１予測モード（mode 1）の直流（ＤＣ）予測モード（DC mode）を含み、いずれも固定された近隣参照層（Reference Tier, RT）サンプルを予測の参照として使用する。上述した予測モードは、アプリケーション上で、モデリングが滑らかに変化する画像領域および不変の画像領域に対し、平面モード（planar mode）およびＤＣモード（DC mode）を採用することができる。
【0017】
図３Ａ〜図３Ｃは、イントラ予測（intra prediction）において、隣接する再構築された映像サンプルを参照して予測を行う実施例を説明したものである。図３Ａに示すように、ブロックユニットは、サイズがＭ×Ｍの現符号化ユニット（current coding unit, CU）３２０を例として説明したものであり、Ｍは、任意の正の整数であるが、本発明はこれに限定されない。前記現符号化ユニット（ＣＵ）３２０は、映像予測を行った後、予測値（predictor）を取得することができる。近隣参照層（ＲＴ）３３０を参照サンプルとし、Ｒ（−１， −１）、Ｒ（ｘ，−１）Ｒ（−１，ｙ）の参照サンプルを含み、映像予測計算を行った後、１６個の予測値Ｐ（ｘ，ｙ）を取得する。図に示したように、参照サンプルのＲＲ（−１， ７）〜Ｒ（−１，０）の左部分（left segment）、Ｒ（０，−１）〜Ｒ（７，−１）の上部分（above segment）、および左上画素（left-above pixel）のＲ（−１，−１）から、Ｐ（０，０）〜Ｐ（３，３）等の１６個の予測値を取得する。
【0018】
実際の例を図３Ｂおよび図３Ｃにより説明する。元の現符号化ユニット（ＣＵ）３４０の値は、図３Ｂに示した通りであり、イントラ予測（intra prediction）方法により計算した後、取得した１６個の予測値Ｐ（ｘ，ｙ）は、更新後の現符号化ユニット（ＣＵ）３５０のように、図３Ｃに示した通りであり、元のＰ（２，０）とＰ（３，１）は、特定の予測方向のサンプル値を参照した後、元の“３００”からサンプルに基づいて“２８０”に変化し、元のＰ（３，０）は、元の“４００”からサンプルに基づいて“３８０”に変化している。
【0019】
上述した固定された近隣参照層（ＲＴ）サンプルを予測の参照とする場合、ある状況において、つまり、近隣参照層の参照サンプルと元のサンプルがある特定の方向において大きな差を有する場合、大量のサンプル誤差（sample error）が生じる。実際の例を図４Ａ〜図４Ｃにより説明する。元の現符号化ユニット（ＣＵ）４１０の値は、図４Ａに示した通りである。イントラ予測（intra prediction）を行う時、近隣参照層（ＲＴ）４３０サンプルを参照して、対角線方向モード（diagonal direction mode）でイントラ予測（intra prediction）を行い、対角線状の近隣参照層（ＲＴ）４３０サンプルを参照して、更新後の現符号化ユニット（ＣＵ）４２０のように、図４Ｂの１６個の予測値を取得する。近隣参照層（ＲＴ）４３０と別の参照層（ＲＴ）４４０を観察するとわかるように、両者のサンプルは差が大きく、予測値にサンプル誤差（sample error）が存在する可能性が高い。
【0020】
別の状況において、図４Ｃを参照すると、同様に、対角線方向モード（diagonal direction mode）でイントラ予測（intra prediction）を行い、近隣参照層（ＲＴ）４３０サンプルを使用せず、参照層（ＲＴ）４４０のサンプルを採用した場合、取得する１６個の予測値および更新後に取得する現符号化ユニット（ＣＵ）４２２は、図４Ｂで観察される差が大きすぎる問題を回避できることがわかった。したがって、このような配置によって、潜在するサンプル誤差（sample error）の問題を回避することができる。
【0021】
この他、現在、ビデオコンテンツの解像度に対する要求がますます高まり、例えば、超高解像度（super high resolution）の１６Ｋ解像度、さらには３２Ｋ解像度以上にまで達している。このような要求を満たすためには、符号化ブロックのサイズを増やすことによって符号化の効率を改善することができるため、符号化ブロックのサイズは、Ｈ．２６４（高度ビデオ符号化：advanced video coding）の１６×１６から、Ｈ．２６５（高効率ビデオ符号化：ＨＥＶＣ）の６４×６４まで、最近のＨ．２６６の１２８×１２８まで増加した。ますます高まる解像度の条件において、符号化ブロック内の画素は、符号化ブロック外の画素と比較して、角度予測（angular prediction）モードにおいてさらに敏感になる。したがって、サンプル誤差（sample error）の問題は、高解像度においてさらに明白である。
【0022】
本開示内容が提出するビデオ符号化デバイスの実施例は、ビデオコンテンツ符号化における複数参照ライン（multiple reference line, MRL）のイントラ予測に応用する適応フィルタリング（adaptive filtering）方法を提出する。
【0023】
本開示内容の複数の実施例において、ビデオコンテンツ符号化に用いる複数参照ライン（ＭＲＬ）のイントラ予測方法を提出する。この方法では、統合参照層（composed tier, CT）の中の再構築された映像サンプルを採用してイントラ予測（intra prediction）の操作を行い、この統合参照層（ＣＴ）は、２つ以上の参照層（ＲＴ）を含む。別の複数の実施例において、複数の参照層（ＲＴ）の中の再構築された映像サンプルを直接採用してイントラ予測（intra prediction）の操作を行ってもよい。前記イントラ予測（intra prediction）は、イントラ予測の精度を上げることができる。
【0024】
ＪＥＭが採用するイントラ予測（intra prediction）の操作を例に挙げると、本開示内容の複数の実施例において、任意参照層符号化（Arbitrary Reference Tier Coding, ARTC）の構造を提出して、複数ラインをイントラ予測の操作として使用することを実現し、且つ各参照層（ＲＴ）を独立して参照し、予測を行うことができる。各参照層（ＲＴ）は、ラフモード決定（rough mode decision, RMD）、レート歪み最適化（rate-distortion optimization, RDO）、および変換ユニット決定（TU decision, TUD）を含むモード決定アルゴリズム（mode decision algorithm）を独立して行うことにより決定するかどうかを確認する。本開示内容の別の実施例において、両段階の選択、つまり、ラフモード決定（ＲＭＤ）とレート歪み最適化（ＲＤＯ）の計算により、イントラ予測モード（ＩＰＭ）および対応する参照層（ＲＴ）を同時に決定することができる。
【0025】
別の実施形態において、さらに、フィルタを使用するかどうかを動的に決定し、さらにイントラ予測の複雑度を下げることのできる適応フィルタリング技術を提出する。上述した複数ラインを参照として使用し、適応フィルタリング技術を採用することによって、超高解像度映画の圧縮効率を上げ、計算複雑度を下げることができる。
【0026】
図５Ａ〜図５Ｃを参照すると、本開示内容の複数の実施例の複数参照ライン（ＭＲＬ）のイントラ予測方法を説明する概略図である。まず、図５Ａを参照すると、現符号化ユニット（ＣＵ）５１０に対してイントラ予測操作を行う時、１〜Ｎ個の参照層のサンプルを採用して予測を行うことができ、Ｎは、任意の正の整数であってもよい。ＪＥＭが採用するイントラ予測（intra prediction）の操作を例に挙げると、６７種の予測モード（ＩＰＭ）は、その中の参照層（ＲＴ）を選択してイントラ予測操作を行うことにより、予測値を生成することができる。異なる予測値Ｐ（ｘ，ｙ）は、独立した異なる参照層（ＲＴ）から生成することができる。図５Ａに示したように、予測値Ｐ（２，２）は、参照サンプルＳa1、Ｓa2、Ｓa3、…、またはＳaNから生成することができ、予測値Ｐ（２，０）は、参照サンプルＳb1、Ｓb2、Ｓb3、…、またはＳbNから生成することができる。この実施例において、参照サンプルＳa1またはＳb1は、第１参照層（ＲＴ）５２０にあり、参照サンプルＳa2またはＳb2は、第２参照層（ＲＴ）５２２にあり、参照サンプルＳa3またはＳb3は、第３参照層（ＲＴ）５２４にあり、参照サンプルＳaNまたはＳbNは、第Ｎ参照層（ＲＴ）５２６にある。
【0027】
別の実施例において、図５Ｂを参照すると、異なる予測値Ｐ（ｘ，ｙ）は、異なる参照層（ＲＴ）から生成することができる。例えば、予測値Ｐ（２，２）は、第２参照層（ＲＴ）５２２の参照サンプルＳa2から生成することができ、予測値Ｐ（２，０）は、第Ｎ参照層（ＲＴ）５２６の参照サンプルＳbNから生成することができる。
【0028】
別の実施例において、図５Ｃを参照すると、異なる予測値Ｐ（ｘ，ｙ）は、異なる予測モード（異なる角度に対する）において選択することにより、異なる参照層（ＲＴ）の組み合わせを選択して生成することができる。つまり、ＨＥＶＣが採用する３５種類の予測モード（ＩＰＭ）であるか、またはＪＥＭが採用する６７種類の予測モード（ＩＰＭ）であるかに関わらず、第０予測モード（mode 0）の平面モード（planar mode）および第１予測モード（mode 1）の直流（ＤＣ）予測モード（DC mode）を除いて、その他の特定の角度に異なる予測モード（ＩＰＭ）は、１個または複数の異なる参照層（ＲＴ）の組み合わせを選択して生成することができる。図に示すように、１つの実施例において、予測値Ｐ（ｘ，ｙ）は、第５予測モード（mode 5）において、第１参照層（ＲＴ）５２０の参照サンプルと第３参照層（ＲＴ）５２４の参照サンプルの組み合わせから生成することができる。予測値Ｐ（ｘ，ｙ）は、第６予測モード（mode 6）において、第２参照層（ＲＴ）５２２の参照サンプルと第Ｎ参照層（ＲＴ）５２６の参照サンプルの組み合わせから生成することができる。予測値Ｐ（ｘ，ｙ）は、第７予測モード（mode 7）において、第１参照層（ＲＴ）５２０の参照サンプルと第３参照層（ＲＴ）５２４の参照サンプルの組み合わせから生成することができる。
【0029】
本開示内容の複数の実施例において、複数ラインの参照層（ＲＴ）の再構築された映像サンプルを採用してイントラ予測（intra prediction）の操作を行うことのできるビデオコンテンツ符号化における複数参照ライン（ＭＲＬ）のイントラ予測方法を提出する。複数ラインの参照層（ＲＴ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行うことをさらに考慮すると、計算の複雑度が増大し、さらに多くの計算およびさらに多くの保存スペースが必要になる。また、さらに複雑な計算によって、計算レイテンシ（computation latency）が生じ、さらに多くのゲート数（gate count）が必要になるため、ハードウェア実現のコストが上がる。
【0030】
本開示内容の複数の実施例は、フィルタを使用するかどうかを動的に決定し、さらにイントラ予測の複雑度を下げることのできる適応フィルタリング技術を提出する。上述した複数ラインを参考として使用し、且つ適応フィルタリング（adaptive filtering）技術を採用することによって、超高解像度映画の圧縮効率を上げ、計算複雑度を下げることができる。
【0031】
本開示内容の複数の実施例において、複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行うことを提出し、さらに、参照サンプル平滑度を改善する方法等において使用することができ、例えば、参照サンプル適応フィルタ（ＲＳＡＦ）を使用するかどうかを動的に決定することのできる適応フィルタリング技術によりフィルタを使用するかどうかを動的に決定する技術を提出する。別の実施例において、適応フィルタリング（adaptive filtering）技術を採用することにより、境界フィルタリングの方法を行うかどうかを動的に決定することができる。例えば、位置依存イントラ予測組み合わせ（ＰＤＰＣ）構造における境界フィルタリング操作は、イントラ予測（intra prediction）におけるフィルタリングエッジ参照サンプルと未フィルタリングエッジ参照サンプルに対し、重み付き予測方法を行う操作である。
【0032】
図６を参照すると、主に、本開示内容が提出するビデオコンテンツ符号化における複数ラインイントラ予測（intra prediction）に応用する適応フィルタリング方法を説明するフロー概略図である。高効率ビデオ符号化（ＨＥＶＣ）は、モード依存の参照サンプル平滑化（mode-dependent reference sample smoothing）方法を提出し、ＪＥＭは、さらに、参照サンプルの平滑度を改善する方法、いわゆる参照サンプル適応フィルタ（reference samples adaptive filter, RSAF）を提出し、参照サンプルに対して平滑化プロセスを行う際に２つのローパスフィルタ（low pass filter, LPF）を採用する。
【0033】
本開示内容は、１つの実施例において、適応参照フィルタリングスキーム（adaptive reference filtering scheme, ARFS）を提出し、図６に示すように、参照サンプル平滑化モジュール（reference smoothing module）６２０に含まれる第１フィルタ（filter 1）６２２、第２フィルタ（filter 2）６２４、および第Ｔフィルタ（filter T）６２６等の複数の参照フィルタ（reference filter）は、フィルタインデックス（filter index）６０４に基づいて対応するフィルタを選択し、フィルタリング操作をスキップする、フィルタリングを行わない、または入力サンプルを直接フィルタリングされたサンプルとして出力することができる。
【0034】
前記フィルタインデックス（filter index）６０４は、フィルタ選択フロー６１０により生成される。フィルタ選択フロー６１０は、イントラ符号化された符号化ユニット（intra-coded CU）に対応して、フィルタインデックス６０４を生成する。前記イントラ符号化された符号化ユニット（intra-coded CU）は、複数参照ライン（ＭＲＬ）インデックス内容の判断に基づいて生成され、前記複数参照ライン（ＭＲＬ）インデックスは、統合参照層（ＣＴ）または複数の参照層（ＲＴ）の索引（index）であってもよい。ここで、参照層インデックス（RT index）６０２を例に挙げると、別の実施例において、複数参照ライン（ＭＲＬ）インデックスと称してもよい。イントラ符号化された符号化ユニット（intra-coded CU）に基づいて、対応するフィルタ（filter）またはフィルタリング操作を行うかどうかを決定する。フィルタインデックス（filter index）６０４が索引ｔを含む場合、第ｔフィルタ（filter t）は、入力サンプル６０６に対して用いられ、つまり、イントラ符号化された符号化ユニット（intra-coded CU）の参照サンプルは、フィルタリング操作を行って、フィルタリングされたサンプル（filtered samples）６０８を生成する。フィルタインデックス（filter index）６０４の情報が、フィルタリング操作をスキップする、またはフィルタリングを行わないことを示す場合、入力サンプル６０６を直接フィルタリングされたサンプル（filtered samples）６０８として出力する。
【0035】
本開示内容の複数の実施例において、複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行うことを提出し、複数参照ライン（ＭＲＬ）インデックス内容を利用して、適応フィルタリング技術を採用するかどうかを判断し、フィルタリング操作をスキップするか、フィルタリングを行わないか、または入力サンプルを直接フィルタリングされたサンプル（filtered sample）として出力するかを決定する。この適応フィルタリング技術構造は、複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行う場合に、フィルタリング操作を行う必要がないため、超解像度映画の圧縮効率を上げ、計算複雑度を下げることができる。
【0036】
本開示内容の複数の実施例において、複数参照ライン（ＭＲＬ）インデックスの構文設計（syntax design）は、必要な調整に基づくことができ、関連内容は、本願が主張する米国仮出願案第６２／６９１７２９号および米国仮出願案第６２／７２７５９５号が提出する異なるアプリケーションに基づいて生成した複数参照ライン（ＭＲＬ）インデックスの構文内容および関連するイントラ予測が採用する予測モードの構文中の順序を参照することができるため、ここで参照して引用し、本開示内容の一部とする。例えば、１つの実施例において、複数参照ライン（ＭＲＬ）インデックスの内容は、多目的ビデオ符号化（ＶＶＣ）において、予測モード関連内容の後に置くことができる。
【0037】
複数参照ライン（ＭＲＬ）インデックスの構文内容は、１つの実施例において、少なくとも１つまたは複数の異なる参照層（ＲＴ）の組み合わせから生成された、あるいは統合参照層（ＣＴ）および／または参照層（ＲＴ）の組み合わせにより行った複数参照ライン（ＭＲＬ）のイントラ予測を示すフラグ（flag）を少なくとも含む。
【0038】
複数参照ライン（ＭＲＬ）インデックスの内容に基づき、１つの実施例において、例えば、｛０，１，２，３｝または｛０，１，３｝を含む。インデックスの値が“０”である場合、フィルタインデックス（filter index）値を“１”に設定する。インデックスの値が“０”でない場合、フィルタインデックス（filter index）値を“０”に設定する。フィルタインデックス（filter index）値が“１”の時、フィルタリング操作を行って、フィルタリングされたサンプル（filtered sample）を生成する。フィルタインデックス（filter index）値が“０”の時、入力サンプルを直接フィルタリングされたサンプル（filtered sample）として出力する。つまり、フィルタ選択フローは、例えば、２種類のモードを含み、１つは、直接モード（direct mode）と称し、対応するフィルタを選択してフィルタリング操作を行い、フィルタリングされたサンプルを生成する。もう１つは、フィルタリングをスキップするモード（skip mode）であり、入力サンプルを直接フィルタリングされたサンプル（filtered sample）６０８として出力する。上述した複数参照ライン（ＭＲＬ）インデックス構文の設計は、複数の実施例のうちの１つにすぎず、アプリケーションに応じて調整することができるため、本発明はこれに限定されない。複数参照ライン（ＭＲＬ）インデックス構文の設計は、符号化プロセスまたは復号化プロセスにおいて、いずれも構文コンテキストを解読する依拠とすることができる。
【0039】
図７Ａおよび図７Ｂは、イントラ符号化された符号化ユニット（intra-coded CU）に基づいて平滑化フィルタリング操作を行うかどうかを決定することを説明するためのフロー概略図である。
【0040】
図７Ａに示すように、参照サンプル平滑化モジュール（reference smoothing module）７２０は、受信したフィルタインデックス（filter index）７０４に基づいて、参照サンプル平滑化フィルタリング（reference smoothing filtering, RSF）フロー７２２およびもう１つのフィルタリング操作を行わないスキップＲＳＦフロー７２４を行うことを含む。つまり、フィルタインデックス７０４に基づいて、対応するフィルタを選択し、入力サンプル７０６に対して、つまり、イントラ符号化された符号化ユニットの参照サンプルに対して参照サンプル平滑化フィルタリングＲＳＦフロー７２２を行い、フィルタリングされたサンプル７０８を生成する。フィルタインデックス７０４がフィルタリング平滑化の操作をスキップする、または行わないことを示す場合、入力サンプル７０６を直接フィルタリングされたサンプル（filtered sample）７０８として出力する。このフィルタインデックス７０４は、フィルタ選択フロー７１０により生成される。フィルタ選択フロー７１０は、イントラ符号化された符号化ユニット（intra-coded CU）に対応し、複数参照ライン（ＭＲＬ）インデックス７０２内の情報に基づいてフィルタインデックス７０４を生成する。図７Ｂに示すように、複数参照ライン（ＭＲＬ）インデックス７０２内の情報に基づいて、フィルタ選択フロー７１０を行い、入力サンプル７０６に対して参照サンプル平滑化フィルタリング（ＲＳＦ）フロー７２２を行うかどうか、つまり、平滑化フィルタリング操作をスキップするか、平滑化フィルタリングを行わないか、または入力サンプル７０６を直接フィルタリングされたサンプル７０８として出力するかを確認することができる。
【0041】
上述した複数参照ライン（ＭＲＬ）インデックス内容を利用して適応フィルタリング技術を採用するかどうかを判断することは、位置依存イントラ予測組み合わせ（ＰＤＰＣ）構造における境界フィルタリング操作にも運用することができる。位置依存イントラ予測組み合わせ（ＰＤＰＣ）は、境界フィルタリング（boundary filtering）フローとイントラ予測（intra prediction）フローを単一方程式に組み合わせる技術である境界フィルタリング技術とみなすことができる。境界フィルタリング技術については、境界フィルタリング（boundary filtering）フローを説明するための図８Ａおよび図８Ｂを参照されたい。この境界フィルタリング（boundary filtering）方法は、例えば、ＨＥＶＣ構造において、垂直イントラ予測モード（vertical intra mode, VER）および水平イントラ予測モード（horizontal intra mode, HOR）によりイントラ予測ブロック（intra prediction block）を生成した後、左上欄（left-most column）および最上列（top-most row）の予測サンプルをそれぞれさらに調整する必要がある。この方法は、ＪＥＭにおいて、いくつかの対角線イントラ予測モード（diagonal intra mode）での使用をさらに実行し、境界サンプル（boundary sample）を２タップフィルタ（two-tap filter）または３タップフィルタ（three-tap filter）を利用して４個の列（column）または行（row）に増やして調整する。図８Ａに示すように、モード番号３４のイントラ予測モードでは、２タップフィルタを利用して境界サンプルの調整を行っていることがわかる。図８Ｂに示すように、モード番号３０〜３３のイントラ予測モードでは、３タップフィルタを利用して境界サンプルの調整を行っていることがわかる。
【0042】
本開示内容の複数の実施例において、複数参照ライン（ＭＲＬ）インデックス内容を利用して適応フィルタリング技術を採用するかどうかを判断し、フィルタを使用するかどうか、つまり、フィルタリング操作をスキップするか、または行わないかを決定する。一般的な予測モード（ＩＰＭ）は、上述した位置依存イントラ予測組み合わせ（ＰＤＰＣ）構造における境界フィルタリング操作を起動するが、複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測操作を行う場合、位置依存イントラ予測組み合わせ（ＰＤＰＣ）操作を行う必要はない。したがって、この適応フィルタリング技術構造は、複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測操作を行う場合に、位置依存イントラ予測組み合わせ（ＰＤＰＣ）操作を行う必要がないことを考慮して、超高解像度映画の圧縮効率を上げ、計算複雑度を下げることができる。図９Ａおよび図９Ｂを参照すると、イントラ符号化された符号化ユニット（intra-coded CU）に基づいて境界フィルタリング操作を行うかどうかを決定することを説明するためのフロー概略図である。
【0043】
図９Ａに示すように、境界フィルタモジュール（boundary filter module）９２０は、受信したフィルタインデックス９０４に基づいて、境界フィルタリングフロー（“ＢＦ”で示す）９２２およびもう１つの境界フィルタリング操作を行わないスキップＢＦフロー９２４を行うかどうかを判断する。つまり、フィルタインデックス９０４に基づいて、境界フィルタリングフローを行い、フィルタリングされたサンプル９０８を生成するかどうかを選択する。このフィルタインデックス９０４は、フィルタ選択フロー９１０により生成される。フィルタ選択フロー９１０は、イントラ符号化された符号化ユニット（intra-coded CU）に対応して、複数参照ライン（ＭＲＬ）インデックス９０２内の情報に基づいてフィルタインデックス９０４を生成する。図９Ｂに示すように、複数参照ライン（ＭＲＬ）インデックス９０２の情報に基づいて、フィルタ選択フロー９１０を行い、入力サンプル９０６に対して境界フィルタリングフロー９２０を行うかどうか、つまり、フィルタリング操作をスキップするか、フィルタリングを行わないか、または入力サンプル９０６を直接フィルタリングされたサンプル９０８として出力するかを判断する。
【0044】
本開示内容の複数の実施例において、提出するビデオコンテンツ符号化における複数参照ライン（ＭＲＬ）のイントラ予測方法の符号化（encoding）フローは、図１０を参照して全体構造を説明することができる。本開示内容が提出する複数参照ライン（ＭＲＬ）のイントラ予測操作は、図１０を参照すると、基本的に、参照サンプルフィルタリングフローＳ１０１０、イントラ予測フローＳ１０２０、境界フィルタリングフローＳ１０３０、レート歪み最適化（ＲＤＯ）フローＳ１０４０、および構文生成（syntax generation）フローＳ１０５０を含むいくつかのフローに分けられる。
【0045】
参照サンプルフィルタリングフローＳ１０１０は、図７Ｂに示すように、複数参照ライン（ＭＲＬ）インデックス内の情報に基づいて、判断ステップＳ１０１２を行い、入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）フローＳ１０１４を行うかどうか、あるいはフィルタリング平滑化の操作をスキップするか、または行わないか（スキップＲＳＦ）を確認することができる。イントラ予測フローＳ１０２０は、最良予測モード決定（best prediction mode decision）方法Ｓ１０２２を採用して最良の予測モードを選択する。
【0046】
境界フィルタリングフローＳ１０３０は、図９Ｂに示すように、複数参照ライン（ＭＲＬ）インデックス内の情報に基づいて、判断ステップＳ１０３２を行い、入力サンプルに対して境界フィルタリング（ＢＦ）フローＳ１０３４を行うかどうか、あるいは境界フィルタリング操作をスキップするか、または行わないか（スキップＢＦ）を判断する。レート歪み最適化（ＲＤＯ）フローＳ１０４０は、レート歪み最適化方法を使用して検査するとともに、ブロックおよび複数の候補予測モードが対応する予測コストに基づいて、複数の変換インデックスにおいて複数の候補予測モードが対応する複数の歪みコストを計算することにより、レート歪み最適化の選択を行うことができる。
【0047】
構文生成（syntax generation）フローＳ１０５０は、参照ライン構文（reference line syntax）ステップＳ１０５２を選択する、または書き込むことと、最有力モード（most probable mode, MPM）フラグ（flag）ステップＳ１０５４を選択する、または書き込むことと、最有力モード（ＭＰＭ）パラメータ／角度モードパラメータ（angular mode index）ステップＳ１０５６を選択する、または書き込むことを含む。
【0048】
本開示内容の複数の実施例において、提出するビデオコンテンツ符号化における複数参照ライン（ＭＲＬ）のイントラ予測方法の復号化（decoding）フローは、図１１を参照して全体構造を説明することができる。本開示内容が提出する複数参照ライン（ＭＲＬ）のイントラ予測操作は、図１１を参照すると、基本的に、構文解析（syntax parsing）フローＳ１１１０、参照サンプルフィルタリングフローＳ１１２０、イントラ予測フローＳ１１３０、および境界フィルタリングフローＳ１１４０を含むいくつかのフローに分けられる。
【0049】
構文解析（syntax parsing）フローＳ１１１０は、参照ライン構文（reference line syntax）ステップＳ１１１２を分析することと、最有力モード（most probable mode, MPM）フラグ（flag）ステップＳ１１１４を分析することと、最有力モード（ＭＰＭ）インデックス／角度モードインデックス（angular mode index）ステップＳ１１１６を分析することを含む。
【0050】
参照サンプルフィルタリングフローＳ１１２０は、複数参照ライン（ＭＲＬ）インデックス内の情報に基づいて、判断ステップＳ１１２２を行い、サンプルが参照サンプル平滑化フィルタリング（ＲＳＦ）フローを既に行ったかどうかを確認する。参照サンプル平滑化フィルタリング（ＲＳＦ）フローを既に行っている場合は、ステップＳ１１２４を採用し、行っていない場合は、直接スキップしてイントラ予測フローＳ１１３０を継続して行う。イントラ予測フローＳ１１３０は、最良予測モード決定（best prediction mode decision）方法Ｓ１１３２に基づいて、予測モードを選択する。
【0051】
境界フィルタリングフローＳ１１４０は、複数参照ライン（ＭＲＬ）インデックス内の情報に基づいて、判断ステップＳ１１４２を行い、入力サンプルに対して境界フィルタリング（ＢＦ）処理を行うか、あるいは境界フィルタリング操作をスキップして行わないか（スキップＢＦ）を判断する。境界フィルタリング（ＢＦ）処理を既に行っている場合は、ステップＳ１１１４を採用し、行っていない場合は、直接境界フィルタリングフローＳ１１４０をスキップする。
【0052】
図１２は、設定後に本開示が提出する複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行う実例を実施するビデオ処理装置を説明するためのブロック概略図である。このビデオ処理装置１２００は、ビデオ符号化デバイスに使用してもよく、ビデオ復号化デバイスに使用してもよい。ここで、符号化デバイスにより説明を行う。ビデオ処理装置１２００は、１つの実施例において、プロセッサ（processor）１２１０、メモリ１２２０、入力／出力ユニット１２３０、およびデータバスユニット１２４０を含むことができる。
【0053】
プロセッサ１２１０は、ハードウェアおよびソフトウェア形式により本開示が提出する複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行うことを実施する。プロセッサ１２１０は、１つまたは複数の中央処理装置（ＣＰＵ）チップ、フィールドプログラマブルゲートアレイ（field-programmable gate array, FPGA）、特定用途向け集積回路（application specific integrated circuit, ASIC）、およびデジタルシグナルプロセッサ（digital signal processor, DSP）等として実施することができる。プロセッサ１２１０は、データバスユニット１２４０を介してメモリ１２２０、入力／出力ユニット１２３０と通信するよう構成され、データを受信または転送する。プロセッサ１２１０は、メモリ１２２０に保存されたコマンドにアクセスして実施することができる。
【0054】
メモリ１２２０は、実行したいプログラムを保存し、プログラム実行過程において読み出したコマンドとデータを保存するために使用される。メモリ１２２０は、揮発性メモリ（volatile memory）および／または不揮発性メモリ（non-volatile memory, NVM）であってもよい。不揮発性メモリは、読み出し専用メモリ（read-only memory, ROM）またはフラッシュメモリ（flash memory）等であってもよい。読み出し専用メモリ（ＲＯＭ）は、例えば、プログラマブル読み出し専用メモリ（programmable read-only memory, PROM）、電気的に書き換え可能な読み出し専用メモリ（electrically alterable read only memory, EAROM）、消去可能なプログラマブル読み出し専用メモリ（erasable programmable read only memory, EPROM）、電気的に消去可能なプログラマブル読み出し専用メモリ（electrically erasable programmable read only memory, EEPROM）等であってもよい。揮発性メモリは、例えば、ランダムアクセスメモリ（random access memory, RAM）、ダイナミックランダムアクセスメモリ（dynamic random access memory, DRAM）、またはスタティックランダムアクセスメモリ（static random access memory, SRAM）等であってもよい。
【0055】
図１２のビデオ処理装置１２００構造に基づいて、設定後に図１０が提出する複数参照ライン（ＭＲＬ）のイントラ予測方法の符号化（encoding）フローを実施することができる。プロセッサ１２１０は、設定後にイントラ予測機能を含むビデオ符号化を実施することができ、図１０が提出する参照サンプルフィルタリングフローＳ１０１０、イントラ予測フローＳ１０２０、境界フィルタリングフローＳ１０３０、レート歪み最適化（ＲＤＯ）フローＳ１０４０、および構文生成（syntax generation）フローＳ１０５０等のフローを含む複数参照ライン（ＭＲＬ）のイントラ予測方法の符号化（encoding）フローを実行することができる。
【0056】
図１２における設定後に複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行うことを実施するビデオ処理装置１２００は、ビデオ符号化デバイス（encoder）に応用され、図１３の構造ブロック概略図を参照することができる。図１３は、本開示内容の実施例に基づくビデオ符号化デバイスの構造ブロック概略図である。このビデオ符号化デバイス１３００が使用するビデオ符号化は、共同探索テストモデル（ＪＥＭ）である。ビデオ符号化デバイス１３００は、集積回路を含み、且つ図１３で説明する各ユニットは、回路バスが相互接続したハードウェア回路ブロックとして形成される。このハードウェア回路は、単独回路または両者または両者以上を共有ハードウェア回路として組み合わせることができる。いくつかの実例において、図１３で説明したユニットのうちの１つまたは複数は、処理回路上で実行するソフトウェアユニットであってもよい。このような実例において、このようなソフトウェアユニットに用いられるプログラムコードは、メモリの中に保存される。作業システムは、ビデオ符号化デバイス１３００がメモリからプログラムコードを保存取得して、実行できるようにすることができ、ビデオ符号化デバイス１３００が実例技術を実施する操作を実行できるようにする。いくつかの実例において、ソフトウェアユニットは、ビデオ符号化デバイス１３００が起動場所で実行するファームウェアであってもよい。したがって、ビデオ符号化デバイス１３００は、実例技術を実行するハードウェアを有する、またはハードウェア上で実行することによりこのような実例技術を実行するハードウェアを特化するソフトウェア／ファームウェアを有する構造部材である。
【0057】
本実施例のビデオ符号化デバイス１３００は、変換量子化ユニット１３１０、予測ユニット１３２０、ビデオ符号化デバイス１３００の入力端子Ｎ１にある加算器１３３０、エントロピー符号化ユニット１３４０、逆量子化逆変換ユニット１３５０、逆量子化逆変換ユニット１３５０の出力端子Ｎ２にある加算器１３６０、および画面バッファ１３７０を含む。変換量子化ユニット１３１０は、変換ユニット１３１２および量子化ユニット１３１４を含む。予測ユニット１３２０は、イントラ予測ユニット１３２２およびインター予測ユニット１３２４を含む。加算器１３３０は、予測ユニット１３２０が提供する情報（例えば、予測値）から入力画像ＩＭを差し引いて入力画像ＩＭの残余値ＭＲを取得する。
【0058】
変換ユニット１３１２は、例えば、非分離型二次変換（ＮＳＳＴ）技術を採用して変換を行う。変換ユニット１３１２は、入力画像ＩＭの残余値ＭＲに対して変換を行う。既に変換された変換ユニット１３１２の残余値変換を行った後のデータＴＤは、量子化ユニット１３１４で処理した後にデータＤＡになり、エントロピー符号化ユニット１３４０で処理されて圧縮された後の映像データＶＤになる。映像データＶＤは、データＤＡの他に、予測ユニット１３２０が生成した各イントラ予測モードとインター予測モードも含むことができる。
【0059】
ビデオ復号化後のデータをシミュレーションするために、ビデオ符号化デバイス１３００は、逆量子化逆変換ユニット１３５０の中の逆量子化ユニット１３５２および逆変換ユニット１３５４を利用して、データＤＡをビデオ復号化された後の画像データに還元する。この画像データは、加算器１３６０によって入力画像ＩＭと処理された後に画面バッファ１３７０に一時保存される。ビデオ復号化後の画像データは、イントラ予測ユニット１３２２およびインター予測ユニット１３２４を提供して現在ブロックのモード予測として使用することができる。イントラ予測ユニット１３２２は、同じ画面において既に解析されたブロックを利用して処理中のブロックに対して画素数値予測および残余値変換を行う。インター予測ユニット１３２４は、連続する複数の入力映像の間のブロックに対して画素予測および残余値変換を行う。つまり、予測ユニット１３２０は、設定後に受信した画像データ（入力画像データ）およびビデオ復号化された後の画像データ（同じ画面において既に解析されたブロック）に対し、予測値を生成することができる。
【0060】
イントラ予測ユニット１３２２は、設定後にインデックスを受信するとともに、前記インデックスに基づいてフィルタ選択を行い、このインデックスに対応するフィルタインデックス（filter index）を生成し、前記フィルタインデックス（filter index）に基づいて、対応するフィルタを選択してフィルタリング操作を行う、あるいは受信した画像データ（入力画像データ）を直接フィルタリングされたサンプルとして出力する。
【0061】
図１２における設定後に複数参照ライン（ＭＲＬ）の映像サンプルを採用してイントラ予測（intra prediction）の操作を行うことを実施するビデオ処理装置１２００は、ビデオ復号化デバイス（decoder）に応用され、図１４の構造ブロック概略図を参照することができる。ビデオ復号化デバイス１４００は、集積回路を含み、且つ図１４で説明する各ユニットは、回路バスが相互接続したハードウェア回路ブロックとして形成される。このハードウェア回路は、単独回路または両者または両者以上を共有ハードウェア回路として組み合わせることができる。いくつかの実例において、図１４で説明したユニットのうちの１つまたは複数は、処理回路上で実行するソフトウェアユニットであってもよい。このような実例において、このようなソフトウェアユニットに用いられるプログラムコードは、メモリの中に保存される。作業システムは、ビデオ復号化デバイス１４００がプログラムコードを取得して、実行できるようにすることができ、ビデオ復号化デバイス１４００が実例技術を実施する操作を実行できるようにする。いくつかの実例において、ソフトウェアユニットは、ビデオ復号化デバイス１４００が起動場所で実行するファームウェアであってもよい。したがって、ビデオ復号化デバイス１４００は、実例技術を実行するハードウェアを有する、またはハードウェア上で実行することによりこのような実例技術を実行するハードウェアを特化するソフトウェア／ファームウェアを有する構造部材である。
【0062】
図１４の実例において、ビデオ復号化デバイス１４００は、ビデオデータメモリ１４１０、エントロピー復号化ユニット１４２０、逆量子化ユニット１４３０、逆変換処置ユニット１４４０、予測処理ユニット１４５０、再構築ユニット１４６０、フィルタユニット１４７０、および復号化された画像バッファ１４８０を含む。予測処理ユニット１４５０は、インター予測ユニット１４５２およびイントラ予測ユニット１４５４を含む。その他の実例において、ビデオ復号化デバイス１４００は、さらに多くの、さらに少ない、または異なる機能部品を含んでもよい。
【0063】
エントロピー復号化ユニット１４２０は、エントロピー復号化構文要素に対してエントロピー復号化を行うことができる。予測処理ユニット１４５０、逆量子化ユニット１４３０、逆変換処置ユニット１４４０、再構築ユニット１４６０、およびフィルタユニット１４７０は、ビットストリームから取り出した構文要素に基づいて、復号化されたビデオデータを生成することができる。ここでは、繰り返し説明しない。ビデオ復号化デバイス１４００において、イントラ予測ユニット１４５４は、図１１が提出する構文解析（syntax parsing）フローＳ１１１０、参照サンプルフィルタリングフローＳ１１２０、イントラ予測フローＳ１１３０、および境界フィルタリングフローＳ１１４０を含む複数参照ライン（ＭＲＬ）のイントラ予測方法の復号化（decoding）フローを実行することができる。つまり、イントラ予測ユニット１４５４は、インデックスを取得して、このインデックスから復号化されたビデオデータが既に参照サンプル平滑化フィルタリング（ＲＳＦ）操作および／または境界フィルタリング（boundary filtering）操作を行ったかどうかを確認するために設定される。イントラ予測ユニット１４５４がこのインデックスに基づいて複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、このイントラ予測ユニットは、フィルタインデックス（filter index）に基づいて、復号化されたビデオデータが参照サンプル平滑化フィルタリング（ＲＳＦ）操作および／または境界フィルタリング（boundary filtering）操作を行っていないものと認定する。
【0064】
本開示内容の複数の実施例において、ビデオコンテンツ符号化に用いる複数参照ライン（ＭＲＬ）のイントラ予測方法を提出する。この方法において、統合参照層（composed tier, CT）の中の再構築された映像サンプルを採用してイントラ予測（intra prediction）の操作を行い、この統合参照層（ＣＴ）は、２個以上の参照層（ＲＴ）を含む。別の複数の実施例において、直接複数の参照層（ＲＴ）中の再構築された映像サンプルを採用してイントラ予測（intra prediction）の操作を行ってもよい。上述したイントラ予測（intra prediction）は、イントラ予測の精度を上げることができる。
【0065】
別の実施形態において、さらに、フィルタを使用するかどうかを動的に決定し、さらにイントラ予測の複雑度を下げることのできる適応フィルタリング技術を提出する。上述した複数ラインを参照として使用し、適応フィルタリング技術を採用することによって、超高解像度映画の圧縮効率を上げ、計算複雑度を下げることができる。
【0066】
上述した内容に基づき、本開示内容が提出する複数の実施例のうちの１つは、インデックスを受信するとともに、前記インデックスに基づいてフィルタ選択を行い、対応するフィルタインデックス（filter index）を生成することを含むイントラ予測（intra prediction）の適応フィルタリング方法を提出する。前記フィルタインデックス（filter index）に基づいて対応するフィルタを選択し、前記フィルタを使用して入力サンプルに対してフィルタリング操作を行い、フィルタリングされたサンプルを生成して出力する、あるいは入力サンプルを直接フィルタリングされたサンプルとして出力する。
【0067】
上述したイントラ予測（intra prediction）の適応フィルタリング方法の複数の実施例のうちの１つにおいて、このインデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、フィルタインデックス（filter index）は、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す。
【0068】
本開示内容が提出する複数の実施例のうちの１つにおいて、上述した複数参照ライン（ＭＲＬ）の映像サンプルは、統合参照層（ＣＴ）または複数の参照層（ＲＴ）の映像サンプル、またはその組み合わせを含む。
【0069】
本開示内容が提出する複数の実施例のうちの１つにおいて、上述したフィルタインデックス（filter index）は、対応するフィルタを選択して、参照サンプル平滑化フィルタリング（ＲＳＦ）を実行する。前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、入力サンプルに対して参照サンプル平滑化フィルタリング（ＲＳＦ）操作を行った後にフィルタリングされたサンプルとして出力し、前記インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、フィルタインデックス（filter index）は、前記入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す。
【0070】
本開示内容が提出する複数の実施例のうちの１つにおいて、上述したフィルタインデックス（filter index）は、さらに、対応する前記フィルタを選択して境界フィルタリング（boundary filtering）を行う。前記インデックスが近隣参照層の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、入力サンプルに対して境界フィルタリング（boundary filtering）操作を行った後にこのフィルタリングされたサンプルを出力し、インデックスが複数参照ライン（ＭＲＬ）の映像サンプルを使用してイントラ予測（intra prediction）の操作を行うことを示す時、フィルタインデックス（filter index）は、入力サンプルを直接前記フィルタリングされたサンプルとして出力することを示す。
【0071】
以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。
【符号の説明】
【0072】
１１０〜１５０ イントラ予測フロー２１０ 予測方向
３２０ 現符号化ユニット（ＣＵ）
３３０ 近隣参照層（ＲＴ）
３４０ 元の現符号化ユニット（ＣＵ）
４１０ 元の現符号化ユニット（ＣＵ）
３５０、４２０、４２２ 更新後の現符号化ユニット（ＣＵ）
４３０ 近隣参照層（ＲＴ）
４４０ 参照層（ＲＴ）
５１０ 現符号化ユニット（ＣＵ）
５２０、５２２、５２４、５２６ 参照層（ＲＴ）
Ｓａ１、Ｓａ２、Ｓａ３、…、またはＳａＮ 参照サンプル
Ｓｂ１、Ｓｂ２、Ｓｂ３、…、またはＳｂＮ 参照サンプル
６０２ 参照層インデックス（ＲＴ Ｉｎｄｅｘ）
６０４ フィルタインデックス（filter index）
６０６ 入力サンプル
６０８ フィルタリングされたサンプル（filtered sample）
６１０ フィルタ選択フロー
６２０ 参照サンプル平滑化モジュール
６２２、６２４、６２６ フィルタ
７０２ 複数参照ライン（ＭＲＬ）インデックス
７０４ フィルタインデックス
７０６ 入力サンプル
７０８ フィルタリングされたサンプル
７１０ フィルタ選択フロー
７２０ 参照サンプル平滑化モジュール
７２２ 参照サンプル平滑化フィルタリング（ＲＳＦ）フロー
７２４ スキップＲＳＦフロー
９０２ 複数参照ライン（ＭＲＬ）インデックス
９０４ フィルタインデックス
９０６ 入力サンプル
９０８ フィルタリングされたサンプル
９１０ フィルタ選択フロー
９２０ 境界フィルタモジュール（boundary filter module）
９２２ 境界フィルタリング（ＢＦ）フロー
９２４ スキップ境界フィルタリング（ＢＦ）フロー
１２００ ビデオ処理装置
１２１０ プロセッサ（processor）
１２２０ メモリ
１２３０ 入力／出力ユニット
１２４０ データバスユニット
１３００ ビデオ符号化デバイス
１３１０ 変換量子化ユニット
１３１２ 変換ユニット
１３１４ 量子化ユニット
１３２０ 予測ユニット
１３２２ イントラ予測ユニット
１３２４ インター予測ユニット
１３３０ 加算器
１３４０ エントロピー符号化ユニット
１３５０ 逆量子化逆変換ユニット
１３５２ 逆量子化ユニット
１３５４ 逆変換ユニット
１３６０ 加算器
１３７０ 画面バッファ
１４００ ビデオ復号化デバイス
１４１０ ビデオデータメモリ
１４２０ エントロピー復号化ユニット
１４３０ 逆量子化ユニット
１４４０ 逆変換処理ユニット
１４５０ 予測処理ユニット
１４５２ インター予測ユニット
１４５４ イントラ予測ユニット
１４６０ 再構築ユニット
１４７０ フィルタユニット
１４８０ 復号化された画像バッファ
Ｓ１０１０〜Ｓ１０５６ 複数参照ライン（ＭＲＬ）のイントラ予測方法の符号化（encoding）フロー
Ｓ１１１０〜Ｓ１１４４ 複数参照ライン（ＭＲＬ）のイントラ予測方法の復号化（decoding）フロー
ＩＭ 画像
ＤＡ、ＴＤ データ
ＭＲ 残余値
ＶＤ 映像データ
Ｎ１ 入力端子
Ｎ２ 出力端子
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【外国語明細書】