(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189870
(43)【公開日】2022-12-22
(54)【発明の名称】適応変換タイプを有する空間的に変化する変換
(51)【国際特許分類】
H04N 19/12 20140101AFI20221215BHJP
H04N 19/157 20140101ALI20221215BHJP
H04N 19/176 20140101ALI20221215BHJP
H04N 19/60 20140101ALI20221215BHJP
H04N 19/70 20140101ALI20221215BHJP
【ＦＩ】
H04N19/12
H04N19/157
H04N19/176
H04N19/60
H04N19/70
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022164888
(22)【出願日】2022-10-13
(62)【分割の表示】P 2020566562の分割
【原出願日】2019-05-28
(31)【優先権主張番号】62/678,738
(32)【優先日】2018-05-31
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ，イン
(72)【発明者】
【氏名】ヤン，ハイタオ
(72)【発明者】
【氏名】チェン，ジャンレ
(57)【要約】
【課題】本開示は、適応変換タイプを有するＳＶＴを採用するビデオ復号化方法及び装置を開示する。
【解決手段】方法は、残差ブロックのためのＳＶＴ－Ｖ又はＳＶＴ－Ｈの使用を決定することと、残差ブロックの変換ブロックの変換ブロック位置を決定することと、変換ブロックの変換タイプを決定することであり、変換タイプは変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はＤＳＴ－７である、ことと、変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成することとを有する。本開示の解決法を用いることによって、復号化品質を改善することができる。
【選択図】図５
【解決手段】方法は、残差ブロックのためのＳＶＴ－Ｖ又はＳＶＴ－Ｈの使用を決定することと、残差ブロックの変換ブロックの変換ブロック位置を決定することと、変換ブロックの変換タイプを決定することであり、変換タイプは変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はＤＳＴ－７である、ことと、変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成することとを有する。本開示の解決法を用いることによって、復号化品質を改善することができる。
【選択図】図５
【特許請求の範囲】
【請求項1】
ビデオ復号化方法であって、
ビットストリーム内の第１フラグに従って、空間的に変化する変換（ＳＶＴ）が残差ブロックに対して使用されていることを決定することと、
前記ビットストリーム内の第２フラグに従って、前記残差ブロックのためのＳＶＴタイプを決定することであり、前記ＳＶＴタイプは、ＳＶＴ－垂直（Ｖ）タイプ又はＳＶＴ－水平（Ｈ）タイプのどちらか一方であり、前記ＳＶＴ－Ｖタイプは、前記残差ブロックの変換ブロックの第１の幅が前記残差ブロックの第２の幅の４分の１であること、及び前記変換ブロックの第１の高さが前記残差ブロックの第２の高さと同じであることを示し、前記ＳＶＴ－Ｈタイプは、前記第１の幅が前記第２の幅と同じであること、及び前記第１の高さが前記第２の高さの４分の１であることを示す、ことと、
前記ビットストリーム内のシンタックス要素に従って、前記変換ブロックの変換ブロック位置を決定することと、
前記ＳＶＴタイプ及び前記変換ブロック位置に従って前記変換ブロックの変換タイプを決定することと、
変換ブロックサイズに従って前記変換ブロックの変換係数をパースすることと、
前記変換タイプ、前記変換ブロックサイズ、前記変換ブロック位置、及び前記変換係数に基づき前記残差ブロックを再構成することと
を有するビデオ復号化方法。
ビットストリーム内の第１フラグに従って、空間的に変化する変換（ＳＶＴ）が残差ブロックに対して使用されていることを決定することと、
前記ビットストリーム内の第２フラグに従って、前記残差ブロックのためのＳＶＴタイプを決定することであり、前記ＳＶＴタイプは、ＳＶＴ－垂直（Ｖ）タイプ又はＳＶＴ－水平（Ｈ）タイプのどちらか一方であり、前記ＳＶＴ－Ｖタイプは、前記残差ブロックの変換ブロックの第１の幅が前記残差ブロックの第２の幅の４分の１であること、及び前記変換ブロックの第１の高さが前記残差ブロックの第２の高さと同じであることを示し、前記ＳＶＴ－Ｈタイプは、前記第１の幅が前記第２の幅と同じであること、及び前記第１の高さが前記第２の高さの４分の１であることを示す、ことと、
前記ビットストリーム内のシンタックス要素に従って、前記変換ブロックの変換ブロック位置を決定することと、
前記ＳＶＴタイプ及び前記変換ブロック位置に従って前記変換ブロックの変換タイプを決定することと、
変換ブロックサイズに従って前記変換ブロックの変換係数をパースすることと、
前記変換タイプ、前記変換ブロックサイズ、前記変換ブロック位置、及び前記変換係数に基づき前記残差ブロックを再構成することと
を有するビデオ復号化方法。
【請求項2】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｖタイプであり、前記変換ブロック位置は、前記残差ブロックの左上角をカバーし、前記水平変換は離散コサイン変換（ＤＣＴ）－８に基づき、前記垂直変換は離散サイン変換（ＤＳＴ）－７に基づく、
請求項１に記載のビデオ復号化方法。
請求項１に記載のビデオ復号化方法。
【請求項3】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｖタイプであり、前記変換ブロック位置は、前記残差ブロックの右下角をカバーし、前記水平変換は離散サイン変換（ＤＳＴ）－７に基づき、前記垂直変換は前記ＤＳＴ－７に基づく、
請求項１に記載のビデオ復号化方法。
請求項１に記載のビデオ復号化方法。
【請求項4】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｈタイプであり、前記変換ブロック位置は、前記残差ブロックの左上角をカバーし、前記水平変換は離散サイン変換（ＤＳＴ）－７に基づき、前記垂直変換は離散コサイン変換（ＤＣＴ）－８に基づく、
請求項１に記載のビデオ復号化方法。
請求項１に記載のビデオ復号化方法。
【請求項5】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｈタイプであり、前記変換ブロック位置は、前記残差ブロックの右下角をカバーし、前記水平変換は離散サイン変換（ＤＳＴ）－７に基づき、前記垂直変換は前記ＤＳＴ－７に基づく、
請求項１に記載のビデオ復号化方法。
請求項１に記載のビデオ復号化方法。
【請求項6】
ビデオ符号化方法であって、
空間的に変化する変換（ＳＶＴ）が残差ブロックに対して使用されることを示す第１フラグの値を取得することと、
前記残差ブロックのためのＳＶＴタイプを示す第２フラグの値を取得することであり、前記ＳＶＴタイプは、ＳＶＴ－垂直（Ｖ）タイプ又はＳＶＴ－水平（Ｈ）タイプのどちらか一方であり、前記ＳＶＴ－Ｖタイプは、前記残差ブロックの変換ブロックの第１の幅が前記残差ブロックの第２の幅の４分の１であること、及び前記変換ブロックの第１の高さが前記残差ブロックの第２の高さと同じであることを示し、前記ＳＶＴ－Ｈタイプは、前記第１の幅が前記第２の幅と同じであること、及び前記第１の高さが前記第２の高さの４分の１であることを示す、ことと、
前記変換ブロックの変換ブロック位置を示すシンタックス要素を取得することであり、前記変換ブロックの変換タイプは、前記変換ブロック位置及び前記第２フラグの値に対応する、ことと、
前記変換ブロックの変換係数を取得することと、
前記第１フラグの値、前記第２フラグの値、前記シンタックス要素、及び前記変換係数をビットストリームに含めることと、
前記ビットストリームを送信することと
を有するビデオ符号化方法。
空間的に変化する変換（ＳＶＴ）が残差ブロックに対して使用されることを示す第１フラグの値を取得することと、
前記残差ブロックのためのＳＶＴタイプを示す第２フラグの値を取得することであり、前記ＳＶＴタイプは、ＳＶＴ－垂直（Ｖ）タイプ又はＳＶＴ－水平（Ｈ）タイプのどちらか一方であり、前記ＳＶＴ－Ｖタイプは、前記残差ブロックの変換ブロックの第１の幅が前記残差ブロックの第２の幅の４分の１であること、及び前記変換ブロックの第１の高さが前記残差ブロックの第２の高さと同じであることを示し、前記ＳＶＴ－Ｈタイプは、前記第１の幅が前記第２の幅と同じであること、及び前記第１の高さが前記第２の高さの４分の１であることを示す、ことと、
前記変換ブロックの変換ブロック位置を示すシンタックス要素を取得することであり、前記変換ブロックの変換タイプは、前記変換ブロック位置及び前記第２フラグの値に対応する、ことと、
前記変換ブロックの変換係数を取得することと、
前記第１フラグの値、前記第２フラグの値、前記シンタックス要素、及び前記変換係数をビットストリームに含めることと、
前記ビットストリームを送信することと
を有するビデオ符号化方法。
【請求項7】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｖタイプであり、前記変換ブロック位置は、前記残差ブロックの左上角をカバーし、前記水平変換は離散コサイン変換（ＤＣＴ）－８に基づき、前記垂直変換は離散サイン変換（ＤＳＴ）－７に基づく、
請求項６に記載のビデオ符号化方法。
請求項６に記載のビデオ符号化方法。
【請求項8】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｖタイプであり、前記変換ブロック位置は、前記残差ブロックの右下角をカバーし、前記水平変換は離散サイン変換（ＤＳＴ）－７に基づき、前記垂直変換は前記ＤＳＴ－７に基づく、
請求項６に記載のビデオ符号化方法。
請求項６に記載のビデオ符号化方法。
【請求項9】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｈタイプであり、前記変換ブロック位置は、前記残差ブロックの左上角をカバーし、前記水平変換は離散サイン変換（ＤＳＴ）－７に基づき、前記垂直変換は離散コサイン変換（ＤＣＴ）－８に基づく、
請求項６に記載のビデオ符号化方法。
請求項６に記載のビデオ符号化方法。
【請求項10】
前記変換ブロックの前記変換タイプは、前記変換ブロックのための水平変換及び垂直変換を示し、前記ＳＶＴタイプは前記ＳＶＴ－Ｈタイプであり、前記変換ブロック位置は、前記残差ブロックの右下角をカバーし、前記水平変換は離散サイン変換（ＤＳＴ）－７に基づき、前記垂直変換は前記ＤＳＴ－７に基づく、
請求項６に記載のビデオ符号化方法。
請求項６に記載のビデオ符号化方法。
【請求項11】
ビデオ復号化装置であって、
１つ以上のプロセッサと、
前記プロセッサへ結合され、前記プロセッサによって実行されるプログラミングを記憶している非一時的なコンピュータ可読記憶媒体と
を有し、
前記プログラミングは、前記プロセッサによって実行されると、当該ビデオ復号化装置に、請求項１乃至５のうちいずれか一項に記載のビデオ復号化方法を実行させる、
ビデオ復号化装置。
１つ以上のプロセッサと、
前記プロセッサへ結合され、前記プロセッサによって実行されるプログラミングを記憶している非一時的なコンピュータ可読記憶媒体と
を有し、
前記プログラミングは、前記プロセッサによって実行されると、当該ビデオ復号化装置に、請求項１乃至５のうちいずれか一項に記載のビデオ復号化方法を実行させる、
ビデオ復号化装置。
【請求項12】
ビデオ符号化装置であって、
１つ以上のプロセッサと、
前記プロセッサへ結合され、前記プロセッサによって実行されるプログラミングを記憶している非一時的なコンピュータ可読記憶媒体と
を有し、
前記プログラミングは、前記プロセッサによって実行されると、当該ビデオ符号化装置に、請求項６乃至１０のうちいずれか一項に記載のビデオ符号化方法を実行させる、
ビデオ符号化装置。
１つ以上のプロセッサと、
前記プロセッサへ結合され、前記プロセッサによって実行されるプログラミングを記憶している非一時的なコンピュータ可読記憶媒体と
を有し、
前記プログラミングは、前記プロセッサによって実行されると、当該ビデオ符号化装置に、請求項６乃至１０のうちいずれか一項に記載のビデオ符号化方法を実行させる、
ビデオ符号化装置。
【請求項13】
１つ以上のプロセッサによって実行されると、該１つ以上のプロセッサに、請求項１乃至５のうちいずれか一項に記載のビデオ復号化方法を実行させるコンピュータ命令を記憶しているコンピュータ可読記憶媒体。
【請求項14】
１つ以上のプロセッサによって実行されると、該１つ以上のプロセッサに、請求項６乃至１０のうちいずれか一項に記載のビデオ符号化方法を実行させるコンピュータ命令を記憶しているコンピュータ可読記憶媒体。
【請求項15】
コンピュータに、請求項１乃至５のうちいずれか一項に記載のビデオ復号化方法を実行させるよう構成されるコンピュータプログラム。
【請求項16】
コンピュータに、請求項６乃至１０のうちいずれか一項に記載のビデオ符号化方法を実行させるよう構成されるコンピュータプログラム。
【請求項17】
ビットストリームを記憶するコンピュータ可読記憶媒体であって、
前記ビットストリームは、変換ブロックの変換係数と、複数のシンタックス要素とを含み、
前記複数のシンタックス要素は、
空間的に変化する変換（ＳＶＴ）が残差ブロックに対して使用されることを示す第１フラグと、
前記残差ブロックのためのＳＶＴタイプを示す第２フラグであり、前記ＳＶＴタイプは、ＳＶＴ－垂直（Ｖ）タイプ又はＳＶＴ－水平（Ｈ）タイプのどちらか一方であり、前記ＳＶＴ－Ｖタイプは、前記残差ブロックの変換ブロックの第１の幅が前記残差ブロックの第２の幅の４分の１であること、及び前記変換ブロックの第１の高さが前記残差ブロックの第２の高さと同じであることを示し、前記ＳＶＴ－Ｈタイプは、前記第１の幅が前記第２の幅と同じであること、及び前記第１の高さが前記第２の高さの４分の１であることを示す、前記第２フラグと、
前記変換ブロックの変換ブロック位置を示すシンタックス要素であり、前記変換ブロックの変換タイプは、前記変換ブロック位置及び前記第２フラグの値に対応する、前記シンタックス要素と
を含む、
コンピュータ可読記憶媒体。
前記ビットストリームは、変換ブロックの変換係数と、複数のシンタックス要素とを含み、
前記複数のシンタックス要素は、
空間的に変化する変換（ＳＶＴ）が残差ブロックに対して使用されることを示す第１フラグと、
前記残差ブロックのためのＳＶＴタイプを示す第２フラグであり、前記ＳＶＴタイプは、ＳＶＴ－垂直（Ｖ）タイプ又はＳＶＴ－水平（Ｈ）タイプのどちらか一方であり、前記ＳＶＴ－Ｖタイプは、前記残差ブロックの変換ブロックの第１の幅が前記残差ブロックの第２の幅の４分の１であること、及び前記変換ブロックの第１の高さが前記残差ブロックの第２の高さと同じであることを示し、前記ＳＶＴ－Ｈタイプは、前記第１の幅が前記第２の幅と同じであること、及び前記第１の高さが前記第２の高さの４分の１であることを示す、前記第２フラグと、
前記変換ブロックの変換ブロック位置を示すシンタックス要素であり、前記変換ブロックの変換タイプは、前記変換ブロック位置及び前記第２フラグの値に対応する、前記シンタックス要素と
を含む、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオ復号化技術に、具体的に、適応変換タイプを有する空間的に変化する変換を採用するビデオ復号化方法及び関連する装置に関係がある。
【背景技術】
【0002】
Ｈ．２６５のようなビデオコーディングは、予測及び変換のフレームワークに基づく。エンコーダで、画像ブロック（複数のピクセルを含む）は、予測ブロック及び残差ブロックに分解され得、予測情報（例えば、予測モード及び動きベクトル情報）及び残差情報（例えば、変換モード、変換係数及び量子化パラメータ）はビットストリームにコーディングされる。デコーダで、予測情報及び残差情報はパースされる。予測情報に従って、イントラ又はインター予測は、予測サンプルを生成するよう行われる。残差情報に従って、逆量子化及び逆変換は、残差サンプルを生成するよう順次行われる。予測サンプル及び残差サンプルは、再構成されたサンプルを得るよう足し合わされる。
【0003】
空間的に変化する変換（ＳＶＴ）は、ビデオコーディング効率を改善するために開発された。幅ｗ及び高さｈ（すなわち、ｗ×ｈ）の矩形残差ブロックについて、残差ブロックよりも小さい変換ブロックは、残差ブロックの一部を変換するために使用され、残差ブロックの残りの部分はコーディングされない。ＳＶＴの裏側にある論理的根拠は、残差が残差ブロックにおいて等しく分布していないことがあることである。適応的な位置を有しているより小さい変換ブロックを使用することは、残差ブロックにおける主要な残差を捕捉することができ、よって、残差ブロックにおける全ての残差を変換することよりも良いコーディング効率を達成し得る。
【0004】
ＳＶＴがサイズｗ×ｈの残差ブロックのために適用される場合に、変換ブロックのサイズ及び位置情報はビデオビットストリームにコーディングされ、よって、デコーダは、変換ブロックを再構成し、それを、残差ブロックに関連する予測ブロックの適所に構成することができる。
【0005】
一例において、ＳＶＴブロックの３つのタイプが、図１に表されるように、残差ブロックのために使用され得る。
１）ＳＶＴ－Ｉ：ｗ＿ｔ＝ｗ／２、ｈ＿ｔ＝ｈ／２、このとき、ｗ＿ｔ及びｈ＿ｔは、夫々、変換ブロックの幅及び高さを表し、ｗ及びｈは、残差ブロックの幅及び高さを表す。言い換えれば、変換ブロックの幅及び高さは、両方とも、残差ブロックのそれらの半分である。
２）ＳＶＴ－ＩＩ：ｗ＿ｔ＝ｗ／４、ｈ＿ｔ＝ｈ。
３）ＳＶＴ－ＩＩＩ：ｗ＿ｔ＝ｗ、ｈ＿ｔ＝ｈ／４。
１）ＳＶＴ－Ｉ：ｗ＿ｔ＝ｗ／２、ｈ＿ｔ＝ｈ／２、このとき、ｗ＿ｔ及びｈ＿ｔは、夫々、変換ブロックの幅及び高さを表し、ｗ及びｈは、残差ブロックの幅及び高さを表す。言い換えれば、変換ブロックの幅及び高さは、両方とも、残差ブロックのそれらの半分である。
２）ＳＶＴ－ＩＩ：ｗ＿ｔ＝ｗ／４、ｈ＿ｔ＝ｈ。
３）ＳＶＴ－ＩＩＩ：ｗ＿ｔ＝ｗ、ｈ＿ｔ＝ｈ／４。
【0006】
ＳＶＴブロックのタイプ情報は、ビットストリームにコーディングされる。
【0007】
変換ブロックの位置は、残差ブロックの左上角への位置オフセット（ｘ，ｙ）によって表され、このとき、ｘは、ピクセルの単位での変換ブロックの左上角と残差ブロックのそれとの間の水平距離を示し、ｙは、ピクセルの単位での変換ブロックの左上角と残差ブロックのそれとの間の垂直距離を示す。変換ブロックを残差ブロック内にあるようにする各位置は、候補位置である。残差ブロックについて、候補位置の数は、ＳＶＴのタイプについて（ｗ－ｗ＿ｔ＋１）×（ｈ－ｈ＿ｔ＋１）である。より具体的には、１６×１６の残差ブロックについて、ＳＶＴ－Ｉが使用される場合に、８１個の候補位置が存在し、ＳＶＴ－ＩＩ又はＳＶＴ－ＩＩＩが使用される場合に、１３個の候補位置が存在する。ｘ及びｙの値は、ビットストリームにコーディングされる。ＳＶＴ－Ｉの複雑さを減らすよう、３２個の位置のサブセットが、ＳＶＴ－Ｉのための許可された候補位置として、８１個の候補位置から選択される。
【0008】
ＳＶＴスキームの１つの欠点は、位置情報の重いシグナリングオーバーヘッドである。その上、エンコーダ複雑性は、レート歪み最適化（ＲＤＯ）で試験される位置の数とともに大いに増大し得る。候補位置の数が残差ブロックのサイズとともに増えるので、オーバーヘッドは、３２×３２又は６４×１２８のような、より大きい残差ブロックについて、より一層大きくなり得る。
【0009】
ＳＶＴスキームのもう１つの欠点は、変換ブロックのサイズが残差ブロックの１／４であることである。変換ブロックは、高い確実性で、残差ブロックにおける主要な残差をカバーするほど十分に大きくない。
【0010】
従って、簡単なＳＶＴが開発されており、図２に示されるように、ＳＶＴ－Ｈ及びＳＶＴ－Ｖと表されるＳＶＴブロックの２つのタイプが、残差コーディングのために使用される。
１）ＳＶＴ－Ｖ：ｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｔ。
２）ＳＶＴ－Ｈ：ｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２。
１）ＳＶＴ－Ｖ：ｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｔ。
２）ＳＶＴ－Ｈ：ｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２。
【0011】
ＳＶＴ－Ｖは、ＳＶＴ－ＩＩに類似し、ＳＶＴ－Ｈは、ＳＶＴ－ＩＩＩに類似する。ＳＶＴ－ＩＩ及びＳＶＴ－ＩＩＩと比較して、ＳＶＴ－Ｖ及びＳＶＴ－Ｈにおける変換ブロックは、残差ブロックの半分に広げられて、残差ブロックにおける更なる残差をカバーすることができる。
【0012】
候補位置は、候補位置ステップサイズ（ＣＰＳＳ）によって決定される。従って、候補位置は、ＣＰＳＳによって指定された等間隔で離されている。候補位置の数は、５以下に減らされて、最良の変換ブロック位置を決定するためのエンコーダ複雑性に加えて位置情報のオーバーヘッドを軽減する。
【発明の概要】
【0013】
本開示は、復号化品質を改善するよう、適応変換タイプを有する空間的に変化する変換を採用するビデオ復号化方法及び関連する装置を開示する。
【0014】
上記及び他の目的は、独立請求項の主題によって達成される。更なる実施形態は、従属請求項、明細書及び図面から明らかである。
【0015】
第１の態様に従って、本開示は、ビデオ復号化方法に関係がある。方法は、ビデオ復号化装置によって実行される。方法は、残差ブロックのための空間的に変化する変換（ＳＶＴ）の使用を決定することと、ＳＶＴが残差ブロックのために使用される場合に残差ブロックのためのＳＶＴタイプを決定することであり、残差ブロックのためのＳＶＴタイプは、ＳＶＴ－Ｖ又はＳＶＴ－Ｈのどちらか一方である、ことと、残差ブロックの変換ブロックの変換ブロック位置を決定することであり、変換ブロックの変換タイプを決定することであり、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はＤＳＴ－７である、ことと、変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて前記残差ブロックを再構成することとを含む。
【0016】
第１の態様に従う方法の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はＤＣＴ－８であり、垂直変換はＤＳＴ－７である。
【0017】
第１の態様に従う方法の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0018】
第１の態様に従う方法の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＣＴ－８である。
【0019】
第１の態様に従う方法の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0020】
第２の態様に従って、本開示は、残差ブロックのための空間的に変化する変換（ＳＶＴ）の使用を決定するよう構成されるユニットと、ＳＶＴが残差ブロックのために使用される場合に残差ブロックのためのＳＶＴタイプを決定するよう構成され、残差ブロックのためのＳＶＴタイプは、ＳＶＴ－Ｖ又はＳＶＴ－Ｈのどちらか一方である、ユニットと、残差ブロックの変換ブロックの変換ブロック位置を決定するよう構成されるユニットと、変換ブロックの変換タイプを決定するよう構成され、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はＤＳＴ－７である、ユニットと、変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成するよう構成されるユニットとを有するビデオ復号化装置に関係がある。
【0021】
第２の態様に従う装置の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はＤＣＴ－８であり、垂直変換はＤＳＴ－７である。
【0022】
第２の態様に従う装置の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0023】
第２の態様に従う装置の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＣＴ－８である。
【0024】
第２の態様に従う装置の可能な実施形態で、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0025】
第３の態様に従って、本開示は、１つ以上のプロセッサと、プロセッサへ結合され、プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ可読記憶媒体とを有し、プログラミングが、プロセッサによって実行される場合に、第１の態様に従う方法を実行するようビデオ復号化装置を構成する、ビデオ復号化装置に関係がある。
【0026】
第４の態様に従って、本開示は、１つ以上のプロセッサによって実行される場合に、１つ以上のプロセッサに、第１の態様に従う方法のステップを実行させるコンピュータ命令を記憶している不揮発性のコンピュータ可読記憶媒体に関係がある。
【0027】
本開示は、ＳＶＴタイプ及び位置情報に基づいて変換ブロックの複数の変換タイプを適応的に使用し、従って、復号化品質及び復号化効率を改善することができ、更には、変換アルゴリズムの数は、いくつかの実施形態で制限され、従って、復号化装置の実現を簡単にすることができる、ことが分かる。
【図面の簡単な説明】
【0028】
【図1】ＳＶＴ－Ｉ、ＳＶＴ－ＩＩ及びＳＶＴ－ＩＩＩの説明図である。
【図2】ＳＶＴ－Ｖ及びＳＶＴ－Ｈの説明図である。
【図3】ＳＶＴ－Ｖ及びＳＶＴ－Ｈブロックの候補位置の説明図である。
【図4】３つの候補位置を有するＳＶＴ－Ｖ及びＳＶＴ－Ｈの説明図である。
【図5】本開示の実施形態に従うビデオ復号化方法のフローチャートである。
【図6】本開示の実施形態に従うビデオ復号化装置の略構造図である。
【発明を実施するための形態】
【0029】
本開示は、改善されたＳＶＴスキームを紹介する。改善は、ＳＶＴブロックの水平変換のタイプ及び垂直変換のタイプがＳＶＴタイプ及びＳＶＴブロック位置に基づいて決定されることである。水平変換は垂直変換とは異なり得る。
【0030】
第１の実施形態は、残差ブロックを復号するプロセスについて記載する。ビデオデータの少なくとも１つのピクチャを含むビットストリームが復号される。ピクチャは、複数の矩形画像領域に分割され、各領域は、コーディング・ツリー・ユニット（ＣＴＵ）に対応する。ＣＴＵは、ビットストリームに含まれるブロックパーティション情報に従って、ＨＥＶＣにおけるコーディングユニットのような複数のブロックにパーティショニングされる。ブロックのコーディング情報は、ビットストリームからパースされ、ブロックのピクセルは、コーディング情報に基づいて再構成される。
【0031】
一実施形態で、ＳＶＴは、インター予測されたブロックのために使用されることに制限される。他の実施形態では、ＳＶＴは、イントラ予測されたブロックのためにも使用されてよい。
【0032】
一例において、ＳＶＴは、特定のインター予測方法（例えば、平行移動モデルに基づく動き補償）を使用するブロックについて許可されるが、他の何らかのインター予測方法（例えば、アフィンモデルに基づく動き補償）を使用するブロックについては許可されないことがある。他の例では、ＳＶＴは、１／４画素動きベクトル差精度を有するマージモード又はＡＭＶＰ（advanced motion vector prediction）モードを使用する予測ブロックについて許可されるが、１画素又は４画素動きベクトル差精度を有するアフィンマージモード、アフィンインターモード又はＡＭＶＰモードを使用する予測ブロックについては許可されないことがある。他の例では、ＳＶＴは、２よりも小さいマージインデックスを有するマージモードを使用する予測ブロックについて許可されるが、２よりも小さくないマージインデックスを有するマージモードを使用する予測ブロックについては許可されないことがある。マージモード及びＡＭＶＰモードは、Ｈ．２６５／ＨＥＶＣ標準において参照され得る。アフィンマージモード及びアフィンインターモードは、ＪＶＥＴ（Joint Video Exploration Team）からのＪＥＭ（Joint Exploration Model）コーデックにおいて参照され得る。
【0033】
一例において、ブロックは、コーディングユニットを指してよく、このとき、コーディングユニットは、１つの予測ブロック及び１つの残差ブロックを含んでよい。予測ブロックは、コーディングユニットの全ての予測サンプルを含んでよく、残差ブロックは、コーディングユニットの全ての残差サンプルを含んでよく、予測ブロックは、残差ブロックと同じサイズを有する。他の例では、ブロックは、コーディングユニットを指してよく、コーディングユニットは、２つの予測ブロック及び１つの残差ブロックを含んでよく、各予測ブロックは、コーディングユニットの予測サンプルの一部を含んでよく、残差ブロックは、コーディングユニットの全ての残差サンプルを含んでよい。他の例では、ブロックは、コーディングユニットを指してよく、コーディングユニットは、２つの予測ブロック及び４つの残差ブロックを含んでよい。ＨＥＶＣにおける残差四分木（ＲＱＴ）のような、コーディングユニットにおける残差ブロックのパーティションパターンは、ビットストリームにおいて伝えられてよい。
【0034】
ブロックは、画像サンプル（又はピクセル）のＹ成分（ルーマ）しか含まなくてもよく、あるいは、それは、画像サンプルのＹ、Ｕ（クロミナンス）及びＶ（クロミナンス）成分を含んでよい。
【0035】
サイズｗ×ｈの残差ブロックＲＯは、次のステップによって再構成され得る。
【0036】
ステップ１．残差ブロックＲＯの変換ブロックサイズを決定する。
【0037】
ステップ１．１．シンタックス要素に従ってＳＶＴの使用を決定する。ＳＶＴを使用することを許可されている残差ブロックについて、残差ブロックがＹ成分の非ゼロ変換係数を有している（あるいは、それが、任意の色成分の非ゼロ変換係数を有している）場合に、フラグ（すなわち、ｓｖｔ＿ｆｌａｇ）がビットストリームからパースされる。フラグは、残差ブロックが残差ブロックと同じサイズの変換ブロックを用いてコーディングされているか（例えば、ｓｖｔ＿ｆｌａｇ＝０）、あるいは、残差ブロックが残差ブロックのサイズよりも小さいサイズの変換ブロックによりコーディングされているか（例えば、ｓｖｔ＿ｆｌａｇ＝１）どうかを示す。ブロックが色成分の非ゼロ変換係数を有しているかどうかは、ＨＥＶＣで使用されるような、色成分のコーディングされたブロックフラグ（ｃｂｆ）によって示されてよい。ブロックが任意の色成分の非ゼロ変換係数を有しているかどうかは、ＨＥＶＣで使用されるような、ルートコーディングされたブロックフラグ（ｒｏｏｔ ｃｂｆ）によって示されてよい。
【0038】
一例において、ブロックは、次の条件が満足される場合に、ＳＶＴを使用することを許可される。
１）ブロックは、インター予測を用いて予測される。
２）ブロック幅又はブロック高さのどちらか一方は、所定の範囲［ａ１，ａ２］、例えば、ａ１＝１６及びａ２＝６４、又はａ１＝８及びａ２＝６４、又はａ１＝１６及びａ２＝１２８、に入る。ａ１及びａ２の値は、固定値であることができる。値はまた、シーケンス・パラメータ・セット（ＳＰＳ）又はスライスヘッダからも導出され得る。
１）ブロックは、インター予測を用いて予測される。
２）ブロック幅又はブロック高さのどちらか一方は、所定の範囲［ａ１，ａ２］、例えば、ａ１＝１６及びａ２＝６４、又はａ１＝８及びａ２＝６４、又はａ１＝１６及びａ２＝１２８、に入る。ａ１及びａ２の値は、固定値であることができる。値はまた、シーケンス・パラメータ・セット（ＳＰＳ）又はスライスヘッダからも導出され得る。
【0039】
他の例では、ブロックは、次の条件が満足される場合に、ＳＶＴを使用することを許可される。
１）ブロックは、閾値（例えば、１又は２又は３）よりも小さいマージインデックスを有するマージモードを用いて、あるいは、１／４画素動きベクトル差精度を有するＡＭＶＰモードを用いて予測される。
２）ブロックの１つの次元は、所定の範囲［ａ１，ａ２］に入り、ブロックの他の次元は、閾値ａ３よりも大きくなく、例えば、ａ１＝８、ａ２＝３２、及びａ３＝３２である。パラメータａ１は、最小変換サイズの２倍としてセットされてよく、ａ２及びａ３は、両方とも、最大変換サイズとしてセットされてよい。ａ１、ａ２、及びａ３の値は、固定値であることができる。値はまた、シーケンス・パラメータ・セット（ＳＰＳ）又はスライスヘッダからも導出され得る。
１）ブロックは、閾値（例えば、１又は２又は３）よりも小さいマージインデックスを有するマージモードを用いて、あるいは、１／４画素動きベクトル差精度を有するＡＭＶＰモードを用いて予測される。
２）ブロックの１つの次元は、所定の範囲［ａ１，ａ２］に入り、ブロックの他の次元は、閾値ａ３よりも大きくなく、例えば、ａ１＝８、ａ２＝３２、及びａ３＝３２である。パラメータａ１は、最小変換サイズの２倍としてセットされてよく、ａ２及びａ３は、両方とも、最大変換サイズとしてセットされてよい。ａ１、ａ２、及びａ３の値は、固定値であることができる。値はまた、シーケンス・パラメータ・セット（ＳＰＳ）又はスライスヘッダからも導出され得る。
【0040】
ブロックがＳＶＴを使用しない場合に、変換ブロックサイズはｗ×ｈにセットされる。そうでなければ、ステップ１．２が、変換サイズを決定するために適用される。
【0041】
ステップ１．２．シンタックス要素に従ってＳＶＴのタイプを決定し、ＳＶＴタイプに従って変換ブロックサイズを導出する。残差ブロックのための許可されたＳＶＴタイプは、残差ブロックの幅及び高さに基づいて決定される。ＳＶＴ－Ｖは、ｗが範囲［ａ１，ａ２］内にあり、ｈがａ３よりも大きくない場合に許可され、ＳＶＴ－Ｈは、ｈが範囲［ａ１，ａ２］内にあり、ｗがａ３よりも大きくない場合に許可される。ＳＶＴは、Ｙ成分のためにのみ使用されてよく、あるいは、それは、３つ全ての成分、すなわち、Ｙ成分、Ｕ成分及びＶ成分のために使用されてよい。ＳＶＴがＹ成分のためにのみ使用される場合に、Ｙ成分残差はＳＶＴによって変換され、Ｕ及びＶ成分は残差ブロックのサイズに従って変換される。
【0042】
ＳＶＴ－Ｖ及びＳＶＴ－Ｈの両方が許可される場合に、１つのフラグ（すなわち、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ）がビットストリームからパースされ、それは、残差ブロックのためにＳＶＴ－Ｖが使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ＝０）、あるいは、ＳＶＴ－Ｈが使用されるか（例えば、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇ＝１）どうかを示し、変換ブロックサイズは、信号により伝えられたＳＶＴタイプに従ってセットされる（すなわち、ＳＶＴ－Ｖについて、Ｗ＿ｔ＝ｗ／２及びｈ＿ｔ＝ｈ、かつ、ＳＶＴ－Ｈについて、ｗ＿ｔ＝ｗ及びｈ＿ｔ＝ｈ／２）。ＳＶＴ－Ｖしか許可されないか、あるいは、ＳＶＴ－Ｈしか許可されない場合に、ｓｖｔ＿ｔｙｐｅ＿ｆｌａｇはビットストリームからパースされず、変換ブロックサイズは、許可されたＳＶＴタイプに従ってセットされる。
【0043】
ステップ２．シンタックス要素に従って変換ブロック位置を決定し、ＳＶＴのタイプ及び変換ブロック位置情報に基づいて変換ブロックの変換タイプを決定する。
【0044】
ステップ２．１：シンタックス要素に従って変換ブロック位置を決定する。
【0045】
位置インデックスＰは、ビットストリームからパースされ、残差ブロック左上角に対する変換ブロックの左上角の位置オフセットＺは、Ｚ＝ｓ×Ｐとして決定され、このとき、ｓは、候補位置ステップサイズ（ＣＰＳＳ）である。Ｐの値は、ＳＶＴ－Ｖが使用される場合に、０，１，・・・，（ｗ－ｗ＿ｔ）／ｓの中の１つであり、あるいは、Ｐの値は、ＳＶＴ－Ｈが使用される場合に、０，１，・・・，（ｈ－ｈ＿ｔ）／ｓの中の１つである。より具体的には、（０，０）が残差ブロックの左上角の座標を表すとすれば、変換ブロックの左上角の座標は、ＳＶＴ－Ｖについて（Ｚ，０）又はＳＶＴ－Ｈについて（０，Ｚ）である。
【0046】
一例において、ＣＰＳＳは、ＳＶＴ－Ｖについてｓ＝ｗ／Ｍ１、又はＳＶＴ－Ｈについてｓ＝ｈ／Ｍ２と計算され、このとき、ｗ及びｈは、夫々、残差ブロックの幅及び高さであり、Ｍ１及びＭ２は、２から８の範囲にある所定の整数である。より多くの候補位置は、より大きいＭ１又はＭ２の値とともに許可される。この例で、Ｍ１及びＭ２は両方とも８としてセットされる。従って、Ｐの値は０から４の中の１つである。候補位置は、図３で表される。
【0047】
他の例では、ＣＰＳＳは、ＳＶＴ－Ｖについてｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）、又はＳＶＴ－Ｈについてｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）と計算され、このとき、Ｔｈ１及びＴｈ２は、最小ステップサイズを指定する予め定義された整数である。Ｔｈ１及びＴｈ２は、２以上の整数である。この例では、Ｔｈ１及びＴｈ２は４としてセットされ、Ｍ１及びＭ２は８としてセットされる。この例で、異なるブロックサイズは、異なる数の候補位置を有してよい。例えば、ｗ＝８の場合に、２つの候補位置（図３（ａ）及び図３（ｅ）によって表される）が、選択するために利用可能であり、ｗ＝１６の場合に、３つの候補位置（図３（ａ）、図３（ｃ）、及び図３（ｅ）によって表される）が、選択するために利用可能であり、ｗ＞１６の場合に、５つの位置が、選択するために利用可能である。
【0048】
他の例では、ＣＰＳＳは、ＳＶＴ－Ｖについてｓ＝ｗ／Ｍ１、又はＳＶＴ－Ｈについてｓ＝ｈ／Ｍ２と計算され、このとき、Ｍ１及びＭ２は４としてセットされる。従って、３つの候補位置が許可される。
【0049】
他の例では、ＣＰＳＳは、ＳＶＴ－Ｖについてｓ＝ｗ／Ｍ１、又はＳＶＴ－Ｈについてｓ＝ｈ／Ｍ２と計算され、このとき、Ｍ１及びＭ２は２としてセットされる。従って、２つの候補位置が許可される。
【0050】
他の例では、ＣＰＳＳは、ＳＶＴ－Ｖについてｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）、又はＳＶＴ－Ｈについてｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）と計算され、このとき、Ｔｈ１及びＴｈ２は２としてセットされ、Ｍ１は、ｗ≧ｈの場合に８としてセットされ、あるいは、ｗ＜ｈの場合に４としてセットされ、Ｍ２は、ｈ≧ｗの場合に８としてセットされ、あるいは、ｈ＜ｗの場合に４としてセットされる。この場合に、ＳＶＴ－Ｈ又はＳＶＴ－Ｖのための候補位置の数は、残差ブロックのアスペクト比に更に依存し得る。
【0051】
他の例では、ＣＰＳＳは、ＳＶＴ－Ｖについてｓ＝ｍａｘ（ｗ／Ｍ１，Ｔｈ１）、又はＳＶＴ－Ｈについてｓ＝ｍａｘ（ｈ／Ｍ２，Ｔｈ２）と計算され、このとき、Ｍ１、Ｍ２、Ｔｈ１及びＴｈ２の値は、ビットストリーム内のハイレベル・シンタックス構造（例えば、シーケンス・パラメータ・セット）から導出される。Ｍ１及びＭ２は、シンタックス要素からパースされた同じ値を共有してよく、Ｔｈ１及びＴｈ２は、他のシンタックス要素からパースされた同じ値を共有してよい。
【0052】
位置インデックスＰは、truncated unary符号を用いて１つ以上のビンに２値化されてよい。例えば、Ｐ値が０から４の範囲内にある場合に、Ｐ値０、４、２、３及び１は、０、０１、００１、０００１及び００００と夫々２値化され、Ｐ値が０から１の範囲内にある場合に、Ｐ値０及び１は、０及び１と夫々２値化される。
【0053】
位置インデックスＰは、１つの最もありそうな位置及びいくつかの残りの位置を用いて１つ以上のビンに２値化されてよい。左及び上隣が利用可能である場合に、最もありそうな位置は、残差ブロックの右下角をカバーする位置としてセットされてよい。一例において、Ｐ値が０から４の範囲内にあり、位置４が最もありそうな位置としてセットされる場合に、Ｐ値４、０、１、２及び３は、１、０００、００１、０１０及び０１１と夫々２値化され、Ｐ値が０から２の範囲内にあり、位置２が最もありそうな位置としてセットされる場合に、Ｐ値２、０及び１は、１、０１及び００と夫々２値化される。
【0054】
ステップ２．２：ＳＶＴのタイプ及び変換ブロック位置情報に基づいて変換ブロックの変換タイプを決定する。変換タイプは、２次元可分変換の水平変換及び垂直変換を含む。
【0055】
図４に示されるように、例えば、３つの候補位置が許可される場合を考える。位置０は左上角をカバーし、位置２は右下角をカバーする。位置１は、残差ブロックの真ん中にある。図４に示されるように、ＳＶＴ－Ｖ及びＳＶＴ－Ｈの両方について３つの位置が存在する。
【0056】
他の例では、２つの候補位置が許可される。位置０は左上角をカバーし、位置１は右上角をカバーする（図４の位置２と同じ）。すなわち、ＳＶＴ－Ｖ及びＳＶＴ－Ｈの両方について２つの位置が存在する。
【0057】
２次元変換は、１次元の水平変換及び垂直変換に分離可能であり得る。残差を変換係数に変える前方２Ｄ変換は、ＪＥＭコーデックで実施されるように、最初に、ブロックＴＡを生成するよう残差ブロックに水平変換を適用し、次いで、変換係数ブロックを生成するようブロックＴＡに垂直変換を適用することによって実現され得る。従って、変換係数を残差に戻す逆２Ｄ変換は、ＪＥＭコーデックで実施されるように、最初に、ブロックＴＢを生成するよう変換係数ブロックに逆垂直変換を適用し、次いで、残差ブロックを生成するようブロックＴＢに逆水平変換を適用することによって実現され得る。
【0058】
一例において、表Ｉにリストアップされるように、ＳＶＴ－Ｖ位置０のための水平及び垂直変換は、ＤＣＴ－８及びＤＳＴ－７であり、ＳＶＴ－Ｖ位置１のための水平及び垂直変換は、ＤＳＴ－１及びＤＳＴ－７であり、ＳＶＴ－Ｖ位置２のための水平及び垂直変換は、ＤＳＴ－７及びＤＳＴ－７であり、ＳＶＴ－Ｈ位置０のための水平及び垂直変換は、ＤＳＴ－７及びＤＣＴ－８であり、ＳＶＴ－Ｈ位置１のための水平及び垂直変換は、ＤＳＴ－７及びＤＳＴ－１であり、ＳＶＴ－Ｈ位置２のための水平及び垂直変換は、ＤＳＴ－７及びＤＳＴ７である。この例で、ＳＶＴ－Ｖのための垂直変換及びＳＶＴ－Ｈのための水平変換は、ＤＳＴ－７としてセットされ、他の変換は、ＳＶＴ位置に基づく。
【表1】
【0059】
他の例では、異なるＳＶＴタイプ及び位置についての水平変換及び垂直変換は、表ＩＩにリストアップされる。この例で、ＳＶＴ－Ｖのための垂直変換及びＳＶＴ－Ｈのための水平変換は、ＤＣＴ－２としてセットされ、他の変換は、ＳＶＴ位置に基づく。
【表2】
【0060】
他の例では、異なるＳＶＴタイプ及び位置についての水平変換及び垂直変換は、表ＩＩＩにリストアップされる。この例で、水平変換及び垂直変換は、ＳＶＴ位置によってのみ決定される。
【表3】
【0061】
他の例では、異なるＳＶＴタイプ及び位置についての水平変換及び垂直変換は、表ＩＶにリストアップされる。
【表4】
【0062】
他の例では、異なるＳＶＴタイプ及び位置についての水平変換及び垂直変換は、表Ｖにリストアップされる。
【表5】
【0063】
他の例では、異なるＳＶＴタイプ及び位置についての水平変換及び垂直変換は、表ＶＩにリストアップされる。
【表6】
【0064】
位置依存の複数の変換は、ルーマ変換ブロックにのみ適用されてよく、対応するクロマ変換ブロックは、逆変換プロセスにおいて逆ＤＣＴ－２を常に使用する。
【0065】
ステップ３．変換ブロックサイズに基づいて変換ブロックの変換係数をパースする。
【0066】
これは、ＨＥＶＣ又はＨ．２６４／ＡＶＣにおける変換係数パージングのような、ビデオ復号化内の一般的に使用されているプロセスである。変換係数は、ランレングスコーディングを用いてコーディングされるか、あるいは、変換係数グループ（ＣＧ）の組としてより洗練されてコーディングされてよい。
【0067】
ステップ３は、ステップ２の前に行われてもよい。
【0068】
ステップ４．変換係数及び変換ブロック位置及び逆変換のタイプに基づいて残差ブロックＲＯを再構成する。
【0069】
サイズｗ＿ｔ×ｈ＿ｔの逆量子化及び逆変換が、残差サンプルを回復するよう変換係数に適用される。残差サンプルのサイズは、ｗ＿ｔ×ｈ＿ｔであり、変換ブロックサイズと同じである。逆変換は２次元可分変換である。逆量子化された変換係数ブロックは、最初に、ブロックＴＣを生成するよう逆垂直変換によって変換され、次いで、ブロックＴＣは、逆水平変換によって変換され、ここで、逆水平変換及び逆垂直変換は、変換ブロック位置に基づいて、又は変換ブロック位置及び変換ブロックのＳＶＴタイプの両方に基づいて、ステップ２．２で決定されている。
【0070】
残差サンプルは変換ブロック位置に従って残差ブロックＲＯ内の対応する領域に割り当てられ、残差ブロック内の残りのサンプルは、ゼロにセットされる。例えば、ＳＶＴ－Ｖが使用され、候補位置の数が５であり、位置インデックスが４である場合に、再構成された残差サンプルは、図３（ｅ）の領域Ａに割り当てられ、領域Ａの左側のサイズ（ｗ／２）×ｈの領域はゼロ残差を有する。
【0071】
ステップ１からステップ４を行った後、再構成された残差ブロックは、コーディングユニットにおける再構成されたサンプルを生成するよう予測ブロックにより構成されてよい。ＨＥＶＣにおけるデブロッキングフィルタ及びサンプル適応オフセット（ＳＡＯ）処理のような、フィルタリングプロセスが、再構成されたサンプルに対して後で適用されてもよい。
【0072】
既存の解決法とは違って、本開示は、ＳＶＴタイプ及び位置情報に基づいて変換ブロックの複数の変換タイプを適応的に使用する。
【0073】
図５は、適応変換タイプを有する空間的に変化する変換を採用するビデオ復号化の例示的な方法のフローチャートである。方法は、デコーダでビットストリームを受信すると開始されてよい。方法は、予測ブロック及び変換された残差ブロックを決定するためにビットストリームを用いる。方法はまた、残差ブロックを決定するために用いられる変換ブロックを決定してもよい。残差ブロック及び予測ブロックは、次いで、画像ブロックを再構成するために用いられる。方法は、デコーダの視点から記載されるが、同様の方法は、ＳＶＴを用いることによってビデオを符号化するために（例えば、逆に）用いられてよいことが留意されるべきである。ここで、方法は、以下を含む。
【0074】
ステップ５０１，残差ブロックのためのＳＶＴの使用を決定する。決定の具体的なプロセスは、ステップ１．１と同様である。
【0075】
ステップ５０２，ＳＶＴが残差ブロックのために使用される場合に残差ブロックのためのＳＶＴタイプを決定し、このとき、残差ブロックのためのＳＶＴタイプは、ＳＶＴ－Ｖタイプ又はＳＶＴ－Ｈタイプのどちらか一方であり、ＳＶＴ－Ｖタイプは、残差ブロックの変換ブロックの幅が残差ブロックの幅の半分のサイズであり、変換ブロックの高さが残差ブロックの高さの同じサイズであることを示し（図４に示される）、ＳＶＴ－Ｈタイプは、変換ブロックの幅が残差ブロックの幅の同じサイズであり、変換ブロックの高さが残差ブロックの高さの半分のサイズであることを示す（図４に示される）。決定の具体的なプロセスは、ステップ１．２と同様である。
【0076】
ステップ５０３，ＳＶＴタイプに従って変換ブロックの変換ブロックサイズを導出する。導出の具体的なプロセスは、ステップ１．２と同様である。
【0077】
ステップ５０４，変換ブロックの変換ブロック位置を決定する。決定の具体的なプロセスは、ステップ２．１と同様であり得る。
【0078】
代替的に、ＳＶＴタイプの候補位置が２である場合に、１ビットフラグが、残差ブロックの変換ブロックの変換ブロック位置を示すために用いられてよい。例えば、図４の位置０及び２のみがＳＶＴ－Ｖのために用いられる場合に、１ビットフラグは、変換ブロック位置が位置０又は位置２であるかどうかを示すのに十分である。図４の位置０及び位置２のみがＳＶＴ－Ｈのために用いられる場合に、１ビットフラグは、変換ブロック位置が位置０又は位置２であるかどうかを示すのに十分である。
【0079】
ステップ５０５，ＳＶＴタイプ及び変換ブロックの変換ブロック位置に従って変換ブロックの変換タイプを決定し、このとき、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はＤＳＴ－７である。決定の具体的なプロセスは、ステップ２．２と同様であり得る。
【0080】
具体的な変換タイプは、上述された表Ｉ、ＩＶ及びＶのうちのいずれか１つのいずれかの変換タイプであることができ、あるいは、上述された表ＩＩ、ＩＩＩ及びＶＩのうちのいずれか１つのＤＳＴ－７を含むいずれかの変換タイプであってよい。
【0081】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角（すなわち、図４の位置０）をカバーする位置であるとき、水平変換はＤＣＴ－８であり、垂直変換はＤＳＴ－７である。
【0082】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角（すなわち、図４の位置２）をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0083】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角（すなわち、図４の位置０）をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＣＴ－８である。
【0084】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角（すなわち、図４の位置２）をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0085】
ステップ５０６，変換ブロックサイズに従って変換ブロックの変換係数をパースする。パージングの具体的なプロセスは、ステップ３と同様であり得る。
【0086】
ステップ５０７，変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成する。再構成の具体的なプロセスは、ステップ４と同様であり得る。
【0087】
本開示は、ＳＶＴタイプ及び位置情報に基づいて変換ブロックの複数の変換タイプを適応的に使用し、従って、復号化品質及び復号化効率を改善することができ、更には、変換アルゴリズムの数は、いくつかの実施形態で制限され、従って、復号化装置の実現を簡単にすることができる、ことが分かる。
【0088】
本開示は、本願の技術を実施するよう構成されるビデオ復号化装置であって：
残差ブロックのための空間的に変化する変換（ＳＶＴ）の使用を決定するよう構成されるユニット。決定の具体的なプロセスは、ステップ１．１と同様である。
ＳＶＴが残差ブロックのために使用される場合に残差ブロックのためのＳＶＴタイプを決定するよう構成されるユニットであって、残差ブロックのためのＳＶＴタイプは、ＳＶＴ－Ｖタイプ又はＳＶＴ－Ｈタイプのどちらか一方であり、ＳＶＴ－Ｖタイプは、残差ブロックの変換ブロックの幅が残差ブロックの幅の半分のサイズであり、変換ブロックの高さが残差ブロックの高さの同じサイズであることを示し、ＳＶＴ－Ｈタイプは、変換ブロックの幅が残差ブロックの幅の同じサイズであり、変換ブロックの高さが残差ブロックの高さの半分のサイズであることを示す、ユニット。決定の具体的なプロセスは、ステップ１．２と同様である。
ＳＶＴタイプに従って変換ブロックの変換ブロックサイズを導出するよう構成されるユニット。導出の具体的なプロセスは、ステップ１．２と同様である。
変換ブロックの変換ブロック位置を決定するよう構成されるユニット。決定の具体的なプロセスは、ステップ２．１と同様であり得る。代替的に、ＳＶＴタイプの候補位置が２である場合に、１ビットフラグが、残差ブロックの変換ブロックの変換ブロック位置を示すために用いられてよい。例えば、図４の位置０及び２のみがＳＶＴ－Ｖのために用いられる場合に、１ビットフラグは、変換ブロック位置が位置０又は位置２であるかどうかを示すのに十分である。図４の位置０及び位置２のみがＳＶＴ－Ｈのために用いられる場合に、１ビットフラグは、変換ブロック位置が位置０又は位置２であるかどうかを示すのに十分である。
ＳＶＴタイプ及び変換ブロックの変換ブロック位置に従って変換ブロックの変換タイプを決定するよう構成されるユニットであって、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はＤＳＴ－７である。決定の具体的なプロセスは、ステップ２．２と同様であり得る。
変換ブロックサイズに従って変換ブロックの変換係数をパースするよう構成されるユニット。パージングの具体的なプロセスは、ステップ３と同様であり得る。
変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成するよう構成されるユニット。再構成の具体的なプロセスは、ステップ４と同様であり得る。
を含むビデオ復号化装置を開示する。
残差ブロックのための空間的に変化する変換（ＳＶＴ）の使用を決定するよう構成されるユニット。決定の具体的なプロセスは、ステップ１．１と同様である。
ＳＶＴが残差ブロックのために使用される場合に残差ブロックのためのＳＶＴタイプを決定するよう構成されるユニットであって、残差ブロックのためのＳＶＴタイプは、ＳＶＴ－Ｖタイプ又はＳＶＴ－Ｈタイプのどちらか一方であり、ＳＶＴ－Ｖタイプは、残差ブロックの変換ブロックの幅が残差ブロックの幅の半分のサイズであり、変換ブロックの高さが残差ブロックの高さの同じサイズであることを示し、ＳＶＴ－Ｈタイプは、変換ブロックの幅が残差ブロックの幅の同じサイズであり、変換ブロックの高さが残差ブロックの高さの半分のサイズであることを示す、ユニット。決定の具体的なプロセスは、ステップ１．２と同様である。
ＳＶＴタイプに従って変換ブロックの変換ブロックサイズを導出するよう構成されるユニット。導出の具体的なプロセスは、ステップ１．２と同様である。
変換ブロックの変換ブロック位置を決定するよう構成されるユニット。決定の具体的なプロセスは、ステップ２．１と同様であり得る。代替的に、ＳＶＴタイプの候補位置が２である場合に、１ビットフラグが、残差ブロックの変換ブロックの変換ブロック位置を示すために用いられてよい。例えば、図４の位置０及び２のみがＳＶＴ－Ｖのために用いられる場合に、１ビットフラグは、変換ブロック位置が位置０又は位置２であるかどうかを示すのに十分である。図４の位置０及び位置２のみがＳＶＴ－Ｈのために用いられる場合に、１ビットフラグは、変換ブロック位置が位置０又は位置２であるかどうかを示すのに十分である。
ＳＶＴタイプ及び変換ブロックの変換ブロック位置に従って変換ブロックの変換タイプを決定するよう構成されるユニットであって、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はＤＳＴ－７である。決定の具体的なプロセスは、ステップ２．２と同様であり得る。
変換ブロックサイズに従って変換ブロックの変換係数をパースするよう構成されるユニット。パージングの具体的なプロセスは、ステップ３と同様であり得る。
変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成するよう構成されるユニット。再構成の具体的なプロセスは、ステップ４と同様であり得る。
を含むビデオ復号化装置を開示する。
【0089】
具体的な変換タイプは、上述された表Ｉ、ＩＶ及びＶのうちのいずれか１つのいずれかの変換タイプであることができ、あるいは、上述された表ＩＩ、ＩＩＩ及びＶＩのうちのいずれか１つのＤＳＴ－７を含むいずれかの変換タイプであってよい。
【0090】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角（すなわち、図４の位置０）をカバーする位置であるとき、水平変換はＤＣＴ－８であり、垂直変換はＤＳＴ－７である。
【0091】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｖタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角（すなわち、図４の位置２）をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0092】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角（すなわち、図４の位置０）をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＣＴ－８である。
【0093】
例えば、残差ブロックのためのＳＶＴタイプがＳＶＴ－Ｈタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角（すなわち、図４の位置２）をカバーする位置であるとき、水平変換はＤＳＴ－７であり、垂直変換はＤＳＴ－７である。
【0094】
本開示は、本願の技術を実施するよう構成される他のビデオ復号化装置であって、１つ以上のプロセッサと、プロセッサへ結合され、プロセッサによる実行のためのプログラミングを記憶している不揮発性のコンピュータ可読記憶媒体とを有し、プログラミングが、プロセッサによって実行される場合に、上記の方法のいずれかを処理するようビデオ復号化装置を構成する、ビデオ復号化装置を開示する。
【0095】
本開示は、１つ以上のプロセッサによって実行される場合に、１つ以上のプロセッサに、上記の方法のいずれかのステップを実行させるコンピュータ命令を記憶している不揮発性のコンピュータ可読記憶媒体を開示する。
【0096】
図６は、本開示の実施形態に従うコーディングデバイス９００の概略図である。コーディングデバイス９００は、ここで記載されるような開示実施形態を実施するのに適している。コーディングデバイス９００は、データを受けるための入口ポート９１０及び受信器ユニット（Ｒｘ）９２０と、データを処理するプロセッサ、ロジックユニット、又は中央演算処理装置（ＣＰＵ）９３０と、データを送信するための送信器ユニット（Ｔｘ）９４０及び出口ポート９５０と、データを記憶するためのメモリ９６０とを有する。コーディングデバイス９００はまた、光又は電気信号の出入りのために入口ポート９１０、受信器ユニット９２０、送信器ユニット９４０、及び出口ポート９５０へ結合された光－電気（ＯＥ）コンポーネント及び電気－光（ＥＯ）コンポーネントを有してもよい。
【0097】
プロセッサ９３０は、ハードウェア及びソフトウェアによって実施される。プロセッサ９３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及びデジタル信号プロセッサ（ＤＳＰ）として実施されてよい。プロセッサ９３０は、入口ポート９１０、受信器ユニット９２０、送信器ユニット９４０、出口ポート９５０、及びメモリ９６０と通信する。プロセッサ９３０は、コーディングモジュール９７０を有する。コーディングモジュール９７０は、上述された開示実施形態を実施する。例えば、コーディングモジュール９７０は、様々なグラフィクス処理及び計算を実施、処理、パース、準備又は提供する。従って、コーディングモジュール９７０の包含は、デバイス９００の機能に対する実質的な改善をもたらし、異なる状態へのデバイス９００の転換をもたらす。代替的に、コーディングモジュール９７０は、メモリ９６０に記憶されておりプロセッサ９３０によって実行される命令として実施される。
【0098】
メモリ９６０は、１つ以上のディスク、テープドライブ、及びソリッドステートドライブを有し、プログラムが実行のために選択される場合にそのようなプログラムを記憶するために、かつ、プログラム実行中に読み出される命令及びデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてよい。メモリ９６０は、揮発性及び／又は不揮発性であってよく、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及び／又は静的ランダム・アクセス・メモリ（ＳＲＡＭ）であってよい。
【0099】
以下の参考文献は、それらの全文があたかも再現されるかのように参照により本願に援用される。
【0100】
いくつかの実施形態が本開示で提供されてきたが、開示されているシステム及び方法は、本開示の精神又は範囲から逸脱せずに、多くの他の具体的な形態で具現化され得る、と理解されるべきである。本例は、限定としてではなく実例として解釈されるべきであり、ここで与えられている詳細に制限する意図はない。例えば、様々な要素又はコンポーネントは、他のシステムでは結合又は一体化されてよく、あるいは、特定の特徴は、省略されても、又は実施されなくてもよい。
【0101】
その上、様々な実施形態で個別的又は別々に記載及び例示されている技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱せずに、他のシステム、モジュール、技術、又は方法と結合又は一体化されてよい。互いと結合若しくは直接結合されるか又は通信するものとして図示又は議論されている他のアイテムは、電気的若しくは機械的であろうと、又は別な方法であろうと、何らかのインターフェース、デバイス、又は中間コンポーネントを通じて間接的に結合され又は通信してよい。変更、置換、及び修正の他の例は、当業者によって確かめられ、ここで開示されている精神及び範囲から逸脱せずに行われ得る。
【0102】
本願は、２０１８年５月３１日付けで出願された米国特許仮出願第６２／６７８７３８号の優先権を主張する。なお、先の米国出願は、その全文を参照により援用される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【外国語明細書】