▶ ホアウェイ・テクノロジーズ・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】イントラ平滑化のための方法および装置
(51)【国際特許分類】
H04N 19/70 20140101AFI20240930BHJP
H04N 19/117 20140101ALI20240930BHJP
H04N 19/136 20140101ALI20240930BHJP
【ＦＩ】
H04N19/70
H04N19/117
H04N19/136
【請求項の数】
17
【外国語出願】
(21)【出願番号】P 2023170193
(22)【出願日】2023-09-29
(62)【分割の表示】P 2021557722の分割
【原出願日】2020-03-30
(65)【公開番号】P2024001097
(43)【公開日】2024-01-09
【審査請求日】2023-10-30
(31)【優先権主張番号】62/825,793
(32)【優先日】2019-03-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(72)【発明者】
【氏名】アレクセイ・コンスタンチノヴィチ・フィリッポフ
(72)【発明者】
【氏名】ヴァシリー・アレクセーヴィチ・ルフィツキー
(72)【発明者】
【氏名】ジエンレ・チェン
【審査官】田中 純一
(56)【参考文献】
【文献】特表２０２２－５２２０１３（ＪＰ，Ａ）
【文献】国際公開第２０２１／０５５５７４（ＷＯ，Ａ１）
【文献】Benjamin Bross, et al.，Versatile Video Coding (Draft 4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019，JVET-M1001-v7，ITU-T インターネット＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M1001-v7.zip＞＜JVET-M1001-v7.docx＞，2019年03月17日，pp. i-ii, pp. 110-129，学術文献等ＤＢ
【文献】Jianle Chen, et al.，Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019，JVET-M1002-v1，ITU-T インターネット＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M1002-v1.zip＞＜JVET-M1002-v1.docx＞，2019年02月16日，pp.1-22，学術文献等ＤＢ
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオ復号またはビデオ符号化のための方法であって、1つ以上の処理デバイスが
下位区画内(ISP)分割タイプを示す情報を取得するステップであって、前記情報は、フラグ“IntraSubPartitionSplitType”を含む、ステップと、
前記情報によって示される前記ISP分割タイプに基づいてフィルタフラグの値を設定するステップであって、IntraSubPartitionSplitTypeがISP_NO_SPLITに等しくないとき、前記フィルタフラグの前記値は0に設定される、ステップと、
前記フィルタフラグの前記値に従って、補間フィルタのための係数を選択するステップであって、前記フィルタフラグの前記値が0であるとき、fC係数が選択され、前記フィルタフラグの前記値が0でないとき、fG係数が選択される、ステップと、
前記選択された係数を参照サンプルに適用し、現在のブロックの予測されたサンプルを取得するステップと
を含む動作を実行する、方法。
【請求項2】
前記フィルタフラグの前記値は0に設定されるとき、前記現在のブロックについてのフィルタリングの状態は、平滑化なし状態である、請求項1に記載の方法。
【請求項3】
前記選択された係数を前記参照サンプルに適用し、前記現在のブロックの前記予測されたサンプルを取得するステップは、
前記現在のブロックのイントラ予測モードに基づいて前記補間フィルタの前記選択された係数から補間フィルタ係数を決定するステップと、
前記決定された補間フィルタ係数を前記参照サンプルに適用するステップと
を含む、請求項1または2に記載の方法。
【請求項4】
前記イントラ予測モードは、方向性イントラ予測モードである、請求項3に記載の方法。
【請求項5】
前記動作は、
イントラ予測メカニズムが適用されるかどうかを示すフラグの値を取得するステップと、
前記取得されたフラグの前記値を所定の2進値と比較するステップと
をさらに含む、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記イントラ予測メカニズムおよび対応する所定の閾値が、以下、すなわち、
前記所定の閾値を有する多参照ライン予測(MRLP)(refIdx)が0に設定される、または
前記所定の閾値を有するイントラ下位区分け(ISP)フラグが0に設定される
のうちの少なくとも1つを含む、請求項5に記載の方法。
【請求項7】
デバイスであって、前記デバイスはエンコーダまたはデコーダであり、1つ以上のプロセッサと、前記1つ以上のプロセッサに通信可能に結合された1つ以上の非一時的コンピュータ可読媒体とを含み、前記1つ以上のプロセッサは、前記非一時的コンピュータ可読媒体に記憶されたプログラムコードを実行し、それにより、
下位区画内(ISP)分割タイプを示す情報を取得するステップであって、前記情報は、フラグ“IntraSubPartitionsSplitType”を含む、ステップと、
前記情報によって示される前記ISP分割タイプに基づいてフィルタフラグの値を設定するステップであって、IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくないとき、前記フィルタフラグの前記値は0に設定される、ステップと、
前記フィルタフラグの前記値に従って、補間フィルタのための係数を選択するステップであって、前記フィルタフラグの前記値が0であるとき、fC係数が選択され、前記フィルタフラグの前記値が0でないとき、fG係数が選択される、ステップと、
前記選択された係数を参照サンプルに適用し、現在のブロックの予測されたサンプルを取得するステップと
を含む動作を実行するするように構成された、デバイス。
【請求項8】
前記フィルタフラグの前記値は0に設定されるとき、前記現在のブロックについてのフィルタリングの状態は、平滑化なし状態である、請求項7に記載のデバイス。
【請求項9】
前記選択された係数を前記参照サンプルに適用し、前記現在のブロックの前記予測されたサンプルを取得するステップは、
前記現在のブロックのイントラ予測モードに基づいて前記補間フィルタの前記選択された係数から補間フィルタ係数を決定するステップと、
前記決定された補間フィルタ係数を前記参照サンプルに適用するステップと
を含む、請求項7または8に記載のデバイス。
【請求項10】
前記イントラ予測モードは、方向性イントラ予測モードである、請求項9に記載のデバイス。
【請求項11】
前記動作は、
イントラ予測メカニズムが適用されるかどうかを示すフラグの値を取得するステップと、
前記取得されたフラグの前記値を所定の2進値と比較するステップと
をさらに含む、請求項7から10のいずれか一項に記載のデバイス。
【請求項12】
前記イントラ予測メカニズムおよび対応する所定の閾値が、以下、すなわち、
前記所定の閾値を有する多参照ライン予測(MRLP)(refIdx)が0に設定される、または
前記所定の閾値を有するイントラ下位区分け(ISP)フラグが0に設定される
のうちの少なくとも1つを含む、請求項11に記載のデバイス。
【請求項13】
1つ以上のプロセッサによって実行されたとき、前記1つ以上のプロセッサに、
下位区画内(ISP)分割タイプを示す情報を取得するステップであって、前記情報は、フラグ“IntraSubPartitionsSplitType”を含む、ステップと、
前記情報によって示される前記ISP分割タイプに基づいてフィルタフラグの値を設定するステップであって、IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくないとき、前記フィルタフラグの前記値は0に設定される、ステップと、
前記フィルタフラグの前記値に従って、補間フィルタのための係数を選択するステップであって、前記フィルタフラグの前記値が0であるとき、fC係数が選択され、前記フィルタフラグの前記値が0でないとき、fG係数が選択される、ステップと、
前記選択された係数を参照サンプルに適用し、現在のブロックの予測されたサンプルを取得するステップと
を含む動作を実行させる、ピクチャのブロックのイントラ予測のためのコンピュータ命令を記憶している非一時的コンピュータ可読媒体。
【請求項14】
前記フィルタフラグの前記値は0に設定されるとき、前記現在のブロックについてのフィルタリングの状態は、平滑化なし状態である、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記選択された係数を前記参照サンプルに適用し、前記現在のブロックの前記予測されたサンプルを取得するステップは、
前記現在のブロックのイントラ予測モードに基づいて前記補間フィルタの前記選択された係数から補間フィルタ係数を決定するステップと、
前記決定された補間フィルタ係数を前記参照サンプルに適用するステップと
を含む、請求項13または14に記載の非一時的コンピュータ可読媒体。
【請求項16】
前記イントラ予測モードは、方向性イントラ予測モードである、請求項15に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記動作は、
イントラ予測メカニズムが適用されるかどうかを示すフラグの値を取得するステップと、
前記取得されたフラグの前記値を所定の2進値と比較するステップと
をさらに含む、請求項13から16のいずれか一項に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年3月28日に出願した米国特許仮出願第62/825,793号の優先権を主張するものであり、この仮出願は、参照により本明細書に組み込まれる。
本出願は、2019年3月28日に出願した米国特許仮出願第62/825,793号の優先権を主張するものであり、この仮出願は、参照により本明細書に組み込まれる。
【0002】
本出願(開示)の実施形態は、概して、ピクチャ処理の分野に関し、より詳細には、イントラ予測、特に、イントラ平滑化のための方法および装置に関する。
【背景技術】
【0003】
ビデオコーディング(ビデオ符号化および復号)は、広範なデジタルビデオアプリケーション、たとえば、ブロードキャストデジタルTV、インターネットおよびモバイルネットワーク上のビデオ送信、ビデオチャットのようなリアルタイム会話アプリケーション、テレビ会議、DVDおよびブルーレイディスク、ビデオコンテンツ獲得および編集システム、ならびにセキュリティアプリケーションのカムコーダにおいて使用される。
【0004】
比較的短いビデオでさえも描くために必要とされるビデオデータの量はかなり多くなり得、それが、データが限られた帯域幅の容量を有する通信ネットワークを介してストリーミングされるかまたはそれ以外の方法で伝達されるべきであるときに困難をもたらす可能性がある。したがって、ビデオデータは、概して、現代の通信ネットワークを介して伝達される前に圧縮される。メモリリソースが限られている可能性があるので、ビデオがストレージデバイスに記憶されるとき、ビデオのサイズも問題となりうる。多くの場合、ビデオ圧縮デバイスは、送信または記憶の前にビデオデータをコーディングするために送信元においてソフトウェアおよび/またはハードウェアを使用し、それによって、デジタルビデオ画像を表現するために必要とされるデータの量を削減する。次いで、圧縮されたデータが、ビデオデータを復号するビデオ解凍デバイスによって送信先において受信される。限られたネットワークリソースおよびより高いビデオ品質のますます増加する需要によって、ピクチャ品質をほとんどまたはまったく犠牲にせずに圧縮比を高める改善された圧縮および解凍技術が、望ましい。
【発明の概要】
【課題を解決するための手段】
【0005】
本出願の実施形態は、独立請求項に係る符号化および復号のための装置および方法を提供する。
【0006】
上述のおよびその他の目的は、独立請求項の主題により達成される。さらなる実装の形態は、従属請求項、明細書、および図面から明らかである。
【0007】
本発明の第1の態様は、ピクチャのブロックのイントラ予測の方法に関する。方法は、下位区画内(ISP)の情報を取得するステップであって、ISPの情報が、ISPが現在のブロックを分割するために使用されるかどうかを示す、ステップと、ISPの情報に基づいて補間フィルタの1組の係数を選択するステップであって、補間フィルタの1組の係数が、fG係数またはfC係数である、ステップとを含む。方法は、1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するステップをさらに含む。
【0008】
第1の態様の実装として、ISPの情報は、IntraSubPartitionsSplitTypeによって示されてもよい。IntraSubPartitionsSplitType != ISP_NO_SPLITであるとき、現在のブロックを分割するためにISPが使用される(つまり、ISPがオンである)。
【0009】
第1の態様の実装として、現在のブロックを分割するためにISPが使用されることをISPの情報が示すとき、ブロックのフィルタリングの状態は、平滑化なし状態である。ブロックのフィルタリングの状態は、フラグsmoothStateによってされてもよく、ブロックのフィルタリングの状態は、smoothStateの値が0であるとき、平滑化なし状態である。filterFlagの値は、smoothStateの値、すなわち、0に等しい。それに対応して、fC係数が、選択される。
【0010】
本発明の第2の態様は、ピクチャのブロックのイントラ予測の方法に関する。方法は、下位区画内(ISP)の情報に基づいてブロックのフィルタリングの状態(つまり、ブロックの平滑化の状態)を検出するステップであって、ブロックのフィルタリングの状態が、平滑化なし状態、平滑化状態、または方向に依存する平滑化状態を含む、ステップと、ブロックのフィルタリングの状態の値に基づいて補間フィルタの1組の係数を選択するステップであって、補間フィルタの1組の係数が、fG係数またはfC係数である、ステップとを含む。方法は、1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するステップをさらに含む。
【0011】
第2の態様の実装として、ISPの情報は、IntraSubPartitionsSplitTypeによって示されてもよい。IntraSubPartitionsSplitType != ISP_NO_SPLITであるとき、現在のブロックを分割するためにISPが使用される(つまり、ISPがオンである)。現在のブロックを分割するためにISPが使用されることをISPの情報が示すとき、ブロックのフィルタリングの状態は、平滑化なし状態である。ブロックのフィルタリングの状態は、フラグsmoothStateによってされてもよく、ブロックのフィルタリングの状態は、smoothStateの値が0であるとき、平滑化なし状態である。
【0012】
第2の態様の実装として、フィルタフラグ(filterFlag)の値が、補間フィルタの1組の係数がfG係数またはfC係数であることを示すために使用されてもよい。filterFlagの値は、smoothStateの値に等しい。それは、ブロックのフィルタリングの状態が平滑化なし状態であるとき、filterFlagの値が0であることを意味する。それに対応して、fC係数が、選択される。
【0013】
本発明の第3の態様は、ピクチャのブロックのイントラ予測の方法に関する。方法は、参照サンプルに補間フィルタを適用することによってブロックの予測されたサンプルを取得するステップを含み、補間フィルタの1組の係数は、平滑化メカニズムの各々に関して実行される以下のステップ、すなわち、
- イントラ予測メカニズムが適用されるかどうかを示すフラグの値を取得するステップ、および
- 取得されたフラグ(たとえば、intraSubPartitionSplitType)の値を所定の2進値(たとえば、ISP_NO_SPLIT)と比較するステップ
を含む判断(「ブロックのフィルタリングの状態」とも呼ばれる)に基づいて決定され、
1組の係数の決定は、係数の所定の組のうちの1つを選択することによって実行され、選択は、所定の2進値との取得されたフラグの値の比較の結果である判断に基づく。
- イントラ予測メカニズムが適用されるかどうかを示すフラグの値を取得するステップ、および
- 取得されたフラグ(たとえば、intraSubPartitionSplitType)の値を所定の2進値(たとえば、ISP_NO_SPLIT)と比較するステップ
を含む判断(「ブロックのフィルタリングの状態」とも呼ばれる)に基づいて決定され、
1組の係数の決定は、係数の所定の組のうちの1つを選択することによって実行され、選択は、所定の2進値との取得されたフラグの値の比較の結果である判断に基づく。
【0014】
本発明の第1の態様に係る方法は、本発明の第4の態様に係るデバイスによって実行されうる。デバイスは、取得ユニット、選択ユニット、および予測ユニットを含む。下位区画内(ISP)の情報を取得するように構成された取得ユニットであって、ISPの情報が、ISPが現在のブロックを分割するために使用されるかどうかを示す、取得ユニット。ISPの情報に基づいて補間フィルタの1組の係数を選択するように構成された選択ユニットであって、補間フィルタの1組の係数が、fG係数またはfC係数である、選択ユニット。1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するように構成された予測ユニット。
【0015】
本発明の第2の態様に係る方法は、本発明の第5の態様に係るデバイスによって実行されうる。デバイスは、検出ユニット、選択ユニット、および予測ユニットを含む。下位区画内(ISP)の情報に基づいてブロックのフィルタリングの状態を検出するように構成された検出ユニットであって、ブロックのフィルタリングの状態が、平滑化なし状態、平滑化状態、または方向に依存する平滑化状態を含む、検出ユニット。ブロックのフィルタリングの状態の値に基づいて補間フィルタの1組の係数を選択するように構成された選択ユニットであって、補間フィルタの1組の係数が、fG係数またはfC係数である、選択ユニット。1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するように構成された予測ユニット。本発明の第2の態様に係る方法のさらなる特徴および実装の形態は、本発明の第5の態様に係る装置の特徴および実装の形態に対応する。
【0016】
本発明の第3の態様に係る方法は、本発明の第6の態様に係るデバイスによって実行されうる。本発明の第3の態様に係る方法のさらなる特徴および実装の形態は、本発明の第6の態様に係る装置の特徴および実装の形態に対応する。
【0017】
第7の態様によれば、本発明は、ビデオストリームを復号するための装置に関し、プロセッサおよびメモリを含む。メモリは、第1の、第2の、もしくは第3の態様、または第1の、第2の、もしくは第3の態様の任意の可能な実装に係る方法をプロセッサに実行させる命令を記憶している。
【0018】
第8の態様によれば、本発明は、プロセッサおよびメモリを含む、ビデオストリームを符号化するための装置に関する。メモリは、第1の、第2の、もしくは第3の態様、または第1の、第2の、もしくは第3の態様の任意の可能な実装に係る方法をプロセッサに実行させる命令を記憶している。
【0019】
第9の態様によれば、実行されるときに、構成された1つ以上のプロセッサにビデオデータをコーディングさせる命令を記憶したコンピュータ可読ストレージ媒体が、提案される。命令は、第1の、第2の、もしくは第3の態様、または第1の、第2の、もしくは第3の態様の任意の可能な実装に係る方法を1つ以上のプロセッサに実行させる。
【0020】
第10の態様によれば、本発明は、コンピュータ上で実行されるときに第1の、第2の、もしくは第3の態様、または第1の、第2の、もしくは第3の態様の任意の可能な実装に係る方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。
【0021】
上で検討されたように、ISPが現在のブロックを分割するために使用される(つまり、ISPがオンである)かどうかをISPの情報が示すとき、態様または態様の実装は、補間フィルタの種類の選択中のモード依存性(mode dependency)を取り除く。これは、符号化または復号の効率を高めることができる。
【0022】
1つ以上の実施形態の詳細が、添付の図面および以下の説明に記載されている。その他の特徴、目的、および利点は、明細書、図面、および特許請求の範囲から明らかになるであろう。
【0023】
以下で、本発明の実施形態が、添付の図および図面を参照してより詳細に説明される。
【図面の簡単な説明】
【0024】
【図1A】本発明の実施形態を実装するように構成されたビデオコーディングシステムの例を示すブロック図である。
【図1B】本発明の実施形態を実装するように構成されたビデオコーディングシステムの別の例を示すブロック図である。
【図2】本発明の実施形態を実装するように構成されたビデオエンコーダの例を示すブロック図である。
【図3】本発明の実施形態を実装するように構成されたビデオデコーダの例示的な構造を示すブロック図である。
【図4】符号化装置または復号装置の例を示すブロック図である。
【図5】符号化装置または復号装置の別の例を示すブロック図である。
【図6】ISPツールにおける2下位区画分割の図である。
【図7】ISPツールにおける4下位区画分割の図である。
【図8】多参照ラインイントラ予測の図である。
【図9】PLANARイントラ予測モードのための参照サンプル選択方法を示す図である。
【図10】PLANARイントラ予測モードのための参照サンプル選択方法を示す図である。
【図11】PLANARイントラ予測モードのための参照サンプル選択方法を示す図である。
【図12】DCイントラ予測モードのための参照サンプル選択方法を示す図である。
【図13】DCイントラ予測モードのための参照サンプル選択方法を示す図である。
【図14】補間フィルタの種類の選択の例を示すブロック図である。
【図15】補間フィルタの種類の選択の別の例を示すブロック図である。
【図16】本発明に係る方法1600の実施形態を示す図である。
【図17】本発明に係る方法1700の実施形態を示す図である。
【図18】本発明に係る使用のためのデバイス1800の実施形態を示す図である。
【図19】本発明に係る使用のためのデバイス1900の実施形態を示す図である。
【図20】コンテンツ配信サービスを実現するコンテンツ供給システム3100の例示的な構造を示すブロック図である。
【図21】端末デバイスの例の構造を示すブロック図である。
【発明を実施するための形態】
【0025】
以下で、同一の参照符号は、別途明記されない場合、同一のまたは少なくとも機能的に等価な特徴を指す。
【0026】
以下の説明においては、本開示の一部を形成し、本発明の実施形態の特定の態様または本発明の実施形態が使用されてもよい特定の態様を例として示す添付の図面が参照される。本発明の実施形態は、その他の態様において使用され、図面に示されない構造的または論理的変更を含んでもよいことが理解される。したがって、以下の詳細な説明は、限定的意味に理解されるべきでなく、本発明の範囲は、添付の特許請求の範囲によって定義される。
【0027】
たとえば、説明される方法に関連する開示は、方法を実行するように構成された対応するデバイスまたはシステムにも当てはまる可能性があり、その逆もあってよいことが理解される。たとえば、1つ以上の特定の方法のステップが説明される場合、対応するデバイスは、説明される1つ以上の方法のステップを実行するための1つ以上のユニット、たとえば、機能ユニット(たとえば、1つ以上のステップを実行する1つのユニット、または複数のステップのうちの1つ以上をそれぞれが実行する複数のユニット)を、たとえそのような1つ以上のユニットが明示的に説明されないかまたは図に示されないとしても含んでもよい。一方、たとえば、特定の装置が1つ以上のユニット、たとえば、機能ユニットに基づいて説明される場合、対応する方法は、1つ以上のユニットの機能を実行するための1つのステップ(たとえば、1つ以上のユニットの機能を実行する1つのステップ、または複数のユニットのうちの1つ以上の機能をそれぞれが実行する複数のステップ)を、たとえそのような1つ以上のステップが明示的に説明されないかまたは図に示されないとしても含んでもよい。さらに、本明細書において説明される様々な例示的な実施形態および/または態様の特徴は、そうでないことが明記されない限り互いに組み合わされてもよいことが理解される。
【0028】
ビデオコーディングは、概して、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスの処理を指す。用語「ピクチャ」の代わりに、用語「フレーム」または「画像」が、ビデオコーディングの分野において同義語として使用されてもよい。ビデオコーディング(または概してコーディング)は、2つの部分、ビデオ符号化およびビデオ復号を含む。ビデオ符号化は、送信元の側で実行され、概して、(より効率的な記憶および/または送信のために)ビデオピクチャを表現するために必要とされるデータの量を減らすために元のビデオピクチャを(たとえば、圧縮によって)処理することを含む。ビデオ復号は、送信先の側で実行され、概して、ビデオピクチャを再構築するためにエンコーダと比べて逆の処理を含む。ビデオピクチャ(または概してピクチャ)の「コーディング」に言及する実施形態は、ビデオピクチャまたはそれぞれのビデオシーケンスの「符号化」または「復号」に関すると理解される。符号化部分と復号部分との組み合わせは、コーデック(コーディングおよび復号)とも呼ばれる。
【0029】
可逆ビデオコーディングの場合、(記憶または送信中に送信損失またはその他のデータ損失がないと仮定して)元のビデオピクチャが再構築されることが可能であり、つまり、再構築されたビデオピクチャは元のビデオピクチャと同じ品質を有する。不可逆ビデオコーディングの場合、ビデオピクチャを表現するデータの量を減らすために、たとえば、量子化によるさらなる圧縮が実行され、これは、デコーダにおいて完全に再構築されえず、つまり、再構築されたビデオピクチャの品質は、元のビデオピクチャの品質に比べてより低いまたはより悪い。
【0030】
いくつかのビデオコーディング規格は、「不可逆ハイブリッドビデオコーデック」のグループに属する(つまり、サンプル領域(sample domain)における空間および時間予測と変換領域(transform domain)において量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、概して、1組の重なり合わないブロックに区分けされ、コーディングは、概して、ブロックレベルで実行される。言い換えると、エンコーダにおいて、ビデオは、概して、たとえば、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を使用して予測ブロック(prediction block)を生成し、現在のブロック(現在処理されている/処理されるブロック)から予測ブロックを差し引いて残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して送信されるデータの量を削減する(圧縮)ことによってブロック(ビデオブロック)レベルで処理され、つまり、符号化され、一方、デコーダにおいては、表現するために現在のブロックを再構築するために、エンコーダと比べて逆の処理が、符号化されたまたは圧縮されたブロックに適用される。さらに、エンコーダは、後続のブロックを処理する、つまり、コーディングするために両方が同一の予測(たとえば、イントラおよびインター予測)ならびに/または再構築を生成するようにデコーダの処理ループを複製する。
【0031】
【0032】
図1Aは、本出願の技術を利用してもよい例示的なコーディングシステム10、たとえば、ビデオコーディングシステム10(または短くコーディングシステム10)を示す概略的なブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(または短くエンコーダ20)およびビデオデコーダ30(または短くデコーダ30)は、本出願において説明される様々な例による技術を実行するように構成されてもよいデバイスの例を示す。
【0033】
図1Aに示されるように、コーディングシステム10は、符号化されたピクチャデータ13を復号するために、たとえば、送信先デバイス14に符号化されたピクチャデータ21を提供するように構成された送信元デバイス12を含む。
【0034】
送信元デバイス12は、エンコーダ20を含み、追加的に、つまり、任意選択で、ピクチャソース16、プリプロセッサ(または前処理ユニット)18、たとえば、ピクチャプリプロセッサ18、および通信インターフェースまたは通信ユニット22を含んでもよい。
【0035】
ピクチャソース16は、任意の種類のピクチャ撮影デバイス、たとえば、実世界のピクチャを撮影するためのカメラ、ならびに/または任意の種類のピクチャ生成デバイス、たとえば、コンピュータによってアニメーションされるピクチャを生成するためのコンピュータグラフィックスプロセッサ、または実世界のピクチャ、コンピュータによって生成されたピクチャ(たとえば、画面コンテンツ(screen content)、仮想現実(VR)ピクチャ)、および/もしくはそれらの任意の組み合わせ(たとえば、拡張現実(AR)ピクチャ)を取得および/もしくは提供するための任意の種類のその他のデバイスを含むかまたはそのようなデバイスであってもよい。ピクチャソースは、上述のピクチャのいずれかを記憶するための任意の種類のメモリまたはストレージであってもよい。
【0036】
プリプロセッサ18および前処理ユニット18によって実行される処理と区別して、ピクチャまたはピクチャデータ17は、生ピクチャまたは生ピクチャデータ17とも呼ばれてもよい。
【0037】
プリプロセッサ18は、(生)ピクチャデータ17を受け取り、ピクチャデータ17に対して前処理を実行して前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。プリプロセッサ18によって実行される前処理は、たとえば、トリミング、(たとえば、RGBからYCbCrへの)カラーフォーマット変換、色補正、または雑音除去を含んでもよい。前処理ユニット18は、任意選択の構成要素であってもよいことが理解されうる。
【0038】
ビデオエンコーダ20は、前処理されたピクチャデータ19を受け取り、符号化されたピクチャデータ21を提供するように構成される(さらなる詳細が、下で、たとえば、図2に基づいて説明される)。
【0039】
送信元デバイス12の通信インターフェース22は、符号化されたピクチャデータ21を受け取り、符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を、記憶するかまたは直接再構築するために別のデバイス、たとえば、送信先デバイス14または任意のその他のデバイスに通信チャネル13を介して送信するように構成されてもよい。
【0040】
送信先デバイス14は、デコーダ30(たとえば、ビデオデコーダ30)を含み、追加的に、つまり、任意選択で、通信インターフェースまたは通信ユニット28、ポストプロセッサ32(または後処理ユニット32)、およびディスプレイデバイス34を含んでもよい。
【0041】
送信先デバイス14の通信インターフェース28は、たとえば、送信元デバイス12から直接、または任意のその他のソース、たとえば、ストレージデバイス、たとえば、符号化されたピクチャデータのストレージデバイスから符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を受信し、符号化されたピクチャデータ21をデコーダ30に提供するように構成される。
【0042】
通信インターフェース22および通信インターフェース28は、送信元デバイス12と送信先デバイス14との間の直接通信リンク、たとえば、直接有線もしくはワイヤレス接続を介して、あるいは任意の種類のネットワーク、たとえば、有線もしくはワイヤレスネットワークもしくはそれらの任意の組み合わせ、または任意の種類のプライベートおよびパブリックネットワーク、またはそれらの任意の種類の組み合わせを介して符号化されたピクチャデータ21または符号化されたデータ13を送信または受信するように構成されてもよい。
【0043】
通信インターフェース22は、たとえば、符号化されたピクチャデータ21を適切なフォーマット、たとえば、パケットにパッケージングする、および/または通信リンクもしくは通信ネットワークを介して送信するための任意の種類の送信の符号化もしくは処理を使用して符号化されたピクチャデータを処理するように構成されてもよい。
【0044】
通信インターフェース22の相手先を形成する通信インターフェース28は、たとえば、送信されたデータを受信し、任意の種類の対応する送信の復号もしくは処理および/またはパッケージングの解除を使用して送信データを処理して符号化されたピクチャデータ21を取得するように構成されてもよい。
【0045】
通信インターフェース22と通信インターフェース28との両方が、送信元デバイス12から送信先デバイス14の方を指す図1Aの通信チャネル13に関する矢印によって示される単方向通信インターフェース、または双方向通信インターフェースとして構成されてもよく、たとえば、接続をセットアップし、通信リンクおよび/またはデータ送信、たとえば、符号化されたピクチャデータの送信に関連する任意のその他の情報を確認し、やりとりするために、たとえば、メッセージを送信および受信するように構成されてもよい。
【0046】
デコーダ30は、符号化されたピクチャデータ21を受信し、復号されたピクチャデータ31または復号されたピクチャ31を提供するように構成される(さらなる詳細が、下で、たとえば、図3または図5に基づいて説明される)。
【0047】
送信先デバイス14のポストプロセッサ32は、復号されたピクチャデータ31(再構築されたピクチャデータとも呼ばれる)、たとえば、復号されたピクチャ31を後処理して後処理されたピクチャデータ33、たとえば、後処理されたピクチャ33を取得するように構成される。後処理ユニット32によって実行される後処理は、たとえば、(たとえば、YCbCrからRGBへの)カラーフォーマット変換、色補正、トリミング、またはリサンプリング、またはたとえばディスプレイデバイス34による表示のためにたとえば復号されたピクチャデータ31を準備するための任意のその他の処理を含んでもよい。
【0048】
送信先デバイス14のディスプレイデバイス34は、たとえば、ユーザまたは視聴者に対してピクチャを表示するために後処理されたピクチャデータ33を受け取るように構成される。ディスプレイデバイス34は、再構築されたピクチャを示すための任意の種類のディスプレイ、たとえば、一体型または外部ディスプレイもしくはモニタであるかまたはそのようなディスプレイもしくはモニタを含んでもよい。ディスプレイは、たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、液晶オンシリコン(LCoS: liquid crystal on silicon)、デジタル光プロセッサ(DLP: digital light processor)、または任意の種類のその他のディスプレイを含んでもよい。
【0049】
図1Aは送信元デバイス12および送信先デバイス14を別々のデバイスとして示すが、デバイスの実施形態はまた、両方または両方の機能、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能を含んでもよい。そのような実施形態において、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能は、同じハードウェアおよび/もしくはソフトウェアを使用してまたは別々のハードウェアおよび/もしくはソフトウェアまたはそれらの任意の組み合わせによって実装されてもよい。
【0050】
説明に基づいて当業者に明らかになるように、異なるユニットの機能または図1Aに示される送信元デバイス12および/もしくは送信先デバイス14内の機能の存在および(厳密な)分割は、実際のデバイスおよびアプリケーションに応じて変わってもよい。
【0051】
エンコーダ20(たとえば、ビデオエンコーダ20)またはデコーダ30(たとえば、ビデオデコーダ30)またはエンコーダ20とデコーダ30との両方は、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ハードウェア、それらのビデオコーディングに専用のまたは任意の組み合わせなどの、図1Bに示された処理回路によって実装されてもよい。エンコーダ20は、図2のエンコーダ20および/または本明細書において説明される任意のその他のエンコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装されてもよい。デコーダ30は、図3のデコーダ30および/または本明細書において説明される任意のその他のデコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装されてもよい。処理回路は、後で検討される様々な動作を実行するように構成されてもよい。図5に示されるように、技術が部分的にソフトウェアで実装される場合、デバイスは、好適な非一時的コンピュータ可読ストレージ媒体にソフトウェアのための命令を記憶してもよく、本開示の技術を実行するために1つ以上のプロセッサを使用するハードウェアにおいて命令を実行してもよい。ビデオエンコーダ20およびビデオデコーダ30のいずれも、たとえば、図1Bに示されるように単一のデバイス内の組み合わされたエンコーダ/デコーダ(コーデック)の一部として組み込まれてもよい。
【0052】
送信元デバイス12および送信先デバイス14は、任意の種類のハンドヘルドまたは固定デバイス、たとえば、ノートブックまたはラップトップコンピュータ、モバイル電話、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、(コンテンツサービスサーバまたはコンテンツ配信サーバなどの)ビデオストリーミングデバイス、放送受信機デバイス、放送送信機デバイスなどを含む広範なデバイスのいずれかを含んでもよく、オペレーティングシステムを使用しないかまたは任意の種類のオペレーティングシステムを使用してもよい。場合によっては、送信元デバイス12および送信先デバイス14は、ワイヤレス通信に対応していてもよい。したがって、送信元デバイス12および送信先デバイス14は、ワイヤレス通信デバイスであってもよい。
【0053】
場合によっては、図1Aに示されたビデオコーディングシステム10は、例であるに過ぎず、本開示の技術は、符号化デバイスと復号デバイスとの間のいかなるデータ通信も含むとは限らないビデオコーディングの状況(たとえば、ビデオの符号化またはビデオの復号)に適用されてもよい。その他の例においては、データが、ローカルメモリから取り出される、またはネットワークを介してストリーミングされる、などである。ビデオ符号化デバイスが、データを符号化し、メモリに記憶してもよく、および/またはビデオ復号デバイスが、メモリからデータを取り出し、復号してもよい。いくつかの例において、符号化および復号が、互いに通信せず、単にメモリにデータを符号化し、および/またはメモリからデータを取り出し、復号するデバイスによって実行される。
【0054】
説明の便宜上、本発明の実施形態は、たとえば、高効率ビデオコーディング(HEVC: High-Efficiency Video Coding)、または多目的ビデオコーディング(VVC: Versatile Video coding)、ITU-Tビデオコーディング専門家グループ(VCEG: Video Coding Experts Group)およびISO/IEC動画専門家グループ(MPEG: Motion Picture Experts Group)のビデオコーディングに関する共同作業チーム(JCT-VC: Joint Collaboration Team on Video Coding)によって開発された次世代ビデオコーディング規格の参照ソフトウェアを参照することによって本明細書において説明される。当業者は、本発明の実施形態がHEVCまたはVVCに限定されないことを理解するであろう。
【0055】
エンコーダおよび符号化方法
図2は、本出願の技術を実装するように構成される例示的なビデオエンコーダ20の概略的なブロック図を示す。図2の例において、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタユニット220、復号ピクチャバッファ(DPB: decoded picture buffer)230、モード選択ユニット260、エントロピー符号化ユニット270、および出力272(または出力インターフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分けユニット262を含んでもよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含んでもよい。図2に示されたビデオエンコーダ20は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれてもよい。
図2は、本出願の技術を実装するように構成される例示的なビデオエンコーダ20の概略的なブロック図を示す。図2の例において、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタユニット220、復号ピクチャバッファ(DPB: decoded picture buffer)230、モード選択ユニット260、エントロピー符号化ユニット270、および出力272(または出力インターフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分けユニット262を含んでもよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含んでもよい。図2に示されたビデオエンコーダ20は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれてもよい。
【0056】
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとみなされてもよく、一方、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、バッファ216、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとみなされてもよく、ビデオエンコーダ20の逆方向信号経路は、デコーダの信号経路(図3のビデオデコーダ30を参照されたい)に対応する。逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。
【0057】
ピクチャ&ピクチャの区分け(ピクチャ&ブロック)
エンコーダ20は、たとえば、入力201を介してピクチャ17(またはピクチャデータ17)、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受け取るように構成されてもよい。受け取られたピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってもよい。簡単にするために、以下の説明は、ピクチャ17に言及する。ピクチャ17は、(特に、ビデオコーディングにおいて、現在のピクチャをその他のピクチャ、たとえば、同じビデオシーケンス、つまり、現在のピクチャも含むビデオシーケンスの既に符号化されたおよび/または復号されたピクチャと区別するために)現在のピクチャまたはコーディングされるピクチャとも呼ばれてもよい。
エンコーダ20は、たとえば、入力201を介してピクチャ17(またはピクチャデータ17)、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受け取るように構成されてもよい。受け取られたピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってもよい。簡単にするために、以下の説明は、ピクチャ17に言及する。ピクチャ17は、(特に、ビデオコーディングにおいて、現在のピクチャをその他のピクチャ、たとえば、同じビデオシーケンス、つまり、現在のピクチャも含むビデオシーケンスの既に符号化されたおよび/または復号されたピクチャと区別するために)現在のピクチャまたはコーディングされるピクチャとも呼ばれてもよい。
【0058】
(デジタル)ピクチャは、強度(intensity)値を有するサンプルの二次元配列または行列とみなされるかまたはみなされうる。配列のサンプルは、ピクセル(ピクチャエレメントの短縮形)またはペルとも呼ばれてもよい。配列またはピクチャの水平および垂直方向(または軸)のサンプル数は、ピクチャのサイズおよび/または解像度を定義する。色の表現のために、概して、3つの色成分が使用され、つまり、ピクチャが表現されるかまたは3つのサンプル配列を含んでもよい。RBGフォーマットまたは色空間で、ピクチャは、対応する赤、緑、および青のサンプル配列を含む。しかし、ビデオコーディングにおいて、各ピクセルは、概して、輝度(luminance)およびクロミナンス(chrominance)フォーマットまたは色空間、たとえば、Y(代わりにLが使用されることもある)によって示される輝度成分ならびにCbおよびCrによって示される2つのクロミナンス成分を含むYCbCrで表される。輝度(または短くルマ(luma))成分Yは、明るさまたは(たとえば、グレースケールピクチャと同様の)グレーレベルの強度を表し、一方、2つのクロミナンス(または短くクロマ(chroma))成分CbおよびCrは、色度または色情報成分を表す。したがって、YCbCrフォーマットのピクチャは、輝度サンプル値(Y)の輝度サンプル配列およびクロミナンス値(CbおよびCr)の2つのクロミナンスサンプル配列を含む。RGBフォーマットのピクチャは、YCbCrフォーマットに変換され(converted)または変換され(transformed)てもよく、その逆もあってよく、プロセスは、色変換(transformation)または変換(conversion)としても知られる。ピクチャがモノクロである場合、ピクチャは、輝度サンプル配列のみを含んでもよい。したがって、ピクチャは、たとえば、モノクロフォーマットにおいてはルマサンプルの配列であり、または4:2:0、4:2:2、および4:4:4カラーフォーマットにおいてはルマサンプルの配列およびクロマサンプルの2つの対応する配列であってもよい。
【0059】
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(通常は重なり合わない)ピクチャブロック203に区分けするように構成されたピクチャ区分けユニット(図2に示さず)を含んでもよい。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)、またはコーディングツリーブロック(CTB: coding tree block)もしくはコーディングツリーユニット(CTU: coding tree unit)(H.265/HEVCおよびVVC)とも呼ばれてもよい。ピクチャ区分けユニットは、ビデオシーケンスのすべてのピクチャおよびブロックサイズを定義する対応するグリッドに関して同じブロックサイズを使用するか、あるいはピクチャまたはピクチャのサブセットもしくはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに区分けするように構成されてもよい。
【0060】
さらなる実施形態において、ビデオエンコーダは、ピクチャ17のブロック203、たとえば、ピクチャ17を形成する1つの、いくつかの、またはすべてのブロックを直接受け取るように構成されてもよい。ピクチャブロック203は、現在のピクチャブロックまたはコーディングされるピクチャブロックとも呼ばれてもよい。
【0061】
ピクチャ17と同様に、ピクチャブロック203は、ピクチャ17よりも寸法が小さいが、強度値(サンプル値)を有するサンプルの二次元配列または行列とやはりみなされるかまたはみなされうる。言い換えると、ブロック203は、適用されるカラーフォーマットに応じて、たとえば、1つのサンプル配列(たとえば、モノクロピクチャ17の場合はルマ配列、またはカラーピクチャの場合はルマもしくはクロマ配列)、あるいは3つのサンプル配列(たとえば、カラーピクチャ17の場合はルマおよび2つのクロマ配列)、あるいは任意のその他の数および/または種類の配列を含んでもよい。ブロック203の水平および垂直方向(または軸)のサンプル数は、ブロック203のサイズを定義する。したがって、ブロックは、たとえば、サンプルのMxN(M列×N行)配列または変換係数のMxN配列であってもよい。
【0062】
図2に示されたビデオエンコーダ20の実施形態は、ピクチャ17をブロック毎に符号化するように構成されてもよく、たとえば、符号化および予測が、ブロック203毎に実行される。
【0063】
図2に示されるビデオエンコーダ20の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分けするおよび/または符号化するようにさらに構成されてもよく、ピクチャは、1つ以上の(概して重なり合わない)スライスに区分けされるかまたは1つ以上の(概して重なり合わない)スライスを使用して符号化されてもよく、各スライスは、1つ以上のブロック(たとえば、CTU)を含んでもよい。
【0064】
図2に示されるビデオエンコーダ20の実施形態は、タイルグループ(ビデオタイルグループとも呼ばれる)および/またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分けするおよび/または符号化するようにさらに構成されてもよく、ピクチャは、1つ以上の(概して重なり合わない)タイルグループに区分けされるかまたは1つ以上の(概して重なり合わない)タイルグループを使用して符号化されてもよく、各タイルグループは、たとえば、1つ以上のブロック(たとえば、CTU)または1つ以上のタイルを含んでもよく、各タイルは、たとえば、長方形の形をしていてもよく、1つ以上のブロック(たとえば、CTU)、たとえば、完全なまたは断片的なブロックを含んでもよい。
【0065】
残差の計算
残差計算ユニット204は、たとえば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を差し引いてサンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で与えられる)に基づいて残差ブロック205(残差205とも呼ばれる)を計算するように構成されてもよい。
残差計算ユニット204は、たとえば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を差し引いてサンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で与えられる)に基づいて残差ブロック205(残差205とも呼ばれる)を計算するように構成されてもよい。
【0066】
変換
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば、離散コサイン変換(DCT)または離散サイン変換(DST)を適用して変換領域において変換係数207を取得するように構成されてもよい。変換係数207は、変換残差係数とも呼ばれ、変換領域において残差ブロック205を表現してもよい。
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば、離散コサイン変換(DCT)または離散サイン変換(DST)を適用して変換領域において変換係数207を取得するように構成されてもよい。変換係数207は、変換残差係数とも呼ばれ、変換領域において残差ブロック205を表現してもよい。
【0067】
変換処理ユニット206は、H.265/HEVCのために規定された変換などのDCT/DSTの整数近似を適用するように構成されてもよい。直交DCT変換と比較して、そのような整数近似は、概して、特定の率でスケーリングされる。順および逆変換によって処理される残差ブロックのノルム(norm)を維持するために、追加的な倍率(scaling factor)が、変換プロセスの一部として適用される。倍率は、概して、倍率がシフト演算のために2の累乗であること、変換係数のビット深度、正確さと実装コストとの間のトレードオフなどのような特定の制約に基づいて選択される。たとえば、特定の倍率が、たとえば、逆変換処理ユニット212による逆変換(およびたとえば、ビデオデコーダ30における逆変換処理ユニット312による対応する逆変換)のために指定され、たとえば、エンコーダ20の変換処理ユニット206による順変換のための対応する倍率が、それに応じて指定されてもよい。
【0068】
ビデオエンコーダ20(それぞれ、変換処理ユニット206)の実施形態は、たとえば、ビデオデコーダ30が変換パラメータを受信し、復号のために使用してもよいように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化されるかもしくは圧縮される変換パラメータ、たとえば、ある種の1つの変換または複数の変換を出力するように構成されてもよい。
【0069】
量子化
量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって変換係数207を量子化して量子化された係数209を取得するように構成されてもよい。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれてもよい。
量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって変換係数207を量子化して量子化された係数209を取得するように構成されてもよい。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれてもよい。
【0070】
量子化プロセスは、変換係数207の一部またはすべてに関連するビット深度を削減してもよい。たとえば、nビットの変換係数が、量子化中にmビットの変換係数に切り捨てられてもよく、nは、mよりも大きい。量子化の度合いは、量子化パラメータ(QP: quantization parameter)を調整することによって修正されてもよい。たとえば、スカラー量子化に関して、より細かいまたはより粗い量子化を達成するために異なるスケーリングが適用されてもよい。より小さな量子化ステップサイズは、より細かい量子化に対応し、一方、より大きな量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズが、量子化パラメータ(QP)によって示されてもよい。量子化パラメータは、たとえば、適用可能な量子化ステップサイズの予め定義された組へのインデックスであってもよい。たとえば、小さな量子化パラメータが、細かい量子化(小さな量子化ステップサイズ)に対応してもよく、大きな量子化パラメータが、粗い量子化(大きな量子化ステップサイズ)に対応してもよく、またはその逆であってもよい。量子化は、量子化ステップサイズによる除算を含んでもよく、たとえば、逆量子化ユニット210による対応するおよび/または逆量子化解除は、量子化ステップサイズによる乗算を含んでもよい。一部の規格、たとえば、HEVCによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成されてもよい。概して、量子化ステップサイズは、除算を含む等式の固定小数点近似(fixed point approximation)を使用して量子化パラメータに基づいて計算されてもよい。量子化ステップサイズおよび量子化パラメータに関する等式の固定小数点近似において使用されるスケーリングが原因で修正されてもよい残差ブロックのノルムを復元するために、量子化および量子化解除に関して追加的な倍率が導入されてもよい。1つの例示的な実装においては、逆変換および量子化解除のスケーリングが、組み合わされてもよい。代替的に、カスタマイズされた量子化テーブルが使用され、たとえば、ビットストリーム内でエンコーダからデコーダにシグナリングされてもよい。量子化は、不可逆演算であり、損失は、量子化ステップサイズが大きくなるにつれて増加する。
【0071】
ビデオエンコーダ20(それぞれ、量子化ユニット208)の実施形態は、たとえば、ビデオデコーダ30が量子化パラメータを受信し、復号のために適用してもよいように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される量子化パラメータ(QP)を出力するように構成されてもよい。
【0072】
逆量子化
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいてまたはそれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することによって、量子化された係数に量子化ユニット208の逆量子化を適用して量子化解除された係数211を取得するように構成される。量子化解除された係数211は、量子化解除された残差係数211とも呼ばれ、--量子化による損失が原因で概して変換係数と同一ではないが--変換係数207に対応してもよい。
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいてまたはそれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することによって、量子化された係数に量子化ユニット208の逆量子化を適用して量子化解除された係数211を取得するように構成される。量子化解除された係数211は、量子化解除された残差係数211とも呼ばれ、--量子化による損失が原因で概して変換係数と同一ではないが--変換係数207に対応してもよい。
【0073】
逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)またはその他の逆変換を適用してサンプル領域において再構築された残差ブロック213(または対応する量子化解除された係数213)を取得するように構成される。再構築された残差ブロック213は、変換ブロック(transform block)213とも呼ばれてもよい。
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)またはその他の逆変換を適用してサンプル領域において再構築された残差ブロック213(または対応する量子化解除された係数213)を取得するように構成される。再構築された残差ブロック213は、変換ブロック(transform block)213とも呼ばれてもよい。
【0074】
再構築
再構築ユニット214(たとえば、加算器または合算器214)は、たとえば、再構築された残差ブロック213のサンプル値と予測ブロック265のサンプル値とを--サンプル毎に--足すことによって予測ブロック265に変換ブロック213(すなわち、再構築された残差ブロック213)を足してサンプル領域において再構築されたブロック215を取得するように構成される。
再構築ユニット214(たとえば、加算器または合算器214)は、たとえば、再構築された残差ブロック213のサンプル値と予測ブロック265のサンプル値とを--サンプル毎に--足すことによって予測ブロック265に変換ブロック213(すなわち、再構築された残差ブロック213)を足してサンプル領域において再構築されたブロック215を取得するように構成される。
【0075】
フィルタリング
ループフィルタユニット220(または短く「ループフィルタ」220)は、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得する、または概して、再構築されたサンプルをフィルタリングしてフィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO: sample-adaptive offset)フィルタ、または1つ以上のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF: adaptive loop filter)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ(collaborative filter)、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット220は図2にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット220は、ループ後フィルタとして実装されてもよい。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれてもよい。
ループフィルタユニット220(または短く「ループフィルタ」220)は、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得する、または概して、再構築されたサンプルをフィルタリングしてフィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO: sample-adaptive offset)フィルタ、または1つ以上のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF: adaptive loop filter)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ(collaborative filter)、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット220は図2にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット220は、ループ後フィルタとして実装されてもよい。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれてもよい。
【0076】
ビデオエンコーダ20(それぞれ、ループフィルタユニット220)の実施形態は、たとえば、デコーダ30が同じループフィルタのパラメータまたはそれぞれのループフィルタを受信し、復号のために適用してもよいように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される(サンプル適応オフセット情報などの)ループフィルタのパラメータを出力するように構成されてもよい。
【0077】
復号ピクチャバッファ
復号ピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータを符号化するための参照ピクチャまたは概して参照ピクチャデータを記憶するメモリであってもよい。DPB230は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM: resistive RAM)、またはその他の種類のメモリデバイスなどの様々なメモリデバイスのいずれかによって形成されてもよい。復号ピクチャバッファ(DPB)230は、1つ以上のフィルタリングされたブロック221を記憶するように構成されてもよい。復号ピクチャバッファ230は、同じ現在のピクチャまたは異なるピクチャ、たとえば、既に再構築されたピクチャのその他の既にフィルタリングされたブロック、たとえば、既に再構築され、フィルタリングされたブロック221を記憶するようにさらに構成されてもよく、たとえば、インター予測のために、完全な既に再構築された、つまり、復号されたピクチャ(および対応する参照ブロックおよびサンプル)ならびに/または部分的に再構築された現在のピクチャ(および対応する参照ブロックおよびサンプル)を提供してもよい。復号ピクチャバッファ(DPB)230は、たとえば、再構築されたブロック215がループフィルタユニット220によってフィルタリングされない場合、1つ以上のフィルタリングされていない再構築されたブロック215もしくは概してフィルタリングされていない再構築されたサンプルを記憶し、または再構築されたブロックもしくはサンプルの任意のその他のさらに処理されたバージョンを記憶するようにも構成されてもよい。
復号ピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータを符号化するための参照ピクチャまたは概して参照ピクチャデータを記憶するメモリであってもよい。DPB230は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM: resistive RAM)、またはその他の種類のメモリデバイスなどの様々なメモリデバイスのいずれかによって形成されてもよい。復号ピクチャバッファ(DPB)230は、1つ以上のフィルタリングされたブロック221を記憶するように構成されてもよい。復号ピクチャバッファ230は、同じ現在のピクチャまたは異なるピクチャ、たとえば、既に再構築されたピクチャのその他の既にフィルタリングされたブロック、たとえば、既に再構築され、フィルタリングされたブロック221を記憶するようにさらに構成されてもよく、たとえば、インター予測のために、完全な既に再構築された、つまり、復号されたピクチャ(および対応する参照ブロックおよびサンプル)ならびに/または部分的に再構築された現在のピクチャ(および対応する参照ブロックおよびサンプル)を提供してもよい。復号ピクチャバッファ(DPB)230は、たとえば、再構築されたブロック215がループフィルタユニット220によってフィルタリングされない場合、1つ以上のフィルタリングされていない再構築されたブロック215もしくは概してフィルタリングされていない再構築されたサンプルを記憶し、または再構築されたブロックもしくはサンプルの任意のその他のさらに処理されたバージョンを記憶するようにも構成されてもよい。
【0078】
モード選択(区分け&予測)
モード選択ユニット260は、区分けユニット262、インター予測ユニット244、およびイントラ予測ユニット254を含み、元のピクチャデータ、たとえば、元のブロック203(現在のピクチャ17の現在のブロック203)と、再構築されたピクチャデータ、たとえば、同じ(現在の)ピクチャの、および/またはたとえば復号ピクチャバッファ230もしくはその他のバッファ(たとえば、図示されていないラインバッファ)からの1つ以上の既に復号されたピクチャからのフィルタリングされたおよび/またはフィルタリングされていない再構築されたサンプルまたはブロックとを受け取るかまたは取得するように構成される。再構築されたピクチャデータは、予測ブロック265または予測子(predictor)265を取得するための予測、たとえば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、区分けユニット262、インター予測ユニット244、およびイントラ予測ユニット254を含み、元のピクチャデータ、たとえば、元のブロック203(現在のピクチャ17の現在のブロック203)と、再構築されたピクチャデータ、たとえば、同じ(現在の)ピクチャの、および/またはたとえば復号ピクチャバッファ230もしくはその他のバッファ(たとえば、図示されていないラインバッファ)からの1つ以上の既に復号されたピクチャからのフィルタリングされたおよび/またはフィルタリングされていない再構築されたサンプルまたはブロックとを受け取るかまたは取得するように構成される。再構築されたピクチャデータは、予測ブロック265または予測子(predictor)265を取得するための予測、たとえば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
【0079】
モード選択ユニット260は、(区分けを含まない)現在のブロックの予測モードのための区分けおよび予測モード(たとえば、イントラまたはインター予測モード)を決定するかまたは選択し、残差ブロック205の計算および再構築されたブロック215の再構築のために使用される対応する予測ブロック265を生成するように構成されてもよい。
【0080】
モード選択ユニット260の実施形態は、最良の一致もしくは言い換えると最小の残差(最小の残差は送信もしくは記憶のためのより優れた圧縮を意味する)または最小のシグナリングオーバーヘッド(最小のシグナリングオーバーヘッドは送信もしくは記憶のためのより優れた圧縮を意味する)を提供する、あるいはそれら両方を考慮するかまたは釣り合いを取る区分けおよび予測モードを(たとえば、モード選択ユニット260によってサポートされるかまたはモード選択ユニット260が利用可能な区分けおよび予測モードから)選択するように構成されてもよい。モード選択ユニット260は、レート歪み最適化(RDO)に基づいて区分けおよび予測モードを決定する、つまり、最小のレート歪みを提供する予測モードを選択するように構成されてもよい。この文脈の「最良の」、「最小の」、「最適な」などのような用語は、必ずしも全体の「最良の」、「最小の」、「最適な」などを指さず、値が閾値を超えることもしくは下回ることのような終了もしくは選択の基準、または潜在的に「準最適な選択」につながるが、複雑さおよび処理時間を削減するその他の制約を満たすことをも指してもよい。
【0081】
言い換えると、区分けユニット262は、たとえば、四分木区分け(QT)、二分区分け(BT)、または三分木区分け(TT)、またはこれらの任意の組み合わせを反復的に使用してブロック203を(やはりブロックを形成する)より小さなブロックの区画または下位ブロックに区分けし、たとえば、ブロックの区画または下位ブロックの各々に関して予測を実行するように構成されてもよく、モード選択は、区分けされたブロック203の木構造の選択を含み、予測モードは、ブロックの区画または下位ブロックの各々に適用される。
【0082】
以下で、例示的なビデオエンコーダ20によって実行される(たとえば、区分けユニット260による)区分けならびに(インター予測ユニット244およびイントラ予測ユニット254による)予測処理が、より詳細に説明される。
【0083】
区分け
区分けユニット262は、現在のブロック203をより小さな区画、たとえば、正方形または長方形のサイズのより小さなブロックに区分け(または分割)してもよい。これらのより小さなブロック(下位ブロックとも呼ばれてもよい)は、より一層小さな区画にさらに区分けされてもよい。これは、木区分けまたは階層的木区分けとも呼ばれ、たとえば、ルートツリーレベル0(階層レベル0、深さ0)のルートブロックが、再帰的に区分けされ、たとえば、次に低いツリーレベルの2つ以上のブロック、たとえば、ツリーレベル1(階層レベル1、深さ1)のノードに区分けされてもよく、これらのブロックが、次に低いレベル、たとえば、ツリーレベル2(階層レベル2、深さ2)の2つ以上のブロックに再び区分けされてもよく、たとえば、終了基準が満たされる、たとえば、最大のツリーの深さまたは最小のブロックサイズが達せられるので区分けが終了されるまで以下同様である。さらに区分けされないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。2つの区画への区分けを使用する木は、二分木(BT)と呼ばれ、3つの区画への区分けを使用する木は、三分木(TT)と呼ばれ、4つの区画への区分けを使用する木は、四分木(QT)と呼ばれる。
区分けユニット262は、現在のブロック203をより小さな区画、たとえば、正方形または長方形のサイズのより小さなブロックに区分け(または分割)してもよい。これらのより小さなブロック(下位ブロックとも呼ばれてもよい)は、より一層小さな区画にさらに区分けされてもよい。これは、木区分けまたは階層的木区分けとも呼ばれ、たとえば、ルートツリーレベル0(階層レベル0、深さ0)のルートブロックが、再帰的に区分けされ、たとえば、次に低いツリーレベルの2つ以上のブロック、たとえば、ツリーレベル1(階層レベル1、深さ1)のノードに区分けされてもよく、これらのブロックが、次に低いレベル、たとえば、ツリーレベル2(階層レベル2、深さ2)の2つ以上のブロックに再び区分けされてもよく、たとえば、終了基準が満たされる、たとえば、最大のツリーの深さまたは最小のブロックサイズが達せられるので区分けが終了されるまで以下同様である。さらに区分けされないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。2つの区画への区分けを使用する木は、二分木(BT)と呼ばれ、3つの区画への区分けを使用する木は、三分木(TT)と呼ばれ、4つの区画への区分けを使用する木は、四分木(QT)と呼ばれる。
【0084】
上述のように、本明細書において使用される用語「ブロック」は、ピクチャの一部分、特に、正方形または長方形の一部分であってもよい。たとえば、HEVCおよびVVCに関連して、ブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU: coding unit)、予測ユニット(PU: prediction unit)、および変換ユニット(TU: transform unit)、ならびに/または対応するブロック、たとえば、コーディングツリーブロック(CTB)、コーディングブロック(CB: coding block)、変換ブロック(TB)、または予測ブロック(PB)であるかまたはそれらに対応してもよい。
【0085】
たとえば、コーディングツリーユニット(CTU)は、ルマサンプルのCTB、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面(colour plane)およびシンタックス(syntax)構造を使用してコーディングされるピクチャのサンプルのCTBであるかまたはそれらを含んでもよい。それに対応して、コーディングツリーブロック(CTB)は、構成要素のCTBへの分割が区分けであるようなNの何らかの値に関するサンプルのNxNのブロックであってもよい。コーディングユニット(CU)は、ルマサンプルのコーディングブロック、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するコーディングブロック、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面およびシンタックス構造を使用してコーディングされるピクチャのサンプルのコーディングブロックであるかまたはそれらを含んでもよい。それに対応して、コーディングブロック(CB)は、CTBのコーディングブロックへの分割が区分けであるようなMおよびNの何らかの値に関するサンプルのMxNのブロックであってもよい。
【0086】
たとえば、HEVCによる実施形態において、コーディングツリーユニット(CTU)は、コーディングツリーとして表される四分木構造を使用することによってCUに分割されてもよい。インターピクチャ(時間)予測を使用してピクチャエリアをコーディングすべきかまたはイントラピクチャ(空間)予測を使用してピクチャエリアをコーディングすべきかの判断は、CUレベルで行われる。各CUは、PU分割タイプに従って1つ、2つ、または4つのPUにさらに分割されうる。1つのPU内では、同じ予測プロセスが適用され、関連する情報がPUに基づいてデコーダに送信される。PU分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、CUは、CUに関するコーディングツリーと同様の別の四分木構造によって変換ユニット(TU)に区分けされうる。
【0087】
たとえば、多目的ビデオコーディング(VVC)と呼ばれる現在開発されている最新のビデオコーディング規格による実施形態においては、組み合わされた四分木および二分木(QTBT)区分けが、たとえば、コーディングブロックを区分けするために使用される。QTBTブロック構造において、CUは、正方形かまたは長方形かのどちらかの形状を持つことができる。たとえば、コーディングツリーユニット(CTU)が、まず、四分木構造によって区分けされる。四分木の葉ノードが、二分木または三分(ternary)(または三分(triple))木構造によってさらに区分けされる。区分けツリーの葉ノードは、コーディングユニット(CU)と呼ばれ、そのセグメント分けが、いかなるさらなる区分けもなしに予測および変換処理のために使用される。これは、CU、PU、およびTUがQTBTコーディングブロック構造において同じブロックサイズを有することを意味する。平行して、多区画、たとえば、三分木区画は、QTBTブロック構造と一緒に使用されてもよい。
【0088】
一例において、ビデオエンコーダ20のモード選択ユニット260は、本明細書において説明される区分け技術の任意の組み合わせを実行するように構成されてもよい。
【0089】
上述のように、ビデオエンコーダ20は、1組の(たとえば、所定の)予測モードから最良のまたは最適な予測モードを決定するまたは選択するように構成される。1組の予測モードは、たとえば、イントラ予測モードおよび/またはインター予測モードを含んでもよい。
【0090】
イントラ予測
1組のイントラ予測モードは、たとえばHEVCにおいて定義された35個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよく、あるいはたとえばVVCのために定義された67個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよい。
1組のイントラ予測モードは、たとえばHEVCにおいて定義された35個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよく、あるいはたとえばVVCのために定義された67個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含んでもよい。
【0091】
イントラ予測ユニット254は、1組のイントラ予測モードのうちのイントラ予測モードによって、同じ現在のピクチャの近隣のブロックの再構築されたサンプルを使用してイントラ予測ブロック265を生成するように構成される。
【0092】
イントラ予測ユニット254(または概してモード選択ユニット260)は、たとえば、ビデオデコーダ30が予測パラメータを受信し、復号のために使用してもよいように、符号化されたピクチャデータ21に含めるためにシンタックス要素266の形態でエントロピー符号化ユニット270にイントラ予測パラメータ(または概してブロックに関する選択されたイントラ予測モードを示す情報)を出力するようにさらに構成される。
【0093】
インター予測
1組の(または可能な)インター予測モードは、利用可能な参照ピクチャ(つまり、たとえば、DBP230に記憶された前の少なくとも部分的に復号されたピクチャ)ならびにその他のインター予測パラメータ、たとえば、最もよく一致する参照ブロックを探索するために参照ピクチャ全体が使用されるのかもしくは参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索窓(search window)エリアのみが使用されるか、ならびに/またはたとえば、ピクセル補間、たとえば、半/セミペル(half/semi-pel)および/もしくは4分の1ペル補間が適用されるか否かに依存する。
1組の(または可能な)インター予測モードは、利用可能な参照ピクチャ(つまり、たとえば、DBP230に記憶された前の少なくとも部分的に復号されたピクチャ)ならびにその他のインター予測パラメータ、たとえば、最もよく一致する参照ブロックを探索するために参照ピクチャ全体が使用されるのかもしくは参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索窓(search window)エリアのみが使用されるか、ならびに/またはたとえば、ピクセル補間、たとえば、半/セミペル(half/semi-pel)および/もしくは4分の1ペル補間が適用されるか否かに依存する。
【0094】
上述の予測モードに加えて、スキップモードおよび/またはダイレクトモードが、適用されてもよい。
【0095】
インター予測ユニット244は、動き推定(ME)ユニットおよび動き補償(MC)ユニット(どちらも図2に示さず)を含んでもよい。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在のピクチャ17の現在のピクチャブロック203)および復号されたピクチャ231、または少なくとも1つのもしくは複数の既に再構築されたブロック、たとえば、1つ以上のその他の/異なる既に復号されたピクチャ231の再構築されたブロックを受信するかまたは取得するように構成されてもよい。たとえば、ビデオシーケンスは、現在のピクチャおよび既に復号されたピクチャ231を含んでもよく、または言い換えると、現在のピクチャおよび既に復号されたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であるかもしくはそのようなピクチャのシーケンスを形成してもよい。
【0096】
エンコーダ20は、たとえば、複数のその他のピクチャのうちの同じまたは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(もしくは参照ピクチャインデックス)および/または参照ブロックの位置(x、y座標)と現在のブロックの位置との間のオフセット(空間オフセット)をインター予測パラメータとして動き推定ユニットに提供するように構成されてもよい。このオフセットは、動きベクトル(MV)とも呼ばれる。
【0097】
動き補償ユニットは、インター予測パラメータを取得、たとえば、受信し、インター予測パラメータに基づいてまたはインター予測パラメータを使用してインター予測を実行してインター予測ブロック265を取得するように構成される。動き補償ユニットによって実行される動き補償は、おそらくはサブピクセルの精度の補間を実行する動き推定によって決定された動き/ブロックベクトルに基づく予測ブロックのフェッチまたは生成を含んでもよい。補間フィルタリングが、知られているピクセルサンプルから追加的なピクセルサンプルを生成してもよく、したがって潜在的に、ピクチャブロックをコーディングするために使用されてもよい候補予測ブロックの数を増やす。現在のピクチャブロックのPUに関する動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つにおいて動きベクトルが指す予測ブロックを見つけてもよい。
【0098】
動き補償ユニットは、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ30によって使用するためのブロックおよびビデオスライスに関連するシンタックス要素も生成してもよい。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、生成されるかまたは使用されてもよい。
【0099】
エントロピーコーディング
エントロピー符号化ユニット270は、たとえば、ビデオデコーダ30がパラメータを受信し、復号のために使用してもよいように、たとえば、符号化されたビットストリーム21の形態で出力272を介して出力されうる符号化されたピクチャデータ21を得るために、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素に対して、たとえば、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(VLC: variable length coding)方式、コンテキスト適応VLC方式(CAVLC: context adaptive VLC)、算術コーディング方式、2値化、コンテキスト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE: probability interval partitioning entropy)コーディング、もしくは別のエントロピー符号化方法もしくは技術)またはバイパス(bypass)(非圧縮)を適用するように構成される。符号化されたビットストリーム21は、ビデオデコーダ30に送信されるか、または後の送信またはビデオデコーダ30による取り出しのためにメモリに記憶されてもよい。
エントロピー符号化ユニット270は、たとえば、ビデオデコーダ30がパラメータを受信し、復号のために使用してもよいように、たとえば、符号化されたビットストリーム21の形態で出力272を介して出力されうる符号化されたピクチャデータ21を得るために、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素に対して、たとえば、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(VLC: variable length coding)方式、コンテキスト適応VLC方式(CAVLC: context adaptive VLC)、算術コーディング方式、2値化、コンテキスト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE: probability interval partitioning entropy)コーディング、もしくは別のエントロピー符号化方法もしくは技術)またはバイパス(bypass)(非圧縮)を適用するように構成される。符号化されたビットストリーム21は、ビデオデコーダ30に送信されるか、または後の送信またはビデオデコーダ30による取り出しのためにメモリに記憶されてもよい。
【0100】
ビデオエンコーダ20のその他の構造の変化形が、ビデオストリームを符号化するために使用されうる。たとえば、変換に基づかないエンコーダ20は、特定のブロックまたはフレームに関して変換処理ユニット206なしに残差信号を直接量子化しうる。別の実装において、エンコーダ20は、単一のユニットに組み合わされた量子化ユニット208および逆量子化ユニット210を持ちうる。
【0101】
デコーダおよび復号方法
図3は、本出願の技術を実装するように構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20によって符号化された符号化されたピクチャデータ21(たとえば、符号化されたビットストリーム21)を受信するように構成される。符号化されたピクチャデータまたはビットストリームは、符号化されたピクチャデータ、たとえば、符号化されたビデオスライス(および/またはタイルグループもしくはタイル)のピクチャブロックならびに関連するシンタックス要素を表すデータを復号するための情報を含む。
図3は、本出願の技術を実装するように構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20によって符号化された符号化されたピクチャデータ21(たとえば、符号化されたビットストリーム21)を受信するように構成される。符号化されたピクチャデータまたはビットストリームは、符号化されたピクチャデータ、たとえば、符号化されたビデオスライス(および/またはタイルグループもしくはタイル)のピクチャブロックならびに関連するシンタックス要素を表すデータを復号するための情報を含む。
【0102】
図3の例において、デコーダ30は、エントロピー復号ユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構築ユニット314(たとえば、合算器314)、ループフィルタ320、復号ピクチャバッファ(DBP)330、モード適用ユニット360、インター予測ユニット344、およびイントラ予測ユニット354を含む。インター予測ユニット344は、動き補償ユニットであるかまたは動き補償ユニットを含んでもよい。ビデオデコーダ30は、いくつかの例において、図2のビデオエンコーダ100に関連して説明された符号化パスと概して逆である復号パスを実行してもよい。
【0103】
エンコーダ20に関連して説明されたように、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。したがって、逆量子化ユニット310は、逆量子化ユニット110と機能的に同一であってもよく、逆変換処理ユニット312は、逆変換処理ユニット212と機能的に同一であってもよく、再構築ユニット314は、再構築ユニット214と機能的に同一であってもよく、ループフィルタ320は、ループフィルタ220と機能的に同一であってもよく、復号ピクチャバッファ330は、復号ピクチャバッファ230と機能的に同一であってもよい。したがって、ビデオ20エンコーダのそれぞれのユニットおよび機能に関して与えられた説明が、ビデオデコーダ30のそれぞれのユニットおよび機能に準用される。
【0104】
エントロピー復号
エントロピー復号ユニット304は、ビットストリーム21(または概して符号化されたピクチャデータ21)を解析し、たとえば、符号化されたピクチャデータ21にエントロピー復号を実行して、たとえば、量子化された係数309ならびに/あるいは復号されたコーディングパラメータ(図3に示さず)、たとえば、インター予測パラメータ(たとえば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(たとえば、イントラ予測モードもしくはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素のいずれかまたはすべてを取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関連して説明された符号化方式に対応する復号アルゴリズムまたは方式を適用するように構成されてもよい。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/またはその他のシンタックス要素をモード適用ユニット360に提供し、その他のパラメータをデコーダ30のその他のユニットに提供するようにさらに構成されてもよい。ビデオデコーダ30は、ビデオスライスのレベルおよび/またはビデオブロックのレベルでシンタックス要素を受信してもよい。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、受信されるおよび/または使用されてもよい。
エントロピー復号ユニット304は、ビットストリーム21(または概して符号化されたピクチャデータ21)を解析し、たとえば、符号化されたピクチャデータ21にエントロピー復号を実行して、たとえば、量子化された係数309ならびに/あるいは復号されたコーディングパラメータ(図3に示さず)、たとえば、インター予測パラメータ(たとえば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(たとえば、イントラ予測モードもしくはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素のいずれかまたはすべてを取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関連して説明された符号化方式に対応する復号アルゴリズムまたは方式を適用するように構成されてもよい。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/またはその他のシンタックス要素をモード適用ユニット360に提供し、その他のパラメータをデコーダ30のその他のユニットに提供するようにさらに構成されてもよい。ビデオデコーダ30は、ビデオスライスのレベルおよび/またはビデオブロックのレベルでシンタックス要素を受信してもよい。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、受信されるおよび/または使用されてもよい。
【0105】
逆量子化
逆量子化ユニット310は、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から量子化パラメータ(QP)(または概して逆量子化に関連する情報)および量子化された係数を受け取り、復号された量子化された係数309に対して量子化パラメータに基づいて逆量子化を適用して、変換係数311とも呼ばれてもよい量子化解除された係数311を取得するように構成されてもよい。逆量子化プロセスは、量子化の度合いと、同様に、適用されるべき逆量子化の度合いとを決定するために、ビデオスライス(またはタイルまたはタイルグループ)内の各ビデオブロックに関してビデオエンコーダ20によって決定された量子化パラメータを使用することを含んでもよい。
逆量子化ユニット310は、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から量子化パラメータ(QP)(または概して逆量子化に関連する情報)および量子化された係数を受け取り、復号された量子化された係数309に対して量子化パラメータに基づいて逆量子化を適用して、変換係数311とも呼ばれてもよい量子化解除された係数311を取得するように構成されてもよい。逆量子化プロセスは、量子化の度合いと、同様に、適用されるべき逆量子化の度合いとを決定するために、ビデオスライス(またはタイルまたはタイルグループ)内の各ビデオブロックに関してビデオエンコーダ20によって決定された量子化パラメータを使用することを含んでもよい。
【0106】
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる量子化解除された係数311を受け取り、サンプル領域において再構築された残差ブロック213を取得するために、量子化解除された係数311に変換を適用するように構成されてもよい。再構築された残差ブロック213は、変換ブロック313とも呼ばれてもよい。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスであってもよい。逆変換処理ユニット312は、量子化解除された係数311に適用される変換を決定するために、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から変換パラメータまたは対応する情報を受け取るようにさらに構成されてもよい。
逆変換処理ユニット312は、変換係数311とも呼ばれる量子化解除された係数311を受け取り、サンプル領域において再構築された残差ブロック213を取得するために、量子化解除された係数311に変換を適用するように構成されてもよい。再構築された残差ブロック213は、変換ブロック313とも呼ばれてもよい。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスであってもよい。逆変換処理ユニット312は、量子化解除された係数311に適用される変換を決定するために、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から変換パラメータまたは対応する情報を受け取るようにさらに構成されてもよい。
【0107】
再構築
再構築ユニット314(たとえば、加算器または合算器314)は、たとえば、再構築された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを足すことによって予測ブロック365に再構築された残差ブロック313を足してサンプル領域において再構築されたブロック315を取得するように構成されてもよい。
再構築ユニット314(たとえば、加算器または合算器314)は、たとえば、再構築された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを足すことによって予測ブロック365に再構築された残差ブロック313を足してサンプル領域において再構築されたブロック315を取得するように構成されてもよい。
【0108】
フィルタリング
(コーディングループ内かまたはコーディングループの後かのいずれかの)ループフィルタユニット320は、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するために再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、または1つ以上のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット320は図3にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット320は、ループ後フィルタとして実装されてもよい。
(コーディングループ内かまたはコーディングループの後かのいずれかの)ループフィルタユニット320は、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するために再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、または1つ以上のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ、もしくはこれらの任意の組み合わせなどの1つ以上のループフィルタを含んでもよい。ループフィルタユニット320は図3にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット320は、ループ後フィルタとして実装されてもよい。
【0109】
復号ピクチャバッファ
次いで、ピクチャの復号されたビデオブロック321は、その他のピクチャに関するその後の動き補償のための参照ピクチャとしておよび/またはディスプレイ上にそれぞれ出力するために復号されたピクチャ331を記憶する復号ピクチャバッファ330に記憶される。
次いで、ピクチャの復号されたビデオブロック321は、その他のピクチャに関するその後の動き補償のための参照ピクチャとしておよび/またはディスプレイ上にそれぞれ出力するために復号されたピクチャ331を記憶する復号ピクチャバッファ330に記憶される。
【0110】
デコーダ30は、復号されたピクチャ311を、ユーザへの提示または視聴のために、たとえば、出力312を介して出力するように構成される。
【0111】
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってもよく、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一であってもよく、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から受け取られた区分けおよび/または予測パラメータまたはそれぞれの情報に基づいて分割または区分けの判断および予測を実行する。モード適用ユニット360は、予測ブロック365を得るために、(フィルタリングされたまたはフィルタリングされていない)再構築されたピクチャ、ブロック、またはそれぞれのサンプルに基づいてブロック毎に予測(イントラまたはインター予測)を実行するように構成されてもよい。
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってもよく、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一であってもよく、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から受け取られた区分けおよび/または予測パラメータまたはそれぞれの情報に基づいて分割または区分けの判断および予測を実行する。モード適用ユニット360は、予測ブロック365を得るために、(フィルタリングされたまたはフィルタリングされていない)再構築されたピクチャ、ブロック、またはそれぞれのサンプルに基づいてブロック毎に予測(イントラまたはインター予測)を実行するように構成されてもよい。
【0112】
ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされるとき、モード適用ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モードおよび現在のピクチャの既に復号されたブロックからのデータに基づいて現在のビデオスライスのピクチャブロックに関する予測ブロック365を生成するように構成される。ビデオピクチャがインターコーディングされた(つまり、BまたはP)スライスとしてコーディングされるとき、モード適用ユニット360のインター予測ユニット344(たとえば、動き補償ユニット)は、エントロピー復号ユニット304から受け取られたモーションベクトルおよびその他のシンタックス要素に基づいて現在のビデオスライスのビデオブロックに関する予測ブロック365を生成するように構成される。インター予測に関して、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生成されてもよい。ビデオデコーダ30は、DPB330に記憶された参照ピクチャに基づいてデフォルトの構築技術を使用して参照フレームリスト、List 0およびList 1を構築してもよい。同じまたは同様のことが、スライス(たとえば、ビデオスライス)に加えてまたはスライス(たとえば、ビデオスライス)の代替としてタイルグループ(たとえば、ビデオタイルグループ)および/またはタイル(たとえば、ビデオタイル)を使用する実施形態のためにまたはそのような実施形態によって適用されてもよく、たとえば、ビデオは、I、P、またはBタイルグループおよび/またはタイルを使用してコーディングされてもよい。
【0113】
モード適用ユニット360は、動きベクトルまたは関連する情報およびその他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに関する予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックに関する予測ブロックを生成するように構成される。たとえば、モード適用ユニット360は、受信されたシンタックス要素の一部を使用して、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(たとえば、イントラまたはインター予測)、インター予測のスライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つ以上に関する構築情報、スライスのそれぞれのインター符号化されたビデオブロックに関する動きベクトル、スライスのそれぞれのインターコーディングされたビデオブロックに関するインター予測のステータス、および現在のビデオスライス内のビデオブロックを復号するためのその他の情報を決定する。同じまたは同様のことが、スライス(たとえば、ビデオスライス)に加えてまたはスライス(たとえば、ビデオスライス)の代替としてタイルグループ(たとえば、ビデオタイルグループ)および/またはタイル(たとえば、ビデオタイル)を使用する実施形態のためにまたはそのような実施形態によって適用されてもよく、たとえば、ビデオは、I、P、またはBタイルグループおよび/またはタイルを使用してコーディングされてもよい。
【0114】
図3に示されるビデオデコーダ30の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分けするおよび/または復号するように構成されてもよく、ピクチャは、1つ以上の(概して重なり合わない)スライスに区分けされるかまたは1つ以上の(概して重なり合わない)スライスを使用して復号されてもよく、各スライスは、1つ以上のブロック(たとえば、CTU)を含んでもよい。
【0115】
図3に示されるビデオデコーダ30の実施形態は、タイルグループ(ビデオタイルグループとも呼ばれる)および/またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分けするおよび/または復号するように構成されてもよく、ピクチャは、1つ以上の(概して重なり合わない)タイルグループに区分けされるかまたは1つ以上の(概して重なり合わない)タイルグループを使用して復号されてもよく、各タイルグループは、たとえば、1つ以上のブロック(たとえば、CTU)または1つ以上のタイルを含んでもよく、各タイルは、たとえば、長方形の形をしていてもよく、1つ以上のブロック(たとえば、CTU)、たとえば、完全なまたは断片的なブロックを含んでもよい。
【0116】
ビデオデコーダ30のその他の変化形が、符号化されたピクチャデータ21を復号するために使用されうる。たとえば、デコーダ30は、ループフィルタリングユニット320なしで出力ビデオストリームを生成しうる。たとえば、変換に基づかないデコーダ30は、特定のブロックまたはフレームに関して逆変換処理ユニット312なしに残差信号を直接逆量子化しうる。別の実装において、ビデオデコーダ30は、単一のユニットに組み合わされた逆量子化ユニット310および逆変換処理ユニット312を持ちうる。
【0117】
エンコーダ20およびデコーダ30において、現在のステップの処理結果は、さらに処理され、次いで、次のステップに出力されてもよいことを理解されたい。たとえば、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの後、Clipまたはシフトなどのさらなる演算が、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの処理結果に対して実行されてもよい。
【0118】
さらなる演算が、(アフィンモードの制御点動きベクトル(control point motion vector)、アフィン、平面、ATMVPモードの下位ブロック動きベクトル、時間動きベクトル(temporal motion vector)などを含むがこれらに限定されない)現在のブロックの導出された動きベクトルに適用されてもよいことに留意されたい。たとえば、動きベクトルの値は、その表現ビットに従って所定の範囲に制約される。動きベクトルの表現ビットがbitDepthである場合、次いで、範囲は、-2^(bitDepth-1)～2^(bitDepth-1)-1であり、「^」は、累乗を意味する。たとえば、bitDepthが16に等しいように設定される場合、範囲は、-32768～32767であり、bitDepthが18に等しいように設定される場合、範囲は、-131072～131071である。たとえば、導出された動きベクトル(たとえば、1つの8×8ブロック内の4つの4×4下位ブロックのMV)の値は、4つの4×4下位ブロックのMVの整数部分の間の最大の差が1ピクセル以下などNピクセル以下であるように制約される。ここでは、bitDepthに応じて動きベクトルを制約するための2つの方法を提供する。
【0119】
方法1: 流れる演算によってあふれ(overflow)MSB(最上位ビット)を削除する
ux = ( mvx+2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (2)
uy = ( mvy+2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (4)
式中、mvxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、mvyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、uxおよびuyは、中間値を示す。
ux = ( mvx+2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (2)
uy = ( mvy+2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (4)
式中、mvxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、mvyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、uxおよびuyは、中間値を示す。
【0120】
たとえば、mvxの値が-32769である場合、式(1)および(2)を適用した後、結果として得られる値は、32767である。コンピュータシステムにおいて、10進数は、2の補数として記憶される。-32769の2の補数は、1,0111,1111,1111,1111(17ビット)であり、次いで、MSBが破棄され、したがって、結果として得られる2の補数は、0111,1111,1111,1111(10進数は32767)であり、これは、式(1)および(2)を適用することによる出力と同じである。
ux= ( mvpx + mvdx +2bitDepth ) % 2bitDepth (5)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (6)
uy= ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (8)
ux= ( mvpx + mvdx +2bitDepth ) % 2bitDepth (5)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (6)
uy= ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (8)
【0121】
演算は、式(5)から(8)に示されるように、mvpとmvdとの合計中に適用されてもよい。
【0122】
方法2: 値をクリッピングすることによってあふれMSBを削除する
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
式中、vxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、vyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、x、y、およびzは、MVのクリッピングプロセスの3つの入力値にそれぞれ対応し、関数Clip3の定義は、以下の通りである。
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
式中、vxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、vyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、x、y、およびzは、MVのクリッピングプロセスの3つの入力値にそれぞれ対応し、関数Clip3の定義は、以下の通りである。
【数1】
【0123】
図4は、本開示の実施形態に係るビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、本明細書において説明されるように開示される実施形態を実装するのに好適である。実施形態において、ビデオコーディングデバイス400は、図1Aのビデオデコーダ30などのデコーダまたは図1Aのビデオエンコーダ20などのエンコーダであってもよい。
【0124】
ビデオコーディングデバイス400は、データを受信するための着信ポート410(または入力ポート410)および受信機ユニット(Rx)420、データを処理するためのプロセッサ、論理ユニット、または中央演算処理装置(CPU)430、データを送信するための送信機ユニット(Tx)440および発信ポート450(または出力ポート450)、ならびにデータを記憶するためのメモリ460を含む。ビデオコーディングデバイス400は、光または電気信号の発信または着信のために着信ポート410、受信機ユニット420、送信機ユニット440、および発信ポート450に結合された光-電気(OE)構成要素および電気-光(EO)構成要素も含んでもよい。
【0125】
プロセッサ430は、ハードウェアおよびソフトウェアによって実装される。プロセッサ430は、1つ以上のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、FPGA、ASIC、およびDSPとして実装されてもよい。プロセッサ430は、着信ポート410、受信機ユニット420、送信機ユニット440、発信ポート450、およびメモリ460と通信する。プロセッサ430は、コーディングモジュール470を含む。コーディングモジュール470は、上述の開示された実施形態を実装する。たとえば、コーディングモジュール470は、様々なコーディング動作を実装するか、処理するか、準備するか、または提供する。したがって、コーディングモジュール470を含むことは、ビデオコーディングデバイス400の機能を大幅に改善し、ビデオコーディングデバイス400の異なる状態への転換をもたらす。代替的に、コーディングモジュール470は、メモリ460に記憶され、プロセッサ430によって実行される命令として実装される。
【0126】
メモリ460は、1つ以上のディスク、テープドライブ、およびソリッドステートドライブを含んでもよく、プログラムが実行するために選択されるときにそのようなプログラムを記憶するためならびにプログラムの実行中に読まれる命令およびデータを記憶するためのオーバーフローデータストレージデバイス(over-flow data storage device)として使用されてもよい。メモリ460は、たとえば、揮発性および/または不揮発性であってもよく、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、3値連想メモリ(TCAM: ternary content-addressable memory)、および/またはスタティックランダムアクセスメモリ(SRAM)であってもよい。
【0127】
【0128】
装置500のプロセッサ502は、中央演算処理装置であることが可能である。代替的に、プロセッサ502は、既存のまたは今後開発される、情報を操作または処理することができる任意のその他の種類の1つのデバイスまたは複数のデバイスであることが可能である。開示される実装は示されるように単一のプロセッサ、たとえば、プロセッサ502によって実施されうるが、2つ以上のプロセッサを使用することによって速度および効率面の利点が実現されうる。
【0129】
装置500のメモリ504は、実装において、読み出し専用メモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスであることが可能である。任意のその他の好適な種類のストレージデバイスが、メモリ504として使用されうる。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含み得る。メモリ504は、オペレーティングシステム508およびアプリケーションプログラム510をさらに含むことが可能であり、アプリケーションプログラム510は、プロセッサ502が本明細書において説明される方法を実行すること可能にする少なくとも1つのプログラムを含む。たとえば、アプリケーションプログラム510は、本明細書において説明される方法を実行するビデオコーディングアプリケーションをさらに含むアプリケーション1からNを含み得る。
【0130】
装置500は、ディスプレイ518などの1つ以上の出力デバイスも含み得る。ディスプレイ518は、一例において、ディスプレイをタッチ入力を感知するように動作可能であるタッチ感知要素と組み合わせるタッチ式ディスプレイであってもよい。ディスプレイ518は、バス512を介してプロセッサ502に結合されうる。
【0131】
ここでは単一のバスとして示されるが、装置500のバス512は、複数のバスから構成されうる。さらに、二次ストレージ514は、装置500のその他の構成要素に直接結合されることが可能であり、またはネットワークを介してアクセスされることが可能であり、メモリカードなどの単一の統合されたユニットもしくは複数のメモリカードなどの複数のユニットを含むことが可能である。したがって、装置500は、多種多様な構成で実装されうる。
【0132】
下位区画内(ISP)ツールの詳細は、JVET-M0102に見つけられることができ、このツールの簡単な説明が、以下に与えられる。
【0133】
ISPツールは、表1に示されるように、ルマのイントラ予測されるブロックをブロックサイズの大きさに応じて垂直方向または水平方向に2つまたは4つの下位区画に分割する。図6および図7は、2つの可能性の例を示す。すべての下位区画は、少なくとも16サンプルを有するという条件を満たす。
【0134】
【表1】
【0135】
これらの下位区画の各々に関して、残差信号が、エンコーダによって送信された係数をエントロピー復号し、次いで、それらを逆量子化し、逆変換することによって生成される。そして、下位区画が、イントラ予測され、最終的に、対応する再構築されたサンプルが、予測信号に残差信号を足すことによって取得される。したがって、各下位区画の再構築された値が、次の下位区画の予測を生成するために利用可能になり、これは、プロセスを繰り返し、以下同様である。すべての下位区画は、同じイントラモードを共有する。
【0136】
イントラモードおよび利用される分割に基づいて、通常の順序および逆の順序と呼ばれる処理順序の2つの異なる部類が使用される。通常の順序で、処理される第1の下位区画は、CUの左上のサンプルを含み、次いで、下へ(水平分割)または右へ(垂直分割)続く下位区画である。結果として、下位区画の予測信号を生成するために使用される参照サンプルは、ラインの左側および上側にしかない。一方、逆の処理順序は、CUの左下のサンプルを含む下位区画から始まり、上へ続くか、またはCUの右上のサンプルを含む下位区画から始まり、左へ続くかのどちらかである。
【0137】
図8は、ブロックのイントラ予測のために使用される参照サンプルのラインの位置を示す。参照ライン(「Reference line」)のインデックスに応じて、予測されるブロック(「ブロックユニット」)のサンプルは、予測されるブロックに隣接していない参照サンプルを使用して、つまり、参照ラインのインデックスが0に等しくないときに予測されてもよい。
【0138】
平面イントラ予測モードが、VVC草案に以下の通り規定されている。
【0139】
このプロセスへの入力は、
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1、y = -1..nTbHおよびx = 0..nTbW、y = -1である近隣のサンプルp[ x ][ y ]
である。
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1、y = -1..nTbHおよびx = 0..nTbW、y = -1である近隣のサンプルp[ x ][ y ]
である。
【0140】
このプロセスの出力は、x = 0..nTbW - 1、y = 0..nTbH - 1である予測されたサンプルpredSamples[ x ][ y ]である。
【0141】
変数nWおよびnHが、以下のように導出される。
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
【0142】
x = 0..nTbW - 1およびy = 0..nTbH - 1である予測サンプルpredSamples[ x ][ y ]の値は、以下の通りに導出される。
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x ][ -1 ] + ( y + 1 ) * p[ -1 ][ nTbH ] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1 ][ y ] + ( x + 1 ) * p[ nTbW ][ -1 ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> (Log2 ( nW ) + Log2 ( nH ) + 1 )
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x ][ -1 ] + ( y + 1 ) * p[ -1 ][ nTbH ] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1 ][ y ] + ( x + 1 ) * p[ nTbW ][ -1 ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> (Log2 ( nW ) + Log2 ( nH ) + 1 )
【0143】
DCイントラ予測プロセスが、VVC草案に以下の通り規定されている。
【0144】
このプロセスへの入力は、
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1、y = -1..nTbH - 1およびx = 0..nTbW - 1、y = -1である近隣のサンプルp[ x ][ y ]
である。
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1、y = -1..nTbH - 1およびx = 0..nTbW - 1、y = -1である近隣のサンプルp[ x ][ y ]
である。
【0145】
このプロセスの出力は、x = 0..nTbW - 1、y = 0..nTbH - 1である予測されたサンプルpredSamples[ x ][ y ]である。
【0146】
x = 0..nTbW - 1、y = 0..nTbH - 1である予測サンプルpredSamples[ x ][ y ]の値は、以下の順序付けられたステップによって導出される。
1. 変数dcValが、以下の通りに導出される。
- nTbWがnTbHと等しいとき、
- nTbWがnTbHよりも大きいとき、
- nTbWがnTbH未満であるとき、
1. 変数dcValが、以下の通りに導出される。
- nTbWがnTbHと等しいとき、
【数2】
【数3】
【数4】
【0147】
2. 予測サンプルpredSamples[x][y]が、以下の通りに導出される。
x = 0.. nTbW - 1、y = 0.. nTbH - 1であるpredSamples[ x ][ y ] = dcVal
x = 0.. nTbW - 1、y = 0.. nTbH - 1であるpredSamples[ x ][ y ] = dcVal
【0148】
最先端の方法は、参照ラインのインデックスが非ゼロであるときにのみ方向性イントラ予測を使用し、つまり、この場合、DCイントラ予測モードおよびPLANARイントラ予測モードは、無効にされる。
【0149】
DCイントラ予測モードが実行されない別の場合は、イントラ下位区分け(ISP: intra sub-partitioning)が使用されているときである。
【0150】
VVC草案のバージョンは、イントラ予測モードの異なるコーディングを規定する。ビットストリーム内でシグナリングされるシンタックス要素のシーケンスの選択は、特定のツールが有効化されるかまたは無効化されるかに応じて決まる。特に、「intra_luma_ref_idx」フラグおよび「intra_subpartitions_mode_flag」フラグが0に等しいときにのみ、mpmフラグがシグナリングされる(表2参照)。
【0151】
【表2】
【0152】
現在、MPMリストのいくつかのバージョンが、VVCのソフトウェアおよび仕様の草案に保持されている。いくつかのMPMリストを使用するハードウェアの設計は、やはり望ましくない。しかし、イントラ予測モードが現在無効化されている場合にそれらのイントラ予測モードを有効化するとした場合、それは、同様のイントラ予測されたブロックを生成するイントラフラグ(intra flag)の2つの組み合わせをもたらす。明らかに、この設計は冗長であり、この問題を解決するために、シグナリングの部分かまたはイントラ予測の部分かのどちらかが修正されるべきである。
【0153】
実施形態の範囲は、参照サンプルが予測されているブロックに隣接していないかまたは予測されるブロックが(たとえば、ISPを使用して)さらに分割される場合のためのPLANARおよびDCイントラ予測プロセスの修正の中にある。修正は、予測サンプルの決定のプロセスだけでなく、参照サンプルのフィルタリングおよびPDPCも含む。
【0154】
そのような修正の目的は、すべてのイントラ予測ツールのための統一されたイントラモードシグナリングメカニズムを持つ可能性の中にある。
【0155】
実施形態は、DCもしくはPLANARイントラ予測モードが使用され、参照サンプルが予測されているブロックに隣接していないか、または予測されたブロックがさらに分割される(つまり、ISPの場合)場合に参照サンプルの処理を修正し、PDPCの条件付きの切り替えを導入することを提案する。処理は、(図8に示された)上および左のエリア内の再構築されたサンプルからの参照サンプルの選択およびそれらの参照サンプルのフィルタリングを含む。
【0156】
実施形態は、イントラ予測モードを符号化するための単一の統一されたシグナリングメカニズムを持つ可能性を提供することを目的とする。イントラ予測モードのコーディングの例示的な統一されたシグナリング方法が、表3に与えられる。
【0157】
【表3】
【0158】
表2および表3に示されたコーディング方法の間の違いは、intra_luma_mpm_flagの条件付きのシグナリングが提案される例示的なシンタックスにおいては削除されることである。
【0159】
仕様から、参照ラインのインデックスが非ゼロであるとき、PLANARイントラ予測モードが動作することができないことが、気付かれうる。図9に示される本発明の実施形態は、これがどのようにして扱われうるのかを開示する。この図においては、第3の参照ラインが使用される場合。PLANARイントラ予測モードのために選択される参照サンプルは、斜線で埋められた正方形によって表される。(「A」と表記される)第1の左上のサンプルの位置が(0, 0)に等しいと仮定して、PLANARイントラ予測は、以下の通りに修正されうる。
【0160】
このプロセスへの入力は、
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1-refIdx、y = -refIdx..nTbHおよびx = -refIdx..nTbW、y = -1-refIdxである参照サンプルp[ x ][ y ]
である。
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1-refIdx、y = -refIdx..nTbHおよびx = -refIdx..nTbW、y = -1-refIdxである参照サンプルp[ x ][ y ]
である。
【0161】
このプロセスの出力は、x = 0..nTbW - 1、y = 0..nTbH - 1である予測されたサンプルpredSamples[ x ][ y ]である。
【0162】
変数nWおよびnHが、以下のように導出される。
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
【0163】
x = 0..nTbW - 1およびy = 0..nTbH - 1である予測サンプルpredSamples[ x ][ y ]の値は、以下の通りに導出される。
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x ][ -1 - refIdx ] + ( y + 1 ) * p[ -1 - refIdx ][ nTbH ] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1 - refIdx ][ y ] + ( x + 1 ) * p[ nTbW ][ -1 - refIdx ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> ( Log2 ( nW ) + Log2 ( nH ) + 1 )
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x ][ -1 - refIdx ] + ( y + 1 ) * p[ -1 - refIdx ][ nTbH ] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1 - refIdx ][ y ] + ( x + 1 ) * p[ nTbW ][ -1 - refIdx ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> ( Log2 ( nW ) + Log2 ( nH ) + 1 )
【0164】
図10に示される代替的な実施形態は、PLANARイントラ予測モードのために参照ラインから参照サンプルを選択する別の方法を開示する。この方法は、以下の通り説明されうる。
【0165】
このプロセスへの入力は、
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1-refIdx、y = -1-refIdx..nTbH-refIdxおよびx = -refIdx..nTbW-refIdx、y = -1-refIdxである近隣のサンプルp[ x ][ y ]
である。
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1-refIdx、y = -1-refIdx..nTbH-refIdxおよびx = -refIdx..nTbW-refIdx、y = -1-refIdxである近隣のサンプルp[ x ][ y ]
である。
【0166】
このプロセスの出力は、x = 0..nTbW - 1、y = 0..nTbH - 1である予測されたサンプルpredSamples[ x ][ y ]である。
【0167】
変数nWおよびnHが、以下のように導出される。
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
【0168】
x = 0..nTbW - 1およびy = 0..nTbH - 1である予測サンプルpredSamples[ x ][ y ]の値は、以下の通りに導出される。
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x-refIdx ][ -1-refIdx ] + ( y + 1 ) * p[ -1-refIdx ][ nTbH-refIdx ] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1-refIdx ][ y-refIdx ] + ( x + 1 ) * p[ nTbW-refIdx ][ -1-refIdx ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> ( Log2 ( nW ) + Log2 ( nH ) + 1 )
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x-refIdx ][ -1-refIdx ] + ( y + 1 ) * p[ -1-refIdx ][ nTbH-refIdx ] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1-refIdx ][ y-refIdx ] + ( x + 1 ) * p[ nTbW-refIdx ][ -1-refIdx ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> ( Log2 ( nW ) + Log2 ( nH ) + 1 )
【0169】
別の代替的な実施形態は、値が双予測(bi-prediction)において下のラインのサンプル値(bottom-line sample value)および右側のサンプル値(right-side sample value)としてそれぞれ使用される2つのサンプルに関する特別な変位を適用することに存する。図11において、参照サンプルが隙間のある参照ラインから選択されることが、気付かれうる。この実施形態に関する仕様のテキストは、以下の通りでありうる。
【0170】
このプロセスへの入力は、
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1-refIdx、y = -1-refIdx..nTbH-refIdxおよびx = -refIdx..nTbW-refIdx、y = -1-refIdxである近隣のサンプルp[ x ][ y ]
である。
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- x = -1-refIdx、y = -1-refIdx..nTbH-refIdxおよびx = -refIdx..nTbW-refIdx、y = -1-refIdxである近隣のサンプルp[ x ][ y ]
である。
【0171】
このプロセスの出力は、x = 0..nTbW - 1、y = 0..nTbH - 1である予測されたサンプルpredSamples[ x ][ y ]である。
【0172】
変数nWおよびnHが、以下のように導出される。
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
nW = Max( nTbW, 2 )
nH = Max( nTbH, 2 )
【0173】
x = 0..nTbW - 1およびy = 0..nTbH - 1である予測サンプルpredSamples[ x ][ y ]の値は、以下の通りに導出される。
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x-refIdx ][ -1-refIdx ] + ( y + 1 ) * p[ -1-refIdx ][ nTbH] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1-refIdx ][ y-refIdx ] + ( x + 1 ) * p[ nTbW ][ -1-refIdx ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> ( Log2 ( nW ) + Log2 ( nH ) + 1 )
predV[ x ][ y ] = ( ( nH - 1 - y ) * p[ x-refIdx ][ -1-refIdx ] + ( y + 1 ) * p[ -1-refIdx ][ nTbH] ) << Log2 ( nW )
predH[ x ][ y ] = ( ( nW - 1 - x ) * p[ -1-refIdx ][ y-refIdx ] + ( x + 1 ) * p[ nTbW ][ -1-refIdx ] ) << Log2 ( nH )
predSamples[ x ][ y ] = ( predV[ x ][ y ] + predH[ x ][ y ] + nW * nH ) >> ( Log2 ( nW ) + Log2 ( nH ) + 1 )
【0174】
DCイントラ予測プロセスも、参照ラインのインデックスが非ゼロであるときは呼び出されない可能性がある。
【0175】
図12および図13に示される実施形態は、参照ラインのインデックスが非ゼロであるときにDCモードを使用してイントラ予測をどのようにして実行すべきかを開示する。この場合のサンプリングメカニズムは、PLANARイントラ予測モードに関して上で開示されたサンプリングメカニズムと同様である。
【0176】
このプロセスへの入力は、
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- x = -1-refIdx、y = -1-refIdx..nTbH-refIdx-1およびx = -refIdx..nTbW-refIdx-1、y = -1-refIdxである近隣のサンプルp[ x ][ y ]
である。
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- イントラ予測の参照ラインのインデックスを指定する変数refIdx
- x = -1-refIdx、y = -1-refIdx..nTbH-refIdx-1およびx = -refIdx..nTbW-refIdx-1、y = -1-refIdxである近隣のサンプルp[ x ][ y ]
である。
【0177】
このプロセスの出力は、x = 0..nTbW - 1、y = 0..nTbH - 1である予測されたサンプルpredSamples[ x ][ y ]である。
【0178】
x = 0..nTbW - 1、y = 0..nTbH - 1である予測サンプルpredSamples[ x ][ y ]の値は、以下の順序付けられたステップによって導出される。
【0179】
3. 変数dcValが、以下の通りに導出される。
- nTbWがnTbHと等しいとき、
- nTbWがnTbHよりも大きいとき、
- nTbWがnTbH未満であるとき、
- nTbWがnTbHと等しいとき、
【数5】
【数6】
【数7】
【0180】
4. 予測サンプルpredSamples[ x ][ y ]が、以下の通りに導出される。
x = 0.. nTbW - 1、y = 0.. nTbH - 1であるpredSamples[ x ][ y ] = dcVal
x = 0.. nTbW - 1、y = 0.. nTbH - 1であるpredSamples[ x ][ y ] = dcVal
【0181】
別の発明の実施形態は、参照サンプルが予測されているブロックに隣接していないとき、つまり、(「intra_luma_ref_idx」によってシグナリングされる)参照サンプルの参照ラインのインデックスが0に等しくないとき、イントラ参照サンプル平滑化を無効化する。別の実施形態は、参照サンプルの参照ラインのインデックスに対してPLANARイントラ予測モードのための参照サンプルフィルタを変えることに存する。
【0182】
例示的なフィルタ選択が、表4および表5に与えられる。
【0183】
【表4】
【0184】
【表5】
【0185】
本発明の別の実施形態は、下位区画内(ISP)フラグが1に設定されているとき、下位区画のイントラ予測のためにPLANARおよびDCイントラ予測モードが使用されることを可能にする。ISPフラグが1に設定されているとき、PDPC動作を実行しないことが提案される。
【0186】
ISPモードがオンである場合に関して、DCイントラをどのようにして処理すべきかの例示的な実施形態は、以下の通りである。
- ブロック全体の参照サンプルに関するDC値を計算し、
- 予測されたDC値を予測されているブロックに属するすべての下位ブロックのためのイントラ予測子として使用する。
- ブロック全体の参照サンプルに関するDC値を計算し、
- 予測されたDC値を予測されているブロックに属するすべての下位ブロックのためのイントラ予測子として使用する。
【0187】
下位区画内を用いるイントラ予測および多参照ラインイントラ予測における統一された参照サンプルおよび補間フィルタの選択のための方法および装置が、提供される。単一のイントラ予測モジュール(図2および図3の254、354)におけるいくつかのイントラ予測メカニズムの組み合わせは、それらの処理ステップの統一を必要とする。特に、以下の点が、同一であることまたは最小限の数のチェック(check)を有することが望まれる。
- イントラ予測モードのインデックスのシグナリング
- 再構築された近隣のサンプルからの1組の参照サンプルの準備
- 参照サンプルのフィルタリング
- サブピクセル補間フィルタリング
- イントラ予測モードのインデックスのシグナリング
- 再構築された近隣のサンプルからの1組の参照サンプルの準備
- 参照サンプルのフィルタリング
- サブピクセル補間フィルタリング
【0188】
イントラ予測モードのインデックスに基づくイントラ予測モードの導出は、イントラ予測モードのシグナリングほど重大ではないが、それでもやはり、特にブロックサイズが小さいとき、その導出がさらなる遅延を持ち込みうるイントラ予測パイプラインの一部であるので重要な点である。この遅延の理由は、イントラ予測モードが導出された後でしかイントラ予測が始まらなくてもよく、イントラ予測のプロセスがより小さなサイズのブロックに関してより高速であることにある。
【0189】
本発明の実施形態は、以下を含む異なるイントラ予測メカニズムのためのイントラ平滑化の意思決定ステップの統一を目的とする。
- イントラ下位区分け(ISP)
- モード依存イントラ平滑化(MDIS: mode-dependent intra smoothing)
- 広角イントラ予測(WAIP: wide-angular intra prediction)
- 多参照ライン予測(MRLP: multi-reference line prediction)
- 位置依存イントラ予測組み合わせ(PDPC: position-dependent intra prediction combination)
- イントラ下位区分け(ISP)
- モード依存イントラ平滑化(MDIS: mode-dependent intra smoothing)
- 広角イントラ予測(WAIP: wide-angular intra prediction)
- 多参照ライン予測(MRLP: multi-reference line prediction)
- 位置依存イントラ予測組み合わせ(PDPC: position-dependent intra prediction combination)
【0190】
本発明の実施形態は、以下を含む1組の条件を調べることに基づいて参照および補間フィルタの選択を実行する意思決定プロセスである。
- ブロックのアスペクト比
- 主な参照の側面(main reference side)の長さ
- イントラ予測モード
- イントラ下位区分け
-
- ブロックのアスペクト比
- 主な参照の側面(main reference side)の長さ
- イントラ予測モード
- イントラ下位区分け
-
【0191】
実施形態のステップは、以下の通りである。
- ビットストリームから解析されたフラグに基づいてイントラ平滑化が必要とされるかどうかの迅速なチェックを実行し、ブロックのフィルタリングの状態が検出されており、状態は以下を含む。
〇平滑化なし
〇平滑化
〇方向に依存する平滑化(サイズに依存する平滑化は、ある種の方向に依存する平滑化と考えられてもよい)
- 状態が方向に依存するものとして検出されるとき、イントラ予測モードおよび予測されるブロック内のサンプル数を使用して、以下の方法のうちの1つまたは組み合わせを含む、適用されるイントラ平滑化方法を決定する。
〇参照サンプルのフィルタリングの強度の調整
〇補間フィルタリングの強度、たとえば、fGまたはfCの調整
〇PDPC段階の存在
- 平滑化なし状態が検出されるとき、イントラ平滑化方法のいずれも含まないようにイントラ平滑化方法の組み合わせを定義する。
- 平滑化状態が検出されるとき、予測されるブロック内のサンプル数に基づいてイントラ平滑化方法のデフォルトの組み合わせを指定する。
- イントラ平滑化方法の選択された組み合わせを含むイントラ予測を実行する。
- ビットストリームから解析されたフラグに基づいてイントラ平滑化が必要とされるかどうかの迅速なチェックを実行し、ブロックのフィルタリングの状態が検出されており、状態は以下を含む。
〇平滑化なし
〇平滑化
〇方向に依存する平滑化(サイズに依存する平滑化は、ある種の方向に依存する平滑化と考えられてもよい)
- 状態が方向に依存するものとして検出されるとき、イントラ予測モードおよび予測されるブロック内のサンプル数を使用して、以下の方法のうちの1つまたは組み合わせを含む、適用されるイントラ平滑化方法を決定する。
〇参照サンプルのフィルタリングの強度の調整
〇補間フィルタリングの強度、たとえば、fGまたはfCの調整
〇PDPC段階の存在
- 平滑化なし状態が検出されるとき、イントラ平滑化方法のいずれも含まないようにイントラ平滑化方法の組み合わせを定義する。
- 平滑化状態が検出されるとき、予測されるブロック内のサンプル数に基づいてイントラ平滑化方法のデフォルトの組み合わせを指定する。
- イントラ平滑化方法の選択された組み合わせを含むイントラ予測を実行する。
【0192】
上に挙げられたステップによる状態の導出を実行するVVCの仕様の草案の部分は、以下の通りでありうる。
【0193】
このプロセスへの入力は、
- イントラ予測モードpredModeIntra
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- コーディングブロックの幅を指定する変数nCbW
- コーディングブロックの高さを指定する変数nCbH
- 色成分インデックスcIdx
である。
- イントラ予測モードpredModeIntra
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- コーディングブロックの幅を指定する変数nCbW
- コーディングブロックの高さを指定する変数nCbH
- 色成分インデックスcIdx
である。
【0194】
このプロセスの出力は、修正されたイントラ予測モードpredModeIntra、intraPredAngleパラメータRefFilterFlagおよびInterpolationFlag変数である。
【0195】
変数nWおよびnHが、以下のように導出される。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しいかまたはcIdxが0に等しくない場合、以下が適用される。
nW = nTbW (8-125)
nH = nTbH (8-126)
- それ以外の(IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しい)場合、以下が適用される。
nW = nCbW
nH = nCbH
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しいかまたはcIdxが0に等しくない場合、以下が適用される。
nW = nTbW (8-125)
nH = nTbH (8-126)
- それ以外の(IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しい)場合、以下が適用される。
nW = nCbW
nH = nCbH
【0196】
変数whRatioが、Abs( Log2( nW / nH ) )に等しいように設定される。
【0197】
正方形でないブロック(nWがnHに等しくない)に関して、イントラ予測モードpredModeIntraは、以下の通りに修正される。
- 以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra + 65 )に等しいように設定される。
- nWがnHよりも大きい
- predModeIntraが2以上である
- predModeIntraが( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である
- そうではなく、以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra - 67 )に等しいように設定される。
- nHがnWよりも大きい
- predModeIntraが66以下である
- predModeIntraが( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60よりも大きい
- 以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra + 65 )に等しいように設定される。
- nWがnHよりも大きい
- predModeIntraが2以上である
- predModeIntraが( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である
- そうではなく、以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra - 67 )に等しいように設定される。
- nHがnWよりも大きい
- predModeIntraが66以下である
- predModeIntraが( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60よりも大きい
【0198】
角度パラメータintraPredAngleは、predModeIntraの値を使用して表8-5に指定されたように決定される。
【0199】
【表6】
【0200】
変数filterFlagは、以下のように導出される。
- 変数nTbSが、log2(nW) + log2(nH)に等しいように設定される。
- 以下の条件のうちの1つ以上が真である場合、filterFlagが、0に等しいように設定される。
- cIdxが0に等しくない
- refIdxが0に等しくない
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しく、predModeIntraがINTRA_ANGULAR34以上であり、nWが8よりも大きい。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しく、predModeIntraがINTRA_ANGULAR34未満であり、nHが8よりも大きい。
- そうではなく、predModeIntraがINTRA_PLANARである場合、変数filterFlagが、nTbS > 5 ? 1 : 0に等しいように設定される。
- そうではなく、intraPredAngleが32よりも大きい場合、変数filterFlagが、1に等しいように設定される。
- それ以外の場合、以下が適用される。
- 変数minDistVerHorがMin( Abs( predModeIntra - 50 ), Abs( predModeIntra - 18 ) )に等しいように設定される。
- 変数intraHorVerDistThres[ nTbS ]が、表8-4に規定される。
- 変数filterFlagが、以下のように導出される。
- minDistVerHorがintraHorVerDistThres[ nTbS ]よりも大きいかまたはAbs(intraPredAngle)>32である場合、filterFlagが、1に等しいように設定される。
- 変数nTbSが、log2(nW) + log2(nH)に等しいように設定される。
- 以下の条件のうちの1つ以上が真である場合、filterFlagが、0に等しいように設定される。
- cIdxが0に等しくない
- refIdxが0に等しくない
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しく、predModeIntraがINTRA_ANGULAR34以上であり、nWが8よりも大きい。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しく、predModeIntraがINTRA_ANGULAR34未満であり、nHが8よりも大きい。
- そうではなく、predModeIntraがINTRA_PLANARである場合、変数filterFlagが、nTbS > 5 ? 1 : 0に等しいように設定される。
- そうではなく、intraPredAngleが32よりも大きい場合、変数filterFlagが、1に等しいように設定される。
- それ以外の場合、以下が適用される。
- 変数minDistVerHorがMin( Abs( predModeIntra - 50 ), Abs( predModeIntra - 18 ) )に等しいように設定される。
- 変数intraHorVerDistThres[ nTbS ]が、表8-4に規定される。
- 変数filterFlagが、以下のように導出される。
- minDistVerHorがintraHorVerDistThres[ nTbS ]よりも大きいかまたはAbs(intraPredAngle)>32である場合、filterFlagが、1に等しいように設定される。
【0201】
【表7】
【0202】
出力変数RefFilterFlagおよびInterpolationFlagは、以下の通りに導出される。
- predModeIntraがINTRA_PLANARであるかまたはpredIntraAngが32の整数倍である場合、変数RefFilterFlagはfilterFlagに等しいように設定され、InterpolationFlagは0に等しいように設定される。
- それ以外の場合、変数RefFilterFlagは0に等しいように設定され、InterpolationFlagはfilterFlagに等しいように設定される。
- predModeIntraがINTRA_PLANARであるかまたはpredIntraAngが32の整数倍である場合、変数RefFilterFlagはfilterFlagに等しいように設定され、InterpolationFlagは0に等しいように設定される。
- それ以外の場合、変数RefFilterFlagは0に等しいように設定され、InterpolationFlagはfilterFlagに等しいように設定される。
【0203】
上の説明においては、2つのフラグ、すなわち、RefFilterFlagおよびInterpolationFlagが、導出されている。RefFilterFlagが1であるとき、参照サンプルは、イントラ予測に使用される前にフィルタリングされる。たとえば、係数[1 2 1] / 4を用いるフィルタが、適用されうる。
【0204】
InterpolationFlagは、補間フィルタの選択を制御する。方向性イントラ予測プロセスのサブサンプル補間ステップにおいて、InterpolationFlagが1であるとき、fG係数が使用され、そうでない場合、fC係数が使用される(表8-6参照)。
【0205】
【表8】
【0206】
代替的な実施形態は、以下の通りに組み立てられてもよい。
【0207】
このプロセスへの入力は、
- イントラ予測モードpredModeIntra
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- コーディングブロックの幅を指定する変数nCbW
- コーディングブロックの高さを指定する変数nCbH
- 色成分インデックスcIdx
である。
- イントラ予測モードpredModeIntra
- 変換ブロックの幅を指定する変数nTbW
- 変換ブロックの高さを指定する変数nTbH
- コーディングブロックの幅を指定する変数nCbW
- コーディングブロックの高さを指定する変数nCbH
- 色成分インデックスcIdx
である。
【0208】
このプロセスの出力は、修正されたイントラ予測モードpredModeIntra、intraPredAngleパラメータRefFilterFlagおよびInterpolationFlag変数である。
【0209】
変数nWおよびnHが、以下のように導出される。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しいかまたはcIdxが0に等しくない場合、以下が適用される。
nW = nTbW
nH = nTbH
- それ以外の(IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しい)場合、以下が適用される。
nW = nCbW
nH = nCbH
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しいかまたはcIdxが0に等しくない場合、以下が適用される。
nW = nTbW
nH = nTbH
- それ以外の(IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、cIdxが0に等しい)場合、以下が適用される。
nW = nCbW
nH = nCbH
【0210】
変数whRatioが、Abs( Log2( nW / nH ) )に等しいように設定される。
【0211】
正方形でないブロック(nWがnHに等しくない)に関して、イントラ予測モードpredModeIntraは、以下の通りに修正される。
- predModeIntraOrigがpredModeIntraに等しいように設定される。
- 以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra + 65 )に等しいように設定される。
- nWがnHよりも大きい
- predModeIntraが2以上である
- predModeIntraが( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である
- そうではなく、以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra - 67 )に等しいように設定される。
- nHがnWよりも大きい
- predModeIntraが66以下である
- predModeIntraが( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60よりも大きい
- predModeIntraOrigがpredModeIntraに等しいように設定される。
- 以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra + 65 )に等しいように設定される。
- nWがnHよりも大きい
- predModeIntraが2以上である
- predModeIntraが( whRatio > 1 ) ? ( 8 + 2 * whRatio ) : 8未満である
- そうではなく、以下の条件のすべてが真である場合、predModeIntraは、( predModeIntra - 67 )に等しいように設定される。
- nHがnWよりも大きい
- predModeIntraが66以下である
- predModeIntraが( whRatio > 1 ) ? ( 60 - 2 * whRatio ) : 60よりも大きい
【0212】
角度パラメータintraPredAngleは、predModeIntraの値を使用して表8-5に指定されたように決定される。
- 変数nTbSが、log2(nW) + log2(nH)に等しいように設定される。
- 以下の条件のうちの1つが真であるとき、変数smoothStateが、0(FILTER_NONE)に設定される。
- 変数nTbSが2以下である
- cIdxが0に等しくない
- refIdxが0に等しくない
- predModeIntraOrigがINTRA_DCである
- ISPフラグがオンである
- intraPredAngleが32よりも大きいとき、変数smoothStateが、1(FILTER_ALWAYS)に設定される。
- それ以外の場合、smoothStateが、2(FILTER_MDIS)に設定される。
- smoothStateが2未満である場合、filterFlagが、smoothStateに等しいように設定される。
- それ以外の場合、以下の条件のうちの1つが真であるとき、filterFlagが、1に等しいように設定される。
- predModeIntraOrigがINTRA_PLANARであり、nTbSが5よりも大きい
- predModeIntraOrigが1よりも大きく、predModeIntraOrigが67よりも小さく、Min( Abs( predModeIntra - 50 ), Abs( predModeIntra - 18 ) )がintraHorVerDistThres[ nTbS ]よりも大きい
- 変数nTbSが、log2(nW) + log2(nH)に等しいように設定される。
- 以下の条件のうちの1つが真であるとき、変数smoothStateが、0(FILTER_NONE)に設定される。
- 変数nTbSが2以下である
- cIdxが0に等しくない
- refIdxが0に等しくない
- predModeIntraOrigがINTRA_DCである
- ISPフラグがオンである
- intraPredAngleが32よりも大きいとき、変数smoothStateが、1(FILTER_ALWAYS)に設定される。
- それ以外の場合、smoothStateが、2(FILTER_MDIS)に設定される。
- smoothStateが2未満である場合、filterFlagが、smoothStateに等しいように設定される。
- それ以外の場合、以下の条件のうちの1つが真であるとき、filterFlagが、1に等しいように設定される。
- predModeIntraOrigがINTRA_PLANARであり、nTbSが5よりも大きい
- predModeIntraOrigが1よりも大きく、predModeIntraOrigが67よりも小さく、Min( Abs( predModeIntra - 50 ), Abs( predModeIntra - 18 ) )がintraHorVerDistThres[ nTbS ]よりも大きい
【0213】
出力変数RefFilterFlagおよびInterpolationFlagは、以下の通りに導出される。
- predModeIntraがINTRA_PLANARであるかまたはpredIntraAngが32の整数倍である場合、変数RefFilterFlagはfilterFlagに等しいように設定され、InterpolationFlagは0に等しいように設定される。
- それ以外の場合、変数RefFilterFlagは0に等しいように設定され、InterpolationFlagはfilterFlagに等しいように設定される。
- predModeIntraがINTRA_PLANARであるかまたはpredIntraAngが32の整数倍である場合、変数RefFilterFlagはfilterFlagに等しいように設定され、InterpolationFlagは0に等しいように設定される。
- それ以外の場合、変数RefFilterFlagは0に等しいように設定され、InterpolationFlagはfilterFlagに等しいように設定される。
【0214】
smoothStateの以下の修正が2(FILTER_MDIS)の部分に設定されるとき、MDISの意思決定のさらなる最適化が可能である。
...
smoothStateが2未満である場合、filterFlagが、smoothStateに等しいように設定される。
- それ以外の場合、以下の条件のうちの1つが真であるとき、filterFlagが、1に等しいように設定される。
- predModeIntraOrigがINTRA_PLANARであり、nTbSが5よりも大きい
- predModeIntraOrigが1よりも大きく、predModeIntraOrigが67よりも小さく、Abs( IntraPredAngle )がIntraPredAngleThr [nTbS]以上である
-
...
smoothStateが2未満である場合、filterFlagが、smoothStateに等しいように設定される。
- それ以外の場合、以下の条件のうちの1つが真であるとき、filterFlagが、1に等しいように設定される。
- predModeIntraOrigがINTRA_PLANARであり、nTbSが5よりも大きい
- predModeIntraOrigが1よりも大きく、predModeIntraOrigが67よりも小さく、Abs( IntraPredAngle )がIntraPredAngleThr [nTbS]以上である
-
【0215】
【表9】
【0216】
出力変数RefFilterFlagおよびInterpolationFlagは、以下の通りに導出される。
- predModeIntraがINTRA_PLANARであるかまたはpredIntraAngが32の整数倍である場合、変数RefFilterFlagはfilterFlagに等しいように設定され、InterpolationFlagは0に等しいように設定される。
- それ以外の場合、変数RefFilterFlagは0に等しいように設定され、InterpolationFlagはfilterFlagに等しいように設定される。
...
- predModeIntraがINTRA_PLANARであるかまたはpredIntraAngが32の整数倍である場合、変数RefFilterFlagはfilterFlagに等しいように設定され、InterpolationFlagは0に等しいように設定される。
- それ以外の場合、変数RefFilterFlagは0に等しいように設定され、InterpolationFlagはfilterFlagに等しいように設定される。
...
【0217】
上述の実施形態に基づいて、平滑化なし状態に関する1組の条件は、以下からの1つ以上を含んでもよい。
- ISPフラグがオンである
- refIdxが1より大きい
- 主な参照の側面の長さが主な側面の参照の閾値(main side reference threshold)よりも小さい。
- ISPフラグがオンである
- refIdxが1より大きい
- 主な参照の側面の長さが主な側面の参照の閾値(main side reference threshold)よりも小さい。
【0218】
主な側面の参照の閾値は、4、8、または16のいずれかに等しい予め定義された定数値でありうる。
【0219】
さらに、ISPフラグがオンであるとき、異なる閾値が、filterFlagの値を決定するために適用されてもよい。表6および表7は、predIntraAngパラメータの値によるおよびintraPredModeの値による閾値の変種に関するこの依存性を例示する。
【0220】
【表10】
【0221】
【表11】
【0222】
図14は、補間フィルタの種類の選択の例を示すブロック図である。図14のステップ1に示されるように、ISPがオンである(つまり、IntraSubPartitionsSplitType!=ISP_NO_SPLITである)場合、ISPのための補間フィルタの種類の1ステップの/1チェックの判断が、実行されうる。ISPがオンであるとき、モード依存性はない。ISPがオンであるとき、filterFlagの値は0であり、補間フィルタの種類fCが選択される。これは、意思決定ステップの統一につながる可能性がある。
【0223】
ISPがオフ(つまり、ISPなし)である場合、ステップ2およびステップ3に示されるように通常の場合が実行される。通常の場合は、モード依存性である。ステップ2において、イントラ予測モードが導出される。ステップ3において、補間フィルタの種類に関するモードおよびサイズに依存する条件が導出される。したがって、通常の場合のための補間フィルタの種類の少なくとも3ステップの判断がある。ステップ3の後、補間フィルタの種類が、ステップ3において導出されたモードおよびサイズに依存する条件に基づいて選択される。
【0224】
図15は、通常の場合に匹敵する補間フィルタの種類の選択の別の例を示すブロック図である。通常の場合、イントラモードは、MRLがオフ(つまり、refIdx==0)であり、ISPがオン(つまり、IntraSubPartitionsSplitType!=ISP_NO_SPLIT)であるときに導出される。たとえば、最確モード(MPM: most probable mode)および非MPMリストが、イントラモードの導出中に構築される。
【0225】
そして、モードに依存する補間フィルタの種類が、選択される。MDISに基づく参照サンプルの平滑化または補間フィルタの選択が、モードに依存する補間フィルタの選択中に実行される。最小限の数の参照サンプルが、最も近い参照行および列からフェッチされる。イントラ予測子が、参照サンプルをフェッチした後に生成される。たとえば、最大で4つの下位ブロックまでの逐次的な予測が、予測子の生成中に実行されてもよい。
【0226】
通常の場合と比べて、本発明の実施形態は、MRLがオフ(つまり、refIdx==0)であり、ISPがオン(つまり、IntraSubPartitionsSplitType!=ISP_NO_SPLIT)であるとき、補間フィルタの種類を選択するときのモード依存性を取り除く。イントラモードが、フィルタの選択と並行して導出されうる。したがって、イントラ予測を生成するときに本発明の実施形態が使用される場合のより短いクリティカルパス。
【0227】
通常、ISPのための予測の生成は、反復的な復号プロセスを必要とするのでより複雑である。本発明の実施形態は、復号の効率を高めることができる。
【0228】
特に、復号または符号化デバイスによって実施される現在のブロックの予測コーディングの以下の方法および実施形態。復号デバイスは、図1Aのビデオデコーダ30または図3のデコーダ30であってもよい。符号化デバイスは、図1Aのビデオエンコーダ20または図2のエンコーダ20であってもよい。
【0229】
実施形態1600(図16参照)によれば、デバイスが、ステップ1601において下位区画内(ISP)の情報を取得し、ISPの情報は、ISPが現在のブロックを分割するために使用されるかどうかを示す。ISPの情報は、IntraSubPartitionsSplitTypeによって示されてもよい。IntraSubPartitionsSplitType != ISP_NO_SPLITであるとき、現在のブロックを分割するためにISPが使用される(つまり、ISPがオンである)。
【0230】
ステップ1602において、デバイスが、ISPの情報に基づいて補間フィルタの1組の係数を選択し、補間フィルタの1組の係数は、fG係数またはfC係数である。フィルタフラグ(filterFlag)の値が、補間フィルタの1組の係数がfG係数またはfC係数であることを示すために使用されてもよい。filterFlagの値が0であるとき、fC係数が選択される。それ以外の場合、fG係数が選択される。
【0231】
現在のブロックを分割するためにISPが使用されることをISPの情報が示すとき、ブロックのフィルタリングの状態は、平滑化なし状態である。ブロックのフィルタリングの状態は、フラグsmoothStateによってされてもよく、ブロックのフィルタリングの状態は、smoothStateの値が0であるとき、平滑化なし状態である。filterFlagの値は、smoothStateの値に等しい。それは、ブロックのフィルタリングの状態が平滑化なし状態であるとき、filterFlagの値が0であることを意味する。それに対応して、fC係数が、選択される。
【0232】
ステップ1603において、デバイスが、1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得する。デバイスは、現在のブロックのイントラ予測モードに基づいて補間フィルタの1組の係数から補間フィルタ係数を決定し、次いで、決定された補間フィルタ係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得してもよい。
【0233】
実施形態1700(図17参照)によれば、デバイスが、ステップ1701においてISPの情報に基づいてブロックのフィルタリングの状態を検出し、ブロックのフィルタリングの状態は、平滑化なし状態、平滑化状態、または方向に依存する平滑化状態を含む。ISPの情報は、IntraSubPartitionsSplitTypeによって示されてもよい。IntraSubPartitionsSplitType != ISP_NO_SPLITであるとき、現在のブロックを分割するためにISPが使用される(つまり、ISPがオンである)。現在のブロックを分割するためにISPが使用されることをISPの情報が示すとき、ブロックのフィルタリングの状態は、平滑化なし状態である。ブロックのフィルタリングの状態は、フラグsmoothStateによってされてもよく、ブロックのフィルタリングの状態は、smoothStateの値が0であるとき、平滑化なし状態である。
【0234】
ステップ1702において、デバイスが、ブロックのフィルタリングの状態の値に基づいて補間フィルタの1組の係数を選択し、補間フィルタの1組の係数は、fG係数またはfC係数である。フィルタフラグ(filterFlag)の値が、補間フィルタの1組の係数がfG係数またはfC係数であることを示すために使用されてもよい。filterFlagの値が0であるとき、fC係数が選択される。それ以外の場合、fG係数が選択される。
【0235】
filterFlagの値は、smoothStateの値に等しい。それは、ブロックのフィルタリングの状態が平滑化なし状態であるとき、filterFlagの値が0であることを意味する。それに対応して、fC係数が、選択される。
【0236】
ステップ1703において、デバイスが、1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得する。デバイスは、現在のブロックのイントラ予測モードに基づいて補間フィルタの1組の係数から補間フィルタ係数を決定し、次いで、決定された補間フィルタ係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得してもよい。
【0237】
実施形態1600または1700の詳細な情報は、上述の実施形態に示されている。
【0238】
図18は、デバイス1800の実施形態を示す。デバイス1800は、図1Aのビデオデコーダ30もしくは図3のデコーダ30であってもよく、または図1Aのビデオエンコーダ20もしくは図2のエンコーダ20であってもよい。デバイス1800は、実施形態1600および上述のその他の実施形態を実施するために使用されうる。
【0239】
ピクチャのイントラ予測のデバイス1800は、取得ユニット1801、選択ユニット1802、および予測ユニット1803を含む。下位区画内(ISP)の情報を取得するように構成された取得ユニット1801であって、ISPの情報が、ISPが現在のブロックを分割するために使用されるかどうかを示す、取得ユニット1801。ISPの情報に基づいて補間フィルタの1組の係数を選択するように構成された選択ユニット1802であって、補間フィルタの1組の係数が、fG係数またはfC係数である、選択ユニット1802。1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するように構成された予測ユニット1803。
【0240】
現在のブロックを分割するためにISPが使用されることをISPの情報が示すとき、ブロックのフィルタリングの状態が平滑化なし状態であると決定し、ブロックのフィルタリングの状態が平滑化なし状態であるとき、fC係数を選択するように構成された選択ユニット1802。
【0241】
現在のブロックのイントラ予測モードに基づいて補間フィルタの1組の係数から補間フィルタ係数を決定し、決定された補間フィルタ係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するように構成された予測ユニット1803。
【0242】
図19は、デバイス1900の実施形態を示す。デバイス1900は、図1Aのビデオデコーダ30もしくは図3のデコーダ30であってもよく、または図1Aのビデオエンコーダ20もしくは図2のエンコーダ20であってもよい。デバイス1900は、実施形態1700および上述のその他の実施形態を実施するために使用されうる。
【0243】
ピクチャのイントラ予測のデバイス1900は、検出ユニット1901、選択ユニット1902、および予測ユニット1903を含む。下位区画内(ISP)の情報に基づいてブロックのフィルタリングの状態を検出するように構成された検出ユニット1901であって、ブロックのフィルタリングの状態が、平滑化なし状態、平滑化状態、または方向に依存する平滑化状態を含む、検出ユニット1901。ブロックのフィルタリングの状態の値に基づいて補間フィルタの1組の係数を選択するように構成された選択ユニット1902であって、補間フィルタの1組の係数が、fG係数またはfC係数である、選択ユニット1902。1組の係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するように構成された予測ユニット1903。
【0244】
ブロックのフィルタリングの状態に基づいてフィルタフラグ(filterFlag)を決定することであって、filterFlagの値が、補間フィルタの1組の係数がfG係数またはfC係数であることを示す、決定すること、およびフィルタフラグの値に基づいて補間フィルタの1組の係数を選択することを行うように構成された選択ユニット1902。
【0245】
現在のブロックのイントラ予測モードに基づいて補間フィルタの1組の係数から補間フィルタ係数を決定し、決定された補間フィルタ係数を参照サンプルに適用することによって現在のブロックの予測されたサンプルを取得するように構成された予測ユニット1903。
【0246】
本開示は、実施形態または態様の以下の組を提供する。
【0247】
実施形態1. ブロックのイントラ予測のためのイントラ平滑化の方法であって、
ブロックの平滑化の状態を決定するステップであって、平滑化の状態が、平滑化なし、平滑化、または方向に依存する平滑化を含む、ステップ、
ブロックの平滑化の状態に基づいて以下のステップ、すなわち、
〇平滑化の状態が方向に依存する平滑化であるとき、イントラ平滑化方法を決定するために方向の勾配(direction slope)および予測されるブロック内のサンプルの数を使用するステップ、
〇平滑化の状態が平滑化なしであるとき、イントラ平滑化方法のいずれも使用しないステップ、または
〇平滑化状態が平滑化であるとき、予測されるブロック内のサンプル数に基づいてイントラ平滑化方法のデフォルトの組み合わせを使用するステップ
を実行するステップを含む、方法。
ブロックの平滑化の状態を決定するステップであって、平滑化の状態が、平滑化なし、平滑化、または方向に依存する平滑化を含む、ステップ、
ブロックの平滑化の状態に基づいて以下のステップ、すなわち、
〇平滑化の状態が方向に依存する平滑化であるとき、イントラ平滑化方法を決定するために方向の勾配(direction slope)および予測されるブロック内のサンプルの数を使用するステップ、
〇平滑化の状態が平滑化なしであるとき、イントラ平滑化方法のいずれも使用しないステップ、または
〇平滑化状態が平滑化であるとき、予測されるブロック内のサンプル数に基づいてイントラ平滑化方法のデフォルトの組み合わせを使用するステップ
を実行するステップを含む、方法。
【0248】
実施形態2. イントラ平滑化方法が、以下、すなわち、
〇参照サンプルのフィルタリングの強度の調整、
〇補間フィルタリングの強度の調整、または
〇PDPC段階の存在
のうちの1つ以上を含む実施形態1の方法。
〇参照サンプルのフィルタリングの強度の調整、
〇補間フィルタリングの強度の調整、または
〇PDPC段階の存在
のうちの1つ以上を含む実施形態1の方法。
【0249】
実施形態3. 方向の勾配が、予測モードのインデックスからMin( Abs( predModeIntra - 50 ), Abs( predModeIntra - 18 ) )として定義される実施形態1または2の方法。
【0250】
実施形態4. 方向の勾配が、パラメータpredIntraAngからAbs(predIntraAng)として定義される実施形態1または2の方法。
【0251】
実施形態5. イントラ予測が、以下、すなわち、
- イントラ下位区分け(ISP)、
- モード依存イントラ平滑化(MDIS)、
- 広角イントラ予測(WAIP)、
- 多参照ライン予測(MRLP)、または
- 位置依存イントラ予測組み合わせ(PDPC)
のうちの1つ以上を含む実施形態1から4のいずれかの方法。
- イントラ下位区分け(ISP)、
- モード依存イントラ平滑化(MDIS)、
- 広角イントラ予測(WAIP)、
- 多参照ライン予測(MRLP)、または
- 位置依存イントラ予測組み合わせ(PDPC)
のうちの1つ以上を含む実施形態1から4のいずれかの方法。
【0252】
実施形態6. 平滑化状態が方向に依存する平滑化であるとき、ISPフラグが考慮される実施形態5の方法。
【0253】
実施形態7. イントラ予測モードがINTRA_DCであるか、MRLPの参照インデックスが0に等しくないか、またはクロマ成分が処理されるとき、フィルタリングの状態はフィルタリングなしに設定されない実施形態5または6の方法。
【0254】
実施形態8. イントラ予測の統一が、以下、すなわち、
- ブロックのアスペクト比、
- 主な参照の側面の長さ、
- イントラ予測モード、または
- イントラ下位区分け
のうちの1つ以上に基づく実施形態1から7のいずれかの方法。
- ブロックのアスペクト比、
- 主な参照の側面の長さ、
- イントラ予測モード、または
- イントラ下位区分け
のうちの1つ以上に基づく実施形態1から7のいずれかの方法。
【0255】
実施形態9. ビットストリームからの1つ以上のフラグを解析するステップと、
1つ以上のフラグに基づいてイントラ平滑化を実行すべきかどうかを判定するステップとをさらに含む実施形態1から8のいずれかの方法。
1つ以上のフラグに基づいてイントラ平滑化を実行すべきかどうかを判定するステップとをさらに含む実施形態1から8のいずれかの方法。
【0256】
上で検討されたように、ISPがオンであるとき、本発明の実施形態は、補間フィルタの種類の選択中のモード依存性を取り除く。ISPがオンであるとき、filterFlagの値は0であり、補間フィルタの種類fCが選択される。本発明の実施形態は、通常の場合のモード依存性の方法に匹敵する、より短いパスまたはパス通過(pass path)の技術的なソリューションを提供する。これは、符号化または復号の効率を高め、さらに、意思決定ステップの統一につながることができる。
【0257】
以下は、上述の実施形態において示された符号化方法および復号方法の応用ならびにそれらを使用するシステムの説明である。
【0258】
図20は、コンテンツ配信サービスを実現するためのコンテンツ供給システム3100を示すブロック図である。このコンテンツ供給システム3100は、キャプチャデバイス3102、端末デバイス3106を含み、任意選択でディスプレイ3126を含む。キャプチャデバイス3102は、通信リンク3104を介して端末デバイス3106と通信する。通信リンクは、上述の通信チャネル13を含んでもよい。通信リンク3104は、WIFI、イーサネット、ケーブル、ワイヤレス(3G/4G/5G)、USB、またはこれらの任意の種類の組み合わせなどを含むがこれらに限定されない。
【0259】
キャプチャデバイス3102は、データを生成し、上の実施形態に示された符号化方法によってデータを符号化してもよい。代替的に、キャプチャデバイス3102は、データをストリーミングサーバ(図示せず)に配信してもよく、サーバが、データを符号化し、符号化されたデータを端末デバイス3106に送信する。キャプチャデバイス3102は、カメラ、スマートフォンもしくはスマートパッド、コンピュータもしくはラップトップ、テレビ会議システム、PDA、車載デバイス、またはこれらのいずれかの組み合わせなどを含むがこれらに限定されない。たとえば、キャプチャデバイス3102は、上述の送信元デバイス12を含んでもよい。データがビデオを含むとき、キャプチャデバイス3102に含まれるビデオエンコーダ20が、ビデオ符号化処理を実際に実行してもよい。データがオーディオ(つまり、声)を含むとき、キャプチャデバイス3102に含まれるオーディオエンコーダが、オーディオ符号化処理を実際に実行してもよい。いくつかの実際のシナリオに関して、キャプチャデバイス3102は、符号化されたビデオおよびオーディオデータを一緒に多重化することによってそれらのデータを配信する。その他の実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。キャプチャデバイス3102は、符号化されたオーディオデータおよび符号化されたビデオデータを端末デバイス3106に別々に配信する。
【0260】
コンテンツ供給システム3100において、端末デバイス310は、符号化されたデータを受信し、再生する。端末デバイス3106は、上述の符号化されたデータを復号することができるスマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV 3114、セットトップボックス(STB)3116、テレビ会議システム3118、ビデオ監視システム3120、携帯情報端末(PDA)3122、車載デバイス3124、またはこれらのいずれかの組み合わせなどの、データ受信および復元能力を有するデバイスであることが可能である。たとえば、端末デバイス3106は、上述の送信先デバイス14を含んでもよい。符号化されたデータがビデオを含むとき、端末デバイスに含まれるビデオデコーダ30が、ビデオの復号を実行するために優先される。符号化されたデータがオーディオを含むとき、端末デバイスに含まれるオーディオデコーダが、オーディオ復号処理を実行するために優先される。
【0261】
ディスプレイを有する端末デバイス、たとえば、スマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV 3114、携帯情報端末(PDA)、または車載デバイス3124に関して、端末デバイスは、復号されたデータをその端末デバイスのディスプレイに供給することができる。ディスプレイを備えていない端末デバイス、たとえば、STB 3116、テレビ会議システム3118、またはビデオ監視システム3120に関しては、外部ディスプレイ3126に連絡を取り、復号されたデータが受信され示される。
【0262】
このシステムの各デバイスが符号化または復号を実行するとき、上述の実施形態において示されたピクチャ符号化デバイスまたはピクチャ復号デバイスが、使用されうる。
【0263】
図21は、端末デバイス3106の例の構造を示す図である。端末デバイス3106がキャプチャデバイス3102からストリームを受信した後、プロトコル進行ユニット3202が、ストリームの送信プロトコルを分析する。プロトコルは、リアルタイムストリーミングプロトコル(RTSP)、ハイパーテキスト転送プロトコル(HTTP)、HTTPライブストリーミングプロトコル(HLS)、MPEG-DASH、リアルタイムトランスポートプロトコル(RTP)、リアルタイムメッセージングプロトコル(RTMP)、またはこれらの任意の種類の組み合わせなどを含むがこれらに限定されない。
【0264】
プロトコル進行ユニット3202がストリームを処理した後、ストリームファイルが生成される。ファイルは、多重分離ユニット3204に出力される。多重分離ユニット3204は、多重化されたデータを符号化されたオーディオデータおよび符号化されたビデオデータに分離することができる。上述のように、いくつかの実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。この状況では、符号化されたデータは、多重分離ユニット3204を通さずにビデオデコーダ3206およびオーディオデコーダ3208に送信される。
【0265】
多重分離処理によって、ビデオエレメンタリストリーム(ES)、オーディオES、および任意選択で字幕が生成される。上述の実施形態において説明されたビデオデコーダ30を含むビデオデコーダ3206は、上述の実施形態において示された復号方法によってビデオESを復号してビデオフレームを生成し、このデータを同期ユニット3212に供給する。オーディオデコーダ3208は、オーディオESを復号してオーディオフレームを生成し、このデータを同期ユニット3212に供給する。代替的に、ビデオフレームは、そのビデオフレームを同期ユニット3212に供給する前に、(図Yに示されていない)バッファに記憶されてもよい。同様に、オーディオフレームは、そのオーディオフレームを同期ユニット3212に供給する前に、(図Yに示されていない)バッファに記憶されてもよい。
【0266】
同期ユニット3212は、ビデオフレームとオーディオフレームとを同期し、ビデオ/オーディオをビデオ/オーディオディスプレイ3214に供給する。たとえば、同期ユニット3212は、ビデオ情報およびオーディオ情報の提示を同期する。情報は、コーディングされたオーディオデータおよびビジュアルデータの提示に関するタイムスタンプならびにデータストリームの配信自体に関するタイムスタンプを使用するシンタックスにおいてコーディングしてもよい。
【0267】
字幕がストリームに含まれる場合、字幕デコーダ3210が、字幕を復号し、その字幕をビデオフレームおよびオーディオフレームと同期し、ビデオ/オーディオ/字幕をビデオ/オーディオ/字幕ディスプレイ3216に供給する。
【0268】
本発明は、上述のシステムに限定されず、上述の実施形態のピクチャ符号化デバイスかまたはピクチャ復号デバイスかのいずれも、その他のシステム、たとえば、自動車のシステムに組み込まれてもよい。
【0269】
数学演算子
本出願において使用される数学演算子は、Cプログラミング言語において使用される数学演算子に似ている。しかし、整数の除算および算術シフト演算の結果は、より厳密に定義され、累乗および実数値の除算などの追加の演算が、定義される。付番およびカウントの規則は、概して0から始まり、たとえば、「第1」は、0番と等価であり、「第2」は、1番と等価であり、以下同様である。
本出願において使用される数学演算子は、Cプログラミング言語において使用される数学演算子に似ている。しかし、整数の除算および算術シフト演算の結果は、より厳密に定義され、累乗および実数値の除算などの追加の演算が、定義される。付番およびカウントの規則は、概して0から始まり、たとえば、「第1」は、0番と等価であり、「第2」は、1番と等価であり、以下同様である。
【0270】
算術演算子
以下の算術演算子が、以下の通り定義される。
+ 加算
- 減算(2引数の演算子として)または否定(単項前置演算子として)
* 行列の乗算を含む乗算
xy 累乗。xのy乗を規定する。その他の文脈で、そのような表記は、累乗として解釈されるように意図されない上付きの書き込みのために使用される。
/ 結果のゼロへの切り捨てを行う整数の除算。たとえば、7 / 4および-7 / -4は、1に切り捨てられ、-7 / 4および7 / -4は、-1に切り捨てられる。
÷ 切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
iがxからyを含んでyまでのすべての整数値を取るf( i )の総和。
x % y 法。x >= 0およびy > 0である整数xおよびyに関してのみ定義されるx割るyの余り。
以下の算術演算子が、以下の通り定義される。
+ 加算
- 減算(2引数の演算子として)または否定(単項前置演算子として)
* 行列の乗算を含む乗算
xy 累乗。xのy乗を規定する。その他の文脈で、そのような表記は、累乗として解釈されるように意図されない上付きの書き込みのために使用される。
/ 結果のゼロへの切り捨てを行う整数の除算。たとえば、7 / 4および-7 / -4は、1に切り捨てられ、-7 / 4および7 / -4は、-1に切り捨てられる。
÷ 切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
【数8】
【数9】
x % y 法。x >= 0およびy > 0である整数xおよびyに関してのみ定義されるx割るyの余り。
【0271】
論理演算子
以下の論理演算子が、以下の通り定義される。
x && y xおよびyのブール論理「積」
x || y xおよびyのブール論理「和」
! ブール論理「否定」
x ? y : z xが真であるかまたは0に等しくない場合、値yと評価され、そうでない場合、値zと評価される。
以下の論理演算子が、以下の通り定義される。
x && y xおよびyのブール論理「積」
x || y xおよびyのブール論理「和」
! ブール論理「否定」
x ? y : z xが真であるかまたは0に等しくない場合、値yと評価され、そうでない場合、値zと評価される。
【0272】
関係演算子
以下の関係演算子が、以下の通り定義される。
> より大きい
>= 以上
< 未満
<= 以下
== 等しい
!= 等しくない
以下の関係演算子が、以下の通り定義される。
> より大きい
>= 以上
< 未満
<= 以下
== 等しい
!= 等しくない
【0273】
関係演算子が値「na」(該当なし)を割り当てられたシンタックス要素または変数に適用されるとき、値「na」は、シンタックス要素または変数に関する異なる値として扱われる。値「na」は、いかなるその他の値とも等しくないとみなされる。
【0274】
ビット演算子
以下のビット演算子が、以下の通り定義される。
& ビット毎の「論理積」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
| ビット毎の「論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
^ ビット毎の「排他的論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
x>>y xの2の補数による整数の表現の、2進数のy桁分の算術右シフト。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、シフト演算の前のxのMSBに等しい値を有する。
x<<y xの2の補数による整数の表現の、2進数のy桁分の算術左シフト。この関数は、yの非負の整数値に対してのみ定義される。左シフトの結果として最下位ビット(LSB)にシフトされるビットは、0に等しい値を有する。
以下のビット演算子が、以下の通り定義される。
& ビット毎の「論理積」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
| ビット毎の「論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
^ ビット毎の「排他的論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
x>>y xの2の補数による整数の表現の、2進数のy桁分の算術右シフト。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、シフト演算の前のxのMSBに等しい値を有する。
x<<y xの2の補数による整数の表現の、2進数のy桁分の算術左シフト。この関数は、yの非負の整数値に対してのみ定義される。左シフトの結果として最下位ビット(LSB)にシフトされるビットは、0に等しい値を有する。
【0275】
代入演算子
以下の算術演算子が、以下の通り定義される。
= 代入演算子
++ インクリメント、つまり、x++は、x = x + 1と等価であり、配列のインデックスに使用されるとき、インクリメント演算の前に変数の値と評価される。
-- デクリメント、つまり、x--は、x = x - 1と等価であり、配列のインデックスに使用されるとき、デクリメント演算の前に変数の値と評価される。
+= 指定された量のインクリメント、つまり、x += 3は、x = x + 3と等価であり、x += (-3)は、x = x + (-3)と等価である。
-= 指定された量のデクリメント、つまり、x -= 3は、x = x - 3と等価であり、x -= (-3)は、x = x - (-3)と等価である。
以下の算術演算子が、以下の通り定義される。
= 代入演算子
++ インクリメント、つまり、x++は、x = x + 1と等価であり、配列のインデックスに使用されるとき、インクリメント演算の前に変数の値と評価される。
-- デクリメント、つまり、x--は、x = x - 1と等価であり、配列のインデックスに使用されるとき、デクリメント演算の前に変数の値と評価される。
+= 指定された量のインクリメント、つまり、x += 3は、x = x + 3と等価であり、x += (-3)は、x = x + (-3)と等価である。
-= 指定された量のデクリメント、つまり、x -= 3は、x = x - 3と等価であり、x -= (-3)は、x = x - (-3)と等価である。
【0276】
範囲の表記
以下の表記が、値の範囲を指定するために使用される。
x = y..z xは、x、y、およびzが整数値であり、zがyよりも大きいものとして、yおよびzを含んでyからzまでの整数値を取る。
以下の表記が、値の範囲を指定するために使用される。
x = y..z xは、x、y、およびzが整数値であり、zがyよりも大きいものとして、yおよびzを含んでyからzまでの整数値を取る。
【0277】
数学関数
以下の数学関数が、定義される。
以下の数学関数が、定義される。
【数10】
【0278】
Asin( x ) -1.0および1.0を含んで-1.0から1.0までの範囲内の引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正弦関数
Atan( x ) 引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正接関数
Ceil( x ) x以上の最小の整数。
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
Cos( x ) ラジアンを単位とする引数xに作用する三角法の余弦関数。
Floor(x) x以下の最大の整数。
Ln( x ) xの自然対数(eを底とする対数であり、eは、自然対数の底の定数2.718281828...である)。
Log2( x ) xの2を底とする対数。
Log10( x ) xの10を底とする対数。
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )
Sin( x ) ラジアンを単位とする引数xに作用する三角法の正弦関数
Tan( x ) ラジアンを単位とする引数xに作用する三角法の正接関数
Atan( x ) 引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正接関数
【数11】
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
【数12】
Floor(x) x以下の最大の整数。
【数13】
Log2( x ) xの2を底とする対数。
Log10( x ) xの10を底とする対数。
【数14】
【数15】
【数16】
【0279】
演算の優先順位
式中の優先順位が括弧を使用して明示されないとき、以下のルールが、適用される。
- より高い優先度の演算は、より低い優先度のいかなる演算よりも前に評価される。
- 同じ優先度の演算は、左から右に順に評価される。
式中の優先順位が括弧を使用して明示されないとき、以下のルールが、適用される。
- より高い優先度の演算は、より低い優先度のいかなる演算よりも前に評価される。
- 同じ優先度の演算は、左から右に順に評価される。
【0280】
下の表は、最も高い方から最も低い方へ演算の優先度を明示し、表のより上の位置は、より高い優先度を示す。
【0281】
Cプログラミング言語においても使用される演算子に関して、本明細書において使用される優先順位は、Cプログラミング言語において使用されるのと同じである。
【0282】
【表12】
【0283】
論理演算のテキストの記述
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
else if( 条件1 )
ステートメント1
...
else /* 残りの条件に関する情報を伝えるコメント */
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述されてもよい。
以下のように... / ...以下が適用される。
- 条件0の場合、ステートメント0
- そうではなく、条件1の場合、ステートメント1
- ...
- それ以外の場合(残りの条件に関する情報を伝えるコメント)、ステートメントn
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
else if( 条件1 )
ステートメント1
...
else /* 残りの条件に関する情報を伝えるコメント */
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述されてもよい。
以下のように... / ...以下が適用される。
- 条件0の場合、ステートメント0
- そうではなく、条件1の場合、ステートメント1
- ...
- それ以外の場合(残りの条件に関する情報を伝えるコメント)、ステートメントn
【0284】
本文中のそれぞれの「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」のステートメントは、「...の場合、...」が直後に続く「以下のように...」または「...以下が適用される」によって導入される。「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」の最後の条件は、常に「それ以外の場合、...」である。交互に挿入された「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」のステートメントは、「以下のように...」または「...以下が適用される」を終わりの「それ以外の場合、...」とマッチングすることによって特定されうる。
【0285】
本文中、以下の形態で、すなわち、
if( 条件0a && 条件0b )
ステートメント0
else if( 条件1a || 条件1b )
ステートメント1
...
else
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述されてもよい。
以下のように... / ...以下が適用される。
- 以下の条件のすべてが真である場合、ステートメント0
- 条件0a
- 条件0b
- そうでなく、以下の条件のうちの1つ以上が真である場合、ステートメント1
- 条件1a
- 条件1b
- ...
- それ以外の場合、ステートメントn
if( 条件0a && 条件0b )
ステートメント0
else if( 条件1a || 条件1b )
ステートメント1
...
else
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述されてもよい。
以下のように... / ...以下が適用される。
- 以下の条件のすべてが真である場合、ステートメント0
- 条件0a
- 条件0b
- そうでなく、以下の条件のうちの1つ以上が真である場合、ステートメント1
- 条件1a
- 条件1b
- ...
- それ以外の場合、ステートメントn
【0286】
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
if( 条件1 )
ステートメント1
の形態で数学的に記述される論理演算のステートメントは、以下のように記述されてもよい。
条件0のとき、ステートメント0
条件1のとき、ステートメント1
if( 条件0 )
ステートメント0
if( 条件1 )
ステートメント1
の形態で数学的に記述される論理演算のステートメントは、以下のように記述されてもよい。
条件0のとき、ステートメント0
条件1のとき、ステートメント1
【0287】
本発明の実施形態が主にビデオコーディングに基づいて説明されたが、コーディングシステム10、エンコーダ20、およびデコーダ30(およびそれに対応してシステム10)の実施形態、ならびに本明細書において説明されたその他の実施形態はまた、静止ピクチャの処理またはコーディング、つまり、ビデオコーディングと同様のいかなる先行するまたは連続するピクチャからも独立した個々のピクチャの処理またはコーディングのために構成されてもよいことに留意されたい。概して、ピクチャの処理コーディングが単一のピクチャ17に制限される場合、インター予測ユニット244(エンコーダ)および344(デコーダ)のみが、利用可能でなくてもよい。ビデオエンコーダ20およびビデオデコーダ30のすべてのその他の機能(ツールまたはテクノロジーとも呼ばれる)、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、区分け262/362、イントラ予測254/354、および/またはループフィルタ220、320、およびエントロピーコーディング270、およびエントロピー復号304が、静止ピクチャの処理のために等しく使用されてもよい。
【0288】
たとえば、エンコーダ20およびデコーダ30、ならびにたとえばエンコーダ20およびデコーダ30に関連して本明細書において説明された機能の実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実装されてもよい。ソフトウェアに実装される場合、機能は、1つ以上の命令またはコードとしてコンピュータ可読媒体上に記憶されるかまたは通信媒体上で送信され、ハードウェアに基づく処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データストレージ媒体などの有形の媒体に対応するコンピュータ可読ストレージ媒体、またはたとえば通信プロトコルによるある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでもよい。このようにして、概して、コンピュータ可読媒体は、(1)非一時的である有形のコンピュータ可読ストレージ媒体または(2)信号もしくは搬送波などの通信媒体に対応してもよい。データストレージ媒体は、本開示において説明された技術の実装のための命令、コード、および/またはデータ構造を取り出すために1つ以上のコンピュータまたは1つ以上のプロセッサによってアクセスされうる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【0289】
限定ではなく例として、そのようなコンピュータ可読ストレージ媒体は、RAM、ROM、EEPROM、CD-ROMもしくはその他の光ディスクストレージ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意のその他の媒体を含み得る。また、任意の接続が、適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーを用いてウェブサイト、サーバ、またはその他のリモートソースから送信される場合、次いで、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーは、媒体の定義に含まれる。しかし、コンピュータ可読ストレージ媒体およびデータストレージ媒体は、接続、搬送波、信号、またはその他の一時的媒体を含まず、その代わりに、非一時的な有形のストレージ媒体を対象とすることを理解されたい。本明細書において使用されるとき、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD: compact disc)、レーザディスク(laser disc)、光ディスク(optical disc)、デジタルバーサタイルディスク(DVD: digital versatile disc)、フロッピーディスク(floppy disk)、およびブルーレイディスク(Blu-ray disc)を含み、ディスク(disk)が、通常、磁気的にデータを再生する一方、ディスク(disc)は、レーザを用いて光学的にデータを再生する。上記のものの組み合わせも、コンピュータ可読媒体の範囲に含まれるべきである。
【0290】
命令は、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、またはその他の等価な集積もしくはディスクリート論理回路などの1つ以上のプロセッサによって実行されてもよい。したがって、用語「プロセッサ」は、本明細書において使用されるとき、上述の構造または本明細書において説明された技術の実装に好適な任意のその他の構造のいずれかを指してもよい。加えて、一部の態様において、本明細書において説明された機能は、符号化および復号のために構成された専用のハードウェアおよび/もしくはソフトウェアモジュール内に提供されるか、または組み合わされたコーデックに組み込まれてもよい。また、技術は、1つ以上の回路または論理要素にすべて実装されうる。
【0291】
本開示の技術は、ワイヤレスハンドセット、集積回路(IC)、または1組のIC(たとえば、チップセット)を含む多種多様なデバイスまたは装置に実装されてもよい。様々な構成要素、モジュール、またはユニットが、開示された技術を実行するように構成されたデバイスの機能の態様を強調するために本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上述のように、様々なユニットが、コーデックハードウェアユニットにおいて組み合わされるか、または好適なソフトウェアおよび/もしくはファームウェアと連携した、上述の1つ以上のプロセッサを含む相互運用性のあるハードウェアユニットの集合によって提供されてもよい。
【符号の説明】
【0292】
10 ビデオコーディングシステム、コーディングシステム
12 送信元デバイス
13 符号化されたピクチャデータ、通信チャネル
14 送信先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、生ピクチャ、生ピクチャデータ、モノクロピクチャ、カラーピクチャ、現在のピクチャ
18 プリプロセッサ、前処理ユニット、ピクチャプリプロセッサ
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ、エンコーダ
21 符号化されたピクチャデータ、符号化されたビットストリーム
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 デコーダ、ビデオデコーダ
31 復号されたピクチャデータ、復号されたピクチャ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャデータ、後処理されたピクチャ
34 ディスプレイデバイス
46 処理回路
100 ビデオエンコーダ
201 入力、入力インターフェース
203 ピクチャブロック、元のブロック、現在のブロック、区分けされたブロック、現在のピクチャブロック
204 残差計算ユニット、残差計算
205 残差ブロック、残差
206 変換処理ユニット、変換
207 変換係数
208 量子化ユニット、量子化
209 量子化された係数、量子化された変換係数、量子化された残差係数
210 逆量子化ユニット、逆量子化
211 逆量子化された係数、逆量子化された残差係数
212 逆変換処理ユニット、(逆)変換
213 再構築された残差ブロック、逆量子化された係数、変換ブロック
214 再構築ユニット、加算器、合算器
215 再構築されたブロック
216 バッファ
220 ループフィルタユニット、ループフィルタ
221 フィルタリングされたブロック、フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ(DPB)
231 復号されたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット、インター予測ユニット、イントラ予測
260 モード選択ユニット
262 区分けユニット、区分け
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピー符号化ユニット、エントロピーコーディング
272 出力、出力インターフェース
304 エントロピー復号ユニット、残差計算、エントロピー復号
309 量子化された係数
310 逆量子化ユニット、逆量子化
311 逆量子化された係数、変換係数
312 逆変換処理ユニット、(逆)変換、出力
313 再構築された残差ブロック
314 再構築ユニット、合算器、加算器
315 再構築されたブロック
320 ループフィルタ、ループフィルタユニット、ループフィルタリングユニット
321 フィルタリングされたブロック、復号されたビデオブロック
330 復号ピクチャバッファ(DPB)、復号ピクチャバッファ(DBP)
331 復号されたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット、イントラ予測
360 モード適用ユニット
362 区分け
365 予測ブロック
400 ビデオコーディングデバイス
410 着信ポート、入力ポート
420 受信機ユニット(Rx)
430 プロセッサ、論理ユニット、中央演算処理装置(CPU)
440 送信機ユニット(Tx)
450 発信ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 データ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 二次ストレージ
518 ディスプレイ
1600 方法、実施形態
1700 方法、実施形態
1800 デバイス
1801 取得ユニット
1802 選択ユニット
1803 予測ユニット
1900 デバイス
1901 検出ユニット
1902 選択ユニット
1903 予測ユニット
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン、スマートパッド
3110 コンピュータ、ラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 テレビ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重分離ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 字幕デコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/字幕ディスプレイ
12 送信元デバイス
13 符号化されたピクチャデータ、通信チャネル
14 送信先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、生ピクチャ、生ピクチャデータ、モノクロピクチャ、カラーピクチャ、現在のピクチャ
18 プリプロセッサ、前処理ユニット、ピクチャプリプロセッサ
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ、エンコーダ
21 符号化されたピクチャデータ、符号化されたビットストリーム
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 デコーダ、ビデオデコーダ
31 復号されたピクチャデータ、復号されたピクチャ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャデータ、後処理されたピクチャ
34 ディスプレイデバイス
46 処理回路
100 ビデオエンコーダ
201 入力、入力インターフェース
203 ピクチャブロック、元のブロック、現在のブロック、区分けされたブロック、現在のピクチャブロック
204 残差計算ユニット、残差計算
205 残差ブロック、残差
206 変換処理ユニット、変換
207 変換係数
208 量子化ユニット、量子化
209 量子化された係数、量子化された変換係数、量子化された残差係数
210 逆量子化ユニット、逆量子化
211 逆量子化された係数、逆量子化された残差係数
212 逆変換処理ユニット、(逆)変換
213 再構築された残差ブロック、逆量子化された係数、変換ブロック
214 再構築ユニット、加算器、合算器
215 再構築されたブロック
216 バッファ
220 ループフィルタユニット、ループフィルタ
221 フィルタリングされたブロック、フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ(DPB)
231 復号されたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット、インター予測ユニット、イントラ予測
260 モード選択ユニット
262 区分けユニット、区分け
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピー符号化ユニット、エントロピーコーディング
272 出力、出力インターフェース
304 エントロピー復号ユニット、残差計算、エントロピー復号
309 量子化された係数
310 逆量子化ユニット、逆量子化
311 逆量子化された係数、変換係数
312 逆変換処理ユニット、(逆)変換、出力
313 再構築された残差ブロック
314 再構築ユニット、合算器、加算器
315 再構築されたブロック
320 ループフィルタ、ループフィルタユニット、ループフィルタリングユニット
321 フィルタリングされたブロック、復号されたビデオブロック
330 復号ピクチャバッファ(DPB)、復号ピクチャバッファ(DBP)
331 復号されたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット、イントラ予測
360 モード適用ユニット
362 区分け
365 予測ブロック
400 ビデオコーディングデバイス
410 着信ポート、入力ポート
420 受信機ユニット(Rx)
430 プロセッサ、論理ユニット、中央演算処理装置(CPU)
440 送信機ユニット(Tx)
450 発信ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 データ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 二次ストレージ
518 ディスプレイ
1600 方法、実施形態
1700 方法、実施形態
1800 デバイス
1801 取得ユニット
1802 選択ユニット
1803 予測ユニット
1900 デバイス
1901 検出ユニット
1902 選択ユニット
1903 予測ユニット
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン、スマートパッド
3110 コンピュータ、ラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 テレビ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重分離ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 字幕デコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/字幕ディスプレイ
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
