特開2024-69302変換係数に対する符号マップの改善されたエントロピーコーディング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024069302
(43)【公開日】2024-05-21
(54)【発明の名称】変換係数に対する符号マップの改善されたエントロピーコーディング
(51)【国際特許分類】
H04N 19/70 20140101AFI20240514BHJP
H04N 19/60 20140101ALI20240514BHJP
H04N 19/186 20140101ALI20240514BHJP
【ＦＩ】
H04N19/70
H04N19/60
H04N19/186
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024032972
(22)【出願日】2024-03-05
(62)【分割の表示】P 2022560384の分割
【原出願日】2022-01-28
(31)【優先権主張番号】17/573,059
(32)【優先日】2022-01-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/175,869
(32)【優先日】2021-04-16
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】マドゥー・ペリンガーサリー・クリシュナン
(72)【発明者】
【氏名】シン・ジャオ
(72)【発明者】
【氏名】シャン・リュウ
(57)【要約】
【課題】変換係数の符号値のエントロピー符号化の実施のための方法、装置及びコンピュータ可読記憶媒体が提供される。
【解決手段】本方法は、ビデオデータのコーディングされたビデオビットストリームから第１の変換係数を含む第１のデータブロックを受け取るステップと、コンテキスト情報に基づいて第１の変換係数の符号値のエントロピー復号を行うステップであって、コンテキスト情報は、ビデオデータの第２のデータブロックの第２の変換係数の符号値に基づいて導出され、第２のデータブロックは、第１のデータブロックと同一位置にあり、同一位置にあることは、異なるチャネルの２つのデータブロックが同一空間位置に位置することを指す、ステップとを含む。
【選択図】図１７
【解決手段】本方法は、ビデオデータのコーディングされたビデオビットストリームから第１の変換係数を含む第１のデータブロックを受け取るステップと、コンテキスト情報に基づいて第１の変換係数の符号値のエントロピー復号を行うステップであって、コンテキスト情報は、ビデオデータの第２のデータブロックの第２の変換係数の符号値に基づいて導出され、第２のデータブロックは、第１のデータブロックと同一位置にあり、同一位置にあることは、異なるチャネルの２つのデータブロックが同一空間位置に位置することを指す、ステップとを含む。
【選択図】図１７
【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、
前記ビデオデータのコーディングされたビデオビットストリームから第１の変換係数を含む第１のデータブロックを受け取るステップと、
コンテキスト情報に基づいて前記第１の変換係数の符号値のエントロピー復号を行うステップであって、前記コンテキスト情報は、前記ビデオデータの第２のデータブロックの第２の変換係数の符号値に基づいて導出され、前記第２のデータブロックは、前記第１のデータブロックと同一位置にあり、同一位置にあることは、異なるチャネルの２つのデータブロックが同一空間位置に位置することを指す、ステップと
を含む方法。
前記ビデオデータのコーディングされたビデオビットストリームから第１の変換係数を含む第１のデータブロックを受け取るステップと、
コンテキスト情報に基づいて前記第１の変換係数の符号値のエントロピー復号を行うステップであって、前記コンテキスト情報は、前記ビデオデータの第２のデータブロックの第２の変換係数の符号値に基づいて導出され、前記第２のデータブロックは、前記第１のデータブロックと同一位置にあり、同一位置にあることは、異なるチャネルの２つのデータブロックが同一空間位置に位置することを指す、ステップと
を含む方法。
【請求項2】
前記第１のデータブロックがＣｂのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｒのコーディングされたブロックを含む、又は
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１に記載の方法。
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１に記載の方法。
【請求項3】
前記第１の変換係数が直流（ＤＣ）変換係数を含む、請求項１に記載の方法。
【請求項4】
コンテキスト情報に基づいて前記第１の変換係数の符号値のエントロピー復号を行う前記ステップは、
前記第１の変換係数がＤＣ変換係数を含む場合にだけ、前記コンテキスト情報に基づいて前記第１の変換係数の前記符号値の前記エントロピー復号を行うステップであって、前記コンテキスト情報は、前記ビデオデータの前記第２のデータブロックの前記第２の変換係数の前記符号値に基づいて導出され、前記第２のデータブロックは、前記第１のデータブロックと同一位置にある、ステップ
を含む、請求項１に記載の方法。
前記第１の変換係数がＤＣ変換係数を含む場合にだけ、前記コンテキスト情報に基づいて前記第１の変換係数の前記符号値の前記エントロピー復号を行うステップであって、前記コンテキスト情報は、前記ビデオデータの前記第２のデータブロックの前記第２の変換係数の前記符号値に基づいて導出され、前記第２のデータブロックは、前記第１のデータブロックと同一位置にある、ステップ
を含む、請求項１に記載の方法。
【請求項5】
前記第１の変換係数は、変換ドメインにおいて既定の周波数範囲内にある、請求項１から４のいずれか一項に記載の方法。
【請求項6】
コンテキスト情報に基づいて前記第１の変換係数の符号値のエントロピー復号を行う前記ステップは、
前記第１の変換係数が前記変換ドメインにおいて前記既定の周波数範囲内にある場合にだけ、前記コンテキスト情報に基づいて前記第１の変換係数の前記符号値の前記エントロピー復号を行うステップであって、前記コンテキスト情報は、前記ビデオデータの前記第２のデータブロックの前記第２の変換係数の前記符号値に基づいて導出され、前記第２のデータブロックは、前記第１のデータブロックと同一位置にある、ステップ
を含む、請求項５に記載の方法。
前記第１の変換係数が前記変換ドメインにおいて前記既定の周波数範囲内にある場合にだけ、前記コンテキスト情報に基づいて前記第１の変換係数の前記符号値の前記エントロピー復号を行うステップであって、前記コンテキスト情報は、前記ビデオデータの前記第２のデータブロックの前記第２の変換係数の前記符号値に基づいて導出され、前記第２のデータブロックは、前記第１のデータブロックと同一位置にある、ステップ
を含む、請求項５に記載の方法。
【請求項7】
前記既定の周波数範囲は、既定の周波数以下である、請求項５に記載の方法。
【請求項8】
前記第１の変換係数及び前記第２の変換係数がＤＣ変換係数であり、
前記コンテキスト情報は、前記第１のデータブロックの、少なくとも１つの近傍データブロックの、少なくとも１つのＤＣ変換係数に対応する少なくとも１つの符号値にさらに基づいて導出される、請求項１に記載の方法。
前記コンテキスト情報は、前記第１のデータブロックの、少なくとも１つの近傍データブロックの、少なくとも１つのＤＣ変換係数に対応する少なくとも１つの符号値にさらに基づいて導出される、請求項１に記載の方法。
【請求項9】
前記第１の変換係数及び前記第２の変換係数がＤＣ変換係数であり、
前記コンテキスト情報は、前記第１のデータブロックの、少なくとも１つの近傍データブロックの、少なくとも１つのＤＣ変換係数に対応する少なくとも１つの符号値の加重平均にさらに基づいて導出される、請求項１に記載の方法。
前記コンテキスト情報は、前記第１のデータブロックの、少なくとも１つの近傍データブロックの、少なくとも１つのＤＣ変換係数に対応する少なくとも１つの符号値の加重平均にさらに基づいて導出される、請求項１に記載の方法。
【請求項10】
前記第１のデータブロックの前記少なくとも１つの近傍データブロックは、
前記第１のデータブロックの上の近傍データブロック、又は
前記第１のデータブロックの左の近傍データブロック
のうちの少なくとも１つを含む、請求項９に記載の方法。
前記第１のデータブロックの上の近傍データブロック、又は
前記第１のデータブロックの左の近傍データブロック
のうちの少なくとも１つを含む、請求項９に記載の方法。
【請求項11】
デコーダでビデオデータを復号する方法であって、
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから第１の信号を抽出するステップであって、前記第１の信号は、第１のデータブロックの第１の変換係数と、前記第１のデータブロックと同一位置にある第２のデータブロックの関連する第２の変換係数とが同じ符号値を有するか否かを示す、ステップと、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップと
を含む方法。
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから第１の信号を抽出するステップであって、前記第１の信号は、第１のデータブロックの第１の変換係数と、前記第１のデータブロックと同一位置にある第２のデータブロックの関連する第２の変換係数とが同じ符号値を有するか否かを示す、ステップと、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップと
を含む方法。
【請求項12】
前記第１の変換係数と前記関連する第２の変換係数とが前記同じ符号値を有することを前記第１の信号が示すことに応答して、前記コーディングされたビデオビットストリームから第２の信号を抽出するステップであって、前記第２の信号は、前記ターゲット符号値の符号値を示す、ステップ
をさらに含み、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出する前記ステップは、
前記第１の信号及び前記第２の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップ
を含む、請求項１１に記載の方法。
をさらに含み、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出する前記ステップは、
前記第１の信号及び前記第２の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップ
を含む、請求項１１に記載の方法。
【請求項13】
前記第１のデータブロックがＣｂのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｒのコーディングされたブロックを含む、又は
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１１に記載の方法。
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１１に記載の方法。
【請求項14】
デコーダでビデオデータを復号する方法であって、
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから信号を抽出するステップであって、前記信号は、第１のデータブロックのサブブロックの変換係数の符号値の各々が第２のデータブロックのサブブロックの関連する変換係数の符号値に等しいか否かを示し、第１のデータブロックの前記サブブロックは、第２のデータブロックの前記サブブロックと同一位置にある、ステップと、
前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々が前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に等しいことを前記信号が示すことに応答して、
前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に基づいて前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々を導出するステップと
を含む方法。
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから信号を抽出するステップであって、前記信号は、第１のデータブロックのサブブロックの変換係数の符号値の各々が第２のデータブロックのサブブロックの関連する変換係数の符号値に等しいか否かを示し、第１のデータブロックの前記サブブロックは、第２のデータブロックの前記サブブロックと同一位置にある、ステップと、
前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々が前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に等しいことを前記信号が示すことに応答して、
前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に基づいて前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々を導出するステップと
を含む方法。
【請求項15】
前記第１のデータブロックがＣｂのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｒのコーディングされたブロックを含む、又は
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１４に記載の方法。
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１４に記載の方法。
【請求項16】
前記第１のデータブロックの前記サブブロックが前記第１のデータブロックと一致し、前記第２のデータブロックの前記サブブロックが前記第２のデータブロックと一致する、請求項１４に記載の方法。
【請求項17】
前記第１のデータブロック又は前記第２のデータブロックの前記サブブロックのサイズは、４×４、４×８、８×４、４×１６、１６×４、８×８、８×１６、１６×８、８×３２、３２×８、１６×６４、６４×１６、１６×１６、１６×３２、３２×１６、３２×３２、３２×６４、６４×３２又は６４×６４のうちの１つを含む、請求項１４に記載の方法。
【請求項18】
請求項１から４又は８から１７のいずれか一項に記載の方法を実施するように構成された回路を備える装置。
【請求項19】
請求項５に記載の方法を実施するように構成された回路を備える装置。
【請求項20】
非一時的コンピュータ可読プログラム媒体を備えたコンピュータプログラム製品であって、前記非一時的コンピュータ可読プログラム媒体にはコンピュータコードが記憶され、前記コンピュータコードは、１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、請求項１から４又は８から１７のいずれか一項に記載の方法を実施させる、コンピュータプログラム製品。
【請求項21】
非一時的コンピュータ可読プログラム媒体を備えたコンピュータプログラム製品であって、前記非一時的コンピュータ可読プログラム媒体にはコンピュータコードが記憶され、前記コンピュータコードは、１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、請求項５に記載の方法を実施させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
参照による援用
本出願は、２０２１年４月１６日に出願された米国仮出願第６３／１７５，８６９号と、２０２２年１月１１日に出願された通常の米国出願第１７／５７３，０５９号とを基礎にして、これらの出願の優先権の利益を主張する。双方の出願の全体が参照によって本明細書に援用される。
本出願は、２０２１年４月１６日に出願された米国仮出願第６３／１７５，８６９号と、２０２２年１月１１日に出願された通常の米国出願第１７／５７３，０５９号とを基礎にして、これらの出願の優先権の利益を主張する。双方の出願の全体が参照によって本明細書に援用される。
【0002】
本開示では最新のビデオコーディング技術の集合を説明する。特に、開示されている技術は変換係数の符号値のエントロピー符号化の実施に関する。
【背景技術】
【0003】
本明細書に記載されている本背景技術の説明は開示の背景を概略的に示すためのものである。本背景技術の記載箇所で説明されている範囲において、現時点で氏名が掲載されている発明者の成果と、その他、本出願の出願時の先行技術としての地位を獲得し得ない説明の態様とは、本開示に対する先行技術として明示的にも黙示的にも自認されるものではない。
【0004】
ビデオのコーディング及び復号は動き補償とともにピクチャ間予測を用いて実行することができる。圧縮されていないデジタルビデオはピクチャ列を含む場合があり、各ピクチャは所定の空間的大きさを持ち、たとえば１９２０×１０８０個の輝度サンプル、及び関連する全色度サンプル又はサブサンプリングによる色度サンプルという空間的大きさを持つ。ピクチャ列は、不変であったり可変であったりするピクチャレート（フレームレートとも別称される）を持ち、たとえば毎秒６０ピクチャすなわち毎秒６０フレームのピクチャレート持つ場合がある。圧縮されていないビデオにはストリーミングやデータ処理に対する特定のビットレート要件がある。たとえば、画素解像度が１９２０×１０８０、フレームレートが毎秒６０、クロマサブサンプリングが色チャネル１つにつき１画素あたり８ビットで４：２：０であるビデオは約１．５Ｇｂｉｔ／ｓの帯域幅を要する。このようなビデオ１時間には６００ＧＢｙｔｅ以上の記憶領域が必要である。
【0005】
ビデオのコーディング及び復号の目的の１つは、圧縮によって圧縮された入力ビデオ信号の冗長さを削減することであるといえる。圧縮は、上述の帯域幅要件及び／又は記憶領域要件を緩和するのに有用であるといえ、場合によっては、２桁以上緩和するのに有用であるといえる。可逆圧縮と非可逆圧縮との両方と、これらの組合せとを用いることができる。可逆圧縮とは、圧縮された元の信号から復号プロセスを介して元の信号の厳密な複製を再構成することができる手法を指す。非可逆圧縮とは、コーディングの際に元のビデオ情報が完全には保持されず、復号の際に完全には復元することができないコーディング／復号プロセスを指す。非可逆圧縮を用いると、再構成された信号は元の信号とは同一ではない場合があるが、元の信号と再構成された信号との間の歪みは、多少の情報の欠落があるが、再構成された信号が意図した用途に用いることができるようになる程度に十分小さくなる。ビデオの場合には、多くの用途に非可逆圧縮が広く用いられている。容認可能な歪みの量は用途に依存する。たとえば、特定の民生用ストリーミング用途のユーザは映画用途やテレビ放送用途のユーザよりも大きい歪みを容認する場合がある。特定のコーディングアルゴリズムによって実現可能な圧縮率を、様々な歪み許容量を反映するように選択したり調節したりすることができる。すなわち、容認可能な歪みが大きいと、通常、大規模な欠落と高い圧縮率をもたらすコーディングアルゴリズムが可能になる。
【0006】
たとえば動き補償、フーリエ変換、量子化やエントロピーコーディングを含む、いくつかの幅広いカテゴリ及びステップから得られる手法をビデオエンコーダ及びデコーダに利用することができる。
【0007】
ビデオコーデック技術はイントラコーディングとして知られている手法を含むことができる。イントラコーディングでは、以前に再構成された参照ピクチャからサンプル又はその他データを参照せずにサンプル値を表現する。いくつかのビデオコーデックでは、ピクチャをサンプルのブロックに空間的に細分する。サンプルのすべてのブロックをイントラモードでコーディングする場合、当該ピクチャをイントラピクチャと称することができる。イントラピクチャと、独立デコーダリフレッシュピクチャなどのその派生とを用いてデコーダの状態をリセットすることができるので、これを、コーディングされたビデオビットストリームやビデオセッションの最初の画像として用いたり、静止画像として用いたりすることができる。その後、イントラ予測の後のブロックのサンプルが周波数ドメインへの変換を受けることが可能であり、そのように生成された変換係数をエントロピーコーディングの前に量子化することができる。イントラ予測は、変換前のドメインでサンプル値を最小限にする手法を代表するものである。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表す、所与の量子化ステップで必要なビットのサイズが小さくなる。
【0008】
たとえばＭＰＥＧ－２世代のコーディング手法で知られているコーディングなどの従来のイントラコーディングではイントラ予測を用いていない。しかし、いくつかのより新規のビデオ圧縮手法は、たとえば、空間的に近傍にあるものの符号化及び／又は復号の際に得られる周囲のサンプルデータ及び／又はメタデータや、イントラコーディング又は復号されたデータのブロックに復号順で先行する周囲のサンプルデータ及び／又はメタデータに基づいてブロックのコーディング／復号を試みる手法を含む。以下、このような手法を「イントラ予測」手法と称する。少なくともいくつかの例では、イントラ予測で、再構成中のカレントピクチャの参照データしか用いず、他の参照ピクチャの参照データは用いないことに留意する。
【0009】
多くの異なる形態のイントラ予測が存在することが可能である。このような手法の１つ以上を所与のビデオコーディング技術に利用可能である場合、用いられる手法をイントラ予測モードと称することができる。１つ以上のイントラ予測モードを特定のコーデックで行ってもよい。いくつかの例では、モードは下位モードを有することができかつ／又は様々なパラメータと関連してもよく、モード／下位モード情報とビデオのブロックのイントラコーディングパラメータとを個別にコーディングしたりモードコードワードにまとめて含ませたりすることができる。所与のモード、下位モード及び／又はパラメータの組合せにどのコードワードを用いるかによって、イントラ予測によるコーディング効率の向上に影響を及ぼすことができるので、コードワードをビットストリームに変換するのに用いられるエントロピーコーディング技術に影響を及ぼすことができる。
【0010】
イントラ予測の特定のモードがＨ．２６４から導入され、Ｈ．２６５で改良され、ＪＥＭ（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ＢＭＳ（ｂｅｎｃｈｍａｒｋ ｓｅｔ）などの新規のコーディング技術でさらに改良された。通常、イントラ予測では、利用可能になっている近傍サンプルの値を用いて予測値ブロックを形成することができる。たとえば、所定の方向及び／又はラインに沿って並ぶ近傍サンプルの特定の集合の利用可能な値を複製して予測値ブロックに入れてもよい。用いられている方向の方の参照値をそのビットストリームにおいてコーディングすることができるし、参照値そのものを予測してもよい。
【0011】
図１Ａを参照して、Ｈ．２６５の可能な３３個のイントラ予測値方向（Ｈ．２６５に記載されている３５個のイントラモードの３３個のアンギュラモードに対応する）で指定される９つの予測値方向の部分集合が右下に示されている。矢印が集まる点（１０１）は予測中のサンプルを表す。矢印は、近傍サンプルを用いて１０１のサンプルを予測する方向を表す。たとえば、矢印（１０２）は、水平方向から４５度の角度で、１つ以上の近傍サンプルから右上に向かってサンプル（１０１）を予測することを示す。同様に、矢印（１０３）は、水平方向から２２．５度の角度で、１つ以上の近傍サンプルからサンプル（１０１）の左下に向かってサンプル（１０１）を予測することを示す。
【0012】
引き続き図１Ａを参照して、左上には４×４個のサンプルの正方形ブロック（１０４）が示されている（太い破線で示されている）。正方形ブロック（１０４）は１６個のサンプルを含み、各々には、「Ｓ」と、サンプルのＹ次元の位置（たとえば行インデックス）と、サンプルのＸ次元の位置（たとえば列インデックス）とを含む指標が付されている。たとえば、サンプルＳ２１は、（上から）Ｙ次元において２番目のサンプルであって、（左から）Ｘ次元において１番目のサンプルである。同様に、サンプルＳ４４はＹ次元とＸ次元との両方においてブロック（１０４）中で４番目のサンプルである。ブロックのサイズが４×４サンプルであれば、Ｓ４４は右下にある。同様の番号の付け方にしたがった参照サンプルの例がさらに示されている。参照サンプルには、Ｒと、ブロック（１０４）に対する参照サンプルのＹ位置（たとえば行インデックス）及びＸ位置（列インデックス）とを含む指標が付されている。Ｈ．２６４でもＨ．２６５でも、再構成中にブロックの近傍にあって隣接する予測サンプルが用いられる。
【0013】
シグナリングされた予測方向にしたがって近傍サンプルから参照サンプル値を複製することからブロック１０４のピクチャ内予測を開始することができる。たとえば、当該ブロック１０４について、矢印（１０２）の予測方向を示すシグナリングを、コーディングされたビデオビットストリームが含むと仮定する。すなわち、水平方向から４５度の角度で、１つ以上の予測サンプルから右上に向かってサンプルを予測することを示すシグナリングを、コーディングされたビデオビットストリームが含むと仮定する。このような場合、同じ参照サンプルＲ０５からサンプルＳ４１，Ｓ３２，Ｓ２３及びＳ１４を予測する。その後、サンプルＳ４４を参照サンプルＲ０８から予測する。
【0014】
いくつかの例では、特に方向を４５度で均等に分割することができない場合、参照サンプルを計算するために、複数の参照サンプルの値をたとえば内挿を通じて組み合せてもよい。
【0015】
ビデオコーディング技術が発展し続けるのに応じて、可能な方向の個数が増大してきた。Ｈ．２６４（２００３年）では、たとえば、異なる９つの方向をイントラ予測に利用可能である。これがＨ．２６５（２０１３年）では３３個まで増加したが、ＪＥＭ／ＶＶＣ／ＢＭＳが本開示時点で最大６５個の方向をサポートすることができる。最適なイントラ予測方向を特定するのを支援するために実験的考察が行われてきたが、少数のビットの場合のこのような最適な方向を符号化するのに、方向についてのビットのなんらかの不利益を許容しつつ、エントロピーコーディングのいくつかの技術を用いることができる。さらに、場合によっては、復号されている近傍のブロックのイントラ予測で用いられる近傍の方向から方向そのものを予測することができる。
【0016】
図１ＢはＪＥＭにしたがう６５個のイントラ予測方向を示す概略図（１８０）を示しており、日進月歩の様々な符号化技術の多数の予測方向が示されている。
【0017】
コーディングされたビデオビットストリームにおいてイントラ予測方向を表すビットを予測方向にマッピングする仕方はビデオコーディング技術が変わると異なる場合があり、このマッピングの仕方は、たとえば、予測方向の単純な直接マッピングから、イントラ予測モード、コードワード、最も可能性が高いモードをもたらす複雑な適合方式などの手法にまで及ぶことができる。しかし、すべての場合において、いくつかの方向よりもビデオコンテンツで統計的に起こる確からしさが低いイントロ予測のいくつかの方向が存在し得る。ビデオ圧縮の目的が冗長さの削減であるので、このような確からしさが低い方向は、ビデオコーディング技術が適切に設計されている場合、確からしさがより高い方向よりも多数のビットによって表現される場合がある。
【0018】
ピクチャ間予測（すなわちインター予測）は動き補償に基づいてもよい。動き補償では、以前に再構成されたピクチャ又はその一部（参照ピクチャ）から得られるサンプルデータを、動きベクトル（以下、ＭＶ）によって示される方向に空間的にシフトした後、新たに再構成されたピクチャ又はピクチャの部分（たとえばブロック）の予測に用いてもよい。場合によっては、参照ピクチャが、再構成が行われている時点のピクチャと同じである場合がある。ＭＶは２つの次元Ｘ及びＹ又は３つの次元を持ってもよく、第３の次元は用いられている参照ピクチャに関する指標である（時間次元に類するもの）。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの、ある領域に適用可能なカレントＭＶを他のＭＶから予測することができ、たとえば、再構成中の領域に空間的に隣接する、サンプルデータの他の領域に関連し、復号順でカレントＭＶに先行する当該他のＭＶから予測することができる。このようにすることで、相関するＭＶの冗長さが取り除かれることに応じてＭＶをコーディングするのに必要なデータの総量を実質的に削減することができ、これにより、圧縮効率を上げることができる。たとえば、カメラから得られた入力ビデオ信号（未加工ビデオと呼ばれている）をコーディングする場合、１つのＭＶを適用可能な領域よりも大きい領域がビデオシーケンス中で同様の方向に移動することから、場合によっては、近傍の領域のＭＶから導出された同様の動きベクトルを用いて当該領域を予測することができるという統計的確からしさが存在するので、ＭＶ予測は効果的に機能することができる。その結果、所与の領域の実際のＭＶが周囲のＭＶから予測されたＭＶと同様になったり同一になったりする。エントロピーコーディングの後、ＭＶを近傍の１つ以上のＭＶから予測せずに直接コーディングする場合に用いられることになるビット数よりも少ないビット数で上記のＭＶを表現することができる。いくつかの例では、ＭＶ予測は、元の信号（すなわちサンプルストリーム）から信号（すなわちＭＶ）の可逆圧縮が導出されるという例であることが可能である。他の例では、たとえば、周囲のいくつかのＭＶから予測値を計算するときの丸め誤差によりＭＶ予測そのものが不可逆になる場合がある。
【0020】
様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５，“Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，Ｄｅｃｅｍｂｅｒ ２０１６）で説明されている。Ｈ．２６５に記載されている多くのＭＶ予測メカニズムのうちから、以下「空間的マージ」と称する技術を以下で説明する。
【0021】
具体的には、図２を参照して、カレントブロック（２０１）は、動き探索プロセスの際にエンコーダによって検知されて、空間的にシフトされた同じサイズの以前のブロックから予想可能であるサンプルを含む。当該ＭＶを直接コーディングする代わりに、１つ以上の参照ピクチャに関連づけられたメタデータからＭＶを導出することができ、たとえば、Ａ０，Ａ１及びＢ０，Ｂ１，Ｂ２（それぞれ２０２～２０６）で示されている周囲の５つのサンプルのいずれか１つに関連づけられたＭＶを用いて、最新（復号順）の参照画像からＭＶを導出することができる。Ｈ．２６５において、ＭＶ予測では、近傍のブロックが用いる同じ参照ピクチャから得られる予測値を用いることができる。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様では、ビデオ符号化及び復号のための方法及び装置を提供する。いくつかの例で追加説明を行う。
【0023】
本開示の態様では、ビデオ復号及び／又は符号化のためにコンピュータによって実行されるときにビデオ復号及び／又は符号化のための方法をコンピュータに実行させる命令を記憶する非一時的コンピュータ可読媒体も提供する。
【0024】
以下の詳細な説明と添付の図面とから、開示されている保護対象のさらなる特徴、性質及び様々な効果がより明らかになる。
【図面の簡単な説明】
【0025】
【図1A】イントラ予測方向モードの典型的な部分集合の概略図を示す。
【図1B】典型的なイントラ予測方向の図を示す。
【図2】一例におけるカレントブロックと、動きベクトル予測に用いられる、カレントブロックの周囲の空間的マージ候補との概略図を示す。
【図3】一実施形態に係る通信システム（３００）の簡略ブロック図の概略図を示す。
【図4】一実施形態に係る通信システム（４００）の簡略ブロック図の概略図を示す。
【図5】一実施形態に係るビデオデコーダの簡略ブロック図の概略図を示す。
【図6】一実施形態に係るビデオエンコーダの簡略ブロック図の概略図を示す。
【図7】別の実施形態に係るビデオエンコーダのブロック図を示す。
【図8】別の実施形態に係るビデオデコーダのブロック図を示す。
【図9】本開示の実施形態に係る方向イントラ予測モードを示す。
【図10】本開示の実施形態に係る方向性を持たないイントラ予測モードを示す。
【図11】本開示の実施形態に係る再帰的イントラ予測モードを示す。
【図12】本開示の実施形態に係るイントラ予測ブロックの変換ブロックの分割及びスキャンを示す。
【図13】本開示の実施形態に係るインター予測ブロックの変換ブロックの分割及びスキャンを示す。
【図14】本開示の実施形態に係る線グラフ変換（ＬＧＴ）の例を示す。
【図15】本開示の実施形態に係る同一位置の変換係数、同一位置のサブブロック及び同一位置のブロックの例を示す。
【図16】本開示の実施形態に係る共有シグナリングの例を示す。
【図17】本開示の一実施形態に係る方法のフローチャートを示す。
【図18】本開示の実施形態に係るコンピュータシステムの概略図を示す。
【発明を実施するための形態】
【0026】
図３は本開示の一実施形態に係る通信システム（３００）の簡略ブロック図を示す。通信システム（３００）は、互いとたとえばネットワーク（３５０）を介して通信することができる複数の端末デバイスを含む。たとえば、通信システム（３００）はネットワーク（３５０）を介して相互接続されている端末デバイス（３１０）及び（３２０）の第１のペアを含む。図３の例では、端末デバイス（３１０）及び（３２０）の第１のペアはデータの一方向伝送を行ってもよい。たとえば、端末デバイス（３１０）はネットワーク（３５０）を介して他の端末デバイス（３２０）に送信するためにビデオデータ（たとえば、端末デバイス（３１０）によってキャプチャされたビデオピクチャのストリームのビデオデータ）をコーディングしてもよい。符号化されたビデオデータを１つ以上のコーディングされたビデオビットストリームとして送信することができる。端末デバイス（３２０）はコーディングされたビデオデータをネットワーク（３５０）から受信し、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに応じたビデオピクチャを表示することができる。メディア提供アプリケーションなどで一方向データ伝送を実施してもよい。
【0027】
別の例では、通信システム（３００）は、たとえばテレビ会議に適用する際に実施される場合があるコーディングされたビデオデータの双方向伝送を行う端末デバイス（３３０）及び（３４０）の第２のペアを含む。データの双方向伝送の場合、一例であるが、端末デバイス（３３０）及び（３４０）の各端末デバイスはネットワーク（３５０）を介して端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスに送信するために、ビデオデータ（たとえば、端末デバイスによってキャプチャされたビデオピクチャのストリームのビデオデータ）をコーディングしてもよい。端末デバイス（３３０）及び（３４０）の各端末デバイスは、端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータの受信も行ってもよく、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに応じたビデオピクチャを、アクセス可能な表示装置で表示してもよい。
【0028】
図３の例では、端末デバイス（３１０），（３２０），（３３０）及び（３４０）をサーバ、パーソナルコンピュータ及びスマートフォンとして実施することができるが、本開示の根本原理の適用範囲はこのようには限定されないといえる。本開示の実施形態を、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、ウェアラブルコンピュータ、専用のテレビ会議機器及び／又は類似物で実施してもよい。ネットワーク（３５０）は、たとえば配線（有線）及び／又は無線通信ネットワークを含む、端末デバイス（３１０），（３２０），（３３０）及び（３４０）間で、コーディングされたビデオデータを伝達する任意の個数のネットワークや任意のタイプのネットワークを表す。通信ネットワーク（３５０）９は回線交換チャネル、パケット交換チャネル及び／又は他のタイプのチャネルでデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク及び／又はインターネットを含む。本例の説明上、本出願で明示的に説明されない限り、ネットワーク（３５０）のアーキテクチャ及びトポロジは本開示の動作に重要ではない場合がある。
【0029】
図４は、開示されている保護対象に適用する例として、ビデオストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示されている保護対象は、たとえば、テレビ会議、デジタルテレビ放送、ゲーム、仮想現実、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体への圧縮されたビデオの記憶などを含むビデオの他の適用例に同様に適用可能であってもよい。
【0030】
ビデオストリーミングシステムは、圧縮されていないビデオピクチャ又は画像のストリーム（４０２）を生成するビデオソース（４０１）、たとえばデジタルカメラを含むことができるビデオキャプチャサブシステム（４１３）を含んでもよい。一例では、ビデオピクチャのストリーム（４０２）はビデオソース（４０１）のデジタルカメラによって記録されるサンプルを含む。符号化されたビデオデータ（４０４）（すなわちコーディングされたビデオビットストリーム）と比較する場合にデータ量が多いことを強調するためにビデオピクチャのストリーム（４０２）を太線で示しているが、そのビデオピクチャのストリーム（４０２）を、ビデオソース（４０１）に接続されているビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理することができる。ビデオエンコーダ（４０３）は、以降で詳細に説明されている、開示されている保護対象の態様を可能にしたり実施したりするハードウェア、ソフトウェア又はこれらの組合せを含むことができる。圧縮されていないビデオピクチャのストリーム（４０２）と比較する場合にデータ量が少ないことを強調するために、符号化されたビデオデータ（４０４）（すなわち符号化されたビデオビットストリーム（４０４））を細線で示しているが、この符号化されたビデオデータ（４０４）を、後の使用のためにストリーミングサーバ（４０５）に記憶したりダウンストリームビデオデバイス（図示せず）に直接記憶したりすることができる。図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムはストリーミングサーバ（４０５）にアクセスして、符号化されたビデオデータ（４０４）の複製（４０７）及び複製（４０９）を取得することができる。クライアントサブシステム（４０６）は、たとえば電子デバイス（４３０）中にあるビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は符号化されたビデオデータの複製（４０７）を入力して復号し、また、圧縮されておらず、かつディスプレイ（４１２）（たとえば表示画面）又はその他描画するデバイス（図示せず）に描画することができるビデオピクチャの出力ストリーム（４１１）を生成する。ビデオデコーダ４１０を、本開示で説明されている様々な機能の一部又は全部を実行するように構成してもよい。いくつかのストリーミングシステムでは、符号化されたビデオデータ（４０４），（４０７）及び（４０９）（たとえばビデオビットストリーム）を特定のビデオコーディング／圧縮標準にしたがって符号化することができる。このような標準の例にはＩＴＵ－Ｔ勧告Ｈ．２６５が含まれる。一例では、開発中のビデオコーディング標準が非公式にはＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）として知られている。開示されている保護対象をＶＶＣや他のビデオコーディング標準を前提として用いてもよい。
【0031】
電子デバイス（４２０）及び（４３０）が他の構成要素（図示せず）を含むことができることに留意する。たとえば、電子デバイス（４２０）がビデオデコーダ（図示せず）を含むことができ、同様に、電子デバイス（４３０）がビデオエンコーダ（図示せず）を含むことができる。
【0032】
図５は後述の本開示のいずれかの実施形態に係るビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）を電子デバイス（５３０）に含ませることができる。電子デバイス（５３０）は受信器（５３１）（たとえば受信回路）を含むことができる。ビデオデコーダ（５１０）を図４の例のビデオデコーダ（４１０）の代わりに用いることができる。
【0033】
受信器（５３１）は、ビデオデコーダ（５１０）によって復号されることになる１つ以上のコーディングされたビデオシーケンスを受信してもよい。一度に１つのコーディングされたビデオシーケンスを同じ実施形態で復号したり別の実施形態で復号したりしてもよく、コーディングされた各ビデオシーケンスの復号は他のコーディングされたビデオシーケンスとは独立する。各ビデオシーケンスが複数のビデオフレーム又は画像に関連してもよい。コーディングされたビデオシーケンスをチャネル（５０１）から受信してもよく、チャネル（５０１）は、符号化されたビデオデータを記憶する記憶デバイスや、符号化されたビデオデータを送るストリーミング供給元につなげられたハードウェア／ソフトウェアであってもよい。受信器（５３１）はコーディングされた音声データ及び／又は付属データストリームなどの他のデータとともに、符号化されたビデオデータを受信してもよく、当該他のデータを、それに対応する処理回路（図示せず）に転送してもよい。受信器（５３１）はコーディングされたビデオシーケンスを他のデータから分離してもよい。ネットワークジターに対処するために、受信器（５３１）とエントロピーデコーダ／パーサ（５２０）（以下「パーサ（５２０）」）との間にバッファメモリ（５１５）を配置してもよい。いくつかの適用例では、バッファメモリ（５１５）をビデオデコーダ（５１０）の一部として実施してもよい。他の適用例では、バッファメモリ（５１５）はビデオデコーダ（５１０）外に存在し、ビデオデコーダ（５１０）とは別体であることが可能である（図示せず）。さらに他の適用例では、たとえばネットワークのジッタに対処するために、ビデオデコーダ（５１０）外にバッファメモリ（図示せず）が存在することが可能であり、たとえば再生のタイミングを処理するために、ビデオデコーダ（５１０）内に別の追加バッファメモリ（５１５）が存在してもよい。受信器（５３１）が十分な帯域幅及び制御性を持つ記憶／転送デバイスやアイソクロナスネットワークからデータを受信するものである場合、バッファメモリ（５１５）を要さずともよいし、バッファメモリ（５１５）が小規模であることが可能である。インターネットなどのベストエフォートパケットネットワークに用いる場合には、十分なサイズのバッファメモリ（５１５）を要する場合があり、バッファメモリ（５１５）のサイズを比較的大きくすることができる。このようなバッファメモリを最適なサイズで実施してもよく、ビデオデコーダ（５１０）外のオペレーティングシステムや同様の要素（図示せず）で少なくとも部分的に実施してもよい。
【0034】
ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するパーサ（５２０）を含んでもよい。このようなシンボルのカテゴリにはビデオデコーダ（５１０）の動作を管理するのに用いられる情報が含まれ、図５に示されているように、電子デバイス（５３０）の一体部分であってもなくてもよい、電子デバイス（５３０）に接続されることが可能であるディスプレイ（５１２）（たとえば表示画面）などの描画する装置を制御する情報が含まれる場合がある。１つ以上のレンダリングデバイスに用いる制御情報はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージやＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）パラメータ集合フラグメント（図示せず）の形態をとってもよい。パーサ（５２０）は、パーサ（５２０）が受け取ったコーディングされたビデオシーケンスをパース／エントロピー復号することができる。当該コーディングされたビデオシーケンスのエントロピーコーディングはビデオコーディング技術や標準に準拠することが可能であり、可変長コーディング、ハフマンコーディング、文脈依存を用いたり用いなかったりする算術コーディングなどを含む様々な原理にしたがうことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダ中にある画素の部分群の少なくとも１つについての部分群パラメータの集合を、部分群に対応する少なくとも１つのパラメータに基づいて抽出してもよい。部分群は、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）、ピクチャ、タイル、スライス、マクロブロック、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）、ブロック、ＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）などを含むことができる。パーサ（５２０）は、変換係数（たとえばフーリエ変換係数）、クオンタイザパラメータ値、動きベクトルなどのコーディングされたビデオシーケンス情報からも抽出を行ってもよい。
【0035】
パーサ（５２０）は、バッファメモリ（５１５）から受け取ったビデオシーケンスにエントロピー復号／パーサ動作を実行することでシンボル（５２１）を生成してもよい。
【0036】
シンボル（５２１）の再構成には、コーディングされたビデオピクチャ又はその部分のタイプ（たとえばピクチャ間及びピクチャ内、ブロック間及びブロック内）と他の因子とに応じて複数の異なる処理部位又は機能部位を関与させることができる。関与させる部位と、どのように部位を関与させるのかとを、コーディングされたビデオシーケンスからパーサ（５２０）によってパースされた部分群制御情報によって制御してもよい。簡略化するために、パーサ（５２０）と後述の複数の処理部位又は機能部位との間の、このような部分群の制御情報のフローは示されていない。
【0037】
既に説明されている機能ブロックについてさらにいえば、ビデオデコーダ（５１０）を、後述のように複数の機能部位に概念的に細分することができる。商業上の制約を受けながら運用される実際の実現例では、このような機能部位の多くは互いに緊密にやり取りし、互いに少なくとも部分的に一体化されることが可能である。一方で、開示されている保護対象の様々な機能を明確にしつつ説明するために、以下の開示では機能部位に概念的に細分することを採用している。
【0038】
最初の部位はスケーラ／逆変換部（５５１）を含んでもよい。スケーラ／逆変換部（５５１）はパーサ（５２０）からシンボル（５２１）として、量子化された変換係数と、どのタイプの逆変換を用いるべきかを示す情報、ブロックサイズ、量子化係数（ｑｕａｎｔｉｚａｔｉｏｎ ｆａｃｔｏｒ）／量子化パラメータ、量子化スケーリングマトリックス及び状態を含む制御情報とを受け取ってもよい。スケーラ／逆変換部（５５１）は、集合器（５５５）に入力することができるサンプル値を含むブロックを出力することができる。
【0039】
いくつかの例では、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャから得られる予測的情報を用いないが、カレントピクチャの以前に再構成された部分から得られる予測的情報を用いることができるブロックに適する場合がある。このような予測的情報をピクチャ内予測部（５５２）によって提供することができる。いくつかの例では、ピクチャ内予測部（５５２）は、既に再構成され、カレントピクチャバッファ（５５８）に記憶されている周囲のブロックの情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成してもよい。カレントピクチャバッファ（５５８）は、たとえば、部分的に再構成されたカレントピクチャ及び／又は全体的に再構成されたカレントピクチャをバッファリングする。いくつかの実現例では、集合器（５５５）は、サンプル毎に、イントラ予測部（５５２）が生成した予測情報を、スケーラ／逆変換部（５５１）によって提供された出力サンプル情報に加えてもよい。
【0040】
他の例では、スケーラ／逆変換部（５５１）の出力サンプルはインターコーディングされたブロックに適し、場合によっては動き補償されたブロックに適する場合がある。このような例では、動き補償予測部（５５３）が参照ピクチャメモリ（５５７）にアクセスして、ピクチャ間予測に用いられるサンプルを取得することができる。ブロックに関係するシンボル（５２１）に応じて、取得されたサンプルを動き補償した後、当該サンプルをスケーラ／逆変換部（５５１）の出力（部位５５１の出力を残差サンプルや残差信号と称する場合がある）に集合器（５５５）によって加えることで、出力サンプル情報を生成することができる。動き補償予測部（５５３）が予測サンプルを取得する取得元の参照ピクチャメモリ（５５７）内のアドレスを動きベクトルによって制御することができ、動きベクトルは、たとえばＸ，Ｙ成分（シフト）及び参照ピクチャ成分（時間）を有することができるシンボル（５２１）の形態をとった状態で動き補償予測部（５５３）に利用可能である。動き補償は、サブサンプルの正確な動きベクトルが用いられている場合の、参照ピクチャメモリ（５５７）から取得されるサンプル値の内挿を含むこともでき、動きベクトル予測メカニズムなどに関連することもできる。
【0041】
集合器（５５５）の出力サンプルは、ループフィルタ部（５５６）で様々なループフィルタリング手法を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも称する）に含まれて、パーサ（５２０）からのシンボル（５２１）としてループフィルタ部（５５６）に利用可能になるパラメータによって制御されるループ内フィルタ技術を含むことができる一方で、ビデオ圧縮技術は、コーディングされたピクチャ又はコーディングされたビデオシーケンスの以前（復号順）の部分を復号する際に得られるメタ情報の影響を受け易く、以前に再構成されてループフィルタリングされたサンプル値の影響も受け易い場合もある。ループフィルタ部５５６の一部として数種類のループフィルタを様々な順序で含ませてもよい。このことについてはさらに詳細に後述する。
【0042】
ループフィルタ部（５５６）の出力は、レンダリングデバイス（５１２）に出力することができるだけでなく、後のピクチャ間予測で用いるために参照ピクチャメモリ（５５７）に記憶することもできるサンプルストリームであることが可能である。
【0043】
いくつかのコーディングされたピクチャは、完全に再構成されると、後のピクチャ間予測のために参照ピクチャとして用いられることが可能である。たとえば、カレントピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが参照ピクチャとして（たとえばパーサ（５２０）によって）特定されると、カレントピクチャバッファ（５５８）は参照ピクチャメモリ（５５７）の一部になることが可能であり、次のコーディングされたピクチャの再構成を開始する前に、新たなカレントピクチャバッファを割り当てし直すことができる。
【0044】
ビデオデコーダ（５１０）は所定の標準（たとえばＩＴＵ－Ｔ勧告Ｈ．２６５）で採用されている既定のビデオ圧縮技術にしたがって復号動作を行ってもよい。コーディングされたビデオシーケンスがビデオ圧縮技術や標準のシンタックスと、ビデオ圧縮技術や標準の文書に記載されているプロファイルとの両方を遵守するという意味で、コーディングされたビデオシーケンスは、用いられているビデオ圧縮技術や標準によって定められているシンタックスに準拠するといえる。特に、プロファイルについては、ビデオ圧縮技術や標準で利用可能なすべてのツールから、当該プロファイルにしたがった使用に供することができる唯一のツールとして所定のツールを選択することができる。標準に準拠するために、コーディングされたビデオシーケンスの複雑さがビデオ圧縮技術や標準のレベルによって定められた限界内にあってもよい。いくつかの例では、レベルに応じて、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（たとえば毎秒１００万サンプルで測定）、最大参照ピクチャサイズなどが制限される。レベルによって設けられる限界は、いくつかの例では、ＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）の仕様と、コーディングされたビデオシーケンスでシグナリングされるＨＲＤバッファ管理用のメタデータとにより、さらに制限される場合がある。
【0045】
いくつかの実施形態では、受信器（５３１）が符号化されたビデオとともに付随（冗長）データを受信してもよい。付随データがコーディングされたビデオシーケンスの一部として含まれてもよい。付随データをビデオデコーダ（５１０）で用いて、データを適切に復号しかつ／又は元のビデオデータをより正確に再構成してもよい。たとえば、付随データは、時間的、空間的又は信号雑音比（ＳＮＲ）強化レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形態をとることができる。
【0046】
図６は本開示の一実施形態に係るビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）を電子デバイス（６２０）に含ませてもよい。電子デバイス（６２０）は送信器（６４０）（たとえば送信回路）をさらに含んでもよい。ビデオエンコーダ（６０３）を図４の例のビデオエンコーダ（４０３）の代わりに用いることができる。
【0047】
ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされることになる１つ以上のビデオ画像をキャプチャすることができるビデオソース（６０１）（図６の例では電子デバイス（６２０）の一部ではない）からビデオサンプルを受け取ってもよい。別の例では、ビデオソース（６０１）を電子デバイス（６２０）の一部として実施してもよい。
【0048】
ビデオソース（６０１）は、任意の適切なビット深度（たとえば、８ビット、１０ビット、１２ビット、…）、任意の色空間（たとえば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢ、ＸＹＺ…）及び任意の適切なサンプリング構造（たとえば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）が可能であるデジタルビデオサンプルストリームとしてビデオエンコーダ（６０３）によってコーディングされることになるソースビデオシーケンスを提供してもよい。メディア提供システムでは、ビデオソース（６０１）は、予め用意されたビデオを記憶することができる記憶デバイスであってもよい。テレビ会議システムでは、ビデオソース（６０１）は、現地の画像情報をビデオシーケンスとしてキャプチャするカメラであってもよい。順番に見られると動きを実現する複数の個々のピクチャ又は画像としてビデオデータを提供してもよい。ピクチャをそのまま画素の空間的配列として編成してもよく、各画素は使用されているサンプリング構造、色空間などに応じた１つ以上のサンプルを含むことができる。画素とサンプルとの関係については、当業者は容易に理解することができる。以下の説明ではサンプルに注目する。
【0049】
いくつかの実施形態に係れば、ビデオエンコーダ（６０３）はソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（６４３）にリアルタイムにコーディングして圧縮してもよいし、アプリケーションによって必要とされる任意の他の時間制約を受けつつコーディングして圧縮してもよい。適切なコーディング速度を強制的に維持することは、コントローラ（６５０）の機能の１つを構成する。いくつかの実施形態では、コントローラ（６５０）を後述されている他の機能部位に機能的に接続して、コントローラ（６５０）によって当該他の機能部位を制御してもよい。簡略化するために、接続については示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連のパラメータ（ピクチャスキップ、クオンタイザ、レート－歪み最適化技術のλの値、…）、ピクチャサイズ、ＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ）のレイアウト、最長の動きベクトルの探索範囲などを含むことができる。特定のシステム設計に最適化されたビデオエンコーダ（６０３）に関する他の適切な機能を持つようにコントローラ（６５０）を構成することができる。
【0050】
いくつかの実施形態では、ビデオエンコーダ（６０３）をコーディングループで動作するように構成してもよい。最大限に単純化した説明として、一例では、コーディングループはソースコーダ（６３０）（たとえば、コーディングされることになる入力ピクチャと１つ以上の参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することを担う）と、ビデオエンコーダ（６０３）に組み込まれた（別の場所ではなくこの場所にある）デコーダ（６３３）とを含むことができる。デコーダ（６３３）はシンボルを再構成し、内蔵デコーダ６３３がエントロピーコーディングを用いずにソースコーダ６３０によってコーディングされたビデオストリームを処理したとしても、あたかも（別の場所にある）デコーダによって生成されるのと同様にサンプルデータを生成する（エントロピーコーディングにおける、シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮は開示されている保護対象で検討されているビデオ圧縮技術に含まれる可逆圧縮であってもよい）。再構成されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（６３４）に入力される。シンボルストリームを復号すると、デコーダの場所（この場所にあるのか別の場所にあるのか）とは無関係に正確なビット結果がもたらされるので、参照ピクチャメモリ（６３４）の内容についても、この場所にあるエンコーダと別の場所にあるエンコーダとの比較でビットが正確になる。言い換えると、あたかもデコーダが復号の際に予測を用いるときに「見る」のと同じサンプル値を、エンコーダの予測部分は参照ピクチャサンプルとして正確に「見る」。このような参照ピクチャの同時性（さらには、たとえばチャネルエラーによって同時性を維持することができない場合に結果として生じるドリフト）の基本原理がコーディング品質を改善するのに用いられる。
【0051】
「この場所にある」デコーダ（６３３）の動作は、図５をともなって上記で既に詳細に説明されている「別の場所にある」ビデオデコーダ（５１０）などのデコーダの動作と同じであることが可能である。しかし、幾分図５も参照するが、シンボルが有効であり、かつエントロピーコーダ（６４５）及びパーサ（５２０）によるシンボルの符号化、及びコーディングされたビデオシーケンスへの復号が可逆であることが可能であるので、バッファメモリ（５１５）とパーサ（５２０）とを含むビデオデコーダ（５１０）のエントロピー復号部分はエンコーダのこの場所にあるデコーダ（６３３）では完全には実施されない場合がある。
【0052】
この時点でいえることは、デコーダにしか存在し得ないパース／エントロピー復号以外のいかなるデコーダ技術も、対応するエンコーダにやはり必ず実質的に同一の機能的形態で存在する必要があるといえるということである。この理由から、開示されている保護対象について、エンコーダの復号部分に関連するデコーダの動作に場合に応じて注目する場合がある。したがって、エンコーダ技術の説明については、全体が説明されているデコーダ技術の逆であるので、省略することができる。特定の部分又は態様に限って、エンコーダのより詳細な説明を以下に記載する。
【0053】
いくつかの実現例の動作の際、ソースコーダ（６３０）は、「参照ピクチャ」に指定されたビデオシーケンスから得られた以前にコーディングされた１つ以上のピクチャを参照して予測して入力ピクチャをコーディングする動き補償予測コーディングを行ってもよい。このようにして、コーディングエンジン（６３２）は、入力ピクチャの画素ブロックと、入力ピクチャに対する１つ以上の予測参照として選択することができる１つ以上の参照ピクチャの画素ブロックとの色チャネルの差分（または残差）をコーディングする。用語「残差（ｒｅｓｉｄｕｅ）」とその形容詞形「残差の（ｒｅｓｉｄｕａｌ）」とを互いに入れ替えて用いてもよい。
【0054】
この場所にあるビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照ピクチャに指定することができるピクチャのコーディングされたビデオデータを復号してもよい。コーディングエンジン（６３２）の動作が非可逆プロセスであることが有効である場合がある。コーディングされたビデオデータがなんらかのビデオデコーダ（図６には示されていない）で復号されることがある場合、再構成されたビデオシーケンスは一般的に多少の誤差をともなうソースビデオシーケンスの複製である場合がある。この場所にあるビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって行われる場合がある復号プロセスを繰り返し、再構成された参照ピクチャが参照ピクチャキャッシュ（６３４）に記憶されるようにしてもよい。このようにして、ビデオエンコーダ（６０３）は、遠端の（別の場所にある）ビデオデコーダによって得られることになる再構成された参照ピクチャと共通の内容を持つ再構成された参照ピクチャの複製をこの場所に記憶することができる（伝送エラーなし）。
【0055】
予測器（６３５）はコーディングエンジン（６３２）のために予測探索を行ってもよい。すなわち、コーディングされることになる新たなピクチャのために、予測器（６３５）は、サンプルデータ（候補参照画素ブロックとしてのサンプルデータ）を得たり、新たなピクチャのための適切な予測参照を担うことができる参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを得たりするために参照ピクチャメモリ（６３４）を探索してもよい。予測器（６３５）は、適切な予測参照を検知するのに画素ブロック毎に１つのサンプルブロックを用いるようにして動作してもよい。いくつかの例では、予測器（６３５）によって得られる探索結果によって判断する際、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶されている複数の参照ピクチャから得られた予測参照を含むことができる。
【0056】
たとえば、コントローラ（６５０）は、ビデオデータを符号化するのに用いられるパラメータ及び部分群パラメータの設定を含む、ソースコーダ（６３０）のコーディング動作の管理を行ってもよい。
【0057】
上述のすべての機能部位の出力がエントロピーコーダ（６４５）でエントロピーコーディングを受けてもよい。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術にしたがってシンボルを可逆圧縮することによって、様々な機能部位によって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0058】
送信器（６４０）が通信チャネル（６６０）を通じた送信に備えるために、エントロピーコーダ（６４５）によって生成された１つ以上のコーディングされたビデオシーケンスをバッファリングしてもよく、送信器（６４０）は、符号化されたビデオデータを記憶する記憶デバイスにつなげられたハードウェア／ソフトウェアであってもよい。送信器（６４０）は、送信されることになる他のデータ、たとえば、コーディングされた音声データ及び／又は付属データストリーム（供給源は示されていない）を、ビデオコーダ（６０３）から得られたコーディングされたビデオデータに統合してもよい。
【0059】
コントローラ（６５０）はビデオエンコーダ（６０３）の動作を管理してもよい。コーディングの際、コントローラ（６５０）はコーディングされたピクチャ毎に、それぞれのピクチャに適用することができるコーディング手法に影響を及ぼすことができる特定のコーディングされたピクチャのタイプを割り当ててもよい。たとえば、多くの場合、以下のピクチャタイプの１つとしてピクチャを割り当てることができる。
【0060】
Ｉピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）は、予測の元になるものとしてシーケンス中の他の一切のピクチャを用いずにコーディング及び復号を行うことができるピクチャであるといえる。いくつかのビデオコーデックでは、たとえばＩＤＲ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャを含む様々なタイプのイントラピクチャが可能である。Ｉピクチャのこのような変形例とそれに対応する適用例及び特徴部とに当業者は想到する。
【0061】
Ｐピクチャ（ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）は、イントラ予測又はインター予測を用い、各ブロックのサンプル値を予測するのに最大１つの動きベクトルと参照インデックスとを用いてコーディング及び復号を行うことができるピクチャであるといえる。
【0062】
Ｂピクチャ（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）は、イントラ予測又はインター予測を用い、各ブロックのサンプル値を予測するのに最大２つの動きベクトルと参照インデックスとを用いてコーディング及び復号を行うことができるピクチャであるといえる。同様に、ｍｕｌｔｉｐｌｅ－ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅでは、１つのブロックの再構成のために、２つ以上の参照ピクチャと関連メタデータとを用いることができる。
【0063】
一般的に、ソースピクチャを複数のサンプルコーディングブロックに空間的に細分することができ（たとえば、それぞれ４×４、８×８、４×８や１６×１６個のサンプルのブロック）、ブロックを１つずつコーディングすることができる。それぞれのブロックに対応するピクチャに適用されるコーディング割当てによって判断される際に、他の（既にコーディングされた）ブロックを参照して予測してブロックをコーディングしてもよい。たとえば、Ｉピクチャのブロックを予測を用いずにコーディングしてもよいし、同じピクチャの既にコーディングされたブロックを参照して、予測を用いてコーディングしてもよい（空間的予測又はイントラ予測）。Ｐピクチャの画素ブロックを、空間的予測を用いたり、以前にコーディングされた１つの参照ピクチャを参照して時間的予測を用いたりして、予測を用いてコーディングしてもよい。Ｂピクチャのブロックを、空間的予測を用いたり、以前にコーディングされた１つ又は２つの参照ピクチャを参照して時間的予測を用いたりして、予測を用いてコーディングしてもよい。ソースピクチャ又は中間処理ピクチャを他の目的で他のタイプのブロックに細分してもよい。コーディングブロック及び他のタイプのブロックの分割が同じ仕方にしたがってもしたがわなくてもよく、これについてはさらに詳細に後述されている。
【0064】
ビデオエンコーダ（６０３）は既定のビデオコーディング技術や標準（たとえばＩＴＵ－Ｔ勧告Ｈ．２６５）にしたがってコーディング動作を行ってもよい。その動作では、ビデオエンコーダ（６０３）は、入力ビデオシーケンスの時間的冗長さと空間的冗長さとを利用する予測コーディング動作を含む様々な圧縮動作を行ってもよい。したがって、コーディングされたビデオデータは、用いられているビデオコーディング技術や標準によって定められているシンタックスに準拠してもよい。
【0065】
いくつかの実施形態では、送信器（６４０）は符号化されたビデオとともに付随データを送信してもよい。ソースコーダ（６３０）はコーディングされたビデオシーケンスの一部としてこのようなデータを含んでもよい。付随データは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長ピクチャや冗長スライスなどの冗長データの他の形態、ＳＥＩメッセージ、ＶＵＩパラメータ集合フラグメントなどを含んでもよい。
【0066】
ビデオを複数のソースピクチャ（ビデオピクチャ）として時間順にキャプチャしてもよい。ピクチャ内予測（イントラ予測と略されることが多い）では所与のピクチャ内の空間的相関を利用し、ピクチャ間予測ではピクチャ間の相関（時間的相関又は他の相関）を利用する。たとえば、カレントピクチャと称されている、符号化／復号中の特定のピクチャをブロックに分割してもよい。カレントピクチャ中のブロックがビデオ中の、以前にコーディングされて依然としてバッファリングされている参照ピクチャ中の参照ブロックに類似する場合、カレントピクチャ中のブロックを、動きベクトルと称されているベクトルによってコーディングしてもよい。動きベクトルは、参照ピクチャ中で参照ブロックの方に向いており、複数の参照ピクチャが用いられる場合、第３の次元を持って参照ピクチャを特定することができる。
【0067】
いくつかの実施形態では、ピクチャ間予測に双予測法（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）を用いることができる。この双予測法によれば、ビデオ中のカレントピクチャよりも復号順でともに先行する（これとは異なり、表示順でそれぞれ過去又は未来にあってもよい）第１の参照ピクチャ及び第２の参照ピクチャなどの２つの参照ピクチャを用いる。第１の参照ピクチャ中で第１の参照ブロックの方に向いている第１の動きベクトルと、第２の参照ピクチャ中で第２の参照ブロックの方に向いている第２の動きベクトルとによってカレントピクチャ中のブロックをコーディングすることができる。第１の参照ブロックと第２の参照ブロックとの組合せによってこれらを併用してブロックを予測することができる。
【0068】
さらに、ピクチャ間予測にマージモード法を用いてコーディング効率を改善することができる。
【0069】
本開示のいくつかの実施形態に係れば、ピクチャ間予測やピクチャ内予測などの予測をブロックの単位で行う。たとえば、圧縮のためにビデオピクチャのシーケンス中のピクチャをＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）に分割し、ピクチャ中のＣＴＵは同じサイズ（たとえば６４×６４個の画素、３２×３２個の画素又は１６×１６個の画素）を持ってもよい。一般的に、ＣＴＵは並列する３つのＣＴＢ（ｃｏｄｉｎｇ ｔｒｅｅ ｂｌｏｃｋ）、すなわち、１つのルマ（ｌｕｍａ）ＣＴＢと２つのクロマ（ｃｈｒｏｍａ）ＣＴＢとを含んでもよい。各ＣＴＵを１つ以上のＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）に再帰的に四分木分割することができる。たとえば、６４×６４個の画素のＣＴＵを６４×６４個の画素の１つのＣＵや、３２×３２個の画素の４つのＣＵに分割することができる。３２×３２ブロックの１つ以上の各々を１６×１６個の画素の４つのＣＵにさらに分割してもよい。いくつかの実施形態では、符号化の際に各ＣＵを解析して、インター予測タイプやイントラ予測タイプなどの様々な予測タイプからＣＵの予測タイプを決めてもよい。時間的及び／又は空間的予測可能性に応じてＣＵを１つ以上のＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に分割してもよい。一般的には、各ＰＵは１つのルマＰＢ（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ）と２つのクロマＰＢとを含む。一実施形態では、コーディング（符号化／復号）の予測動作をＰＢの単位で行う。ＣＵのＰＵ（又は異なる色チャネルのＰＢ）への分割を様々な空間パターンで実行してもよい。ルマＰＢ又はクロマＰＢは、たとえば、８×８個の画素、１６×１６個の画素、８×１６個の画素、１６×８個のサンプルなどのサンプルの値（たとえば、ルマ値）の行列を含んでもよい。
【0070】
図７は本開示の別の実施形態に係るビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャのシーケンス中のカレントビデオピクチャ中のサンプル値の処理ブロック（たとえば予測ブロック）を受け取って、処理ブロックを符号化して、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにするように構成されている。ビデオエンコーダ（７０３）の例を図４の例のビデオエンコーダ（４０３）の代わりに用いてもよい。
【0071】
たとえば、ビデオエンコーダ（７０３）は８×８個のサンプルの予測ブロックなどの処理ブロックのサンプル値の行列を受け取る。その後、ビデオエンコーダ（７０３）は、たとえばレート－歪み最適化（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ，ＲＤＯ）を用い、処理ブロックがイントラモードを用いて最も良くコーディングされるのか、インターモードを用いて最も良くコーディングされるのか、双予測モードを用いて最も良くコーディングされるのかを判断する。処理ブロックがイントラモードでコーディングされると判断される場合、ビデオエンコーダ（７０３）は処理ブロックを符号化してコーディングされたピクチャにするのにイントラ予測法を用いてもよく、処理ブロックがインターモード又は双予測モードでコーディングされると判断される場合、ビデオエンコーダ（７０３）は処理ブロックを符号化してコーディングされたピクチャにするのにインター予測法又は双予測法をそれぞれ用いてもよい。いくつかの実施形態では、予測器外のコーディングされた動きベクトル構成要素の補助なしに１つ以上の動きベクトル予測器から動きベクトルを得るピクチャ間予測の下位モードとしてマージモードを用いてもよい。いくつかの他の実施形態では、対象となるブロックに適用可能な動きベクトル構成要素が存在してもよい。したがって、ビデオエンコーダ（７０３）は、処理ブロックの予測モードを判断するモード判定モジュールなど、図７に明示的には示されていない構成要素を含んでもよい。
【0072】
図７の例では、ビデオエンコーダ（７０３）は、図７の配置例に示されているように接続され合っている、インターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）及びエントロピーエンコーダ（７２５）を含む。
【0073】
インターエンコーダ（７３０）は、カレントブロック（たとえば処理ブロック）のサンプルを受け取り、当該ブロックを参照ピクチャ中の１つ以上の参照ブロック（たとえば、表示順で前のピクチャ及び後のピクチャ中のブロック）と比較し、インター予測情報（たとえば、インター符号化法にしたがった冗長情報の記述、動きベクトル、マージモード情報）を生成し、任意の適切な技術を用いてインター予測情報に基づいてインター予測結果（たとえば、予測されたブロック）を計算するように構成されている。いくつかの例では、参照ピクチャは、図６のエンコーダ６２０の例に組み込まれている復号部６３３（図７の残差デコーダ７２８（さらに詳細に後述されている）として示されている）を用いて、符号化されたビデオ情報に基づいて復号された復号済み参照ピクチャである。
【0074】
イントラエンコーダ（７２２）は、カレントブロック（たとえば処理ブロック）のサンプルを受け取り、当該ブロックを同じピクチャ中の既にコーディングされたブロックと比較し、変換後の量子化された係数を生成し、場合によって、イントラ予測情報（たとえば、１つ以上のイントラ符号化技術にしたがったイントラ予測方向情報）も生成するように構成されている。イントラエンコーダ（７２２）はイントラ予測情報と同じピクチャ中の参照ブロックとに基づいてイントラ予測結果（たとえば予測されたブロック）を計算してもよい。
【0075】
汎用コントローラ（７２１）を、汎用制御データを決定して、汎用制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するように構成してもよい。一例では、汎用コントローラ（７２１）はブロックの予測モードを決定し、予測モードに基づいて制御信号をスイッチ（７２６）に提供する。たとえば、予測モードがイントラモードである場合、汎用コントローラ（７２１）は残差計算器（７２３）による使用に対してイントラモード結果を選択するようにスイッチ（７２６）を制御し、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御し、ブロックに用いる予測モードがインターモードである場合、汎用コントローラ（７２１）は残差計算器（７２３）による使用に対してインター予測結果を選択するようにスイッチ（７２６）を制御し、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御する。
【0076】
残差計算器（７２３）を、受け取ったブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択されたブロックについての予測結果との差分（残差データ）を計算するように構成してもよい。残差エンコーダ（７２４）を、残差データを符号化して変換係数を生成するように構成してもよい。たとえば、残差エンコーダ（７２４）を、残差データを空間ドメインから周波数ドメインに変換して変換係数を生成するように構成してもよい。その後、変換係数は量子化処理を受け、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（７０３）は残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を行って、復号された残差データを生成するように構成されている。復号された残差データをイントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に用いることができる。たとえば、インターエンコーダ（７３０）は復号された残差データとインター予測情報とに基づいて、復号されたブロックを生成することができ、イントラエンコーダ（７２２）は復号された残差データとイントラ予測情報とに基づいて、復号されたブロックを生成することができる。復号されたブロックを適切に処理して復号済みピクチャが生成され、復号済みピクチャをメモリ回路（図示せず）にバッファリングして参照ピクチャとして用いることができる。
【0077】
エントロピーエンコーダ（７２５）を、符号化されたブロックを含むようにビットストリームをフォーマットしてエントロピーコーディングを実行するように構成してもよい。エントロピーエンコーダ（７２５）は、様々な情報をビットストリームに含ませるように構成されている。たとえば、エントロピーエンコーダ（７２５）を、汎用制御データ、選択された予測情報（たとえば、イントラ予測情報やインター予測情報）、残差情報及びその他適切な情報をビットストリームに含ませるように構成してもよい。インターモード又は双予測モードのいずれかのマージ下位モードでブロックをコーディングする場合、残差情報が存在しなくてもよい。
【0078】
図８は本開示の別の実施形態に係るビデオデコーダ（８１０）の例の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受け取り、コーディングされたピクチャを復号して再構成されたピクチャを生成するように構成されている。一例では、ビデオデコーダ（８１０）を図４の例のビデオデコーダ（４１０）の代わりに用いてもよい。
【0079】
図８の例では、ビデオデコーダ（８１０）は、図８の配置例に示されているように接続され合っている、エントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）及びイントラデコーダ（８７２）を含む。
【0080】
エントロピーデコーダ（８７１）を、コーディングされたピクチャから、コーディングされたピクチャを構成するシンタックス要素を表す特定のシンボルを再構成するように構成することができる。このようなシンボルは、たとえば、ブロックのコーディングに用いるモード（たとえば、イントラモード、インターモード、双予測されるモード、マージ下位モードや別の下位モード）や、イントラデコーダ（８７２）又はインターデコーダ（８８０）による予測に用いられる特定のサンプル又はメタデータを特定することができる予測情報（たとえば、イントラ予測情報やインター予測情報）や、たとえば量子化された変換係数の形態をとる残差情報などを含むことができる。一例では、予測モードがインターモード又は双予測されるモードである場合、インター予測情報がインターデコーダ（８８０）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（８７２）に提供される。残差情報に逆の量子化を施すことができ、これは残差デコーダ（８７３）に提供される。
【0081】
インターデコーダ（８８０）を、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するように構成してもよい。
【0082】
イントラデコーダ（８７２）を、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するように構成してもよい。
【0083】
残差デコーダ（８７３）を、逆の量子化を行って、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数ドメインから空間ドメインに変換するように構成してもよい。残差デコーダ（８７３）は（クオンタイザパラメータ（ＱＰ）を含むように）特定の制御情報も利用してもよく、当該情報はエントロピーデコーダ（８７１）によって提供されてもよい（これは少量のデータ量しかない制御情報であるといえるので、データ経路は示されていない）。
【0084】
再構成モジュール（８７４）を、空間ドメインにおいて、残差デコーダ（８７３）によって出力された残差と予測結果（場合に応じてインター予測モジュール又はイントラ予測モジュールによって出力される）とを組み合せて、再構成されたビデオの一部として再構成されたピクチャの一部を形成する再構成されたブロックを形成するように構成してもよい。デブロック動作などの他の適切な動作を行って、映像品質を改善することもできることに留意する。
【0085】
ビデオエンコーダ（４０３），（６０３）及び（７０３）とビデオデコーダ（４１０），（５１０）及び（８１０）とを任意の適切な手法を用いて実施することができることに留意する。いくつかの実施形態では、ビデオエンコーダ（４０３），（６０３）及び（７０３）とビデオデコーダ（４１０），（５１０）及び（８１０）とを１つ以上の集積回路を用いて実施することができる。別の実施形態では、ビデオエンコーダ（４０３），（６０３）及び（６０３）とビデオデコーダ（４１０），（５１０）及び（８１０）とをソフトウェア命令を実行する１つ以上のプロセッサを用いて実施することができる。
【0086】
イントラ予測プロセスに戻るが、本プロセスでは、ブロック（たとえば、ルマ予測ブロック若しくはクロマ予測ブロック、又は予測ブロックにさらに分割されていない場合にはコーディングブロック）中のサンプルを、近傍にあるもの、次に近傍にあるもの若しくは他の１つ以上のラインのサンプル又はこれらの組合せによって予測して予測ブロックを生成する。その後、コーディング中の実際のブロックと予測ブロックとの間の残差を量子化後に変換により処理してもよい。様々なイントラ予測モードを利用可能にするすることができ、イントラモードの選択に関連するパラメータ及びその他パラメータをビットストリームでシグナリングすることができる。当該様々なイントラ予測モードは、たとえば、サンプルの予測に用いられる１つ以上のライン位置、予測サンプルを１つ以上の予測ラインから選択する際に進む方向や、他の特別なイントラ予測モードに関係してもよい。
【0087】
たとえば、イントラ予測モード（「イントラモード」とも呼びかえられる）の集合は既定の個数の方向イントラ予測モードを含んでもよい。図１の実現例に関して上述されているように、これらのイントラ予測モードは、特定のブロック内の予測中のサンプルの予測先としてブロック外のサンプルを選択する際に進む既定の個数の方向に対応してもよい。別の特定の実現例では、水平軸に対する４５～２０７度の角度に対応する８つの主要な方向モードがサポートされた既定のモードであってもよい。
【0088】
イントラ予測の他の実現例では、方向テクスチャにおいてより多くの種類の空間的冗長さをさらに利用するために、方向イントラモードを粒度の高い角度集合にさらに拡張してもよい。たとえば、図９に示されているように、上記の８つの角度の実現例を、名称を付した８つの角度（Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ及びＤ６７＿ＰＲＥＤと称する）を提供するように構成してもよく、名称を付した角度毎に、既定の個数（たとえば７つ）のより刻みの小さい角度を加えてもよい。このように拡張すれば、方向の角度の総数が大きくなり（たとえば、本例では５６個）、当該総数の方向の角度をイントラ予測に用いることができ、これらはそれと同数の既定の方向イントラモードに対応する。予測角度を、名称を付したイントラ角度と、これに付随する角度刻み（ａｎｇｌｅ ｄｅｌｔａ）とで表してもよい。名称を付した角度毎に刻みの小さい７つの角度方向がある上記の特定の例では、角度刻みは－３～３であってもよく、ステップサイズが増加して３度増加する。
【0089】
いくつかの実現例では、上記の方向イントラモードに加えて、又は上記の方向イントラモードの代わりに、方向性を持たない既定の個数のイントラ予測モードも既定のモードであってもよく、これらのモードも利用可能にしてもよい。たとえば、スムーズイントラ予測モードと称される方向性を持たない５つのイントラモードを指定してもよい。これらの方向性を持たないイントラモード予測モードを特にＤＣイントラモード、ＰＡＥＴＨイントラモード、ＳＭＯＯＴＨイントラモード、ＳＭＯＯＴＨ＿Ｖイントラモード及びＳＭＯＯＴＨ＿Ｈイントラモードと称する場合がある。これらの方向性を持たないモードの例を用いた特定のブロックのサンプルの予測が図１０に示されている。たとえば、図１０は、上の近傍ライン及び／又は左の近傍ラインから得られるサンプルによって４×４ブロック１００２が予測される様子を示す。ブロック１００２内の特定のサンプル１０１０は、ブロック１００２の上の近傍ラインにおいてサンプル１０１０の真上のサンプル１００４と、上の近傍ラインと左の近傍ラインとの交差部分としてサンプル１０１０の左上にあるサンプル１００６と、ブロック１００２の左の近傍のラインにおいてサンプル１０１０の真左にあるサンプル１００８とに対応してもよい。ＤＣイントラ予測モードの例では、左の近傍サンプル１００８と上の近傍サンプル１００４との平均値をサンプル１０１０の予測値として用いてもよい。ＰＡＥＴＨイントラ予測モードの例では、上、左及び左上参照サンプル１００４，１００８及び１００６を取得してもよく、その後、（上＋左－左上）に最も近い、これらの３つの参照サンプル間のどのような値でもサンプル１０１０の予測値として設定してもよい。ＳＭＯＯＴＨ＿Ｖイントラ予測モードの例では、左上の近傍サンプル１００６及び左の近傍サンプル１００８の垂直方向の２次補間（ｑｕａｄｒａｔｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）によってサンプル１０１０を予測してもよい。ＳＭＯＯＴＨ＿Ｈイントラ予測モードの例では、左上の近傍サンプル１００６及び上の近傍サンプル１００４の水平方向の２次補間によってサンプル１０１０を予測してもよい。ＳＭＯＯＴＨイントラ予測モードの例では、垂直方向及び水平方向の２次補間の平均によってサンプル１０１０を予測してもよい。上記の方向性を持たないイントラモードの実現例は限定を課さない例として示されているのにすぎない。他の近傍ラインや、方向性を持たない他のサンプル選択法も考えられ、予測ブロック内の特定のサンプルを予測するための予測サンプルの組合せ方も考えられる。
【0090】
様々なコーディングの規模（ピクチャ、スライス、ブロック、ユニットなど）の上記の方向モードや方向性を持たないモードからエンコーダによってどのイントラ予測モードを選択したかをビットストリームでシグナリングしてもよい。いくつかの実現例では、まず、名称を付した８つの典型的な方向モードを、角度を用いない５つのスムーズモードとともに（合計１３個の選択肢）シグナリングしてもよい。その後、シグナリングされたモードが、名称を付した角度を用いる８つのイントラモードのうちの１つである場合、対応するシグナリングされた名称を付した角度に対して選択された角度刻みを示すインデックスをさらにシグナリングする。他の実現例では、シグナリングのためにすべてのイントラ予測モード（たとえば、５６個の方向モードに方向性を持たない５つのモードを足して６１個のイントラ予測モードを得る）に一斉にインデックスを付してもよい。
【0091】
いくつかの実現例では、５６個又は他の個数の方向イントラ予測モードの例を、ブロックの各サンプルを参照サブサンプル位置まで射影（ｐｒｏｊｅｃｔ）して２タップのバイリニアフィルタによって参照サンプルを内挿する統一的な方向予測値を用いて実施してもよい。
【0092】
いくつかの実現例では、辺の参照との弱い空間的相関を捉えるために、ＦＩＬＴＥＲ ＩＮＴＲＡモードと称するさらなるフィルタモードを設計してもよい。当該モードでは、ブロック外のサンプルに加えてブロック内で予測されるサンプルをイントラ予測参照サンプルとしてブロック内のいくつかのパッチに用いてもよい。たとえば、当該モードは既定のモードであってもよく、当該モードを少なくともルマブロックのイントラ予測（又はルマブロックのみに用いるイントラ予測）に利用可能にしてもよい。既定の個数（たとえば５つ）のフィルタイントラモードを予め設計してもよく、たとえば４×２パッチ内のサンプルとそれに隣接するｎ個の隣接物との相関を反映するｎタップフィルタ（たとえば７タップフィルタ）の集合によって各フィルタイントラモードを表現してもよい。言い換えると、ｎタップフィルタの重み係数が位置に依存してもよい。図１１に示されているように、一例として８×８ブロック、４×２パッチ及び７タップフィルタリングを用いる場合、８×８ブロック１１０２を８個の４×２パッチに分割してもよい。図１１ではこれらのパッチはＢ０，Ｂ１，Ｂ１，Ｂ３，Ｂ４，Ｂ５，Ｂ６，及びＢ７で示されている。パッチ毎に、パッチの７つの近傍物（図１１でＲ０～Ｒ７で示されている）をカレントパッチ内のサンプルを予測するのに用いてもよい。パッチＢ０については、すべての近傍物が既に再構成されている場合がある。一方で他のパッチについては、近傍物の一部がカレントブロック内にあるので、再構成されていない場合があり、その際には、直に隣接するものの予測値を参照として用いる。たとえば、図１１に示されているパッチＢ７のすべての近傍物が再構成されていないので、代わりに近傍物の予測サンプルが用いられる。
【0093】
イントラ予測のいくつかの実現例では、１つの色成分を１つ以上の他の色成分を用いて予測してもよい。色成分がＹＣｒＣｂ色空間、ＲＧＢ色空間、ＸＹＺ色空間などの成分のいずれか１つであってもよい。たとえば、ルマ成分（たとえばルマ参照サンプル）からクロマ成分（たとえばクロマブロック）を予測する予測（Ｃｈｒｏｍａ ｆｒｏｍ ＬｕｍａまたはＣｆＬと称する）を実施してもよい。いくつかの実現例では、クロスカラー予測（ｃｒｏｓｓ－ｃｏｌｏｒ ｐｒｅｄｉｃｔｉｏｎ）について多くがルマからクロマにしか許容されない。たとえば、クロマブロック内のクロマサンプルを、対応する再構成されたルマサンプルの１次関数としてモデル化してもよい。ＣｆＬ予測を以下のように実施してもよい。
ＣｆＬ（α）＝α×ＬＡＣ＋ＤＣ （１）
ＣｆＬ（α）＝α×ＬＡＣ＋ＤＣ （１）
【0094】
ここで、ＬＡＣはルマ成分のＡＣ寄与分を示し、αは線形モデルのパラメータを示し、ＤＣはクロマ成分のＤＣ寄与分を示す。たとえば、ＡＣ成分がブロックのサンプル毎に得られるのに対して、ＤＣ成分はブロック全体に対して得られる。さらにいえば、再構成されたルマサンプルにサブサンプリングを行ってクロマ解像度を得てもよく、その後、各ルマ値から平均ルマ値（ルマのＤＣ）を差し引いてルマのＡＣ寄与分を生成してもよい。その後、ルマのＡＣ寄与分を式（１）の線形モードに用いてクロマ成分のＡＣ値を予測する。ルマＡＣ寄与分からクロマＡＣ成分の近似値を得たり予測したりするために、スケーリングパラメータを計算することをデコーダに要求する代わりに、ＣｆＬの実現例では、元のクロマサンプルに基づいてパラメータαを決定してこれをビットストリームでシグナリングしてもよい。これにより、デコーダの複雑さが緩和され、より正確な予測が得られる。クロマ成分のＤＣ寄与分については、いくつかの実現例ではクロマ成分中のイントラＤＣモードを用いて計算してもよい。
【0095】
その後、変換係数の量子化に続いて、イントラ予測ブロックかインター予測ブロックかのいずれかの残差の変換を実施してもよい。変換を実行するために、イントラコーディングされたブロックとインターコーディングされたブロックとを変換の前に複数の変換ブロック（用語「ユニット（ｕｎｉｔ）」が３色チャネルの集合を表すのに通常の用法で用いられる場合（たとえば、「コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ）」が１つのルマコーディングブロックと複数のクロマコーディングブロックとを含む場合）であっても、代わりに「変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）」として用いられる場合がある）にさらに分割してもよい。いくつかの実現例では、コーディングされたブロック（すなわち予測ブロック）の最大分割深度（ｍａｘｉｍｕｍ ｐａｒｔｉｔｉｏｎｉｎｇ ｄｅｐｔｈ）を指定してもよい（用語「コーディングされたブロック（ｃｏｄｅｄ ｂｌｏｃｋ）」を「コーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ）」の代わりに用いてもよい）。たとえば、当該分割は、２段階以下のレベルのものであってもよい。予測ブロックを変換ブロックに分割する際、イントラ予測ブロックとインター予測ブロックとで異なる処理を行ってもよい。一方で、いくつかの実現例では、当該分割の際、イントラ予測ブロックとインター予測ブロックとで同様に行ってもよい。
【0096】
いくつかの実現例では、イントラコーディングされたブロックについては、すべての変換ブロックが同じサイズを持つように変換分割を行ってもよく、変換ブロックはラスタスキャン順にコーディングされる。イントラコーディングされたブロックの当該変換ブロック分割の一例が図１２に示されている。具体的には、図１２は、コーディングされたブロック１２０２が中間レベルの四分木分割１２０４を介して１２０６によって示されている同じブロックサイズの１６個の変換ブロックに分割される様子を示す。図１２には、コーディングのラスタスキャン順序の例が順番に並んだ矢印によって示されている。
【0097】
いくつかの実現例では、インターコーディングされたブロックについては、既定の段階数のレベル（たとえば第２段階のレベル）までの分割深度を用いて再帰的に変換ユニット分割を行ってもよい。図１３に示されているように、分割を中止したり、なんらかの細分のために任意のレベルで再帰的に分割を継続したりしてもよい。具体的には、図１３は、ブロック１３０２が４つの四分木サブブロック１３０４に分割され、サブブロックの１つが４つの第２段階のレベルの変換ブロックにさらに分割されるのに対して、その他のサブブロックの分割が第１段階のレベルの後に中止され、異なる２つのサイズの合計７つの変換ブロックが得られる例を示す。図１３には、コーディングのラスタスキャン順序の例が順番に並んだ矢印によってさらに示されている。図１３は最高で第２段階のレベルの正方形変換ブロックの四分木分割の実現例を示しているが、生成に関するいくつかの実現例では、変換についての分割が１：１（正方形）、１：２／２：１及び１：４／４：１の変換ブロック形状と、４×４から６４×６４に及ぶサイズとをサポートしてもよい。いくつかの実現例では、コーディングブロックが６４×６４以下である場合、変換ブロックの分割をルマ成分のみに適用してもよい（言い換えると、この状態でクロマ変換ブロックがコーディングブロックと同じになる）。上記とは異なり、コーディングブロックの幅又は高さが６４を超える場合、ルマコーディングブロック及びクロマコーディングブロックをｍｉｎ（Ｗ，６４）×ｍｉｎ（Ｈ，６４）及びｍｉｎ（Ｗ，３２）×ｍｉｎ（Ｈ，３２）の倍数の個数の変換ブロックに暗黙的にそれぞれ分割してもよい。
【0098】
その後、上記の変換ブロックの各々は１次変換を受けてもよい。１次変換により、変換ブロックの残差が空間ドメインから周波数ドメインに実質的に移動する。実際の１次変換のいくつかの実現例では、上記の拡張されたコーディングブロック分割の例をサポートするために、複数の変換サイズ（２つの次元の各次元について４点から６４点に及ぶ）と変換形状（正方形、幅／高さの比２：１／１：２及び４：１／１：４を持つ矩形）とを許容してもよい。
【0099】
実際の１次変換に注目して、いくつかの実現例では、２次元変換プロセスに複合的変換カーネル（たとえば、コーディングされた残差変換ブロックの次元毎に異なる１次元変換で構成される場合がある）の使用が必要になる場合がある。１次元変換カーネルの例にはａ）４点、８点、１６点、３２点、６４点のＤＣＴ－２、ｂ）４点、８点、１６点の非対称ＤＳＴ類（ＤＳＴ－４、ＤＳＴ－７）及びその反転型、ｃ）４点、８点、１６点、３２点恒等変換が含まれてもよいが、これらに限定されない。各次元に用いられる変換カーネルの選択はレート－歪み（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ，ＲＤ）基準に基づいてもよい。たとえば、実施し得るＤＣＴ－２の基底関数と非対称ＤＳＴの基底関数とを表１に示す。
【0100】
【表1】
【0101】
いくつかの実現例では、１次変換の特定の実現例の複合的変換カーネルの有効性は変換ブロックのサイズと予測モードとに基づいてもよい。依存の様子の例を表２に示す。クロマ成分については、変換タイプの選択を暗黙的に行ってもよい。たとえば、イントラ予測残差については、表３に記載されているように、変換タイプをイントラ予測モードに応じて選択してもよい。インター予測残差については、クロマブロックの変換タイプを同一位置のルマブロックの変換タイプの選択に応じて選択してもよい。したがって、クロマ成分については、ビットストリームでの変換タイプのシグナリングは行わない。
【0102】
【表2】
【0103】
【表3】
【0104】
いくつかの実現例では、１次変換係数に２次変換を行ってもよい。たとえば、２次変換の縮小型として知られているＬＦＮＳＴ（ｌｏｗ－ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を先行する１次変換と量子化との間で（エンコーダで）適用し、逆量子化と逆１次変換との間で（デコーダ側で）適用して１次変換係数の相関をさらに弱めてもよい。
【0105】
いくつかの実現例では、変換は図１４に示されている線グラフ変換（Ｌｉｎｅ Ｇｒａｐｈ Ｔｒａｎｓｆｏｒｍ，ＬＧＴ）を含んでもよい。グラフは頂点及び辺の集合からなる一般化された数学的構造であってもよく、注目対象の親和性の関係をモデル化するのに用いられる。実際には、加重グラフ（重みの集合を辺に割り当てるのに用いられ、頂点にも割り当てる可能性がある）によって信号／データのロバストなモデリングのための散在表現（ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を提供することができる。ＬＧＴにより、多様なブロック統計値に対する優れた適合性を提供することによってコーディング効率を改善することができる。基礎となる行及び列をモデル化するためにデータから線グラフを得ることによって分離可能なＬＧＴの設計及び最適化を行うことができる。このＬＧＴはブロック残差信号の優れた統計値であり、このＬＧＴを導出するのに関連する一般化グラフラプラシアン（ｇｅｎｅｒａｌｉｚｅｄ ｇｒａｐｈ Ｌａｐｌａｃｉａｎ，ＧＧＬ）行列が用いられる。
【0106】
一実現例では、加重グラフＧ（Ｗ，Ｖ）が与えられると、ＧＧＬ行列をＬＥ＝Ｄ－Ｗ＋Ｖとして生成することができる。ここで、Ｗは０ではない辺の重みＷｃからなる隣接行列であってもよい。Ｄは対角次数行列であってもよい。Ｖは加重自己閉路Ｖｃ１，Ｖｃ２を表す対角行列であってもよい。行列Ｌｅを以下のように表すことができる。
【数1】
【0107】
その後、ＬＧＴをＧＧＬ Ｌｃの固有値分解によって導出することができる。
Ｌｃ＝ＵΦＵＴ （３）
Ｌｃ＝ＵΦＵＴ （３）
【0108】
ここで、直交行列Ｕの列がＬＧＴの基底ベクトルであり、Φは対角固有値行列である。実際に、ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７を含むＤＣＴ及びＤＳＴはＧＧＬの特定の形態から導出されるＬＧＴである。ＤＣＴ－２はＶｃ１＝０を設定することによって導出され、ＤＳＴ－７はＶｃ＝Ｗｃを設定することによって導出され、ＤＣＴ－８はＶｃ２＝Ｗｃを設定することによって導出され、ＤＳＴ－４はＶｃ１＝２ｗｃを設定することによって導出され、ＤＣＴ－４はＶｃ２＝２ｗｃを設定することによって導出される。
【0109】
行列の乗法としてＬＧＴを実施することができる。Ｌｃにおいてｖｃ１＝２ｗｃを設定することによって４点ＬＧＴコア（４ｐ ＬＧＴ ｃｏｒｅ）を導出してもよく、この設定は当該ＬＧＴがＤＳＴ－４であることを意味する。Ｌｃにおいてｖｃ１＝１．５ｗｃを設定することによって８点ＬＧＴコアを導出してもよく、Ｌｃにおいてｖｃ１＝ｗｃを設定することによって１６点、３２点及び６４点ＬＧＴコアを導出してもよく、この設定は当該ＬＧＴがＤＳＴ－７であることを意味する。
【0110】
いくつかの実現例では、係数コーディングには、各２次元変換係数を逐次的に処理するコーディング方式とは対照的に、レベルマップ方式（ｌｅｖｅｌ－ｍａｐ ｓｃｈｅｍｅ）を用いてもよい。変換ユニット（又は変換ブロック）毎に、係数コーディングはスキップ符号（ｓｋｉｐ ｓｉｇｎ）のコーディングから開始され、スキップ符号の後には、変換コーディングがスキップされない場合に備えて、１次変換カーネルタイプのシグナリングと、ＥＯＢ（ｅｎｄ－ｏｆ－ｂｌｏｃｋ）位置とが続く。その後、係数値を、符号値を加えた多レベルマップ（ｍｕｌｔｉｐｌｅ ｌｅｖｅｌ ｍａｐ）法でコーディングする。レベルマップは３つのレベルプレーン、すなわち、低レベルプレーン、中レベルプレーン及び高レベルプレーンとしてコーディングされ、符号はこれらとは別のプレーンとしてコーディングされる。低レベルプレーン、中レベルプレーン及び高レベルプレーンは異なる範囲の係数の大きさに対応するために対応する。低レベルプレーンはたとえば０～２の範囲に対応し、中レベルプレーンはたとえば３～１４の範囲に対応し、高レベルプレーンはたとえば１５以上の範囲をカバーする。３つのレベルプレーンを、（ａ）ＥＯＢ位置を最初にコーディングする、（ｂ）低レベルプレーンと中レベルプレーンとをともに後進スキャン順にコーディングし、スキャン順序が変換ユニットに全体的に適用されるジグザクのスキャンを含んでもよい、（ｃ）符号プレーンと高レベルプレーンとをともに前進スキャン順にコーディングする、（ｄ）残り（係数レベル－１４）が、指数ゴロム符号を用いてエントロピーコーディングする、ようにコーディングしてもよい。低レベルプレーンに適用されるコンテキストモデルは１次変換方向（双方向、水平及び垂直）と変換サイズとに依存し、コンテキストを導出するのに近傍物（周波数ドメインの近傍物）の係数が既定の個数（たとえば５個）まで用いられる。中レベルプレーンには同様のコンテキストモデルを用いてもよいが、コンテキスト近傍物係数の個数をたとえば５個から２個に減少させてもよい。高レベルプレーンを、コンテキストモデルを用いずに指数ゴロム符号によってコーディングしてもよい。ＤＣ符号はコンテキストモデリングアプローチを用いてコーディングされ、この場合、以下の式（４）に記述されているように、コンテキスト情報を導出するのに上及び左の近傍ブロックのＤＣ符号値の加重平均を用いてもよい。
【0111】
ｄｃ＿ｓｕｍ＝Σｉ∈ｎｅｉｇｈｂｏｒｓｄｃ＿ｓｉｇｎ（ｉ）＊ｏｖｅｒｌａｐ（ｉ，ｃｕｒｒ＿ｂｌｏｃｋ） （４）
【0112】
加重はカレント変換ブロックと隣接変換ブロックとの交差部分の長さに依存する。ＤＣ符号のコーディングに用いられる３つの異なるコンテキストを得るためのインデックスとして、導出されたコンテキスト情報を以下の式５に示されているように用いる。コンテキストモデルを用いずに、他の係数の符号値を直接コーディングすることができる。
ｄｃ＿ｃｔｘ ＝０ ｄｃ＿ｓｕｍ＝０の場合
＝１ ｄｃ＿ｓｕｍ＜０の場合
＝２ ｄｃ＿ｓｕｍ＞０の場合 （５）
ｄｃ＿ｃｔｘ ＝０ ｄｃ＿ｓｕｍ＝０の場合
＝１ ｄｃ＿ｓｕｍ＜０の場合
＝２ ｄｃ＿ｓｕｍ＞０の場合 （５）
【0113】
上述のエントロピー符号化を行う際、ルマ変換ブロック及びクロマ変換ブロックのＤＣ符号値に近傍物のＤＣ符号値を利用してコンテキスト情報を導出してもよく、たとえば、空間における近傍物が上及び／又は左の近傍物を含んでもよい。その後、変換係数の符号値のエントロピーコーディングがコンテキスト情報に基づいてもよい。
【0114】
本開示には、同一位置のクロマ変換係数の符号値間の強い要素横断的相関（ｃｒｏｓｓ ｃｏｍｐｏｎｅｎｔ ｃｏｒｒｅｌａｔｉｏｎ）を活用する、コンテキストモデルを用いた符号値のエントロピー符号化についての様々な実施形態が開示されている。クロマチャネルの符号値にエントロピーコーディングを行うのに用いられるコンテキストを導出するために様々なレベル（係数レベル、サブブロックレベルやブロックレベル）でこの相関を利用してもよい。具体的には、図１５に示されているように、異なるレベル（異なる周波数範囲）に相関が存在してもよい。一例では、Ｃｂブロック１５０２及び同一位置のＣｒブロック１５０４において、２つの同一位置の係数ＡＣｂ１５１０及びＡＣｒ１５１２が同じ符号値を共有してもよい。別の例では、Ｃｂブロック１５０６及び同一位置のＣｒブロック１５０８において、２つの同一位置のサブブロック１５１４及び１５１６の係数が同じ値を共有してもよい。さらに別の例では、Ｃｂブロック１５０６及び同一位置のＣｒブロック１５０８などの同一位置の２つのブロックの全体の係数が同じ値を共有してもよい。したがって、エントロピー符号化効率を改善するために様々なレベルで相関を利用することができる。
【0115】
本開示では、用語「同一位置のブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）」は、別の色チャネルにおいて同じ空間位置に位置するブロックを指す場合がある。たとえば、Ｃｂブロック１５０２とＣｒブロック１５０４とが同一位置にある。エントロピー符号化プロセスでは、同一位置の係数／ブロックの一方の符号化を他方の同一位置の係数／ブロックの符号化の前にまず行ってもよい。係数が空間的に同一位置のブロックに属しかつ同一周波数位置に位置する場合に係数は同一位置にある。たとえば、図１５において係数１５１０及び１５１２が同一位置の係数である。
【0116】
本開示では、用語「同一位置のクロマブロック（ｃｏ－ｌｏｃａｔｅｄ ｃｈｒｏｍａ ｂｌｏｃｋ）」は、別のクロミナンス（色）チャネルにおいて同一空間位置に位置するクロマブロックを指す場合がある。同一位置のクロマ係数は、同一位置のＣｒブロック及びＣｂブロックについて、周波数ドメインにおける同じ位置のＣｒ係数及びＣｂ係数を指す。
【0117】
本開示では、同一位置の２つの係数を関連係数とも称する場合がある。同様に、同一位置の２つのサブブロックを関連サブブロックとも称する場合がある。たとえば、ＡＣｂ１５１０及びＡＣｒ１５１２が関連係数である。サブブロック１５１４及び１５１６が同一位置のサブブロックである。
【0118】
本開示では、用語「ブロック」は、変換ブロック、コーディングされたブロック、予測ブロックなどを指す場合がある。
【0119】
本開示では、用語「クロマブロック」は、クロミナンス（色）チャネルのいずれかの、ブロックを指す場合がある。
【0120】
エントロピー符号化のコンテキスト導出
上述されているように、特定の変換係数の符号値が同一位置の変換係数と相関を持つことができる。したがって、エントロピー符号化を行う際、特定の変換係数の符号値を、以前にコーディングされた同一位置の変換係数に基づいて導出することができる。
上述されているように、特定の変換係数の符号値が同一位置の変換係数と相関を持つことができる。したがって、エントロピー符号化を行う際、特定の変換係数の符号値を、以前にコーディングされた同一位置の変換係数に基づいて導出することができる。
【0121】
一実施態様では、特定のクロマ（たとえばＣｂ又はＣｒ）変換係数の符号値のエントロピーコーディングが、以前にコーディングされた同一位置のクロマ（たとえばＣｒ又はＣｂ）変換係数の符号値に依存する。
【0122】
一実施態様では、特定の変換係数の符号値のエントロピーコーディングについて、エントロピー符号化のコンテキストを、以前にコーディングされた同一位置の変換係数の符号値に基づいて導出してもよい。
【0123】
一実施態様では、特定の変換係数の符号値のエントロピーコーディングについて、変換係数が変換ドメインにおける既定の位置（又は周波数範囲）に位置する場合にだけ、以前にコーディングされた同一位置の変換係数の符号値に基づいてコンテキストを導出してもよい。
【0124】
一実現例では、コンテキスト導出プロセスをＤＣ係数にだけ適用してもよい。
【0125】
一実現例では、コンテキスト導出プロセスをＤＣ係数と既定の低周波係数とにだけ適用してもよい。
【0126】
一実施態様では、係数のＤＣ符号値のコンテキスト導出が以下に依存してもよい。
・上と左の近傍ブロックのＤＣ符号値の加重平均。重みは既定の要因に基づいてもよい。
・同一位置のＤＣ係数の以前にコーディングされた符号値。
・上と左の近傍ブロックのＤＣ符号値の加重平均。重みは既定の要因に基づいてもよい。
・同一位置のＤＣ係数の以前にコーディングされた符号値。
【0127】
符号値のシグナリング
上述されているように、特定の変換係数の符号値が同一位置の変換係数と相関を持つことができる。したがって、同一位置の変換係数の符号値をシグナリングするためには、クロマチャネル毎に信号を用いるのではなく、符号値を併せてシグナリングするのに共同信号を用いてもよい。
上述されているように、特定の変換係数の符号値が同一位置の変換係数と相関を持つことができる。したがって、同一位置の変換係数の符号値をシグナリングするためには、クロマチャネル毎に信号を用いるのではなく、符号値を併せてシグナリングするのに共同信号を用いてもよい。
【0128】
一実施態様では、符号値を共有するために２つの信号を用いてもよい。２つの信号は両方ともＣｂチャネル及びＣｒチャネルに適用される。図１６に示されているように、まず、第１の信号１６０２をシグナリングして、関連するすべての色成分の関連する変換係数の符号値が同一であるか否かを通知してもよい。その後、第２の信号１６０４をシグナリングして符号値そのものを通知してもよい。特定の色チャネルを対象とするものとして第２の信号をコーディングしてもよいが、同一位置のチャネルのためには参照されなくなる。これの代わりに、Ｃｂチャネル及びＣｒチャネルを対象とするものとして第２の信号をコーディングしてもよい。たとえば、図１５に戻って参照して、第１の信号が、ＡＣｂ１５１０の符号値とＡＣｒ１５１２の符号値とが同じであることを通知してもよく、第２の信号がＡＣｂ１５１０及びＡＣｒ１５１２の符号値を示してもよい。
【0129】
一実現例では、Ｃｂブロック１５０６とＣｒブロック１５０８などの同一位置のブロックの関連する変換係数がすべて同じであってもよい。この場合、符号値のシグナリングが１つのブロックのみのためにシグナリングされる必要があるといえ、同一位置のブロックについては符号値のシグナリングをスキップしてもよい。たとえば、ブロック１５０６の符号値のみをシグナリングする必要がある。ブロック１５０８についての符号値のシグナリングがスキップされることを示すフラグをシグナリングしてもよい。ブロック１５０８の変換係数の符号値をブロック１５０６の対応する変換係数から導出してもよい。
【0130】
同じ概念をサブブロックに適用してもよい。一実現例では、サブブロック１５１４とサブブロック１５１６などの同一位置のサブブロックの関連する変換係数がすべて同じであってもよい。この場合、符号値のシグナリングが１つのサブブロックのみのためにシグナリングされる必要があるといえ、同一位置のサブブロックについては符号値のシグナリングをスキップしてもよい。たとえば、サブブロック１５１４の符号値のみをシグナリングする必要がある。サブブロック１５１６についての符号値シグナリングがスキップされることを示すフラグをシグナリングしてもよい。サブブロック１５１６の変換係数の符号値をサブブロック１５１４の対応する変換係数から導出してもよい。
【0131】
一実現例では、サブブロックサイズのサイズは、４×４、４×８、８×４、４×１６、１６×４、８×８、８×１６、１６×８、８×３２、３２×８、１６×６４、６４×１６、１６×１６、１６×３２、３２×１６、３２×３２、３２×６４、６４×３２又は６４×６４のうちの少なくとも１つを含んでもよい。
【0132】
上記の実施形態では、Ｃｂ／Ｃｒチャネル／ブロックが例示目的のみに用いられている。同様の概念をルマチャネルなどの他のタイプのチャネルに適用してもよい。たとえば、ルマチャネル、Ｃｂチャネル及びＣｒチャネルの同一位置の変換係数の符号値が同じであることを示す信号を用いてもよい。
【0133】
図１７はビデオデータを復号する典型的な方法１７００を示す。方法１７００は、ビデオデータのコーディングされたビデオビットストリームから第１の変換係数を含む第１のデータブロックを受け取るステップ１７１０と、コンテキスト情報に基づいて第１の変換係数の符号値のエントロピー復号を行うステップ１７２０であって、コンテキスト情報はビデオデータの第２のデータブロックの第２の変換係数の符号値に基づいて導出され、第２のデータブロックは第１のデータブロックと同一位置にあり、同一位置にあることは、異なるチャネルの２つのデータブロックが同一空間位置に位置することを指す、ステップ１７２０との一部又は全部を含んでもよい。
【0134】
本開示の実施形態では、必要に応じて任意のステップ及び／又は動作を任意の諸量又は順序で組み合せたり配置したりしてもよい。ステップ及び／又は動作の２つ以上を並列に実行してもよい。
【0135】
本開示の実施形態を個別に用いても任意の順序で組み合せてもよい。さらに、方法（又は実施形態）、エンコーダ及びデコーダの各々を処理回路（たとえば、１つ以上のプロセッサや１つ以上の集積回路）によって実施してもよい。一例では、非一時的コンピュータ可読媒体に記憶されているプログラムを１つ以上のプロセッサが実行する。本開示の実施形態をルマブロック又はクロマブロックに適用してもよい。
【0136】
コンピュータ可読命令を用い、１つ以上のコンピュータ可読媒体に物理的に記憶されるコンピュータソフトウェアとして上述の手法を実施することができる。たとえば、図１８は開示されている保護対象のいくつかの実施形態を実施するのに好適なコンピュータシステム（１８００）を示す。
【0137】
コンピュータソフトウェアは、任意の適切なマシン語すなわちコンピュータ言語を用いてコード化することができ、このコンピュータ言語は、命令を含むコードを生成するためのアセンブリ、コンパイル、リンク、又は同様の機構によって処理される場合があり、この命令は、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などによって、直接実行したり、解釈、マイクロコードの実行などを通じて実行したりすることができる。
【0138】
命令は、たとえば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネットデバイスなどを含む様々なタイプのコンピュータ又はその構成要素で実行することができる。
【0139】
コンピュータシステム（１８００）の図１８に示されている構成要素も当然典型的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能の範囲に関していかなる限定の示唆も意図していない。さらには、構成要素の構成が、コンピュータシステム（１８００）の典型的な実施形態に示されている構成要素のいずれか１つ又はこれらの組合せに関連する依存性又は要求を持つと解釈するべきでもない。
【0140】
コンピュータシステム（１８００）はいくつかのヒューマンインターフェイス入力デバイスを含んでもよい。このようなヒューマンインターフェイス入力デバイスは、たとえば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、音声入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を通じて１人以上の人間のユーザによる入力に応答するものであってもよい。ヒューマンインターフェイスデバイスを用いることで、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得した写真画像など）、映像（二次元映像、立体映像を含む三次元映像など）など、人間による意識的な入力に必ずしも直接関連しないなんらかの媒体を獲得することもできる。
【0141】
入力ヒューマンインターフェイスデバイスは、キーボード（１８０１）、マウス（１８０２）、トラックパッド（１８０３）、タッチ画面（１８１０）、データグローブ（図示せず）、ジョイスティック（１８０５）、マイク（１８０６）、スキャナ（１８０７）、カメラ（１８０８）の１つ以上（各々の１つのみが図示されている）を含んでもよい。
【0142】
コンピュータシステム（１８００）はいくつかのヒューマンインターフェイス出力デバイスも含んでもよい。このようなヒューマンインターフェイス出力デバイスは、たとえば、触覚出力、音、光及び嗅覚／味覚を通じて１人以上の人間のユーザの感覚を刺激してもよい。このようなヒューマンインターフェイス出力デバイスは、触覚出力デバイス（たとえば、タッチ画面（１８１０）、データグローブ（図示せず）又はジョイスティック（１８０５）による触覚フィードバック。ただし、入力デバイスとして用いられない触覚フィードバックデバイスも存在することができる）、音声出力デバイス（スピーカ（１８０９）、ヘッドホン（図示せず）など）、視覚出力デバイス（ＣＲＴ画面、ＬＣＤ画面、プラズマ画面、ＯＬＥＤ画面を含む画面（１８１０）など。各々にはタッチ画面入力機能があったりなかったりし、触覚フィードバック機能があったりなかったりする。上記の画面のいくつかは、二次元視覚出力を出力したり、立体グラフィック出力などの手段を通じて三次元以上の出力を出力したりする能力があってもよい。バーチャルリアリティグラス（図示せず）、ホログラムディスプレイ、発煙剤タンク（図示せず））及びプリンタ（図示せず）を含んでもよい。
【0143】
コンピュータシステム（１８００）は、ＣＤ／ＤＶＤ又は同様の媒体を用いるＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１８２０）を含む光学媒体（１８２１）、サムドライブ（１８２２）、リムーバブルハードドライブやソリッドステートドライブ（１８２３）、テープやフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの特化型のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（図示せず）などの人間が直接操作し得る記憶デバイス及びこれに関連する媒体も含むことができる。
【0144】
ここで開示されている保護対象に関連して用いられている用語「コンピュータ可読媒体」が伝送媒体、搬送波又はその他一時的な信号を含まないことも当業者は当然理解する。
【0145】
コンピュータシステム（１８００）は１つ以上の通信ネットワーク（１８５５）に対するインターフェイス（１８５４）も含むことができる。ネットワークはたとえば、無線ネットワーク、有線ネットワーク、光学ネットワークであることが可能である。さらに、ネットワークはローカル、広域、大都市圏、車両用及び産業用、リアルタイム、遅延耐性などのネットワークであることが可能である。ネットワークの例には、Ｅｔｈｅｒｎｅｔなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビ及び地上波テレビを含むテレビの有線又は無線広域デジタルネットワーク、ＣＡＮｂｕｓを含む車両用及び産業用などが含まれる。あるネットワークには、いくつかの汎用データポート又はペリフェラルバス（１８４９）（たとえば、コンピュータシステム（１８００）のＵＳＢポート）に一般的な仕方で取り付けられる外部ネットワークインターフェイスアダプタが必要であり、その他のネットワークについては、後述のようにシステムバスに取り付けることによってコンピュータシステム（１８００）のコアに一般的な仕方で組み込まれる（たとえば、ＰＣコンピュータシステムにはＥｔｈｅｒｎｅｔインターフェイスであったりスマートフォンコンピュータシステムにはセルラネットワークインターフェイスであったりする）。このようなネットワークのいずれを用いても、コンピュータシステム（１８００）は相手方と通信することができる。このような通信は、一方向、受信専用（たとえば、テレビ放送）、一方向送信専用（たとえば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイス）又は双方向、たとえば、ローカル若しくは広域デジタルネットワークを用いた他のコンピュータシステムに対する双方向の通信であることが可能である。上述のこのようなネットワーク及びネットワークインターフェイスの各々にいくつかのプロトコル及びプロトコルスタックを用いることができる。
【0146】
上述のヒューマンインターフェイスデバイス、人間が直接操作し得る記憶デバイス及びネットワークインターフェイスをコンピュータシステム（１８００）のコア（１８４０）に取り付けることができる。
【0147】
コア（１８４０）は、１つ以上の中央処理装置（ＣＰＵ）（１８４１）、グラフィックス処理装置（ＧＰＵ）（１８４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１８４３）の形態をとる特化型プログラム可能処理装置、特定のタスク用のハードウェアアクセラレータ（１８４４）、グラフィックアダプタ（１８５０）などを含むことができる。このようなデバイスを、読出し専用メモリ（ＲＯＭ）（１８４５）、ランダムアクセスメモリ（１８４６）、内部にあってユーザが直接操作し得ないハードドライブ、ＳＳＤなどの内部大容量ストレージ（１８４７）とともにシステムバス（１８４８）を通じて接続してもよい。いくつかのコンピュータシステムでは、システムバス（１８４８）は、追加のＣＰＵ、ＧＰＵなどによって拡張を可能にする１つ以上の物理的なプラグの形態をとる直接操作し得るものであることが可能である。周辺機器をコアのシステムバス（１８４８）に直接取り付けるか、ペリフェラルバス（１８４９）を介して取り付けるかすることができる。一例では、画面（１８１０）をグラフィックアダプタ（１８５０）に接続することができる。ペリフェラルバスのアーキテクチャにはＰＣＩ、ＵＳＢなどが含まれる。
【0148】
ＣＰＵ（１８４１）、ＧＰＵ（１８４２）、ＦＰＧＡ（１８４３）及びアクセラレータ（１８４４）は、組み合されて上述のコンピュータコードを構築することができるいくつかの命令を実行することができる。当該コンピュータコードをＲＯＭ（１８４５）又はＲＡＭ（１８４６）に記憶することができる。ＲＡＭ（１８４６）には過渡的データも記憶することができる一方で、不変データをたとえば内部大容量ストレージ（１８４７）に記憶することができる。１つ以上のＣＰＵ（１８４１）、ＧＰＵ（１８４２）、大容量ストレージ（１８４７）、ＲＯＭ（１８４５）、ＲＡＭ（１８４６）などと密接に関連することができるキャッシュメモリを用いることにより、メモリデバイスのいずれかに対する高速記憶及び読出しを可能にすることができる。
【0149】
コンピュータ可読媒体には様々なコンピュータ実施動作を実行するためのコンピュータコードを搭載することができる。媒体及びコンピュータコードは本開示のために特別に設計及び構成されたものであることが可能であるし、コンピュータソフトウェア技術の当業者によく知られ、当業者が入手可能な種類のものであることが可能である。
【0150】
限定を課さない例として、アーキテクチャ（１８００）を有し、特にコア（１８４０）を有するコンピュータシステムは、１つ以上のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形のコンピュータ可読媒体で実施されたソフトウェアを実行した結果として機能を提供することができる。このようなコンピュータ可読媒体は、上述されているような、ユーザが直接操作し得る大容量ストレージに関連する媒体であることが可能であり、さらには、コア内蔵大容量ストレージ（１８４７）やＲＯＭ（１８４５）などの非一時性のストレージであるコア（１８４０）の特定のストレージであることも可能である。本開示の様々な実施形態を実施するソフトウェアをこのようなデバイスに記憶してコア（１８４０）によって実行することができる。コンピュータ可読媒体は個々の要求に応じて１つ以上のメモリデバイスやチップを含むことができる。ソフトウェアにより、コア（１８４０）、特にコア（１８４０）中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）が、ＲＡＭ（１８４６）に記憶されているデータ構造の定義と、ソフトウェアによって定義されているプロセスに応じたこのようなデータ構造の修正とを含む、本出願で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行することができる。これに加えて、又はこれの代わりとして、本出願で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに動作したり、ソフトウェアと協働したりすることができる回路（たとえばアクセラレータ（１８４４））にロジックがハードワイヤードされたり、ロジックが別の仕方で実施された結果としてコンピュータシステムは機能を提供することができる。必要に応じて、「ソフトウェア」と記載されている場合にはロジックを包含する場合があり、逆も可能である。必要に応じて、「コンピュータ可読媒体」と記載されている場合には、実行されるソフトウェアを記憶する回路（集積回路（ＩＣ）など）や、実行されるロジックを実施する回路や、これらの両方を包含する場合がある。本開示にはハードウェアとソフトウェアとの任意の適切な組合せが含まれる。
【0151】
本開示ではいくつかの典型的な実施形態を説明してきたが、変形例、置換例及び様々な代替均等例が存在し、これらは本開示の範囲に含まれる。したがって、当業者であれば、本出願で明示的に示されていたり説明されていたりしなくても、本開示の原理を実施し、したがってその精神及び範囲内にある多数のシステム及び方法を想起することができることが分かる。
【0152】
付記Ａ：頭字語
ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ
ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ
ＧＯＰｓ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅ
ＴＵｓ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ
ＰＵｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ
ＣＴＵｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ
ＣＴＢｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ
ＣＰＵｓ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ
ＧＰＵｓ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ
ＳＳＤ：ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ
ＨＤＲ：ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ
ＳＤＲ：ｓｔａｎｄａｒｄ ｄｙｎａｍｉｃ ｒａｎｇｅ
ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ
ＭＰＭ：ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ
ＷＡＩＰ：Ｗｉｄｅ－Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ
ＰＤＰＣ：Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ
ＩＳＰ：Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎ
ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔｔｉｎｇ
ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＡＰＳ：Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＤＰＳ：Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ
ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ
ＣＣ－ＡＬＦ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ
ＣＤＥＦ：Ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒ
ＣＣＳＯ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｓａｍｐｌｅ Ｏｆｆｓｅｔ
ＬＳＯ：Ｌｏｃａｌ Ｓａｍｐｌｅ Ｏｆｆｓｅｔ
ＬＲ：Ｌｏｏｐ Ｒｅｓｔｏｒａｔｉｏｎ Ｆｉｌｔｅｒ
ＡＶ１：ＡＯＭｅｄｉａ Ｖｉｄｅｏ １
ＡＶ２：ＡＯＭｅｄｉａ Ｖｉｄｅｏ ２
ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ
ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ
ＧＯＰｓ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅ
ＴＵｓ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ
ＰＵｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ
ＣＴＵｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ
ＣＴＢｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ
ＣＰＵｓ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ
ＧＰＵｓ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ
ＳＳＤ：ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ
ＨＤＲ：ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ
ＳＤＲ：ｓｔａｎｄａｒｄ ｄｙｎａｍｉｃ ｒａｎｇｅ
ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ
ＭＰＭ：ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ
ＷＡＩＰ：Ｗｉｄｅ－Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ
ＰＤＰＣ：Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ
ＩＳＰ：Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎ
ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔｔｉｎｇ
ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＡＰＳ：Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＤＰＳ：Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ
ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ
ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ
ＣＣ－ＡＬＦ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ
ＣＤＥＦ：Ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒ
ＣＣＳＯ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｓａｍｐｌｅ Ｏｆｆｓｅｔ
ＬＳＯ：Ｌｏｃａｌ Ｓａｍｐｌｅ Ｏｆｆｓｅｔ
ＬＲ：Ｌｏｏｐ Ｒｅｓｔｏｒａｔｉｏｎ Ｆｉｌｔｅｒ
ＡＶ１：ＡＯＭｅｄｉａ Ｖｉｄｅｏ １
ＡＶ２：ＡＯＭｅｄｉａ Ｖｉｄｅｏ ２
【符号の説明】
【0153】
３００ 通信システム
３１０，３２０，３３０，３４０ 端末デバイス
３５０ ネットワーク
４００ 通信システム
４０１ ビデオソース
４０２ ビデオピクチャのストリーム
４０３ ビデオエンコーダ
４０４ 符号化されたビデオデータ
４０５ ストリーミングサーバ
４０６ クライアントサブシステム
４０７，４０９ 複製
４１０ ビデオデコーダ
４１１ ビデオピクチャの出力ストリーム
４１２ ディスプレイ
４１３ ビデオキャプチャサブシステム
４２０，４３０ 電子デバイス
５０１ チャネル
５１０ ビデオデコーダ
５１２ ディスプレイ
５１５ バッファメモリ
５２０ エントロピーデコーダ／パーサ
５２１ シンボル
５３０ 電子デバイス
５３１ 受信器
５５１ スケーラ／逆変換部
５５２ イントラ予測部
５５３ 動き補償予測部
５５５ 集合器
５５６ ループフィルタ部
５５７ 参照ピクチャメモリ
５５８ カレントピクチャバッファ
６０１ ビデオソース
６０３ ビデオエンコーダ
６２０ 電子デバイス
６３０ ソースコーダ
６３２ コーディングエンジン
６３３ デコーダ
６３４ 参照ピクチャメモリ
６３５ 予測器
６４０ 送信器
６４３ コーディングされたビデオシーケンス
６４５ エントロピーコーダ
６５０ コントローラ
６６０ 通信チャネル
７０３ ビデオエンコーダ
７２１ 汎用コントローラ
７２２ イントラエンコーダ
７２３ 残差計算器
７２４ 残差エンコーダ
７２５ エントロピーエンコーダ
７２６ スイッチ
７２８ 残差デコーダ
７３０ インターエンコーダ
８１０ ビデオデコーダ
８７１ エントロピーデコーダ
８７２ イントラデコーダ
８７３ 残差デコーダ
８７４ 再構成モジュール
８８０ インターデコーダ
１８００ アーキテクチャ
１８００ コンピュータシステム
１８０１ キーボード
１８０２ マウス
１８０３ トラックパッド
１８０５ ジョイスティック
１８０６ マイク
１８０７ スキャナ
１８０８ カメラ
１８０９ スピーカ
１８１０ タッチ画面
１８２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
１８２１ 光学媒体
１８２２ サムドライブ
１８２３ ソリッドステートドライブ
１８４０ コア
１８４１ ＣＰＵ
１８４２ ＧＰＵ
１８４３ ＦＰＧＡ
１８４４ ハードウェアアクセラレータ
１８４５ ＲＯＭ
１８４６ ＲＡＭ
１８４７ 大容量ストレージ
１８４８ システムバス
１８４９ ペリフェラルバス
１８５０ グラフィックアダプタ
１８５４ インターフェイス
１８５５ 通信ネットワーク
３１０，３２０，３３０，３４０ 端末デバイス
３５０ ネットワーク
４００ 通信システム
４０１ ビデオソース
４０２ ビデオピクチャのストリーム
４０３ ビデオエンコーダ
４０４ 符号化されたビデオデータ
４０５ ストリーミングサーバ
４０６ クライアントサブシステム
４０７，４０９ 複製
４１０ ビデオデコーダ
４１１ ビデオピクチャの出力ストリーム
４１２ ディスプレイ
４１３ ビデオキャプチャサブシステム
４２０，４３０ 電子デバイス
５０１ チャネル
５１０ ビデオデコーダ
５１２ ディスプレイ
５１５ バッファメモリ
５２０ エントロピーデコーダ／パーサ
５２１ シンボル
５３０ 電子デバイス
５３１ 受信器
５５１ スケーラ／逆変換部
５５２ イントラ予測部
５５３ 動き補償予測部
５５５ 集合器
５５６ ループフィルタ部
５５７ 参照ピクチャメモリ
５５８ カレントピクチャバッファ
６０１ ビデオソース
６０３ ビデオエンコーダ
６２０ 電子デバイス
６３０ ソースコーダ
６３２ コーディングエンジン
６３３ デコーダ
６３４ 参照ピクチャメモリ
６３５ 予測器
６４０ 送信器
６４３ コーディングされたビデオシーケンス
６４５ エントロピーコーダ
６５０ コントローラ
６６０ 通信チャネル
７０３ ビデオエンコーダ
７２１ 汎用コントローラ
７２２ イントラエンコーダ
７２３ 残差計算器
７２４ 残差エンコーダ
７２５ エントロピーエンコーダ
７２６ スイッチ
７２８ 残差デコーダ
７３０ インターエンコーダ
８１０ ビデオデコーダ
８７１ エントロピーデコーダ
８７２ イントラデコーダ
８７３ 残差デコーダ
８７４ 再構成モジュール
８８０ インターデコーダ
１８００ アーキテクチャ
１８００ コンピュータシステム
１８０１ キーボード
１８０２ マウス
１８０３ トラックパッド
１８０５ ジョイスティック
１８０６ マイク
１８０７ スキャナ
１８０８ カメラ
１８０９ スピーカ
１８１０ タッチ画面
１８２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
１８２１ 光学媒体
１８２２ サムドライブ
１８２３ ソリッドステートドライブ
１８４０ コア
１８４１ ＣＰＵ
１８４２ ＧＰＵ
１８４３ ＦＰＧＡ
１８４４ ハードウェアアクセラレータ
１８４５ ＲＯＭ
１８４６ ＲＡＭ
１８４７ 大容量ストレージ
１８４８ システムバス
１８４９ ペリフェラルバス
１８５０ グラフィックアダプタ
１８５４ インターフェイス
１８５５ 通信ネットワーク
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【手続補正書】
【提出日】2024-03-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
デコーダでビデオデータを復号する方法であって、
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから第１の信号を抽出するステップであって、前記第１の信号は、第１のデータブロックの第１の変換係数と、前記第１のデータブロックと同一位置にある第２のデータブロックの関連する第２の変換係数とが同じ符号値を有するか否かを示す、ステップと、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップと
を含む方法。
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから第１の信号を抽出するステップであって、前記第１の信号は、第１のデータブロックの第１の変換係数と、前記第１のデータブロックと同一位置にある第２のデータブロックの関連する第２の変換係数とが同じ符号値を有するか否かを示す、ステップと、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップと
を含む方法。
【請求項2】
前記第１の変換係数と前記関連する第２の変換係数とが前記同じ符号値を有することを前記第１の信号が示すことに応答して、前記コーディングされたビデオビットストリームから第２の信号を抽出するステップであって、前記第２の信号は、前記ターゲット符号値の符号値を示す、ステップ
をさらに含み、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出する前記ステップは、
前記第１の信号及び前記第２の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップ
を含む、請求項１に記載の方法。
をさらに含み、
前記第１の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出する前記ステップは、
前記第１の信号及び前記第２の信号に基づいて前記第１の変換係数及び前記第２の変換係数のターゲット符号値を導出するステップ
を含む、請求項１に記載の方法。
【請求項3】
前記第１のデータブロックがＣｂのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｒのコーディングされたブロックを含む、又は
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１に記載の方法。
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項１に記載の方法。
【請求項4】
デコーダでビデオデータを復号する方法であって、
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから信号を抽出するステップであって、前記信号は、第１のデータブロックのサブブロックの変換係数の符号値の各々が第２のデータブロックのサブブロックの関連する変換係数の符号値に等しいか否かを示し、第１のデータブロックの前記サブブロックは、第２のデータブロックの前記サブブロックと同一位置にある、ステップと、
前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々が前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に等しいことを前記信号が示すことに応答して、
前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に基づいて前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々を導出するステップと
を含む方法。
前記ビデオデータのコーディングされたビデオビットストリームを受け取るステップと、
前記コーディングされたビデオビットストリームから信号を抽出するステップであって、前記信号は、第１のデータブロックのサブブロックの変換係数の符号値の各々が第２のデータブロックのサブブロックの関連する変換係数の符号値に等しいか否かを示し、第１のデータブロックの前記サブブロックは、第２のデータブロックの前記サブブロックと同一位置にある、ステップと、
前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々が前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に等しいことを前記信号が示すことに応答して、
前記第２のデータブロックの前記サブブロックの前記関連する変換係数の前記符号値に基づいて前記第１のデータブロックの前記サブブロックの前記変換係数の前記符号値の各々を導出するステップと
を含む方法。
【請求項5】
前記第１のデータブロックがＣｂのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｒのコーディングされたブロックを含む、又は
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項４に記載の方法。
前記第１のデータブロックがＣｒのコーディングされたブロックを含み、かつ前記第２のデータブロックがＣｂのコーディングされたブロックを含む、請求項４に記載の方法。
【請求項6】
前記第１のデータブロックの前記サブブロックが前記第１のデータブロックと一致し、前記第２のデータブロックの前記サブブロックが前記第２のデータブロックと一致する、請求項４に記載の方法。
【請求項7】
前記第１のデータブロック又は前記第２のデータブロックの前記サブブロックのサイズは、４×４、４×８、８×４、４×１６、１６×４、８×８、８×１６、１６×８、８×３２、３２×８、１６×６４、６４×１６、１６×１６、１６×３２、３２×１６、３２×３２、３２×６４、６４×３２又は６４×６４のうちの１つを含む、請求項４に記載の方法。
【外国語明細書】