▶ ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】ビデオ符号化用のループ内フィルタ
(51)【国際特許分類】
H04N 19/117 20140101AFI20240909BHJP
H04N 19/176 20140101ALI20240909BHJP
H04N 19/70 20140101ALI20240909BHJP
H04N 19/82 20140101ALI20240909BHJP
【ＦＩ】
H04N19/117
H04N19/176
H04N19/70
H04N19/82
【請求項の数】
17
【外国語出願】
(21)【出願番号】P 2023133434
(22)【出願日】2023-08-18
(62)【分割の表示】P 2022539344の分割
【原出願日】2020-12-28
(65)【公開番号】P2023156469
(43)【公開日】2023-10-24
【審査請求日】2023-08-18
(31)【優先権主張番号】62/954,485
(32)【優先日】2019-12-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521024075
【氏名又は名称】ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】チェン，イー－ウエン
(72)【発明者】
【氏名】シウ，シヤオユー
(72)【発明者】
【氏名】マー，ツン－チュアン
(72)【発明者】
【氏名】ジュ，ホーン－ジェン
(72)【発明者】
【氏名】ワーン，シアーンリン
(72)【発明者】
【氏名】ユ，ビーン
【審査官】山▲崎▼ 雄介
(56)【参考文献】
【文献】国際公開第２０２０／２５５８４７（ＷＯ，Ａ１）
【文献】国際公開第２０２０／２３６８７８（ＷＯ，Ａ１）
【文献】CHEN, Yi-Wen et al.，AHG16: Simplified Clip Range for NL-ALF，JVET-Q0495 (version 1)，ITU，2020年01月01日，pp.1-5，[online]，[retrieved on 2023-07-19]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0495-v1.zip>，JVET-Q0495.docx
【文献】CHEN, Jianle et al.，Algorithm Description for Versatile Video Coding and Test Model 7 (VTM 7)，JVET-P2002 (version 1)，ITU，2019年11月10日，pp.66-70，[online]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2002-v1.zip>，JVET-P2002-v1.docx
【文献】DU, Yixin et al.，Non-CE5: On Non-Linear ALF Clipping Values，JVET-P0505 (version 5)，ITU，2019年10月08日，pp.1-7，[online]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0505-v5.zip>，JVET-P0505-v5-clean.docx
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ビデオデータを符号化するための方法であって、ビデオフレームの複数の画像サンプルを決定するステップであって、各画像サンプルが、輝度サンプル及び色差サンプルのうちの１つに対応する、ステップと、
前記複数の画像サンプルの各々について、フィルタ長Ｌ及びフィルタ係数のセットを有する適応型ループフィルタを使用して、それぞれの画像サンプルをフィルタリングするステップであって、さらに、
前記それぞれの画像サンプルの関連する画像サンプルのセットを識別するステップと、
前記関連する画像サンプルのセットの各々について、それぞれのクリップ値インデックス及び対応するフィルタ係数を識別するステップと、
前記それぞれのクリップ値インデックスに基づき、前記関連する画像サンプルのセットの各々と前記それぞれの画像サンプルとの間の差をクリップするステップであって、前記それぞれのクリップ値インデックスがそれぞれのクリッピング境界値に対応し、前記それぞれのクリッピング境界値が、それぞれのクリッピング番号を指数とする２のべき乗に等しく、各それぞれのクリッピング値インデックスに対応するすべてのクリッピング番号が整数である、ステップと、
前記対応するフィルタ係数に基づき、前記関連する画像サンプルのセットの各々と前記それぞれの画像サンプルとの間の当該クリップされた差を用いて、前記それぞれの画像サンプルを修正するステップとを含む、ステップと
を備える、方法。
【請求項2】
請求項１に記載の方法であって、各画像サンプルについて、前記それぞれのクリップ値インデックスに基づいて前記差をクリップする当該ステップが、
前記それぞれの画像サンプルの内部ビット深度インデックス（ＩＢＤＩ）を決定するステップと、
前記関連する画像サンプルのセットの各々について、所定のクリッピング境界値テーブルに従って、前記ＩＢＤＩと前記それぞれのクリップ値インデックスとに基づき、前記それぞれのクリッピング境界値を決定するステップと、
前記それぞれのクリッピング境界値に基づき、前記関連する画像サンプルのセットの各々と前記それぞれの画像サンプルとの間の差をクリップするステップと
を含む、方法。
【請求項3】
請求項２に記載の方法であって、前記所定のクリッピング境界値テーブルを決定するステップをさらに備える、方法。
【請求項4】
請求項２に記載の方法であって、ローカルメモリから前記所定のクリッピング境界値テーブルを抽出するステップをさらに備える、方法。
【請求項5】
請求項４に記載の方法であって、前記ローカルメモリが複数のクリッピング境界値テーブルを記憶し、
前記複数のクリッピング境界値テーブルから前記所定のクリッピング境界値テーブルを選択するステップをさらに備える、方法。
【請求項6】
請求項２に記載の方法であって、前記所定のクリッピング境界値テーブルが以下の３つのテーブルのうちの１つとして表される、方法。
【表1】
【請求項7】
請求項１に記載の方法であって、各画像サンプルについて、前記それぞれのクリップ値インデックスに基づいて前記差をクリップする当該ステップが、
前記それぞれの画像サンプルの内部ビット深度インデックス（ＩＢＤＩ）を決定するステップと、
前記関連する画像サンプルのセットの各々について、所定のクリッピング境界値の式に従って、前記ＩＢＤＩと前記それぞれのクリップ値インデックスとに基づき、前記それぞれのクリッピング境界値を決定するステップと、
前記それぞれのクリッピング境界値に基づき、前記関連する画像サンプルのセットの各々と前記それぞれの画像サンプルとの間の当該差をクリップするステップと
を含み、
前記所定のクリッピング境界値の式が、以下の式のうちの１つとして表され、ＣＶＩは前記それぞれのクリップ値インデックスであり、ＣＢＶは、前記関連する画像サンプルのセットの各々に関する前記それぞれのクリッピング境界値である、方法。
【数1】
【請求項8】
請求項１に記載の方法であって、前記関連する画像サンプルのセットの各々について、前記クリップ値インデックスが０、１、２、及び３から選択され、前記それぞれのクリッピング番号ｉが少なくとも前記クリッピング値インデックスの関数である、方法。
【請求項9】
請求項１に記載の方法であって、前記関連する画像サンプルのセットの各々について、前記それぞれの関連する画像サンプルの当該クリップされた差が、範囲［－２ｉ，２ｉ－１］に入り、ｉは、前記それぞれのクリッピング番号である、方法。
【請求項10】
請求項１に記載の方法であって、前記関連する画像サンプルのセットの各々について、前記それぞれの関連する画像サンプルと前記それぞれの画像サンプルとの間の当該クリップされた差が、［－２ｉ＋１，２ｉ］、［－２ｉ，２ｉ］、及び［－２ｉ＋１，２ｉ－１］を含む複数の範囲のうちの１つに入り、ｉは、前記それぞれのクリッピング番号である、方法。
【請求項11】
請求項１に記載の方法であって、前記関連する画像サンプルのセットの各々と前記それぞれの画像サンプルとの前記差をクリップするステップが、論理積演算及び／又は論理和演算のみを含む、方法。
【請求項12】
請求項１に記載の方法であって、前記複数の画像サンプルが、輝度サンプルのサブセット及び色差サンプルのサブセットを含み、
前記輝度サンプルのサブセットが、各輝度サンプルの第１のフィルタ長Ｌ１における関連する輝度サンプルのセットの各々の、それぞれのクリップ値インデックスを定義するクリップ値インデックスの第１のセットに対応し、
前記色差サンプルのサブセットが、各色差サンプルの第２のフィルタ長Ｌ２における関連する色差サンプルのセットの各々の、それぞれのクリップ値インデックスを定義するクリップ値インデックスの第２のセットに対応し、前記クリップ値インデックスの第２のセットが、前記クリップ値インデックスの第１のセットとは異なるものである、
方法。
【請求項13】
請求項１２に記載の方法であって、前記クリップ値インデックスの第１及び第２のセットの各セットが、クリッピング境界値のテーブル又は式に対応し、クリップ値インデックスのそれぞれのセットにおける各クリップ値インデックスを内部ビット深度増加量（ＩＢＤＩ）に基づいて前記それぞれのクリッピング境界値に関連づけるものである、方法。
【請求項14】
請求項１３に記載の方法であって、クリッピング境界値のテーブル又は式の所定の番号から、前記クリッピング境界値のテーブル又は式を選択するステップをさらに備える、方法。
【請求項15】
請求項１２に記載の方法であって、前記クリップ値インデックスの第１及び第２のセットが、第１のクリッピング境界値のテーブル／式と、前記第１のクリッピング境界値のテーブル／式とは異なる第２の値のテーブル／式とに対応する、方法。
【請求項16】
１つ又は複数のプロセッサと、命令が記憶されたメモリとを備え、
前記１つ又は複数のプロセッサが、前記命令を実行することによって請求項１から１５のいずれか一項に記載の方法を実行してビデオビットストリームを生成する、電子デバイス。
【請求項17】
命令が記憶された非一時型のコンピュータ読み取り可能な媒体であって、１つ又は複数のプロセッサが、前記命令を実行することによって請求項１から１５のいずれか一項に記載の方法を実行してビデオビットストリームを生成し当該生成されたビデオビットストリームを前記非一時型のコンピュータ読み取り可能な媒体に格納する、非一時型のコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１９年１２月２８日付け出願の「Ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ビデオ符号化のためのループ内フィルタ）」を名称とする米国仮出願第６２／９５４，４８５号の優先権の主張を伴うものであり、その全体が参照によって組み込まれる。
本出願は、２０１９年１２月２８日付け出願の「Ｉｎ－Ｌｏｏｐ Ｆｉｌｔｅｒｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ビデオ符号化のためのループ内フィルタ）」を名称とする米国仮出願第６２／９５４，４８５号の優先権の主張を伴うものであり、その全体が参照によって組み込まれる。
【0002】
本出願は、一般にビデオデータの符号化及び圧縮に関し、詳細には、ビデオデータのビットストリームにおける画像フレームの色差成分及び輝度成分の符号化を改善する方法及びシステムに関する。
【背景技術】
【0003】
デジタルビデオは、デジタルテレビジョン、ラップトップ型又はデスクトップ型のコンピュータ、タブレット型コンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどの種々の電子デバイスによってサポートされる。そのような電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＨＥＶＣ（高能率映像符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などで定められたビデオ圧縮伸張規格を実装することにより、デジタルビデオデータの送信、受信、符号化、復号、及び／又は格納を行う。一般にビデオ圧縮は、空間（イントラフレーム）予測及び／又は時間（インターフレーム）予測を実行してビデオデータに固有の冗長を低減するか又は除去することを含む。ブロックベースのビデオコーディングについては、ビデオフレームが１つ以上のスライスへと分割され、各スライスが符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）とも称され得る複数のビデオブロックを有する。各ＣＴＵが１つの符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）を含有し得、又は所定の最小のＣＵサイズに達するまで、より小さいＣＵへと再帰的に分割され得る。各ＣＵ（リーフＣＵとも命名されている）が１つ以上の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含有しており、１つ以上の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）も含む。各ＣＵは、イントラモード、インターモード又はＩＢＣモードのいずれかで符号化され得る。ビデオフレームにおけるイントラ符号化（Ｉ）スライス内のビデオブロックは、同じビデオフレームの内部の近隣のブロックにおける参照サンプルに対して空間予測を使用して符号化される。ビデオフレームにおけるインター符号化（Ｐ又はＢ）スライス内のビデオブロックは、同じビデオフレーム内の近隣のブロックにおける参照サンプルに対する空間予測を使用したものでもよいし、あるいは以前の他の参照ビデオフレーム及び／又は未来の他の参照ビデオフレームにおける参照サンプルに対する時間予測を使用したものでもよい。
【0004】
たとえば近隣のブロックといった以前に符号化された参照ブロックに基づく空間予測又は時間予測は、符号化される現在のビデオブロックに関する予測ブロックをもたらす。参照ブロックを見いだすプロセスは、ブロックマッチングアルゴリズムによって達成され得る。符号化される現在のブロックと予測ブロックとの間の画素差分を表す残差データは、残差ブロック又は予測誤差と称される。インター符号化ブロックは、予測ブロックを形成する参照フレームにおける参照ブロックを指し示す動きベクトル及び残差ブロックに従って符号化される。動きベクトルを決定するプロセスは一般的には動き予測と称される。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から、たとえば周波数領域といった変換領域に変換されて残差変換係数をもたらし、次いで量子化され得る。最初に２次元配列に配置される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、次いで、さらにいっそうの圧縮を達成するためにビデオビットストリームへとエントロピー符号化される。
【0005】
次いで、符号化ビデオビットストリームは、デジタルビデオ機能を伴う別の電子デバイスによってアクセスされるコンピュータ読み取り可能な記録媒体（たとえばフラッシュメモリ）に保存されるか、又は有線もしくは無線で電子デバイスに直接伝送される。次いで、電子デバイスは、たとえば符号化ビデオビットストリームを解析してビットストリームからシンタックス要素を取得し、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、符号化ビデオビットストリームからのデジタルビデオデータを元のフォーマットに再構成することによってビデオ伸張（前述のビデオ圧縮とは逆の処理）を実行し、再構成されたデジタルビデオデータを電子デバイスのディスプレイに描画する。
【0006】
再構成されたビデオブロックは、ループ内フィルタリングを適用されてから参照ピクチャに格納され、他のビデオブロックを符号化するために使用される。再構成されたビデオブロックの色差成分及び輝度成分には、それぞれ適応型ループフィルタ（ＡＬＦ）が適用される。復号ビデオデータの画質を保ったまま、これらの色成分を符号化したり復号したりするための、より効率的な符号化機構を得るのが有益であろう。
【発明の概要】
【0007】
本出願は、ビデオデータの符号化及び復号に関する実装形態を記述するものであり、より詳細には、適応型ループフィルタリングにおけるビット深度ベースのクリッピング操作を適用することに係る、ビデオフレームの色差サンプル及び輝度サンプルの符号化における方法及びシステムの改善に関する。ビデオフレームのそれぞれの輝度サンプル又は色差サンプルは、それぞれの適応型ループフィルタ（ＡＬＦ）方式に従って、複数の周囲の輝度サンプル又は色差サンプルを基にフィルタリングされる。輝度サンプル又は色差サンプルの各々について、関連する画像サンプルとそれぞれのサンプルとの差が、それぞれのクリッピング番号を指数とする２のべき乗に等しいクリップ境界値によって定義されたそれぞれのダイナミックレンジにクリップされる。
【0008】
一態様では、ビデオデータを符号化する方法は、ビットストリームからビデオフレームの複数の画像サンプルを取得するステップを含む。各画像サンプルは輝度サンプル及び色差サンプルのうちの１つに対応する。この方法は、フィルタ長及びフィルタ係数のセットを有する適応型ループ内フィルタを使用して、複数の画像サンプルの各々についてそれぞれの画像サンプルをフィルタリングするステップをさらに含む。それぞれの画像サンプルをフィルタリングするステップは、それぞれの画像サンプルのフィルタ長において、関連する画像サンプルのセットを識別するステップと、関連する画像サンプルのセットの各々について、それぞれのクリップ値インデックス及び対応するフィルタ係数を識別するステップと、それぞれのクリップ値インデックスに基づき、関連する画像サンプルのセットの各々とそれぞれの画像サンプルとの差をクリップするステップと、それぞれのフィルタ係数に基づき、関連する画像サンプルのセットの各々のクリップされた差を用いて、それぞれの画像サンプルを修正するステップとをさらに含む。各画像サンプルについて、それぞれのクリップ値インデックスは、それぞれのクリッピング番号を指数とする２のべき乗に等しいそれぞれのクリッピング境界値に対応し、それぞれのクリッピング番号は整数である。この方法は、複数の修正画像サンプルを使用してビデオフレームを再構成するステップをさらに含む。
【0009】
いくつかの実施形態では、関連する画像サンプルの各々とそれぞれの画像サンプルとの差は、各画像サンプルについて、それぞれの画像サンプルの内部ビット深度インデックス（ＩＢＤＩ：ｉｎｔｅｒｎａｌ ｂｉｔ ｄｅｐｔｈ ｉｎｄｅｘ）を決定するステップと、関連する画像サンプルのセットの各々について、所定のクリッピング境界値の式又はテーブルに従って、ＩＢＤＩとそれぞれのクリップ値インデックスとに基づき、それぞれのクリッピング境界値を決定するステップと、それぞれのクリッピング境界値に基づき、関連する画像サンプルのセットの各々とそれぞれの画像サンプルとの差をクリップするステップとによって、クリップされる。さらに、いくつかの実施形態では、所定のクリッピング境界値の式又はテーブルは、ビデオ符号化器とビデオ復号器との両方に局所的に格納される。各画像サンプルについて、関連する画像サンプルのクリップ値インデックスはビットストリームで取得される。
【0010】
別の態様では、電子デバイスは、１つ又は複数のプロセッサ及び命令を記憶するためのメモリを含み、１つ又は複数のプロセッサが命令を実行することにより、上記で説明された、ビデオデータを符号化する方法を実行する。
【0011】
もう一つの態様では、非一時型のコンピュータ読み取り可能な記憶媒体に命令が記憶されており、電子デバイスの１つ又は複数のプロセッサが、命令を実行することにより、上記で説明された、ビデオデータを符号化する方法を実行する。
【0012】
実施形態のさらなる理解を提供するために含まれる添付図面は、本明細書に組み込まれて本明細書の一部を構成し、記述された実施形態を図示して、記述とともに基本原理を説明するのに役立つものである。類似の参照数字は相当する部分を指す。
【図面の簡単な説明】
【0013】
【図1】いくつかの実施形態による例示的ビデオ符号化及び復号のシステムを示すブロック図である。
【図2】いくつかの実施形態による例示的ビデオ符号化器を示すブロック図である。
【図3】いくつかの実施形態による例示的ビデオ復号器を示すブロック図である。
【図4A】いくつかの実施形態に従って、画像フレームを、種々のサイズ及び形状のビデオブロックへと再帰的に分割する概略図である。
【図4B】いくつかの実施形態に従って、画像フレームを、種々のサイズ及び形状のビデオブロックへと再帰的に分割する概略図である。
【図4C】いくつかの実施形態に従って、画像フレームを、種々のサイズ及び形状のビデオブロックへと再帰的に分割する概略図である。
【図4D】いくつかの実施形態に従って、画像フレームを、種々のサイズ及び形状のビデオブロックへと再帰的に分割する概略図である。
【図4E】いくつかの実施形態に従って、画像フレームを、種々のサイズ及び形状のビデオブロックへと再帰的に分割する概略図である。
【図5】いくつかの実施形態に従って、ビットストリームの中のビデオフレームの一部を示す図である。
【図6】いくつかの実施形態に従って、ビデオ符号化器又はビデオ復号器において適用されるループ内フィルタのブロック図である。
【図7A】いくつかの実施形態に従って、輝度ＡＬＦによって、関連する輝度サンプルのセットを基に輝度サンプルが処理される、例示のＡＬＦのフィルタリング方式の図である。
【図7B】いくつかの実施形態に従って、色差ＡＬＦによって、関連する色差サンプルのセットを基に色差サンプルが処理される、例示のＡＬＦのフィルタリング方式の図である。
【図8】いくつかの実施形態に従って、画像フレームのブロックにおける各画像サンプルの関連する画像サンプルのセットに関するクリップ値インデックスを有する例示のＡＬＦのフィルタリング方式の図である。
【図9A】いくつかの実施形態に係る所定のクリッピング境界値の例示のテーブルである。
【図9B】いくつかの実施形態に係る所定のクリッピング境界値の例示のテーブルである。
【図9C】いくつかの実施形態に係る所定のクリッピング境界値の例示のテーブルである。
【図10】いくつかの実施形態に従って、画像サンプルのためにクリップされる値のデータ構造の図である。
【図11】いくつかの実施形態に従って、ビデオ符号化方法の流れ図である。
【発明を実施するための形態】
【0014】
次に具体的な実施形態が詳細に参照され、それらの実施例が添付図面に示されている。以下の詳細な説明では、本明細書で提示される主題の理解を支援するために多くの非限定的かつ具体的な詳細が明らかにされる。しかし、特許請求の範囲から逸脱することなく様々な代替形態が使用され得、これらの具体的な詳細なしで主題が実施され得ることが、当業者には明らかであろう。たとえば、本明細書で提示された主題が、デジタルビデオ機能を伴う多くのタイプの電子デバイスにおいて実施され得ることは、当業者には明らかであろう。
【0015】
図１は、いくつかの実施形態に従って、ビデオブロックの符号化と復号を並行して行うための例示的システム１０を示すブロック図である。図１に示されるように、システム１０は、後に送信先（デスティネーション）装置１４によって復号されるビデオデータを生成して符号化する情報源（ソース）装置１２を含む。情報源装置１２及び送信先装置１４は、デスクトップコンピュータ又はラップトップコンピュータ、タブレット型コンピュータ、スマートフォン、セットトップボックス、デジタルテレビジョン、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス等を含む種々の電子デバイスのうち任意のものを備え得る。いくつかの実施形態では、情報源装置１２及び送信先装置１４は無線通信機能を装備している。
【0016】
いくつかの実施形態では、送信先装置１４は、リンク１６を通じて、復号される符号化ビデオデータを受け取ってよい。リンク１６は、情報源装置１２から送信先装置１４に、符号化ビデオデータを転送することができる任意のタイプの通信媒体又は通信デバイスを備え得る。一例では、リンク１６は、情報源装置１２が送信先装置１４に、符号化ビデオデータをリアルタイムで直接伝送することを可能にするための通信媒体を備え得る。符号化ビデオデータは、無線通信プロトコルなどの通信規格に従って変調されて送信先装置１４に伝送され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つ以上の物理的伝送路などの任意の無線又は有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバネットワークなどのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又は情報源装置１２から送信先装置１４への通信を容易にするのに役立つその他の機器を含み得る。
【0017】
いくつかの他の実施形態では、符号化ビデオデータは、出力インタフェース２２から記録装置３２に伝送され得る。続いて、記録装置３２における符号化ビデオデータは、送信先装置１４によって入力インタフェース２８を介してアクセスされ得る。記録装置３２は、ハードディスク（ｈａｒｄ ｄｒｉｖｅ）、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、又は符号化ビデオデータを記憶するのに適する他のデジタル記録媒体など、種々の、分散された又は局所的にアクセスされるデータ記録媒体のうち任意のものを含み得る。さらなる例では、記録装置３２は、情報源装置１２によって生成された、符号化ビデオデータを保持し得る、ファイルサーバ又は別の中間記録装置に相当してよい。送信先装置１４は、記録装置３２からストリーミング又はダウンロードすることによって、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶したり、符号化ビデオデータを送信先装置１４に伝送したりすることができる任意のタイプのコンピュータでよい。例示的ファイルサーバは、（たとえばウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）装置、又はローカルディスクドライブを含む。送信先装置１４は、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適する無線チャンネル（たとえばＷｉ－Ｆｉ接続）、有線接続（たとえば、ＤＳＬやケーブルモデムなど）、又は両方の組合せを含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。記録装置３２からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組合せでよい。
【0018】
図１に示されるように、情報源装置１２は、ビデオ源１８、ビデオ符号化器２０及び出力インタフェース２２を含む。ビデオ源１８は、たとえばビデオカメラ、以前に取り込まれたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受け取るためのビデオ供給インタフェース、及び／又はソースビデオとしてのコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、あるいはそのようなソースの組合せといった、ビデオキャプチャーデバイスなどのソースを含み得る。一例として、ビデオ源１８がセキュリティ監視システムのビデオカメラである場合には、情報源装置１２及び送信先装置１４がカメラフォン又はビデオフォンを形成し得る。しかしながら、本出願に記述された実施形態は、一般にビデオコーディングに適用可能であり得、無線及び／又は有線の用途に適用され得る。
【0019】
取り込まれた、前もって取り込まれた、又はコンピュータで生成されたビデオは、ビデオ符号化器２０によって符号化され得る。符号化ビデオデータは、情報源装置１２の出力インタフェース２２を通って送信先装置１４に直接伝送され得る。符号化ビデオデータは、復号及び／又は再生のために、送信先装置１４又は他のデバイスによる後のアクセス用に、記録装置３２にも（又は代わりに）記憶されてよい。出力インタフェース２２はモデム及び／又は送信器をさらに含み得る。
【0020】
送信先装置１４は、入力インタフェース２８、ビデオ復号器３０、及び表示装置３４を含む。入力インタフェース２８は受信器及び／又はモデムを含み得、リンク１６を通じて、符号化ビデオデータを受け取る。リンク１６を通じて通信されるか又は記録装置３２で供給される符号化ビデオデータは、ビデオ復号器３０によってビデオデータを復号する際に使用される、ビデオ符号化器２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素が含まれ得る符号化ビデオデータは、通信媒体で伝送され、記録媒体又はファイルサーバに記憶される。
【0021】
いくつかの実施形態では、送信先装置１４が含み得る表示装置３４は、統合表示装置と、送信先装置１４と通信するように構成された外部表示装置とであり得る。表示装置３４は、復号ビデオデータをユーザーに表示し、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別タイプの表示装置などの種々の表示装置のうち任意のものを備え得る。
【0022】
ビデオ符号化器２０及びビデオ復号器３０は、ＶＶＣ，ＨＥＶＣ，ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ），又はこれらの規格の拡張版などの、知的所有物又は業界規格に基づいて動作し得る。本出願は特定のビデオ符号化／復号の規格に限定されず、他のビデオ符号化／復号の規格に適用可能であり得ることを理解されたい。一般に、情報源装置１２のビデオ符号化器２０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図されている。同様に、送信先装置１４のビデオ復号器３０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。
【0023】
ビデオ符号化器２０及びビデオ復号器３０は、それぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ディスクリートロジック（個別論理回路：ｄｉｓｃｒｅｔｅ ｌｏｇｉｃ）、ソフトウェア、ハードウェア、ファームウェア又はこれらの任意の組合せなどの種々の適切な符号化回路構成のうち任意のものとして実施され得る。電子デバイスは、部分的にソフトウェアで実施されるときには、ソフトウェアに関する命令を適切な非一時型コンピュータ読み取り可能な媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示で開示されたビデオ符号化／復号の処理を実行し得る。ビデオ符号化器２０及びビデオ復号器３０の各々が１つ以上の符号化器又は復号器に含まれ得、そのいずれかが、それぞれのデバイスにおいて組み合わされた符号化器／復号器（ＣＯＤＥＣ）の一部として一体化され得る。
【0024】
図２は、本出願に記述されたいくつかの実施形態による例示的ビデオ符号化器２０を示すブロック図である。ビデオ符号化器２０は、ビデオフレームの内部のビデオブロックのイントラ予測符号化及びインター予測符号化を実行し得る。イントラ予測符号化は、所与のビデオフレーム又はピクチャの内部のビデオデータにおける空間冗長性を低減するか又は除去するために空間予測に頼る。インター予測符号化は、ビデオシーケンスの隣接したビデオフレーム又はピクチャの内部のビデオデータにおける時間冗長性を低減するか又は除去するために時間予測に頼る。
【0025】
図２に示されるように、ビデオ符号化器２０は、ビデオデータメモリ４０、予測処理部４１、復号ピクチャバッファ（ＤＰＢ：ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）６４、加算器５０、変換処理部５２、量子化部５４、及びエントロピー符号化部５６を含む。予測処理部４１は、動き推定部４２、動き補償部４４、分割部４５、イントラ予測処理部４６、及びイントラブロックコピー（ＢＣ）部４８をさらに含む。いくつかの実施形態では、ビデオ符号化器２０は、ビデオブロックを再構成するための逆量子化部５８、逆変換処理部６０、及び加算器６２も含む。ループ内フィルタ６６は、加算器６２とＤＰＢ６４との間に配置されてよく、ブロック境界をフィルタリングして、再構成されたビデオから濃淡むらアーチファクトを除去するためのデブロッキングフィルタを含む。ループ内フィルタ６６は、サンプル適応型オフセット（ＳＡＯ）と、加算器６２の出力を、ＤＰＢ６４に入力されて他のビデオブロックを符号化するために使用される前にフィルタリングするための適応型ループ内フィルタ（ＡＬＦ）とをさらに含む。ビデオ符号化器２０は、変更不能な又はプログラマブルなハードウェアユニットという形態を取ってよく、あるいは、１つ以上の変更不能な又はプログラマブルなハードウェアユニットのうちに分割されてもよい。
【0026】
ビデオデータメモリ４０は、ビデオ符号化器２０の構成要素によって符号化されるビデオデータを記憶し得る。ビデオデータメモリ４０のビデオデータは、たとえばビデオ源１８から取得され得る。ＤＰＢ６４は、ビデオ符号化器２０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記録するバッファである。ビデオデータメモリ４０及びＤＰＢ６４は、様々な記録装置のうち任意のものによっても形成され得る。様々な例において、ビデオデータメモリ４０は、ビデオ符号化器２０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。
【0027】
図２に示されるように、予測処理部４１の内部の分割部４５は、受け取ったビデオデータをビデオブロックへと分割する。この分割は、ビデオデータに関連づけられた四分木構造などの所定の分割構造に従って、ビデオフレームを、スライス、タイル、又は他のより大きい符号化ユニット（ＣＵ）へと分割することを含み得る。ビデオフレームは複数のビデオブロック（又は、タイルと称されるビデオブロックのセット）に分割され得る。予測処理部４１は、誤り結果（たとえば符号化レートや歪みのレベル）に基づいて現在のビデオブロック用に、複数のイントラ予測符号化モードのうちの１つ、又は複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してよい。予測処理部４１は、結果として生じるイントラ予測符号化ブロック又はインター予測符号化ブロックを、加算器５０に供給して残差ブロックを生成してよく、また、この符号化ブロックを加算器６２に供給して、後に参照フレームの一部として使用するために再構成してよい。予測処理部４１は、また、エントロピー符号化部５６に、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのようなシンタックス情報などのシンタックス要素を供給する。
【0028】
現在のビデオブロック用に適切なイントラ予測符号化モードを選択するために、予測処理部４１の内部のイントラ予測処理部４６は、符号化される現在のブロックと同じフレームにおける１つ以上の近隣のブロックに関する現在のビデオブロックのイントラ予測符号化を実行して、空間予測をもたらし得る。予測処理部４１の内部の動き推定部４２及び動き補償部４４は、１つ以上の参照フレームにおける１つ以上の予測ブロックに関連して現在のビデオブロックのインター予測符号化を実行して時間予測をもたらす。ビデオ符号化器２０は、たとえばビデオデータの各ブロック用に適切な符号化モードを選択するために、複数の符号化パスを実行してよい。
【0029】
いくつかの実施形態では、動き推定部４２は、一連のビデオフレームの内部の所定のパターンに従って、参照ビデオフレームの内部の予測ブロックに対する現在のビデオフレームの内部のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することにより、現在のビデオフレームに関するインター予測モードを決定する。動き推定部４２によって実行される動き予測は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム内（又は他の符号化ユニット内）の符号化される現在のブロックに関連して、参照フレーム内（又は他の符号化ユニット）内の予測ブロックに対する現在のビデオフレーム又はピクチャの内部のビデオブロックのＰＵの変位を示し得る。所定のパターンは、ビデオフレームを、シーケンスにおけるＰフレーム又はＢフレームとして指定し得る。イントラＢＣ部４８は、インター予測用の動き推定部４２による動きベクトルの決定と同様のやり方で、イントラＢＣ符号化用の、たとえばブロックベクトルといったベクトルを決定してよく、又は動き推定部４２を利用してブロックベクトルを決定してもよい。
【0030】
予測ブロックは、画素差分の観点から、符号化対象となるビデオブロックのＰＵと密接に対応するものとみなされる参照フレームのブロックであり、差分絶対値和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ）、又は他の差分基準量によって決定され得る。いくつかの実施形態では、ビデオ符号化器２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数型画素位置の値を計算してよい。たとえば、ビデオ符号化器２０は、参照フレームの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間してよい。したがって、動き推定部４２は、全体の画素位置及び分数画素位置に関する動き探索を実行して、分数画素精度を有する動きベクトルを出力し得る。
【0031】
動き推定部４２は、インター予測符号化フレームのビデオブロックのＰＵに関して、第１の参照フレームリスト（リスト０）又は第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と当該ＰＵの位置とを比較することにより動きベクトルを計算する。ここで、第１の参照フレームリスト又は第２の参照フレームリストはそれぞれＤＰＢ６４に格納されている１つ以上の参照フレームを特定するものである。動き推定部４２は、計算された動きベクトルを動き補償部４４に送り、次いでエントロピー符号化部５６に送る。
【0032】
動き補償部４４によって実行される動き補償は、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取り込むこと又は生成することを包含し得る。動き補償部４４は、現在のビデオブロックのＰＵに関する動きベクトルを受け取ると、動きベクトルが参照フレームリストのうちの１つにおいて指し示す予測ブロックを捜し出し、ＤＰＢ６４から予測ブロックを取り出して、予測ブロックを加算器５０に転送する。次いで、加算器５０は、符号化される現在のビデオブロックの画素値から動き補償部４４によってもたらされた予測ブロックの画素値を差し引くことにより、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度（ｌｕｍａ）差分成分もしくは色差（ｃｈｒｏｍａ）差分成分、又はこれらの両方を含み得る。動き補償部４４は、ビデオ復号器３０によって、ビデオフレームのビデオブロックを復号する際に使用されるビデオフレームのビデオブロックに関連したシンタックス要素も生成し得る。シンタックス要素は、たとえば、予測ブロックを特定するために使用される動きベクトルを定義するシンタックス要素、予測モードを示す任意のフラグ、又は本明細書に記述されたその他のシンタックス情報を含み得る。なお、動き推定部４２と動き補償部４４はほとんど一体化され得るが、概念的な目的のために個別に示されている。
【0033】
いくつかの実施形態では、イントラＢＣ部４８は、動き推定部４２及び動き補償部４４に関して上記に記述されたのと同様のやり方でベクトルを生成して予測ブロックを取り込み得るが、予測ブロックは符号化される現在のブロックと同じフレームにあり、ベクトルは動きベクトルと対照的にブロックベクトルと称される。詳細には、イントラＢＣ部４８は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。いくつかの例において、イントラＢＣ部４８は、たとえば個別の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し、レート－歪み解析によってそれらイントラ予測モードの性能を分析してよい。次に、イントラＢＣ部４８は、試験された様々なイントラ予測モードの中で、イントラモードインジケータを生成するのに使用する適切なイントラ予測モードを選択してよい。たとえば、イントラＢＣ部４８は、レート－歪み解析を使用して、試験された様々なイントラ予測モードに関するレート－歪み値を計算し、試験されたモードの中で最善のレート－歪み特性を有するイントラ予測モードを、使用するのに適切なイントラ予測モードとして選択してよい。レート－歪み解析は、一般に、符号化ブロックと、当該符号化ブロックを生成するために符号化される符号化前の元のブロックとの間の歪み（又は誤差）量とともに、これら符号化ブロックを生成するために使用されたビットレート（すなわち、多数のビット）を決定する。イントラＢＣ部４８は、様々な符号化ブロックについて歪みとレートとの比率を計算して、そのブロックに関する最善のレート－歪み値を示すイントラ予測モードを決定してよい。
【0034】
他の例では、イントラＢＣ部４８は、本明細書に記述された実施形態に従ってイントラＢＣ予測のためのそのような機能を実行するために、動き推定部４２及び動き補償部４４を全体的又は部分的に使用してよい。どちらの場合にも、イントラブロックコピーについては、予測ブロックは、画素差分の観点から、符号化対象となるブロックと密接に対応するものとみなされるブロックでよく、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又は他の差分基準量によって決定され得る。予測ブロックの特定には、サブ整数型画素位置の値の計算が含まれ得る。
【0035】
予測ブロックがイントラ予測による同じフレームからのものであろうとインター予測による異なるフレームからのものであろうと、ビデオ符号化器２０は、符号化される現在のビデオブロックの画素値から予測ブロックの画素値を差し引くことによって残差ビデオブロックを形成してよく、画素差分値を形成する。残差ビデオブロックを形成する画素差分値は、輝度差分成分と色差差分成分の両方を含み得る。
【0036】
イントラ予測処理部４６は、前述のように、動き推定部４２及び動き補償部４４によって実行されるインター予測、又はイントラＢＣ部４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してよい。詳細には、イントラ予測処理部４６は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。そうするために、イントラ予測処理部４６は、たとえば個別の符号化パス中に様々なイントラ予測モードを使用して現在のブロックを符号化してよく、イントラ予測処理部４６（又はいくつかの例ではモード選択部）は、試験されたイントラ予測モードから、使用するべき適切なイントラ予測モードを選択してよい。イントラ予測処理部４６は、そのブロック向けに選択されたイントラ予測モードを表す情報をエントロピー符号化部５６に供給してよい。エントロピー符号化部５６は、ビットストリームにおける選択されたイントラ予測モードを示す情報を符号化してよい。
【0037】
予測処理部４１がインター予測又はイントラ予測のいずれかによって現在のビデオブロック用の予測ブロックを決定した後に、加算器５０が、現在のビデオブロックから予測ブロックを差し引くことによって残差ビデオブロックを生成する。残差ブロックにおける残差ビデオデータは１つ以上の変換ユニット（ＴＵ）に含まれ得、変換処理部５２に供給される。変換処理部５２は、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）又は概念的に同様の変換などの変換を使用して残差ビデオデータを残差変換係数に変換する。
【0038】
変換処理部５２は、結果として生じる変換係数を量子化部５４に送ってよい。量子化部５４は、変換係数を量子化してビットレートをさらに低下させる。量子化プロセスは、係数のうちのいくつか又はすべてに関連したビット深さも縮小し得る。量子化の程度は、量子化パラメータを調節することによって変更され得る。いくつかの例において、量子化部５４は、次いで、量子化変換係数を含むマトリクスの走査を実行し得る。あるいはエントロピー符号化部５６が走査を実行してもよい。
【0039】
量子化に続いて、エントロピー符号化部５６は、たとえば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、シンタックスベースコンテキスト適応型２値算術符号化（ＳＢＡＣ：ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、確率区間区分エントロピー符号化（ＰＩＰＥ：ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、又は別のエントロピー符号化の技法もしくは技術を使用して、量子化変換係数をビデオビットストリームへとエントロピー符号化する。次いで、符号化ビットストリームは、ビデオ復号器３０に伝送されるか、又は後にビデオ復号器３０へ伝送するため、もしくはビデオ復号器３０によって後に取り戻すために記録装置３２に記録され得る。エントロピー符号化部５６は、符号化される現在のビデオフレームに関する動きベクトル及び他のシンタックス要素もエントロピー符号化してよい。
【0040】
他のビデオブロックを予測するための参照ブロックを生成するために、画素領域における残差ビデオブロックを再構成するのに、逆量子化部５８が逆量子化を適用し、逆変換処理部６０が逆変換を適用する。前述のように、動き補償部４４は、ＤＰＢ６４に記憶されたフレームの１つ以上の参照ブロックから、動き補償予測ブロックを生成し得る。動き補償部４４はまた、予測ブロックに１つ以上の補間フィルタを適用して、動き予測に用いるサブ整数画素値を計算してよい。
【0041】
加算器６２は、再構成された残差ブロックを、動き補償部４４によって生成された動き補償予測ブロックに加えて、ＤＰＢ６４に記憶するための参照ブロックを生成する。次いで、参照ブロックは、イントラＢＣ部４８、動き推定部４２及び動き補償部４４によって、後続のビデオフレームにおける別のビデオブロックをインター予測するための予測ブロックとして使用され得る。
【0042】
図３は、本出願のいくつかの実施形態による例示的なビデオ復号器３０を示すブロック図である。ビデオ復号器３０は、ビデオデータメモリ７９、エントロピー復号部８０、予測処理部８１、逆量子化部８６、逆変換処理部８８、加算器９０、及びＤＰＢ ９２を含む。予測処理部８１は、動き補償部８２、イントラ予測処理部８４、及びイントラＢＣ部８５をさらに含む。ビデオ復号器３０は、図２に関連してビデオ符号化器２０に関して記述された符号化プロセスとは全体的に逆の復号プロセスを実行し得る。たとえば、動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトルに基づいて予測データを生成し得、一方、イントラ予測処理部８４は、エントロピー復号部８０から受け取られたイントラ予測モードインジケータに基づいて予測データを生成し得る。
【0043】
いくつかの例において、ビデオ復号器３０のユニットには、本出願の実施形態を実行するようにタスクが課されることがある。また、いくつかの例では、本開示の実施形態は、ビデオ復号器３０の１つ以上のユニットの間で分割されてもよい。たとえば、イントラＢＣ部８５は、本出願の実施形態を、単独で、又はビデオ復号器３０の動き補償部８２、イントラ予測処理部８４、及びエントロピー復号部８０などの他のユニットと組み合わせて実行し得る。いくつかの例では、ビデオ復号器３０はイントラＢＣ部８５を含まなくてよく、イントラＢＣ部８５の機能性は、動き補償部８２など、予測処理部８１の他の構成要素によって実行され得る。
【0044】
ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素によって復号される符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７９に記憶されたビデオデータは、記録装置３２から、たとえばカメラなどのローカルなビデオ源から、ビデオデータの有線もしくは無線のネットワーク通信によって、又はたとえばフラッシュドライブもしくはハードディスクといった物理的データ記録媒体にアクセスすることによって取得され得る。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶する、符号化ピクチャバッファ（ＣＰＢ：ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含み得る。ビデオ復号器３０の、復号ピクチャバッファ（ＤＰＢ）９２は、ビデオ復号器３０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記憶する。ビデオデータメモリ７９及びＤＰＢ ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気抵抗型ＲＡＭ（ＭＲＡＭ：Ｍａｇｎｅｔｏ－ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、抵抗変化型ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスを含む動的ランダムアクセスメモリ（ＤＲＡＭ：Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）などの種々のメモリデバイスのうち任意のものによって形成され得る。例示のために、ビデオデータメモリ７９及びＤＰＢ ９２は、図３におけるビデオ復号器３０の２つの別個の構成要素として表されている。しかし、ビデオデータメモリ７９及びＤＰＢ９２は、同一のメモリデバイス又は個別のメモリデバイスによってもたらされ得ることが当業者には明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。
【0045】
復号プロセス中に、ビデオ復号器３０は、符号化ビデオフレーム及び関連するシンタックス要素のビデオブロックを表す符号化ビデオビットストリームを受け取る。ビデオ復号器３０はビデオフレームレベル及び／又はビデオブロックレベルのシンタックス要素を受け取ってよい。ビデオ復号器３０のエントロピー復号部８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成する。次いで、エントロピー復号部８０は、動きベクトル及び他のシンタックス要素を予測処理部８１に転送する。
【0046】
ビデオフレームが、イントラ予測符号化（Ｉ）フレームとして、又は他のタイプのフレームにおけるイントラ符号化予測ブロック向けに符号化されるとき、予測処理部８１のイントラ予測処理部８４は、信号伝達されたイントラ予測モード及び現在のフレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに関する予測データを生成し得る。
【0047】
ビデオフレームがインター予測符号化（すなわちＢ又はＰ）フレームとして符号化されるとき、予測処理部８１の動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトル及び他のシンタックス要素に基づいて現在のビデオフレームのビデオブロックに関する１つ以上の予測ブロックを生成する。予測ブロックの各々が、参照フレームリストのうちの１つの内部の参照フレームから生成され得る。ビデオ復号器３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト０及びリスト１を構成し得る。
【0048】
いくつかの例では、本明細書に記述されたイントラＢＣモードに従ってビデオブロックが符号化されるとき、予測処理部８１のイントラＢＣ部８５は、エントロピー復号部８０から受け取られたブロックベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成する。予測ブロックは、ビデオ符号化器２０によって定義された現在のビデオブロックと同一のピクチャの再構成された領域の内部にあり得る。
【0049】
動き補償部８２及び／又はイントラＢＣ部８５は、動きベクトル及び他のシンタックス要素を解析することによって現在のビデオフレームのビデオブロックに関する予測情報を決定し、次いで、予測情報を使用して、復号される現在のビデオブロックに関する予測ブロックを生成する。たとえば、動き補償部８２は、受け取られたシンタックス要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するのに使用される予測モード（たとえばイントラ予測又はインター予測）、インター予測フレームタイプ（たとえばＢ又はＰ）、フレームに関する参照フレームリストのうちの１つ以上の構成情報、フレームにおける各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。
【0050】
同様に、イントラＢＣ部８５は、たとえばフラグといった受け取られたシンタックス要素のうちのいくつかを使用して、現在のビデオブロックはイントラＢＣモードを使用して予測されたものであること、再構成された領域の内部にあってＤＰＢ ９２に記憶されるべきフレームのビデオブロックの構成情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定し得る。
【0051】
動き補償部８２はまた、ビデオ符号化器２０によってビデオブロックの符号化中に参照ブロックのサブ整数画素の補間値を計算するために使用されたような補間フィルタを使用して、補間を実行し得る。この場合、動き補償部８２は、受け取られたシンタックス要素から、ビデオ符号化器２０によって使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。
【0052】
逆量子化部８６は、ビットストリームの中に与えられてエントロピー復号部８０によってエントロピー復号された量子化変換係数を、ビデオ符号化器２０によってビデオフレームにおける各ビデオブロックについて量子化の程度を決定するために計算されたものと同一の量子化パラメータを使用して逆量子化する。逆変換処理部８８は、画素領域における残差ブロックを再構成するために、変換係数に対して、たとえば逆ＤＣＴ、逆整数変換、又は概念的に類似の逆変換プロセスといった逆変換を適用する。
【0053】
動き補償部８２又はイントラＢＣ部８５がベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成した後に、加算器９０は、逆変換処理部８８からの残差ブロックと、動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを合計することによって、現在のビデオブロックに関する復号ビデオブロックを再構成する。ループ内フィルタ９４は、加算器９０とＤＰＢ９２との間に配置されてよく、ブロック境界をフィルタリングして、復号されたビデオブロックから濃淡むらアーチファクトを除去するためのデブロッキングフィルタを含む。ループ内フィルタ９４は、加算器９０によって出力された復号ビデオブロックをフィルタリングするためのＳＡＯフィルタ及びＡＬＦをさらに含む。次いで、所与のフレームにおける復号ビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２又はＤＰＢ９２とは別個のメモリデバイスも、復号されたビデオを、後に図１の表示装置３４などの表示装置に提示するために記憶し得る。
【0054】
一般的なビデオ符号化プロセスでは、ビデオシーケンスは、一般的にはフレーム又はピクチャの順序づけられたセットを含む。各フレームが、ＳＬ、ＳＣｂ、及びＳＣｒと表される３つのサンプル配列を含み得る。ＳＬは、輝度（ｌｕｍａ）サンプルからなる２次元配列である。ＳＣｂは、Ｃｂ色差サンプルからなる２次元配列である。ＳＣｒは、Ｃｒ色差サンプルからなる２次元配列である。他の事例では、フレームは白黒でよく、したがって輝度サンプルの２次元配列を１つだけ含む。
【0055】
図４Ａに示されるように、ビデオ符号化器２０（より具体的には分割部４５）は、最初にフレームを符号化ツリーユニット（ＣＴＵ）の集合に分割することによってフレームの符号化表現を生成する。ビデオフレームは、左から右及び上から下へのラスタスキャン順で連続的に順序づけられた整数個のＣＴＵを含み得る。各ＣＴＥＴは最大の論理符号化ユニットであり、ＣＴＵの幅及び高さは、シーケンスパラメータセットにおいて、ビデオ符号化器２０によって、ビデオシーケンスにおけるすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、及び１６×１６のうちの１つである同一のサイズを有するように信号伝達される。しかし、本出願は必ずしも特定のサイズに制限されるものではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、輝度（ｌｕｍａ）サンプルからなる１つの符号化ツリーブロック（ＣＴＢ）と、対応する２つの色差サンプルからなる符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。シンタックス要素は、画素の符号化ブロックの種々のタイプのユニットの特性と、インター予測又はイントラ予測、イントラ予測モード、動きベクトル、及び他のパラメータを含め、ビデオ復号器３０にてビデオシーケンスを再構成し得る方法とを記述するものである。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。符号化ツリーブロックは、サンプルのＮ×Ｎのブロックでよい。
【0056】
より優れた性能を達成するために、ビデオ符号化器２０は、ＣＴＵの符号化ツリーブロックに対して、二分木（ｂｉｎａｒｙ－ｔｒｅｅ）分割、三分木（ｔｅｒｎａｒｙ－ｔｒｅｅ）分割、四分木（ｑｕａｄ－ｔｒｅｅ）分割、又はこれらの組合せなどの木分割を再帰的に実行して、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割し得る。図４Ｃに表されるように、６４×６４のＣＴＵ４００が、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵの中で、ＣＵ４１０及びＣＵ４２０が、それぞれ１６×１６のブロックサイズで４つのＣＵに分割される。２つの１６×１６のＣＵである４３０及び４４０が、それぞれ８×８のブロックサイズで４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに表されたようなＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を表すものであり、四分木の各リーフノードが３２×３２～８×８の範囲のそれぞれのサイズの１つのＣＵに対応する。各ＣＵは、図４Ｂに表されたＣＴＵに類似して、輝度サンプルの符号化ブロック（ＣＢ）と、同じサイズのフレームの色差サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス構造とを含み得る。図４Ｃ及び図４Ｄに表された四分木分割は単なる説明のためのものであり、１つのＣＴＵが、様々な局所的特性に適合するように、四分木分割／三分木分割／二分木分割に基づいてＣＵに分割され得ることに留意されたい。複合の木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木の葉ＣＵが二分木構造及び三分木構造によってさらに分割され得る。図４Ｅに示されるように、４分割、水平２分割、垂直２分割、水平３分割、垂直３分割といった５つの分割タイプがある。
【0057】
いくつかの実施形態では、ビデオ符号化器２０は、ＣＵの符号化ブロックを１つ以上のＭ×Ｎの予測ブロック（ＰＢ）へとさらに分割し得る。予測ブロックは、同一の（インター又はイントラ）予測が適用されるサンプルの矩形状（正方形又は非正方形）のブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、色差サンプルの２つの対応する予測ブロックと、予測ブロックを予測するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックを予測するのに使用されるシンタックス構造とを含み得る。ビデオ符号化器２０は、ＣＵの各ＰＵにおける、予測輝度、輝度に関するＣｂ及びＣｒブロック、並びに、Ｃｂ及びＣｒ予測ブロックを生成し得る。
【0058】
ビデオ符号化器２０は、ＰＵに関する予測ブロックを生成するためにイントラ予測又はインター予測を使用してよい。ビデオ符号化器２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。ビデオ符号化器２０がインター予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレーム以外の１つ以上のフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。
【0059】
ビデオ符号化器２０は、ＣＵにおける１つ以上のＰＵに関する予測輝度ブロック、予測Ｃｂブロック及び予測Ｃｒブロックを生成した後に、ＣＵの輝度残差ブロックにおける各サンプルがＣＵの予測輝度ブロックのうちの１つにおける輝度サンプルとＣＵの元の輝度符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵの元の輝度符号化ブロックからＣＵの予測輝度ブロックを差し引くことによって、ＣＵに関する輝度残差ブロックを生成し得る。同様に、ビデオ符号化器２０は、ＣＵのＣｂ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルとＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵのＣｂ残差ブロック及びＣｒ残差ブロックをそれぞれ生成してよく、ＣＵのＣｒ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルとＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの間の差分を示し得る。
【0060】
その上、図４Ｃに示されるように、ビデオ符号化器２０は、四分木分割を使用して、ＣＵの輝度、Ｃｂ及びＣｒの残差ブロックを、１つ以上の輝度、Ｃｂ及びＣｒの変換ブロックへと分解する。変換ブロックは、同一の変換が適用されるサンプルの矩形（正方形又は非正方形）のブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、色差サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを予測するのに使用されるシンタックス要素とを含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに関連づけられ得る。いくつかの例では、ＴＵに関連した輝度変換ブロックはＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するのに使用されるシンタックス構造とを含み得る。
【0061】
ビデオ符号化器２０は、ＴＵの輝度変換ブロックに１つ以上の変換を適用してＴＵ用の輝度係数ブロックを生成し得る。係数ブロックは変換係数の２次元配列であり得る。変換係数はスカラー量であり得る。ビデオ符号化器２０は、ＴＵのＣｂ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｂ係数ブロックを生成し得る。ビデオ符号化器２０は、ＴＵのＣｒ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｒ係数ブロックを生成し得る。
【0062】
ビデオ符号化器２０は、係数ブロック（たとえば輝度係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後に係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータ量をどうにかして低減するために変換係数が量子化されるプロセスを指すものであり、さらなる圧縮をもたらす。ビデオ符号化器２０は、係数ブロックを量子化した後に、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオ符号化器２０は量子化変換係数を示すシンタックス要素に対してコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）を実行し得る。最終的に、ビデオ符号化器２０は、符号化フレーム及び関連するデータの表現を形成する一連のビットを含むビットストリームを出力し得、これは記録装置３２に保存されるか又は送信先装置１４に伝送される。
【0063】
ビデオ復号器３０は、ビデオ符号化器２０によって生成されたビットストリームを受け取った後に、ビットストリームを解析して、ビットストリームからシンタックス要素を取得し得る。ビデオ復号器３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのフレームを再構成し得る。ビデオデータを再構成するプロセスは、一般にビデオ符号化器２０によって実行された符号化プロセスの逆のである。たとえば、ビデオ復号器３０は、現在のＣＵのＴＵに関連した係数ブロックに対する逆変換を実行して、現在のＣＵのＴＵに関連した残差ブロックを再構成し得る。ビデオ復号器３０はまた、現在のＣＵのＰＵに関する予測ブロックのサンプルを、対応する現在のＣＵのＴＵの変換ブロックのサンプルに加算することによって現在のＣＵの符号化ブロックを再構成する。ビデオ復号器３０は、フレームの各ＣＵに関する符号化ブロックを再構成した後にフレームを再構成し得る。
【0064】
前述のように、ビデオ符号化は、主としてイントラフレーム予測（すなわちイントラ予測）及びインターフレーム予測（すなわちインター予測）の２つのモードを使用してビデオ圧縮を達成するものである。パレットベースの符号化は、多くのビデオコーディング規格によって採用されている別の符号化方式である。パレットベースの符号化は、スクリーンに生成されたコンテンツを符号化するのに特に適し、この方式では、ビデオコーダ（たとえばビデオ符号化器２０又はビデオ復号器３０）が、所与のブロックのビデオデータを表現する色のパレットテーブルを形成する。パレットテーブルは、所与のブロックの中で最も優勢な（たとえば頻繁に使用される）画素値を含む。所与のブロックのビデオデータにおいて頻繁に表現されない画素値は、パレットテーブルに含まれないか、又は回避色としてパレットテーブルに含まれる。
【0065】
パレットテーブルの各エントリは、パレットテーブルの中の対応する画素値に関するインデックスを含む。ブロックの中のサンプルに関するパレットインデックスは、サンプルを予測するか又は再構成するために使用されるパレットテーブルのエントリを示すように符号化され得る。このパレットモードは、ピクチャ、スライス、タイル、又はビデオブロックのそのようなグループ化の最初のブロックに関するパレット予測子を生成するプロセスから始まる。以下で説明されるように、後続のビデオブロックに関するパレット予測子は、一般的には、以前に使用されたパレット予測子を更新することによって生成される。例示のために、パレット予測子はピクチャレベルで定義されると想定されている。言い換えれば、ピクチャは、それぞれが固有のパレットテーブルを有する複数の符号化ブロックを含み得るが、全体のピクチャに関する１つのパレット予測子がある。
【0066】
ビデオビットストリームにおけるパレットエントリの信号伝達に必要なビット数を低減するために、ビデオ復号器は、ビデオブロックを再構成するために使用されるパレットテーブルの新しいパレットエントリを決定するためにパレット予測子を利用し得る。たとえば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを含んでよく、あるいは、つい最近使用されたパレットテーブルのすべてのエントリを含むことにより、つい最近使用されたパレットテーブルを用いて初期化されてもよい。いくつかの実施形態では、パレット予測子は、つい最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを含み、次いで、以前に使用された他のパレットテーブルからのいくつかのエントリを組み込んでもよい。パレット予測子のサイズは、異なるブロックを符号化するために使用されるパレットテーブルのサイズと比較して、同一でも、より大きくても、より小さくてもよい。一例では、パレット予測子は、６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。
【0067】
パレット予測子からのビデオデータのブロックに関するパレットテーブルを生成するために、ビデオ復号器は、符号化ビデオビットストリームから、パレット予測子の各入力について１ビットのフラグを受け取り得る。１ビットのフラグは、パレット予測子の関連する入力がパレットテーブルの中に含まれることを示す第１の値（たとえば２進数の１）又はパレット予測子の関連する入力がパレットテーブルの中に含まれないことを示す第２の値（たとえば２進数の０）を有し得る。パレット予測子のサイズがビデオデータのブロック用に使用されるパレットテーブルよりも大きい場合には、ビデオ復号器は、一旦パレットテーブルの最大サイズに達したら、さらにフラグを受け取ることを停止してよい。
【0068】
いくつかの実施形態では、パレットテーブルのいくつかのエントリは、パレット予測子を使用して決定されるのではなく、符号化ビデオビットストリームにおいて直接信号伝達され得る。そのようなエントリについて、ビデオ復号器は、符号化ビデオビットストリームから、エントリに関連した輝度成分及び２つの色差成分に関する画素値を示す３つの個別のｍビットの値を受け取り得、ｍはビデオデータのビット深度を表現する。直接信号伝達されるパレットエントリのために複数のｍビットの値が必要とされるのに対して、パレット予測子から導出されるパレットエントリが必要とするのは１ビットのフラグのみである。したがって、パレット予測子を使用してパレット入力のいくつか又はすべてを信号伝達すれば、新規のパレットテーブルの入力を信号伝達するために必要なビット数をかなり低減することができ、それによって、パレットモード符号化の全体的な符号化効率を改善する。
【0069】
多くの事例において、１つのブロックに関するパレット予測子は、以前に符号化された１つ以上のブロックを符号化するために使用されたパレットテーブルに基づいて決定される。しかし、ピクチャ、スライス又はタイルにおける最初の符号化ツリーユニットを符号化するときには、以前に符号化されたブロックのパレットテーブルを利用できない可能性がある。したがって、以前に使用されたパレットテーブルのエントリを使用してパレット予測子を生成することはできない。そのような場合には、以前に使用されたパレットテーブルが利用できないときにパレット予測子を生成するために使用された値である、一連のパレット予測子の初期化指定子が、シーケンスパラメータセット（ＳＰＳ）及び／又はピクチャパラメータセット（ＰＰＳ）において信号伝達されてよい。ＳＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって参照されるＰＰＳに見られるシンタックス要素のコンテンツによって決定されたものとして、符号化ビデオシーケンス（ＣＶＳ）と呼ばれる一連の連続した符号化ビデオピクチャに適合するシンタックス要素のシンタックス構造を指す。ＰＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって決定されたものとして、ＣＶＳの内部の１つ以上の個々のピクチャに適合するシンタックス要素のシンタックス構造を指す。したがって、ＳＰＳは、一般にＰＰＳよりも上位のレベルのシンタックス構造とみなされ、ＳＰＳに含まれるシンタックス要素は、一般にそれほど頻繁に変化せず、ＰＰＳに含まれるシンタックス要素と比較して、ビデオデータのより大きい部分に適合することを意味する。
【0070】
図５は、いくつかの実施形態に係る、ビットストリームの中のビデオフレーム５００の一部を示す。ビデオフレーム５００は複数の画素を含み、各画素は、複数の色要素（たとえば青、緑及び赤）で作られている。ビデオの符号化及び復号では、複数の画素の色情報は、複数の輝度サンプル５０２及び複数の色差サンプル５０４によって表される。複数の画素の各々がそれぞれの輝度サンプル５０２に対応し、また、各輝度サンプル５０２がビデオフレーム５００の中のそれぞれの画素に対応する。各色差サンプル５０４は、サブサンプリング方式に係る、輝度サンプル５０２のそれぞれのセットに対応する。各輝度サンプル５０２は輝度成分Ｙ’を有し、各色差サンプル５０４は青色差の色差成分Ｃｂ及び赤色差の色差成分Ｃｒを有する。輝度成分及び色差成分（Ｙ’：Ｃｂ：Ｃｒ）のサブサンプリング方式は、３部分の比（たとえば４：１：１、４：２：０、４：２：２、４：４：４、４：４：０）を有する。具体的には、ビデオフレーム５００の輝度サンプル５０２及び色差サンプル５０４は、４：１：１に等しい３部分の比を有するサブサンプリング方式に準拠し、平均すると、４つの輝度サンプル５０２ごとに、青色差の色差成分Ｃｂ及び赤色差の色差成分Ｃｒを有する１つの色差サンプル５０４に対応する。
【0071】
図６は、いくつかの実施形態に従って、ビデオ符号化器２０又はビデオ復号器３０において適用されるループ内フィルタ６００のブロック図である。ビデオ符号化又は符号化では、輝度サンプル５０２及び色差サンプル５０４の各々が、ビデオフレーム５００の残差ブロックから再構成され、アーチファクトを除去するために、デブロッキングフィルタ、１つ又は複数のサンプル適応型オフセット（ＳＡＯ）フィルタ６０２、及びループ内フィルタ６００（たとえば図２及び図３のループ内フィルタ６６及び９４）の１つ又は複数の適応型ループフィルタ（ＡＬＦ）６０４によってフィルタリングされる。フィルタリングされた輝度サンプル６０６及び色差サンプル６０８は、復号画像バッファ６４又は９２に格納され、ビデオフレーム５００における他のビデオブロックの符号化又は復号のために使用される。いくつかの実施形態では、デブロッキングフィルタ、ＳＡＯフィルタ６０２及びＡＬＦ６０４の各々は、同一タイプのサンプルに基づいて輝度サンプル５０２又は色差サンプル５０４をフィルタリングするように構成されており、たとえば、隣接した輝度サンプル５０２のそれぞれのセットに基づいて各輝度サンプル５０２をフィルタリングし、隣接した色差サンプル５０４のそれぞれのセットに基づいて各輝度サンプル５０２をフィルタリングする。いくつかの実施形態では、ループ内フィルタ６００は、それぞれの色差サンプル５０４に隣接した１つ又は複数の輝度サンプル５０２に基づいて各色差サンプル５０４をフィルタリングするように構成された交差成分フィルタ６１０をさらに含む。反対に、いくつかの実施形態では、ループ内フィルタ６００は、それぞれの輝度サンプル５０２に隣接した１つ又は複数の色差サンプル５０４に基づいて各輝度サンプル５０２をフィルタリングするように構成された代替の交差成分フィルタを含む。
【0072】
具体的には、ビデオ符号化器２０又は復号器３０は、ビデオフレーム５００の複数の輝度サンプル５０２及び複数の色差サンプル５０４を取得する。各輝度サンプル５０２がそれぞれの輝度値を有し、各色差サンプル５０４がそれぞれの輝度値を有する。ＳＡＯフィルタ６０２は、複数の輝度サンプル５０２及び複数の色差サンプル５０４の各々を補償する。具体的には、ＳＡＯフィルタ６０２Ａ、６０２Ｂ及び６０２Ｃは、輝度サンプル５０２、色差サンプル５０４の青色差の色差成分Ｃｂ、及び色差サンプル５０４の赤色差の色差成分Ｃｒをそれぞれ補償する。ＡＬＦ６０４はＳＡＯフィルタ６０２に結合されている。補償された輝度サンプル６１２の各々が、隣接する補償された輝度サンプル６１２のセットに基づき、輝度ＡＬＦ６０４Ａを使用して、輝度サンプル６０６を更新し、補償された色差サンプル６１４Ａ及び６１４Ｂの各々が、隣接する補償された色差サンプル６１４のセットに基づき、色差ＡＬＦ６０４Ｂを使用して、色差サンプル６０８Ａ又は６０８Ｂを更新する。
【0073】
いくつかの実施形態では、交差成分フィルタ６１０は、輝度サンプル５０２のセットに基づいて各色差サンプル５０４の色差改良値６１６を生成するように構成されている。それぞれの色差サンプル５０４は、色差改良値６１６を使用して更新され、すなわち、それぞれの色差サンプル５０４のクロミナンス値は、色差改良値６１６を用いて改良される。更新されたそれぞれの色差サンプル６０８は、ビデオフレーム５００に関連して格納される。いくつかの実施形態では、交差成分フィルタ６１０は、第１の改良値６１６Ａを生成するように構成された第１の交差成分フィルタ６１０Ａと、第２の改良値６１６Ｂを生成するように構成された第２の交差成分フィルタ６１０とを含む。青色差の色差成分６１８Ａ及び赤色差の色差成分６１８Ｂは、それぞれ、第１の改良クロミナンス値６０８Ａ及び第２の改良クロミナンス値６０８Ｂを出力するように、第１の改良値６１６Ａ及び第２の改良値６１６Ｂを使用して別個に更新される。
【0074】
ループ内フィルタ６００のデブロッキングフィルタ、ＳＡＯフィルタ及びＡＬＦの各々が１つ又は複数のループ内フィルタ係数を含み、交差成分ＡＬＦ６１０は複数の交差成分フィルタ係数をも含む。ループ内フィルタ係数及び交差成分フィルタ係数は適合パラメータセット（ＡＰＳ）で信号伝達される。一例では、ＡＰＳは、輝度フィルタ係数とクリップ値インデックスとの複数のセット（たとえば２５までのセット）、及び色差フィルタ係数とクリップ値インデックスの複数のセット（たとえば８つまでのセット）を搬送し、かつ信号伝達する。ＡＰＳは、ビットストリームで、ビデオフレーム５００とともに、ビデオ符号化器２０からビデオ符号化器３０まで転送され、すなわちＡＰＳはビットストリームの転送のオーバヘッドである。いくつかの実施形態では、輝度サンプル５０２の輝度成分に関する別々の分類のフィルタ係数は、ビットストリームの転送のオーバヘッドを低減するために組み合わされる。一例では、画像スライス用に使用されるＡＰＳのインデックスは、対応するスライスヘッダで信号伝達される。
【0075】
図７Ａは、いくつかの実施形態に従って、輝度ＡＬＦ６０４Ａによって、関連する輝度サンプル５０２Ｂのセットを基に輝度サンプル５０２Ａが処理される、例示のＡＬＦのフィルタリング方式７００であり、図７Ｂは、いくつかの実施形態に従って、色差ＡＬＦ６０４Ｂによって、関連する色差サンプルのセット５０４Ｂを基に色差サンプル５０４Ａが処理される、例示のＡＬＦのフィルタリング方式７５０である。輝度ＡＬＦ６０４Ａは、菱形のフィルタ形状（たとえば７×７の菱形の形状）を有し、それぞれの４×４のブロック用に、局所勾配の方向及び機能に基づいて、複数の所定のフィルタ（たとえば、所定のフィルタ係数を有する２５のフィルタ）から選択される。図７Ａにおけるそれぞれの正方形は、菱形の形状を有する、輝度ＡＬＦ６０４Ａの対応するフィルタ係数（Ｃ０～Ｃ１２）でラベルを付けられた輝度サンプル５０２を表す。輝度ＡＬＦ６０４Ａを使用して２５の輝度サンプル５０２を組み合わせるために、輝度サンプル５０２Ａに対して、合計で１３のフィルタ係数（Ｃ０～Ｃ１２）が対称に適用される。同様に、色差ＡＬＦ６０４Ｂは菱形のフィルタ形状（たとえば５×５の菱形の形状）を有し、複数の所定のフィルタ（たとえば、所定のフィルタ係数を有する８つのフィルタ）から選択される。図７Ｂにおけるそれぞれの正方形は、菱形の形状を有する、色差ＡＬＦ６０４Ｂの対応するフィルタ係数（Ｃ０～Ｃ６）でラベルを付けられた色差サンプル５０４を表す。色差ＡＬＦ６０４Ｂにおける１３の色差サンプル５０４を組み合わせるために、色差サンプル５０４Ａに対して、合計で７つのフィルタ係数（Ｃ０～Ｃ６）が対称に適用される。
【0076】
たとえばＣＴＢ用に適応型ループフィルタリングが有効にされるとき、ＣＵの内部の各画像サンプルＲ（ｉ，ｊ）（たとえば輝度サンプル５０２Ａ、色差サンプル５０４Ａ）がフィルタリングされることで、次式のサンプル値Ｒ’（ｉ，ｊ）が得られる。
【0077】
【数1】
ここで、ｆ（ｋ，ｌ）は復号フィルタ係数を表し、Ｋ（ｘ，ｙ）はクリッピング機能であり、ｃ（ｋ，ｌ）は復号クリッピングパラメータを表す。変数ｋ及びｌは、－Ｌ／２と＋Ｌ／２の間で変化し、Ｌはフィルタ長を表す。
【0078】
適応型ループフィルタリングにおけるクリッピングのために、各画像サンプルは、関連する画像サンプルのセットを、ＡＬＦ６０４のフィルタ長Ｌで包含している。図７Ａを参照して、それぞれの輝度サンプル５０２Ａのうちの関連づけられた輝度サンプル５０２Ｂは、それぞれの輝度サンプル５０２Ａの上の３行の輝度サンプル（すなわち９つの輝度サンプル）と、それぞれの輝度サンプル５０２Ａの下の３行の輝度サンプル（すなわち９つの輝度サンプル）と、それぞれの輝度サンプル５０２Ａの左側の３つの輝度サンプルと、それぞれの輝度サンプル５０２Ａの右側の３つの輝度サンプルとを含む。図７Ｂを参照して、それぞれの色差サンプル５０４Ａのうちの関連づけられた色差サンプル５０４Ｂは、それぞれの色差サンプル５０４Ａの上の２行の色差サンプル（すなわち４つの色差サンプル）と、それぞれの色差サンプル５０ｒＡの下の２行の色差サンプル（すなわち４つの色差サンプル）と、それぞれの色差サンプル５０４Ａの左側の２つの色差サンプルと、それぞれの色差サンプル５０４Ａの右側の２つの色差サンプルとを含む。
【0079】
いくつかの実施形態では、ＡＬＦのフィルタパラメータは、前述のクリッピングパラメータｃ（ｋ，ｌ）を表すクリップ値インデックスを含むＡＰＳで信号伝達される。１つのＡＰＳでは、２５セットまでの輝度フィルタ係数（たとえば図７ＡにおけるＣ０～Ｃ１２のセット）とクリッピング値インデックス、及び８セットまでの色差フィルタ係数（たとえば図７ＢにおけるＣ０～Ｃ６のセット）及びクリッピング値インデックスが信号伝達され得る。信号伝達するビットのオーバヘッドを低減するために、輝度サンプル５０２Ａに関する別々の分類のフィルタ係数が組み合わされ得る。スライスヘッダでは、現在のスライス用に使用されたＡＰＳのインデックスが信号伝達される。ＡＰＳから復号されたクリッピング値インデックスにより、所定のクリッピング境界値の式又はテーブルを使用して、クリッピング境界値を決定することが可能になる。これらの境界クリッピング値は、内部ビット深度に依拠するものであって、関連する画像サンプルと画像サンプルのセット５０２Ａ又は５０４Ａとの差がクリップされるダイナミックレンジを定義する。いくつかの実施形態では、輝度サンプル５０２Ａと色差サンプル５０４Ａとに対して、別々の所定のクリッピング境界値の式又はテーブルが適用される。
【0080】
いくつかの実施形態では、現在のスライスにおける適応型ループフィルタリングのための複数の対応する輝度と色差とのフィルタセットのサブセットを選択するために、スライスヘッダで、複数のＡＰＳインデックス（たとえば７つのインデックス）が信号伝達され得る。この適応型ループフィルタリング・プロセスは、ＣＴＢレベルで制御され得る。輝度ＣＴＢに適応型ループフィルタリングが適用されるかどうかを示すために、フラグが信号伝達される。フラグが適応型ループフィルタリングを有効にするとの判定に応じて、輝度ＣＴＢは複数の（たとえば１６の）輝度フィルタセットの間で輝度フィルタセットを選択する。適用される輝度フィルタセットを示すために、輝度ＣＴＢ向けに輝度フィルタセットのインデックスが信号伝達される。複数のフィルタセットの各々が、符号化器２０と復号器３０との両方において事前に定義してハードコード化されており、ビデオフレーム５００を搬送するビットストリームで伝送される必要があるのは輝度フィルタセットのインデックスのみである。同様に、色差サンプル５０４Ａについては、フラグが適応型ループフィルタリングを有効にするとき、現在のスライスの適応型ループフィルタリング用に複数の色差フィルタセットのうちの１つを選択するために、色差フィルタセットのインデックスがスライスヘッダで信号伝達される。ＡＰＳの中に複数の色差フィルタセットがある場合、それぞれの色差ＣＴＢについて、色差フィルタセットのインデックスがＣＴＢレベルで信号伝達される。フィルタセットの各々が、フィルタ係数ｆ（ｋ，ｌ）及びクリッピングパラメータｃ（ｋ，ｌ）、あるいはフィルタ係数ｆ（ｋ，ｌ）及びクリッピングパラメータｃ（ｋ，ｌ）のインデックスを伴って、ビデオ符号化器又はビデオ復号器の中に、局所的に格納される。
【0081】
いくつかの実施形態では、フィルタ係数は１２８に等しいノルムを用いて量子化される。非中立点を有するフィルタ係数の値が［－２７～２７－１］の範囲に入るように、ビットストリーム適合が適用される。中立点を有するフィルタ係数は、ビットストリームで信号伝達されることなく、１２８と推定される。
【0082】
図８は、いくつかの実施形態に従って、画像フレームのブロックにおける各画像サンプル８０２の関連する画像サンプル８０４のセットに関するクリップ値インデックスを有する例示のＡＬＦのフィルタリング方式８００である。ＡＬＦ６０４は、各画像サンプル８０２（たとえば輝度サンプル５０２Ａ、色差サンプル５０４Ａ）についてフィルタ長Ｌを有し、複数のフィルタ係数（たとえば輝度サンプル５０２Ａ用のＣ０～Ｃ１３）に対応する。関連する画像サンプル８０４のセットは、それぞれの画像サンプル８０２のフィルタ長において識別される。関連する画像サンプル８０４（たとえば図７におけるフィルタ係数Ｃ１～Ｃ１２に対応する輝度サンプル５０２Ｂ）のセットの各々について、それぞれのクリップ値インデックス及び対応するフィルタ係数が識別される。たとえば、図８におけるそれぞれの関連する画像サンプル８０４は、０、１、２又は３のクリップ値インデックスを有する。
【0083】
それぞれのクリップ値インデックスは、それぞれのクリッピング番号を指数とする２のべき乗に等しいそれぞれのクリッピング境界値Ｍに対応し、それぞれのクリッピング番号ｉは整数である。ＡＬＦ６０４は、関連する画像サンプル８０４のセットの各々とそれぞれの画像サンプル８０２との差を、それぞれのクリップ値インデックスに関連したそれぞれのクリッピング境界値Ｍによって定義されるダイナミックレンジＤＲにクリップする。それぞれの画像サンプル８０２（たとえば輝度サンプル５０２Ａ、色差サンプル５０４Ａ）は、複数の修正画像サンプル８０２を使用して画像フレームが再構成され得るように、関連する画像サンプル８０４のセットの各々のクリップされた差を用いて、それぞれのフィルタ係数を基に修正される。境界値が、整数を指数とする２のべき乗に制限されるとき、関連する画像サンプル８０４と各画像サンプル８０２との差をクリップするステップは、論理積演算及び／又は論理和演算のみを含む。これらの手段によって、このクリッピング演算は、各画像サンプル８０２に対するいかなる比較演算も含まず、それによって適応型ループフィルタリングに必要とされる計算の量を軽減し、対応するビデオフレームの符号化から計算リソースを節約する。
【0084】
いくつかの実施形態では、画像サンプルの第１のブロックに関して、第１のブロックにおけるすべての画像サンプル８０２についてクリップ値インデックスの単一のセットが決定される。クリップ値インデックスのセットは、画像サンプルのブロックとともにビデオ符号化器２０からビデオ復号器３０まで転送され、ＡＬＦ６０４は、クリップ値インデックスの同じ単一のセットに基づいて第１のブロックにおける画像サンプル８０２の各々を処理することが可能になる。例示のブロックは、全体のビデオフレーム、スライス、ブリック、タイル、タイルグループ、符号化ツリー又は任意の他の符号化ユニットである。さらに、いくつかの実施形態では、ビデオフレームは、第１のブロックとは異なる第２のブロックを含む。クリップ値インデックスの第２のセットは、第２のブロックの中の画像サンプル８０２の適応型ループフィルタリング用に使用される。クリップ値インデックスの第２のセットは、画像の第１のブロック用に使用されたクリップ値インデックスの単一のセットから切り離して決定される。
【0085】
図９Ａ～図９Ｃは、いくつかの実施形態に係る所定のクリッピング境界値テーブル９００Ａ～９００Ｃといった３つの例である。所定のクリッピング境界値テーブル９００の各々が、クリップ値インデックスのセット９０２を、内部ビット深度インデックス（ＩＢＤＩ）９０６のセットに応じて、クリッピング境界値（Ｍ）のセット９０４に関連づける。これらのテーブル９００Ａ～９００Ｃにおけるクリッピング境界値Ｍのあらゆるものが、それぞれのクリッピング番号ｉを指数とする２のべき乗に等しい。それぞれのクリッピング境界値テーブル９００は、それぞれのクリップ値インデックスに関するクリッピング境界値Ｍを決定するための参照として、ＡＬＦ６０４に適用される。たとえば、ビデオフレームの第１の画像サンプル８０２については、その関連する画像サンプル８０４Ａのうちの１つと第１の画像サンプル８０２との差がクリップされるとき、この関連する画像サンプル８０４Ａには、それぞれのクリップ値インデックス９０２Ａ（すなわち０）が備わっており、ＩＢＤＩ９０６Ａ（たとえばＩＢＤＩ＝１０）は、フィルタリングされる第１の画像サンプル８０２から決定され得る。それぞれのクリッピング境界値９０４Ａ（すなわち１０２４）は、所定のクリッピング境界値テーブル９００Ａから、クリップ値インデックス９０２Ａに対応する列とＩＢＤＩ９０６Ａに対応する行との交点において識別される。
【0086】
それぞれのクリッピング境界値９０４は、それぞれのクリッピング番号ｉを指数とする２のべき乗に等しい。同一のクリップ値インデックス（たとえば９０２Ａ）について、それぞれのクリッピング番号ｉは、ＩＢＤＩ９０６につれて直線状に増加する整数である。各境界値９０４（Ｍ）は、それぞれのクリッピング番号ｉの関数として次式で表される。
Ｍ＝２ｉ （１）
Ｍ＝２ｉ （１）
【0087】
いくつかの実施形態では、第１の画像サンプル８０２の適応型ループフィルタリング用に使用されるそれぞれの関連する画像サンプル８０４に関して、関連する画像サンプル８０４と第１の画像サンプル８０２とのクリップされた差は、範囲［－Ｍ，Ｍ－１］すなわち［－２ｉ，２ｉ－１］に入る。あるいは、いくつかの実施形態では、関連する画像サンプル８０４と第１の画像サンプル８０２とのクリップされた差は、範囲［－Ｍ＋１，Ｍ］すなわち［－２ｉ＋１，２ｉ］に入る。あるいは、いくつかの実施形態では、関連する画像サンプル８０４と第１の画像サンプル８０２とのクリップされた差は、範囲［－Ｍ＋１，Ｍ－１］すなわち［－２ｉ＋１，２ｉ－１］に入る。あるいは、いくつかの実施形態では、関連する画像サンプル８０４と第１の画像サンプル８０２とのクリップされた差は、範囲［－Ｍ，Ｍ］すなわち［－２ｉ，２ｉ］に入る。
【0088】
いくつかの実施形態では、画像サンプル８０２のブロックのフィルタリングに使用される所定のクリッピング境界値テーブル９００は、ブロックを搬送するビットストリームで取得され、画像サンプル８０２の各ブロックについてテーブル９００の更新が可能になる。例示のブロックは、全体のビデオフレーム、スライス、ブリック、タイル、タイルグループ、符号化ツリー又は任意の他の符号化ユニットである。あるいは、適応型ループフィルタリングにおいて使用されるものと同一の所定のクリッピング境界値テーブル９００の２つのコピーが、ビデオ符号化器２０とビデオ復号器３０とに別個に格納される。画像サンプル８０２のブロックのフィルタリング中に、所定のクリッピング境界値テーブル９００は、ビデオフレームで受け取られるのではなく、１つ又は複数の別個の所定のクリッピング境界値テーブル（たとえばテーブル９００Ａ～９００Ｃのサブセット又はすべて）を前もって記憶しているローカルメモリから抽出される。１つのブロックの各画像サンプル８０２は、クリップ値インデックス及び境界値テーブルインジケータのセットを共有する。クリップ値インデックス及び境界値テーブルインジケータのセットは、画像サンプル８０２のブロックに関連してビットストリームで取得され、１つ又は複数のクリッピング境界値テーブルは局所的に格納される。境界値テーブルインジケータに基づいて、クリッピング境界値テーブル９００のうちの１つが選択され、ブロックの中の各画像サンプル８０２をフィルタリングするためのクリッピング演算に適用される。
【0089】
所定のクリッピング境界値テーブル９００Ａは次式で表される。
【0090】
【数2】
ここで、ＣＶＩはそれぞれのクリップ値インデックスであり、ＣＢＶは、関連する画像サンプル８０４のセットの各々に関するそれぞれのクリッピング境界値である。いくつかの実施形態では、ローカルメモリにはクリッピング境界値テーブル９００Ａは記憶されず、式（２）が記憶される。各画像サンプル８０２について、それぞれの関連する画像サンプル８０４ごとに、上記の所定のクリッピング境界値式（２）に従って、ＩＢＤＩ及びそれぞれのクリップ値インデックスを基に、クリッピング境界値が決定される。
【0091】
クリップ値インデックスが２のクリッピング境界値は、所定のクリッピング境界値テーブル９００Ａと９００Ｂとで異なる。所定のクリッピング境界値テーブル９００Ｂは次式で表される。
【0092】
【数3】
【0093】
いくつかの実施形態では、ローカルメモリにはクリッピング境界値テーブル９００Ｂは記憶されず、式（３）が記憶される。各画像サンプル８０２について、それぞれの関連する画像サンプル８０４ごとに、上記の所定のクリッピング境界値式（３）に従って、ＩＢＤＩ及びそれぞれのクリップ値インデックスを基に、クリッピング境界値が決定される。
【0094】
クリップ値インデックスが１のクリッピング境界値は、所定のクリッピング境界値テーブル９００Ａと９００Ｃとで異なる。所定のクリッピング境界値テーブル９００Ｃは次式で表される。
【0095】
【数4】
【0096】
いくつかの実施形態では、ローカルメモリにはクリッピング境界値テーブル９００Ｃは記憶されず、式（４）が記憶される。各画像サンプル８０２について、それぞれの関連する画像サンプル８０４ごとに、上記の所定のクリッピング境界値式（４）に従って、ＩＢＤＩ及びそれぞれのクリップ値インデックスを基に、クリッピング境界値が決定される。
【0097】
いくつかの実施形態では、ビットストリームは、ビデオフレームの複数の画像サンプル８０２を含む。複数の画像サンプル８０２は、輝度サンプル５０２Ａのサブセット及び色差サンプル５０４Ａのサブセットを含む。輝度サンプル５０２Ａのサブセットは、各輝度サンプル５０２Ａの第１のフィルタ長Ｌ１における関連する輝度サンプル５０２Ｂのセットの各々の、それぞれのクリップ値インデックスを定義するクリップ値インデックスの第１のセットに対応する。色差サンプル５０４Ａのサブセットは、各色差サンプル５０４Ａの第２のフィルタ長Ｌ２における関連する色差サンプル５０４Ｂのセットの各々の、それぞれのクリップ値インデックスを定義するクリップ値インデックスの第２のセットに対応する。クリップ値インデックスの第２のセットは、クリップ値インデックスの第１のセットとは異なる。さらに、いくつかの実施形態では、クリップ値インデックスの第１及び第２のセットの各セットは、クリッピング境界値のテーブル又は式に対応し、クリップ値インデックスのそれぞれのセットにおける各クリップ値インデックスをＩＢＤＩに基づいてそれぞれのクリッピング境界値に関連づけるものである。加えて、いくつかの実施形態では、クリッピング境界値のテーブル又は式は、クリッピング境界値のテーブル又は式の所定の番号から選択される。あるいは、いくつかの実施形態では、クリップ値インデックスの第１及び第２のセットは、第１のクリッピング境界値のテーブル／式と、第１のクリッピング境界値のテーブル／式とは異なる第２の値のテーブル／式とに対応する。
【0098】
図１０は、いくつかの実施形態に従って、画像サンプル８０２のためにクリップされる値１０００のデータ構造である。画像サンプル８０２は、ビデオフレームの輝度サンプル５０２及び色差サンプル５０４のうちの１つに対応する。いくつかの実施形態では、クリップされる値１０００は、関連する画像サンプル８０４と画像サンプル８０２との差に対応する。値１０００の２進表現の最初のビットは最下位ビット（ＬＳＢ）として定義され、通常は右端のビットである。ビットのインデックスは、ＬＳＢから、左端のビットである最上位ビット（ＭＳＢ）に向かって、１つずつ増加する。いくつかの実施形態では、関連する画像サンプル８０４とそれぞれの画像サンプル８０２との差をクリッピングするためのダイナミックレンジは、クリッピングの上限値－Ｍと下限値Ｍ－１とで定義されて［－Ｍ，Ｍ－１］の形式で表され、Ｍは２ｉである。対応するクリッピング演算は、（ｉ＋１）番目のビットからＭＳＢまでのビット範囲に対して実行される論理「積」及び／又は論理「和」の演算として実施され得る。論理「積」及び／又は論理「和」の演算を使用することは、比較ベースのクリッピング演算を実行するよりも簡単である。
【0099】
一例では、クリップされる値１０００が、－２１１～２１１－１（両端を含む）の範囲を有する１１ビットの値によって表されると想定する。クリッピングの上限値と下限値とで、［－２４，２４－１］のダイナミックレンジを定義し、この値１０００が上限値と下限値とで定義されたダイナミックレンジを超過するかどうかを判定するために、第５ビットからＭＳＢまでの範囲のビットは検査される必要がある。クリップされる値１０００が正であれば、第５ビットからＭＳＢまでの範囲のすべてのそれらのビットに対して論理「和」演算が実行される。論理「和」演算の結果が１であれば、値１０００は２４－１よりも大きく、２４－１にクリップされる。クリップされる値１０００が負であれば、第５ビットからＭＳＢまでの範囲のすべてのそれらのビットに対して論理「積」演算が実行される。論理「積」演算の結果が０であれば、値１０００は－２４よりも小さく、－２４にクリップされる。
【0100】
別の例では、クリップされる値１０００は－１６～１５の範囲内にある。値１０００は５ビットを有する。最上位ビットが値１０００の符号を表すために使用され、その他の４ビットが値１０００の大きさを表すために使用される。クリップ境界値は４であり、クリッピングのダイナミックレンジは［－２２，２２－１］と設定される。入力値１０００が１４（０１１１０と２値化される）であると、第３及び第４のビンに対して論理「和」演算が適用されて結果は１になり、入力値１０００が上限を超過することを示し、したがって上限値３にクリップされる。入力値１０００が２（０００１０と２値化される）であると、第３及び第４のビンに対して論理「和」演算が適用されて結果は０になり、入力値１０００が上限を超過しないことを示すので、変更されない。入力値１０００が－１４（１００１０と２値化される）であると、第３及び第４のビンに対して論理「積」演算が適用されて結果は０になり、入力値１０００が下限を下回ることを示し、下限値－４に設定される。入力値１０００が－２（１１１１０と２値化される）であると、第３及び第４のビンに対して論理「積」演算が適用されて結果は１になり、入力値１０００が下限を下回らないことを示すので、変更されない。
【0101】
図１１は、いくつかの実施形態に係るビデオ符号化方法１１００の流れ図である。ビデオ符号化方法１１００は、ビデオ符号化器２０又はビデオ復号器３０を有する電子デバイスにおいて実施される。電子デバイスは、ビットストリームから、ビデオフレームの複数の画像サンプル８０２を取得する（１１０２）。各画像サンプル８０２は、輝度サンプル５０２及び色差サンプル５０４のうちの１つに対応する。複数の画像サンプル８０２の各々について、それぞれの画像サンプル８０２は、フィルタ長Ｌ及びフィルタ係数のセットを有する適応型ループフィルタ６０４を使用してフィルタリングされる（１１０４）。具体的には、電子デバイスは、それぞれの画像サンプル８０２のフィルタ長Ｌにおいて、関連する画像サンプル８０４のセットを識別する（１１０６）。関連する画像サンプル８０４のセットの各々について、それぞれのクリップ値インデックス及び対応するフィルタ係数が識別される（１１０８）。関連する画像サンプル８０４のセットの各々とそれぞれの画像サンプル８０２との差が、それぞれのクリップ値インデックスに基づいてクリップされる（１１１０）。それぞれのクリップ値インデックスは、それぞれのクリッピング番号ｉを指数とする２のべき乗に等しいそれぞれのクリッピング境界値に対応し（１１１２）、それぞれのクリッピング番号ｉは整数である。電子デバイスは、それぞれのフィルタ係数に基づき、関連する画像サンプル８０４のセットの各々のクリップされた差を用いて、それぞれの画像サンプル８０２を修正する（１１１４）。ビデオフレームは、複数の修正画像サンプル８０２を使用して再構成される（１１１６）。いくつかの実施形態では、複数の画像サンプル８０２がビデオフレームのブロックを形成する。ブロックは、任意選択で、全体のビデオフレーム、スライス、ブリック、タイル、タイルグループ、符号化ツリー又は任意の他の符号化ユニットである。
【0102】
いくつかの実施形態では、各画像サンプル８０２について、それぞれの画像サンプル８０２のＩＢＤＩが決定される（１１１８）。電子デバイスは、関連する画像サンプル８０４のセットの各々について、ＩＢＤＩ及び所定のクリッピング境界値テーブル９００によるそれぞれのクリップ値インデックスに基づき、それぞれのクリッピング境界値を決定する（１１２０）。関連する画像サンプル８０４のセットの各々とそれぞれの画像サンプル８０２との差が、それぞれのクリッピング境界値に基づいてクリップされる（１１２２）。さらに、いくつかの実施形態では、所定のクリッピング境界値テーブル９００はビットストリームで取得される。あるいは、いくつかの実施形態では、所定のクリッピング境界値テーブル９００はローカルメモリから抽出される。ローカルメモリは複数のクリッピング境界値テーブル（たとえばテーブル９００Ａ～９９Ｃのサブセット又はすべて）を記憶し得、所定のクリッピング境界値テーブル９００は複数のクリッピング境界値テーブルから選択される。所定のクリッピング境界値テーブル９００の例が、図９Ａ～図９Ｃに示されている。
【0103】
いくつかの実施形態では、各画像サンプル８０２について、それぞれの画像サンプル８０２のＩＢＤＩが決定される。電子デバイスは、関連する画像サンプル８０４のセットの各々について、ＩＢＤＩ及び所定のクリッピング境界値の式によるそれぞれのクリップ値インデックスに基づき、それぞれのクリッピング境界値を決定する。関連する画像サンプル８０４のセットの各々とそれぞれの画像サンプル８０２との差が、それぞれのクリッピング境界値に基づいてクリップされる。所定のクリッピング境界値の式は、式（２）～（４）のうちの１つとして表される。
【0104】
いくつかの実施形態では、関連する画像サンプルのセットの各々について、クリップ値インデックスは複数の連続番号（たとえば０、１、２及び３）から選択される。それぞれのクリッピング番号ｉは少なくともクリッピング値インデックスの関数であり、すなわちクリッピング値インデックスとともに変化する。また、それぞれのクリッピング番号ｉは、各クリップ値インデックスについて、ＩＢＤＩとの関係が直線となる。たとえば、クリップ値インデックスが０のとき、それぞれのクリッピング番号ｉはＩＢＤＩと等しく、クリップ値インデックスが３のとき、それぞれのクリッピング番号ｉは、ＩＢＤＩから７を減じたものと等しい。
【0105】
いくつかの実施形態では、関連する画像サンプルのセットの各々について、それぞれの関連する画像サンプルのクリップされた差は、範囲［－２ｉ，２ｉ－１］に入る。
【0106】
いくつかの実施形態では、関連する画像サンプルのセットの各々について、それぞれの関連する画像サンプルのクリップされた差が、［－２ｉ＋１，２ｉ］、［－２ｉ，２ｉ］、及び［－２ｉ＋１，２ｉ－１］を含む複数の範囲のうちの１つに入る。
【0107】
いくつかの実施形態では、関連する画像サンプルのセットの各々とそれぞれの画像サンプルとの差をクリップするステップは、論理積演算及び／又は論理和演算のみを含む。
【0108】
いくつかの実施形態では、複数の画像サンプルは、輝度サンプル５０２Ａのサブセット及び色差サンプル５０４Ａのサブセットを含む。輝度サンプル５０２Ａのサブセットは、各輝度サンプル５０２Ａの第１のフィルタ長Ｌ１における関連する輝度サンプル５０２Ｂのセットの各々の、それぞれのクリップ値インデックスを定義するクリップ値インデックスの第１のセットに対応する。色差サンプル５０４Ａのサブセットは、各色差サンプル５０４Ａの第２のフィルタ長Ｌ２における関連する色差サンプル５０４Ｂのセットの各々の、それぞれのクリップ値インデックスを定義するクリップ値インデックスの第２のセットに対応する。クリップ値インデックスの第２のセットは、クリップ値インデックスの第１のセットとは異なる。さらに、いくつかの実施形態では、クリップ値インデックスの第１及び第２のセットの各セットは、クリッピング境界値のテーブル又は式に対応し、クリップ値インデックスのそれぞれのセットにおける各クリップ値インデックスをＩＢＤＩに基づいてそれぞれのクリッピング境界値に関連づけるものである。加えて、いくつかの実施形態では、クリップ値インデックスの第１又は第２のセットに対応するクリッピング境界値のテーブル又は式は、クリッピング境界値のテーブル又は式の所定の番号から選択される。さらに、いくつかの実施形態では、クリップ値インデックスの第１及び第２のセットは、第１のクリッピング境界値のテーブル／式と、第１のクリッピング境界値のテーブル／式とは異なる第２の値のテーブル／式とに対応する。
【0109】
１つ又は複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せで実現され得る。この機能は、ソフトウェアで実現される場合には、１つ以上の命令又は符号（コード）としてコンピュータ読み取り可能な媒体に記憶されるか又は伝送されてよく、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ読み取り可能な媒体は、データ記録媒体などの有形の媒体に対応するコンピュータ読み取り可能な記録媒体、又は、たとえば通信プロトコルに従って、ある位置から別の位置へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信メディアを含み得る。このように、コンピュータ読み取り可能な媒体は、一般に（１）非一時型の有体物のコンピュータ読み取り可能な記録媒体、又は（２）信号もしくは搬送波などの通信媒体に相当し得るものである。データ記録媒体は、１つ以上のコンピュータ又は１つ以上のプロセッサによって、本出願に記述された実施形態を実現するための命令、符号及び／又はデータ構造を取り出すためにアクセスされ得る、任意の利用可能な媒体でよい。コンピュータプログラム製品はコンピュータ読み取り可能な媒体を含み得る。
【0110】
本明細書の実施形態の記述において使用される専門用語は、特定の実施形態のみを記述するためのものであり、特許請求の範囲を制限するようには意図されていない。実施形態及び添付の特許請求の範囲の記述で用いられるように、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈がはっきりと別様に示さなければ、複数形も含むように意図されている。本明細書で使用されるような「及び／又は」という用語は、関連する列挙された項目のうちの１つ又は複数の、ありとあらゆる可能な組合せを指し、かつ包含することも理解されよう。「備える」及び／又は「備えている」という用語は、本明細書で使用されたとき、明示された特徴、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、要素、構成要素、及び／又はこれらのグループの存在もしくは追加を排除するものではないがさらに理解されよう。
【0111】
様々な要素を説明するために、本明細書では第１、第２などの用語が用いられることがあるが、これらの要素は、これらの用語によって限定されるべきでないことも理解されよう。これらの用語は、単に１つの要素を別のものと区別するのに用いられる。たとえば、実施形態の範囲から逸脱することなく、第１の電極が第２の電極と称され得て、同様に、第２の電極が第１の電極と称され得る。第１の電極と第２の電極は、どちらも電極であるが同一の電極ではない。
【0112】
本出願の記述は解説及び説明のために提示されており、網羅的であること又は開示された形態の発明に限定されることは意図されていない。多くの修正形態、変形形態、及び代替の実施形態が、先の記述及び関連する図面において提示された教示内容の利益を有する当業者には明らかなはずである。実施形態は、本発明の原理や実際の用途について最も良く説明するため、他の当業者が様々な実施形態に関して本発明を理解することを可能にするため、また、基本原理と、企図された特定の使用法に適するものとしての様々な修正形態を伴う様々な実施形態とを最も良く利用するために、選択して記述されたものである。したがって、特許請求の範囲は、開示された実施形態の特定の実施例及びその修正形態に限定されず、添付の特許請求の範囲の範囲内に含まれるように他の実施形態が意図されていることを理解されたい。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
