知財求人 - 知財ポータルサイト「IP Force」
特表2025-501619ビデオコーディングのための方法、コンピューティングシステム、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-22
(54)【発明の名称】ビデオコーディングのための方法、コンピューティングシステム、及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/109 20140101AFI20250115BHJP
H04N 19/157 20140101ALI20250115BHJP
H04N 19/176 20140101ALI20250115BHJP
H04N 19/46 20140101ALI20250115BHJP
H04N 19/52 20140101ALI20250115BHJP
H04N 19/58 20140101ALI20250115BHJP
【ＦＩ】
H04N19/109
H04N19/157
H04N19/176
H04N19/46
H04N19/52
H04N19/58
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024538352
(86)(22)【出願日】2023-05-12
(85)【翻訳文提出日】2024-06-24
(86)【国際出願番号】 US2023066958
(87)【国際公開番号】W WO2023239992
(87)【国際公開日】2023-12-14
(31)【優先権主張番号】63/349,754
(32)【優先日】2022-06-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/196,368
(32)【優先日】2023-05-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ガオ，ハン
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】ジャオ，リアン
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC09
5C159MA05
5C159NN10
5C159NN11
5C159NN21
5C159RC12
5C159TA61
5C159TB08
5C159TC25
5C159TC41
5C159TC42
5C159UA02
5C159UA05
5C159UA33
(57)【要約】
ここに記載される様々な実装は、現在コーディングブロックを復号するための方法及びシステムを含む。一態様において、方法は、１つ以上の動きベクトル（ＭＶ）候補を参照ＭＶバンクから取り出すことを含む。当該方法は、第１の条件が満たされるとの判定に従って、現在コーディングブロックに関連付けられたＭＶＰリストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入された後に挿入することを含む。当該方法は、第１の条件が満たされないとの判定に従って、現在コーディングブロックに関連付けられたＭＶＰリストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入される前に挿入することを含む。当該方法は、ＭＶＰリストに基づいて現在コーディングブロックを予測することを含む。
【特許請求の範囲】
【請求項1】
１つ以上のプロセッサとメモリとを有するコンピューティングシステムが実行する、現在コーディングブロックをコーディングするための方法であって、１つ以上の動きベクトル（ＭＶ）候補を参照ＭＶバンクから取り出すステップと、
第１の条件が満たされるとの判定に従って、前記現在コーディングブロックに関連付けられた動きベクトル予測（ＭＶＰ）リストに、前記参照ＭＶバンクからの前記１つ以上のＭＶ候補を、導出されたＭＶ候補が前記ＭＶＰリストに挿入された後に挿入するステップと、
前記第１の条件が満たされないとの判定に従って、前記現在コーディングブロックに関連付けられた前記ＭＶＰリストに、前記参照ＭＶバンクからの前記１つ以上のＭＶ候補を、前記導出されたＭＶ候補が前記ＭＶＰリストに挿入される前に挿入するステップと、
前記ＭＶＰリストに基づいて前記現在コーディングブロックを予測するステップと、
を有する方法。
【請求項2】
前記１つ以上のＭＶ候補は、前記現在コーディングブロックに隣接する空間隣接ブロックから導出された空間ＭＶ予測子（ＳＭＶＰ）を含む、請求項１に記載の方法。
【請求項3】
前記第１の条件は、Ｎは８以上の整数であるとして、前記現在コーディングブロックがＮルマサンプル以上の幅を持つという条件、及び
前記現在コーディングブロックがＮルマサンプル以上の高さを持つという条件、
のうちの少なくとも一方を有する、請求項１に記載の方法。
【請求項4】
前記第１の条件は、Ｎは８以上の整数であるとして、前記現在コーディングブロックがＮルマサンプル以上の幅を持つという第１のサブ条件、及び
前記現在コーディングブロックがＮルマサンプル以上の高さを持つという第２のサブ条件、
を含む、請求項１に記載の方法。
【請求項5】
前記第１の条件が満たされないとき、前記ＭＶＰリストは、隣接ＳＭＶＰ、並べ替えられた一連のＭＶ候補、時間動きベクトル予測子（ＴＭＶＰ）候補、非隣接ＳＭＶＰ候補、前記参照ＭＶ候補バンクからの第２の候補、及び導出された候補という順番を有する、請求項１に記載の方法。
【請求項6】
前記第１の条件は、前記現在コーディングブロックの幅と前記現在コーディングブロックの高さとの積がＮ×Ｎ以上であるという条件を有し、Ｎは、ルマサンプルの数を表す整数であり、Ｎは８以上である、請求項１に記載の方法。
【請求項7】
前記第１の条件は、現在のＭＶコーディングモードが用語“ＮＥＡＲ”を含むという条件を有する、請求項１に記載の方法。
【請求項8】
前記第１の条件は、現在のＭＶコーディングモードが、前記コンピューティングシステムによって取得されたビデオストリームにおける各参照フレームリストについてＮＥＡＲモードを有するという条件を有する、請求項１に記載の方法。
【請求項9】
前記第１の条件は、現在の動きモードが並進モードであるという条件を有する、請求項１に記載の方法。
【請求項10】
前記導出されたＭＶ候補は、インター予測に基づく単一の参照フレームにおける動きベクトル、又は複合インター予測における複数の隣接参照フレームからの合成動きベクトルのいずれかから導出されたＭＶ予測子である、請求項１に記載の方法。
【請求項11】
現在コーディングブロックをコーディングするためのコンピューティングシステムであって、１つ以上のプロセッサと、
１つ以上のプログラムを格納したメモリと、
を有し、
前記１つ以上のプログラムは、前記１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに請求項１乃至１０のいずれか一項に記載の方法を実行させる、
コンピューティングシステム。
【請求項12】
コンピュータに請求項１乃至１０のいずれか一項に記載の方法を実行させるコンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
この出願は、“Systems and Methods for Motion Vector Predictor List Improvements”と題して２０２３年５月１１日に出願された米国特許出願第１８／１９６，３６８号の継続出願であって、それに対する優先権を主張するものであり、また、“Motion Vector Predictor List Improvements”と題して２０２２年６月７日に出願された米国仮特許出願第６３／３４９，７５４号に対する優先権を主張するものであり、それをその全体にてここに援用する。
【0002】
開示される実施形態は、概してビデオコーディングに関し、以下に限られないが、動きベクトル予測子リストの改善のためのシステム及び方法を含む。
【背景技術】
【0003】
デジタル映像は、例えばデジタルテレビ、ラップトップ若しくはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議機器、ビデオストリーミング機器などの様々な電子機器によってサポートされている。それらの電子機器は、通信ネットワークを横切ってデジタルビデオデータを送受信したり、その他の方法で通信したりして、デジタルビデオデータをストレージデバイスに格納する。通信ネットワークの限られた帯域幅容量及びストレージデバイスの限られたメモリリソースに起因して、ビデオデータが通信又は格納される前に、１つ以上のビデオコーディング標準に従ってビデオデータを圧縮するために、ビデオコーディングが使用され得る。
【0004】
複数のビデオコーデック標準が開発されてきた。例えば、ビデオコーディング標準は、ＡＯＭｅｄｉａビデオ１（ＡＶ１）、バーサタイルビデオコーディング（ＶＶＣ）、共同探索モデル（ＪＥＭ）、ハイエフィシェンシービデオコーディング（ＨＥＶＣ／Ｈ．２６５）、アドバンストビデオコーディング（ＡＶＣ／Ｈ．２６４）、及びムービングピクチャエキスパートグループ（ＭＰＥＧ）コーディングを含む。ビデオコーディングは、一般に、ビデオデータに生来的に備わる冗長性を活用する予測法（例えば、インター予測、イントラ予測、又はこれらに類するもの）を利用する。ビデオコーディングは、ビデオ品質への劣化を回避又は最小限に抑えながら、より低いビットレートを使用する形態へとビデオデータを圧縮することを狙いとする。
【0005】
Ｈ．２６５としても知られるＨＥＶＣは、ＭＰＥＧ－Ｈプロジェクトの一部として設計されたビデオ圧縮標準である。ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣは、ＨＥＶＣ／Ｈ．２６５標準を２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）、及び２０１６年（バージョン４）に公開した。Ｈ．２６６としても知られるバーサタイルビデオコーディング（ＶＶＣ）は、ＨＥＶＣの後継として意図されたビデオ圧縮標準である。ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣは、ＶＶＣ／Ｈ．２６６標準を２０２０年（バージョン１）及び２０２２年（バージョン２）に公開した。ＡＶ１は、ＨＥＶＣの代替として設計されたオープンビデオコーディングフォーマットである。２０１９年１月８日に、仕様の正誤表付きの認証バージョン１．０．０がリリースされた。
【発明の概要】
【0006】
本開示は、動きベクトル予測（ＭＶＰ）リストに基づいてビデオデータを復号するための改善された方法及びシステムを記述する。ビデオコーデック標準において、符号化又は復号されているブロックの動きベクトル予測の結果は、動きベクトルのリストである。このリストを形成することの主な考えは、現在ブロックについての動きベクトルは、高い確率で、それより前にコーディングされた隣接ブロックについての動きベクトルと殆ど差がなく、故に、それを予測として使用することができるというものである。現行では、ＭＶＰリスト内の動きベクトル（ＭＶ）候補を順序付けるプロセスは準最適であり、何故なら、より重要である（例えば、より正確な予測を生み出す）一部のＭＶ候補が後ろの方の位置でリストに入れられるからである。また、所定の重み付けベースの並べ替えプロセスを用いて、隣接する空間ＭＶＰ（ＳＭＶＰ）、時間ＭＶＰ（ＴＭＶＰ）、及び非隣接ＳＭＶＰのみを並べ替えており、これは、他のＭＶ候補について準最適である。
【0007】
従って、ビデオデータを符号化及び復号するためのＭＶＰリストを構築するための改善された方法及びシステムが望まれる。例えば、空間ＭＶ候補は、通常、組み合わされた（例えば、スケーリングされた）候補及びパディングされた候補（例えばゼロＭＶなど）よりも正確であるので、本開示の一部の態様によれば、１つ以上の条件が満たされるとき、参照ＭＶ候補バンクからの候補が、他のＭＶ候補よりも前にＭＶＰリストに挿入される。参照ＭＶ候補バンクからのＭＶ候補は主に空間ネイバーからのものであるので、本開示は、より正確な動きベクトル予測を有する改善されたＭＶＰリストを生成し、それにより、高められたコーディング効率をもたらす。
【0008】
一部の実施形態によれば、現在コーディングブロックを復号することを構築するための方法が、１つ以上のプロセッサ及びメモリを有するコンピューティングシステムにおいて実行される。当該方法は、１つ以上の動きベクトル（ＭＶ）候補を参照ＭＶバンクから取り出すことを含む。当該方法は、第１の条件が満たされるとの判定に従って、現在コーディングブロックに関連付けられた動きベクトル予測子（ＭＶＰ）リストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入された後に挿入することを含む。当該方法は、第１の条件が満たされないとの判定に従って、現在コーディングブロックに関連付けられたＭＶＰリストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入される前に挿入することを含む。当該方法は、ＭＶＰリストに基づいて現在コーディングブロックを予測することを含む。
【0009】
一部の実施形態によれば、例えばストリーミングシステム、サーバシステム、パーソナルコンピュータシステム、又は他の電子機器などのコンピューティングシステムが提供される。当該コンピューティングシステムは、制御回路と、１つ以上の命令セットを格納したメモリとを含む。該１つ以上の命令セットは、ここに記載される方法のうちのいずれかを実行するための命令を含む。一部の実施形態において、当該コンピューティングシステムは、エンコーダコンポーネント及び／又はデコーダコンポーネントを含む。
【0010】
一部の実施形態によれば、非一時的コンピュータ読み取り可能記憶媒体が提供される。当該非一時的コンピュータ読み取り可能記憶媒体は、コンピューティングシステムによる実行のための１つ以上の命令セットを格納する。該１つ以上の命令セットは、ここに記載される方法のうちのいずれかを実行するための命令を含む。
【0011】
従って、映像を符号化及び復号するための方法とともに機器及びシステムが開示される。そのような方法、機器、及びシステムは、映像符号化／復号のための従来の方法、機器、及びシステムを補完したり置き換えたりすることができる。
【0012】
本明細書に記載される特徴及び利点は必ずしも包括的なわけではなく、特に、この開示にて提供される図面、明細書、及び特許請求の範囲に鑑みて当業者には幾つかの追加の特徴及び利点が明らかになる。また、留意されたいことには、本明細書で使用される言葉は、主に読みやすさ及び教示目的のために選択されており、必ずしもここで説明される主題を線引きしたり境界付けたりするために選択されているわけではない。
【図面の簡単な説明】
【0013】
より詳細に本開示が理解され得るように、様々な実施形態の特徴を参照することによって、より具体的な説明が行われ、それら実施形態のうちの一部が添付の図面に示される。しかしながら、添付の図面は、本開示の関連する特徴を単に例示するものであり、従って、必ずしも限定するものと見なされるべきではなく、説明のために、当業者がこの開示を読んで理解することになるような他の有効な特徴を認めることがある。
【図1】一部の実施形態に従った通信システムの一例を示すブロック図である。
【図2A】一部の実施形態に従ったエンコーダコンポーネントの要素例を示すブロック図である。
【図2B】一部の実施形態に従ったデコーダコンポーネントの要素例を示すブロック図である。
【図3】一部の実施形態に従ったサーバシステムの一例を示すブロック図である。
【図4】一部の実施形態に従ったブロックパーティショニングを示している。
【図7】一部の実施形態に従った、マージモード・ウィズ・動きベクトル差分（ＭＭＶＤ）向けの探索点の例を示している。
【図8】一部の実施形態に従った、ＭＶ予測のために空間隣接ブロックを用いることを示している。
【図9】一部の実施形態に従った、線形投影による動きフィールド推定を示している。
【図10】一部の実施形態に従った、時間ＭＶ予測子を導出するためのブロック位置の使用を示している。
【図11】一部の実施形態に従った、単一インター予測ブロックについての追加の動きベクトル候補生成を示している。
【図12】一部の実施形態に従った、複合予測ブロックについての追加の動きベクトル候補生成を示している。
【図13】一部の実施形態に従った、参照ＭＶ候補バンク更新プロセスを示している。
【図14】一部の実施形態に従った、ＭＶＰリストを構築するためのプロセスを示している。
【図15】一部の実施形態に従った、現在コーディングブロックを復号するための方法のフロー図である。
【0014】
一般的なやり方に従って、図面に示される様々なフィーチャは必ずしも一定の縮尺で描かれているわけではなく、また、明細書及び図面全体を通して同様のフィーチャを示すために同様の参照符号を使用することがある。
【発明を実施するための形態】
【0015】
本開示は、動きベクトル予測（ＭＶＰ）リストに基づいて現在コーディングブロックを復号することを記述する。１つ以上の動きベクトル（ＭＶ）候補が参照ＭＶバンクから取り出される。第１の条件が満たされるとき、参照ＭＶバンクからのＭＶ候補は、現在コーディングブロックに関連付けられたＭＶＰリストに、導出されたＭＶ候補がＭＶＰリストに挿入された後に挿入される。第１の条件が満たされないとき、参照ＭＶバンクからのＭＶ候補は、現在コーディングブロックに関連付けられたＭＶＰリストに、導出されたＭＶ候補がＭＶＰリストに挿入される前に挿入される。ＭＶＰリストに基づいて現在コーディングブロックが予測される。導出されたＭＶ候補は、インター予測に基づく単一の参照フレームにおける（１つ以上の）動きベクトル、又は複合インター予測モードにおける複数の隣接参照フレームからの（１つ以上の）合成動きベクトル、のいずれかから導出されたＭＶ予測子である。
【0016】
システム及び機器の例
図１は、一部の実施形態に従った通信システム１００を示すブロック図である。通信システム１００は、ソース機器１０２と、１つ以上のネットワークを介して互いに通信可能に結合された複数の電子機器１２０（例えば、電子機器１２０－１から電子機器１２０－ｍ）とを含んでいる。一部の実施形態において、通信システム１００は、例えば、ビデオ会議アプリケーション、デジタルＴＶアプリケーション、並びにメディアストレージ及び／又は配信アプリケーションなどのビデオ対応アプリケーションとともに使用するための、ストリーミングシステムである。
図１は、一部の実施形態に従った通信システム１００を示すブロック図である。通信システム１００は、ソース機器１０２と、１つ以上のネットワークを介して互いに通信可能に結合された複数の電子機器１２０（例えば、電子機器１２０－１から電子機器１２０－ｍ）とを含んでいる。一部の実施形態において、通信システム１００は、例えば、ビデオ会議アプリケーション、デジタルＴＶアプリケーション、並びにメディアストレージ及び／又は配信アプリケーションなどのビデオ対応アプリケーションとともに使用するための、ストリーミングシステムである。
【0017】
ソース機器１０２は、ビデオソース１０４（例えば、カメラコンポーネント又はメディアストレージ）と、エンコーダコンポーネント１０６とを含んでいる。一部の実施形態において、ビデオソース１０４はデジタルカメラ（例えば、未圧縮ビデオサンプルストリームを作成するように構成される）である。エンコーダコンポーネント１０６は、ビデオストリームから１つ以上の符号化ビデオビットストリームを生成する。ビデオソース１０４からのビデオストリームは、エンコーダコンポーネント１０６によって生成された符号化ビデオビットストリーム１０８と比較して大きいデータ量であるとし得る。符号化ビデオビットストリーム１０８は、ビデオソースからのビデオストリームと比較してより小さいデータ量（より少ないデータ）であるので、符号化ビデオビットストリーム１０８は、ビデオソース１０４からのビデオストリームと比較して、伝送するために少ない帯域幅を必要とし、格納するために少ないストレージ空間を必要とする。一部の実施形態において、ソース機器１０２はエンコーダコンポーネント１０６を含まない（例えば、未圧縮ビデオデータを（１つ以上の）ネットワーク１１０に送信するように構成される）。
【0018】
１つ以上のネットワーク１１０は、ソース機器１０２、サーバシステム１１２、及び／又は電子機器１２０の間で情報を搬送する任意の数のネットワークを表し、例えば、ワイヤライン（有線）及び／又は無線通信ネットワークを含む。１つ以上のネットワーク１１０は、回線交換チャネル及び／又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。
【0019】
１つ以上のネットワーク１１０は、サーバシステム１１２（例えば、分散／クラウドコンピューティングシステム）を含む。一部の実施形態において、サーバシステム１１２はストリーミングサーバ（例えば、ソース機器１０２からの符号化ビデオストリームなどのビデオコンテンツを格納及び／又は配信するように構成される）であるか、それを含むかである。サーバシステム１１２はコーダコンポーネント１１４（例えば、ビデオデータを符号化及び／又は復号するように構成される）を含む。一部の実施形態において、コーダコンポーネント１１４は、エンコーダコンポーネント及び／又はデコーダコンポーネントを含む。様々な実施形態において、コーダコンポーネント１１４は、ハードウェア、ソフトウェア、又はそれらの組み合わせとしてインスタンス化される。一部の実施形態において、コーダコンポーネント１１４は、符号化ビデオビットストリーム１０８を復号し、異なる符号化標準及び／又は方法を使用してビデオデータを再符号化して、符号化ビデオデータ１１６を生成するように構成される。一部の実施形態において、サーバシステム１１２は、符号化ビデオビットストリーム１０８から複数のビデオフォーマット及び／又は符号化を生成するように構成される。
【0020】
一部の実施形態において、サーバシステム１１２は、メディアアウェアネットワーク要素（Media-Aware Network Element；ＭＡＮＥ）として機能する。例えば、サーバシステム１１２は、電子機器１２０のうちの１つ以上に対して潜在的に異なるビットストリームを仕立てるように、符号化ビデオビットストリーム１０８をプルーニングするように構成され得る。一部の実施形態では、サーバシステム１１２とは別個にＭＡＮＥが設けられる。
【0021】
電子機器１２０－１は、デコーダコンポーネント１２２及びディスプレイ１２４を含んでいる。一部の実施形態において、デコーダコンポーネント１２２は、符号化ビデオデータ１１６を復号して、ディスプレイ又は他のタイプのレンダリングデバイス上でレンダリングされることができる出力ビデオストリームを生成するように構成される。一部の実施形態において、電子機器１２０のうちの１つ以上はディスプレイコンポーネントを含まない（例えば、外付けのディスプレイ機器に通信可能に結合され、及び／又はメディアストレージを含む）。一部の実施形態において、電子機器１２０はストリーミングクライアントである。一部の実施形態において、電子機器１２０は、サーバシステム１１２にアクセスして符号化ビデオデータ１１６を取得するように構成される。
【0022】
ソース機器及び／又は複数の電子機器１２０は、“端末機器”又は“ユーザ機器”と呼ばれることがある。一部の実施形態において、ソース機器１０２、及び／又は電子機器１２０のうちの１つ以上は、サーバシステム、パーソナルコンピュータ、ポータブル機器（例えば、スマートフォン、タブレット、又はラップトップ）、ウェアラブル機器、ビデオ会議機器、及び／又は他のタイプの電子機器のインスタンスである。
【0023】
通信システム１００の動作例において、ソース機器１０２は符号化ビデオビットストリーム１０８をサーバシステム１１２に送信する。例えば、ソース機器１０２は、当該ソース機器によってキャプチャされたピクチャのストリームをコーディングし得る。サーバシステム１１２は、符号化ビデオビットストリーム１０８を受信し、コーダコンポーネント１１４を用いて符号化ビデオビットストリーム１０８を復号及び／又は符号化し得る。例えば、サーバシステム１１２は、ネットワーク伝送及び／又はストレージのためにいっそう最適な符号化をビデオデータに適用し得る。サーバシステム１１２は、符号化ビデオデータ１１６（例えば、１つ以上の符号化ビデオビットストリーム）を電子機器１２０のうちの１つ以上に送信し得る。各電子機器１２０は、符号化ビデオデータ１１６を復号してビデオピクチャを復元し、オプションでそれを表示し得る。
【0024】
一部の実施形態において、上述の送信は、単方向データ送信である。単方向データ送信は、メディアサービングアプリケーション及びそれに類するもので利用されることがある。一部の実施形態において、上述の送信は双方向データ送信である。双方向データ送信は、ビデオ会議アプリケーション及びそれに類するもので利用されることがある。一部の実施形態において、符号化ビデオビットストリーム１０８及び／又は符号化ビデオデータ１１６は、例えばＨＥＶＣ、ＶＶＣ、及び／又はＡＶ１などの、ここに記載されるビデオコーディング／圧縮標準のうちのいずれかに従って符号化及び／又は復号される。
【0025】
図２Ａは、一部の実施形態に従ったエンコーダコンポーネント１０６の要素例を示すブロック図である。エンコーダコンポーネント１０６は、ビデオソース１０４からソースビデオシーケンスを受信する。一部の実施形態において、エンコーダコンポーネントは、ソースビデオシーケンスを受信するように構成された受信器（例えば、トランシーバ）コンポーネントを含む。一部の実施形態において、エンコーダコンポーネント１０６は、リモートビデオソース（例えば、エンコーダコンポーネント１０６とは異なる機器のコンポーネントであるビデオソース）からビデオシーケンスを受信する。ビデオソース１０４は、ソースビデオシーケンスを、任意の好適なビット深さ（例えば、８ビット、１０ビット、又は１２ビット）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、又はＲＧＢ）、及び任意の好適なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、又はＹ ＣｒＣｂ ４：４：４）のものとし得るデジタルビデオサンプルストリームの形態で提供し得る。一部の実施形態において、ビデオソース１０４は、事前にキャプチャ／準備されたビデオを格納したストレージデバイスである。一部の実施形態において、ビデオソース１０４は、ローカルな画像情報をビデオシーケンスとしてキャプチャするカメラである。ビデオデータは、順に見たときに動きを伝える複数の個々のピクチャとして提供され得る。それらピクチャ自体は、ピクセルの空間アレイとして編成されることができ、各ピクセルが、使用されるサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの関係を直ちに理解することができる。以下の説明は、サンプルに焦点を当てている。
【0026】
エンコーダコンポーネント１０６は、ソースビデオシーケンスのピクチャを、リアルタイムで、又はアプリケーションによって要求される他の時間制約下で、符号化ビデオシーケンス（６４３）へと符号化及び／又は圧縮するように構成される。適切な符号化速度を強制することが、コントローラ２０４の１つの機能である。一部の実施形態において、コントローラ２０４は、後述するような他の機能ユニットを制御し、それら他の機能ユニットに帰納的に結合される。コントローラ２０４によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、及び／又はレート歪み最適化技術のラムダ値、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含み得る。当業者はコントローラ２０４の他の機能を直ちに特定することができ、何故なら、それらは、エンコーダコンポーネント１０６が特定のシステム設計に対して最適化されることに関係し得るからである。
【0027】
一部の実施形態において、エンコーダコンポーネント１０６は、コーディングループにて動作するように構成される。単純化した一例において、コーディングループは、ソースコーダ２０２（例えば、コーディングされる入力ピクチャ及び（１つ以上の）参照ピクチャに基づいて例えばシンボルストリームなどのシンボルを作成することを担う）と、（ローカル）デコーダ２１０とを含む。デコーダ２１０は、（シンボルと符号化ビデオビットストリームとの間での圧縮が可逆であるときに）（リモート）デコーダと同様にしてシンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）が、参照ピクチャメモリ２０８に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）に依存しないビット正確な結果をもたらすので、参照ピクチャメモリ２０８内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。斯くして、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに解釈するのと同じサンプル値を参照ピクチャサンプルとして解釈する。この参照ピクチャ同期性の原理（及び、例えばチャネルエラーのために、同期性を維持することができない場合に結果として生じるドリフト）は、当業者に知られている。
【0028】
デコーダ２１０の動作は、例えば図２Ｂに関連して詳細に後述するものであるデコーダコンポーネント１２２などの、リモートデコーダのものと同じであるとすることができる。しかしながら、図２Ｂを手短に参照するに、シンボルが利用可能であり、且つエントロピーコーダ２１４及びパーサ２５４によるシンボルの符号化ビデオシーケンスへの符号化／復号は可逆であるとし得るので、バッファメモリ２５２及びパーサ２５４を含むデコーダコンポーネント１２２のエントロピー復号部分は、ローカルデコーダ２１０には完全に実装されなくてよい。
【0029】
この時点で気付くことができることには、デコーダ内に存在する構文解析／エントロピー復号を除くデコーダ技術が、必ず、対応するエンコーダ内にも実質的に同じ機能的形態で存在する必要がある。この理由から、開示に係る事項はデコーダ動作に焦点を当てる。エンコーダ技術の説明は、徹底して説明されるデコーダ技術の逆であるので、省略することができる。ある特定の領域においてのみ、更なる詳細な説明が必要であり、以下にて提供される。
【0030】
その動作の一部として、ソースコーダ２０２は、ビデオシーケンスからの、参照フレームとして指定された１つ以上の先にコーディングされたフレームを参照して、入力フレームを予測的にコーディングするものである動き補償予測コーディングを実行し得る。斯くして、コーディングエンジン２１２は、入力フレームのピクセルブロックと、入力フレームに対する（１つ以上の）予測参照として選択され得る（１つ以上の）参照フレームのピクセルブロックとの間の差分をコーディングする。コントローラ２０４が、例えば、ビデオデータを符号化するのに使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ２０２のコーディング動作を管理し得る。
【0031】
デコーダ２１０は、参照フレームとして指定され得るフレームの符号化ビデオデータを、ソースコーダ２０２によって作成されたシンボルに基づいて復号する。コーディングエンジン２１２の動作は、有利には、非可逆プロセスとし得る。符号化ビデオデータがビデオデコーダ（図２Ａには示されていない）で復号されるとき、再構成されたビデオシーケンスは、幾分の誤差を伴うソースビデオシーケンスのレプリカであり得る。デコーダ２１０は、参照フレーム上でリモートビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照フレームを参照ピクチャメモリ２０８に格納させるようにし得る。斯くして、エンコーダコンポーネント１０６は、リモートビデオデコーダによって得られることになる再構成参照フレームと共通のコンテンツを持つ再構成参照フレームのコピーをローカルに格納する。
【0032】
予測器２０６は、コーディングエンジン２１２のために予測探索を実行し得る。すなわち、コーディングすべき新たなフレームに関して、予測器２０６は、新たなピクチャ用の適切な予測参照としての役割を果たし得るサンプルデータ（候補参照ピクセルブロックとして）又は例えば参照ピクチャ動きベクトルやブロック形状などの特定のメタデータについて、参照ピクチャメモリ２０８を検索し得る。予測器２０６は、適切な予測参照を見出すために、ピクセルブロック毎に動作し得る。一部のケースにおいて、予測器２０６によって得られた探索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ２０８に格納された複数の参照ピクチャから引き出された予測参照を有し得る。
【0033】
前述の全ての機能ユニットの出力が、エントロピーコーダ２１４におけるエントロピーコーディングに掛けられ得る。エントロピーコーダ２１４は、当業者に知られる技術（例えばハフマンコーディング、可変長コーディング、及び／又は算術コーディング）に従ってシンボルを可逆圧縮するによって、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスへと変換する。
【0034】
一部の実施形態において、エントロピーコーダ２１４の出力は送信器に結合される。送信器は、エントロピーコーダ２１４によって生成された（１つ以上の）符号化ビデオシーケンスをバッファリングして、それらを、通信チャネル２１８を介した伝送のために準備するように構成され得る。通信チャネル２１８は、符号化されたビデオデータを格納するストレージデバイスへのハードウェア／ソフトウェアリンクとし得る。送信器は、ソースコーダ２０２からの符号化ビデオデータを、例えば符号化オーディオデータ及び／又は補助データストリーム（ソースは図示していない）といった、送信される他のデータとマージするように構成され得る。一部の実施形態において、送信器は、符号化されたビデオとともに追加のデータを送信し得る。ソースコーダ２０２は、そのようなデータを符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、例えば冗長ピクチャ及びスライスなどの他の形態の冗長データ、補足強化情報（ＳＥＩ）メッセージ、ビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント、及びこれらに類するものを有し得る。
【0035】
コントローラ２０４は、エンコーダコンポーネント１０６の動作を管理し得る。コーディングにおいて、コントローラ２０４は、各符号化ピクチャに、それぞれのピクチャに適用されるコーディング技術に影響を及ぼし得るものである特定の符号化ピクチャタイプを割り当て得る。例えば、ピクチャは、イントラピクチャ（Ｉピクチャ）、予測ピクチャ（Ｐピクチャ）、又は双方向予測ピクチャ（Ｂピクチャ）として割り当てられ得る。イントラピクチャは、シーケンス内の如何なる他のフレームも予測のソースとして使用することなく符号化及び復号され得る。一部のビデオコーデックは、例えば独立デコーダリフレッシュ（Independent Decoder Refresh；ＩＤＲ）ピクチャを含め、複数の異なるタイプのイントラピクチャを許している。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っており、故に、それらをここで繰り返すことはしない。予測ピクチャは、各ブロックのサンプル値を予測するために、多くて１つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得る。双方向予測ピクチャは、各ブロックのサンプル値を予測するために、多くて２つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得る。同様に、多重予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャと関連メタデータとを使用することができる。
【0036】
ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６サンプルのブロック）に細分化され、ブロック毎に符号化され得る。ブロックは、それらブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは非予測的にコーディングされることができ、あるいは、それらは同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされることができる（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、又は空間予測を介して、又は１つの先にコーディングされた参照ピクチャを参照する時間予測を介してコーディングされることができる。Ｂピクチャのブロックは、非予測的に、又は空間予測を介して、又は１つ若しくは２つの先にコーディングされた参照ピクチャを参照する時間予測を介してコーディングされることができる。
【0037】
ビデオは、時間シーケンスにて複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャ内の空間的な相関を使用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を使用する。一例において、現在ピクチャと称される符号化／復号中の特定のピクチャが、複数のブロックへとパーティショニングされる。現在ピクチャ内のあるブロックが、ビデオ内の先にコーディングされ且つ依然としてバッファリングされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内の該ブロックは、動きベクトルと称されるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを特定する第３の次元を持つことができる。
【0038】
エンコーダコンポーネント１０６は、例えばここに記載されるいずれかなどの、所定のビデオコーディング技術又は標準に従ってコーディング動作を実行し得る。その動作において、エンコーダコンポーネント１０６は、入力ビデオシーケンスにおける時間的及び空間的な冗長性を活用する予測コーディング動作を含め、様々な圧縮動作を実行することができる。従って、符号化ビデオデータは、使用されるビデオコーディング技術又は標準によって規定されるシンタックスに準拠し得る。
【0039】
図２Ｂは、一部の実施形態に従ったデコーダコンポーネント１２２の要素例を示すブロック図である。図２Ｂのデコーダコンポーネント１２２は、チャネル２１８及びディスプレイ１２４に結合されている。一部の実施形態において、デコーダコンポーネント１２２は、ループフィルタ２５６に結合されてデータをディスプレイ１２４に送信する（例えば、有線又は無線接続を介して）ように構成された送信器を含む。
【0040】
一部の実施形態において、デコーダコンポーネント１２２は、チャネル２１８に結合されてデータをチャネル２１８から受信する（例えば、有線又は無線接続を介して）ように構成された受信器を含む。受信器は、デコーダコンポーネント１２２によって復号される１つ以上の符号化ビデオシーケンスを受信するように構成され得る。一部の実施形態において、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスとは独立である。各符号化ビデオシーケンスは、符号化ビデオデータを格納するストレージデバイスへのハードウェア／ソフトウェアリンクとし得るものであるチャネル２１８から受信され得る。受信器は、符号化ビデオデータを、例えば符号化オーディオデータ及び／又は補助データストリームといった他のデータとともに受信してもよく。それら他のデータはそれらそれぞれの使用エンティティ（図示せず）に転送され得る。受信器は、符号化ビデオシーケンスを他のデータから分離することができる。一部の実施形態において、受信器は、符号化ビデオとともに追加の（冗長）データを受信する。追加のデータは、（１つ以上の）符号化ビデオシーケンスの一部として含められ得る。追加のデータは、データを復号するために、及び／又は元のビデオデータをいっそう正確に再構成するために、デコーダコンポーネント１２２によって使用され得る。追加のデータは、例えば、時間的、空間的、若しくはＳＮＲエンハンスメントレイヤ、冗長スライス、冗長ピクチャ、順方向誤り訂正符号などの形態とし得る。
【0041】
一部の実施形態によれば、デコーダコンポーネント１２２は、バッファメモリ２５２、パーサ２５４（エントロピーデコーダと称されることもある）、スケーラ／逆変換ユニット２５８、イントラピクチャ予測ユニット２６２、動き補償予測ユニット２６０、アグリゲータ２６８、ループフィルタユニット２５６、参照ピクチャメモリ２６６、及び現在ピクチャメモリ２６４を含む。一部の実施形態において、デコーダコンポーネント１２２は、集積回路、一連の集積回路、及び／又は他の電子回路として実装される。一部の実施形態において、デコーダコンポーネント１２２は、少なくとも部分的にソフトウェアで実装される。
【0042】
バッファメモリ２５２は、（例えば、ネットワークジッタに対処するために）チャネル２１８とパーサ２５４との間に結合される。一部の実施形態において、バッファメモリ２５２はデコーダコンポーネント１２２とは別個である。一部の実施形態において、チャネル２１８の出力とデコーダコンポーネント１２２との間に別個のバッファメモリが設けられる。一部の実施形態では、デコーダコンポーネント１２２の内部のバッファメモリ２５２（例えば、これは再生タイミングを取り扱うように構成される）に加えて、（例えば、ネットワークジッタに対処するために）別個のバッファメモリがデコーダコンポーネント１２２の外部に設けられる。十分な帯域幅及び可制御性の格納／転送デバイスから又は等同期（isosynchronous）ネットワークからデータを受信するとき、バッファメモリ２５２は、必要とされなくてもよく、又は小さくされることができる。例えばインターネットなどのベストエフォート型パケットネットワーク上での使用では、バッファメモリ２５２が必要とされ得るとともに、比較的大きくされることができ、有利には適応可能なサイズのものとされることができ、また、少なくとも部分的に、デコーダコンポーネント１２２の外部のオペレーティングシステム又は同様の要素（図示せず）にて実装され得る。
【0043】
パーサ２５４は、符号化ビデオシーケンスからシンボル２７０を再構成するように構成される。シンボルは、例えば、デコーダコンポーネント１２２の動作を管理するために使用される情報、及び／又は例えばディスプレイ１２４などのレンダリングデバイスを制御する情報を含み得る。（１つ以上の）レンダリング装置用の制御情報は、例えば、補足強化情報（ＳＥＩ）メッセージ又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態とし得る。パーサ２５４は符号化ビデオシーケンスを解析（エントロピー復号）する。符号化ビデオシーケンスのコーディングは、ビデオコーディング技術又は標準によることができ、可変長コーディング、ハフマンコーディング、コンテキスト依存性を持つ又は持たない算術コーディングなどを含め、当業者によく知られた原理に従うことができる。パーサ２５４は、符号化ビデオシーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つに関する一組のサブグループパラメータを抽出し得る。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ２５４はまた、符号化ビデオシーケンス情報から、例えば変換係数、量子化パラメータ値、動きベクトルなどの情報を抽出し得る。
【0044】
シンボル２７０の再構成には、コーディングされたビデオピクチャ又はその部分のタイプ及び他の要因（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）に応じて、複数の異なるユニットが関与し得る。どのユニットが関与するのか、及びそれらがどのように関与するかは、パーサ２５４によって符号化ビデオシーケンスから解析されたサブグループ制御情報によって制御されることができる。パーサ２５４と以下の複数のユニットとの間でのこのようなサブグループ制御情報の流れは、明瞭さのために図示していない。
【0045】
既述の機能ブロックを超えて、デコーダコンポーネント１２２は概念的に、後述のような多数の機能ユニットに細分化されることができる。商業上の制約の下で稼働する実用的な実装において、これらのユニットのうちの多くが互いに密接にインタラクトし、少なくとも部分的に互いに統合され得る。しかしながら、開示される主題を説明するという目的のために、以下の機能ユニットへの概念的な細分化を維持することとする。
【0046】
スケーラ／逆変換ユニット２５８は、パーサ２５４からの（１つ以上の）シンボル２７０として、量子化された変換係数と制御情報（例えば、どの変換を使用すべきか、ブロックサイズ、量子化係数、及び／又は量子化スケーリング行列）とを受け取る。スケーラ／逆変換ユニット２５８は、アグリゲータ２６８に入力されることが可能なサンプル値を含むブロックを出力することができる。
【0047】
一部のケースにおいて、スケーラ／逆変換ユニット２５８の出力サンプルは、イントラコーディングされたブロック、すなわち、先行して再構成されたピクチャからの予測情報を使用していないが、現在ピクチャのうち先行して再構成された部分からの予測情報を使用することができるブロック、に関係する。このような予測情報は、イントラピクチャ予測ユニット２６２によって提供されることができる。イントラピクチャ予測ユニット２６２は、現在ピクチャメモリ２６４からの現在の（部分的に再構成された）ピクチャからフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成し得る。アグリゲータ２６８は、サンプル毎に、イントラピクチャ予測ユニット２６２が生成した予測情報を、スケーラ／逆変換ユニット２５８によって提供される出力サンプル情報に付加し得る。
【0048】
他のケースにおいて、スケーラ／逆変換ユニット２５８の出力サンプルは、インターコーディングされた、動き補償された可能性のあるブロックに関係する。このような場合、動き補償予測ユニット２６０が、参照ピクチャメモリ２６６にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルを、ブロックに関係するシンボル２７０に従って動き補償した後、これらのサンプルが、アグリゲータ２６８によって、スケーラ／逆変換ユニット２５８の出力（この場合、残差サンプル又は残差信号と称される）に付加されて、出力サンプル情報を生成することができる。そこから動き補償予測ユニット２６０が予測サンプルをフェッチする参照ピクチャメモリ２６６内のアドレスが、動きベクトルによって制御され得る。動きベクトルは、例えばＸ、Ｙ、及び参照ピクチャ成分を有し得るシンボル２７０の形態で動き補償予測ユニット２６０に利用可能であり得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されるときの、参照ピクチャメモリ２６６からフェッチされたサンプル値の補間、及び動きベクトル予測メカニズムなどを含むことができる。
【0049】
アグリゲータ２６８の出力サンプルは、ループフィルタユニット２５６にて様々なループフィルタリング技術に掛けられ得る。ビデオ圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、これは、符号化ビデオビットストリームに含められてパーサ２５４からのシンボル２７０としてループフィルタユニット２５６に利用可能にされるパラメータによって制御されるが、符号化ピクチャ又は符号化ビデオシーケンスのうちの（復号順で）先行部分の復号中に得られたメタ情報にも応答することができるとともに、先行して再構成されてループフィルタリングされたサンプル値にも応答することができる。
【0050】
ループフィルタユニット２５６の出力は、例えばディスプレイ１２４などのレンダリングデバイスに出力されることが可能なサンプルストリームとすることができ、これはまた、将来のインターピクチャ予測での使用のために参照ピクチャメモリ２６６に格納されることができる。
【0051】
ある特定の符号化ピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。符号化ピクチャが完全に再構成され、その符号化ピクチャが参照ピクチャとして（例えば、パーサ２５４によって）特定されると、現在の参照ピクチャが参照ピクチャメモリ２６６の一部となり得るとともに、次の符号化ピクチャの再構成を開始する前に新しい現在ピクチャメモリを割り当て直すことができる。
【0052】
デコーダコンポーネント１２２は、例えばここに記載された標準のうちのいずれかなど、標準において文書化され得る所定のビデオ圧縮技術に従って復号動作を実行し得る。符号化ビデオシーケンスは、ビデオ圧縮技術文書又は標準、そして具体的にはその中のプロファイル文書に規定されるビデオ圧縮技術又は標準のシンタックスを忠実に守るという意味で、使用されるビデオ圧縮技術又は標準によって規定されるシンタックスに従い得る。また、一部のビデオ圧縮技術又は標準との準拠のために、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって規定される範囲内にされ得る。一部のケースにおいて、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制約する。レベルによって設定される制限は、一部のケースで、仮説的リファレンスデコーダ（Hypothetical Reference Decoder；ＨＲＤ）仕様、及び符号化ビデオシーケンス内でシグナリングされるＨＲＤバッファ管理用のメタデータを通して更に制約され得る。
【0053】
図３は、一部の実施形態に従ったサーバシステム１１２を示すブロック図である。サーバシステム１１２は、制御回路３０２、１つ以上のネットワークインタフェース３０４、メモリ３１４、ユーザインタフェース３０６、及びこれらのコンポーネントを相互接続するための１つ以上の通信バス３１２を含んでいる。一部の実施形態において、制御回路３０２は、１つ以上のプロセッサ（例えば、ＣＰＵ、ＧＰＵ、及び／又はＤＰＵ）を含む。一部の実施形態において、制御回路は、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ハードウェアアクセラレータ、及び／又は１つ以上の集積回路（例えば、特定用途向け集積回路）を含む。
【0054】
（１つ以上の）ネットワークインタフェース３０４は、１つ以上の通信ネットワーク（例えば、無線、有線、及び／又は光ネットワーク）とインタフェースするように構成され得る。通信ネットワークは、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとすることができる。通信ネットワークの例は、例えばイーサネット（登録商標）などのローカルエリアネットワークや、無線ＬＡＮや、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及びこれらに類するものを含むセルラネットワークや、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワークや、ＣＡＮｂｕｓを含む車両及び産業などを含む。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスに対するＣＡＮｂｕｓ）、又は双方向（例えば、ローカル又はワイドエリアデジタルネットワークを用いた、他のコンピュータシステムに対する）とし得る。そのような通信は、１つ以上のクラウドコンピューティングネットワークへの通信を含むことができる。
【0055】
ユーザインタフェース３０６は、１つ以上の出力デバイス３０８及び／又は１つ以上の入力デバイス３１０を含む。（１つ以上の）入力デバイス３１０は、キーボード、マウス、トラックパッド、タッチスクリーン、データグローブ、ジョイスティック、マイクロフォン、スキャナ、カメラ、又はこれらに類するもののうちの１つ以上を含み得る。（１つ以上の）出力デバイス３０８は、オーディオ出力デバイス（例えば、スピーカ）、ビジュアル出力デバイス（例えば、ディスプレイ若しくはモニタ）、又はこれらに類するもののうちの１つ以上を含み得る。
【0056】
メモリ３１４は、高速ランダムアクセスメモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、及び／又は他のランダムアクセスソリッドステートメモリデバイスなど）及び／又は不揮発性メモリ（例えば、１つ以上の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、及び／又は他の不揮発性ソリッドステートストレージデバイスなど）を含み得る。メモリ３１４は、オプションで、制御回路３０２からリモートに位置する１つ以上のストレージデバイスを含む。メモリ３１４、又は代わりにメモリ３１４内の不揮発性ソリッドステートメモリデバイスは、非一時的コンピュータ読み取り可能記憶媒体を含む。一部の実施形態において、メモリ３１４、又はメモリ３１４の非一時的コンピュータ読み取り可能記憶媒体は、以下のプログラム、モジュール、命令、及びデータ構造を格納し、あるいは、これらのサブセット又はスーパーセットを格納する：
・様々な基本システムサービスを取り扱うための及びハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム３１６；
・１つ以上のネットワークインタフェース３０４を介して（例えば、有線及び／又は無線接続を介して）サーバシステム１１２を他のコンピューティング機器に接続するのに使用されるネットワーク通信モジュール３１８；
・例えばビデオデータなどのデータを符号化及び／又は復号することに関して様々な機能を実行するコーディングモジュール３２０。一部の実施形態において、コーディングモジュール３２０は、コーダコンポーネント１１４のインスタンスである。コーディングモジュール３２０は、以下に限られないが、以下のうちの１つ以上を含む：
・例えばデコーダコンポーネント１２２に関して前述したものなどの、符号化データを復号することに関して様々な機能を実行する復号モジュール３２２；及び
・例えばエンコーダコンポーネント１０６に関して前述したものなどの、データを符号化することに関する様々な機能を実行する符号化モジュール３４０；並びに
・例えばコーディングモジュール３２０と共に使用するための、ピクチャ及びピクチャデータを格納するピクチャメモリ３５２。一部の実施形態において、ピクチャメモリ３５２は、参照ピクチャメモリ２０８、バッファメモリ２５２、現在ピクチャメモリ２６４、及び参照ピクチャメモリ２６６のうちの１つ以上を含む。
・様々な基本システムサービスを取り扱うための及びハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム３１６；
・１つ以上のネットワークインタフェース３０４を介して（例えば、有線及び／又は無線接続を介して）サーバシステム１１２を他のコンピューティング機器に接続するのに使用されるネットワーク通信モジュール３１８；
・例えばビデオデータなどのデータを符号化及び／又は復号することに関して様々な機能を実行するコーディングモジュール３２０。一部の実施形態において、コーディングモジュール３２０は、コーダコンポーネント１１４のインスタンスである。コーディングモジュール３２０は、以下に限られないが、以下のうちの１つ以上を含む：
・例えばデコーダコンポーネント１２２に関して前述したものなどの、符号化データを復号することに関して様々な機能を実行する復号モジュール３２２；及び
・例えばエンコーダコンポーネント１０６に関して前述したものなどの、データを符号化することに関する様々な機能を実行する符号化モジュール３４０；並びに
・例えばコーディングモジュール３２０と共に使用するための、ピクチャ及びピクチャデータを格納するピクチャメモリ３５２。一部の実施形態において、ピクチャメモリ３５２は、参照ピクチャメモリ２０８、バッファメモリ２５２、現在ピクチャメモリ２６４、及び参照ピクチャメモリ２６６のうちの１つ以上を含む。
【0057】
一部の実施形態において、復号モジュール３２２は、解析モジュール３２４（例えば、パーサ２５４に関して前述した様々な機能を実行するように構成される）、変換モジュール３２６（例えば、スケーラ／逆変換ユニット２５８に関して前述した様々な機能を実行するように構成される）、予測モジュール３２８（例えば、動き補償予測ユニット２６０及び／又はイントラピクチャ予測ユニット２６２に関して前述した様々な機能を実行するように構成される）、及びフィルタモジュール３３０（例えば、ループフィルタ２５６に関して前述した様々な機能を実行するように構成される）を含む。
【0058】
一部の実施形態において、符号化モジュール３４０は、コードモジュール３４２（例えば、ソースコーダ２０２及び／又はコーディングエンジン２１２に関して前に説明した様々な機能を実行するように構成される）、及び予測モジュール３４４（例えば、予測器２０６に関して前述した様々な機能を実行するように構成される）を含む。一部の実施形態において、復号モジュール３２２及び／又は符号化モジュール３４０は、図３に示されるモジュールのうちのサブセットを含む。例えば、共有の予測モジュールが、復号モジュール３２２及び符号化モジュール３４０の両方によって使用される。
【0059】
メモリ３１４に格納された、上で特定したモジュールの各々は、ここで説明される機能を実行するための命令セットに対応する。上で特定したモジュール（例えば、命令セット）は、別々のソフトウェアプログラム、プロシージャ、又はモジュールとして実装される必要はなく、従って、様々な実施形態において、これらのモジュールの様々なサブセットが組み合わされたり、それ以外で再編成されたりし得る。例えば、コーディングモジュール３２０は、オプションで、別々の復号モジュール及び符号化モジュールを含まずに、両方の機能セットを実行するのに同じモジュールセットを使用する。一部の実施形態において、メモリ３１４は、上で特定したモジュール及びデータ構造のうちのサブセットを格納する。一部の実施形態において、メモリ３１４は、例えばオーディオ処理モジュールなどの、上述されていない追加のモジュール及びデータ構造を格納する。
【0060】
一部の実施形態において、サーバシステム１１２は、ウェブ若しくはハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、並びに、共通ゲートウェイインタフェース（ＣＧＩ）スクリプト、ＰＨＰハイパーテキストプリプロセッサ（ＰＨＰ）、アクティブサーバページ（ＡＳＰ）、ハイパーティストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、非同期ＪａｖａＳｃｒｉｐｔ＋ＸＭＬ（ＡＪＡＸ）、ＸＨＰ、Ｊａｖｅｌｉｎ、ワイヤレスユニバーサルリソースファイル（ＷＵＲＦＬ）、及びこれらに類するものを用いて実装されるウェブページ及びアプリケーションを含む。
【0061】
図３は、一部の実施形態に従ったサーバシステム１１２を示しているが、図３は、ここで説明される実施形態の構造的概略図というよりも、１つ以上のサーバシステムに存在し得る様々なフィーチャの機能的説明として意図されている。実際には、当業者によって認識されるように、別々に示されたアイテムが組み合わされてもよく、一部のアイテムが分離されてもよい。例えば、図３に別々に示された一部のアイテムが単一のサーバ上で実装されてもよく、単一のアイテムが１つ以上のサーバによって実装されてもよい。サーバシステム１１２を実装するのに使用されるサーバの実際の数、及びそれらの間でどのようにフィーチャが割り当てられるかは、実装ごとに異なることになり、オプションで、ピーク使用期間中及び平均的使用期間中にサーバシステムが取り扱うデータトラフィックの量に部分的に依存する。
【0062】
ブロックパーティショニング
【0063】
図４は、一部の実施形態に従ったブロックパーティショニングを示している。図４の上半分は、ＶＰ９におけるブロックパーティショニングを示しており、これは、６４×６４レベルから開始して下に４×４レベルまで、４ウェイのパーティションツリーを使用し、ブロック８×８以下に対して幾つかの追加の制約がある。“Ｒ”として指定されたパーティションは、最低の４×４レベルに達するまで同じパーティションツリーがより低いスケールで繰り返されるという点で再帰的（recursive）として参照される。図４の下半分は、ＡＶ１でのブロックパーティショニングを示しており、これは、パーティションツリーを１０ウェイ構造に拡張するだけでなく、１２８×１２８から開始するように最大サイズ（ＶＰ９／ＡＶ１の用語ではスーパーブロックと称される）を増加させる。１０ウェイ構造は、４：１／１：４の長方形パーティションを含み、これらの長方形パーティションはいずれも、更に細分化されることはできない。ＡＶ１は、８×８レベルより下のパーティションの使用に更なる柔軟性を追加する。例えば、２×２クロマインター予測が特定のケースで可能である。
【0064】
一部の実施形態において、ブロックパーティショニングは、様々な局所的特性に適応するために、コーディングツリーと呼ばれる四分木構造を用いることによってコーディングツリーユニット（ＣＴＵ）をコーディングユニット（ＣＵ）に分割することを含む。ピクチャエリアをインターピクチャ（時間）予測を用いてコーディングすべきか、それともイントラピクチャ（空間）予測を用いてコーディングすべきかの決定が、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従って、１つ、２つ、又は４つの予測ユニット（ＰＵ）に更に分割されることができる。１つのＰＵ内部では、同じ予測プロセスが適用され、関連情報がＰＵベースでデコーダに伝送される。ＰＵ分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、ＣＵは、該ＣＵについてのコーディングツリーのような別の四分木構造に従って変換ユニット（ＴＵ）にパーティショニングされ得る。一部の実施形態において、ブロックは、ＣＵ、ＰＵ、及びＴＵを含む複数のパーティション概念を用いてパーティショニングされる。一部の実施形態において、ＣＵ又はＴＵは正方形の形状のみであるが、ＰＵは、インター予測ブロックに対して正方形又は長方形の形状とし得る。一部の実施形態において、１つのコーディングブロックが４つの正方形サブブロックに更に分割されることができ、各サブブロック、すなわち、ＴＵに対して変換が実行される。各ＴＵは、（四分木分割を用いて）より小さいＴＵに更に再帰的に分割されることができ、これは残差四分木（ＲＱＴ）と呼ばれる。
【0065】
一部の実施形態において、ブロックパーティショニングは、四分木（ＱＴ）＋二分木（ＢＴ）構造（ＱＴＢＴ構造としても知られる）を用いることを含む。ＱＴＢＴ構造は、マルチパーティションタイプの概念を除去し、すなわち、ＱＴＢＴは、ＣＵ、ＰＵ、及びＴＵの概念の分離を除去し、ＣＵパーティション形状について、より多くの柔軟性をサポートする。ＱＴＢＴブロック構造において、ＣＵは正方形又は長方形のいずれかの形状を持つことができる。これは図５Ａに示されている。コーディングツリーユニット（ＣＴＵ）は、最初に四分木構造によってパーティショニングされる。四分木リーフノードが更に、二分木構造によってパーティショニングされる。二分木分割には、対称水平分割と対称垂直分割の２つの分割タイプが存在する。二分木リーフノードはコーディングユニット（ＣＵ）と呼ばれ、そのセグメンテーションが、如何なる更なるパーティショニングもなしに予測及び変換処理に使用される。これが意味することは、ＱＴＢＴコーディングブロック構造においてはＣＵ、ＰＵ、及びＴＵが同じブロックサイズを持つということである。一部の実施形態において、ＣＵは、異なるカラー成分のコーディングブロック（ＣＢ）を含む。例えば、４：２：０クロマフォーマットのＰスライス及びＢスライスの場合、１つのＣＵが１つのルマＣＢと２つのクロマＣＢとを含み、時々、単一のコンポーネントのＣＢで構成されることもある。他の一例として、Ｉスライスの場合、１つのＣＵが１つのルマＣＢ又は２つのクロマＣＢのみを含む。
【0066】
一部の実施形態において、以下のパラメータが、ＱＴＢＴパーティショニングスキームのために定義される：（ｉ）ＣＴＵサイズ：四分木のルートノードサイズ（例えば、ＨＥＶＣにおいてと同じ概念）；（ｉｉ）ＭｉｎＱＴＳｉｚｅ：最小許容四分木リーフノードサイズ；（ｉｉｉ）ＭａｘＢＴＳｉｚｅ：最大許容二分木ルートノードサイズ；（ｉｖ）ＭａｘＢＴＤｅｐｔｈ：最大許容二分木深さ；及び（ｖ）ＭｉｎＢＴＳｉｚｅ：最小許容二分木リーフノードサイズ。
【0067】
ＱＴＢＴパーティショニング構造の一例において、ＣＴＵサイズは、２つの対応する６４×６４ブロックのクロマサンプルを備えた１２８×１２８ルマサンプルとして設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、ＭｉｎＢＴＳｉｚｅ（幅及び高さの両方に関して）は４×４として設定され、そして、ＭａｘＢＴＤｅｐｔｈは４として設定される。先ず、ＣＴＵに四分木分割が適用されて、四分木リーフノードが生成される。四分木リーフノードは、１６×１６（ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（ＣＴＵサイズ）までのサイズを持ち得る。リーフ四分木ノードが１２８×１２８である場合、サイズがＭａｘＢＴＳｉｚｅ（６４×６４）を超えているので、それは、二分木によって更に分割されることにはならない。それ以外の場合、リーフ四分木ノードは、二分木によって更にパーティショニングされ得る。従って、四分木リーフノードは、二分木にとってのルートノードでもあり、それは０として二分木深さを持つ。二分木深さがＭａｘＢＴＤｅｐｔｈ（４）に達すると、更なる分割は検討されない。二分木ノードがＭｉｎＢＴＳｉｚｅ（４）に等しい幅を持つようになると、更なる水平分割は検討されない。同様に、二分木ノードがＭｉｎＢＴＳｉｚｅに等しい高さをもつようになると、更なる垂直分割は検討されない。二分木のリーフノードは、更なるパーティショニングなしで、予測及び変換処理によって更に処理される。ＪＥＭでは、最大ＣＴＵサイズは２５６×２５６ルマサンプルである。
【0068】
図５Ａは、ＱＴＢＴを用いたブロック５０２のパーティショニングの一例を示している。図５Ｂは、対応するツリー表現５０４を示している。実線は四分木分割を示し、点線は二分木分割を示している。二分木のノード（例えば、非リーフノード）の各分割において、どの分割タイプ（例えば、水平又は垂直）が使用されるかを指し示すために、１つのフラグがシグナリングされ、０は水平分割を指し示し、１は垂直分割を指し示す。四分木分割では、分割タイプを指し示す必要はない。何故なら、四分木分割は常に、ブロックを水平方向及び垂直方向の両方で分割して、等しいサイズの４つのサブブロックを生成するからである。
【0069】
一部の実施形態において、ＱＴＢＴスキームは、ルマ及びクロマが別々のＱＴＢＴ構造を持つ柔軟性をサポートする。現在、Ｐ及びＢスライスでは、１つのＣＴＵのルマＣＴＢ及びクロマＣＴＢが同一のＱＴＢＴ構造を共有している。しかし、Ｉスライスでは、ルマＣＴＢはＱＴＢＴ構造によってＣＵへとパーティショニングされ、クロマＣＴＢは別のＱＴＢＴ構造によってクロマＣＵへとパーティショニングされる。これが意味することは、ＩスライスにおけるＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成され、Ｐ又はＢスライスにおけるＣＵは、３つ全ての色成分のコーディングブロックで構成されるということである。
【0070】
一部の実施形態において、小ブロックについてのインター予測が、動き補償のメモリアクセスを削減するために制限され、その結果、４×８及び８×４のブロックで双方向予測がサポートされておらず、４×４ブロックでインター予測がサポートされていない。一部の実施形態では、これらの制約がＱＴＢＴにおいて取り除かれる。
【0071】
一部の実施形態において、ブロックパーティショニングは、三分木（トリプルツリー；ＴＴ）（マルチタイプツリー（ＭＴＴ）構造としても知られる）を用いて実装される。図６Ａ及び図６Ｂは、一部の実施形態に従ったＭＴＴ構造６０２及び６０４を示しているす。ＭＴＴ構造は、ＱＴＢＴに加えて水平センター－サイドトリプルツリー及び垂直センター－サイドトリプルツリーを追加する。三分木パーティショニングの利益は、（ｉ）四分木及び二分木パーティショニングの補完であり、四分木及び二分木が常にブロック中心に沿って分割するのに対して、三分木パーティショニングはブロック中心に位置するオブジェクトを捕捉することができること、及び（ｉｉ）提案された三分木のパーティションの幅及び高さは常に２のべき乗であり、それ故に追加の変換が必要とされないことを含む。
【0072】
主に複雑さの低減により、２レベルツリーの設計が動機付けられる。理論的に、ツリーを横断することの複雑さはＴＤであり、ただし、Ｔは分割タイプの数を表し、Ｄはツリーの深さである。
【0073】
マージモード・ウィズ・動きベクトル差分（ＭＭＶＤ）
【0074】
マージモードでは、黙示的に導出される動き情報が、現在ＣＵの予測サンプル生成のために直接用いられる。マージモード・ウィズ・動きベクトル差分（merge mode with motion vector differences；ＭＭＶＤ）では、ＣＵにＭＭＶＤモードが使用されるかを規定するために、スキップフラグ及びマージフラグを送った直後にＭＭＶＤフラグがシグナリングされ得る。
【0075】
ＭＭＶＤでは、マージ候補が選択された後に、それを更に、シグナリングされた（１つ以上の）動きベクトル差分（ＭＶＤ）情報によって精緻化することができる。シグナリングされる情報は、マージ候補フラグと、動きの大きさを規定するインデックスと、動き方向を示すためのインデックスとを含み得る。ＭＭＶＤモードでは、マージリスト内の最初の２つの候補についての１つが選択されてＭＶ基礎として用いられる。マージ候補フラグは、どの１つが用いられるかを規定するためにシグナリングされ得る。
【0076】
距離インデックスが、動きの大きさ情報を規定し、開始点からの所定のオフセットを示す。図７に示すように、開始動きベクトル（ＭＶ）の水平成分又は垂直成分のいずれかにオフセットが付加され得る。距離インデックスと所定のオフセットとの関係が表１にて規定され得る。
【表1】
【0077】
方向インデックスが、開始点に対するＭＶＤの方向を表す。方向インデックスは、表２に示すように、４つの方向を表すことができる。
【表2】
【0078】
一部の実施形態において、ＭＶＤの符号の意味は開始ＭＶの情報に従って変わることができる。開始ＭＶが、片方向予測ＭＶ又は両方のリストが現在ピクチャの同じ側を指す双方向予測ＭＶである（例えば、２つの参照のピクチャオーダカウント（ＰＯＣ）がどちらも現在ピクチャのＰＯＣよりも大きい、又はどちらも現在ピクチャのＰＯＣよりも小さい）とき、表２中の符号は、開始ＭＶに加算されるＭＶオフセットの符号を規定する。開始ＭＶが双方向予測ＭＶであり、２つのＭＶが現在ピクチャの異なる側を指し（例えば、一方の参照のＰＯＣが現在ピクチャのＰＯＣよりも大きく、他方の参照のＰＯＣが現在ピクチャのＰＯＣよりも小さい）、リスト０におけるＰＯＣの差がリスト１におけるＰＯＣの差よりも大きいとき、表１中の符号は、開始ＭＶのリスト０ ＭＶ成分に加算されるＭＶオフセットの符号を規定し、リスト１ ＭＶに対する符号は反対の値を持つ。そうでなく、リスト１におけるＰＯＣの差がリスト０よりも大きい場合には、表２中の符号は、開始ＭＶのリスト１ ＭＶ成分に加算されるＭＶオフセットの符号を規定し、リスト０ ＭＶに対する符号は反対の値を持つ。
【0079】
一部の実施形態において、ＭＶＤは、各方向におけるＰＯＣの差に従ってスケーリングされる。両方のリスト内のＰＯＣの差が同じである場合、スケーリングは必要とされない。そうでなく、リスト０におけるＰＯＣの差がリスト１のそれよりも大きい場合、リスト１のＭＶＤがスケーリングされる。Ｌ１のＰＯＣ差がＬ０よりも大きい場合、リスト０のＭＶＤが同様にスケーリングされる。開始ＭＶが片予測される場合、利用可能なＭＶにＭＶＤが加算される。
【0080】
対称動きベクトル差分（ＭＶＤ）コーディング
【0081】
対称ＭＶＤモードでは、リスト０及びリスト１の両方の参照ピクチャインデックスとリスト１のＭＶＤとを含む動き情報が、シグナリングされずに導出される。
【0082】
一部の実施形態において、スライスレベルでの対称ＭＶＤモードの復号プロセスは以下の通りである：変数ＢｉＤｉｒＰｒｅｄＦｌａｇ、ＲｅｆＩｄｘＳｙｍＬ０、及びＲｅｆＩｄｘＳｙｍＬ１が、次のように導出される：（ｉ）ｍｖｄ＿ｌ１＿ｚｅｒｏ＿ｆｌａｇが１である場合、ＢｉＤｉｒＰｒｅｄＦｌａｇは０に等しく設定される。（ｉｉ）そうでなく、リスト０内の最も近い参照ピクチャとリスト１内の最も近い参照ピクチャとが、参照ピクチャの前方及び後方ペア、又は参照ピクチャの後方及び前方ペアを形成する場合、ＢｉＤｉｒＰｒｅｄＦｌａｇは１に設定され、リスト０参照ピクチャ及びリスト１参照ピクチャの両方が短期参照ピクチャである。（ｉｉｉ）それ以外の場合、ＢｉＤｉｒＰｒｅｄＦｌａｇは０に設定される。
【0083】
一部の実施形態において、ＣＵレベルでの対称ＭＶＤモードの復号プロセスは以下の通りである：ＣＵが双方向予測コーディングされ且つＢｉＤｉｒＰｒｅｄＦｌａｇが１に等しい場合に、対称モードが用いられるか否かを示す対称モードフラグが明示的にシグナリングされる。対称モードフラグが真であるとき、ｍｖｐ＿ｌ０＿ｆｌａｇ、ｍｖｐ＿ｌ１＿ｆｌａｇ、及びＭＶＤ０のみが明示的にシグナリングされる。リスト０及びリスト１の参照インデックスは、それぞれ、参照ピクチャのペアに等しく設定される。ＭＶＤ１が（－ＭＶＤ０）に等しく設定される。
【0084】
インターモードコーディング
【0085】
一部の実施形態において、インターフレームでコーディングされるブロックについて、現在ブロックのモードがスキップモードではなくインターコーディングモードである場合に、現在ブロックに対して単一参照モードが用いられるのか複合参照モードが用いられるのかを示すために別のフラグがシグナリングされる。単一参照モードでは、１つの動きベクトルによって予測ブロックが生成され得る。複合参照モード（例えば、現在ブロックが２つの参照ピクチャを持つ）では、２つの動きベクトルから導出される２つの予測ブロックを加重平均することによって予測ブロックが生成される。
【0086】
一部の実施形態において、単一参照モードでシグナリングされる：
・ＮＥＡＲＭＶ － ＤＲＬ（Dynamic Reference List；動的参照リスト）インデックスによって示されるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを使用する；
・ＮＥＷＭＶ － ＤＲＬインデックスによってシグナリングされたリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、ＭＶＰにデルタを適用する；
・ＧＬＯＢＡＬＭＶ － フレームレベルのグローバル動きパラメータに基づく動きベクトルを使用する。
・ＮＥＡＲＭＶ － ＤＲＬ（Dynamic Reference List；動的参照リスト）インデックスによって示されるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを使用する；
・ＮＥＷＭＶ － ＤＲＬインデックスによってシグナリングされたリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、ＭＶＰにデルタを適用する；
・ＧＬＯＢＡＬＭＶ － フレームレベルのグローバル動きパラメータに基づく動きベクトルを使用する。
【0087】
一部の実施形態において、以下のモードが複合参照モードでシグナリングされる：
・ＮＥＡＲ＿ＮＥＡＲＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを使用する；
・ＮＥＡＲ＿ＮＥＷＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、第２のＭＶについてデルタＭＶを送信する；
・ＮＥＷ＿ＮＥＡＲＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、第１のＭＶについてデルタＭＶを送信する；
・ＮＥＷ＿ＮＥＷＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、両方のＭＶについてデルタＭＶを送信する；
・ＧＬＯＢＡＬ＿ＧＬＯＢＡＬＭＶ － フレームレベルのグローバル動きパラメータに基づいて各参照からのＭＶを使用する。
・ＮＥＡＲ＿ＮＥＡＲＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを使用する；
・ＮＥＡＲ＿ＮＥＷＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、第２のＭＶについてデルタＭＶを送信する；
・ＮＥＷ＿ＮＥＡＲＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、第１のＭＶについてデルタＭＶを送信する；
・ＮＥＷ＿ＮＥＷＭＶ － ＤＲＬインデックスによってシグナリングされるリスト内の動きベクトル予測子（ＭＶＰ）のうちの１つを参照として使用し、両方のＭＶについてデルタＭＶを送信する；
・ＧＬＯＢＡＬ＿ＧＬＯＢＡＬＭＶ － フレームレベルのグローバル動きパラメータに基づいて各参照からのＭＶを使用する。
【0088】
動きベクトル差分（ＭＶＤ）コーディング
【0089】
ＡＶ１は、１／８ピクセルの動きベクトル精度（又は正確度）を可能にしている。参照フレームリスト０又はリスト１における動きベクトル差分をシグナリングするために、以下のシンタックスが使用される：
・ｍｖ＿ｊｏｉｎｔが、動きベクトル差分のどの成分が非ゼロであるかを規定する
－ ０は、水平方向又は垂直方向のいずれに沿っても非ゼロのＭＶＤが存在しないことを示す
－ １は、水平方向に沿ってのみ非ゼロのＭＶＤが存在することを示す
－ ２は、垂直方向に沿ってのみ非ゼロのＭＶＤが存在することを示す
－ ３は、水平方向及び垂直方向の両方に沿って非ゼロのＭＶＤが存在することを示す
・ｍｖ＿ｓｉｇｎが、動きベクトル差分が正であるのか負であるのかを規定する
・ｍｖ＿ｃｌａｓｓが、動きベクトル差分のクラスを規定する。表３に示すように、クラスが高いほど、動きベクトル差分が大きい大きさを持つことを意味する
・Ｈｈｍｖ＿ｂｉｔが、動きベクトル差分と各ＭＶクラスの開始の大きさとの間のオフセットの整数部分を規定する
・ｍｖ＿ｆｒが、動きベクトル差分の最初の２つの小数ビットを規定する
・ｍｖ＿ｈｐが、動きベクトル差分の第３の小数ビットを規定する。
・ｍｖ＿ｊｏｉｎｔが、動きベクトル差分のどの成分が非ゼロであるかを規定する
－ ０は、水平方向又は垂直方向のいずれに沿っても非ゼロのＭＶＤが存在しないことを示す
－ １は、水平方向に沿ってのみ非ゼロのＭＶＤが存在することを示す
－ ２は、垂直方向に沿ってのみ非ゼロのＭＶＤが存在することを示す
－ ３は、水平方向及び垂直方向の両方に沿って非ゼロのＭＶＤが存在することを示す
・ｍｖ＿ｓｉｇｎが、動きベクトル差分が正であるのか負であるのかを規定する
・ｍｖ＿ｃｌａｓｓが、動きベクトル差分のクラスを規定する。表３に示すように、クラスが高いほど、動きベクトル差分が大きい大きさを持つことを意味する
・Ｈｈｍｖ＿ｂｉｔが、動きベクトル差分と各ＭＶクラスの開始の大きさとの間のオフセットの整数部分を規定する
・ｍｖ＿ｆｒが、動きベクトル差分の最初の２つの小数ビットを規定する
・ｍｖ＿ｈｐが、動きベクトル差分の第３の小数ビットを規定する。
【表3】
【0090】
適応ＭＶＤ解像度
【0091】
ＮＥＷ＿ＮＥＡＲＭＶモード及びＮＥＡＲ＿ＮＥＷＭＶモードについて、ＭＶＤの精度は、関連するクラス及びＭＶＤの大きさに依存する。例えば、ＭＶＤの大きさが１ピクセル以下である場合にのみ、小数ＭＶＤが許される。他の一例として、関連するＭＶクラスの値がＭＶ＿ＣＬＡＳＳ＿１以上であるとき、１つのＭＶＤ値のみが許され、各ＭＶクラスにおけるＭＶＤ値は、ＭＶクラス１（ＭＶ＿ＣＬＡＳＳ＿１）、２（ＭＶ＿ＣＬＡＳＳ＿２）、３（ＭＶ＿ＣＬＡＳＳ＿３）、４（ＭＶ＿ＣＬＡＳＳ＿４）、又は５（ＭＶ＿ＣＬＡＳＳ＿５）について４、８、１６、３２、６４として導出される。他の一例として、現在ブロックがＮＥＷ＿ＮＥＡＲＭＶモード又はＮＥＡＲ＿ＮＥＷＭＶモードとしてコーディングされる場合、ｍｖ＿ｊｏｉｎｔ又はｍｖ＿ｃｌａｓｓをシグナリングするために１つのコンテキストが使用される。そうでない（例えば、現在ブロックがＮＥＷ＿ＮｅａｒＭＶとしてコーディングされない）場合、ｍｖ＿ｊｏｉｎｔ又はｍｖ＿ｃｌａｓｓをシグナリングするために別のコンテキストが使用される。
【0092】
表４は、それぞれのＭＶクラスでの許容ＭＶＤ値を示す。
【表4】
【0093】
一部の実施形態において、２つの参照リストについてのＭＶＤが一緒にシグナリングされるかを示すために、ＪＯＩＮＴ＿ＮＥＷＭＶと呼ばれるインターコーディングモードが適用される。インター予測モードがＪＯＩＮＴ＿ＮＥＷＭＶモードに等しい場合、参照リスト０及び参照リスト１についてのＭＶＤが一緒にシグナリングされる。そうして、ｊｏｉｎｔ＿ｍｖｄと呼ばれる１つのＭＶＤのみがシグナリングされてデコーダに送られ得るとともに、参照リスト０及び参照リスト１についてのデルタＭＶがｊｏｉｎｔ＿ｍｖｄから導出される。
【0094】
一部の実施形態において、ＪＯＩＮＴ＿ＮＥＷＭＶモードは、ＮＥＡＲ＿ＮＥＡＲＭＶモード、ＮＥＡＲ＿ＮＥＷＭＶモード、ＮＥＷ＿ＮＥＡＲＭＶモード、ＮＥＷ＿ＮＥＷＭＶモード、及びＧＬＯＢＡＬ＿ＧＬＯＢＡＬＭＶモードとともにシグナリングされる。追加のコンテキストは追加されない。
【0095】
一部の実施形態において、ＪＯＩＮＴ＿ＮＥＷＭＶモードがシグナリングされ、２つの参照フレームと現在のフレームとの間のＰＯＣ距離が相異なるとき、ＰＯＣ距離に基づいて参照リスト０又は参照リスト１に対してＭＶＤがスケーリングされる。参照フレームリスト０と現在フレームとの間の距離をｔｄ０と表し、参照フレームリスト１と現在フレームとの間の距離をｔｄ１と表す。ｔｄ０がｔｄ１以上である場合、参照リスト０に対してｊｏｉｎｔ＿ｍｖｄが直接用いられ、参照リスト１についてのｍｖｄは、ｊｏｉｎｔ＿ｍｖｄから、式（１）：
に基づいて導出される。
【数1】
【0096】
そうでなく、ｔｄ１がｔｄ０以上である場合には、参照リスト１に対してｊｏｉｎｔ＿ｍｖｄが直接用いられ、参照リスト０についてのｍｖｄが、ｊｏｉｎｔ＿ｍｖｄから、式（２）：
に基づいて導出される。
【数2】
【0097】
一部の実施形態において、単一参照ケースに対して、ＡＭＶＤＭＶと呼ばれるインターコーディングモードが追加される。ＡＭＶＤＭＶモードが選択されるとき、それは、ＭＶＤをシグナリングするのにＡＭＶＤが適用されることを示す。ＪＯＩＮＴ＿ＮＥＷＭＶモードの下で、ジョイントＭＶＤコーディングモードにＡＭＶＤが適用されるかを示すために、フラグ（ａｍｖｄ＿ｆｌａｇ）が追加される。適応ＭＶＤ解像度がジョイントＭＶＤコーディングモードに適用されるとき、それをジョイントＡＭＶＤコーディングと呼び、２つの参照フレームについてのＭＶＤが一緒にシグナリングされ、ＭＶＤの精度がＭＶＤの大きさによって黙示的に決定される。そうでない場合、２つ（又は２つよりも多い）参照フレームについてのＭＶＤが一緒にシグナリングされ、従来からのＭＶＤコーディングが適用される。
【0098】
一部の実施形態において、適応動きベクトル解像度（ＡＭＶＲでは７つのＭＶ精度（８，４，２，１，１／２，１／４，１／８）をサポートする。各予測ブロックに対して、ＡＯＭビデオモデル（ＡＶＭ）エンコーダが、サポートされた全ての精度値をサーチし、最良の精度をデコーダにシグナリングする。一部の実施形態において、エンコーダ実行時間を短縮するために、２つの精度セットがサポートされる。各精度セットが４つの所定の精度を含む。フレームレベルで、そのフレームの最大精度の値に基づいて適応的に精度セットが選択される。一部の実施形態において、最大精度はフレームヘッダ内でシグナリングされる。
【0099】
表５は、フレームレベル最大精度に基づいてサポートされる精度値をまとめたものである。
【表5】
【0100】
一部の実施形態において、フレームレベルフラグが、フレームのＭＶがサブペル精度を含むか否かを示す。ｃｕｒ＿ｆｒａｍｅ＿ｆｏｒｃｅ＿ｉｎｔｅｇｅｒ＿ｍｖフラグの値が０である場合にのみ、ＡＭＶＲが有効にされる。ＡＭＶＲにおいて、ブロックの精度が最大精度よりも低い場合、動きモデル及び補間フィルタはシグナリングされない。ブロックの精度が最大精度よりも低い場合、動きモードは並進モーションと推定され、補間フィルタはＲＥＧＵＬＡＲ補間フィルタと推定される。同様に、ブロックの精度が４ペル又は８ペルのいずれかである場合、インターイントラモードはシグナリングされず、０であると推定される。
【0101】
動きベクトル予測子（ＭＶＰ）リスト
【0102】
空間動きベクトル予測子（spatial motion vector predictor；ＳＭＶＰ）（例えば、隣接ＳＭＶＰ及び非隣接ＳＭＶＰの両方）、時間ＭＶ予測子（temporal MV predictor；ＴＭＶＰ）、ＡＶ１におけるエクストラＭＶ候補、及び追加で導出されたＭＶＰ、及び参照バンクＭＶＰが、ＡＶＭ設計において更に追加される。ＭＶＰリストを格納するために、固定サイズを有するスタックがエンコーダ端及びデコーダ端の両方で生成される。
【0103】
一部の実施形態において、ＳＭＶＰは空間隣接ブロックから導出される。空間隣接ブロックは、現在ブロックの上側及び左側への直接ネイバーである隣接する空間隣接ブロックと、現在ブロックに直接には隣接しない非隣接の空間隣接ブロックとを含む。ルマブロックについての空間隣接ブロックの例示的なセットが図８に示されており、各空間隣接ブロックは８×８ブロックである。空間隣接ブロックは、現在ブロックと同じ参照フレームインデックスに関連付けられた１つ以上のＭＶを見つけるために検査される。現在ブロックについて、空間的に隣接する８×８のルマブロックの探索順序は、図８に番号１－８によって示される通りである：
１．上の隣接する行が左から右にチェックされる；
２．左に隣接する列が上から下にチェックされる；
３．右上に隣接するブロックがチェックされる；
４．左上ブロックに隣接するブロックがチェックされる；
５．上の隣接しない１つめの行が左から右にチェックされる；
６．左の隣接しない１つめの列が上から下にチェックされる；
７．上の隣接しない２つめの行が左から右にチェックされる；
８．左の隣接しない２つめの行が上から下にチェックされる。
１．上の隣接する行が左から右にチェックされる；
２．左に隣接する列が上から下にチェックされる；
３．右上に隣接するブロックがチェックされる；
４．左上ブロックに隣接するブロックがチェックされる；
５．上の隣接しない１つめの行が左から右にチェックされる；
６．左の隣接しない１つめの列が上から下にチェックされる；
７．上の隣接しない２つめの行が左から右にチェックされる；
８．左の隣接しない２つめの行が上から下にチェックされる。
【0104】
一部の実施形態において、隣接候補（図８における候補１－３）は、ＴＭＶＰの前でＭＶ予測子リストに挿入され、非隣接（外側候補としても知られ、すなわち、図８における候補４－８）は、ＴＭＶＰの後でＭＶ予測子リストに入れられる。全てのＳＭＶＰ候補が現在ブロックと同じ参照ピクチャを持つべきである。現在ブロックが単一の参照ピクチャを持ち、ＭＶＰ候補が単一参照ピクチャを有し、この参照ピクチャが現在ブロックの参照ピクチャと同じである場合、又はＭＶＰ候補が複合参照ピクチャ（例えば、２つの参照ピクチャ）を有し、それらの参照ピクチャのうちの１つが現在ブロックの参照ピクチャと同じである場合、このＭＶＰ候補はＭＶ予測子リストに入れられることになる。現在ブロックが２つの参照ピクチャを持つ場合、ＭＶＰ候補は、当該ＭＶＰ候補が２つの参照ピクチャを持ち、これら２つの参照ピクチャが現在ブロックの参照ピクチャと同じであるときにのみ、ＭＶ予測子リストに入れられることになる。
【0105】
一部の実施形態では、ラインメモリを減らすために、さらに、図８のライン５及び７によって表される外側候補が非隣接候補から除かれる。
【0106】
一部の実施形態において、ＴＭＶＰは、参照フレーム内のコロケートブロックを用いて導出されることができる。ＴＭＶＰを生成するために、先ず、参照フレームのＭＶが、それぞれの参照フレームに関連付けられた参照インデックスとともに格納される。その後、現在フレームの各８×８ブロックについて、その軌跡が該８×８ブロックを通過する参照フレームのＭＶが特定され、参照フレームインデックスとともに時間ＭＶバッファに格納される。単一参照フレームを使用するインター予測では、参照フレームが前方参照フレームであるか後方参照フレームであるかにかかわらず、ＭＶが、将来フレームの時間動きベクトル予測を行うために８×８単位で格納される。複合インター予測では、前方ＭＶのみが、将来フレームの時間動きベクトル予測を行うために８×８単位で格納される。
【0107】
図９は、参照フレーム１（Ｒ１）９０８に対応した、Ｒ１からＲ１の参照フレーム９０２を指す動きベクトルＭＶｒｅｆ９１０を示している。そうする際に、ＭＶｒｅｆ９１０は、現在フレーム９０６の８×８ブロック９１４を通過する。ＭＶｒｅｆ９１０は、８×８ブロック９１４に関連付けられた時間ＭＶバッファに格納される。ＴＭＶＰを導出するための動き投影プロセスにおいて、参照フレームは、所定の順序、すなわち、ＬＡＳＴ＿ＦＲＡＭＥ、ＢＷＤＲＥＦ＿ＦＲＡＭＥ、ＡＬＴＲＥＦ＿ＦＲＡＭＥ、ＡＬＴＲＥＦ２＿ＦＲＡＭＥ、そして、ＬＡＳＴ２＿ＦＲＡＭＥという順序で走査される。（走査順において）より高いインデックスの参照フレームからのＭＶは、（走査順において）より低いインデックスの参照フレームによって割り当てられた先に特定されたＭＶを置き換えない。所定のブロック座標が与えられると、時間ＭＶバッファに格納された関連するＭＶが特定されて現在ブロック上に投影されることで、現在ブロック９１４からその参照フレーム９０４を指す時間ＭＶ予測子（例えば、ＭＶ０ ９１２）が導出される。
【0108】
図１０は、一部の実施形態に従った、１６×１６ブロックの時間ＭＶ予測子を導出するための所定のブロック位置を示している。最大７つのブロック（例えば、ブロックＢ０－Ｂ６）が、有効な時間ＭＶ予測子についてチェックされる。時間ＭＶ予測子は、隣接空間ＭＶ予測子の後であるが、非隣接空間ＭＶ予測子の前にチェックされる。
【0109】
ＭＶ予測子を導出するために、全ての空間及び時間ＭＶ候補がプールされ、各予測子に、空間及び時間隣接ブロックの走査中に決定された重みが割り当てられる。関連する重みに基づいて、候補がソート及びランク付けされ、最大４つの候補が特定されてＭＶ予測子リストに追加される。ＭＶ予測子のこのリストは、動的参照リスト（ＤＲＬ）とも呼ばれ、次のサブセクションで説明するように、更に動的ＭＶ予測モードで使用される。
【0110】
エクストラＭＶＰ候補についての追加探索
一部の実施形態において、ＭＶＰリストが依然として満杯でない場合、追加の探索が実行され、ＭＶＰリストを満たすためにエクストラＭＶＰ候補が使用される。エクストラＭＶＰ候補は、例えば、グローバルＭＶと、ゼロＭＶと、スケーリングなしの組み合わられた複合ＭＶとを含む。
一部の実施形態において、ＭＶＰリストが依然として満杯でない場合、追加の探索が実行され、ＭＶＰリストを満たすためにエクストラＭＶＰ候補が使用される。エクストラＭＶＰ候補は、例えば、グローバルＭＶと、ゼロＭＶと、スケーリングなしの組み合わられた複合ＭＶとを含む。
【0111】
ＭＶＰ候補並べ替えプロセス
一部の実施形態において、ＭＶＰリストに追加される隣接ＳＭＶＰ候補、ＴＭＶＰ候補、非隣接ＳＭＶＰ候補が並べ替えられる。一部の実施形態において、並べ替えプロセスは各候補の重みに基づく。候補の重みは、現在ブロックと候補ブロックとの重なり合う面積に応じて予め定められる。一部の実施形態において、外側／非隣接候補及びＴＭＶＰ候補の重み付けは、並べ替えプロセス中に考慮されず、これは、並べ替えプロセスが隣接候補のみに影響を及ぼすことを意味する。
一部の実施形態において、ＭＶＰリストに追加される隣接ＳＭＶＰ候補、ＴＭＶＰ候補、非隣接ＳＭＶＰ候補が並べ替えられる。一部の実施形態において、並べ替えプロセスは各候補の重みに基づく。候補の重みは、現在ブロックと候補ブロックとの重なり合う面積に応じて予め定められる。一部の実施形態において、外側／非隣接候補及びＴＭＶＰ候補の重み付けは、並べ替えプロセス中に考慮されず、これは、並べ替えプロセスが隣接候補のみに影響を及ぼすことを意味する。
【0112】
導出されたＭＶＰ候補
一部の実施形態において、導出されたＭＶＰ候補は、単一参照ピクチャ及び複合モードの両方の導出されたＭＶＰを含む。
一部の実施形態において、導出されたＭＶＰ候補は、単一参照ピクチャ及び複合モードの両方の導出されたＭＶＰを含む。
【0113】
単一インター予測
一部の実施形態において、隣接ブロックの参照フレームが現在ブロックの参照フレームとは異なるが、同じ方向にある場合、時間スケーリングアルゴリズムを利用して、そのＭＶをその参照フレームにスケーリングして、現在ブロックの動きベクトルについてのＭＶＰを形成することができる。図１１は、時間スケーリングを用いて現在ブロック１１０８の動きベクトルＭＶ０ １１０４についてのＭＶＰを導出するために、隣接ブロック１１０６からのＭＶ１ １１０２が利用され得る一例を示している。
一部の実施形態において、隣接ブロックの参照フレームが現在ブロックの参照フレームとは異なるが、同じ方向にある場合、時間スケーリングアルゴリズムを利用して、そのＭＶをその参照フレームにスケーリングして、現在ブロックの動きベクトルについてのＭＶＰを形成することができる。図１１は、時間スケーリングを用いて現在ブロック１１０８の動きベクトルＭＶ０ １１０４についてのＭＶＰを導出するために、隣接ブロック１１０６からのＭＶ１ １１０２が利用され得る一例を示している。
【0114】
複合インター予測
一部の実施形態において、現在ブロックのＭＶＰを導出するために、相異なる隣接ブロックからの合成ＭＶが利用されるが、合成ＭＶの参照フレームは現在ブロックと同じである必要がある。図１２に示すように、ＭＶ２ １２０２及びＭＶ３ １２０６からなる合成ＭＶは、現在ブロック１２１０と同じ参照フレームを持つが、それらは、相異なる隣接ブロックからのものである。図１２は、フレームＦ３内の別の参照ブロック１２１２を指す現在フレームＦ４内の現在ブロック１２１０の動きベクトルＭＶ０ １２０４と、（例えば、別の方向に）フレームＦ５内の別の参照ブロック１２１４を指す現在ブロック１２１０の動きベクトルＭＶ１ １２０８とを示している。
一部の実施形態において、現在ブロックのＭＶＰを導出するために、相異なる隣接ブロックからの合成ＭＶが利用されるが、合成ＭＶの参照フレームは現在ブロックと同じである必要がある。図１２に示すように、ＭＶ２ １２０２及びＭＶ３ １２０６からなる合成ＭＶは、現在ブロック１２１０と同じ参照フレームを持つが、それらは、相異なる隣接ブロックからのものである。図１２は、フレームＦ３内の別の参照ブロック１２１２を指す現在フレームＦ４内の現在ブロック１２１０の動きベクトルＭＶ０ １２０４と、（例えば、別の方向に）フレームＦ５内の別の参照ブロック１２１４を指す現在ブロック１２１０の動きベクトルＭＶ１ １２０８とを示している。
【0115】
図１３は、一部の実施形態に従った、コンピューティングシステム（例えば、サーバシステム１１２、ソース機器１０２、又は電子機器１２０）の一部である又はそれと通信可能に接続されることができる参照ＭＶ候補バンク１３０２を示している。一部の実施形態において、各バッファが、それぞれ単一インターモード及び複合インターモードをカバーする単一の参照フレーム又は一対の参照フレームに対応する一意の参照フレームタイプに対応する。一部の実施形態において、全てのバッファが同じサイズである。一部の実施形態において、新しいＭＶが満杯のバッファに追加されるとき、該新しいＭＶのための場所を空けるために既存のＭＶが追い出される。
【0116】
コーディングブロックは、参照ＭＶリスト生成で得られたものに加えて、ＭＶ候補バンクを参照して参照ＭＶ候補を収集することができる。スーパーブロックをコーディングした後、ＭＶ候補バンク１３０２は、該スーパーブロックのコーディングブロックによって使用されたＭＶで更新される。
【0117】
一部の実施形態において、各タイルが、該タイル内の全てのスーパーブロックによって利用される独立したＭＶ参照バンクを持つ。各タイルを符号化することの開始時に、対応するバンクが空（エンプティ）にされる。その後、そのタイル内の各スーパーブロックをコーディングする間、バンクからのＭＶがＭＶ参照候補として使用され得る。スーパーブロックを符号化することの終了時にバンクが更新される。
【0118】
図１３は、一部の実施形態に従った、スーパーブロックに基づく参照ＭＶ候補バンク１３０２の更新プロセスを示している。スーパーブロックがコーディングされた後、該スーパーブロック内のコーディングブロックによって使用された最初の例えば（最大６４個の）候補ＭＶが、参照ＭＶ候補バンク１３０２に追加される。一部の実施形態において、この更新中にプルーニングプロセスも含まれる。一部の実施形態において、参照ＭＶ候補について走査した後、候補リスト内に空きスロットが存在する場合、コーデックアルゴリズムは、更なるＭＶ候補のために（一致する参照フレームタイプのバッファ内の）ＭＶ候補バンク１３０２を参照することができる。バッファの終わりから開始して始まりまで、バンクバッファ内のＭＶが、リスト内に既に存在しているのでなければ、候補リストに追加される。
【0119】
図１４は、一部の実施形態に従った、動きベクトル予測子（ＭＶＰ）リストを構築するためのプロセス１４００を示している。一部の実施形態において、ＭＶＰリストは、完全なプルーニングを用いて以下の順序で構築される。一部の実施形態において、当該プロセスは、隣接するＳＭＶＰを挿入すること（１４０４）によって開始する（１４０２）。当該プロセスは、既存の候補についての並べ替えステップ１４０６を含み、それに、ＴＭＶＰ １４０８、非隣接ＳＭＶＰ １４１０、導出されたＭＶＰ候補１４１２、エクストラＭＶＰ候補１４１４、及び参照ＭＶ候補バンク（例えば、参照ＭＶ候補バンク１３０２）からの候補１４１６が続く。
【0120】
図１５は、一部の実施形態に従った、現在コーディングブロックを復号するための方法１５００を示すフロー図である。方法１５００は、制御回路と、該制御回路による実行のための命令を格納したメモリと、を有するコンピューティングシステム（例えば、サーバシステム１１２、ソース機器１０２、又は電子機器１２０）にて実行され得る。一部の実施形態において、方法１５００は、コンピューティングシステムのメモリ（例えば、メモリ３１４）に格納された命令を実行することによって実行される。
【0121】
システムは、１つ以上の動きベクトル（ＭＶ）候補を参照ＭＶバンクから取り出す（１５０２）。第１の条件が満たされるとの判定に従って、システムは、現在コーディングブロックに関連付けられた動きベクトル予測（ＭＶＰ）リストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入された後に挿入する（１５０４）。第１の条件が満たされないとの判定に従って、システムは、現在コーディングブロックに関連付けられたＭＶＰリストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入される前に挿入する（１５０６）。システムは、ＭＶＰリストに基づいて現在コーディングブロックを予測する（１５０８）。
【0122】
（Ａ１）一態様において、一部の実施形態は、現在コーディングブロックを復号するための方法（例えば、方法１５００）を含む。一部の実施形態において、当該方法は、メモリ及び制御回路を有するコンピューティングシステム（例えば、サーバシステム１１２）にて実行される。一部の実施形態において、当該方法は、コーディングモジュール（例えば、コーディングモジュール３２０）にて実行される。当該方法は、１つ以上の動きベクトル（ＭＶ）候補を参照ＭＶバンクから取り出すことを含む。当該方法は、
一部の実施形態において、参照候補バンク（例えば、参照ＭＶ候補バンク１３０２）からの候補は、導出された候補より前にＭＶＰリストに挿入され、その結果、ＭＶＰリストは、以下の順序によって構築され、すなわち、隣接ＳＭＶＰ、既存の候補についての並べ替えプロセス、ＴＭＶＰ候補、非隣接ＳＭＶＰ候補、参照ＭＶ候補バンクからの候補、導出された候補、及びエクストラ候補、の順序によって構築される。
一部の実施形態において、参照候補バンク（例えば、参照ＭＶ候補バンク１３０２）からの候補は、導出された候補より前にＭＶＰリストに挿入され、その結果、ＭＶＰリストは、以下の順序によって構築され、すなわち、隣接ＳＭＶＰ、既存の候補についての並べ替えプロセス、ＴＭＶＰ候補、非隣接ＳＭＶＰ候補、参照ＭＶ候補バンクからの候補、導出された候補、及びエクストラ候補、の順序によって構築される。
【0123】
一部の実施形態において、導出されたＭＶ候補は、インター予測モードに基づく単一の参照フレームにおける１つ以上の動きベクトル、又は複合インター予測モードにおける複数の隣接参照フレームからの合成動きベクトルのいずれかから導出されたＭＶ予測子である。
【0124】
一部の実施形態において、参照候補バンクからの候補は、条件付きで、導出された候補より前にＭＶＰリストに挿入される。例えば、１つの条件が満たされる場合、元のＭＶＰリスト順序が用いられ、そうではなく、その条件が満たされない場合、異なる順序又はコンテンツを有する新たなＭＶＰリストが構築される。
【0125】
一部の実施形態において、参照候補バンクからの候補は、条件付きで、導出された候補より前にＭＶＰリストに挿入される。例えば、１つの条件が満たされる場合、元のＭＶＰリスト順序が用いられ、そうでない場合（例えば、その条件が満たされない場合）、ＭＶＰリストは、以下の順序によって構築され、すなわち、隣接ＳＭＶＰ、既存の候補についての並べ替えプロセス、ＴＭＶＰ候補、非隣接ＳＭＶＰ候補、参照ＭＶ候補バンクからの候補、導出された候補、及びエクストラ候補、の順序によって構築される。
【0126】
一部の実施形態において、幅≧Ｎ且つ／或いは高さ≧Ｎという条件が満たされる場合（例えば、Ｎは、以下に限られないが、８、１６、３２、又は６４ルマサンプルに等しいとし得る）、元のＭＶＰリスト順序が用いられ（例えば、参照ＭＶ候補バンクからの候補がＭＶＰリストの最後に挿入される）、そうではなく、幅＜Ｎ又は高さ＜Ｎである場合、参照ＭＶ候補バンクからの候補が、導出された候補の前に挿入される。
【0127】
一部の実施形態において、幅≧Ｎ且つ／或いは高さ≧Ｎという条件が満たされる場合（例えば、Ｎは、以下に限られないが、８、１６、３２、又は６４ルマサンプルに等しい）、元のＭＶＰリスト順序が用いられ（例えば、参照ＭＶ候補バンクからの候補がＭＶＰリストの最後に置かれる）、そうではなく、幅＜Ｎ且つ高さ＜Ｎである場合、参照ＭＶ候補バンクからの候補が、導出された候補の前に挿入される。
【0128】
一部の実施形態において、幅×高さ≧Ｎ×Ｎという条件が満たされる場合（例えば、Ｎは、以下に限られないが、８、１６、３２、又は６４ルマサンプルに等しい）、元のＭＶＰリスト順序が用いられ（例えば、参照ＭＶ候補バンクからの候補がＭＶＰリストの最後に置かれる）、そうではなく、幅×高さ＜Ｎ×Ｎである場合、参照ＭＶ候補バンクからの候補は、導出された候補の前に挿入されることになる。
【0129】
一部の実施形態において、現在のＭＶコーディングモードが“ＮＥＡＲ”を含む場合（例えば、単一参照のケースでのＮＥＡＲＭＶ、又は複合参照のケースでの、ＮＥＡＲ＿ＮＥＷＭＶ、ＮＥＷ＿ＮＥＡＲＭＶ、ＮＥＡＲ＿ＮＥＡＲＭＶ、及び例えばオプティカルフローなどのそれらの拡張）、元のＭＶＰリスト順序が用いられ（例えば、参照ＭＶ候補バンクからの候補がＭＶＰリストの最後に置かれる）、そうではなく、現在のＭＶコーディングモードが“ＮＥＡＲ”を含まない場合（例えば、単一参照でのＮＥＷＭＶ、並びに複合参照でのＮＥＷ＿ＮＥＷＭＶ及びＪＯＩＮＴ＿ＮＥＷＭＶ、並びに例えばオプティカルフローなどのそれらの拡張）、参照ＭＶ候補バンクからの候補が、導出された候補の前に挿入される。
【0130】
一部の実施形態において、現在のＭＶコーディングモードが各参照フレームリストについてＮＥＡＲを含む場合（例えば、単一参照のケースでのＮＥＡＲＭＶ、複合参照のケースでのＮＥＡＲ＿ＮＥＡＲＭＶ、及び例えばオプティカルフローなどのそれらの拡張）、元のＭＶＰリスト順序が用いられ（例えば、参照ＭＶ候補バンクからの候補がＭＶＰリストの最後に置かれる）、そうではなく、現在のＭＶコーディングモードが全ての参照フレームリストについてＮＥＡＲを含まない場合（例えば、単一参照でのＮＥＷＭＶ、及び複合参照でのＮＥＷ＿ＮＥＷＭＶ、ＮＥＡＲ＿ＮＥＷＭＶ、ＮＥＷ＿ＮＥＡＲＭＶ及びＪＯＩＮＴ＿ＮＥＷＭＶ、並びに例えばオプティカルフローなどのそれらの拡張）、参照ＭＶ候補バンクからの候補が、導出された候補の前に挿入される。
【0131】
一部の実施形態において、現在の動きモードが並進である場合、元のＭＶＰリスト順序が用いられ、そうでない場合（例えば、動きモードがワープ又はｏｂｍｃである）、異なる順序又はコンテンツを有する新たなＭＶＰリストが構築される。
【0132】
図１５は、幾つかの論理ステージを特定の順序で示しているが、順序依存ではないステージは並べ替えられてもよく、また、他のステージが組み合わされたり分解されたりしてもよい。特に言及されていない何らかの並べ替え又は他のグループ化が当業者には明らかになるのであり、ここで提示された順序付け及びグループ化は網羅的ではない。また、認識されるべきことには、これらのステージは、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせで実装され得る。
【0133】
次に、一部の実施形態例を参照する。
【0134】
（Ａ１）一態様において、一部の実施形態は、現在コーディングブロックを復号するための方法（例えば、方法１５００）を含む。一部の実施形態において、当該方法は、メモリ及び制御回路を有するコンピューティングシステム（例えば、サーバシステム１１２）にて実行される。一部の実施形態において、当該方法は、コーディングモジュール（例えば、コーディングモジュール３２０）にて実行される。当該方法は、１つ以上の動きベクトル（ＭＶ）候補を参照ＭＶバンクから取り出すことを含む。当該方法は、第１の条件が満たされるとの判定に従って、現在コーディングブロックに関連付けられたＭＶＰリストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入された後に挿入し、第１の条件が満たされないとの判定に従って、現在コーディングブロックに関連付けられたＭＶＰリストに、参照ＭＶバンクからの上記１つ以上のＭＶ候補を、導出されたＭＶ候補がＭＶＰリストに挿入される前に挿入し、ＭＶＰリストに基づいて現在コーディングブロックを予測する、ことを含む。
【0135】
（Ａ２）Ａ１の一部の実施形態において、上記１つ以上のＭＶ候補は、現在コーディングブロックに隣接する空間隣接ブロックから導出された空間ＭＶ予測子（ＳＭＶＰ）を含む。これは図８に示されている。
【0136】
（Ａ３）Ａ１又はＡ２の一部の実施形態において、第１の条件は、Ｎは８以上の整数であるとして、（ｉ）現在コーディングブロックがＮルマサンプル以上の幅を持つという条件、及び（ｉｉ）現在コーディングブロックがＮルマサンプル以上の高さを持つという条件、のうちの少なくとも一方を有する。
【0137】
（Ａ４）Ａ１－Ａ３のいずれかの一部の実施形態において、第１の条件は、Ｎは８以上の整数であるとして、（ｉ）現在コーディングブロックがＮルマサンプル以上の幅を持つという第１のサブ条件、及び（ｉｉ）現在コーディングブロックがＮルマサンプル以上の高さを持つという第２のサブ条件を含む。
【0138】
（Ａ５）Ａ１－Ａ４のいずれかの一部の実施形態において、第１の条件が満たされないとき、ＭＶＰリストは、隣接ＳＭＶＰ、並べ替えられた一連のＭＶ候補、時間動きベクトル予測子（ＴＭＶＰ）候補、非隣接ＳＭＶＰ候補、参照ＭＶ候補バンクからの第２の候補、及び導出された候補という順番を有する。
【0139】
（Ａ６）Ａ１－Ａ５のいずれかの一部の実施形態において、第１の条件は、現在コーディングブロックの幅と現在コーディングブロックの高さとの積がＮ×Ｎ以上であるという条件を有し、Ｎは、ルマサンプルの数を表す整数であり、Ｎは８以上である。
【0140】
（Ａ７）Ａ１－Ａ６のいずれかの一部の実施形態において、第１の条件は、現在のＭＶコーディングモードが用語“ＮＥＡＲ”を含む（例えば、単一参照のケースでのＮＥＡＲＭＶ、又は複合参照のケースでの、ＮＥＡＲ＿ＮＥＷＭＶ、ＮＥＷ＿ＮＥＡＲＭＶ、ＮＥＡＲ＿ＮＥＡＲＭＶ、及び例えばオプティカルフローなどのそれらの拡張）という条件を有する。
【0141】
（Ａ８）Ａ１－Ａ７のいずれかの一部の実施形態において、第１の条件は、現在のＭＶコーディングモードが、コンピューティングシステムによって取得されたビデオストリームにおける各参照フレームリストについてＮＥＡＲモードを有するという条件を有する。
【0142】
（Ａ９）Ａ１－Ａ８のいずれかの一部の実施形態において、第１の条件は、現在の動きモードが並進モードであるという条件を有する。
【0143】
（Ａ１０）Ａ１－Ａ９のいずれかの一部の実施形態において、導出されたＭＶ候補は、インター予測モードに基づく単一の参照フレームにおける動きベクトル（又は１つ以上の動きベクトル）、又は複合インター予測モードにおける複数の隣接参照フレームからの合成動きベクトル（又は１つ以上の合成動きベクトル）のいずれかから導出されたＭＶ予測子である。
【0144】
他の一態様において、一部の実施形態は、制御回路（例えば、制御回路３０２）と、該制御回路に結合されたメモリ（例えば、メモリ３１４）とを含むコンピューティングシステム（例えば、サーバシステム１１２）を含み、メモリは、制御回路によって実行されるように構成された１つ以上の命令セットを格納し、該１つ以上の命令セットは、ここで説明された方法（例えば、上のＡ１－Ａ９）のうちのいずれかを実行するための命令を含む。
【0145】
更なる他の一態様において、一部の実施形態は、コンピューティングシステムの制御回路による実行のための１つ以上の命令セットを格納した非一時的コンピュータ読み取り可能記憶媒体を含み、該１つ以上の命令セットは、ここで説明された方法（例えば、上のＡ１－Ａ９）のうちのいずれかを実行するための命令を含む。
【0146】
理解されることには、様々な要素を説明するためにここでは用語“第１”、“第２”などが使用されていることがあるが、それらの要素はこれらの用語によって限定されるべきでない。これらの用語は、１つの要素を別の要素から区別するためにのみ使用されている。
【0147】
ここで使用される用語は、特定の実施形態を説明することのみを目的としており、請求項を限定することは意図していない。実施形態の説明及び添付の請求項において使用されるとき、単数形の“ａ”、“ａｎ”、及び“ｔｈｅ”は、文脈が別のことを明確に示していない限り、複数形も同様に含むことを意図している。これまた理解されることには、ここで使用される用語“及び／又は”は、関連して列挙されるアイテムのうちの１つ以上のありとあらゆる可能な組み合わせを指し、それらを包含する。更に理解されることには、用語“含む”及び／又は“含んでいる”は、この明細書中で使用されるとき、述べられるフィーチャ、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を指定するが、１つ以上の他のフィーチャ、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらのグループの存在又は追加を排除しない。
【0148】
ここで使用されるとき、用語“場合”は、文脈に応じて、述べられる先行条件が真である“ときに”、又は“それを受けて”、又は“そう決定することに応答して”、又は“その決定に従って”、又は“そう検出したことに応答して”を意味するように解釈されることができる。同様に、“［述べられる先行条件が真である］と決定された場合”、又は“［述べられる先行条件が真である］場合”、又は“［述べられる先行条件が真である］とき”という句は、文脈に応じて、述べられる先行条件が真であることを“決定したことを受けて”、又は“決定したことに応答して”、又は“決定に従って”又は“検出したことを受けて”、又は“検出したことに応答して”を意味するように解釈されることができる。
【0149】
以上の記載は、説明の目的で、特定の実施形態を参照して記述されている。しかしながら、上での例示的な説明は、網羅的であることや、開示されたままの形態に請求項を限定することを意図していない。上の教示に鑑みて数多くの変更及び変形が可能である。これらの実施形態は、動作の原理及び実用的な用途を最もうまく説明し、それによって他の当業者ができるようにするために選択されて説明されたものである。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】