特表2024-534354ビデオコーディングのためのデコーダ側動きベクトル改良のための適応双方向マッチング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-20
(54)【発明の名称】ビデオコーディングのためのデコーダ側動きベクトル改良のための適応双方向マッチング
(51)【国際特許分類】
H04N 19/567 20140101AFI20240912BHJP
H04N 19/192 20140101ALI20240912BHJP
【ＦＩ】
H04N19/567
H04N19/192
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024515628
(86)(22)【出願日】2022-09-07
(85)【翻訳文提出日】2024-03-11
(86)【国際出願番号】 US2022076032
(87)【国際公開番号】W WO2023044253
(87)【国際公開日】2023-03-23
(31)【優先権主張番号】63/245,577
(32)【優先日】2021-09-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/929,891
(32)【優先日】2022-09-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】セレジン、バディム
(72)【発明者】
【氏名】ファン、ハン
(72)【発明者】
【氏名】カルチェビチ、マルタ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159NN11
5C159NN21
5C159TA62
5C159TB08
5C159TC08
5C159TC18
5C159TD17
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
ビデオデータを符号化又は復号する例示的な方法は、反復探索プロセスを実行することを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、反復探索プロセスを実行することは、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含む、動きベクトルを決定することと、動きベクトルを使用してビデオデータのブロックを符号化又は復号することとを含む。
【特許請求の範囲】
【請求項1】
ビデオデータを符号化又は復号する方法であって、反復探索プロセスを実行することを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、前記反復探索プロセスを実行することが、
前の探索反復を通して最小コストを決定することと、
現在の探索反復を通して総最小コストを更新することと、
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの比較に基づいて、前記反復探索プロセスを早期に終了することとを含む、動きベクトルを決定することと、
前記動きベクトルを使用してビデオデータの前記ブロックを符号化又は復号することと
を含む、方法。
【請求項2】
前記前の探索反復が、前記反復探索プロセスにおいて前記現在の探索反復の直前にある、請求項１に記載の方法。
【請求項3】
候補位置の少なくとも現在のサブセットに基づいて、前記現在の探索反復を通して前記総最小コストを計算することを更に含む、請求項１に記載の方法。
【請求項4】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了することが、前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの差分を計算することと、
差分閾値に対する前記差分に基づいて前記反復探索プロセスを早期に終了することと
を含む、請求項１に記載の方法。
【請求項5】
前記差分閾値が、前記ブロックのサイズに基づく、請求項４に記載の方法。
【請求項6】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了することが、前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの比を計算することと、
比閾値に対する前記比に基づいて前記反復探索プロセスを早期に終了することと
を含む、請求項１に記載の方法。
【請求項7】
前記比閾値が、固定されるか、又は前記ブロックのサイズに基づく、請求項６に記載の方法。
【請求項8】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了することが、前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの差分を計算することと、
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの差分に対する前記前の探索反復を通した前記最小コストの比を計算することと、
比閾値に対する前記比に基づいて前記反復探索プロセスを早期に終了することと
を含む、請求項１に記載の方法。
【請求項9】
前記比閾値が、固定されるか、又は前記ブロックのサイズに基づく、請求項８に記載の方法。
【請求項10】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了することが、前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較、及び前記前の探索反復を通した前記最小コストと前記現在の探索反復の最小コストとの比較に基づいて、前記反復探索プロセスを早期に終了すること
を含む、請求項１に記載の方法。
【請求項11】
前記反復探索プロセスが、３回以上の反復を含む、請求項１に記載の方法。
【請求項12】
前記反復探索プロセスを実行することが、双方向マッチング又はテンプレートマッチングを実行することを含む、請求項１に記載の方法。
【請求項13】
ビデオデータを処理するためのデバイスであって、前記ビデオデータを記憶するように構成されたメモリと、
処理回路とを備え、前記処理回路は、
反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、前記ビデオデータのブロックのための動きベクトルを決定するように構成され、ここで、前記反復探索プロセスを実行するために、前記処理回路が、
前の探索反復を通して最小コストを決定し、
現在の探索反復を通して総最小コストを更新し、
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの比較に基づいて、前記反復探索プロセスを早期に終了する
ように更に構成され、
前記動きベクトルを使用してビデオデータの前記ブロックを符号化又は復号する
ように構成される、デバイス。
【請求項14】
前記前の探索反復が、前記現在の探索反復の直前にある、請求項１３に記載のデバイス。
【請求項15】
前記反復探索プロセスを実行するために、前記処理回路が、候補位置の少なくとも現在のサブセットに基づいて、前記現在の探索反復を通して前記総最小コストを計算するように更に構成される、請求項１３に記載のデバイス。
【請求項16】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了するために、前記処理回路が、前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの差分を計算し、
差分閾値に対する前記差分に基づいて前記反復探索プロセスを早期に終了する
ように更に構成される、請求項１３に記載のデバイス。
【請求項17】
前記差分閾値が、前記ブロックのサイズに基づく、請求項１６に記載のデバイス。
【請求項18】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了するために、前記処理回路が、前記現在の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの比を計算し、
比閾値に対する前記比に基づいて前記反復探索プロセスを早期に終了する
ように更に構成される、請求項１３に記載のデバイス。
【請求項19】
前記比閾値が、固定されるか、又は前記ブロックのサイズに基づく、請求項１８に記載のデバイス。
【請求項20】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了するために、前記処理回路が、前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの差分を計算し、
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記差分に対する前記前の探索反復を通した前記最小コストの比を計算し、
比閾値に対する前記比に基づいて早期に前記反復探索プロセスを終了するように更に構成される、請求項１３に記載のデバイス。
【請求項21】
前記比閾値が、固定されるか、又は前記ブロックのサイズに基づく、請求項２０に記載のデバイス。
【請求項22】
前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較に基づいて前記反復探索プロセスを早期に終了するために、前記処理回路が、前記前の探索反復を通した前記最小コストと前記現在の探索反復を通した前記総最小コストとの前記比較、及び前記前の探索反復を通した前記最小コストと前記現在の探索反復の最小コストとの比較に基づいて、前記反復探索プロセスを早期に終了する
ように更に構成される、請求項１３に記載のデバイス。
【請求項23】
前記反復探索プロセスが、３回以上の反復を含む、請求項１３に記載のデバイス。
【請求項24】
前記反復探索プロセスを実行するために、前記処理回路が、双方向マッチング又はテンプレートマッチングを実行するように構成される、請求項１３に記載のデバイス。
【請求項25】
前記ビデオデータを表示するように構成されたディスプレイを更に備える、請求項１３に記載のデバイス。
【請求項26】
前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、又はセットトップボックスのうちの１つ以上を備える、請求項１３に記載のデバイス。
【請求項27】
前記デバイスが、前記ビデオデータをキャプチャするように構成されたカメラを備える、請求項１３に記載のデバイス。【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
[0001] 本出願は、２０２２年９月６日に出願された米国特許出願第１７／９２９，８９１号、及び２０２１年９月１７日に出願された米国特許仮出願第６３／２４５，５７７号の優先権を主張し、両出願の内容全体が参照により本明細書に組み込まれる。２０２２年９月６日に出願された米国特許出願第１７／９２９，８９１号は、２０２１年９月１７日に出願された米国特許仮出願第６３／２４５，５７７号の利益を主張する。
[0001] 本出願は、２０２２年９月６日に出願された米国特許出願第１７／９２９，８９１号、及び２０２１年９月１７日に出願された米国特許仮出願第６３／２４５，５７７号の優先権を主張し、両出願の内容全体が参照により本明細書に組み込まれる。２０２２年９月６日に出願された米国特許出願第１７／９２９，８９１号は、２０２１年９月１７日に出願された米国特許仮出願第６３／２４５，５７７号の利益を主張する。
【0002】
[0002] 本開示は、ビデオ符号化及びビデオ復号に関する。
【背景技術】
【0003】
[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー又は衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）、ＩＴＵ－Ｔ Ｈ．２６６／汎用ビデオコーディング（ＶＶＣ）によって定義された規格、及びそのような規格の拡張、並びにＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）などのプロプライエタリビデオコーデック／フォーマットに記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶する場合がある。
【0004】
[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間（ピクチャ内）予測及び／又は時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（例えば、ビデオピクチャ又はビデオピクチャの一部分）は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）及び／又はコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測又は他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれる場合があり、参照ピクチャは参照フレームと呼ばれる場合がある。
【発明の概要】
【0005】
[0005] 一般に、本開示は、ビデオコーデックにおけるインター予測に関連する技法を記載する。より具体的には、本開示は、動きベクトルを決定及び／又は改良するための反復探索プロセスのデコーダ側動きベクトル改良及び早期終了に関するデバイス及び技法について説明する。ビデオエンコーダ／デコーダは、前の探索反復を通して最小コストを決定し、現在の探索反復を通して総最小コストを更新するように構成され得る。次いで、反復探索プロセスは、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、早期に終了され得る。このようにして、探索反復探索プロセスは、連続する探索反復の間にわずかな改善が観察されたときに早期に終了され得る。したがって、本開示の技法は、歪みを実質的に増大させることなく、計算複雑性を低減し得る。
【0006】
[0006] 一例では、本開示は、ビデオデータを復号する方法について説明し、方法は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、反復探索プロセスが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含む、動きベクトルを決定することと、動きベクトルを使用してビデオデータのブロックを復号することとを含む。
【0007】
[0007] 別の例では、本開示は、ビデオデータを符号化するための方法について説明し、方法は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、反復探索プロセスが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することを含む、動きベクトルを決定することと、動きベクトルを使用してビデオデータのブロックを符号化することとを含む。
【0008】
[0008] 別の例では、ビデオデータを復号するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、処理回路とを含み、処理回路は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定し、反復探索プロセスが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含み、動きベクトルを使用してビデオデータのブロックを復号するように構成される。
【0009】
[0009] 別の例では、ビデオデータを符号化するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、処理回路とを含み、処理回路は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定し、反復探索プロセスが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含み、動きベクトルを使用してビデオデータのブロックを符号化するように構成される。
【0010】
[0010] １つ以上の例の詳細が、添付図面及び以下の説明に記載されている。他の特徴、目的、及び利点が、説明、図面、及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0011】
【図1】[0011] 本開示の技法を実施し得る例示的なビデオ符号化及び復号システムを示すブロック図である。
【図2】[0012] 空間マージ候補の位置の一例を示す。
【図3】[0013] 時間マージ候補のための動きベクトルスケーリングの一例を示す。
【図4】[0014] 時間マージ候補のための例示的な候補位置を示す。
【図5】[0015] 双方向（bilateral）マッチングの一例を示す。
【図6】[0016] 双方向オプティカルフローにおいて使用される拡張コーディングユニット領域の一例を示す。
【図7】[0017] マルチパスデコーダ側動き改良のための例示的なダイヤモンド探索領域を示す。
【図8】[0018] 初期動きベクトルの周辺の探索領域に対して実行されるテンプレートマッチングの一例を示す。
【図9】[0019] 本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図である。
【図10】[0020] 本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図である。
【図11】[0021] 本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。
【図12】[0022] 本開示の技法による、現在ブロックを復号するための例示的な方法を示すフローチャートである。
【図13】[0023] 本開示の一例による、反復探索プロセスを早期に終了するための例示的な方法を示すフローチャートである。
【図14】[0024] 本開示の技法による、現在ブロックを復号するための別の例示的な方法を示すフローチャートである。
【図15】[0025] 本開示の技法による、現在ブロックを符号化するための別の例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【0012】
[0026] いくつかの例示的なインター予測技法では、ビデオデコーダは、動きベクトルを決定及び／又は改良するために反復探索プロセスを実行するように構成され得る。いくつかの例示的な技法は、双方向マッチングデコーダ側動きベクトル改良（ＤＭＶＲ）及びテンプレートマッチングを含む。例示的なデコーダ側動き探索プロセスでは、双方向マッチングベースのＤＭＶＲ又はテンプレートマッチングのいずれかについて、コスト基準が定義され、事前定義された探索領域内の候補位置についてのコストを計算するために使用される。最小コストを有する候補位置に関連付けられた動き情報は、反復探索プロセスの出力であり得る。探索プロセスは、複数回の反復で実行され得る。各反復において、探索領域内の候補位置のサブセットが評価される。一般に、初期位置と候補位置との間の距離は、各反復の後に増加する。言い換えれば、現在の探索反復における候補位置は、前の反復の位置よりも初期点から更に離れていてもよい。
【0013】
[0027] 変数ｍｉｎＣｏｓｔは、反復探索プロセス中に計算された最小コストを表し得、ｍｉｎＣｏｓｔは、反復探索プロセス中にそれまでに決定された反復探索プロセスの最小コストを表し得る。いくつかの早期終了方法が、探索プロセスを終了するために適用され得る。いくつかの例では、ｍｉｎＣｏｓｔが閾値未満である場合、探索プロセスは終了され得るか、又は最小コストをもつ最良の候補位置が１つのサブセットから次のサブセットに（例えば、１つの反復から次の反復に）変更されなかった場合、探索プロセスは終了され得る。
【0014】
[0028] しかしながら、いくつかの例では、反復探索プロセス中に計算されたｍｉｎＣｏｓｔは、閾値よりも大きいままであるが、閾値未満に適時に減少する速度で減少しないことがある。したがって、ｍｉｎＣｏｓｔを閾値と単純に比較することは、ピクチャ歪みにおけるわずかな改善を有する一方で、デコーダ側動きベクトル導出におけるより長い復号時間及びより大きい計算複雑性の例につながり得る。
【0015】
[0029] 計算複雑性を更に低減し、デコーダ側動きベクトル導出における効率を改善するために、ビデオエンコーダ／デコーダは、前の探索反復を通して最小コストを決定し、現在の探索反復を通して総最小コストを更新するように構成され得る。言い換えれば、ビデオエンコーダ／デコーダは、前の探索反復を通して最小コストを決定し、現在の探索反復を通して総最小コストを決定し得る。次いで、反復探索プロセスは、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、早期に終了され得る。いくつかの例では、前の探索反復を通して最小コストを決定することは、すべての前の探索反復の最小コストを決定することを含み得る。いくつかの例では、反復探索プロセスを早期に終了することは、本明細書で開示する反復探索プロセスが、反復探索プロセスの通常の終了よりも早く終了される能力を有し得ることを意味し得る（すなわち、反復探索プロセスは、反復探索反復を通した最小コスト（例えば、上記で説明したｍｉｎＣｏｓｔ）と閾値との比較に基づいて終了される）。前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとを比較することによって反復探索プロセスを終了することは、歪みを実質的に増加させることなく計算複雑性を低減し得る。
【0016】
[0030] いくつかの例では、反復探索プロセスは、差分閾値に対する、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に基づいて、早期に終了され得る。いくつかの例では、差分が差分閾値よりも小さい場合、探索プロセスは終了する。いくつかの例では、反復探索プロセスは、比閾値に対する、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比に基づいて、早期に終了され得る。いくつかの例では、反復探索プロセスは、比閾値に対する、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比に基づいて、早期に終了され得る。いくつかの例では、閾値は、コーディングされているブロックのサイズなど、コーディングされているブロックの特性に基づき得る。
【0017】
[0031] このようにして、連続する探索反復間のわずかな改善のみが観察されたときに、反復探索プロセスが早期に終了され得る。上記で説明した早期終了技法を使用して反復探索プロセスを早期に終了することによって、歪みを実質的に増加させることなく、デコーダ側動きベクトル導出における計算複雑性を低減し得る。
【0018】
[0032] 上記で説明した早期終了技法は、３回以上の反復を有する探索プロセスを伴うデコーダ側動きベクトル導出技法のいずれかとともに使用され得る。一例では、上記で説明した早期終了技法は、ＤＭＶＲの双方向マッチング又はテンプレートマッチングのいずれかにおいて適用され得る。他の例では、上記で説明した早期終了技法は、他の早期終了方法とともに使用してもよい。
【0019】
[0033] 図１は、本開示の技法を実施し得る例示的なビデオ符号化及び復号システム１００を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディングする（符号化及び／又は復号）することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工の符号化されていないビデオ、符号化されたビデオ、復号された（例えば、再構成された）ビデオ、及びシグナリングデータなどのビデオメタデータを含んでよい。
【0020】
[0034] 図１に示されるように、この例では、システム１００は、デスティネーションデバイス１１６によって復号され表示されるべき、符号化されたビデオデータを提供するソースデバイス１０２を含む。具体的には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してデスティネーションデバイス１１６にビデオデータを提供する。ソースデバイス１０２及びデスティネーションデバイス１１６は、デスクトップコンピュータ、ノートブック（例えば、ラップトップ）コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲にわたるデバイスのいずれかを備えてもよい。場合によっては、ソースデバイス１０２及びデスティネーションデバイス１１６は、ワイヤレス通信に対応し得るので、ワイヤレス通信デバイスと呼ばれ得る。
【0021】
[0035] 図１の例では、ソースデバイス１０２は、ビデオソース１０４、メモリ１０６、ビデオエンコーダ２００、及び出力インターフェース１０８を含む。デスティネーションデバイス１１６は、入力インターフェース１２２、ビデオデコーダ３００、メモリ１２０、及び表示デバイス１１８を含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００及びデスティネーションデバイス１１６のビデオデコーダ３００は、デコーダ側動きベクトル導出のための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの例を表し、一方でデスティネーションデバイス１１６はビデオ復号デバイスの例を表す。他の例では、ソースデバイス及びデスティネーションデバイスは、他のコンポーネント又は構成を含み得る。例えば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信してもよい。同様に、デスティネーションデバイス１１６は、一体型表示デバイスを含むのではなく、外部表示デバイスとインターフェースしてもよい。
【0022】
[0036] 図１に示すようなシステム１００は一例にすぎない。一般に、任意のデジタルビデオ符号化及び／又は復号デバイスは、デコーダ側動きベクトル導出のための技法を実行し得る。ソースデバイス１０２及びデスティネーションデバイス１１６は、ソースデバイス１０２がデスティネーションデバイス１１６への送信のためにコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。本開示は、データのコーディング（符号化及び／又は復号）を実施するデバイスを「コーディング」デバイスと呼ぶ。したがって、ビデオエンコーダ２００及びビデオデコーダ３００は、コーディングデバイス、具体的には、それぞれ、ビデオエンコーダ及びビデオデコーダの例を表す。いくつかの例では、ソースデバイス１０２及びデスティネーションデバイス１１６は、ソースデバイス１０２及びデスティネーションデバイス１１６の各々がビデオ符号化及び復号コンポーネントを含むように、実質的に対称的に動作し得る。したがって、システム１００は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、又はビデオ電話のための、ソースデバイス１０２とデスティネーションデバイス１１６との間での一方向又は双方向のビデオ送信をサポートし得る。
【0023】
[0037] 一般に、ビデオソース１０４は、ビデオデータ（例えば、未加工の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続した一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためのデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラなどの、ビデオキャプチャデバイス、以前にキャプチャされた未加工のビデオを含むビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオ、アーカイブされたビデオ、及びコンピュータ生成されたビデオの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、事前にキャプチャされたビデオデータ、又はコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、受信された順序（「表示順序」と呼ばれることがある）からコーディングのためのコーディング順序へと、ピクチャを並べ替え得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は次いで、例えばデスティネーションデバイス１１６の入力インターフェース１２２によって、受信及び／又は取り出しのために、出力インターフェース１０８を介してコンピュータ可読媒体１１０へと、符号化されたビデオデータを出力し得る。
【0024】
[0038] ソースデバイス１０２のメモリ１０６及びデスティネーションデバイス１１６のメモリ１２０は、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、未加工のビデオデータ、例えば、ビデオソース１０４からの未加工のビデオと、ビデオデコーダ３００からの未加工の復号されたビデオデータとを記憶し得る。追加又は代替として、メモリ１０６、１２０は、例えばビデオエンコーダ２００及びビデオデコーダ３００によってそれぞれ実行可能なソフトウェア命令を記憶し得る。メモリ１０６及びメモリ１２０は、この例ではビデオエンコーダ２００及びビデオデコーダ３００とは別個に示されるが、ビデオエンコーダ２００及びビデオデコーダ３００がまた、機能的に類似の又は均等な目的のために内部メモリを含み得ることを理解されたい。更に、メモリ１０６、１２０は、例えばビデオエンコーダ２００から出力されビデオデコーダ３００へと入力される、符号化されたビデオデータを記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、例えば、未加工の復号されたビデオデータ及び／又は符号化されたビデオデータを記憶するための、１つ又は複数のビデオバッファとして割り振られ得る。
【0025】
[0039] コンピュータ可読媒体１１０は、ソースデバイス１０２からデスティネーションデバイス１１６に符号化されたビデオデータを移すことが可能な任意のタイプの媒体又はデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、例えば、無線周波数ネットワーク又はコンピュータベースのネットワークを介して、ソースデバイス１０２がリアルタイムでデスティネーションデバイス１１６に符号化されたビデオデータを直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調してもよく、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調してもよい。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ若しくは複数の物理伝送線路などの、任意のワイヤレス又は有線の通信媒体を備えてよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成してよい。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス１０２からデスティネーションデバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0026】
[0040] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化されたデータを出力し得る。同様に、デスティネーションデバイス１１６は、入力インターフェース１２２を介して、記憶デバイス１１２からの符号化されたデータにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散された又はローカルでアクセスされるデータ記憶媒体のうちのいずれかを含み得る。
【0027】
[0041] いくつかの例では、ソースデバイス１０２は、符号化ビデオデータを、ソースデバイス１０２によって生成された符号化されたビデオデータを記憶し得るファイルサーバ１１４又は別の中間記憶デバイスに出力し得る。デスティネーションデバイス１１６は、ストリーミング又はダウンロードを介して、ファイルサーバ１１４からの記憶されたビデオデータにアクセスし得る。
【0028】
[0042] ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータをデスティネーションデバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（例えば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）又はＦｉｌｅ Ｄｅｌｉｖｅｒｙ ｏｖｅｒ Ｕｎｉｄｉｒｅｃｔｉｏｎａｌ Ｔｒａｎｓｐｏｒｔ（ＦＬＵＴＥ）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔ Ｍｕｌｔｉｃａｓｔ Ｓｅｒｖｉｃｅ（ＭＢＭＳ）若しくはＥｎｈａｎｃｅｄ ＭＢＭＳ（ｅＭＢＭＳ）サーバ、及び／又はネットワークアタッチトストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加又は代替として、Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ（ＨＬＳ）、Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ（ＲＴＳＰ）、ＨＴＴＰ Ｄｙｎａｍｉｃ Ｓｔｒｅａｍｉｎｇなどの１つ又は複数のＨＴＴＰストリーミングプロトコルを実装し得る。
【0029】
[0043] デスティネーションデバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通じて、ファイルサーバ１１４からの符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、又はファイルサーバ１１４に記憶されている符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すか若しくは受信するための、上で論じられた様々なプロトコル又はメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つ又は複数に従って動作するように構成され得る。
【0030】
[0044] 出力インターフェース１０８及び入力インターフェース１２２は、ワイヤレス送信機／受信機、モデム、有線ネットワーキング構成要素（例えば、Ｅｔｈｅｒｎｅｔ（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のうちのいずれかに従って動作するワイヤレス通信構成要素、又は他の物理構成要素を表してよい。出力インターフェース１０８及び入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８及び入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）」（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８及び入力インターフェース１２２は、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（例えば、ＺｉｇＢｅｅ（商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２及び／又はデスティネーションデバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。例えば、ソースデバイス１０２は、ビデオエンコーダ２００及び／又は出力インターフェース１０８に起因する機能を実行するためのＳｏＣデバイスを含んでもよく、デスティネーションデバイス１１６は、ビデオデコーダ３００及び／又は入力インターフェース１２２に起因する機能を実行するためのＳｏＣデバイスを含んでもよい。
【0031】
[0045] 本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上で符号化されているデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、又は他の適用例などの、様々なマルチメディア適用例のうちのいずれかをサポートするビデオコーディングに適用されてよい。
【0032】
[0046] デスティネーションデバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（例えば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から、符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロック又は他のコード化ユニット（例えば、スライス、ピクチャ、ピクチャグループ、シーケンスなど）の特性及び／又は処理を記述する値を有するシンタックス要素などの、ビデオデコーダ３００によっても使用されるビデオエンコーダ２００によって規定されるシグナリング情報を含んでよい。表示デバイス１１８は、復号されたビデオデータの復号されたピクチャをユーザに表示する。表示デバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプの表示デバイスなどの、様々な表示デバイスのいずれかを表し得る。
【0033】
[0047] 図１には示されないが、いくつかの例では、ビデオエンコーダ２００及びビデオデコーダ３００は各々、オーディオエンコーダ及び／又はオーディオデコーダと統合されてもよく、共通のデータストリームの中のオーディオとビデオの両方を含む多重化されたストリームを扱うために、適切なＭＵＸ－ＤＥＭＵＸユニット、又は他のハードウェア及び／若しくはソフトウェアを含んでもよい。
【0034】
[0048] ビデオエンコーダ２００及びビデオデコーダ３００は各々、１つ若しくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せなどの、様々な適切なエンコーダ及び／又はデコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために１つ又は複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ２００及びビデオデコーダ３００の各々は、１つ又は複数のエンコーダ又はデコーダに含まれてもよく、それらのいずれもが、それぞれのデバイスの中で複合エンコーダ／デコーダ（コーデック）の一部として統合されてもよい。ビデオエンコーダ２００及び／又はビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信デバイスを備えてもよい。
【0035】
[0049] ビデオエンコーダ２００及びビデオデコーダ３００は、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５などのビデオコーディング規格、又は、マルチビュー及び／若しくはスケーラブルビデオコーディング拡張などのそれらの拡張に従って動作し得る。代替として、ビデオエンコーダ２００及びビデオデコーダ３００は、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６などの、他のプロプライエタリ規格又は業界規格に従って動作し得る。他の例では、ビデオエンコーダ２００及びビデオデコーダ３００は、ＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）、ＡＶ１の拡張、及び／又はＡＶ１の後継バージョン（例えば、ＡＶ２）など、プロプライエタリビデオコーデック／フォーマットに従って動作し得る。他の例では、ビデオエンコーダ２００及びビデオデコーダ３００は、他のプロプライエタリフォーマット又は業界規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格又はフォーマットにも限定されない。一般に、ビデオエンコーダ２００及びビデオデコーダ３００は、デコーダ側動きベクトル導出技法を使用する任意のビデオコーディング技法とともに本開示の技法を実行するように構成され得る。
【0036】
[0050] 一般に、ビデオエンコーダ２００及びビデオデコーダ３００は、ピクチャのブロックベースのコーディングを実施してもよい。「ブロック」という用語は、一般に、処理される（例えば、符号化及び／又は復号プロセスにおいて符号化、復号、又は他の方法で使用される）べきデータを含む構造を指す。例えば、ブロックは、輝度及び／又は色度データのサンプルの２次元行列を含んでよい。一般に、ビデオエンコーダ２００及びビデオデコーダ３００は、ＹＵＶ（例えば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルに対する赤、緑、及び青（ＲＧＢ）のデータをコーディングするのではなく、ビデオエンコーダ２００及びビデオデコーダ３００は、輝度成分及び色度成分をコーディングしてよく、色度成分は、赤色と青色の両方の色度成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化する前に、受信されたＲＧＢフォーマットされたデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替として、前処理ユニット及び後処理ユニット（図示せず）が、これらの変換を実行してもよい。
【0037】
[0051] 本開示は、一般に、ピクチャのデータを符号化又は復号するプロセスを含むものとして、ピクチャのコーディング（例えば、符号化及び復号）に言及することがある。同様に、本開示は、ブロックのためのデータを符号化又は復号するプロセス、例えば予測及び／又は残差コーディングを含むものとして、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、一般に、コーディング決定（例えば、コーディングモード）及びブロックへのピクチャの区分を表すシンタックス要素のための一連の値を含む。したがって、ピクチャ又はブロックをコーディングすることへの言及は、一般に、ピクチャ又はブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。
【0038】
[0052] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）を含む、様々なブロックを規定する。ＨＥＶＣによると、（ビデオエンコーダ２００などの）ビデオコーダは、４分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵ及びＣＵを４個の等しい重複しない正方形に区分し、４分木の各ノードは、０個又は４個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つ若しくは複数のＰＵ及び／又は１つ若しくは複数のＴＵを含んでよい。ビデオコーダはＰＵ及びＴＵを更に区分し得る。例えば、ＨＥＶＣでは、残差４分木（ＲＱＴ）はＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表し、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード表示などのイントラ予測情報を含む。
【0039】
[0053] 別の例として、ビデオエンコーダ２００及びビデオデコーダ３００は、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分木２分木（ＱＴＢＴ）構造又はマルチタイプツリー（ＭＴＴ）構造などの木構造に従って、ＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵ、ＰＵ、及びＴＵの間の分離などの、複数の区分タイプの概念を排除する。ＱＴＢＴ構造は、２つのレベル、すなわち、４分木区分に従って区分された第１のレベル、及び２分木区分に従って区分された第２のレベルを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。２分木のリーフノードは、コーディングユニット（ＣＵ）に対応する。
【0040】
[0054] ＭＴＴ区分構造では、ブロックは、４分木（ＱＴ）区分、２分木（ＢＴ）区分、及び１つ又は複数のタイプの３分木（ＴＴ：triple tree）（３元木（ＴＴ：ternary tree）とも呼ばれる）区分を使用して区分され得る。３分木区分又は３元木区分は、ブロックが３個のサブブロックに分割される区分である。いくつかの例では、３分木区分又は３元木区分は、中心を通って元のブロックを分割することなく、ブロックを３個のサブブロックに分割する。ＭＴＴにおける区分タイプ（例えば、ＱＴ、ＢＴ、及びＴＴ）は対称又は非対称であり得る。
【0041】
[0055] ＡＶ１コーデックに従って動作するとき、ビデオエンコーダ２００及びビデオデコーダ３００は、ブロック中のビデオデータをコーディングするように構成され得る。ＡＶ１では、処理され得る最大コーディングブロックは、スーパーブロックと呼ばれる。ＡＶ１では、スーパーブロックは、１２８×１２８ルーマサンプル又は６４×６４ルーマサンプルのいずれかであり得る。しかしながら、後継ビデオコーディングフォーマット（例えば、ＡＶ２）では、スーパーブロックは、異なる（例えば、より大きい）ルーマサンプルサイズによって定義され得る。いくつかの例では、スーパーブロックは、ブロック４分木のトップレベルである。ビデオエンコーダ２００は、更に、スーパーブロックをより小さいコーディングブロックに区分し得る。ビデオエンコーダ２００は、正方形又は非正方形区分を使用してスーパーブロック及び他のコーディングブロックをより小さいブロックに区分し得る。非矩形ブロックは、Ｎ／２×Ｎ、Ｎ×Ｎ／２、Ｎ／４×Ｎ、及びＮ×Ｎ／４ブロックを含み得る。ビデオエンコーダ２００及びビデオデコーダ３００は、コーディングブロックの各々に対して別個の予測及び変換プロセスを実施し得る。
【0042】
[0056] ＡＶ１はまた、ビデオデータのタイルを定義する。タイルは、他のタイルとは無関係にコーディングされ得るスーパーブロックの矩形アレイである。すなわち、ビデオエンコーダ２００及びビデオデコーダ３００は、他のタイルからのビデオデータを使用せずにタイル内のコーディングブロックを、それぞれ、符号化及び復号し得る。ただし、ビデオエンコーダ２００及びビデオデコーダ３００は、タイル境界にわたってフィルタ処理を実施し得る。タイルは、サイズの点で均一であっても不均一であってもよい。タイルベースのコーディングは、エンコーダ及びデコーダ実装形態のために、並列処理及び／又はマルチスレッディングを可能にし得る。
【0043】
[0057] いくつかの例では、ビデオエンコーダ２００及びビデオデコーダ３００は、輝度成分及び色度成分の各々を表すために単一のＱＴＢＴ構造又はＭＴＴ構造を使用してもよく、他の例では、ビデオエンコーダ２００及びビデオデコーダ３００は、輝度成分のための１つのＱＴＢＴ／ＭＴＴ構造及び両方の色度成分のための別のＱＴＢＴ／ＭＴＴ構造（又はそれぞれの色度成分のための２つのＱＴＢＴ／ＭＴＴ構造）などの、２つ以上のＱＴＢＴ又はＭＴＴ構造を使用してもよい。
【0044】
[0058] ビデオエンコーダ２００及びビデオデコーダ３００は、４分木区分、ＱＴＢＴ区分、ＭＴＴ区分、スーパーブロック区分、又は他の区分構造を使用するように構成され得る。
【0045】
[0059] いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、又はモノクロームピクチャ若しくはサンプルをコーディングするために使用される３つの別個の色平面及びシンタックス構造を使用してコーディングされたピクチャのサンプルのＣＴＢを含む。ＣＴＢは、ＣＴＢへの成分の分割が区分であるような、いくつかの値のＮに対するサンプルのＮ×Ｎブロックであってよい。成分は、１つのアレイ又は４：２：０、４：２：２、若しくは４：４：４カラーフォーマットでピクチャを構成する３つのアレイ（ルーマ及び２つのクロマ）のうちの１つからの単一のサンプル、あるいはアレイ又はモノクロームフォーマットでピクチャを構成するアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのＣＴＢの分割が区分であるような、いくつかの値のＭ及びＮに対するサンプルのＭ×Ｎブロックである。
【0046】
[0060] ブロック（例えば、ＣＴＵ又はＣＵ）は、ピクチャの中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャの中の特定のタイル内のＣＴＵ行の長方形領域を指すことがある。タイルは、ピクチャの中の特定のタイル列及び特定のタイル行内のＣＴＵの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さ及び（例えば、ピクチャパラメータセットの中などの）シンタックス要素によって指定される幅を有する、ＣＴＵの長方形領域を指す。タイル行は、（例えば、ピクチャパラメータセットの中などの）シンタックス要素によって指定される高さ及びピクチャの幅に等しい幅を有する、ＣＴＵの長方形領域を指す。
【0047】
[0061] いくつかの例では、タイルは複数のブリックに区分されてよく、ブリックの各々はタイル内の１つ又は複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルも、ブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。ピクチャの中のブリックは、スライスとしても並べられ得る。スライスは、単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットの中に独占的に含まれ得る、ピクチャの整数個のブリックであってよい。いくつかの例では、スライスは、いくつかの完全なタイル、又は、１つのタイルの一連の連続する完全なブリックのみの、いずれかを含む。
【0048】
[0062] 本開示は、垂直次元及び水平次元に関して（ＣＵ又は他のビデオブロックなどの）ブロックのサンプル次元を指すために、互換的に「Ｎ×Ｎ」及び「ＮバイＮ（N by N）」、例えば、１６×１６サンプル又は１６バイ１６サンプルを使用してよい。一般に、１６×１６のＣＵは、垂直方向に１６個のサンプル（ｙ＝１６）及び水平方向に１６個のサンプル（ｘ＝１６）を有する。同様に、Ｎ×Ｎ ＣＵは、一般に、垂直方向にＮ個のサンプル及び水平方向にＮ個のサンプルを有し、ここで、Ｎは非負の整数値を表す。ＣＵの中のサンプルは、行及び列をなして並べられてよい。その上、ＣＵは、必ずしも水平方向において垂直方向におけるのと同じ数のサンプルを有する必要があるとは限らない。例えば、ＣＵはＮ×Ｍサンプルを備えてよく、ここで、Ｍは必ずしもＮに等しいとは限らない。
【0049】
[0063] ビデオエンコーダ２００は、予測及び／又は残差情報、並びに他の情報を表すＣＵのためのビデオデータを符号化する。予測情報は、ＣＵのための予測ブロックを形成するためにＣＵがどのように予測されることになるのかを示す。残差情報は、一般に、符号化する前のＣＵのサンプルと予測ブロックのサンプルとの間のサンプルごとの差分を表す。
【0050】
[0064] ＣＵを予測するために、ビデオエンコーダ２００は、一般に、インター予測又はイントラ予測を通じてＣＵのための予測ブロックを形成してよい。インター予測とは、一般に、以前にコーディングされたピクチャのデータからＣＵを予測することを指し、イントラ予測とは、概して、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つ又は複数の動きベクトルを使用して予測ブロックを生成してもよい。ビデオエンコーダ２００は、一般に、例えば、ＣＵと参照ブロックとの間の差分に関してＣＵによく一致する参照ブロックを識別するために、動き探索を実行し得る。ビデオエンコーダ２００は、差分絶対和（ＳＡＤ）、二乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均二乗差（ＭＳＤ）、又は他のそのような差分計算を使用して差分メトリックを計算し、参照ブロックが現在のＣＵとよく一致するかどうかを決定し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測又は双方向予測を使用して現在ＣＵを予測し得る。
【0051】
[0065] ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームイン若しくはズームアウト、回転、観点移動、又は他の不規則な動きタイプなどの、非並進動きを表す２つ以上の動きベクトルを決定し得る。
【0052】
[0066] イントラ予測を実行するために、ビデオエンコーダ２００は、イントラ予測モードを選択して予測ブロックを生成してよい。ＶＶＣのいくつかの例は、様々な方向性モードを含む６７個のイントラ予測モード、並びに平面モード及びＤＣモードを提供する。一般に、ビデオエンコーダ２００は、現在のブロック（例えば、ＣＵのブロック）のサンプルをそれから予測すべき、その現在のブロックに対する隣接サンプルを記述する、イントラ予測モードを選択する。そのようなサンプルは一般に、ビデオエンコーダ２００がラスター走査順序で（左から右、上から下）ＣＴＵ及びＣＵをコーディングすると仮定して、現在ブロックと同じピクチャにおいて、現在ブロックの上、上及び左、又は左にあり得る。
【0053】
[0067] ビデオエンコーダ２００は、現在ブロックのための予測モードを表すデータを符号化する。例えば、インター予測モードの場合、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるのか、並びに対応するモードに対する動き情報を表すデータを符号化してよい。単方向又は双方向インター予測の場合、例えば、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）モード又はマージモードを使用して動きベクトルを符号化してよい。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用してよい。
【0054】
[0068] ＡＶ１は、ビデオデータのコーディングブロックを符号化及び復号するための２つの一般的な技法を含む。２つの一般的な技法は、イントラ予測（例えば、イントラフレーム予測又は空間予測）及びインター予測（例えば、インターフレーム予測又は時間予測）である。ＡＶ１のコンテキストでは、イントラ予測モードを使用してビデオデータの現在のフレームのブロックを予測するとき、ビデオエンコーダ２００及びビデオデコーダ３００は、ビデオデータの他のフレームからのビデオデータを使用しない。ほとんどのイントラ予測モードでは、ビデオエンコーダ２００は、現在のフレームのブロックを、現在ブロックにおけるサンプル値と、同じフレームにおける参照サンプルから生成された予測値との差分に基づいて符号化する。ビデオエンコーダ２００は、イントラ予測モードに基づいて、参照サンプルから生成された予測値を決定する。
【0055】
[0069] ブロックのイントラ予測又はインター予測などの予測に続いて、ビデオエンコーダ２００はブロックのための残差データを計算してよい。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックのための予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域において変換データを生成するために、１つ又は複数の変換を残差ブロックに適用してよい。例えば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に類似の変換を残差ビデオデータに適用してよい。加えて、ビデオエンコーダ２００は、モード依存非分離可能二次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの二次的な変換を、最初の変換に続いて適用し得る。ビデオエンコーダ２００は、１つ又は複数の変換の適用に続いて、変換係数を生成する。
【0056】
[0070] 上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行してよい。量子化とは、一般に、変換係数を表すために使用されるデータの量をできる限り低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、変換係数の一部又はすべてに関連するビット深度を低減し得る。例えば、ビデオエンコーダ２００は、量子化の間にｎビット値をｍビット値に切り捨てることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビットごとの右シフトを実施し得る。
【0057】
[0071] 量子化に続いて、ビデオエンコーダ２００は、変換係数を走査してよく、量子化変換係数を含む２次元行列から１次元ベクトルを生成する。走査は、より高いエネルギー（したがって、より低い周波数）の変換係数をベクトルの前方に置き、より低いエネルギー（したがって、より高い周波数）の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ２００は、シリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化するために、量子化された変換係数を走査するためのあらかじめ定義された走査順序を使用し得る。他の例では、ビデオエンコーダ２００は適応走査を実行してよい。量子化変換係数を走査して１次元ベクトルを形成した後、ビデオエンコーダ２００は、例えば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化してよい。ビデオエンコーダ２００はまた、ビデオデータを復号する際にビデオデコーダ３００によって使用するための符号化されたビデオデータに関連するメタデータを記述するシンタックス要素に対する値をエントロピー符号化し得る。
【0058】
[0072] ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当ててよい。コンテキストは、例えば、シンボルの隣接値が０値化されているか否かに関係し得る。確率判断は、シンボルに割り当てられたコンテキストに基づき得る。
【0059】
[0073] ビデオエンコーダ２００は更に、ビデオデコーダ３００への、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、及びシーケンスベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、又は、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、若しくはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータにおいて生成し得る。ビデオデコーダ３００は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号すべきかを決定してよい。
【0060】
[0074] このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、例えば、ブロック（例えば、ＣＵ）へのピクチャの区分並びにブロックのための予測情報及び／又は残差情報を記述するシンタックス要素を含む、ビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信してよく、符号化されたビデオデータを復号してよい。
【0061】
[0075] 概して、ビデオデコーダ３００は、ビデオエンコーダ２００によって実行されるプロセスへの相反プロセスを実行して、ビットストリームの符号化されたビデオデータを復号する。例えば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスとは相反ではあるが実質的に類似の方法で、ＣＡＢＡＣを使用してビットストリームのシンタックス要素に対する値を復号してよい。シンタックス要素は、ＣＴＵへのピクチャの区分及びＱＴＢＴ構造などの対応する区分構造による各ＣＴＵの区分のための、区分情報を規定して、ＣＴＵのＣＵを規定し得る。シンタックス要素は、ビデオデータのブロック（例えば、ＣＵ）に対する予測情報及び残差情報を更に規定し得る。
【0062】
[0076] 残差情報は、例えば、量子化変換係数によって表され得る。ビデオデコーダ３００は、ブロックの量子化された変換係数を逆量子化し逆変換して、ブロックのための残差ブロックを再生し得る。ビデオデコーダ３００は、シグナリングされた予測モード（イントラ予測又はインター予測）及び関連する予測情報（例えば、インター予測のための動き情報）を使用して、ブロックのための予測ブロックを形成する。ビデオデコーダ３００は次いで、予測ブロックと残差ブロックとを（サンプルごとに）組み合わせて、元のブロックを再生し得る。ビデオデコーダ３００は、ブロックの境界に沿った視覚アーティファクトを低減するためのデブロッキングプロセスを実行するなどの、追加の処理を実行してよい。
【0063】
[0077] 本開示は全般に、シンタックス要素などの何らかの情報を「シグナリングすること」に言及することがある。「シグナリング」という用語は、一般に、シンタックス要素に対する値、及び／又は符号化されたビデオデータを復号するために使用される他のデータの通信を指すことがある。すなわち、ビデオエンコーダ２００は、ビットストリームの中でシンタックス要素に対する値をシグナリングし得る。一般に、シグナリングとは、ビットストリームの中で値を生成することを指す。上で述べられたように、ソースデバイス１０２は、実質的にリアルタイムで、又は非リアルタイムでビットストリームをデスティネーションデバイス１１６に転送してもよく、これは、デスティネーションデバイス１１６により後で取り出すためにシンタックス要素を記憶デバイス１１２に記憶するときなどに起こることがある。
【0064】
[0078] 本開示の技法は、ビデオコーデックにおけるインター予測に関する。より詳細には、本開示は、双方向マッチングを使用するデコーダ側動きベクトル改良に関するデバイス及び技法について説明する。本開示の技法によれば、以下でより詳細に説明されるように、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、処理回路とを含み、処理回路は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定し、反復探索プロセスが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含み、動きベクトルを使用してビデオデータのブロックを復号するように構成され得る。
【0065】
[0079] 本開示の技法によれば、以下でより詳細に説明されるように、ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、処理回路とを含み、処理回路は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定し、反復探索プロセスが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含み、動きベクトルを使用してビデオデータのブロックを符号化するように構成され得る。
【0066】
[0080] 双方向マッチング
[0081] 双方向マッチング（ＢＭ）は、ペアの初期動きベクトルＭＶ０及びＭＶ１を改良する技法である。一般に、ＢＭは、ブロックマッチングコストを最小化する改良されたＭＶであるＭＶ０’及びＭＶ１’を導出するために、ＭＶ０及びＭＶ１動きベクトルの周囲を探索することを含む。ブロックマッチングコストは、２つのＭＶを使用して生成された２つの動き補償予測子間の類似性を測定する（いくつかの典型的な基準は、差分絶対和（ＳＡＤ）、変換差分絶対和（ＳＡＴＤ）、二乗誤差和（ＳＳＥ）などである）。ブロックマッチングコストはまた、現在のＭＶペアと初期ＭＶペアとの間のＭＶ差分に基づいて導出される正則化項を含み得る。いくつかの制約はまた、ＭＶＤ０（ＭＶ０’－ＭＶ０）とＭＶＤ１（ＭＶ１’－ＭＶ１）との間のＭＶ差分に適用され得る。通常、ビデオコーダは、ＭＶＤ０及びＭＶＤ１が、現在ピクチャと、２つのＭＶによって指し示される参照ピクチャとの間の時間距離（ＴＤ）に比例するものとするという仮定で構成される。しかしながら、いくつかの適用例では、ＢＭプロセスは、ＭＶＤ０が－ＭＶＤ１に等しいと仮定して設計され得る。
[0081] 双方向マッチング（ＢＭ）は、ペアの初期動きベクトルＭＶ０及びＭＶ１を改良する技法である。一般に、ＢＭは、ブロックマッチングコストを最小化する改良されたＭＶであるＭＶ０’及びＭＶ１’を導出するために、ＭＶ０及びＭＶ１動きベクトルの周囲を探索することを含む。ブロックマッチングコストは、２つのＭＶを使用して生成された２つの動き補償予測子間の類似性を測定する（いくつかの典型的な基準は、差分絶対和（ＳＡＤ）、変換差分絶対和（ＳＡＴＤ）、二乗誤差和（ＳＳＥ）などである）。ブロックマッチングコストはまた、現在のＭＶペアと初期ＭＶペアとの間のＭＶ差分に基づいて導出される正則化項を含み得る。いくつかの制約はまた、ＭＶＤ０（ＭＶ０’－ＭＶ０）とＭＶＤ１（ＭＶ１’－ＭＶ１）との間のＭＶ差分に適用され得る。通常、ビデオコーダは、ＭＶＤ０及びＭＶＤ１が、現在ピクチャと、２つのＭＶによって指し示される参照ピクチャとの間の時間距離（ＴＤ）に比例するものとするという仮定で構成される。しかしながら、いくつかの適用例では、ＢＭプロセスは、ＭＶＤ０が－ＭＶＤ１に等しいと仮定して設計され得る。
【0067】
[0082] 汎用ビデオコーディング規格におけるインター予測
[0083] ＶＶＣにおけるインター予測されたＣＵの場合、動きパラメータは、動きベクトル、参照ピクチャインデックス、及び参照ピクチャリスト使用インデックス、並びにＶＶＣの新しいコーディング機能に必要とされる任意の追加情報を含む。動きパラメータは、インター予測サンプル生成のために使用される。動きパラメータは、明示的又は暗黙的な方式でシグナリングされ得る。ＣＵがスキップモードでコーディングされる場合、ＣＵは１つのＰＵに関連付けられ、有意な残差係数、コーディングされた動きベクトルデルタ、又は参照ピクチャインデックスを有しない。マージモードが指定され、それによって、現在のＣＵの動きパラメータが、空間的及び時間的候補、並びにＶＶＣに導入された追加のスケジュールを含む、隣接するＣＵから取得される。マージモードは、スキップモードだけでなく、任意のインター予測されたＣＵに適用することができる。マージモード以外のいくつかの他の予測モードは、動きパラメータの明示的な送信を含み、動きベクトル（例えば、動きベクトル差分）、各参照ピクチャリストの対応する参照ピクチャインデックス、並びに参照ピクチャリスト使用フラグ及び他の必要な情報は、各ＣＵに対して明示的にシグナリングされる。
[0083] ＶＶＣにおけるインター予測されたＣＵの場合、動きパラメータは、動きベクトル、参照ピクチャインデックス、及び参照ピクチャリスト使用インデックス、並びにＶＶＣの新しいコーディング機能に必要とされる任意の追加情報を含む。動きパラメータは、インター予測サンプル生成のために使用される。動きパラメータは、明示的又は暗黙的な方式でシグナリングされ得る。ＣＵがスキップモードでコーディングされる場合、ＣＵは１つのＰＵに関連付けられ、有意な残差係数、コーディングされた動きベクトルデルタ、又は参照ピクチャインデックスを有しない。マージモードが指定され、それによって、現在のＣＵの動きパラメータが、空間的及び時間的候補、並びにＶＶＣに導入された追加のスケジュールを含む、隣接するＣＵから取得される。マージモードは、スキップモードだけでなく、任意のインター予測されたＣＵに適用することができる。マージモード以外のいくつかの他の予測モードは、動きパラメータの明示的な送信を含み、動きベクトル（例えば、動きベクトル差分）、各参照ピクチャリストの対応する参照ピクチャインデックス、並びに参照ピクチャリスト使用フラグ及び他の必要な情報は、各ＣＵに対して明示的にシグナリングされる。
【0068】
[0084] ＨＥＶＣにおけるインターコーディング機能を超えて、ＶＶＣは、以下のように列挙されるいくつかの新しい改良されたインター予測符号化ツールを含む。
－拡張マージ予測
－ＭＶＤを有するマージモード（ＭＭＶＤ）
－対称ＭＶＤ（ＳＭＶＤ）シグナリング
－アフィン動き補償予測
－サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）
－適応動きベクトル解像度（ＡＭＶＲ）
－動きフィールド記憶：１／１６ルーマサンプルＭＶ記憶及び８×８動きフィールド圧縮
－ＣＵレベル重みを用いた双予測（ＢＣＷ）
－双方向オプティカルフロー（ＢＤＯＦ）
－デコーダ側動きベクトル改良（ＤＭＶＲ）
－幾何学的区分モード（ＧＰＭ）
－組み合わされたインター及びイントラ予測（ＣＩＩＰ）
－拡張マージ予測
－ＭＶＤを有するマージモード（ＭＭＶＤ）
－対称ＭＶＤ（ＳＭＶＤ）シグナリング
－アフィン動き補償予測
－サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）
－適応動きベクトル解像度（ＡＭＶＲ）
－動きフィールド記憶：１／１６ルーマサンプルＭＶ記憶及び８×８動きフィールド圧縮
－ＣＵレベル重みを用いた双予測（ＢＣＷ）
－双方向オプティカルフロー（ＢＤＯＦ）
－デコーダ側動きベクトル改良（ＤＭＶＲ）
－幾何学的区分モード（ＧＰＭ）
－組み合わされたインター及びイントラ予測（ＣＩＩＰ）
【0069】
[0085] 拡張マージ予測
[0086] ＶＶＣ正規マージモードでは、マージ候補リストは、以下の５つのタイプの候補を順に含んで構築される。
１）空間的隣接ＣＵからの空間的動きベクトル予測子（ＭＶＰ）
２）コロケートされたＣＵからの時間ＭＶＰ
３）先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースのＭＶＰ
４）ペアワイズ平均ＭＶＰ
５）０動きベクトル（ＭＶ）
[0086] ＶＶＣ正規マージモードでは、マージ候補リストは、以下の５つのタイプの候補を順に含んで構築される。
１）空間的隣接ＣＵからの空間的動きベクトル予測子（ＭＶＰ）
２）コロケートされたＣＵからの時間ＭＶＰ
３）先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースのＭＶＰ
４）ペアワイズ平均ＭＶＰ
５）０動きベクトル（ＭＶ）
【0070】
[0087] マージリストのサイズは、シーケンスパラメータセット（ＳＰＳ）ヘッダ中でシグナリングされる。一例では、マージリストの最大許容サイズは６つの候補である。マージモードにおいてコーディングされるＣＵごとに、選択されたマージ候補のインデックスは、短縮された単項２値化を使用して符号化される。
【0071】
[0088] マージ候補の各カテゴリの導出プロセスは、このセクションで提供される。ＨＥＶＣにおいて実行されるように、ＶＶＣはまた、あるサイズの領域内のすべてのＣＵのためのマージ候補リストの並列導出をサポートする。
【0072】
[0089] 空間候補導出
[0090] ＶＶＣにおける空間マージ候補の導出は、最初の２つのマージ候補の位置が交換されることを除いて、ＨＥＶＣにおける導出と同じである。図２は、空間マージ候補の位置の一例を示す。現在のＣＵ４００に対して図２に示す位置にある候補の中から、最大４つのマージ候補が選択される。導出の順序は、Ｂ０、Ａ０、Ｂ１、Ａ１、及びＢ２である。位置Ｂ２は、（例えば、ＣＵが別のスライス又はタイルに属するので）位置Ｂ０、Ａ０、Ｂ１、Ａ１における１つ以上のＣＵが利用可能でないとき、又はＣＵがイントラコーディングされるとき、のみ考慮される。位置Ａ１の候補が追加された後、残りの候補の追加は、コーディング効率が改善するように同じ動き情報を有する候補がリストから除外されることを保証する冗長検査を受ける。
[0090] ＶＶＣにおける空間マージ候補の導出は、最初の２つのマージ候補の位置が交換されることを除いて、ＨＥＶＣにおける導出と同じである。図２は、空間マージ候補の位置の一例を示す。現在のＣＵ４００に対して図２に示す位置にある候補の中から、最大４つのマージ候補が選択される。導出の順序は、Ｂ０、Ａ０、Ｂ１、Ａ１、及びＢ２である。位置Ｂ２は、（例えば、ＣＵが別のスライス又はタイルに属するので）位置Ｂ０、Ａ０、Ｂ１、Ａ１における１つ以上のＣＵが利用可能でないとき、又はＣＵがイントラコーディングされるとき、のみ考慮される。位置Ａ１の候補が追加された後、残りの候補の追加は、コーディング効率が改善するように同じ動き情報を有する候補がリストから除外されることを保証する冗長検査を受ける。
【0073】
[0091] 時間的候補導出
[0092] この技法では、１つの候補のみがリストに追加される。特に、この時間マージ候補の導出では、コロケートされた参照ピクチャに属するコロケートされたＣＵに基づいて、スケーリングされた動きベクトルが導出される。図３は、時間マージ候補のための動きベクトルスケーリングの一例を示す。コロケートされたＣＵの導出のために使用されるべき参照ピクチャリストは、スライスヘッダ中で明示的にシグナリングされる。時間マージ候補のためのスケーリングされた動きベクトル４１２は、図３中の点線によって示されるように取得され、それは、ピクチャ順序カウント（ＰＯＣ）距離ｔｂ及びｔｄを使用してコロケートされたＣＵ４１６の動きベクトルからスケーリングされる。動きベクトル４１４は、現在のＣＵ４００とコロケートされたＣＵ４１６との間の動きベクトルである。距離ｔｂは、現在ピクチャの参照ピクチャ４０４と現在ピクチャ４０６との間のＰＯＣ差分であると定義される。距離ｔｄは、コロケートされたピクチャの参照ピクチャ４０２とコロケートされたピクチャ４０８との間のＰＯＣ差分であるように定義される。時間マージ候補の参照ピクチャインデックスは、０に等しく設定される。
[0092] この技法では、１つの候補のみがリストに追加される。特に、この時間マージ候補の導出では、コロケートされた参照ピクチャに属するコロケートされたＣＵに基づいて、スケーリングされた動きベクトルが導出される。図３は、時間マージ候補のための動きベクトルスケーリングの一例を示す。コロケートされたＣＵの導出のために使用されるべき参照ピクチャリストは、スライスヘッダ中で明示的にシグナリングされる。時間マージ候補のためのスケーリングされた動きベクトル４１２は、図３中の点線によって示されるように取得され、それは、ピクチャ順序カウント（ＰＯＣ）距離ｔｂ及びｔｄを使用してコロケートされたＣＵ４１６の動きベクトルからスケーリングされる。動きベクトル４１４は、現在のＣＵ４００とコロケートされたＣＵ４１６との間の動きベクトルである。距離ｔｂは、現在ピクチャの参照ピクチャ４０４と現在ピクチャ４０６との間のＰＯＣ差分であると定義される。距離ｔｄは、コロケートされたピクチャの参照ピクチャ４０２とコロケートされたピクチャ４０８との間のＰＯＣ差分であるように定義される。時間マージ候補の参照ピクチャインデックスは、０に等しく設定される。
【0074】
[0093] 図４は、時間マージ候補のための例示的な候補位置を示す。現在のＣＵ４００の時間的候補の位置は、図４に示すように、候補Ｃ０とＣ１との間で選択される。位置Ｃ０のＣＵが利用可能でない場合（例えば、はイントラコーディングされているか、又はＣＴＵの現在の行の外側にある）、位置Ｃ１が使用される。他の場合、時間マージ候補の導出において位置Ｃ０が使用される。
【0075】
[0094] 履歴ベースのマージ候補導出
[0095] 履歴ベースのＭＶＰ（ＨＭＶＰ）マージ候補は、空間マージ候補（例えば、空間ＭＶＰ）及び時間マージ候補（例えば、時間ＭＶＰ又はＴＭＶＰ）の後にマージリストに追加される。ＨＭＶＰでは、以前にコーディングされたブロックの動き情報がテーブルに記憶され、現在のＣＵのＭＶＰとして使用される。符号化／復号プロセスの間に、複数のＨＭＶＰ候補を有するテーブルが維持される。新しいＣＴＵ行に遭遇すると、テーブルがリセットされる（例えば、空にされる）。非サブブロックインターコーディングされたＣＵがあるときはいつでも、関連する動き情報が新しいＨＭＶＰ候補としてテーブルの最終エントリに追加される。
[0095] 履歴ベースのＭＶＰ（ＨＭＶＰ）マージ候補は、空間マージ候補（例えば、空間ＭＶＰ）及び時間マージ候補（例えば、時間ＭＶＰ又はＴＭＶＰ）の後にマージリストに追加される。ＨＭＶＰでは、以前にコーディングされたブロックの動き情報がテーブルに記憶され、現在のＣＵのＭＶＰとして使用される。符号化／復号プロセスの間に、複数のＨＭＶＰ候補を有するテーブルが維持される。新しいＣＴＵ行に遭遇すると、テーブルがリセットされる（例えば、空にされる）。非サブブロックインターコーディングされたＣＵがあるときはいつでも、関連する動き情報が新しいＨＭＶＰ候補としてテーブルの最終エントリに追加される。
【0076】
[0096] ＨＭＶＰテーブルサイズＳは６に設定され、これは、６つまでのＨＭＶＰ候補がテーブルに追加され得ることを示す。新しい動き候補をテーブルに挿入するとき、制約付き先入れ先出し（ＦＩＦＯ）ルールを利用し、テーブル内に同一のＨＭＶＰがあるか否かを見つけるために、冗長検査が最初に適用される。見つかった場合、同一のＨＭＶＰがテーブルから除去され、その後すべてのＨＭＶＰ候補が前方に移動される。
【0077】
[0097] マージ候補リスト構築プロセスでは、ＨＭＶＰ候補を使用してもよい。テーブル内の最新のいくつかのＨＭＶＰ候補が順にチェックされ、ＴＭＶＰ候補の後に候補リストに挿入される。ＨＭＶＰ候補の動き情報を空間マージ候補又は時間マージ候補と比較するために、ＨＭＶＰ候補に対して冗長検査が適用される。
【0078】
[0098] 冗長検査動作の数を減らすために、以下の簡略化を導入し得る。
ａ．マージリスト生成のために使用されるＨＭＶＰ候補の数は、（Ｎ＜＝４）？Ｍ：（８－Ｎ）として設定されており、ここで、Ｎはマージリスト中の既存の候補の数を示し、Ｍはテーブル中の利用可能なＨＭＶＰ候補の数を示す。
ｂ．利用可能なマージ候補の総数が最大許容マージ候補数－１に達すると、ＨＭＶＰからのマージ候補リスト構築プロセスは終了する。
ａ．マージリスト生成のために使用されるＨＭＶＰ候補の数は、（Ｎ＜＝４）？Ｍ：（８－Ｎ）として設定されており、ここで、Ｎはマージリスト中の既存の候補の数を示し、Ｍはテーブル中の利用可能なＨＭＶＰ候補の数を示す。
ｂ．利用可能なマージ候補の総数が最大許容マージ候補数－１に達すると、ＨＭＶＰからのマージ候補リスト構築プロセスは終了する。
【0079】
[0099] ペアワイズ平均マージ候補導出
[0100] ペアワイズ平均候補は、既存のマージ候補リスト内の候補の事前定義されたペアを平均化することによって生成される。一例では、事前定義されたペアは、｛（０、１）、（０、２）、（１、２）、（０、３）、（１、３）、（２、３）｝として定義され、ここで、数字は、マージ候補リストへのマージインデックスを示す。平均化された動きベクトルは、各参照リストについて別々に計算される。両方の動きベクトルが１つのリストにおいて利用可能である場合、これらの２つの動きベクトルは、異なる参照ピクチャを指すときでも平均化される。１つの動きベクトルのみが利用可能である場合、その１つを直接使用する。動きベクトルが利用可能でない場合、このリストを無効に保つ。
[0100] ペアワイズ平均候補は、既存のマージ候補リスト内の候補の事前定義されたペアを平均化することによって生成される。一例では、事前定義されたペアは、｛（０、１）、（０、２）、（１、２）、（０、３）、（１、３）、（２、３）｝として定義され、ここで、数字は、マージ候補リストへのマージインデックスを示す。平均化された動きベクトルは、各参照リストについて別々に計算される。両方の動きベクトルが１つのリストにおいて利用可能である場合、これらの２つの動きベクトルは、異なる参照ピクチャを指すときでも平均化される。１つの動きベクトルのみが利用可能である場合、その１つを直接使用する。動きベクトルが利用可能でない場合、このリストを無効に保つ。
【0080】
[0101] ペアワイズ平均マージ候補が追加された後、マージリストが一杯になっていない場合、最大マージ候補数に達するまで、リストの最後に０個のＭＶＰが挿入される。
【0081】
[0102] ＣＵレベル重みを用いた双予測（ＢＣＷ）
[0103] ＨＥＶＣでは、双予測信号は、２つの異なる参照ピクチャから取得された２つの予測信号を平均化すること、及び／又は２つの異なる動きベクトルを使用することによって生成される。ＶＶＣでは、双予測モードは、２つの予測信号の重み付き平均化を可能にするために単純な平均を超えて拡張される。
Ｐｂｉ－ｐｒｅｄ＝（（８－ｗ）＊Ｐ０＋ｗ＊Ｐ１＋４）≫３
[0103] ＨＥＶＣでは、双予測信号は、２つの異なる参照ピクチャから取得された２つの予測信号を平均化すること、及び／又は２つの異なる動きベクトルを使用することによって生成される。ＶＶＣでは、双予測モードは、２つの予測信号の重み付き平均化を可能にするために単純な平均を超えて拡張される。
Ｐｂｉ－ｐｒｅｄ＝（（８－ｗ）＊Ｐ０＋ｗ＊Ｐ１＋４）≫３
【0082】
[0104] 重み付き平均化双予測では５つの重み、ｗ∈｛－２，３，４，５，１０｝が許容される。各双予測ＣＵについて、重みｗは、２つの方法のうちの１つで決定される。１）非マージＣＵについて、重みインデックスは、動きベクトル差分の後にシグナリングされる。２）マージＣＵの場合、重みインデックスは、マージ候補インデックスに基づいて隣接ブロックから推測される。ＢＣＷは、２５６以上のルーマサンプル（例えば、ＣＵ幅×ＣＵ高さは２５６以上である）を有するＣＵにのみ適用される。低遅延ピクチャの場合、すべての５つの重みが使用される。非低遅延ピクチャの場合、３つの重み（ｗ∈｛３，４，５｝）のみが使用される。
－エンコーダでは、エンコーダの複雑さを著しく増加させることなく重みインデックスを見つけるために高速探索アルゴリズムが適用される。これらのアルゴリズムは以下のように要約される。更なる詳細は、ＶＶＣ試験モデル（ＶＴＭ）ソフトウェア及びＹｕ－Ｃｈｉ Ｓｕら「ＣＥ４－ｒｅｌａｔｅｄ：Ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｉｍｐｒｏｖｅｍｅｎｔｓ ｃｏｍｂｉｎｅｄ ｆｒｏｍ ＪＶＥＴ－Ｌ０１９７ ａｎｄ ＪＶＥＴ－Ｌ０２９６」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３及びＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、第１２回会議：マカオ、中国、２０１８年１０月３日から１２日のＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）（以下、「ＪＶＥＴ－Ｌ０６４６」）から入手可能である。ＡＭＶＲと組み合わされたとき、現在ピクチャが低遅延ピクチャである場合、等しくない重みは、１ペル及び４ペルの動きベクトル精度について条件付きでチェックされるだけである。
－アフィン動き推定（ＭＥ）と組み合わされるとき、アフィンＭＥは、アフィンモードが現在の最良モードとして選択される場合に限り、等しくない重みに対して実行される。
－双予測における２つの参照ピクチャが同じであるとき、等しくない重みは条件付きでチェックされるだけである。
－現在ピクチャとその参照ピクチャとの間のＰＯＣ距離、コーディングＱＰ、及び時間レベルに応じて、ある条件が満たされるとき、等しくない重みは探索されない。
－エンコーダでは、エンコーダの複雑さを著しく増加させることなく重みインデックスを見つけるために高速探索アルゴリズムが適用される。これらのアルゴリズムは以下のように要約される。更なる詳細は、ＶＶＣ試験モデル（ＶＴＭ）ソフトウェア及びＹｕ－Ｃｈｉ Ｓｕら「ＣＥ４－ｒｅｌａｔｅｄ：Ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｉｍｐｒｏｖｅｍｅｎｔｓ ｃｏｍｂｉｎｅｄ ｆｒｏｍ ＪＶＥＴ－Ｌ０１９７ ａｎｄ ＪＶＥＴ－Ｌ０２９６」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３及びＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、第１２回会議：マカオ、中国、２０１８年１０月３日から１２日のＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）（以下、「ＪＶＥＴ－Ｌ０６４６」）から入手可能である。ＡＭＶＲと組み合わされたとき、現在ピクチャが低遅延ピクチャである場合、等しくない重みは、１ペル及び４ペルの動きベクトル精度について条件付きでチェックされるだけである。
－アフィン動き推定（ＭＥ）と組み合わされるとき、アフィンＭＥは、アフィンモードが現在の最良モードとして選択される場合に限り、等しくない重みに対して実行される。
－双予測における２つの参照ピクチャが同じであるとき、等しくない重みは条件付きでチェックされるだけである。
－現在ピクチャとその参照ピクチャとの間のＰＯＣ距離、コーディングＱＰ、及び時間レベルに応じて、ある条件が満たされるとき、等しくない重みは探索されない。
【0083】
[0105] ＢＣＷ重みインデックスは、１つのコンテキストコーディングされたビンと、それに続くバイパスコーディングビンとを使用してコーディングされる。第１のコンテキストコーディングされたビンは、等しい重みが使用されるか否かを示し、等しくない重みが使用される場合、どの等しくない重みが使用されるかを示すために、バイパスコーディングを使用して追加のビンがシグナリングされる。
【0084】
[0106] 重み付き予測（ＷＰ）は、フェージングを用いてビデオコンテンツを効率的にコーディングするためにＨ．２６４／ＡＶＣ及びＨＥＶＣ標準よってサポートされるコーディングツールである。ＷＰのサポートもＶＶＣ標準に追加した。ＷＰは、参照ピクチャリストＬ０及びＬ１の各々の中の参照ピクチャごとに、重み付けパラメータ（重み及びオフセット）がシグナリングされることを可能にする。次いで、動き補償中に、対応する参照ピクチャの重みとオフセットとが適用される。ＷＰとＢＣＷとは、異なるタイプのビデオコンテンツために設計される。ＶＶＣデコーダ設計を複雑にするＷＰとＢＣＷとの間の対話を回避するために、ＣＵがＷＰを使用する場合、ＢＣＷ重みインデックスはシグナリングされず、ｗは４であると推測される（例えば、等しい重量が加えられる。）。マージＣＵの場合、重みインデックスは、マージ候補インデックスに基づいて隣接ブロックから推測される。これは、通常マージモード及び継承アフィンマージモードの両方に適用され得る。構築されたアフィンマージモードの場合、アフィン動き情報は、３ブロックまでの動き情報に基づいて構築される。構築されたアフィンマージモードを使用するＣＵのためのＢＣＷインデックスは、単に第１の制御点ＭＶのＢＣＷインデックスに等しく設定される。
【0085】
[0107] ＶＶＣにおいて、ＣＩＩＰ及びＢＣＷは、ＣＵに対して一緒に適用することができない。ＣＵがＣＩＩＰモードでコーディングされるとき、現在のＣＵのＢＣＷインデックスは２に設定され、例えば、等しい重みである。
【0086】
[0108] ＶＶＣにおけるデコーダ側動きベクトル改良
[0109] ＶＶＣでは、双予測マージ候補のＭＶの精度を高めるために、ＢＭベースのデコーダ側動きベクトル改良（ＤＭＶＲ）が適用され得る。ＢＭ方法は、参照ピクチャリストＬ０とリストＬ１の２つの候補ブロック間の差分絶対和（ＳＡＤ）を計算する。図５は、双方向（bilateral）マッチングの一例を示す。図５に示されるように、初期ＭＶの周りの各ＭＶ候補に基づくブロック５００と５０２との間のＳＡＤが計算される。ＳＡＤが最低であるＭＶ候補が、改良されたＭＶになり、双予測される信号を生成するために使用される。初期ＭＶのＳＡＤは、正則化項として働くようにＳＡＤ値の１／４だけ減算される。２つの参照ピクチャから現在ピクチャまでの時間的距離（例えば、ピクチャ順序カウント（ＰＯＣ：Picture Order Count）差分）は同じであるものとし、したがって、ＭＶＤ０はＭＶＤ１のちょうど反対符号である。
[0109] ＶＶＣでは、双予測マージ候補のＭＶの精度を高めるために、ＢＭベースのデコーダ側動きベクトル改良（ＤＭＶＲ）が適用され得る。ＢＭ方法は、参照ピクチャリストＬ０とリストＬ１の２つの候補ブロック間の差分絶対和（ＳＡＤ）を計算する。図５は、双方向（bilateral）マッチングの一例を示す。図５に示されるように、初期ＭＶの周りの各ＭＶ候補に基づくブロック５００と５０２との間のＳＡＤが計算される。ＳＡＤが最低であるＭＶ候補が、改良されたＭＶになり、双予測される信号を生成するために使用される。初期ＭＶのＳＡＤは、正則化項として働くようにＳＡＤ値の１／４だけ減算される。２つの参照ピクチャから現在ピクチャまでの時間的距離（例えば、ピクチャ順序カウント（ＰＯＣ：Picture Order Count）差分）は同じであるものとし、したがって、ＭＶＤ０はＭＶＤ１のちょうど反対符号である。
【0087】
[0110] 改良探索範囲は、初期ＭＶから２つの整数ルーマサンプルである。この探索は、整数サンプルオフセット探索段階及び小数サンプル改良段階を含む。整数サンプルオフセット探索のために２５ポイントの全探索が適用される。初期ＭＶペアのＳＡＤが最初に計算される。初期ＭＶペアのＳＡＤが閾値より小さい場合、ＤＭＶＲの整数サンプル段階は終了する。それ以外の場合、残りの２４点のＳＡＤが、ラスター走査順序で計算され確認される。ＳＡＤが最小の点が、整数サンプルオフセット探索段階の出力として選択される。
【0088】
[0111] 整数サンプル探索に分数サンプル改良が後続する。計算の複雑さを減らすために、ＳＡＤ比較を使用した追加の探索の代わりに、パラメトリック誤差曲面方程式を使用することによって、小数サンプル改良が導出される。小数サンプル改良は、整数サンプル探索段階の出力に基づいて条件的に呼び出される。整数サンプル探索段階が、第１の反復探索又は第２の反復探索のいずれかにおいて、中心が最小のＳＡＤを有する状態で終了すると、小数サンプル改良が更に適用される。
【0089】
[0112] パラメトリック誤差曲面ベースのサブピクセルオフセット推定では、中心位置コスト、及び中心からの隣接する４個の位置におけるコストが、以下の形式の２Ｄ放物線誤差曲面方程式を当てはめるために使用される。
Ｅ（ｘ，ｙ）＝Ａ（ｘ－ｘｍｉｎ）２＋Ｂ（ｙ－ｙｍｉｎ）２＋Ｃ （１）
ただし、（ｘｍｉｎ、ｙｍｉｎ）は最小コストの小数位置に対応し、Ｃは最小コスト値に対応する。５つの探索点のコスト値を使用することによって上の式を解くことによって、（ｘｍｉｎ，ｙｍｉｎ）が、
ｘｍｉｎ＝（Ｅ（－１，０）－Ｅ（１，０））／（２（Ｅ（－１，０）＋Ｅ（１，０）－２Ｅ（０，０））） （２）
ｙｍｉｎ＝（Ｅ（０，－１）－Ｅ（０，１））／（２（（Ｅ（０，－１）＋Ｅ（０，１）－２Ｅ（０，０））） （３）
Ｅ（ｘ，ｙ）＝Ａ（ｘ－ｘｍｉｎ）２＋Ｂ（ｙ－ｙｍｉｎ）２＋Ｃ （１）
ただし、（ｘｍｉｎ、ｙｍｉｎ）は最小コストの小数位置に対応し、Ｃは最小コスト値に対応する。５つの探索点のコスト値を使用することによって上の式を解くことによって、（ｘｍｉｎ，ｙｍｉｎ）が、
ｘｍｉｎ＝（Ｅ（－１，０）－Ｅ（１，０））／（２（Ｅ（－１，０）＋Ｅ（１，０）－２Ｅ（０，０））） （２）
ｙｍｉｎ＝（Ｅ（０，－１）－Ｅ（０，１））／（２（（Ｅ（０，－１）＋Ｅ（０，１）－２Ｅ（０，０））） （３）
【0090】
[0113] として計算される。すべてのコスト値が正であり、最小値がＥ（０，０）であるので、ｘｍｉｎ及びｙｍｉｎの値は、－８と８との間となるように自動的に制約される。これは、ＶＶＣにおける１／１６ペルのＭＶ精度を有する１／２ペルのオフセットに対応する。計算された小数（ｘｍｉｎ，ｙｍｉｎ）が整数距離改良ＭＶに加算されて、サブピクセル精度の改良デルタＭＶを得る。
【0091】
[0114] ＶＶＣでは、ＭＶの分解能は１／１６ルーマサンプルである。小数位置におけるサンプルは、８タップ補間フィルタを使用して補間される。ＤＭＶＲでは、探索点は、整数サンプルのオフセットを伴って初期の小数ペルＭＶを取り囲む。したがって、それらの小数位置のサンプルは、ＤＭＶＲ探索プロセスのために補間される。計算の複雑さを減らすために、ＤＭＶＲにおける探索プロセスのための小数サンプルを生成するために、双線形補間フィルタが使用される。別の効果は、２サンプルの探索範囲とともに双線形フィルタを使用することによって、ＤＶＭＲは通常の動き補償プロセスと比較してより多くの参照サンプルにアクセスしないということである。改良されたＭＶがＤＭＶＲ探索プロセスを用いて得られた後、最終的な予測を生成するために普通の８タップ補間フィルタが適用される。通常の動き補償プロセスより多くの参照サンプルにアクセスしないようにするために、元のＭＶに基づく補間プロセスには必要とされないが、改良されたＭＶに基づく補間プロセスに必要とされるサンプルが、利用可能なサンプルからパディングされる。
【0092】
[0115] ＣＵの幅及び／又は高さが１６ルーマサンプルよりも大きいとき、ＣＵは、ＤＭＶＲプロセスのために、幅及び／又は高さが１６ルーマサンプルに等しいサブブロックに更に分割されてもよい。
【0093】
[0116] ＶＶＣにおいて、ＤＭＶＲは、以下のモード及び特徴でコーディングされるＣＵに適用することができる。
－双予測ＭＶを用いるＣＵレベルマージモード
－現在ピクチャに対して、１つの参照ピクチャは過去にあり、別の参照ピクチャは未来にある
－２つの参照ピクチャから現在のピクチャまでの距離（例えば、ＰＯＣ差分）が同じである
－両方の参照ピクチャは短期参照ピクチャである。
－ＣＵが６４個より多くのルーマサンプルを有する
－ＣＵの高さとＣＵの幅の両方が８ルーマサンプル以上である
－ＢＣＷ重みインデックスが等しい重みを示す
－現在ブロックに対してＷＰが有効化されていない
－現在ブロックにはＣＩＩＰモードが使用されない
－双予測ＭＶを用いるＣＵレベルマージモード
－現在ピクチャに対して、１つの参照ピクチャは過去にあり、別の参照ピクチャは未来にある
－２つの参照ピクチャから現在のピクチャまでの距離（例えば、ＰＯＣ差分）が同じである
－両方の参照ピクチャは短期参照ピクチャである。
－ＣＵが６４個より多くのルーマサンプルを有する
－ＣＵの高さとＣＵの幅の両方が８ルーマサンプル以上である
－ＢＣＷ重みインデックスが等しい重みを示す
－現在ブロックに対してＷＰが有効化されていない
－現在ブロックにはＣＩＩＰモードが使用されない
【0094】
[0117] 双方向オプティカルフロー（ＢＤＯＦ）
[0118] 双方向オプティカルフロー（ＢＤＯＦ）は、４×４のサブブロックレベルにおけるＣＵの中のルーマサンプルの双予測信号を改良するために使用される。その名称が示すように、ＢＤＯＦモードはオプティカルフローの概念に基づき、この概念は、オブジェクトの動きが滑らかであると仮定する。４×４の各サブブロックに対して、Ｌ０予測サンプルとＬ１予測サンプルとの間の差分を最小化することによって動き改良（ｖｘ，ｖｙ）が計算される。動き改良は次いで、４×４サブブロックの中の双予測されるサンプル値を調整するために使用される。以下のステップはＢＤＯＦプロセスにおいて適用される。
[0118] 双方向オプティカルフロー（ＢＤＯＦ）は、４×４のサブブロックレベルにおけるＣＵの中のルーマサンプルの双予測信号を改良するために使用される。その名称が示すように、ＢＤＯＦモードはオプティカルフローの概念に基づき、この概念は、オブジェクトの動きが滑らかであると仮定する。４×４の各サブブロックに対して、Ｌ０予測サンプルとＬ１予測サンプルとの間の差分を最小化することによって動き改良（ｖｘ，ｖｙ）が計算される。動き改良は次いで、４×４サブブロックの中の双予測されるサンプル値を調整するために使用される。以下のステップはＢＤＯＦプロセスにおいて適用される。
【0095】
[0119] 第１に、２つの予測信号の水平及び垂直勾配、
【0096】
【数1】
【0097】
ｋ＝０，１は、例えば以下のように、２つの隣接するサンプル間の差分を直接計算することによって計算される。
【0098】
【数2】
【0099】
であり、
ここで、Ｉ（ｋ）（ｉ，ｊ）は、リストｋにおける予測信号の座標（ｉ，ｊ）におけるサンプル値であり、ｋ，ｋ＝０，１であり、ｓｈｉｆｔ１は、ｓｈｉｆｔ１が６に等しく設定されるので、ルーマビット深度ｂｉｔＤｅｐｔｈに基づいて計算される。
ここで、Ｉ（ｋ）（ｉ，ｊ）は、リストｋにおける予測信号の座標（ｉ，ｊ）におけるサンプル値であり、ｋ，ｋ＝０，１であり、ｓｈｉｆｔ１は、ｓｈｉｆｔ１が６に等しく設定されるので、ルーマビット深度ｂｉｔＤｅｐｔｈに基づいて計算される。
【0100】
[0120] 次に、勾配Ｓ１、Ｓ２、Ｓ３、Ｓ５及びＳ６の自己相関及び相互相関は、以下のように計算される。
【0101】
【数3】
【0102】
であり、Ωは４×４サブブロックの周りの６×６ウィンドウであり、ｓｈｉｆｔ２の値は４に等しく設定され、ｓｈｉｆｔ３の値は１に等しく設定される。
【0103】
[0121] 動き改良（ｖｘ，ｖｙ）が、次いで、以下のことを使用して相互相関項及び自己相関項を使用して導出される。
【0104】
【数4】
【0105】
であり、
ただし、ｔｈ’ＢＩＯ＝１≪４である。
ただし、ｔｈ’ＢＩＯ＝１≪４である。
【0106】
【数5】
【0107】
は、床関数である。
【0108】
[0122] 動き改良及び勾配に基づいて、４×４サブブロック中の各サンプルのために以下の調整が計算される。
【0109】
【数6】
【0110】
[0123] 最後に、ＣＵのＢＤＯＦサンプルが、双予測サンプルを調整することによって次のように計算される。
ｐｒｅｄＢＤＯＦ（ｘ，ｙ）＝（Ｉ（０）（ｘ，ｙ）＋Ｉ（１）（ｘ，ｙ）＋ｂ（ｘ，ｙ）＋οｏｆｆｓｅｔ）≫ｓｈｉｆｔ５ （１－６－６）
であり、
ただし、ｓｈｉｆｔ５はＭａｘ（３，１５－ＢｉｔＤｅｐｔｈ）に等しく設定され、変数οｏｆｆｓｅｔは（１＜＜（ｓｈｉｆｔ５－１））に等しく設定される。
ｐｒｅｄＢＤＯＦ（ｘ，ｙ）＝（Ｉ（０）（ｘ，ｙ）＋Ｉ（１）（ｘ，ｙ）＋ｂ（ｘ，ｙ）＋οｏｆｆｓｅｔ）≫ｓｈｉｆｔ５ （１－６－６）
であり、
ただし、ｓｈｉｆｔ５はＭａｘ（３，１５－ＢｉｔＤｅｐｔｈ）に等しく設定され、変数οｏｆｆｓｅｔは（１＜＜（ｓｈｉｆｔ５－１））に等しく設定される。
【0111】
[0124] これらの値は、ＢＤＯＦプロセスにおける乗数が１５ビットを超えず、ＢＤＯＦプロセスにおける中間パラメータの最大ビット幅が３２ビット以内に保たれるように選択される。
【0112】
[0125] 勾配値を導出するために、現在のＣＵ境界の外側のリストｋ（ｋ＝０，１）内のいくつかの予測サンプルＩ（ｋ）（ｉ，ｊ）を生成し得る。図６は、双方向オプティカルフローにおいて使用される拡張コーディングユニット領域の一例を示す。図６に示すように、ＢＤＯＦは、ＣＵ６００の境界の周囲の、１つの拡張された行／列を使用する。境界外の予測サンプルを生成する計算複雑性を制御するために、拡張されたエリア（白い位置）中の予測サンプルは、補間なしに（座標上でｆｌｏｏｒ（）演算を使用することによって）近くの整数位置の参照サンプルを直接取ることによって生成され、ＣＵ（グレー位置）内の予測サンプルを生成するために通常の８タップ動き補償補間フィルタが使用される。これらの拡張されたサンプル値は、勾配計算にのみ使用される。ＢＤＯＦプロセスの残りのステップでは、ＣＵ境界外のサンプル及び勾配値が必要とされる場合、それらは、それらの最近傍からパディングされる（例えば、繰り返される）。
【0113】
[0126] ＢＤＯＦは、４×４サブブロックレベルにおけるＣＵの双予測信号を改良するために使用される。次の条件のすべてが満たされる場合、ＢＤＯＦがＣＵに適用される。
－「真の」双予測モードを使用してＣＵがコーディングされ、例えば、２つの参照ピクチャのうちの一方が表示順序で現在ピクチャの前にあり、他方が表示順序で現在ピクチャの後にある
－ＣＵが、アフィンモード又はＳｂＴＭＶＰマージモードを使用してコーディングされない
－ＣＵが６４個より多くのルーマサンプルを有する
－ＣＵの高さとＣＵの幅の両方が８ルーマサンプル以上である
－ＢＣＷ重みインデックスが等しい重みを示す
－現在のＣＵに対してＷＰが有効化されない
－現在のＣＵにはＣＩＩＰモードが使用されない
－「真の」双予測モードを使用してＣＵがコーディングされ、例えば、２つの参照ピクチャのうちの一方が表示順序で現在ピクチャの前にあり、他方が表示順序で現在ピクチャの後にある
－ＣＵが、アフィンモード又はＳｂＴＭＶＰマージモードを使用してコーディングされない
－ＣＵが６４個より多くのルーマサンプルを有する
－ＣＵの高さとＣＵの幅の両方が８ルーマサンプル以上である
－ＢＣＷ重みインデックスが等しい重みを示す
－現在のＣＵに対してＷＰが有効化されない
－現在のＣＵにはＣＩＩＰモードが使用されない
【0114】
[0127] マルチパスデコーダ側動き改良
[0128] ＪＶＥＴ－Ｖ会議では、強化された圧縮モデル（ＥＣＭ、ｈｔｔｐｓ：／／ｖｃｇｉｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｅｃｍ／ＶＶＣＳｏｆｔｗａｒｅ＿ＶＴＭ／－／ｔｒｅｅ／ＥＣＭ）は、ＶＶＣを超える圧縮技法を研究するために確立された。ＥＣＭでは、「Ｃｏｍｐｒｅｓｓｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ｂｅｙｏｎｄ ＶＶＣ」（Ｙａｏ－Ｊｅｎ Ｃｈａｎｇら、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３及びＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、第２１回会議のＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）、２０２１年１月６日から１５日、遠隔会議による（以下、「ＪＶＥＴ＿Ｕ０１００」））に記載されているマルチパスデコーダ側動き改良技法が、ＶＶＣにおけるＤＭＶＲを置き換えるために採用された。第１のパスでは、ＢＭ（ＶＶＣにおけるＤＭＶＲのものと同様）がコーディングブロックに適用される。第２のパスでは、ＢＭは、コーディングブロック内の各１６×１６サブブロックに適用され、第１のパス改良されたＭＶが初期ＭＶとして適用される。第３のパスでは、各８×８サブブロック中のＭＶが、双方向オプティカルフロー（ＢＤＯＦ）を適用することによって更に改良される。
[0128] ＪＶＥＴ－Ｖ会議では、強化された圧縮モデル（ＥＣＭ、ｈｔｔｐｓ：／／ｖｃｇｉｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｅｃｍ／ＶＶＣＳｏｆｔｗａｒｅ＿ＶＴＭ／－／ｔｒｅｅ／ＥＣＭ）は、ＶＶＣを超える圧縮技法を研究するために確立された。ＥＣＭでは、「Ｃｏｍｐｒｅｓｓｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ｂｅｙｏｎｄ ＶＶＣ」（Ｙａｏ－Ｊｅｎ Ｃｈａｎｇら、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３及びＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、第２１回会議のＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）、２０２１年１月６日から１５日、遠隔会議による（以下、「ＪＶＥＴ＿Ｕ０１００」））に記載されているマルチパスデコーダ側動き改良技法が、ＶＶＣにおけるＤＭＶＲを置き換えるために採用された。第１のパスでは、ＢＭ（ＶＶＣにおけるＤＭＶＲのものと同様）がコーディングブロックに適用される。第２のパスでは、ＢＭは、コーディングブロック内の各１６×１６サブブロックに適用され、第１のパス改良されたＭＶが初期ＭＶとして適用される。第３のパスでは、各８×８サブブロック中のＭＶが、双方向オプティカルフロー（ＢＤＯＦ）を適用することによって更に改良される。
【0115】
[0129] 第１のパス－ブロックベースの双方向マッチングＭＶ改良
[0130] 第１のパスでは、ＢＭをコーディングブロックに適用することによって、改良されたＭＶが導出される。デコーダ側動きベクトル改良（ＤＭＶＲ）と同様に、双予測動作では、改良されたＭＶが、参照ピクチャリストＬ０及びＬ１中の２つの初期ＭＶ（ＭＶ０及びＭＶ１）の周りで探索される。改良されたＭＶ（ＭＶ０＿ｐａｓｓ１及びＭＶ１＿ｐａｓｓ１）は、Ｌ０及びＬ１内の２つの参照ブロック間の最小双方向マッチングコストに基づいて、初期ＭＶの周囲で導出される。
[0130] 第１のパスでは、ＢＭをコーディングブロックに適用することによって、改良されたＭＶが導出される。デコーダ側動きベクトル改良（ＤＭＶＲ）と同様に、双予測動作では、改良されたＭＶが、参照ピクチャリストＬ０及びＬ１中の２つの初期ＭＶ（ＭＶ０及びＭＶ１）の周りで探索される。改良されたＭＶ（ＭＶ０＿ｐａｓｓ１及びＭＶ１＿ｐａｓｓ１）は、Ｌ０及びＬ１内の２つの参照ブロック間の最小双方向マッチングコストに基づいて、初期ＭＶの周囲で導出される。
【0116】
[0131] ＢＭは、整数サンプル精度ｉｎｔＤｅｌｔａＭＶを導出するためにローカル探索を実行することを含む。ローカル探索は、３×３の正方形探索パターンを適用して、探索範囲［－ｓＨｏｒ，ｓＨｏｒ］を水平方向に、［－ｓＶｅｒ，ｓＶｅｒ］を垂直方向にループし、ｓＨｏｒ及びｓＶｅｒの値はブロックの大きさによって決定され、ｓＨｏｒ及びｓＶｅｒの最大値は８である。
【0117】
[0132] 双方向マッチングコストは、ｂｉｌＣｏｓｔ＝ｍｖＤｉｓｔａｎｃｅＣｏｓｔ＋ｓａｄＣｏｓｔとして計算される。ブロックサイズｃｂＷ＊ｃｂＨが６４より大きいとき、平均除去ＳＡＤ（ＭＲＳＡＤ）コスト関数が、参照ブロック間の歪みのＤＣ効果を除去するために適用される。３×３の探索パターンの中心点のｂｉｌＣｏｓｔが最小コストを有する場合、ｉｎｔＤｅｌｔａＭＶローカル探索は終了する。そうでない場合、現在の最小コスト探索点は、３×３探索パターンの新しい中心点になり、ビデオコーダは、探索範囲の最後に達するまで最小コストを探索し続ける。
【0118】
[0133] 既存の小数サンプル改良は、最終デルタＭＶを導出するために更に適用される。次に、第１のパス後の改良されたＭＶは、次のように導出される。
－ＭＶ０＿ｐａｓｓ１＝ＭＶ０＋ｄｅｌｔａＭＶ
－ＭＶ１＿ｐａｓｓ１＝ＭＶ１－ｄｅｌｔａＭＶ
－ＭＶ０＿ｐａｓｓ１＝ＭＶ０＋ｄｅｌｔａＭＶ
－ＭＶ１＿ｐａｓｓ１＝ＭＶ１－ｄｅｌｔａＭＶ
【0119】
[0134] 第２のパス－サブブロックベースの双方向マッチングＭＶ改良
[0135] 第２のパスでは、ＢＭを１６×１６グリッドサブブロックに適用することによって、改良されたＭＶが導出される。サブブロックごとに、参照ピクチャリストＬ０及びＬ１において、第１のパスで取得された２つのＭＶ（ＭＶ０＿ｐａｓｓ１及びＭＶ１＿ｐａｓｓ１）の周りで改良されたＭＶが探索される。改良されたＭＶ（ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）及びＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２））（ここで、ｓｂＩｄｘ２＝０，．．．，Ｎ－１はサブブロックのインデックスである）は、Ｌ０及びＬ１内の２つの参照サブブロック間の最小双方向マッチングコストに基づいて導出される。
[0135] 第２のパスでは、ＢＭを１６×１６グリッドサブブロックに適用することによって、改良されたＭＶが導出される。サブブロックごとに、参照ピクチャリストＬ０及びＬ１において、第１のパスで取得された２つのＭＶ（ＭＶ０＿ｐａｓｓ１及びＭＶ１＿ｐａｓｓ１）の周りで改良されたＭＶが探索される。改良されたＭＶ（ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）及びＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２））（ここで、ｓｂＩｄｘ２＝０，．．．，Ｎ－１はサブブロックのインデックスである）は、Ｌ０及びＬ１内の２つの参照サブブロック間の最小双方向マッチングコストに基づいて導出される。
【0120】
[0136] サブブロックごとに、ＢＭは、整数サンプル精度ｉｎｔＤｅｌｔａＭＶを導出するために全探索を実行することを含む。全探索は、水平方向に［－ｓＨｏｒ，ｓＨｏｒ］、垂直方向に［－ｓＶｅｒ，ｓＶｅｒ］の探索範囲を有し、ｓＨｏｒ及びｓＶｅｒの値はブロックの大きさによって決定され、ｓＨｏｒ及びｓＶｅｒの最大値は８である。
【0121】
[0137] 双方向マッチングコストは、ｂｉｌＣｏｓｔ＝ｓａｔｄＣｏｓｔ＊ｃｏｓｔＦａｃｔｏｒとして、２つの参照サブブロック間の変換差分絶対和（ＳＡＴＤ）コストにコスト係数を適用することによって計算される。図７は、マルチパスデコーダ側動き改良のための例示的なダイヤモンド探索領域７００を示す。探索領域（２＊ｓＨｏｒ＋１）＊（２＊ｓＶｅｒ＋１）は、図７に示されるように、５つのダイヤモンド形の探索領域に分割される。各探索領域には、各探索点と開始ＭＶとの間の距離（ｉｎｔＤｅｌｔａＭＶ）によって決定されるｃｏｓｔＦａｃｔｏｒが割り当てられる。各ダイヤモンド領域は、探索領域の中心から始まる順序で処理される。各領域において、探索点は、領域の左上隅から開始して右下隅に進むラスター走査順序で処理される。現在の探索領域内の最小ｂｉｌＣｏｓｔがｓｂＷ＊ｓｂＨに等しい閾値未満であるとき、ｉｎｔ－ｐｅｌ全探索は終了される。そうでない場合には、すべての探索点が調べられるまで、次の探索領域に対してｉｎｔ－ｐｅｌ全探索が継続される。
【0122】
[0138] 既存のＶＶＣ ＤＭＶＲ小数サンプル改良は、最終ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）を導出するために更に適用される。次に、第２のパスにおける改良されたＭＶは、次のように導出される。
－ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ０＿ｐａｓｓ１＋ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）
－ＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ１＿ｐａｓｓ１－ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）
－ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ０＿ｐａｓｓ１＋ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）
－ＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ１＿ｐａｓｓ１－ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）
【0123】
[0139] 第３のパス－サブブロックベースの双方向オプティカルフローＭＶ改良
[0140] 第３のパスでは、ＢＤＯＦを８×８グリッドサブブロックに適用することによって、改良されたＭＶが導出される。各８×８サブブロックに対して、ＢＤＯＦ改良が適用され、第２のパスの親サブブロックの改良されたＭＶから開始して、クリッピングなしで、スケーリングされたＶｘ及びＶｙ値を導出する。導出されたｂｉｏＭｖ（Ｖｘ，Ｖｙ）は、１／１６サンプル精度に丸められ、－３２と３２との間でクリッピングされる。
[0140] 第３のパスでは、ＢＤＯＦを８×８グリッドサブブロックに適用することによって、改良されたＭＶが導出される。各８×８サブブロックに対して、ＢＤＯＦ改良が適用され、第２のパスの親サブブロックの改良されたＭＶから開始して、クリッピングなしで、スケーリングされたＶｘ及びＶｙ値を導出する。導出されたｂｉｏＭｖ（Ｖｘ，Ｖｙ）は、１／１６サンプル精度に丸められ、－３２と３２との間でクリッピングされる。
【0124】
[0141] 第３のパスにおける改良されたＭＶ（ＭＶ０＿ｐａｓｓ３（ｓｂＩｄｘ３）及びＭＶ１＿ｐａｓｓ３（ｓｂＩｄｘ３））は、以下のように導出される。
・ＭＶ０＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＋ｂｉｏＭｖ
・ＭＶ１＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）－ｂｉｏＭｖ
・ＭＶ０＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＋ｂｉｏＭｖ
・ＭＶ１＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）－ｂｉｏＭｖ
【0125】
マルチパスＤＭＶＲの更なる詳細は、２０２０年１２月２２日に出願された同時係属中の米国仮特許出願第６３／１２９２２１号に見出すことができる。
【0126】
[0142] テンプレートマッチング
[0143] テンプレートマッチング（ＴＭ）は、現在ピクチャ内のテンプレート（例えば、現在のＣＵの上及び／又は左の隣接ブロック）と参照ピクチャ内のブロック（例えば、テンプレートと同じサイズ）との間の最も近いマッチングを見つけることによって現在のＣＵの動き情報を改良するデコーダ側ＭＶ導出方法である。図８は、初期動きベクトルの周辺の探索領域に対して実行されるテンプレートマッチングの例を示す。図８に示されているように、より良いＭＶは、参照フレーム８０８中の［－８，＋８］ペル探索範囲８０６内の現在ＣＵ８０２の初期動き８００の周りで探索されるべきである。初期マッチング誤差に基づいてＡＭＶＰ候補が選択されると、ＡＭＶＰ ＭＶＰはテンプレートマッチングによって改良される。シグナリングされたマージインデックスによって示されるマージ候補では、Ｌ０及びＬ１に対応するそのマージされたＭＶは、テンプレートマッチングによって独立して改良され、次いで、より良好な動きベクトルを初期動きベクトルとして用いて、精度の低い動きベクトルが再び更に改良される（例えば、前の動きベクトル）。
[0143] テンプレートマッチング（ＴＭ）は、現在ピクチャ内のテンプレート（例えば、現在のＣＵの上及び／又は左の隣接ブロック）と参照ピクチャ内のブロック（例えば、テンプレートと同じサイズ）との間の最も近いマッチングを見つけることによって現在のＣＵの動き情報を改良するデコーダ側ＭＶ導出方法である。図８は、初期動きベクトルの周辺の探索領域に対して実行されるテンプレートマッチングの例を示す。図８に示されているように、より良いＭＶは、参照フレーム８０８中の［－８，＋８］ペル探索範囲８０６内の現在ＣＵ８０２の初期動き８００の周りで探索されるべきである。初期マッチング誤差に基づいてＡＭＶＰ候補が選択されると、ＡＭＶＰ ＭＶＰはテンプレートマッチングによって改良される。シグナリングされたマージインデックスによって示されるマージ候補では、Ｌ０及びＬ１に対応するそのマージされたＭＶは、テンプレートマッチングによって独立して改良され、次いで、より良好な動きベクトルを初期動きベクトルとして用いて、精度の低い動きベクトルが再び更に改良される（例えば、前の動きベクトル）。
【0127】
[0144] コスト関数：動きベクトルが小数サンプル位置を指すとき、動き補償補間が使用され得る。複雑度を低減するために、テンプレートマッチングのために通常の８タップＤＣＴ－ＩＦ補間の代わりに双線形補間が使用されて、参照ピクチャ上のテンプレートを生成する。テンプレートマッチングのマッチングコストＣは次のように計算される。
Ｃ＝ＳＡＤ＋ｗ＊（｜ＭＶｘ－ＭＶｓｘ｜＋｜ＭＶｙ－ＭＶｓｙ｜），
ここで、ｗは、０、１、２、３又は４などの整数に設定することができる重み係数であり、ＭＶ及び複数のＭＶは、それぞれ、現在試験されているＭＶ及び初期ＭＶ（例えば、ＡＭＶＰモードにおけるＭＶＰ候補、又はマージモードにおけるマージされた動き）を示す。テンプレートマッチングのマッチングコストとして、ＳＡＤが使用される。
Ｃ＝ＳＡＤ＋ｗ＊（｜ＭＶｘ－ＭＶｓｘ｜＋｜ＭＶｙ－ＭＶｓｙ｜），
ここで、ｗは、０、１、２、３又は４などの整数に設定することができる重み係数であり、ＭＶ及び複数のＭＶは、それぞれ、現在試験されているＭＶ及び初期ＭＶ（例えば、ＡＭＶＰモードにおけるＭＶＰ候補、又はマージモードにおけるマージされた動き）を示す。テンプレートマッチングのマッチングコストとして、ＳＡＤが使用される。
【0128】
[0145] ＴＭが使用される場合、動き情報は、ルーマサンプルのみを使用することによって改良される。導出された動き情報は、動き補償インター予測のためのルーマ及びクロマの両方に使用される。ＭＶが決定された後、ルーマ成分用の８タップ補間フィルタ及びクロマ成分用の４タップ補間フィルタを使用して最終的な動き補償が実行される。
【0129】
[0146] 探索方法：ＭＶ改良は、テンプレートマッチングコスト及び階層構造の基準を用いたパターンベースのＭＶ探索である。ＭＶ改良に対して、ダイヤモンド探索及び交差探索という、２つの探索パターンがサポートされる。階層構造は、粗いＭＶＤ精度（例えば、１／４ペル）において始まり、より細かい精度（例えば、１／８ペル）において終わる、ＭＶを改良するための反復プロセスを指定する。ＭＶは、ダイヤモンドパターンを用いて１／４ルーマサンプルＭＶＤ精度で直接探索され、その後、クロスパターンを用いて１／４ルーマサンプルＭＶＤ精度で探索される。この後に、クロスパターンを有する１／８ルーマサンプルＭＶＤ改良が続く。ＭＶ改良の探索範囲は、初期ＭＶの周りの（－８，＋８）ルーマサンプルに等しく設定される。現在ブロックが双予測を使用してコーディングされる場合、両方のＭＶは独立して改良され、次いで、その最良のもの（マッチングコストに関して）が先行ＭＶとして設定され、ＢＣＷ重み値で他のＭＶを更に改良する。
【0130】
[0147] 具体的には、「Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＳＤＲ，ＨＤＲ ａｎｄ ３６０°ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ Ｑｕａｌｃｏｍｍ ａｎｄ Ｔｅｃｈｎｉｃｏｌｏｒ－ｌｏｗ ａｎｄ ｈｉｇｈ ｃｏｍｐｌｅｘｉｔｙ ｖｅｒｓｉｏｎｓ」（Ｙ－Ｗ Ｃｈｅｎら、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３及びＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）、第１０回会議：サンディエゴ、米国、２０１８年４月１０日～２０日（以下、「ＪＶＥＴ－Ｊ００２１」とする））において提案されたテンプレートマッチングであり、ＪＶＥＴ－Ｕ０１００は、いくつかの例示的な提案においてＡＭＶＰモード及びマージモードに適用される。
【0131】
[0148] 正規マージ候補リストは、以下の候補の順序で構築される。
・空間的隣接ＣＵからの空間ＭＶＰ：最初の４つの利用可能な候補が、上隣接ＣＵ（Ａ）、左隣接ＣＵ（Ｌ）、右上隣接ＣＵ（ＡＲ）、左下隣接ＣＵ（ＬＢ）、左上隣接ＣＵ（ＬＡ）の順序の中から選択される。
・コロケートされたＣＵからの時間ＭＶＰ：１つの候補のみが追加される。
・履歴ベースのＭＶＰ：以前にコーディングされたブロックの動き情報がテーブルに記憶され、現在のＣＵのＭＶＰとして使用される。
・ペアワイズ平均ＭＶＰ：ペアワイズ平均候補は、既存の正規マージ候補リスト内の候補の事前定義されたペアを平均化することによって生成される。
・０ＭＶ。
・空間的隣接ＣＵからの空間ＭＶＰ：最初の４つの利用可能な候補が、上隣接ＣＵ（Ａ）、左隣接ＣＵ（Ｌ）、右上隣接ＣＵ（ＡＲ）、左下隣接ＣＵ（ＬＢ）、左上隣接ＣＵ（ＬＡ）の順序の中から選択される。
・コロケートされたＣＵからの時間ＭＶＰ：１つの候補のみが追加される。
・履歴ベースのＭＶＰ：以前にコーディングされたブロックの動き情報がテーブルに記憶され、現在のＣＵのＭＶＰとして使用される。
・ペアワイズ平均ＭＶＰ：ペアワイズ平均候補は、既存の正規マージ候補リスト内の候補の事前定義されたペアを平均化することによって生成される。
・０ＭＶ。
【0132】
[0149] マージモードを使用してコーディングされたブロックにＴＭが適用されるとき、テンプレートマッチングに基づいて正規マージ候補のＭＶＰを改良することによって、別個のＴＭマージ候補リストが構築される。
【0133】
[0150] デコーダ側動き探索プロセスでは、双方向マッチングベースのＤＭＶＲ又はテンプレートマッチングのいずれかについて、コスト基準が定義され、事前定義された探索領域内の候補位置についてのコストを計算するために使用され得る。最小コストを有する候補位置に関連付けられた動き情報は、反復探索プロセスの出力である。探索プロセスは、複数回の反復で実行され得る。各反復において、探索領域内の候補位置のサブセットを評価し得る。各サブセットについて候補位置を選択するための特定のパターンが適用され得る。例えば、正方形探索、ダイヤモンド探索、及び図７のダイヤモンド領域である。一般に、初期位置と候補位置との間の距離は、各反復の後に増加する。言い換えれば、現在の探索反復における候補位置は、前の反復の位置よりも初期点から更に離れていてもよい。
【0134】
[0151] 最小コストを追跡するために変数ｍｉｎＣｏｓｔを定義し得る。変数ｍｉｎＣｏｓｔは、反復探索プロセス中に計算される最小値を表し得る。本開示では、ｍｉｎＣｏｓｔを、これまでに決定された反復探索プロセスの最小コストと呼ぶことがある。いくつかの早期終了方法が、探索プロセスを終了するために適用され得る。例えば、ｍｉｎＣｏｓｔが閾値未満である場合にプロセスが終了されるか、又は最小コストを有する最良の候補位置が１つのサブセットから次のサブセットに（例えば、１つの反復から次の反復に）変更されなかった場合に、プロセスが終了される。
【0135】
[0152] 本開示は、探索プロセスの計算複雑性を低減するための、デコーダ側動きベクトル導出技法のための探索プロセスの早期終了のための技法について説明する。本開示の技法は、探索プロセスを伴うデコーダ側動きベクトル導出技法のいずれかとともに使用され得る。一例では、本開示の技法は、ＤＭＶＲの双方向マッチング又はテンプレートマッチングのいずれかにおいて適用され得る。他の例では、本開示の技法はまた、例えば、上記で説明したように、他の早期終了方法とともに使用され得る。
【0136】
[0153] 本開示の一例では、ビデオエンコーダ２００及びビデオデコーダ３００は、前の探索反復における最小コストを追跡するために、第２の変数ｍｉｎＣｏｓｔＰｒｅｖの値を計算し得る。一例では、反復の最大数は、この例が適用される場合、２よりも大きいものとする。一例では、ビデオエンコーダ２００及びビデオデコーダ３００は、ｍｉｎＣｏｓｔＰｒｅｖの値を所定の値、例えば、０で初期化し得る。
【0137】
[0154] ビデオデコーダ３００は、前の探索反復を通した最小コストと、現在の探索反復を通した総最小コストとを決定し得る。いくつかの例では、前の探索反復は、現在の探索反復の直前にあり得る。例えば、現在の探索反復が４番目の探索反復である場合、前の探索反復は３番目の探索反復になる。この例では、前の探索反復を通した最小コストは、３番目の探索反復を通した最小コストであり、現在の探索反復を通した総最小コストは、４番目の探索反復を通した最小コストである。
【0138】
[0155] ビデオエンコーダ２００は、前の探索反復を通した最小コストと、現在の探索反復を通した総最小コストとを決定し得る。いくつかの例では、前の探索反復は、現在の探索反復の直前にあり得る。例えば、現在の探索反復が４番目の探索反復である場合、前の探索反復は３番目の探索反復になる。この例では、前の探索反復を通した最小コストは、３番目の探索反復を通した最小コストであり、現在の探索反復を通した総最小コストは、４番目の探索反復を通した最小コストである。
【0139】
[0156] 別の例では、前の探索反復自体の最小コストが、前の探索反復を通した最小コストの代わりに使用され得る。例えば、現在の探索反復が４番目の探索反復である場合、前の探索反復は３番目の探索反復になる。この例では、３番目の探索反復自体の最小コストが、３番目の探索反復を通した最小コストの代わりに使用され得る。
【0140】
[0157] いくつかの例では、デコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定するために、ビデオデコーダ３００及び／又はビデオエンコーダ２００は、本開示で説明する技法に従って反復探索プロセスを早期に終了するように構成され得る。
【0141】
[0158] 開示される終了技法では、ビデオエンコーダ２００及びビデオデコーダ３００は、反復探索プロセスが終了されるか否かの決定を実行するためにｍｉｎＣｏｓｔ及びｍｉｎＣｏｓｔＰｒｅｖを考慮するように構成され得る。一例では、ビデオエンコーダ２００及びビデオデコーダ３００は、ｍｉｎＣｏｓｔＰｒｅｖ－ｍｉｎＣｏｓｔ又はａｂｓ（ｍｉｎＣｏｓｔＰｒｅｖ－ｍｉｎＣｏｓｔ）の差分を閾値と比較するように構成され、差分が閾値よりも小さい場合、ビデオエンコーダ２００及びビデオデコーダ３００は反復探索プロセスを終了する。ビデオエンコーダ２００及びビデオデコーダ３００が反復探索プロセスを終了することを決定すると、ビデオエンコーダ２００及びビデオデコーダ３００は、探索プロセスにおけるその時点までの最小コストを有する動きベクトルを返すように構成され得る。
【0142】
[0159] したがって、一例では、ビデオエンコーダ２００及びビデオデコーダ３００は、差分閾値に対する、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に基づいて、反復探索プロセスを早期に終了するように構成され得る。例えば、現在の探索反復が４番目の探索反復であり、前の探索反復が３番目の探索反復である場合、４番目の探索反復を通した最小コストと３番目の探索反復を通した最小コストとの間の差分が差分閾値未満である場合、反復探索プロセスは終了する。いくつかの例では、差分閾値は、固定され得るか、又はビデオデータのブロックのサイズに基づき得る。いくつかの例では、閾値は、ビデオデータのブロックのエリアのＳ倍に等しく設定され得、ここで、Ｓは、ビットストリーム中で事前定義又はシグナリングされ得るスケーリングファクタである。
【0143】
[0160] いくつかの例では、ビデオエンコーダ２００及びビデオデコーダ３００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの間の差分の絶対値を差分閾値と比較することに基づいて、反復探索プロセスを早期に終了するように構成され得る。
【0144】
[0161] 他の例では、ビデオエンコーダ２００及びビデオデコーダ３００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの間の差分が差分閾値を下回るとき、反復探索プロセスを早期に終了することによって、歪みを実質的に増加させることなく計算複雑性を低減し得る。
【0145】
[0162] したがって、本開示の一例では、ビデオデコーダ３００は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定するように構成され得、反復探索プロセスは、前の探索反復の最小コストを計算することと、前の探索反復を通した最小コストに基づいて反復探索プロセスを早期に終了することとを含む。ビデオデコーダ３００は、次いで、動きベクトルを使用してビデオデータのブロックをコーディングし得る。更なる例では、ビデオデコーダ３００は、反復探索プロセスについて決定された最小コストを更新し得る。前の探索反復を通した最小コストに基づいて反復探索プロセスを早期に終了するために、ビデオデコーダ３００は、反復探索プロセスについて決定された最小コストに対する前の探索反復を通したコストの差分又は比を更に計算し、閾値に対する差分又は比に基づいて反復探索プロセスを早期に終了させ得る。
【0146】
[0163] 一例では、開示された技法は、以下のように説明することができる。ビデオエンコーダ２００及びビデオデコーダ３００は、例えば、同じ値を有するように、ｍｉｎＣｏｓｔＰｒｅｖ及びｍｉｎＣｏｓｔを初期化し得る。別の例では、初期化値は、前のプロセスから入力され得るか、又は事前定義された大きい値に等しく設定され得る。反復探索プロセスが終了せず、最大反復に達しない間、ビデオエンコーダ２００及びビデオデコーダ３００は、以下の反復を実行し得る。
１）ｍｉｎＣｏｓｔＰｒｅｖをｍｉｎＣｏｓｔに等しく設定する。
２）候補位置の現在のサブセットを評価し、ｍｉｎＣｏｓｔを決定（例えば、更新）する。
３）ｍｉｎＣｏｓｔ及びｍｉｎＣｏｓｔＰｒｅｖの両方の値に基づいて終了するか否かを決定する。
１）ｍｉｎＣｏｓｔＰｒｅｖをｍｉｎＣｏｓｔに等しく設定する。
２）候補位置の現在のサブセットを評価し、ｍｉｎＣｏｓｔを決定（例えば、更新）する。
３）ｍｉｎＣｏｓｔ及びｍｉｎＣｏｓｔＰｒｅｖの両方の値に基づいて終了するか否かを決定する。
【0147】
[0164] ステップ２）の後に、いくつかの他の早期終了技法を適用してもよいことに留意されたい。例えば、他の早期終了技法がステップ３）の前又は後に適用されてもよい。
【0148】
[0165] 一例では、上記のステップ３）は、ｍｉｎＣｏｓｔとｍｉｎＣｏｓｔＰｒｅｖとの間の差分を評価することを含む。ビデオエンコーダ２００及びビデオデコーダ３００は、ｍｉｎＣｏｓｔＰｒｅｖ－ｍｉｎＣｏｓｔが閾値よりも小さい場合、探索プロセスを終了することを決定し得る。
【0149】
[0166] 上記の例では、閾値は、事前定義された値であるか、固定されるか、又はビットストリーム中でシグナリングされ得る。別の例では、閾値は、入力ブロックのサイズに基づいて適応的であり得る。例えば、閾値は、入力ブロックの面積のＳ倍に等しく設定され得、ここで、Ｓはスケーリング係数であり、事前定義されるか、又はビットストリーム中でシグナリングされ得る。
【0150】
[0167] 別の例では、上記で使用された２つのコストの差分は、コスト比で置き換えられ得る。例えば、ステップ３）は、ｍｉｎＣｏｓｔとｍｉｎＣｏｓｔＰｒｅｖとの間の関係を評価することによって実行される。値Ｒは、（ｍｉｎＣｏｓｔＰｒｅｖ－ｍｉｎＣｏｓｔ）／ｍｉｎＣｏｓｔＰｒｅｖに等しく設定される。ビデオエンコーダ２００及びビデオデコーダ３００は、Ｒが事前定義された閾値よりも小さい場合、探索プロセスを終了することを決定し得る。
【0151】
[0168] したがって、一例では、ビデオエンコーダ２００及びビデオデコーダ３００は、比閾値に対する、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比に基づいて、反復探索プロセスを早期に終了するように構成され得る反復探索プロセスを早期に終了し得る。例えば、現在の探索反復が４番目の探索反復であり、前の探索反復が３番目の探索反復である場合、３番目の探索反復を通した最小コストに対する４番目の探索反復を通した最小コストの比が比閾値を下回る場合、反復探索プロセスは終了される。いくつかの例では、比閾値は、固定され得るか、又はビデオデータのブロックのサイズに基づき得る。
【0152】
[0169] いくつかの例では、前の探索反復を通した最小コストに対する現在の探索反復を通した総最小コストの比が比閾値を下回るとき、早期に探索プロセスを終了することは、歪みを実質的に増加させることなく計算複雑性を低減し得る。
【0153】
[0170] いくつかの例では、反復探索プロセスは、比閾値に対する、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比に基づいて早期に終了され得る。いくつかの例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの間の差分の絶対値が、比において使用され得る。例えば、現在の探索反復が４番目の探索反復であり、前の探索反復が３番目の探索反復である場合、４番目の探索反復を通した最小コストと３番目の探索反復を通した最小コストとの間の差分が決定され、３番目の探索反復を通した最小コストに対する差分の比が決定される。いくつかの例では、比が比閾値を下回る場合、反復探索プロセスは終了される。いくつかの例では、比閾値は、固定され得るか、又はビデオデータのブロックのサイズに基づき得る。
【0154】
[0171] いくつかの例では、反復探索プロセスが早期に終了せず、別の探索反復が実行される場合、現在の探索反復を通した最小コストは、次の探索反復のための前の探索反復を通した最小コストになる。例えば、現在の探索反復が４番目の探索反復であり、前の探索反復が３番目の探索反復であり、反復探索プロセスが早期に終了しない場合、５番目の探索反復が実行される。５番目の探索反復では、４番目の探索反復を通した最小コストが、前の探索反復を通した最小コストになり、現在の探索反復を通した総最小コストが、５番目の探索反復を通した最小コストに更新される。したがって、現在の探索反復を通した総最小コスト及び前の探索反復を通した最小コストは、探索反復ごとに更新され得る。
【0155】
[0172] 別の例では、ステップ３）は、前の反復の数がある事前定義された閾値を超える場合にのみ適用される。
【0156】
[0173] 別の例では、ｃｕｒｒＣｏｓｔとして示される現在の探索位置のコストをｍｉｎＣｏｓｔ及びｍｉｎＣｏｓｔＰｒｅｖとともに更に考慮して、反復探索プロセスを終了するか否かの決定を実行することができる。例えば、ａｂｓ（ｃｕｒｒＣｏｓｔ－ｍｉｎＣｏｓｔＰｒｅｖ）は、例えば閾値と比較することによって評価し得、現在のコストｃｕｒｒＣｏｓｔがｍｉｎＣｏｓｔＰｒｅｖとあまり異ならない場合、探索を終了し得る。別の例では、ａｂｓ（ｍｉｎＣｏｓｔＰｒｅｖ－ｍｉｎＣｏｓｔ）が閾値と比較される追加の条件が追加され、閾値未満であり、ａｂｓ（ｃｕｒｒＣｏｓｔ－ｍｉｎＣｏｓｔＰｒｅｖ）が別の閾値未満である場合、反復探索プロセスが終了される。
【0157】
[0174] 例えば、現在の探索反復が４番目の探索反復であり、前の探索反復が３番目の探索反復である場合、現在の探索位置のコストは４番目の探索反復自体のコストであり、前の探索反復を通した最小コストは３番目の探索反復を通した最小コストであり、現在の探索反復を通した総最小コストは４番目の探索反復を通した最小コストである。
【0158】
[0175] いくつかの例では、ビデオエンコーダ２００及びビデオデコーダ３００は、現在の探索位置のコストと前の探索反復を通した最小コストとの間の差分を差分閾値と比較するように構成され得る。いくつかの例では、ビデオエンコーダ２００及びビデオデコーダ３００は、現在の探索位置のコストと前の探索反復を通した最小コストとの間の差分が差分閾値を下回る場合、反復探索プロセスを早期に終了するように構成され得る。
【0159】
[0176] いくつかの例では、ビデオエンコーダ２００及びビデオデコーダ３００は、上記で説明したように、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を決定し、その差分を差分閾値と比較するように構成され得る。加えて、ビデオエンコーダ２００及びビデオデコーダ３００は、現在の探索位置のコストと前の探索反復を通した最小コストとの間の差分を差分閾値と比較するように構成され得る。いくつかの例では、ビデオエンコーダ２００及びビデオデコーダ３００は、両方の差分がそれぞれの差分閾値を下回るとき、反復探索プロセスを早期に終了するように構成され得る。いくつかの例では、それぞれの差分閾値は等しくてもよい。いくつかの例では、それぞれの差分閾値は、異なり得、及び／又は独立し得る。
【0160】
[0177] いくつかの例では、それぞれの差分閾値は、固定され得るか、又はビデオデータのブロックのサイズに基づき得る。いくつかの例では、それぞれの差分閾値は、ビデオデータのブロックの面積のＳ倍に等しくなるようにそれぞれ設定され得、ここで、Ｓは、事前定義され得るか又はビットストリーム中でシグナリングされ得るスケーリング係数である。
【0161】
[0178] いくつかの例では、上記で説明した例のうちの１つ以上に従って、反復探索プロセスを早期に終了するビデオエンコーダ２００及びビデオデコーダ３００は、歪みを実質的に増加させることなく計算複雑性を低減し得る。
【0162】
[0179] 図９は、本開示の技法を実行し得る例示的なビデオエンコーダ２００を示すブロック図である。図９は、説明のために提供され、本開示において広く例示され説明されるような技法の限定と見なされるべきでない。説明のために、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）及びＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法によるビデオエンコーダ２００を説明する。しかしながら、本開示の技法は、他のビデオコーディング規格、並びに、ＡＶ１及びＡＶ１ビデオコーディングフォーマットの後継などのビデオコーディングフォーマットに構成された、ビデオ符号化デバイスによって実施され得る。
【0163】
[0180] 図９の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０、モード選択ユニット２０２、残差生成ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、フィルタユニット２１６、復号ピクチャバッファ（ＤＰＢ）２１８、及びエントロピー符号化ユニット２２０を含む。ビデオデータメモリ２３０、モード選択ユニット２０２、残差生成ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、フィルタユニット２１６、ＤＰＢ２１８、及びエントロピー符号化ユニット２２０のいずれか又はすべてが、１つ若しくは複数のプロセッサにおいて又は処理回路において実装され得る。例えば、ビデオエンコーダ２００のユニットは、ハードウェア回路の一部としての１つ又は複数の回路若しくは論理要素として、又はプロセッサ、ＡＳＩＣ、若しくはＦＰＧＡの一部として実装され得る。その上、ビデオエンコーダ２００は、これら及び他の機能を実行するための追加又は代替のプロセッサ又は処理回路を含んでよい。
【0164】
[0181] ビデオデータメモリ２３０は、ビデオエンコーダ２００のコンポーネントによって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、ビデオデータメモリ２３０に記憶されたビデオデータを、例えば、ビデオソース１０４（図１）から受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測における使用のために参照ビデオデータを記憶する、参照ピクチャメモリとして作用してよい。ビデオデータメモリ２３０及びＤＰＢ２１８は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０及びＤＰＢ２１８は、同じメモリデバイス又は別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、示されるように、ビデオエンコーダ２００の他のコンポーネントとともにオンチップであってもよく、又はそれらのコンポーネントに対してオフチップであってもよい。
【0165】
[0182] 本開示では、ビデオデータメモリ２３０への言及は、そのように特に記載されない限り、ビデオエンコーダ２００の内部のメモリに、又はそのように特に記載されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして、解釈されるべきではない。むしろ、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（例えば、符号化されるべき現在ブロックに対するビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的な記憶域を提供し得る。
【0166】
[0183] 図９の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解する助けとなるために示される。ユニットは、固定機能回路、プログラマブル回路、又はこれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作があらかじめ決められている。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作においてフレキシブルな機能性を提供する。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義される方式で、プログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路は（例えば、パラメータを受信するか又はパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは一般に不変である。いくつかの例では、ユニットのうちの１つ又は複数は、異なる回路ブロック（固定機能又はプログラマブル）であってもよく、いくつかの例では、ユニットのうちの１つ又は複数は集積回路であってもよい。
【0167】
[0184] ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、及び／又は、プログラム可能回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作がプログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）が、ビデオエンコーダ２００が受信及び実行するソフトウェアの命令（例えばオブジェクトコード）を記憶してよく、又はビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶してよい。
【0168】
[0185] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出してよく、ビデオデータを残差生成ユニット２０４及びモード選択ユニット２０２に提供してよい。ビデオデータメモリ２３０中のビデオデータは、符号化されるべき未加工のビデオデータであってもよい。
【0169】
[0186] モード選択ユニット２０２は、動き推定ユニット２２２、動き補償ユニット２２４、及びイントラ予測ユニット２２６を含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含んでよい。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２及び／又は動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含んでよい。
【0170】
[0187] モード選択ユニット２０２は一般に、複数の符号化パスを協調させて、符号化パラメータの組合せと、そのような組合せに対して得られるレート歪み値を試験する。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含んでよい。モード選択ユニット２０２は最終的に、他の試験された組合せより良いレート歪み値を有する符号化パラメータの組合せを選択し得る。
【0171】
[0188] ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分してよく、１つ又は複数のＣＴＵをスライス内にカプセル化してよい。モード選択ユニット２０２は、ＭＴＴ構造、ＱＴＢＴ構造、スーパーブロック構造、又は上記で説明された４分木構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明したように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つ又は複数のＣＵを形成し得る。そのようなＣＵは、一般に、「ビデオブロック」又は「ブロック」と呼ばれることもある。
【0172】
[0189] 一般に、モード選択ユニット２０２はまた、現在のブロック（例えば、現在のＣＵ、又はＨＥＶＣでは、ＰＵ及びＴＵの重複部分）に対する予測ブロックを生成するように、そのコンポーネント（例えば、動き推定ユニット２２２、動き補償ユニット２２４、及びイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測の場合、動き推定ユニット２２２は、１つ又は複数の参照ピクチャ（例えば、ＤＰＢ２１８に記憶されている１つ又は複数の以前にコーディングされたピクチャ）の中の１つ又は複数のよく一致する参照ブロックを特定するために、動き探索を実行し得る。具体的には、動き推定ユニット２２２は、例えば、差分絶対和（ＳＡＤ）、二乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均二乗差（ＭＳＤ）などに従って、潜在的な参照ブロックが現在のブロックとどれだけ類似しているかを表す値を計算し得る。動き推定ユニット２２２は一般に、現在ブロックと検討されている参照ブロックとの間のサンプルごとの差を使用して、これらの計算を実行し得る。動き推定ユニット２２２は、現在ブロックと最もよく一致する参照ブロックを示す、これらの計算に起因する最低の値を有する参照ブロックを特定し得る。
【0173】
[0190] 動き推定ユニット２２２は、現在ピクチャの中の現在ブロックの位置に対する相対的な参照ピクチャの中の参照ブロックの位置を定義する、１つ又は複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、上記で説明したように、動きベクトルを決定するための技法のいずれかを使用して動きベクトルを形成し得る。例えば、動き推定ユニット２２２は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定するように構成され得る。前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することと、を含む反復探索プロセス。動き推定ユニット２２２は、動きベクトルを使用してビデオデータのブロックを符号化するように更に構成され得る。
【0174】
[0191] 動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。例えば、単方向のインター予測の場合、動き推定ユニット２２２は単一の動きベクトルを提供してもよく、一方、双方向インター予測の場合、動き推定ユニット２２２は２つの動きベクトルを提供してもよい。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。例えば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出してよい。別の例として、動きベクトルが小数サンプル精度を有する場合、動き補償ユニット２２４は、１つ又は複数の補間フィルタに従って、予測ブロックに対する値を補間し得る。その上、双方向インター予測の場合、動き補償ユニット２２４は、それぞれの動きベクトルによって特定される２つの参照ブロックに対するデータを取り出し、例えば、サンプルごとの平均化又は重み付き平均化を通じて、取り出されたデータを組み合わせ得る。
【0175】
[0192] ＡＶ１ビデオコーディングフォーマットに従って動作するとき、動き推定ユニット２２２及び動き補償ユニット２２４は、並進動き補償、アフィン動き補償、重複ブロック動き補償（ＯＢＭＣ）、及び／又は合成インター－イントラ予測を使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックの両方）を符号化するように構成され得る。
【0176】
[0193] 別の例として、イントラ予測又はイントラ予測コーディングの場合、イントラ予測ユニット２２６は、現在ブロックに隣接するサンプルから予測ブロックを生成し得る。例えば、方向性モードの場合、イントラ予測ユニット２２６は一般に、隣接するサンプルの値を数学的に組み合わせて、現在ブロックにわたって定められた方向においてこれらの計算された値をポピュレートして、予測ブロックを生成し得る。別の例として、ＤＣモードの場合、イントラ予測ユニット２２６は、現在ブロックに隣接するサンプルの平均を計算し、予測ブロックの各サンプルに対するこの得られた平均を含むように予測ブロックを生成し得る。
【0177】
[0194] ＡＶ１ビデオコーディングフォーマットに従って動作するとき、イントラ予測ユニット２２６は、方向性イントラ予測、非方向性イントラ予測、再帰的フィルタイントラ予測、ルーマからクロマ（ＣＦＬ：chroma-from-luma）予測、イントラブロックコピー（ＩＢＣ）、及び／又はカラーパレットモードを使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックの両方）を符号化するように構成され得る。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含んでよい。
【0178】
[0195] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの未加工の符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとのサンプルごとの差を計算する。得られるサンプルごとの差は、現在ブロックに対する残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ：residual differential pulse code modulation）を使用して残差ブロックを生成するために、残差ブロックの中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つ又は複数の減算器回路を使用して形成され得る。
【0179】
[0196] モード選択ユニット２０２がＣＵをＰＵへと区分する例では、各ＰＵは、ルーマ予測ユニット及び対応するクロマ予測ユニットと関連付けられ得る。ビデオエンコーダ２００及びビデオデコーダ３００は、様々なサイズを有するＰＵをサポートし得る。上で示されたように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであることを想定すると、ビデオエンコーダ２００は、イントラ予測に対して２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズ、及びインター予測に対して２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、又は類似の、対称のＰＵサイズをサポートし得る。ビデオエンコーダ２００及びビデオデコーダ３００はまた、インター予測に対して２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズのための非対称区分をサポートし得る。
【0180】
[0197] モード選択ユニット２０２がＣＵをＰＵに更に区分しない例では、各ＣＵはルーマコーディングブロック及び対応するクロマコーディングブロックと関連付けられてもよい。上のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがある。ビデオエンコーダ２００及びビデオデコーダ３００は、２Ｎ×２Ｎ、２Ｎ×Ｎ、又はＮ×２ＮのＣＵサイズをサポートしてよい。
【0181】
[0198] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、及び線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット２０２は、コーディング技法に関連するそれぞれのユニットを介して、符号化されている現在ブロックのための予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット２０２は、予測ブロックを生成しなくてよく、代わりに、選択されたパレットに基づいてブロックを再構成するための方式を示すシンタックス要素を生成してよい。そのようなモードでは、モード選択ユニット２０２は、符号化されるようにこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。
【0182】
[0199] 上で説明されたように、残差生成ユニット２０４は、現在ブロック及び対応する予測ブロックに対するビデオデータを受信する。残差生成ユニット２０４は次いで、現在ブロックに対する残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとのサンプルごとの差を計算する。
【0183】
[0200] 変換処理ユニット２０６は、変換係数のブロック（本明細書で「変換係数ブロック」と呼ばれる）を生成するために、１つ又は複数の変換を残差ブロックに適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。例えば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、又は概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、複数の変換、例えば、回転変換などの１次変換及び２次変換を、残差ブロックに対して実行してよい。いくつかの例では、変換処理ユニット２０６は、変換を残差ブロックに適用しない。
【0184】
[0201] ＡＶ１に従って動作するとき、変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つ又は複数の変換を適用し得る。変換処理ユニット２０６は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。例えば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）と、非対称離散サイン変換（ＡＤＳＴ）と、反転ＡＤＳＴ（例えば、逆順におけるＡＤＳＴ）と、恒等変換（ＩＤＴＸ）とを含み得る水平／垂直変換組合せを適用し得る。恒等変換を使用するとき、変換は、垂直方向又は水平方向のうちの１つにおいてスキップされる。いくつかの例では、変換処理はスキップされ得る。
【0185】
[0202] 量子化ユニット２０８は、変換係数ブロックの中で変換係数を量子化して量子化変換係数ブロックを生成してよい。量子化ユニット２０８は、現在ブロックに関連する量子化パラメータ（ＱＰ）値に従って、変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（例えば、モード選択ユニット２０２を介して）、ＣＵに関連するＱＰ値を調整することによって、現在ブロックに関連する変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成される元の変換係数より精度が低いことがある。
【0186】
[0203] 逆量子化ユニット２１０及び逆変換処理ユニット２１２は、それぞれ、逆量子化及び逆変換を量子化変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構成し得る。再構成ユニット２１４は、モード選択ユニット２０２によって生成される再構成された残差ブロック及び予測ブロックに基づいて、（ある程度の歪みを伴う可能性があるが）現在ブロックに対応する再構成されたブロックを生成し得る。例えば、再構成ユニット２１４は、再構成された残差ブロックのサンプルを、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに加算して、再構成されたブロックを生成し得る。
【0187】
[0204] フィルタユニット２１６は、再構成されたブロックに対して１つ又は複数のフィルタ動作を実行してよい。例えば、フィルタユニット２１６は、ＣＵのエッジに沿ったブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。
【0188】
[0205] ＡＶ１に従って動作するとき、フィルタユニット２１６は、再構成されたブロックに対して１つ又は複数のフィルタ動作を実施し得る。例えば、フィルタユニット２１６は、ＣＵのエッジに沿ったブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。他の例では、フィルタユニット２１６は、制約付き方向性強調フィルタ（ＣＤＥＦ：constrained directional enhancement filter）を適用し得、これは、デブロッキングの後に適用され得、推定されたエッジ方向に基づく、非分離可能、非線形、ローパス方向性フィルタの適用を含み得る。フィルタユニット２１６は、ループ復元フィルタをも含み得、これは、ＣＤＥＦの後に適用され、分離可能対称正規化ウィーナーフィルタ又はデュアル自己誘導フィルタを含み得る。
【0189】
[0206] ビデオエンコーダ２００は、再構成されたブロックをＤＰＢ２１８に記憶する。例えば、フィルタユニット２１６の動作が実行されない例では、再構成ユニット２１４が再構成されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が実行される例では、フィルタユニット２１６が、フィルタ処理済みの再構成されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２及び動き補償ユニット２２４は、後で符号化されるピクチャのブロックをインター予測するために、再構成された（かつ、潜在的にフィルタ処理済みの）ブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在ピクチャの中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８の中の再構成されたブロックを使用し得る。
【0190】
[0207] 一般に、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能コンポーネントから受信されたシンタックス要素をエントロピー符号化し得る。例えば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（例えば、インター予測のための動き情報又はイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、ビデオデータの別の例であるシンタックス要素に対して１つ又は複数のエントロピー符号化動作を実行して、エントロピー符号化データを生成し得る。例えば、エントロピー符号化ユニット２２０は、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変長－可変長（Ｖ２Ｖ）コーディング動作、シンタックスベースコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、又は別のタイプのエントロピー符号化動作を、データに対して実行し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
【0191】
[0208] ビデオエンコーダ２００は、スライス又はピクチャのブロックを再構成するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。詳細には、エントロピー符号化ユニット２２０がビットストリームを出力してよい。
【0192】
[0209] ＡＶ１に従って、エントロピー符号化ユニット２２０は、シンボル対シンボル適応マルチシンボル算術コーダ（symbol-to-symbol adaptive multi-symbol arithmetic coder）として構成され得る。ＡＶ１におけるシンタックス要素はＮ個の要素のアルファベットを含み、コンテキスト（例えば、確率モデル）はＮ個の確率のセットを含む。エントロピー符号化ユニット２２０は、確率をｎビット（例えば、１５ビット）累積分布関数（ＣＤＦ）として記憶し得る。エントロピー符号化ユニット２２は、コンテキストを更新するために、アルファベットサイズに基づく更新ファクタを用いて、再帰的スケーリングを実施し得る。
【0193】
[0210] 上記で説明した動作はブロックに関して説明される。そのような説明は、ルーマコーディングブロック及び／又はクロマコーディングブロックのための動作であるものとして理解されるべきである。上で説明されたように、いくつかの例では、ルーマコーディングブロック及びクロマコーディングブロックは、ＣＵのルーマ成分及びクロマ成分である。いくつかの例では、ルーマコーディングブロック及びクロマコーディングブロックは、ＰＵのルーマ成分及びクロマ成分である。
【0194】
[0211] いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックに対して繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）及び参照ピクチャを特定するための動作が、クロマブロックのためのＭＶ及び参照ピクチャを特定するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロック及びクロマコーディングブロックについて同じであってもよい。
【0195】
[0212] ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、１つ以上の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表し、１つ以上の処理ユニットは、回路内に実装され、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定し、反復探索プロセスが、前の探索反復の最小コストを計算することと、前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することとを含み、動きベクトルを使用してビデオデータのブロックをコーディングするように構成される。
【0196】
[0213] 図１０は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図１０は説明のために提供され、本開示において広く例示され説明されるような技法を限定するものではない。説明のために、本開示は、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）、及びＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）の技法によるビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されるビデオコーディングデバイスによって実行され得る。
【0197】
[0214] 図１０の例では、ビデオデコーダ３００は、コーディングピクチャバッファ（ＣＰＢ）メモリ３２０、エントロピー復号ユニット３０２、予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、フィルタユニット３１２、及び復号ピクチャバッファ（ＤＰＢ）３１４を含む。ＣＰＢメモリ３２０、エントロピー復号ユニット３０２、予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、フィルタユニット３１２、及びＤＰＢ３１４のいずれか又はすべてが、１つ若しくは複数のプロセッサにおいて又は処理回路において実装され得る。例えば、ビデオデコーダ３００のユニットは、ハードウェア回路の一部としての１つ又は複数の回路若しくは論理要素として、又はプロセッサ、ＡＳＩＣ、若しくはＦＰＧＡの一部として実装され得る。その上、ビデオデコーダ３００は、これら及び他の機能を実行するための追加又は代替のプロセッサ又は処理回路を含んでよい。
【0198】
[0215] 予測処理ユニット３０４は、動き補償ユニット３１６及びイントラ予測ユニット３１８を含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含んでよい。他の例では、ビデオデコーダ３００は、もっと多数の、もっと少数の、又は異なる機能構成要素を含んでよい。
【0199】
[0216] ＡＶ１に従って動作するとき、動き補償ユニット３１６は、上述したように、並進動き補償、アフィン動き補償、ＯＢＭＣ、及び／又は合成インター－イントラ予測を使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックの両方）を復号するように構成され得る。イントラ予測ユニット３１８は、上記で説明されたように、方向性イントラ予測、非方向性イントラ予測、再帰的フィルタイントラ予測、ＣＦＬ、イントラブロックコピー（ＩＢＣ）、及び／又はカラーパレットモードを使用して、ビデオデータのコーディングブロック（例えば、ルーマコーディングブロックとクロマコーディングブロックの両方）を復号するように構成され得る。
【0200】
[0217] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき符号化されたビデオビットストリームなどのビデオデータを記憶してよい。ＣＰＢメモリ３２０の中に記憶されたビデオデータは、例えば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化されたビデオデータ（例えば、シンタックス要素）を記憶するＣＰＢを含んでよい。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時的なデータなどの、コード化ピクチャのシンタックス要素以外のビデオデータを記憶してよい。ＤＰＢ３１４は、一般に、符号化されたビデオビットストリームの後続のデータ又はピクチャを復号するときにビデオデコーダ３００が参照ビデオデータとして出力及び／又は使用し得る復号されたピクチャを記憶する。ＣＰＢメモリ３２０及びＤＰＢ３１４は、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、又は他のタイプのメモリデバイスなどの、様々なメモリデバイスのうちのいずれかによって形成され得る。ＣＰＢメモリ３２０及びＤＰＢ３１４は、同じメモリデバイス又は別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他のコンポーネントとともにオンチップであってよく、又はそれらのコンポーネントに対してオフチップであってよい。
【0201】
[0218] 追加又は代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０について上で論じられたようなデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部又はすべてがビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ３００によって実行されるべき命令を記憶してもよい。
【0202】
[0219] 図１０に示す様々なユニットは、ビデオデコーダ３００によって実行される動作を理解する助けとなるために示される。ユニットは、固定機能回路、プログラマブル回路、又はこれらの組合せとして実装され得る。図９と同様に、固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作があらかじめ設定されている。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作においてフレキシブルな機能性を提供する。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義される方式で、プログラマブル回路を動作させるソフトウェア又はファームウェアを実行し得る。固定機能回路は（例えば、パラメータを受信するか又はパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは一般に不変である。いくつかの例では、ユニットのうちの１つ又は複数は、異なる回路ブロック（固定機能又はプログラマブル）であってもよく、いくつかの例では、ユニットのうちの１つ又は複数は集積回路であってもよい。
【0203】
[0220] ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、及び／又は、プログラム可能回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実行される例では、オンチップメモリ又はオフチップメモリが、ビデオデコーダ３００が受信及び実行するソフトウェアの命令（例えば、オブジェクトコード）を記憶してよい。
【0204】
[0221] エントロピー復号ユニット３０２は、ＣＰＢから符号化されたビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再生してよい。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、及びフィルタユニット３１２は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成してよい。
【0205】
[0222] 一般に、ビデオデコーダ３００は、ブロックごとにピクチャを再構成する。ビデオデコーダ３００は、各ブロックに対する再構成動作を個別に実行し得る（ここで、現在再構成されている、例えば、復号されているブロックは、「現在ブロック」と呼ばれ得る）。
【0206】
[0223] エントロピー復号ユニット３０２は、量子化変換係数ブロックの量子化変換係数、並びに量子化パラメータ（ＱＰ）及び／又は変換モード表示などの変換情報を規定する、シンタックス要素をエントロピー復号してよい。逆量子化ユニット３０６は、量子化変換係数ブロックに関連するＱＰを使用して、量子化の程度、及び同様に逆量子化ユニット３０６が適用すべき逆量子化の程度を決定してよい。逆量子化ユニット３０６は、例えば、量子化変換係数を逆量子化するために、ビット単位の左シフト演算を実行してよい。それによって、逆量子化ユニット３０６は、変換係数を含む変換係数ブロックを形成し得る。
【0207】
[0224] 逆量子化ユニット３０６が変換係数ブロックを形成した後、逆変換処理ユニット３０８は、現在ブロックに関連する残差ブロックを生成するために、変換係数ブロックに１つ又は複数の逆変換を適用し得る。例えば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、又は別の逆変換を変換係数ブロックに適用し得る。
【0208】
更に、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。例えば、現在ブロックがインター予測されることを、予測情報シンタックス要素が示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそこから取り出すべきＤＰＢ３１４の中の参照ピクチャ、並びに、現在ピクチャの中の現在ブロックの位置に対する相対的な参照ピクチャの中の参照ブロックの位置を特定する動きベクトルを示し得る。動き補償ユニット３１６は、一般に、動き補償ユニット２２４（図９）に関して説明した方式と実質的に類似の方式で、インター予測プロセスを実行し得る。
【0209】
[0225] 動き補償ユニット３１６は、上記で説明したように、動きベクトルを決定するための技法のいずれかを使用して動きベクトルを形成し得る。例えば、動き補償ユニット３１６は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定するように構成され得る。前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することと、を含む反復探索プロセス。動き補償ユニット３１６は、動きベクトルを使用してビデオデータのブロックを復号するように更に構成され得る。
【0210】
[0226] 別の例として、現在ブロックがイントラ予測されることを、予測情報シンタックス要素が示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って、予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、一般に、イントラ予測ユニット２２６（図９）に関して説明した方式と実質的に類似の方式で、イントラ予測プロセスを実行してよい。イントラ予測ユニット３１８は、ＤＰＢ３１４から現在ブロックに隣接するサンプルのデータを取り出し得る。
【0211】
[0227] 再構成ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構成し得る。例えば、再構成ユニット３１０は、予測ブロックの対応するサンプルに残差ブロックのサンプルを追加して、現在ブロックを再構成し得る。
【0212】
[0228] フィルタユニット３１２は、再構成されたブロックに対して１つ以上のフィルタ動作を実行してもよい。例えば、フィルタユニット３１２は、再構成されたブロックのエッジに沿ったブロッキネスアーティファクトを低減するために、デブロッキング動作を実行してよい。すべての例において、フィルタユニット３１２の動作が必ずしも実行されるとは限らない。
【0213】
[0229] ビデオデコーダ３００は、再構成されたブロックをＤＰＢ３１４の中に記憶してよい。例えば、フィルタユニット３１２の動作が実行されない例では、再構成ユニット３１０は再構成されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実行される例では、フィルタユニット３１２は、フィルタ処理済みの再構成されたブロックをＤＰＢ３１４に記憶し得る。上記で説明したように、ＤＰＢ３１４は、イントラ予測のための現在のピクチャ及び後続の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を、予測処理ユニット３０４に提供してよい。更に、ビデオデコーダ３００は、図１の表示デバイス１１８などの表示デバイス上に後で提示するための、ＤＰＢ３１４からの復号されたピクチャ（例えば、復号されたビデオ）を出力し得る。
【0214】
[0230] このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、１つ以上の処理ユニットとを含む、ビデオ復号デバイスの一例を表し、１つ以上の処理ユニットは、回路内に実装され、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定し、反復探索プロセスが、前の探索反復の最小コストを計算することと、前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することとを含み、動きベクトルを使用してビデオデータのブロックをコーディングするように構成される。
【0215】
[0231] 図１１は、本開示の技法による、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオエンコーダ２００（図１及び図９）に関して説明されるが、他のデバイスが図１１の方法と同様の方法を実行するように構成され得ることを理解されたい。
【0216】
[0232] この例では、ビデオエンコーダ２００は最初に、現在ブロックを予測する（３５０）。例えば、ビデオエンコーダ２００は、現在ブロックのための予測ブロックを形成し得る。次いで、ビデオエンコーダ２００は、現在ブロックに対する残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックを変換してよく、残差ブロックの変換係数を量子化してよい（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化変換係数を走査してよい（３５６）。走査の間又は走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化してよい（３５８）。例えば、ビデオエンコーダ２００は、ＣＡＶＬＣ又はＣＡＢＡＣを使用して変換係数を符号化してよい。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化データを出力してよい（３６０）。
【0217】
[0233] 図１２は、本開示の技法による、ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオデコーダ３００（図１及び図１０）に関して説明するが、他のデバイスが図１２の方法と同様の方法を実行するように構成され得ることを理解されたい。
【0218】
[0234] ビデオデコーダ３００は、エントロピー符号化された予測情報及び現在ブロックに対応する残差ブロックの変換係数のエントロピー符号化されたデータなどの、現在ブロックについてのエントロピー符号化されたデータを受信し得る（３７０）。ビデオデコーダ３００は、エントロピー符号化されたデータをエントロピー復号して、現在ブロックのための予測情報を決定し、残差ブロックの変換係数を再生し得る（３７２）。ビデオデコーダ３００は、現在ブロックのための予測ブロックを計算するために、例えば、現在ブロックのための予測情報によって示されるようなイントラ予測モード又はインター予測モードを使用して、現在ブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化変換係数のブロックを作成するために、再生された変換係数を逆走査してよい（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために、変換係数を逆量子化してよく、変換係数に逆変換を適用してよい（３７８）。ビデオデコーダ３００は、予測ブロック及び残差ブロックを合成することによって、現在ブロックを最終的に復号し得る（３８０）。
【0219】
[0235] 図１３は、本開示の技法による、反復探索プロセスを早期に終了するための方法の例を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。反復探索プロセスは、ビデオエンコーダ２００及び／又はビデオデコーダ３００によって実行されることに関して説明される。
【0220】
[0236] ビデオエンコーダ２００／デコーダ３００は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定し得る。一例では、反復探索プロセスにおいて、ビデオエンコーダ２００／デコーダ３００は、１番目の探索反復を実行し、前の探索反復を通した最小コストを０に設定する（１３００）ように構成され得る。ビデオエンコーダ２００／デコーダ３００は、１番目の探索反復を通してコストを決定し、現在の探索反復を通した総最小コストを１番目の探索反復を通した全体的なコストとして設定する（１３０２）ように更に構成され得る。ビデオエンコーダ２００／デコーダ３００は、前の探索反復を通した最小コストを現在の探索反復を通した総最小コストと比較することに基づいて、反復探索プロセスを終了するか否かを決定する（１３０４）ように更に構成され得る。ビデオエンコーダ２００／デコーダ３００が反復探索プロセスを早期に終了すると決定した場合、ビデオエンコーダ２００／デコーダ３００は、探索プロセスにおけるその時点までの最小コストを有する動きベクトルを使用してビデオデータのブロックをそれぞれ符号化／復号する（１３０５）ように更に構成される。
【0221】
[0237] ビデオエンコーダ２００／デコーダ３００が反復探索プロセスを早期に終了させないと決定した場合、ビデオエンコーダ２００／デコーダ３００は、２番目の探索反復を実行し、前の探索反復を通した最小コストを１番目の探索反復を通した最小コストとして設定する（１３０６）ように更に構成される。ビデオエンコーダ２００／デコーダ３００は、現在の探索反復を通した総最小コストを、２番目の探索反復を通した全体的なコストとして更新する（１３０８）ように更に構成され得る。ビデオエンコーダ２００／デコーダ３００は、前の探索反復を通した最小コストを現在の探索反復を通した総最小コストと比較することに基づいて、反復探索プロセスを終了するか否かを決定する（１３１０）ように更に構成され得る。ビデオエンコーダ２００／デコーダ３００が反復探索プロセスを早期に終了すると決定した場合、ビデオエンコーダ２００／デコーダ３００は、探索プロセスにおけるその時点までの最小コストを有する動きベクトルを使用してビデオデータのブロックをそれぞれ符号化／復号する（１３０５）ように更に構成される。
【0222】
[0238] ビデオエンコーダ２００／デコーダ３００が、反復探索プロセスを早期に終了しないと決定した場合、ビデオエンコーダ２００／デコーダ３００は、３番目の探索反復を実行し、前の探索反復を通した最小コストを２番目の探索反復を通した最小コストとして設定する（１３１２）ように更に構成される。ビデオエンコーダ２００／デコーダ３００は、現在の探索反復を通した総最小コストを、３番目の探索反復を通した全体的なコストとして更新する（１３１４）ように更に構成され得る。ビデオエンコーダ２００／デコーダ３００は、前の探索反復を通した最小コストを現在の探索反復を通した総最小コストと比較することに基づいて、反復探索プロセスを終了するか否かを決定する（１３１６）ように更に構成され得る。ビデオエンコーダ２００／デコーダ３００が反復探索プロセスを早期に終了すると決定した場合、ビデオエンコーダ２００／デコーダ３００は、探索プロセスにおけるその時点までの最小コストを有する動きベクトルを使用してビデオデータのブロックをそれぞれ符号化／復号する（１３０５）ように更に構成される。
【0223】
[0239] ビデオエンコーダ２００／デコーダ３００が反復探索プロセスを早期に終了しないと決定した場合、ビデオエンコーダ２００／デコーダ３００は、ビデオエンコーダ２００／デコーダ３００が反復探索プロセスを終了するまで、前の探索反復に従って次の探索反復を実行する（１３１８）ように更に構成される。
【0224】
[0240] いくつかの例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することは、複数の比較に基づいて実行され得る。
【0225】
[0241] 図１４は、本開示の技法による、ビデオデータのブロックを復号するための別の例示的な方法を示すフローチャートである。図１４の技法は、動き補償ユニット３１６を含むビデオデコーダ３００の１つ以上の構造構成要素によって実行され得る。
【0226】
[0242] 本開示の一例では、ビデオデコーダ３００は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定する（１４００）ように構成され得る。反復探索プロセスでは、ビデオデコーダ３００は、前の探索反復を通して最小コストを決定し（１４０２）、現在の探索反復を通して総最小コストを更新し（１４０４）、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了する（１４０６）ように更に構成され得る。ビデオデコーダ３００は、次いで、動きベクトルを使用してビデオデータのブロックを復号し得る（１４０８）。
【0227】
[0243] 一例では、ビデオデコーダ３００は、候補位置の少なくとも現在のサブセットに基づいて現在の探索反復を通して総最小コストを計算するように構成され得る。
【0228】
[0244] 別の例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、ビデオデコーダ３００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算し、差分閾値に対する差分に基づいて反復探索プロセスを早期に終了するように構成され得る。
【0229】
[0245] 別の例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、ビデオデコーダ３００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように構成され得る。
【0230】
[0246] 別の例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、ビデオデコーダ３００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算し、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように構成され得る。
【0231】
[0247] 別の例では、ビデオデコーダ３００は、前の探索反復を通した最小コスト、現在の探索反復を通した総最小コスト、及び現在の探索反復の最小コストに基づいて、反復探索プロセスを早期に終了するように構成され得る。例えば、ビデオデコーダ３００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較、及び前の探索反復を通した最小コストと現在の探索反復の最小コストとの比較に基づいて、反復探索プロセスを早期に終了するように構成され得る。
【0232】
[0248] 図１５は、本開示の技法による、ビデオデータのブロックを符号化するための別の例示的な方法を示すフローチャートである。図１５の技法は、動き推定ユニット２２２及び／又は動き補償ユニット２２４を含む、ビデオエンコーダ２００の１つ以上の構造構成要素によって実行され得る。
【0233】
[0249] 本開示の一例では、ビデオエンコーダ２００は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定する（１５００）ように構成され得る。反復探索プロセスでは、ビデオデコーダ３００は、前の探索反復を通して最小コストを決定し（１５０２）、現在の探索反復を通して総最小コストを更新し（１５０４）、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了する（１５０６）ように更に構成され得る。次に、ビデオエンコーダ２００は、動きベクトルを使用して、ビデオデータのブロックを符号化し得る（１５０８）。
【0234】
[0250] 一例では、ビデオエンコーダ２００は、候補位置の少なくとも現在のサブセットに基づいて現在の探索反復を通して総最小コストを計算するように構成され得る。
【0235】
[0251] 別の例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、ビデオエンコーダ２００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算し、差分閾値に対する差分に基づいて反復探索プロセスを早期に終了するように構成され得る。
【0236】
[0252] 別の例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、ビデオエンコーダ２００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように構成され得る。
【0237】
[0253] 別の例では、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、ビデオエンコーダ２００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算し、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように構成され得る。
【0238】
[0254] 別の例では、ビデオエンコーダ２００は、前の探索反復を通した最小コスト、現在の探索反復を通した総最小コスト、及び現在の探索反復の最小コストに基づいて、反復探索プロセスを早期に終了するように構成され得る。例えば、ビデオデコーダ２００は、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較、及び前の探索反復を通した最小コストと現在の探索反復の最小コストとの比較に基づいて、反復探索プロセスを早期に終了するように構成され得る。
【0239】
[0255] 本開示の追加の方法及びデバイスは、以下の態様で説明される。
【0240】
[0256] 態様１Ａ－ビデオデータをコーディングする方法であって、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、反復探索プロセスが、前の探索反復の最小コストを計算することと、前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することとを含む、動きベクトルを決定することと、動きベクトルを使用してビデオデータのブロックをコーディングすることとを含む、方法。
【0241】
[0257] 態様２Ａ－反復探索プロセスについて決定された最小コストを更新することを更に含む、態様１Ａに記載の方法。
【0242】
[0258] 態様３Ａ－前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することが、前の探索反復の最小コストと反復探索プロセスについて決定された最小コストとの差分又は比を計算することと、閾値に対する差分又は比に基づいて反復探索プロセスを早期に終了することとを含む、態様２Ａに記載の方法。
【0243】
[0259] 態様４Ａ－前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することが、前の探索反復の最小コスト、反復探索プロセスについて決定された最小コスト、及び現在の反復の最小コストに基づいて反復探索プロセスを早期に終了することを含む、態様２Ａの方法。
【0244】
[0260] 態様５Ａ－反復探索プロセスが、３回以上の反復を含む、態様１Ａに記載の方法。
【0245】
[0261] 態様６Ａ－反復探索プロセスが、双方向マッチング又はテンプレートマッチングを含む、態様１Ａに記載の方法。
【0246】
[0262] 態様７Ａ－コーディングすることが復号することを含む、態様１Ａから６Ａのいずれかに記載の方法。
【0247】
[0263] 態様８Ａ－コーディングすることが符号化することを含む、態様１Ａから６Ａのいずれかに記載の方法。
【0248】
[0264] 態様９Ａ－ビデオデータをコーディングするためのデバイスであって、態様１Ａから８Ａのいずれかに記載の方法を実行するための１つ以上の手段を備えるデバイス。
【0249】
[0265] 態様１０Ａ－１つ以上の手段が、回路中に実装された１つ以上のプロセッサを備える、態様９Ａに記載のデバイス。
【0250】
[0266] 態様１１Ａ－ビデオデータを記憶するためのメモリを更に備える、態様９Ａ及び１０Ａのいずれかに記載のデバイス。
【0251】
[0267] 態様１２Ａ－復号されたビデオデータを表示するように構成されたディスプレイを更に備える、態様９Ａ～１１Ａのいずれかに記載のデバイス。
【0252】
[0268] 態様１３Ａ－デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、又はセットトップボックスのうちの１つ以上を備える、態様９Ａ～１２Ａのいずれかに記載のデバイス。
【0253】
[0269] 態様１４Ａ－デバイスがビデオデコーダを備える、態様９Ａ～１３Ａのいずれかに記載のデバイス。
【0254】
[0270] 態様１５Ａ－デバイスがビデオエンコーダを備える、態様９Ａ～１４Ａのいずれかに記載のデバイス。
【0255】
[0271] 態様１６Ａ－実行されると、１つ以上のプロセッサに態様１Ａから８Ａのいずれかの方法を実行させる命令を記憶したコンピュータ可読記憶媒体。
【0256】
[0272] 態様１７Ａ－ビデオデータをコーディングするためのデバイスであって、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定するための手段であって、反復探索プロセスが、前の探索反復の最小コストを計算することと、前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することとを含む、動きベクトルを決定するための手段と、動きベクトルを使用してビデオデータのブロックをコーディングするための手段とを備える、デバイス。
【0257】
[0273] 態様１８Ａ－ビデオデータをコーディングする方法であって、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、反復探索プロセスが、前の探索反復の最小コストを計算することと、前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することとを含む、動きベクトルを決定することと、動きベクトルを使用してビデオデータのブロックをコーディングすることとを含む、方法。
【0258】
[0274] 態様１９Ａ－反復探索プロセスについて決定された最小コストを更新することを更に含む、態様１８Ａに記載の方法。
【0259】
[0275] 態様２０Ａ－前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することが、前の探索反復の最小コストと反復探索プロセスについて決定された最小コストとの差分又は比を計算することと、閾値に対する差分又は比に基づいて反復探索プロセスを早期に終了することとを含む、態様１９Ａに記載の方法。
【0260】
[0276] 態様２１Ａ－前の探索反復の最小コストに基づいて反復探索プロセスを早期に終了することが、前の探索反復の最小コスト、反復探索プロセスについて決定された最小コスト、及び現在の反復の最小コストに基づいて反復探索プロセスを早期に終了することを含む、態様１９Ａに記載の方法。
【0261】
[0277] 態様２２Ａ－反復探索プロセスが、３回以上の反復を含む、態様１８Ａから２１Ａのいずれかに記載の方法。
【0262】
[0278] 態様２３Ａ－反復探索プロセスが、双方向マッチング又はテンプレートマッチングを含む、態様１８Ａから２２Ａのいずれかに記載の方法。
【0263】
[0279] 態様２４Ａ－ビデオデータをコーディングするためのデバイスであって、態様１８Ａから２３Ａのいずれかの方法を実行するための１つ以上の手段を備える、デバイス。
【0264】
[0280] 態様１Ｂ－ビデオデータを符号化又は復号する方法が、反復探索プロセスを実行することを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、反復探索プロセスを実行することが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含む、動きベクトルを決定することと、動きベクトルを使用してビデオデータのブロックを符号化又は復号することとを含む。
【0265】
[0281] 態様２Ｂ－前の探索反復が、反復探索プロセスにおいて現在の探索反復の直前にある、態様１Ｂに記載の方法。
【0266】
[0282] 態様３Ｂ－候補位置の少なくとも現在のサブセットに基づいて、現在の探索反復を通して総最小コストを計算することを更に含む、態様１Ｂに記載の方法。
【0267】
[0283] 態様４Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算することと、差分閾値に対する差分に基づいて反復探索プロセスを早期に終了することとを含む、態様１Ｂに記載の方法。
【0268】
[0284] 態様５Ｂ－差分閾値が、ブロックのサイズに基づく、態様４Ｂに記載の方法。
【0269】
[0285] 態様６Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比を計算することと、比閾値に対する比に基づいて反復探索プロセスを早期に終了することとを含む、態様１Ｂに記載の方法。
【0270】
[0286] 態様７Ｂ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様６Ｂに記載の方法。
【0271】
[0287] 態様８Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比を計算することと、比閾値に対する比に基づいて反復探索プロセスを早期に終了することとを含む、態様１Ｂの記載の方法。
【0272】
[0288] 態様９Ｂ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様８Ｂに記載の方法。
【0273】
[0289] 態様１０Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較、及び前の探索反復を通した最小コストと現在の探索反復の最小コストとの比較に基づいて反復探索プロセスを早期に終了することを含む、態様１Ｂに記載の方法。
【0274】
[0290] 態様１１Ｂ－反復探索プロセスが、３回以上の反復を含む、態様１Ｂに記載の方法。
【0275】
[0291] 態様１２Ｂ－反復探索プロセスを実行することが、双方向マッチング又はテンプレートマッチングを実行することを含む、態様１Ｂに記載の方法。
【0276】
[0292] 態様１３Ｂ－ビデオデータを処理するためのデバイスが、ビデオデータを記憶するように構成されたメモリと、処理回路とを含み、処理回路は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定するように構成され、ここで、反復探索プロセスを実行するために、処理回路が、前の探索反復を通して最小コストを決定し、現在の探索反復を通して総最小コストを更新し、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了するように更に構成され、動きベクトルを使用してビデオデータのブロックを符号化又は復号するように構成される。
【0277】
[0293] 態様１４Ｂ－前の探索反復が、現在の探索反復の直前にある、態様１３Ｂに記載のデバイス。
【0278】
[0294] 態様１５Ｂ－反復探索プロセスを実行するために、処理回路が、候補位置の少なくとも現在のサブセットに基づいて、現在の探索反復を通して総最小コストを計算するように更に構成される、態様１３Ｂに記載のデバイス。
【0279】
[0295] 態様１６Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算し、差分閾値に対する差分に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｂに記載のデバイス。
【0280】
[0296] 態様１７Ｂ－差分閾値が、ブロックのサイズに基づく、態様１６Ｂに記載のデバイス。
【0281】
[0297] 態様１８Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｂに記載のデバイス。
【0282】
[0298] 態様１９Ｂ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様１８Ｂに記載のデバイス。
【0283】
[0299] 態様２０Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算し、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｂに記載のデバイス。
【0284】
[0300] 態様２１Ｂ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様２０Ｂに記載のデバイス。
【0285】
[0301] 態様２２Ｂ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較、及び前の探索反復を通した最小コストと現在の探索反復の最小コストとの比較に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｂに記載のデバイス。
【0286】
[0302] 態様２３Ｂ－反復探索プロセスが、３回以上の反復を含む、態様１３Ｂに記載のデバイス。
【0287】
[0303] 態様２４Ｂ－反復探索プロセスを実行するために、処理回路が、双方向マッチング又はテンプレートマッチングを実行するように構成される、態様１３Ｂに記載のデバイス。
【0288】
[0304] 態様２５Ｂ－ビデオデータを表示するように構成されたディスプレイを更に備える、態様１３Ｂのデバイス。
【0289】
[0305] 態様２６Ｂ－デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、又はセットトップボックスのうちの１つ以上を備える、態様１３Ｂに記載のデバイス。
【0290】
[0306] 態様２７Ｂ－デバイスが、ビデオデータをキャプチャするように構成されたカメラを備える、態様１３に記載のデバイス。
【0291】
[0307] 態様１Ｃ－ビデオデータを符号化又は復号する方法が、反復探索プロセスを実行することを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定することであって、反復探索プロセスを実行することが、前の探索反復を通して最小コストを決定することと、現在の探索反復を通して総最小コストを更新することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了することとを含む、動きベクトルを決定することと、動きベクトルを使用してビデオデータのブロックを符号化又は復号することとを含む。
【0292】
[0308] 態様２Ｃ－前の探索反復が、反復探索プロセスにおいて現在の探索反復の直前にある、態様１Ｃに記載の方法。
【0293】
[0309] 態様３Ｃ－候補位置の少なくとも現在のサブセットに基づいて、現在の探索反復を通して総最小コストを計算することを更に含む、態様１Ｃ及び２Ｃに記載の方法。
【0294】
[0310] 態様４Ｃ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算することと、差分閾値に対する差分に基づいて反復探索プロセスを早期に終了することとを含む、態様１Ｃから３Ｃのいずれかに記載の方法。
【0295】
[0311] 態様５Ｃ－差分閾値が、ブロックのサイズに基づく、態様４Ｃに記載の方法。
【0296】
[0312] 態様６Ｃ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比を計算することと、比閾値に対する比に基づいて反復探索プロセスを早期に終了することとを含む、態様１Ｃから５Ｃのいずれかに記載の方法。
【0297】
[0313] 態様７Ｃ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様６Ｃに記載の方法。
【0298】
[0314] 態様８Ｃ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算することと、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比を計算することと、比閾値に対する比に基づいて反復探索プロセスを早期に終了することとを含む、態様１Ｃから７Ｃのいずれかに記載の方法。
【0299】
[0315] 態様９Ｃ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様８Ｃに記載の方法。
【0300】
[0316] 態様１０Ｃ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了することが、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較、及び前の探索反復を通した最小コストと現在の探索反復の最小コストとの比較に基づいて反復探索プロセスを早期に終了することを含む、態様１Ｃから９Ｃのいずれかに記載の方法。
【0301】
[0317] 態様１１Ｃ－反復探索プロセスが、３回以上の反復を含む、態様１Ｃから１０Ｃのいずれかに記載の方法。
【0302】
[0318] 態様１２Ｃ－反復探索プロセスを実行することが、双方向マッチング又はテンプレートマッチングを実行することを含む、態様１Ｃから１１Ｃのいずれかに記載の方法。
【0303】
[0319] 態様１３Ｃ－ビデオデータを処理するためのデバイスが、ビデオデータを記憶するように構成されたメモリと、処理回路とを含み、処理回路は、反復探索プロセスを含むデコーダ側動きベクトル導出プロセスを使用して、ビデオデータのブロックのための動きベクトルを決定するように構成され、ここで、反復探索プロセスを実行するために、処理回路が、前の探索反復を通して最小コストを決定し、現在の探索反復を通して総最小コストを更新し、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて、反復探索プロセスを早期に終了するように更に構成され、動きベクトルを使用してビデオデータのブロックを符号化又は復号するように構成される。
【0304】
[0320] 態様１４Ｃ－前の探索反復が、現在の探索反復の直前にある、態様１３Ｃに記載のデバイス。
【0305】
[0321] 態様１５Ｃ－反復探索プロセスを実行するために、処理回路が、候補位置の少なくとも現在のサブセットに基づいて、現在の探索反復を通して総最小コストを計算するように更に構成される、態様１３Ｃ及び１４Ｃのいずれかに記載のデバイス。
【0306】
[0322] 態様１６Ｃ－前の探索反復による最小コストと現在の探索反復による総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復による最小コストと現在の探索反復による総最小コストとの差分を計算し、差分閾値に対する差分に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｃから１５Ｃのいずれかに記載のデバイス。
【0307】
[0323] 態様１７Ｃ－差分閾値が、ブロックのサイズに基づく、態様１６Ｃに記載のデバイス。
【0308】
[0324] 態様１８Ｃ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｃから１７Ｃのいずれかに記載のデバイス。
【0309】
[0325] 態様１９Ｃ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様１８Ｃに記載のデバイス。
【0310】
[0326] 態様２０Ｃ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分を計算し、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの差分に対する前の探索反復を通した最小コストの比を計算し、比閾値に対する比に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｃから１９Ｃのいずれかに記載のデバイス。
【0311】
[0327] 態様２１Ｃ－比閾値が、固定されるか、又はブロックのサイズに基づく、態様２０Ｃに記載のデバイス。
【0312】
[0328] 態様２２Ｃ－前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較に基づいて反復探索プロセスを早期に終了するために、処理回路が、前の探索反復を通した最小コストと現在の探索反復を通した総最小コストとの比較、及び前の探索反復を通した最小コストと現在の探索反復の最小コストとの比較に基づいて反復探索プロセスを早期に終了するように更に構成される、態様１３Ｃから２１Ｃのいずれかに記載のデバイス。
【0313】
[0329] 態様２３Ｃ－反復探索プロセスが、３回以上の反復を含む、態様１３Ｃから２２Ｃのいずれか１つに記載のデバイス。
【0314】
[0330] 態様２４Ｃ－反復探索プロセスを実行するために、処理回路が、双方向マッチング又はテンプレートマッチングを実行するように構成される、態様１３Ｃから２３Ｃのいずれかに記載のデバイス。
【0315】
[0331] 態様２５Ｃ－ビデオデータを表示するように構成されたディスプレイを更に備える、態様１３Ｃから２４Ｃのいずれかに記載のデバイス。
【0316】
[0332] 態様２６Ｃ－デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、又はセットトップボックスのうちの１つ以上を備える、態様１３Ｃから２５Ｃのいずれかに記載のデバイス。
【0317】
[0333] 態様２７Ｃ－デバイスが、ビデオデータをキャプチャするように構成されたカメラを備える、態様１３Ｃから２６Ｃのいずれかに記載のデバイス。
【0318】
[0334] 例に応じて、本明細書において説明された技法のうちのいずれかのいくつかの行為又はイベントが、異なる順序で実行されることが可能であり、追加され、統合され、又は完全に除外されてもよい（例えば、説明されたすべての行為又はイベントが技法の実践にとって必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為又はイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通じて並行して実行されてもよい。
【0319】
[0335] １つ以上の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装されてよい。ソフトウェアで実装される場合、機能は、１つ以上の命令又はコードとして、コンピュータ可読媒体上に記憶されてもよく、又はコンピュータ可読媒体を介して送信されてもよく、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ読み取り可能な媒体は一般に、（１）非一時的である有形のコンピュータ読み取り可能な記憶媒体、又は（２）信号又は搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード、及び／又はデータ構造を取り出すために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る、任意の利用可能な媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0320】
[0336] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、フラッシュメモリ、又は、命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセスすることができる任意の他の媒体を備えてもよい。また、任意の接続がコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義の中に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、及びブルーレイディスク（disc）を含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、レーザーを用いてデータを光学的に再生する。上記のものの組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0321】
[0337] 命令は、１つ又は複数のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は他の均等な集積論理回路構成若しくは個別論理回路構成などの、１つ又は複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」及び「処理回路」という用語は、上記の構造、又は本明細書で説明された技法の実装に適した任意の他の構造のうちのいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明された機能は、符号化及び復号のために構成された専用のハードウェアモジュール及び／若しくはソフトウェアモジュール内で提供されてもよく、又は複合コーデックの中に組み込まれてもよい。また、技法は、１つ以上の回路又は論理要素において完全に実装されてもよい。
【0322】
[0338] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様なデバイス又は装置において実装されてもよい。開示された技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、又はユニットについて本開示で説明したが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わせられてよく、又は好適なソフトウェア及び／若しくはファームウェアと連携して、上記で説明したような１つ以上のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。
【0323】
[0339] 様々な例が説明されてきた。これら及び他の例が以下の特許請求の範囲内に入る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】