特表 2021-530142 ＤＭＶＲのためのブロックサイズ制限

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-530142(P2021-530142A)

(43)【公表日】2021年11月4日

(54)【発明の名称】ＤＭＶＲのためのブロックサイズ制限

(51)【国際特許分類】

   H04N 19/105 20140101AFI20211008BHJP

   H04N 19/136 20140101ALI20211008BHJP

   H04N 19/176 20140101ALI20211008BHJP

   H04N 19/513 20140101ALI20211008BHJP

【ＦＩ】

   H04N19/105

   H04N19/136

   H04N19/176

   H04N19/513 200

【審査請求】有

【予備審査請求】未請求

【全頁数】16

(21)【出願番号】特願2020-571582(P2020-571582)

(86)(22)【出願日】2019年7月2日

(85)【翻訳文提出日】2020年12月22日

(86)【国際出願番号】IB2019055616

(87)【国際公開番号】WO2020008343

(87)【国際公開日】20200109

(31)【優先権主張番号】62/693,412

(32)【優先日】2018年7月2日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

(71)【出願人】

【識別番号】520477474

【氏名又は名称】バイトダンス インコーポレイテッド

【氏名又は名称原語表記】ＢＹＴＥＤＡＮＣＥ ＩＮＣ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】リュウ，ホンビン

(72)【発明者】

【氏名】ザン，リー

(72)【発明者】

【氏名】ザン，カイ

(72)【発明者】

【氏名】ワン，ユエ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159NN02

5C159NN21

5C159TA62

5C159TB08

5C159TC26

(57)【要約】

デコーダ側動きベクトル精緻化（ＤＭＶＲ）ビデオデコーダ及び／又はエンコーダを有効及び無効にする方法が記載される。方法の一例は、ビデオブロックの幅（Ｗ）及び高さ（Ｈ）を決定することと、ビデオブロックの条件に基づいて、ビデオブロックとビデオブロックの符号化表現との間の変換のためのデコーダ側動きベクトル精緻化ステップの有効化及び無効化の間の決定を行うことと、決定が有効化である場合に、デコーダ側動きベクトル精緻化ステップを有効にすることによって変換を実行することと、決定が無効化である場合に、デコーダ側動きベクトル精緻化ステップを無効にすることによって変換を実行することとを含み、デコーダ側動きベクトル精緻化ステップは、符号化表現において伝えられる動きベクトルの値を精緻化し、精緻化された値を変換中に使用することを含む。

【特許請求の範囲】

【請求項1】

ビデオ処理の方法であって、
ビデオブロックの幅（Ｗ）及び高さ（Ｈ）を決定することと、
前記ビデオブロックの条件に基づいて、前記ビデオブロックと該ビデオブロックの符号化表現との間の変換のためのデコーダ側動きベクトル精緻化ステップの有効化及び無効化の間の決定を行うことと、
前記決定が有効化である場合に、前記デコーダ側動きベクトル精緻化ステップを有効にすることによって前記変換を実行することと、
前記決定が無効化である場合に、前記デコーダ側動きベクトル精緻化ステップを無効にすることによって前記変換を実行することと
を有し、
前記デコーダ側動きベクトル精緻化ステップは、前記符号化表現において伝えられる動きベクトルの値を精緻化し、該精緻化された値を前記変換中に使用することを含む、
方法。

【請求項2】

前記変換は、前記ビデオブロックのピクセル値へと前記符号化表現を復号することを含む、
請求項１に記載の方法。

【請求項3】

前記変換は、前記符号化表現へと前記ビデオブロックのピクセル値を符号化することを含む、
請求項１に記載の方法。

【請求項4】

前記条件は、前記ブロックサイズがＷ＝４及びＨ＝４を有している場合に満足される、
請求項１乃至３のうちいずれかに記載の方法。

【請求項5】

前記条件は、Ｈ＝４又はＷ＝４の場合に満足される、
請求項１乃至３のうちいずれかに記載の方法。

【請求項6】

前記条件は、Ｗ≦Ｔ１又はＨ≦Ｔ２の場合に満足される、
請求項１乃至３のうちいずれかに記載の方法。

【請求項7】

前記条件は、Ｗ≦Ｔ１及びＨ≦Ｔ２の場合に満足される、
請求項１乃至３のうちいずれかに記載の方法。

【請求項8】

前記条件は、Ｗ×Ｈ≦Ｔ１の場合に満足される、
請求項１乃至３のうちいずれかに記載の方法。

【請求項9】

前記条件は、Ｗ／Ｈが第１閾値よりも小さくかつＷ／Ｈが第２閾値よりも大きい場合に満足される、
請求項１乃至３のうちいずれかに記載の方法。

【請求項10】

前記条件は、Ｗ／Ｈが閾値よりも小さいか又はＷ／Ｈが他の閾値よりも大きい場合に満足される、
請求項１乃至３のうちいずれかに記載の方法。

【請求項11】

前記第１閾値及び前記第２閾値は、メッセージにより受け取られる、
請求項１乃至１０のうちいずれかに記載の方法。

【請求項12】

前記第１閾値及び前記第２閾値は、固定値を有している、
請求項１乃至１０のうちいずれかに記載の方法。

【請求項13】

請求項１乃至１２のうちの一項以上に記載の方法を実施するよう構成されるプロセッサを有するビデオ復号化装置。

【請求項14】

請求項１乃至１２のうちの一項以上に記載の方法を実施するよう構成されるプロセッサを有するビデオ符号化装置。

【請求項15】

プロセッサによって実行される場合に、該プロセッサに、請求項１乃至１２のうちの一項以上に記載の方法を実施させるコンピュータコードが記憶されているコンピュータプログラム製品。

【請求項16】

本明細書に記載されている方法、装置、又はシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、ビデオ符号化技術に関係がある。

【背景技術】

【0002】

ビデオ圧縮の進歩にかかわらず、デジタルビデオは、インターネット及び他のデジタル通信ネットワーク上での最大の帯域幅使用を依然として占めている。ビデオを受信及び表示することが可能なコネクテッドユーザデバイスの数が増えるにつれて、デジタルビデオ利用のための帯域幅需要は成長し続けることが予期される。

【発明の概要】

【0003】

ビデオコーディングにおけるデコーダ側動きベクトル導出（decoder side motion vector derivation；ＤＭＶＤ）に関する技術が開示される。それは、ＨＥＶＣのような既存のビデオコーディング規格、又は最終承認されるべき規格（Versatile Video Coding）に適用されてよい。また、それは、将来のビデオコーディング規格又はビデオコーデックに適用可能であり得る。

【0004】

一例となる態様では、ビデオ処理の方法が開示される。方法は、ビデオブロックサイズ幅（Ｗ）及び高さ（Ｈ）を決定することと、ビデオブロックの条件に基づいて、ビデオブロックとビデオブロックの符号化表現との間の変換のためのデコーダ側動きベクトル精緻化ステップの有効化及び無効化の間の決定を行うことと、決定が有効化である場合に、デコーダ側動きベクトル精緻化ステップを有効にすることによって変換を実行することと、決定が無効化である場合に、デコーダ側動きベクトル精緻化ステップを無効にすることによって変換を実行することとを含み、デコーダ側動きベクトル精緻化ステップは、符号化表現において伝えられる動きベクトルの値を精緻化し、精緻化された値を変換中に使用することを含む。

【0005】

他の例となる態様では、上記の方法を実施するよう構成されるプロセッサを有するビデオ復号化装置が開示される。

【0006】

更なる他の例となる態様では、上記の方法を実施するよう構成されるプロセッサを有するビデオ符号化装置が開示される。

【0007】

更なる他の例となる態様では、コンピュータ可読媒体が開示される。媒体は、プロセッサによる実行時に、プロセッサに、上記の方法を実施させるコードを記憶している。

【0008】

これら及び他の態様は、本明細書で更に記載される。

【図面の簡単な説明】

【0009】

【図1】両方向テンプレートマッチングに基づくデコーダ側動きベクトル精緻化（decoder-side motion vector refinement；ＤＭＶＲ）の例を示す。

【図2】いくつかの例となる実施形態に従って、例となる方法についてのフローチャートである。

【図3】ビデオ復号化及び／又は符号化装置のブロック図の例である。

【発明を実施するための形態】

【0010】

本明細書は、圧縮解除又は復号されたデジタルビデオの品質を改善するためにビデオビットストリームのデコーダによって使用され得る様々な技術を提供する。更に、ビデオエンコーダも、更なる符号化のために使用される復号されたフレームを再構成するために、符号化のプロセス中にそれらの技術を実施してよい。

【0011】

理解を容易にするために、セクション見出しが本明細書では使用されるが、実施形態及び技術を対応するセクションに制限するものではない。そのようなものとして、１つのセクションからの実施形態は、他のセクションからの実施形態と組み合わされ得る。

【0012】

［テクニカルフレームワーク］
ビデオコーディング規格は、主に、よく知られているＩＴＵ−Ｔ及びＩＳＯ／ＩＥＣ規格の開発を通じて、進歩してきた。ＩＴＵ−Ｔは、Ｈ．２６１及びＨ．２６３を実現し、ＩＳＯ／ＩＥＣは、ＭＰＥＧ−１及びＭＰＥＧ−４ビジュアルを実現し、２つの組織は、協同して、Ｈ．２６２／ＭＰＥＧ−２ビデオ及びＨ．２６４／ＭＰＥＧ−４アドバンスド・ビデオ・コーディング（ＡＶＣ）及びＨ．２６５／ＨＥＶＣ規格を実現した。Ｈ．２６２以来、ビデオコーディング規格は、時間予測及び変換符号化が利用される複合的なビデオコーディング構造に基づいている。ＨＥＶＣを越える将来のビデオコーディング技術を探るために、ＪＶＥＴ（Joint Video Exploration Team）が２０１５年にＶＣＥＧ及びＭＰＥＧによって共同設立された。それ以来、多くの新しい方法がＪＶＥＴによって導入され、ＪＥＭ（Joint Exploration Model）と名付けられた参照ソフトウェアに置かれてきた。２０１８年４月に、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）との間のＪＶＥＴ（Joint Video Expert Team）が、ＨＥＶＣと比較してビットレート５０％減を目指すＶＶＣ規格に取り組むために作られた。

【0013】

［ＨＥＶＣ／Ｈ．２６５におけるインター予測］
各インター予測された予測ユニット（prediction unit；ＰＵ）は、１つ又は２つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。２つの参照ピクチャリストの一方の利用はまた、inter_pred_idcを用いて信号伝送されてもよい。動きベクトルは、予測子に対する差分として明示的に符号化されてよい。

【0014】

コーディングユニット（coding unit）がスキップモードにより符号化されるとき、１つのＰＵがＣＵと関連付けられ、有意な残差係数、符号化された動きベクトル差分又は参照ピクチャインデックスは存在しない。マージモードが指定され、これによって、現在のＰＵの動きパラメータは、空間的及び時間的候補を含め、隣接するＰＵから得られる。マージモードは、スキップモードのためだけでなく、如何なるインター予測されたＰＵにも適用され得る。マージモードの代案は、動きパラメータの明示的な伝送であり、動きベクトル（より正確に言えば、動きベクトル予測子と比較した動きベクトル差）、各参照ピクチャリストの対応する参照ピクチャインデックス、及び参照ピクチャリスト利用が、各ＰＵにつき明示的に信号伝送される。そのようなモードは、本明細書で先進的動きベクトル予測（advanced motion vector prediction；ＡＭＶＰ）と呼ばれる。

【0015】

シグナリングにより２つの参照ピクチャリストの一方が使用されるべきであることが示されると、ＰＵはサンプルの１つのブロックから生成される。これは、「単予測」（uni-prediction）と呼ばれる。単予測は、Ｐスライス及びＢスライスの両方に利用可能である。

【0016】

シグナリングにより参照ピクチャリストの両方が使用されるべきであることが示されると。ＰＵはサンプルの２つのブロックから生成される。これは、「双予測」（bi-prediction）と呼ばれる。双予測は、Ｂスライスにのみ利用可能である。

【0017】

両方向（bilateral）マッチングマージモードでは、ＣＵの動き情報が、２つの異なる参照ピクチャにおける現在のＣＵの動き軌跡沿いにある２つのブロック間の最も近い一致に基づいて導出されるので、双予測は常に適用される。テンプレートマッチングマージモードにはそのような制限はない。テンプレートマッチングマージモードでは、エンコーダは、リスト０からの単予測、リスト１からの単予測、又は双予測の中からＣＵのために選択することができる。選択は、次のように、テンプレートマッチングコストに基づく：

costBi≦factor×min(cost0,cost1)の場合には、双予測が使用される；

あるいは、cost0≦cost1の場合には、リスト０からの単予測が使用される；

上記以外の場合には、リスト１からの双予測が使用される。

ここで、cost0は、リスト０テンプレートマッチングのＳＡＤであり、cost1は、リスト１テンプレートマッチングのＳＡＤであり、costBiは、双予測テンプレートマッチングのＳＡＤである。factorの値は１．２５に等しく、これは、選択プロセスが双予測の方に偏っていることを意味する。

【0018】

インター予測方向選択は、ＣＵレベルテンプレートマッピングプロセスにのみ適用される。

【0019】

［デコーダ側動きベクトル精緻化］
双予測動作において、１つのブロック領域の予測のために、リスト０の動きベクトル（motion vector，ＭＶ）及びリスト１のＭＶを用いて夫々形成された２つの予測ブロックが、単一の予測信号を形成するよう結合される。デコーダ側動きベクトル精緻化（ＤＭＶＲ）方法において、双予測の２つの動きベクトルは、両方向テンプレートマッチングプロセスによって更に精緻化される。両方向テンプレートマッチングは、精緻化されたＭＶを追加の動き情報の伝送なしで得るために、両方向テンプレートと参照ピクチャ内の再構成サンプルとの間で歪みベースの探索を実行するようデコーダで適用される。

【0020】

ＤＭＶＲで、両方向テンプレートは、図１に示されるように、夫々リスト０の初期ＭＶ０及びリスト１のＭＶ１からの２つの予測ブロックの加重結合（すなわち、平均）として生成される。テンプレートマッピング動作は、生成されたテンプレートと参照ピクチャ内の（最初の予測ブロックの周りの）サンプル領域との間のコスト指標を計算することから成る。２つの参照ピクチャの夫々について、最小テンプレートコストをもたらすＭＶは、元のＭＶを置換するようそのリストの更新されたＭＶと見なされる。ＪＥＭでは、９つのＭＶ候補がリストごとに探される。９つのＭＶ候補は、元のＭＶと、水平若しくは垂直方向、又はその両方で元のＭＶに対して１輝度（luma）サンプルだけオフセットされた８つの周囲ＭＶとを含む。最後に、２つの新しいＭＶ、すなわち、図１に示されるＭＶ０´及びＭＶ１´が、最終の双予測結果を生成するために使用される。ＳＡＤ（sum of absolute differences）はコスト指標として使用される。１つの周囲ＭＶによって生成される予測ブロックのコストを計算する場合に、実際のＭＶの代わりに予測ブロックを得るために、（整数画素（integer pel）へと）丸められたＭＶが実際には使用されることに留意されたい。

【0021】

ＤＭＶＲは、追加のシンタックス要素の伝送なしで、過去の参照ピクチャからの１つのＭＶ及び未来の参照ピクチャからのもう１つのＭＶによる双予測のマージモードのために適用される。ＪＥＭでは、ＬＩＣ、アフィン動き、ＦＲＵＣ、又はサブＣＵマージ候補がＣＵのために有効にされる場合に、ＤＭＶＲは適用されない。

【0022】

いくつかの例となる実施形態において、図１に示されるように、第１ステップで、初期ＭＶ０及びＭＶ１によって参照される予測ブロックから両方向テンプレートを生成し、第２ステップで、更新されたＭＶ０´及びＭＶ１´によって参照される最も良く一致したブロックを見つけるよう両方向テンプレートマッチングを実行する。

【0023】

開示されている技術及びデバイスは、ＤＭＶＣ方法の複雑さを低減しかつコーディング性能を改善する。

【0024】

１つの態様で、テンプレートと候補ブロックとの間のコスト（例えば、差、歪み、又は歪み及びＭＶの両方を考慮するコスト）は、デコーダ側動き推定において、すなわち、動き情報導出又は精緻化プロシージャにおいて、部分的なピクセルについてのみ計算される。他の態様で、ＤＭＶＲのために、補間時間が低減される。他の態様で、開示される技術を使用するいくつかの実施形態は、ＤＭＶＲをＡＭＶＰモードに適用する。他の態様で、ＭＶ差の重み係数は、異なるブロックサイズごとに異なることができる。

【0025】

以下で列挙される例は、開示される技術がビデオ符号化又は復号化プロセス内に具現され得るいくつかの方法を提供する。動きベクトル精度をprecとし、precがＮに等しい場合に、それは、動きベクトルが１／２^Ｎ画素精度を有していることを意味する。Ｎは正の整数、ゼロ、又は負の整数であることができる。

【0026】

ＤＭＶＲ方法は、特定の条件に従って有効／無効にされてよい。

【0027】

１つの態様で、ＤＭＶＲの有効化又は無効化は、ブロックサイズ及び／又はブロック形状に依存してよい。ブロックサイズは、Ｗ×Ｈによって表されてよく、Ｗはブロックの幅であり、Ｈは高さである。次の規則が適用される：

ａ．例において、ＤＭＶＲは、ブロックサイズが４×４に等しい場合に常に無効にされ得る。
ｂ．他の例で、ＤＭＶＲは、ブロックサイズがＷ×４又は４×Ｈに等しい場合に常に無効にされ得る。Ｈは、１以上の整数値である。
ｃ．他の例で、ＤＭＶＲは、Ｗ≦Ｔ１又はＨ≦Ｔ２であるブロックＷ×Ｈについて、常に無効にされ得る。Ｗ、Ｈ、Ｔ１及びＴ２は、１以上の整数値である。
ｄ．他の例で、ＤＭＶＲは、Ｗ≦Ｔ１及びＨ≦Ｔ２であるブロックＷ×Ｈについて、常に無効にされ得る。Ｗ、Ｈ、Ｔ１及びＴ２は、１以上の整数値である。
ｅ．他の例で、ＤＭＶＲは、Ｗ×Ｈ≦Ｔ０であるブロックＷ×Ｈについて、常に無効にされ得る。Ｗ、Ｈ、及びＴ０は、１以上の整数値である。
ｆ．他の例で、ＤＭＶＲは、Ｗ／Ｈが閾値よりも小さくかつ／あるいはＷ／Ｈが閾値よりも大きい場合に常に無効にされ得る。閾値は、信号により伝えられるか又は予め定義されてよい（例えば、１に等しい）。Ｗ及びＨは整数値であり、閾値は分数として表現され得る。

【0028】

図２は、ビデオ処理の例となる方法２００についてのフローチャートである。方法２００は、例えば、デコーダ側動きベクトル精緻化（ＤＭＶＲ）ビデオデコーダ又はエンコーダを無効又は有効にするために、使用されてよい。方法２００は、ビデオブロックサイズ幅（Ｗ）及び高さ（Ｈ）を決定し、条件が満足される場合にＤＭＶＲビデオデコーダを無効にし、条件が満足されない場合にＤＭＶＲビデオデコーダを有効にすると決定すること（２０２）と、決定に基づいて、データブロックへのビットストリームの復号化を実行することとを含む。例えば、方法２００は、２０４で、ビデオブロックとビデオブロックの符号化表現との間の変換中にＤＭＶＲステップを有効にするか又は無効にするかを決定することを含んでよい。その決定の後、２０６で、ビデオブロックと符号化表現との間の変換は実行される。変換は、決定がＤＭＶＲを有効にすることであって、その場合に、変換がＤＭＶＲを有効にすることによって実行される第１モードと、決定がＤＭＶＲを無効にすることであって、その場合に、変換がＤＭＶＲを無効にすることによって実行される第２モードとの間の１つのモードを用いて実行される。変換は、例えば、符号化表現、例えば、ビットストリームが生成される符号化又はトランスコーディング動作を指す。代替的に、変換は、符号化表現からのビデオブロックのサンプル値の生成をもたらし得る。条件が満足される上記の方法の様々な可能な実施形態及び変形は、次の規則のうちの１つによる。

【0029】

条件は、Ｗ＝４及びＨ＝４を有するブロックサイズにより満足される。

【0030】

条件は、Ｈ＝４又はＷ＝４を有するブロックサイズにより満足される。

【0031】

条件は、Ｗ≦Ｔ１又はＨ≦Ｔ２を有するブロックサイズにより満足される。

【0032】

条件は、Ｗ≦Ｔ１及びＨ≦Ｔ２を有するブロックサイズにより満足される。

【0033】

条件は、Ｗ×Ｈ≦Ｔ０を有するブロックサイズにより満足される。

【0034】

条件は、Ｗ／Ｈが第１閾値よりも小さくかつＷ／Ｈが第２閾値よりも大きいブロックサイズにより満足される。

【0035】

条件は、Ｗ／Ｈが閾値よりも小さく、あるいは、Ｗ／Ｈが他の閾値よりも大きいブロックサイズにより、満足される。

【0036】

上記において、閾値Ｔ０、Ｔ１及びＴ２は、変換プロセスとは無関係である固定値であってよい。例えば、Ｔ１及びＴ２は、４又は８であってよく、前もって指定され、エンコーダ及びデコーダに知られ得る。

【0037】

以上の説明において、使用されている様々な閾値は、現在のブロックのアスペクト比を表してよい。例えば、閾値は、幅広のブロック（Ｗ＞Ｈ）がＤＭＶＲを使用し、一方、縦長のブロック（Ｗ≦Ｈ）がＤＭＶＲの使用を無効にし得るように、１にセットされてよい。動きはしばしば、水平方向でより正確に知覚される傾向があるので、そのような配置は、そうでない場合よりも符号化表現の視覚的品質がより高くなるようにし得る。

【0038】

第１閾値及び第２閾値は、メッセージを介して受け取られる。このメッセージは、符号化表現内のシンタックス要素に含まれてよい。シンタックス要素は、ピクチャ又はスライス又はコーディングユニットレベルで閾値を変更することを可能にするよう、スライスごと又はピクチャごとに挿入されてよい。

【0039】

いくつかの実施形態で、復号化条件は、低精度動きベクトルの選択を含み、候補ブロックの組を生成することは、低精度動きベクトルを用いて候補ブロックの組を生成することを含む。いくつかの実施形態で、復号化条件が、現在のブロックがマージモードにあることであるとき、動きベクトルは、現在のブロックによって引き継がれる。様々なモードで、精度は、ステップサイズ又はスケール係数を用いて精緻化することによって改善され得る。例えば、ステップサイズは１であってよい。他の例として、スケール係数は２であってよく、精度は、４ピクセルから２ピクセル解像度へ、そして１ピクセル解像度へ、などと改善され得る。

【0040】

図３は、目下開示されている技術の様々な部分を実装するために利用され得るハードウェアデバイス３００の例となる実施形態のブロック図を示す。ハードウェアデバイス３００は、ビデオ処理機能を備えているラップトップ、スマートフォン、タブレット、カムコーダ、又は他のタイプのデバイスであることができる。デバイス３００は、データを処理するプロセッサ又はコントローラ３０２と、プロセッサ３０２と通信し、データを記憶及び／又はバッファリングするメモリ３０４とを含む。例えば、プロセッサ３０２は、中央演算処理装置（ＣＰＵ）又はマイクロコントローラユニット（ＭＣＵ）を含むことができる。いくつかの実施で、プロセッサ３０２は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）を含むことができる。いくつかの実施で、デバイス３００は、スマートフォンの様々な視覚及び／又は通信データ処理機能のためのグラフィクス処理ユニット（ＧＰＵ）、ビデオ処理ユニット（ＶＰＵ）及び／又は無線通信ユニットを含むか、あるいは、それらと通信する。例えば、メモリ３０４は、プロセッサ３０２によって実行される場合に、例えば、情報、コマンド、及び／又はデータを受信すること、情報及びデータを処理すること、並びに処理された情報／データを他のデバイス、例えば、アクチュエータ若しくは外部ディスプレイへ送信若しくは供給することといった様々な動作を実行するようデバイス３００を構成するプロセッサ実行可能コードを含み記憶することができる。デバイス３００の様々な機能をサポートするよう、メモリ３０４は、プロセッサ３０２によって処理又は参照される命令、ソフトウェア、値、画像、及び他のデータといった情報及びデータを記憶することができる。例えば、様々なタイプのランダムアクセスメモリ（ＲＡＭ）デバイス、リードオンリーメモリ（ＲＯＭ）デバイス、フラッシュメモリデバイス、及び他の適切な記憶媒体が、メモリ３０４の記憶機能を実装するために使用され得る。デバイス３００は、変換及び復号化といった反復計算機能を実行するための専用のビデオ処理回路３０６を更に含んでもよい。

【0041】

本明細書で記載される技術は、図３に関して記載されるようなハードウェアプラットフォームを用いて、ビデオエンコーダ又はビデオデコーダによって実装されてよい。

【0042】

上記から、目下開示されている技術の具体的な実施形態は例示のために本明細書で記載されてきたが、様々な変更が発明の範囲を逸脱せずに行われてよい、と理解されるだろう。従って、目下開示されている技術は、添付の特許請求の範囲によることを除いて、制限されない。

【0043】

本明細書で記載される開示されている及び他の実施形態、モジュール、及び機能動作は、デジタル電子回路で、又は本明細書で開示されている構造及びそれらの構造上の同等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェアで、又はそれらのうちの１つ以上の組み合わせで実装され得る。開示されている及び他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のために又はデータ処理装置の動作を制御するためにコンピュータ可読媒体上で符号化されているコンピュータプログラム命令の１つ以上のモジュールとして、実装され得る。コンピュータ可読媒体は、マシン読み出し可能な記憶デバイス、マシン読み出し可能な記憶担体、メモリデバイス、マシン読み出し可能な伝搬信号をもたらす組成物、又はそれらのうちの１つ以上の組み合わせであることができる。「データ処理装置」との語は、一例としてプログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、適切な受信側装置への伝送のために情報を符号化するよう生成されるマシン生成された電気、光、又は電磁気信号である。

【0044】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイル済み又は解釈済み言語を含む如何なる形態のプログラミング言語でも記述されてよく、それは、コンピューティング環境での使用に適したスタンドアローンプログラム又はモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形態でもデプロイされてよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応しない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、若しくはコードの部分を格納するファイル）で、他のプログラム又はデータ（例えば、マークアップ言語文書で格納されている１つ以上のスクリプト）を保持するファイルの部分において記憶され得る。コンピュータプログラムは、１つの場所に位置するか又は複数の場所にわたって分布しており、通信ネットワークによって相互接続される１つのコンピュータ又は複数のコンピュータで実行されようデプロイされ得る。

【0045】

本明細書で記載されるプロセス及び論理フローは、入力データに作用して出力を生成することによって機能を実行するよう１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって実行され得る。プロセス及び論理フローはまた、特別目的の論理回路、例えば、ＦＰＧＡ（field programmable gate array）又はＡＳＩＣ（application specific integrated circuit）によって実行されるか、あるいは、装置はまた、そのようなものとして実装され得る。

【0046】

コンピュータプログラムの実行に適したプロセッサは、一例として、汎用及び特別目的のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、リードオンリーメモリ若しくはランダムアクセスメモリ又は両方から命令及びデータを受け取る。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを記憶する１つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを記憶する１つ以上の大容量記憶デバイスを含んでも、あるいは、データを記憶する１つ以上の大容量記憶デバイス、例えば、磁気ディスク、光学磁気ディスク、または光ディスクからデータを受信し若しくはそれへデータを転送し、又はそれとの間でデータを受信及び転送の両方を行うよう動作上結合されてもよい。なお、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶することに適したコンピュータ可読媒体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク；光学磁気ディスク；並びにＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む全ての形態の不揮発性メモリ、媒体、及びメモリデバイスを含む。プロセッサ及びメモリは、特別目的の論理回路によって補完されるか、あるいは、それに組み込まれ得る。

【0047】

本特許文献は多数の詳細を含むが、それらは、任意の発明の又は請求され得るものの範囲に対する制限と解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本特許文献で記載される特定の特徴はまた、単一の実施形態において組み合わせても実装され得る。反対に、単一の実施形態に関連して記載される様々な特徴はまた、複数の実施形態で別々に、又は任意の適切なサブコンビネーションでも実装され得る。更に、特徴は、特定の組み合わせで動作するとして上述され、更には最初にそのようなものとして請求されることがあるが、請求されている組み合わせからの１つ以上の特徴は、いくつかの場合に、組み合わせから削除されてよく、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。

【0048】

同様に、動作は、特定の順序で図面に表されているが、これは、所望の結果を実現するために、そのような動作が図示されている特定の順序で又は順番に実行される必要があると、あるいは、表されている全ての動作が実行されると、理解されるべきではない。更に、本特許文献で記載される実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を必要とすると、理解されるべきではない。

【0049】

ほんの２、３の実施及び例が記載され、他の実施、拡張及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。

【0050】

［関連出願の相互参照］
パリ条約に従う適用可能な特許法及び／又は規則の下で、本願は、２０１８年７月２日付けで出願された米国特許仮出願第６２／６９３４１２号の優先権及び利益を適宜を得て請求するようなされる。米国法の下で、全ての目的のために、米国特許仮出願第６２／６９３４１２号の全開示が、本願の開示の部分として参照により援用される。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2020年12月22日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオ処理の方法であって、
ビデオブロックの幅及び高さの少なくとも１つに基づいて、前記ビデオブロックと該ビデオブロックの符号化表現との間の変換のためのデコーダ側動きベクトル精緻化ステップの有効化及び無効化の間の決定を行うことと、
前記決定が有効化である場合に、前記デコーダ側動きベクトル精緻化ステップを有効にすることによって前記変換を実行することと、
前記決定が無効化である場合に、前記デコーダ側動きベクトル精緻化ステップを無効にすることによって前記変換を実行することと
を有し、
前記デコーダ側動きベクトル精緻化ステップは、前記符号化表現において伝えられる動きベクトルの値を精緻化し、該精緻化された値を前記変換中に使用することを含む、
方法。

【請求項2】

前記変換は、前記ビデオブロックのピクセル値へと前記符号化表現を復号することを含む、
請求項１に記載の方法。

【請求項3】

前記変換は、前記符号化表現へと前記ビデオブロックのピクセル値を符号化することを含む、
請求項１に記載の方法。

【請求項4】

Ｗ及びＨが、夫々、前記ビデオブロックの幅及び高さであるとして、前記デコーダ側動きベクトル精緻化ステップは、Ｗ≦Ｔ１又はＨ≦Ｔ２の場合に無効化されると決定され、Ｔ１及びＴ２は、１以上の整数値である、
請求項１に記載の方法。

【請求項5】

Ｗ及びＨが、夫々、前記ビデオブロックの幅及び高さであるとして、前記デコーダ側動きベクトル精緻化ステップは、Ｗ≦Ｔ１かつＨ≦Ｔ２の場合に無効化されると決定され、Ｔ１及びＴ２は、１以上の整数値である、
請求項１に記載の方法。

【請求項6】

Ｔ１は４に等しく、Ｔ２は４に等しい、
請求項４に記載の方法。

【請求項7】

Ｗ及びＨが、夫々、前記ビデオブロックの幅及び高さであるとして、前記デコーダ側動きベクトル精緻化ステップは、Ｗ×Ｈ≦Ｔ０の場合に無効化されると決定され、Ｔ０は、１以上の整数値である、
請求項１に記載の方法。

【請求項8】

Ｗ及びＨが、夫々、前記ビデオブロックの幅及び高さであるとして、前記デコーダ側動きベクトル精緻化ステップは、Ｗ＝４かつＨ＝４の場合に無効化されると決定される、
請求項１に記載の方法。

【請求項9】

Ｗ及びＨが、夫々、前記ビデオブロックの幅及び高さであるとして、前記デコーダ側動きベクトル精緻化ステップは、Ｗ＝４又はＨ＝４の場合に無効化されると決定される、
請求項１に記載の方法。

【請求項10】

Ｗ及びＨが、夫々、前記ビデオブロックの幅及び高さであるとして、前記デコーダ側動きベクトル精緻化ステップは、Ｗ／Ｈが閾値よりも小さくかつＷ／Ｈが他の閾値よりも大きい場合に無効化されると決定される、
請求項１に記載の方法。

【請求項11】

Ｗ及びＨが、夫々、前記ビデオブロックの幅及び高さであるとして、前記デコーダ側動きベクトル精緻化ステップは、Ｗ／Ｈが閾値よりも小さいか又はＷ／Ｈが他の閾値よりも大きい場合に無効化されると決定される、
請求項１に記載の方法。

【請求項12】

前記閾値及び前記他の閾値は、固定値を有する、
請求項１１に記載の方法。

【請求項13】

プロセッサと、命令を有する非一時的なメモリとを有するビデオデータコーディング装置であって、
前記命令は、前記プロセッサによって実行されるときに、該プロセッサに、
ビデオブロックの幅及び高さの少なくとも１つに基づいて、前記ビデオブロックと該ビデオブロックの符号化表現との間の変換のためのデコーダ側動きベクトル精緻化ステップの有効化及び無効化の間の決定を行うことと、
前記決定が有効化である場合に、前記デコーダ側動きベクトル精緻化ステップを有効にすることによって前記変換を実行することと、
前記決定が無効化である場合に、前記デコーダ側動きベクトル精緻化ステップを無効にすることによって前記変換を実行することと
を実行させ、
前記デコーダ側動きベクトル精緻化ステップは、前記符号化表現において伝えられる動きベクトルの値を精緻化し、該精緻化された値を前記変換中に使用することを含む、
ビデオデータコーディング装置。

【請求項14】

プロセッサに、
ビデオブロックの幅及び高さの少なくとも１つに基づいて、前記ビデオブロックと該ビデオブロックの符号化表現との間の変換のためのデコーダ側動きベクトル精緻化ステップの有効化及び無効化の間の決定を行うことと、
前記決定が有効化である場合に、前記デコーダ側動きベクトル精緻化ステップを有効にすることによって前記変換を実行することと、
前記決定が無効化である場合に、前記デコーダ側動きベクトル精緻化ステップを無効にすることによって前記変換を実行することと
を実行させ、
前記デコーダ側動きベクトル精緻化ステップは、前記符号化表現において伝えられる動きベクトルの値を精緻化し、該精緻化された値を前記変換中に使用することを含む、
命令を記憶している非一時的なコンピュータ可読記憶媒体。

【請求項15】

ビデオ処理装置により、
ビデオブロックの幅及び高さの少なくとも１つに基づいて、前記ビデオブロックと該ビデオブロックの符号化表現との間の変換のためのデコーダ側動きベクトル精緻化ステップの有効化及び無効化の間の決定を行うことと、
前記決定が有効化である場合に、前記デコーダ側動きベクトル精緻化ステップを有効にすることによって前記変換を実行することと、
前記決定が無効化である場合に、前記デコーダ側動きベクトル精緻化ステップを無効にすることによって前記変換を実行することと
を有し、
前記デコーダ側動きベクトル精緻化ステップは、前記符号化表現において伝えられる動きベクトルの値を精緻化し、該精緻化された値を前記変換中に使用することを含む、
方法によって生成されるビットストリーム表現を記憶している非一時的なコンピュータ可読記録媒体。

【国際調査報告】