▶ ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッドの特許一覧
特表2022-522525ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-19
(54)【発明の名称】ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム製品
(51)【国際特許分類】
H04N 19/70 20140101AFI20220412BHJP
H04N 19/176 20140101ALI20220412BHJP
H04N 19/157 20140101ALI20220412BHJP
H04N 19/109 20140101ALI20220412BHJP
【ＦＩ】
H04N19/70
H04N19/176
H04N19/157
H04N19/109
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021555049
(86)(22)【出願日】2020-03-12
(85)【翻訳文提出日】2021-09-10
(86)【国際出願番号】 US2020022491
(87)【国際公開番号】W WO2020186119
(87)【国際公開日】2020-09-17
(31)【優先権主張番号】62/817,503
(32)【優先日】2019-03-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521248394
【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】シウ、シアオユイ
(72)【発明者】
【氏名】チェン、イー－ウェン
(72)【発明者】
【氏名】ワン、シアンリン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159SS26
5C159TA18
5C159TB08
5C159TC00
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
現在のＶＶＣなどのビデオ符号化標準で使用されるＣＩＩＰモードの適用を制約し調整する方法が、コンピューティングデバイスで実行される。１つの方法では、コンピューティングデバイスは、ＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）及びＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）をバイ予測ブロックに適用するかどうかを決定する。別の方法では、コンピューティングデバイスは、ＣＵ（「現在のＣＵ」）の隣接するＣＵの中の各ＣＵがそれぞれＣＩＩＰ符号化されているか否かを判定し、現在のＣＵのためのＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）候補リストの形成において隣接するＣＩＩＰ符号化されたＣＵのイントラモードを使用する過程で、現在のＣＵがイントラ符号化されているかＣＩＩＰ符号化されているか否かの判定に依存しない統一基準を使用する。
【特許請求の範囲】
【請求項1】
現在の予測ブロックに関連する第１リファレンスピクチャ及び第２リファレンスピクチャを取得し、表示順序で、前記第１リファレンスピクチャは現在のピクチャの前にあり、前記第２リファレンスピクチャは前記現在のピクチャの後にあり、前記現在の予測ブロックから前記第１リファレンスピクチャのリファレンスブロックへの第１動きベクトルＭＶ０に基づいて第１予測Ｌ０を取得し、
前記現在の予測ブロックから前記第２リファレンスピクチャのリファレンスブロックへの第２動きベクトルＭＶ１に基づいて第２予測Ｌ１を取得し、
前記第１予測Ｌ０及び前記第２予測Ｌ１に基づいて前記第１動きベクトルＭＶ０及び前記第２動きベクトルＭＶ１を調整するＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）演算を適用し、第１更新予測Ｌ０’及び第２更新予測Ｌ１’を生成するか否かを決定し、
前記第１更新予測Ｌ０’に関連付けられた予測サンプルについての第１水平・垂直勾配値、及び前記第２更新予測Ｌ１’に関連付けられた第２水平・垂直勾配値を計算するＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）演算を適用するか否かを決定し、
前記第１予測Ｌ０、前記第２予測Ｌ１、前記第１更新予測Ｌ０’、前記第２更新予測Ｌ１’、前記第１水平・垂直勾配値、及び前記第２水平・垂直勾配値に基づいて、前記現在の予測ブロックのバイ予測を計算する、
ビデオ符号化方法。
【請求項2】
前記現在の予測ブロックの最終予測を生成するために、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かに基づいて、前記ＤＭＶＲ及びＢＤＯＦ演算を適用するか否かを決定することをさらに含む、請求項１に記載のビデオ符号化方法。
【請求項3】
前記現在の予測ブロックの前記最終予測を生成するために前記ＣＩＩＰが適用されることを決定するときに、前記ＤＭＶＲ及びＢＤＯＦ演算を適用しないことを決定することをさらに含む、請求項２に記載のビデオ符号化方法。
【請求項4】
前記現在のブロックの前記バイ予測が、元の第１予測Ｌ０及び元の第２予測Ｌ１に基づいて計算される、請求項３に記載のビデオ符号化方法。
【請求項5】
前記現在の予測ブロックの前記最終予測を生成するために前記ＣＩＩＰが適用されないことを決定するときに、前記ＤＭＶＲ及びＢＤＯＦ演算を適用することを決定することをさらに含む、請求項２に記載のビデオ符号化方法。
【請求項6】
前記現在のブロックの前記バイ予測が、前記第１水平・垂直勾配値及び前記第２水平・垂直勾配値によって定義される運き軌道に沿って、前記第１更新予測Ｌ０’及び前記第２更新予測Ｌ１’を補間することによって計算される、請求項５に記載のビデオ符号化方法。
【請求項7】
記憶媒体と、前記記憶媒体に結合された１つ以上のプロセッサと、
を含み、
１つ以上の前記プロセッサは、
現在の予測ブロックに関連する第１リファレンスピクチャ及び第２リファレンスピクチャを取得し、表示順序で、前記第１リファレンスピクチャは現在のピクチャの前にあり、前記第２リファレンスピクチャは前記現在のピクチャの後にあり、
前記現在の予測ブロックから前記第１リファレンスピクチャのリファレンスブロックへの第１動きベクトルＭＶ０に基づいて第１予測Ｌ０を取得し、
前記現在の予測ブロックから前記第２リファレンスピクチャのリファレンスブロックへの第２動きベクトルＭＶ１に基づいて第２予測Ｌ１を取得し、
前記第１予測Ｌ０及び前記第２予測Ｌ１に基づいて前記第１動きベクトルＭＶ０及び前記第２動きベクトルＭＶ１を調整するＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）演算を適用し、第１更新予測Ｌ０’及び第２更新予測Ｌ１’を生成するか否かを決定し、
前記第１更新予測Ｌ０’に関連付けられた予測サンプルについての第１水平・垂直勾配値、及び前記第２更新予測Ｌ１’に関連付けられた第２水平・垂直勾配値を計算するＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）演算を適用するか否かを決定し、
前記第１予測Ｌ０、前記第２予測Ｌ１、前記第１更新予測Ｌ０’、前記第２更新予測Ｌ１’、前記第１水平・垂直勾配値、及び前記第２水平・垂直勾配値に基づいて、前記現在の予測ブロックのバイ予測を計算する、
コンピューティングデバイス。
【請求項8】
前記現在の予測ブロックの最終予測を生成するために、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かに基づいて、前記ＤＭＶＲ及びＢＤＯＦ演算を適用するか否かを決定することをさらに含む、請求項７に記載のコンピューティングデバイス。
【請求項9】
前記現在の予測ブロックの前記最終予測を生成するために前記ＣＩＩＰが適用されることを決定するときに、前記ＤＭＶＲ及びＢＤＯＦ演算を適用しないことを決定することをさらに含む、請求項８に記載のコンピューティングデバイス。
【請求項10】
前記現在のブロックの前記バイ予測が、元の第１予測Ｌ０及び元の第２予測Ｌ１に基づいて計算される、請求項９に記載のコンピューティングデバイス。
【請求項11】
前記現在の予測ブロックの前記最終予測を生成するために前記ＣＩＩＰが適用されないことを決定するときに、前記ＤＭＶＲ及びＢＤＯＦ演算を適用することを決定することをさらに含む、請求項８に記載のコンピューティングデバイス。
【請求項12】
前記現在のブロックの前記バイ予測が、前記第１水平・垂直勾配値及び前記第２水平・垂直勾配値によって定義される運き軌道に沿って、前記第１更新予測Ｌ０’及び前記第２更新予測Ｌ１’を補間することによって計算される、請求項１１に記載のコンピューティングデバイス。
【請求項13】
１つ以上のプロセッサを有するコンピューティングデバイスによって実行するための複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、複数の前記プログラムは、１つ以上の前記プロセッサによって実行されると、１つ以上の前記プロセッサに、
現在の予測ブロックに関連する第１リファレンスピクチャ及び第２リファレンスピクチャを取得し、表示順序で、前記第１リファレンスピクチャは現在のピクチャの前にあり、前記第２リファレンスピクチャは前記現在のピクチャの後にあり、
前記現在の予測ブロックから前記第１リファレンスピクチャのリファレンスブロックへの第１動きベクトルＭＶ０に基づいて第１予測Ｌ０を取得し、
前記現在の予測ブロックから前記第２リファレンスピクチャのリファレンスブロックへの第２動きベクトルＭＶ１に基づいて第２予測Ｌ１を取得し、
前記第１予測Ｌ０及び前記第２予測Ｌ１に基づいて前記第１動きベクトルＭＶ０及び前記第２動きベクトルＭＶ１を調整するＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）演算を適用し、第１更新予測Ｌ０’及び第２更新予測Ｌ１’を生成するか否かを決定し、
前記第１更新予測Ｌ０’に関連付けられた予測サンプルについての第１水平・垂直勾配値、及び前記第２更新予測Ｌ１’に関連付けられた第２水平・垂直勾配値を計算するＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）演算を適用するか否かを決定し、
前記第１予測Ｌ０、前記第２予測Ｌ１、前記第１更新予測Ｌ０’、前記第２更新予測Ｌ１’、前記第１水平・垂直勾配値、及び前記第２水平・垂直勾配値に基づいて、前記現在の予測ブロックのバイ予測を計算する、
ことを実行させる、
非一時的コンピュータ可読記憶媒体。
【請求項14】
前記現在の予測ブロックの最終予測を生成するために、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かに基づいて、前記ＤＭＶＲ及びＢＤＯＦ演算を適用するか否かを決定することをさらに含む、請求項１３に記載の非一時的コンピュータ可読記憶媒体。
【請求項15】
前記現在の予測ブロックの前記最終予測を生成するために前記ＣＩＩＰが適用されることを決定するときに、前記ＤＭＶＲ及びＢＤＯＦ演算を適用しないことを決定することをさらに含む、請求項１４に記載の非一時的コンピュータ可読記憶媒体。
【請求項16】
前記現在のブロックの前記バイ予測が、元の第１予測Ｌ０及び元の第２予測Ｌ１に基づいて計算される、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記現在の予測ブロックの前記最終予測を生成するために前記ＣＩＩＰが適用されないことを決定するときに、前記ＤＭＶＲ及びＢＤＯＦ演算を適用することを決定することをさらに含む、請求項１４に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記現在のブロックの前記バイ予測が、前記第１水平・垂直勾配値及び前記第２水平・垂直勾配値によって定義される運き軌道に沿って、前記第１更新予測Ｌ０’及び前記第２更新予測Ｌ１’を補間することによって計算される、請求項１７に記載の非一時的コンピュータ可読記憶媒体。【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、ビデオ符号化及び圧縮に関する。より詳細には、本開示は、ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ－ ａｎｄ Ｉｎｔｒａ－Ｐｒｅｄｉｃｔｉｏｎ）モードの適用の制約及び調整によりビデオ符号化を実行するシステム及び方法に関する。
【背景技術】
【0002】
このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも先行技術として解釈されるべきではない。
【0003】
ビデオデータを圧縮するために、様々なビデオ符号化技術のいずれかを使用することができる。ビデオ符号化は、１つ以上のビデオ符号化標準に従って実行することができる。いくつかの例示的なビデオ符号化標準は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ＪＥＭ（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ ｍｏｄｅｌ）符号化、Ｈ．２６５／ＨＥＶＣ（ｈｉｇｈ－ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）、Ｈ．２６４／ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）、及びＭＰＥＧ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）符号化を含む。
【0004】
ビデオ符号化は、一般に、ビデオ画像またはシーケンスに固有の冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化技法の１つの目標は、ビデオ品質の劣化を回避または最小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。
【0005】
ビデオ符号化で利用される予測方法は、一般的には、ビデオデータに固有の冗長性を低減または除去するために、空間（イントラフレーム）予測及び／または時間（インターフレーム）予測を実行することを含み、一般的には、ブロックベースのビデオ符号化に関連付けられる。
【発明の概要】
【課題を解決するための手段】
【0006】
このセクションは、本開示の一般的な概要を提供し、その全範囲またはその特徴のすべての包括的な開示ではない。
【0007】
本開示の第１態様によれば、ビデオ符号化方法は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、ビデオストリームの各ピクチャを複数のブロック、即ちＣＵに分割することを含む。この方法は、ＣＵがバイ予測されるときに、ＣＵへのＣＩＩＰモードの適用中にインター予測サンプルを生成する際に、１つ以上のインター予測プロセスの動作をバイパスすることを含む。１つ以上のバイパスインター予測プロセスは、ＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）及びＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）を含む。
【0008】
本開示の第２態様によれば、ビデオ符号化方法は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、ビデオストリームの各ピクチャを複数のブロック、即ちＣＵに分割することを含む。この方法は、ＣＩＩＰモードの適用のための候補であるＣＵを識別することをさらに含む。この方法は、ＣＩＩＰモードの適用のための候補として識別されたＣＵが、バイ予測されるか、または単予測されるかを決定することをさらに含む。この方法は、決定に基づいてＣＵへのＣＩＩＰモードの適用を制約することをさらに含む。
【0009】
本開示の第３態様によれば、ビデオ符号化方法は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、ビデオストリームの各ピクチャを複数のブロック、即ちＣＵ（符号化単位）に分割することを含む。この方法は、各ＣＵについてＭＰＭ候補リストを導出することをさらに含む。この方法は、ＣＵ（「現在のＣＵ」）の隣接するＣＵの中の各ＣＵが、それぞれＣＩＩＰ符号化ブロックであるか否かを判定することをさらに含む。この方法は、さらに、ＣＩＩＰ符号化された隣接ＣＵの中の各隣接ＣＵについて、現在のＣＵのためのＭＰＭ候補リストの形成において隣接ＣＵのイントラモードを使用する過程で、現在のＣＵがイントラ符号化されているかＣＩＩＰ符号化されているかの判定に依存しない統一基準を使用することを含む。
【0010】
本発明の第４態様によれば、コンピューティングデバイスは、１つ以上のプロセッサ、メモリ、及びメモリに記憶された複数のプログラムを含む。プログラムは、１つ以上のプロセッサによって実行されると、上記のようにコンピューティングデバイスに動作を実行させる。
【0011】
本出願の第５態様によれば、非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを記憶する。プログラムは、１つ以上のプロセッサによって実行されると、上記のようにコンピューティングデバイスに動作を実行させる。
【図面の簡単な説明】
【0012】
【図1】多くのビデオ符号化標準と併せて使用することができる、例示的なブロックベースのハイブリッドビデオエンコーダを示すブロック図である。
【図2】多くのビデオ符号化標準と共に使用され得る例示的なビデオデコーダを示すブロック図である。
【図3A】例示的実施形態による分割タイプの例である４分割を示す。
【図3B】例示的実施形態による分割タイプの例である水平２分割を示す。
【図3C】例示的実施形態による分割タイプの例である垂直２分割を示す。
【図3D】例示的実施形態による分割タイプの例である水平３分割を示す。
【図3E】例示的実施形態による分割タイプの例である垂直３分割を示す。
【図4A】ＣＩＩＰモードでインター予測及びイントラ予測を組み合わせる図である。
【図4B】ＣＩＩＰモードでインター予測及びイントラ予測を組み合わせる図である。
【図4C】ＣＩＩＰモードでインター予測及びイントラ予測を組み合わせる図である。
【図5A】現在のＶＶＣにおけるＭＰＭ候補リストのための例示的な生成プロセスを示す一対のフローチャートを構成する。
【図5B】現在のＶＶＣにおけるＭＰＭ候補リストのための例示的な生成プロセスを示す一対のフローチャートを構成する。
【図6】現在のＶＶＣにおいてＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を使用するＣＩＩＰ設計の例示的なワークフローを示すフローチャートである。
【図7】現在の予測ブロックのバイ予測を計算する際にＤＭＶＲ及びＢＤＯＦ演算を選択的にバイパスする例示的なワークフローを示すフローチャートである。
【図8】本開示において提案されるＣＩＩＰ設計の例示的なワークフローを示すフローチャートである。
【図9】本開示における提案された第２ＣＩＩＰ設計の例示的なワークフローを示すフローチャートである。
【図10A】本開示におけるＭＰＭ候補リストの生成プロセスにおいてＣＩＩＰ符号化ブロックを処理する提案された２つの方法の例示的なワークフローを示す一対のフローチャートを構成する。
【図10B】本開示におけるＭＰＭ候補リストの生成プロセスにおいてＣＩＩＰ符号化ブロックを処理する提案された２つの方法の例示的なワークフローを示す一対のフローチャートを構成する。
【発明を実施するための形態】
【0013】
以下、本開示の例示的で非限定的な実施形態のセットを、添付の図面と併せて説明する。構造、方法、または機能の変形は、本明細書で提示される例に基づいて、関連技術の当業者によって実装されてもよく、そのような変形はすべて、本開示の範囲内に含まれる。矛盾が存在しない場合には、異なる実施形態の教示は、互いに組み合わせることができるが、必ずしも組み合わせる必要はない。
【0014】
本開示で使用される用語は、本開示を限定するのではなく、特定の例を説明することを対象とする。本開示ならびに添付の特許請求の範囲で使用される「１つの」などの単数形は、他の意味がコンテキストに明確に含まれない限り、複数形も指す。本明細書で使用される用語「及び／または」は、１つ以上の関連する列挙された項目の任意のまたはすべての可能な組合せを指すことを理解されたい。
【0015】
ここでは、「第１」、「第２」、「第３」などの用語を用いて、様々な情報を記述することができるが、これらの用語によって情報が限定されるべきではない。これらの用語は、情報の１つのカテゴリを別のカテゴリと区別するためにのみ用いられる。例えば、本開示の範囲から逸脱することなく、第１情報は第２情報と称されてもよく、同様に、第２情報は、第１情報と称されてもよい。本明細書で使用されるように、「である場合」という用語は、コンテキストに応じて、「のとき」または「の際」または「に応じて」を意味する。
【0016】
本明細書全体を通して、単数または複数の「一実施形態」、「別実施形態」などへの言及は、一実施形態に関連して説明された１つ以上の特定の特徴、構造、または特性が本開示の少なくとも１つの実施形態に含まれることを意味し、したがって、本明細書全体を通して、単数または複数の場所における「一実施形態において」または「別実施形態において」などの語句の出現は、必ずしもすべて同じ実施形態を指すわけではない。さらに、１つ以上の実施形態における特定の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。
【0017】
概念的には、多くのビデオ符号化標準は、背景のセクションで述べたものを含めて、類似している。例えば、実質的に全てのビデオ符号化標準は、ブロックベースの処理を使用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロックダイアグラムを共有する。
【0018】
ブロックベースのビデオ符号化では、入力ビデオ信号はブロックごとに処理される。各ブロック（符号化単位（ＣＵ）とも呼ばれる）に対して、空間予測及び／または時間予測が実行され得る。
【0019】
空間予測（「イントラ予測」とも呼ばれる）は、同じビデオピクチャ／スライス内の既に符号化された隣接ブロック（リファレンスサンプルと呼ばれる）のサンプルからのピクセルを使用して、現在のブロックを予測する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。
【0020】
時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、既に符号化されたビデオピクチャからの再構成されたピクセルを使用して、現在のブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を低減する。所与のＣＵについての時間予測信号は、通常、現在のＣＵとその時間リファレンスとの間の動きの量及び方向を示す１つ以上の動きベクトル（ＭＶ）によって信号化される。また、複数のリファレンスピクチャがサポートされる場合、１つのリファレンスピクチャインデックスが追加的に送信され、リファレンスピクチャインデックスは、リファレンスピクチャストア内のどのリファレンスピクチャから時間予測信号が到来するかを識別するために使用される。
【0021】
空間及び／または時間予測の後、エンコーダ内のモード決定ブロックは、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、予測ブロックは現在のブロックから減算され、予測残差は変換を用いて非相関化され、量子化される。量子化残差係数は逆量子化され、逆変換されて再構成残差を形成し、それからブロックの再構成信号を形成するために予測ブロックに再加算される。
【0022】
空間及び／または時間予測の後、リファレンスピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵに、デブロッキングフィルタ、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、及びＡＬＦ（ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）などのさらなるインループフィルタリングが適用され得る。出力ビデオビットストリームを形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、及び量子化された残差係数はすべて、エントロピー符号化ユニットに送られ、さらに圧縮され、パックされてビットストリームを形成する。
【0023】
復号化の過程で、まず、ビデオビットストリームはエントロピー復号化単位でエントロピー復号化される。符号化モード及び予測情報は、予測ブロックを形成するために、空間予測ユニット（イントラ符号化される場合）または時間予測ユニット（インター符号化される場合）のいずれかに送られる。残差変換係数は逆量子化ユニットと逆変換ユニットに送られ、残差ブロックを再構成する。次に、予測ブロックと残差ブロックとが加算される。再構成されたブロックは、リファレンスピクチャストアに格納される前に、インループフィルタリングをさらに経ることができる。次に、リファレンスピクチャストア内の再構成されたビデオは、ディスプレイデバイスを駆動するために送出され、また、将来のビデオブロックを予測するために使用される。
【0024】
多くのハイブリッドビデオ符号化方式では、各ブロックは、インター予測方法またはイントラ予測方法のいずれかを使用するかもしれないが、両方を使用することはないだろう。しかし、インター予測ブロックとイントラ予測ブロックとによって生成された残差信号は、互いに、非常に異なる特性を提示する。従って、２種類の予測を効率的な方法で組み合わせることができれば、予測残差のエネルギーを減らし、符号化効率を改善するためのより正確な予測が期待できる。さらに、特定のビデオコンテンツでは、動く物体の動きが複雑になる可能性がある。例えば、古いコンテンツ（例えば、以前に符号化されたピクチャに含まれるオブジェクト）と、新たに出現するコンテンツ（例えば、以前に符号化されたピクチャにおいて除外されるオブジェクト）との両方を含む領域が存在し得る。このようなシナリオでは、インター予測もイントラ予測も現在のブロックの正確な予測を提供できない。
【0025】
予測効率をさらに改善するために、ＶＶＣの現在のバージョンは、併合モードによって符号化される１つのＣＵのイントラ予測とインター予測とを組み合わせる、ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ－ ａｎｄ Ｉｎｔｒａ－Ｐｒｅｄｉｃｔｉｏｎ）モードを導入する。ＣＩＩＰモードの適用は、一般に、符号化効率を改善する。
【0026】
しかしながら、ＣＩＩＰモードの適用は、インターモードまたはイントラモードに含まれるよりも多くの演算を含み、計算の複雑さを増加させ、符号化／復号化スループットを低減させる傾向がある。
【0027】
さらに、ＶＶＣの現在のバージョンは、それらの隣接ブロックのためのＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）候補リストを構築するコンテキスト内のイントラモードブロック及びＣＩＩＰモードブロックの処理において完全な一貫性がない。
【0028】
図１は、多くのビデオ符号化標準と併せて使用され得る、例示的なブロックベースのハイブリッドビデオエンコーダ１００のブロック図を示す。エンコーダ１００において、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測アプローチまたはイントラ予測アプローチのいずれかに基づいて予測が形成される。インター予測では、以前に再構成されたフレームからのピクセルに基づいて、動き推定及び動き補償によって、１つ以上の予測子が形成される。イントラ予測では、現在のフレーム内の再構成されたピクセルに基づいて、予測子が形成される。モード決定により、現在のブロックを予測するために最良の予測子を選択することができる。
【0029】
現在のビデオブロックとその予測子との差を表す予測残差が、変換回路１０２に送られる。次いで、変換係数が、エントロピー低減のために、変換回路１０２から量子化回路１０４に送られる。次いで、量子化された係数がエントロピー符号化回路１０６に供給され、圧縮ビデオビットストリームを生成する。図１に示すように、ビデオブロック分割情報、動きベクトル、リファレンスピクチャインデックス、及びイントラ予測モードなどの、インター予測回路及び／またはイントラ予測回路１１２からの予測関連情報１１０も、エントロピー符号化回路１０６を通して供給され、圧縮ビデオビットストリーム１１４に含められる。
【0030】
エンコーダ１００では、予測の目的でピクセルを再構成するために、デコーダ関連の回路も必要である。まず、予測残差が、逆量子化回路１１６及び逆変換回路１１８を通して再構成される。この再構成された予測残差をブロック予測子１２０と組み合わせて、現在のビデオブロックについてフィルタ処理されていない再構成ピクセルを生成する。
【0031】
符号化効率及び視覚品質を改善するために、インループフィルタが一般に使用される。例えば、デブロッキングフィルタは、ＡＶＣ、ＨＥＶＣ、並びにＶＶＣの現在のバージョンにおいて利用可能である。ＨＥＶＣでは、符号化効率をさらに改善するために、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）と呼ばれる追加のインループフィルタが定義される。現在のＶＶＣ標準では、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）と呼ばれるさらに別のインループフィルタが活発に検討されており、最終標準に含まれる可能性が高い。
【0032】
これらのインループフィルタ動作はオプションである。これらの動作を実行することは、符号化効率及び視覚品質を改善するのに役立つ。それらはまた、エンコーダ１００によって実行される決定としてオフにされて、計算の複雑さを低減することができる。
【0033】
イントラ予測は、通常、フィルタリングされていない再構成ピクセルに基づいており、一方、これらのフィルタオプションがエンコーダ１００によってオンにされた場合、インター予測は、フィルタリングされた再構成ピクセルに基づいていることに留意されたい。
【0034】
図２は、多くのビデオ符号化標準と共に使用され得る例示的なビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００内に存在する再構成関連部分に類似している。デコーダ２００（図２）において、入力ビデオビットストリーム２０１は、量子化された係数レベル及び予測関連情報を導出するために、まず、エントロピー復号化２０２を介して復号化される。次いで、量子化された係数レベルは、逆量子化２０４及び逆変換２０６を介して処理され、再構成された予測残差を得る。イントラ／インターモードセレクタ（選択回路）２０８で実施されるブロック予測メカニズムは、復号された予測情報に基づいて、イントラ予測２１０または動き補償２１２のいずれかを実行するように構成される。逆変換２０６からの再構成予測残差とブロック予測メカニズムにより生成された予測出力とを、加算器２１４を用いて合計することにより、フィルタ処理されない再構成ピクセルの集合が得られる。インループフィルタがオンにされる状況では、最終的な再構成ビデオを導出するために、これらの再構成ピクセルに対してフィルタリング動作が行われる。次に、リファレンスピクチャストア内の再構成されたビデオは、ディスプレイデバイスを駆動するために送出され、将来のビデオブロックを予測するために使用される。
【0035】
ＨＥＶＣなどのビデオ符号化標準では、ブロックは、４分木に基づいて分割され得る。現在のＶＶＣなどのより新しいビデオ符号化標準では、より多くの分割方法が使用され、１つの符号化ツリーユニット（ＣＴＵ）をＣＵに分割して、４分木、２分木、または３分木に基づいて様々なローカル特性に適応させることができる。ＣＵ、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）の分離は、現在のＶＶＣにおけるほとんどの符号化モードには存在せず、各ＣＵは、常に、さらなる分割なしで予測及び変換の両方のための基本ユニットとして使用される。しかしながら、イントラサブ分割符号化モードなどのいくつかの特定の符号化モードでは、各ＣＵは依然として複数のＴＵを含むことができる。マルチタイプツリー構造では、まず、１つのＣＴＵを４分木構造で分割する。次に、各４分木リーフノードは、２分木構造及び３分木構造によってさらに分割することができる。
【0036】
図３Ａ～図３Ｅは、５つの例示的な分割タイプ、即ち、４分割（図３Ａ）、水平２分割（図３Ｂ）、垂直２分割（図３Ｃ）、水平３分割（図３Ｄ）、及び垂直３分割（図３Ｅ）を示す。ＨＥＶＣ及び現在のＶＶＣなどのビデオ符号化標準では、各ＣＵは、イントラ予測またはインター予測で予測され得る。
【0037】
現在のＶＶＣはまた、ＣＩＩＰ（Ｃｏｍｂｉｎｅｄ Ｉｎｔｒａ－ ａｎｄ Ｉｎｔｅｒ－Ｐｒｅｄｉｃｔｉｏｎ）符号化モードを導入し、このモードの下で、併合モードによって符号化される１つのＣＵのイントラ予測とインター予測とが組み合わされる。
【0038】
ＣＩＩＰモードでは、併合ＣＵごとに、ＣＩＩＰが現在のＣＵについて有効か否かを示す１つの追加フラグが通知される。現在のＣＵの輝度成分について、ＣＩＩＰは、４つの頻繁に使用されるイントラモード、即ち、平面モード、ＤＣモード、水平モード、及び垂直モードをサポートする。現在のＣＵの彩度成分については、輝度成分の同じイントラモードが再使用されることを意味するＤＭモードが、余分な信号化なしに常に適用される。
【0039】
さらに、ＣＩＩＰモードでは、各併合ＣＵについて、重み付け平均化が適用されて、現在のＣＵのインター予測サンプルとイントラ予測サンプルとが結合される。詳細には、平面モードまたはＤＣモードが選択されると、等しい重み（即ち、０．５）が適用される。そうでない場合（即ち、水平モードまたは垂直モードのいずれかが適用される場合）、現在のＣＵは、まず、水平方向（水平モードの場合）または垂直方向（垂直モードの場合）に、４つの等しいサイズの領域に分割される。（ｗ＿ｉｎｔｒａｉ、ｗ＿ｉｎｔｅｒｉ）として示される４つの重み集合は、異なった領域におけるインター予測サンプルとイントラ予測サンプルとを結合するために適用される。ここで、ｉ＝０及びｉ＝３は、イントラ予測に使用される再構成された隣接サンプルに最も近い領域と、最も遠い領域とを表す。現在のＣＩＩＰ設計では、重み集合の値の事前定義集合は、（ｗ＿ｉｎｔｒａ０、ｗ＿ｉｎｔｅｒ０）＝（０．７５、０．２５）、（ｗ＿ｉｎｔｒａ１、ｗ＿ｉｎｔｅｒ１）＝（０．６２５、０．３７５）、（ｗ＿ｉｎｔｒａ２、ｗ＿ｉｎｔｅｒ２）＝（０．３７５、０．６２５）及び（ｗ＿ｉｎｔｒａ３、ｗ＿ｉｎｔｅｒ３）＝（０．２５、０．７５）である。
【0040】
図４Ａ～図４Ｃは、ＣＩＩＰモードでのインター予測及びイントラ予測の組み合わせを例示する。図４Ａでは、水平モードにおけるＣＵ４０１についての組み合わせ重みの動作が例示されている。現在のＣＵは、４つの異なるグレースケールシェードによって表される、４つの等しいサイズの領域４０２、４０３、４０４、及び４０５に水平方向に分割される。各領域について、重みセットが、インター予測サンプルとイントラ予測サンプルとを組み合わせるために適用される。例えば、最も暗いグレースケールシェードで表される左端の領域４０２について、重みセット（ｗ＿ｉｎｔｒａ０、ｗ＿ｉｎｔｅｒ０）＝（０．７５、０．２５）が適用される。これは、ＣＩＩＰ予測が、（ｉ）イントラ予測の０．７５、即ち３／４倍、及び（ｉｉ）インター予測の０．２５、即ち１／４倍の合計として得られることを意味する。これは、同じ領域４０２に矢印で示される式４０６ＰＣＩＩＰ＝Ｐｉｎｔｅｒ／４＋３Ｐｉｎｔｒａ／４によっても示されている。他の３つの領域４０３、４０４、及び４０５に使用される重みセットも同様に示されている。図４Ｂでは、垂直モードにおけるＣＵ４０７についての組み合わせ重みの動作が、図４Ａと同様の方法で示されている。図４Ｃでは、平面モードまたはＤＣモードにおけるＣＵ４０８の組合せ重みの動作が示されており、ここでは、１つの重みセット、即ち等しい重みのセットだけが、ＣＵ４０８全体に適用され、これもまた、矢印でＣＵ４０８全体を示す式４０９ＰＣＩＩＰ＝Ｐｉｎｔｅｒ／２＋Ｐｉｎｔｒａ／２によって示されている。
【0041】
現在のＶＶＣ作業仕様はまた、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）メカニズムを介してその隣接するＣＩＩＰ ＣＵのイントラモードを予測するための予測子として１つのＣＩＩＰ ＣＵのイントラモードの使用を提供するが、ＭＰＭメカニズムを介してその隣接するイントラ符号化ＣＵのイントラモードを予測するための予測子として同じＣＩＩＰ ＣＵの同じイントラモードの使用を提供しない。
【0042】
詳細には、各ＣＩＩＰ ＣＵについて、その隣接ブロックのいくつかもＣＩＩＰ ＣＵである場合、それらの隣接ブロックのイントラモードは、まず、平面、ＤＣ、水平、及び垂直モード内の最も近いモードに廻され、次いで、現在のＣＵのＭＰＭ候補リストに追加される。即ち、１つのＣＩＩＰ ＣＵのイントラモードは、その隣接ＣＩＩＰ ＣＵのイントラモードを予測させる。しかしながら、各イントラＣＵについて、その隣接ブロックのいくつかがＣＩＩＰモードによって符号化される場合、これらの隣接ブロックは、利用不可能であると見なされる。即ち、１つのＣＩＩＰ ＣＵのイントラモードは、その隣接イントラＣＵのイントラモードを予測させない。
【0043】
図５Ａ、図５Ｂは、現在のＶＶＣにおけるＭＰＭ候補リストのための例示的な生成プロセスを示す一対のフローチャートを構成する。図５Ａは、現在のＣＵがイントラブロックである場合の生成プロセスを例示する。この場合、隣接ＣＵがイントラブロックであるか否かが判定され（５０１）、イントラブロックである場合にのみ、隣接ＣＵのイントラモードがＭＰＭ候補リストに追加される（５０２）。図５Ｂは、現在のＣＵがイントラブロックである場合の生成プロセスを例示する。この場合、隣接ＣＵがイントラブロックであるか否かについて判定が行われ（５０３）、イントラブロックである場合、隣接ＣＵのイントラモードが廻され（５０４）、ＭＰＭ候補リストに追加され（５０５）、一方、イントラブロックでない場合、隣接ＣＵがＣＩＩＰブロックであるか否かについて引き続き判定が行われ（５０６）、ＣＩＩＰブロックである場合、隣接ＣＵのイントラモードがＭＰＭ候補リストに追加される（５０７）。
【0044】
図５Ａ、図５Ｂは、現在のＶＶＣにおけるＭＰＦ候補リストの生成処理におけるＣＩＩＰブロックの使用とイントラブロックの使用との間の不一致を例示する。即ち、ＭＰＭ候補リストの生成処理における隣接ＣＩＩＰブロックの使用方法は、現在のブロックがイントラブロックであるかＣＩＩＰブロックであるかに依存し、２つの場合が異なることを示す。
【0045】
現在のＶＶＣなどのより新しいビデオ符号化標準では、新しいインターモード符号化ツールが導入されている。新しいインターモード符号化ツールの２つの例は、ＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）及びＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）である。
【0046】
ビデオ符号化における従来のバイ予測は、既に再構成されたリファレンスピクチャから得られた２つの時間予測ブロックの単純な組み合わせである。しかしながら、ブロックベース動き補償の制限のために、２つの予測ブロックのサンプル間で観測できる残りの小さな動きが存在する可能性があり、従って、動き補償予測の効率を低下させる。この問題を解決するために、ＢＤＯＦが現在のＶＶＣに適用され、１つのブロック内のすべてのサンプルについてのそのような動きの影響を低減する。
【0047】
ＢＤＯＦは、バイ予測が使用されるとき、ブロックベースの動き補償予測上で実行されるサンプルワイズ動き精緻化である。各４×４サブブロックの動き精緻化を、ＢＤＯＦをサブブロックの周りの１つの６×６窓の内部に適用した後、リファレンスピクチャリスト０（Ｌ０）とリファレンスピクチャリスト１（Ｌ１）予測サンプル間の差を最小化することにより算出される。そのように導出した運き精緻化に基づいて、オプティカルフローモデルに基づいて運き軌道に沿ってＬ０／Ｌ１予測サンプルを補間することにより、ＣＵの最終バイ予測サンプルが算出される。
【0048】
ＤＭＶＲは、最初に信号化された２つのＭＶとブロックとを併合するためのバイ予測技法であり、バイラテラルマッチング予測を使用することによってさらに精緻化することができる。バイラテラルマッチングは、２つの異なるリファレンスピクチャにおける現在のＣＵの動き軌跡に沿った２つのブロック間の最も近いマッチングを見つけることによって、現在のＣＵの動き情報を導出するために使用される。マッチングプロセスで使用されるコスト関数は、行サブサンプルＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）である。マッチング処理が行われた後、精緻化されたＭＶは、予測段階での動き補償、デブロッキングフィルタでの境界強度計算、後続のピクチャについての時間的動きベクトル予測及び後続のＣＵのためのクロスＣＴＵ空間動きベクトル予測のために使用される。連続的な動き軌跡の仮定の下で、２つのリファレンスブロックを指し示す動きベクトルＭＶ０及びＭＶ１は、現在のピクチャと２つのリファレンスピクチャとの間の時間距離、即ちＴＤ０及びＴＤ１に比例するものとする。特別な場合として、現在のピクチャが時間的に２つのリファレンスピクチャの間にあり、現在のピクチャから２つのリファレンスピクチャまでの時間的距離が同じであるとき、バイラテラルマッチングは、ミラーベースの双方向ＭＶになる。
【0049】
現在のＶＶＣでは、ＢＤＯＦ及びＤＭＶＲは、両方ともＣＩＩＰモードと併せて使用され得る。
【0050】
図６は、現在のＶＶＣにおいてＢＤＯＦ（Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を使用するＣＩＩＰ設計の例示的なワークフローを示すフローチャートである。このワークフローでは、Ｌ０及びＬ１動き補償（６０１及び６０２）がＢＤＯＦ（６０３）を介して処理され、ＢＤＯＦからの出力がイントラ予測（６０４）と一緒に処理されて、ＣＩＩＰモードで加重平均（６０５）を形成する。
【0051】
現在のＶＶＣはまた、ＣＩＩＰモードに関連してＤＭＶＲの同様の適用を提供する。
【0052】
現在のＶＶＣでは、ＣＩＩＰモードは、動き補償予測の効率を高めることができる。しかしながら、本開示は、現在のＶＶＣに含まれる現在のＣＩＩＰ設計に存在する３つの問題を特定した。
【0053】
第１に、ＣＩＩＰは、インター予測及びイントラ予測のサンプルを結合するので、各ＣＩＩＰ ＣＵは、予測信号を生成するために、その再構成された隣接サンプルを使用する必要がある。これは、１つのＣＩＩＰ ＣＵの復号が、その隣接ブロックの完全な再構成に依存することを意味する。このような相互依存性のために、実際のハードウェア実装では、隣接する再構成サンプルがイントラ予測に利用可能になる再構成段階でＣＩＩＰを実行する必要がある。再構成ステージにおけるＣＵの復号は、連続的に（即ち、１つずつ）実行されなければならないので、リアルタイム復号の十分なスループットを保証するために、ＣＩＩＰプロセスに含まれる計算演算（例えば、乗算、加算、及びビットシフト）の数が多過ぎることは望ましくない。さらに、現在のＶＶＣにおける現在のＣＩＩＰ設計では、ＢＤＯＦ及びＤＭＶＲなどの新しいインターモード符号化ツールも、ＣＩＩＰモードのためのインター予測サンプルを生成するために含まれる。新しいモード間符号化ツールによって導入される追加の複雑さを考慮すると、このような設計は、ＣＩＩＰが有効なとき、ハードウェアコーデックの符号化／復号化スループットを著しく低減させる可能性がある。
【0054】
第２に、現在のＶＶＣにおける現在のＣＩＩＰ設計では、１つのＣＩＩＰ ＣＵがバイ予測される１つの併合候補を参照するとき、リストＬ０及びＬ１における動き補償予測信号の両方が生成される必要がある。１つ以上のＭＶが整数精度でない場合、分数サンプル位置でサンプルを補間するために、追加の補間プロセスを呼び出さなければならない。このようなプロセスは、計算量を増加させるだけでなく、外部メモリからより多くのリファレンスサンプルにアクセスする必要がある場合にメモリ帯域幅を増加させ、その結果、ＣＩＩＰが有効な場合にハードウェアコーデックの符号化／復号化スループットを著しく低減させる可能性がある。
【0055】
第３に、現在のＶＶＣにおける現在のＣＩＩＰ設計では、ＣＩＩＰ ＣＵのイントラモード及びイントラＣＵのイントラモードは、それらの隣接ブロックのＭＰＭリストを構築するときに異なるように扱われる。詳細には、１つの現在のＣＵがＣＩＩＰモードによって符号化されるとき、その隣接するＣＩＩＰ ＣＵはイントラとみなされる、即ち、隣接するＣＩＩＰ ＣＵのイントラモードをＭＰＭ候補リストに追加することができる。しかしながら、現在のＣＵがイントラモードによって符号化される場合、その隣接するＣＩＰ ＣＵは、インターモードとみなされ、即ち、隣接するＣＩＰ ＣＵのイントラモードは、ＭＰＭ候補リストから除外される。このような非統一設計は、ＶＶＣ標準の最終版には最適でない場合がある。
【0056】
本開示は、上記の３つの問題に対処するために、ＣＩＩＰモードの適用の制約及び調整を提案する。
【0057】
本開示によれば、ＣＩＩＰモードの適用のための候補であるＣＵを識別した後、ＣＩＩＰモードの適用のための候補として識別されたＣＵがバイ予測されるか、または単予測されるかに関して決定が行われ、次いで、その決定に基づいて、ＣＵへのＣＩＩＰモードの適用が制約される。
【0058】
本開示の一実施形態によれば、決定に基づいてＣＵへのＣＩＩＰモードの適用を制約することは、ＣＵがバイ予測されるときにＣＵへのＣＩＩＰモードの適用中にインター予測サンプルの生成において１つ以上の予め定義されたインター予測技法の動作を無効にすることを含む。
【0059】
一例では、１つ以上の予め定義されたインター予測技法は、ＢＤＯＦ及びＤＭＶＲを含む。
【0060】
図７は、現在の予測ブロックのバイ予測を計算する際にＤＭＶＲ及びＢＤＯＦ演算を選択的にバイパスする例示的なワークフローを示すフローチャートである。現在の予測ブロックを処理している間、現在の予測ブロックに関連付けられた第１リファレンスピクチャ及び第２リファレンスピクチャが得られ（７０２）、表示順序で、第１リファレンスピクチャは現在のピクチャの前にあり、第２リファレンスピクチャは現在のピクチャの後にある。続いて、第１予測Ｌ０は、現在の予測ブロックから第１リファレンスピクチャのリファレンスブロックへの第１動きベクトルＭＶ０に基づいて得られ（７０３）、第２予測Ｌ１は、現在の予測ブロックから第２リファレンスピクチャのリファレンスブロックへの第２動きベクトルＭＶ１に基づいて得られる（７０４）。次に、ＤＭＶＲ演算を適用するか否かの決定が行われる（７０５）。適用される場合、ＤＭＶＲ演算は、第１予測Ｌ０及び第２予測Ｌ１に基づいて、第１動きベクトルＭＶ０及び第２動きベクトルＭＶ１を調整し、第１更新予測Ｌ０’及び第２更新予測Ｌ１’を生成する（７０６）。次に、ＢＤＯＦ演算を適用するか否かについて第２の判定が行われる（７０７）。適用される場合、ＢＤＯＦ演算は、第１更新予測Ｌ０’に関連付けられた予測サンプルについての第１水平・垂直勾配値、及び第２更新予測Ｌ１’に関連付けられた第２水平・垂直勾配値を計算する（７０８）。最後に、現在の予測ブロックのバイ予測は、第１予測Ｌ０、第２予測Ｌ１、任意で、第１更新予測Ｌ０’、任意で、第２更新予測Ｌ１’、任意で、第１水平・垂直勾配値、及び任意で、第２水平・垂直勾配値に基づいて計算される（７０９）。
【0061】
別の例では、１つ以上の予め定義されたインター予測技法は、ＢＤＯＦを含む。図８は、本開示のこの例におけるＣＩＩＰ設計の例示的なワークフローを示すフローチャートである。このワークフローでは、Ｌ０及びＬ１動き補償（８０１及び８０２）は、ＢＤＯＦを介して処理される代わりに平均化され（８０３）、次いで、得られた平均は、イントラ予測（８０４）とともに処理されて、ＣＩＩＰモードで加重平均（８０５）を形成する。
【0062】
第３の例では、１つ以上の予め定義されたインター予測技法は、ＤＭＶＲを含む。
【0063】
本開示の別の実施形態によれば、決定に基づくＣＵへのＣＩＩＰモードの適用の制約は、ＣＵがバイ予測されるときにＣＵへのＣＩＩＰモードの適用中に、ＣＵのためのイントラ予測サンプルと組み合わせて使用される複数の単予測サンプルを、すべての利用可能な単予測サンプルから選択するために、予め定義された基準を使用することを含む。
【0064】
一例では、予め定義された基準は、リファレンスピクチャリスト０（Ｌ０）内のピクチャに基づいてすべての単予測サンプルを選択することを含む。
【0065】
別の例では、予め定義された基準は、リファレンスピクチャリスト１（Ｌ１）内のピクチャに基づいてすべての単予測サンプルを選択することを含む。
【0066】
第３の例では、予め定義された基準は、ＣＵが位置するピクチャ（「現在のピクチャ」）から最小ピクチャ順序カウント（ＰＯＣ）距離を有する１つのリファレンスピクチャに基づいて、すべての単予測サンプルを選択することを含む。図９は、本開示のこの例における提案されたＣＩＩＰ設計の例示的なワークフローを示すフローチャートである。このワークフローでは、Ｌ０またはＬ１リファレンスピクチャがＰＯＣ距離において現在のピクチャにより近いかどうかに関して判定が行われ（９０１）、現在のピクチャから最小のＰＯＣ距離を有する１つのリファレンスピクチャからの動き補償が選択され（９０２及び９０３）、次いで、イントラ予測とともに処理されて（９０４）、ＣＩＩＰモードにおいて加重平均を形成する（９０５）。
【0067】
本開示の別の実施形態によれば、決定に基づいてＣＵへのＣＩＩＰモードの適用を制約することは、ＣＵへのＣＩＩＰモードの適用を無効にすることと、ＣＵがバイ予測されるときに、ＣＵのためのＣＩＩＰフラグの信号化を無効にすることとを含む。詳細には、オーバヘッドを低減するために、ＣＩＩＰ有効化／無効化フラグの信号化は、現在のＣＩＩＰ ＣＵの予測方向に依存する。現在のＣＵが単予測の場合、ＣＩＩＰフラグはビットストリームで信号化され、ＣＩＩＰが有効か無効かを示す。そうでなければ（即ち、現在のＣＵがバイ予測される場合）、ＣＩＩＰフラグの信号化はスキップされ、常に偽であると推論される、即ち、ＣＩＩＰは常に無効化される。
【0068】
また、本開示によれば、ＣＵ（「現在のＣＵ」）のためのＭＰＭ候補リストを形成するときに、現在のＣＵの隣接するＣＵの中の各ＣＵがそれぞれＣＩＩＰ符号化されているか否かに関して判定が行われ、次いで、ＣＩＩＰ符号化されている隣接するＣＵの間の各隣接するＣＵについて、現在のＣＵがイントラ符号化されているかＣＩＩＰ符号化されているか否かの判定に依存しない統一基準が、現在のＣＵのためのＭＰＭ候補リストの形成において隣接するＣＵのイントラモードを使用する過程で使用される。
【0069】
本開示のこの態様の一実施形態によれば、統一基準は、隣接ＣＵがＣＩＩＰ符号化されているときに、隣接ＣＵのイントラモードをＭＰＭ候補リストの形成に使用できないものとして扱うことを含む。
【0070】
本開示のこの態様の別の実施形態によれば、統一基準は、隣接ＣＵがＣＩＩＰ符号化されている場合に、ＭＰＭ候補リストの形成において、隣接ＣＵのＣＩＩＰ発明をイントラ発明に等しいものとして扱うことを含む。
【0071】
図１０Ａ及び図１０Ｂは、本開示のこの態様の２つの実施形態の例示的なワークフローを示す一対のフローチャートを構成する。図１０Ａは、本開示のこの態様の第１実施形態のワークフローを示す。このワークフローでは、まず、隣接ＣＵがイントラブロックであるかＣＩＩＰブロックであるかに関する決定がなされ（１００１）、イントラブロックであるかＣＩＩＰブロックである場合のみ、現在のＣＵがイントラブロックであるかＣＩＩＰブロックであるかにかかわらず、そのイントラモードが現在のＣＵのＭＰＭ候補リストに追加される（１００２）。図１０Ｂは、本開示のこの態様の第２の実施形態のワークフローを示す。このワークフローでは、まず、隣接ＣＵがイントラブロック（１００３）であるか否かを判定し、イントラブロックである場合にのみ、現在のＣＵがイントラブロックであるかＣＩＩＰブロックであるかにかかわらず、そのイントラモードを現在のＣＵのＭＰＭ候補リストに追加する（１００４）。
【0072】
１つ以上の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、１つ以上の命令またはコードとして、コンピュータ読み取り可能な媒体上に記憶され、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読記憶媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読記憶媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応することができる。データ記憶媒体は、本出願に記載の実施のための命令、コード及び／またはデータ構造を検索するために、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含み得る。
【0073】
さらに、上記の方法は、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む１つ以上の回路を含む装置を使用して実装され得る。装置は、上述の方法を実行するために、他のハードウェアまたはソフトウェアコンポーネントと組み合わせて回路を使用することができる。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、１つ以上の回路を使用して少なくとも部分的に実装され得る。
【0074】
本発明の他の実施形態は、本明細書を考慮し、本明細書に開示された本発明を実施することにより、当業者には明らかになるであろう。本出願は、本発明の一般的な原理に従い、当該技術分野における既知の又は慣例の実施の範囲内に入るような本開示からの逸脱を含む、本発明の任意の変形、使用、又は適応を包含することが意図される。本明細書及び各実施形態は、単なる例示を意図するものであり、本発明の真の範囲及び趣旨は、特許請求の範囲に記載する。
【0075】
本発明は、上述し、添付図面に示した正確な例に限定されるものではなく、本発明の範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるであろう。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。
【0076】
〔関連出願の相互参照〕
【0077】
本出願は、２０１９年３月１２日に出願された米国仮特許出願第６２／８１７，５０３号の利益を主張する。前述の出願の全開示は、その全体が参照により本明細書に組み込まれる。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【手続補正書】
【提出日】2021-09-10
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
現在のブロックのＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいてＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）演算を適用するか否かを決定し、前記ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいてＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）演算を適用するか否かを決定し、
前記ＤＭＶＲ演算及びＢＤＯＦ演算を適用するか否かに関する決定に基づいて前記現在のブロックの予測を計算する、
ビデオ符号化方法。
【請求項2】
前記ＤＭＶＲ演算を適用するか否かを決定することは、ＣＩＩＰが前記現在のブロックに適用されることを示す前記ＣＩＩＰフラグに応じて、前記ＤＭＶＲ演算を適用しないことを決定することを含む、請求項１に記載のビデオ符号化方法。
【請求項3】
前記ＢＤＯＦ演算を適用するか否かを決定することは、ＣＩＩＰが前記現在のブロックに適用されることを示す前記ＣＩＩＰフラグに応じて、前記ＢＤＯＦ演算を適用しないことを決定することを含む、請求項１に記載のビデオ符号化方法。
【請求項4】
前記現在のブロックの予測を計算することは、
前記ＤＭＶＲ演算及びＢＤＯＦ演算を適用しないことを決定することに応じて、第１予測Ｌ０及び第２予測Ｌ１に基づいて前記現在のブロックのバイ予測を計算し、
前記第１予測Ｌ０は、前記現在のブロックから、表示順序で現在のピクチャの前にある第１リファレンスピクチャのリファレンスブロックへの第１動きベクトルＭＶ０に基づいて取得され、
前記第２予測Ｌ１は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第２リファレンスピクチャのリファレンスブロックへの第２動きベクトルＭＶ１に基づいて取得される、
請求項１に記載のビデオ符号化方法。
【請求項5】
前記ＤＭＶＲ演算を適用するか否かを決定することは、
ＣＩＩＰが前記現在のブロックに適用されないことを示す前記ＣＩＩＰフラグに応じて、前記ＤＭＶＲ演算を適用することを決定することを含む、請求項１に記載のビデオ符号化方法。
【請求項6】
第１更新予測Ｌ０’及び第２更新予測Ｌ１’を生成するために、第１動きベクトルＭＶ０及び第２動きベクトルＭＶ１を調整し、前記第１動きベクトルＭＶ０は、前記現在のブロックから、表示順序で現在のピクチャの前にある第１リファレンスピクチャのリファレンスブロックへのベクトルであり、
前記第２動きベクトルＭＶ１は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第２リファレンスピクチャのリファレンスブロックへのベクトルである、
請求項５に記載のビデオ符号化方法。
【請求項7】
前記ＢＤＯＦ演算を適用するか否かを決定することは、
前記ＣＩＩＰが前記現在のブロックに適用されないことを示す前記ＣＩＩＰフラグに応じて、前記ＢＤＯＦ演算を適用することを決定することを含む、請求項６に記載のビデオ符号化方法。
【請求項8】
前記第１更新予測Ｌ０’に関連する第１水平・垂直勾配値を計算し、前記第２更新予測Ｌ１’に関連する第２水平・垂直勾配値を計算する、
ことをさらに含む、請求項７に記載のビデオ符号化方法。
【請求項9】
前記現在のブロックの予測を計算することは、前記第１更新予測Ｌ０’、第２更新予測Ｌ１’、第１水平・垂直勾配値、及び第２水平・垂直勾配値に基づいて、前記現在のブロックのバイ予測を計算する、
ことを含む、請求項８に記載のビデオ符号化方法。
【請求項10】
記憶媒体と、前記記憶媒体に結合された１つ以上のプロセッサと、
を含み、
１つ以上の前記プロセッサは、
現在のブロックのＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいてＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）演算を適用するか否かを決定し、
前記ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいてＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）演算を適用するか否かを決定し、
前記ＤＭＶＲ演算及びＢＤＯＦ演算を適用するか否かに関する決定に基づいて前記現在のブロックの予測を計算する、
コンピューティングデバイス。
【請求項11】
前記ＤＭＶＲ演算を適用するか否かを決定することは、ＣＩＩＰが前記現在のブロックに適用されることを示す前記ＣＩＩＰフラグに応じて、前記ＤＭＶＲ演算を適用しないことを決定することを含む、請求項１０に記載のコンピューティングデバイス。
【請求項12】
前記ＢＤＯＦ演算を適用するか否かを決定することは、ＣＩＩＰが前記現在のブロックに適用されることを示す前記ＣＩＩＰフラグに応じて、前記ＢＤＯＦ演算を適用しないことを決定することを含む、請求項１０に記載のコンピューティングデバイス。
【請求項13】
前記現在のブロックの予測を計算することは、
前記ＤＭＶＲ演算及びＢＤＯＦ演算を適用しないことを決定することに応じて、第１予測Ｌ０及び第２予測Ｌ１に基づいて前記現在のブロックのバイ予測を計算し、
前記第１予測Ｌ０は、前記現在のブロックから、表示順序で現在のピクチャの前にある第１リファレンスピクチャのリファレンスブロックへの第１動きベクトルＭＶ０に基づいて取得され、
前記第２予測Ｌ１は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第２リファレンスピクチャのリファレンスブロックへの第２動きベクトルＭＶ１に基づいて取得される、
請求項１０に記載のコンピューティングデバイス。
【請求項14】
前記ＤＭＶＲ演算を適用するか否かを決定することは、
ＣＩＩＰが前記現在のブロックに適用されないことを示す前記ＣＩＩＰフラグに応じて、前記ＤＭＶＲ演算を適用することを決定することを含む、請求項１０に記載のコンピューティングデバイス。
【請求項15】
第１更新予測Ｌ０’及び第２更新予測Ｌ１’を生成するために、第１動きベクトルＭＶ０及び第２動きベクトルＭＶ１を調整し、前記第１動きベクトルＭＶ０は、前記現在のブロックから、表示順序で現在のピクチャの前にある第１リファレンスピクチャのリファレンスブロックへのベクトルであり、
前記第２動きベクトルＭＶ１は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第２リファレンスピクチャのリファレンスブロックへのベクトルである、
請求項１４に記載のコンピューティングデバイス。
【請求項16】
前記ＢＤＯＦ演算を適用するか否かを決定することは、
前記ＣＩＩＰが前記現在のブロックに適用されないことを示す前記ＣＩＩＰフラグに応じて、前記ＢＤＯＦ演算を適用することを決定することを含む、請求項１５に記載のコンピューティングデバイス。
【請求項17】
前記第１更新予測Ｌ０’に関連する第１水平・垂直勾配値を計算し、前記第２更新予測Ｌ１’に関連する第２水平・垂直勾配値を計算する、
ことをさらに含む、請求項１６に記載のコンピューティングデバイス。
【請求項18】
前記現在のブロックの予測を計算することは、前記第１更新予測Ｌ０’、第２更新予測Ｌ１’、第１水平・垂直勾配値、及び第２水平・垂直勾配値に基づいて、前記現在のブロックのバイ予測を計算する、
ことを含む、請求項１７に記載のコンピューティングデバイス。
【請求項19】
１つ以上のプロセッサを有するコンピューティングデバイスによって実行するための複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、複数の前記プログラムは、１つ以上の前記プロセッサによって実行されると、１つ以上の前記プロセッサに、
現在のブロックのＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいてＤＭＶＲ（ｄｅｃｏｄｅｒ－ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）演算を適用するか否かを決定し、
前記ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいてＢＤＯＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）演算を適用するか否かを決定し、
前記ＤＭＶＲ演算及びＢＤＯＦ演算を適用するか否かに関する決定に基づいて前記現在のブロックの予測を計算する、
ことを実行させる、
非一時的コンピュータ可読記憶媒体。
【請求項20】
１つ以上のプロセッサを有するコンピュータ装置によって実行するための複数のプログラムを含むプログラム製品であって、複数の前記プログラムは、１つ以上の前記プロセッサによって実行されると、前記コンピュータ装置に、請求項１～請求項９の何れか１項に記載のビデオ符号化方法を実行させる、
プログラム製品。
【国際調査報告】