IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッドの特許一覧

特開2022-153609クロスコンポーネント線形モデルを用いたビデオコーディング
<>
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図1
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図2
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図3
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図4
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図5
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図6
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図7
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図8
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図9
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図10
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図11
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図12
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図13
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図14
  • 特開-クロスコンポーネント線形モデルを用いたビデオコーディング 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022153609
(43)【公開日】2022-10-12
(54)【発明の名称】クロスコンポーネント線形モデルを用いたビデオコーディング
(51)【国際特許分類】
   H04N 19/105 20140101AFI20221004BHJP
   H04N 19/157 20140101ALI20221004BHJP
   H04N 19/176 20140101ALI20221004BHJP
   H04N 19/186 20140101ALI20221004BHJP
   H04N 19/593 20140101ALI20221004BHJP
【FI】
H04N19/105
H04N19/157
H04N19/176
H04N19/186
H04N19/593
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022123496
(22)【出願日】2022-08-02
(62)【分割の表示】P 2021540265の分割
【原出願日】2020-01-08
(31)【優先権主張番号】62/790,459
(32)【優先日】2019-01-09
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521248394
【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド
【氏名又は名称原語表記】BEIJING DAJIA INTERNET INFORMATION TECHNOLOGY CO.,LTD.
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(72)【発明者】
【氏名】チェン、イ-ウェン
(72)【発明者】
【氏名】ワン、シャンリン
(72)【発明者】
【氏名】シウ、シャオユー
(57)【要約】      (修正有)
【課題】クロスコンポーネント線形モデル(CCLM)パラメータの導出の複雑さを低減するビデオコーディングのための方法およびコンピューティングデバイスを提供する。
【解決手段】方法は、コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによって、CCLMモードに対するパラメータαおよびパラメータβを導出することと、パラメータαおよびパラメータβを用いることによって、CUのクロマサンプルに対する最終的なクロマ予測子を生成することと、を含む。
【選択図】図3
【特許請求の範囲】
【請求項1】
コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに対する第1パラメータαおよび第2パラメータβを導出することと、
前記第1パラメータαおよび前記第2パラメータβを用いることによって前記CUの前記クロマサンプルに対する最終的なクロマ予測子を生成することと、
を備えるビデオコーディングのための方法。
【請求項2】
前記第1パラメータαおよび前記第2パラメータβを用いることによって前記CUの前記クロマサンプルに対する前記最終的なクロマ予測子を生成することは、
次式を用いて前記最終的なクロマ予測子を得ること、
【数1】
を備え、
pred(x,y)は、前記CUの前記クロマサンプルに対する前記最終的なクロマ予測子であり、rec'(x,y)は前記CUのダウンサンプルされた再構成されたルーマサンプルであり、xは行インデックスを示し、yは列インデックスを示す、
請求項1に記載の方法。
【請求項3】
コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによって前記CCLMモードに対する前記第1パラメータαおよび前記第2パラメータβを導出することは、
隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することであって、クロマサンプルおよびその対応するルーマサンプルのそれぞれはサンプルペアと称されることと、
を備える請求項2に記載の方法。
【請求項4】
クロマサンプルおよびその対応するルーマサンプルのそれぞれは前記サンプルペアと称され、隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、 次式を用いて前記第1パラメータαおよび前記第2パラメータβを得ること、
【数2】
を備え、
は最大のサンプルペアのクロマサンプル値であり、yは最小のサンプルペアのクロマサンプル値であり、xは最大のサンプルペアのルーマサンプル値であり、xは最小のサンプルペアのルーマサンプル値である、
請求項3に記載の方法。
【請求項5】
隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、
前記パラメータαおよび前記パラメータβを導出するために三つのサンプルペアを用いること、
を備え、
前記三つのサンプルペアは、
左の隣接するサンプルのうちの最も上のサンプル、前記左の隣接するサンプルのうちの最も下のサンプル、および上の隣接するサンプルのうちの最も右のサンプルのサンプルペアセットと、
前記上の隣接するサンプルのうちの最も左のサンプル、前記左の隣接するサンプルのうちの前記最も下のサンプル、および前記上の隣接するサンプルのうちの前記最も右のサンプルのサンプルペアセットと、
のうちの一つのサンプルセットを含む、
請求項4に記載の方法。
【請求項6】
次式を用いてxA、、yA、およびyを得ること、
【数3】
をさらに備え、
maxは前記最大のサンプルペアのルーマサンプル値であり、xmidは中間のサンプルペアのルーマサンプル値であり、xminは前記最小のサンプルペアのルーマサンプル値であり、ymaxは前記最大のサンプルペアのクロマサンプル値であり、ymidは前記中間のサンプルペアのクロマサンプル値であり、yminは前記最小のサンプルペアのクロマサンプル値であり、w1+w2=(1<<N1)、offset1=1<<(N1-1)であり、w3+w4=(1<<N2)、offset2=1<<(N2-1)であり、
w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数であり、N1は第1の平均値であり、N2は第2の平均値であり、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である、
請求項5に記載の方法。
【請求項7】
前記最大のサンプルペアの前記ルーマサンプル値としてxを得ることと、 前記最大のサンプルペアの前記クロマサンプル値としてyを得ることと、 前記最小のサンプルペアの前記ルーマサンプル値としてxを得ることと、 前記最小のサンプルペアの前記クロマサンプル値としてyを得ることと、 をさらに備える請求項5に記載の方法。
【請求項8】
隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記パラメータαおよび前記パラメータβを導出することは、
前記パラメータαおよび前記パラメータβを導出するために四つのサンプルペアを用いること、
を備え、
前記四つのサンプルペアは、
左の隣接するサンプルのうちの最も上のサンプル、上の隣接するサンプルのうちの最も左のサンプル、前記左の隣接するサンプルのうちの最も下のサンプル、および前記上の隣接するサンプルのうちの最も右のサンプルのサンプルペアセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の4分の1の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの幅の4分の1の部分、前記左の隣接するサンプルのうちの前記最も下のサンプル、および前記上の隣接するサンプルのうちの前記最も右のサンプルのサンプルペアセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の4分の1の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの幅の4分の1の部分、前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の4分の3の部分、および前記左の隣接するサンプルのうちの前記最も上のサンプルの幅の4分の3の部分のサンプルペアセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の1の部分、前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の3の部分、前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の5の部分、および前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の7の部分のサンプルペアセットと、
前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の1の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の3の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の5の部分、および前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の7の部分のサンプルペアセットと、
のうちの一つのサンプルセットを含む、
請求項4に記載の方法。
【請求項9】
次式を用いてxA、、yおよびyを得ること、
【数4】
をさらに備え、
w1+w2=(1<<N1)、offset1=1<<(N1-1)であり、w3+w4=(1<<N2)、offset2=1<<(N2-1)であり、
より大きな二つのサンプルペアのルーマサンプル値はxB0、xB1と示され、より大きな二つの最大サンプルペアのクロマサンプル値はyB0、yB1と示され、より小さな二つのサンプルペアのルーマサンプル値はxA0、xA1と示され、より小さな二つの最小サンプルペアのクロマサンプル値はyA0、yA1と示され、 w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数であり、N1は第1の平均値であり、N2は第2の平均値であり、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である、
請求項8に記載の方法。
【請求項10】
コンピューティングデバイスであって、
少なくとも一つのプロセッサと、
1以上の前記プロセッサと接続された非一時的な記憶装置と、
前記非一時的な記憶装置に格納され、前記プロセッサによって実行されると前記コンピューティングデバイスに以下を含む動作を行わせる、複数のプログラムと、
備え、
前記動作は、
コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに対する第1パラメータαおよび第2パラメータβを導出することと、
前記第1パラメータαおよび前記第2パラメータβを用いることによって前記CUの前記クロマサンプルに対する最終的なクロマ予測子を生成することと、
を備える、
コンピューティングデバイス。
【請求項11】
前記第1パラメータαおよび前記第2パラメータβを用いることによって前記CUの前記クロマサンプルに対する前記クロマの最終的な予測子を生成することは、
次式を用いて前記最終的なクロマ予測子を得ること、
【数5】
を備え、
pred(x,y)は、前記CUの前記クロマサンプルに対する前記最終的なクロマ予測子であり、rec’(x,y)は前記CUのダウンサンプルされた再構成されたルーマサンプルであり、xは行インデックスを示し、yは列インデックスを示す、
請求項10に記載のコンピューティングデバイス。
【請求項12】
コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによって前記CCLMモードに対する前記第1パラメータαおよび前記第2パラメータβを導出することは、
クロマサンプルおよびその対応するルーマサンプルのそれぞれはサンプルペアと称され、隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって第1パラメータαおよび第2パラメータβを導出すること、
を備える請求項11に記載のコンピューティングデバイス。
【請求項13】
クロマサンプルおよびその対応するルーマサンプルのそれぞれは前記サンプルペアと称され、隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、 次式を用いて前記第1パラメータαおよび前記第2パラメータβを得ること、
【数6】
を備え、
は最大のサンプルペアのクロマサンプル値であり、yは最小のサンプルペアのクロマサンプル値であり、xは最大のサンプルペアのルーマサンプル値であり、xは最小のサンプルペアのルーマサンプル値である、
請求項12に記載のコンピューティングデバイス。
【請求項14】
隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、
前記パラメータαおよび前記パラメータβを導出するために三つのサンプルペアを用いること、
を備え、
前記三つのサンプルペアは、
左の隣接するサンプルのうちの最も上のサンプル、前記左の隣接するサンプルのうちの最も下のサンプル、および上の隣接するサンプルのうちの最も右のサンプルのサンプルペアと、
前記上の隣接するサンプルのうちの最も左のサンプル、前記左の隣接するサンプルのうちの前記最も下のサンプル、および前記上の隣接するサンプルのうちの前記最も右のサンプルのサンプルペアと、
のうちの一つのサンプルペアを含む、
請求項13に記載のコンピューティングデバイス。
【請求項15】
前記行為は、
次式を用いてx、x、yおよびyを得ること、
【数7】
をさらに備え、
maxは前記最大のサンプルペアのルーマサンプル値であり、xmidは中間のサンプルペアのルーマサンプル値であり、xminは前記最小のサンプルペアのルーマサンプル値であり、ymaxは前記最大のサンプルペアのクロマサンプル値であり、ymidは前記中間のサンプルペアのクロマサンプル値であり、yminは前記最小のサンプルペアのクロマサンプル値であり、w1+w2=(1<<N1)、offset1=1<<(N1-1)であり、w3+w4=(1<<N2)、offset2=1<<(N2-1)であり、
w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数であり、N1は第1の平均値であり、N2は第2の平均値であり、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である、
請求項14に記載のコンピューティングデバイス。
【請求項16】
前記行為は、
前記最大のサンプルペアの前記ルーマサンプル値としてxを得ることと、 前記最大のサンプルペアの前記クロマサンプル値としてyを得ることと、 前記最小のサンプルペアの前記ルーマサンプル値としてxを得ることと、 前記最小のサンプルペアの前記クロマサンプル値としてyを得ることと、 をさらに備える請求項14に記載のコンピューティングデバイス。
【請求項17】
隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記パラメータαおよび前記パラメータβを導出することは、
前記パラメータαおよび前記パラメータβを導出するために四つのサンプルペアを用いること、
を備え、
前記四つのサンプルペアは、
左の隣接するサンプルのうちの最も上のサンプル、上の隣接するサンプルのうちの最も左のサンプル、前記左の隣接するサンプルのうちの最も下のサンプル、および前記上の隣接するサンプルのうちの最も右のサンプルのサンプルペアセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の4分の1の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの幅の4分の1の部分、前記左の隣接するサンプルのうちの前記最も下のサンプル、および前記上の隣接するサンプルのうちの前記最も右のサンプルのサンプルペアセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の4分の1の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの幅の4分の1の部分、前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の4分の3の部分、および前記左の隣接するサンプルのうちの前記最も上のサンプルの幅の4分の3の部分のサンプルペアセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の1の部分、前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の3の部分、前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の5の部分、および前記上の隣接するサンプルのうちの前記最も左のサンプルの幅の8分の7の部分のサンプルペアセットと、
前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の1の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の3の部分、前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の5の部分、および前記左の隣接するサンプルのうちの前記最も上のサンプルの高さの8分の7の部分のサンプルペアセットと、
のうちの一つのサンプルセットを含む、
請求項13に記載のコンピューティングデバイス。
【請求項18】
前記行為は、
次式を用いてx、x、yおよびyを得ること、
【数8】
をさらに備え、
w1+w2=(1<<N1)、offset1=1<<(N1-1)であり、w3+w4=(1<<N2)、offset2=1<<(N2-1)であり、
より大きな二つのサンプルペアのルーマサンプル値はxB0、xB1と示され、より大きな二つの最大サンプルペアのクロマサンプル値はyB0、yB1と示され、より小さな二つのサンプルペアのルーマサンプル値はxA0、xA1と示され、より小さな二つの最小サンプルペアのクロマサンプル値はyA0、yA1と示され、 w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数であり、N1は第1の平均値であり、N2は第2の平均値であり、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である、
請求項17に記載のコンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、2019年1月9日に出願された米国仮出願第62/790,459号の利益を主張する。前述の出願の開示全体は、参照により本明細書に援用される。
【0002】
本開示は、一般に、ビデオコーディングおよび圧縮に関する。より具体的には、この開示は、クロスコンポーネント線形モデルを用いたビデオコーディングを実行するためのシステムおよび方法に関する。方法は、特定の例示的な実施形態において、コーディングユニットのクロマサンプルに対する最終的なクロマ予測子によって記述される。
【背景技術】
【0003】
このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも、先行技術として解釈されるべきものではない。
【0004】
ビデオデータを圧縮するために、様々なビデオコーディング技術が用いられ得る。ビデオコーディングは、1以上のビデオコーディング標準に従って実行される。例えば、ビデオコーディング標準は、VVC(Versatile Video Coding)、JEM(joint exploration test model)、H.265/HEVC(high-efficiency video coding)、H.264/AVC(advanced video coding)、MPEG(moving picture experts group)コーディングなどを含む。ビデオコーディングは、一般に、ビデオ画像またはシーケンスに存在する冗長性を利用する予測方法を用いる(例えば、インター予測、イントラ予測など)。ビデオコーディング技術の重要な目的の一つは、ビデオの品質に対する劣化を回避または最小化しつつ、より低いビットレートを用いる形式にビデオデータを圧縮することである。進化し続けるビデオサービスを可能にするには、より優れた圧縮効率を有するコーディング技術が必要とされる。
【発明の概要】
【0005】
このセクションは開示の概要を提供するものであり、その全範囲やその特徴の全てに対する包括的な開示ではない。
【0006】
本開示の第1の側面によれば、ビデオコーディングの方法は、1以上のプロセッサと、当該1以上のプロセッサによって実行される複数のプログラムを記憶する1以上のメモリと、を有するコンピューティングデバイスにおいて実行される。当該方法は、コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに対する第1パラメータαおよび第2パラメータβを導出することと、第1パラメータαおよび第2パラメータβを用いることにより、CUのクロマサンプルに対する最終的なクロマ予測子を生成することと、を含む。
【0007】
本開示の第2の側面によれば、コンピューティングデバイスが提供される。コンピューティングデバイスは、少なくとも一つのプロセッサと、当該1以上のプロセッサと接続された非一時的な記憶装置と、当該非一時的な記憶装置に格納され、当該プロセッサによって実行されると当該コンピューティングデバイスに以下を含む動作を行わせる複数のプログラムと、を含み、当該動作は、コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに関する第1パラメータαおよび第2パラメータβを導出することと、当該第1パラメータαおよび当該第2パラメータβを用いることによって当該CUの当該クロマサンプルに対する最終的なクロマ予測子を生成することと、を含む。
【図面の簡単な説明】
【0008】
以下では、本開示の例示的で非限定的な実施形態のセットが説明される。構造、方法、または機能のバリエーションは、ここで示された例に基づき、関連の技術分野の通常の技術者によって実施され得るし、そのようなバリエーションは全て本開示の範囲内に含まれる。矛盾が存在しない場合、異なる実施形態の教示は、必要ではないが、互いに組み合わせられてもよい。
図1図1は、多数のビデオコーディング標準とともに用いられ得る例示的なエンコーダを説明するブロック図である。
図2図2は、多数のビデオコーディング標準とともに用いられ得る例示的なデコーダを説明するブロック図である。
図3図3は、ビデオコーディング方法のフローチャートである。
図4図4は、ルーマ/クロマのピクセルサンプリンググリッドの例である。
図5図5は、αおよびβの導出のために用いられたサンプルの位置を示す。
図6図6は、min-max法を用いたαおよびβの直線的導出を示す。
図7図7は、LM_Aモードを示す。
図8図8は、LM_Aモードを示す。
図9図9は、YUV4:2:2フォーマットに対するルーマ/クロマのピクセルサンプリンググリッドである。
図10図10は、YUV4:2:4フォーマットに対するルーマ/クロマのピクセルサンプリンググリッドである。
図11図11は、MMLMの複数のネイバーを示す。
図12図12は、三つのサンプルペアの一例の位置を示す。
図13図13は、三つのサンプルペアの別の例の位置を示す。
図14図14は、四つのサンプルペアの一例の位置を示す。
図15図15は、四つのサンプルペアの別の例の位置を示す。
【発明を実施するための形態】
【0009】
本開示において用いられた用語は、本開示を限定するのではなく、特定の例を説明することを対象とする。本開示および付随する特許請求の範囲に用いられた「a」、「an」および「the」にあたる単数形は、他の意味が明らかに文脈に含まれる場合でなければ、複数形も指す。ここで用いられる用語「および/または」は1以上の関連する挙げられた項目の任意または全ての可能な組み合わせを指すということは理解されるべきである。
【0010】
ここでは、様々な情報を示すために、「第1」、「第2」、「第3」などの用語が使用されてよく、当該情報は、これらの用語によって限定されるべきものではないということは理解されるべきである。これらの用語は、情報のある一つのカテゴリと、別のものと、を区別するために単に用いられている。例えば、本開示の範囲から逸脱することなく、第1の情報は、第2の情報と称されてもよいし、同様に、第2の情報も、第1の情報と称されてもよい。「であれば」にあたる用語は、ここで使用されるように、文脈に応じて、「場合」、「際」、または「に応じて」を意味すると理解されてもよい。
【0011】
この明細書を通じて、「一実施形態」、「ある実施形態」、「別の実施形態」、または、単数形もしくは複数形のそのようなものへの言及は、ある実施形態に関連して説明された1以上の固有の特徴、構造、または性質が本開示の少なくとも一つの実施形態に含まれるということを意味する。したがって、この明細書を通じて様々な場所において「一実施形態において」、「ある実施形態において」、「別の実施形態において」、または、単数形もしくは複数形のそのようなもの、というフレーズの登場は、全てが同じ実施形態を必ずしも言及しているわけではない。さらに、どのような適切な方法においても、1以上の実施形態における固有の特徴、構造、または性質が組み合わせられてもよい。
【0012】
概念的には、「背景」のセクションにおいて先に言及されたものも含め、多数のビデオコーディング標準は類似している。例えば、ほぼ全てのビデオコーディング標準は、ブロックベースの処理を用いており、映像圧縮を実現するために類似のビデオコーディングのブロック図を共有している。
【0013】
図1は、多数のビデオコーディング標準とともに用いられ得る例示的なエンコーダ100のブロック図を示す。エンコーダ100では、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測のアプローチまたはイントラ予測のアプローチのいずれかに基づいて予測が成される。インター予測では、先に再構成されたフレームからのピクセルに基づき、モーション推定およびモーション補償を通じて1以上の予測子が形成される。イントラ予測では、現フレームにおける再構成されたピクセルに基づいて予測子は形成される。モードの決定を通じて、現ブロックを予測するために最適な予測子が選択される。
【0014】
現ビデオブロックとその予測子との相違を表す予測残差は、変換回路102に送られる。そして、エントロピー低減のために、変換回路102から量子化回路104に変換係数が送られる。そして、量子化された係数は、エントロピーコーディング回路106に供給され、圧縮されたビデオビットストリームを生成する。図1に示されるように、インター予測回路および/またはイントラ予測回路112からの、ビデオブロックパーティション情報、動きベクトル、参照ピクチャインデックス、イントラ予測モードなどといった予測関連情報110も、また、エントロピーコーディング回路106を通じて供給されて、圧縮されたビデオビットストリーム114に保存される。
【0015】
エンコーダ100では、予測を目的とした画素の再構成を行うために、デコーダ関連の回路もまた必要とされる。まず、逆量子化116と逆変換回路118を通じて、予測残差が再構成される。この再構成された予測残差は、ブロック予測子120と組み合わされ、現ビデオブロックに対するフィルタリングされていない再構成されたピクセルを生成する。
【0016】
コーディング効率と画質を向上させるために、インループフィルタが一般的に使われる。例えば、VVCの現バーションと同様、AVC、HEVCにはデブロッキングフィルタが利用可能である。HEVCでは、コーディング効率をさらに高めるために、SAO(sample adaptive offset)と呼ばれる追加のインループフィルタが定義されている。VVC標準の今の現バーションでは、ALF(adaptive loop filter)と呼ばれる別のインループフィルタが積極的に研究されており、最終標準に含まれる十分な可能性があるとされている。
【0017】
これらのインループフィルタの操作はオプションである。これらの操作を行うことは、コーディング効率と画質の向上に役立つ。また、それらは、計算の手間を省くために、エンコーダ100によってなされた決定として、オフにされてもよい。
【0018】
これらのフィルタのオプションがエンコーダ100によってオンになっているのであれば、インター予測はフィルタリングされた再構成されたピクセルに基づき、一方で、イントラ予測は通常フィルタリングされていない再構成されたピクセルに基づくことに留意すべきである。
【0019】
図2は、多数のビデオコーディング標準とともに用いられ得る例示的なデコーダ200を説明するブロック図である。このデコーダ200は、図1のエンコーダ100に存在する再構成の関連セクションと同様である。デコーダ200(図2)では、まず、入力されるビデオビットストリーム201がエントロピーデコーディング202を通じてデコードされ、量子化された係数のレベルと予測関連情報が導出される。そして、量子化された係数のレベルは、逆量子化204および逆変換206を通じて処理され、再構成された予測残差が得られる。ブロック予測子のメカニズムは、イントラ/インターモードセレクタ212に実装されているが、復号された予測情報に基づき、イントラ予測208またはモーション補償210を実行するように構成される。フィルタリングされていない再構成されたピクセルのセットは、合算器214を用いて、逆変換206からの再構成された予測残差と、ブロック予測子のメカニズムによって生成された予測出力と、を合算することによって得られる。インループフィルタがオンになっている状況では、フィルタリング操作が、これらの再構成されたピクセルに対して行われて、出力用の最終的な再構成されたビデオが導出される。
【0020】
クロスコンポーネントの冗長性を低減するため、クロスコンポーネント線形モデル(CCLM)の予測モードがVVCにおいて用いられる。VVCの開発の間の共通テスト条件においてYUVフォーマット4:2:0が用いられ、YUVフォーマット4:2:0に対するルーマサンプルおよびクロマサンプルのサンプリンググリッドは図4に示されている。ルーマサンプルおよびクロマサンプルの座標(ダウンサンプルされたルーマサンプルもまた図4に示されている)。RecL’[x,y]は、ダウンサンプルされた上および左に隣接する再構成されたルーマサンプルを表し、RecC’[x,y]は、上および左に隣接する再構成されたクロマサンプルを表し、xおよびyは、図に示されているようにピクセルインデックスを示す。この開示では、CCLMのパラメータの導出の複雑さを低減するため、いくつかの方法を提案する。
【0021】
本開示は、一般に、ビデオデータのコーディング(例えば、エンコーディングおよびデコーディング)に関する。より具体的には、この開示は、ビデオコーディング方法と、ビデオコーディング方法のクロスコンポーネントの冗長性を低減するためのコンピューティングデバイスと、に関する。同じCUの再構成されたルーマサンプルに基づいてクロマサンプルを予測するために、CCLM予測子モードが使用される。コンピューティングデバイスは、少なくとも一つのプロセッサと、当該1以上のプロセッサと接続された非一時的な記憶装置と、当該非一時的な記憶装置に格納されて当該プロセッサによって実行されると当該コンピューティングデバイスにビデオコーディング方法の動作を行わせる複数のプログラムと、を含む。
【0022】
図3に示すように、ビデオコーディングの方法は、少なくとも以下のステップを含む。
【0023】
ステップ10:CUにおける所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによるCCLMモードに対する第1パラメータαおよび第2パラメータβの導出
【0024】
ステップ20:第1パラメータαおよび第2パラメータβを用いることによってCUのクロマサンプルに対する最終的なクロマ予測子の生成
【0025】
ステップ20では、次式を用いることによってCUのクロマサンプルに対する最終的なクロマ予測子を生成する。
【数1】
【0026】
pred(x,y)は、CUのクロマサンプルに対する最終的なクロマ予測子であり、rec’(x,y)はCUのダウンサンプルされた再構成されたルーマサンプルであり、xは行インデックスを示し、yは列インデックスを示す。
【0027】
図5では、ルーマサンプルおよびクロマサンプル(ダウンサンプルされたルーマサンプル)の座標が示されている。
【0028】
パラメータαおよびパラメータβは、次式(次のセクションにおいてmin-max法と称されます)によって導出される。
【数2】
【0029】
各クロマサンプルおよびそれの対応ルーマサンプルは、サンプルペアと称される。yは最大のサンプルペアのクロマサンプル値であり、yは最小のサンプルペアのクロマサンプル値であり、xは最大のサンプルペアのルーマサンプル値であり、xは最小のサンプルペアのルーマサンプル値である。
【0030】
図6に描かれているように、2ポイント(ルーマおよびクロマの組み合わせ)(A,B)は、隣接するルーマサンプルのセットのなかの最小値および最大値である。図6は、式(2)に従って線形モデルのパラメータαおよびパラメータβが得られた場合における、ルーマの最小値および最大値の間の直線についての図である。
【0031】
図5では、Rec’[x,y]はダウンサンプルされた上および左の隣接する再構成されたルーマサンプルを表し、Rec[x,y]は上および左の隣接する再構成されたクロマサンプルを表し、xは行インデックスを示し、yは列インデックスを示す。なお、図5の四角いブロックは図4に描かれたルーマサンプルの位置に対応する再構成されたルーマサンプルであり、図5の丸は、図4に描かれたクロマサンプルまたはダウンサンプルされたルーマサンプルの位置に対応する。四角形状のコーディングブロックに対しては、min-max法が直接適用される。四角ではないコーディングブロックに対しては、まず、長い方の境界の隣接するサンプルが、短い方の境界に対するサンプルと同数になるようにサブサンプリングされる。図5は、左および上のサンプルの位置と、CCLMモードに関わる現在のブロックのサンプルと、を示している。
【0032】
min-max法の計算は、デコーディング処理の一部として実行され、単なるエンコーダの検索操作としてではない。そのため、パラメータαおよびパラメータβの値をデコーダに伝えるためのシンタックスは使用されていない。現在、式/フィルタ(3)は、ダウンサンプルされたルーマサンプルを生成するために、ルーマダウンサンプリングフィルタとして使用される。しかし、式(3)から(19)に示すように、ダウンサンプルされたルーマサンプルを生成するために、異なる式/フィルタを選択することができる。なお、式(5)から(10)は、ダウンサンプリング処理なしで直接サンプルを取得しているとみなすことができる。
【数3】
【0033】
上のテンプレートおよび左のテンプレートは、ともに線形モデルの係数を計算するために使用することができる上に、代替として、他の2つのLMモード、LM_AおよびLMと呼ばれるが、においても、それぞれ使用することができる。図7に示すように、LM_Aモードでは、上のテンプレートが線形モデルの係数の算出に用いられる。より多くのサンプルを得るために、上のテンプレートは(W+H)に拡張される。図8に示すように、LMモードでは、左のテンプレートのみが線形モデルの係数の算出に使用される。より多くのサンプルを得るために、左のテンプレートは(H+W)に拡張される。四角形でないブロックでは、上のテンプレートはW+Wに拡張され、左のテンプレートはH+Hに拡張される。上/左のテンプレートが利用できない場合、LM_A/LMモードはチェックまたは合図されない。利用可能なサンプルが十分でない場合は、最も右(上のテンプレートの場合)または最も下(左のテンプレートの場合)のサンプルを最も近いlog2の数にコピーすることにより、テンプレートが水増しされる。コーデックは、4:2:0YUVフォーマットに加え、4:2:2フォーマット(図9)および4:4:4フォーマット(図10)もサポートしている。
【0034】
JVETのミーティングでは、LMモードを改善するためのいくつかの方法が以下のように提案されている。
【0035】
MMLMモード:MMLMは、マルチモデルのLMモードに該当し、二つの線形モデルがクロマサンプルの予測を導出するために用いられる場合である。再構成されたルーマの値は、二つのカテゴリに分けられ、一つのモデルが各カテゴリに当てがわれる。各モデルのαおよびβパラメータの導出は、CCLMモードとして行われるが、パラメータの導出に用いられる再構成されたルーマ(ダウンサンプリルされた)も、各モデルに応じて分けられる。
【0036】
MFLMモード:MFLMは、マルチフィルタのLMモードに該当し、予測モデルにおいて使用される再構成されたルーマサンプルをダウンサンプルするために、異なるフィルタが用いられる場合である。四つのそのようなフィルタが用いられ、ビットストリームにおいて用いられる特定のフィルタが示される/合図される。
【0037】
LM角度予測:このモードでは、MMLMモードおよび非LMモードは、二つのモードによって得られた予測サンプルを平均化することにより、組み合わせられる。
【0038】
MNLM(Multiple Neighbor-based Linear Model)は、MMLM導出のために複数のネイバーセットを用い、CUのルーマサンプルおよびクロマサンプルとの間の様々な線形関係をカバーする。図11に描かれているように、異なるネイバーセットを有する三つのMNLMが、MMLMにおいて提案されている。
【0039】
MMLM:A、B、C、D(上および左のネイバーを含む)
【0040】
上のMMLM:C、D、F、H(上のネイバーだけを含む)
【0041】
左のMMLM:A、B、E、G(左のネイバーだけを含む)
【0042】
図11に示されるように、Aは左の2番目のネイバーである。Bは左の1番目のネイバーである。Cは上の1番目のネイバーである。Dは上の2番目のネイバーである。Eは左の3番目のネイバーである。Fは上の3番目のネイバーである。Gは左の4番目のネイバーである。Hは上の4番目のネイバーである。
【0043】
MNLMの異なるCCLM予測モードは、下の表にリストされている。
【表1】
【0044】
モード0、モード1、モード2、およびモード3は、同じダウンサンプリングフィルタを用いるが、LMおよびMMLM導出のため異なるネイバーセットを用いる。
【0045】
CCLMのパラメータの導出の複雑さを軽減するために、第1の実施形態では、パラメータαおよびパラメータβを導出するために三つのサンプルペアが用いられている。図12に示すように、サンプルペアは、左の隣接するサンプルのうちの最も上のサンプル(Rec’[-1,0],Rec[-1,0])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。WおよびHは、クロマのブロックの幅および高さを示す。
【0046】
別の実施形態では、図13に示すように、サンプルペアは、上の隣接するサンプルのうちの最も左のサンプル(Rec’[0,-1],Rec[0,-1])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。
【0047】
なお、サンプルペアの選択は、前述された実施形態に限定されない。三つのサンプルペアは、上または左の再構成された隣接するサンプルから選択されたいずれの三つのサンプルペアであり得るし、隣接するサンプルは上の1ラインまたは左の1ラインのみであるということに限定されない。
【0048】
一実施形態では、最大のルーマサンプル値、中間のサンプル値、および最小のルーマサンプル値をそれぞれ有するサンプルペアが、ルーマサンプル比較を通じて識別される。最大および中間のサンプルペアのルーマサンプル値の加重平均はxと示され(式(21)に示される)、最大および中間のサンプルペアのクロマサンプル値の加重平均はyと示される(式(23)に示される)。また、中間および最小のサンプルペアのルーマサンプル値の加重平均はxと示され(式(20)に示す)、中間および最小のサンプルペアのクロマサンプル値の加重平均はyと示される(式(22)に示される)。そして、式(2)を用いて、パラメータαおよびパラメータβが算出される
【数4】
【数5】
【数6】
【数7】
【0049】
maxは最大のサンプルペアのルーマサンプル値であり、xmidは中間のサンプルペアのルーマサンプル値であり、xminは最小のサンプルペアのルーマサンプル値であり、ymaxは最大のサンプルペアのクロマサンプル値であり、ymidは中間のサンプルペアのクロマサンプル値であり、yminは最小のサンプルペアのクロマサンプル値であり、w1+w2=(1<<N1)、offset1=1<<(N1-1)であり、w3+w4=(1<<N2)、offset2=1<<(N2-1)である。
【0050】
w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数である。また、N1は第1の平均値であり、N2は第2の平均値である。また、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である。
【0051】
均等な重み付けが適用される場合の一例では、w1=1、w2=1、w3=1、w4=1であり、N1=1、N2=1、そしてoffset1=1、offset2=1である。
【0052】
さらに別の例では、w1=3、w2=1、w3=1、w4=3であり、N1=2、N2=2、そしてoffset1=2、offset2=2である。
【0053】
さらに別の例では、w1=3、w2=1、w3=1、w4=3であり、N1=2、N2=2、そしてoffset1=2、offset2=2である。
【0054】
さらに別の実施形態では、三つのサンプルペアに対するインデックスとして、i、j、kが用いられ、lumaおよびlumaと、lumaおよびlumaと、という二つだけの比較が行われる。当該二つの比較により、当該三つのサンプルペアは、ルーマ値によって完全にソートされるか、または、二つのグループ、一方はより大きな二つの値を含んでいてもう一方はより小さな値を含んでいるもしくはその逆、に分けられるか、ができる。値が完全にソートされている場合は、前のセクションで説明された方法を使用することができる。サンプルペアが二つのグループに分けられた場合、同じグループ内のルーマおよびクロマのサンプルは、それぞれ加重平均される(グループ内の単一のサンプルペアは実質的に加重平均を行うことを必要としない)。例えば、一つのグループに二つのサンプルペアがある場合に、一つのグループの二つのルーマ値は均等に重み付けられて平均化され、一方、二つのクロマ値もまた均等に重み付けられて平均化される。ここでは、(2)を用いてCCLMのパラメータを導出するために、加重平均された値を、x、x、yおよびyとして用いる。
【0055】
さらに別の実施形態では、最大のルーマサンプル値を有するサンプルペアと、最小のルーマサンプル値を有するサンプルペアと、が、ルーマサンプルの比較を通じて識別される。最大のサンプルペアのルーマサンプル値をxと示し、最大のサンプルペアのクロマサンプル値をyと示し、最小のサンプルペアのルーマサンプル値をxと示し、最小のサンプルペアのクロマサンプル値をyと示す。そして、パラメータαおよびパラメータβは、式(2)を用いて算出される。
【0056】
なお、CCLMのパラメータの導出方法は、前述された実施形態に限られない。選択された三つのサンプルペアは、CCLMのパラメータを導出するために、どのような方法においても用いることができる。
【0057】
第2の実施形態では、CCLMの導出の複雑さを低減するために、四つのサンプルペアを用いてパラメータαおよびパラメータβを導出する。図14に示すように、サンプルペアは、左の隣接するサンプルのうちの最も上のサンプル(Rec’[-1,0],Rec[-1,0])と、上の隣接するサンプルのうちの最も左のサンプル(Rec’[0,-1],Rec[0,-1])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。
【0058】
別の実施形態では、図15に示すように、サンプルペアは、上の隣接するサンプルのうちの最も左のサンプルの幅の4分の1の部分(Rec’[W/4,-1],Rec[W/4,-1])と、左の隣接するサンプルのうちの最も上のサンプルの幅の4分の1の部分(Rec’[-1,H/4],Rec[-1,H/4])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。
【0059】
なお、サンプルペアの選択は、前述された実施形態に限定されない。四つのサンプルペアは、上または左の再構成された隣接するサンプルから選択されたいずれの四つのサンプルペアであり得るし、隣接するサンプルは、上の1ラインまたは左のラインのみであるということに限定されない。例えば、一つのサンプルペアのセットは、上の隣接するサンプルのうちの最も左のサンプルの幅の4分の1の部分と、左の隣接するサンプルのうちの最も上のサンプルの幅の4分の1の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の4分の3の部分と、左の隣接するサンプルのうちの最も上のサンプルの幅の4分の3の部分と、を含む。
【0060】
あるいは、別のサンプルペアのセットは、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の1の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の3の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の5の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の7の部分と、を含む。
【0061】
あるいは、別のサンプルペアのセットは、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の1の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の3の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の5の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の7の部分と、を含む。
【0062】
一実施形態では、より大きな二つのルーマサンプル値と最小の二つのルーマサンプル値とをそれぞれ有するサンプルペアが、ルーマサンプルの比較を通じて識別される。より大きな二つのサンプルペアのルーマサンプル値はxB0、xB1と示され、より大きな二つの最大サンプルペアのクロマサンプル値はyB0、yB1と示される。より小さな二つのサンプルペアのルーマサンプル値はxA0、xA1と示され、より小さな二つの最小サンプルペアのクロマサンプル値はyA0、yA1と示される。そして、下の式、式(24)-(27)、で示されるように、x、x、yおよびyは、xA0、xA1、xB0、xB1、yA0、yA1およびyB0、yB1の加重平均として導出される。そして、パラメータαおよびパラメータβは、式(2)を用いて算出される。
【数8】
【数9】
【数10】
【数11】
【0063】
w1+w2=(1<<N1)、offset1=1<<(N1-1)である。w3+w4=(1<<N2)、offset2=1<<(N2-1)である。w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数である。また、N1は第1の平均値であり、N2は第2の平均値である。また、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である。
【0064】
均等な重み付けが適用される場合の一例では、w1=1、w2=1、w3=1、w4=1であり、N1=1、N2=1、そしてoffset1=1、offset2=1である。
【0065】
さらに別の例では、w1=3、w2=1、w3=1、w4=3であり、N1=2、N2=2、そしてoffset1=2、offset2=2である。
【0066】
別の実施形態では、最大のルーマサンプル値と、最小のルーマサンプル値と、をそれぞれ有するサンプルペアが、ルーマサンプルの比較を通じて識別される。最大のサンプルペアのルーマサンプル値をxと示し、最大のサンプルペアのクロマサンプル値をyと示す。また、最小のサンプルペアのルーマサンプル値をxと示し、最小のサンプルペアのクロマサンプル値をyと示す。そして、パラメータαおよびパラメータβは、式(2)を用いて算出される。
【0067】
なお、CCLMのパラメータの導出方法は、前述された実施形態に限られない。選択された四つのサンプルペアは、CCLMのパラメータを導出するために、どのような方法においても用いることができる。
【0068】
本発明の他の実施形態は、本明細書と、ここに開示された発明の実施と、を考慮することにより、当業者には明らかであろう。この出願は、本発明の、その一般原則に従うあらゆる変形、使用、または適応をカバーすることが意図されており、本技術分野における既知または慣例的な実施の範囲内にあるような本開示からの逸脱を含む。本明細書および例は、単に例示的なものとして考慮されることを意図されており、以下の特許請求の範囲によって示された本発明の真の範囲および精神を伴う。
【0069】
本発明が、上述し、添付図面に示された具体例に限定されないことや、その範囲を逸脱することなく様々な修正および変更を行うことができることは、認められるであろう。本発明の範囲は、添付の請求項によってのみ限定されることが意図されている。
【0070】
1以上の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいずれの組み合わせにおいて実装されてよい。ソフトウェアで実装されるのであれば、機能は、1以上の命令またはコードとして、コンピュータ可読媒体に格納されるか、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体や、例えば通信プロトコルに従って、ある場所から別のところへのコンピュータプログラムの伝送を容易にするあらゆる媒体を含む通信媒体を、含む。このように、コンピュータ可読媒体は、一般に、(1)非一時的で有形のコンピュータ可読記憶媒体、または(2)信号、搬送波などといった通信媒体、に相当してよい。データ記憶媒体は、本明細書に記載されている実装についての、命令、コードおよび/または実装のためのデータ構造を取得するために、1以上のコンピュータまたは1以上のプロセッサによってアクセス可能なあらゆる利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【0071】
さらに、上記の方法は、1以上の回路を含む装置を用いて実装されてもよく、当該回路は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品を含む。本装置は、上述の方法を実行するための他のハードウェアまたはソフトウェアのコンポーネントと組み合わせた回路を用いてよい。上記のモジュール、サブモジュール、ユニット、またはサブユニットのそれぞれは、1以上の回路を用いて、少なくとも部分的に実装されてもよい。
【0072】
本発明の他の実施形態は、本明細書と、ここに開示された本発明の実施と、を考慮することにより、当業者には明らかであろう。この出願は、本発明の、その一般原則に従うあらゆる変形、使用、または適応をカバーすることが意図されており、本技術分野における既知または慣例的な実施の範囲内にあるような本開示からの逸脱を含む。本明細書および例は、単に例示的なものとして考慮されることを意図されており、以下の特許請求の範囲によって示された本発明の真の範囲および精神を伴う。
【0073】
本発明が、上述し、添付図面に示された具体例に限定されないことや、その範囲を逸脱することなく様々な修正および変更を行うことができることは、認められるであろう。本発明の範囲は、添付の請求項によってのみ限定されることが意図されている。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【手続補正書】
【提出日】2022-08-04
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、2019年1月9日に出願された米国仮出願第62/790,459号の利益を主張する。前述の出願の開示全体は、参照により本明細書に援用される。
【0002】
本開示は、一般に、ビデオコーディングおよび圧縮に関する。より具体的には、この開示は、クロスコンポーネント線形モデルを用いたビデオコーディングを実行するためのシステムおよび方法に関する。方法は、特定の例示的な実施形態において、コーディングユニットのクロマサンプルに対する最終的なクロマ予測子によって記述される。
【背景技術】
【0003】
このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも、先行技術として解釈されるべきものではない。
【0004】
ビデオデータを圧縮するために、様々なビデオコーディング技術が用いられ得る。ビデオコーディングは、1以上のビデオコーディング標準に従って実行される。例えば、ビデオコーディング標準は、VVC(Versatile Video Coding)、JEM(joint exploration test model)、H.265/HEVC(high-efficiency video coding)、H.264/AVC(advanced video coding)、MPEG(moving picture experts group)コーディングなどを含む。ビデオコーディングは、一般に、ビデオ画像またはシーケンスに存在する冗長性を利用する予測方法を用いる(例えば、インター予測、イントラ予測など)。ビデオコーディング技術の重要な目的の一つは、ビデオの品質に対する劣化を回避または最小化しつつ、より低いビットレートを用いる形式にビデオデータを圧縮することである。進化し続けるビデオサービスを可能にするには、より優れた圧縮効率を有するコーディング技術が必要とされる。
【発明の概要】
【0005】
このセクションは開示の概要を提供するものであり、その全範囲やその特徴の全てに対する包括的な開示ではない。
【0006】
本開示の第1の側面によれば、ビデオコーディングの方法は、1以上のプロセッサと、当該1以上のプロセッサによって実行される複数のプログラムを記憶する1以上のメモリと、を有するコンピューティングデバイスにおいて実行される。当該方法は、コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに対する第1パラメータαおよび第2パラメータβを導出することと、第1パラメータαおよび第2パラメータβを用いることにより、CUのクロマサンプルに対する最終的なクロマ予測子を生成することと、を含む。
【0007】
本開示の第2の側面によれば、コンピューティングデバイスが提供される。コンピューティングデバイスは、少なくとも一つのプロセッサと、当該1以上のプロセッサと接続された非一時的な記憶装置と、当該非一時的な記憶装置に格納され、当該プロセッサによって実行されると当該コンピューティングデバイスに以下を含む動作を行わせる複数のプログラムと、を含み、当該動作は、コーディングユニット(CU)における所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに関する第1パラメータαおよび第2パラメータβを導出することと、当該第1パラメータαおよび当該第2パラメータβを用いることによって当該CUの当該クロマサンプルに対する最終的なクロマ予測子を生成することと、を含む。
【図面の簡単な説明】
【0008】
以下では、本開示の例示的で非限定的な実施形態のセットが説明される。構造、方法、または機能のバリエーションは、ここで示された例に基づき、関連の技術分野の通常の技術者によって実施され得るし、そのようなバリエーションは全て本開示の範囲内に含まれる。矛盾が存在しない場合、異なる実施形態の教示は、必要ではないが、互いに組み合わせられてもよい。
図1図1は、多数のビデオコーディング標準とともに用いられ得る例示的なエンコーダを説明するブロック図である。
図2図2は、多数のビデオコーディング標準とともに用いられ得る例示的なデコーダを説明するブロック図である。
図3図3は、ビデオコーディング方法のフローチャートである。
図4図4は、ルーマ/クロマのピクセルサンプリンググリッドの例である。
図5図5は、αおよびβの導出のために用いられたサンプルの位置を示す。
図6図6は、min-max法を用いたαおよびβの直線的導出を示す。
図7図7は、LM_Aモードを示す。
図8図8は、LM_モードを示す。
図9図9は、YUV4:2:2フォーマットに対するルーマ/クロマのピクセルサンプリンググリッドである。
図10図10は、YUV4::4フォーマットに対するルーマ/クロマのピクセルサンプリンググリッドである。
図11図11は、MMLMの複数のネイバーを示す。
図12図12は、三つのサンプルペアの一例の位置を示す。
図13図13は、三つのサンプルペアの別の例の位置を示す。
図14図14は、四つのサンプルペアの一例の位置を示す。
図15図15は、四つのサンプルペアの別の例の位置を示す。
【発明を実施するための形態】
【0009】
本開示において用いられた用語は、本開示を限定するのではなく、特定の例を説明することを対象とする。本開示および付随する特許請求の範囲に用いられた「a」、「an」および「the」にあたる単数形は、他の意味が明らかに文脈に含まれる場合でなければ、複数形も指す。ここで用いられる用語「および/または」は1以上の関連する挙げられた項目の任意または全ての可能な組み合わせを指すということは理解されるべきである。
【0010】
ここでは、様々な情報を示すために、「第1」、「第2」、「第3」などの用語が使用されてよく、当該情報は、これらの用語によって限定されるべきものではないということは理解されるべきである。これらの用語は、情報のある一つのカテゴリと、別のものと、を区別するために単に用いられている。例えば、本開示の範囲から逸脱することなく、第1の情報は、第2の情報と称されてもよいし、同様に、第2の情報も、第1の情報と称されてもよい。「であれば」にあたる用語は、ここで使用されるように、文脈に応じて、「場合」、「際」、または「に応じて」を意味すると理解されてもよい。
【0011】
この明細書を通じて、「一実施形態」、「ある実施形態」、「別の実施形態」、または、単数形もしくは複数形のそのようなものへの言及は、ある実施形態に関連して説明された1以上の固有の特徴、構造、または性質が本開示の少なくとも一つの実施形態に含まれるということを意味する。したがって、この明細書を通じて様々な場所において「一実施形態において」、「ある実施形態において」、「別の実施形態において」、または、単数形もしくは複数形のそのようなもの、というフレーズの登場は、全てが同じ実施形態を必ずしも言及しているわけではない。さらに、どのような適切な方法においても、1以上の実施形態における固有の特徴、構造、または性質が組み合わせられてもよい。
【0012】
概念的には、「背景」のセクションにおいて先に言及されたものも含め、多数のビデオコーディング標準は類似している。例えば、ほぼ全てのビデオコーディング標準は、ブロックベースの処理を用いており、映像圧縮を実現するために類似のビデオコーディングのブロック図を共有している。
【0013】
図1は、多数のビデオコーディング標準とともに用いられ得る例示的なエンコーダ100のブロック図を示す。エンコーダ100では、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測のアプローチまたはイントラ予測のアプローチのいずれかに基づいて予測が成される。インター予測では、先に再構成されたフレームからのピクセルに基づき、モーション推定およびモーション補償を通じて1以上の予測子が形成される。イントラ予測では、現フレームにおける再構成されたピクセルに基づいて予測子は形成される。モードの決定を通じて、現ブロックを予測するために最適な予測子が選択される。
【0014】
現ビデオブロックとその予測子との相違を表す予測残差は、変換回路102に送られる。そして、エントロピー低減のために、変換回路102から量子化回路104に変換係数が送られる。そして、量子化された係数は、エントロピーコーディング回路106に供給され、圧縮されたビデオビットストリームを生成する。図1に示されるように、インター予測回路および/またはイントラ予測回路112からの、ビデオブロックパーティション情報、動きベクトル、参照ピクチャインデックス、イントラ予測モードなどといった予測関連情報110も、また、エントロピーコーディング回路106を通じて供給されて、圧縮されたビデオビットストリーム114に保存される。
【0015】
エンコーダ100では、予測を目的とした画素の再構成を行うために、デコーダ関連の回路もまた必要とされる。まず、逆量子化116と逆変換回路118を通じて、予測残差が再構成される。この再構成された予測残差は、ブロック予測子120と組み合わされ、現ビデオブロックに対するフィルタリングされていない再構成されたピクセルを生成する。
【0016】
コーディング効率と画質を向上させるために、インループフィルタが一般的に使われる。例えば、VVCの現バーションと同様、AVC、HEVCにはデブロッキングフィルタが利用可能である。HEVCでは、コーディング効率をさらに高めるために、SAO(sample adaptive offset)と呼ばれる追加のインループフィルタが定義されている。VVC標準の今の現バーションでは、ALF(adaptive loop filter)と呼ばれる別のインループフィルタが積極的に研究されており、最終標準に含まれる十分な可能性があるとされている。
【0017】
これらのインループフィルタの操作はオプションである。これらの操作を行うことは、コーディング効率と画質の向上に役立つ。また、それらは、計算の手間を省くために、エンコーダ100によってなされた決定として、オフにされてもよい。
【0018】
これらのフィルタのオプションがエンコーダ100によってオンになっているのであれば、インター予測はフィルタリングされた再構成されたピクセルに基づき、一方で、イントラ予測は通常フィルタリングされていない再構成されたピクセルに基づくことに留意すべきである。
【0019】
図2は、多数のビデオコーディング標準とともに用いられ得る例示的なデコーダ200を説明するブロック図である。このデコーダ200は、図1のエンコーダ100に存在する再構成の関連セクションと同様である。デコーダ200(図2)では、まず、入力されるビデオビットストリーム201がエントロピーデコーディング202を通じてデコードされ、量子化された係数のレベルと予測関連情報が導出される。そして、量子化された係数のレベルは、逆量子化204および逆変換206を通じて処理され、再構成された予測残差が得られる。ブロック予測子のメカニズムは、イントラ/インターモードセレクタ212に実装されているが、復号された予測情報に基づき、イントラ予測208またはモーション補償210を実行するように構成される。フィルタリングされていない再構成されたピクセルのセットは、合算器214を用いて、逆変換206からの再構成された予測残差と、ブロック予測子のメカニズムによって生成された予測出力と、を合算することによって得られる。インループフィルタがオンになっている状況では、フィルタリング操作が、これらの再構成されたピクセルに対して行われて、出力用の最終的な再構成されたビデオが導出される。
【0020】
クロスコンポーネントの冗長性を低減するため、クロスコンポーネント線形モデル(CCLM)の予測モードがVVCにおいて用いられる。VVCの開発の間の共通テスト条件においてYUVフォーマット4:2:0が用いられ、YUVフォーマット4:2:0に対するルーマサンプルおよびクロマサンプルのサンプリンググリッドは図4に示されている。ルーマサンプルおよびクロマサンプル(ダウンサンプルされたルーマサンプル)の座標もまた図4に示されている。RecL’[x,y]は、ダウンサンプルされた上および左に隣接する再構成されたルーマサンプルを表し、RecC’[x,y]は、上および左に隣接する再構成されたクロマサンプルを表し、xおよびyは、図に示されているようにピクセルインデックスを示す。この開示では、CCLMのパラメータの導出の複雑さを低減するため、いくつかの方法を提案する。
【0021】
本開示は、一般に、ビデオデータのコーディング(例えば、エンコーディングおよびデコーディング)に関する。より具体的には、この開示は、ビデオコーディング方法と、ビデオコーディング方法のクロスコンポーネントの冗長性を低減するためのコンピューティングデバイスと、に関する。同じCUの再構成されたルーマサンプルに基づいてクロマサンプルを予測するために、CCLM予測子モードが使用される。コンピューティングデバイスは、少なくとも一つのプロセッサと、当該1以上のプロセッサと接続された非一時的な記憶装置と、当該非一時的な記憶装置に格納されて当該プロセッサによって実行されると当該コンピューティングデバイスにビデオコーディング方法の動作を行わせる複数のプログラムと、を含む。
【0022】
図3に示すように、ビデオコーディングの方法は、少なくとも以下のステップを含む。
【0023】
ステップ10:CUにおける所定数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによるCCLMモードに対する第1パラメータαおよび第2パラメータβの導出
【0024】
ステップ20:第1パラメータαおよび第2パラメータβを用いることによってCUのクロマサンプルに対する最終的なクロマ予測子の生成
【0025】
ステップ20では、次式を用いることによってCUのクロマサンプルに対する最終的なクロマ予測子を生成する。
【数1】
【0026】
pred(x,y)は、CUのクロマサンプルに対する最終的なクロマ予測子であり、rec’(x,y)はCUのダウンサンプルされた再構成されたルーマサンプルであり、xは行インデックスを示し、yは列インデックスを示す。
【0027】
図5では、ルーマサンプルおよびクロマサンプル(ダウンサンプルされたルーマサンプル)の座標が示されている。
【0028】
パラメータαおよびパラメータβは、次式(次のセクションにおいてmin-max法と称されます)によって導出される。
【数2】
【0029】
各クロマサンプルおよびそれの対応ルーマサンプルは、サンプルペアと称される。yは最大のサンプルペアのクロマサンプル値であり、yはいふぁのサンプルペアのクロマサンプル値であり、xは最大のサンプルペアのルーマサンプル値であり、xは最小のサンプルペアのルーマサンプル値である。
【0030】
図6に描かれているように、2ポイント(ルーマおよびクロマの組み合わせ)(A,B)は、隣接するルーマサンプルのセットのなかの最小値および最大値である。図6は、式(2)に従って線形モデルのパラメータαおよびパラメータβが得られた場合における、ルーマの最小値および最大値の間の直線についての図である。
【0031】
図5では、Rec’[x,y]はダウンサンプルされた上および左の隣接する再構成されたルーマサンプルを表し、Rec[x,y]は上および左の隣接する再構成されたクロマサンプルを表し、xは行インデックスを示し、yは列インデックスを示す。なお、図5の四角いブロックは図4に描かれたルーマサンプルの位置に対応する再構成されたルーマサンプルであり、図5の丸は、図4に描かれたクロマサンプルまたはダウンサンプルされたルーマサンプルの位置に対応する。四角形状のコーディングブロックに対しては、min-max法が直接適用される。四角ではないコーディングブロックに対しては、まず、長い方の境界の隣接するサンプルが、短い方の境界に対するサンプルと同数になるようにサブサンプリングされる。図5は、左および上のサンプルの位置と、CCLMモードに関わる現在のブロックのサンプルと、を示している。
【0032】
min-max法の計算は、デコーディング処理の一部として実行され、単なるエンコーダの検索操作としてではない。そのため、パラメータαおよびパラメータβの値をデコーダに伝えるためのシンタックスは使用されていない。現在、式/フィルタ(3)は、ダウンサンプルされたルーマサンプルを生成するために、ルーマダウンサンプリングフィルタとして使用される。しかし、式(3)から(19)に示すように、ダウンサンプルされたルーマサンプルを生成するために、異なる式/フィルタを選択することができる。なお、式(5)から(10)は、ダウンサンプリング処理なしで直接サンプルを取得しているとみなすことができる。
【数3】
【0033】
上のテンプレートおよび左のテンプレートは、ともに線形モデルの係数を計算するために使用することができる上に、代替として、他の2つのLMモード、LM_AおよびLMと呼ばれるが、においても、それぞれ使用することができる。図7に示すように、LM_Aモードでは、上のテンプレートが線形モデルの係数の算出に用いられる。より多くのサンプルを得るために、上のテンプレートは(W+H)に拡張される。図8に示すように、LMモードでは、左のテンプレートのみが線形モデルの係数の算出に使用される。より多くのサンプルを得るために、左のテンプレートは(H+W)に拡張される。四角形でないブロックでは、上のテンプレートはW+Wに拡張され、左のテンプレートはH+Hに拡張される。上/左のテンプレートが利用できない場合、LM_A/LMモードはチェックまたは合図されない。利用可能なサンプルが十分でない場合は、最も右(上のテンプレートの場合)または最も下(左のテンプレートの場合)のサンプルを最も近いlog2の数にコピーすることにより、テンプレートが水増しされる。コーデックは、4:2:0YUVフォーマットに加え、4:2:2フォーマット(図9)および4:4:4フォーマット(図10)もサポートしている。
【0034】
JVETのミーティングでは、LMモードを改善するためのいくつかの方法が以下のように提案されている。
【0035】
MMLMモード:MMLMは、マルチモデルのLMモードに該当し、二つの線形モデルがクロマサンプルの予測を導出するために用いられる場合である。再構成されたルーマの値は、二つのカテゴリに分けられ、一つのモデルが各カテゴリに当てがわれる。各モデルのαおよびβパラメータの導出は、CCLMモードとして行われるが、パラメータの導出に用いられる再構成されたルーマ(ダウンサンプリルされた)も、各モデルに応じて分けられる。
【0036】
MFLMモード:MFLMは、マルチフィルタのLMモードに該当し、予測モデルにおいて使用される再構成されたルーマサンプルをダウンサンプルするために、異なるフィルタが用いられる場合である。四つのそのようなフィルタが用いられ、ビットストリームにおいて用いられる特定のフィルタが示される/合図される。
【0037】
LM角度予測:このモードでは、MMLMモードおよび非LMモードは、二つのモードによって得られた予測サンプルを平均化することにより、組み合わせられる。
【0038】
MNLM(Multiple Neighbor-based Linear Model)は、MMLM導出のために複数のネイバーセットを用い、CUのルーマサンプルおよびクロマサンプルとの間の様々な線形関係をカバーする。図11に描かれているように、異なるネイバーセットを有する三つのMNLMが、MMLMにおいて提案されている。
【0039】
MMLM:A、B、C、D(上および左のネイバーを含む)
【0040】
上のMMLM:C、D、F、H(上のネイバーだけを含む)
【0041】
左のMMLM:A、B、E、G(左のネイバーだけを含む)
【0042】
図11に示されるように、Aは左の2番目のネイバーである。Bは左の1番目のネイバーである。Cは上の1番目のネイバーである。Dは上の2番目のネイバーである。Eは左の3番目のネイバーである。Fは上の3番目のネイバーである。Gは左の4番目のネイバーである。Hは上の4番目のネイバーである。
【0043】
MNLMの異なるCCLM予測モードは、下の表にリストされている。
【表1】
【0044】
モード0、モード1、モード2、およびモード3は、同じダウンサンプリングフィルタを用いるが、LMおよびMMLM導出のため異なるネイバーセットを用いる。
【0045】
CCLMのパラメータの導出の複雑さを軽減するために、第1の実施形態では、パラメータαおよびパラメータβを導出するために三つのサンプルペアが用いられている。図12に示すように、サンプルペアは、左の隣接するサンプルのうちの最も上のサンプル(Rec’[-1,0],Rec[-1,0])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。WおよびHは、クロマのブロックの幅および高さを示す。
【0046】
別の実施形態では、図13に示すように、サンプルペアは、上の隣接するサンプルのうちの最も左のサンプル(Rec’[0,-1],Rec[0,-1])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。
【0047】
なお、サンプルペアの選択は、前述された実施形態に限定されない。三つのサンプルペアは、上または左の再構成された隣接するサンプルから選択されたいずれの三つのサンプルペアであり得るし、隣接するサンプルは上の1ラインまたは左の1ラインのみであるということに限定されない。
【0048】
一実施形態では、最大のルーマサンプル値、中間のサンプル値、および最小のルーマサンプル値をそれぞれ有するサンプルペアが、ルーマサンプル比較を通じて識別される。最大および中間のサンプルペアのルーマサンプル値の加重平均はxと示され(式(20)に示される)、最大および中間のサンプルペアのクロマサンプル値の加重平均はyと示される(式(22)に示される)。また、中間および最小のサンプルペアのルーマサンプル値の加重平均はxと示され(式(21)に示す)、中間および最小のサンプルペアのクロマサンプル値の加重平均はyと示される(式(23)に示される)。そして、式(2)を用いて、パラメータαおよびパラメータβが算出される
【数4】
【数5】
【数6】
【数7】
【0049】
maxは最大のサンプルペアのルーマサンプル値であり、xmidは中間のサンプルペアのルーマサンプル値であり、xminは最小のサンプルペアのルーマサンプル値であり、ymaxは最大のサンプルペアのクロマサンプル値であり、ymidは中間のサンプルペアのクロマサンプル値であり、yminは最小のサンプルペアのクロマサンプル値であり、w1+w2=(1<<N1)、offset1=1<<(N1-1)であり、w3+w4=(1<<N2)、offset2=1<<(N2-1)である。
【0050】
w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数である。また、N1は第1の平均値であり、N2は第2の平均値である。また、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である。
【0051】
均等な重み付けが適用される場合の一例では、w1=1、w2=1、w3=1、w4=1であり、N1=1、N2=1、そしてoffset1=1、offset2=1である。
【0052】
さらに別の例では、w1=3、w2=1、w3=1、w4=3であり、N1=2、N2=2、そしてoffset1=2、offset2=2である。
【0053】
さらに別の例では、w1=3、w2=1、w3=1、w4=3であり、N1=2、N2=2、そしてoffset1=2、offset2=2である。
【0054】
さらに別の実施形態では、三つのサンプルペアに対するインデックスとして、i、j、kが用いられ、lumaおよびlumaと、lumaおよびlumaと、という二つだけの比較が行われる。当該二つの比較により、当該三つのサンプルペアは、ルーマ値によって完全にソートされるか、または、二つのグループ、一方はより大きな二つの値を含んでいてもう一方はより小さな値を含んでいるもしくはその逆、に分けられるか、ができる。値が完全にソートされている場合は、前のセクションで説明された方法を使用することができる。サンプルペアが二つのグループに分けられた場合、同じグループ内のルーマおよびクロマのサンプルは、それぞれ加重平均される(グループ内の単一のサンプルペアは実質的に加重平均を行うことを必要としない)。例えば、一つのグループに二つのサンプルペアがある場合に、一つのグループの二つのルーマ値は均等に重み付けられて平均化され、一方、二つのクロマ値もまた均等に重み付けられて平均化される。ここでは、(2)を用いてCCLMのパラメータを導出するために、加重平均された値を、x、x、yおよびyとして用いる。
【0055】
さらに別の実施形態では、最大のルーマサンプル値を有するサンプルペアと、最小のルーマサンプル値を有するサンプルペアと、が、ルーマサンプルの比較を通じて識別される。最大のサンプルペアのルーマサンプル値をxと示し、最大のサンプルペアのクロマサンプル値をyと示し、最小のサンプルペアのルーマサンプル値をxと示し、最小のサンプルペアのクロマサンプル値をyと示す。そして、パラメータαおよびパラメータβは、式(2)を用いて算出される。
【0056】
なお、CCLMのパラメータの導出方法は、前述された実施形態に限られない。選択された三つのサンプルペアは、CCLMのパラメータを導出するために、どのような方法においても用いることができる。
【0057】
第2の実施形態では、CCLMの導出の複雑さを低減するために、四つのサンプルペアを用いてパラメータαおよびパラメータβを導出する。図14に示すように、サンプルペアは、左の隣接するサンプルのうちの最も上のサンプル(Rec’[-1,0],Rec[-1,0])と、上の隣接するサンプルのうちの最も左のサンプル(Rec’[0,-1],Rec[0,-1])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。
【0058】
別の実施形態では、図15に示すように、サンプルペアは、上の隣接するサンプルのうちの最も左のサンプルの幅の4分の1の部分(Rec’[W/4,-1],Rec[W/4,-1])と、左の隣接するサンプルのうちの最も上のサンプルの高さの4分の1の部分(Rec’[-1,H/4],Rec[-1,H/4])と、左の隣接するサンプルのうちの最も下のサンプル(Rec’[-1,H-1],Rec[-1,H-1])と、上の隣接するサンプルのうちの最も右のサンプル(Rec’[W-1,-1],Rec[W-1,-1])と、を含む。
【0059】
なお、サンプルペアの選択は、前述された実施形態に限定されない。四つのサンプルペアは、上または左の再構成された隣接するサンプルから選択されたいずれの四つのサンプルペアであり得るし、隣接するサンプルは、上の1ラインまたは左のラインのみであるということに限定されない。例えば、一つのサンプルペアのセットは、上の隣接するサンプルのうちの最も左のサンプルの幅の4分の1の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの4分の1の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の4分の3の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの4分の3の部分と、を含む。
【0060】
あるいは、別のサンプルペアのセットは、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の1の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の3の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の5の部分と、上の隣接するサンプルのうちの最も左のサンプルの幅の8分の7の部分と、を含む。
【0061】
あるいは、別のサンプルペアのセットは、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の1の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の3の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の5の部分と、左の隣接するサンプルのうちの最も上のサンプルの高さの8分の7の部分と、を含む。
【0062】
一実施形態では、より大きな二つのルーマサンプル値とより小さな二つのルーマサンプル値とをそれぞれ有するサンプルペアが、ルーマサンプルの比較を通じて識別される。より大きな二つのサンプルペアのルーマサンプル値はxB0、xB1と示され、より大きなサンプルペアのクロマサンプル値はyB0、yB1と示される。より小さな二つのサンプルペアのルーマサンプル値はxA0、xA1と示され、より小さな二つのサンプルペアのクロマサンプル値はyA0、yA1と示される。そして、下の式、式(24)-(27)、で示されるように、x、x、yおよびyは、xA0、xA1、xB0、xB1、yA0、yA1およびyB0、yB1の加重平均として導出される。そして、パラメータαおよびパラメータβは、式(2)を用いて算出される。
【数8】
【数9】
【数10】
【数11】
【0063】
w1+w2=(1<<N1)、offset1=1<<(N1-1)である。w3+w4=(1<<N2)、offset2=1<<(N2-1)である。w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数である。また、N1は第1の平均値であり、N2は第2の平均値である。また、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である。
【0064】
均等な重み付けが適用される場合の一例では、w1=1、w2=1、w3=1、w4=1であり、N1=1、N2=1、そしてoffset1=1、offset2=1である。
【0065】
さらに別の例では、w1=3、w2=1、w3=1、w4=3であり、N1=2、N2=2、そしてoffset1=2、offset2=2である。
【0066】
別の実施形態では、最大のルーマサンプル値と、最小のルーマサンプル値と、をそれぞれ有するサンプルペアが、ルーマサンプルの比較を通じて識別される。最大のサンプルペアのルーマサンプル値をxと示し、最大のサンプルペアのクロマサンプル値をyと示す。また、最小のサンプルペアのルーマサンプル値をxと示し、最小のサンプルペアのクロマサンプル値をyと示す。そして、パラメータαおよびパラメータβは、式(2)を用いて算出される。
【0067】
なお、CCLMのパラメータの導出方法は、前述された実施形態に限られない。選択された四つのサンプルペアは、CCLMのパラメータを導出するために、どのような方法においても用いることができる。
【0068】
本発明の他の実施形態は、本明細書と、ここに開示された発明の実施と、を考慮することにより、当業者には明らかであろう。この出願は、本発明の、その一般原則に従うあらゆる変形、使用、または適応をカバーすることが意図されており、本技術分野における既知または慣例的な実施の範囲内にあるような本開示からの逸脱を含む。本明細書および例は、単に例示的なものとして考慮されることを意図されており、以下の特許請求の範囲によって示された本発明の真の範囲および精神を伴う。
【0069】
本発明が、上述し、添付図面に示された具体例に限定されないことや、その範囲を逸脱することなく様々な修正および変更を行うことができることは、認められるであろう。本発明の範囲は、添付の請求項によってのみ限定されることが意図されている。
【0070】
1以上の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいずれの組み合わせにおいて実装されてよい。ソフトウェアで実装されるのであれば、機能は、1以上の命令またはコードとして、コンピュータ可読媒体に格納されるか、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に相当するコンピュータ可読記憶媒体や、例えば通信プロトコルに従って、ある場所から別のところへのコンピュータプログラムの伝送を容易にするあらゆる媒体を含む通信媒体を、含む。このように、コンピュータ可読媒体は、一般に、(1)非一時的で有形のコンピュータ可読記憶媒体、または(2)信号、搬送波などといった通信媒体、に相当してよい。データ記憶媒体は、本明細書に記載されている実装についての、命令、コードおよび/または実装のためのデータ構造を取得するために、1以上のコンピュータまたは1以上のプロセッサによってアクセス可能なあらゆる利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【0071】
さらに、上記の方法は、1以上の回路を含む装置を用いて実装されてもよく、当該回路は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品を含む。本装置は、上述の方法を実行するための他のハードウェアまたはソフトウェアのコンポーネントと組み合わせた回路を用いてよい。上記のモジュール、サブモジュール、ユニット、またはサブユニットのそれぞれは、1以上の回路を用いて、少なくとも部分的に実装されてもよい。
【0072】
本発明の他の実施形態は、本明細書と、ここに開示された本発明の実施と、を考慮することにより、当業者には明らかであろう。この出願は、本発明の、その一般原則に従うあらゆる変形、使用、または適応をカバーすることが意図されており、本技術分野における既知または慣例的な実施の範囲内にあるような本開示からの逸脱を含む。本明細書および例は、単に例示的なものとして考慮されることを意図されており、以下の特許請求の範囲によって示された本発明の真の範囲および精神を伴う。
【0073】
本発明が、上述し、添付図面に示された具体例に限定されないことや、その範囲を逸脱することなく様々な修正および変更を行うことができることは、認められるであろう。本発明の範囲は、添付の請求項によってのみ限定されることが意図されている。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コーディングユニット(CU)の複数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに対する第1パラメータαおよび第2パラメータβを導出することと、
前記第1パラメータαおよび前記第2パラメータβを用いることによって前記CUにおける予測されたクロマサンプルを生成することと、
を備え、
前記第1パラメータαおよび前記第2パラメータβを導出することは、四つの隣接するダウンサンプルされたルーマサンプルおよび四つの対応するクロマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出すること、を備え、ダウンサンプルされたルーマサンプルおよびそれに対応するクロマサンプルのそれぞれは、同じ行インデックスおよび同じ列インデックスを有し、
前記四つの隣接するダウンサンプルされたルーマサンプルおよび前記四つの対応するクロマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、
前記四つの隣接するダウンサンプルされたルーマサンプルからのより小さな二つのルーマサンプルxA0、xA1の加重平均のルーマ値xと、前記四つの隣接するダウンサンプルされたルーマサンプルからのより大きな二つのルーマサンプルxB0、xB1の加重平均のルーマ値xと、前記より小さな二つのルーマサンプルに対応する二つのクロマサンプルyA0、yA1の加重平均のクロマ値yと、前記より大きな二つのルーマサンプルに対応する二つのクロマサンプルyB0、yB1の加重平均のクロマ値yと、を用いることによって前記第1パラメータαおよび前記第2パラメータβを得ること、を備え、
、x、yおよびyは次式を用いることによって得られ、
【数1】

w1+w2=(1<<N1)、offset1=1<<(N1-1)、w3+w4=(1<<N2)、offset2=1<<(N2-1)であり、
w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数であり、N1は第1の平均値であり、N2は第2の平均値であり、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である、
ビデオコーディングのための方法。
【請求項2】
前記予測されたクロマサンプルを生成することは、
次式を用いて前記予測されたクロマサンプルを得ること、
【数2】
を備え、
pred(x,y)は、前記予測されたクロマサンプルであり、rec'(x,y)は前記CUのダウンサンプルされた再構成されたルーマサンプルであり、xは行インデックスを示し、yは列インデックスを示す、
請求項1に記載の方法。
【請求項3】
隣接するクロマサンプルおよびそれらの対応するダウンサンプルされたルーマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、
次式を用いて前記第1パラメータαおよび前記第2パラメータβを得ること、
【数3】
を備え、
、x、y、およびyは、前記隣接するクロマサンプルおよびそれらの対応するダウンサンプルされたルーマサンプルの加重平均に基づいて導出される、請求項1に記載の方法。
【請求項4】
前記四つの隣接するダウンサンプルされたルーマサンプルおよび四つの対応するクロマサンプルは、
上の隣接するサンプルのうちの最も左のサンプルから幅の4分の1のサンプル、左の隣接するサンプルのうちの最も上のサンプルから高さの4分の1のサンプル、前記左の隣接するサンプルのうちの最も下のサンプル、および前記上の隣接するサンプルのうちの最も右のサンプルのセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の4分の1のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの4分の1のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の4分の3のサンプル、および前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの4分の3のサンプルのセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の1のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の3のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の5のサンプル、および前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の7のサンプルのセットと、
前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の1のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の3のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の5のサンプル、および前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の7のサンプルのセットと、
のうちの一つのセットを含む、
請求項2に記載の方法。
【請求項5】
コンピューティングデバイスであって、
少なくとも一つのプロセッサと、
1以上の前記プロセッサと接続された非一時的な記憶装置と、
前記非一時的な記憶装置に格納され、前記プロセッサによって実行されると前記コンピューティングデバイスに以下を含む動作を行わせる、複数のプログラムと、
備え、
前記動作は、
コーディングユニット(CU)の複数の隣接する再構成されたルーマサンプルおよびクロマサンプルを用いることによってクロスコンポーネント線形モデル(CCLM)モードに対する第1パラメータαおよび第2パラメータβを導出することと、
前記第1パラメータαおよび前記第2パラメータβを用いることによって前記CUにおける予測されたクロマサンプルを生成することと、
を備え、
前記第1パラメータαおよび前記第2パラメータβを導出することは、四つの隣接するダウンサンプルされたルーマサンプルおよび四つの対応するクロマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出すること、を備え、ダウンサンプルされたルーマサンプルおよびそれに対応するクロマサンプルのそれぞれは、同じ行インデックスおよび同じ列インデックスを有し、
前記四つの隣接するダウンサンプルされたルーマサンプルおよび前記四つの対応するクロマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、
前記四つの隣接するダウンサンプルされたルーマサンプルからのより小さな二つのルーマサンプルxA0、xA1の加重平均のルーマ値xと、前記四つの隣接するダウンサンプルされたルーマサンプルからのより大きな二つのルーマサンプルxB0、xB1の加重平均のルーマ値xと、前記より小さな二つのルーマサンプルに対応する二つのクロマサンプルyA0、yA1の加重平均のクロマ値yと、前記より大きな二つのルーマサンプルに対応する二つのクロマサンプルyB0、yB1の加重平均のクロマ値yと、を用いることによって前記第1パラメータαおよび前記第2パラメータβを得ること、を備え、
、x、yおよびyは次式を用いることによって得られ、
【数4】

w1+w2=(1<<N1)、offset1=1<<(N1-1)、w3+w4=(1<<N2)、offset2=1<<(N2-1)であり、
w1は第1の重み付け係数であり、w2は第2の重み付け係数であり、w3は第3の重み付け係数であり、w4は第4の重み付け係数であり、N1は第1の平均値であり、N2は第2の平均値であり、offset1は第1のオフセット係数であり、offset2は第2のオフセット係数である、
コンピューティングデバイス。
【請求項6】
前記予測されたクロマサンプルを生成することは、
次式を用いて前記予測されたクロマサンプルを得ること、
【数5】
を備え、
pred(x,y)は、前記予測されたクロマサンプルであり、rec’(x,y)は前記CUのダウンサンプルされた再構成されたルーマサンプルであり、xは行インデックスを示し、yは列インデックスを示す、
請求項5に記載のコンピューティングデバイス。
【請求項7】
隣接する再構成されたクロマサンプルおよびそれらの対応するルーマサンプルを用いることによって前記第1パラメータαおよび前記第2パラメータβを導出することは、
次式を用いて前記第1パラメータαおよび前記第2パラメータβを得ること、
【数6】
を備え、
、x、y、およびyは、前記隣接するクロマサンプルおよびそれらの対応するダウンサンプルされたルーマサンプルの加重平均に基づいて導出される、
請求項5に記載のコンピューティングデバイス。
【請求項8】
前記四つの隣接するダウンサンプルされたルーマサンプルおよび四つの対応するクロマサンプルは、
上の隣接するサンプルのうちの最も左のサンプルから幅の4分の1のサンプル、左の隣接するサンプルのうちの最も上のサンプルから高さの4分の1のサンプル、前記左の隣接するサンプルのうちの最も下のサンプル、および前記上の隣接するサンプルのうちの最も右のサンプルのセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の4分の1のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの4分の1のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の4分の3のサンプル、および前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの4分の3のサンプルのセットと、
前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の1のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の3のサンプル、前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の5のサンプル、および前記上の隣接するサンプルのうちの前記最も左のサンプルから幅の8分の7のサンプルのセットと、
前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の1のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の3のサンプル、前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の5のサンプル、および前記左の隣接するサンプルのうちの前記最も上のサンプルから高さの8分の7のサンプルのセットと、
のうちの一つのセットを含む、
請求項6に記載のコンピューティングデバイス。
【請求項9】
コンピューティングデバイスの少なくとも一つのプロセッサによって実行されたときに、前記コンピューティングデバイスに請求項1ないし4のいずれか一項に記載の方法を実行させる少なくとも一つのプログラム、
を格納したコンピュータが読み込み可能な記憶媒体。
【請求項10】
少なくとも一つのプロセッサによって実行されたときに、前記少なくとも一つのプロセッサに請求項1ないし4のいずれか一項に記載の方法を実行させる少なくとも一つの指示、
を備えるコンピュータプログラム。
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図15
【補正方法】変更
【補正の内容】
図15
【外国語明細書】