(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-11
(45)【発行日】2024-10-22
(54)【発明の名称】ビデオ符号器、ビデオ復号器、並びに対応する符号化及び復号化方法
(51)【国際特許分類】
H04N 19/593 20140101AFI20241015BHJP
H04N 19/11 20140101ALI20241015BHJP
H04N 19/176 20140101ALI20241015BHJP
H04N 19/186 20140101ALI20241015BHJP
【FI】
H04N19/593
H04N19/11
H04N19/176
H04N19/186
【外国語出願】
(21)【出願番号】P 2023203937
(22)【出願日】2023-12-01
(62)【分割の表示】P 2021502477の分割
【原出願日】2019-07-16
【審査請求日】2023-12-28
(32)【優先日】2018-07-16
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2018-07-17
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】HUAWEI TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Huawei Administration Building, Bantian, Longgang District, Shenzhen, Guangdong 518129, P.R. China
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】マー,シアーン
(72)【発明者】
【氏名】ジャオ,イン
(72)【発明者】
【氏名】ヤーン,ハイタオ
(72)【発明者】
【氏名】チェン,ジエンローァ
【審査官】岩井 健二
(56)【参考文献】
【文献】米国特許出願公開第2018/0077426(US,A1)
【文献】米国特許出願公開第2017/0359597(US,A1)
【文献】米国特許出願公開第2015/0365684(US,A1)
【文献】国際公開第2020/014563(WO,A1)
【文献】国際公開第2018/118940(WO,A1)
【文献】国際公開第2017/140211(WO,A1)
【文献】LAROCHE, Guillaume et al.,Non-CE3: On Cross-Component Linear Model Simplification,JVET-K0204 (version 3),ITU,2018年07月12日,pp.1-3
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、
選択されたイントラ予測モデルを示す情報を取得するようビットストリームに対してエントロピ復号化を実行することと、
クロマブロックに対応するルーマブロックを決定することと、
再構成された近傍ルーマサンプルのダウンサンプリングされたサンプルの組を決定することであり、前記選択されたイントラ予測モードはクロスコンポーネントイントラ予測_A(CCIP_A)モードであり、前記CCIP_Aモードの場合に、前記再構成された近傍ルーマサンプルは、前記ルーマブロックの左にある複数の再構成されたルーマサンプルを含まずに、前記ルーマブロックの上にある複数の再構成されたルーマサンプルを有する、ことと、
前記組の中のN個のダウンサンプリングされた近傍ルーマサンプルと、前記N個のダウンサンプリングされた近傍ルーマサンプルに対応するN個の再構成された近傍クロマサンプルとを用いて、ルーマ値及びクロマ値の第1対を計算することであり、Nは1よりも大きい正の整数であり、前記N個のダウンサンプリングされた近傍ルーマサンプルの最小値は、前記N個のダウンサンプリングされた近傍ルーマサンプルとは異なる前記組の中の第1の残りダウンサンプリングされたルーマサンプルの各々のルーマ値以上である、ことと、
前記組の中のM個のダウンサンプリングされた近傍ルーマサンプルと、前記M個のダウンサンプリングされた近傍ルーマサンプルに対応するM個の再構成された近傍クロマサンプルとを用いて、ルーマ値及びクロマ値の第2対を計算することであり、Mは1よりも大きい正の整数であり、前記M個のダウンサンプリングされた近傍ルーマサンプルの最大値は、前記M個のダウンサンプリングされた近傍ルーマサンプルとは異なる前記組の中の第2の残りダウンサンプリングされたルーマサンプルの各々のルーマ値以下である、ことと、
ルーマ値及びクロマ値の前記第1対及びルーマ値及びクロマ値の前記第2対に基づいて1つの線形モデルの1つ以上のパラメータを決定することと、
前記線形モデルの前記1つ以上のパラメータに基づいて前記クロマブロックの予測ブロックを決定することと、
前記予測ブロックに基づいて前記クロマブロックを再構成することと
を有する方法。
【請求項2】
前記再構成された近傍ルーマサンプルのダウンサンプリングされたサンプルの組は、前記N個のダウンサンプリングされた近傍ルーマサンプルと、前記M個のダウンサンプリングされた近傍ルーマサンプルとから成り、
NとMとの和は、前記組に含まれているダウンサンプリングされた近傍ルーマサンプルの総数に等しい、
請求項1に記載の方法。
【請求項3】
ルーマ値及びクロマ値の前記第1対のうちのルーマ値は、前記N個のダウンサンプリングされた近傍ルーマサンプルの平均ルーマ値であり、
ルーマ値及びクロマ値の前記第1対のうちのクロマ値は、前記N個のダウンサンプリングされた近傍ルーマサンプルに対応する前記N個の再構成された近傍クロマサンプルの平均クロマ値であり、
ルーマ値及びクロマ値の前記第2対のうちのルーマ値は、前記M個のダウンサンプリングされた近傍ルーマサンプルの平均ルーマ値であり、
ルーマ値及びクロマ値の前記第2対のうちのクロマ値は、前記M個のダウンサンプリングされた近傍ルーマサンプルに対応する前記M個の再構成された近傍クロマサンプルの平均クロマ値である、
請求項1又は2に記載の方法。
【請求項4】
M及びNは等しい、
請求項1乃至3のうちいずれか一項に記載の方法。
【請求項5】
M=N=2である、
請求項4に記載の方法。
【請求項6】
前記再構成された近傍ルーマサンプルは、
前記ルーマブロックの外の右上近傍ルーマサンプル、及び前記ルーマブロックの外の前記右上近傍ルーマサンプルの右にあるルーマサンプルを有する、
請求項1乃至5のうちいずれか一項に記載の方法。
【請求項7】
前記ルーマブロックの上にある前記複数の再構成されたルーマサンプルは、各々の上境界に近接する再構成された近傍ルーマサンプルである、
請求項1乃至6のうちいずれか一項に記載の方法。
【請求項8】
前記再構成された近傍ルーマサンプルは、前記ルーマブロックの外の左上近傍ルーマサンプルの上にあるルーマサンプルを除く、
請求項1乃至7のうちいずれか一項に記載の方法。
【請求項9】
前記再構成された近傍ルーマサンプルの前記ダウンサンプリングされたサンプルの組は、前記再構成された近傍ルーマサンプルに対するダウンサンプリングによって取得される、
請求項1乃至8のうちいずれか一項に記載の方法。
【請求項10】
ビデオデータを符号化する方法であって、
クロマブロックに対応するルーマブロックを決定することと、
再構成された近傍ルーマサンプルのダウンサンプリングされたサンプルの組を決定することと、
前記組の中のN個のダウンサンプリングされた近傍ルーマサンプルと、前記N個のダウンサンプリングされた近傍ルーマサンプルに対応するN個の再構成された近傍クロマサンプルとを用いて、ルーマ値及びクロマ値の第1対を計算することであり、Nは1よりも大きい正の整数であり、前記N個のダウンサンプリングされた近傍ルーマサンプルの最小値は、前記N個のダウンサンプリングされた近傍ルーマサンプルとは異なる前記組の中の第1の残りダウンサンプリングされたルーマサンプルの各々のルーマ値以上である、ことと、
前記組の中のM個のダウンサンプリングされた近傍ルーマサンプルと、前記M個のダウンサンプリングされた近傍ルーマサンプルに対応するM個の再構成された近傍クロマサンプルとを用いて、ルーマ値及びクロマ値の第2対を計算することであり、Mは1よりも大きい正の整数であり、前記M個のダウンサンプリングされた近傍ルーマサンプルの最大値は、前記M個のダウンサンプリングされた近傍ルーマサンプルとは異なる前記組の中の第2の残りダウンサンプリングされたルーマサンプルの各々のルーマ値以下である、ことと、
ルーマ値及びクロマ値の前記第1対及びルーマ値及びクロマ値の前記第2対に基づいて1つの線形モデルの1つ以上のパラメータを決定することと、
前記線形モデルの前記1つ以上のパラメータに基づいて前記クロマブロックの予測ブロックを決定することと、
選択されたイントラ予測モードを示す情報をビットストリームに符号化することであり、前記選択されたイントラ予測モードはクロスコンポーネントイントラ予測_A(CCIP_A)モードであり、前記CCIP_Aモードの場合に、前記再構成された近傍ルーマサンプルは、前記ルーマブロックの左にある複数の再構成されたルーマサンプルを含まずに、前記ルーマブロックの上にある複数の再構成されたルーマサンプルを有する、ことと
を有する方法。
【請求項11】
前記再構成された近傍ルーマサンプルのダウンサンプリングされたサンプルの組は、前記N個のダウンサンプリングされた近傍ルーマサンプルと、前記M個のダウンサンプリングされた近傍ルーマサンプルとから成り、
NとMとの和は、前記組に含まれているダウンサンプリングされた近傍ルーマサンプルの総数に等しい、
請求項10に記載の方法。
【請求項12】
ルーマ値及びクロマ値の前記第1対のうちのルーマ値は、前記N個のダウンサンプリングされた近傍ルーマサンプルの平均ルーマ値であり、
ルーマ値及びクロマ値の前記第1対のうちのクロマ値は、前記N個のダウンサンプリングされた近傍ルーマサンプルに対応する前記N個の再構成された近傍クロマサンプルの平均クロマ値であり、
ルーマ値及びクロマ値の前記第2対のうちのルーマ値は、前記M個のダウンサンプリングされた近傍ルーマサンプルの平均ルーマ値であり、
ルーマ値及びクロマ値の前記第2対のうちのクロマ値は、前記M個のダウンサンプリングされた近傍ルーマサンプルに対応する前記M個の再構成された近傍クロマサンプルの平均クロマ値である、
請求項10又は11に記載の方法。
【請求項13】
M及びNは等しい、
請求項10乃至12のうちいずれか一項に記載の方法。
【請求項14】
M=N=2である、
請求項13に記載の方法。
【請求項15】
前記再構成された近傍ルーマサンプルは、
前記ルーマブロックの外の右上近傍ルーマサンプル、及び前記ルーマブロックの外の前記右上近傍ルーマサンプルの右にあるルーマサンプルを有する、
請求項10乃至14のうちいずれか一項に記載の方法。
【請求項16】
前記ルーマブロックの上にある前記複数の再構成されたルーマサンプルは、各々の上境界に近接する再構成された近傍ルーマサンプルである、
請求項10乃至15のうちいずれか一項に記載の方法。
【請求項17】
前記再構成された近傍ルーマサンプルは、前記ルーマブロックの外の左上近傍ルーマサンプルの上にあるルーマサンプルを除く、
請求項10乃至16のうちいずれか一項に記載の方法。
【請求項18】
前記再構成された近傍ルーマサンプルの前記ダウンサンプリングされたサンプルの組は、前記再構成された近傍ルーマサンプルに対するダウンサンプリングによって取得される、
請求項10乃至17のうちいずれか一項に記載の方法。
【請求項19】
命令を有するメモリストレージと、
前記メモリストレージと通信する1つ以上のプロセッサと、を有し、
前記1つ以上のプロセッサは、前記命令を実行することによって、請求項1乃至9のうちいずれか一項に記載の方法を実行する、
復号化装置。
【請求項20】
命令を有するメモリストレージと、
前記メモリストレージと通信する1つ以上のプロセッサと
を有し、
前記1つ以上のプロセッサは、前記命令を実行することによって、請求項10乃至18のうちいずれか一項に記載の方法を実行する、
符号化装置。
【請求項21】
デバイス内のプロセッサによって実行される場合に、前記デバイスに、請求項1乃至18のうちいずれかに記載の方法を実行させる命令を記憶しているコンピュータプログラム。
【請求項22】
ビデオデータの符号化されたビットストリームを伝送するシステムであって、
ビットストリームを記憶するよう構成される記憶モジュールと、
前記ビットストリームをあて先デバイスへ送信するよう構成されるトランシーバモジュールと、を有し
前記ビットストリームは、クロマブロックのための選択されたイントラ予測モードを示す情報を含み、前記選択されたイントラ予測モードは、クロスコンポーネントイントラ予測(CCIP_A)モードであり、
再構成された近傍ルーマサンプルのダウンサンプリングされたサンプルの組が決定され、前記CCIP_Aモードの場合に、前記再構成された近傍ルーマサンプルは、前記クロマブロックに対応するルーマブロックの左にある複数の再構成されたルーマサンプルを含まずに、前記ルーマブロックの上にある複数の再構成されたルーマサンプルを有し、
ルーマ値及びクロマ値の第1対は、前記組の中のN個のダウンサンプリングされた近傍ルーマサンプルと、前記N個のダウンサンプリングされた近傍ルーマサンプルに対応するN個の再構成された近傍クロマサンプルとを用いて計算され、Nは1よりも大きい正の整数であり、前記N個のダウンサンプリングされた近傍ルーマサンプルの最小値は、前記N個のダウンサンプリングされた近傍ルーマサンプルとは異なる前記組の中の第1の残りダウンサンプリングされたルーマサンプルの各々のルーマ値以上であり、
ルーマ値及びクロマ値の第2対は、前記組の中のM個のダウンサンプリングされた近傍ルーマサンプルと、前記M個のダウンサンプリングされた近傍ルーマサンプルに対応するM個の再構成された近傍クロマサンプルとを用いて計算され、Mは1よりも大きい正の整数であり、前記M個のダウンサンプリングされた近傍ルーマサンプルの最大値は、前記M個のダウンサンプリングされた近傍ルーマサンプルとは異なる前記組の中の第2の残りダウンサンプリングされたルーマサンプルの各々のルーマ値以下であり、
1つの線形モデルの1つ以上のパラメータは、ルーマ値及びクロマ値の前記第1対及びルーマ値及びクロマ値の前記第2対に基づいて決定され、
前記クロマブロックの予測ブロックは、前記線形モデルの前記1つ以上のパラメータに基づいて決定される、
システム。
【請求項23】
前記ビットストリームは通信プロトコルに従って変調され、該変調されたビットストリームは前記あて先デバイスへ送信される、
請求項22に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、ビデオデータ符号化及び復号化技術に概して関係があり、クロスコンポーネント線形モデル(CCLM)を使用するイントラ予測のための技術に特に関係がある。
【背景技術】
【0002】
デジタルビデオは、デジタル・バーサタイル・ディスク(DVD)の導入以来、広く使用されている。DVDを用いてビデオプログラムを分配することに加えて、今日、ビデオプログラムは、有線コンピュータネットワーク(例えば、インターネット)又は無線通信ネットワークを用いて伝送可能である。伝送媒体を用いてビデオデータを伝送する前に、ビデオは符号化される。見る者は、符号化されたビデオを受け取り、視聴装置を用いてビデオを復号し表示する。長年にわたって、例えば、より高い解像度、色深度、及びフレームレートのために、ビデオの品質は改善してきた。伝送されたビデオデータの改善された品質は、より大きいデータストリームをもたらしており、より大きいデータストリームは、今日、一般的に、インターネット及び移動体通信ネットワークにわたって運ばれる。
【0003】
より高い解像度のビデオは、それらがより多くの情報を運ぶということで、より広い帯域幅を通常は必要とする。帯域幅要求を低減するために、ビデオの圧縮を伴うビデオ符号化スキームが導入されている。ビデオが符号化される場合に、帯域幅要求(又は記憶の場合には、対応するメモリ要求)は、符号化されていないビデオと比較して低減される。しばしば、この低減は品質を犠牲にする。よって、ビデオ符号化標準規格では、帯域幅要求と品質との間のバランスを見つけようと努力がなされている。
【0004】
品質を改善しかつ帯域幅要求を低減することの継続的な必要性が存在するということで、帯域幅要求を低減しながら品質を維持し、又は帯域幅要求を維持しながら品質を改善する解決法が、絶え間なく追求されている。時々、その2つの間の妥協が受け入れられることがある。例えば、品質改善が重要である場合には、帯域幅要求を増大させることが受け入れられる可能性がある。
【0005】
High Efficiency Video Coding(HEVC)は、広く知られているビデオ符号化スキームである。HEVCにおいて、符号化ユニット(CU)は複数の予測ユニット(PU)又は変換ユニット(TU)に分割される。次世代のビデオ符号化標準規格であるVersatile Video Coding(VVC)標準規格は、International Telecommunication Union Telecommunication Standardization Sector(ITU-T)のVideo Coding Experts Group(VCEG)及びInternational Organization for Standardization/International Electrotechnical Commission(ISO/IEC)のMoving Picture Experts Group(MPEG)の最近の合同ビデオ符号化プロジェクトである。その2つの標準化組織は、Joint Video Exploration Team(JVET)として知られているパートナーシップにおいて協働している。VVC標準規格は、ITU-T H.266標準規格又はNext Generation Video Coding(NGVC)標準規格とも呼ばれる。VVC標準規格において、複数の分割タイプの概念、すなわち、CU、PU、及びTU概念の分割は、サイズが最大変換長に対して大きすぎるCUに必要な場合を除いて取り除かれ、VVCは、CU分割形状のより高い柔軟性をサポートする。
【発明の概要】
【0006】
本願の実施形態は、ビデオデータを符号化及び復号する装置及び方法を提供する。特に、ビデオコーディングメカニズムの部分としてイントラ予測によりクロマサンプルを予測するためにルーマサンプルを使用することによって、クロスコンポーネント線形モデルを使用するイントラ予測コーディングは、柔軟な方法で実現可能である。
【0007】
特定の実施形態は、添付の独立請求項において要点を述べられており、他の実施形態は、従属請求項において要点を述べられている。
【0008】
第1の態様に従って、本開示は、ビデオデータを復号する方法に関する。方法は、
クロマブロックに対応するルーマブロックを決定することと、
ダウンサンプリングされた再構成された隣接ルーマサンプルの組を決定することであり、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数のダウンサンプリングされた再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数のダウンサンプリングされた再構成されたルーマサンプルを有する、ことと、
M、Nが1よりも大きい正の整数であるとして、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプル及び最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定することと、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定することと、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定することと、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測復号することと
を有し、
線形モデル(LM)予測は、クロスコンポーネント線形モデル予測、多方向線形モデル(MDLM)及びMMLMを有する。
【0009】
そのようなものとして第1の態様に従う方法の可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、
ルーマブロックの外の右上隣接ルーマサンプル及びルーマブロックの外の右上隣接ルーマサンプルの右にあるルーマサンプルと、
ルーマブロックの外の左下隣接ルーマサンプル及びルーマブロックの外の左下隣接ルーマサンプルの下にあるルーマサンプルと
を更に有する。
【0010】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの上にある複数の再構成されたルーマサンプルは、各々の上境界に近接する再構成された隣接ルーマサンプルであり、ルーマブロックの左にある複数の再構成されたルーマサンプルは、各々の左境界に近接する再構成された隣接ルーマサンプルである。
【0011】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの外の左上隣接ルーマサンプルの上にあるルーマサンプル、及び/又はルーマブロックの外の左上隣接ルーマサンプルの左にあるルーマサンプルを除く。
【0012】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの左上ルーマサンプルの座標は(x0,y0)であり、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、x0よりも小さいx座標及びy0よりも小さいy座標を有するルーマサンプルを除く。
【0013】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、ルーマ値及びクロマ値の2つの対を決定するステップは、
ルーマ値及びクロマ値の第1の複数の対の夫々のクロマ値と、ルーマ値及びクロマ値の第2の複数の対の夫々のクロマ値との間のクロマ値差に基づいて、ルーマ値及びクロマ値の2つの対を決定(又は選択)することを有し、
ルーマ値及びクロマ値の第1の複数の対の夫々は、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルのうちの1つと、対応する再構成された隣接クロマサンプルとを有し、ルーマ値及びクロマ値の第2の複数の対の夫々は、最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルのうちの1つと、対応する再構成された隣接クロマサンプルとを有する。
【0014】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマ値及びクロマ値の第1対のうちのクロマ値と、ルーマ値及びクロマ値の第2対のうちのクロマ値との間には最小クロマ値差が存在し、最小クロマ値差を有するルーマ値及びクロマ値の第1対並びにルーマ値及びクロマ値の第2対が、ルーマ値及びクロマ値の2つの対として選択され、あるいは、
ルーマ値及びクロマ値の第3対のうちのクロマ値と、ルーマ値及びクロマ値の第4対のうちのクロマ値との間には最大クロマ値差が存在し、最大クロマ値差を有するルーマ値及びクロマ値の第3対並びにルーマ値及びクロマ値の第4対が、ルーマ値及びクロマ値の2つの対として選択される。例えば、ルーマ値及びクロマ値の第1対は、ルーマ値及びクロマ値の第1の複数の対に含まれる。例えば、ルーマ値及びクロマ値の第2対は、ルーマ値及びクロマ値の第2の複数の対に含まれる。例えば、ルーマ値及びクロマ値の第3対は、ルーマ値及びクロマ値の第1の複数の対に含まれる。例えば、ルーマ値及びクロマ値の第4対は、ルーマ値及びクロマ値の第2の複数の対に含まれる。
【0015】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、ルーマ値及びクロマ値の2つの対を決定するステップは、
ルーマ値及びクロマ値の第5対並びにルーマ値及びクロマ値の第6対をルーマ値及びクロマ値の2つの対として決定することを有し、
ルーマ値及びクロマ値の第5対のうちの対応するクロマ値は、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプルの平均クロマ値であり、ルーマ値及びクロマ値の第6対のうちの対応するクロマ値は、最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルの平均クロマ値である。ルーマ値及びクロマ値の第5対のうちのルーマ値は、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルの夫々のルーマ値である。ルーマ値及びクロマ値の第6対のうちのルーマ値は、最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルの夫々のルーマ値である。
【0016】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組と、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組とを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組は、閾値以下であるルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組は、閾値よりも大きいルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有する。
【0017】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、予測ブロックに基づいてクロマブロックをLM予測復号することは、クロマブロックを再構成するよう残差ブロックに予測ブロックを加えることを有する。
【0018】
そのようなものとして第1の態様又は第1の態様のいずれかの上記の実施に従う方法の可能な実施形態において、方法は、
ルーマブロック及びクロマブロックを含む現在のブロックのフラグを復号することを更に有し、
フラグは、クロマブロックに対してLM予測コーディングが有効であることを示し、フラグを復号することは、隣接ブロックに対してLM予測コーディングが有効であるかどうかを示す1つ以上のフラグを有するコンテキストに基づいて、フラグを復号することを有する。
【0019】
第2の態様に従って、本発明は、ビデオデータを復号する方法に関し、方法は、
クロマブロックに対応するルーマブロックを決定することと、
(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組を決定することであり、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の(ダウンサンプリングされた)再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の(ダウンサンプリングされた)再構成されたルーマサンプルを有する、ことと、
N個の(ダウンサンプリングされた)再構成されたルーマサンプル及びN個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又はM個の(ダウンサンプリングされた)再構成されたルーマサンプル及びM個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定することであり、N個の(ダウンサンプリングされた)再構成されたルーマサンプルの最小値は、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成されたルーマサンプルのルーマ値よりも小さくなく、M個の(ダウンサンプリングされた)再構成されたルーマサンプルの最大値は、(ダウンサンプリングされた)再構成されたルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成された隣接ルーマサンプルのルーマ値よりも大きくなく、M、Nは、1よりも大きい正の整数であり、すなわち、N個のダウンサンプリングされた再構成されたルーマサンプルのうちのいずれか1つのルーマ値は、M個のダウンサンプリングされた再構成されたルーマサンプルのうちのいずれか1つのルーマ値よりも大きく、N及びMの和は、ダウンサンプリングされた再構成された隣接ルーマサンプルの組の数以下である、ことと、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定することと、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定することと、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測復号することと
を有する。
【0020】
そのようなものとして第2の態様に従う方法の可能な実施形態において、ルーマ値及びクロマ値の2つの対を決定するステップは、
ルーマ値及びクロマ値の第7対並びにルーマ値及びクロマ値の第8対をルーマ値及びクロマ値の2つの対として決定することを有し、
ルーマ値及びクロマ値の第7対のうちのルーマ値は、N個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第7対のうちのクロマ値は、N個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプルの平均クロマ値であり、ルーマ値及びクロマ値の第8対のうちのルーマ値は、M個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第8対のうちのクロマ値は、M個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルの平均クロマ値である。
【0021】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマ値及びクロマ値の2つの対を決定するステップは、
ルーマ値及びクロマ値の第9対並びにルーマ値及びクロマ値の第10対をルーマ値及びクロマ値の2つの対として決定することを有し、
ルーマ値及びクロマ値の第9対のうちのルーマ値は、第1ルーマ値範囲内のN個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第9対のうちのクロマ値は、第1ルーマ値範囲内のN個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプルの平均クロマ値であり、
ルーマ値及びクロマ値の第10対のうちのルーマ値は、第2ルーマ値範囲内のM個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第10対のうちのクロマ値は、第2ルーマ値範囲内のM個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルの平均クロマ値であり、第1ルーマ値範囲のいずれの値も、第2ルーマ値範囲のいずれか1つよりも大きい。
【0022】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、第1ルーマ値は、[MaxlumaValue-T1,MaxlumaValue]の範囲内にあり、かつ/あるいは、第2ルーマ値は、[MinlumaValue,MinlumaValue+T2]の範囲内にあり、
MaxlumaValue及びMinlumaValueは夫々、ダウンサンプリングされた再構成された隣接ルーマサンプルの組の中の最大ルーマ値及び最小ルーマ値であり、T1、T2は、予め定義された閾値である。
【0023】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、M及びNは等しく、あるいは、等しくない。
【0024】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、M及びNは、ルーマブロックのブロックサイズに基づいて定義される。
【0025】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、M=(W+H)>>t、N=(W+H)>>rであり、t及びrは、右シフトビットの数である。
【0026】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、
ルーマブロックの外の右上隣接ルーマサンプル、及びルーマブロックの外の右上隣接ルーマサンプルの右にあるルーマサンプルと、
ルーマブロックの外の左下隣接ルーマサンプル、及びルーマブロックの外の左下隣接ルーマサンプルの下にあるルーマサンプル
を更に有する。
【0027】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの上にある複数の再構成されたルーマサンプルは、各々の上境界に近接する再構成された隣接ルーマサンプルであり、ルーマブロックの左にある複数の再構成されたルーマサンプルは、各々の左境界に近接する再構成された隣接ルーマサンプルである。
【0028】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの外の左上隣接ルーマサンプルの上にあるルーマサンプル、及び/又はルーマブロックの外の左上隣接ルーマサンプルの左にあるルーマサンプルを除く。
【0029】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの左上ルーマサンプルの座標は(x0,y0)であり、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、x0よりも小さいx座標及びy0よりも小さいy座標を有するルーマサンプルを除く。
【0030】
そのようなものとして第2の態様又は第2の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組と、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組とを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組は、閾値以下であるルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組は、閾値よりも大きいルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有する。
【0031】
第3の態様に従って、本発明は、ビデオデータを復号するデバイスに関し、デバイスは、
ビデオデータメモリと、
ビデオ復号器とを有し、ビデオ復号器は、
クロマブロックに対応するルーマブロックを決定し、
(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組を決定し、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の(ダウンサンプリングされた)再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の(ダウンサンプリングされた)再構成されたルーマサンプルを有し、
M、Nが1よりも大きい正の整数であるとして、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプル及び最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定し、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定し、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定し、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測復号する
よう構成される。
【0032】
そのようなものとして第3の態様に従うデバイスの可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、
ルーマブロックの外の右上隣接ルーマサンプル及びルーマブロックの外の右上隣接ルーマサンプルの右にあるルーマサンプルと、
ルーマブロックの外の左下隣接ルーマサンプル及びルーマブロックの外の左下隣接ルーマサンプルの下にあるルーマサンプルと
を更に有する。
【0033】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの上にある複数の再構成されたルーマサンプルは、各々の上境界に近接する再構成された隣接ルーマサンプルであり、ルーマブロックの左にある複数の再構成されたルーマサンプルは、各々の左境界に近接する再構成された隣接ルーマサンプルである。
【0034】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの外の左上隣接ルーマサンプルの上にあるルーマサンプル、及び/又はルーマブロックの外の左上隣接ルーマサンプルの左にあるルーマサンプルを除く。
【0035】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの左上ルーマサンプルの座標は(x0,y0)であり、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、x0よりも小さいx座標及びy0よりも小さいy座標を有するルーマサンプルを除く。
【0036】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、ルーマ値及びクロマ値の2つの対を決定するために、ビデオ復号器は、
ルーマ値及びクロマ値の第1の複数の対の夫々のクロマ値と、ルーマ値及びクロマ値の第2の複数の対の夫々のクロマ値との間のクロマ値差に基づいて、ルーマ値及びクロマ値の2つの対を決定(又は選択)するよう構成され、
ルーマ値及びクロマ値の第1の複数の対の夫々は、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルのうちの1つと、対応する再構成された隣接クロマサンプルとを有し、ルーマ値及びクロマ値の第2の複数の対の夫々は、最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルのうちの1つと、対応する再構成された隣接クロマサンプルとを有する。
【0037】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマ値及びクロマ値の第1対のうちのクロマ値と、ルーマ値及びクロマ値の第2対のうちのクロマ値との間には最小クロマ値差が存在し、最小クロマ値差を有するルーマ値及びクロマ値の第1対並びにルーマ値及びクロマ値の第2対が、ルーマ値及びクロマ値の2つの対として選択され、あるいは、
ルーマ値及びクロマ値の第3対のうちのクロマ値と、ルーマ値及びクロマ値の第4対のうちのクロマ値との間には最大クロマ値差が存在し、最大クロマ値差を有するルーマ値及びクロマ値の第3対並びにルーマ値及びクロマ値の第4対が、ルーマ値及びクロマ値の2つの対として選択される。例えば、ルーマ値及びクロマ値の第1対は、ルーマ値及びクロマ値の第1の複数の対に含まれる。例えば、ルーマ値及びクロマ値の第2対は、ルーマ値及びクロマ値の第2の複数の対に含まれる。例えば、ルーマ値及びクロマ値の第3対は、ルーマ値及びクロマ値の第1の複数の対に含まれる。例えば、ルーマ値及びクロマ値の第4対は、ルーマ値及びクロマ値の第2の複数の対に含まれる。
【0038】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、ルーマ値及びクロマ値の2つの対を決定するために、ビデオ復号器は、
ルーマ値及びクロマ値の第5対並びにルーマ値及びクロマ値の第6対をルーマ値及びクロマ値の2つの対として決定するよう構成され、
ルーマ値及びクロマ値の第5対のうちの対応するクロマ値は、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプルの平均クロマ値であり、ルーマ値及びクロマ値の第6対のうちの対応するクロマ値は、最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルの平均クロマ値である。ルーマ値及びクロマ値の第5対のうちのルーマ値は、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルの夫々のルーマ値である。ルーマ値及びクロマ値の第6対のうちのルーマ値は、最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルの夫々のルーマ値である。
【0039】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組と、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組とを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組は、閾値以下であるルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組は、閾値よりも大きいルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有する。
【0040】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、予測ブロックに基づいてクロマブロックをLM予測復号するために、ビデオ復号器は、クロマブロックを再構成するように残差ブロックに予測ブロックを加えるよう構成される。
【0041】
そのようなものとして第3の態様又は第3の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ビデオ復号器は、
ルーマブロック及びクロマブロックを含む現在のブロックのフラグを復号するよう構成され、
フラグは、クロマブロックに対してLM予測コーディングが有効であることを示し、フラグを復号することは、隣接ブロックに対してLM予測コーディングが有効であるかどうかを示す1つ以上のフラグを有するコンテキストに基づいて、フラグを復号することを有する。
【0042】
第4の態様に従って、本発明は、ビデオデータを復号するデバイスに関し、デバイスは、
ビデオデータメモリと、ビデオ復号器とを有し、
ビデオ復号器は、
クロマブロックに対応するルーマブロックを決定し、
(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組を決定し、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の(ダウンサンプリングされた)再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の(ダウンサンプリングされた)再構成されたルーマサンプルを有し、
N個の(ダウンサンプリングされた)再構成されたルーマサンプル及びN個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又はM個の(ダウンサンプリングされた)再構成されたルーマサンプル及びM個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定し、N個の(ダウンサンプリングされた)再構成されたルーマサンプルの最小値は、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成されたルーマサンプルのルーマ値よりも小さくなく、M個の(ダウンサンプリングされた)再構成されたルーマサンプルの最大値は、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成されたルーマサンプルのルーマ値よりも大きくなく、M、Nは、1よりも大きい正の整数であり、すなわち、N個のダウンサンプリングされた再構成されたルーマサンプルのうちのいずれか1つのルーマ値は、M個のダウンサンプリングされた再構成されたルーマサンプルのうちのいずれか1つのルーマ値よりも大きく、N及びMの和は、ダウンサンプリングされた再構成された隣接ルーマサンプルの組の数以下であり、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定し、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定し、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測復号する
よう構成される。
【0043】
そのようなものとして第4の態様に従う方法の可能な実施形態において、ルーマ値及びクロマ値の2つの対を決定するために、ビデオ復号器は、
ルーマ値及びクロマ値の第7対並びにルーマ値及びクロマ値の第8対をルーマ値及びクロマ値の2つの対として決定するよう構成され、
ルーマ値及びクロマ値の第7対のうちのルーマ値は、N個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第7対のうちのクロマ値は、N個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプルの平均クロマ値であり、
ルーマ値及びクロマ値の第8対のうちのルーマ値は、M個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第8対のうちのクロマ値は、M個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルの平均クロマ値である。
【0044】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマ値及びクロマ値の2つの対を決定するために、ビデオ復号器は、
ルーマ値及びクロマ値の第9対並びにルーマ値及びクロマ値の第10対をルーマ値及びクロマ値の2つの対として決定するよう構成され、
ルーマ値及びクロマ値の第9対のうちのルーマ値は、第1ルーマ値範囲内のN個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第9対のうちのクロマ値は、第1ルーマ値範囲内のN個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプルの平均クロマ値であり、
ルーマ値及びクロマ値の第10対のうちのルーマ値は、第2ルーマ値範囲内のM個の(ダウンサンプリングされた)再構成されたルーマサンプルの平均ルーマ値であり、ルーマ値及びクロマ値の第10対のうちのクロマ値は、第2ルーマ値範囲内のM個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルの平均クロマ値であり、第1ルーマ値範囲のいずれの値も、第2ルーマ値範囲のいずれか1つよりも大きい。
【0045】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、第1ルーマ値は、[MaxlumaValue-T1,MaxlumaValue]の範囲内にあり、かつ/あるいは、第2ルーマ値は、[MinlumaValue,MinlumaValue+T2]の範囲内にあり、MaxlumaValue及びMinlumaValueは夫々、ダウンサンプリングされた再構成された隣接ルーマサンプルの組の中の最大ルーマ値及び最小ルーマ値であり、T1、T2は、予め定義された閾値である。
【0046】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、M及びNは等しく、あるいは、等しくない。
【0047】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、M及びNは、ルーマブロックのブロックサイズに基づいて定義される。
【0048】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、M=(W+H)>>t、N=(W+H)>>rであり、t及びrは、右シフトビットの数である。
【0049】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、
ルーマブロックの外の右上隣接ルーマサンプル、及びルーマブロックの外の右上隣接ルーマサンプルの右にあるルーマサンプルと、
ルーマブロックの外の左下隣接ルーマサンプル、及びルーマブロックの外の左下隣接ルーマサンプルの下にあるルーマサンプル
を更に有する。
【0050】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの上にある複数の再構成されたルーマサンプルは、各々の上境界に近接する再構成された隣接ルーマサンプルであり、ルーマブロックの左にある複数の再構成されたルーマサンプルは、各々の左境界に近接する再構成された隣接ルーマサンプルである。
【0051】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの外の左上隣接ルーマサンプルの上にあるルーマサンプル、及び/又はルーマブロックの外の左上隣接ルーマサンプルの左にあるルーマサンプルを除く。
【0052】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ルーマブロックの左上ルーマサンプルの座標は(x0,y0)であり、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、x0よりも小さいx座標及びy0よりも小さいy座標を有するルーマサンプルを除く。
【0053】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組と、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組とを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第1の組は、閾値以下であるルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有し、ダウンサンプリングされた再構成された隣接ルーマサンプルの第2の組は、閾値よりも大きいルーマ値を有するダウンサンプリングされた再構成された隣接ルーマサンプルを有する。
【0054】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、予測ブロックに基づいてクロマブロックをLM予測復号するために、ビデオ復号器は、クロマブロックを再構成するように残差ブロックに予測ブロックを加えるよう構成される。
【0055】
そのようなものとして第4の態様又は第4の態様のいずれかの上記の実施に従う方法の可能な実施形態において、ビデオ復号器は、
ルーマブロック及びクロマブロックを含む現在のブロックのフラグを復号するよう構成され、
フラグは、クロマブロックに対してLM予測コーディングが有効であることを示し、フラグを復号することは、隣接ブロックに対してLM予測コーディングが有効であるかどうかを示す1つ以上のフラグを有するコンテキストに基づいて、フラグを復号することを有する。
【0056】
本発明の第1の態様に従う方法は、本発明の第3の態様に従うデバイスによって実行可能である。本発明の第3の態様に従うデバイスの更なる特徴及び実施形態は、本発明の第1の態様に従う方法の特徴及び実施形態に対応する。
【0057】
本発明の第2の態様に従う方法は、本発明の第4の態様に従うデバイスによって実行可能である。本発明の第4の態様に従うデバイスの更なる特徴及び実施形態は、本発明の第2の態様に従う方法の特徴及び実施形態に対応する。
【0058】
第5の態様に従って、本発明は、ビデオデータを符号化する方法に関し、方法は、
クロマブロックに対応するルーマブロックを決定することと、
ダウンサンプリングされた再構成された隣接ルーマサンプルの組を決定することであり、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数のダウンサンプリングされた再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数のダウンサンプリングされた再構成されたルーマサンプルを有する、ことと、
M、Nが1よりも大きい正の整数であるとして、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプル及び最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定することと、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定することと、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定することと、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測符号化することと
を有する。
【0059】
第6の態様に従って、本発明は、ビデオデータを符号化する方法に関し、方法は、
クロマブロックに対応するルーマブロックを決定することと、
(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組を決定することであり、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の(ダウンサンプリングされた)再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の(ダウンサンプリングされた)再構成されたルーマサンプルを有する、ことと、
N個の(ダウンサンプリングされた)再構成されたルーマサンプル及びN個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又はM個の(ダウンサンプリングされた)再構成されたルーマサンプル及びM個の(ダウンサンプリングされた)ルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定することであり、N個の(ダウンサンプリングされた)再構成されたルーマサンプルの最小値は、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成されたルーマサンプルのルーマ値よりも小さくなく、M個の(ダウンサンプリングされた)再構成されたルーマサンプルの最大値は、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成されたルーマサンプルのルーマ値よりも大きくなく、M、Nは、1よりも大きい正の整数であり、すなわち、N個のダウンサンプリングされた再構成されたルーマサンプルのうちのいずれか1つのルーマ値は、M個のダウンサンプリングされた再構成されたルーマサンプルのうちのいずれか1つのルーマ値よりも大きく、N及びMの和は、ダウンサンプリングされた再構成された隣接ルーマサンプルの組の数以下である、ことと、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定することと、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定することと、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測符号化することと
を有する。
【0060】
第7の態様に従って、本発明は、ビデオデータを符号化するデバイスに関し、デバイスは、
ビデオデータメモリと、
ビデオ符号器とを有し、ビデオ符号器は、
クロマブロックに対応するルーマブロックを決定し、
ダウンサンプリングされた再構成された隣接ルーマサンプルの組を決定し、ダウンサンプリングされた再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数のダウンサンプリングされた再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数のダウンサンプリングされた再構成されたルーマサンプルを有し、
M、Nが1よりも大きい正の整数であるとして、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルが、ダウンサンプリングされた再構成された隣接ルーマサンプルの組に含まれる場合に、最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプル及び最大値を有するN個のダウンサンプリングされた再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又は最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプル及び最小値を有するM個のダウンサンプリングされた再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定し、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定し、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定し、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測符号化する
よう構成される。
【0061】
第8の態様に従って、本発明は、ビデオデータを符号化するデバイスに関し、デバイスは、
ビデオデータメモリと、
ビデオ符号器とを有し、ビデオ符号器は、
クロマブロックに対応するルーマブロックを決定し、
(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組を決定し、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の(ダウンサンプリングされた)再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の(ダウンサンプリングされた)再構成されたルーマサンプルを有し、
N個の(ダウンサンプリングされた)再構成されたルーマサンプル及びN個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するN個の再構成されたクロマサンプル、並びに/又はM個の(ダウンサンプリングされた)再構成されたルーマサンプル及びM個の(ダウンサンプリングされた)再構成されたルーマサンプルに対応するM個の再構成されたクロマサンプルに従って、ルーマ値及びクロマ値の2つの対を決定し、N個の(ダウンサンプリングされた)再構成されたルーマサンプルの最小値は、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成されたルーマサンプルのルーマ値よりも小さくなく、M個の(ダウンサンプリングされた)再構成されたルーマサンプルの最大値は、(ダウンサンプリングされた)再構成された隣接ルーマサンプルの組のうちの残りの(ダウンサンプリングされた)再構成されたルーマサンプルのルーマ値よりも大きくなく、M、Nは、1よりも大きい正の整数であり、
ルーマ値及びクロマ値の決定された2つの対に基づいて1つ以上の線形モデルパラメータを決定し、
1つ以上の線形モデルパラメータに基づいて予測ブロックを決定し、
予測ブロックに基づいてクロマブロックを線形モデル(LM)予測符号化する
よう構成される。
【0062】
いずれかの上記の態様に従う符号化デバイスは、いずれかの上記の態様に従う符号化デバイスの更なる実施を導出するよう、対応する上記の態様又はその実施に従う符号化方法の特徴によって更に拡張可能である。
【0063】
いずれかの上記の多様に従う符号化方法は、いずれかの上記の態様に従う符号化方法の更なる実施を導出するよう、対応する上記の態様又はその実施に従う復号化方法の特徴によって更に拡張可能である。
【0064】
プロセッサで実行される場合に、プロセッサに、そのようなものとしていずれかの上記の態様又はいずれかの上記の態様のいずれかの上記の実施に従ういずれかの上記の方法を実行させる命令を記憶しているコンピュータ可読媒体が提供される。
【0065】
復号化装置が提供され、復号化装置は、そのようなものとしていずれかの上記の態様又はいずれかの上記の態様のいずれかの上記の実施に従う上記の方法のステップの少なくとも一部を実行するためのモジュール/ユニット/コンポーネント/回路を有する。
【0066】
復号化装置が提供され、復号化装置は、命令を記憶しているメモリと、メモリへ結合されたプロセッサとを有し、プロセッサは、プロセッサに、そのようなものとしていずれかの上記の態様又はいずれかの上記の態様のいずれかの上記の実施に従う上記の方法を実行させるように、メモリに記憶されている命令を実行するよう構成される。
【0067】
コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体にはプログラムが記録されており、プログラムは、コンピュータに、そのようなものとしていずれかの上記の態様又はいずれかの上記の態様のいずれかの上記の実施に従う方法を実行させる。
【0068】
コンピュータプログラムが提供され、コンピュータプログラムは、コンピュータに、そのようなものとしていずれかの上記の態様又はいずれかの上記の態様のいずれかの上記の実施に従う方法を実行させるよう構成される。
【0069】
明りょうさのために、上記の実施形態のうちのいずれか1つは、本開示の範囲内で新しい実施形態を作り出すよう、他の上記の実施形態のうちのいずれか1つ以上と組み合わされてよい。
【0070】
これら及び他の特徴は、添付の図面及び特許請求の範囲とともに検討される以下の詳細な説明から、より明りょうに理解されるだろう。
【0071】
以下は、本願の実施形態を記載する際に使用される添付の図面の簡単な説明である。
【図面の簡単な説明】
【0072】
【
図1A】本開示の実施形態が実施され得るビデオデータコーディングシステムのブロック図である。
【
図1B】本開示の実施形態が実施され得る他のビデオデータコーディングシステムのブロック図である。
【
図2】本開示の実施形態が実施され得るビデオデータ符号器のブロック図である。
【
図3】本開示の実施形態が実施され得るビデオデータ復号器のブロック図である。
【
図4】本開示の実施形態に従うビデオコーディングデバイスの概略図である。
【
図5】本開示の様々な実施形態が実施され得るビデオデータコーディング装置の略ブロック図である。
【
図6】H.265/HEVCのイントラ予測モードの実例である。
【
図8】ルーマ及びクロマサンプルの公称の垂直及び水平相対位置を表す概念図である。
【
図9】
図9A及び
図9Bを含み、クロスコンポーネント線形モデル(CCLM)イントラ予測を実行するメカニズムの例を表す概略図である。
図9Aは、共在ルーマブロックの隣接する再構成されたピクセルの例を表す。
図9Bは、クロマブロックの隣接する再構成されたピクセルの例を表す。
【
図10】予測ブロックを生成するためのルーマブロックのダウンサンプリングサンプルのルーマ位置及びクロマ位置の例を表す概念図である。
【
図11】予測ブロックを生成するためのルーマブロックのダウンサンプリングサンプルのルーマ位置及びクロマ位置の他の例を表す概念図である。
【
図12】クロスコンポーネントイントラ予測をサポートするためのダウンサンプリングのメカニズムの例を表す概略図である。
【
図13】クロスコンポーネントイントラ予測をサポートするためのダウンサンプリングのメカニズムの例を表す概略図である。
【
図14】クロスコンポーネントイントラ予測をサポートするためのダウンサンプリングのメカニズムの例を表す概略図である。
【
図15】クロスコンポーネントイントラ予測をサポートするためのダウンサンプリングのメカニズムの例を表す概略図である。
【
図16】最小及び最大ルーマ値の間の直線の実例である。
【
図17】クロスコンポーネントイントラ予測_A(CCIP_A)モードの実例である。
【
図18】クロスコンポーネントイントラ予測_L(CCIP_L)モードの実例である。
【
図19】多重モデルCCLM(MMLM)イントラ予測をサポートするよう線形モデルパラメータを決定するメカニズムの例を表すグラフである。
【
図20】クロスコンポーネントイントラ予測をサポートするよう隣接する上及び左サンプルを使用するメカニズムの例を表す概略図である。
【
図21】クロスコンポーネントイントラ予測をサポートするよう拡張されたサンプルを使用するメカニズムの例を表す概略図である。
【
図22】本開示のいくつかの実施形態に従うクロスコンポーネント線形モデル(CCLM)予測の方法のフローチャートである。
【
図23】本開示の実施形態に従うクロスコンポーネント線形モデル(CCLM)予測を用いてビデオデータを復号する方法のフローチャートである。
【
図24】本開示の実施形態に従うクロスコンポーネント線形モデル(CCLM)予測を用いてビデオデータを符号化する方法のフローチャートである。
【
図25】本開示の他の実施形態に従うクロスコンポーネント線形モデル(CCLM)予測を用いてビデオデータを復号する方法のフローチャートである。
【
図26】本開示の他の実施形態に従うクロスコンポーネント線形モデル(CCLM)予測を用いてビデオデータを符号化する方法の代表的なフローチャートである。
【発明を実施するための形態】
【0073】
様々な図において、同じ参照番号は、同一の又は機能的に同等の特徴に対して使用されることになる。
【0074】
1つ以上の実施形態の実例となる実施が以下で与えられているが、開示されるシステム及び/又は方法は、現在知られていようと又は存在していようと、いくつの技術を用いても実施されてよい、ことが最初に理解されるべきである。本開示は、ここで例示及び記載されている例となる設計及び実施を含め、以下で説明されている実例となる実施、図面及び技術に決して限定されるべきではなく、添付の特許請求の範囲及びその均等の全範囲内で変更されてよい。
【0075】
図1Aは、本開示の実施形態が実施され得るビデオデータコーディングシステムのブロック図である。
図1Aに示されるように、コーディングシステム10は、符号化されたビデオデータを供給する発信元デバイス12と、発信元デバイス12によって供給された符号化されたビデオデータを復号するあて先デバイス14とを含む。特に、発信元デバイス12は、輸送媒体16を介してあて先デバイス14へビデオデータを供給してよい。発信元デバイス12及びあて先デバイス14は、デスクトップコンピュータ、ノートブックコンピュータ(すなわち、ラップトップコンピュータ)、タブレットコンピュータ、セットトップボックス、携帯電話ハンドセット(すなわち、“スマート”フォン)、テレビ受像機、カメラ、表示デバイス、デジタルメディアプレイヤー、ビデオゲーム機、ビデオストリーミングデバイス、などのような、広範な電子デバイスのいずれかであってよい。いくつかの場合に、発信元デバイス12及びあて先デバイス14は、無線通信のために装備されてもよい。
【0076】
あて先デバイス14は、輸送媒体16を介して、符号化されたビデオデータを受け取ってよい。輸送媒体16は、発信元デバイス12からあて先デバイス14へ符号化されたビデオデータを運ぶことが可能な如何なるタイプの媒体又はデバイスであってもよい。一例において、輸送媒体16は、発信元デバイス12が、符号化されたビデオデータを直接にあて先デバイス14へ実時間で送信することを可能にする通信媒体であってよい。符号化されたビデオデータは、無線通信プロトコルのような通信標準規格に従って変調されてもよく、変調された符号化されたビデオデータがあて先デバイス14へ送信される。通信媒体は、無線周波数(RF)スペクトル波又は1つ以上の物理伝送路などの如何なる無線又は有線通信媒体であってもよい。通信媒体は、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、又はインターネットのようなグローバルネットワークなどの、パケットベースのネットワークの部分を形成してよい。通信媒体は、ルータ、スイッチ、基地局、又は発信元デバイス12からあて先デバイス14への通信を容易にするよう有用であり得るあらゆる他の設備を含んでよい。
【0077】
発信元デバイス12において、符号化されたデータは、出力インターフェース22から記憶デバイス(
図1Aに図示せず)へ出力されてよい。同様に、符号化されたデータは、あて先デバイス14の入力インターフェース28によって記憶デバイスからアクセスされてよい。記憶デバイスは、ハードドライブ、Blue-ray
TMディスク、デジタル・ビデオ・ディスク(DVD)、コンパクト・ディスク・リード・オンリー・メモリ(CD-ROM)、フラッシュメモリ、揮発性若しくは不揮発性メモリ、又は符号化されたビデオデータを記憶するあらゆる他の適切なデジタル記憶媒体のような、様々な分配型又はローカルアクセス型データ記憶媒体のうちのいずれかを含んでよい。
【0078】
更なる例では、記憶デバイスは、発信元デバイス12によって生成された符号化されたビデオを記憶し得るファイルサーバ又は他の中間記憶デバイスに対応してよい。あて先デバイス14は、ストリーミング又はダウンロードにより、記憶デバイスからの記憶されたビデオデータにアクセスしてよい。ファイルサーバは、符号化されたビデオデータを記憶し、かつ、符号化されたビデオデータをあて先デバイス14へ送信することが可能な如何なるタイプのサーバであってもよい。例となるファイルサーバには、ウェブサーバ(例えば、ウェブサイト用)、ファイル転送プロトコル(FTP)サーバ、ネットワーク・アタッチド・ストレージ(NAS)デバイス、又はローカルディスクドライブがある。あて先デバイス14は、インターネット接続を含む如何なる標準のデータ接続も通じて、符号化されたビデオデータにアクセスしてよい。これは、ファイルサーバ上で記憶されている符号化されたビデオデータにアクセスすることに適している無線チャネル(例えば、Wi-Fi接続)、有線接続(例えば、デジタル加入者回線(DSL)、ケーブルモデム、など)、又は両方の組み合わせを含んでよい。記憶デバイスからの符号化されたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又はそれらの組み合わせであってよい。
【0079】
本開示の技術は、かならずしも無線アプリケーション又は設定に限定されない。技術は、オーバー・ザ・エアのテレビ放送、ケーブルテレビ伝送、衛星テレビ伝送、HTTP経由のダイナミック・アダプティブ・ストリーミング(DASH)のようなインターネットストリーミングビデオ伝送、データ記憶媒体上に符号化されているデジタルビデオ、データ記憶媒体に記憶されているビデオデータの復号化、又は他の用途のような、様々なマルチメディアアプリケーションのいずれかを支持して、ビデオコーディングに適用されてよい。いくつかの例で、コーディングシステム10は、ビデオストリーミング、ビデオ再生、ビデオ放送、及び/又はテレビ電話などの用途をサポートするように、単方向又は双方向のビデオ伝送をサポートするよう構成されてよい。
【0080】
図1Aの例では、発信元デバイス12は、ビデオソース18、ビデオ符号器20、及び出力インターフェース22を含む。あて先デバイス14は、入力インターフェース28、ビデオ復号器30、及び表示デバイス32を含む。本開示に従って、発信元デバイス12のビデオ符号器20及び/又はあて先デバイス14のビデオ復号器30は、双方向予測のための技術を適用するよう構成されてよい。他の例では、発信元デバイス12及びあて先デバイス14は、他のコンポーネント又は配置を含んでもよい。例えば、発信元デバイス12は、外部カメラのような外部ビデオソースからビデオデータを受け取ってもよい。同様に、あて先デバイス14は、内蔵型表示デバイスを含むのではなく、外付け表示デバイスとインターフェース接続してもよい。
【0081】
図1Aの表されているコーディングシステム10は、一例にすぎない。双方向予測の方法は、如何なるデジタルビデオ符号化又は復号化デバイスによっても実行されてよい。本開示の技術は一般的に、ビデオコーディングデバイスによって使用されるが、技術はまた、通常“コーデック”と呼ばれているビデオ符号器/復号器によって使用されてもよい。更に、本開示の技術はまた、ビデオプリプロセッサによって使用されてもよい。ビデオ符号器及び/又はビデオ復号器は、グラフィクス処理ユニット(GPU)又は類似したデバイスであってもよい。
【0082】
発信元デバイス12及びあて先デバイス14は、発信元デバイス12が符号化されたビデオデータをあて先デバイス14への伝送のために生成するビデオデータコーディングシステムにおける符号化/復号化デバイスの例にすぎない。いくつかの例において、発信元デバイス12及びあて先デバイス14は、発信元デバイス12及びあて先デバイス14の夫々がビデオ符号化及び復号化コンポーネントを含むように実質的に対称な様態で動作してよい。従って、コーディングシステム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオ放送、又はビデオ会議のために、ビデオデバイス12及び14の間の単一方向又は双方向のビデオ伝送をサポートしてよい。
【0083】
発信元デバイス12のビデオソース18は、ビデオカメラ、前に捕捉されたビデオを含むビデオアーカイブ、及び/又はビデオコンテンツプロバイダからビデオを受け取るビデオフィードインターフェースのようなビデオ捕捉デバイスを含んでよい。更なる代替案として、ビデオソース18は、ソースビデオとしてのコンピュータグラフィクスベースのデータ、又はライブビデオ、アーカイブ保管されたビデオ、及びコンピュータにより生成されたビデオの組み合わせを生成してよい。
【0084】
いくつかの場合に、ビデオソース18がビデオカメラである場合に、発信元デバイス12及びあて先デバイス14は、いわゆるカメラ付き電話機又はビデオ付き電話機を形成してよい。上述されたように、しかしながら、本開示で説明されている技術は、ビデオコーディング全般に適用可能であってよく、無線及び/又は有線アプリケーションに適用されてよい。夫々の場合において、捕捉、事前捕捉、又はコンピュータにより生成されたビデオは、ビデオ符号器20によって符号化されてよい。符号化されたビデオ情報は、それから、輸送媒体16上に出力インターフェース22によって出力されてよい。
【0085】
輸送媒体16は、無線ブロードキャスト若しくは有線ネットワーク伝送のような一時的な媒体、又はハードディスク、フラッシュドライブ、コンパクト・ディスク、デジタル・ビデオ・ディスク、Blue-rayTMディスク、若しくは他のコンピュータ可読媒体のような記憶媒体(すなわち、非一時的な記憶媒体)を含んでよい。いくつかの例において、ネットワークサーバ(図示せず)は、発信元デバイス12から符号化されたビデオデータを受け取り、符号化されたビデオデータをあて先デバイス14へ、例えば、ネットワーク伝送を介して、供給してよい。同様に、ディスクスタンピング施設のような媒体製造施設のコンピューティングデバイスは、発信元デバイス12から符号化されたビデオデータを受け取り、符号化されたビデオデータを含むディスクを製造してよい。従って、輸送媒体16は、様々な例において、様々な形態の1つ以上のコンピュータ可読媒体を含むと理解され得る。
【0086】
あて先デバイス14の入力インターフェース28は、輸送媒体16から情報を受け取る。輸送媒体16の情報は、ビデオ符号器20によって定義されたシンタックス情報を含んでよく、シンタックス情報はビデオ復号器30によっても使用され、ブロック及び他の符号化されたユニット、例えば、グループ・オブ・ピクチャ(GOP)の特性及び/又は処理を記述するシンタックス要素を含む。表示デバイス32は、復号化されたビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は他のタイプの表示デバイスなどの様々な表示デバイスのうちのいずれかを含んでよい。
【0087】
ビデオ符号器20及びビデオ復号器30は、現在開発中のHigh Efficiency Video Coding(HEVC)標準規格などのビデオコーディング標準規格に従って動作してよく、HEVCテストモデル(HM)に準拠し得る。あるいは、ビデオ符号器20及びビデオ復号器30は、Motion Picture Expert Group(MPEG)-4、パート10、Advanced Video Coding(AVC)とも代替的に呼ばれる、International Telecommunications Union Telecommunication Standardization Sector(ITU-T) H.264標準規格、H.265/HEVC、又はそのような標準規格の拡張のような他の独自仕様又は産業標準規格に従って動作してもよい。本開示で提供される技術は、しかしながら、如何なる特定のコーディング標準規格にも限定されない。ビデオコーディング標準規格の他の例には、MPEG-2及びITU-T H.263がある。
図1Aには示されていないが、いくつかの態様で、ビデオ符号器20及びビデオ復号器30は夫々、オーディオ符号器及び復号器と一体化されてよく、共通のデータストリーム又は別個のデータストリームにおいてオーディオ及びビデオの両方の符号化を扱うために、適切なマルチプレクサ-デマルチプレクサ(MUX-DEMUX)ユニット、又は他のハードウェア及びソフトウェアを含んでよい。妥当な場合に、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はユーザデータグラムプロトコル(UDP)のような他のプロトコルに準拠してもよい。
【0088】
ビデオ符号器20及びビデオ復号器30は夫々、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせのような、様々な適切な符号器回路のうちのいずれかとして実施されてよい。技術が部分的にソフトウェアにおいて実施される場合に、デバイスは、適切な、非一時的なコンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技術を実行するよう1つ以上のプロセッサを用いてハードウェアにおいて命令を実行してよい。ビデオ符号器20及びビデオ復号器30の夫々は、1つ以上の符号器又は復号器に含まれてよく、これらのうちのどちらか一方は、各々のデバイスにおいて複合型符号器/復号器(CODEC)の部分として組み込まれてよい。ビデオ符号器20及び/又はビデオ復号器30を含むデバイスは、集積回路、マイクロプロセッサ、及び/又は携帯電話機のような無線通信デバイスであってよい。
【0089】
図1Bは、ビデオ符号器20及び/又は復号器30を含む、例となるビデオコーディングシステム40のブロック図である。
図1Bに示されるように、ビデオコーディングシステム40は、1つ以上の撮像デバイス41、ビデオ符号器20、ビデオ復号器30、アンテナ42、1つ以上のプロセッサ43、1つ以上のメモリストア44を含んでよく、更には、表示デバイス45を含んでもよい。
【0090】
表されるように、撮像デバイス41、アンテナ42、処理回路46、ビデオ符号器20、ビデオ復号器30、プロセッサ43、メモリストア44、及び表示デバイス45は、互いと通信してよい。ビデオ符号器20及びビデオ復号器30の両方が表されているが、ビデオコーディングシステム40は、様々な例においてビデオ符号器20しか又はビデオ復号器30しか含まなくてもよい。
【0091】
いくつかの例において、ビデオコーディングシステム40のアンテナ42は、ビデオデータの符号化されたビットストリームを送信又は受信するよう構成されてよい。更に、いくつかの例において、ビデオコーディングシステム40の表示デバイス45は、ビデオデータを提示するよう構成されてよい。いくつかの例において、ビデオコーディングシステム40の処理回路46は、処理ユニットにより実施されてよい。処理ユニットは、特定用途向け集積回路(ASIC)ロジック、グラフィクスプロセッサ、汎用プロセッサ、などを含んでよい。ビデオコーディングシステム40はまた、任意のプロセッサ43も含んでよく、プロセッサ43は、同様に、特定用途向け集積回路(ASIC)ロジック、グラフィクスプロセッサ、汎用プロセッサ、などを含んでよい。いくつかの例において、処理回路46は、ハードウェア、ビデオコーディング専用ハードウェア、などにより実施されてもよい。その上、メモリストア44は、揮発性メモリ(静的ランダム・アクセス・メモリ(SRAM)、動的ランダム・アクセス・メモリ(DRAM)、など)又は不揮発性メモリ(例えば、フラッシュメモリ、など)、などのような如何なるタイプのメモリであってもよい。一例において、メモリストア44は、キャッシュメモリによって実施されてよい。いくつかの例において、処理回路46は、(例えば、画像バッファの実装のために)メモリストア44にアクセスしてよい。他の例では、処理回路46は、画像バッファなどの実装のためにメモリストア(例えば、キャッシュなど)を含んでもよい。
【0092】
いくつかの例において、処理回路により実施されるビデオ符号器20は、
図2に関連して論じられる様々なモジュール及び/又はここで記載されるあらゆる他の符号器システム若しくはサブシステムを具現してよい。処理回路は、ここで論じられる様々な動作を実行するよう構成されてよい。
【0093】
ビデオ復号器30は、
図3の復号器30に関連して論じられる様々なモジュール及び/又はここで記載されるあらゆる他の復号器システム若しくはサブシステムを具現するよう処理回路46により実施されるように同様にして実施されてよい。
【0094】
いくつかの例において、ビデオコーディングシステム40のアンテナ42は、ビデオデータの符号化されたビットストリームを受信するよう構成されてよい。符号化されたビットストリームは、ビデオフレームを符号化することに関連したデータ、インジケータなどを含んでよい。ビデオコーディングシステム40はまた、アンテナ42へ結合され、符号化されたビットストリームを復号するよう構成されたビデオ復号器30を含んでもよい。表示デバイス45は、ビデオフレームを提示するよう構成される。
【0095】
図2は、本願の技術を実装し得るビデオ符号器20の例を表すブロック図である。ビデオ符号器20は、ビデオスライス内のビデオブロックのイントラ及びインターコーディングを実行してよい。イントラコーディングは、所与のビデオフレーム又はピクチャ内のビデオにおいて空間冗長性を低減又は除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの近接フレーム又はピクチャ内のビデオにおいて時間冗長性を低減又は除去するために時間予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測(Pモード)又は双方向(Bモード)などのインターモードは、いくつかの時間ベースの符号化モードのいずれかを指し得る。
【0096】
図2に示されるように、ビデオ符号器20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受け取る。
図2の例では、ビデオ符号器20は、モード選択ユニット40、参照フレームメモリ64、加算器50、変換処理ユニット52、量子化ユニット54、及びエントロピ符号化ユニット56を含む。次いで、モード選択ユニット40は、動き補償ユニット44、動き推定ユニット42、イントラ予測ユニット46、及び分割ユニット48を含む。ビデオブロック再構成のために、ビデオ符号器20はまた、逆量子化ユニット58、逆変換ユニット60、及び加算器62を含む。デブロッキングフィルタ(
図2に図示せず)も、再構成されたビデオからブロックアーチファクトを除去するようブロック境界にフィルタをかけるために含まれてよい。望まれる場合には、デブロッキングフィルタは、通常は、加算器62の出力にフィルタをかけることになる。追加のフィルタ(ループ内又はループ後)も、デブロッキングフィルタに加えて使用されてよい。そのようなフィルタは、簡潔さのために示されず、望まれる場合には、(ループ内フィルタとして)加算器50の出力にフィルタをかけてよい。
【0097】
符号化プロセス中に、ビデオ符号器20は、符号化されるべきビデオフレーム又はスライスを受け取る。フレーム又はスライスは、複数のビデオブロックに分割されてよい。動き推定ユニット42及び動き補償ユニット44は、時間予測を提供するように、1つ以上の参照フレーム内の1つ以上のブロックに対して、受け取られたビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット46は、代替的に、空間予測を提供するように、符号化されるべきブロックと同じフレーム又はスライス内の1つ以上の隣接ブロックに対して、受け取られたビデオブロックのイントラ予測コーディングを実行してよい。ビデオ符号器20は、例えば、ビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。
【0098】
更に、分割ユニット48は、前のコーディングパスにおける前の分割スキームの評価に基づいて、ビデオデータのブロックをサブブロックに分割してよい。例えば、分割ユニット48は、最初に、フレーム又はスライスを最大コーディングユニット(LCU)に分割し、そして、LCUの夫々を、レート歪み解析(例えば、レート歪み最適化)に基づいて、サブコーディングユニット(サブCU)に分割してよい。モード選択ユニット40は更に、サブCUへのLCUの分割を示す四分木データ構造を生成してよい。四分木のリーフノードCUは、1つ以上の予測ユニット(PU)及び1つ以上の変換ユニット(TU)を含んでよい。
【0099】
本開示では、“ブロック”という用語は、HEVCに関連して、コーディングユニット(CU)、予測ユニット(CU)、又は変換ユニット(TU)のいずれかを、又は他の標準規格に関連して同様のデータ構造(例えば、H.264/AVCにおけるマクロブロック及びそのサブブロック)を指すために使用される。CUは、コーディングノード、コーディングノードに関連したPU及びTUを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が長方形である。CUのサイズは、8×8ピクセルから、最大で64×64ピクセル以上であるツリーブロックのサイズまでの範囲に及んでよい。各CUは、1つ以上のPU及び1つ以上のTUを含んでよい。CUと関連付けられたシンタックスデータは、例えば、1つ以上のPUへのCUの分割を記述してよい。分割モードは、CUがスキップ若しくはダイレクトモード符号化されているか、イントラ予測モード符号化されているか、又はインター予測モード符号化されているかどうかに応じて異なってよい。PUは、形状が非正方形であるよう分割されてよい。CUと関連付けられたシンタックスデータはまた、例えば、四分木に従う1つ以上のTUへのCUの分割を記述してもよい。実施形態において、CU、PU、又はTUは、形状が正方形又は非正方形(例えば、長方形)であることができる。
【0100】
モード選択ユニット40は、例えば、エラー結果に基づいて、コーディングモードの1つ、すなわち、イントラ又はインターを選択してよく、結果として得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するための加算器50へ、及び参照フレームとして使用される符号化されたブロックを再構成するための加算器62へ供給する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのようなシンタックス情報などのシンタックス要素をエントロピ符号化ユニット56へ供給する。
【0101】
動き推定ユニット42及び動き補償ユニット44は、高度に統合されてよいが、概念的な目的のために別々に表されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照フレーム(又は他の符号化されたユニット)内の予測ブロックに対する現在のビデオフレーム(又はピクチャ)内のビデオブロックのPUのずれを示してよく、あるいは、現在のフレーム(又は他の符号化されたユニット)内の符号化されたブロックに対する現在のビデオ(又はピクチャ)内のビデオブロックのPUのずれを示してよい。予測ブロックは、ピクセル差分の観点から、符号化されるべきブロックによく合うことが判明しているブロックであり、これは、差分絶対値和(SAD)、差分二乗和(SSD)、又は他の差分メトリクスによって決定されてよい。いくつかの例において、ビデオ符号器20は、参照フレームメモリ64に記憶されている参照ピクチャのサブ整数ピクセル位置についての値を計算してよい。例えば、ビデオ符号器20は、参照ピクチャの4分の1ピクセル位置、8分の1ピクセル位置、又は他の分数ピクセル位置の値を補間してよい。従って、動き推定ユニット42は、全ピクセル位置及び分数ピクセル位置に対する動き探索を実行し、分数ピクセル予測を含む動きベクトルを出力してよい。
【0102】
動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス内のビデオブロックのPUについて動きベクトルを計算する。参照ピクチャは、第1参照ピクチャリスト(例えば、リスト0)又は第2参照ピクチャリスト(例えば、リスト1)から選択されてよく、これらのリストの夫々は、参照フレームメモリ64に記憶されている1つ以上の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピ符号化ユニット56及び動き補償ユニット44へ送る。
【0103】
動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを含んでよい。先と同じく、動き推定ユニット42及び動き補償ユニット44は、いくつかの例において、機能的に統合されてよい。現在のビデオブロックのPUについての動きベクトルを受け取ると、動き補償ユニット44は、動きベクトルが参照ピクチャリストの1つにおいて指示している予測ブロックを見つけてよい。加算器50は、以下で論じられるように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減じて、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルーマ成分に対して動き推定を実行し、動き補償ユニット44は、クロマ成分及びルーマ成分の両方のために、ルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際のビデオ復号器30による使用のために、ビデオブロック及びビデオスライスと関連付けられたシンタックス要素を生成してもよい。
【0104】
イントラ予測ユニット46は、上述されたような、動き推定ユニット42及び動き補償ユニット44によって実行されるインター予測に代わるものとして、現在のブロックをイントラ予測してよい。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定してよい。いくつかの例において、イントラ予測ユニット46は、例えば、別々の符号化パス中に、様々なイントラ予測モードを用いて現在のブロックを符号化してよく、イントラ予測ユニット46(又は、いくつかの例では、モード選択ユニット40)は、試験されたモードから、使用すべき適切なイントラ予測モードを選択してよい。
【0105】
例えば、イントラ予測ユニット46は、様々な試験されたイントラ予測モードについてレート歪み解析を用いてレート歪み値を計算し、試験されたモードの中で最良のレート歪み特性を有しているイントラ予測モードを選択してよい。レート歪み解析は、一般的に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み(又はエラー)の量とともに、符号化されたブロックを生成するために使用されたビットレート(すなわち、ビットの数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがそのブロックについて最良のレート歪み値を示すかを決定するために、様々な符号化されたブロックの歪み及びレートから比を計算してよい。
【0106】
その上、イントラ予測ユニット46は、深さモデリングモード(DMM)を用いて深度マップの深度ブロックをコーディングするよう構成されてよい。モード選択ユニット40は、例えば、レート歪み最適化(RDO)を用いて、利用可能なDMMモードがイントラ予測モード及び他のDMMモードよりも良いコーディング結果を生成するかどうかを決定してよい。深度マップに対応するテクスチャ画像のデータは、参照フレームメモリ64に記憶されてよい。動き推定ユニット42及び動き補償ユニット44はまた、深度マップの深度ブロックをインター予測するよう構成されてもよい。
【0107】
ブロックのためにイントラ予測モード(例えば、従来のイントラ予測モード、又はDMMモードのうちの1つ)を選択した後に、イントラ予測ユニット46は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピ符号化ユニット56へ供給してよい。エントロピ符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化してよい。ビデオ符号器20は、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)を含み得る伝送されたビットストリーム構成データに、様々なブロックについての符号化コンテキストの定義と、コンテキストの夫々について使用すべき最確イントラ予測モード、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含めてよい。
【0108】
ビデオ符号器20は、モード選択ユニット40からの予測データを、符号化されている元のビデオブロックから減じることによって、残差ビデオブロックを形成する。加算器50は、この減算動作を実行するコンポーネント又は複数のコンポーネントを表す。
【0109】
変換処理ユニット52は、離散コサイン変換(DCT)又は概念的に類似した変換などの変換を残差ブロックに適用して、残差変換係数値を含むビデオブロックを生成する。変換処理ユニット52は、DCTに概念的に類似している他の変換を実行してもよい。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用されてよい。
【0110】
変換処理ユニット52は、変換を残差ブロックに適用して、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から、周波数領域などの変換領域へ変換して良い。変換処理ユニット52は、結果として得られた変換係数を量子化ユニット54へ送ってよい。量子化ユニット54は、ビットレートを更に低減するよう変換係数を量子化する。量子化プロセスは、係数の一部又は全てと関連付けられたビット深さを低減し得る。量子化の程度は、量子化パラメータを調整することによって変更されてよい。いくつかの例において、量子化ユニット54は、次いで、量子化された変換係数を含む行列のスキャンを実行してよい。あるいは、エントロピ符号化ユニット56がスキャンを実行してもよい。
【0111】
量子化に続いて、エントロピ符号化ユニット56は、量子化された変換係数をエントロピ符号化する。例えば、エントロピ符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC)、確率区間分割エントロピ(PIPE)コーディング又は他のエントロピコーディング技術を実行してよい。コンテキストベースのエントロピコーディングの場合に、コンテキストは、隣接するブロックに基づいて良い。エントロピ符号化ユニット56によるエントロピ符号化に続いて、符号化されたビットストリームは、他のデバイス(例えば、ビデオ復号器30)へ伝送されるか、あるいは、後の伝送又は読み出しのためにアーカイブ保管されてよい。
【0112】
逆量子化ユニット58及び逆変換ユニット60は、例えば、参照ブロックのとしての後の使用のために、ピクセル領域で残差ブロックを再構成するよう、夫々、逆量子化及び逆変換を適用する。動き補償ユニット44は、参照フレームメモリ64のフレームの1つの予測ブロックに残差ブロックを加えることによって、参照ブロックを計算してよい。動き補償ユニット44はまた、動き推定における使用のためにサブ整数ピクセル値を計算するよう、再構成された残差ブロックに1つ以上の補間フィルタを適用してよい。加算器62は、参照フレームメモリ64での記憶のために、再構成されたビデオブロックを生成するよう、動き補償ユニット44によって生成された動き補償された予測ブロックに、再構成された残差ブロックを加える。再構成されたビデオブロックは、その後のビデオフレーム内のブロックをインターコーディングするための参照ブロックとして、動き推定ユニット42及び動き補償ユニット44によって使用されてよい。
【0113】
ビデオ符号器20の他の構造的な変形が、ビデオストリームを符号化するために使用可能である。例えば、非変換に基づく符号器20は、特定のブロック又はフレームについて変換処理ユニット52によらずに直接に残差信号を量子化することができる。他の実施では、符号器20は、単一のユニットにまとめられた量子化ユニット54及び逆量子化ユニット58を有することができる。
【0114】
図3は、本願の技術を実装し得るビデオ復号器30の例を表すブロック図である。
図3の例では、ビデオ復号器30は、エントロピ復号化ユニット70、動き補償ユニット72、イントラ予測ユニット74、逆量子化ユニット76、逆変換ユニット78、参照フレームメモリ82、及び加算器80を含む。ビデオ復号器30は、いくつかの例において、ビデオ符号器20(
図2に示される)に関して記載された符号化パスと概して相互関係を表す復号化パスを実行してよい。動き補償ユニット72は、エントロピ復号化ユニット70から受け取られた動きベクトルに基づいて予測データを生成してよく、一方、イントラ予測ユニット74は、エントロピ復号化ユニット70から受け取られたイントラ予測モードインジケータに基づいて予測データを生成してよい。
【0115】
復号化プロセス中に、ビデオ復号器30は、ビデオ符号器20から、符号化されたビデオスライスのビデオブロック及び関連するシンタックス要素を表す符号化されたビデオビットストリームを受け取る。ビデオ復号器30のエントロピ復号化ユニット70は、量子化された係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成するようビットストリームをエントロピ復号する。エントロピ復号化ユニット70は、動きベクトル及び他のシンタックス要素を動き補償ユニット72へ転送する。ビデオ復号器30は、ビデオスライスレベル及び/又はビデオブロックレベルでシンタックス要素を受け取ってよい。
【0116】
ビデオスライスがイントラコーディングされた(I)スライスとして符号化されている場合に、イントラ予測ユニット74は、現在のフレーム又はピクチャの前に復号されたブロックからのデータ及び通知されたイントラ予測モードに基づいて、現在のビデオスライスのビデオブロックについての予測データを生成してよい。ビデオフレームがインターコーディングされた(すなわち、B、P、又はGPB)スライスとして符号化されている場合に、動き補償ユニット72は、エントロピ復号化ユニット70から受け取られた動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロックを生成する。予測ブロックは、参照ピクチャリストの1つの中の参照ピクチャの1つから生成されてよい。ビデオ復号器30は、参照フレームメモリ82に記憶されている参照ピクチャに基づいてデフォルトの構成技術を用いて参照フレームリスト、例えば、リスト0及びリスト1を構成してよい。
【0117】
動き補償ユニット72は、動きベクトル及び他のシンタックス要素をパースすることによって現在のビデオスライスのビデオブロックについての予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックについての予測ブロックを生成する。例えば、動き補償ユニット72は、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(例えば、イントラ又はインター予測)、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)、スライスのための参照ピクチャリストの1つ以上についての構成情報、スライスの各インターコーディングされたビデオブロックについての動きベクトル、スライスの各インターコーディングされたビデオブロックについてのインター予測ステータス、及び現在のビデオスライス内のビデオブロックを復号するための他の情報を決定するために、受け取られたシンタックス要素のいくつかを使用する。
【0118】
動き補償ユニット72はまた、補間フィルタに基づいて補間を実行してもよい。動き補償ユニット72は、参照ブロックのサブ整数ピクセルについての補間値を計算するために、ビデオブロックの符号化中にビデオ符号器20によって使用された補間フィルタを使用してよい。この場合に、動き補償ユニット72は、受け取られたシンタックス要素から、ビデオ符号器20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成してよい。
【0119】
深度マップに対応するテクスチャ画像のデータは、参照フレームメモリ82に記憶されてよい。動き補償ユニット72はまた、深度マップの深度ブロックをインター予測するよう構成されてもよい。
【0120】
当業者によって理解されるだろうように、
図1Aのコーディングシステム10は、様々なビデオコーディング又は圧縮技術を実施するのに適している。インター予測、イントラ予測、及び/又はループフィルタなどのいくつかのビデオ圧縮技術は、後で論じられる。従って、ビデオ圧縮技術は、H.264/AVC及びH.265/HEVCなどの様々なビデオコーディング標準規格に採用されている。
【0121】
適応動きベクトル予測(AMVP)及びマージモード(MERGE)などの様々なコーディングツールは、動きベクトル(MV)を予測しかつインター予測効率、従って、全体のビデオ圧縮効率を高めるために使用される。
【0122】
ビデオ復号器30の他の変形が、圧縮されたビットストリームを復号するために使用可能である。例えば、復号器30は、ループフィルタリングユニットなしで出力ビデオストリームを生成することができる。例えば、非変換に基づく復号器30は、特定のブロック又はフレームについて逆変換処理ユニット78なしで直接に残差信号を逆量子化することができる。他の実施では、ビデオ復号器30は、単一のユニットにまとめられた逆量子化ユニット76及び逆変換処理ユニット78を有することができる。
【0123】
図4は、本開示の実施形態に従うビデオコーディングデバイスの概略図である。ビデオコーディングデバイス400は、ここで説明されている開示された実施形態を実装するのに適している。実施形態において、ビデオコーディングデバイス400は、
図1Aのビデオ復号器30のような復号器、又は
図1Aのビデオ符号器20のような符号器であってよい。実施形態において、ビデオコーディングデバイス400は、上述されたような
図1Aのビデオ復号器30又は
図1Aのビデオ符号器20の1つ以上のコンポーネントであってよい。
【0124】
ビデオコーディングデバイス400は、データを受信する入口ポート410及び受信器ユニット(Rx)420と、データを処理するプロセッサ430(ロジックユニット又は中央演算処理装置(CPU)であってよい)と、データを送信する送信器ユニット(Tx)440及び出口ポート450と、データを記憶するメモリ460とを含む。ビデオコーディングデバイス400はまた、光又は電気信号の出入りのために入口ポート410、受信器ユニット420、送信器ユニット440、及び出口ポート450へ結合された光電気(OE)コンポーネント及び電気光(EO)コンポーネントを含んでもよい。
【0125】
プロセッサ430は、ハードウェア及び/又はソフトウェアによって実装される。プロセッサ430は、1つ以上のCPUチップ、コア(例えば、マルチコアプロセッサとして)、FPGA、ASIC、及びDSPとして実装されてよい。プロセッサ430は、入口ポート410、受信器ユニット420、送信器ユニット440、出口ポート450、及びメモリ460と通信する。プロセッサ430は、コーディングモジュール470を含む。コーディングモジュール470は、ここで説明されている開示された実施形態を実装する。例えば、コーディングモジュール470は、様々なコーディング動作を実装、処理、準備、又は提供する。コーディングモジュール470の包含は、従って、ビデオコーディングデバイス400の機能に対する実質的な改善をもたらし、異なる状態へのビデオコーディングデバイス400の変形を実現する。あるいは、コーディングモジュール470は、メモリ460に記憶されてプロセッサ430によって実行される命令として実装される。
【0126】
メモリ460は、1つ以上のディスク、テープドライブ、及びソリッドステートドライブを含み、プログラムが実行のために選択される場合にそのようなプログラムを記憶するために、かつ、プログラム実行中に読み出される命令及びデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてよい。メモリ460は、揮発性及び/又は不揮発性であってよく、リード・オンリー・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、三値連想メモリ(TCAM)、及び/又は静的ランダム・アクセス・メモリ(SRAM)であってよい。
【0127】
図5は、例となる実施形態に従って、
図1Aからの発信元デバイス12及びあて先デバイス14のうちのどちらか一方又は両方として使用され得る装置500の略ブロック図である。装置500は、本願の技術を実装することができる。装置500は、複数のコンピューティングデバイスを含むコンピューティングシステムの形を、又は単一のコンピューティングデバイス、例えば、携帯電話機、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、などの形をとることができる。
【0128】
装置500のプロセッサ502は、中央演算処理装置であることができる。あるいは、プロセッサ502は、現在存在している又は今後開発される情報を操作又は処理することが可能なあらゆる他のタイプのデバイス又は複数のデバイスであることができる。開示されている実施は、示されているような単一のプロセッサ、例えば、プロセッサ502により実施され得るが、速度及び効率における利点は、1つよりも多いプロセッサを用いて達成可能である。
【0129】
装置500内のメモリ504は、実施においてリード・オンリー・メモリ(ROM)デバイス又はランダム・アクセス・メモリ(RAM)デバイスであることができる。あらゆる他の適切なタイプの記憶デバイスがメモリ504として使用可能である。メモリ504は、バス512を用いてプロセッサ502によってアクセスされるコード及び/又はデータ506を記憶するために使用されてよい。メモリ504は更に、オペレーティングシステム508及びアプリケーションプログラム510を記憶するために使用可能である。アプリケーションプログラム510は、プロセッサ502がここで説明されている方法を実行することを可能にする少なくとも1つのプログラムを含んでよい。例えば、アプリケーションプログラム510は、複数のアプリケーション1乃至Nを含み、更には、ここで説明されている方法を実行するビデオコーディングアプリケーションを含むことができる。装置500はまた、例えば、モバイルコンピューティングデバイスとともに使用されるメモリカードであることができる二次ストレージ514の形で、追加のメモリを含むこともできる。ビデオ通信セッションは相当量の情報を含む可能性があるので、それらは、全体的に又は部分的にストレージ514に記憶され、処理の必要に応じてメモリ504にロードされ得る。
【0130】
装置500はまた、ディスプレイ518のような1つ以上の出力デバイスを含むこともできる。ディスプレイ518は、一例において、タッチ入力を検知するよう動作可能なタッチ検知要素とディスプレイを組み合わせるタッチ検知ディスプレイであってよい。ディスプレイ518は、バス512を介してプロセッサ502へ結合され得る。ユーザが装置500をプログラム又は別なふうに使用することを可能にする他の出力デバイスが、ディスプレイ518に加えて又はそれに代わるものとして設けられ得る。出力デバイスがディスプレイであるか又はそれを含む場合に、ディスプレイは、液晶ディスプレイ(LCD)、陰極線管(CRT)ディスプレイ、プラズマディスプレイ、又は有機LED(OLED)ディスプレイのような発光ダイオード(LED)ディスプレイによることを含め、様々な方法で実装可能である。
【0131】
装置500は、画像検知デバイス520、例えば、カメラ、又は装置500を操作するユーザの画像などの画像を検知することができる、現在存在している又は今後開発されるあらゆる他の画像検知デバイス520を含むか、又はそれと通信することもできる。画像検知デバイス520は、それが装置500を操作するユーザの方に向けられるように位置付けられ得る。例において、画像検知デバイス520の位置及び光軸は、視野が、ディスプレイ518の直ぐ隣にあって、ディスプレイ518が見ることができるエリアを含むように、構成され得る。
【0132】
装置500はまた、音響検知デバイス522、例えば、マイクロフォン、又は装置500の近くの音響を検知することができる、現在存在している又は今後開発されるあらゆる他の音響検知デバイスを含むか、又はそれと通信することもできる。音響検知デバイス522は、それが装置500を操作するユーザの方に向けられるように位置付けられ得、ユーザが装置500を操作しているときにユーザによって作られる音響、例えば、発語又は他の発話を受け取るよう構成され得る。
【0133】
図5は、装置500のプロセッサ502及びメモリ504を単一のデバイスに組み込まれているものとして表すが、他の構成が利用可能である。プロセッサ502の動作は、直接に又はローカルエリア若しくは他のネットワークにわたって結合され得る複数のマシン(各マシンは1つ以上のプロセッサを有する)にわたって分布可能である。メモリ504は、ネットワークベースのメモリ、又は装置500の動作を実行する複数のマシン内のメモリのような、複数のマシンにわたって分布可能である。ここでは単一のバスとして表されているが、装置500のバス512は、複数のバスを含んでもよい。更に、二次ストレージ514は、装置500の他のコンポーネントへ直接に結合され得るか、あるいは、ネットワークを介してアクセス可能であり、メモリカードなどの単一の集積ユニット又は複数のメモリカードなどの複数のユニットを含むことができる。装置500は、このようにして広範な構成において実装可能である。
【0134】
本開示は、ビデオコーディングメカニズムの部分としてイントラ予測に関係がある。
【0135】
イントラ予測は、利用可能な参照ピクチャがない場合に、又はインター予測コーディングが現在のブロック又はピクチャに対して使用されない場合に、使用可能である。イントラ予測の参照サンプルは、通常は、同じピクチャ内の前にコーディングされた(又は再構成された)隣接ブロックから導出される。例えば、H.264/AVC及びH.265/HEVCの両方において、隣接するブロックの境界サンプルがイントラ予測のための参照として使用される。異なるテクスチャ又は構造的特徴をカバーするために、多数の異なったイントラ予測モードがある。各モードで、異なる予測信号導出方法が使用される。例えば、H.265/HEVCは、
図6に示されるように、全部で35個のイントラ予測モードをサポートする。
【0136】
イントラ予測の場合に、隣接するブロックの複合された境界サンプルが参照として使用される。符号器は、35個のオプション、すなわち、33個の指向性予測モード、DCモード、及び平面モード、から各ブロックの最良ルーマイントラ予測モードを選択する。イントラ予測方向とイントラ予測モード番号との間のマッピングは、
図6において特定されている。
【0137】
図7に示されるように、ブロック“CUR”は、予測すべき現在のブロックであり、隣接する構成されたブロックの境界に沿った灰色のサンプルは、参照サンプルとして使用される。予測信号は、イントラ予測モードによって示される特定の方法に従って参照サンプルをマッピングすることによって導出可能である。
【0138】
ビデオコーディングは、色空間及び色フォーマットに基づいて実行されてよい。例えば、カラービデオは、マルチメディアシステムにおいて重要な役割を果たし、様々な色空間が効率的に色を表すために使用される。色空間は、複数の成分を用いて数値により色を指定する。有名な色空間はRGB色空間であり、色が三原色成分値(すなわち、赤、緑及び青)の組み合わせとして表現される。カラービデオ圧縮のためには、A. Ford and A. Roberts,“Colour space conversions”,University of Westminster,London,Tech. Rep.,1998年8月に記載されるように、YCbCr色空間が広く使用されている。
【0139】
YCbCrは、線形変換を介してRGB色空間から容易に変換可能であり、異なる成分間の冗長性、つまり、クロスコンポーネント冗長性は、YCbCr色空間では大いに低減される。YCbCrの1つの利点は、Y信号がルミナンス情報を運ぶと言うことで、白黒TVとの下位互換性である。その上、クロミナンス帯域幅は、4:2:0クロマサンプリングフォーマットでCb及びCr成分をサブサンプリングすることによって、RGB色空間でのサブサンプリングよりも主観的な影響を大幅に少なくすることで低減可能である。これらの利点により、YCbCrは、ビデオ圧縮における主要な色空間となっている。また、ビデオ圧縮で使用されるYCoCgなどの他の色空間もある。本開示では、使用される実際の色空間にかかわらず、ルーマ(又はL若しくはY)及び2つのクロマ(Cb及びCr)が、ビデオ圧縮スキームにおける3つの色成分を表すために使用される。
【0140】
例えば、クロマフォーマットサンプリング構造が4:2:0サンプリングである場合に、2つのクロマアレイの夫々は、ルーマアレイの半分の高さ及び半分の幅を有している。ピクチャ内のルーマ及びクロマサンプルの公称の垂直及び水平相対位置は、
図8に示される。
【0141】
図9(
図9A及び
図9Bを含む)は、クロスコンポーネント線形モデル(CCLM)イントラ予測900を実行するメカニズムの例を表す概略図である。
図9は、4:2:0サンプリングの例を表す。
図9は、CCLMモードに関わる現在のブロックのサンプル並びに左及び上サンプルの位置の例を示す。白の正方形は、現在のブロックのサンプルであり、影付きの丸は、再構成されたサンプルである。
図9Aは、共在ルーマブロックの隣接する再構成されたピクセルの例を表す。
図9Bは、クロマブロックの隣接する再構成されたピクセルの例を表す。ビデオフォーマットがYUV4:2:0である場合に、1つの16×16ルーマブロック及び2つの8×8クロマブロックがある。
【0142】
CCLMイントラ予測900は、クロスコンポーネントイントラ予測の一種である。従って、CCLMイントラ予測900は、符号器20のイントラ予測ユニット46及び/又は復号器30のイントラ予測ユニット74によって実行されてよい。CCLMイントラ予測900は、クロマブロック901におけるクロマサンプル903を予測する。クロマサンプル903は、交差する線として示されている整数位置に現れる。予測は、黒丸として表されている隣接する参照サンプルに部分的に基づく。イントラ予測モードとは異なって、クロマサンプル903は、再構成されたクロマサンプル(Rec’C)として表されている隣接するクロマ参照サンプル905にもっぱら基づいて予測されない。クロマサンプル903はまた、ルーマ参照サンプル913及び隣接するルーマ参照サンプル915に基づいて予測される。具体的に、CUは、ルーマブロック911及び2つのクロマブロック901を含む。同じCU内のクロマサンプル903及びルーマ参照サンプル913を相関させるモデルが、生成される。モデルの線形係数は、隣接するルーマ参照サンプル915を隣接するクロマ参照サンプル905と比較することによって決定される。
【0143】
ルーマ参照サンプル913が再構成される場合に、ルーマ参照サンプル913は、再構成されたルーマサンプル(Rec’L)として表される。隣接するクロマ参照サンプル905が再構成される場合に、隣接するクロマ参照サンプル905は、再構成されたクロマサンプル(Rec’C)として表される。
【0144】
示されるように、ルーマブロック911は、クロマブロック901の4倍のサンプルを含む。具体的に、クロマブロック901は、N個のサンプル×N個のサンプルを含み、一方、ルーマブロック911は、2N個のサンプル×2N個のサンプルを含む。従って、ルーマブロック911は、クロマブロック901の4倍の分解能である。ルーマ参照サンプル913及び隣接するルーマ参照サンプル915に作用する予測のために、ルーマ参照サンプル913及び隣接するルーマ参照サンプル915は、隣接するクロマ参照サンプル905及びクロマサンプル903との正確な比較を提供するようダウンサンプリングされる。ダウンサンプリングは、サンプル値のグループの分解能を低減するプロセスである。例えば、YUV4:2:0フォーマットが使用される場合に、ルーマサンプルは、4の係数(例えば、2による幅及び2による高さ)によってダウンサンプリングされてよい。YUVは、ルーマ成分Y並びに2つのクロミナンス成分U及びVの観点から色空間を用いる色符号化システムである。
【0145】
クロスコンポーネント冗長性を低減するために、クロスコンポーネント線形モデル(CCLM,LMモード、CCIPモードとも呼ばれ得る)予測モードがあり、そのために、クロマサンプルは、次のとおりに、線形モデルを使用することによって同じコーディングユニット(CU)の再構成されたルーマサンプルに基づいて予測される:
【数1】
ここで、pred
C(i,j)は、CU内の予測されたクロマサンプルを表し、rec
L(i,j)は、同じCUのダウンサンプリングされた再構成されたルーマサンプルを表し、α及びβは、線形モデルパラメータ又は線形モデル係数である。
【0146】
一例において、パラメータα及びβは、次のとおりに、現在のルーマブロックの周りの隣接する再構成されたルーマサンプルと、クロマブロックの周りの隣接する再構成されたクロマサンプルの間の回帰誤差を最小限にすることによって、導出される:
【数2】
ここで、L(n)は、ダウンサンプリングされた上及び左の隣接する再構成されたルーマサンプルを表し、C(n)は、上及び左の隣接する再構成されたクロマサンプルを表し、Nの値は、現在のクロマコーディングブロック(例えば、クロマブロック901)の幅及び高さの和に等しい。他の例では、α及びβは、以下で
図16に関連して論じられるように、ダウンサンプリングされた隣接ルーマ参照サンプルの最小及び最大値に基づいて決定される。
【0147】
本開示は、ビデオコーディングメカニズムの部分としてイントラ予測によりクロマサンプルを予測するためにルーマサンプルを使用することに関係がある。クロスコンポーネント線形モデル(CCLM)予測モードは、付加的なクロマイントラ予測モードとして加えられる。符号器側では、クロマ成分のための更なるレート歪みコストチェックが、クロマイントラ予測モードを選択するために加えられる。
【0148】
一般に、CCLM予測モード(略してLM予測モード)が適用される場合に、ビデオ符号器20及びビデオ復号器30は、次のステップを呼び出してよい。ビデオ符号器20及びビデオ復号器30は、隣接するルーマサンプルをダウンサンプルしてよい。ビデオ符号器20及びビデオ復号器30は、線形パラメータ(すなわち、α及びβ)(スケーリングパラメータ又はクロスコンポーネント線形モデル(CCLM)予測モードのパラメータとも呼ばれる)を導出してよい。ビデオ符号器20及びビデオ復号器30は、現在のルーマブロックをダウンサンプリングし、ダウンサンプリングされたルーマブロック及び線形パラメータに基づいて予測(例えば、予測ブロック)を導出してよい。
【0149】
ダウンサンプリングするための様々な方法が存在し得る。
【0150】
図10は、クロマブロックについて予測ブロックを生成するためのルーマブロックのダウンサンプリングサンプルのルーマ位置及びクロマ位置の例を表す概念図である。
図10に表されているように、塗りつぶされた(すなわち、黒色の)三角形によって表されているクロマサンプルは、[1,1]フィルタを適用することによって、2つの塗りつぶされた丸によって表されている2つのルーマサンプルから予測される。[1,1]フィルタは、2タップフィルタの一例である。
【0151】
図11は、予測ブロックを生成するためのルーマブロックのダウンサンプリングサンプルのルーマ位置及びクロマ位置の他の例を表す概念図である。
図11に表されているように、塗りつぶされた(すなわち、黒色の)三角形によって表されているクロマサンプルは、6タップフィルタを適用することによって、6つの塗りつぶされた丸によって表されている6つのルーマサンプルから予測される。
【0152】
図12~15は、例えば、CCLMイントラ予測900、メカニズム1600、CCIP_Aモード1700及びCCIP_Lモード1800を使用するMDLMイントラ予測、並びに/又はグラフ1900に表されているMMLMイントラ予測に従って、クロスコンポーネントイントラ予測をサポートするためのダウンサンプリングのメカニズム1200、1300、1400及び1500の例を表す概略図である。従って、メカニズム1200、1300、1400及び1500は、コーデックシステム10若しくは40のイントラ予測ユニット46及び/若しくはイントラ予測ユニット74、符号器20のイントラ予測ユニット46、並びに/又は復号器30のイントラ予測ユニット74によって実行されてよい。具体的に、メカニズム1200、1300、1400及び1500は、方法200のステップ2210中、復号器での方法230のステップ2320又は方法250のステップ2520中、及び符号器での方法240のステップ2420又は方法260のステップ2620中に夫々用いられ得る。
図12~15の詳細は、参照により本願に援用される、2019年12月7日付けで出願された国際出願第PCT/US2019/041526号で紹介されている。
【0153】
図12のメカニズム1200では、隣接ルーマ参照サンプルの2つの行1218及び1219がダウンサンプリングされ、隣接ルーマ参照サンプルの3つの列1220、1221及び1222がダウンサンプリングされる。行1218及び1219と、列1220、1221及び1222とは、クロスコンポーネントイントラ予測に従って予測されるクロマブロックとCUを共有するルーマブロック1211に直接に隣接する。ダウンサンプリング後、隣接ルーマ参照サンプルの行1218及び1219は、ダウンサンプリングされた隣接ルーマ参照サンプルの単一の行1216になる。更に、隣接ルーマ参照サンプルの列1220、1221及び1222はダウンサンプリングされて、ダウンサンプリングされた隣接ルーマ参照サンプルの単一の列1217が得られる。その上、ルーマブロック1211のルーマサンプルは、ダウンサンプリングされたルーマ参照サンプル1212を生成するようダウンサンプリングされる。ダウンサンプリングされたルーマ参照サンプル1212並びに行1216及び列1217からのダウンサンプリングされた隣接ルーマ参照サンプルは、次いで、式(1)に従ってクロスコンポーネントイントラ予測のために用いられ得る。行1218及び1219並びに列1220、1221及び1222の寸法は、
図12に示されるようにルーマブロック1211を越えて延在してよい、ことが留意されるべきである。例えば、Mと表され得る、各行1218/1219における上隣接ルーマ参照サンプルの数は、Wと表され得る、ルーマブロック1211の行内のルーマサンプルの数よりも多い。更に、Nと表され得る、各列1220/1221/1222における左隣接ルーマ参照サンプルの数は、Hと表され得る、ルーマブロック1211の列内のルーマサンプルの数よりも多い。
【0154】
例において、メカニズム1200は、次のとおりに実施されてよい。ルーマブロック1211のために、A1及びA2と表される2つの上隣接行1218及び1219は、Aと表されるダウンサンプリングされた隣接行1216を得るようダウンサンプリングに使用される。A[i]は、A内のi番目のサンプルであり、A1[i]は、A1内のi番目のサンプルであり、A2[i]は、A2内のi番目のサンプルである。具体例において、6タップダウンサンプリングフィルタが、式(4)に従って、ダウンサンプリングされた隣接行1216を取得するよう、隣接行1218及び1219に適用可能である:
【数3】
【0155】
更に、左隣接列1220、1221及び1222は、L1、L2及びL3と表され、Lと表されるダウンサンプリングされた隣接列1217を取得するようダウンサンプリングに使用される。L[i]は、L内のi番目のサンプルであり、L1[i]は、L1内のi番目のサンプルであり、L2[i]は、L2内のi番目のサンプルであり、L3[i]は、L3内のi番目のサンプルである。具体例において、6タップダウンサンプリングフィルタが、式(5)に従って、ダウンサンプリングされた隣接列1217を取得するよう、隣接列1220、1221及び1222に適用可能である:
【数4】
【0156】
図13のメカニズム1300は、
図12のメカニズム1200と実質的に同様である。メカニズム1300は、ルーマブロック1211、行1218及び1219、並びに列1220、1221及び1222に夫々類似しているルーマブロック1311と、隣接ルーマ参照サンプルの隣接する行1318及び1319並びに列1320、1321及び1322とを含む。相違は、行1318及び1319と、列1320、1321及び1322とが、ルーマブロック1311を越えて延在しない点である。メカニズム1200で見られたように、ルーマブロック1311、行1318及び1319、並びに列1320、1321及び1322は、ダウンサンプリングされたルーマ参照サンプル1312と、ダウンサンプリングされた隣接ルーマ参照サンプルを含む列1317及び行1316を生成するようダウンサンプリングされる。列1317及び行1316は、ダウンサンプリングされたルーマ参照サンプル1312のブロックを超えて延在しない。その他の点では、ダウンサンプリングされたルーマ参照サンプル1312、列1317及び行1316は、ダウンサンプリングされたルーマ参照サンプル1212、列1217及び行1216と夫々実質的に同様である。
【0157】
図14のメカニズム1400は、メカニズム1200及び1300に類似しているが、2つの行の代わりに、隣接ルーマ参照サンプルの単一の行1418を用いる。メカニズム1400はまた、隣接ルーマ参照サンプルの3つの列1420、1421及び1422を用いる。行1418と、列1420、1421及び1422とは、クロスコンポーネントイントラ予測に従って予測されるクロマブロックとCUを共有するルーマブロック1411に直接に隣接する。ダウンサンプリング後、隣接ルーマ参照サンプルの行1418は、ダウンサンプリングされた隣接ルーマ参照サンプルの行1416になる。更に、隣接ルーマ参照サンプルの列1420、1421及び1422はダウンサンプリングされて、ダウンサンプリングされた隣接ルーマ参照サンプルの単一の列1417が得られる。更に、ルーマブロック1411のルーマサンプルは、ダウンサンプリングされたルーマ参照サンプル1412を生成するようダウンサンプリングされる。ダウンサンプリングされたルーマ参照サンプル1412並びに行1416及び列1417からのダウンサンプリングされた隣接ルーマ参照サンプルは、次いで、式(1)に従ってクロスコンポーネントイントラ予測のために用いられ得る。
【0158】
ダウンサンプリング中に、行および列は、ラインバッファにおいてメモリに格納される。ダウンサンプリング中に行1319を省略し、代わりに、値の単一の行1418を使用することによって、ラインバッファのメモリ使用量は大幅に減る。しかし、行1316からのダウンサンプリングされた隣接ルーマ参照サンプルは、行1416からのダウンサンプリングされた隣接ルーマ参照サンプルと実質的に同様であると認められている。そのようなものとして、ダウンサンプリング中に行1319を省略し、代わりに単一の行1418を使用することは、精度、従って、コーディング効率を犠牲にせずに、ラインバッファのメモリ使用量の削減を、従って、より良い処理速度、更なる並列化、より少ないメモリ要求、などをもたらす。従って、1つの例となる実施形態において、隣接ルーマ参照サンプルの単一の行1418は、クロスコンポーネントイントラ予測における使用のためにダウンサンプリングされる。
【0159】
例において、メカニズム1400は、次のとおりに実施されてよい。ルーマブロック1411のために、A1と表される上隣接行1418は、Aと表されるダウンサンプリングされた隣接行1416を得るようダウンサンプリングに使用される。A[i]は、A内のi番目のサンプルであり、A1[i]は、A1内のi番目のサンプルである。具体例において、3タップダウンサンプリングフィルタが、式(6)に従って、ダウンサンプリングされた隣接行1416を取得するよう、隣接行1418に適用可能である:
【数5】
【0160】
更に、左隣接列1420、1421及び1422は、L1、L2及びL3と表され、Lと表されるダウンサンプリングされた隣接列1417を取得するようダウンサンプリングに使用される。L[i]は、L内のi番目のサンプルであり、L1[i]は、L1内のi番目のサンプルであり、L2[i]は、L2内のi番目のサンプルであり、L3[i]は、L3内のi番目のサンプルである。具体例において、6タップダウンサンプリングフィルタが、式(7)に従って、ダウンサンプリングされた隣接列1417を取得するよう、隣接列1420、1421及び1422に適用可能である:
【数6】
【0161】
メカニズム1400は、説明されているダウンサンプリングフィルタに限定されない、ことが留意されるべきである。例えば、式(6)に記載されている3タップダウンサンプリングフィルタを用いることに代えて、サンプルはまた、以下式(8)で見られるように直接にフェッチ可能である:
【数7】
【0162】
図15のメカニズム1500は、メカニズム1300に類似しているが、夫々2つの行1318及び1319並びに3つの列1320、1321及び1322の代わりに、隣接ルーマ参照サンプルの単一の行1518及び隣接ルーマ参照サンプルの単一の列1520を用いる。行1518及び列1520は、クロスコンポーネントイントラ予測に従って予測されるクロマブロックとCUを共有するルーマブロック1511に直接に隣接する。ダウンサンプリング後、隣接ルーマ参照サンプルの行1518は、ダウンサンプリングされた隣接ルーマ参照サンプルの行1516になる。更に、隣接ルーマ参照サンプルの列1520はダウンサンプリングされて、ダウンサンプリングされた隣接ルーマ参照サンプルの単一の列1517が得られる。行1516及び列1517からのダウンサンプリングされた隣接ルーマ参照サンプルは、次いで、式(1)に従ってクロスコンポーネントイントラ予測のために用いられ得る。
【0163】
メカニズム1500は、ダウンサンプリング中に、行1319と、列1321及び1322とを省略し、代わりに、値の単一の行1518及び単一の列1520を使用し、ラインバッファのメモリ使用量を大幅に減らす。しかし、行1316及び列1317からのダウンサンプリングされた隣接ルーマ参照サンプルは、夫々行1516及び列1517からのダウンサンプリングされた隣接ルーマ参照サンプルと実質的に同様であると認められている。そのようなものとして、ダウンサンプリング中に行1319並びに列1321及び1322を省略し、代わりに単一の行1518及び列1520を使用することは、精度、従って、コーディング効率を犠牲にせずに、ラインバッファのメモリ使用量の削減を、従って、より良い処理速度、更なる並列化、より少ないメモリ要求、などをもたらす。従って、他の例となる実施形態において、隣接ルーマ参照サンプルの単一の行1518及び隣接ルーマ参照サンプルの単一の列1520は、クロスコンポーネントイントラ予測における使用のためにダウンサンプリングされる。
【0164】
例において、メカニズム1500は、次のとおりに実施されてよい。ルーマブロック1511のために、A1と表される上隣接行1518は、Aと表されるダウンサンプリングされた隣接行1516を得るようダウンサンプリングに使用される。A[i]は、A内のi番目のサンプルであり、A1[i]は、A1内のi番目のサンプルである。具体例において、3タップダウンサンプリングフィルタが、式(9)に従って、ダウンサンプリングされた隣接行1516を取得するよう、隣接行1518に適用可能である:
【数8】
【0165】
更に、左隣接列1520は、L1と表され、Lと表されるダウンサンプリングされた隣接列1517を取得するようダウンサンプリングに使用される。L[i]は、L内のi番目のサンプルであり、L1[i]は、L1内のi番目のサンプルである。具体例において、2タップダウンサンプリングフィルタが、式(10)に従って、ダウンサンプリングされた隣接列1517を取得するよう、隣接列1520に適用可能である:
【数9】
【0166】
代替の例では、メカニズム1500は、ダウンサンプリング時に、L1列(例えば、列1520)の代わりに、L2列(例えば、列1321)を用いるよう変更されてよい。そのような場合に、2タップダウンサンプリングフィルタが、式(11)に従って、ダウンサンプリングされた隣接列1517を取得するよう、隣接列L2に適用可能である。メカニズム1500は、説明されているダウンサンプリングフィルタに限定されない、ことが留意されるべきである。例えば、式(9)及び(10)に記載されている2タップ及び3タップダウンサンプリングフィルタを用いることに代えて、サンプルはまた、以下式(11)及び(12)で見られるように直接にフェッチ可能である:
【数10】
【0167】
更に、メカニズム1400及び1500はまた、行1418、1416、1518、1516及び/又は列1420、1421、1422、1417、1520及び/又は1517の寸法が対応するルーマブロック1411及び/又は1511を越えて延在する場合(例えば、
図12に図示される)にも適用可能である、ことも留意されるべきである。
【0168】
Joint exploration model(JEM)では、2つのCCLMモード、すなわち、単一モデルCCLMモード及び多重モデルCCLMモード(MMLM)、がある。名称によって示されるように、単一モデルCCLMモードは、CU全体についてルーマサンプルからクロマサンプルを予測するために1つの線形モデルを使用し、一方、MMLMでは、2つの線形モデルが存在し得る。MMLMでは、現在のブロックの隣接ルーマサンプル及び隣接クロマサンプルは2つのグループに分類され、各グループは、線形モデルを導出するために訓練セットとして使用される(すなわち、特定のα及び特定のβが特定のグループについて導出される)。更に、現在のルーマブロックのサンプルも、隣接ルーマサンプルの分類のための同じ規則に基づいて分類される。
【0169】
図16は、CCLMイントラ予測をサポートするよう線形モデルパラメータを決定する、例となるメカニズム1600を表すグラフである。線形モデルパラメータα及びβを導出するために、上及び左の隣接する再構成されたルーマサンプルは、上及び左の隣接する再構成されたクロマサンプルとの一対一の関係を得るようダウンサンプリングされてよい。メカニズム1200では、式(1)で使用されるα及びβは、ダウンサンプリングされた隣接ルーマ参照サンプルの最小及び最大値に基づいて決定される。2つの点(ルーマ値及びクロマ値の2つの対、又はルーマ値及びクロマ値の2つの組)(A,B)は、
図16に表されているように、隣接ルーマサンプルの組の中の最小及び最大値である。これは、回帰誤差を最小限することに基づいてα及びβを決定することに対する代替のアプローチである。
【0170】
図16に示されるように、直線は、式Y=αx+βによって表され、線形モデルパラメータα及びβは、次の式(13)及び(14)に従って取得される:
【数11】
ここで、(x
A,y
A)は、最小の隣接ルーマ参照値及び対応するクロマ参照値によって定義される座標の組であり、(x
B,y
B)は、最大の隣接ルーマ参照値及び対応するクロマ参照値によって定義される座標の組である。ここで留意すべきは、2つの点(ルーマ値及びクロマ値の2つの対)(A,B)は、ダウンサンプリングされたルーマ再構成隣接サンプル及びクロマ再構成隣接サンプルから選択される点である。
【0171】
例となるメカニズム1600は、線形モデルパラメータを導出するために最大/最小ルーマ値及び対応するクロマ値を使用する。たった2つの点(点は、ルーマ値及びクロマ値の対によって表現される)のみが、線形モデルパラメータを導出するために、隣接ルーマサンプル及び隣接クロマサンプルから選択される。例となるメカニズム1600は、いくらかのノイズを伴ういくつかのビデオシーケンスには適用されない。
【0172】
多方向線形モデル
上(最上)隣接サンプル及び左隣接サンプルの両方が一緒に線形モデルパラメータを計算するために使用可能であることに加えて、それらはまた、代替的に、CCIP_A及びCCIP_Lモードと呼ばれる他の2つのCCIP(cross-component intra prediction)モードでも使用可能である。CCIP_A及びCCIP_Lはまた、簡潔さのために多方向線形モデル(MDLM)とも表され得る。
【0173】
図17及び18は、MDLMイントラ予測を実行するメカニズムの例を表す概略図である。MDLMイントラ予測は、CCLMイントラ予測900に類似した様態で動作する。具体的に、MDLMイントラ予測は、線形モデルパラメータα及びβを決定するときにクロスコンポーネント線形モデル予測(CCIP)_Aモード1700及びCCIP_Lモード1800の両方を使用する。例えば、MDLMイントラ予測は、CCIP_Aモード1700及びCCIP_Lモード1800を用いて線形モデルパラメータα及びβを計算してよい。他の例では、MDLMイントラ予測は、線形モデルパラメータα及びβを決定するためにCCIP_Aモード1700又はCCIP_Lモード1800を使用してよい。
【0174】
CCIP_Aモードでは、上隣接サンプルのみが、線形モデルパラメータを計算するために使用される。より多くの参照サンプルを取得するために、上隣接サンプルは、通常は(W+H)に拡張される。
図17に示されるように、W=Hであり、Wは、各々のルーマ又はクロマブロックの幅を示し、Hは、各々のルーマ又はクロマブロックの高さを示す。
【0175】
CCIP_Lモードでは、左隣接サンプルのみが、線形モデルパラメータを計算するために使用される。より多くの参照サンプルを取得するために、左隣接サンプルは、通常は(H+W)に拡張される。
図18に示されるように、W=Hであり、Wは、各々のルーマ又はクロマブロックの幅を示し、Hは、各々のルーマ又はクロマブロックの高さを示す。
【0176】
CCIPモード(すなわち、CCLM又はLMモード)及びMDLM(CCIP_A及びCCIP_L)は、一緒に使用可能であり、あるいは、代替的に、例えば、CCIPのみがコーデックで使用されるか、あるいは、MDLMのみがコーデックで使用されるか、あるいは、CCIP及びMDLMの両方がコーデックで使用される。
【0177】
多重モデルCCLM
単一モデルCCLMに加えて、多重モデルCCLMモード(MMLM)と呼ばれる他のモードが存在する。名称によって示されるように、単一モデルCCLMモードは、CU全体についてルーマサンプルからクロマサンプルを予測するために1つの線形モデルを使用し、一方、MMLMでは、2つのモデルが存在し得る。MMLMでは、現在のブロックの隣接ルーマサンプル及び隣接クロマサンプルは2つのグループに分類され、各グループは、線形モデルを導出するために訓練セットとして使用される(すなわち、特定のα及び特定のβが特定のグループについて導出される)。更に、現在のルーマブロックのサンプルも、隣接ルーマサンプルの分類のための同じ規則に基づいて分類される。
【0178】
図19は、MMLMイントラ予測をサポートするよう線形モデルパラメータを決定する、例となるメカニズム1900を表すグラフである。グラフ1900で示されているMMLMイントラ予測は、クロスコンポーネントイントラ予測の一種である。MMLMイントラ予測は、CCLMイントラ予測に類似している。相違は、MMLMでは、隣接する再構成されたルーマサンプルが、関連するルーマ値(例えば、Rec’L)を閾値と比較することによって、2つのグループに置かれる点である。次いで、CCLMイントラ予測が、線形モデルパラメータα及びβを決定し、式(1)に従って対応する線形モデルを完成させるよう、各グループに対して実行される。2つのグループへの隣接する再構成されたルーマサンプルの分類は、以下式(15)に従って実行されてよい。
【0179】
例において、閾値は、隣接する再構成されたルーマサンプルの平均値として計算される。Rec’
L[x,y]<=Threshodである隣接する再構成されたルーマサンプルは、グループ1に分類され、Rec’
L[x,y]>Threshodである隣接する再構成されたルーマサンプルは、グループ2に分類される。
【数12】
ここで、式(15)の変数は、式(1)と同様に定義され、1の添え字は、第1グループとの関係を示し、2の添え字は、第2グループとの関係を示す。
【0180】
グラフ1900によって示されるように、線形モデルパラメータα1及びβ1は、第1グループについて計算可能であり、線形モデルパラメータα2及びβ2は、第2グループについて計算可能である。具体例として、そのような値は、2のα1=2、β1=1、α2=1/2、及び負の1のβ2=-1であり得、閾値は17のルーマ値である。MMLMイントラ予測は、次いで、最小の残差サンプルをもたらし、かつ/あるいは、最大のコーディング効率をもたらす、結果として得られたモデルを選択することができる。
【0181】
上述されたように、ここで論じられている異なるCCLMイントラ予測を実行するメカニズムの例は、線形モデルパラメータを導出するために最大/最小ルーマ値及び対応するクロマ値を使用し、ロバストな線形モデルパラメータを達成するCCLMイントラ予測を実行する改善されたメカニズムが望ましい。
【0182】
1つよりも多い点が最大値を有するか、あるいは、1つよりも多い点が最小値を有する場合に、点の対は、対応する点のクロマ値に基づいて選択されることになる。
【0183】
1つよりも多い点が最大値を有するか、あるいは、1つよりも多い点が最小値を有する場合に、最大値を有するルーマサンプルの平均クロマ値が、最大ルーマ値についての対応するクロマ値として設定され、最小値を有するルーマサンプルの平均クロマ値が、最小ルーマ値についての対応するクロマ値として設定されることになる。
【0184】
1対の点(最小及び最大)しか選択されないわけではない。具体的に、より大きいルーマ値を有するN個の点、及びより小さいルーマ値を有するM個の点が、線形モデルパラメータを計算するために使用されることになる。
【0185】
一対の点しか選択されないわけではない。具体的に、[MaxValue-T1,MaxValue]の範囲内のルーマ値を有するN個の点、及び[MinValue,MinValue+T2]の範囲内のルーマ値を有するM個の点が、線形モデルパラメータを計算するための点として選択されることになる。
【0186】
上及び左隣接サンプルしか、最大/最小値を取得するために使用されないわけではなく、左下隣接サンプル及び右上隣接サンプルのように、いくつかの拡張された隣接サンプルも使用される。
【0187】
上記の例となる改善されたメカニズムによれば、よりロバストな線形モデルパラメータが、CCLMイントラ予測のコーディング効率を改善することとともに達成され得る。
【0188】
本開示では、ルーマ及びクロマサンプルの対から最大/最小ルーマ値及び対応するクロマ値を取得するための改善されたメカニズムが、以下で詳細に説明される。
【0189】
ここで留意すべきは、改善されたメカニズムはMDLM及びMMLMでも使用可能である点である。
【0190】
本開示では、改善されたメカニズムは、線形モデルパラメータを導出するために最大及び最小ルーマ値並びに対応するクロマ値を取得すべく与えられる。改善されたメカニズムによって、よりロバストな線形モデルパラメータが導出され得る。
【0191】
例において、ここで、ルーマサンプル及びクロマサンプルの対の組は、{(p0,q0),(p1,q1),(p2,q2),・・・,(pi,qi),・・・,(pV-1,qV-1)}と表される。このとき、piは、i番目の点のルーマ値であり、qiは、i番目の点のクロマ値である。ここで、ルーマ点の組は、P={p0,p1,p2,・・・,pi,・・・,pV-1}と表記され、クロマ点の組は、Q={q0,q1,・・・,qi,・・・,qV-1}と表記される。
【0192】
第1の改善されたメカニズム:1つよりも多い極点、及び点の対がクロマ値に従って選択される
第1の改善されたメカニズムでは、1つよりも多い点が最大/最小値を有する場合に、点の対が、対応する点のクロマ値に基づいて選択されることになる。最小クロマ値差を有する点の対が、線形モデルパラメータを導出するための点の対として選択されることになる。
【0193】
例えば、5番目、7番目、8番目の点が最大ルーマ値を有し、4番目、6番目の点が最小ルーマ値を有し、|q7-q4|が|q5-q4|、|q5-q6|、|q7-q4|、|q7-q6|、|q8-q4|、及び|q8-q6|の中で最小の値であると仮定する。その場合に、7番目及び4番目の点が、線形モデルパラメータを導出するために選択されることになる。
【0194】
ここで留意すべきは、最小クロマ値差を使用することに加えて、第1の改善されたメカニズムは、最大クロマ値差も使用可能である点である。例えば、5番目、7番目、8番目の点が最大ルーマ値を有し、4番目、6番目の点が最小ルーマ値を有し、|q5-q6|が|q5-q4|、|q5-q6|、|q7-q4|、|q7-q6|、|q8-q4|、及び|q8-q6|の中で最大の値であると仮定する。その場合に、5番目及び6番目の点が、線形モデルパラメータを導出するために選択されることになる。
【0195】
ここで留意すべきは、改善されたメカニズムは、MDLM及びMMLMでも使用可能である点である。
【0196】
第2の改善されたメカニズム:1つよりも多い極点、平均クロマ値の使用
第2の改善されたメカニズムでは、1つよりも多い点が最大/最小値を有する場合に、平均クロマ値が使用されることになる。最大ルーマ値に対応するクロマ値は、最大ルーマ値を有する点の平均クロマ値である。最小ルーマ値に対応するクロマ値は、最小ルーマ値を有する点の平均クロマ値である。
【0197】
例えば、5番目、7番目、8番目の点が最大ルーマ値を有し、4番目、6番目の点が最小ルーマ値を有する場合に、最大ルーマ値に対応するクロマ値は、q5、q7及びq8の平均値である。最小ルーマ値に対応するクロマ値は、q4及びq6の平均値である。
【0198】
ここで留意すべきは、改善されたメカニズムは、MDLM及びMMLMでも使用可能である点である。
【0199】
第3の改善されたメカニズム:(点の数に基づき1つよりも多い点)、1つよりも多いより大きい/より小さい点が平均値を用いて使用される
第3の改善されたメカニズムでは、N個の点が、最大ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたN個の点は、他の点よりも大きいルーマ値を有する。選択されたN個の点の平均ルーマ値が、最大ルーマ値として使用され、選択されたN個の点の平均クロマ値が、最大ルーマ値に対応するクロマ値として使用されることになる。
【0200】
M個の点は、最小ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたM個の点は、他の点よりも小さいルーマ値を有する。選択されたM個の点の平均ルーマ値が、最小ルーマ値として使用され、選択されたM個の点の平均クロマ値が、最小ルーマ値に対応するクロマ値として使用されることになる。
【0201】
例えば、5番目、7番目、8番目、9番目、11番目の点が他の点よりも大きいルーマ値を有し、4番目、6番目、14番目、18番目の点がより小さいルーマ値を有する場合に、p5、p7、p8、p9及びp11の平均値は、線形モデルパラメータに使用される最大ルーマ値であり、q5、q7、q8、q9及びq11の平均値は、最大ルーマ値に対応するクロマ値である。それから、p4、p6、p14及びp18の平均値は、線形モデルパラメータに使用される最小ルーマ値であり、q4、q6、q14及びq18の平均値は、最小ルーマ値に対応するクロマ値である。
【0202】
ここで留意すべきは、M及びNは等しくても等しくなくてもよい点である。例えば、M=N=2である。
【0203】
ここで留意すべきは、M及びNは、ブロックサイズに基づいて適応的に定義され得る点である。例えば、M=(W+H)>>t、N=(W+H)>>rである。ここで、t及びrは、2、3及び4のような右シフトビットの個数である。
【0204】
代替の実施では、(W+H)>T1の場合に、M及びNは、特定の値M1、N1として設定される。そうでない場合には、M及びNは、特定の値M2、N2として設定される。ここで、M1及びN1は、等しくても等しくなくてもよい。M2及びN2は、等しくても等しくなくてもよい。例えば、(W+H)>16の場合に、M=2、N=2である。(W+H)<=16の場合に、M=1、N=1である。
【0205】
留意すべきは、改善されたメカニズムは、MDLM及びMMLMでも使用可能である点である。
【0206】
第4の改善されたメカニズム:(能動的に、ルーマ値閾値に基づいて1つよりも多い点)、1つよりも多いより大きい/より小さい点が平均値を用いて使用される
第4の改善されたメカニズムでは、N個の点が、最大ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたN個の点は、[MaxlumaValue-T1,MaxlumaValue]の範囲内にあるルーマ値を有する。選択されたN個の点の平均ルーマ値が、最大ルーマ値として使用され、選択されたN個の点の平均クロマ値が、最大ルーマ値に対応するクロマ値として使用されることになる。例において、MaxlumaValueは、組Pの中の最大ルーマ値を表す。
【0207】
第4の改善されたメカニズムでは、M個の点が、最小ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたM個の点は、[MinlumaValue,MinlumaValue+T2]の範囲内にあるルーマ値を有する。選択されたM個の点の平均ルーマ値が、最小ルーマ値として使用され、選択されたM個の点の平均クロマ値が、最小ルーマ値に対応するクロマ値として使用されることになる。例において、MinlumaValueは、組Pの中の最小ルーマ値を表す。
【0208】
例えば、5番目、7番目、8番目、9番目、11番目の点が[Lmax-T1,Lmax]の範囲内のルーマ値を有する点である場合。4番目、6番目、14番目、18番目の点は、[Lmin,Lmin+T2]の範囲内のルーマ値を有する点である。例において、Lmaxは、組Pの中の最大ルーマ値を表し、Lminは、組Pの中の最小ルーマ値を表す。その場合に、p5、p7、p8、p9及びp11の平均値は、線形モデルパラメータに使用される最大ルーマ値であり、q5、q7、q8、q9及びq11の平均値は、最大ルーマ値に対応する最大クロマ値である。それから、p4、p6、p14及びp18の平均値は、線形モデルパラメータに使用される最小ルーマ値であり、q4、q6、q14及びq18の平均値は、最小ルーマ値に対応する最小クロマ値である。
【0209】
留意すべきは、M及びNは等しくても等しくなくてもよい点である。
【0210】
留意すべきは、T1及びT2は等しくても等しくなくてもよい点である。
【0211】
留意すべきは、改善されたメカニズムは、MDLM及びMMLMでも使用可能である点である。
【0212】
第5の改善されたメカニズム:拡張された隣接サンプルの使用
既存のメカニズムでは、上及び左隣接サンプルのみが、線形モデルパラメータを導出するよう点の対を探索することを目的として、点の対を取得するために使用される。第5の改善されたメカニズムでは、いくつかの拡張されたサンプルが、線形モデルパラメータのロバスト性を改善するよう、点の対の数を増やすために使用可能である。
【0213】
例えば、右上隣接サンプル及び左下隣接サンプルも、線形モデルパラメータを導出するために使用される。
【0214】
例えば、
図20に示されるように、既存の単一モードCCLMメカニズムでは、ダウンサンプリングされた上隣接ルーマサンプルは、A’によって表され、ダウンサンプリングされた左隣接ルーマサンプルは、L’によって表される。上隣接クロマサンプルは、Ac’によって表され、左隣接クロマサンプルは、Lc’によって表される。
【0215】
図21に示されるように、第5の改善されたメカニズムでは、隣接サンプルは、右上及び左下サンプルに拡張されることになる。これは、参照サンプルA、L及びAc、Lcが、最大/最小ルーマ値及び対応するクロマ値を取得するために使用されてよいことを意味する。
【0216】
ここで、M>W、N>Hである。
【0217】
ここで留意すべきは、改善されたメカニズムは、MDLM及びMMLMでも使用可能である点である。
【0218】
既存のCCIP又はLMメカニズムでは、最大/最小ルーマ値及び対応するクロマ値を取得するために、一対の点しか使用されない。
【0219】
提案されている改善されたメカニズムでは、一対の点しか使用されないわけではない。
【0220】
1つよりも多い点が最大値を有するか、あるいは、1つよりも多い点が最小値を有する場合に、点の対は、対応する点のクロマ値に基づいて選択されることになる。
【0221】
1つよりも多い点が最大値を有するか、あるいは、1つよりも多い点が最小値を有する場合に、最大ルーマ値についての対応するクロマ値が、最大値を有するルーマサンプルの平均クロマ値であり、最小ルーマ値についての対応するクロマ値が、最小値を有するルーマサンプルの平均クロマ値である。
【0222】
1対の点しか選択されないわけではない。具体的に、より大きい値を有するN個の点、及びより小さい値を有するM個の点が、線形モデルパラメータを導出するために使用されることになる。
【0223】
一対の点しか選択されないわけではない。具体的に、[MaxValue-T1,MaxValue]の範囲内の値を有するN個の点、及び[MinValue,MinValue+T2]の範囲内の値を有するM個の点が、線形モデルパラメータを導出するための点として選択されることになる。
【0224】
上及び左隣接サンプルしか、最大/最小値を取得するために使用されないわけではなく、左下隣接サンプル及び右上隣接サンプルのように、いくつかの拡張された隣接サンプルも使用される。
【0225】
上記の全ての改善されたメカニズムが、よりロバストな線形モデルパラメータを取得することになる。
【0226】
上記の全ての改善されたメカニズムは、MMLMでも使用可能である。
【0227】
上記の全ての改善されたメカニズムは、改善されたメカニズム5を除いて、MDLMでも使用可能である。
【0228】
留意すべきは、本開示で提案されている改善されたメカニズムが、クロマイントラ予測のための線形モデルパラメータを導出することを目的として、最大/最小ルーマ値及び対応するクロマ値を取得するために使用される点である。改善されたメカニズムは、イントラ予測モジュール又はイントラ予測プロセスに適用される。従って、それは、復号器側及び符号器側の両方に存在する。また、最大/最小ルーマ値及び対応するクロマ値を取得するための改善されたメカニズムは、符号器及び復号器の両方で同じように実装されてよい。
【0229】
クロマブロックについて、LMモードを用いてその予測を取得するために、対応するダウンサンプリングされたルーマサンプルが最初に取得され、次いで、再構成された隣接サンプルにおける最大/最小ルーマ値及び対応するクロマ値が、線形モデルパラメータを導出するために取得される。次いで、現在のクロマブロックの予測(すなわち、予測ブロック)が、導出された線形モデルパラメータ及びダウンサンプリングされたルーマブロックを用いて取得される。
【0230】
本開示の実施形態1に従う、ブロックのクロスコンポーネント予測のための方法は、上記の第1の改善されたメカニズムに関係がある。
【0231】
本開示の実施形態2に従う、ブロックのクロスコンポーネント予測のための方法は、上記の第2の改善されたメカニズムに関係がある。
【0232】
本開示の実施形態3に従う、ブロックのクロスコンポーネント予測のための方法は、上記の第3の改善されたメカニズムに関係がある。
【0233】
本開示の実施形態4に従う、ブロックのクロスコンポーネント予測のための方法は、上記の第4の改善されたメカニズムに関係がある。
【0234】
本開示の実施形態5に従う、ブロックのクロスコンポーネント予測のための方法は、上記の第5の改善されたメカニズムに関係がある。
【0235】
図22は、本開示のいくつかの実施形態に従う、ブロック(例えば、クロマブロック)のクロスコンポーネント予測のための、他の例となる方法220のフローチャートである。従って、方法は、コーデックシステム10又は40のビデオ符号器20及び/又はビデオ復号器30によって実行されてよい。特に、方法は、ビデオ符号器20のイントラ予測ユニット46、及び/又はビデオ復号器30のイントラ予測ユニット74によって実行され得る。
【0236】
ステップ2201で、ダウンサンプリングされたルーマブロックが取得される。ルーマブロックの空間分解能は、クロマブロックよりも通常は大きく、ルーマブロック(すなわち、再構成されたルーマブロック)は、ダウンサンプリングされたルーマブロックを得るようダウンサンプリングされる、ことが理解され得る。
図9、12~15で表されているように、ルーマブロック911、1211、1311、1411及び1511は、クロマブロック901に対応する。
【0237】
ステップ2203で、最大ルーマ値及び最小ルーマ値が、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組から決定され、このとき、再構成された隣接ルーマサンプルは、ルーマブロックの上にある複数の再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の再構成されたルーマサンプルを含み、対応するクロマ値も決定される。
【0238】
ステップ2205で、線形モデルパラメータが計算される。例えば、線形モデルパラメータは、式(13)及び式(14)を用いて、最大ルーマ値及び対応するクロマ値と、最小ルーマ値及び対応するクロマ値に基づいて計算される。
【0239】
ステップ2207で、クロマブロック901の予測ブロックが、1つ以上の線形モデルパラメータに少なくとも基づいて取得される。クロマブロック901の予測されたクロマ値は、1つ以上の線形モデルパラメータと、ダウンサンプリングされたルーマブロック1212、1312、1412、1512とに基づいて生成される。クロマブロック901の予測されたクロマ値は、式(1)を用いて導出される。
【0240】
本開示の実施形態1(LMモードのための第1の改善されたメカニズムに対応する)に従う、ブロックのクロスコンポーネント予測のための方法は、
図22を参照して提供される。
【0241】
上記の第1の改善されたメカニズムは、最大/最小ルーマ値及び対応するクロマ値を導出するために使用されることになる。1つよりも多い点が最大/最小値を有する場合に、点の対は、対応する点のクロマ値に基づいて選択されることになる。最小クロマ値差を有する(最大/最小ルーマ値を有する)点の対は、線形モデルパラメータを導出するための点の対として選択されることになる。
【0242】
留意すべきは、クロマ値差の最小値を使用することに加えて、第1の改善されたメカニズムは、クロマ値差の最大値も使用することができる点である。
【0243】
詳細については、先に提示された改善されたメカニズム1を参照されたい。
【0244】
改善されたメカニズム1は、MDML及びMMLMでも使用可能である。例えば、MDLM/MMLMに対して、最大/最小ルーマ値及び対応するクロマ値のみが、線形モデルパラメータを導出するために使用される。改善されたメカニズム1は、最大/最小ルーマ値及び対応するクロマ値を導出するために使用される。
【0245】
本開示の実施形態2(LMモードのための第2の改善されたメカニズムに対応する)に従う、ブロックのクロスコンポーネント予測のための方法は、
図22を参照して提供される。
【0246】
実施形態2と実施形態1との間の相違は、次の点にある。
【0247】
1つよりも多い点が最大/最小値を有する場合に、平均クロマ値が使用されることになる。最大ルーマ値に対応するクロマ値は、最大ルーマ値を有する点の平均クロマ値である。最小ルーマ値に対応するクロマ値は、最小ルーマ値を有する点の平均クロマ値である。
【0248】
詳細については、改善されたメカニズム2を参照されたい。
【0249】
改善されたメカニズム2は、MDLM及びMMLMでも使用可能である。例えば、MDLM/MMLMに対して、最大/最小ルーマ値及び対応するクロマ値のみが、線形モデルパラメータを導出するために使用される。改善されたメカニズム2は、最大/最小ルーマ値及び対応するクロマ値を導出するために使用される。
【0250】
本開示の実施形態3(第3の改善されたメカニズムに対応する)に従う、ブロックのクロスコンポーネント予測のための方法は、
図22を参照して提供される。
【0251】
実施形態3と実施形態1との間の相違は、次の点にある。
【0252】
N個の点が、最大ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたN個の点は、他の点よりも大きいルーマ値を有する。選択されたN個の点の平均ルーマ値が、最大ルーマ値として使用され、選択されたN個の点の平均クロマ値が、最大ルーマ値に対応するクロマ値として使用されることになる。
【0253】
M個の点が、最小ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたM個の点は、他の点よりも小さいルーマ値を有する。選択されたM個の点の平均ルーマ値が、最小ルーマ値として使用され、選択されたM個の点の平均クロマ値が、最小ルーマ値に対応するクロマ値として使用されることになる。
【0254】
詳細については、上記の改善されたメカニズム3を参照されたい。
【0255】
改善されたメカニズム3は、MDLM及びMMLMでも使用可能である。例えば、MDLM/MMLMに対して、最大/最小ルーマ値及び対応するクロマ値のみが、線形モデルパラメータを導出するために使用される。改善されたメカニズム3は、最大/最小ルーマ値及び対応するクロマ値を導出するために使用される。
【0256】
本開示の実施形態4(第4の改善されたメカニズムに対応する)に従う、ブロックのクロスコンポーネント予測のための方法は、
図22を参照して提供される。
【0257】
実施形態4と実施形態1との間の相違は、次の点にある。
【0258】
N対の点が、最大ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたN対の点は、[MaxlumaValue-T1,MaxlumaValue]の範囲内にあるルーマ値を有する。選択されたN対の点の平均ルーマ値が、最大ルーマ値として使用され、選択されたN対の点の平均クロマ値が、最大ルーマ値に対応するクロマ値として使用されることになる。
【0259】
M対の点が、最小ルーマ値及び対応するクロマ値を計算するために使用されることになる。選択されたM対の点は、[MinlumaValue,MinlumaValue+T2]の範囲内にあるルーマ値を有する。選択されたM対の点の平均ルーマ値が、最小ルーマ値として使用され、選択されたM対の点の平均クロマ値が、最小ルーマ値に対応するクロマ値として使用されることになる。
【0260】
詳細については、上記の改善されたメカニズム4を参照されたい。
【0261】
改善されたメカニズム4は、MDLM及びMMLMでも使用可能である。例えば、MDLM/MMLMに対して、最大/最小ルーマ値及び対応するクロマ値のみが、線形モデルパラメータを導出するために使用される。改善されたメカニズム4は、最大/最小ルーマ値及び対応するクロマ値を導出するために使用される。
【0262】
本開示の実施形態5(第5の改善されたメカニズムに対応する)に従う、ブロックのクロスコンポーネント予測のための方法は、
図22を参照して提供される。
【0263】
実施形態5と実施形態1との間の相違は、次の点にある。
【0264】
いくつかの拡張されたサンプルが、線形モデルパラメータのロバスト性を改善するよう、点の対の数を増やすために使用され得る。
【0265】
例えば、右上隣接サンプル及び左下隣接サンプルも、線形モデルパラメータを導出するために使用される。
【0266】
詳細については、上記の改善されたメカニズム5を参照されたい。
【0267】
改善されたメカニズム5は、MMLMでも使用可能である。例えば、MMLMに対して、最大/最小ルーマ値及び対応するクロマ値のみが、線形モデルパラメータを導出するために使用される。改善されたメカニズム5は、最大/最小ルーマ値及び対応するクロマ値を導出するために使用される。
【0268】
図23は、ビデオデータを復号する、例となる方法230のフローチャートである。ステップ2310で、クロマブロック901に対応するルーマブロック911、1211、1311、1411及び1511が決定される。
【0269】
ステップ2320で、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組が決定され、このとき、再構成された隣接ルーマサンプルは、ルーマブロックの上にある複数の再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の再構成されたルーマサンプルを含む。
【0270】
ステップ2330で、ルーマ値及びクロマ値の2つの対が、N個のダウンサンプリングされた隣接ルーマサンプル及びN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに/又はM個のダウンサンプリングされた隣接ルーマサンプル及びM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルに従って、決定される。N個のダウンサンプリングされた隣接ルーマサンプルの最小値は、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組のうちの残りのダウンサンプリングされた隣接ルーマサンプルのルーマ値よりも小さくなく、M個のダウンサンプリングされた隣接ルーマサンプルの最大値は、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組のうちの残りのダウンサンプリングされた隣接ルーマサンプルのルーマ値よりも大きくなく、M、Nは、1よりも大きい正の整数である。特に、ルーマ値及びクロマ値の第1対は、ダウンサンプリングされたサンプルの組のうちのN個のダウンサンプリングされた隣接ルーマサンプルと、N個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプルとに従って決定され、ルーマ値及びクロマ値の第2対は、ダウンサンプリングされたサンプルの組のうちのM個のダウンサンプリングされた隣接ルーマサンプルと、M個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルとに従って決定される。
【0271】
ステップ2340で、1つ以上の線形モデルパラメータが、ルーマ値及びクロマ値の2つの対に基づいて決定される。
【0272】
ステップ2350で、クロマブロック901の予測ブロックが、1つ以上の線形モデルパラメータに少なくとも基づいて決定され、例えば、クロマブロック901の予測されたクロマ値は、線形モデルパラメータと、ダウンサンプリングされたルーマブロック1212、1312、1412及び1512とに基づいて生成される。
【0273】
ステップ2360で、クロマブロック901は、予測ブロックに基づいて再構成される。例えば、クロマブロック901を再構成するために予測ブロックを残差ブロックに加える。
【0274】
CCIP_Aモード1700を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含むが、ルーマブロックの左にある複数の再構成されたルーマサンプルを含まない、ことが留意されるべきである。CCIP_Lモード1800を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含まず、ルーマブロックの左にある複数の再構成されたルーマサンプルを含む。CCLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルと、ルーマブロックの左にある複数の再構成されたルーマサンプルとを含む。
【0275】
図24は、ビデオデータを符号化する、例となる方法240のフローチャートである。ステップ2410で、クロマブロック901に対応するルーマブロック911、1211、1311、1411及び1511が決定される。
【0276】
ステップ2420で、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組が決定され、このとき、再構成された隣接ルーマサンプルは、ルーマブロックの上にある複数の再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の再構成されたルーマサンプルを含む。
【0277】
ステップ2430で、ルーマ値及びクロマ値の2つの対が、N個のダウンサンプリングされた隣接ルーマサンプル及びN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに/又はM個のダウンサンプリングされた隣接ルーマサンプル及びM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルに従って、決定される。N個のダウンサンプリングされた隣接ルーマサンプルの最小値は、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組のうちの残りのダウンサンプリングされた隣接ルーマサンプルのルーマ値よりも小さくない。M個のダウンサンプリングされた隣接ルーマサンプルの最大値は、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組のうちの残りのダウンサンプリングされた隣接ルーマサンプルのルーマ値よりも大きくなく、M、Nは、1よりも大きい正の整数である。特に、ルーマ値及びクロマ値の第1対は、ダウンサンプリングされたサンプルの組のうちのN個のダウンサンプリングされた隣接ルーマサンプルと、N個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプルとに従って決定され、ルーマ値及びクロマ値の第2対は、ダウンサンプリングされたサンプルの組のうちのM個のダウンサンプリングされた隣接ルーマサンプルと、M個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルとに従って決定される。
【0278】
ステップ2440で、1つ以上の線形モデルパラメータが、ルーマ値及びクロマ値の2つの対に基づいて決定される。
【0279】
ステップ2450で、クロマブロック901の予測ブロックが、1つ以上の線形モデルパラメータに基づいて決定され、例えば、クロマブロック901の予測されたクロマ値は、線形モデルパラメータと、ダウンサンプリングされたルーマブロック1212、1312、1412及び1512とに基づいて生成される。
【0280】
ステップ2460で、クロマブロック901は、予測ブロックに基づいて符号化される。クロマブロックと予測ブロックとの間の残差データは符号化され、符号化された残差データを含むビットストリームが生成される。例えば、残差ブロック(残差データ)を取得するようクロマブロック901から予測ブロックを減じ、符号化された残差データを含むビットストリームを生成する。
【0281】
CCIP_Aモード1700を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含むが、ルーマブロックの左にある複数の再構成されたルーマサンプルを含まない、ことが留意されるべきである。CCIP_Lモード1800を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含まず、ルーマブロックの左にある複数の再構成されたルーマサンプルを含む。CCLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルと、ルーマブロックの左にある複数の再構成されたルーマサンプルとを含む。
【0282】
図25は、ビデオデータを復号する、例となる方法250のフローチャートである。ステップ2510で、クロマブロック901に対応するルーマブロック911が決定される。
【0283】
ステップ2520で、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組が決定され、このとき、再構成された隣接ルーマサンプルは、ルーマブロックの上にある複数の再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の再構成されたルーマサンプルを含む。
【0284】
ステップ2530で、最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルが、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組に含まれる場合に、ルーマ値及びクロマ値の2つの対が、最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル、及び最大値を有するN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに/又は最小値を有するM個のダウンサンプリングされた隣接ルーマサンプル、及び最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルに従って決定され、M、Nは、1よりも大きい正の整数である。特に、ルーマ値及びクロマ値の2つの対は、次の:
1.最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル及び最大値を有するN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに最小値を有する1つのダウンサンプリングされた隣接ルーマサンプル及び最小値を有するダウンサンプリングされた隣接ルーマサンプルに対応する1つの再構成された隣接クロマサンプルと、
2.最大値を有する1つのダウンサンプリングされた隣接ルーマサンプル及び最大値を有するダウンサンプリングされた隣接ルーマサンプルに対応する1つの再構成された隣接クロマサンプル、並びに最小値を有するM個のダウンサンプリングされた隣接ルーマサンプル及び最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルと、
3.最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル及び最大値を有するN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに最小値を有するM個のダウンサンプリングされた隣接ルーマサンプル及び最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルであって、M、Nは1よりも大きい正の整数である、と、
のうちの少なくとも1つに従って決定される。
【0285】
ステップ2540で、1つ以上の線形モデルパラメータが、ルーマ値及びクロマ値の2つの対に基づいて決定される。
【0286】
ステップ2550で、予測ブロックが、1つ以上の線形モデルパラメータに基づいて決定され、例えば、クロマブロック901の予測されたクロマ値は、線形モデルパラメータと、ダウンサンプリングされたルーマブロック1212、1312、1412及び1512とに基づいて生成される。
【0287】
ステップ2560で、クロマブロック901は、予測ブロックに基づいて再構成される。例えば、クロマブロック901を再構成するために予測ブロックを残差ブロックに加える。
【0288】
CCIP_Aモード1700を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含むが、ルーマブロックの左にある複数の再構成されたルーマサンプルを含まない、ことが留意されるべきである。CCIP_Lモード1800を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含まず、ルーマブロックの左にある複数の再構成されたルーマサンプルを含む。CCLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルと、ルーマブロックの左にある複数の再構成されたルーマサンプルとを含む。
【0289】
図26は、ビデオデータを符号化する、例となる方法260のフローチャートである。ステップ2610で、クロマブロック901に対応するルーマブロック911が決定される。
【0290】
ステップ2620で、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組が決定され、このとき、再構成された隣接ルーマサンプルは、ルーマブロックの上にある複数の再構成されたルーマサンプル、及び/又はルーマブロックの左にある複数の再構成されたルーマサンプルを含む。
【0291】
ステップ2630で、最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル及び/又は最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルが、再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルの組に含まれる場合に、ルーマ値及びクロマ値の2つの対が、最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル、及び最大値を有するN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに/又は最小値を有するM個のダウンサンプリングされた隣接ルーマサンプル、及び最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルに従って決定され、M、Nは、1よりも大きい正の整数である。特に、ルーマ値及びクロマ値の2つの対は、次の:
1.最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル及び最大値を有するN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに最小値を有する1つのダウンサンプリングされた隣接ルーマサンプル及び最小値を有するダウンサンプリングされた隣接ルーマサンプルに対応する1つの再構成された隣接クロマサンプルと、
2.最大値を有する1つのダウンサンプリングされた隣接ルーマサンプル及び最大値を有するダウンサンプリングされた隣接ルーマサンプルに対応する1つの再構成された隣接クロマサンプル、並びに最小値を有するM個のダウンサンプリングされた隣接ルーマサンプル及び最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルと、
3.最大値を有するN個のダウンサンプリングされた隣接ルーマサンプル及び最大値を有するN個のダウンサンプリングされた隣接ルーマサンプルに対応するN個の再構成された隣接クロマサンプル、並びに最小値を有するM個のダウンサンプリングされた隣接ルーマサンプル及び最小値を有するM個のダウンサンプリングされた隣接ルーマサンプルに対応するM個の再構成された隣接クロマサンプルであって、M、Nは1よりも大きい正の整数である、と、
のうちの少なくとも1つに従って決定される。
【0292】
ステップ2640で、1つ以上の線形モデルパラメータが、ルーマ値及びクロマ値の2つの対に基づいて決定される。
【0293】
ステップ2650で、クロマブロック901の予測ブロックが、1つ以上の線形モデルパラメータに基づいて決定され、例えば、クロマブロック901の予測されたクロマ値は、線形モデルパラメータと、ダウンサンプリングされたルーマブロック1212、1312、1412及び1512とに基づいて生成される。
【0294】
ステップ2660で、クロマブロック901は、予測ブロックに基づいて符号化される。クロマブロックと予測ブロックとの間の残差データは符号化され、符号化された残差データを含むビットストリームが生成される。例えば、残差ブロック(残差データ)を取得するようクロマブロック901から予測ブロックを減じ、符号化された残差データを含むビットストリームを生成する。
【0295】
CCIP_Aモード1700を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含むが、ルーマブロックの左にある複数の再構成されたルーマサンプルを含まない、ことが留意されるべきである。CCIP_Lモード1800を使用するMDLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルを含まず、ルーマブロックの左にある複数の再構成されたルーマサンプルを含む。CCLMイントラ予測の場合に、再構成された隣接ルーマサンプルの組は、ルーマブロックの上にある複数の再構成されたルーマサンプルと、ルーマブロックの左にある複数の再構成されたルーマサンプルとを含む。
【0296】
1つ以上の例において、説明されている機能は、ハードウェア、ソフトウェア、ファームウェア、又はその任意の組み合わせにおいて実装されてよい。ソフトウェアで実装される場合に、機能は、コンピュータ可読媒体上の1つ以上の命令又はコードとして記憶又は伝送され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体には、データ記憶媒体などの有形な媒体に対応するコンピュータ可読記憶媒体、又は1つの場所から他へのコンピュータプログラムの転送を、例えば、通信プロトコルに従って、容易にするあらゆる媒体を含む通信媒体が含まれ得る。この様態において、コンピュータ可読媒体は、一般に、(1)非一時的である有形なコンピュータ可読記憶媒体、又は(2)信号若しくは搬送波などの通信媒体、に対応し得る。データ記憶媒体は、本開示で説明されている技術の実装のために命令、コード、及び/又はデータ構造を取り出すよう1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセス可能な如何なる利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。
【0297】
例として、限定としてではなく、そのようなコンピュータ可読記憶媒体には、RAM、ROM、EEPROM、CD-ROM若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、フラッシュメモリ、又は命令若しくはデータ構造の形で所望のプログラムコードを記憶するために使用可能であって、コンピュータによってアクセス可能であるあらゆる他の媒体が含まれ得る。また、如何なる接続も、コンピュータ可読媒体と適切に称される。例えば、命令が同軸ケーブル、光ファイバケーブル、ツイステッドペア、デジタル加入者回線(DSL)、又は赤外線、電波、及びマイクロ波などの無線技術を用いてウェブサイト、サーバ、又は他の遠隔ソースから伝送される場合に、同軸ケーブル、光ファイバケーブル、ツイステッドペア、DSL、又は赤外線、電波、及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まず、代わりに、非一時的な、有形な記憶媒体を対象とする、ことが理解されるべきである。ここで使用されるdisk及びdiscは、コンパクト・ディスク(CD)、レーザーディスク、光ディスク、デジタル・バーサタイル・ディスク(DVD)、フロッピーディスク及びBlue-rayディスクを含み、ここで、diskは、通常は、磁気的にデータを再生し、一方、discは、レーザーで光学的にデータを再生する。上記の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
【0298】
命令は、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又は他の同等の集積若しくはディスクリートロジック回路などの1つ以上のプロセッサによって実行されてよい。従って、ここで使用される“プロセッサ”という語は、ここで説明されている技術の実施に適した上記の構造又はあらゆる他の構造のいずれかに言及してよい。その上、いくつかの態様において、ここで説明されている機能は、符号化及び復号化のために構成された専用のハードウェア及び/又はソフトウェアモジュール内で提供されるか、あるいは、複合コーデックに組み込まれてよい。また、技術は、1つ以上の回路又はロジック要素において完全に実装されてもよい。
【0299】
本開示の技術は、無線ハンドセット、集積回路(IC)又はICの組(例えば,チップセット)を含む広範なデバイス又は装置において実装されてよい。様々なコンポーネント、モジュール、又はユニットは、開示されている技術を実行するよう構成されたデバイスの機能的側面を強調するように本開示で説明されているが、必ずしも異なるハードウェアユニットよる実現を必要としない。むしろ、上述されたように、様々なユニットは、コーデックハードウェアユニットにまとめられても、あるいは、適切なソフトウェア及び/又はファームウェアとともに、上述された1つ以上のプロセッサを含む相互運用ハードウェアユニットの集合によって提供されてもよい。
【0300】
いくつかの実施形態が本開示において提供されてきたが、開示されているシステム及び方法は、本開示の精神又は範囲から外れずに、多数の他の具体的な形態で具現されてよい、ことが理解されるべきである。本例は、限定ではなく実例と見なされるべきであり、その意図は、ここで与えられている詳細に限定されるべきではない。例えば、様々な要素又はコンポーネントが、他のシステムに結合又は一体化されてよく、あるいは、特定の特徴は省略されても、又は実施されなくてもよい。
【0301】
その上、個別又は別々なものとして様々な実施形態において説明及び例示されている技術、システム、サブシステム、及び方法は、本開示の範囲から外れずに、他のシステム、モジュール、技術、又は方法と結合又は一体化されてよい。互いと結合又は直接結合若しくは通信するものとして図示又は議論されている他のアイテムは、電気的、機械的、又は別なふうであろうと、何らかのインターフェース、デバイス、又は中間コンポーネントを通じて間接的に結合又は通信してもよい。変更、置換、及び代替の他の例は、当業者によって確かめられ、ここで開示されている精神及び範囲から外れずに行われ得る。