(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】画像成分の予測方法、装置およびコンピュータ記憶媒体
(51)【国際特許分類】
H04N 19/593 20140101AFI20240305BHJP
H04N 19/105 20140101ALI20240305BHJP
H04N 19/134 20140101ALI20240305BHJP
H04N 19/176 20140101ALI20240305BHJP
【FI】
H04N19/593
H04N19/105
H04N19/134
H04N19/176
(21)【出願番号】P 2021576642
(86)(22)【出願日】2019-06-25
(86)【国際出願番号】 CN2019092711
(87)【国際公開番号】W WO2020258016
(87)【国際公開日】2020-12-30
【審査請求日】2022-05-27
(73)【特許権者】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., LTD.
【住所又は居所原語表記】No. 18 Haibin Road,Wusha, Chang’an,Dongguan, Guangdong 523860 China
(74)【代理人】
【識別番号】100091487
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【氏名又は名称】出口 智也
(74)【代理人】
【識別番号】100096921
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】フオ、チュンイェン
(72)【発明者】
【氏名】マー、イェンチュオ
(72)【発明者】
【氏名】ワン、シューアイ
(72)【発明者】
【氏名】ヤン、フーチョン
(72)【発明者】
【氏名】リー、シンウェイ
(72)【発明者】
【氏名】ラン、チーホン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第2018/118940(WO,A1)
【文献】国際公開第2018/053293(WO,A1)
【文献】米国特許出願公開第2017/0366818(US,A1)
【文献】Jangwon Choi, wt al.,CE3-related : Reduced number of reference samples for CCLM parameter calculation,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0138-v2,12th Meeting: Macao, CN,2018年10月,pp.1-5
【文献】Junyan Huo, et al.,CE3-related: Fixed Reference Samples Design for CCLM,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0211-v1,13th Meeting: Marrakech, MA,2019年01月,pp.1-6
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
デコーダに適用される、画像成分の予測方法であって、
ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することと、
前記第1参照画素セットのうちの有効画素点の数が0に等しい場合、
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することと、
前記第1参照画素セットのうちの有効画素点の数が4より大きいか等しい場合、前記第1参照画素セットを処理して、第2参照画素セットを取得することであって、前記第2参照画素セットのうちの有効画素点の数は、
プリセットされた数より小さいか等しいことと、
前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数と等しい場合、前記第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得することと、を含み、前記予測モデルは、前記予測される画像成分に対する予測処理を実現して、前記予測される画像成分に対応する予測値を取得するために使用される、前記画像成分の予測方法。
【請求項2】
前記
プリセットされた数が4であり、
前記ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することは、
前記符号化ブロックの少なくとも片側の辺に隣接する参照画素点を取得することであって、前記少なくとも片側の辺は、前記符号化ブロックの左側の辺および/または前記符号化ブロックの上側の辺を含むことと、
前記参照画素点に基づいて、前記予測される画像成分に対応する第1参照画素セットを決定することと、を含む、
請求項1に記載の画像成分の予測方法。
【請求項3】
前記ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することは、
前記符号化ブロックに隣接する参照行および/または参照列内の参照画素点を取得することであって、前記参照行は、前記符号化ブロックの上側の辺および右上側の辺に隣接する行によって形成されるものであり、前記参照列は、前記符号化ブロックの左側の辺および左下側の辺に隣接する列によって形成されるものであることと、
前記参照画素点に基づいて、前記予測される画像成分に対応する第1参照画素セットを決定することと、を含む、
請求項1に記載の画像成分の予測方法。
【請求項4】
前記第1参照画素セットを処理することは、前記第1参照画素セットをスクリーニングすることを含み、
前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得することは、
前記第1参照画素セット内の隣接参照画素点に対応する画素位置に基づいて、選択される画素点位置を決定することと、
決定された選択される画素点位置に従って、前記第1参照画素セットから前記選択される画素点位置に対応する有効画素点を選択し、選択して得られる有効画素点に基づいて、第2参照画素セットを決定することと、を含み、前記第2参照画素セットのうちの有効画素点の数は、
プリセットされた数より小さいか等しい、
請求項1ないし3のいずれか一項に記載の画像成分の予測方法。
【請求項5】
前記
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することは、
前記ビデオ画像のビット深度に基づいて、前記
プリセットされた成分値を決定することを含み、
前記
プリセットされた成分値は、1<<(BitDepth-1)であり、前記BitDepthは、前記予測される画像成分のビット深度である、
請求項1に記載の画像成分の予測方法。
【請求項6】
前記画像成分の予測方法は、
前記符号化ブロック内の各画素点について、前記
プリセットされた成分値を使用して、各画素点の予測される画像成分に対して予測値の充填を実行することをさらに含む、
請求項1に記載の画像成分の予測方法。
【請求項7】
前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得した後、前記画像成分の予測方法は、
前記予測モデルに基づいて、前記符号化ブロック内の各画素点の予測される画像成分に対して予測処理を実行して、各画素点の予測される画像成分に対応する予測値を取得することをさらに含む、
請求項1に記載の画像成分の予測方法。
【請求項8】
エンコーダに適用される、画像成分の予測方法であって、
ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することと、
前記第1参照画素セットのうちの有効画素点の数が0に等しい場合、
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することと、
前記第1参照画素セットのうちの有効画素点の数が4より大きいか等しい場合、前記第1参照画素セットを処理して、第2参照画素セットを取得することであって、前記第2参照画素セットのうちの有効画素点の数は、
プリセットされた数より小さいか等しいことと、
前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数と等しい場合、前記第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得することと、を含み、前記予測モデルは、前記予測される画像成分に対する予測処理を実現して、前記予測される画像成分に対応する予測値を取得するために使用される、前記画像成分の予測方法。
【請求項9】
前記
プリセットされた数が4であり、
前記ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することは、
前記符号化ブロックに隣接する参照行および/または参照列内の参照画素点を取得することであって、前記参照行は、前記符号化ブロックの上側の辺および右上側の辺に隣接する行によって形成されるものであり、前記参照列は、前記符号化ブロックの左側の辺および左下側の辺に隣接する列によって形成されるものであることと、
前記参照画素点に基づいて、前記予測される画像成分に対応する第1参照画素セットを決定することと、を含む、
請求項8に記載の画像成分の予測方法。
【請求項10】
記第1参照画素セットを処理することは、前記第1参照画素セットをスクリーニングすることを含み、
前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得することは、
前記第1参照画素セット内の隣接参照画素点に対応する画素位置に基づいて、選択される画素点位置を決定することと、
決定された選択される画素点位置に従って、前記第1参照画素セットから前記選択される画素点位置に対応する有効画素点を選択し、選択して得られる有効画素点に基づいて、第2参照画素セットを決定することと、を含み、前記第2参照画素セットのうちの有効画素点の数は、
プリセットされた数より小さいか等しい、
請求項8ないし9のいずれか一項に記載の画像成分の予測方法。
【請求項11】
前記
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することは、
前記ビデオ画像のビット深度に基づいて、前記
プリセットされた成分値を決定することを含み、
前記
プリセットされた成分値は、1<<(BitDepth-1)であり、前記BitDepthは、前記予測される画像成分のビット深度である、
請求項8に記載の画像成分の予測方法。
【請求項12】
前記画像成分の予測方法は、
前記符号化ブロック内の各画素点について、前記
プリセットされた成分値を使用して、各画素点の予測される画像成分に対して予測値の充填を実行することをさらに含む、
請求項8に記載の画像成分の予測方法。
【請求項13】
前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得した後、前記画像成分の予測方法は、
前記予測モデルに基づいて、前記符号化ブロック内の各画素点の予測される画像成分に対して予測処理を実行して、各画素点の予測される画像成分に対応する予測値を取得することをさらに含む、
請求項8に記載の画像成分の予測方法。
【請求項14】
メモリとプロセッサとを備える、デコーダであって、
前記メモリは、前記プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、
前記プロセッサは、前記コンピュータプログラムを実行するとき、請求項1ないし7のいずれか一項に記載の画像成分の予測方法を実行するように構成される、前記デコーダ。
【請求項15】
メモリとプロセッサとを備える、エンコーダであって、
前記メモリは、前記プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、
前記プロセッサは、前記コンピュータプログラムを実行するとき、請求項8ないし13のいずれか一項に記載の画像成分の予測方法を実行するように構成される、前記エンコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
本願実施例は、ビデオ符号化・復号化技術分野に関し、特に、画像成分の予測方法、装置およびコンピュータ記憶媒体に関する。
【背景技術】
【0002】
ビデオディスプレイ品質に対する人々の要求の高まりに伴い、高解像度および超高解像度ビデオなどの新しいビデオアプリケーションの形態が出現された。H.265/高効率ビデオ符号化(HEVC:High Efficiency Video Coding)は、ビデオアプリケーションの急速な発展の要求を満たすことができなく、共同ビデオエキスパートチーム(JVET:Joint Video Exploration Team)は、次世代ビデオ符号化規格H.266/バーサタイルビデオ符号化(VVC:Versatile Video Coding)を提案し、それに対応するテストモデルは、VVCの参照ソフトウェアテストプラットフォーム(VTM:VVC Test Model)である。
【0003】
VTMにおいて、現在、予測モデルベースの画像成分の予測方法を統合しており、当該予測モデルを介して、現在の符号化ブロック(CB:Coding Block)の輝度成分により色度成分を予測することができる。しかしながら、予測モデルを構築するとき、モデルパラメータの導出に使用される隣接する参照画素点の数が異なるため、追加の処理を増加しただけでなく、計算の複雑さも増やした。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願実施例は、画像成分の予測方法、装置およびコンピュータ記憶媒体を提供し、符号化・復号化予測性能を変更することなく、モデルパラメータの導出プロセスを統合し、同時に、隣接する参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、追加の処理モジュールを増加していないため、追加の処理は必要なく、計算の複雑さを減らす。
【課題を解決するための手段】
【0005】
本願実施例の技術的解決策は、以下のように実現されることができる。
【0006】
第1態様において、本願実施例は、画像成分の予測方法を提供し、前記方法は、
ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することと、
前記第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することと、
前記第1参照画素セットのうちの有効画素点の数がプリセットされた数より大きいか等しい場合、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得することであって、ここで、前記第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しいことと、
前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することと、
前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数と等しい場合、前記第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得することと、を含み、ここで、前記予測モデルは、前記予測される画像成分に対する予測処理を実現して、前記予測される画像成分に対応する予測値を取得するために使用される。
【0007】
第2態様において、本願実施例は、取得ユニット、予測ユニットおよびスクリーニングユニットを備える、画像成分の予測装置を提供し、ここで、
前記取得ユニットは、ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得するように構成され、
前記予測ユニットは、前記第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用するように構成され、
前記スクリーニングユニットは、前記第1参照画素セットのうちの有効画素点の数がプリセットされた数より大きいか等しい場合、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得するように構成され、ここで、前記第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しく、
前記予測ユニットは、さらに、前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用し、および前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数と等しい場合、前記第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得するように構成され、ここで、前記予測モデルは、前記予測される画像成分に対する予測処理を実現して、前記予測される画像成分に対応する予測値を取得するために使用される。
【0008】
第3態様において、本願実施例は、メモリとプロセッサとを備える、画像成分の予測装置を提供し、
前記メモリは、前記プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、
前記プロセッサは、前記コンピュータプログラムを実行するとき、第1態様に記載の方法を実行するように構成される。
【0009】
第4態様において、本願実施例は、画像成分予測プログラムを記憶する、コンピュータ記憶媒体を提供し、前記画像成分予測プログラムは、少なくとも1つのプロセッサによって実行されるとき、第1態様に記載の方法を実現する。
【発明の効果】
【0010】
本願実施例は、画像成分の予測方法、装置およびコンピュータ記憶媒体を提供し、ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することにより、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を予測される画像成分に対応する予測値として使用し、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より大きいか等しい場合、第1参照画素セットをスクリーニングして、第2参照画素セットを取得し、当該第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しく、第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を予測される画像成分に対応する予測値として使用し、第2参照画素セットのうちの有効画素点の数が、プリセットされた数と等しい場合、第2参照画素セットを介してモデルパラメータを決定し、モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得し、前記予測モデルは、予測される画像成分に対する予測処理を実現して、予測される画像成分に対応する予測値を取得するために使用され、このようにして、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さいか、第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットのデフォルト値を予測される画像成分に対応する予測値として直接に使用し、第2参照画素セットのうちの有効画素点の数が、プリセットされた数を満たす場合にのみ、第1参照画素セットに従ってモデルパラメータを決定して、予測される画像成分の予測モデルを確立し、それにより、モデルパラメータの導出プロセスを統合し、さらに、第1参照画素セットまたは第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、特に、有効画素点が、0または2である場合について、追加の処理モジュールを増加していないため、プリセットのデフォルト値を予測される画像成分に対応する予測値として直接に使用して、追加の処理は必要なく、計算の複雑さを減らす。
【図面の簡単な説明】
【0011】
【
図1】本願実施例による有効な隣接領域の分布の概略図である。
【
図2】本願実施例による3つのモードにおける選択領域の分布の概略図である。
【
図3】本願実施例によるビデオ符号化システムの例示的な構成のブロック図である。
【
図4】本願実施例によるビデオ復号化システムの例示的な構成のブロック図である。
【
図5】本願実施例による画像成分の予測方法の例示的なフローチャートである。
【
図6A】本願実施例によるINTRA_LT_CCLMモードにおける隣接参照画素点の選択の例示的な構造図である。
【
図6B】本願実施例によるINTRA_L_CCLMモードにおける隣接参照画素点の選択の例示的な構造図である。
【
図6C】本願実施例によるINTRA_T_CCLMモードにおける隣接参照画素点の選択の例示的な構造図である。
【
図7】本願実施例による別の画像成分の予測方法の例示的なフローチャートである。
【
図8A】本願実施例によるINTRA_LT_CCLMモードで0の有効画素点を生成する例示的な構造図である。
【
図8B】本願実施例によるINTRA_L_CCLMモードで0の有効画素点を生成する例示的な構造図である。
【
図8C】本願実施例によるINTRA_T_CCLMモードで0の有効画素点を生成する例示的な構造図である。
【
図9A】本願実施例によるINTRA_LT_CCLMモードで2の有効画素点を生成する例示的な構造図である。
【
図9B】本願実施例によるINTRA_L_CCLMモードで2の有効画素点を生成する例示的な構造図である。
【
図9C】本願実施例によるINTRA_T_CCLMモードで2の有効画素点を生成する例示的な構造図である。
【
図10】本願実施例によるモデルパラメータを導出する例示的なフローチャートである。
【
図11】本願実施例によるモデルパラメータを導出する例示的な簡略化されたフローチャートである。
【
図12】本願実施例によるモデルパラメータを導出する別の例示的な簡略化されたフローチャートである。
【
図13】本願実施例による画像成分の予測装置の構成の例示的な構造図である。
【
図14】本願実施例による画像成分の予測装置の具体的なハードウェアの例示的な構造図である。
【
図15】本願実施例によるエンコーダの構成の例示的な構造図である。
【
図16】本願実施例によるデコーダの構成の例示的な構造図である。
【発明を実施するための形態】
【0012】
本願実施例の特徴および技術的内容をより詳細に理解するために、以下、図面を参照して本願実施例の具現を詳細に説明し、添付の図面は、参照のみを目的とし、本願実施例を限定することを意図するものではない。
【0013】
ビデオ画像では、通常、第1画像成分、第2画像成分および第3画像成分を使用して符号化ブロックを表し、ここで、この3つの画像成分は、それぞれ、1つの輝度成分、1つの青彩色度成分および1つの赤彩色度成分であり、具体的には、輝度成分は、通常、符号Yで表され、青彩色度成分は、通常、符号CbまたはUで表され、赤彩色度成分は、通常、符号CrまたはVで表され、このようにして、ビデオ画像は、YCbCrのフォーマットで表されることができ、YUVのフォーマットで表されることもできる。
【0014】
本願実施例において、第1画像成分は、輝度成分であり得、第2画像成分は、青彩成分であり得、第3画像成分は、赤彩成分であり得るが、本願実施例では、特に限定されない。
【0015】
現在のビデオ画像またはビデオ符号化・復号化プロセスにおいて、クロスコンポーネント予測技術に対して、主に、クロスコンポーネント線形モデル予測(CCLM:Cross-component Linear Model Prediction)モードおよびマルチ方向線形モデル予測(MDLM:Multi-Directional Linear Model Prediction)モードを含み、CCLMモードに従って導出されるモデルパラメータ、またはMDLMモードに従って導出されるモデルパラメータに関係なく、対応する予測モデルはすべて、第1画像成分から第2画像成分へ、第2画像成分から第1画像成分へ、第1画像成分から第3画像成分へ、第3画像成分から第1画像成分へ、第2画像成分から第3画像成分へ、または第3画像成分から第2画像成分へなどの画像成分間の予測を実現することができる。
【0016】
第1画像成分から第2画像成分への予測を例として、第1画像成分と第2画像成分との冗長を減らすために、VVCには、CCLMモードが使用され、この場合、第1画像成分および第2画像成分は、同じ符号化ブロックのものであり、即ち、同じ符号化ブロックの第1画像成分再構成値に従って、第2画像成分の予測値を構築し、以下の式(1)で表されるとおりである。
【数1】
【0017】
【0018】
符号化ブロックに対して、その隣接領域は、左側の隣接領域、上側の隣接領域、左下側の隣接領域および右上側の隣接領域を含み得る。VVCでは、3つのクロスコンポーネント線形モデル予測モードを含み得、それぞれ、左側および上側の隣接するイントラCCLMモード(INTRA_LT_CCLMモードで表されることができる)、左側および左下側の隣接するイントラCCLMモード(INTRA_L_CCLMモードで表されることができる)および上側および右上側の隣接するイントラCCLMモード(INTRA_T_CCLMモードで表されることができる)である。この3つのモードにおいて、各モードは、プリセットされた数(例えば4つ)の隣接参照画素点を選択して、モデルパラメータαおよびβの導出に使用することができ、この3つのモードの最大の違いは、モデルパラメータαおよびβを導出する隣接参照画素点に対応する選択領域が異なることである。
【0019】
【0020】
【0021】
図1を参照すると、本願実施例による有効な隣接領域の分布の概略図を示す。
図1において、左側隣接領域、左下側の隣接領域、上側の隣接領域および右上側の隣接領域は、すべて有効である。
図1の基で、3つのモードの選択領域は、
図2に示された通りである。ここで、
図2において、(a)は、INTRA_LT_CCLMモードの選択領域を示し、左側隣接領域および上側の隣接領域を含み、(b)は、INTRA_L_CCLMモードの選択領域を示し、左側隣接領域および左下側の隣接領域を含み、(c)は、INTRA_T_CCLMモードの選択領域を示し、上側の隣接領域および右上側の隣接領域を含む。このようにして、3つのモードの選択領域を決定した後、選択領域でモデルパラメータ導出のための参照点を選択することができる。このようにして、選択された参照点は、隣接参照画素点と称され、通常、隣接参照画素点の数は、最大で4つであり、1つのサイズで決定された
の符号化ブロックに対して、その隣接参照画素点の位置は、通常決定されている。
【0022】
しかし、いくつかの特別な場合について、例えば、符号化ブロックの境界の場合、予測できない場合および符号化順序によって隣接参照画素点を取得できない場合など、さらに、タイル(tile)、スライス(slice)に従って符号化ブロックの分割を実行する場合、隣接領域が無効である可能性もあり、それにより、隣接領域から選択された隣接参照画素点の数が4つより小さくなり、つまり、0または2つの隣接参照画素点のみが選択される可能性があり、それにより、モデルパラメータ導出に使用される隣接参照画素点数が統合されてないようにし、それにより、追加の「複製」動作を増加する同時に、計算の複雑さを増やす。
【0023】
符号化・復号化予測性能を変化しない前提で、モデルパラメータの導出プロセスを統合し、同時に、計算の複雑さを減らすために、本願実施例は、画像成分の予測方法を提供し、ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することにより、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を予測される画像成分に対応する予測値として使用し、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より大きいか等しい場合、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得し、当該第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しく、第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を予測される画像成分に対応する予測値として使用し、第2参照画素セットのうちの有効画素点の数が、プリセットされた数と等しい場合、第1参照画素セットを介してモデルパラメータを決定し、モデルパラメータに従って、予測される画像成分に対応する予測モデルを取得し、ここで、予測モデルは、予測される画像成分に対する予測処理を実現して、予測される画像成分に対応する予測値を取得するために使用され、このようにして、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合または第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合に対して、CCLMモードを無効にし、プリセットのデフォルト値を予測される画像成分に対応する予測値として直接に使用し、追加の処理モジュールを増加していないため、その同時に、計算の複雑さを減らし、さらに、第2参照画素セット内の有効画素点の数が、プリセットされた数である場合にのみ、モデルパラメータの導出を実行し、即ち、CCLMモードを実行して、モデルパラメータの導出プロセスを統一する。
【0024】
以下は、図面を参照して本願の各実施例を詳細に説明する。
【0025】
図3を参照すると、本願実施例によるビデオ符号化システムの構成の例示的なブロック図を示し、
図3に示されたように、当該ビデオ符号化システム300は、変換と量子化ユニット301、イントラ推定ユニット302、イントラ予測ユニット303、運動補償ユニット304、運動推定ユニット305、逆変換と逆量子化ユニット306、フィルタ制御分析ユニット307、フィルタリングユニット308、符号化ユニット309および復号化画像キャッシュユニット310などを備え、ここで、フィルタリングユニット308は、デブロッキングフィルタリングおよびサンプル適応オフセット(SAO:Sample Adaptive 0ffset)フィルタリングを実現することができ、符号化ユニット309は、ヘッダー符号化およびコンテキスト適応型バイナリ算術符号化(CABAC:Context-based Adaptive Binary Arithmatic Coding)を実現することができる。入力される原ビデオ信号に対して、コーディングツリーブロック(CTU:Coding Tree Unit)の分割を介して、1つのビデオコーディングブロックを取得でき、その後、イントラまたはインタ予測されて得た残差ピクセル情報に対して、変換と量子化ユニット301を介して当該ビデオコーディングブロックを変換し、残差情報をピクセルフィールドから変換フィールドに変換し、ビット率を減らすために、取得された変換係数を量子化することを含む。イントラ推定ユニット302およびイントラ予測ユニット303は、当該ビデオコーディングブロックに対してイントラ予測を実行するように構成され、明確には、イントラ推定ユニット302およびイントラ予測ユニット303は、当該ビデオコーディングブロックをコーディングするために使用されるイントラ予測モードを決定するように構成され、運動補償ユニット304および運動推定ユニット305は、1つまたは複数の参照フレーム内の1つまたは複数のブロックに対応する受信されたビデオコーディングブロックのインタ予測コーディングを実行して、時間予測情報を提供するように構成され、運動推定ユニット305によって実行される運動推定は、運動ベクトルを生成するプロセスであり、前記運動ベクトルは、当該ビデオコーディングブロックの運動を推定でき、その後、運動補償ユニット304によって、運動推定ユニット305によって決定される運動ベクトルに基づいて運動補償を実行する。イントラ予測モードを決定した後、イントラ予測ユニット303は、さらに、選択されるイントラ予測データを符号化ユニット309に提供するように構成され、運動推定ユニット305は、計算して決定された運動ベクトルデータも符号化ユニット309に送信する。なお、逆変換と逆量子化ユニット306は、当該ビデオコーディングブロックを再構築し、ピクセルフィールドで残差ブロックを再構築するように構成され、当該再構築残差ブロックは、フィルタ制御分析ユニット307およびフィルタリングユニット308を介して、ブロック効果アーチファクトを除去し、その後、再構築されたビデオコーディングブロックを生成するために、当該再構築残差ブロックをデコーディング画像キャッシュユニット310のフレーム内の1つの予測ブロックに追加する。符号化ユニット309は、様々なコーディングパラメータおよび量子化された変換係数をコーディングするように構成され、CABACに基づくコーディングアルゴリズムでは、コンテキストの内容は、隣接コーディングブロックに基づくことができ、指示によって決定されるイントラ予測モードの情報をコーディングし、当該ビデオ信号のビットストリームを出力するように構成され、デコーディング画像キャッシュユニット310は、参照を予測するために、再構築されるビデオコーディングブロックを格納するように構成される。ビデオ画像コーディングの実行に伴い、新しい再構築されるビデオコーディングブロックを生成し続け、これらの再構築されるビデオコーディングブロックは、すべて、デコーディング画像キャッシュユニット310に格納される。
【0026】
図4を参照すると、本願実施例によるビデオ復号化システムの構成の例示的なブロック図を示し、
図4に示されたように、当該ビデオ復号化システム400は、復号化ユニット401、逆変換と逆量子化ユニット402、イントラ予測ユニット403、運動補償ユニット404、フィルタリングユニット405および復号化画像キャッシュユニット406などを備え、ここで、復号化ユニット401は、ヘッダー復号化およびCABAC復号化を実現することができ、フィルタリングユニット405は、デブロッキングフィルタリングおよびSAOフィルタリングを実現することができる。入力されるビデオ信号は、
図2のコーディング処理を実行された後、当該ビデオ信号のビットストリームを出力し、当該ビットストリームは、ビデオデコーディングシステム400に入力され、デコーディングされた変換係数を取得するために、まず、デコーディングユニット401を通過し、ピクセルフィールドで残差ブロックを生成するために、当該変換係数に対して逆変換と逆量子化ユニット402を介して処理する。イントラ予測ユニット403は、決定されたイントラ予測モードおよび現在のフレームまたは写真からの、デコーディングブロックを通過するデータに基づいて、現在のビデオデコーディングブロックの予測データを生成するように構成され、運動補償ユニット404は、運動ベクトルおよび他の関連する文法要素を分析することにより、ビデオデコーディングブロックのための予測情報を決定し、当該予測情報を使用して、デコーディングされているビデオデコーディングブロックの予測ブロックを生成するように構成される。逆変換と逆量子化ユニット402からの残差ブロックと、イントラ予測ユニット403または運動補償ユニット404によって生成される対応予測ブロックを加算して、デコーディングのビデオブロックを形成し、当該デコーディングのビデオ信号は、フィルタリングユニット405を通過して、ブロック効果アーチファクトを除去し、ビデオ品質を改善でき、その後、デコーディングされるビデオブロックをデコーディング画像キャッシュユニット406に記憶し、デコーディング画像キャッシュユニット406は、後続のイントラ予測または運動補償のための参照画像を記憶する同時に、ビデオ信号を出力するように構成され、即ち、回復される原ビデオ信号を取得する。
【0027】
本願実施例における画像成分の予測方法は、主に、
図3に示されたイントラ予測ユニット303の部分と、
図4に示されたイントラ予測ユニット403の部分に適用され、具体的には、イントラ予測におけるCCLM予測部に適用される。つまり、本願実施例における画像成分の予測方法は、ビデオ符号化システムに適用されてもよく、ビデオ復号化システムに適用されてもよく、さらに、ビデオ符号化システムおよびビデオ復号化システムに同時に適用されてもよいが、本願実施例では特に限定しない。当該方法が、イントラ予測ユニット303の部分に適用される場合、「ビデオ画像内の符号化ブロック」は、具体的に、イントラ予測における現在の符号化ブロックを指し、当該方法が、イントラ予測ユニット403の部分に適用される場合、「ビデオ画像内の符号化ブロック」は、具体的に、イントラ予測における現在の復号化ブロックを指す。
【0028】
上記の
図3または
図4の適用シナリオの例に基づいて、
図5を参照すると、本願実施例による画像成分の予測方法の例示的なフローチャートを示す。
図5に示されたように、当該方法は、以下のステップを含み得る。
【0029】
S501において、ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得する。
【0030】
ビデオ画像は、複数の符号化ブロックに分割されることができ、各符号化ブロックは、第1画像成分、第2画像成分および第3画像成分を含み得、本願実施例における符号化ブロックは、ビデオ画像内の符号化処理される現在のブロックであることに留意されたい。予測モデルを介して第1画像成分を予測する必要がある場合、予測される画像成分は、第1画像成分であり、予測モデルを介して第2画像成分を予測する必要がある場合、予測される画像成分は、第2画像成分であり、予測モデルを介して第3画像成分を予測する必要がある場合、予測される画像成分は、第3画像成分である。
【0031】
さらに、左側隣接領域、左下側の隣接領域、上側の隣接領域および右上側の隣接領域が、すべての有効領域である場合、INTRA_LT_CCLMモードに対して、第1参照画素セットは、
図2の(a)に示されたように、符号化ブロックの左側隣接領域および上側の隣接領域内の隣接参照画素点によって構成され、INTRA_L_CCLMモードに対して、第1参照画素セットは、
図2の(b)に示されたように、符号化ブロックの左側隣接領域および左下側の隣接領域内の隣接参照画素点によって構成され、INTRA_T_CCLMモードに対して、第1参照画素セットは、
図2の(c)に示されたように、符号化ブロックの上側の隣接領域および右上側の隣接領域内の隣接参照画素点によって形成されることに留意されたい。
【0032】
いくつかの実施例において、例示的に、S501について、前記ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することは、以下のステップを含み得る。
【0033】
S501a-1において、前記符号化ブロックの少なくとも片側の辺に隣接する参照画素点を取得し、ここで、前記少なくとも片側の辺は、前記符号化ブロックの左側の辺および/または前記符号化ブロックの上側の辺を含む。
【0034】
S501a-2において、前記参照画素点に基づいて、前記予測される画像成分に対応する第1参照画素セットを形成する。
【0035】
符号化ブロックの少なくとも片側の辺は、符号化ブロックの左側の辺および/または符号化ブロックの上側の辺を含み得、即ち、符号化ブロックの少なくとも片側の辺は、符号化ブロックの上側の辺を指してもよく、符号化ブロックの左側の辺を指してもよく、さらに、符号化ブロックの上側の辺および左側の辺を指してもよく、本願実施例では特に限定しないことに留意されたい。
【0036】
このようにして、INTRA_LT_CCLMモードに対して、左側隣接領域および上側の隣接領域が、すべての有効領域である場合、第1参照画素セットは、符号化ブロックの左側の辺に隣接する参照画素点および符号化ブロックの上側の辺に隣接する参照画素点によって形成されることができ、左側隣接領域が有効領域であり、上側の隣接領域が無効領域である場合、第1参照画素セットは、符号化ブロックの左側の辺に隣接する参照画素点によって形成されることができ、左側隣接領域が無効領域であり、上側の隣接領域が有効領域である場合、第1参照画素セットは、符号化ブロックの上側の辺に隣接する参照画素点によって形成されることができる。
【0037】
いくつかの実施例において、例示的に、S501について、前記ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することは、以下のステップを含み得る。
【0038】
S501b-1において、前記符号化ブロックに隣接する参照行または参照列内の参照画素点を取得し、ここで、前記参照行は、前記符号化ブロックの上側の辺および右上側の辺に隣接する行によって形成されるものであり、前記参照列は、前記符号化ブロックの左側の辺および左下側の辺に隣接する列によって形成されるものである。
【0039】
S501b-2において、前記参照画素点に基づいて、前記予測される画像成分に対応する第1参照画素セットを形成する。
【0040】
符号化ブロックに隣接する参照行は、前記符号化ブロックの上側の辺および右上側の辺に隣接する行によって形成されることができ、符号化ブロックに隣接する参照列は、前記符号化ブロックの左側の辺および左下側の辺に隣接する列によって形成されることができ、符号化ブロックに隣接する参照行または参照列は、符号化ブロックの上側の辺に隣接する参照行を指してもよく、符号化ブロックの左側の辺に隣接する参照列を指してもよく、さらに、符号化ブロックの他のエッジに隣接する参照行または参照列を指してもよく、本願実施例では特に限定しないことに留意されたい。説明の便宜上、本願実施例において、符号化ブロックに隣接する参照行は、上側の辺に隣接する参照行を例として説明し、符号化ブロックに隣接する参照列は、左側の辺に隣接する参照列を例として説明する。
【0041】
ここで、符号化ブロックに隣接する参照行内の参照画素点は、上側の辺および右上側の辺に隣接する参照画素点(上側の辺および右上側の辺に対応する隣接参照画素点とも称し得る)を含み得、ここで、上側の辺は、符号化ブロックの上側の辺を表し、右上側の辺は、符号化ブロックの上側の辺から水平方向に右に伸びた、現在の符号化ブロックと同じ高さの辺の長さを表し、符号化ブロックに隣接する参照列内の参照画素点は、さらに、左側の辺および左下側の辺に隣接する参照画素点(左側の辺および左下側の辺に対応する隣接参照画素点とも称する)を含み得、ここで、左側の辺は、符号化ブロックの左側の辺を表し、左下側の辺は、符号化ブロックの左側の辺から垂直方向に下に伸びた、現在の復号化ブロックと同じ幅の辺の長さを表すが、本願実施例では特に限定しない。
【0042】
このようにして、INTRA_L_CCLMモードに対して、左側隣接領域および左下側の隣接領域が有効領域である場合、第1参照画素セットは、符号化ブロックに隣接する参照列内の参照画素点によって形成されることができ、INTRA_T_CCLMモードに対して、上側の隣接領域および右上側の隣接領域が有効領域である場合、第1参照画素セットは、符号化ブロックに隣接する参照行内の参照画素点によって形成されることができる。
【0043】
S502において、前記第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用する。
【0044】
有効画素点の数は、隣接領域の有効性に従って判断することができ、選択領域内の有効画素点の数に従って判断することができることに留意されたい。いくつかの特別な場合について、例えば、符号化ブロックの境界の場合、予測できない場合および符号化順序によって隣接参照画素点を取得できない場合など、さらに、tile、sliceに従って符号化ブロックの分割を実行する場合、左側隣接領域、左下側の隣接領域、上側の隣接領域および右上側の隣接領域は、すべて有効領域とは限らず、無効領域がある可能性があり、それにより、選択領域内の有効画素点の数がプリセットされた数より小さくなって、第1参照画素セット内の有効画素点の数をプリセットされた数より小さくする。
【0045】
さらに、プリセットされた数は、事前に設定された有効画素点の数の決定値であり、予測される画像成分が、モデルパラメータの導出および予測モデルを構築するステップを実行するか否かを測定するために使用され、ここで、プリセットされた数は、4つであり得るが、本願実施例では特に限定しないことに留意されたい。このようにして、プリセットされた数が4つであると仮定すると、つまり、第1参照画素セット内の有効画素点の数が0または2つである場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として直接に使用して、計算の複雑さを減らす。
【0046】
さらに、プリセットされた成分値は、事前に設定された予測される画像成分に対応する固定値(デフォルト値とも称し得る)を表すために使用される。ここで、プリセットされた成分値は、主に、現在のビデオ画像のビット情報に関する。したがって、いくつかの実施例において、S502に対して、前記第1参照画素セット内の有効画素点の数が、プリセットされた数より小さい場合、前記プリセットされた成分値を、前記予測される画像成分に対応する予測値として使用することは、以下のステップを含み得る。
【0047】
S502aにおいて、ビデオ画像のビット情報に基づいて、前記予測される画像成分に対応するプリセットの成分範囲を決定する。
【0048】
S502bにおいて、前記プリセットの成分範囲に従って、前記プリセットの成分範囲の中間値を決定し、前記中間値を前記予測される画像成分に対応する予測値として使用し、ここで、前記中間値は、プリセットされた成分値に示される。
【0049】
本願実施例において、予測される画像成分に対応するプリセットの成分範囲の中間値をプリセットされた成分値として使用し、その後、それを予測される画像成分に対応する予測値として使用することができることに留意されたい。ここで、予測される画像成分のビット深度をBitDepthCに表すと仮定して、予測される画像成分の中間値の計算方式は、1<<(BitDepthC-1)であることを取得でき、当該計算方式は、実際の場合によって設定することができ、本願実施例では特に限定しない。
【0050】
例示的に、予測される画像成分が色度成分であることを例として、現在のビデオ画像が8ビットビデオであると仮定すると、色度成分に対応する成分範囲は、0~255であり、ここで、中間値は128であり、この場合、プリセットされた成分値は128であり得、即ち、デフォルト値が128であり得、現在のビデオ画像が10ビットビデオであると仮定すると、色度成分に対応する成分範囲は、0~1023であり、ここで、中間値は512であり、この場合、プリセットされた成分値は512であり得、即ち、デフォルト値は、512である。本願実施例において、ビデオ画像のビット情報は、10ビットを例とし、つまり、プリセットされた成分値は512である。
【0051】
さらに、いくつかの実施例において、S502に対して、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用した後、当該方法は、以下のステップをさらに含み得る。
【0052】
S502cにおいて、前記符号化ブロック内の各画素点について、前記プリセットされた成分値を使用して、各画素点の予測される画像成分に対して予測値の充填を実行する。
【0053】
第1参照画素セット内の有効画素点の数がプリセットされた数より小さい場合に対して、追加の処理モジュールを増加する必要なく、固定のデフォルト値を直接に使用して、符号化ブロック内の予測される画像成分に対して予測値の充填を実行することに留意されたい。
【0054】
例示的に、プリセットされた成分値が512であり、予測される画像成分が色度成分であると仮定すると、符号化ブロック内の各画素点に対応する色度予測値に対して、512直接に使用して色度予測値を充填することができる。
【0055】
S503において、前記第1参照画素セットのうちの有効画素点の数がプリセットされた数より大きいか等しい場合、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得する。
【0056】
第1パラメータ画素セット内で、重要ではない参照画素点の一部(例えば、これらの参照画素点の関連性が悪い)または異常の参照画素点の一部がある可能性があり、予測モデルの正確度を保証するために、これらの参照画素点を削除して、第2参照画素セットを取得する必要があり、ここでの第2参照画素セット内の有効画素点の数は、プリセットされた数より小さいか等しいことに留意されたい。ここで、第2参照画素セットに含まれる有効画素点の数は、実際の適用において、プリセットされた数は、通常、4つに選択されるが、本願実施例では特に限定しない。
【0057】
さらに、第1参照画素セット内の有効画素点の数が、プリセットされた数より大きいか等しい場合、第1参照画素セットをスクリーニングして、第2参照画素セットを取得することもでき、第2参照画素セットを取得して後、依然として、第2参照画素セット内の有効画素点の数およびプリセットされた数に従って判断する必要があることに留意されたい。ここで、第2参照画素セット内の有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を採用して、予測される画像成分に対応する予測値として使用することができ、第2参照画素セット内の有効画素点の数が、プリセットされた数と等しい場合、第2参照画素セットに従ってモデルパラメータを導出することができる。
【0058】
さらに、いくつかの実施例において、S503に対して、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得することは、
前記第1参照画素セット内の各隣接参照画素点に対応する画素位置および/または画像成分強度に基づいて、選択される画素点位置を決定することと、
決定された選択される画素点位置に従って、前記第1参照画素セットから前記選択される画素点位置に対応する有効画素点を選択し、選択して得られる有効画素点で第2参照画素セットを形成することと、を含み得、ここで、前記第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しい。
【0059】
具体的には、第1参照画素セットのスクリーニングについて、選択される参照画素点の位置に従ってスクリーニングすることであってもよく、画像成分強度(輝度値、色度値など)に従ってスクリーニングすることであってもよく、それにより、スクリーニングされた選択される参照画素点によって第2参照画素セットを形成する。以下は、選択される参照画素点位置を例として説明する。
【0060】
現在の符号化ブロックに隣接する上側領域および右上側領域の有効画素点サンプル数がnumSampTであり、現在の符号化ブロックに隣接する左側領域および左下側領域の有効画素点サンプル数がnumSampLであると仮定すると、そのスクリーニングプロセスは以下の通りである(ここで、availTは、現在の符号化ブロックの上に隣接する行の有効性を表し、availLは、現在の符号化ブロックの左に隣接する列の有効性を表し、nTbWは、現在の符号化ブロックの幅を表し、nTbHは、現在の符号化ブロックの高さを表す)。
【0061】
現在のブロックのイントラ予測モードが、INTRA_LT_CCLMモードであると、
numSampT=availT?nTbW:0
numSampL=availL?nTbH:0であり、
そうでない場合、
numSampT=(availT&&predModeIntra==INTRA_T_CCLM)?(nTbW+Min(numTopRight,nTbH)):0
numSampL=(availL&&predModeIntra==INTRA_L_CCLM)?(nTbH+Min(numLeftBelow,nTbW)):0である。
【0062】
ここで、numTopRightは、右上側nTbW範囲内の有効画素点の数を表し、numLeftBelowは、左下側nTbH内の有効画素点の数を表す。各エッジでスクリーニングされた画素点数はcntNで示され、開始点位置はstartPosNで示され、選択間隔はpickStepNで示され、選択される画素点位置はpickPosN[pos]で示され、その導出プロセスは、以下の通りである。
【0063】
変数numIs4Nは、片側で画素点をスクリーニングするか否かを表す:
numIs4N=((availT&&availL&&predModeIntra==INTRA_LT_CCLM)?0:1)
変数startPosNは、開始点位置を表す:
startPosN=numSampN>>(2+numIs4N)
変数pickStepNは、選択間隔を表す:
pickStepN=Max(1,numSampN>>(1+numIs4N))
ここで、Nは、TおよびLにそれぞれ置き換えられ、それぞれ、上側で画素点をスクリーニングする場合および左側でスクリーニングする場合を表し、つまり、ここでのN側は、T側またはL側を表す。ここで、N側の有効性availNがTRUEであり、選択されたイントラモードpredModeIntraが、INTRA_LT_CCLMモードまたはINTRA_N_CCLMモードであると、N側でスクリーニングされた画素点数cntNおよび選択される画素点位置pickPosN[pos]は、以下の通りである(注意されるべきであるように、スクリーニングされた画素点の合計はcntT+cntLであるべきである)。
【0064】
cntN=Min(numSampN,(1+numIs4N)<<1)
pickPosN[pos]=(startPosN+pos*pickStepN),with pos=0...cntN-1
そうでない場合、cntNを0にし、即ち、スクリーニングされた画素点点数は0である。
【0065】
現在の符号化ブロックの予測サンプルが、predSamples[x][y] with x=0...nTbW-1,y=0...nTbH-1であると仮定すると、その導出は、以下の通りである。
【0066】
numSampLおよびnumSampTが両方とも無効であると、プリセットの値にし、以下の通りである。
【0067】
predSamples[x][y]=1<<(BitDepthC-1)
そうでない場合、
第1歩において、同位輝度ブロックの輝度再構成サンプルpY[x][y] with x=0...nTbW*2-1,y=0...nTbH*2-1を取得し、
第2歩において、隣接する輝度再構成サンプルpY[x][y]を取得し、
第3歩において、ダウンサンプリングされた輝度再構成サンプルpDsY[x][y] with x=0...nTbW-1,y=0…nTbH-1を取得し、
第4歩において、numSampLが0より大きい場合、左側によって選択された点の色度値pSelC[idx]をp[-1][pickPosL[idx]] with idx=0...cntL-1にし、左側によって選択された点のダウンサンプリングされた再構成輝度値pSelDsY[idx] with idx=0...cntL-1を取得する。
【0068】
第5歩において、numSampTが0より大きい場合、上側によって選択された点の色度値pSelC[idx]をp[pickPosT[idx-cntL]][-1] with idx=cntL...cntL+cntT-1にし、上側によって選択された点のダウンサンプリングされた再構成輝度値pSelDsY[idx] with idx=0…cntL+cntT-1を取得する。
【0069】
第6歩において、cntT+cntLが0と異なる場合、変数minY,maxY,minC and maxCの導出は、以下の通りである。
【0070】
cntT+cntLが2と等しい場合、pSelComp[3]をpSelComp[0]にし、pSelComp[2]をpSelComp[1]にし、pSelComp[0]をpSelComp[1]にし、pSelComp[1]をpSelComp[3]にし、ここで、Compは、それぞれ、DsYおよびCによって置き換えられて、選択された隣接サンプルの再構成輝度および色度を表す。
【0071】
アレイminGrpIdxおよびmaxGrpIdxの導出は、以下の通りである。
【0072】
minGrpIdx[0]=0
minGrpIdx[1]=2
maxGrpIdx[0]=1
maxGrpIdx[1]=3
pSelDsY[minGrpIdx[0]]が、pSelDsY[minGrpIdx[1]]より大きい場合、minGrpIdx[0]は、minGrpIdx[1]と交換し、
(minGrpIdx[0],minGrpIdx[1])=Swap(minGrpIdx[0],minGrpIdx[1])
pSelDsY[maxGrpIdx[0]]が、pSelDsY[maxGrpIdx[1]]より大きい場合、maxGrpIdx[0]はmaxGrpIdx[1]と交換し、
(maxGrpIdx[0],maxGrpIdx[1])=Swap(maxGrpIdx[0],maxGrpIdx[1])
pSelDsY[minGrpIdx[0]]が、pSelDsY[maxGrpIdx[1]]より大きい場合、アレイminGrpIdxは、maxGrpIdxと交換し、
(minGrpIdx,maxGrpIdx)=Swap(minGrpIdx,maxGrpIdx)
pSelDsY[minGrpIdx[1]]が、pSelDsY[maxGrpIdx[0]]より大きい場合、minGrpIdx[1]は、maxGrpIdx[0]と交換し、
(minGrpIdx[1],maxGrpIdx[0])=Swap(minGrpIdx[1],maxGrpIdx[0])
変数maxY、maxC、minYおよびminCの計算は、以下の通りである(それぞれ2グループの平均値を表す)。
【0073】
maxY=(pSelDsY[maxGrpIdx[0]]+pSelDsY[maxGrpIdx[1]]+1)>>1
maxC=(pSelC[maxGrpIdx[0]]+pSelC[maxGrpIdx[1]]+1)>>1
minY=(pSelDsY[minGrpIdx[0]]+pSelDsY[minGrpIdx[1]]+1)>>1
minC=(pSelC[minGrpIdx[0]]+pSelC[minGrpIdx[1]]+1)>>1
第7歩において、線形モデルパラメータa、bおよびkの導出プロセスは、以下の通りであり(ここで、aは、傾きであり(色度の差と輝度の差との比)、bは、傍受であり、kは、aのシフトであり、aを整数として保存する)。
【0074】
numSampLが0と等しく、numSampTが0と等しい場合、
k=0
a=0
b=1<<(BitDepthC-1)
そうでない場合、
diff=maxY-minY
diffが0と異なる場合、
diffC=maxC-minC
x=Floor(Log2(diff))
normDiff=((diff<<4)>>x)&15
x+=(normDiff!=0)?1:0
y=Floor(Log2(Abs(diffC)))+1
a=(diffC*(divSigTable[normDiff]|8)+2y-1)>>y
k=((3+x-y)<1)?1:3+x-y
a=((3+x-y)<1)?Sign(a)*15:a
b=minC-((a*minY)>>k)
ここで、divSigTable[ ]は、divSigTable[ ]={0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0}であり、
そうでない場合(diffが0と等しい場合)、
k=0
a=0
b=minC
第8歩において、色度予測サンプルpredSamples[x][y] with x=0...nTbW-1,y=0...nTbH-1は、以下計算を介して取得される(ここでClip1Cは、予測値を0-1023の間に制限する)、
predSamples[x][y]=Clip1C(((pDsY[x][y]*a)>>k)+b)
【0075】
【0076】
【0077】
【0078】
【0079】
このようにして、第1参照画素セット内の有効画素点の数が、プリセットされた数より大きいか等しい場合について、第1参照画素セットをスクリーニングすることを介して、第2参照画素セットを取得することができ、第2参照画素セットには、4つの有効画素点が含まれる。
【0080】
S504において、前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用する。
【0081】
S505において、前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数と等しい場合、前記第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得する。
【0082】
第1参照画素セットをスクリーニングした後、第2参照画素セットを取得することに留意されたい。第2参照画素セット内の有効画素点の数は、プリセットされた数より小さくてもよく、プリセットされた数より大きいか等しくてもよい。第2参照画素セット内の有効画素点の数がプリセットされた数より小さい場合、プリセットされた成分値を予測される画像成分に対応する予測値として直接に使用することであり、第2参照画素セット内の有効画素点の数がプリセットされた数より大きいか等しい場合、第2参照画素セットを介してモデルパラメータを決定し、モデルパラメータに従って、予測される画像成分に対応する予測モデルを取得する。モデルパラメータの導出に使用される参照画素点は、通常4つであるため、スクリーニングすることにより得られた第2参照画素セットは、プリセットされた数より小さい(第2参照画素セットが、4つの有効画素点より小さい)か、プリセットされた数と等しい(第2参照画素セットが、4つの有効画素点を含む)ことに留意されたい。
【0083】
さらに、予測モデルは、線形モデルであってもよく、非線形モデルであってもよいことに留意されたい。ここで、非線形モデルは、二次曲線などの非線形の形であってもよく、複数の線形モデルによって形成される非線形の形であってもよく、例えば、マルチモデルCCLM(MMLM:Multiple Model CCLM)のクロスコンポーネント予測技術は、複数の線形モデルによって形成される非線形の形であり、本願実施例では特に限定しない。ここで、当該予測モデルは、予測される画像成分に対して予測処理を実行して、予測される画像成分に対応する予測値を取得するために使用されることができる。
【0084】
第2参照画素セットを取得した後、第2参照画素セット内の有効画素点の数が、プリセットされた数と等しい場合、第2参照画素セットに従って、モデルパラメータを決定することができる。モデルパラメータを導出した後、さらに、式(1)に示されたように、モデルパラメータに従って、色度成分に対応する予測モデルを取得することができ、その後、当該予測モデルを使用して、色度成分に対して予測処理を実行して、色度成分に対応する予測値を取得する。
【0085】
さらに、いくつかの実施例において、S505に対して、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得した後、当該方法は、
前記予測モデルに基づいて、前記符号化ブロック内の各画素点の予測される画像成分に対して予測処理を実行して、各画素点の予測される画像成分に対応する予測値を取得することをさらに含み得る。
【0086】
第1参照画素セット内の有効画素点の数が、プリセットされた数より大きいか等しい場合に対して、符号化ブロック内の各画素点の予測される画像成分に対応する予測値を取得するために、第1参照画素セットを介して、モデルパラメータ(例えば、αおよびβ)を決定する必要があり、その後、モデルパラメータに従って、予測される画像成分に対応する予測モデルを取得する必要があることに留意されたい。例を挙げると、予測される画像成分が、色度成分であると仮定すると、モデルパラメータαおよびβに従って、式(1)に示された色度成分に対応する予測モデルを取得することができ、その後、式(1)に示された予測モデルを使用して、符号化ブロック内の各画素点の色度成分に対して予測処理を実行し、このようにして、各画素点の色度成分に対応する予測値を取得することができる。
【0087】
本願実施例において、左側隣接領域、左下側の隣接領域、上側の隣接領域および右上側の隣接領域について、有効領域がある可能性があり、無効領域がある可能性もあり、それにより、隣接領域から選択された有効画素点の数が、
プリセットされた数より小さい可能性がある。したがって、いくつかの実施例において、
図7を参照すると、本願実施例による別の画像成分の予測方法の例示的なフローチャートを示す。
図7に示されたように、S501の後、当該方法は、以下のステップをさらに含み得る。
【0088】
S701において、前記第1参照画素セット内の有効画素点の数を決定し、前記有効画素点の数が、プリセットされた数より小さいか否かを判断する。
【0089】
さらに、S503の後、当該方法は、以下のステップをさらに含み得る。
【0090】
S702において、第2参照画素セット内の有効画素点の数が、プリセットされた数より小さいか否かを判断する。
【0091】
有効画素点の数の決定は、隣接領域の有効性に従って判断できることに留意されたい。このようにして、有効画素点の数を決定した後、有効画素点の数をプリセットされた数と比較することにより、第1参照画素セット内の有効画素点の数が、プリセットされた数より小さい場合、ステップS502を実行し、第2参照画素セット内の有効画素点の数が、プリセットされた数より小さい場合、ステップS504を実行し、第2参照画素セット内の有効画素点の数が、プリセットされた数より大きいか等しい場合、ステップS505を実行する。
【0092】
さらに、プリセットされた数は、4つであり得ることに留意されたい。以下は、プリセットされた数が4であることを例として詳細に説明する。
【0093】
一可能な実施形態において、第1参照画素セット内の有効画素点の数がプリセットされた数より大きいか等しい場合、モデルパラメータの導出に使用される参照画素点が通常、4つであるため、まず、第1参照画素セットをスクリーニングして、第1参照画素セット内の有効画素点の数を4つにし、その後、この4つの有効画素点に従って、モデルパラメータを導出し、当該モデルパラメータに従って、予測される画像成分に対応する予測モデルを取得して、予測される画像成分に対応する予測値を取得することができる。
【0094】
具体的には、予測される画像成分が、色度成分であり、輝度成分を介して色度成分を予測すると仮定する。スクリーニングによって選択された4つの有効画素点の番号が、それぞれ、0、1、2、3であると仮定する。この4つの選択された有効画素点を比較することにより、4回の比較に基づいて、さらに、比較的に大きい輝度値の2つの画素点(最も大きい輝度値の画素点および次に大きい輝度値の画素点を含み得る)および比較的に小さい輝度値の2つの画素点(最も小さい輝度値の画素点および次に小さい輝度値の画素点を含み得る)を選択することができる。さらに、minIdx[2]およびmaxIdx[2]の2つのアレイを設定して、それぞれ、2グループの画素点を格納し、初期で、まず、以下の通り、0および2の番号の有効画素点をminIdx[2]に入れ、1および3の番号の有効画素点をmaxIdx[2]に入れる。
【0095】
Init:minIdx[2]={0,2},maxIdx[2]={1,3}
その後、4回の比較を介して、minIdx[2]に格納されたのは、比較的に小さい輝度値の2つの画素点であるようにし、maxIdx[2]に格納されたのは、比較的に大きい輝度値の2つの画素点であるようにすることができ、具体的には、以下の通りである。
【0096】
Step1:if(L[minIdx[0]]>L[minIdx[1]],swap(minIdx[0],minIdx[1])
Step2:if(L[maxIdx[0]]>L[maxIdx[1]],swap(maxIdx[0],maxIdx[1])
Step3:if(L[minIdx[0]]>L[maxIdx[1]],swap(minIdx,maxIdx)
Step4:if(L[minIdx[1]]>L[maxIdx[0]],swap(minIdx[1],maxIdx[0])
このようにして、比較的に小さい輝度値の2つの画素点を取得することができ、しれに対応する輝度値を、それぞれ、luma0
minおよびluma1
minに示し、対応する色度値を、それぞれ、chroma0
minおよびchroma1
minに示し、その同時に、比較的に大きい輝度値の2つの画素点を取得することができ、それに対応する輝度値を、それぞれ、luma0
maxおよびluma1
maxに示し、対応する色度値を、それぞれ、chroma0
maxおよびchroma1
maxに示す。さらに、2つの比較的に小さい画素点に対応する輝度値に対して平均値計算を実行して、第1均値点に対応する輝度値を取得することができ、lumaminに示し、2つの比較的に大きい画素点に対応する輝度値に対して平均値計算を実行して、第2均値点に対応する輝度値を取得することができ、lumamaxに示し、同様に、2つの平均値点に対応する色度値を取得することもでき、それぞれ、chromaminおよびchromamaxに示し、具体的には、以下の通りである。
【0097】
luma
min=(luma
0
min+luma
1
min+1)>>1
luma
max=(luma
0
max+luma
1
max+1)>>1
chroma
min=(chroma
0
min+chroma
1
min+1)>>1
chroma
max=(chroma
0
max+chroma
1
max+1)>>1
つまり、2つの平均値点(luma
min,chroma
min)および(luma
max,chroma
max)を取得した後、モデルパラメータは、この2つの点によって、「2つの点が1つの直線を決定する」計算方式で取得することができる。具体的に、モデルパラメータαおよびβは、式(2)によって計算して得られることができる。
【数2】
【0098】
ここで、モデルパラメータαは、予測モデル内の傾きであり、モデルパラメータβは、予測モデル内の傍受である。このようにして、モデルパラメータを導出した後、式(1)に示されたように、モデルパラメータに従って、色度成分に対応する予測モデルを取得することができ、その後、当該予測モデルを使用して、色度成分に対して予測処理を実行して、色度成分に対応する予測値を取得する。
【0099】
別の一可能な実施形態において、いくつかの特別な場合について、例えば、符号化ブロックの境界の場合、予測できない場合および符号化順序によって隣接参照画素点を取得できない場合など、さらに、tile、sliceに従って符号化ブロックの分割を実行する場合、左側隣接領域、左下側の隣接領域、上側の隣接領域および右上側の隣接領域は、すべて有効領域とは限らず、無効領域がある可能性があり、それにより、第1参照画素セット内の有効画素点の数をプリセットされた数より小さくする。
【0100】
このようにして、プリセットされた数が4つであるため、いくつかの実施例において、S502に対して、前記第1参照画素セット内の有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を、前記予測される画像成分に対応する予測値として使用することは、
前記第1参照画素セットのうちの有効画素点の数が、0または2である場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することを含み得る。
【0101】
いくつかの実施例において、S504に対して、前記現在の記第2参照画素セット内の有効画素点の数がプリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することは、
前記第2参照画素セットのうちの有効画素点の数が、0または2である場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することを含み得る。
【0102】
つまり、プリセットされた数が4つである場合、第1参照画素セット内の有効画素点の数がプリセットされた数より小さい場合であっても、第2参照画素セット内の有効画素点の数がプリセットされた数より小さい場合であっても、有効画素点の数は、0または2である。
【0103】
具体的に、符号化ブロックに使用される選択領域内の隣接参照画素点の合計が、0である場合、0の有効画素点を選択する。以下の3つの特別な場合では、0の有効画素点を取得する。
【0104】
【0105】
【0106】
【0107】
さらに注意されるべきであるように、有効画素点が0であることは、隣接領域の有効性に従って判断され、つまり、隣接領域の有効性に従って、第1参照画素セット内の有効画素点の数を決定することができる。有効画素点の数が0である場合、モデルパラメータαは、0に設定することができ、モデルパラメータβは、予測される画像成分に対応するプリセットされた成分値に設定することができる。
【0108】
【0109】
【0110】
【0111】
【0112】
【0113】
さらに注意されるべきであるように、有効画素点が2つであることは、隣接領域の有効性に従って判断されることができ、選択領域内の有効画素点の数に従って判断されることができ、さらに、他の判断条件に従って判断することができ、本願実施例では特に限定しない。このようにして、隣接領域の有効性に従って、第1参照画素セット内の有効画素点の数を決定することができる。
【0114】
先行技術の技術的解決策において、有効画素点が2つである場合に対して、当該2つの有効画素点を複製することにより、4つの画素点を取得する必要がある。例示的に、4つの画素点の番号が、0、1、2、3であると仮定すると、番号0:選択された二番目の有効画素点であり、番号1:選択された最初の有効画素点であり、番号2:選択された二番目の有効画素点であり、番号3:選択された最初の有効画素点であり、番号が、0、1、2、3である4つの画素点に従って、モデルパラメータαおよびβを決定して、式(1)に示された予測モデルを確立することができ、当該予測モデルを介して、予測される画像成分に対応する予測値を取得することができる。
【0115】
【0116】
したがって、先行技術の技術的解決策において、有効画素点の数が2つである場合、同じ処理モジュールを使用するために、追加の「複製」動作が必要であり、4つの画素点を取得し、それにより、有効画素点の数が4つである場合の同じ動作プロセスに従って、モデルパラメータを導出し、追加の「複製」動作を増加することができ、取得された4つの画素点は、依然として、4回の比較および4回の平均値を取る計算を実行する必要があり、それにより、計算の複雑さを比較的に高くする。本願実施例において、有効画素点の数が2つである場合の処理を、有効画素点の数が0である場合の処理に合わせ、この場合には、追加の動作を増加せずに同じ処理モジュールを直接に使用して、計算の複雑さを減らすことができる。
【0117】
図10を参照すると、本願実施例によるモデルパラメータ導出の例示的なフローチャートを示す。
図10では、予測される画像成分が色度成分であると仮定して、まず、選択領域から隣接参照画素点を取得して、第1隣接参照画素セットを構成し、その後、第1隣接参照画素セット内の有効画素点の数を判断し、有効画素点の数が、4つより大きいか等しい場合、第1参照画素セットに対してスクリーニング処理を実行して、第2参照画素セットを取得し、その後、第2隣接参照画素セット内の有効画素点の数を判断し、第1参照画素セットまたは第2参照画素セット内の有効画素点の数が0である場合、モデルパラメータαを0に設定し、モデルパラメータβをデフォルト値に設定し、この場合、色度成分に対応する予測値は、デフォルト値に充填される。第1参照画素セットまたは第2参照画素セット内の有効画素点の数が2つである場合、処理ステップは、有効画素点の数は0である場合の処理ステップと同じである。第2参照画素セット内の有効画素点の数は4つである場合について、まず、4回の比較によって比較的に大きい色度成分の2つの画素点および比較的に小さい2つの画素点を取得し、その後、2つの平均値点を取得し、2つの平均値点に基づいて、モデルパラメータαおよびβを導出し、構築された予測モデルに従って、色度成分の予測処理を実行する。したがって、第2参照画素セット内の有効画素点の数が4つを満たす符号化ブロックのみ、CCLMモードにおけるモデルパラメータを導出することができ、有効画素点の数が4つより小さい符号化ブロックに対して、デフォルト値で充填する方式を直接に使用して、選択領域内の参照画素点数が4つ以下であるときの計算の複雑さを減らすことができ、さらに、符号化・復号化性能を基本的に変更しないように維持することができる。
【0118】
本願実施例において、モデルパラメータの導出プロセスを統合し、即ち、第1参照画素セット内の、モデルパラメータの導出に使用される有効画素点の数について、第1参照画素セット内の有効画素点の数が
プリセットされた数より大きいか等しい場合、第1参照画素セットに対して有効画素点のスクリーニングを実行して、第2参照画素セットを取得し、その後、第2隣接参照画素セット内の有効画素点の数を判断し、第2参照画素セット内の有効画素点の数が、
プリセットされた数を満たす場合、現在の符号化ブロックは、CCLMにおけるモデルパラメータの導出および予測モデルを構築するステップを実行する必要があり、第1参照画素セットまたは第2参照画素セット内の有効画素点の数が
プリセットされた数より小さい場合、現在の符号化ブロックは、デフォルト値を使用して、当該符号化ブロックの予測される画像成分に対応する予測値を充填することができる。したがって、
図11に示されたように、本願実施例は、さらに、モデルパラメータ導出の簡略化されたプロセスを提供することができる。
【0119】
図10と比べて、
図11に示されたモデルパラメータの導出プロセスは、より合理化されている。
図11では、予測される画像成分が色度成分であり、
プリセットされた成分値が512であると仮定して、まず、選択領域から隣接参照画素点を取得して、第1隣接参照画素セットを構成し、その後、第1隣接参照画素セット内の有効画素点の数を判断し、第1参照画素セット内の有効画素点の数が
プリセットされた数より大きいか等しい場合、第1参照画素セットに対してスクリーニング処理を実行して、第2参照画素セットを取得する。その後、第2隣接参照画素セット内の有効画素点の数を判断し、第1参照画素セットまたは第2参照画素セット内の有効画素点の数が
プリセットされた数より小さい場合、モデルパラメータαを0に設定し、モデルパラメータβを512に設定し、この場合、色度成分に対応する予測値は512に充填される。第2参照画素セット内の有効画素点の数が
プリセットされた数を満たす場合、まず、4回の比較によって比較的に大きい色度成分の2つの画素点および比較的に小さい2つの画素点を取得し、その後、2つの平均値点を取得し、2つの平均値点に基づいて、モデルパラメータαおよびβを導出し、構築された予測モデルに従って、色度成分の予測処理を実行する。第2参照画素セット内の有効画素点の数が
プリセットされた数を満たす符号化ブロックのみ、CCLMモードにおけるモデルパラメータの導出を実行することができ、有効画素点の数が
プリセットされた数より小さい符号化ブロックに対して、デフォルト値で充填する方式を直接にして、選択領域内の参照画素点数が
プリセットされた数以下であるときの計算の複雑さを減らすことができ、さらに、符号化・復号化性能を基本的に変更しないように維持することができることに留意されたい。通常、本願実施例における
プリセットされた数は4つであり得る。
【0120】
さらに、本願実施例において、第1参照画素セット内の有効画素点の数は、選択領域内の有効画素点の数に従って判断して得られることができる。したがって、
図12に示されたように、本願実施例は、さらに、別のモデルパラメータ導出の簡略化されたプロセスを提供することができる。
【0121】
図12では、予測される画像成分が色度成分であり、
プリセットされた成分値が512であると仮定して、まず、選択領域を決定して、第1参照画素セットを取得し、その後、第1参照画素セット内の有効画素点の数を判断し、第1参照画素セット内の有効画素点の数が
プリセットされた数より大きいか等しい場合、第1参照画素セットに対してスクリーニング処理を実行して、第2参照画素セットを取得する。その後、第2隣接参照画素セット内の有効画素点の数を判断し、第1参照画素セットまたは第2参照画素セット内の有効画素点の数が
プリセットされた数より小さい場合、色度成分に対応する予測値は512に充填され、第2参照画素セット内の有効画素点の数が
プリセットされた数を満たす場合、まず、4回の比較によって比較的に大きい色度成分の2つの画素点および比較的に小さい2つの画素点を取得し、その後、2つの平均値点を取得し、2つの平均値点に基づいて、モデルパラメータαおよびβを導出し、構築された予測モデルに従って、色度成分の予測処理を実行する。したがって、第2参照画素セット内の有効画素点の数が
プリセットされた数を満たす符号化ブロックのみ、CCLMモードにおけるモデルパラメータの導出を実行することができ、有効画素点の数が
プリセットされた数より小さい符号化ブロックに対して、デフォルト値で充填する方式を直接にして、選択領域内の参照画素点数が
プリセットされた数以下であるときの計算の複雑さを減らすことができ、さらに、符号化・復号化性能を基本的に変更しないように維持することができる。通常、本願実施例における
プリセットされた数は4つであり得る。
【0122】
【0123】
さらに、VVCは、変数numSampLおよびnumSampTが、両方とも0である場合を定義し(この場合、スクリーニングされる、モデルパラメータの導出に使用される有効画素点の数を0にすることができる)、色度成分に対応する予測値をデフォルト値に直接に設定し、そうでない場合、モデルパラメータを導出する必要があり、具体的には、以下の通りである。
【0124】
if(numSampL==0&&numSampT==0)
色度成分に対応する予測値をデフォルト値に設定し、
else
モデルパラメータを導出し、構築された予測モデルを使用して、色度成分を予測して、色度成分に対応する予測値を取得する。
【0125】
【0126】
if(numSampL+numSampT<プリセットされた数)
色度成分に対応する予測値をデフォルト値に設定し、
else
モデルパラメータを導出し、構築された予測モデルを使用して、色度成分を予測して、色度成分に対応する予測値を取得する。
【0127】
本実施例は、ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することにより、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用し、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より大きいか等しい場合、第1参照画素セットをスクリーニングして、第2参照画素セットを取得し、当該第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しく、第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用し、第2参照画素セットのうちの有効画素点の数が、プリセットされた数と等しい場合、第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、予測される画像成分に対応する予測モデルを取得し、当該予測モデルは、予測される画像成分に対する予測処理を実現して、予測される画像成分に対応する予測値を取得するために使用され、このようにして、符号化・復号化予測性能を変更しないことを前提として、モデルパラメータの導出プロセスを統合し、同時に、隣接参照画素セット内の有効画素点の数がプリセットされた数より小さい場合に対して、時に、有効画素点が0または2つであり場合に対して、追加の処理モジュールを増加していないため、追加の処理は必要せず、計算の複雑さを減らす。
【0128】
本願の別の一実施例において、第1参照画素セット内の有効画素点の数がプリセットされた数より小さい場合について、CCLMモードを直接に無効にし、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することができる。したがって、いくつかの実施例において、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得した後、当該方法は、
前記第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さいか、前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することと、
前記第2参照画素セットのうちの有効画素点の数が、プリセットされた数より大きいか等しい場合、CCLMモードを採用して、予測される画像成分に対する予測処理を実現することと、をさらに含む。
【0129】
第1参照画素セットまたは第2参照画素セット内の有効画素点の数がプリセットされた数より小さい場合について、この場合、CCLMモードを無効にすることができ、例えば、CCLMモードを使用するか否かの識別子を「CCLMモードを無効にする」に設定し、この場合、予測される画像成分に対応する予測値をデフォルト値で直接に充填し、第2参照画素セット内の有効画素点の数がプリセットされた数より大きいか等しい場合にのみ、CCLMモードを使用し、例えば、CCLMモードを使用するか否かの識別子を「CCLMモードを有効にする」に設定し、この場合、CCLMモードを介して、予測される画像成分に対する予測処理を実現することができることに留意されたい。
【0130】
さらに、予測される画像成分が色度成分であり、プリセットされた数が4つであると仮定すると、2つの有効画素点を生成する可能性があるすべての場合について(ここで、2つの有効画素点を生成する判断方式は、本願実施例では特に限定しない)、さらに、モデルパラメータαを0に設定し、モデルパラメータβを色度成分に対応する中間値(デフォルト値とも称し得る)に設定することができ、それにより、符号化ブロック内のすべての画素点の色度成分に対応する予測値をデフォルト値で充填することができ、さらに、2つの有効画素点を生成する可能性があるすべての場合について、numSampLおよびnumSampTを両方とも0に設定して、符号化ブロック内のすべての画素点の色度成分に対応する予測値をデフォルト値で充填することができることに留意されたい。
【0131】
さらに、2つの有効画素点を生成する可能性があるすべての場合について、色度成分に対応する予測値をデフォルト値で直接に充填することができ、または2つの有効画素点を生成する可能性があるすべての場合について、CCLMモードを無効にすることができ、または、2つまたは0の有効画素点を生成する可能性があるすべての場合について、CCLMモードを無効にすることであり得、または、2つまたは0の有効画素点を生成する可能性があるすべての場合について、色度成分に対応する予測値をデフォルト値で直接に充填することができる。
【0132】
したがって、モデルパラメータ導出に使用される有効画素点の数が異なる場合に、モデルパラメータの導出プロセスの統一を実現する。具体的には、有効画素点の数が2つである場合、追加の処理は必要なく、既存の処理モジュールを直接に読み取り(即ち、有効画素点の数が2つである場合の処理を、有効画素点の数が0である場合の処理に合わせる)、それにより、計算の複雑さを減らす。
【0133】
本願実施例における画像成分の予測方法は、VVC最新参照ソフトウェアVTM5.0に基づいて、All intra条件で、JVETに対して要求されたテストシーケンスは、一般的な試験条件に従って、Y成分、Cb成分およびCr成分におけるBD-rate平均変化は、それぞれ、0.00%、0.02%、0.02%であり、即ち、本願は、符号化・復号化性能に対して、基本的に影響がないことを示す。
【0134】
符号化・復号化性能に影響を与えないことを前提として、本願は、以下の有益な効果を有することができる。
【0135】
まず、本願は、CCLMモードにおけるモデルパラメータの導出プロセスを統合することができる。先行技術の技術的解決策において、有効画素点が2つである場合に対して、追加の「複製」動作を実行して、4つの使用できる画素点を生成する必要があり、それにより、有効画素点が4つである場合の同じ動作を実行し、さらに、モデルパラメータを導出することができる。しかし、本願は、追加の「複製」動作を削減する同時に、有効画素点の数が2である場合の処理を、有効画素点の数が0である場合の処理に合わせることができ、個の場合、追加の動作を増加せずに同じ処理モジュールを直接に使用することができ、それにより、線形モデルパラメータの導出プロセスを統合することができる。
【0136】
【0137】
本実施例は、画像成分の予測方法を提供し、本実施例の技術的に解決策を介して、第1参照画素セット内の有効画素点の数をプリセットされた数と比較して、第1参照画素セットまたは第2参照画素セット内の有効画素点の数がプリセットされた数より小さい場合、プリセットのデフォルト値を予測される画像成分に対応する予測値として直接に使用し、第2参照画素セット内の有効画素点の数がプリセットされた数より大きいか等しい場合、第1参照画素セットに従ってモデルパラメータを決定して、予測される画像成分の予測モデルを構築し、それにより、モデルパラメータの導出プロセスを統合する、さらに、第1参照画素セット内の有効画素点の数がプリセットされた数より小さい場合に対して、追加の処理モジュールを増加していないため、計算の複雑さを減らす。
【0138】
上記の実施例と同じ発明構想に基づいて、
図13を参照すると、本願実施例による画像成分の予測装置130の構成の例示的な構造図を示す。当該画像成分の予測装置130は、取得ユニット1301、予測ユニット1302およびスクリーニングユニット1303を備えることができ、ここで、
前記取得ユニット1301は、ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得するように構成され、
前記予測ユニット1302は、前記第1参照画素セットのうちの有効画素点の数が、
プリセットされた数より小さい場合、
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用するように構成され、
前記スクリーニングユニット1303は、前記第1参照画素セットのうちの有効画素点の数が
プリセットされた数より大きいか等しい場合、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得するように構成され、ここで、前記第2参照画素セットのうちの有効画素点の数は、
プリセットされた数より小さいか等しく、
前記予測ユニット1302は、さらに、前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数より小さい場合、
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用し、および前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数と等しい場合、前記第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得するように構成され、ここで、前記予測モデルは、前記予測される画像成分に対する予測処理を実現して、前記予測される画像成分に対応する予測値を取得するために使用される。
【0139】
上記の技術案において、前記取得ユニット1301は、具体的に、前記符号化ブロックの少なくとも片側の辺に隣接する参照画素点を取得し、ここで、前記少なくとも片側の辺は、前記符号化ブロックの左側の辺および/または前記符号化ブロックの上側の辺を含に、前記参照画素点に基づいて、前記予測される画像成分に対応する第1参照画素セットを形成するように構成される。
【0140】
上記の技術案において、前記取得ユニット1301は、具体的に、前記符号化ブロックに隣接する参照行または参照列内の参照画素点を取得し、ここで、前記参照行は、前記符号化ブロックの上側の辺および右上側の辺に隣接する行によって形成されるものであり、前記参照列は、前記符号化ブロックの左側の辺および左下側の辺に隣接する列によって形成されるものであり、前記参照画素点に基づいて、前記予測される画像成分に対応する第1参照画素セットを形成するように構成される。
【0141】
上記の技術案において、前記スクリーニングユニット1303は、具体的に、前記第1参照画素セット内の各隣接参照画素点に対応する画素位置および/または画像成分強度に基づいて、選択される画素点位置を決定し、決定された選択される画素点位置に従って、前記第1参照画素セットから前記選択される画素点位置に対応する有効画素点を選択し、選択して得られる有効画素点で第2参照画素セットを形成するように構成され、ここで、前記第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しい。
【0142】
上記の技術案において、
図13を参照すると、前記画像成分の予測装置130は、さらに、前記ビデオ画像のビット情報に基づいて、前記予測される画像成分に対応するプリセットの成分範囲を決定し、前記プリセットの成分範囲に従って、前記プリセットの成分範囲の中間値を決定し、前記中間値を前記予測される画像成分に対応する予測値として使用するように構成される、決定ユニット1304を備え、ここで、前記中間値は、
プリセットされた成分値に示される。
【0143】
上記の技術案において、
図13を参照すると、前記画像成分の予測装置130は、さらに、前記符号化ブロック内の各画素点について、前記
プリセットされた成分値を使用して、各画素点の予測される画像成分に対して予測値の充填を実行するように構成される、充填ユニット1305を備える。
【0144】
上記の技術案において、前記予測ユニット1302は、さらに、前記予測モデルに基づいて、前記符号化ブロック内の各画素点の予測される画像成分に対して予測処理を実行して、各画素点の予測される画像成分に対応する予測値を取得するように構成される。
【0145】
上記の技術案において、プリセットされた数の値は4であり、;前記予測ユニット1302は、さらに、前記第1参照画素セットのうちの有効画素点の数が、0または2である場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用するように構成され、
それに対応して、前記予測ユニット1302は、さらに、前記第2参照画素セットのうちの有効画素点の数が、0または2である場合、プリセットされた成分値を前記予測される画像成分に対応する予測値として使用するように構成される。
【0146】
上記の技術案において、
図13を参照すると、前記画像成分の予測装置130は、さらに、前記第1参照画素セットのうちの有効画素点の数が、
プリセットされた数より小さいか、前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数より小さい場合、
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用し、前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数より大きいか等しい場合、CCLMモードを採用して、予測される画像成分に対する予測処理を実現するように構成される、判断ユニット1306を備える。
【0147】
本実施例において、「ユニット」は、回路の一部、プロセッサの一部、プログラムまたはソフトウェアの一部等であってもよく、もちろん、モジュール式であってもよく、または非モジュール式であってもよいことを理解されたい。さらに、本実施例における各構成部分は、1つの処理ユニットに統合されてもよく、各ユニットが物理的に別個に存在してもよく、2つ以上のユニットが1つのユニットに統合されてもよい。前述した統合ユニットは、ハードウェアの形で実現することができ、ソフトウェア機能モジュールの形で実現することもできる。
【0148】
前記統合されたユニットが、ソフトウェア機能モジュールの形で実装され、独立した製品として販売または使用されていない場合、1つのコンピュータ可読記憶媒体に記憶することができる、このような理解に基づいて、本実施例の技術的解決策は、本質でまたは先行技術に対して貢献のある部分または当該技術の解決策の全部または一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶されて、1つのコンピュータデバイス(パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであリ得る)またはプロセッサ(processor)が本実施例に記載の方法のステップの全部または一部を実行させるために、いくつかの命令を含む。前述した記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。
【0149】
したがって、本実施例は、コンピュータ記憶媒体を提供し、当該コンピュータ記憶媒体は、有画像成分予測プログラムを記憶し、前記画像成分予測プログラムは、少なくとも1つのプロセッサによって実行されるとき、上記の実施例におけるいずれか一項に記載の方法のステップを実現する。
【0150】
上記の画像成分の予測装置130の組み合わせおよびコンピュータ記憶媒体に基づいて、
図14を参照すると、本願実施例による画像成分の予測装置130の具体的なハードウェア構造を示し、ネットワークインターフェース1401、メモリ1402およびプロセッサ1403を備え、各コンポーネントは、バスシステム1404を介して一緒に結合される。理解できることとして、バスシステム1404は、これらのコンポーネント間の接続通信を具現するために使用される。データバスに加えて、バスシステム1404は、電力バス、制御バスおよびステータス信号バスを含む。しかしながら、説明を明確にするために、
図14では様々なバスをバスシステム1404として表記されている。ここで、ネットワークインターフェース1401は、別の外部ネットワーク要素と情報を送受信するプロセスにおいて信号を送受信するように構成され、
メモリ1402は、プロセッサ1403で実行可能なコンピュータプログラムを記憶するように構成され、
プロセッサ1403は、前記コンピュータプログラムを実行することにより、以下のステップを実行するように構成され、前記ステップは、
ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することと、
前記第1参照画素セットのうちの有効画素点の数が、
プリセットされた数より小さい場合、
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することと、
前記第1参照画素セットのうちの有効画素点の数が
プリセットされた数より大きいか等しい場合、前記第1参照画素セットをスクリーニングして、第2参照画素セットを取得することであって、ここで、前記第2参照画素セットのうちの有効画素点の数は、
プリセットされた数より小さいか等しいことと、
前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数より小さい場合、
プリセットされた成分値を前記予測される画像成分に対応する予測値として使用することと、
前記第2参照画素セットのうちの有効画素点の数が、
プリセットされた数と等しい場合、前記第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、前記予測される画像成分に対応する予測モデルを取得することと、を含み、ここで、前記予測モデルは、前記予測される画像成分に対する予測処理を実現して、前記予測される画像成分に対応する予測値を取得するために使用される。
【0151】
本願実施例におけるメモリ1402は、揮発性メモリまたは不揮発性メモリであり得、または揮発性および不揮発性メモリの両方を含み得ることを理解されたい。ここで、不揮発性メモリは、読み取り専用メモリ(ROM:Read-Only Memory)、プログラム可能な読み取り専用メモリ(PROM:Programmable ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable PROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM:Electrically EPROM)、またはフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用される、ランダムアクセスメモリ(RAM:Random Access Memory)であり得る。例示的であるが限定的な説明ではないが、例えば、スタティックランダムアクセスメモリ(SRAM:Static RAM)、ダイナミックランダムアクセスメモリ(DRAM:Dynamic RAM)、同期ダイナミックランダムアクセスメモリ(SDRAM:Synchronous DRAM)、ダブルデータレートの同期ダイナミックランダムアクセスメモリ(DDRSDRAM:Double Data Rate SDRAM)、強化された同期ダイナミックランダムアクセスメモリ(ESDRAM:Enhanced SDRAM)、ダイナミックランダムアクセスメモリの同期接続(SLDRAM:Synchlink DRAM)およびダイレクトメモリバスランダムアクセスメモリ(DRRAM:Direct Rambus RAM)など様々な形のRAMを使用することができる。本明細書によって説明されるシステムおよび方法のメモリ1402は、これらおよび任意の他の適切なタイプのメモリを含むがこれに限定されないことを意図する。
【0152】
プロセッサ1403は、信号の処理能力を有する集積回路チップであり得る。実現プロセスにおいて、上記の方法の各ステップは、プロセッサ1403内のハードウェアの集積論理回路またはソフトウェアの形の命令によって完了できる。上記のプロセッサ1403は、汎用プロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、または他のプログラマブルロジックデバイス、ディスクリートゲート、またはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。本願実施例で開示された各方法、ステップおよび論理ブロック図を実現または実行できる。汎用プロセッサは、マイクロプロセッサであり得、または当該プロセッサは、任意の従来のプロセッサなどであり得る。本願実施例で開示される方法のステップは、ハードウェア復号化プロセッサによって直接実行されてもよく、復号化プロセッサ内のハードウェアとソフトウェアモジュールの組み合わせによって実行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、または電気的に消去可能なプログラマブルメモリ、レジスタなどの従来の記憶媒体に配置されることができる。当該記憶媒体は、メモリ1402に配置され、プロセッサ1403は、メモリ1402内の情報を読み取り、そのハードウェアと組み合わせて前記方法のステップを完了する。
【0153】
本明細書に記載のこれらの実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはそれらの組み合わせで実現されることができることを理解することができる。ハードウェアの実現に対して、処理ユニットは、1つの或複数の特定用途向け集積回路(ASIC:Application Specific Integrated Circuits)、デジタル信号プロセッシング(DSP:Digital Signal Processing)、デジタル信号処理機器(DSPD:DSP Device)、プログラマブルロジックデバイス(PLD:Programmable Logic Device)、フィールドプログラマブルゲートアレイ(FPGA:Field-Programmable Gate Array)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願に記載の機能を実行するように構成される他の電子ユニットまたはその組み合わせに実現される。
【0154】
ソフトウェアを用いた実行の場合、本明細書に記載の機能を実行するモジュール(プロセス、関数など)を介して、本明細書に記載の技術を実現することができる。ソフトウェアコードは、メモリに記憶され、プロセッサによって実行されることができる。メモリは、プロセッサ内またはプロセッサ外に実装することができる。
【0155】
例示的に、別の実施例として、プロセッサ1403は、さらに、前記コンピュータプログラムを実行することにより、上記の実施例のいずれか一項に記載の方法のステップを実行するように構成される。
【0156】
図15を参照すると、本願実施例によるエンコーダの構成の例示的な構造図を示す。
図15に示されたように、エンコーダ150は、少なくとも、上記の実施例におけるいずれか一項に記載の画像成分の予測装置130を備えることができる。
【0157】
図16を参照すると、本願実施例によるデコーダの構成の例示的な構造図を示す。
図16に示されたように、デコーダ160は、少なくとも、上記の実施例におけるいずれか一項に記載の画像成分の予測装置130を備えることができる。
【0158】
本明細書において、「備える」、「含む」またはその任意の他の変形の用語は、非排他的な含みを覆われることを意図し、それにより、一連の要素を含むプロセス、方法、アイテムまたは装置は、それらの要素を含むだけでなく、さらに、明示的に列挙されない他の要素を含み、または、これらのプロセス、方法、アイテムまたは装置の固有の要素も含むことに留意されたい。より多くの制限なしに、「1つの…を含む」という文で限定される要素は、当該要素を含むプロセス、方法、アイテムまたは装置に、別の関連要素の存在を排除しない。
【0159】
上記の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。
【0160】
本願によるいくつかの方法の実施例に開示される方法は、競合することなく任意に組み合わせて、新たな方法の実施例を取得することができる。
【0161】
本願によるいくつかの製品の実施例で開示される特徴は、競合することなく任意に組み合わせて、新たな製品の実施例を取得することができる。
【0162】
本願によるいくつかの方法、または機器の実施例に開示される特徴は、競合することなく任意に組み合わせて、新たな方法の実施例または機器の実施例を取得することができる。
【0163】
上記は、本願の具体的な実施形態に過ぎず、本願の保護範囲はこれに限定されない。当業者は、本願で開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲に従うものとする。
【産業上の利用可能性】
【0164】
本願実施例において、ビデオ画像内の符号化ブロックの予測される画像成分に対応する第1参照画素セットを取得することにより、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を予測される画像成分に対応する予測値として使用し、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より大きいか等しい場合、第1参照画素セットをスクリーニングして、第2参照画素セットを取得し、当該第2参照画素セットのうちの有効画素点の数は、プリセットされた数より小さいか等しく、第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットされた成分値を予測される画像成分に対応する予測値として使用し、第2参照画素セットのうちの有効画素点の数が、プリセットされた数と等しい場合、第2参照画素セットを介してモデルパラメータを決定し、前記モデルパラメータに従って、予測される画像成分に対応する予測モデルを取得し、当該予測モデルは、予測される画像成分に対する予測処理を実現して、予測される画像成分に対応する予測値を取得するために使用され、このようにして、第1参照画素セットのうちの有効画素点の数が、プリセットされた数より小さいか、第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、プリセットのデフォルト値を予測される画像成分に対応する予測値として直接に使用し、第2参照画素セットのうちの有効画素点の数が、プリセットされた数を満たす場合にのみ、第1参照画素セットに従ってモデルパラメータを決定して、予測される画像成分の予測モデルを確立し、それにより、モデルパラメータの導出プロセスを統合し、さらに、第1参照画素セットまたは第2参照画素セットのうちの有効画素点の数が、プリセットされた数より小さい場合、特に、有効画素点が、0または2である場合について、追加の処理モジュールを増加していないため、プリセットのデフォルト値を予測される画像成分に対応する予測値として直接に使用して、追加の処理は必要なく、計算の複雑さを減らす。