IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グァンドン オッポ モバイル テレコミュニケーションズ コーポレーション リミテッドの特許一覧

特開2024-147829画像予測方法、エンコーダ、デコーダ及び記憶媒体
<>
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図1
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図2
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図3
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図4
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図5
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図6
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図7
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図8
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図9
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図10
  • 特開-画像予測方法、エンコーダ、デコーダ及び記憶媒体 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147829
(43)【公開日】2024-10-16
(54)【発明の名称】画像予測方法、エンコーダ、デコーダ及び記憶媒体
(51)【国際特許分類】
   H04N 19/105 20140101AFI20241008BHJP
   H04N 19/176 20140101ALI20241008BHJP
   H04N 19/132 20140101ALI20241008BHJP
   H04N 19/136 20140101ALI20241008BHJP
   H04N 19/157 20140101ALI20241008BHJP
   H04N 19/186 20140101ALI20241008BHJP
【FI】
H04N19/105
H04N19/176
H04N19/132
H04N19/136
H04N19/157
H04N19/186
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2024125167
(22)【出願日】2024-07-31
(62)【分割の表示】P 2021557116の分割
【原出願日】2019-10-12
(31)【優先権主張番号】62/823,602
(32)【優先日】2019-03-25
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., LTD.
【住所又は居所原語表記】No. 18 Haibin Road,Wusha, Chang’an,Dongguan, Guangdong 523860 China
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(74)【代理人】
【識別番号】100096921
【弁理士】
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】ワン、シューアイ
(72)【発明者】
【氏名】フオ、チュンイェン
(72)【発明者】
【氏名】マー、イェンチュオ
(72)【発明者】
【氏名】チャン、ウェイ
(57)【要約】      (修正有)
【課題】予測効率を向上させるだけではなく、ビデオ画像の符号化及び復号化効率も向上させる画像予測方法、エンコーダ、デコーダ及び記憶媒体を提供する。
【解決手段】画像予測方法は、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定することと、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得することと、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築することと、を含む。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【選択図】図4
【特許請求の範囲】
【請求項1】
エンコーダに適用される画像予測方法であって、
画像内の現在のブロックの第一画像コンポーネントの参照値を確定することと、
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することと、
前記フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを取得することと、
前記予測モデルに基づいて、前記現在のブロックの第一画像コンポーネントの値をマッピングして、前記現在のブロックの第二画像コンポーネントの予測値を取得することと、
を含み、
前記現在のブロックの第一画像コンポーネントの参照値は、前記現在のブロックの隣接するサンプルの第一画像コンポーネント値であり、
前記第二画像コンポーネントと前記第一画像コンポーネントは異なる、
ことを特徴とする画像予測方法。
【請求項2】
前記画像予測方法は、前記現在のブロックの第一画像コンポーネントをフィルタリングすることをさらに含む、
ことを特徴とする請求項1に記載の画像予測方法。
【請求項3】
前記フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを取得することは、
前記現在のブロックの第二画像コンポーネントの参照値を取得することと、
前記フィルタリングされた参照値及び前記現在のブロックの第二画像コンポーネントの参照値を使用して、前記予測モデルのモデルパラメータを取得することと、
を含み、
前記現在のブロックの第二画像コンポーネントの参照値は、前記現在のブロックの隣接するサンプルの第二画像コンポーネント値である、
ことを特徴とする請求項1に記載の画像予測方法。
【請求項4】
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することは、
前記画像の第二画像コンポーネントの解像度と前記画像の第一画像コンポーネントの解像度が異なる場合、前記現在のブロックの第一画像コンポーネントの参照値に対して第一調整処理を行って、前記現在のブロックの第一画像コンポーネントの参照値を更新することと、
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、前記フィルタリングされた参照値を取得することと、
を含み、
前記第一調整処理は、ダウンサンプリングフィルタリングである、
ことを特徴とする請求項1に記載の画像予測方法。
【請求項5】
前記画像予測方法は、
前記現在のブロックの第一画像コンポーネントの参照値に基づいて、プリセット処理モードで前記参照値をフィルタリングすることをさらに含み、
前記プリセット処理モードは、フィルタリング及びグループ化のうちの少なくとも1つを含む、
ことを特徴とする請求項1又は4に記載の画像予測方法。
【請求項6】
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することは、
前記画像の第二画像コンポーネントの解像度と前記画像の第一画像コンポーネントの解像度が異なる場合、前記現在のブロックの第二画像コンポーネントの参照値に対して第二調整処理を行って、前記現在のブロックの第二画像コンポーネントの参照値を更新することを含み、
前記第二調整処理は、ダウンサンプリングである、
ことを特徴とする請求項1に記載の画像予測方法。
【請求項7】
デコーダに適用される画像予測方法であって、
画像内の現在のブロックの第一画像コンポーネントの参照値を確定することと、
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することと、
前記フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを取得することと、
前記予測モデルに基づいて、前記現在のブロックの第一画像コンポーネントの値をマッピングして、前記現在のブロックの第二画像コンポーネントの予測値を取得することと、
を含み、
前記現在のブロックの第一画像コンポーネントの参照値は、前記現在のブロックの隣接するサンプルの第一画像コンポーネント値であり、
前記第二画像コンポーネントと前記第一画像コンポーネントは異なる、
ことを特徴とする画像予測方法。
【請求項8】
前記画像予測方法は、前記現在のブロックの第一画像コンポーネントをフィルタリングすることをさらに含む、
ことを特徴とする請求項7に記載の画像予測方法。
【請求項9】
前記フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを取得することは、
前記現在のブロックの第二画像コンポーネントの参照値を取得することと、
前記フィルタリングされた参照値及び前記現在のブロックの第二画像コンポーネントの参照値を使用して、前記予測モデルのモデルパラメータを取得することと、
を含み、
前記現在のブロックの第二画像コンポーネントの参照値は、前記現在のブロックの隣接するサンプルの第二画像コンポーネント値である、
ことを特徴とする請求項7に記載の画像予測方法。
【請求項10】
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することは、
前記画像の第二画像コンポーネントの解像度と前記画像の第一画像コンポーネントの解像度が異なる場合、前記現在のブロックの第一画像コンポーネントの参照値に対して第一調整処理を行って、前記現在のブロックの第一画像コンポーネントの参照値を更新することと、
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、前記フィルタリングされた参照値を取得することと、
を含み、
前記第一調整処理は、ダウンサンプリングフィルタリングである、
ことを特徴とする請求項7に記載の画像予測方法。
【請求項11】
前記画像予測方法は、
前記現在のブロックの第一画像コンポーネントの参照値に基づいて、プリセット処理モードで前記参照値をフィルタリングすることをさらに含み、
前記プリセット処理モードは、フィルタリング及びグループ化のうちの少なくとも1つを含む、
ことを特徴とする請求項7又は10に記載の画像予測方法。
【請求項12】
前記現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することは、
前記画像の第二画像コンポーネントの解像度と前記画像の第一画像コンポーネントの解像度が異なる場合、前記現在のブロックの第二画像コンポーネントの参照値に対して第二調整処理を行って、前記現在のブロックの第二画像コンポーネントの参照値を更新することを含み、
前記第二調整処理は、ダウンサンプリングである、
ことを特徴とする請求項7に記載の画像予測方法。
【請求項13】
エンコーダであって、
第一メモリ及び第一プロセッサを含み、
前記第一メモリは、前記第一プロセッサで実行できるコンピュータプログラムを格納するために用いられ、
前記第一プロセッサは、前記コンピュータプログラムを実行することにより、請求項1~6に記載の画像予測方法を実行するために用いられる、
ことを特徴とするエンコーダ。
【請求項14】
デコーダであって、
第二メモリ及び第二プロセッサを含み、
前記第二メモリは、前記第二プロセッサで実行できるコンピュータプログラムを格納するために用いられ、
前記第二プロセッサは、前記コンピュータプログラムを実行することにより、請求項7~12のいずれか一項に記載の画像予測方法を実行するために用いられる、
ことを特徴とするデコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオの符号化及び復号化技術分野に関し、さらに具体的に、画像予測方法、エンコーダ、デコーダ及び記憶媒体に関する。
【背景技術】
【0002】
最新のビデオコーディング標準H.266/多用途ビデオコーディング(versatile video coding,VVC)では、クロスコンポーネント予測の存在を許可する。CCLM予測(cross-component linear model prediction)は、典型的なクロスコンポーネント予測技術の1つである。クロスコンポーネント予測技術を利用して、1つのコンポーネントを介して他のコンポーネント(又はその残差)を予測することができ、例えば、輝度コンポーネント(luma component)を介して彩度コンポーネント(chroma component)を予測することができるか、又は彩度コンポーネントを介して輝度コンポーネントを予測することができるか、又は彩度コンポーネントを介して彩度コンポーネントを予測することもできる。
【0003】
異なるコンポーネントは異なる統計特性を有するので、コンポーネントによって統計特性も相違点が存在する。ただし、コンポーネント予測を行う時、従来のクロスコンポーネント予測技術は、全面的に考慮しないので、予測効率が低くなる。
【発明の概要】
【0004】
本出願の実施形態は、画像予測方法、エンコーダ、デコーダ及び記憶媒体を提供する。コンポーネント予測を行う前に、各コンポーネントの統計特性のバランスをとることにより、予測効率を向上させるだけではなく、ビデオ画像の符号化及び復号化効率も向上させる。
【0005】
本出願の実施形態の技術的解決策は次のとおりである。
【0006】
第一態様において、本出願の実施形態はエンコーダ又はデコーダに適用される画像予測方法を提供する。画像予測方法は、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定することと、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得することと、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築することと、を含む。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0007】
第二態様において、本出願の実施形態はエンコーダ又はデコーダに適用される画像予測方法を提供する。画像予測方法は、画像内の現在のブロックの第一画像コンポーネントの参照値を確定することと、現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することと、フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを計算することと、を含む。現在のブロックの第一画像コンポーネントの参照値は、現在のブロックの隣接するサンプルの第一画像コンポーネント値である。予測モデルは、現在のブロックの第一画像コンポーネント値を現在のブロックの第二画像コンポーネント値にマッピングするために用いられ、第二画像コンポーネントと第一画像コンポーネントは異なる。
【0008】
第三態様において、本出願の実施形態はエンコーダを提供する。エンコーダは、第一確定ユニット、第一処理ユニット及び第一構築ユニットを含む。第一確定ユニットは、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定するために用いられる。第一処理ユニットは、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得するために用いられる。第一構築ユニットは、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築するために用いられ、予測モデルは現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0009】
第四態様において、本出願の実施形態はエンコーダを提供する。エンコーダは、第一メモリ及び第一プロセッサを含む。第一メモリは、第一プロセッサで実行できるコンピュータプログラムを格納するために用いられる。第一プロセッサは、コンピュータプログラムを実行することにより、第一態様又は第二態様の方法を実行するために用いられる。
【0010】
第五態様において、本出願の実施形態はデコーダを提供する。デコーダは、第二確定ユニット、第二処理ユニット及び第二構築ユニットを含む。第二確定ユニットは、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定するために用いられる。第二処理ユニットは、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得するために用いられる。第二構築ユニットは、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築するために用いられ、予測モデルは現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0011】
第六態様において、本出願の実施形態はデコーダを提供する。デコーダは、第二メモリ及び第二プロセッサを含む。第二メモリは、第二プロセッサで実行できるコンピュータプログラムを格納するために用いられる。第二プロセッサは、コンピュータプログラムを実行することにより、第一態様又は第二態様の方法を実行するために用いられる。
【0012】
第七態様において、本出願の実施形態はコンピュータ記憶媒体を提供する。コンピュータ記憶媒体には、画像予測プログラムを格納されている。画像予測プログラムが第一プロセッサ又は第二プロセッサによって実行されると、第一態様又は第二態様の方法を実現する。
【0013】
本出願の実施形態は、画像予測方法、エンコーダ、デコーダ及び記憶媒体を提供する。画像予測方法は、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定することと、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得することと、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築することと、を含む。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることにより、予測効率を向上させる。予測モデルによって予測された画像コンポーネントの予測値は真の値に近いので、画像コンポーネントの予測残差は小さく、符号化及び復号化過程で送信されるビットレートが少なく、ビデオ画像の符号化及び復号化効率を向上させることができる。
【図面の簡単な説明】
【0014】
図1図1は、本出願の実施形態に係わる従来のクロスコンポーネント予測アーキテクチャの構造を示す図である。
図2図2は、本出願の実施形態に係わるビデオエンコーディングシステムの構造を示すブロック図である。
図3図3は、本出願の実施形態に係わるビデオデコーディングシステムの構造を示すブロック図である。
図4図4は、本出願の実施形態に係わる画像予測方法のフローチャートである。
図5図5は、本出願の別の実施形態に係わる画像予測方法のフローチャートである。
図6図6は、本出願の実施形態に係わる改良されたクロスコンポーネント予測アーキテクチャの構造を示す図である。
図7図7は、本出願の別の実施形態に係わる改良されたクロスコンポーネント予測アーキテクチャの構造を示す図である。
図8図8は、本出願の実施形態に係わるエンコーダの構造を示す図である。
図9図9は、本出願の実施形態に係わるエンコーダの具体的なハードウェアの構造を示す図である。
図10図10は、本出願の実施形態に係わるデコーダの構造を示す図である。
図11図11は、本出願の実施形態に係わるデコーダの具体的なハードウェアの構造を示す図である。
【発明を実施するための形態】
【0015】
本出願の実施形態の特徴と技術内容を詳細に了解するために、以下、図面を参照しながら本出願の実施形態の技術方案を詳細に説明し、添付された図面はただ説明するために用いられ、本出願を限定するものではない。
【0016】
ビデオ画像では、一般的に第一画像コンポーネント、第二画像コンポーネント及び第三画像コンポーネントでコーディングブロックを示す。第一画像コンポーネント、第二画像コンポーネント及び第三画像コンポーネントは、それぞれ、輝度コンポーネント(luma component)、青彩度コンポーネント(blue chroma component)及び赤彩度コンポーネント(red chroma component)である。具体的には、輝度コンポーネントは一般的に記号Yで示し、青彩度コンポーネントは一般的に記号Cb又はUで示し、赤彩度コンポーネントは一般的に記号Cr又はVで示す。このように、ビデオ画像はYCbCr又はYUVのフォーマットで示すことができる。
【0017】
本出願の実施形態において、第一画像コンポーネントは輝度コンポーネントであることができ、第二画像コンポーネントは青彩度コンポーネントであることができ、第三画像コンポーネントは赤彩度コンポーネントであることができるが、本出願の実施形態はこれに対して具体的に限定しない。
【0018】
符号化及び復号化性能をさらに向上させるために、H.266/VCCは、CCLMのクロスコンポーネント予測技術を提出した。CCLMのクロスコンポーネント予測技術によって、輝度コンポーネントを介して彩度コンポーネントを予測することができるばかりではなく(即ち第一画像コンポーネントを介して第二画像コンポーネントを予測することができ、又は第一画像コンポーネントを介して第三画像コンポーネントを予測することができる)、彩度コンポーネントを介して輝度コンポーネントを予測することもでき(即ち第二画像コンポーネントを介して第一画像コンポーネントを予測することができ、又は第三画像コンポーネントを介して第一画像コンポーネントを予測することができる)、さらに彩度コンポーネント間の予測を実現することができる(即ち第二画像コンポーネントを介して第三画像コンポーネントを予測することができ、又は第三画像コンポーネントを介して第二画像コンポーネントを予測することができる)。本出願の実施形態において、以下、第一画像コンポーネントを介して第二画像コンポーネントを予測することを例として説明するが、本出願の実施形態の技術方案は他の画像コンポーネントの予測にも適用できる。
【0019】
図1は、本出願の実施形態に係わる従来のクロスコンポーネント予測アーキテクチャの構造を示す図である。図1に示されたように、第一画像コンポーネント(例えば、Yコンポーネントによって示す)を介して第二画像コンポーネントを予測する(例えば、Uコンポーネントによって示す)。ビデオ画像が採用するYUVフォーマットが4:2:0フォーマットである場合、YコンポーネントとUコンポーネントの解像度は異なる。この場合、予測しようとするコンポーネントの目標解像度に達するために、Yコンポーネントに対してダウンサンプリングを実行するか又はUコンポーネントに対してアップサンプリングを実行することを必要として、同じ解像度でコンポーネント間の予測を実行することができる。本例示において、Yコンポーネントを介して第三画像コンポーネント(例えば、Vコンポーネントによって示す)を予測する方法は上述したものと同じである。
【0020】
図1において、従来のクロスコンポーネント予測アーキテクチャ10は、コーディングブロックのYコンポーネント110、解像度調整ユニット120、コーディングブロックのYコンポーネント130、コーディングブロックのUコンポーネント140、予測モデル150及びクロスコンポーネント予測ユニット160を含む。ビデオ画像のYコンポーネントは、2N×2NのサイズのコーディングブロックのYコンポーネント110で示す。 ここでより太字の大きいボックスは、コーディングブロックのYコンポーネント110を強調するために用いられ、周囲の灰色の実芯の円は、コーディングブロックのYコンポーネント110の隣接する参照値
を示すために用いられる。ビデオ画像のUコンポーネントは、N×NのサイズのコーディングブロックのUコンポーネント140で示す。ここでより太字の大きいボックスは、コーディングブロックのUコンポーネント140強調するために用いられ、周囲の灰色の実芯の円は、コーディングブロックのUコンポーネント140の隣接する参照値
を示すために用いられる。YコンポーネントとUコンポーネントの解像度が異なるので、解像度調整ユニット120によってYコンポーネントの解像度を調整して、N×NのサイズのコーディングブロックのYコンポーネント130を取得することを必要とする。コーディングブロックのYコンポーネント130について、より太字の大きいボックスは、コーディングブロックのYコンポーネント130を強調するために用いられ、周囲の灰色の実芯の円は、コーディングブロックのYコンポーネント130の隣接する参照値
を示すために用いられる 。コーディングブロックのYコンポーネント130の隣接する参照値
及びコーディングブロックのUコンポーネント140の隣接する参照値
によって予測モデル150を構築することができる。コーディングブロックのYコンポーネント130の再構成されたサンプル値及び予測モデル150に基づいて、クロスコンポーネント予測ユニット160はコンポーネント予測を実行することができ、最後にUコンポーネントの予測値を出力する。
【0021】
従来のクロスコンポーネント予測アーキテクチャ10にとって、画像コンポーネント予測を実行するとき、全面的に考慮せず、例えば、各画像コンポーネントの統計特性の相違点を考慮しないので、予測効率が低くなる。予測効率を高めるために、本出願の実施形態は画像予測方法を提供する。先ず、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定する。次に、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得する。前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築し、予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、先ず少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、予測効率を向上させるだけではなく、ビデオ画像の符号化及び復号化効率も向上させる。
【0022】
以下、図面を参照して本出願の各実施形態に対して詳細に説明する。
【0023】
図2は、本出願の実施形態に係わるビデオエンコーディングシステムの構造を示すブロック図である。図2に示されたように、ビデオエンコーディングシステム20は、変換及び量子化ユニット201、イントラ推定ユニット202、イントラ予測ユニット203、動き補償ユニット204、動き推定ユニット205、逆変換及び逆量子化ユニット206、フィルタ制御分析ユニット207、フィルタリングユニット208、コーディングユニット209、デコードされた画像バッファユニット210などを含む。フィルタリングユニット208は、デブロッキング(deblocking,DBK)フィルタリング及びサンプル適応オフセット(sample adaptive offset,SAO)フィルタリングを実現することができる。コーディングユニット209は、ヘッダ情報コーディング及びCABAC(context-based adaptive binary arithmetic coding)を実現することができる。入力された元のビデオ信号に対して、コーディングツリーユニット(coding tree unit,CTU)の分割によって、1つのコーディングブロックを取得することができる。次に、イントラ予測又はインター予測によって取得された残差サンプル情報に対して、変換及び量子化ユニット201によってコーディングブロックを変換し、残差情報をサンプルドメインから変換ドメインに変換し、ビットレートをさらに下げるために、得られた変換係数を量子化することを含む。イントラ推定ユニット202及びイントラ予測ユニット203は、コーディングブロックに対してイントラ予測を実行するために用いられる。明らかに説明すると、イントラ推定ユニット202及びイントラ予測ユニット203は、コーディングブロックを符号化するために用いられるイントラ予測モードを確定するために用いられる。動き補償ユニット204及び動き推定ユニット205は、時間予測情報を提供するために、1つ又は複数の参照フレーム内の1つ又は複数のブロックに対して、受信されたコーディングブロックのフレーム間予測コーディングを実行するために用いられる。動き推定ユニット205によって実行される動き推定は動きベクトルを生成するプロセスであり、動きベクトルはコーディングブロックの動きを推定することができる。動き補償ユニット204は、動き推定ユニット205によって確定された動きベクトルに基づいて動き補償を実行するために用いられる。イントラ予測モードを確定してから、イントラ予測ユニット203は、さらに選択されたイントラ予測データをコーディングユニット209に提供するために用いられ、動き推定ユニット205は、計算された動きベクトルデータをコーディングユニット209に送信するために用いられる。逆変換及び逆量子化ユニット206は、コーディングブロックを再構成するために用いられる。残差ブロックはサンプル領域で再構成され、再構成された残差ブロックのブロッキングアーチファクト(blocking artifact)はフィルタ制御分析ユニット207及びフィルタリングユニット208を介して除去され、それから再構成された残差ブロックは復号化された画像バッファユニット210のフレーム内の1つの予測ブロックに追加されて、再構築されたビデオコーディングブロックを生成するために用いられる。コーディングユニット209は、様々なエンコーディングパラメータ及び量子化された変換係数を符号化するために用いられる。CABACに基づくコーディングアルゴリズムにおいて、コンテキストコンテンツは隣接するコーディングブロックに基づくことができ、ビデオ信号のビットストリームを出力するために、確定されたイントラ予測モードを示す情報を符号化することができる。デコードされた画像バッファユニット210は、予測参照のために、再構成されたビデオコーディングブロックを格納するために用いられる。ビデオ画像の符号化が進行することにつれて、新しい再構成されたコーディングブロックが絶えずに生成され、これらの再構成されたコーディングブロックは全てデコードされた画像バッファユニット210に格納される。
【0024】
図3は、本出願の実施形態に係わるビデオデコーディングシステムの構造を示すブロック図である。図3に示されたように、ビデオデコーディングシステム30は、デコーディングユニット301、逆変換及び逆量子化ユニット302、イントラ予測ユニット303、動き補償ユニット304、フィルタリングユニット305、デコードされた画像キャッシュユニット306などを含む。デコーディングユニット301は、ヘッダー情報デコーディング及びCABACデコーディングを実現することができる。フィルタリングユニット305は、DBKフィルタリング及びSAOフィルタリングを実現することができる。入力されたビデオ信号は符号化された後(図2に示されたように)、ビデオ信号のビットストリームを出力する。ビットストリームは、ビデオデコーディングシステム30に入力される。先ず、デコーディングユニット301を介して復号化された変換係数を取得する。復号化された変換係数は逆変換及び逆量子化ユニット302によって処理されて、サンプル領域で残差ブロックを生成する。イントラ予測ユニット303は、確定されたイントラ予測モード及び現在のフレーム又は画像の前の復号化されたブロックからのデータに基づいて、復号化される現在のビデオコーディングブロックの予測データを生成するために用いられることができる。動き補償ユニット304は、動きベクトル及び他の関連する構文要素を分析することにより、復号化しようとするビデオコーディングブロックの予測情報を確定するために用いられ、且つ予測情報を使用して復号化されているビデオコーディングブロックの予測ブロックを生成する。逆変換及び逆量子化ユニット302からの残差ブロックと、イントラ予測ユニット303又は動き補償ユニット304によって生成された対応する予測ブロックとを合計することによって、復号化されたビデオブロックを形成する。復号化されたビデオブロックのブロッキングアーチファクトは、フィルタリングユニット305を介して除去され、ビデオの品質を改善することができる。次に、復号化されたビデオブロックは、デコードされた画像キャッシュユニット306に格納される。デコードされた画像キャッシュユニット306は、後続のイントラ予測又は動き補償に使用される参照画像を格納するために用いられ、ビデオ信号を出力するためにも用いられ、即ち復元された元のビデオ信号を取得する。
【0025】
本出願の実施形態は、図2に示されたイントラ予測ユニット203及び図3に示されたイントラ予測ユニット303に適用することができる。換言すると、本出願の実施形態は、ビデオエンコーディングシステム及びビデオデコーディングシステムの両方に適用可能であるが、本出願の実施形態はこれに関して限定しない。
【0026】
図2又は図3に示されたアプリケーションシナリオの例に基づいて、図4を参照してください、図4は、本出願の実施形態に係わる画像予測方法のフローチャートである。 この方法には以下の内容を含むことができる。
【0027】
S401、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定する。
【0028】
S402、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得する。
【0029】
S403、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築し、予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0030】
ビデオ画像は複数の画像ブロックに分割されることができ、現在符号化しようとする各画像ブロックは、コーディングブロックと呼ぶことができることに留意されたい。各コーディングブロックは、第一画像コンポーネント、第二画像コンポーネント及び第三画像コンポーネントを含むことができる。現在のブロックは、ビデオ画像において、現在第一画像コンポーネント、第二画像コンポーネント又は第三画像コンポーネントの予測を実行しようとするコーディングブロックである。
【0031】
本出願の実施形態に係わる画像予測方法は、ビデオエンコーディングシステム又はビデオデコーディングシステムに適用することができ、又はビデオエンコーディングシステム及びビデオデコーディングシステムの両方に同時に適用することもでき、本出願の実施形態はこれに対して具体的に限定しないことにも留意されたい。
【0032】
本出願の実施形態において、先ず、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定する。次に、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得する。前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築し、予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、先ず少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、予測効率を向上させるだけではなく、ビデオ画像の符号化及び復号化効率も向上させる。
【0033】
さらに、異なる画像コンポーネントは異なる統計特性を有し、各画像コンポーネントの統計特性に相違点が存在する。例えば、輝度コンポーネントは豊富なテクスチャ特性を持っているが、彩度コンポーネントはより均一で平坦である傾向がある。本出願の実施形態は、各画像コンポーネントの統計特性の相違点を考慮することにより、各画像コンポーネントの統計特性のバランスを取る目的に達することができる。いくつかの実施形態において、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定してから、前記方法は、さらに以下の内容を含むことができる。
【0034】
現在のブロックの少なくとも1つの画像コンポーネントに対して特性統計を実行する。少なくとも1つの画像コンポーネントは、第一画像コンポーネント及び/又は第二画像コンポーネンを含む。
【0035】
特性統計の結果に基づいて、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値を取得する。第一画像コンポーネントは、予測モデルを構築するときに予測に使用されるコンポーネントであり、第二画像コンポーネントは、予測モデルを構築するときに予測されるコンポーネントである。
【0036】
現在のブロックの少なくとも1つの画像コンポーネントは、第一画像コンポーネントであることができ、第二画像コンポーネントであることもでき、さらに第一画像コンポーネント及び第二画像コンポーネントであることもできる。第一画像コンポーネントは、予測モデルを構築するときに予測に使用されるコンポーネントであり、参照しようとする画像コンポーネントとも呼ばれる。第二画像コンポーネントは、予測モデルを構築するときに予測されるコンポーネントであり、予測しようとする画像コンポーネントとも呼ばれる。
【0037】
予測モデルを介して輝度コンポーネントから彩度コンポーネントへの予測を実現すると仮定すると、予測モデルを構築するときに予測に使用されるコンポーネントは輝度コンポーネントであり、予測モデルを構築するときに予測されるコンポーネントは彩度コンポーネントである。即ち、第一画像コンポーネントは輝度コンポーネントであり、第二画像コンポーネントは彩度コンポーネントである。あるいは、予測モデルを介して彩度コンポーネントから輝度コンポーネントへの予測を実現すると仮定すると、予測モデルを構築するときに予測に使用されるコンポーネントは彩度コンポーネントであり、予測モデルを構築するときに予測されるコンポーネントは輝度コンポーネントである。即ち、第一画像コンポーネントは彩度コンポーネントであり、第二画像コンポーネントは輝度コンポーネントである。
【0038】
このように、現在のブロックの少なくとも1つの画像コンポーネントに対して特性統計を実行することにより、特性統計の結果を取得することができる。特性統計の結果に基づいて、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値を取得することができる。
【0039】
さらに、予測効率を向上させるために、各画像コンポーネントの統計特性の相違点を考慮することができる。即ち、予測モデルを介して、少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、画像コンポーネントの統計特性に基づいて、少なくとも1つの画像コンポーネントに対して前処理することができ、例えば、フィルタリング、グループ化、 値の変更、量子化、又は非量子化などである。いくつかの実施形態において、S402について、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得することは、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値に基づいて、プリセット処理モードで第一画像コンポーネントに対して第一処理を行うことと、第一処理結果に基づいて現在のブロックの第一画像コンポーネントの処理値を取得することと、を含む。プリセット処理モードは、フィルタリング、グループ化、値修正、量子化及び非量子化のうちの少なくとも1つを含む。
【0040】
説明しなければならないことは、現在のブロックの少なくとも1つの画像コンポーネントの特性統計の結果に基づいて、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値を取得してから、プリセット処理モードで第一画像コンポーネントに対して第一処理を実行することができる。具体的に説明すると、フィルタリングを使用して第一画像コンポーネントに対して第一処理を実行することができるか、又はグループ化を使用して第一画像コンポーネントに対して第一処理を実行することができるか、又は値修正を使用して第一画像コンポーネントに対して第一処理を実行することができるか、又は量子化を使用して第一画像コンポーネントに対して第一処理を実行することができるか、又は逆量子化(非量子化とも呼ばれる)を使用して第一画像コンポーネントに対して第一処理を実行することができ、本出願の実施形態は具体的に限定しない。
【0041】
説明しなければならないことは、第一画像コンポーネントに対して処理することにとって、第一画像コンポーネントの隣接する参照サンプル値に対して処理することができ、又は第一画像コンポーネントの再構成されたサンプル値に対して処理することができ、又は第一画像コンポーネントの他のサンプル値に対して処理することができる。本出願の実施形態において、予測モデルの実際の状況に基づいて設定し、本出願の実施形態は具体的に限定しない。
【0042】
例示的に、予測モデルは輝度コンポーネントを介して彩度コンポーネントを予測することであると仮定すると、予測効率を高めるために、即ち予測値の正確性を高めるために、プリセット処理モードで輝度コンポーネント及び/又は彩度コンポーネントに対して処理することを必要として、例えば、プリセット処理モードで輝度コンポーネントに対応する再構成されたサンプル値に対して処理する。プリセット処理モードが値修正処理を採用する場合、輝度コンポーネントと彩度コンポーネントの統計特性が異なるので、2つの画像コンポーネントの統計特性の相違点に応じて、1つの偏差係数(deviation factor)を求めることができる。次に、偏差係数を使用して輝度コンポーネントに対して値修正処理を実行して(輝度コンポーネントに対応する再構成されたサンプル値と偏差係数が合計される)、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、処理された輝度コンポーネントが得られる。その結果、予測モデルによって予測された彩度コンポーネントの予測値は彩度コンポーネントの真の値にさらに近い。プリセット処理モードがフィルタリング処理を採用する場合、輝度コンポーネントと彩度コンポーネントの統計特性が異なるので、2つの画像コンポーネントの統計特性の相違点に応じて、輝度コンポーネントに対してフィルタリング処理を実行して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、処理された輝度コンポーネントが得られる。その結果、予測モデルによって予測された彩度コンポーネントの予測値は彩度コンポーネントの真の値にさらに近い。プリセット処理モードがグループ化処理を採用する場合、輝度コンポーネントと彩度コンポーネントの統計特性が異なるので、2つの画像コンポーネントの統計特性の相違点に応じて、輝度コンポーネントに対してグループ化処理を実行して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることができる。グループ化された輝度コンポーネントに基づいて構築された予測モデルによって予測された彩度コンポーネントの予測値は彩度コンポーネントの真の値にさらに近い。さらに、予測モデルを使用して彩度コンポーネントを予測する過程で量子化処理と逆量子化処理が伴い、輝度コンポーネントと彩度コンポーネントの統計特性が異なるので、2つの画像コンポーネントの統計特性の相違点に応じて、量子化処理と逆量子化処理の相違点を招く可能性がある。このとき、プリセット処理モードが量子化処理を採用する場合、輝度コンポーネント及び/又は彩度コンポーネントに対して量子化処理を実行して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、処理された輝度コンポーネント及び/又は処理された彩度コンポーネントが得られる。その結果、予測モデルによって予測された彩度コンポーネントの予測値は彩度コンポーネントの真の値にさらに近い。プリセット処理モードが非量子化処理を採用する場合、輝度コンポーネント及び/又は彩度コンポーネントに対して非量子化処理を実行して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、処理された輝度コンポーネント及び/又は処理された彩度コンポーネントが得られる。その結果、予測モデルによって予測された彩度コンポーネントの予測値は彩度コンポーネントの真の値さらに近い。従って、予測値の正確性を向上させることができ、即ち、予測効率を向上させることができる。予測モデルによって予測された彩度コンポーネントの予測値は彩度コンポーネントの真の値さらに近いので、彩度コンポーネントの予測残差は小さくなり、符号化及び復号化過程で送信されるビットレートが少なくなり、ビデオ画像の符号化及び復号化効率を向上させることができる。
【0043】
このように現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値を取得してから、現在のブロックの第一画像コンポーネントの参照値に基づいて、プリセット処理モードで第一画像コンポーネントに対して処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、現在のブロックの第一画像コンポーネントの処理値を取得することができる。現在のブロックの第二画像コンポーネントの参照値に基づいて、プリセット処理モードで第一画像コンポーネントに対して処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、現在のブロックの第一画像コンポーネントの処理値を取得することもできる。現在のブロックの第一画像コンポーネントの参照値及び現在のブロックの第二画像コンポーネントの参照値に基づいて、プリセット処理モードで第一画像コンポーネントを処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取って、現在のブロックの第一画像コンポーネントの処理値を取得することができる。現在のブロックの第一画像コンポーネントの処理値に基づいて、予測モデルによって予測された第二画像コンポーネントの予測値は真の値さらに近い。予測モデルは、第一画像コンポーネントによって第二画像コンポーネントを予測するクロスコンポーネント予測を達成することができる。
【0044】
さらに、各画像コンポーネントは異なる解像度を有するので、予測モデルを便利に構築するために、画像コンポーネントの解像度を調整する(画像コンポーネントに対してアップサンプリングするか、又は画像コンポーネントに対してダウンサンプリングすることを含む)ことを必要として、従って目標解像度に達する。具体的には、プリセット処理モードを使用して、第一画像コンポーネントに対して第一処理を実行することと解像度を調整することはカスケードすることができる。プリセット処理モードを使用して、第一画像コンポーネントに対して第一処理を実行することと解像度を調整することは連合処理することもできる。以下、別々に説明する。
【0045】
選択的には、いくつかの実施形態において、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得する前に、前記方法はさらに以下の内容を含む。
【0046】
現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、第一画像コンポーネントの解像度を調整する。解像度を調整することは、アップサンプリング又はダウンサンプリングが含まれる。
【0047】
調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの参照値を更新する。調整された第一画像コンポーネントの解像度と第二画像コンポーネントの解像度は同じである。
【0048】
解像度の調整、即ち解像度マッピングは、第一画像コンポーネントの解像度を調整された第一画像コンポーネントの解像度にマッピングすることを指すことに留意されたい。ここで、解像度調整又は解像度マッピングは、アップサンプリング又はダウンサンプリングによって達成することができる。
【0049】
プリセット処理モードを使用して第一画像コンポーネントに対して第一処理を実行することと解像度を調整することはカスケードすることができる場合、プリセット処理モードを使用して第一画像コンポーネントに対して第一処理を実行する前に、解像度を調整することができることに留意されたい。即ち、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理する前に、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なると、第一画像コンポーネントの解像度を調整することができ、且つ調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの参照値を更新する。
【0050】
選択的には、いくつかの実施形態において、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得した後、前記方法はさらに以下の内容を含む。
【0051】
現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、第一画像コンポーネントの解像度を調整する。解像度を調整することは、アップサンプリング又はダウンサンプリングが含まれる。
【0052】
調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの処理値を更新する。調整された第一画像コンポーネントの解像度と第二画像コンポーネントの解像度は同じである。
【0053】
プリセット処理モードを使用して第一画像コンポーネントに対して第一処理を実行することと解像度を調整することはカスケードすることができる場合、プリセット処理モードを使用して第一画像コンポーネントに対して第一処理を実行した後に、解像度を調整することができることに留意されたい。即ち、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理した後、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なると、第一画像コンポーネントの解像度を調整することができ、且つ調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの処理値を更新する。
【0054】
選択的には、いくつかの実施形態において、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得することは、以下の内容を含む。
【0055】
現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値に基づいて、第一画像コンポーネントに対して第二処理を行う。第二処理は、アップサンプリング及びプリセット処理モードの関連処理、又はダウンサンプリング及びプリセット処理モードの関連処理を含む。
【0056】
第二処理結果に基づいて、現在のブロックの第一画像コンポーネントの処理値を取得する。処理された現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度は同じである。
【0057】
プリセット処理モードを使用して、第一画像コンポーネントに対して第一処理を実行することと解像度を調整することは連合処理することができる場合、第一処理と解像度調整の両方が実行された後、現在のブロックの第一画像コンポーネントの処理値を取得することができる。即ち、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値に基づいて、第一画像コンポーネントに対して第二処理を行う。第二処理は、第一処理と解像度調整の2つの処理方法を統合している。第二処理は、アップサンプリング及びプリセット処理モードの関連処理、又はダウンサンプリング及びプリセット処理モードの関連処理などを含む。このように、第二処理の結果に基づいて、現在のブロックの第一画像コンポーネントの処理値を取得することができ、処理された現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度は同じである。
【0058】
例示的に、依然として予測モデルは輝度コンポーネントを介して彩度コンポーネントを予測することであると仮定すると、予測しようとする画像コンポーネントは彩度コンポーネントであり、使用しようとする画像コンポーネントは輝度コンポーネントである。輝度コンポーネントと彩度コンポーネントの解像度が異なるので、彩度コンポーネントの目標解像度を取得した後、輝度コンポーネントの解像度は目標解像度と一致しないので、輝度コンポーネントの解像度を調整することを必要とする。例えば、輝度コンポーネントに対してダウンサンプリングを実行して、調整された輝度コンポーネントの解像度が目標解像度と一致するようにする。逆に、彩度コンポーネントを介して輝度コンポーネントを予測する場合、輝度コンポーネントの目標解像度を取得した後、彩度コンポーネントの解像度は目標解像度と一致しないので、彩度コンポーネントの解像度を調整することを必要とする。例えば、彩度コンポーネントに対してアップサンプリングを実行して、調整された彩度コンポーネントの解像度が目標解像度と一致するようにする。青彩度コンポーネントを介して赤彩度コンポーネントを予測する場合、赤彩度コンポーネントの目標解像度を取得した後、青彩度コンポーネントの解像度は目標解像度と一致するので、青彩度コンポーネントの解像度を調整しなくてもよく、青彩度コンポーネントの解像度は既に目標解像度と一致する。このように、後に同じ解像度で画像コンポーネントの予測を実行することができる。
【0059】
さらに、前処理された少なくとも1つの画像コンポーネントを取得した後、予測モデルを構築するために、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルのモデルパラメータを確定することを必要とする。いくつかの実施形態において、S403、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築することは、以下の内容を含む。
【0060】
第一画像コンポーネントの処理値及び第二画像コンポーネントの参照値に応じて予測モデルのモデルパラメータを確定する。
【0061】
モデルパラメータに基づいて、予測モデルを構築する。
【0062】
本出願の実施形態において、予測モデルは線形モデルであることができ、例えば、CCLM予測などのクロスコンポーネント予測技術であることができる。予測モデルは、非線形モデルであることもでき、例えば、マルチモデルCCLM(Multiple Model CCLM,MMLM)予測などのクロスコンポーネント予測技術であり、複数の線形モデルからなる。本出願の実施形態は、予測モデルが線形モデルであることを例として説明するが、本出願の実施形態に係わる予測方法は非線形モデルにも適用できる。
【0063】
具体的には、モデルパラメータは、
を含む。
は、最小二乗法で構築されたプリセットファクター計算モデル(preset factor calculation model)、最大値と最小値で構築されたプリセットファクター計算モデル、又は他の方式で構築されたプリセットファクター計算モデルなどの様々な方法で計算することができ、本出願の実施形態は具体的に限定しない。
【0064】
式(1)に示されたように、最小二乗法で構築されたプリセットファクター計算モデルを例とすると、現在のブロックの周囲の隣接参照サンプル値(例えば、第一画像コンポーネント隣接参照値及び第二画像コンポーネント隣接参照値であり、第一画像コンポーネント隣接参照値及び第二画像コンポーネント隣接参照値は前処理後に取得される)の最小化回帰エラーによってモデルパラメータを導出することができる。
【数1】
【0065】
は、ダウンサンプリングされた現在のブロックの左側辺及び上側辺に対応する第一画像コンポーネント隣接参照値を示し、
は、現在のブロックの左側辺及び上側辺に対応する第二画像コンポーネント隣接参照値を示し、Nは、第二画像コンポーネントの現在のブロックの辺の長さを示し、
であり、式(1)によって計算して
を取得することができる。
【0066】
最大値と最小値で構築されたプリセットファクター計算モデルを例とすると、簡略化されたモデルパラメータの導出方法を提供する。具体的には、式(2)に示されたプリセット係数計算モデルのように、最大の第一画像コンポーネント隣接参照値及び最小の第一画像コンポーネント隣接参照値を検索してから、2つのポイントで1つの線を確定する原則に基づいて、モデルパラメータを導出することができる。
【数2】
【0067】
は、ダウンサンプリングされた現在のブロックの左側辺及び上側辺に対応する第一画像コンポーネント隣接参照値から検索された最大値及び最小値を示し、
に対応する位置にある参照サンプルに対応する第二画像コンポーネント隣接参照値を示す。
に基づいて、式(2)の計算によって、
を取得することもできる。
【0068】
を取得した後、予測モデルを構築することができる。具体的には、
に基づいて、第一画像コンポーネントを介して第二画像コンポーネントを予測すると仮定すると、構築された予測モデルは式(3)に示されている。
【数3】
【0069】
は現在のブロック内のサンプルの位置座標を示し、
は水平方向を表し、
は垂直方向を表し、
は、現在のブロックにおける位置座標が
であるサンプルに対応する第二画像コンポーネントの予測値を表し、
は、同じ現在のブロック(ダウンサンプリングされた)における位置座標が
であるサンプルに対応する第一画像コンポーネントの再構成された値を表す。
【0070】
いくつかの実施形態において、S403で予測モデルを構築した後、前記方法は、さらに以下の内容を含むことができる。
【0071】
予測モデルに基づいて、現在のブロックの第二画像コンポーネントに対してクロスコンポーネント予測を実行して、現在のブロックの第二画像コンポーネントの予測値を取得する。
【0072】
なお、式(3)に示された予測モデルに基づいて、輝度コンポーネントを使用して彩度コンポーネントを予測して、彩度コンポーネントの予測値を取得することができる。
【0073】
具体的には、現在のブロックに対して、予測モデルを構築した後、予測モデルに応じて画像コンポーネントの予測を実行することができる。一例では、第一画像コンポーネントを使用して第二画像コンポーネントを予測することができ、例えば、輝度コンポーネントを使用して彩度コンポーネントを予測することにより、彩度コンポーネントの予測値を取得することができる。別の例では、第二画像コンポーネントを使用して第一画像コンポーネントを予測することができ、例えば、彩度コンポーネントを使用して輝度コンポーネントを予測することにより、輝度コンポーネントの予測値を取得することができる。さらに別の例では、第二画像コンポーネントを使用して第三画像コンポーネントを予測することもでき、例えば、青彩度コンポーネントを使用して赤彩度コンポーネントを予測することにより、赤彩度コンポーネントの予測値を取得することができる。本出願の実施形態において、予測モデルを構築する前に、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理を行うことにより、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取り、それから処理された画像コンポーネントを使用して予測モデルを構築し、従って予測効率を向上させることができる。
【0074】
本出願の実施形態によって提供される画像予測方法は、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定することと、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得することと、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築することと、を含む。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることにより、予測効率を向上させる。予測モデルによって予測された画像コンポーネントの予測値は真の値に近いので、画像コンポーネントの予測残差は小さくなり、符号化及び復号化過程で送信されるビットレートが少なく、ビデオ画像の符号化及び復号化効率を向上させることができる。
【0075】
図2又は図3に示されたアプリケーションシナリオの例に基づいて、図5を参照してください、図5は、本出願の別の実施形態に係わる画像予測方法のフローチャートである。この方法には以下の内容を含むことができる。
【0076】
S501、画像内の現在のブロックの第一画像コンポーネントの参照値を確定し、現在のブロックの第一画像コンポーネントの参照値は、現在のブロックの隣接するサンプルの第一画像コンポーネント値である。
【0077】
S502、現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得する。
【0078】
S503、フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを計算し、予測モデルは、現在のブロックの第一画像コンポーネント値を現在のブロックの第二画像コンポーネント値にマッピングするために用いられ、第二画像コンポーネントと第一画像コンポーネントは異なる。
【0079】
ビデオ画像は複数の画像ブロックに分割されることができ、現在符号化しようとする各画像ブロックは、コーディングブロックと呼ぶことができることに留意されたい。各コーディングブロックは、第一画像コンポーネント、第二画像コンポーネント及び第三画像コンポーネントを含むことができる。現在のブロックは、ビデオ画像において、現在第一画像コンポーネント、第二画像コンポーネント又は第三画像コンポーネントの予測を実行しようとするコーディングブロックである。
【0080】
本出願の実施形態に係わる画像予測方法は、ビデオエンコーディングシステム又はビデオデコーディングシステムに適用することができ、又はビデオエンコーディングシステム及びビデオデコーディングシステムの両方に同時に適用することができ、本出願の実施形態はこれに対して限定しないことにも留意されたい。
【0081】
本出願の実施形態において、先ず、画像内の現在のブロックの第一画像コンポーネントの参照値を確定する。現在のブロックの第一画像コンポーネントの参照値は、現在のブロックの隣接するサンプルの第一画像コンポーネント値である。次に、現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得する。次に、フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを計算する。予測モデルは、現在のブロックの第一画像コンポーネント値を現在のブロックの第二画像コンポーネント値にマッピングするために用いられ、第二画像コンポーネントと第一画像コンポーネントは異なる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、少なくとも1つの画像コンポーネントに対してフィルタリングして、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることにより、予測効率を向上させることができ、ビデオ画像の符号化及び復号化効率を向上させることもできる。
【0082】
さらに、いくつかの実施形態において、S503について、フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを計算することは、
画像の少なくとも1つの画像コンポーネント又は現在のブロックの少なくとも1つの画像コンポーネントに対して特性統計を実行することと、少なくとも1つの画像コンポーネントは第一画像コンポーネント及び/又は第二画像コンポーネンを含み、
特性統計の結果に基づいて、現在のブロックの第二画像コンポーネントの参照値を取得することと、現在のブロックの第二画像コンポーネントの参照値は、現在のブロックの隣接するサンプルの第二画像コンポーネント値であり、
フィルタリングされた参照値及び現在のブロックの第二画像コンポーネントの参照値を使用して、予測モデルのモデルパラメータを計算することと、
を含む。
【0083】
異なる画像コンポーネントは異なる統計特性を有し、各画像コンポーネントの統計特性に相違点が存在する。例えば、輝度コンポーネントは豊富なテクスチャ特性を持っているが、彩度コンポーネントはより均一で平坦である傾向がある。本出願の実施形態は、各画像コンポーネントの統計特性の相違点を考慮することにより、各画像コンポーネントの統計特性のバランスを取る目的に達することができる。
【0084】
各画像コンポーネントの統計特性の相違点を考慮した後、現在のブロックの第二画像コンポーネントの参照値を取得する。それからフィルタリングされた参照値及び現在のブロックの第二画像コンポーネントの参照値に基づいて予測モデルのモデルパラメータを計算し、計算して得られたモデルパラメータに応じて予測モデルを構築する。予測モデルによって予測された画像コンポーネントの予測値は真の値に近いので、画像コンポーネントの予測残差は小さく、符号化及び復号化過程で送信されるビットレートが少なく、ビデオ画像の符号化及び復号化効率を向上させることができる。
【0085】
さらに、いくつかの実施形態において、S502について、現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することは、
画像の第二画像コンポーネントの解像度と画像の第一画像コンポーネントの解像度が異なる場合、現在のブロックの第一画像コンポーネントの参照値に対して第一調整処理を行って、現在のブロックの第一画像コンポーネントの参照値を更新することと、
現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することと、
を含み、
第一調整処理は、ダウンサンプリングフィルタリング又はアップサンプリングフィルタリングのうちの1つを含む。
【0086】
いくつかの実施形態において、この方法はさらに以下の内容を含む。
【0087】
現在のブロックの第一画像コンポーネントの参照値に基づいて、プリセット処理モードで参照値をフィルタリングする。プリセット処理モードは、フィルタリング、グループ化、値修正、量子化、非量子化、ローパスフィルタリング、適応フィルタリング(adaptive filtering)のうちの少なくとも1つを含む。
【0088】
いくつかの実施形態において、S502について、現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することは、
画像の第二画像コンポーネントの解像度と画像の第一画像コンポーネントの解像度が異なる場合、現在のブロックの第二画像コンポーネントの参照値に対して第二調整処理を行って、現在のブロックの第二画像コンポーネントの参照値を更新することを含み、第二調整処理は、ダウンサンプリング及び平滑化フィルタリング、又はアップサンプリング及び平滑化フィルタリングを含む。
【0089】
各画像コンポーネントは異なる解像度を有するので、予測モデルを便利に構築するために、画像コンポーネントの解像度を調整する(画像コンポーネントに対してアップサンプリングするか、又は画像コンポーネントのダウンサンプリングすることを含む)ことを必要として、従って目標解像度に達する。具体的には、解像度の調整、即ち解像度マッピングは、第一画像コンポーネントの解像度を調整された第一画像コンポーネントの解像度にマッピングすることを指す。ここで、解像度調整又は解像度マッピングは、アップサンプリング又はダウンサンプリングによって達成することができる。
【0090】
第一画像コンポーネントに対してフィルタリング処理を実行することと解像度を調整することはカスケードすることができる。例えば、第一画像コンポーネントに対してフィルタリング処理を実行する前に解像度を調整するか、又は、第一画像コンポーネントに対してフィルタリング処理を実行してから解像度を調整する。他の例では、第一画像コンポーネントに対してフィルタリング処理を実行することと解像度を調整する(即ち、第一調整処理)ことは連合処理することもできる。
【0091】
いくつかの実施形態において、S503について、フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを計算することは、
現在のブロックの第二画像コンポーネントの参照値を確定することと、
フィルタリングされた参照値及び現在のブロックの第二画像コンポーネントの参照値を使用して、予測モデルのモデルパラメータを計算することと、
を含み、
現在のブロックの第二画像コンポーネントの参照値は、現在のブロックの隣接するサンプルの第二画像コンポーネント値である。
【0092】
いくつかの実施形態において、前記方法は、S503の後にさらに以下の内容を含む。
【0093】
予測モデルに基づいて、現在のブロックの第一画像コンポーネントの値をマッピングして、現在のブロックの第二画像コンポーネントの予測値を取得する。
【0094】
現在のブロックの第二画像コンポーネントの参照値は、現在のブロックの隣接するサンプルの第二画像コンポーネント値であることに留意されたい。このように、第二画像コンポーネントの参照値を確定した後、フィルタリングされた参照値と確定された第二画像コンポーネントの参照値に基づいて予測モデルのモデルパラメータを計算し、計算して取得したモデルパラメータに基づいて予測モデルを構築し、予測モデルによって予測された画像コンポーネントの予測値は真の値に近いので、画像コンポーネントの予測残差は小さり、符号化及び復号化過程で送信されるビットレートが少なく、ビデオ画像の符号化及び復号化効率を向上させることができる。
【0095】
図6は、本出願の実施形態に係わる改良されたクロスコンポーネント予測アーキテクチャの構造を示す図である。図6に示されたように、図1に示された従来のクロスコンポーネント予測アーキテクチャ10に基づいて、改良されたクロスコンポーネント予測アーキテクチャ60は、処理ユニット610をさらに含む。処理ユニット610は、クロスコンポーネント予測ユニット160の前で少なくとも1つの画像コンポーネントに対して関連する処理を実行するために用いられる。処理ユニット610は、解像度調整ユニット120の前に位置することができ、解像度調整ユニット120の後に位置することもできる。図6に示されたように、処理ユニット610は解像度調整ユニット120の後に位置する。Yコンポーネントに対してフィルタリング、グループ化、値修正、量子化及び逆量子化などの関連する処理を実行することにより、より正確な予測モデルを構築することができ、予測によって得られたUコンポーネントの予測値は、真の値にさらに近い。
【0096】
図6に示された改良されたクロスコンポーネント予測アーキテクチャ60に基づいて、Yコンポーネントを介してUコンポーネントを予測すると仮定すると、現在のブロックのYコンポーネント110と現在のブロックのUコンポーネント140の解像度が異なるので、解像度調整ユニット120によってYコンポーネントの解像度を調整して、現在のブロックのUコンポーネント140と同じ解像度を有する現在のブロックのYコンポーネント130を取得することを必要とする。この前に、処理ユニット610によってYコンポーネント対して関連する処理を実行して、現在のブロックのYコンポーネント130を取得することができる。次に、現在のブロックのYコンポーネント130の隣接する参照値
及び現在のブロックのUコンポーネント140の隣接する参照値
を使用して、予測モデル150を構築することができる。現在のブロックのYコンポーネント130のYコンポーネント再構成されたサンプル値及び予測モデル150に基づいて、クロスコンポーネント予測ユニット160は画像コンポーネント予測を実行して、Uコンポーネントの予測値を取得することができる。クロスコンポーネント予測の前にYコンポーネントに対して関連する処理を実行し、処理された輝度コンポーネントに基づいて予測モデル150を構築し、予測モデル150によって予測されたUコンポーネントの予測値は真の値に近いので、予測効率を向上させることができ、ビデオ画像の符号化及び復号化効率を向上させることもできる。
【0097】
本出願の実施形態において、解像度調整ユニット120及び処理ユニット610は、画像コンポーネントに対してカスケード処理を実行する(例えば、解像度調整ユニット120によって解像度調整を実行してから処理ユニット610によって関連する処理を実行するか、又は処理ユニット610によって関連する処理を実行してから解像度調整ユニット120によって解像度調整を実行する)ことができ、又は画像コンポーネントに対して連合処理する(解像度調整ユニット120と処理ユニット610を組み合わせて処理を行う)こともできる。図7は、本出願の別の実施形態に係わる改良されたクロスコンポーネント予測アーキテクチャの構造を示す図である。図6に示された改良されたクロスコンポーネント予測アーキテクチャ60に基づいて、図7に示された改良されたクロスコンポーネント予測アーキテクチャは、さらにコンビネーションユニット710を含むが、解像度調整ユニット120及び処理ユニット610は省略されている。換言すると、コンビネーションユニット710は、解像度調整ユニット120と処理ユニット610の両方の機能を有し、少なくとも1つの画像コンポーネントに対して解像度調整を実行することができるだけではなく、少なくとも1つの画像コンポーネントに対して関連する処理を実行することもでき、例えば、フィルタリング、グループ化、値修正、量子化及び逆量子化などである。このようにして、より正確な予測モデル150を構築することもでき、予測モデル150によって予測されたUコンポーネントの予測値は実際値にさらに近く、予測効率を向上させることができ、ビデオ画像の符号化及び復号化効率を向上させることもできる。
【0098】
さらに、本出願の実施形態において、画像予測方法がエンコーダに適用される場合、現在のブロックの予測しようとする画像コンポーネントの参照値及び現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルのモデルパラメータを計算して取得することができる。それから計算して取得したモデルパラメータをビットストリームに書き込む。ビットストリームはエンコーダからデコーダに送信される。画像予測方法がデコーダに適用される場合、ビットストリームを解析することにより、予測モデルのモデルパラメータを取得することができ、従って予測モデルを構築し、予測モデルを使用して現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する。
【0099】
本出願の実施形態によって提供される画像予測方法は、画像内の現在のブロックの第一画像コンポーネントの参照値を確定することと、現在のブロックの第一画像コンポーネントの参照値をフィルタリングして、フィルタリングされた参照値を取得することと、フィルタリングされた参照値を利用して、予測モデルのモデルパラメータを計算することと、を含む。現在のブロックの第一画像コンポーネントの参照値は、現在のブロックの隣接するサンプルの第一画像コンポーネント値である。予測モデルは、現在のブロックの第一画像コンポーネント値を現在のブロックの第二画像コンポーネント値にマッピングするために用いられ、第二画像コンポーネントと第一画像コンポーネントは異なる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることにより、予測効率を向上させる。予測モデルによって予測された画像コンポーネントの予測値は真の値に近いので、画像コンポーネントの予測残差は小さく、符号化及び復号化過程で送信されるビットレートが少なく、ビデオ画像の符号化及び復号化効率を向上させることができる。
【0100】
前述の実施形態と同じ発明概念に基づいて、図8を参照すると、図8は、本出願の実施形態に係わるエンコーダの構造を示す図である。エンコーダ80は、第一確定ユニット801、第一処理ユニット802及び第一構築ユニット803を含む。
【0101】
第一確定ユニット801は、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定するために用いられる。
【0102】
第一処理ユニット802は、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得するために用いられる。
【0103】
第一構築ユニット803は、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築するために用いられる。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0104】
上述した技術方案において、図8に示されるように、エンコーダ80は、第一統計ユニット804及び第一取得ユニット805をさらに含むことができる。
【0105】
第一統計ユニット804は、現在のブロックの少なくとも1つの画像コンポーネントに対して特性統計を実行するために用いられる。少なくとも1つの画像コンポーネントは第一画像コンポーネント及び/又は第二画像コンポーネンを含む。
【0106】
第一取得ユニット805は、特性統計の結果に基づいて、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値を取得するために用いられる。第一画像コンポーネントは、予測モデルを構築するときに予測に使用されるコンポーネントであり、第二画像コンポーネントは、予測モデルを構築するときに予測されるコンポーネントである。
【0107】
上述した技術方案において、第一処理ユニット802は、さらに、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値に基づいて、プリセット処理モードで第一画像コンポーネントに対して第一処理を行うために用いられる。プリセット処理モードは、フィルタリング、グループ化、値修正、量子化、または非量子化のうちの少なくとも1つを含む。
【0108】
第一取得ユニット805は、さらに、第一処理結果に基づいて現在のブロックの第一画像コンポーネントの処理値を取得するために用いられる。
【0109】
上述した技術方案において、図8に示されたように、エンコーダ80は、第一調整ユニット806及び第一更新ユニット807をさらに含むことができる。
【0110】
第一調整ユニット806は、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、第一画像コンポーネントの解像度を調整するために用いられる。解像度を調整することは、アップサンプリング又はダウンサンプリングが含まれる。
【0111】
第一更新ユニット807は、調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの参照値を更新するために用いられる。調整された第一画像コンポーネントの解像度と第二画像コンポーネントの解像度は同じである。
【0112】
上述した技術方案において、第一調整ユニット806は、さらに、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、第一画像コンポーネントの解像度を調整するために用いられる。解像度を調整することは、アップサンプリング又はダウンサンプリングが含まれる。
【0113】
第一更新ユニット807は、さらに、調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの処理値を更新するために用いられる。調整された第一画像コンポーネントの解像度と第二画像コンポーネントの解像度は同じである。
【0114】
上述した技術方案において、第一調整ユニット806は、さらに、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値に基づいて、第一画像コンポーネントに対して第二処理を行うために用いられる。第二処理は、アップサンプリング及びプリセット処理モードの関連処理、又はダウンサンプリング及びプリセット処理モードの関連処理を含む。
【0115】
第一取得ユニット805は、さらに、第二処理結果に基づいて、現在のブロックの第一画像コンポーネントの処理値を取得するために用いられる。処理された現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度は同じである。
【0116】
上述した技術方案において、第一確定ユニット801は、さらに、第一画像コンポーネントの処理値及び第二画像コンポーネントの参照値に応じて予測モデルのモデルパラメータを確定するために用いられる。
【0117】
第一構築ユニット803は、モデルパラメータに基づいて、予測モデルを構築するために用いられる。
【0118】
上述した技術方案において、図8に示されたように、エンコーダ80は、第一予測ユニット808をさらに含むことができる。第一予測ユニット808は、予測モデルに基づいて、現在のブロックの第二画像コンポーネントに対してクロスコンポーネント予測を実行して、現在のブロックの第二画像コンポーネントの予測値を取得するために用いられる。
【0119】
本出願の実施形態において、「ユニット」は、回路の一部、プロセッサの一部、プログラムの一部又はソフトウェアなどであることができ、モジュールであってもなくてもよいことが理解され得る。さらに、本出願の実施形態の様々なコンポーネントは、1つの処理ユニットに統合され得るか、又は各ユニットが単独に物理的に存在し得るか、又は2つ以上のユニットが1つのユニットに統合され得る。上記の統合ユニットは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。
【0120】
集積ユニットは、ソフトウェアの機能ユニットとして実現され、且つ独立の製品として販売又は使用される場合、コンピュータ可読記録媒体に記憶されてもよい。この理解によれば、本出願の技術方案について、本質的な部分、又は従来技術に貢献できた部分、又は該技術方案の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、1つのコンピュータ(パソコン、サーバー、又はネットワークデバイスなどであってもよい)又はプロセッサに本実施例に係る方法の全部又は一部の過程を実行するための複数のコマンドが含まれている。前記記憶媒体は、USB(ユニバーサルシリアルバス)フラッシュディスク、モバイルハードディスク、読み出し専用メモリ(Read-Only Memory,ROM)、ランダムアクセスメモリ(Random Access Memory,RAM)、磁気ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含む。
【0121】
本出願の実施形態は、さらにコンピュータ記憶媒体を提供する。コンピュータ記憶媒体には、画像予測プログラムを格納されている。画像予測プログラムが少なくとも1つのプロセッサによって実行されると、上述した実施形態に係わる方法のステップを実現する。
【0122】
エンコーダ80の構成及びコンピュータ記憶媒体に基づいて、図9を参照すると、図9は、本出願の実施形態に係わるエンコーダの具体的なハードウェアの構造を示す図である。エンコーダ80は、第一通信インターフェース901、第一メモリ902及び第一プロセッサ903を含むことができる。様々な構成要素は第一バスシステム904を介して一緒に結合される。第一バスシステム904は、これらのコンポーネント間の接続と通信を実現するために用いられる。第一バスシステム904は、データバスに加えて、さらに電力バス、制御バス及び状態信号バスを含む。説明を明確にするために、図9に示されたように、様々なバスは、第一バスシステム904としてマークされている。
【0123】
第一通信インターフェース901は、他の外部ネットワーク要素と情報を送受信しながら信号を送受信するために用いられる。
【0124】
第一メモリ902は、第一プロセッサ903によって実行可能なコンピュータプログラムを格納するために用いられる。
【0125】
コンピュータプログラムが第一プロセッサ903によって実行されると、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定し、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得し、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築する。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0126】
本出願の実施形態の第一メモリ902は、揮発性メモリ又は不揮発性メモリであることができるか、又は揮発性メモリ及び不揮発性メモリの両方を含むことができる。不揮発性メモリは、読み取り専用メモリ(Read-Only Memory,ROM)、プログラム可能な読み取り専用メモリ(Programmable Read-Only Memory,PROM)、消去可能なプログラム可能な読み取り専用メモリ(Erasable Programmable Read-Only Memory,EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(Electrically Erasable Programmable Read-Only Memory,EEPROM)、フラッシュメモリ(Flash Memory)であることができる。揮発性メモリは、外部高速キャッシュとして機能するランダムアクセスメモリ(Random Access Memory,RAM)であることができる。例示的であるが限定的ではない例として、多い形式のRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(Static Random Access Memory,SRAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory,DRAM)、同期ダイナミックランダムアクセスメモリ(Synchronous Dynamic Random Access Memory,SDRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(Double Data Rate Synchronous Dynamic Random Access Memory,DDRSDRAM)、強化された同期ダイナミックランダムアクセスメモリ(Enhanced Synchronous Dynamic Random Access Memory,ESDRAM)、同期接続ダイナミックランダムアクセスメモリ(Synch-link Dynamic Random Access Memory,SLDRAM)、ダイレクトランバスランダムアクセスメモリ(Direct Rambus Random Access Memory,DRRAM)である。本明細書に記載されたシステム及び方法の第一メモリ902は、これら及び他の任意の適切なタイプのメモリを含むことができるが、これらに限定されない。
【0127】
第一プロセッサ903は、信号処理能力を有する集積回路チップであることができる。実施過程において、上述した方法実施例の各ステップは、第一プロセッサ903のハードウェア形態の集積論理回路(integrated logic circuit)又はソフトウェア形態の命令によって完成することができる。上述した第一プロセッサ903は、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor,DSP)、特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array,FPGA)又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであることができる。第一プロセッサは、本出願の実施例で開示された方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであることができる。本出願の実施例で開示された方法のステップは、直接にハードウェア復号化プロセッサによって実行及び完成することができるか、又は復号化プロセッサにおけるハードウェア及びソフトウェアモジュールの組合せによって実行及び完成することができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、又は電気的に消去可能なプログラム可能なメモリ、レジスタなど本技術分野の成熟した記憶媒体内にあることができる。記憶媒体は、第一メモリ902内にある。第一プロセッサ903は、第一メモリ902内の情報を読み取り、プロセッサのハードウェアとともに上述したの方法のステップを完成する。
【0128】
本明細書に記載された実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はその組合によって実現できることが理解され得る。ハードウェアによって実現する場合、処理ユニットは、1つ又は複数の特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、デジタル信号処理(Digital Signal Processor,DSP)、DSPデバイス(DSP Device)、プログラマブルロジックデバイス(Programmable Logic Device,PLD)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array,FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本出願の前記機能を実行するためのその他の電子ユニット又はその組合で実現することができる。ソフトウェアによって実現する場合、本明細書に記載された技術は、本明細書に記載された機能を実行するためのモジュール(例えば、手順、関数(functions)など)によって実現することができる。ソフトウェアコードはメモリに格納され且つプロセッサで実行される。メモリは、プロセッサ内又はプロセッサの外部で実現することができる。
【0129】
選択的に、別の実施形態として、第一プロセッサ903は、コンピュータプログラムを実行するとき、前記実施形態に記載されたいずれか1つの方法を実行するために用いられる。
【0130】
本出願の実施形態はエンコーダを提供する。エンコーダは、第一確定ユニット、第一処理ユニット及び第一構築ユニットを含む。第一確定ユニットは、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定するために用いられる。第一処理ユニットは、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得するために用いられる。第一構築ユニットは、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築するために用いられ、予測モデルは現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることにより、予測効率を向上させることができ、ビデオ画像の符号化及び復号化効率を向上させることもできる。
【0131】
前述の実施形態と同じ発明概念に基づいて、図10を参照すると、図10は、本出願の実施形態に係わるデコーダの構造を示す図である。デコーダ100は、第二確定ユニット1001、第二処理ユニット1002及び第二構築ユニット1003を含む。
【0132】
第二確定ユニット1001は、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定するために用いられる。
【0133】
第二処理ユニット1002は、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得するために用いられる。
【0134】
第二構築ユニット1003は、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築するために用いられ、予測モデルは現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0135】
上述した技術方案において、図10に示されたように、デコーダ100は、さらに第二統計ユニット1004及び第二取得ユニット1005を含むことができる。
【0136】
第二統計ユニット1004は、現在のブロックの少なくとも1つの画像コンポーネントに対して特性統計を実行するために用いられ、少なくとも1つの画像コンポーネントは第一画像コンポーネント及び/又は第二画像コンポーネンを含む。
【0137】
第二取得ユニット1005は、特性統計の結果に基づいて、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値を取得するために用いられる。第一画像コンポーネントは、予測モデルを構築するときに予測に使用されるコンポーネントであり、第二画像コンポーネントは、予測モデルを構築するときに予測されるコンポーネントである。
【0138】
上述した技術方案において、第二処理ユニット1002は、さらに、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値に基づいて、プリセット処理モードで第一画像コンポーネントに対して第一処理を行うために用いられ、プリセット処理モードは、フィルタリング、グループ化、値修正、量子化及び非量子化のうちの少なくとも1つを含む。
【0139】
第二取得ユニット1005は、さらに、第一処理結果に基づいて現在のブロックの第一画像コンポーネントの処理値を取得するために用いられる。
【0140】
上述した技術方案において、デコーダ100は、第二調整ユニット1006及び第二更新ユニット1007をさらに含む。
【0141】
第二調整ユニット1006は、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、第一画像コンポーネントの解像度を調整するために用いられる。解像度を調整することは、アップサンプリング又はダウンサンプリングが含まれる。
【0142】
第二更新ユニット1007は、調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの参照値を更新するために用いられる。調整された第一画像コンポーネントの解像度と第二画像コンポーネントの解像度は同じである。
【0143】
上述した技術方案において、第二調整ユニット1006は、さらに、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、第一画像コンポーネントの解像度を調整するために用いられる。解像度を調整することは、アップサンプリング又はダウンサンプリングが含まれる。
【0144】
第二更新ユニット1007は、さらに、調整された第一画像コンポーネントの解像度に基づいて、現在のブロックの第一画像コンポーネントの処理値を更新するために用いられる。調整された第一画像コンポーネントの解像度と第二画像コンポーネントの解像度は同じである。
【0145】
上述した技術方案において、第二調整ユニット1006は、さらに、現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度が異なる場合、現在のブロックの第一画像コンポーネントの参照値及び/又は現在のブロックの第二画像コンポーネントの参照値に基づいて、第一画像コンポーネントに対して第二処理を行うために用いられる。第二処理は、アップサンプリング及びプリセット処理モードの関連処理、又はダウンサンプリング及びプリセット処理モードの関連処理を含む。
【0146】
第二取得ユニット1005は、さらに、第二処理結果に基づいて、現在のブロックの第一画像コンポーネントの処理値を取得するために用いられる。処理された現在のブロックの第一画像コンポーネントの解像度と現在のブロックの第二画像コンポーネントの解像度は同じである。
【0147】
上述した技術方案において、第二構築ユニット1003は、ビットストリームを解析し、解析によって取得されたモデルパラメータに応じて、予測モデルを構築するために用いられる。
【0148】
上述した技術方案において、図10に示されたように、第二予測ユニット1008をさらに含む。第二予測ユニット1008は、予測モデルに基づいて、現在のブロックの第二画像コンポーネントに対してクロスコンポーネント予測を実行して、現在のブロックの第二画像コンポーネントの予測値を取得するために用いられる。
【0149】
本出願の実施形態において、「ユニット」は、回路の一部、プロセッサの一部、プログラムの一部又はソフトウェアなどであることができ、モジュールであってもなくてもよいことが理解され得る。さらに、本出願の実施形態の様々なコンポーネントは、1つの処理ユニットに統合され得るか、又は各ユニットが単独に物理的に存在し得るか、又は2つ以上のユニットが1つのユニットに統合され得る。上記の統合ユニットは、ハードウェア又はソフトウェア機能ユニットの形式で実現することができる。
【0150】
集積ユニットは、ソフトウェアの機能ユニットとして実現され、且つ独立の製品として販売又は使用される場合、コンピュータ可読記録媒体に記憶されてもよい。この理解によれば、本実施形態はコンピュータ記憶媒体を提供する。コンピュータ記憶媒体には、画像予測プログラムを格納されている。画像予測プログラムが第二プロセッサによって実行されると、上述した実施形態に記載されたいかなる1つの方法を実現する。
【0151】
デコーダ100の構成及びコンピュータ記憶媒体に基づいて、図11を参照すると、図11は、本出願の実施形態に係わるデコーダ100の具体的なハードウェアの構造を示す図である。デコーダ100は、第二通信インターフェース1101、第二メモリ1102及び第二プロセッサ1103を含むことができる。様々な構成要素は第二バスシステム1104を介して一緒に結合される。第二バスシステム1104は、これらのコンポーネント間の接続と通信を実現するために用いられる。第二バスシステム1104は、データバスに加えて、さらに電力バス、制御バス及び状態信号バスを含む。説明を明確にするために、図11に示されたように、様々なバスは、第二バスシステム1104としてマークされている。
【0152】
第二通信インターフェース1101は、他の外部ネットワーク要素と情報を送受信しながら信号を送受信するために用いられる。
【0153】
第二メモリ1102は、第二プロセッサ1103によって実行可能なコンピュータプログラムを格納するために用いられる。
【0154】
コンピュータプログラムが第二プロセッサ1103によって実行されると、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定し、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得し、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築する。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。
【0155】
選択的に、別の実施形態において、第二プロセッサ1103は、コンピュータプログラムを実行するとき、前記実施形態に記載されたいずれか1つの方法を実行するために用いられる。
【0156】
第二メモリ1102と第一メモリ902の機能は類似し、第二プロセッサ1103と第一プロセッサ903の機能は類似することを理解できるので、ここでは詳細に説明しない。
【0157】
本出願の実施形態によって提供されるデコーダは、第二確定ユニット、第二処理ユニット及び第二構築ユニットを含む。第二確定ユニットは、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定するために用いられる。第二処理ユニットは、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得するために用いられる。第二構築ユニットは、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築するために用いられ、予測モデルは現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることにより、予測効率を向上させることができ、ビデオ画像の符号化及び復号化効率を向上させることもできる。
【0158】
本明細書において、「備える」、「含む」、又はそれらの変形という用語は、非排他的な包含をカバーすることを意図するので、一連の要素を含むプロセス、方法、オブジェクト又は装置は、リストされた要素だけではなく、リストされていない他の要素を含み、あるいはプロセス、方法、オブジェクト又は装置に固有の他の要素を含むことができる。さらに多い制限がない場合、「…を含む」というステートメントによって限定された要素を含むプロセス、方法、オブジェクト又は装置に他の同じ要素が存在することを除外しない。
【0159】
上述した実施形態のシーケンス番号は、実施形態の優劣を表すものではなく、ただ説明するために採用される。
【0160】
本出願の幾つかの方法実施例に開示された方法は、衝突がないかぎり、任意に組み合わせて新しい方法実施例を取得することができる。
【0161】
本出願の幾つかの製品実施例に開示された特徴は、衝突がないかぎり、任意に組み合わせて新しい製品実施例を取得することができる。
【0162】
本出願の幾つかの方法又は装置実施例に開示された特徴は、衝突がないかぎり、任意に組み合わせて新しい方法実施例又は装置実施例を取得することができる。
【0163】
上述したのは、ただ本発明の具体的な実施形態であり、本発明の保護範囲はこれに限定されるものではない。当業者であれば、本発明に開示された技術範囲内で変更又は置換を容易に想到しうることであり、全て本出願の範囲内に含まれるべきである。従って本願の保護範囲は特許請求の範囲によって決めるべきである。
【0164】
産業上の利用可能性
【0165】
本出願の実施形態において、先ず、画像内の現在のブロックの少なくとも1つの画像コンポーネントを確定する。次に、現在のブロックの少なくとも1つの画像コンポーネントに対して前処理して、前処理された少なくとも1つの画像コンポーネントを取得する。次に、前処理された少なくとも1つの画像コンポーネントに基づいて、予測モデルを構築する。予測モデルは、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行するために用いられる。このように、現在のブロックの少なくとも1つの画像コンポーネントに対してクロスコンポーネント予測を実行する前に、少なくとも1つの画像コンポーネントに対して前処理して、クロスコンポーネント予測を実行する前に各画像コンポーネントの統計的特性のバランスを取ることにより、予測効率を向上させる。予測モデルによって予測された画像コンポーネントの予測値は真の値に近いので、画像コンポーネントの予測残差は小さく、符号化及び復号化過程で送信されるビットレートが少なく、ビデオ画像の符号化及び復号化効率を向上させることができる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11