【文献】
Chun-Chi Chen et al.,Generalized bi-prediction for inter coding,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH,2016年 5月26日,[JVET-C0047]
(58)【調査した分野】(Int.Cl.,DB名)
前記参照画像は、前記前方符号化ブロックを含む参照画像であり、前記前方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第2の重み付けパラメータを決定するステップは、前記前方符号化ブロックを含む前記参照画像の全画素の輝度値および総画素数に従って、前記前方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第2の重み付けパラメータを決定するステップを含み、
前記参照画像は、前記後方符号化ブロックを含む参照画像であり、前記後方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第3の重み付けパラメータを決定するステップは、前記後方符号化ブロックを含む前記参照画像の全画素の輝度値および総画素数に従って、前記後方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第3の重み付けパラメータを決定するステップを含む、請求項4に記載の方法。
前記参照画像は、前記前方符号化ブロックを含む参照画像であり、前記前方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第2の重み付けパラメータを決定するステップは、最小残差技術により、前記符号化される画像および前記前方符号化ブロックを含む前記参照画像に従って、前記前方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第2の重み付けパラメータを決定するステップを含み、
前記参照画像は、前記後方符号化ブロックを含む参照画像であり、前記後方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第3の重み付けパラメータを決定するステップは、最小残差技術により、前記符号化される画像および前記後方符号化ブロックを含む前記参照画像に従って、前記後方符号化ブロックを含む前記参照画像の前記全体輝度ベースの第3の重み付けパラメータを決定するステップを含む、請求項1に記載の方法。
前記第1の決定モジュールは、符号化されるブロックごとに、動き探索技術によって、符号化されるブロックに対応する前記前方符号化ブロックおよび前記後方符号化ブロックを決定するために特に用いられる、請求項8に記載の装置。
コンピュータ可読記憶媒体であって、コンピュータ上で実行されるとき、前記コンピュータに請求項1から7のいずれか一項に記載の方法のステップを実行させる命令を記憶する、コンピュータ可読記憶媒体。
命令を含むコンピュータプログラムであって、コンピュータ上で実行されるとき、前記コンピュータに請求項1から7のいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。
【発明の概要】
【0005】
本出願の目的は、フレーム間予測符号化の精度を改善する双方向重み付け予測符号化方法および装置を提供することである。
【0006】
上記の目的を達成するために、本出願の実施形態は、以下のステップを含むフレーム間予測符号化方法を開示し、前記方法は、
符号化器によって、符号化されるフレームを符号化される複数のブロックに分割するステップと、
符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップと、
前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップと、
前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定し、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップと、
第1の重み付けパラメータに従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップと、
第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータ、および第4の重み付けパラメータに従って、符号化されるブロックの予測実重み付けパラメータを決定するステップと、
予測実重み付けパラメータによって、符号化されるブロックに対して予測符号化を実行するステップと、
を備える。
【0007】
任意選択的に、符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップは、
符号化されるブロックごとに、動き探索技術によって、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップを含む。
【0008】
任意選択的に、前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップは、
前方符号化ブロックおよび後方符号化ブロックに従って、各予め設定された前方重み付けパラメータに対応する予測ブロックを計算するステップと、
符号化されるブロックと各予測ブロックとの間の残差値を計算するステップと、
第1の重み付けパラメータとして、最小の絶対値を有する残差値に対応する前方重み付けパラメータを決定するステップと、
を含む。
【0009】
任意選択的に、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、
参照画像の全画素の輝度値および総画素数に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含む。
【0010】
任意選択的に、参照画像は、前方符号化ブロックを含む参照画像であり、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、
前方符号化ブロックを含む参照画像の全輝度値および前方符号化ブロックを含む参照画像の総画素数に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含む。
【0011】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、
後方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、全体輝度ベースの第3の重み付けパラメータを決定するステップを含む。
【0012】
任意選択的に、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、
最小残差技術により、符号化される画像および参照画像に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含む。
【0013】
任意選択的に、基準画像は、前方符号化ブロックを含む基準画像であり、前方符号化ブロックを含む基準画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、
最小残差技術により、符号化される画像および前方符号化ブロックを含む参照画像に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含む。
【0014】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、
最小残差技術により、符号化される画像および後方符号化ブロックを含む参照画像に従って、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含む。
【0015】
任意選択的に、第1の重み付けパラメータに従って後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップは、第1の重み付けパラメータおよび次式:
第4の重み付けパラメータ=1−第1の重み付けパラメータ
に従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップを含む。
【0016】
上記目的を達成するために、本出願の実施形態は、フレーム間予測符号化装置を開示し、フレーム間予測符号化装置は、
符号化器によって、符号化されるフレームを、符号化される複数のブロックに分割する分割モジュールと、
符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するための第1の決定モジュールと、
前方符号化ブロックに対応する第1の重み付けパラメータを決定するための第2の決定モジュールと、
前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定し、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するための第3の決定モジュールと、
前記第1の重み付けパラメータに従って前記後方符号化ブロックに対応する第4の重み付けパラメータを決定するための第4の決定モジュールと、
第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータ、および第4の重み付けパラメータに従って、符号化されるブロックの予測実重み付けパラメータを決定するための第5の決定モジュールと、
予測実重み付けパラメータによって符号化されるブロックで予測符号化を実行するための符号化モジュールと、
を備える。
【0017】
任意選択的に、第1の決定モジュールは、
符号化されるブロックごとに、動き探索技術によって符号化されるきブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するために特に使用される。
【0018】
任意選択的に、第2の決定モジュールは、
第1の計算サブモジュール、第2の計算サブモジュール、および決定サブモジュールを備え、
第1の計算サブモジュールは、前方符号化ブロックおよび後方符号化ブロックに従って、各予め設定された前方重み付けパラメータに対応する予測ブロックを計算するために使用され、
第2の計算サブモジュールは、符号化されるブロックと各予測ブロックとの間の残差値を計算するために使用され、決定サブモジュールは、第1の重み付けパラメータとして最小の絶対値を有する残差値に対応する前方重み付けパラメータを決定するために使用される。
【0019】
任意選択的に、第4の決定モジュールは、特に以下のために使用される:
第1の重み付けパラメータおよび次式:
第4の重み付けパラメータ=1−第1の重み付けパラメータ
に従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定する。
【0020】
本出願の別の態様では、プロセッサ、通信インターフェース、メモリ、および通信バスを備える電子機器が提供され、プロセッサ、通信インターフェース、およびメモリは、通信バスを介して互いに通信し、
コンピュータプログラムを記憶するためのメモリが提供され、
プロセッサは、メモリに格納されたプログラムを実行して、上述のフレーム間予測符号化方法のいずれか1つを実行するために提供される。
【0021】
本出願のさらに別の態様では、命令が格納されたコンピュータ可読記憶媒体がさらに提供される。命令がコンピュータ上で実行される場合、コンピュータは、上述のフレーム間予測符号化方法のいずれかを実行する。
【0022】
本出願のさらに別の態様では、本発明の実施形態による命令を含むコンピュータプログラム製品がさらに提供される。命令がコンピュータ上で実行される場合、コンピュータは、上述のフレーム間予測符号化方法のいずれかを実行する。
【0023】
前述の技術的解決策から分かるように、本出願の実施形態は、フレーム間予測符号化方法および装置を提供し、前記方法は、符号化器によって、符号化されるフレームを、符号化される複数のブロックに分割するステップと、符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップと、前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップと、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップと、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップと、第1の重み付けパラメータに従って後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップと、第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータおよび第4の重み付けパラメータに従って符号化されるブロックの予測実重み付けパラメータを決定するステップと、予測実重み付けパラメータによって符号化されるブロックに対して予測符号化を行うステップと、を備える。
【0024】
本出願の実施形態によって提供される技術的解決策によれば、後方符号化ブロックに対応する後方重み付けパラメータは、重み付けパラメータから後方重み付けパラメータを選択することなく、前方符号化ブロックの前方重み付けパラメータによって決定され、それによって、従来技術における重み付けパラメータから後方重み付けパラメータを不合理に選択することから生じる予測符号化の低い精度の課題を回避する。したがって、フレーム間予測符号化の精度が向上する。
【0025】
もちろん、本出願を実施するための任意の方法またはデバイスは、必ずしも上述の利点の全てを有するとは限らない。
【発明を実施するための形態】
【0027】
以下、本願の実施の形態における技術的解決策について、図面を参照して説明する。
【0028】
従来技術の課題を解決するために、本出願の実施形態は、以下に詳細に説明されるフレーム間予測符号化方法および装置を提供する。
【0029】
なお、エンコーダは、符号化対象の画像を、最大サイズが64*64で互いに重ならない基本符号化単位に分割し、各基本符号化単位を上から下、左から右の順に符号化する。実際には、基本符号化単位は、符号化単位として直接符号化することができる。基本符号化単位は、クワッドツリー(quad−tree)に従って符号化単位に分割することもでき、符号化単位は、符号化ブロックにさらに分割することもできる。
【0030】
本出願の実施形態によって提供されるフレーム間予測符号化方法およびデバイスは、主に、対称予測および双方向予測の両方のためのものである。符号化される現在のフレームは、前方参照フレームリストおよび後方参照フレームリストを含み、参照フレームリストは、複数の参照フレームを含む。符号化されるブロックごとに、前方符号化ブロックおよび後方符号化ブロックを探索し、予め設定された重み付けパラメータに従って、符号化に最適な重み付けパラメータを選択し、参照画像に明るさ変化がある場合にも、明るさ変化値に応じた重み付け予測を行う必要がある。
【0031】
図1は、本出願の実施形態によるフレーム間予測符号化方法のフローチャートであり、以下のステップを含む。
【0032】
S101において、符号化されるフレームをエンコーダにより符号化される複数のブロックに分割する。
【0033】
なお、符号化されるフレームを複数の符号化対象のブロックに分割するステップは、符号化されるブロックを符号化順に順次読み出すステップを含み、毎回読み出される符号化されるブロックのサイズは、予め設定されていてもよく、例えば、8*8、8*16、16*8等であってもよい。
【0034】
S102において、符号化されるブロックごと、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定する。
【0035】
具体的には、符号化される各ブロックについて、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップは、符号化されるブロックごと、動き探索技術を通じて、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップを含むことができる。
【0036】
すなわち、符号化されるブロックごとに、動き探索技術を使用して、前方参照フレームリストおよび後方参照フレームリストから、符号化されるブロックに最も類似するブロック、すなわち、マッチングブロックを探索することができ、次いで、前方符号化ブロックおよび後方符号化ブロックを得ることができる。
【0037】
S103において、前方符号化ブロックに対応する第1の重み付けパラメータを決定する。
【0038】
具体的には、前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップは、前方符号化ブロックおよび後方符号化ブロックに従って、予め設定された各前方重み付けパラメータに対応する予測ブロックを計算し、符号化されるブロックと各予測ブロックとの間の残差値を計算し、最小の絶対値を有する残差値に対応する前方重み付けパラメータを第1の重み付けパラメータとして決定するステップを含むことができる。
【0039】
一例として、エンコーダの予め設定された前方重み付けパラメータは、1/3、2/3、1/4、1/2、3/4であり、符号化されるブロックL0の前方符号化ブロックおよび後方符号化ブロックは、それぞれL1およびL2である。重み付けパラメータ1/3に対応する予測ブロックK1を例として、
【数1】
とし、K2、K3、K4、K5を順次計算する。計算された5つの予測ブロックを符号化対象ブロックL0から減算した残差値を、それぞれP1=0.15、P2=0.12、P3=0.11、P4=0.03、P5=−0.005とし、最小絶対値を有する残差値をK5に対応する−0.005とし、3/4を第1の重み付けパラメータとする。
【0040】
別の実施形態では、前方重み付けパラメータを取得するステップは、パラメータNを設定し、(0、1)を0、1/N、2/N..N/NのN部に分割し、前方重み付けパラメータとして決定するステップを含んでもよい。N=4と仮定すると、特定の前方重み付けパラメータは、0、1/4、1/2、3/4、1である。また、符号化されるブロックを含む符号化されるフレームを、前方符号化ブロックを含む前方参照フレームと、後方符号化ブロックを含む後方参照フレームとで結びつけることも可能であり、符号化されるフレームが次の符号化を行う際に、前方参照フレームおよび後方参照フレームに依然として対応する場合、Nによって直接前方重み付けパラメータを取得する。
【0041】
一般に、例えば、予めNが設定されていてもよいし、符号化されるフレーム内の各ブロックを、前方参照フレームと後方参照フレームとで複数回繰り返してNを求めてもよい。一般に、Nの値は3より大きいが、符号化効率への影響を考慮すると、Nの値は一般に10より大きくない。Nは、符号化されるフレームのフレームヘッダに記録されてもよいし、符号化パラメータの組み合わせに記録されてもよい。
【0042】
S104において、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定し、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定する。
【0043】
一実施形態では、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、参照画像の全画素の輝度値および総画素数に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0044】
前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、前方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0045】
後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、後方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0046】
前方符号化ブロックと後方符号化ブロックとを含む参照画像の光強度に変化がある場合、フレーム間予測符号化の精度を確保するためには、参照画像の輝度値を符号化する必要があるのが一般的である。したがって、参照画像の全体輝度に対する重み付けパラメータを計算する必要がある。実際には、参照画像の輝度値を加算して輝度値の和を求め、輝度値の和を画素数で除算して輝度重み付けパラメータを求める。例えば、前方符号化ブロックを含む参照画像の画素数を10とし、10画素の輝度値の和を11とすると、輝度重み付けパラメータは11/10、すなわち1.1となる。
【0047】
別の実施形態では、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、最小残差技術によって、符号化される画像および参照画像に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0048】
前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、最小残差技術を通じて、符号化される画像および前方符号化ブロックを含む参照画像に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0049】
後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、最小残差技術によって、符号化される画像および後方符号化ブロックを含む参照画像に従って、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0050】
具体的には、符号化されるフレームと、前方符号化ブロックおよび後方符号化ブロックをそれぞれ含む2つの参照画像とを、より小さい画像にダウンサンプリングし、輝度重み付けパラメータを選択し、参照画像と乗算して重み付け参照画像を取得し、前述のより小さい画像をブロックに分割し、次に、現在の画像のブロックごとに、分割して得られる各小ブロックごとに、重み付け参照画像内のマッチングブロックを探索して予測残差値を求め、それらの二乗の和を求め、対応する残差値の二乗の和を、異なる輝度重み付けパラメータを変換することによって求める。残差値の最小二乗和に対応する輝度重み付けパラメータは、基準画像の輝度重み付けパラメータとして選択される。したがって、前方符号化ブロックおよび後方符号化ブロックを含む参照画像の第2および第3の全体輝度ベースの重み付けパラメータは、W1、W2として表すことができる。
【0051】
S105において、第1の重み付けパラメータに従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定する。
【0052】
具体的には、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップは、第1の重み付けパラメータおよび次式:第4の重み付けパラメータ=1−第1重み付けパラメータ に従って、後方符号化に対応する第4の重み付けパラメータを決定するステップを含むことができる。例えば、前方符号化ブロックに対応する第1の重み付けパラメータは、S103において3/4であると決定され、次いで、後方符号化ブロックに対応する第2の重み付けパラメータは、1−3/4=1/4であることが、当業者によって理解されるのであろう。
【0053】
別の例では、第1の重み付けパラメータは、それぞれ0、1/4、1/2、3/4、1である場合、対応する第4の重み付けパラメータは以下の通りである:1,3/4,1/2,1/4,0。第1の重み付けパラメータおよび対応する第4の重み付けパラメータは、組み合わせ、すなわち、(0、1)、(1/4、3/4)、(1/2、1/2)、(3/4、1/4)、(1、0)の形式で表される。第1の重み付けパラメータと対応する第4の重み付けパラメータとの組み合わせが(0,1)である場合、第1の重み付けパラメータは0であるので、この場合、後方予測を示す。同様に、第1の重み付けパラメータと対応する第4の重み付けパラメータとの組み合わせが(1,0)である場合、第4の重み付けパラメータは0であるので、この場合、それは前方予測を示す。
【0054】
S106において、第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータ、および第4の重み付けパラメータに従って、符号化されるブロックの予測実重み付けパラメータを決定する。
【0055】
実際には、前方符号化ブロックおよび後方符号化ブロックを含む参照画像は、通常、光強度の変化を有し、したがって、符号化されるブロックの符号化は、重み付けパラメータだけでなく、参照画像の輝度にも関係する。上記予測実重み付けパラメータは、一般に、(第1の重み付けパラメータ*第2の重み付けパラメータ、第3の重み付けパラメータ*第4の重み付けパラメータ)として表すことができる。例えば、第1の重み付けパラメータが3/4で、第4の重み付けパラメータが1/4である場合、予測実際の重み付けパラメータは、(3/4*W1、1/4*W2)となる。W1=1.1、W2=1.2の場合、予測実重み付けパラメータは、(0.825,0.3)である。前方符号化ブロックおよび後方符号化ブロックを含む参照画像において光強度に変化がない場合、W1およびW2は、1に等しく、予測実重み付けパラメータは、(第1の重み付けパラメータ、第4の重み付けパラメータ)として表すことができる。
【0056】
S107において、予測実重み付けパラメータによって符号化されるブロックに対して予測符号化を実行する。
【0057】
前述の予測実重み付けパラメータが得られた後、予測実重み付けパラメータ、例えば、(0.825、0.3)は、前方符号化ブロックおよび後方符号化ブロックと組み合わされて、予測ブロックと符号化されるブロックとの間の残差値が得られ、その後、予測符号化が残差値に対して実行される。
【0058】
符号化されるフレームは、最初に基本符号化単位に分割されることが当業者には理解されよう。上から下、左から右の符号化順序における基本符号化単位の各々について、以下のステップが実行される。基本符号化単位をクワッドツリーによって4つの符号化単位に分割し、4つの符号化単位を独立に分割して、8*8、8*16、16*8、または16*16のサイズの符号化ブロックを得る。本出願の実施形態では、符号化ブロックのサイズが符号化ブロックが符号化要件を満たすことができる限り、制限されない。
【0059】
本出願の
図1の実施形態によれば、後方符号化ブロックに対応する後方重み付けパラメータは、重み付けパラメータから後方重み付けパラメータを選択することなく、前方符号化ブロックの前方重み付けパラメータに従って決定され、それによって、従来技術における重み付けパラメータから後方重み付けパラメータを非合理的に選択することによって生じる予測符号化の精度が低くなるという課題を回避することが分かる。したがって、フレーム間予測符号化の精度が向上する。
【0060】
なお、上述したステップS103およびS104の実行順序は厳密に制限されるものではなく、ステップS102を実行した後に、ステップS103またはステップS104のいずれかを先に実行してもよいし、ステップS103およびS104を同期して実行してもよい。また、ステップS103の実行が終了した後、第1の重み付けパラメータを取得し、ステップS105を実行することもできる。ステップS105およびステップS104が完了した後、ステップS106を実行することができる。
【0061】
図2は、本出願の一実施形態によるフレーム間予測符号化装置の概略構造図であり、フレーム間予測符号化装置は、分割モジュール201、第1の決定モジュール202、第2の決定モジュール203、第3の決定モジュール204、第4の決定モジュール205、第5の決定モジュール206、および符号化モジュール207を備える。
【0062】
分割モジュール201は、符号化器によって、符号化されるフレームを符号化される複数のブロックに分割するために用いられる。
【0063】
第1の決定モジュール202は、符号化されるブロックごとに、前方符号化ブロックと、符号化されるブロックに対応する後方符号化ブロックとを決定するために使用される。
【0064】
具体的には、実際には第1の決定モジュール202は、符号化されるブロックごとに、動き探索技術によって符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するために特に使用される。
【0065】
第2の決定モジュール203は、前方符号化ブロックに対応する第1の重み付けパラメータを決定するために使用される。
【0066】
具体的には、実際には第2の決定モジュール203は、第1の計算サブモジュール、第2の計算サブモジュール、決定サブモジュール(図示せず)を含んでもよく、
第1の計算サブモジュールは、前方符号化ブロックおよび後方符号化ブロックに従って、各予め設定された前方重み付けパラメータに対応する予測ブロックを計算するために使用され、
第2の計算サブモジュールは、符号化されるブロックと各予測ブロックとの間の残差値を計算するために使用され、
決定サブモジュールは、第1の重み付けパラメータとして、最小の絶対値を有する残差値に対応する前方重み付けパラメータを決定するために使用される。
【0067】
第3の決定モジュール204は、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定し、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するために使用される。
【0068】
第4の決定モジュール205は、第1の重み付けパラメータに従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するために使用される。
【0069】
具体的には、実際には第4の決定モジュール205は、第1の重み付けパラメータおよび次式:第4の重み付けパラメータ=1−第1の重み付けパラメータ に従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するために使用され得る。
【0070】
第5の決定モジュール206は、第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータ、および第4の重み付けパラメータに従って、符号化されるブロックの予測実重み付けパラメータを決定するために使用される。
【0071】
符号化モジュール207は、予測実重み付けパラメータによって、符号化されるブロックに対して予測符号化を実行するために使用される。
【0072】
本出願の
図2の実施形態によれば、後方符号化ブロックに対応する後方重み付けパラメータは、重み付けパラメータから後方重み付けパラメータを選択することなく、前方符号化ブロックの前方重み付けパラメータに従って決定され、それによって、従来技術における重み付けパラメータから後方重み付けパラメータを非合理的に選択することによって生じる予測符号化の精度が低くなるという課題を回避することが分かる。したがって、フレーム間予測符号化の精度が向上する。
【0073】
図3に示すように、本発明の実施形態は、また、プロセッサ301、通信インターフェース302、メモリ303、および通信バス304を備える電子機器を提供し、プロセッサ301、通信インターフェース302、およびメモリ303は、通信バス304を介して互いに通信し、
メモリ303は、コンピュータプログラムを記憶するために使用され、
プロセッサ301がメモリ303に格納されたプログラムを実行するために使用されるとき、以下のステップ:
符号化器によって、符号化されるフレームを符号化される複数のブロックに分割するステップと、
符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップと、
前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップと、
前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定し、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップと、
第1の重み付けパラメータに従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップと、
第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータ、および第4の重み付けパラメータに従って、符号化されるブロックの予測実重み付けパラメータを決定するステップと、
予測実重み付けパラメータによって符号化されるブロックに対して予測符号化を実行するステップと、
を実行する。
【0074】
電子機器において上述した通信バスは、PCI(peripheral component interconnect)バス、またはEISA(extended industry standard architecture)バスなどであってもよい。通信バスは、アドレスバス、データバス、制御バスなどを含むことができる。
図3では説明のために、1つの太線のみを示しているが、これは1つのバスまたは1つのタイプのバスしかないことを意味するものではない。
【0075】
通信インタフェースは、上述した電子機器と他の機器との間の通信に用いられる。
【0076】
メモリは、ランダムアクセスメモリ(RAM)を含んでもよく、または不揮発性メモリ(NVM)、例えば少なくとも1つのディスクメモリを含んでもよい。任意選択で、メモリは、前述のプロセッサから離れて配置される少なくとも1つの記憶装置であってもよい。
【0077】
前述のプロセッサは、中央処理装置(CPU)、ネットワークプロセッサ(NP)などの汎用プロセッサとすることができ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェア構成要素とすることもできる。
【0078】
本出願の実施形態によって提供されるスキームにおいて、電子機器は、重み付けパラメータから後方重み付けパラメータを選択することなく、前方符号化ブロックの前方重み付けパラメータに基づいて、後方符号化ブロックに対応する後方重み付けパラメータを決定し、それによって、従来技術における重み付けパラメータから後方重み付けパラメータを非合理的に選択することから生じる予測符号化の精度が低いという問題を回避することが分かる。したがって、フレーム間予測符号化の精度が向上する。
【0079】
符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップは、
符号化されるブロックごとに、動き探索技術によって、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップを含むことができる。
【0080】
前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップは、
前方符号化ブロックおよび後方符号化ブロックに従って、各予め設定された前方重み付けパラメータに対応する予測ブロックを計算するステップと、
符号化されるブロックと各予測ブロックとの間の残差値を計算するステップと、
第1の重み付けパラメータとして、最小の絶対値を有する残差値に対応する前方重み付けパラメータを決定するステップと、
を含むことができる。
【0081】
ここで、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、
参照画像の全画素の輝度値および総画素数に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0082】
参照画像は、前方符号化ブロックを含む参照画像であり、前方符号化ブロックを含む参照画像の全体的な輝度ベースの第2の重み付けパラメータを決定するステップは、
前方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0083】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体的な輝度ベースの第3の重み付けパラメータを決定するステップは、後方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0084】
ここで、基準画像の重み付けパラメータを決定するステップは、最小残差技術によって、符号化される画像および参照画像に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0085】
参照画像は、前方符号化ブロックを含む参照画像であり、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および前方符号化ブロックを含む参照画像に従って、参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0086】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および後方符号化ブロックを含む参照画像に従って、参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0087】
第1の重み付けパラメータに従って後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップは、第1の重み付けパラメータおよび次式:
第4の重み付けパラメータ=1−第1の重み付けパラメータ
に従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップを含むことができる。
【0088】
本発明によるさらに別の実施形態では、コンピュータ上で動作するときに、コンピュータに、上述の実施形態のいずれか1つで説明したフレーム間予測符号化方法を実行させる命令を記憶するコンピュータ可読記憶媒体も提供される。
【0089】
フレーム間予測符号化方法は、以下、
符号化器によって、符号化されるフレームを符号化される複数のブロックに分割するステップと、
符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップと、
前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップと、
前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定し、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップと、
第1の重み付けパラメータに従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップと、第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータ、および第4の重み付けパラメータに従って、符号化されるブロックの予測実重み付けパラメータを決定するステップと、
予測実重み付けパラメータによって符号化されるブロックに対して予測符号化を実行するステップと、
を備えることができる。
【0090】
本出願の実施形態によって提供される方式では、後方符号化ブロックに対応する後方重み付けパラメータが重み付けパラメータから後方重み付けパラメータを選択することなく、前方符号化ブロックの前方重み付けパラメータに従って決定され、それによって、従来技術における重み付けパラメータから後方重み付けパラメータを不合理に選択することによって生じる予測符号化の精度が低くなるという課題を回避することが分かる。したがって、フレーム間予測符号化の精度が向上する。
【0091】
符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップは、
符号化されるブロックごとに、動き探索技術によって、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップを含むことができる。
【0092】
前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップは、
前方符号化ブロックおよび後方符号化ブロックに従って、予め設定された各前方重み付けパラメータに対応する予測ブロックを計算するステップと、
符号化されるブロックと各予測ブロックとの間の残差値を計算するステップと、
第1の重み付けパラメータとして、最小の絶対値を有する残差値に対応する前方重み付けパラメータを決定するステップと、を含む。
【0093】
ここで、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、
参照画像の全画素の輝度値および総画素数に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0094】
参照画像は、前方符号化ブロックを含む参照画像であり、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、
前方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0095】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、
後方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0096】
ここで、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および参照画像に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0097】
参照画像は、前方符号化ブロックを含む参照画像であり、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および前方符号化ブロックを含む参照画像に従って、参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0098】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および後方符号化ブロックを含む参照画像に従って、参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0099】
第1の重み付けパラメータに従って後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップは、第1の重み付けパラメータおよび次式:
第4の重み付けパラメータ=1−第1の重み付けパラメータ
に従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップを含むことができる。
【0100】
本発明によるさらに別の実施形態では、コンピュータ上で動作するときに、コンピュータに、上述の実施形態のいずれか1つで説明したフレーム間予測符号化方法を実行させる命令を含むコンピュータプログラム製品も提供される。
【0101】
フレーム間予測符号化方法は、
符号化器によって、符号化されるフレームを符号化される複数のブロックに分割するステップと、
符号化されるブロックごと、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップと、
前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップと、
前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定し、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップと、
第1の重み付けパラメータに従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップと、
第1の重み付けパラメータ、第2の重み付けパラメータ、第3の重み付けパラメータ、および第4の重み付けパラメータに従って、符号化されるブロックの予測実重み付けパラメータを決定するステップと、
予測実重み付けパラメータによって符号化されるブロックに対して予測符号化を実行するステップと、
を含むことができる。
【0102】
本出願の実施形態によって提供される方式では、後方符号化ブロックに対応する後方重み付けパラメータが重み付けパラメータから後方重み付けパラメータを選択することなく、前方符号化ブロックの前方重み付けパラメータに従って決定され、それによって、従来技術における重み付けパラメータから後方重み付けパラメータを不合理に選択することによって生じる予測符号化の精度が低くなるという課題を回避することが分かる。したがって、フレーム間予測符号化の精度が向上する。
【0103】
符号化されるブロックごとに、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップは、
符号化されるブロックごとに、動き探索技術によって、符号化されるブロックに対応する前方符号化ブロックおよび後方符号化ブロックを決定するステップを含むことができる。
【0104】
前方符号化ブロックに対応する第1の重み付けパラメータを決定するステップは、
前方符号化ブロックおよび後方符号化ブロックに従って、各予め設定された前方重み付けパラメータに対応する予測ブロックを計算するステップと、
符号化されるブロックと各予測ブロックとの間の残差値を計算するステップと、
第1の重み付けパラメータとして、最小の絶対値を有する残差値に対応する前方重み付けパラメータを決定するステップと、
を含むことができる。
【0105】
ここで、参照画像の全体的な輝度ベースの重み付けパラメータを決定するステップは、
参照画像の全画素の輝度値および総画素数に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0106】
参照画像は、前方符号化ブロックを含む参照画像であり、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、
前方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0107】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、
後方符号化ブロックを含む参照画像の全画素の輝度値および総画素数に従って、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0108】
ここで、参照画像の全体輝度ベースの重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および参照画像に従って、参照画像の全体輝度ベースの重み付けパラメータを決定するステップを含むことができる。
【0109】
参照画像は、前方符号化ブロックを含む参照画像であり、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および前方符号化ブロックを含む参照画像に従って、前方符号化ブロックを含む参照画像の全体輝度ベースの第2の重み付けパラメータを決定するステップを含むことができる。
【0110】
参照画像は、後方符号化ブロックを含む参照画像であり、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップは、
最小残差技術によって、符号化される画像および後方符号化ブロックを含む参照画像に従って、後方符号化ブロックを含む参照画像の全体輝度ベースの第3の重み付けパラメータを決定するステップを含むことができる。
【0111】
第1の重み付けパラメータに従って後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップは、
第1の重み付けパラメータおよび次式:
第4の重み付けパラメータ=1−第1の重み付けパラメータ
に従って、後方符号化ブロックに対応する第4の重み付けパラメータを決定するステップを含むことができる。
【0112】
前述の実施形態では、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せによって、全体または一部を実装することができる。ソフトウェアによって実施される場合、それは、コンピュータプログラム製品の形式で全体的にまたは部分的に実施され得る。コンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。本発明の実施形態に従って説明されるプロセスまたは機能は、コンピュータプログラム命令がコンピュータ上でロードされ実行されるときに、全体的にまたは部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラマブルデバイスとすることができる。コンピュータ命令は、コンピュータ可読記憶媒体に格納されてもよく、または1つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、またはデータセンタから、ケーブル(同軸ケーブル、光ファイバ、デジタル加入者回線(DSL)など)または無線(赤外線、無線、マイクロ波など)を介して別のウェブサイト、別のコンピュータ、別のサーバ、または別のデータセンタに送信されてもよい。コンピュータ可読記憶媒体は、1つ以上の利用可能な媒体統合を含むサーバまたはデータセンタなどのコンピュータまたはデータ記憶装置によってアクセスされ得る任意の利用可能な媒体であり得る。利用可能な媒体は、磁気媒体(フロッピーディスク、ハードディスク、磁気テープなど)、光媒体(DVDなど)、または半導体媒体(ソリッドステートディスク(SSD)など)などとすることができる。
【0113】
「第1」、「第2」などの本明細書の関係用語は1つのエンティティまたはオペレーションを別のエンティティまたはオペレーションから区別するためにのみ使用されるが、これらのエンティティまたはオペレーション間に実際の関係または順序があることを必ずしも要求または暗示しないことに留意されたい。さらに、用語「含む(include)」、「含む(comprise)」またはその任意の他の変異体は、一連の要素を含むプロセス、方法、物品、またはデバイスが列挙された要素のみならず、具体的に列挙されていない要素、またはこれらのプロセス、方法、物品、または機器に固有の要素も含むように、非排他的な包含物を包含することが意図される。さらなる制限なしに、文「含む」または「含む」によって定義される要素は、これらの要素を含むプロセス、方法、物品、またはデバイスに他の同一の要素があることを排除しない。
【0114】
説明の様々な実施形態は説明するために対応する方法を採用し、様々な実施形態における同一または類似の部分は互いに言及されることができ、各実施形態は、他の実施形態との相違に焦点を合わせる。特に、デバイスの実施形態は方法の実施形態と同様であるため、その説明は比較的簡単であり、関連する部分は、方法の実施形態の説明の部分を参照することができる。
【0115】
上述の方法におけるステップの全てまたはいくつかは関連するハードウェアに命令するプログラムによって達成され得ることが、当業者によって理解される。プログラムは、ROM/RAM、磁気ディスク、光ディスクなどのコンピュータ可読記憶媒体に格納することができる。上述の実施形態は本発明の単なる好ましい実施形態であり、本発明の範囲を限定することを意図するものではない。本発明の精神および原理の範囲内のいかなる修正、等価、改良等も本発明の範囲に含まれるべきである。