【解決手段】符号化装置1は、符号化済みの輝度信号の分割形状に応じて、色差信号の分割形状を決定するように構成されている色差信号分割形状決定部13を具備している。色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定する。
前記色差信号分割形状決定部は、前記符号化対象の色差信号のブロックに対応する位置の前記符号化済みの輝度信号のブロックの分割形状が四分木分割である場合、前記符号化対象の色差信号のブロックの分割形状として、四分木分割及び分割無しのいずれかを選択するように構成されており、
前記色差信号分割形状決定部は、前記符号化対象の色差信号のブロックに対応する位置の前記符号化済みの輝度信号のブロックの分割形状が垂直の二分木分割である場合、前記符号化対象の色差信号のブロックの分割形状として、垂直の二分木分割及び分割無しのいずれかを選択するように構成されており、
前記色差信号分割形状決定部は、前記符号化対象の色差信号のブロックに対応する位置の前記符号化済みの輝度信号のブロックの分割形状が水平の二分木分割である場合、前記符号化対象の色差信号のブロックの分割形状として、水平の二分木分割及び分割無しのいずれかを選択するように構成されていることを特徴とする請求項1に記載の符号化装置。
前記色差信号分割形状決定部は、前記符号化対象の色差信号のブロックに対応する位置の前記符号化済みの輝度信号のブロックの分割形状が四分木分割である場合、前記符号化対象の色差信号のブロックの分割形状として、四分木分割、垂直の二分木分割、水平の二分木分割及び分割無しのいずれかを選択するように構成されており、
前記色差信号分割形状決定部は、前記符号化対象の色差信号のブロックに対応する位置の前記符号化済みの輝度信号のブロックの分割形状が垂直の二分木分割である場合、前記符号化対象の色差信号のブロックの分割形状として、垂直の二分木分割及び分割無しのいずれかを選択するように構成されており、
前記色差信号分割形状決定部は、前記符号化対象の色差信号のブロックに対応する位置の前記符号化済みの輝度信号のブロックの分割形状が水平の二分木分割である場合、前記符号化対象の色差信号のブロックの分割形状として、水平の二分木分割及び分割無しのいずれかを選択するように構成されていることを特徴とする請求項1に記載の符号化装置。
復号対象の色差信号のブロックに対応する位置の復号済みの輝度信号のブロックの分割形状が四分木分割である場合、前記復号対象の色差信号のブロックの分割形状は、四分木分割及び分割無しのいずれかであり、
前記復号対象の色差信号のブロックに対応する位置の前記復号済みの輝度信号のブロックの分割形状が垂直の二分木分割である場合、前記復号対象の色差信号のブロックの分割形状は、垂直の二分木分割及び分割無しのいずれかであり、
前記復号対象の色差信号のブロックに対応する位置の前記復号済みの輝度信号のブロックの分割形状が水平の二分木分割である場合、前記符号化対象の色差信号のブロックの分割形状は、水平の二分木分割及び分割無しのいずれかであることを特徴とする請求項4に記載の復号装置。
復号対象の色差信号のブロックに対応する位置の復号済みの輝度信号のブロックの分割形状が四分木分割である場合、前記復号対象の色差信号のブロックの分割形状は、四分木分割、垂直の二分木分割、水平の二分木分割及び分割無しのいずれかであり、
前記復号対象の色差信号のブロックに対応する位置の前記復号済みの輝度信号のブロックの分割形状が垂直の二分木分割である場合、前記復号対象の色差信号のブロックの分割形状は、垂直の二分木分割及び分割無しのいずれかであり、
前記復号対象の色差信号のブロックに対応する位置の前記復号済みの輝度信号のブロックの分割形状が水平の二分木分割である場合、前記復号対象の色差信号のブロックの分割形状は、水平の二分木分割及び分割無しのいずれかであることを特徴とする請求項4に記載の復号装置。
【発明を実施するための形態】
【0019】
(第1の実施形態)
以下、
図1〜
図8を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。
【0020】
ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVC等の動画像符号化方式に対応するように構成されている。なお、本実施形態に係る符号化装置1及び復号装置3は、動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
【0021】
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して復号することができるように構成されている。以下、本実施形態では、動画像を構成するフレーム単位の原画像に対して二分木分割及び四分木分割を適用して符号化するケースを例に挙げて説明するが、本発明は、かかるケースに限定されるものではない。
【0022】
図1に示すように、本実施形態に係る符号化装置1は、予測モード決定部11と、輝度信号分割形状決定部12と、色差信号分割形状決定部13と、復号画像生成部14と、メモリ15と、エントロピー符号化部16とを具備している。
【0023】
予測モード決定部11は、CUに適用する最適な予測モードを決定するように構成されている。
【0024】
輝度信号分割形状決定部12は、輝度信号の分割形状(すなわち、輝度信号のブロックの分割形状)を決定するように構成されている。輝度信号分割形状決定部12は、既存のQTBT分割のケースと同様に、符号化対象の輝度信号のブロックに対して、最初に階層的な四分木分割を適用し、その後階層的な二分木分割を適用するように構成されていてもよい。
【0025】
色差信号分割形状決定部13は、符号化済みの輝度信号の分割形状に応じて、色差信号の分割形状(すなわち、色差信号のブロックの分割形状)を決定するように構成されている。色差信号分割形状決定部13は、既存のQTBT分割のケースと同様に、符号化対象の色差信号のブロックに対して、最初に階層的な四分木分割を適用し、その後階層的な二分木分割を適用するように構成されていてもよい。
【0026】
具体的には、色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定するように構成されている。
【0027】
例えば、色差信号分割形状決定部13は、
図2(a)に示すように、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割形状が四分木分割である場合、
図2(b)に示すように、符号化対象の色差信号のブロックの分割形状として、四分木分割及び分割無しのいずれかを選択するように構成されている。
【0028】
換言すると、
図2(a)及び
図2(b)に示すように、色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線L1/L2以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定するように構成されている。
【0029】
すなわち、かかる場合、色差信号分割形状決定部13は、符号化対象の色差信号のブロックの分割形状として、垂直の二分木分割、水平の二分木分割及び境界線L1/L2以外を用いた四分木分割を選択することを禁止するように構成されている。
【0030】
また、色差信号分割形状決定部13は、
図3(a)に示すように、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割形状が水平の二分木分割である場合、
図3(b)に示すように、符号化対象の色差信号のブロックの分割形状として、水平の二分木分割及び分割無しのいずれかを選択するように構成されている。
【0031】
換言すると、
図3(a)及び
図3(b)に示すように、色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線L3以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定するように構成されている。
【0032】
すなわち、かかる場合、色差信号分割形状決定部13は、符号化対象の色差信号のブロックの分割形状として、垂直の二分木分割、四分木分割及び境界線L3以外を用いた水平の二分木分割を選択することを禁止するように構成されている。
【0033】
また、色差信号分割形状決定部13は、
図4(a)に示すように、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割形状が垂直の二分木分割である場合、
図4(b)に示すように、符号化対象の色差信号のブロックの分割形状として、垂直の二分木分割及び分割無しのいずれかを選択するように構成されている。
【0034】
換言すると、
図4(a)及び
図4(b)に示すように、色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線L4以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定するように構成されている。
【0035】
すなわち、かかる場合、色差信号分割形状決定部13は、符号化対象の色差信号のブロックの分割形状として、水平の二分木分割、四分木分割及び境界線L4以外を用いた垂直の二分木分割を選択することを禁止するように構成されている。
【0036】
かかる構成によれば、色差信号の分割形状として選択可能な分割形状に制限を設けることにより、色差信号の分割形状を示すフラグ情報量を低減することができる。
【0037】
復号画像生成部14は、輝度信号分割形状決定部12によって決定された輝度信号の分割形状及び色差信号分割形状決定部13によって決定された色差信号の分割形状に基づいて局部復号画像(分割されたブロックごとの復号画像)を生成するように構成されている。
【0038】
図1に示すように、復号画像生成部14は、予測部14aと、残差信号生成部14bと、変換・量子化部14cと、逆量子化・逆変換部14dと、局部復号画像生成部14eとを具備している。
【0039】
予測部14aは、予測モード決定部11により決定された予測モードを用いて予測画像を生成するように構成されている。
【0040】
残差信号生成部14bは、予測部14aによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。
【0041】
変換・量子化部14cは、残差信号生成部14bによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。
【0042】
逆量子化・逆変換部14dは、変換・量子化部14cによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施し、残差信号を生成するように構成されている。
【0043】
局部復号画像生成部14eは、逆量子化・逆変換部14dによって生成された残差信号に対して予測部14aによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。
【0044】
メモリ15は、復号画像生成部14によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。
【0045】
エントロピー符号化部16は、予測モード決定部11によって決定された予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0046】
例えば、
図5(a)に示す輝度信号のブロックの分割形状が選択された場合、エントロピー符号化部16は、従来のQTBT分割のケースと同様に、フラグ情報として、
図5(b)に示す四分木分割の有無をブロックごとに示す四分木分割フラグと、
図5(c)に示す二分木分割の有無及びその方向(水平或いは垂直)を示す二分木分割フラグに対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0047】
ここで、
図5(b)及び
図5(c)におけるフラグ情報F1は、
図5(a)におけるブロックB1に対応し、
図5(b)及び
図5(c)におけるフラグ情報F2は、
図5(a)におけるブロックB2に対応する。
【0048】
また、従来のQTBT分割のケースでは、
図6(a)に示す色差信号のブロックの分割形状が選択された場合、エントロピー符号化部16は、フラグ情報として、
図6(b)に示す四分木分割の有無をブロックごとに示す四分木分割フラグと、
図6(c)に示す二分木分割の有無及びその方向(水平或いは垂直)を示すフラグに対してエントロピー符号化処理を施してストリーム出力するように構成されていた。
【0049】
ここで、
図6(b)及び
図6(c)におけるフラグ情報F3は、
図6(a)におけるブロックB3に対応し、
図6(b)及び
図6(c)におけるフラグ情報F4は、
図6(a)におけるブロックB4に対応する。
【0050】
これに対して、本実施形態に係る符号化装置1のエントロピー符号化部16は、
図7(a)に示す色差信号のブロックの分割形状が選択された場合、
図7(b)に示すフラグ情報に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0051】
ここで、
図7(b)及び
図7(c)におけるフラグ情報F3は、
図7(a)におけるブロックB3に対応し、
図7(b)及び
図7(c)におけるフラグ情報F4は、
図7(a)におけるブロックB4に対応する。
【0052】
すなわち、上述のように、従来のQTBT分割のケースでは、輝度信号と色差信号とで独立した分割形状を選択できることから、輝度信号及び色差信号共にフラグ情報として四分木分割フラグ及び二分木分割フラグをストリーム出力するように構成されていた。
【0053】
しかしながら、輝度信号と色差信号との間の相関が高く、また、色差信号の分割形状は輝度信号の分割形状に比べ大きいブロックサイズが選ばれやすい傾向にあるにも関わらず、従来のQTBT分割のケースでは、このような性質を考慮せずに全てのフラグ情報をストリーム出力する必要があったため、冗長であった。
【0054】
これに対して、本実施形態に係る符号化装置1のエントロピー符号化部16は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックで行われた種類の分割を適用するか否かについて示すフラグ情報に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0055】
なお、
図7(b)に示すフラグ情報において、「0」は、符号化対象の色差信号のブロックについて分割されないことを示し、「1」は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックと同じ分割形状が適用されることを示し、「x」は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックが分割されていないため、符号化対象の色差信号のブロックについても分割されないことが暗黙的に決定されることを示す。
【0056】
図7(b)に示すフラグ情報の構成によれば、色差信号の分割形状を表すことが可能となり、色差信号の分割形状を示すフラグ情報量を大幅に削減することが可能となる。
【0057】
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像を、輝度信号と色差信号とで別々にブロックに分割して復号することができるように構成されている。
【0058】
図8に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、復号画像生成部32と、メモリ33とを具備している。
【0059】
エントロピー復号部31は、符号化装置1から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置1によって、フレーム単位の原画像を分割して符号化された信号として得られた量子化された変換係数である。
【0060】
また、輝度信号に係るフラグ情報には、
図5(b)に示すような四分木分割フラグ及び
図5(c)に示すような二分木分割フラグが含まれており、色差信号に係るフラグ情報には、
図7(b)に示すようなフラグ情報が含まれている。
【0061】
復号画像生成部32は、エントロピー復号部31によって復号された輝度信号の分割形状及び色差信号の分割形状に基づいて局部復号画像(分割されたブロックごとの復号画像)を生成するように構成されている。
【0062】
図8に示すように、復号画像生成部32は、予測画像生成部32aと、逆量子化・逆変換部32bと、局部復号画像生成部32cとを具備している。
【0063】
予測画像生成部32aは、エントロピー復号部31によって出力された予測モードを用いて、予測画像を生成するように構成されていてもよい。
【0064】
逆量子化・逆変換部32bは、エントロピー復号部31によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すことによって、残差信号を生成するように構成されている。
【0065】
局部復号画像生成部32cは、予測画像生成部32aによって生成された予測画像と逆量子化・逆変換部32bによって生成された残差信号とを加えることで局部復号画像を生成するように構成されている。
【0066】
メモリ33は、復号画像生成部32によって生成された局部復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。
【0067】
本実施形態に係る符号化装置1及び復号装置3によれば、分割形状を示すフラグ情報量の増大を抑制しつつ、柔軟なブロックの分割形状を選択することができる。
【0068】
(第2の実施形態)
以下、
図9〜
図14を参照して、本発明の第2の実施形態に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
【0069】
本実施形態に係る符号化装置1の色差信号分割形状決定部13は、
図9(a)に示すように、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割形状が四分木分割である場合、
図9(b)に示すように、符号化対象の色差信号のブロックの分割形状として、四分木分割、水平の二分木分割、垂直の二分木分割及び分割無しのいずれかを選択するように構成されている。
【0070】
換言すると、
図9(a)及び
図9(b)に示すように、色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線L1/L2以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定するように構成されている。
【0071】
すなわち、かかる場合、色差信号分割形状決定部13は、符号化対象の色差信号のブロックの分割形状として、境界線L1/L2以外を用いた二分木分割及び四分木分割を選択することを禁止するように構成されている。
【0072】
また、色差信号分割形状決定部13は、
図10(a)に示すように、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割形状が水平の二分木分割である場合、
図10(b)に示すように、符号化対象の色差信号のブロックの分割形状として、水平の二分木分割及び分割無しのいずれかを選択するように構成されている。
【0073】
換言すると、
図10(a)及び
図10(b)に示すように、色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線L3以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定するように構成されている。
【0074】
すなわち、かかる場合、色差信号分割形状決定部13は、符号化対象の色差信号のブロックの分割形状として、垂直の二分木分割、四分木分割及び境界線L3以外を用いた水平の二分木分割を選択することを禁止するように構成されている。
【0075】
また、色差信号分割形状決定部13は、
図11(a)に示すように、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割形状が垂直の二分木分割である場合、
図11(b)に示すように、符号化対象の色差信号のブロックの分割形状として、垂直の二分木分割及び分割無しのいずれかを選択するように構成されている。
【0076】
換言すると、
図11(a)及び
図11(b)に示すように、色差信号分割形状決定部13は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックの分割に用いられる境界線L4以外を用いることなく、符号化対象の色差信号のブロックの分割形状を決定するように構成されている。
【0077】
すなわち、かかる場合、色差信号分割形状決定部13は、符号化対象の色差信号のブロックの分割形状として、水平の二分木分割、四分木分割及び境界線L4以外を用いた垂直の二分木分割を選択することを禁止するように構成されている。
【0078】
また、例えば、
図12(a)に示す輝度信号のブロックの分割形状が選択された場合、本実施形態に係る符号化装置1のエントロピー符号化部16は、従来のQTBT分割のケースと同様に、フラグ情報として、
図12(b)に示す四分木分割の有無をブロックごとに示す四分木分割フラグと、
図12(c)に示す二分木分割の有無及びその方向(水平或いは垂直)を示す二分木分割フラグに対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0079】
また、従来のQTBT分割のケースでは、
図13(a)に示す色差信号のブロックの分割形状が選択された場合、エントロピー符号化部16は、フラグ情報として、
図13(b)に示す四分木分割の有無をブロックごとに示す四分木分割フラグと、
図13(c)に示す二分木分割の有無及びその方向(水平或いは垂直)を示すフラグに対してエントロピー符号化処理を施してストリーム出力するように構成されていた。
【0080】
ここで、
図13(b)及び
図13(c)におけるフラグ情報F5は、
図13(a)におけるブロックB5に対応し、
図13(b)及び
図13(c)におけるフラグ情報F6は、
図13(a)におけるブロックB6に対応する。
【0081】
これに対して、本実施形態に係る符号化装置1のエントロピー符号化部16は、
図14(a)に示す色差信号のブロックの分割形状が選択された場合、
図14(b)及び
図14(c)に示すフラグ情報に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0082】
エントロピー符号化部16は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックで行われた種類の分割を適用するか否かについて示すフラグ情報に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
【0083】
ここで、
図14(b)及び
図14(c)におけるフラグ情報F5は、
図14(a)におけるブロックB5に対応し、
図14(b)及び
図14(c)におけるフラグ情報F6は、
図14(a)におけるブロックB6に対応する。
【0084】
なお、
図14(b)に示すフラグ情報において、「0」は、符号化対象の色差信号のブロックについて分割されないことを示し、「1」は、符号化対象の色差信号のブロックに対して四分木分割が適用されることを示し、「x」は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックが分割されていないため、符号化対象の色差信号のブロックについても分割されないことが暗黙的に決定されることを示す。
【0085】
また、
図14(c)に示すフラグ情報において、「0」は、符号化対象の色差信号のブロックについて分割されないことを示し、「1」は、符号化対象の色差信号のブロックに対して水平の二分木分割形状が適用されることを示し、「2」は、符号化対象の色差信号のブロックに対して垂直の二分木分割形状が適用されることを示し、「x」は、符号化対象の色差信号のブロックに対応する位置の符号化済みの輝度信号のブロックが分割されていないため、符号化対象の色差信号のブロックについても分割されないことが暗黙的に決定されることを示す。
【0086】
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0087】
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0088】
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。