IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特許7315509画像復号装置、画像復号方法及びプログラム
<>
  • 特許-画像復号装置、画像復号方法及びプログラム 図1
  • 特許-画像復号装置、画像復号方法及びプログラム 図2
  • 特許-画像復号装置、画像復号方法及びプログラム 図3
  • 特許-画像復号装置、画像復号方法及びプログラム 図4
  • 特許-画像復号装置、画像復号方法及びプログラム 図5
  • 特許-画像復号装置、画像復号方法及びプログラム 図6
  • 特許-画像復号装置、画像復号方法及びプログラム 図7
  • 特許-画像復号装置、画像復号方法及びプログラム 図8
  • 特許-画像復号装置、画像復号方法及びプログラム 図9
  • 特許-画像復号装置、画像復号方法及びプログラム 図10
  • 特許-画像復号装置、画像復号方法及びプログラム 図11
  • 特許-画像復号装置、画像復号方法及びプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-18
(45)【発行日】2023-07-26
(54)【発明の名称】画像復号装置、画像復号方法及びプログラム
(51)【国際特許分類】
   H04N 19/70 20140101AFI20230719BHJP
   H04N 19/593 20140101ALI20230719BHJP
【FI】
H04N19/70
H04N19/593
【請求項の数】 8
(21)【出願番号】P 2020061226
(22)【出願日】2020-03-30
(65)【公開番号】P2021164003
(43)【公開日】2021-10-11
【審査請求日】2022-02-02
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和元年度、総務省、「多様な用途、環境下での高精細映像の活用に資する次世代映像伝送・通信技術の研究開発」委託事業、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】河村 圭
(72)【発明者】
【氏名】内藤 整
【審査官】坂東 大五郎
(56)【参考文献】
【文献】国際公開第2021/015524(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
画像復号装置であって、
符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いるように構成されているイントラ予測モード復号部を備え
前記イントラ予測モード復号部は、前記符号化ブロックのサイズが前記変換スキップモードの最大サイズ及び前記変換ブロックの最大サイズのうち小さい方の値以下の場合に、前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする画像復号装置。
【請求項2】
前記イントラ予測モード復号部は、前記符号化ブロックの幅が前記変換スキップモードの最大サイズ及び前記変換ブロックの幅の最大値のうち小さい方の値以下であり、且つ、前記符号化ブロックの高さが前記変換スキップモードの最大サイズ及び前記変換ブロックの高さの最大値のうち小さい方の値以下である場合に、前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする請求項に記載の画像復号装置。
【請求項3】
画像復号装置であって、
符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いるように構成されているイントラ予測モード復号部を備え、
前記イントラ予測モード復号部は、前記変換ブロックの最大サイズが前記変換スキップモードの最大サイズ以下の場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする画像復号装置。
【請求項4】
前記イントラ予測モード復号部は、前記変換ブロックの幅の最大値が前記変換スキップモードの最大サイズ以下であり、且つ、前記変換ブロックの高さの最大値が前記変換スキップモードの最大サイズ以下である場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定するように構成されていることを特徴とする請求項に記載の画像復号装置。
【請求項5】
符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を有し、
前記工程において、前記符号化ブロックのサイズが前記変換スキップモードの最大サイズ及び前記変換ブロックの最大サイズのうち小さい方の値以下の場合に、前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とする画像復号方法。
【請求項6】
画像復号装置で用いるプログラムであって、コンピュータに、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を実行させ
前記工程において、前記符号化ブロックのサイズが前記変換スキップモードの最大サイズ及び前記変換ブロックの最大サイズのうち小さい方の値以下の場合に、前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とするプログラム。
【請求項7】
符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を有し、
前記工程において、前記変換ブロックの最大サイズが前記変換スキップモードの最大サイズ以下の場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とする画像復号方法。
【請求項8】
画像復号装置で用いるプログラムであって、コンピュータに、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を実行させ、
前記工程において、前記変換ブロックの最大サイズが前記変換スキップモードの最大サイズ以下の場合に、全てのサイズの前記符号化ブロックに対してBDPCMを適用可能と判定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献1には、BDPCM(Block-wise Differential Pulse-Code Modulation)の適用条件の1つとして、符号化ブロックのサイズが変換スキップモードの最大サイズ以下であるかという判定を備えることが規定されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Versatile Video Coding (Draft 8)、JVET-Q2001
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、本願の発明者は、非特許文献1では、変換スキップモードの最大サイズは、変換ブロックの最大サイズとは無関係に決定されるため、BDPCMの適用条件の判定に用いられる変換スキップモードの最大サイズと、実際の変換スキップ処理が実行される変換ブロックサイズが不一致になる場合があるという問題点を発見した。
【0005】
そこで、本発明は、上述の課題に鑑みてなされたものであり、BDPCMの適用条件として変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いることで、実際に変換スキップ処理が行われる変換ブロックサイズを考慮したBDPCMの適用条件の判定を実現することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の特徴は、画像復号装置であって、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いるように構成されているイントラ予測モード復号部を備えることを要旨とする。
【0007】
本発明の第2の特徴は、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を有することを要旨とする。
【0008】
本発明の第3の特徴は、画像復号装置で用いるプログラムであって、コンピュータに、符号化ブロックに対してBDPCMを適用可能かどうかについて判定する所定条件として、変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いる工程を実行させることを要旨とする。
【発明の効果】
【0009】
本発明によれば、BDPCMの適用条件として変換スキップモードの最大サイズ及び変換ブロックの最大サイズの両方を用いることで、実際に変換スキップ処理が行われる変換ブロックサイズを考慮したBDPCMの適用条件の判定を実現することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0010】
図1】一実施形態に係る画像処理システム10の構成の一例を示す図である。
図2】一実施形態に係る画像復号装置200の機能ブロックの一例を示す図である。
図3】一実施形態に係る画像復号装置200のイントラ予測部242の機能ブロックの一例を示す図である。
図4】一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。
図5】一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。
図6】MaxTbSizeY=32の場合の輝度CU及び色差CUがそれぞれ4つのTUに分割される様子を示す図である。
図7】一実施形態に係る画像符号化装置100の機能ブロックの一例を示す図である。
図8】一実施形態に係る画像符号化装置100のイントラ予測部112の機能ブロックの一例を示す図である。
図9】一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。
図10】一実施形態に係る画像復号装置200のイントラ予測部242のイントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。
図11】変換ブロックの最大サイズとMaxTsSizeとBDPCM適用可否との対応の一例を示す表である。
図12】カラーフォーマットと変換ブロックの最大サイズとMaxTsSizeとの対応の一例を示す表である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
(第1実施形態)
以下、図1図8を参照して、本発明の第1実施形態に係る画像処理システム10について説明する。図1は、本実施形態に係る実施形態に係る画像処理システム10を示す図である。
【0012】
図1に示すように、画像処理システム10は、画像符号化装置100及び画像復号装置200を有する。
【0013】
画像符号化装置100は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置200は、符号化データを復号することによって出力画像信号を生成するように構成されている。
【0014】
ここで、かかる符号化データは、画像符号化装置100から画像復号装置200に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置100から画像復号装置200に提供されてもよい。
【0015】
(画像復号装置200)
以下、図2を参照して、本実施形態に係る画像復号装置200について説明する。図2は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
【0016】
図2に示すように、画像復号装置200は、復号部210と、逆変換・逆量子化部220と、加算器230と、インター予測部241と、イントラ予測部242と、インループフィルタ処理部250と、フレームバッファ260とを有する。
【0017】
復号部210は、画像符号化装置100によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。
【0018】
ここで、例えば、復号は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化されたデータの復号である。
【0019】
復号部210は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
【0020】
ここで、制御データは、符号化ブロック(CU:Coding Unit)サイズや、予測ブロック(PU:Prediction Unit)サイズや、変換ブロック(TU:Transform Unit)サイズ等のサイズデータを含んでもよい。
【0021】
逆変換・逆量子化部220は、復号部210から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部220は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0022】
加算器230は、逆変換・逆量子化部220から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部242及びインループフィルタ処理部250に出力するように構成されている。
【0023】
ここで、フィルタ処理前復号信号は、イントラ予測部242で用いる参照ブロックを構成する。
【0024】
インター予測部241は、インター予測(フレーム間予測)によって予測信号を生成するように構成されている。
【0025】
具体的には、インター予測部241は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部241は、予測信号を加算器230に出力するように構成されている。
【0026】
イントラ予測部242は、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている。
【0027】
具体的には、イントラ予測部242は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部242は、予測信号を加算器230に出力するように構成されている。
【0028】
インループフィルタ処理部250は、加算器230から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ260に出力するように構成されている。
【0029】
ここで、インループフィルタ処理は、複数のフィルタ処理から構成されていてもよい。例えば、フィルタ処理は、ブロック(符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック)の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置100から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
【0030】
フレームバッファ260は、インター予測部241で用いる参照フレームを蓄積するように構成されている。
【0031】
ここで、フィルタ処理後復号信号は、インター予測部241で用いる参照フレームを構成する。
【0032】
(イントラ予測部242)
以下、図3を参照して、本実施形態に係るイントラ予測部242について説明する。図3は、本実施形態に係る画像復号装置200のイントラ予測部242の機能ブロックの一例について示す図である。
【0033】
図3に示すように、イントラ予測部242は、イントラ予測モード復号部242Bと、予測信号生成部242Cとを有する。
【0034】
イントラ予測部242は、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている予測部の一例である。
【0035】
イントラ予測モード復号部242Bは、ブロックごとにイントラ予測を行うために必要な情報を復号するように構成されている。
【0036】
図4は、イントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を示すフローチャートである。以下、図4を用いて、イントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理のフローの一例を説明する。
【0037】
ステップS401において、イントラ予測モード復号部242Bは、所定条件1が満たされているか否かについて判定する。
【0038】
かかる所定条件1には、対象CUの幅がTransform Skipを適用する際の最大サイズ(例えば、非特許文献1のMaxTsSize)以下であることという条件が含まれていてもよい。
【0039】
また、かかる所定条件1には、対象CUの高さがTransform Skipを適用する際の最大サイズ(例えば、非特許文献1のMaxTsSize)以下であることという条件が含まれていてもよい。
【0040】
ここで、CUの幅や高さは、輝度信号のCUサイズ(幅/高さ)としてもよい。
【0041】
なお、MaxTsSizeの具体的な値は、画像符号化装置100で決定され、復号部210で復号される制御データ内に含まれていてもよい。MaxTsSizeの設定可能な値は、例えば、4、8、16、32としてもよい。
【0042】
同様に、輝度信号の変換ブロック(TU)の最大サイズ(例えば、非特許文献1のMaxTbSizeY)の具体的な値も、画像符号化装置100で決定され、復号部210で復号される制御データ内に含まれていてもよい。MaxTbSizeYとして設定可能な値は、32、64としてもよい。
【0043】
例えば、MaxTbSizeYを32と設定した場合、幅又は高さが32より大きなCUにおいては、逆変換処理に際して、幅及び高さがいずれも32画素以下になるように複数のTUに分割された後、逆変換処理が行われることとなる。例えば、図6に示すように、64×64画素サイズの輝度(Y信号)CUは、32×32画素の4つのTUに分割される。
【0044】
以上のような2つの条件を所定条件1に含めた場合、MaxTsSizeを取り得る最大値(32)にしたとしても、上述の所定条件1を満たすCUは、必ず32×32画素サイズ以下である。
【0045】
一方で、MaxTbSizeYの最小値は、32であるため、上述の2つの条件を含む所定条件1を満たすCUのサイズは、必ずMaxTbSizeY以下となるため、かかるCUは、複数のTUに分割されず、CUサイズ=TUサイズとなる。
【0046】
図12に、MaxTsSize=32として、復号画像のカラーフォーマット(4:2:0、4:2:2又は4:4:4)とMaxTbSizeYを変更した場合の変換ブロックの最大サイズとTransform Skipを適用する際の最大サイズとの関係を示す。
【0047】
以上で説明した通り、MaxTbSizeY=32の時(図12のNo.4~6)、輝度信号の最大変換ブロックサイズ及び輝度信号の最大Transform Skipサイズの両方が32×32画素となっていることが分かる。
【0048】
さらに、所定条件1には、SPS(Sequence Parameter Set)において、BDPCM(Block DPCM)が有効になっていること(例えば、sps_bdcpm_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
【0049】
所定条件1が全て満たされる場合には、本処理は、ステップS402へ進み、どれか1つでも満たされない場合には、本処理は、ステップS403へ進む。
【0050】
ステップS402において、イントラ予測モード復号部242Bは、intra_bdpcm_luma_flagを復号する。
【0051】
intra_bdpcm_luma_flagの値が「1」の場合は、当該輝度CUでBDPCMを適用することを意味し、intra_bdpcm_luma_flagの値が「0」の場合は、当該輝度CUでBDPCMを適用しないことを意味する。
【0052】
ステップS403において、イントラ予測モード復号部242Bは、intra_bdpcm_luma_flagの値が「0」より大きいかどうかを判定する。
【0053】
intra_bdpcm_luma_flagの値が「0」より大きい場合には、本処理は、ステップS408へ進み、そうでない場合には、本処理は、ステップS404へ進む。
【0054】
なお、上述の所定条件1が満たされずに、ステップS402の処理が、スキップされた場合には、イントラ予測モード復号部242Bは、intra_bdpcm_luma_flagの値を「0」とみなす。
【0055】
ステップS408において、イントラ予測モード復号部242Bは、intra_bdpcm_luma_dir_flagを復号する。intra_bdpcm_luma_dir_flagは、当該輝度CUにBDPCMを適用する場合に、垂直方向から予測を行うか或いは水平方向から予測を行うかのどちらなのかということを示す。
【0056】
ステップS408の処理が終了した後、本処理は、ステップS410へ進み終了する。
【0057】
ステップS404において、イントラ予測モード復号部242Bは、所定条件2を満足するかどうかを判定する。
【0058】
ここで、所定条件2には、当該輝度CUでMIP(行列ベースイントラ予測)が使用可能であるという条件が含まれていてもよい。
【0059】
所定条件2が満たされる場合は、本処理は、ステップS405へ進み、そうでない場合は、本処理は、ステップS406へ進む。
【0060】
ステップS405において、イントラ予測モード復号部242Bは、intra_mip_flagを復号する。
【0061】
intra_mip_flagの値が「1」の場合、当該輝度CUでMIPを適用することを意味し、intra_mip_flagの値が「0」の場合、当該輝度CUでMIPを適用しないことを意味する。
【0062】
ステップS406において、イントラ予測モード復号部242Bは、intra_mip_flagの値が「0」より大きいかどうかを判定する。
【0063】
intra_mip_flagの値が「0」より大きい場合には、本処理は、ステップS409へ進み、そうでない場合には、本処理は、ステップS407へ進む。
【0064】
なお、上述の所定条件2が満たされずに、ステップS405の処理がスキップされた場合には、イントラ予測モード復号部242Bは、intra_mip_flagの値を「0」とみなす。
【0065】
ステップS409において、イントラ予測モード復号部242Bは、MIP処理に必要なシンタックスを復号する。
【0066】
ステップS409の処理が終了した後、本処理は、ステップS410へ進み終了する。
【0067】
ステップS407では、イントラ予測モード復号部242Bは、通常のイントラ予測のモード及びイントラサブ分割の適用有無等のシンタックスを復号する。
【0068】
ステップS407の処理が終了した後、本処理は、ステップS410へ進み終了する。
【0069】
以上のように、輝度BDPCMの適用可否の判定に、輝度CUのサイズ(幅又は高さ)がMaxTsSize以下であることという条件を含めることで、上述の通り、MaxTbSizeYの設定値に関わらず、輝度BDPCMが適用可能なCUは、複数のTUに分割されることがなく、必ずCUサイズ=TUサイズとなることが担保される。
【0070】
図5は、イントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理フローの一例を示すフローチャートである。以下、図5を用いてイントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理フローの一例を説明する。
【0071】
ステップS501において、イントラ予測モード復号部242Bは、所定条件3を満たしているかどうかを判定する。
【0072】
上述の所定条件3には、当該CUの幅が、後述する方法で算出されるMaxBdpcmWidthC以下であることという条件が含まれていてもよい。
【0073】
また、所定条件3には、当該CUの高さが、後述する方法で算出されるMaxBdpcmHeightC以下であることという条件が含まれていてもよい。
【0074】
ここで、CUの幅や高さは、当該色差信号のサンプリング比に応じた色差信号の実際のCUサイズ(幅/高さ)である。例えば、YUV4:2:0サンプリングの場合、色差信号のCUサイズ(幅/高さ)は、輝度信号の場合と比較して半分になる。
【0075】
MaxBdpcmWidthC及びMaxBdpcmHightCは、以下の通り、算出され得る。なお、Min()は引数の中で最小値を返す関数である。
【0076】
MaxBdpcmWidthC=Min(maxTbWidth,MaxTsSize)
MaxBdpcmHeightC=Min(maxTbHeight,MaxTsSize)
ここで、maxTbWidth及びmaxTbHeightは、輝度信号の最大TUサイズ(MaxTbSizeY)及びとカラーフォーマット(4:2:0、4:2:2又は4:4:4)に応じて決定される色差信号の最大TUサイズであり、具体的には、以下のように算出される。
【0077】
maxTbWidth=MaxTbSizeY/SubWidthC
maxTbHeight=MaxTbSizeY/SubHeightC
ここで、SubWidthCは、4:2:0及び4:2:2フォーマットの場合は「2」であり、それ以外の場合は「1」である。SubHeightCは、4:2:0フォーマットの場合は「2」であり、それ以外の場合は「1」である。
【0078】
例えば、4:2:0フォーマットで、且つ、MaxTbSizeYの値が32(取り得る最小値)であった場合、maxTbWidth及びmaxTbHeightは、共に16となる。一方、MaxTbSizeの値が32(取り得る最大値)であった場合、MaxBdpcmWidthC及びMaxBdpcmHeightCは、それぞれ16及び32の小さい方の値が代入されるため、いずれも16となる。
【0079】
上述の例は、図12のNo.4に対応している。この場合、例えば、32×32画素サイズの色差CUは、図6に示すように、4つの16×16画素サイズのTUに分割される。
【0080】
すなわち、イントラ予測モード復号部242Bは、色差CU(符号化ブロック)に対して色差BDPCMを適用可能かどうかについて判定する所定条件3として、MaxTsSize(変換スキップモードの最大サイズ)及びMaxTbSizeY(変換ブロックの最大サイズ)の両方を用いるように構成されている。
【0081】
上述のように、所定条件3に、当該色差CUの幅がMaxBdpcmWidthCであり且つ当該色差CUの高さがMaxBdpcmHeightC以下であるという条件を含めることで、所定条件3を満たすCUサイズは、常に、maxTbWidth及びmaxTbHeight以下であることが担保される。よって、当該CUは、複数のTUには分割されず、必ずCUサイズ=TUサイズとなることが担保される。
【0082】
所定条件3には、SPS(Sequence Parameter Set)においてBDPCM(Block-wise DPCM)が有効になっていること(例えば、sps_bdpcm_chroma_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
【0083】
所定条件3が全て満たされる場合には、本処理は、ステップS502へ進み、どれか1つでも満たされない場合には、本処理は、ステップS503へ進む。
【0084】
ステップS502において、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_flagを復号する。
【0085】
intra_bdpcm_chroma_flagの値が「1」の場合、当該色差CUでBDPCMを適用することを意味し、intra_bdpcm_chroma_flagの値が「0」の場合は、BDPCMを適用しないことを意味する。
【0086】
ステップS503において、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_flagの値が「0」より大きいかどうかを判定する。
【0087】
intra_bdpcm_chroma_flagの値が「0」より大きい場合には、本処理は、ステップS508へ進み、そうでない場合には、本処理は、ステップS504へ進む。
【0088】
なお、所定条件3が満たされずに、ステップS502の処理がスキップされた場合には、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_flagの値を「0」とみなす。
【0089】
ステップS508において、イントラ予測モード復号部242Bは、intra_bdpcm_chroma_dir_flagを復号する。
【0090】
intra_bdpcm_chroma_dir_flagは、当該色差CUにBDPCMを適用する場合に、垂直方向から予測を行うか或いは水平方向から予測を行うかのどちらなのかということを示す。
【0091】
ステップS508の処理が終了した後、本処理は、ステップS510へ進み終了する。
【0092】
ステップS504において、イントラ予測モード復号部242Bは、所定条件4を満足するかどうかを判定する。
【0093】
ここで、所定条件4には、当該色差CUでCCLM(色差線形予測)が使用可能であるという条件が含まれていてもよい。
【0094】
所定条件4が満たされる場合は、本処理は、ステップS505へ進み、そうでない場合は、本処理は、ステップS506へ進む。
【0095】
ステップS505において、イントラ予測モード復号部242Bは、cclm_mode_flagを復号する。
【0096】
cclm_mode_flagの値が「1」の場合は、当該色差CUでCCLMを適用することを意味し、cclm_mode_flagの値が「0」の場合は、当該色差CUでCCLMを適用しないことを意味する。
【0097】
ステップS506において、イントラ予測モード復号部242Bは、cclm_mode_flagの値が「0」より大きいかどうかを判定する。
【0098】
cclm_mode_flagの値が「0」より大きい場合には、本処理は、ステップS509へ進み、そうでない場合には、本処理は、ステップS507へ進む。
【0099】
なお、上述の所定条件4が満たされずに、ステップS505の処理がスキップされた場合には、イントラ予測モード復号部242Bは、cclm_mode_flagの値を「0」とみなす。
【0100】
ステップS509において、イントラ予測モード復号部242Bは、cclm_mode_idxを復号する。
【0101】
ステップS509の処理が終了した後、本処理は、ステップS510へ進み終了する。
【0102】
ステップS507では、イントラ予測モード復号部242Bは、通常のイントラ予測のモード(intra_chroma_pred_mode)を復号する。
【0103】
ステップS507の処理が終了した後、本処理は、ステップS510へ進み終了する。
【0104】
以上のように、色差BDPCMの適用可否の判定に、色差CUの幅がMaxTsSize及びmaxTbWidthの小さい方の値以下であり、かつ、色差CUの高さがMaxTsSize及びmaxTbHeightの小さい方の値以下であるという条件を含めることで、上述の通り、MaxTbSizeYの設定値に関わらず、色差BDPCMが適用可能なCUは、複数のTUに分割されることがなく、必ずCUサイズ=TUサイズとなることが担保される。
【0105】
さらに、上述のように、輝度BDPCMが適用可能なCUについても必ずCUサイズ=TUサイズとなることが担保されるため、上述のような構成とすることで、BDPCMが適用可能なCUについては、輝度及び色差を問わず、必ずCUサイズ=TUサイズとなることが担保される。
【0106】
上述の具体例を図11に示す。図11は、カラーフォーマットが4:2:0、MaxTsSize=32(取り得る最大値)、MaxTbSizeY=32(取り得る最小値)の場合の、輝度(Luma)CUサイズに対応する輝度TUサイズ、色差(Chroma)CUサイズ、色差TUサイズ及びBDPCM適用可否をまとめた表である。
【0107】
なお、CUサイズLumaの値は、あくまで一例であり、CUサイズのバリエーションを表に記載の種類のみに限定するものではない。
【0108】
例えば、非特許文献1では、64×16、64×8といったサイズのブロックも使用可能である。非特許文献1では、色差BDPCMの適用判定においても、輝度BDPCMと同様に、当該色差CUのサイズ(高さ及び幅)がMaxTsSize以下であることを条件としている。
【0109】
よって、図11のNo.4~6のケースにおいて、輝度CUでは、幅又は高さが32より大きいので、BDPCMが適用不可だが、色差CUでは。幅及び高さの両方が32以下になるため、BDPCMが適用可能である。
【0110】
一方、No.4~6のケースでは、輝度CU及び色差CUのいずれも複数のTUに分割される。これに対して、第1実施形態では、以上のような構成とすることで、輝度信号及び色差信号の両方について、CUサイズ=TUサイズとなる場合(No.7~10のケースに対応)にのみBDPCMを適用可能としている。
【0111】
これにより、予測モード(BDPCM)とCUサイズとTU分割の有無に関する組み合わせ数を削減することができ、画像復号装置200の設計及び検証が容易になる。
【0112】
図3に示す予測信号生成部242Cは、イントラ予測モード復号部242Bで復号された処理対象ブロックの予測モードに基づいて、予測信号を生成するように構成されている。ここで、予測信号の生成方法は、例えば、非特許文献1に記載の公知の方法を用いることができる。
【0113】
(画像符号化装置100)
以下、図7を参照して、本実施形態に係る画像符号化装置100について説明する。図7は、本実施形態に係る画像符号化装置100の機能ブロックの一例について示す図である。
【0114】
図7に示すように、画像符号化装置100は、インター予測部111と、イントラ予測部112と、減算器121と、加算器122と、変換・量子化部131と、逆変換・逆量子化部132と、符号化部140と、インループフィルタ処理部150と、フレームバッファ160とを有する。
【0115】
インター予測部111は、インター予測部241と同様に、インター予測(フレーム間予測)によって予測信号を生成するように構成されている。
【0116】
具体的には、インター予測部111は、符号化対象のフレーム(以下、対象フレーム)とフレームバッファ160に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定するように構成されている。
【0117】
また、インター予測部111は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成するように構成されている。インター予測部111は、予測信号を減算器121及び加算器122に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
【0118】
イントラ予測部112は、イントラ予測部242と同様に、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている。
【0119】
具体的には、イントラ予測部112は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。また、イントラ予測部112は、予測信号を減算器121及び加算器122に出力するように構成されている。
【0120】
ここで、参照ブロックは、予測対象のブロック(以下、対象ブロック)について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
【0121】
減算器121は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部131に出力するように構成されている。ここで、減算器121は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。
【0122】
加算器122は、逆変換・逆量子化部132から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部112及びインループフィルタ処理部150に出力するように構成されている。
【0123】
ここで、フィルタ処理前復号信号は、イントラ予測部112で用いる参照ブロックを構成する。
【0124】
変換・量子化部131は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部131は、係数レベル値の量子化を行うように構成されていてもよい。
【0125】
ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換(DCT;Discrete Cosine Transform)に対応する基底パターン(変換行列)が用いられてもよく、離散サイン変換(DST;Discrete Sine Transform)に対応する基底パターン(変換行列)が用いられてもよい。
【0126】
逆変換・逆量子化部132は、逆変換・逆量子化部220と同様に、変換・量子化部131から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部132は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0127】
ここで、逆変換処理及び逆量子化は、変換・量子化部131で行われる変換処理及び量子化とは逆の手順で行われる。
【0128】
符号化部140は、変換・量子化部131から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。
【0129】
ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【0130】
また、符号化部140は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。
【0131】
なお、上述したように、制御データは、符号化ブロックサイズや予測ブロックサイズや変換ブロックサイズ等のサイズデータを含んでもよい。
【0132】
インループフィルタ処理部150は、インループフィルタ処理部250と同様に、加算器122から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ160に出力するように構成されている。
【0133】
フレームバッファ160は、インター予測部111で用いる参照フレームを蓄積するように構成されている。
【0134】
ここで、フィルタ処理後復号信号は、インター予測部111で用いる参照フレームを構成する。
【0135】
(イントラ予測部112)
以下、図8を参照して、本実施形態に係るイントラ予測部112について説明する。図8は、本実施形態に係る画像符号化装置112のイントラ予測部112の機能ブロックの一例について示す図である。
【0136】
図8に示すように、イントラ予測部112は、イントラ予測モード決定部112Aと、イントラ予測モード符号化部112Bと、予測信号生成部112Cとを有する。
【0137】
イントラ予測部112は、イントラ予測(フレーム内予測)によって予測信号を生成するように構成されている予測部の一例である。
【0138】
イントラ予測モード決定部112Aは、当該ブロックのイントラ予測モードやBDPCMの適用有無等、後段のイントラ予測モード符号化部112Bで符号化する情報を決定するように構成されている。決定の方法は、公知の方法を用いることが可能であるため詳細は省略する。
【0139】
イントラ予測モード符号化部112Bは、対象ブロックの予測モードを符号化するように構成されている。処理内容は、イントラ予測モード復号部242Bと同様の処理となる。具体的には、例えば、図4及び図5に示すイントラ予測モード復号部242Bの処理フローチャートのうち「復号」の部分を「符号化」に変更した処理となる。
【0140】
予測信号生成部112Cは、イントラ予測モード112Bで符号化した予測モードにしたがって、当該ブロックの予測信号を生成するように構成されている。予測信号の生成方法は、予測信号生成部242Cと同一である。
【0141】
(第2実施形態)
以下、図9図10を参照して、本発明の第2実施形態について説明する。なお、以降では第1実施形態との差分のみを説明することとし、第1実施形態と同一の処理の箇所については説明を省略する。
【0142】
図9は、イントラ予測モード復号部242Bによる輝度信号のイントラ予測モードの復号処理フローの一例を示すフローチャートである。図9は、図4のステップS401がステップS901に置き換わっている以外は、図4を用いて説明した第1実施形態の処理と同一である。
【0143】
ステップS901において、イントラ予測モード復号部242Bは、所定条件5を満足するかどうかを判定する。
【0144】
所定条件5には、当該CUの幅が、後述する方法で算出されるMaxBdpcmSizeY以下であることという条件が含まれていてもよい。
【0145】
また、所定条件5には、当該CUの高さが、後述する方法で算出されるMaxBdpcmSizeY以下であることという条件が含まれていてもよい。
【0146】
MaxBdpcmSizeYは、以下の通り、算出され得る。
【0147】
MaxBdpcmSizeY=(MaxTbSizeY>MaxTsSize)? MazTsSize:CtbSizeY
ここで、a ? b : cは、条件aが真のときはbの値を返し、条件aが偽の時はcの値を返す関数である。
【0148】
よって、例えば、MaxTbSizeYが64であり、MaxTsSizeが32である場合は、MaxBdpcmSizeYの値は、MaxTsSize(=32)となる。
【0149】
同様に、例えば、MaxTbSizeYが32であり、MaxTsSizeが32の場合、MaxBdpcmSizeYの値は、CtbSizeYとなる。CtbSizeYは、CUの最大サイズであり、例えば、非特許文献1では、32、64、128の値をとることができる。この場合、すなわち、MaxTbSizeY≦MaxTsSizeであり、MaxBdpcmSizeY=CtbSizeYとなる場合、所定条件5は、当該CUの幅及び高さがCUの最大サイズ以下であることという意味になるため、全てのCUについて所定条件5が満たされるようになる。
【0150】
また、非特許文献1では、BDPCMを適用するCUに対応するTUには、必ずTransform Skip(TS)を適用する必要があるが、上述のように、MaxTbSizeY(TUの最大サイズ)がMaxTsSize(TSが適用可能なTUの最大サイズ)以下の場合、全てのTUに対してTSが適用可能となる。
【0151】
すなわち、イントラ予測モード復号部242Bは、輝度CU(符号化ブロック)に対して輝度BDPCMを適用可能かどうかについて判定する所定条件5として、MaxTSize(変換スキップモードの最大サイズ)及びMaxTbSizeY(変換ブロックの最大サイズ)の両方を用いるように構成されている。
【0152】
よって、上述のように、全てのCUサイズに対してBDPCMを適用可能としても、非特許文献1の制約(BDPCMを適用するCUに対応するTUには、必ずTSを適用する)を担保しつつ、第1実施形態と比較して、BDPCMを適用可能なCUサイズのパターンを増やすことができる。
【0153】
さらに、所定条件5には、SPS(Sequence Parameter Set)においてBDPCM(Block-wise DPCM)が有効になっていること(例えば、sps_bdpcm_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
【0154】
所定条件5が全て満たされる場合には、本処理は、ステップS402へ進み、どれか1つでも満たされない場合には、本処理は、ステップS403へ進む。
【0155】
以上のように、maxTbWidth及びmaxTbHeightが、MaxTsSize以下の場合、上述のように、全てのCUでBDPCMを適用可能とすることで、非特許文献1の制約(BDPCMを適用するCUに対応するTUには、必ずTSを適用する)を担保しつつ、第1実施形態と比較して、BDPCMを適用可能なCUサイズのパターンを増やすことができる。これにより、符号化効率の向上が見込まれる(図11参照)。
【0156】
図10は、イントラ予測モード復号部242Bによる色差信号のイントラ予測モードの復号処理フローの一例を示すフローチャートである。図10は、図5のステップS501がステップS1001に置き換わっている以外は、図5を用いて説明した第1実施形態の処理と同一である。
【0157】
ステップS1001において、イントラ予測モード復号部242Bは、所定条件6を満足するかどうかを判定する。
【0158】
所定条件6には、当該CUの幅が、後述する方法で算出されるMaxBdpcmWidthC以下であることという条件が含まれていてもよい。
【0159】
また、所定条件6には、当該CUの高さが、後述する方法で算出されるMaxBdpcmHeightC以下であることという条件が含まれていてもよい。
【0160】
ここで、CUの幅や高さは、当該色差信号のサンプリング比に応じた色差信号の実際のCUサイズ(幅/高さ)である。例えば、YUV4:2:0サンプリングの場合、色差信号のCUサイズ(幅/高さ)は、輝度信号の場合と比較して半分になる。
【0161】
MaxBdpcmWidthC及びMaxBdpcmHeightCは、以下の通り、算出され得る。
【0162】
MaxBdpcmWidthC=(maxTbWidth>MaxTsSize)? MaxTsSize:CtbSizeY/SubWidthC
MaxBdpcmHeightC=(maxTbHeight>MaxTsSize)? MaxTsSize:CtbSizeY/SubHeightC
すなわち、イントラ予測モード復号部242Bは、色差CU(符号化ブロック)に対して色差BDPCMを適用可能かどうかについて判定する所定条件1として、MaxTSize(変換スキップモードの最大サイズ)及びMaxTbSizeY(変換ブロックの最大サイズ)の両方を用いるように構成されている。
【0163】
図9を用いて説明した輝度CUの場合と同様に、例えば、maxTbWidthがMaxTsSize以下で且つmaxTbHeightがMaxTsSize以下の場合、MaxBdpcmWidthCは、CtbSizeY/SubWidthC(色差CUの幅の最大値)となり、MaxBdpcmHeightCは、CtbSizeY/SubHeightC(色差CUの高さの最大値)となる。よって、この場合、全ての色差CUについて所定条件6が満たされるようになる。
【0164】
また、輝度CUの場合と同様に、全てのCUサイズに対してBDPCMを適用可能としても、非特許文献1の制約(BDPCMを適用するCUに対応するTUには必ずTSを適用する)を担保しつつ、第1実施形態と比較してBDPCMを適用可能な色差CUサイズのパターンを増やすことができる。
【0165】
さらに、所定条件6には、SPS(Sequence Parameter Set)においてBDPCM(Block-wise DPCM)が有効になっていること(例えば、sps_bdcpm_enabled_flagの値が「0」より大きいこと)という条件が含まれていてもよい。
【0166】
所定条件6が全て満たされる場合には、本処理は、ステップS502へ進み、どれか1つでも満たされない場合には、本処理は、ステップS503へ進む。
【0167】
以上のように、maxTbWidth及びmaxTbHeightが、MaxTsSize以下の場合、上記のように、全ての色差CUでBDPCMを適用可能とすることで、非特許文献1の制約(BDPCMを適用するCUに対応するTUには必ずTSを適用する)を担保しつつ、第1実施形態と比較してBDPCMを適用可能なCUサイズのパターンを増やすことができる。これにより、符号化効率の向上が見込まれる。
【0168】
また、上述の画像符号化装置100及び画像復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
【0169】
なお、上記の各実施形態では、本発明を画像符号化装置100及び画像復号装置200への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、画像符号化装置100及び画像復号装置200の各機能を備えた画像符号化/復号システムにも同様に適用できる。
【符号の説明】
【0170】
10…画像処理システム
100…画像符号化装置
111、241…インター予測部
112、242…イントラ予測部
112A…イントラ予測モード決定部
112B…イントラ予測モード符号化部
112C、242C…予測信号生成部
121…減算器
122、230…加算器
131…変換・量子化部
132、220…逆変換・逆量子化部
140…符号化部
150、250…インループフィルタ処理部
160、260…フレームバッファ
200…画像復号装置
210…復号部
242B…イントラ予測モード復号部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12