特許第6792997号(P6792997)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特許6792997-符号化装置、復号装置及びプログラム 図000002
  • 特許6792997-符号化装置、復号装置及びプログラム 図000003
  • 特許6792997-符号化装置、復号装置及びプログラム 図000004
  • 特許6792997-符号化装置、復号装置及びプログラム 図000005
  • 特許6792997-符号化装置、復号装置及びプログラム 図000006
  • 特許6792997-符号化装置、復号装置及びプログラム 図000007
  • 特許6792997-符号化装置、復号装置及びプログラム 図000008
  • 特許6792997-符号化装置、復号装置及びプログラム 図000009
  • 特許6792997-符号化装置、復号装置及びプログラム 図000010
  • 特許6792997-符号化装置、復号装置及びプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6792997
(24)【登録日】2020年11月11日
(45)【発行日】2020年12月2日
(54)【発明の名称】符号化装置、復号装置及びプログラム
(51)【国際特許分類】
   H04N 19/12 20140101AFI20201119BHJP
   H04N 19/139 20140101ALI20201119BHJP
   H04N 19/157 20140101ALI20201119BHJP
   H04N 19/176 20140101ALI20201119BHJP
【FI】
   H04N19/12
   H04N19/139
   H04N19/157
   H04N19/176
【請求項の数】12
【全頁数】19
(21)【出願番号】特願2016-201528(P2016-201528)
(22)【出願日】2016年10月13日
(65)【公開番号】特開2018-64194(P2018-64194A)
(43)【公開日】2018年4月19日
【審査請求日】2019年9月4日
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】キュリーズ特許業務法人
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】市ヶ谷 敦郎
【審査官】 岩井 健二
(56)【参考文献】
【文献】 Xin Zhao et al.,Grouped signalling for transform in QTBT,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting: Geneva, CH,2016年 5月,JVET-C0054,pp.1-3
【文献】 Jianle Chen et al.,Algorithm Description of Joint Exploration Test Model 3,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting: Geneva, CH,2016年 7月,JVET-C1001_v3,pp.1-111,1-3,22-24
【文献】 Vadim Seregin et al.,EE2: Grouped signalling for transform,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,4th Meeting: Chengdu, CN,2016年10月 6日,JVET-D0112 (version 1),pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成さ
れている符号化装置であって、
符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを
有しており且つ最後に分割されるときに前記符号化対象ブロックと同一のブロック内に存
在していたブロックである同階層ブロックの動きベクトルとが同一である場合、前記同階
層ブロックにおける直交変換処理の適用の有無に基づいて、前記符号化対象ブロックにお
いて直交変換処理を適用するか否かについて決定するように構成されている決定部と、
前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されてい
る符号化部とを具備していることを特徴とする符号化装置。
【請求項2】
前記決定部は、前記同階層ブロックの動きベクトル及び前記符号化対象ブロックの動き
ベクトルが同一である場合で、且つ、前記同階層ブロックにおいて直交変換処理が適用さ
れていない場合には、前記符号化対象ブロックにおいて直交変換処理を適用すると決定し
、前記同階層ブロックにおいて直交変換処理が適用されている場合には、前記符号化対象
ブロックにおいて直交変換処理を適用しないと決定するように構成されており、
前記符号化部は、前記符号化対象ブロックにおいて直交変換処理を適用するか否かにつ
いて示す情報を符号化することなく、前記符号化対象ブロックの残差信号及び動きベクト
ルを符号化するように構成されていることを特徴とする請求項1に記載の符号化装置。
【請求項3】
動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成さ
れている符号化装置であって、
符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを
有しており且つ最後に分割されるときに前記符号化対象ブロックと同一のブロック内に存
在していたブロックである同階層ブロックの動きベクトルとが同一である場合、前記同階
層ブロックにおいて適用されている直交変換処理の種類に基づいて、前記符号化対象ブロ
ックにおいて適用しない直交変換処理の種類について決定するように構成されている決定
部と、
前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されてい
る符号化部とを具備することを特徴とする符号化装置。
【請求項4】
動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成され
ている復号装置であって、
符号化対象ブロック動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有
しており且つ最後に分割されるときに前記符号化対象ブロックと同一のブロック内に存在
していたブロックである同階層ブロックの動きベクトルとが同一である場合、前記同階層
ブロックにおける直交変換処理の適用の有無に基づいて、前記符号化対象ブロックにおい
て直交変換処理が適用されているか否かについて決定するように構成されている決定部を
具備することを特徴とする復号装置。
【請求項5】
前記決定部は、前記同階層ブロックの動きベクトル及び前記符号化対象ブロックの動き
ベクトルが同一である場合で、且つ、前記同階層ブロックにおいて直交変換処理が適用さ
れていない場合には、前記符号化対象ブロックにおいて直交変換処理が適用されていると
決定し、前記同階層ブロックにおいて直交変換処理が適用されている場合には、前記符号
化対象ブロックにおいて直交変換処理が適用されていないと決定するように構成されてい
ることを特徴とする請求項4に記載の復号装置。
【請求項6】
動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成され
ている復号装置であって、
符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを
有しており且つ最後に分割されるときに前記符号化対象ブロックと同一のブロック内に存
在していたブロックである同階層ブロックの動きベクトルとが同一である場合、前記同階
層ブロックにおいて適用されている直交変換処理の種類に基づいて、前記符号化対象ブロ
ックにおいて適用されていない直交変換処理の種類を決定するように構成されている決定
部を具備することを特徴とする復号装置。
【請求項7】
動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成さ
れている符号化装置であって、
符号化対象ブロックの動きベクトルと、最後に分割されるときに前記符号化対象ブロッ
クと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルとが
同一である場合、前記同階層ブロックにおける直交変換処理の適用の有無に基づいて、前
記符号化対象ブロックにおいて直交変換処理を適用するか否かについて決定するように構
成されている決定部と、
前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されてい
る符号化部とを具備していることを特徴とする符号化装置。
【請求項8】
動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成さ
れている符号化装置であって、
符号化対象ブロックの動きベクトルと、最後に分割されるときに前記符号化対象ブロッ
クと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルとが
同一である場合、前記同階層ブロックにおいて適用されている直交変換処理の種類に基づ
いて、前記符号化対象ブロックにおいて適用しない直交変換処理の種類について決定する
ように構成されている決定部と、
前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されてい
る符号化部とを具備することを特徴とする符号化装置。
【請求項9】
動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成され
ている復号装置であって、
符号化対象ブロック動きベクトルと、最後に分割されるときに前記符号化対象ブロック
と同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルとが同
一である場合、前記同階層ブロックにおける直交変換処理の適用の有無に基づいて、前記
符号化対象ブロックにおいて直交変換処理が適用されているか否かについて決定するよう
に構成されている決定部を具備することを特徴とする復号装置。
【請求項10】
動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成され
ている復号装置であって、
符号化対象ブロックの動きベクトルと、最後に分割されるときに前記符号化対象ブロッ
クと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルとが
同一である場合、前記同階層ブロックにおいて適用されている直交変換処理の種類に基づ
いて、前記符号化対象ブロックにおいて適用されていない直交変換処理の種類を決定する
ように構成されている決定部を具備することを特徴とする復号装置。
【請求項11】
コンピュータを、請求項1〜3、7、8のいずれか一項に記載の符号化装置として機能
させるためのプログラム。
【請求項12】
コンピュータを、請求項4〜6、9、10のいずれか一項に記載の復号装置として機能
させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【0002】
H.265/HEVC(High Efficiency Video Coding)に代表される動画像(映像)符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。
【0003】
HEVCのインター予測では、動きベクトルを用いて予測画像を生成するよう構成されている。また、復号装置(デコーダ)に対して動きベクトルを伝送するため、適応動きベクトル予測モード及びマージモードの2種類のベクトル予測手法が用意されている。
【0004】
HEVCでは、動画像を構成するフレーム単位の原画像の符号化処理を行う最も大きい単位のブロックである符号化ツリーユニット(CTU::Coding Tree Unit)に分割し、左上からラスター順に符号化処理を行っていく。CTUは、さらに符号化ユニット(CU:Coding Unit)というブロックに階層的に四分木分割を行うことが可能であり、符号化装置(エンコーダ)の決定に従って分割される。
【0005】
符号化装置は、例えば、符号化対象ブロックの絵柄に応じて、平坦な領域では大きいブロック単位で符号化処理を行い、複雑なテクスチャを持つ領域では小さいブロック単位で符号化処理を行うように決定する。このように、符号化装置において可変なブロックサイズで符号化処理を行うことで、ブロックごとに必要なフラグ情報や直交変換係数の伝送等に必要な情報量を低減することが可能である。
【0006】
しかしながら、平坦な領域の中のごく一部にテクスチャ領域が存在する場合に絵柄に適応的にブロック分割を行う場合には、四分木分割を繰り返し行う必要があるが、かかるブロック分割を行うことでブロック分割を行う必要のない平坦な領域についてもブロック分割を行うこととなり、フラグ情報の伝送に必要な情報量が増加し、符号化効率が低減してしまう問題点があった。
【0007】
例えば、図7(a)に示すように、ブロックの内部に一部テクスチャXが存在する場合でも、四分木分割を階層的に繰り返すため、ブロック内部右側の平坦な領域Aについても四分木分割を行う必要があり、情報量が増大する。
【0008】
かかる問題点を解決するため、非特許文献1では、HEVCで規定されているCUの階層的な四分木分割に加えて水平若しくは垂直に階層的に行う二分木分割を適用可能とし、より絵柄に適応した分割を可能としている。
【0009】
例えば、図7(b)に示すように、二分木分割を適用することで、四分木分割に比べ平坦な領域Aにおけるブロックサイズが大きくなり、フラグ情報や直交変換係数等の伝送に必要な情報量の低減を可能としている。
【0010】
ところで、インター予測では、符号化装置によって決定された動きベクトルに従ってインター予測行い予測画像を生成し、適用した動きベクトルの情報を復号装置側に伝送することで、復号装置側で同様の予測画像を生成し復号を行う。
【0011】
HEVCでは、マージモードが適用されている場合、動きベクトルの伝送に必要な情報量を低減するため、周辺の複数のCUに適用した動きベクトルを動きベクトル候補として予測ベクトルリストを生成し、リスト内の動きベクトルを用いて符号化対象CUの動きベクトルの予測を行うように構成されている。
【0012】
HEVCにおけるマージモードでは、符号化対象CUの動きベクトルが予測ベクトルリスト内の動きベクトルと同一であった場合には、残差ベクトルを送ることなく、予測ベクトルリストのインデックスのみを伝送することでより伝送する情報量を低減させるように構成されている。
【0013】
HEVCにおける予測ベクトルリストは、図8に示すように、空間予測ベクトル候補A0/A1/B0/B1/B2及び時間予測ベクトル候補Hの中から予め規定された順に5つの予測ベクトルを格納する。
【0014】
図8に示すように、空間予測ベクトル候補A0/A1/B0/B1/B2は、符号化対象CUの上側や左側に位置するCUの動きベクトルであり、時間予測ベクトル候補Hは、符号化対象CUの同一座標付近の異なるフレームのブロックの動きベクトルである。
【0015】
マージモードにおいては、予測ベクトルリスト内に符号化対象CUに適用する動きベクトルが含まれているか否かを示すフラグ、及び、かかる動きベクトルが含まれている場合には予測ベクトルリストの何番目の予測ベクトルであるかについて示すインデックス情報を伝送する。
【0016】
また、HEVCでは、符号化対象ブロックにおける残差信号に対して直交変換処理を適用して量子化処理を行うモードの他、符号化対象ブロックにおける残差信号に対して直交変換処理を行わずに量子化処理を行うTransform skipモードが用意されている。
【0017】
Transform skipモードは、急峻なエッジがあるような残差信号のように、直交変換処理を適用すると、かえって残差信号のエントロピーが増加してしまう場合に有効である。HEVCにおいては、予め規定した条件に基づいて、Transform skipモードを適用可能な符号化対象ブロックにおいてTransform skipモードを適用するか否かについて示すフラグを伝送する。
【0018】
また、非特許文献2では、残差信号に対して適用する直交変換処理を複数種類用意しておき、適用する直交変換処理の種類を示すフラグをCU単位で伝送することが規定されている。
【先行技術文献】
【非特許文献】
【0019】
【非特許文献1】J.An、Y-W Chen、K.Zhang、H.Huang、Y-W Huang、S.Lei、「Block partitioning structure for next generation video coding」、MPEG doc.m37524及びITU-T SG16 Doc. COM16-C966、2015年10月
【非特許文献2】JVET-C1001 Algorithm description of Joint Exploration Test Model 3 (JEM3)
【発明の概要】
【発明が解決しようとする課題】
【0020】
非特許文献2では、非特許文献1のように、二分木分割を適用可能とする場合にも、符号化対象CUの分割形状や隣接するCUがTransform skipモードを適用したか否かに依らず、かかる符号化対象CUがTransform skipモードを適用するか否かについて示すフラグが伝送される。
【0021】
また、非特許文献2では、二分木分割を適用可能とする場合にも、符号化対象CUの分割形状や符号化対象CUに隣接するCUに適用した直交変換処理の種類等に依らず、適用する直交変換処理の種類を示すフラグが伝送される。
【0022】
例えば、符号化対象CUの領域全体が一様に動いている場合においては、図9(a)に示すように、ブロック分割(二分木分割)を行わない場合には、符号化対象CUの動きベクトル及び直交変換係数の情報を伝送するだけでよいのに対して、図9(b)に示すように、垂直方向に二分木分割を行う場合には、分割された各CUの動きベクトル及び直交変換係数の情報を伝送する必要がある。
【0023】
図9(b)のようなCUの分割形状が選択され、且つ、動きベクトルが左右のCUで同一である場合には、2つのCUの両方において同一の種類の直交変換処理を適用する或いは2つのCUの両方において直交変換処理を適用しない(Transform skipモードを適用する)場合、図9(a)のようにブロック分割を行わないCUの分割形状である方が伝送する情報量が低くなることから、2つのCUの両方において同一の種類の直交変換処理を適用する或いはTransform skipモードを適用する可能性は低い。
【0024】
言いかえると、このような二分木分割形状が選択される場合には、ある直交変換の種類が一方のCUにおいて適用された場合には、かかる直交変換処理と異なる種類の直交変換処理が、他方のCUにおいて適用される可能性が高い。
【0025】
また、一方のCUにおいてTransform skipモードが適用された場合には、他方のCUにおいてはTransform skipモードが適用されない(適用可能な直交変換処理のうちのいずれかが適用される)可能性が高い。
【0026】
しかしながら、非特許文献2では、上述のような二分木分割において動きベクトルが等しい場合にも、符号化対象CUにTransform skipモードを適用するか否かについてフラグ(Transform skipフラグ)や適用する直交変換処理の種類を示すフラグを伝送しているため、符号化効率が低下する問題がある。
【0027】
非特許文献2においては、まず、符号化対象CUに対して、Transform skipフラグを伝送し、Transoform skipが適用される場合には、適用した直交変換処理の種類を示すフラグは伝送されない。一方、Transform skipモードが適用されない場合には、適用した直交変換処理の種類を示すフラグを伝送する。
【0028】
以下説明の簡略化のため、図9(b)のように二分木分割を行ったことにより生成された同一の幅及び高さを有している2つのブロック(最後に分割される前に同一のブロック内に存在した2つのブロック)を同階層ブロックであると呼ぶこととする。
【0029】
図10において、CU1及びCU2を同階層CUと呼び、CU4及びCU5を同階層CUと呼び、CU6及びCU7を同階層CUと呼ぶ。しかしながら、CU3においては、下側に隣接するCUがさらに二分木分割されておりブロックサイズが異なるため、CU3及びCU4或いはCU3及びCU5を同階層CUとは呼ばない。また、CU2及びCU8或いはCU5及びCU7のように、幅や高さが同一であったとしても、最後に分割する前に同一のCU内に存在しなかったCU同士についても同階層CUとは呼ばない。
【0030】
そこで、本発明は、上述した課題を解決するためになされたものであり、符号化対象ブロック(符号化対象CU)の動きベクトル及び同階層ブロック(同階層CU)の動きベクトルが同一であった場合には、かかる同階層ブロックにおける直交変換処理を適用の有無若しくは適用された直交変換処理の種類に応じて符号化対象ブロックにおける直交変換処理の適用の有無若しくは適用された直交変換処理の種類を暗黙的に決定することで、直交変換処理の種類の適用の有無を示すフラグの伝送若しくは適用された直交変換処理の種類を示すフラグの伝送にかかる情報量を低減し、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。
【0031】
また、本発明は、符号化対象ブロックの動きベクトル及び同階層ブロックの動きベクトルが同一であった場合には、かかる同階層ブロックに適用されている直交変換処理の種類に応じて符号化対象ブロックに適用する直交変換処理の種類を決定することで、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0032】
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおける直交変換処理の適用の有無とに基づいて、前記符号化対象ブロックにおいて直交変換処理を適用するか否かについて決定するように構成されている決定部と、前記符号化対象ブロックにおいて直交変換処理を適用するか否かについて示す情報を符号化することなく、前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されている符号化部とを具備することを要旨とする。
【0033】
本発明の第2の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおいて適用されている直交変換処理の種類とに基づいて、前記符号化対象ブロックにおいて適用しない直交変換処理の種類について決定するように構成されている決定部と、前記符号化対象ブロックの残差信号及び動きベクトルを符号化するように構成されている符号化部とを具備することを要旨とする。
【0034】
本発明の第3の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成されている復号装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおける直交変換処理の適用の有無とに基づいて、前記符号化対象ブロックにおいて直交変換処理が適用されているか否かについて決定するように構成されている決定部を具備することを要旨とする。
【0035】
本発明の第4の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して復号するように構成されている復号装置であって、符号化対象ブロックの動きベクトルと、前記符号化対象ブロックと同一の幅及び高さを有しており且つ最後に分割される前に前記符号化対象ブロックと同一のブロック内に存在していたブロックである同階層ブロックの動きベクトルと、前記同階層ブロックにおいて適用されている直交変換処理の種類とに基づいて、前記符号化対象ブロックにおいて適用されていない直交変換処理の種類を決定するように構成されている決定部を具備することを要旨とする。
【0036】
本発明の第5の特徴は、コンピュータを、上述の第1或いは第2の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。
【0037】
本発明の第6の特徴は、コンピュータを、上述の第3或いは第4の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。
【発明の効果】
【0038】
本発明によれば、符号化対象ブロック(符号化対象CU)の動きベクトル及び同階層ブロック(同階層CU)の動きベクトルが同一であった場合には、かかる同階層ブロックにおける直交変換処理を適用の有無に応じて符号化対象ブロックにおける直交変換処理の適用の有無を暗黙的に決定することで、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。
【0039】
また、本発明によれば、符号化対象ブロックの動きベクトル及び同階層ブロックの動きベクトルが同一であった場合には、かかる同階層ブロックに適用されている直交変換処理の種類に応じて符号化対象ブロックに適用する直交変換処理の種類を決定することで、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0040】
図1図1は、第1の実施形態に係る符号化装置1の機能ブロックの一例を示す図である。
図2図2は、第1の実施形態に係る符号化装置1におけるブロック分割部11による符号化対象CUの分割形状を示すフラグの生成方法の一例を示す図である。
図3図3は、第1の実施形態に係る符号化装置1の直交変換決定部12による決定方法の一例を示す図である。
図4図4は、第1の実施形態に係る符号化装置1の動作の一例を示すフローチャートである。
図5図5は、第1の実施形態に係る復号装置3の機能ブロックの一例を示す図である。
図6図6は、第1の実施形態に係る復号装置3の動作の一例を示すフローチャートである。
図7図7は、従来技術について説明するための図である。
図8図8は、従来技術について説明するための図である。
図9図9は、従来技術について説明するための図である。
図10図10は、従来技術について説明するための図である。
【発明を実施するための形態】
【0041】
(第1の実施形態)
以下、図1図6を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。
【0042】
ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVC等の動画像符号化方式におけるインター予測に対応するように構成されている。なお、本実施形態に係る符号化装置1及び復号装置3は、インター予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。また、本実施形態に係る符号化装置1及び復号装置3では、HEVCにおけるTransform skipモードが適用可能なケースを例に挙げて説明する。
【0043】
なお、本明細書、特許請求の範囲、図面及び要約書では、特段の断りがない場合には、「動きベクトル」という表現は、[x,y]というようなベクトルを示す値の他、参照先のフレームを示す参照インデックス等のベクトルを示す値に付随する情報を含むものとする。
【0044】
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている。以下、本実施形態では、動画像を構成するフレーム単位の原画像を符号化対象CUに二分木分割して符号化するケースを例に挙げて説明するが、動画像を構成するフレーム単位の原画像を符号化対象CUに四分木分割して符号化するケースにも適用可能である。
【0045】
図1に示すように、本実施形態に係る符号化装置1は、ブロック分割部11と、直交変換決定部12と、インター予測部13と、直交変換・量子化部14と、エントロピー符号化部15と、逆量子化・逆変換部16と、メモリ17とを具備している。
【0046】
ブロック分割部11は、符号化対象CUごとに、四分木分割や二分木分割を行い、符号化対象CUの分割形状を示すフラグを、予測ベクトルリスト生成部12やインター予測部13及やエントロピー符号化部15に出力するように構成されている。
【0047】
ブロック分割部11は、かかる分割の一例として、四分木分割の適用可能ブロックサイズや最大階層数、及び、二分木分割の適用可能ブロックサイズや最大階層数を予め規定してもよい。
【0048】
また、ブロック分割部11は、符号化装置1における処理軽減のため、最初に四分木分割を行い、その後、任意の階層から二分木分割を行うように構成されていてもよい。
【0049】
図2(a)〜図2(c)に、最初に四分木分割を行った後、二分木分割を行うケースの分割形状を示すフラグの生成方法の一例について示す。具体的には、図2(b)に示す四分木分割を行った後、図2(c)に示す二分木分割を行うことで、図2(a)に示す分割形状を実現することができる。
【0050】
例えば、図2(b)に示すように、四分木分割を行うか否かについて示すフラグにおいて、「0」は、該当するCUに対して四分木分割を行わないことを示し、「1」は、該当するCUに対して四分木分割を行うことを示す。
【0051】
また、図2(c)に示すように、四分木分割を行わないCUについては、さらに二分木分割を行うか否かについて示すフラグを生成する。かかるフラグにおいて、「0」は、該当するCUに対して二分木分割を行わないことを示し、「1」は、該当するCUに対して水平方向に二分木分割を行うことを示し、「2」は、該当するCUに対して垂直方向に二分木分割を行うことを示す。
【0052】
なお、かかるフラグは、CTU単位で纏めて伝送されるように構成されていてもよいし、CUごとに直交変換係数と共に伝送されるように構成されていてもよい。
【0053】
直交変換決定部(決定部)12は、符号化対象CUの動きベクトルと、符号化対象CUの同階層CUの動きベクトルと、かかる同階層CUにおける直交変換処理の適用の有無とに基づいて、符号化対象CUにおいて直交変換処理を適用するか否か(Transform skipモードを適用するか否か)について決定するように構成されている。
【0054】
直交変換決定部12は、符号化対象CUの同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、かかる同階層CUにおいて直交変換処理が適用されていない場合(すなわち、Transform skipモードが適用されている場合)には、符号化対象CUにおいて直交変換処理を適用する(すなわち、Transform skipモードが適用しない)と決定するように構成されていてもよい。
【0055】
すなわち、直交変換決定部12は、ブロック分割部11により分割された符号化対象CUの分割形状及び動きベクトルと、メモリ17に保存されている同階層CUの分割形状及び動きベクトルと、同階層CUにおける直交変換処理の適用の有無(すなわち、Transform skipモードが適用されているか否かについて示す情報であるTransform skipフラグ)とに応じて、符号化対象CUにおけるTransform skipモードの適用を暗黙的に禁止する(すなわち、直交変換処理を適用する)ことを示すTransform skip符号化フラグを出力するように構成されている。
【0056】
HEVCでは、直交変換決定部12は、符号化対象CUの左側及び上側に位置する隣接CUや時間的に隣接するCUの動きベクトルに基づいて、5つの予測ベクトルが格納される予測ベクトルリストを生成するよう構成されている(具体的には、H.265規格書を参考)。すなわち、マージモードは、隣接CUの動きベクトルの再利用を可能としている。
【0057】
ここで、図2(c)において四角A〜Cで囲まれている二分木分割が行われたCUブロックのうち、同一の分割階層で共にフラグが「0」であるCUは、同階層CU(同階層ブロック)である。なお、図2(c)においてフラグf1/f2が付されているCUは、図2(a)におけるCU1/CU2に対応し、図2(c)においてフラグf3/f4が付されているCUは、図2(a)におけるCU3/CU4に対応し、図2(c)においてフラグf5/f6が付されているCUは、図2(a)におけるCU5/CU6に対応する。
【0058】
上述のように一様な特徴をもつ領域においては可能な限り大きいブロックサイズで符号化処理を行うことで、フラグの発生情報量が低減する。また、図2(a)〜図2(c)に示すように、分割階層が増えれば増えるほど分割形状を示すフラグの発生情報量は増大する。
【0059】
すなわち、二分木分割を行うことにより生成される2つのCUが共にそれ以上分割されない場合で、且つ、これらの2つのCUの動きベクトルが等しい場合には、これらの2つのCUの一方において直交変換処理を適用するが、他方において直交変換処理を適用しない可能性が高い。
【0060】
したがって、直交変換決定部12は、符号化対象CUが二分木分割されたブロックであり、上側や左側に隣接するCUが同階層CUである場合であって、かかる同階層CUに適用した動きベクトルが符号化対象CUの動きベクトルと等しい場合には、かかる同階層CUにおいて直交変換処理を適用する場合には、符号化対象CUにはTransform skipモードを適用し、また、かかる同階層CUにおいてTransform skipモードを適用する場合には、符号化対象CUには直交変換処理を適用すると決定するように構成されている。
【0061】
インター予測部13は、復号済みのフレームをメモリ17より取得し、符号化装置1によって決定された動きベクトルが示す領域を取得することで予測画像を生成するように構成されている。
【0062】
直交変換・量子化部14は、インター予測部13により生成された予測画像と原画像との差分に対して、Transform skipフラグに応じて、直交変換処理及び量子化処理を施し(或いは、直交変換処理を施すことなく量子化処理を施し)、量子化された直交変換係数を得るように構成されている。
【0063】
エントロピー符号化部(符号化部)15は、量子化された直交変換係数(残差信号)及び符号化対象CUの動きベクトル等に対してエントロピー符号化処理を施すように構成されている。
【0064】
また、エントロピー符号化部15は、符号化対象CUの量子化された直交変換係数及び動きベクトルと、直交変換決定部12によって出力されるTransform skip符号化フラグに応じて、符号化対象CUにおけるTransform skipフラグを符号化するように構成されている。
【0065】
例えば、図3(a)及び図3(b)において、CU#Tを符号化対象CUとした場合、左側に隣接するCU#Aは、CU#Tの同階層CUである。
【0066】
図3(a)に示すように、CU#Aの動きベクトルと符号化対象CU#Tの動きベクトルとが等しい場合で、且つ、CU#AにおいてTransform skipモードが適用されている場合には、直交変換決定部12は、符号化対象CU#Tにおいて、Transform skipモードの適用を暗黙的に禁止し、直交変換処理を適用すると決定するように構成されている。
【0067】
また、図3(b)に示すように、CU#Aの動きベクトルと符号化対象CU#Tの動きベクトルとが等しい場合で、且つ、CU#Aにおいて直交変換処理が適用されている場合には、直交変換決定部12は、符号化対象CU#Tにおいて、直交変換処理の適用を暗黙的に禁止し、Transform skipモードを適用すると決定するように構成されている。
【0068】
上述のように、符号化対象CU(CU#T)と同一の動きベクトルを有する同階層CU(CU#A)においてTransform skipモードが適用されている場合には、符号化対象CU(CU#T)において、暗黙的にTransform skipモードの適用が禁止され、直交変換処理が適用されるため、エントロピー符号化部15は、符号化対象CU(CU#T)におけるTransform skipフラグを符号化(伝送)する必要はない。
【0069】
同様に、符号化対象CU(CU#T)と同一の動きベクトルを有する同階層CU(CU#A)において直交変換処理が適用されている場合にも、符号化対象CU(CU#T)において、暗黙的に直交変換処理の適用が禁止され、Transform skipモードが適用されるため、符号化対象CU(CU#T)におけるTransform skipフラグを符号化(伝送)する必要はない。
【0070】
すなわち、これらの場合には、エントロピー符号化部15は、符号化対象CUにおいて直交変換処理を適用するか否かについて示す情報(Transform skipフラグ)を符号化することなく、量子化された直交変換係数(残差信号)及び符号化対象CUの動きベクトルに対してエントロピー符号化処理を施すように構成されている。
【0071】
逆量子化部・逆直交変換部16は、直交変換・量子化部14によって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施して残差信号を生成するように構成されている。
【0072】
メモリ17は、符号化対象CUの復号画像を参照画像として利用可能に保持するように構成されている。ここで、かかる復号画像は、逆量子化部・逆直交変換部16によって生成された残差信号に対してインター予測部13によって生成された予測画像を加えることで生成されるように構成されている。
【0073】
また、メモリ17は、符号化対象CUに隣接する隣接CUの分割形状及び動きベクトルを保持するように構成されている。
【0074】
図4に、本実施形態に係る符号化装置1の動作の一例について説明するためのフローチャートについて示す。
【0075】
図4に示すように、ステップS101において、符号化装置1は、符号化対象CUごとに、四分木分割や二分木分割を行い、符号化対象ブロックの分割形状を示すフラグを生成する。
【0076】
ステップS102において、符号化装置1は、符号化対象CUの分割形状及び動きベクトルと、符号化対象CUの同階層CUの動きベクトルと、かかる同階層CUにおける直交変換処理の適用の有無とに基づいて、符号化対象CUにおいて直交変換処理を適用するか否か(Transform skipモードを適用するか否か)について決定する。
【0077】
ステップS103において、符号化装置1は、符号化対象CUの予測画像を生成し、Transform skipフラグに応じて、符号化対象CUの量子化された直交変換係数を生成し、エントロピー符号化処理を行う。
【0078】
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の原画像をCUに分割して復号するように構成されている。
【0079】
図5に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、直交変換決定部32と、インター予測部33と、逆量子化・逆変換部34と、復号画像生成部35と、メモリ36とを具備している。
【0080】
エントロピー復号部31は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置1から出力されたストリームから、量子化された直交変換係数及び符号化対象CUの動きベクトル等を復号するように構成されている。
【0081】
なお、符号化対象CUの同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合には、かかるストリーム内に、Transform skipフラグは符号化されていない。
【0082】
直交変換決定部32は、符号化装置1の直交変換決定部12と同様に、符号化対象CUの動きベクトルと、符号化対象CUの同階層CUの動きベクトルと、かかる同階層CUにおける直交変換処理の適用の有無とに基づいて、符号化対象CUにおいて直交変換処理を適用するか否か(Transform skipモードを適用するか否か)について決定する、すなわち、Transform skipを決定するように構成されている。
【0083】
インター予測部33は、エントロピー復号部31によって出力された符号化対象CUの動きベクトル及びメモリ37に保持されている参照画像に基づいて予測画像を生成するように構成されている。
【0084】
逆量子化・逆変換部34は、エントロピー復号部31によって出力された量子化された変換係数に対して、Transform skipフラグに応じて、逆直交変換処理及び逆量子化処理を施し(或いは、逆直交変換処理を施すことなく逆量子化処理を施し)、符号化対象CUの残差信号を得るように構成されている。
【0085】
復号画像生成部35は、インター予測部33によって生成された予測画像と逆量子化・逆変換部34によって生成された残差信号とを加えることで復号画像を生成するように構成されている。
【0086】
メモリ37は、復号画像生成部35によって生成された復号画像を、インター予測のための参照画像として利用可能に保持するように構成されている。
【0087】
図6に、本実施形態に係る復号装置3の動作の一例について説明するためのフローチャートについて示す。
【0088】
図6に示すように、ステップS201において、復号装置3は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置1から出力されたストリームから、量子化された直交変換係数及び符号化対象CUの動きベクトル等を復号し、符号化対象CUの動きベクトルと、符号化対象CUの同階層CUの動きベクトルと、かかる同階層CUにおける直交変換処理の適用の有無とに基づいて、符号化対象CUにおいて直交変換処理を適用するか否か(Transform skipモードを適用するか否か)について決定する。
【0089】
ステップS202において、復号装置3は、符号化対象CUの動きベクトル及び保持されている参照画像に基づいて予測画像を生成し、量子化された変換係数に対して、Transform skipフラグに応じて、逆量子化処理及び逆変換処理(例えば、逆直交変換処理)を施すこと(或いは、逆直交変換処理を施すことなく逆量子化処理を施すこと)によって、残差信号を生成し、予測画像と残差信号とを加えることで復号画像を生成する。
【0090】
本実施形態に係る符号化装置1及び復号装置3によれば、符号化対象CUの動きベクトル及び同階層CUの動きベクトルが同一であった場合には、かかる同階層CUにおける直交変換処理を適用の有無に応じて符号化対象CUにおける直交変換処理の適用の有無を暗黙的に決定することで、符号化効率を向上させることができる。
【0091】
本実施形態に係る符号化装置1及び復号装置3によれば、符号化対象CUにおいて適用する直交変換処理の種類を決定する際に、符号化対象CU及び同階層CUにおいて適用する動きベクトルが同一である場合には、かかる同階層CUにおいて適用されている直交変換処理を選択禁止とすることで、処理の高速化を図ることができる。
【0092】
(第2の実施形態)
以下、本発明の第2の実施形態について、上述の第1の実施形態との相違点に着目して説明する。なお、本実施形態では、符号化対象CUに対して適用可能な直交変換処理が複数存在しているものとする。以下、説明の便宜のため、符号化対象CUに対して適用可能な直交変換処理として、第1の直交変換処理及び第2の直交変換処理が存在しているケースを例に挙げて説明する。
【0093】
上述の第1の実施形態に係る符号化装置1では、直交変換決定部12は、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいて直交変換処理が適用されていない場合には、暗黙的に符号化対象CUにおいて直交変換処理を適用すると決定するように構成されており、また、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいて直交変換処理が適用されている場合には、暗黙的に符号化対象CUにおいて直交変換処理を適用しないと決定するように構成されている。
【0094】
同様に、上述の第1の実施形態に係る復号装置3では、直交変換決定部32は、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいて直交変換処理が適用されていない場合には、暗黙的に符号化対象CUにおいて直交変換処理が適用されていると決定するように構成されており、また、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいて直交変換処理が適用されている場合には、暗黙的に符号化対象CUにおいて直交変換処理が適用されていないと決定するように構成されている。
【0095】
これに対して、本実施形態に係る符号化装置1では、直交変換決定部12は、符号化対象CUの動きベクトルと、同階層CUの動きベクトルと、同階層CUにおいて適用されている直交変換処理の種類とに基づいて、符号化対象CUにおいて適用しない直交変換処理の種類(適用を暗黙的に禁止する直交変換処理の種類)について決定するように構成されている。
【0096】
そして、エントロピー符号化部15は、符号化対象CUの残差信号及び動きベクトルと共に、符号化対象CUにおいて適用する直交変換処理の種類を示す情報を符号化するように構成されている。
【0097】
具体的には、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいてTransform skipが適用されている場合、直交変換決定部12は、符号化対象CUにおいて、Transform skipの適用を禁止し(符号化対象CUにおいて適用しない直交変換処理の種類としてTransform skipを選択し)、第1の直交変換処理或いは第2の直交変換処理を適用すると決定するように構成されている。
【0098】
また、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいて第1の直交変換処理が適用されている場合、直交変換決定部12は、符号化対象CUにおいて、第1の直交変換処理の適用を禁止し(符号化対象CUにおいて適用しない直交変換処理の種類として第1の直交変換処理を選択し)、Transform skip或いは第2の直交変換処理を適用すると決定するように構成されている。
【0099】
さらに、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいて第2の直交変換処理が適用されている場合、直交変換決定部12は、符号化対象CUにおいて、第2の直交変換処理の適用を禁止し(符号化対象CUにおいて適用しない直交変換処理の種類として第2の直交変換処理を選択し)、Transform skip或いは第1の直交変換処理を適用すると決定するように構成されている。
【0100】
すなわち、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいてTransform skipが適用されている場合には、直交変換決定部12は、符号化対象CUにおいてTransform skipの適用を暗黙的に禁止するように構成されている。
【0101】
かかる場合、エントロピー符号化部15は、Transform skipフラグについて符号化せず、符号化対象CUにおいて適用する直交変換処理の種類を示すフラグを符号化するように構成されている。
【0102】
同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいてTransform skipが適用されていない場合には、エントロピー符号化部15は、符号化対象CUにおいてTransform skipフラグについて符号化するように構成されている。
【0103】
かかる場合、エントロピー符号化部15は、符号化対象CUにおいてTransform skipを適用する場合には、適用する直交変換処理の種類を示すフラグについて符号化しないように構成されている一方、符号化対象CUにおいてTransform skipを適用しない場合には、(同階層CUに適用した種類の直交変換処理を除く)適用可能な直交変換処理のリストに基づいて符号化対象CUに適用する直交変換の種類を示すフラグを符号化するように構成されている。
【0104】
例えば、本実施形態の例のように、2種類の直交変換処理が用意されているケースの場合、同階層CUの動きベクトル及び符号化対象CUの動きベクトルが同一である場合で、且つ、同階層CUにおいて第1の直交変換処理が適用されている場合、且つ、符号化対象CUにおいてTransform skipを適用しない場合には、符号化対象CUに適用する直交変換処理は一意に第2の直交変換処理と決定することができるため、エントロピー符号化部15は、符号化対象CUに適用する直交変換処理の種類を示すフラグについて符号化しないように構成されている。
【0105】
同様に、本実施形態に係る復号装置3では、直交変換決定部32は、同階層CUの動きベクトルと、同階層CUにおいて適用されている直交変換処理の種類とに基づいて、符号化対象CUにおいて適用されていない直交変換処理の種類を決定するように構成されている。
【0106】
本実施形態に係る符号化装置1及び復号装置3によれば、符号化対象CUの動きベクトル及び同階層CUの動きベクトルが同一であった場合には、かかる同階層CUに適用されている直交変換処理の種類に応じて符号化対象CUに適用する直交変換処理の種類を決定することで、符号化効率を向上させることができる。
【0107】
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0108】
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0109】
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【符号の説明】
【0110】
1…符号化装置
11…ブロック分割部
12…直交変換決定部
13…インター予測部
14…直交変換・量子化部
15…エントロピー符号化部
16…逆量子化・逆変換部
17…メモリ
3…復号装置
31…エントロピー復号部
32…直交変換決定部
33…インター予測部
34…逆量子化・逆変換部
35…復号画像生成部
36…メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10