(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-05
(45)【発行日】2024-07-16
(54)【発明の名称】画像復号装置、画像復号方法及びプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20240708BHJP
H04N 19/136 20140101ALI20240708BHJP
H04N 19/176 20140101ALI20240708BHJP
H04N 19/52 20140101ALI20240708BHJP
【FI】
H04N19/105
H04N19/136
H04N19/176
H04N19/52
(21)【出願番号】P 2021133666
(22)【出願日】2021-08-18
【審査請求日】2023-07-24
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和元年度、総務省、「多様な用途、環境下での高精細映像の活用に資する次世代映像伝送・通信技術の研究開発」委託事業、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】木谷 佳隆
【審査官】岩井 健二
(56)【参考文献】
【文献】米国特許出願公開第2021/0250581(US,A1)
【文献】Max Blaser, Johannes Sauer, and Mathias Wien,Description of SDR and 360° video coding technology proposal by RWTH Aachen University,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-J0023-v1,10th Meeting: San Diego, US,2018年04月,pp.1-14,28-29
【文献】Yoshitaka Kidani, Haruhisa Kato, and Kei Kawamura,EE2-related: Modified GPM with inter and intra prediction,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29,JVET-X0078-v2,24th Meeting, by teleconference,2021年10月,pp.1-6
【文献】Yoshitaka Kidani et al.,EE2-related: Combination of JVET-X0078 (Test 7/8), JVET-X0147 (Proposal-2), and GPM direct motion st,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29,JVET-X0166-v3,24th Meeting, by teleconference,2021年10月,pp.1-5
【文献】Yoshitaka Kidani, Haruhisa Kato, and Kei Kawamura,AHG12: GPM with inter and intra prediction,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29,JVET-W0110-v2,23rd Meeting, by teleconference,2021年07月,pp.1-3
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
画像復号装置であって、
インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、重複ブロック動き補償を適用するように構成されている合成部を備えることを特徴とする画像復号装置。
【請求項2】
前記サブブロックは、前記幾何学ブロック分割モードによる加重平均後に生成されたブロックのサブブロックであることを特徴とする請求項1に記載の画像復号装置。
【請求項3】
前記合成部は、前記サブブロックが有する予測種別に基づいて、前記サブブロックに対して前記重複ブロック動き補償を適用するか否かについて制御するように構成されていることを特徴とする請求項1又は2に記載の画像復号装置。
【請求項4】
前記合成部は、
前記予測種別がインター予測である前記サブブロックに対して前記重複ブロック動き補償を適用すると判定し、
前記予測種別がイントラ予測である前記サブブロックに対して前記重複ブロック動き補償を適用しないと判定し、
前記判定の結果に基づいて、前記復号対象ブロックの最終的な予測画素を生成するように構成されていることを特徴とする請求項3に記載の画像復号装置。
【請求項5】
画像復号装置であって、
インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックのうち、予測種別がインター予測である前記サブブロックに対して、重複ブロック動き補償を適用するように構成されているインター予測部と、
前記ブロック境界に面したサブブロックのうち、前記予測種別がイントラ予測である前記サブブロックに対して、前記重複ブロック動き補償を適用しないように構成されているイントラ予測部と、
前記インター予測部から出力される前記重複ブロック動き補償が適用された後の動き補償画素と前記イントラ予測部から出力される前記重複ブロック動き補償が適用されていないイントラ予測画素とを加重平均して、前記復号対象ブロックの最終的な予測画素を生成するように構成されている合成部とを備えることを特徴とする画像復号装置。
【請求項6】
画像復号装置であって、
インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックを構成する動き補償画素を生成するように構成されているインター予測部と、
前記復号対象ブロックを構成するイントラ予測画素を生成してインター予測部に出力するように構成されているイントラ予測部とを備え、
前記インター予測部は、
生成した前記動き補償画素又は前記イントラ予測部から出力された前記イントラ予測画素を加重平均して前記復号対象ブロックの予測画素を合成し、
前記復号対象ブロックのブロック境界に面したサブブロックに対して、重複
ブロック動き補償を適用するように構成されていることを特徴とする画像復号装置。
【請求項7】
前記インター予測部は、前記サブブロックが有する予測種別に基づいて、前記サブブロックに対して前記重複ブロック動き補償を適用するか否かについて制御するように構成されていることを特徴とする請求項6に記載の画像復号装置。
【請求項8】
前記インター予測部は、
前記予測種別がインター予測である前記サブブロックに対して前記重複ブロック動き補償を適用すると判定し、
前記予測種別がイントラ予測である前記サブブロックに対して前記重複ブロック動き補償を適用しないと判定し、
前記判定の結果に基づいて、前記復号対象ブロックの最終的な予測画素を生成するように構成されていることを特徴とする請求項7に記載の画像復号装置。
【請求項9】
画像復号装置であって、
インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックを構成する動き補償画素を生成するように構成されているインター予測部と、
前記復号対象ブロックを構成するイントラ予測画素を生成してインター予測部に出力するように構成されているイントラ予測部とを備え、
前記インター予測部は、
前記復号対象ブロックのブロック境界に面したサブブロックに対して重複ブロック動き補償を適用するか否かについて判定し、
前記動き補償画素に対して、前記イントラ予測部から出力された前記イントラ予測画素を加重平均して前記復号対象ブロックの予測画素を合成するように構成されていることを特徴とする画像復号装置。
【請求項10】
画像復号方法であって、
インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、重複ブロック動き補償を適用する工程を有することを特徴とする画像復号方法。
【請求項11】
コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、重複ブロック動き補償を適用するように構成されている合成部を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献1では、GPM(Geometric Partitioning Mode)が開示されている。
【0003】
GPMは、矩形ブロックを斜めに2分割しそれぞれを動き補償する。具体的には、GPMにおいて、分割された2領域は、それぞれマージモードの動きベクトルにより動き補償され、重み付き平均により合成される。斜めの分割パターンとしては、角度と位置とによって64パターンが用意されている。
【0004】
非特許文献2では、OBMC(Overlapped Block Motion Compensation)が開示されている。
【0005】
OBMCは、動き補償される対象ブロックに対して、かかる対象ブロックと異なる動きベクトルで動き補償される予測ブロックが隣接する場合に、かかる対象ブロックとのブロック境界を跨いだ所定領域分だけ隣接ブロックの参照領域を拡大し、かかる対象ブロックの参照領域と拡大した隣接ブロックの参照領域とを加重平均する。
【先行技術文献】
【非特許文献】
【0006】
【文献】ITU-T H.266/VVC
【文献】JVET-U0100、「Compression efficiency methods beyond VVC」
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献1で開示されているGPMは、マージモードに限定されているため、符号化性能の改善余地があるという問題点があった。 さらに、非特許文献2では、OBMCが開示されているが、GPMに対するOBMCの適用方法が規定されておらず、イントラ予測を含めたGPMに対してOBMCを適切に適用できれば、性能改善の余地があるという問題点があった。
【0008】
そこで、本発明は、上述の課題に鑑みてなされたものであり、GPMに対するOBMCの適用方法を規定することで、予測精度の向上を期待することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第1の特徴は、画像復号装置であって、インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、重複ブロック動き補償を適用するように構成されている合成部を備えることを要旨とする。
【0010】
本発明の第2の特徴は、画像復号装置であって、インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックのうち、予測種別がインター予測である前記サブブロックに対して、重複ブロック動き補償を適用するように構成されているインター予測部と、前記ブロック境界に面したサブブロックのうち、前記予測種別がイントラ予測である前記サブブロックに対して、前記重複ブロック動き補償を適用しないように構成されているイントラ予測部と、前記インター予測部から出力される前記重複ブロック動き補償が適用された後の動き補償画素と前記イントラ予測部から出力される前記重複ブロック動き補償が適用されていないイントラ予測画素とを加重平均して、前記復号対象ブロックの最終的な予測画素を生成するように構成されている合成部とを備えることを要旨とする。
【0011】
本発明の第3の特徴は、画像復号装置であって、インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックを構成する動き補償画素を生成するように構成されているインター予測部と、前記復号対象ブロックを構成するイントラ予測画素を生成してインター予測部に出力するように構成されているイントラ予測部とを備え、前記インター予測部は、生成した前記動き補償画素又は前記イントラ予測部から出力された前記イントラ予測画素を加重平均して前記復号対象ブロックの予測画素を合成し、前記復号対象ブロックのブロック境界に面したサブブロックに対して、重複動き補償を適用するように構成されていることを要旨とする。
【0012】
本発明の第4の特徴は、画像復号装置であって、インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックを構成する動き補償画素を生成するように構成されているインター予測部と、前記復号対象ブロックを構成するイントラ予測画素を生成してインター予測部に出力するように構成されているイントラ予測部とを備え、前記インター予測部は、前記復号対象ブロックのブロック境界に面したサブブロックに対して重複ブロック動き補償を適用するか否かについて判定し、前記動き補償画素に対して、前記イントラ予測部から出力された前記イントラ予測画素を加重平均して前記復号対象ブロックの予測画素を合成するように構成されていることを要旨とする。
【0013】
本発明の第5の特徴は、画像復号方法であって、インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、重複ブロック動き補償を適用する工程を有することを要旨とする。
【0014】
本発明の第6の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、インター予測又はイントラ予測から構成される幾何学ブロック分割モードが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、重複ブロック動き補償を適用するように構成されている合成部を備えることを要旨とする。
【発明の効果】
【0015】
本発明によれば、GPMに対するOBMCの適用方法を規定することで、予測精度の向上を期待することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0016】
【
図1】
図1は、一実施形態に係る画像処理システム1の構成の一例を示す図である。
【
図2】
図2は、一実施形態に係る画像符号化装置100の機能ブロックの一例を示す図である。
【
図3】
図3は、一実施形態に係る画像復号装置200の機能ブロックの一例を示す図である。
【
図4】
図4は、非特許文献1に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線によって、幾何学形状の分割領域Aと分割領域Bに2分割されるケースの一例を示す図である。
【
図5】
図5は、本実施形態に係るGPMに対するイントラ予測モードの適用方法の一例を示す。
【
図6】
図6は、本実施形態に係るGPMに対するイントラ予測モードの適用方法の一例を示す。
【
図7】
図7は、GPMの各分割領域A/Bの予測画素に対する重み係数wの値の一例を示す図である。
【
図8】
図8は、GPMの分割線の角度を規定するangleIdxの一例を示す図である。
【
図9】
図9は、disLutの一例を示す図である。
【
図10】
図10は、非特許文献2に開示されているOBMCにより、動き補償される矩形の復号対象ブロックの上側及び左側に面するブロック境界に対してOBMCが適用される一例を示す図である。
【
図11】
図11は、インター予測部241の動作の一例を示すフローチャートである。
【
図12】
図12は、本実施形態におけるGPMが適用されるブロックに対するOBMCの適用の一例を示す。
【
図13】
図13は、方法1(構成1)に係る合成部243の機能ブロックの一例を示す図である。
【
図14】
図14は、方法2(構成2)に係るインター予測部241の機能ブロックの一例を示す図である。
【
図15】
図15は、方法3(構成3)又は方法4(構成4)に係る画像符号化装置100の機能ブロックの一例を示す図である。
【
図16】
図16は、方法3(構成3)又は方法4(構成4)に係る画像復号装置200の機能ブロックの一例を示す図である。
【
図17】
図17は、方法3(構成3)に係る合成部243の機能ブロックの一例を示す図である。
【
図18】
図18は、方法4(構成4)に係るインター予測部241の機能ブロックの一例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0018】
<第1実施形態>
以下、
図1~
図15を参照して、本発明の第1実施形態に係る画像処理システム10について説明する。
図1は、本実施形態に係る画像処理システム10について示す図である。
【0019】
(画像処理システム10)
図1に示すように、本実施形態に係る画像処理システム10は、画像符号化装置100及び画像復号装置200を有する。
【0020】
画像符号化装置100は、入力画像信号(ピクチャ)を符号化することによって符号化データを生成するように構成されている。画像復号装置200は、符号化データを復号することによって出力画像信号を生成するように構成されている。
【0021】
ここで、かかる符号化データは、画像符号化装置100から画像復号装置200に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置100から画像復号装置200に提供されてもよい。
【0022】
(画像符号化装置100)
以下、
図2を参照して、本実施形態に係る画像符号化装置100について説明する。
図2は、本実施形態に係る画像符号化装置100の機能ブロックの一例について示す図である。
【0023】
図2に示すように、画像符号化装置100は、インター予測部111と、イントラ予測部112と、合成部113と、減算器121と、加算器122と、変換・量子化部131と、逆変換・逆量子化部132と、符号化部140と、インループフィルタ処理部150と、フレームバッファ160とを有する。
【0024】
インター予測部111は、インター予測(フレーム間予測)によってインター予測信号を生成するように構成されている。
【0025】
具体的には、インター予測部111は、符号化対象フレーム(対象フレーム)とフレームバッファ160に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル(MV:Motion Vector)を決定するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
【0026】
また、インター予測部111は、参照ブロック及び動きベクトルに基づいて符号化対象ブロック(以下、対象ブロック)に含まれるインター予測信号を対象ブロック毎に生成するように構成されている。
【0027】
また、インター予測部111は、インター予測信号を合成部113に出力するように構成されている。
【0028】
また、インター予測部111は、
図2には図示していないが、インター予測の制御に関する情報(具体的には、インター予測モードや動きベクトルや参照フレームリストや参照フレーム番号等の情報)を符号化部140に出力するように構成されている。
【0029】
イントラ予測部112は、イントラ予測(フレーム内予測)によってイントラ予測信号を生成するように構成されている。
【0030】
具体的には、イントラ予測部112は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測信号を対象ブロック毎に生成するように構成されている。ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
【0031】
また、イントラ予測部112は、イントラ予測信号を合成部113に出力するように構成されている。
【0032】
また、イントラ予測部112は、
図2には図示していないが、イントラ予測の制御に関する情報(具体的には、イントラ予測モード等の情報)を符号化部140に出力するように構成されている。
【0033】
合成部113は、インター予測部111から入力されたインター予測信号又は/且つイントラ予測部112から入力されたイントラ予測信号を、予め設定された重み係数を用いて合成し、合成された予測信号(以下、まとめて予測信号と記載)を減算器121及び加算器122に出力するように構成されている。
【0034】
ここで、合成部113のインター予測信号又は/且つイントラ予測信号の合成処理に関しては、非特許文献1と同様の構成を本実施形態でも取ること可能であるため、説明は省略する。
【0035】
減算器121は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部131に出力するように構成されている。ここで、減算器121は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。
【0036】
加算器122は、逆変換・逆量子化部132から出力される予測残差信号に合成部113から出力される予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部112及びインループフィルタ処理部150に出力するように構成されている。
【0037】
ここで、フィルタ処理前復号信号は、イントラ予測部112で用いる参照ブロックを構成する。
【0038】
変換・量子化部131は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部131は、係数レベル値の量子化を行うように構成されていてもよい。
【0039】
ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理としては、離散コサイン変換(Discrete Cosine Transform、以下、DCTと記す)に対応する基底パタン(変換行列)が用いられてもよく、離散サイン変換(Discrete Sine Transform、以下、DSTと記す)に対応する基底パタン(変換行列)が用いられてもよい。
【0040】
また、変換処理としては、非特許文献1で開示されている複数の変換基底から予測残差信号の係数の偏りに適したものを水平・垂直方向毎に選択可能とするMTS(Multiple Transform Selection)や、1次変換後の変換係数をさらに低周波数領域に集中させることで符号化性能を改善するLFNST(Low Frequecny Non-Separable Transform)が用いられてもよい。
【0041】
逆変換・逆量子化部132は、変換・量子化部131から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部132は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0042】
ここで、逆変換処理及び逆量子化は、変換・量子化部131で行われる変換処理及び量子化とは逆の手順で行われる。
【0043】
符号化部140は、変換・量子化部131から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。
【0044】
ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【0045】
また、符号化部140は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。
【0046】
ここで、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のブロックサイズに関する情報(フラグやインデックス)を含んでもよい。
【0047】
また、制御データは、後述する画像復号装置200における逆変換・逆量子化部220の逆変換・逆量子化処理やインター予測部241のインター予測信号生成処理やイントラ予測部242のイントラ予測信号生成処理や合成部243のインター予測信号又は/且つイントラ予測信号の合成処理やインループフィルタ処理部250のフィルタ処理等の制御に必要な情報(フラグやインデックス)を含んでもよい。
【0048】
なお、非特許文献1では、これらの制御データは、シンタックスと呼称され、その定義は、セマンティクスと呼称されている。
【0049】
また、制御データは、後述するシーケンス・パラメータ・セット(SPS:Sequence Parameter Set)やピクチャ・パラメータ・セット(PPS:Picutre Parameter Set)やピクチャヘッダ(PH:Picture Header)やスライスヘッダ(SH:Slice Header)等のヘッダ情報を含んでもよい。
【0050】
インループフィルタ処理部150は、加算器122から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ160に出力するように構成されている。
【0051】
ここで、例えば、フィルタ処理は、ブロック(符号化ブロック、予測ブロック又は変換ブロック)の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や画像符号化装置100から伝送されるフィルタ係数やフィルタ選択情報、画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
【0052】
フレームバッファ160は、インター予測部111で用いる参照フレームを蓄積するように構成されている。
【0053】
ここで、フィルタ処理後復号信号は、インター予測部111で用いる参照フレームを構成する。
【0054】
(画像復号装置200)
以下、
図3を参照して、本実施形態に係る画像復号装置200について説明する。
図3は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
【0055】
図3に示すように、画像復号装置200は、復号部210と、逆変換・逆量子化部220と、加算器230と、インター予測部241と、イントラ予測部242と、合成部243と、インループフィルタ処理部250と、フレームバッファ260とを有する。
【0056】
復号部210は、画像符号化装置100によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。
【0057】
ここで、復号は、例えば、符号化部140で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
【0058】
また、復号部210は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
【0059】
ここで、制御データは、上述した復号ブロック(上述の画像符号化装置100における符号化対象ブロックと同義。以下、まとめて対象ブロックと記載)のブロックサイズに関する情報を含んでもよい。
【0060】
また、制御データは、逆変換・逆量子化部220の逆変換・逆量子化処理やインター予測部241やイントラ予測部242の予測画素生成処理やインループフィルタ処理部250のフィルタ処理等の制御に必要な情報(フラグやインデックス)が含んでもよい。
【0061】
また、制御データは、上述したシーケンス・パラメータ・セット(SPS:Sequence Parameter Set)やピクチャ・パラメータ・セット(PPS:Picutre Parameter Set)やピクチャヘッダ(PH:Picture Header)やスライスヘッダ(SH:Slice Header)等のヘッダ情報を含んでもよい。
【0062】
逆変換・逆量子化部220は、復号部210から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部220は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0063】
ここで、逆変換処理及び逆量子化は、変換・量子化部131で行われる変換処理及び量子化とは逆の手順で行われる。
【0064】
インター予測部241は、インター予測部111と同様に、インター予測(フレーム間予測)によってインター予測信号を生成するように構成されている。
【0065】
具体的には、インター予測部241は、符号化データから復号した動きベクトル及び参照フレームに含まれる参照信号に基づいてインター予測信号を生成するように構成されている。インター予測部241は、インター予測信号を合成部243に出力するように構成されている。
【0066】
イントラ予測部242は、イントラ予測部112と同様に、イントラ予測(フレーム内予測)によってイントラ予測信号を生成するように構成されている。
【0067】
具体的には、イントラ予測部242は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部242は、イントラ予測信号を合成部243に出力するように構成されている。
【0068】
合成部243は、合成部113と同様に、インター予測部241から入力されたインター予測信号又は/且つイントラ予測部242から入力されたイントラ予測信号を、予め設定された重み係数を用いて合成し、合成された予測信号(以下、まとめて予測信号と記載)を加算器230に出力するように構成されている。
【0069】
加算器230は、逆変換・逆量子化部220から出力される予測残差信号に合成部243から出力される予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をインループフィルタ処理部250に出力するように構成されている。
【0070】
ここで、フィルタ処理前復号信号は、イントラ予測部242で用いる参照ブロックを構成する。
【0071】
インループフィルタ処理部250は、インループフィルタ処理部150と同様に、加算器230から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ260に出力するように構成されている。
【0072】
ここで、例えば、フィルタ処理は、ブロック(符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック)の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置100から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
【0073】
フレームバッファ260は、フレームバッファ160と同様に、インター予測部241で用いる参照フレームを蓄積するように構成されている。
【0074】
ここで、フィルタ処理後復号信号は、インター予測部241で用いる参照フレームを構成する。
【0075】
(幾何学分割モード)
以下、
図4~
図6を用いて、復号部210とインター予測部241とイントラ予測部242に係る非特許文献1で開示されている幾何学分割モード(GPM)及び幾何学分割モード(GPM)にイントラ予測モードを適用する第1方法及び第2方法について説明する。
【0076】
図4は、非特許文献1に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線Lによって、幾何学形状の分割領域Aと分割領域Bに2分割されるケースの一例を示す。
【0077】
ここで、非特許文献1で開示されている幾何学分割モードの分割線Lは、角度と位置とによって64パターンが用意されている。
【0078】
また、非特許文献1に係るGPMは、分割領域A及び分割領域Bのそれぞれに対して、インター予測の1種である通常マージモードを適用し、インター予測(動き補償)画素を生成する。
【0079】
具体的には、かかるGPMでは、非特許文献1で開示されているマージ候補リストを構築し、かかるマージ候補リスト及び画像符号化装置100から伝送される各分割領域A/Bに対する2つのマージインデックス(merge_gpm_idx0、merge_gpm_idx1)に基づいて、各分割領域A/Bの動きベクトル(mvA、mvB)及び参照フレームを導出して、参照ブロック、すなわち、インター予測(又は、動き補償)ブロックを生成し、最終的に各分割領域A/Bのインター予測画素が、予め設定された重みによって加重平均されて合成される。
【0080】
図5及び
図6は、GPMに対するイントラ予測モードの適用方法の一例を示す。
【0081】
具体的に、
図5は、各分割領域A/Bに対してイントラ予測(modeX)及びインター予測が適用される場合のGPMの構成例を示す。
図6は、各分割領域にA/B対して、異なる2つのイントラ予測(modeX、modeY)が適用される場合のGPMの構成例を示す。
【0082】
ここで、
図5に示すケースのGPMでは、各分割領域A/Bに対しては、通常マージモード或いはイントラ予測モードのいずれも適用することができ、さらにイントラ予測モードの種別は、対象ブロックの分割形状(分割線)に応じて限定する。
【0083】
また、
図5及び
図6に示すケースのGPMでは、復号対象ブロックにおけるイントラ予測モードを追加適用したGPMの適用の可不可及びGPM適用時の各分割領域A/Bにおける予測モード種別の特定方法に関して規定している。
【0084】
これにより、イントラ予測モードを追加適用したGPMが適切に復号対象ブロックに適用されると共に、最適な予測モードが特定されることで、結果として符号化性能のさらなる改善余地を実現することができる。
【0085】
(GPMの重み係数)
以下、
図7を用いて、復号部210、インター予測部241、イントラ予測部242及び合成部243に係るGPMの重み係数wについて説明する。
図7は、GPMの各分割領域A/Bの予測画素に対する重み係数wの値の一例を示す図である。
【0086】
インター予測部241又はイントラ予測部242によって生成された各分割領域A/Bの予測画素が、合成部243で重み係数wによって合成(加重平均)される。
【0087】
非特許文献1において、重み係数wの値は、0~8の値が用いられており、本実施形態でも、かかる重み係数wの値を用いてもよい。ここで、重み係数wの値0、8は、非ブレンディング領域(非Blending領域)を示し、重み係数wの値1~7は、ブレンディング領域(Blending)を示す。
【0088】
なお、本実施形態において、重み係数wの計算方法は、非特許文献1と同様の方法で、画素位置(xL、yL)及び対象ブロックサイズから算出されるオフセット値(offsetX、offsetY)、
図8に示す幾何学分割モード(GPM)の分割線の角度を規定するangleIdxから算出される変位(diplacementX、diplacementY)及び
図9に示すdiplacementX、diplacementYから算出されるテーブル値disLutから、以下のように算出するように構成することができる。
【0089】
weightIdx=(((xL+offsetX)<<1)+1)×disLut[diplacementX]+(((yL+offsetY)<<1)+1)×disLut[diplacementY]
weightIdxL=partFlip?32+weightIdx:32-weightIdx
w=Clip3(0,8,(weightIdxL+4)>>3)
【0090】
(重複ブロック動き補償)
以下、
図10及び
図11を用いて、復号部210及びインター予測部241に係る非特許文献2で開示されている重複ブロック動き補償(OBMC:Overlapped Block Motion Compensation)について説明する。
【0091】
図10は、非特許文献2に開示されているOBMCにより、動き補償(MC:Motion Compensation)される矩形の復号対象ブロックの上側及び左側に面するブロック境界に対してOBMCが適用される一例を示す。
【0092】
ここで、非特許文献2で開示されているOBMCの適用領域は、
図10に示すようなMCされる復号対象ブロックの上側及び左側のブロック境界だけでない。具体的に、かかる復号対象ブロックをサブブロックに分割し、かかるサブブロック単位でMCされるアフィン予測等の場合は、サブブロックの上側、左側、右側及び下側も、OBMCの適用領域となる。
【0093】
また、非特許文献2で開示されているOBMCが適用されるか否かについての判定処理及びOBMCが適用される場合のOBMCの適用処理は、
図10に示すように、4×4画素のサブブロック(以下、対象サブブロック)の単位で実施される。
【0094】
なお、非特許文献2では、
図11に示すように、インター予測部241が、OBMCが適用されるか否かについて判定している。
【0095】
図11に示すように、ステップS241-01において、インター予測部241は、対象サブブロックが有する予測種別がInter予測(インター予測)であるか否かについて判定する。
【0096】
かかる条件が満たされると判定される場合、本動作は、ステップS241-02に進み、かかる条件が満たされないと判定される場合、すなわち、対象サブブロックが有する予測種別がIntra予測(イントラ予測)であると判定される場合は、本動作は、ステップS241-03に進む。
【0097】
なお、ステップS241-03では、インター予測部241は、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0098】
ステップS241-02において、インター予測部241は、対象サブブロックが有するobmc_flagが1であるか否かについて判定する。
【0099】
かかる条件が満たされると判定される場合、本動作は、ステップS241-04に進み、かかる条件が満たされないと判定される場合、すなわち、obmc_flagが1であると判定される場合は、本動作は、ステップS241-05に進む。
【0100】
なお、ステップS241-05では、インター予測部241は、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0101】
ここで、obmc_flagは、復号対象ブロック単位のOBMCの適用可不可を示すシンタックスである。obmc_flagの値が0の場合は、OBMCが適用されないことを示し、obmc_flagの値が1の場合は、OBMCが適用されることを示す。
【0102】
obmc_flagの値が0か1のいずれかであるかは、復号部210が復号して値を特定するか、或いは、復号せずに値を推定する。
【0103】
obmc_flagの復号方法及びobmc_flagの値の特定方法及び推定方法は、非特許文献2と同じ構成を取ることができるため、詳細な説明は省略する。
【0104】
ステップS241-04において、インター予測部241は、対象サブブロックに対してブロック境界を跨いだ隣接ブロックが動きベクトル(MV)を有するか否かについて判定する。
【0105】
かかる条件が満たされると判定される場合、本動作は、ステップS241-06に進み、かかる条件が満たされないと判定される場合、本動作は、ステップS241-07に進む。
【0106】
なお、ステップS241-07では、インター予測部241は、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0107】
ステップS241-06において、インター予測部241は、対象サブブロックが有するMVと隣接ブロックが有するMVとの差が所定閾値以上であるか否かについて判定する。
【0108】
かかる条件が満たされると判定される場合、本動作は、ステップS241-08に進み、かかる条件が満たされないと判定される場合、本動作は、ステップS241-09に進む。
【0109】
なお、ステップS241-08では、インター予測部241は、OBMCが対象サブブロックにおいて適用と判定し、本動作は、終了する。一方、ステップS241-09では、インター予測部241は、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0110】
ここで、所定閾値は、固定値を用いてもよい。例えば、所定閾値を1画素としてもよい。
【0111】
或いは、所定閾値として、対象サブブロックが有するMVの本数に応じた可変値を用いてもよい。例えば、対象サブブロックが1つのMVを持つ場合は、所定閾値を1画素とし、対象サブブロックが2つのMVを持つ場合は、所定閾値を0.5画素としてもよい。
【0112】
以上の構成により、非特許文献2では、MVを有する対象サブブロックに対して、隣接ブロックとのMVの差が大きい場合に限定して、OBMCを適用することで、対象サブブロックと隣接ブロックとの間のブロック境界の不連続性(以下、ブロック境界歪)を解消し、結果として予測性能の向上が期待できる。
【0113】
(GPMに対するOBMCの適用例及び適用制御方法)
以下、
図12を用いて、復号部210、インター予測部241及びイントラ予測部242に係るGPMに対するOBMCの適用例及び適用制御方法について説明する。
【0114】
図10は、本実施形態におけるGPMが適用されるブロックに対するOBMCの適用例を示す。
図10に示すように、GPMの分割形状(分割線L)に応じて、OBMCが適用される対象サブブロックには、以下、最大3つのパターンが存在する。
【0115】
具体的には、第1パターンとして、分割領域Aに属する対象サブブロックがあり、第2パターンとして、分割領域Bに属する対象サブブロックがあり、第3パターンとして、分割領域A/B双方に属する対象サブブロックがある。
【0116】
かかる3パターンの対象サブブロックは、分割領域A及び分割領域Bに適用される予測種別がインター予測であるかイントラ予測であるかによって更に分けられる。
【0117】
具体的には、第1パターン及び第2のパターンの対象サブブロックは、インター予測及びイントラ予測の2ケースに分けられる。
【0118】
一方、第3パターンの対象サブブロックは、異なる2つのインター予測のケース、インター予測及びイントラ予測のケース、異なる2つのイントラ予測のケースの合計3ケースに分けられる。
【0119】
なお、本実施形態では、対象サブブロックが有する予測種別は、1つのみとする。そのため、第3パターンの対象サブブロックにおいて、対象サブブロックが有する予測種別は、対象サブブロックを構成する2つの予測の組み合わせで決定される。具体的に、異なる2つのインター予測で構成される予測種別は、インター予測として扱い、インター予測及びイントラ予測で構成される予測種別は、インター予測として扱い、異なる2つのイントラ予測で構成される予測種別は、イントラ予測として扱うこととする。
【0120】
ここで、上述したOBMCの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックについては、以下の理由により、OBMCを適用不可と判定すべきである。なぜなら、同条件の対象サブブロックの予測画素は、対象サブブロックが隣接する参照画素(再構成画素)を用いたイントラ予測によって生成されるため、かかる参照画素と生成した予測画素との間のブロック境界では、インター予測のようにブロック境界歪が定性的に発生しづらい。
【0121】
以上の理由により、本実施形態では、上述したOBMCの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックに対してはOBMCの適用を制限する(OBMCを適用不可とする)。
【0122】
一方で、本実施形態では、上述したOBMCの適用対象である対象サブブロックのうち、予測種別がインター予測である対象サブブロックに対してはOBMCを適用可とする。
【0123】
以降では、本実施形態に係るGPMに対するOBMCの適用可不可を考慮した最終的な予測画素の生成方法について説明する。
【0124】
(GPMに対するOBMCの適用可不可を考慮した最終予測画素の生成方法)
以下、
図3及び
図13~
図18を用いて、本実施形態のインター予測部241、イントラ予測部242及び合成部243に係るGPMに対するOBMCの適用可不可を考慮した最終予測画素の生成方法について説明する。
【0125】
[方法1(構成1)]
方法1(構成1)では、
図13に示すように、
図3に示す合成部243は、予測画素合成部243Aと、OBMC部243Bとを備えている。
【0126】
予測画素合成部243Aは、インター予測部241又はイントラ予測部242から出力される動き補償画素(MC画素)とイントラ予測画素とを合成した上で、OBMC部243Bに予測画素を出力するように構成されている。
【0127】
また、予測画素合成部243Aは、復号対象ブロックがGPM適用ブロックであれば、インター予測部241又はイントラ予測部242から出力される予測画素を、前述の重み係数wによって合成(加重平均)するように構成されている。
【0128】
OBMC部243Bは、予測画素合成部243Aから出力される復号対象ブロックの予測画素に対して、上述したOBMCの適用制御方法に従って、復号対象ブロックのブロック境界に面したサブブロック単位で、OBMCの適用可不可を判定し、最終予測画素を出力するように構成されている。
【0129】
以上の構成により、以下の2つの効果が期待できる。
【0130】
第1に、GPMが適用される復号対象ブロックのブロック境界に面したサブブロックに対して、適切にOBMCを適用することができる(具体的には、予測種別がインター予測であるサブブロックに対してはOBMCを適用可とし、予測種別がイントラ予測であるサブブロックに対してはOBMCを適用不可とする)ため、結果として予測性能の向上が期待できる。
【0131】
ただし、本構成例には、一部、以下の課題がある。具体的に、予測種別がインター予測であるサブブロックであっても、もともとはインター予測及びイントラ予測の2つの予測種別を持つサブブロックの場合は、インター予測画素とイントラ予測画素との合成後にOBMCを適用するよりも、OBMCの適用後のインター予測画素とイントラ予測とを合成する方がよい。なぜなら、前者については、本来隣接画素とブロック境界歪が発生しづらいイントラ予測画素に対してもOBMCを適用してしまうことになるが、後者の場合は、そうはならない。この課題を解消する最終予測画素の生成方法については、本構成の変更例として後述する。
【0132】
第2に、GPMにより合成(加重平均)された予測画素に対して、OBMCの適用可不可を判定してOBMCを適用できるため、従来のGPMに対して、OBMCの処理実行数(処理ステージ)及びOBMCの実行に必要なメモリバンド幅の増加を必要最小限に抑えることができる。
【0133】
具体的には、GPM適用ブロックは、最大2つのインター予測、すなわち、2つのMVから構成されるケースが存在するため、GPM適用ブロックにおける参照領域の最悪値(最大値)は、この2つのMVの示す参照領域の画素数である。一方で、GPM適用ブロックにOBMCを適用する場合、隣接のMVの参照領域が追加で必要となるが、本構成の場合は、GPMにより合成(加重平均)された予測画素に対してOBMCを適用するため、GPM適用ブロックを構成する最大2つのインター予測それぞれに対してOBMCを適用することを回避でき、OBMCによる追加の参照領域の増加を当該回避パターンに対して1/2に抑えることができる。同様の考え方で、OBMCの処理実行数(処理ステージ)も当該回避パターンに対して、1/2に抑えることができる。
【0134】
[方法2(構成2)]
図14は、
図13で実現できるGPMに対するOBMCの適用可不可を考慮した最終予測画素の生成方法(構成)の変更例である。
【0135】
方法2(構成2)では、
図14に示すように、インター予測部241は、MV導出部241Aと、MC部241Bと、OBMC部241Cとを備えている。
【0136】
MV導出部241Aは、フレームバッファ部から出力される参照フレーム及び復号部210から出力される制御データに基づいて、GPMを含むインター予測に必要なMVをMC部241Bに出力するように構成されている。
【0137】
MC部241Bは、MV導出部241Aから出力されるMV及びフレームバッファ部から出力される参照フレームに基づいて、MC画素を生成して、OBMC部241Cに出力するように構成されている。
【0138】
OBMC部241Cは、MC部241Bから出力されるMC画素に対して、OBMCの適用可不可を判定するとともに、OBMCが適用可な場合は、OBMCを適用して、最終的な動き補償画素を生成して、後段の合成部243に出力するように構成されている。
【0139】
なお、本構成における後段の合成部243は、方法1(構成1)で示したOBMC部243Bを備えず、インター予測部241又はイントラ予測部242から出力される動き補償画素又はイントラ予測画素を合成するように構成されている。
【0140】
すなわち、上述のOBMC部243Bに対して、OBMC部241Cは、予測種別がインター予測であるサブブロックのみに対してOBMCの適用可不可を判定できる。
【0141】
図14に示す本構成をとることで、
図13に示す構成1に対して、さらに予測性能の向上が期待できる一方で、OBMCに必要なメモリバンド幅とOBMCの処理実行数は増加する。
【0142】
具体的に、合成部243によるGPMの最終予測画素の生成前に、インター予測画素のみに対して直接OBMCを実行できるため、上述した予測種別がインター予測であるサブブロックであっても、もともとはインター予測及びイントラ予測の2つの予測種別を持つサブブロックのイントラ予測画素に対してOBMCを非適用にできる。これにより、本来隣接画素とブロック境界歪が発生しづらいイントラ予測画素に対してOBMCを不要に適用することを回避できるため、結果として、予測性能が向上する。
【0143】
他方、合成部243によるGPMの最終予測画素の生成前に、インター予測画素のみに対して直接OBMCを実行するため、上述の構成1と比較して、OBMCに必要なメモリバンド幅とOBMCの処理実行数が倍増する。
【0144】
[方法3(構成3)]
図15~
図17を用いて、
図2、
図3及び
図13で実現できるGPMに対するOBMCの適用可不可を考慮した最終予測画素の生成方法(方法1)或いは
図2、
図3及び
図14で実現できるGPMに対するOBMCの適用可不可を考慮した最終予測画素の生成方法(方法2)の変更例である方法3(構成3)について説明する。
【0145】
方法3(構成3)では、
図15に示すように、
図2に対して、イントラ予測部112がインター予測部111に対してイントラ予測画素を出力する線が追加されている。これにより、後述するが、インター予測部111にて、GPMによる加重平均された最終予測画素を生成できる。すなわち、上述の方法1(構成1)や方法2(構成2)における合成部113が不要にできる。
【0146】
また、方法3(構成3)では、
図16に示すように、
図3に対して、イントラ予測部242がインター予測部241に対してイントラ予測画素を出力する線が追加されている。これにより、後述するが、インター予測部241にて、GPMによる加重平均された最終予測画素を生成できる。すなわち、上述の方法1(構成1)や方法2(構成2)における合成部243が不要にできる。
【0147】
方法3(構成3)では、
図17に示すように、インター予測部241(111)は、MV導出部241Aと、MC部241Bと、予測画素合成部243Aと、OBMC部241Cとを備えている。
【0148】
ここで、MV導出部241A及びMC部241Bは、
図14に示すMV導出部241A及びMC部241Bと同じ構成を取ることできる。
【0149】
また、予測画素合成部243A及びOBMC部243Bは、
図13に示す合成部243の予測画素合成部243A及びOBMC部243Bと同じ構成を取ることができる。
【0150】
以上の構成により期待できる効果は、構成1と同じである。
【0151】
[方法4(構成4)]
図15、
図16及び
図18を用いて、
図2、
図3及び
図13で実現できるGPMに対するOBMCの適用可不可を考慮した最終予測画素の生成方法(方法1)或いは
図2、
図3及び
図14で実現できるGPMに対するOBMCの適用可不可を考慮した最終予測画素の生成方法(方法2)の変更例である方法4(構成4)について説明する。以下、既出の構成に対する差分のみを以下で説明する。
【0152】
方法4(構成4)では、
図18に示すように、インター予測部241(111)は、MV導出部241Aと、MC部241Bと、OBMC部241Cと、予測画素合成部243Aとを備えている。
【0153】
ここで、MV導出部241A、MC部241B及びOBMC部241Cは、
図14に示すMV導出部241A、MC部241B及びOBMC部241Cと同じ構成を取ることできる。
【0154】
また、予測画素合成部243Aは、
図13に示す合成部243の予測画素合成部243Aと同じ構成を取ることができる。
【0155】
以上の構成により期待できる効果は、構成2と同じである。
【0156】
上述した構成1~構成4のいずれかを選択するかは、符号化性能又は画像復号装置100における復号処理量とメモリバンド幅の制約のトレードオフに基づいて、設計者の意図で選択してもよい。
【0157】
上述の画像符号化装置100及び画像復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
【0158】
なお、上述の各実施形態では、本発明を画像符号化装置100及び画像復号装置200への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置100及び画像復号装置200の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。
【符号の説明】
【0159】
10…画像処理システム
100…画像符号化装置
111、241…インター予測部
112、242…イントラ予測部
113、243…合成部
121…減算器
122、230…加算器
131…変換・量子化部
132、220…逆変換・逆量子化部
140…符号化部
150、250…インループフィルタ処理部
160、260…フレームバッファ
200…画像復号装置
210…復号部
241A…MV導出部
241B…MC部
241C…OBMC部
243A…予測画素合成部
243B…OBMC部