(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-31
(45)【発行日】2025-02-10
(54)【発明の名称】画像復号装置、画像復号方法及びプログラム
(51)【国際特許分類】
H04N 19/50 20140101AFI20250203BHJP
H04N 19/70 20140101ALI20250203BHJP
【FI】
H04N19/50
H04N19/70
(21)【出願番号】P 2021188193
(22)【出願日】2021-11-18
【審査請求日】2024-01-26
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和元年度、総務省、「多様な用途、環境下での高精細映像の活用に資する次世代映像伝送・通信技術の研究開発」委託事業、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】木谷 佳隆
(72)【発明者】
【氏名】河村 圭
【審査官】田中 純一
(56)【参考文献】
【文献】特開2020-108055(JP,A)
【文献】特開2022-162484(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
画像復号装置であって、
対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、
前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、
前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、
前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、
前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、
前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを特徴とする画像復号装置。
【請求項2】
前記合成部は、
第1重み係数で、前記輝度マッピングが行われた前記動き補償画素の輝度成分と前記重複ブロック動き補償画素の輝度成分とを加重平均して、前記対象ブロックに対する前記輝度マッピングされたインター予測画素の輝度成分を生成し、
第2重み係数で、前記輝度マッピングが行われた前記インター予測画素の輝度成分と前記イントラ予測画素の輝度成分とを加重平均して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを特徴とする請求項1に記載の画像復号装置。
【請求項3】
画像復号装置であって、
対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、
前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、
前記対象ブロックに対する予測残差画素の色差成分を逆色差スケーリングするように構成されている逆色差スケーリング部と、
前記対象ブロックに対する前記動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部と、
対象ブロックに幾何学ブロック分割モードと輝度マッピング・色差スケーリングが有効である場合、前記幾何学ブロック分割モードにおける分割領域のそれぞれに独立に逆色差スケーリングを適用するように構成されている逆色差スケーリング部とを有することを特徴とする画像復号装置。
【請求項4】
前記逆色差スケーリング部は、前記幾何学ブロック分割モードの分割形状によって、スケーリング係数の算出に使用する前記対象ブロックに隣接する輝度成分の再構成画素の範囲を制御するように構成されていることを特徴とする請求項3に記載の画像復号装置。
【請求項5】
前記逆色差スケーリング部は、前記幾何学ブロック分割モードの分割角度に基づいて規定された前記再構成画素の参照方向を示すテーブルを用いて、前記再構成画素の範囲を制御することを特徴とする請求項4に記載の画像復号装置。
【請求項6】
画像復号方法であって、
対象ブロックに対する動き補償画素を生成する工程Aと、
前記対象ブロックに対する重複ブロック動き補償画素を生成する工程Bと、
前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行う工程Cと、
前記対象ブロックに対するイントラ予測画素を生成する工程Dと、
前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成する工程Eとを有し、
前記工程Eにおいて、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成することを特徴とする画像復号方法。
【請求項7】
コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、
前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、
前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、
前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、
前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、
前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献1では、GPM(Geometric Partitioning Mode)が開示されている。
【0003】
GPMは、矩形ブロックを斜めに2分割しそれぞれを動き補償する。具体的には、GPMにおいて、分割された2領域は、それぞれマージモードの動きベクトルにより動き補償され、重み付き平均により合成される。斜めの分割パターンとしては、角度と位置とによって64パターンが用意されている。
【0004】
また、非特許文献1では、Luma Mapping with Chroma Scaling(LMCS)が開示されている。LMCSは、符号化処理技術における変換・量子化を入力画像信号と異なる信号空間で行う技術である。
【0005】
さらに、非特許文献2では、Overlapped Block Motion Compensation(OBMC)が開示されている。OBMCは、対象ブロックの動き補償(MC)画素に対して、当該対象ブロックに隣接ブロックが有する動きベクトルを用いた動き補償画素(OBMC画素)を両ブロックの境界からの距離に応じて加重平均する技術である。
【先行技術文献】
【非特許文献】
【0006】
【文献】ITU-T H.266/VVC
【文献】JVET-U0100、「Compression efficiency methods beyond VVC」
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献1で開示されているGPMは、インター予測に限定されているため、符号化性能の改善余地があるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、対象ブロックにおいてGPMとOBMCとLMCSの全てが有効であり且つGPMがインター予測とイントラ予測とから構成される場合、輝度マッピングが行われたMC画素とOBMC画素とイントラ予測画素とを合成して対象ブロックの輝度成分における予測画素を生成し、すなわち、3つの予測画素の信号空間が輝度マッピングされた空間に揃えた上で、最終的な予測画素を生成することで、予測性能の改善を期待することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1の特徴は、画像復号装置であって、対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを要旨とする。
【0009】
本発明の第2の特徴は、画像復号装置であって、対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、前記対象ブロックに対する予測残差画素の色差成分を逆色差スケーリングするように構成されている逆色差スケーリング部と、前記対象ブロックに対する前記動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部と、対象ブロックに幾何学ブロック分割モードと輝度マッピング・色差スケーリングが有効である場合、前記幾何学ブロック分割モードにおける分割領域のそれぞれに独立に逆色差スケーリングを適用するように構成されている逆色差スケーリング部とを有することを要旨とする。
【0010】
本発明の第3の特徴は、画像復号方法であって、対象ブロックに対する動き補償画素を生成する工程Aと、前記対象ブロックに対する重複ブロック動き補償画素を生成する工程Bと、前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行う工程Cと、前記対象ブロックに対するイントラ予測画素を生成する工程Dと、前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成する工程Eとを有し、前記工程Eにおいて、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成することを要旨とする。
【0011】
本発明の第4の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを要旨とする。
【発明の効果】
【0012】
本発明によれば、対象ブロックにおいてGPMとOBMCとLMCSの全てが有効であり且つGPMがインター予測とイントラ予測とから構成される場合、輝度マッピングが行われたMC画素とOBMC画素とイントラ予測画素とを合成して対象ブロックの輝度成分における予測画素が生成される、すなわち、3つの予測画素の信号空間が輝度マッピングされた空間に揃った上で、最終的な予測画素が生成されるため、予測性能の改善を期待することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、一実施形態に係る画像処理システム1の構成の一例を示す図である。
【
図2】
図2は、一実施形態に係る画像符号化装置100の機能ブロックの一例を示す図である。
【
図3】
図3は、一実施形態に係る画像復号装置200の機能ブロックの一例を示す図である。
【
図4】
図4は、非特許文献1に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線によって、幾何学形状の分割領域Aと分割領域Bに2分割されるケースの一例を示す図である。
【
図5】
図5は、本実施形態に係るGPMに対するイントラ予測モードの適用の一例を示す。
【
図6】
図6は、本実施形態に係るGPMに対するイントラ予測モードの適用の一例を示す。
【
図7】
図7は、本実施形態に係るイントラ予測モード候補リストの一例を示す図である。
【
図8】
図8は、非特許文献1で開示されているマージ候補リストの構築方法を示す図である。
【
図9A】
図9Aは、非特許文献2に開示されているOBMCにより、動き補償される矩形の復号対象ブロックの一例を示す図である。
【
図9B】
図9Bは、非特許文献2に開示されているOBMCにより、動き補償される矩形の復号対象ブロックの一例を示す図である。
【
図10】
図10は、インター予測部241の動作の一例を示すフローチャートである。
【
図11】
図11は、本実施形態におけるGPMが適用されるブロックに対するOBMCの適用の一例を示す。
【
図12】
図12は、本実施形態におけるIntra/Inter-GPMのインター予測領域に双予測が適用され、当該領域にDMVRが適用され、且つ、当該領域を構成する所定のブロックサイズがもつ動きベクトルが異なる場合に、それらのブロックの上下左右のブロック境界に対してOBMCが適用される一例を示す図である。
【
図13】
図13は、非特許文献1及び本実施形態に係るGPMの各分割領域A/Bの予測画素に対する重み係数wの値の一例を示す図である。
【
図14】
図14は、GPMの分割線の角度を規定するangleIdxの一例を示す図である。
【
図16】
図16は、本実施形態に係るGPMの分割形状を考慮した逆色差スケーリング手法の一例を示す図である。
【
図17】
図17は、GPMの分割線Lの角度に基づいて分割領域A/Bのそれぞれの参照領域が設定されたテーブルの一例を示す図である。
【
図18】
図18は、スケーリング係数の算出に使用する再構成画素の輝度成分を制限する方法の一例について説明するための図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0015】
<第1実施形態>
以下、
図1~
図16を参照して、本発明の第1実施形態に係る画像処理システム10について説明する。
図1は、本実施形態に係る画像処理システム10について示す図である。
【0016】
(画像処理システム10)
図1に示すように、本実施形態に係る画像処理システム10は、画像符号化装置100及び画像復号装置200を有する。
【0017】
画像符号化装置100は、入力画像信号(ピクチャ)を符号化することによって符号化データを生成するように構成されている。画像復号装置200は、符号化データを復号することによって出力画像信号を生成するように構成されている。
【0018】
ここで、かかる符号化データは、画像符号化装置100から画像復号装置200に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置100から画像復号装置200に提供されてもよい。
【0019】
(画像符号化装置100)
以下、
図2を参照して、本実施形態に係る画像符号化装置100について説明する。
図2は、本実施形態に係る画像符号化装置100の機能ブロックの一例について示す図である。
【0020】
図2に示すように、画像符号化装置100は、MC部111Aと、OBMC部111Bと、イントラ予測部112と、合成部113と、減算器121と、加算器122と、変換・量子化部131と、逆変換・逆量子化部132と、符号化部140と、フレームバッファ160と、第1輝度マッピング部170Aと、第2輝度マッピング部170Bと、インループフィルタ処理部170と、逆輝度マッピング部171と、色差スケーリング部180と、逆色差スケーリング部181とを有する。
【0021】
MC部111Aは、動き補償(MC:Motion Compensation)によって対象ブロックに対するMC画素信号を生成するように構成されている。ここで、動き補償は、フレーム間予測又はインター予測とも呼ばれる。
【0022】
具体的には、MC部111Aは、符号化対象フレーム(対象フレーム)とフレームバッファ160に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル(MV:Motion Vector)を決定するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
【0023】
また、MC予測部111Aは、参照ブロック及び動きベクトルに基づいて符号化対象ブロック(以下、対象ブロック)に含まれるMC画素信号(以下、MC画素)を対象ブロック毎に生成するように構成されている。
【0024】
また、MC部111Aは、MC画素を第2輝度マッピング部170Bに出力するように構成されている。
【0025】
また、MC部111Aは、
図2には図示していないが、MCの制御に関する情報(具体的には、インター予測モードや動きベクトルや参照フレームリストや参照フレーム番号等の情報)を符号化部140に出力するように構成されている。
【0026】
OBMC部111Bは、インター予測の一種である重複ブロック動き補償(OBMC:Overlapped Block Motion Compensation)によって対象ブロックに対するOBMC画素信号(以下、OBMC画素)を生成するように構成されている。
【0027】
具体的には、OBMC部111Bは、MC部111Aと同様の手順で、ただし、対象ブロックではなく、対象ブロックに隣接するブロック(以下、隣接ブロック)に対する参照ブロック及び動きベクトルに基づいて、対象ブロックと隣接ブロックとの境界から対象ブロック方向に重複する所定画素領域分のMC画素信号(以下、OBMC画素)を生成するように構成されている。
【0028】
また、OBMC部111Bは、OBMC画素を第2輝度マッピング部170Bに出力するように構成されている。
【0029】
さらに、OBMC部111Bは、
図2には図示していないが、OBMCの制御に関する情報(具体的には、動きベクトルや参照フレームリストや参照フレーム番号等の情報)を符号化部140に出力するように構成されている。
【0030】
イントラ予測部112は、イントラ予測(フレーム内予測)によって対象ブロックに対するイントラ予測画素信号(以下、イントラ予測画素)を生成するように構成されている。
【0031】
具体的には、イントラ予測部112は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測画素を対象ブロック毎に生成するように構成されている。
【0032】
ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
【0033】
また、イントラ予測部112は、イントラ予測画素を合成部113に出力するように構成されている。
【0034】
さらに、イントラ予測部112は、
図2には図示していないが、イントラ予測の制御に関する情報(具体的には、イントラ予測モード等の情報)を符号化部140に出力するように構成されている。
【0035】
第1輝度マッピング部170Aは、非特許文献1で開示されている輝度マッピング・色差スケーリング(LMCS:Luma Mapping with Chroma Scaling)が対象ブロックに対して有効である場合、入力画像信号における輝度成分の画素値の最大値及び最小値を、対象ブロック単位で16等分し、さらに各区分に含まれる入力画像信号の値を事前に設計した区分線系モデルを用いて変換(以下、輝度マッピング)するように構成されている。
【0036】
なお、この区分線形モデルを用いた輝度マッピング方法については、非特許文献1と同様の手法を本実施形態でも適用可能なため詳細な説明は省略する。
【0037】
また、第1輝度マッピング部170Aは、輝度マッピングされた対象ブロックの入力画像信号の値(以下、入力画素)を、後段の減算器121及びイントラ予測部112に出力するように構成されている。
【0038】
また、第1輝度マッピング部170Aは、対象ブロックに対してLMCSが無効である場合、入力画素の輝度成分に対して上述の輝度マッピングを適用せずに、後段の減算器121及びイントラ予測部112に輝度マッピングされていない輝度成分の入力画素を出力するように構成されている。
【0039】
さらに、第1輝度マッピング部170Aは、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、入力画素の色差成分に対して上述の輝度マッピング処理を適用せずに、後段の減算器121及びイントラ予測部112に輝度マッピングされていない色差成分の入力画素を出力するように構成されている。
【0040】
第2輝度マッピング部170Bは、LMCSが対象ブロックに対して有効である場合、MC部111Aから出力されるMC画素及びOBMC部111Bから出力されるOBMC画素の各輝度成分を、前述の第1輝度マッピング部170Aと同様の手法で輝度マッピングするように構成されている。
【0041】
また、第2輝度マッピング部170Bは、輝度マッピングされたMC画素及びOBMC画素のそれぞれを後段の合成部113に出力するように構成されている。
【0042】
なお、第2輝度マッピング部170Bは、対象ブロックに対してLMCSが無効である場合、MC画素及びOBMC画素の輝度成分に対して上述の輝度マッピングを適用せずに、後段の合成部113に輝度マッピングされていない各輝度成分のMC画素及びOBMC画素を出力するように構成されている。
【0043】
また、第2輝度マッピング部170Bは、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、MC画素及びOBMC画素の色差成分に対して上述の輝度マッピング処理を適用せずに、後段の合成部113に輝度マッピングされていない各色差成分のMC画素及びOBMC画素を出力するように構成されている。
【0044】
合成部113は、第2輝度マッピング部170BからのMC画素とOBMC画素及びイントラ予測部112からのイントラ予測画素を、それぞれ予め設定された重み係数を用いて加重平均(合成)し、合成された予測信号(以下、予測画素)を減算器121及び加算器122に出力するように構成されている。ここで、重み係数及び加重平均方法の詳細については後述する。
【0045】
減算器121は、入力画素に対して、合成部113からの予測画素を減算して得られた差分、すなわち、予測残差信号(以下、予測残差画素)を色差スケーリング部180に出力するように構成されている。
【0046】
色差スケーリング部180は、LMCSが対象ブロックに対して有効である場合、対象ブロックに隣接する復号済みの再構成画素の平均値を用いて算出された色差スケーリング係数に基づいて、予測残差画素における色差成分の画素値を変換(以下、色差スケーリング)するように構成されている。色差スケーリング方法の詳細については後述する。
【0047】
また、色差スケーリング部180は、色差スケーリングされた対象ブロックの予測残差画素を、後段の変換・量子化部131に出力するように構成されている。
【0048】
また、色差スケーリング部180は、対象ブロックに対してLMCSが無効である場合、予測残差画素の色差成分に対して上述の色差スケーリングについては適用せずに、後段の減算器121及びイントラ予測部112に色差スケーリングされていない予測残差画素を出力するように構成されている。
【0049】
さらに、色差スケーリング部180は、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、予測残差画素の輝度成分に対して上述の色差スケーリングを適用せずに、後段の減算器121及びイントラ予測部112に色差スケーリングされていない予測残差画素の輝度成分を出力するように構成されている。
【0050】
加算器122は、逆色差スケーリング部181から出力される予測残差画素に合成部113から出力される予測画素を加算してフィルタ処理前復号信号(以下、フィルタ処理前再構成画素)を生成し、かかるフィルタ処理前再構成画素をイントラ予測部112及び逆輝度マッピング部171に出力するように構成されている。
【0051】
ここで、フィルタ処理前再構成画素は、イントラ予測部112で用いる参照ブロックを構成する。
【0052】
変換・量子化部131は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部131は、係数レベル値の量子化を行うように構成されていてもよい。
【0053】
ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理としては、離散コサイン変換(Discrete Cosine Transform、以下、DCTと記す)に対応する基底パタン(変換行列)が用いられてもよく、離散サイン変換(Discrete Sine Transform、以下、DSTと記す)に対応する基底パタン(変換行列)が用いられてもよい。
【0054】
また、変換処理としては、非特許文献1で開示されている複数の変換基底から予測残差信号の係数の偏りに適したものを水平・垂直方向毎に選択可能とするMTS(Multiple Transform Selection)や、1次変換後の変換係数をさらに低周波数領域に集中させることで符号化性能を改善するLFNST(Low Frequecny Non-Separable Transform)が用いられてもよい。
【0055】
逆変換・逆量子化部132は、変換・量子化部131から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部132は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0056】
ここで、逆変換処理及び逆量子化は、変換・量子化部131で行われる変換処理及び量子化とは逆の手順で行われる。
【0057】
符号化部140は、変換・量子化部131から出力される係数レベル値を符号化し、符号化データを出力するように構成されている。
【0058】
ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【0059】
また、符号化部140は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。
【0060】
ここで、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のブロックサイズに関する情報(フラグやインデックス)を含んでもよい。
【0061】
また、制御データは、後述する画像復号装置200における逆変換・逆量子化部220の逆変換・逆量子化処理、MC部241AのMC画素の生成処理、OBMC部241BのOBMC画素の生成処理、イントラ予測部242のイントラ予測画素の生成処理、合成部243の最終的な予測画素の生成処理、インループフィルタ処理部250のフィルタ処理、輝度マッピング部270の輝度マッピング処理、逆輝度マッピング部271の逆輝度マッピング処理、逆色差スケーリング部281の逆色差スケーリング処理等の制御に必要な情報(フラグやインデックス)を含んでもよい。
【0062】
なお、非特許文献1では、これらの制御データは、シンタックスと呼称され、その定義は、セマンティクスと呼称されている。
【0063】
また、制御データは、後述するシーケンス・パラメータ・セット(SPS:Sequence Parameter Set)やピクチャ・パラメータ・セット(PPS:Picutre Parameter Set)やピクチャヘッダ(PH:Picture Header)やスライスヘッダ(SH:Slice Header)等のヘッダ情報を含んでもよい。
【0064】
逆色差スケーリング部181は、LMCSが対象ブロックに対して有効である場合、逆変換・量子化部131から出力される予測残差画素の色差成分に対して、逆色差スケーリングするように構成されている。
【0065】
ここで、逆色差スケーリングは、前述の色差スケーリング部180における対象ブロックの予測残差画素における色差成分に対する色差スケーリングの逆の手順で行われる。
【0066】
また、逆色差スケーリング部181は、逆色差スケーリングされた対象ブロックの予測残差画素を、後段の加算器122に出力するように構成されている。
【0067】
また、逆色差スケーリング部181は、対象ブロックに対してLMCSが無効である場合、予測残差画素の色差成分に対して上述の逆色差スケーリングについては適用せずに、後段の加算器122に逆色差スケーリングされていない予測残差画素を出力するように構成されている。
【0068】
さらに、逆色差スケーリング部181は、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、予測残差画素の輝度成分に対して上述の逆色差スケーリングを適用せずに、後段の加算器122に逆色差スケーリングされていない予測残差画素を出力するように構成されている。
【0069】
逆輝度マッピング部171は、LMCSが対象ブロックに対して有効である場合、加算器122から出力されるフィルタ処理前再構成画素の輝度成分に対して、逆輝度マッピングするように構成されている。
【0070】
ここで、逆輝度マッピングは、前述の第1輝度マッピング部170Aや第1輝度マッピング部170Bにおける対象ブロックにおける予測画素の輝度成分に対する輝度マッピングの逆の手順で行われる。
【0071】
また、逆輝度マッピング部171は、逆輝度マッピングされた、対象ブロックのフィルタ処理前再構成画素を、後段のインループフィルタ部170に出力するように構成されている。
【0072】
また、逆輝度マッピング部171は、対象ブロックに対してLMCSが無効である場合、フィルタ処理前再構成画素の輝度成分に対して上述の逆輝度マッピングは適用せずに、後段のインループフィルタ部170に逆輝度マッピングされていない予測残差画素の輝度成分を出力するように構成されている。
【0073】
また、逆輝度マッピング部171は、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、フィルタ処理前再構成画素の色差成分に対して上述の逆輝度マッピングを適用せずに、インループフィルタ部170に逆輝度マッピングされていないフィルタ処理前再構成画素の色差成分を出力するように構成されている。
【0074】
インループフィルタ処理部170は、逆輝度マッピング部271から出力されるフィルタ処理前再構成画素に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ160に出力するように構成されている。
【0075】
ここで、例えば、フィルタ処理は、ブロック(符号化ブロック、予測ブロック又は変換ブロック)の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や画像符号化装置100から伝送されるフィルタ係数やフィルタ選択情報、画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
【0076】
フレームバッファ160は、インループフィルタ処理部170から入力されたフィルタ処理後復号信号(以下、参照フレーム)を蓄積するように構成されている。
【0077】
また、フレームバッファ160は、蓄積した参照フレームを、MC部111A又はOBMC部111Bで用いる参照フレームとして出力するように構成されている。
【0078】
(画像復号装置200)
以下、
図3を参照して、本実施形態に係る画像復号装置200について説明する。
図3は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
【0079】
図3に示すように、画像復号装置200は、復号部210と、逆変換・逆量子化部220と、逆色差スケーリング部281と、加算器230と、MC部241Aと、OBMC部241Bと、輝度マッピング部270と、イントラ予測部242と、合成部243と、逆輝度マッピング部271と、インループフィルタ処理部250と、フレームバッファ260とを有する。
【0080】
復号部210は、画像符号化装置100によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。
【0081】
ここで、復号は、例えば、符号化部140で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
【0082】
また、復号部210は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
【0083】
ここで、制御データは、上述した復号ブロック(上述の画像符号化装置100における符号化対象ブロックと同義。以下、まとめて対象ブロックと記載)のブロックサイズに関する情報を含んでもよい。
【0084】
また、制御データは、前述の通り、画像復号装置200における逆変換・逆量子化部220の逆変換・逆量子化処理、MC部241AのMC画素の生成処理、OBMC部241BのOBMC画素の生成処理、イントラ予測部242のイントラ予測画素の生成処理、合成部243の最終的な予測画素の生成処理、インループフィルタ処理部250のフィルタ処理、輝度マッピング部270の輝度マッピング処理、逆輝度マッピング部271の逆輝度マッピング処理、逆色差スケーリング部281の逆色差スケーリング処理等の制御に必要な情報(フラグやインデックス)を含んでもよい。
【0085】
また、制御データは、上述したシーケンス・パラメータ・セット(SPS:Sequence Parameter Set)やピクチャ・パラメータ・セット(PPS:Picutre Parameter Set)やピクチャヘッダ(PH:Picture Header)やスライスヘッダ(SH:Slice Header)等のヘッダ情報を含んでもよい。
【0086】
逆変換・逆量子化部220は、復号部210から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部220は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0087】
ここで、逆変換処理及び逆量子化は、変換・量子化部131で行われる変換処理及び量子化とは逆の手順で行われる。
【0088】
逆色差スケーリング部281は、逆色差スケーリング部181と同様に、LMCSが対象ブロックに対して有効である場合、逆変換・量子化部220から出力される予測残差画素の色差成分に対して、逆色差スケーリングするように構成されている。
【0089】
ここで、逆色差スケーリングは、前述の色差スケーリング部180における対象ブロックの予測残差画素における色差成分に対する色差スケーリングの逆の手順で行われる。
【0090】
また、逆色差スケーリング部281は、逆色差スケーリングされた対象ブロックの予測残差画素を、後段の加算器230に出力するように構成されている。
【0091】
また、逆色差スケーリング部281は、対象ブロックに対してLMCSが無効である場合、予測残差画素の色差成分に対して上述の逆色差スケーリングについては適用せずに、後段の加算器230に逆色差スケーリングされていない予測残差画素の色差成分を出力するように構成されている。
【0092】
さらに、逆色差スケーリング部281は、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、予測残差画素の輝度成分に対して上述の逆色差スケーリングを適用せずに、後段の加算器230に逆色差スケーリングされていない予測残差画素の輝度成分を出力するように構成されている。
【0093】
加算器230は、加算器222と同様に、逆色差スケーリング部281から出力される予測残差画素に合成部243から出力される予測画素を加算してフィルタ処理前復号信号(以下、フィルタ処理前再構成画素)を生成し、かかるフィルタ処理前再構成画素をイントラ予測部42及び逆輝度マッピング部271に出力するように構成されている。
【0094】
ここで、フィルタ処理前再構成画素は、イントラ予測部112で用いる参照ブロックを構成する。
【0095】
逆輝度マッピング部271は、逆輝度マッピング部171と同様に、LMCSが対象ブロックに対して有効である場合、加算器230から出力されるフィルタ処理前再構成画素の輝度成分に対して、逆輝度マッピングするように構成されている。
【0096】
ここで、逆輝度マッピングは、前述の第1輝度マッピング部170Aや第2輝度マッピング部170Bにおける対象ブロックにおける予測画素の輝度成分に対する輝度マッピングの逆の手順で行われる。
【0097】
また、逆輝度マッピング部271は、逆輝度マッピングされた対象ブロックのフィルタ処理前再構成画素を、後段のインループフィルタ部280に出力するように構成されている。
【0098】
また、逆輝度マッピング部271は、対象ブロックに対してLMCSが無効である場合、フィルタ処理前再構成画素の輝度成分に対して上述の逆輝度マッピングについては適用せずに、後段のインループフィルタ部280に逆輝度マッピングされていない予測残差画素の輝度成分を出力するように構成されている。
【0099】
さらに、逆輝度マッピング部271は、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、フィルタ処理前再構成画素の色差成分に対して上述の逆輝度マッピングを適用せずに、インループフィルタ部280に逆輝度マッピングされていないフィルタ処理前再構成画素を出力するように構成されている。
【0100】
インループフィルタ処理部250は、インループフィルタ処理部150と同様に、加算器230から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ260に出力するように構成されている。
【0101】
ここで、例えば、フィルタ処理は、ブロック(符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック)の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置100から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
【0102】
フレームバッファ260は、フレームバッファ160と同様に、インター予測部241で用いる参照フレームを蓄積するように構成されている。
【0103】
ここで、フィルタ処理後復号信号は、インター予測部241で用いる参照フレームを構成する。
【0104】
MC部241Aは、MC部111Aと同様に、動き補償(MC:Motion Compensation)によって対象ブロックに対するMC画素を生成するように構成されている。ここで、動き補償は、フレーム間予測又はインター予測とも呼ばれる。
【0105】
具体的には、MC部241Aは、復号対象フレーム(対象フレーム)とフレームバッファ260に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対するMVを決定するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
【0106】
また、MC部241Aは、参照ブロック及び動きベクトルに基づいて対象ブロックに含まれるMC画素を対象ブロック毎に生成するように構成されている。
【0107】
さらに、MC部241Aは、MC画素を輝度マッピング部270に出力するように構成されている。
【0108】
OBMC部241Bは、OBMCによって対象ブロックに対するOBMC画素を生成するように構成されている。
【0109】
具体的には、OBMC部241Bは、OBMC部111Bと同様の手順で、対象ブロックと隣接ブロックとの境界から対象ブロック方向に重複する所定画素領域分のMC画素(OBMC画素)を生成するように構成されている。
【0110】
さらに、OBMC部241Bは、OBMC画素を輝度マッピング部270に出力するように構成されている。
【0111】
輝度マッピング部270は、第2輝度マッピング部170Bと同様に、LMCSが対象ブロックに対して有効である場合、MC部241Aから出力されるMC画素及びOBMC部241Bから出力されるOBMC画素の各輝度成分を、前述の第1輝度マッピング部170Aや第2輝度マッピング部170Bと同様の手法で輝度マッピングするように構成されている。
【0112】
また、輝度マッピング部270は、輝度マッピングが行われたMC画素及びOBMC画素のそれぞれを後段の合成部243に出力されるように構成されている。
【0113】
なお、輝度マッピング部270は、対象ブロックに対してLMCSが無効である場合、かかるMC画素及びOBMC画素の輝度成分に対して上述の輝度マッピングを適用せずに、後段の合成部243に輝度マッピングされていない各輝度成分のMC画素およびOBMC画素を出力するように構成されている。
【0114】
さらに、輝度マッピング部270は、対象ブロックに対してLMCSが有効であるか無効であるかに関わらず、かかるMC画素及びOBMC画素の色差成分に対して上述の輝度マッピング処理を適用せずに、後段の合成部243に輝度マッピングされていない各色差成分のMC画素及びOBMC画素を出力するように構成されている。
【0115】
イントラ予測部242は、イントラ予測部112と同様に、イントラ予測によって対象ブロックに対するイントラ予測画素を生成するように構成されている。
【0116】
具体的には、イントラ予測部242は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測画素を対象ブロック毎に生成するように構成されている。ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
【0117】
また、イントラ予測部242は、イントラ予測画素を合成部243に出力するように構成されている。
【0118】
合成部243は、合成部113と同様に、輝度マッピング部270からのMC画素とOBMC画素及びイントラ予測部242からのイントラ予測画素を、それぞれ予め設定された重み係数を用いて加重平均(合成)し、合成された予測画素を加算器230に出力するように構成されている。ここで、重み係数及び加重平均方法の詳細については後述する。
【0119】
(幾何学分割モード)
以下、
図4を用いて、復号部210とMC予測部241Aとイントラ予測部242と合成部243に係る非特許文献1で開示されている幾何学分割モード(GPM:Geometric Partitioning Mode)について説明する。
【0120】
図4は、非特許文献1に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線Lによって、幾何学形状の分割領域Aと分割領域Bに2分割されるケースの一例を示す。
【0121】
ここで、非特許文献1で開示されている幾何学分割モードの分割線Lは、角度と位置とによって64パターンが用意されている。
【0122】
また、非特許文献1に係るGPMは、分割領域A及び分割領域Bのそれぞれに対して導出された異なる1本の動きベクトルを用いた動き補償(MC)が適用され、MC画素が生成される。
【0123】
具体的には、かかるGPMでは、非特許文献1で開示されているマージ候補リストを構築し、かかるマージ候補リスト及び画像符号化装置100から伝送される各分割領域A/Bに対する2つのマージインデックス(merge_gpm_idx0、merge_gpm_idx1)に基づいて、各分割領域A/Bそれぞれの動きベクトル(mvA、mvB)及び参照フレームを導出して、動き補償画素を生成される。そして、各分割領域A/BのMC画素が、後述する予め設定された重み係数によって加重平均(合成)されて、最終的なGPMによる予測画素が生成される。
【0124】
(GPMへのイントラ予測の適用)
以下、
図5及び
図6を用いて、復号部210とMC部241Aとイントラ予測部242と合成部243に係る非特許文献1で開示されている幾何学分割モード(GPM:Geometric Partitioning Mode)及び本実施形態に係る第1の幾何学分割モード(GPM)へのイントラ予測モードへの適用について説明する。
【0125】
図5及び
図6は、本実施形態に係るGPMに対するイントラ予測モードの適用の一例を示す。
【0126】
具体的に、
図5は、各分割領域A/Bに対してイントラ予測(modeX)及びインター予測が適用される場合の本実施形態に係るGPMの構成例を示す。
図6は、各分割領域にA/B対して、異なる2つのイントラ予測(modeX、modeY)が適用される場合の本実施形態に係るGPMの構成例を示す。
【0127】
ここで、本実施形態に係る第1のGPMでは、各分割領域A/Bに対しては、インター予測或いはイントラ予測のいずれも適用することができる。さらにイントラ予測で適用するイントラ予測モードの種別は、対象ブロックに適用されるGPMの分割形状(分割線)に基づいて限定する。すなわち、対象ブロックに適用されるGPMの分割形状(分割線)に基づいて適用可能なイントラ予測モードが導出される。
【0128】
また、本実施形態に係る第2のGPMでは、復号対象ブロックにおけるイントラ予測モードを追加適用したGPMの適用の可不可及びGPM適用時の各分割領域A/Bにおける予測モード種別の特定方法に関して規定している。
【0129】
これにより、イントラ予測モードを追加適用したGPMが適切に復号対象ブロックに適用されると共に、最適な予測モードが特定されることで、結果として符号化性能のさらなる改善余地を実現することができる。
【0130】
なお、以降では、前述の
図4に示すような異なる2つのインター予測で構成されるGPM、
図5に示すようなイントラ予測とインター予測とで構成されるGPM、
図6に示すようなイントラ予測とイントラ予測とで構成されるGPMをそれぞれ、Inter/Inter-GPM、Intra/Inter-GPM、Intra/Intra-GPMと呼称する。
【0131】
さらに、対象ブロックにおいてGPMとOBMCとLMCSの全てが有効であり且つGPMがインター予測とイントラ予測とから構成される場合、輝度マッピングが行われたGPMによるMC画素とイントラ予測画素とOBMCによるOBMC画素とを合成して、対象ブロックの輝度成分における予測画素が生成される、すなわち、予測画素生成に使用される上述の3つの信号空間が輝度マッピングされた空間に揃うため、予測性能の改善が期待できる。
【0132】
[イントラ予測部242におけるイントラ予測モード導出方法及び選択方法]
以降では、イントラ予測部242における本実施形態で提案するGPMへのイントラ予測の適用パターンのうち、Intra/Inter-GPM及びIntra/Intra-GPMに対するイントラ予測モードの導出方法及び選択方法について説明する。
【0133】
(イントラ予測モード候補リスト)
以下、
図7を用いて、本実施形態に係るイントラ予測部242におけるGPM向けのイントラ予測モード候補リスト(以降、イントラ予測モード候補リスト)の構築方法について説明する。
図7は、本実施形態に係るイントラ予測モード候補リストの一例を示す図である。
【0134】
本実施形態では、かかるイントラ予測モード候補リストのリストサイズは、固定値でもよい。例えば、リストサイズは、「3」、「4」及び「5」や非特許文献1で開示されているGPMが非適用のイントラ予測ブロック向けのイントラ予測モード候補リストの最大サイズである「6」や非特許文献3で開示されているGPMが非適用のイントラ予測ブロック向けのイントラ予測モード候補リストの最大サイズである「22」であってもよい。
【0135】
或いは、かかるイントラ予測モード候補リストのリストサイズは、可変値でもよい。例えば、リストサイズの最大値を規定するインデックスをシーケンス或いはピクチャ或いはスライス単位の制御データに内包させ、これを復号部210によって復号することで、シーケンス或いはピクチャ或いはスライス単位のリストサイズの最大値を特定することができる。
【0136】
かかるイントラ予測モード候補リストには、後述するGPMの分割形状又は復号対象ブロックに隣接する隣接参照画素や隣接参照ブロックに基づいて導出される複数のイントラ予測モードが登録される。イントラ予測モードの導出方法の詳細については後述する。
【0137】
イントラ予測部242は、上述のイントラ予測モードの導出(イントラ予測モード候補リストの構築)完了後、復号部210で復号或いは推定された分割領域A/Bのそれぞれに対する2つのイントラ予測モードインデックス(intra_gpm_idx0とintra_gpm_idx1)の値に基づいて、分割領域A/Bのそれぞれに対してイントラ予測モード候補リスト内のいずれか1つのイントラ予測モードをイントラ予測画素の生成に使用するかを選択してもよい。
【0138】
なお、Intra/Intra-GPMに対して、かかる2つのイントラ予測モードインデックスが同じ値になる場合は、GPMが非適用のイントラ予測と同一になるため、かかる2つのイントラ予測モードインデックスは、必ず異なる値になるように構成される。
【0139】
また、復号部210は、GPMを構成するイントラ予測の合計適用数に応じて、かかるイントラ予測モード候補リスト内からイントラ予測画素の生成に使用するイントラ予測モードを選択するためのイントラ予測モードインデックスの復号要否を判定してもよい。
【0140】
ここで、上述の変更例として、イントラ予測部242は、上述のイントラ予測モードインデックスの値に応じて、イントラ予測モード候補リスト内の複数のイントラ予測モードを選択して、イントラ予測画素を生成してもよい。
【0141】
これにより、ハードウェア実装された画像復号装置200では、イントラ予測画素の生成に必要な回路規模が増大するが、複数のイントラ予測モードによりイントラ予測画素を生成できるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
【0142】
なお、複数のイントラ予測モードを使用してイントラ予測画素を生成(合成)する場合、平均してイントラ予測画素を合成してもよい。或いは、所定の重み値で加重平均してイントラ予測画素を合成してもよい。
【0143】
かかる重み値の設定方法として、例えば、イントラ予測モード候補リストの登録順が早い(リスト番号が小さい)イントラ予測モードほど、重み値を大きく設定してもよい。
【0144】
逆に、イントラ予測モード候補リストの登録順が遅い(リスト番号が大きい)イントラ予測モードほど、重み値を小さく設定してもよい。イントラ予測モード候補リスト番号の小さいイントラ予測モードの方が、GPMに適用されるイントラ予測性能の向上率が高いため、このように設定すれば、結果として符号化性能の改善効果が期待できる。
【0145】
(分割形状に基づくイントラ予測モード導出方法)
本実施形態では、イントラ予測部242は、GPMの分割形状(分割線)に基づいて、イントラ予測モードを導出し、上述のイントラ予測モード候補リストに登録する。
【0146】
ここで、導出されるイントラ予測モードは、例えば、非特許文献1で開示されているGPMが非適用のイントラ予測(以降、通常イントラ予測)向けに用意された65種のAngular予測の中から、GPMの分割形状(分割線)に対して平行となるAngular予測とするように構成してもよい。
【0147】
或いは、変更例として導出されるイントラ予測モードは、非特許文献1で開示されている通常イントラ予測向けに用意された65種のAngular予測の中から、GPMの分割形状(分割線L)に対して、垂直となるAngular予測とするように構成してもよい。
【0148】
イントラ予測部242は、導出されたAngular予測を、後述する他のイントラ予測モードの導出完了後であっても、上述のイントラ予測モード候補リストの最初に登録してもよい。
【0149】
GPMの分割形状に基づいて導出されたイントラ予測モードは、GPMの分割形状に応じたエッジ等のテクスチャを反映した上でイントラ予測画素を生成できるため、イントラ予測性能の高い向上効果が期待できる。それゆえ、GPMのイントラ予測領域に対する当該イントラ予測モードの選択率は高いことが期待できるため、イントラ予測モード候補リスト内で最小リスト番号に紐づければ、必要なイントラ予測モードインデックスの総符号長も短くでき、結果として符号化性能の改善効果が期待できる。
【0150】
(復号対象ブロックの隣接画素又は隣接ブロックに基づくイントラ予測モードの導出方法)
本実施形態では、上述の分割形状に基づくイントラ予測モードの導出に加えて或いは変更例として、復号対象ブロックの隣接画素又は隣接ブロックに基づいて、イントラ予測モード導出してもよい。
【0151】
ここで、復号対象ブロックに隣接する隣接参照画素又は隣接参照ブロックは、復号対象ブロックに隣接し且つ復号対象ブロックの復号処理の開始時点で復号処理が完了している参照画素又は参照ブロックのことである。
【0152】
(その他のイントラ予測モードの導出方法)
本実施形態では、上述の2種類のイントラ予測モードの導出に加えて或いは変更例として、それ以外のイントラ予測モードを導出してもよい。具体的には、DCモード或いはPlanarモードを導出してもよい。
【0153】
[MC部241Aにおける動き情報導出方法及び選択方法]
以降では、
図8を用いて、MC部241Aにおける本実施形態で提案するGPMへの動き補償(インター予測)の適用パターンのうち、Intra/Inter-GPM及びInter/Inter-GPMに対する動き情報の導出方法及び選択方法について説明する。
【0154】
(マージ候補リスト)
本実施形態では、MC部241Aは、非特許文献1で開示されているGPM向けのマージ候補リストから動き情報を導出してもよい。
【0155】
ここで、マージ候補リストの構築方法については、非特許文献1で開示されている構成を本実施形態にも適用できるため、詳細な説明は省略する。
【0156】
MC部241Aは、上述の動き情報の導出(マージ候補リストの構築)の完了後、復号部210で復号或いは推定された分割領域A/Bのそれぞれに対する2つのマージインデックス(merge_gpm_idx0/merge_gpm_idx1)の値に基づいて、マージ候補リスト内のいずれの動き情報をインター予測画素の生成に使用するかについて選択してもよい。
【0157】
なお、復号部210は、GPMを構成するインター予測の合計適用数に応じて、マージ候補リスト内からインター予測画素の生成に使用する動き情報を選択するためのマージインデックスの復号要否を判定してもよい。
【0158】
非特許文献1では、分割領域A/Bに対するインター予測の動き情報は、復号部210で復号或いは推定された2つのマージインデックス(merge_gpm_idx0/merge_gpm_idx1)の値と、
図8に示すGPM向けのマージ候補リスト(MergeCandList[m,n])とによって導出される。
【0159】
ここで、merge_gpm_idx0及びmerge_gpm_idx1に基づいて導出される動き情報が極力重複しないように、merge_gpm_idx0及びmerge_gpm_idx1で選択される動き情報の導出対象となるリスト番号は、
図8のXに示すようにMergeCandListの偶数番号と奇数番号とで入れ子構造になっている。
【0160】
具体的には、merge_gpm_idx0及びmerge_gpm_idx1に基づき、以下のm及びnを計算する。
【0161】
m=merge_gpm_idx0[xCb][yCb]
n=merge_gpm_idx1[xCb][yCb]+((merge_gpm_idx1[xCb][yCb]>=m)?1:0)
このように算出されたmの値に基づき、分割領域Aの動き情報を構成する動きベクトル、参照画像インデックス及び予測リストフラグが、以下のように導出される。
【0162】
まず、Xの値をm&0x01(mの値が偶数であるか否かの判定)及びn&0x01(nの値が偶数であるか否かの判定)から算出する。ここで、算出されたXが0の場合は、Xの値を(1-X)とする。
【0163】
最後に、分割領域Aの動きベクトルmvA、参照画像インデックスrefIdxA、予測リストフラグpreListFlagA、分割領域Bの動きベクトルmvB、参照画像インデックスrefIdxB、予測リストフラグpreListFlagBを、それぞれ以下のように導出する。
【0164】
mvA=mvLXM
refIdxA=refIdxLXM
preListFlagA=X
mvB=mvLXN
refIdxB=refIdxLXN
preListFlagB=X
ここで、M及びNは、それぞれマージ候補リストにおけるm及びnが示すマージ候補の番号、すなわち、
M=MergeCandList[m]
N=MergeCandList[n]
である。
【0165】
変更例として、本実施形態では、非特許文献1で開示されているGPM向けのマージ候補リストの代替として、非特許文献2で開示されているGPM向けのマージ候補リストを用いてもよい。
【0166】
具体的には、非特許文献1で開示されている上述の通常マージモード向けのマージ候補リストに導入されている剪定処理(以下、通常マージモード向けマージ候補剪定処理)よりも強力な剪定処理(以下、GPM向けマージ候補剪定処理)が導入されている。
【0167】
また、具体的には、非特許文献1で開示されている通常マージモード向け剪定処理とは異なり、動き情報を剪定対象とするかどうかの判定を、動き情報が有する参照フレームが非特許文献1と同じく完全一致するかどうかを判定するが、動き情報が有する動きベクトルについては完全一致ではなく、復号対象ブロックのブロックサイズに基づく閾値により判定している。
【0168】
具体的に、復号対象ブロックサイズが64画素未満である場合、かかる閾値は1/4画素に設定されており、復号対象ブロックサイズが64画素以上且つ256画素未満である場合、かかる閾値は、1/2画素に設定されており、復号対象ブロックサイズが256画素以上である場合、かかる閾値は、1画素に設定されている。
【0169】
GPM向けマージ候補剪定処理の具体的なフローは、通常マージモード向け剪定処理と同様に、まず、参照フレームが完全一致するかが比較され、完全一致する場合は、次に、動きベクトルが完全一致するかどうかが判定される。
【0170】
参照フレームが完全一致しない場合は、たとえ動きベクトルが閾値未満であっても、剪定対象とみなされない。かかる場合、比較対象のうちマージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。
【0171】
次に、参照フレームが完全一致し且つ動きベクトルが閾値未満である場合は、剪定対象とみなされる。それ以外の場合は、比較対象のうちマージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。
【0172】
かかる構成によれば、通常マージモード向け剪定処理では剪定対象ではなかった動きベクトルが類似する場合の動き情報も剪定対象に含まれることになるため、GPMの2つのマージインデックスによって導出される動き情報の類似性を排除でき、符号化性能の改善が期待できる。
【0173】
なお、この非特許文献2で開示されているGPM向けマージ候補剪定処理において、動き情報が双予測である場合(すなわち、動きベクトル及び参照フレームをL0及びL1のそれぞれ1つずつ持つ場合)は、比較対象のマージ候補のL0及びL1の参照フレームのそれぞれと完全一致する場合に剪定対象とみなされる。
【0174】
本実施形態では、MC部241Aは、GPM向けマージ候補剪定処理が追加されたGPMのマージ候補リストを通常マージモード向けの代替として用いて動き情報を導出してもよい。
【0175】
かかる構成によれば、より類似度が低い動き情報から構成されたマージ候補リスト内から動き情報を導出できるため、結果として符号化性能の改善が期待できる。
【0176】
更なる変更例として、MC部241Aは、動きベクトルの導出に使用するマージ候補リストとして、通常マージモード向けのマージ候補リスト及びGPM向けのマージ候補リストのいずれを使用するかをフラグによって切り替えてもよい。
【0177】
具体的には、復号部210が復号する、例えば、1ビットのフラグを制御データに含まれるように構成することで、復号部210が当該フラグの値を復号或いは推定して、MC部241Aに伝達することで、この切り替えが実現できる。
【0178】
かかる構成によれば、MC部241Aは、より多様なバリエーションから動き情報が導出することができるため、予測性能が向上し、結果として符号化性能の改善が期待できる。
【0179】
(重複ブロック動き補償およびデコーダ動きベクトル修正)
以下、
図9及び
図10を用いて、復号部210及びOBMC部241Bに係る非特許文献2で開示されている重複ブロック動き補償(OBMC:Overlapped Block Motion Compensation)について説明する。
【0180】
図9は、非特許文献2に開示されているOBMCが適用される矩形の復号対象ブロックの2つの例を示す。
【0181】
図9Aは、復号対象ブロックが有する動きベクトル(MV)が復号対象ブロックに対して一様である場合に、復号対象ブロックの上側及び左側に面するブロック境界に対してOBMCが適用される例である。
【0182】
一方で、
図9Bは、復号対象ブロックが有するMVが復号対象ブロックに対して一様ではない場合、例えば、
図9Bに示すように、復号対象ブロックが所定のブロックサイズごとに異なるMVを持つ場合に、各ブロックの上下左右のブロック境界に対してOBMCが適用される例である。
【0183】
図9Bに示すような例は、例えば、非特許文献1で開示されているAffine予測やデコーダ動きベクトル修正(Decoder Motion Vector Refinment:DMVR)が有効な場合に生じる。
【0184】
ここで、DMVRとは、OBMC部241Bによる動きベクトルの導出後、導出した動きベクトルを16×16画素単位で再探索により修正する技術である。
【0185】
非特許文献1で開示されているGPMでは、各分割領域のインター予測時にDMVR及びBDOFの適用は制限されていたが、本実施形態におけるIntra/Inter-GPMのインター予測領域には双予測が適用できるため、OBMC部241Bは、Intra/Inter-GPMのインター予測領域にDMVR又はBODFを適用してもよい。
【0186】
これにより、Intra/Inter-GPMのインター予測領域の双予測により生成される予測画素値の精度が向上するため、さらなる符号化性能の効果が期待できる。
【0187】
なお、DMVR又はBODFの適用判定方法は、非特許文献1と同じ構成を本実施形態においても用いることが可能であるため、詳細な説明は省略する。
【0188】
一方で、OBMC部241Bは、本実施形態におけるIntra/Inter-GPMのインター予測領域に双予測が適用できる場合であっても、DMVR又はBODFの適用を常に制限(禁止)してもよい。
【0189】
すなわち、上述の非特許文献1で開示されているDMVR又はBODFの適用可不可の判定条件を満たす場合であっても、Intra/Inter-GPMのインター双予測領域にはDMVR又はBODFの適用を制限する。
【0190】
具体的には、非特許文献1で開示されているDMVR又はBODFの適用条件に、復号対象ブロックが有する非特許文献1で開示されているGPMの適用有無を示すフラグに基づく判定条件を追加することで実現できる。
【0191】
これにより、さらなる符号化性能の改善は期待できないが、Intra/Inter-GPMのインター予測領域に対するDMVR又はBDOFの追加適用による再探索等に伴うOBMC部241Bの処理量増加を回避できる。
【0192】
(重複ブロック動き補償の適用制御方法)
以下、
図10を用いて、OBMC部241BによるOBMCの適用制御方法について説明する。
図10は、OBMC部241BによるOBMCの適用制御方法のフローチャートを示す。
【0193】
まず、OBMC部241Bは、非特許文献2で開示されているOBMCの適用可不可の判定処理と同様に、前述のOBMCの適用単位となる4×4画素のサブブロック(以下、対象サブブロック)ごとに実施される。
【0194】
図10に示すように、ステップS241-01において、OBMC部241Bは、対象サブブロックが有する予測種別がInter予測(インター予測)であるか否かについて判定する。
【0195】
かかる条件が満たされると判定される場合、本動作は、ステップS241-02に進み、かかる条件が満たされないと判定される場合、すなわち、対象サブブロックが有する予測種別がIntra予測(イントラ予測)であると判定される場合は、本動作は、ステップS241-03に進む。
【0196】
なお、ステップS241-03では、OBMC部241Bは、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0197】
ステップS241-02において、OBMC部241Bは、対象サブブロックが有するobmc_flagが1であるか否かについて判定する。
【0198】
かかる条件が満たされると判定される場合、本動作は、ステップS241-04に進み、かかる条件が満たされないと判定される場合、すなわち、obmc_flagが1であると判定される場合は、本動作は、ステップS241-05に進む。
【0199】
なお、ステップS241-05では、OBMC部241Bは、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0200】
ここで、obmc_flagは、復号対象ブロック単位のOBMCの適用可不可を示すシンタックスである。obmc_flagの値が0の場合は、OBMCが適用されないことを示し、obmc_flagの値が1の場合は、OBMCが適用されることを示す。
【0201】
obmc_flagの値が0か1のいずれかであるかは、復号部210が復号して値を特定するか、或いは、復号せずに値を推定する。
【0202】
obmc_flagの復号方法及びobmc_flagの値の特定方法及び推定方法は、非特許文献2と同じ構成を取ることができるため、詳細な説明は省略する。
【0203】
ステップS241-04において、OBMC部241Bは、対象サブブロックに対してブロック境界を跨いだ隣接ブロックが動きベクトル(MV)を有するか否かについて判定する。
【0204】
かかる条件が満たされると判定される場合、本動作は、ステップS241-06に進み、かかる条件が満たされないと判定される場合、本動作は、ステップS241-07に進む。
【0205】
なお、ステップS241-07では、OBMC部241Bは、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0206】
ステップS241-06において、OBMC部241Bは、対象サブブロックが有するMVと隣接ブロックが有するMVとの差が所定閾値以上であるか否かについて判定する。
【0207】
かかる条件が満たされると判定される場合、本動作は、ステップS241-08に進み、かかる条件が満たされないと判定される場合、本動作は、ステップS241-09に進む。
【0208】
なお、ステップS241-08では、OBMC部241Bは、OBMCが対象サブブロックにおいて適用と判定し、本動作は、終了する。一方、ステップS241-09では、OBMC部241Bは、OBMCが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
【0209】
ここで、所定閾値は、固定値を用いてもよい。例えば、所定閾値を1画素としてもよい。あるいは0画素としてもよい(すなわち、完全一致しない場合のみOBMCを適用すると判定する)
【0210】
或いは、所定閾値として、対象サブブロックが有するMVの本数に応じた可変値を用いてもよい。例えば、対象サブブロックが1つのMVを持つ場合は、所定閾値を1画素とし、対象サブブロックが2つのMVを持つ場合は、所定閾値を0.5画素としてもよい。
【0211】
以上の構成により、非特許文献2では、MVを有する対象サブブロックに対して、隣接ブロックとのMVの差が大きい場合に限定して、OBMCを適用することで、対象サブブロックと隣接ブロックとの間のブロック境界の不連続性(以下、ブロック境界歪)を解消し、結果として予測性能の向上が期待できる。
【0212】
(GPMに対するOBMCの適用例及び適用制御方法)
以下、
図11及び
図12を用いて、復号部210、MC部241A、OBMC部241B、合成部243に係るGPMに対するOBMCの適用例及び適用制御方法について説明する。
【0213】
図11は、本実施形態におけるGPMが適用されるブロックに対する復号対象ブロックの上側と左側のブロック境界に対するOBMCの適用例を示す。
【0214】
図11に示すように、GPMの分割形状(分割線L)に応じて、OBMCが適用される対象サブブロックには、以下、最大3つのパターンが存在する。
【0215】
具体的には、第1パターンとして、分割領域Aに属する対象サブブロックがあり、第2パターンとして、分割領域Bに属する対象サブブロックがあり、第3パターンとして、分割領域A/B双方に属する対象サブブロックがある。
【0216】
かかる3パターンの対象サブブロックは、分割領域A及び分割領域Bに適用される予測種別がインター予測であるかイントラ予測であるかによって更に分けられる。
【0217】
具体的には、第1パターン及び第2のパターンの対象サブブロックは、インター予測及びイントラ予測の2ケースに分けられる。
【0218】
一方、第3パターンの対象サブブロックは、異なる2つのインター予測のケース、インター予測及びイントラ予測のケース、異なる2つのイントラ予測のケースの合計3ケースに分けられる。
【0219】
なお、本実施形態では、対象サブブロックが有する予測種別は、1つのみとする。そのため、第3パターンの対象サブブロックにおいて、対象サブブロックが有する予測種別は、対象サブブロックを構成する2つの予測の組み合わせで決定される。具体的に、異なる2つのインター予測で構成される予測種別は、インター予測として扱い、インター予測及びイントラ予測で構成される予測種別は、インター予測として扱い、異なる2つのイントラ予測で構成される予測種別は、イントラ予測として扱うこととする。
【0220】
ここで、上述したOBMCの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックについては、以下の理由により、OBMCを適用不可と判定すべきである。なぜなら、同条件の対象サブブロックの予測画素は、対象サブブロックが隣接する再構成画素を用いたイントラ予測によって生成されるため、かかる再構成画素と生成した予測画素との間のブロック境界では、インター予測のようにブロック境界歪が定性的に発生しづらい。
【0221】
以上の理由により、本実施形態では、上述したOBMCの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックに対してはOBMCの適用を制限する(OBMCを適用不可とする)。
【0222】
一方で、本実施形態では、上述したOBMCの適用対象である対象サブブロックのうち、予測種別がインター予測である対象サブブロックに対してはOBMCを適用可とする。
【0223】
図12は、本実施形態におけるIntra/Inter-GPMのインター予測領域に双予測が適用され、当該領域にDMVRが適用され、且つ、当該領域を構成する所定のブロックサイズがもつ動きベクトルが異なる場合に、それらのブロックの上下左右のブロック境界に対してOBMCが適用される一例を示す。
【0224】
図12のケースにおいては、イントラ領域には、上述のケースと同様に、OBMCの適用を制限(禁止)してもよい。
【0225】
さらに、
図12のケースにおいては、復号対象ブロックを構成する所定ブロックサイズごとの上下左右のブロック境界に対して適用されるOBMCについて、
図10で示したブロック単位のOBMCの適用制御方法に基づいて、再度OBMCの適用可不可を判定してもよい。
【0226】
具体的に、
図12に示すように、対象サブブロックにおいて、イントラ領域が隣接するブロック境界に対しては、OBMCを適用しないと制御することにより、不要にOBMCを適用すること回避できる。
【0227】
以降では、本実施形態に係るGPMに対するOBMCの適用可不可を考慮した最終的な予測画素の生成方法について説明する。
【0228】
(GPM、LMCS、OBMCを考慮した最終予測画素の生成方法)
以下、本実施形態のMC部241A、OBMC部241B、イントラ予測部242、輝度マッピング部270及び合成部243に係るGPM、LMCS及びOBMCを考慮した最終予測画素の生成方法について説明する。
【0229】
(OBMCの重み係数)
まず、MC部241A、OBMC部241B及び合成部243に係る非特許文献2及び本実施形態に係るOBMCの第1重み係数w_1の定義、及び、第1重み係数w_1とMC画素とOBMC画素とを用いた最終的なインター予測画素の生成方法について説明する。
【0230】
合成部243は、輝度マッピング部270からそれぞれ出力されるMC画素とOBMC画素を対象ブロック又は対象サブブロックの境界からの距離に基づいて設定された第1重み係数w_1によって加重平均(合成)して、最終的なインター予測画素を生成する。
【0231】
第1重み係数は、非特許文献2では、対象ブロック向けのOBMCと対象サブブロック向けのOBMCとで、異なる適用ライン数及び異なる重み係数が設定されている。
【0232】
具体的に、前記対象ブロック向けのOBMCにおいては、対象ブロックの境界から4ラインがOBMCの適用領域であり、第1重み係数w_1は、適用ラインの番号(i=0,1,2,3,0がブロック境界最近傍)に応じて、以下のように設定されている。
【0233】
w_1[0,1,2,3]=[6,4,2,1]
このとき、第1重み係数w_1及びMC画素(MC_Y)及びOBMC画素(OBMC_Y)を用いて、最終的なインター予測画素の輝度成分(Inter_Y)は、以下のように算出される。
【0234】
【数1】
他方、前記対象サブブロック向けのOBMCにおいては、対象ブロックの境界から3ラインがOBMCの適用領域であり、第1重み係数w_1は、適用ラインの番号(i=0,1,2,3,0がブロック境界最近傍)に応じて、以下のように設定されている
w_1[0,1,2,3]=[27,16,6,0]
このとき、第1重み係数w_1及びMC画素(MC_Y)及びOBMC画(OBMC_Y)を用いて、最終的なインター予測画素の輝度成分(Inter_Y)は、以下のように算出される。
【0235】
【数2】
なお、数2のMC画素(MC_Y)は、GPMがInter/Inter-GPMの
場合は、後述するGPMに係る第2重み係数及び分割領域A/BのそれぞれのMC画素に基づいて加重平均(合成)されたMC画素を示す。
【0236】
他方、数2のMC画素(MC_Y)は、GPMがInter/Intra-GPMの
場合は、分割領域A/Bのうちのいずれかインター予測である方のMC画素を示す。
【0237】
なお、GPMがIntra/Intra-GPMの場合は、分割領域A/Bのそれぞれイントラ予測画素で構成されるため、数2で示したMC画素及びOBM画素に
よるインター予測画素生成方法では、GPMによる最終的な予測画素が生成されない。
【0238】
(GPMの重み係数)
以下、
図13~
図15を用いて、復号部210、MC部241A、イントラ予測部242及び合成部243に係る非特許文献1及び本実施形態に係るGPMの第2重み係数w_2について説明する。
【0239】
図13は、非特許文献1及び本実施形態に係るGPMの各分割領域A/Bの予測画素に対する第2重み係数w_2の値の一例を示す図である。
【0240】
各分割領域A/Bに対する、GPMを構成する予測種別の組み合わせ(Inter/Inter-GPM、Intra/Inter-GPM、Intra/Intra-GPM)及びOBMCの適用可不可に基づいて、MC部241A及びOBMC部241Bによって生成されたインター予測画素又はイントラ予測部242によって生成されたイントラ予測画素が、合成部243で第2重み係数w_2によって加重平均(合成)される。
【0241】
非特許文献1において、第2重み係数w_2の値は、0~8の値が用いられており、本実施形態でも、かかる第2重み係数w_2の値を用いてもよい。ここで、第2重み係数w_2の値0、8は、非ブレンディング領域(非Blending領域)を示し、第2重み係数w_2の値1~7は、ブレンディング領域(Blending領域)を示す。
【0242】
なお、本実施形態において、第2重み係数w_2の計算方法は、非特許文献1と同様の方法で、画素位置(xL、yL)及び対象ブロックサイズから算出されるオフセット値(offsetX、offsetY)、
図14に示す幾何学分割モード(GPM)の分割線の角度を規定するangleIdxから算出される変位(diplacementX、diplacementY)及び
図15に示すdiplacementX、diplacementYから算出されるテーブル値disLutから、以下のように算出するように構成することができる。
【0243】
weightIdx=(((xL+offsetX)<<1)+1)×disLut[diplacementX]+(((yL+offsetY)<<1)+1)×disLut[diplacementY]
weightIdxL=partFlip?32+weightIdx:32-weightIdx
w_2=Clip3(0,8,(weightIdxL+4)>>3)
上述の第2重み係数w_2を用いて、GPMによる最終的な予測画素は、分割領域A/Bの予測種別に応じて生成される、
まず、Inter/Inter-GPMの場合は、第2重み係数w_2、分割領域AのMC画素(すなわち、領域Aが有する動き情報に基づくMC画素)の輝度成分(MC_AY)及び分割領域BのMC画素(すなわち、領域Bが有する動き情報に基づくMC画素)の各輝度成分(MC_BY)を用いて、GPMによるMC画素(MC_Y)が以下のように生成される。
【0244】
【数3】
合成部243では、OBMCが有効な場合、上述で示した数1又は数2によってOBMC画素(OBMC_Y)がMC画素(MC_Y)と加重平均されて、GPMによるインター予測画素(Inter_Y)が生成される。そして、かかるインター予測画素が、GPMによる最終的な予測画素(Pred_Y)として合成部243から出力される。
【0245】
次に、Intra/Intra-GPMの場合は、第2重み係数w_2、分割領域Aのイントラ予測画素(すなわち、領域Aが有するイントラ予測モードに基づくイントラ画素)の輝度成分(Intra_AY)及び分割領域Bのイントラ画素(すなわち、領域Aが有するイントラ予測モードに基づくイントラ画素)の各輝度成分(Intra_BY)を用いて、GPMによるイントラ予測画素(Intra_Y)が以下のように生成される。
【0246】
【数4】
イントラ予測画素のみから構成されるGPMによる予測画素には、前述の通り、OBMC画素を適用しなくてもよいため、かかるイントラ予測画素が、GPMによる最終的な予測画素(Pred_Y)として合成部243から出力される。
次に、Intra/Inter-GPMの場合は、第2重み係数w_2、分割領域A又はBのMC画素(すなわち、領域A又はBが有する動き情報に基づくMC画素)、分割領域B又はAのイントラ予測画素(すなわち、領域B又はAが有するイントラ予測モードに基づくイントラ画素)及び分割領域A又はBのMC画素に対するOBMC画素の各輝度成分を用いて、GPMによる最終的な予測画素が以下のように生成される。下記の計算式では、分割領域Aがインター予測(MC)であり、分割領域Bがイントラ予測である例を示す。
【0247】
【0248】
【数6】
によって分割領域A又はBのMC画素とOBMC画素及び第1重み係数に基づいてGPMによるインター予測画素(Inter_AY)が算出される。
【0249】
【数7】
によって、GPMによるインター予測画素とGPMによるイントラ予測画素(この例では、分割領域Bのイントラ予測画素)と第2重み係数とに基づいて、GPMによる最終的な予測画素(Pred_Y)が生成されて合成部243から出力される。
【0250】
合成部243では、LMCSが有効である場合、対象ブロックの輝度成分における最終的な予測画素は、輝度マッピング部270から出力される輝度マッピングされたMC画素及びOBMC画素、又は、イントラ予測部242から出力される輝度マッピングされたイントラ予測画素によって生成される。
【0251】
特に、合成部243は、上述で示した計算例のうち、Intra/Inter-GPMの場合、輝度マッピングされたMC画素、OBMC画素及びイントラ予測画素の加重平均の順序を適切に実施する必要がある。
【0252】
具体的に、合成部243は、次式のように、輝度マッピング部270から出力される輝度マッピングされた分割領域A又はBのMC画素(FwdMap(MC_Y))とOBMC画素(FwdMap(OBMC_Y))と第1重み係数w_1とに基づいて加重平均された輝度マッピングされたインター予測画素(FwdMap(Inter_Y))を生成する。
【0253】
そして、合成部243は、このインター予測画素と、イントラ予測部242から出力される輝度マッピングされた分割領域B又はAのイントラ予測画素(Intra_Y)と第2重み係数w_2とに基づいて、GPMによる最終的な予測画素(Pred_Y)を生成する。下記の計算式では、分割領域Aがインター予測(MC)、分割領域Bがイントラ予測である例を示す。ここで、インター予測画素(Inter_AY)の生成方法は、前記の数5又は数6と同様である。
【0254】
【数8】
以上の手順により、対象ブロックにおいてGPM、OBMC及びLMCSの全てが有効であり且つGPMがインター予測とイントラ予測とから構成される場合、輝度マッピングされたGPMによるMC画素とOBMC画素とイントラ予測画素とを合成して、対象ブロックの輝度成分における予測画素を生成できる。
【0255】
これは、すなわち、上述の3つ予測画素(1.GPMによるMC画素、2.OBMC画素、3.GPMによるイントラ予測画素)の信号空間が輝度マッピングされた空間に揃った上でIntra/Inter-GPMの最終的な予測画素が生成されることを意味するため、結果として、予測性能の向上効果が期待できる。
【0256】
なお、上述で示した第1重み係数w_1及び第2重み係数w_2が上述の例とは異なる値であっても、同様の概念で、本実施形態で説明したGPM、OBMC、LMCSが有効である時の予測画素の生成方法について適用できる。
【0257】
また、上述の構成の変更例として、第2輝度マッピング部270におけるMC画素とOBMC画素に対して輝度マッピングする機能を、合成部243に包含させてもよい。
【0258】
具体的には、合成部243は、MC部241Aから出力されるMC画素とOMBC部から出力されるOBMC画素と第1重み係数と第2重み係数とから、GPM又はOBMCにより構成されるインター予測画素を生成する。
【0259】
その後、合成部243は、生成した当該インター予測画素に対して輝度マッピングを行う。そして、GPMが、例えば、Intra/Inter-GPMである場合は、合成部243は、かかるインター予測画素に対して、イントラ予測部242から出力されるイントラ予測画素を第2重み係数に基づいて加重平均し、最終的な予測画素を生成及び出力してもよい。
【0260】
これにより、上述の構成例では、輝度マッピング処理がMC画素及びOBMC画素のそれぞれに必要であるが、変更例では、インター予測画素のみに対して輝度マッピングすればよいため、輝度マッピング処理回数が削減される効果が期待できる。
【0261】
(GPM分割形状を考慮した逆色差スケーリング)
以下、
図16~
図18を用いて、本実施形態にかかるGPMの分割形状を考慮した逆色差スケーリング手法を説明する。なお、本実施形態に係る色差スケーリング手法はここで説明する逆色差スケーリング手法の逆の手順であるため、以降で示す分割形状する点はいずれも共通する。従って、逆色差スケーリング手法として説明されている部分でも、色差スケーリング手法として読み替えることができる。
【0262】
図16は、本実施形態に係るGPMの分割形状を考慮した逆色差スケーリング手法の一例を示す図である。
まず、非特許文献1で開示されているGPM向けの逆色差スケーリング手法は、分割領域A/Bごとではなく、対象ブロック単位の予測残差画素に対して適用される。
【0263】
そのため、このときに使用されるスケーリング係数は、対象ブロックに隣接する再構成ブロック(具体的には、上部1ラインと左部1ラインに隣接する再構成画素)の輝度成分の平均値を用いて算出される。このスケーリング係数の算出方法は、GPMが有効である場合でも同一である。
【0264】
これに対して、本実施形態では、
図16に示すように、逆色差スケーリングをGPMの分割領域A/Bに分けて適用してもよい。
【0265】
これは、逆色差スケーリング部281(又は、逆色差スケーリング部181)の処理完了まで、GPMの分割形状に係る情報(内部パラメータ)が保存されるように構成すれば、実現可能である。
【0266】
さらに、このときに使用するスケーリング係数の算出方法について、以下に示すGPMの分割形状を考慮した手法を代替として適用(置換)してもよい。
【0267】
具体的に、
図17に示すようなGPMの分割線Lの角度に基づいて分割領域A/Bのそれぞれの参照領域が設定されたテーブルを使用する方法である。ここで、
図17に示すA及びLは、それぞれ対象ブロックの上部及び左部を示す。
【0268】
逆色差スケーリング手法におけるスケーリング係数の算出時に使用する輝度成分の再構成画素を、このテーブルを用いて制限すれば、分割形状に沿った再構成画素のみを用いて、分割領域A/Bのそれぞれのスケーリング係数が算出できるため、色差成分の予測残差画素の精度が向上し、結果として予測性能が改善する。
【0269】
なお、上述では、GPMの分割形状に基づく参照領域の制限テーブルを用いた逆色差スケーリング手法におけるスケーリング係数の算出手法を示したが、その他の手法として、
図18に示すように、GPMの分割線Lと対象ブロックに隣接する再構成画素の輝度成分との交点によって、スケーリング係数の算出に使用する再構成画素の輝度成分を制限してもよい。ここで、交点に位置する画素は、分割領域A/Bのいずれか一方のみで使用してもよいし、双方で使用してもよい。
【0270】
なお、上述では、GPMにより、矩形ブロックが幾何学形状に2分割される事例を参照して、その場合のGPMへのイントラ予測モードの適用時のシグナリング方法について説明したが、GPMにより矩形ブロックが幾何学形状に3分割以上に分割される事例においても、同様の概念で、本実施形態で説明したGPMへのイントラ予測の適用、イントラ予測モードの導出、GPMへのOBMCの適用、GPMとOBMCとLMCSが有効時の予測画素生成に係る方法は適用できる。
【0271】
上述の画像符号化装置100及び画像復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
【0272】
なお、上述の各実施形態では、本発明を画像符号化装置100及び画像復号装置200への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置100及び画像復号装置200の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。
【産業上の利用可能性】
【0273】
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【符号の説明】
【0274】
10…画像処理システム
100…画像符号化装置
111A、241A…MC予測部
111B、241B…OBMC部
112、242…イントラ予測部
113、243…合成部
121…減算器
122、230…加算器
131…変換・量子化部
132、220…逆変換・逆量子化部
140…符号化部
160、260…フレームバッファ
170、250…インループフィルタ処理部
170A…第1輝度マッピング部
170B…第2輝度マッピング部
171、271…逆輝度マッピング部
180…色差スケーリング部
181、281…逆色差スケーリング部
200…画像復号装置
210…復号部
270…輝度マッピング部