(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024058005
(43)【公開日】2024-04-25
(54)【発明の名称】画像復号装置、画像復号方法及びプログラム
(51)【国際特許分類】
H04N 19/117 20140101AFI20240418BHJP
H04N 19/14 20140101ALI20240418BHJP
H04N 19/176 20140101ALI20240418BHJP
H04N 19/85 20140101ALI20240418BHJP
【FI】
H04N19/117
H04N19/14
H04N19/176
H04N19/85
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2022165081
(22)【出願日】2022-10-13
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和4年度、総務省、「3次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】木谷 佳隆
(72)【発明者】
【氏名】加藤 晴久
(72)【発明者】
【氏名】河村 圭
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LC04
5C159LC09
5C159MA04
5C159MA05
5C159TA68
5C159TB08
5C159TC10
5C159TC41
5C159TC42
5C159TD11
5C159TD13
5C159UA05
5C159UA11
(57)【要約】
【課題】GPMにおいて符号化効率を向上させること。
【解決手段】本発明に係る画像復号装置200は、復号済み画素と制御情報とに基づいて第1予測画素を生成するイントラ予測部204と、蓄積された復号済み画素と制御情報とに基づいて第2予測画素を生成する動き補償部208と、第1予測画素及び第2予測画素の少なくとも一方を含む組み合わせと制御情報とに基づいて第3予測画素を生成する合成部209と、蓄積された復号済みブロック又は参照先ブロックの近傍画素同士の類似性に応じて復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する添え字の符号順序を変更する選別部205と、第1予測画像、第2予測画像及び第3予測画素のいずれかと予測残差とを加算して復号済み画素を得る加算器206とを具備する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像復号装置であって、
復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する復号部と、
前記量子化値を逆量子化して復号された変換係数とする逆量子化部と、
前記変換係数を逆変換して復号された予測残差とする逆変換部と、
復号済み画素と前記制御情報とに基づいて第1予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、
前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する合成部と、
前記蓄積された復号済みブロック又は参照先ブロックの近傍画素同士の類似性に応じて前記復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する添え字の符号順序を変更する選別部と、
前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とする画像復号装置。
【請求項2】
画像復号装置であって、
復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する復号部と、
前記量子化値を逆量子化して復号された変換係数とする逆量子化部と、
前記変換係数を逆変換して復号された予測残差とする逆変換部と、
復号済み画素と前記制御情報とに基づいて第1予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、
前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する合成部と、
同一画像内における前記復号対象ブロック内の分割境界幅の履歴に応じて、前記復号対象ブロック内の分割境界幅に対応付けられた前記制御情報の符号順序を変更する選別部と、
前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とする画像復号装置。
【請求項3】
前記選別部は、参照ブロックの近傍画素に異なる前記境界幅による重み付き平均を適用して、前記境界幅の異なる近傍画素を生成することを特徴とする請求項1に記載の画像復号装置。
【請求項4】
前記選別部は、異なる境界幅を適用した参照ブロックの近傍画素と復号対象ブロックの近傍画素との類似性を比較して、前記類似性の高い上位N個を前記境界幅の候補に利用することを特徴とする請求項1に記載の画像復号装置。
【請求項5】
前記選別部は、前記境界幅を一意に決定する符号語を復号することで、前記境界幅の候補から前記境界幅を選別することを特徴とする請求項4に記載の画像復号装置。
【請求項6】
前記選別部は、前記参照ブロックの近傍画素と前記復号対象ブロックの近傍画素との類似性の高い境界幅の候補から短い符号を割り当てることを特徴とする請求項4に記載の画像復号装置。
【請求項7】
前記選別部は、N=1の場合は、前記符号語を復号しないことを特徴とする請求項5記載の画像復号装置。
【請求項8】
前記選別部は、前記境界幅として任意の幅を設定することを特徴とする請求項1に記載の画像復号装置。
【請求項9】
前記選別部は、前記境界情報によって規定される境界によって分割される小領域の参照先ごとに異なる前記境界幅を設定することを特徴とする請求項1に記載の画像復号装置。
【請求項10】
前記選別部は、前記参照ブロック及び前記復号対象ブロックのそれぞれの近傍画素に、復号対象ブロック及び参照先ブロックの右上や左下を含めることを特徴とする請求項1に記載の画像復号装置。
【請求項11】
前記選別部は、前記近傍画素として、1ラインに限定せず複数ラインを利用することを特徴とする請求項1に記載の画像復号装置。
【請求項12】
前記選別部は、前記参照ブロック及び前記復号対象ブロックのそれぞれの近傍画素に対して異なる境界幅を適用することで発生する類似性の比較対象が存在しない場合は、事前に設定した固定的な幅で前記境界幅を復号することを特徴とする請求項1に記載の画像復号装置。
【請求項13】
前記選別部は、前記参照ブロック及び前記復号対象ブロックのそれぞれの近傍画素に対して異なる境界幅を適用することで発生する類似性の比較対象が存在しない場合は、明示的な符号語を復号することで前記境界幅を選別することを特徴とする請求項1に記載の画像復号装置。
【請求項14】
前記選別部は、前記分割境界幅の履歴を分割モードの適用ブロックを検出ごとに更新し、前記履歴で適用ブロック数が多い分割境界幅ほど、前記分割境界幅を特定する制御情報において短い符号に割り当てを修正することを特徴とする請求項2に記載の画像復号装置。
【請求項15】
前記選別部は、前記分割境界幅の履歴を画像左端の復号ツリーブロックで初期化することを特徴とする請求項2に記載の画像復号装置。
【請求項16】
画像復号方法であって、
復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する工程と、
前記量子化値を逆量子化して復号された変換係数とする工程と、
前記変換係数を逆変換して復号された予測残差とする工程と、
復号済み画素と前記制御情報とに基づいて第1予測画素を生成する工程と、
前記復号済み画素を蓄積する工程と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する工程と、
前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する工程と、
前記蓄積された復号済みブロック又は参照先ブロックの近傍画素同士の類似性に応じて前記復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する添え字の符号順序を変更する工程と、
前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを特徴とする画像復号方法。
【請求項17】
コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する復号部と、
前記量子化値を逆量子化して復号された変換係数とする逆量子化部と、
前記変換係数を逆変換して復号された予測残差とする逆変換部と、
復号済み画素と前記制御情報とに基づいて第1予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、
前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する合成部と、
前記蓄積された復号済みブロック又は参照先ブロックの近傍画素同士の類似性に応じて前記復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する添え字の符号順序を変更する選別部と、
前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献1及び非特許文献2では、幾何学分割モード(GPM:Geometric Partitioning Mode)が開示されている。
【0003】
GPMは、矩形ブロックを斜めに2分割しそれぞれを動き補償(インター予測)する。具体的には、分割された2領域は、それぞれマージベクトルにより動き補償(インター予測)され重み付き平均により合成される。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】ITU-T H.266/VVC
【非特許文献2】EE2-2.7:GPM adaptive blending(JVET-Z0059、JVET-Z0137)、JVET-AA0058
【非特許文献3】Algorithm description of Enhanced Compression Model 5(ECM 5)
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1及び非特許文献2に開示されている技術では、分割された小領域の境界部分について重み付き平均する際に、予め設定された異なる5種類の幅の中から1つを選択する。
【0006】
ここで、小領域の境界がはっきりしている場合は、より狭い境界幅を選択することが望ましく、反対に、小領域の境界がボケている場合は、より広い境界幅を選択することが望ましい。
【0007】
しかしながら、非特許文献1及び非特許文献2で開示されている技術では、どの境界幅を選択するのかについて指定する符号語が与えられているため、符号化性能の向上には改善の余地があるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、幾何学分割モードにおいて符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1の特徴は、画像復号装置であって、復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して復号された変換係数とする逆量子化部と、前記変換係数を逆変換して復号された予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて第1予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する合成部と、前記蓄積された復号済みブロック又は参照先ブロックの近傍画素同士の類似性に応じて前記復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する添え字の符号順序を変更する選別部と、前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。
【0009】
本発明の第2の特徴は、画像復号装置であって、 復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して復号された変換係数とする逆量子化部と、前記変換係数を逆変換して復号された予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて第1予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する合成部と、同一画像内における前記復号対象ブロック内の分割境界幅の履歴に応じて、前記復号対象ブロック内の分割境界幅に対応付けられた前記制御情報の符号順序を変更する選別部と、前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。
【0010】
本発明の第3の特徴は、画像復号方法であって、復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する工程と、前記量子化値を逆量子化して復号された変換係数とする工程と、前記変換係数を逆変換して復号された予測残差とする工程と、復号済み画素と前記制御情報とに基づいて第1予測画素を生成する工程と、前記復号済み画素を蓄積する工程と、前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する工程と、前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する工程と、前記蓄積された復号済みブロック又は参照先ブロックの近傍画素同士の類似性に応じて前記復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する添え字の符号順序を変更する工程と、前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを要旨とする。
【0011】
本発明の第4の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する符号語を含む制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して復号された変換係数とする逆量子化部と、前記変換係数を逆変換して復号された予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて第1予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第2予測画素を生成する動き補償部と、前記第1予測画素及び前記第2予測画素の少なくとも一方を含む組み合わせと前記制御情報とに基づいて、第3予測画素を生成する合成部と、前記蓄積された復号済みブロック又は参照先ブロックの近傍画素同士の類似性に応じて前記復号対象ブロック内の分割境界の形状及び境界幅をそれぞれ特定する添え字の符号順序を変更する選別部と、前記第1予測画像、前記第2予測画像及び前記第3予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。
【発明の効果】
【0012】
本発明によれば、幾何学分割モードにおいて符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、一実施形態に係る画像復号装置200の機能ブロックの一例を示す図である。
【
図2】
図2は、復号対象ブロックを斜めの形状で分割させたケースの一例を示す図である。
【
図3】
図3は、既存の分割形状を復号する方法について説明するための図である。
【
図4】
図4は、小領域A及びBに対してイントラ予測が適用される場合のテンプレートマッチングの一例を説明するための図である。
【
図5】
図5は、一実施形態に係る画像復号装置200の選別部205の動作の一例について説明するための図である。
【
図6】
図6は、テンプレートマッチング又はヒストグラムを用いた境界幅の符号語の並び替えの一例を説明するための図である。
【
図7】
図7は、復号対象ブロック内の分割境界が近傍画素領域内にかからないケースの一例を説明するための図である。
【
図8】
図8は、ヒストグラムに基づく分割境界幅の符号語の並び替えの一例を説明するための図である。
【
図9】
図9は、シーケンス単位で境界幅の選別方法を設定する動作の一例について示すフローチャートである。
【
図10】
図10は、ブロック単位で境界幅の選別方法を設定する動作の一例について示すフローチャートである。
【
図11】
図11は、一実施形態に係る画像復号装置200の機能ブロックの一例を示す図である。
【
図12】
図12は、小領域分割として、幾何学分割モード(GPM)を用いたケースの一例について示す図である。
【
図13】
図13は、N=2本の線分で復号対象ブロックを分割したケースの一例を示す図である。
【
図14】
図14は、N=3本の線分で復号対象ブロックを分割したケースの一例を示す図である。
【
図15】
図15は、選択可能な復号対象ブロックの分割形状の例を示す図である。
【
図16】
図16は、選択可能な復号対象ブロックの分割形状の例を示す図である。
【
図17】
図17は、
図12に示す小領域Bの分割境界に割り当てる3パターンの重み係数の一例を示す図である。
【
図18】
図18は、復号対象ブロックに対して垂直方向及び水平方向2本の分割線で分割境界が構成され、それら2つの分割線(分割線1と分割線2)からの距離に応じて予測画素単位で合成予測が行われるケースの一例を示す図である。
【
図19】
図19は、分割線1及び分割線2に対するブレンディング領域の一例について説明するための図である。
【
図20】
図20は、シーケンス単位で複数線分分割モードの選別方法を設定する動作の一例について示すフローチャートである。
【
図21】
図21は、ブロック単位で複数線分分割モードの選別方法を設定する動作の一例について示すフローチャートである。
【
図22】
図22は、分割線1に対して平行な角度予測モードを適用するケースの一例を示す図である。
【
図23】
図23は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。
【
図24】
図24は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。
【
図25】
図25は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。
【
図26】
図26は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。
【
図27】
図27は、非特許文献1及び非特許文献3に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法の一例を示す図である
【
図28】
図28は、cu_div_idxとdivDirectionIdxとdivLocationIdxとの対応付けの一例を示す図である。
【
図29】
図29は、シーケンス単位で複数線分分割モードの選別方法を設定する動作の変更例について示すフローチャートである。
【
図30】
図30は、ブロック単位で複数線分分割モードを含む分割モードの選別方法を設定する動作の変更例について示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0015】
<第1実施形態>
以下、
図1~
図10を参照して、本実施形態に係る画像復号装置200について説明する。
図1は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
【0016】
図1に示すように、画像復号装置200は、符号入力部210と、復号部201と、逆量子化部202と、逆変換部203と、イントラ予測部204と、選別部205と、加算器206と、蓄積部207と、動き補償部208と、合成部209と、画像出力部220とを有する。
【0017】
符号入力部210は、画像符号化装置によって符号化された符号情報を取得するように構成されている。
【0018】
復号部201は、符号入力部210から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部201は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。
【0019】
ここで、量子化値は、逆量子化部202に送られ、制御情報は、選別部205、動き補償部208、イントラ予測部204及び合成部209に送られる。なお、かかる制御情報は、動き補償部206、イントラ予測部204及び合成部207等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。
【0020】
逆量子化部202は、復号部201から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部203に送られる。
【0021】
逆変換部203は、逆量子化部202から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器206に送られる。
【0022】
イントラ予測部204は、復号済み画素と復号部201から送られた制御情報とに基づいて第1予測画素を生成するように構成されている。ここで、復号済み画素は、加算器206を介して得られて蓄積部207に蓄積されるものである。また、第1予測画素は、加算器206で予測残差と加算するための予測画素である。なお、第1予測画素は、加算器206又は合成部209に送られる。
【0023】
蓄積部207は、加算器206から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部207を介して動き補償部208及び選別部205からの参照を受ける。
【0024】
動き補償部208は、蓄積部207に蓄積された復号済み画素と復号部201から送られた制御情報とに基づいて第2予測画素を生成するように構成されている。ここで、第2予測画素は、加算器206で予測残差と加算するための予測画素である。なお、第2予測画素は、加算器206又は合成部209に送られる。
【0025】
加算器206は、逆変換部203から送られる予測残差と、入力された第1~第3予測画素のいずれかを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部220、蓄積部207及びイントラ予測部204へ送られる。
【0026】
合成部209は、イントラ予測部204及び動き補償部208から送られた複数の第1予測画素或いは第2予測画素の少なくとも一方を含む組み合わせと復号部201で復号された制御情報と、後述する選別部205で復号された境界情報とに基づいて、復号対象ブロックを複数の形状(小領域)に分割しそれぞれに対応する複数の予測画素を合成して、加算器206で予測誤差と加算するための第3予測画素を生成するように構成されている。生成された第3予測画素は、加算器206へ送られる。
【0027】
合成部209で復号対象ブロックを複数の形状(小領域)に分割・合成する方法としては任意のものを利用できるが、以下では、一例として、幾何学分割モード(GPM:Geometric Partitioning Mode)を用いた場合を説明する。
【0028】
以下、本実施形態に係る画像復号装置200の特徴的な構成である選別部205について説明する。
【0029】
選別部205の役割は、後段の合成部209で用いる境界幅を復号する際に、復号対象ブロックの近傍画素に基づいて境界幅を決定(或いは、限定)することにより、短い制御情報(符号語)であるcu_bld_idxで境界幅を復号することにある。
【0030】
図2は、復号対象ブロックを斜めの形状で分割させたケースの一例を示す。
図2の例では、復号対象ブロックは、小領域A及び小領域Bに分割されている。ここで、それぞれの小領域では、動き補償等で予測画素が生成される。
【0031】
このとき、分割形状の符号量を削減するために、近傍画素の類似性を評価することで、既存の分割形状を復号する方法(「EE2-2.4:Template matching based reordering for GPM split modes、JVET-Z0056」参照)を利用できる。
【0032】
かかる方法は、幾何学分割モードの分割形状の候補を、小領域A又は小領域Bに動き補償(インター予測)が適用される場合は、
図3に示すように、当該ブロックの復号済み(再構成済み)の近傍画素(以下、当該近傍画素)と小領域A及び小領域Bに対する参照先ブロックの近傍画素(以下、参照先近傍画素)と)との誤差を比較して、誤差が小さい、すなわち、当該近傍画素と参照先近傍画素とが類似する分割形状に限定することで符号化効率を改善する。
【0033】
また、かかる方法は、幾何学分割モードの分割形状候補を小領域A又は小領域Bにイントラ予測が適用される場合は、
図4に示すように、当該ブロックの復号済み(再構成済み)の当該近傍画素と、近傍画素から1ライン以上離れた復号済み(再構成済み)の当該近傍画素に基づくイントラ予測画素(近傍イントラ予測画素)の誤差を比較して、誤差が小さいすなわち当該近傍画素と近傍イントラ予測画素が類似する分割形状に限定することで符号化効率を改善する。
【0034】
上述では、小領域A及び小領域Bの双方に対して、異なるインター予測或いはイントラ予測が適用される例を示したが、小領域A及び小領域Bに対してそれぞれインター予測(或いは、イントラ予測)及びイントラ予測(或いは、インター予測)を適用する場合であっても、同様の方法によって復号対象ブロックの近傍画素に対して参照先近傍画素及び近傍イントラ予測画素の類似性(誤差)が比較できる。この当該近傍画素及び参照先近傍画素(又は、近傍イントラ予測画素)の誤差の比較は、一般に、テンプレートマッチングと呼ばれる。
【0035】
テンプレートマッチングでは、
図3及び
図4に示すように、復号対象ブロックの上及び左、左上を、近傍画素として用いる。
【0036】
同様に、制御情報としての動き情報が、それぞれの小領域の参照先を示すので、参照先も同位置を近傍画素として利用する。
【0037】
復号対象ブロックの分割形状を復号する手順は、以下の通りである。
【0038】
第1に、全ての分割形状に対して、境界を当該近傍画素へ延長する。
【0039】
第2に、延長された境界による分割で、それぞれの近傍画素の誤差を算出する。
【0040】
第3に、誤差が小さいものだけリストアップすると共に、誤差が小さい順に分割形状を並べ替える。
【0041】
第4に、限定された分割形状の中から最終的な分割形状を符号語で復号する。
【0042】
しかしながら、既存の方法は、非特許文献2に開示されているような幾何学分割モードに対する複数の境界幅の適応的な適用を想定していないため、符号化効率を改善できていないという問題がある。
【0043】
かかる問題を解決するために、選別部205は、復号対象ブロックの近傍画素(当該近傍画素)と参照先近傍画素又は近傍イントラ予測画素との類似性に応じて境界幅を復号するという手順を取る。
【0044】
具体的には、第1に、選別部205は、
図3或いは
図4に示す手順で、分割形状を復号する。
【0045】
第2に、選別部205は、
図5に示すように、参照先の近傍画素に異なる境界幅による重み付き平均を適用して境界幅の異なる近傍画素を生成する。
【0046】
第3に、選別部205は、異なるM(Mは、自然数)個の境界幅を適用した参照先の近傍画素(参照先近傍画素)と復号対象ブロックの近傍画素との類似性を比較して、かかる類似性の高い上位N(Nは、自然数、M≧N)個を境界幅の候補に利用する。
【0047】
第4に、選別部205は、境界幅を一意に決定する符号語を復号することによって、かかる境界幅の候補から境界幅を選別する。
【0048】
かかる構成によれば、類似性の高い境界幅の候補に対して短い符号を割り当てることで、制御情報の符号量を削減できる効果が得られる。
【0049】
図6に、その具体例を示す。
図6は、非特許文献2で開示されている幾何学分割モードに対する境界幅5種の制御情報の符号語である。ここで、τが非特許文献1の境界幅であり、非特許文献ではτに対して1/2倍、2倍、1/4倍、4倍の境界幅4種(τ/2, 2τ, τ/4, 4τ)が追加されている。従来法では、
図6のような制御情報(符号語)であるcu_bld_idxの符号により境界幅を特定している。
【0050】
これに対して、本発明では、テンプレートマッチングにより類似性の高い(
図6の事例では、境界幅が小さいほど類似性が高い)境界幅候補から短い符号を割り当てる、すなわち、境界幅候補に対応する符号順序を変更する(並び替える)ことで、制御情報(符号語)であるcu_bld_idxの符号量が削減できる。
【0051】
なお、N=1の場合は、選別部205は、符号語の復号について不要で一意に境界幅を復号し、N≠1の場合にのみ、符号語を復号する。
【0052】
選別部205は、近傍画素に対して境界を適用する生成において、かかる境界の境界幅に対して任意の幅を設定することができる。
【0053】
選別部205は、小領域の参照先ごとに異なる境界幅を設定して非対称な境界幅で境界を生成してよい。
【0054】
従来は、境界幅の符号量を抑制するために、対称な境界幅しか利用できなかったが、本実施形態に係る選別部205の機能により、境界幅の多彩な組み合わせが可能となるために、予測精度が向上する効果が得られる。
【0055】
また、選別部205は、近傍画素に、復号対象ブロック及び参照先ブロックの右上や左下を含めることができる。
【0056】
さらに、選別部205は、近傍画素として、1ラインに限定せず複数ラインを利用することができる。多くの近傍画素を利用することで境界幅の選別を高精度化する効果が得られる。
【0057】
なお、小領域が、イントラ予測と動き補償との組み合わせの場合は、選別部205は、動き補償の小領域の近傍で境界幅の候補を選別した結果を、イントラ予測の小領域の境界幅に流用することができる。
【0058】
また、
図7に示すように、復号対象ブロック内の分割境界が予め設定した比較対象である復号対象ブロック及び参照ブロックのそれぞれの近傍画素の領域にかからない場合等により、分割境界を跨いで重み付け平均する近傍画素に対して異なる境界幅を適用することで発生する類似性の比較対象が存在しない場合(上述の類似性を判定することができない場合)は、選別部205は、事前に設定した固定的な境界幅を利用してもよいし明示的な符号語を復号することで境界幅を決定してもよい。
【0059】
また、テンプレートマッチングによる誤差比較において、同一の分割モードにおける異なる境界幅同士の誤差は、重み付け平均領域のみである。すなわち、当該近傍画素及び参照先近傍画素(又は、近傍イントラ予測画素)において重み付け平均されない領域は、同一の誤差となり得るため、テンプレートマッチングの処理の簡素化のために、誤差を比較する際は、比較対象領域を、比較する最大の境界幅の領域のみに限定してもよい。
【0060】
さらに、サイズが大きい復号対象ブロックに対して、このテンプレートマッチングによる異なる境界幅同士で誤差は生じにくい。そのため、サイズの大きいブロックでは、このテンプレートマッチング処理をスキップしてもよい。これにより、復号処理量の簡素化が期待できる。
【0061】
上述のテンプレートマッチングによる分割モードの境界幅の制御情報(符号語)の符号長の削減について、以下で、変更例について説明する。具体的には、選別部205は、
図8に示すように、復号対象ブロックが含まれる画像(ピクチャ)において、ピクチャの左端から右端のピクチャ境界までの復号ツリーブロック(符号化ツリーブロック)1ラインごとに、分割モードが適用される復号対象ブロックの境界幅をヒストグラム(履歴)として記録し、ヒストグラムが大きい境界幅に、分割モードの境界幅を特定する制御情報(符号語)であるcu_bld_idxで短い符号に割り当てることで実現する。
【0062】
この分割モードの境界幅に対する符号の割り当て順序の変更(並び替え)は、ヒストグラムの更新ごとに逐次実施する。ここで、復号ツリーブロック(符号化ツリーブロック)とは、非特許文献1で開示されている復号対象ブロック(符号化ブロック)の分割構造の起点となるブロックである。復号ツリーブロックのブロックサイズとしては、64×64画素、128×128画、256×256画素等、2のべき乗の画素サイズであってもよい。これに対して、復号対象ブロックは、復号ツリーブロック(符号化ツリーブロック)と同一サイズ以下の2のべき乗の画素サイズであってもよい。
【0063】
このヒストグラムに加算される分割モードの適用ブロック数は、復号ツリーブロックがピクチャの左端又は右端のピクチャ境界に到達した時点で初期化さしてもよい。
【0064】
或いは、分割モードの適用ブロック数は、かかる右端のピクチャ境界に到達する前に、スライス境界に到達した場合は、初期化されてもよい。
【0065】
また、各境界幅のヒストグラムがゼロ(すなわち、適用ブロック数が初期値)における境界幅に対する符号の割り当て順序は、従来法と同じ順序でもよい。例えば、符号の短い順に、標準幅、1/2倍幅、2倍幅、1/4倍幅、4倍幅と設定してもよい。
【0066】
さらに、ヒストグラム更新で境界幅の割り当て順序を入れ替える(修正する)ために、閾値による判定条件を設けてもよい。例えば、標準幅の境界がそれ以外の境界幅と順序が入れ替わる際の閾値として、標準幅及びそれ以外の適用ブロック数のそれぞれをK個とL個とする場合、K<α*Lを満たす場合にのみ、順序を入れ替えてもよい。ここで、K及びLは、自然数であり、αは、例えば、1.1、1.2、1.5等と設定してもよい。
【0067】
なお、このヒストグラムを用いた制御情報の短縮は、分割モードの境界幅を特定する制御情報以外に、非特許文献1で開示されている他の制御情報に適用してもよい。
【0068】
例えば、かかる制御情報の短縮について、非特許文献1で開示されているBCW(Bi-prediction with CU-level Weight)における複数の重み係数候補から一意の重み係数を特定する制御情報(符号語)であるbcw_idxに対して適用してもよい。
【0069】
BCWは、動画像のフェード(画像全体の明るさが一様に変化)において有効なツールである。そのため、同一画像内或いは同一スライス内或いは同一復号対象ツリーのラインにおいて、選択される重み係数は、同一になる可能性がある。そのため、上述のヒストグラムに基づく制御情報(符号語)であるcu_bld_idxの符号に対する異なる境界幅の割り当て順序の修正と同様に、ヒストグラムに基づいて制御情報(符号語)であるbcw_idxの符号に対する異なる重み係数の割り当て順序を修正すれば、制御情報(符号語)であるbcw_idxの符号長の短縮ひいては符号化効率の向上が期待できる。
【0070】
別の適用例として、例えば、非特許文献1で開示されているMMVD(Merge with Motion Vector Difference)における離散的な動きベクトル差分の向き及び大きさの候補を特定する制御情報(符号語)であるmmvd_direction_idx及びmmvd_distance_idxに対して適用してもよい。
【0071】
MMVDは、動きベクトルが画像の広範囲にわたって一様に変化する動画像においてマージモードの動きベクトルを修正するのに有効なツールである。そのため、同一画像内或いは同一スライス内或いは同一復号対象ツリーのラインにおいて、選択される動きベクトル差分は、同一になる可能性がある。そのため、上述のヒストグラムに基づく制御情報(符号語)であるcu_bld_idxやbcw_idxの符号に対する異なる境界幅の割り当て順序の修正と同様に、ヒストグラムに基づいて制御情報(符号語)であるmmvd_direction_idx及びmmvd_distance_idxの符号に対する異なる重み係数の割り当て順序を修正すれば、mmvd_direction_idx及びmmvd_distance_idxの符号長短縮ひいては符号化効率の向上が期待できる。
【0072】
以降で、選別部205による境界幅の選別方法で用いられる制御情報について説明する。
【0073】
画像復号装置200に入力される符号情報は、シーケンス単位の制御情報(符号語)をまとめたシーケンスパラメータセット(SPS)を含むことができる。また、かかる符号情報は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット(PPS)或いはピクチャヘッダ(PH)を含むことができる。さらに、かかる符号情報は、スライス単位の制御情報をまとめたスライスヘッダ(SH)を含んでもよい。
【0074】
図9を参照して、シーケンス単位で境界幅の選別方法を設定する動作の一例について述べる。
【0075】
図9に示すように、ステップS101において、復号部201は、シーケンスパラメータセットで、sps_div_enabled_flagが1であるか否かについて判定する。
【0076】
ここで、sps_div_enabled_flagは、分割モードの有無を制御するシンタックス(符号語)であり、sps_div_enabled_flagが1である場合は、分割モードが有効であることを示し、sps_div_enabled_flagが0である場合は、分割モードが無効であることを示す。
【0077】
sps_div_enabled_flagが1である場合、本動作は、ステップS102に進み、sps_div_enabled_flagが0である場合、本動作は、終了する。
【0078】
ステップS102において、復号部201は、sps_div_selecting_flagを復号する。
【0079】
ここで、sps_div_selecting_flagは、境界幅の候補の選別の有無を制御するシンタックス(符号語)であり、sps_div_selecting_flagが1である場合は、境界幅の候補の選別が有効であることを示し、sps_div_selecting_flagが0である場合は、境界幅の候補の選別が無効であることを示す。
【0080】
ステップS103において、復号部201は、sps_div_selecting_modeを復号する。ここで、sps_div_selecting_modeは、境界幅の候補の選別方法を制御するシンタックス(符号語)である。
【0081】
sps_div_selecting_modeを用いることで、シーケンス単位で画像特性に応じた境界幅候補の選別方法が設定変更できるため、符号化効率を最大化する効果が期待できる。
【0082】
例えば、CGで構成されるシーケンスに対しては境界幅が狭いことが多いので小領域毎の境界幅候補の数を少なくするように設定でき、自然画像で構成されるシーケンスに対しては小領域毎の境界幅候補を多くするように設定できるため、符号化効率の最大化が図れる。
【0083】
ピクチャ単位で境界幅の候補の選別方法を設定する場合は、復号部201は、pps_div_enabled_flag、pps_div_selecting_flag及びpps_div_selecting_modeを、ピクチャパラメータセット或いはピクチャヘッダで同様に復号する。
【0084】
pps_div_selecting_modeを用いることで、ピクチャ単位で画像特性に応じた境界幅候補の選別方法が設定変更できるため、符号化効率を最大化する効果が期待できる。
【0085】
例えば、CGで構成されるピクチャに対しては小領域毎の境界幅候補を少なくするように設定でき、自然画像で構成されるピクチャに対しては小領域毎の境界幅候補を多くするように設定できるため、符号化効率の最大化が図れる。
【0086】
スライス単位で境界幅の候補の選別方法を設定する場合は、復号部201は、sh_div_enabled_flag、sh_div_selecting_flag及びsh_div_selecting_modeを、スライスヘッダで同様に復号する。
【0087】
sh_div_selecting_modeを用いることで、スライス単位で画像特性に応じた境界幅候補の選別方法が設定変更できるため、符号化効率を最大化する効果が期待できる。
【0088】
例えば、CGで構成される部分画像が含まれるスライス領域に対しては小領域毎の境界幅候補を少なくするように設定でき、自然画像が含まれるスライス領域に対しては小領域毎の境界幅候補を多くするように設定できるため、符号化効率の最大化が図れる。
【0089】
上位層でのみ設定することで符号量の増大を抑制することもできるし、下位層でも設定した上で下位層での設定を優先することで適応的な制御ができる。
【0090】
或いは、境界幅の候補の選別方法が事前に設定されている場合は、境界幅の候補の選別方法の復号自体を省略することができる。
【0091】
なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位で境界幅の候補の選別方法の設定する方法を述べたが、これらを設定せずに、後述のブロック単位で、直接、境界幅の候補の選別方法のパターンを選択してもよい。この場合、境界幅の組み合わせの設定の自由度が低下するが、上述のヘッダ情報増加を回避できる。
【0092】
図10を参照して、復号対象ブロック単位で境界幅の候補の選別方法を設定する動作の一例について述べる。
【0093】
図10に示すように、ステップS201において、復号部201は、sps_gen_enabled_flag、pps_gen_enabled_flag及びsh_gen_enabled_flagのいずれかが1であるか否かについて判定する。
【0094】
いずれも1ではない場合、本動作は、ステップS202に進み、いずれかが1である場合、本動作は、ステップS203に進む。
【0095】
ステップS202において、復号部201は、境界幅の候補の選別を適用しないと判断して、本動作は、終了する。
【0096】
ステップS203において、復号部201は、復号対象ブロックが分割モードであるか否かについて判断する。
【0097】
Yesの場合、本動作は、ステップS204に進み、Noの場合、本動作は、ステップS202に進む。
【0098】
ステップS204において、復号部201は、分割モードを表す制御信号であるcu_div_modeを復号する。
【0099】
ステップS205において、復号部201は、さらに、N=1であるか否かについて判断する。N=1である場合、本動作は、ステップS206に進み、N≠1の場合、本動作は、ステップS207に進む。
【0100】
ステップS207において、復号部201は、境界幅の候補の中から境界幅を指定する制御信号であるcu_bld_idxを復号する。
【0101】
図10の例では、復号部201が、1つのcu_bld_idxを復号する例について示しているが、2つの小領域が動き補償モードである場合は、復号部201は、cu_bld_idx0及びcu_bld_idx1の2つを復号してもよい。
【0102】
cu_bld_idxは、復号対象ブロックに適用される最下層のdiv_selecting_modeで選別される境界幅の候補の中の1つを特定するよう復号される。
【0103】
本実施形態に係る画像復号装置200によれば、単位ブロックごとに複数の小領域に分割して1つ以上の境界幅の候補を選別することによって復号するので符号化効率を向上させることができる。
【0104】
<第2実施形態>
以下、
図11~
図30を参照して、本発明の第2実施形態に係る画像復号装置200について、上述の第1実施形態に係る画像復号装置200との相違点に着目して説明する。
【0105】
図11は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
図11に示すように、画像復号装置200は、符号入力部210と、復号部201と、逆量子化部202と、逆変換部203と、イントラ予測部204と、合成部205と、加算器206と、蓄積部207と、動き補償部208と、画像出力部220とを有する。
【0106】
符号入力部210は、画像符号化装置によって符号化された符号情報を取得するように構成されている。
【0107】
復号部201は、符号入力部210から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部201は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。
【0108】
ここで、量子化値は、逆量子化部202に送られ、制御情報は、イントラ予測部204、合成部205及び動き補償部208に送られる。なお、かかる制御情報は、イントラ予測部204、合成部205及び動き補償部208等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。
【0109】
逆量子化部202は、復号部201から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部203に送られる。
【0110】
逆変換部203は、逆量子化部202から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器206に送られる。
【0111】
イントラ予測部204は、復号済み画素と復号部201から送られた制御情報とに基づいて第1予測画素を生成するように構成されている。ここで、復号済み画素は、加算器206を介して得られて蓄積部207に蓄積されるものである。なお、第1予測画素は、加算器206に送られる。
【0112】
蓄積部207は、加算器206から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部207を介して動き補償部208からの参照を受ける。
【0113】
動き補償部208は、蓄積部207を参照して得られる復号済み画素及び復号部201で復号された制御情報に基づいて、加算器206で予測残差と加算するための第2予測画素を生成するように構成されている。生成された第2予測画素は、加算器206或いは合成部205へ送られる。
【0114】
加算器206は、復号済み画素等から生成された第1~第3予測画素のいずれかと、逆変換部203から送られる予測残差とを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部220、蓄積部207及びイントラ予測部204へ送られる。
【0115】
合成部205は、復号部201によって復号された制御情報に基づいて、上述の第1予測画素及び第2予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第3予測画素とするように構成されている。
【0116】
以下、本実施形態に係る画像復号装置200の特徴的な構成である合成部205について説明する。
【0117】
合成部205の役割は、後段の加算部206で復号済み画素を算出する際に、予測残差を少ない符号量で表現できるように復号対象ブロックを複数の小領域に分割(小領域分割)し、それぞれに対応する第1予測画素或いは第2予測画素を合成(合成予測)することで復号対象ブロックの画素を高精度に予測することにある。
【0118】
図12は、小領域分割として、幾何学分割モード(GPM)を用いたケースの一例について示す。
図12の例では、復号対象ブロックが、斜めの1直線で小領域A及び小領域Bに分割されている。
【0119】
しかしながら、幾何学分割モードでは、分割が1直線に限定されるため、前景と背景との境界が複雑な場合に対応できず、符号化効率を十分に改善できないという問題がある。
【0120】
(複数線分分割モードの基本概念)
かかる問題を解決するため、本実施形態に係る画像復号装置200では、合成部205が、復号対象ブロックをN(Nは、1より大きい自然数)本の線分で分割するという手順を取る。
【0121】
例えば、
図13は、N=2本の線分で復号対象ブロックを分割したケースの一例を示し、
図14は、N=3本の線分で復号対象ブロックを分割したケースの一例を示す。
【0122】
このような複数(N本)の線分による復号対象ブロックの小領域分割及び合成予測を、以降では「複数線分分割モード」と記す。
【0123】
合成部205は、制御情報で、複数線分分割モードの分割種類について判定してもよい。詳細は、後述する。
【0124】
複数線分分割モードにおける線分の数Nを増やすことで予測精度を高められる効果が得られ、複数線分分割モードにおける線分の数Nを少なくすることで分割形状を表現する制御情報の符号量を抑制できる効果が得られる。
【0125】
合成部205は、複数線分分割モードにおける線分の数Nについて固定値に設定してもよい。例えば、合成部205は、上述のように、N=2、N=3、N=4、N=5等を設定してもよい。
【0126】
合成部205は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ(面積)又は縦横比によらず、かかる固定値を共通の値に設定してもよい。
【0127】
或いは、合成部205は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ(面積)又は縦横比に基づいて、かかる固定値を異なる値に設定してもよい。
【0128】
また、合成部205は、複数線分分割モードにおける線分の数Nを可変に設定してもよい。例えば、合成部205は、複数線分分割モードにおける線分の数Nを可変に設定する場合は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ(面積)に比例させて、かかる線分の数Nを決定してもよい。
【0129】
また、合成部205は、分割形状を表現する制御情報の符号量を抑制するため、複数の線分の位置関係及び角度の少なくとも一方を限定してもよい。
【0130】
例えば、合成部205は、1本目の線分については、復号対象ブロックの水平方向(0度)或いは垂直方向(90度)だけに限定してもよい。さらに、合成部205は、n+1本目の線分については、n本目の線分に対して垂直方向(90度)のみに限定してもよい。
【0131】
ただし、復号対象ブロックを田の字に4等分するような分割形状は、非特許文献1で開示されている再帰的な矩形のブロック分割(四分木・二分木・三分木分割)で実現できるため、合成部205は、かかる既存のブロック分割で実現可能な配置については選択できないように限定することが望ましい。
【0132】
かかる限定を適用することは、例えば、複数線分分割モードにおける線分の数N=2の場合は、
図15に示す複数の分割点で水平方向及び垂直方向に分割するパターン(32パターン)の中から、復号対象ブロックの分割形状(複数の線分)を選択することに相当する。
【0133】
或いは、かかる限定を適用することは、1本目の線分が、水平方向(0度)及び垂直方向(90度)に加えて斜め方向(45度)となり得る場合は、
図15に示すパターン及び
図16に示す斜め方向に分割するパターンの中から、復号対象ブロックの分割形状(複数の線分)を選択することに相当する。
【0134】
ここで、上述の限定を少なくすることで予測精度を高められる効果が得られ、上述の限定を多くすることで分割形状を表現する制御情報の符号量を削減できる効果が得られる。
【0135】
合成部205は、上述の限定方法について、固定的に設定することもできるし可変的に設定することもできる。
【0136】
また、合成部205は、復号対象ブロックの大きさ(短辺の長さ、長辺の長さ、サイズ(面積)又は縦横比等)に応じて異なる限定を設定することができる。
【0137】
例えば、
図15に示す分割点について、かかる分割点を一定画素数ごとに配置すると、分割点の数は、復号対象ブロックの辺の長さに比例する。
【0138】
逆に、合成部205は、かかる分割点の配置を変更することで、復号対象ブロックの大きさに依存せず、分割点の数を固定的に設定することができる。
【0139】
例えば、合成部205は、復号対象ブロックの縦方向或いは横方向に固定的にK個(Kは、自然数)の分割点の数を配置する場合、復号対象ブロックの辺の長さL(Lは、自然数)と画素との比率として、L/(K+1)画素ごとに分割点を配置してもよい。
【0140】
ここで、Lは、非特許文献1のように、4、8、16、32、64又は128のように、4以上の2のべき乗の自然数であってもよい。同様に、Kも、4、8、16、32、64又は128のように、4以上の2のべき乗の自然数であってもよい。
【0141】
また、Kの取りうる値については、L/(K+1)画素が4、8、16、32、64又は128のように、4以上の2のべき乗の自然数になるように制限してもよい。
【0142】
また、合成部205は、復号対象ブロックの縦横比が異なる場合、復号対象ブロックの縦及び横の辺(縦幅と横幅)に対して、異なるK個の分割点を設定してもよい。
【0143】
また、合成部205は、
図15の復号対象ブロックの中心を分割点に含めてもよい。
【0144】
分割点の数を増やすことで予測精度を高められる効果が得られ、分割点の数を減らすことで分割形状を表現する符号量を削減できる効果が得られる。
【0145】
(複数線分分割モードにおける第3予測画素の生成方法)
以降で、複数線分分割モードにおける合成部205による第3予測画素の生成方法について説明する。
【0146】
合成部205は、複数線分分割された復号対象ブロックの小領域A及び小領域Bに対するそれぞれの予測画素を分割線の距離に応じて重み付け平均(すなわち、合成予測)するように構成されている。
【0147】
かかる小領域A及び小領域Bの予測画素の種類は、非特許文献1で開示されている幾何学分割モードのように異なるインター予測画素の組み合わせであってもよいし、非特許文献3で開示されている幾何学分割モードイントラ予測のようにインター予測画素とイントラ予測画素との組み合わせであってもよいし、異なるイントラ予測画素の組み合わせであってもよい。
【0148】
ここで、異なるインター予測画素は、異なる動きベクトルに基づき生成され、異なるイントラ予測画素は、異なるイントラ予測モードで生成される。
【0149】
合成部205による小領域Aと小領域Bとの合成予測については、非特許文献1や非特許文献2で開示されている幾何学分割モードの合成予測向けに使用されているような分割線からの距離に応じた重み付け平均を使用できる。
【0150】
複数の予測画素に対する重み係数の合計値は、画素ごとに1になるように設計しておき、かかる重み係数を用いて複数の予測画素を重み付け平均により合成した結果を合成部205による予測画素とする。
【0151】
ここで、重み係数を1(すなわち、最大値)とした画素は、当該入力予測画素を採用し、重み係数を0(すなわち、最小値)とした画素は、当該入力予測画素を用いないことになるため、概念としては、単位ブロックを複数の小領域に分割することに相当し、複数の入力予測画素のどの画素をどの割合でどこに適用するかを決定することになる。
【0152】
図17は、
図12に示す小領域Bの分割境界に割り当てる3パターンの重み係数の一例を示す。
図17の例では、分割境界(分割線)の位置から画素単位の距離を横軸とし、縦軸に重み係数を表す。
【0153】
具体的には、予め設定した分割境界の位置からの予測画素単位の距離a,bに対して[a,b]の範囲に重み係数[0,1]を割り当てたパターン(1)と、同様に距離a,bをそれぞれ2倍にして[2a,2b]の範囲に重み係数[0,1]を割り当てたパターン(2)と、同様に距離a,bをそれぞれ1/2倍にして[a/2,b/2]の範囲に重み係数[0,1]を割り当てたパターン(3)とを用意している。
【0154】
これらは、重み係数が分割境界(分割線)からの距離d(xc,yc)によって一意に定められるxc,ycとして規定される場合、非特許文献2で開示されている小領域の分割境界の幅、すなわち、重み係数が最小値又は最大値以外になる幅τに対して、限定パターン(固定値)ではなく複数パターン(可変値)を用意することに等しい。
【0155】
ここで、xc,ycは、復号対象ブロック内の座標である。すなわち、合成部205は、分割境界からの画素間距離に応じて複数の重み係数を設定するように構成されていてもよい。
【0156】
なお、a=bとして分割境界に対して対称的な重み係数を設定してもよい。すなわち、合成部205は、上述の重み係数として、分割境界に対して対称的な重み係数を設定するように構成されていてもよい。かかる構成によれば、bが不要になることから符号量を少なくことができる。
【0157】
また、a≠bとして分割境界に対して非対称な重み係数を設定してもよい。すなわち、合成部205は、上述の重み係数として、分割境界に対して非対称な重み係数を設定するように構成されていてもよい。かかる構成によれば、境界の両側で異なるボケ具合がある場合に、高精度に予測することができる。
【0158】
また、a及びbの2個に限らず数を増やして複数の線分等で重み係数を設定することもできる。すなわち、合成部205は、分割境界からの画素間距離に応じて複数の線分で重み係数を設定するように構成されていてもよい。かかる構成によれば、非線形にボケが発生している場合に、高精度に予測することができる。
【0159】
このように、分割境界からの画素間距離に応じて複数の重み係数を設定することで、8×8や64×16等、様々なブロックサイズでも一律に導出できる効果が得られる。
【0160】
合成部205は、上述のパターンの種類、形状及び数については、任意に設定できる。
【0161】
例えば、上述の例では、複数パターンとして距離a,bの2倍と1/2倍を説明したが、4倍や1/4倍であってもよい。また、上式では、重み係数を0~8の値に設定したが、0~16や0~32等の他の値に設定することもできる。特に、分割境界からの画素間距離が2倍や4倍の場合は、重み係数の最大値を大きくすることで、画素単位の重み付け平均が高精度化できる。
【0162】
合成部205は、小領域A及び小領域Bに対する複数の重み係数(ブレンディング領域の幅、重み係数の最大値及び最小値)の設定について、復号部201から送られた制御情報に基づいて、予め用意された組み合わせの中から選択してもよい。
【0163】
例えば、合成部205は、非特許文献2に開示されているように、かかる制御情報を用いて、予め用意された複数パターン(非特許文献2では、1/4倍幅、1/2倍幅、1倍幅、2倍幅及び4倍幅の5パターン)から、上述の重み係数を選択してもよい。
【0164】
或いは、合成部205は、非特許文献2で開示されているように、制御情報を用いつつ、復号対象ブロックのサイズ、短辺の長さ、長辺の長さ又はアスペクト比に応じて、予め用意された複数パターンの候補から選択可能な候補を削減した後、制御情報が示すブレンディング幅を選択してもよい。
【0165】
ここで、複数線分分割モードでは、非特許文献1~3で開示されている幾何学分割モード向けの合成予測とは異なり、小領域を分割する分割境界(分割線)が複数存在するため、それらの複数の分割線に対して合成予測が行われる。
【0166】
図18は、
図15に示すように、復号対象ブロックに対して垂直方向及び水平方向2本の分割線で分割境界が構成され、それら2つの分割線(分割線1と分割線2)からの距離に応じて予測画素単位で合成予測が行われるケースの一例を示す。
【0167】
これらの複数の分割線に対する合成予測に対して、合成部205は、共通の重み付き平均を適用してもよい。
【0168】
或いは、合成部205は、前述した異なる重み係数の最大値及び分割線からの距離で構成される重み付き平均を適用してもよい。
【0169】
さらに、合成部205は、復号対象ブロックの短辺の長さ、長辺の長さ、縦横比、サイズ(画素数)又は分割モードの種類の少なくとも1つに応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
【0170】
或いは、合成部205は、小領域A又は小領域Bにイントラ予測が適用される場合、そのイントラ予測モードの種類に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
【0171】
或いは、合成部205は、複数線分分割モードによって、復号対象ブロック内で区分される小領域A又は小領域Bのサイズ(画素数)に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
【0172】
或いは、合成部205は、分割線の大きさ(画素数)に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
【0173】
或いは、合成部205は、分割線の方向が、復号対象ブロックに対して水平方向又は垂直方向である場合、同じ方向の復号対象ブロックの辺との比率に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
【0174】
また、複数線分分割モードでは、分割境界を構成する線分が複数存在する性質上、重み付き平均における重み係数が最大値或いは最小値である領域、すなわち、異なる複数の予測画素が合成予測される領域(ブレンディング領域)が各分割線の垂直方向に重複する場合がある。
【0175】
図19は、分割線1及び分割線2に対するブレンディング領域(
図19(a)における灰色の領域)の一例について説明するための図である。
【0176】
図19(a)に示すように、分割線1及び分割線2に対するブレンディング領域が重複する領域(以下、重複ブレンディング領域)が破線の枠で示される。
【0177】
また、
図19(b)に、分割線1に関して小領域Aの予測画素に適用する重み係数W_1Aの例、及び、分割線2に関して小領域Aの予測画素に適用する重み係数W_2Aの例を示す。
【0178】
それぞれの小領域Bに対する重み係数W_1B及び重み係数W_2Bは、重み係数の最大値からW_1A及びW_2Aを差し引いた値を取る。
【0179】
合成部205は、ブレンディング領域及び重複ブレンディング領域の第3予測画素を、
図19(c)の計算例1に示すように、重み係数の各要素W_1A及びW_2Aの最小値を選択して新たに生成される重み係数を用いて予測合成してもよい。
【0180】
或いは、合成部205は、ブレンディング領域及び重複ブレンディング領域の第3予測画素を、
図19(c)の計算例2に示すように、重み係数の各要素W_1A及びW_2Aの積を算出して新たに生成される重み係数を用いて予測合成してもよい。
【0181】
(複数線分分割モードの適用可不可及び分割種類の判定方法)
以降で、復号部201によって復号される制御情報について説明する。
【0182】
画像復号装置200に入力される符号情報は、シーケンス単位の制御情報をまとめたシーケンスパラメータセット(SPS)を含むことができる。また、かかる符号情報は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット(PPS)或いはピクチャヘッダ(PH)を含むことができる。さらに、かかる符号情報は、スライス単位の制御情報をまとめたスライスヘッダ(SH)を含んでもよい。
【0183】
図20を参照して、シーケンス単位で複数線分分割モードの選別方法を設定する動作の一例について述べる。
【0184】
図20に示すように、ステップS101において、復号部201は、シーケンスパラメータセットで、sps_div_enabled_flagが1であるか否かについて判定する。
【0185】
ここで、sps_div_enabled_flagは、分割モードの有無を制御するシンタックスであり、sps_div_enabled_flagが1である場合は、分割モードが有効であることを示し、sps_div_enabled_flagが0である場合は、分割モードが無効であることを示す。
【0186】
sps_div_enabled_flagが1である場合、本動作は、ステップS102に進み、sps_div_enabled_flagが0である場合、本動作は、終了する。
【0187】
ステップS102において、復号部201は、sps_div_multi_flagを復号する。
【0188】
ここで、sps_div_multi_flagは、複数線分分割モードの有無を制御するシンタックスであり、sps_div_multi_flagが1である場合は、複数線分分割モードが有効(N>1)であることを示し、sps_div_multi_flagが0である場合は、数線分分割モードが無効(N=1)であることを示す。
【0189】
sps_div_multi_flagが1である場合、本動作は、ステップS103に進み、sps_div_multi_flagが0である場合、本動作は、終了する。
【0190】
ステップS103において、復号部201は、sps_div_multi_modeを復号する。ここで、sps_div_multi_modeは、複数線分分割モードを制御するシンタックスである。
【0191】
sps_div_multi_modeを用いることで、シーケンス単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
【0192】
例えば、CGで構成されるシーケンスに対しては水平方向及び垂直方向を含む境界が多いので直角からなる分割種類に限定するように設定でき、自然画像で構成されるシーケンスに対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
【0193】
ピクチャ単位で境界幅候補の選別方法を設定する場合は、復号部201は、pps_div_enabled_flag、pps_div_multi_flag及びpps_div_multi_modeを、ピクチャパラメータセット或いはピクチャヘッダで同様に復号する。
【0194】
pps_div_multi_modeを用いることで、ピクチャ単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
【0195】
例えば、CGで構成されるピクチャに対しては直角からなる分割種類に限定するように設定でき、自然画像で構成されるピクチャに対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
【0196】
スライス単位で境界幅候補の選別方法を設定する場合は、復号部201は、sh_div_enabled_flag、sh_div_multi_flag及びsh_div_multi_modeを、スライスヘッダで同様に復号する。
【0197】
sh_div_multi_modeを用いることで、スライス単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
【0198】
例えば、CGで構成される部分画像が含まれるスライス領域に対しては直角からなる分割種類に限定するように設定でき、自然画像が含まれるスライス領域に対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
【0199】
上位層でのみ設定することで符号量の増大を抑制することもできるし、下位層でも設定した上で下位層での設定を優先することで適応的な制御ができる。
【0200】
或いは、複数線分分割モードが事前に設定されている場合は、複数線分分割モードの復号自体を省略することができる。
【0201】
なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位で、複数線分分割モードを設定する方法を述べたが、これらを設定せずに、後述のブロック単位で、直接、複数線分分割モードを設定してもよい。
【0202】
この場合、複数線分分割モードの設定の自由度が低下するが、上述のヘッダ情報の増加を回避できる。
【0203】
図29を参照して、シーケンス単位で複数線分分割モードの選別方法を設定する動作の変更例について述べる。
【0204】
【0205】
ステップ104において、復号部201は、シーケンスパラメータセットで、後述するテンプレートマッチングに基づく分割モードを特定するためのcu_div_idx(制御情報)の復号値に対応付けられる分割モードの並び替えに関する技術(以下、テンプレートに基づく分割モード添え字並び替え)が有効であるか否かを、シーケンス単位で制御するsps_div_template_reordering_enabled_flag(制御情報)が1であるか否かによって判定する。
【0206】
ここで、sps_div_template_reordering_enabled_flagが1である場合は、テンプレートに基づく分割モード添え字並び替えが有効であることを示し、sps_div_template_reordering_enabled_flagが0である場合は、テンプレートに基づく分割モード添え字並び替えが無効であることを示す。
【0207】
なお、sps_div_template_reordering_enabled_flagは、復号部201によりステップS104より前に復号されるか或いは復号されずに値が推定される。
【0208】
sps_div_template_reordering_enabled_flagが復号されない場合は、復号部201は、sps_div_template_reordering_enabled_flagの値を0と推定する。
【0209】
復号部201は、sps_div_template_reordering_enabled_flagが1(Yes)である場合は、ステップS102に進む。sps_div_template_reordering_enabled_flagが0(No)である場合は、本処理を終了する。
【0210】
詳細は後述するが、テンプレートに基づく分割モード添え字並び替えは、分割モード添え字の符号長を短縮する効果がある。そのため、テンプレートに基づく分割モード添え字並び替えが有効である場合にのみ、複数線分割モードを有効と判定することで、複数線分分割モードの種類或いは複数線分分割モードを含んだ分割モードの種類を対象ブロック単位で特定するためのcu_div_idxの符号量を削減でき、結果として符号化性能の向上が期待できる。
【0211】
図21を参照して、ブロック単位で複数線分分割モードの選別方法を設定する動作の一例について述べる。
【0212】
図21に示すように、ステップS201において、復号部201は、sps_div_enabled_flag、pps_div_enabled_flag及びsh_div_enabled_flagのいずれかが1であるか否かについて判定する。
【0213】
いずれも1ではない場合、本動作は、終了し、いずれかが1である場合、本動作は、ステップS202に進む。
【0214】
ステップS202において、復号部201は、復号対象ブロックが分割モードであるか否かについて判断する。
【0215】
Yesの場合、本動作は、ステップS203に進み、Noの場合、本動作は、終了する。
【0216】
ステップS203において、復号部201は、分割モードを表す制御信号であるcu_div_idxを復号する。
【0217】
cu_div_idxは、復号対象ブロックに適用される最下層のdiv_multi_modeで選別される複数線分分割モードの候補中の1つを特定するよう復号される。
【0218】
復号部205は、上述のcu_div_idxを復号して、復号した値に応じて複数線分分割モードを特定する。
【0219】
例えば、
図15に示す複数線分分割モードの32パターンの分割モード候補に対応付けられた
図28に示すような32パターンのcu_div_idxの復号値が用意される。
【0220】
cu_div_idxの各復号値は、
図15に示す複数線分分割モードのパターンを特定するための4パターンの分割方向(左上、右上、右下又は左下のいずれに分割境界(分割線で区分された領域)があるか)を示す内部パラメータであるdivDirectionIdx及び8パターンの分割点を決める内部パラメータであるdivLocationIdxにそれぞれ対応する。
【0221】
この複数線分分割モードを非特許文献1の幾何学分割モードに追加適用する場合は、cu_div_idxを、幾何学分割モードを特定するmerge_gpm_partition_idxの64パターンの復号値が対応付けられたテーブルに追加することで実現できる。
【0222】
merge_gpm_partition_idxは、幾何学分割モードの64パターンの分割線を表現するための20パターンの角度を表すangleIdx及び4パターンの距離を表すdistanceIdxに対応付けられる。
【0223】
複数線分分割モードを幾何学分割モードに追加適用する場合は、内部パラメータとして、divDirectionIdx及びdivLocationIdxを、angleIdx及びdistanceIdxの新たな値として構成すれば、復号部201が、merge_gpm_partition_idxの復号によって、幾何学分割モードに加えて、複数線分分割モードのパターンを特定できる。
【0224】
図30を参照して、ブロック単位で複数線分分割モードを含む分割モードの選別方法を設定する動作の一例について述べる。
【0225】
図30に示すように、
図30と
図21との差異は、ステップS204及びステップS205が含まれる点にある。
【0226】
ステップ104では、復号部201は、所定条件を満たすかどうかを判定する。復号部201は、所定条件を満たすと判定した場合は、ステップS205に進み、所定条件を満たさないと判定した場合は、ステップS203に進む。
【0227】
ここで、所定条件には、対象ブロックのブロックサイズが所定のブロックサイズ以下(或いは、未満)であるという条件が含まれてもよい。所定のブロックサイズとしては、例えば、8×8画素、16×16画素、32×32画素、64×64画素、128×128画素のような、2のべき乗の画素数で指定してもよい。
【0228】
複数線分分割モードは、対象ブロック内を複数の線分で分割するという性質上、大サイズブロックでは、複数の線分による分割境界がブロック内にあるブロック境界に整合しづらい。
【0229】
一方で、小サイズブロックでは複数の線分による分割境界がブロック内にあるブロック境界に整合しやすいため、上述のように大サイズブロックを制限するようにブロックサイズの閾値を設定することで、小サイズブロックにのみ複数線分分割モードを有効にすることができ、結果として符号化性能が向上できる。
【0230】
変更例として、対象ブロックのブロックサイズに基づく閾値判定ではなく、対象ブロックの短辺に基づく閾値判定であってもよい。
【0231】
具体的には、ステップS204の所定条件に対象ブロックの短辺が所定の画素以下(或いは、は未満)であるという条件が含まれてもよい。所定の画素は、例えば、8画素、16画素、32画素、64画素、128×128画素のような、2のべき乗の画素数で指定してもよい。
【0232】
これにより、上述した対象ブロックのブロックサイズに基づく閾値判定と同様の効果が得られる。
【0233】
逆に、この所定条件に対して、対象ブロックのブロックサイズが所定のブロックサイズ以上である(或いは、より大きい)という条件が含まれてもよい。所定のブロックサイズは、例えば、4×4画素、8×8画素、16×16画素、32×32画素のような、2のべき乗の画素数で指定してもよい。
【0234】
複数線分分割モードは、対象ブロック内を複数の線分で分割するという性質上、上述の通り、小サイズブロックでは、複数の線分による分割境界がブロック内にあるブロック境界に整合しやすいが、極度に小さいブロックサイズでは、複数の線分同士或いは複数の線分と対象ブロック境界との間の距離が短くなるため、対象ブロック内を1つの線分で分割する従来の分割モードや従来の符号化ブロック分割との差異が生じづらい。
【0235】
よって、極度に小さいブロックサイズに対して、上述のように、ブロックサイズに基づく閾値判定により、極度に小さいサイズの対象ブロックへの複数線分分割モードを無効にできるため、複数線分分割モードの特定に必要な制御情報の符号量が削減され、結果として符号化性能が向上する。
【0236】
変更例として、対象ブロックのブロックサイズに基づく閾値判定ではなく、対象ブロックの長編に基づく閾値判定であってもよい。具体的には、ステップS204の所定条件に対象ブロックの長辺が所定の画素以上(或いは、より大きい)であるという条件が含まれてもよい。所定の画素は、例えば、4画素、8画素、16画素、32画素のような、2のべき乗の画素数で指定してもよい。
【0237】
これにより、上述した対象ブロックのブロックサイズに基づく閾値判定と同様の効果が得られる。
【0238】
復号部201は、シーケンスパラメータセットで、後述するテンプレートマッチングに基づく、分割モードを特定するためのcu_div_idx(制御情報)の復号値に対応付けられる分割モードの並び替えに関する技術(以下、テンプレートに基づく分割モード添え字並び替え)が有効であるか否かをシーケンス単位で制御するsps_div_template_reordering_enabled_flag(制御情報)が1であるか否かについて判定する。
【0239】
sps_div_template_reordering_enabled_flagが1である場合は、テンプレートに基づく分割モード添え字並び替えが有効であることを示し、sps_div_template_reordering_enabled_flagが0である場合は、テンプレートに基づく分割モード添え字並び替えが無効であることを示す。
【0240】
復号部201は、sps_div_template_reordering_enabled_flagが1(Yes)である場合は、ステップS102に進む。
【0241】
一方、復号部201は、sps_div_template_reordering_enabled_flagが0(No)である場合は、本処理を終了する。
【0242】
詳細は、後述するが、テンプレートに基づく分割モード添え字並び替えは、分割モード添え字の符号長を短縮する効果がある。そのため、テンプレートに基づく分割モード添え字並び替えが有効である場合にのみ、複数線分割モードを有効と判定することで、複数線分分割モードの種類或いは複数線分分割モードを含んだ分割モードの種類を復号対象ブロック単位で特定するためのcu_div_idx(制御情報)の符号量を削減でき、結果として符号化性能の向上が期待できる。
【0243】
(複数線分分割モード向けの動き情報の導出方法)
以下、複数線分分割モード向けの動き情報の導出方法について説明する。
【0244】
複数線分分割モードで分割される小領域A又は小領域Bに対する動き情報は、非特許文献1で開示されている幾何学分割モードと同じ動き情報の導出方法を適用してもよい。
【0245】
具体的には、動き補償部208は、小領域A及び小領域Bに対して、復号対象ブロックの近傍ブロックの動き情報から構成される動き情報候補リスト(マージ候補リスト)を作成し、画像符号化装置から伝送される当該マージ候補リスト内の動き情報を識別する制御情報(マージインデックス)を用いて、当該マージ候補リストの中から動き情報を導出する。
【0246】
小領域A及び小領域Bがいずれもインター予測である場合は、復号部201は、それぞれに異なる動き情報が導出されるように、異なる動き情報の候補を示すマージインデックスを復号する。
【0247】
なお、動き情報候補リストに動き情報の候補を導出して登録する方法として、非特許文献1では空間マージという技術が開示されている。具体的には、
図27に示す復号対象ブロックに隣接するA0、A1、B0、B1、B2の位置にある動き情報を、復号対象ブロックの動き情報の候補(空間マージ候補)として、動き情報候補リストに登録する。
【0248】
動き補償部208は、この動き情報候補リストに登録可能な空間マージ候補を、複数線分分割モードに応じて限定してもよい。具体的には、複数線分分割モードに応じて区分される各小領域に隣接する空間マージのみに登録を限定してもよい。
【0249】
各小領域に対していずれの空間マージ候補も隣接しない場合は、登録可能な空間マージ候補を、最近接の空間マージ候補のみに限定するか、或いは、全M個(Mは自然数、上述では5個のケースを例示)に対して近接位置にあるN個(Nは自然数、N<M)の空間マージ候補のみに限定してもよい。
【0250】
また、複数線分分割モードにより区分される小領域が復号対象ブロックの右下端に位置するといった、全ての空間マージ候補から距離が離れている場合は、この小領域に対して全ての候補を登録対象に含めてもよい。
【0251】
なお、
図27では、空間マージ候補として、復号対象ブロックの左上端1個、右端2個、左下端2個の合計5個のケースを例示しているが、B2とB0との間や、B2とA0との間といった、非特許文献1に対して新たな空間マージ候補位置を扱うケースであっても、本技術が適用できる。
【0252】
(複数線分分割モード向けのイントラ予測モードの導出方法)
以下、複数線分分割モード向けのイントラ予測モードの導出方法について説明する。
【0253】
合成部205は、複数線分分割モードで分割される小領域A又は小領域Bに対するイントラ予測モードについて、各分割線に対して、平行な角度予測モード(Angular予測モード)を適用してもよい。
【0254】
或いは、合成部205は、複数線分分割モードで分割される小領域A又は小領域Bに対するイントラ予測モードについて、各分割線に対して、垂直な角度予測モード(Angular予測モード)を適用してもよい。
【0255】
図22は、分割線1に対して平行な角度予測モードを適用するケースの一例を示す。
【0256】
或いは、合成部205は、複数線分分割モードで分割される小領域A又は小領域Bに対するイントラ予測モードについて、非特許文献3で開示されている隣接画素の解析に基づく導出技術を用いて導出してもよい。
【0257】
以下に、3種類の導出技術について説明する。
【0258】
[隣接参照画素に基づくイントラ予測モード導出方法1]
以下、
図23~
図25を用いて、非特許文献3に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法1を説明する。
【0259】
図23は、非特許文献3に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法1の一例を示す図である。以降では、これらの導出方法を総じて「DIMD(Decoder-side Intra Mode Derivation)」と呼称する。
【0260】
非特許文献3では、かかるDIMDにおいて、
図23に示すように、復号対象ブロックに隣接する隣接参照画素に対して、3×3画素のウインドウサイズの横及び縦方向のSobelフィルタを適用して、通常イントラ予測向けの全Angular予測モードに対する画素値のヒストグラムを計算する。ここで、Sobelフィルタを適用して各Angular予測モードに対応付けるための隣接参照画素の角度及び画素値の計算方法については、非特許文献3と同じ構成を本実施形態でも採ることができるため、詳細な説明は省略する。
【0261】
非特許文献3では、また、復号対象ブロックのブロックサイズに応じて、ヒストグラムの計算に使用する隣接参照画素領域が、
図23に示すように制御されている。具体的には、4×4画素ブロックでは、復号対象ブロックの最上左端の画素の上及び左のそれぞれの3×3画素領域のみを使用して、ヒストグラムが計算される。
【0262】
非特許文献3では、計算されたヒストグラムの中で最高及び次点の画素値であるイントラ予測モード及びPlanarモードを用いてイントラ予測画素が生成され、さらに、生成されたイントラ予測画素が所定の重み値を用いて加重平均されて、最終的なイントラ予測画素が生成される。
【0263】
本実施形態では、合成部205は、上述の非特許文献3で開示されているDIMDを複数線分分割モードのイントラ予測モードの導出のみに適用してもよい。すなわち、導出された複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理は行わない。
【0264】
これにより、複数線分分割モードのイントラ予測領域(Intra/Intra-複数線分分割モードの場合は、2つのイントラ予測領域)に対して、1つのイントラ予測モードでイントラ予測画素生成できるため、ハードウェア実装された画像復号装置における複数線分分割モードのイントラ予測画素の生成に必要な回路規模の増大を回避しつつ、復号対象ブロックの隣接参照画素のヒストグラムの解析によって、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
【0265】
なお、本実施形態において、非特許文献3と同様に、復号部201は、DIMDの適用可不可を判定するフラグを復号或いは推定することで、イントラ予測モードを導出するかしないかについて判定するように構成してもよい。
【0266】
また、本実施形態に係る合成部205は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合は、かかるDIMDにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれる場合は、かかるDIMDにより導出したイントラ予測モードを登録しないように構成されていてもよい。
【0267】
かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
【0268】
ここで、かかるイントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合は、剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
【0269】
また、本実施形態に係る合成部205は、かかるDIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を1つに限定してもよい。その場合、合成部205は、ヒストグラムの中から最高画素値(輝度値)であるAngular予測モードを導出する。
【0270】
なお、上述のイントラ予測モード候補剪定処理で、最高画素値(輝度値)であるAngular予測モード(以下、1st Angular予測モード)が剪定される場合は、順次ヒストグラムの高い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよい。
【0271】
或いは、上述のイントラ予測モード候補剪定処理で、1st Angular予測モードが剪定される場合は、DIMDによるイントラ予測モードの導出処理を終了してもよい。
【0272】
変更例として、DIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を2つに限定してもよい。かかる場合、合成部205は、ヒストグラムの中から1st Angular予測モード及び最高画素値(輝度値)の次点である2nd Angular予測モードを導出する。
【0273】
なお、1st Angular予測モード又は2nd Angular予測モードが剪定される場合は、上述の場合と同様に、これらの次にヒストグラムの高い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよいし、そのままDIMDによるイントラ予測モードの導出処理を終了してもよい。
【0274】
また、本実施形態に係る合成部205は、複数線分分割モードの分割形状(すなわち、複数線分分割モード分割線の角度)に基づいて、上述のDIMDのヒストグラム計算に用いる隣接参照画素を所定領域に制限してもよい。
【0275】
図24は、非特許文献3で開示されている複数線分分割モード向けのテンプレートマッチングという技術において、複数線分分割モードの分割線に基づいて参照するテンプレート(隣接参照画素)のエリアを制限するためのテーブルを示す図である。
【0276】
具体的には、
図24に示すA及びLは、それぞれ復号対象ブロックの上部及び左部を示す。
【0277】
本実施形態では、この非特許文献3で開示されている複数線分分割モードの分割線に基づいて規定された(制限された)隣接参照画素のテーブルを、DIMDのヒストグラムの計算に適用することで、DIMDのヒストグラムの計算において、復号対象ブロックに隣接する全ての隣接参照画素を計算に使用することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照画素を用いてAngular予測を導出できるため、複数線分分割モードのインター予測に対するDIMDによるイントラ予測モードの導出処理負荷を軽減できる。
【0278】
或いは、合成部205は、上述の
図24の隣接参照画素テーブルではなく、
図25に示すように、複数線分分割モードで区分される小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域のみを使用して、DIMDによるイントラ予測モードを導出してもよい。
【0279】
また、合成部205は、複数線分分割モードで、
図25(c)の例に示すように、小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域がない場合は、
図25(c)に示すように、全ての参照画素を使用してDIMDによるイントラ予測モードを導出してもよい。
【0280】
[隣接参照画素に基づくイントラ予測モード導出方法2]
以下、
図24~
図26を用いて、非特許文献2に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法2を説明する。
【0281】
図26は、非特許文献2に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法2の一例を示す図である。以降では、これらの導出方法を総じて「TIMD(Template-based Intra Mode Derivation)」と呼称する。
【0282】
非特許文献2では、TIMDにおいて、
図26に示すように、復号対象ブロックに隣接する所定ラインの隣接参照画素(以下、テンプレート)、及び、かかるテンプレート向けの隣接参照画素及び所定のイントラ予測モードを用いて生成したテンプレート向けイントラ予測画素(以下、テンプレート向けイントラ予測画素)のSATD(Sum of Absolute Transformed Difference)を計算し、所定のイントラ予測モードの中でSATDが最小及びその次点であるイントラ予測モードを、TIMDのイントラ予測モードとして導出して、イントラ予測画素を生成する。
【0283】
ここで、上述のTIMDのSATDの計算において使用されるイントラ予測モードは、通常イントラ予測向けのイントラ予測モード候補リストに含まれるイントラ予測モードである。
【0284】
非特許文献2におけるTIMDでは、通常イントラ予測向けイントラ予測モード候補リストに、垂直予測モード、水平予測モード及びDC予測モードが含まれていない場合は、これらを含んだ状態で、SATDを計算して、イントラ予測モードを導出する。
【0285】
本実施形態では、かかる非特許文献2で開示されているTIMDを応用して、合成部205は、イントラ予測モードを導出してもよい。すなわち、合成部205は、導出した複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理について行わない。
【0286】
かかる構成によれば、複数線分分割モードのイントラ予測領域(Intra/Intra-複数線分分割モードの場合は、2つのイントラ予測領域)に対して、1つのイントラ予測モードでイントラ予測画素を生成できるため、ハードウェア実装された画像復号装置における複数線分分割モードのイントラ予測画素の生成に必要な回路規模の増大を回避しつつ、復号対象ブロックの隣接参照画素のヒストグラムの解析によって、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
【0287】
なお、本実施形態において、非特許文献3と同様に、復号部201は、TIMDの適用可不可を判定するフラグを復号又は推定することで、イントラ予測モードを導出するかしないかについて判定するように構成されていてもよい。
【0288】
また、本実施形態に係る合成部205は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合、TIMDにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれている場合、TIMDにより導出したイントラ予測モードを登録しないように構成されていてもよい。
【0289】
かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
【0290】
ここで、かかるイントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合に剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
【0291】
また、本実施形態に係る合成部205は、TIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を1つに限定してもよい。かかる場合、合成部205は、SATDの計算の中から最小のSATDコストであるイントラ予測モード(Angular予測)を導出する。
【0292】
ただし、本実施形態では、かかるTIMD処理におけるSATDの計算において、非特許文献2とは異なり、DC予測モードをSATDの計算の中から除外してもよい。
【0293】
なぜなら、復号対象ブロックに隣接する隣接参照画素の全てを用いてイントラ予測画素を生成するDC予測は、複数線分分割モードの分割形状に応じたエッジ等のテクスチャを適切に反映できずに、イントラ予測画素を生成してしまう可能性があるため、DC予測をTIMD処理におけるSATDの計算から除外することで、TIMDでDC予測モードが導出されることを回避できる。
【0294】
なお、上述のイントラ予測モード候補剪定処理において、最小のSATDコストであるAngular予測モード(以下、1st Angular予測モード)が剪定される場合は、順次SATDコストの低い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよい。或いは、1st Angular予測モードが剪定される場合は、TIMDによるイントラ予測モードの導出処理を終了してもよい。
【0295】
変更例として、TIMDにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を2つに限定してもよい。かかる場合、合成部205は、SATDコストの中から1st Angular予測モード及び最小のSATDコストの次点である2nd Angular予測モードを導出する。
【0296】
なお、1st Angular予測モード又は2nd Angular予測モードが剪定される場合は、上述の場合と同様に、これらの次にSATDコストの低い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよいし、そのままTIMDによるイントラ予測モードの導出処理を終了してもよい。
【0297】
また、本実施形態に係る合成部205は、複数線分分割モードの分割形状(すなわち、複数線分分割モード分割線の角度)に基づいて、上述のTIMDのヒストグラムの計算に用いる隣接参照画素を所定領域に制限してもよい。
【0298】
本実施形態では、
図24に示す非特許文献3で開示されている複数線分分割モードの分割線に基づいて規定された隣接参照画素領域のテーブルを、TIMD処理におけるSATDの計算に適用することで、TIMD処理におけるSATDの計算において、復号対象ブロックに隣接する全ての隣接参照画素を計算に使用することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照画素を用いてAngular予測を導出できるため、複数線分分割モードのインター予測に対するTIMDによるイントラ予測モードの導出処理の負荷を軽減できる。
【0299】
さらに、本実施形態に係る合成部205は、TIMD処理におけるSATDの計算に使用するイントラ予測モードと同一のイントラ予測モードが既にイントラ予測モード候補リストに登録されている場合は、かかるイントラ予測モードのSATDの計算以降を処理しないように構成してもよい。
【0300】
かかる構成によれば、イントラ予測モードに既に登録されたイントラ予測モードに対して、重複してTIMD処理を経て同一のイントラ予測モードが登録されることを回避できるため、複数線分分割モードのインター予測に対するTIMD処理の負荷を軽減できる。
【0301】
或いは、合成部205は、上述の
図24に示す隣接参照画素テーブルではなく、
図25に示すように、複数線分分割モードで区分される小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域のみを使用して、TIMDによるイントラ予測モードを導出してもよい。
【0302】
また、合成部205は、複数線分分割モードで、
図25(c)に示すように、小領域A又は小領域Bに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域がない場合は、
図25(c)に示すように、全ての参照画素を使用してTIMDによるイントラ予測モードを導出してもよい。
【0303】
[隣接参照ブロックに基づくイントラ予測モード導出方法]
以下、
図24、27を用いて、非特許文献1及び非特許文献3に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法について説明する。
【0304】
図27は、非特許文献1及び非特許文献3に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法の一例を示す図である。以降では、これらの導出方法を総じて「BIMD(Block-based Intra Mode Derivation)」と呼称する。
【0305】
非特許文献2では、BIMDにおいて、
図27に示すように、復号対象ブロックに隣接する所定位置の隣接参照ブロックが有するイントラ予測モードを、BIMDのイントラ予測モードとして導出して、イントラ予測画素を生成する。なお、ここで導出される隣接参照ブロックのイントラ予測モードは、隣接参照ブロックがイントラ予測ブロックである場合は、当該隣接参照ブロックが有するイントラ予測モードがそのまま参照されるが、隣接参照ブロックがインター予測ブロックであるか、或いは、インター予測ブロックかつイントラ予測が適用された複数線分分割モード適用ブロックである場合には、後述する4×4サブブロック画素単位で保存されるイントラ予測モードが参照される。
【0306】
ここで、非特許文献1及び非特許文献3では、上述のBIMDにおいて参照される隣接参照ブロックは、
図27に示すように、復号対象ブロックの左(A0)、左下(A1)、上(B0)、右上(B1)及び左上(B2)に設定されている。
【0307】
本実施形態では、非特許文献1及び非特許文献3で開示されているBIMDを応用して、合成部205は、イントラ予測モードを導出してもよい。すなわち、合成部205は、導出した複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理は行わない。
【0308】
かかる構成によれば、複数線分分割モードのイントラ予測領域(Intra/Intra-複数線分分割モードの場合は、2つのイントラ予測領域)に対して、復号対象ブロックの隣接参照ブロックが有するイントラ予測モードが含まれうるイントラ予測モード候補リストからイントラ予測モードを選択してイントラ予測画素を生成できるため、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになり、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
【0309】
また、本実施形態に係る合成部205は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合は、BIMDにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれる場合は、BIMDにより導出したイントラ予測モードを登録しないように構成されていてもよい。
【0310】
かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
【0311】
ここで、イントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合に剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
【0312】
また、本実施形態に係る合成部205は、非特許文献1及び非特許文献3とは異なり、BIMDにより導出したイントラ予測モードがDC予測モードである場合は、イントラ予測モード候補リストに登録しないように構成されていてもよい。
【0313】
なぜなら、復号対象ブロックに隣接する隣接参照画素の全てを用いてイントラ予測画素を生成するDC予測は、複数線分分割モードの分割形状に応じたエッジ等のテクスチャを適切に反映できずに、イントラ予測画素を生成してしまう可能性があるため、DC予測をBIMDのイントラ予測モードから除外して、DC予測モードがイントラ予測画素の生成に使用されることを回避できる。
【0314】
また、本実施形態に係る合成部205、BIMDによるイントラ予測モードの導出において、参照する
図27に示す最大5つの隣接参照ブロックの順序を、非特許文献1及び非特許文献3と同様に構成してもよい。なお、その参照順については、非特許文献1及び非特許文献3で開示されているため、本実施形態では詳細な説明は省略する。
【0315】
変更例として、本実施形態では、
図24に示す非特許文献3で開示されている複数線分分割モードの分割線に基づいて規定された(制限された)隣接参照画素領域のテーブルを、BIMDの隣接参照ブロックの参照に適用することで、BIMDのイントラ予測モードの導出において、復号対象ブロックに隣接する全ての隣接参照ブロックのイントラ予測モードを参照することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照ブロックが有するイントラ予測モード(Angular予測)のみを参照してイントラ予測モードを導出できるため、複数線分分割モードのインター予測に対するBIMDによるイントラ予測モードの導出処理の負荷を軽減できる。
[制御情報を用いたイントラ予測モード導出方法]
上述した異なるイントラ予測モードの種類について、合成部205は、上述のイントラ予測モードを一意に適用してもよいし、制御情報に応じてイントラ予測モード候補リストに含まれる異なる複数のイントラ予測モード候補から実際に適用するイントラ予測モードを選択してもよい。
【0316】
イントラ予測モード候補リストに含まれる異なる複数のイントラ予測モードの構成例を以下に示す。ここで、分割線に対する平行な角度予測モード(Parallel)、分割線に対する垂直な角度予測モード(Perpendicular)と記す。
構成例1. DIMD⇒Parallel(又は、Perpendicular)
構成例2. TIMD⇒Parallel(又は、Perpendicular)
構成例3. BIMD⇒Parallel(又は、Perpendicular)
構成例4. DIMD⇒TIMD⇒Parallel(又は、Perpendicular)
構成例5. DIMD⇒BIMD⇒Parallel(又は、Perpendicular)
構成例6. TIMD⇒BIMD⇒Parallel(又は、Perpendicular)
構成例7. DIMD⇒TIMD⇒BIMD⇒Parallel(又は、Perpendicular)
まず、構成例1~3は、DIMD、TIMD及びBIMDそれぞれにParallel(又は、Perpendicular)を組み合わせた方法である。
【0317】
Parallel(又は、Perpendicular)で導出されるイントラ予測モードは、DIMD、TIMD及びBIMDで導出されるイントラ予測モードよりも、より簡易的かつ直接的に分割線に基づくエッジ等のテクスチャを反映したイントラ予測モードを導出できるが、隣接参照画素の解析に基づくDIMD、TIMD及びBIMDよりも高精度な予測モードを導出する可能性が低いため、これらのイントラ予測モード候補よりも後にリスト内で配置する。
【0318】
次に、構成例4及び5は、DIMDをTIMD又はBIMDよりも前に配置する構成例である。
【0319】
DIMDをTIMDより前に配置した理由は、DIMDによるイントラ予測モードの導出処理がSATDの計算等の比較的重い計算処理が含まれるTIMDによるイントラ予測モードの導出よりも軽量であるためである。
【0320】
一方で、DIMDをBIMDより前に配置した理由は、ヒストグラムの計算が含まれるDIMDによるイントラ予測モードの導出処理がBIMDによるイントラ予測モードの導出よりも軽量でないが、DIMDで導出されたイントラ予測モードの方がBIMDで導出されたイントラ予測―ドよりも、ヒストグラムの計算により、よりGPMの分割線に基づくエッジ等のテクスチャを反映したイントラ予測モードを導出できる可能性があるため、イントラ予測性能の向上効果が高くなりやすいと考えられるためである。
【0321】
構成例6では、TIMDをBIMDより前に配置している。配置理由は、上述のDIMDをBIMDより前に配置する理由と同じである。
【0322】
構成例7は、GIMD、DIMD、TIMD及びBIMDの全てを組み合わせた構成例であり、上述の理由により、この順序でイントラ予測モードを導出すると、より効率的に予測性能の高いイントラ予測モードを導出できることが期待できる。
【0323】
(各イントラ予測モード導出方法の開始制限)
本実施形態に係る合成部205は、上述した幾何学ブロック分割モードに対するイントラ予測モードの各導出処理の開始時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合は、各導出処理を開始し、かかる候補数がイントラ予測モード候補リストサイズの最大値に達している場合は、各導出処理を開始しない。
【0324】
かかる構成によれば、不要なイントラ予測モードの導出処理の実行を回避でき、合成部205の全体の処理負荷の軽減が期待できる。
【0325】
(イントラ予測モード導出完了後のイントラ予測モード候補リストの登録方法)
本実施形態に係る合成部205は、上述した幾何学ブロック分割モードに対するイントラ予測モードの導出処理の完了時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合には、イントラ予測モード候補リストに既に同一の予測モードが含まれる場合、所定のイントラ予測モードを登録しないように構成されていてもよい。
【0326】
例えば、構成例1から構成例7において、DIMD、TIMD、BIMDによって導出されるイントラ予測モードと後続のParallel(又はPerpendicular)と同じである場合は、リストサイズが最大値に達していない。
【0327】
かかる場合、合成部205は、未登録のPerpendicular(又はParallel)モードを登録してもよい。或いは、合成部205は、Planarモードを登録してもよい。或いは、合成部205は、DCモードを登録してもよい。或いは、合成部205は、イントラ予測モード候補リストに最初に登録されているイントラ予測モードの近傍のイントラ予測モードを登録してもよい。
【0328】
(複数線分割複数線分分割モード向けの予測情報の保存方法)
イントラ予測部204は、複数線分分割モードで分割される小領域A又は小領域Bに対して適用されるイントラ予測モードを、復号対象ブロックを分割した所定サイズのサブブロック単位で保存する。
【0329】
かかる所定サイズは、例えば、符号化ブロック、予測ブロック又は変換ブロックの最小サイズであってもよい。或いは、かかる所定サイズは、2×2画素や4×4画素等といった固定サイズであってもよい。
【0330】
このように、小領域A又は小領域Bのそれぞれに適用されたイントラ予測モードを復号対象ブロック単位ではなくサブブロック単位で保存することでブレンディング領域におけるイントラ予測モードを正確に保存することができる。
【0331】
イントラ予測部204は、ブレンディング領域内にあるサブブロックについて、小領域A又は小領域Bのイントラ予測モードの双方を保存してもよい。或いは、イントラ予測部204は、サブブロックの中心座標から分割線を挟んで小領域A又は小領域Bのいずれに属するかで、対応するイントラ予測モードのみを保存してもよい。
【0332】
動き補償部208は、複数線分分割モードで分割される小領域Aまたは小領域Bに対して適用される動き情報(参照画像リスト、参照画像インデックス、動きベクトル)を、復号対象ブロックを分割した所定サイズのサブブロック単位で保存する。
【0333】
かかる所定サイズは、例えば、符号化ブロック、予測ブロック又は変換ブロックの最小サイズであってもよい。或いは、かかる所定サイズは、2×2画素や4×4画素等といった固定サイズであってもよい。
【0334】
このように、小領域A又は小領域Bのそれぞれに適用された動き情報を復号対象ブロック単位ではなくサブブロック単位で保存することでブレンディング領域における動き情報を正確に保存することができる。
【0335】
動き補償部208は、ブレンディング領域内にあるサブブロックについて、小領域A又は小領域Bの動き情報の双方を保存してもよい。或いは、動き補償部208は、サブブロックの中心座標から分割線を挟んで小領域A又は小領域Bのいずれに属するかで、対応する動き情報のみを保存してもよい。
【0336】
或いは、動き補償部208は、小領域A及び小領域Bの参照画像リストが異なる場合(すなわち、片方が当該フレームから見て未来方向の異なるフレームを参照し、もう片方が当該フレームから見て過去方向の異なるフレームを参照する場合)、それぞれの動きベクトルを非特許文献1に開示されている双予測のように、当該フレームと参照フレームそれぞれの距離に応じて加重平均して新たな動きベクトルを生成して保存してもよい。
【0337】
或いは、動き補償部208は、小領域A及び小領域Bの参照画像リストが同じ場合(すなわち、片方が当該フレームから見て未来方向(又は、過去方向)の異なるフレームを参照し、もう片方も当該フレームから見て未来方向(又は、過去方向)の異なるフレームを参照する場合)、小領域Bの動きベクトルのみを保存してもよい。あるいは、同ケースで、動き補償部208は、小領域Aのみを保存してもよい。
【0338】
(複数線分割複数線分分割方式モード添え字の符号順序入替方法)
合成部205は、複数線分分割モードを特定するための制御情報cu_div_idxの復号値に対応付けられる複数線分分割モードを、非特許文献3で開示されているテンプレートマッチングにより並び替えてもよい。
【0339】
具体的には、合成部205は、インター予測によって複数線分分割モードが構成される場合は、全ての複数線分分割モードについて、復号対象ブロック及び参照ブロックのそれぞれの隣接画素(テンプレート)の誤差(例として、SAD:Sum of Absolute Difference)を比較する。合成部205は、SADを算出する際は、分割線を隣接画素に対して延伸した形で重みつけ平均する。
【0340】
合成部205は、イントラ予測によって複数線分分割モードが構成される場合は、復号対象ブロックの隣接参照画素よりも1ライン以上先の参照画素にイントラ予測モードを適用して隣接画素を生成し、生成された隣接画素及び復号対象ブロックの隣接画素のSADを比較する。
【0341】
合成部205は、かかるSADの比較により、SADの小さい順にcu_div_idxの復号値に対応付けられる複数線分分割モードを並び替えることで、予測精度の高い複数線分分割モードをより小さい復号値(符号長)で利用できるようになるため、結果として符号化効率が向上する効果が得られる。
【0342】
また、合成部205は、SADの小さい順に、cu_div_idxの復号値に対応付けられる複数線分分割モードを並び替えるだけでなく、SADの小さい順から所定数に達した段階で、選択可能な複数線分分割モードの候補から除外してもよい。
【0343】
例えば、所定数としては、選択可能な複数線分分割モードの半分の候補数や複数線分分割モードを幾何学分割モードに加えた合計数の半分の候補数を設定してもよい。
【0344】
これにより、cu_div_idxに対応付けられる複数線分分割モード、ひいては、分割モードの候補数が削減されるため、cu_div_idxのさらなる符号長短縮が期待でき、結果として、結果として符号化効率が向上する効果が得られる。
【0345】
本実施形態に係る画像復号装置200によれば、単位ブロックごとに複数線分から構成される小領域に分割することによって復号するので、符号化効率を向上させることができる。
【0346】
(変更例)
なお、上述の実施形態では、複数の線分によって2つの小領域に分割するケースについて例示しているが、本発明は、かかるケースに限定されるものではなく、複数の線分によって3つ以上の小領域に分割するケースについても適用できる。
【0347】
また、上述の実施形態では、全ての小領域が復号対象ブロックの辺を含むように分割されるケースについて例示しているが、本発明は、かかるケースに限定されるものではなく、少なくとも1つの小領域が復号対象ブロックの辺を含まないように分割されるケース(すなわち、少なくとも1つの小領域が復号対象ブロックの外周に接しないように分割されるケース)についても適用できる。
【0348】
上述の画像復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
【産業上の利用可能性】
【0349】
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【符号の説明】
【0350】
200…画像復号装置
201…復号部
202…逆量子化部
203…逆変換部
204…イントラ予測部
205…選別部
206…加算器
207…蓄積部
208…動き補償部
209…合成部
210…符号入力部
220…画像出力部