特開 2024-90266 画像復号装置、画像復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024090266

(43)【公開日】2024-07-04

(54)【発明の名称】画像復号装置、画像復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240627BHJP

   H04N 19/136 20140101ALI20240627BHJP

   H04N 19/176 20140101ALI20240627BHJP

   H04N 19/70 20140101ALI20240627BHJP

   H04N 19/593 20140101ALI20240627BHJP

【ＦＩ】

H04N19/105

H04N19/136

H04N19/176

H04N19/70

H04N19/593

【審査請求】未請求

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2022206034

(22)【出願日】2022-12-22

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産 業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】加藤 晴久

(72)【発明者】

【氏名】木谷 佳隆

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159RC12

5C159TA33

5C159TB08

5C159TC08

5C159TC18

5C159TC26

5C159TC42

5C159TD10

5C159UA02

5C159UA05

(57)【要約】

【課題】符号化効率を向上させること。
【解決手段】本発明に係る画像復号装置２００は、制御情報で指定された復号済み画素及び復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成するイントラ予測部２０４と、蓄積された復号済み画素と制御情報とに基づいて第２予測画素を生成する動き補償部２０８と、第１予測画素及び第２予測画素のいずれかと予測残差とを加算して復号済み画素を得る加算器２０６とを具備する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像復号装置であって、
制御情報並びに量子化値を復号する復号部と、
前記量子化値を逆量子化して変換係数とする逆量子化部と、
前記変換係数を逆変換して予測残差とする逆変換部と、
前記制御情報で指定された復号済み画素及び前記復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、
前記第１予測画素及び前記第２予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とする画像復号装置。

【請求項2】

前記イントラ予測部は、前記制御信号で指定された前記復号済み画素をテンプレートとしたテンプレートマッチングによって、他の復号済み参照画素の中から、前記別の復号済み画素を探索することを特徴とする請求項１に記載の画像復号装置。

【請求項3】

前記イントラ予測部は、
前記テンプレートとした前記復号済み画素からのイントラ予測によって得られた探索対象ラインにおける座標を算出し、
前記算出した探索対象ラインにおける座標に対応する画素を探索対象ラインの復号済み画素を補間することで取得し、
前記テンプレートとした前記復号済み画素と前記補間した画素との類似度を判定することで、前記別の復号済み画素を探索することを特徴とする請求項２に記載の画像復号装置。

【請求項4】

前記イントラ予測部は、前記制御信号で指定された前記復号済み画素のうち、前記テンプレートマッチングに用いる前記復号済み画素を間引いて処理することを特徴とする請求項２に記載の画像復号装置。

【請求項5】

前記イントラ予測部は、前記テンプレートマッチングの探索範囲を限定することを特徴とする請求項２に記載の画像復号装置。

【請求項6】

前記イントラ予測部は、前記テンプレートマッチングの探索範囲を前記制御情報で指定された前記参照画素の近傍に限定することを特徴とする請求項５に記載の画像復号装置。

【請求項7】

前記イントラ予測部は、復号対象ブロックの辺長に応じて、前記テンプレートマッチングを適用するか否かについて制御することを特徴とする請求項２に記載の画像復号装置。

【請求項8】

前記イントラ予測部は、明示的に行われたシグナリングに応じて、前記テンプレートマッチングを適用するか否かについて制御することを特徴とする請求項２に記載の画像復号装置。

【請求項9】

前記イントラ予測部２０４は、前記テンプレートマッチングの探索範囲内の前記復号済み画素の一部を探索対象から外すことを特徴とする請求項２に記載の画像復号装置。

【請求項10】

前記イントラ予測部は、前記制御情報で指定可能な前記復号済み画素を、前記探索対象から外すことを特徴とする請求項９に記載の画像復号装置。

【請求項11】

前記イントラ予測部は、前記テンプレートマッチングに用いる参照画素として小数精度の画素を用いて、前記イントラ予測を実行することを特徴とする請求項２に記載の画像復号装置。

【請求項12】

前記イントラ予測部は、前記テンプレートマッチングの探索対象に、新たに生成した画素を含めることを特徴とする請求項２に記載の画像復号装置。

【請求項13】

前記イントラ予測部は、
前記制御情報で指定された復号済み画素からの距離に応じて、生成する前記画素の密度を変化させることを特徴とする請求項１２に記載の画像復号装置。

【請求項14】

前記イントラ予測部は、復号対象ブロックのサイズに応じて、前記テンプレートマッチングの探索範囲及び探索対象の少なくとも１つを変化させることを特徴とする請求項２に記載の画像復号装置。

【請求項15】

前記イントラ予測部は、複数のイントラ予測により得られた複数のイントラ予測値を重み平均して前記第１予測画素を生成することを特徴とする請求項２に記載の画像復号装置。

【請求項16】

前記イントラ予測部は、重み係数について任意の組み合わせによる固定値を利用して前記複数のイントラ予測値を合成することを特徴とする請求項１５に記載の画像復号装置。

【請求項17】

前記イントラ予測部は、重み係数について適応的な可変値を利用して前記複数のイントラ予測値を合成することを特徴とする請求項１５に記載の画像復号装置。

【請求項18】

前記イントラ予測部は、前記テンプレートマッチングの評価値に応じて、前記重み係数を設定することを特徴とする請求項１７に記載の画像復号装置。

【請求項19】

前記イントラ予測部は、前記テンプレートマッチングで探索する前記復号済み画素のラインの組み合わせを複数に設定することを特徴とする請求項２に記載の画像復号装置。

【請求項20】

前記イントラ予測部は、復号対象ブロックのサイズに応じて、前記イントラ予測を実行する復号対象ブロックを限定することを特徴とする請求項１に記載の画像復号装置。

【請求項21】

前記イントラ予測部は、前記イントラ予測を実行するイントラ予測方向を限定することを特徴とする請求項１に記載の画像復号装置。

【請求項22】

画像復号方法であって、
制御情報並びに量子化値を復号する工程と、
前記量子化値を逆量子化して変換係数とする工程と、
前記変換係数を逆変換して予測残差とする工程と、
前記制御情報で指定された復号済み画素及び前記復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成する工程と、
前記復号済み画素を蓄積する工程と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する工程と、
前記第１予測画素及び前記第２予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを特徴とする画像復号方法。

【請求項23】

コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
制御情報並びに量子化値を復号する復号部と、
前記量子化値を逆量子化して変換係数とする逆量子化部と、
前記変換係数を逆変換して予測残差とする逆変換部と、
前記制御情報で指定された復号済み画素及び前記復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、
前記第１予測画素及び前記第２予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１では、イントラ予測が開示されている。イントラ予測は、復号対象ブロックに隣接する近傍画素を復号対象ブロックに複製することでイントラ予測値を生成する。イントラ予測は、複数の異なる方向へ複製する予測モードを用意することで予測精度の向上を図る。復号済み画素を再構成するために、イントラ予測値は、予測残差と加算される。

【0003】

また、非特許文献２では、隣接する近傍画素だけでなく１画素以上離れた近傍画素も用いてイントラ予測値を生成する手法が開示されている。具体的には、かかる手法は、０，１，３，５，７，１２ラインだけ離れた復号済み画素の中で特定の１ラインから生成したイントラ予測値及び特定のラインの１つ外側のラインから生成したイントラ予測値をそれぞれ生成した上で、３：１の重み平均により最終的なイントラ予測値を合成する。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ＩＴＵ-Ｔ Ｈ.２６６/ＶＶＣ

【非特許文献2】ＪＶＥＴ-ＡＡ０１３７、Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｆｕｓｉｏｎ

【非特許文献3】ＪＶＥＴ-Ｏ０４４９、Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｉｎｔｒａ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ （ＤＩＭＤ） ｗｉｔｈ Ｐｒｅｄｉｃｔｉｏｎ Ｆｕｓｉｏｎ Ｕｓｉｎｇ Ｐｌａｎａｒ

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１では、復号対象ブロックの隣接する近傍画素１ラインしか参照画素として利用していないため、予測値の精度が十分ではないという課題がある。

【0006】

一方、非特許文献２では、複数ラインの近傍画素を参照画素として利用するため、上述の課題の一部を解決することができる。図６は、非特許文献２における処理を示す。

【0007】

第１に、かかる処理は、ライン０，１，３，５，７，１２の中から制御情報で、どのラインを参照画素として利用するかを指定する。図６の例は、制御情報によりライン７が指定された状況を表している（図６の（１））。

【0008】

第２に、かかる処理は、制御情報で指定されたラインの１つ外側のラインを選択する。図６の例は、ライン７の１つ外側のラインとしてライン８が選択された状況を表している（図６の（２））。

【0009】

第３に、かかる処理は、それぞれのラインの復号済み画素を参照画素としてイントラ予測を実行する。図６の例は、ライン７及びライン８の復号済み画素を参照画素としてイントラ予測を実行して暫定的なイントラ予測値が生成されている状況を表している（図６の（３））。

【0010】

第４に、かかる処理は、最後に２つの暫定的なイントラ予測値を重み平均することで最終的なイントラ予測値とする。図６の例は、ライン７を参照画素としたイントラ予測値とライン８を参照画素としたイントラ予測値との重み平均した結果を最終的なイントラ予測値としている状況を表している（図６の（４）。

【0011】

しかしながら、非特許文献２では、重み平均を行うラインを１ライン上に固定しているため、最適とは限らず、イントラ予測値の精度が十分でないという課題は解決されていない。

【0012】

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の第１の特徴は、画像復号装置であって、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、前記制御情報で指定された復号済み画素及び前記復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、前記第１予測画素及び前記第２予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。

【0014】

本発明の第２の特徴は、画像復号方法であって、制御情報並びに量子化値を復号する工程と、前記量子化値を逆量子化して変換係数とする工程と、前記変換係数を逆変換して予測残差とする工程と、前記制御情報で指定された復号済み画素及び前記復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成する工程と、前記復号済み画素を蓄積する工程と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する工程と、前記第１予測画素及び前記第２予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを要旨とする。

【0015】

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、前記制御情報で指定された復号済み画素及び前記復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、前記第１予測画素及び前記第２予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。

【発明の効果】

【0016】

本発明によれば、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0017】

【図1】図１は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。

【図2】図２は、一実施形態に係る画像復号装置２００のイントラ予測部２０４における第１予測画素の生成方法に一例について説明するための図である。

【図3】図３は、一実施形態に係る画像復号装置２００のイントラ予測部２０４における第１予測画素の生成方法に一例について説明するための図である。

【図4】図４は、シーケンス単位でイントラ予測を実行するために必要な設定を行うための復号部２０１の処理の一例を示すフローチャートである。

【図5】図５は、ブロック単位でテンプレートマッチングを設定する処理の一例を示すフローチャートである。

【図6】図６は、非特許文献２の処理の一例を説明するための図である。

【図7】図７は、イントラ予測部２０４がＤＩＭＤを拡張してイントラ予測モードを決定する処理の一例について説明するための図である。

【図8】図８は、イントラ予測部２０４がＤＩＭＤを拡張してイントラ予測モードを決定する処理の一例について説明するための図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0019】

＜第１実施形態＞
以下、図１～図５、図７及び図８を参照して、本実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

【0020】

図１に示すように、画像復号装置２００は、符号入力部２１０と、復号部２０１と、逆量子化部２０２と、逆変換部２０３と、イントラ予測部２０４と、加算器２０６と、蓄積部２０７と、動き補償部２０８と、画像出力部２２０とを有する。

【0021】

符号入力部２１０は、画像符号化装置によって符号化された符号情報を取得するように構成されている。

【0022】

復号部２０１は、符号入力部２１０から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部２０１は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。

【0023】

ここで、量子化値は、逆量子化部２０２に送られ、制御情報は、イントラ予測部２０４及び動き補償部２０８に送られる。なお、かかる制御情報は、イントラ予測部２０４及び動き補償部２０８等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。

【0024】

逆量子化部２０２は、復号部２０１から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部２０３に送られる。

【0025】

逆変換部２０３は、逆量子化部２０２から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器２０６に送られる。

【0026】

イントラ予測部２０４は、復号部２０１から送られた制御情報で指定された復号済み画素及び復号済み画素に類似する別の復号済み画素を参照画素としてそれぞれイントラ予測を実行して合成することで第１予測画素を生成するように構成されている。ここで、復号済み画素は、加算器２０６を介して得られるものである。なお、第１予測画素は、加算器２０６に送られる。

【0027】

蓄積部２０７は、加算器２０６から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部２０７を介して動き補償部２０８からの参照を受ける。

【0028】

動き補償部２０８は、蓄積部２０７を参照して得られる復号済み画素及び復号部２０１で復号された制御情報に基づいて、加算器２０６で予測残差と加算するための第２予測画素を生成するように構成されている。生成された第２予測画素は、加算器２０６へ送られる。

【0029】

加算器２０６は、復号済み画素等から生成された第１予測画素及び第２予測画素のいずれかと、逆変換部２０３から送られる予測残差とを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部２２０、蓄積部２０７及びイントラ予測部２０４へ送られる。

【0030】

（イントラ予測部２０４）
以下、図２を参照して、イントラ予測部２０４における第１予測画素の生成方法に一例について説明する。

【0031】

第１に、イントラ予測部２０４は、制御情報によって指定されたラインの復号済み画素を、イントラ予測に用いる参照画素と決定する。

【0032】

図２の例は、非特許文献２を踏襲し、復号対象ブロックの近傍画素に近い方からライン単位で０，１，３，５，７，１２番目のラインの復号済み画素に参照画素の候補を限定し、制御情報としてライン７が指定された状況を表現している（図２の（１））。

【0033】

第２に、イントラ予測部２０４は、制御情報で指定されたラインの復号済み画素（参照画素）をテンプレートとして、他の復号済み画素の中から、制御情報で指定されたラインの復号済み画素に類似する別の復号済み画素を探索する。図２の例は、ライン６の復号済み画素がライン７の復号済み画素に類似していると決定された場合を表現している（図２の（２））。

【0034】

ここで、復号済み画素の類似度の判定には、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を利用できる。各ラインの復号済み画素は、イントラ予測の方向に応じて小数画素精度でずれるため、イントラ予測部２０４は、テンプレートマッチングによって、制御情報で指定されたラインの復号済み画素（テンプレートとする復号済み画素/参照画素）と探索範囲内の各探索対象ラインにおいて補間された画素との類似度を判定する。

【0035】

具体的には、図３に示すように、イントラ予測部２０４は、テンプレートとなるラインの復号済み画素（参照画素）からのイントラ予測によって、探索範囲内の各探索対象ラインにおける座標を算出し、当該座標に対応する画素を各探索対象ラインの復号済み画素を補間することで取得し、各探索対象ラインで補間した画素とテンプレートとなるラインの復号済み画素（整数精度画素）との類似度を判定することが望ましい。

【0036】

或いは、逆に、イントラ予測部２０４は、探索範囲内の各探索対象ラインの復号済み画素からのイントラ予測によって、テンプレートとなるライン上の復号済み画素から小数精度画素を補間した上で、各探索対象ラインの復号済み画素とテンプレートとなるライン上で補間した画素との類似度を判定してもよい。

【0037】

ここで、イントラ予測部２０４は、イントラ予測で用いるフィルタを利用して、小数精度画素を算出してもよい。或いは、イントラ予測部２０４は、簡略化したフィルタを利用して、小数精度画素を算出してもよい。

【0038】

このとき、イントラ予測部２０４は、上述のテンプレートマッチングに用いる復号済み画素（テンプレートとしての復号済み画素）を間引いて処理することができる。

【0039】

例えば、イントラ予測部２０４は、イントラ予測が左側の画素しか参照しない場合は、かかる左側の画素だけをテンプレートとして利用してもよい。

【0040】

また、イントラ予測部２０４は、テンプレートマッチングの探索範囲を限定しておくこともできる。

【0041】

例えば、イントラ予測部２０４は、テンプレートマッチングの探索範囲を制御信号で指定された参照画素の近傍に限定してもよい。

【0042】

或いは、復号対象ブロックの辺長が閾値以下の場合は、テンプレートマッチングによって類似度を正確に判定することが困難であるため、イントラ予測部２０４は、復号対象ブロックの辺長に応じてテンプレートマッチングを適用するか否かについて制御してもよい。

【0043】

なお、テンプレートマッチングを適用するか否かについては、明示的にシグナリングすることもできる。かかる場合、イントラ予測部２０４は、明示的に行われたシグナリングに応じて、前記テンプレートマッチングを適用するか否かについて制御するように構成されていてもよい。

【0044】

また、イントラ予測部２０４は、テンプレートマッチングの探索範囲内のラインの復号済み画素の一部を探索対象から外してもよい。

【0045】

例えば、イントラ予測部２０４は、制御情報で指定可能なラインの復号済み画素を、テンプレートマッチングの探索対象から外してもよい。

【0046】

具体的には、制御情報でライン７が指定された場合、逆説的にライン０，１，３，５，１２の符号化コスト（予測誤差や符号量）が大きいことを示しているため、イントラ予測部２０４は、ライン０，１，３，５，１２については、テンプレートマッチングの探索範囲内であっても、探索対象ラインから外してもよい。

【0047】

これらの構成によれば、テンプレートマッチングの探索範囲や探索対象や処理画素数を限定することで処理負荷を軽減する効果が得られる。

【0048】

或いは、イントラ予測部２０４は、テンプレートマッチングに用いる参照画素として、（整数精度ではなく）小数精度の復号済み画素を用いて、イントラ予測を実行することができる。

【0049】

すなわち、イントラ予測部２０４は、イントラ予測の方向毎且つ対応するライン毎に、小数画素を補間した上でテンプレートマッチングすることができる。

【0050】

かかる構成によれば、イントラ予測で用いる参照画素を正確に再現することで予測精度を向上させる効果が得られる。

【0051】

また、イントラ予測部２０４は、テンプレートマッチングの探索対象に、補間によって新たに生成した画素を含めてもよい。

【0052】

例えば、イントラ予測部２０４は、ライン６とライン7とを重み平均してライン６.５やライン６.８等に相当する新たなライン群を生成し、テンプレートマッチングの探索対象に含めることができる。

【0053】

このとき、イントラ予測部２０４は、制御情報で指定されたラインの復号済み画素からの距離に応じて、生成する画素の密度を変化させることができる。

【0054】

例えば、イントラ予測部２０４は、制御情報で指定されたラインと当該ラインから±１離れたラインとの間に、制御情報で指定されたラインから０.３及び０.６だけ離れたラインを新規生成し、制御情報で指定されたラインから±２離れたラインと±１離れたラインとの間には、制御情報で指定されたラインからから０.５離れたラインを新規生成する等、制御情報で指定されたラインに近いほど密に新規ラインを生成することで予測精度を向上させる効果が得られる。

【0055】

これらの構成によれば、テンプレートマッチングの探索対象を増加させることができるため、予測精度を向上させる効果が得られる。

【0056】

イントラ予測部２０４は、これらの限定や拡張について固定的に設定することもできるし、復号対象ブロックのサイズに応じて、テンプレートマッチングの探索範囲及び探索対象の少なくとも１つを変化させることもできる。

【0057】

例えば、かかる構成によれば、復号対象ブロックサイズが大きい場合、比較的画素変化が小さいため、テンプレートマッチングの探索範囲や探索対象を限定することで処理負荷を軽減する効果が得られる。

【0058】

逆に、かかる構成によれば、復号対象ブロックサイズが小さい場合、比較的画素変化が大きいため、テンプレートマッチングの探索範囲や探索対象を拡張することで予測精度を向上させる効果が得られる。

【0059】

第３に、イントラ予測部２０４は、制御情報で指定されたラインの復号済み画素及びテンプレートマッチングで決定された復号済み画素を参照画素として用いて、それぞれイントラ予測を実行し、イントラ予測値を生成するように構成されている。

【0060】

図２の例は、ライン７の復号済み画素及びライン６の復号済み画素を参照画素としてイントラ予測を実行してイントラ予測画素を生成した場合を表現している（図２の（３））。

【0061】

第４に、イントラ予測部２０４は、複数のイントラ予測により得られたイントラ予測値を重み平均して第１予測画素を生成するように構成されている。

【0062】

図２の例は、非特許文献２を踏襲し、３：１の重み予測により第１予測画素を生成した場合を表現している（図２の（４））。

【0063】

イントラ予測部２０４は、重み係数について任意の組み合わせによる固定値を利用して複数のイントラ予測値を生成することができるし、適応的な可変値を利用して複数のイントラ予測値を生成することもできる。

【0064】

ここで、イントラ予測部２０４は、重み係数について可変値を利用する場合は、例えば、テンプレートマッチングの評価値に応じて、かかる重み係数を設定してもよい。

【0065】

なお、図２を用いた説明では、イントラ予測部２０４は、テンプレートマッチングで探索する復号済み画素のラインの組み合わせを１組としているが、テンプレートマッチングで探索する復号済み画素の組み合わせをＮ（＞１）組に設定することができる。

【0066】

かかる構成によれば、テンプレートマッチングで、類似する上位Ｎ組のラインの組み合わせを選択することになる。

【0067】

同様に、図２を用いた説明では、制御情報で指定されるラインの組み合わせを１組としたが、制御情報で指定されるラインの組み合わせがＭ（＞１）組存在する場合は、イントラ予測部２０４は、それぞれのラインの復号済み画素をテンプレートとして、類似する復号済み画素を探索することができる。

【0068】

これらの構成によれば、制御情報で指定されたラインの復号済み画素をテンプレートとして用いることで、他の復号済み画素を表現する情報を不要とし、符号量の増加を抑制させる効果が得られる。

【0069】

同時に、これらの構成によれば、適応的に複数のラインの復号済み画素を選択することで、第１予測画素の予測精度を向上させる効果が得られる。

【0070】

或いは、イントラ予測部２０４は、復号対象ブロックのサイズに応じて、本実施形態に係るイントラ予測を実行する復号対象ブロックを限定することができる。

【0071】

例えば、イントラ予測部２０４は、復号対象ブロックのサイズが所定閾値よりも大きい場合にのみ、本実施形態に係るイントラ予測を実行することで、処理速度を向上させる効果が得られる。

【0072】

逆に、イントラ予測部２０４は、復号対象ブロックのサイズが小さい場合にのみ、本実施形態に係るイントラ予測を実行することで、符号化効率を向上させる効果が得られる。

【0073】

同様に、イントラ予測部２０４は、本実施形態に係るイントラ予測を実行するイントラ予測方向を限定することができる。

【0074】

例えば、イントラ予測部２０４は、水平垂直の場合にのみ、本実施形態に係るイントラ予測を実行することで、処理速度を向上させる効果が得られる。

【0075】

逆に、イントラ予測部２０４は、水平垂直の場合に、本実施形態に係るイントラ予測を実行しないことで、符号化効率を向上させる効果が得られる。

【0076】

＜手順１：ＤＩＭＤの拡張＞
上述のイントラ予測では、イントラ予測モードが明示的に符号化されている前提であったが、イントラ予測モードを符号化しない方法として、非特許文献３で開示されているデコーダサイドイントラ予測モード導出（ＤＩＭＤ：Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｉｎｔｒａ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ）がある。

【0077】

イントラ予測部２０４は、ＤＩＭＤを用いる場合、複数ラインの近傍画素で求めた勾配ヒストグラムのピーク等からイントラ予測モードを決定する。

【0078】

イントラ予測部２０４は、図７（ａ）に示すように、復号対象ブロック（Ｃｕｒｒｅｎｔ ｂｌｏｃｋ）の上及び左の両方の近傍画素（ｒｅｆｅｒｅｎｃｅ ｒｅｇｉｏｎにおける画素）を利用して勾配ヒストグラムを算出してもよいし、図７（ｂ）に示すように、復号対象ブロックの上だけの近傍画素を利用して勾配ヒストグラムを算出してもよいし、図７（ｃ）に示すように、復号対象ブロックの左だけの近傍画素を利用して勾配ヒストグラムを算出してもよい。

【0079】

かかる場合、どの近傍画素を用いて勾配ヒストグラムを算出するかは、シグナリングされてもよい。

【0080】

しかしながら、イントラ予測部２０４が、復号対象ブロックの上だけの近傍画素或いは左だけの近傍画素からイントラ予測モードを導出する場合は、利用されない方の近傍画素の情報が反映されないという問題がある。

【0081】

一方、イントラ予測部２０４が、復号対象ブロックの上及び左の両方の近傍画素からイントラ予測モードを導出する場合は、片方だけであれば得られたはずのイントラ予測モードも、上だけの勾配ヒストグラムと左だけの勾配ヒストグラムとを重ねることで、図８のように、勾配ヒストグラムのピークがズレたり、片方の勾配ヒストグラムのピークが埋もれるという問題がある。

【0082】

したがって、本実施形態では、イントラ予測部２０４は、一部の近傍画素からＤＩＭＤで求めたイントラ予測モードと、他の一部の近傍画素からＤＩＭＤで求めたイントラ予測モードとを重み平均する。

【0083】

例えば、イントラ予測部２０４は、一部の近傍画素として、制御情報によって指定されたイントラ予測の参照画素を含むラインの水平方向成分（上）だけ或いは垂直方向成分（左）だけを利用することができる。

【0084】

イントラ予測部２０４は、復号対象ブロックの縦横比が異なる場合は、一部の近傍画素について間引いて利用することもできる。

【0085】

第１に、イントラ予測部２０４は、一部の近傍画素（例えば、上）だけにＤＩＭＤを適用してイントラ予測モードを導出すると共に、他の一部の近傍画素（例えば、左）だけにＤＩＭＤを適応してイントラ予測モードを導出する。

【0086】

第２に、イントラ予測部２０４は、それぞれのイントラ予測モードで、イントラ予測を適用してイントラ予測値を生成する。

【0087】

第３に、イントラ予測部２０４は、それぞれのイントラ予測値を重み平均することで第１予測画素を生成する。

【0088】

ここで、イントラ予測部２０４は、重み係数として、予め設定した値を固定的に用いてもよいし、適応的に用いてもよい。

【0089】

例えば、イントラ予測部２０４は、それぞれの勾配ヒストグラムのピークの比率やブロックの縦横比に応じて、かかる重み係数を決定することができる。

【0090】

かかる構成によれば、復号対象ブロックの上の近傍画素から導出されたイントラ予測モード及び復号対象ブロックの左の近傍画素から導出されたイントラ予測モードを適応的に反映することで、第１予測画素の予測精度を向上させる効果が得られる。

【0091】

イントラ予測部２０４は、かかる手順１について、ＤＩＭＤの４番目のモードとして追加してもよいし、図７（ａ）に示すＤＩＭＤについて、かかる手順１で置換してもよい。

【0092】

＜手順２：複数角度モード結合イントラ予測＞
イントラ予測部２０４は、決定されたイントラ予測モードによって近傍画素からイントラ予測値を生成するが、近傍画素にノイズが存在する場合は、ノイズも含めてイントラ予測値に反映されるため、第１予測画素の予測精度が低下する問題がある。

【0093】

本手順２は、ノイズを平均０の加法性白色ガウシアンノイズと仮定している。

【0094】

上述の実施形態では、複数ラインを用いて同一のイントラ予測モードに対して異なる参照画素で複数のイントラ予測値を重み平均していたが、本手順２では、同一の参照画素に対して複数の異なるイントラ予測モードによるイントラ予測値を重み平均することでノイズを低減することができる。

【0095】

具体的には、イントラ予測部２０４は、決定されたイントラ予測モードＰと隣接するイントラ予測モードＰ＋１及びＰ－１とを重み平均する。

【0096】

イントラ予測部２０４は、空間的に隣接するイントラ予測モードが存在しないＤＣモード及びＰｌａｎａｒモードには、本手順２を適用しない。

【0097】

同様に、イントラ予測部２０４は、角度モードの端が存在する側のイントラ予測モードだけを用いる。

【0098】

第１に、イントラ予測部２０４は、決定されたイントラ予測モードから他のイントラ予測モードを導出する。

【0099】

第２に、イントラ予測部２０４は、それぞれのイントラ予測モード（Ｐ―１、Ｐ、Ｐ＋１）でイントラ予測を適用してイントラ予測値を生成する。

【0100】

第３に、イントラ予測部２０４は、それぞれのイントラ予測値を重み平均することで第１予測画素を生成する。

【0101】

ここで、イントラ予測部２０４は、重み係数として、予め設定した値（１：２：１等）を固定的に用いる。

【0102】

上述の例では、３つのイントラ予測を適用する例を挙げて説明したが、イントラ予測の数は、２つであっても５つであってもよく、任意の数を設定できる。

【0103】

イントラ予測部２０４は、重み平均するイントラ予測の数について、固定数としてもよいし、適応的に変更してもよい。

【0104】

例えば、イントラ予測部２０４は、復号対象ブロックのサイズに応じて、重み平均するイントラ予測の数を決定することができる。

【0105】

また、上述の例では、重み平均するイントラ予測モードを両隣とするケースについて説明したが、重み平均するイントラ予測モードとしては、任意のイントラ予測モードを設定することができる。

【0106】

例えば、イントラ予測部２０４は、固定的にイントラ予測モードＰを利用することもできるし、決定されたイントラ予測モードＰに対して角度Ｑ（±９０度や±４５度等）離れたイントラ予測モードＰ＋Ｑを適応的に利用することもできる。

【0107】

このとき、イントラ予測部２０４は、イントラ予測モードＰとイントラ予測モードＰ＋Ｑとを重み平均して近傍画素との誤差（差分絶対値和等）が最小となる組み合わせを利用することで、シグナリングなしに適応的にイントラ予測モードＰ＋Ｑを決定してもよい。

【0108】

或いは、イントラ予測部２０４は、シグナリングされたイントラ予測モードＰ＋Ｑをもちいてもよい。

【0109】

このとき、イントラ予測部２０４は、上述の近傍画素との誤差の昇順で並べ替えることで符号長を抑制することが望ましい。

【0110】

上述の構成によれば、複数のイントラ予測の重み平均によりノイズの影響を低減させることで、第１予測画素の予測精度を向上させる効果が得られる。

【0111】

イントラ予測部２０４は、かかる手順２について、イントラ予測の新たなモードとして追加してもよいし、従来のイントラ予測を、かかる手順２で置換してもよい。

【0112】

（制御情報）
以降で、復号部２０１によって復号される制御情報について説明する。

【0113】

画像復号装置２００に入力される符号情報は、シーケンス単位の制御情報をまとめたシーケンスパラメータセット（ＳＰＳ）を含むことができる。また、かかる符号情報は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット（ＰＰＳ）或いはピクチャヘッダ（ＰＨ）を含むことができる。さらに、かかる符号情報は、スライス単位の制御情報をまとめたスライスヘッダ（ＳＨ）を含んでもよい。

【0114】

ここで、図４を参照して、シーケンス単位でイントラ予測を実行するために必要な設定を行うための復号部２０１の処理（テンプレートマッチングを設定するための処理）の一例について述べる。

【0115】

図４に示すように、ステップＳ１０１において、復号部２０１は、シーケンスパラメータセットに含まれるｓｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かについて判定する。

【0116】

ここで、ｓｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇは、テンプレートマッチングによる複数参照の適用の有無を制御するシンタックスであり、ｓｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合はテンプレートマッチングによる複数参照が有効であることを示し、ｓｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合は、テンプレートマッチングによる複数参照が無効であることを示す。

【0117】

ｓｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合、本処理は、ステップＳ１０２に進み、ｓｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合、本処理は、終了する。

【0118】

ステップＳ１０２において、復号部２０１は、復号対象ブロックに関して参照画素が利用できるかどうかチェックする。

【0119】

例えば、復号部２０１は、復号対象ブロックがフレームの端や処理単位（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）の端である場合は、かかる復号対象ブロックに関して参照画素を利用できないと判定する。

【0120】

復号部２０１は、復号対象ブロックに関して参照画素を利用できると判定した場合、ｓｐｓ_ｔｍｍｒｌ_ｍｏｄｅを復号する。

【0121】

ｓｐｓ_ｔｍｍｒｌ_ｍｏｄｅは、テンプレートマッチングの探索方法を制御するシンタックスである。

【0122】

復号部２０１は、ｓｐｓ_ｔｍｍｒｌ_ｍｏｄｅを用いることで、シーケンス単位で画像特性に応じたテンプレートマッチングの探索方法を設定変更できるため、符号化効率を最大化する効果が期待できる。

【0123】

かかる構成によれば、例えば、ＣＧで構成されるシーケンスに対しては同値の画素が連続することが多いのでテンプレートマッチングの探索範囲を狭くするように設定でき、自然画像で構成されるシーケンスに対してはテンプレートマッチングの探索単位を広くするように設定できるため、符号化効率の最大化が図れる。

【0124】

復号部２０１は、ピクチャ単位でイントラ予測を実行するために必要な設定を行う場合は、ｐｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｐｐｓ_ｔｍｍｒｌ_ｍｏｄｅを、ピクチャパラメータセット或いはピクチャヘッダで同様に復号する。

【0125】

復号部２０１は、ｐｐｓ_ｔｍｍｒｌ_ｍｏｄｅを用いることで、ピクチャ単位で画像特性に応じたテンプレートマッチングの探索方法を設定変更できるため、符号化効率を最大化する効果が期待できる。

【0126】

かかる構成によれば、例えば、ＣＧGで構成されるピクチャに対しては同値の画素が連続することが多いのでテンプレートマッチングの探索範囲を狭くするように設定でき、自然画像で構成されるピクチャに対してはテンプレートマッチングの探索単位を広くするように設定できるため、符号化効率の最大化が図れる。

【0127】

復号部２０１は、スライス単位でイントラ予測を実行するために設定な設定を行う場合は、ｓｈ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｔｍｍｒｌ_ｍｏｄｅを、スライスヘッダで同様に復号する。

【0128】

復号部２０１は、ｓｈ_ｔｍｍｒｌ_ｍｏｄｅを用いることで、スライス単位で画像特性に応じたテンプレートマッチングの探索方法を設定変更できるため、符号化効率を最大化する効果が期待できる。

【0129】

かかる構成によれば、例えば、ＣＧで構成されるスライスに対しては同値の画素が連続することが多いのでテンプレートマッチングの探索範囲を狭くするように設定でき、自然画像で構成されるスライスに対してはテンプレートマッチングの探索単位を広くするように設定できるため、符号化効率の最大化が図れる。

【0130】

また、かかる構成によれば、上位層でのみ設定することで符号量の増大を抑制することもできるし、下位層でも設定した上で下位層での設定を優先することで適応的な制御ができる。

【0131】

或いは、かかる構成によれば、テンプレートマッチングの探索方法が事前に設定されている場合は、テンプレートマッチングの探索方法の復号自体を省略することができる。

【0132】

なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位で、テンプレートマッチングを設定する処理について述べたが、これらの処理を行う代わりに、後述のブロック単位で直接テンプレートマッチングを設定してもよい。

【0133】

以下、図５を参照して、ブロック単位でテンプレートマッチングを設定する処理の一例について述べる。

【0134】

図５に示すように、ステップＳ２０１において、復号部２０１は、ｐｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｓｐｓ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｔｍｍｒｌ_ｅｎａｂｌｅｄ_ｆｌａｇのいずれかが１であるか否かについて判定する。

【0135】

いずれも１ではない場合、本処理は、ステップＳ２０２に進み、いずれかが１である場合、本動作は、ステップ２０３に進む。

【0136】

ステップＳ２０２において、復号部２０１は、テンプレートマッチングを適用しないと決定する。

【0137】

ステップＳ２０３において、復号部２０１は、復号対象ブロックがイントラ予測モードであるか否かについて判定する。

【0138】

Ｙｅｓの場合、本処理は、ステップＳ２０４に進み、Ｎｏの場合、本処理は、ステップＳ２０２に進む。

【0139】

ステップＳ２０４において、復号部２０１は、イントラ予測の方向を表す制御情報であるｃｕ_ｉｎｔｒａ_ｍｏｄｅを復号する。

【0140】

ステップＳ２０５において、復号部２０１は、復号対象ブロックに関して参照画素が利用できるかどうかチェックする。

【0141】

例えば、復号部２０１は、復号対象ブロックがフレームの端や処理単位（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）の端である場合は、かかる復号対象ブロックに関して参照画素を利用できないと判定する。

【0142】

かかる参照画素が利用できると判定された場合は、本処理は、ステップＳ２０６に進み、かかる参照画素が利用できないと判定された場合は、本処理は、ステップＳ２０２に進む。

【0143】

ステップＳ２０６において、復号部２０１は、テンプレートに用いる参照画素を表す制御情報であるｃｕ_ｔｍｍｒｌ_ｉｄｘを復号する。

【0144】

本実施形態に係る画像復号装置２００によれば、イントラ予測において参照する複数のラインを適応的に選択することができるので、符号化効率を向上させることができる。

【0145】

上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0146】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0147】

２００…画像復号装置
２０１…復号部
２０２…逆量子化部
２０３…逆変換部
２０４…イントラ予測部
２０６…加算器
２０７…蓄積部
２０８…動き補償部
２１０…符号入力部
２２０…画像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】