特開 2024-93233 画像復号装置、画像復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024093233

(43)【公開日】2024-07-09

(54)【発明の名称】画像復号装置、画像復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240702BHJP

   H04N 19/139 20140101ALI20240702BHJP

【ＦＩ】

H04N19/105

H04N19/139

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022209474

(22)【出願日】2022-12-27

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、総務省、「３次元空間データの無線伝送に向けた高能率圧縮技術の研究開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】木谷 佳隆

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159TA63

5C159TB08

5C159TC12

(57)【要約】

【課題】参照可能領域の外側を参照する動きベクトルが参照可能領域外にクリップされた後、かかる動きベクトルを原点とするテンプレートマッチングの探索範囲が、参照画像を含む参照可能領域を超えることを回避すること。
【解決手段】本発明に係る画像復号装置２００において、動き補償部２０８は、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像復号装置であって、
制御情報を復号する復号部と、
復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部とを具備し、
前記動き補償部は、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御することを特徴とする画像復号装置。

【請求項2】

画像復号装置であって、
制御情報を復号する復号部と、
復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部とを具備し、
前記動き補償部は、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否か及び復号対象ブロックの幅又は高さに応じて、前記テンプレートマッチングの探索範囲を制限することを特徴とする画像復号装置。

【請求項3】

前記動き補償部は、前記テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御する場合に、前記動きベクトルの参照位置を整数画素精度位置に常に丸めることを特徴とする請求項１の画像復号装置。

【請求項4】

画像復号方法であって、
制御情報を復号する工程Ａと、
復号済み画素と前記制御情報とに基づいて第１予測画素を生成する工程Ｂと、
前記復号済み画素を蓄積する工程Ｃと、
前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する工程Ｄとを有し、
前記工程Ｄにおいて、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御することを特徴とする画像復号方法。

【請求項5】

コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
制御情報を復号する復号部と、
復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
前記復号済み画素を蓄積する蓄積部と、
前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部とを具備し、
前記動き補償部は、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１では、動きベクトルが参照画像外を参照する場合であっても動き補償できるように、画面境界の画素値を参照画像境界の外側方向に所定画素数だけ複製（パディング）した領域（すなわち、反復パディング領域）が規定されている。

【0003】

さらに、非特許文献１には、動きベクトルが参照画像や反復パディング領域を含む参照可能な領域外を参照する場合に、動きベクトルの参照位置を参照可能な領域内に平行移動（クリップ）する技術が開示されている。

【0004】

非特許文献２には、動きベクトルを修正するテンプレートマッチングが開示されている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】ＩＴＵ-Ｔ Ｈ.２６６/ＶＶＣ

【非特許文献2】Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｅｎｈａｎｃｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌ ６（ＥＣＭ ６）、ＪＶＥＴ-ＡＡ２０２５

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献２で開示されているテンプレートマッチングが有効な場合で且つ動きベクトルが参照画像を含む参照可能な領域（参照可能領域）の外側を参照する場合に、クリップされた動きベクトルを原点とするテンプレートマッチングの探索範囲が、かかる参照可能領域を超えるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、参照可能領域の外側を参照する動きベクトルがクリップされた後、かかる動きベクトルを原点とするテンプレートマッチングの探索範囲が、参照画像を含む参照可能領域を超えることを回避することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の特徴は、画像復号装置であって、制御情報を復号する復号部と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部とを具備し、前記動き補償部は、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御することを要旨とする。

【0008】

本発明の第２の特徴は、画像復号装置であって、制御情報を復号する復号部と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部とを具備し、前記動き補償部は、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否か及び復号対象ブロックの幅又は高さに応じて、前記テンプレートマッチングの探索範囲を制限することを要旨とする。

【0009】

本発明の第３の特徴は、画像復号方法であって、制御情報を復号する工程Ａと、復号済み画素と前記制御情報とに基づいて第１予測画素を生成する工程Ｂと、前記復号済み画素を蓄積する工程Ｃと、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する工程Ｄとを有し、前記工程Ｄにおいて、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御することを要旨とする。

【0010】

本発明の第４の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、制御情報を復号する復号部と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部とを具備し、前記動き補償部は、動きベクトルが参照画像を含む参照可能領域外を参照する場合に、テンプレートマッチングが有効であるか否かに応じて、前記動きベクトルのクリップ位置を制御することを要旨とする。

【発明の効果】

【0011】

本発明によれば、参照可能領域の外側を参照する動きベクトルが参照可能領域外にクリップされた後、かかる動きベクトルを原点とするテンプレートマッチングの探索範囲が、参照画像を含む参照可能領域を超えることを回避することができる画像復号装置、画像復号方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。

【図2】図２は、テンプレートマッチング（ＴＭ）について説明するための図である。

【図3】図３は、非特許文献１及び非特許文献２で開示されている動き補償部２０８における動きベクトル導出時の参照可能領域の一例を示す図である。

【図4】図４は、図４に、動き補償パディング領域の具体的な発生例について説明するための図である。

【図5】図５は、非特許文献１で開示されている参照可能領域に対して、動きベクトルが参照画像右側の参照可能領域外を参照する場合のクリップ方法の一例を示す図である。

【図6】図６は、非特許文献１で開示されている参照可能領域に対して、動きベクトルが参照画像左側の参照可能領域外を参照する場合のクリップ方法の一例を示す図である。

【図7】図７は、テンプレートマッチングが有効である場合で且つ動きベクトルが参照可能領域外を参照する場合に、かかる動きベクトルをクリップするケースの一例を示す図である。

【図8】図８は、テンプレートマッチングが有効である場合で且つ動きベクトルが参照可能領域外を参照する場合に、かかる動きベクトルをクリップするケースの一例を示す図である。

【図9】図９は、テンプレートマッチングが有効である場合で且つ動きベクトルが参照可能領域外を参照する場合に、かかる動きベクトルをクリップするケースの一例を示す図である。

【図10】図１０は、テンプレートマッチングが有効である場合で且つ動きベクトルが参照可能領域外を参照する場合に、かかる動きベクトルをクリップするケースの一例を示す図である。

【図11】図１１は、解決方法１について説明するための図である。

【図12】図１２は、解決方法２について説明するための図である。

【図13】図１３は、解決方法２について説明するための図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0014】

＜第１実施形態＞
以下、図１～図１３を参照して、本実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

【0015】

図１に示すように、画像復号装置２００は、符号入力部２１０と、復号部２０１と、逆量子化部２０２と、逆変換部２０３と、イントラ予測部２０４と、加算器２０６と、蓄積部２０７と、動き補償部２０８と、画像出力部２２０とを有する。

【0016】

符号入力部２１０は、画像符号化装置によって符号化された符号情報を取得するように構成されている。

【0017】

復号部２０１は、符号入力部２１０から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部２０１は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。

【0018】

ここで、量子化値は、逆量子化部２０２に送られ、制御情報は、動き補償部２０８及びイントラ予測部２０４に送られる。なお、かかる制御情報は、逆量子化部２０２、動き補償部２０８及びイントラ予測部２０４等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。

【0019】

逆量子化部２０２は、復号部２０１から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部２０３に送られる。

【0020】

逆変換部２０３は、逆量子化部２０２から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器２０６に送られる。

【0021】

イントラ予測部２０４は、復号済み画素と復号部２０１から送られた制御情報とに基づいて第１予測画素を生成するように構成されている。ここで、復号済み画素は、加算器２０６を介して得られて蓄積部２０７に蓄積されるものである。また、第１予測画素は、加算器２０６で予測残差と加算するための予測画素である。なお、第１予測画素は、加算器２０６に送られる。

【0022】

蓄積部２０７は、加算器２０６から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部２０７を介して動き補償部２０８からの参照を受ける。

【0023】

動き補償部２０８は、蓄積部２０７に蓄積された復号済み画素と復号部２０１から送られた制御情報とに基づいて第２予測画素を生成するように構成されている。ここで、第２予測画素は、加算器２０６で予測残差と加算するための予測画素である。第２予測画素は、加算器２０６に送られる。

【0024】

加算器２０６は、逆変換部２０３から送られる予測残差と、入力された第１予測画素及び第２予測画素のいずれかを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部２２０、蓄積部２０７及びイントラ予測部２０４へ送られる。

【0025】

画像出力部２２０は、加算器２０６から送信された復号済み画素を出力するように構成されている。

【0026】

以下、本実施形態に係る画像復号装置２００の特徴的構成である動き補償部２０８について説明する。

【0027】

＜動きベクトルの導出方法及びインター予測画像の生成方法＞
動き補償部２０８は、インター予測画素を生成するために（すなわち、参照画像から動き補償するために）必要な動きベクトル及び参照画像の組み合わせを導出する。

【0028】

ここで、動き補償部２０８によって導出される動きベクトル及び参照画像の組み合わせは、非特許文献１に開示されている最大で２つの異なる動きベクトル及び参照画像の組み合わせで構成されてもよい。

【0029】

或いは、動き補償部２０８によって導出される動きベクトル及び参照画像の組み合わせは、非特許文献２に開示されている複数仮説予測（ＭＨＰ：Ｍｕｌｔｉｐｌｅ Ｈｙｐｏｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）やＯＢＭＣ（Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）のような２つ以上（例えば、３つや４つ）の動きベクトル及び参照画像の組み合わせで構成されてもよい。

【0030】

また、動き補償部２０８は、動きベクトル及び参照画像の導出方法として、非特許文献１で開示されている適応動きベクトル予測（ＡＭＶＰ：Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モード或いはマージモードを用いてもよい。

【0031】

動き補償部２０８は、ＡＭＶＰモードを用いる場合、復号対象ブロックの動きベクトルを導出するために、非特許文献１や非特許文献２で開示されている空間ＡＭＶＰや時間ＡＭＶＰやヒストリーベースドＡＭＶＰ等の方法で、動きベクトル予測（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）の候補を生成し、復号部２０１から送られる制御情報に応じてＭＶＰの候補を選択する。

【0032】

また、動き補償部２０８は、ＡＭＶＰモードを用いる場合、復号部２０１から送られる制御情報に含まれる動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）と選択したＭＶＰの候補とを足し合わせて、最終的な動きベクトル及び参照画像を導出する。

【0033】

動き補償部２０８は、マージモードを用いる場合、復号対象ブロックの動きベクトルを導出するために、非特許文献１や非特許文献２で開示されている空間マージや時間マージや非隣接空間マージやヒストリーベースドマージやペアワイズ平均マージ等からマージ候補（動きベクトル及び参照画像の組み合わせ）を生成し、マージリスト内に登録する。

【0034】

また、動き補償部２０８は、マージモードを用いる場合、復号部２０１から送られる制御情報に含まれるマージインデックスを用いて、マージ候補から最終的な動きベクトル及び参照画像を導出する。

【0035】

さらに、動き補償部２０８は、上述のＡＭＶＰモード又はマージモードにより導出された動きベクトルに対して、非特許文献２で開示されている動きベクトルを修正するテンプレートマッチングを適用してもよい。

【0036】

具体的に、テンプレートマッチングは、図２に示すように、復号対象ブロックの動きベクトル（Ｉｎｉｔｉａｌ ＭＶ）を原点として、所定の探索範囲（Ｓｅａｒｃｈ ｒａｎｇｅ）でテンプレートコストが最小となる参照位置（すなわち、ＭＶＤ）を導出して、復号対象ブロックの動きベクトル（Ｉｎｉｔｉａｌ ＭＶ）に足し合わせ、最終的な動きベクトル（Ｆｉｎａｌ ＭＶ）を生成するという技術である。

【0037】

ここで、テンプレートコストとは、復号対象ブロックと参照ブロックの左部及び/又は上部に隣接する１ライン又は複数ラインの復号済み画素との絶対値差分和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やアダマール変換絶対値誤差和（ＳＡＴＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）である。

【0038】

また、動き補償部２０８は、最終的な動きベクトルの生成のみならず、ＡＭＶＰモードにおけるＭＶＰの候補の選択に対しても、上述したテンプレートコストの比較を適用してもよい。

【0039】

すなわち、動き補償部２０８は、ＡＭＶＰモードにおいて、テンプレートコストが最小となるＭＶＰを選択してもよい。

【0040】

テンプレートマッチングの探索範囲は、図２及び非特許文献２で規定されている動きベクトル（Ｉｎｉｔｉａｌ ＭＶ）を原点として上下左右方向に８画素（±８画素）の範囲で構成されてもよい。

【0041】

或いは、テンプレートマッチングの探索範囲は、上述の範囲よりも小さい範囲（例えば、±２、±４、±６画素）や、上述の範囲よりも大きい範囲（例えば、±１０、±１２、±１４画素）で構成されてもよい。

【0042】

或いは、テンプレートマッチングの探索範囲は、上下左右方向に対して非対称の探索範囲で構成されてもよい。

【0043】

また、テンプレートマッチングにおけるＭＶＤの探索精度は、図２及び非特許文献２で開示されているように、ＡＭＶＰモード及びマージモードに対する動きベクトルの精度を考慮して制御されてもよい。

【0044】

例えば、ＡＭＶＰモードに対して、動きベクトルの精度が非特許文献１で開示されているＡＭＶＲ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）で４画素精度や整数画素精度である場合は、動き補償部２０８は、それぞれの画素精度でのみ探索を実施してもよい。

【0045】

マージモードにおいては、非特許文献１で開示されている動き補償用の代替補間フィルタ（Ｓｗｉｔｃｈａｂｌｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）が有効である場合は、動き補償部２０８は、図２のように、１/２画素精度及び整数画素精度のみで探索してもよい。

【0046】

最後に、動き補償部２０８は、上述のように導出された動きベクトル及び参照画像を用いて、復号対象ブロックのインター予測画素を生成する。

【0047】

＜動きベクトルの参照可能領域＞
以下、動き補償部２０８において導出される動きベクトルの参照可能領域について説明する。

【0048】

図３は、非特許文献１及び非特許文献２で開示されている動き補償部２０８における動きベクトル導出時の参照可能領域の一例を示す図である。

【0049】

画面全体の動きが速い映像シーン（左右方向や上下方向に素早くカメラパンするような映像）では、予測対象の人物、物体、背景等）が参照画像の外側（参照画像外）にある場合、すなわち、動き補償部２０８で導出される動きベクトルが参照画像外を参照する場合がある。

【0050】

このような場合に対応するために、非特許文献１及び非特許文献２では、参照画像の外側に所定画素数分だけ参照可能な領域を規定している。

【0051】

具体的には、非特許文献１では、図３（ａ）に示すように、参照画像外に復号対象ブロック（符号化対象ブロック）の幅又は高さの最大サイズ（すなわち、符号化ツリーブロックの幅又は高さ）（図３の例では、ｍａｘＣＵｗｉｄｔｈ）に１６画素を加えたサイズの反復パディング領域（Ｒｅｐｅｔｉｔｉｖｅ Ｐａｄｄｉｎｇ Ａｒｅａ）が規定されている。かかる反復パディング領域の大きさ（参照画像の境界からの画素数）として、１６画素以外の固定値を設定してもよい。具体的な事例は後述する。

【0052】

かかる反復パディング領域は、参照画像の境界に位置する画素値を参照画像の外側方向に複製（パディング）して生成される。

【0053】

動き補償部２０８は、参照画像又は反復パディング領域を含む参照可能領域の外側を動きベクトルが参照する場合は、かかる反復パディング領域内に動きベクトルの参照位置を平行移動する（クリップ）する。

【0054】

次に、非特許文献２では、図３（ｂ）に示すように、参照画像の境界と反復パディング領域との間に、動き補償パディング領域（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｐａｄｄｉｎｇ Ａｒｅａ）が規定されている。

【0055】

動き補償パディング領域は、動き補償部２０８における動き補償の精度向上のために、反復パディング領域のような参照画像境界に位置する画素値の複製ではなく、参照画像の参照画素値を割り当てる。

【0056】

図４に、動き補償パディング領域の具体的な発生例を示す。

【0057】

例えば、図４に示すように、復号対象画像の境界を挟んで、復号対象画像内にある復号対象ブロック（ＢＢｌｋ）及び復号対象画像外にある隣接ブロック（ＭＣＰ Ｂｌｋ）それぞれの参照ブロックが参照画像内にある場合、隣接ブロックに対する参照ブロックは、参照画像の境界画素値の複製ではなく、参照画像内の画素値を保有する。

【0058】

このような場合において、参照画像境界の画素値の複製ではない参照画素値を動き補償パディング領域として保持することで、動きベクトルが参照画像外で且つ動き補償パディング領域内を参照する場合において、参照画像外に反復パディング領域を規定する場合よりも、動き補償の精度が向上する。

【0059】

動き補償パディング領域の大きさは、非特許文献２に開示されているように、１６画素で構成されていてもよいし、図３に示すように、６４画素で構成されていてもよい。或いは、動き補償パディング領域の大きさは、これ以外の４画素や８画素や３２画素や１２８画素や２５６画素といった復号対象ブロックの最小サイズ、最大サイズ又は取りうるサイズ値（２のべき乗の画素数）で構成されていてもよい。

【0060】

なお、動きベクトルが、参照画像、動き補償パディング領域又は反復パディング領域を含む参照可能領域の外側を参照する場合、動き補償部２０８は、かかる反復パディング領域内に動きベクトルの参照位置を平行移動（クリップ）する。

【0061】

＜動きベクトルが参照可能領域外を参照する際のクリップ方法＞
以下、動き補償部２０８が、動きベクトルが参照可能領域外を参照する際のクリップ方法について説明する。

【0062】

第１に、図５及びと図６を用いて、テンプレートマッチングが無効である場合で且つ動きベクトルが参照可能領域外を参照する場合の動きベクトルのクリップ方法について説明する。

【0063】

図５は、非特許文献１で開示されている参照可能領域（参照画像及び反復パディング領域で構成）に対して、動きベクトルが参照画像右側の参照可能領域外を参照する場合のクリップ方法の事例を示している。

【0064】

非特許文献１では、図５に示すように、動きベクトル（Ｉｎｔｉｔｉａｌ ＭＶ）が参照可能領域外を参照する場合、すなわち、参照ブロック（ＲｅｆＢｌｋ）が参照可能領域外にある場合、動き補償部２０８は、参照ブロックの左上端を示す動きベクトルを、参照画像の境界から８画素離れた位置に平行移動（クリップ）する。

【0065】

かかるクリップ動作は、参照画像の下方向に動きベクトルが参照画像外を参照する場合についても同様である。

【0066】

図６は、非特許文献１で開示されている参照可能領域（参照画像及び反復パディング領域で構成）に対して、動きベクトルが参照画像左側の参照可能領域外を参照する場合のクリップ方法の事例を示している。

【0067】

非特許文献１では、図６に示すように、動きベクトルが参照可能領域外を参照する場合、すなわち、参照ブロック（ＲｅｆＢｌｋ）が参照可能領域外にある場合、動き補償部２０８は、参照ブロックの左上端を示す動きベクトル（Ｉｎｔｉｔｉａｌ ＭＶ）を、参照画像の境界から８画素に復号対象ブロックの最大幅（ｍａｘＣＵｗｉｄｔｈ）或いは最大高さを加えた距離だけ離れた位置に平行移動（クリップ）する。

【0068】

かかるクリップ動作は、参照画像の上方向に動きベクトルが参照画像外を参照する場合についても同様である。

【0069】

非特許文献１では、かかる参照画像の境界或いは参照可能領域の境界から８画素離れた位置に動きベクトルがクリップされるため、図５及び図６で示すように、仮に参照ブロック（ＲｅｆＢｌｋ）の幅或いは高さが、復号対象ブロックの最大幅或いは最大高さであっても、図５及び図６に示すように、参照ブロック（ＲｅｆＢｌｋ）は、参照可能領域内に収容される。

【0070】

さらに、参照可能領域の境界から参照画像方向に対して８画素確保されているため、動きベクトルが小数画素精度位置を参照する場合であっても、動き補償画素を生成する際に適用する動き補償補間フィルタ（非特許文献１では８タップ、非特許文献２では１２タップ）のための、参照ブロックの左右及び上下方向の参照画素（８タップの場合は、ブロックの左側及び上側で３画素が必要で、右側及び下側で４画素が必要であり、１２タップの場合は、ブロックの左側及び上側で５画素が必要であり、右側及び下側で６画素が必要である）が確保されている。

【0071】

なお、動き補償部２０８は、動き補償補間フィルタのタップ数（フィルタ長）に応じて、かかる参照可能領域の反復パディング領域の画素数を変更してもよい。

【0072】

具体的には、動き補償部２０８は、かかる反復パディング領域の大きさとして、上述の１６画素以外に、符号化ブロック（復号対象ブロック）の最小幅又は最小高さの倍数（べき数）で規定してもよい。

【0073】

例えば、動き補償部２０８は、符号化ブロック（復号対象ブロック）の最小幅が４画素である場合、かかる反復パディング領域の大きさとして、８画素、３２画素、６４画素のような固定値で設定してもよい。

【0074】

或いは、反復パディング領域の幅或いは高さの画素数は、復号対象ブロックの最大幅或いは最大高さに対して、それぞれ動き補償補間フィルタのタップ数（フィルタ長）Ｔよりも大きな画素数、すなわち、Ｔ＋αを加えて構成されていてもよい。

【0075】

この動き補償補間フィルタのタップ数（フィルタ長）Ｔよりも大きな画素数Ｔ＋αとしては、例えば、Ｔ＋α＝ｋＴ（e.g., ｋ＝１.１、１.２、１.３、１.４、１.５、２.０）といったＴの１.０倍から２.０倍の固定値で設定してもよい。
なお、動き補償部２０８は、動き補償補間フィルタのタップ数（フィルタ長）に応じて、動きベクトル参照可能領域の外側を参照する場合、かかる参照画像の境界或いは参照可能領域の境界からの動きベクトルのクリップ位置（図５及び図６の事例では、８画素）を動き補償補間フィルタのタップ数が収容できるように、予め設定を変更してもよい。

【0076】

具体的には、反復パディング領域の幅或いは高さの画素数が、上述の図５及び図６に示すように、復号対象ブロックの最大幅或いは最大高さに対して、それぞれ動き補償補間フィルタのタップ数（フィルタ長）よりも大きな画素数を加えて構成される場合、動き補償部２０８は、動きベクトルのクリップ位置を（Ｔ＋α）/２画素だけ、かかる参照画像の境界或いは参照可能領域の境界からそれぞれ離れた位置にクリップしてもよい。

【0077】

第２に、図７～図１０を用いて、テンプレートマッチングが有効である場合で且つ動きベクトルが参照可能領域外を参照する場合の動きベクトルのクリップ方法について説明する。

【0078】

図７～図１０は、テンプレートマッチングが有効である場合で且つ動きベクトルが参照可能領域外を参照する場合に、かかる動きベクトルをクリップする一例を示す図である。

【0079】

図７及び図８は、非特許文献１で開示されている参照可能領域（参照画像及び反復パディング領域で構成）に対して、動きベクトルが参照画像右側の参照可能領域外を参照する場合のクリップ方法の事例を示している。

【0080】

図７及び図８に示すケースでは、共通してテンプレートマッチングが有効であるため、図５に示すケースとは異なり、動きベクトル（Ｉｎｉｔｉａｌ ＭＶ）の参照位置が、参照画像の境界から８画素離れた位置に平行移動（クリップ）されるのではなく、かかる動きベクトルを原点としたテンプレートマッチングの探索範囲の左端位置が同位置に平行移動（クリップ）される。

【0081】

かかるクリップ動作は、参照画像の下方向に動きベクトルが参照画像外を参照する場合についても同様である。

【0082】

ここで、図７に示すケースでは、テンプレートマッチングの探索範囲（８画素×２＋ＲｅｆＢｌｋの幅）が反復パディング領域のクリップ位置から参照可能領域の境界までに収容される画素数であるため、すなわち、テンプレートマッチングの探索範囲が、図７に示すように、参照可能領域の境界外側方向に超えないため、テンプレートマッチングの探索を実行できる。

【0083】

一方、図８に示すケースでは、テンプレートマッチングの探索範囲（８画素×２＋ＲｅｆＢｌｋの幅）が反復パディング領域のクリップ位置から参照可能領域の境界までに収容されない画素数であるため、すなわち、テンプレートマッチングの探索範囲が、図８に示すように、参照可能領域の境界外側方向に超えるため、テンプレートマッチングの探索を実行できない。

【0084】

なお、図８に示すケースでも、動きベクトルの参照位置が、小数画素精度位置になる場合は、動き補償補間フィルタのタップ数次第では、図７のケースと同様に、テンプレートマッチングの探索範囲が参照可能領域の境界外側方向に越える場合がある。

【0085】

かかるテンプレートマッチングが有効時の探索範囲の動作は、参照画像の下方向に動きベクトルが参照画像外を参照する場合についても同様である。

【0086】

図９及び図１０は、非特許文献１で開示されている参照可能領域（参照画像及び反復パディング領域で構成）に対して、動きベクトルが参照画像左側の参照可能領域外を参照する場合のクリップ方法の事例を示している。

【0087】

図９及び図１０に示すケースでは、共通してテンプレートマッチングが有効であるため、図６に示すケースとは異なり、動きベクトルの参照位置が、参照可能領域の境界から８画素離れた位置に平行移動（クリップ）されるのではなく、かかる動きベクトルを原点としたテンプレートマッチングの探索範囲の左端位置が同位置に平行移動（クリップ）される。

【0088】

かかるクリップ動作は、参照画像の上方向に動きベクトルが参照画像外を参照する場合についても同様である。

【0089】

ここで、図９に示すケースでは、テンプレートマッチング探索範囲（８画素×２＋ＲｅｆＢｌｋの幅）が反復パディング領域のクリップ位置から参照画像領域の境界までに収容される画素数であるため、すなわち、テンプレートマッチングの探索範囲が、図９に示すように、参照画像の境界内側方向に超えないため、テンプレートマッチングの探索を実行できる。

【0090】

一方、図１０に示すケースでは、テンプレートマッチング探索範囲（８画素×２＋ＲｅｆＢｌｋの幅）が反復パディング領域のクリップ位置から参照画像領域の境界までに収容されない画素数であるため、すなわち、テンプレートマッチングの探索範囲が、図１０に示すように、参照画像の境界内側方向を越えるため、テンプレートマッチングの探索を実行できるが、テンプレートマッチングの探索範囲内で参照画像の境界内側を超えた領域のみ参照画像境界にある画素値が反復されてない画素値を持つことになる。

【0091】

すなわち、テンプレートマッチングの探索範囲にある画素値において、上述の参照画像の境界内側方向には、左右方向における画素値の不均一性が生じるため、左右方向の動きベクトル差分（ＭＶＤ）が生成され、テンプレートマッチングにより左右方向に動きベクトルが修正される（本ケースにおいて、参照画像の境界内側方向を越えない場合は、上下方向のみＭＶＤのみが発生する）。

【0092】

かかるテンプレートマッチングが有効時の探索範囲の動作は、参照画像の上方向に動きベクトルが参照画像外を参照する場合についても同様である。

【0093】

図６～図１０では、図３で説明した非特許文献２に示す動き補償パディング領域が存在しないケースに基づいて、テンプレートマッチングが有効な場合で且つ動きベクトルが参照可能領域外を参照する場合に生じるケースの課題を説明した。

【0094】

一方、非特許文献２の動き補償パディング領域があるケースにおいても同じ課題は生じる。何故なら、非特許文献２において、動きベクトルが参照可能領域外を参照する場合に動きベクトルがクリップされる位置は、動き補償パディング領域が存在する前提で設定されているためである。

【0095】

具体的に、図５に対しては、動きベクトルは、参照画像の境界ではなく、動き補償パディング領域の境界から８画素だけ参照可能領域の境界方向に離れた位置にクリップされる。なお、かかるクリップ動作は、参照画像の上方向に動きベクトルが参照画像外を参照する場合についても同様である。
また、図６に対しては、動きベクトルは、参照画像の境界ではなく、動き補償パディング領域の境界から８画素＋復号対象ブロックの最大幅だけ参照可能領域の境界方向に離れた位置（すなわち、参照可能領域の境界から参照画像方向に８画素離れた位置）にクリップされる。なお、かかるクリップ動作は、参照画像の上方向に動きベクトルが参照画像外を参照する場合についても同様である。

【0096】

かかる課題を解消するために、動き補償部２０８は、以下の解決方法１～３の少なくもいずれか一つを選択する。

【0097】

＜解決方法１：テンプレートマッチングの探索範囲の制御/制限＞
動き補償部２０８は、動きベクトルが参照可能領域外を参照する場合、テンプレートマッチングが有効であるか否かに応じて、テンプレートマッチングの探索範囲を制御する。

【0098】

或いは、動き補償部２０８は、動きベクトルが参照可能領域外を参照する場合、テンプレートマッチングが有効であるか否か及び参照ブロックの幅、高さ又はサイズに応じて、テンプレートマッチングの探索範囲を制御してもよい。

【0099】

具体的に、動き補償部２０８は、参照ブロックの幅、高さ又はサイズ及びテンプレートマッチングの探索範囲と所定画素数との比較により、テンプレートマッチングの探索範囲を制御してもよい。

【0100】

ここで、所定画素数とは、例えば、符号化対象ブロック（復号対象ブロック）の最大幅、最大高さ又は最大サイズとしてもよいし、予め規定した画素数Ｔ＋α（上述の図５から図１０で示した事例では８画素）としてもよい。

【0101】

具体的には、動き補償部２０８は、以下の式が満たされる場合は、テンプレートマッチングの探索範囲を維持し、以下の式が満たされない場合は、テンプレートマッチングの探索範囲を制限する。

【0102】

ＣｕＷｉｄｔｈ＋ＴｍＰｍＷｉｄｔｈ＜ｍａｘＣＵｗｉｄｔｈ＋（Ｔ＋α）/２
ここで、ＣｕＷｉｄｔｈは、復号対象ブロック（参照ブロック）の幅であり、ＴｍＰｍＷｉｄｔｈは、テンプレートマッチングの探索幅（非特許文献２では±８画素＝１６画素）であり、ｍａｘＣＵｗｉｄｔｈは、復号対象ブロック（参照ブロック）の最大幅である。また、Ｔ＋αは、上述した通り、補間フィルタのタップ数（フィルタ長）に所定画素数αを加えた値である。

【0103】

動き補償部２０８は、テンプレートマッチングの探索範囲の削減方法を用いる場合、図１１に示すように、動きベクトルが参照可能領域外を参照する方向の探索を全て禁止する（図１１の例では、左右方向の探索幅を制限する）。

【0104】

すなわち、テンプレートマッチングの探索範囲は、上下方向のみになるため、テンプレートマッチングで生成されるＭＶＤは、図１１に示すように、上下方向のみの成分を持つ。

【0105】

図１１では、動きベクトルが参照可能領域外の右側を参照する場合の一例を示したが、動きベクトルが参照可能領域外の左側を参照する場合であっても、同じ方法で、テンプレートマッチングの探索範囲を制限することで、動きベクトルを原点として参照画像境界を越えてテンプレートマッチングされるようなケースを回避できる。

【0106】

同様に、動き補償部２０８は、動きベクトルが参照可能領域外の上側、下側を参照する場合であっても、同じ方法を適用することで対処できる。

【0107】

或いは、動き補償部２０８は、上述のような参照可能領域外への参照方向のみを対象としたテンプレートマッチングの探索範囲の一括制限（禁止）ではなく、テンプレートマッチングの探索範囲の画素数を削減してもよい。

【0108】

さらに、動き補償部２０８は、復号対象ブロック（参照ブロック）の幅、高さ又はサイズ（画素数）に応じて、テンプレートマッチングの画素数の削減数を、制御してもよい。

【0109】

＜解決方法２：動きベクトルのクリップ位置の修正＞
動き補償部２０８は、動きベクトルが参照可能領域外を参照する場合、テンプレートマッチングが有効であるか否かに応じて、動きベクトルのクリップ位置を制御する。

【0110】

具体的には、動き補償部２０８は、テンプレートマッチングが有効ではない場合は、上述の図５及び図６で説明した位置に、動きベクトルの参照位置を平行移動（クリップ）する。

【0111】

一方、動き補償部２０８は、テンプレートマッチングが有効である場合は、図１２及び図１３に示す位置（すなわち、図２では参照画像の境界、図１３では参照可能領域の境界）に、それぞれ動きベクトルの参照位置を平行移動（クリップ）する。

【0112】

ここで、それぞれのクリップ位置が小数画素精度である場合は、動き補償部２０８は、クリップ位置を整数画素精度の位置に（常に）丸めてもよい。これにより、動き補償補間フィルタが不要になり、図１２及び図１３に示すように、反復パディング領域内にテンプレートの探索範囲が収容される。

【0113】

なお、図１２及び図１３の例では、テンプレートマッチングの探索範囲を１６画素（±８画素）、反復パディング領域の符号化対象ブロック（復号対象ブロック）の最大幅を除いた領域の画素数を１６画素（反復パディングリザーブ領域）としているが、テンプレートマッチングの探索範囲が１６画素以上になる場合は、反復パディングリザーブ領域をテンプレートマッチングの探索範囲にあわせて１６画素以上に設定することで、同様に対処できる。

【0114】

変更例として、動き補償部２０８は、テンプレートマッチングが有効であるか否かに関わらず、上述した位置、に動きベクトルをクリップしてもよい。

【0115】

＜解決方法３：反復パディング領域の拡張＞
動き補償部２０８は、テンプレートマッチングが有効である場合、反復パディング領域を拡張する。

【0116】

具体的には、動き補償部２０８は、テンプレートマッチングの探索範囲に応じて、反復パディング領域をテンプレートマッチングの探索範囲の画素数分だけ、テンプレートマッチングが無効時の規定領域に対して拡張する。

【0117】

本実施形態に係る画像復号装置２００によれば、動きベクトルが参照画像を含む参照可能領域外を超えてテンプレートマッチングすることを回避することができる。

【0118】

動き補償部２０８は、テンプレートマッチングが有効であるか否かを、復号部２０１で復号或いは推定される制御情報に基づいて判定してもよい。

【0119】

具体的には、制御情報には、テンプレートマッチングが有効であるか否かを特定するための符号化対象ブロック（復号対象ブロック）単位のフラグが含まれてもよく、動き補償部２０８は、このフラグの値に基づいて判定できる。

【0120】

例えば、動き補償部２０８は、かかるフラグの値が１の場合は、テンプレートマッチングが有効であり、かかるフラグが０の場合は、テンプレートマッチングが無効であると判定してもよい。

【0121】

また、制御情報には、この符号化対象ブロック（復号対象ブロック）単位より前に、シーケンス単位又はピクチャ単位又はスライス単位で、テンプレートマッチングが有効であるか否かを特定するためのフラグが含まれてもよく、復号部２０１は、１つ前の階層のフラグ（ブロックに対してはスライス、スライスに対してはピクチャ）の復号結果に基づいて復号するか否かを制御してもよい。

【0122】

上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【産業上の利用可能性】

【0123】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0124】

２００…画像復号装置
２０１…復号部
２０２…逆量子化部
２０３…逆変換部
２０４…イントラ予測部
２０６…加算器
２０７…蓄積部
２０８…動き補償部
２１０…符号入力部
２２０…画像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】