特開 2022-174910 画像符号化装置、画像復号装置、画像処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022174910

(43)【公開日】2022-11-25

(54)【発明の名称】画像符号化装置、画像復号装置、画像処理システム及びプログラム

(51)【国際特許分類】

   H04N 19/33 20140101AFI20221117BHJP

   H04N 19/46 20140101ALI20221117BHJP

   H04N 19/85 20140101ALI20221117BHJP

【ＦＩ】

H04N19/33

H04N19/46

H04N19/85

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021080951

(22)【出願日】2021-05-12

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110001564

【氏名又は名称】フェリシテ弁理士法人

(72)【発明者】

【氏名】海野 恭平

(72)【発明者】

【氏名】河村 圭

(72)【発明者】

【氏名】木谷 佳隆

(72)【発明者】

【氏名】辻 智弘

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA05

5C159MA04

5C159MA05

5C159MA17

5C159MA32

5C159PP19

5C159RC11

5C159TA06

5C159TB04

5C159TC10

5C159TC47

5C159TD11

5C159UA02

5C159UA05

(57)【要約】

【課題】疑似的に空間スケーラビリティを実現すること。
【解決手段】本発明に係る画像符号化装置１０は、画像符号化部１００を備え、画像符号化部１００は、高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、低解像度画像のみを参照してインター予測を行うように構成されており、高解像度画像については同一時刻の低解像度画像を参照し、かつ、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されている。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像符号化装置であって、
画像符号化部を備え、
前記画像符号化部は、
高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、
前記低解像度画像のみを参照してインター予測を行うように構成されており、
前記高解像度画像については同一時刻の前記低解像度画像を参照し、かつ、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを特徴とする画像符号化装置。

【請求項2】

前記画像符号化部は、前記高解像度画像のＴｅｍｐｏｒａｌＩＤが、前記低解像度画像のＴｅｍｐｏｒａｌＩｄより大きな値になるように設定し符号化を行うように構成されていることを特徴とする請求項１に記載の画像符号化装置。

【請求項3】

画像復号装置であって、
画像復号部を備え、
前記画像復号部は、
同一時刻の高解像度画像及び低解像度画像を異なるフレームとして復号し、
復号対象フレームの解像度と参照フレームの解像度とが異なる場合、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを特徴とする画像復号装置。

【請求項4】

前記ＴｅｍｐｏｒａｌＩＤに基づいて前記低解像度画像のみを復号するか、或いは、前記低解像度画像及び前記高解像度画像の両方を復号するかを制御するように構成されている制御部を備えることを特徴とする請求項３に記載の画像復号装置。

【請求項5】

前記低解像度画像及び前記高解像度画像の両方が復号された場合、前記低解像度画像を破棄して、前記高解像度画像のみを出力するように構成されている後処理部を備えることを特徴とする請求項４に記載の画像復号装置。

【請求項6】

画像符号化装置及び画像復号装置を備える画像処理システムであって、
前記画像符号化装置は、
画像符号化部を備え、
前記画像符号化部は、
高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、
前記低解像度画像のみを参照してインター予測を行うように構成されており、
前記高解像度画像については同一時刻の前記低解像度画像を参照し、かつ、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されており、
前記画像復号装置は、
画像復号部を備え、
前記画像復号部は、
同一時刻の高解像度画像及び低解像度画像を異なるフレームとして復号し、
復号対象フレームの解像度と参照フレームの解像度とが異なる場合、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを特徴とする画像処理システム。

【請求項7】

コンピュータを、画像符号化装置として機能させるプログラムであって、
前記画像符号化装置は、
画像符号化部を備え、
前記画像符号化部は、
高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、
前記低解像度画像のみを参照してインター予測を行うように構成されており、
前記高解像度画像については同一時刻の前記低解像度画像を参照し、かつ、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを特徴とするプログラム。

【請求項8】

コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
画像復号部を備え、
前記画像復号部は、
同一時刻の高解像度画像及び低解像度画像を異なるフレームとして復号し、
復号対象フレームの解像度と参照フレームの解像度とが異なる場合、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化装置、画像復号装置、画像処理システム及びプログラムに関する。

【背景技術】

【0002】

非特許文献１に、画像を復号する技術が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】ＩＴＵ-Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ.２６６ Ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ

【非特許文献2】ＩＴＵ-Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ.２７４ Ｖｅｒｓａｔｉｌｅ ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｍｅｓｓａｇａｅｓ ｆｏｒ ｃｏｄｅｄ ｖｉｄｅｏ ｂｉｔｓｔｒｅａｍｓ

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１に開示されている技術では、Ｍａｉｎ Ｐｒｏｆｉｌｅにおいて空間スケーラビリティ符号化を行うことができないという問題点があった。

【0005】

そこで、本発明は、上述の課題に鑑みてなされたものであり、Ｍａｉｎ Ｐｒｏｆｉｌｅで使用可能なツールであるＲＰＲを用いて、疑似的に空間スケーラビリティを実現することができる画像符号化装置、画像復号装置、画像処理システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の特徴は、画像符号化装置であって、画像符号化部を備え、前記画像符号化部は、高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、前記低解像度画像のみを参照してインター予測を行うように構成されており、前記高解像度画像については同一時刻の前記低解像度画像を参照し、かつ、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを要旨とする。

【0007】

本発明の第２の特徴は、画像復号装置であって、画像復号部を備え、前記画像復号部は、同一時刻の高解像度画像及び低解像度画像を異なるフレームとして復号し、復号対象フレームの解像度と参照フレームの解像度とが異なる場合、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを要旨とする。

【0008】

本発明の第３の特徴は、画像符号化装置及び画像復号装置を備える画像処理システムであって、前記画像符号化装置は、画像符号化部を備え、前記画像符号化部は、高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、前記低解像度画像のみを参照してインター予測を行うように構成されており、前記高解像度画像については同一時刻の前記低解像度画像を参照し、かつ、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されており、前記画像復号装置は、画像復号部を備え、前記画像復号部は、同一時刻の高解像度画像及び低解像度画像を異なるフレームとして復号し、復号対象フレームの解像度と参照フレームの解像度とが異なる場合、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを要旨とする。

【0009】

本発明の第４の特徴は、コンピュータを、画像符号化装置として機能させるプログラムであって、前記画像符号化装置は、画像符号化部を備え、前記画像符号化部は、高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、前記低解像度画像のみを参照してインター予測を行うように構成されており、前記高解像度画像については同一時刻の前記低解像度画像を参照し、かつ、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを要旨とする。

【0010】

本発明の第５の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、画像復号部を備え、前記画像復号部は、同一時刻の高解像度画像及び低解像度画像を異なるフレームとして復号し、復号対象フレームの解像度と参照フレームの解像度とが異なる場合、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）処理を用いてインター予測を行うように構成されていることを要旨とする。

【発明の効果】

【0011】

本発明によれば、Ｍａｉｎ Ｐｒｏｆｉｌｅで使用可能なツールであるＲＰＲを用いて、疑似的に空間スケーラビリティを実現することができる画像符号化装置、画像復号装置、画像処理システム及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、一実施形態に係る画像処理システム１の構成の一例を示す図である。

【図2】一実施形態に係る画像符号化装置１０の機能ブロックの一例を示す図である。

【図3】図３は、一実施形態に係る画像符号化装置１０の画像符号化部１００の機能ブロックの一例を示す図である。

【図4】図４は、一実施形態に係る画像符号化装置１０の処理の一例を示すフローチャートである。

【図5】図５は、図４に示すステップＳ４０１～Ｓ４０５までの処理によって、フレームごとに適応的にダウンサンプリングが行われた場合の画像符号化部１００へ入力される前処理後の画像の一例を示す図である。

【図6】図６は、一実施形態に係る画像符号化装置１０の画像符号化部１００のインター予測部１１１の機能ブロックの一例を示す図である。

【図7】図７は、一実施形態に係る画像復号装置２０の機能ブロックの一例について示す図である。

【図8】図８は、一実施形態に係る画像復号部２００の機能ブロックの一例について示す図である。

【図9】図９は、一実施形態に係るインター予測部２４１の機能ブロックの一例を示す図である。

【図10】図１０は、変更例２について説明するための図である。

【図11】図１１は、変更例２について説明するための図である。

【図12】図１２は、変更例３について説明するための図である。

【図13】図１３は、変更例３について説明するための図である。

【図14】図１４は、変更例３について説明するための図である。

【図15】図１５は、変更例３について説明するための図である。

【図16】図１６は、変更例４について説明するための図である。

【図17】図１７は、変更例４について説明するための図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

【0014】

（第１実施形態）
以下、図１～図１２を参照して、本発明の第１実施形態に係る画像処理システム１について説明する。図１は、本実施形態に係る第１実施形態に係る画像処理システム１を示す図である。

【0015】

図１に示すように、画像処理システム１は、画像符号化装置１０及び画像復号装置２０を有する。

【0016】

画像符号化装置１０は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置２０は、符号化データを復号することによって出力画像信号を生成するように構成されている。

【0017】

ここで、かかる符号化データは、画像符号化装置１０から画像復号装置２０に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置１０から画像復号装置２０に提供されてもよい。

【0018】

（画像符号化装置１０）
以下、図２を参照して、本実施形態に係る画像符号化装置１０について説明する。図２は、本実施形態に係る画像符号化装置１０の機能ブロックの一例について示す図である。

【0019】

図２に示すように、画像符号化装置１０は、前処理部３００と、解析部４００と、制御部５００と、ＵＩ部６００と、画像符号化部１００とを有する。

【0020】

前処理部３００は、入力画像信号及び制御部５００から出力される制御情報を入力とし、前処理を行って前処理後画像信号及び制御データを出力するように構成されている。

【0021】

解析部４００は、入力画像信号を入力とし、解析情報を制御部５００に出力するように構成されている。

【0022】

制御部５００は、解析部４００から出力される解析情報及びＵＩ部６００から出力される設定情報を入力とし、制御情報を前処理部３００及び画像符号化部１００へ出力するように構成されている。

【0023】

ＵＩ部６００は、ＧＵＩやＣＵＩによってユーザから指定された設定情報を制御部５００へ出力するように構成されている。

【0024】

画像符号化部１００は、前処理部３００から出力される前処理後画像信号及び制御データと、制御部５００から出力される制御情報とを入力とし、ビットストリームを出力するように構成されている。

【0025】

（画像符号化部１００）
以下、図３を参照して、本実施形態に係る画像符号化装置１０の画像符号化部１００について説明する。図３は、本実施形態に係る画像符号化部１００の機能ブロックの一例について示す図である。

【0026】

図３に示すように、画像符号化部１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

【0027】

インター予測部１１１は、後述するインター予測部２４１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

【0028】

具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定するように構成されている。

【0029】

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

【0030】

イントラ予測部１１２は、後述するイントラ予測部２４２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

【0031】

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

【0032】

ここで、参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

【0033】

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

【0034】

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

【0035】

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

【0036】

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

【0037】

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

【0038】

逆変換・逆量子化部１３２は、逆変換・逆量子化部２２０と同様に、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

【0039】

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

【0040】

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

【0041】

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

【0042】

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

【0043】

なお、制御データは、前処理部３００から入力される制御データに加えて、符号化ブロックサイズや予測ブロックサイズや変換ブロックサイズ等のサイズデータを含んでもよい。

【0044】

インループフィルタ処理部１５０は、インループフィルタ処理部２５０と同様に、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

【0045】

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

【0046】

以下、図４を参照して、本実施形態に係る画像符号化装置１０の処理の一例を説明する。図４は、画像符号化装置１０の処理の一例を示すフローチャートである。

【0047】

図４に示すように、ステップＳ４０１において、解析部４００は、入力画像信号を解析し、入力画像信号の符号化難易度を推定し、解析情報として出力する。

【0048】

例えば、解析部４００は、符号化難易度について、入力画像信号の画素値（輝度信号値或いは色差信号値）の分散値から算出してもよい。例えば、解析部４００は、かかる分散値が予め定めた閾値より大きい場合は、符号化難易度が高いと推定し、かかる分散値がかかる閾値以下の場合は、符号化難易度が低いと推定してもよい。

【0049】

例えば、解析部４００は、符号化難易度について、参照フレームとの画素値の差分値から算出してもよい。具体的には、解析部４００は、差分値の絶対値和、差分値の二乗和或いはそれぞれの値を画素数で除した画素あたりの差分値を用いて、かかる符号化難易度を推定してもよい。例えば、解析部４００は、かかる差分値が予め定めた閾値より大きい場合は、符号化難易度が高いと推定し、かかる差分値がかかる閾値以下の場合は、符号化難易度が低いと推定してもよい。

【0050】

例えば、解析部４００は、入力画像信号を入力として符号化難易度の推定値を出力するように構成及び学習されたＣＮＮ（畳み込みニューラルネットワーク）等の機械学習ベースの手法を用いて、符号化難易度を推定してもよい。

【0051】

ここで、解析部４００は、入力画像信号を入力として符号化難易度を出力する構成となっていれば、上述以外の方法を用いてもよい。

【0052】

また、以上では、符号化難易度が「高い」及び「低い」の２段階の場合を例に説明したが、符号化難易度が３段階以上に分類されていてもよい。

【0053】

また、以上では、解析部４００が符号化難易度を出力する場合を例に説明したが、解析部４００は符号化難易度を判定するための情報（例えば、上述の分散値等）を出力し、符号化難易度自体は、制御部５００内で判定されてもよい。

【0054】

さらに、後述のように、ＵＩ部６００からのユーザ設定によって全ての入力画像信号についてダウンサンプリング処理が実行される場合は、本ステップＳ４０１については省略されてもよい。

【0055】

以上の処理を行った後、本手順は、ステップＳ４０２へ進む。

【0056】

ステップＳ４０２において、制御部５００は、ダウンサンプリング処理の実行の要否を決定する。
例えば、制御部５００は、解析部４００から出力される解析情報を基にダウンサンプリング処理の実行の要否を決定してもよい。例えば、制御部５００は、符号化難易度が高いと判定された場合、ダウンサンプリング処理の実行が必要であると判定してもよい。

【0057】

また、上述のように、制御部５００は、内部で符号化難易度を判定した後、ダウンサンプリング処理の実行の要否を決定してもよい。

【0058】

上述のように、符号化難易度が３段階以上で定義されている場合、制御部５００は、符号化難易度が最も低い場合に、ダウンサンプリング処理の実行が不要であると判定し、それ以外の場合には、ダウンサンプリング処理の実行が必要であると判定した上で、符号化難易度が高くなるにつれてダウンサンプリング処理後の解像度が小さくなるようにダウンサンプリング処理の実行方法を決定してもよい。なお、本明細書では、解像度とは、画像の１フレーム又は１フィールド全体のサイズ（水平方向の画素数と垂直方向の画素数とを乗じた値）のことを指すこととする。

【0059】

また、例えば、制御部５００は、入力画像（入力画像信号に含まれる画像）の解像度に基づいて、ダウンサンプリング処理の実行の要否を決定してもよい。

【0060】

例えば、制御部５００は、入力画像の解像度が所定解像度より大きかった場合は、ダウンサンプリング処理の実行が必要であると判定し、入力画像の解像度が所定解像度以下の場合は、ダウンサンプリング処理の実行は不要であると判定してもよい。

【0061】

例えば、制御部５００は、入力画像信号の解像度が８Ｋ解像度である場合は、ダウンサンプリング処理の実行が必要であると判定し、入力画像信号の解像度が８Ｋ解像度未満である場合は、ダウンサンプリング処理の実行が不要であると判定してもよい。

【0062】

また、制御部５００は、ダウンサンプリング処理後の画像の解像度を予め定義しておき、かかる画像の解像度より入力画像の解像度が大きい場合は、ダウンサンプリング処理の実行が必要であると判定し、ダウンサンプリング処理後の画像の解像度になるようにダウンサンプリング処理を実行するように決定してもよい。

【0063】

また、例えば、制御部５００は、ＵＩ部６００から入力される制御情報に基づいて、ダウンサンプリング処理の実行の要否を決定してもよい。例えば、制御部５００は、制御情報によってダウンサンプリング処理を必ず実行するように設定された場合、必ずダウンサンプリング処理の実行が必要であると決定するようにしてもよい。

【0064】

また、制御部５００は、以上で説明した判定方法を組み合わせて、ダウンサンプリング処理の実行の要否を判定してもよい。

【0065】

例えば、制御部５００は、ＵＩ部６００からダウンサンプリング処理のＯｎ/Ｏｆｆを制御する情報を取得し、ダウンサンプリング処理がＯｎかつ入力画像の解像度が所定解像度より大きい場合に、符号化難易度に基づいてダウンサンプリング処理の実行の要否を決定し、それ以外の場合は、ダウンサンプリングの実行が不要であると決定してもよい。

【0066】

以上の処理中で用いられる符号化難易度の段階数や所定解像度等は、ＵＩ部６００によりユーザから指定できるようになっていてもよい。

【0067】

以上の処理を行った後、本手順は、ステップＳ４０３へ進む。

【0068】

ステップＳ４０３において、ステップＳ４０２の結果を基に本手順が分岐される。ステップＳ４０２においてダウンサンプリング処理の実行が必要であると判定された場合には、本手順は、ステップＳ４０４へ進み、ステップＳ４０２においてダウンサンプリング処理の実行が不要であると判定された場合には、本手順は、ステップＳ４０６へ進む。

【0069】

ステップＳ４０４において、前処理部３００が、入力画像信号に対してダウンサンプリング処理を実行する。なお、ステップＳ４０４を経由しない場合（ダウンサンプリング処理の実行が不要であると判定された場合）は、前処理部３００は、入力画像信号をそのまま符号化部１００へ出力してもよい。

【0070】

前処理部３００は、ダウンサンプリング処理について、１次元又は２次元のダウンサンプリングフィルタを用いて実行してもよい。

【0071】

また、前処理部３００は、ダウンサンプリング処理とアップサンプリング処理とをペアとして学習したＣＮＮ等の機械学習ベースの手法を用いて、ダウンサンプリング処理を実行してもよい。

【0072】

かかるダウンサンプリング処理の実行が完了した後、本手順は、ステップＳ４０５へ進む。

【0073】

ステップＳ４０５において、前処理部３００が、入力画像及びダウンサンプリング後の画像に基づいて、画像復号装置２０側で実施するアップサンプリング処理の種類やアップサンプリング処理に用いるパラメータを決定し、制御データとして出力する。

【0074】

前処理部３００は、アップサンプリング処理の種類としては、１次元の畳み込みフィルタ、２次元の畳み込みフィルタ、ＣＮＮ等の機械学習ベースの手法、後述するＲＰＲと同一のアップサンプリング処理等のバリエーションを予め用意しておき、その中のいずれを用いるかを示すｉｎｄｅｘ値を制御データとして出力してもよい。

【0075】

また、前処理部３００は、同種のフィルタ（例えば、１次元の畳み込みフィルタ）においても、フィルタ係数のバリエーション等で複数の候補を備えていてもよい。

【0076】

さらに、前処理部３００は、フィルタ係数やＣＮＮ等の機械学習ベース手法のネットワークのパラメータ（重み等）を決定し、制御データとして出力してもよい。

【0077】

前処理部３００は、アップサンプリング処理の種類やパラメータの決定方法として、例えば、入力画像とアップサンプル処理後の画像との誤差（絶対値誤差和や二乗誤差和等）が最小となる方法を選択してもよい。これらの制御データは、画像符号化部１００においてユーザ定義のＳＥＩ ｍｅｓｓａｇｅとして符号化されてもよい。

【0078】

また、前処理部３００は、アップサンプリング処理については特に規定せず、制御データとして出力しないように構成されていてもよい。

【0079】

前処理部３００は、アップサンプリング処理に関する制御データの出力有無について、例えば、ＵＩ部６００から入力される制御情報に基づいて切り替えてもよい。

【0080】

上述の処理を行った後、本手順は、ステップＳ４０６へ進む。

【0081】

ステップＳ４０６において、画像符号化部１００が、符号化処理を行ってビットストリームを出力する。ここで、図５及び図６を用いて、画像符号化部１００における符号化処理の一例を説明する。

【0082】

図５は、ステップＳ４０１～Ｓ４０５までの処理によって、フレームごとに適応的にダウンサンプリングが行われた場合の画像符号化部１００へ入力される前処理後画像の一例を示す。

【0083】

図５におけるＦｒ０、Ｆｒ２、Ｆｒ５は、ダウンサンプリング処理が実行されなかったフレームを示し、Ｆｒ１、Ｆｒ３、Ｆｒ４は、ダウンサンプリング処理が実行されたフレームを示している。

【0084】

このように、フレームごとに画像の解像度が違う場合には、インター予測部１１１は、非特許文献１に記載のＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）という技術を用いる。図６を用いて、ＲＰＲを用いる場合のインター予測部１１１の処理について説明する。

【0085】

図６は、本実施形態に係る画像符号化装置１０の画像符号化部１００のインター予測部１１１の機能ブロックの一例を示す図である。

【0086】

図６に示すように、インター予測部１１１は、解像度変換部１１１１と、パラメータ決定部１１１２と、予測画像生成部１１１３とを備えている。

【0087】

解像度変換部１１１１は、符号化対象フレームの解像度とインター予測に用いられる参照フレームの解像度とが異なる場合、参照フレームの解像度を符号化対象フレームの解像度と同一になるように変換するように構成されている。

【0088】

参照フレームの解像度が符号化対象フレームの解像度より大きい場合は、ダウンサンプリング処理が実行され、参照フレームの解像度が符号化対象フレームの解像度より小さい場合は、アップサンプリング処理が行われる。具体的な処理内容は、非特許文献１に定義されているため、詳細の説明については割愛する。

【0089】

パラメータ決定部１１１２は、インター予測に関するパラメータを決定するように構成されている。かかるパラメータは、例えば、動きベクトルや、どの参照フレームを使用するかを示すｉｎｄｅｘ値等である。

【0090】

予測画像生成部１１１３は、パラメータ決定部１１１２によって決定されたパラメータを用いて、予測画像を生成するように構成されている。

【0091】

（画像復号装置２０）
以下、図７を参照して、本実施形態に係る画像復号装置２０について説明する。図７は、本実施形態に係る画像復号装置２０の機能ブロックの一例について示す図である。

【0092】

図７に示すように、画像復号装置２０は、抽出部７００と、画像復号部２００と、後処理部８００と、制御部９００と、ＵＩ部１０００とを備えている。

【0093】

抽出部７００は、ビットストリーム及び制御部９００から出力される制御情報を入力とし、かかる制御情報に基づいてビットストリーム中から画像復号部２００に入力すべきデータを抽出し、抽出したデータについて抽出後ビットストリームとして出力するように構成されている。

【0094】

画像復号部２００は、上述の抽出後ビットストリームを入力として復号処理を行い、復号画像信号及び制御データを出力するように構成されている。

【0095】

後処理部８００は、復号画像信号、制御データ及び制御部９００から出力される制御情報を入力として、後処理後復号信号を出力するように構成されている。

【0096】

制御部９００は、画像復号部２００から出力される復号画像信号及び制御データとＵＩ部１０００から出力される設定情報とを入力とし、制御情報を出力するように構成されている。

【0097】

（画像復号部２００）
以下、図８を参照して、本実施形態に係る画像復号装置２０の画像復号部２００について説明する。図８は、本実施形態に係る画像復号部２００の機能ブロックの一例について示す図である。

【0098】

図８に示すように、画像復号部２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを備えている。

【0099】

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

【0100】

ここで、例えば、復号は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化されたデータの復号である。

【0101】

復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。

【0102】

ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズや、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズや、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。

【0103】

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

【0104】

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

【0105】

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

【0106】

インター予測部２４１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

【0107】

具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

【0108】

イントラ予測部２４２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

【0109】

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。

【0110】

インループフィルタ処理部２５０は、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

【0111】

ここで、インループフィルタ処理は、複数のフィルタ処理から構成されていてもよい。例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。

【0112】

フレームバッファ２６０は、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

【0113】

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

【0114】

（インター予測部２４１）
図９を用いて、本実施形態に係る画像復号装置２０の画像復号部２００のインター予測部２４１の処理の一例を説明する。図９は、本実施形態に係るインター予測部２４１の機能ブロックの一例を示す図である。

【0115】

図９に示すように、インター予測部２４１は、パラメータ復号部２４１１と、解像度変換部２４１２と、予測画像生成部２４１３とを備えている。

【0116】

パラメータ復号部２４１１は、ビットストリームからインター予測に関するパラメータを復号するように構成されている。ここで、パラメータとは、例えば、動きベクトルや、どの参照フレームを使用するかをしめるｉｎｄｅｘ値等である。

【0117】

解像度変換部２４１２は、上述のパラメータに基づいて参照フレームを特定し、参照フレームの解像度と復号対象フレームの解像度とが異なる場合には、参照フレームの解像度を変換するように構成されている。解像度変換部２４１２は、かかる解像度の変換方法について、解像度変換部１１１１と同様に、非特許文献１で規定された方法を用いることができる。

【0118】

予測画像生成部２４１３は、予測画像生成部１１１３と同様に、予測画像を生成するように構成されている。

【0119】

（後処理部８００）
本実施形態において、後処理部８００は、必要に応じてアップサンプリング処理を行い、後処理後復号画像を生成して出力するように構成されている。

【0120】

ここで、後処理部８００は、例えば、画像復号部２００から出力された復号画像の解像度が復号対象シーケンスの画像の解像度よりも小さい場合、アップサンプリング処理の実行が必要であると判断して、アップサンプリング処理を実行してもよい。

【0121】

なお、かかる復号対象シーケンスの画像の解像度は、画像復号部２００によって復号された制御データに含まれていてもよい。また、復号対象シーケンスの画像の解像度は、ＵＩ部１０００から制御部９００を経由して制御情報として入力されてもよい。

【0122】

後処理部８００は、アップサンプリング処理の実行が必要であると判定された場合、アップサンプリング処理を実行する。ここで、後処理部８００は、アップサンプリング処理の実行方法については、複数のアップサンプリング処理の実行方法の中から選択してもよい。

【0123】

後処理部８００は、かかるアップサンプリング処理の種類としては、１次元の畳み込みフィルタ、２次元の畳み込みフィルタ、ＣＮＮ等の機械学習ベースの手法、上述のＲＰＲと同一のアップサンプリング処理等のバリエーションを予め用意しておいてもよい。

【0124】

また、後処理部８００は、同種のフィルタ（例えば、１次元の畳み込みフィルタ）においても、フィルタ係数のバリエーション等で複数の候補を備えていてもよい。

【0125】

また、前処理部３００が、フィルタ係数やＣＮＮ等の機械学習ベース手法のネットワークのパラメータ（重み等）について決定し、後処理部８００は、ビットストリームを介して制御データとして入力された値（前処理部３００によって決定されたパラメータ）に基づいて、アップサンプリング処理を実行してもよい。

【0126】

前処理部３００が、複数のアップサンプリング処理のうち、どのアップサンプリング処理を用いるかについて決定し、後処理部８００は、ビットストリームを介して制御データとして入力された値（前処理部３００によって決定されたアップリング処理を示す値）に基づいて、用いるアップサンプリング処理について決定してもよい。

【0127】

ＵＩ部１０００が、ユーザの設定に基づいた設定情報を出力し、後処理部８００は、かかる設定情報に基づいて、複数のアップサンプリング処理のうち、どのアップサンプリング処理を用いるかについて決定してもよい。

【0128】

後処理部８００は、制御部９００を経由してＵＩ部１０００から出力された設定情報に基づいて、アップサンプリング処理におけるフィルタ係数やＣＮＮ等の機械学習ベース手法のネットワークのパラメータ（重み等）を決定してもよい。

【0129】

（変形例１）
以下、本発明の変更例１について、上述の第１の実施形態との相違点に着目して説明する。本変更例１では、後処理部８００が、画像復号部２００から出力される復号画像及び制御データを入力としてポストフィルタ処理を行うように構成されている。

【0130】

本変更例１において、解析部４００は、入力画像信号の中でスクリーンコンテンツ（ゲーム画面やリモートデスクトップ画面等）の領域を解析し、スクリーンコンテンツの領域情報（領域の個数や各領域の位置やサイズ等）を制御部５００へ出力する。

【0131】

ここで、解析部４００は、画像全体がスクリーンコンテンツであるか否かのみを示す情報を出力してもよい。

【0132】

制御部５００は、解析部４００から出力されたスクリーンコンテンツの領域情報を画像符号化部１００へ出力するように構成されている。

【0133】

或いは、制御部５００は、ＵＩ部６００から指定された領域をスクリーンコンテンツ領域情報として画像符号化部１００へ出力するように構成されている。

【0134】

画像符号化部１００は、上述のスクリーンコンテンツ領域情報を制御データの一部として符号化し、ビットストリームを生成するように構成されている。この時、かかるスクリーンコンテンツ領域情報は、ユーザ定義のＳＥＩ ｍｅｓｓａｇｅとして符号化されてもよい。

【0135】

一方、画像復号部２００は、上述の抽出後ビットストリームからスクリーンコンテンツ領域情報を復号し、後処理部８００へ出力するように構成されている。

【0136】

後処理部８００は、上述のスクリーンコンテンツ領域情報を基に、復号後画像信号の各領域にポストフィルタ処理を実行するか否かを決定し、実際にポストフィルタ処理を行うように構成されている。

【0137】

ここで、後処理部８００は、かかるスクリーンコンテンツ領域情報により、スクリーンコンテンツであることが定義されている領域について、ポストフィルタ処理を行わないように制御してもよい。

【0138】

以上の例では、画像符号化装置１０がスクリーンコンテンツ領域情報を画像復号装置２０に伝送し、かかるスクリーンコンテンツ領域情報に基づいて画像復号措置２０でのポストフィルタ処理を制御する場合を説明した。

【0139】

別の例として、画像符号化装置１０がポストフィルタ適用領域（又は、非適用領域）情報を伝送し、かかる適用領域（又は、非適用領域）情報に従って、ポストフィルタの適用有無を制御してもよい。

【0140】

（変形例２）
以下、図１０及び図１１を参照して、本発明の変更例２について、上述の第１の実施形態及び変更例１との相違点に着目して説明する。

【0141】

本変更例２では、画像符号化装置１０及び画像復号装置２０において、マルチチャンネル編成とシングルチャンネル編成とが切り替わるように構成されている。

【0142】

図１０は、シングルチャンネル編成からマルチチャンネル編成に切り替わる場合の例について示し、図１１は、マルチチャンネル編成からシングルチャンネル編成に切り替わる場合の例を示している。

【0143】

図１０は、シングルチャンネル編成からマルチチャンネル編成に切り替わる際に、シングルチャンネル編成時に放送されていたコンテンツ以外のコンテンツをサブチャンネルで放送するため、伝送容量削減のために入力画像信号がダウンサンプリングされた例を示している。

【0144】

図１０の例では、Ｆｒ２とＦｒ３との間で、シングルチャンネル編成からマルチチャンネル編成への切り替えが行われている。なお、上述のダウンサンプリング処理では、ＵＩ部６００が、制御部５００を介してマルチチャンネル編成に切り替わったことを示す制御情報を出力し、前処理部３００が、かかる制御情報を基にダウンサンプリング処理を行う。

【0145】

図１１の例では、Ｆｒ２とＦｒ３との間で、マルチチャンネル編成からシングルチャンネル編成への切り替えが行われている。この場合も、上述の例と同様に、前処理部３００が、Ｆｒ２まではダウンサンプリング処理を行い、Ｆｒ３以降はダウンサンプリング処理を行わないようにする。

【0146】

画像符号化装置１０のインター予測部１１１は、マルチチャンネル編成とシングルチャンネル編成との切り替えによって符号化対象フレームの解像度と参照フレームの解像度とが異なる場合、上述のようにＲＰＲを用いて解像度変換を行うように構成されている。

【0147】

同様に、画像復号装置２０のインター予測部２４１も、復号対象フレームの解像度と参照フレームの解像度とが異なる場合、上述のように、ＲＰＲを用いて解像度変換を行うように構成されている。

【0148】

最後に、後処理部８００は、アップサンプリング処理を行うように構成されている。ここで、アップサンプリング処理の内容は、上述の例と同様である。

【0149】

すなわち、本変更例２では、画像符号化装置１０は、マルチチャンネル編成のときに入力画像信号に対してダウンサンプリング処理を行うことによって得られた前処理後入力画像を出力するように構成されている前処理部３００と、参照フレームの解像度と前処理後入力画像の解像度とが異なる場合に、参照フレームの解像度を変換するＲＰＲを用いることで、シングルチャンネル編成とマルチチャンネル編成との切り替え前後の入力画像信号を同一のビットストリームとして符号化するように構成されている画像符号化部１００とを備える。

【0150】

また、本変更例２では、画像復号装置２０は、ビットストリームを復号して復号画像を出力するように構成されている画像復号部２００と、マルチチャンネル編成の際には画像符号化装置１０においてダウンサンプリングされた復号画像に対してアップサンプリング処理を行うように構成されている後処理部８００とを備える。

【0151】

ここで、画像復号部２００は、復号対象フレームの解像度と参照フレームの解像度とが異なる場合、参照フレームの解像度を変換するＲＰＲ処理を行うように構成されているインター予測部２４１を備えてもよい。

【0152】

また、上述のアップサンプリング処理は、一次元又は二次元の畳み込みフィルタであってもよいし、ＣＮＮを用いた手法であってもよいし、ＲＰＲ処理と同一の手法であってもよいし、ビットストリームから復号した制御データに基づいて実行されてもよい。

【0153】

（変形例３）
以下、図１２～図１５を参照して、本発明の変更例３について、上述の第１の実施形態及び変更例１、２との相違点に着目して説明する。具体的には、本変更例３として、入力画像がインタレース画像の場合の符号化処理及び復号処理の一例について説明する。

【0154】

本変形例３では、入力画像がインタレース画像の場合、図１２のように、偶数フィールドがＴｏｐフィールドとなり、奇数フィールドがＢｏｔｔｏｍフィールドとなり、かつ、Ｔｏｐフィールドとその直後のＢｏｔｔｏｍフィールドとがペアとなるように符号化処理が行われる。

【0155】

図１２の例では、フィールド番号は０から始まることとする、すなわち、Ｆｉ０から始まることとする。

【0156】

ここで、解析部４００が、対象の入力画像がインタレース画像であるかどうかについて判定し、かかる判定結果について制御部５００に出力するように構成されていてもよい。

【0157】

例えば、解析部４００は、予め取り得る解像度及び当該解像度がインタレース画像或いはプログレッシブ画像のいずれに対応するかという情報を定義しておき、入力画像の解像度及びかかる情報に基づいて、対象の入力画像がインタレース画像かプログレッシブ画像かについて判断してもよい。

【0158】

或いは、ユーザが、ＵＩ部６００を介して、対象の入力画像がインタレース画像であるかどうかについて指定してもよい。ここで、ＵＩ部６００を介しユーザによって指定された情報（インタレース/プログレッシブ）は、制御部５００へ出力される。

【0159】

制御部５００は、解析部４００又はＵＩ部６００から出力された情報を入力とし、対象の入力画像がインタレース画像である場合、図１２のように、偶数フィールドがＴｏｐフィールドとなり、奇数フィールドがＢｏｔｔｏｍフィールドとなり、かつ、Ｔｏｐフィールドとその直後のＢｏｔｔｏｍフィールドとがペアとなるように制御データを設定し、画像符号化部１００へ出力するように構成されている。

【0160】

画像符号化部１００は、かかる制御データを符号化してビットストリームとして出力するように構成されている。

【0161】

ここで、画像符号化部１００は、かかる制御データについて、非特許文献２に定義されているＦｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅとして符号化してもよい。

【0162】

図１３は、かかる制御データについてＦｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅとして符号化する場合の各シンタックスエレメントの設定値の一例を示している。

【0163】

別の例として、画像符号化部１００は、入力画像がインタレース画像の場合、図１４のように、偶数ラインがＴｏｐフィールドとなり、奇数ラインがＢｏｔｔｏｍフィールドとなるように、２つのインタレース（フィールド）画像を合成して１つのフレーム画像を生成し、符号化してもよい。

【0164】

ここで、図１４の例において、最初のラインは、０ライン目とする。フィールド画像からフレーム画像を生成する処理は、例えば、前処理部３００で実行されてもよい。

【0165】

制御部５００が、ＵＩ部６００から入力される設定情報に基づき、フィールド画像からフレーム画像を生成するか否かについて制御情報として、前処理部３００へ入力してもよい。図１５に、この時のＦｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅの設定例について示す。

【0166】

また、画像符号化部１００は、入力画像がインタレース画像の場合、制御データとして非特許文献１に記載のｓｐｓ_ｆｉｅｌｄ_ｆｌａｇの値を１として符号化してもよい。

【0167】

以上が、本変形例３に係る画像符号化装置１０における処理について説明した。以下、画像復号装置２０における処理について説明する。

【0168】

画像復号部２００は、ビットストリームから制御データを復号し、上述のｓｐｓ_ｆｉｅｌｄ_ｆｌａｇの値及びＦｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅの値を得るように構成されている。

【0169】

ここで、画像復号部２００は、ｓｐｓ_ｆｉｅｌｄ_ｆｌａｇの値が１で、かつ、ｓｐｓ_ｆｉｅｌｄ_ｆｌａｇの値及びＦｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅの設定値が図１３又は図１５の設定値と異なる場合に、エラーを出力するように構成されていてもよい。

【0170】

また、画像復号部２００は、ｓｐｓ_ｆｉｅｌｄ_ｆｌａｇの値が１で、かつ、ｓｐｓ_ｆｉｅｌｄ_ｆｌａｇの値及びＦｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅの設定値が図１３又は図１５の設定値と異なる場合であっても、復号画像信号がフィールド画像である場合は、図１３の設定値である場合の復号動作を行い、復号画像信号がフレーム画像である場合は、図１５の設定値である場合の復号動作を行うように構成されていてもよい。

【0171】

ここで、画像復号部２００は、復号画像信号がフィールド画像であるかどうかについて、制御データに含まれる復号画像信号の解像度又はＵＩ部１０００から出力される設定情報を基に判別する。

【0172】

すなわち、本変更例３において、画像符号化装置１０は、入力画像がインタレース画像である場合、偶数フィールドがＴｏｐフィールドとなり、奇数フィールドがＢｏｔｔｏｍフィールドとなり、かつ、ＴｏｐフィールドとＴｏｐフィールドの直後のＢｏｔｔｏｍフィールドとがペアとなるように、符号化処理を行うように構成されている画像符号化部１００を備える。

【0173】

ここで、画像符号化部１００は、入力画像がインタレース画像である場合、偶数フィールドがＴｏｐフィールドとなり、奇数フィールドがＢｏｔｔｏｍフィールドとなり、かつ、ＴｏｐフィールドとＴｏｐフィールドの直後のＢｏｔｔｏｍフィールドとがペアとなるように、Ｆｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅの値を設定して制御データとして符号化してビットストリームを生成するように構成されていてもよい。

【0174】

また、画像符号化装置１０は、入力画像がインタレース画像であるかどうかについて設定するように構成されているＵＩ部６００と、ＵＩ部６００から出力される設定情報を基に符号化処理を制御する制御情報を出力するように構成されている制御部５００とを備えていてもよい。

【0175】

ここで、画像符号化部１００は、かかる制御情報に基づいて、入力画像がインタレース画像であるか否かについて判定するように構成されていてもよい。

【0176】

また、本変更例３において、画像復号装置２０は、ビットストリームから復号した制御データのうち、ｓｐｓ_ｆｉｅｌｄ_ｆｌａｇの値が１であるとき、偶数フィールドがＴｏｐフィールドとなり、奇数フィールドがＢｏｔｔｏｍフィールドとなり、かつ、ＴｏｐフィールドとＴｏｐフィールドの直後のＢｏｔｔｏｍフィールドとがペアとなるように、復号処理を行うように構成されている画像復号部２００を備える。

【0177】

ここで、画像復号部２００は、ビットストリームから復号した制御データに基づいて、Ｆｒａｍｅ-ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅの設定値が、偶数フィールドがＴｏｐフィールドとなり、奇数フィールドがＢｏｔｔｏｍフィールドとなり、かつ、ＴｏｐフィールドとＴｏｐフィールドの直後のＢｏｔｔｏｍフィールドとがペアとなるように設定されていないと判定した場合であっても、偶数フィールドがＴｏｐフィールドとなり、奇数フィールドがＢｏｔｔｏｍフィールドとなり、かつ、ＴｏｐフィールドとＴｏｐフィールドの直後のＢｏｔｔｏｍフィールドとがペアとなるように、復号処理を行うように構成されていてもよい。

【0178】

（変形例４）
以下、図１６及び図１７を参照して、本発明の変更例４について、上述の第１の実施形態及び変更例１～３との相違点に着目して説明する。具体的には、本変更例４として、上述のＲＰＲを用いて、非特許文献１で規定されるＨ.２６６ Ｍａｉｎ ｐｒｏｆｉｌｅで定義されている符号化技術のみを用いて疑似的に空間スケーラビリティを実現する場合の符号化処理及び復号処理を説明する。

【0179】

第１に、画像符号化装置１０における処理について説明する。具体的には、変形例４において、図１６のように入力画像が入力されてくる場合を例に説明する。

【0180】

本変更例４において、図１７に示すように、入力された各フレーム（Ｆｒ０～Ｆｒ３）に対してダウンサンプリング処理を施した画像（Ｆｒ０’～Ｆｒ３’）が生成される。かかるダウンサンプリング処理は、例えば、前処理部３００で実行されてもよい。

【0181】

ＵＩ部６００から制御部５００に対して、本変形例４における疑似的な空間スケーラビリティを実施するかを示す設定情報が出力され、制御部５００が、前処理部３００に対して、かかる設定情報を制御情報として出力するように構成されていてもよい。

【0182】

前処理部３００は、かかる制御情報を基にダウンサンプリング処理を実施してもよい。

【0183】

すなわち、前処理部３００は、図１７のように、入力画像（Ｆｒ０～Ｆｒ３）から低解像度の画像（Ｆｒ０‘～Ｆｒ３’）を生成するように構成されている。

【0184】

画像符号化部１００は、入力画像（Ｆｒ０～Ｆｒ３）から生成された低解像度の画像（Ｆｒ０’～Ｆｒ３’）をそれぞれ入力として符号化処理を行うように構成されている。

【0185】

ここで、図１７における各Ｆｒ/Ｆｒ’に向かう矢印は、インター予測部１１１において用いられる参照関係の例を示している。

【0186】

例えば、図１７において、Ｆｒ３’は、参照フレームとしてＦｒ０’を用いることを示している。同様に、図１７において、Ｆｒ１は、参照フレームとしてＦｒ０、Ｆｒ３、Ｆｒ１’を用いることを示している。

【0187】

ここで、図１７に示すように、低解像度画像（Ｆｒ０’～Ｆｒ３’）は、参照フレームとして低解像度画像（Ｆｒ０’～Ｆｒ３’）のみを使用する。

【0188】

一方、高解像度画像（Ｆｒ０～Ｆｒ３）は、高解像度画像及び低解像度画像の両方を参照フレームとして使用することができる。

【0189】

高解像度画像は、対象のフレームに対してダウンサンプリング処理を実行して得られた低解像度画像（例えば、Ｆｒ０の場合は、Ｆｒ０’）を参照フレームとして用いる。

【0190】

なお、図１７に示す参照フレームの関係は、あくまで一例である。上記のうち、「低解像度画像（Ｆｒ０’～Ｆｒ３’）は、参照フレームとして低解像度画像（Ｆｒ０’～Ｆｒ３’）のみを使用する」及び「高解像度画像は、対象のフレームに対してダウンサンプリング処理を実行して得られた低解像度画像（例えば、Ｆｒ０の場合は、Ｆｒ０’）を参照フレームとして用いる」という制約が満たされていれば、インター予測部１１１は、図１７以外の参照関係を用いることができる。

【0191】

画像符号化部１００は、参照フレームの解像度と符号化対象フレームの解像度とが異なる場合、上述の例と同様にＲＰＲを用いる。

【0192】

この時、画像符号化部１００は、制御データとして、非特許文献１で定義されているＴｅｍｐｏｒａｌＩｄの値が、図１７の通りになるように設定し、ビットストリームを生成してもよい。

【0193】

すなわち、画像符号化部１００は、低解像度画像のフレームがＴｅｍｐｏｒａｌＩｄ＝０となり、高解像度画像のフレームがＴｅｍｐｏｒａｌＩｄ＝１となるように符号化してもよい。

【0194】

なお、ＴｅｍｐｏｒａｌＩｄの設定値は、あくまで一例であり、低解像度画像のＴｅｍｐｏｒａｌＩｄより、高解像度画像のＴｅｍｐｏｒａｌＩｄが大きくなるように設定されていればよい。

【0195】

また、以上では、高解像度画像が入力画像そのものを利用する場合を例に説明したが、画像符号化部１００は、低解像度画像をアップサンプリングした画像と入力画像との誤差画像を高解像度画像として符号化してもよい。

【0196】

第２に、画像復号装置２０における処理について説明する。

【0197】

抽出部７００は、ビットストリームから実際に復号するデータのみを抽出するように構成されている。

【0198】

かかる抽出には、例えば、上述のＴｅｍｐｏｒａｌＩＤの値が使用され得る。すなわち、抽出部７００は、制御部９００から、復号するＴｅｍｐｏｒａｌＩｄの最大値を取得し、かかる最大値以下のＴｅｍｐｏｒａｌＩｄを有するフレームのビットストリームのみを、画像復号部２００へ出力するように構成されていてもよい。

【0199】

例えば、低解像度画像のフレームがＴｅｍｐｏｒａｌＩｄ＝０となり、高解像度画像のフレームがＴｅｍｐｏｒａｌＩｄ＝１となるように符号化されている場合、抽出部７００は、上述の最大値を０とした場合は、低解像度画像のみに関するビットストリームを抽出し、かかる最大値を１とした場合は、低解像度画像及び高解像度画像の両方を含むビットストリームを抽出することになる。

【0200】

ここで、抽出部７００は、かかる最大値について、ＵＩ部１０００からの設定情報に基づいて決定してもよい。また、かかる最大値について、画像復号装置２０毎に予めどの値にするかを設定しておいてもよい。

【0201】

高解像度画像も復号される場合、インター予測部２４１は、参照フレームの解像度と復号対象フレームの解像度とが異なる場合は、ＲＰＲを使用する。

【0202】

高解像度画像も復号される場合、後処理部８００は、低解像度画像の復号画像を破棄して、高解像度画像の復号画像のみを出力するように構成されている。

【0203】

また、高解像度画像として低解像度画像をアップサンプリングした画像と入力画像との誤差画像が用いられる場合は、後処理部８００は、低解像度画像をアップサンプリングし、高解像度の誤差画像の復号画像と加算することで、最終的な高解像度画像の復号画像を生成する。

【0204】

その後、上述と同様に、後処理部８００は、低解像度画像を破棄し、高解像度画像の復号画像のみを出力する。

【0205】

アップサンプリング方法は、上述の例と同様に、画像符号化装置１０によって指定された方法やパラメータに基づいて実施されてもよいし、予め定めたアップサンプリング方法で実施されてもよい。

【0206】

画像符号化装置１０がアップサンプリング方法を指定する場合、画像符号化装置１０は、画像符号化装置１０と画像復号装置２０とで同一のアップサンプリング処理を行うように指定してもよい。

【0207】

高解像度画像が復号されない場合は、後処理部８００は、画像復号部２００から出力された低解像度画像の復号画像を、そのまま出力とするように構成されていてもよい。

【0208】

すなわち、本変更例４に係る画像符号化装置１０において、画像符号化部１００は、高解像度画像に対してダウンサンプリング処理を行うことで低解像度画像を生成するように構成されており、低解像度画像のみを参照してインター予測を行うように構成されており、高解像度画像については同一時刻の低解像度画像を参照し、かつ、ＲＰＲ処理を用いてインター予測を行うように構成されている。

【0209】

ここで、画像符号化部１００は、高解像度画像のＴｅｍｐｏｒａｌＩＤが低解像度画像のＴｅｍｐｏｒａｌＩｄより大きな値になるように設定し符号化を行うように構成されていてもよい。

【0210】

また、本変更例４に係る画像復号装置２０において、画像復号部２００は、 同一時刻の高解像度画像及び低解像度画像を異なるフレームとして復号し、復号対象フレームの解像度と参照フレームの解像度とが異なる場合、ＲＰＲ処理を用いてインター予測を行うように構成されている。

【0211】

ここで、画像復号装置２０は、ＴｅｍｐｏｒａｌＩＤに基づいて低解像度画像のみを復号するか、或いは、低解像度画像及び高解像度画像の両方を復号するかを制御するように構成されている制御部９００を備えてもよい。

【0212】

さらに、画像復号装置２０は、低解像度画像及び高解像度画像の両方が復号された場合、かかる低解像度画像を破棄して、かかる高解像度画像のみを出力するように構成されている後処理部８００を備えてもよい。

【0213】

また、上述の画像符号化装置１０及び画像復号装置２０は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

【0214】

なお、上記の各実施形態及び変更例では、本発明を画像符号化装置１０及び画像復号装置２０への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、画像符号化装置１０及び画像復号装置２０の各機能を備えた画像符号化/復号システムにも同様に適用できる。

【産業上の利用可能性】

【0215】

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【符号の説明】

【0216】

１…画像処理システム
１０…画像符号化装置
１００…画像符号化部
１１１…インター予測部
１１１１…解像度変換部
１１１２…パラメータ決定部
１１１３…予測画像生成部
１１２…イントラ予測部
１２１…減算器
１２２…加算器
１３１…変換・量子化部
１３２…逆変換・逆量子化部
１４０…符号化部
３００…前処理部
４００…解析部
５００…制御部
６００…ＵＩ部
２０…画像復号装置
２００…画像復号部
２１０…復号部
２２０…逆変換・逆量子化部
２３０…加算器
２４１…インター予測部
２４１１…パラメータ復号部
２４１２…解像度変換部
２４１３…予測画像生成部
２４２…イントラ予測部
２５０…インループフィルタ処理部
２６０…フレームバッファ
７００…抽出部
８００…後処理部
９００…制御部
１０００…ＵＩ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】