特開 2024-7635 映像処理装置、アップスケーリング方法、及び映像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024007635

(43)【公開日】2024-01-19

(54)【発明の名称】映像処理装置、アップスケーリング方法、及び映像処理システム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240112BHJP

   H04N 19/33 20140101ALI20240112BHJP

   G06N 3/02 20060101ALI20240112BHJP

【ＦＩ】

H04N19/85

H04N19/33

G06N3/02

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022108827

(22)【出願日】2022-07-06

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】新井 大地

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】中島 奈緒

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA02

5C159LB15

5C159LB16

5C159MA32

5C159PP04

5C159RC11

5C159TA01

5C159TB04

5C159TC34

5C159TC43

5C159UA02

5C159UA05

(57)【要約】

【課題】符号化効率を向上させるようにした映像処理装置、アップスケーリング方法、及び映像処理システムを提供する。
【解決手段】映像処理装置２００は、第１解像度映像の第１映像信号と、第１解像度映像よりも解像度が高い第２解像度映像の第２映像信号とを入力し、第１映像信号と第２映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、第２解像度映像よりも解像度の高い第３解像度映像の第３映像信号を生成し、当該第３映像信号を出力するアップスケーリング部２２０を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１解像度映像の第１映像信号と、前記第１解像度映像よりも解像度が高い第２解像度映像の第２映像信号とを入力し、前記第１映像信号と前記第２映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、前記第２解像度映像よりも解像度の高い第３解像度映像の第３映像信号を生成し、当該第３映像信号を出力するアップスケーリング部、を有する
映像処理装置。

【請求項2】

前記アップスケーリング部は、
前記ニューラルネットワークのうち第１ニューラルネットワークを用いて、前記第１映像信号をアップスケーリングする第１アップスケーリングモジュールと、前記ニューラルネットワークのうち第２ニューラルネットワークを用いて、アップスケーリングされた前記第１映像信号の特徴量を抽出する第１特徴量抽出モジュールと、
前記第１ニューラルネットワークを用いて、前記第１映像信号の特徴量を利用して前記第２映像信号をアップスケーリングすることで、前記第３映像信号を生成する第２アップスケーリングモジュールと、
を有する
請求項１記載の映像処理装置。

【請求項3】

前記アップスケーリング部は、
前記第２映像信号が、解像度の異なる複数の映像信号を含むとき、前記複数の映像信号のうち解像度が最も高い映像以外の映像の第４映像信号に対して、前記第１ニューラルネットワークを用いてアップスケーリングする第３アップスケーリングモジュールと、前記第２ニューラルネットワークを用いてアップスケーリングされた前記第４映像信号の特徴量を抽出する第３特徴量抽出モジュールと、を更に有し、
前記第２アップスケーリングモジュールは、アップスケーリングされた前記第１映像信号の特徴量とアップスケーリングされた前記第４映像信号の特徴量とを利用して、前記複数の映像信号のうち解像度が最も高い映像の前記映像信号をアップスケーリングする
請求項２記載の映像処理装置。

【請求項4】

前記第１映像信号と前記第２映像信号は、空間スケーラブル復号により復号された映像信号である
請求項１記載の映像処理装置。

【請求項5】

前記第１ニューラルネットワークは、前記第１ニューラルネットワークに含まれる畳み込みレイヤをスキップする残差ブロックを含み、
前記第２ニューラルネットワークは、前記第２ニューラルネットワークに含まれる畳み込みレイヤをスキップする残差ブロックを含む
請求項２記載の映像処理装置。

【請求項6】

第１解像度映像の第１映像信号と、前記第１解像度映像よりも解像度が高い第２解像度映像の第２映像信号とを入力し、
前記第１映像信号と前記第２映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、前記第２解像度映像よりも解像度の高い第３解像度映像の第３映像信号を生成し、
当該第３映像信号を出力する、
アップスケーリング方法。

【請求項7】

映像符号化装置と映像復号装置とを有する映像処理システムにおいて、
前記映像符号化装置は、
第３解像度映像の第３映像信号をダウンスケーリングすることで、第１解像度映像の第１映像信号と、前記第１解像度映像よりも解像度が高い第２解像度映像の第２映像信号とを生成するダウンスケーリング部と、
前記第１映像信号と前記第２映像信号とに対して空間スケーラブル符号化を行い、符号化された前記第１映像信号と前記第２映像信号とを出力する映像符号化部と、を有し、
前記映像復号装置は、
前記符号化された第１映像信号と第２映像信号とを空間スケーラブル復号により、前記第１映像信号と前記第２映像信号とを夫々復号する映像復号部と、
前記第１映像信号と前記第２映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、前記第２解像度映像よりも解像度の高い前記第３解像度映像に関する前記第３映像信号を生成し、当該第３映像信号を出力するアップスケーリング部と、を有する
映像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置、アップスケーリング方法、及び映像処理システムに関する。

【背景技術】

【0002】

映像信号の符号化方法として、空間スケーラブル符号化がある。空間スケーラブル符号化は、ＨＥＶＣ（High-Efficiency Video Coding）の拡張規格であるＳＨＶＣ（Scalable HEVC）又はＶＶＣ（Versatile Video Coding）においてサポートされている。

【0003】

空間スケーラブル符号化は、例えば、空間解像度の異なる複数の映像信号を符号化する符号化方法である。空間スケーラブル符号化では、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤよりも空間的に高解像度（又は元の画像の空間解像度と同一の解像度）のエンハンスメントレイヤの２階層に階層化される。そして、空間スケーラブル符号化では、ベースレイヤの画像とエンハンスメントレイヤの画像の各映像信号に対して、符号化が行われる。空間スケーラブル符号化では、エンハンスメントレイヤの符号化の際に、ベースレイヤのアップサンプルにより生成された予測ピクチャが参照される。これにより、空間スケーラブル符号化では、予測ピクチャが参照されない場合と比較して、エンハンスメントレイヤの符号化効率を向上させることができる。

【0004】

一方、超解像（ＳＲ：Super-resolution）と呼ばれる技術が注目されつつある。超解像は、入力映像の解像度を高めて高解像度の映像に変換する映像処理技術の一つである。超解像に関して、ニューラルネットワークを用いた超解像手法がある（例えば、以下の非特許文献１及び２）。ニューラルネットワークを用いた超解像手法は、バイキュービック法又はランチョス法など、フィルタリングベースの超解像手法よりも、符号化効率が向上することが知られている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Charles Bonnineau, Wassim Hamidouche, Jean-Francois Travers and Olivier Deforges. “Versatile Video Coding and Super-Resolution for Efficient Delivery of 8k Video with 4k Backward-Compatibility”, In ICASSP 2020 (February 17, 2020).

【非特許文献2】Zhen Li, Jinglei Yang, Zheng Liu, Xiaomin Yang, Gwanggil Jeon, and Wei Wu. Feedback network for image superresolution. In CVPR 2019 (June 28, 2019).

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本開示は、符号化効率を向上させるようにした映像処理装置、アップスケーリング方法、及び映像処理システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

第１の態様に係る映像処理装置は、第１解像度映像の第１映像信号と、前記第１解像度映像よりも解像度が高い第２解像度映像の第２映像信号とを入力し、前記第１映像信号と前記第２映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、前記第２解像度映像よりも解像度の高い第３解像度映像の第３映像信号を生成し、当該第３映像信号を出力するアップスケーリング部を有する。

【0008】

第２の態様に係るアップスケーリング方法は、第１解像度映像の第１映像信号と、前記第１解像度映像よりも解像度が高い第２解像度映像の第２映像信号とを入力する。また、前記アップスケーリング方法は、前記第１映像信号と前記第２映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、前記第２解像度映像よりも解像度の高い第３解像度映像の第３映像信号を生成する。更に、前記アップスケーリング方法は、当該第３映像信号を出力する。

【0009】

第３の態様に係る映像処理システムは、映像符号化装置と映像復号装置とを有する映像処理システムである。前記映像符号化装置は、第３解像度映像の第３映像信号をダウンスケーリングすることで、第１解像度映像の第１映像信号と、前記第１解像度映像よりも解像度が高い第２解像度映像の第２映像信号とを生成するダウンスケーリング部を有する。また、前記映像符号化装置は、前記第１映像信号と前記第２映像信号とに対して空間スケーラブル符号化を行い、符号化された前記第１映像信号と前記第２映像信号とを出力する映像符号化部を有する。一方、前記映像復号装置は、前記符号化された第１映像信号と第２映像信号とを空間スケーラブル復号により、前記第１映像信号と前記第２映像信号とを夫々復号する映像復号部を有する。また、前記映像復号装置は、前記第１映像信号と前記第２映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、前記第２解像度映像よりも解像度の高い前記第３解像度映像に関する前記第３映像信号を生成し、当該第３映像信号を出力するアップスケーリング部を有する。

【発明の効果】

【0010】

本開示によれば、符号化効率を向上させるようにした映像処理装置、アップスケーリング方法、及び映像処理システムを提供できる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１実施形態に係る映像処理システムの構成例を表す図である。

【図2】図２は、第１実施形態に係るアップスケーリング部の構成例を表す図である。

【図3】図３（Ａ）から図３（Ｅ）は、図２の各構成を説明するための図である。

【図4】図４は、第１実施形態に係る動作例を表す図である。

【図5】図５は、第１実施形態の変形例に係るアップスケーリング部の構成例を表す図である。

【発明を実施するための形態】

【0012】

［第１実施形態］

【0013】

（超解像について）
上述したように、超解像とは、例えば、低解像度（ＬＲ：Low-resolution）の映像を高解像度（ＨＲ：High-resolution）の映像へ変換する処理のことである。

【0014】

例えば、高解像度映像を低解像度映像にダウンスケーリングする場合がある。ダウンスケーリング後の低解像度映像を、伝送路へ伝送させたり、記録媒体へ記録したりすることで、高解像度映像の場合と比較して、少ないデータ量で伝送又は記録が可能となる。

【0015】

しかし、低解像度映像を受信した後、又は低解像度映像を記録媒体から読み出した後、高解像度映像へアップスケーリングしても、正確に高解像度映像を再現できない場合がある。高解像度映像をダウンスケーリングしたことによって失われた情報（特に高周波領域の情報）を正確に再現することができない場合があるからである。

【0016】

そこで、超解像の技術が用いられる場合がある。特に、ＳＲＦＢＮ（Super-Resolution with Feedback Network）と呼ばれるニューラルネットを用いた超解像技術は、非特許文献１及び非特許文献２に記載するように、フィルタリングベース手法よりも、アップスケーリング後の映像の符号化効率が向上することが知られている。

【0017】

ＳＲＦＢＮでは、低解像度の映像を入力し、エンドツーエンドで畳み込みニューラルネット（ＣＮＮ：Convolutional Neural Network）を用いて、高解像度の映像を出力する。その際、ＳＲＦＢＮでは、再構成された高解像度映像と、ダウンスケール前の高解像度映像との間の損失を反復して最小化できるようにフィードバック機構が含まれている。

【0018】

ＳＲＦＢＮを含む非特許文献１及び非特許文献２に記載するニューラルネットワークを用いた超解像技術は、単一の映像を入力することを基本としている。そのため、当該超解像技術では、複数の映像を入力して、ニューラルネットワークを用いてアップスケーリングすることは困難である。よって、当該超解像技術では、単一の映像を入力するだけでは、複数の映像を入力する場合と比較して、画質が向上することはなく、符号化効率（例えば、同一のデータ量でも視覚的画質が向上する否かを示す指標）が向上しない場合がある。

【0019】

ここで、以下のような場合を仮定する。すなわち、空間スケーラブル符号化を用いて符号化された低解像度映像と高解像度映像とを伝送する際に、十分な伝送帯域が用意できない場合がある。そのため、送信側において、高解像度映像に代えて、高解像度映像よりも解像度が低い中間解像度映像を符号化対象として、低解像度映像と中間解像度映像とを空間スケーラブル符号化する。そして、受信側において、空間スケーラブル復号により復号された中間解像度映像に対して、超解像手法を用いることで、高解像度映像を得る。

【0020】

この場合も、非特許文献１及び非特許文献２に記載するニューラルネットワークを用いた超解像技術を用いると、単一の中間解像度映像を入力し、当該中間解像度映像をアップスケーリングすることになる。そのため、この場合も、複数の映像を入力する場合と比較して、符号化効率が向上しない場合がある。

【0021】

そこで、第１実施形態では、符号化効率を向上させることを目的としている。例えば、第１実施形態では、中間解像度映像を空間スケーラブル符号化により符号化して受信側へ送信しても、受信側においてアップスケールした高解像度映像の符号化効率を向上させることを目的としている。

【0022】

以下、図面を参照して実施形態について説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

【0023】

（映像処理システムの構成例）
図１は、第１実施形態に係る映像処理システム１０の構成例を表す図である。

【0024】

図１に示すように、映像処理システム１０は、映像符号化装置１００と映像復号装置２００とを有する。また、映像符号化装置１００は、ダウンスケーリング部１１０と、映像符号化部１２０とを有する。

【0025】

ダウンスケーリング部１１０は、高解像度映像の映像信号（第３解像度映像の第３映像信号）をダウンスケーリングすることで、低解像度映像の映像信号（第１解像度映像の第１映像信号）と、低解像度映像よりも解像度が高い中間解像度映像の映像信号（第２解像度映像の第２映像信号）と、を生成する。

【0026】

ダウンスケーリングの手法は、バイキュービック法又はランチョス法などのフィルタリングベースの手法が用いられてもよい。バイキュービック法は、例えば、４×４個の画素に対して、所定の３次式を用いて重み付けした画素値を処理対象の画素として補間する手法である。また、ランチョス法は、例えば、所定範囲（２×２、３×３など）の画素に対して、sinc関数を用いて重み付けした画素値を処理対象の画素として補間する手法である。フィルタリングベースによるダウンスケーリング手法は、バイキュービック法又はランチョス法以外の任意の手法が用いられてもよい。

【0027】

また、ダウンスケーリングの手法は、ニューラルネットワークを用いた解像度変換手法が用いられてもよい。ニューラルネットワークを用いた解像度変換手法として、ＴＡＤ（Task-Aware Downscaling）又はＩＲＮ（Invertible Rescaling Network）などが用いられてもよい。

【0028】

ＴＡＤは、非特許文献３（Heewon Kim, Myungsub Choi, Bee Lim, and Kyoung Mu Lee. Task-Aware Image Downscaling. In ECCV, 2018.）に記載されている解像度変換手法である。ＴＡＤでは、ダウンスケーリングレイヤと、３つの残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋｓ）と、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）とを含む。ダウンスケーリングレイヤでは、ピクセルシャッフルレイヤ（ｐｉｘｅｌ ｓｈｕｆｆｌｅ ｌａｙｅｒ）を用いて、解像度を削減する。また、３つの残差ブロックを残差接続によりスキップさせることで、学習精度の劣化問題（degradation）を抑制させるようにしている。ＴＡＤでは、高解像度の入力映像に対して、ダウンサンプリング後の中間解像度映像の出力映像を得ることができる。

【0029】

また、ＩＲＮは、非特許文献４（Mingqing Xiao, Shuxin Zheng, Chang Liu, Yaolong Wang, Di He, Guolin Ke, Jiang Bian, Zhouchen Lin, and Tie-Yan Liu. Invertible image rescaling. In ECCV, 2020 (May 12, 2020).）に記載されている解像度変換手法である。ＩＲＮでは、ハール関数と、反転可能なニューラルネットワークブロックとを含む。ハール関数により、高解像度映像が低周波成分と高周波成分とに分解される。反転可能なニューラルネットワークブロックにより、ダウンスケーリングで失われた高周波情報の分布がモデル化されるとともに、低周波成分と高周波成分とから中間解像度の出力映像が得られる。

【0030】

ニューラルネットワークによるダウンスケーリング手法が用いられる場合、ダウンスケーリング部１１０では、解像度毎に個別のモデルを用いて、低解像度映像と中間解像度映像を生成してもよいし、同一のモデルから複数の解像度の映像を生成するようにしてもよい。

【0031】

ダウンスケーリング部１１０は、このようなダウンスケーリング手法を用いて、高解像度（例えば、８Ｋ映像）の映像信号から、低解像度映像（例えば、２Ｋ映像）の映像信号と中間解像度映像（例えば、４Ｋ映像）の映像信号とを得る。なお、ダウンスケーリング部１１０は、中間解像度映像に関し、複数の中間解像度映像（例えば、４Ｋ映像と６Ｋ映像）の映像信号を出力してもよい。

【0032】

映像符号化部１２０は、低解像度映像（ベースレイヤ）の映像信号と、中間解像度映像（エンハンスメントレイヤ）の映像信号とに対して、空間スケーラブル符号化を行い、符号化された２つの映像信号を出力する。映像符号化部１２０は、１つの中間解像度映像（例えば、４Ｋ映像）に限らず、複数の中間解像度映像（例えば、４Ｋ映像と６Ｋ映像）の映像信号をエンハンスメントレイヤとして符号化してもよい。空間スケーラブル符号化は、例えば、ＳＨＶＣ又はＶＶＣなどで用いられている公知の空間スケーラブル符号化が用いられてよい。

【0033】

なお、映像符号化部１２０では、符号化された、低解像度映像の映像信号と中間解像度映像の映像信号とを多重化して、１つのビットストリームとして、符号化後の２つの映像信号を映像復号装置２００へ出力してもよい。

【0034】

映像復号装置２００は、映像復号部２１０と、アップスケーリング部２２０とを有する。なお、映像復号装置２００は、映像処理装置又はアップスケーリング装置であってもよい。

【0035】

映像復号部２１０は、空間スケーラブル符号化により符号化された、低解像度映像の映像信号と中間解像度映像の映像信号とを、空間スケーラブル復号により、低解像度映像の映像信号と中間解像度映像の映像信号とに夫々復号する。映像復号部２１０は、映像符号化装置１００から出力されたビットストリームを入力し、当該ビットストリームから、符号化された映像信号を抽出してもよい。映像復号部２１０は、復号後の低解像度映像の映像信号と中間解像度映像の映像信号とを、アップスケーリング部２２０へ出力するとともに、映像復号装置２００内外の他の処理ブロックへ出力する。

【0036】

アップスケーリング部２２０は、低解像度映像の映像信号（第１解像度映像の第１映像信号）と、低解像度映像の映像信号よりも解像度が高い中間解像度映像の映像信号（第２解像度映像の第２映像信号）とを入力する。そして、アップスケーリング部２２０は、低解像度映像の映像信号と中間解像度映像の映像信号とに対して、ニューラルネットワークを用いてアップスケーリングすることで、中間解像度映像よりも解像度の高い高解像度映像の映像信号（第３解像度映像の第３映像信号）を生成する。アップスケーリング部２２０では、中間解像度映像は１つに限らず、複数の中間解像度映像（例えば、４Ｋ映像と６Ｋ映像）の映像を用いて、高解像度映像の映像信号を生成してもよい。

【0037】

アップスケーリング部２２０で用いられニューラルネットワークは、複数解像度映像の映像信号を入力することができれば、任意のモデルが用いられてよい。以下では、非特許文献３に記載されたＴＡＵ（Task-Aware Upscaling）を複数解像度映像の入力に拡張したモデルを利用して説明する。

【0038】

図２は、第１実施形態に係るアップスケーリング部２２０の構成例を表す図である。また、図３（Ａ）から図３（Ｅ）は、図２で用いられるニューラルネットワークを説明するための図である。

【0039】

図２では、低解像度映像が１つの映像Ｉ^ｌであり、中間解像度映像が２つの映像Ｉ^ｍ１及びＩ^ｍ２の例を表している。例えば、低解像度映像Ｉ^ｌが２Ｋ映像、中間解像度映像Ｉ^ｍ１が４Ｋ映像、中間解像度映像Ｉ^ｍ２が６Ｋ映像と夫々仮定して以下説明する。

【0040】

図２に示すように、アップスケーリング部２２０は、低解像度映像Ｉ^ｌに対して、第１アップスケーリングモジュール２２１－１と、第１特徴量抽出モジュール２２２－１とを有する。また、アップスケーリング部２２０は、中間解像度映像Ｉ^ｍ２に対して、第２アップスケーリングモジュール２２１－２を有する。更に、アップスケーリング部２２０は、中間解像度映像Ｉ^ｍ１に対して、第３アップスケーリングモジュール２２１－３と、第３特徴量抽出モジュール２２２－３とを有する。

【0041】

第１アップスケーリングモジュール２２１－１は、ニューラルネットワーク（第１ニューラルネットワーク）を用いて、低解像度映像Ｉ^ｌの映像信号（第１映像信号）を、中間解像度映像Ｉ^ｍ２の映像信号へアップスケーリングする。

【0042】

第１に、第１アップスケーリングモジュール２２１－１には、２つの畳み込みレイヤの間に３つの残差ブロックを含み、残差ブロックをスキップする残差接続を有する。残差ブロックは、図３（Ｅ）に示すように、２つの畳み込みレイヤとＲｅＬＵ関数とを有し、残差ブロックの入力が残差ブロックの出力に加算させる構成を有している。

【0043】

第２に、第１アップスケーリングモジュール２２１－１には、ピクセルシャッフルレイヤを含む。ピクセルシャッフルレイヤでは、残差接続後の出力に対して畳み込みレイヤで抽出された特徴量に対して、中間解像度映像Ｉ^ｍ２へのアップスケーリングを行う。

【0044】

ピクセルシャッフルレイヤ（ｐｉｘｅｌ ｓｈｕｆｆｌｅ ｌａｙｅｒ）は、非特許文献５（Wenzhe Shi, Jose Caballero, Ferenc Huszar, Johannes Totz, Andrew P. Aitken, Rob Bishop, Daniel Rueckert and Zehan Wang. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network. In CVPR 2016.）に記載されている。ピクセルシャッフルレイヤを、サブピクセル畳み込み（ｓｕｂ－ｐｉｘｅｌ ｃｏｎｖｏｌｕｔｉｏｎ）又はＥＳＰＣＮ（Efficient Sub-Pixel Convolutional Neural Network ）と称する場合がある。

【0045】

ピクセルシャッフルレイヤでは、入力映像に対して畳み込みを行って画素数を増加させた後、倍率に応じて画素を再配置することで、アップスケーリングされた映像を出力する。上述したように、サブピクセルの位置に応じて、フィルタの一部を周期的に活性化させることで、畳み込みが行われる。ピクセルシャッフルレイヤでは、畳み込みレイヤにより特徴量を抽出した後、最後にアップスケーリングするようにしており、最初にアップスケーリングする場合と比較して、フィルタサイズを小さくすることができ、メモリ容量などを削減させることが可能となる。

【0046】

第１特徴量抽出モジュール２２２－１は、アップスケーリングされた低解像度映像Ｉ^ｌの映像信号の特徴量を抽出する。第１特徴量抽出モジュール２２２－１は、畳み込みレイヤと残差ブロックとを含む。第１特徴量抽出モジュール２２２－１は、このようなニューラルネットワークを用いることで、低解像度映像Ｉ^ｌの映像信号に含まれる高周波領域の情報を、低解像度映像Ｉ^ｌの映像信号の特徴量として抽出する。第１特徴量抽出モジュール２２２－１は、抽出した低解像度映像Ｉ^ｌの映像信号の特徴量を、第２アップスケーリングモジュール２２１－２へ出力する。

【0047】

第３アップスケーリングモジュール２２１－３は、中間解像度映像Ｉ^ｍ１及びＩ^ｍ２（例えば、４Ｋ映像と６Ｋ映像）のうち、最も解像度が高い映像Ｉ^ｍ２（例えば６Ｋ映像）以外の映像Ｉ^ｍ１（例えば４Ｋ映像）の映像信号（第４映像信号）に対して、ニューラルネットワーク（第１ニューラルネットワーク）を用いてアップスケーリングする。第３アップスケーリングモジュール２２１－３に含まれるニューラルネットワークのモデル自体は、第１アップスケーリングモジュール２２１－１と同一である。第３アップスケーリングモジュール２２１－３は、中間解像度映像Ｉ^ｍ１の映像信号を、中間解像度映像Ｉ^ｍ２の映像信号へアップスケーリングを行う。

【0048】

第３特徴量抽出モジュール２２２－３は、アップスケーリングされた中間解像度映像Ｉ^ｍ１の映像信号（第４映像信号）の特徴量を抽出する。第３特徴量抽出モジュール２２２－３に含まれるニューラルネットワークのモデル自体は、第１特徴量抽出モジュール２２２－１のモデルと同一である。第３特徴量抽出モジュール２２２－３は、中間解像度映像Ｉ^ｍ１の映像信号に含まれる高周波領域の情報を、中間解像度映像Ｉ^ｍ１の映像信号の特徴量として抽出する。第３特徴量抽出モジュール２２２－３は、抽出した特徴量を第２アップスケーリングモジュール２２１－２へ出力する。

【0049】

なお、第１特徴量抽出モジュール２２２－１が出力する特徴量と、第３特徴量抽出モジュール２２２－３が出力する特徴量とは、夫々低解像度映像Ｉ^ｌと中間解像度映像Ｉ^ｍ１とをベースにしているため、異なる特徴量となっている。

【0050】

第２アップスケーリングモジュール２２１－２は、中間解像度映像（例えば、４Ｋ映像と６Ｋ映像）の映像信号のうち、最も解像度の高い映像（例えば、６Ｋ映像）の映像信号をアップスケーリングする。その際、第２アップスケーリングモジュール２２１－２は、アップスケーリングされた低解像度映像Ｉ^ｌの映像信号（第１映像信号）の特徴量と、アップスケーリングされた中間解像度映像Ｉ^ｍ１の映像信号（第４映像信号）の特徴量とを利用して、アップスケーリングを行う。具体的には、第２アップスケーリングモジュール２２１－２では、中間解像度映像Ｉ^ｍ２の映像信号に対する特徴量と、第１特徴量抽出モジュール２２２－１及び第３特徴量抽出モジュール２２２－３から出力された２つの特徴量とを加算する。そして、第２アップスケーリングモジュール２２１－２では、ピクセルシャッフルレイヤを利用して、高解像度映像Ｉ^ｈの映像信号（第３映像信号）にアップスケーリングを行う。第２アップスケーリングモジュール２２１－２は、高解像度映像Ｉ^ｈの映像信号を、映像復号装置２００内外の処理ブロックへ出力する。

【0051】

（第１実施形態に係る動作例）
図４は、第１実施形態に係る動作例を表す図である。

【0052】

図４に示すように、ステップＳ１０において、映像処理システム１０は処理を開始する。

【0053】

ステップＳ１１において、ダウンスケーリング部１１０は、入力した高解像度映像の映像信号（第３解像度映像の第３映像信号）を、低解像度映像の映像信号（第１解像度映像の第１映像信号）と、中間解像度映像の映像信号（第２解像度映像の第２映像信号）とにダウンスケーリングする。

【0054】

ステップＳ１２において、映像符号化部１２０は、低解像度映像の映像信号と中間解像度映像の映像信号とを、空間スケーラブル符号化により符号化する。

【0055】

ステップＳ１３において、映像復号部２１０は、符号化された、低解像度映像の映像信号と中間解像度映像の映像信号とを、空間スケーラブル復号により復号する。

【0056】

ステップＳ１４において、アップスケーリング部２２０は、復号後の低解像度映像の映像信号と中間解像度映像の映像信号とを、ニューラルネットワークを用いてアップスケーリングを行い、高解像度映像の映像信号を生成する。

【0057】

ステップＳ１５において、映像処理システム１０は、一連の処理を終了する。

【0058】

このように、第１実施形態において、アップスケーリング部２２０では、低解像度映像の映像信号と、中間解像度映像の映像信号とを入力し、少なくとも２つの映像信号に対してニューラルネットワークを用いてアップスケーリングを行っている。この際、アップスケーリング部２２０では、中間解像度映像のダウンスケーリング及び符号化の過程で失われた高周波領域の情報だけではなく、低解像度映像のダウンスケーリング及び符号化の過程で失われた高周波領域の情報を用いて、中間解像度映像の映像信号をアップスケーリングしている。これにより、例えば、第１実施形態に係るアップスケーリング部２２０では、単一の中間解像度映像の映像信号をアップスケーリングする場合と比較して、映像品質が良くなることが想定されるため、符号化効率を向上させることが可能となる。

【0059】

（第１実施形態の変形例）
第１実施形態では、中間解像度映像が２つ（４Ｋ映像と６Ｋ映像の）の例について説明したが、アップスケーリング部２２０に入力される中間解像度映像の入力数はこれに限定されず、例えば、中間解像度映像の入力数は「１」であってもよい。

【0060】

図５は、中間解像度映像の入力数が「１」の場合のアップスケーリング部２２０の構成例を表す図である。図５に示すように、アップスケーリング部２２０は、低解像度映像Ｉ^ｌの映像信号に対しては、第１実施形態と同様に、第１アップスケーリングモジュール２２１－１と、第１特徴量抽出モジュール２２２－１とを有する。第１アップスケーリングモジュール２２１－１は、ニューラルネットワーク（第１ニューラルネットワーク）を用いて、低解像度映像Ｉ^ｌの映像信号（第１映像信号）を、中間解像度映像Ｉ^ｍの映像信号にアップスケーリングする。第１特徴量抽出モジュール２２２－１は、ニューラルネットワーク（第２ニューラルネットワーク）を用いて、低解像度映像Ｉ^ｌの映像信号の特徴量を抽出する。なお、第１アップスケーリングモジュール２２１－１と第１特徴量抽出モジュール２２２－１とに含まれるニューラルネットワークモデル自体は、第１実施形態と同様である。

【0061】

また、アップスケーリング部２２０は、中間解像度映像Ｉ^ｍの映像信号に対しては、第２アップスケーリングモジュール２２１－２を有する。第２アップスケーリングモジュール２２１－２は、ニューラルネットワーク（第１ニューラルネットワーク）を用いて、低解像度映像Ｉ^ｌの映像信号の特徴量を利用して中間解像度映像Ｉ^ｍの映像信号をアップスケーリングする。第２アップスケーリングモジュール２２１－２に含まれるニューラルネットワークモデル自体は、第１実施形態と同様である。

【0062】

なお、アップスケーリング部２２０に入力される中間解像度映像の入力数は、「１」及び「２」に限らず、「３」以上であってもよい。この場合、中間解像度映像のうち、最も解像度が高い映像以外の（２つ以上の）映像の映像信号に対して、第３アップスケーリングモジュール２２１－３と第３特徴量抽出モジュール２２２－３が適用される。第３アップスケーリングモジュール２２１－３において、当該映像信号が中間解像度映像のうち最も高い解像度へアップスケーリングされる。第３特徴量抽出モジュール２２２－３において、当該映像信号に含まれる高周波領域の情報が抽出される。そして、第２アップスケーリングモジュール２２１－２において、低解像度映像の高周波領域の情報と、当該映像信号に含まれる高周波領域の情報と、中間解像度映像のうち最も解像度が高い映像の高周波領域の情報と、を利用して、高解像度映像の映像信号へアップスケーリングを行う。

【0063】

［その他の実施形態］
映像処理システム１０は、映像処理装置として、１つの装置として設けられてもよい。この場合、映像符号化装置１００が映像符号化部、映像復号装置（又は映像処理装置）２００が映像復号部（又は映像処理部）であってもよい。

【0064】

上述の装置（映像符号化装置１００と映像復号装置２００）が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、上述の装置（映像符号化装置１００と映像復号装置２００）が行う各処理を実行する回路を集積化し、当該装置を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0065】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更などをすることが可能である。また、矛盾しない範囲で各動作例など組み合わせることも可能である。

【符号の説明】

【0066】

１００ ：映像符号化装置 １１０ ：ダウンスケーリング部
１２０ ：映像符号化部 ２００ ：映像復号装置
２１０ ：映像復号部 ２２０ ：アップスケーリング部
２２１－１ ：第１アップスケーリングモジュール
２２２－１ ：第１特徴量抽出モジュール
２２１－２ ：第２アップスケーリングモジュール
２２１－３ ：第３アップスケーリングモジュール
２２２－３ ：第３特徴量抽出モジュール

【図1】

【図2】

【図3】

【図4】

【図5】