特開 2023-169818 超解像装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023169818

(43)【公開日】2023-11-30

(54)【発明の名称】超解像装置及びプログラム

(51)【国際特許分類】

   H04N 19/59 20140101AFI20231122BHJP

   H04N 19/85 20140101ALI20231122BHJP

【ＦＩ】

H04N19/59

H04N19/85

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022081154

(22)【出願日】2022-05-17

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(71)【出願人】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LB05

5C159LB15

5C159LB16

(57)【要約】

【課題】復号画像を超解像処理した超解像画像の画質を向上させる。
【解決手段】超解像装置１は、復号画像を取得し、Ｐピクチャ又はＢピクチャについては、分割ブロック毎に、インター予測が行われた被インター予測ブロックであるか、イントラ予測が行われた被イントラ予測ブロックであるかを判定する超解像処理切替部１１と、被インター予測ブロックと、該被インター予測ブロックの動き補償予測に使用された参照ブロックと、を用いて超解像処理を行い、被インター予測ブロックの超解像画像を出力する複数ピクチャ超解像処理部１２と、被イントラ予測ブロックのみを用いて超解像処理を行い、被イントラ予測ブロックの超解像画像を出力する単一ピクチャ超解像処理部１３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

符号化後に復号された復号画像に対して超解像処理を行う超解像装置であって、
復号画像を取得し、Ｐピクチャ又はＢピクチャについては、分割ブロック毎に、インター予測が行われた被インター予測ブロックであるか、イントラ予測が行われた被イントラ予測ブロックであるかを判定する超解像処理切替部と、
前記被インター予測ブロックと、該被インター予測ブロックの動き補償予測に使用された参照ブロックと、を用いて超解像処理を行い、前記被インター予測ブロックの超解像画像を出力する複数ピクチャ超解像処理部と、
前記被イントラ予測ブロックのみを用いて超解像処理を行い、前記被イントラ予測ブロックの超解像画像を出力する単一ピクチャ超解像処理部と、
を備える超解像装置。

【請求項2】

前記複数ピクチャ超解像処理部は、前記被インター予測ブロックと、前記参照ブロックにおける低周波成分画像との間でブロックマッチングによる位置合わせを行う、請求項１に記載の超解像装置。

【請求項3】

前記複数ピクチャ超解像処理部は、前記ブロックマッチングにおける差分評価関数が第１の閾値以下である場合にのみ位置合わせを行い、前記被インター予測ブロックの動きベクトルの長さが長いほど前記第１の閾値を大きくする、請求項２に記載の超解像装置。

【請求項4】

前記複数ピクチャ超解像処理部は、前記ブロックマッチングにおける差分評価関数が第１の閾値以下である場合にのみ位置合わせを行い、前記被インター予測ブロックの量子化パラメータが大きいほど前記第１の閾値を小さくする、請求項２に記載の超解像装置。

【請求項5】

前記単一ピクチャ超解像処理部は、前記被イントラ予測ブロックと、該被イントラ予測ブロックの低周波成分画像との間でブロックマッチングによる位置合わせを行う、請求項１に記載の超解像装置。

【請求項6】

前記単一ピクチャ超解像処理部は、前記ブロックマッチングにおける差分評価関数が第２の閾値以下である場合にのみ位置合わせを行い、前記被イントラ予測ブロックの量子化パラメータが大きいほど前記第２の閾値を小さくする、請求項５に記載の超解像装置。

【請求項7】

コンピュータを、請求項１から６のいずれか一項に記載の超解像装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、復号画像の超解像装置及びプログラムに関する。

【背景技術】

【0002】

Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)（以下、「ＨＥＶＣ」と称する。）やＨ．２６６／ＶＶＣ（Versatile Video Coding）（以下、「ＶＶＣ」と称する。）などの映像符号化方式では、ブロック分割、直交変換、量子化、エントロピー符号化、イントラ予測、インター予測などの要素技術を組み合わせて高効率化を実現している。

【0003】

一方、原画像をより高解像の画像に変換する超解像技術として、一般的に、単一フレームを用いて超解像処理を行う単一フレーム超解像処理と、複数フレームを用いて超解像処理を行う複数フレーム超解像処理とが知られている。例えば、非特許文献１には、超解像処理技術について、複数フレーム超解像と単一フレーム超解像に分けて、関連技術の概説と動向が紹介されている。また、特許文献１には、スケーラビリティを利用した符号化装置において、ダウンダンプリングや超解像処理を用いて符号化効率を向上させる技術について開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－１８２７７６号公報

【非特許文献】

【0005】

【非特許文献1】奥富正敏，田中正行，竹島秀則，松本信幸，「画像超解像処理技術の最新動向」，電子情報通信学会誌，vol. 93，no. 8，pp. 693-698，Aug. 2010.

【発明の概要】

【発明が解決しようとする課題】

【0006】

原画像を符号化すると情報量が削減されるため、原画像を符号化した後に復号した画像（以下、「復号画像」と称する）を超解像処理して高画質の超解像画像を生成することは困難であった。

【0007】

かかる事情に鑑みてなされた本発明の目的は、復号画像を超解像処理した超解像画像の画質を向上させることが可能な超解像装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明に係る超解像装置は、符号化後に復号された復号画像に対して超解像処理を行う超解像装置であって、復号画像を取得し、Ｐピクチャ又はＢピクチャについては、分割ブロック毎に、インター予測が行われた被インター予測ブロックであるか、イントラ予測が行われた被イントラ予測ブロックであるかを判定する超解像処理切替部と、前記被インター予測ブロックと、該被インター予測ブロックの動き補償予測に使用された参照ブロックと、を用いて超解像処理を行い、前記被インター予測ブロックの超解像画像を出力する複数ピクチャ超解像処理部と、前記被イントラ予測ブロックのみを用いて超解像処理を行い、前記被イントラ予測ブロックの超解像画像を出力する単一ピクチャ超解像処理部と、を備える。

【0009】

さらに、本発明に係る超解像装置において、前記複数ピクチャ超解像処理部は、前記被インター予測ブロックと、前記参照ブロックにおける低周波成分画像との間でブロックマッチングによる位置合わせを行うようにしてもよい。

【0010】

さらに、本発明に係る超解像装置において、前記複数ピクチャ超解像処理部は、前記ブロックマッチングにおける差分評価関数が第１の閾値以下である場合にのみ位置合わせを行い、前記被インター予測ブロックの動きベクトルの長さが長いほど前記第１の閾値を大きくするようにしてもよい。

【0011】

さらに、本発明に係る超解像装置において、前記複数ピクチャ超解像処理部は、前記ブロックマッチングにおける差分評価関数が第１の閾値以下である場合にのみ位置合わせを行い、前記被インター予測ブロックの量子化パラメータが大きいほど前記第１の閾値を小さくするようにしてもよい。

【0012】

さらに、本発明に係る超解像装置において、前記単一ピクチャ超解像処理部は、前記被イントラ予測ブロックと、該被イントラ予測ブロックの低周波成分画像との間でブロックマッチングによる位置合わせを行うようにしてもよい。

【0013】

さらに、本発明に係る超解像装置において、前記単一ピクチャ超解像処理部は、前記ブロックマッチングにおける差分評価関数が第２の閾値以下である場合にのみ位置合わせを行い、前記被イントラ予測ブロックの量子化パラメータが大きいほど前記第２の閾値を小さくするようにしてもよい。

【0014】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させる。

【発明の効果】

【0015】

本発明によれば、復号画像を超解像処理した超解像画像の画質を向上させることができるようになる。

【図面の簡単な説明】

【0016】

【図1】一実施形態に係る超解像装置の構成例を示すブロック図である。

【図2】復号装置の構成例を示すブロック図である

【図3】予測情報の一例を示す図である。

【図4】ランダムアクセス予測におけるピクチャの参照構造の一例を示す図である。

【図5】図４におけるＢ_２ピクチャを被予測ピクチャとした場合の動き補償予測を示す図である。

【図6】一実施形態に係る超解像装置における複数ピクチャ超解像処理部の構成例を示すブロック図である。

【図7】一実施形態に係る超解像装置における複数ピクチャ超解像処理部による処理を示す図である。

【図8】一実施形態に係る超解像装置における単一ピクチャ超解像処理部の構成例を示すブロック図である。

【図9】一実施形態に係る超解像装置における単一ピクチャ超解像処理部による処理を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0018】

図１は、本発明の一実施形態に係る超解像装置の構成例を示すブロック図である。超解像装置１は、映像符号化の後処理として、原画像の符号化後に復号された復号画像に対して超解像処理を行う装置である。超解像装置１は、復号装置２から、原画像の復号画像、及び原画像の符号化／復号に用いられた画像処理情報を取得する。画像処理情報は、分割ブロック毎の、動きベクトル情報、ＱＰ（Quantization parameter）情報、及び予測情報を含む。以下、復号装置２について説明した後に、超解像装置１について説明する。

【0019】

（復号装置）
復号装置２は、原画像に対して予測処理を行って符号化データを生成する符号化装置（図示せず）から符号化データを入力し、該符号化データを復号処理する装置である。予測処理としては、インター予測（画面間予測）、及びイントラ予測（画面内予測）が用いられる。インター予測は時間的に前後する参照フレームから予測画像を生成し、原画像と予測画像との差分を符号化する予測符号化方式である。イントラ予測はフレーム内符号化されるブロックに対して、符号化済みの隣接ブロックの画素から予測画像を生成し、原画像と予測画像との差分を符号化する予測符号化方式である。

【0020】

図２は、復号装置２の構成例を示すブロック図である。図２に示す例では、復号装置２は、エントロピー復号部２１と、逆量子化部２２と、逆変換部２３と、加算部２４と、記憶部２５と、予測部２６とを備える。本図では、符号化データ及び符号化データの演算処理により生成されるデータの流れを実線の矢印で示し、符号化データの復号処理に用いられる情報の流れを破線の矢印で示している。復号装置２は、予測処理を行う符号化装置から、符号化データを入力する。

【0021】

エントロピー復号部２１は、符号化装置から入力された符号化データを復号し、量子化係数と、ＱＰ情報と、差分動きベクトル（ＭＶＤ）情報と、予測情報と、を取得する。そして、エントロピー復号部２１は、量子化係数を逆量子化部２２に出力し、ＱＰ情報を逆量子化部２２及び超解像装置１に出力し、差分動きベクトル情報を予測部２６に出力し、予測情報を予測部２６及び超解像装置１に出力する。

【0022】

ここで、量子化係数とは、残差画像の変換係数を量子化した値を意味する。残差画像とは、原画像と、予測処理によって導出された予測画像との差分の画像であり、符号化装置により生成される。

【0023】

ＱＰ情報とは、量子化パラメータ（ＱＰ）を示す情報である。量子化パラメータは量子化ステップと所定の対応関係にあり、例えば量子化パラメータが６増加すると量子化ステップは２倍となる。

【0024】

差分動きベクトル情報とは、動きベクトルと、近傍の復号済みブロックから導出された予測動きベクトル（ＭＶＰ）との差を示す情報である。

【0025】

予測情報とは、分割ブロック毎に、インター予測及びイントラ予測のいずれの処理が行われたブロックであるかを示す情報である。予測情報は、分割ブロックのサイズを示す情報を含んでもよい。分割ブロックは、例えばＶＶＣではＣＵ（Coding Unit）である。なお、ＶＶＣでは基本的にＣＵとＰＵ（Prediction Unit）は同じサイズとなる。また、ＨＥＶＣではＣＵの形状は正方形であったが、ＶＶＣではＣＵの形状は正方形だけでなく長方形とすることもできる。

【0026】

逆量子化部２２は、エントロピー復号部２１から入力された量子化係数に、量子化パラメータに対応する量子化ステップを乗算して分割ブロックごとの変換係数を復元し、逆変換部２３に出力する。

【0027】

逆変換部２３は、逆量子化部２２から入力された変換係数に対して逆変換を行って分割ブロックごとに残差画像を復元し、加算部２４に出力する。

【0028】

加算部２４は、逆変換部２３から入力された残差画像と、予測部２６から入力された予測画像との各画素値を加算して、分割ブロックごとに復号画像を生成する。加算部２４は、復号画像を記憶部２５及び超解像装置１に出力する。

【0029】

記憶部２５は、加算部２４から入力された復号画像を記憶する。

【0030】

予測部２６は、記憶部２５に記憶された復号画像を参照し、エントロピー復号部２１から入力された予測情報に従ってイントラ予測処理又はインター予測処理を行って予測画像を生成し、加算部２４に出力する。予測部２６は、インター予測処理を行う場合には、予測動きベクトルを導出し、予測動きベクトルにエントロピー復号部２１から入力した差分動きベクトルを加算した動きベクトルを生成し、動きベクトルを示す動きベクトル情報を超解像装置１に出力する。

【0031】

超解像装置１は、上記のような一般的な復号装置２から、復号処理に用いられた画像処理情報（予測情報、動きベクトル情報、及びＱＰ情報）、及び復号処理の結果である復号画像を取得する。再び図１に戻って、超解像装置１の構成について説明する。

【0032】

（超解像装置）
図１に示す例では、超解像装置１は、超解像処理切替部１１と、複数ピクチャ超解像処理部１２と、単一ピクチャ超解像処理部１３と、を備える。本図では、画像の流れを実線の矢印で示し、超解像処理に用いられる情報の流れを破線の矢印で示している。

【0033】

超解像処理切替部１１は、復号装置２から復号画像を取得し、復号画像がＩピクチャ（Intra Picture）であるか、Ｐピクチャ（Predicted Picture）又はＢピクチャ（Bidirectionally predicted Picture）であるかを判断する。超解像処理切替部１１は、復号画像がＰピクチャ又はＢピクチャである場合には、予測情報に基づいて、分割ブロック毎に、インター予測が行われたブロック（以下、「被インター予測ブロック」と称する。）であるか、イントラ予測が行われたブロック（以下、「被イントラ予測ブロック」と称する。）であるかを判定する。復号画像がＩピクチャである場合には分割ブロックは全て被イントラ予測ブロックであるため、上記判断をする必要はない。そして、超解像処理切替部１１は、Ｐピクチャ及びＢピクチャの復号画像のうち被インター予測ブロックを複数ピクチャ超解像処理部１２に出力し、Ｐピクチャ及びＢピクチャの復号画像のうち被イントラ予測ブロック、及びＩピクチャの復号画像（全て被イントラ予測ブロック）を単一ピクチャ超解像処理部１３に出力する。

【0034】

また、超解像処理切替部１１は、復号装置２から取得した画像処理情報のうち、動きベクトル情報を複数ピクチャ超解像処理部１２に出力し、ＱＰ情報を複数ピクチャ超解像処理部１２及び単一ピクチャ超解像処理部１３に出力する。

【0035】

図３は、ＶＴＭ（VVC Test Model）１０．０を用いて、ある原画像を符号化した際の予測情報の一例を示す図である。この図において、白色の分割ブロックは被インター予測ブロックを示しており、黒色の分割ブロックは被イントラ予測ブロックを示している。

【0036】

複数ピクチャ超解像処理部１２は、超解像処理切替部１１から、被インター予測ブロックと、該被インター予測ブロックの動き補償予測に使用された前後ピクチャの分割ブロック（以下、「参照ブロック」と称する。）とを入力する。そして、複数ピクチャ超解像処理部１２は、被インター予測ブロックと参照ブロックとを用いて超解像処理を行い、被インター予測ブロックの超解像画像を出力する。

【0037】

複数ピクチャ超解像処理部１２は、ブロックマッチングにおける差分評価関数が第１の閾値以下である場合にのみ位置合わせを行うようにしてもよい。その場合には、複数ピクチャ超解像処理部１２は、超解像処理切替部１１から被インター予測ブロックの動きベクトル情報及びＱＰ情報を入力し、これらの情報を用いて第１の閾値を制御してもよい。複数ピクチャ超解像処理部１２の処理の詳細については後述する。

【0038】

単一ピクチャ超解像処理部１３は、超解像処理切替部１１から被イントラ予測ブロックを入力する。単一ピクチャ超解像処理部１３は、被イントラ予測ブロックのみを用いて超解像処理を行い、被イントラ予測ブロックの超解像画像を出力する。

【0039】

単一ピクチャ超解像処理部１３は、ブロックマッチングにおける差分評価関数が第２の閾値以下である場合にのみ位置合わせを行うようにしてもよい。その場合には、単一ピクチャ超解像処理部１３は、超解像処理切替部１１から被イントラ予測ブロックのＱＰ情報を入力し、該ＱＰ情報を用いて第２の閾値を制御してもよい。単一ピクチャ超解像処理部１３の処理の詳細については後述する。

【0040】

図４は、ランダムアクセス予測におけるピクチャの参照構造の一例を示す図である。図５は、図４におけるＢ_２ピクチャを被予測ピクチャとし、Ｉ_０ピクチャ及びＢ_１ピクチャを被予測ピクチャの前後ピクチャ（参照ピクチャ）とした場合の、Ｉ_０ピクチャ及びＢ_１ピクチャからＢ_２ピクチャへの動き補償予測を示す図である。図５中の符号ａは被インター予測ブロックを示しており、符号ｂは参照ブロックを示している。

【0041】

図６は、複数ピクチャ超解像処理部１２の構成例を示すブロック図である。図６に示す例では、複数ピクチャ超解像処理部１２は、周波数分解部１２１と、拡大部１２２と、位置合わせ部１２３と、割付部１２４と、周波数再構成部１２５と、を備える。

【0042】

図７は、複数ピクチャ超解像処理部１２による処理を示す図である。図６及び図７を参照して複数ピクチャ超解像処理部１２の処理を説明する。

【0043】

周波数分解部１２１は、超解像処理切替部１１から入力した被インター予測ブロックに対して周波数分解処理を行って周波数分解画像を生成する。本実施形態では１階層の周波数分解処理を行うものとするが、複数階層の周波数分解処理を行ってもよい。周波数分解部１２１は、周波数分解処理として、例えばウェーブレット分解処理を行う。また、周波数分解部１２１は、該被インター予測ブロックの動き補償予測に用いられた参照ブロックを超解像処理切替部１１から入力し、同様に参照ブロックに対して周波数分解処理を行って周波数分解画像を生成する。周波数分解部１２１は、被インター予測ブロックの周波数分解画像を拡大部１２２に出力し、参照ブロックの周波数分解画像を位置合わせ部１２３及び割付部１２４に出力する。

【0044】

すなわち、図７に示すように、周波数分解部１２１は、被インター予測ブロックａの周波数分解画像ａ’、及び参照ブロックｂの周波数分解画像ｂ’を生成する。１階ウェーブレット分解を行った場合、被インター予測ブロックａの周波数分解画像ａ’は、低周波帯域成分の画像（低周波成分画像）ＬＬ（ａ）、及び高周波帯域成分の画像（高周波成分画像）ＬＨ（ａ），ＨＬ（ａ），ＨＨ（ａ）からなる。また、参照ブロックｂの周波数分解画像ｂ’は、低周波成分画像ＬＬ（ｂ）、及び高周波成分画像ＬＨ（ｂ），ＨＬ（ｂ），ＨＨ（ｂ）からなる。

【0045】

拡大部１２２は、周波数分解部１２１から入力した周波数分解画像を水平方向に２倍且つ垂直方向に２倍に拡大した後、その低周波帯域成分を元の被インター予測ブロックに置換した拡大画像を生成する。そして拡大部１２２は、生成した拡大画像を位置合わせ部１２３及び割付部１２４に出力する。

【0046】

すなわち、図７に示すように、拡大部１２２は、周波数分解画像ａ’を水平方向・垂直方向にそれぞれ２倍に拡大し、低周波帯域成分に被インター予測ブロックａを挿入した拡大画像ｃを生成する。拡大画像ｃは、低周波成分画像である被インター予測ブロックａ、及び高周波成分画像ＬＨ（ａＥ），ＨＬ（ａＥ），ＨＨ（ａＥ）からなる。

【0047】

位置合わせ部１２３は、拡大部１２２から入力した拡大画像における低周波帯域成分（被インター予測ブロック）と、周波数分解部１２１から入力した参照ブロックにおける低周波成分画像との間で、ブロックマッチングによる位置合わせを行う。具体的には、位置合わせ部１２３は、被インター予測ブロックをさらに小ブロック（例えば、４×４画素、６×６画素、８×８画素など）に分割し、小ブロックと、該小ブロックに類似する参照ブロック内のブロックとの位置関係を示す位置合わせ情報を生成する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの差分評価関数を用いて、既知の手法により行われる。ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行ってもよい。そして、位置合わせ部１２３は、各小ブロックについて位置合わせを行い、位置合わせ情報を生成し、割付部１２４に出力する。

【0048】

すなわち、図７に示すように、位置合わせ部１２３は、被インター予測ブロックａと、参照ブロックｂにおける低周波成分画像ＬＬ（ｂ）との間でブロックマッチングによる位置合わせを行う。

【0049】

さらに、位置合わせ部１２３は、ブロックマッチングにおける差分評価関数が閾値Ｔｈ_１を超えた場合は、位置合わせ情報として採用しないようにしてもよい。この場合には、位置合わせ部１２３は、被インター予測ブロック毎の動きベクトル情報及びＱＰ情報の少なくとも一方の情報を用いて位置合わせの制御を行ってもよい。

【0050】

例えば、動きベクトルの長さが長い場合には復号画像がぼやけている可能性がある。そのため、位置合わせ部１２３は、動きベクトルの長さが長いほど閾値Ｔｈ_１を大きくし、超解像候補が多く設定されるようにする。

【0051】

また、ＱＰの値が大きい場合には量子化ステップが大きくなるため、ブロック歪みが大きくなり復号画像が劣化している可能性がある。そのため、位置合わせ部１２３は、ＱＰの値が大きいほど閾値Ｔｈ_１を小さくし、位置合わせ及び割り付けの精度を向上させる。

【0052】

割付部１２４は、位置合わせ部１２３から入力した位置合わせ情報に従って、拡大部１２２により生成された拡大画像のうちの高周波成分画像に割り付けを行う。割り付ける際には、同じ位相位置の位置合わせ情報に従うこととする。割付部１２４は、割り付けを全て終えた後、水平、垂直、対角高周波成分として候補が複数存在する場合には、それらの値を平均してもよいし、最大事後確率（Maximum a posteriori；ＭＡＰ）再構成を行って未知の値を推定してもよいし、割り付けられた画素の距離に応じた重み付けにより、高周波成分画像を推定してもよい。そして、割付部１２４は、割り付け後の拡大画像を周波数再構成部１２５に出力する。

【0053】

すなわち、図７に示すように、割付部１２４は、同じ位相位置の位置合わせ情報に従って、拡大画像ｃにおける高周波成分画像ＬＨ（ａＥ），ＨＬ（ａＥ），ＨＨ（ａＥ）に割り付けを行う。

【0054】

周波数再構成部１２５は、割付部１２４から入力した割り付け後の拡大画像を周波数再構成することにより、被インター予測ブロックの超解像画像を生成する。なお、周波数分解部１２１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１２５は、同じウェーブレットを用いてウェーブレット再構成処理を行う。

【0055】

すなわち、図７に示すように、周波数再構成部１２５は、被インター予測ブロックａを低周波成分とし、割り付け後の高周波成分画像ＬＨ（ａＥ），ＨＬ（ａＥ），ＨＨ（ａＥ）を高周波成分としてウェーブレット再構成することにより、被インター予測ブロックａの超解像画像ｄを生成する。

【0056】

図８は、単一ピクチャ超解像処理部１３の構成例を示すブロック図である。図８に示す例では、単一ピクチャ超解像処理部１３は、周波数分解部１３１と、拡大部１３２と、位置合わせ部１３３と、割付部１３４と、周波数再構成部１３５と、を備える。

【0057】

図９は、単一ピクチャ超解像処理部１３による処理を示す図である。図８及び図９を参照して単一ピクチャ超解像処理部１３の処理を説明する。

【0058】

周波数分解部１３１は、超解像処理切替部１１から入力した被イントラ予測ブロックに対して周波数分解処理を行って周波数分解画像を生成する。本実施形態では１階層の周波数分解処理を行うものとするが、複数階層の周波数分解処理を行ってもよい。周波数分解部１３１は、周波数分解処理として、例えばウェーブレット分解処理を行う。周波数分解部１３１は、被イントラ予測ブロックの周波数分解画像を拡大部１３２、位置合わせ部１３３、及び割付部１３４に出力する。

【0059】

すなわち、図９に示すように、周波数分解部１３１は、被イントラ予測ブロックαの周波数分解画像α’を生成する。１階ウェーブレット分解を行った場合、被イントラ予測ブロックαの周波数分解画像α’は、低周波成分画像ＬＬ（α）、及び高周波成分画像ＬＨ（α），ＨＬ（α），ＨＨ（α）からなる。

【0060】

拡大部１３２は、周波数分解部１３１から入力した周波数分解画像を水平方向に２倍且つ垂直方向に２倍に拡大した後、その低周波帯域成分を元のイントラ予測ブロックに置換した拡大画像を生成する。そして拡大部１３２は、生成した拡大画像を位置合わせ部１３３及び割付部１３４に出力する。

【0061】

すなわち、図９に示すように、拡大部１３２は、周波数分解画像α’を水平方向・垂直方向にそれぞれ２倍に拡大し、低周波帯域成分に被イントラ予測ブロックαを挿入した拡大画像βを生成する。拡大画像βは、低周波成分画像である被イントラ予測ブロックα、及び高周波成分画像ＬＨ（αＥ），ＨＬ（αＥ），ＨＨ（αＥ）からなる。

【0062】

位置合わせ部１３３は、拡大部１３２から入力した拡大画像における低周波帯域成分（被イントラ予測ブロック）と、周波数分解部１３１から入力した被イントラ予測ブロックにおける低周波成分画像との間で、ブロックマッチングによる位置合わせを行う。具体的には、位置合わせ部１２３は、被インター予測ブロックをさらに小ブロック（例えば、４×４画素、６×６画素、８×８画素など）に分割し、小ブロックと、該小ブロックに類似する周波数分解画像内のブロックとの位置関係を示す位置合わせ情報を生成する。ブロックマッチングは、絶対値誤差和、二乗誤差和などの差分評価関数を用いて、既知の手法により行われる。ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行ってもよい。そして、位置合わせ部１３３は、各小ブロックについて位置合わせを行い、位置合わせ情報を生成し、割付部１３４に出力する。

【0063】

すなわち、図９に示すように、位置合わせ部１３３は、被イントラ予測ブロックαと、被イントラ予測ブロックαにおける低周波成分画像ＬＬ（α）との間でブロックマッチングによる位置合わせを行う。

【0064】

さらに、位置合わせ部１３３は、差分評価関数が閾値Ｔｈ_２を超えた場合は、位置合わせ情報として採用しないようにしてもよい。この場合には、位置合わせ部１３３は、被イントラ予測ブロック毎のＱＰ情報を用いて位置合わせの制御を行ってもよい。

【0065】

例えば、ＱＰの値が大きい場合には量子化ステップが大きくなるため、ブロック歪みが大きくなり復号画像が劣化している可能性がある。そのため、位置合わせ部１３３は、ＱＰの値が大きいほど閾値Ｔｈ_２を小さくし、位置合わせ及び割り付けの精度を向上させる。

【0066】

割付部１３４は、位置合わせ部１３３から入力した位置合わせ情報に従って、拡大部１３２により生成された拡大画像のうちの高周波成分画像に割り付けを行う。割付部１３４は、割り付けを全て終えた後、水平、垂直、対角高周波成分として候補が複数存在する場合には、それらの値を平均してもよいし、最大事後確率再構成を行って未知の値を推定してもよいし、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、高周波成分画像を推定してもよい。そして、割付部１３４は、割り付け後の拡大画像を周波数再構成部１３５に出力する。

【0067】

すなわち、図９に示すように、割付部１３４は、同じ位相位置の位置合わせ情報に従って、拡大画像βにおける高周波成分画像ＬＨ（αＥ），ＨＬ（αＥ），ＨＨ（αＥ）に割り付けを行う。

【0068】

周波数再構成部１３５は、割付部１３４から入力した割り付け後の拡大画像を周波数再構成することにより、被イントラ予測ブロックの超解像画像を生成する。なお、周波数分解部１３１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１３５は、同じウェーブレットを用いてウェーブレット再構成処理を行う。

【0069】

すなわち、図９に示すように、周波数再構成部１３５は、被イントラ予測ブロックαを低周波成分とし、割り付け後の高周波成分画像ＬＨ（αＥ），ＨＬ（αＥ），ＨＨ（αＥ）を高周波成分としてウェーブレット再構成することにより、被イントラ予測ブロックαの超解像画像γを生成する。

【0070】

上述したように、超解像装置１は、復号画像を取得し、Ｐピクチャ又はＢピクチャについては、分割ブロック毎に、被インター予測ブロックであるか被イントラ予測ブロックであるかを判定する。そして、被インター予測ブロックに対しては、被インター予測ブロックと、該被インター予測ブロックの動き補償予測に使用された参照ブロックとを用いて超解像処理を行い、被イントラ予測ブロックに対しては、被イントラ予測ブロックのみを用いて超解像処理を行う。動き補償に使用された参照ブロックの画像は被インター予測ブロックの画像との類似度が高いため、複数ピクチャ超解像処理部１２は参照ブロックを含む複数ピクチャからの相似性を利用した超解像処理を行うことで、超解像画像の画質を向上させることが可能となる。また、単一ピクチャ超解像処理部１３は、単一ピクチャの相似性を利用した超解像処理を行うことで、超解像画像の画質を向上させることが可能となる。

【0071】

（プログラム）
上述した超解像装置１として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0072】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。

【0073】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0074】

例えば、超解像装置１として機能させるためのプログラムは、復号画像を取得し、Ｐピクチャ又はＢピクチャについては、分割ブロック毎に、インター予測が行われた被インター予測ブロックであるか、イントラ予測が行われた被イントラ予測ブロックであるかを判定するステップと、インター予測ブロックと、該被インター予測ブロックの動き補償予測に使用された参照ブロックと、を用いて超解像処理を行い、インター予測ブロックの超解像画像を出力するステップと、イントラ予測ブロックのみを用いて超解像処理を行い、イントラ予測ブロックの超解像画像を出力するステップと、をコンピュータに実行させる。

【0075】

また、上述した超解像装置１は、１つ又は複数の半導体チップにより構成されてもよい。この半導体チップは、超解像装置１の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。

【0076】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0077】

１ 超解像装置
２ 復号装置
１１ 超解像処理切替部
１２ 複数ピクチャ超解像処理部
１３ 単一ピクチャ超解像処理部
２１ エントロピー復号部
２２ 逆量子化部
２３ 逆変換部
２４ 加算部
２５ 記憶部
２６ 予測部
１２１，１３１ 周波数分解部
１２２，１３２ 拡大部
１２３，１３３ 位置合わせ部
１２４，１３４ 割付部
１２５，１３５ 周波数再構成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】