特許 6864557 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6864557

(24)【登録日】2021年4月6日

(45)【発行日】2021年4月28日

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/59 20140101AFI20210419BHJP

   H04N 19/63 20140101ALI20210419BHJP

   H04N 19/46 20140101ALI20210419BHJP

   H04N 19/44 20140101ALI20210419BHJP

【ＦＩ】

   H04N19/59

   H04N19/63

   H04N19/46

   H04N19/44

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2017-102924(P2017-102924)

(22)【出願日】2017年5月24日

(65)【公開番号】特開2018-198402(P2018-198402A)

(43)【公開日】2018年12月13日

【審査請求日】2020年3月31日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特開２０１６−１３４０７５（ＪＰ，Ａ）

【文献】 特開２０１２−１６４１４７（ＪＰ，Ａ）

【文献】 松尾康孝、境田慎一，色標本化構造と周波数スペクトルパワーを考慮した多重解像度成分のレジストレーション超解像，第３１回 画像符号化シンポジウム 第２１回 映像メディア処理シンポジウム，２０１６年１１月１６日，第142〜143頁

【文献】 松尾康孝，高精細映像の映像特徴を考慮した超解像技術とその応用，電子情報通信学会２０１６年総合大会講演論文集 基礎・境界／ＮＯＬＴＡ，２０１６年 ３月 １日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １／４１−１／４１９

Ｈ０４Ｎ ７／０１

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

入力画像を縮小した後に符号化する符号化装置であって、
入力画像に対して周波数分解処理を行って縮小画像を生成する縮小画像生成部と、
前記縮小画像に対して量子化処理を行って量子化係数を生成する圧縮部と、
前記量子化係数に対して伸張処理を行って縮小画像を復元し、復元縮小画像として出力する伸張部と、
前記復元縮小画像に対して周波数分解処理して高周波成分画像を生成し、該高周波成分画像のうち、パワー値が第１の閾値以上となる周波数帯域を使用帯域として決定する使用帯域決定部と、
前記量子化係数及び前記使用帯域を示す使用帯域情報を符号化したビットストリームを生成する符号化部と、
を備えることを特徴とする符号化装置。

【請求項2】

前記縮小画像生成部は、前記入力画像に対してｎ階ウェーブレット分解処理を行って低周波成分画像を生成し、該低周波成分画像の各画素値を整数化して前記縮小画像とし、
前記使用帯域決定部は、前記復元縮小画像に対してｍ階ウェーブレット分解処理を行って前記高周波成分画像を生成することを特徴とする、請求項１に記載の符号化装置。

【請求項3】

前記使用帯域決定部は、前記ｎの値が所定値以上である場合には、前記高周波成分画像のうち、前記パワー値が前記第１の閾値以上であり、且つ周波数が第２の閾値以下となる周波数帯域を前記使用帯域として決定することを特徴とする、請求項２に記載の符号化装置。

【請求項4】

前記使用帯域決定部は、前記ｎの値が大きいほど、前記第２の閾値を小さくすることを特徴とする、請求項３に記載の符号化装置。

【請求項5】

縮小された縮小画像を復元した後に超解像処理する復号装置であって、
前記縮小画像の量子化係数と、超解像処理で使用する使用帯域を示す使用帯域情報とを取得する取得部と、
前記量子化係数を逆量子化処理して前記縮小画像を復元し、復元縮小画像として出力する縮小画像復元部と、
前記復元縮小画像に対して周波数分解処理して、前記使用帯域の高周波成分画像を生成し、該高周波成分画像を前記復元縮小画像の高周波成分に割り付けることにより超解像画像を生成する超解像復元部と、
を備えることを特徴とする復号装置。

【請求項6】

縮小された縮小画像を復元した後に超解像処理する復号装置であって、
前記縮小画像の量子化係数を取得する取得部と、
前記量子化係数を逆量子化処理して前記縮小画像を復元し、復元縮小画像として出力する縮小画像復元部と、
前記復元縮小画像に対して周波数分解処理して高周波成分画像を生成し、該高周波成分画像のうち、パワー値が第１の閾値以上となる周波数帯域を使用帯域として決定する使用帯域決定部と、
前記復元縮小画像を周波数分解処理して、前記使用帯域の高周波成分画像を生成し、該高周波成分画像を前記縮小画像の高周波成分に割り付けることにより超解像画像を生成する超解像復元部と、
を備えること特徴とする復号装置。

【請求項7】

前記超解像復元部は、
前記復元縮小画像に対してウェーブレット分解処理を行って前記使用帯域を含む周波数分解画像を生成する周波数分解部と、
前記復元縮小画像と、前記周波数分解画像の低周波成分画像との間で類似するブロックの位置関係を示す位置合わせ情報を生成する位置合わせ部と、
前記位置合わせ情報に従って、前記復元縮小画像の高周波成分として、前記周波数分解画像の高周波成分画像を割り付けて超解像高周波成分画像を生成する超解像高周波成分割付部と、
前記復元縮小画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成処理して前記超解像画像を生成する周波数再構成部と、
を備えること特徴とする、請求項５又は６に記載の復号装置。

【請求項8】

コンピュータを、請求項１から４のいずれか一項に記載の符号化装置として機能させるためのプログラム。

【請求項9】

コンピュータを、請求項５から７のいずれか一項に記載の復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、及びそれらのプログラムに関する。

【背景技術】

【0002】

従来、入力画像を縮小した後に、符号化及び復号し、復号した縮小画像を超解像処理して復元する技術が知られている。例えば、特許文献１には、縮小後に符号化・復号した映像を、フレーム間動きベクトルを用いて高解像度化する装置が開示されている。

【0003】

また、特許文献２には、データ圧縮を行いつつ、不自然さを感じさせないテクスチャの表現方法を提供する装置が開示されている。具体的には、入力信号を２つの周波数領域のサブバンドに分離して、低周波成分は従来の符号化装置によって符号化し、高周波成分は代表的なテクスチャパラメータを計算するために分析され、計算したテクスチャパラメータを復号側に送信する。そして、復号側で低周波成分を復号し、高周波成分は不自然ではないテクスチャと置き換る。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４８７６０４８号公報

【特許文献2】国際公開第２００８／０６６０２５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載の装置においては、動いていない箇所では高解像度化が難しく、また、復号映像のフレーム間動きベクトルを用いて高解像度化することもできるが、高画質な高解像度化を行うには符号化側で入力映像のフレーム間動きベクトルを求めてこれを復号側へ伝送する必要がある、という課題がある。

【0006】

また、特許文献２に記載の装置においては、高周波成分のテクスチャパラメータを伝送する必要があり、また、復号側にテクスチャパラメータに基づく高周波成分のデータベースを用意しておく必要がある、という課題がある。

【0007】

かかる事情に鑑みてなされた本発明の目的は、上記課題を解決し、入力画像を縮小して符号化効率を向上させるとともに、縮小処理及び符号化処理により失われた高周波成分を高画質に超解像復元することが可能な映像符号化装置、映像復号装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明に係る符号化装置は、入力画像を縮小した後に符号化する符号化装置であって、入力画像に対して周波数分解処理を行って縮小画像を生成する縮小画像生成部と、前記縮小画像に対して量子化処理を行って量子化係数を生成する圧縮部と、前記量子化係数に対して伸張処理を行って縮小画像を復元し、復元縮小画像として出力する伸張部と、前記復元縮小画像に対して周波数分解処理して高周波成分画像を生成し、該高周波成分画像のうち、パワー値が第１の閾値以上となる周波数帯域を使用帯域として決定する使用帯域決定部と、前記量子化係数及び前記使用帯域を示す使用帯域情報を符号化したビットストリームを生成する符号化部と、を備えることを特徴とする。

【0009】

さらに、本発明に係る符号化装置において、前記縮小画像生成部は、前記入力画像に対してｎ階ウェーブレット分解処理を行って低周波成分画像を生成し、該低周波成分画像の各画素値を整数化して前記縮小画像とし、前記使用帯域決定部は、前記復元縮小画像に対してｍ階ウェーブレット分解処理を行って前記高周波成分画像を生成することを特徴とする。

【0010】

さらに、本発明に係る符号化装置において、前記使用帯域決定部は、前記ｎの値が所定値以上である場合には、前記高周波成分画像のうち、前記パワー値が前記第１の閾値以上であり、且つ周波数が第２の閾値以下となる周波数帯域を前記使用帯域として決定することを特徴とする。

【0011】

さらに、本発明に係る符号化装置において、前記使用帯域決定部は、前記ｎの値が大きいほど、前記第２の閾値を小さくすることを特徴とする。

【0012】

また、上記課題を解決するため、本発明に係る復号装置は、縮小された縮小画像を復元した後に超解像処理する復号装置であって、前記縮小画像の量子化係数と、超解像処理で使用する使用帯域を示す使用帯域情報とを取得する取得部と、前記量子化係数を逆量子化処理して前記縮小画像を復元し、復元縮小画像として出力する縮小画像復元部と、前記復元縮小画像に対して周波数分解処理して、前記使用帯域の高周波成分画像を生成し、該高周波成分画像を前記復元縮小画像の高周波成分に割り付けることにより超解像画像を生成する超解像復元部と、を備えることを特徴とする。

【0013】

また、上記課題を解決するため、本発明に係る復号装置は、縮小された縮小画像を復元した後に超解像処理する復号装置であって、前記縮小画像の量子化係数を取得する取得部と、前記量子化係数を逆量子化処理して前記縮小画像を復元し、復元縮小画像として出力する縮小画像復元部と、前記復元縮小画像に対して周波数分解処理して高周波成分画像を生成し、該高周波成分画像のうち、パワー値が第１の閾値以上となる周波数帯域を使用帯域として決定する使用帯域決定部と、前記復元縮小画像を周波数分解処理して、前記使用帯域の高周波成分画像を生成し、該高周波成分画像を前記縮小画像の高周波成分に割り付けることにより超解像画像を生成する超解像復元部と、を備えること特徴とする。

【0014】

さらに、本発明に係る復号装置において、前記超解像復元部は、前記復元縮小画像に対してウェーブレット分解処理を行って前記使用帯域を含む周波数分解画像を生成する周波数分解部と、前記復元縮小画像と、前記周波数分解画像の低周波成分画像との間で類似するブロックの位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記位置合わせ情報に従って、前記復元縮小画像の高周波成分として、前記周波数分解画像の高周波成分画像を割り付けて超解像高周波成分画像を生成する超解像高周波成分割付部と、前記復元縮小画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成処理して前記超解像画像を生成する周波数再構成部と、を備えること特徴とする。

【0015】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

【0016】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記復号装置として機能させることを特徴とする。

【発明の効果】

【0017】

本発明によれば、符号化側において、入力画像を縮小するため、符号化効率を向上させることができる。また、復号側において、符号化側の縮小処理及び符号化処理により失われた高周波成分を、高画質に超解像復元することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。

【図2】本発明の第１の実施形態に係る符号化装置における縮小画像生成部の処理例を示す図である。

【図3】本発明の第２の実施形態に係る復号装置の構成例を示すブロック図である。

【図4】本発明の第２の実施形態に係る復号装置における超解像復元部の構成例を示すブロック図である。

【図5】本発明の第２の実施形態に係る復号装置における位置合わせ部の処理の概要を示す図である。

【図6】本発明の第２の実施形態に係る復号装置における超解像高周波成分割付部の処理の概要を示す図である。

【図7】本発明の第２の実施形態に係る復号装置における周波数再構成部の処理の概要を示す図である。

【図8】本発明の第１の実施形態に係る符号化装置の変形例の構成例を示すブロック図である。

【図9】本発明の第２の実施形態に係る復号装置の変形例の構成例を示すブロック図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0020】

（符号化装置）
図１は、本発明の第１の実施形態に係る符号化装置１の構成例を示すブロック図である。符号化装置１は、入力画像を縮小した後に符号化し、ビットストリームを生成して外部に出力する。図１に示す例では、符号化装置１は、縮小画像生成部１０と、圧縮部２０と、伸張部３０と、使用帯域決定部４０と、エントロピー符号化部５０とを備える。

【0021】

縮小画像生成部１０は、入力画像に対して周波数分解（多重解像度分解）処理を行って低周波成分を四捨五入などにより整数化し、縮小画像として生成し、圧縮部２０に出力する。縮小率は伝送容量に応じて適宜決定可能である。縮小画像生成部１０は、周波数分解として、ウェーブレット分解を用いることができる。ｎ階ウェーブレット分解をした場合には、入力画像の低周波成分画像ＬＬ^ｎが生成される。ここで、添え字のｎは分解階数を意味する。

【0022】

図２は、縮小画像生成部１０の処理例を示す図である。図２では、入力画像に対する１階ウェーブレット分解処理を示している。低周波成分画像ＬＬ^１の各画素値を四捨五入などにより整数化して縮小画像とする。高周波成分画像ＬＨ^１，ＨＬ^１，ＨＨ^１は使用されないため、縮小画像生成部１０から出力しない。図２の例では分解階数ｎ＝１であるため、水平方向及び垂直方向の縮小率がともに１/２の縮小画像が生成される。

【0023】

圧縮部２０は、縮小画像生成部１０により生成された縮小画像に対して量子化処理を行って量子化係数を生成し、伸張部３０及びエントロピー符号化部５０に出力する。圧縮部２０の処理は、ＪＰＥＧ２０００、ＡＶＣ/Ｈ.２６４、ＨＥＶＣ/Ｈ.２６５などの既知の方式により行う。

【0024】

圧縮部２０は、例えば図１に示すように、ブロック分割部２１と、減算部２２と、変換部２３と、量子化部２４と、予測部２５とを備える。

【0025】

ブロック分割部２１は、縮小画像生成部１０により生成された縮小画像を複数のブロックに分割し、ブロック画像を減算部２２、及び予測部２５に出力する。ブロックのサイズは可変サイズであってもよく、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素とする。

【0026】

減算部２２は、ブロック分割部２１により生成されたブロック画像の各画素値から、後述する予測部２５から入力された予測画像の各画素値を減算して残差ブロック画像を生成し、変換部２３に出力する。

【0027】

変換部２３は、減算部２２から入力された残差ブロック画像に対して直交変換などの変換処理を行って二次元変換処理された変換係数を算出し、ブロックごとの変換係数を量子化部２４に出力する。

【0028】

量子化部２４は、変換部２３から入力されたブロックごとの変換係数を量子化ステップで除算して量子化することにより量子化係数を生成し、伸張部３０及びエントロピー符号化部５０に出力する。

【0029】

予測部２５は、後述する記憶部３４に記憶された復元縮小画像を参照してイントラ予測又はインター予測を行って予測画像を生成し、減算部２２に出力する。また、イントラ予測を行った場合には選択したイントラ予測モードを示す予測情報をエントロピー符号化部５０に出力し、インター予測を行った場合には動きベクトルを示す予測情報をエントロピー符号化部５０に出力する。

【0030】

伸張部３０は、圧縮部２０により生成された量子化係数に対して伸張処理を行って縮小画像を復元し、復元縮小画像として使用帯域決定部４０に出力する。伸張部３０の処理は、ＪＰＥＧ２０００、ＡＶＣ/Ｈ.２６４、ＨＥＶＣ/Ｈ.２６５などの既知の方式により行う。

【0031】

伸張部３０は、例えば図１に示すように、逆量子化部３１と、逆変換部３２と、加算部３３と、記憶部３４とを備える。

【0032】

逆量子化部３１は、量子化部２４から入力された量子化係数に対して、量子化ステップを乗ずることによりブロックごとの変換係数を復元し、逆変換部３２に出力する。

【0033】

逆変換部３２は、逆量子化部３１から入力された変換係数に対して、変換部２３で行った変換の逆変換を行って残差ブロック画像を復元し、加算部３３に出力する。例えば、変換部２３が離散コサイン変換を行った場合には、逆変換部３２は逆離散コサイン変換を行う。

【0034】

加算部３３は、逆変換部３２から入力された残差ブロック画像と、予測部２５から入力された予測画像の各画素値とを加算して復元縮小画像をブロック単位で生成し、記憶部３４に出力する。

【0035】

使用帯域決定部４０は、復元縮小画像に対して周波数分解処理し、高周波成分画像を生成する。使用帯域決定部４０は、周波数分解として、ウェーブレット分解を用いることができる。本実施形態では、ｍ階ウェーブレット分解処理して高周波成分画像ＬＨ^ｋ，ＨＬ^ｋ，ＨＨ^ｋ（ｋ＝１〜ｍ）を生成する。そして、使用帯域決定部４０は、高周波成分画像ＬＨ^ｋ，ＨＬ^ｋ，ＨＨ^ｋから、後述する復号装置における超解像処理で使用される帯域である使用帯域αを決定し、使用帯域αを示す使用帯域情報をエントロピー符号化部５０に出力する。

【0036】

使用帯域決定部４０による使用帯域決定方法について、以下に説明する。第１の使用帯域決定方法では、高周波成分画像ＬＨ^ｋ，ＨＬ^ｋ，ＨＨ^ｋのうち、パワー値が閾値Ｐ以上となる周波数帯域を使用帯域αと決定する。パワー値は、例えばＲＭＳ（Root Mean Square）値とする。高周波成分画像ＬＨ^ｋ，ＨＬ^ｋ，ＨＨ^ｋのパワー値のいずれかが閾値Ｐ以上であれば、該高周波成分画像ＬＨ^ｋ，ＨＬ^ｋ，ＨＨ^ｋの周波数帯域全てを使用帯域αとしてもよい。例えば、分解階数ｍ＝５で、高周波成分画像ＬＨ^３とＨＬ^４のパワー値が閾値以上であれば、高周波成分画像ＬＨ^３，ＨＬ^３，ＨＨ^３，ＬＨ^４，ＨＬ^４，ＨＨ^４の周波数帯域を使用帯域αと決定する。この場合、使用帯域αを分解階数で示すことも可能なので、α＝３，４としてもよい。

【0037】

次に、第２の使用帯域決定方法では、縮小画像生成部１０におけるウェーブレット分解の分解階数ｎが所定値ｘ（例えば、ｘ＝２）以上である場合には、パワー値が閾値Ｐ以上であり、且つ周波数が閾値Ｆ以下となる周波数帯域を使用帯域αと決定する。この理由は、縮小画像生成部１０におけるウェーブレット分解の分解階数ｎが大きくなると縮小画像に折り返しひずみが生じる。この場合に、復号側で、復元した縮小画像を再度ｎ階ウェーブレット分解して超解像処理するときに高周波成分を使用帯域とすると、画像が劣化するおそれがあるからである。

【0038】

さらに、第３の使用帯域決定方法では、第２の使用帯域決定方法において、分解階数ｎが大きいほど閾値Ｆを小さくする。分解階数が大きいほど、生成される画像の周波数帯域は低くなるため、具体的には、使用帯域を（ｎ＋１）階以上の高周波成分画像から決定するようにしてもよい。例えば、第２の使用帯域決定方法で例示したように分解階数ｍ＝５で、ＬＨ^３とＨＬ^４のＲＭＳ値が閾値Ｐ以上であった場合に、ｎ＝３であるときには、高周波成分画像ＬＨ^４，ＨＬ^４，ＨＨ^４の周波数帯域を使用帯域αと決定する。

【0039】

エントロピー符号化部５０は、量子化部２４から入力された量子化係数、予測部２５から入力された予測情報、及び使用帯域決定部４０から入力された使用帯域情報に対してエントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置１の外部に出力する。

【0040】

ここで、上述した符号化装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0041】

上述したように、本発明に係る符号化装置及びそのプログラムは、入力画像を縮小した縮小画像を生成するとともに、縮小画像を復元した復元縮小画像の解析を行い、復号側の超解像処理に使用する使用帯域を決定する。これにより、余分な情報（高周波成分のテクスチャパラメータなど）を別途復号側に伝送する必要がなくなり、符号化効率を向上させることが可能となる。

【0042】

（復号装置）
次に、復号装置について説明する。図３は、本発明の第２の実施形態に係る復号装置３の構成例を示すブロック図である。

【0043】

復号装置３は、符号化装置１からビットストリームを取得し、縮小された縮小画像を復号した後に超解像処理し、縮小画像よりも解像度の高い超解像画像を生成する。図３に示す例では、復号装置３は、エントロピー復号部（取得部）６０と、縮小画像復元部７０と、超解像復元部８０とを備える。

【0044】

エントロピー復号部６０は、符号化装置１のエントロピー符号化部５０と対をなし、エントロピー符号化部５０で符号化されたビットストリームを復号し、縮小画像の量子化係数、予測処理に必要な情報である予測情報、及び超解像処理に必要な情報である使用帯域情報を取得する。そして、量子化係数を逆量子化部７１に出力し、予測情報を予測部７５に出力し、使用帯域情報を超解像復元部８０に出力する。

【0045】

縮小画像復元部７０は、エントロピー復号部６０により復号された、縮小画像の量子化係数を入力し、逆量子化処理して縮小画像を復元し、復元縮小画像として超解像復元部８０に出力する。図３に示す例では、縮小画像復元部７０は、逆量子化部７１と、逆変換部７２と、加算部７３と、記憶部７４と、予測部７５とを備える。

【0046】

逆量子化部７１は、エントロピー復号部６０から入力された量子化係数に量子化ステップを乗算してブロックごとの変換係数を復元し、逆変換部７２に出力する。なお、量子化ステップは符号化装置１から取得してもよいし、予め符号化装置１と共通の量子化テーブルを有していてもよい。

【0047】

逆変換部７２は、逆量子化部７１から入力された変換係数に対して逆変換を行って残差ブロック画像を復元し、加算部７３に出力する。逆変換は、符号化装置１の逆変換部３２と同じ処理である。

【0048】

加算部７３は、逆変換部７２から入力された残差ブロック画像と、予測部７５から入力された予測画像の各画素値とを加算し、復元縮小画像をブロック単位で生成し、記憶部７４、及び超解像復元部８０に出力する。

【0049】

記憶部７４は、加算部７３から入力された復号ブロック画像を記憶する。

【0050】

予測部７５は、記憶部７４に記憶された復元縮小画像を参照し、エントロピー復号部６０から入力された予測情報に従って予測処理を行って予測画像を生成し、加算部７３に出力する。

【0051】

超解像復元部８０は、縮小画像復元部７０により復元された縮小画像（復元縮小画像）を、周波数分解処理する。その際に、エントロピー復号部６０により復号された使用帯域情報が示す使用帯域αの高周波成分画像を生成し、該高周波成分画像を復元縮小画像の高周波成分に割り付けることにより超解像画像を生成し、復号装置３の外部に出力する。

【0052】

図４は、超解像復元部８０の構成例を示すブロック図である。図４に示す例では、超解像復元部８０は、周波数分解部８１と、位置合わせ部８２と、超解像高周波成分割付部８３と、周波数再構成部８４とを備える。

【0053】

周波数分解部８１は、エントロピー復号部６０から使用帯域αを取得する。そして、復元縮小画像に対して周波数分解（多重解像度分解）処理を行って使用帯域αを含む周波数分解画像を生成し、位置合わせ部８２に出力する。周波数分解部８１は、周波数分解処理として、ウェーブレット分解処理を行うことができる。以下の説明では、αが分解階数を示しているものとする。周波数分解画像は、縮小画像の低周波成分画像ＬＬ^αと、縮小画像の高周波成分画像である水平高周波成分画像ＬＨ^α、垂直高周波成分画像ＨＬ^α、及び対角高周波成分画像ＨＨ^αとからなる。

【0054】

位置合わせ部８２は、復元縮小画像と低周波成分画像ＬＬ^αとの間で対応する位置関係を示す位置合わせ情報（レジストレーション情報）を生成し、超解像高周波成分割付部８３に出力する。

【0055】

図５は、位置合わせ部８２における位置合わせ処理の概要を示す図である。位置合わせ部８２は、例えば復元縮小画像を基準フレームとし、低周波成分画像ＬＬ^αを参照フレームとして、両フレーム間でブロックマッチングを行い、探索範囲内で類似度（相関性）の最も高いブロックの位置関係を示す位置合わせ情報を生成する。図５ではα＝１としているが、αは複数であってもよい。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、ＳＡＤ又はＳＳＤの評価関数値が閾値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。

【0056】

【数1】

【0057】

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

【0058】

超解像高周波成分割付部８３は、位置合わせ部８２により生成された位置合わせ情報に従って、超解像高周波成分画像の高周波成分として、周波数分解部８１により生成された高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αを割り付けて超解像高周波成分画像を生成し、周波数再構成部８４に出力する。

【0059】

図６は、超解像高周波成分割付部８３の処理の概要を示す図である。超解像高周波成分割付部８３は、位置合わせ情報に従って、高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αを、超解像水平成分画像、超解像垂直成分画像、及び超解像対角成分画像に割り付ける。ここで、高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αを割り付ける際には、低周波成分画像ＬＬ^α内の同じ位相位置の位置合わせ情報に従うこととする。これは、復元縮小画像内のブロックＡが低周波成分画像ＬＬ^α内のブロックＢに類似していれば、未知の超解像水平成分画像、超解像垂直成分画像、超解像対角成分画像内における、ブロックＡと同じ位相位置のブロックは、高周波成分ＬＨ^α，ＨＬ^α，ＨＨ^α内における、ブロックＢと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。

【0060】

超解像高周波成分割付部８３は、水平、垂直、対角超解像成分として割り付ける候補が複数存在する場合には、それらの値を平均するか、最大事後確率（Maximum a posteriori；ＭＡＰ）再構成を行い、未知の値を推定する。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: “A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”, IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、超解像高周波成分画像を推定してもよい。

【0061】

周波数再構成部８４は、縮小画像復元部７０により生成された復元縮小画像を低周波成分とし、超解像高周波成分割付部８３により割り付けられた超解像高周波成分画像を高周波成分として、周波数再構成処理して超解像画像を生成し、外部に出力する。なお、周波数分解部８１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部８４は、同じウェーブレットを用いてウェーブレット再構成処理を行う。

【0062】

図７は、周波数再構成部８４の処理の概要を示す図である。符号化装置で１階ウェーブレット分解処理が行われていた場合には、周波数再構成部８４は、図７に示すように１階ウェーブレット再構成処理を行うことで、縮小画像に対して水平方向の画素数を２倍、垂直方向の画素数を２倍とし、符号化装置１に入力された入力画像と同じサイズ（解像度）の超解像画像を生成する。

【0063】

ここで、上述した復号装置３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置３の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0064】

上述したように、本発明に係る復号装置及びそのプログラムは、超解像処理で使用する使用帯域情報を符号化側から取得し、復元縮小画像を周波数分解処理して、使用帯域情報に基づく高周波成分画像を生成し、該高周波成分画像を前記復元縮小画像の高周波成分に割り付けることにより超解像画像を生成する。これにより、復号側で高周波成分のデータベースを用意することなく、符号化側の縮小処理及び符号化処理により失われた高周波成分を高画質に超解像復元することができる。また、符号化側の縮小率と復号側の拡大率を逆数とすることにより、符号化側の入力画像の解像度を変えずに高周波成分を付加した超解像画像を復元することができる。

【0065】

（変形例）
次に、上述の符号化装置１及び復号装置３の変形例について説明する。上述の実施形態では、符号化側で使用帯域αを決定したが、変形例では復号側で使用帯域αを決定する。

【0066】

図８は、符号化装置１の変形例である符号化装置２の構成例を示すブロック図である。図９は、復号装置３の変形例である復号装置４の構成例を示すブロック図である。符号化装置２が使用帯域決定部４０を備えない代わりに、復号装置４が使用帯域決定部４０を備える。

【0067】

復号装置４は、符号化装置２からビットストリームを取得し、縮小された縮小画像を復号した後に超解像処理し、縮小画像よりも解像度の高い超解像画像を生成する。

【0068】

復号装置４の縮小画像復元部７０は、復号装置３と同様に、符号化装置２により生成された、縮小画像のビットストリームを入力し、復号して縮小画像を復元する。そして、復元縮小画像を使用帯域決定部４０及び超解像復元部８０に出力する。

【0069】

復号装置４の使用帯域決定部４０は、縮小画像復元部７０により復元された復元縮小画像に対して周波数分解処理し、高周波成分画像のパワー値（例えば、ＲＭＳ値）を計算する。そして、パワー値に基づいて使用帯域αを決定し、超解像復元部８０に出力する。使用帯域αの決定方法は、上述した符号化装置１における使用帯域決定部４０と同様であるため、説明を省略する。

【0070】

復号装置４の超解像復元部８０は、縮小画像復元部７０により復元された復元縮小画像と、使用帯域決定部４０により決定された使用帯域αとを用いて、復号装置３と同様に、超解像画像を生成する。

【0071】

ここで、上述した符号化装置２又は復号装置４として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置２又は復号装置４の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0072】

変形例では、符号化側が使用帯域情報を出力しない場合でも、復号側で復元縮小画像を解析して超解像処理に使用する使用帯域を決定することにより、高精度な超解像復元を実現することができる。

【0073】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【0074】

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

【符号の説明】

【0075】

１，２ 符号化装置
３，４ 復号装置
１０ 縮小画像生成部
２０ 圧縮部
２１ ブロック分割部
２２ 減算部
２３ 変換部
２４ 量子化部
２５ 予測部
３０ 伸張部
３１ 逆量子化部
３２ 逆変換部
３３ 加算部
３４ 記憶部
４０ 使用帯域決定部
５０ エントロピー符号化部
６０ エントロピー復号部（取得部）
７０ 縮小画像復元部
７１ 逆量子化部
７２ 逆変換部
７３ 加算部
７４ 記憶部
７５ 予測部
８０ 超解像復元部
８１ 周波数分解部
８２ 位置合わせ部
８３ 超解像高周波成分割付部
８４ 周波数再構成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】