特許 5965760 画像符号化装置、画像復号装置およびそれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5965760

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月10日

(54)【発明の名称】画像符号化装置、画像復号装置およびそれらのプログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20160728BHJP

   H04N 19/59 20140101ALI20160728BHJP

   H04N 1/41 20060101ALI20160728BHJP

【ＦＩ】

   H04N19/85

   H04N19/59

   H04N1/41 B

【請求項の数】6

【全頁数】23

(21)【出願番号】特願2012-157960(P2012-157960)

(22)【出願日】2012年7月13日

(65)【公開番号】特開2014-22845(P2014-22845A)

(43)【公開日】2014年2月3日

【審査請求日】2015年6月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１２−０６０３０６（ＪＰ，Ａ）

【文献】 特開２０１２−０５４８７５（ＪＰ，Ａ）

【文献】 特開２０１１−２３４３１６（ＪＰ，Ａ）

【文献】 特開２０１１−００４３４５（ＪＰ，Ａ）

【文献】 特開２０１０−０４１６５４（ＪＰ，Ａ）

【文献】 特開平０４−０９７６８１（ＪＰ，Ａ）

【文献】 国際公開第２００６／０５４５０７（ＷＯ，Ａ１）

【文献】 国際公開第２００６／００１３８４（ＷＯ，Ａ１）

【文献】 松尾康孝 他，パラメータ最適化によるデジタルシネマから超高精細映像への超解像法の検討，２０１２年電子情報通信学会総合大会講演論文集 情報・システム２，電子情報通信学会，２０１２年 ３月，D-11-19，p.19

【文献】 松尾康孝 他，デジタルシネマから超高精細映像への画像超解像法の一検討，２０１１年映像情報メディア学会冬季大会講演予稿集，映像情報メディア学会，２０１１年１１月，1-4，p.1

【文献】 松尾康孝 他，ウェーブレット超解像に基づく超高精細映像符号化の検討，２０１０年映像情報メディア学会年次大会講演予稿集，映像情報メディア学会，２０１０年 ８月，14-10，pp.1-2

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

Ｈ０４Ｎ １／４１ − １／４１９

(57)【特許請求の範囲】

【請求項1】

入力画像を縮小し、縮小画像を生成する画像縮小部と、
前記縮小画像を符号化する符号化部と、
前記符号化した縮小画像を復号する復号部と、
前記復号した縮小画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第１の画像と、該雑音成分からなる第２の画像とを生成する雑音・信号分離部と、
前記第１の画像を超解像して、第１の超解像画像を生成する信号成分超解像部と、
前記第２の画像を、前記信号成分超解像部とは異なる方法で超解像して、第２の超解像画像を生成する雑音成分超解像部と、
前記第１の超解像画像と、前記第２の超解像画像とを加算して、前記復号した縮小画像の超解像画像を得る加算部と、
前記復号した縮小画像の超解像画像と前記入力画像とを比較して、前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方の超解像に関する超解像パラメータを決定する超解像パラメータ決定部と、
前記符号化した縮小画像と、前記決定した超解像パラメータとを含む符号化データを生成する符号化データ生成部と
を具備することを特徴とする画像符号化装置。

【請求項2】

前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方は、前記超解像を生成する際に、バイラテラルフィルタによるフィルタリングを行い、
前記超解像パラメータは、前記バイラテラルフィルタの分散値を含むことを特徴とする請求項１に記載の画像符号化装置。

【請求項3】

コンピュータを、請求項１または請求項２に記載の画像符号化装置として機能させるためのプログラム。

【請求項4】

符号化データから符号化した画像と超解像パラメータとを抽出するデータ分離部と、
前記符号化した画像を復号し、縮小画像を生成する復号部と、
前記縮小画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第１の画像と、該雑音成分からなる第２の画像とを生成する雑音・信号分離部と、
前記第１の画像を超解像して、第１の超解像画像を生成する信号成分超解像部と、
前記第２の画像を、前記信号成分超解像部とは異なる方法で超解像して、第２の超解像画像を生成する雑音成分超解像部と、
前記第１の超解像画像と、前記第２の超解像画像とを加算して、前記縮小画像の超解像画像を得る加算部と
を具備し、前記信号成分超解像部と前記雑音成分超解像部とのうち、少なくとも一方は、前記超解像パラメータを用いて超解像することを特徴とする画像復号装置。

【請求項5】

前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方は、前記超解像を生成する際に、バイラテラルフィルタによるフィルタリングを行い、
前記超解像パラメータは、前記バイラテラルフィルタの分散値を含むことを特徴とする請求項４に記載の画像復号装置。

【請求項6】

コンピュータを、請求項４または請求項５に記載の画像復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化装置、画像復号装置およびそれらのプログラムに関する。

【背景技術】

【0002】

従来、符号化側では、原画像を画像縮小した後、符号化して符号化データを生成し、復号側では、符号化データを復号した後、超解像する、画像復元型の符号化方法がある（非特許文献１参照）。ここで、用いられる超解像では、まず、入力画像（ここでは、符号化データを復号した画像）をウェーブレット一階分解して得られる水平高周波成分Ｈ、垂直高周波成分Ｖ、対角高周波成分Ｄの各々を低周波成分とみなして、別々にウェーブレット再構成し、水平高周波成分Ｈ’、垂直高周波成分Ｖ’、対角高周波成分Ｄ’を生成する。そして、入力画像を低周波成分とみなし、入力画像と、先のウェーブレット再構成により得られた水平高周波成分Ｈ’と、垂直高周波成分Ｖ’と、対角高周波成分Ｄ’とを用いて、ウェーブレット再構成して、超解像画像を得ている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｙ．Ｍａｔｓｕｏ，Ｔ．Ｍｉｓｕ，Ｓ．Ｓａｋａｉｄａ，Ｙ．Ｓｈｉｓｈｉｋｕｉ，“Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｗａｖｅｌｅｔ Ｉｍａｇｅ Ｓｉｚｅ Ｒｅｄｕｃｔｉｏｎ ａｎｄ Ｗａｖｅｌｅｔ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １８ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ２０１１），ＭＧ．ＰＧ．６，ｐ．１１８１−１１８４，２０１１年

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の非特許文献１における超解像においては、雑音成分の多い画像を超解像すると、良好な画質の画像が得られないことがあるという問題がある。

【0005】

本発明は、このような事情に鑑みてなされたもので、その目的は、雑音成分の多い画像を処理したときに、良好な画質の画像を得ることが出来る画像符号化装置、画像復号装置、超解像装置およびそれらのプログラムを提供することにある。

【課題を解決するための手段】

【0006】

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力画像を縮小し、縮小画像を生成する画像縮小部と、前記縮小画像を符号化する符号化部と、前記符号化した縮小画像を復号する復号部と、前記復号した縮小画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第１の画像と、該雑音成分からなる第２の画像とを生成する雑音・信号分離部と、前記第１の画像を超解像して、第１の超解像画像を生成する信号成分超解像部と、前記第２の画像を、前記信号成分超解像部とは異なる方法で超解像して、第２の超解像画像を生成する雑音成分超解像部と、前記第１の超解像画像と、前記第２の超解像画像とを加算して、前記復号した縮小画像の超解像画像を得る加算部と、前記復号した縮小画像の超解像画像と前記入力画像とを比較して、前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方の超解像に関する超解像パラメータを決定する超解像パラメータ決定部と、前記符号化した縮小画像と、前記決定した超解像パラメータとを含む符号化データを生成する符号化データ生成部とを具備することを特徴とする画像符号化装置である。

【0007】

（２）また、本発明の他の態様は、（１）に記載の画像符号化装置であって、前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方は、前記超解像を生成する際に、バイラテラルフィルタによるフィルタリングを行い、前記超解像パラメータは、前記バイラテラルフィルタの分散値を含むことを特徴とする。

【0008】

（３）また、本発明の他の態様は、（１）に記載の画像符号化装置であって、前記雑音・信号分離部は、前記復号した縮小画像を、時空間ウェーブレット一階分解する時空間ウェーブレット一階分解部と、前記時空間ウェーブレット一階分解の結果のうち、時空間高周波成分を参照して、雑音を含む画素を判定し、前記時空間ウェーブレット一階分解の結果から雑音成分を分離する雑音成分分離部と、前記分離した雑音成分を、ウェーブレット一階再構成して、前記第２の画像を生成する雑音成分再構成部と、前記雑音成分分離部が前記雑音成分を分離した残りの成分である信号成分を、ウェーブレット一階再構成して、前記第１の画像を生成する信号成分再構成部とを具備することを特徴とする。

【0009】

（４）また、本発明の他の態様は、（１）に記載の画像符号化装置であって、前記雑音成分超解像部は、垂直方向および水平方向に前記縮小画像の２倍の画素数を有する画像をウェーブレット一階分解した際の低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに、それぞれ前記第２の画像を配置する雑音成分配置部と、前記雑音成分配置部による配置結果を、ウェーブレット一階再構成して、前記第２の超解像画像を生成するウェーブレット一階再構成部とを具備することを特徴とする。

【0010】

（５）また、本発明の他の態様は、符号化データから符号化した画像と超解像パラメータとを抽出するデータ分離部と、前記符号化した画像を復号し、縮小画像を生成する復号部と、前記縮小画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第１の画像と、該雑音成分からなる第２の画像とを生成する雑音・信号分離部と、前記第１の画像を超解像して、第１の超解像画像を生成する信号成分超解像部と、前記第２の画像を、前記信号成分超解像部とは異なる方法で超解像して、第２の超解像画像を生成する雑音成分超解像部と、前記第１の超解像画像と、前記第２の超解像画像とを加算して、前記縮小画像の超解像画像を得る加算部とを具備し、前記信号成分超解像部と前記雑音成分超解像部とのうち、少なくとも一方は、前記超解像パラメータを用いて超解像することを特徴とする画像復号装置である。

【0011】

（６）また、本発明の他の態様は、（５）に記載の画像復号装置であって、前記信号成分超解像部と前記雑音成分超解像部との少なくとも一方は、前記超解像を生成する際に、バイラテラルフィルタによるフィルタリングを行い、前記超解像パラメータは、前記バイラテラルフィルタの分散値を含むことを特徴とする。

【0012】

（７）また、本発明の他の態様は、（５）に記載の画像復号装置であって、前記雑音・信号分離部は、前記復号した縮小画像を、時空間ウェーブレット一階分解する時空間ウェーブレット一階分解部と、前記時空間ウェーブレット一階分解の結果のうち、時空間高周波成分を参照して、雑音を含む画素を判定し、前記時空間ウェーブレット一階分解の結果から雑音成分を分離する雑音成分分離部と、前記分離した雑音成分を、ウェーブレット一階再構成して、前記第２の画像を生成する雑音成分再構成部と、前記雑音成分分離部が前記雑音成分を分離した残りの成分である信号成分を、ウェーブレット一階再構成して、前記第１の画像を生成する信号成分再構成部とを具備することを特徴とする。

【0013】

（８）また、本発明の他の態様は、（５）に記載の画像復号装置であって、前記雑音成分超解像部は、垂直方向および水平方向に前記縮小画像の２倍の画素数を有する画像をウェーブレット一階分解した際の低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに、それぞれ前記第２の画像を配置する雑音成分配置部と、前記雑音成分配置部による配置結果を、ウェーブレット一階再構成して、前記第２の超解像画像を生成するウェーブレット一階再構成部とを具備することを特徴とする。

【0014】

（９）また、本発明の他の態様は、コンピュータを、（１）から（４）のいずれかの画像符号化装置として機能させるためのプログラムである。

【0015】

（１０）また、本発明の他の態様は、コンピュータを、（５）から（８）のいずれかに記載の画像復号装置として機能させるためのプログラムである。

【0016】

（ａ１）また、本発明の他の態様は、入力画像の各画素値を、雑音成分と信号成分とに分離して、該信号成分からなる第１の画像と、該雑音成分からなる第２の画像とを生成する雑音・信号分離部と、前記第１の画像を超解像して、第１の超解像画像を生成する信号成分超解像部と、前記第２の画像を、前記信号成分超解像部とは異なる方法で超解像して、第２の超解像画像を生成する雑音成分超解像部と、前記第１の超解像画像と、前記第２の超解像画像とを加算して、前記入力画像の超解像画像を得る加算部とを具備することを特徴とする超解像装置である。

【0017】

（ａ２）また、本発明の他の態様は、（ａ１）に記載の超解像装置であって、前記雑音・信号分離部は、前記入力画像を、時空間ウェーブレット一階分解する時空間ウェーブレット一階分解部と、前記時空間ウェーブレット一階分解の結果のうち、時空間高周波成分を参照して、雑音を含む画素を判定し、前記時空間ウェーブレット一階分解の結果から雑音成分を分離する雑音成分分離部と、前記分離した雑音成分を、ウェーブレット一階再構成して、前記第２の画像を生成する雑音成分再構成部と、前記雑音成分分離部が前記雑音成分を分離した残りの成分である信号成分を、ウェーブレット一階再構成して、前記第１の画像を生成する信号成分再構成部とを具備することを特徴とする。

【0018】

（ａ３）また、本発明の他の態様は、（ａ１）に記載の超解像装置であって、前記雑音成分超解像部は、垂直方向および水平方向に前記入力画像の２倍の画素数を有する画像をウェーブレット一階分解した際の低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに、それぞれ前記第２の画像を配置する配置部と、前記配置部による配置結果を、ウェーブレット一階再構成して、前記第２の超解像画像を生成するウェーブレット一階再構成部とを具備することを特徴とする。

【0019】

（ａ４）また、本発明の他の態様は、（ａ３）に記載の超解像装置であって、前記雑音成分超解像部は、前記再構成部がウェーブレット一階再構成して得られた画像の画素値を、前記入力画像の雑音レベルで正規化して、前記第２の超解像画像とする画素値正規化部を具備することを特徴とする。

【0020】

（ａ５）また、本発明の他の態様は、（ａ３）に記載の超解像装置であって、前記雑音成分超解像部は、前記再構成部がウェーブレット一階再構成して得られた画像に対して、画素値が０である画素の画素値を、前記雑音レベルに応じた大きさの乱数値に置き換えたものを、前記第２の超解像画像とする白色雑音印加部を具備することを特徴とする。

【0021】

（ｂ１）また、本発明の他の態様は、垂直方向および水平方向に入力画像の２倍の画素数を有する画像をウェーブレット一階分解した際の低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに、それぞれ前記入力画像を配置する配置部と、前記配置部による配置結果を、ウェーブレット一階再構成して、前記入力画像の超解像画像を生成するウェーブレット一階再構成部とを具備することを特徴とする超解像装置である。

【0022】

（ｂ２）また、本発明の他の態様は、上述の超解像装置であって、前記入力画像の雑音レベルを抽出する雑音レベル抽出部と、前記超解像画像の画素値を、前記雑音レベルで正規化する画素値正規化部とを具備することを特徴とする。

【0023】

（ｂ３）また、本発明の他の態様は、上述の超解像装置であって、前記入力画像を、時空間ウェーブレット一階分解して、時空間高周波成分を算出する時空間ウェーブレット一階分解部を具備し、前記雑音レベル抽出部は、前記時空間高周波成分における孤立点を抽出し、該孤立点の要素値を用いて、前記雑音レベルを算出することを特徴とする。

【0024】

（ｂ４）また、本発明の他の態様は、上述のいずれかの超解像装置であって、前記ウェーブレット一階再構成部が生成した超解像画像を構成する画素であって、画素値が０である画素の画素値を、前記雑音レベルに応じた大きさの乱数値とする白色雑音印加部を具備することを特徴とする。

【0025】

（ｂ５）また、本発明の他の態様は、コンピュータを、（ａ１）から（ａ５）、（ｂ１）から（ｂ４）のいずれかに記載の超解像装置として機能させるためのプログラムである。

【発明の効果】

【0026】

この発明によれば、雑音成分の多い画像を超解像したときに、良好な画質の超解像画像を得ることが出来る。

【図面の簡単な説明】

【0027】

【図1】この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。

【図2】同実施形態における画像符号化装置１００の構成を示す概略ブロック図である。

【図3】同実施形態における画像縮小部１０１の構成を示す概略ブロック図である。

【図4】同実施形態における低周波成分抽出部１１１の動作を説明する図である。

【図5】同実施形態における雑音・信号分離部１０５の構成を示す概略ブロック図である。

【図6】同実施形態における時空間ウェーブレット一階分解部１５０による演算結果を説明する図である。

【図7】同実施形態における雑音レベル抽出部１５１において参照する周囲の要素を説明する図である。

【図8】同実施形態における雑音成分分離部１５３の動作を説明するフローチャートである。

【図9】同実施形態における信号成分超解像部１０６の構成を示す概略ブロック図である。

【図10】同実施形態における拡張ＬＨ成分生成部１６１ａの処理を説明する概念図である。

【図11】同実施形態におけるウェーブレット一階再構成部１６３における各成分の配置を示す図である。

【図12】同実施形態における雑音成分超解像部１０７の構成を示す概略ブロック図である。

【図13】同実施形態における雑音成分再配置部１７０による雑音成分画像の配置を説明する図である。

【図14】同実施形態における画像復号装置３００の構成を示す概略ブロック図である。

【図15】この発明の第２の実施形態による超解像装置５００の構成を示す概略ブロック図である。

【図16】この発明の第３の実施形態による超解像装置６００の構成を示す概略ブロック図である。

【発明を実施するための形態】

【0028】

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。図１に示すように、画像伝送システム１０は、画像符号化装置１００、ネットワーク２００、画像復号装置３００、画像表示装置４００を含んで構成される。画像符号化装置１００は、入力動画像を符号化し、符号化データを生成する。ネットワーク２００は、画像符号化装置１００と画像復号装置３００とを通信可能に接続するパケット交換ネットワークなどのネットワークである。なお、ネットワーク２００は、地上デジタル放送などの放送波を用いたネットワークであってもよい。ネットワーク２００は、画像符号化装置１００が生成した符号化データを、画像復号装置３００に伝送する。画像復号装置３００は、ネットワーク２００が伝送した符号化データを復号して、復号動画像を生成する。画像表示装置４００は、画像復号装置３００が生成した復号動画像を表示する。

【0029】

図２は、画像符号化装置１００の構成を示す概略ブロック図である。画像符号化装置１００は、画像縮小部１０１、符号化部１０２、符号化データ生成部１０３、復号部１０４、雑音・信号分離部１０５、信号成分超解像部１０６、雑音成分超解像部１０７、加算部１０８、超解像パラメータ判定部１０９を含んで構成される。画像縮小部１０１は、入力動画像の各フレームを縮小して、縮小動画像を生成する。該縮小の縮小率は、例えば、水平方向、垂直方向ともに１／２とする。すなわち、縮小動画像の各フレームにおける水平方向および垂直方向の画素数は、入力動画像のそれの半分である。

【0030】

符号化部１０２は、画像縮小部１０１が生成した縮小動画像を符号化し、符号化画像データを生成する。符号化部１０２における符号化には、ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４や、ＨＥＶＣ（High Efficiency Video Coding）などの既存および標準化作業中の動画像符号化方式を用いることができる。

【0031】

符号化データ生成部１０３は、符号化部１０２が生成した符号化画像データと、超解像パラメータ判定部１０９が決定した超解像パラメータと、雑音・信号分離部１０５が生成した雑音レベルＬ_Ｎとを含む符号化データを生成する。符号化データ生成部１０３は、例えば、符号化画像データのフォーマットにおける未使用領域に、雑音レベルＬ_Ｎ、超解像パラメータを格納することで、符号化データを生成する。本実施形態における超解像パラメータは、信号成分超解像部１０６、雑音成分超解像部１０７の各々における超解像に関するパラメータであるが、その詳細は後述する。なお、本実施形態における超解像パラメータは、信号成分超解像部１０６、雑音成分超解像部１０７の各々における超解像に関するパラメータであるが、信号成分超解像部１０６、雑音成分超解像部１０７のうちのいずれか一方の超解像に関するパラメータのみであってもよい（他方を固定値とする場合）。

【0032】

復号部１０４は、符号化部１０２が生成した符号化画像データを復号し、復号縮小動画像を生成する。復号部１０４における復号は、符号化部１０２における動画像符号化方式に対応した方法で行う。なお、復号縮小動画は、画像縮小部１０１が生成した縮小動画像を符号化して復号したものであるので、その各フレームにおける水平方向および垂直方向の画素数は、縮小動画像と同一である。

【0033】

雑音・信号分離部１０５は、復号縮小動画像の各画素値を、信号成分と雑音成分とに分離し、信号成分からなる信号成分画像（第１の画像）と、雑音成分からなる雑音成分画像（第２の画像）とを生成する。なお、雑音・信号分離部１０５は、この分離処理を行う際に、復号縮小動画像に含まれる雑音の大きさを示す雑音レベルＬ_Ｎを検出し、該雑音レベルを用いて、分離処理を行う。また、雑音・信号分離部１０５は、この雑音レベルＬ_Ｎを、符号化データ生成部１０３に入力する。

【0034】

信号成分超解像部１０６は、信号成分画像を超解像して、信号成分超解像画像（第１の超解像画像）を生成する。信号成分超解像部１０６は、さまざまな値の超解像パラメータを用いて、この超解像を行い、各々の値に対応した信号成分超解像画像を生成する。なお、本実施形態では、信号成分超解像部１０６は、画像が自己相似性を有することを前提とし、自己相似性を利用した超解像方法を用いる。

【0035】

雑音成分超解像部１０７は、雑音成分画像を、信号成分超解像部１０６とは異なる方法で超解像して、雑音成分超解像画像を生成する。雑音成分超解像部１０７において信号成分超解像部１０６とは異なる方法を用いるのは、雑音成分画像は自己相似性が低いため、信号成分超解像部１０６の超解像方法を適用しても良好な結果が得られないためである。なお、雑音成分超解像部１０７は、この超解像の際に、雑音・信号分離部１０５が検出した雑音レベルＬ_Ｎを用いる。また、雑音成分超解像部１０７も、さまざまな値の超解像パラメータを用いて、この超解像を行い、各々の値に対応した雑音成分超解像画像を生成する。なお、超解像パラメータについては、後述する。

【0036】

加算部１０８は、信号成分超解像部１０６が生成した信号成分超解像画像と、雑音成分超解像部１０７が生成した雑音成分超解像画像とを加算する。ここで画像と画像の加算とは、これらの画像の同じ位置の画素の画素値同士を加算した画像を生成することを示す。なお、加算部１０８は、信号成分超解像部１０６が生成した、さまざまな値の超解像パラメータに対応した信号成分超解像画像と、雑音成分超解像部１０７が生成した、さまざまな値の超解像パラメータに対応した雑音成分超解像画像との加算を、全ての組み合わせについて行う。例えば、信号成分超解像画像が２７枚あり、雑音成分超解像画像が３枚あるときは、これらの組み合わせは、２７×３＝８１通りあるので、加算部１０８は、８１通りの加算を行う。

【0037】

超解像パラメータ判定部１０９（超解像パラメータ決定部）は、加算部１０８が加算して生成した画像各々を、入力動画像の該当フレームと比較し、入力動画像の該当フレームに最も近い画像を選択する。そして、超解像パラメータ判定部１０９は、選択した画像の生成に用いられた超解像パラメータを、符号化データ生成部１０３に通知する。例えば、選択した画像が、超解像パラメータＳｇ１を用いて信号成分超解像部１０６が生成した信号成分超解像画像と、超解像パラメータＮｓ１を用いて雑音成分超解像部１０７が生成した雑音成分超解像画像とを、加算部１０８が加算したものであるときは、超解像パラメータ判定部１０９は、超解像パラメータＳｇ１と、超解像パラメータＮｓ１とを符号化データ生成部１０３に通知する。

【0038】

超解像パラメータ判定部１０９は、入力動画像の該当フレームに最も近い画像を選択する際には、例えば、ＳＡＤ（Sum of Absolute Difference）を用いる。具体的には、超解像パラメータ判定部１０９は、加算部１０８が加算して生成した画像各々について、入力動画像の該当フレームとのＳＡＤを算出し、ＳＡＤが最も小さい画像を、該フレームに最も近い画像として選択する。なお、ＳＡＤとは、対応する画素同士の画素値の差分の絶対値を、画像全体に亘って算出したものの合計値であり、下記の式（１）により算出される。なお、式（１）において、ｖｉ（ｘ，ｙ）は、入力動画像の該当フレームの座標（ｘ，ｙ）の画素値であり、ｓｒ（ｘ，ｙ）は、加算部１０８が生成した画像の座標（ｘ，ｙ）の画素値である。

【0039】

【数1】

【0040】

図３は、画像縮小部１０１の構成を示す概略ブロック図である。画像縮小部１０１は、ウェーブレット一階分解部１１０と、低周波成分抽出部１１１とを含んで構成される。ウェーブレット一階分解部１１０は、入力動画像の各フレームを離散ウェーブレット一階分解する。この離散ウェーブレット一階分解により、各フレームの低周波成分ＬＬ、水平高周波成分ＬＨ、垂直高周波成分ＨＬ、対角高周波成分ＨＨが得られる。なお、この離散ウェーブレット一階分解に用いる基底には、Ｈａａｒや、Ｄａｕｂｅｃｈｉｅｓなど、いずれを用いてもよい。

【0041】

低周波成分抽出部１１１は、ウェーブレット一階分解部１１０の離散ウェーブレット一階分解により得られた各フレームの低周波成分ＬＬ、水平高周波成分ＬＨ、垂直高周波成分ＨＬ、対角高周波成分ＨＨから、低周波成分ＬＬを抽出する。低周波成分抽出部１１１は、入力動画像の各フレームに対応する低周波成分ＬＬをフレーム順に出力することで、縮小動画像とする。このように、縮小動画像の各フレームは、入力動画像の各フレームの低周波成分ＬＬであるので、前述したように、縮小動画像の各フレームにおける水平方向および垂直方向の画素数は、入力動画像のそれの半分である。

【0042】

図４は、低周波成分抽出部１１１の動作を説明する図である。図４に示すようにウェーブレット一階分解部１１０により、入力動画像の各フレームは、低周波成分ＬＬ、水平高周波成分ＬＨ、垂直高周波成分ＨＬ、対角高周波成分ＨＨに分解される。低周波成分抽出部１１１は、これらのうち、図４において網掛けされている低周波成分ＬＬを抽出する。

【0043】

図５は、雑音・信号分離部１０５の構成を示す概略ブロック図である。図５に示すように雑音・信号分離部１０５は、時空間ウェーブレット一階分解部１５０、雑音レベル抽出部１５１、マスク画像生成部１５２、雑音成分分離部１５３、雑音成分再構成部１５４、信号成分再構成部１５５を含んで構成される。時空間ウェーブレット一階分解部１５０は、復号縮小画像を、所定のフレーム数毎に離散時空間ウェーブレット一階分解する。時空間ウェーブレット一階分解部１５０は、この離散時空間ウェーブレット一階分解により、低周波成分ＬＬＬ、時間高周波成分ＬＬＨ、水平高周波成分ＬＨＬ、垂直高周波成分ＨＬＬ、時間水平高周波成分ＬＨＨ、時間垂直高周波成分ＨＬＨ、水平垂直高周波成分ＨＨＬ、対角高周波成分ＨＨＨ（時空間高周波成分）を生成する。

【0044】

このとき、時空間ウェーブレット一階分解部１５０は、デシメーション（間引き）無しで、時空間ウェーブレット一階分解する。したがって、対角高周波成分ＨＨＨなどの各成分は、復号縮小画像の１フレームの画素数と、離散時空間ウェーブレット一階分解する際の所定のフレーム数とを乗算した数の要素からなる。なお、この離散時空間ウェーブレット一階分解に用いる基底には、Ｈａａｒや、Ｄａｕｂｅｃｈｉｅｓなど、いずれを用いてもよい。

【0045】

図６は、時空間ウェーブレット一階分解部１５０による演算結果を説明する図である。図６において、横軸はｘ軸、縦軸はｙ軸である。ｘ軸は右が正の方向であり、ｙ軸は下が正の方向である。また、ｘ軸およびｙ軸に直交する軸は時間軸であり、図６の右上方向が正の向きである。時空間ウェーブレット一階分解部１５０による演算結果である、低周波成分ＬＬＬ、時間高周波成分ＬＬＨ、水平高周波成分ＬＨＬ、垂直高周波成分ＨＬＬ、時間水平高周波成分ＬＨＨ、時間垂直高周波成分ＨＬＨ、水平垂直高周波成分ＨＨＬ、対角高周波成分ＨＨＨは、図のような関係である。すなわち、低周波成分ＬＬＬの右側には水平高周波成分ＬＨＬがあり、低周波成分ＬＬＬの下側には垂直高周波成分ＨＬＬがあり、低周波成分ＬＬＬの右下側には水平垂直高周波成分ＨＨＬがある。また、水平高周波成分ＬＨＬの正の時間方向には時間水平高周波成分ＬＨＨがあり、低周波成分ＬＬＬの正の時間方向には時間高周波成分ＬＬＨがあり、水平垂直高周波成分ＨＨＬの正の時間方向には対角高周波成分ＨＨＨがある。なお、垂直高周波成分ＨＬＬの正の時間方向には時間垂直高周波成分ＨＬＨがあるが、図６では、隠れて見えないため、図示されていない。

【0046】

図５に戻り、雑音レベル抽出部１５１は、時空間ウェーブレット一階分解部１５０により得られた対角高周波成分ＨＨＨにおける孤立点を抽出し、抽出した孤立点の要素値の絶対値の中央値を雑音レベルＬ_Ｎとする。なお、ここで孤立点とは、該要素が非「０」で、周囲の要素が「０」となっている要素である。例えば、周囲の要素を、ｘ軸方向（左右）に隣接する要素、ｙ軸方向（上下）に隣接する要素、時間軸方向に隣接する要素とし、これらの全てが「０」となっており、当該要素が０以外の値を持つ場合、この当該要素を孤立点とする。なお、「周囲」の定義に、ｘ軸方向（左右）に隣接する前後のフレームの要素や、当該点の右上、右下、左上、左下の要素など、当該要素の近傍に位置するその他の要素を含めるようにしてもよい。

【0047】

図７は、雑音レベル抽出部１５１において参照する周囲の要素を説明する図である。図７において、各円は対角高周波成分ＨＨＨの要素を示す。横軸はｘ軸であり、縦軸はｙ軸である。ｘ軸は右が正の方向であり、ｙ軸は下が正の方向である。また、ｘ軸およびｙ軸に直交する軸は時間軸であり、図７の右上方向が正の向きである。要素Ｃが孤立点か否かを判定するときに参照する周囲の要素は、図７で網掛けした要素である。すなわち、要素Ｃの右に隣接する要素Ｒと、左に隣接する要素Ｌと、上側に隣接する要素Ｕと、下側に隣接する要素Ｄと、１フレーム前の要素Ｂと、１フレーム後の要素Ｎである。

【0048】

図５に戻って、マスク画像生成部１５２は、対角高周波成分ＨＨＨの各要素の絶対値を、雑音レベル抽出部１５１が検出した雑音レベルＬ_Ｎと比較し、雑音レベルＬ_Ｎよりも該要素の要素値の絶対値の方が大きいときは、対応する位置の要素を「１」とし、それ以外のときは、対応する位置の要素を「０」とした雑音マスク画像Ｍを生成する。雑音マスク画像Ｍにおける要素の配列は、対角高周波成分ＨＨＨと同様である。したがって、雑音マスク画像Ｍにおいて、ｘ軸方向およびｙ軸方向の要素数は、それぞれ復号縮小画像のｘ軸方向およびｙ軸方向の画素数と同一である。また、時間軸方向の要素数は、時空間ウェーブレット一階分解部１５０において離散時空間ウェーブレット一階分解する際の所定のフレーム数と同一である。このようにして生成されているので、雑音マスク画像Ｍを用いる雑音成分分離部１５３は、雑音マスク画像Ｍの要素の値が「１」であるときには、該要素の位置に対応する画素は、分離すべき雑音成分を含んでいるとみなして、雑音成分の分離を行う。

【0049】

雑音成分分離部１５３は、時空間ウェーブレット一階分解部１５０によって得られた各成分のうち、低周波成分ＬＬＬ以外の成分各々について、雑音成分を分離する。対角高周波成分ＨＨＨの雑音成分を分離する場合を例に採り、説明する。雑音成分分離部１５３は、雑音マスク画像Ｍにおいて値が「１」となっている要素と対応する、対角高周波成分ＨＨＨの要素の要素値の絶対値と、雑音レベルＬ_Ｎとを比較する。該要素値の絶対値が雑音レベルＬ_Ｎよりも小さいときは、対角高周波成分ＨＨＨの該要素の要素値は、全て雑音成分からなるとみなす。一方、該要素値の絶対値が雑音レベルＬ_Ｎよりも大きいときは、該要素値のうち、雑音レベルＬ_Ｎまでは雑音成分であり、残りは信号成分であるとみなす。また、雑音マスク画像Ｍにおいて値が「０」となっている要素は、雑音成分を含んでいないとみなす。このようにすることで、対角高周波成分ＨＨＨの各要素から雑音成分を分離し、対角高周波成分ＨＨＨの雑音成分と、雑音成分を引いた残りである対角高周波成分ＨＨＨの信号成分とを生成する。雑音成分分離部１５３は、対角高周波成分ＨＨＨ以外の成分についても、同様にして雑音成分を分離する。

【0050】

図８は、雑音成分分離部１５３の動作を説明するフローチャートである。雑音成分分離部１５３は、ステップＳ２〜Ｓ１０に示す処理を、低周波成分ＬＬＬ以外の各成分について行う（Ｓ１）。なお、ステップＳ２〜Ｓ１０において、当該成分という記載は、処理対象となっている成分を示す。雑音成分分離部１５３は、ステップＳ３からＳ９に示す処理を、当該成分の各要素について行う（Ｓ２）。なお、ステップＳ３〜Ｓ９において、当該要素という記載は、処理対象となっている要素を示す。

【0051】

ステップＳ３では、雑音成分分離部１５３は、当該要素に対応する雑音マスク画像Ｍの要素の値を取得する。次に、雑音成分分離部１５３は、ステップＳ３で取得した値が「１」であるか否かを判定する（Ｓ４）。「１」でないときは（Ｓ４−Ｎｏ）、雑音成分分離部１５３は、当該要素の雑音成分を「０」とし、信号成分を当該要素の要素値とし（Ｓ５）、ステップＳ２に戻って処理対象とする要素を変更する。

【0052】

一方、ステップＳ４にて、「１」であると判定したときは（Ｓ４−Ｙｅｓ）、雑音成分分離部１５３は、当該要素の要素値を取得する（Ｓ６）。次に、雑音成分分離部１５３は、ステップＳ６にて取得した要素値の絶対値が、雑音レベルＬ_Ｎよりも大きいか否かを判定する（Ｓ７）。雑音レベルＬ_Ｎよりも大きいときは（Ｓ７−Ｙｅｓ）、雑音成分分離部１５３は、当該要素の信号成分の絶対値を、ステップ６で取得した当該要素の要素値の絶対値−雑音レベルＬ_Ｎとし、信号成分の符号（正負）を当該要素の要素値と同じとする。また、当該要素の雑音成分の絶対値を、雑音レベルＬ_Ｎとし、雑音成分の符号（正負）を当該要素の要素値と同じとする。（Ｓ８）、ステップＳ２に戻って処理対象とする要素を変更する。また、ステップＳ７にて、大きくないと判定したときは（Ｓ７−Ｎｏ）、雑音成分分離部１５３は、当該要素の雑音成分を、ステップ６で取得した当該要素の要素値とし、信号成分を「０」とし、（Ｓ９）、ステップＳ２に戻って処理対象とする要素を変更する。

【0053】

図５に戻って、雑音成分再構成部１５４は、雑音成分分離部１５３が生成した対角高周波成分ＨＨＨなどの各成分の雑音成分を用いて、デシメーション無しの離散時空間ウェーブレット再構成をして、雑音成分画像を生成する。なお、雑音成分分離部１５３は、低周波成分ＬＬＬ以外の成分について雑音成分を生成しており、雑音成分再構成部１５４は、低周波成分の部分については、全ての要素を「０」として、このデシメーション無しの離散時空間ウェーブレット再構成をする。なお、低周波成分ＬＬＬ以外の成分とは、時間高周波成分ＬＬＨ、水平高周波成分ＬＨＬ、垂直高周波成分ＨＬＬ、時間水平高周波成分ＬＨＨ、時間垂直高周波成分ＨＬＨ、水平垂直高周波成分ＨＨＬ、対角高周波成分ＨＨＨである。なお、このデシメーション無しの離散時空間ウェーブレット一階再構成に用いる基底は、時空間ウェーブレット一階分解部１５０と同一のものを用いる。

【0054】

信号成分再構成部１５５は、雑音成分分離部１５３が生成した対角高周波成分ＨＨＨなどの各成分の信号成分を用いて、デシメーション無しの離散時空間ウェーブレット再構成をして、信号成分画像を生成する。なお、雑音成分分離部１５３は、低周波成分ＬＬＬ以外の成分について信号成分を生成しているので、信号成分再構成部１５５は、低周波成分の部分については、時空間ウェーブレット一階分解部１５０が生成した低周波成分ＬＬＬをそのまま用いる。なお、このデシメーション無しの離散時空間ウェーブレット一階再構成に用いる基底は、時空間ウェーブレット一階分解部１５０と同一のものを用いる。

【0055】

図９は、信号成分超解像部１０６の構成を示す概略ブロック図である。図９に示すように、信号成分超解像部１０６は、ウェーブレット一階分解部１６０、拡張ＬＨ成分生成部１６１ａ、拡張ＨＬ成分生成部１６１ｂ、拡張ＨＨ成分生成部１６１ｃ、分散値設定部１６２、ウェーブレット一階再構成部１６３を含んで構成される。

【0056】

ウェーブレット一階分解部１６０は、雑音・信号分離部１０５が生成した信号成分画像を、フレーム毎に離散ウェーブレット一階分解する。これにより、ウェーブレット一階分解部１６０は、信号成分画像の各フレームを、低周波成分ＬＬ、水平高周波成分ＬＨ、垂直高周波成分ＨＬ、対角高周波成分ＨＨに分解する。なお、この離散ウェーブレット一階分解に用いる基底には、Ｈａａｒや、Ｄａｕｂｅｃｈｉｅｓなど、いずれを用いてもよい。

【0057】

拡張ＬＨ成分生成部１６１ａは、ウェーブレット一階分解部１６０が生成した水平高周波成分ＬＨを、水平方向および垂直方向に２倍の要素数となるように拡張した拡張水平高周波成分Ｅｘ．ＬＨを生成する。例えば、水平高周波成分ＬＨの要素数が、６４０×４８０であれば、拡張水平高周波成分Ｅｘ．ＬＨの要素数は、１２８０×９６０となる。具体的には、拡張ＬＨ成分生成部１６１ａは、水平高周波成分ＬＨを低周波成分の領域に配置し、その他の成分を０として、ウェーブレット一階再構成を行った後、バイラテラルフィルタをかけたものを、拡張水平高周波成分Ｅｘ．ＬＨとする。これにより、拡張水平高周波成分Ｅｘ．ＬＨの要素数は、信号成分画像、復号縮小動画像、縮小動画像などの各フレームの画素数と一致する。なお、この離散ウェーブレット一階再構成に用いる基底には、ウェーブレット一階分解部１６０で用いた基底と同じものを用いることが望ましい。

【0058】

また、バイラテラルフィルタの分散値は、分散値設定部１６２により指定された値σ_ＬＨを用いる。なお、入力画像における座標（ｘ，ｙ）の画素値をｆ（ｘ，ｙ）で表し、出力画像における座標（ｘ，ｙ）の画素値をｇ（ｘ，ｙ）で表したとき、バイラテラルフィルタは、式（２）で表される。

【0059】

【数2】

【0060】

なお、式（２）において、ｗは、カーネルのサイズ、σ_１は、距離に関する分散値、σ_２は、画素値差に関する分散値である。拡張ＬＨ成分生成部１６１ａでは、ｗは、予め設定された値を用い、σ_１、σ_２は、分散値設定部１６２により指定されたσ_ＬＨを用いる。

【0061】

拡張ＨＬ成分生成部１６１ｂは、拡張ＬＨ成分生成部１６１ａと同様にして、ウェーブレット一階分解部１６０が生成した垂直高周波成分ＨＬを、水平方向および垂直方向に２倍の要素数となるように拡張した拡張垂直高周波成分Ｅｘ．ＨＬを生成する。なお、拡張ＨＬ成分生成部１６１ｂは、バイラテラルフィルタの分散値σ_１、σ_２として、分散値設定部１６２により指定された値σ_ＨＬを用いる。

【0062】

拡張ＨＨ成分生成部１６１ｃは、拡張ＬＨ成分生成部１６１ａと同様にして、ウェーブレット一階分解部１６０が生成した対角高周波成分ＨＨを、水平方向および垂直方向に２倍の要素数となるように拡張した拡張対角高周波成分Ｅｘ．ＨＨを生成する。なお、拡張ＨＨ成分生成部１６１ｃは、バイラテラルフィルタの分散値σ_１、σ_２として、分散値設定部１６２により指定された値σ_ＨＨを用いる。

【0063】

分散値設定部１６２は、拡張ＬＨ成分生成部１６１ａ、拡張ＨＬ成分生成部１６１ｂ、拡張ＨＨ成分生成部１６１ｃに対して、それぞれ、対応する分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨを入力する。例えば、分散値設定部１６２は、分散値として予め決められた値を複数個記憶しておき、信号成分画像の１フレームに対して、これらの値の各々に応じた、拡張水平高周波成分Ｅｘ．ＬＨ、拡張垂直高周波成分Ｅｘ．ＨＬ、拡張対角高周波成分Ｅｘ．ＨＨが生成されるように、分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨを入力する。具体的には、分散値として予め決められた値が、Ｃ１〜Ｃ３の３つある時は、分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨの各々がＣ１〜Ｃ３をとるので、拡張水平高周波成分Ｅｘ．ＬＨ、拡張垂直高周波成分Ｅｘ．ＨＬ、拡張対角高周波成分Ｅｘ．ＨＨがそれぞれ３つできるように、分散値設定部１６２は、分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨを入力する。また、分散値設定部１６２は、信号成分に関する超解像パラメータである分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨを、超解像パラメータ判定部１０９にも入力する。

【0064】

ウェーブレット一階再構成部１６３は、信号成分画像と、拡張水平高周波成分Ｅｘ．ＬＨと、拡張垂直高周波成分Ｅｘ．ＨＬと、拡張対角高周波成分Ｅｘ．ＨＨとを、ウェーブレット一階再構成して、再構成信号成分画像を生成する。このようにすることで、再構成信号成分画像は、信号成分画像に現れていた構造と同様の構造を高周波成分に持つ画像となる。具体的には、ウェーブレット一階再構成部１６３は、信号成分画像の１フレームを低周波成分の領域に配置し、該フレームの拡張水平高周波成分Ｅｘ．ＬＨと、拡張垂直高周波成分Ｅｘ．ＨＬと、拡張対角高周波成分Ｅｘ．ＨＨとを、それぞれ水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに配置し、ウェーブレット一階再構成することで、再構成信号成分画像を生成する。なお、この離散ウェーブレット一階再構成に用いる基底には、ウェーブレット一階分解部１６０で用いた基底と同じものを用いることが望ましい。

【0065】

なお、信号成分画像の１フレームに対して、拡張水平高周波成分Ｅｘ．ＬＨと、拡張垂直高周波成分Ｅｘ．ＨＬと、拡張対角高周波成分Ｅｘ．ＨＨとは、バイラテラルフィルタにおいて用いた分散値が異なるものが、それぞれ複数生成されるので、ウェーブレット一階再構成部１６３は、これらの全ての組み合わせについて、再構成信号成分画像を生成する。例えば、拡張水平高周波成分Ｅｘ．ＬＨと、拡張垂直高周波成分Ｅｘ．ＨＬと、拡張対角高周波成分Ｅｘ．ＨＨとが、それぞれ３つずつ生成されているときは、これらの全ての組み合わせ、すなわち３×３×３＝２７通りの各々について、再構成信号成分画像を生成する。

【0066】

図１０は、拡張ＬＨ成分生成部１６１ａの処理を説明する概念図である。図１０の符号ＳＢに示すように、ウェーブレット一階分解部１６０により、信号成分画像の各フレームは、低周波成分ＬＬ、水平高周波成分ＬＨ、垂直高周波成分ＨＬ、対角高周波成分ＨＨに分解される。拡張ＬＨ成分生成部１６１ａは、図１０の符号ＬＨＢに示すように、これらのうちの水平高周波成分ＬＨを、低周波成分の領域に配置し、水平高周波成分、垂直高周波成分、対角高周波成分の領域の全ての要素に「０」を配置する。そして、拡張ＬＨ成分生成部１６１ａは、この配置結果に対して、ウェーブレット一階再構成した後、バイラテラルフィルタをかけ、拡張水平高周波成分Ｅｘ．ＬＨを生成する。拡張ＨＬ成分生成部１６１ｂも、垂直高周波成分ＨＬを対象とすることで、同様にして拡張垂直高周波成分Ｅｘ．ＨＬを生成する。拡張ＨＨ成分生成部１６１ｃも、対角高周波成分ＨＨを対象とすることで、同様にして拡張対角高周波成分Ｅｘ．ＨＨを生成する。

【0067】

図１１は、ウェーブレット一階再構成部１６３における各成分の配置を示す図である。図１１において、符号Ｓは信号成分画像のフレームを示し、符号Ｅｘ．ＬＨは拡張水平高周波成分を示し、符号Ｅｘ．ＨＬは拡張垂直高周波成分を示し、符号Ｅｘ．ＨＨは拡張対角高周波成分を示す。図１１に示すように、信号成分画像のフレームＳは、低周波成分の領域に配置される。拡張水平高周波成分Ｅｘ．ＬＨは、水平高周波成分の領域に配置される。拡張垂直高周波成分Ｅｘ．ＨＬは、垂直高周波成分の領域に配置される。拡張対角高周波成分Ｅｘ．ＨＨは、対角高周波成分の領域に配置される。ウェーブレット一階再構成部１６３は、図１１のように各成分を配置した後、ウェーブレット一階再構成をする。この再構成により得られる再構成信号成分画像は、入力動画像の各フレームと同一の画素数となる。

【0068】

図１２は、雑音成分超解像部１０７の構成を示す概略ブロック図である。図１２に示すように、雑音成分超解像部１０７は、雑音成分再配置部１７０、ウェーブレット一階再構成部１７１、画素値正規化部１７２、白色雑音印加部１７３、バイラテラルフィルタ部１７４、分散値設定部１７５を含んで構成される。

【0069】

雑音成分再配置部１７０は、垂直方向および水平方向に雑音成分画像の２倍の画素数を有する画像をウェーブレット一階分解した際の低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに、それぞれ雑音成分画像の処理対象フレームを配置する。すなわち、これら４つの領域には、同じフレームが配置される。ウェーブレット一階再構成部１７１は、雑音成分再配置部１７０の配置結果に対して、ウェーブレット一階再構成をする。なお、この離散ウェーブレット一階再構成に用いる基底には、Ｈａａｒや、Ｄａｕｂｅｃｈｉｅｓなど、いずれを用いてもよい。

【0070】

これにより、垂直方向および水平方向に雑音成分画像の２倍の画素数を有する画像が生成される。このようにして生成された画像では、雑音成分画像において画素値を有していた要素に対応する画素が画素値を有している。すなわち、時空間方向の相関が低い白色ガウス雑音に適した超解像をすることができる。なお、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのイメージセンサで撮像した画像の雑音は、主に白色ガウス雑音であるので、このような超解像方法が適している。

【0071】

画素値正規化部１７２は、ウェーブレット一階再構成部１７１により再構成された画像の画素値を、雑音レベルＬ_Ｎで正規化する。例えば、画素値正規化部１７２は、再構成された画像において、画素値が「０」である画素を除いた画素値の平均値Ｎａを算出する。さらに、画素値正規化部１７２は、再構成された画像の各画素の画素値に、雑音レベルＬ_Ｎを平均値Ｎａで割った比Ｌ_Ｎ／Ｎａを乗算する。このとき、平均値Ｎａに変えて中央値を用いるようにしてもよい。

【0072】

白色雑音印加部１７３は、画素値正規化部１７２により画素値が正規化された画像に、白色雑音を印加する。具体的には、白色雑音印加部１７３は、画素値が正規化された画像において、画素値が「０」である画素の画素値を、平均値０、分散値１で（−１，１］（−１を超え、１以下の数）の正規乱数に１を足した後に、雑音レベルＬ_Ｎを乗じた値とする。すなわち、画素値を、平均および分散が雑音レベルＬ_Ｎの正規乱数とする。これにより、雑音の白色性を再現する。バイラテラルフィルタ部１７４は、白色雑音印加部１７３により白色雑音が印加された画像に対して、前述の式（２）を用いて、バイラテラルフィルタをかけ、再構成雑音成分画像を生成する。なお、拡張ＬＨ成分生成部１６１ａなどにおけるバイラテラルフィルタと同様に、式（２）におけるｗは、予め設定された値を用い、σ_１、σ_２は、分散値設定部１７５により指定されたσ_Ｎを用いる。

【0073】

分散値設定部１７５は、バイラテラルフィルタ部１７４に、分散値σ_Ｎを入力する。例えば、分散値設定部１７５は、分散値として予め決められた値を複数個記憶しておき、雑音成分画像の１フレームに対して、これらの値の各々に応じた再構成雑音成分画像が生成されるように、分散値σ_Ｎを入力する。また、分散値設定部１７５は、雑音成分に関する超解像パラメータである分散値σ_Ｎを超解像パラメータ判定部１０９にも入力する。

【0074】

図１３は、雑音成分再配置部１７０による雑音成分画像の配置を説明する図である。図１３において、符号Ｎは、雑音成分画像のフレームを示す。このように、雑音成分再配置部１７０は、低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域との４つの領域各々に、雑音成分画像のフレームを配置する。

【0075】

図１４は、画像復号装置３００の構成を示す概略ブロック図である。図１４に示すように、画像復号装置３００は、パラメータ抽出部３０１、復号部３０２、雑音・信号分離部３０３、信号成分超解像部３０４、雑音成分超解像部３０５、加算部３０６、出力部３０７を含んで構成される。パラメータ抽出部３０１は、ネットワーク２００を介して受信した符号化データを、超解像パラメータと、雑音レベルＬ_Ｎと、符号化画像データとに分離する。パラメータ抽出部３０１は、超解像パラメータのうち、信号成分に関するもの（分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨ）を信号成分超解像部３０４に入力し、雑音成分に関するもの（分散値σ_Ｎ）を雑音成分超解像部３０５に入力する。また、パラメータ抽出部３０１は、雑音レベルＬＮを雑音・信号分離部３０３に入力する。

【0076】

復号部３０２は、画像符号化装置１００の復号部１０４と同様であり、符号化画像データを復号して、復号縮小動画像を生成する。雑音・信号分離部３０３は、画像符号化装置１００の雑音・信号分離部１０５と同様の構成であるが、雑音レベル抽出部１５１を有さない点が異なる。雑音・信号分離部３０３は、パラメータ抽出部３０１が入力した雑音レベルＬ_Ｎを用いて、復号縮小動画像を信号成分画像と、雑音成分画像とに分離する。

【0077】

信号成分超解像部３０４は、画像符号化装置１００の信号成分超解像部１０６と同様の構成であるが、分散値設定部１６２を有さない点が異なる。信号成分超解像部３０４は、分散値設定部１６２を有さないので、パラメータ抽出部３０１が入力した信号成分に関する超解像パラメータ（分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨ）を用いて、信号成分超解像部１０６と同様にして再構成信号成分画像を生成する。

【0078】

雑音成分超解像部３０５は、画像符号化装置１００の雑音成分超解像部１０７と同様の構成であるが、分散値設定部１７５を有さない点が異なる。雑音成分超解像部３０５は、分散値設定部１７５を有さないので、パラメータ抽出部３０１が入力した雑音成分に関する超解像パラメータ（分散値σ_Ｎ）を用いて、雑音成分超解像部１０７と同様にして再構成雑音成分画像を生成する。

【0079】

加算部３０６は、信号成分超解像部３０４が生成した再構成信号成分画像と、雑音成分超解像部３０５が生成した再構成雑音成分画像とを加算する。これにより、入力動画像を復元する。出力部３０７は、加算部３０６の加算結果の画像を各フレームとする動画像の信号（復号動画像）を出力する。

【0080】

なお、上述の雑音レベル抽出部１５１において、該要素が非「０」で周囲の要素が「０」となっている要素を対角高周波成分ＨＨＨにおける孤立点としたが、これに限らない。例えば、対角高周波成分ＨＨＨで非「０」となっている要素の絶対値の中央値を閾値とし、対角高周波成分ＨＨＨの要素のうち、該要素の要素値と、周囲の要素の要素値各々との差が、該閾値を超えているものを、孤立点とするようにしてもよい。あるいは、対角高周波成分ＨＨＨの要素のうち、該要素が非「０」で周囲の要素が「０」または極小値となっている要素を孤立点とするようにしてもよい。

【0081】

また、分散値設定部１６２は、拡張ＬＨ成分生成部１６１ａ、拡張ＨＬ成分生成部１６１ｂ、拡張ＨＨ成分生成部１６１ｃの各々において、バイラテラルフィルタにおける分散σ_１とσ_２とを同じ値に設定しているが、σ_１とσ_２とを個別に設定し、これらを異なる値にできるようにしてもよい。また、分散値設定部１７５も同様に、バイラテラルフィルタ部１７４における分散σ_１とσ_２とを個別に設定し、これらを異なる値にできるようにしてもよい。

【0082】

このように、本実施形態における画像符号化装置１００は、符号化データに、入力動画像を縮小した画像を符号化したものと、縮小した画像の雑音成分と信号成分とを超解像する際のパラメータと含めるので、符号化データのデータ量を抑えつつ、符号化データを復号した際に良好な画質が得られるようにすることができる。
また、雑音成分と、信号成分とを、各々に対応した方法で超解像するので、符号化データを復号した際に良好な画質が得られるようにすることができる。

【0083】

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。本実施形態における超解像装置５００は、入力された入力動画像を超解像して、垂直方向および水平方向に２倍の画素数を有する画像を生成し、出力する。図１５は、超解像装置５００の構成を示す概略ブロック図である。

【0084】

超解像装置５００は、入力部５０１、時空間ウェーブレット一階分解部１５０、雑音レベル抽出部１５１、配置部５０２、ウェーブレット一階再構成部１７１、画素値正規化部１７２、白色雑音印加部１７３、バイラテラルフィルタ部１７４、分散値設定部５０３、出力部５０４を含んで構成される。図１５において、図５、図１２の各部に対応する部分には同一の符号（１５０、１５１、１７１〜１７４）を付し、説明を省略する。

【0085】

入力部５０１は、外部からの入力動画像を受け付ける。入力部５０１は、受け付けた入力動画像を、時空間ウェーブレット一階分解部１５０と、配置部５０２とに入力する。配置部５０２は、入力動画像の処理対象フレームを、図１２の雑音成分再配置部１７０と同様にして、低周波成分の領域と、水平高周波成分の領域と、垂直高周波成分の領域と、対角高周波成分の領域とに配置する。分散値設定部５０３は、予め決められた特定の分散値σ_Ｎを、バイラテラルフィルタ部１７４に設定する。すなわち、本実施形態では、第１の実施形態のように、各フレームに対して、超解像パラメータとして様々な値を用いて、それらの中から選択するのではなく、特定の値のみを用いる。出力部５０４は、バイラテラルフィルタ部１７４の処理結果の画像を出力する。

【0086】

このように、本実施形態における超解像装置５００は、図２における雑音成分超解像部１０７と同様にして、入力された入力動画像を超解像する。したがって、超高感度カメラで撮影した画像など、白色ガウス雑音の多い画像に適した超解像を行うことができる。

【0087】

［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。本実施形態における超解像装置６００は、入力された入力動画像を超解像して、垂直方向および水平方向に２倍の画素数を有する画像を生成し、出力する。図１６は、超解像装置６００の構成を示す概略ブロック図である。図１６において、雑音・信号分離部１０５は、図２における雑音・信号分離部１０５と同様であるので、説明を省略する。

【0088】

超解像装置６００は、入力部６０１、雑音・信号分離部１０５、信号成分超解像部６０２、雑音成分超解像部６０３、加算部６０４、出力部６０５を含んで構成される。入力部６０１は、外部からの入力動画像を受け付ける。信号成分超解像部６０２は、雑音・信号分離部１０５が生成した信号成分画像を、図２の信号成分超解像部１０６と同様にして超解像する。ただし、信号成分超解像部６０２は、信号成分に関する超解像パラメータ（分散値σ_ＬＨ、σ_ＨＬ、σ_ＨＨ）として、予め決められた特定のセットを用いて超解像する。

【0089】

雑音成分超解像部６０３は、雑音・信号分離部１０５が生成した雑音成分画像を、図２の雑音成分超解像部１０７と同様にして超解像する。ただし、雑音成分超解像部６０３は、雑音成分に関する超解像パラメータ（分散値σ_Ｎ）として、予め決められた特定の値を用いて超解像する。加算部６０４は、信号成分超解像部６０２が超解像した画像と、雑音成分超解像部６０３が超解像した画像とを加算する。出力部６０５は、加算部６０４による加算結果の画像を出力する。

【0090】

このように、本実施形態における超解像装置６００は、入力動画像を、信号成分と雑音成分とに分離し、図２における雑音・信号分離部１０５と同様にして、入力された入力動画像を超解像する。したがって、超高感度カメラで撮影した画像など、白色ガウス雑音の多い画像に適した超解像を行うことができる。

【0091】

なお、第２の実施形態における超解像装置５００や、第３の実施形態における超解像装置６００は、テレビジョン受像装置などの画像表示装置に含めるようにしてもよいし、テレビジョンカメラなどの撮像装置に含めるようにしてもよい。
また、上述の各実施形態では、説明を簡易にするために、各画素が１つの画素値を持つ場合（例えば、輝度値など）を例に説明した。なお、画素値として輝度値と、赤の色差と、青の色差とを有する場合や、赤色、緑色、青色の輝度値を有する場合など、複数の画素値を有する場合は、各画素値に対して、本実施形態と同様の処理をすればよい。

【0092】

また、図１における画像符号化装置１００、画像復号装置３００、図１５における超解像装置５００、図１６における超解像装置６００の機能あるいはその一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各装置を実現するようにしてもよい。あるいは、上述の機能を実現するための専用のハードウェアにより、各装置を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0093】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0094】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0095】

１０…画像伝送システム
１００…画像符号化装置
１０１…画像縮小部
１０２…符号化部
１０３…符号化データ生成部
１０４…復号部
１０５…雑音・信号分離部
１０６…信号成分超解像部
１０７…雑音成分超解像部
１０８…加算部
１０９…超解像パラメータ判定部
１１０…ウェーブレット一階分解部
１１１…低周波成分抽出部
１５０…時空間ウェーブレット一階分解部
１５１…雑音レベル抽出部
１５２…マスク画像生成部
１５３…雑音成分分離部
１５４…雑音成分再構成部
１５５…信号成分再構成部
１６０…ウェーブレット一階分解部
１６１ａ…拡張ＬＨ成分生成部
１６１ｂ…拡張ＨＬ成分生成部
１６１ｃ…拡張ＨＨ成分生成部
１６２…分散値設定部
１６３…ウェーブレット一階再構成部
１７０…雑音成分再配置部
１７１…ウェーブレット一階再構成部
１７２…画素値正規化部
１７３…白色雑音印加部
１７４…バイラテラルフィルタ部
１７５…分散値設定部
２００…ネットワーク
３００…画像復号装置
３０１…パラメータ抽出部
３０２…復号部
３０３…雑音・信号分離部
３０４…信号成分超解像部
３０５…雑音成分超解像部
３０６…加算部
３０７…出力部
４００…画像表示装置
５００…超解像装置
５０１…入力部
５０２…配置部
５０３…分散値設定部
５０４…出力部
６００…超解像装置
６０１…入力部
６０２…信号成分超解像部
６０３…雑音成分超解像部
６０４…加算部
６０５…出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】