特許 7461165 動画像符号化装置、動画像復号装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-26

(45)【発行日】2024-04-03

(54)【発明の名称】動画像符号化装置、動画像復号装置及びプログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240327BHJP

【ＦＩ】

H04N19/85

【請求項の数】 7

(21)【出願番号】P 2020031056

(22)【出願日】2020-02-26

(65)【公開番号】P2021136562

(43)【公開日】2021-09-13

【審査請求日】2023-01-10

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】松尾 康孝

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０２０ー１５０４２２（ＪＰ，Ａ）

【文献】特開２０１９－２０８０９０（ＪＰ，Ａ）

【文献】国際公開第２０１５／１０４９６３（ＷＯ，Ａ１）

【文献】松尾 康孝 他，超解像・ぼやけピクチャを用いた画面間予測による符号化効率改善の検討，第３３回 画像符号化シンポジウム 第２３回 映像メディア処理シンポジウム ，2018年11月19日，Ｐ－１－０２，pp.20-21

【文献】松尾 康孝，鮮鋭化・ぼやけピクチャを用いた画面間予測による動画像符号化，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2020年02月27日，Ｖｏｌ．１１９，Ｎｏ．４５６，pp.97-102

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

入力動画像から予測ピクチャを減算して残差ピクチャを生成し、当該残差ピクチャに対し直交変換、量子化及びエントロピー符号化を行うことで符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行うことで復号残差ピクチャを生成し、当該復号残差ピクチャに前記予測ピクチャを加算して加算後ピクチャを生成し、当該加算後ピクチャにフィルタ処理を施して局部復号済ピクチャを生成し、当該局部復号済ピクチャに基づいて超解像ピクチャを生成し、前記局部復号済ピクチャ及び前記超解像ピクチャを用いて画面間予測を行うことで前記予測ピクチャを生成する動画像符号化装置において、
前記局部復号済ピクチャを第１局部復号済ピクチャとし、当該第１局部復号済ピクチャに対応する前記入力動画像のピクチャを基準としたときの当該基準よりも前のピクチャに対応する局部復号済ピクチャまたは前記基準よりも後のピクチャに対応する局部復号済ピクチャを第２局部復号済ピクチャとして、
前記第１局部復号済ピクチャをウェーブレットパケット分解することで第１多重解像度成分を生成すると共に、前記第２局部復号済ピクチャをウェーブレットパケット分解することで第２多重解像度成分を生成する多重解像度分解部と、
前記多重解像度分解部により生成された前記第１多重解像度成分における所定階層の複数の低周波帯域成分のそれぞれを複数のブロックに分割し、当該ブロックを位置合わせ元ブロックとして当該位置合わせ元ブロック毎に、当該位置合わせ元ブロックと、前記第１多重解像度成分における前記所定階層の他の複数の低周波帯域成分内のブロック及び前記第２多重解像度成分における前記所定階層の複数の低周波帯域成分内のブロックとの間でブロックマッチングによる位置合わせを行うことで、前記低周波帯域成分毎の位置合わせ先ブロックをそれぞれ設定し、前記位置合わせ元ブロック及び前記位置合わせ先ブロックを特定するための位置合わせ情報を生成する位置合わせ部と、
前記位置合わせ部により生成された前記位置合わせ情報にて特定される前記位置合わせ元ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ元高周波ブロックとし、前記位置合わせ情報にて特定される前記位置合わせ先ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ先高周波ブロックとして、当該位置合わせ先高周波ブロックを前記位置合わせ元高周波ブロックに割り付けることで、前記位置合わせ先高周波ブロックに基づいた値を前記位置合わせ元高周波ブロックの新たな値に設定し、新たな第１多重解像度成分を生成する割り付け部と、
前記割り付け部により生成された前記新たな第１多重解像度成分をウェーブレットパケット再構成することで前記超解像ピクチャを生成する再構成部と、
を備えたことを特徴とする動画像符号化装置。

【請求項2】

請求項１に記載の動画像符号化装置において、
さらに、前記位置合わせ元高周波ブロックのパワーを位置合わせ元パワーとして算出すると共に、前記位置合わせ先高周波ブロックのパワーを位置合わせ先パワーとして算出し、前記位置合わせ元パワー及び前記位置合わせ先パワーの差の絶対値が所定の閾値未満である場合、前記位置合わせ部により生成された前記位置合わせ情報を確度の高い位置合わせ情報に設定し、前記差の絶対値が前記所定の閾値以上である場合、前記位置合わせ情報を確度の低い位置合わせ情報に設定する確度判定部を備え、
前記割り付け部は、
前記位置合わせ部により生成された前記位置合わせ情報の代わりに、前記確度判定部により設定された前記確度の高い位置合わせ情報を用いて、前記新たな第１多重解像度成分を生成する、ことを特徴とする動画像符号化装置。

【請求項3】

請求項１に記載の動画像符号化装置において、
さらに、前記位置合わせ元高周波ブロックのパワーを位置合わせ元パワーとして算出すると共に、前記位置合わせ先高周波ブロックのパワーを位置合わせ先パワーとして算出し、前記位置合わせ元パワー及び前記位置合わせ先パワーの差の絶対値が所定の閾値未満であり、かつ前記位置合わせ先パワーが前記位置合わせ元パワーよりも大きい場合、前記位置合わせ部により生成された前記位置合わせ情報を確度の高い位置合わせ情報に設定し、前記差の絶対値が前記所定の閾値以上である場合、または前記位置合わせ先パワーが前記位置合わせ元パワー以下である場合、前記位置合わせ情報を確度の低い位置合わせ情報に設定する確度判定部を備え、
前記割り付け部は、
前記位置合わせ部により生成された前記位置合わせ情報の代わりに、前記確度判定部により設定された前記確度の高い位置合わせ情報を用いて、前記新たな第１多重解像度成分を生成する、ことを特徴とする動画像符号化装置。

【請求項4】

請求項１から３までのいずれか一項に記載の動画像符号化装置において、
前記入力動画像のピクチャの前記基準よりも前の所定数のピクチャに対応する当該所定数の局部復号済ピクチャ、前記基準よりも後の所定数のピクチャに対応する当該所定数の局部復号済ピクチャ、または、前記基準よりも前及び後の所定数のピクチャに対応する当該所定数の局部復号済ピクチャを前記第２局部復号済ピクチャとする、ことを特徴とする動画像符号化装置。

【請求項5】

動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行うことで復号残差ピクチャを生成し、当該復号残差ピクチャに予測ピクチャを加算して加算後ピクチャを生成し、前記加算後ピクチャにフィルタ処理を施して復号済ピクチャを生成することで、元の前記動画像を復元し、前記復号済ピクチャに基づいて超解像ピクチャを生成し、前記復号済ピクチャ及び前記超解像ピクチャを用いて画面間予測を行うことで前記予測ピクチャを生成する動画像復号装置において、
前記復号済ピクチャを第１復号済ピクチャとし、当該第１復号済ピクチャに対応する前記動画像のピクチャを基準としたときの当該基準よりも前のピクチャに対応する復号済ピクチャまたは前記基準よりも後のピクチャに対応する復号済ピクチャを第２復号済ピクチャとして、
前記第１復号済ピクチャをウェーブレットパケット分解することで第１多重解像度成分を生成すると共に、前記第２復号済ピクチャをウェーブレットパケット分解することで第２多重解像度成分を生成する多重解像度分解部と、
前記多重解像度分解部により生成された前記第１多重解像度成分における所定階層の複数の低周波帯域成分のそれぞれを複数のブロックに分割し、当該ブロックを位置合わせ元ブロックとして当該位置合わせ元ブロック毎に、当該位置合わせ元ブロックと、前記第１多重解像度成分における前記所定階層の他の複数の低周波帯域成分内のブロック及び前記第２多重解像度成分における前記所定階層の複数の低周波帯域成分内のブロックとの間でブロックマッチングによる位置合わせを行うことで、前記低周波帯域成分毎の位置合わせ先ブロックをそれぞれ設定し、前記位置合わせ元ブロック及び前記位置合わせ先ブロックを特定するための位置合わせ情報を生成する位置合わせ部と、
前記位置合わせ部により生成された前記位置合わせ情報にて特定される前記位置合わせ元ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ元高周波ブロックとし、前記位置合わせ情報にて特定される前記位置合わせ先ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ先高周波ブロックとして、当該位置合わせ先高周波ブロックを前記位置合わせ元ブロックに割り付けることで、前記位置合わせ先高周波ブロックに基づいた値を前記位置合わせ元ブロックの新たな値に設定し、新たな第１多重解像度成分を生成する割り付け部と、
前記割り付け部により生成された前記新たな第１多重解像度成分をウェーブレットパケット再構成することで前記超解像ピクチャを生成する再構成部と、
を備えたことを特徴とする動画像復号装置。

【請求項6】

コンピュータを、請求項１から４までのいずれか一項に記載の動画像符号化装置として機能させるためのプログラム。

【請求項7】

コンピュータを、請求項５に記載の動画像復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像を符号化する動画像符号化装置、符号化信号を復号する動画像復号装置及びプログラムに関する。

【背景技術】

【0002】

従来、解像度の高い４Ｋまたは８Ｋの動画像を対象とした動画圧縮方式の標準規格として、H.265/HEVC（High Efficiency Video Coding）が知られている（例えば非特許文献１を参照）。このH.265/HEVCの規格は、符号化されたフレームを用いて動きを予測し、予測残差の信号を直交変換して符号化する、動き補償及び直交変換の技術を基本としている。

【0003】

図１８は、従来の動画像符号化装置の構成例を示すブロック図であり、H.265/HEVCの標準規格に従った符号化側の構成を示している。この動画像符号化装置１００は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１１８、スイッチ１１９及びエントロピー符号化部１２０を備えている。画面間予測部１１８は、画面間予測処理部１２１及びフレームメモリ１２２を備えている。

【0004】

動画像符号化装置１００は、入力動画像に対し、１フレームのピクチャ毎に符号化処理を行い、符号化信号を生成して出力する装置である。

【0005】

入力動画像のピクチャは、減算部１１０により、画面内予測部１１６または画面間予測部１１８により生成された予測ピクチャとの間で減算処理が施される。これにより、残差ピクチャが生成される。

【0006】

残差ピクチャは、直交変換部１１１による直交変換処理、量子化部１１２による量子化処理、及びエントロピー符号化部１２０によりエントロピー符号化処理が施され、符号化信号として出力される。

【0007】

一方、量子化部１１２により量子化処理が施された量子化インデックス列は、逆量子化部１１３による逆量子化処理、逆直交変換部１１４による逆直交変換処理が施される。これにより、復号残差ピクチャが生成される。

【0008】

復号残差ピクチャは、加算部１１５により、予測ピクチャとの間で加算処理が施される。加算部１１５による加算結果の加算後ピクチャは、画面内予測部１１６による画面内予測処理が施される。また、加算後ピクチャは、インループフィルタ１１７によるフィルタ処理が施され、局部復号済ピクチャとして画面間予測部１１８のフレームメモリ１２２に格納される。

【0009】

フレームメモリ１２２に格納された局部復号済ピクチャは、画面間予測処理部１２１により過去の局部復号済ピクチャとして読み出される。そして、現在の局部復号済ピクチャ（入力動画像のピクチャ）を基準ピクチャとし、過去の局部復号済ピクチャを参照ピクチャとして、画面間予測処理が行われる。

【0010】

画面内予測部１１６による画面内予測処理にて生成された画像、及び画面間予測処理部１２１による画面間予測処理にて生成された画像のうち、いずれか一方がスイッチ１１９により選択され、予測ピクチャとして減算部１１０へ入力される。

【0011】

このような動き補償及び直交変換を基本とした動画像符号化技術において、符号化効率を向上させるための技術が提案されている。例えば、符号化の前段及び後段に画像縮小及び超解像復元を行うことで、符号化効率を向上させる手法がある（例えば、特許文献１を参照）。

【0012】

具体的には、この手法は、画像を高圧縮伝送するために、符号化側が画像に口ーパスフィルタを施し縮小して伝送し、復号側が超解像処理を施す。超解像処理では、画像の複雑さを示すパラメータに基づいて拡大係数を設定すると共に、最適な折り返し周波数を設定することを特徴とする。

【先行技術文献】

【特許文献】

【0013】

【文献】特許第６３４４８００号公報

【非特許文献】

【0014】

【文献】大久保榮、「インプレス標準教科書シリーズ H.265/HEVC教科書」、インプレスジャパン

【発明の概要】

【発明が解決しようとする課題】

【0015】

従来の動き補償及び直交変換を基本とした動画像符号化技術では、画面間予測処理により生成される予測ピクチャは、例えばブロックマッチング法にて予測誤差が最小となる画像が選択される。これにより、符号化効率を向上させることができ、復号側において客観的に高画質な動画像を得ることができる。

【0016】

しかしながら、動画像のピクチャ間におけるオブジェクトの動きによっては、オブジェクトがぼやけたり鮮鋭化したりする場合がある。この場合は、オブジェクトの動き速度が変化している可能性が高く、また、オブジェクトがカメラレンズの被写界深度内外に移動している可能性も高い。

【0017】

従来の動画像符号化技術では、ぼやけまたは鮮鋭化が起こる動画像であっても、このようなピクチャを用いて局部復号済ピクチャを生成し、局部復号済ピクチャを用いて予測ピクチャを生成する。このため、予測精度が低下しやすくなり、符号化効率が低下するという問題があった。

【0018】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、動画像のピクチャの画面間予測処理を行う際に、画面間でオブジェクトがぼやけたり鮮鋭化したりする場合であっても、精度の高い予測ピクチャを生成し、符号化効率を向上させることが可能な動画像符号化装置、動画像復号装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0019】

前記課題を解決するために、請求項１の動画像符号化装置は、入力動画像から予測ピクチャを減算して残差ピクチャを生成し、当該残差ピクチャに対し直交変換、量子化及びエントロピー符号化を行うことで符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行うことで復号残差ピクチャを生成し、当該復号残差ピクチャに前記予測ピクチャを加算して加算後ピクチャを生成し、当該加算後ピクチャにフィルタ処理を施して局部復号済ピクチャを生成し、当該局部復号済ピクチャに基づいて超解像ピクチャを生成し、前記局部復号済ピクチャ及び前記超解像ピクチャを用いて画面間予測を行うことで前記予測ピクチャを生成する動画像符号化装置において、前記局部復号済ピクチャを第１局部復号済ピクチャとし、当該第１局部復号済ピクチャに対応する前記入力動画像のピクチャを基準としたときの当該基準よりも前のピクチャに対応する局部復号済ピクチャまたは前記基準よりも後のピクチャに対応する局部復号済ピクチャを第２局部復号済ピクチャとして、前記第１局部復号済ピクチャをウェーブレットパケット分解することで第１多重解像度成分を生成すると共に、前記第２局部復号済ピクチャをウェーブレットパケット分解することで第２多重解像度成分を生成する多重解像度分解部と、前記多重解像度分解部により生成された前記第１多重解像度成分における所定階層の複数の低周波帯域成分のそれぞれを複数のブロックに分割し、当該ブロックを位置合わせ元ブロックとして当該位置合わせ元ブロック毎に、当該位置合わせ元ブロックと、前記第１多重解像度成分における前記所定階層の他の複数の低周波帯域成分内のブロック及び前記第２多重解像度成分における前記所定階層の複数の低周波帯域成分内のブロックとの間でブロックマッチングによる位置合わせを行うことで、前記低周波帯域成分毎の位置合わせ先ブロックをそれぞれ設定し、前記位置合わせ元ブロック及び前記位置合わせ先ブロックを特定するための位置合わせ情報を生成する位置合わせ部と、前記位置合わせ部により生成された前記位置合わせ情報にて特定される前記位置合わせ元ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ元高周波ブロックとし、前記位置合わせ情報にて特定される前記位置合わせ先ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ先高周波ブロックとして、当該位置合わせ先高周波ブロックを前記位置合わせ元高周波ブロックに割り付けることで、前記位置合わせ先高周波ブロックに基づいた値を前記位置合わせ元高周波ブロックの新たな値に設定し、新たな第１多重解像度成分を生成する割り付け部と、前記割り付け部により生成された前記新たな第１多重解像度成分をウェーブレットパケット再構成することで前記超解像ピクチャを生成する再構成部と、を備えたことを特徴とする。

【0020】

また、請求項２の動画像符号化装置は、請求項１に記載の動画像符号化装置において、さらに、前記位置合わせ元高周波ブロックのパワーを位置合わせ元パワーとして算出すると共に、前記位置合わせ先高周波ブロックのパワーを位置合わせ先パワーとして算出し、前記位置合わせ元パワー及び前記位置合わせ先パワーの差の絶対値が所定の閾値未満である場合、前記位置合わせ部により生成された前記位置合わせ情報を確度の高い位置合わせ情報に設定し、前記差の絶対値が前記所定の閾値以上である場合、前記位置合わせ情報を確度の低い位置合わせ情報に設定する確度判定部を備え、前記割り付け部が、前記位置合わせ部により生成された前記位置合わせ情報の代わりに、前記確度判定部により設定された前記確度の高い位置合わせ情報を用いて、前記新たな第１多重解像度成分を生成する、ことを特徴とする。

【0021】

また、請求項３の動画像符号化装置は、請求項１に記載の動画像符号化装置において、さらに、前記位置合わせ元高周波ブロックのパワーを位置合わせ元パワーとして算出すると共に、前記位置合わせ先高周波ブロックのパワーを位置合わせ先パワーとして算出し、前記位置合わせ元パワー及び前記位置合わせ先パワーの差の絶対値が所定の閾値未満であり、かつ前記位置合わせ先パワーが前記位置合わせ元パワーよりも大きい場合、前記位置合わせ部により生成された前記位置合わせ情報を確度の高い位置合わせ情報に設定し、前記差の絶対値が前記所定の閾値以上である場合、または前記位置合わせ先パワーが前記位置合わせ元パワー以下である場合、前記位置合わせ情報を確度の低い位置合わせ情報に設定する確度判定部を備え、前記割り付け部が、前記位置合わせ部により生成された前記位置合わせ情報の代わりに、前記確度判定部により設定された前記確度の高い位置合わせ情報を用いて、前記新たな第１多重解像度成分を生成する、ことを特徴とする。

【0022】

また、請求項４の動画像符号化装置は、請求項１から３までのいずれか一項に記載の動画像符号化装置において、前記入力動画像のピクチャの前記基準よりも前の所定数のピクチャに対応する当該所定数の局部復号済ピクチャ、前記基準よりも後の所定数のピクチャに対応する当該所定数の局部復号済ピクチャ、または、前記基準よりも前及び後の所定数のピクチャに対応する当該所定数の局部復号済ピクチャを前記第２局部復号済ピクチャとする、ことを特徴とする。

【0023】

さらに、請求項５の動画像復号装置は、動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行うことで復号残差ピクチャを生成し、当該復号残差ピクチャに予測ピクチャを加算して加算後ピクチャを生成し、前記加算後ピクチャにフィルタ処理を施して復号済ピクチャを生成することで、元の前記動画像を復元し、前記復号済ピクチャに基づいて超解像ピクチャを生成し、前記復号済ピクチャ及び前記超解像ピクチャを用いて画面間予測を行うことで前記予測ピクチャを生成する動画像復号装置において、前記復号済ピクチャを第１復号済ピクチャとし、当該第１復号済ピクチャに対応する前記動画像のピクチャを基準としたときの当該基準よりも前のピクチャに対応する復号済ピクチャまたは前記基準よりも後のピクチャに対応する復号済ピクチャを第２復号済ピクチャとして、前記第１復号済ピクチャをウェーブレットパケット分解することで第１多重解像度成分を生成すると共に、前記第２復号済ピクチャをウェーブレットパケット分解することで第２多重解像度成分を生成する多重解像度分解部と、前記多重解像度分解部により生成された前記第１多重解像度成分における所定階層の複数の低周波帯域成分のそれぞれを複数のブロックに分割し、当該ブロックを位置合わせ元ブロックとして当該位置合わせ元ブロック毎に、当該位置合わせ元ブロックと、前記第１多重解像度成分における前記所定階層の他の複数の低周波帯域成分内のブロック及び前記第２多重解像度成分における前記所定階層の複数の低周波帯域成分内のブロックとの間でブロックマッチングによる位置合わせを行うことで、前記低周波帯域成分毎の位置合わせ先ブロックをそれぞれ設定し、前記位置合わせ元ブロック及び前記位置合わせ先ブロックを特定するための位置合わせ情報を生成する位置合わせ部と、前記位置合わせ部により生成された前記位置合わせ情報にて特定される前記位置合わせ元ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ元高周波ブロックとし、前記位置合わせ情報にて特定される前記位置合わせ先ブロックと同じ位相位置の複数の高周波帯域成分内のブロックを位置合わせ先高周波ブロックとして、当該位置合わせ先高周波ブロックを前記位置合わせ元ブロックに割り付けることで、前記位置合わせ先高周波ブロックに基づいた値を前記位置合わせ元ブロックの新たな値に設定し、新たな第１多重解像度成分を生成する割り付け部と、前記割り付け部により生成された前記新たな第１多重解像度成分をウェーブレットパケット再構成することで前記超解像ピクチャを生成する再構成部と、を備えたことを特徴とする。

【0024】

さらに、請求項６のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の動画像符号化装置として機能させることを特徴とする。

【0025】

また、請求項７のプログラムは、コンピュータを、請求項５に記載の動画像復号装置として機能させることを特徴とする。

【発明の効果】

【0026】

以上のように、本発明によれば、動画像のピクチャの画面間予測処理を行う際に、画面間でオブジェクトがぼやけたり鮮鋭化したりする場合であっても、精度の高い予測ピクチャを生成し、符号化効率を向上させることができる。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態による動画像符号化装置の構成例を示すブロック図である。

【図2】動画像符号化装置に備えた画面間予測部の構成例を示すブロック図である。

【図3】超解像処理部の構成例を示すブロック図である。

【図4】超解像処理部の処理例を示すフローチャートである。

【図5】多重解像度分解部の処理例を説明する図である。

【図6】帯域、ブロック等の定義を説明する図である。

【図7】位置合わせ部の処理例（ステップＳ４０３）を示すフローチャート。

【図8】位置合わせ情報を説明する図である。

【図9】確度判定部の第１処理例（ステップＳ４０４）を示すフローチャートである。

【図10】水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックのパワーを説明する図である。

【図11】確度判定部の第２処理例（ステップＳ４０４）を示すフローチャートである。

【図12】判定後の位置合わせ情報の具体例を説明する図である。

【図13】割り付け部の第１処理例（ステップＳ４０５、置き換え処理）を示すフローチャートである。

【図14】割り付けの具体例を説明する図である。

【図15】割り付け部の第２処理例（ステップＳ４０５、平均値置き換え処理）を示すフローチャートである。

【図16】本発明の実施形態による動画像復号装置の構成例を示すブロック図である。

【図17】動画像復号装置に備えた画面間予測部の構成例を示すブロック図である。

【図18】従来の動画像符号化装置の構成を示すブロック図である。

【発明を実施するための形態】

【0028】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、参照ピクチャに加えて超解像ピクチャ（または超解像ピクチャ及びぼやけピクチャ）を用いて画面間予測を行う場合に、参照ピクチャ及びその前後（前、後または前及び後）の局部復号済ピクチャ（復号側では復号済ピクチャ）を用いて超解像ピクチャを生成することを特徴とする。

【0029】

これにより、入力動画像の画面間でオブジェクトがぼやけたり鮮鋭化したりする場合であっても、精度の高い予測ピクチャを生成し、符号化効率を向上させることができる。

【0030】

〔動画像符号化装置〕
まず、本発明の実施形態による動画像符号化装置について説明する。図１は、本発明の実施形態による動画像符号化装置の構成例を示すブロック図である。この動画像符号化装置１は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１０、スイッチ１１９及びエントロピー符号化部１２０を備えている。尚、図１には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。

【0031】

減算部１１０は、入力動画像のピクチャ（Ｉピクチャ、Ｐピクチャ及びＢピクチャ）を入力すると共に、スイッチ１１９から当該ピクチャの予測ピクチャを入力する。そして、減算部１１０は、入力動画像のピクチャから予測ピクチャを減算して残差ピクチャを生成し、残差ピクチャを直交変換部１１１に出力する。

【0032】

直交変換部１１１は、減算部１１０から残差ピクチャを入力し、残差ピクチャに対し直交変換を行い、変換係数列を生成する。そして、直交変換部１１１は、変換係数列を量子化部１１２に出力する。

【0033】

量子化部１１２は、直交変換部１１１から変換係数列を入力し、変換係数列に対し量子化を行い、量子化インデックス列を生成する。そして、量子化部１１２は、量子化インデックス列を逆量子化部１１３及びエントロピー符号化部１２０に出力する。

【0034】

逆量子化部１１３は、量子化部１１２から量子化インデックス列を入力し、量子化部１１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部１１３は、変換係数列を逆直交変換部１１４に出力する。

【0035】

逆直交変換部１１４は、逆量子化部１１３から変換係数列を入力し、直交変換部１１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差ピクチャを生成する。そして、逆直交変換部１１４は、復号残差ピクチャを加算部１１５に出力する。

【0036】

加算部１１５は、逆直交変換部１１４から復号残差ピクチャを入力すると共に、スイッチ１１９から予測ピクチャを入力する。そして、加算部１１５は、予測ピクチャに復号残差ピクチャを加算し、加算後ピクチャを画面内予測部１１６及びインループフィルタ１１７に出力する。

【0037】

画面内予測部１１６は、加算部１１５から加算後ピクチャを入力し、所定領域毎に、加算後ピクチャに画面内予測処理を施し、画面内予測結果を生成し、所定領域毎の画面内予測結果をスイッチ１１９に出力する。

【0038】

インループフィルタ１１７は、加算部１１５から加算後ピクチャを入力し、加算後ピクチャにフィルタ処理を施し、局部復号済ピクチャＫを生成する。そして、インループフィルタ１１７は、局部復号済ピクチャＫを画面間予測部１０に出力する。

【0039】

画面間予測部１０は、インループフィルタ１１７から局部復号済ピクチャＫを入力し、局部復号済ピクチャ（被予測ピクチャの参照ピクチャ）Ｋ及びその前後の局部復号済ピクチャＫ１，Ｋ２を用いて、超解像ピクチャＣを生成する。また、画面間予測部１０は、局部復号済ピクチャＫを用いてぼやけピクチャＢを生成する。局部復号済ピクチャＫ、超解像ピクチャＣ及びぼやけピクチャＢは、画面間予測処理のための参照ピクチャとして用いられる。尚、画面間予測部１０は、ぼやけピクチャＢを生成する処理を行わなくてもよい。

【0040】

画面間予測部１０は、所定領域毎に、入力動画像のピクチャである基準ピクチャ、及び局部復号済ピクチャＫ及び超解像ピクチャＣ等の参照ピクチャを用いて、画面間予測処理を行う。画面間予測部１０は、所定領域毎に、局部復号済ピクチャＫ及び超解像ピクチャＣ等のそれぞれについて、動きベクトル、予測ピクチャ及び予測誤差を求める。

【0041】

画面間予測部１０は、所定領域毎に、動きベクトル及び予測誤差等に基づいて予測ピクチャを選択し、所定領域毎の画面間予測結果としてスイッチ１１９に出力する。

【0042】

また、画面間予測部１０は、所定領域毎に最適な予測ピクチャを選択する処理において、所定領域毎に実際に選択した予測ピクチャの種類、算出した動きベクトル等をパラメータに設定する。そして、画面間予測部１０は、パラメータをエントロピー符号化部１２０に出力する。画面間予測部１０の詳細については後述する。

【0043】

スイッチ１１９は、画面内予測部１１６から所定領域毎の画面内予測結果を入力すると共に、画面間予測部１０から所定領域毎の画面間予測結果を入力し、いずれか一方を選択し、予測ピクチャとして減算部１１０及び加算部１１５に出力する。

【0044】

エントロピー符号化部１２０は、量子化部１１２から量子化インデックス列を入力すると共に、画面間予測部１０からパラメータを入力し、さらに、直交変換部１１１等からパラメータを入力する。そして、エントロピー符号化部１２０は、量子化インデックス列及びパラメータに対しエントロピー符号化を行い、符号化信号を生成する。エントロピー符号化部１２０は、符号化信号を、後述する動画像復号装置２へ出力する。

【0045】

〔画面間予測部１０〕
次に、図１に示した画面間予測部１０について詳細に説明する。図２は、動画像符号化装置１に備えた画面間予測部１０の構成例を示すブロック図である。この画面間予測部１０は、超解像処理部１１、ぼやけ処理部１２、フレームメモリ１３、画面間予測処理部１４、選択部１５及びパラメータ処理部１６を備えている。尚、図２には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。

【0046】

画面間予測部１０は、インループフィルタ１１７から局部復号済ピクチャＫを入力し、局部復号済ピクチャＫをフレームメモリ１３に格納する。

【0047】

超解像処理部１１は、局部復号済ピクチャ（被予測ピクチャの参照ピクチャ）Ｋを入力すると共に、フレームメモリ１３から当該参照ピクチャＫの前後の局部復号済ピクチャＫ１，Ｋ２を読み出す。ここでは、参照ピクチャＫの前後の局部復号済ピクチャＫ１，Ｋ２として、参照ピクチャＫよりも前の１つの局部復号済ピクチャＫ１、及び参照ピクチャＫよりも後の１つの局部復号済ピクチャＫ２が読み出されるものとする。

【0048】

ここで、参照ピクチャＫよりも前の局部復号済ピクチャＫ１とは、参照ピクチャＫに対応する入力動画像のピクチャを基準として、時系列の入力動画像のピクチャのうち、当該基準よりも前に動画像符号化装置１が入力するピクチャに対応する局部復号済ピクチャＫをいう。また、参照ピクチャＫよりも後の局部復号済ピクチャＫ２とは、時系列の動画像のピクチャのうち、当該基準よりも後に動画像符号化装置１が入力するピクチャに対応する局部復号済ピクチャＫをいう。このように、参照ピクチャＫの前後の局部復号済ピクチャＫ１，Ｋ２における前後とは、符号化処理の順番の前後を意味するのではなく、入力動画像のピクチャにおける時系列の順番の前後を意味する。

【0049】

超解像処理部１１は、参照ピクチャＫ及び局部復号済ピクチャＫ１，Ｋ２に、本発明の実施形態による超解像処理を施して超解像ピクチャＣを生成し、超解像ピクチャＣをフレームメモリ１３に格納する。尚、超解像処理部１１は、局部復号済ピクチャＫに超解像処理を施して所定種類の超解像ピクチャＣ１を生成し、超解像ピクチャＣ１もフレームメモリ１３に格納するようにしてもよい。

【0050】

ぼやけ処理部１２は、局部復号済ピクチャＫを入力し、局部復号済ピクチャＫにぼやけ処理を施して１または複数の所定種類のぼやけピクチャＢを生成し、ぼやけピクチャＢをフレームメモリ１３に格納する。

【0051】

フレームメモリ１３には、局部復号済ピクチャＫ、超解像ピクチャＣ及びぼやけピクチャＢがフレーム毎に格納される。

【0052】

画面間予測処理部１４は、フレームメモリ１３に格納された局部復号済ピクチャＫ、超解像ピクチャＣ及びぼやけピクチャＢを参照ピクチャとして読み出す。また、画面間予測処理部１４は、現在の入力動画像のピクチャを基準ピクチャとして入力する。

【0053】

画面間予測処理部１４は、局部復号済ピクチャＫ、超解像ピクチャＣ及びぼやけピクチャＢのそれぞれについて、所定領域毎に、基準ピクチャ及び参照ピクチャを用いて例えばブロックマッチング法にて、予測ピクチャ、動きベクトル及び予測誤差を求める。所定領域は、例えばslice（スライス）領域、CTU（Coding Tree Unit：コーディングツリーユニット）領域、CU（Coding Unit：コーディングユニット）領域である。

【0054】

画面間予測処理部１４は、局部復号済ピクチャＫ、超解像ピクチャＣ及びぼやけピクチャＢのそれぞれについて、所定領域毎の予測ピクチャ、動きベクトル及び予測誤差を選択部１５に出力する。

【0055】

選択部１５は、画面間予測処理部１４から所定領域毎の予測ピクチャ、動きベクトル及び予測誤差を入力する。選択部１５は、所定領域毎に、動きベクトル及び予測誤差に基づいて、局部復号済ピクチャＫ、超解像ピクチャＣ及びぼやけピクチャＢのうちのいずれかの予測ピクチャを選択し、選択した予測ピクチャを画面間予測結果としてスイッチ１１９に出力する。

【0056】

パラメータ処理部１６は、選択部１５により所定領域毎に選択された予測ピクチャの種類、及び画面間予測処理部１４により算出された動きベクトル等をパラメータに設定し、パラメータをエントロピー符号化部１２０に出力する。尚、画面間予測部１０は、ぼやけ処理部１２を備えていなくてもよい。

【0057】

〔超解像処理部１１〕
次に、図２に示した超解像処理部１１について説明する。図３は、超解像処理部１１の構成例を示すブロック図であり、図４は、超解像処理部１１の処理例を示すフローチャートである。この超解像処理部１１は、多重解像度分解部２０、位置合わせ部２１、確度判定部２２、割り付け部２３及び再構成部２４を備えている。

【0058】

多重解像度分解部２０は、局部復号済ピクチャＫである被予測ピクチャの参照ピクチャＫ（以下、「参照ピクチャＫ」という。）を入力すると共に、フレームメモリ１３から当該参照ピクチャＫの前後の局部復号済ピクチャＫ１，Ｋ２を入力する（ステップＳ４０１）。

【0059】

多重解像度分解部２０は、参照ピクチャＫ及び局部復号済ピクチャＫ１，Ｋ２のそれぞれを多重解像度分解（例えば多階層のウェーブレットパケット分解）する。そして、多重解像度分解部２０は、参照ピクチャＫの多重解像度成分、局部復号済ピクチャＫ１の多重解像度成分及び局部復号済ピクチャＫ２の多重解像度成分を生成する（ステップＳ４０２）。

【0060】

参照ピクチャＫ、局部復号済ピクチャＫ１及び局部復号済ピクチャＫ２のそれぞれをウェーブレットパケット分解するのは、ぼやけ量がピクチャ毎に異なることを考慮し、多重解像度分解を詳細に行うためである。

【0061】

多重解像度分解部２０は、参照ピクチャＫの多重解像度成分、局部復号済ピクチャＫ１の多重解像度成分及び局部復号済ピクチャＫ２の多重解像度成分を位置合わせ部２１に出力する。

【0062】

位置合わせ部２１は、多重解像度分解部２０から参照ピクチャＫの多重解像度成分、局部復号済ピクチャＫ１の多重解像度成分及び局部復号済ピクチャＫ２の多重解像度成分を入力する。

【0063】

位置合わせ部２１は、参照ピクチャＫの多重解像度成分における所定階層の複数の低周波帯域成分のそれぞれを複数のブロックに分割する。分割後のブロックを位置合わせ元ブロックとする。そして、位置合わせ部２１は、位置合わせ元ブロックと、参照ピクチャＫの多重解像度成分における所定階層の他の複数の低周波帯域成分内のブロック、局部復号済ピクチャＫ１の多重解像度成分における所定階層の複数の低周波帯域成分内のブロック、及び局部復号済ピクチャＫ２の多重解像度成分における所定階層の複数の低周波帯域成分内のブロックとの間で、例えばブロックマッチングによる位置合わせを行う。

【0064】

位置合わせ部２１は、ブロックマッチングによりマッチングした各低周波帯域成分内のブロックを位置合わせ先ブロックとし、位置合わせ元ブロックの識別子及び位置合わせ先ブロックの識別子からなる位置合わせ情報を生成する（ステップＳ４０３）。位置合わせ部２１は、位置合わせ情報を確度判定部２２に出力する。

【0065】

位置合わせ情報に含まれる位置合わせ元ブロックの識別子は、位置合わせ元ブロックを特定するための情報であり、参照ピクチャＫの多重解像度成分における所定階層の複数の低周波帯域成分のそれぞれにおいて、分割されたブロックの番号を示す。

【0066】

位置合わせ情報に含まれる位置合わせ先ブロックの識別子は、位置合わせ先ブロックを特定するための情報である。位置合わせ先ブロックの識別子は、参照ピクチャＫの多重解像度成分における所定階層の他の複数の低周波帯域成分のそれぞれにおいて、マッチングしたブロックの位置を特定するための識別子を示す。また、位置合わせ先ブロックの識別子は、局部復号済ピクチャＫ１，Ｋ２の多重解像度成分における所定階層の複数の低周波帯域成分のそれぞれにおいて、マッチングしたブロックの位置を特定するための識別子を示す。

【0067】

確度判定部２２は、位置合わせ部２１から位置合わせ元ブロックの識別子及び位置合わせ先ブロックの識別子からなる位置合わせ情報を入力する。

【0068】

確度判定部２２は、参照ピクチャＫの低周波帯域成分内の位置合わせ元ブロックと同じ位相位置の複数の高周波帯域成分内のブロック（位置合わせ元高周波ブロック）のパワー（位置合わせ元パワー）をそれぞれ算出する。また、確度判定部２２は、参照ピクチャＫ、局部復号済ピクチャＫ１及び局部復号済ピクチャＫ２の低周波帯域成分内の位置合わせ先ブロックと同じ位相位置の複数の高周波帯域成分内のブロック（位置合わせ先高周波ブロック）のパワー（位置合わせ先パワー）をそれぞれ算出する。確度判定部２２は、位置合わせ情報毎にパワーの算出を行う。

【0069】

確度判定部２２は、位置合わせ情報毎に、これらのパワーに基づいて、周波数成分におけるパワーの方向性が似ている程度を示す確度を求め、確度の高い位置合わせ情報を判定後の位置合わせ情報とする（ステップＳ４０４）。確度判定部２２は、判定後の位置合わせ情報及びその確度を割り付け部２３に出力する。

【0070】

例えば確度判定部２２は、位置合わせ元ブロックに関するパワーと位置合わせ先ブロックに関するパワーとの間の差の絶対値が所定の閾値未満である場合、当該位置合わせ情報を確度の高い位置合わせ情報に設定する。一方、確度判定部２２は、当該差の絶対値が所定の閾値未満である場合、当該位置合わせ情報を確度の低い位置合わせ情報に設定する。確度判定部２２は、確度の高い位置合わせ情報を判定後の位置合わせ情報とする。

【0071】

割り付け部２３は、確度判定部２２から判定後の位置合わせ情報及びその確度を入力する。そして、割り付け部２３は、判定後の位置合わせ情報及びその確度に基づいて、位置合わせ元ブロック毎に、当該位置合わせ元ブロックに対応する位置合わせ先ブロックと同じ位相位置の高周波帯域成分内のブロックを、当該位置合わせ元ブロックと同じ位相位置の高周波帯域成分内のブロックに割り付ける。

【0072】

割り付け部２３は、位置合わせ元ブロックと同じ位相位置の高周波帯域成分内のブロックの値を、位置合わせ先ブロックと同じ位相位置の高周波帯域成分内のブロックの値に基づいた新たな値に置き換え、割り付け後の参照ピクチャＫの多重解像度成分を生成する（ステップＳ４０５）。そして、割り付け部２３は、割り付け後の参照ピクチャＫの多重解像度成分を再構成部２４に出力する。

【0073】

再構成部２４は、割り付け後の参照ピクチャＫの多重解像度成分を入力し、当該多重解像度成分を多重解像度再構成（例えばウェーブレットパケット再構成）し、参照ピクチャＫの超解像ピクチャＣを生成する（ステップＳ４０６）。再構成部２４は、超解像ピクチャＣをフレームメモリ１３に格納する（ステップＳ４０７）。

【0074】

〔多重解像度分解部２０〕
次に、図３に示した多重解像度分解部２０の処理について詳細に説明する。図５は、多重解像度分解部２０の処理例を説明する図であり、図４に示したステップＳ４０２の処理において、ウェーブレットパケット分解数ｎ＝２の場合を示している。

【0075】

図５に示すように、多重解像度分解部２０は、参照ピクチャＫをウェーブレットパケット分解数ｎ＝２のウェーブレットパケット分解し、参照ピクチャＫの多重解像度成分を生成する。同様に、多重解像度分解部２０は、局部復号済ピクチャＫ１をウェーブレットパケット分解数ｎ＝２のウェーブレットパケット分解し、局部復号済ピクチャＫ１の多重解像度成分を生成する。また、多重解像度分解部２０は、局部復号済ピクチャＫ２をウェーブレットパケット分解数ｎ＝２のウェーブレットパケット分解し、局部復号済ピクチャＫ２の多重解像度成分を生成する。

【0076】

このように、多重解像度分解部２０により、参照ピクチャＫ、局部復号済ピクチャＫ１及び局部復号済ピクチャＫ２のそれぞれについて、多重解像度成分が生成される。

【0077】

超解像処理の周波数制御を詳細に行うために、多重解像度分解処理におけるウェーブレットパケット分解数ｎはなるべく大きくすることが望ましい。

【0078】

ここで、例えば参照ピクチャＫの画素数を７６８０×４３２０（画素／ピクチャ）、ウェーブレットパケット分解数ｎ＝２とする。ウェーブレットパケット分解では、１階分解する毎に１つの帯域が４分割されるため、図５に示したとおり、参照ピクチャＫから２階ウェーブレットパケット分解された４²（＝１６）個の帯域が生成される。各帯域は、１９２０×１０８０（サンプル／ピクチャ）となる。

【0079】

また、例えばウェーブレットパケット分解数ｎ＝３とすると、参照ピクチャＫから３階ウェーブレットパケット分解された４³（＝６４）個の帯域が生成され、各帯域は、９６０×５４０（サンプル／ピクチャ）となる。局部復号済ピクチャＫ１，Ｋ２のそれぞれについても同様である。

【0080】

図６は、帯域、ブロック等の定義を説明する図である。参照ピクチャＫ及び局部復号済ピクチャＫ１，Ｋ２におけるそれぞれの多重解像度成分は、１６個の帯域から構成される。ＬＬは低周波帯域成分を示し、ＬＨは水平高周波帯域成分を示し、ＨＬは垂直高周波帯域成分を示し、ＨＨは対角高周波帯域成分を示す。また、ｐ＝１の場合、参照ピクチャＫを示し、ｐ＝２の場合、局部復号済ピクチャＫ１を示し、ｐ＝３の場合、局部復号済ピクチャＫ２を示す。

【0081】

多重解像度成分における１６個の帯域のうち左下の４個の帯域は、ＬＬ_p ¹，ＬＨ_p ¹，ＨＬ_p ¹，ＨＨ_p ¹である。これらの帯域は、元のピクチャが１階ウェーブレットパケット分解されたときの第１（ｑ＝１）番目の帯域である低周波帯域成分ＬＬについて、さらにウェーブレットパケット分解されることで生成される。

【0082】

右下の４個の帯域は、ＬＬ_p ²，ＬＨ_p ²，ＨＬ_p ²，ＨＨ_p ²である。これらの帯域は、元のピクチャが１階ウェーブレットパケット分解されたときの第２（ｑ＝２）番目の帯域である水平高周波帯域成分ＬＨについて、さらにウェーブレットパケット分解されることで生成される。

【0083】

左上の４個の帯域は、ＬＬ_p ³，ＬＨ_p ³，ＨＬ_p ³，ＨＨ_p ³である。これらの帯域は、元のピクチャが１階ウェーブレットパケット分解されたときの第３（ｑ＝３）番目の帯域である垂直高周波帯域成分ＨＬについて、さらにウェーブレットパケット分解されることで生成される。

【0084】

右上の４個の帯域は、ＬＬ_p ⁴，ＬＨ_p ⁴，ＨＬ_p ⁴，ＨＨ_p ⁴である。これらの帯域は、元のピクチャが１階ウェーブレットパケット分解されたときの第４（ｑ＝４）番目の帯域である対角高周波帯域成分ＨＨについて、さらにウェーブレットパケット分解されることで生成される。

【0085】

多重解像度成分における第ｑ番目の低周波帯域成分ＬＬ_p ^q内における所定位置のブロックを、ブロックＭ_p ^qとする。ｐは局部復号済ピクチャＫ，Ｋ１，Ｋ２の番号を示し、ｑは帯域の番号を示す。位置合わせ部２１により、低周波帯域成分ＬＬ_p ^q内のブロックＭ_p ^qを単位として、異なる低周波帯域成分ＬＬ_p ^q間で位置合わせが行われる。詳細については後述する。

【0086】

〔位置合わせ部２１〕
次に、図３に示した位置合わせ部２１の処理について詳細に説明する。図７は、位置合わせ部２１の処理例を説明する図であり、図４に示したステップＳ４０３の処理を示している。図８は、位置合わせ情報を説明する図である。

【0087】

位置合わせ部２１は、多重解像度分解部２０から参照ピクチャＫの多重解像度成分、局部復号済ピクチャＫ１の多重解像度成分及び局部復号済ピクチャＫ２の多重解像度成分を入力する（ステップＳ７０１）。

【0088】

位置合わせ部２１は、参照ピクチャＫの多重解像度成分における所定階層の低周波帯域成分ＬＬ₁ ¹，ＬＬ₁ ²，ＬＬ₁ ³，ＬＬ₁ ⁴のそれぞれについて、ブロック（位置合わせ元ブロック）毎に分割する（ステップＳ７０２）。

【0089】

位置合わせ部２１は、低周波帯域成分ＬＬ₁ ¹，ＬＬ₁ ²，ＬＬ₁ ³，ＬＬ₁ ⁴のそれぞれについて、位置合わせ元ブロックと、他の低周波帯域成分ＬＬ₁ ¹，ＬＬ₁ ²，ＬＬ₁ ³，ＬＬ₁ ⁴内のブロックとの間で位置合わせを行う（ステップＳ７０３）。

【0090】

例えば位置合わせ部２１は、位置合わせ元ブロックと後者のブロックとの間で、後者のブロックを１サンプル毎ずらしてブロックマッチングを行う。そして、位置合わせ部２１は、位置合わせ元ブロックのサンプルの値と後者のブロックのサンプルの値との間の差分の絶対値が最小となる後者のブロックの位置を特定する。

【0091】

位置合わせ部２１は、特定した後者の位置のブロックを位置合わせ先ブロックに設定し、図８の左側に示すように、位置合わせ元ブロックの識別子及び位置合わせ先ブロックの識別子からなる位置合わせ情報Ｍ₁ ^qＭ₁ ^q’を生成する。ｑ＝１～４であり、ｑ’はｑ’＝１～４かつｑ≠ｑ’である。

【0092】

図８の左側を参照して、位置合わせ部２１は、低周波帯域成分ＬＬ₁ ¹内の位置合わせ元ブロックと、他の低周波帯域成分ＬＬ₁ ²，ＬＬ₁ ³，ＬＬ₁ ⁴内のブロックとの間でそれぞれ位置合わせを行い、位置合わせ情報Ｍ₁ ¹Ｍ₁ ²，Ｍ₁ ¹Ｍ₁ ³，Ｍ₁ ¹Ｍ₁ ⁴を生成する。低周波帯域成分ＬＬ₁ ¹内の位置合わせ元ブロックは、点線で区切られたブロック（分割により得られたブロック）であり、例えばブロックＭ₁ ¹である。

【0093】

同様に、位置合わせ部２１は、低周波帯域成分ＬＬ₁ ²内の位置合わせ元ブロックと、他の低周波帯域成分ＬＬ₁ ¹，ＬＬ₁ ³，ＬＬ₁ ⁴内のブロックとの間でそれぞれ位置合わせを行い、位置合わせ情報Ｍ₁ ²Ｍ₁ ¹，Ｍ₁ ²Ｍ₁ ³，Ｍ₁ ²Ｍ₁ ⁴を生成する。また、位置合わせ部２１は、低周波帯域成分ＬＬ₁ ³内の位置合わせ元ブロックと、他の低周波帯域成分ＬＬ₁ ¹，ＬＬ₁ ²，ＬＬ₁ ⁴内のブロックとの間でそれぞれ位置合わせを行い、位置合わせ情報Ｍ₁ ³Ｍ₁ ¹，Ｍ₁ ³Ｍ₁ ²，Ｍ₁ ³Ｍ₁ ⁴を生成する。さらに、位置合わせ部２１は、低周波帯域成分ＬＬ₁ ⁴内の位置合わせ元ブロックと、他の低周波帯域成分ＬＬ₁ ¹，ＬＬ₁ ²，ＬＬ₁ ³内のブロックとの間でそれぞれ位置合わせを行い、位置合わせ情報Ｍ₁ ⁴Ｍ₁ ¹，Ｍ₁ ⁴Ｍ₁ ²，Ｍ₁ ⁴Ｍ₁ ³を生成する。

【0094】

図７に戻って、位置合わせ部２１は、参照ピクチャＫの低周波帯域成分ＬＬ₁ ¹，ＬＬ₁ ²，ＬＬ₁ ³，ＬＬ₁ ⁴のそれぞれについて、位置合わせ元ブロックと、局部復号済ピクチャＫ１の低周波帯域成分ＬＬ₂ ¹，ＬＬ₂ ²，ＬＬ₂ ³，ＬＬ₂ ⁴内のブロックとの間で位置合わせを行う（ステップＳ７０４）。

【0095】

具体的には、位置合わせ部２１は、ステップＳ７０３と同様に、位置合わせ元ブロックと後者のブロックとの間で、後者のブロックを１サンプル毎ずらしてブロックマッチングを行い、両者のサンプルの値の差分の絶対値が最小となる後者のブロックの位置を特定する。

【0096】

位置合わせ部２１は、特定した後者の位置のブロックを位置合わせ先ブロックに設定し、図８の右下に示すように、位置合わせ元ブロックの識別子及び位置合わせ先ブロックの識別子からなる位置合わせ情報Ｍ₁ ^qＭ₂ ^qを生成する。

【0097】

図８の右下を参照して、位置合わせ部２１は、低周波帯域成分ＬＬ₁ ¹内の位置合わせ元ブロックと、局部復号済ピクチャＫ１の低周波帯域成分ＬＬ₂ ¹，ＬＬ₂ ²，ＬＬ₂ ³，ＬＬ₂ ⁴内のブロックとの間でそれぞれ位置合わせを行い、位置合わせ情報Ｍ₁ ¹Ｍ₂ ¹，Ｍ₁ ¹Ｍ₂ ²，Ｍ₁ ¹Ｍ₂ ³，Ｍ₁ ¹Ｍ₂ ⁴を生成する。

【0098】

同様に、位置合わせ部２１は、低周波帯域成分ＬＬ₁ ²内の位置合わせ元ブロックと、局部復号済ピクチャＫ１の低周波帯域成分ＬＬ₂ ¹，ＬＬ₂ ²，ＬＬ₂ ³，ＬＬ₂ ⁴内のブロックとの間でそれぞれ位置合わせを行い、位置合わせ情報Ｍ₁ ²Ｍ₂ ¹，Ｍ₁ ²Ｍ₂ ²，Ｍ₁ ²Ｍ₂ ³，Ｍ₁ ²Ｍ₂ ⁴を生成する。また、位置合わせ部２１は、低周波帯域成分ＬＬ₁ ³内及びＬＬ₁ ⁴内の位置合わせ元ブロックについてそれぞれ位置合わせを行い、位置合わせ情報Ｍ₁ ³Ｍ₂ ¹，Ｍ₁ ³Ｍ₂ ²，Ｍ₁ ³Ｍ₂ ³，Ｍ₁ ³Ｍ₂ ⁴及び位置合わせ情報Ｍ₁ ⁴Ｍ₂ ¹，Ｍ₁ ⁴Ｍ₂ ²，Ｍ₁ ⁴Ｍ₂ ³，Ｍ₁ ⁴Ｍ₂ ⁴生成する。

【0099】

図７に戻って、位置合わせ部２１は、ステップＳ７０３と同様に、局部復号済ピクチャＫ２について位置合わせを行う（ステップＳ７０５）。

【0100】

図８の右上を参照して、位置合わせ部２１は、位置合わせにより、位置合わせ情報Ｍ₁ ¹Ｍ₃ ¹，Ｍ₁ ¹Ｍ₃ ²，Ｍ₁ ¹Ｍ₃ ³，Ｍ₁ ¹Ｍ₃ ⁴を生成し、同様に、位置合わせ情報Ｍ₁ ²Ｍ₃ ¹，Ｍ₁ ²Ｍ₃ ²，Ｍ₁ ²Ｍ₃ ³，Ｍ₁ ²Ｍ₃ ⁴等を生成する。

【0101】

図７に戻って、位置合わせ部２１は、ステップＳ７０３～Ｓ７０５にて生成した位置合わせ情報を確度判定部２２に出力する（ステップＳ７０６）。

【0102】

このように、位置合わせ部２１により、参照ピクチャＫの低周波帯域成分ＬＬ₁の位置合わせ元ブロックの識別子と、当該位置合わせ元ブロックのサンプルの値に最もマッチングした参照ピクチャＫの他の低周波帯域成分ＬＬ₁の位置合わせ先ブロックの識別子とからなる位置合わせ情報が生成される。また、位置合わせ部２１により、参照ピクチャＫの低周波帯域成分ＬＬ₁の位置合わせ元ブロックの識別子と、当該位置合わせ元ブロックのサンプルの値に最もマッチングした局部復号済ピクチャＫ１，Ｋ２の低周波帯域成分ＬＬの位置合わせ先ブロックの識別子とからなる位置合わせ情報が生成される。つまり、位置合わせ情報の示す位置合わせ元ブロックと位置合わせ先ブロックとは、低周波帯域成分ＬＬが似ていることとなる。

【0103】

〔確度判定部２２〕
次に、図３に示した確度判定部２２の処理について詳細に説明する。図９は、確度判定部２２の第１処理例を示すフローチャートであり、図４に示したステップＳ４０４の処理を示している。図１０は、水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックのパワーを説明する図である。

【0104】

確度判定部２２は、位置合わせ部２１から位置合わせ情報を入力する（ステップＳ９０１）。そして、確度判定部２２は、位置合わせ情報毎に、後述するステップＳ９０２～Ｓ９０９の処理を行う。

【0105】

確度判定部２２は、位置合わせ情報における位置合わせ元ブロックについて、低周波帯域成分ＬＬ₁内の当該位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内のブロックを特定し、当該ブロックのパワー（位置合わせ元パワー）Ｐ（ＬＨ₁），Ｐ（ＨＬ₁），Ｐ（ＨＨ₁）を算出する（ステップＳ９０２）。

【0106】

図１０に示すように、低周波帯域成分ＬＬ₁内の位置合わせ元ブロックと、これと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内のブロックとは、低周波帯域成分ＬＬ₁内における位置合わせ元ブロックの周波数位置と、水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内における前記ブロックの周波数位置とが同じ位置関係にある。

【0107】

図１０の左側を参照して、確度判定部２２は、例えば位置合わせ元ブロックが低周波帯域成分ＬＬ₁ ¹内のブロックＭ₁ ¹の場合、これと同じ位相位置の水平高周波帯域成分ＬＨ₁ ¹内のブロックを特定する。そして、確度判定部２２は、特定したブロックのパワーＰ（ＬＨ₁ ¹）を算出する。

【0108】

同様に、確度判定部２２は、低周波帯域成分ＬＬ₁ ¹内のブロックＭ₁ ¹と同じ位相位置の垂直高周波帯域成分ＨＬ₁ ¹内のブロックを特定し、当該ブロックのパワーＰ（ＨＬ₁ ¹）を算出する。また、確度判定部２２は、低周波帯域成分ＬＬ₁ ¹内のブロックＭ₁ ¹と同じ位相位置の対角高周波帯域成分ＨＨ₁ ¹内のブロックを特定し、当該ブロックのパワーＰ（ＨＨ₁ ¹）を算出する。

【0109】

図９に戻って、確度判定部２２は、ステップＳ９０２にて算出した水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内のブロックのパワーＰ（ＬＨ₁），Ｐ（ＨＬ₁），Ｐ（ＨＨ₁）を合計する。そして、確度判定部２２は、合計値（Ｐ（ＬＨ₁）＋Ｐ（ＨＬ₁）＋Ｐ（ＨＨ₁））で正規化したパワー（位置合わせ元正規化パワー）Ｐ_N（ＬＨ₁），Ｐ_N（ＨＬ₁），Ｐ_N（ＨＨ₁）を算出する（ステップＳ９０３）。

【0110】

確度判定部２２は、位置合わせ情報における位置合わせ先ブロックについて、低周波帯域成分ＬＬ内の当該位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨ内のブロックを特定し、当該ブロックのパワー（位置合わせ先パワー）Ｐ（ＬＨ），Ｐ（ＨＬ），Ｐ（ＨＨ）を算出する（ステップＳ９０４）。

【0111】

図１０の左側を参照して、確度判定部２２は、例えば位置合わせ先ブロックが低周波帯域成分ＬＬ₁ ⁴内のブロックα１の場合、これと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁ ⁴，ＨＬ₁ ⁴，ＨＨ₁ ⁴内のブロックを特定する。そして、確度判定部２２は、特定したブロックのパワーＰ（ＬＨ₁ ⁴），Ｐ（ＨＬ₁ ⁴），Ｐ（ＨＨ₁ ⁴）を算出する。

【0112】

同様に、確度判定部２２は、例えば位置合わせ先ブロックが局部復号済ピクチャＫ１の低周波帯域成分ＬＬ₂ ²内のブロックα２の場合、これと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₂ ²，ＨＬ₂ ²，ＨＨ₂ ²内のブロックのパワーＰ（ＬＨ₂ ²），Ｐ（ＨＬ₂ ²），Ｐ（ＨＨ₂ ²）を算出する。

【0113】

また、確度判定部２２は、例えば位置合わせ先ブロックが局部復号済ピクチャＫ２の低周波帯域成分ＬＬ₃ ³内のブロックα３の場合、これと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₃ ³，ＨＬ₃ ³，ＨＨ₃ ³内のブロックのパワーＰ（ＬＨ₃ ³），Ｐ（ＨＬ₃ ³），Ｐ（ＨＨ₃ ³）を算出する。

【0114】

図９に戻って、確度判定部２２は、ステップＳ９０４にて算出した水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨ内のブロックのパワーＰ（ＬＨ），Ｐ（ＨＬ），Ｐ（ＨＨ）を合計する。そして、確度判定部２２は、合計値（Ｐ（ＬＨ）＋Ｐ（ＨＬ）＋Ｐ（ＨＨ））で正規化したパワー（位置合わせ先正規化パワー）Ｐ_N（ＬＨ），Ｐ_N（ＨＬ），Ｐ_N（ＨＨ）を算出する（ステップＳ９０５）。

【0115】

確度判定部２２は、当該位置合わせ情報について、水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのそれぞれについて、位置合わせ元正規化パワーＰ_N（ＬＨ₁）と位置合わせ先正規化パワーＰ_N（ＬＨ）との差分の絶対値、位置合わせ元正規化パワーＰ_N（ＨＬ₁）と位置合わせ先正規化パワーＰ_N（ＨＬ）との差分の絶対値、及び位置合わせ元正規化パワーＰ_N（ＨＨ₁）と位置合わせ先正規化パワーＰ_N（ＨＨ）との差分の絶対値を算出する。

【0116】

確度判定部２２は、これらの差分の絶対値の合計値Ｄ_N（ＭＭ）算出し、合計値Ｄ_N（ＭＭ）の逆数を確度に設定する（ステップＳ９０６）。ＭＭは位置合わせ情報である。

【0117】

合計値Ｄ_N（ＭＭ）が小さいほど、確度は高くなる。この場合、参照ピクチャＫの低周波帯域成分ＬＬ₁内の位置合わせ元ブロックから、これと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内のブロックへのパワーの方向性と、参照ピクチャＫの他の低周波帯域成分ＬＬ₁内及び局部復号済ピクチャＫ１，Ｋ２の低周波帯域成分ＬＬ内の位置合わせ先ブロックから、これと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨ内のブロックへのパワーの方向性とが似ているものと判断される。一方、合計値Ｄ_N（ＭＭ）が大きいほど、確度は低くなる。この場合、位置合わせ元のパワーの方向性と、位置合わせ先のパワーの方向性とが似ていないものと判断される。

【0118】

確度判定部２２は、合計値Ｄ_N（ＭＭ）が予め設定された閾値Ｔ_Hよりも小さいか否かを判定し（ステップＳ９０７）、合計値Ｄ_N（ＭＭ）が閾値Ｔ_Hよりも小さいと判定した場合（ステップＳ９０７：Ｙ：Ｄ_N（ＭＭ）＜Ｔ_H）、当該位置合わせ情報ＭＭを採用すると判断する（ステップＳ９０８）。

【0119】

これにより、合計値Ｄ_N（ＭＭ）が閾値Ｔ_Hよりも小さいと判定された場合、確度が高く方向性が似ているとして、当該位置合わせ情報ＭＭが採用される。

【0120】

一方、確度判定部２２は、ステップＳ９０７において、合計値Ｄ_N（ＭＭ）が閾値Ｔ_Hよりも小さくない（合計値Ｄ_N（ＭＭ）が閾値Ｔ_H以上である）と判定した場合（ステップＳ９０７：Ｎ：Ｄ_N（ＭＭ）≧Ｔ_H）、当該位置合わせ情報ＭＭを採用しないと判断する（ステップＳ９０９）。

【0121】

これにより、合計値Ｄ_N（ＭＭ）が閾値Ｔ_H以上であると判定された場合、確度が低く方向性が似ていないとして、当該位置合わせ情報ＭＭは不採用となる。

【0122】

確度判定部２２は、ステップＳ９０８，Ｓ９０９から移行して、全ての位置合わせ情報について処理が完了したか否かを判定する（ステップＳ９１０）。確度判定部２２は、ステップＳ９１０において、全ての位置合わせ情報について処理が完了していないと判定した場合（ステップＳ９１０：Ｎ）、次の位置合わせ情報について、ステップＳ９０２～Ｓ９０９の処理を行う。

【0123】

一方、確度判定部２２は、ステップＳ９１０において、全ての位置合わせ情報について処理が完了したと判定した場合（ステップＳ９１０：Ｙ）、ステップＳ９０８にて採用した位置合わせ情報ＭＭを判定後の位置合わせ情報に設定する。そして、確度判定部２２は、判定後の位置合わせ情報、及び当該判定後の位置合わせ情報におけるステップＳ９０６にて設定した確度を割り付け部２３に出力する（ステップＳ９１１）。

【0124】

このように、確度判定部２２により、位置合わせ元の周波数成分のパワーの方向性と位置合わせ先の周波数成分のパワーの方向性とが似ている位置合わせ情報が判定後の位置合わせ情報として設定される。また、確度判定部２２により、その方向性の似ている程度を示す確度が設定される。

【0125】

図１１は、確度判定部２２の第２処理例を示すフローチャートであり、図４に示したステップＳ４０４の処理を示している。図１１のステップＳ１１０１～Ｓ１１０３，Ｓ１１０５，Ｓ１１０６，Ｓ１１０８は、それぞれ図１０のステップＳ９０１～Ｓ９０６に相当する。確度判定部２２は、位置合わせ情報毎に、ステップＳ１１０２～Ｓ１１１２の処理を行う。

【0126】

確度判定部２２は、ステップＳ１１０３から移行して、水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内のブロックのパワーＰ（ＬＨ₁），Ｐ（ＨＬ₁），Ｐ（ＨＨ₁）の合計値（Ｐ（ＬＨ₁）＋Ｐ（ＨＬ₁）＋Ｐ（ＨＨ₁））を位置合わせ元の合計パワーＭＰとして求める（ステップＳ１１０４）。

【0127】

また、確度判定部２２は、ステップＳ１１０６から移行して、水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨ内のブロックのパワーＰ（ＬＨ），Ｐ（ＨＬ），Ｐ（ＨＨ）の合計値（Ｐ（ＬＨ）＋Ｐ（ＨＬ）＋Ｐ（ＨＨ））と位置合わせ先の合計パワーＳＰとして求める（ステップＳ１１０７）。

【0128】

確度判定部２２は、ステップＳ１１０８から移行して、合計値Ｄ_N（ＭＭ）が予め設定された閾値Ｔ_Hよりも小さいか否かを判定し（ステップＳ１１０９）、合計値Ｄ_N（ＭＭ）が閾値Ｔ_Hよりも小さいと判定した場合（ステップＳ１１０９：Ｙ：Ｄ_N（ＭＭ）＜Ｔ_H）、ステップＳ１１１０へ移行する。

【0129】

一方、確度判定部２２は、ステップＳ１１０９において、合計値Ｄ_N（ＭＭ）が閾値Ｔ_Hよりも小さくない（合計値Ｄ_N（ＭＭ）が閾値Ｔ_H以上である）と判定した場合（ステップＳ１１０９：Ｎ：Ｄ_N（ＭＭ）≧Ｔ_H）、ステップＳ１１１２へ移行する。

【0130】

確度判定部２２は、ステップＳ１１０９（Ｙ）から移行して、位置合わせ先の合計パワーＳＰが位置合わせ元の合計パワーＭＰよりも大きいか否かを判定する（ステップＳ１１１０）。

【0131】

確度判定部２２は、ステップＳ１１１０において、位置合わせ先の合計パワーＳＰが位置合わせ元の合計パワーＭＰよりも大きいと判定した場合（ステップＳ１１１０：Ｙ：ＳＰ＞ＭＰ）、当該位置合わせ情報ＭＭを採用すると判断する（ステップＳ１１１１）。

【0132】

これにより、合計値Ｄ_N（ＭＭ）が閾値Ｔ_Hよりも小さく、かつ位置合わせ先の合計パワーＳＰが位置合わせ元の合計パワーＭＰよりも大きいと判定された場合、確度が高く方向性が似ており、かつ、後段の再構成部２４により超解像化する方向の（鮮鋭化した）超解像ピクチャＣが生成される（入力動画像が鮮鋭化している場合に、これに対応した超解像ピクチャＣが生成される）として、当該位置合わせ情報ＭＭが採用される。

【0133】

一方、確度判定部２２は、ステップＳ１１１０において、位置合わせ先の合計パワーＳＰが位置合わせ元の合計パワーＭＰよりも大きくない（以下である）と判定した場合（ステップＳ１１１０：Ｎ：ＳＰ≦ＭＰ）、ステップＳ１１１２へ移行する。

【0134】

確度判定部２２は、ステップＳ１１０９（Ｎ）またはステップＳ１１１０（Ｎ）から移行して、当該位置合わせ情報ＭＭを採用しないと判断する（ステップＳ１１１２）。

【0135】

これにより、合計値Ｄ_N（ＭＭ）が閾値Ｔ_H以上であると判定された場合、確度が低く方向性が似ていないとして、当該位置合わせ情報ＭＭは不採用となる。また、位置合わせ先の合計パワーＳＰが位置合わせ元の合計パワーＭＰ以下であると判定された場合、後段の再構成部２４により超解像化する方向の超解像ピクチャＣが生成されない（入力動画像が鮮鋭化している場合に、これに対応した超解像ピクチャＣが生成されない）として、当該位置合わせ情報ＭＭは不採用となる。

【0136】

確度判定部２２は、ステップＳ１１１１，Ｓ１１１２から移行して、全ての位置合わせ情報について処理が完了したか否かを判定する（ステップＳ１１１３）。確度判定部２２は、ステップＳ１１１３において、全ての位置合わせ情報について処理が完了していないと判定した場合（ステップＳ１１１３：Ｎ）、次の位置合わせ情報について、ステップＳ１１０２～Ｓ１１１２の処理を行う。

【0137】

一方、確度判定部２２は、ステップＳ１１１３において、全ての位置合わせ情報について処理が完了したと判定した場合（ステップＳ１１１３：Ｙ）、ステップＳ１１１１にて採用した位置合わせ情報を判定後の位置合わせ情報に設定する。そして、確度判定部２２は、判定後の位置合わせ情報、及び当該判定後の位置合わせ情報におけるステップＳ１１０８にて設定した確度を割り付け部２３に出力する（ステップＳ１１１４）。

【0138】

このように、確度判定部２２により、パワーの方向性が似ており、かつ後段の再構成部２４により超解像化する方向の超解像ピクチャＣが生成されると判断された位置合わせ情報が判定後の位置合わせ情報として設定される。また、確度判定部２２により、その方向性の似ている程度を示す確度が設定される。

【0139】

図１２は、判定後の位置合わせ情報の具体例を説明する図である。この具体例では、図９に示した第１処理例により、参照ピクチャＫの低周波帯域成分ＬＬ₁ ¹における位置合わせ元正規化パワーＰ_N（ＬＨ₁ ¹），Ｐ_N（ＨＬ₁ ¹），Ｐ_N（ＬＬ₁ ¹）と、位置合わせ先正規化パワーＰ_N（ＬＨ₂ ²），Ｐ_N（ＨＬ₂ ²），Ｐ_N（ＨＨ₂ ²）との差分の絶対値の合計値Ｄ_N（Ｍ₁ ¹Ｍ₂ ²）が閾値Ｔ_H以下であり、位置合わせ情報Ｍ₁ ¹Ｍ₂ ²のみが採用されたものとする。

【0140】

または、図１１に示した第２処理例により、合計値Ｄ_N（Ｍ₁ ¹Ｍ₂ ²）が閾値Ｔ_H以下であり、かつ位置合わせ先の合計パワーＳＰが位置合わせ元の合計パワーＭＰよりも大きく、位置合わせ情報Ｍ₁ ¹Ｍ₂ ²のみが採用されたものとする。

【0141】

この場合、判定後の位置合わせ情報Ｍ₁ ¹Ｍ₂ ²のみが確度判定部２２から割り付け部２３に出力される。

【0142】

〔割り付け部２３〕
次に、図３に示した割り付け部２３の処理について詳細に説明する。図１３は、割り付け部２３の第１処理例を示すフローチャートであり、図４に示したステップＳ４０５の処理が置き換え処理の場合を示している。図１４は、割り付けの具体例を説明する図である。

【0143】

割り付け部２３は、確度判定部２２から判定後の位置合わせ情報及びその確度を入力する（ステップＳ１３０１）。そして、割り付け部２３は、判定後の位置合わせ情報の示す位置合わせ元ブロック毎に、すなわち同じ位置合わせ元ブロックの識別子を含む全ての判定後の位置合わせ情報を単位として、ステップＳ１３０２，Ｓ１３０３の処理を行う。

【0144】

図８に示した例においては、参照ピクチャＫの低周波帯域成分ＬＬ₁ ¹内の位置合わせ元ブロックであるブロックＭ₁ ¹について、当該ブロックＭ₁ ¹の識別子を含む全ての判定後の位置合わせ情報を対象にして処理が行われる。参照ピクチャＫの低周波帯域成分ＬＬ₁ ²，ＬＬ₁ ³，ＬＬ₁ ⁴内の位置合わせ元ブロックであるブロックＭ₁ ²，Ｍ₁ ³，Ｍ₁ ⁴のそれぞれについても同様である。

【0145】

割り付け部２３は、同じ位置合わせ元ブロックの識別子を含む全ての判定後の位置合わせ情報のうち、確度の最も高い１つの位置合わせ情報を特定する（ステップＳ１３０２）。

【0146】

図８に示した例を参照して、位置合わせ元ブロックであるブロックＭ₁ ¹について、当該ブロックＭ₁ ¹の識別子を含む全ての判定後の位置合わせ情報が、例えば位置合わせ情報Ｍ₁ ¹Ｍ₁ ²，Ｍ₁ ¹Ｍ₁ ³，Ｍ₁ ¹Ｍ₁ ⁴，Ｍ₁ ¹Ｍ₂ ²，Ｍ₁ ¹Ｍ₃ ³（ブロックＭ₁ ¹から実際に矢印が出ている位置合わせ情報のみ）である場合を想定する。この場合、割り付け部２３は、位置合わせ元ブロックであるブロックＭ₁ ¹について、位置合わせ情報Ｍ₁ ¹Ｍ₁ ²，Ｍ₁ ¹Ｍ₁ ³，Ｍ₁ ¹Ｍ₁ ⁴，Ｍ₁ ¹Ｍ₂ ²，Ｍ₁ ¹Ｍ₃ ³のうち、確度の最も高い１つの位置合わせ情報を特定する。

【0147】

割り付け部２３は、確度の最も高い１つの位置合わせ情報について、位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックの値を、位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁のブロックの値にそれぞれ割り付けて置き換えることで、割り付け後（及び置き換え後）の参照ピクチャＫの多重解像度成分を生成する（ステップＳ１３０３）。

【0148】

割り付け部２３は、全ての位置合わせ元ブロックの処理が完了したか否かを判定する（ステップＳ１３０４）。割り付け部２３は、ステップＳ１３０４において、全ての位置合わせ元ブロックの処理が完了していないと判定した場合（ステップＳ１３０４：Ｎ）、ステップＳ１３０２へ移行し、次の位置合わせ元ブロックについて、ステップＳ１３０２，Ｓ１３０３の処理を行う。

【0149】

一方、割り付け部２３は、ステップＳ１３０４において、全ての位置合わせ元ブロックの処理が完了したと判定した場合（ステップＳ１３０４：Ｙ）、割り付け後の参照ピクチャＫの多重解像度成分を再構成部２４に出力する（ステップＳ１３０５）。

【0150】

図１４は、割り付けの具体例を説明する図であり、割り付け部２３により特定される確度の最も高い位置合わせ情報を位置合わせ情報Ｍ₁ ¹Ｍ₂ ²とする。

【0151】

この場合、割り付け部２３は、位置合わせ情報Ｍ₁ ¹Ｍ₂ ²における位置合わせ先ブロックであるブロックＭ₂ ²と同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₂ ²，ＨＬ₂ ²，ＨＨ₂ ²のブロックの値を、位置合わせ元ブロックであるブロックＭ₁ ¹と同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁ ¹，ＨＬ₁ ¹，ＨＨ₁ ¹のブロックの値にそれぞれ割り付けて置き換えることで、割り付け後の参照ピクチャＫの多重解像度成分を生成する。

【0152】

図１５は、割り付け部２３の第２処理例を示すフローチャートであり、図４に示したステップＳ４０５の処理が平均値置き換え処理の場合を示している。

【0153】

割り付け部２３は、確度判定部２２から判定後の位置合わせ情報及びその確度を入力する（ステップＳ１５０１）。そして、割り付け部２３は、判定後の位置合わせ情報の示す位置合わせ元ブロック毎に、すなわち同じ位置合わせ元ブロックの識別子を含む全ての判定後の位置合わせ情報を単位として、ステップＳ１５０２，Ｓ１５０３の処理を行う。

【0154】

割り付け部２３は、同じ位置合わせ元ブロックの識別子を含む全ての判定後の位置合わせ情報について、位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁のブロックの値、及び、対応する全ての位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックの値を成分毎に合計し、成分毎に平均値を算出する（ステップＳ１５０２）。

【0155】

これにより、水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのそれぞれについて、ブロックの平均値が得られる。

【0156】

割り付け部２３は、ステップＳ１５０２にて算出した位置合わせ先ブロックの水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックの平均値を、位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁のブロックの値にそれぞれ割り付けて置き換え、割り付け後（及び置き換え後）の参照ピクチャＫの多重解像度成分を生成する（ステップＳ１５０３）。

【0157】

割り付け部２３は、全ての位置合わせ元ブロックの処理が完了したか否かを判定する（ステップＳ１５０４）。割り付け部２３は、ステップＳ１５０４において、全ての位置合わせ元ブロックの処理が完了していないと判定した場合（ステップＳ１５０４：Ｎ）、ステップＳ１５０２へ移行し、次の位置合わせ元ブロックについて、ステップＳ１５０２，Ｓ１５０３の処理を行う。

【0158】

一方、割り付け部２３は、ステップＳ１５０４において、全ての位置合わせ元ブロックの処理が完了したと判定した場合（ステップＳ１５０４：Ｙ）、割り付け後の参照ピクチャＫの多重解像度成分を再構成部２４に出力する（ステップＳ１５０５）。

【0159】

前述のとおり、位置合わせ情報の示す位置合わせ元ブロックと位置合わせ先ブロックとは、低周波帯域成分ＬＬが似ている。このため、割り付け部２３により、位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁と位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨとが似ていると仮定して割り付けが行われ、割り付け後の参照ピクチャＫの多重解像度成分が生成される。

【0160】

尚、図１５に示した第２処理例では、割り付け部２３は、平均値置き換え処理を行うようにしたが、確度に応じた重み付け平均値置き換え処理を行うようにしてもよい。確度が高いほど大きい重み係数を用い、確度が低いほど小さい重み係数を用いる。

【0161】

具体的には、割り付け部２３は、位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックの値に、当該位置合わせ情報の確度に応じた重み係数を乗算することで、重み付け結果を求める。そして、割り付け部２３は、位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁のブロックの値、及び、位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックの重み付き結果を成分毎に合計し、成分毎に重み付き平均値を算出する。

【0162】

割り付け部２３は、位置合わせ先ブロックの水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨのブロックの重み付き平均値を、位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁のブロックの値にそれぞれ割り付けて置き換え、割り付け後（及び置き換え後）の参照ピクチャＫの多重解像度成分を生成する。

【0163】

以上のように、本発明の実施形態の動画像符号化装置１によれば、多重解像度分解部２０は、参照ピクチャＫ及びその前後の局部復号済ピクチャＫ１，Ｋ２を多階層のウェーブレットパケット分解する。

【0164】

位置合わせ部２１は、参照ピクチャＫの低周波帯域成分ＬＬ₁のそれぞれを複数のブロック（位置合わせ元ブロック）に分割する。そして、位置合わせ部２１は、位置合わせ元ブロックと、参照ピクチャＫの他の低周波帯域成分ＬＬ₁内のブロック、局部復号済ピクチャＫ１の低周波帯域成分ＬＬ₂内のブロック及び局部復号済ピクチャＫ２の低周波帯域成分ＬＬ₃内のブロックとの間でブロックマッチングによる位置合わせを行い、位置合わせ元ブロックの識別子及び位置合わせ先ブロックの識別子からなる位置合わせ情報を生成する。

【0165】

これにより、低周波帯域成分ＬＬが似ている位置合わせ元ブロック及び位置合わせ先ブロックを特定するための位置合わせ情報が生成される。

【0166】

確度判定部２２は、位置合わせ情報毎に、参照ピクチャＫの低周波帯域成分ＬＬ₁内の位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内のブロックのパワーを算出すると共に、参照ピクチャＫ、局部復号済ピクチャＫ１及び局部復号済ピクチャＫ２の低周波帯域成分ＬＬ内の位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨ内のブロックのパワーを算出する。そして、確度判定部２２は、これらのパワーに基づいて確度を求め、確度の高い位置合わせ情報を判定後の位置合わせ情報とする。

【0167】

これにより、図９に示した第１処理例では、位置合わせ部２１により生成された位置合わせ情報のうち、位置合わせ元の周波数成分のパワーの方向性と位置合わせ先の周波数成分のパワーの方向性とが似ている位置合わせ情報が、判定後の位置合わせ情報として設定される。

【0168】

また、図１１に示した第２処理例では、位置合わせ部２１により生成された位置合わせ情報のうち、パワーの方向性が似ており、かつ再構成部２４により超解像化する方向の超解像ピクチャＣが生成されると判断された位置合わせ情報が判定後の位置合わせ情報として設定される。つまり、入力動画像が鮮鋭化している場合に、これに対応した超解像ピクチャＣが生成され、予測ピクチャを生成する際の予測精度が高くなる。

【0169】

割り付け部２３は、判定後の位置合わせ情報及びその確度に基づいて、位置合わせ元ブロック毎に、位置合わせ先ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨ内のブロックを、位置合わせ元ブロックと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ₁，ＨＬ₁，ＨＨ₁内のブロックに割り付けることで、前者のブロックに基づいた値（ブロックの値、平均値等）を後者のブロックの新たな値に設定することで、割り付け後の新たな参照ピクチャＫの多重解像度成分を生成する。

【0170】

一般に、入力動画像のピクチャは周波数成分が連続していることから、位置合わせ元ブロック及び位置合わせ先ブロックの低周波帯域成分ＬＬが似ている場合、これと同じ位相位置の水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨも似ているものと仮定できる。このため、水平、垂直及び対角高周波帯域成分ＬＨ，ＨＬ，ＨＨが似ているブロック間（同一ピクチャ内のブロック間、当該ピクチャのブロックとその前後のピクチャのブロックとの間）で割り付けが行われる。

【0171】

再構成部２４は、割り付け後の参照ピクチャＫの多重解像度成分をウェーブレットパケット再構成し、参照ピクチャＫの超解像ピクチャＣを生成する。

【0172】

これにより、動画像のピクチャの画面間予測処理を行う際に、画面間でオブジェクトがぼやけたり鮮鋭化したりする場合であっても、精度の高い予測ピクチャを生成し、符号化効率を向上させることができる。

【0173】

〔動画像復号装置２〕
次に、本発明の実施形態による動画像復号装置について説明する。図１６は、本発明の実施形態による動画像復号装置の構成例を示すブロック図である。この動画像復号装置２は、エントロピー復号部５０、逆量子化部５１、逆直交変換部５２、加算部５３、画面内予測部５４、インループフィルタ５５、画面間予測部５６及びスイッチ５７を備えている。尚、図１６には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。

【0174】

エントロピー復号部５０は、図１に示した動画像符号化装置１から出力された符号化信号を入力し、図１に示したエントロピー符号化部１２０の逆の処理を行うことで、符号化信号に対しエントロピー復号を行い、量子化インデックス列及びパラメータを生成する。

【0175】

エントロピー復号部５０は、量子化インデックス列を逆量子化部５１に出力し、所定領域毎に選択された予測ピクチャの種類及び算出された動きベクトル等を含むパラメータを画面間予測部５６に出力すると共に、他のパラメータを逆量子化部５１等に出力する。

【0176】

逆量子化部５１は、エントロピー復号部５０から量子化インデックス列を入力し、図１に示した量子化部１１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部５１は、変換係数列を逆直交変換部５２に出力する。

【0177】

逆直交変換部５２は、逆量子化部５１から変換係数列を入力し、図１に示した直交変換部１１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差ピクチャを生成する。そして、逆直交変換部５２は、復号残差ピクチャを加算部５３に出力する。

【0178】

加算部５３は、逆直交変換部５２から復号残差ピクチャを入力すると共に、スイッチ５７から予測ピクチャを入力する。そして、加算部５３は、予測ピクチャに復号残差ピクチャを加算し、加算後ピクチャを画面内予測部５４及びインループフィルタ５５に出力する。

【0179】

画面内予測部５４は、加算部５３から加算後ピクチャを入力し、図１に示した画面内予測部１１６と同様の処理を行うことで、所定領域毎に、加算後ピクチャに画面内予測処理を施し、所定領域毎の画面内予測結果をスイッチ５７に出力する。また、画面内予測部５４は、加算後ピクチャを復号画像として出力する。これにより、元の動画像が復元される。

【0180】

インループフィルタ５５は、加算部５３から加算後ピクチャを入力し、図１に示したインループフィルタ１１７と同様の処理を行うことで、加算後ピクチャにフィルタ処理を施し、復号済ピクチャＫ’を生成する。そして、インループフィルタ５５は、復号済ピクチャＫ’を画面間予測部５６に出力する。

【0181】

画面間予測部５６は、インループフィルタ５５から復号済ピクチャＫ’を入力すると共に、エントロピー復号部５０から、所定領域毎に選択された予測ピクチャの種類及び算出された動きベクトル等を含むパラメータを入力する。そして、画面間予測部５６は、復号済ピクチャ（被予測ピクチャの参照ピクチャ）Ｋ’及びその前後の復号済ピクチャＫ１’，Ｋ２’を用いて、超解像ピクチャＣ’を生成する。また、画面間予測部５６は、復号済ピクチャＫ’を用いてぼやけピクチャＢ’を生成する。復号済ピクチャＫ’、超解像ピクチャＣ’及びぼやけピクチャＢ’は、画面間予測処理のための参照ピクチャとして用いられる。尚、画面間予測部５６は、ぼやけピクチャＢ’を生成する処理を行わなくてもよい。

【0182】

画面間予測部５６は、所定領域毎に、パラメータに基づいて所定の画面間予測処理を行うことで、予測ピクチャを生成し、これを所定領域毎の画面間予測結果としてスイッチ５７に出力する。また、画面間予測部５６は、復号済ピクチャＫ’を復号画像として出力する。これにより、元の動画像が復元される。画面間予測部５６の詳細については後述する。

【0183】

スイッチ５７は、画面内予測部５４から所定領域毎の画面内予測結果を入力すると共に、画面間予測部５６から所定領域毎の画面間予測結果を入力し、いずれか一方を選択し、予測ピクチャとして加算部５３に出力する。

【0184】

〔画面間予測部５６〕
次に、図１６に示した画面間予測部５６について詳細に説明する。図１７は、動画像復号装置２に備えた画面間予測部５６の構成例を示すブロック図である。この画面間予測部５６は、超解像処理部６０、ぼやけ処理部６１、フレームメモリ６２、画面間予測処理部６３及びパラメータ処理部６４を備えている。尚、図１７には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。

【0185】

画面間予測部５６は、インループフィルタ５５から復号済ピクチャＫ’を入力し、復号済ピクチャＫ’をフレームメモリ６２に格納する。また、画面間予測部５６のパラメータ処理部６４は、エントロピー復号部５０から、所定領域毎に選択された予測ピクチャの種類及び算出された動きベクトル等を含むパラメータを入力し、パラメータを画面間予測処理部６３に出力する。

【0186】

超解像処理部６０は、復号済ピクチャＫ’に対し、図２及び図３に示した超解像処理部１１と同様の本発明の実施形態による超解像処理を施し、超解像ピクチャＣ’を生成してフレームメモリ６２に格納する。尚、超解像処理部６０の処理は超解像処理部１１の処理と同様であるため、ここでは説明を省略する。超解像処理部６０は、復号済ピクチャＫ’に超解像処理を施して所定種類の超解像ピクチャＣ１’を生成し、超解像ピクチャＣ１’もフレームメモリ６２に格納するようにしてもよい。

【0187】

ぼやけ処理部６１は、復号済ピクチャＫ’に対し、図２に示したぼやけ処理部１２と同様のぼやけ処理を施し、ぼやけピクチャＢ’を生成してフレームメモリ６２に格納する。

【0188】

フレームメモリ６２には、復号済ピクチャＫ’、超解像ピクチャＣ’及びぼやけピクチャＢ’がフレーム毎に格納される。

【0189】

画面間予測処理部６３は、パラメータ処理部６４からパラメータを入力し、パラメータに含まれる予測ピクチャの種類に応じて、フレームメモリ６２から復号済ピクチャＫ’、超解像ピクチャＣ’及びぼやけピクチャＢ’のいずれかを読み出す。

【0190】

画面間予測処理部６３は、読み出した復号済ピクチャＫ’、超解像ピクチャＣ’及びぼやけピクチャＢ’のいずれか、並びにパラメータに含まれる動きベクトル等に基づいて、画面間予測を行い、所定領域毎に予測ピクチャを求める。

【0191】

画面間予測処理部６３は、所定領域毎の予測ピクチャを画面間予測結果としてスイッチ５７に出力する。

【0192】

また、図示しない読み出し部は、フレームメモリ６２から復号済ピクチャＫ’を読み出し、これを復号画像として出力する。尚、画面間予測部５６は、ぼやけ処理部６１を備えていなくてもよい。

【0193】

以上のように、本発明の実施形態の動画像復号装置２によれば、動画像符号化装置１の場合と同様に、動画像のピクチャの画面間予測処理を行う際に、画面間でオブジェクトがぼやけたり鮮鋭化したりする場合であっても、精度の高い予測ピクチャを生成し、符号化効率を向上させることができる。

【0194】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0195】

例えば図１に示した動画像符号化装置１において、画面間予測部１０の超解像処理部１１は、参照ピクチャＫ、及び当該参照ピクチャＫの前後の局部復号済ピクチャＫ１，Ｋ２を対象として超解像処理を行うようにした。これに対し、超解像処理部１１は、参照ピクチャＫ及び当該参照ピクチャＫの前の局部復号済ピクチャＫ１を対象とするようにしてもよいし、参照ピクチャＫ及び当該参照ピクチャＫの後の局部復号済ピクチャＫ２を対象とするようにしてもよい。また、局部復号済ピクチャＫ１，Ｋ２のそれぞれについて、１つのピクチャを対象とするようにしてもよいし、２以上の所定数のピクチャを対象とするようにしてもよい。図１６に示した動画像復号装置２についても同様である。

【0196】

また、動画像符号化装置１において、画面間予測部１０の超解像処理部１１は、多重解像度分解部２０、位置合わせ部２１、確度判定部２２、割り付け部２３及び再構成部２４を備えるようにした。これに対し、超解像処理部１１は、確度判定部２２を除く、多重解像度分解部２０、位置合わせ部２１、割り付け部２３及び再構成部２４を備えるようにしてもよい。この場合、割り付け部２３は、位置合わせ部２１から位置合わせ情報を入力する。動画像復号装置２に備えた画面間予測部５６の超解像処理部６０についても同様である。

【0197】

尚、本発明の実施形態による動画像符号化装置１及び動画像復号装置２のハードウェア構成としては、通常のコンピュータを使用することができる。動画像符号化装置１及び動画像復号装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0198】

動画像符号化装置１に備えた減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１０、スイッチ１１９及びエントロピー符号化部１２０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0199】

また、動画像復号装置２に備えたエントロピー復号部５０、逆量子化部５１、逆直交変換部５２、加算部５３、画面内予測部５４、インループフィルタ５５、画面間予測部５６及びスイッチ５７の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0200】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0201】

１，１００ 動画像符号化装置
２ 動画像復号装置
１０，５６，１１８ 画面間予測部
１１，６０ 超解像処理部
１２，６１ ぼやけ処理部
１３，６２，１２２ フレームメモリ
１４，６３，１２１ 画面間予測処理部
１５ 選択部
１６，６４ パラメータ処理部
２０ 多重解像度分解部
２１ 位置合わせ部
２２ 確度判定部
２３ 割り付け部
２４ 再構成部
５０ エントロピー復号部
５１，１１３ 逆量子化部
５２，１１４ 逆直交変換部
５３，１１５ 加算部
５４，１１６ 画面内予測部
５５，１１７ インループフィルタ
５７，１１９ スイッチ
１１０ 減算部
１１１ 直交変換部
１１２ 量子化部
１２０ エントロピー符号化部
Ｋ 局部復号済ピクチャ、被予測ピクチャの参照ピクチャ
Ｋ１ 参照ピクチャＫの前の局部復号済ピクチャ
Ｋ２ 参照ピクチャＫの後の局部復号済ピクチャ
Ｋ’ 復号済ピクチャ、被予測ピクチャの参照ピクチャ
Ｋ１’ 参照ピクチャＫ’の前の局部復号済ピクチャ
Ｋ２’ 参照ピクチャＫ’の後の局部復号済ピクチャ
Ｂ，Ｂ’ ぼやけピクチャ
Ｃ，Ｃ１，Ｃ’， Ｃ１ ’ 超解像ピクチャ
ｎ ウェーブレットパケット分解数
ＬＬ 低周波帯域成分
ＬＨ 水平高周波帯域成分
ＨＬ 垂直高周波帯域成分
ＨＨ 対角高周波帯域成分
Ｍ ブロック
ｐ 局部復号済ピクチャの番号
ｑ 帯域の番号
ＭＭ 位置合わせ情報
Ｐ パワー
Ｐ_N 正規化パワー
ＭＰ，ＳＰ 合計パワー
Ｄ_N 合計値
Ｔ_H 閾値
α１，α２，α３ ブロック

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】