知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-27
(45)【発行日】2023-04-04
(54)【発明の名称】動画像符号化装置、動画像復号装置及びプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20230328BHJP
H04N 19/176 20140101ALI20230328BHJP
H04N 19/139 20140101ALI20230328BHJP
H04N 19/59 20140101ALI20230328BHJP
【ＦＩ】
H04N19/105
H04N19/176
H04N19/139
H04N19/59
【請求項の数】
9
(21)【出願番号】P 2019046520
(22)【出願日】2019-03-13
(65)【公開番号】P2020150422
(43)【公開日】2020-09-17
【審査請求日】2022-01-31
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】松尾 康孝
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０２４２０１１（ＵＳ，Ａ１）
【文献】特表２０１６－５１４３７８（ＪＰ，Ａ）
【文献】特開２００４－２６６７７８（ＪＰ，Ａ）
【文献】松尾康孝，ほか２名，超解像・ぼやけピクチャを用いた画面間予測による符号化効率改善の検討，Proc. PCSJ/IMPS2018，日本，2018年11月19日，P-1-02，pp.20, 21
【文献】LAI, Polin et al.，Adaptive Reference Filtering for MVC，JVT-W065，ITU，2007年04月23日，pp.1-11，[online]，retrieved on 2023-02-17，Retrieved from the Internet: <URL: https://itu.int/wftp3/av-arch/jvt-site/2007_04_SanJose/JVT-W065.zip>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
入力動画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換、量子化及びエントロピー符号化を行い、符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像にフィルタ処理を施して局部復号ピクチャを生成し、当該局部復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像符号化装置において、前記局部復号ピクチャに基づいて複数の超解像ピクチャを生成し、前記画面間予測により、所定領域毎に、前記局部復号ピクチャの予測画像及び前記複数の超解像ピクチャの予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、
前記画面間予測部は、
前記局部復号ピクチャに超解像処理を施し、水平方向の高周波帯域の成分を強調したピクチャ、垂直方向の高周波帯域の成分を強調したピクチャ及び対角方向の高周波帯域の成分を強調したピクチャを、前記複数の超解像ピクチャとして生成する超解像処理部と、
現在の前記局部復号ピクチャを基準ピクチャとし、過去の前記局部復号ピクチャ及び前記超解像処理部により生成された過去の前記複数の超解像ピクチャのそれぞれを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号ピクチャの予測画像及び動きベクトルを生成すると共に、前記複数の超解像ピクチャの予測画像及び動きベクトルを生成する画面間予測処理部と、
現在の前記局部復号ピクチャ及び過去の前記局部復号ピクチャの周波数解析を行い、現在の前記局部復号ピクチャと過去の前記局部復号ピクチャとの間のパワー変動情報を生成する周波数解析部と、
前記所定領域毎に、前記周波数解析部により生成された前記パワー変動情報、または、前記パワー変動情報並びに前記画面間予測処理部により生成された前記局部復号ピクチャの動きベクトル及び前記複数の超解像ピクチャの動きベクトルに基づいて、前記局部復号ピクチャの予測画像及び前記複数の超解像ピクチャの予測画像のうちのいずれか一つを選択する選択部と、
を備えたことを特徴とする動画像符号化装置。
【請求項2】
入力動画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換、量子化及びエントロピー符号化を行い、符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像にフィルタ処理を施して局部復号ピクチャを生成し、当該局部復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像符号化装置において、前記局部復号ピクチャに基づいて複数のぼやけピクチャを生成し、前記画面間予測により、所定領域毎に、前記局部復号ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、
前記画面間予測部は、
前記局部復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部と、
現在の前記局部復号ピクチャを基準ピクチャとし、過去の前記局部復号ピクチャ及び前記ぼやけ処理部により生成された過去の前記複数のぼやけピクチャのそれぞれを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号ピクチャの予測画像及び動きベクトルを生成すると共に、前記複数のぼやけピクチャの予測画像及び動きベクトルを生成する画面間予測処理部と、
現在の前記局部復号ピクチャ及び過去の前記局部復号ピクチャの周波数解析を行い、現在の前記局部復号ピクチャと過去の前記局部復号ピクチャとの間のパワー変動情報を生成する周波数解析部と、
前記所定領域毎に、前記周波数解析部により生成された前記パワー変動情報、または、前記パワー変動情報並びに前記画面間予測処理部により生成された前記局部復号ピクチャの動きベクトル及び前記複数のぼやけピクチャの動きベクトルに基づいて、前記局部復号ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像のうちのいずれか一つを選択する選択部と、
を備えたことを特徴とする動画像符号化装置。
【請求項3】
請求項１に記載の動画像符号化装置において、前記局部復号ピクチャに基づいて、前記複数の超解像ピクチャ及び複数のぼやけピクチャを生成し、前記画面間予測により、前記所定領域毎に、前記局部復号ピクチャの予測画像、前記複数の超解像ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、
前記画面間予測部は、さらに、
前記局部復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部を備え、
前記画面間予測処理部は、
現在の前記局部復号ピクチャを基準ピクチャとし、過去の前記局部復号ピクチャ、前記超解像処理部により生成された過去の前記複数の超解像ピクチャ、及び前記ぼやけ処理部により生成された過去の前記複数のぼやけピクチャのそれぞれを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号ピクチャの予測画像及び動きベクトル、前記複数の超解像ピクチャの予測画像及び動きベクトル、並びに前記複数のぼやけピクチャの予測画像及び動きベクトルを生成し、
前記選択部は、
前記所定領域毎に、前記周波数解析部により生成された前記パワー変動情報、または、前記パワー変動情報並びに前記画面間予測処理部により生成された前記局部復号ピクチャの動きベクトル、前記複数の超解像ピクチャの動きベクトル及び前記複数のぼやけピクチャの動きベクトルに基づいて、前記局部復号ピクチャの予測画像、前記複数の超解像ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像のうちのいずれか一つを選択する、ことを特徴とする動画像符号化装置。
【請求項4】
請求項１から３までのいずれか一項に記載の動画像符号化装置において、前記周波数解析部は、
現在の前記局部復号ピクチャ及び過去の前記局部復号ピクチャについて、デシメーションを伴わない１階ウェーブレットパケット分解にて前記周波数解析を行い、現在の前記局部復号ピクチャの解析結果及び過去の前記局部復号ピクチャの解析結果に基づいて、周波数帯域毎かつ位相位置毎の前記パワー変動情報を生成する、ことを特徴とする動画像符号化装置。
【請求項5】
動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、前記加算後画像にフィルタ処理を施して復号ピクチャを生成することで、元の前記動画像を復元し、前記復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像復号装置において、前記符号化信号に、局部復号ピクチャの予測画像及び複数の超解像ピクチャの予測画像から選択した一つの前記予測画像の種類を示すパラメータが含まれている場合に、
前記復号ピクチャに基づいて複数の超解像ピクチャを生成し、前記画面間予測により、所定領域毎に、前記パラメータに従って前記復号ピクチャ及び前記複数の超解像ピクチャのうちのいずれか一つの予測画像を生成する画面間予測部を備え、
前記画面間予測部は、
前記復号ピクチャに超解像処理を施し、水平方向の高周波帯域の成分を強調したピクチャ、垂直方向の高周波帯域の成分を強調したピクチャ及び対角方向の高周波帯域の成分を強調したピクチャを、前記複数の超解像ピクチャとして生成する超解像処理部と、
前記パラメータに従って、前記復号ピクチャ及び前記超解像処理部により生成された前記複数の超解像ピクチャのうちのいずれか一つのピクチャを用いて前記画面間予測を行い、前記所定領域毎の前記予測画像を生成する画面間予測処理部と、
を備えたことを特徴とする動画像復号装置。
【請求項6】
動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、前記加算後画像にフィルタ処理を施して復号ピクチャを生成することで、元の前記動画像を復元し、前記復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像復号装置において、前記符号化信号に、局部復号ピクチャの予測画像及び複数のぼやけピクチャの予測画像から選択した一つの前記予測画像の種類を示すパラメータが含まれている場合に、
前記復号ピクチャに基づいて複数のぼやけピクチャを生成し、前記画面間予測により、所定領域毎に、前記パラメータに従って前記復号ピクチャ及び前記複数のぼやけピクチャのうちのいずれか一つの予測画像を生成する画面間予測部を備え、
前記画面間予測部は、
前記復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部と、
前記パラメータに従って、前記復号ピクチャ及び前記ぼやけ処理部により生成された前記複数のぼやけピクチャのうちのいずれか一つのピクチャを用いて前記画面間予測を行い、前記所定領域毎の前記予測画像を生成する画面間予測処理部と、
を備えたことを特徴とする動画像復号装置。
【請求項7】
請求項５に記載の動画像復号装置において、前記符号化信号に、前記局部復号ピクチャの予測画像、前記複数の超解像ピクチャの予測画像及び複数のぼやけピクチャから選択した一つの前記予測画像の種類を示すパラメータが含まれている場合に、
前記復号ピクチャに基づいて、前記複数の超解像ピクチャ及び前記複数のぼやけピクチャを生成し、前記画面間予測により、前記所定領域毎に、前記パラメータに従って前記復号ピクチャ、前記複数の超解像ピクチャ及び前記複数のぼやけピクチャのうちのいずれか一つの予測画像を生成する画面間予測部を備え、
前記画面間予測部は、さらに、
前記復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部を備え、
前記画面間予測処理部は、
前記パラメータに従って、前記復号ピクチャ、前記超解像処理部により生成された前記複数の超解像ピクチャ及び前記ぼやけ処理部により生成された前記複数のぼやけピクチャのうちのいずれか一つのピクチャを用いて前記画面間予測を行い、前記所定領域毎の前記予測画像を生成する、ことを特徴とする動画像復号装置。
【請求項8】
コンピュータを、請求項１から４までのいずれか一項に記載の動画像符号化装置として機能させるためのプログラム。
【請求項9】
コンピュータを、請求項５から７までのいずれか一項に記載の動画像復号装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像を符号化する動画像符号化装置、符号化信号を復号する動画像復号装置及びプログラムに関する。
【背景技術】
【0002】
従来、解像度の高い４Ｋまたは８Ｋの動画像を対象とした動画圧縮方式の標準規格として、H.265/HEVC（High Efficiency Video Coding）が知られている（例えば非特許文献１を参照）。このH.265/HEVCの規格は、符号化されたフレームを用いて動きを予測し、予測残差の信号を直交変換して符号化する、動き補償及び直交変換の技術を基本としている。
【0003】
図１４は、従来の動画像符号化装置の構成例を示すブロック図であり、H.265/HEVCの標準規格に従った符号化側の構成を示している。この動画像符号化装置１００は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１１８、スイッチ１１９及びエントロピー符号化部１２０を備えている。画面間予測部１１８は、画面間予測処理部１２１及びフレームメモリ１２２を備えている。
【0004】
動画像符号化装置１００は、入力動画像に対し、１フレームのピクチャ毎に符号化処理を行い、符号化信号を生成して出力する装置である。
【0005】
入力動画像のピクチャは、減算部１１０により、画面内予測部１１６または画面間予測部１１８により生成された予測画像との間で減算処理が施される。これにより、残差画像が生成される。
【0006】
残差画像は、直交変換部１１１による直交変換処理、量子化部１１２による量子化処理、及びエントロピー符号化部１２０によりエントロピー符号化が施され、符号化信号として出力される。
【0007】
一方、量子化部１１２により量子化処理が施された量子化インデックス列は、逆量子化部１１３による逆量子化処理、逆直交変換部１１４による逆直交変換処理が施される。これにより、復号残差画像が生成される。
【0008】
復号残差画像は、加算部１１５により、予測画像との間で加算処理が施される。加算部１１５による加算結果の画像は、画面内予測部１１６による画面内予測処理が施される。また、加算結果の画像は、インループフィルタ１１７によるフィルタ処理が施され、局部復号ピクチャとして画面間予測部１１８のフレームメモリ１２２に格納される。
【0009】
フレームメモリ１２２に格納された局部復号ピクチャは、画面間予測処理部１２１により過去の局部復号ピクチャとして読み出される。そして、現在の局部復号ピクチャ（入力動画像のピクチャ）を基準ピクチャとし、過去の局部復号ピクチャを参照ピクチャとして、画面間予測処理が行われる。
【0010】
画面内予測部１１６による画面内予測処理にて生成された画像、及び画面間予測処理部１２１による画面間予測処理にて生成された画像のうち、いずれか一方がスイッチ１１９により選択され、予測画像として減算部１１０へ入力される。
【0011】
このような動き補償及び直交変換を基本とした動画像符号化技術において、符号化効率を向上させるための技術が提案されている。例えば、色差信号の符号化効率を向上させるために、複数フレームによる超解像処理を適用して色差補間を行い、色差間引き画像をYCbCr4:4:4に変換する技術がある（例えば、特許文献１を参照）。
【0012】
また、動画像の符号化効率を向上させるために、画像を縮小してから符号化及び伝送を行い、復号後に超解像復元し、また、画像の複雑度に応じて最適な折り返し周波数を設定して伝送することで、超解像画質を高める技術もある（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【0013】
【文献】特許第６１５２６４２号公報
【文献】特許第６３４４８００号公報
【非特許文献】
【0014】
【文献】大久保榮、「インプレス標準教科書シリーズ H.265/HEVC教科書」、インプレスジャパン
【発明の概要】
【発明が解決しようとする課題】
【0015】
従来の動き補償及び直交変換を基本とした動画像符号化技術では、画面間予測処理により生成される予測画像は、例えばブロックマッチング法にて予測誤差が最小となる画像が選択される。これにより、符号化効率を向上させることができ、復号側において客観的に高画質な動画像を得ることができる。
【0016】
しかしながら、動画像のピクチャ間におけるオブジェクトの動きに伴って、領域毎にぼやけまたは鮮鋭化が起こる場合がある。従来の動画像符号化技術では、例えば、ぼやけまたは鮮鋭化が起こる動画像であっても、通常の局部復号画像を用いて予測画像を生成する。
【0017】
このため、ぼやけまたは鮮鋭化が起こる動画像と、通常の動画像（ぼやけまたは鮮鋭化が起こらない動画像）とを区別した画面間予測処理を行うことができない。また、水平方向の動きに伴うぼやけまたは鮮鋭化が起こる動画像と、垂直方向の動きに伴うぼやけまたは鮮鋭化が起こる動画像とを区別した画面間予測を行うことができない。
【0018】
このように、従来の動画像符号化技術では、客観的に高画質な動画像を得ることができるが、必ずしも主観的に高画質な動画像を得ることができるとは限らないという問題があった。
【0019】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、動画像のピクチャ間で領域毎にオブジェクトのぼやけまたは鮮鋭化が起こる場合であっても、主観的に高画質な動画像を得ることが可能な動画像符号化装置、動画像復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0020】
前記課題を解決するために、請求項１の動画像符号化装置は、入力動画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換、量子化及びエントロピー符号化を行い、符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像にフィルタ処理を施して局部復号ピクチャを生成し、当該局部復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像符号化装置において、前記局部復号ピクチャに基づいて複数の超解像ピクチャを生成し、前記画面間予測により、所定領域毎に、前記局部復号ピクチャの予測画像及び前記複数の超解像ピクチャの予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、前記画面間予測部が、前記局部復号ピクチャに超解像処理を施し、水平方向の高周波帯域の成分を強調したピクチャ、垂直方向の高周波帯域の成分を強調したピクチャ及び対角方向の高周波帯域の成分を強調したピクチャを、前記複数の超解像ピクチャとして生成する超解像処理部と、現在の前記局部復号ピクチャを基準ピクチャとし、過去の前記局部復号ピクチャ及び前記超解像処理部により生成された過去の前記複数の超解像ピクチャのそれぞれを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号ピクチャの予測画像及び動きベクトルを生成すると共に、前記複数の超解像ピクチャの予測画像及び動きベクトルを生成する画面間予測処理部と、現在の前記局部復号ピクチャ及び過去の前記局部復号ピクチャの周波数解析を行い、現在の前記局部復号ピクチャと過去の前記局部復号ピクチャとの間のパワー変動情報を生成する周波数解析部と、前記所定領域毎に、前記周波数解析部により生成された前記パワー変動情報、または、前記パワー変動情報並びに前記画面間予測処理部により生成された前記局部復号ピクチャの動きベクトル及び前記複数の超解像ピクチャの動きベクトルに基づいて、前記局部復号ピクチャの予測画像及び前記複数の超解像ピクチャの予測画像のうちのいずれか一つを選択する選択部と、を備えたことを特徴とする。
【0021】
また、請求項２の動画像符号化装置は、入力動画像から予測画像を減算して残差画像を生成し、当該残差画像に対し直交変換、量子化及びエントロピー符号化を行い、符号化信号を生成して出力すると共に、前記量子化により生成した量子化インデックス列に対し逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に前記予測画像を加算して加算後画像を生成し、当該加算後画像にフィルタ処理を施して局部復号ピクチャを生成し、当該局部復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像符号化装置において、前記局部復号ピクチャに基づいて複数のぼやけピクチャを生成し、前記画面間予測により、所定領域毎に、前記局部復号ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、前記画面間予測部が、前記局部復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部と、現在の前記局部復号ピクチャを基準ピクチャとし、過去の前記局部復号ピクチャ及び前記ぼやけ処理部により生成された過去の前記複数のぼやけピクチャのそれぞれを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号ピクチャの予測画像及び動きベクトルを生成すると共に、前記複数のぼやけピクチャの予測画像及び動きベクトルを生成する画面間予測処理部と、現在の前記局部復号ピクチャ及び過去の前記局部復号ピクチャの周波数解析を行い、現在の前記局部復号ピクチャと過去の前記局部復号ピクチャとの間のパワー変動情報を生成する周波数解析部と、前記所定領域毎に、前記周波数解析部により生成された前記パワー変動情報、または、前記パワー変動情報並びに前記画面間予測処理部により生成された前記局部復号ピクチャの動きベクトル及び前記複数のぼやけピクチャの動きベクトルに基づいて、前記局部復号ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像のうちのいずれか一つを選択する選択部と、を備えたことを特徴とする。
【0022】
また、請求項３の動画像符号化装置は、請求項１に記載の動画像符号化装置において、前記局部復号ピクチャに基づいて、前記複数の超解像ピクチャ及び複数のぼやけピクチャを生成し、画面間予測により、前記所定領域毎に、前記局部復号ピクチャの予測画像、前記複数の超解像ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像を生成し、これらの前記予測画像のうちのいずれか一つを選択する画面間予測部を備え、前記画面間予測部が、さらに、前記局部復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部を備え、前記画面間予測処理部が、現在の前記局部復号ピクチャを基準ピクチャとし、過去の前記局部復号ピクチャ、前記超解像処理部により生成された過去の前記複数の超解像ピクチャ、及び前記ぼやけ処理部により生成された過去の前記複数のぼやけピクチャのそれぞれを参照ピクチャとして前記画面間予測を行い、前記所定領域毎に、前記局部復号ピクチャの予測画像及び動きベクトル、前記複数の超解像ピクチャの予測画像及び動きベクトル、並びに前記複数のぼやけピクチャの予測画像及び動きベクトルを生成し、前記選択部が、前記所定領域毎に、前記周波数解析部により生成された前記パワー変動情報、または、前記パワー変動情報並びに前記画面間予測処理部により生成された前記局部復号ピクチャの動きベクトル、前記複数の超解像ピクチャの動きベクトル及び前記複数のぼやけピクチャの動きベクトルに基づいて、前記局部復号ピクチャの予測画像、前記複数の超解像ピクチャの予測画像及び前記複数のぼやけピクチャの予測画像のうちのいずれか一つを選択する、ことを特徴とする。
【0023】
また、請求項４の動画像符号化装置は、請求項１から３までのいずれか一項に記載の動画像符号化装置において、前記周波数解析部が、現在の前記局部復号ピクチャ及び過去の前記局部復号ピクチャについて、デシメーションを伴わない１階ウェーブレットパケット分解にて前記周波数解析を行い、現在の前記局部復号ピクチャの解析結果及び過去の前記局部復号ピクチャの解析結果に基づいて、周波数帯域毎かつ位相位置毎の前記パワー変動情報を生成する、ことを特徴とする。
【0024】
さらに、請求項５の動画像復号装置は、動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、前記加算後画像にフィルタ処理を施して復号ピクチャを生成することで、元の前記動画像を復元し、前記復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像復号装置において、前記符号化信号に、局部復号ピクチャの予測画像及び複数の超解像ピクチャの予測画像から選択した一つの前記予測画像の種類を示すパラメータが含まれている場合に、前記復号ピクチャに基づいて複数の超解像ピクチャを生成し、前記画面間予測により、所定領域毎に、前記パラメータに従って前記復号ピクチャ及び前記複数の超解像ピクチャのうちのいずれか一つの予測画像を生成する画面間予測部を備え、前記画面間予測部が、前記復号ピクチャに超解像処理を施し、水平方向の高周波帯域の成分を強調したピクチャ、垂直方向の高周波帯域の成分を強調したピクチャ及び対角方向の高周波帯域の成分を強調したピクチャを、前記複数の超解像ピクチャとして生成する超解像処理部と、前記パラメータに従って、前記復号ピクチャ及び前記超解像処理部により生成された前記複数の超解像ピクチャのうちのいずれか一つのピクチャを用いて前記画面間予測を行い、前記所定領域毎の前記予測画像を生成する画面間予測処理部と、を備えたことを特徴とする。
【0025】
また、請求項６の動画像復号装置は、動画像の符号化信号を入力し、当該符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行い、復号残差画像を生成し、当該復号残差画像に予測画像を加算して加算後画像を生成し、前記加算後画像にフィルタ処理を施して復号ピクチャを生成することで、元の前記動画像を復元し、前記復号ピクチャを用いて画面間予測を行い、前記予測画像を生成する動画像復号装置において、前記符号化信号に、局部復号ピクチャの予測画像及び複数のぼやけピクチャの予測画像から選択した一つの前記予測画像の種類を示すパラメータが含まれている場合に、前記復号ピクチャに基づいて複数のぼやけピクチャを生成し、前記画面間予測により、所定領域毎に、前記パラメータに従って前記復号ピクチャ及び前記複数のぼやけピクチャのうちのいずれか一つの予測画像を生成する画面間予測部を備え、前記画面間予測部が、前記復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部と、前記パラメータに従って、前記復号ピクチャ及び前記ぼやけ処理部により生成された前記複数のぼやけピクチャのうちのいずれか一つのピクチャを用いて前記画面間予測を行い、前記所定領域毎の前記予測画像を生成する画面間予測処理部と、を備えたことを特徴とする。
【0026】
また、請求項７の動画像復号装置は、請求項５に記載の動画像復号装置において、前記符号化信号に、前記局部復号ピクチャの予測画像、前記複数の超解像ピクチャの予測画像及び複数のぼやけピクチャから選択した一つの前記予測画像の種類を示すパラメータが含まれている場合に、前記復号ピクチャに基づいて、前記複数の超解像ピクチャ及び前記複数のぼやけピクチャを生成し、前記画面間予測により、前記所定領域毎に、前記パラメータに従って前記復号ピクチャ、前記複数の超解像ピクチャ及び前記複数のぼやけピクチャのうちのいずれか一つの予測画像を生成する画面間予測部を備え、前記画面間予測部が、さらに、前記復号ピクチャにぼやけ処理を施し、水平方向の高周波帯域の成分を抑制したピクチャ、垂直方向の高周波帯域の成分を抑制したピクチャ及び対角方向の高周波帯域の成分を抑制したピクチャを、前記複数のぼやけピクチャとして生成するぼやけ処理部を備え、前記画面間予測処理部が、前記パラメータに従って、前記復号ピクチャ、前記超解像処理部により生成された前記複数の超解像ピクチャ及び前記ぼやけ処理部により生成された前記複数のぼやけピクチャのうちのいずれか一つのピクチャを用いて前記画面間予測を行い、前記所定領域毎の前記予測画像を生成する、ことを特徴とする。
【0027】
さらに、請求項８のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の動画像符号化装置として機能させることを特徴とする。
【0028】
また、請求項９のプログラムは、コンピュータを、請求項５から７までのいずれか一項に記載の動画像復号装置として機能させることを特徴とする。
【発明の効果】
【0029】
以上のように、本発明によれば、動画像のピクチャ間で領域毎にオブジェクトのぼやけまたは鮮鋭化が起こる場合であっても、主観的に高画質な動画像を得ることが可能となる。
【図面の簡単な説明】
【0030】
【図1】本発明の実施形態による動画像符号化装置の構成例を示すブロック図である。
【図2】動画像符号化装置に備えた画面間予測部の構成例を示すブロック図である。
【図3】逆直交変換部から加算部及びインループフィルタを経て画面間予測部までの処理の流れを説明する図である。
【図4】超解像処理部の処理例を説明する図である。
【図5】ぼやけ処理部の処理例を説明する図である。
【図6】画面間予測処理部の構成例を示すブロック図である。
【図7】周波数解析部の処理例を説明する図である。
【図8】選択部の構成例を示すブロック図である。
【図9】選択部の処理例を示すフローチャートである。
【図10】動き量算出部により算出される水平超解像ピクチャの動き量ＣＶH-ｍH,V,Dの例を説明する図である。
【図11】パワー変動量算出部により算出されるパワー変動量ｐH,V,Dの例を説明する図である。
【図12】本発明の実施形態による動画像復号装置の構成例を示すブロック図である。
【図13】動画像復号装置に備えた画面間予測部の構成例を示すブロック図である。
【図14】従来の動画像符号化装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0031】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、動き補償及び直交変換を基本とした動画像符号化技術において、画面間予測処理に用いる参照ピクチャとして、局部復号ピクチャＫに加え、複数の超解像ピクチャＣまたは／及び複数のぼやけピクチャＢを生成し、ピクチャのパワー変動量、動き量等を考慮して、領域単位で最適な予測画像を選択することを特徴とする。
【0032】
これにより、動画像のピクチャ間で過去のピクチャから現在のピクチャへ向けてオブジェクトのぼやけが起こる場合、領域単位でぼやけピクチャＢの予測画像が選択される。また、オブジェクトの鮮鋭化が起こる場合、領域単位で超解像ピクチャＣが選択される。このため、入力動画像と予測画像との間の残差を小さくすることができる。
【0033】
また、復号側においても、元の動画像にオブジェクトのぼやけが起こる場合、ぼやけピクチャＢ’の予測画像が生成され、ぼやけが起こる動画像を復元することができる。さらに、元の動画像にオブジェクトの鮮鋭化が起こる場合、超解像ピクチャＣ’が生成され、鮮鋭化が起こる動画像を復元することができる。
【0034】
したがって、動画像のピクチャ間で領域毎にオブジェクトのぼやけまたは鮮鋭化が起こる場合であっても、画面間予測効率を向上させることができると共に、主観的に高画質な動画像を得ることが可能となる。
【0035】
〔動画像符号化装置〕
まず、本発明の実施形態による動画像符号化装置について説明する。図１は、本発明の実施形態による動画像符号化装置の構成例を示すブロック図である。この動画像符号化装置１は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１０、スイッチ１１９及びエントロピー符号化部１２０を備えている。尚、図１には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
まず、本発明の実施形態による動画像符号化装置について説明する。図１は、本発明の実施形態による動画像符号化装置の構成例を示すブロック図である。この動画像符号化装置１は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１０、スイッチ１１９及びエントロピー符号化部１２０を備えている。尚、図１には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0036】
減算部１１０は、入力動画像のピクチャ（Ｉピクチャ、Ｐピクチャ及びＢピクチャ）を入力すると共に、スイッチ１１９から当該ピクチャの予測画像を入力する。そして、減算部１１０は、入力動画像のピクチャから予測画像を減算し、減算結果の残差画像を生成し、残差画像を直交変換部１１１に出力する。
【0037】
直交変換部１１１は、減算部１１０から残差画像を入力し、残差画像に対し直交変換を行い、変換係数列を生成する。そして、直交変換部１１１は、変換係数列を量子化部１１２に出力する。
【0038】
量子化部１１２は、直交変換部１１１から変換係数列を入力し、変換係数列に対し量子化を行い、量子化インデックス列を生成する。そして、量子化部１１２は、量子化インデックス列を逆量子化部１１３及びエントロピー符号化部１２０に出力する。
【0039】
逆量子化部１１３は、量子化部１１２から量子化インデックス列を入力し、量子化部１１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部１１３は、変換係数列を逆直交変換部１１４に出力する。
【0040】
逆直交変換部１１４は、逆量子化部１１３から変換係数列を入力し、直交変換部１１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部１１４は、復号残差画像を加算部１１５に出力する。
【0041】
加算部１１５は、逆直交変換部１１４から復号残差画像を入力すると共に、スイッチ１１９から予測画像を入力する。そして、加算部１１５は、予測画像に復号残差画像を加算し、加算後の画像を画面内予測部１１６及びインループフィルタ１１７に出力する。
【0042】
画面内予測部１１６は、加算部１１５から加算後の画像を入力し、所定領域毎に、加算後の画像に画面内予測処理を施し、画面内予測結果を生成し、所定領域毎の画面内予測結果をスイッチ１１９に出力する。
【0043】
インループフィルタ１１７は、加算部１１５から加算後の画像を入力し、加算後の画像にフィルタ処理を施し、局部復号ピクチャＫを生成する。そして、インループフィルタ１１７は、局部復号ピクチャＫを画面間予測部１０に出力する。
【0044】
画面間予測部１０は、インループフィルタ１１７から局部復号ピクチャＫを入力し、局部復号ピクチャＫから複数の超解像ピクチャＣ及び複数のぼやけピクチャＢを生成する。局部復号ピクチャＫ、複数の超解像ピクチャＣ及び複数のぼやけピクチャＢは、画面間予測処理のための参照ピクチャとして用いられる。
【0045】
画面間予測部１０は、所定領域毎に、現在の局部復号ピクチャＫ（入力動画像のピクチャ）である基準ピクチャ、及び局部復号ピクチャＫ等の参照ピクチャを用いて、画面間予測処理を行う。画面間予測部１０は、所定領域毎に、局部復号ピクチャＫ、複数の超解像ピクチャＣ及び複数のぼやけピクチャＢのそれぞれについて、動きベクトル、予測画像及び予測誤差を求める。
【0046】
画面間予測部１０は、所定領域毎に、ピクチャのパワー変動量等から重みを求め、当該重みを予測誤差に乗算し、重み乗算後の予測誤差が最小となるピクチャの画像を最適な予測画像として選択する。そして、画面間予測部１０は、所定領域毎に選択した予測画像を、所定領域毎の画面間予測結果としてスイッチ１１９に出力する。
【0047】
また、画面間予測部１０は、所定領域毎に最適な予測画像を選択する処理において、所定領域毎に実際に選択した予測画像の種類、算出した動きベクトル等をパラメータに設定する。そして、画面間予測部１０は、パラメータをエントロピー符号化部１２０に出力する。画面間予測部１０の詳細については後述する。
【0048】
スイッチ１１９は、画面内予測部１１６から所定領域毎の画面内予測結果を入力すると共に、画面間予測部１０から所定領域毎の画面間予測結果を入力し、いずれか一方を選択し、予測画像として減算部１１０及び加算部１１５に出力する。
【0049】
エントロピー符号化部１２０は、量子化部１１２から量子化インデックス列を入力すると共に、画面間予測部１０からパラメータを入力し、さらに、直交変換部１１１等からパラメータを入力する。そして、エントロピー符号化部１２０は、量子化インデックス列及びパラメータに対しエントロピー符号化を行い、符号化信号を生成する。エントロピー符号化部１２０は、符号化信号を、後述する動画像復号装置２へ出力する。
【0050】
〔画面間予測部１０〕
次に、図１に示した画面間予測部１０について詳細に説明する。図２は、動画像符号化装置１に備えた画面間予測部１０の構成例を示すブロック図である。この画面間予測部１０は、超解像処理部１１、ぼやけ処理部１２、フレームメモリ１３、画面間予測処理部１４、周波数解析部１５、選択部１６及びパラメータ処理部１７を備えている。尚、図２には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
次に、図１に示した画面間予測部１０について詳細に説明する。図２は、動画像符号化装置１に備えた画面間予測部１０の構成例を示すブロック図である。この画面間予測部１０は、超解像処理部１１、ぼやけ処理部１２、フレームメモリ１３、画面間予測処理部１４、周波数解析部１５、選択部１６及びパラメータ処理部１７を備えている。尚、図２には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0051】
画面間予測部１０は、インループフィルタ１１７から局部復号ピクチャＫを入力し、局部復号ピクチャＫをフレームメモリ１３に格納する。
【0052】
超解像処理部１１は、局部復号ピクチャＫに超解像処理を施し、３種類の超解像ピクチャＣH,V,D（水平超解像ピクチャＣH、垂直超解像ピクチャＣV及び対角超解像ピクチャＣD）を生成する。Ｈは水平、Ｖは垂直、Ｄは対角を示す。超解像処理部１１は、３種類の超解像ピクチャＣH,V,Dをフレームメモリ１３に格納する。超解像処理部１１の詳細については後述する。
【0053】
水平超解像ピクチャＣHは、水平方向の高周波帯域の成分を強調した画像である。垂直超解像ピクチャＣVは、垂直方向の高周波帯域の成分を強調した画像である。対角超解像ピクチャＣDは、対角方向（水平かつ垂直方向）の高周波帯域の成分を強調した画像である。
【0054】
ぼやけ処理部１２は、局部復号ピクチャＫにぼやけ処理を施し、３種類のぼやけピクチャＢH,V,D（水平ぼやけピクチャＢH、垂直ぼやけピクチャＢV及び対角ぼやけピクチャＢD）を生成する。ぼやけ処理部１２は、３種類のぼやけピクチャＢH,V,Dをフレームメモリ１３に格納する。ぼやけ処理部１２の詳細については後述する。
【0055】
水平ぼやけピクチャＢHは、水平方向の高周波帯域の成分を抑制した画像である。垂直ぼやけピクチャＢVは、垂直方向の高周波帯域の成分を抑制した画像である。対角ぼやけピクチャＢDは、対角方向（水平かつ垂直方向）の高周波帯域の成分を抑制した画像である。
【0056】
フレームメモリ１３には、局部復号ピクチャＫ、３種類の超解像ピクチャＣH,V,D及び３種類のぼやけピクチャＢH,V,Dがフレーム毎に格納される。
【0057】
画面間予測処理部１４は、フレームメモリ１３に格納された局部復号ピクチャＫ、３種類の超解像ピクチャＣH,V,D及び３種類のぼやけピクチャＢH,V,Dを、過去の局部復号ピクチャＫ、超解像ピクチャＣH,V,D及びぼやけピクチャＢH,V,Dとして読み出す。また、画面間予測処理部１４は、現在の局部復号ピクチャＫ（入力動画像のピクチャ）を入力する。
【0058】
画面間予測処理部１４は、現在の局部復号ピクチャＫを基準ピクチャとし、過去の局部復号ピクチャＫ、超解像ピクチャＣH,V,D及びぼやけピクチャＢH,V,Dを参照ピクチャとして、所定領域毎に、例えばブロックマッチング法にて、予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D、動きベクトルＫＶ，ＣＶH,V,D，ＢＶH,V,D及び予測誤差ＫＥ，ＣＥH,V,D，ＢＥH,V,Dを求める。所定領域は、例えばslice（スライス）領域、CTU（Coding Tree Unit：コーディングツリーユニット）領域、CU（Coding Unit：コーディングユニット）領域である。
【0059】
画面間予測処理部１４は、所定領域毎の予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D、動きベクトルＫＶ，ＣＶH,V,D，ＢＶH,V,D及び予測誤差ＫＥ，ＣＥH,V,D，ＢＥH,V,Dを選択部１６に出力する。画面間予測処理部１４の詳細については後述する。
【0060】
予測画像ＫＹは、１種類の局部復号ピクチャの予測画像である。予測画像ＣＹH,V,Dは、３種類の超解像ピクチャの予測画像であり、水平超解像ピクチャの予測画像ＣＹH、垂直超解像ピクチャの予測画像ＣＹV及び対角超解像ピクチャの予測画像ＣＹDからなる。
【0061】
予測画像ＢＹH,V,Dは、３種類のぼやけピクチャの予測画像であり、水平ぼやけピクチャの予測画像ＢＹH、垂直ぼやけピクチャの予測画像ＢＹV及び対角ぼやけピクチャの予測画像ＢＹDからなる。
【0062】
動きベクトルＫＶは、１種類の局部復号ピクチャの動きベクトルである。動きベクトルＣＶH,V,Dは、３種類の超解像ピクチャの動きベクトルであり、水平超解像ピクチャの動きベクトルＣＶH、垂直超解像ピクチャの動きベクトルＣＶV及び対角超解像ピクチャの動きベクトルＣＶDからなる。
【0063】
動きベクトルＢＶH,V,Dは、３種類のぼやけピクチャの動きベクトルであり、水平ぼやけピクチャの動きベクトルＢＶH、垂直ぼやけピクチャの動きベクトルＢＶV及び対角ぼやけピクチャの動きベクトルＢＶDからなる。
【0064】
予測誤差ＫＥは、１種類の局部復号ピクチャの予測誤差である。予測誤差ＣＥH,V,Dは、３種類の超解像ピクチャの予測誤差であり、水平超解像ピクチャの予測誤差ＣＥH、垂直超解像ピクチャの予測誤差ＣＥV及び対角超解像ピクチャの予測誤差ＣＥDからなる。
【0065】
予測誤差ＢＥH,V,Dは、３種類のぼやけピクチャの予測誤差であり、水平ぼやけピクチャの予測誤差ＢＥH、垂直ぼやけピクチャの予測誤差ＢＥV及び対角ぼやけピクチャの予測誤差ＢＥDからなる。
【0066】
周波数解析部１５は、フレームメモリ１３に格納された局部復号ピクチャＫを、過去の局部復号ピクチャＫとして読み出し、現在の局部復号ピクチャＫを入力する。
【0067】
周波数解析部１５は、現在の局部復号ピクチャＫ及び過去の局部復号ピクチャＫのそれぞれについて周波数解析を行う。そして、周波数解析部１５は、現在の局部復号ピクチャＫの解析結果から過去の局部復号ピクチャＫの解析結果を減算し、周波数帯域毎かつ位相位置毎のパワー変動情報を求める。周波数解析部１５は、周波数帯域毎かつ位相位置毎のパワー変動情報を選択部１６に出力する。周波数解析部１５の詳細については後述する。
【0068】
選択部１６は、画面間予測処理部１４から所定領域毎の予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D、動きベクトルＫＶ，ＣＶH,V,D，ＢＶH,V,D及び予測誤差ＫＥ，ＣＥH,V,D，ＢＥH,V,Dを入力する。また、選択部１６は、周波数解析部１５から周波数帯域毎かつ位相位置毎のパワー変動情報を入力する。
【0069】
選択部１６は、所定領域毎に、３種類の超解像ピクチャＣH,V,Dにつき、超解像ピクチャの動きベクトルＣＶH,V,D及び超解像ピクチャの強度情報ｃｐH,V,Dに基づいて、超解像ピクチャの重みｔＣH,V,Dを算出する。
【0070】
尚、選択部１６は、パワー変動情報及び超解像ピクチャの強度情報ｃｐH,V,Dに基づいて、超解像ピクチャの重みｔＣH,V,Dを算出するようにしてもよい。また、選択部１６は、超解像ピクチャの動きベクトルＣＶH,V,D、パワー変動情報及び超解像ピクチャの強度情報ｃｐH,V,Dに基づいて、超解像ピクチャの重みｔＣH,V,Dを算出するようにしてもよい。
【0071】
重みｔＣH,V,Dは、３種類の超解像ピクチャの重みであり、水平超解像ピクチャの重みｔＣH、垂直超解像ピクチャの重みｔＣV及び対角超解像ピクチャの重みｔＣDからなる。
【0072】
また、選択部１６は、所定領域毎に、３種類のぼやけピクチャＢH,V,Dにつき、パワー変動情報及びぼやけピクチャの強度情報ｂｐH,V,Dに基づいて、ぼやけピクチャの重みｔＢH,V,Dを算出する。
【0073】
尚、選択部１６は、ぼやけピクチャの動きベクトルＢＶH,V,D、パワー変動情報及びぼやけピクチャの強度情報ｂｐH,V,Dに基づいて、ぼやけピクチャの重みｔＢH,V,Dを算出するようにしてもよい。
【0074】
重みｔＢH,V,Dは、３種類のぼやけピクチャの重みであり、水平ぼやけピクチャの重みｔＢH、垂直ぼやけピクチャの重みｔＢV及び対角ぼやけピクチャの重みｔＢDからなる。
【0075】
選択部１６は、所定領域毎に、３種類の超解像ピクチャＣH,V,Dにつき、超解像ピクチャの予測誤差ＣＥH,V,Dのそれぞれに、対応する重みｔＣH,V,Dを乗算する。また、選択部１６は、所定領域毎に、３種類のぼやけピクチャＢH,V,Dにつき、ぼやけピクチャの予測誤差ＢＥH,V,Dのそれぞれに、対応する重みｔＢH,V,Dを乗算する。
【0076】
選択部１６は、所定領域毎に、局部復号ピクチャの予測誤差ＫＥ、超解像ピクチャの重み乗算後の予測誤差ＣＥH,V,D、及びぼやけピクチャの重み乗算後の予測誤差ＢＥH,V,Dのうち、最小の予測誤差を特定する。そして、選択部１６は、特定した予測誤差に対応する予測画像を選択する。これにより、７種類のピクチャの予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,Dのうち、いずれか一つの予測画像が選択される。
【0077】
選択部１６は、所定領域毎に、選択した予測画像を画面間予測結果としてスイッチ１１９に出力する。選択部１６の詳細については後述する。
【0078】
パラメータ処理部１７は、選択部１６により所定領域毎に選択された予測画像の種類、及び算出された動きベクトル等をパラメータに設定し、パラメータをエントロピー符号化部１２０に出力する。
【0079】
図３は、逆直交変換部１１４から加算部１１５及びインループフィルタ１１７を経て画面間予測部１０までの処理の流れを説明する図である。
【0080】
加算部１１５により、逆直交変換部１１４により生成された復号残差画像と、画面間予測部１０により生成された画面間予測結果すなわち予測画像とが加算され、加算後の画像がインループフィルタ１１７に入力される。インループフィルタ１１７によりフィルタ処理された局部復号ピクチャＫは、フレームメモリ１３に格納されると共に、超解像処理部１１及びぼやけ処理部１２に入力される。
【0081】
超解像処理部１１において、局部復号ピクチャＫに対し超解像処理が施され、３種類の超解像ピクチャＣH,V,Dが生成され、フレームメモリ１３に格納される。ぼやけ処理部１２において、局部復号ピクチャＫに対しぼやけ処理が施され、３種類のぼやけピクチャＢH,V,Dが生成され、フレームメモリ１３に格納される。
【0082】
これにより、フレームメモリ１３には、局部復号ピクチャＫ、３種類の超解像ピクチャＣH,V,D及び３種類のぼやけピクチャＢH,V,Dである７種類のピクチャが格納される。これらのピクチャは、画面間予測処理部１４により、過去の局部復号ピクチャＫ、超解像ピクチャＣH,V,D及びぼやけピクチャＢH,V,Dとして読み出される。
【0083】
画面間予測処理部１４において、現在の局部復号ピクチャＫを基準ピクチャとし、過去の局部復号ピクチャＫを参照ピクチャとして画面間予測処理が行われ、予測画像ＫＹ等が生成される。また、画面間予測処理部１４において、過去の３種類の超解像ピクチャＣH,V,Dを参照ピクチャとして３種類の画面間予測処理が行われ、３種類の予測画像ＣＹH,V,D等が生成される。さらに、画面間予測処理部１４において、過去の３種類のぼやけピクチャＢH,V,Dを参照ピクチャとして３種類の画面間予測処理が行われ、３種類の予測画像ＢＹH,V,D等が生成される。予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D等は選択部１６に入力される。
【0084】
周波数解析部１５により、現在の局部復号ピクチャＫ及び過去の局部復号ピクチャＫに基づいてパワー変動情報が生成され、パワー変動情報が選択部１６に入力される。
【0085】
選択部１６により、所定領域毎に、パワー変動情報等に基づいて、予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,Dのうちのいずれか一つの予測画像が選択され、画面間予測結果として加算部１１５に出力される。
【0086】
このように、画面間予測処理部１４において、参照ピクチャとして、局部復号ピクチャＫ、３種類の超解像ピクチャＣH,V,D及び３種類のぼやけピクチャＢH,V,Dの合計７種類のピクチャが用いられる。また、所定領域毎に、７種類の予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,Dのうちのいずれか一つが、予測画像として選択される。
【0087】
【0088】
超解像処理部１１は、局部復号ピクチャＫを入力し、例えば局部復号ピクチャＫを１階ウェーブレット分解する（ステップＳ４０１）。そして、超解像処理部１１は、１階ウェーブレット分解後の画像について、水平（Ｈ）、垂直(Ｖ)及び対角(Ｄ)の高周波帯域の全ての位相位置の要素値（画素値）に対し、予め設定された超解像ピクチャの水平用強度情報ｃｐH1,V1,D1、垂直用強度情報ｃｐH2,V2,D2及び対角用強度情報ｃｐH3,V3,D3をそれぞれ乗算する（ステップＳ４０２）。
【0089】
水平用強度情報ｃｐH1,V1,D1は、１階ウェーブレット分解後の画像における水平高周波帯域に対応する水平強度ｃｐH1、垂直高周波帯域に対応する垂直強度ｃｐV1、及び対角高周波帯域に対応する対角強度ｃｐD1からなる。水平用強度情報ｃｐH1,V1,D1は、水平高周波帯域の成分を強調した（パワーの強い）水平超解像ピクチャＣHを生成するための強度情報であり、ｃｐH1＞ｃｐV1，ｃｐD1の条件を満たす強度情報が用いられる。例えば図４に示すように、水平強度ｃｐH1＝1.2、垂直強度ｃｐV1＝1.0及び対角強度ｃｐD1＝1.0が用いられる。
【0090】
垂直用強度情報ｃｐH2,V2,D2は、水平強度ｃｐH2、垂直強度ｃｐV2及び対角強度ｃｐD2からなる。垂直用強度情報ｃｐH2,V2,D2は、垂直高周波帯域の成分を強調した（パワーの強い）垂直超解像ピクチャＣVを生成するための強度情報であり、ｃｐV2＞ｃｐH2，ｃｐD2の条件を満たす強度情報が用いられる。例えば図４に示すように、水平強度ｃｐH2＝1.0、垂直強度ｃｐV2＝1.2及び対角強度ｃｐD2＝1.0が用いられる。
【0091】
対角用強度情報ｃｐH3,V3,D3は、水平強度ｃｐH3、垂直強度ｃｐV3及び対角強度ｃｐD3からなる。対角用強度情報ｃｐH3,V3,D3は、対角高周波帯域の成分を強調した（パワーの強い）対角超解像ピクチャＣDを生成するための強度情報であり、ｃｐD3＞ｃｐH3，ｃｐV3の条件を満たす強度情報が用いられる。例えば図４に示すように、水平強度ｃｐH3＝1.0、垂直強度ｃｐV3＝1.0及び対角強度ｃｐD3＝1.2が用いられる。
【0092】
超解像処理部１１は、１階ウェーブレット分解後の乗算後画像のそれぞれを１階ウェーブレット再構成し、３種類の超解像ピクチャＣH,V,D、すなわち水平超解像ピクチャＣH、垂直超解像ピクチャＣV及び対角超解像ピクチャＣDを生成する（ステップＳ４０３）。
【0093】
このように、超解像処理部１１により、局部復号ピクチャＫから３種類の水平超解像ピクチャＣH、垂直超解像ピクチャＣV及び対角超解像ピクチャＣDが生成される。
【0094】
【0095】
ぼやけ処理部１２は、局部復号ピクチャＫを入力し、例えば局部復号ピクチャＫを１階ウェーブレット分解する（ステップＳ５０１）。そして、ぼやけ処理部１２は、１階ウェーブレット分解後の画像について、水平、垂直及び対角の高周波帯域の全ての位相位置の要素値に対し、予め設定されたぼやけピクチャの水平用強度情報ｂｐH1,V1,D1、垂直用強度情報ｂｐH2,V2,D2及び対角用強度情報ｂｐH3,V3,D3をそれぞれ乗算する（ステップＳ５０２）。
【0096】
水平用強度情報ｂｐH1,V1,D1は、１階ウェーブレット分解後の画像における水平高周波帯域に対応する水平強度ｂｐH1、垂直高周波帯域に対応する垂直強度ｂｐV1、及び対角高周波帯域に対応する対角強度ｂｐD1からなる。水平用強度情報ｂｐH1,V1,D1は、水平高周波帯域の成分を抑制した（パワーの弱い）水平ぼやけピクチャＢHを生成するための強度情報であり、ｂｐH1＜ｂｐV1，ｂｐD1の条件を満たす強度情報が用いられる。例えば図５に示すように、水平強度ｂｐH1＝0.8、垂直強度ｂｐV1＝1.0及び対角強度ｂｐD1＝1.0が用いられる。
【0097】
垂直用強度情報ｂｐH2,V2,D2は、水平強度ｂｐH2、垂直強度ｂｐV2及び対角強度ｂｐD2からなる。垂直用強度情報ｂｐH2,V2,D2は、垂直高周波帯域の成分を抑制した（パワーの弱い）垂直ぼやけピクチャＢVを生成するための強度情報であり、ｂｐV2＜ｂｐH2，ｂｐD2の条件を満たす強度情報が用いられる。例えば図５に示すように、水平強度ｂｐH2＝1.0、垂直強度ｂｐV2＝0.8及び対角強度ｂｐD2＝1.0が用いられる。
【0098】
対角用強度情報ｂｐH3,V3,D3は、水平強度ｂｐH3、垂直強度ｂｐV3及び対角強度ｂｐD3からなる。対角用強度情報ｂｐH3,V3,D3は、対角高周波帯域の成分を抑制した（パワーの弱い）対角ぼやけピクチャＢDを生成するための強度情報であり、ｂｐD3＜ｂｐH3，ｂｐV3の条件を満たす強度情報が用いられる。例えば図５に示すように、水平強度ｂｐH3＝1.0、垂直強度ｂｐV3＝1.0及び対角強度ｂｐD3＝0.8が用いられる。
【0099】
ぼやけ処理部１２は、１階ウェーブレット分解後の乗算後画像のそれぞれを１階ウェーブレット再構成し、３種類のぼやけピクチャＢH,V,D、すなわち水平ぼやけピクチャＢH、垂直ぼやけピクチャＢV及び対角ぼやけピクチャＢDを生成する（ステップＳ５０３）。
【0100】
このように、ぼやけ処理部１２により、局部復号ピクチャＫから３種類の水平ぼやけピクチャＢH、垂直ぼやけピクチャＢV及び対角ぼやけピクチャＢDが生成される。
【0101】
〔画面間予測処理部１４〕
次に、図２に示した画面間予測処理部１４について詳細に説明する。図６は、画面間予測処理部１４の構成例を示すブロック図である。この画面間予測処理部１４は、復号ピクチャ予測部２０、超解像予測部２１及びぼやけ予測部２２を備えている。尚、図６には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
次に、図２に示した画面間予測処理部１４について詳細に説明する。図６は、画面間予測処理部１４の構成例を示すブロック図である。この画面間予測処理部１４は、復号ピクチャ予測部２０、超解像予測部２１及びぼやけ予測部２２を備えている。尚、図６には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0102】
復号ピクチャ予測部２０は、フレームメモリ１３に格納された局部復号ピクチャＫを、過去の局部復号ピクチャＫとして読み出し、現在の局部復号ピクチャＫを入力する。
【0103】
復号ピクチャ予測部２０は、現在の局部復号ピクチャＫを基準ピクチャとし、過去の局部復号ピクチャＫを参照ピクチャとして、基準ピクチャ及び参照ピクチャに基づいて、所定領域毎に、例えばブロックマッチング法にて、予測画像ＫＹ、動きベクトルＫＶ及び予測誤差ＫＥを求める。
【0104】
復号ピクチャ予測部２０は、予測画像ＫＹ、動きベクトルＫＶ及び予測誤差ＫＥを選択部１６に出力する。
【0105】
超解像予測部２１は、フレームメモリ１３に格納された３種類の超解像ピクチャＣH,V,Dを、過去の超解像ピクチャＣH,V,Dとして読み出し、現在の局部復号ピクチャＫを入力する。
【0106】
超解像予測部２１は、現在の局部復号ピクチャＫを基準ピクチャとし、過去の超解像ピクチャＣH,V,Dを参照ピクチャとして、基準ピクチャ及び参照ピクチャに基づいて、所定領域毎に、例えばブロックマッチング法にて、予測画像ＣＹH,V,D、動きベクトルＣＶH,V,D及び予測誤差ＣＥH,V,Dとして求める。
【0107】
超解像予測部２１は、予測画像ＣＹH,V,D、動きベクトルＣＶH,V,D及び予測誤差ＣＥH,V,Dを選択部１６に出力する。
【0108】
ぼやけ予測部２２は、フレームメモリ１３に格納された３種類のぼやけピクチャＢH,V,Dを、過去のぼやけピクチャＢH,V,Dとして読み出し、現在の局部復号ピクチャＫを入力する。
【0109】
ぼやけ予測部２２は、現在の局部復号ピクチャＫを基準ピクチャとし、過去のぼやけピクチャＢH,V,Dを参照ピクチャとして、基準ピクチャ及び参照ピクチャに基づいて、所定領域毎に、例えばブロックマッチング法にて、予測画像ＢＹH,V,D、動きベクトルＢＶH,V,D及び予測誤差ＢＥH,V,Dを求める。
【0110】
ぼやけ予測部２２は、予測画像ＢＹH,V,D、動きベクトルＢＶH,V,D及び予測誤差ＢＥH,V,Dを選択部１６に出力する。
【0111】
このように、画面間予測処理部１４により、局部復号ピクチャの予測画像ＫＹ、動きベクトルＫＶ及び予測誤差ＫＥに加え、超解像ピクチャの予測画像ＣＹH,V,D、動きベクトルＣＶH,V,D及び予測誤差ＣＥH,V,D、並びにぼやけピクチャの予測画像ＢＹH,V,D、動きベクトルＢＶH,V,D及び予測誤差ＢＥH,V,Dが生成される。
【0112】
【0113】
周波数解析部１５は、フレームメモリ１３に格納された局部復号ピクチャＫを、過去の局部復号ピクチャＫとして読み出し、現在の局部復号ピクチャＫを入力する。
【0114】
周波数解析部１５は、現在の局部復号ピクチャＫについて、デシメーションを伴わない１階ウェーブレットパケット分解にて周波数解析を行い、現在の局部復号ピクチャＫの解析結果を生成する（ステップＳ７０１）。これにより、現在の局部復号ピクチャＫの空間低周波帯域信号、水平高周波帯域信号、垂直高周波帯域信号及び対角高周波帯域信号が生成される。
【0115】
また、周波数解析部１５は、過去の局部復号ピクチャＫについて、デシメーションを伴わない１階ウェーブレットパケット分解にて周波数解析を行い、過去の局部復号ピクチャＫの解析結果を生成する（ステップＳ７０２）。これにより、過去の局部復号ピクチャＫの空間低周波帯域信号、水平高周波帯域信号、垂直高周波帯域信号及び対角高周波帯域信号が生成される。
【0116】
周波数解析部１５は、周波数帯域毎かつ位相位置毎に、現在の局部復号ピクチャＫの解析結果から過去の局部復号ピクチャＫの解析結果を減算し、周波数帯域毎かつ位相位置毎のパワー変動情報を求める（ステップＳ７０３）。
【0117】
具体的には、周波数解析部１５は、現在の局部復号ピクチャＫの水平高周波帯域信号における位相位置（画素位置）の要素値（画素値）から、過去の局部復号ピクチャＫの水平高周波帯域信号における対応する位相位置の要素値を減算する。そして、周波数解析部１５は、減算結果を水平高周波数帯域のパワー変動情報とする。
【0118】
また、周波数解析部１５は、現在の局部復号ピクチャＫの垂直高周波帯域信号における位相位置の要素値から、過去の局部復号ピクチャＫの垂直高周波帯域信号における対応する位相位置の要素値を減算する。そして、周波数解析部１５は、減算結果を垂直高周波数帯域のパワー変動情報とする。
【0119】
さらに、周波数解析部１５は、現在の局部復号ピクチャＫの対角高周波帯域信号における位相位置の要素値から、過去の局部復号ピクチャＫの対角高周波帯域信号における対応する位相位置の要素値を減算する。そして、周波数解析部１５は、減算結果を対角高周波数帯域のパワー変動情報とする。
【0120】
周波数解析部１５は、水平高周波数帯域の各位相位置のパワー変動情報、垂直高周波数帯域の各位相位置のパワー変動情報、及び対角高周波数帯域の各位相位置のパワー変動情報を、周波数帯域毎かつ位相位置毎のパワー変動情報として選択部１６に出力する。
【0121】
このように、周波数解析部１５により、周波数帯域毎かつ位相位置毎のパワー変動情報が生成される。
【0122】
パワー変動情報は、現在のピクチャが過去のピクチャに比べ、ぼやけているかまたは鮮鋭化しているかを示す指標として扱われる。パワー変動情報から得られた後述するパワー変動量が第１の閾値（正の値）よりも大きい場合、現在のピクチャのパワーが過去のピクチャよりも大きいため、現在のピクチャが過去のピクチャに比べ、鮮鋭化しているものと判断される。また、パワー変動量が第１の閾値（負の値）よりも小さい場合、現在のピクチャのパワーが過去のピクチャよりも小さいため、現在のピクチャが過去のピクチャに比べ、ぼやけているものと判断される。さらに、パワー変動量が第１の閾値と第２の閾値との間にある場合、現在のピクチャのパワーと過去のピクチャのパワーとがほぼ同じであるため、現在のピクチャ及び過去のピクチャにおけるぼやけの程度及び鮮鋭化の程度はさほど変わらないものと判断される。詳細については後述する。
【0123】
【0124】
この選択部１６は、動き量算出部３０、パワー変動量算出部３１、重み算出部３２及び予測画像選択部３３を備えている。尚、図８には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0125】
選択部１６は、画面間予測処理部１４から、所定領域毎の予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D、動きベクトルＫＶ，ＣＶH,V,D，ＢＶH,V,D及び予測誤差ＫＥ，ＣＥH,V,D，ＢＥH,V,Dを入力する。また、選択部１６は、周波数解析部１５から周波数帯域毎かつ位相位置毎のパワー変動情報を入力する（ステップＳ９０１）。
【0126】
（動き量算出部３０）
動き量算出部３０は、所定領域毎に、超解像ピクチャの動きベクトルＣＶH,V,Dから、水平方向、垂直方向及び対角方向の成分である動き量ＣＶH,V,D-ｍH,V,Dを算出する。また、動き量算出部３０は、所定領域毎に、ぼやけピクチャの動きベクトルＢＶH,V,Dから、水平方向、垂直方向及び対角方向の成分であるぼやけピクチャの動き量ＢＶH,V,D-ｍH,V,Dを算出する（ステップＳ９０２）。そして、動き量算出部３０は、所定領域毎の動き量ＣＶH,V,D-ｍH,V,D，ＢＶH,V,D-ｍH,V,Dを重み算出部３２に出力する。
動き量算出部３０は、所定領域毎に、超解像ピクチャの動きベクトルＣＶH,V,Dから、水平方向、垂直方向及び対角方向の成分である動き量ＣＶH,V,D-ｍH,V,Dを算出する。また、動き量算出部３０は、所定領域毎に、ぼやけピクチャの動きベクトルＢＶH,V,Dから、水平方向、垂直方向及び対角方向の成分であるぼやけピクチャの動き量ＢＶH,V,D-ｍH,V,Dを算出する（ステップＳ９０２）。そして、動き量算出部３０は、所定領域毎の動き量ＣＶH,V,D-ｍH,V,D，ＢＶH,V,D-ｍH,V,Dを重み算出部３２に出力する。
【0127】
超解像ピクチャの動き量ＣＶH,V,D-ｍH,V,Dは、水平超解像ピクチャの水平動き量ＣＶH-ｍH、垂直動き量ＣＶH-ｍV及び対角動き量ＣＶH-ｍDと、垂直超解像ピクチャの水平動き量ＣＶV-ｍH、垂直動き量ＣＶV-ｍV及び対角動き量ＣＶV-ｍDと、対角超解像ピクチャの水平動き量ＣＶD-ｍH、垂直動き量ＣＶD-ｍV及び対角動き量ＣＶD-ｍDとからなる。
【0128】
ぼやけピクチャの動き量ＢＶH,V,D-ｍH,V,Dは、水平ぼやけピクチャの水平動き量ＢＶH-ｍH、垂直動き量ＢＶH-ｍV及び対角動き量ＢＶH-ｍDと、垂直ぼやけピクチャの水平動き量ＢＶV-ｍH、垂直動き量ＢＶV-ｍV及び対角動き量ＢＶV-ｍDと、対角ぼやけピクチャの水平動き量ＢＶD-ｍH、垂直動き量ＢＶD-ｍV及び対角動き量ＢＶD-ｍDとからなる。
【0129】
水平動き量は、動きベクトルを水平方向に射影したときの大きさを示し、垂直動き量は、動きベクトルを垂直方向に射影したときの大きさを示し、対角動き量は、動きベクトルを対角方向に射影したときの大きさを示す。
【0130】
このように、動き量算出部３０により、所定領域毎に、水平超解像ピクチャＣHについて、水平動き量ＣＶH-ｍH、垂直動き量ＣＶH-ｍV及び対角動き量ＣＶH-ｍDが算出される。また、垂直超解像ピクチャＣVについて、水平動き量ＣＶV-ｍH、垂直動き量ＣＶV-ｍV及び対角動き量ＣＶV-ｍDが算出され、対角超解像ピクチャＣDについて、水平動き量ＣＶD-ｍH、垂直動き量ＣＶD-ｍV及び対角動き量ＣＶD-ｍDが算出される。
【0131】
さらに、動き量算出部３０により、所定領域毎に、水平ぼやけピクチャＢHについて、水平動き量ＢＶH-ｍH、垂直動き量ＢＶH-ｍV及び対角動き量ＢＶH-ｍDが算出される。また、垂直ぼやけピクチャＢVについて、水平動き量ＢＶV-ｍH、垂直動き量ＢＶV-ｍV及び対角動き量ＢＶV-ｍDが算出され、対角ぼやけピクチャＢDについて、水平動き量ＢＶD-ｍH、垂直動き量ＢＶD-ｍV及び対角動き量ＢＶD-ｍDが算出される。
【0132】
図１０は、動き量算出部３０により算出される水平超解像ピクチャの動き量ＣＶH-ｍH,V,Dの例を説明する図である。フレームｔの時刻のピクチャを基準ピクチャとし、フレームｔ－１の時刻におけるピクチャを参照ピクチャとする。α１は、水平超解像ピクチャの動きベクトルＣＶHにおける水平方向を示し、β１は、水平超解像ピクチャの動きベクトルＣＶHにおける垂直方向を示し、γ１は、水平超解像ピクチャの動きベクトルＣＶHにおける対角方向を示す。
【0133】
図１０に示すように、動き量算出部３０により、基準ピクチャを基準とした参照ピクチャに対する水平超解像ピクチャの動きベクトルＣＶHから、所定領域毎に、これを水平方向α１に射影したときの水平動き量ＣＶH-ｍH、垂直方向β１に射影したときの垂直動き量ＣＶH-ｍV、及び対角方向γ１に射影したときの対角動き量ＣＶH-ｍDが算出される。
【0134】
（パワー変動量算出部３１）
図８及び図９に戻って、パワー変動量算出部３１は、周波数帯域毎かつ位相位置毎のパワー変動情報から、所定領域毎に、水平高周波帯域、垂直高周波帯域及び対角高周波帯域の成分であるパワー変動量ｐH,V,Dを算出する（ステップＳ９０３）。そして、パワー変動量算出部３１は、所定領域毎のパワー変動量ｐH,V,Dを重み算出部３２に出力する。
図８及び図９に戻って、パワー変動量算出部３１は、周波数帯域毎かつ位相位置毎のパワー変動情報から、所定領域毎に、水平高周波帯域、垂直高周波帯域及び対角高周波帯域の成分であるパワー変動量ｐH,V,Dを算出する（ステップＳ９０３）。そして、パワー変動量算出部３１は、所定領域毎のパワー変動量ｐH,V,Dを重み算出部３２に出力する。
【0135】
具体的には、パワー変動量算出部３１は、所定領域毎に、周波数帯域毎かつ位相位置毎のパワー変動情報から当該領域のパワー変動情報を抽出する。そして、パワー変動量算出部３１は、当該領域のパワー変動情報に含まれる水平高周波帯域の全ての位相位置における要素値を合計し、当該領域の水平パワー変動量ｐHを求める。
【0136】
また、パワー変動量算出部３１は、当該領域のパワー変動情報に含まれる垂直高周波帯域の全ての位相位置における要素値を合計し、当該領域の垂直パワー変動量ｐVを求める。さらに、パワー変動量算出部３１は、当該領域のパワー変動情報に含まれる対角高周波帯域の全ての位相位置の要素値を合計し、当該領域の対角パワー変動量ｐDを求める。
【0137】
このように、パワー変動量算出部３１により、所定領域毎に、水平高周波帯域の成分である水平パワー変動量ｐH、垂直高周波帯域の成分である垂直パワー変動量ｐV、及び対角高周波帯域の成分である対角パワー変動量ｐDが算出される。
【0138】
図１１は、パワー変動量算出部３１により算出されるパワー変動量ｐH,V,Dの例を説明する図である。α２はパワー変動情報における水平高周波帯域の方向を示し、β２は、パワー変動情報における垂直高周波帯域の方向を示し、γ２は、パワー変動情報における対角高周波帯域の方向を示す。
【0139】
図１１に示すように、パワー変動量算出部３１により、周波数帯域毎かつ位相位置毎のパワー変動情報から、所定領域毎に、水平高周波帯域の方向α２の成分である水平パワー変動量ｐH、垂直高周波帯域の方向β２の成分である垂直パワー変動量ｐV、及び対角高周波帯域の方向γ２の成分である対角パワー変動量ｐDが算出される。
【0140】
（重み算出部３２）
重み算出部３２は、動き量算出部３０から所定領域毎の動き量ＣＶH,V,D-ｍH,V,D，ＢＶH,V,D-ｍH,V,Dを入力すると共に、パワー変動量算出部３１から所定領域毎のパワー変動量ｐH,V,Dを入力する。また、重み算出部３２は、予め設定された超解像ピクチャの強度情報ｃｐH,V,D及びぼやけピクチャの強度情報ｂｐH,V,Dを入力する。
重み算出部３２は、動き量算出部３０から所定領域毎の動き量ＣＶH,V,D-ｍH,V,D，ＢＶH,V,D-ｍH,V,Dを入力すると共に、パワー変動量算出部３１から所定領域毎のパワー変動量ｐH,V,Dを入力する。また、重み算出部３２は、予め設定された超解像ピクチャの強度情報ｃｐH,V,D及びぼやけピクチャの強度情報ｂｐH,V,Dを入力する。
【0141】
超解像ピクチャの強度情報ｃｐH,V,Dは、図２に示した超解像処理部１１による超解像ピクチャＣH,V,Dの生成の際に用いた水平用強度情報ｃｐH1,V1,D1、垂直用強度情報ｃｐH2,V2,D2及び対角用強度情報ｃｐH3,V3,D3に相当する。また、ぼやけピクチャの強度情報ｂｐH,V,Dは、図２に示したぼやけ処理部１２によるぼやけピクチャＢH,V,Dの生成の際に用いた水平用強度情報ｂｐH1,V1,D1、垂直用強度情報ｂｐH2,V2,D2及び対角用強度情報ｂｐH3,V3,D3に相当する。
【0142】
重み算出部３２は、超解像ピクチャＣH,V,Dについて、所定領域毎に、以下の式にて、超解像ピクチャの動き量ＣＶH,V,D-ｍH,V,D及び超解像ピクチャの強度情報ｃｐH,V,D（ｃｐH1,V1,D1，ｃｐH2,V2,D2，ｃｐH3,V3,D3）に基づいて、超解像ピクチャＣH,V,Dのそれぞれについて重みｔＣH,V,Dを算出する（ステップＳ９０４）。
［数１］
ｔＣH＝ｄ／｛（ａ×ｃｐH1×（ＣＶH-ｍH）＋ｂ×ｃｐV1×（ＣＶH-ｍV）＋ｃ×ｃｐD1×（ＣＶH-ｍD）｝ ・・・（１）
［数２］
ｔＣV＝ｄ／｛（ａ×ｃｐH2×（ＣＶV-ｍH）＋ｂ×ｃｐV2×（ＣＶV-ｍV）＋ｃ×ｃｐD2×（ＣＶV-ｍD）｝ ・・・（２）
［数３］
ｔＣD＝ｄ／｛（ａ×ｃｐH3×（ＣＶD-ｍH）＋ｂ×ｃｐV3×（ＣＶD-ｍV）＋ｃ×ｃｐD3×（ＣＶD-ｍD）｝ ・・・（３）
［数１］
ｔＣH＝ｄ／｛（ａ×ｃｐH1×（ＣＶH-ｍH）＋ｂ×ｃｐV1×（ＣＶH-ｍV）＋ｃ×ｃｐD1×（ＣＶH-ｍD）｝ ・・・（１）
［数２］
ｔＣV＝ｄ／｛（ａ×ｃｐH2×（ＣＶV-ｍH）＋ｂ×ｃｐV2×（ＣＶV-ｍV）＋ｃ×ｃｐD2×（ＣＶV-ｍD）｝ ・・・（２）
［数３］
ｔＣD＝ｄ／｛（ａ×ｃｐH3×（ＣＶD-ｍH）＋ｂ×ｃｐV3×（ＣＶD-ｍV）＋ｃ×ｃｐD3×（ＣＶD-ｍD）｝ ・・・（３）
【0143】
重みｔＣHは、水平超解像ピクチャＣHの重みを示し、重みｔＣVは、垂直超解像ピクチャＣVの重みを示し、重みｔＣDは、対角超解像ピクチャＣDの重みを示す。パラメータａ，ｂ，ｃ，ｄは、予め設定された定数を示す。
【0144】
前記式（１）において、水平超解像ピクチャＣHについて、前述したとおり、例えば水平強度ｃｐH1＝1.2、垂直強度ｃｐV1＝1.0及び対角強度ｃｐD1＝1.0が用いられる。
【0145】
前記式（２）において、垂直超解像ピクチャＣVについて、前述したとおり、例えば水平強度ｃｐH2＝1.0、垂直強度ｃｐV2＝1.2及び対角強度ｃｐD2＝1.0が用いられる。
【0146】
前記式（３）において、対角超解像ピクチャＣDについて、前述したとおり、例えば水平強度ｃｐH3＝1.0、垂直強度ｃｐV3＝1.0及び対角強度ｃｐD3＝1.2が用いられる。
【0147】
このように、前記式（１）（２）（３）に示す重みｔＣH,V,Dは、超解像ピクチャの動き量ＣＶH,V,D-ｍH,V,Dに基づいて算出され、動き量ＣＶH,V,D-ｍH,V,Dが大きいほど、小さい値となり、動き量ＣＶH,V,D-ｍH,V,Dが小さいほど、大きい値となる。この場合、動き量ＣＶH,V,D-ｍH,V,Dが大きいほど、基準ピクチャよりも参照ピクチャがぼやけている可能性が高いため、参照ピクチャに対して基準ピクチャが鮮鋭化している可能性が高い。
【0148】
そこで、動き量ＣＶH,V,D-ｍH,V,Dが大きい方向（水平方向、垂直方向及び対角方向）ほど、重みｔＣH,V,Dを小さい値とすることで、後述するステップＳ９０７において、重み乗算後の予測誤差ＣＥH,V,Dを小さい値とし、その方向に対応する超解像ピクチャの予測画像ＣＹH,V,Dが選択されるようにしている。つまり、基準ピクチャから参照ピクチャへの動き量ＣＶH,V,D-ｍH,V,Dが大きい方向ほど、ぼやけが大きいと仮定して、鮮鋭化の強い方向の超解像ピクチャの予測画像ＣＹH,V,Dが選択されるようにしている。
【0149】
尚、重み算出部３２は、超解像ピクチャＣH,V,Dにつき、ステップＳ９０４において、超解像ピクチャの動き量ＣＶH,V,D-ｍH,V,Dの代わりにパワー変動量ｐH,V,Dを用いるようにしてもよい。すなわち、重み算出部３２は、所定領域毎に、以下の式にて、パワー変動量ｐH,V,D及び超解像ピクチャの強度情報ｃｐH,V,D（ｃｐH1,V1,D1，ｃｐH2,V2,D2，ｃｐH3,V3,D3）に基づいて、超解像ピクチャＣH,V,Dのそれぞれについて重みｔＣH,V,Dを算出するようにしてもよい。
［数４］
ｔＣH＝ｈ／（ｅ×ｃｐH1×ｐH＋ｆ×ｃｐV1×ｐV＋ｇ×ｃｐD1×ｐD） ・・・（４）
［数５］
ｔＣV＝ｈ／（ｅ×ｃｐH2×ｐH＋ｆ×ｃｐV2×ｐV＋ｇ×ｃｐD2×ｐD） ・・・（５）
［数６］
ｔＣD＝ｈ／（ｅ×ｃｐH3×ｐH＋ｆ×ｃｐV3×ｐV＋ｇ×ｃｐD3×ｐD） ・・・（６）
［数４］
ｔＣH＝ｈ／（ｅ×ｃｐH1×ｐH＋ｆ×ｃｐV1×ｐV＋ｇ×ｃｐD1×ｐD） ・・・（４）
［数５］
ｔＣV＝ｈ／（ｅ×ｃｐH2×ｐH＋ｆ×ｃｐV2×ｐV＋ｇ×ｃｐD2×ｐD） ・・・（５）
［数６］
ｔＣD＝ｈ／（ｅ×ｃｐH3×ｐH＋ｆ×ｃｐV3×ｐV＋ｇ×ｃｐD3×ｐD） ・・・（６）
【0150】
パラメータｅ，ｆ，ｇ，ｈは、予め設定された定数を示す。
【0151】
前記式（４）において、前記式（１）と同様に、例えば水平超解像ピクチャＣHについての水平強度ｃｐH1＝1.2、垂直強度ｃｐV1＝1.0及び対角強度ｃｐD1＝1.0が用いられる。
【0152】
前記式（５）において、前記式（２）と同様に、例えば垂直超解像ピクチャＣVについての水平強度ｃｐH2＝1.0、垂直強度ｃｐV2＝1.2及び対角強度ｃｐD2＝1.0が用いられる。
【0153】
前記式（６）において、前記式（３）と同様に、対角超解像ピクチャＣDについての水平強度ｃｐH3＝1.0、垂直強度ｃｐV3＝1.0及び対角強度ｃｐD3＝1.2が用いられる。
【0154】
このように、前記式（４）（５）（６）に示す重みｔＣH,V,Dは、パワー変動量ｐH,V,Dに基づいて算出され、パワー変動量ｐH,V,Dが正方向に大きいほど、小さい値となり、パワー変動量ｐH,V,Dが正方向に小さいほど、大きい値となる。この場合、パワー変動量ｐH,V,Dが正方向に大きいほど、基準ピクチャよりも参照ピクチャがぼやけている可能性が高いため、参照ピクチャに対して基準ピクチャが鮮鋭化している可能性が高い。
【0155】
そこで、パワー変動量ｐH,V,Dが正方向に大きい方向（水平方向、垂直方向及び対角方向）ほど、重みｔＣH,V,Dを小さい値とすることで、後述するステップＳ９０７において、重み乗算後の予測誤差ＣＥH,V,Dを小さい値とし、その方向に対応する超解像ピクチャの予測画像ＣＹH,V,Dが選択されるようにしている。つまり、基準ピクチャから参照ピクチャへのパワー変動量ｐH,V,Dが正方向に大きい方向ほど、ぼやけが大きいと仮定して、鮮鋭化の強い方向の超解像ピクチャの予測画像ＣＹH,V,Dが選択されるようにしている。
【0156】
また、重み算出部３２は、超解像ピクチャＣH,V,Dにつき、ステップＳ９０４において、動き量ＣＶH,V,D-ｍH,V,Dの代わりに、超解像ピクチャの動き量ＣＶH,V,D-ｍH,V,D及びパワー変動量ｐH,V,Dを用いるようにしてもよい。すなわち、重み算出部３２は、所定領域毎に、以下の式にて、超解像ピクチャの動き量ＣＶH,V,D-ｍH,V,D、パワー変動量ｐH,V,D及び超解像ピクチャの強度情報ｃｐH,V,D（ｃｐH1,V1,D1，ｃｐH2,V2,D2，ｃｐH3,V3,D3）に基づいて、超解像ピクチャＣH,V,Dのそれぞれについて重みｔＣH,V,Dを算出するようにしてもよい。
［数７］
ｔＣH＝ｏ／〔｛（ｉ×ｃｐH1×（ＣＶH-ｍH）＋ｊ×ｃｐV1×（ＣＶH-ｍV）＋ｋ×ｃｐD1×（ＣＶH-ｍD）｝＋(ｌ×ｃｐH1×ｐH＋ｍ×ｃｐV1×ｐV＋ｎ×ｃｐD1×ｐD）〕
・・・（７）
［数８］
ｔＣV＝ｏ／〔｛（ｉ×ｃｐH2×（ＣＶV-ｍH）＋ｊ×ｃｐV2×（ＣＶV-ｍV）＋ｋ×ｃｐD2×（ＣＶV-ｍD）｝＋（ｌ×ｃｐH2×ｐH＋ｍ×ｃｐV2×ｐV＋ｎ×ｃｐD2×ｐD）〕
・・・（８）
［数９］
ｔＣD＝ｏ／〔｛（ｉ×ｃｐH3×（ＣＶD-ｍH）＋ｊ×ｃｐV3×（ＣＶD-ｍV）＋ｋ×ｃｐD3×（ＣＶD-ｍD）｝＋（ｌ×ｃｐH3×ｐH＋ｍ×ｃｐV3×ｐV＋ｎ×ｃｐD3×ｐD）〕
・・・（９）
［数７］
ｔＣH＝ｏ／〔｛（ｉ×ｃｐH1×（ＣＶH-ｍH）＋ｊ×ｃｐV1×（ＣＶH-ｍV）＋ｋ×ｃｐD1×（ＣＶH-ｍD）｝＋(ｌ×ｃｐH1×ｐH＋ｍ×ｃｐV1×ｐV＋ｎ×ｃｐD1×ｐD）〕
・・・（７）
［数８］
ｔＣV＝ｏ／〔｛（ｉ×ｃｐH2×（ＣＶV-ｍH）＋ｊ×ｃｐV2×（ＣＶV-ｍV）＋ｋ×ｃｐD2×（ＣＶV-ｍD）｝＋（ｌ×ｃｐH2×ｐH＋ｍ×ｃｐV2×ｐV＋ｎ×ｃｐD2×ｐD）〕
・・・（８）
［数９］
ｔＣD＝ｏ／〔｛（ｉ×ｃｐH3×（ＣＶD-ｍH）＋ｊ×ｃｐV3×（ＣＶD-ｍV）＋ｋ×ｃｐD3×（ＣＶD-ｍD）｝＋（ｌ×ｃｐH3×ｐH＋ｍ×ｃｐV3×ｐV＋ｎ×ｃｐD3×ｐD）〕
・・・（９）
【0157】
パラメータｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏは、予め設定された定数を示す。
【0158】
前記式（７）において、前記式（１）と同様に、例えば水平超解像ピクチャＣHについての水平強度ｃｐH1＝1.2、垂直強度ｃｐV1＝1.0及び対角強度ｃｐD1＝1.0が用いられる。
【0159】
また、前記式（８）において、前記式（２）と同様に、例えば垂直超解像ピクチャＣVについての水平強度ｃｐH2＝1.0、垂直強度ｃｐV2＝1.2及び対角強度ｃｐD2＝1.0が用いられる。
【0160】
また、前記式（９）において、前記式（３）と同様に、対角超解像ピクチャＣDについての水平強度ｃｐH3＝1.0、垂直強度ｃｐV3＝1.0及び対角強度ｃｐD3＝1.2が用いられる。
【0161】
重み算出部３２は、ステップＳ９０４から移行して、ぼやけピクチャＢH,V,Dについて、所定領域毎に、以下の式にて、パワー変動量ｐH,V,D及びぼやけピクチャの強度情報ｂｐH,V,D（ｂｐH1,V1,D1，ｂｐH2,V2,D2，ｂｐH3,V3,D3）に基づいて、ぼやけピクチャＢH,V,Dのそれぞれについて重みｔＢH,V,Dを算出する（ステップＳ９０５）。
［数１０］
ｔＢH＝ｓ／（ｐ×ｂｐH1×ｐH＋ｑ×ｂｐV1×ｐV＋ｒ×ｂｐD1×ｐD） ・・・（１０）
［数１１］
ｔＢV＝ｓ／（ｐ×ｂｐH2×ｐH＋ｑ×ｂｐV2×ｐV＋ｒ×ｂｐD2×ｐD） ・・・（１１）
［数１２］
ｔＢD＝ｓ／（ｐ×ｂｐH3×ｐH＋ｑ×ｂｐV3×ｐV＋ｒ×ｂｐD3×ｐD） ・・・（１２）
［数１０］
ｔＢH＝ｓ／（ｐ×ｂｐH1×ｐH＋ｑ×ｂｐV1×ｐV＋ｒ×ｂｐD1×ｐD） ・・・（１０）
［数１１］
ｔＢV＝ｓ／（ｐ×ｂｐH2×ｐH＋ｑ×ｂｐV2×ｐV＋ｒ×ｂｐD2×ｐD） ・・・（１１）
［数１２］
ｔＢD＝ｓ／（ｐ×ｂｐH3×ｐH＋ｑ×ｂｐV3×ｐV＋ｒ×ｂｐD3×ｐD） ・・・（１２）
【0162】
重みｔＢHは、水平ぼやけピクチャＢHの重みを示し、重みｔＢVは、垂直ぼやけピクチャＢVの重みを示し、重みｔＢDは、水平ぼやけピクチャＢDの重みを示す。パラメータｐ，ｑ，ｒ，ｓは、予め設定された定数を示す。
【0163】
前記式（１０）において、水平ぼやけピクチャＢHについて、前述したとおり、例えば水平強度ｂｐH1＝0.8、垂直強度ｂｐV1＝1.0及び対角強度ｂｐD1＝1.0が用いられる。
【0164】
前記式（１１）において、垂直ぼやけピクチャＢVについて、前述したとおり、例えば水平強度ｂｐH2＝1.0、垂直強度ｂｐV2＝0.8及び対角強度ｂｐD2＝1.0が用いられる。
【0165】
前記式（１２）において、対角ぼやけピクチャＢDについて、前述したとおり、例えば水平強度ｂｐH3＝1.0、垂直強度ｂｐV3＝1.0及び対角強度ｂｐD3＝0.8が用いられる。
【0166】
このように、前記式（１０）（１１）（１２）に示す重みｔＢH,V,Dは、パワー変動量ｐH,V,Dに基づいて算出され、パワー変動量ｐH,V,Dが負方向に大きいほど、絶対値が小さい値となり、パワー変動量ｐH,V,Dが負方向に小さいほど、絶対値が大きい値となる。この場合、パワー変動量ｐH,V,Dが負方向に大きいほど、基準ピクチャよりも参照ピクチャが鮮鋭化している可能性が高いため、参照ピクチャに対して基準ピクチャがぼやけている可能性が高い。
【0167】
そこで、パワー変動量ｐH,V,Dが負方向に大きい値を有する方向（水平方向、垂直方向及び対角方向）ほど、重みｔＢH,V,Dの絶対値を小さい値とすることで、後述するステップＳ９０７において、重み乗算後の予測誤差ＢＥH,V,Dを小さい値とし、その方向に対応するぼやけピクチャの予測画像ＢＹH,V,Dが選択されるようにしている。つまり、基準ピクチャから参照ピクチャへのパワー変動量ｐH,V,Dが負の大きい値を有する方向ほど、鮮鋭化が大きいと仮定して、ぼやけの強い方向のぼやけピクチャの予測画像ＢＹH,V,Dが選択されるようにしている。
【0168】
尚、重み算出部３２は、ぼやけピクチャＢH,V,Dにつき、ステップＳ９０５において、パワー変動量ｐH,V,Dの代わりにぼやけピクチャの動き量ＢＶH,V,D-ｍH,V,D及びパワー変動量ｐH,V,Dを用いるようにしてもよい。すなわち、重み算出部３２は、所定領域毎に、以下の式にて、ぼやけピクチャの動き量ＢＶH,V,D-ｍH,V,D、パワー変動量ｐH,V,D及びぼやけピクチャの強度情報ｂｐH,V,D（ｂｐH1,V1,D1，ｂｐH2,V2,D2，ｂｐH3,V3,D3）に基づいて、ぼやけピクチャＢH,V,Dのそれぞれについて重みｔＢH,V,Dを算出するようにしてもよい。
［数１３］
ｔＢH＝ｚ／〔｛（ｔ×ｂｐH1×（ＢＶH-ｍH）＋ｕ×ｂｐV1×（ＢＶH-ｍV）＋ｖ×ｂｐD1×（ＢＶH-ｍD）｝＋(ｗ×ｂｐH1×ｐH＋ｘ×ｂｐV1×ｐV＋ｙ×ｂｐD1×ｐD）〕
・・・（１３）
［数１４］
ｔＢV＝ｚ／〔｛（ｔ×ｂｐH2×（ＢＶV-ｍH）＋ｕ×ｂｐV2×（ＢＶV-ｍV）＋ｖ×ｂｐD2×（ＢＶV-ｍD）｝＋（ｗ×ｂｐH2×ｐH＋ｘ×ｂｐV2×ｐV＋ｙ×ｂｐD2×ｐD）〕
・・・（１４）
［数１５］
ｔＢD＝ｚ／〔｛（ｔ×ｂｐH3×（ＢＶD-ｍH）＋ｕ×ｂｐV3×（ＢＶD-ｍV）＋ｖ×ｂｐD3×（ＢＶD-ｍD）｝＋（ｗ×ｂｐH3×ｐH＋ｘ×ｂｐV3×ｐV＋ｙ×ｂｐD3×ｐD）〕
・・・（１５）
［数１３］
ｔＢH＝ｚ／〔｛（ｔ×ｂｐH1×（ＢＶH-ｍH）＋ｕ×ｂｐV1×（ＢＶH-ｍV）＋ｖ×ｂｐD1×（ＢＶH-ｍD）｝＋(ｗ×ｂｐH1×ｐH＋ｘ×ｂｐV1×ｐV＋ｙ×ｂｐD1×ｐD）〕
・・・（１３）
［数１４］
ｔＢV＝ｚ／〔｛（ｔ×ｂｐH2×（ＢＶV-ｍH）＋ｕ×ｂｐV2×（ＢＶV-ｍV）＋ｖ×ｂｐD2×（ＢＶV-ｍD）｝＋（ｗ×ｂｐH2×ｐH＋ｘ×ｂｐV2×ｐV＋ｙ×ｂｐD2×ｐD）〕
・・・（１４）
［数１５］
ｔＢD＝ｚ／〔｛（ｔ×ｂｐH3×（ＢＶD-ｍH）＋ｕ×ｂｐV3×（ＢＶD-ｍV）＋ｖ×ｂｐD3×（ＢＶD-ｍD）｝＋（ｗ×ｂｐH3×ｐH＋ｘ×ｂｐV3×ｐV＋ｙ×ｂｐD3×ｐD）〕
・・・（１５）
【0169】
パラメータｔ，ｕ，ｖ，ｗ，ｘ，ｙ，ｚは、予め設定された定数を示す。
【0170】
前記式（１３）において、前記式（１０）と同様に、例えば水平ぼやけピクチャＢHについての水平強度ｂｐH1＝0.8、垂直強度ｂｐV1＝1.0及び対角強度ｂｐD1＝1.0が用いられる。
【0171】
また、前記式（１４）において、前記式（１１）と同様に、例えば垂直ぼやけピクチャＢVについての水平強度ｂｐH2＝1.0、垂直強度ｂｐV2＝0.8及び対角強度ｂｐD2＝1.0が用いられる。
【0172】
また、前記式（１５）において、前記式（１２）と同様に、対角ぼやけピクチャＢDについての水平強度ｂｐH3＝1.0、垂直強度ｂｐV3＝1.0及び対角強度ｂｐD3＝0.8が用いられる。
【0173】
重み算出部３２は、ステップＳ９０４にて算出した所定領域毎の超解像ピクチャの重みｔＣH,V,D、及びステップＳ９０５にて算出したぼやけピクチャの重みｔＢH,V,Dを予測画像選択部３３に出力する。
【0174】
（予測画像選択部３３）
予測画像選択部３３は、重み算出部３２から、所定領域毎の超解像ピクチャの重みｔＣH,V,D及びぼやけピクチャの重みｔＢH,V,Dを入力する。また、予測画像選択部３３は、画面間予測処理部１４から、所定領域毎の予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D及び予測誤差ＫＥ，ＣＥH,V,D，ＢＥH,V,Dを入力する。
予測画像選択部３３は、重み算出部３２から、所定領域毎の超解像ピクチャの重みｔＣH,V,D及びぼやけピクチャの重みｔＢH,V,Dを入力する。また、予測画像選択部３３は、画面間予測処理部１４から、所定領域毎の予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D及び予測誤差ＫＥ，ＣＥH,V,D，ＢＥH,V,Dを入力する。
【0175】
予測画像選択部３３は、ステップＳ９０５から移行して、所定領域毎に、超解像ピクチャＣH,V,Dにつき、超解像ピクチャの予測誤差ＣＥH,V,Dに、対応する重みｔＣH,V,Dを乗算する。また、予測画像選択部３３は、所定領域毎に、ぼやけピクチャＢH,V,Dにつき、ぼやけピクチャの予測誤差ＢＥH,V,Dに、対応する重みｔＢH,V,Dを乗算する（ステップＳ９０６）。
【0176】
これにより、超解像ピクチャの重み乗算後の予測誤差ＣＥH,V,D、及びぼやけピクチャの重み乗算後の予測誤差ＢＥH,V,Dが得られる。
【0177】
予測画像選択部３３は、所定領域毎に、局部復号ピクチャの予測誤差ＫＥ、超解像ピクチャの重み乗算後の予測誤差ＣＥH,V,D、及びぼやけピクチャの重み乗算後の予測誤差ＢＥH,V,Dのうち、最小の予測誤差を特定する。そして、予測画像選択部３３は、最小の予測誤差に対応する予測画像を選択する（ステップＳ９０７）。これにより、７種類のピクチャの予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,Dのうち、いずれか一つの予測画像が選択される。
【0178】
予測画像選択部３３は、所定領域毎に、選択した予測画像を画面間予測結果としてスイッチ１１９に出力する（ステップＳ９０８）。
【0179】
例えば、ある領域について、水平超解像ピクチャの重み乗算後の予測誤差ＣＥHが、局部復号ピクチャの予測誤差ＫＥ、超解像ピクチャの重み乗算後の予測誤差ＣＥH,V,D、及びぼやけピクチャの重み乗算後の予測誤差ＢＥH,V,Dのうちの最小値である場合を想定する。この場合、予測画像選択部３３は、当該領域について、局部復号ピクチャの予測画像ＫＹ、超解像ピクチャの予測画像ＣＹH,V,D、及びぼやけピクチャの予測画像ＢＹH,V,Dのうち、水平超解像ピクチャの予測画像ＣＹHを選択する。そして、予測画像選択部３３は、当該領域について、水平超解像ピクチャの予測画像ＣＹHを画面間予測結果としてスイッチ１１９に出力する。
【0180】
以上のように、本発明の実施形態の動画像符号化装置１によれば、画面間予測部１０の超解像処理部１１は、局部復号ピクチャＫに超解像処理を施し、３種類の超解像ピクチャＣH,V,Dを生成し、フレームメモリ１３に格納する。ぼやけ処理部１２は、局部復号ピクチャＫにぼやけ処理を施し、３種類のぼやけピクチャＢH,V,Dを生成し、フレームメモリ１３に格納する。
【0181】
画面間予測処理部１４は、現在の局部復号ピクチャＫである基準ピクチャと、フレームメモリ１３から読み出した過去の局部復号ピクチャＫ、超解像ピクチャＣH,V,D及びぼやけピクチャＢH,V,Dである参照ピクチャとに基づいて、所定領域毎に、画面間予測を行って動きベクトルＫＶ，ＣＶH,V,D，ＢＶH,V,D、予測画像ＫＹ，ＣＹH,V,D，ＢＹH,V,D及び予測誤差ＫＥ，ＣＥH,V,D，ＢＥH,V,Dを求める。
【0182】
周波数解析部１５は、現在の局部復号ピクチャＫ及び過去の局部復号ピクチャＫについて周波数解析を行い、現在の局部復号ピクチャＫの解析結果から過去の局部復号ピクチャＫの解析結果を減算し、周波数帯域毎かつ位相位置毎のパワー変動情報を求める。
【0183】
選択部１６は、所定領域毎に、超解像ピクチャの動きベクトルＣＶH,V,D及び超解像ピクチャの強度情報ｃｐH,V,Dに基づいて、超解像ピクチャの重みｔＣH,V,Dを算出する。また、選択部１６は、所定領域毎に、パワー変動情報及びぼやけピクチャの強度情報ｂｐH,V,Dに基づいて、ぼやけピクチャの重みｔＢH,V,Dを算出する。
【0184】
選択部１６は、所定領域毎に、超解像ピクチャの予測誤差ＣＥH,V,Dに、対応する重みｔＣH,V,Dを乗算し、ぼやけピクチャの予測誤差ＢＥH,V,Dに、対応する重みｔＢH,V,Dを乗算する。選択部１６は、所定領域毎に、局部復号ピクチャの予測誤差ＫＥ、超解像ピクチャの重み乗算後の予測誤差ＣＥH,V,D、及びぼやけピクチャの重み乗算後の予測誤差ＢＥH,V,Dのうち、最小の予測誤差に対応する予測画像を選択する。
【0185】
このように、画面間予測処理に用いる参照ピクチャとして、局部復号ピクチャＫに加え、３種類の超解像ピクチャＣH,V,D及び３種類のぼやけピクチャＢH,V,Dが生成される。そして、所定領域毎に、ピクチャのパワー変動量、動き量等が考慮され、ぼやけ及び鮮鋭化、並びにこれらの方向性を考慮した最適なピクチャが予測画像として選択される。
【0186】
これにより、過去のピクチャから現在のピクチャへ向けてオブジェクトのぼやけが起こる場合、予測画像としてぼやけピクチャＢが選択され、オブジェクトの鮮鋭化が起こる場合、超解像ピクチャＣが選択される。このため、入力動画像と予測画像との間の残差を小さくすることができる。
【0187】
従来技術では、局部復号ピクチャＫのみを参照ピクチャとして画面間予測を行うことで、客観的に高画質な動画像を得ることができた。しかし、従来技術では、ぼやけまたは鮮鋭化が起こる動画像と、通常の動画像（ぼやけまたは鮮鋭化が起こらない動画像）とを区別した画面間予測を行うことができない。また、水平方向の動きに伴うぼやけまたは鮮鋭化が起こる動画像と、垂直方向の動きに伴うぼやけまたは鮮鋭化が起こる動画像とを区別した画面間予測を行うことができない。
【0188】
本発明の実施形態では、ぼやけ及び鮮鋭化、並びにこれらの方向性を考慮した画面間予測を行うようにした。したがって、動画像のピクチャ間で領域毎にオブジェクトのぼやけまたは鮮鋭化が起こる場合であっても、画面間予測効率を向上させることができると共に、主観的に高画質な動画像を得ることが可能となる。
【0189】
〔動画像復号装置〕
次に、本発明の実施形態による動画像復号装置について説明する。図１２は、本発明の実施形態による動画像復号装置の構成例を示すブロック図である。この動画像復号装置２は、エントロピー復号部５０、逆量子化部５１、逆直交変換部５２、加算部５３、画面内予測部５４、インループフィルタ５５、画面間予測部５６及びスイッチ５７を備えている。尚、図１２には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
次に、本発明の実施形態による動画像復号装置について説明する。図１２は、本発明の実施形態による動画像復号装置の構成例を示すブロック図である。この動画像復号装置２は、エントロピー復号部５０、逆量子化部５１、逆直交変換部５２、加算部５３、画面内予測部５４、インループフィルタ５５、画面間予測部５６及びスイッチ５７を備えている。尚、図１２には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0190】
エントロピー復号部５０は、図１に示した動画像符号化装置１から出力された符号化信号を入力し、図１に示したエントロピー符号化部１２０の逆の処理を行うことで、符号化信号に対しエントロピー復号を行い、量子化インデックス列及びパラメータを生成する。
【0191】
エントロピー復号部５０は、量子化インデックス列を逆量子化部５１に出力し、所定領域毎に選択された予測画像の種類及び算出された動きベクトルを含むパラメータを画面間予測部５６に出力すると共に、他のパラメータを逆量子化部５１等に出力する。
【0192】
逆量子化部５１は、エントロピー復号部５０から量子化インデックス列を入力し、図１に示した量子化部１１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部５１は、変換係数列を逆直交変換部５２に出力する。
【0193】
逆直交変換部５２は、逆量子化部５１から変換係数列を入力し、図１に示した直交変換部１１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部５２は、復号残差画像を加算部５３に出力する。
【0194】
加算部５３は、逆直交変換部５２から復号残差画像を入力すると共に、スイッチ５７から予測画像を入力する。そして、加算部５３は、予測画像に復号残差画像を加算し、加算後の画像を画面内予測部５４及びインループフィルタ５５に出力する。
【0195】
画面内予測部５４は、加算部５３から加算後の画像を入力し、図１に示した画面内予測部１１６と同様の処理を行うことで、所定領域毎に、加算後の画像に画面内予測処理を施し、所定領域毎の画面内予測結果をスイッチ５７に出力する。また、画面内予測部５４は、加算後の画像を復号画像として出力する。これにより、元の動画像が復元される。
【0196】
インループフィルタ５５は、加算部５３から加算後の画像を入力し、図１に示したインループフィルタ１１７と同様の処理を行うことで、加算後の画像にフィルタ処理を施し、復号ピクチャＫ’を生成する。そして、インループフィルタ５５は、復号ピクチャＫ’を画面間予測部５６に出力する。
【0197】
画面間予測部５６は、インループフィルタ５５から復号ピクチャＫ’を入力すると共に、エントロピー復号部５０から、所定領域毎に選択された予測画像の種類及び算出された動きベクトルを含むパラメータを入力する。そして、画面間予測部５６は、所定領域毎に、パラメータに基づいて所定の画面間予測処理を行うことで、局部復号ピクチャの予測画像ＫＹ’、３種類の超解像ピクチャの予測画像ＣＹH,V,D’（水平超解像ピクチャの予測画像ＣＹH’、垂直超解像ピクチャの予測画像ＣＹV’及び対角超解像ピクチャの予測画像ＣＹD’）、及び３種類のぼやけピクチャの予測画像ＢＹH,V,D’（水平ぼやけピクチャの予測画像ＢＹH’、垂直ぼやけピクチャの予測画像ＢＹV’及び対角ぼやけピクチャの予測画像ＢＹD’）のうちのいずれか一つの予測画像を生成し、これを所定領域毎の画面間予測結果としてスイッチ５７に出力する。また、画面間予測部５６は、復号ピクチャＫ’を復号画像として出力する。これにより、元の動画像が復元される。画面間予測部５６の詳細については後述する。
【0198】
スイッチ５７は、画面内予測部５４から所定領域毎の画面内予測結果を入力すると共に、画面間予測部５６から所定領域毎の画面間予測結果を入力し、いずれか一方を選択し、予測画像として加算部５３に出力する。
【0199】
〔画面間予測部５６〕
次に、図１２に示した画面間予測部５６について詳細に説明する。図１３は、動画像復号装置２に備えた画面間予測部５６の構成例を示すブロック図である。この画面間予測部５６は、超解像処理部６０、ぼやけ処理部６１、フレームメモリ６２、画面間予測処理部６３及びパラメータ処理部６４を備えている。尚、図１３には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
次に、図１２に示した画面間予測部５６について詳細に説明する。図１３は、動画像復号装置２に備えた画面間予測部５６の構成例を示すブロック図である。この画面間予測部５６は、超解像処理部６０、ぼやけ処理部６１、フレームメモリ６２、画面間予測処理部６３及びパラメータ処理部６４を備えている。尚、図１３には、本発明に直接関連する構成部のみを示しており、直接関連しない構成部は省略してある。
【0200】
画面間予測部５６は、インループフィルタ５５から復号ピクチャＫ’を入力し、復号ピクチャＫ’をフレームメモリ６２に格納する。また、画面間予測部５６のパラメータ処理部６４は、エントロピー復号部５０から、所定領域毎に選択された予測画像の種類及び算出された動きベクトルを含むパラメータを入力し、パラメータを画面間予測処理部６３に出力する。予測画像の種類は、局部復号ピクチャＫ、３種類の超解像ピクチャＣH,V,D及び３種類のぼやけピクチャＢH,V,Dのうちのいずれか一つ（７種類のピクチャのうちのいずれか一つ）を示している。
【0201】
超解像処理部６０は、復号ピクチャＫ’に対し、図２に示した超解像処理部１１と同様の超解像処理を施し、３種類の超解像ピクチャＣH,V,D’（水平超解像ピクチャＣH’、垂直超解像ピクチャＣV’及び対角超解像ピクチャＣD’）を生成する。超解像処理部６０は、３種類の超解像ピクチャＣH,V,D’をフレームメモリ６２に格納する。
【0202】
ぼやけ処理部６１は、復号ピクチャＫ’に対し、図２に示したぼやけ処理部１２と同様のぼやけ処理を施し、ぼやけピクチャＢH,V,D’（水平ぼやけピクチャＢH’、垂直ぼやけピクチャＢV’及び対角ぼやけピクチャＢD’）を生成する。ぼやけ処理部６１は、３種類のぼやけピクチャＢH,V,D’をフレームメモリ６２に格納する。
【0203】
フレームメモリ６２には、復号ピクチャＫ’、３種類の超解像ピクチャＣH,V,D’及び３種類のぼやけピクチャＢH,V,D’がフレーム毎に格納される。
【0204】
画面間予測処理部６３は、パラメータ処理部６４からパラメータを入力し、パラメータに含まれる予測画像の種類が局部復号ピクチャＫを示している場合、フレームメモリ６２に格納された復号ピクチャＫ’を過去の復号ピクチャＫ’として読み出す。
【0205】
また、画面間予測処理部６３は、パラメータに含まれる予測画像の種類が水平超解像ピクチャＣH、垂直超解像ピクチャＣV及び対角超解像ピクチャＣDのいずれかを示している場合、フレームメモリ６２に格納された対応する超解像ピクチャＣ’（予測画像の種類に対応する、水平超解像ピクチャＣH’、垂直超解像ピクチャＣV’及び対角超解像ピクチャＣD’のうちのいずれか一つのピクチャ）を、過去の超解像ピクチャＣ’として読み出す。
【0206】
また、画面間予測処理部６３は、パラメータに含まれる予測画像の種類が水平ぼやけピクチャＢH、垂直ぼやけピクチャＢV及び対角ぼやけピクチャＢDのいずれかを示している場合、フレームメモリ６２に格納された対応するぼやけピクチャＢ’（予測画像の種類に対応する、水平ぼやけピクチャＢH’、垂直ぼやけピクチャＢV’及び対角ぼやけピクチャＢD’のうちのいずれか一つのピクチャ）を、過去のぼやけピクチャＢ’として読み出す。
【0207】
画面間予測処理部６３は、過去の復号ピクチャＫ’、超解像ピクチャＣ’またはぼやけピクチャＢ’、及びパラメータに含まれる動きベクトルに基づいて、画面間予測を行い、所定領域毎に、予測画像を求める。所定領域は、図２と同様に、例えばslice（スライス）領域、CTU（Coding Tree Unit：コーディングツリーユニット）領域、CU（Coding Unit：コーディングユニット）領域である。
【0208】
画面間予測処理部６３は、所定領域毎の予測画像を画面間予測結果としてスイッチ５７に出力する。
【0209】
また、図示しない読み出し部は、フレームメモリ６２から復号ピクチャＫ’を読み出し、これを復号画像Ｏとして出力する。
【0210】
以上のように、本発明の実施形態の動画像復号装置２によれば、画面間予測部５６の超解像処理部６０は、復号ピクチャＫ’に基づいて３種類の超解像ピクチャＣH,V,D’を生成し、フレームメモリ６２に格納する。ぼやけ処理部６１は、復号ピクチャＫ’に基づいて３種類のぼやけピクチャＢH,V,D’を生成し、フレームメモリ６２に格納する。
【0211】
画面間予測処理部６３は、パラメータに含まれる予測画像の種類に従い、フレームメモリ６２から復号ピクチャＫ’、超解像ピクチャＣ’（水平超解像ピクチャＣH’、垂直超解像ピクチャＣV’及び対角超解像ピクチャＣD’のうちのいずれか一つのピクチャ）またはぼやけピクチャＢ’（水平ぼやけピクチャＢH’、垂直ぼやけピクチャＢV’及び対角ぼやけピクチャＢD’のうちのいずれか一つのピクチャ）を読み出し、読み出したピクチャ、及びパラメータに含まれる動きベクトルに基づいて、所定領域毎に予測画像を求める。
【0212】
このように、動画像符号化装置１において、画面間予測処理に用いる参照ピクチャとして、局部復号ピクチャＫ、３種類の超解像ピクチャＣH,V,D及び３種類のぼやけピクチャＢH,V,Dが生成され、領域単位で、ピクチャのパワー変動量、動き量等が考慮され、最適なピクチャが予測画像として選択された場合、動画像復号装置２では、動画像符号化装置１から入力したパラメータに含まれる予測画像の種類に従い、動画像符号化装置１にて選択された予測画像と同じ種類の予測画像が生成され、復号画像が生成される。
【0213】
これにより、過去のピクチャから現在のピクチャへ向けてオブジェクトのぼやけが起こる場合、ぼやけピクチャＢ’が選択され、オブジェクトの鮮鋭化が起こる場合、超解像ピクチャＣ’が選択され、予測画像が生成される。つまり、ぼやけ及び鮮鋭化、並びにこれらの方向性を考慮した予測画像が生成される。
【0214】
したがって、動画像のピクチャ間で領域毎にオブジェクトのぼやけまたは鮮鋭化が起こる場合であっても、画面間予測効率を向上させることができると共に、主観的に高画質な動画像を得ることが可能となる。
【0215】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0216】
（超解像処理部１１，６０及びぼやけ処理部１２，６１のいずれか一方を備える例）
前記実施形態では、図２に示したとおり、動画像符号化装置１の画面間予測部１０は、超解像処理部１１及びぼやけ処理部１２を備えるようにした。また、図１３に示したとおり、動画像復号装置２の画面間予測部５６は、超解像処理部６０及びぼやけ処理部６１を備えるようにした。
前記実施形態では、図２に示したとおり、動画像符号化装置１の画面間予測部１０は、超解像処理部１１及びぼやけ処理部１２を備えるようにした。また、図１３に示したとおり、動画像復号装置２の画面間予測部５６は、超解像処理部６０及びぼやけ処理部６１を備えるようにした。
【0217】
これに対し、画面間予測部１０は、超解像処理部１１及びぼやけ処理部１２のうちのいずれか一方を備えるようにしてもよい。また、画面間予測部５６は、画面間予測部１０に対応して、超解像処理部６０及びぼやけ処理部６１のうちのいずれか一方を備えるようにしてもよい。
【0218】
動画像符号化装置１の画面間予測部１０が超解像処理部１１を備え、ぼやけ処理部１２を備えていない場合、画面間予測部１０の画面間予測処理部１４は、基準ピクチャ、及び、過去の局部復号ピクチャＫ及び超解像ピクチャＣH,V,Dである参照ピクチャに基づき、画面間予測を行い、所定領域毎に、動きベクトルＫＶ，ＣＶH,V,D、予測画像ＫＹ，ＣＹH,V,D及び予測誤差ＫＥ，ＣＥH,V,Dを求める。
【0219】
選択部１６は、所定領域毎に、前述と同様の処理にて、局部復号ピクチャの予測誤差ＫＥ及び超解像ピクチャの重み乗算後の予測誤差ＣＥH,V,Dのうち、最小の予測誤差に対応する予測画像を選択する。
【0220】
動画像復号装置２の画面間予測部５６が超解像処理部６０を備え、ぼやけ処理部６１を備えていない場合、画面間予測部５６の画面間予測処理部６３は、パラメータに含まれる予測画像の種類に従い、フレームメモリ６２から復号ピクチャＫ’及び超解像ピクチャＣ’のうちのいずれか一つのピクチャを読み出し、読み出したピクチャ、及びパラメータに含まれる動きベクトルに基づいて、所定領域毎に予測画像を求める。
【0221】
一方、動画像符号化装置１の画面間予測部１０がぼやけ処理部１２を備え、超解像処理部１１を備えていない場合、画面間予測部１０の画面間予測処理部１４は、基準ピクチャ、及び、過去の局部復号ピクチャＫ及びぼやけピクチャＢH,V,Dである参照ピクチャに基づき、画面間予測を行い、所定領域毎に、動きベクトルＫＶ，ＢＶH,V,Dを求め、予測画像ＫＹ，ＢＹH,V,D及び予測誤差ＫＥ，ＢＥH,V,Dを求める。
【0222】
選択部１６は、所定領域毎に、前述と同様の処理にて、局部復号ピクチャの予測誤差ＫＥ及びぼやけピクチャの重み乗算後の予測誤差ＢＥH,V,Dのうち、最小の予測誤差に対応する予測画像を選択する。
【0223】
動画像復号装置２の画面間予測部５６がぼやけ処理部６１を備え、超解像処理部６０を備えていない場合、画面間予測部５６の画面間予測処理部６３は、パラメータに含まれる予測画像の種類に従い、フレームメモリ６２から復号ピクチャＫ’及びぼやけピクチャＢ’のうちのいずれか一つのピクチャを読み出し、読み出したピクチャ、及びパラメータに含まれる動きベクトルに基づいて、所定領域毎に予測画像を求める。
【0224】
（予測画像の他の選択処理）
また、前記実施形態では、動画像符号化装置１の画面間予測部１０に備えた選択部１６は、所定領域毎に、超解像ピクチャの重みｔＣH,V,D及びぼやけピクチャの重みｔＢH,V,Dを算出し、局部復号ピクチャの予測誤差ＫＥ、超解像ピクチャの重みｔＣH,V,Dを乗算した後の予測誤差ＣＥH,V,D、及び、ぼやけピクチャの重みｔＢH,V,Dを乗算した後の予測誤差ＢＥH,V,Dのうち、最小の予測誤差に対応する予測画像を選択するようにした。
また、前記実施形態では、動画像符号化装置１の画面間予測部１０に備えた選択部１６は、所定領域毎に、超解像ピクチャの重みｔＣH,V,D及びぼやけピクチャの重みｔＢH,V,Dを算出し、局部復号ピクチャの予測誤差ＫＥ、超解像ピクチャの重みｔＣH,V,Dを乗算した後の予測誤差ＣＥH,V,D、及び、ぼやけピクチャの重みｔＢH,V,Dを乗算した後の予測誤差ＢＥH,V,Dのうち、最小の予測誤差に対応する予測画像を選択するようにした。
【0225】
これに対し、選択部１６は、先に、選択されるべき予測画像の種類を判定し、当該種類の中で、予測画像を選択するようにしてもよい。予測画像の種類は、局部復号ピクチャＫ、超解像ピクチャＣ及びぼやけピクチャＢのうちのいずれか一つ（３種類のうちのいずれか一つ）である。
【0226】
具体的には、選択部１６は、パワー変動情報から算出したパワー変動量ｐH,V,Dを用いて、所定領域毎に、その水平パワー変動量ｐH、垂直パワー変動量ｐV及び対角パワー変動量ｐDの合計または平均をパワー変動量として求め、パワー変動量の閾値処理を行う。
【0227】
選択部１６は、パワー変動量が第１の閾値（予め設定された正の値）よりも大きいと判定した場合、予測画像の種類として超解像ピクチャＣを判定する。パワー変動量が第１の閾値よりも大きい場合は、現在のピクチャのパワーが過去の画像よりも大きいため、現在の画像が過去の画像に比べ、鮮鋭化していると判断できるからである。この場合、選択部１６は、前述と同様の処理にて、超解像ピクチャの重みｔＣH,V,Dを乗算した後の予測誤差ＣＥH,V,Dのうち、最小の予測誤差に対応する予測画像を選択する。
【0228】
また、選択部１６は、パワー変動量が第１の閾値と第２の閾値（予め設定された負の値）との間にあると判定した場合、予測画像の種類として局部復号ピクチャＫを判定する。パワー変動量が第１の閾値と第２の閾値との間にある場合は、現在のピクチャのパワーと過去のピクチャのパワーとがほぼ同じであるため、現在の画像が過去の画像に比べ、ぼやけておらず、かつ鮮鋭化していないと判断できるからである。この場合、選択部１６は、局部復号ピクチャＫを予測画像として選択する。
【0229】
また、選択部１６はパワー変動量が第２の閾値よりも小さいと判定した場合、予測画像の種類としてぼやけピクチャＢを判定する。パワー変動量が第２の閾値よりも小さい場合は、現在のピクチャのパワーが過去の画像よりも小さいため、現在の画像が過去の画像に比べ、ぼやけていると判断できるからである。この場合、選択部１６は、前述と同様の処理にて、ぼやけピクチャの重みｔＢH,V,Dを乗算した後の予測誤差ＢＥH,V,Dのうち、最小の予測誤差に対応する予測画像を選択する。
【0230】
また、本発明の実施形態は、例えば、ピクチャ間で被写界深度内外に移動するオブジェクトを含む場合、オブジェクトが静止状態から動作状態に変化し、またはその逆の状態に変化した場合に適用がある。例えばカメラが突然パンまたはチルトの動作をした場合、これらの動作が停止した場合、画面内でオブジェクトが奥から手前へ移動した場合、この逆に移動した場合等に適用がある。
【0231】
尚、本発明の実施形態による動画像符号化装置１及び動画像復号装置２のハードウェア構成としては、通常のコンピュータを使用することができる。動画像符号化装置１及び動画像復号装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0232】
動画像符号化装置１に備えた減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、インループフィルタ１１７、画面間予測部１０、スイッチ１１９及びエントロピー符号化部１２０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0233】
また、動画像復号装置２に備えたエントロピー復号部５０、逆量子化部５１、逆直交変換部５２、加算部５３、画面内予測部５４、インループフィルタ５５、画面間予測部５６及びスイッチ５７も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0234】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0235】
１，１００ 動画像符号化装置
２ 動画像復号装置
１０，５６，１１８， 画面間予測部
１４，６３，１２１ 画面間予測処理部
１１，６０ 超解像処理部
１２，６１ ぼやけ処理部
１３，６２，１２２ フレームメモリ
１５ 周波数解析部
１６ 選択部
１７，６４ パラメータ処理部
２０ 復号ピクチャ予測部
２１ 超解像予測部
２２ ぼやけ予測部
３０ 動き量算出部
３１ パワー変動量算出部
３２ 重み算出部
３３ 予測画像選択部
５０ エントロピー復号部
５１，１１３ 逆量子化部
５２，１１４ 逆直交変換部
５３，１１５ 加算部
５４，１１６ 画面内予測部
５５，１１７ インループフィルタ
５７，１１９ スイッチ
１１０ 減算部
１１１ 直交変換部
１１２ 量子化部
１２０ エントロピー符号化部
Ｋ 局部復号ピクチャ
Ｋ’ 復号ピクチャ
Ｃ，ＣH,V,D，Ｃ’，ＣH,V,D’ 超解像ピクチャ
ＣH，ＣH’ 水平超解像ピクチャ
ＣV，ＣV’ 垂直超解像ピクチャ
ＣD，ＣD’ 対角超解像ピクチャ
Ｂ，ＢH,V,D，Ｂ’，ＢH,V,D’ ぼやけピクチャ
ＢH，ＢH’ 水平ぼやけピクチャ
ＢV，ＢV’ 垂直ぼやけピクチャ
ＢD，ＢD’ 対角ぼやけピクチャ
ＫＹ，ＫＹ’ 局部復号ピクチャの予測画像
ＣＹH,V,D，ＣＹH,V,D’ 超解像ピクチャの予測画像
ＢＹH,V,D，ＢＹH,V,D’ ぼやけピクチャの予測画像
ＫＶ 局部復号ピクチャの動きベクトル
ＣＶH,V,D 超解像ピクチャの動きベクトル
ＢＶH,V,D ぼやけピクチャの動きベクトル
ＫＥ 局部復号ピクチャの予測誤差
ＣＥH,V,D 超解像ピクチャの予測誤差
ＢＥH,V,D ぼやけピクチャの予測誤差
ＣＶH,V,D-ｍH,V,D 超解像ピクチャの動き量
ＢＶH,V,D-ｍH,V,D ぼやけピクチャの動き量
ｐH,V,D パワー変動量
ｃｐH,V,D，ｃｐH1,V1,D1，ｃｐH2,V2,D2，ｃｐH3,V3,D3 超解像ピクチャの強度情報
ｂｐH,V,D，ｂｐH1,V1,D1，ｂｐH2,V2,D2，ｂｐH3,V3,D3 ぼやけピクチャの強度情報
ｔＣH,V,D，超解像ピクチャの重み
ｔＢH,V,D，ぼやけピクチャの重み
２ 動画像復号装置
１０，５６，１１８， 画面間予測部
１４，６３，１２１ 画面間予測処理部
１１，６０ 超解像処理部
１２，６１ ぼやけ処理部
１３，６２，１２２ フレームメモリ
１５ 周波数解析部
１６ 選択部
１７，６４ パラメータ処理部
２０ 復号ピクチャ予測部
２１ 超解像予測部
２２ ぼやけ予測部
３０ 動き量算出部
３１ パワー変動量算出部
３２ 重み算出部
３３ 予測画像選択部
５０ エントロピー復号部
５１，１１３ 逆量子化部
５２，１１４ 逆直交変換部
５３，１１５ 加算部
５４，１１６ 画面内予測部
５５，１１７ インループフィルタ
５７，１１９ スイッチ
１１０ 減算部
１１１ 直交変換部
１１２ 量子化部
１２０ エントロピー符号化部
Ｋ 局部復号ピクチャ
Ｋ’ 復号ピクチャ
Ｃ，ＣH,V,D，Ｃ’，ＣH,V,D’ 超解像ピクチャ
ＣH，ＣH’ 水平超解像ピクチャ
ＣV，ＣV’ 垂直超解像ピクチャ
ＣD，ＣD’ 対角超解像ピクチャ
Ｂ，ＢH,V,D，Ｂ’，ＢH,V,D’ ぼやけピクチャ
ＢH，ＢH’ 水平ぼやけピクチャ
ＢV，ＢV’ 垂直ぼやけピクチャ
ＢD，ＢD’ 対角ぼやけピクチャ
ＫＹ，ＫＹ’ 局部復号ピクチャの予測画像
ＣＹH,V,D，ＣＹH,V,D’ 超解像ピクチャの予測画像
ＢＹH,V,D，ＢＹH,V,D’ ぼやけピクチャの予測画像
ＫＶ 局部復号ピクチャの動きベクトル
ＣＶH,V,D 超解像ピクチャの動きベクトル
ＢＶH,V,D ぼやけピクチャの動きベクトル
ＫＥ 局部復号ピクチャの予測誤差
ＣＥH,V,D 超解像ピクチャの予測誤差
ＢＥH,V,D ぼやけピクチャの予測誤差
ＣＶH,V,D-ｍH,V,D 超解像ピクチャの動き量
ＢＶH,V,D-ｍH,V,D ぼやけピクチャの動き量
ｐH,V,D パワー変動量
ｃｐH,V,D，ｃｐH1,V1,D1，ｃｐH2,V2,D2，ｃｐH3,V3,D3 超解像ピクチャの強度情報
ｂｐH,V,D，ｂｐH1,V1,D1，ｂｐH2,V2,D2，ｂｐH3,V3,D3 ぼやけピクチャの強度情報
ｔＣH,V,D，超解像ピクチャの重み
ｔＢH,V,D，ぼやけピクチャの重み
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】