▶ 日本放送協会の特許一覧 ▶ 一般財団法人ＮＨＫサービスセンターの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159663
(43)【公開日】2024-11-08
(54)【発明の名称】映像拡大装置及びプログラム
(51)【国際特許分類】
H04N 19/85 20140101AFI20241031BHJP
H04N 19/46 20140101ALI20241031BHJP
G06T 3/4061 20240101ALI20241031BHJP
【ＦＩ】
H04N19/85
H04N19/46
G06T3/4061
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2024071801
(22)【出願日】2024-04-25
(31)【優先権主張番号】P 2023075133
(32)【優先日】2023-04-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(71)【出願人】
【識別番号】399060908
【氏名又は名称】一般財団法人ＮＨＫ財団
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100164471
【弁理士】
【氏名又は名称】岡野 大和
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(72)【発明者】
【氏名】松尾 康孝
【テーマコード（参考）】
5B057
5C159
【Ｆターム（参考）】
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057CD05
5B057CE02
5B057CE03
5B057CE06
5B057CG02
5B057CG03
5C159LA00
5C159RC11
5C159TC12
5C159TC28
(57)【要約】
【課題】復号映像を拡大処理した拡大映像の画質を向上させる。
【解決手段】映像拡大装置１は、パラメータ情報を取得するパラメータ取得部１１と、復号映像の各画像に周波数分解処理を行って周波数分解画像を生成する周波数分解部１２と、参照画像の低周波成分画像と被拡大画像との間で小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部１３と、被拡大画像を低周波成分画像とする初期画像を生成し、位置合わせ情報に従って参照画像の高周波成分画像から初期画像の高周波帯域へ割り付ける割付部１４と、割付画像に周波数再構成処理を行って拡大映像を生成する周波数再構成部１５と、を備え、割付部１４は、位置合わせ元と位置合わせ先の小ブロックの二乗誤差和又は絶対値誤差和が閾値以下の場合のみ割付処理を行い、パラメータ情報に応じて閾値を変化させる。
【選択図】図１
【解決手段】映像拡大装置１は、パラメータ情報を取得するパラメータ取得部１１と、復号映像の各画像に周波数分解処理を行って周波数分解画像を生成する周波数分解部１２と、参照画像の低周波成分画像と被拡大画像との間で小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部１３と、被拡大画像を低周波成分画像とする初期画像を生成し、位置合わせ情報に従って参照画像の高周波成分画像から初期画像の高周波帯域へ割り付ける割付部１４と、割付画像に周波数再構成処理を行って拡大映像を生成する周波数再構成部１５と、を備え、割付部１４は、位置合わせ元と位置合わせ先の小ブロックの二乗誤差和又は絶対値誤差和が閾値以下の場合のみ割付処理を行い、パラメータ情報に応じて閾値を変化させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
符号化後に復号された復号映像を超解像処理により拡大する映像拡大装置であって、
符号化処理及び復号処理を行った際のパラメータ情報を取得するパラメータ取得部と、
復号映像の各画像に対して、周波数分解処理を行って周波数分解画像を生成する周波数分解部と、
前記復号映像のうちの被拡大画像を含む１枚以上の参照画像の低周波成分画像と、被拡大画像との間で、小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部と、
前記被拡大画像を低周波成分画像とする初期画像を生成し、前記位置合わせ情報に従って、前記参照画像の高周波成分画像から、前記初期画像の高周波帯域へ割り付け、割付画像を生成する割付部と、
前記割付画像に対して、周波数再構成処理を行って拡大映像を生成する周波数再構成部と、を備え、
前記割付部は、位置合わせ元と位置合わせ先の前記小ブロックの二乗誤差和又は絶対値誤差和が閾値以下である場合にのみ割付処理を行い、前記パラメータ情報に応じて前記閾値を変化させる、映像拡大装置。
符号化処理及び復号処理を行った際のパラメータ情報を取得するパラメータ取得部と、
復号映像の各画像に対して、周波数分解処理を行って周波数分解画像を生成する周波数分解部と、
前記復号映像のうちの被拡大画像を含む１枚以上の参照画像の低周波成分画像と、被拡大画像との間で、小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部と、
前記被拡大画像を低周波成分画像とする初期画像を生成し、前記位置合わせ情報に従って、前記参照画像の高周波成分画像から、前記初期画像の高周波帯域へ割り付け、割付画像を生成する割付部と、
前記割付画像に対して、周波数再構成処理を行って拡大映像を生成する周波数再構成部と、を備え、
前記割付部は、位置合わせ元と位置合わせ先の前記小ブロックの二乗誤差和又は絶対値誤差和が閾値以下である場合にのみ割付処理を行い、前記パラメータ情報に応じて前記閾値を変化させる、映像拡大装置。
【請求項2】
前記パラメータ情報は、符号化及び復号の処理単位である分割ブロック毎の、量子化パラメータを示すＱＰ情報、又はフレーム間予測における動きベクトルを示す動きベクトル情報を含み、
前記割付部は、前記ＱＰ情報が示す量子化パラメータの値又は前記動きベクトル情報が示す動きベクトルの大きさが大きいほど前記閾値を小さくする、請求項１に記載の映像拡大装置。
前記割付部は、前記ＱＰ情報が示す量子化パラメータの値又は前記動きベクトル情報が示す動きベクトルの大きさが大きいほど前記閾値を小さくする、請求項１に記載の映像拡大装置。
【請求項3】
前記割付部は、前記位置合わせ元のピクチャと前記位置合わせ先のピクチャとの間の距離が遠いほど前記閾値を小さくする、請求項１又は２に記載の映像拡大装置。
【請求項4】
前記位置合わせ部は、前記低周波成分画像と前記被拡大画像との間で、小ブロック単位でブロックマッチングすることにより前記位置ずれ量を求める、請求項１又は２に記載の映像拡大装置。
【請求項5】
前記パラメータ情報は、符号化及び復号の処理単位である分割ブロック毎の、フレーム間予測における動きベクトルを示す動きベクトル情報を含み、
前記位置合わせ部は、前記被拡大画像を小ブロックに分割し、前記小ブロックと前記分割ブロックが同じ場合には、前記小ブロックに相当する分割ブロックの動きベクトルを前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求め、前記小ブロックと前記分割ブロックが異なる場合には、前記小ブロックに属する全ての分割ブロックの動きベクトルの平均ベクトル、又は前記小ブロックの基準点に属する分割ブロックの動きベクトルを、前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求める、請求項１又は２に記載の映像拡大装置。
前記位置合わせ部は、前記被拡大画像を小ブロックに分割し、前記小ブロックと前記分割ブロックが同じ場合には、前記小ブロックに相当する分割ブロックの動きベクトルを前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求め、前記小ブロックと前記分割ブロックが異なる場合には、前記小ブロックに属する全ての分割ブロックの動きベクトルの平均ベクトル、又は前記小ブロックの基準点に属する分割ブロックの動きベクトルを、前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求める、請求項１又は２に記載の映像拡大装置。
【請求項6】
前記小ブロックのサイズは、前記分割ブロックのサイズと同一であり、
前記割付部は、前記二乗誤差和又は前記絶対値誤差和の１画素あたり換算値が閾値以下である場合にのみ前記割付処理を行う、請求項１又は２に記載の映像拡大装置。
前記割付部は、前記二乗誤差和又は前記絶対値誤差和の１画素あたり換算値が閾値以下である場合にのみ前記割付処理を行う、請求項１又は２に記載の映像拡大装置。
【請求項7】
復号映像の各画像に対して、前記ＱＰ情報が示す量子化パラメータの値が第１閾値以上、又は前記動きベクトル情報が示す動きベクトルの大きさが第２閾値以上である場合にのみデブロッキング処理を行う前処理部を更に備え、
前記周波数分解部は、前記前処理部による処理後の画像に対して、周波数分解処理を行って周波数分解画像を生成する、請求項１又は２に記載の映像拡大装置。
前記周波数分解部は、前記前処理部による処理後の画像に対して、周波数分解処理を行って周波数分解画像を生成する、請求項１又は２に記載の映像拡大装置。
【請求項8】
コンピュータを、請求項１に記載の映像拡大装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を拡大する映像拡大装置及びプログラムに関する。
【背景技術】
【0002】
Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)（以下、「ＨＥＶＣ」と称する。）やＨ．２６６／ＶＶＣ（Versatile Video Coding）（以下、「ＶＶＣ」と称する。）などの映像符号化方式では、ブロック分割、直交変換、量子化、エントロピー符号化、フレーム内予測、フレーム間予測などの要素技術を組み合わせて高効率化を実現している。
【0003】
一方、原画像をより高解像の画像に変換する超解像技術として、一般的に、単一フレームを用いて超解像処理を行う単一フレーム超解像処理と、複数フレームを用いて超解像処理を行う複数フレーム超解像処理とが知られている。例えば、非特許文献１には、超解像処理技術について、単一フレーム超解像と複数フレーム超解像に分けて、関連技術の概説と動向が紹介されている。また、特許文献１には、スケーラビリティを利用した符号化装置において、ダウンサンプリングや超解像処理を用いて符号化効率を向上させる技術について開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－１８２７７６号公報
【非特許文献】
【0005】
【非特許文献1】奥富正敏，田中正行，竹島秀則，松本信幸，「画像超解像処理技術の最新動向」，電子情報通信学会誌，vol. 93，no. 8，pp. 693-698，Aug. 2010.
【発明の概要】
【発明が解決しようとする課題】
【0006】
復号の後処理として映像の超解像拡大を行うシステムでは、４Ｋ放送などの映像を８Ｋモニタへ高画質に表示できる。また、縮小符号化した映像を復号後に拡大することで、超高圧縮符号化を行うこともできる。しかし、復号後に拡大した映像にはブロック歪などの符号化アーティファクトが発生することがあった。
【0007】
かかる事情に鑑みてなされた本発明の目的は、復号映像を拡大処理した拡大映像の画質を向上させることが可能な映像拡大装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するための本発明の要旨構成は、以下のとおりである。
【0009】
（１）符号化後に復号された復号映像を超解像処理により拡大する映像拡大装置であって、符号化処理及び復号処理を行った際のパラメータ情報を取得するパラメータ取得部と、復号映像の各画像に対して、周波数分解処理を行って周波数分解画像を生成する周波数分解部と、前記復号映像のうちの被拡大画像を含む１枚以上の参照画像の低周波成分画像と、被拡大画像との間で、小ブロック単位の位置ずれ量を示す位置合わせ情報を生成する位置合わせ部と、前記被拡大画像を低周波成分画像とする初期画像を生成し、前記位置合わせ情報に従って、前記参照画像の高周波成分画像から、前記初期画像の高周波帯域へ割り付け、割付画像を生成する割付部と、前記割付画像に対して、周波数再構成処理を行って拡大映像を生成する周波数再構成部と、を備え、前記割付部は、位置合わせ元と位置合わせ先の前記小ブロックの二乗誤差和又は絶対値誤差和が閾値以下である場合にのみ割付処理を行い、前記パラメータ情報に応じて前記閾値を変化させる、映像拡大装置。
【0010】
（２）前記パラメータ情報は、符号化及び復号の処理単位である分割ブロック毎の、量子化パラメータを示すＱＰ情報、又はフレーム間予測における動きベクトルを示す動きベクトル情報を含み、前記割付部は、前記ＱＰ情報が示す量子化パラメータの値又は前記動きベクトル情報が示す動きベクトルの大きさが大きいほど前記閾値を小さくする、（１）に記載の映像拡大装置。
【0011】
（３）前記割付部は、前記位置合わせ元のピクチャと前記位置合わせ先のピクチャとの間の距離が遠いほど前記閾値を小さくする、（１）又は（２）に記載の映像拡大装置。
【0012】
（４）前記位置合わせ部は、前記低周波成分画像と前記被拡大画像との間で、小ブロック単位でブロックマッチングすることにより前記位置ずれ量を求める、（１）～（３）のいずれかに記載の映像拡大装置。
【0013】
（５）前記パラメータ情報は、符号化及び復号の処理単位である分割ブロック毎の、フレーム間予測における動きベクトルを示す動きベクトル情報を含み、前記位置合わせ部は、前記被拡大画像を小ブロックに分割し、前記小ブロックと前記分割ブロックが同じ場合には、前記小ブロックに相当する分割ブロックの動きベクトルを前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求め、前記小ブロックと前記分割ブロックが異なる場合には、前記小ブロックに属する全ての分割ブロックの動きベクトルの平均ベクトル、又は前記小ブロックの基準点に属する分割ブロックの動きベクトルを、前記低周波成分画像のサイズに応じてスケーリングすることにより前記位置ずれ量を求める、（１）～（４）のいずれかに記載の映像拡大装置。
【0014】
（６）前記小ブロックのサイズは、前記分割ブロックのサイズと同一であり、前記割付部は、前記二乗誤差和又は前記絶対値誤差和の１画素あたり換算値が閾値以下である場合にのみ前記割付処理を行う、（１）～（５）のいずれかに記載の映像拡大装置。
【0015】
（７）復号映像の各画像に対して、前記ＱＰ情報が示す量子化パラメータの値が第１閾値以上、又は前記動きベクトル情報が示す動きベクトルの大きさが第２閾値以上である場合にのみデブロッキング処理を行う前処理部を更に備え、前記周波数分解部は、前記前処理部による処理後の画像に対して、周波数分解処理を行って周波数分解画像を生成する、（１）～（６）のいずれかに記載の映像拡大装置。
【0016】
（８）コンピュータを、（１）～（７）のいずれかに記載の映像拡大装置として機能させるためのプログラム。
【発明の効果】
【0017】
本発明によれば、符号化アーティファクトを抑制することができ、高画質な拡大映像を生成することが可能となる。
【図面の簡単な説明】
【0018】
【図1】第１の実施形態に係る映像拡大装置の構成例を示すブロック図である。
【図2】ランダムアクセス参照構造の一例を示す図である。
【図3】第１の実施形態に係る映像拡大装置の、単一フレーム超解像処理を行う場合の処理の様子を示す図である。
【図4】第１の実施形態に係る映像拡大装置の、複数フレーム超解像処理を行う場合の処理の様子を示す図である。
【図5】第２の実施形態に係る映像拡大装置の構成例を示すブロック図である。
【図6】第３の実施形態に係る映像拡大装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【0020】
＜第１の実施形態＞
図１は、第１の実施形態に係る映像拡大装置の構成例を示すブロック図である。映像拡大装置１は、映像符号化の後処理として、符号化後に復号された復号映像に対して拡大処理（超解像処理）を行う装置である。
図１は、第１の実施形態に係る映像拡大装置の構成例を示すブロック図である。映像拡大装置１は、映像符号化の後処理として、符号化後に復号された復号映像に対して拡大処理（超解像処理）を行う装置である。
【0021】
復号装置１０は、原映像に対して予測処理を行って符号化データを生成する符号化装置（図示せず）から符号化データを入力し、該符号化データを復号処理する装置である。予測処理としては、フレーム間予測（インター予測、画面間予測とも称される）、及びフレーム内予測（イントラ予測、画面内予測とも称される）が用いられる。フレーム間予測は、時間的に前後する参照フレームから予測画像を生成し、原画像と予測画像との差分を符号化する予測符号化方式である。フレーム内予測は、フレーム内符号化されるブロックに対して、符号化済みの隣接ブロックの画素から予測画像を生成し、原画像と予測画像との差分を符号化する予測符号化方式である。
【0022】
映像拡大装置１は、復号装置１０から、原映像の復号映像と、原映像の符号化処理及び復号処理に用いられたパラメータを示す映像処理パラメータ情報とを取得する。符号化処理及び復号処理は、ＨＥＶＣ，ＶＶＣなどの一般的な映像符号化方式により行われる。映像処理パラメータ情報は、映像の各画像における分割ブロック情報と、分割ブロック毎のＱＰ（Quantization parameter）情報と、分割ブロック毎の動きベクトル情報（画面間予測情報）と、含む。さらに映像処理パラメータは、ランダムアクセス（Random Access）参照構造情報を含んでもよい。
【0023】
「分割ブロック情報」とは、符号化処理及び復号処理を行う際の処理単位である分割ブロックの形状・サイズを示す情報である。「分割ブロック」は、ＨＥＶＣ，ＶＶＣではＣＵ（Coding Unit）と称される。なお、ＶＶＣでは基本的にＣＵとＰＵ（Prediction Unit）は同じサイズとなる。また、ＨＥＶＣではＣＵの形状は正方形であったが、ＶＶＣではＣＵの形状は正方形だけでなく長方形とすることもできる。
【0024】
「ＱＰ情報」とは、量子化パラメータ（ＱＰ）を示す情報である。量子化パラメータは、量子化ステップと所定の対応関係にあり、例えば量子化パラメータが６増加すると量子化ステップは２倍となる。
【0025】
「動きベクトル情報」とは、フレーム間予測を行う際の対象フレームと参照フレームとの間の物体の移動ベクトル（動きベクトル）を示す情報である。動きベクトルは、例えばブロックマッチング法により求められるが、これに限られるものではない。
【0026】
「ランダムアクセス参照構造情報」とは、フレーム間予測における参照フレームの位置を示す情報であり、言い換えれば予測対象フレームがどのフレームを参照してフレーム間予測を行うのかを示す情報である。図２は、ランダムアクセス参照構造の一例を示す図である。ＨＥＶＣ，ＶＶＣのランダムアクセスモードでは、Ｂピクチャ（双方向予測符号化ピクチャ）を用いて、図２に示すような階層的な構造でフレーム間予測を行う。
【0027】
再び図１に戻って、映像拡大装置１の構成について説明する。図１に示す例では、映像拡大装置１は、パラメータ取得部１１と、周波数分解部１２と、位置合わせ部１３と、割付部１４と、周波数再構成部１５と、を備える。
【0028】
パラメータ取得部１１は、復号装置１０から、符号化処理及び復号処理を行った際の映像処理パラメータ情報を取得する。あるいは、パラメータ取得部１１は、原映像の符号化データから映像処理パラメータ情報を抽出して取得してもよい。パラメータ取得部１１は、分割ブロック情報、ＱＰ情報、動きベクトル情報、及びランダムアクセス参照構造情報を割付部１４に出力する。パラメータ取得部１１は、ランダムアクセス参照構造情報を位置合わせ部１３にも出力してよいが、必須ではないため、図１においてパラメータ取得部１１から位置合わせ部１３に向かう矢印を破線で示している。
【0029】
周波数分解部１２は、復号装置１０から入力した復号映像の各画像（ピクチャ、フレームとも称される。）に対して、周波数分解処理を行って周波数分解画像を生成する。本実施形態では１階層の周波数分解処理を行うものとするが、複数階層の周波数分解処理を行ってもよい。周波数分解部１２は、周波数分解処理として、例えばウェーブレット分解処理を行う。例えば、画像Ｉに対して１階ウェーブレット分解処理を行った場合の周波数分解画像は、低周波帯域成分の画像（低周波成分画像）ＬＬ（Ｉ）、及び高周波帯域成分の画像（高周波成分画像）ＬＨ（Ｉ），ＨＬ（Ｉ），ＨＨ（Ｉ）からなる。周波数分解部１２は、生成した周波数分解画像のうち、低周波成分画像を位置合わせ部１３に出力し、高周波成分画像を割付部１４に出力する。
【0030】
位置合わせ部１３は、復号映像のうちの被拡大画像（拡大処理の対象となる画像、位置合わせ元ピクチャ）を含む１枚以上の参照画像の低周波成分画像と、被拡大画像との間で、小ブロック単位（例えば、１６×１６画素）で位置合わせ処理（レジストレーション処理）を行い、位置ずれ量を示す位置合わせ情報（位置合わせベクトル）を生成する。位置ずれ量は、小ブロック単位でブロックマッチングすることなどにより求められる。位置合わせ部１３は、復号映像の各画像を被拡大画像として上記処理を行う。位置合わせ部１３は、生成した位置合わせ情報を、割付部１４に出力する。
【0031】
割付部１４は、被拡大画像を低周波成分画像とする初期画像を生成する。初期画像の高周波成分画像は、成分ゼロの画像とするか（ゼロ行列モード）、又は被拡大画像の高周波成分画像を拡大した画像とする（高空間周波数拡大モード）。高空間周波数拡大モードにおける拡大方法は任意であり、例えば最近傍補間(Nearest neighbor)を行ってもよい。なお、ゼロ行列モードと高空間周波数拡大モードの２つのモードを用意して、予めどちらのモードを使用するか選択できるようにしてもよい。
【0032】
次に、割付部１４は、位置合わせ部１３から入力した位置合わせ情報に従って、被拡大画像を含む１枚以上の参照画像の高周波成分画像から、初期画像の高周波帯域（被拡大画像の最大周波数を超える超解像波数帯域）へ割り付ける割付処理を行い、割付画像を生成する。割り付ける際には、参照画像の低周波成分画像における同じ位相位置の位置合わせ情報に従うこととする。ただし、割付部１４は、位置合わせ元と位置合わせ先の小ブロックの二乗誤差和（ＳＳＤ；Sum of Squared Difference)又は絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）を算出し、算出した値が割付閾値以下である場合にのみ割付処理を行う。
【0033】
さらに、割付部１４は、割付閾値を補正してもよい。割付閾値の補正方法について、以下に３つの例を説明する。
【0034】
＜＜第１の割付閾値補正方法＞＞
割付部１４は、割付元の小ブロック位置のＱＰ情報及び／又は動きベクトル情報の大きさに応じて、割付閾値を変化させる。例えば、割付部１４は、ＱＰ情報が示す量子化パラメータの値及び動きベクトル情報が示す動きベクトルの大きさが大きいほど割付閾値を小さくし、ＱＰ情報が示す量子化パラメータの値及び動きベクトル情報が示す動きベクトルの大きさが小さいほど割付閾値を大きくする。動きベクトルの大きさは、ランダムアクセス参照構造情報が示す参照フレームの位置に応じて補正（重み付け）することが望ましい。例えば、予測対象フレームと参照フレームとの距離が１フレーム間隔である（参照フレームが予測対象フレームに隣接する）場合には、動きベクトルの大きさを補正せず、予測対象フレームと参照フレームとの距離がｎフレーム間隔である場合には、動きベクトルの大きさを１／ｎに補正する。
割付部１４は、割付元の小ブロック位置のＱＰ情報及び／又は動きベクトル情報の大きさに応じて、割付閾値を変化させる。例えば、割付部１４は、ＱＰ情報が示す量子化パラメータの値及び動きベクトル情報が示す動きベクトルの大きさが大きいほど割付閾値を小さくし、ＱＰ情報が示す量子化パラメータの値及び動きベクトル情報が示す動きベクトルの大きさが小さいほど割付閾値を大きくする。動きベクトルの大きさは、ランダムアクセス参照構造情報が示す参照フレームの位置に応じて補正（重み付け）することが望ましい。例えば、予測対象フレームと参照フレームとの距離が１フレーム間隔である（参照フレームが予測対象フレームに隣接する）場合には、動きベクトルの大きさを補正せず、予測対象フレームと参照フレームとの距離がｎフレーム間隔である場合には、動きベクトルの大きさを１／ｎに補正する。
【0035】
位置合わせ部１３及び割付部１４で用いられる小ブロックのサイズは任意であるが、映像処理パラメータ情報が示す分割ブロックと同じサイズとしてもよい。小ブロックのサイズを映像処理パラメータの分割ブロックに一致させた場合には、割付元の小ブロック位置のＱＰ情報及び動きベクトル情報は、該小ブロックに対応する分割ブロックの符号化・復号に用いられたＱＰ情報及び動きベクトル情報となるので、処理を簡易化することが可能となる。
【0036】
小ブロックのサイズを分割ブロックのように可変とした場合には、割付部１４は、位置合わせ元と位置合わせ先の小ブロックの二乗誤差和又は絶対値誤差和の１画素あたり換算値を算出し、該換算値が割付閾値以下である場合にのみ、割付処理を行う。
【0037】
表１に、割付閾値の補正例を示す。補正係数は、割付閾値のデフォルト値に対して乗じる係数である。例えば、割付閾値のデフォルト値をＴｈとすると、量子化パラメータの値が４２、動きベクトルの大きさが１５画素の場合、表１に従うと補正後の割付閾値Ｔｈ１はＴｈ×０．８×０．９となる。なお、補正後の値の小数点以下は、四捨五入する。この割付閾値は、符号化装置が採用する符号化方式によって量子化パラメータ、動きベクトルなどの性能が概ね決定されるため、予備実験により予め適値を求めてもよい。
【0038】
【表1】
【0039】
＜＜第２の割付閾値補正方法＞＞
第２の割付閾値補正方法では、割付部１４は、位置合わせ元のピクチャと位置合わせ先のピクチャとの間の距離に応じて割付閾値を補正する。ランダムアクセス参照構造に基づいて位置合わせ先のピクチャを決定する場合には、割付部１４は、位置合わせ元と位置合わせ先の小ブロックが属するピクチャのランダムアクセス参照構造を用いて、補正された割付閾値Ｔｈ２を式（１）により算出する。
Th2 = Th * (a * 1 / |CurPOC - RefPOC|) (１)
第２の割付閾値補正方法では、割付部１４は、位置合わせ元のピクチャと位置合わせ先のピクチャとの間の距離に応じて割付閾値を補正する。ランダムアクセス参照構造に基づいて位置合わせ先のピクチャを決定する場合には、割付部１４は、位置合わせ元と位置合わせ先の小ブロックが属するピクチャのランダムアクセス参照構造を用いて、補正された割付閾値Ｔｈ２を式（１）により算出する。
Th2 = Th * (a * 1 / |CurPOC - RefPOC|) (１)
【0040】
式（１）におけるＴｈは割付閾値のデフォルト値であり、ａは重み係数である。また、CurPOCは位置合わせ元ピクチャのPicture Order Count（ピクチャの表示順のカウント値）であり、RefPOCは位置合わせ先ピクチャのPicture Order Countである。式（１）では、CurPOCとRefPOCの差分の逆数に重み係数ａをかけたものでデフォルト値Ｔｈを補正するため、位置合わせ元と位置合わせ先のピクチャ間距離が遠いほど割付閾値Ｔｈ２が小さな値となる。一般的に位置合わせ元と位置合わせ先のピクチャ間距離が遠いほどピクチャ間相関は低くなりやすい。そのため、式（１）によって割付閾値を補正することにより、ピクチャ間距離が遠い小ブロック間においては、なるべく割付処理を行わないようにすることができる。
【0041】
＜＜第３の割付閾値補正方法＞＞
第３の割付閾値補正方法では、割付部１４は、第１の割付閾値補正方法により求めたＴｈ１と、第２の割付閾値補正方法により求めたＴｈ２の重み付け平均値を最終的な割付閾値とする。第１から第３の割付閾値補正方法のいずれを使用するかについては、割付処理の速度や精度を鑑みて予め設定してもよい。
第３の割付閾値補正方法では、割付部１４は、第１の割付閾値補正方法により求めたＴｈ１と、第２の割付閾値補正方法により求めたＴｈ２の重み付け平均値を最終的な割付閾値とする。第１から第３の割付閾値補正方法のいずれを使用するかについては、割付処理の速度や精度を鑑みて予め設定してもよい。
【0042】
周波数再構成部１５は、割付部１４から入力した割付画像をそれぞれ周波数再構成することにより、被拡大画像を拡大した拡大画像からなる拡大映像を生成する。なお、周波数分解部１２が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１５は、同じウェーブレットを用いてウェーブレット再構成処理を行う。周波数再構成部１５は、生成した拡大映像を、映像拡大装置１の外部に出力する。
【0043】
次に、図３を参照して、単一フレーム超解像処理を行う場合の、映像拡大装置１の処理例について説明する。
【0044】
図３に示す例では、周波数分解部１２は、被拡大画像αに対して１階ウェーブレット分解を行い、低周波成分画像ＬＬ（α）、及び高周波成分画像ＬＨ（α），ＨＬ（α），ＨＨ（α）からなる周波数分解画像α’を生成する。
【0045】
位置合わせ部１３は、被拡大画像αと、周波数分解画像α’における低周波成分画像ＬＬ（α）との間で、小ブロック単位で位置合わせ処理を行う。
【0046】
割付部１４は、低周波成分画像を被拡大画像αとし、高周波成分画像を画像ＬＨ（αＥ），ＨＬ（αＥ），ＨＨ（αＥ）とした初期画像を生成する。画像ＬＨ（αＥ），ＨＬ（αＥ），ＨＨ（αＥ）は、ゼロ行列モードでは、それぞれ被拡大画像αと同じサイズのゼロ行列であり、高空間周波数拡大モードでは、被拡大画像αの高周波成分画像ＬＨ（α），ＨＬ（α），ＨＨ（α）をそれぞれ水平及び垂直方向に２倍拡大して被拡大画像αと同じサイズとした画像である。次に、割付部１４は、被拡大画像αの低周波成分画像ＬＬ（α）において同じ位相位置の位置合わせ情報に従って、被拡大画像αの高周波成分画像ＬＨ（α），ＨＬ（α），ＨＨ（α）から、初期画像の高周波成分画像ＬＨ（αＥ），ＨＬ（αＥ），ＨＨ（αＥ）へ割付処理を行い、割付画像βを生成する。
【0047】
周波数再構成部１５は、割付画像βに対して１階ウェーブレット再構成することにより、被拡大画像αを拡大した拡大画像γを生成する。
【0048】
次に、図４を参照して、複数フレーム超解像処理を行う場合の、映像拡大装置１の処理例について説明する。
【0049】
複数フレーム超解像処理に用いられる、被拡大画像の前後の画像は、被拡大画像の前後±ｐ枚の画像とすることができる。また、位置合わせ部１３がパラメータ取得部１１からランダムアクセス参照構造情報を取得した場合には、ランダムアクセス参照構造情報が示す、被拡大画像の参照ピクチャリスト（リスト０及びリスト１）とすることができる。
【0050】
図４に示す例では、周波数分解部１２は、被拡大画像ａに対して１階ウェーブレット分解を行い、低周波成分画像ＬＬ（ａ）、及び高周波成分画像ＬＨ（ａ），ＨＬ（ａ），ＨＨ（ａ）からなる周波数分解画像ａ’を生成する。また、周波数分解部１２は、被拡大画像の前後の１枚以上の参照画像に対しても１階ウェーブレット分解を行う。図４では説明の便宜上、１枚の参照画像ｂを用いた超解像処理について説明する。周波数分解部１２は、参照画像ｂに対して１階ウェーブレット分解を行い、低周波成分画像ＬＬ（ｂ）、及び高周波成分画像ＬＨ（ｂ），ＨＬ（ｂ），ＨＨ（ｂ）からなる周波数分解画像ｂ’を生成する。
【0051】
位置合わせ部１３は、被拡大画像ａと、周波数分解画像ｂ’における低周波成分画像ＬＬ（ｂ）との間で、小ブロック単位で位置合わせ処理を行う。
【0052】
割付部１４は、低周波成分画像を被拡大画像ａとし、高周波成分画像をＬＨ（ａＥ），ＨＬ（ａＥ），ＨＨ（ａＥ）とした初期画像を生成する。画像ＬＨ（ａＥ），ＨＬ（ａＥ），ＨＨ（ａＥ）は、ゼロ行列モードでは、それぞれ被拡大画像ａと同じサイズのゼロ行列であり、高空間周波数拡大モードでは、被拡大画像ａの高周波成分画像ＬＨ（ａ），ＨＬ（ａ），ＨＨ（ａ）をそれぞれ水平及び垂直方向に２倍拡大して被拡大画像ａと同じサイズとした画像である。次に、割付部１４は、参照画像ｂの低周波成分画像ＬＬ（ｂ）において同じ位相位置の位置合わせ情報に従って、参照画像ｂの高周波成分画像ＬＨ（ｂ），ＨＬ（ｂ），ＨＨ（ｂ）から、初期画像の高周波成分画像ＬＨ（ａＥ），ＨＬ（ａＥ），ＨＨ（ａＥ）へ割付処理を行い、割付画像ｃを生成する。
【0053】
図４では図示を省略したが、図３と同様に、位置合わせ部１３は、被拡大画像ａと、周波数分解画像ａ’における低周波成分画像ＬＬ（ａ）との間で、小ブロック単位で位置合わせ処理を行う。また、割付部１４は、被拡大画像ａの低周波成分画像ＬＬ（α）において同じ位相位置の位置合わせ情報に従って、被拡大画像ａの高周波成分画像ＬＨ（ａ），ＨＬ（ａ），ＨＨ（ａ）から、初期画像の高周波成分画像ＬＨ（ａＥ），ＨＬ（ａＥ），ＨＨ（ａＥ）へ割付処理を行う。
【0054】
周波数再構成部１５は、割付画像ｃに対して１階ウェーブレット再構成することにより、被拡大画像ａを拡大した拡大画像ｄを生成する。
【0055】
上述したように、映像拡大装置１の割付部１４は、位置合わせ元と位置合わせ先の小ブロックの二乗誤差和又は絶対値誤差和が割付閾値以下である場合にのみ割付処理を行い、割付元の小ブロック位置の量子化パラメータの値又は動きベクトルの大きさに応じて、割付閾値を変化させる。量子化パラメータの値が大きい場合、又は動きベクトルの大きさが大きい場合には、ブロック歪みが発生して復号画像が劣化している可能性があるため、割付閾値を変化させることにより、割り付けの精度を向上させることができる。したがって、映像拡大装置１は、拡大映像の画質を向上させることが可能となる。
【0056】
＜第２の実施形態＞
次に、第２の実施形態に係る映像拡大装置について説明する。
次に、第２の実施形態に係る映像拡大装置について説明する。
【0057】
図５は、第２の実施形態に係る映像拡大装置２の構成例を示すブロック図である。図５に示す例では、映像拡大装置２は、パラメータ取得部１１と、周波数分解部１２と、位置合わせ部１３と、割付部１４と、周波数再構成部１５と、前処理部１６と、を備える。第２の実施形態に係る映像拡大装置２は、第１の実施形態に係る映像拡大装置１と比較して、更に前処理部１６を備える点が相違する。その他の構成については第１の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。
【0058】
前処理部１６は、パラメータ取得部１１から、映像処理パラメータ情報として、分割ブロック情報と、分割ブロック毎のＱＰ情報及び動きベクトル情報と、ランダムアクセス参照構造情報とを取得する。前処理部１６は、復号映像の各画像において周波数分解処理を行い、デブロッキング処理を施した後で周波数再構成処理を行い、前処理画像を生成する。前処理部１６は、ＱＰ情報が示す量子化パラメータの値が所定の閾値Ｔｈｑ以上、又は動きベクトル情報が示す動きベクトルの大きさが所定の閾値Ｔｈｖ以上である場合にのみデブロッキング処理を行う。ここで、動きベクトルの大きさは、ランダムアクセス参照構造情報が示す参照フレームの位置に応じて補正（重み付け）することが望ましい。前処理部１６は、生成した前処理画像を、周波数分解部１２に出力する。
【0059】
例えば、前処理部１６は、３階ウェーブレット分解処理を行う。そして、前処理部１６は、量子化パラメータの値が所定の閾値Ｔｈｑ以上、又は動きベクトルの大きさが所定の閾値Ｔｈｖ以上であれば、１階高周波成分画像ＬＨ１，ＨＬ１，ＨＨ１の当該ＣＵのＣＵ境界位置の要素にｙ＝ａｘ（例えばａ＝０．１）の関数を適用し、２階高周波成分画像ＬＨ２，ＨＬ２，ＨＨ２の当該ＣＵのＣＵ境界位置の要素にｙ＝ｂｘ（例えばｂ＝０．３）の関数を適用し、３階高周波成分画像ＬＨ３，ＨＬ３，ＨＨ３の当該ＣＵのＣＵ境界位置の要素にｙ＝ｃｘ（例えばｃ＝０．５）の関数を適用する。最後に、前処理部１６は、３階ウェーブレット再構成処理を行う。
【0060】
映像拡大装置１の周波数分解部１２は、復号装置１０から入力した復号画像に対して周波数分解以降の処理を行うが、映像拡大装置２の周波数分解部１２は、前処理画像に対して周波数分解以降の処理を行う。映像拡大装置２は、前処理部１６によってブロックノイズが低減された画像に対して拡大処理を行うことになるため、映像拡大装置１よりも更に拡大映像の画質を向上させることが可能となる。また、量子化パラメータの値が大きい場合、又は動きベクトルの大きさが大きい場合には、ブロック歪みが発生して復号画像が劣化している可能性があるため、量子化パラメータの値が第１閾値以上、又は動きベクトルの大きさが第２閾値以上である場合にのみデブロッキング処理を行うことにより、ブロックノイズを適切に除去することが可能となる。
【0061】
＜第３の実施形態＞
次に、第３の実施形態に係る映像拡大装置について説明する。
次に、第３の実施形態に係る映像拡大装置について説明する。
【0062】
図６は、第３の実施形態に係る映像拡大装置３の構成例を示すブロック図である。図６に示す例では、映像拡大装置３は、パラメータ取得部１１と、周波数分解部１２と、位置合わせ部１３ａと、割付部１４と、周波数再構成部１５と、前処理部１６と、を備える。第３の実施形態に係る映像拡大装置３は、第１の実施形態に係る映像拡大装置１と比較して、位置合わせ部１３に代えて位置合わせ部１３ａを備える点が相違する。その他の構成については第１の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。
【0063】
パラメータ取得部１１は、符号化処理及び復号処理を行う際の処理単位である分割ブロック毎の動きベクトル情報を位置合わせ部１３ａに出力する。画面間予測は差分が小さく似ている分割ブロック間で行われるため、位置合わせに利用することができる。参照画像は、画面間予測の際に、ランダムアクセス参照構造に基づいて決定される。周波数分解部１２は、周波数分解処理時の階層数を示す情報を位置合わせ部１３ａに出力する。なお、周波数分解処理時の階層数を予め位置合わせ部１３ａに設定しておいてもよい。
【0064】
位置合わせ部１３ａは、復号映像の各画像を被拡大画像とし、被拡大画像を小ブロックに分割し、動きベクトル情報を用いて小ブロック毎に、位置ずれ量を示す位置合わせ情報（位置合わせベクトル）を求める。位置合わせ部１３ａは、生成した位置合わせ情報を、割付部１４に出力する。
【0065】
具体的には、位置合わせ部１３ａは、小ブロックと分割ブロックが同じ場合には、小ブロックに相当する分割ブロックの動きベクトルを参照画像の階層数（低周波成分画像のサイズ）に応じてスケーリングすることにより位置ずれ量を求め、該小ブロックの位置合わせ情報とする。位置合わせ部１３ａは、参照画像の階層数がＮの場合には、動きベクトルを１／２Ｎにスケーリングする。
【0066】
位置合わせ部１３ａは、小ブロックと分割ブロックが異なる場合には、小ブロックに属する全ての分割ブロックの動きベクトルを平均したベクトル（第１動きベクトル）、又は小ブロックの基準点（例えば、小ブロックの中心位置）に属する分割ブロックの動きベクトル（第２動きベクトル）を参照画像の低周波成分画像のサイズに応じてスケーリングすることにより位置ずれ量を求め、該小ブロックの位置合わせ情報とする。第１動きベクトルと第２動きベクトルのいずれを用いるかは、予め位置合わせ部１３ａに設定しておいてもよい。
【0067】
位置合わせ部１３ａは、上記の位置合わせ処理（第１位置合わせ処理）に加えて、第１の実施形態の位置合わせ部１３と同じ位置合わせ処理（第２位置合わせ処理）を行い、両方の処理で求めた複数の位置合わせベクトルを、小ブロックの位置合わせベクトルとしてもよい。この場合、第１位置合わせ処理と第２位置合わせ処理で用いられる小ブロックは同一でなくてもよい。また、小ブロックが分割ブロックと同一である場合には、分割情報をそのまま利用することができるので好適である。一方、小ブロックと分割ブロックが異なる場合であっても、分割情報としてのオーバーヘッドはそれほど大きいものではない。
【0068】
＜プログラム＞
上述した映像拡大装置１～３として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
上述した映像拡大装置１～３として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0069】
コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。
【0070】
プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0071】
例えば、映像拡大装置１として機能させるためのプログラムは、符号化処理及び復号処理を行った際のパラメータ情報を取得するステップと、復号映像の各画像に対して、周波数分解処理を行って周波数分解画像を生成するステップと、復号映像のうちの被拡大画像を含む１枚以上の参照画像の低周波成分画像と、被拡大画像との間で、小ブロック単位の位置ずれ量を示す位置合わせ情報を生成するステップと、被拡大画像を低周波成分画像とする初期画像を生成し、位置合わせ情報に従って、参照画像の高周波成分画像から、初期画像の高周波帯域へ割り付け、割付画像を生成する割付ステップと、割付画像に対して再構成処理を行い、拡大映像を生成するステップと、をコンピュータに実行させ、割付ステップは、位置合わせ元と位置合わせ先の小ブロックの二乗誤差和又は絶対値誤差和が閾値以下である場合にのみ割付処理を行い、パラメータ情報に応じて、閾値を変化させる。
【0072】
また、映像拡大装置１～３は、１つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、映像拡大装置１～３の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。
【0073】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。
【0074】
例えば、第３の実施形態に係る映像拡大装置３は、第２の実施形態と同様に、パラメータ取得部１１と周波数分解部１２との間に前処理部１６を備えていてもよい。
【符号の説明】
【0075】
１，２，３ 映像拡大装置
１０ 復号装置
１１ パラメータ取得部
１２ 周波数分解部
１３，１３ａ 位置合わせ部
１４ 割付部
１５ 周波数再構成部
１６ 前処理部
１０ 復号装置
１１ パラメータ取得部
１２ 周波数分解部
１３，１３ａ 位置合わせ部
１４ 割付部
１５ 周波数再構成部
１６ 前処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】