特許 6875800 超解像フレーム選択装置、超解像装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6875800

(24)【登録日】2021年4月27日

(45)【発行日】2021年5月26日

(54)【発明の名称】超解像フレーム選択装置、超解像装置、及びプログラム

(51)【国際特許分類】

   H04N 19/59 20140101AFI20210517BHJP

   H04N 19/85 20140101ALI20210517BHJP

   H04N 19/40 20140101ALI20210517BHJP

   H04N 19/132 20140101ALI20210517BHJP

   H04N 19/139 20140101ALI20210517BHJP

   H04N 19/159 20140101ALI20210517BHJP

   H04N 19/176 20140101ALI20210517BHJP

【ＦＩ】

   H04N19/59

   H04N19/85

   H04N19/40

   H04N19/132

   H04N19/139

   H04N19/159

   H04N19/176

【請求項の数】6

【全頁数】9

(21)【出願番号】特願2016-153752(P2016-153752)

(22)【出願日】2016年8月4日

(65)【公開番号】特開2018-23034(P2018-23034A)

(43)【公開日】2018年2月8日

【審査請求日】2019年7月1日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】神田 菊文

【審査官】 鉢呂 健

(56)【参考文献】

【文献】 特許第５０２１０１７（ＪＰ，Ｂ２）

【文献】 特開２００９−１００１１２（ＪＰ，Ａ）

【文献】 特開２０１２−１０２９７（ＪＰ，Ａ）

【文献】 特開２０１２−４９７４７（ＪＰ，Ａ）

【文献】 特開２０１２−８５２１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

原画像に対して動き予測を行って生成された符号化データを復号処理する復号装置から、復号画像の生成に用いられた分割情報及び残差画像を入力する超解像フレーム選択装置であって、
前記分割情報は、動き予測をする際の各分割ブロックのサイズ、及び分割ブロックがインター予測及びイントラ予測のいずれの処理が行われたブロックであるかを示す情報であり、
前記残差画像は、原画像と動き予測によって生成された予測画像との差分の画像であり、
前記残差画像を分割ブロックごとに、該分割ブロックに対応する動き予測の予測確度が高いか低いかの判定を行う動き予測確度判定部と、
前記復号画像のうちイントラ予測が行われた分割ブロックに対しては、単一フレームによる超解像処理を指示し、前記復号画像のうちインター予測が行われた分割ブロックに対しては、前記動き予測確度判定部により動き予測の予測確度が高いと判定された場合に複数フレームによる超解像処理を指示し、前記動き予測確度判定部により動き予測の予測確度が低いと判定された場合に単一フレームによる超解像処理を指示するフレーム選択情報を出力するフレーム選択部と、
を備えることを特徴とする超解像フレーム選択装置。

【請求項2】

前記動き予測確度判定部は、分割ブロックの残差画像の１画素あたりのパワーが閾値以下である場合には、該分割ブロックに対応する動き予測の予測確度は高いと判定し、分割ブロックの残差画像の１画素あたりのパワーが閾値を超える場合には、該分割ブロックに対応する動き予測の予測確度は低いと判定することを特徴とする、請求項１に記載の超解像フレーム選択装置。

【請求項3】

請求項１又は２に記載の超解像フレーム選択装置と、
前記フレーム選択情報に基づいて、単一フレームによる超解像処理又は複数フレームによる超解像処理を行う超解像処理部と、
を備えることを特徴とする超解像装置。

【請求項4】

復号画像から残差画像を減算した画像を被超解像フレーム画像として生成する被超解像画像生成部を備え、
前記超解像処理部は、前記復号装置から前記原画像を復号処理した復号画像、及び前記動き予測により検出された動きベクトルを示す動き予測情報を入力し、前記フレーム選択情報が単一フレームによる超解像処理を指示している場合には、前記復号画像を超解像処理し、前記フレーム選択情報が複数フレームによる超解像処理を指示している場合には、前記被超解像フレーム画像を前記動き予測情報を用いて超解像処理することを特徴とする、請求項３に記載の超解像装置。

【請求項5】

コンピュータを、請求項１又は２に記載の超解像フレーム選択装置として機能させるためのプログラム。

【請求項6】

コンピュータを、請求項３又は４に記載の超解像装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、超解像画像を生成するために用いられる超解像フレーム選択装置、超解像装置、及びそれらのプログラムに関する。

【背景技術】

【0002】

入力画像をより高解像の画像に変換する超解像技術として、一般的に、単一フレームを用いて超解像処理を行う単一フレーム超解像処理と、複数フレームを用いて超解像処理を行う複数フレーム超解像処理とが知られている。

【0003】

例えば、特許文献１には、単一フレーム内の類似箇所を探索して、その空間高周波成分から原画像の標本化周波数を超える超解像高周波成分を生成する単一フレーム超解像処理が開示されている。

【0004】

非特許文献１には、ＭＰＥＧデータの動きベクトルを用いた複数フレーム超解像処理が開示されている。ＭＰＥＧの動きベクトルは必ずしも高い確度を持っていないため、遮蔽が生じているかの判定、外部の位置ずれ量検出による位置合わせの正確さ判定、及び対応する画素の明るさが等しいかの判定を行うことで動きベクトルの確度を測っている。

【0005】

また、特許文献２には、動き補償誤差が大きい場合には単一フレーム超解像処理を行い、動き補償誤差が小さく且つ動きの速度が遅い場合には複数フレーム超解像処理を行う手法が開示されている。

【0006】

一方、非特許文献２には、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（以下、単に「ＨＥＶＣ」と称する。）では、符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）を階層的に４分木分割することで可変サイズの符号化ユニット（ＣＵ：Coding Unit）を生成し、各ＣＵを更にインター予測／イントラ予測用の予測ユニット（ＰＵ：Prediction Unit）に分割し、該ＰＵごとに予測処理を行うことが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１５−２０３９５２号公報

【特許文献2】特許第５０２１０１７号公報

【非特許文献】

【0008】

【非特許文献1】田中正行，矢口陽一，古川英治，奥富正敏，“位置ずれ量を考慮した画素選択に基づくロバスト超解像処理”，電子情報通信学会論文誌Ｄ，ＶＯｌ．９２−Ｄ，ｎＯ．５，ｐｐ．６５０−６６０，Ｍａｙ２００９．

【非特許文献2】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来の複数フレーム超解像処理では、符号化信号が持つ動き予測情報を用いて超解像処理を行う場合に、動きベクトルの大きさや外部の位置ずれ量検出法により動き予測確度を測っていた。しかし、動き予測確度は必ずしも動きベクトルの大きさで測れるものではなく、また外部の位置ずれ量を用いることは計算量のコスト増につながるという課題があった。

【0010】

かかる事情に鑑みてなされた本発明の目的は、復号画像を超解像処理した際における超解像画像の画質を向上させることが可能な超解像フレーム選択装置、超解像装置、及びそれらのプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記課題を解決するため、本発明に係る超解像フレーム選択装置は、原画像に対して動き予測を行って生成された符号化データを復号処理する復号装置から、復号画像の生成に用いられた分割情報及び残差画像を入力する超解像フレーム選択装置であって、前記分割情報は、動き予測をする際の各分割ブロックのサイズ、及び分割ブロックがインター予測及びイントラ予測のいずれの処理が行われたブロックであるかを示す情報であり、前記残差画像は、原画像と動き予測によって生成された予測画像との差分の画像であり、前記残差画像を分割ブロックごとに、該分割ブロックに対応する動き予測の予測確度が高いか低いかの判定を行う動き予測確度判定部と、前記復号画像のうちイントラ予測が行われた分割ブロックに対しては、単一フレームによる超解像処理を指示し、前記復号画像のうちインター予測が行われた分割ブロックに対しては、前記動き予測確度判定部により動き予測の予測確度が高いと判定された場合に複数フレームによる超解像処理を指示し、前記動き予測確度判定部により動き予測の予測確度が低いと判定された場合に単一フレームによる超解像処理を指示するフレーム選択情報を出力するフレーム選択部と、を備えることを特徴とする。

【0012】

さらに、本発明に係る超解像フレーム選択装置において、前記動き予測確度判定部は、分割ブロックの残差画像の１画素あたりのパワーが閾値以下である場合には、該分割ブロックに対応する動き予測の予測確度は高いと判定し、分割ブロックの残差画像の１画素あたりのパワーが閾値を超える場合には、該分割ブロックに対応する動き予測の予測確度は低いと判定することを特徴とする。

【0013】

また、上記課題を解決するため、本発明に係る超解像装置は、上記超解像フレーム選択装置と、前記フレーム選択情報に基づいて、単一フレームによる超解像処理又は複数フレームによる超解像処理を行う超解像処理部と、を備えることを特徴とする。

【0014】

さらに、本発明に係る超解像装置において、復号画像から残差画像を減算した画像を被超解像フレーム画像として生成する被超解像画像生成部を備え、前記超解像処理部は、前記復号装置から前記原画像を復号処理した復号画像、及び前記動き予測により検出された動きベクトルを示す動き予測情報を入力し、前記フレーム選択情報が単一フレームによる超解像処理を指示している場合には、前記復号画像を超解像処理し、前記フレーム選択情報が複数フレームによる超解像処理を指示している場合には、前記被超解像フレーム画像を前記動き予測情報を用いて超解像処理することを特徴とする。

【0015】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像フレーム選択装置として機能させることを特徴とする。

【0016】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

【発明の効果】

【0017】

本発明によれば、復号画像を超解像処理した際における超解像画像の画質を向上させることができるようになる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係る超解像装置の構成例を示すブロック図である。

【図2】本発明の一実施形態に係る超解像装置が情報を取得する復号装置の構成例を示すブロック図である。

【図3】本発明の一実施形態に係る超解像装置における動き予測確度判定部の処理の一例を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0020】

図１は、本発明の一実施形態に係る超解像装置の構成例を示すブロック図である。超解像装置１は、復号装置２から分割情報と、動き予測情報と、残差画像と、復号画像とを取得する。そこで、まず復号装置２について説明する。

【0021】

復号装置２は、原画像に対して動き予測（動き補償）を行って符号化データを生成する符号化装置（図示せず）から符号化データを入力し、該符号化データを復号処理する装置である。ＨＥＶＣなどの符号化方式では、動き予測としてインター予測（フレーム間予測）、及びイントラ予測（フレーム内予測）が用いられる。インター予測は時間的に前後する参照フレームから予測画像を生成し、原画像と予測画像との差分を符号化する予測符号化方式である。イントラ予測はフレーム内符号化されるブロックに対して、符号化済みの隣接ブロックの画素から予測画像を生成し、原画像と予測画像との差分を符号化する予測符号化方式である。

【0022】

図２に、復号装置２の構成例を示すブロック図を示す。図２に示す例では、復号装置２は、エントロピー復号部２１と、逆量子化部２２と、逆変換部２３と、加算部２４と、記憶部２５と、予測部２６とを備える。本図では、符号化データ及び符号化データの演算処理により生成されるデータの流れを実線の矢印で示し、符号化データの復号処理に用いられる情報の流れを破線の矢印で示している。

【0023】

エントロピー復号部２１は、符号化装置から入力された符号化データを復号し、量子化係数、分割情報、及び動き予測情報を取得する。そして、量子化係数を逆量子化部２２に出力し、分割情報を逆量子化部２２、予測部２６、及び超解像装置１に出力し、動き予測情報を予測部２６及び超解像装置１に出力する。

【0024】

ここで、量子化係数とは、符号化装置により演算された、残差画像の変換係数を量子化した値を意味する。残差画像とは、原画像と、動き予測によって生成された予測画像との差分の画像である。

【0025】

分割情報とは、符号化装置により決定された、動き予測をする際の各分割ブロックのサイズを示す情報である。ＨＥＶＣでは分割ブロックとはＰＵを意味する。また、分割情報は、分割ブロックがインター予測及びイントラ予測のいずれの処理が行われたブロックであるかを示す情報も含む。

【0026】

動き予測情報とは、動き予測により検出された動きベクトルを示す情報である。

【0027】

逆量子化部２２は、エントロピー復号部２１から入力された量子化係数に量子化ステップを乗算してブロックごとの変換係数を復元し、逆変換部２３に出力する。量子化ステップは符号化装置から取得してもよいし、予め符号化装置と共通の量子化テーブルを有していてもよい。

【0028】

逆変換部２３は、逆量子化部２２から入力された変換係数に対して逆変換を行ってブロックごとに残差画像を復元する。そして、残差画像を加算部２４及び超解像装置１に出力する。

【0029】

加算部２４は、逆変換部２３から入力された残差画像と、予測部２６から入力された予測画像との各画素値を加算してブロックごとに復号画像を生成し、記憶部２５及び超解像装置１に出力する。

【0030】

記憶部２５は、加算部２４から入力された復号画像を記憶するメモリである。

【0031】

予測部２６は、記憶部２５に記憶された復号済みの復号画像を参照し、エントロピー復号部２１から入力された予測情報に従って予測処理を行って予測画像を生成し、加算部２４に出力する。

【0032】

このようにして一般的な復号装置２から、復号処理に用いられた分割情報、動き予測情報、及び残差画像、並びに復号処理の結果である復号画像を、超解像装置１が取得する。再び図１に戻って、超解像装置１の構成について説明する。

【0033】

図１に示す例では、超解像装置１は、超解像フレーム選択装置１１と、被超解像画像生成部１２と、超解像処理部１３とを備える。超解像フレーム選択装置１１は、動き予測確度判定部１１１と、フレーム選択部１１２とを備える。本図では、画像の流れを実線の矢印で示し、超解像処理に用いられる情報の流れを破線の矢印で示している。

【0034】

動き予測確度判定部１１１は、分割情報及び残差画像を入力して、残差画像を分割ブロックごとに、該分割ブロックに対応する動き予測の予測確度が高いか低いかの判定を行い、判定結果を示す動き予測確度判定情報をフレーム選択部１１２に出力する。動き予測確度は、残差画像に基づき判定することができる。例えば、分割ブロックの残差画像の１画素あたりのパワーが閾値以下である場合には、該分割ブロックに対応する動き予測の予測確度は高いと判定し、分割ブロックの残差画像の１画素あたりのパワーが閾値を超える場合には、該分割ブロックに対応する動き予測の予測確度は低いと判定する。

【0035】

図３は、動き予測確度判定部１１１の処理の一例を示す図である。図３示すように、分割ブロックのサイズを異なるサイズとすることができる。動き予測確度判定部１１１はサイズの異なる分割ブロックについて、それぞれ動き予測確度の判定を行う。ここでは、動き予測確度判定情報を、動き予測確度が低いと判定した場合に“０”とし、動き予測確度が高いと判定した場合に“１”とする１ビットのフラグとし、分割ブロックごとにフラグの値を示している。

【0036】

フレーム選択部１１２は、分割情報及び動き予測確度判定情報を入力し、分割ブロックごとに単一フレーム超解像処理を行うか複数フレーム超解像処理を行うか指示するフレーム選択情報を生成し、超解像処理部１３に出力する。具体的には、イントラ予測が行われた分割ブロックに対しては、単一フレームによる超解像処理を指示する。また、インター予測が行われた分割ブロックに対しては、動き予測確度判定部１１１により動き予測の予測確度が高いと判定された場合に複数フレームによる超解像処理を指示し、動き予測確度判定部１１１により動き予測の予測確度が低いと判定された場合に単一フレームによる超解像処理を指示する。フレーム選択情報は、例えば単一フレーム超解像処理を指示する場合に“０”とし、複数フレーム超解像処理を指示する場合に“１”とする１ビットのフラグとすることができる。

【0037】

被超解像画像生成部１２は、復号画像と残差画像とを入力して、複数フレーム超解像に用いる被超解像フレーム画像を生成し、超解像処理部１３に出力する。具体的には、被超解像画像生成部１２は、復号画像から残差画像を減算した画像を被超解像フレーム画像とする。

【0038】

超解像処理部１３は、フレーム選択部１１２から入力されたフレーム選択情報に基づいて、単一フレームによる超解像処理又は複数フレームによる超解像処理を行う。単一フレームによる超解像処理は、例えば特許文献１に記載の手法など、任意の既知の手法を用いることができる。複数フレームによる超解像処理は、例えば非特許文献１に記載の手法など、任意の既知の手法を用いることができる。

【0039】

具体的には、超解像処理部１３は、超解像フレーム選択装置１１から入力されたフレーム選択情報が単一フレームによる超解像処理を指示している場合には、復号装置２から入力された復号画像を超解像処理する。また、超解像フレーム選択装置１１から入力されたフレーム選択情報が複数フレームによる超解像処理を指示している場合には、被超解像画像生成部１２から入力された被超解像フレーム画像を、復号装置２から入力された動き予測情報を用いて超解像処理する。

【0040】

なお、上述した超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。超解像フレーム選択装置１１についても同様にコンピュータを好適に用いることができ、そのようなコンピュータは、超解像フレーム選択装置１１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、これらのプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0041】

このように、本発明によれば、残差画像を分割ブロックごとに、該分割ブロックに対応する動き予測の予測確度が高いか低いかの判定を行い、イントラ予測が行われた分割ブロックに対しては、単一フレームによる超解像処理を指示し、インター予測が行われた分割ブロックに対しては、動き予測の予測確度が高いと判定された場合に複数フレームによる超解像処理を指示し、動き予測の予測確度が低いと判定された場合に単一フレームによる超解像処理を指示する。したがって、この指示に基づいて超解像処理を行うことにより、復号画像を超解像処理した際における超解像画像の画質を向上させることができる。

【0042】

動き予測の予測確度は、特に、分割ブロックの残差画像の１画素あたりのパワーが閾値以下であるか否かを判定することにより、正確に判定することができる。

【0043】

なお、符号化誤差を含む画像に対して動き予測情報を用いて超解像処理すると、超解像画像に符号化誤差が含まれてしまう。そのため、複数フレームによる超解像処理は、復号画像から符号化誤差である残差画像を減算した画像を動き予測情報を用いて超解像処理するのが好適である。

【0044】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0045】

１ 超解像装置
２ 復号装置
１１ 超解像フレーム選択装置
１２ 被超解像画像生成部
１３ 超解像処理部
２１ エントロピー復号部
２２ 逆量子化部
２３ 逆変換部
２４ 加算部
２５ 記憶部
２６ 予測部
１１１ 動き予測確度判定部
１１２ フレーム選択部

【図1】

【図2】

【図3】