特許 6951163 階調超解像装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6951163

(24)【登録日】2021年9月28日

(45)【発行日】2021年10月20日

(54)【発明の名称】階調超解像装置及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20211011BHJP

   G06T 3/00 20060101ALI20211011BHJP

【ＦＩ】

   G06T5/00 740

   G06T3/00 750

【請求項の数】6

【全頁数】10

(21)【出願番号】特願2017-173761(P2017-173761)

(22)【出願日】2017年9月11日

(65)【公開番号】特開2019-49865(P2019-49865A)

(43)【公開日】2019年3月28日

【審査請求日】2020年7月28日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１５−２０３９５２（ＪＰ，Ａ）

【文献】 特開２０１５−１３２９３０（ＪＰ，Ａ）

【文献】 特開２０１３−１７１４５７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１７５５５２（ＵＳ，Ａ１）

【文献】 松尾康孝，“４Ｋ・８Ｋテレビと超解像技術”，映像情報メディア学会誌，日本，一般社団法人映像情報メディア学会，2015年07月01日，第69巻, 第6号，p.548-552

【文献】 Yasutaka Matsuo, 外1名，"Super-Resolution Method by Registration of Multi-scale Components Considering Color Sampling Pattern and Frequency Spectrum Power of UHDTV Camera"，2016 IEEE International Symposium on Multimedia (ISM)，IEEE，2016年，p.521-524

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

原画像の階調を拡大した階調超解像画像を生成する階調超解像装置であって、
前記原画像の各画素の階調値を整数倍して階調拡大画像を生成する階調拡大部と、
前記階調拡大画像に対して周波数分解処理を行って複数の低周波成分画像及び複数の高周波成分画像からなる周波数分解画像を生成する周波数分解部と、
前記複数の低周波成分画像間において、ブロック領域ごとに、相似するオブジェクトの位置関係を示す位置合わせ情報を生成する位置合わせ部と、
前記周波数分解画像のパワーを解析し、前記ブロック領域がグラデーション領域又はエッジ領域であるか否かを判定し、グラデーション領域又はエッジ領域と判定したブロック領域に対する前記位置合わせ情報を破棄する領域判定部と、
前記領域判定部にて破棄されなかった位置合わせ情報に従って、前記高周波成分画像に割り付けを行う割付部と、
前記低周波成分画像、及び前記割り付け後の高周波成分画像を周波数再構成処理して階調超解像画像を生成する周波数再構成部と、
を備えることを特徴とする階調超解像装置。

【請求項2】

前記領域判定部は、前記グラデーション領域と判定したブロック領域について、ブロックサイズが閾値以下である場合に該ブロック領域に対する前記位置合わせ情報を破棄すること特徴とする、請求項１に記載の階調超解像装置。

【請求項3】

前記領域判定部は、前記エッジ領域と判定したブロック領域について、ブロックサイズが閾値以上である場合に該ブロック領域に対する前記位置合わせ情報を破棄すること特徴とする、請求項１又は２に記載の階調超解像装置。

【請求項4】

前記領域判定部は、全周波数帯域のパワーの合計値に対する低周波帯域のパワーの比が閾値以上であるブロック領域を前記グラデーション領域と判定すること特徴とする、請求項１から３のいずれか一項に記載の階調超解像装置。

【請求項5】

前記領域判定部は、全周波数帯域のパワーの合計値に対する低周波帯域及び高周波帯域のパワーの比がいずれも閾値以上であるブロック領域を前記エッジ領域と判定すること特徴とする、請求項１から４のいずれか一項に記載の階調超解像装置。

【請求項6】

コンピュータを、請求項１から５のいずれか一項に記載の階調超解像装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、原画像の階調を拡大した階調超解像画像を生成する階調超解像装置及びプログラムに関する。

【背景技術】

【0002】

一般に、画像の輝度値がなだらかに変化するグラデーション領域において、画像の階調数が不足している場合には、疑似輪郭が生じやすくなる。この対策として、画像を階調方向に階調超解像処理して、元の画像よりも階調数の多い画像を生成することが考えられる。例えば、隣接する画素値は連続するという仮定のもと、ガウシアンフィルタなどにより中間階調値を生成することができる（例えば、特許文献１参照）。また、同じ被写体についてデジタルカメラにより露光量を変えて複数回の撮影を行い、それらを合成することにより、階調超解像画像（ハイダイナミックレンジ画像）を生成することができる（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−００３３７０号公報

【特許文献2】特開２００９−０１０５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、周波数分解された分解画像間における位置合わせにより階調超解像処理を行う際に、グラデーション領域やエッジ領域では位置合わせ精度が低くなりやすいという課題がある。

【0005】

かかる事情に鑑みてなされた本発明の目的は、グラデーション領域又はエッジ領域における位置合わせ精度を向上させ、高画質な階調超解像を生成することが可能な階調超解像装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る階調超解像装置は、原画像の階調を拡大した階調超解像画像を生成する階調超解像装置であって、前記原画像の各画素の階調値を整数倍して階調拡大画像を生成する階調拡大部と、前記階調拡大画像に対して周波数分解処理を行って複数の低周波成分画像及び複数の高周波成分画像からなる周波数分解画像を生成する周波数分解部と、前記複数の低周波成分画像間において、ブロック領域ごとに、相似するオブジェクトの位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記周波数分解画像のパワーを解析し、前記ブロック領域がグラデーション領域又はエッジ領域であるか否かを判定し、グラデーション領域又はエッジ領域と判定したブロック領域に対する前記位置合わせ情報を破棄する領域判定部と、前記領域判定部にて破棄されなかった位置合わせ情報に従って、前記高周波成分画像に割り付けを行う割付部と、前記低周波成分画像、及び前記割り付け後の高周波成分画像を周波数再構成処理して階調超解像画像を生成する周波数再構成部と、を備えることを特徴とする。

【0007】

さらに、本発明に係る階調超解像装置において、前記領域判定部は、前記グラデーション領域と判定したブロック領域について、ブロックサイズが閾値以下である場合に該ブロック領域に対する前記位置合わせ情報を破棄すること特徴とする。

【0008】

さらに、本発明に係る階調超解像装置において、前記領域判定部は、前記エッジ領域と判定したブロック領域について、ブロックサイズが閾値以上である場合に該ブロック領域に対する前記位置合わせ情報を破棄すること特徴とする。

【0009】

さらに、本発明に係る階調超解像装置において、前記領域判定部は、全周波数帯域のパワーの合計値に対する低周波帯域のパワーの比が閾値以上であるブロック領域を前記グラデーション領域と判定すること特徴とする。

【0010】

さらに、本発明に係る階調超解像装置において、前記領域判定部は、全周波数帯域のパワーの合計値に対する低周波帯域及び高周波帯域のパワーの比がいずれも閾値以上であるブロック領域を前記エッジ領域と判定すること特徴とする。

【0011】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記階調超解像装置として機能させることを特徴とする。

【発明の効果】

【0012】

本発明によれば、グラデーション領域又はエッジ領域における位置合わせ精度を向上させ、高画質な階調超解像を生成することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る階調超解像装置の構成例を示すブロック図である。

【図2】本発明の一実施形態に係る階調超解像装置において生成される周波数分解画像の一例を示す図である。

【図3】本発明の一実施形態に係る階調超解像装置における位置合わせ処理の概要を示す図である。

【図4】本発明の一実施形態に係る階調超解像装置における領域判定処理の概要を示す図である。

【図5】本発明の一実施形態に係る階調超解像装置における割り付け処理の概要を示す図である。

【図6】本発明の一実施形態に係る階調超解像装置における周波数再構成処理の概要を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0015】

図１に、本発明の一実施形態に係る階調超解像装置の構成例を示す。図１に示す階調超解像装置１は、階調拡大部１０と、周波数分解部１１と、位置合わせ部１２と、領域判定部１３と、割付部１４と、周波数再構成部１５とを備える。

【0016】

階調超解像装置１は、原画像を入力して階調超解像処理を行い、原画像の階調が拡大された階調超解像画像を生成する。

【0017】

階調拡大部１０は、原画像を入力して、原画像の各画素の階調値を、階調超解像装置１から出力する階調超解像画像の階調数に応じてＬ倍して階調超解像画像を生成し、周波数分解部１１及び周波数再構成部１５に出力する。原画像の階調数をａ、階調超解像画像の階調数をｂとすると、Ｌ＝２^{（ｂ−ａ）}である。例えば、８ビット階調を１２ビット階調に超解像する場合には、階調値を１６倍する。

【0018】

周波数分解部１１は、階調拡大部１０により生成された階調拡大画像に対して複数階層の周波数分解（多重解像度分解）処理を行って周波数分解画像を生成する。周波数分解画像は、複数の低周波帯域成分の画像（低周波成分画像）ＬＬ^ｎ、及び複数の高周波帯域成分の画像（高周波成分画像）ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎからなる。ここで、ｎは階層数である。周波数分解部１１は、低周波成分画像を位置合わせ部１２及び周波数再構成部１５に出力し、全周波数帯域の周波数分解画像を領域判定部１３に出力し、高周波成分画像を割付部１４に出力する。周波数分解部１１は、周波数分解処理として、例えばウェーブレットパケット分解処理を行う。

【0019】

図２に、周波数分解部１１により生成される周波数分解画像の一例を示す。ここでは、２階ウェーブレットパケット分解処理により生成される周波数分解画像を示している。斜線が施されていない領域が１階低周波成分画像であり、１方向に斜線が施されている領域が１階高周波成分画像（２階低周波成分画像ともいう）であり、２方向に斜線が施されている領域が２階高周波成分画像である。ウェーブレットパケット分解では、空間方向に均等に周波数分解を行う。すなわち、低周波帯域のみならず高周波帯域についても周波数分解を行う。四分木分割構造となるようにウェーブレットパケット分解処理を行うことにより、後述する領域判定を容易に行うことが可能となる。

【0020】

位置合わせ部１２は、周波数分解部１１により生成された周波数分解画像のうちの低周波成分画像間において、ブロック領域ごとに、相似するオブジェクトの位置関係を示す位置合わせ情報を生成し、領域判定部１３に出力する。

【0021】

図３に、位置合わせ部１２における位置合わせ処理の概要を示す。位置合わせ部１２は、周波数分解画像のｉ階低周波成分画像ＬＬ^ｉを基準フレームとし、ｊ階（ｉ＜ｊ）低周波成分画像ＬＬ^ｊを参照フレームとする。図３に示す例では、ｉ＝１、ｊ＝２である。そして、基準フレームを複数サイズ（例えば、４×４画素、６×６画素、及び８×８画素）のブロック領域に分割し、任意のブロックから参照フレームへブロックマッチングを行い、探索範囲内で類似度（相関性）の最も高いブロックの位置関係を示す位置合わせ情報を生成する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、ＳＡＤ又はＳＳＤの評価関数値が閾値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。

【0022】

【数1】

【0023】

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

【0024】

領域判定部１３は、周波数分解部１１により生成された周波数分解画像のパワーを解析し、階調拡大画像についてブロック領域ごと又は位相位置（画素位置）ごとに、グラデーション領域又はエッジ領域であるか否かの判定を行う。そして、グラデーション領域と判定されたブロック領域（グラデーション領域と判定された画素を有するブロック領域も含む）、又はエッジ領域と判定されたブロック領域（エッジ領域と判定された画素を有するブロック領域も含む）に対する位置合わせ情報は、確度が低いおそれがあるために破棄する。このようにして確度が低いおそれがある位置合わせ情報を破棄し、残りの位置合わせ情報を位置合わせ選別情報として、割付部１４に出力する。

【0025】

図４に、領域判定部１３による領域判定処理の概要を示す。ここでは、図２と同様に２階ウェーブレットパケット分解処理をした場合について、水平周波数に対するパワーを示している。領域判定では、基準フレーム上の任意のブロック領域又は位相位置において、全周波数帯域のパワーの合計値に対する低周波帯域（図４では１階水平低周波帯域）のパワーの比が閾値（例えば、０．９）以上という第１の条件を満たす場合には、当該ブロック領域をグラデーション領域と判定する。そして、グラデーション領域と判定されたブロック領域については、特にブロックサイズが閾値以下（例えば、４×４画素）である場合に、該ブロック領域に対する位置合わせ情報を破棄するのが好適である。

【0026】

また、基準フレーム上の任意のブロック領域又は位相位置において、全周波数帯域のパワーの合計値に対する低周波帯域（図４では１階水平低周波帯域）のパワーの比が閾値（例えば、０．８）以上かつ高周波帯域（図４では２階水平高周波帯域）のパワーの比が閾値（例えば、０．０３）以上という第２の条件を満たす場合には、当該ブロック領域をエッジ領域と判定する。そして、エッジ領域と判定されたブロック領域については、特にブロックサイズが閾値以上（例えば、８×８画素）である場合に、該ブロック領域に対する位置合わせ情報を破棄するのが好適である。

【0027】

図４では水平方向についてのみ示しているが、領域判定部１４は、同様に垂直方向、及び対角方向についても領域判定を行うのが好適である。この場合には、方向に応じて判定結果が異なることもある点を考慮し、例えば、水平方向、垂直方向、及び対角方向のすべての判定結果がグラデーション領域であった場合に、最終的にグラデーション領域と判定し、水平方向、垂直方向、及び対角方向の判定結果のいずれかの判定結果がエッジ領域であった場合に、最終的にエッジ領域と判定してもよい。また、上記判定において、第１の条件と第２の条件の双方を満たす場合には、エッジ領域と判定してもよい。領域判定部１４は、以上の処理をすべてのブロック領域において行って一部の位置合わせ情報を破棄し、残った位置合わせ情報を位置合わせ選別情報として出力する。

【0028】

割付部１４は、領域判定部１３により生成された位置合わせ選別情報に従って、周波数分解部１１により生成された周波数分解画像のうちの高周波成分画像ＬＨ^ｉ，ＨＬ^ｉ，ＨＨ^ｉに割り付けを行い、割付後の高周波成分画像ＬＨ^ｉ’，ＨＬ^ｉ’，ＨＨ^ｉ’を周波数再構成部１５に出力する。

【0029】

図５に、割付部１４による割り付け処理の概要を示す。図５に示すように、位置合わせ選別情報に従って、参照フレームＬＬ^ｊの高周波成分画像ＬＨ^ｊ，ＨＬ^ｊ，ＨＨ^ｊを、基準フレームＬＬ^ｉの高周波成分画像ＬＨ^ｉ，ＨＬ^ｉ，ＨＨ^ｉに割り付ける。図５に示す例では、ｉ＝１、ｊ＝２である。ここで、高周波成分画像ＬＨ^ｊ，ＨＬ^ｊ，ＨＨ^ｊを割り付ける際には、参照フレームＬＬ^ｊ内の同じ位相位置の位置合わせ情報に従うこととする。これは、基準フレームＬＬ^ｉ内のブロックＰが参照フレームＬＬ^ｊ内のブロックＱに類似していれば、高周波成分画像ＬＨ^ｉ，ＨＬ^ｉ，ＨＨ^ｉ内における、ブロックＰと同じ位相位置のブロックは、高周波成分ＬＨ^ｊ，ＨＬ^ｊ，ＨＨ^ｊ内における、ブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。

【0030】

また、位置合わせ部１２において、類似するブロックの位置関係を小数画素精度で求めた場合には、割付部１４は、小数画素位置を通常の画素位置に合わせるために、割り付け後の高周波成分画像ＬＨ^ｉ’，ＨＬ^ｉ’，ＨＨ^ｉ’に対して、光学系の解像度劣化過程を模擬した点広がり関数（Point spread function；ＰＳＦ）を用いた補間を行う。式（２）に、点広がり関数を示す。ここで、ｗはガウス関数の半値幅（分散値）である。

【0031】

【数2】

【0032】

割付部１４は、割り付けを全て終えた後、水平、垂直、対角高周波成分として候補が複数存在する場合には、それらの値を平均するか、最大事後確率（Maximum a posteriori；ＭＡＰ）再構成を行い、未知の値を推定する。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: “A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”, IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、高周波成分画像を推定してもよい。

【0033】

周波数再構成部１５は、周波数分解部１１により生成された低周波成分画像を低周波成分とし、割付部１４により割り付けられた割付後の高周波成分画像を高周波成分として、ｎ階周波数再構成し、階調超解像画像を生成し、外部に出力する。

【0034】

図６に、周波数再構成部１５による周波数再構成処理の概要を示す。図６に示す例では、低周波成分画像ＬＬ^１を低周波成分とし、割付後の水平高周波成分画像ＬＨ^１’、垂直高周波成分画像ＨＬ^１’、対角高周波成分画像ＨＨ^１’を高周波成分として複数階層の周波数再構成処理を行うことにより、階調超解像画像が生成される。なお、周波数分解部１１が周波数分解処理としてウェーブレットパケット分解処理を行った場合には、周波数再構成部１５は、同じウェーブレットを用いてウェーブレットパケット再構成処理を行う。

【0035】

なお、上述した階調超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、階調超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0036】

上述したように、本発明では、周波数分解画像のパワーを解析することにより、ブロック領域がグラデーション領域又はエッジ領域であるか否かを判定し、グラデーション領域又はエッジ領域と判定したブロック領域に対する位置合わせ情報は確度が低いおそれがあるため破棄する。これにより、確度が高い位置合わせ情報（位置合わせ選定情報）のみを用いて位置合わせすることができ、階調超解像画像を生成することが可能となる。

【0037】

特に、グラデーション領域における位置合わせでは、小さなブロックを用いて位置合わせを行う場合にはオブジェクトの特徴をつかみづらいため、位置合わせ精度が低くなりやすい。また、エッジ領域における位置合わせでは、大きなブロックを用いて位置合わせを行う場合には、位置合わせ精度が低くなりやすい。そのため、グラデーション領域と判定したブロック領域については、ブロックサイズが閾値以下である場合に該ブロック領域に対する前記位置合わせ情報を破棄し、エッジ領域と判定したブロック領域については、ブロックサイズが閾値以上である場合に該ブロック領域に対する位置合わせ情報を破棄することで、位置合わせ情報の数を必要以上に減らすことなく、階調超解像画像を生成することが可能となる。

【0038】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【0039】

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

【符号の説明】

【0040】

１ 階調超解像装置
１０ 階調拡大部
１１ 周波数分解部
１２ 位置合わせ部
１３ 領域判定部
１４ 割付部
１５ 周波数再構成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】