特許 7002213 空間・階調超解像装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-04

(45)【発行日】2022-01-20

(54)【発明の名称】空間・階調超解像装置及びプログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20220113BHJP

【ＦＩ】

G06T3/40 730

【請求項の数】 5

(21)【出願番号】P 2017091314

(22)【出願日】2017-05-01

(65)【公開番号】P2018190145

(43)【公開日】2018-11-29

【審査請求日】2020-03-31

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】境田 慎一

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１５－１３２９３０（ＪＰ，Ａ）

【文献】特開２０１５－２０３９５２（ＪＰ，Ａ）

【文献】特開２０１２－２５７１２０（ＪＰ，Ａ）

【文献】特開２０１６－１３４０７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／４０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

原画像を空間方向及び階調方向に超解像処理して空間・階調超解像画像を生成する空間・階調超解像装置であって、
前記原画像の各画素の階調値を、前記空間・階調超解像画像の階調数に応じて整数倍して階調超解像画像を生成する階調超解像画像生成部と、
前記階調超解像画像に対して周波数分解処理を行って周波数分解画像を生成する周波数分解部と、
前記階調超解像画像と、前記周波数分解画像の低周波成分画像との間で類似するブロックの位置関係を示す位置合わせ情報を生成する位置合わせ部と、
前記位置合わせ情報に従って、前記空間・階調超解像画像の高周波成分として、前記周波数分解画像の高周波成分画像を割り付けて超解像高周波成分画像を生成する超解像高周波成分割付部と、
前記階調超解像画像を低周波成分とし、前記割り付けがなされた前記超解像高周波成分画像を高周波成分として周波数再構成処理して前記空間・階調超解像画像を生成する周波数再構成部と、
を備えることを特徴とする空間・階調超解像装置。

【請求項2】

前記超解像高周波成分割付部は、前記階調超解像画像と同じサイズで初期値が０である、超解像水平成分画像、超解像垂直成分画像、及び超解像対角成分画像からなる超解像高周波成分画像を生成し、前記位置合わせ情報に従って、前記超解像高周波成分画像に、前記周波数分解画像の高周波成分画像を割り付けることを特徴とする、請求項１に記載の空間・階調超解像装置。

【請求項3】

前記位置合わせ部は、前記階調超解像画像と、前記周波数分解画像の低周波成分画像との間で類似するブロックの位置関係を小数画素精度で求め、
前記超解像高周波成分割付部は、点広がり関数を用いた補間を行い、該点広がり関数の半値幅を前記低周波成分画像の階層ごとに設定すること特徴とする、請求項１又は２に記載の空間・階調超解像装置。

【請求項4】

前記周波数分解部は、線形位相性を有し、タップ長が閾値以上のウェーブレットを用いたウェーブレット分解処理を行い、
前記周波数再構成部は、前記ウェーブレットを用いたウェーブレット再構成を行うことを特徴とする、請求項１から３のいずれか一項に記載の空間・階調超解像装置。

【請求項5】

コンピュータを、請求項１から４のいずれか一項に記載の空間・階調超解像装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、原画像を空間方向及び階調方向に超解像処理して空間・階調超解像画像を生成する空間・階調超解像装置及びプログラムに関する。

【背景技術】

【0002】

従来、画像を空間方向に空間超解像処理して元の画像よりも解像度の高い画像を生成する空間超解像技術が知られている。空間超解像技術としては、学習型と再構成型が知られている。学習型は、低周波成分と高周波成分の組をデータベースとして保持し、原画像と低周波成分のマッチングにより高周波成分を超解像成分として設定する方式である。再構成型は、線形、非線形フィルタ処理、又は複数フレーム間のレジストレーションにより超解像成分を生成する方式である（例えば、非特許文献１参照）。

【0003】

また、画像を階調方向に階調超解像処理して、元の画像よりも階調数の多い画像を生成する階調超解像装置が知られている。例えば、隣接する画素値は連続するという仮定のもと、ガウシアンフィルタなどにより中間階調値を生成することができる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－００３３７０号公報

【非特許文献】

【0005】

【文献】奥富、田中、竹島、松本、「画像超解像処理技術の最新動向」、No.93(8)、p.693-698、Aug. 2010

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来の学習型の空間超解像においては、高画質な空間超解像画像を得るためには、膨大なデータベースが必要となる。また、従来の再構成型の空間超解像においては、線形、非線形フィルタ処理では、必ずしも高画質な超解像画像が得られず、複数フレーム間のレジストレーションでは、位置合わせ精度が高い場合は高画質な超解像画像が得られるが、一般にオクルージョンやノイズなどの影響により高い位置合わせ精度を得ることは困難である。

【0007】

また、従来の階調超解像技術においては、エッジやテクスチャがぼやけるほか、ノイズなどに弱いという問題があった。

【0008】

かかる事情に鑑みてなされた本発明の目的は、高画質な空間・階調超解像画像を生成することが可能な空間・階調超解像装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するため、本発明に係る空間階調超解像装置は、原画像を空間方向及び階調方向に超解像処理して空間・階調超解像画像を生成する空間・階調超解像装置であって、前記原画像の各画素の階調値を、前記空間・階調超解像画像の階調数に応じて整数倍して階調超解像画像を生成する階調超解像画像生成部と、前記階調超解像画像に対して周波数分解処理を行って周波数分解画像を生成する周波数分解部と、前記階調超解像画像と、前記周波数分解画像の低周波成分画像との間で類似するブロックの位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記位置合わせ情報に従って、前記空間・階調超解像画像の高周波成分として、前記周波数分解画像の高周波成分画像を割り付けて超解像高周波成分画像を生成する超解像高周波成分割付部と、前記階調超解像画像を低周波成分とし、前記割り付けがなされた前記超解像高周波成分画像を高周波成分として周波数再構成処理して前記空間・階調超解像画像を生成する周波数再構成部と、を備えることを特徴とする。
さらに、本発明に係る空間階調超解像装置において、前記超解像高周波成分割付部は、前記階調超解像画像と同じサイズで初期値が０である、超解像水平成分画像、超解像垂直成分画像、及び超解像対角成分画像からなる超解像高周波成分画像を生成し、前記位置合わせ情報に従って、前記超解像高周波成分画像に、前記周波数分解画像の高周波成分画像を割り付けることを特徴とする。

【0010】

さらに、本発明に係る空間階調超解像装置において、前記位置合わせ部は、前記階調超解像画像と、前記周波数分解画像の低周波成分画像との間で類似するブロックの位置関係を小数画素精度で求め、前記超解像高周波成分割付部は、点広がり関数を用いた補間を行い、該点広がり関数の半値幅を前記低周波成分画像の階層ごとに設定すること特徴とする。

【0011】

さらに、本発明に係る空間階調超解像装置において、前記周波数分解部は、線形位相性を有し、タップ長が閾値以上のウェーブレットを用いたウェーブレット分解処理を行い、前記周波数再構成部は、前記ウェーブレットを用いたウェーブレット再構成を行うことを特徴とする。

【0012】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記空間階調超解像装置として機能させることを特徴とする。

【発明の効果】

【0013】

本発明によれば、高画質な空間・階調超解像画像を生成することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る空間階調超解像装置の構成例を示すブロック図である。

【図2】本発明の一実施形態に係る空間階調超解像装置における階調超解像画像の階調値の一例を示す図である。

【図3】本発明の一実施形態に係る空間階調超解像装置における位置合わせ部の処理の概要を示す図である。

【図4】本発明の一実施形態に係る空間階調超解像装置における超解像高周波成分割付部の処理の概要を示す図である。

【図5】本発明の一実施形態に係る空間階調超解像装置における周波数再構成部の処理の概要を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0016】

図１に、本発明の一実施形態に係る空間・階調超解像装置の構成例を示す。図１に示す空間・階調超解像装置１は、階調超解像画像生成部１１と、周波数分解部１２と、位置合わせ部１３と、超解像高周波成分割付部１４と、周波数再構成部１５とを備える。

【0017】

空間・階調超解像装置１は、原画像を入力して空間・階調超解像処理し、空間・階調超解像画像を生成する。本明細書において、「空間・階調超解像処理」とは、原画像を空間方向及び階調方向に超解像処理することをといい、「空間・階調超解像画像」とは、空間・階調超解像処理された画像のことをという。

【0018】

階調超解像画像生成部１１は、原画像を入力して、原画像の各画素の階調値を空間・階調超解像画像の階調数に応じてＬ倍して階調超解像画像を生成し、周波数分解部１２、位置合わせ部１３、及び周波数再構成部１５に出力する。原画像の階調数をａ、空間・階調超解像画像の階調数をｂとすると、Ｌ＝２^{（ｂ－ａ）}である。例えば、８ビット階調を１２ビット階調に超解像する場合には、階調値を１６倍する。

【0019】

図２は、階調超解像画像の階調値の一例を示す図である。図２の左側は原画像の階調値を示し、右側は階調超解像画像の階調値を示している。階調超解像画像は原画像に対して階調値が整数倍されているため、階調値は飛び飛びの値となる。

【0020】

周波数分解部１２は、階調超解像画像生成部１１により生成された階調超解像画像に対して複数階層の周波数分解（多重解像度分解）処理を行って周波数分解画像を生成する。周波数分解画像は、階調超解像画像の低周波成分画像ＬＬ^ｎと、階調超解像画像の高周波成分画像である水平高周波成分画像ＬＨ^ｎ、垂直高周波成分画像ＨＬ^ｎ、及び対角高周波成分画像ＨＨ^ｎとからなる。添え字のｎは分解階数を意味し、例えば、原画像を３階周波数分解した場合には、ｎ＝１，２，３の周波数分解画像が生成される。周波数分解部１２は、低周波成分画像ＬＬ^ｎを位置合わせ部１３に出力し、高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎを超解像高周波成分割付部１４に出力する。

【0021】

周波数分解部１２は、階調超解像画像の階調値が不連続なことを考慮して、線形位相性を有し、タップ長が閾値以上のウェーブレット（例えば、ＣＤＦ９／７）を用いたウェーブレット分解処理を行うのが好適である。

【0022】

位置合わせ部１３は、階調超解像画像生成部１１により生成された階調超解像画像と、周波数分解部１２により生成された周波数分解画像のうちの低周波成分画像ＬＬ^ｎとの間で類似するブロックの位置関係を示す位置合わせ情報（レジストレーション情報）を生成し、超解像高周波成分割付部１４に出力する。

【0023】

図３は、位置合わせ部１３における位置合わせ処理の概要を示す図である。位置合わせ部１３は、例えば階調超解像画像を基準フレームとし、低周波成分画像ＬＬ^ｎ（図３ではｎ＝１）を参照フレームとして、両フレーム間でブロックマッチングを行い、探索範囲内で類似度（相関性）の最も高いブロックの位置関係を示す位置合わせ情報を生成する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、ＳＡＤ又はＳＳＤの評価関数値が閾値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。

【0024】

【数1】

【0025】

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(－1)は中心位置から－ｘ方向又は－ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

【0026】

超解像高周波成分割付部１４は、原画像のナイキスト周波数を超える、空間・階調超解像画像の高周波成分画像（超解像高周波成分画像）を推定するために、まず初期値を設定する。超解像高周波成分画像は、空間・階調超解像画像の水平高周波成分である超解像水平成分画像と、空間・階調超解像画像の垂直高周波成分である超解像垂直成分画像と、空間・階調超解像画像の対角高周波成分である超解像対角成分画像からなる。例えば、超解像水平成分画像、超解像垂直成分画像、超解像対角成分画像をそれぞれ階調超解像画像と同じサイズ（すなわち、原画像と同じサイズ）とし、初期値として全画素の値を０とする。

【0027】

次に、超解像高周波成分割付部１４は、位置合わせ部１３により生成された位置合わせ情報に従って、超解像高周波成分画像の高周波成分として、周波数分解部１２により生成された高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎを割り付けて超解像高周波成分画像を生成し、周波数再構成部１５に出力する。

【0028】

図４は、超解像高周波成分割付部１４の処理の概要を示す図である。超解像高周波成分割付部１４は、位置合わせ情報に従って、高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎを、超解像水平成分画像、超解像垂直成分画像、及び超解像対角成分画像に割り付ける。ここで、高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎを割り付ける際には、低周波成分画像ＬＬ^ｎ内の同じ位相位置の位置合わせ情報に従うこととする。これは、階調超解像画像内のブロックＰが低周波成分画像ＬＬ^ｎ内のブロックＱに類似していれば、未知の超解像水平成分画像、超解像垂直成分画像、超解像対角成分画像内における、ブロックＰと同じ位相位置のブロックは、高周波成分ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎ内における、ブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。

【0029】

また、位置合わせ部１３において、類似するブロックの位置関係を小数画素精度で求めた場合には、超解像高周波成分割付部１４は、小数画素位置を通常の画素位置に合わせるために、割り付け後の超解像水平成分画像、超解像垂直成分画像、及び超解像対角成分画像に対して、光学系の解像度劣化過程を模擬した点広がり関数（Point spread function；ＰＳＦ）を用いた補間を行う。式（２）に、点広がり関数を示す。ここで、ｗはガウス関数の半値幅（分散値）である。そして、点広がり関数の分散をｎ階ごとに制御する。具体的には、階数ｎが大きいほど、解像度劣化（ぼやけ）が大きいとして、半値幅ｗを大きな値に設定する。例えばｎ＝１の時にｗ＝１とし、ｎ＝２ではｗ＝２とし、ｎ＝３ではｗ＝３とする。

【0030】

【数2】

【0031】

超解像高周波成分割付部１４は、水平、垂直、対角超解像成分として候補が複数存在する場合には、それらの値を平均するか、最大事後確率（Maximum a posteriori；ＭＡＰ）再構成を行い、未知の値を推定する。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: “A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”, IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、超解像高周波成分画像を推定してもよい。

【0032】

周波数再構成部１５は、階調超解像画像生成部１１により生成された階調超解像画像を低周波成分とし、超解像高周波成分割付部１４により割り付けられた超解像高周波成分画像を高周波成分として、周波数再構成処理して空間・階調超解像画像を生成し、外部に出力する。なお、周波数分解部１１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１５は、同じウェーブレットを用いてウェーブレット再構成処理を行う。

【0033】

図５は、周波数再構成部１５の処理の概要を示す図である。図５の例では、１階ウェーブレット再構成処理を行うことで、原画像に対して水平方向の画素数が２倍、垂直方向の画素数が２倍の空間・階調超解像画像を生成される様子を示している。

【0034】

なお、上述した空間・階調超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、空間・階調超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0035】

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

【0036】

上述したように、本発明は、まず原画像の各画素の階調値を、空間・階調超解像画像の階調数に応じて整数倍して階調超解像画像を生成し、階調超解像画像に対して周波数分解処理を行って周波数分解画像を生成する。次に、階調超解像画像と、周波数分解画像の低周波成分画像との間で類似するブロックの位置関係を示す位置合わせ情報を生成し、位置合わせ情報を用いて、空間・階調超解像画像の高周波成分として、周波数分解画像の高周波成分画像を割り付けて超解像高周波成分画像を生成する。最後に、階調超解像画像を低周波成分とし、超解像高周波成分画像を高周波成分として周波数再構成処理して空間・階調超解像画像を生成する。これにより、原画像の空間解像度及び階調数を超解像処理した、高精度かつ高確度な空間・階調超解像画像を生成することができる。

【0037】

また、位置合わせを小数画素精度で求め、小数画素精度の位置合わせ結果を画素位置に合わせるために、水平、垂直、対角高周波成分に光学系の解像度劣化過程を模擬した点広がり関数を適用し、この点広がり関数を低周波成分画像の階層ごとに設定するようにしてもよい。特に、階調数の超解像における従来法では、隣接画素値は連続しやすいという根拠のもと、ガウシアンフィルタ等を用いて階調数を補間していた。これに対して本発明では、同一フレーム内の相似オブジェクトの小数画素精度位置合わせ及び周波数分解階数に応じた点広がり関数を用いた割り付けを行うため、従来よりも高精度かつ高確度に空間解像度及び階調数を同時に補間することができる。

【0038】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0039】

１ 空間・階調超解像装置
１１ 階調超解像画像生成部
１２ 周波数分解部
１３ 位置合わせ部
１４ 超解像高周波成分割付部
１５ 周波数再構成部

【図1】

【図2】

【図3】

【図4】

【図5】