(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-09
(45)【発行日】2022-11-17
(54)【発明の名称】超解像装置およびそのプログラム
(51)【国際特許分類】
G06T 3/40 20060101AFI20221110BHJP
【ＦＩ】
G06T3/40 730
G06T3/40 725
【請求項の数】
5
(21)【出願番号】P 2018153358
(22)【出願日】2018-08-17
(65)【公開番号】P2020027557
(43)【公開日】2020-02-20
【審査請求日】2021-07-13
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】市ヶ谷 敦郎
【審査官】松永 隆志
(56)【参考文献】
【文献】国際公開第２０１８／０４８５０７（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１５０２０４（ＷＯ，Ａ１）
【文献】菅原 佑介 ほか２名，畳み込みニューラルネットワークを用いた超解像の並列計算法，電子情報通信学会技術研究報告，2017年02月13日，Ｖｏｌ．１１６ Ｎｏ．４６３，p.13～18
【文献】仁井田 輝 ほか１名，ＳＲＣＮＮによるＭＲＩ画像の高解像度化とその工学的評価，電子情報通信学会技術研究報告 ，2018年03月12日，Ｖｏｌ．１１７ Ｎｏ．５１８，p.1～4
【文献】Chao Dong, et al，Image Super-Resoluion using deep convolutional networks，IEEE transactions on pattern analysis and machine intelligence，2016年02月，vol.38, No.2，p.295-307
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００－１９／２０
(57)【特許請求の範囲】
【請求項1】
予め設定された超解像の拡大率で入力信号を高解像度化する超解像装置であって、学習用の入力信号を前記拡大率の逆数倍でダウンサンプリングして低解像信号を生成するダウンサンプリング手段と、
パラメータに応じて前記低解像信号をアップサンプリングし、前記学習用の入力信号を模擬した復元模擬信号を生成するアップサンプリング手段と、
前記学習用の入力信号と前記復元模擬信号との誤差が小さくなるように前記パラメータを更新するパラメータ更新手段と、
前記パラメータを学習する学習モードと超解像信号を生成する実行モードとで、出力先を切り替える第１切替手段と第２切替手段と、を備え、
前記アップサンプリング手段は、前記パラメータ更新手段における前記パラメータの更新中に、新たなパラメータで前記低解像信号をアップサンプリングし、前記パラメータの更新後に、更新後のパラメータで超解像対象の入力信号をアップサンプリングすることにより前記超解像信号を生成し、
前記第１切替手段は、前記学習モードにおいて、前記学習用の入力信号を前記ダウンサンプリング手段および前記パラメータ更新手段に出力し、前記実行モードにおいて、前記超解像対象の入力信号を前記アップサンプリング手段に出力し、
前記第２切替手段は、前記学習モードにおいて、前記アップサンプリング手段で生成される前記復元模擬信号を前記パラメータ更新手段に出力し、前記実行モードにおいて、前記アップサンプリング手段で生成される前記超解像信号を外部に出力することを特徴とする超解像装置。
【請求項2】
請求項１に記載の超解像装置において、前記アップサンプリング手段は、畳み込み手段を備えたニューラルネットワークで構成され、
前記パラメータ更新手段は、前記パラメータを誤差逆伝播法により更新することを特徴とする超解像装置。
【請求項3】
請求項１に記載の超解像装置において、前記アップサンプリング手段は、タップ係数列による畳み込みを行う畳み込み手段を備え、
前記パラメータ更新手段は、前記タップ係数列を前記パラメータとして更新することを特徴とする超解像装置。
【請求項4】
請求項２または請求項３に記載の超解像装置において、前記アップサンプリング手段は、前記畳み込み手段の前段に、当該アップサンプリング手段に入力される信号に対して前記拡大率で内挿を行う内挿手段を備えることを特徴とする超解像装置。
【請求項5】
コンピュータを、請求項１から請求項４のいずれか一項に記載の超解像装置として機能させるための超解像プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号を高解像度化させる超解像装置およびそのプログラムに関する。
【背景技術】
【0002】
従来、画像の解像度を向上させる手法として、入力画像に対して、ウェーブレット変換等の直交変換を行った後、高解像度化した画像の空間高周波スペクトルを推定し、入力画像に逆直交変換を行うことで、入力画像を高解像度化する手法が開示されている（特許文献１参照）。
【0003】
この手法は、入力画像と高解像度化後の画像との間には自己相似性が存在すると仮定して、入力画像を直交変換した空間高周波スペクトルから、高解像度化後の帯域の空間高周波スペクトルを補間生成する。
そして、この手法は、入力画像が予め原画像を低解像度化した画像であって、原画像をオクターブ分解した帯域別のスペクトルパワー代表値を既知の情報として外部から入力する。あるいは、この手法は、自己相似性を前提として、入力画像をオクターブ分解した帯域別のスペクトルパワー代表値を、そのまま、水平・垂直方向に２倍した帯域のスペクトルパワー代表値とする。
さらに、この手法は、入力画像のスペクトルと空間高周波スペクトルとを、外部から入力したスペクトルパワー代表値、あるいは、帯域別に入力画像から求めたスペクトルパワー代表値となるように補正する。
そして、この手法は、補正した入力画像のスペクトルと空間高周波スペクトルとに対して、逆直交変換を行うことで、高解像度化した画像を生成する。
そして、この手法は、入力画像が予め原画像を低解像度化した画像であって、原画像をオクターブ分解した帯域別のスペクトルパワー代表値を既知の情報として外部から入力する。あるいは、この手法は、自己相似性を前提として、入力画像をオクターブ分解した帯域別のスペクトルパワー代表値を、そのまま、水平・垂直方向に２倍した帯域のスペクトルパワー代表値とする。
さらに、この手法は、入力画像のスペクトルと空間高周波スペクトルとを、外部から入力したスペクトルパワー代表値、あるいは、帯域別に入力画像から求めたスペクトルパワー代表値となるように補正する。
そして、この手法は、補正した入力画像のスペクトルと空間高周波スペクトルとに対して、逆直交変換を行うことで、高解像度化した画像を生成する。
【0004】
また、画像の解像度を向上させる他の手法として、入力画像の拡大で生じる劣化成分を、入力画像のブロック単位の局所的な相似性から推定し、拡大画像に合成することで、入力画像を高解像度化する手法が開示されている（特許文献２参照）。
【0005】
この手法は、入力画像を予め定めた大きさの処理ブロックを順次切り出し、水平・垂直方向に２倍した拡大ブロックを生成する。
また、この手法は、拡大ブロックと同じ大きさの参照ブロックを入力画像から順次切り出し、縮小劣化させて複数の劣化ブロックを生成する。そして、この手法は、劣化ブロックを水平・垂直方向に２倍し、処理ブロックとの間の損失成分を生成する。
そして、この手法は、処理ブロックを水平・垂直方向に２倍し、拡大後の処理ブロックに、拡大前の処理ブロックと劣化ブロックとの類似度に応じて損失成分を合成することで、超解像ブロックを生成する。
また、この手法は、拡大ブロックと同じ大きさの参照ブロックを入力画像から順次切り出し、縮小劣化させて複数の劣化ブロックを生成する。そして、この手法は、劣化ブロックを水平・垂直方向に２倍し、処理ブロックとの間の損失成分を生成する。
そして、この手法は、処理ブロックを水平・垂直方向に２倍し、拡大後の処理ブロックに、拡大前の処理ブロックと劣化ブロックとの類似度に応じて損失成分を合成することで、超解像ブロックを生成する。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１２－５９１３８号公報
【文献】特開２０１２－１１３５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
前記した特許文献１に記載された手法（以下、従来手法１）は、空間高周波スペクトルを推定するために、入力画像を生成した原画像をオクターブ分解した帯域別のスペクトルパワー代表値を既知の情報として用い、空間高周波スペクトルを推定する。
しかし、このような原画像に対する情報は、必ずしも得られるわけではない。そのため、従来手法１では、元となる原画像がない画像からは、高解像度の画像を生成することができないという問題がある。
しかし、このような原画像に対する情報は、必ずしも得られるわけではない。そのため、従来手法１では、元となる原画像がない画像からは、高解像度の画像を生成することができないという問題がある。
【0008】
また、従来手法１は、別の手法として、自己相似性を前提として、入力画像をオクターブ分解した帯域別のスペクトルパワー代表値を用いて、空間高周波スペクトルを推定する。
しかし、この別の手法は、スペクトルパワーの調整のみでしか、空間高周波スペクトルを推定することができない。このように、スペクトルパワー代表値を用いたスペクトルパワーの調整のみでは、細かい空間周波数単位でのスペクトルの調整には限界がある。そのため、従来の手法に対して、さらなる高画質化の要望があった。
しかし、この別の手法は、スペクトルパワーの調整のみでしか、空間高周波スペクトルを推定することができない。このように、スペクトルパワー代表値を用いたスペクトルパワーの調整のみでは、細かい空間周波数単位でのスペクトルの調整には限界がある。そのため、従来の手法に対して、さらなる高画質化の要望があった。
【0009】
また、前記した特許文献２に記載された手法（以下、従来手法２）は、ブロック単位の局所的な相似性を利用するため、画像内に、被写体像の形状やパターンとしての自己相似性の存在が必要となる。そのため、従来手法２は、局所的に相似する画像がない、あるいは、少ないブロックについては、高画質な超解像ブロックを生成することが困難であり、さらなる高画質化の要望があった。
【0010】
本発明は、このような問題や要望に鑑みてなされたものであり、自己相似性の存在を仮定した（すなわち、水平Ｘ／Ｒ垂直Ｙ／Ｓの解像度から水平Ｘ垂直Ｙの解像度への超解像のパラメータを以て、水平Ｘ垂直Ｙの解像度から水平ＲＸ垂直ＳＹへの超解像度をも実行できると仮定できる）超解像のパラメータを予め学習することで、入力信号を高品質に超解像化することが可能な超解像装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0011】
前記課題を解決するため、本発明に係る超解像装置は、入力信号を予め設定された超解像の拡大率で高解像度化する超解像装置であって、ダウンサンプリング手段と、アップサンプリング手段と、パラメータ更新手段と、第１切替手段と、第２切替手段と、を備える構成とした。
【0012】
かかる構成において、超解像装置は、ダウンサンプリング手段によって、予め設定された超解像の拡大率の逆数倍で学習用の入力信号をダウンサンプリングして低解像信号を生成する。
また、超解像装置は、アップサンプリング手段によって、パラメータに応じて低解像信号をアップサンプリングし、学習用の入力信号を模擬した復元模擬信号を生成する。この復元模擬信号と学習用の入力信号との誤差が小さければ、パラメータは、超解像のパラメータとして適していることになる。
そして、超解像装置は、パラメータ更新手段によって、入力信号と復元模擬信号との誤差が小さくなるようにパラメータを更新する。
また、超解像装置は、アップサンプリング手段によって、パラメータに応じて低解像信号をアップサンプリングし、学習用の入力信号を模擬した復元模擬信号を生成する。この復元模擬信号と学習用の入力信号との誤差が小さければ、パラメータは、超解像のパラメータとして適していることになる。
そして、超解像装置は、パラメータ更新手段によって、入力信号と復元模擬信号との誤差が小さくなるようにパラメータを更新する。
【0013】
そして、超解像装置は、パラメータ更新手段におけるパラメータの更新中に、アップサンプリング手段によって、新たなパラメータで低解像信号をアップサンプリングする。これによって、パラメータ更新手段は、順次、入力信号と復元模擬信号との誤差を小さくして、新たなパラメータとして更新する。
このように、低解像信号から入力信号と近似する相似的な復元模擬信号を生成するようにパラメータを学習することで、当該パラメータは、自己相似性を仮定したパラメータとなる。
このように、低解像信号から入力信号と近似する相似的な復元模擬信号を生成するようにパラメータを学習することで、当該パラメータは、自己相似性を仮定したパラメータとなる。
【0014】
そして、超解像装置は、パラメータ更新手段におけるパラメータの更新後に、アップサンプリング手段によって、更新後のパラメータで超解像対象の入力信号をアップサンプリングすることにより超解像信号を生成する。
このとき、第１切替手段は、学習モードにおいて、学習用の入力信号をダウンサンプリング手段およびパラメータ更新手段に出力し、実行モードにおいて、超解像対象の入力信号をアップサンプリング手段に出力する。また、第２切替手段は、学習モードにおいて、アップサンプリング手段で生成される復元模擬信号をパラメータ更新手段に出力し、実行モードにおいて、アップサンプリング手段で生成される超解像信号を外部に出力する。
なお、超解像装置は、コンピュータを、前記した各手段として機能させるための超解像プログラムで動作させることができる。
このとき、第１切替手段は、学習モードにおいて、学習用の入力信号をダウンサンプリング手段およびパラメータ更新手段に出力し、実行モードにおいて、超解像対象の入力信号をアップサンプリング手段に出力する。また、第２切替手段は、学習モードにおいて、アップサンプリング手段で生成される復元模擬信号をパラメータ更新手段に出力し、実行モードにおいて、アップサンプリング手段で生成される超解像信号を外部に出力する。
なお、超解像装置は、コンピュータを、前記した各手段として機能させるための超解像プログラムで動作させることができる。
【発明の効果】
【0015】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、入力信号と、ダウンサンプリングおよびアップサンプリングを行った復元模擬信号との誤差を小さくする方向にパラメータを学習するため、自己相似性に基づいた超解像を実現するパラメータを学習することができる。これによって、本発明は、学習したパラメータを用いて、入力信号から高品質な超解像信号を生成することができる。
本発明によれば、入力信号と、ダウンサンプリングおよびアップサンプリングを行った復元模擬信号との誤差を小さくする方向にパラメータを学習するため、自己相似性に基づいた超解像を実現するパラメータを学習することができる。これによって、本発明は、学習したパラメータを用いて、入力信号から高品質な超解像信号を生成することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る超解像装置の構成を示すブロック構成図である。
【図2】本発明の実施形態に係る超解像装置のアップサンプリング手段の構成を示すブロック構成図である。
【図3】本発明の実施形態に係る超解像装置の学習モードの動作を示すフローチャートである。
【図4】本発明の実施形態に係る超解像装置の実行モードの動作を示すフローチャートである。
【図5】本発明の実施形態に係る超解像装置のアップサンプリング手段の他の構成を示すブロック構成図である。
【発明を実施するための形態】
【0017】
【0018】
超解像装置１は、予め設定された超解像の拡大率で入力信号を高解像度化して超解像信号を生成するものである。超解像の拡大率とは、入力信号の標本化方向の倍率である。本実施形態では、入力信号および超解像信号として、２次元の画像（入力画像、超解像画像）を例として説明する。
なお、入力画像は、画像全体であってもよいし、所定区間（ブロック等、画像の一部分）であっても構わない。
なお、入力画像は、画像全体であってもよいし、所定区間（ブロック等、画像の一部分）であっても構わない。
【0019】
ここでは、入力画像の画像座標（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）とする。また、入力画像の解像度を幅Ｘ画素、高さＹ画素とする。
また、超解像画像の画像座標（ｘ，ｙ）における画素値をＪ（ｘ，ｙ）とする。また、超解像画像の解像度を幅Ｒ×Ｘ画素、高さＳ×Ｙ画素とする。ここで、実数Ｒは水平方向の倍率、実数Ｓは垂直方向の倍率（以下、ＲおよびＳを総称して超解像の拡大率と称する）である。ＲおよびＳの少なくとも一方は、１よりも大きい値とする。例えば、Ｒ＝Ｓ＝２とする。
また、超解像画像の画像座標（ｘ，ｙ）における画素値をＪ（ｘ，ｙ）とする。また、超解像画像の解像度を幅Ｒ×Ｘ画素、高さＳ×Ｙ画素とする。ここで、実数Ｒは水平方向の倍率、実数Ｓは垂直方向の倍率（以下、ＲおよびＳを総称して超解像の拡大率と称する）である。ＲおよびＳの少なくとも一方は、１よりも大きい値とする。例えば、Ｒ＝Ｓ＝２とする。
【0020】
超解像装置１は、学習モードおよび実行モードの２つの動作モードで動作する。
学習モードは、学習用の入力画像の解像度を向上させる変換処理（アップサンプリング）のパラメータを学習するモードである。
実行モードは、学習モードで学習したパラメータを用いて変換処理を行い、超解像対象の入力画像Ｉを超解像画像Ｊに変換するモードである。
なお、学習モードで入力する学習用の画像は任意の画像でよいが、実行モードで実際に超解像を行う超解像対象の画像を入力画像としてもよい。
学習モードは、学習用の入力画像の解像度を向上させる変換処理（アップサンプリング）のパラメータを学習するモードである。
実行モードは、学習モードで学習したパラメータを用いて変換処理を行い、超解像対象の入力画像Ｉを超解像画像Ｊに変換するモードである。
なお、学習モードで入力する学習用の画像は任意の画像でよいが、実行モードで実際に超解像を行う超解像対象の画像を入力画像としてもよい。
【0021】
図１に示すように、超解像装置１は、切替手段（第１切替手段）１０と、ダウンサンプリング手段１１と、パラメータ記憶手段１２と、アップサンプリング手段１３と、パラメータ更新手段１４と、切替手段（第２切替手段）１５と、を備える。
【0022】
切替手段１０は、動作モードによって、入力画像Ｉの出力先を切り替えるものである。切替手段１０は、パラメータ更新手段１４から動作モードとしてモード切替信号を入力されることで、入力画像Ｉの出力先を切り替える。
モード切替信号ｍが学習モードを示す（例えば、ｍ＝０）場合、切替手段１０は、入力画像Ｉを、ダウンサンプリング手段１１およびパラメータ更新手段１４に出力する。一方、モード切替信号ｍが実行モードを示す（例えば、ｍ＝１）場合、切替手段１０は、入力画像Ｉを、アップサンプリング手段１３に出力する。
モード切替信号ｍが学習モードを示す（例えば、ｍ＝０）場合、切替手段１０は、入力画像Ｉを、ダウンサンプリング手段１１およびパラメータ更新手段１４に出力する。一方、モード切替信号ｍが実行モードを示す（例えば、ｍ＝１）場合、切替手段１０は、入力画像Ｉを、アップサンプリング手段１３に出力する。
【0023】
ダウンサンプリング手段１１は、入力画像Ｉを標本化方向に解像度を減少させて、低解像画像（低解像信号）Ｄを生成するものである。なお、入力画像Ｉに対する低解像画像Ｄの解像度の比率は、入力画像Ｉの標本化方向である水平方向（ｘ軸方向）および垂直方向（ｙ軸方向）について、それぞれ、予め設定された超解像の拡大率の逆数倍とする。
【0024】
例えば、ダウンサンプリング手段１１は、標本（画素）の間引きによって、入力画像Ｉの解像度を減少させることができる。
具体的には、ダウンサンプリング手段１１は、以下の式（１）によって、入力画像Ｉを低解像画像Ｄに変換する。
具体的には、ダウンサンプリング手段１１は、以下の式（１）によって、入力画像Ｉを低解像画像Ｄに変換する。
【0025】
【数1】
【0026】
ここで、ｒｏｕｎｄ（ｚ）は、実数ｚを整数に端数処理する関数である。なお、端数処理としては、例えば、四捨五入、五捨六入、切り捨て、切り上げ、床関数、天井関数、偶数への丸め、奇数への丸め、ゼロ方向への丸め等を用いることができる。
【0027】
また、ダウンサンプリング手段１１は、間引きフィルタを用いた畳み込み処理によって、入力画像Ｉの解像度を減少させてもよい。
例えば、ダウンサンプリング手段１１は、以下の式（２）によって、間引きフィルタｈと標本の間引きとにより、入力画像Ｉを低解像画像Ｄに変換する。
例えば、ダウンサンプリング手段１１は、以下の式（２）によって、間引きフィルタｈと標本の間引きとにより、入力画像Ｉを低解像画像Ｄに変換する。
【0028】
【数2】
【0029】
なお、間引きフィルタｈは、特に限定するものではないが、例えば、平均平滑化、双一次補間、双三次補間、Ｌａｎｃｚｏｓ－３関数、打ち切りＳｉｎｃ関数等を用いることができる。
例えば、平均平滑化による間引きフィルタｈは、以下の式（３）となる。
例えば、平均平滑化による間引きフィルタｈは、以下の式（３）となる。
【0030】
【数3】
【0031】
また、例えば、双一次補間による間引きフィルタｈは、以下の式（４）となる。
【0032】
【数4】
【0033】
さらに、例えば、Ｌａｎｃｚｏｓ－３関数による間引きフィルタｈは、以下の式（５）となる。
【0034】
【数5】
【0035】
具体的には、Ｒ＝Ｓ＝２の場合において、前記式（３）の平均平滑化による間引きフィルタｈを用いた場合、ダウンサンプリング手段１１は、以下の式（６）により、入力画像Ｉを低解像画像Ｄに変換する。
【0036】
【数6】
【0037】
ダウンサンプリング手段１１は、変換後の低解像画像Ｄをアップサンプリング手段１３に出力する。
【0038】
パラメータ記憶手段１２は、アップサンプリング手段１３で行う変換処理（アップサンプリング）のパラメータを記憶するものである。このパラメータ記憶手段１２は、半導体メモリ等の一般的な記憶媒体で構成することができる。
なお、パラメータは、後記するアップサンプリング手段１３を、ニューラルネットワークで構成する場合、ニューラルネットワークの結合重み係数、バイアス値等である。また、このパラメータは、後記するアップサンプリング手段１３を、デジタルフィルタを用いた畳み込み手段で構成した場合、そのデジタルフィルタに設定されるタップ係数列である。
なお、パラメータは、後記するアップサンプリング手段１３を、ニューラルネットワークで構成する場合、ニューラルネットワークの結合重み係数、バイアス値等である。また、このパラメータは、後記するアップサンプリング手段１３を、デジタルフィルタを用いた畳み込み手段で構成した場合、そのデジタルフィルタに設定されるタップ係数列である。
【0039】
パラメータの初期値は、学習前のパラメータの値であって、特に限定するものではないが、例えば、予め定めた固定値（数値または数値列）であってもよいし、予め乱数によって生成された乱数値（数値または数値列）であってもよい。
このパラメータは、アップサンプリング手段１３およびパラメータ更新手段１４によって参照され、パラメータ更新手段１４によって更新される。
このパラメータは、アップサンプリング手段１３およびパラメータ更新手段１４によって参照され、パラメータ更新手段１４によって更新される。
【0040】
アップサンプリング手段１３は、切替手段１０から入力される入力画像Ｉまたはダウンサンプリング手段１１でダウンサンプリングされた低解像画像Ｄを、アップサンプリングするものである。
このアップサンプリング手段１３は、学習モードにおいて、パラメータ記憶手段１２に記憶されているパラメータを用いて、ダウンサンプリング手段１１でダウンサンプリングされた低解像画像Ｄをアップサンプリングする。なお、学習モードにおいて、アップサンプリング手段１３は、パラメータ更新手段１４から、新たなパラメータを用いて、アップサンプリングを行う旨の指示を通知されるたびに、低解像画像Ｄをアップサンプリングする。
また、アップサンプリング手段１３は、実行モードにおいて、パラメータ記憶手段１２に記憶されているパラメータを用いて、切替手段１０から入力される入力画像Ｉをアップサンプリングする。
このアップサンプリング手段１３は、学習モードにおいて、パラメータ記憶手段１２に記憶されているパラメータを用いて、ダウンサンプリング手段１１でダウンサンプリングされた低解像画像Ｄをアップサンプリングする。なお、学習モードにおいて、アップサンプリング手段１３は、パラメータ更新手段１４から、新たなパラメータを用いて、アップサンプリングを行う旨の指示を通知されるたびに、低解像画像Ｄをアップサンプリングする。
また、アップサンプリング手段１３は、実行モードにおいて、パラメータ記憶手段１２に記憶されているパラメータを用いて、切替手段１０から入力される入力画像Ｉをアップサンプリングする。
【0041】
ここで、図２を参照して、アップサンプリング手段１３の構成例について説明する。図２に示したアップサンプリング手段１３は、ニューラルネットワークの一形態である深層残差学習（Deep Residual Network〔ResNet〕）により構成した例である。
図２に示すように、アップサンプリング手段１３は、内挿手段２０と、畳み込み手段２１（２１１～２１８）と、活性化関数適用手段２２（２２１～２２８）と、加算手段２３（２３１～２３３）と、を備える。
図２に示すように、アップサンプリング手段１３は、内挿手段２０と、畳み込み手段２１（２１１～２１８）と、活性化関数適用手段２２（２２１～２２８）と、加算手段２３（２３１～２３３）と、を備える。
【0042】
内挿手段２０は、低解像画像Ｄまたは入力画像Ｉ（以下、代表して処理前画像Ｌと記す）を入力し、内挿処理を行うものである。
この内挿手段２０は、処理前画像Ｌの標本化の密度を、超解像の拡大率である水平方向にＲ倍、垂直方向にＳ倍にすることで、補間画像（補間信号）Ｍを生成する。
この内挿手段２０における内挿処理は、例えば、０次補間、双一次補間、双三次補間、Ｌａｎｃｚｏｓ－３補間等、一般的な手法を用いることができる。
この内挿手段２０は、処理前画像Ｌの標本化の密度を、超解像の拡大率である水平方向にＲ倍、垂直方向にＳ倍にすることで、補間画像（補間信号）Ｍを生成する。
この内挿手段２０における内挿処理は、例えば、０次補間、双一次補間、双三次補間、Ｌａｎｃｚｏｓ－３補間等、一般的な手法を用いることができる。
【0043】
例えば、内挿手段２０は、内挿処理として０次補間により内挿を行うものとした場合、以下の式（７）により、処理前画像Ｌ（低解像画像Ｄまたは入力画像Ｉ）から、補間画像Ｍを生成する。
【0044】
【数7】
【0045】
内挿手段２０は内挿処理後の画像を畳み込み手段２１１に出力する。
なお、内挿手段２０は、必須の構成ではない。しかし、拡大率に応じて処理前画像Ｌの標本化の密度を拡大することで、学習モード時におけるパラメータの収束時間を早めることができる効果があり、内挿手段２０を備えることが好ましい。
なお、内挿手段２０は、必須の構成ではない。しかし、拡大率に応じて処理前画像Ｌの標本化の密度を拡大することで、学習モード時におけるパラメータの収束時間を早めることができる効果があり、内挿手段２０を備えることが好ましい。
【0046】
畳み込み手段２１ｋ（図２では、ｋは１以上８以下の整数；２１１～２１８）は、パラメータ記憶手段１２に記憶されているパラメータｐを用いて入力されたデータに対して畳み込み演算を行うものである。
ここで、畳み込み手段２１ｋが行う畳み込み演算を、４階テンソルＡと３階テンソルＸとに対する演算として、以下の式（８）により定義する。なお、Ｐ，Ｑ，Ｎ，Ｗ，Ｈ，Ｄ，Ｎは、畳み込み手段２１ｋごとに、予めニューラルネットワークのモデルとして定めた定数である。
ここで、畳み込み手段２１ｋが行う畳み込み演算を、４階テンソルＡと３階テンソルＸとに対する演算として、以下の式（８）により定義する。なお、Ｐ，Ｑ，Ｎ，Ｗ，Ｈ，Ｄ，Ｎは、畳み込み手段２１ｋごとに、予めニューラルネットワークのモデルとして定めた定数である。
【0047】
【数8】
【0048】
ただし、［ｘｐ，ｑ，ｄ］において、定義されていない範囲の添字ｐ，ｑが参照された場合、当該成分の値を零とみなし、ゼロパディングを行う。
【0049】
畳み込み手段２１ｋは、入力された３階テンソルＸｋと、結合重み係数（４階テンソルＡｋ）およびバイアス（１階テンソルＢｋ）とにより、以下の式（９）により畳み込み演算を行うことで、３階テンソルＹｋを生成する。なお、１階テンソルＢｋの次元数は、４階テンソルＡｋの定数Ｎ（Ｎｋ）と同じ次元とする。
【0050】
【数9】
【0051】
畳み込み手段２１ｋは、畳み込み演算により生成した３階テンソルＹｋを、予め定めたモデルに応じて、後段の活性化関数適用手段２２に出力する。
【0052】
活性化関数適用手段２２ｋ（図２では、ｋは１以上８以下の整数；２２１～２２８）は、畳み込み手段２１ｋの出力（３階テンソルＹｋ）に対して、活性化関数を用いた演算を行うものである。
活性化関数適用手段２２ｋは、以下の式（１０）に示すように、入力された３階テンソルＹｋの各成分に対して、活性化関数φを適用し、３階テンソルＺｋを生成する。
活性化関数適用手段２２ｋは、以下の式（１０）に示すように、入力された３階テンソルＹｋの各成分に対して、活性化関数φを適用し、３階テンソルＺｋを生成する。
【0053】
【数10】
【0054】
なお、活性化関数適用手段２２ｋ（２２１～２２８）は、一部または全部を省略してもよい。その場合、省略された活性化関数適用手段２２ｋへの入力と省略された活性化関数適用手段２２ｋからの出力とをテンソルの成分ごとに直結すればよい。例えば、活性化関数適用手段２２ｋを省略する場合、以下の式（１１）としたことと動作は等価である。
【0055】
【数11】
【0056】
活性化関数φは、非線形関数であっても、線形関数であっても、恒等関数であっても構わない。
例えば、活性化関数φを非線形関数とする場合、活性化関数φとして、以下の式（１２）に示すＲｅＬＵ（Rectified Linear Unit）を用いることができる。
例えば、活性化関数φを非線形関数とする場合、活性化関数φとして、以下の式（１２）に示すＲｅＬＵ（Rectified Linear Unit）を用いることができる。
【0057】
【数12】
【0058】
あるいは、活性化関数φとして、以下の式（１３）に示すシグモイド（sigmoid）関数を用いることができる。
【0059】
【数13】
【0060】
あるいは、活性化関数φとして、以下の式（１４）に示す双曲線正接関数を用いることができる。
【0061】
【数14】
【0062】
加算手段２３（２３１～２３３）は、直前の畳み込み処理後の出力に、それよりも前の畳み込み処理後の出力をテンソルの成分ごとに加算するものである。
例えば、加算手段２３１は、直前の活性化関数適用手段２２３の出力に活性化関数適用手段２２１の出力を加算して、畳み込み手段２１４に出力する。また、例えば、加算手段２３２は、直前の活性化関数適用手段２２５の出力に加算手段２３１の出力を加算して、畳み込み手段２１６に出力する。
なお、加算手段２３（２３１～２３３）は、必須の構成ではない。しかし、加算手段２３を用いて、畳み込み処理をショートカットさせることで、少ない畳み込み処理の階層でも、その階層の深度を深めることで、より推定精度の高いニューラルネットワークを構成することができる。
図１に戻って、超解像装置１の構成について説明を続ける。
例えば、加算手段２３１は、直前の活性化関数適用手段２２３の出力に活性化関数適用手段２２１の出力を加算して、畳み込み手段２１４に出力する。また、例えば、加算手段２３２は、直前の活性化関数適用手段２２５の出力に加算手段２３１の出力を加算して、畳み込み手段２１６に出力する。
なお、加算手段２３（２３１～２３３）は、必須の構成ではない。しかし、加算手段２３を用いて、畳み込み処理をショートカットさせることで、少ない畳み込み処理の階層でも、その階層の深度を深めることで、より推定精度の高いニューラルネットワークを構成することができる。
図１に戻って、超解像装置１の構成について説明を続ける。
【0063】
アップサンプリング手段１３は、低解像画像Ｄまたは入力画像Ｉをアップサンプリングして、切替手段１５に出力する。
このとき、アップサンプリング手段１３において、低解像画像Ｄをアップサンプリングした画像は、入力画像Ｉを模擬して復元した画像（復元模擬画像Ｉ＾〔Ｉハット〕）となる。
また、アップサンプリング手段１３において、入力画像Ｉをアップサンプリングした画像は、入力画像Ｉを超解像した画像（超解像画像Ｊ）となる。
このとき、アップサンプリング手段１３において、低解像画像Ｄをアップサンプリングした画像は、入力画像Ｉを模擬して復元した画像（復元模擬画像Ｉ＾〔Ｉハット〕）となる。
また、アップサンプリング手段１３において、入力画像Ｉをアップサンプリングした画像は、入力画像Ｉを超解像した画像（超解像画像Ｊ）となる。
【0064】
パラメータ更新手段１４は、アップサンプリング手段１３で行う変換処理（アップサンプリング）のパラメータを更新するものである。
パラメータ更新手段１４は、切替手段１０から入力される入力画像Ｉと、入力画像Ｉをダウンサンプリングおよびアップサンプリングすることで生成された切替手段１５から入力される復元模擬画像Ｉ＾との誤差をより小さくするようにパラメータを更新する。
パラメータ更新手段１４は、切替手段１０から入力される入力画像Ｉと、入力画像Ｉをダウンサンプリングおよびアップサンプリングすることで生成された切替手段１５から入力される復元模擬画像Ｉ＾との誤差をより小さくするようにパラメータを更新する。
【0065】
例えば、パラメータ更新手段１４は、アップサンプリング手段１３で使用するパラメータｐの変化が出力値（復元模擬画像Ｉ＾）に及ぼす変化（勾配）を考慮して、勾配降下法によって、新たなパラメータｐ′を算出する。なお、パラメータ更新手段１４は、勾配降下法によってパラメータｐ′を算出する１つの方法として、アップサンプリング手段１３のニューラルネットワークにおいて、誤差逆伝播法を適用してパラメータｐ′を算出してもよい。
【0066】
パラメータ更新手段１４は、更新したパラメータｐ′をパラメータ記憶手段１２に記憶する。このとき、パラメータ更新手段１４は、アップサンプリング手段１３に、新たなパラメータでアップサンプリングを行う旨を指示する。
さらに、パラメータ更新手段１４は、初期状態または最初の入力画像Ｉが入力された直後において、動作モードとして学習モードを示すモード切替信号（例えば、ｍ＝０）を、切替手段１０，１５に出力する。
さらに、パラメータ更新手段１４は、初期状態または最初の入力画像Ｉが入力された直後において、動作モードとして学習モードを示すモード切替信号（例えば、ｍ＝０）を、切替手段１０，１５に出力する。
【0067】
このパラメータ更新手段１４は、更新動作の回数が所定回数（例えば、１００万回）に達した場合、入力画像Ｉと復元模擬画像Ｉ＾との誤差が所定の基準に達した場合（所定値以下あるいは所定値未満となった場合）、更新動作回数に対する誤差の変化量が所定の基準に達した場合（所定値以下あるいは所定値未満となった場合）、あるいは、それらの組み合わせの基準に達した場合に、動作モードとして実行モードを示すモード切替信号（例えば、ｍ＝１）を、切替手段１０，１５に出力する。これによって、パラメータ更新手段１４は、動作モードを学習モードから実行モードに切り替える。
【0068】
切替手段１５は、動作モードによって、アップサンプリング手段１３でアップサンプリングされた画像の出力先を切り替えるものである。
切替手段１５は、パラメータ更新手段１４から動作モードとしてモード切替信号を入力されることで画像の出力先を切り替える。
モード切替信号ｍが学習モードを示す（例えば、ｍ＝０）場合、切替手段１５は、アップサンプリング後の画像（復元模擬画像Ｉ＾）を、パラメータ更新手段１４に出力する。一方、モード切替信号ｍが実行モードを示す（例えば、ｍ＝１）場合、切替手段１５は、アップサンプリング後の画像（超解像画像Ｊ）を、超解像装置１の出力結果として外部に出力する。
切替手段１５は、パラメータ更新手段１４から動作モードとしてモード切替信号を入力されることで画像の出力先を切り替える。
モード切替信号ｍが学習モードを示す（例えば、ｍ＝０）場合、切替手段１５は、アップサンプリング後の画像（復元模擬画像Ｉ＾）を、パラメータ更新手段１４に出力する。一方、モード切替信号ｍが実行モードを示す（例えば、ｍ＝１）場合、切替手段１５は、アップサンプリング後の画像（超解像画像Ｊ）を、超解像装置１の出力結果として外部に出力する。
【0069】
以上説明したように超解像装置１を構成することで、超解像装置１は、学習モードと実行モードとを順に動作させることで、入力画像の解像度に対してスケールが１階層異なる自己相似型の超解像を実現することができる。
これによって、超解像装置１は、入力画像を高品質に高解像度化することができる。
なお、超解像装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（超解像プログラム）により動作させることができる。
これによって、超解像装置１は、入力画像を高品質に高解像度化することができる。
なお、超解像装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（超解像プログラム）により動作させることができる。
【0070】
＜超解像装置の動作＞
次に、図３，図４を参照して、本発明の実施形態に係る超解像装置１の動作について説明する。図３は、超解像装置１の学習モードの動作を示すフローチャートである。図４は、超解像装置１の実行モードの動作を示すフローチャートである。
以下、超解像装置１における学習モードの動作と実行モードの動作とを順に説明する。
次に、図３，図４を参照して、本発明の実施形態に係る超解像装置１の動作について説明する。図３は、超解像装置１の学習モードの動作を示すフローチャートである。図４は、超解像装置１の実行モードの動作を示すフローチャートである。
以下、超解像装置１における学習モードの動作と実行モードの動作とを順に説明する。
【0071】
（学習モードの動作）
まず、図３を参照（構成については、適宜図１，図２参照）して、超解像装置１の学習モードの動作について説明する。なお、パラメータ記憶手段１２には、予めパラメータの初期値が記憶されているものとする。
まず、図３を参照（構成については、適宜図１，図２参照）して、超解像装置１の学習モードの動作について説明する。なお、パラメータ記憶手段１２には、予めパラメータの初期値が記憶されているものとする。
【0072】
ステップＳ１において、切替手段１０および切替手段１５は、初期動作として、パラメータ更新手段１４からのモード切替信号により、動作モードを学習モードに設定する。これによって、切替手段１０は、入力画像Ｉの出力先を、ダウンサンプリング手段１１およびパラメータ更新手段１４に切り替える。また、切替手段１５は、アップサンプリング手段１３の出力先をパラメータ更新手段１４に切り替える。
ステップＳ２において、ダウンサンプリング手段１１は、予め設定された超解像の拡大率の逆数倍で入力画像Ｉをダウンサンプリングし、低解像画像Ｄを生成する。
ステップＳ２において、ダウンサンプリング手段１１は、予め設定された超解像の拡大率の逆数倍で入力画像Ｉをダウンサンプリングし、低解像画像Ｄを生成する。
【0073】
ステップＳ３において、アップサンプリング手段１３は、ステップＳ２で生成された低解像画像Ｄを、パラメータ記憶手段１２に記憶されているパラメータを用いて、予め設定された超解像の拡大率でアップサンプリングし、復元模擬画像Ｉ＾を生成する。
このステップＳ３では、アップサンプリング手段１３は、内挿手段２０によって、低解像画像Ｄに対して超解像の拡大率に応じた内挿処理を行うことで、補間画像を生成する。
そして、アップサンプリング手段１３は、畳み込み手段２１と、活性化関数適用手段２２と、加算手段２３とで構成されるニューラルネットワークにより、補間画像から復元模擬画像Ｉ＾を生成する。
このステップＳ３では、アップサンプリング手段１３は、内挿手段２０によって、低解像画像Ｄに対して超解像の拡大率に応じた内挿処理を行うことで、補間画像を生成する。
そして、アップサンプリング手段１３は、畳み込み手段２１と、活性化関数適用手段２２と、加算手段２３とで構成されるニューラルネットワークにより、補間画像から復元模擬画像Ｉ＾を生成する。
【0074】
ステップＳ４において、パラメータ更新手段１４は、入力画像ＩとステップＳ３で生成した復元模擬画像Ｉ＾との誤差をより小さくするようにパラメータを更新し、パラメータ記憶手段１２に記憶する。ここでは、パラメータ更新手段１４は、例えば、誤差逆伝播法を用いてパラメータを更新する。
【0075】
ステップＳ５において、パラメータ更新手段１４は、更新動作の回数が所定回数に達した等の予め定めた基準でパラメータの学習の終了を判定する。
ここで、パラメータの学習が終了したと判定されなかった場合（ステップＳ５でＮｏ）、超解像装置１は、ステップＳ３に戻って、更新後のパラメータを用いてアップサンプリングを行い、順次、パラメータの更新を行う処理を行う。
一方、パラメータの学習が終了したと判定された場合（ステップＳ５でＹｅｓ）、超解像装置１は、学習モードでの動作を終了し、後記する図４で説明する実行モードの動作に移行する。
以上の動作によって、超解像装置１は、入力画像を超解像するための自己相似性を仮定したパラメータを学習することができる。
ここで、パラメータの学習が終了したと判定されなかった場合（ステップＳ５でＮｏ）、超解像装置１は、ステップＳ３に戻って、更新後のパラメータを用いてアップサンプリングを行い、順次、パラメータの更新を行う処理を行う。
一方、パラメータの学習が終了したと判定された場合（ステップＳ５でＹｅｓ）、超解像装置１は、学習モードでの動作を終了し、後記する図４で説明する実行モードの動作に移行する。
以上の動作によって、超解像装置１は、入力画像を超解像するための自己相似性を仮定したパラメータを学習することができる。
【0076】
【0077】
ステップＳ１０において、パラメータ更新手段１４は、モード切替信号により、切替手段１０および切替手段１５に対して、動作モードを実行モードに設定する。これによって、切替手段１０は、入力画像Ｉの出力先を、アップサンプリング手段１３に切り替える。また、切替手段１５は、アップサンプリング手段１３の出力先を外部に切り替える。
【0078】
ステップＳ１１において、アップサンプリング手段１３は、入力画像Ｉを、パラメータ記憶手段１２に記憶されているパラメータを用いて、予め設定された超解像の拡大率でアップサンプリングし、超解像画像Ｊを生成する。
このステップＳ１１では、アップサンプリング手段１３は、内挿手段２０によって、入力画像Ｉに対して超解像の拡大率に応じた内挿処理を行うことで、補間画像を生成する。
そして、アップサンプリング手段１３は、畳み込み手段２１と、活性化関数適用手段２２と、加算手段２３とで構成されるニューラルネットワークにより、補間画像から超解像画像Ｊを生成する。
このステップＳ１１では、アップサンプリング手段１３は、内挿手段２０によって、入力画像Ｉに対して超解像の拡大率に応じた内挿処理を行うことで、補間画像を生成する。
そして、アップサンプリング手段１３は、畳み込み手段２１と、活性化関数適用手段２２と、加算手段２３とで構成されるニューラルネットワークにより、補間画像から超解像画像Ｊを生成する。
【0079】
以上の動作によって、超解像装置１は、自己相似性を仮定したパラメータを用いて、入力画像から高精細な超解像画像を生成することができる。
また、超解像装置１は、自己相似性を仮定したパラメータを用いるため、入力画像が自己相似性を有する画像の場合、例えば、画像中に直線等の同様の幾何学的パターンや、植物の葉、海岸線等の同様の形状のパターンが含まれている場合、さらに、高精細に画像を超解像化することができる。
また、超解像装置１は、自己相似性を仮定したパラメータを用いるため、入力画像が自己相似性を有する画像の場合、例えば、画像中に直線等の同様の幾何学的パターンや、植物の葉、海岸線等の同様の形状のパターンが含まれている場合、さらに、高精細に画像を超解像化することができる。
【0080】
以上、本発明の実施形態に係る超解像装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、アップサンプリング手段１３をニューラルネットワークで構成したが、デジタルフィルタを用いて実現してもよい。
その場合、アップサンプリング手段１３は、図５に示すように、内挿手段２０と、複数の畳み込み手段２１（２１１～２１８）で構成したアップサンプリング手段１３Ｂとすればよい。
内挿手段２０および畳み込み手段２１は、図２で説明したものと同じ構成であるため説明を省略する。この内挿手段２０は省略しても構わない。
なお、畳み込み手段２１において、前記式（８）で説明した４階テンソルＡおよび１階テンソルＢが、デジタルフィルタのタップ係数列で、パラメータｐに相当する。
ここでは、アップサンプリング手段１３をニューラルネットワークで構成したが、デジタルフィルタを用いて実現してもよい。
その場合、アップサンプリング手段１３は、図５に示すように、内挿手段２０と、複数の畳み込み手段２１（２１１～２１８）で構成したアップサンプリング手段１３Ｂとすればよい。
内挿手段２０および畳み込み手段２１は、図２で説明したものと同じ構成であるため説明を省略する。この内挿手段２０は省略しても構わない。
なお、畳み込み手段２１において、前記式（８）で説明した４階テンソルＡおよび１階テンソルＢが、デジタルフィルタのタップ係数列で、パラメータｐに相当する。
【0081】
この場合、パラメータ更新手段１４は、前の動作時点と現在の動作時点とにおける入力画像Ｉと復元模擬画像Ｉ＾との誤差が小さくなったか否かに応じてパラメータｐを更新する。例えば、パラメータ更新手段１４は、誤差が小さくなった場合、前の動作時点と同様の更新の方向性、例えば、パラメータの成分ごとの値の変化における符号（増減）やその変化量を、前の動作時点で行った更新と同様にして、パラメータｐを更新する。また、パラメータ更新手段１４は、誤差が小さくならなかった場合、前の動作時点とは異なる更新の方向性、例えば、パラメータの成分ごとの値の変化の符号を反転、あるいは、変化量の絶対値を小さくして、パラメータｐを更新する。
【0082】
また、ここでは、超解像装置１への入力信号を、２次元の画像として説明した。
しかし、入力信号は、２次元の画像に限定されるものではない。
例えば、入力信号は、２次元の画像をフレームとして構成する映像であっても構わない。また、例えば、入力信号は、標本化方向が３次元である立体画像や立体映像であっても構わない。また、例えば、入力信号は、標本化方向が１次元である音声信号であっても構わない。なお、これらの信号は、標本化方向であるダウンサンプリングやアップサンプリングの標本化対象が増減するだけで、処理内容は、入力信号を２次元の画像とした場合と同様である。例えば、３次元の立体画像を入力信号とする場合、前記式（８），式（９）において、ｐ，ｑおよびｗ，ｈにそれぞれさらに１次元の変数を追加すればよい。
これによって、超解像装置１は、２次元画像だけでなく、映像、立体画像、立体映像、音声についても超解像化することができる。
しかし、入力信号は、２次元の画像に限定されるものではない。
例えば、入力信号は、２次元の画像をフレームとして構成する映像であっても構わない。また、例えば、入力信号は、標本化方向が３次元である立体画像や立体映像であっても構わない。また、例えば、入力信号は、標本化方向が１次元である音声信号であっても構わない。なお、これらの信号は、標本化方向であるダウンサンプリングやアップサンプリングの標本化対象が増減するだけで、処理内容は、入力信号を２次元の画像とした場合と同様である。例えば、３次元の立体画像を入力信号とする場合、前記式（８），式（９）において、ｐ，ｑおよびｗ，ｈにそれぞれさらに１次元の変数を追加すればよい。
これによって、超解像装置１は、２次元画像だけでなく、映像、立体画像、立体映像、音声についても超解像化することができる。
【符号の説明】
【0083】
１ 超解像装置
１０ 切替手段（第１切替手段）
１１ ダウンサンプリング手段
１２ パラメータ記憶手段
１３，１３Ｂ アップサンプリング手段
１４ パラメータ更新手段
１５ 切替手段（第２切替手段）
２０ 内挿手段
２１１，…，２１８ 畳み込み手段
２２１，…，２２８ 活性化関数適用手段
２３１，…，２３８ 加算手段
１０ 切替手段（第１切替手段）
１１ ダウンサンプリング手段
１２ パラメータ記憶手段
１３，１３Ｂ アップサンプリング手段
１４ パラメータ更新手段
１５ 切替手段（第２切替手段）
２０ 内挿手段
２１１，…，２１８ 畳み込み手段
２２１，…，２２８ 活性化関数適用手段
２３１，…，２３８ 加算手段
【図1】
【図2】
【図3】
【図4】
【図5】