特開 2024-85017 画像処理システム、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024085017

(43)【公開日】2024-06-26

(54)【発明の名称】画像処理システム、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20240619BHJP

   H04N 17/00 20060101ALI20240619BHJP

   H04N 7/01 20060101ALI20240619BHJP

   H04N 5/66 20060101ALI20240619BHJP

   H04N 1/387 20060101ALI20240619BHJP

   H04N 1/40 20060101ALI20240619BHJP

【ＦＩ】

G06T3/40 730

H04N17/00 G

H04N7/01 170

H04N5/66 Z

H04N1/387 101

H04N1/40

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022199316

(22)【出願日】2022-12-14

(71)【出願人】

【識別番号】593107926

【氏名又は名称】株式会社クリプトン

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】▲浜▼田 正久

(72)【発明者】

【氏名】緒方 正人

(72)【発明者】

【氏名】栄 永治

(72)【発明者】

【氏名】小林 寛征

【テーマコード（参考）】

5B057

5C058

5C061

5C063

5C076

5C077

【Ｆターム（参考）】

5B057CE03

5B057DA20

5B057DC30

5C058BA25

5C061BB02

5C061EE15

5C063BA03

5C076AA21

5C076BA06

5C076BB22

5C077LL19

5C077PP03

5C077PP20

(57)【要約】

【課題】少ないデータ量で高画質の画像を生成できる画像処理システムを提供することを目的とする。
【解決手段】
画像を取得する取得部と、前記画像における第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大する拡大部と、前記拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加するスペクトル付加部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像を取得する取得部と、
前記画像における第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大する拡大部と、
前記拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加するスペクトル付加部と、
を備える画像処理システム。

【請求項2】

前記スペクトル付加部は、Ｋｒｉｐｔｏｎ法、Ｕｎｓｈａｒｐ法、または非線形法のいずれかによって、前記高周波領域にスペクトルを付加する、
請求項１に記載の画像処理システム。

【請求項3】

所定のプログラムで発生させた、画像の解像度を評価するためのテストパターンを、前記拡大された画像に付加するパターン付加部と、
前記テストパターンに対して引かれる第１の仮想線に、当該テストパターンに含まれる画素から引かれる第１の仮想垂線に基づいて、前記画素の輝度に関するパラメータの、前記第１の仮想線上の第１の累積値を算出して、当該第１の累積値に基づいて、前記拡大された画像の第１の解像度を算出する第１の解像度算出部と、
前記拡大された画像にテストパターンが付加された画像について前記スペクトル付加部でスペクトルを付加した画像である先鋭化画像に付加されているテストパターンに対して引かれる第２の仮想線に、当該テストパターンに含まれる画素から引かれる第２の仮想垂線に基づいて、前記画素の輝度に関するパラメータの、前記第２の仮想線上における第２の累積値を算出して、当該第２の累積値に基づいて、前記先鋭化画像の第２の解像度を算出する第２の解像度算出部と、
前記第１の解像度と、前記第２の解像度と、に基づいて、画像の改善度を算出する改善度算出部と、
を備える請求項１に記載の画像処理システム。

【請求項4】

前記先鋭化画像と、前記改善度と、を関連付けて表示部に表示する表示処理部をさらに備える請求項３に記載の画像処理システム。

【請求項5】

コンピュータが、
画像を取得することと、
前記画像における第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大することと、
前記拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加することと、
を実行する画像処理方法。

【請求項6】

コンピュータが、
画像を取得することと、
前記画像を、画像の圧縮処理を実行して圧縮画像を生成することと、
前記圧縮画像を記憶部に記憶することと、
前記記憶部から取得された前記圧縮画像が示す第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該圧縮画像を拡大することと、
前記拡大された圧縮画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加して先鋭化画像を生成することと、
作業者の操作入力を受け付けることによって、前記先鋭化画像を表示部に表示させることと、
を実行する画像処理方法。

【請求項7】

コンピュータに、
画像を取得することと、
前記画像における第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大することと、
前記拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理システム、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

標本化される際の折り返し成分によるひずみを分離することによって、鮮明な画像を復元するシステムが開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８－３３６０４６

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の信号処理装置は、原信号が有するナイキスト周波数以上の成分の折り返し成分を取り除く。また、当該信号処理装置は、折り返しによって、より低い帯域との重なりを分離して、原信号の高周波成分を復元する。

【0005】

具体的には、当該信号処理装置は、周波数空間上で（－２π，２π）に帯域制限されている原信号を、３組の異なる標本化位置（その標本化間隔は同一）で標本化する。それをＬＰＦ処理した場合、基本波は同一で、高調波は標本化位置のずれにしたがって位相がずれる。当該信号処理装置は、位相の異なるこれらの信号に対して、適当な重みを付けて平均することによって、高調波を打ち消し、基本波だけを残す。

【0006】

しかし、特許文献１に記載の信号処理装置では、標本化位置の異なる複数組のデジタルデータから、ナイキスト周波数以上の原信号の高周波成分を復元するものの、原信号のナイキスト周波数に変更はなく、複数組のデジタルデータを要するなど処理量が多くなるという問題が生じる。

【0007】

そこで、本開示は、少ないデータ量で高画質の画像を生成できる画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様に係る画像処理システムは、画像を取得する取得部と、前記画像における第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大する拡大部と、前記拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加するスペクトル付加部と、を備える。

【0009】

本開示の一態様に係る画像処理方法は、コンピュータが、画像を取得することと、前記画像における第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大することと、前記拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加することと、を実行する。

【0010】

本開示の一態様に係るプログラムは、コンピュータに、 画像を取得することと、前記画像における第１のナイキスト周波数を、前記第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大することと、前記拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトルを付加することと、を実行させる。

【発明の効果】

【0011】

本開示によれば、少ないデータ量で高画質の画像を生成できる画像処理システムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】４Ｋ画像のスペクトラムと、８Ｋ画像のスペクトラムとの比較可能に示す図である。

【図2】第１実施形態に係る超解像システムの構成の一例を示す図である。

【図3】画像データベースの構成を示す図である。

【図4】拡大処理における画像のサンプリングの手順である。

【図5】空間周波数に対するＭＴＦの変化を示すグラフである。

【図6】異なる画像処理系のそれぞれの空間周波数に対するＭＴＦの変化を示すグラフである。

【図7】Ｋｒｉｐｔｏｎ法を実行するための処理系を示す図である。

【図8】Ｕｎｓｈａｒｐ法を実行するための処理系を示す図である。

【図9】非線形法を実行するための処理系を示す図である。

【図10】空間周波数と、ＭＴＦとの関係を示すグラフである。

【図11】第２実施形態に係る超解像システムの構成の一例を示す図である。

【図12】画像について目視可能な空間周波数を特定するプロセスを示す図である。

【図13】画像復元手法の手順を示す図である。

【図14】ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本開示の好適な実施形態について、添付図面を参照しながら具体的に説明する。なお、以下で説明する各実施形態は、あくまで、本開示を実施するための具体的な一例を挙げるものであって、本開示を限定的に解釈させるものではない。また、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する場合がある。

【0014】

＝＝＝第１の実施形態に係る超解像システム１０＝＝＝
＜＜概要＞＞
超解像システム１０は、例えば、低い解像度の画像を出力するカメラシステムで撮像された画像（空間周波数がナイキスト周波数以下）を、画像処理によって高い解像度の画像に改善するシステムである。この超解像システム１０は、入力される画像の解像度（サイズ）にかかわらず、当該画像のナイキスト周波数を上昇させることによって、解像度を改善するシステムである。

【0015】

すなわち、超解像システム１０は、信号理論に基づいて上昇させたナイキスト周波数付近（以下）に高周波成分を付加することで、画像の解像度を上昇させる。一方、特許文献１に記載の信号処理装置は原信号のナイキスト周波数を変更させない。このように、超解像システム１０は、特許文献１に記載の信号処理装置と比較して、画像のナイキスト周波数を変更させつつ高周波成分を付加することで解像度を上げることができるという点が大きく異なる。

【0016】

以下では、一例として、４Ｋの画像を出力するカメラシステムで撮像された画像（以下、「４Ｋ画像」という。）を、８Ｋ相当の画像に解像度を改善することについて説明する。

【0017】

まず、超解像システム１０の有効性の概要について説明する。

【0018】

一般的に、カメラシステムから出力される画像の最大の空間周波数（ナイキスト周波数といってもよい）と、カメラシステムで撮像された対象シーンが有する空間周波数とが暗黙の内に同一視される。これらの空間周波数は別ものであり、大事なのは対象シーンの空間周波数である。

【0019】

これは、８Ｋのカメラシステムで撮像された画像の解像度は、４Ｋのカメラシステムで撮像された画像の解像度よりも２倍高いと誤解されていることに基づく。すなわち、カメラシステムの解像度はレンズ系で決まるものであり、カメラシステムで撮像された対象シーンの解像度が２倍高くなるわけではない。

【0020】

この点、例えば、一般的なカメラで撮像した対象シーンは、一般的に低いナイキスト周波数を有する。なお、特に、内視鏡カメラで撮像した対象シーンは、低いナイキスト周波数を有することが知られている。

【0021】

以下では、物理（光学）的な点光源間の分離を識別可能な最小距離を限界解像度とし、限界解像度の逆数を分解可能最大空間周波数とする。

【0022】

超解像システム１０では、例えば、４Ｋ画像に対応するカメラシステムを、画像の解像度を上げるために更新するのではなく、画像処理によって、４Ｋ画像の空間周波数帯域を上げることで、８Ｋ相当の解像度（分解可能最大空間周波数）の画像を生成する。これは、対象シーンの空間周波数が低い医療画像では特に有効である。

【0023】

＜＜構成＞＞
以下、超解像システム１０の構成について説明する。

【0024】

まず、図１を参照して、対象を撮像した、４Ｋ画像のスペクトラムと、８Ｋ画像のスペクトラムとの比較結果について説明する。図１は、４Ｋ画像のスペクトラムと、８Ｋ画像のスペクトラムとを比較可能に示す図である。図１は、横軸を空間周波数とし、縦軸をスペクトル値としたグラフである。図１（ａ）は、４Ｋ画像のスペクトラムを示す。図１（ｂ）は、８Ｋ画像のスペクトラムを示す。

【0025】

図１に示すように、８Ｋ画像のスペクトラムは、４Ｋ画像のスペクトラムと比較して、ナイキスト周波数が２倍となる。

【0026】

ここで、８Ｋ画像のスペクトラムは、低周波領域（例えば、４Ｋ画像におけるナイキスト周波数までの空間周波数）において、４Ｋ画像のスペクトラムと同様の周波数特性を示す。

【0027】

そして、８Ｋ画像のスペクトラムは、４Ｋ画像のナイキスト周波数から８Ｋ画像のナイキスト周波数までの高周波領域のスペクトル値が低周波領域と比較して著しく小さい。

【0028】

すなわち、８Ｋ画像は、４Ｋ画像に対して高周波成分を増加させてはいるものの、その強度は非常に低いことがわかる。一般的に、高周波成分が多いければ多いほど、画像は、輪郭が鮮明となる。

【0029】

すなわち、４Ｋ対応のカメラ装置で撮像された画像について、ナイキスト周波数を上げて高周波成分を追加すれば、８Ｋ相当の解像度を有する画像を生成し得ることが理解できる。

【0030】

そこで、超解像システム１０は、４Ｋ対応のカメラシステムで撮像された画像について、ナイキスト周波数を上げるように拡大処理した後に、高周波成分を追加する処理を実行して、８Ｋ相当の画像の解像度に改善する。

【0031】

図２を参照して、超解像システム１０の構成について説明する。図２は、超解像システム１０の構成の一例を示す図である。

【0032】

図２に示すように、超解像システム１０は、例えば、取得部１１と、記憶部１２と、拡大部１３と、スペクトル付加部１４と、表示処理部１５とを含む。

【0033】

取得部１１は、所定のカメラシステムから画像を取得する。

【0034】

記憶部１２は、取得部１１で取得した画像を格納する。記憶部１２は、画像データベースＤ１を含む。

【0035】

図３を参照して、画像データベースＤ１について説明する。図３は、画像データベースＤ１の構成を示す図である。図３に示すように、画像データベースＤ１は、画像ＩＤ、画像データの項目を含む。画像ＩＤの項目は、画像データを一意に識別可能な識別情報が格納される。画像データの項目は、画像が格納される。

【0036】

拡大部１３は、例えば、取得部１１で取得した画像が示す空間周波数を上昇させるように、画像の画素数を高める拡大処理を実行する機能部である。言い換えると、拡大部１３は、画像のナイキスト周波数を高めるように画像を拡大する。

【0037】

以下、拡大処理の一例について説明する。拡大処理は、以下に示す手法に限定されず、画像の空間周波数（ナイキスト周波数）を高めつつ画像の画素数を高める処理であれば、どのような画像処理であってもよい。

【0038】

図４を参照して、拡大処理について説明する。図４は、拡大処理における画像のサンプリングの手順である。拡大処理は、例えば、元画像の最大周波数の２倍以上のサンプリング周波数で元画像をサンプリングする処理である。具体的には、拡大処理は、以下の式（１）の条件を満たすようにサンプリングを実行する。

【0039】

【数1】

【0040】

ここで、４Ｋ画像を単に拡大した場合、エリアシング（モアレ縞）が生じる。一方、拡大処理によって４Ｋ画像を拡大した場合、エリアシングが生じず、クリアな画像を生成できることを示す。すなわち、拡大部１３では、拡大処理によって、画像の空間周波数（ナイキスト周波数）の上昇を伴う画像の拡大が実行されることが理解できる。

【0041】

以下、図４を参照して、式（１）の条件を満たす拡大処理の手順について説明する。

【0042】

図４では、「空間領域」項目に元画像（原画）を示し、「周波数領域」の「式（１）を満たすサンプリング」項目に式（１）の条件を満たすように元画像の最大の空間周波数の２倍以上でサンプリングした元画像をフーリエ変換したものを示し、「周波数領域」の「式（１）を満たさないサンプリング」項目に比較対象としての元画像をフーリエ変換したものを示す。

【0043】

手順１において、「空間領域」には元画像（原画）を示し、「式（１）を満たすサンプリング」項目には元画像をフーリエ変換したものを例示する。ここでは、サンプリング後の画像と比較するための基準となるサンプリング前の画像を「空間領域」に例示する。

【0044】

手順２において、超解像システム１０は、空間領域において、ナイキスト周波数以上でサンプリングする。空間領域におけるサンプリング間隔が小さくなると（サンプリング周波数が大きくなればなるほど）、周波数領域の繰り返し間隔が大きくなる。すなわち、図４の「周波数領域」の「ナイキスト周波数以上でサンプリング」の項目に示す間隔（１／ｐ,１／ｑ）よりも、「ナイキスト周波数以下」の項目に示す間隔が小さくなる。

【0045】

手順３において、「空間領域」の項目にサンプリング後の画像を例示する。ここで、ナイキスト周波数以上でサンプリングした場合、図４に示すように周波数領域の重なりが生じない。すなわち、周波数帯域が高周波側に拡大する。一方、ナイキスト周波数以下でサンプリングした場合、図４に示すように周波数領域の重なりが生じる。

【0046】

手順４において、超解像システム１０は、図４に例示するようなフィルタ形状を有するシンク関数を準備する。すなわち、式（１）に示すシンク関数は、例えばｘ，ｙ座標の所定の領域において高さを有する疑似的なシンク関数である。具体的には、図４に示すシンク関数は、例えば３×３画素内において畳込み積分を打ち切るようなフィルタ形状を示す。

【0047】

手順５において、超解像システム１０は、サンプリング後の画像の空間領域を示す関数と、シンク関数との外積を計算する。具体的には、超解像システム１０は、サンプリング後の画像の空間領域を示す関数と、誤差が最小となる最適なフィルタ形状を示すシンク関数との外積を計算する。これにより、図１４の「ナイキスト周波数以上でのサンプリング」項目のように、ナイキスト周波数以上でサンプリングした場合、周波数帯域の重なりは生じない。一方、図１４の「ナイキスト周波数以下」項目のように、ナイキスト周波数以下でサンプリングした場合、周波数帯域が重なることによって画像が歪む（エリアシングが生じる）。

【0048】

超解像システム１０は、手順１～手順５に示すようにナイキスト周波数以上でサンプリングするとともに、シンク関数を用いて画像を復元することによって、ナイキスト周波数を上昇させるように元画像を拡大することができる。

【0049】

以下、便宜上、拡大処理された画像を「拡大画像」という。

【0050】

スペクトル付加部１４は、拡大画像におけるナイキスト周波数よりも小さい空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトル（周波数成分）（以下、「高周波成分」という。）を付加する機能部である。

【0051】

スペクトル付加部１４は、例えば、Ｋｒｉｐｔｏｎ法、Ｕｎｓｈａｒｐ法または非線形法などによるスペクトル付加処理を拡大画像に実行する。拡大画像は、スペクトル付加処理によって画像のコントラストが改善される。

【0052】

ここでは、スペクトル付加処理を具体的に説明する前に、まず、画像のコントラストに関するＭＴＦ（Modular Transfer Function）について説明する。ＭＴＦは、入力信号に対する出力信号のコントラスト比である。

【0053】

画像に関する電気系や光学系（以下、「系」という）のふるまいは伝達関数（あるいはレスポンス関数）で決まる。光学系では、この伝達関数をОＴＦ（Optical Transfer Function）という。δ関数を入力として系に与えてその出力を得ることによって、空間周波数に対する伝達関数を知ることができる。ここで、光学系のＯＴＦは、点光源のレンズ系を通した画像をフーリエ変換したもので表される。

【0054】

伝達関数は、通常は位相情報を持つ複素数で表される。ＭＴＦは、ＯＴＦの虚数部と実部を絶対値として実数化したものである。そして、画像システムでは、等方的な広がり関数ＰＳＦ（Point Spread Fucntion) を示すため、位相成分は０となる。

【0055】

そこで、超解像システム１０では、ＯＴＦを考慮せず、ＭＴＦのみによって空間周波数の特性を評価する。これにより、少ない情報量で画像の解像度を改善することができる。

【0056】

ここで、ＭＴＦであるコントラスト比は、信号の山の高さを信号の谷の高さで除算して与えられる。

【0057】

ＭＴＦは、画像の入出力応答を示しているため、所定の空間周波数における出力信号のコントラスト比ということができる。

【0058】

図５、図６を参照して、空間周波数に対するＭＴＦの変化について説明する。図５は、空間周波数に対するＭＴＦの変化を示すグラフである。図６は、異なる画像処理系のそれぞれの空間周波数に対するＭＴＦの変化を示すグラフである。図５、図６では、横軸に空間周波数を示し、縦軸にＭＴＦを示す。

【0059】

図５に示すように、入力信号の山谷の高さを輝度とすると、山は白色となり、谷は黒色となり、その中間は灰色となる。すなわち、入力信号は、白黒に変化するＳｉｎ波状の縞模様となる。入力信号の山と山（あるいは谷と谷）の間隔をＸとすると、Ｘは空間周波数によって決定される。山と山（谷と谷)の間隔を人が目視で確認可能な最短距離が、画像の最大の分解能となる。

【0060】

図６では、空間周波数に対応した入力信号が画像処理系から出力される場合、コントラスト比が高周波領域で大きく低下していることを模式的に示している。

【0061】

そして、図６では、ＭＴＦを示す曲線６Ａ～６Ｃは、所定の画像処理系における空間周波数に対するＭＴＦであるコントラスト比の減衰を示す。

【0062】

図６に示すように、レンズを用いた光学系では空間周波数が高くなるにつれてコントラスト比が低下することがわかる。

【0063】

ここで、画像の解像度を評価するためには２点間を目視で分離可能なコントラスト比（最小）を決める。ここでは、図６ に示すように最小のコントラスト比を「０．２」 とする。この場合、コントラスト比が０．２の直線（横線）が曲線６Ａ～６Ｃのそれぞれと交わる点の空間周波数（以下、「最大空間周波数」という。）を求める。最大空間周波数（ここでは、Ａ，Ｂ，Ｃ）のそれぞれが系のそれぞれの解像度を示す。最大空間周波数が高ければ高いほど解像度が高くなる。すなわち、図６からわかるように、高周波領域のコントラスト比の低下を改善することができれば、画像の解像度が向上できることを意味する。

【0064】

スペクトル付加部１４は、スペクトル付加処理を実行することで、高周波領域のコントラスト比を改善する。以下、スペクトル付加処理の一例を示す。

【0065】

まず、図７を参照して、Ｋｒｉｐｔｏｎ法について説明する。図７は、Ｋｒｉｐｔｏｎ法を実行するための処理系を示す図である。

【0066】

Ｋｒｉｐｔｏｎ法は、入力画像を平滑化した画像と、入力画像の画素毎のコントラスト比をとれば、どの画像位置が高周波成分を持つ画素かを判別可能であることを利用した高域強調法である。

【0067】

Ｋｒｉｐｔｏｎ法では、コントラスト比が大きい画素が高周波成分を持つ画素に対応することを示す。そして、Ｋｒｉｐｔｏｎ法では、高周波成分を持つ画素値をより大きくすることによって、高周波成分を強調する。

【0068】

Ｋｒｉｐｔｏｎ法は、例えば、最大４段までの処理が可能である。１段を複数繰り返して、高周波成分の強調を調整することができる。以下、一例として、１段の処理について説明する。

【0069】

畳込み処理部１４１１は、入力画像（ここでは、拡大画像Ａ（ｘ，ｙ））を低周波画像（ここでは、Ｂ（ｘ，ｙ））に平滑化する。畳込み処理部１４１１は、画素値が０となる特異点を無くす補正を行う。

【0070】

除算処理部１４１２は、画像Ｂ（ｘ，ｙ）と画像Ａ（ｘ，ｙ）とを入力としてＣ（ｘ，ｙ）＝Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）を画素毎に計算する。Ｃが１より大きい画像は空間周波数が高いとみなせる。

【0071】

乗算処理部１４１３は、画像Ｃ（ｘ，ｙ）と画像Ａ（ｘ，ｙ）とを入力として、Ｆ（ｘ，ｙ）＝Ａ（ｘ，ｙ）×Ｃ（ｘ，ｙ）を計算する。すなわち、高周波成分を持つ画素位置をＣ 倍することにより強調する。なお、逆に低周波成分はさらに減衰させることができる。

【0072】

ここで、図１０を参照して、Ｋｒｉｐｔｏｎ法を実行した画像の解像度が、拡大画像の解像度に対して改善されていることを説明する。図１０は、空間周波数と、ＭＴＦとの関係を示すグラフである。図１０（ａ）は、拡大画像のＭＴＦと空間周波数との関係を示すグラフである。図１０（ｂ）は、拡大画像に対してＫｒｉｐｔｏｎ法を実行した画像のＭＴＦと空間周波数との関係を示すグラフである。

【0073】

図１０（ｂ）に示すように、Ｋｒｉｐｔｏｎ法を実行した画像におけるＭＴＦが０．２での空間周波数は２．６であり、図１０（ａ）に示す拡大処理した画像よりも解像度の改善がなされることがわかる。具体的には、空間周波数において０．１Ｌ／Ｐの改善がなされている。

【0074】

次に、図８を参照して、Ｕｎｓｈａｒｐ法について説明する。図８は、Ｕｎｓｈａｒｐ法を実行するための処理系を示す図である。

【0075】

Ｕｎｓｈａｒｐ法は、ＬＰＦ（Low Pass Filter）部１４２１において、低周波画像ＢＬを生成する。ＭＧ（Mask Generation）部１４２２において、元画像ＯＲ（例えば、拡大画像）と低周波画像ＢＬの画素毎の差分Ｓをとる。差分Ｓと指定閾値Ｔの比較を画素毎に行い、Ｓ＜Ｔである場合、Ｍ（マスク値）＝１、逆の場合はＭ＝０として、マスク値ＳＥＬを出力する。

【0076】

混合部１４２３は、元画像ＯＲと低周波画像ＢＬとの画素単位の混合を行って高周波を強調した（低周波成分を除いた）画像ＳＨを生成する。

【0077】

選択部１４２４においてマスク値が１のときは画像ＳＨを画素として出力し、マスク値が１ではないときは元画像ＯＲの画素値を出力する。

【0078】

ここで、図１０を参照してＵｎｓｈａｒｐ法を実行した画像の解像度が、拡大画像の解像度に対して改善されていることを説明する。図１０（ｃ）は、拡大画像に対してＵｎｓｈａｒｐ法を実行した画像のＭＴＦと空間周波数との関係を示すグラフである。

【0079】

図１０（ｃ）に示すように、Ｕｎｓｈａｒｐ法を実行した画像におけるＭＴＦが０．２での空間周波数は３．０であり、図１０（ａ）に示す拡大処理した画像よりも解像度の改善がなされることがわかる。具体的には、空間周波数において０．５Ｌ／Ｐの改善がなされている。

【0080】

次に、図９を参照して、非線形法について説明する。図９は、非線形法を実行するための処理系を示す図である。

【0081】

非線形法は、入力画像を平滑化した画像と、入力画像の画素毎の差をとって高周波成分を得る広域強調法である。非線形法では、高周波成分をべき乗することにより強調して、入力画像と加えることによって、高周波成分を強調する。非線形法では、高周波成分をべき乗するため、高周波成分の強調度合いが強くなる。

【0082】

ＬＰＦ（Low Pass Filter）部１４３１は、低周波画像Ｂを生成する。

【0083】

第１混合部１４３２は、元画像Ａと低周波画像Ｂとの画素毎の差分Ｃをとる。第２混合部１４３３は、差分Ｃを３乗（２乗でも可）し、強調高周波成分Ｄとする。

【0084】

第３混合部１４３４は、元画像Ａと強調高周波Ｄとを混合し、高周波強調画像を生成する。

【0085】

ここで、図１０を参照して非線形法を実行した画像の解像度が、拡大画像の解像度に対して改善されていることを説明する。図１０（ｄ）は、拡大画像に対して非線形法を実行した画像のＭＴＦと空間周波数との関係を示すグラフである。

【0086】

図１０（ｄ）に示すように、非線形法を実行した画像におけるＭＴＦが０．２での空間周波数は３．１であり、図１０（ａ）に示す拡大処理した画像よりも解像度の改善がなされることがわかる。具体的には、空間周波数において０．６Ｌ／Ｐの改善がなされている。

【0087】

以下、便宜上、スペクトル付加処理された拡大画像を「先鋭化画像」という。

【0088】

表示処理部１５は、拡大処理およびスペクトル付加処理を行った先鋭化画像を含む画面を表示部に表示させる。

【0089】

以上より、超解像システム１０は、カメラシステムから取得される低い画素数の画像を、高い画素数の画像と同等の解像度を持つ画像に変換することができる。これにより、既存のカメラシステムを高解像度のカメラシステムに変更することなく、高解像度の画像が得られる。

【0090】

＜＜動作＞＞
以下、超解像システム１０の動作について説明する。

【0091】

まず、超解像システム１０は、例えば所定のカメラシステムのレンズ系を通して入力画像を取得する。

【0092】

次に、超解像システム１０は、入力画像に対して空間周波数（ナイキスト周波数）を上げるように拡大処理を実行して、拡大画像を生成する。

【0093】

次に、超解像システム１０は、拡大画像に対して高周波領域を付加するスペクトル付加処理（例えば、Ｋｒｉｐｔｏｎ法、Ｕｎｓｈａｒｐ法または非線形法）を実行して、解像度を改善した先鋭化画像を生成する。

【0094】

次に、超解像システム１０は、所定の表示部に先鋭化画像を表示させる。

【0095】

＝＝＝第２の実施形態に係る超解像システム２０＝＝＝
次に、第２の実施形態に係る超解像システム２０について説明する。以下では、超解像システム１０と異なる構成についてのみ説明し、特に言及しない場合は超解像システム１０と同様とする。

【0096】

超解像システム２０は、各種のパラメータが調整された画像における解像度の改善度合いを評価可能なシステムである。

【0097】

例えば、各種のパラメータが調整された画像については、調整の度合によって解像度が変化する。解像度を変化させた結果の判定を客観的に評価することが困難であるため、目視による主観的評価に頼ることとなる。これは、人の主観的な評価であるため、評価の信頼性が低いという問題が生じる。

【0098】

具体的には、例えば、画像を評価する指標には、ＰＳＮＲ（Peak Signal to Noise Ratio) などがある。ＰＳＮＲは、元の画像（カメラで撮影した画像あるいは映像）と処理後の画像とが一致しているか否かを評価するのには適している。

【0099】

しかし、元の画像の解像度を上げるような処理を実行された画像に対しては、ＰＳＮＲは適切な評価ができない。これは、例えば、元の画像の周波数帯域を広くしたり、被写界深度を深くするなど、元の画像に改変（伝達関数の改善）を加えているためである。すなわち、ＰＳＮＲでは、出力された画像が例えばボケ画像を解像度を高めて先鋭化するなどの改変を加えているため一致度評価では評価し得ない。

【0100】

超解像システム２０では、このような状況において、解像度を調整した画像に対してテストパターンをプログラムで発生されて付加して定量的に評価する。

【0101】

すなわち、超解像システム２０は、カメラシステムで撮像される画像とともにテストパターンを撮像する必要がないため、元の画像に解像度を上げるような改変を加えている画像に対して、解像度がどの程度改善されたかについて容易に示すことができる。

【0102】

超解像システム２０は、ＭＴＦを周波数と出力信号のコントラスト比の低下の関係と見なすことができるとの考えに基づくものである。

【0103】

以下、図１１、図１２を参照して、超解像システム２０の構成について説明する。図１１は、第２実施形態に係る超解像システム２０の構成を示す図である。図１２は、画像について目視可能な空間周波数を特定するプロセスを示す図である。

【0104】

図１１は、超解像システム２０において、先鋭化画像について解像度が改善された度合いが算出される構成が示される仕組みを示す。なお、超解像システム２０は、上述したように、パラメータが調整された画像の解像度が改善された度合いを評価可能なシステムである。

【0105】

図１１に示すように、超解像システム２０は、超解像システム１０と比較して、パターン付加部２１と、第１の解像度算出部２２と、第２の解像度算出部２３と、改善度算出部２４とをさらに含む。

【0106】

まず、超解像システム２０では、カメラシステムから取得される入力画像に拡大処理を実行して拡大画像を生成する。

【0107】

パターン付加部２１は、プログラムで生成されるテストパターンを拡大画像に付加するパターン付加処理を実行する。

【0108】

第１の解像度算出部２２は、テストパターンが付加された拡大画像の解像度Ｘｏｒｇを算出する。具体的には、第１の解像度算出部２２は、例えば、テストパターンに対して引かれる仮想線（後述するＥＳＦ軸）に、テストパターンに含まれる画素から引かれる仮想垂線に基づいて、画素の輝度に関するパラメータ（例えば輝度値）の、当該仮想線上の累積値を算出して、当該累積値に基づいて、拡大画像の解像度ｏｒｇを算出する。

【0109】

第２の解像度算出部２３は、テストパターンが付加された拡大画像に対してスペクトル付加部１４によって高周波領域にスペクトルが付加された先鋭化画像の解像度Ｘｅnを算出する。具体的には、第２の解像度算出部２３は、例えば、先鋭化画像に付加されているテストパターンに対して引かれる仮想線（後述するＥＳＦ軸）に、テストパターンに含まれる画素から引かれる仮想垂線に基づいて、画素の輝度に関するパラメータの、当該仮想線上の累積値を算出して、当該累積値に基づいて、先鋭化画像の解像度Ｘｅnを算出する。

【0110】

図１２を参照して、解像度Ｘｏｒｇおよび解像度Ｘｅnを算出する手順について説明する。

【0111】

図１２（ａ）に示すように、テストパターンの白黒の境界線に垂直な仮想線をＥＳＦ（EdgeSpread Function) 軸として生成する。

【0112】

次に、図１２（ｂ）に示すように、スキャンライン方向の画素のそれぞれの中心（Pixel Grid) からＥＳＦ軸への垂線との交点の画素が白の場合は１として、黒の場合は０として投影（ＥＳＦ軸上での累積）する。これを、図１２（ｃ）に示すように、対象行の全ての画素について実行する。これにより、ＥＳＦ軸上に累積値が現れる。

【0113】

次に、図１２（ｄ）に示すように、ＥＳＦ軸上の累積値をプロットしたエッジ関数が現れる。エッジ関数は、テストパターンの分解能が理想的（例えば、間隔が極微小）であれば、変化が急峻な階段状を示す。図１２（ｄ）において、横軸は画素位置を示し、縦軸は累積値を示す。

【0114】

次に、図１２（ｅ）に示すように、破線で示すエッジ関数に微分操作を実行すると、実線で示す急峻な山状のＰＳＦ（Point Spread Function)関数が現れる。ＰＳＦ関数は理想的には山状の幅が線分となる関数である。ＰＳＦ関数は、伝達関数を空間的な像として表現されるものである。

【0115】

次に、図１２（ｆ）に示すように、ＰＳＦ関数について１次元ＦＦＴを実行すると、周波数領域の伝達関数（複素数）を得ることができる。図１２（ｆ）において、ａ（ｆ）は実数の関数を示し、ｂ（ｆ）は虚数の関数を示す。

【0116】

次に、周波数領域の伝達関数の絶対値を計算して実数にしたものがＭＦＴとなる。図１２（ｇ）に示すように、目視で認識できる限界の空間周波数を例えばコントラスト比が０．２になるときと決めた場合、その系での最大解像度が決まる。

【0117】

具体的には、拡大画像のＭＴＦが０．２での空間周波数は「１／Ｘｏｒｇ」で算出され最大解像度は「Ｘｏｒｇ」となり、先鋭化画像のＭＴＦが０．２での空間周波数は「１／Ｘｅｎ」で算出され最大解像度は「Ｘｅｎ」となる。

【0118】

すなわち、超解像システム２０では、スペクトル付加処理で解像度が改善されている場合、最大解像度ではＸｅｎ＜Ｘｏｒｇとなり、空間周波数では（１／Ｘｅｎ）＞（１／Ｘｏｒｇ）となる。

【0119】

改善度算出部２４は、改善度を「１０×Ｌｏｇ₁₀（Ｘｏｒｇ／Ｘｅｎ）」で示してもよい。

【0120】

なお、超解像システム２０における表示処理部１５は、先鋭化画像とともに改善度を表示部に表示させてもよい。これにより、表示部を確認する作業者は、どの程度解像度が改善されているかを容易に確認することができる。

【0121】

＜＜変形例＞＞
上記において、改善度算出部２４は、解像度の改善度を算出するように説明したが、これに限定されない。改善度算出部２４は、被写界深度の改善度を算出するように構成されていてもよい。

【0122】

超解像システム２０は、カメラシステムの性能を示す指標を被写界深度によって示してもよい。被写界深度とは、画像がボケない対象物の距離差をいう。

【0123】

一般的には、被写界深度は、物体の距離、焦点距離、Ｆ値、及び許容錯乱円径を用いて計算される。Ｆ値は、光量の調整指数であり、焦点距離をレンズ直径で除算して算出される値である。許容錯乱円径は、円を視認できる最小サイズである。

【0124】

超解像システム２０は、これらの値を用いずに、被写界深度の相対的な変化を算出することができる。すなわち、超解像システム２０は、多くのパラメータを用いずに被写界深度の改善度を算出できる。

【0125】

以下、超解像システム２０において、物体の距離、焦点距離ｆ、Ｆ値が一定として、許容錯乱円径ＸをΔＸだけ変化させた場合、被写界深度Ｄの相対変化ΔＤを算出する手順について説明する。

【0126】

被写界深度は、例えば、パラメータを縮退した形式によると式（２）～（式（４）のように示される。

【0127】

【数2】

【0128】

【数3】

【0129】

【数4】

【0130】

ただし、Ｃ₀は焦点距離ｆを二乗したものであり、Ｃ₁はＦ値に物体距離から焦点距離を引いた値を乗算したものであり、Ｃ₂はＦ値に物体距離から焦点距離を引いた値を二乗した値を乗算したものである。

【0131】

式（３）および式（４）のそれぞれをＸで変分すると、式（５）および式（６）のそれぞれが得られる。式（５）の右辺のＤｎ₁は現状の前側被写界深度であり、式（６）の右辺のＤｆ₁は現状の後方被写界深度である。

【0132】

【数5】

【0133】

【数6】

【0134】

これにより、被写界深度の変化δＤは、δＤ_nとδＤ_fの和であり、式（７）が得られる。

【0135】

【数7】

【0136】

式（７）において、１＞＞（Ｃ₁／Ｃ₀）²・Ｘ²と想定可能である場合、Ｋ＝１となる。この場合、式（８）が得られる。式（８）の右辺は、改善指標に対応する。なお、式（７）の右辺のＤ_pおよび式（８）の左辺のＤ_pは変化前の被写界深度を示す。

【0137】

【数8】

【0138】

＜＜動作＞＞
以下、図１１を参照して、超解像システム２０の動作について説明する。

【0139】

まず、ステップＳ１０において、超解像システム２０は、所定のカメラシステムのレンズ系を通して入力画像を取得する。

【0140】

次に、ステップＳ１１において、超解像システム２０は、入力画像に対してナイキスト周波数を上げるように拡大処理を実行して、拡大画像を生成する。

【0141】

次に、ステップＳ１２において、超解像システム２０は、拡大画像にテストパターンを付加する。

【0142】

次に、ステップＳ１３において、超解像システム２０は、スペクトル付加処理（例えば、Ｋｒｉｐｔｏｎ法、Ｕｎｓｈａｒｐ法または非線形法）を実行せずに解像度Ｘｏｒｇを算出する。

【0143】

次に、ステップＳ１４において、超解像システム２０は、スペクトル付加処理を実行して解像度Ｘｅｎを算出する。

【0144】

次に、ステップＳ１５において、超解像システム２０は、改善度（１０×Ｌｏｇ10（Ｘｏｒｇ／Ｘｅｎ））を算出する。

【0145】

次に、ステップＳ１６において、超解像システム２０は、先鋭化画像に改善度を付加して表示部に表示させる。なお、超解像システム２０は、先鋭化画像と拡大画像とを比較可能に表示してもよい。これにより、どの程度、解像度が改善されているかを視覚的に容易に確認できる。

【0146】

＝＝＝画像復元手法＝＝＝
次に、超解像システムの仕組みを用いた画像の復元に関する画像復元手法について説明する。

【0147】

一般的な画像の圧縮方法は、非可逆的であり、画像の高い解像度を犠牲にする。すなわち、当該圧縮方法は、画像の高周波成分を排除して画像を圧縮している。よって、当該圧縮方法では、画像の解像度を保ったまま画像を保存したい場合、圧縮率を上げることができないという問題が生じる。

【0148】

例えば、医療現場における検査画像や手術を記録した映像は患者ごとに長期の保存を必要とする。保存される画像や映像のデータサイズは膨大となる。さらに、画像や映像は、カメラシステムの画素数の拡大にともないデータサイズが急激に増加している。

【0149】

画像復元手法では、高い解像度の画像を圧縮した画像をデータベースに保存して、当該画像を利用するときに、適切に解像度を高めて復元することができる。すなわち、画像復元手法では、小さいデータサイズで画像や映像を保存しておきながら、画像や映像を利用するときに、解像度が高い画像や映像に復元して利用することができる。

【0150】

以下、図１３を参照して、画像復元手法の手順について説明する。図１３は、画像復元手法の手順を示す図である。以下、一例として、カメラシステムから取得した４Ｋの画像を、８Ｋ相当の画像で表示させるとともに、８Ｋ相当の画像を４Ｋ相当の画像に圧縮処理してデータベースに格納して、データベースから画像を取り出して表示部に表示させるときに、８Ｋ相当の画像で表示させる手順について説明する。

【0151】

すなわち、画像復元手法では、所定の画像について、高い解像度の画像を表示部に表示させ、低い解像度の画像をデータベースに記憶させることができる。

【0152】

以下、便宜上、画像復元手法を実行可能なシステムを「画像復元システム３０」という。また、画像復元システム３０には、超解像システム１０が含まれることとして説明する。

【0153】

ステップＳ３０において、画像復元システム３０は、例えば、図１３（ａ）の周波数特性を示す４Ｋの元画像をカメラシステムから取得する。

【0154】

なお、図１３（ａ）は、４Ｋ相当の画像の空間周波数を示したグラフである。図１３（ａ）では、横軸に空間周波数を示し、縦軸にスペクトル値を示す。また、図１３（ａ）では、横軸に元画像のナイキスト周波数を「Ｐ１」で示す。

【0155】

次に、ステップＳ３１において、画像復元システム３０は、図１３（ｂ）に示すように、元画像に拡大処理およびスペクトル付加処理を実行する。

【0156】

次に、ステップＳ３２において、画像復元システム３０は、図１３（ｃ）の周波数特性を示す８Ｋ相当の先鋭画像を生成する。

【0157】

なお、図１３（ｃ）は、８Ｋ相当の画像の空間周波数を示したグラフである。図１３（ｃ）では、横軸に空間周波数を示し、縦軸にスペクトル値を示す。また、図１３（ｃ）では、横軸に先鋭画像のナイキスト周波数を「Ｐ２」で示す。

【0158】

次に、ステップＳ３３において、画像復元システムは、先鋭画像を表示部に表示させる。

【0159】

次に、ステップＳ３４において、画像復元システムは、例えば、作業者の操作入力に基づき、表示部に表示されている画像をデータベースに格納させるための圧縮処理を実行する。圧縮処理は、例えば、図１３（ｃ）に示す先鋭化画像を図１３（ａ）に示す入力画像のように、画像の高周波成分を排除して解像度を低くして情報量を小さくする処理である。

【0160】

次に、ステップＳ３５において、圧縮処理された４Ｋ相当の画像をデータベースに記憶する。

【0161】

次に、ステップＳ３６において、画像復元システム３０は、例えば、作業者の操作入力に基づき、所定の４Ｋ相当の画像を表示部に表示させるための要求を受け付けた場合、当該４Ｋ相当の画像に拡大処理およびスペクトル付加処理を実行して、８Ｋ相当の先鋭化画像を生成する。

【0162】

次に、ステップＳ３７において、画像復元システム３０は、生成した８Ｋ相当の先鋭化画像を表示部に表示させる。

【0163】

このように、画像復元手法を用いると、データベースに記憶する画像は小さいデータサイズとし、表示部に表示させる画像は解像度が高い大きいデータサイズとして、少ない記憶容量でシステムを構築することができる。

【0164】

＝＝＝ハードウェア構成＝＝＝
図１４を参照して、超解像システム１０のハードウェア構成について説明する。図１４は、ハードウェア構成の一例を示す図である。

【0165】

図１４に示すように、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、入力Ｉ／Ｆ部１００４と、データＩ／Ｆ部１００５と、通信Ｉ／Ｆ部１００６、及び表示装置１００７を含む。

【0166】

プロセッサ１００１は、メモリ１００２に記憶されているプログラムを実行することによりコンピュータ１０００における各種の処理を制御する制御部である。

【0167】

メモリ１００２は、例えばＲＡＭ（Random Access Memory）等の記憶媒体である。メモリ１００２は、プロセッサ１００１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。

【0168】

記憶装置１００３は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置１００３は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。

【0169】

入力Ｉ／Ｆ部１００４は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部１００４の具体例としては、キーボードやマウス、タッチパネル、各種センサー、ウェアラブル・デバイス等が挙げられる。入力Ｉ／Ｆ部１００４は、例えばＵＳＢ（Universal Serial Bus）等のインターフェースを介してコンピュータ１０００に接続されても良い。

【0170】

データＩ／Ｆ部１００５は、コンピュータ１０００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部１００５の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部１００５は、コンピュータ１０００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部１００５は、例えばＵＳＢ等のインターフェースを介してコンピュータ１０００へと接続される。

【0171】

通信Ｉ／Ｆ部１００６は、コンピュータ１０００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部１００６は、コンピュータ１０００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部１００６は、例えばＵＳＢ等のインターフェースを介してコンピュータ１０００に接続される。

【0172】

表示装置１００７は、各種情報を表示するためのデバイスである。表示装置１００７の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Electro－Luminescence）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示装置１００７は、コンピュータ１０００の外部に設けられても良い。その場合、表示装置１００７は、例えばディスプレイケーブル等を介してコンピュータ１０００に接続される。また、入力Ｉ／Ｆ部１００４としてタッチパネルが採用される場合には、表示装置１００７は、入力Ｉ／Ｆ部１００４と一体化して構成することが可能である。

【0173】

＝＝＝まとめ＝＝＝
超解像システム１０は、画像を取得する取得部１１と、画像における第１のナイキスト周波数を、第１のナイキスト周波数よりも高い第２のナイキスト周波数に上昇させるように、当該画像を拡大する拡大部１３と、拡大された画像における第２のナイキスト周波数よりも低い空間周波数領域であって、当該空間周波数領域における高周波領域にスペクトル（周波数成分）を付加するスペクトル付加部１４と、を備える。これにより、超解像システム１０は、少ないデータ量で高画質の画像を生成できる画像処理システムを提供することができる。

【0174】

超解像システム１０は、スペクトル付加部１４は、Ｋｒｉｐｔｏｎ法、Ｕｎｓｈａｒｐ法、または非線形法のいずれかによって、高周波領域にスペクトルを付加する。これにより、超解像システム１０は、簡易な方法で高画質の画像を生成できる。

【0175】

超解像システム２０は、所定のプログラムで発生させた、画像の解像度を評価するためのテストパターンを、拡大された画像に付加するパターン付加部２１と、テストパターンに対して引かれるＥＳＦ軸（第１の仮想線）に、当該テストパターンに含まれる画素から引かれる第１の仮想垂線に基づいて、画素の輝度に関するパラメータの、第１の仮想線上の第１の累積値を算出して、当該第１の累積値に基づいて、拡大された画像の第１の解像度を算出する第１の解像度算出部２２と、拡大画像（拡大された画像）にテストパターンが付加された画像についてスペクトル付加部１４でスペクトルを付加した画像である先鋭化画像に付加されているテストパターンに対して引かれるＥＳＦ軸（第２の仮想線）に、当該テストパターンに含まれる画素から引かれる第２の仮想垂線に基づいて、画素の輝度に関するパラメータの、第２の仮想線上における第２の累積値を算出して、当該第２の累積値に基づいて、先鋭化画像の第２の解像度を算出する第２の解像度算出部２３と、第１の解像度と、第２の解像度と、に基づいて、画像の改善度を算出する改善度算出部２４と、を備える。これにより、超解像システム２０は、物理的なテストパターンを用いずに、プログラムによる処理によって解像度を評価できるため、簡易、適切な解像度評価を可能とする。

【0176】

超解像システム１０，２０は、先鋭化画像と、改善度と、を関連付けて表示部に表示する表示処理部１５をさらに備える。これにより、超解像システム１０は、作業員に対して解像度の改善状況を容易に提供できるため、作業員の利便性を向上できる。

【0177】

以上説明した各実施形態は、本開示の理解を容易にするためのものであり、本開示を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0178】

１０，２０…超解像システム、１１…取得部、１２…記憶部、１３…拡大部、１４…スペクトル付加部、１５…表示処理部、２１…パターン付加部、２２…第１の解像度算出部、２３…第２の解像度算出部、２４…改善度算出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】