特許 7083015 超解像処理装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-01

(45)【発行日】2022-06-09

(54)【発明の名称】超解像処理装置、方法及びプログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20220602BHJP

   G06T 3/40 20060101ALI20220602BHJP

【ＦＩ】

H04N7/01 170

H04N7/01 350

H04N7/01 270

G06T3/40 730

【請求項の数】 12

(21)【出願番号】P 2020502911

(86)(22)【出願日】2019-02-12

(86)【国際出願番号】 JP2019004773

(87)【国際公開番号】W WO2019167597

(87)【国際公開日】2019-09-06

【審査請求日】2020-07-31

(31)【優先権主張番号】P 2018035353

(32)【優先日】2018-02-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】大関 誠

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１０－２７８８９８（ＪＰ，Ａ）

【文献】特開２０１４－２２２４４２（ＪＰ，Ａ）

【文献】特開２００５－１１５５９８（ＪＰ，Ａ）

【文献】特開２０１０－２０６２７３（ＪＰ，Ａ）

【文献】岸本大輝 他１名，時空間自己回帰モデルのスパース推定に基づく時間的超解像，２０１６年電子情報通信学会総合大会 情報・システム講演論文集１，2016年03月，p.12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／０１

Ｇ０６Ｔ ３／４０

Ｈ０４Ｎ １／３８７

Ｇ０９Ｇ ３／００－５／００

(57)【特許請求の範囲】

【請求項1】

入力されるデータに対して超解像処理を施すことにより、前記入力されるデータよりも解像度が高いデータを出力する変換部であって、前記変換部から出力されるデータと前記変換部に入力されるデータの解像度の比が固定された変換部と、
前記変換部に入力されるデータ又は前記変換部から出力されるデータに対してダウンサンプリング処理を施すダウンサンプリング部と、
前記解像度の比に基づいて前記ダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理部とを備え、
前記変換部は、前記解像度の比が相互に異なる複数の変換部からなり、
前記処理部は、各変換部から出力されるデータを合成することにより前記出力データを生成する、超解像処理装置。

【請求項2】

前記処理部は、あらかじめ学習された第１解像度のデータと前記第１解像度のデータよりも高い解像度の第２解像度のデータとの対応関係に基づいて各変換部から出力されるデータを合成する方法を決定する、請求項１記載の超解像処理装置。

【請求項3】

入力されるデータに対して超解像処理を施すことにより、前記入力されるデータよりも解像度が高いデータを出力する変換部であって、前記変換部から出力されるデータと前記変換部に入力されるデータの解像度の比が固定された変換部と、
前記変換部に入力されるデータ又は前記変換部から出力されるデータに対してダウンサンプリング処理を施すダウンサンプリング部と、
前記解像度の比に基づいて前記ダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理部であって、あらかじめ学習された第１解像度のデータと前記第１解像度のデータよりも高い解像度の第２解像度のデータとの対応関係に基づいて前記サンプリングレートを調整する処理部と、
を備える超解像処理装置。

【請求項4】

前記出力データの要求解像度を設定する設定部を更に備え、
前記処理部は、前記解像度の比に基づいて前記サンプリングレートを調整することにより、前記出力データの解像度を前記要求解像度に一致させる、請求項１から３のいずれか１項記載の超解像処理装置。

【請求項5】

前記変換部は、あらかじめ学習された第１解像度のデータと前記第１解像度のデータよりも高い解像度の第２解像度のデータとの対応関係に基づいて前記超解像処理を行う、請求項１から４のいずれか１項記載の超解像処理装置。

【請求項6】

前記変換部は、前記変換部に入力されるデータの空間解像度を上げる処理を行う、請求項１から５のいずれか１項記載の超解像処理装置。

【請求項7】

前記変換部は、前記変換部に入力されるデータが２次元又は３次元の画像データの場合に、前記画像データの少なくとも一方向に沿う解像度を上げる処理を行う、請求項６記載の超解像処理装置。

【請求項8】

前記変換部は、前記変換部に入力されるデータが動画データの場合に、前記動画データのフレームレートを上げる処理を行う、請求項１から７のいずれか１項記載の超解像処理装置。

【請求項9】

変換部により、入力されるデータに対して超解像処理を施すことにより、前記入力されるデータよりも解像度が高いデータであって、前記変換部から出力されるデータと前記変換部に入力されるデータの解像度の比が固定されたデータを出力する変換ステップと、
前記変換部に入力されるデータ又は前記変換部から出力されるデータに対してダウンサンプリング処理を施すダウンサンプリングステップと、
前記解像度の比に基づいて前記ダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理ステップとを備え、
前記変換部は、前記解像度の比が相互に異なる複数の変換部からなり、
前記処理ステップでは、各変換部から出力されるデータを合成することにより前記出力データを生成する、超解像処理方法。

【請求項10】

変換部により、入力されるデータに対して超解像処理を施すことにより、前記入力されるデータよりも解像度が高いデータであって、前記変換部から出力されるデータと前記変換部に入力されるデータの解像度の比が固定されたデータを出力する変換ステップと、
前記変換部に入力されるデータ又は前記変換部から出力されるデータに対してダウンサンプリング処理を施すダウンサンプリングステップと、
前記解像度の比に基づいて前記ダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理ステップであって、あらかじめ学習された第１解像度のデータと前記第１解像度のデータよりも高い解像度の第２解像度のデータとの対応関係に基づいて前記サンプリングレートを調整する処理ステップと、
を備える超解像処理方法。

【請求項11】

入力されるデータに対して超解像処理を施すことにより、前記入力されるデータよりも解像度が高いデータを出力する変換機能であって、出力されるデータと入力されるデータの解像度の比が固定された変換機能であって、前記解像度の比が相互に異なる複数の変換機能からなる変換機能と、
前記変換機能による変換の前のデータ又は前記変換機能による変換の後のデータに対してダウンサンプリング処理を施すダウンサンプリング機能と、
前記解像度の比に基づいて前記ダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理機能であって、前記複数の変換機能それぞれから出力されるデータを合成することにより前記出力データを生成する処理機能と、
をコンピュータに実現させる超解像処理プログラム。

【請求項12】

入力されるデータに対して超解像処理を施すことにより、前記入力されるデータよりも解像度が高いデータを出力する変換機能であって、出力されるデータと入力されるデータの解像度の比が固定された変換機能と、
前記変換機能による変換の前のデータ又は前記変換機能による変換の後のデータに対してダウンサンプリング処理を施すダウンサンプリング機能と、
前記解像度の比に基づいて前記ダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理機能であって、あらかじめ学習された第１解像度のデータと前記第１解像度のデータよりも高い解像度の第２解像度のデータとの対応関係に基づいて前記サンプリングレートを調整する処理機能と、
をコンピュータに実現させる超解像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は超解像処理装置、方法及びプログラムに係り、特に時空間における画像データの解像度を上げる超解像処理装置、方法及びプログラムに関する。

【背景技術】

【0002】

画像データの解像度を上げる超解像処理を行う超解像処理方法には、深層学習を用いるものがある（非特許文献１から非特許文献４）。深層学習を用いる超解像処理方法では、複数の解像度の入力画像又は中間特徴量を利用することで、超解像の性能を上げることが提案されている（非特許文献２から非特許文献４）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Dong, C. et al., “Image Super-Resolution Using Deep Convolutional Networks”, 2014, European Conference on Computer Vision (ECCV)

【文献】Jia, X. et al., “Single Image Super-Resolution Using Multi-Scale Convolutional Neural Network”, [online], 2017, arXiv，［平成３０年２月１９日検索］，インターネット＜ＵＲＬ：https://arxiv.org/abs/1705.05084＞

【文献】Ren, H. et al., “Image Super Resolution Based on Fusing Multiple Convolution Neural Networks”, 2017, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshop

【文献】Shi, W. et al., “Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module”, 2017, IEEE International Conference on Image Processing (ICIP)

【発明の概要】

【発明が解決しようとする課題】

【0004】

超解像処理を行う場合、超解像処理の前後における画像データの解像度の比が固定の場合が多い。以下の説明では、超解像処理前の画像データの解像度に対する超解像処理後の画像データの解像度の比を超解像処理の倍率という。超解像処理の倍率が固定の場合、超解像処理によって、ある解像度の画像データから生成可能な画像データの解像度はこの倍率によって一意に定まる。このため、超解像処理によって、ある解像度の画像データから解像度が異なる複数の画像データを生成するためには、互いに倍率が異なる超解像処理エンジンを複数設ける必要がある。この場合、複数の超解像処理エンジンのそれぞれについて、学習用のデータセットを用意して学習を行う必要があるため、超解像処理エンジンの作成に要するコストが大きくなるという問題がある。

【0005】

非特許文献２には、複数の倍率（up-scale factors）に対応するモデル（general model）の学習を行うことが開示されている。非特許文献２に開示の技術では、あらかじめ学習した倍率に対応する解像度の画像データを生成することはできるものの、あらかじめ学習した倍率以外の任意の倍率に対応する解像度の画像データを生成することはできなかった。また、非特許文献２に記載の技術では、複数の倍率に対応する低解像度（ＬＲ）と高解像度（ＨＲ）の画像の組みを１つに結合するようになっており、複数の倍率ごとに学習用のデータセットを用意して学習を行う必要があった。

【0006】

本発明はこのような事情に鑑みてなされたもので、超解像処理においてあらかじめ定められた倍率以外の任意の倍率に対応する解像度の画像データを生成することが可能な超解像処理装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の第１の態様に係る超解像処理装置は、入力されるデータに対して超解像処理を施すことにより、入力されるデータよりも解像度が高いデータを出力する変換部であって、変換部から出力されるデータと変換部に入力されるデータの解像度の比が固定された変換部と、変換部に入力されるデータ又は変換部から出力されるデータに対してダウンサンプリング処理を施すダウンサンプリング部と、解像度の比に基づいてダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理部とを備える。

【0008】

第１の態様によれば、超解像処理の前又はあとにダウンサンプリングを行うことにより、あらかじめ学習した倍率以外の任意の倍率に対応する解像度の画像データを生成することが可能になる。

【0009】

本発明の第２の態様に係る超解像処理装置は、第１の態様において、出力データの要求解像度を設定する設定部を更に備え、処理部は、解像度の比に基づいてサンプリングレートを調整することにより、出力データの解像度を要求解像度に一致させるようにしたものである。

【0010】

本発明の第３の態様に係る超解像処理装置は、第１又は第２の態様において、変換部は、解像度の比が相互に異なる複数の変換部からなり、処理部は、各変換部から出力されるデータを合成することにより出力データを生成するようにしたものである。

【0011】

本発明の第４の態様に係る超解像処理装置は、第３の態様において、処理部は、あらかじめ学習された第１解像度のデータと第１解像度のデータよりも高い解像度の第２の解像度のデータとの対応関係に基づいて各変換部から出力されるデータを合成する方法を決定するようにしたものである。

【0012】

本発明の第５の態様に係る超解像処理装置は、第１から第４のいずれかの態様において、処理部は、あらかじめ学習された第１解像度のデータと第１解像度のデータよりも高い解像度の第２の解像度のデータとの対応関係に基づいてサンプリングレートを調整するようにしたものである。

【0013】

本発明の第６の態様に係る超解像処理装置は、第１から第５のいずれかの態様において、変換部は、あらかじめ学習された第１解像度のデータと第１解像度のデータよりも高い解像度の第２の解像度のデータとの対応関係に基づいて超解像処理を行うようにしたものである。

【0014】

本発明の第７の態様に係る超解像処理装置は、第１から第６のいずれかの態様において、変換部は、変換部に入力されるデータの空間解像度を上げる処理を行うようにしたものである。

【0015】

本発明の第８の態様に係る超解像処理装置は、第７の態様において、変換部は、変換部に入力されるデータが２次元又は３次元の画像データの場合に、画像データの少なくとも一方向に沿う解像度を上げる処理を行うようにしたものである。

【0016】

本発明の第９の態様に係る超解像処理装置は、第１から第８のいずれかの態様において、変換部は、変換部に入力されるデータが動画データの場合に、動画データのフレームレートを上げる処理を行うようにしたものである。

【0017】

本発明の第１０の態様に係る超解像処理方法は、変換部により、入力されるデータに対して超解像処理を施すことにより、入力されるデータよりも解像度が高いデータであって、変換部から出力されるデータと変換部に入力されるデータの解像度の比が固定されたデータを出力する変換ステップと、変換部に入力されるデータ又は変換部から出力されるデータに対してダウンサンプリング処理を施すダウンサンプリングステップと、解像度の比に基づいてダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理ステップとを備える。

【0018】

本発明の第１１の態様に係る超解像処理プログラムは、入力されるデータに対して超解像処理を施すことにより、入力されるデータよりも解像度が高いデータを出力する変換機能であって、出力されるデータと入力されるデータの解像度の比が固定された変換機能と、変換機能による変換の前のデータ又は変換部による変換の後のデータに対してダウンサンプリング処理を施すダウンサンプリング機能と、解像度の比に基づいてダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する処理機能とをコンピュータに実現させる。

【発明の効果】

【0019】

本発明によれば、超解像処理の前又はあとにダウンサンプリングを行うことにより、変換部において固定された超解像処理の倍率以外の任意の倍率に対応する解像度の画像データを生成することが可能になる。

【図面の簡単な説明】

【0020】

【図1】図１は、本発明の第１の実施形態に係る超解像処理装置を示すブロック図である。

【図2】図２は、本発明の第１の実施形態に係る超解像処理装置における学習に係る構成を抽出して示すブロック図である。

【図3】図３は、本発明の第１の実施形態に係る超解像処理方法を示すフローチャートである。

【図4】図４は、超解像処理工程を示すフローチャートである。

【図5】図５は、断層画像データの撮像方法を説明するための図である。

【図6】図６は、本発明の第２の実施形態に係る超解像処理装置を示すブロック図である。

【図7】図７は、本発明の第２の実施形態に係る超解像処理装置における学習に係る構成を抽出して示すブロック図である。

【図8】図８は、本発明の第２の実施形態に係る超解像処理方法を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、添付図面に従って本発明に係る超解像処理装置、方法及びプログラムの実施の形態について説明する。

【0022】

［第１の実施形態］
図１は、本発明の第１の実施形態に係る超解像処理装置を示すブロック図である。

【0023】

本実施形態に係る超解像処理装置１０は、撮像装置１００によって撮像された画像データを含む入力データＰ１を取得し、この入力データＰ１に対して超解像処理を行う。撮像装置１００は、静止画又は動画を撮像する装置であり、例えば、医療機関に設置された検査装置を含む。

【0024】

以下の説明では、超解像処理とは、時空間における画像データの解像度を上げる処理をいう。超解像処理は、入力データＰ１に含まれる画像データの画素数を増加させて空間解像度を上げる処理を含む。例えば、入力データＰ１に含まれる画像データが３次元の画像データの場合には、超解像処理は、３次元の画像データ中の少なくとも一方向の画素数を増加させて、その方向に沿う解像度を上げる処理を含む。具体的には、入力データＰ１に含まれる画像データがＣＴ（Computed Tomography）又はＭＲＩ（Magnetic Resonance Imaging）等の断層画像データの場合には、超解像処理は、断層画像の断面に垂直な方向、すなわち、スライス厚方向の画素数を増加させて、その方向に沿う解像度を上げる処理を含む。また、入力データＰ１に含まれる画像データが動画データの場合には、超解像処理は、動画データのフレームレートを上げる処理を含む。

【0025】

図１に示すように、本実施形態に係る超解像処理装置１０は、制御部１２、操作部１４、メモリ１６、記録部１８、表示部２０、データ取得部２２、超解像処理部２４、通信インターフェース（通信Ｉ／Ｆ：interface）２６及び学習部２８を含んでいる。

【0026】

制御部１２は、超解像処理装置１０の各部の動作を制御するＣＰＵ（Central Processing Unit）を含んでいる。制御部１２は、バスを介して、超解像処理装置１０の各部との間で制御信号及びデータの送受信が可能となっている。制御部１２は、操作部１４を介してオペレータからの操作入力を受け付け、バスを介してこの操作入力に応じた制御信号を超解像処理装置１０の各部に送信して各部の動作を制御する。

【0027】

操作部１４は、オペレータからの操作入力を受け付ける入力装置であり、文字入力等のためのキーボード、表示部２０に表示されるポインタ及びアイコン等を操作するためのポインティングデバイス（例えば、マウス、トラックボール等）を含んでいる。なお、操作部１４としては、キーボード及びポインティングデバイスに代えて、又は、キーボード及びポインティングデバイスに加えて、表示部２０の表面にタッチパネルを設けてもよい。

【0028】

メモリ１６は、制御部１２等により行われる各種演算のための作業領域として使用されるＲＡＭ（Random Access Memory）、及び表示部２０に出力される画像データを一時記憶するため領域として使用されるＶＲＡＭ（Video Random Access Memory）を含んでいる。

【0029】

記録部１８は、制御部１２が使用する制御プログラム、及び超解像処理装置１０から受信したデータ等を格納するストレージデバイスである。記録部１８としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスクを含む装置、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等のフラッシュメモリを含む装置等を用いることができる。

【0030】

表示部２０は、画像を表示するための装置である。表示部２０としては、例えば、液晶モニタを用いることができる。

【0031】

通信Ｉ／Ｆ２６は、ネットワークを介して、ほかの装置との間で通信を行うための手段であり、通信の方法に応じて送受信するデータの変換処理を行う。超解像処理装置１０とほかの装置との間のデータの送受信方法としては、有線通信又は無線通信（例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続等）を用いることができる。

【0032】

データ取得部２２は、通信Ｉ／Ｆ２６を介して、撮像装置１００によって撮像された画像データを含む入力データＰ１を取得する。

【0033】

超解像処理部２４は、データ取得部２２により取得した入力データＰ１に含まれる画像データに対して超解像処理を行う。超解像処理部２４は、変換部３０、ダウンサンプリング部３２及び処理部３４を含んでいる。

【0034】

変換部３０は、入力された画像データに超解像処理を施し、より解像度が高い画像データに変換する超解像処理エンジンである。変換部３０としては、例えば、深層学習（Deep Learning）及びニューラルネットワークを利用するものを用いることができる。

【0035】

ダウンサンプリング部３２は、入力された画像データにダウンサンプリング処理を施し、より解像度が低い画像データに変換する。

【0036】

空間解像度を上げる超解像処理を行う場合には、変換部３０は、入力された画像データの画素数を増加させる処理を行い、ダウンサンプリング部３２は、入力された画像データの画素数を減少させる処理を行う。入力された画像データが２次元又は３次元の画像データの場合には、変換部３０は、画像データ中の少なくとも一方向の画素数を増加させる処理を行い、ダウンサンプリング部３２は、画像データ中の少なくとも一方向の画素数を減少させる処理を行う。入力された画像データが断層画像データの場合には、変換部３０は、断層画像の断面に垂直なスライス厚方向の画素数を増加させる処理を行い、ダウンサンプリング部３２は、断層画像の断面に垂直なスライス厚方向の画素数を減少させる処理を行う。また、動画データにおける時間の解像度を上げる超解像処理を行う場合には、変換部３０は、動画データのフレームレートを増加させる処理を行い、ダウンサンプリング部３２は、動画データのフレームレートを減少させる処理を行う。

【0037】

本実施形態では、変換部３０に入力された画像データに対する変換の後の画像データの解像度の比、すなわち、超解像処理の倍率は固定である。ここで、超解像処理の倍率は、空間解像度を上げる超解像処理の場合、入力された画像データの画素数に対する変換の後の画像データの画素数の比、すなわち、（変換の後の画像データの画素数）÷（入力された画像データの画素数）である。超解像処理の倍率は、動画データにおける時間の解像度を上げる超解像処理の場合、入力された動画データのフレームレートに対する変換の後の動画データのフレームレートの比、すなわち、（変換の後の動画データのフレームレート）÷（入力された動画データのフレームレート）である。

【0038】

超解像処理の倍率が固定の場合、変換の後の画像データの解像度は、変換部３０に入力された画像データの解像度によって一意に定まるので、任意の解像度の画像データを生成することができない。このため、本実施形態では、変換部３０による変換の前又は後に、ダウンサンプリング部３２を用いてダウンサンプリング処理を行うことにより、出力される画像データの解像度の調整を行う。

【0039】

処理部３４は、操作部１４を介して、超解像処理部２４から出力される出力データの要求出力の設定の入力を受け付ける。ここで、要求出力とは、超解像処理後の出力データの解像度である。具体的には、要求出力は、２次元又は３次元データの場合には、空間解像度又は画素数であり、断層画像データの場合には、断層画像の断面に平行な方向における空間解像度又は画素数、あるいは断層画像の断面に垂直な方向におけるスライス厚であり、動画データの場合には、フレームレートである。これらの要求出力の値は、オペレータが操作部１４を介して設定可能となっている。そして、処理部３４は、変換部３０による変換の前又は後の画像データに対して、ダウンサンプリング部３２を用いてダウンサンプリング処理を行うことにより、出力される画像データの解像度を設定された要求出力に一致させる。具体的には、処理部３４は、入力データの解像度、要求出力、変換部３０の倍率に基づいて、ダウンサンプリング処理の実行タイミング及びサンプリングレートを決定する。

【0040】

ここで、２次元の画像データに対して超解像処理を行う場合を例にとって説明する。入力データＰ１に含まれる画像データの空間解像度を１２００ｐｐｉ（pixel per inch）、要求出力を２４００ｐｐｉ、変換部３０における倍率を４倍とする。この場合、１２００ｐｐｉの画像データを変換部３０により変換すると、４８００ｐｐｉの画像データが生成される。このため、ダウンサンプリングレートを１／２として、変換部３０による変換の後の画像データをダウンサンプリングすることにより、２４００ｐｐｉの画像データを生成することができる。

【0041】

なお、この場合、超解像処理部２４に入力された画像データを、変換部３０による変換の前に、ダウンサンプリングレートを１／２としてダウンサンプリングして６００ｐｐｉの画像データを生成し、この６００ｐｐｉの画像データを変換部３０に入力して２４００ｐｐｉの画像データに変換することも可能である。

【0042】

次に、動画データのフレームレートを上げる超解像処理を行う場合について説明する。入力データＰ１に含まれる動画データのフレームレートを３０ｆｐｓ（frames per second）、要求フレームレートを４０ｆｐｓ、変換部３０における倍率を４倍とする。この場合、３０ｆｐｓの動画データを変換部３０により変換すると、１２０ｆｐｓの動画データが生成される。このため、ダウンサンプリングレートを１／３として、変換部３０による変換の後の動画データをダウンサンプリングしてフレームを間引くことにより、４０ｆｐｓの動画データを生成することができる。

【0043】

なお、この場合、超解像処理部２４に入力された動画データを、変換部３０による変換の前に、ダウンサンプリングレートを１／３としてダウンサンプリングして１０ｆｐｓの動画データを生成し、この１０ｆｐｓの画像データを変換部３０に入力して４０ｆｐｓの動画データに変換することも可能である。

【0044】

これにより、あらかじめ学習した倍率以外の倍率に対応する超解像処理を行うことが可能になる。

【0045】

なお、本実施形態に係る超解像処理部２４は、空間解像度（画素数）と時間解像度（フレームレート）に関する超解像処理を行うための変換部及びダウンサンプリング部を両方備えるようにしてもよい。これにより、動画データについて、画素の補間とフレームレートの補間とを両方行うことが可能になる。

【0046】

また、本実施形態では、２次元の画像データにおいて、ｘ軸方向と、ｘ軸に直交するｙ軸方向において、各軸方向におけるダウンサンプリングレートを変えることにより、軸方向ごとの超解像処理の倍率を変えることが可能になる。３次元の画像データにおいても、ｘｙｚ直交座標系の各軸方向におけるダウンサンプリングレートを変えることにより、軸方向ごとの超解像処理の倍率を変えることが可能になる。

【0047】

学習部２８は、学習用のデータセットを用いて変換部３０に学習を行わせる。学習部２８は、学習後の変換部３０を超解像処理部２４に転送することにより、超解像処理エンジンである変換部３０を更新する。

【0048】

図２に示すように、学習部２８は、変換部３０の学習を行う場合には、第１解像度の画像データＰＬと第１解像度よりも高い第２解像度の画像データＰＨの組みを含む学習用のデータセットＴＤ１を取得する。ここで、第１解像度の画像データＰＬ及び第２解像度の画像データＰＨは、変換部３０における超解像処理の倍率に対応する解像度の画像データの組みである。第１解像度の画像データＰＬは、例えば、第２解像度の画像データＰＨを、超解像処理の倍率の逆数のダウンサンプリングレートでダウンサンプリングしたものであってもよい。また、第１解像度の画像データＰＬ及び第２解像度の画像データＰＨが断層画像データの場合には、第１解像度の画像データＰＬは、例えば、第１解像度の画像データＰＬよりもスライス厚が小さい第２解像度の画像データＰＨを、超解像処理の倍率の逆数のダウンサンプリングレートで間引いたものであってもよい。

【0049】

学習部２８は、第１解像度の画像データＰＬを入力とし、第２解像度の画像データＰＨを出力、すなわち、正解データとして変換部３０に学習を行わせる。例えば、学習部２８は、第１解像度の画像データＰＬを変換部３０に入力したときの出力と、正解データである第２解像度の画像データＰＨとを比較して、変換部３０の出力の特徴量と正解データの特徴量が実質的に同じ、又は両特徴量の差が許容しきい値以下になるように変換部３０の学習を行う。これにより、超解像処理の倍率が固定の変換部３０を生成及び更新することが可能になる。

【0050】

なお、学習部２８は、超解像処理装置１０とは別の外部装置に設けられていてもよい。この場合、外部装置における学習結果を用いて、超解像処理装置１０の超解像処理エンジンである超解像処理部２４の更新を行うようにしてもよい。

【0051】

また、学習部２８は、あらかじめ学習された第１解像度の画像データと第１解像度よりも高い第２解像度の画像データとの対応関係に基づいて、ダウンサンプリングレートに関する学習を行う。学習部２８は、ダウンサンプリングレートを変えた場合に、第１解像度の画像データＰＬから超解像処理部２４によって生成される画像データと、第２解像度の画像データＰＨとを比較して、変換部３０の出力の特徴量と正解データの特徴量が実質的に同じ、又は両特徴量の差が許容しきい値以下になるように処理部３４の学習を行う。これにより、より適切なダウンサンプリングレートを設定することが可能になる。

【0052】

次に、本発明の第１の実施形態に係る超解像処理方法について、図３及び図４を参照して説明する。図３は、本発明の第１の実施形態に係る超解像処理方法を示すフローチャートである。図４は、超解像処理工程を示すフローチャートである。

【0053】

データ取得部２２は、撮像装置によって撮像された画像データを含む入力データＰ１を取得して記録部１８に格納する。

【0054】

操作部１４を介して超解像処理の開始指示が入力されると、データ取得部２２は、超解像処理対象の画像データを記録部１８から取得して超解像処理部２４に入力する（ステップＳ１０）。

【0055】

次に、操作部１４を介して、超解像処理後の出力データの要求出力の設定の入力を受け付けると、処理部３４は、出力データの要求出力を設定する（ステップＳ１２）。そして、処理部３４は、入力データの解像度、要求出力及び変換部３０の倍率に基づいて、ダウンサンプリング処理の実行タイミング及びサンプリングレートを決定し（ステップＳ１４：処理ステップ）、変換部３０及びダウンサンプリング部３２を用いて超解像処理を行う（ステップＳ１６）。

【0056】

図４に示すように、ダウンサンプリング処理の実行タイミングが変換前の場合（ステップＳ１６０）、処理部３４は、ダウンサンプリング部３２により、超解像処理部２４に入力された変換前の入力データに対してダウンサンプリング処理を行う（ステップＳ１６２：ダウンサンプリングステップ）。そして、処理部３４は、ダウンサンプリング処理済みのデータに対して、変換部３０により超解像処理を行い、要求出力の画像データに変換する（ステップＳ１６４：変換ステップ）。

【0057】

一方、ダウンサンプリング処理の実行タイミングが変換後の場合（ステップＳ１６０）、処理部３４は、変換部３０により、超解像処理部２４に入力された入力データに対して超解像処理を行う（ステップＳ１６６：変換ステップ）。そして、処理部は、変換部３０により変換済みのデータに対して、ダウンサンプリング部３２によりダウンサンプリング処理を行い、要求出力の画像データを生成する（ステップＳ１６８：ダウンサンプリングステップ）。

【0058】

次に、図３に示すように、超解像処理により生成された要求出力の画像データは、超解像処理部２４から表示部２０に出力されて表示される（ステップＳ１８）。

【0059】

［断層画像データの超解像処理への第１の実施形態の適用例］
以下、断層画像データ（ＣＴ画像データ）の断面に垂直な方向に関する超解像処理について説明する。図５は、断層画像データの撮像方法を説明するための図である。以下の説明では、ｚ軸を断層画像データの断面に垂直な方向とする３次元直交座標系を用いて説明する。

【0060】

図５に示すように、断層画像データを撮像する際には、撮像装置１００に対して、被検者ＯＢＪが横臥した寝台ＳＴを＋ｚ方向に相対的に移動させながら、一定の間隔Ｗ１ごとに断層画像の撮像を行う。以下の説明では、この撮像の間隔Ｗ１をスライス厚という。

【0061】

本実施形態では、この変換部３０と、ダウンサンプリング部３２とを組み合わせて用いることにより、入力された断層画像データのスライス厚に関わらず、所望のスライス厚の断層画像データを生成することができる。

【0062】

表１に、変換部３０の倍率が４倍、すなわち、変換部３０が、スライス厚４ｍｍの断層画像からスライス厚１ｍｍの断層画像を生成することが可能な場合の処理の例を示す。

【0063】

【表1】

【0064】

表１の例Ａでは、超解像処理部２４に入力される断層画像データのスライス厚が４ｍｍであるのに対して、要求出力のスライス厚が１ｍｍに設定されている。本例では、変換部３０における超解像処理の倍率が４倍であり、入力されたスライス厚４ｍｍの断層画像データに対して、変換部３０により超解像処理を施すことにより、要求出力であるスライス厚１ｍｍの断層画像データが生成される。このため、変換部３０による変換の前後に、ダウンサンプリング部３２によるダウンサンプリングは行われないか、又はダウンサンプリング部３２による処理を恒等変換とする。

【0065】

表１の例Ｂ及び例Ｃでは、超解像処理部２４に入力される断層画像データのスライス厚が４ｍｍであるのに対して、要求出力のスライス厚が２ｍｍに設定されている。

【0066】

例Ｂでは、変換部３０による変換の前処理として、入力されたスライス厚４ｍｍの断層画像データに対して、ダウンサンプリング部３２によりダウンサンプリングレート１／２のダウンサンプリング処理が行われ、スライス厚８ｍｍの断層画像データが生成される。次に、このスライス厚８ｍｍの断層画像データに対して、変換部３０により超解像処理を施すことにより、要求出力であるスライス厚２ｍｍの断層画像データが生成される。

【0067】

例Ｃでは、入力されたスライス厚４ｍｍの断層画像データに対して、変換部３０により超解像処理を施すことにより、スライス厚１ｍｍの断層画像データが生成される。次に、変換部３０による変換の後処理として、このスライス厚１ｍｍの断層画像データに対して、ダウンサンプリング部３２によりダウンサンプリングレート１／２のダウンサンプリング処理が行われ、要求出力であるスライス厚２ｍｍの断層画像データが生成される。

【0068】

表１の例Ｄ及び例Ｅでは、超解像処理部２４に入力される断層画像データのスライス厚が３ｍｍであるのに対して、要求出力のスライス厚が１ｍｍに設定されている。

【0069】

例Ｄでは、変換部３０による変換の前処理として、入力されたスライス厚３ｍｍの断層画像データに対して、ダウンサンプリング部３２によりダウンサンプリングレート３／４のダウンサンプリング処理が行われ、スライス厚４ｍｍの断層画像データが生成される。そして、このスライス厚４ｍｍの断層画像データに対して、変換部３０により超解像処理を施すことにより、要求出力であるスライス厚１ｍｍの断層画像データが生成される。

【0070】

例Ｅでは、入力されたスライス厚３ｍｍの断層画像データに対して、変換部３０により超解像処理を施すことにより、スライス厚０．７５ｍｍの断層画像データが生成される。次に、変換部３０による変換の後処理として、このスライス厚０．７５ｍｍの断層画像データに対して、ダウンサンプリング部３２によりダウンサンプリングレート３／４のダウンサンプリング処理が行われ、要求出力であるスライス厚１ｍｍの断層画像データが生成される。

【0071】

なお、超解像処理の後処理としてダウンサンプリングを行う方が、変換部３０における超解像処理に使用する画像データの解像度が高く、かつ情報量が多くなるためより好ましい。

【0072】

ＣＴ画像のスライス厚は多様であり、そのスライス厚によってＣＴ画像を表示したときの見え方が異なる。一般に、スライス厚が厚い場合は凹凸が目立ち、スライス厚が薄い場合は臓器などを詳細に把握することが可能になる。本実施形態によれば、入力された断層画像データのスライス厚に関わらず、あらかじめ学習した倍率以外の倍率に対応する任意のスライス厚の断層画像データに変換することが可能になる。その結果、画像診断の目的及び対象に応じて、スライス厚が異なる断層画像データを用いた可視化が可能になり、断層画像データを用いて画像診断を行う医師の利便性が向上する。

【0073】

また、一般に、断層画像データを撮像する場合には、スライス厚を薄くするほど、断層画像データのノイズが増加する。このため、放射線の照射量を増加させて、断層画像データのノイズを減少させることが行われている。本実施形態によれば、入力された断層画像データのスライス厚から任意のスライス厚の断層画像データを生成することができるので、撮像時の放射線の照射量を減らすことができる。

【0074】

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。

【0075】

図６は、本発明の第２の実施形態に係る超解像処理装置を示すブロック図である。なお、以下の説明において、第１の実施形態と同様の構成については、同一の符号を付して説明を省略する。

【0076】

本実施形態に係る超解像処理装置１０Ａの超解像処理部２４は、第１変換部３０Ａ及び第２変換部３０Ｂを備えている。第１変換部３０Ａ及び第２変換部３０Ｂは、それぞれ、超解像処理の倍率が固定となっており、第１変換部３０Ａ及び第２変換部３０Ｂの倍率は互いに異なっている。

【0077】

本実施形態では、超解像処理の倍率が異なる第１変換部３０Ａ及び第２変換部３０Ｂを組み合わせて使用する。具体的には、処理部３４は、入力データの解像度、要求出力、変換部３０の倍率に基づいて、ダウンサンプリング処理の実行タイミング及びサンプリングレートに加えて、超解像処理に使用する変換部及びデータ処理方法を決定する。そして、第１変換部３０Ａ及び第２変換部３０Ｂによる超解像処理の前後にダウンサンプリング処理を行い、第１変換部３０Ａ及び第２変換部３０Ｂを用いて生成された画像データを連結することにより、任意の解像度の画像データを生成する。ここで、画像データの連結方法としては、画像データの画素値の加算値又は平均値を計算する方法もしくは各画像データの解像度に応じた重み付け加算を行う方法がある。重み付け加算を行う場合、合成対象の画像データのうち、解像度がより高い画像データの重みの値をより大きくすることが好ましい。

【0078】

また、画像データの連結方法は、あらかじめ学習された第１解像度の画像データと第１解像度よりも高い第２解像度の画像データとの対応関係に基づいて決定されるようにしてもよい。

【0079】

次に、画像データの連結方法の学習について説明する。図７は、本発明の第２の実施形態に係る超解像処理装置における学習に係る構成を抽出して示すブロック図である。

【0080】

図７に示すように、学習部２８は、変換部３０の学習を行う場合には、第１解像度の画像データＰＬと第１解像度よりも高い第２解像度の画像データＰＨの組みを含む学習用のデータセットＴＤ１を取得する。

【0081】

学習部２８は、第１解像度の画像データＰＬ、ダウンサンプリングのタイミング、ダウンサンプリングレート、及び第１変換部３０Ａ及び第２変換部３０Ｂによって生成された画像データを連結するときのデータ処理方法を変えた場合に生成される画像データと、第２解像度の画像データＰＨとを比較して、変換部３０の出力の特徴量と正解データの特徴量が実質的に同じ、又は両特徴量の差が許容しきい値以下になるように変換部３０の学習を行う。

【0082】

次に、本発明の第２の実施形態に係る超解像処理方法について、図８を参照して説明する。図８は、本発明の第２の実施形態に係る超解像処理方法を示すフローチャートである。

【0083】

データ取得部２２は、撮像装置によって撮像された画像データを含む入力データＰ１を取得して記録部１８に格納する。

【0084】

操作部１４を介して超解像処理の開始指示が入力されると、データ取得部２２は、超解像処理対象の画像データを記録部１８から取得して超解像処理部２４に入力する（ステップＳ２０）。

【0085】

次に、操作部１４を介して、超解像処理後の出力データの要求出力の設定の入力を受け付けると、処理部３４は、出力データの要求出力を設定する（ステップＳ２２）。そして、処理部３４は、入力データの解像度、要求出力並びに第１変換部３０Ａ及び第２変換部３０Ｂの倍率に基づいて、超解像処理に使用する変換部、ダウンサンプリング処理の実行タイミング、サンプリングレート及びデータ処理方法を決定し（ステップＳ２４：処理ステップ）、変換部３０及びダウンサンプリング部３２を用いて超解像処理を行う（ステップＳ２６）。そして、超解像処理により生成された要求出力の画像データは、超解像処理部２４から表示部２０に出力されて表示される（ステップＳ２８：変換ステップ及びダウンサンプリングステップ）。

【0086】

［断層画像データの超解像処理への第２の実施形態の適用例］
以下、断層画像データ（ＣＴ画像データ）の断面に垂直な方向に関する超解像処理について説明する。

【0087】

表２に、第１変換部３０Ａ及び第２変換部３０Ｂの倍率がそれぞれ４倍及び２倍の場合の処理の例を示す。表２では、第１変換部３０Ａ及び第２変換部３０Ｂをそれぞれモデル１及び２と記載する。

【0088】

【表2】

【0089】

表２の例Ｆ及び例Ｇでは、超解像処理部２４に入力される断層画像データのスライス厚が２ｍｍであるのに対して、要求出力のスライス厚が１ｍｍに設定されている。

【0090】

例Ｆでは、第２変換部３０Ｂにおける超解像処理の倍率が２倍である。このため、処理部３４は、入力されたスライス厚２ｍｍの断層画像データに対して、第２変換部３０Ｂにより超解像処理を施すことにより、要求出力であるスライス厚１ｍｍの断層画像データを生成する。このため、変換の前後に、ダウンサンプリング部３２によるダウンサンプリングを行わないか、又はダウンサンプリング部３２による処理を恒等変換とする。

【0091】

これに対して、例Ｇでは、処理部３４は、入力されたスライス厚２ｍｍの断層画像データに対して、第１変換部３０Ａ及び第２変換部３０Ｂにより超解像処理を施すことにより、スライス厚０．５ｍｍの断層画像データとスライス厚１ｍｍの断層画像データをそれぞれ生成する。そして、処理部３４は、第１変換部３０Ａにより生成されたスライス厚０．５ｍｍの断層画像データに対して、ダウンサンプリングレート１／２のダウンサンプリング処理を施して、スライス厚１ｍｍの断層画像データを生成する。次に、処理部３４は、第１変換部３０Ａによる変換後にダウンサンプリング処理を行って生成した断層画像データと、第２変換部３０Ｂにより生成された断層画像データの平均画像を作成する。ここで、平均画像は、例えば、第１変換部３０Ａによる変換後にダウンサンプリング処理を行って生成した断層画像データと、第２変換部３０Ｂにより生成された断層画像データの画素値の平均値を計算することにより生成してもよいし、又は重み付け平均を計算するようにしてもよい。例Ｇによっても、要求出力であるスライス厚１ｍｍの断層画像データを生成することができる。

【0092】

表２の例Ｈ及び例Ｉでは、超解像処理部２４に入力される断層画像データのスライス厚が３ｍｍであるのに対して、要求出力のスライス厚が１ｍｍに設定されている。

【0093】

例Ｈ及び例Ｉでは、処理部３４は、入力されたスライス厚３ｍｍの断層画像データに対して、第１変換部３０Ａ及び第２変換部３０Ｂにより超解像処理を施すことにより、スライス厚０．７５ｍｍの断層画像データとスライス厚１．５ｍｍの断層画像データをそれぞれ生成する。

【0094】

次に、例Ｈでは、処理部３４は、第１変換部３０Ａにより生成されたスライス厚０．５ｍｍの断層画像データに対して、ダウンサンプリングレート１／２のダウンサンプリング処理を施して、スライス厚１ｍｍの断層画像データを生成する。次に、処理部３４は、第１変換部３０Ａによる変換後にダウンサンプリング処理を行って生成した断層画像データと、第２変換部３０Ｂにより生成された断層画像データについて、それぞれのスライス厚に応じた重み付け加算を行って合成画像を作成する。合成画像は、第１変換部３０Ａによる変換後にダウンサンプリング処理を行って生成した断層画像データと、第２変換部３０Ｂにより生成された断層画像データの画素値の重み付け加算値又は重み付け平均値を計算することにより生成することができる。

【0095】

なお、例Ｈでは、第１変換部３０Ａ及び第２変換部３０Ｂによりそれぞれ生成されたスライス厚０．７５ｍｍの断層画像データとスライス厚１．５ｍｍの断層画像データに対して、ダウンサンプリング処理を行わずに、それぞれのスライス厚に応じた重み付け加算を行って合成画像を作成するようにしてもよい。

【0096】

一方、例Ｉでは、第１変換部３０Ａ及び第２変換部３０Ｂによりそれぞれ生成されたスライス厚０．７５ｍｍの断層画像データとスライス厚１．５ｍｍの断層画像データを用いて、学習により決定された連結方法にしたがって合成画像を作成する。

【0097】

これらの例によれば、２つの変換部と、ダウンサンプリング部３２とを組み合わせて用いることにより、入力された断層画像データのスライス厚に関わらず、所望のスライス厚の断層画像データを生成することができる。

【0098】

なお、第２の実施形態では、変換部の数を２としたが、変換部の数はこれに限定されず、３以上であってもよい。また、第２の実施形態では、例えば、第１変換部３０Ａと第２の変換部３０Ｂとを直列に接続して、第１変換部３０Ａにより変換した画像データを第２の変換部３０Ｂにより更に変換することも可能である。

【0099】

また、第２の実施形態では、２次元の画像データにおいて、ｘ軸方向と、ｘ軸に直交するｙ軸方向において、各軸方向の超解像処理に使用する変換部及びダウンサンプリングレートのうちの少なくとも一方を変えることにより、軸方向ごとの超解像処理の倍率を変えることが可能になる。３次元の画像データにおいても、ｘｙｚ直交座標系の各軸方向の超解像処理に使用する変換部及びダウンサンプリングレートのうちの少なくとも一方を変えることにより、軸方向ごとの超解像処理の倍率を変えることが可能になる。

【0100】

［プログラムの発明について］
本発明は、コンピュータに上記の処理（変換機能、ダウンサンプリング機能及び処理機能）を実現させるプログラム（超解像処理プログラム）、又は、このようなプログラムを格納した非一時的な記録媒体又はプログラムプロダクトとして実現することも可能である。このようなプログラムをコンピュータに適用することにより、コンピュータの演算手段、記録手段等に、本実施形態に係る超解像処理方法の各ステップに対応する機能を実現させることが可能になる。

【0101】

各実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）として実現することが可能である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0102】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（ＳｏＣ：System On Chip）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0103】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。本発明の他の態様はプロセッサが、入力されるデータに対して超解像処理を施すことにより、前記入力されるデータよりも解像度が高いデータであって、前記プロセッサから出力されるデータと前記プロセッサに入力されるデータの解像度の比が固定されたデータを出力し、前記プロセッサに入力されるデータ又は前記プロセッサから出力されるデータに対してダウンサンプリング処理を施し、前記解像度の比に基づいて前記ダウンサンプリング処理におけるサンプリングレートを調整することにより、出力データの解像度を調整する、超解像処理装置である。

【符号の説明】

【0104】

１０、１０Ａ 超解像処理装置
１２ 制御部
１４ 操作部
１６ メモリ
１８ 記録部
２０ 表示部
２２ データ取得部
２４ 超解像処理部
２６ 通信インターフェース
２８ 学習部
３０ 変換部
３０Ａ 第１変換部
３０Ｂ 第２変換部
３２ ダウンサンプリング部
３４ 処理部
１００ 撮像装置
Ｓ１０～Ｓ２８、Ｓ１６０～Ｓ１６８ 超解像処理方法の各工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】