特許 7562369 医用画像処理装置、医用画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】医用画像処理装置、医用画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 3/4046 20240101AFI20240930BHJP

   A61B 6/00 20240101ALI20240930BHJP

   A61B 5/055 20060101ALI20240930BHJP

【ＦＩ】

G06T3/4046

A61B6/00 550Z

A61B5/055 380

【請求項の数】 12

(21)【出願番号】P 2020179041

(22)【出願日】2020-10-26

(65)【公開番号】P2022070035

(43)【公開日】2022-05-12

【審査請求日】2023-08-23

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】近江 裕行

【審査官】遠藤 直恵

(56)【参考文献】

【文献】国際公開第２０２０／１７５４４６（ＷＯ，Ａ１）

【文献】特開２０２０－１４１９０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１／４０、３／００－５／９４

Ａ６１Ｂ ６／００－６／５８

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

第１の解像度の医用画像と前記第１の解像度の医用画像を解像度変換することにより得た前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む学習データと、前記第１の解像度の医用画像のノイズ量に基づいて決定された学習パラメータと、を用いて学習された学習モデルに、被検者を撮影することにより得られた医用画像を入力することにより、当該医用画像よりも解像度の高い医用画像を生成する生成手段と、
を備える医用画像処理装置。

【請求項2】

前記学習パラメータは、学習率を含み、
前記第１の解像度の医用画像のノイズ量が所定の値以上である場合は、当該ノイズ量が所定の値より低い場合に比べて前記学習率が小さい請求項１に記載の医用画像処理装置。

【請求項3】

前記学習パラメータは、損失関数を含み、
前記第１の解像度の医用画像のノイズ量が所定の値以上である場合は、当該ノイズ量が所定の値より低い場合に比べて前記損失関数の出力が小さい
請求項１または２に記載の医用画像処理装置。

【請求項4】

第１の解像度の医用画像のノイズ量を推定する推定手段と、
前記第１の解像度の医用画像と、前記第１の解像度の医用画像を解像度変換することにより得た前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む学習データを用いて学習モデルの学習を行う学習手段と、を備え、
前記学習手段は、前記推定されたノイズ量に基づいて、前記学習モデルの学習パラメータを決定する医用画像処理装置。

【請求項5】

前記学習パラメータは、学習率と損失関数を含み、
前記学習手段は、前記推定手段により推定されたノイズ量が所定の値以上である場合に、ノイズ量が所定の値以上である前記学習データの前記学習率を前記ノイズ量が所定の値より低い学習データに比べて小さくする請求項４に記載の医用画像処理装置。

【請求項6】

前記学習手段は、前記推定手段により推定されたノイズ量が所定の値以上である場合に、前記ノイズ量が所定の値より低い学習データに比べて前記損失関数の出力が小さくなるように学習する請求項５に記載の医用画像処理装置。

【請求項7】

前記第１の解像度の医用画像は、放射線検出器を用いて被検者の撮影を行うことにより得られた放射線画像である請求項１乃至６のいずれか１項に記載の医用画像処理装置。

【請求項8】

前記放射線検出器と、
前記放射線検出器と通信可能に接続される請求項７に記載の医用画像処理装置と、
を備えるシステム。

【請求項9】

第１の解像度の医用画像と前記第１の解像度の医用画像を解像度変換することにより得た前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む学習データと、前記第１の解像度の医用画像のノイズ量に基づいて決定された学習パラメータと、を用いて学習された学習モデルに、被検者を撮影することにより得られた医用画像を入力することにより、当該医用画像よりも解像度の高い医用画像を生成する生成工程と、
を含む医用画像処理方法。

【請求項10】

第１の解像度の医用画像のノイズ量を推定する推定工程と、
前記第１の解像度の医用画像と、前記第１の解像度の医用画像を解像度変換することにより得た前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む学習データを用いて学習モデルの学習を行う学習工程と、を含み、
前記学習工程では、前記推定されたノイズ量に基づいて、前記学習モデルの学習パラメータを決定する医用画像処理方法。

【請求項11】

請求項９または１０に記載の医用画像処理方法をコンピュータに実行させるプログラム。

【請求項12】

第１の解像度の医用画像と前記第１の解像度の医用画像を解像度変換することにより得た前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む学習データと、前記第１の解像度の医用画像のノイズ量又は前記第２の解像度の医用画像のノイズ量に基づいて決定された学習パラメータと、を用いて学習された学習モデルに、被検者を撮影することにより得られた医用画像を入力することにより、当該医用画像よりも高画質な医用画像を生成する生成手段と、
を備える医用画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像処理装置、医用画像処理方法及びプログラムに関する。

【背景技術】

【0002】

医療現場ではＸ線を用いた撮影に基づく診断や治療が盛んに行われており、フラットパネルセンサ（以下センサ）を用いて撮影されたＸ線画像によるデジタル画像診断が世界的に普及している。センサは出力を直ちに画像化できるため静止画像のみならず動画像も撮影することができる。さらにセンサの高解像度化がすすみ、より詳細な情報を取得する撮影が可能となっている。

【0003】

その一方で、被検者への被曝量を抑えるため、解像度を落として放射線画像を得る場合がある。例えば、動画像のようにＸ線を長く照射するようなユースケースである。このとき、センサからの出力データを複数画素分まとめて１つの画素として扱うことで１画素あたりのＸ線量を多くする。それにより全体のＸ線照射量を抑え、被検者への被曝量を抑えることができる。

【0004】

しかし、解像度を落とすことで、病変の情報や撮影装置のより正確なポジショニングのための情報といったＸ線画像の詳細な情報は失われる。

【0005】

低解像度の画像の詳細な情報を復元（高解像度化）させるための処理として超解像処理がある。超解像処理は、複数枚の低解像度画像から高解像度化を行ったり、低解像度画像と高解像度画像の特徴を関連付け、その情報を基に高解像度化を行ったりする方法が古くから知られている（特徴文献１）。近年は特徴を関連付ける方法として機械学習が利用されるようになってきた。特に畳み込みニューラルネットワーク（以下ＣＮＮ）を用いて教師あり学習を行う構成のものが、その性能の高さから急速に普及している（特許文献２）。ＣＮＮを利用した超解像処理は、教師あり学習により作成された学習パラメータを用い、入力された低解像度画像の詳細情報を復元する。超解像処理は医療画像への適用も行われている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許４５２９８０４公報

【文献】特許６２７６９０１公報

【文献】特開２０２０－１４１９０８公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ＣＮＮを利用した超解像処理は、低解像度画像を入力として推論し、推論結果として超解像画像を出力する。そして学習時の正解画像となるのが高解像度画像である。そのため、学習データとして複数の高解像度画像と低解像度画像とをセットで用意する。画像として、例えば、医用画像を用意することで医用画像にも適用可能である。しかし、例えば、放射線画像は低線量領域ではノイズに対する信号の割合（Ｓ／Ｎ）が低く、ノイズが支配的な画像である。そのため、放射線画像でＣＮＮを学習させると、ＣＮＮは復元させる情報として信号成分である被写体の構造だけではなく、ノイズ成分も復元させるように学習をしてしまう。したがって、前記学習にて得られた学習パラメータを用いて超解像処理を行うと、ノイズが重畳された超解像画像が生成されていた。ノイズが少ない高線量領域の画像を入力しても、ノイズが付加された超解像画像が出力され、解像度は向上するが、画質の低下を招いていた。

【0008】

本発明は、上記課題に鑑みてなされたものであり、ノイズを低減しつつ解像度を向上させた医用画像を出力可能な学習モデルを構築することを目的とする。

【0009】

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。

【課題を解決するための手段】

【0010】

本開示に係る医用画像処理装置の一つは、
第１の解像度の医用画像と前記第１の解像度の医用画像を解像度変換することにより得た前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む学習データと、前記第１の解像度の医用画像のノイズ量に基づいて決定された学習パラメータと、を用いて学習された学習モデルに、被検者を撮影することにより得られた医用画像を入力することにより、当該医用画像よりも解像度の高い医用画像を生成する生成手段と、を備える。

【発明の効果】

【0011】

本発明によれば、ノイズを低減しつつ解像度を向上させた医用画像を出力可能な学習モデルを構築することができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る医用画像処理装置の機能の構成の一例を示す図

【図2】第１の実施形態に係る医用画像処理装置のハードウェア構成の一例を示す図

【図3】第１の実施形態に係る医用画像処理装置の処理手順の一例を示すフロー図

【図4】第１の実施形態に係る医用画像処理装置の学習手順の一例を示すフロー図

【図5】第２の実施形態に係る医用画像処理装置の機能の構成の一例を示す図

【図6】第２の実施形態に係る医用画像処理装置のハードウェア構成の一例を示す図

【図7】第３の実施形態に係る医用画像処理装置のハードウェア構成の一例を示す図

【発明を実施するための形態】

【0013】

以下の実施形態においては、医用画像の一例として放射線画像を用いる場合を代表例として説明する。より具体的には、放射線画像の一例として単純Ｘ線撮影により得られるＸ線画像を用いる場合を説明する。なお、本実施形態に適用可能な医用画像はこれに限定されるものでなく、他の医用画像であっても好適に適用できる。例えば、ＣＴ装置、ＭＲＩ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置、デジタルラジオグラフィ装置などで撮影された医用画像であってもよい。

【0014】

また、以下の実施形態においては、入力データである低解像度の医用画像と正解データとなる高解像度の医用画像とを教師データとした、畳み込みニューラルネットワーク（ＣＮＮ）を用いた教師あり学習による学習モデルの構築を例示する。そのため、以下では学習モデルをＣＮＮと記載して説明する。なお、必ずしもＣＮＮを用いた学習でなくてもよく、ノイズを低減しつつ解像度を向上させた医用画像を出力可能な学習モデルを構築できる機械学習の方法であればよい。

【0015】

［実施形態１］
本実施形態に係る医用画像処理装置は、ノイズ低減処理を行った高解像度の放射線画像と、該ノイズ低減処理を行った高解像度の放射線画像から生成された低解像度の放射線画像を用いて学習を行う。そして、入力された放射線画像から該放射線画像を高解像度化した画像を生成する学習モデルを構築することを特徴とする。

【0016】

本発明における医用画像処理装置１００の構成図を図１に示す。医用画像処理装置１００は、入力部１０１、ノイズ低減部１０２、画像変換部１０３、機械学習部１０４から構成される。

【0017】

入力部１０１は、外部装置から放射線画像を取得し、高解像度の放射線画像として出力する。ノイズ低減部１０２は、高解像度の放射線画像を入力とし、ノイズ低減された高解像度の放射線画像をとして出力する。解像度変換部１０３は、ノイズ低減された高解像度の放射線画像を入力とし縮小処理することで、ノイズ低減された低解像度の放射線画像を出力する。機械学習部１０４は、ノイズ低減された高解像度の放射線画像とノイズ低減された低解像度の放射線画像を入力とし、超解像処理ＣＮＮの学習を行い、ＣＮＮのパラメータを更新する。

【0018】

図２は、図１の医用画像処理装置１００の機能の構成を、ハードウェアを用いて実現する場合のハードウェア構成の一例を示す図である。まず、図２（ａ）の構成例にて学習に必要な放射線画像が取得される。コントロールＰＣ２０１とＸ線センサ２０２がギガビットイーサ２０４でつながっている。信号線はギガビットイーサでなくてもＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や光ファイバーなどでもよい。ギガビットイーサ２０４には、Ｘ線発生装置２０３、表示部２０５、記憶部２０６、ネットワークインタフェース部２０７、イオンチャンバー２１０、Ｘ線制御部２１１が接続されている。コントロールＰＣ２０１には例えば、バス２０１１に対して、ＣＰＵ（中央演算装置）２０１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０１４、記憶部２０１５が接続された構成になる。そしてコントロールＰＣ２０１には、ＵＳＢやＰＳ／２で入力部２０８が接続され、ＤｉｓｐｌａｙＰｏｒｔやＤＶＩで表示部２０９が接続される。このコントロールＰＣ２０１を介して、Ｘ線センサ２０２や表示部２０５などにコマンドを送る。コントロールＰＣ２０１では、撮影モードごとの処理内容がソフトウェアモジュールとして記憶部２０１５に格納され、不図示の指示手段によりＲＡＭ２０１３に読み込まれ、実行される。処理された画像はコントロールＰＣ内の記憶部２０１５もしくはコントロールＰＣ外の記憶部２０６へと送られ、保存される。

【0019】

次に図２（ｂ）の構成例にてＣＮＮの学習がされる。学習用ＰＣ２２１には例えば、バス２２１１に対して、ＣＰＵ（中央演算装置）２２１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２１４、記憶部２２１５が接続された構成になる。そして学習用ＰＣ２０１には、ＵＳＢやＰＳ／２で入力部２２２、ＤｉｓｐｌａｙＰｏｒｔやＤＶＩで表示部２２３、ＵＳＢで記憶部２２４が接続される。図１に示した１０１、１０２、１０３、１０４は、ソフトウェアモジュールとして記憶部２２１５に格納されている。もちろん本発明は図１に示した１０１、１０２、１０３、１０４を専用の画像処理ボードとして実装してもよい。目的に応じて最適な実装を行うようにすればよい。図２（ａ）にて取得した学習画像は、記憶部２２４から入力するか、もしくはネットワークＩ／Ｆを介した不図示の記憶部などから入力してもよい。

【0020】

次に、図１の機能構成図と図３の全体の処理手順を示すフロー図を使い、処理の流れにそって説明する。

【0021】

（Ｓ３０１：Ｘ線画像取得）
まず、Ｓ３０１において、入力部１０１は、放射線画像を取得する。

【0022】

（Ｓ３０２：データ拡張）
続いて、Ｓ３０２において、入力部１０１は、取得した放射線画像のデータ拡張を行う。データ拡張とは、１つの画像を回転や反転することで、異なる特徴の画像として扱うことである。ＣＮＮに入力する高解像度画像サイズが入力部１０１で取得した放射線画像サイズ以下である場合は、切り出しも含める。切り出し、回転、反転の組み合わせによってデータ拡張を行う。

【0023】

（Ｓ３０３：高解像度画像生成）
続いて、Ｓ３０３において、入力部１０１は、データ拡張した画像を高解像度画像としてノイズ低減部１０２へ出力する。高解像度画像とは、ＣＮＮが出力する超解像画像に対する正解画像に相当する。

【0024】

（Ｓ３０４：ノイズ低減処理）
続いて、Ｓ３０４において、ノイズ低減部１０２は、高解像度画像に対してノイズ低減処理を行い、ノイズ低減済み高解像度画像を出力する。ノイズ低減方法として、例えば空間的な処理のεフィルタリングを行う。εフィルタリングはエッジ構造を保持しながらノイズだけを低減する方法で、数１で表される。Ｈが高解像度画像、ＨＮがノイズ低減後の高解像度画像、εはエッジとノイズを切り分けるための閾値である。なお、エッジとノイズを切り分けるための閾値はユーザが任意の値を決定してもよいし、実施形態２において後述する放射線ノイズモデルを用いて算出してもよい。なお、εフィルタリングは非線形空間フィルタの一例であって、例えば、ＮＬ－Ｍｅａｎｓフィルタ、メディアンフィルタなどであってもよい。

【0025】

【数1】

同じ被写体を同じアライメントで複数回撮影されている場合は、数２のように加算平均を行い、ノイズ低減をしてもよい。Ｈ（ｘ，ｙ）は高解像度画像で、ｎは加算枚数である。すなわち、第１の解像度の放射線画像と、第１の解像度の放射線画像と同一の撮影条件で撮影された複数の放射線画像とを加算平均することによりノイズ低減処理を行う。

【0026】

【数2】

また、ノイズ低減方法にＣＮＮを使ってもよい（特許文献３）。

【0027】

（Ｓ３０５：低解像度画像生成）
続いて、Ｓ３０５において、解像度変換部１０３は、ノイズ低減済みの高解像度画像を入力とし、縮小処理によってノイズ低減済みの低解像度画像を出力する。縮小処理の方法は、超解像処理を適用する低解像度画像と高解像度画像との関係に依存する。例えば、適用する系における低解像度画像は、高解像度画像を加算平均することで得られる関係であれば、縮小処理は加算平均にて行う。すなわち、ＣＮＮを学習させる内容に合った縮小の方法を選択する。縮小率も同様で、解像度を２倍にするＣＮＮを学習させるのであれば、縮小率は２分の１とする。

【0028】

（Ｓ３０６：前処理）
次に、Ｓ３０６において、機械学習部１０４は、ノイズ低減済みの高解像度画像およびノイズ低減済みの低解像度画像に対し、前処理を行い、前処理済みの高解像度画像および前処理済みの低解像度画像を出力する。前処理とは、ＣＮＮのロバスト性を向上させるための処理である。例えば画像の最大値と最小値の範囲で正規化をしたり、画像の平均値を０、標準偏差を１にした正則化をしたりする。

【0029】

（Ｓ３０７：機械学習）
最後に、Ｓ３０７において、機械学習部１０４は、前処理済みの低解像度画像と前処理済みの高解像度画像を用いてＣＮＮの学習を行う。

【0030】

なお、Ｓ３０７において用いる前処理済みの低解像度画像と前処理済みの高解像度画像は、医用画像処理装置１００がＳ３０１からＳ３０６の工程を経て生成してもよいし、異なる医用画像処理装置で生成されたものを取得してもよい。また、医用画像処理装置１００が備える記憶部２０１５に前処理済みの低解像度画像と前処理済みの高解像度画像が予め記憶されている場合は、記憶部２０１５から読み出して取得してもよい。

【0031】

ここで、学習フローの詳細を図４を用いて説明する。

【0032】

（Ｓ４０１：推論処理）
Ｓ４０１において、機械学習部１０４は、入力データと出力データの組を教師データとした教師あり学習を行うことにより学習モデルを構築する。教師データは、入力データとして低解像度画像４１１と、それに対応した正解データとして高解像度画像４１５の組である。機械学習部１０４は、低解像度画像４１１に対して、学習途中のＣＮＮ４１２のパラメータによる推論処理が行われ、推論結果として超解像画像４１４が出力される（Ｓ４０１）。ここで、ＣＮＮ４１２は、多数の処理ユニット４１３が任意に接続された構造を取る。処理ユニット４１３の例としては、畳み込み演算や、正規化処理、あるいは、ＲｅＬＵやＳｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数、のように順番に処理を行う組が３～数百程度の層状に接続され、さまざまな構造を取ることができる。

【0033】

（Ｓ４０２：損失関数計算）
次に、Ｓ４０２において、機械学習部１０４は、推論結果である超解像画像４１４と高解像度画像４１５から、損失関数を算出する。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。

【0034】

（Ｓ４０３：誤差逆伝搬）
次に、Ｓ４０３において、機械学習部１０４は、Ｓ４０２で算出した損失関数を起点とした誤差逆伝搬を行い、ＣＮＮ４１２のパラメータ群を更新する。

【0035】

（Ｓ４０４：学習終了判定）
最後に、Ｓ４０４において、機械学習部１０４は、学習の終了判定を行い、学習を継続する場合はＳ４０１に進む。Ｓ４０１～４０３の処理を、低解像度画像４１１と高解像度画像４１５を変えながら繰り返すことで、損失関数が低下するようにＣＮＮ４１２のパラメータ更新が繰り返され、機械学習部１０４の精度を高めることができる。十分に学習が進み、学習終了と判定された場合は、処理を完了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行う。

【0036】

以上により、医用画像処理装置１００の処理が実施される。

【0037】

上記によれば、ＣＮＮのパラメータは、前処理済みの低解像度画像を入力しＣＮＮが出力した超解像画像と、前処理済みの高解像度画像との比較結果から更新される。前処理済みの低解像度画像および前処理済みの高解像度画像は、共にノイズ成分が低減されており、信号成分が支配的な画像になっている。したがって、信号成分のみの高解像度化が学習されることになる。

【0038】

したがって、本実施形態で学習されたＣＮＮパラメータを用いて出力される超解像画像は、ノイズ成分の強調を抑えた超解像画像となり、高画質の画像が得られる。ノイズ低減は低解像度画像、高解像度画像共になされていることが望ましい。低解像度画像もしくは高解像度画像どちらか一方にでもノイズ成分が含まれていると、高解像度化の他にノイズ量を調整する処理も学習することになる。これにより、学習内容の複雑度が増し、画質の劣化、ネットワーク規模の増大（使用リソース、パフォーマンスの増大）等を招く。

【0039】

本実施形態に係る医用画像処理装置によれば、ノイズ成分が低減された低解像度画像と高解像度画像を学習データとして学習モデルを構築するため、ノイズを低減しつつ解像度を向上させた医用画像を出力可能な学習モデルを構築することができる。

【0040】

さらに、該学習モデルに対して被検者を撮影して得られる医用画像を入力することにより、ノイズを低減しつつ解像度を向上させた医用画像を生成することができる。また、ネットワーク規模も低減することができる。

【0041】

［実施形態２］
本実施形態について、図５の機能構成図と図６の全体の処理手順を示すフロー図を使い、処理の流れにそって説明する。

【0042】

図５における医用画像処理装置５００が備える入力部５０１、解像度変換部５０３、機械学習部５０４は、図１の入力部１０１、解像度変換部１０３、機械学習部１０４と同様である。

【0043】

ノイズ推定部５０２は、高解像度画像を入力として高解像度画像のノイズ量を出力し、図２におけるソフトウェアモジュールとして記憶部２０１５に格納されている。

【0044】

Ｓ６０１からＳ６０３は実施形態１のＳ３０１からＳ３０３と同様のため省略する。また、Ｓ６０５からＳ６０７は実施形態１のＳ３０５からＳ３０７と同様のため省略する。

【0045】

以下、図３のフロー図との相違部分についてのみ説明する。

【0046】

（Ｓ６０４：ノイズ量判定）
Ｓ６０４において、ノイズ推定部５０２は、高解像度画像を入力とし、高解像度画像に含まれるノイズ量の推定を行う。ノイズ量の算出の方法として、例えば、所定の領域における標準偏差を使用する。複数の領域で標準偏差を算出しその平均をとる。別のノイズ量の算出方法として、Ｘ線の物理特性から算出してもよい。Ｘ線のノイズはＸ線量に依存するランダム量子ノイズとＸ線量に非依存のランダムシステムノイズに大きく分けられる。放射線画像の画素値からランダム量子ノイズ量を計算する際の変換係数Ｋｑとランダムシステムノイズの量Ｓｎをあらかじめ求めておくと、画素値ｘのノイズ量ｎは数３のようにあらわすことができる。

【0047】

【数3】

算出したノイズ量をそのまま利用してもよいが、Ｘ線のノイズ量はＸ線量に依存するため、実際の画像に対する影響具合がわかりづらい。そのための信号値をノイズ量で除算したＳ／Ｎ比を推定結果としてもよい。

【0048】

ノイズ推定部５０２は、推定したノイズ量とあらかじめ設定された閾値とを比較し、ノイズ量が少ない画像と判断した場合は、解像度変換部５０３が低解像度画像を生成する（Ｓ６０５）。一方、ノイズ量が多いと判断した場合は、その高解像度画像を学習するための画像として使用せずに、処理を終了する。すなわち、解像度変換部５０３は、ノイズ推定部５０２が推定したノイズ量に基づいて選択された第１の解像度の医用画像を解像度変換し、第１の解像度よりも低い解像度である第２の解像度の医用画像を取得する取得手段の一例に相当する。

【0049】

ノイズ量の多い画像を学習に使用すると、ＣＮＮは信号成分だけではなくノイズ成分の高解像度化を学習するため、超解像画像の画質劣化を招く。そのため、ノイズ量が多い画像が入力されてきた場合は、その画像を学習に利用しない。

【0050】

本実施形態では、高解像度画像のノイズ量を計測していたが、高解像度画像にノイズ低減を行い、ノイズ低減後の高解像度画像からノイズ量を計測してもよい。高解像度画像からではなく低解像度画像から推定してもよい。

【0051】

［実施形態３］
本実施形態について、図５の機能構成図と図６の全体の処理手順を示すフロー図を使い、処理の流れにそって説明する。

【0052】

Ｓ７０１からＳ７０３は実施形態２のＳ６０１からＳ６０３と同様のため省略する。

【0053】

ノイズ推定部５０２は、高解像度画像を入力とし、高解像度画像に含まれるノイズ量の推定を行い、ノイズ量を出力する（Ｓ７０４）。推定方法は実施形態２と同様の方法のため省略する。Ｓ７０５からＳ７０６は実施形態２のＳ６０５からＳ６０６と同様のため省略する。

【0054】

機械学習部５０４は、前処理済みの低解像度画像と前処理済みの高解像度画像を用いてＣＮＮの学習を行う（Ｓ３０７）。

【0055】

学習フローを図４に示す。まず機械学習部１０４は、低解像度画像４１１に対して、学習途中のＣＮＮ４１２のパラメータによる推論処理が行われ、推論結果として超解像画像４１４が出力される（Ｓ４０１）。次に、推論結果である超解像画像４１４と高解像度画像４１５から、損失関数を算出する（Ｓ４０２）。Ｓ４０２で算出した損失関数を起点とした誤差逆伝搬を行い、ＣＮＮ４１２のパラメータ群を更新する（Ｓ４０３）。

【0056】

機械学習部１０４は、ノイズに対する影響を抑えるため、Ｓ７０４にて算出したノイズ量に応じて、ＣＮＮ４１２のパラメータ更新の学習率を変更する。ＣＮＮ４１２のパラメータを決定するには、一般的に勾配降下法が用いられる。ＣＮＮ４１２のパラメータＷにおける誤差をＪとすると、勾配降下法でのパラメータ更新は、数４のように行われる。：＝は代入演算、▽は勾配を表す。

【0057】

Ｗ：＝Ｗ－α▽Ｊ（Ｗ）
αが学習率である。αの大きさを小さくすると、現パラメータＷへの誤差の反映が小さく、αの大きさを大きくすると、現パラメータＷへの誤差の反映が大きくなる。Ｓ７０４にて算出したノイズ量が大きい場合は、信号成分よりもノイズ成分を復元する学習になっている。そのため、学習率αの大きさを小さくし、ノイズに対する影響を抑えるようにＣＮＮ４１２のパラメータ更新をする。ノイズ量と学習率αの関係は連続的に変化させてもよいし、離散的に変化させてもよい。

【0058】

また、ノイズに対する影響を抑えるため、Ｓ７０４にて算出したノイズ量に応じて、損失関数を変更してもよい。損失関数の例としてＬ１ロス、Ｌ２ロスがあり、学習モデルの出力にあたる超解像画像をＳＲ，学習データの正解画像をＨＲとすると、それぞれ数５、数６のように表される。

【0059】

Ｌ１＝｜ＳＲ－ＨＲ｜
Ｌ２＝（ＳＲ－ＨＲ）^２
Ｌ１ロスはＬ２ロスに比べ、画像間の差が大きい場合に値が小さくなる傾向があり、その結果、誤差がパラメータに反映されづらい。したがってノイズ量が多いときにＬ１ロスを使用すると、ノイズに関連する外れ値に対して影響を小さくすることができる。すなわち、例えば、ノイズ量が多いデータは、ノイズ量が少ないデータに対して、誤差が大きいときに出力が小さくなるような損失関数としてもよい。

【0060】

機械学習部１０４は、誤差の大きさなどによって、学習を継続するかを判断する（Ｓ４０４）。継続する場合は、更新されたＣＮＮ４１２のパラメータにて再度学習が行われる。一方、継続しない場合は、更新されたＣＮＮ４１２のパラメータが最終決定したパラメータとなる。

【0061】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路によっても実現可能である。

【0062】

プロセッサまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

【0063】

上述の各実施形態における医用画像処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。医用画像処理装置を構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

【0064】

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

【0065】

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

【0066】

また、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態を組み合わせた構成も全て本発明の実施形態に含まれるものである。

【符号の説明】

【0067】

１０１ 入力部
１０２ ノイズ低減部
１０３ 解像度変換部
１０４ 機械学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】