特許 7558750 医用画像処理装置、医用画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-20

(45)【発行日】2024-10-01

(54)【発明の名称】医用画像処理装置、医用画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 3/4046 20240101AFI20240924BHJP

   A61B 6/00 20240101ALI20240924BHJP

   A61B 5/055 20060101ALI20240924BHJP

【ＦＩ】

G06T3/4046

A61B6/00 550Z

A61B5/055 380

【請求項の数】 12

(21)【出願番号】P 2020179042

(22)【出願日】2020-10-26

(65)【公開番号】P2022070036

(43)【公開日】2022-05-12

【審査請求日】2023-08-23

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】近江 裕行

【審査官】遠藤 直恵

(56)【参考文献】

【文献】国際公開第２０１９／２０４４０６（ＷＯ，Ａ１）

【文献】特開２０１９－２１２０５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／４０４６

Ａ６１Ｂ ６／００－６／５８

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

センサを用いて被検者の撮影を行うことにより得られた医用画像を取得する取得手段と、
前記センサの駆動モードと学習モデルとの関連付けを設定する設定手段と、
第１の駆動モードに関連付けられた学習モデルと前記第１の駆動モードとは異なる第２の駆動モードに関連付けられた学習モデルとを含む複数の学習モデルのうち前記撮影における前記センサの駆動モードに基づいて選択された学習モデルの入力データとして前記取得された医用画像を入力することにより、前記取得された医用画像とは異なる医用画像を生成する生成手段と、を備える医用画像処理装置であって、
前記設定手段は、
センサの駆動速度が、前記第１の駆動モードより前記第２の駆動モードが速い場合に、前記第１の駆動モードに関連付けられて設定された第１の学習モデルに比べて処理速度の速い第２の学習モデルを、前記第２の駆動モードに関連付けて設定する医用画像処理装置。

【請求項2】

前記駆動モードは、ビニング数、及び、フレームレートのうち少なくともいずれか１つの項目を含み、
前記生成手段は、前記少なくともいずれか１つの項目に基づいて選択された学習モデルの入力データとして前記取得された医用画像を入力する請求項１に記載の医用画像処理装置。

【請求項3】

前記生成手段は、第１の解像度の医用画像と、前記第１の解像度の医用画像を解像度変換することにより得られる前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む教師データを学習して得た学習モデルを用いて、前記取得された医用画像よりも解像度の高い医用画像を生成する請求項１または２に記載の医用画像処理装置。

【請求項4】

前記生成手段は、ノイズ低減処理を施した第１の解像度の医用画像と、前記ノイズ低減処理を施した前記第１の解像度の医用画像を解像度変換することにより得られる前記第１の解像度よりも低い解像度である第２の解像度の医用画像とを含む教師データを学習して得た学習モデルを用いて、前記取得された医用画像よりも解像度の高い医用画像を生成する請求項１乃至３のいずれか１項に記載の医用画像処理装置。

【請求項5】

前記設定手段は、前記第１の駆動モードが含む第１のビニング数より前記第２の駆動モードが含む第２のビニング数が大きい場合に、前記第１の駆動モードに関連付けられて設定された第１の学習モデルに比べて処理速度の速い第２の学習モデルを、前記第２の駆動モードに関連付けて設定する請求項１乃至４のいずれか１項に記載の医用画像処理装置。

【請求項6】

前記設定手段は、前記生成された医用画像の表示方法をさらに設定する請求項１乃至５のいずれか１項に記載の医用画像処理装置。

【請求項7】

センサを用いて被検者の撮影を行うことにより得られた医用画像を取得する取得手段と、
前記センサの駆動モードと学習モデルとの関連付けを設定する設定手段と、
第１の駆動モードに関連付けられた学習モデルと前記第１の駆動モードとは異なる第２の駆動モードに関連付けられた学習モデルとを含む複数の学習モデルのうち前記撮影における前記センサの駆動モードに基づいて選択された学習モデルの入力データとして前記取得された医用画像を入力することにより、前記取得された医用画像とは異なる医用画像を生成する生成手段と、を備える医用画像処理装置であって、
前記設定手段は、前記センサの複数画素の信号の出力を加算して、１つの画素の信号として出力するビニング処理における前記加算する複数の画素の加算方法をさらに設定する医用画像処理装置。

【請求項8】

前記センサは、放射線検出器であり、
前記医用画像は、前記放射線検出器を用いて被検者の撮影を行うことにより得られた放射線画像である請求項１乃至７のいずれか１項に記載の医用画像処理装置。

【請求項9】

前記放射線検出器と、
前記放射線検出器と通信可能に接続される請求項８に記載の医用画像処理装置と、
を備えるシステム。

【請求項10】

センサを用いて被検者の撮影を行うことにより得られた医用画像を取得する取得工程と、
前記センサの駆動モードと学習モデルとの関連付けを設定する設定工程と、
第１の駆動モードに関連付けられた学習モデルと前記第１の駆動モードとは異なる第２の駆動モードに関連付けられた学習モデルとを含む複数の学習モデルのうち前記撮影における前記センサの駆動モードに基づいて選択された学習モデルの入力データとして前記取得された医用画像を入力することにより、前記取得された医用画像とは異なる医用画像を生成する生成工程と、
を含む医用画像処理方法であって、
前記設定工程は、
センサの駆動速度が、前記第１の駆動モードより前記第２の駆動モードが速い場合に、前記第１の駆動モードに関連付けられて設定された第１の学習モデルに比べて処理速度の速い第２の学習モデルを、前記第２の駆動モードに関連付けて設定する医用画像処理方法。

【請求項11】

センサを用いて被検者の撮影を行うことにより得られた医用画像を取得する取得工程と、
前記センサの駆動モードと学習モデルとの関連付けを設定する設定工程と、
第１の駆動モードに関連付けられた学習モデルと前記第１の駆動モードとは異なる第２の駆動モードに関連付けられた学習モデルとを含む複数の学習モデルのうち前記撮影における前記センサの駆動モードに基づいて選択された学習モデルの入力データとして前記取得された医用画像を入力することにより、前記取得された医用画像とは異なる医用画像を生成する生成工程と、を備える医用画像処理方法であって、
前記設定工程は、前記センサの複数画素の信号の出力を加算して、１つの画素の信号として出力するビニング処理における前記加算する複数の画素の加算方法をさらに設定する医用画像処理方法。

【請求項12】

請求項１０または１１に記載の医用画像処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像処理装置、医用画像処理方法及びプログラムに関する。

【背景技術】

【0002】

医療現場ではＸ線を用いた撮影に基づく診断や治療が盛んに行われており、放射線検出器（以下センサ）を用いて撮影されたＸ線撮影画像によるデジタル画像診断が世界的に普及している。センサは出力を直ちに画像化できるため静止画像のみならず動画像も撮影することができる。さらにセンサの高解像度化がすすみ、より詳細な情報を取得する撮影が可能となっている。

【0003】

その一方で、被検者への被曝量を抑えるため、解像度を落としてＸ線画像を得る場合がある。例えば、動画像のようにＸ線を長く照射するようなユースケースである。このときセンサは、複数画素分をまとめて１つの画素として扱う駆動をすることで、１画素あたりのＸ線量を多くする。それにより全体のＸ線照射量を抑え、被検者への被曝量を抑えることができる。

【0004】

しかし、解像度を落とすことで、病変の情報や撮影装置のより正確なポジショニングのための情報といったＸ線画像の詳細な情報は失われる。

【0005】

低解像度の画像の詳細な情報を復元（高解像度化）させるための処理として超解像処理がある。超解像処理は、複数枚の低解像度画像から高解像度化を行ったり、低解像度画像と高解像度画像の特徴を関連付け、その情報を基に高解像度化を行ったりする方法が古くから知られている（特徴文献１）。近年は特徴を関連付ける方法として機械学習が利用されるようになってきた。特に畳み込みニューラルネットワーク（以下ＣＮＮ）を用いて教師あり学習を行う構成のものが、その性能の高さから急速に普及している（特許文献２）。ＣＮＮを利用した超解像処理は、教師あり学習により作成された学習パラメータを用い、入力された低解像度画像の詳細情報を復元する。超解像処理は医療画像への適用も行われている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許４５２９８０４公報

【文献】特許６２７６９０１公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ＣＮＮを利用した超解像処理は、低解像度画像を入力として推論し、推論結果として超解像画像を出力する。そして学習時の教師画像となるのが高解像度画像である。そのため、教師データとして高解像度画像と低解像度画像のセットを複数用意する。学習では、高解像度画像から低解像度画像が生成される方法を学ぶことになる。しかし、高解像度画像から低解像度画像が生成される方法はセンサの駆動方式によって異なる。ある生成方法を学習したＣＮＮを使用し、別の生成方法で生成された低解像度画像を入力として推論をしても、超解像画像の画質の低下を招くことになる。

【0008】

本発明は、上記課題に鑑みてなされたものであり、適切に解像度を向上させた医用画像を生成することができる医用画像処理装置、医用画像処理方法及びプログラムの提供を目的とする。

【0009】

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。

【課題を解決するための手段】

【0010】

本開示に係る医用画像処理装置の一つは、
センサを用いて被検者の撮影を行うことにより得られた医用画像を取得する取得手段と、
前記センサの駆動モードと学習モデルとの関連付けを設定する設定手段と、
第１の駆動モードに関連付けられた学習モデルと前記第１の駆動モードとは異なる第２の駆動モードに関連付けられた学習モデルとを含む複数の学習モデルのうち前記撮影における前記センサの駆動モードに基づいて選択された学習モデルの入力データとして前記取得された医用画像を入力することにより、前記取得された医用画像とは異なる医用画像を生成する生成手段と、を備える医用画像処理装置であって、
前記設定手段は、
センサの駆動速度が、前記第１の駆動モードより前記第２の駆動モードが速い場合に、前記第１の駆動モードに関連付けられて設定された第１の学習モデルに比べて処理速度の速い第２の学習モデルを、前記第２の駆動モードに関連付けて設定する。

【発明の効果】

【0011】

本発明によれば、適切に解像度を向上させた医用画像を生成することができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る医用画像処理装置の機能の構成の一例を示す図

【図2】第１の実施形態に係る医用画像処理装置のハードウェア構成の一例を示す図

【図3】第１の実施形態に係る医用画像処理装置の処理手順の一例を示すフロー図

【図4】第１の実施形態に係る医用画像処理装置の選択画面の一例を示す図

【図5】第１の実施形態に係る医用画像処理装置の学習手順の一例を示すフロー図

【図6】第１の実施形態に係る医用画像処理装置のセンサの駆動モードと学習モデルの関係を示す図

【図7】第２の実施形態に係る医用画像処理装置のセンサの駆動モードと学習モデルの関係を示す図

【発明を実施するための形態】

【0013】

以下の実施形態においては、医用画像の一例として放射線画像を用いる場合を代表例として説明する。より具体的には、放射線画像の一例として単純Ｘ線撮影により得られるＸ線画像を用いる場合を説明する。なお、本実施形態に適用可能な医用画像はこれに限定されるものでなく、他の医用画像であっても好適に適用できる。例えば、ＣＴ装置、ＭＲＩ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置、デジタルラジオグラフィ装置などで撮影された医用画像であってもよい。

【0014】

また、以下の実施形態においては、入力データである低解像度の医用画像と正解データとなる高解像度の医用画像とを教師データとした、畳み込みニューラルネットワーク（ＣＮＮ）を用いた教師あり学習による学習モデルの構築を例示する。そのため、以下では学習モデルをＣＮＮと記載して説明する。なお、必ずしもＣＮＮを用いた学習でなくてもよく、ノイズを低減しつつ解像度を向上させた医用画像を出力可能な学習モデルを構築できる機械学習の方法であればよい。

【0015】

［実施形態１］
本実施形態に係る医用画像処理装置は、医用画像の撮影におけるセンサの駆動モードに基づいて選択された学習モデルに医用画像を入力し、医用画像よりも解像度の高い医用画像を生成することを特徴とする。

【0016】

本発明における医用画像処理装置１００の構成図を図１に示す。医用画像処理装置１００は、学習モデル選択部１０１、画像取得部１０２、機械学習部１０３から構成される。

【0017】

学習モデル選択部１０１は、センサの駆動モードを取得し、機械学習の学習モデルを出力する。画像取得部１０２は、外部装置からＸ線画像を取得し、低解像度のＸ線画像として出力する。機械学習部１０３は、低解像度のＸ線画像と、機械学習の学習モデルを入力とし、超解像処理ＣＮＮの推論処理を行い、超解像画像を出力する。

【0018】

図１の構成を、ハードウェアを使って実現する場合、図２のようになる。図２（ａ）の構成例では学習に必要なＸ線画像が取得される。コントロールＰＣ２０１とＸ線信号をデジタル画像に変換して出力するフラットパネルセンサなどのＸ線センサ２０２がギガビットイーサ２０４でつながっている。信号線はギガビットイーサでなくてもＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や光ファイバーなどでもよい。ギガビットイーサ２０４には、Ｘ線発生装置２０３、表示部２０５、記憶部２０６、ネットワークインタフェース部２０７、イオンチャンバー２１０、Ｘ線制御部２１１が接続されている。コントロールＰＣ２０１には例えば、バス２０１１に対して、ＣＰＵ（中央演算装置）２０１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０１４、記憶部２０１５が接続された構成になる。そしてコントロールＰＣ２０１には、ＵＳＢやＰＳ／２で入力部２０８が接続され、ＤｉｓｐｌａｙＰｏｒｔやＤＶＩで表示部２０９が接続される。このコントロールＰＣ２０１を介して、Ｘ線センサ２０２や表示部２０５などにコマンドを送る。コントロールＰＣ２０１では、撮影モードごとの処理内容がソフトウェアモジュールとして記憶部２０１５に格納され、不図示の指示手段によりＲＡＭ２０１３に読み込まれ、実行される。処理された画像はコントロールＰＣ内の記憶部２０１５もしくはコントロールＰＣ外の記憶部２０６へと送られ、保存される。

【0019】

図１に示した学習モデル選択部１０１、画像取得部１０２、機械学習部１０３は、ソフトウェアモジュールとして記憶部２２１５に格納されている。もちろん本発明は図１に示した学習モデル選択部１０１、画像取得部１０２、機械学習部１０３を専用の画像処理ボードとして実装してもよい。目的に応じて最適な実装を行うようにすればよい。

【0020】

図２（ｂ）の構成例ではＣＮＮの学習がされる。学習用ＰＣ２２１には例えば、バス２２１１に対して、ＣＰＵ（中央演算装置）２２１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２１４、記憶部２２１５が接続された構成になる。そして学習用ＰＣ２０１には、ＵＳＢやＰＳ／２で入力部２２２、ＤｉｓｐｌａｙＰｏｒｔやＤＶＩで表示部２２３、ＵＳＢで記憶部２２４が接続される。ＣＮＮの学習時、図１に示した１０３はソフトウェアモジュールとして記憶部２２１５に格納されている。もちろん本発明は図１に示した１０３を専用の画像処理ボードとして実装してもよい。目的に応じて最適な実装を行うようにすればよい。

【0021】

次に、図１の機能構成図と図３の全体の処理手順を示すフロー図を使い、処理の流れにそって説明する。

【0022】

（Ｓ３０１：センサの駆動モード取得）
まず、Ｓ３０１において、学習モデル選択部１０１は、被検者を撮影する際のセンサの駆動モードを取得する。センサの駆動モードとは、センサがどのように画像を生成し出力するかの方法である。駆動モードは、詳しくは後述するが、例えば、ビニング数、ビニング領域における画素の加算方法、フレームレートなどの項目を含む。

【0023】

（Ｓ３０２：学習モデル選択）
続いて、Ｓ３０２において、学習モデル選択部１０１は、センサの駆動モードに基づいて、学習モデルを選択する。学習モデルとは、事前に教師あり学習を行ったＣＮＮの学習パラメータである。センサの駆動モードと学習モデルとの関連付けは、事前に設定する。より具体的には、例えば、センサの駆動モードと、センサの駆動モードと同様の駆動モードで撮影された画像を用いて予め学習された学習モデルとを関連付けて設定する。このとき、例えば、図４のように設定画面を表示し、表示に基づいてユーザが対応を設定させてもよく、ビニング数やフレームレートといったセンサの駆動モードの設定と共に、学習モデルを設定する。なお、上記の設定方法は一例であって、センサの駆動モードと学習モデルとの関連付けができればよい。例えば、学習モデルの学習に用いられる医用画像に駆動モードに関する付帯情報が関連付けられている場合、その情報を読み込んで学習モデルに関連付けるなどでもよい。また、画像の表示方法も、センサの駆動モードや学習モデルと対応付けて設定してもよい。

【0024】

ここで、ＣＮＮの学習時の動作を、図５を用いて説明する。

【0025】

（Ｓ５０１：推論処理）
Ｓ５０１において、機械学習部１０３は、入力データと出力データの組を教師データとした教師あり学習を行うことにより学習モデルを構築する。教師データは、入力データとして低解像度画像５１１と、それに対応した正解データとして高解像度画像５１５の組である。なお、教師データとして用いる低解像度画像５１１と高解像度画像５１５については、例えば、高解像度画像５１５を解像度変換することにより、高解像度画像５１５よりも低い解像度である低解像度画像５１１を生成する。さらに、高解像度画像５１５にノイズ低減処理を予め施し、ノイズ低減処理を施した高解像度画像５１５を解像度変換することにより、ノイズ低減処理を施した低解像度画像５１１を生成してもよい。

【0026】

そして、機械学習部１０３は、低解像度画像５１１に対して、学習途中のＣＮＮ５１２のパラメータによる推論処理を行い、推論結果として超解像画像５１４が出力する（Ｓ５０１）。ここで、ＣＮＮ５１２は、多数の処理ユニット５１３が任意に接続された構造を取る。処理ユニット５１３の例としては、畳み込み演算や、正規化処理、あるいは、ＲｅＬＵやＳｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数、のように順番に処理を行う組が３～数百程度の層状に接続され、さまざまな構造を取ることができる。

【0027】

（Ｓ５０２：損失関数計算）
次に、Ｓ５０２において、機械学習部１０３は、推論結果である超解像画像５１４と高解像度画像５１５から、損失関数を算出する。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。

【0028】

（Ｓ５０３：誤差逆伝搬）
次に、Ｓ５０３において、機械学習部１０３は、Ｓ５０２で算出した損失関数を起点とした誤差逆伝搬を行い、ＣＮＮ５１２のパラメータ群を更新する。

【0029】

（Ｓ５０４：学習終了判定）
最後に、Ｓ５０４において、機械学習部１０３は、学習の終了判定を行い、学習を継続する場合はＳ５０１に進む。Ｓ５０１～５０３の処理を、低解像度画像５１１と高解像度画像５１５を変えながら繰り返すことで、損失関数が低下するようにＣＮＮ５１２のパラメータ更新が繰り返され、機械学習部１０３の精度を高めることができる。十分に学習が進み、学習終了と判定された場合は、処理を完了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行う。

【0030】

以上の工程により、ＣＮＮの学習が行われる。

【0031】

こうして得られる学習パラメータとセンサの駆動モードの組み合わせ例を図６（ａ）に示した。センサの駆動モード例として、ビニング数と加算方法を示した。ビニング処理は、Ｘ線センサ２０２における複数画素の信号を加算して、１つの画素の信号として出力する処理を示す。ビニング数がＭとは、Ｍ×Ｍの領域を１画素として出力することである。つまり、ビニング数が２の場合は、２×２の領域４画素分を１画素として出力することになる。なお、ビニング領域は、Ｍ×Ｎ（ＮはＭとは異なる数）でもよい。加算方法とは、ビニングする際に１画素にまとめる方法のことである。図６（ｂ）にビニング数が２の場合の加算方法の例を示した。〇のついている画素が縮小時に使用する画素である。間引きの場合は２×２領域の中の１画素を使用する。全加算は全ての画素を使用する。斜め加算は斜め方向に使用する画素を選択する。全加算、斜め加算など、加算した場合は、画素値を同レベルにするために、加算数で除算し平均値にしてもよい。また、加算前にエイリアシング対策として、フィルタリングをしてもよい。ビニング数や加算方法が異なると、低解像度画像から高解像度画像を作成する過程は異なるため、ＣＮＮが学習する内容も異なる。そのため、ビニング数や加算方法毎に、図５に示される低解像度画像５１１と、高解像度画像５１５の教師データの組を用意して学習をし、パラメータを作成する必要がある。

【0032】

図６（ａ）にあるように、センサの駆動モードが選択されることで、その中のどのパラメータを使用するかを決定する。センサの駆動モードは例えば、撮影方法が決まるタイミングで決定される。撮影方法は撮影手技に紐づいているため、ある撮影手技を選択すると、撮影条件、駆動モードと決定する。したがって、学習モデル選択部１０１は、撮影手技が決まったタイミングで、使用するパラメータをロードし、必要なメモリ領域にデータを展開する。メモリ領域に余裕がある場合は、あらかじめ装置起動時など全パラメータをロードしておき、撮影手技を決めたタイミングで、データの参照先を変更する方法でもよい。

【0033】

（Ｓ３０３：Ｘ線画像取得）
次に、Ｓ３０３において、画像取得部１０２は、Ｘ線センサから画像を取得する。

【0034】

（Ｓ３０４：前処理）
次に、Ｓ３０４において、画像取得部１０２は、取得した画像に対し前処理を行い、前処理済み画像を出力する。前処理とは超解像処理を行う準備の処理である。例えば、センサの特性を補正する処理、周波数処理及び階調処理のうち少なくとも一つの処理を行う。センサの特性を補正する処理では、オフセット補正（暗電流補正）、ゲイン補正、欠損補正などを行い、周辺画素との相関関係が保たれている状態にする。

【0035】

（Ｓ３０５：超解像処理）
最後に、Ｓ３０５において、機械学習部１０３は、前処理済み画像を入力とし、Ｓ３０２において選択された学習モデルを用いてＣＮＮ推論処理をし、超解像画像を出力する。

【0036】

以上により医用画像処理装置１００の処理が実施される。

【0037】

上記によれば、撮影時のセンサの駆動モードに基づいて、該撮影により得られた医用画像を入力とし、高解像度化した医用画像を出力とする学習モデルが選択される。なお、選択される学習モデルは、例えば、撮影時のセンサの駆動モードと同様の駆動モードにおいて撮影された医用画像を予め学習してある。これにより、入力される医用画像と、学習モデルの学習に用いられた医用画像の生成方法が一致するため、適切に解像度を向上させた医用画像を生成することができる。

【0038】

なお、本実施形態では、センサの駆動モード例として加算方法やビニング数を示したが、センサの画像取得レート（フレームレート）や読み出しエリアサイズなど、センサ駆動方式の変更に関連する他の項目でもよい。また、センサの駆動モードの違いは単一のセンサだけではなく、複数のセンサにまたがっていてもよい。このとき同一センサ内で加算方法が同じになる場合は、センサ毎に学習モデルを切り替えることになる。

【0039】

全ての駆動モード毎に必ずしも異なる学習モデルを用意することはない。低解像度画像から高解像度画像を作成する過程が同様とみなせるものなど、共通化が可能なセンサの駆動モードがあれば、センサの駆動モード間で同じ学習モデルを使用してもよい。

【0040】

［実施形態２］
実施形態１のＳ３０２における学習モデル設定において、異なる実施形態を図１の構成図と図３の全体フローを使い説明する。

【0041】

（Ｓ３０１：センサの駆動モード取得）
まず、Ｓ３０１において、学習モデル選択部１０１は、センサの駆動モードを取得する。センサの駆動モードとは、センサがどのように画像を生成し出力するかのパターンである。

【0042】

（Ｓ３０２：学習モデル選択）
そして、Ｓ３０２において、学習モデル選択部１０１は、センサの駆動モードに基づいて、学習モデルを選択する。学習モデルとは、事前に教師あり学習を行った学習ネットワーク（ＣＮＮ）と、学習を行うことにより得られたＣＮＮの学習パラメータである。

【0043】

ＣＮＮの学習時の動作は実施形態１と同じであるため省略する。学習モデルとセンサの駆動モードの組み合わせ例を図７（ａ）に示した。センサの駆動モード例として、ビニング数を示した。ビニング数が増えると、センサの読取速度を高めることができるため、高フレームレートが必要な撮影に使用される。それに伴いＣＮＮに対するパフォーマンス要求が高くなる。すなわちビニング数が異なると、要求されるパフォーマンスが異なる。そのため、よりビニング数が多いセンサの駆動モードには、より処理速度の速いＣＮＮを選択するように設定する。すなわち、第１の駆動モードに比べてセンサの駆動速度が速い第２の駆動モードに対して、第１の駆動モードに関連付けられて設定された第１の学習モデルに比べて処理速度の速い第２の学習モデルを関連付けて設定する。

【0044】

また、例えば、図５のＣＮＮ５１２を構成する処理ユニット５１３の数を、ビニング毎に変更してもよい。ビニング数が増えることに対し、処理ユニットを減らすことで処理速度の向上を図る。もしくは、処理にユニット５１３の数は同様であるが、処理ユニット５１３で行われる畳み込み演算の入出力のパラメータ数を少なくすることで処理速度の向上を図る。パラメータ数を少なくする方法として、畳み込み演算のサイズを小さくすることや、出力チャンネル数を減らすことを行う。

【0045】

Ｓ３０３からＳ３０５は実施形態１と同様のため省略する。

【0046】

本実施形態では、センサの駆動モード例としてビニング数を示したが、センサ駆動の高速化と関連するセンサの駆動モードに対して、同様の切り替えをしてもよい。

【0047】

［実施形態３］
実施形態１のＳ３０２における学習モデル設定において、異なる実施形態を図１の構成図と図３の全体フローを使い説明する。

【0048】

（Ｓ３０１：センサの駆動モード取得）
Ｓ３０１において、学習モデル選択部１０１は、センサの駆動モードを取得する。センサの駆動モードとは、センサがどのように画像を生成し出力するかのパターンである。

【0049】

（Ｓ３０２：学習モデル設定）
そして、Ｓ３０２において、学習モデル選択部１０１は、センサの駆動モードに基づいて、学習モデルを取得する。学習モデルとは、事前に教師あり学習を行ったＣＮＮの学習パラメータである。

【0050】

ＣＮＮの学習時の動作を実施形態１と同じであるため省略する。学習モデルとセンサの駆動モードの組み合わせ例を図７（ｂ）に示した。センサの駆動モード例として、加算方法を示した。加算方法によってＣＮＮでの表現難易度が異なるため、ＣＮＮの学習時の収束具合が異なる。そのため、加算方法によって、ハイパーパラメータを変更し、損失曲線が振動しない最適な収束が得られるようにする。ハイパーパラメータとは、例えば学習率とする。学習率とは誤差反映のパラメータで以下のように決まる。ＣＮＮのパラメータを決定するには、一般的に勾配降下法が用いられる。ＣＮＮパラメータＷにおける誤差をＪとすると、勾配降下法でのパラメータ更新は、式１のように行われる。：＝は代入演算、▽は勾配を表す。

【0051】

Ｗ：＝Ｗ－α▽Ｊ（Ｗ）・・・（式１）
αが学習率である。αの大きさを小さくすると、現ＣＮＮパラメータＷへの誤差の反映が小さく、αの大きさを大きくすると、現ＣＮＮパラメータＷへの誤差の反映が大きくなる。したがって、損失曲線が振動するような加算方法には、学習パラメータを小さくすることで、誤差への反応を小さくする。

【0052】

Ｓ３０３からＳ３０５は実施形態１と同様のため省略する。

【0053】

本実施形態では、ハイパーパラメータとして学習率を示したが、バッチサイズやエポック数などでもよい。

【0054】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路によっても実現可能である。

【0055】

プロセッサまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

【0056】

上述の各実施形態における医用画像処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。医用画像処理装置を構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

【0057】

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

【0058】

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

【0059】

また、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態を組み合わせた構成も全て本発明の実施形態に含まれるものである。

【符号の説明】

【0060】

１００ 医用画像処理装置
１０１ 学習モデル選択部
１０２ 画像取得部
１０３ 機械学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】