特許 7469858 医用画像処理装置、医用画像処理方法、および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-09

(45)【発行日】2024-04-17

(54)【発明の名称】医用画像処理装置、医用画像処理方法、および画像処理装置

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240410BHJP

   A61B 6/03 20060101ALI20240410BHJP

   A61B 5/055 20060101ALI20240410BHJP

   G06T 1/00 20060101ALI20240410BHJP

【ＦＩ】

A61B6/00 550Z

A61B6/03 560Z

A61B5/055 380

G06T1/00 290

A61B6/03 560T

A61B6/03 560J

【請求項の数】 12

(21)【出願番号】P 2019144552

(22)【出願日】2019-08-06

(65)【公開番号】P2021023605

(43)【公開日】2021-02-22

【審査請求日】2022-06-24

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】岩井 春樹

(72)【発明者】

【氏名】小林 由昌

【審査官】永田 浩司

(56)【参考文献】

【文献】国際公開第２０１８／２１０９７８（ＷＯ，Ａ１）

【文献】特表２０２０－５２１２６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０１７２５１４（ＵＳ，Ａ１）

【文献】特開２０１７－０１２４４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００

Ａ６１Ｂ ５／０５５

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

所定の線量で取得されるノイズの少ないクリーン画像を取得することなく、前記クリーン画像よりも少ない線量で取得され前記クリーン画像よりも多くのノイズを含んだ第１医用画像データを取得する取得部と、
前記第１医用画像データにもとづいて前記第１医用画像データとは異なるノイズであって前記クリーン画像よりも多くのノイズを有する少なくとも１つの第２医用画像データを生成する学習済みモデルに対して前記第１医用画像データを入力することにより、前記少なくとも１つの前記第２医用画像データを生成する処理部と、
を備えた医用画像処理装置。

【請求項2】

前記処理部は、
１つの前記第２医用画像データを生成する前記学習済みモデルを複数用い、当該複数の前記学習済みモデルのそれぞれに対して前記第１医用画像データを入力することにより、前記第１医用画像データとは異なるノイズであって互いに異なるノイズを有する複数の前記第２医用画像データを生成する、
請求項１記載の医用画像処理装置。

【請求項3】

前記処理部は、
同一のトレーニングデータセットにもとづいて、異なる学習パラメータで学習することにより構築された複数の前記学習済みモデルのそれぞれに対して、前記第１医用画像データを入力することにより、前記第１医用画像データとは異なるノイズであって互いに異なるノイズを有する複数の前記第２医用画像データを生成する、
請求項１または２に記載の医用画像処理装置。

【請求項4】

前記処理部は、
前記第１医用画像データにもとづいて前記第１医用画像データとは異なるノイズであって互いに異なるノイズを有する複数の前記第２医用画像データを生成する前記学習済みモデルに対して前記第１医用画像データを入力することにより、前記複数の前記第２医用画像データを生成する、
請求項１ないし３のいずれか１項に記載の医用画像処理装置。

【請求項5】

前記第１医用画像データと前記複数の前記第２医用画像データとから選択された２以上の医用画像データにもとづいて、前記第１医用画像データのノイズを低減した第３医用画像データを生成するノイズ低減部、
をさらに備えた請求項１ないし４のいずれか１項に記載の医用画像処理装置。

【請求項6】

前記ノイズ低減部は、
前記２以上の前記医用画像データを相加平均または加重平均することにより前記第３医用画像データを生成する、
請求項５記載の医用画像処理装置。

【請求項7】

前記ノイズ低減部は、
所定の空間周波数以下のデータについては前記第１医用画像データに前記第２医用画像データよりも高い重みを付すととともに、前記所定の空間周波数より高いデータについては前記第１医用画像データよりも前記第２医用画像データに高い重みを付して加重平均することにより前記第３医用画像データを生成する、
請求項６記載の医用画像処理装置。

【請求項8】

所定の線量で取得されるノイズの少ないクリーン画像を取得することなく、撮影条件と、撮影時の被検体と撮像系との幾何学条件と、が同一である、前記クリーン画像よりも少ない線量で取得され前記クリーン画像よりも多くのノイズを含んだ複数の医用画像データを収集する収集部と、
前記複数の医用画像データから２つのデータの組を複数抽出する抽出部と、
第１医用画像データにもとづいて前記第１医用画像データとは異なるノイズを有する少なくとも１つの第２医用画像データを生成する学習済みモデルに使用するためのトレーニングデータセットとして、前記抽出部により抽出された複数の組を出力する出力部と、
を備えた医用画像処理装置。

【請求項9】

前記出力部は、
前記抽出部により抽出された複数の組のそれぞれを、複数の組よりも少ない数だけ用意された複数の前記学習済みモデルのそれぞれに使用するためのトレーニングデータセットとして、前記複数の前記学習済みモデルのそれぞれに関連付けて出力する、
請求項８記載の医用画像処理装置。

【請求項10】

所定の線量で取得されるノイズの少ないクリーン画像を取得することなく、前記クリーン画像よりも少ない線量で取得され前記クリーン画像よりも多くのノイズを含んだ第１医用画像データを取得するステップと、
前記第１医用画像データにもとづいて前記第１医用画像データとは異なるノイズであって前記クリーン画像よりも多くのノイズを有する少なくとも１つの第２医用画像データを生成する学習済みモデルに対して前記第１医用画像データを入力することにより、前記少なくとも１つの前記第２医用画像データを生成するステップと、
を有する医用画像処理方法。

【請求項11】

所定の線量で取得されるノイズの少ないクリーン画像を取得することなく、撮影条件と、撮影時の被検体と撮像系との幾何学条件と、が同一である、前記クリーン画像よりも少ない線量で取得され前記クリーン画像よりも多くのノイズを含んだ複数の医用画像データを収集するステップと、
前記複数の医用画像データから２つのデータの組を複数抽出するステップと、
第１医用画像データにもとづいて前記第１医用画像データとは異なるノイズを有する少なくとも１つの第２医用画像データを生成する学習済みモデルに使用するためのトレーニングデータセットとして、抽出された複数の組を出力するステップと、
を有する医用画像処理方法。

【請求項12】

第１画像データを取得する取得部と、
所定の線量で取得されるノイズの少ないクリーン画像を取得することなく、前記クリーン画像よりも少ない線量で取得され前記クリーン画像よりも多くのノイズを含んだ前記第１画像データにもとづいて前記第１画像データとは異なるノイズであって前記クリーン画像よりも多くのノイズを有する少なくとも１つの第２画像データを生成する学習済みモデルに対して前記第１画像データを入力することにより、前記少なくとも１つの前記第２画像データを生成する処理部と、
を備えた画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、医用画像処理装置、医用画像処理方法、および画像処理装置に関する。

【背景技術】

【0002】

最近、機械学習を利用して画像データが有するノイズを低減する技術が開発されている。たとえば、機械学習として多層のニューラルネットワークを用いた深層学習を用いる場合、一般に、ノイズ画像を学習用データ、ノイズの少ないクリーン画像を教師データとして学習が行われる。

【0003】

しかし、この場合、ノイズの少ないクリーン画像を多数用意することが難しく、トレーニングデータセットを収集することが非常に困難である。たとえば、ノイズ低減処理の対象となる画像データがＸ線画像データである場合、ノイズの少ないクリーン画像を得るためには被検体に非常に大きな線量の被ばくを強いることになってしまう。

【0004】

一方、被検体の被ばく線量を低減すると、教師データとして用いる画像が少なからずノイズを含んでしまうことになる。この場合、学習済みモデルを用いてノイズ低減処理を行っても、低減した被ばく線量なりのノイズを含む画像が生成されてしまう。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－０９４０９７号公報

【非特許文献】

【0006】

【文献】クリストファー Ｍ. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、２００６年、Ｐ．２２５－２９０

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、ノイズの少ないクリーン画像を用いることなく学習済みモデルを用いて画像データのノイズを低減することである。また、本発明が解決しようとする課題は、当該学習済みモデルに使用するためのトレーニングデータセットとして同一条件で撮影され且つ異なるノイズパターンの画像を容易に収集することである。

【課題を解決するための手段】

【0008】

実施形態に係る医用画像処理装置は、取得部と、処理部とを備える。取得部は、第１医用画像データを取得する。処理部は、第１医用画像データにもとづいて第１医用画像データとは異なるノイズを有する少なくとも１つの第２医用画像データを生成する学習済みモデルに対して第１医用画像データを入力することにより、少なくとも１つの第２医用画像データを生成する。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る医用画像処理装置の一構成例を示すブロック図。

【図2】同一条件で撮影され且つ異なるノイズパターンの複数の画像データの一例を示す説明図。

【図3】図２に示す同一画像群から多数のトレーニングデータセットを設定する方法の一例を示す説明図。

【図4】同一条件で撮影され且つ異なるノイズパターンの複数の画像データの他の例を示す説明図。

【図5】図３に示す複数の同一画像から多数のトレーニングデータセットを設定する方法の一例を示す説明図。

【図6】図１に示す医用画像処理装置の処理回路のプロセッサによりトレーニングデータ収集処理を実行する際の手順の一例を示すフローチャート。

【図7】リノイズ機能の学習時におけるデータフローの一例を示す説明図。

【図8】リノイズ機能の運用時におけるデータフローの一例を示す説明図。

【図9】複数のリノイズ医用画像データを生成する方法の一例を示す説明図。

【図10】ノイズ低減処理の一例を説明するための図。

【図11】複数のリノイズ医用画像データを生成する方法の他の例を示す説明図。

【図12】複数のリノイズ医用画像データを生成する方法のさらに他の例を示す説明図。

【図13】図１に示す医用画像処理装置の処理回路のプロセッサによりリノイズ処理を含むノイズ低減処理を実行する際の手順の一例を示すフローチャート。

【図14】第２の実施形態に係る医用画像処理装置または画像処理装置を含むＸ線診断装置の一構成例を示すブロック図。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、医用画像処理装置、医用画像処理方法、および画像処理装置の実施形態について詳細に説明する。

【0011】

一実施形態に係る医用画像処理装置および画像処理装置は、ノイズの少ないクリーン画像を用いることなく学習済みモデルを用いて画像データのノイズを低減するものである。ノイズの低減処理対象となる画像データは、光学カメラにより取得されたものでもよいし、医用画像診断装置により取得された医用画像データであってもよい。医用画像診断装置としてはＸ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）装置など種々の装置を用いることができる。

【0012】

以下、Ｘ線診断装置が生成するＸ線画像データのノイズ低減処理の一例について説明する。

【0013】

（第１の実施形態）
図１は、第１実施形態に係る医用画像処理装置１０の一構成例を示すブロック図である。医用画像処理装置１０は、Ｘ線診断装置１０１、画像サーバ１０２、Ｘ線ＣＴ装置１０３、ＭＲＩ装置１０４とネットワーク１００を介して接続される。

【0014】

医用画像処理装置１０は、入力インターフェース１１、ディスプレイ１２、記憶回路１３、ネットワーク接続回路１４、および処理回路１５を有する。

【0015】

入力インターフェース１１は、たとえばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路１５に出力する。ディスプレイ１２は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成される。

【0016】

記憶回路１３は、たとえば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の、プロセッサにより読み取り可能な記録媒体を含んだ構成を有し、処理回路１５が利用するプログラムやパラメータデータやその他のデータを記憶する。なお、記憶回路１３の記録媒体内のプログラムおよびデータの一部または全部は、ネットワーク１００を介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路１３に与えられてもよい。

【0017】

また、記憶回路１３は、ネットワーク１００を介して取得した被検体の医用画像に関するデータを記憶してもよい。

【0018】

ネットワーク接続回路１４は、ネットワーク１００の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路１４は、この各種プロトコルに従ってネットワーク１００を介して他の電気機器と接続する。ネットワーク１００は、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

【0019】

医用画像処理装置１０は、Ｘ線診断装置１０１および画像サーバ１０２とネットワーク１００を介して互いにデータ送受信可能に接続される。また、医用画像処理装置１０は、ネットワーク１００を介してＸ線ＣＴ装置１０３、ＭＲＩ装置１０４と互いにデータ送受信可能に接続されてもよい。

【0020】

処理回路１５は、医用画像処理装置１０を統括制御する機能を実現する。また、処理回路１５は、記憶回路１３に記憶されたトレーニングデータ収集プログラムを読み出して実行することにより、画像データのノイズを低減する学習済みモデルに使用するためのトレーニングデータセットとして、同一条件で撮影され且つ異なるノイズパターンの画像を容易に収集するための処理（トレーニングデータ収集処理）を実行するプロセッサである。また、処理回路１５は、記憶回路１３に記憶されたノイズ低減プログラムを読み出して実行することにより、ノイズの少ないクリーン画像を用いることなく学習済みモデルを用いて画像データのノイズを低減するための処理（ノイズ低減処理（デノイズ処理））を実行するプロセッサである。

【0021】

図１に示すように、処理回路１５のプロセッサは、収集機能２１、抽出機能２２、および出力機能２３を実現する。また、処理回路１５のプロセッサは、取得機能２４、リノイズ機能２５、およびノイズ低減機能２６を実現する。これらの各機能は、それぞれプログラムの形態で記憶回路１３に記憶されている。

【0022】

収集機能２１は、撮影条件と、撮影時の被検体と撮像系との幾何学条件と、が同一である複数の画像データを収集する。

【0023】

抽出機能２２は、複数の医用画像データから２つのデータの組を複数抽出する。

【0024】

出力機能２３は、第１医用画像データにもとづいて第１医用画像データとは異なるノイズを有する少なくとも１つの第２医用画像データを生成する学習済みモデルに使用するためのトレーニングデータセットとして、抽出機能２２により抽出された複数の組を、取得機能２４に、および／または図示しない外部の医用画像処理装置に、出力する。

【0025】

収集機能２１、抽出機能２２、および出力機能２３により、トレーニングデータ収集処理が実行される。

【0026】

取得機能２４は、ノイズ低減処理の対象となる医用画像データ（第１医用画像データ）を取得する。

【0027】

リノイズ機能２５は、第１医用画像データにもとづいて第１医用画像データとは異なるノイズを有する少なくとも１つのリノイズ医用画像データ（第２医用画像データ）を生成する学習済みモデルに対して第１医用画像データを入力することにより、少なくとも１つの第２医用画像データを生成する。学習済みモデルを構築するための機械学習としては、ＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）などの、多層のニューラルネットワークを用いた深層学習を用いることができる。

【0028】

ノイズ低減機能２６は、第１医用画像データと複数の第２医用画像データとから選択された２以上の医用画像データにもとづいて、第１医用画像データのノイズを低減した医用画像データ（第３医用画像データ）を生成する。

【0029】

取得機能２４、リノイズ機能２５、およびノイズ低減機能２６により、ノイズ低減処理（デノイズ処理）が実行される。また、リノイズ機能２５は、第１医用画像データにもとづいて、第１医用画像データとは異なるノイズを有する少なくとも１つの第２医用画像データを生成する。リノイズ機能２５により、第１医用画像データにもとづいて、第１医用画像データが有するノイズを他のノイズパターンに振り直した画像データを生成することができる。なお、第１医用画像データと１または複数の第２医用画像データとは、ノイズパターンが異なればよく、第１医用画像データよりも第２医用画像データのほうが大きいノイズを有していてもよい。

【0030】

ここで、トレーニングデータ収集処理について説明する。
図２は、同一条件で撮影され且つ異なるノイズパターンの複数の画像データＩｍの一例を示す説明図である。

【0031】

ここで、同一条件とは、撮影条件と、撮影時の被検体と撮像系との幾何学条件と、が同一であることをいうものとする。Ｘ線診断装置１０１によって撮影されたＸ線画像データを扱う場合は、同一条件とは、Ｘ線条件と、撮影時の被検体と撮像系との幾何学条件と、が同一であることをいう。上述の通り、以下の説明ではＸ線診断装置１０１によって撮影されたＸ線画像データを扱う場合の例を示す。

【0032】

なお、Ｘ線ＣＴ装置１０３によって撮影された医用画像データを扱う場合、画像データＩｍは投影データであってもよいし、サイノグラムデータであってもよい。ＭＲＩ装置１０４によって撮影された医用画像データを扱う場合は、画像データＩｍはｋ空間データを含む。

【0033】

収集機能２１は、Ｘ線診断装置１０１から、または画像サーバ１０２から、Ｘ線画像データＩｍを取得し、同一条件に属する画像データ群（以下、同一画像群という）を特定する。

【0034】

図２には時刻ｔ＝ｔ１、ｔ２、ｔ３、・・・、ｔ６で撮影されたＸ線画像データＩｍ１、Ｉｍ２、Ｉｍ３、・・・、ｔ６が同一条件Ａに属し、時刻ｔ＝ｔ７、ｔ８、ｔ９で撮影されたＸ線画像データＩｍ７、Ｉｍ８、Ｉｍ９が同一条件Ｂに属する場合の例を示した。

【0035】

収集機能２１は、Ｘ線画像データＩｍの付帯情報にもとづいて、またはＸ線診断装置１０１から直接取得した情報にもとづいて、Ｘ線条件および幾何学的条件を取得する。

【0036】

幾何学的条件の同一性判定方法としては、相関係数を用いる方法など従来各種のものが知られており、収集機能２１はこれらのうち任意のものを使用することが可能である。また、図２に示すように同一画像群を特定する場合は、たとえばｔ＝ｔ１の画像データを基準画像データとし、この基準画像データと他の基準画像データとを比較するとよい（比較基準固定）。

【0037】

また、収集機能２１による同一性判定は、Ｘ線画像データの収集ごとにリアルタイムで行われてもよいし、ポストプロセスで行われてもよい。

【0038】

図３は、図２に示す同一画像群から多数のトレーニングデータセットを設定する方法の一例を示す説明図である。

【0039】

同一画像群からトレーニングデータセットを設定する場合、抽出機能２２は複数のＸ線画像データから２つの画像データの組を複数抽出する。図３には、同一画像群に属する複数のＸ線画像データから２つのＸ線画像データの組を順列（Permutation）で抽出する場合の例を示した。

【0040】

出力機能２３は、各組の２つのＸ線画像データの一方を学習用データ群３１を構成する学習用データ３１１、３１２、３１３、・・・とし、他方を教師データ群４１を構成する教師データ４１１、４１２、４１３、・・・に設定する。また、出力機能２３は、複数の組のそれぞれを、複数の組よりも少ない数（図３では３つ）だけ用意された複数の学習済みモデルのそれぞれに使用するためのトレーニングデータセットとして、複数の学習済みモデルのそれぞれに例えばタグによって関連付けて出力する。タグは１つであってもよい。図３には、この関連付けの方法として、３つの学習済みモデルのそれぞれに対応するタグ１、２、３を各組に関連付けて出力する場合の例を示した。

【0041】

図２、図３には、比較基準固定で同一条件に属する同一画像群を特定してからトレーニングデータセットを設定する場合の例を示したが、同一条件に属する２つの画像データ（同一画像）は逐次的に特定されてもよい。

【0042】

図４は、同一条件で撮影され且つ異なるノイズパターンの複数の画像データＩｍの他の例を示す説明図である。また、図５は、図３に示す複数の同一画像から多数のトレーニングデータセットを設定する方法の一例を示す説明図である。

【0043】

図４に示すように、逐次的に同一画像を特定する場合は、収集機能２１は、たとえば今回の画像データを直前の画像データと比較して同一条件であれば同一画像と特定するとよい。また、逐次的に同一画像を特定した場合は、抽出機能２２は、各同一画像を構成する２つのＸ線画像データから順列で２組を抽出する。たとえばＩｍ１とＩｍ２の同一画像からは、抽出機能２２は（Ｉｍ１、Ｉｍ２）と（Ｉｍ２、Ｉｍ１）の２組を抽出する。

【0044】

出力機能２３は、図２、図３を用いて上述した例と同様に、各組の２つのＸ線画像データの一方を学習用データ群３１を構成する学習用データ３１１、３１２、３１３、・・・とし、他方を教師データ群４１を構成する教師データ４１１、４１２、４１３、・・・に設定する（図５参照）。また、出力機能２３は、複数の組のそれぞれを、複数の組よりも少ない数（図５では３つ）だけ用意された複数の学習済みモデルのそれぞれに使用するためのトレーニングデータセットとして、複数の学習済みモデルのそれぞれに例えばタグ付けして関連付けて出力する。タグ付けは、ランダムに行われてもよい。

【0045】

図６は、図１に示す医用画像処理装置１０の処理回路１５のプロセッサによりトレーニングデータ収集処理を実行する際の手順の一例を示すフローチャートである。図６において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

【0046】

まず、ステップＳ１において、収集機能２１は、Ｘ線診断装置１０１から、または画像サーバ１０２から、Ｘ線画像データＩｍを取得し、同一条件に属する同一画像群（図２参照）または同一画像（図５参照）を特定する。

【0047】

次に、ステップＳ２において、抽出機能２２は、同一画像群から２つの画像データの組を複数抽出する。

【0048】

なお、ステップＳ１において収集機能２１が逐次的に複数の同一画像を収集した場合は（図５参照）、各同一画像を構成する２つのＸ線画像データから順列で２組を抽出する。たとえばＩｍ１とＩｍ２の同一画像からは、抽出機能２２は（Ｉｍ１、Ｉｍ２）と（Ｉｍ２、Ｉｍ１）の２組を抽出する。また、ステップＳ１において収集機能２１が逐次的に複数の同一画像を収集した場合であって、同一条件の同一画像が２組以上収集された場合は、ステップＳ２において抽出機能２２は、これらの同一画像に属するＸ線画像データ（図５に示す例では同一条件ＢのＩｍ３、Ｉｍ４、Ｉｍ５）から順列で２つの画像データの組を複数抽出してもよい。

【0049】

次に、ステップＳ３において、出力機能２３は、各組の２つのＸ線画像データの一方を学習用データ群３１を構成する学習用データ３１１、３１２、３１３、・・・とし、他方を教師データ群４１を構成する教師データ４１１、４１２、４１３、・・・に設定する（図５参照）。

【0050】

そして、ステップＳ４において、出力機能２３は、複数の組のそれぞれを、複数の組よりも少ない数（図５では３つ）だけ用意された複数の学習済みモデルのそれぞれに使用するためのトレーニングデータセットとして、複数の学習済みモデルのそれぞれに対応するタグを各組に関連付けて出力する。

【0051】

以上の手順により、画像データのノイズを低減する学習済みモデルに使用するためのトレーニングデータセットとして、同一条件で撮影され且つ異なるノイズパターンの画像を容易に収集することができる。

【0052】

図２－６を用いて説明したトレーニングデータ収集処理は、同一条件に属する２つの画像データにより構成されるトレーニングデータセットを容易に多数収集することができる。このとき、トレーニングデータセットを構成する２つの画像データは、互いに撮影された時間が異なるため、検出器の量子ノイズ、回路ノイズ、散乱線による影響などのノイズパターンが異なる一方、いずれもノイズを含んだ画像データである。

【0053】

このように用意されてタグ付けされたトレーニングデータセットは、タグごとに異なる学習済みモデルの学習に利用される。この結果、各学習済みモデル（上記例では３つの学習済みモデル）は、それぞれ、画像データを入力されると、入力された画像データとあたかも同一条件で撮影され、且つ入力された画像データのノイズを他のノイズパターンに振り直した画像データを生成することができる。

【0054】

なお、ノイズパターンが異なるとは、たとえばノイズ生成アルゴリズムを用いてノイズを生成する際に、アルゴリズムで用いられる疑似乱数生成におけるシードが異なる場合などに対応する。

【0055】

続いて、リノイズ処理を含むノイズ低減処理（デノイズ処理）について説明する。以下の説明では、図２－６に示す例のように、出力機能２３が複数のトレーニングデータセットのそれぞれにタグ１、２、３をランダムに関連付けて出力する場合について説明する。

【0056】

図７は、リノイズ機能２５の学習時におけるデータフローの一例を示す説明図である。リノイズ機能２５は、出力機能２３により出力されたトレーニングデータセットを用いて、出力機能２３によりトレーニングデータセットに付されたタグの種類だけモデルの学習を行う。図７には、タグ１に対応する学習済みモデル５０１の構築のための学習時におけるデータフローの一例を示した。他のタグ２、３に対応する学習済みモデル５０２、５０３の学習方法は学習済みモデル５０１と同様であるため説明を省略する。

【0057】

リノイズ機能２５は、タグ１が付されたトレーニングデータセットを多数用いて深層学習を行うことにより、パラメータデータ５２１を逐次的に更新する。

【0058】

トレーニングデータセットは、上述の通り、学習用データ群３１を構成する学習用データとしてのＸ線画像データ３１１、３１２、３１３・・・、と、各学習用データに対応する教師データ群４１を構成し各学習用データに対応する教師データとしてのＸ線画像データ４１１、４１２、４１３、・・・、により構成される。トレーニングデータセットを構成する学習用データ（たとえばＸ線画像データ３１１）と教師データ（たとえばＸ線画像データ４１１）とは、同一条件で撮影された画像データである。

【0059】

リノイズ機能２５は、トレーニングデータセットが与えられるごとに、学習用データをニューラルネットワーク５１１で処理した結果が教師データに近づくようにパラメータデータ５２１を更新していく、いわゆる学習を行う。一般に、パラメータデータ５２１の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータ５２１を特に学習済みパラメータデータ５２１ｔという。なお、学習用データの種類と図８に示す運用時の入力データの種類は一致させるべきことに注意する。たとえば、学習用データの画像データが投影データであれば運用時の入力画像データも投影データとする。

【0060】

図８は、リノイズ機能２５の運用時におけるデータフローの一例を示す説明図である。運用時には、リノイズ機能２５は、ノイズ低減処理の対象となる医用画像データ６１を入力され、学習済みモデル５０１を用いて、入力医用画像データ６１とは異なるノイズを有する医用画像データ（以下、リノイズ画像データという）７１１を生成する。

【0061】

なお、ニューラルネットワーク５１１と学習済みパラメータデータ５２１ｔは、学習済みモデル５０１を構成する。この種の学習の方法および学習済みモデルの構築方法については、非特許文献１に開示された方法など種々の方法が知られている。ニューラルネットワーク５１１は、プログラムの形態で記憶回路１３に記憶される。学習済みパラメータデータ５２１ｔは、記憶回路１３に記憶されてもよいし、ネットワーク１００を介して処理回路１５と接続された記憶媒体に記憶されてもよい。学習済みモデル５０１（ニューラルネットワーク５１１と学習済みパラメータデータ５２１ｔ）が記憶回路１３に記憶される場合、処理回路１５のプロセッサにより実現されるリノイズ機能２５は、記憶回路１３から学習済みモデル５０１を読み出して実行することで、入力医用画像データ６１にもとづいて、入力医用画像データ６１とは異なるノイズを有するリノイズ医用画像データ７１１を生成する。

【0062】

また、タグ２、３に対応する学習済みモデル５０２、５０３も、学習済みモデル５０１と同様に生成される。

【0063】

なお、学習済みモデル５０１、５０２、５０３は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路によって構築されてもよい。

【0064】

図９は、複数のリノイズ医用画像データを生成する方法の一例を示す説明図である。上記例のように３つのタグに分類されたトレーニングデータセットが利用可能な場合、学習済みモデルも３つ生成される。各学習済みモデル５０１、５０２、５０３は、同一の入力医用画像データ６１にもとづいて、入力医用画像データ６１とは異なるノイズであって互いに異なるノイズパターンを有するリノイズ医用画像データ７１１、７１２、７１３をそれぞれ生成する。

【0065】

図１０は、ノイズ低減処理の一例を説明するための図である。

【0066】

ノイズ低減機能２６は、入力医用画像データ６１と複数のリノイズ医用画像データ７１１、７１２、７１３とから選択された２以上の医用画像データにもとづいて、入力医用画像データのノイズを低減した（デノイズされた）医用画像データ（以下、ノイズ低減医用画像データという）６１ｄｎを生成する。

【0067】

具体的には、ノイズ低減機能２６は、入力医用画像データ６１と複数のリノイズ医用画像データ７１１、７１２、７１３とから選択された２以上の医用画像データを相加平均または加重平均することにより、ノイズ低減医用画像データ６１ｄｎを生成することができる。このとき、原画像である入力医用画像データ６１を用いることで、ノイズ低減医用画像データ６１ｄｎのノイズをより低減することができる。

【0068】

また、ノイズ低減機能２６は、第１の閾値空間周波数以下のデータについては入力医用画像データ６１にリノイズ医用画像データ７１１、７１２、７１３よりも高い重みを付すととともに、第１の閾値空間周波数より高いデータまたは所定の空間周波数よりも高い第２の閾値空間周波数より高いデータについては入力医用画像データ６１よりもリノイズ医用画像データ７１１、７１２、７１３に高い重みを付して加重平均してブレンドすることによりノイズ低減医用画像データ６１ｄｎを生成してもよい。

【0069】

図１１は、複数のリノイズ医用画像データを生成する方法の他の例を示す説明図である。たとえば、同一条件に属する４つの医用画像データを１つのトレーニングデータセットとし、４つのうち１つを学習用データ、３つを教師データとすることで、１の入力画像データから３つのリノイズ医用画像データを出力する学習済みモデル５０１Ａを構築することができる（図１１参照）。

【0070】

この場合も、図９に示す例と同様、ノイズ低減機能２６は、入力医用画像データ６１と複数のリノイズ医用画像データ７１１、７１２、７１３とから選択された２以上の医用画像データにもとづいて、ノイズ低減医用画像データという６１ｄｎを生成することができる。

【0071】

図１２は、複数のリノイズ医用画像データを生成する方法のさらに他の例を示す説明図である。

【0072】

図８および図９には、学習時において学習パラメータを固定し、異なるタグ付けがされた異なるトレーニングデータセットによって学習を行う場合の例を示したが、学習時に学習パラメータを変更することでも、同一のトレーニングデータセットから複数の学習済みモデルを生成することができる。この種の学習パラメータとしては、学習レート、ドロップオフの場所、活性化関数などが挙げられる。また、図１２に示すように、過学習とならない範囲で、たとえば所定の精度以上となる複数のエポック数で学習済みモデルを構築することによっても、互いに異なるノイズパターンを有する複数のリノイズ医用画像データを生成可能な複数の学習済みモデルを得ることができる。

【0073】

なお、図８および図９を用いて説明した方法で構築した学習済みモデルと、図１１を用いて説明した方法で構築した学習済みモデルと、図１２を用いて説明した方法で構築した学習済みモデルとは、適宜組合せて用いてもよい。

【0074】

図１３は、図１に示す医用画像処理装置１０の処理回路１５のプロセッサによりリノイズ処理を含むノイズ低減処理を実行する際の手順の一例を示すフローチャートである。図１３において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

【0075】

まず、ステップＳ１１において、取得機能２４はノイズ低減処理の対象となる入力医用画像データ６１を取得する。

【0076】

次に、ステップＳ１２において、リノイズ機能２５は、学習済みモデルを用いて入力医用画像データ６１とは異なるノイズ且つ互いに異なるノイズを有する複数のリノイズ医用画像データ７１１、７１２、７１３を生成する。このとき、リノイズ機能２５は、複数の学習済みモデル５０１、５０２、５０３を用いてもよいし（図９、図１２参照）、複数のリノイズ医用画像データを出力する学習済みモデル５０１Ａを用いてもよい（図１１参照）。

【0077】

そして、ステップＳ１３において、ノイズ低減機能２６は、入力医用画像データ６１と複数のリノイズ医用画像データ７１１、７１２、７１３とにもとづいて、ノイズ低減医用画像データ６１ｄｎを生成する。

【0078】

以上の手順により、ノイズの少ないクリーン画像を用いることなく学習済みモデルを用いて画像データのノイズを低減することができる。

【0079】

図７－１３を用いて説明したノイズ低減処理は、学習済みモデルを用い、入力医用画像データ６１にもとづいて、入力医用画像データ６１とは異なるノイズ且つ互いに異なるノイズを有する複数のリノイズ医用画像データを生成する。そして、入力医用画像データ６１と複数のリノイズ医用画像データとにもとづいてノイズ低減医用画像データ６１ｄｎを生成することができる。このため、ノイズの少ないクリーン画像を用いることなく、学習済みモデルを用いて画像データのノイズを低減することができる。したがって、たとえば、ノイズ低減処理の対象となる画像データがＸ線画像データであっても、ノイズの少ないクリーン画像を得るために被検体に非常に大きな線量の被ばくを強いることによる弊害を未然に防ぐことができる。

【0080】

（第２の実施形態）
図１４は、第２の実施形態に係る医用画像処理装置または画像処理装置を含むＸ線診断装置８０の一構成例を示すブロック図である。

【0081】

Ｘ線診断装置８０は、被検体に対するＸ線撮影を行う撮影装置８１と、医用画像処理装置１０の一例としてのコンソール装置８２とを備える。この第２実施形態に示すＸ線診断装置８０は、自機で生成したＸ線画像データをノイズ低減処理の対象となる入力医用画像データ６１として利用可能な点で第１実施形態に示す医用画像処理装置１０と異なる。他の構成および作用については図１に示す医用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。また、学習済みモデル５０１、５０２、５０３、あるいは５０１Ａの生成に係る処理については図１に示す医用画像処理装置１０と同様であるため、学習時の説明は省略する。

【0082】

撮影装置８１は、たとえばＸ線ＴＶ装置の撮影系により構成され、天板に載置された被検体をＸ線撮影するためのＸ線管、Ｘ線検出器等の撮像系を有し、撮影により得た被検体のＸ線画像データをコンソール装置８２に与える。

【0083】

医用画像処理装置１０の一例としてのコンソール装置８２の処理回路１５ｘの収集機能２１ｘは、トレーニングデータ収集処理において、撮影装置８１により取得された複数のＸ線画像データから、同一条件に属する画像データ群（以下、同一画像群という）を特定する。

【0084】

処理回路１５ｘの取得機能２４ｘは、ノイズ低減処理において、撮影装置８１により取得された入力医用画像データ６１を取得する。

【0085】

第２実施形態に係るＸ線診断装置８０によっても、第１実施形態に係る医用画像処理装置１０と同様に、画像データのノイズを低減する学習済みモデルに使用するためのトレーニングデータセットとして、同一条件で撮影され且つ異なるノイズパターンの画像を容易に収集することができる。また、ノイズの少ないクリーン画像を用いることなく学習済みモデルを用いて画像データのノイズを低減することができる。

【0086】

なお、上記説明では同一条件Ａおよび同一条件Ｂの画像データを利用して学習済みモデルを構築する場合の例を示したが、１種の条件のみを用い、さらに同一部位の画像など条件を狭めて、狭めた条件専用の学習済みモデルを構築してもよい。この場合は、入力医用画像データ６１としては、学習済みモデルと同じ狭めた条件で取得されたものを用いる。

【0087】

以上説明した少なくとも１つの実施形態によれば、ノイズの少ないクリーン画像を用いることなく学習済みモデルを用いて画像データのノイズを低減することができる。また、当該学習済みモデルに使用するためのトレーニングデータセットとして同一条件で撮影され且つ異なるノイズパターンの画像を容易に収集することができる。

【0088】

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

【0089】

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

【0090】

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0091】

１０ 医用画像処理装置（画像処理装置）
２１、２１ｘ 収集機能
２２ 抽出機能
２３ 出力機能
２４、２４ｘ 取得機能
２５ リノイズ機能
２６ ノイズ低減機能
６１ 入力医用画像データ
６１ｄｎ ノイズ低減医用画像データ
５０１、５０２、５０３、５０１Ａ 学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】