知財求人 - 知財ポータルサイト「IP Force」
特開2024-128952医用画像処理方法、Ｘ線診断装置及び訓練済みモデルの生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024128952
(43)【公開日】2024-09-24
(54)【発明の名称】医用画像処理方法、Ｘ線診断装置及び訓練済みモデルの生成方法
(51)【国際特許分類】
A61B 6/00 20240101AFI20240913BHJP
A61B 6/03 20060101ALI20240913BHJP
【ＦＩ】
A61B6/00 560
A61B6/03 560T
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2024031514
(22)【出願日】2024-03-01
(31)【優先権主張番号】18/181,635
(32)【優先日】2023-03-10
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＥＲＩＬＯＧ
２．ＳＯＬＡＲＩＳ
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】イー フー
(72)【発明者】
【氏名】リー シイジエ
(72)【発明者】
【氏名】ジョン バウムガルト
(72)【発明者】
【氏名】ジョセフ マナーク
(72)【発明者】
【氏名】白石 邦夫
(72)【発明者】
【氏名】橋本 早紀
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA01
4C093AA11
4C093AA22
4C093AA26
4C093CA01
4C093CA04
4C093CA06
4C093EC16
4C093FD12
(57)【要約】
【課題】医用画像の画像品質を向上させること。
【解決手段】実施形態に係る医用画像処理方法は、第１の医用画像データを訓練済みモデルに入力し、前記訓練済みモデルから、前記第１の医用画像データよりも画像品質が高い医用画像を出力することを含み、前記訓練済みモデルは、第２の医用画像データを入力データとして、かつ第３の医用画像データおよび第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも画像品質が低い負例ラベルデータであり、かつ前記第４の画像データは前記第２の医用画像データよりも画像品質が高い正例ラベルデータである。
【選択図】図６
【解決手段】実施形態に係る医用画像処理方法は、第１の医用画像データを訓練済みモデルに入力し、前記訓練済みモデルから、前記第１の医用画像データよりも画像品質が高い医用画像を出力することを含み、前記訓練済みモデルは、第２の医用画像データを入力データとして、かつ第３の医用画像データおよび第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも画像品質が低い負例ラベルデータであり、かつ前記第４の画像データは前記第２の医用画像データよりも画像品質が高い正例ラベルデータである。
【選択図】図６
【特許請求の範囲】
【請求項1】
第１の医用画像データを訓練済みモデルに入力し、
前記訓練済みモデルから、前記第１の医用画像データよりも画像品質が高い医用画像を出力することを含み、
前記訓練済みモデルは、第２の医用画像データを入力データとして、かつ第３の医用画像データ及び第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも画像品質が低い負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも画像品質が高い正例ラベルデータである、医用画像処理方法。
前記訓練済みモデルから、前記第１の医用画像データよりも画像品質が高い医用画像を出力することを含み、
前記訓練済みモデルは、第２の医用画像データを入力データとして、かつ第３の医用画像データ及び第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも画像品質が低い負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも画像品質が高い正例ラベルデータである、医用画像処理方法。
【請求項2】
前記第３の医用画像データは、ボケを含む医用画像データである、請求項１に記載の医用画像処理方法。
【請求項3】
前記第４の医用画像データは、前記第２の医用画像データよりもノイズ及びボケが少ない医用画像データである、請求項１に記載の医用画像処理方法。
【請求項4】
前記第２の医用画像データは、ノイズ及びボケのある画像データであり、
前記第４の医用画像データは、前記第２の医用画像データよりもノイズ及びボケが少ない画像データである、請求項１に記載の医用画像処理方法。
前記第４の医用画像データは、前記第２の医用画像データよりもノイズ及びボケが少ない画像データである、請求項１に記載の医用画像処理方法。
【請求項5】
前記第４の医用画像データは高線量画像であり、前記第３の医用画像データは低線量画像である、請求項１に記載の医用画像処理方法。
【請求項6】
前記第２の医用画像データは、入力画像データの入力を受けた前記訓練済みモデルから出力されたデータであり、
前記第３の医用画像データは、前記入力画像データに基づくデータである、請求項１に記載の医用画像処理方法。
前記第３の医用画像データは、前記入力画像データに基づくデータである、請求項１に記載の医用画像処理方法。
【請求項7】
前記第３の医用画像データは、シミュレーションされたボケを前記第４の医用画像データに付加することで生成される、請求項１に記載の医用画像処理方法。
【請求項8】
前記第３の医用画像データは、シミュレーションされたボケ及びノイズを前記第４の医用画像データに付加することで生成される、請求項１に記載の医用画像処理方法。
【請求項9】
前記訓練済みモデルは、前記第２の医用画像データ及び前記第３の医用画像データに基づく損失と、前記第２の医用画像データ及び前記第４の医用画像データに基づく損失とに基づく対照損失に対して、前記第２の医用画像データ及び前記第４の医用画像データに基づく正の損失を加えた全損失に基づいて訓練される、請求項１に記載の医用画像処理方法。
【請求項10】
前記対照学習は、前記第３の医用画像データに使用される望ましくない負例画像から学習するために、負の損失関数項を使用する、請求項１に記載の医用画像処理方法。
【請求項11】
前記対照学習は、負の損失項と正の損失項とを同時に使用する、請求項１に記載の医用画像処理方法。
【請求項12】
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像をエンコーディングし、特定の特徴に対する重みを増減することを含む、請求項１０に記載の医用画像処理方法。
【請求項13】
前記エンコーディングは、投影層を通して前記画像を通過させることを含む、請求項１２に記載の医用画像処理方法。
【請求項14】
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記負例ラベルデータをディスクリミネータへの入力として使用して、対照損失の逆数に基づいて前記ディスクリミネータを訓練することを含む、請求項１に記載の医用画像処理方法。
【請求項15】
第１の医用画像データを訓練済みモデルに入力し、
前記訓練済みモデルから前記第１の医用画像データの画像品質よりも画像品質が高い医用画像を出力するように構成された処理回路を備え、
前記訓練済みモデルは、第２の医用画像データを入力として、かつ第３の医用画像データおよび第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも低い画像品質の負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも高い画像品質の正例ラベルデータである、Ｘ線診断装置。
前記訓練済みモデルから前記第１の医用画像データの画像品質よりも画像品質が高い医用画像を出力するように構成された処理回路を備え、
前記訓練済みモデルは、第２の医用画像データを入力として、かつ第３の医用画像データおよび第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも低い画像品質の負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも高い画像品質の正例ラベルデータである、Ｘ線診断装置。
【請求項16】
前記処理回路は、前記第１の医用画像データとして、画像コレクタによって取得された一連の透視画像に由来するＸ線透視画像データを受信するように更に構成される、請求項１５に記載のＸ線診断装置。
【請求項17】
前記処理回路は、前記訓練済みモデルから、所定の値を下回る重み付けをされた接続を除去し、前記訓練済みモデルの前記重み付けされた接続の精度を削減させるように更に構成される、請求項１５に記載のＸ線診断装置。
【請求項18】
前記処理回路は、複数のプロセッサおよび画像プリプロセッサを含み、
前記画像プリプロセッサは、前記第１の医用画像データを画像データの複数のパッチに分割するように構成され、
前記複数のプロセッサは、前記訓練済みモデルに基づいて、前記画像データの複数のパッチのサブセットを受信して、画像データの対応する復元済みパッチを生成するように構成される、請求項１５に記載のＸ線診断装置。
前記画像プリプロセッサは、前記第１の医用画像データを画像データの複数のパッチに分割するように構成され、
前記複数のプロセッサは、前記訓練済みモデルに基づいて、前記画像データの複数のパッチのサブセットを受信して、画像データの対応する復元済みパッチを生成するように構成される、請求項１５に記載のＸ線診断装置。
【請求項19】
第１の訓練用画像データと、前記第１の訓練用画像データよりも画像品質が低い望ましくない負例画像データである第２の訓練用画像データと、前記第１の訓練用画像データよりも画像品質が高い望ましい正例画像データである第３の訓練用画像データとを取得し、
前記第１の訓練用画像データを入力データとして、かつ前記第２の訓練用画像データ及び前記第３の訓練用画像データをラベルデータとして用いる対照学習を使用してニューラルネットワークモデルを訓練することを含み、
前記対照学習は、前記望ましくない負例画像データから学習するための、前記ニューラルネットワークモデル向けの負の損失項、および前記望ましい正例画像データから学習するための、前記ニューラルネットワークモデル向けの正の損失項を含む、訓練済みモデルの生成方法。
前記第１の訓練用画像データを入力データとして、かつ前記第２の訓練用画像データ及び前記第３の訓練用画像データをラベルデータとして用いる対照学習を使用してニューラルネットワークモデルを訓練することを含み、
前記対照学習は、前記望ましくない負例画像データから学習するための、前記ニューラルネットワークモデル向けの負の損失項、および前記望ましい正例画像データから学習するための、前記ニューラルネットワークモデル向けの正の損失項を含む、訓練済みモデルの生成方法。
【請求項20】
前記対照学習は、前記負の損失項を前記正の損失項と組み合わせて同時に使用する、請求項１９に記載の訓練済みモデルの生成方法。
【請求項21】
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像データをエンコーディングし、特定の特徴に対する重みを増減することを含む、請求項１９に記載の訓練済みモデルの生成方法。
【請求項22】
前記エンコーディングは、投影層を通して前記予測された画像を通過させることを含む、請求項２１に記載の訓練済みモデルの生成方法。
【請求項23】
前記対照学習は、正例画像データ、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像データをディスクリミネータへの入力として使用して、対照損失の逆数に基づいて前記ディスクリミネータを訓練することを含む、請求項１９に記載の訓練済みモデルの生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用画像処理方法、Ｘ線診断装置及び訓練済みモデルの生成方法に関する。
【背景技術】
【0002】
「背景技術」の説明は、本開示の背景を概略的に示すためのものである。「背景技術」に記載されている範囲の本発明者の業績、および出願時の先行技術として認められないであろう本明細書の態様を、本発明に対する先行技術とすることは、明示的にも黙示的にも認められない。
【0003】
Ｘ線や超音波を用いて収集される種々の医用画像が知られている。医用画像には種々の要因によりノイズやボケが生じる場合があるため、これらを適切に低減し、画像品質を向上させる技術が望まれている。
【0004】
深層学習は、画像品質改善の課題に首尾よく適用されてきた。しかしながら、深層学習アルゴリズムの成功にもかかわらず、それらは制御が難しく、望ましくない解を導く場合があった。具体的には、良好な画像品質を学習し、望ましくない画像特徴を排除することが特に困難である。そのため、特に、望ましくない画像特徴を排除する制御可能な深層学習アルゴリズムが必要とされている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Jinxi Xiang et al., "Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation", ArXiv, abs/2105.12924 (2021).
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像の画像品質を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0007】
実施形態に係る医用画像処理方法は、第１の医用画像データを訓練済みモデルに入力し、前記訓練済みモデルから、前記第１の医用画像データよりも画像品質が高い医用画像を出力することを含み、前記訓練済みモデルは、第２の医用画像データを入力データとして、かつ第３の医用画像データおよび第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも画像品質が低い負例ラベルデータであり、かつ前記第４の画像データは前記第２の医用画像データよりも画像品質が高い正例ラベルデータである。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、医用画像処理方法、Ｘ線診断装置及び訓練済みモデルの生成方法の実施形態について説明する。
【0010】
いくつかの図面の全体を通して、図中の同じ参照番号は、同一または対応する部品を示す。さらに、本明細書で使用される「ａ」、「ａｎ」などの用語は、特に明記しない限り、概して「１つまたは複数」の意味を有するものとする。
【0011】
（第１の実施形態）
第１の実施形態では、Ｘ線を用いて収集されるＸ線画像を処理の対象とする場合について説明する。
第１の実施形態では、Ｘ線を用いて収集されるＸ線画像を処理の対象とする場合について説明する。
【0012】
Ｘ線イメージング技法は、被検体を通り抜けるＸ線の伝播プロセスを利用し、その際、被検体によって吸収されないＸ線の光子は、被検体の陰影を形成する受信素子に到達する。結果として生じる静的画像は、通常、Ｘ線平面検出器（Flat Panel Detector：ＦＰＤ）である受信素子で取得される。取得されたＸ線画像は、２通りの方法で使用することができる。（１）未処理の２次元投影図が、診断（例えば、放射線画像、マンモグラフィなど）または外科的ガイダンス（例えば、透視検査、デジタル血管造影法など）で直接使用される場合がある。（２）異なる角度で撮像された未処理の２次元投影図が、被検体の３次元ボリューム（例えば、コンピュータ断層撮影、コーンビームコンピュータ断層撮影、トモシンセシスなど）を再構成するために使用される場合がある。
【0013】
Ｘ線画像の画像品質は、比較的短い暴露時間の間に比較的少数の光子しか受信素子に到達しないことにより限定される。Ｘ線画像の分解能は、シンチレータ、焦点および幾何学的形状によるボケによって限定され、次いで、透視検査の結果の画像品質は、ノイズおよびボケの問題により損なわれる。
【0014】
例えば、２次元Ｘ線画像（例えば、透視検査、Ｘ線画像、コーンビームＣＴ／ＣＴ投影など）の画像品質および再構成される３次元画像（例えば、コーンビームＣＴまたはＣＴボリュームなど）は、ノイズおよびボケの問題により損なわれる。本開示による投影は、２次元画像を作成するスキャンに関する。本開示による再構成は、異なる角度によるいくつかのスキャンからの３次元画像の作成に関する。
【0015】
ノイズおよびボケの例は、インターベンショナル手術（例えば、ステント、ガイドワイヤなど）で使用されるデバイスにより、Ｘ線透視検査画像を使用して可視化される場合がある。しかし、透視検査の結果の画像品質は、ノイズおよびボケにより損なわれる。深層学習ネットワークは、画像分類のそれらの能力を改善させ、かつノイズおよびボケの低減に効果をこれまでに示してきたが、依然として、訓練中に望ましくない解を生じる傾向がある。例えば、画像品質が低い画像は、訓練中に、間違って良好な品質のものと判断される可能性がある。特に、画像品質を改善するために深層学習アルゴリズムを制御することは困難である。本開示は、特に望ましくない画像外観を排除する制御可能な深層学習に関する。一実施形態では、深層学習は、対照学習を使用して、望ましくない画像外観を排除する。本開示はまた、望ましくない画像を収集またはシミュレートするデータ作成パイプラインを提供する。
【0016】
本開示による放射線は、放射線崩壊により放射された粒子（光子を含む）によって生成されるビームであるα線、β線、およびγ線のみではなく、例えば、Ｘ線、粒子線、および宇宙線などの同等またはより大きなエネルギーを有するビームを含む場合がある。
【0017】
一実施形態では、Ｘ線診断装置は、Ｃアームを有するＸ線診断装置である場合がある。図１は、Ｘ線診断装置１００の例示的構成を示すブロック図である。
【0018】
例えば、Ｘ線診断装置１００は、Ｘ線検出器やＸ線管、コリメータ、高電圧発生器、Ｃアーム回転／移動機構、テーブル上面移動機構、Ｃアーム／テーブル上面機構制御回路、コリメータ制御回路といった撮影機構を備える。Ｘ線診断装置１００は、処理回路１１０による制御の下、これら撮影機構を動作させることで被検体Ｐに対する撮影を実行する。即ち、Ｘ線診断装置１００は、Ｘ線管から被検体Ｐに対してＸ線を照射させ、被検体Ｐを透過したＸ線をＸ線検出器により検出することで、検出信号を収集する。
【0019】
また、Ｘ線診断装置１００は、画像データ生成回路や画像処理回路を備える。画像データ生成回路は、Ｘ線検出器から出力された検出信号に基づいてＸ線画像を生成し、記憶装置に記憶させる。また、画像処理回路は、生成されたＸ線画像について任意の画像処理を実行する。また、ディスプレイは、画像処理回路による画像処理後のＸ線画像や、入力回路を介してユーザから各種の指示や設定等を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。
【0020】
また、処理回路１１０は、取得機能１１１、設定機能１１２及び制御機能１１３を実行することにより、Ｘ線診断装置１００全体の動作を制御する。
【0021】
取得機能１１１は、訓練済みモデルを取得し、記憶装置に記憶させる。例えば、取得機能１１１は、ニューラルネットワークの訓練を実行することで、画像品質が高い医用画像を出力するように機能付けられた訓練済みモデルを取得する。
【0022】
例えば、取得機能１１１は、訓練データとして、第２の医用画像データと、第２の医用画像データよりも画像品質が低い望ましくない負例画像データである第３の医用画像データと、第２の医用画像データよりも画像品質が高い望ましい正例画像データである第４の医用画像データとを取得する。例えば、取得機能１１１は、Ｘ線診断装置１００により収集されたＸ線画像や、図示しないネットワークを介して他の装置から収集したＸ線画像を訓練データとして取得し、記憶回路１１１に記憶させる。また、取得機能１１１は、第２の医用画像データを入力データとして、かつ前記第３の医用画像データ及び前記第４の医用画像データをラベルデータとして用いる対照学習を使用してニューラルネットワークモデルを訓練する。ここで、対照学習は、望ましくない負例画像データから学習するためのニューラルネットワークモデル向けの負の損失項、および望ましい正例画像データから学習するためのニューラルネットワークモデル向けの正の損失項を含む。即ち、取得機能１１１は、対照学習を使用して、訓練済みモデルの生成処理（学習フェーズ）を実行することができる。学習フェーズの詳細については後述する。或いは、取得機能１１１は、訓練済みモデルを、図示しないネットワークを介して他の装置から取得してもよい。
【0023】
設定機能１１２は、Ｘ線画像の撮影条件や、画像処理の条件などを設定する。例えば、設定機能１１２は、入力回路を介してユーザから受け付けた操作に従い、各種の条件を設定する。条件の設定は、撮影部位や症例等の情報に基づき、一部又は全部が自動で行われてもよい。
【0024】
制御機能１１３は、撮影機構の動作を制御することで、被検体Ｐに対する撮影を実行する。例えば、Ｃアーム／テーブル上面機構制御回路は、制御機能１１３による制御の下、Ｃアームや、被検体Ｐが載置されるテーブル（寝台）を駆動して、撮影位置や撮影角度を制御する。また、コリメータ制御回路は、制御機能１１３による制御の下、コリメータが備える絞り羽根を駆動して、Ｘ線の照射範囲を絞り込む。また、高電圧発生器は、制御機能１１３による制御の下、Ｘ線を発生させるための高電圧をＸ線管に供給する。これにより、被検体Ｐに対するＸ線の照射が行われ、被検体Ｐを透過したＸ線をＸ線検出器により検出することで、検出信号を収集することができる。
【0025】
また、制御機能１１３は、訓練済みモデルに対して第１の医用画像データを入力し、訓練済みモデルから、第１の医用画像データよりも画像品質が高い医用画像を出力する処理を実行する。即ち、制御機能１１３は、後述する訓練済みモデルを使用した画像処理（推論フェーズ）を実行することができる。推論フェーズの詳細については後述する。
【0026】
図１に示したＸ線診断装置１００はあくまで一例であり、種々の変形が可能である。例えば、Ｘ線診断装置１００は、ＣアームによりＸ線管やＸ線検出器を保持するＣアーム型のＸ線診断装置に限定されるものではない。
【0027】
或いは、本実施形態に係るＸ線画像は、Ｘ線ＣＴ（Computed Tomography）装置により収集されてもよい。Ｘ線ＣＴ装置については、ＣＴスキャナとも記載する。
【0028】
図２は、ＣＴスキャナの実装形態の概略図である。図２は、放射線撮影ガントリ２００を側面から見て描画したものである。図２に示す通り、放射線撮影ガントリ２００は、Ｘ線管２０１、環状フレーム２０２、および多列または２次元アレイ型のＸ線検出器２０３を備える。Ｘ線管２０１およびＸ線検出器２０３は、環状フレーム２０２上の被検体ＯＢＪを挟んで対向する位置に配置される。環状フレーム２０２は、回転軸ＲＡを中心に回転可能に支持される。回転装置２０７は、環状フレーム２０２を回転させる。例えば、回転装置２０７は、環状フレーム２０２を０．４秒／回転もの高速で回転させることができる。環状フレーム２０２の回転と同時に、被検体ＯＢＪは、図示されている面の奥の方向または手前の方向に軸ＲＡに沿って移動される。
【0029】
Ｘ線コンピュータ断層撮影（ＣＴ）装置の実施形態について、添付図面を参照しながら以下に説明する。Ｘ線ＣＴ装置には、種々のタイプの装置を含むことに留意されたい。例えば、Ｘ線ＣＴ装置のタイプの１つに、検査されることになる被検体を中心にしてＸ線管およびＸ線検出器が共に回転する回転／回転型装置が知られている。また、Ｘ線ＣＴ装置のタイプの１つに、多数の検出器素子が環状または水平状に配列され、かつ検査されることになる被検体を中心にしてＸ線管のみが回転する固定／回転型装置が知られている。本実施形態は、いずれのタイプにも適用可能である。ここでは、現在の主流である回転／回転型タイプについて例示する。
【0030】
マルチスライスＸ線ＣＴ装置は、さらに、高電圧発生器２０９を備え、この高電圧発生器２０９は、Ｘ線管２０１がＸ線を生成するように、スリップリング２０８を通してＸ線管２０１に印加される管電圧を生成する。Ｘ線は、その断面エリアが円で表されている被検体ＯＢＪに向かって照射される。例えば、Ｘ線管２０１は、第１スキャン中の平均的なＸ線エネルギーが、第２スキャン中の平均的なＸ線エネルギーに比べて小さいといったＸ線エネルギーを有する。したがって、異なるＸ線エネルギーに対応する２回以上のスキャンが得られる場合がある。Ｘ線検出器２０３は、被検体ＯＢＪを通り抜けて伝播した照射Ｘ線を検出するために、被検体ＯＢＪを挟んでＸ線管２０１の反対側に配置される。Ｘ線検出器２０３は、個々の検出器素子または検出器ユニットをさらに備える。
【0031】
ＣＴ装置は、Ｘ線検出器２０３からの検出信号を処理するその他のデバイスをさらに備える。データ取得回路またはデータ取得システム（Data Acquisition System：ＤＡＳ）２０４は、チャネルごとのＸ線検出器２０３からの信号出力を電圧信号に変換し、その信号を増幅し、さらにその信号をデジタル信号へと変換する。Ｘ線検出器２０３およびＤＡＳ２０４は、１回転当たりの所定全投影数（Total number of Projections Per Rotation：ＴＰＰＲ）を処理するように構成されている。
【0032】
上述のデータは、非接触データ送信機２０５を通して、放射線撮影ガントリ２００外部のコンソール内に収容された前処理回路２０６に送信される。前処理回路２０６は、未処理データに対して感度補正などのある特定の補正を実施する。記憶装置２１２は、再構成処理直前の段で投影データとも呼ばれる、結果データを記憶する。記憶装置２１２は、再構成回路２１４、入力回路２１５、およびディスプレイ２１６と共に、データ／制御バス２１１を通して、システムコントローラ２１０に接続される。システムコントローラ２１０は、ＣＴシステムを駆動させるのに充分なレベルに電流を制限する、電流調整器２１３を制御する。
【0033】
検出器は、どの世代のＣＴスキャナシステムであっても、患者に対して回転および／または固定される。一実装形態において、上述のＣＴシステムは、第３世代幾何学システムと第４世代幾何学システムとが組み合わせられた例である場合がある。第３世代システムでは、Ｘ線管２０１とＸ線検出器２０３とは、環状フレーム２０２上に正反対に載置され、環状フレーム２０２が回転軸ＲＡを中心にして回転するときに、被検体ＯＢＪを中心にして回転する。第４世代幾何学システムでは、検出器は患者の周辺に固定して配置され、またＸ線管は患者を中心にして回転する。代替的実施形態において、放射線撮影ガントリ２００は、Ｃアームおよびスタンドによって支持されている、環状フレーム２０２上に配置された多数の検出器を有する。
【0034】
記憶装置２１２は、例えば、Ｘ線検出器２０３によるＸ線照射量を示す測定値を記憶することができる。また、記憶装置２１２は、図２に示すＸ線ＣＴ装置に含まれる回路がその機能を実現するためのプログラムを記憶する。
【0035】
再構成回路２１４は、投影データに基づく再構成処理、再構成画像に対する画像処理、表示用画像の生成処理などを実行することができる。また、再構成回路２１４は、取得機能１１１と同様、訓練済みモデルの生成処理（学習フェーズ）を実行することができる。また、再構成回路２１４は、制御機能１１３と同様、訓練済みモデルを使用した画像処理（推論フェーズ）を実行することができる。
【0036】
前処理回路２０６によって行われる投影データの再構成前処理は、例えば検出器較正、検出器非線形性、および極性効果を補正することを含む場合がある。
【0037】
再構成回路２１４は、個別論理ゲート、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）、または他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）として実装されることがあるＣＰＵ（処理回路）を備える場合がある。ＦＰＧＡまたはＣＰＬＤの実装形態は、ＶＨＤＬ、Ｖｅｒｉｌｏｇ、または任意のその他のハードウェア記述言語でコード化されてもよく、かつ、そのコードは、ＦＰＧＡまたはＣＰＬＤ内部の電子メモリに直接記憶されるか、または別個の電子メモリとして記憶されてよい。さらに、記憶装置２１２は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリのような不揮発性メモリであってもよい。記憶装置２１２は、静的または動的ＲＡＭなどの揮発性メモリとすることができ、電子メモリおよびＦＰＧＡまたはＣＰＬＤとメモリとの間の相互動作を管理するために、マイクロコントローラまたはマイクロプロセッサなどのプロセッサが設けられてもよい。
【0038】
あるいは、再構成回路２１４のＣＰＵは、本明細書に記載の機能を実施するコンピュータ可読命令のセットを含むコンピュータプログラムを実行することができ、このプログラムは、上述の非一時的電子メモリおよび／またはハードディスクドライブ、ＣＤ、ＤＶＤ、ＦＬＡＳＨドライブまたは任意のその他の既知の記憶媒体のいずれかに記憶される。さらに、このコンピュータ可読命令は、実用アプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、あるいはそれらの組み合わせとして提供されてもよく、米国のインテル社のＸｅｎｏｎプロセッサ、または米国のＡＭＤ社のＯｐｔｅｒｏｎプロセッサなどのプロセッサ、ならびに、Ｍｉｃｒｏｓｏｆｔ社のＶＩＳＴＡ、ＵＮＩＸ（登録商標）、Ｓｏｌａｒｉｓ、ＬＩＮＵＸ（登録商標）、Ａｐｐｌｅ社のＭＡＣ－ＯＳおよび当業者に既知の他のオペレーティングシステムなどのオペレーティングシステムと連動して実行される。さらに、ＣＰＵは、命令を実施するために並行して協動する複数のプロセッサとして実装されることがある。
【0039】
一実装形態において、再構成画像は、ディスプレイ２１６で表示される場合がある。ディスプレイ２１６は、ＬＣＤディスプレイ、ＣＲＴディスプレイ、プラズマディスプレイ、ＯＬＥＤ、ＬＥＤまたは当該技術分野において既知の任意の他のディスプレイとすることができる。
【0040】
記憶装置２１２は、ハードディスクドライブ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ＦＬＡＳＨドライブ、ＲＡＭ、ＲＯＭまたは当該技術分野において既知の任意のその他の電子記憶装置とすることができる。
【0041】
図３Ａおよび３Ｂは、本開示の例示的態様による、データ作成パイプラインのフロー図である。医用画像は、ボケがありノイズが多く解釈が難しい場合がある。例えば、透視検査画像は、ボケのあるエッジ、およびノイズにも起因して過度に不鮮明なテクスチャを生じやすい。従来の正の損失に基づく深層学習画像復元アルゴリズムは、望ましくない画像を正例の画像として許容することにも起因して、画像を過度に平滑化する傾向がある。即ち、従来手法で生成される訓練済みモデルでは、ノイズは除去できるとしても、ノイズ除去のトレードオフとして、ボケが残存しがちだった。これに対し、高画像品質の透視検査画像などの医用画像は、エッジが鮮明であり、かつテクスチャが正確なものである。
【0042】
データ作成段階では、望ましくない画像（負例サンプル）が、正例画像（正例サンプル）と同じく作成される。開示する実施形態の開発において、望ましくない画像の数の増加および明確な排除により、より正確に平滑化され、かつエッジがより明瞭な医用画像をもたらすと結論付けた。望ましくない画像３０８は、実際の臨床画像から選択することができるが、望ましくない画像３０４もまた、シミュレーションを通して取得することができる。
【0043】
本開示では、望ましくない画像（負例サンプル）は、エッジおよびテクスチャのうち少なくとも１つに一般的なボケのある画像であるか、および／または少なくとも１つのアーチファクトのある画像である。望ましくない画像３０４は、良好な品質の画像からボケのある画像をシミュレートすることと、任意のアーチファクトを良好な品質の画像に加えることと、ノイズを加えて画像品質を低下させることによるシミュレーションを介して得ることができる。ボケは、テクスチャを調整し、エッジを柔らかくすることによってシミュレートされる。アーチファクトは、臨床画像から抽出し、シミュレート画像に組み込むことができる。アーチファクトはまた、その他の既知のアーチファクトに基づくシミュレーションによって生成することができるか、または手作業で作成してシミュレーションに組み込むことができる。
【0044】
本開示では、望ましい画像（正例サンプル）は、エッジおよびテクスチャが外観上明確で正確な、アーチファクトおよびボケを実質的に含まない画像である。望ましい画像３０２も、シミュレーションを介して取得することができるだけではなく、実際の臨床画像３０６から選択することができる。望ましい画像を取得する一手法は、良好な品質の画像から開始して、良好な品質の画像の動きをシミュレートすることである。望ましい画像を取得する別の手法は、良好な品質の画像の異なるビューを生成することである。本開示では、画像品質は、望ましい画像と望ましくない画像とを区別するために使用される場合がある。正例サンプルは、望ましくない画像（負例サンプル）よりも、定量的測定（例えば、ノイズが少ない、ボケが少ない、分解能がより高い、アーチファクトがないなど）の観点から、画像品質がより高い望ましい画像である。
【0045】
しかし、他の基準も、訓練に使用される望ましい画像および望ましくない画像を決定するために使用することができる。
【0046】
深層学習ネットワーク３１０は、正例画像および望ましくない画像の使用可能性に応じて、シミュレート画像および臨床画像の組み合わせ、シミュレート画像のみ、または臨床画像のみを使用して訓練される。一実施形態では、深層学習ネットワーク３１０は、少なくとも１つの望ましくない画像を用いて訓練される。訓練セット内の各望ましくない（負例）画像が少なくとも１つの正例画像に対応することが好ましい。
【0047】
図３Ａに示したシミュレートされた望ましい画像（正例サンプル）と、図３Ｂに示した望ましい臨床画像（正例サンプル）とは、第４の医用画像データの一例である。第４の医用画像データは、後述する第２の医用画像データよりも画像品質が高い医用画像データであり、対照学習における正例ラベルデータとして使用される。例えば、第４の医用画像データは、第２の医用画像データよりもノイズ及びボケが少ない医用画像データである。前述の通り、第４の医用画像データは、シミュレーションにより生成されてもよいし、臨床画像であってもよい。なお、実施形態中、臨床画像とは、図１のＸ線診断装置１００や図２のＸ線ＣＴ装置等のモダリティ装置により収集された画像を意味する。臨床画像における撮像対象は被検体に限定されるものではなく、撮像用のファントムを用いてもよい。
【0048】
また、図３Ａに示したシミュレートされた望ましくない画像（負例サンプル）と、図３Ｂに示した望ましくない臨床画像（負例サンプル）とは、第３の医用画像データの一例である。第３の医用画像データは、第４の医用画像データよりも画像品質が低い医用画像データであり、対照学習における負例ラベルデータとして使用される。例えば、第３の医用画像データは、ボケを含む医用画像データである。前述の通り、第３の医用画像データは、シミュレーションにより生成されてもよいし、臨床画像であってもよい。
【0049】
図４Ａ、４Ｂ、および４Ｃは、本開示の例示的態様による、ニューラルネットワークの２次元医用画像および３次元医用画像への適用のフロー図である。なお、実施形態中、Ｘ線を利用して収集される種々の医用画像を総称して、単にＸ線画像と記載する。例えば、Ｘ線画像の例には、Ｘ線診断装置により収集された２次元Ｘ線画像や、２次元Ｘ線画像から再構成される３次元Ｘ線画像、Ｘ線ＣＴ装置により収集される投影データ、投影データから再構成されるＣＴ画像等が含まれる。
【0050】
２次元医用画像の場合の図４Ａでは、ニューラルネットワーク４０４は、投影データであるＸ線画像データ４０２に直接適用される。本開示では、Ｘ線画像は、Ｘ線管が被検体（患者）を中心として３６０°回転する際に取得されたいくつかの投影物から再構成される。ニューラルネットワーク４０４は、訓練済みモデルの一例であり、対照学習を使用して訓練される。図４Ａにおいて、Ｘ線画像データ４０２は、第１の医用画像データの一例であり、ニューラルネットワーク４０４からは、Ｘ線画像データ４０２よりも画像品質が高い医用画像が出力される。
【0051】
３次元医用画像の場合の図４Ｂでは、ニューラルネットワーク４０４は、投影データ４０２に適用され、補正済み投影データ４０６が得られ、その後、再構成４０８が行われ、補正済み３次元ボリューム４１０が得られる。図４Ｂにおいて、投影データ４０２は、第１の医用画像データの一例であり、補正済み投影データ４０６は、第１の医用画像データよりも画像品質が高い医用画像の一例である。
【0052】
３次元医用画像の別の実施形態の図４Ｃでは、ニューラルネットワーク４０４は、再構成３次元ボリューム４１２に適用され、その後、再構成４１４が行われ、補正済み３次元ボリューム４１６が得られる。本開示では、コーンビームコンピュータ断層撮影（Cone-Beam Computed Tomography：ＣＢＣＴ）は、硬組織構造物の３次元（Three-Dimensional：３Ｄ）イメージングを得るための放射線透過イメージング方法である。図４Ｃにおいて、３次元ボリューム４１２は、第１の医用画像データの一例であり、補正済み３次元ボリューム４１６は、第１の医用画像データよりも画像品質が高い医用画像の一例である。なお、ニューラルネットワーク４０４は、投影データと再構成３次元ボリュームとのいずれか一方ではなく、両方に対して適用されてもよい。
【0053】
図５は、本開示の例示的態様による、正の損失および負の損失を含む対照損失によるニューラルネットワークの訓練方法のフロー図である。望ましい画像（正例サンプル）および画像品質が低い望ましくない画像（負例サンプル）を含む訓練セットの全ての画像は、ニューラルネットワーク５０４を訓練するための入力である。各画像は、一度に１つの画像を訓練するか、訓練データのバッチ（またはミニバッチ）として訓練するための入力である場合がある。ニューラルネットワーク５０４は、ニューラルネットワークモデルの一例である。ニューラルネットワーク５０４を訓練することにより、訓練済みモデルを生成することができる。
【0054】
ニューラルネットワーク５０４は、画像復元向けに構成された任意のニューラルネットワークであってよい。この際、入力は画像であり、出力は、画像品質が改善された予測された画像５０８としてニューラルネットワークによって生成された画像である。１組の望ましい画像（正例サンプル）５０６および１組の望ましくない画像（負例サンプル）５１０が、対照損失５１６の計算の際に使用される。対照損失は、訓練中にニューラルネットワーク５０４を更新するために戻される。ニューラルネットワーク５０４は、対照学習によって訓練される。
【0055】
例えば、図５においては、ニューラルネットワーク５０４に対して入力画像５０２が入力され、予測された画像５０８が出力される。また、望ましい画像（正例サンプル）５０６と、予測された画像５０８とに基づいて、正の損失５１２を取得する。また、望ましくない画像（負例サンプル）５１０と、予測された画像５０８とに基づいて、負の損失５１４を取得する。また、正の損失５１２と負の損失５１４とに基づいて対照損失５１６を取得し、対照損失５１６に基づいて、ニューラルネットワーク５０４が更新される。即ち、図５に示すニューラルネットワーク５０４は、対照学習によって訓練される。
【0056】
例えば、対照損失項は、ニューラルネットワーク５０４の予測された出力５０８および望ましくない画像５１０に基づく負の損失項、ならびに予測された出力５０８と望ましい画像５０６との差異に基づく正の損失項を含む。即ち、対照学習は、負の損失項と正の損失項とを同時に使用する。例えば、対照学習は、第３の医用画像データに使用される望ましくない負例画像から学習するために、負の損失関数項を使用する。
【0057】
対照損失項は、入力画像５０２と予測された画像５０８との差異である項を含む場合もある。例えば、図５において、入力画像５０２を望ましくない画像（負例サンプル）５１０として使用し、入力画像５０２と予測された画像５０８とに基づいて、負の損失５１４を取得してもよい。
【0058】
図５に示す予測された画像５０８は、第２の医用画像データの一例である。また、望ましくない画像（負例サンプル）５１０は、第３の医用画像データの一例である。また、望ましい画像（正例サンプル）５０６は、第４の医用画像データの一例である。前述の通り、ニューラルネットワーク５０４は、第２の医用画像データを入力データとして、かつ第３の医用画像データ及び第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練される。
【0059】
なお、第２の医用画像データについては、第１の訓練用画像データとも記載する。また、第３の医用画像データについては、第２の訓練用画像データとも記載する。また、第４の医用画像データについては、第３の訓練用画像データとも記載する。
【0060】
前述の通り、第３の医用画像データ及び第４の医用画像データは、シミュレーションにより生成されてもよいし、臨床画像であってもよい。例えば、図５に示す望ましい画像（正例サンプル）５０６は、高線量のＸ線条件で収集された高線量画像であり、望ましくない画像（負例サンプル）５１０は、低線量のＸ線条件で収集された低線量画像であってもよい。一例を挙げると、低線量のＸ線条件で収集される透視像を望ましくない画像（負例サンプル）５１０として使用し、透視像と比較して高線量のＸ線条件で収集されるＤＡ画像（ディジタルアンギオ画像）を、望ましい画像（正例サンプル）５０６として使用することができる。
【0061】
また、前述の通り、第３の医用画像データは、第４の医用画像データよりも画像品質が低い負例ラベルデータである。例えば、第３の医用画像データは、第４の医用画像データと比較して、少なくともボケが多く含まれるように生成される。例えば、図５に示す望ましくない画像（負例サンプル）５１０は、望ましい画像（正例サンプル）５０６に対して、シミュレーションされたボケを付加することにより生成される。また、例えば、望ましくない画像（負例サンプル）５１０は、望ましい画像（正例サンプル）５０６に対して、シミュレーションされたボケ及びノイズを付加することにより生成される。
【0062】
また、十分な訓練が済んでいない段階においては、ニューラルネットワーク５０４からの出力である予測された画像５０８には、ノイズ及びボケが含まれる。予測された画像５０８と比較すると、望ましい画像（正例サンプル）５０６に含まれるノイズ及びボケは少ない。即ち、第２の医用画像データは、ノイズ及びボケのある画像データであり、第４の医用画像データは、第２の医用画像データよりもノイズ及びボケが少ない画像データであってもよい。
【0063】
また、図５に示す入力画像５０２は、入力画像データの一例である。第３の医用画像データ及び第４の医用画像データの場合と同様、入力画像データは、シミュレーションにより生成されてもよいし、臨床画像であってもよい。例えば、図５に示す望ましい画像（正例サンプル）５０６は高線量画像であり、望ましくない画像（負例サンプル）５１０及び入力画像５０２は低線量画像であってもよい。
【0064】
また、望ましくない画像（負例サンプル）５１０は、入力画像５０２に基づくデータであってもよい。例えば、望ましくない画像（負例サンプル）５１０は、入力画像５０２そのものであってもよいし、入力画像５０２の画像品質を向上又は低下させたものであってもよい。即ち、図５において、予測された画像５０８と望ましくない画像（負例サンプル）５１０とを、入力画像５０２に基づいて取得してもよい。言い換えると、第２の医用画像データは、入力画像データの入力を受けたニューラルネットワーク５０４から出力されたデータであり、第３の医用画像データは、入力画像データに基づくデータであってもよい。
【0065】
差異関数ｄ（ ）は、平均絶対誤差（Mean Absolute Error：ＭＡＥ）または二乗平均平方根誤差とも称される平均平方誤差（Mean Squared Error：ＭＳＥ）である場合がある。これらの誤差は、予測された値（ニューラルネットワークによって予測された値）と実際の値との差異を表す。一実施形態では、対照損失は、下記の式（１）により決定される。
【0066】
【数1】
【0067】
式（１）において、ｄ（ ）はＭＡＥまたＭＳＥであり、Ｙはニューラルネットワークの出力であり、Ｐは正例サンプルを指し、Ｎは負例サンプルを指し、Ｘは入力画像である。
【0068】
図６は、本開示の例示的態様による、固定の事前訓練済みエンコーダを含む対照損失方法によるニューラルネットワークの訓練方法のフロー図である。エンコーダを使用することにより、画像間の差異を強調し、対照損失の取得を効率化することができる。例えば、エンコーダは、入力された各画像の特徴を強調する画像処理を施したり、画像間で規格や統計値を揃えたりすることで、画像間の差異を明確化し、対照損失を計算しやすくする。
【0069】
エンコーダは、いくつかの層Ｌによってネットワークに完全に接続している。図６では、全損失関数６１８は、望ましい画像５０６、予測された画像５０８、および望ましくない画像５１０を対応するエンコードされた画像にエンコードする固定の事前訓練済みエンコーダ６１４を含む。正の損失６１２は、対照損失６１６に加えられ、全損失６１８が生成される。対照損失は、例えば下記の式（２）により計算される。
【0070】
【数2】
【0071】
式中Ｅは固定の事前訓練済みエンコーダであり、ｄ（ ）はＭＡＥまたＭＳＥであり、Ｙはニューラルネットワークの出力であり、Ｐは正例サンプルを指し、Ｎは負例サンプルを指し、Ｘは入力画像であり、Ｌはエンコーダ内の中間層の数を指し、かつｗｌは、中間層ごとの重みである。
【0072】
一実施形態では、１つまたは複数の望ましくない画像内の特定の特徴は、マスクを使用して強調することができる。
【0073】
一実施形態では、エンコーダ６１４は、追加の投影層および正規化層と共に構成される。投影層は、望ましい画像５０６、予測された画像５０８、および望ましくない画像５１０に由来する入力を受信することができ、それらは、低次元のベクトル空間にマップされる。即ち、実施形態に係るエンコーディングは、投影層を通して前記画像を通過させることを含んでもよい。投影層は、典型的には小型のニューラルネットワーク、例えば、１つの隠れ層を伴う多層パーセプトロン（Multi-Layer Perceptron：ＭＬＰ）であり、ベースエンコーダからの表現を、低次元の潜在的空間にマップするのに使用される。
【0074】
正規化層は、全ての特徴に対して入力を正規化する。正規化は、異なる特徴が同じスケールになるようにニューラルネットワークを訓練するために使用される。
【0075】
一実施形態では、差異は、第一項「ａ」と第二項「ｂ」を掛け合わせたものを、定数「ｔａｕ」で割ってでた値を累乗して求められる。
【0076】
対照損失６１６は、エンコーダ６１４からの結果を使用して決定される。正の損失６１２は、予測された画像５０８と望ましい画像５０６との間の差異を使用して決定される。別の実施形態では、対照損失は、以下の式（３）及び式（４）により計算される。
【0077】
【数3】
【0078】
【数4】
【0079】
式中Ｅは追加の投影層および正規化層を伴う固定の事前訓練済みエンコーダであり、ｄ（ａ，ｂ）は温度スカラーと呼ばれるτが定数である場合の点乗積相似関数であり、Ｙはニューラルネットワークの出力であり、Ｐは正例サンプルを指し、Ｎは負例サンプルを指し、Ｘは入力画像であり、Ｌはエンコーダ内の中間層の数を指し、かつｗｌは、中間層ごとの重みである。
【0080】
一実施形態では、対照損失方法は、固定の事前訓練済みエンコーダおよび対数関数を含む。一実施形態では、全損失６１８のエンコーダ６１４は、重み付けされた対数をＬ個の層のエンコーダ６１４の各中間層に適用する。対数関数は、重み付けされた値を低く保つのに役立つ。対照損失６１６は、エンコーダ６１４からの結果を使用して決定される。正の損失６１２は、予測された画像５０８と望ましい画像５０６との間の差異を使用して決定される。一実施形態では、対照損失は、以下の式（５）により計算される。
【0081】
【数5】
【0082】
式中Ｅは固定の事前訓練済みエンコーダであり、ｄ（ ）はＭＡＥまたＭＳＥであり、Ｙはニューラルネットワークの出力であり、Ｐは正例サンプルを指し、Ｎは負例サンプルを指し、Ｘは入力画像であり、Ｌはエンコーダ内の中間層の数を指し、かつｗｌは、中間層ごとの重みである。
【0083】
一実施形態では、対照損失方法は、追加の投影および正規化を伴う固定の事前訓練済みエンコーダならびに対数関数を含む。全損失６１８は、エンコーダ６１４を含む。エンコーダ６１４は、追加の投影層および正規化層と共に構成される。全損失６１８は、定数「ｔａｕ」に対する、項「ａ」と項「ｂ」を掛け合わせた指数に基づいて決定される差異を含む。対照損失６１６は、エンコーダ６１４からの結果を使用して決定される。正の損失６１２は、予測された画像５０８と望ましい画像５０６との間の差異を使用して決定される。一実施形態では、対照損失は、以下の式（６）及び式（７）により計算される。
【0084】
【数6】
【0085】
【数7】
【0086】
式中Ｅは追加の投影層および正規化層を伴う固定の事前訓練済みエンコーダであり、ｄ（ａ，ｂ）は温度スカラーと呼ばれるτが定数である場合の点乗積相似関数であり、Ｙはニューラルネットワークの出力であり、Ｐは正例サンプルを指し、Ｎは負例サンプルを指し、Ｘは入力画像であり、Ｌはエンコーダ内の中間層の数を指し、かつｗｌは、中間層ごとの重みである。
【0087】
【0088】
図７Ａにおいて、Ｘ線画像５０２ａは、図６に示した入力画像５０２の一例である。また、Ｕ－ｎｅｔ５０４ａは、図６に示したニューラルネットワーク５０４の一例である。Ｕ－ｎｅｔ５０４ａは、セマンティックセグメンテーション技術を利用した畳み込みニューラルネットワークの一種である。Ｕ－ｎｅｔ５０４ａにおいて行われる畳み込みや特徴抽出等の一連の処理については、図７Ｂに示すように、「Ｕ」字型の構造として図示することができる。なお、図７Ｂに示したＵ－ｎｅｔ５０４ａの構造や、図中の数値はあくまで一例であり、実施形態を限定するものではない。
【0089】
図７Ａにおいて、Ｘ線画像５０８ａは、Ｘ線画像５０２ａの入力を受けたＵ－ｎｅｔ５０４ａから出力されたデータであり、また、図６に示した予測された画像５０８の一例である。Ｘ線画像５０８ａは、対照学習を使用したＵ－ｎｅｔ５０４ａの訓練において、「Ａｎｃｈｏｒ」のデータとして使用される。即ち、Ｘ線画像５０８ａは、Ｌ１Ｌｏｓｓ６１２ａの計算や、エンコーダ６１４ａによるエンコーディング処理において、復元対象となる入力データ（Ｒｅｓｔｏｒｅｄ Ｉｍａｇｅ）として入力される。
【0090】
なお、図７Ａは、Ｕ－ｎｅｔ５０４ａを訓練するための一連のフローを示した図である。即ち、図７Ａは学習フェーズの図である。学習フェーズにおいて、Ｘ線画像５０２ａは、入力画像データの一例であり、Ｘ線画像５０８ａは、第２の医用画像データの一例である。
【0091】
学習フェーズと推論フェーズとは必ずしも区別されるものではないことに留意されたい。例えば、Ｕ－ｎｅｔ５０４ａについて所定の訓練を完了し、訓練済みのＵ－ｎｅｔ５０４ａの利用（推論フェーズ）が開始された後、Ｕ－ｎｅｔ５０４ａから出力されるＸ線画像５０８ａを訓練データとして、Ｕ－ｎｅｔ５０４ａを更に訓練してもよい。この場合、Ｘ線画像５０２ａは、入力画像データの一例であると同時に、第１の医用画像データの一例でもある。また、Ｘ線画像５０８ａは、第２の医用画像データであると同時に、第１の医用画像データよりも画像品質が高い医用画像の一例でもある。
【0092】
図７Ａにおいて、Ｘ線画像５０６ａは、図６に示した望ましい画像（正例サンプル）５０６の一例であり、また、第４の医用画像データの一例である。Ｘ線画像５０６ａは、対照学習を使用したＵ－ｎｅｔ５０４ａの訓練において、「Ｐｏｓｉｔｉｖｅ」のデータとして使用される。即ち、Ｘ線画像５０６ａは、Ｌ１Ｌｏｓｓ６１２ａの計算や、エンコーダ６１４ａによるエンコーディング処理において、画像品質の高い正例ラベルデータ（Ｃｌｅａｒ Ｉｍａｇｅ）として入力される。
【0093】
また、Ｘ線画像５１０ａは、図６に示した望ましくない画像（負例サンプル）５１０の一例であり、また、第３の医用画像データの一例である。Ｘ線画像５１０ａは、対照学習を使用したＵ－ｎｅｔ５０４ａの訓練において、「Ｎｅｇａｔｉｖｅ」のデータとして使用される。即ち、Ｘ線画像５１０ａは、エンコーダ６１４ａによるエンコーディング処理において、画像品質の低い負例ラベルデータ（Ｈａｚｙ Ｉｍａｇｅ）として入力される。
【0094】
図７Ａに示すＸ線画像５０２ａは、ボケやノイズを含んだ画像品質の低いデータである。例えば、Ｘ線画像５０２ａは、低線量のＸ線条件で収集された臨床画像（低線量画像）や、シミュレーションされたボケやノイズが付加された画像である。Ｘ線画像５０８ａは、Ｘ線画像５０２ａの入力を受けたＵ－ｎｅｔ５０４ａから出力されたデータであり、Ｘ線画像５０２ａと比較してボケやノイズが低減されている。
【0095】
Ｘ線画像５１０ａは、対照学習において「Ｎｅｇａｔｉｖｅ」のデータとして使用されるものであり、「Ａｎｃｈｏｒ」のデータであるＸ線画像５０８ａより画像品質が低いことが好ましい。例えば、Ｘ線画像５１０ａは、Ｘ線画像５０８ａよりもボケを多く含むデータである。一例を挙げると、Ｕ－ｎｅｔ５０４ａへの入力画像データであるＸ線画像５０２ａを、Ｘ線画像５１０ａとしてそのまま使用してもよい。別の例を挙げると、Ｘ線画像５１０ａは、Ｘ線画像５０２ａよりもノイズが少なく且つボケを多く含む画像である。Ｘ線画像５０２ａよりもノイズが少なく且つボケを多く含む画像は、例えばＸ線画像５０２ａを平滑化することにより取得することができる。訓練の途中であっても、入力画像データであるＸ線画像５０２ａに含まれるボケは、Ｕ－ｎｅｔ５０４ａによってある程度は低減される。従って、Ｘ線画像５１０ａは、Ｘ線画像５０２ａと同じか或いはより多くのボケを含んでおくことにより、Ｕ－ｎｅｔ５０４ａから出力されるＸ線画像５０８ａよりも多くのボケを含むことができる。また、「Ｐｏｓｉｔｉｖｅ」のデータとして使用されるＸ線画像５０６ａは、Ｘ線画像５０８ａより画像品質が高いことが好ましい。
【0096】
Ｘ線画像５０６ａ、Ｘ線画像５０８ａ及びＸ線画像５１０ａは、エンコーダ６１４ａに入力され、画像間の差異が強調される。即ち、エンコーダ６１４ａは、正例画像、訓練済みモデルによって予測された画像、および望ましくない負例画像をエンコーディングし、例えば特定の特徴に対する重みを増減することにより、画像間の差異を強調する。そして、エンコーディングされた各種の画像に基づいて、対照損失６１６ａが計算される。
【0097】
図７Ａでは、対照損失６１６ａを概念図で示している。即ち、図７Ａでは、「Ｐｏｓｉｔｉｖｅ」のデータとして使用されるＸ線画像５０６ａを星形の記号で示し、「Ａｎｃｈｏｒ」のデータとして使用されるＸ線画像５０８ａをひし形の記号で示し、「Ｎｅｇａｔｉｖｅ」のデータとして使用されるＸ線画像５１０ａをバツ形の記号で示している。これら記号間の距離は、最適化空間における画像間の距離を示す。例えば、画像間で特徴が似ているほど、各記号は近い位置にプロットされる。
【0098】
そして、Ｘ線画像５０８ａとＸ線画像５１０ａとの距離が大きくなり（ｐｕｓｈ）、Ｘ線画像５０８ａとＸ線画像５０６ａとの距離が小さくなる（ｐｕｌｌ）ように損失関数を最適化することで、対照損失６１６ａを取得することができる。即ち、第２の医用画像データ及び第３の医用画像データに基づく損失と、第２の医用画像データ及び第４の医用画像データに基づく損失とに基づいて、対照損失を取得することができる。なお、対照損失６１６ａを取得するための具体的な数式は任意のものを採用可能であり、本実施形態中に例示したものに限定されるものではない。
【0099】
更に、Ｘ線画像５１０ａとＸ線画像５０８ａとに基づいて、Ｌ１Ｌｏｓｓ６１２ａが計算される。Ｌ１Ｌｏｓｓ６１２ａは、「Ｐｏｓｉｔｉｖｅ」のデータと「Ａｎｃｈｏｒ」のデータとの差異を示す正の損失である。図６に示した場合と同様、Ｌ１Ｌｏｓｓ６１２ａは、対照損失６１６ａに加えられ、全損失が生成される。そして、生成した全損失に基づいて、Ｕ－ｎｅｔ５０４ａを訓練することができる。即ち、第２の医用画像データ及び第３の医用画像データに基づく損失と、第２の医用画像データ及び第４の医用画像データに基づく損失とに基づく対照損失に対して、第２の医用画像データ及び第４の医用画像データに基づく正の損失を加えた全損失に基づいて、訓練済みモデルを訓練することができる。
【0100】
図７Ａにおいては、エンコーダ６１４ａを使用して画像間の差異を強調しつつ、対照損失６１６ａが計算される。また、対照損失６１６ａは、単に「Ｐｏｓｉｔｉｖｅ」のデータに近付くのみならず、「Ｎｅｇａｔｉｖｅ」のデータからは離れるように計算される。ここで、「Ｎｅｇａｔｉｖｅ」のデータであるＸ線画像５１０ａにボケを含めておくことで、対照損失６１６ａを使用して更新されるＵ－ｎｅｔ５０４ａを、ボケを除去するように成長させることができる。即ち、第１の実施形態に係る医用画像処理方法によれば、医用画像からノイズのみならずボケを除去することが可能となり、医用画像の画像品質を向上させることができる。
【0101】
なお、Ｌ１Ｌｏｓｓ６１２ａ（正の損失）のみに基づいて訓練を行なう場合、ニューラルネットワークは、入力データを「Ｐｏｓｉｔｉｖｅ」のデータに近付けるように訓練される。このような訓練を受けたニューラルネットワークは、従来方式の学習済みモデルに相当する。従来方式の学習済みモデルは、医用画像の画像品質の向上に貢献してはいるものの、画像を過剰に平滑化する傾向があり、ボケが残存しがちである。従来方式のままボケの除去に特化させる制御も考えられるが、ディープラーニングアルゴリズムは制御が難しく、望ましくない解答に陥ることがある。
【0102】
これに対し、図７Ａにおいては、対照学習を使用することにより、例えばノイズとボケとを同時に除去するなど、望ましくない質感を適切に除去することを可能にしている。また、図７Ａにおいては、対照損失６１６ａとＬ１Ｌｏｓｓ６１２ａとに基づく全損失を生成して、Ｕ－ｎｅｔ５０４ａを更新している。即ち、正の損失のみに基づく従来方式の学習済みモデルも画像品質の向上に一定の貢献は示しているところ、図７Ａにおいては対照損失の項を追加で挿入して、望ましくない質感を適切に除去することが可能となるように従来方式の学習済みモデルを改良することができる。
【0103】
図７Ｃに、図７Ａのフローで訓練を行なったＵ－ｎｅｔ５０４ａからの出力を図示する。また、比較対象として、入力画像、従来のＤＬ処理による画像、目標画像を示す。入力画像は、Ｕ－ｎｅｔ５０４ａ乃至は従来のＤＬ処理の処理対象となる入力データであり、ノイズ及びボケを含む画像である。例えば、入力画像は、目標画像に対してノイズ及びボケを付加することで生成される。
【0104】
図７Ｃに示す通り、入力画像に対して従来のＤＬ処理を施した場合、粒状のノイズについては除去できるものの、過度に平滑化されてしまい、エッジが曖昧になってしまう。これに対し、Ｕ－ｎｅｔ５０４ａにより入力画像を処理した場合、ノイズを除去するとともにボケも抑制し、目標画像に近いシャープな結果を得ることができる。
【0105】
図８は、本開示の例示的態様による、対照損失の逆数であるディスクリミネータを含む対照損失方法によるニューラルネットワークの訓練方法のフロー図である。一実施形態では、対照損失７１６は、訓練可能なディスクリミネータ７１４に基づいて決定される。ディスクリミネータ７１４は、対照損失７１６の逆数である損失に基づいて訓練されるニューラルネットワークである。ニューラルネットワーク５０４は、正の損失と対照損失との合計に基づいて訓練される。ディスクリミネータ７１４は、ニューラルネットワーク５０４と共に訓練される。１回の繰り返しで、ディスクリミネータ７１４は、固定され、続いて、ニューラルネットワーク５０４は、調整可能であり、さらに、次の繰り返しで、ＮＮ５０４は、固定され、次いで、ディスクリミネータ７１４が訓練される。ゆえに、ディスクリミネータ７１４およびニューラルネットワーク５０４は、交互に訓練される。ディスクリミネータニューラルネットワーク７１４が訓練されると、予測された画像、望ましくない画像、および望ましい画像の中から負例サンプルの差異が強調される。負例サンプルの場合、負の損失への影響が大きくなる。即ち、実施形態に係る対照学習は、正例画像、訓練済みモデルによって予測された画像、および前記負例ラベルデータをディスクリミネータへの入力として使用して、対照損失の逆数に基づいてディスクリミネータを訓練することを含んでもよい。
【0106】
図９は、本開示の例示的態様による、深層学習に基づく画像復元のフロー図である。推論を行うために、訓練済みニューラルネットワークを使用して、入力画像８１４に基づいた予測された画像が出力される。入力画像８１４は、画像コレクタ８１２である記憶デバイスから取得されるフルサイズ画像である場合がある。予測された画像は、ディスプレイデバイス８２０に表示するために、ポストプロセッサ８１６で後処理することができる。ニューラルネットワークは、深層学習方法８０４の実施形態を使用して、望ましくない画像と正例画像とのペア８０２に基づいて訓練される。例えば、図１に示した取得機能１１１は、第１の医用画像データとして、画像コレクタ８１２によって取得された一連の透視画像に由来するＸ線透視画像データを受信してもよい。
【0107】
図１０は、本開示の例示的態様による、リアルタイム推論のためのプルーニングおよび精度削減を含む深層学習に基づく画像復元のフロー図である。推論の速度を上げるために、訓練済みニューラルネットワークは、ニューラルネットワークプルーニングコンポーネント９２２によってプルーニングされ、所定の値を下回る重み付けをされた接続などの、不必要な重み付けをされた接続が排除される。訓練済みニューラルネットワークに対して、プロセッサの制限によって、またはより単純な乗算－加算計算による処理速度の上昇によって、精度削減コンポーネント９２４による精度削減がさらに行われる。精度削減は、重み付けされた接続の小数部分の桁数を制限することによって行うことができる。
【0108】
図１１は、本開示の例示的態様による、リアルタイム推論のために複数のプロセッサで実行される深層学習に基づく画像復元のフロー図である。推論の速度をさらに上げて、多重コアを有するプロセッサを使用するために、入力画像８１４は、画像プリプロセッサによって複数の画像パッチ１０２２に分割される場合があり、画像パッチは、推論を行う異なる画像復元プロセッサ１０３２に送られ、復元された画像パッチが生成される。異なる画像復元プロセッサ１０３２は、深層学習方法の実施形態を使用して既に訓練されている深層学習ネットワーク８０４に基づいて構成することができる。深層学習ネットワーク８０４は、プルーニングコンポーネント１０２２によってプルーニングされ、かつ精度削減コンポーネント１０２４によって精度削減が行われる場合がある。異なる画像プロセッサが、並行して動作するように構成される場合がある。画像ポストプロセッサ８１６は、復元された各画像パッチを一緒につなぎ合わせて、復元された完全な画像をディスプレイデバイス８２０に出力できる。
【0109】
深層学習の開示される実施形態は、エッジがより明瞭で、テクスチャがより正確で過剰に平滑化されていない、より鮮明な画像を作成する。開示される実施形態の対照学習により、単に学習基準として良好な画質に依存することと比べて、画像品質の制御を改善することができる。対照損失関数は、負例訓練データに類似する出力データの生成を明示的に抑制する。正例訓練データと負例訓練データとのより良好な相関関係を保証するために、望ましくない画像を、臨床現場から収集するか、またはシミュレーションを使用して取得することができる。
【0110】
図１２は、本開示の例示的態様による、機械学習訓練および推論方法を実装するための例示的コンピュータシステム１１００を示すブロック図である。非限定的な例では、コンピュータシステム１１００は、例えば、Ｕｂｕｎｔｕ Ｌｉｎｕｘ（登録商標） ＯＳ、Ｗｉｎｄｏｗｓ（登録商標）、Ｕｎｉｘ ＯＳのあるバージョン、またはＭａｃ ＯＳのオペレーティングシステムを実行するＡＩワークステーションとすることができる。コンピュータシステム１１００は、多重コアを有する１つまたは複数の中央演算処理装置（Central Processing Unit：ＣＰＵ）１１５０を含む場合がある。コンピュータシステム１１００は、複数のＧＰＵ１１１２を有する。例えば、ＧＰＵ１１１２のそれぞれが、ＧＰＵメモリを有するグラフィックボードを含む。ＧＰＵ１１１２は、開示する機械学習法の数学的演算の多くを実施することができる。例えば、処理コアであるＣＰＵ１１５０と、ＧＰＵ１１１２との組み合わせにより、上述した実施形態を実行する処理回路が実現される。コンピュータシステム１１００は、典型的にはＣＰＵ１１５０およびＧＰＵ１１１２によって実行されるソフトウェアを収容するランダムアクセスメモリＲＡＭであるメインメモリ１１０２、ならびにデータおよびソフトウェアプログラムを格納する不揮発性記憶装置１１０４を含む。Ｉ／Ｏバスインタフェース１１１０、例えば、キーボード、タッチパッド、マウスなどの入力／周辺装置１１１８、ディスプレイアダプタ１１１６および１つまたは複数のディスプレイ１１０８、ならびにネットワーク９９を通して有線または無線通信を可能にするネットワークコントローラ１１０６を含む、コンピュータシステム１１００と対話するためのいくつかのインタフェースが提供されてもよい。インタフェース、メモリおよびプロセッサは、システムバス１１２６を通じて通信してもよい。コンピュータシステム１１００は電源１１２１を含み、その電源は冗長電源であってもよい。
【0111】
一実施形態では、コンピュータシステム１１００は、マルチコアＣＰＵおよびその中でＧＰＵが多重コアを有するＮＶＩＤＩＡによるグラフィックカードを含む。一実施形態では、コンピュータシステム１１００は、ＧＰＵ１１１２等の機械学習エンジンを含む場合がある。
【0112】
上述したハードウェアの説明は、本明細書に記載の機能を実施する対応する構造の非限定的な例である。
【0113】
（第２の実施形態）
医用画像の例としてＸ線画像について説明したが、Ｘ線画像以外の他の医用画像についても、上述した実施形態は適用が可能である。例えば、上述した第２の医用画像データ、第３の医用画像データ及び第４の医用画像データとして超音波画像を使用し、対照学習を使用した訓練を行なって、訓練済みモデルを生成してもよい。また、上述した第１の医用画像データとして超音波画像を訓練済みモデルに入力し、訓練済みモデルから、入力した超音波画像よりも画像品質が高い超音波画像を出力してもよい。
医用画像の例としてＸ線画像について説明したが、Ｘ線画像以外の他の医用画像についても、上述した実施形態は適用が可能である。例えば、上述した第２の医用画像データ、第３の医用画像データ及び第４の医用画像データとして超音波画像を使用し、対照学習を使用した訓練を行なって、訓練済みモデルを生成してもよい。また、上述した第１の医用画像データとして超音波画像を訓練済みモデルに入力し、訓練済みモデルから、入力した超音波画像よりも画像品質が高い超音波画像を出力してもよい。
【0114】
Ｘ線画像の場合と同様、超音波画像の種類については特に限定されるものではない。例えば、超音波画像は、Ｂモードデータであってもよいし、ドプラデータであってもよい。また、超音波画像は、２次元画像であってよいし、３次元画像であってもよい。或いは、超音波画像は、時間方向に連続的に収集された４次元画像であってもよい。Ｘ線画像及び超音波画像の他にも、画像中のノイズやボケが課題となる任意の種類の医用画像について、上述した実施形態は適用が可能である。
【0115】
上記の教示に照らし、本開示の多くの変更および変形形態が可能である。したがって、添付の特許請求の範囲の範囲内で、具体的に本明細書に記載されているのとは別の方法で、本発明が実践されてもよいことを理解されよう。
【0116】
以上説明した少なくとも１つの実施形態によれば、医用画像の画像品質を向上させることができる。
【0117】
以上の実施形態に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
（付記１）
第１の医用画像データを訓練済みモデルに入力し、
前記訓練済みモデルから、前記第１の医用画像データよりも画像品質が高い医用画像を出力することを含み、
前記訓練済みモデルは、第２の医用画像データを入力データとして、かつ第３の医用画像データ及び第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも画像品質が低い負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも画像品質が高い正例ラベルデータである、医用画像処理方法。
（付記２）
前記第３の医用画像データは、ボケを含む医用画像データであってもよい。
（付記３）
前記第４の医用画像データは、前記第２の医用画像データよりもノイズ及びボケが少ない医用画像データであってもよい。
（付記４）
前記第２の医用画像データは、ノイズ及びボケのある画像データであり、
前記第４の医用画像データは、前記第２の医用画像データよりもノイズ及びボケが少ない画像データであってもよい。
（付記５）
前記第４の医用画像データは高線量画像であり、前記第３の医用画像データは低線量画像であってもよい。
（付記６）
前記第２の医用画像データは、入力画像データの入力を受けた前記訓練済みモデルから出力されたデータであり、
前記第３の医用画像データは、前記入力画像データに基づくデータであってもよい。
（付記７）
前記第３の医用画像データは、シミュレーションされたボケを前記第４の医用画像データに付加することで生成されてもよい。
（付記８）
前記第３の医用画像データは、前記入力画像データよりもノイズが少なく且つボケを多く含む画像であってもよい。
（付記９）
前記第３の医用画像データは、シミュレーションされたボケ及びノイズを前記第４の医用画像データに付加することで生成されてもよい。
（付記１０）
前記訓練済みモデルは、前記第２の医用画像データ及び前記第３の医用画像データに基づく損失と、前記第２の医用画像データ及び前記第４の医用画像データに基づく損失とに基づく対照損失に対して、前記第２の医用画像データ及び前記第４の医用画像データに基づく正の損失を加えた全損失に基づいて訓練されてもよい。
（付記１１）
前記対照学習は、前記第３の医用画像データに使用される望ましくない負例画像から学習するために、負の損失関数項を使用してもよい。
（付記１２）
前記対照学習は、負の損失項と正の損失項とを同時に使用してもよい。
（付記１３）
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像をエンコーディングし、特定の特徴に対する重みを増減することを含んでもよい。
（付記１４）
前記エンコーディングは、投影層を通して前記画像を通過させることを含んでもよい。
（付記１５）
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記負例ラベルデータをディスクリミネータへの入力として使用して、対照損失の逆数に基づいて前記ディスクリミネータを訓練することを含んでもよい。
（付記１６）
第１の医用画像データを訓練済みモデルに入力し、
前記訓練済みモデルから前記第１の医用画像データの画像品質よりも画像品質が高い医用画像を出力するように構成された処理回路を備え、
前記訓練済みモデルは、第２の医用画像データを入力として、かつ第３の医用画像データおよび第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも低い画像品質の負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも高い画像品質の正例ラベルデータである、Ｘ線診断装置。
（付記１７）
前記処理回路は、前記第１の医用画像データとして、画像コレクタによって取得された一連の透視画像に由来するＸ線透視画像データを受信するように更に構成されてもよい。
（付記１８）
前記処理回路は、前記訓練済みニューラルネットワークから、所定の値を下回る重み付けをされた接続を除去し、前記訓練済みニューラルネットワークの前記重み付けされた接続の精度を削減させるように更に構成されてもよい。
（付記１９）
前記処理回路は、複数のプロセッサおよび画像プリプロセッサを含み、
前記画像プリプロセッサは、前記第１の医用画像データを画像データの複数のパッチに分割するように構成され、
前記複数のプロセッサは、前記訓練済みモデルに基づいて、前記画像データの複数のパッチのサブセットを受信して、画像データの対応する復元済みパッチを生成するように構成されてもよい。
（付記２０）
第１の訓練用画像データを受信し、
前記第１の訓練用画像データよりも画像品質が低い望ましくない負例画像データである第２の訓練用画像データを受信し、
前記第１の訓練用画像データよりも画像品質が高い望ましい正例画像データである第３の訓練用画像データを受信し、
前記第１の訓練用画像データを入力データとして、かつ前記第２の訓練用画像データ及び前記第３の訓練用画像データをラベルデータとして用いる対照学習を使用してニューラルネットワークモデルを訓練することを含み、
前記対照学習は、前記望ましくない負例画像データから学習するための、前記ニューラルネットワークモデル向けの負の損失項、および前記望ましい正例画像データから学習するための、前記ニューラルネットワークモデル向けの正の損失項を含む、訓練済みモデルの生成方法。
（付記２１）
前記対照学習は、前記負の損失項を前記正の損失項と組み合わせて同時に使用してもよい。
（付記２２）
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像データをエンコーディングし、特定の特徴に対する重みを増減することを含んでもよい。
（付記２３）
前記エンコーディングは、投影層を通して前記予測された画像を通過させることを含んでもよい。
（付記２４）
前記対照学習は、正例画像データ、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像データをディスクリミネータへの入力として使用して、対照損失の逆数に基づいて前記ディスクリミネータを訓練することを含んでもよい。
（付記１）
第１の医用画像データを訓練済みモデルに入力し、
前記訓練済みモデルから、前記第１の医用画像データよりも画像品質が高い医用画像を出力することを含み、
前記訓練済みモデルは、第２の医用画像データを入力データとして、かつ第３の医用画像データ及び第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも画像品質が低い負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも画像品質が高い正例ラベルデータである、医用画像処理方法。
（付記２）
前記第３の医用画像データは、ボケを含む医用画像データであってもよい。
（付記３）
前記第４の医用画像データは、前記第２の医用画像データよりもノイズ及びボケが少ない医用画像データであってもよい。
（付記４）
前記第２の医用画像データは、ノイズ及びボケのある画像データであり、
前記第４の医用画像データは、前記第２の医用画像データよりもノイズ及びボケが少ない画像データであってもよい。
（付記５）
前記第４の医用画像データは高線量画像であり、前記第３の医用画像データは低線量画像であってもよい。
（付記６）
前記第２の医用画像データは、入力画像データの入力を受けた前記訓練済みモデルから出力されたデータであり、
前記第３の医用画像データは、前記入力画像データに基づくデータであってもよい。
（付記７）
前記第３の医用画像データは、シミュレーションされたボケを前記第４の医用画像データに付加することで生成されてもよい。
（付記８）
前記第３の医用画像データは、前記入力画像データよりもノイズが少なく且つボケを多く含む画像であってもよい。
（付記９）
前記第３の医用画像データは、シミュレーションされたボケ及びノイズを前記第４の医用画像データに付加することで生成されてもよい。
（付記１０）
前記訓練済みモデルは、前記第２の医用画像データ及び前記第３の医用画像データに基づく損失と、前記第２の医用画像データ及び前記第４の医用画像データに基づく損失とに基づく対照損失に対して、前記第２の医用画像データ及び前記第４の医用画像データに基づく正の損失を加えた全損失に基づいて訓練されてもよい。
（付記１１）
前記対照学習は、前記第３の医用画像データに使用される望ましくない負例画像から学習するために、負の損失関数項を使用してもよい。
（付記１２）
前記対照学習は、負の損失項と正の損失項とを同時に使用してもよい。
（付記１３）
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像をエンコーディングし、特定の特徴に対する重みを増減することを含んでもよい。
（付記１４）
前記エンコーディングは、投影層を通して前記画像を通過させることを含んでもよい。
（付記１５）
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記負例ラベルデータをディスクリミネータへの入力として使用して、対照損失の逆数に基づいて前記ディスクリミネータを訓練することを含んでもよい。
（付記１６）
第１の医用画像データを訓練済みモデルに入力し、
前記訓練済みモデルから前記第１の医用画像データの画像品質よりも画像品質が高い医用画像を出力するように構成された処理回路を備え、
前記訓練済みモデルは、第２の医用画像データを入力として、かつ第３の医用画像データおよび第４の医用画像データをラベルデータとして用いる対照学習を使用して訓練されており、前記第３の医用画像データは、前記第４の医用画像データよりも低い画像品質の負例ラベルデータであり、かつ前記第４の医用画像データは前記第２の医用画像データよりも高い画像品質の正例ラベルデータである、Ｘ線診断装置。
（付記１７）
前記処理回路は、前記第１の医用画像データとして、画像コレクタによって取得された一連の透視画像に由来するＸ線透視画像データを受信するように更に構成されてもよい。
（付記１８）
前記処理回路は、前記訓練済みニューラルネットワークから、所定の値を下回る重み付けをされた接続を除去し、前記訓練済みニューラルネットワークの前記重み付けされた接続の精度を削減させるように更に構成されてもよい。
（付記１９）
前記処理回路は、複数のプロセッサおよび画像プリプロセッサを含み、
前記画像プリプロセッサは、前記第１の医用画像データを画像データの複数のパッチに分割するように構成され、
前記複数のプロセッサは、前記訓練済みモデルに基づいて、前記画像データの複数のパッチのサブセットを受信して、画像データの対応する復元済みパッチを生成するように構成されてもよい。
（付記２０）
第１の訓練用画像データを受信し、
前記第１の訓練用画像データよりも画像品質が低い望ましくない負例画像データである第２の訓練用画像データを受信し、
前記第１の訓練用画像データよりも画像品質が高い望ましい正例画像データである第３の訓練用画像データを受信し、
前記第１の訓練用画像データを入力データとして、かつ前記第２の訓練用画像データ及び前記第３の訓練用画像データをラベルデータとして用いる対照学習を使用してニューラルネットワークモデルを訓練することを含み、
前記対照学習は、前記望ましくない負例画像データから学習するための、前記ニューラルネットワークモデル向けの負の損失項、および前記望ましい正例画像データから学習するための、前記ニューラルネットワークモデル向けの正の損失項を含む、訓練済みモデルの生成方法。
（付記２１）
前記対照学習は、前記負の損失項を前記正の損失項と組み合わせて同時に使用してもよい。
（付記２２）
前記対照学習は、正例画像、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像データをエンコーディングし、特定の特徴に対する重みを増減することを含んでもよい。
（付記２３）
前記エンコーディングは、投影層を通して前記予測された画像を通過させることを含んでもよい。
（付記２４）
前記対照学習は、正例画像データ、前記訓練済みモデルによって予測された画像、および前記望ましくない負例画像データをディスクリミネータへの入力として使用して、対照損失の逆数に基づいて前記ディスクリミネータを訓練することを含んでもよい。
【0118】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0119】
１００：Ｘ線診断装置
１１０：処理回路
１１１：取得機能
１１２：設定機能
１１３：制御機能
２００：放射線撮影ガントリ
２１４：再構成回路
１１００：コンピュータシステム
１１５０：ＣＰＵ
１１１２：ＧＰＵ
１１０：処理回路
１１１：取得機能
１１２：設定機能
１１３：制御機能
２００：放射線撮影ガントリ
２１４：再構成回路
１１００：コンピュータシステム
１１５０：ＣＰＵ
１１１２：ＧＰＵ
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】