知財求人 - 知財ポータルサイト「IP Force」
特表2024-507767コントラスト補正機械学習システムのための訓練データ合成器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】コントラスト補正機械学習システムのための訓練データ合成器
(51)【国際特許分類】
A61B 6/03 20060101AFI20240214BHJP
A61B 5/055 20060101ALI20240214BHJP
G06T 5/60 20240101ALI20240214BHJP
A61B 6/00 20240101ALI20240214BHJP
【ＦＩ】
A61B6/03 560T
A61B5/055 380
G06T5/60
A61B6/00 560
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023548650
(86)(22)【出願日】2022-02-08
(85)【翻訳文提出日】2023-08-23
(86)【国際出願番号】 EP2022052955
(87)【国際公開番号】W WO2022171597
(87)【国際公開日】2022-08-18
(31)【優先権主張番号】21157094.0
(32)【優先日】2021-02-15
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ゴシェン リラン
【テーマコード（参考）】
4C093
4C096
5B057
【Ｆターム（参考）】
4C093CA13
4C093FA44
4C093FF41
4C096AB11
4C096AD14
4C096AD24
4C096DC35
5B057AA09
5B057BA03
5B057BA07
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE02
5B057CE03
(57)【要約】
高画質（ＩＱ）画像及び低ＩＱ画像の２つのタイプの訓練画像を含むセット（ＴＤ）に基づく訓練データ合成又は機械学習のためのシステム（ＤＳＳ）及び関連する方法。システムは、ｉ）合成高ＩＱ画像を得るために、高ＩＱ画像からのイメージ情報を前記位置合わせされた低ＩＱ画像に転移するか、又は、ｉｉ）合成低ＩＱ画像を得るために、低ＩＱ画像からのイメージ情報を前記位置合わせされた高ＩＱ画像に転移するように構成されているデータ合成器（ＤＳＹ）を備える。合成データは、ＩＱ補正のための機械学習モデルの訓練を改善するために使用される。
【特許請求の範囲】
【請求項1】
高画質画像及び低画質画像の少なくとも２つのタイプの医用訓練画像を含むセットに基づいて、機械学習のための訓練データを合成するためのシステムであって、前記システムは、データ合成器を備え、前記データ合成器は、前記少なくとも２つのタイプの医用訓練画像を位置合わせし、
ｉ）合成高画質画像を得るために、高画質画像からのイメージ情報を前記位置合わせされた低画質画像に転移するか、又は、ｉｉ）合成低画質画像を得るために、低画質画像からのイメージ情報を前記位置合わせされた高画質画像に転移し、
機械学習モデルを訓練するために前記合成高画質画像及び／又は前記合成低画質画像を提供する、システム。
【請求項2】
前記画質は、ｉ）イメージコントラストレベル、ｉｉ）イメージアーティファクトレベル、及びｉｉｉ）イメージノイズレベルのうちのいずれか１つを含む、請求項１に記載のシステム。
【請求項3】
前記高画質画像は、イメージング装置によって、前記イメージング装置の視野内に造影剤が存在する間に記録される画像であり、前記低画質画像は、より少ない量の前記造影剤又は或る造影剤が存在する間に前記イメージング装置又は或るイメージング装置によって記録される画像である、請求項２に記載のシステム。
【請求項4】
前記画質は、コントラスト又はイメージアーティファクトレベルのうちの一方であり、前記データ合成器は、さらに、ノイズ成分を除去するために、前記位置合わせされた画像をデノイズし、
前記ノイズ成分を前記合成低画質画像又は前記合成高画質画像に付加する、請求項２又は３に記載のシステム。
【請求項5】
前記合成高画質画像又は前記合成低画質画像は、拡大訓練データセットを得るために前記訓練データセットに付加される、請求項１から４のいずれか一項に記載のシステム。
【請求項6】
合成される画像の割合は、ユーザインターフェースによって調整可能である、請求項１から５のいずれか一項に記載のシステム。
【請求項7】
請求項１から６のいずれか一項の前記合成高画質画像又は前記合成低画質画像に基づいて、医用画像のイメージ補正のために対象の機械学習モデルを訓練するための訓練システム。
【請求項8】
前記対象の機械学習モデルは、合成画質画像を処理して訓練出力画像にし、前記システムは、少なくとも、前記訓練出力画像と低画質画像との間の逸脱に基づいて、前記機械学習モデルのパラメータを調整するように動作可能な訓練コントローラを備える、請求項７に記載の訓練システム。
【請求項9】
前記対象の機械学習モデルは、人工ニューラルネットワークタイプのものである、請求項７又は８に記載の訓練システム。
【請求項10】
前記セット内の前記高画質／低画質画像は、Ｘ線画像又はＭＲＩ画像である、請求項１から９のいずれか一項に記載の訓練システム。
【請求項11】
入力イメージを受信し、請求項７から１０のいずれか一項に記載の訓練システムによって訓練されている機械学習モデルに基づいて、又は、請求項１から６のいずれか一項に記載のシステムによって得られるような合成低画質画像若しくは合成高画質画像に基づいて、前記入力イメージを処理して補正イメージにするように構成されているイメージ補正システム。
【請求項12】
高画質画像及び低画質画像の少なくとも２つのタイプの医用訓練画像を含むセットに基づいて、機械学習のための訓練データを合成する方法であって、前記方法は、前記少なくとも２つのタイプの医用訓練画像を位置合わせするステップと、
ｉ）合成高画質画像を得るために、高画質画像からのイメージ情報を位置合わせされた低画質画像に転移するか、又は、ｉｉ）合成低画質画像を得るために、低画質画像からのイメージ情報を位置合わせされた高画質画像に転移するステップと
を含む、方法。
【請求項13】
前記合成高画質画像又は前記合成低画質画像に基づいて、医用画像のイメージ補正のために対象の機械学習モデルを訓練する、請求項１２に記載の方法。
【請求項14】
入力イメージを受信するステップと、請求項１３に記載の方法によって訓練されている機械学習モデルに基づいて、又は、請求項１２に記載の方法によって得られる合成低若しくは高画質画像に基づいて、前記入力イメージを処理して補正イメージにするステップとを含む、イメージ補正の方法。
【請求項15】
少なくとも１つの処理ユニットによって実行されると、前記処理ユニットに請求項１２から１４のいずれか一項に記載の方法を実施させるように適合されている、コンピュータプログラム。
【請求項16】
請求項１５に記載のコンピュータプログラムが記憶されているか、又は合成低画質画像若しくは合成高画質画像が記憶されている、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習のための訓練データを合成するためのシステム、機械学習モデルを訓練するための訓練システム、イメージ補正のためのシステム、機械学習のための訓練データを合成するための方法、機械学習モデルを訓練するための方法、イメージ補正のための方法、イメージング構成部、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。
【背景技術】
【0002】
造影薬は、ますます増大する診断及び介入臨床手技において使用されている。造影薬（「ＣＭ」、又は「造影剤」）は、例えば、ＣＴ（コンピュータ断層撮影）、血管造影、蛍光透視法、ＭＲＩ（磁気共鳴イメージング）、及び多くの他のイメージングモダリティにおける診断イメージング検査中、又は、ＰＴＣＡ（経皮経管冠動脈形成術）などのような特定の治療手技の組織視覚化を改善するために患者に血管内投与される。
【0003】
加えて、造影薬は、そのイメージング手技のための指示に応じて、経口的に及び／又は他の自然開口部を介して投与される。（例えば、ヨード）造影薬を使用する数千万例の放射線試験が、毎年実施されている。例えば、２０１０年中に全ＣＴ検査のうち、米国では４４％、インドでは３５％、日本では７４％、中国では１０～１５％が、ヨードＣＭを使用したと推定されている。
【0004】
コントラスト補正ＣＴにおいて、非イオン性要素を造影薬として使用することによって、急性アレルギー様反応が引き起こされる可能性がある。これらの反応は、蕁麻疹及び掻痒などの軽度の症状から、心肺停止などのより深刻な症状に及ぶ。
【0005】
ヨウ素に基づく薬剤の最も重篤な副作用のうちの１つは、造影薬誘発性腎症である。Ｎａｓｈ他は、「Ｈｏｓｐｉｔａｌ－ａｃｑｕｉｒｅｄ ｒｅｎａｌ ｉｎｓｕｆｆｉｃｉｅｎｃｙ」、Ａｍ． Ｊ． Ｋｉｄｎｅｙ Ｄｉｓ（全米腎臓財団の公式ジャーナル）、３９巻、９３０～９３６ページ（２００２）において、すべてのそのような事例が必ずしもＣＭ投与に関連付けられるとは限らないが、造影薬誘発性腎症が、入院患者における急性腎不全の３番目に一般的な原因であると報告している。いずれにせよ、ＣＭ投与前の血清中クレアチニンのモニタリングが、コントラスト補正ＣＴデータの取得前に通常行われる。
【0006】
したがって、副作用に関する患者の健康という観点から、造影剤の量を低減することが有益である。しかしながら、これらの健康上のリスクは認識されているものの、コントラスト補正イメージング（ＣＴにおけるものなどの）は、現代の診断イメージングにおける最も有用な日常的手技の１つである。イメージデータ取得前に、非イオン性ヨード造影薬又は他の造影薬が投与される。そのような投与の後、コントラスト補正ＣＴデータ取得が、手動で又はボーラストラッカーによってトリガされて開始される。
【0007】
結果もたらされる補正断層撮影スライスは、未補正（ネイティブ）データと比較して診断品質を大幅に改善する。未補正ＣＴデータにおいて、固形臓器は、４０～６０ＨＵの範囲内で同様の密度を有するため、異常の差別化は困難である。コントラスト補正ＣＴによれば、異なる組織の密度は１００ＨＵを上回って上昇し得る。イメージコントラストのそのような改善は、例えば、腫瘍及び病変の検出に関して観察され得る。ＣＴ血管造影又はＣＴかん流検査のような、他の診断指標についても、コントラスト補正が必要である。
【0008】
造影剤利用を低減することの前述した臨床上の利点に加えて、コストに関する造影剤利用低減の大幅な経済的利点もある。ＣＭコストは、特定の地域において高くなり得る（日本では１２０ドル／１００ｍｌ、それに対して北米では２０ドル）。その上、非イオン性及び低浸透圧性造影剤は、今日一般的に使用されており、これは特異的効果に関して患者によってより良好に許容されているが、それでもより高価である。
【0009】
患者に投与される造影剤の量が関心事であるため、自動注入器の使用、高速後押し生理食塩水、より速い回転時間、より広いカバレッジエリア、ボーラス追跡ソフトウェア並びに低ｋＶｐプロトコル及びスペクトル／従来式補正アルゴリズムの使用など、造影剤使用を低減するための、一通りの技術的成功要因が開発された。しかしながら、そのような成功要因のいくつかは、高価であり、複雑であり、間違いが発生しやすく、又は、使用が困難である。
【0010】
画像のコントラストなどの画質（「ＩＱ」）を計算的に補正し得る機械学習（「ＭＬ」）システムが存在する。本出願人のＷＯ２０２０２３４０５１「ＤＥＥＰ ＶＩＲＴＵＡＬ ＣＯＮＴＲＡＳＴ」は、そのようなＭＬシステムの一例である。ＭＬは訓練データに基づく。そのようなＭＬシステムの性能は、そのようなシステムを訓練するのに使用された訓練データの特性に依存する。
【発明の概要】
【発明が解決しようとする課題】
【0011】
機械学習モデル、特に、多数のパラメータを有する人工ニューラルネットワークなどの十分に複雑な機械学習モデルは、過剰適合をもたらす。過剰適合は、機械学習モデルが、与えられた訓練データを、新たな例に十分に一般化するのではなく、単純に「記憶」するときに発生する。過剰適合は、より多くの訓練データを提供することによって克服され得る。しかしながら、ラベル付けされた臨床訓練事例（特にイメージ内にデバイス／機器が表現されている）の十分に大きいセットを組み立てることは、まったく実現可能でないか、又は、労力を要し、高価である。
【0012】
特定の機械学習モデル、特に、いわゆる深層アーキテクチャを有する機械学習モデルの一般化が不良になる別の理由は、所与の訓練データセット内に存在する潜在的なバイアスである。例えば、Ｘ線イメージを含む訓練データは、特定の特性に対してバイアスされる。このバイアスの意図されない副次的影響として、機械学習モデルは、例えば、画質（「ＩＱ」）の補正を学習することなど、所望される事項を学習するのではなく、画像内のそれらの特性を識別するように誤って学習してしまう。したがって、訓練データのバイアスは、擬似相関のモデルによる構築に起因して、大幅な性能劣化をもたらす。
【0013】
したがって、ＩＱ補正、特にイメージコントラストの補正のための機械学習システム、特に、ＭＬシステムの性能を向上させることが必要とされる。
【課題を解決するための手段】
【0014】
本発明の目的は、独立請求項の主題によって解決され、さらなる実施形態が、従属請求項に組み込まれている。本発明の以下に記載の態様は、機械学習モデルを訓練するための訓練システム、イメージ補正のためのシステム、機械学習のための訓練データを合成する方法、機械学習モデルを訓練する方法、イメージ補正の方法、イメージング構成部、コンピュータプログラム要素、及びコンピュータ可読媒体に等しく適用されることに留意されたい。
【0015】
本発明の第１の態様によれば、好ましくは、高画質（ＩＱ）画像及び低ＩＱ画像を含む少なくとも２つのタイプの医用訓練画像を含むセットに基づいて、機械学習のための訓練データを合成するためのシステムであって、システムは、データ合成器を備え、データ合成器は、
少なくとも２つのタイプの画像を位置合わせし、
転移動作において、ｉ）合成高ＩＱ画像を得るために、高ＩＱ画像からのイメージ情報を位置合わせされた低ＩＱ画像に転移するか、又は、ｉｉ）合成低ＩＱ画像を得るために、低ＩＱ画像からのイメージ情報を位置合わせされた高ＩＱ画像に転移するように構成されている、システムが提供される。システムは、機械学習モデルを訓練するために合成高及び／又は低ＩＱ画像を提供するか、又は、当該画像にアクセス可能にする。提供すること又はアクセス可能にすることは、有線又は無線接続によって、機械学習モデルを訓練するように構成されている訓練システムに合成画像を転移することを含む。提供すること又はアクセス可能にすることは、訓練システムによってアクセス可能なデータメモリに合成画像を記憶することを含む。
少なくとも２つのタイプの画像を位置合わせし、
転移動作において、ｉ）合成高ＩＱ画像を得るために、高ＩＱ画像からのイメージ情報を位置合わせされた低ＩＱ画像に転移するか、又は、ｉｉ）合成低ＩＱ画像を得るために、低ＩＱ画像からのイメージ情報を位置合わせされた高ＩＱ画像に転移するように構成されている、システムが提供される。システムは、機械学習モデルを訓練するために合成高及び／又は低ＩＱ画像を提供するか、又は、当該画像にアクセス可能にする。提供すること又はアクセス可能にすることは、有線又は無線接続によって、機械学習モデルを訓練するように構成されている訓練システムに合成画像を転移することを含む。提供すること又はアクセス可能にすることは、訓練システムによってアクセス可能なデータメモリに合成画像を記憶することを含む。
【0016】
実施形態において、ＩＱは、ｉ）イメージコントラストレベル、ｉｉ）イメージアーティファクトレベル、及びｉｉｉ）イメージノイズレベルのうちのいずれか１つを含む。したがって、実施形態において、高ＩＱ及び低ＩＱの２つのイメージクラスは、それぞれ、高いコントラスト及び低いコントラストを有するイメージのクラスに、又は、低いアーティファクト寄与及び高いアーティファクト寄与を有するイメージ、又は、低いノイズ寄与及び高いノイズ寄与を有するイメージに関係する。高ＩＱ及び低ＩＱのそのような２つのクラスはまた、他のイメージ品質メトリックについても定義される。ＩＱは、信号雑音比、閾値化、ピクセル／ボクセル近傍における分散／標準偏差算出、他の統計量の算出、又は、イメージ（ピクセル／ボクセル）値若しくはそれらの近傍に対して動作する他の計算モデルの使用などの、客観的測定によって確立される。高ＩＱ及び低ＩＱのクラスは、代わりに又は加えて、人間の専門家（例えば、アーティファクト関連ＩＱの場合）によって定義される。概して、ＩＱは、イメージ取得又は再構成に関与する信号処理の態様又は特性に関連する。ＩＱは、目下の医療タスクに関連する。高ＩＱクラス由来のイメージ標本は、低ＩＱクラス由来の標本よりも高いＩＱを有する。ＩＱは、ローカル又はグローバルである。高ＩＱクラス由来のイメージ標本のＩＱメトリックの平均は、は、低ＩＱクラス由来のイメージ標本のＩＱメトリックよりも高い。主に本明細書において想定されているＩＱの一例としてのコントラストに関して、高コントラストイメージ（「造影イメージ」）において、当該イメージが取得されたときの撮像装置の視野内には、低コントラストイメージ（「非造影イメージ」）が取得されたときのＦＯＶ内に存在した造影薬の量／濃度よりも高い量／濃度の造影薬が存在している。
【0017】
実施形態において、イメージ情報転移動作は、イメージ値（ピクセル若しくはボクセル又はそれらのセットにおける）の閾値化に基づくか、又は、それを含む。転移動作は、閾値化を通過したイメージピクセル／ボクセルに対してのみ行われる。転移動作は、加算、線形結合又は他の算術演算などによって、イメージ値を組み合わせることを含む。転移動作は、イメージ値の置換を含む。
【0018】
実施形態において、ＩＱは、コントラスト又はアーティファクトレベルのうちの一方であり、データ合成器は、さらに、
ノイズ成分を除去するために、位置合わせされた画像をデノイズし、
ノイズ成分を合成低又は高ＩＱ画像に付加する。
ノイズ成分を除去するために、位置合わせされた画像をデノイズし、
ノイズ成分を合成低又は高ＩＱ画像に付加する。
【0019】
これらの動作は、ノイズ寄与がイメージ情報転移を損なう危険性を低減することを可能にする。
【0020】
提案されている訓練データ合成システム及び方法は、ＭＬ訓練方式の性能、したがって、訓練済みモデルの性能を向上させるためのデータ駆動正則化を提供する。所与の２ＩＱカテゴリ訓練データセット内の既存のバイアスが除去又は軽減され得る。提案されているデータ合成システム及び方法は、コントラスト補正などのＩＱ補正タスクのために機械モデルを訓練するのに特に有効であることが分かった。特にまた、提案されているシステム及び方法は、生成タイプのＭＬモデルに、特にまた、そのようなモデルが、実施形態において本明細書において想定されているような敵対的フレームワームにおいて使用されるときに有効性が高いことが分かった。特に、提案されているデータ合成システム及び方法は、必然的な対、すなわち、合成高及び低品質画像、並びに、元の訓練データセットからのその元来の低又は高ＩＱの相手方を生成する。
【0021】
したがって、提案されているデータ合成によって、実現不可能であるか、又は、非常に困難で、冗漫であり、時間がかかり、したがってコストがかかるタスクである、信頼可能な既存の対の訓練データの大規模なセットを収集する必要がなくなる。これは、２つの異なる量の造影薬を用いて、患者を一切動かすことなく患者を２回走査し得る、コントラスト補正ＭＬに特に当てはまる。
【0022】
実施形態において、合成高又は低ＩＱ画像は、拡大訓練データセットを得るために訓練データセットに付加される。具体的には、合成低ＩＱ画像は、初期／元の訓練データセット中の低ＩＱイメージの数を拡大し、合成高ＩＱ画像は、初期／元の訓練データセット中の高ＩＱイメージの数を拡大する。本明細書において得られる合成画像は、イメージング装置によって取得される取得画像ではなく、代わりに、初期訓練画像セットに基づいて「人工的に」生成され、したがって合成される。セット中の一部又はすべての画像は、取得画像（投影又はイメージドメインにある）である。
【0023】
実施形態において、合成される画像の割合は、ユーザインターフェースによって調整可能である。
【0024】
本発明の別の態様において、訓練データ合成システムによって得られる上記合成高又は低ＩＱ画像に基づいて、医用画像のイメージ補正のために対象の機械学習モデルを訓練するための訓練システムが提供される。
【0025】
実施形態において、機械学習モデルは、合成ＩＱ画像を処理して訓練出力画像にし、システムは、少なくとも、訓練出力画像と低ＩＱ画像との間の逸脱に基づいて、機械学習モデルのパラメータを調整するように動作可能な訓練コントローラを備える。
【0026】
実施形態において、対象のモデルは、人工ニューラルネットワークタイプのものである。
【0027】
実施形態において、モデルは生成タイプのものである。
【0028】
実施形態において、対象のモデルのアーキテクチャは、畳み込みタイプのものである。
【0029】
実施形態において、モデルのアーキテクチャは、マルチスケールタイプのものである。
【0030】
実施形態において、セット中の高ＩＱ／低ＩＱ画像は、Ｘ線画像又はＭＲＩ画像である。
【0031】
実施形態において、高ＩＱ／低ＩＱ画像は、コンピュータ断層撮影（ＣＴ）画像である。
【0032】
より特定的には、実施形態において、医用画像のイメージ補正のために対象の機械学習モデルを訓練するための訓練システムが提供される。このシステムは、
高画質（ＩＱ）画像及び低ＩＱ画像の少なくとも２つのタイプの訓練画像を含む訓練データセットから引き出される訓練入力イメージを受信するための入力インターフェースであって、訓練入力イメージは高ＩＱタイプのイメージである、入力インターフェースと、
第１の生成器ネットワーク及び第２の生成器ネットワークを含む機械学習モデルフレームワークであり、対象の機械学習モデルは上記第１の生成器ネットワークを含む、機械学習モデルフレームワークと、
ここで、生成ネットワークは、ＩＱが低減した訓練出力イメージを生成するために、高ＩＱタイプの訓練入力イメージを処理するためのものであり、
対象の機械学習モデルは、訓練出力イメージ及び高ＩＱタイプの訓練入力イメージに基づいて、第２の出力イメージを生成するためのものであり、第２の生成器ネットワークは、第２の出力イメージから、高ＩＱタイプの訓練入力イメージの推定値を推定するように動作可能であり、
少なくとも、高ＩＱタイプの訓練入力イメージの推定値と、高ＩＱタイプの上記訓練入力イメージとの間の逸脱に基づいて、機械学習モデルフレームワークのパラメータを調整するように動作可能である訓練コントローラと
を備える。
高画質（ＩＱ）画像及び低ＩＱ画像の少なくとも２つのタイプの訓練画像を含む訓練データセットから引き出される訓練入力イメージを受信するための入力インターフェースであって、訓練入力イメージは高ＩＱタイプのイメージである、入力インターフェースと、
第１の生成器ネットワーク及び第２の生成器ネットワークを含む機械学習モデルフレームワークであり、対象の機械学習モデルは上記第１の生成器ネットワークを含む、機械学習モデルフレームワークと、
ここで、生成ネットワークは、ＩＱが低減した訓練出力イメージを生成するために、高ＩＱタイプの訓練入力イメージを処理するためのものであり、
対象の機械学習モデルは、訓練出力イメージ及び高ＩＱタイプの訓練入力イメージに基づいて、第２の出力イメージを生成するためのものであり、第２の生成器ネットワークは、第２の出力イメージから、高ＩＱタイプの訓練入力イメージの推定値を推定するように動作可能であり、
少なくとも、高ＩＱタイプの訓練入力イメージの推定値と、高ＩＱタイプの上記訓練入力イメージとの間の逸脱に基づいて、機械学習モデルフレームワークのパラメータを調整するように動作可能である訓練コントローラと
を備える。
【0033】
この訓練システムの実施形態において、機械学習モデルフレームワークは、第１の生成器ネットワーク及び弁別器ネットワークを含む敵対的生成タイプのサブネットワークを含み、弁別器ネットワークは、弁別結果を生成するために、セットから引き出される低ＩＱタイプの訓練入力と訓練出力画像との間の弁別を試行するためのものであり、訓練コントローラは、弁別結果にさらに基づいて機械学習モデルのパラメータを調整するように動作可能である。
【0034】
上記で使用されているものとしての機械学習フレームワークは、一般に、それぞれの入力及び出力に関して少なくとも部分的に相互接続されている複数のＭＬモデル又はサブＭＬシステムを備える計算システムである。実施形態において、第１の及び／又は第２の生成器及び／又は弁別器は、人工ニューラルネットワークタイプのものである。
【0035】
またより特定的には、実施形態において、医用画像のイメージコントラスト補正のために対象の機械学習モデルを訓練するための訓練システムであって、訓練システムは、
高コントラスト画像及び低コントラスト画像の少なくとも２つのタイプの訓練画像を含む訓練データセットから引き出される訓練入力イメージを受信するための入力インターフェースであって、訓練入力イメージは高コントラストタイプのイメージである、入力インターフェースと、
第１の生成器ネットワーク及び第２の生成器ネットワークを有する敵対的生成タイプのネットワークを含む人工ニューラルネットワークモデルフレームワークであって、対象の機械学習モデルは上記第１の生成器ネットワークを含む、人工ニューラルネットワークモデルフレームワークと、
ここで、生成ネットワークは、コントラストが低減した訓練出力イメージを生成するために、高コントラストタイプの訓練入力イメージを処理するためのものであり、
弁別器が、セットから引き出される低コントラストタイプの訓練入力と訓練出力イメージとの間で弁別して、弁別結果を生成するように試行し、
対象の機械学習モデルが、訓練出力イメージ及び高コントラストタイプの訓練入力イメージに基づいて、第２の出力イメージを生成するためのものであり、第２の生成器ネットワークは、第２の出力イメージから、高コントラストタイプの訓練入力イメージの推定値を推定するように動作可能であり、
少なくとも、ｉ）弁別結果、及び、ｉｉ）高コントラストタイプの訓練入力イメージの推定値と、高コントラストタイプの上記訓練入力イメージとの間の逸脱に基づいて、人工ニューラルネットワークモデルフレームワークのパラメータを調整するように動作可能である訓練コントローラと
を備える、訓練システムが提供される。
高コントラスト画像及び低コントラスト画像の少なくとも２つのタイプの訓練画像を含む訓練データセットから引き出される訓練入力イメージを受信するための入力インターフェースであって、訓練入力イメージは高コントラストタイプのイメージである、入力インターフェースと、
第１の生成器ネットワーク及び第２の生成器ネットワークを有する敵対的生成タイプのネットワークを含む人工ニューラルネットワークモデルフレームワークであって、対象の機械学習モデルは上記第１の生成器ネットワークを含む、人工ニューラルネットワークモデルフレームワークと、
ここで、生成ネットワークは、コントラストが低減した訓練出力イメージを生成するために、高コントラストタイプの訓練入力イメージを処理するためのものであり、
弁別器が、セットから引き出される低コントラストタイプの訓練入力と訓練出力イメージとの間で弁別して、弁別結果を生成するように試行し、
対象の機械学習モデルが、訓練出力イメージ及び高コントラストタイプの訓練入力イメージに基づいて、第２の出力イメージを生成するためのものであり、第２の生成器ネットワークは、第２の出力イメージから、高コントラストタイプの訓練入力イメージの推定値を推定するように動作可能であり、
少なくとも、ｉ）弁別結果、及び、ｉｉ）高コントラストタイプの訓練入力イメージの推定値と、高コントラストタイプの上記訓練入力イメージとの間の逸脱に基づいて、人工ニューラルネットワークモデルフレームワークのパラメータを調整するように動作可能である訓練コントローラと
を備える、訓練システムが提供される。
【0036】
上記で言及した訓練システムのいずれにおいても、訓練入力イメージは、合成イメージ、特院、データ合成システムによって得られる、造影イメージなどの合成高ＩＯイメージである。そのような事例において、訓練コントローラは、少なくとも、訓練出力画像と低ＩＱ画像との間の逸脱に基づいて、機械学習モデルのパラメータを調整するように動作可能である。訓練コントローラは、パラメータを調整するために使用される目的関数に基づく。そのような実施形態において、目的関数は、それぞれの合成イメージを含むそのような必然的な対に基づく１つ又は複数の（専用の）項を含む。項は、第１の生成器出力と、入力として提供される対応する合成イメージとの間の逸脱を測定する。
【0037】
したがって、提案されている訓練方式によれば、依然として十分で有用なコントラストの画像を得るのにより少量の造影剤で十分であり、したがって、コストが節約され、患者の不快感が除かれる。従来のＣＴ走査パラメータを変化させることなく、また、例えば、良好な血管補正及び良好な臓器補正など、ＣＴ検査の臨床的許容性を損なうことなく、良好なＣＭ使用の大幅な低減を、以前（大量のＣＭが使用されたとき）と同じ臨床／放射線効果で低減することができる。提案されているシステム及び方法は、検査画像の補正によって造影剤量低減を補償する。
【0038】
加えて、提案されている方法及びシステムは、造影剤低減プロトコルに限定されない、汎用イメージ補正ツールとして使用される。
【0039】
特に、提案されている方法、及び、提案されているシステムによって訓練されている対象のモデルは、所与の画像における造影薬寄与分のみ、又は主に造影薬寄与分のコントラストを強調するように構成されており、したがって、より「典型的な」外観を有する、すなわち、人工的で不自然な見た目でない画像が生成される。造影薬を表さないイメージ部分は、大部分変化することなく再現される。訓練のための合成データとともに使用されると、この造影剤に焦点を絞った補正特性がなお改善され得る。
【0040】
加えて、方法及びシステムは、病変及び異常の顕著性を補正することによって診断を日常的に改善し、容易にし得る。
【0041】
その上、注入検査に失敗した場合、方法及びシステムは、そのような検査を救済し、繰り返し走査する必要をなくすことによって、容量低減を可能にし得る。
【0042】
上記の臨床上の利点に加えて、造影剤利用低減の大幅な経済的利点もある。特定の地域では直接コストが高くなり得（例えば、日本では１２０ドル／１００ｍｌ）、例えば入院延長、治療及び反復走査などの間接コストが非常に高くなり得る。
【0043】
本方法には、教師なし学習手法に基づくという魅力的な利点がある。この手法によって、実現不可能であるか、又は、非常に困難で、冗漫であり、時間がかかり、したがって実行するのにコストがかかる、大きい信頼可能な対の訓練データの準備の必要がなくなる。特に、非造影画像と造影画像とを対にすることは、提案されている訓練システムには必要ない。そのようなプロトコルにおいては、所与の患者は、２つの異なる量の造影薬を用いて患者を一切動かすことなく通常通り２回走査されることがないため、これは、ＣＭベースのイメージングの本目的には特に有益である。実施形態において、第１の及び／又は第２の生成器は、人工ニューラルネットワークタイプのものである。
【0044】
そのような訓練システム及び方法は、対になった訓練データを必要としない。しかしながら、本明細書において提案されているようなデータ合成器システム及び方法に従って合成された訓練データとともに使用されるとき、そのように得られた訓練データは、必然的に対になり、この対は、訓練をなおより迅速且つよりロバストにし得る。
【0045】
特定的には、コントラスト補正の文脈のように、データ合成方法及びシステムは、ｉ）コントラスト補正イメージ、及び（ｉｉ）非コントラストイメージの既存の２つのコントラストカテゴリ訓練セットからのセットを入力としてとる。データ合成の出力は、セット内の非コントラストイメージに対応する合成コントラスト補正イメージである。したがって、これは、合成コントラストイメージと、元のセットからのその非造影相手方との間の必然的な１対１の対である。その後、必然的に対になった画像は、ＭＬフレームワーク、特に、コントラストを低減する第１の生成器Ｇ１、又は、必ずしもそのようなフレームワークの一部であるとは限らない任意のそのような生成器ネットワークを訓練するために使用され得る。合成造影イメージは、訓練されるネットワークＧ１に対する訓練入力として使用され、対からの元来非造影の相手方イメージが、必然的な対象として使用される。これは、
として表記される。すなわち、ネットワークＧ１は、合成造影イメージからコントラストが低い／無いイメージを生成するように訓練される。
は、合成造影イメージであり、ＩＱ画像は、そのコントラストが低い／無い相手方である。訓練されると、ＭＬネットワークＧ１は、展開中にコントラスト補正イメージを計算するために分析経路と組み合わされる。これは、
として表記され、ここで、αはコントラスト強調係数である。Ｘは、展開中に遭遇する任意のイメージであり、ＦＯＶ内に造影剤がまったく存在しなかったとき、又は、濃度が低かったときに取得されたイメージであり得る。
は、コントラスト強調イメージである。上記は、イメージアーティファクト又はイメージノイズの低減／除去などの、他のＩＱ補正にも適用可能である。ネットワークＧ１は、必ずしも、上記で言及したマルチＭＬモデルフレームワークの一部であるとは限らず、必ずしもそうである必要はないが、好ましくは、生成タイプの独立型ＭＬモデルとして訓練される。
【数1】
【数2】
【数3】
【数4】
【0046】
さらに別の態様において、入力イメージを受信し、訓練システムによって訓練されている機械学習モデルに基づいて、又は、データ合成システムによって得られるような合成低若しくは高ＩＱ画像に基づいて、これを処理して補正イメージにするイメージ補正システムが提供される。
【0047】
補正イメージは、差分演算を使用してＶＮＣイメージ又はヨウ素マップなどの造影剤／薬マップを導出するために使用される。
【0048】
さらに別の態様において、イメージング装置及びイメージ補正システムを備えるイメージング構成部が提供される。イメージング装置は、入力イメージを供給する。
【0049】
実施形態において、イメージ補正システム又はイメージング構成部は、補正イメージを表示するためのディスプレイデバイスを備える。
【0050】
さらに別の態様において、高ＩＱ画像及び低ＩＱ画像の少なくとも２つのタイプの訓練画像を含むセットに基づいて、機械学習のための訓練データを合成する方法であって、方法は、
少なくとも２つのタイプの画像を位置合わせするステップと、
ｉ）合成高ＩＱ画像を得るために、高ＩＱ画像からのイメージ情報を位置合わせされた低ＩＱ画像に転移するか、又は、ｉｉ）合成低ＩＱ画像を得るために、低ＩＱ画像からのイメージ情報を位置合わせされた高ＩＱ画像に転移するステップと
を含む、方法が提供される。
少なくとも２つのタイプの画像を位置合わせするステップと、
ｉ）合成高ＩＱ画像を得るために、高ＩＱ画像からのイメージ情報を位置合わせされた低ＩＱ画像に転移するか、又は、ｉｉ）合成低ＩＱ画像を得るために、低ＩＱ画像からのイメージ情報を位置合わせされた高ＩＱ画像に転移するステップと
を含む、方法が提供される。
【0051】
方法は、機械学習モデルを訓練するために合成高及び／又は低ＩＱ画像を提供するステップをさらに含む。
【0052】
実施形態において、ＩＱは、コントラスト又はアーティファクトレベルのうちの一方であり、方法は、
ノイズ成分を除去するために、位置合わせされた画像をデノイズするステップと、
ノイズ成分を合成低又は高ＩＱ画像に付加するステップと
をさらに含む。
ノイズ成分を除去するために、位置合わせされた画像をデノイズするステップと、
ノイズ成分を合成低又は高ＩＱ画像に付加するステップと
をさらに含む。
【0053】
なお別の態様において、上記合成高又は低ＩＱ画像に基づいて、医用画像のイメージ補正のために対象の機械学習モデルを訓練する方法が提供される。本明細書において使用されるものとしての「デノイズ」は、ノイズ低減を含む。
【0054】
別の態様において、入力イメージを受信するステップと、訓練方法によって訓練されている機械学習モデルに基づいて、又は、訓練データを合成する方法によって得られる合成低若しくは高ＩＱ画像に基づいて、入力イメージを処理して補正イメージにするステップとを含む、イメージ補正の方法が提供される。
【0055】
別の態様において、少なくとも１つの処理ユニットによって実行されると、処理ユニットに上記で言及した方法のいずれかを実施させるように適合されているコンピュータプログラム要素が提供される。
【0056】
別の態様において、上記プログラム要素を記憶されているか又は上記合成低若しくは高ＩＱ画像を記憶されているコンピュータ可読媒体が提供される。
【0057】
概して、「機械学習構成要素又はモジュール」は、機械学習（「ＭＬ」）アルゴリズムを実施するコンピュータ化構成部である。アルゴリズムは、タスクを実施するように構成されている。ＭＬアルゴリズムは、訓練データに基づいて訓練段階においてＭＬアルゴリズムによってパラメータが調整されるＭＬモデルに基づく。ＭＬアルゴリズムにおいて、タスク性能は、概して経時的に測定可能に向上し、より多くの（新たな及び十分に変化した）訓練データが、訓練に使用される。性能は、訓練済みモデルに試験データを供給し、出力を評価するときに、客観試験によって測定される。性能は、所与の試験データに対して特定の誤差率が達成されることを要求することによって規定される。Ｔ． Ｍ． Ｍｉｔｃｈｅｌｌ「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」２ページ、１．１節、ＭｃＧｒａｗ－Ｈｉｌｌ、１９９７を参照されたい。本明細書において主に関心のあるタスクは、イメージコントラストを自動的に増大させること、又は、イメージアーティファクト／ノイズを除去／低減すること、又は、他のＩＱ（イメージ品質）メトリックを向上させることである。
【0058】
ここで、原寸に比例しない添付の図面を参照して本発明の実施形態を説明する。
【図面の簡単な説明】
【0059】
【図1】イメージング装置及びイメージ処理システムを含むイメージング構成部のブロック図である。
【図2】ＩＱエンハンサを実装するために使用され得る機械学習構成要素を訓練するための訓練システムの動作原理の流れ図である。
【図3】２つの生成器ネットワーク及び弁別器ネットワークを含む訓練システムのブロック図である。
【図6】畳み込みタイプの人工ニューラルネットワークモデルを示す図である。
【図7】ＩＱ補正のためのコンピュータ実施方法の流れ図である。
【図8】機械学習モデルを訓練するコンピュータ実施方法の流れ図である。
【図9】機械学習を改善するための訓練データ合成のコンピュータ実施方法の流れ図である。
【発明を実施するための形態】
【0060】
図１を参照すると、コンピュータ化イメージング構成部ＡＲが示されている。構成部ＡＲは、実施形態において、イメージング装置ＩＡと、イメージ補正プロセッサＩＰを含むイメージ補正のためのシステムＳＩＥとを備える。非常に簡潔にまとめると、イメージ補正プロセッサＩＰは、イメージング装置ＩＡによって得られる画像のイメージ品質を補正するために使用される。補正される画像は、イメージング装置ＩＡによって直接的に供給されるか、又は、イメージ記憶装置から取り出される。イメージ補正は、イメージコントラストの増大、又は、イメージアーティファクト及び／若しくはノイズの低減若しくは除去を含む。イメージコントラストは、例えば、コントラスト対ノイズ比（ＣＮＲ）によって測定及び定量化され得る。ＣＮＲがより高いことが好ましい。特に、ＣＭによって与えられるコントラストが増大され得る。イメージ補正プロセッサＩＰは、いくつかの実施形態においては、機械学習モデルＴＭによって実装される。訓練データに基づいて（対象の）モデルＭを含む複数のそのようなＭＬモデルを訓練し得る訓練システムＴＳが提供される。そのように訓練されたモデルＴＭは、その後、イメージ補正プロセッサＩＰによって、補正画像を計算するために使用され得る。トレーニングシステムＴＳは、データ合成器システムＤＳＳのデータ合成器モジュールＤＳＹの動作によって元の訓練データセットＴＤの品質を改善することによって改善され得る。データ合成器モジュールＤＳは、既存の訓練データセットＴＤを拡大するように動作する。その後、訓練システムＴＳは、この拡大セットを使用して、モデルＴＭを、訓練済みモデルの性能をそのように改善するように訓練する。訓練システムＴＳ及びデータ合成器ＤＳＹに関するさらなる詳細を提供する前に、まずイメージング構成部の構成要素を説明する。
【0061】
イメージング装置ＩＡ（本明細書においては単純に「撮像装置」として参照されることがある）は、好ましくは、本明細書においては、医用目的に想定され、患者ＰＡＴの１つ又は複数のイメージを取得するように動作可能である。広範には、イメージング装置は、質問信号ＸＢを生成するための信号源ＳＳを備える。質問信号ＸＢは、患者ＰＡＴ内の組織と相互作用し、それによって変調される。その後、変調信号は、検出ユニットＤＴによって検出される。強度値などの検出された信号は、検出器生データ又は投影画像を形成する。投影画像は、それだけで関心の対象であるが、時として、投影画像は、再構成モジュールＲＥＣＯＮによってさらに処理されて、再構成画像Ｘが生成される。
【0062】
本明細書において想定されている撮像装置ＩＡは、構造的又は機能的イメージングのために構成される。透過イメージング及び放射イメージング、又は超音波（ＵＳ）イメージングなどの他のイメージングなどの様々なイメージングモダリティが、本明細書において想定されている。例えば、Ｘ線ベースのイメージングなどの透過イメージングにおいて、信号源ＳＳはＸ線管であり、質問信号は、Ｘ線管ＳＳによって生成されるＸ線ビームＸＢである。この実施形態において、変調Ｘ線ビームが、検出ユニットＤＴのＸ線感受性画素に衝突する。Ｘ線感受性検出器ＤＴは、衝突する放射線を強度値の分布として記録する。記録された強度値が、投影画像πを形成する。Ｘ線投影イメージπは、Ｘ線検査においてなど、それだけで有用であることもあるが、その後、再構成モジュールＲＥＣＯＮによって、ＣＴイメージングにおいて断面イメージに変換される。特定的には、再構成モジュールＲＥＣＯＮは、フィルタ逆投影又は他のアルゴリズムなどの再構成アルゴリズムを、投影画像に適用する。断面イメージは、３Ｄ空間内の２Ｄイメージを形成する。ＣＴにおいては、複数のそのような断面イメージが、３Ｄイメージボリュームを得るために、複数の異なる投影イメージセットから再構成される。
【0063】
ＭＲＩにおいては、検出ユニットは、投影画像を表す無線周波数信号をピックアップすることが可能であるコイルから形成され、当該無線周波数信号から、ＭＲＩ再構成アルゴリズムによって、断面イメージが再構成される。
【0064】
ＣＴ又は放射線撮影におけるＸ線画像は、患者の解剖学的構造の構造詳細を表す。ＰＥＴ又はＳＰＥＣＴなどの放射イメージングにおいては、信号源ＳＳは以前に投与されている放射性トレーサ物質の形態で、患者の内部に存在する。その後、トレーサ物質によって引き起こされる核事象が、患者の周囲に配置されたＰＥＴ／ＳＰＥＣＴ検出器ＤＴにおいて投影イメージとして記録される。その後、ＰＥＴ／ＳＰＥＣＴ再構成アルゴリズムが、代謝過程などの患者内部の過程の機能的詳細を表す再構成ＰＥＴ／ＳＰＥＣＴ画像を得るために適用される。
【0065】
イメージング装置ＩＡは、オペレータによってオペレータコンソールＣＣから制御される。オペレータは、複数のイメージングパラメータＩｐを設定し得る。イメージングパラメータは、取得パラメータ、及び／又は、適用可能な場合は再構成パラメータを含む。取得パラメータとは、Ｘ線管設定（アンペア数又は電圧）などのようなイメージング動作を制御するイメージング装置の設定を指す。他方、再構成パラメータは、再構成アルゴリズムの動作に関連するパラメータに関連する。再構成パラメータは必ずしも、オペレータコンソールにおいて設定されるとは限らず、後の段階において、ワークステーション又は他のコンピュータにおいて設定されてもよい。Ｘ線イメージングにおいては、取得パラメータは、走査タイプ、身体部分、例えばｍＡ、ｍＡｓ、ｋＶｐ、回転時間、コリメーション設定、ピッチなどのようなＸＲ源（管）ＸＲ設定のうちのいずれか１つ又は複数を含む。「走査タイプ」は、らせん状若しくは軸方向であり得、及び／又は、胸部、肺、肺塞栓、心臓などのような、イメージングされる関心領域（ＲＯＩ）を指定する。「ピッチ」は、マルチスライススパイラルＣＴにおけるパラメータであり、テーブル増分と検出器コリメーションとの比として定義される。
【0066】
ＣＴ若しくはＭＲ又は放射イメージング（ＰＥＴ／ＳＰＥＣＴ）などにおいて再構成モジュールＲＥＣＯＮによる再構成動作が要求される場合、これは、再構成アルゴリズムを調整するために再構成パラメータを指定することを必要とする。ＣＴ再構成において想定される適切な再構成パラメータは、再構成フィルタ、再構成アルゴリズム（例えば、ＦＢＰ、ｉＤｏｓｅ又はＩＭＲ）、スライス厚、スライス増分、イメージサイズ（ピクセル又はボクセル単位、ｍ×ｎ）及び視野などのうちのいずれか１つ又は複数を含む。
【0067】
取得パラメータは、その後イメージ値に変換されるイメージ信号を取得するためにイメージング装置がどのように動作すべきかを指定する。再構成パラメータは、イメージ値が、１つのドメイン（例えば、投影ドメイン）から、例えばイメージドメインなどの異なるドメインの他のイメージ値にどのように変換されるかを記述する。したがって、イメージングパラメータ及び／又は再構成パラメータの両方のパラメータが、イメージ値又は画像内のその分布に影響を及ぼしている。
【0068】
特定的に述べられていなければ、以下において、再構成イメージ又は投影イメージの間で区別は行われておらず、両方を単純にイメージ補正プロセッサＩＰによって処理される入力イメージ又は「画像」Ｘとして参照する。言い換えれば、イメージ補正プロセッサＩＰは、そこで、投影ドメインからの画像に対して動作するように構成され、又は、イメージングドメインにおいて再構成される画像に対して作用する。
【0069】
装置ＩＡによって生成されるか、又は、記憶装置ＩＲＰによって取り出される入力画像Ｘが、例えば有線又はワイヤレス通信手段を通じて、イメージングプロセッサにおいて、そのインターフェースＩＮ’において受信される。画像Ｘは、イメージング装置から直接的に受信されるか、又は、取得後に画像が記憶されるイメージングリポジトリＩＲＰから取り出される。
【0070】
一部のイメージングプロトコルは、それ自体では十分に放射線吸収性でない臓器又は組織に関して、画像コントラストをより高いＣＮＲに強調するために、造影剤／薬を患者に投与することを必要とする。造影剤／薬は、ＣＴ又は他のＸ線ベースのイメージングモダリティによって使用されるが、例えば、ＭＲＩにおいても使用される。イメージング前又はその最中、一定量の液体造影薬（ヨウ素ベースのものなど）が、患者に投与され、十分な濃度でＲＯＩに蓄積することを可能にされ、その後、そのＲＯＩに関する又はそのＲＯＩの「造影」高コントラスト画像を取得するためのイメージングが開始又は継続する。
【0071】
ほとんどのイメージングモダリティにおいて、技術的、物理的又は他の理由から、取得又は処理される画像は、イメージアーティファクトを課される。イメージアーティファクトは、イメージングされる物体内の実際の構造的又は機能的特性を表さないイメージ構造であり、すなわち、画像内の表現は、いくらか歪められ、又は他の様態で不満足なものになっている。Ｘ線イメージングにおいて、そのような画像アーティファクトは、投影画像又は再構成画像内に存在する。イメージアーティファクトは、縞などのビーム硬化アーティファクト、カッピングアーティファクト、リングアーティファクト、部分ボリュームアーティファクト、不完全投影、光子不足、患者運動、らせん及び円錐ビームアーティファクトなどのうちのいずれか１つ又は複数を含む。ＭＲＩなどの他のイメージングモダリティは、化学シフト、ラップアラウンド、ギブズアーティファクト、金属アーティファクト、又はＲＦベースのアーティファクト、磁場不均一性などのような、他のアーティファクトを引き起こす。
【0072】
ノイズに関するＩＱは、例えば、使用されるＸ放射線のエネルギー、又は、検出器ハードウェアの不完全性に影響されることが多い。検出器ハードウェアによって導入されるノイズの量を規定するために、検出量子効率（ＤＱＥ）が使用される。再構成アルゴリズムなどのいくつかのイメージ処理アルゴリズムも、それ自体でノイズを導入する。
【0073】
イメージプロセッサＩＰは、アーティファクト若しくはノイズが低減されているか、又は、コントラストが増大しているなどの、補正画像を生成することが可能である。例えば、イメージプロセッサＩＰの入力ポートＩＮ’において受信されるものとしての、アーティファクトが乗っている可能性がある入力画像Ｘは、処理されて出力画像Ｘ’になり、出力ポートＯＵＴ’において出力される。イメージプロセッサによる動作は、アーティファクトが低減されるか又は完全に除去されるようにする。加えて、又は代わりに、造影剤がまったく存在しないか又はほとんど存在しない状態で取得される低コントラストイメージＸは、イメージ補正プロセッサＩＰによって処理されて、よりコントラストの高いイメージＸ’にされる。
【0074】
出力画像Ｘ’は、適切な濃淡値又は色パレットにマッピングされ、その後、視覚化モジュール（図示せず）によってディスプレイデバイスＤＤ上に視覚化される。
【0075】
したがって、イメージ補正プロセッサＩＰは、診断医が補正画像Ｘ’を使用することによって入力画像Ｘを適切に解釈するのを補助する。イメージプロセッサＩＰは、汎用コンピューティングユニット上で作動する。コンピューティングユニットＰＵは、イメージング装置又はイメージングリポジトリＩＲＰに通信可能に結合される。他の実施形態において、イメージプロセッサＩＰは、イメージング装置ＩＡに集積される。イメージングプロセッサＩＰは、ハードウェア若しくはソフトウェア、又はそれらの組合せの中に配置される。ハードウェア実施態様は、マイクロプロセッサ若しくはマイクロコントローラ、ＦＧＰＡ又は他の汎用回路要素などの適切にプログラムされた回路を含む。ＡＳＩＣ又はオンチップシステムなどのようなハードコード回路も、本明細書において想定されている。ＧＰＵ（グラフィックスプロセッシングユニット）などの専用プロセッサも使用される。
【0076】
ここで、処理される画像の性質をより詳細に参照すると、これは、複数の数字を含む１Ｄ、２Ｄ若しくは３Ｄ又はさらにはより高次元（例えば、イメージの時系列）のデータ構造として概念化され得る。イメージングの基礎となるコントラスト付与メカニズムに応じて、これらの数字は、イメージングされる物理量又は現象の強度値を表す。数字は、本明細書においてはイメージ値として参照される。上記で参照したデータ構造は、１つ又は複数のｎ次元行列、又は「テンソル」を含む（ｎ＞３）。ｎの適切な値は１、２、３、４又はｎ＞４である。イメージは、グレースケール又はカラーである。カラー画像は、ＲＧＢ方式又は別の適切な符号化方式で符号化される。
【0077】
イメージ値は、空間的に２次元の構造を表すための行及び列ｉ、ｊにおいて表される。空間的に３次元のイメージ値は、及び列ｉ、ｊ並びに深さ構成要素ｋとして表される。
【0078】
実施形態において、イメージは、行及び列ｉ、ｊを有する２Ｄ構造において表されるが、実際には、イメージは、ＣＴ ３Ｄボリュームのスライス画像などの３次元ボリュームの断面又は部分空間を形成する。同様に、ＭＲＩボリュームも、３Ｄにおける断面である２Ｄスライス画像を含む。経時的に取得される２Ｄ又は３Ｄ画像が、それぞれ、取得時間を表す第３の構成要素又は第４の構成要素とともに、３Ｄ又は４Ｄイメージデータとして表される。
【0079】
画像は２Ｄ構造を表すが、時として、ＲＧＢにおいて符号化されるカラーイメージなどにおいて、より高次元の表現が依然として使用される。ＲＧＢイメージは、患者内の構造又は機能に対応する２つの空間次元ｉ、ｊを有する３次元画像として表され、一方、もう１つの構成要素は、それぞれ、任意の所与のイメージロケーションｉ、ｊの赤色、緑色及び青色イメージ値を表す。言い換えれば、２Ｄカラー画像は、各々がそれぞれ所与のイメージロケーションの赤色、緑色及び青色イメージ値を表す３つの別個の２Ｄイメージの重ね合わせによって形成される３Ｄボリュームとして表される。
【0080】
したがって、経時的に取得される空間的に３Ｄのカラー画像は、このように、７次元テンソル、すなわち、３つの空間次元、色値の３つの次元、及び時間の１つの次元として表される。濃淡値イメージは、追加の深さ構成要素なしに表される。
【0081】
イメージデータに関連して、本明細書において使用されるものとしての「サイズ」は、行列又はテンソル内のデータ値（数字）エントリの数を指す。「次元」は、空間構成部の数を指す。例えば、ピクセル５０ｘ５０を有する行列（例えば、画像）は、イメージ４０ｘ４０又は５０ｘ４０よりも大きいサイズを有する。両方が同じ次元を有する。３チャネルイメージ５０ｘ５０ｘ３は、５０ｘ５０の２Ｄイメージよりも大きい次元（３Ｄ）を有する。３Ｄイメージはデータ点もより多くなるため、サイズもより大きい。
【0082】
ここで、コンピュータ化イメージングプロセッサＩＰをより詳細に参照すると、これは、実施形態において、事前訓練済み機械学習構成要素又はモジュールＭＬＣを含む。事前訓練済み機械学習構成要素ＭＬＣは、事前訓練済み機械学習モデルＭを含む。人工ニューラルネットワークなどのような機械学習モデルＴＭは、下記により十分に説明するコンピュータ化訓練システムＴＳによって以前に訓練されている。訓練は、訓練データＴＤのセット（「コーパス」）に基づく。
【0083】
訓練データＴＤは、特に、履歴画像を含む。実施形態において、訓練データは、以前の患者から収集されている履歴Ｘ線、ＭＲＩ、ＵＶ、ＰＥＴ／ＳＰＥＣＴ又は他のイメージを含む。訓練データのコーパスＴＤは、本明細書においては、一例として高及び低ＩＱ画像の高コントラスト及び低コントラストイメージとして参照される２つのカテゴリのデータを含む。したがって、低コントラスト／高コントラストイメージなどの、低ＩＱ対高ＩＱの対は、本明細書においては、訓練システムＴＳの動作のためには必要とされない。本明細書において主に想定されていることであるが、イメージ内の高及び低コントラストは必ずしも、それらのイメージが取得されたときの、イメージング装置の視野（ＦＯＶ）内に存在する異なる造影薬濃度によって引き起こされるとは限らない。低／高コントラストについて、イメージは、計算的に生成される代わりに、スペクトル又は二重イメージング技法を使用して生成される。特定的には、低／高コントラストイメージは、２つのクラスの低／高コントラストイメージを規定するための従来のＣＴイメージも提供するスペクトル走査において得られ得る低ｋｅＶイメージを使用することによって生成される。
【0084】
加えて、又は代わりに、同じく、従来のＣＴイメージとともに、それぞれ高及び低コントラストイメージのインスタンスを提供するスペクトル走査において、ヨウ素マップも得られ得る。この場合、ヨウ素マップを、加算又は乗算によって低コントラストイメージと組み合わせることによって、相手方の高コントラスト画像が得られ得る。代替的に、ヨウ素マップは、マップをまず何らかの係数（制御パラメータ）と乗算し、次いで、ヨウ素マップ（乗算されている係数）を低コントラストイメージに加算することによって、低コントラストイメージとそのように組み合わされる。さらに代替的に、任意のモダリティの高コントラストイメージを、任意の又は同じイメージングモダリティの低コントラストイメージと見当合わせすることによって、造影イメージメンバを形成することも可能である。
【0085】
他の実施形態において、イメージ補正は、アーティファクト低減に関連し、したがって、訓練セットＴＤは、あるクラスのアーティファクトの乗ったイメージと、別のクラスのアーティファクトのないイメージ（又は深刻度のより低いアーティファクトを有するイメージ）とを含む。分類は、人間の専門家によって、又は、補助機械学習システムによって行われる。同様に、ノイズ低減に関するイメージ補正に関する実施形態について、高及び低ＩＱ画像の２つのクラスは、高及び低ノイズ画像を含む。
【0086】
概して、訓練セットＴＤからのイメージは、本明細書においては、本明細書において主に参照される高及び低コントラストの２つのカテゴリにおける「訓練イメージ／画像」として参照されるが、本開示は、他のタイプのＩＱについて明示的に想定される。
【0087】
機械学習モデルＴＭは、概して、訓練モード及び展開モードの２つのモードにおいて動作可能である。訓練モードは、展開モードの前に行われる。訓練モードは、１回限りの動作であってもよいが、繰り返し行われてもよい。より特定的には、機械学習モデルＴＭは、アーキテクチャと、アーキテクチャに従って構成されている複数のパラメータとを含む。これらのパラメータは初期化される。訓練システムＴＳは、訓練モード中、訓練されるべきモデルＴＭによって処理されている入力訓練画像に基づいてパラメータを調整する。１回又は複数回の反復においてパラメータが十分に適合されると、そのように事前訓練されたモデルＴＭはその後、展開において、上記で言及したようにイメージプロセッサＩＰの機械学習構成要素ＭＬＣにおいて使用される。展開モードにおいて、事前訓練済み機械学習モデルＴＭは、上記で言及したようにイメージアーティファクト／ノイズを低減若しくは除去し、又は、コントラストを増大させるために、受信入力画像を処理し得る。重大なことに、展開における入力画像Ｘは、訓練画像の一部出ない場合があり、結果、機械学習モデルＴＭは、前の入力画像を決して「見て」いない。適切な訓練後、機械学習モデルＴＭは、入力画像Ｘを（よりコントラストの低い）入力画像Ｘのよりコントラストの高いバージョンＸ’に、又は同様に他のＩＱメトリックについて変換することが可能である。
【0088】
図２のブロック図を参照して、ここで、提案されているコンピュータ化訓練システムＴＳの動作をより詳細に説明する。
【0089】
訓練システムＴＳは、１つ又は複数のコンピュータ可読メモリＭＥＭ内に存在する。コンピュータ化訓練システムＴＳは、汎用ＣＰＵ回路、又は、好ましくは、１つ若しくは複数のＧＰＵ（グラフィックスプロセッシングユニット）などのような専用回路などの、処理装置ＰＵによって実行される。訓練システムＴＳの構成要素は、単一のコンピューティングデバイス、又は、適切な通信ネットワーク内に接続されている分散若しくは「クラウド」アーキテクチャにあるサーバなどのようなコンピューティングデバイスのグループ上に実装される。
【0090】
機械学習は、機械学習モデルＴＭのパラメータを調整することを含む。機械学習又は訓練は、訓練システムＴＳによって実施される。モデルは、入力を処理して出力にすることが可能である。モデルパラメータは、訓練データＴＤのセットに基づいて、訓練システムＴＳの訓練コントローラＴＣによって調整／更新される。パラメータ調整又は更新動作は、最適化問題として定式化される。最適化問題は、１つ又は複数の目的関数Ｅに関して定式化される。パラメータは、目的関数を改善するように更新される。目的関数は、訓練コントローラＴＣによって実施される。目的関数は、コスト関数であり、パラメータは、コスト関数によって測定されるものとしてのコストを低減するように更新される。
【0091】
図２に示す動作可換図式を参照して、ここで、提案されている訓練システムＴＳの動作の原理をより詳細に説明する。この図式は、対象ＭＬモデルＭの訓練に含まれる処理経路を示す。図２に見られるように、処理経路は、その一貫性がコスト関数Ｅ＝ＣＣ（）によってチェックされる閉フィードバックループ又はサイクルを形成する。コスト関数ＣＣ（）は、訓練システムによって使用される、コスト関数Ｅのシステムの一部Ｅｊを形成する。コスト関数ＣＣは、本明細書においては、サイクル一貫性チェッカ関数ＣＣ（ｘ）（又は略して「チェッカ関数」）として参照される。コスト関数ＣＣ（ｘ）によって処理可能な初期入力ｘは、訓練データセットＴＤから引き出されるイメージ標本を指す。言及したように、訓練データセットＴＤは、実施形態においては、例えばコントラスト補正画像及び非コントラスト補正画像などの、高コントラスト画像及び低コントラスト画像の、２つのクラス又はカテゴリのイメージを含む。「コントラスト補正イメージ」は、本明細書においては、造影イメージとして参照され、非コントラスト補正画像は、非造影イメージとして参照される。ここで、引き出される標本が造影イメージクラスに由来すると仮定すると、そのようなイメージは、そこでは
として参照され、一方、非造影イメージクラスのメンバは、本明細書においては記号「ｘ＝Ｉ」（「バー」記号「－」なし）によって参照される。
【数5】
【0092】
訓練システムＴＳは、まず、第１の変換（１）によって入力イメージ
を低コントラストイメージＩの推定値に変換する。次に、変換（２）が、この低コントラスト推定値をコントラスト強調又はコントラスト向上推定値
に変換する。このイメージ
から、そのようにサイクルを閉じることにおいて、第３の変換（３）が適用され、再び低コントラストイメージ
が推定される。理想的には、この最後の推定値
は、適用可能な誤差限界内で、初期入力イメージ
と実質的に等しくなるはずである。出力イメージ
が入力イメージに概ね類似するか又は等しくなるように、訓練システムＴＳがモデルパラメータを選択するのを促進するために、サイクルチェッカ関数ＣＣ（ｘ）が訓練コントローラＴＣによってコスト関数として実施される。このサイクルは、図２の中心において丸め誤差によって示されている。提案されている一貫性サイクルベースの学習は、良好でロバストな結果をもたらすことが分かった。上記で言及した変換（１）～（３）は、部分的に、コスト関数の制御下でパラメータが調整される機械学習モデルとして実施される。上記機械学習モデルは、対象のモデルＴＭを含む。好ましくは、上述した変換の少なくとも一部を実施するために、ニューラルネットワークタイプのモデルが使用される。特に、変換（１）、（３）は、機械学習モデルに基づき、一方、変換段（２）は、分析的に規定され得るか、又は、同じく機械学習モデルとして規定され得る。対象のモデルＴＭは、好ましくは、第１の変換（１）及び／又は第２の変換（２）を実施する。
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【0093】
サイクル一貫性チェッカ関数ＣＣ（ｘ）は、図２において上述した変換経路（１）～（３）において生成される画像内のコントラストの量を測定するコントラストマップＭに関して定式化される。上述したフィードバックループ又はサイクルは、近似可換図式を構成する。恒等関数は、３つの変換（１）～（３）の連結に関して近似される。コントラストを向上させるために対象のモデルＭを訓練することが所望されるにもかかわらずコントラストを低減するという、いくぶん直観に反する第１の変換は、訓練をより弾性的で、ロバストにすることが示されている。加えて、図２の上記の可換構成を、コントラストマップ駆動のサイクル一貫性チェッカ関数ＣＣ（ｘ）と組み合わせて使用すると、コントラスト変化がローカルに計上され得ることが分かっている。特定的には、コントラスト補正は、実質的に、造影剤を表す記録画像内の領域に焦点を当てることができる。より特定的には、造影剤を表す領域は、訓練済みモデルＴＭによって、造影剤を表さない領域よりも強くコントラスト補正される。さらにまたより特定的には、実質的にそのような造影剤を表す領域のみがコントラスト補正され、一方、他の領域はコントラスト補正されず、したがって、実質的に変化しないままである。
【0094】
さらに図２を参照すると、高及び低コントラストの２つのカテゴリからの画像を使用する代わりに、同じ原理が、高／低ノイズ、高／低アーティファクト寄与などのような、他のイメージ品質（「ＩＱ」）メトリックに適用される。この場合、変換（１）がＩＱを低減する、すなわち、アーティファクト又はノイズを増大させるように作用する。
【0095】
したがって、図２の可換図式は、ＩＱ低減の反復サイクルにおける処理を表し、造影イメージなどの高ＩＱクラスからの画像を処理するときに、増大する。入力イメージが低コントラストクラスから引き出される場合、訓練システムは、低コントラスト訓練入力イメージが、好ましくは変化せずに変換（１）～（３）を通過するように、パラメータを助長する。したがって、この図式における処理は、画像カテゴリに関して非対称である。
【0096】
コントラスト補正のために訓練される対象のモデルＴＭは、好ましくは、追加の相互接続されている機械学習モデル、及び、任意選択的に、これから参照される図３のブロック図において、これからより詳細に説明される分析モデルとともに、訓練システムＴＳに組み込まれる。特定的には、図３は、図２の上述した原理の一実施形態を示す。図３は、機械学習モデル及び任意選択の分析変換段（必ずしもＭＬによって実施されない）を含む複数の構成要素を示す。構成要素は、それらの入力及び出力の一部を、それらの相互接続によって形成される訓練システムにおいて相互接続され、組み込まれる。言及したように、モデルの一部は、ニューラルネットワークタイプＭＬモデルであるが、必ずしもニューラルネットワークタイプのものではない他の機械学習モデルも、本明細書において想定されている。
【0097】
特定的には、実施形態において、訓練システムＴＳは、本明細書においては生成器Ｇ１及びＧ２として参照される、生成タイプの２つのＭＬモデルを含む。加えて、弁別器ＤＳ及び分析変換器経路ＣＢが存在する。訓練コントローラＴＣは、上記で言及したコスト関数Ｅ＝ＣＣ、又は、上述した一貫性チェッカ関数ＣＣ（）、及び場合によっては、下記により詳細に研究する１つ若しくは複数の正則化項Ｒを含むコスト関数Ｅｊの系を実施する。コスト関数Ｅ、Ｅｊは、モデルによって生成される出力を処理し、コントローラＴＣの更新器ＵＴは、例えば、コストを低減するなど、目的関数を改善するためにモデルの現在のパラメータを調整する。調整は、反復的に進行する。
【0098】
動作時、訓練入力画像が、図２において上記で言及したように、造影Ｃ（高コントラスト）画像のクラス及び非造影ＮＣ（低コントラスト）画像のクラスを含む訓練データＴＤのセットから引き出される。特に、クラスＮＣ、Ｃに入るイメージが対にされる必要はない。クラスＮＣ、Ｃからの訓練画像は、１つずつ又はまとめて訓練システムＴＳに適用され、複数の言及した構成要素によって、訓練出力を生成するために処理される。訓練出力は、コスト関数Ｅ、Ｅｊによって評価され、チェッカＣＣ（）を含むコスト関数Ｅによって返されるコストに基づいて、停止条件が満たされるまで、訓練システムのパラメータが適合される。以下において、これがコスト関数Ｅｊの系への参照であり得、特に、チェッカＣＣ（）関数、及び、場合によっては１つ又は複数の正則化項Ｒなどの他の項を含むという理解の下、単純に「コスト関数Ｅ」を参照する。
【0099】
図３の概略図における対象のモデルＴＭは、下記にさらに詳細に説明するように、第１の生成器Ｇ１及び分析変換経路ＣＢを含む。対象のモデルＴＭは、実施形態において、残りの構成要素Ｇ２、ＤＳと併せてともに訓練される、２つのモデルＧ１、ＣＢを含む。対象のモデルＴＭは、その後、訓練が完了すると、展開中に処理される画像内のコントラストを補正する（増大させる）ための独立した機械学習モジュールとして後に使用され得る。この展開中の画像は、以前はシステムによって「見られて」いなかったため、特に、訓練データセットの一部ではない。訓練が完了すると、訓練システムの残りの機械構成要素、特に、弁別器ＤＳ及び他の生成器Ｇ２は、もはや必要とされないため、破棄され得る。訓練は、１回限りであり得、又は、必要に応じて、新たな訓練データが現れるときに繰り返し行われてもよい。後者の事例において、訓練が複数の段階において想定される場合、残りの構成要素Ｄ、Ｇ２は、将来の訓練実行のために保持されるべきである。
【0100】
生成タイプの２つのモデルＧ１、Ｇ２は、弁別器タイプのモデルＤから区別される。生成タイプのモデルは、未知の標本分布からサンプルを生成し、一方、弁別器は、２つのカテゴリ又はクラスの間の区別を可能にする。本明細書において想定されている好適な実施形態において、弁別器ＤＳ及び第１の生成器Ｇは、ともに、下記により詳細に説明する（グローバルな）訓練システムＴＳの敵対的に結合されたサブシステムを形成する。実施形態において、このＭＬ訓練サブシステムは、Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ及び共同研究者によって、ａｒＸｉｖ：１４０６．２６６１ｖ１の下でプレプリントとして公開されている２０１４年の論文「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」において記述されているＭＬのタイプである敵対的生成ネットワーク（「ＧＡＮ」）を形成する。
【0101】
上述した構成要素モデルＤ、Ｇ１、Ｇ２の一部又は各々は、それらと関連付けられるそれら自体のコスト関数を有し、これらのコスト関数は、任意選択の正則化項とともに、コスト関数Ｅｊの系を形成する。それらのコスト関数の一部は、サイクル一貫性チェッカＣＣ（）を含む。コスト関数のすべて又は一部は、例えば加法的に組み合わされて、１つの共通のコスト関数Ｅを形成する。図２の一般原理についてもそうであるように、コスト関数は、好ましくは相互依存的であり、したがって、１つの構成コスト関数におけるコストの変化が、他の構成コスト関数の一部又はすべてによって返されるコストに影響を及ぼす。この相互依存性は、１つの構成要素のコスト関数が、それ自体のモデルのパラメータだけでなく、他のモデルの一部又はすべてのいくつか又はより多くのパラメータも参照するために、発生する。
【0102】
更新器ＵＴによるパラメータの調整は、１回以上の反復を通じた訓練において進行する。調整は、共通のコスト関数Ｅを改善するために一度に進行するか、又は、構成コスト関数Ｅｊの各々又は一部を一度に１つ（又は複数）、交互に改善するために、代わる代わる進行する。いずれにせよ、上述した機械学習モデルのパラメータの初期の又は現在のセットの調整は、全体的なコストを改善、すなわち低減するように行われる。全体的なコストは、訓練が別個に代わる代わる進行するか、又は、一度に進行するかにかかわらず、含まれる様々な構成コスト関数又は正則化項（存在する場合）による、すべての部分コストを加算したものである。
【0103】
ここで、訓練システムＴＳのＧＡＮタイプのサブシステム（Ｇ１、Ｄ）をより詳細に参照すると、第１の生成器Ｇ１及び弁別器ＤＳは、敵対的に結合されているそれらのそれぞれのコスト関数を有する。特定的には、他のコスト関数のパラメータが一定のままであると仮定すると、第１の生成器Ｇ１及び弁別器ＤＳのコスト関数は、ゲーム理論の意味におけるゼロサムゲームを実施する。２つのコスト関数の合計が一定であると考えられる。一方におけるコストの低減が、他方における損失となり、したがって、結果としてそのモデルの関連付けられるコストが増大する。
【0104】
さらにより詳細には、ＧＡＮサブシステムにおいて、第１の生成器Ｇ１は、本明細書においては、コントラスト低減器ＣＲなどのＩＱ低減器として参照される。これは、実施形態において、以下のように動作する。低減器Ｒは、訓練データセットＴＤから引き出される初期入力イメージｘを入力としてとる。図２において上記で説明したように、この入力イメージは、造影Ｃ又は非造影ＮＣのいずれかである。入力イメージは、造影／高コントラストタイプＣのものである場合、造影剤を表すイメージ領域を含む。低減器Ｒ、Ｇ１はこのイメージ
に対して、非造影クラスＮＣからの標本の複製を試行するように、コントラストを低減するように作用する。弁別器ＤＳは、低減器Ｒの出力、すなわち、コントラスト低減バージョンＩを分析し、このイメージＩを、造影Ｃ又は非造影ＮＣの２つのクラスのうちのいずれか一方に属するものとして正確に分類するように試行する。したがって、第１の生成器Ｇ１／低減器Ｒ及び弁別器ＤＳの２つのコスト関数は、弁別器が、自身が正確に分類する確率を最大化し、一方、生成器が、弁別器による誤分類をもたらす出力を生成するように弁別器を「欺く」ように試行するように構成され、相互依存である。実施形態において、ＧＡＮのコスト関数がどれだけ正確に定式化され得るかは、式（１、６）において下記にさらに説明される。
【数13】
【0105】
ＧＡＮネットワークのコントラスト低減出力Ｉは、その後、好ましくは代数的演算を使用する分析処理経路として構成されており、そのパラメータが機械学習中に調整されないコントラストエンハンサ又は「ブースタ」ＣＢに供給される。代替的に、この構成要素ＣＢもまた、そのパラメータが学習中に調整される機械学習構成要素として実装される。コントラストエンハンサＣＢは、コントラスト低減推定値Ｉを使用して、コントラスト強調又はコントラスト補正イメージ
の推定値を計算する。この推定値におけるコントラストは、少なくともローカルには、初期入力イメージ
以上に高い。高コントラスト推定イメージ
は、処理のために第２の生成器Ｇ２に供給される。これに関連して、第２の生成器Ｇ２は、復元器として作用する。したがって、第２の生成器Ｇ２は、本明細書の以下の部分において、「復元器ＲＳ」として参照される。より特定的には、コントラスト補正推定値
は、復元器ＲＳによって、元の入力イメージ
を復元しようとする試行において処理される。すなわち、復元器ＲＳは、コントラスト強調イメージに対して、ＧＡＮによって処理されているものとしての初期コントラスト補正イメージに類似するか又は等しいイメージ
を生成するように動作する。したがって、復元器は、コントラストブースタＣＢの動作によってもたらされたコントラスト強調を無効にするように構成されている。
【数14】
【数15】
【数16】
【数17】
【数18】
【数19】
【0106】
訓練システムのコスト関数Ｅは、特に、ｉ）弁別器ＤＳによって生成されるものとしての分類結果、及び、ｉｉ）初期入力イメージ
と復元器ＲＳによって出力されるものとしてのイメージ
の両方に基づいてコストを計算する。コスト関数Ｅは、弁別器が低減器ＣＲの出力を正確に分類する場合はより低い部分コストを裁定し、ｉｉ）復元器ＲＳの出力
と初期入力イメージ
との間の逸脱が小さいほど、低い部分コストを裁定する。部分コストｉｉ）は、一貫性チェッカ関数ＣＣ（）によって測定される。
【数20】
【数21】
【数22】
【数23】
【0107】
同時に、訓練中に引き出される初期入力イメージｘが低コントラストタイプのものである場合、ＧＡＮネットワークは、理想的には、この低コントラストイメージＩを本質的にそのままにする。特に、全体としての訓練システムは、非造影セットＮＣからの標本に対しては、入力イメージが訓練システムＴＳを通じて伝播している間に、入力イメージに理想的にはまったく変化を加えず、又は、わずかのみの変化を加える等値演算器として作用すべきである。
【0108】
さらに言い換えれば、訓練システムＴＳは、本質的に、非造影標本がシステムを通じてそのままで伝播することを可能にすることによって、等値演算器を近似する。しかしながら、造影入力画像については、訓練システム配膳として等値演算器を近似するが、これは初期入力及び出力に対してのみである。しかし、造影入力画像は、説明されたコントラスト低減サイクルにおいてシステムＴＳを通じて伝播するときに変化を被り、その後、ブースタＣＢによってコントラストを強調され、その後、復元器ＲＳによってもう１度コントラストを低減される。造影及び非造影画像に関するこれら２つの非対称な処理モードは、上述したコスト関数としての一貫性チェッカ関数ＣＣとともに、ロバストな学習及びローカルに焦点を絞ったコントラスト増大を可能にする。コントラストは入力画像の造影イメージ部分のみにおいて増大され、一方、イメージの残りの非造影部分は本質的にそのまま残される（所定の誤差限界内で）。局所的に焦点を絞った又は選択的なコントラスト補正は、コントラストがイメージ内のあらゆる箇所で補正されるために人工的に見えるイメージを生成する傾向にある他のコントラスト補正方式と比較して、より自然に見える造影補正画像を生成することを可能にする。そのような人工的に見えるコントラスト補正イメージは、臨床業務においては広く受け入れられない。
【0109】
訓練システムＴＳは、コスト関数に関して最適化動作を実施することが理解されよう。しかしながら、効用関数に関するそのような最適化の二重定式化が、同じく本明細書において想定され、したがって、これは、効用関数の最大化とコスト関数の最小化の両方が想定される実施形態である。この場合、目的は、本明細書において説明されているコストを低減することではなく、全体的な効用を増大させることである。しかしながら、コストと効用の両方に関する目的関数の定式化が、コスト関数の最適化に焦点を当てた以下の説明にかかわらず、代替形態として又は組み合わせて想定される。
【0110】
【0111】
コントラストＣ及び非造影ＮＣの２つのカテゴリの訓練データセットからの訓練入力画像ｘが、セットＴＤからランダム又は決定論的スイッチＳＷ１によって選択される。
【0112】
決定論的であるか又はランダムである任意選択の第２のスイッチＳＷ２が、コントラスト低減器ＣＲの出力を通じて、真正又はフェイクｌｇ、ｌｆのラベルへの正確な弁別のために弁別器へとスイッチングする。
【0113】
コントラストブースタＣＢの分析変換経路は、図示のように代数的演算として実装される。より詳細には、代数的演算は、元の入力イメージ
とコントラスト低減器ＣＲによって生成されるコントラスト低減バージョンＩとの線形結合を形成することを含む。さらにより詳細には、本質的に造影剤に由来するコントラストが、初期イメージ
とコントラスト低減バージョンＩとの間の点ごとの差をとることによって測定される。このコントラスト測定値は、その後、係数αによって線形スケーリングされ、その後、スケーリングされたコントラストが、初期造影イメージ
に加算され、したがって、コントラスト強調推定値
が構築される。その後、コントラスト強調推定値
は、復元器ＲＳによって、コントラスト低減器ＣＲに入力されたものとしての元の高コントラスト入力イメージ
を復元しようと試行するために処理される。元の入力イメージが非造影タイプＮＣから引き出される場合、ネットワークＴＳは、イメージが様々なネットワーク段階を通過するときに、イメージを本質的にそのままにする。いずれにせよ、コスト関数は、初期入力イメージｘの近似コピーを、ｘが造影カテゴリから引き出されたか又は非造影カテゴリから引き出されたかにかかわらず、復元器ＲＳの最後の段における出力としてもたらすモデルパラメータに向けた最適化の変換を促進するように構成されている（下記により詳細に示すように）。
【数24】
【数25】
【数26】
【数27】
【数28】
【数29】
【0114】
図４の左側の種々の処理経路は明確にするために破線及び実線で示されている。破線は、ＧＡＮサブシステムにおけるプロセスフローを表す。図４の左側部分の実線は、ＧＡＮとブースタＣＢとの間のプロセスフローを表す。
【0115】
これまで説明してきた上記事項は、主に、訓練画像が訓練データセットから引き出され、訓練システムを構成する様々な機械学習モデルＤＳ、Ｇ１、Ｇ２のパラメータを適合させるために処理される訓練段階における訓練システムの訓練態様及び動作に焦点を当てられている。
【0116】
ここで、１度完全に訓練されている第１の生成器Ｇ１、ＣＲ、及び分析的コントラストブースタ段ＣＢを含む、対象のモデルＴＭの概略ブロック図を示す図５を参照する。訓練が完了すると、残りの機械学習モデルＤＳ及び第２の生成器Ｇ２＝ＲＳは破棄され得る。特定的には、訓練段階が完了すると、コントラスト低減器ＣＲの現在のパラメータ及びコントラストブースタＣＢに対する命令が、所与のアーキテクチャにおいて、メモリにコピーされる。訓練済みモデルコントラスト低減器ＣＲ及びコントラストブースタは、ともに、コントラストエンハンサＳＩＥの機械学習モジュールＭＬＣの対象のモデルＴＭを形成する。この時点で、機械学習モジュールＭＬＣは、展開又は試験中に、想定される画像コントラスト補正動作を実施するために使用することができる。
【0117】
展開又は試験中の動作において、入力イメージＸ（モデルＣＲ、Ｄ、ＲＳがそれに対して訓練された訓練データセットからのものではない）が、この時点で訓練済みのコントラスト低減器
（ここで波形記号「～」によって示す）において、任意選択的に、下記に詳細に説明するコンテキストデータＣＸＢとともに受信される。入力画像Ｘ、及び、場合によってはコンテキストデータＣＸＢは、その後、出力（図示せず）として現れるように訓練済みコントラスト低減器
を通じた準備によってともに処理される。この出力は、初期入力イメージとともに、その後、コントラストブースタによって、コントラスト又は他のＩＱを補正した出力イメージ
を生成するために処理される。コントラストブースタは、ＩＱ補正出力イメージ
を構築するために、線形結合を使用する。線形結合は、上述したような、ブースタパラメータβを含む。
【数30】
【数31】
【数32】
【数33】
【0118】
コントラストブースタパラメータβ（≧０）は、固定メタパラメータであるか、又は、タッチスクリーン、キーボード、又は、入力を供給するための任意の他のユーザインターフェースなどの適切なユーザインターフェースＵＩによって、ユーザによって調整される。コントラスト補正イメージ
などのＩＱ補正イメージは、必要に応じて、さらに処理され、記憶され、又は、視覚化構成要素（図示せず）によってディスプレイデバイスＤＤに表示される。
【数34】
【0119】
ここで、生成器Ｇ１に使用され得る人工ニューラルネットワークタイプ（「ＮＮ」）アーキテクチャを示す図６を参照する。以下の説明は、第１の生成器Ｇ１＝ＣＲに焦点を当てているが、同じネットワークセットアップが、第２の生成器Ｇ２にも使用される。概して、想定されているＮＮタイプアーキテクチャは、（概して非イメージ）コンテキストデータＣＸＤのための任意選択の処理経路を有するマルチスケール畳み込みネットワークである。コンテキストデータ処理設備は、第２の生成器Ｇ２には必要ないが、必要に応じて、依然として実装され得る。
【0120】
ここで、提案されている対象のモデルＣＲ及び図６をより詳細に参照すると、これは、訓練入力画像ｘを、
が造影クラスのイメージである場合に、コントラストを低減した訓練出力イメージＣＲ（ｘ）に変換するように構成されている。そうでない場合、ＣＲ（ｘ）はｘに等しいか、又は、ほぼ等しい。したがって、ＣＲは（擬似）等値演算器として作用する。
【数35】
【0121】
好ましくは、訓練入力画像の次元及びサイズが保持される。すなわち、訓練入力画像の次元、及び、好ましくはサイズ（数字又は行及び列など）は、出力ＯＵＴにおいて供給されるものとしての訓練出力イメージＩ’の次元及びサイズに対応するか、又は、等しい。
【0122】
しかしながら、訓練入力画像ｘの処理中、訓練入力画像ｘは、まず、低減器Ｇ１ＣＲの符号化器構成要素ＥＮＣによって、より次元の低い表現χに変換される。加えて、サイズも低減される。訓練入力画像のこのより次元の低い及び／又はサイズの小さい中心中間表現χは、入力イメージｘの低減バージョンである。この表現は、モデルχの最終出力を形成しないという意味で「中間」である。これは、処理中に対象のモデルＣＲ内に形成されるという意味で「中心」である。中心表現ＣＲは、その後、最終的に、訓練出力イメージＣＲ（ｘ）の次元及び／又はサイズが訓練入力イメージｘの次元及び／又はサイズに一致するように、中心表現の次元／サイズを増大させるように、符号化器ＥＮＣと直列に配置されている復号器ＤＥＣ構成要素によってアップサンプリングされる。したがって、このアーキテクチャは、オートエンコーダの一種である。
【0123】
より次元の低い及び／又はより小さいサイズの表現χはまた、本明細書において「コード」としても参照される。したがって、符号化器ＥＮＣは、受信訓練入力画像ｘを「符号化」し、一方、復号器ＤＥＣは、そのコードχから、元の訓練入力イメージｘと同じ次元及び／又はサイズを有する訓練出力イメージＣＲ（ｘ）を復元又は「復号」するように動作可能である。符号化器ＥＮＣが、過剰決定表現を促進するために入力画像ｘのものよりも大きいサイズ及び／又はより高い次元のコードを生成する実施形態も存在する。この代替的な実施形態において、符号化器ＥＮＣは、より高い次元及び／又はサイズにおいて、ただしより高い疎度においてコードＣＲを生成する。特に、Ｆｒｅｉｍａｎ、Ｍｏｔｉ、Ｒａｖｉｎｄｒａ Ｍａｎｊｅｓｈｗａｒ、及びＬｉｒａｎ Ｇｏｓｈｅｎによって「Ｕｎｓｕｐｅｒｖｉｓｅｄ ａｂｎｏｒｍａｌｉｔｙ ｄｅｔｅｃｔｉｏｎ ｔｈｒｏｕｇｈ ｍｉｘｅｄ ｓｔｒｕｃｔｕｒｅ ｒｅｇｕｌａｒｉｚａｔｉｏｎ （ＭＳＲ） ｉｎ ｄｅｅｐ ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄｅｒｓ」Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ、４６（５）巻、２２２３～２２３１ページ、（２０１９）に記載されているように、過剰決定及び疎コードを促進するために、正則化メカニズムが使用される。
【0124】
実際に好適な実施形態において本明細書において想定されているように、ニューラルネットワークセットアップが使用される場合、ネットワークＣＲは、上記で言及したようなオートエンコーダニューラルネットワークとして実装される。
【0125】
訓練データＴＤは、イメージデータを含むだけでなく、それぞれの訓練イメージと関連付けられる非イメージコンテキストデータＣＸＤも含む。コンテキストデータＣＸＤは、イメージングパラメータ、すなわち、場合によっては、取得及び／又は再構成パラメータを含む。訓練中にコンテキストデータも訓練システムＴＳに供給される場合、これらは、イメージデータとともに最適化される。下記により十分に説明するように、非イメージコンテキストデータＣＸＤは、再成形器モジュールＲＳＨによって適切な「擬似イメージ」に再成形する必要があり、擬似イメージは、その後、それらが関連付けられる、それらのそれぞれの訓練画像とともに処理される。
【0126】
ニューラルネットワークセットアップがコントラスト低減器ＣＲについて想定される場合、深層学習ネットワークが好適である。実施形態において、そのような深層学習ネットワークは、これより引き続き図６を参照してより十分に説明するような、それぞれの入力層ＩＮと出力層ＯＬとの間に１つ又は複数の（好ましくは少なくとも２つの）隠れ層を有するニューラルネットワークを含む。
【0127】
このブロック図は、本明細書においてマルチスケール処理を有する畳み込みニューロネットワーク（ＣＮＮ）内のオートエンコーダとして提示されている対象のモデルＣＲのより多くの詳細を提供する。
【0128】
訓練入力データｘは、本明細書においてはイメージングストランドＳＩとして参照される処理経路において処理される。任意選択的に、訓練が非イメージコンテキスト訓練データＣＸＤも含むことになる場合、これは、再成形器ＲＳＨを含む別個の処理ストランドＳＰにおいて処理される。コンテキストデータＣＸＤは、再成形器ＲＳＨによって処理されて、それらのそれぞれの訓練イメージデータと融合される擬似イメージになる。
【0129】
しかしながら、図６の対象のモデルＣＲのニューラルネットワークアーキテクチャをより詳細に説明する前に、まず、さらなる説明を容易にするために、いくつかの人工ニューラルネットワーク概念を紹介する。
【0130】
広範には、対象のモデルＣＲのＮＮ構造は、少なくとも部分的に相互接続され、異なる層Ｌ内に配置構成されている複数のノードを含む。層Ｌは、１つ又は複数のシーケンス内に配置構成される。各ノードは、値を仮定することが可能なエントリであり、及び／又は、先行する層Ｌの１つ又は複数のノードから受信される入力に基づいて出力を生成し得る。
【0131】
各ノードは、単純なスカラー値（ノード重み）であり得るが、より複雑な線形又は非線形関数でもあり得る特定の関数と関連付けられる。２つの異なる層内のノード間の「接続」とは、後続の層内のノードが先行する層内のノードから入力を受信し得ることを意味する。２つのノード間に接続が定義されない場合、２つのノードのうちの一方の出力は、他方のノードによって入力として受診され得ない。ノードは、その関数を入力に適用することによって、その出力を生成する。これは、受信入力と、ノードの（重みの）スカラーチとの乗算として実施され得る。異なるノードからの２つ以上の入力が、後続の層内のノードによって受信される。複数の異なる入力は、連結関数ｇによって連結されて、連結値を生成し、この連結値に、受信側ノードがそれ自体の関数ｆを適用して、ノードの出力を生成する。例えば、ｇは、先行するノードからの受信入力を積（例えば、ドット積）の和にマッピングし、その後、ノードの関数ｆが上記積の和に適用される。
【0132】
接続は、それ自体の重み（「接続重み」）を有する。重みは、その接続に沿って進行する出力を重み付けするために使用される。連結された関数は、接続重みを使用して所与のノードのすべての受信入力を組み合わせて、連結ドット積出力を生成する。層間の接続は、固定であるか、又は、処理中に変化する。いくつかの層は、完全に接続され、一方、他の層は完全には接続されない。後続の層内の各ノードが前の層のすべてのノードと接続される場合、２つの層は完全に接続されている。畳み込み層などの、部分的に接続されている層においては、後続の層内のすべてのノードが先行する層内のすべてのノードに接続されてはいない。
【0133】
所与の層のすべてのノードの出力は、本明細書において「層の出力」として参照され、先行する層から受信される入力は、本明細書において「層の入力」として参照される。
【0134】
各層は、２次元、３次元、又はより高次元の行列として表される。次元が３次元以上である場合、行列は一般的にテンソルとして参照される。ノードは、それらの行列又はテンソル内のエントリとして実装される。各層は、サイズ（行ｉ及び列ｊ）、深さｋ（１より大きい）、及び、場合によってはさらなる次元を有する。代替的に、サイズ、深さ、及び１つ又は複数のさらなる次元は、行列又はテンソル以外のデータ構造によって実現される。
【0135】
ニューロネットワーク構造の対象のモデルＣＲは、１つ又は複数の初期入力層ＩＬ及び１つ又は複数の最終出力層ＯＬを含む。初期入力層ＩＬは、それぞれ、ノードに値をデータ投入することによって、又は、さらなる処理のために最終結果を提示することによって、初期訓練イメージＩ、及び、任意選択的に、コンテキストデータＣＸＤが受信される場所である。
【0136】
層Ｌは、図６に示すように、深層アーキテクチャ内に配置される。このアーキテクチャは、出力層ＯＬと入力層ＩＬとの間に１つ又は複数の隠れ層を含む。隠れ層の数が、ネットワークＭの深さを規定する。例えば、いくつかの実施形態において想定される単一の隠れ層は、深さが「１」であることを意味する。しかしながら、好ましくは、少なくとも２つの隠れ層が使用される。好ましくは、４つ、６つ以上などの、偶数の隠れ層が存在する。隠れ層において先行する層から受信される入力は、中間入力として参照され、一方、後続の隠れ層に渡される、隠れ層によって生成される出力は、中間出力として参照される。
【0137】
概して、モデルＣＲのＮＮアーキテクチャにおいて、訓練入力イメージなどの訓練入力データＩＭが、初期入力として１つ又は複数の入力層ＩＬにおいて適用される。データはその後、データ（イメージＩＭ又はパラメータＩＰ）が連続して層を通過するときに、連続して変換される。各層において、その後、次の層などの中間入力としての役割を果たす中間出力が生成され、各時点において、それぞれの層は、最終結果が１つ又は複数の出力層ＯＬに現れるまで、それに演算を適用することによって、受信中間入力に作用する。本明細書において想定されているＮＮアーキテクチャは、好ましくは、上述したように、データが層から層へと前方に伝播するフィードフォワードタイプのものである。代替的に、１つ又は複数の層が処理中に再訪されるリカレントアーキテクチャも、本明細書において想定される。
【0138】
異なるタイプの層Ｌは、異なる関数を有し、したがって、異なる演算を適用する。ここで、まず、一部又はすべてが本明細書において異なる組合せ及び部分組合せにおいて想定されている、異なるタイプの層を論じることとする。
【0139】
本明細書において想定されているＮＮ層タイプは、図３に示すような完全接続層ＦＣ、畳み込み層Ｃ、逆畳み込み層Ｄ、アップサンプリング層（「↑」）、ダウンサンプリング層（「↓」）、活性化層Ｒのうちのいずれか１つ若しくは複数、又はすべてを組み合わせて含む。層タイプは、ユニットにグループ化されて、各スケールレベルｓの、様々な動作ユニットを形成する。例えば、逆畳み込み又は畳み込み層は、アップサンプリング又はダウンサンプリング層及び活性化層と組み合わされる。例えば、図３の表現「Ｃ，↓，Ｒ」は、畳み込み層Ｃ、後続するダウンサンプリング層↓、及び、次いで後続する活性化層Ｒとして連続して配置構成されている層のグループを示す。層を２つ、３つ、又はそれ以上の層から成るそのようなユニットにグループ化することには、行列／テンソル及び行列／テンソル乗算として表現されるときには実現上の利点があり得るが、グループ化は、必ずしもすべての実施形態において想定されるとは限らない。
【0140】
ここで、活性化層Ｒをより詳細に参照すると、これは、ロジスティックベースのシグモイド関数、ａｒｃｔａｎ、ｓｏｆｔｍａｘ、整流関数（ｘ＋＝ｍａｘ（ｘ，０））などを含む、任意の非線形関数を使用して実装される。整流関数を実施する層は、整流線形ユニット（ＲｅＬＵ）と呼ばれる。活性化層Ｒは、ＭＬＣが非線形パターンをキャプチャすることを可能にするための非線形性を導入するために各ノード内の値に適用される非線形関数を実施する。（中間）入力層のサイズは、整流層Ｒによって保持される。層Ｒは、これが閾値を下回る場合に入力を除去又は軽減するための「重要性フィルタ」としての役割も果たす。ノードからの入力は、完全に無効にされ、したがって、接続が存在するにもかかわらず、次の層にまったく転送されない。このとき、ノードは「点火」しないと言われ、このイベントは、その後、次の層に「ゼロ」を転送することによって記録される。所与の構成内の点火しないノードの割合は、ＭＬＣの疎度として表現される。
【0141】
ＲｅＬＵに加えて、又はその代わりに、実施形態において、ドロップアウト層が使用される。これらの層も、２つの層のノード間の接続をランダムに相殺することによって非線形性を導入する。
【0142】
次に、完全接続層ＦＣを参照すると、ＭＬＣ内の本明細書において想定されている層は必ずしも完全には接続されないが、実施形態において、ネットワークＭＬＣは２つ以上の完全接続層を含む。完全接続層は、上記図６においてＦＣとして示されている。完全接続層ＦＣは、各ノードがその活性化関数及び重みと関連付けられる、より従来的な非畳み込みＮＮ構成要素を表す。各ノードの活性化関数は、別個の動作層に編成される。全般的な導入において上記で説明したように、ＦＣ内の１つの層内の各ノードは、接続のそれぞれの重みに従って各々が重み付けされた、前の層内のすべてのノードからの入力を受信する。この総入力が、その後、活性化関数層によって合計され、評価される。活性化関数層は、後続の層内のノードに渡されるノード出力を生成するために、それぞれのノードの重みに適用される。ＦＣを使用することの利点は、より複雑な非線形パターンをモデル化することである。
【0143】
畳み込み層Ｃ及び逆畳み込み層Ｄ（並びに／又はアップサンプリング及びダウンサンプリング層）は、非完全接続層の例である。より詳細には、これらの層は、先行する層のすべてのノードに完全には接続されない。加えて、接続は、先行する層からの（中間）入力を処理するときに変化する。
【0144】
畳み込み層Ｃにおいて、中間出力の各ノードは、畳み込み層を、先行する層のノードのサブグループと畳み込み、したがって、すべての可能な接続のサブセットのみを含むことによって得られる。その後、接続は、次の中間出力層のノードの新たなグループを選抜するために再定義され、これは、（中間）入力層全体が処理されるまで継続される。
【0145】
畳み込み層Ｃは、好ましくは中心位置を有する３ｘ３又は５ｘ５などの奇数のサイズを有する行列として構造化される。畳み込み／逆畳み込み層はまた、それが適用されるべきである中間入力の深さに対応する深さも有する。
【0146】
畳み込み／逆畳み込み層のサイズは、概して、それが作用する中間入力のサイズよりも小さい。ちょうど従来の畳み込みと同様に、畳み込み層は、概念的に、その（中間）入力層の上をスライドすると考えられ、フィルタリング済みノードを（中間）出力として生成するために異なるノードグループに選択的に適用される。畳み込み演算自体は、畳み込み層のノード及び／又はその中間入力層内の即時グループ内のすべてのノード間の積の和を形成することを含む。フィルタリング済みノードは、畳み込み層の奇数サイズ行列の中心ノードである。
【0147】
畳み込み層の処理において新たなノードグループにシフトすることは、概念的に、それぞれ、各グループノードの（中間）出力を生成するために、畳み込み層Ｃに、（中間）入力の上を幅＝ｎ（ｎは自然数）でスライドさせることとして理解される。幅は、各シフトの程度を示すＣＮＮの設計パラメータである。例えば、幅ｎ＝１は、次の（中間）出力ノードの値を得るためにその値が畳み込まれることになる次のノードグループの接続を再定義するときに、層Ｃを実効的に１ノードだけシフトさせることによって、新たなグループが得られることを意味する。幅ｎ＝２の場合、ノードの１つの列又は行がスキップされ、したがって、ｎ＞２の場合である。上述したスライディングウィンドウ手法の代わりに、畳み込み層によって処理されることになる入力層は、代わりに、複数の部分（タイル）に分割され、これらの各々はその後、別個に、畳み込み層と畳み込まれる。
【0148】
畳み込み層が、それが作用するその中間入力層の最外ノードを越えて延在する場合、ゼロ詰めが使用される。畳み込み／逆畳み込み層は、説明したように連続して適用され、又は、中間入力層の全体において並列に適用される。
【0149】
逆畳み込み層Ｄは、本質的に、畳み込み層Ｃによって引き起こされる畳み込みの逆演算である。畳み込み層は、最初に、ピクセルから漸進的により高いレベルの特徴へとマッピングするが、逆畳み込み演算は、特徴をピクセルにマッピングし戻す。機能的には、逆畳み込みは、その後合計される、上述した畳み込み層において使用されているものとしての畳み込み演算に関して定式化され得る。例えば、Ｍ Ｄ Ｚｅｉｌｅｒ他「Ａｄａｐｔｉｖｅ Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｍｉｄ ａｎｄ Ｈｉｇｈ Ｌｅｖｅｌ Ｆｅａｔｕｒｅ Ｌｅａｒｎｉｎｇ」、２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、バルセロナ、スペインの節２を参照されたい。逆畳み込み層Ｄはまた、適切な深さを有する行列としても表される。
【0150】
したがって、畳み込み及び逆畳み込み層は、概して、それらの（中間）入力のサイズを保持する。
【0151】
ダウンサンプリング層は、畳み込み／逆畳み込み層Ｃ、Ｄと同様に構造化されるが、それらはその入力データに対して別様に作用する。ダウンサンプリング／アップサンプリング層（本明細書においては単純に「ダウンサンプラ」又は「アップサンプラ」としても参照される）は、奇数又は偶数サイズである。ダウンサンプリング層は、後続の出力層の単一のノードを生成するために、先行する層内のノードグループと一緒になり、したがって、（中間）入力層の空間（より少ない行及び／又は列）を縮小する。これは、平均を形成することによって、又は、カバーされるノードグループから最大／最小値又は何らかの他の指定値を選ぶことによって行われ得る。グループのサイズは、ダウンサンプリング層のサイズに対応する。
【0152】
アップサンプラは、ダウンサンプラに対して擬似逆に作用し、その出力において、好ましくは入力ノードの間を補間することによって、より大きいノードセットを生成する。畳み込み／逆畳み込み及びアップサンプリング／ダウンサンプリング機能は、同じ層内に組み合わされる。例えば、畳み込み及びダウンサンプリングは、２又はそれ以上などの、１よりも大きい幅による畳み込みとして達成される。同様にして、逆畳み込みは、アップサンプリング機能と組み合わされる。
【0153】
さらなる層タイプは、バッチ正規化層Ｂを含む。これらの層は、前の層内の勾配の正規化を実施する。この正規化は、勾配飽和を防止又は低減する。勾配飽和において、勾配の大きさが、反復中に過度に急速に低減する。同様のバッチ正規化層が、Ｓｅｒｇｅｙ Ｉｏｆｆｅ他によって、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ： Ａｃｃｅｌｅｒａｔｉｎｇ Ｄｅｅｐ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ ｂｙ Ｒｅｄｕｃｉｎｇ Ｉｎｔｅｒｎａｌ Ｃｏｖａｒｉａｔｅ Ｓｈｉｆｔ」、ａｖａｉｌａｂｌｅ ｏｎｌｉｎｅ Ｔ ａｒＸｉｖ：１５０２．０３１６７ｖ３ ［ｃｓ．ＬＧ］ ２ Ｍａｒｃｈ ２０１５において説明されている。
【0154】
ここで、引き続き図６を参照して、対象のモデルＭのイメージングストランドＳＩにおけるイメージデータの処理をより詳細に説明する。概して、イメージストランドＳＩにおいて、復号器段ＤＥＣ内のアップサンプリング層の数は、符号化器段ＥＮＣ内のダウンサンプリング層の数に対応する。一実施形態において、ＳＩの符号化器ＥＮＣは、３つのダウンサンプリング構成要素を含み、復号器ＤＥＣは、３つのアップサンプリング構成要素を含む。同じことが、畳み込み／逆畳み込み層Ｃ、Ｄにも当てはまる。図６において、層Ｌはユニットにグループ化される。このグループ化は、実際的というよりも、概念的なものである。図６のグループ化の論理は、各ユニットがダウンサンプリング又はアップサンプリングを引き起こすことである。
【0155】
一般に、いくつかの実施形態において、符号化器ＥＮＣの最後の層Ｌ（ＲｅＬＵを除外する）は、低次元表現ＣＲに到達するためのダウンサンプラ↓であり、この後、復号器セクションＤＥＣにおいて少なくとも１つのアップサンプラ↑が後続する。符号化器ＥＮＣ内の最後の層の下流の層は、エントリを有する２以上の次元の行列の形態の中心表現ＣＲを提供する。存在するゼロ又は無視できるエントリが多いほど、コードＣＲは疎になり、これは好適である。より一般的に、符号化器ＥＮＤセクション内には少なくとも１つのダウンサンプラが存在し、復号器ＤＥＣセクション内には少なくとも１つのアップサンプラが存在する。この「ボトルネック」構造は、モデルＣＲのオートエンコーダベースの実施形態において符号化／復号原理を実施することを可能にする。代替的に、必ずしも空間アップ／ダウンサンプリングが存在せず、代わりに、下記にさらに説明される、疎度ベースの正則化が使用される、ＡＥアーキテクチャの過剰決定変形形態も本明細書において想定される。代替的な実施形態において、そのようなボトルネックは存在せず、コードＣＲが訓練入力イメージＩ及び訓練出力イメージＩ’よりも高い空間次元を有する過剰決定表現を達成するように、符号化器ＥＮＣが、１つ又は複数のアップサンプリング動作を実施し、その後、復号器が、対応する数のダウンサンプリング動作を実施する。過剰決定実施形態を有するこのオートエンコーダ実施形態は好ましくは、下記により詳細に説明するような、正則化機能による疎度補正とともに使用される。
【0156】
加えて、符号化器ＥＮＣセクション内の少なくとも１つの畳み込み層Ｃ及び復号器ＤＥＣセクション内の少なくとも１つの逆畳み込み層Ｄが存在する。符号化器段ＥＮＣ内の畳み込み及びダウンサンプラの順序は、好ましくは、畳み込みが最初であり、次にダウンサンプリングであるが、これは必ずしも、すべての実施形態においてそうであるとは限らない。同様に、復号器ＤＥＣセクションにおいて、最初に逆畳み込み、次にアップサンプリングがあるが、この順序も、いくつかの実施形態においては逆になる。
【0157】
確かに、処理セクションＥＮＣ及びＤＥＣは、概念的に逆であるが、概して単位元をもたらさず、したがって、ＥＮＣ－１≠ＤＥＣである。
【0158】
実施形態において、ＳＩの符号化器ＥＮＣは３層ユニットを含む。各ユニットは、連続的に、畳み込み演算子、後続するもう１つの畳み込み、ダウンサンプリング及び整流Ｒを含む。代替的な実施形態において、代わりに、３つよりも多い又は少ないそのようなユニットが使用される。
【0159】
実施形態において、復号器セクションＤＥＣにおいて、畳み込み層Ｃは、ｎｘｎｘｄ（又はより大きい）のサイズを有し、好ましくは各々に整流線形ユニット（ＲｅＬＵ）が後続する。空間次元は、３、５などのような任意の適切な数であり得、一方、深さｄは、再成形器ストランドＳＰに関連して下記により詳細に説明するように、再成形コンテキストパラメータＣＸＤに必要とされる色チャネル（存在する場合）及びチャネルの数の関数である。２つ以上の畳み込み層Ｃが、スケールを変化させるために使用される。各スケールの最後の畳み込みは、ダウンサンプリング／ダウンスケーリングのために幅２によって行われる。図３の実施形態において、ＤＥＣ及びＥＮＣ内に３対のアップサンプリング動作及びダウンサンプリング動作が存在するため、３つの特徴スケールが実現されるが、代替的な実施形態において、より多くのスケール又はより少ないスケールも想定される。
【0160】
ストランドＳＩの復号器ＤＥＣセクションは、符号化器セクションＥＮＣの構造を相補的に反映し、対応して、同じ数のユニットを含むが、各ユニットにおいて、畳み込みの各発生は逆畳み込み層に置き換えられ、ダウンサンプリング層の各発生は、アップサンプリング層に置き換えられる。復号器ＤＥＣ内の最後の下流の層は、好ましくは、最終出力がゼロノードも許容することを保証する。そうでなければ、先行する活性化層Ｒのために、ゼロよりも大きい値に制限される。この最後の層は、図示のように、最終復号結果を提供するための追加の畳み込み層Ｃとして実装されるが、これは任意選択である。好ましくは、この最後の畳み込みはサイズ１ｘ１ｘ１を有する。
【0161】
実施形態において、復号器ＤＥＣ３ｘ３ｘ３（又はより大きいフィルタ）において、逆畳み込み層Ｄが使用され、好ましくは各々に整流線形ユニット（ＲｅＬＵ）が後続する。２つ以上の逆畳み込み層Ｄが、符号化器ＥＮＣにおいて変更されたものとしてのスケールを元に戻すために使用される。各スケールの最後の畳み込みは、アップサンプリング／アップスケーリングのために幅２によって行われる。復号器ＤＥＣセクション内のスケールの数は、通常、符号化器ＥＮＣセクション内のスケールの数に等しい。
【0162】
好ましくは、ただし必ずしもすべての実施形態においてではないが、スケールｓ内の各層内の畳み込みフィルタの典型的な数は（２３）ｓｃであり、ｓ＝１，２，３，．．．はスケール（入力スケールは１に等しい）であり、ｃはネットワーク制御パラメータであり、通常、ｃ＞１である過剰決定設定において最良の性能が得られることが分かった。
【0163】
ＳＩの２つのセクションＤＥＣ及びＥＮＣ内の機能層の他の組合せ又は他の構成も本明細書において企図されるが、好ましくは、２つのセクションＤＥＣ、ＥＮＣにおけるアップサンプリング層及びダウンサンプリング層並びに／又は畳み込み層及び逆畳み込み層の数は、それぞれ同じである。
【0164】
任意選択的に、ユニットの一部又は各々は、畳み込み層Ｃ又は逆畳み込み層Ｄと活性化層Ｒとの間に配置された１つ又は複数のバッチ正規化器Ｂを含む。
【0165】
ここで、任意選択の再成形器ＲＳＨ、及び、例えば、イメージングパラメータ、取得パラメータ、又は患者記述データ（年齢、性別、患者病歴など）が処理される、コンテキストデータ処理ストランドＳＰにおける非イメージコンテキストＣＸＤの処理を、より詳細に参照する。再成形器ストランドＳＰは、実施形態において、３つの隠れ層を含む。特定的には、連続的に、完全接続層ＦＣ、それに後続する整流層Ｒ、それに後続する第２の完全接続層ＦＣが想定される。代わりに、単一の完全接続層が使用されてもよく、又は、４つ以上の隠れ層、特に、３つ以上のＦＣが使用されてもよい。
【0166】
機能的には、イメージングパラメータストランドＳＩは、イメージングパラメータのセットの再成形器として作用するように構成されている。言い換えれば、ストランドＳＰの出力ＯＬにおいて、その入力層ＩＬにおいて受信されるコンテキストデータＣＸＤに基づいて、「擬似イメージ」が形成される。イメージングパラメータは、入力イメージＩＭに等しいサイズを有する行列／テンソルに再フォーマットされる。この擬似イメージは、次いで、矢印ｆＬ（又は「供給線」）によって示すように、ＳＩストランドの入力層ＩＬにおいて受信される初期イメージデータＩＭと融合される。
【0167】
畳み込み層は、一定の深さを有し、多次元層に対して作用し得る。畳み込みの深さは、処理されるべき画像のチャネルの数に対応する。例えば、カラーイメージに適用される畳み込み層は、３つの色チャネルＲＧＢの各々にサービスするように、３の深さを有する。３つの層の各々における畳み込み動作は、チャネル毎に異なる。
【0168】
実施形態において、再成形イメージパラメータ（すなわち、擬似イメージ）を追加のチャネルとして訓練入力画像Ｉに含め、ＳＩセクション内の畳み込み／逆畳み込み層を、再成形イメージパラメータである擬似イメージを処理するように構成されている追加の深さを有するように構成することが、本明細書において提案される。この意味において、イメージングパラメータ及びＩ内の実際のイメージデータは、多次元複合イメージに融合され、ここで、イメージングパラメータは、追加の次元又は層として実際のイメージデータに含まれる。これによって、複合イメージが、その深さがイメージデータＩの実際の次元＋イメージングパラメータＩｐの１つ（又は複数）の次元に対応するマルチチャネル畳み込み／逆畳み込み層によって処理されることが可能になる。
【0169】
実施形態において、再成形器ＲＳＨは、最後の完全接続層ＦＣの出力を、本明細書においては「イメージングパラメータボリューム」又は「擬似イメージ」と呼ばれる１つ又は複数の行列、ボリューム又はテンソルの表現に再成形する。各イメージングパラメータボリュームのサイズは、入力イメージＩのサイズに等しい。イメージングパラメータボリュームは、追加のチャネルにおいてイメージングストランドＩＳに供給される。追加のチャネルの数は、再成形器ストランドＳＰによって生成されるイメージングパラメータボリュームの数に対応する。イメージストランドＳＩへの供給は、最後の完全接続層ＦＣの各出力値を別個のイメージングパラメータボリュームにデータ投入することによって行われ、各事例において、それぞれのボリューム全体が同じ出力値によっていっぱいになる。非イメージデータＣＸＤを有する融合イメージデータＶの他の実施形態も想定される。上述したマルチチャネル技術をＣＮＮのコンテキストにおいて使用することは、ほんの一実施形態に過ぎない。しかしながら、より一般的なＮＮ又は非ＮＮコンテキストにおける上記融合技法の同様の適用も、本明細書において想定されている。
【0170】
再成形器ストランドＳＰの入力層に適用されるものとしてのイメージングパラメータは、１次元又はより多くの次元において表される。イメージングパラメータは、好ましくは、適切な数値フォーマットに符号化されるか、クラスから数値へとそのようにマッピングされる。イメージングパラメータは、１つ又は複数のベクトル又は行列として、ネットワークＣＲのストランドＳＰ内の入力層ＩＬにおいて提供される。ベクトル若しくは行列、又は実際には一般的にテンソルの次元は、イメージデータＩＭの次元に等しい。
【0171】
図６に示すものと同様のアーキテクチャが、コントラストブースタＣＢ＝Ｇ２にも使用される。
【0172】
前述したように、ＮＮは、本明細書において必須要件ではない。例えば、Ｄは、サポートベクタマシンＳＶＭ、ｋ最近傍法、又は、決定木若しくはランダムフォレストなどのような任意の他の分類器セットアップとして実装される。２つの生成器が、異なるＮＮとして実装されるか、又は、一方がＮＮモデルとして、他方が非ＮＮとしてモデルとして実装される。本明細書において想定されている生成器Ｇ１、Ｇ２のいずれか一方又は両方の非ＮＮタイプＭＬモデルは、変分オートエンコーダ、ボルツマンマシン、ベイズネットワークなどを含む。
【0173】
ここで、イメージ補正のためのコンピュータ実施方法の流れ図を示す図７を参照する。本方法は、少なくとも２カテゴリイメージ訓練データセットＴＤに基づいて、上述した訓練システムＴ、Ｓのいずれか１つによって訓練されているものとしての、機械学習モデルＧ１＝ＣＲに基づく。ＧＡＮセットアップが使用されるが、これは本明細書において必須ではない。
【0174】
ステップＳ７１０において、新たなイメージ（データセットＴＤの一部でない）が事前訓練済み機械学習モデルに供給される。新たなイメージＸは、例えば、Ｘ線イメージング装置によって取得されている。好ましくは、イメージＸは、造影剤（患者に先行して投与されている）がＸ線イメージング装置の視野（ＦＯＶ）内に存在している間に取得されている。
【0175】
機械学習モデルＣＲ、ＣＢは、供給されたイメージＸを処理して、ステップＳ７２０において、ＩＱ補正イメージ
、例えば、コントラスト補正イメージ
を計算する。コントラスト補正イメージ
が出力される。
【数36】
【数37】
【数38】
【0176】
特に、補正イメージ
内のコントラストは、入力イメージＸ内のコントラストよりも高い。実施形態において、事前訓練済み機械学習モデルは、機械学習段及び分析段の２つの部分を含む。それらの部分は連続的に動作する。機械学習段は、上述した訓練済みコントラスト低減器ＣＲ、Ｇ１、上述したコントラストブースタＣＢなどの、後続する分析段を含む。最初に、コントラスト低減器ＣＲ、Ｇ１が、入力イメージＸのコントラストを低減して、コントラスト低減イメージを生成する。初期イメージ及びコントラスト低減イメージに基づいて、入力イメージにすでに存在するレベルのコントラスト分布が推定される。そのように推定されたコントラストは、その後、コントラストブースタＣＢによって線形的に又は非線形的に増幅（「強調」）される。線形的に作用する実施形態において、コントラストブースタＣＢは、乗算的に、点ごとにコントラスト推定値に適用される増幅器係数βを含むように構成されている。そのように増幅されたコントラストは、その後、元の入力イメージＸに加えられて、コントラスト補正イメージ
が得られる。増幅器又は強調係数βは、固定であるか、又は、ユーザが調整可能である。
【数39】
【数40】
【0177】
機械学習モデルの動作の結果として、コントラスト補正イメージ
の補正コントラストはグローバルではなく、ローカルに焦点を絞ったものである。特定的には、コントラスト補正は、すでに造影剤を表すイメージ部分においてより顕著である。したがって、機械学習モデルのステップＳ７２０における補正動作は、コントラストを表すそれらの１つ又は複数の領域においてのみ、コントラストを増大させることになる。他の画像領域は、（適用可能なマージン内で）変化せずに残されるか、又は、そのような領域においてコントラストが依然として補正される場合、これは、入力イメージＸの領域内のコントラストを表す領域内よりも低い程度まで行われる。
【数41】
【0178】
上述したローカルに焦点を絞ったコントラスト補正は、少なくとも部分的に、訓練を制御するための目的関数の一部としてのサイクル一貫性チェッカ関数の使用を含む、機械学習部分ＣＲが訓練された様式に起因する。同様の、ローカルに作用する補正が、アーティファクト又はノイズなどの他のＩＱメトリックについて得られる。
【0179】
Ｘが、造影剤／薬がＦＯＶ内に存在しない間に、及び／又は、量／濃度が閾値を下回る場合に取得される入力イメージということになった場合、出力イメージ
は、本質的に、入力イメージＸのコピーである。したがって、処理ステップは、入力イメージのＩＱに関して非対称である。
【数42】
【0180】
ここで、上述したような訓練システムＴＳフレームワークにおいて対象の機械学習モデルＣＲ、Ｇ１を訓練するコンピュータ実施方法の流れ図を示す図８を参照する。フレームワークは、複数のＭＬモデルを含む。方法の以下のステップは、モデルを使用して訓練出力イメージを計算することを含む。訓練出力イメージに基づいて、目的関数が、１回又は複数回の反復において現在の（又は初期）パラメータセットを調整することによって、最適化手順において改善される。下記に言及するＭＬモデルは、初期又は現在のパラメータセットを有すると仮定される。モデルがニューラルネットワークタイプモデルである場合、上記パラメータは、例えば、図６において上述したような、畳み込みタイプネットワーク（ＣＮＮ）の場合、様々な層及び／又はフィルタ要素内のネットワークノードの重みを含む。
【0181】
ステップＳ８１０において、初期訓練イメージが、訓練データから引き出される。セットは、上述したような造影及び非造影イメージの、少なくとも２つのクラスのイメージを含む。訓練画像は、合成訓練データを含む。関連する方法を、図９においてより詳細に後述する。
【0182】
まず、ステップＳ８１０において造影イメージ
が受信される／引き出されると仮定すると、これは、ステップＳ８２０において、第１の機械学習モデルによって処理される。第１の機械学習モデルは、第１の訓練出力イメージＩを出力する。概して、第１の機械学習モデルは、訓練中に、初期入力訓練イメージ
と比較して低減したコントラストを有する第１の訓練出力イメージＩを生成するように、入力イメージに対して作用するように構成される。
【数43】
【数44】
【0183】
実施形態において、第１の機械学習（「ＭＬ」）モデルは生成タイプのものである。しかし、これは好ましくは、任意選択的にＧＡＮネットワークの一部であり、ＧＡＮネットワークは、複数のＭＬモデルを含む、上述したような（グローバル）トレーニングシステムフレームＴＳの一部を形成する。ＧＡＮネットワークは、第１のＭＬモデルに加えて、別の機械学習モデル、好ましくは弁別器タイプのモデルＤＳを含む。
【0184】
弁別器モデルＤＳは、任意選択のステップＳ８３０において、第１の訓練出力イメージＩを処理して、出力イメージを高コントラスト又は低コントラストのうちの一方に分類しようとする分類試行を表す分類結果を計算する。言い換えれば、Ｓ８３０における分類ステップは、訓練出力イメージが第１のＭＬモデルによって（人工的に）生成されたか否か、又は、初期訓練データセットの低コントラストカテゴリから引き出されたか否かを弁別するようなものである。
【0185】
ステップＳ８４０において、コントラスト低減訓練出力イメージＩが再び増大されて、第２の訓練出力イメージ
が生成される。ステップＳ８４０におけるこのコントラスト増大／コントラスト強調動作は、特に、コントラスト低減イメージ及びステップＳ８１０において引き出されるものとしての初期高コントラストイメージに基づく。コントラスト増大／コントラスト強調動作Ｓ８４０において、スケーリング係数が使用される。特に、初期入力イメージ及び第１の出力イメージが、１つ又は複数のそのようなスケーリング係数を使用して線形結合される。加重和が使用される。さらにより詳細には、実施形態において、ステップＳ８４０において、第１の出力イメージから初期入力イメージを減算することによって、「ベースコントラスト」が推定される。ベースコントラストは、その後、スケール係数と乗算することによって強調され、スケーリング結果は、その後、初期入力イメージに加算される。理想的には、「ベースコントラスト」は、所与のイメージ内に存在する／符号化されている生来のコントラストを表す。ベースコントラストは、上記イメージが取得されたときに、ノイズ次第の、イメージャＩＡのＦＯＶ内に存在した造影剤の量／濃度によって引き起こされたイメージ情報（イメージＩに符号化されているものとしての）の部分である。
【数45】
【0186】
そのようにコントラスト補正された
イメージは、その後、ステップＳ８５０において、ステップＳ８１０において引き出された初期造影イメージを複製しようとする試行において、第３のＭＬモデルを使用して再びコントラストを低減される。この第３のＭＬモデルは、好ましくは同じく生成タイプのものであり、結果、提案されている訓練方法のための訓練システムＴＳのＭＬフレームワークは、生成タイプの２つのＭＬモデルを含む。
【数46】
【0187】
ステップＳ８６０において、上記で言及した２つ又は３つの機械学習モデルのパラメータが、目的関数（又はコスト関数の系）を改善するように調整される。目的関数の値は、上記で得られた訓練出力イメージ及び現在の分類結果に依存する。ここでも、弁別器モデルＤＳは任意選択である。
【0188】
上記ステップＳ８１０～Ｓ８６０は、任意選択的に新たな分類結果及び新たな訓練出力イメージを得るために、ステップＳ８１０において引き出された１つ又は複数の初期訓練イメージについて１回又は複数回の反復において繰り返される。コスト関数は、任意選択の新たに得られた分類結果及び新たな訓練出力イメージに依存し、任意選択の先行する分類結果及び先行する訓練出力イメージにさらに依存する。特定的には、目的関数がコスト関数である場合、すべての以前の又は以前の１つ若しくは複数の訓練入力イメージに対して、累積コストが考慮に入れられる。訓練入力イメージは、１つずつ、又は初期訓練データセットからのサブセットにおいて、引き出され、処理され得る。サブセットは、バッチとして参照されることがある。
【0189】
一定回数の反復の後、及び、複数のそのような初期訓練入力イメージが処理された後、訓練は完了する。訓練は、停止条件が満たされたときに完了する。停止条件は、ユーザ発行信号、プリセット回数の反復、セット内のすべての若しくは一定割合の訓練イメージが処理されたことを受けて、又は、ＭＬパラメータにおいて十分な収束度が検出されたことを受けて、である。訓練が完了したことを受けて、フォローアップステップＳ８７０において、第１のＭＬモデルＧ１、ＣＲが、訓練済みモデルコントラスト補正システムの一部として利用可能になり、これはその後、展開中に使用される。イメージ補正のための訓練済みＭＬモデルは、展開中にステップＳ８４０を実施するために使用されるものとしての、固定又はユーザ調整可能コントラストブースタパラメータを含む、分析後処理段をさらに含む。
【0190】
分類動作Ｓ８３０及び２つのコントラスト低減Ｓ８２０、Ｓ８５０のための上述したＭＬ構成要素が、意図したとおりに動作し得るように、ステップＳ８６０において、そのパラメータが、１回又は複数回の反復において、複数の初期訓練入力イメージに対して調整される。ＮＮタイプＭＬモデルの順逆伝播技法などの、勾配ベースの方法が使用され、訓練コントローラＴＣが、目的関数の勾配を評価する。前述したように、本明細書において、目的関数がコスト関数であり、目的関数の改善がコストの低減であることが仮定される。しかしながら、改善がコストの低減又は最小化ではなく、効用の増大又は最大化のうちの一方である場合、この動作原理は効用関数にも容易に適用可能であるため、これは決して、本明細書において記載されている事項を限定しない。
【0191】
コスト関数によって返されるコストは、ｉ）任意選択的にステップＳ８３０において計算される分類結果、及び、ｉｉ）ステップＳ８１０における最初に引き出された低／高コントラスト画像と、復元ステップＳ８５０において生成された第２の訓練出力イメージとの間の逸脱に基づく。上記逸脱が小さい場合、被るコストはより低い。任意選択の弁別器に関して、コスト関数は、任意選択の分類結果が正確である場合、より低いコストを裁定するように（下記により詳細に説明するように）構成される。同時に、正確な分類結果に関して上記ｉ）において裁定されたコストに対して敵対的に、コスト関数（又はコスト関数の系内の別のコスト関数）は、第１のＭＬモデルが、弁別器による不正確な分類結果をもたらすようにコントラストが低減された第１の出力イメージを生成しようとする場合に、より低いコストを裁定する。これら２つの敵対的目的は、反復中に、ゲーム理論的均衡に向かって収束することが示されている。
【0192】
関与するＭＬモデルのパラメータの十分な収束度が達成されると、システムＴＳは、造影及び非造影の２つのカテゴリからの訓練イメージに関して非対称に挙動する。特定的には、ステップＳ８１０において、低コントラスト初期訓練入力イメージが引き出される場合、イメージが上述した処理ステップＳ８１０～Ｓ８５０を通過するとき、これは本質的にそのまま維持される。特に、ステップＳ８６０において出力される第２の訓練出力イメージは、ほぼ、初期入力イメージのコピーである。これは、間にコントラストが強調される２サイクルのコントラスト低減を受ける高コントラストイメージについては異なり、さらに、ステップＳ８６０において出力される第２の訓練出力イメージは、依然として、初期入力イメージの近似コピーであると予測される。したがって、訓練システムは、低コントラスト入力画像を維持し、高コントラスト入力画像を復元する（サイクル中の上記コントラスト変化にかかわらず）。訓練システムＴＳのこの非対称挙動は、特に、上記で言及したサイクル一貫性チェッカコスト関数ＣＣ（）によって強制される。
【0193】
特に、コントラスト補正入力画像に関するこのアップ・ダウンサイクルが、システムＴＳが、真のコントラスト差をより良好に学習し、したがって、造影剤の存在を表すイメージ部分のみをコントラスト補正することを目的とする機械学習モデルを生成することを可能にする。
【0194】
上述したコスト関数（又はコスト関数の系）は、より詳細に後述するような訓練コントローラＴＣによって実施される。訓練コントローラＴＣは、ソフトウェア若しくはハードウェアにおいて、又は部分的に両方において実装される。
【0195】
前述したように、訓練システムＴＳは、コスト関数の系を使用する。特定的には、機械学習、すなわち、ＭＬパラメータの調整は、訓練コントローラＴＣによって、コスト関数に基づいて制御される。コスト関数は、学習されるパラメータを数、すなわち「コスト」にマッピングするスカラー関数である。広範には、コントローラＴＣは、コストが低減されるように、一部又はすべてのＭＬモデルのパラメータを調整する。この動作は、本明細書においては「コスト関数の改善」として参照される。最適化が目的関数としての効用関数に関して定式化される場合、これは、ＭＬパラメータ調整の関数として効用を増大させることによって改善される。
【0196】
いくつかの又は各コスト関数自体が、下位コスト関数構成要素を含む。サブコスト関数構成要素は、それぞれの（上位）コスト関数をもたらすために、例えば加法的に組み合わされる。したがって、下位コスト関数は、（上位）コスト関数の項として理解される。しかしながら、各下位コスト関数は、それだけでコスト関数であり、本目的のために、単一の上位コスト関数に関する単一の最適化（最小化）、又は、各下位コスト関数のそれぞれの（部分）最適化を含む最適化の系を定式化することと等価である。
【0197】
以下において、「コスト関数」を参照するとき、これは、訓練システム内のＭＬモデルのフレームワークによって生成される入力及び出力に関して訓練システムの上述した挙動を強制するためにともに使用されるコスト関数の系の一部である。したがって、本明細書において「コスト」関数が参照される場合、これは、訓練システムにおいて付加的に使用される他のコスト関数を除外するものではない。一般に、コスト関数は、入力画像と出力画像との間の関係（例えば、類似度）を測定する適切な距離／逸脱速度Ｌ（）を使用する。本明細書において使用されるものとしての「入力」及び「出力」は、訓練システムＴＳの初期入力（イメージ）及び最終出力（イメージ）を指すだけでなく、データが図２～図８において上述したような訓練システムＴＳの様々な段を通過するときに生成される様々な中間入力／出力画像も指す。コスト関数の項は、本明細書においては、パラメータ又はそのようなパラメータから得られ得る結果の特定の望ましい特性を強制するための、任意選択的に本明細書において想定されている正則化器として参照される。
【0198】
コスト関数は、コントラスト低減器（第１の生成器Ｇ１）、任意選択の弁別器ＤＳ、及び復元器ＲＳ（第２の生成器Ｇ２）に関して（主に）動作しているものの間で区別され得る。しかしながら、本明細書において使用されるものとしてのコスト関数の一部又はすべては相互依存であり、下記に論じるように、一度に又は交互にすることによって順番に、ともに最適化されることは理解されたい。コスト関数は、出力／入力画像に関して定式化されるだけでなく、（少なくとも）３つのＭＬモデルのパラメータに関しても定式化される。したがって、１つのＭＬモデルのコスト関数は、他の（少なくとも２つの）ＭＬモデルのパラメータも参照し、それによって、言及した相互依存性を引き起こす。訓練コントローラＴＣによって実施されるものとしての訓練システムＴＳのコスト関数系Ｅは、本明細書においてはＥ＝（ＥＧ１，ＥＤＳＥＧ２）として示される。実施形態において、提案されている最適化は、最小化と最大化の両方を含む。
【0199】
ここで、まず、第１の生成器Ｇ１のコスト関数ＥＧ１を参照すると、これは、任意選択的に、第１のＧＡＮと弁別器との間の敵対的関係を表すＧＡＮ項を含む。加えて又は代わりに、さらなるコスト関数である、一貫性チェッカ関数ＣＣ（）が存在する。生成器
の２つのコスト関数を１つの（上位）コスト関数に組み合わせると、このコスト関数は、形式的には、以下の最小化タスクとして表記される。
【数47】
【数48】
【0200】
式中、
は、第１の生成器
のパラメータを表し、（１）（及び、以下の式にもある）における総和は、訓練セットＴＤの訓練入力画像
にわたるものである。式（１）及び下記において、λｉ’は、各項の最適化における寄与を調整するために使用され得る任意選択の制御パラメータである。これらの制御パラメータは、一般に、メタパラメータであり、最適化において調整されず、したがって、学習されない。一部又はすべてのλｉ’は単位元である。
【数49】
【数50】
【数51】
【0201】
ここで、まず、サイクル一貫性チェッカコスト関数又は正則化関数ＣＣ（）を参照すると、これは、造影イメージ及び非造影イメージに対して動作して、両方のクラスからのイメージに対して恒等作用素としてグローバルに作用するように、訓練システムの上述した挙動を強制する。
【0202】
サイクル一貫性チェッカ正則化関数は、以下のように表記される。
【数52】
【0203】
Ｍは、造影剤寄与測度であり、ｘは、いずれかのクラスＣ、ＮＣからのイメージである。「∝」は、前述したコントラストスケーリング／強調係数であり、これは好ましくは＞１の正の数である。スケーリング係数は、言及したようにユーザによって調整され得るが、好ましくは訓練中は固定されたままである。スケーリング係数は、展開中は、訓練に使用される１つの∝以外の値βに変更され、結果、ユーザは、コントラスト強調の強度を（例えば、ユーザインターフェースＵＩによって）調整し得る。Ｌ（・）は、例えば、Ｌ１ノルム若しくは２乗Ｌ２ノルムコスト関数、それらの両方の総和、又は加重和などの、上記で言及した類似性測度である。
【0204】
（２ａ）を最小化することによって、コスト関数Ｅは、復元器
の出力と初期入力ｘとの間の小さい逸脱についてはより小さいコストを被る。このようにして、訓練システムは、両方のクラスからの画像に対する恒等作用素挙動を近似するように、最適化においてそのパラメータを調整される。
【数53】
【0205】
したがって、コスト関数ＥＧ１は、正則化／コスト関数ＣＣによって、造影及び非造影のいずれかのイメージクラスからのイメージについて、復元イメージ
と初期入力イメージｘとの間の逸脱を測定する。小さい逸脱はコストを小さくする。
【数54】
【0206】
（１）におけるコスト関数ＥＧ１は、追加の、任意選択のコスト（部分）関数又は正則化項（被加数）を含む。いくつかのそのような追加の項は、下記で式（３）～（５）において説明され、コントラストマップＭの予備知識及び予測を表す。正則化器（３）～（５）は、単独で又は組み合わせて、コントラスト増大などの、上述したローカルに焦点を絞ったＩＱ補正をさらになお改善する。
【0207】
例えば、マップＭの正則化項は、以下によって表現されるものとしての低ノイズ及び／又は粗度を有する解を促進するように構成される。
【数55】
【0208】
式中、（・）＋は整流関数（その引数の正の部分として定義される）であり、Ｎｍａｐは、例えば、本出願人の米国特許第８，９３８，１１０号又は米国特許第１，０２８，２８２号に記載されているようないくつかの手法を使用して生成され得る、一部の又は各ピクセルについて断片的に標準偏差又は分散マップに基づいて計算される、
のノイズマップであり、Ｒ（・）は、粗度ペナルティ又は正則化項（例えば、全変動、Ｈｕｂｅｒ損失関数又は任意の他の適切な測度）である。項（３）又は任意の他のそのような同様の項は、式（２ｂ）において上記で説明したような造影薬／剤の寄与又はイメージ内の部分を表す造影剤マップ
（ヨウ素マップなど）の区分的に滑らかな解を促進する。
【数56】
【数57】
【0209】
追加の項として（１）に含まれる別の任意選択の正則化項は、以下のとおりである。
【数58】
【0210】
イメージにコントラストを加えることによって、強度／ＨＵが増大するのみであり得る（これはイメージアーティファクト次第で真である）ため、この項は、正の（≧０）造影剤マップを促進する。マップによる負の寄与は、非現実的であり、項（４）又は同様の項が、最適化中に正のマップの計算を正則化／促進する。
【0211】
追加の項として（１）に含まれる別の任意選択の正則化項は、以下のとおりである。
λ５Ｌ（Ｍ（Ｉｉ）） （５）
λ５Ｌ（Ｍ（Ｉｉ）） （５）
【0212】
非造影入力イメージＩは、ＦＯＶ内に造影剤が存在しない状態で取得されたと仮定されるため、この項は、非造影入力イメージＩの低コントラストマップを有する解を促進する。コスト関数Ｅは、すべての項（３）～（５）、任意の単一の項、又は、式（３）～（５）の任意の（部分）組合せを含む。
【0213】
ここで、任意選択のＧＡＮセットアップをより詳細に参照すると、これは、Ｇ１とＤとの間の敵対的関係をｍｉｎ－ｍａｘ最適化として定式化するために、２つのコスト関数を必要とする。
【0214】
それらの項のうちの１つ、すなわち、第１の生成器Ｇ１の項は、（１）において
として定式化されており、第１の生成器Ｇ１が、偽分類結果を生成する弁別器ＤＳをもたらす出力の生成に成功しない場合、コストをより高くするように構成される。特定的には、第１の生成器Ｇ１のコスト関数の最小化タスクは、フェイクイメージについて弁別器によって予測される逆確率の対数を最小化することである。したがって、生成器は、フェイクイメージである確率が低いサンプルを生成する傾向にある。
【数59】
【0215】
他方のＧＡＮコスト関数ＥＤＳ、すなわち、弁別器ＤＳのコスト関数は、以下のように構成される。
【数60】
【0216】
（６）は、交差エントロピーに関する２項分類として定式化される。このコスト関数は、弁別器が生成器
によって出力されるものとしての画像Ｉを正確に分類しない場合に、コストをより高くするように構成されている。したがって、コスト関数ではなく効用関数である弁別目的関数は、真正イメージの対数確率及びフェイクイメージの逆確率の対数の平均を最大化するように構成される。
【数61】
【0217】
すべて代替的な実施形態において本明細書で想定される最小２乗ＧＡＮコスト関数又はワッサースタインＧＡＮコスト関数などの、（１）、（６）以外のＧＡＮセットアップも想定される。ＧＡＮセットアップは、そのロバスト性のために本明細書において好適ではあるが、本明細書において必須ではない。ＧＡＮステップが使用されない場合、コスト関数式（６）は必要とされず、コスト関数式（１）の
項も必要とされない。この場合、第１の生成器Ｇ１は、（少なくとも２つの）イメージカテゴリＣ、ＮＣにおいて訓練データセットからＩＱ低減サンプルを生成するように適切に訓練可能である任意の生成ネットワークであり得る。
【数62】
【0218】
ここで、第２の生成器Ｇ２である、復元器ＲＳのコスト関数ＥＧ２を参照すると、これは、サイクル一貫性正則化／コスト関数ＣＣ（）に関して以下のように構成され得る。
【数63】
【0219】
このコスト関数は、（１）と同様に、両方のクラスＣ、ＮＣからのイメージに対して作用するときに、復元器Ｇ２の恒等作用素挙動を促進する。
【0220】
目的関数（系）Ｅ＝（ＥＧ１，ＥＤＳ，ＥＧ２）式（１）、（６）及び（７）に関するこの最適化は、交互最適化手順を使用して行われる。この方式において、最適化は、２つ又は３つのコスト関数、すなわち、ネットワーク
及び
（並びに、存在する場合は任意選択的に弁別器ＤＳ）のコスト関数の各々の最適化ステップの実施の間で順番に交互に、他の２つのモデルのパラメータを定数として処理しながら、行われる。交互最適化手順の一部の又は各ステップは、前述したように勾配ベースであり得る。想定される手法は、確率的勾配降下法を含む。例えば、Ｈ Ｒｏｂｂｉｎｓ他「Ａ ｓｔｏｃｈａｓｔｉｃ ａｐｐｒｏｘｉｍａｔｉｏｎ ｍｅｔｈｏｄ」、ｐｕｂｌ． Ａｎｎ Ｍａｔｈ Ｓｔａｔ． ２２、４００～４０７ページ（１９５１）、又はＤ Ｐ Ｋｉｎｇｍａ他「Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ」、ｐｕｂｌｉｓｈｅｄ ａｓ ａｎ ａｒＸｉｖ ｐｒｅ－ｐｒｉｎｔ ａｔ ａｒＸｉｖ：１４１２．６９８０ （２０１４）による「ＡＤＡＭ」アルゴリズムを参照されたい。共役勾配法、ネルダー－ミード法、又はさらには非勾配ベースのものなどの、他の最適化アルゴリズムも、実施形態において本明細書で想定されている。
【数64】
【数65】
【0221】
上記の学習タスクは、コスト関数Ｅによって制御される最適化問題として定式化されているが、本明細書において使用されるものとしての「最適化」は、必ずしも、大域最適が求められることを意味しない。ほとんどの用途にとって、局所最適で十分である。提案されているアルゴリズムが局所（又は大域）最適に収束するときでさえ、これが実際に達成されることは本明細書において必ずしも必要とされない。ほとんどの用途にとって、所定の誤差限界内の近似で十分である。ＭＬパラメータに相当の変化がないとき、反復は先行して中断される。
【0222】
加えて、訓練は、例えば、Ｍ Ｆｒｅｉｍａｎ他「Ｕｎｓｕｐｅｒｖｉｓｅｄ ａｂｎｏｒｍａｌｉｔｙ ｄｅｔｅｃｔｉｏｎ ｔｈｒｏｕｇｈ ｍｉｘｅｄ ｓｔｒｕｃｔｕｒｅ ｒｅｇｕｌａｒｉｚａｔｉｏｎ （ＭＳＲ） ｉｎ ｄｅｅｐ ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄｅｒｓ」、ｐｕｂｌ． Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ ４６（５）巻、２２２３～２２３１ページ（２０１９）によって記載されているように、混合構造正則化又はオートミキシングを使用することによってさらに改善又は増強され得る。特定的には、非コントラストイメージ及び造影イメージが、そのように混合される。
【0223】
コントラスト強調イメージの生成に加えて、提案されている方法はまた、仮想非造影（ＶＮＣ）イメージを含む、追加の有用な結果も提供し得る。例えば、ネットワーク
の出力は、造影剤マップを
として算出するために使用され得る。
【数66】
【数67】
【0224】
上記で説明した訓練システムＴＳは、例えば、元の訓練データセットＴＤが十分な数の造影イメージ標本を含む場合、このセットのみに対して排他的に動作し得る。しかしながら、訓練が拡大訓練データセットＴＤ’に基づく場合、性能が改善され得る。言い換えれば、元の訓練データの代わりに又はそれに加えて、合成イメージが処理される。システムＴＳの動作は、図２～図８において上述したような合成画像と非常に類似しているが、コスト関数Ｅが、合成データに関する追加の依存性を導入するためのさらなる項（下記の式（８）参照）を含む。したがって、下記において、上述した訓練システムＴＳにおける訓練データ合成及び合成データの使用を、より詳細に説明する。合成データは、必ずしも上述したフレームワーク内にあるとは限らない、生成タイプの任意のＭＬモデルとともに使用される。データ合成方法は、訓練データに基づく任意のＭＬアルゴリズムとともに使用され得、その訓練データは、高ＩＱ及び低ＩＱイメージ標本を含む。
【0225】
ここで、データ合成方法の動作をより詳細に説明するために、図９の流れ図を参照する。そのように得られた合成データを使用することによって、上記で言及したような訓練システムＴＳの性能がまたさらに増強される。概して、提案されている訓練データ合成方法は、より有用な標本を追加して、さらにより多様な訓練データを導入することによって、利用可能な訓練データセットＴＤを拡大することを可能にする。１つのデータクラスの元の訓練データセットにおける初期統計バイアスが低減又は除去され得る。
【0226】
訓練データセットの品質は、訓練システムの性能、及び、最終的には訓練済みコントラスト補正ネットワークＣＲ、ＣＢの性能に著しい影響を及ぼすことが分かっている。これは、前述したように、コントラスト補正ＭＬ実施形態において、訓練データセットＴＤが、造影及び非造影の少なくとも２つのクラスのイメージを含むと仮定されるためである。しかしながら、２つのクラスにおけるそれらのイメージ間の差は、必ずしも、造影剤の投与のみに依存するとは限らない。例えば、造影画像と非造影画像との間の差を曖昧にし、したがって、訓練中にセットＴＤにおけるバイアス及び／又は過剰適合効果をもたらす可能性があり得るノイズ寄与及び／又は他の寄与が存在する。訓練システムは、造影画像と非造影画像との間の真の差に本質的には関連しないイメージ特徴に基づく誤った又は偽の相関を学習するように試行する。また、特定の投影方向は、高密度の解剖学的構造（骨など）の重複をもたらす。これによって、造影剤シグネチャと類似しているが、実際にはそうでなく、したがって、この場合も訓練システムＴＳの判断を誤らせるイメージ構造がもたらされる。
【0227】
造影剤の存在に関連しないイメージ構造差のこれらの外乱効果を保証するために、上記で言及したデータ合成器システムＤＳＳ及び関連する方法が、本明細書において提案される。データ合成方法は、拡大セットが、主に造影剤の存在によって引き起こされるイメージ内の差の分布のより良好なサンプルを形成するように、より大きい多様性を注入するために既存のデータセットに基づいて合成イメージを計算することを可能にする。
【0228】
提案されている合成器システムＤＳＳは、データ合成方法を実施する。合成器システムＤＳＳは、図３に示すようなデータ合成器ＤＳＹ構成要素を含む。提案されている合成器システムＤＳＳは、訓練データセットに対して準備段階において前もって動作させられる。しかしながら、そのような事前動作は必ずしもすべての実施形態において想定されているとは限らない。代替形態として、訓練システムＴＳの動作は、合成データ画像を「オンザフライ」で生成するために、データ合成器ＤＳＹの動作とインターリーブされ得る。合成イメージは、要求に応じて生成され、単独で又は複数まとめて訓練システムＴＳの入力パイプラインに、元の画像とともに特定の割合で供給される。その後、ランダム化スイッチ又はセレクタＳｗ３が、合成的に生成されたイメージ及び／又は元のイメージが処理のために訓練システムＴＳに供給されるように、拡大画像コーパスＴＤ’からイメージを選択する。その後、訓練システムＴＳは、現在の単一の訓練イメージ又は訓練イメージのバッチに対する上述した最適化の反復を、次の単一の訓練イメージ又は訓練イメージのバッチが引き出されるまで実行し、引き出された時点で、データ合成器ＤＳＹは、新たな合成イメージを計算し、以下同様である。したがって、このインターリーブ動作モードにおいて、拡大セットＴＤ’は、必ずしも全体が不揮発性メモリに記憶されるとは限らない。しかしながら、拡大セットＴＤ’は、データ合成器ＤＡが合成画像を前もって生成するときは、そのように記憶される。事前処理において、拡大データセットＴＤ’が最初に生成され、その後、システムＴＳによる訓練が開始する。
【0229】
データ合成器ＤＳＹの動作は、特定のイメージに対するイメージ修正のうちの１つとして理解され得る。実施形態において、非造影イメージは、データ合成器ＤＳＹによって、他のクラスのその造影相手方と同様である合成画像を生成するために操作される。このように、非コントラストグループは、合成データ、すなわち、合成高コントラストイメージによって置換され得るか、又は、好ましくは補完され得、その後、これらは、造影イメージの割合を増大させ、したがって、訓練を増強するために、元来の高コントラストイメージＣとともに処理される。したがって、いくつかの実施形態において、拡大訓練データセットは、元の造影クラス及び非造影クラス、並びに、加えて、合成イメージ
の３つの部分を含む。ここでも、これらは、低コントラストクラスＮＣからのイメージから導出されるが、それらの造影相手方の特性をキャプチャし、模倣するように、人工的に修正されている。したがって、非造影画像の相対的な割合が低減され得る。これは、第１の生成器Ｇ１、又は、モデルのシステム全体が本質的に、非造影イメージと遭遇するときに恒等作用素として作用する必要があった、図２～図４のマルチＭＬモデルフレームワークなどの、いくつかの実施形態において有利である。
【数68】
【0230】
この訓練方法は、十分に多様な訓練データを用いる事例においては良好に機能するが、訓練データ標本の数が少なく、造影標本が相対的に少ない場合は、機能する程度がより低い。そのような事例において、第１の生成器が、十分な割合の事例においてコントラスト低減器として作用するように訓練され得るより多くの造影イメージを有することが好適であり、これは、元の訓練データのほとんどが非造影イメージクラスＮＣのみに由来する場合には当てはまらない。提案されているデータ合成方法によって、訓練データは、その時点でより多くの造影標本、すなわち合成標本を含むように拡大され得る。
【0231】
広範には、実施形態において、方法の入力は、本明細書において前述のようにそれぞれＩ及び
として示されている、非造影イメージ及びコントラスト補正イメージを含む。データ合成方法の最終出力は
であり、これは、ここでより詳細に説明するようにそれらが導出された非造影イメージＩに対応する、合成的に生成された造影イメージセットである。
【数69】
【数70】
【0232】
データ合成方法は、所与の非造影イメージＩを他のセットＣの１つ又は複数のイメージ
と空間的に位置合わせするステップＳ９１０を含む。好ましくは、所与のイメージＩは、複数Ｎ＞１個の造影イメージ
の各々と位置合わせされる。実施形態において、位置合わせは、すべての利用可能な造影イメージ
に対して行われるが、これはすべての実施形態において必要とされるとは限らない。弾性レジストレーションアルゴリズムが使用されてもよい。任意の他の適切なレジストレーションアルゴリズムが使用されてもよい。したがって、この動作は、各々が位置合わせ品質を有するＮ個の位置合わせ結果をもたらす。それぞれの位置合わせ品質は、相互相関、差分二乗和、相互情報量Ｌ１コストなどのような複数の異なる位置合わせ品質メトリックのいずれか１つによって測定され得る。いくつかの単純な事例においては、剛体レジストレーションで十分であるが、ほとんどの事例においては、非剛体弾性レジストレーションアルゴリズムが、前述したように要求される。
【数71】
【数72】
【数73】
【0233】
ステップＳ９２０において、所与のイメージＩについて、複数の位置合わせされたイメージから、所与の位置合わせ品質閾値を超える造影イメージ
が選択される。そのような
が２つ以上存在する場合、ランダム選択が行われる。実施形態において、適用可能なメトリックによって最良の位置合わせ品質をもたらした（単一の）
が選択される。
【数74】
【数75】
【数76】
【0234】
後続する任意選択のステップＳ９３０において、所与のイメージＩ及び選択されたイメージ
が、（畳み込み）フィルタベースのアルゴリズム、特にガウスノイズベースのフィルタ、非線形フィルタ、ウェーブレット若しくはフーリエベースの方法、ブロックマッチング方法、統計的方法又は実際には機械学習ベースの方法などの、任意の所与のデノイザ／ノイズ低減アルゴリズムを使用してデノイズ／ノイズ低減される。例えば、ＧＡＮベースの手法が、ノイズ低減イメージを生成するために使用され得る。別のノイズ低減アルゴリズムが、本出願人の先に引用した米国特許第８，９３８，１１０号に記載されている。
【数77】
【0235】
ステップＳ９４０において、イメージ情報が、位置合わせされた画像の１つのクラスから他のクラスへと転移又は「移植」される。特定的には、任意選択的にノイズ低減された、選択されている造影イメージ
が、Ｉのノイズ低減された所与のイメージに付加される。ステップＳ９４０は、閾値に基づく。１つ又は複数の閾試験が定式化され得る。１つ又は複数の閾試験を満足する（任意選択的にノイズ低減された）選択されている造影イメージ
内のピクセルの強度値が、対応するピクセル位置において所与のイメージＩに付加される。そのようなピクセル対応は、前述の位置合わせによって利用可能である。対応するピクセル位置は、それぞれデノイズされたイメージＩ及び選択されているデノイズされた造影イメージ
について、ｊ及び
として示される。閾値化は、所与のピクセル位置におけるイメージ間ピクセル比較として実施される。例えば、そのようなイメージ間比較は、以下のように定式化される。すなわち、ピクセルｊの強度がピクセル
よりも低い場合、ピクセルｊの強度値は、ピクセル
の値に更新される。無関係のイメージ情報を、そのような比較試験に入力するのに不適格とするために、追加のガーディアン閾値化が使用される。
【数78】
【数79】
【数81】
【数80】
【数82】
【数83】
【0236】
例えば、２つのそのようなガーディアン閾値による試験が、以下のように定式化される。すなわち、ピクセルｊの強度が第１の閾値を超え、ピクセルｊの強度がピクセル
の強度よりも低く、且つ、ピクセル
の強度が第２の閾値よりも低い場合、ピクセルｊの強度値は、ピクセル
の値に更新される。しかしながら、第１の閾値及び／又は第２の閾値の使用は任意選択である。
【数84】
【数85】
【数86】
【0237】
閾値の目的は、関心のある値の範囲のいずれかの端又は両端の極値を有する領域を除外することである。例えば、Ｘ線において、吸収性の高い／放射線不透過性物体、及び、まったく吸収しないか又は無視できる程度にしか吸収しない物体が存在する。そのような物体は、極端な物体と呼ばれる。そのような極端な物体を表すピクセル値を含めることになった場合、ステップＳ９４０におけるイメージ間比較結果は歪曲される。第１の閾値は、脂肪／空気などのような、低吸収性物体を表す無関係の領域を除外するためのものである。第２の閾値は、金属インプラント、皮質骨、他の骨などのような、高吸収性物体を表す無関係の領域を除外するためのものである。ガーディアン閾値は、ＭＲＩなどの他のイメージングモダリティに対しては再定義される必要がある。しかしながら、そのようなガーディアン閾値の使用は任意選択である。単一のそのような閾値が、２つ以上の閾値の代わりに使用されてもよい。
【0238】
任意選択のステップＳ９５０において、ステップＳ９３０においてイメージＩから除去されたノイズ寄与を付加し戻すことによって、最終合成イメージ
が得られる。ステップＳ９５０は、仮にノイズ除去ステップＳ９３０が行われた場合にのみ、必要とされる。そうでない場合、そのようなステップＳ９５０は存在しない。ステップＳ９３０、Ｓ９５０におけるノイズの考慮は、ステップＳ９４０における、ノイズ寄与が、多くの場合は閾値に基づく移植又は修正動作を損なうことを防止することである。
【数87】
【0239】
任意選択のステップＳ９６０において、合成画像（高ＩＱ及び／又は低ＩＱ）が、訓練システムＴＳなどの訓練システム又は上述した図８などの訓練方法にとって、特に対象のモデルＴＭなどの機械学習モデルを訓練するために利用可能になる。合成訓練画像が、有線又はワイヤレス接続を介して、又は、別の手段によって、処理のために訓練システムＴＳに転送される。合成訓練画像は、データメモリに記憶される。メモリは、後の段階において、（再）訓練が開始するときに、訓練システムＴＳにとってアクセス可能である。合成画像は、進行中の訓練動作のために「オンザフライ」で生成されるか、又は、事前に生成され、その後、データメモリに記憶され、訓練システムＴＳによって必要とされるときにアクセスされる。
【0240】
上記のステップは、クラスＮＣの非造影イメージの一部又は各々に対して繰り返される。いくつかの実施形態においては、上記の方法は、すべてのそのようなイメージではなく、非造影画像の特定の不可欠な割合／分数ｐ％に対してのみ繰り返すことで十分である。上記の不可欠な割合ｐ％は、上記の（又は別の）ユーザインターフェースＵＩ’を通じてユーザが調整可能である。新たに得られた合成イメージ
のセットは、元来の造影イメージ及び合成イメージを含む、造影イメージの割合がより大きい、元の訓練データセットＴＤを拡大する。したがって、新たな訓練データセットＴＤ’⊃ＴＤは、好ましくは、元々の非造影イメージＩ、元来の造影イメージ
、及び合成イメージ
を含む。
【数88】
【数89】
【数90】
【0241】
新たに作成された修正イメージ
を含めることによって、元の訓練セットはＴＤ’に拡大される。したがって、元のセット内のバイアスが除去又はシフトされ得、したがって、訓練システムＴＳの全体的な性能が改善される。上述した実施形態において、バイアスは、低コントラストイメージが優勢であるものである。合成的に作成された高コントラストイメージ
によって、新たな訓練データセットＴＤ’内の高コントラストイメージの全体的な割合が増大し、したがって、低コントラスト画像に向かう既存のバイアスが除去又は軽減される。代替的な実施形態においては、特に、生成タイプなどの他の訓練システムＴＳについて、代わりに、低コントラストクラスの標本の数を増大させることが望ましい。この事例において、ステップＳ９４０の動作は逆にされ、低コントラストイメージからのイメージ情報が、位置合わせされた高コントラストイメージのそれぞれのロケーションにおいて移植される。上記において、データ合成は、非造影画像からの造影画像の合成などの、高ＩＱクラスからの標本の合成に使用されている。しかしながら、代替的な学習セットアップにおいては、反対に合成する、すなわち、低ＩＱクラスからの標本を、その割合を増大させるために合成することが望ましい。例えば、この反転合成は、ＶＮＣ（「仮想非コントラスト」）画像を生成するようにネットワークＧ１を訓練するのに有用である。したがって、そのように訓練されたネットワークは、造影画像の形態の入力を受信し、コントラストが無いか又はコントラストが低減されたイメージを出力する。そのようなＶＮＣ画像は、展開において、以下の異なる動作によってヨウ素マップなどの造影薬ＣＭマップを生成するために使用される：「ヨウ素マップ」＝「造影イメージ」－「ＶＮＣ」。そのような造影薬マップはまた、図５のコントラストエンハンサによっても生成される。係数β＝２を有するコントラスト補正イメージが、そこから元の造影イメージが減算されるコントラスト強調イメージを得るために使用される。
【数91】
【数92】
【0242】
【0243】
式（８）などは、ノイズ低減合成イメージ
と非造影初期入力イメージとの間の逸脱が最小化されることを保証する任意選択の正則化項である。式（８）の初期入力イメージは、好ましくは、上記合成造影イメージを導出するために使用されたものである。そのようなコスト関数／正則化式（８）を使用すると、システムの一貫性及び性能が改善される。式（８）などは、ノイズ低減器
が、合成的に付加されたコントラスト寄与のみを除去することが可能であることを補償する。それ以上でも、以下でもない。したがって、上記で言及した焦点を絞ったコントラスト補正の特性がさらに助長され得る。しかしながら、コスト関数のそのような追加の項は、必ずしも、データ合成が使用されるすべての実施形態に必要とされるとは限らず、訓練を改善するのに好適である。したがって、被加項としての式（１）の式（８）部分によって、さらなる依存性が導入され、それによって、この時点で、最適化は
として表記される。合成画像
が存在しない場合、項（８）は必要ない。訓練データが取得画像及び合成イメージ
を含むように混合される場合、この項は、必要に応じて、例えば、λ８をゼロに設定することによってオン／オフに切り替えられる。項（８）のこのアクティブ化は、処理済み画像が合成イメージ
を含むか否かにかかわらず、例えば、訓練コントローラＴＣによって行われる。
【数94】
【数95】
【数96】
【数97】
【数98】
【数99】
【0244】
上述した訓練データ合成方法は、合成イメージ標本と、その元の相手方との間の必然的なペアリングをもたらすことが理解されよう。上記で簡潔に言及したように、コントラスト補正の例において、必然的なペアリングは、合成造影イメージ
とその元の非造影入力イメージＩｉとの間のものである。第１の生成器Ｇ１のコスト（１）において、その後、そのように対になったイメージが式（８）に使用されることが好ましい。言い換えれば、パラメータ調整は、所与のイメージ対によって導入されるような逸脱に依存する。より詳細には、上記のステップＳ８６０において、パラメータは、低減器の出力と、元のセットからのその対の元の非造影相手方との間の逸脱（Ｌによって測定される）に基づいて調整される。図１～図８において上述したような元の元来の造影画像に基づく訓練が、合成画像に加えて使用されるが、実施形態において、訓練は、元の非造影相手方に関連する合成画像のみに制約される。これによって、訓練がより迅速に収束する。
【数100】
【0245】
データ合成方法及びシステムＤＳＳは、ｋ最近傍方式、又は、元の訓練データセットが変更／拡大される必要がある他のクラスタリングアルゴリズムなどの、非モデルベースの訓練方式とともに使用されることがさらに理解されよう。しかし、モデルベースのＭＬが想定される場合であっても、提案されているデータ合成システム及び方法は、図２～図４において上述したマルチＭＬモデルＧ１、Ｇ２、ＤＳセットアップに結びつけられない。データ合成は、所望のＩＱを有する画像の例を生成するために、好ましくは生成タイプの単一のモデルＧ１のみがイメージ補正のために訓練されることになる他の訓練セットアップの利益とともに使用される。
【0246】
データ合成器ＤＳＹは、ハードウェア若しくはソフトウェア、又は部分的に両方において実装される。方法について上記で言及したように、データ合成器ＤＳＹは、ＭＬパラメータを調整するために訓練システムの動作とともにオンザフライでインターリーブモードで動作するか、又は、必要な数の合成イメージを前もって計算するために先行する段階において動作し、合成器ＤＳＹが必要な数の合成イメージを計算すると、訓練システムが始動する。
【0247】
上述した訓練システムＴＳ、コントラストエンハンサＳＩＥ（図５）及びデータ合成器ＤＳＹは、イメージコントラスト補正について説明されているが、記載されている原理は、アーティファクト及びノイズ低減を含む、他のタイプのイメージ品質（ＩＱ）補正にも等しく適用される。したがって、上記は、他のタイプのＩＱに容易に拡張され得、訓練セットＴＤ内の画像の２つのカテゴリは、ここでは高品質画像及び低品質画像の２つのクラスであり、例えば、一方における高ＩＱ標本の低アーティファクト寄与又は低ノイズの画像、及び、他方における低ＩＱ標本の高アーティファクト寄与又は高ノイズの画像である。
【0248】
例えば、アーティファクトに関連するＩＱについて、第１の生成器Ｇ１は、この実施形態においてはアーティファクト寄与を増大させるように動作し、一方、ノイズに関連するＩＱについて、第１の生成器Ｇ１は、ノイズを増大させる。コントラスト以外のそのようなＩＱ実施形態において、サイクル一貫性チェッカＣＣ（）の測度関数Ｍは、ピクセル近傍による標準偏差などによって、局所的ノイズを測定するように構成されている。他のノイズフィルタが使用されてもよい。アーティファクトの存在に関するＩＱについて、測度関数Ｍは、カップアーティファクト、リング、縞などのような、特定の関心のあるアーティファクトイメージパターンに同調されている高い応答を有する、空間又は周波数ドメインのフィルタとして構成される。
【0249】
他のＩＱタイプのための図９のデータ合成方法と同様に、ステップＳ９４０において、位置合わせされた高ＩＱ相手方イメージによってアーティファクト／ノイズが除去される。関心のあるＩＱがノイズである場合、ステップＳ９３０、Ｓ９５０は任意選択であり、省略され得る。したがって、概して、本明細書において提案されているデータ合成方法において、高ＩＱ及び低ＩＱの２つの画像クラスを有する初期訓練データセットを所与として、１つのクラスの画像からのイメージ情報が、他のクラスの相手方画像に転移又は移植される。相手方は、位置合わせによって規定され、イメージ情報の転移は、相手方ピクセル位置における強度値の閾値化及び加算／減算によって実施される。イメージ転移動作を規定するために、乗算／除算が、加算／減算の代わりに、又は、加算／減算と組み合わせて使用されてもよい。図９の方法は、コントラストに関連するＩＱを参照して説明したが、これは、ノイズレベル及びアーティファクト深刻度などの他のＩＱに適用されてもよい。解像度に関連するＩＱの場合、イメージ転移動作Ｓ９４０は、アップ／ダウンサンプリング動作などを含む。ノイズレベルに関連するＩＱの場合、説明した加算／減算イメージ情報転移の代わりに、又は、それに加えて、デノイザアルゴリズムが使用される。
【0250】
本明細書において使用されるものとしての修飾語句「高」／「低」は、所与のＩＱが、所与の高ＩＱイメージ標本において、低ＩＱイメージ標本においてよりも良好であることを示す。
【0251】
本明細書において開示されている１つ又は複数の特徴は、コンピュータ可読媒体内に符号化されている回路として／によって、及び／又はその組合せで構成又は実施される。回路は、ディスクリート及び／又は集積回路、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）、及びそれらの組合せ、機械、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含む。
【0252】
本発明の別の例示的な実施形態において、適切なシステム上で、先行する実施形態のうちの１つによる方法のステップを実行するように適合されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
【0253】
それゆえ、コンピュータプログラム要素は、同じく本発明の一実施形態の一部であり得る、コンピュータユニット上に記憶され得る。このコンピューティングユニットは、上述した方法のステップを実施するか、又は、実施を誘導するように適合される。その上、コンピューティングユニットは、上述した装置の構成要素を操作するように適合される。コンピューティングユニットは、自動的に動作し、及び／又は、ユーザの命令を実行するように適合され得る。コンピュータプログラムが、データプロセッサの作業メモリにロードされる。したがって、データプロセッサは、本発明の方法を実行するように装備される。
【0254】
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、更新によって既存のプログラムを、本発明を使用するプログラムにするコンピュータプログラムの両方をカバーする。
【0255】
さらに、コンピュータプログラム要素は、上述したような方法の例示的な実施形態の手順を満たすのに必要なすべてのステップを提供することが可能であり得る。
【0256】
本発明のさらなる例示的な実施形態によれば、ＣＤ－ＲＯＭなどのコンピュータ可読媒体が提示され、コンピュータ可読媒体は、コンピュータプログラム要素を記憶されており、コンピュータプログラム要素は、先行する節によって説明されている。
【0257】
コンピュータプログラムは、他のハードウェアとともに又はその一部として供給される光記憶媒体又はソリッドステート媒体のような、適切な媒体（特に、必須ではないが、非一時的媒体）上に記憶及び／又は分散されるが、インターネット又は他の優先若しくはワイヤレス電気通信システムを介して、他の形態で分散されてもよい。
【0258】
しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなモデルを介して提示されてもよく、そのようなモデルからデータプロセッサの作業メモリにダウンロードすることができる。本発明のさらなる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードに利用可能にする媒体が提供され、コンピュータプログラム要素は、本発明の前述の実施形態のうちの１つによる方法を実施するように構成されている。
【0259】
本発明の実施形態は、複数の異なる手段を参照して説明されていることに留意されたい。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明されており、一方、他の実施形態は、デバイスタイプの請求項を参照して説明されている。しかしながら、当業者は、上記及び以下の説明から、別途注記されない限り、１つのタイプの主題に属する特徴の任意の組合せに加えて、異なる主題に関係する特徴間の任意の組合せも、本出願によって開示されると推測することになる。しかしながら、すべての特徴を組み合わせて、特徴を単純に加えることを超える相乗効果を提供することができる。
【0260】
図面及び上記の説明において本発明が詳細に図解及び説明されているが、そのような図解及び説明は限定ではなく実例又は例示と考えられるべきである。本発明は開示されている実施形態に限定されるものではない。当業者は、図面、本開示、及び従属請求項を研究することから、特許請求されている本発明を実践することにおいて、開示されている実施形態に対する他の変形形態を理解し、実行することができる。
【0261】
特許請求の範囲において、「備える」という単語は、他の要素又はステップを除外せず、単数形の要素は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲内で記載されているいくつかの項目の機能を満たす。特定の方策が相互に異なる従属請求項に記載されているというだけのことは、これらの方策の組合せを好都合に使用することができないということを示すものではない。特許請求の範囲内の任意の参照符号は、それらの範囲を限定されるようには解釈されないものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】