特許 7572733 磁気共鳴画像からの合成電子密度画像の生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-16

(45)【発行日】2024-10-24

(54)【発明の名称】磁気共鳴画像からの合成電子密度画像の生成

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241017BHJP

   G06T 1/00 20060101ALI20241017BHJP

【ＦＩ】

G06T7/00 350C

G06T1/00 290B

【請求項の数】 24

(21)【出願番号】P 2021563284

(86)(22)【出願日】2020-04-24

(65)【公表番号】

(43)【公表日】2022-06-27

(86)【国際出願番号】 SE2020050415

(87)【国際公開番号】W WO2020218967

(87)【国際公開日】2020-10-29

【審査請求日】2023-03-31

(31)【優先権主張番号】1930141-5

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】SE

(73)【特許権者】

【識別番号】507094898

【氏名又は名称】スペクトロニク エービー

【氏名又は名称原語表記】Ｓｐｅｃｔｒｏｎｉｃ ＡＢ

【住所又は居所原語表記】Ｋａｒｂｉｎｇａｔａｎ ３６， Ｓ－２５４ ６７ Ｈｅｌｓｉｎｇｂｏｒｇ， Ｓｗｅｄｅｎ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】カール シヴェアソン

【審査官】新井 則和

(56)【参考文献】

【文献】特表２０１８－５３５７３２（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４８５０７（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０４８５７５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／００４２８８５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

解剖学的部位の合成電子密度画像（ｓＣＴ）を生成するためのコンピュータ実装による方法であって、
画像伝達関数の係数を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を受け取るステップ（６０１）と、
前記解剖学的部位の現在の磁気共鳴ＭＲ画像セットを受け取るステップ（６０２）と、
前記機械学習モデル（ＭＬＭ_Ｔ）を前記現在のＭＲ画像セットに対し作用させることにより、前記画像伝達関数の現在の係数（［Ｃ］）を計算するステップ（６０４）と、
前記現在のＭＲ画像セットに対し、前記画像伝達関数に従って前記現在の係数（［Ｃ］）を作用させることにより、前記解剖学的部位の現在の合成電子密度画像（ｓＣＴ）を計算するステップ（６０６）と、
を含む方法。

【請求項2】

前記係数を予測するように前記機械学習モデル（ＭＬＭ_Ｔ）をトレーニングして、参照画像（ＣＴ）と、前記参照画像（ＣＴ）に対応するＭＲ画像に対し前記画像伝達関数に従って前記係数を作用させることにより生成された合成電子密度画像（ｓＣＴ）との間の類似基準を達成する、
請求項１に記載のコンピュータ実装による方法。

【請求項3】

前記現在の係数（［Ｃ］）は、前記現在のＭＲ画像セットにおける個々のピクセルロケーションについて、１つ又は複数の現在のピクセル係数を含む、
請求項１又は２に記載のコンピュータ実装による方法。

【請求項4】

前記機械学習モデル（ＭＬＭ_Ｔ）を、前記１つ又は複数の現在のピクセル係数をピクセルロケーション間において変化させることができるようにトレーニングする、
請求項３に記載のコンピュータ実装による方法。

【請求項5】

前記１つ又は複数の現在のピクセル係数は、ピクセルロケーション間において変化する、
請求項３又は４に記載のコンピュータ実装による方法。

【請求項6】

個々の前記ピクセルロケーションの周囲の予め定義された領域内におけるピクセル係数のばらつきの制約を順守しながら、前記１つ又は複数のピクセル係数を前記ピクセルロケーション間において変化させることができるように、前記機械学習モデル（ＭＬＭ_Ｔ）をトレーニングする、
請求項３から５までのいずれか１項に記載のコンピュータ実装による方法。

【請求項7】

前記現在の合成電子密度画像（ｓＣＴ）を計算するステップ（６０６）は、前記画像伝達関数に従って、前記現在のＭＲ画像セットにおける個々の前記ピクセルロケーションにある１つ又は複数のピクセル値に対し、前記１つ又は複数の現在のピクセル係数を作用させて、前記現在の合成電子密度画像（ｓＣＴ）の対応するピクセル値を生成するステップを含む、
請求項３から６までのいずれか１項に記載のコンピュータ実装による方法。

【請求項8】

前記現在の係数（［Ｃ］）を計算するステップ（６０４）は、１つ又は複数の係数行列（Ｋ，Ｍ）に、個々の前記ＭＲ画像内のピクセルに対応する行列要素において現在のピクセル係数を代入するステップを含む、
請求項３から７までのいずれか１項に記載のコンピュータ実装による方法。

【請求項9】

前記現在の合成電子密度画像（ｓＣＴ）を計算するステップ（６０６）は、前記画像伝達関数に従って要素ごとに、前記現在のＭＲ画像セットにおけるピクセル値に対し前記１つ又は複数の係数行列（Ｋ，Ｍ）を作用させるステップを含む、
請求項８に記載のコンピュータ実装による方法。

【請求項10】

前記現在の係数（［Ｃ］）を計算するステップ（６０４）は、前記機械学習モデル（ＭＬＭ_Ｔ）を前記現在のＭＲ画像セットに対し作用させる前に、前記現在のＭＲ画像セットの第１のリサンプリングを含み、
当該方法はさらに、受け取った前記現在のＭＲ画像セットにおける前記ピクセル値に対し、前記画像伝達関数に従って要素ごとに、前記１つ又は複数の係数行列（Ｋ，Ｍ）を作用させる前に、前記１つ又は複数の係数行列（Ｋ，Ｍ）の第２のリサンプリングを含む、
請求項９に記載のコンピュータ実装による方法。

【請求項11】

前記第１のリサンプリングによって、前記現在のＭＲ画像セットの解像度が、トレーニングされた前記機械学習モデル（ＭＬＭ_Ｔ）によって予期される解像度に変更され、前記第２のリサンプリングによって、前記１つ又は複数の係数行列（Ｋ，Ｍ）の解像度が、前記現在のＭＲ画像セットの解像度と等しいターゲット解像度に変更される、
請求項１０に記載のコンピュータ実装による方法。

【請求項12】

前記第１のリサンプリングは、ダウンサンプリングであり、前記第２のリサンプリングは、アップサンプリングである、
請求項１０又は１１に記載のコンピュータ実装による方法。

【請求項13】

前記画像伝達関数は、多項式関数又はアフィン関数である、
請求項１から１２までのいずれか１項に記載のコンピュータ実装による方法。

【請求項14】

前記機械学習モデル（ＭＬＭ_Ｔ）は、人工ニューラルネットワークＡＮＮを含む、
請求項１から１３までのいずれか１項に記載のコンピュータ実装による方法。

【請求項15】

解剖学的部位の合成電子密度画像（ｓＣＴ）を生成するためのコンピュータ実装による方法であって、
画像伝達関数の係数を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を受け取るステップ（６０１）と、
前記解剖学的部位の現在の原画像セットを受け取るステップ（６０２）と、
前記機械学習モデル（ＭＬＭ_Ｔ）を前記現在の原画像セットに対し作用させることにより、前記画像伝達関数の現在の係数（［Ｃ］）を計算するステップ（６０４）と、
前記現在の原画像セットに対し、前記画像伝達関数に従って前記現在の係数（［Ｃ］）を作用させることにより、前記解剖学的部位の現在の合成電子密度画像（ｓＣＴ）を計算するステップ（６０６）と、
を含む方法。

【請求項16】

プロセッサ（９２）によって実行されるときに、前記プロセッサ（９２）に請求項１から１５までのいずれか１項に記載の方法を実施させるためのコンピュータ命令（９４）を含むコンピュータ可読媒体。

【請求項17】

解剖学的部位の合成電子密度画像（ｓＣＴ）を生成するための装置であって、当該装置は、プロセッサ（９２）を含み、前記プロセッサ（９２）は、
画像伝達関数の係数（［Ｃ］）を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を受け取り、
前記解剖学的部位の現在の磁気共鳴ＭＲ画像セットを受け取り、
前記機械学習モデル（ＭＬＭ_Ｔ）を前記現在のＭＲ画像セットに対し作用させることにより、前記画像伝達関数（ＩＴＦ）の現在の係数（［Ｃ］）を生成し、
前記現在のＭＲ画像セットに対し、前記画像伝達関数に従って前記現在の係数（［Ｃ］）を作用させることにより、前記解剖学的部位の現在の合成電子密度画像（ｓＣＴ）を生成する
ように構成されている、装置。

【請求項18】

解剖学的部位の現在のＭＲ画像を生成するように構成されている磁気共鳴撮像装置（１０）と、
前記現在のＭＲ画像を受け取るように配置されている請求項１７に記載の装置と、
を含むシステム。

【請求項19】

解剖学的部位の磁気共鳴ＭＲ画像セットの関数として前記解剖学的部位の合成電子密度画像（ｓＣＴ）を生成する際に使用するために、画像伝達関数の係数を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を提供するコンピュータ実装による方法であって、
（ａ）前記機械学習モデル（ＭＬＭ*）を初期化するステップと、
（ｂ）１つ又は複数のＭＲ画像と１つ又は複数の参照画像（ＣＴ）とを含むトレーニングデータを取得するステップと、
（ｃ）前記画像伝達関数の予測された係数（［Ｃ］*）を生成するために、前記１つ又は複数のＭＲ画像に対し前記機械学習モデル（ＭＬＭ*）を作用させるステップと、
（ｄ）前記画像伝達関数に従って、前記１つ又は複数のＭＲ画像に対し前記予測された係数（［Ｃ］*）を作用させて、１つ又は複数の予測された合成電子密度画像（ｓＣＴ*）を生成するステップと、
（ｅ）少なくとも、前記参照画像（ＣＴ）と前記１つ又は複数の予測された合成電子密度画像（ｓＣＴ*）とに基づいて、予め定義された費用関数を評価するステップと、
（ｆ）前記機械学習モデル（ＭＬＭ*）のためのモデルパラメータ値を求めるステップと、
（ｇ）予め定義された基準が満たされるまで、前記モデルパラメータ値についてステップ（ｂ）乃至（ｆ）を繰り返すステップと、
（ｈ）前記機械学習モデル（ＭＬＭ_Ｔ）のためのモデルパラメータ値を出力するステップと、
を含む方法。

【請求項20】

解剖学的部位の磁気共鳴ＭＲ画像セットの関数として前記解剖学的部位の合成電子密度画像（ｓＣＴ）を生成する際に使用するために、画像伝達関数の係数を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を提供する方法であって、
（ａ）前記機械学習モデル（ＭＬＭ*）を初期化するステップと、
（ｂ）前記画像伝達関数の予め計算されたターゲット係数（［Ｃ］_ＴＡＲ）を取得するステップと、
（ｃ）前記画像伝達関数の予測された係数（［Ｃ］*）を生成するために、１つ又は複数のＭＲ画像に対し前記機械学習モデル（ＭＬＭ*）を作用させるステップと、
（ｄ）少なくとも、前記予測された係数（［Ｃ］*）と前記予め計算されたターゲット係数（［Ｃ］_ＴＡＲ）とに基づいて、予め定義された費用関数を評価するステップと、
（ｅ）前記機械学習モデル（ＭＬＭ*）のためのモデルパラメータ値を求めるステップと、
（ｆ）予め定義された基準が満たされるまで、前記モデルパラメータ値についてステップ（ｂ）乃至（ｅ）を繰り返すステップと、
（ｇ）前記機械学習モデル（ＭＬＭ_Ｔ）のためのモデルパラメータ値を出力するステップと、
を含む方法。

【請求項21】

前記予測された係数（［Ｃ］*）は、前記１つ又は複数のＭＲ画像内の個々のピクセルロケーションについて、１つ又は複数の予測されたピクセル係数を含み、
当該方法はさらに、前記機械学習モデル（ＭＬＭ*）が前記ピクセルロケーション間において１つ又は複数のピクセル係数を変化させることができるようにするステップを含む、
請求項１９又は２０に記載のコンピュータ実装による方法。

【請求項22】

個々の前記ピクセルロケーションの周囲の予め定義された領域内のピクセル係数のばらつきの制約を適用するステップをさらに含む、
請求項２１に記載のコンピュータ実装による方法。

【請求項23】

前記ばらつきの制約を、前記機械学習モデル（ＭＬＭ*）によって、又は、前記予め定義された費用関数によって、又は、前記予測された係数（［Ｃ］*）を処理することによって適用する、
請求項２２に記載のコンピュータ実装による方法。

【請求項24】

プロセッサ（９２）によって実行されるときに、前記プロセッサ（９２）に請求項１９から２３までのいずれか１項に記載のコンピュータ実装による方法を実施させるためのコンピュータ命令（９４）を含むコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して医療用撮像の分野に関し、より詳細には、例えば体外放射線治療のプランニングに使用する目的において、磁気共鳴画像から合成電子密度画像を生成するための技術に関する。

【背景技術】

【0002】

背景技術
例えば癌などの放射線治療の慣用のプランニングの場合、患者の解剖学的部位についてコンピュータ断層撮影（ＣＴ）画像が取得され、これが、治療計画を最適化するための基礎として使用される。ＣＴ又は「ＣＴスキャン」とは、様々な角度から物体を通過するときの放射線、典型的にはＸ線の減衰を測定し、測定された減衰に基づいて物体の２Ｄ画像又は３Ｄ画像（「断層像」）を再構築する医療用撮像技術のことを指す。これにより、結果として得られたＣＴ画像の値は、物体が放射線にどのように反応するかを表しており、また、それらの値を電子密度、例えばいわゆるハウンズフィールド単位（ＨＵ）にダイレクトに変換して、放射線の線量を計算するために使用することができる。

【0003】

治療計画を作成する際には、放射線療法のためのターゲット領域、例えば若干のマージンを加えた１つ又は複数の腫瘍を描出することも必要とされる。最小限の放射線に晒さなければならない敏感で必要不可欠な臓器である、いわゆるリスク臓器（ＯＡＲ）を描出することが必要とされることも多い。ＣＴの欠点は、軟組織構造をＣＴ画像において分離するのが難しいことである。従って、ＣＴ画像のみを使用した描出は、当て推量及び大きいマージンを必然的に伴うこととなる。この問題を軽減するために、現代の放射線療法には、補助としてＭＲＩスキャンが含まれることも多い。ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）とは、強力な磁場、磁場勾配及び電波を用いて、体内の臓器及び構造物の２Ｄ又は３Ｄの断層画像を生成する撮像技術のことを指す。ＭＲＩは、電離放射線を含まず、より正確なターゲット及び構造の描出を可能にする上質の軟組織コントラストを提供する。しかし、ＭＲ画像は、電子密度情報を含まないので、従来は、放射線治療計画においてＣＴ／ＭＲＩを組み合わせたワークフローが用いられていた。ＣＴ／ＭＲＩを組み合わせたワークフローは、コストが高く、時間がかかり、さらに患者に余計な不快感も与える。しかも、ＣＴ自体によって患者にかなりの放射線量が加えられ、これによって、患者にＣＴを繰り返し使用することが制限される。

【0004】

これらの欠点を克服するために、ＭＲＩのみのワークフローが提案されており、これによれば、ＭＲＩデータがアルゴリズムによって処理されて、電子密度画像が人工的に生成され、このことは、「擬似ＣＴ」、「代用ＣＴ」又は「合成ＣＴ（ｓＣＴ）」として知られているが、これによって、ＣＴスキャンの必要性が排除される。この状況における１つの大きい難題は、ＭＲ画像内の個々のピクセル強度と、組織の関連する放射線減衰特性との間の対応関係の欠如である。ＭＲＩ強度は、むしろ、組織の陽子密度及び磁気緩和と相関している。このことから、ＭＲ画像内の複数の組織間に曖昧さがもたらされる。例えば、骨と空気は、著しく異なる放射線減衰特性を有しているにもかかわらず、ＭＲ画像においては、それらは両方とも暗く見える。

【0005】

ｓＣＴのための公知の技術をおおまかに３つのカテゴリに分けることができ、即ち、アトラスに基づくアプローチ、セグメンテーションに基づくアプローチ、及び、学習に基づくアプローチに分けることができる。

【0006】

アトラスに基づくアプローチは、予めマッチングされたＭＲ画像及びＣＴ画像のデータベースを使用し、これは、ＭＲアトラス及びＣＴアトラス又はＭＲテンプレート及びＣＴテンプレートと称される。この場合には、データベースからのＭＲアトラスが、到来した新たなＭＲ画像により変形されることによって登録され、その後、組み合わせられたＣＴアトラスに同様の変形が適用されて、ｓＣＴ画像が生成される。アトラスに基づくアプローチは、一般にかなり時間がかかる。

【0007】

セグメンテーションに基づくアプローチは、Ｍｅｄ．Ｐｈｙｓ．４１，０１１７０４（２０１４）に掲載されたＫｏｒｈｏｐｒｏｎｅｎらによる記事“Ａ ｄｕａｌ ｍｏｄｅｌ ＨＵ ｃｏｎｖｅｒｓｉｏｎ ｆｒｏｍ ＭＲＩ ｉｎｔｅｎｓｉｔｙ ｖａｌｕｅｓ ｗｉｔｈｉｎ ａｎｄ ｏｕｔｓｉｄｅ ａ ｂｏｎｅ ｓｅｇｍｅｎｔ ｆｏｒ ＭＲＩ－ｂａｓｅｄ ｒａｄｉｏｔｈｅｒａｐｙ ｔｒｅａｔｍｅｎｔ ｐｌａｎｎｉｎｇ ｏｆ ｐｒｏｓｔａｔｅ ｃａｎｃｅｒ”に例示されている。軟組織及び骨組織のための変換モデルは、それぞれ、例えば回帰分析などによって、ＭＲ画像及び標準ＣＴ画像における明確に定義された関心領域（ＲＯＩ）内のバルク強度値を比較することにより決定される。その後、到来した新たなＭＲ画像が手動でセグメント化され、個々の変換モデルが個々のセグメントに適用されて、ＭＲ画像がｓＣＴ画像に変換される。このアプローチは、組織のセグメント化に左右され、これは、ＭＲ画像に対し高精度で自動的に実施することが難しい場合がある。さらに解剖学的構造をいくつかの組織タイプに分けると、実際の解剖学的構造の粗い近似がもたらされる。

【0008】

学習に基づくアプローチは、第１の医療用撮像モダリティから第２の医療用撮像モダリティへダイレクトに変換するために、機械学習法のトレーニング及び使用を伴う。ＭＲ画像をｓＣＴ画像に変換するために畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングする技術は、Ｍｅｄ．Ｐｈｙｓ．，４４（４），１４０８～１４１９頁（２０１７）に掲載されたＸｉａｏ Ｈａｎによる記事“ＭＲ－ｂａｓｅｄ ｓｙｎｔｈｅｔｉｃ ＣＴ ｇｅｎｅｒａｔｉｏｎ ｕｓｉｎｇ ａ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｅｔｈｏｄ”に開示されている。画像間のダイレクトなマッピングについての同様の開示は、国際公開第２０１８／０４８５０７号に示されている。実際には、この技術は、２０１７年以前から科学コミュニティにおいては、よく知られていた。例えば、ＭＲ画像をＰＥＴ画像に変換するために畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングする技術は、Ｍｅｄ Ｉｍａｇｅ Ｃｏｍｐｕｔ Ｃｏｍｐｕｔ Ａｓｓｉｓｔ Ｉｎｔｅｒｖ．２０１４；１７（０ ３）：３０５～３１２に掲載されたＬｉらによる記事“Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｉｍａｇｉｎｇ Ｄａｔａ Ｃｏｍｐｌｅｔｉｏｎ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｂｒａｉｎ Ｄｉｓｅａｓｅ Ｄｉａｇｎｏｓｉｓ”に開示されている。また、ＭＲ画像を推定ＣＴ画像に変換するために機械学習法を使用する方法については、ＩＥＥＥ Ｔｒａｎｓ Ｍｅｄ Ｉｍａｇｉｎｇ．２０１６年１月；３５（１）：１７４～１８３に掲載されたＨｕｙｎｈらによる記事“Ｅｓｔｉｍａｔｉｎｇ ＣＴ Ｉｍａｇｅ ｆｒｏｍ ＭＲＩ Ｄａｔａ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｒａｎｄｏｍ Ｆｏｒｅｓｔ ａｎｄ Ａｕｔｏ－ｃｏｎｔｅｘｔ Ｍｏｄｅｌ”、及び、Ｍｅｄ．Ｐｈｙｓ．４２（８），２０１５年８月に掲載されたＳｕらによる記事“Ｇｅｎｅｒａｔｉｏｎ ｏｆ ｂｒａｉｎ ｐｓｅｕｄｏ－ＣＴｓ ｕｓｉｎｇ ａｎ ｕｎｄｅｒｓａｍｐｌｅｄ，ｓｉｎｇｌｅ－ａｃｑｕｉｓｉｔｉｏｎ ＵＴＥ－ｍＤｉｘｏｎ ｐｕｌｓｅ ｓｅｑｕｅｎｃｅ ａｎｄ ｕｎｓｕｐｅｒｖｉｓｅｄ ｃｌｕｓｔｅｒｉｎｇ”に開示されている。

【0009】

学習に基づくアプローチは、一般に、マッチングされたＭＲ画像及びＣＴ画像の大きいトレーニングセットを使用し、このトレーニングセットによって、人工ニューラルネットワーク（ＡＮＮ）又はこれに類するものが、到来したＭＲ画像に基づいてｓＣＴ画像を生成するようにトレーニングされる。トレーニングにおいてＡＮＮは、トレーニングセット全体を基礎として、ピクセル周辺の有限の近傍（受容野）に基づき、ピクセル各々に構造化されていない非線形関数を適合させるようにする。これが意味することは、トレーニングセット内のＭＲ画像とＣＴ画像とのマッチングにおいて小さい誤差があると、ｓＣＴにおいて微細なディテールが失われる、ということである。

【先行技術文献】

【特許文献】

【0010】

【文献】国際公開第２０１８／０４８５０７号

【非特許文献】

【0011】

【文献】“Ａ ｄｕａｌ ｍｏｄｅｌ ＨＵ ｃｏｎｖｅｒｓｉｏｎ ｆｒｏｍ ＭＲＩ ｉｎｔｅｎｓｉｔｙ ｖａｌｕｅｓ ｗｉｔｈｉｎ ａｎｄ ｏｕｔｓｉｄｅ ａ ｂｏｎｅ ｓｅｇｍｅｎｔ ｆｏｒ ＭＲＩ－ｂａｓｅｄ ｒａｄｉｏｔｈｅｒａｐｙ ｔｒｅａｔｍｅｎｔ ｐｌａｎｎｉｎｇ ｏｆ ｐｒｏｓｔａｔｅ ｃａｎｃｅｒ”、Ｋｏｒｈｏｐｒｏｎｅｎら著、Ｍｅｄ．Ｐｈｙｓ．４１，０１１７０４（２０１４）

【文献】“ＭＲ－ｂａｓｅｄ ｓｙｎｔｈｅｔｉｃ ＣＴ ｇｅｎｅｒａｔｉｏｎ ｕｓｉｎｇ ａ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｅｔｈｏｄ”、Ｘｉａｏ Ｈａｎ著、Ｍｅｄ．Ｐｈｙｓ．，４４（４），１４０８～１４１９頁（２０１７）

【文献】“Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｉｍａｇｉｎｇ Ｄａｔａ Ｃｏｍｐｌｅｔｉｏｎ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｂｒａｉｎ Ｄｉｓｅａｓｅ Ｄｉａｇｎｏｓｉｓ”、Ｌｉら著、Ｍｅｄ Ｉｍａｇｅ Ｃｏｍｐｕｔ Ｃｏｍｐｕｔ Ａｓｓｉｓｔ Ｉｎｔｅｒｖ．２０１４；１７（０ ３）：３０５～３１２

【文献】“Ｅｓｔｉｍａｔｉｎｇ ＣＴ Ｉｍａｇｅ ｆｒｏｍ ＭＲＩ Ｄａｔａ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｒａｎｄｏｍ Ｆｏｒｅｓｔ ａｎｄ Ａｕｔｏ－ｃｏｎｔｅｘｔ Ｍｏｄｅｌ”、Ｈｕｙｎｈら著、ＩＥＥＥ Ｔｒａｎｓ Ｍｅｄ Ｉｍａｇｉｎｇ．２０１６年１月；３５（１）：１７４～１８３

【文献】“Ｇｅｎｅｒａｔｉｏｎ ｏｆ ｂｒａｉｎ ｐｓｅｕｄｏ－ＣＴｓ ｕｓｉｎｇ ａｎ ｕｎｄｅｒｓａｍｐｌｅｄ，ｓｉｎｇｌｅ－ａｃｑｕｉｓｉｔｉｏｎ ＵＴＥ－ｍＤｉｘｏｎ ｐｕｌｓｅ ｓｅｑｕｅｎｃｅ ａｎｄ ｕｎｓｕｐｅｒｖｉｓｅｄ ｃｌｕｓｔｅｒｉｎｇ”、Ｓｕら著、Ｍｅｄ．Ｐｈｙｓ．４２（８），２０１５年８月

【発明の概要】

【発明が解決しようとする課題】

【0012】

発明の概要
本発明の課題は、従来技術の１つ又は複数の限界を少なくとも部分的に克服することである。

【0013】

更なる課題は、解剖学的部位のＭＲ画像に基づき合成電子密度画像を生成する技術を提供することである。

【0014】

また更なる課題は、自動化可能なかかる技術を提供することである。

【0015】

他の課題は、高レベルのディテール及び精度で合成電子密度画像を生成可能な技術を提供することである。

【課題を解決するための手段】

【0016】

これらの課題のうちの１つ又は複数、及び、以下の説明から明らかになる可能性のあるさらなる課題は、独立請求項に記載された、解剖学的部位の合成電子密度画像を生成するためのコンピュータ実装による方法及び装置、機械学習モデル、トレーニング済み機械学習モデルを提供するためのコンピュータ実装による方法、並びに、コンピュータ可読媒体によって、少なくとも部分的に達成され、これらの独立請求項の実施形態は、従属請求項によって特定される。

【0017】

さらにその他の課題は、同様に本発明の特徴、態様及び技術的効果も、以下の詳細な説明、添付の特許請求の範囲及び図面から明らかになるであろう。

【0018】

次に、本発明の実施形態について、添付の概略図を参照しながら、さらに詳細に説明する。

【図面の簡単な説明】

【0019】

【図1】例示的なＭＲＩのみの撮像システムのブロック図である。

【図2】本開示のいくつかの実施形態による撮像システムのブロック図である。

【図3A】図２の撮像ステムにおいて使用される機械学習モデルをトレーニングするためのシステムのブロック図である。

【図3B】図３Ａのシステムにおけるトレーニング装置の詳細なブロック図である。

【図3C】図３Ａのシステムにおいて使用するためのトレーニングデータを示す図である。

【図4A】トレーニングに使用されるＭＲ画像及びＣＴ画像と、従来技術によって生成された結果として生じたｓＣＴ画像とについて、簡略化された例を示す図である。

【図4B】トレーニングに使用されるＭＲ画像及びＣＴ画像と、本開示のいくつかの実施形態による方法によって生成された結果として生じたｓＣＴ画像とについて、簡略化された例を示す図である。

【図4C】トレーニングに使用されるＭＲ画像及びＣＴ画像と、本開示のいくつかの実施形態による方法によって生成された結果として生じたｓＣＴ画像とについて、簡略化された例を示す図である。

【図5】本開示のいくつかの実施形態による撮像システムのブロック図である。

【図6】本開示のいくつか実施形態による、ＭＲ画像からｓＣＴ画像を生成するための方法のフローチャートである。

【図7】図６における方法の１つの実装形態の機能ブロック図である。

【図8A】図６の方法において後で使用するために機械学習モデルをトレーニングするための方法のフローチャートである。

【図8B】図８Ａにおける方法の実装形態の機能ブロック図である。

【図8C】図８Ａにおける方法の実装形態の機能ブロック図である。

【図9】本開示のいくつかの実施形態による、ｓＣＴ画像の生成方法及び／又は機械学習モデルのトレーニング方法を実装可能な装置のブロック図である。

【発明を実施するための形態】

【0020】

例示的な実施形態の詳細な説明
次に、本発明の実施形態を、添付の図面を参照しながら、以下においてより詳細に説明する。添付の図面には、本発明のいくつかの実施形態が示されているが、総てが示されているわけではない。実際には、本発明を多くの異なる形態で具現化することができ、本発明が本明細書に記載された実施形態に限定されるものと解釈されるべきではない。むしろそれらの実施形態は、本開示が適用可能な法的要件を満たすことができるように提供されたものである。同一の番号は、全体を通して同一の要素を指す。

【0021】

同様に理解されるであろうことは、可能である限り、本明細書において記載された及び／又は企図された本発明の実施形態のうちのいずれかの利点、特徴、機能、装置及び／又は動作態様のいずれかは、本明細書において記載された及び／又は企図された本発明の他の実施形態のいずれかに含まれ得るものであり、及び／又は、その逆もあり得るということである。このことに加えて、可能である限り、本明細書において単数形により表現されている任意の用語は、明示的に別段の記載がない限り複数形も含み、その逆もあり得るということを意味している。本明細書においては、「少なくとも１つ」は「１つ又は複数」を意味するものとし、これらの言い回しは、互いに置き換え可能であることを意図している。よって、本明細書においては、「１つ又は複数」又は「少なくとも１つ」という言い回しも使用されているとはいえ、不定冠詞単数形は、「少なくとも１つ」又は「１つ又は複数」を意味するものとする。本明細書においては、言語又は言語外の欠くことのできない意味を表現するために文脈が別段の要求をする場合を除き、用語「含む」又は例えば３人称単数形若しくは現在進行形といったその変形は、包括するという意味合いにおいて、即ち、記載された特徴の存在を明記するために使用されるが、本発明の種々の実施形態におけるさらなる特徴の存在又は追加を排除するために使用されるものではない。本明細書においては、複数の項目から成る「セット」は、１つ又は複数の項目を装備することを含意することを意図している。

【0022】

さらに、本明細書においては、種々の要素を説明するために、第１、第２などの用語が使用される場合があるが、それらの要素は、これらの用語によって限定されるべきものではないということを理解されたい。これらの用語は、ある要素を他の要素から区別するために用いられるにすぎない。例えば、本発明の範囲を逸脱することなく、第１の要素を第２の要素と称することができ、同様に第２の要素を第１の要素と称することができる。本明細書においては、「及び／又は」という用語は、関連する列挙された項目のうちの１つ又は複数の任意の組合せ及び総ての組合せを含む。

【0023】

本明細書においては、「合成電子密度画像」とは、電子密度に直接関連する信号値（「強度値」）を含むように計算によって生成される任意の種類の画像のことを指す。かかる画像は、Ｘ線放射を含むがこれらに限定されるものではない任意の波長範囲の放射を使用して、コンピュータ断層撮影（ＣＴ）により生成された電子密度画像を描写し、置換し又は補完し得るものである。以下の説明においては、簡潔にするために、合成電子密度画像は、「ｓＣＴ画像」と表記される。

【0024】

本明細書においては、「ＭＲ画像」とは、核磁気共鳴（ＮＭＲ）信号を検出するように構成された装置、例えば任意の構成のＭＲスキャナ、によって生成された任意の種類の画像のことを指す。図中において、ＭＲ画像は、「ＭＲＩ」により表されている。

【0025】

本明細書においては、「画像」を、２次元（２Ｄ）又は３次元（３Ｄ）とすることができる。３Ｄ画像は、空間的に隣接する２Ｄ画像のスタックに相当し、断層撮像の分野においては、一般に「画像スタック」と称される。２Ｄ画像各々は、撮像される物体の断面スライスに相当する。

【0026】

本明細書においては、１つの「ピクセル」は、１つの画像要素であり、１つのピクセル値に関連づけられている。２Ｄ画像において１つのピクセルのロケーションを、個々の２Ｄ画像に関して固定されたロケーションを有する２Ｄの規則的なグリッドにおいて、例えば（ｘ，ｙ）値によって、定義することができる。３Ｄ画像の場合には、ピクセルは、「ボクセル」としても知られており、ピクセルのロケーションを、個々の３Ｄ画像に関して固定されたロケーションを有する３Ｄの規則的なグリッドにおいて、例えば（ｘ，ｙ，ｚ）値によって、定義することができる。本明細書においては、１つのピクセルは、画像内の最小の個々の要素又はかかる要素のグループに対応するものとすることができる。

【0027】

本明細書においては、「行列」は、任意の次元の配列である。配列は、個々の値を代入可能な要素を含む。例えば、行列は、２次元又は３次元を有することができる。「行列」という用語を、本開示の文脈においては、「テンソル」と称する場合もある。

【0028】

本明細書においては、「機械学習モデル」とは、数値を予測するようにトレーニング可能な任意の種類の予測モデルのことを指し、以下に限定されるものではないが、これには、ディープラーニングネットワーク、リカレントニューラルネットワーク等といった人工ニューラルネットワーク（ＡＮＮ）、並びに、サポートベクターマシン（ＳＶＭ）及びベイジアンネットワーク等が含まれる。

【0029】

以下の説明においては、機械学習モデルは、ＭＬＭによって表され、ここで、トレーニング済みＭＬＭは、添字Ｔ（ＭＬＭ_Ｔ）によって示され、未トレーニングＭＬＭは、アスタリスク（ＭＬＭ*）によって示される。この文脈において、新しい入力データに対しトレーニング済みＭＬＭを作用させて結果を生成するプロセスは、一般に「推論」と称される。

【0030】

本発明の実施形態は、概して、１つ又は複数のＭＲ画像から合成電子密度情報を生成する分野に関する。合成電子密度情報の形成は、ＭＲに基づく放射線治療プランニングのために特に有用となる可能性がある。とはいえ、これを他の用途においても同様に使用することができる、ということを認識されたい。例えば合成電子密度情報を、陽電子放射断層撮影（ＰＥＴ）カメラ又は単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）カメラのための減衰情報として、使用することができる。合成電子密度は、陽子線治療プランニングにおいて使用するための陽子阻止能情報を構成することもできる。

【0031】

実施形態は、１つ又は複数のＭＲ画像に対し「最適化された」画像伝達関数を作用させることによって、既存の技術と比較して合成電子密度画像におけるディテール及び精度のレベルを改善することができるであろう、という洞察に基づいている。実施形態は、適当にトレーニングされた機械学習モデルがかかる「最適化された」画像伝達関数を提供することができるという洞察にも基づいており、従って、ＭＲ画像セットのパラメータ化された画像伝達関数を作用させることによって合成電子密度画像が得られるよう、到来したＭＲ画像セットについて画像伝達関数をパラメータ化するように、この関数をトレーニングすることができる。

【0032】

かくして従来の学習に基づくアプローチとは異なり、トレーニング済み機械学習モデルは、合成電子密度画像を直接出力するのではなく、むしろ画像伝達関数をパラメータ化し、画像伝達関数は、これによって、機械学習モデルへの入力に対し作用させられたときに、合成電子密度画像を生成するように調整されている。また、以下においてさらに例示するように、到来したＭＲ画像のセグメント化を必要とせずに、画像伝達関数をパラメータ化するように、機械学習モデルをトレーニング可能であり、これによって、この技術の汎用性が高まり、この技術を自動化することができ、従って、人間による主観的な入力なしで実施することができる。

【0033】

図１には、患者の解剖学的部位（図示せず）の１つ又は複数のＭＲ画像を生成するように構成されたＭＲＩ装置１０を含む、ＭＲＩのみの撮像システムが概略的に示されている。ＭＲＩ装置１０は、一般にスキャナとして知られており、当該技術分野においては周知であり、この装置についてこれ以上は説明しない。変換装置２０は、ＭＲ画像を受け取って処理し、ｓＣＴ画像を生成して出力するように構成されている。この場合には、背景技術のセクションで例示したように、放射線治療のプランニングのためにｓＣＴ画像をＭＲ画像と共に分析することができる。選択的に又は付加的に、ｓＣＴ画像が慣用のＣＴ装置によって取得されていたであろうＣＴ画像に取って代わる他の任意の目的のために、ｓＣＴ画像を分析することができる。

【0034】

図２は、１つの実施形態によるＭＲＩのみの撮像システムのさらに詳細な図である。図示の例においては、変換装置２０は、ＭＲ装置１０によって生成された複数のＭＲ画像［ＭＲＩ］が格納されている記憶装置又はストレージ１００からＭＲ画像を取り出すように構成されている。変換装置２０は、係数発生器２１を含み、この係数発生器２１は、トレーニング済み機械学習モデルＭＬＭ_Ｔ、２２を到来したＭＲ画像に対し作用させ、予め定義された画像伝達関数ＩＴＦの現在の係数セット［Ｃ］を生成して出力する。ＩＴＦは、ＭＲ画像内の１つ又は複数のピクセル値を入力（独立変数）として受け取り、ｓＣＴ画像内のピクセル値（従属変数）を生成するパラメトリック関数である。本明細書においては、「係数」は、独立変数に基づき従属変数を計算できるようＩＴＦを完成させるために必要とされる任意の未知の値を表す。換言すれば、係数は、ＩＴＦをパラメータ化するために適用される。１つの実施例によれば、ＩＴＦは、ｋ・Ｉ_ｐ＋ｍによって定められるアフィン関数であり、ここで、I_ｐは、到来したＭＲ画像におけるピクセル値であり、ｋ，ｍは、係数である。アフィンＩＴＦは、結果として生じるｓＣＴ画像の計算の複雑さと精度との間の合理的な妥協点を提供することが判明した。ただし、一般的には、ＩＴＦを、以下に限定されるものではないが、任意の次数の多項式関数を含む任意の適当な関数とすることができる。

【0035】

以下の実施例において前提とすることは、到来したＭＲ画像内の総てのピクセルに対し同一のＩＴＦが適用されるが、係数は、ＭＲ画像内のピクセルロケーション間において変化してもよいということである。よって、上述のアフィンＩＴＦをＫ・ＭＲＩ＋Ｍによって表すことができ、ここで、Ｋ及びＭは、ＭＲ画像ＭＲＩ内の個々のピクセル値に適用される係数を定義する行列である。従って、この実施例の場合、係数セット［Ｃ］は、Ｋ行列及びＭ行列を含む。

【0036】

なお、ここで述べておくと、変換装置２０は、ｓＣＴ画像を生成するために２つ以上のＭＲ画像に対し作用を及ぼすことができる。１つの実施例によれば、患者の種々の組織を強調するために、ＭＲ装置１０の１つの取得シーケンス中に２つ以上のＭＲ画像を生成することができ、例えば脂肪と水を別々に強調するいわゆるディクソン画像を生成することができる。かかるＭＲ画像は、当該技術分野においては、「マルチチャネル」ＭＲ画像として公知である。他の実施例によれば、ＭＲ装置１０の種々の取得シーケンスは、種々の画像コントラストを有するＭＲ画像を生成することができ、例えばいわゆるＴ１強調画像及びＴ２強調画像を生成することができる。１つ又は複数の取得シーケンスからの任意の２つ以上のＭＲ画像を、変換装置２０により一緒に処理して、ｓＣＴ画像を生成することができる。

【0037】

変換装置２０は、さらに、係数発生器２１から［Ｃ］を受け取り、ＩＴＦ２４をパラメータ化するために［Ｃ］を適用するように構成された画像変換器２３を含む。画像変換器２３は、さらに、現在のＭＲ画像、即ち、係数発生器２１によって処理された同一のＭＲ画像を受け取り、現在パラメータ化されているＩＴＦをＭＲ画像に適用して、現在のｓＣＴ画像を生成するように構成されている。一般に、パラメータ化されたＩＴＦによって、画像変換器２３は、現在の係数［Ｃ］をＩＴＦに従って現在のＭＲ画像に適用するものであるとみなすことができる。

【0038】

図３Ａには、図２の変換装置２０において使用するためのトレーニング済み機械学習モデルＭＬＭ_Ｔを生成するためのトレーニングシステムが示されている。このトレーニングシステムは、トレーニング済み機械学習モデルＭＬＭ_Ｔを生成する際に使用するために、マッチングされたＭＲ画像及びＣＴ画像を記憶装置２００から取り出すように構成されたトレーニング装置３０を含む。図示されているように記憶装置２００は、ＭＲＩ装置１０によって取得された複数のＭＲ画像［ＭＲＩ］と、慣用のＣＴ装置１２によって取得された対応する複数のリアルＣＴ画像［ＣＴ］とを格納する。これらの画像［ＭＲＩ］、［ＣＴ］は、いわゆるトレーニングセットを構成する。図３Ｃには、かかるトレーニングセット２１０が例示されており、このトレーニングセット２１０は、Ｎ個のマッチングされたＭＲ画像及びＣＴ画像を含む。ただし、これまで述べてきたことから理解できるように、２つ以上のＭＲ画像、例えばマルチチャネルＭＲ画像がトレーニングセット内のＣＴ画像にマッチングされ、従って、機械学習モデルをトレーニングするために使用される、ということも考えられる。さらに、図３Ｃには、トレーニングセット２１０がマッチングされた２Ｄ画像を含むように示されているが、トレーニングセット２１０がマッチングされた３Ｄ画像を含むことも同様に可能である。実際に現在のところ、変換装置２０（図２）によって生成されたｓＣＴ画像のディテール及び精度のレベルに関して、マッチングされた３Ｄ画像において機械学習モデルをトレーニングすれば、改善された性能が達成されると考えられており、その理由は、これによって、機械学習モデルは、ＭＲ画像及びＣＴ画像のｚ方向における構造も考慮するようにトレーニングされるからである。かかるトレーニング済み機械学習モデルを作用させる場合には、変換装置２０の改善された性能は、２ＤＭＲ画像又は３ＤＭＲ画像のいずれかについて達成される。

【0039】

トレーニング装置３０は、１人又は複数人の患者から取得された多数のマッチングされたＭＲ画像及びＣＴ画像に対し作用を及ぼすことができる。典型的には、数１０又はそれどころか数１００又はそれ以上に及ぶマッチングされた２Ｄ画像又は３Ｄ画像において、機械学習モデルをトレーニングすることができる。トレーニングセット内の画像を、患者において選択された解剖学的領域、例えば頭部、胴部、腹部、四肢など、について取得することができ、よって機械学習モデルを、選択された解剖学的領域から取得したＭＲ画像に対し特別に作用するようにトレーニングすることができる。

【0040】

図３Ｂは、１つの実施形態によるトレーニング装置３０のさらに詳細な図である。図示されている実施例によれば、トレーニング装置３０は、マッチングされたＭＲ画像及びＣＴ画像から成る現在のデータセットを、例えば記憶装置２００（図３Ａ）から取り出すように構成されている。トレーニング装置３０は、トレーニングすべき機械学習モデルＭＬＭ* ３２を有する係数予測器３１を含む。係数予測器３１は、係数発生器２１に相当するものであるが、フィードバックデータＦＢ*（以下を参照）に応答してＭＬＭ*のモデルパラメータを修正し、予測された係数セット［Ｃ］*を出力するように構成されている。トレーニング装置３０は、さらに画像変換器３３を含み、これは、画像変換器２３に相当するものであり、変換装置２０におけるＩＴＦ２４と同一のＩＴＦ３４をパラメータ化するために、［Ｃ］*を受け取って適用するように構成されている。画像変換器３３は、さらに、現在のデータセットのＭＲ画像を受け取り、現在のところパラメータ化されているＩＴＦをＭＲ画像に適用して、図３ＢにおいてｓＣＴ*により表された現在の予測されたｓＣＴ画像を生成するように構成されている。予測評価器３５は、補正アルゴリズムを適用してフィードバックデータＦＢ*を生成するように構成されている。１つの実施形態によれば、補正アルゴリズムは、現在のデータセットのｓＣＴ*画像及びＣＴ画像を入力として受け取る費用関数を最適化するように作用する。後でさらに例示するように、費用関数は、さらなる入力データ、例えば［Ｃ］*又はその一部、に対し作用を及ぼすことができる。

【0041】

図３Ｂの実施形態によれば、トレーニング装置３０は、ＭＬＭ*のパラメータ又は重みを学習するために、トレーニングセットに基づいてＭＬＭ*を自動的にトレーニングする。例えば費用関数によって定義された最適性基準に従って、パラメータを繰り返し学習させることができる。具体的には、参照画像とみなすことができるＣＴ画像とｓＣＴ*画像との間において類似基準が満たされるまで、トレーニング装置３０は、ＭＬＭ*をトレーニングするとみなすことができる。その後、トレーニング装置３０は、変換装置２０（図２）に後で組み込むために、トレーニング済み機械学習モデルＭＬＭ_Ｔを出力することができる（図２）。

【0042】

１つの非限定的な実施例によれば、機械学習モデルは、ディープラーニングのためのニューラルネットワーク、例えば畳み込みニューラルネットワーク（ＣＮＮ）、である。かかるニューラルネットワークは、入力を出力に変換するように構成された複数の別個の層から成るスタックを含む。これらの層を、入力サイズ、出力サイズ、及び、層に対する入力と出力との関係について、それぞれ異なるものとすることができる。各層を、複数の層から成るスタック内の１つ又は複数の上流層及び下流層に接続することができる。ディープラーニングの場合、畳み込みニューラルネットワークは、一般に、非線形特徴量変換の２つ以上のステージを有する。

【0043】

次に図４Ａ乃至図４Ｃを用いて、上述の記載に従ってパラメータ化されたＩＴＦを生成して使用することのいくつかの技術的な利点について、単純化された定性的な説明を行うことにする。

【0044】

図４Ａは、例えば背景技術のセクションで述べたように、トレーニング済みニューラルネットワークによってＭＲ画像からｓＣＴ画像へのダイレクトな画像間マッピングの従来技術について示すことを意図したものである。図４Ａの最上部には、マッチングされたＭＲ画像とＣＴ画像とが示されており、これらの画像各々は、個々のピクセルｐ１，ｐ２を含み、そこには、信号値（「強度値」）が例示されている。ＭＲ画像及びＣＴ画像は、両方とも逆Ｌ字構造を表しており、この逆Ｌ字構造によれば、ＭＲ画像（左最上部）内においては、ピクセル値０の背景に対しピクセル値１が生じており、ＣＴ画像（右最上部）内においては、ピクセル値１００の背景に対しピクセル値１０００が生じている。ＭＲ画像とＣＴ画像との間において、水平方向に１ピクセルのわずかな位置ずれが導入される。例えば、マッチングされたＭＲ画像及びＣＴ画像の３つの付加的なインスタンスによって図４Ａに表されているように、小さい位置ずれを含む多数のマッチングされたＭＲ画像及びＣＴ画像に基づいて、ニューラルネットワークがトレーニングされるとするならば、トレーニング済みニューラルネットワークは、左最上部に示されたＭＲ画像に基づいて、図４Ａの最下部に示されたｓＣＴ画像を生成する可能性がある。ｓＣＴ画像におけるピクセルｐ３の信号値から見ると、太い破線によって示されているように、逆Ｌ構造は、位置ずれによって著しくぼやけている。

【0045】

図４Ｂ乃至図４Ｃに示されている１つの実施形態によれば、図４Ａに示したタイプの、即ち、互いにわずかな位置ずれを含む、多数のマッチングされたＭＲ画像及びＣＴ画像に基づき、機械学習モデルがトレーニングされて、ＩＴＦ＝Ｋ・ＭＲＩ＋Ｍの係数Ｋ，Ｍが生成された。図４Ｂによれば、逆Ｌ構造を表すＭＲ画像が、トレーニング済み機械学習モデルＭＬＭ_Ｔに入力され、このモデルは、係数行列又はマップ、即ち、Ｋ行列及びＭ行列の形態で［Ｃ］を出力する。個々の行列は要素ｐＫ，ｐＭを含み、これらの要素は、係数値（「ピクセル係数」）を保持し、ＭＲ画像内の個々のピクセルｐ１に対応する。かくしてＭＬＭ_Ｔは、到来したＭＲ画像内のピクセルｐ１ごとにＫ，Ｍの係数を生成する。図４Ｃによれば、ＩＴＦが、Ｋ行列及びＭ行列によってパラメータ化され、図４Ｂにおいて入力されたのと同一のＭＲ画像に対し作用させられ、その結果、右側に示されているｓＣＴ画像が生成される。Ｋ行列及びＭ行列における対応する要素ｐＫ、ｐＭの係数値を、ＩＴＦに従ってＭＲ画像内の対応するピクセル値ｐ１に対し作用させることによって、ｓＣＴ画像内の個々のピクセルｐ３のピクセル値が計算される。ｓＣＴ画像内のピクセルｐ３の信号値から見ると、太い線によって示されているように、逆Ｌ構造は、ぼやけることなくｓＣＴ画像内に再現されている。ここで明らかなように、ｓＣＴ画像の生成は、トレーニングセットにおける画像間の位置ずれに対しロバストである。換言すれば、パラメータ化されたＩＴＦによって、到来したＭＲ画像からｓＣＴ画像へのディテールの伝播が強化される。

【0046】

図４Ｂ乃至図４Ｃにおける実施例は、到来したＭＲ画像内の総てのピクセルに対し同一の係数値を用いて［Ｃ］を生成するように、ＭＬＭ_Ｔがトレーニングされている、という点において単純化されたものである。本出願人は、係数値を画像内において空間的に、即ち、［Ｃ］における隣接ピクセル間において、変化させることができるようにすることによって、大幅に改善された結果を得ることができることを見出した。これが意味することは、トレーニングにおいて機械学習モデルＭＬＭ*は、マッチングされたＭＲ画像及びＣＴ画像における対応するピクセル値に対してＩＴＦの係数値を適合させることを可能にさせられるということである。ＩＴＦがＭＲ画像からｓＣＴ画像へディテールを伝播しようと努めることをさらに刺激する目的で、個々の係数行列内の係数値の局所的ばらつきに対し制約を適用することが有利になり得る。ＭＬＭ*がかかる制約なくトレーニングされると、個々の係数行列の隣接要素間の係数値が互いにほぼ無関係である限りにおいても、結果として得られたＭＬＭ_Ｔは、高い分散を伴う係数行列を生成する可能性がある。このことは、ＭＲ画像が撮影される物理的環境及びＭＲ画像の既知の特性とは矛盾している。周知のようにＭＲ画像は、緩慢に変化する画像不均質性の背景成分（「バイアス磁場」）及びＭＲ画像強度グレースケールの非標準性という形態で、アーチファクトを有する場合がある。非限定的な例を挙げると、緩慢に変化するバイアス磁場は、最大値と最小値との間において約１０ｃｍの空間スケールを有する場合がある。従って、アーチファクトによって同一の組織が、ＭＲ画像の種々の部分においてそれぞれ異なる強度値を生じさせる可能性がある。トレーニングにおいて局所的ばらつきの制約を適用することにより保証されることは、アーチファクトに起因する到来したＭＲ画像内のピクセルｐ１間の画像不均質性にほぼ一致して、個々の係数値が個々の係数行列における行列要素間において緩慢に変化するように、ＭＬＭ_Ｔが［Ｃ］を生成する、ということである。その結果、パラメータ化されたＩＴＦは、ｓＣＴ画像を生成する際、到来したＭＲ画像内の画像不均質性を少なくとも部分的に補償することができる。

【0047】

例えば局所的ばらつきの制約を、個々の係数行列における係数値のＣＶ（分散係数）が、典型的なＭＲ画像における強度値のＣＶよりも著しく小さくなるように、設定することができ、ここで、ＣＶは、係数行列／ＭＲ画像における個々の要素／ピクセルの周囲の予め定義された範囲の局所領域内において求められる。例えば、この局所領域は、個々の要素／ピクセルから１ピクセルの距離内にある総てのピクセル／要素、例えばｘ、ｙ、ｚ方向の隣接ピクセルを含み得る。

【0048】

局所的ばらつきの制約を係数行列間において異なるように設定することができ、１つの係数行列内において異なるものとすることもでき、即ち、この制約を行列要素（ピクセルポジション）間において異なるものとすることができる。さらに、局所的ばらつきの制約を、総ての係数行列に適用しないものとしてもよい。

【0049】

一般に、パラメータ化されたＩＴＦを回帰関数とみなすことができ、この回帰関数は、到来したＭＲ画像内の対応するピクセル値に基づきｓＣＴ画像の個々のピクセル値を生成するように、トレーニングセットにおけるＭＲ画像とＣＴ画像との間においてピクセルごとに適合させられたものである。

【0050】

これまでの説明によって示したことは、本発明の実施形態が、トレーニングセットにおけるＭＲ画像とＣＴ画像との間の位置ずれの影響を低減することができ、それにより、結果として得られたｓＣＴ画像において高レベルのディテール及び精度を達成できる、ということである。さらに、ＭＬＭ*をトレーニングするために使用される画像又はＭＬＭ_Ｔに入力されるＭＲ画像の予備セグメンテーションの必要もなく、従って、トレーニング及びｓＣＴの生成の双方を、精度を犠牲にすることなく完全に自動化することができる。ただし、必要に応じて予備セグメンテーションを用いるものとしてもよい。

【0051】

他の技術的な利点は、ｓＣＴ画像を到来するＭＲ画像と同等のピクセル解像度で生成可能である、ということである。ニューラルネットワークを用いてＭＲ画像からｓＣＴ画像へのダイレクトな画像間マッピングを実施する従来技術において、ニューラルネットワークを効率的に動作させるためには、標準化ピクセルサイズにリサンプリングされたＭＲ画像及びＣＴ画像において、ニューラルネットワークをトレーニングする必要がある。標準化ピクセルサイズは、トレーニングセットのピクセルサイズによって決定され得るものであり、又は、ハードウェアの制約によって決定され得るものである。それというのも、より小さい標準化ピクセルサイズは、より多くのコンピューティングリソースを必要とすることになり、さらにこれによって、ニューラルネットワークの視野及び／又は深度が制限されることになるからである。従って、従来技術においては、到来したＭＲ画像を、トレーニング済みニューラルネットワークにおける推定の前に、標準化ピクセル解像度になるようにリサンプリングしなければならない場合があり、結果として得られたｓＣＴ画像は、標準化ピクセルサイズで生成される。到来したＭＲ画像が、標準化ピクセルサイズよりも小さいピクセルサイズ、即ち、さらなるディテールを有すると、この付加的なディテールレベルは、リサンプリング処理において取り消し不能に失われてしまうことになる。本発明の実施形態によれば、機械学習モデルは、結果として得られるｓＣＴ画像とは切り離されたものとされており、その代わりに現在の［Ｃ］を生成する。このことによって、パラメータ化されたＩＴＦが緩慢に変化する関数である場合には、特に、到来したＭＲ画像のディテールをｓＣＴ画像に伝達するパラメータ化されたＩＴＦの能力にまったく影響を与えずに又はわずかにしか影響を与えずに、ＩＴＦがパラメータ化されて到来したＭＲ画像に適用される前に、現在の［Ｃ］のピクセルサイズを例えば内挿によって変更できるようになる。先に挙げたアフィンＩＴＦの実施例の場合には、個々の係数行列Ｋ、Ｍにおける既存の要素間に１つ又は複数の要素の値を加えることによって、パラメータ化されたＩＴＦのピクセル解像度を高めるように、Ｋ、Ｍを内挿することができる。任意の内挿関数を使用することができ、限定されるものではないが、これには、線形関数が含まれる。本開示においては、ピクセルサイズを大きくする（ひいては、ピクセル解像度を低くする）プロセスを「ダウンサンプリング」と称し、ピクセルサイズを小さくする（ひいては、ピクセル解像度を高くする）プロセスを「アップサンプリング」と称する。

【0052】

対応する実施形態が図５に例示されており、この場合、到来したＭＲ画像ＭＲＩのピクセル解像度は、トレーニング済み機械学習モデルＭＬＭ_Ｔの予め定義されたピクセル解像度よりも高いものとする。到来したＭＲ画像のピクセル解像度を予め定義されたピクセル解像度に適合させるために、係数発生器２１の上流にダウンサンプリング装置２１Ａが配置されている。係数発生器２１は、ダウンサンプリングされたＭＲ画像に対し作用し、予め定義された解像度の係数セットを生成する。図５の場合、ダウンサンプリングされたＭＲ画像及び対応する係数セットは、それぞれＭＲＩ_Ｓ及び［Ｃ］_Ｓにより表されている。［Ｃ］_Ｓの解像度を到来したＭＲ画像のピクセル解像度に適合させるために、画像変換器２３の上流にアップサンプリング装置２１Ｂが配置されている。次いで画像変換器２３は、アップサンプリングされた係数セット［Ｃ］に対し作用し、到来したＭＲ画像と同等のピクセル解像度を有するｓＣＴ画像を生成する。

【0053】

上述のことから理解できるように、係数発生器２１によって生成された係数セットを、結果として生じるｓＣＴ画像のディテールのレベルに対し実質的に不利になることなく、画像変換器２３に入力される前に任意の所望の解像度になるように、アップサンプリング又は内挿することができる。従って、ＭＬＭ_Ｔを、予め定義されたピクセルサイズ又は標準化ピクセルサイズに対し作用するように構成することができ、このピクセルサイズは、ニューラルネットワークによる従来のダイレクトな画像間マッピングで使用されるピクセルサイズよりも著しく大きい。より大きいピクセルに対し機械学習モデルをトレーニングして作用させることができるため、コンピューティングリソースが解放される。従って、所与のコンピューティングリソースに対し本発明の実施形態によって、より大きい視野及びより深い層を有する機械学習モデルの配備が可能となり、それによって、ｓＣＴ画像生成のパフォーマンスがさらに一層向上する。

【0054】

図５に例示した技術を、同様に図３Ｂのトレーニング装置３０に実装することができ、例えば、係数予測器３１の上流にダウンサンプリング装置を配置し、画像変換器３３の上流にアップサンプリング装置を配置することによって実装することができ、この場合、画像変換器３３は、アップサンプリングされた［Ｃ］*に対し作用して、到来したＭＲ画像と同等のピクセル解像度を有するｓＣＴ*画像を生成する。

【0055】

なお、ここで述べておくと、例えば、到来したＭＲ画像の解像度をＭＬＭ_Ｔの解像度にマッチさせるために、このＭＲ画像のアップサンプリングを実施すること、及び、任意の所望の解像度で、例えば到来したＭＲ画像と同等のピクセル解像度で、ｓＣＴ画像を生成するために、係数セット［Ｃ］のダウンサンプリングを実施することも、同様に可能である。一般に、到来したＭＲ画像に対し第１のリサンプリングを実施することができ、係数セットに対し第２のリサンプリングを実施することができ、ここで、第１のリサンプリングと第２のリサンプリングとを、例えばそれぞれ異なる方向において解像度を変更することによって異なるものとすることができる。

【0056】

図６には、１つの実施形態に従ってｓＣＴ画像を生成する例示的な方法が示されている。この方法を、例えば図２又は図５の変換装置２０によって実施することができる。ステップ６０１において、トレーニング済み機械学習モデルＭＬＭ_Ｔを受け取り、例えばコンピュータメモリに組み込む。ステップ６０２において、現在のＭＲ画像を、例えば、ＭＲＩ装置（図２の１０を参照）から又はストレージ（図２の１００を参照）から、受け取る。現在のＭＲ画像を、コンピュータメモリに格納することができる。

【0057】

任意選択のステップ６０３において、現在のＭＲ画像を前処理することができる。かかる前処理は、当該技術分野において公知であり、位置合わせ、解像度及び強度値分布のうちいずれか１つに関する正規化を含み得る。選択的に又は付加的に、ステップ６０３は、予め定義されたピクセル解像度へのＭＲ画像の上述のリサンプリングを含み得る。ステップ６０３は、ＭＲ画像内の特定の部分の除去又はマスキングも含み得る。ステップ６０４は、現在のＭＲ画像を任意選択的に前処理して、トレーニング済み機械学習モデルＭＬＭ_Ｔに入力し、これによって、トレーニング済み機械学習モデルＭＬＭ_Ｔは、ＩＴＦのための係数セット［Ｃ］を計算する。従って、図４Ｂ乃至図４Ｃを参照すると、ステップ６０４は、現在のＭＲ画像内のピクセルに対応する要素における現在のピクセル係数を、係数行列Ｋ、Ｍに代入することができる。その後、係数セット［Ｃ］をコンピュータメモリに格納することができる。

【0058】

任意選択のステップ６０５において、係数セット［Ｃ］は、例えば、上述のアップサンプリングによって及び／又はローパスフィルタリングによって、後処理される。ステップ６０６において、結果として得られた係数セット［Ｃ］を（これによりパラメータ化された）ＩＴＦに従って現在のＭＲ画像に適用することによって、現在のｓＣＴ画像が計算される。任意選択のステップ６０７において、現在のｓＣＴ画像を、例えば特定の部分の除去又はマスキング、信号強調、ノイズ除去等によって、後処理することができる。ステップ６０８において、例えば、メモリへの格納のために、及び／又は、表示のために、任意選択的に現在のＭＲ画像と共に、現在のｓＣＴ画像が出力される。

【0059】

既に先に述べたように、ＭＲＩ装置の種々の設定のために、例えば種々のシーケンス又はコントラストのために、生成可能な２つ以上のＭＲ画像に基づき、現在のｓＣＴを計算することができる。当技術分野において公知のように、複数のＭＲ画像を組み合わせることによって、例えば複数のＭＲ画像間の和又は差を計算することによって、さらに別のＭＲ画像を生成することができる。図７に示されている例示的な実施例によれば、係数発生器２１は、４チャネルＭＲ画像のための係数セットを計算するようにトレーニングされた機械学習モデルＭＬＭ_Ｔを含む。図７において、種々のチャネルのＭＲ画像が、Ａ１～Ａ４により表されており、３Ｄ画像、即ち、２Ｄ画像の個々のスタックとして描かれている。１つの非限定的な実施例によれば、脂肪を強調するためにＡ１画像を取得することができ、水を強調するためにＡ２画像を取得することができ、Ａ３画像をＡ１＋Ａ２として計算することができ、Ａ４をＡ１－Ａ２として計算することができる。図示の実施例によれば、係数発生器２１は、チャネルごとに１つのＫ行列を出力し、総てのチャネルに共通に１つのＭ行列を出力する。種々のチャネルのＫ行列がＫ１－Ｋ４により表されている。到来したＭＲ画像は、３Ｄ画像であるので、結果として生じるＫ行列及びＭ行列も３Ｄ行列である。１つの共通のＭ行列の代わりとして、チャネルごとに１つのＭ行列を出力するように、係数発生器２１を構成することができる。次いで画像変換器２３は、アフィンＩＴＦに従って画像Ａ１～Ａ４に対しＫ行列及びＭ行列を作用させて、やはり３Ｄ画像であるｓＣＴ画像を生成する。

【0060】

図７は、非限定的な実施例として挙げたにすぎない。アフィンＩＴＦの実施例の場合、トレーニング済み機械学習モデルＭＬＭ_Ｔを一般に、Ｎｉｎ個の到来したＭＲ画像を取り込んでＮｏｕｔ個の係数行列

【数1】

を生成する関数として表すことができるが、これは、ＭＲ画像のサブセットに係数行列を適用するだけでよい。
このことは、ＭＬＭ_Ｔを関数

【数2】

として表すことができることを意味する。

【0061】

例えば、係数行列に作用するアフィンＩＴＦを、

【数3】

として表すことができ、
ここで、

【数4】

は、ｓＣＴ画像であり、ｇ（ｍ）は、係数行列とＭＲ画像との間のマッピングを定義するマッピング関数であり、さらに

【数5】

は、要素ごとの積を表す。当業者は、非線形ＩＴＦに関する相応の方程式を容易に導出することができる。

【0062】

図８Ａには、１つの実施形態による機械学習モデルＭＬＭ*の例示的なトレーニング方法が示されている。この方法を、例えば図３Ａ乃至図３Ｂにおけるトレーニング装置３０によって実装することができる。先に述べたことから理解されるように、この方法は、患者の解剖学的領域のシングルチャネル又はマルチチャネルのＭＲ画像と、患者の同一又は類似の解剖学的領域のＣＴスキャンにより取得された対応するＣＴ画像とを含むトレーニング画像に基づいて、特定のＩＴＦに関するＭＬＭ*のモデルパラメータを学習するために実施される。この方法の出力は、トレーニング済み機械学習モデルＭＬＭ_Ｔである。

【0063】

ステップ８０１において、マッチングされたＭＲ画像及びＣＴ画像から成るトレーニングセット（図３Ｃの２１０を参照）が入力され、メモリ（図３Ａの２００を参照）に格納される。ステップ８０２においてＭＬＭ*が初期化され、これには、反復インデックス、ＭＬＭ*の開始パラメータの初期化などを含めることができる。ステップ８０３～８０８を、予め定義された１つ又は複数の停止基準が満たされるまで（例えば反復プロセスが予め定義された基準に従って収束するまで）、繰り返し実行することができる。ステップ８０３において、トレーニング画像がトレーニングセットから例えばランダムに選択され、この場合、トレーニング画像は、マッチングされたＭＲ画像及びＣＴ画像を含む。ステップ８０３は、トレーニング画像の前処理も含み得る。ステップ８０４は、トレーニング画像に関するＭＬＭ*の現在のモデルパラメータに従って、予測された係数セット［Ｃ］*を計算する。ステップ８０５は、［Ｃ］*でパラメータ化されトレーニング画像におけるＭＲ画像に対し作用させられたときに、ＩＴＦによって定められるｓＣＴ*画像を計算する。ステップ８０６は、費用関数を評価する。例えば、費用関数は、トレーニング画像におけるＣＴ画像とｓＣＴ*画像との間の差を求めることができる。かかる差を例えば、２つの画像間のピクセル値における差を示すエラーマップに対応させることができる。この差を任意の既知の回帰損失関数によって定量化することができ、これには、例えば、平均絶対誤差（ＭＡＥ）、平均二乗誤差（ＭＳＥ）、Ｈｕｂｅｒ損失、Ｌｏｇ－ｃｏｓｈ損失等の計算が含まれる。ステップ８０７は、例えば、ＭＬＭ*のモデルパラメータに関して費用関数を最適化（最小化又は最大化）することにより、ステップ８０６における評価に基づいて、ＭＬＭ*のモデルパラメータを決定又は更新する。ニューラルネットワークの実施例の場合には、モデルパラメータは、当技術分野において周知のように、重み及びオフセット値を含み得る。ステップ８０７は、任意の慣用の更新アルゴリズムを使用することができ、以下に限定されるものではないが、これには、バックプロパゲーション、確率的勾配降下法（ＳＧＤ）、適応モーメント推定（Ａｄａｍ）、ＢＦＧＳ、Ｒｐｒｏｐ等が含まれる。

【0064】

ステップ８０８は、停止基準が満たされたか否かを判定する。予め定められた最大反復回数、又は、例えば費用関数若しくはｓＣＴ*画像とＣＴ画像との間の差の他の尺度によって与えられる予め定められた画質尺度など、種々の停止基準を使用することができる。ステップ８０８において、停止基準が満たされていないと判定された場合には、ステップ８０３に戻ることができる。そうでなければＭＬＭ*がトレーニング済みであるとみなされ、このトレーニング方法は、ステップ８０９に進み、このステップ８０９は、図６における生成方法によって後で使用するために、ＭＬＭ_Ｔを格納又は出力する。

【0065】

上述のように、トレーニング中にばらつきの制約を適用して、トレーニング済み機械学習モデルＭＬＭ_Ｔにより生成された個々の係数行列内のピクセルごとの大きい分散を抑制する、ということが有利であると判明した。制約を種々のトレーニング段階で適用することができる。１つの実施例によれば、制約をＭＬＭ*に埋め込むことができ、従って、ステップ８０４中に適用することができる。他の実施例によれば、制約がステップ８０４において［Ｃ］*のローパスフィルタリングとして適用される。さらに他の実施例によれば、制約が費用関数に含まれ、従って、ステップ８０６において適用される。ここで、よく理解されたいことは、制約は、多くの種々の形態をとることができる、という点である。１つの実施例によれば、制約は、個々の係数行列内の個々のピクセル／要素の周囲の予め定義された範囲の局所領域内において、ばらつきを制限するように作用する。予め定義された範囲を、テストによって決定することができる。

【0066】

トレーニングは、自律的なプロセスであるため、望ましくない結果を緩和することが望ましく、これは、制約を適用することによって達成される。制約がないと、パラメータ化されたＩＴＦを適用することにより生成されたｓＣＴ画像内のＭＲ画像からディテールを抑制するように、ＭＬＭ*がトレーニングされる、というリスクがある。

【0067】

１つの非限定的な実施例によれば、費用関数における総分散（ＴＶ）ペナルティとして制約が実装される。ＴＶペナルティを、係数行列ごとに各次元において計算することができる。局所領域が３Ｄ行列Ｂの各次元において１つのピクセルを拡張する実施例の場合、ＴＶのペナルティを以下のように定義することができる。

【数6】

ここで、γ_ｘ、γ_ｙ及びγ_ｚは、予め定義された重み係数であり、Ｎｘ、Ｎｙ及びＮｚは、個々の次元ｘ、ｙ、ｚにおける要素の数を表す。重み係数を、次元間の解像度の差をオフセットするように調整することができるが、各次元に対しそれぞれ異なる量の平滑性を強制するように設定することもできる。強制された平滑性は、ＭＬＭ*により生成された［Ｃ］*のみに影響を及ぼし、ｓＣＴ*画像の平滑化を結果として生じさせない、という点に留意されたい。それどころか、トレーニング中に［Ｃ］*に対し強制される平滑性によってＭＬＭ_Ｔに、ＭＲ画像からｓＣＴ画像へと細部を伝播させることになる。

【0068】

１つの実施例によれば、費用関数にペナルティ項ρを含めることにより、式２において定義されたアフィンＩＴＦに関して、ＭＬＭ*をトレーニングすることができる。

【数7】

ここで、重み行列Ｗ_ｍ及び係数重み値γ_ｍ（ｍ＝０，．．．，Ｎｏｕｔ－１）は、任意選択である。重み行列Ｗ_ｍを予め定義して、画像の特定の領域を重み付けし、平滑性ペナルティをさらに強調又は緩和することができ、さらに係数重み値γ_ｍを予め定義して、ペナルティに及ぼされる個々の係数行列の相対的効果を調節することができる。

【0069】

費用関数がエラーマップについてのＭＡＥの計算を含む実施例の場合、式２と式４とを組み合わせて、以下の費用関数Ｌを構成することができる。

【数8】

ここで、｜｜・｜｜は、選択されたノルムを表す。

【0070】

図８Ａのトレーニング方法の例示的な実施例が図８Ｂに示されており、この図には、シングルチャネルの２Ｄ ＭＲ画像に対し作用し、図３Ｂに対応して構成されたトレーニング装置が示されている。係数予測器３１は、ＭＲ画像に対し作用して、予測されたＫ*行列及びＭ*行列の形態で［Ｃ］*を生成する（ステップ８０４）。画像変換器３３は、Ｋ*及びＭ*によりパラメータ化されたＩＴＦをＭＲ画像に対し作用させて、予測されたｓＣＴ*画像を生成する（ステップ８０５）。図３Ｂおける予測評価器３５は、図８Ｂにおける費用関数計算器３５Ａ及びモデルパラメータ更新器３５Ｂに対応する。費用関数計算器３５Ａは、ｓＣＴ*画像とＣＴ画像との間の平均絶対誤差（ＭＡＥ）、Ｋ*（ＴＶ_Ｋ）のＴＶペナルティ、及び、Ｍ*（ＴＶ_Ｍ）のＴＶペナルティを含む費用関数の項を計算し、ＭＡＥ、ＴＶ_Ｋ及びＴＶ_Ｍを合成して、費用関数の現在の値となるようにする（ステップ８０６）。モデルパラメータ更新器３５Ｂは、ＭＬＭ*のモデルパラメータの更新値を計算して、後続の反復における費用関数の現在の値を低減する（ステップ８０７）。

【0071】

図８Ｃには、トレーニング装置３０の選択的な実施形態が示されている。この実施形態が前提としていることは、例えば、マッチングされたＭＲ画像及びＣＴ画像のターゲットセットに対し他の機械学習モデル（図示せず）を作用させることによって、又は、他のタイプの計算プロセス若しくは推定プロセスによって、ターゲット係数セットが事前に計算されている、ということである。ターゲット係数セットは、図８Ｃにおいて［Ｃ］_ＴＡＲにより表されており、例えば、１つ又は複数のターゲットＫ行列及びターゲットＭ行列を含み得る。図８Ｃにおけるターゲット装置３０は、ＭＲ画像のトレーニングセットに対し作用する。図３Ｂの実施形態に関連して、ターゲット装置３０は、予測された係数セット［Ｃ］*を計算する同一の係数予測器３１を含むが、画像変換器３３を有していない。さらに予測評価器３５は、［Ｃ］*を［Ｃ］_ＴＡＲと比較する費用関数を評価し、評価された費用関数に基づいて、係数予測器３１にＭＬＭ*のモデルパラメータを更新させるフィードバックデータＦＢ*を生成するように構成されている。図８Ａにおける方法と対比すると、図８Ｃにおけるトレーニング装置３０は、対応する方法を実施するが、この方法によればステップ８０５が省略され、少なくともステップ８０６～８０７が変更される。図８Ｃにおけるトレーニング装置３０は、先に述べた制約を例えば費用関数に適用することもできる。

【0072】

一般に、本明細書において説明した方法のいずれか又はその一部を、ソフトウェアとハードウェア回路との組合せによって、又は、カスタマイズされたハードウェア回路のみによって、処理装置において実装することができる。図９は、かかる処理装置９０の例示的な構造のブロック図である。図９によれば、処理装置９０は、処理装置９０の動作全体を担う制御回路９１を含む。図示されているように、制御回路９１は、プロセッサ９２を含み得るものであり、プロセッサ９２は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、マイクロコントローラ、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、他の任意の専用若しくは汎用の処理装置、又は、これらの任意の組合せを含み得る。プロセッサ９２は、処理装置９０の動作を制御する目的で、メモリ９３などの別個のメモリ及び／又は制御回路９１の内部メモリ（図示せず）に格納された命令９４を実行することができる。命令９４は、プロセッサ９２によって実行されるときに、本明細書において説明した方法のいずれか又はその一部を処理装置９０に実施させることができる。図９に示されているように、メモリ９３は、プロセッサ９２によって使用するためのデータ９５を格納することもできる。実装に応じて、データ９５は、ＭＬＭ_Ｔ、ＭＬＭ*、［ＭＲＩ］、［ＣＴ］、［Ｃ］_ＰＲＥ等のような、先に述べた及び／又は図面に示したデータ項目のうち１つ又は複数を含み得る。メモリ９３は、バッファ、フラッシュメモリ、ハードディスクドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、又は、他の適当なデバイスのうちの１つ若しくは複数を含み得る。例示的な構成によれば、メモリ９３は、長期間にわたりデータを格納するための不揮発性メモリと、制御回路９１のためのシステムメモリとして機能する揮発性メモリとを含む。メモリ９３は、データバスを介して制御回路９１とデータを交換することができる。メモリ９３と制御回路９１との間に付随する制御ライン及びアドレスバスを設けることもできる。メモリ９３は、非一時的コンピュータ可読媒体とみなされる。

【0073】

図９に示されているように、命令９４を、コンピュータ可読媒体９０Ａ上において処理装置９０に供給可能であり、このコンピュータ可読媒体９０Ａを、有形（非一時的）製品（例えば磁気媒体、光ディスク、リードオンリメモリ、フラッシュメモリ等）又は伝播信号とすることができる。

【0074】

本発明を、現時点において最も実際的で好ましい実施形態とみなされる事項と共に説明してきたが、本発明は、開示された実施形態に限定されるものではなく、それどころか、添付の請求項の着想及び範囲内に含まれる種々の変形及び等価の構成を包含することが意図されているということを理解されたい。

【0075】

さらに、図面には、特定の順序により動作が描写されているが、このことは、図示された特定の順序若しくは逐次的な順序によりかかる動作を実施しなければならないと理解されるべきではなく、又は、所望の結果を達成するためには図示された総ての動作を実施しなければならないと理解されるべきではない。ある特定の環境においては、並列処理が有利となる可能性がある。

【0076】

さらに、これまでに述べてきた方法、装置、実施形態、実施例及び態様の総てを、ＭＲＩ以外の他の撮像モダリティ、例えばコーンビームコンピュータ断層撮影（ＣＢＣＴ）、陽電子放射断層撮影（ＰＥＴ）、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）、磁気粒子撮像法（ＭＰＩ）等を使用する医療用撮像装置により取得された原画像に基づきｓＣＴ画像を生成するために、同様に適用可能である。ｓＣＴ画像を、少なくとも２つの異なる撮像モダリティによって取得可能な２つ以上の原画像に基づき生成することも、同様に考えられる。１つの実施形態によれば、解剖学的部位の合成電子密度画像を生成するためのコンピュータ実装による方法は、以下のステップを含み得る。即ち、画像伝達関数の係数を予測するようにトレーニングされた機械学習モデルを受け取るステップと、解剖学的部位の現在の原画像セットを受け取るステップと、機械学習モデルを現在の原画像セットに対し作用させることにより、画像伝達関数の現在の係数を計算するステップと、現在の原画像セットに対し、画像伝達関数に従って現在の係数を作用させることにより、解剖学的部位の現在の合成電子密度画像を計算するステップとを含み得る。原画像セット内の少なくとも１つの原画像を、ＭＲＩ以外の撮像モダリティ、例えばＣＢＣＴ、ＰＥＴ、ＳＰＥＣＴ及びＭＰＩのいずれか１つを使用することによって取得することができる。

【0077】

以下においては、上記の記載において開示された本発明のいくつかの態様及び実施形態を要約するために、一連の項目が列挙されている。

【0078】

項目１：
解剖学的部位の合成電子密度画像（ｓＣＴ）を生成するためのコンピュータ実装による方法であって、
画像伝達関数の係数を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を受け取るステップ（６０１）と、
前記解剖学的部位の現在の磁気共鳴ＭＲ画像セットを受け取るステップ（６０２）と、
前記機械学習モデル（ＭＬＭ_Ｔ）を前記現在のＭＲ画像セットに対し作用させることにより、前記画像伝達関数の現在の係数（［Ｃ］）を計算するステップ（６０４）と、
前記現在のＭＲ画像セットに対し、前記画像伝達関数に従って前記現在の係数（［Ｃ］）を作用させることにより、前記解剖学的部位の現在の合成電子密度画像（ｓＣＴ）を計算するステップ（６０６）と、
を含む方法。

【0079】

項目２：
前記係数を予測するように前記機械学習モデル（ＭＬＭ_Ｔ）をトレーニングして、参照画像（ＣＴ）と、当該参照画像（ＣＴ）に対応するＭＲ画像に対し前記画像伝達関数に従って前記係数を作用させることにより生成された合成電子密度画像（ｓＣＴ）との間の類似基準を達成する、
項目１に記載のコンピュータ実装による方法。

【0080】

項目３：
前記現在の係数（［Ｃ］）は、前記現在のＭＲ画像セットにおける個々のピクセルロケーションについて、１つ又は複数の現在のピクセル係数を含む、
項目１又は２に記載のコンピュータ実装による方法。

【0081】

項目４：
前記機械学習モデル（ＭＬＭ_Ｔ）を、前記１つ又は複数の現在のピクセル係数をピクセルロケーション間において変化させることができるようにトレーニングする、
項目３に記載のコンピュータ実装による方法。

【0082】

項目５：
前記１つ又は複数の現在のピクセル係数は、ピクセルロケーション間において変化する、
項目３又は４に記載のコンピュータ実装による方法。

【0083】

項目６：
個々の前記ピクセルロケーションの周囲の予め定義された領域内におけるピクセル係数のばらつきの制約を順守しながら、前記１つ又は複数のピクセル係数を前記ピクセルロケーション間において変化させることができるように、前記機械学習モデル（ＭＬＭ_Ｔ）をトレーニングする、
項目３から５までのいずれか１項目に記載のコンピュータ実装による方法。

【0084】

項目７：
前記現在の合成電子密度画像（ｓＣＴ）を計算するステップ（６０６）は、前記画像伝達関数に従って、前記現在のＭＲ画像セットにおける個々の前記ピクセルロケーションにある１つ又は複数のピクセル値に対し、前記１つ又は複数の現在のピクセル係数を作用させて、前記現在の合成電子密度画像（ｓＣＴ）の対応するピクセル値を生成するステップを含む、
項目３から６までのいずれか１項目に記載のコンピュータ実装による方法。

【0085】

項目８：
前記現在の係数（［Ｃ］）を計算するステップ（６０４）は、１つ又は複数の係数行列（Ｋ，Ｍ）に、個々の前記ＭＲ画像内のピクセルに対応する行列要素において現在のピクセル係数を代入するステップを含む、
項目３から７までのいずれか１項目に記載のコンピュータ実装による方法。

【0086】

項目９：
前記現在の合成電子密度画像（ｓＣＴ）を計算するステップ（６０６）は、前記画像伝達関数に従って要素ごとに、前記現在のＭＲ画像セットにおけるピクセル値に対し前記１つ又は複数の係数行列（Ｋ，Ｍ）を作用させるステップを含む、
項目８に記載のコンピュータ実装による方法。

【0087】

項目１０：
前記現在の係数（［Ｃ］）を計算するステップ（６０４）は、前記機械学習モデル（ＭＬＭ_Ｔ）を前記現在のＭＲ画像セットに対し作用させる前に、前記現在のＭＲ画像セットの第１のリサンプリングを含み、
当該方法はさらに、受け取った前記現在のＭＲ画像セットにおける前記ピクセル値に対し、前記画像伝達関数に従って要素ごとに、前記１つ又は複数の係数行列（Ｋ，Ｍ）を作用させる前に、前記１つ又は複数の係数行列（Ｋ，Ｍ）の第２のリサンプリングを含む、
項目９に記載のコンピュータ実装による方法。

【0088】

項目１１：
前記第１のリサンプリングによって、前記現在のＭＲ画像セットの解像度が、トレーニングされた前記機械学習モデル（ＭＬＭ_Ｔ）によって予期される解像度に変更され、前記第２のリサンプリングによって、前記１つ又は複数の係数行列（Ｋ，Ｍ）の解像度が、前記現在のＭＲ画像セットの解像度と等しいターゲット解像度に変更される、
項目１０に記載のコンピュータ実装による方法。

【0089】

項目１２：
前記第１のリサンプリングは、ダウンサンプリングであり、前記第２のリサンプリングは、アップサンプリングである、
項目１０又は１１に記載のコンピュータ実装による方法。

【0090】

項目１３：
前記画像伝達関数は、多項式関数である、
項目１から１２までのいずれか１項目に記載のコンピュータ実装による方法。

【0091】

項目１４：
前記画像伝達関数は、アフィン関数である、
項目１から１３までのいずれか１項目に記載のコンピュータ実装による方法。

【0092】

項目１５：
前記機械学習モデル（ＭＬＭ_Ｔ）は、人工ニューラルネットワークＡＮＮを含む、
項目１から１４までのいずれか１項目に記載のコンピュータ実装による方法。

【0093】

項目１６：
プロセッサ（９２）によって実行されるときに、当該プロセッサ（９２）に項目１から１５までのいずれか１項目に記載の方法を実施させるためのコンピュータ命令（９４）を含むコンピュータ可読媒体。

【0094】

項目１７：
解剖学的部位の合成電子密度画像（ｓＣＴ）を生成するための装置であって、当該装置は、プロセッサ（９２）を含み、当該プロセッサ（９２）は、
画像伝達関数の係数（［Ｃ］）を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を受け取り、
前記解剖学的部位の現在の磁気共鳴ＭＲ画像セットを受け取り、
前記機械学習モデル（ＭＬＭ_Ｔ）を前記現在のＭＲ画像セットに対し作用させることにより、前記画像伝達関数（ＩＴＦ）の現在の係数（［Ｃ］）を生成し、
前記現在のＭＲ画像セットに対し、前記画像伝達関数に従って前記現在の係数（［Ｃ］）を作用させることにより、前記解剖学的部位の現在の合成電子密度画像（ｓＣＴ）を生成する
ように構成されている、装置。

【0095】

項目１８：
解剖学的部位の現在のＭＲ画像を生成するように構成されている磁気共鳴撮像装置（１０）と、
前記現在のＭＲ画像を受け取るように配置されている項目１７に記載の装置と、
を含むシステム。

【0096】

項目１９
画像伝達関数の係数（［Ｃ］）を予測して、参照画像（ＣＴ）と、当該参照画像（ＣＴ）に対応するＭＲ画像に対し前記画像伝達関数に従って前記係数（［Ｃ］）を作用させることにより生成された合成電子密度画像（ｓＣＴ）との間の類似基準を達成するように、トレーニングされている機械学習モデル。

【0097】

項目２０：
前記係数（［Ｃ］）は、前記ＭＲ画像内の個々のピクセルロケーションについて１つ又は複数のピクセル係数を含み、
当該機械学習モデルは、前記１つ又は複数のピクセル係数をピクセルロケーション間において変化させることができるようにトレーニングされている、
項目１９に記載の機械学習モデル。

【0098】

項目２１：
個々の前記ピクセルロケーションの周囲の予め定義された領域内におけるピクセル係数のばらつきの制約を順守しながら、前記１つ又は複数のピクセル係数を個々の前記ＭＲ画像内の前記ピクセルロケーション間において変化させることができるように、さらにトレーニングされている、
項目２０に記載の機械学習モデル。

【0099】

項目２２：
解剖学的部位の磁気共鳴ＭＲ画像セットの関数として前記解剖学的部位の合成電子密度画像（ｓＣＴ）を生成する際に使用するために、画像伝達関数の係数を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を提供するコンピュータ実装による方法であって、
（ａ）前記機械学習モデル（ＭＬＭ*）を初期化するステップと、
（ｂ）１つ又は複数のＭＲ画像と１つ又は複数の参照画像（ＣＴ）とを含むトレーニングデータを取得するステップと、
（ｃ）前記画像伝達関数の予測された係数（［Ｃ］*）を生成するために、前記１つ又は複数のＭＲ画像に対し前記機械学習モデル（ＭＬＭ*）を作用させるステップと、
（ｄ）前記画像伝達関数に従って、前記１つ又は複数のＭＲ画像に対し前記予測された係数（［Ｃ］*）を作用させて、１つ又は複数の予測された合成電子密度画像（ｓＣＴ*）を生成するステップと、
（ｅ）少なくとも、前記参照画像（ＣＴ）と前記１つ又は複数の予測された合成電子密度画像（ｓＣＴ*）とに基づいて、予め定義された費用関数を評価するステップと、
（ｆ）前記機械学習モデル（ＭＬＭ*）のためのモデルパラメータ値を求めるステップと、
（ｇ）予め定義された基準が満たされるまで、前記モデルパラメータ値についてステップ（ｂ）乃至（ｆ）を繰り返すステップと、
（ｈ）前記機械学習モデル（ＭＬＭ_Ｔ）のためのモデルパラメータ値を出力するステップと、
を含む方法。

【0100】

項目２３：
解剖学的部位の磁気共鳴ＭＲ画像セットの関数として前記解剖学的部位の合成電子密度画像（ｓＣＴ）を生成する際に使用するために、画像伝達関数の係数を予測するようにトレーニングされた機械学習モデル（ＭＬＭ_Ｔ）を提供する方法であって、
（ａ）前記機械学習モデル（ＭＬＭ*）を初期化するステップと、
（ｂ）前記画像伝達関数の予め計算されたターゲット係数（［Ｃ］_ＴＡＲ）を取得するステップと、
（ｃ）前記画像伝達関数の予測された係数（［Ｃ］*）を生成するために、１つ又は複数のＭＲ画像に対し前記機械学習モデル（ＭＬＭ*）を作用させるステップと、
（ｄ）少なくとも、前記予測された係数（［Ｃ］*）と前記予め計算されたターゲット係数（［Ｃ］_ＴＡＲ）とに基づいて、予め定義された費用関数を評価するステップと、
（ｅ）前記機械学習モデル（ＭＬＭ*）のためのモデルパラメータ値を求めるステップと、
（ｆ）予め定義された基準が満たされるまで、前記モデルパラメータ値についてステップ（ｂ）乃至（ｅ）を繰り返すステップと、
（ｇ）前記機械学習モデル（ＭＬＭ_Ｔ）のためのモデルパラメータ値を出力するステップと、
を含む方法。

【0101】

項目２４：
前記予測された係数（［Ｃ］*）は、前記１つ又は複数のＭＲ画像内の個々のピクセルロケーションについて、１つ又は複数の予測されたピクセル係数を含み、
当該方法はさらに、前記機械学習モデル（ＭＬＭ*）が前記ピクセルロケーション間において１つ又は複数のピクセル係数を変化させることができるようにするステップを含む、
項目２２又は２３に記載のコンピュータ実装による方法。

【0102】

項目２５：
個々の前記ピクセルロケーションの周囲の予め定義された領域内のピクセル係数のばらつきの制約を適用するステップをさらに含む、
項目２４に記載のコンピュータ実装による方法。

【0103】

項目２６：
前記ばらつきの制約を、前記機械学習モデル（ＭＬＭ*）によって、又は、前記予め定義された費用関数によって、又は、前記予測された係数（［Ｃ］*）を処理することによって適用する、
項目２５に記載のコンピュータ実装による方法。

【0104】

項目２７：
プロセッサ（９２）によって実行されるときに、当該プロセッサ（９２）に項目２２から２６までのいずれか１項目に記載のコンピュータ実装による方法を実施させるためのコンピュータ命令（９４）を含むコンピュータ可読媒体。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】