IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジーイー・プレシジョン・ヘルスケア・エルエルシーの特許一覧

特許7167239学習済みモデルの生成方法、推論装置、医用装置、およびプログラム
<>
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図1
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図2
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図3
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図4
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図5
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図6
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図7
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図8
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図9
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図10
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図11
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図12
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図13
  • 特許-学習済みモデルの生成方法、推論装置、医用装置、およびプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-10-28
(45)【発行日】2022-11-08
(54)【発明の名称】学習済みモデルの生成方法、推論装置、医用装置、およびプログラム
(51)【国際特許分類】
   A61B 6/03 20060101AFI20221031BHJP
   G06T 7/00 20170101ALI20221031BHJP
【FI】
A61B6/03 375
A61B6/03 373
G06T7/00 350C
【請求項の数】 8
(21)【出願番号】P 2021075364
(22)【出願日】2021-04-27
【審査請求日】2021-05-14
(73)【特許権者】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】今井 靖浩
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特開2013-017781(JP,A)
【文献】中国特許出願公開第112529897(CN,A)
【文献】特開2017-159180(JP,A)
【文献】米国特許出願公開第2020/0294288(US,A1)
【文献】特開2015-100699(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14
G06T 7/00-7/90
(57)【特許請求の範囲】
【請求項1】
撮影対象者の所定の部位を含む非造影CT画像および前記撮影対象者の所定の部位を含む造影CT画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む医用装置であって、
前記学習済みモデルは、コンピュータが、
(1)人間の前記所定の部位を含む複数の非造影CT画像、
(2)人間の前記所定の部位を含む複数の造影CT画像、および
(3)複数の正解データであって、各正解データが、前記複数の非造影CT画像のうちの一つの非造影CT画像と、前記複数の造影CT画像のうちの一つの造影CT画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影CT画像と前記一つの造影CT画像とにラベリングされている、複数の正解データ、
を用いた学習を実行することにより生成されており
前記医用装置が、
造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
を実行する、医用装置
【請求項2】
前記複数の造影CT画像は、複数の時相で撮影された複数の造影CT画像を含む、請求項1に記載の医用装置
【請求項3】
各正解データが、前記複数の非造影CT画像のうちの一つの非造影CT画像と、前記複数の造影CT画像のうちの一つの造影CT画像との差分画像に対して、所定の画像処理を実行することにより生成されたものである、請求項1又は2に記載の医用装置。
【請求項4】
前記学習済みモデルは、造影剤が取り込まれた領域の位置を表す位置データと、造影剤が取り込まれていない領域の位置を表す位置データとを含む差分画像を出力する、請求項1~3のうちのいずれか一項に記載の医用装置。
【請求項5】
DNNがデュアルエネルギーCTのデータを用いた学習を行うことにより生成された学習済みDNNであって、シングルエネルギーCTのデータから、造影剤が取り込まれた領域の位置情報を含むデュアルエネルギー情報を推論する学習済みDNNと、
前記学習済みモデルの推論結果に基づいて、前記学習済みDNNの推論結果が正しいか否かを判定する判定部と
を含む、請求項1~4のうちのいずれか一項に記載の医用装置
【請求項6】
撮影対象者の所定の部位を複数の時相で造影撮影することにより得られた複数の造影CT画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む医用装置であって、
前記学習済みモデルは、コンピュータが、
(1)人間の所定の部位を前記複数の時相で造影撮影することにより得られた複数の造影CT画像、および
(2)前記複数の造影CT画像にラベリングされた複数の正解データであって、各正解データが、前記複数の時相のうちの一つの時相で撮影された造影CT画像と、前記複数の時相のうちの他の時相で撮影された造影CT画像とを差分することにより生成された差分画像である、複数の正解データ、
を用いた学習を実行することにより生成されており、
前記医用装置が、
造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
を実行する、医用装置。
【請求項7】
1つ以上のプロセッサに、
撮影対象者の所定の部位を含む非造影CT画像および前記撮影対象者の所定の部位を含む造影CT画像を学習済みモデルに入力し、前記学習済みモデルに、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行させること
を含む動作を実行させるプログラムであって、
前記学習済みモデルは、コンピュータが、
(1)人間の前記所定の部位を含む複数の非造影CT画像、
(2)人間の前記所定の部位を含む複数の造影CT画像、および
(3)複数の正解データであって、各正解データが、前記複数の非造影CT画像のうちの一つの非造影CT画像と、前記複数の造影CT画像のうちの一つの造影CT画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影CT画像 と前記一つの造影CT画像とにラベリングされている、複数の正解データ、
を用いた学習を実行することにより生成されており
前記1つ以上のプロセッサに、
造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
を含む動作を実行させる、プログラム。
【請求項8】
1つ以上のプロセッサに、
撮影対象者の所定の部位を複数の時相で造影撮影することにより得られた複数の造影C T画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行させることを含む動作を実行させるプログラムであって、
前記学習済みモデルは、コンピュータが、
(1)人間の所定の部位を前記複数の時相で造影撮影することにより得られた複数の造影CT画像、および
(2)前記複数の造影CT画像にラベリングされた複数の正解データであって、各正解データが、前記複数の時相のうちの一つの時相で撮影された造影CT画像と、前記複数の時相のうちの他の時相で撮影された造影CT画像とを差分することにより生成された差分画像ある、複数の正解データ、
を用いた学習を実行することにより生成されており
前記1つ以上のプロセッサに、
造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定すること、および
造影剤が取り込まれていない領域の位置と、前記撮影対象者をスキャンすることにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成すること
を含む動作を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習済みモデルの生成方法、学習済みモデルを用いて推論を行う推論装置、当該推論装置を有する医用装置、および学習済みモデルを用いて推論を行うためのプログラムに関する。
【背景技術】
【0002】
被検体の体内の画像を非侵襲的に撮影する医用装置として、X線CT装置が知られている。X線CT装置は、撮影部位を短時間で撮影することができるので、病院等の医療施設に普及している。
【0003】
X線CT装置を用いて被検体を撮影する場合、様々なスキャン条件で被検体をスキャンすることにより、臨床目的に応じた様々なCT画像を取得することができる。読影医などの医師は、取得されたCT画像の読影を行い、読影の結果に基づいて、診断を行うことができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-87469号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
CT装置を使用した撮影方法として、シングルエネルギーCTが知られている。シングルエネルギーCTは、1つの管電圧(通常120kVp)で撮影を行いCT値の情報を得る方法であるが、この方法は、X線高吸収物質(骨や金属、造影剤)に起因するアーチファクト(ビームハードニングアーチファクト)が発生しやすいなどの問題がある。この問題に対処する技術として、デュアルエネルギーCTの技術が研究、開発されており(特許文献1参照)、デュアルエネルギーCTは、シングルエネルギーCTの欠点を克服する撮影方法として期待されている。
【0006】
例えば、造影撮影によって腫瘍の良性、悪性を鑑別する場合、組織に取り込まれた造影剤を定量的に評価することが重要であるが、デュアルエネルギーCTは、組織に取り込まれた造影剤の定量評価に適した手法である。したがって、デュアルエネルギーCTは、腫瘍の良性、悪性の鑑別の精度を向上させることが可能である。しかし、CT装置によってはデュアルエネルギーCTが使用できない装置がある。この問題に対処するため、DNN(Deep Neural Network)がデュアルエネルギーCTのデータを用いた学習を行うことにより学習済みDNNを生成し、この生成した学習済みDNNにシングルエネルギーCTのデータを入力してデュアルエネルギー情報を推論する研究が行われている。しかし、この方法では、撮影部位内において、造影剤が取り込まれていないにも関わらず、他の組織よりも明るく描出される部分が現れることがある。例えば、撮影部位に、胃の中の食べ物や石灰化した部分が含まれている場合、食べ物や石灰化した部分が明るく描出されることがある。したがって、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することが難しい場合ある。
【0007】
したがって、造影撮影を実行した場合、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを高い精度で判別することができる技術が望まれている。
【課題を解決するための手段】
【0008】
本発明の第1の観点は、撮影対象者の所定の部位を含む非造影CT画像および前記撮影対象者の所定の部位を含む造影CT画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを生成する学習済みモデル生成方法であって、
コンピュータが、
(1)人間の前記所定の部位を含む複数の非造影CT画像、
(2)人間の前記所定の部位を含む複数の造影CT画像、および
(3)複数の正解データであって、各正解データが、前記複数の非造影CT画像のうちの一つの非造影CT画像と、前記複数の造影CT画像のうちの一つの造影CT画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影CT画像と前記一つの造影CT画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより前記学習済みモデルを生成する、学習済みモデル生成方法である。
【0009】
本発明の第2の観点は、撮影対象者の所定の部位を含む非造影CT画像および前記撮影対象者の所定の部位を含む造影CT画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む推論装置であって、
前記学習済みモデルは、コンピュータが、
(1)人間の前記所定の部位を含む複数の非造影CT画像、
(2)人間の前記所定の部位を含む複数の造影CT画像、および
(3)複数の正解データであって、各正解データが、前記複数の非造影CT画像のうちの一つの非造影CT画像と、前記複数の造影CT画像のうちの一つの造影CT画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影CT画像と前記一つの造影CT画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより生成されている、推論装置である。
【0010】
本発明の第3の観点は、撮影対象者の所定の部位を含む非造影CT画像および前記撮影対象者の所定の部位を含む造影CT画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを含む医用装置であって、
前記学習済みモデルは、コンピュータが、
(1)人間の前記所定の部位を含む複数の非造影CT画像、
(2)人間の前記所定の部位を含む複数の造影CT画像、および
(3)複数の正解データであって、各正解データが、前記複数の非造影CT画像のうちの一つの非造影CT画像と、前記複数の造影CT画像のうちの一つの造影CT画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影CT画像と前記一つの造影CT画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより生成されている、医用装置である。
【0011】
本発明の第4の観点は、1つ以上のプロセッサに、
撮影対象者の所定の部位を含む非造影CT画像および前記撮影対象者の所定の部位を含む造影CT画像を学習済みモデルに入力し、前記学習済みモデルに、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行させること
を含む動作を実行させるプログラムであって、
前記学習済みモデルは、コンピュータが、
(1)人間の前記所定の部位を含む複数の非造影CT画像、
(2)人間の前記所定の部位を含む複数の造影CT画像、および
(3)複数の正解データであって、各正解データが、前記複数の非造影CT画像のうちの一つの非造影CT画像と、前記複数の造影CT画像のうちの一つの造影CT画像との差分画像に基づいて生成されたものであり、各正解データが、前記一つの非造影CT画像と前記一つの造影CT画像とにラベリングされている、複数の正解データ、

を用いた学習を実行することにより生成されている、プログラムである。
【0012】
本発明の第5の観点は、撮影対象者の所定の部位を複数の時相で造影撮影することにより得られた複数の造影CT画像が入力されることにより、前記撮影対象者の前記所定の部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデルを生成する学習済みモデル生成方法であって、
コンピュータが、
(1)人間の所定の部位を前記複数の時相で造影撮影することにより得られた複数の造影CT画像、および
(2)前記複数の造影CT画像にラベリングされた複数の正解データであって、各正解データが、前記複数の時相のうちの一つの時相で撮影された造影CT画像と、前記複数の時相のうちの他の時相で撮影された造影CT画像とを差分することにより生成された差分画像に基づいて生成されたものである、複数の正解データ、

を用いた学習を実行することにより生成される、学習済みモデル生成方法である。
【発明の効果】
【0013】
撮影部位に腫瘍が含まれる場合、非造影CT画像に描出される腫瘍の明るさと、造影CT画像Cに描出される腫瘍の明るさには大きな違いがある。一方、胃の中の食べ物や石灰化した部分について着目すると、非造影CT画像に描出される食べ物や石灰化部分は、造影CT画像に描出される食べ物や石灰化部分と比較して、明るさにあまり大きな差が見られない。したがって、非造影CT画像と造影CT画像とを差分すると、腫瘍の領域(造影剤が取り込まれた領域)の差分値は比較的大きい値になるが、食べ物や石灰化部分の領域(造影剤が取り込まれていない領域)の差分値は比較的小さい値になる。このため、非造影CT画像と造影CT画像とを差分することにより、食べ物や石灰化部分など、造影剤が取り込まれていないにも拘らず明るく描出される領域と、腫瘍に造影剤が取り込まれることにより明るく描出される領域とをの違いが強調された差分画像を得ることができる。
【0014】
本発明では、このような差分画像を使用して学習済みモデルを生成している。したがって、非造影CT画像および造影CT画像に、食べ物や石灰化部分など、造影剤が取り込まれていないにも拘らず明るく描出される領域が含まれていても、非造影CT画像および造影CT画像を学習済みモデルに入力することにより、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することができる。
【図面の簡単な説明】
【0015】
図1】本形態のX線CT装置の説明図である。
図2】ガントリ2、テーブル4、および操作コンソール8の説明図である。
図3】処理部84の主な機能ブロックを示す図である。
図4】学習フェーズのフローチャートを示す図である。
図5】学習フェーズで使用されるCT画像の説明図である。
図6】非造影CT画像CNi並びに造影CT画像CPi、CQi、およびCRiの一例を概略的に示した図である。
図7】正解データの作成方法の一例の説明図である。
図8】ステップST2の説明図である。
図9】造影検査フローを示す図である。
図10】再構成画像の一例を示す図である。
図11】推論フェーズの説明図である。
図12】第2の形態における処理部84の機能ブロックを示す図である。
図13】第2の形態における造影検査フローを示す図である。
図14】ステップST30の説明図である。
【発明を実施するための形態】
【0016】
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
【0017】
図1は、第1の形態のX線CT装置の一例の説明図である。
図1に示すように、X線CT装置1は、ガントリ(gantry)2、テーブル(table)4、カメラ(camera)6、及び操作コンソール(console)8を備えている。
【0018】
スキャンルーム100には、ガントリ2及びテーブル4が設置されている。スキャンルーム100の天井101にはカメラ6が設置されている。操作ルーム200には、操作コンソール8が設置されている。
【0019】
次に、ガントリ2、テーブル4、および操作コンソール8について、図2を参照しながら説明する。
【0020】
図2は、ガントリ2、テーブル4、および操作コンソール8の説明図である。
ガントリ2は、患者40が移動可能な空間であるボア21を画定する内壁を有している。
【0021】
また、ガントリ2は、X線管22、アパーチャ(aperture)23、コリメータ24、X線検出器25、データ収集部(data acquisition system)26、回転部27、高電圧電源28、アパーチャ駆動装置29、回転部駆動装置30、GT(Gantry Table)制御部31などを有している。
【0022】
X線管22、アパーチャ23、コリメータ24、X線検出器25、およびデータ収集部26は、回転部27に搭載されている。
【0023】
X線管22は患者40にX線を照射する。X線検出器25は、X線管22から照射されたX線を検出する。X線検出器25は、ボア21に対してX線管22とは反対側に設けられている。
【0024】
アパーチャ23は、X線管22とボア21との間に配置されている。アパーチャ23は、X線管22のX線焦点からX線検出器25に向けて放射されるX線をファンビーム(fan beam)やコーンビーム(cone beam)に成形する。
【0025】
X線検出器25は、患者40を透過したX線を検出する。
コリメータ24は、X線検出器25に対してX線入射側に配置されており、散乱X線を除去する。
【0026】
高電圧電源28は、X線管22に高電圧及び電流を供給する。
アパーチャ駆動装置29はアパーチャ23を駆動しその開口を変形させる。
回転部駆動装置30は回転部27を回転駆動する。
【0027】
テーブル4は、クレードル(cradle)41、クレードル支持台42、および駆動装置43を有している。クレードル41は撮影対象である患者40を支持するものである。クレードル支持台42は、クレードル41をy方向およびz方向に移動可能に支持するものである。駆動装置43は、クレードル41およびクレードル支持台42を駆動するものである。尚、ここでは、クレードル41の長手方向をz方向、テーブル4の高さ方向をy方向、z方向およびy方向に垂直な水平方向をx方向とする。
【0028】
GT制御部31は、ガントリ2内の各装置・各部、およびテーブル4の駆動装置43等を制御する。
【0029】
操作コンソール8は、入力部81、表示部82、記憶部83、処理部84、コンソール制御部85などを有している。
【0030】
入力部81は、オペレータからの指示や情報の入力を受け付けたり、各種の操作を行うためのキーボード(keyboard)およびポインティングデバイス(pointing device)などを含んでいる。表示部82は、スキャン条件を設定するための設定画面、CT画像などを表示するものであり、例えば、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどである。
【0031】
記憶部83は、プロセッサで各種処理を実行させるためのプログラムが記憶されている。また、記憶部83は、各種データや各種ファイルなども記憶する。記憶部83は、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、DRAM(Dynamic Random Access Memory)、およびROM(Read Only Memory)等を有している。また、記憶部83は、CD(Compact Disk)やDVD(Digital Versatile Disk)などの可搬性の記憶媒体90を含んでいてもよい。
【0032】
処理部84は、ガントリ2により取得された患者40のデータ(data)に基づいて画像再構成処理を行ったり、その他の各種の演算を行う。処理部84は一つ以上のプロセッサを有しており、一つ以上のプロセッサが、記憶部83に記憶されているプログラムの各種処理を実行する。尚、処理部84は、本発明の推論装置に相当する。
【0033】
図3は、処理部84の主な機能ブロックを示す図である。
処理部84は再構成部841および推論部842を有している。
【0034】
再構成部841は、スキャンにより得られた投影データに基づいて、CT画像(例えば、スカウト画像、非造影CT画像、および造影CT画像)を再構成する。
【0035】
推論部842は、学習済みモデルにCT画像を入力し、患者の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。
【0036】
また、記憶部83には、1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納されている。この一つ以上の命令は、1つ以上のプロセッサに、以下の動作(a1)および(a2)を実行させる。
(a1)投影データに基づいてCT画像を再構成する(再構成部841)。
(a2)学習済みモデルにCT画像を入力し、患者40の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する(推論部842)。
【0037】
操作コンソール8の処理部84は、記憶部83に格納されている命令を読み出し、上記の動作(a1)-(a2)を実行することができる。
【0038】
コンソール制御部85は、入力部81からの入力に基づいて、表示部82を制御したり、処理部84を制御する。
X線CT装置1は上記のように構成されている。
【0039】
近年、デュアルエネルギーCTを使って、腫瘍の良性、悪性の鑑別をすることが行われている。しかし、CT装置によってはデュアルエネルギーCTが使用できない装置がある。この問題に対処するため、DNN(Deep Neural Network)にデュアルエネルギーCTのデータを用いた学習を行わせて学習済みのDNNを生成し、この学習済みのDNNにシングルエネルギーCTのデータを入力してデュアルエネルギー情報を推論する研究が行われている。しかし、この方法では、撮影部位内において、造影剤が取り込まれていないにも関わらず、他の組織よりも明るく描出される領域が現れることがある。例えば、撮影部位に、胃の中の食べ物や石灰化した部分が含まれている場合、食べ物や石灰化した部分が明るく描出されることがある。したがって、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することが難しい場合ある。
【0040】
そこで、本形態では、この問題に対処するために、DL(深層学習)を利用して、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別するための学習済みモデルを生成している。
以下に、この学習済みモデルの生成方法について、図4図8を参照しながら説明する。
【0041】
図4は学習フェーズのフローチャートを示す図である。
ステップST1では、学習フェーズで使用される複数のCT画像を用意する。図5は、学習フェーズで使用されるCT画像の説明図である。本形態では、学習フェーズで使用されるCT画像は以下のとおりである。
(1)肝臓を含む胸部の非造影CT画像
(2)肝臓を含む胸部の造影CT画像
【0042】
図5では、非造影CT画像は符号CNi(1≦i≦n)で示されている。また、造影CT画像は、符号CPi(1≦i≦n)、CQi(1≦i≦n)、およびCRi(1≦i≦n)で示されている。造影CT画像CPi、CQi、およびCRiは、マルチフェーズの造影撮影により得られた画像である。造影CT画像CPiは第1の時相の造影CT画像であり、造影CT画像CQiは第2の時相の造影CT画像であり、造影CT画像CRiは第3の時相の造影CT画像である。第1の時相、第2の時相、および第3の時相は、例えば、動脈相、実質相、および静脈相である。肝臓に腫瘍がある場合、造影撮影を行うと、腫瘍の種類によって腫瘍の染まり具合が時間とともに変化する。したがって、マルチフェーズのCT画像は、腫瘍を鑑別するのに有益な画像となる。
【0043】
図6は、図5に示す非造影CT画像CNi並びに造影CT画像CPi、CQi、およびCRiの一例を概略的に示した図である。
図6では、i=1の画像、すなわち、非造影CT画像CN1、造影CT画像CP1、CQ1、およびCR1が示されている。
【0044】
図6では、説明の便宜上、各画像CN1、CP1、CQ1、およびCR1には、体内の肝臓、腫瘍、および胃の中の食べ物のみが簡略化されて示されている。
【0045】
非造影CT画像CN1では、腫瘍に造影剤が取り込まれていないので、腫瘍は暗く描出される(画素値が小さい)。一方、造影CT画像CP1、CQ1、およびCR1では、腫瘍に造影剤が取り込まれているので、腫瘍は明るく描出される。一方、説明を簡略化するため、肝臓のうち腫瘍を除く領域は、画像CN1、CP1、CQ1、およびCR1の間で、同じ明るさで描出されているとする。図6では、肝臓のうち腫瘍を除く領域は、斜線で示してある。
【0046】
胃の中の食べ物は、周囲の組織よりも明るく描出される。図6では、説明を簡略化するため、食べ物は、画像CN1、CP1、CQ1、およびCR1の間で、同じ明るさで描出されているとする。
【0047】
尚、図6では、学習フェーズで使用される画像として、食べ物が描出された画像が示されている。しかし、食べ物以外で腫瘍と混同する恐れがあるもの(例えば、石灰化した部分)が描出された画像も、学習フェーズで使用される画像として用意することができる。また、学習フェーズで使用される画像は、人間の体動(例えば、呼吸による体動、心臓による体動)に起因した位置ずれが補正されていない画像でもよいし、体動に起因した位置ずれが補正された画像でもよい。
【0048】
図5に戻って説明を続ける。
また、複数の正解データも用意する。正解データは符号GPi(1≦i≦n)、符号GQi(1≦i≦n)、および符号GRi(1≦i≦n)で示されている。以下に、正解データの生成方法について説明する。
【0049】
図7は、正解データの作成方法の一例の説明図である。
図7の上段には、図6に示したi=1の画像、すなわち非造影CT画像CN1、並びに第1の時相の造影CT画像CP1、第2の時相の造影CT画像CQ1、および第3の時相の造影CT画像CR1が再掲されている。
【0050】
図7では、非造影CT画像CN1、第1の時相の造影CT画像CP1、第2の時相の造影CT画像CQ1、および第3の時相の造影CT画像CR1から、正解データとして、差分画像GP1、GQ1、およびGR1を生成する例が示されている。
【0051】
差分画像GP1は、非造影CT画像CN1と第1の時相の造影CT画像CP1との差分画像であり、差分画像GQ1は、非造影CT画像CN1と第2の時相の造影CT画像CQ1との差分画像であり、差分画像GR1は、非造影CT画像CN1と第3の時相の造影CT画像CR1との差分画像である。
【0052】
先ず、差分画像GP1について説明する。
腫瘍について着目すると、非造影CT画像CN1の腫瘍は、第1の時相の造影CT画像CP1の腫瘍よりも暗く描出されている。したがって、非造影CT画像CN1と第1の時相の造影CT画像CP1とを比較すると、腫瘍の明るさに大きな差がある。一方、食べ物について着目すると、非造影CT画像CN1の食べ物は、第1の時相の造影CT画像CP1の食べ物と比較して、明るさにあまり大きな差が見られない。したがって、非造影CT画像CN1と、第1の時相の造影CT画像CP1とを差分すると、腫瘍の領域(造影剤が取り込まれた領域)の差分値は比較的大きい値になるが、食べ物の領域(造影剤が取り込まれていない領域)の差分値は比較的小さい値になる。このため、非造影CT画像CN1と、第1の時相の造影CT画像CP1とを差分することにより、食べ物と腫瘍との違いが強調された差分画像GP1を得ることができる。尚、
また、他の2つの差分画像GQ1およびGR1についても、差分画像GP1と同様に説明することができる。したがって、非造影CT画像CN1と、第2の時相の造影CT画像CQ1とを差分することにより、食べ物と腫瘍との違いが強調された差分画像GQ1を得ることができる。同様に、非造影CT画像CN1と、第3の時相の造影CT画像CR1とを差分することにより、食べ物と腫瘍との違いが強調された差分画像GR1を得ることができる。
【0053】
上記のように、差分画像GP1、GQ1、およびGR1は、食べ物と腫瘍との違いが強調された画像であるので、これらの差分画像GP1、GQ1、およびGR1を、腫瘍と食べ物とを区別するための正解データとして使用することができる。
【0054】
図7では、i=1の画像CN1、CP1、CQ1、およびCR1のセットから差分画像GP1、GQ1、およびGR1を生成する例について説明したが、i≧2の画像についても、同様にして、差分画像を生成する。
【0055】
上記のようにして、図5に示す正解データ、すなわち、差分画像GP1~GPn、差分画像GQ1~GQn、および差分画像GR1~GRnを用意することができる。尚、差分画像GP1~GPn、差分画像GQ1~GQn、および差分画像GR1~GRnに対して所定の画像処理を実行し、所定の画像処理が実行された後の差分画像GP1’~GPn’、差分画像GQ1’~GQn’、および差分画像GR1’~GRn’を、正解データとして用意してもよい。ここでは、説明を簡略にするため、差分画像GP1~GPn、差分画像GQ1~GQn、および差分画像GR1~GRnが、正解データとして用意されたとする。
【0056】
各差分画像(正解データ)は、非造影CT画像と造影CT画像とのセットにラベリングされている。具体的には、差分画像GPiは、非造影CT画像CNiと第1の時相の造影CT画像CPiとにラベリングされており、差分画像GQiは、非造影CT画像CNiと第2の時相の造影CT画像CQiとにラベリングされており、差分画像GRiは、非造影CT画像CNiと第3の時相の造影CT画像CRiとにラベリングされている。
これらのCT画像および差分画像を用意したら、ステップST2に進む。
【0057】
図8はステップST2の説明図である。
ステップST2では、ニューラルネットワーク(NN)91が、非造影CT画像CNi、造影CT画像CPi、CQi、CRi、および差分画像(正解データ)GPi、GQi、およびGRiを用いた学習を実行する。これによって、学習済みモデル91aを生成することができる。
このようにして生成された学習済みモデル91aは、CT装置の記憶部83に記憶される。
【0058】
上記の学習フェーズにより得られた学習済みモデル91aは、患者の造影検査において、造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を行うときに使用される。以下に、患者の造影検査フローについて説明する。
【0059】
図9は、造影検査フローを示す図である。
ステップST10では、オペレータが撮影対象者である患者40をスキャンルームへと案内し、図1に示すように、患者40をテーブル4に寝かせる。そして、患者40の胸部の非造影スキャンを実行し、さらに、患者に造影剤を投与し、マルチフェーズの造影スキャンを実行する。
【0060】
ステップST20では、再構成部841が、ステップST10のスキャンにより得られた投影データに基づいて、CT画像を再構成する。図10は、再構成画像の一例を示す図である。
【0061】
再構成部841(図3参照)は、非造影スキャンにより得られた投影データに基づいて、患者40の胸部を含む非造影CT画像CN0を再構成する。また、再構成部841は、マルチフェーズの造影スキャンにより得られた投影データに基づいて、患者40の胸部を含むマルチフェーズの造影CT画像CP0、CQ0、およびCR0を再構成する。
【0062】
本形態では、マルチフェーズの造影スキャンは、3つの時相(第1の時相、第2の時相、第3の時相)のCT画像を取得するためのスキャンであり、造影CT画像CP0、CQ0、およびCR0は、それぞれ、第1の時相、第2の時相、および第3の時相の造影CT画像を表している。
【0063】
図10では、説明の便宜上、図6と同様に、画像CN0、CP0、CQ0、およびCR0には、体内の肝臓、腫瘍、および胃の中の食べ物のみが簡略化されて示されている。
画像を再構成した後、ステップST30に進む。
【0064】
ステップST30では、推論部842が、患者40の胸部において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。図11は、推論フェーズの説明図である。
【0065】
推論部842は、ステップST20で再構成された非造影CT画像CN0、および造影CT画像CP0、CQ0、およびCR0を学習済みモデル91aに入力する。学習済みモデル91aは、入力されたこれらの画像CN0、CP0、CQ0、およびCR0に基づいて、患者40の胸部において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を行い、判別結果を表す差分画像GP0、GQ0、GR0を出力する。
【0066】
図11を参照すると、学習済みモデル91aに入力される造影CT画像CP0、CQ0、およびCR0は、造影剤を取り込んでいる腫瘍だけでなく、造影剤を取り込んでいない胃の中の食べ物も明るく描出されている。しかし、学習済みモデル91aが出力した結果では、胃の中の食べ物は暗く描出されており、腫瘍と食べ物とを識別できていることが分かる。これらの差分画像GP0、GQ0、GR0には、造影剤が取り込まれた領域の位置を表す位置データと、造影剤が取り込まれていない領域の位置を表す位置データとが含まれている。したがって、患者40の胸部において、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することができる。
このようにして、図9に示すフローが終了する。
【0067】
本形態では、造影剤が取り込まれた領域(例えば、腫瘍)と、造影剤が取り込まれていない領域(例えば、胃の中の食べ物)とを判別するための学習済みモデル91aが生成されている。したがって、検査で得られた患者のCT画像の中に、胃の中の食べ物など、造影剤が取り込まれていないにも関わらず明るく描出されてしまう領域が現れた場合であっても、学習済みモデル91aを使用することにより、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを判別することができる。したがって、腫瘍の良性、悪性の鑑別精度を向上させることができる。
【0068】
尚、第1の形態では、マルチフェーズの造影CT画像として、3つの時相を考えている。しかし、3つの時相の代わりに、2つの時相であってもよいし、4つ以上の時相であってもよい。また、マルチフェーズの造影CT画像の代わりに、単時相の造影CT画像とすることもできる。
【0069】
尚、学習済みモデル91aに入力されるCT画像CN0、CP0、CQ0、およびCR0(図11参照)は、腫瘍だけでなく食べ物も明るく描出されているので、CT画像CN0、CP0、CQ0、およびCR0を見ただけでは、食べ物と腫瘍とを判別することは難しい。そこで、診断に適した画像を得るために、ステップST30で推論結果を出力した後、以下のステップAおよびステップBを実行することができる。
【0070】
ステップA:ステップST30の推論結果に基づいて、造影剤が取り込まれていない領域の位置を特定するステップ。このステップAは、処理部84に、この特定を実行する特定部を設けることにより実行することができる。
【0071】
ステップB:ステップAで特定した位置と、ステップST10のスキャンにより得られた投影データとに基づいて、造影剤が取り込まれていない領域は暗くなるように画像を再構成するステップ。このステップBは、処理部84の再構成部841(図3参照)で実行することができる。
【0072】
上記のステップAおよびBを実行することにより、オペレータや読影医に、腫瘍の良性、悪性の鑑別に適したCT画像を提供することができる。
【0073】
(第2の形態)
第2の形態では、第1の形態で作成した学習済みモデルの出力結果を、デュアルエネルギー情報の信頼性向上に利用する例について説明する。
【0074】
第2の形態では、処理部84は、以下の機能ブロックを有している。
図12は、第2の形態における処理部84の機能ブロックを示す図である。
第2の形態の処理部84は、主な機能ブロックとして、再構成部841、推論部842、および判定部843を有している。
【0075】
再構成部841は、スキャンにより得られた投影データに基づいて、CT画像(例えば、スカウト画像、非造影CT画像、および造影CT画像)を再構成する。
【0076】
推論部842は、第1の形態の学習済みモデル91aにCT画像を入力し、患者40の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。また、推論部842は、後述する学習済みDNN92a(図14参照)にCT画像を入力し、デュアルエネルギー情報を推論する。
【0077】
判定部843は、第1の形態の学習済みモデル91aの推論結果に基づいて、学習済みDNN92aの推論結果が正しいか否かを判定する。
【0078】
また、記憶部83には、1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納されている。この一つ以上の命令は、1つ以上のプロセッサに、以下の動作(b1)-(b4)を実行させる。
【0079】
(b1)投影データに基づいてCT画像を再構成する(再構成部841)。
(b2)学習済みモデル91aにCT画像を入力し、患者40の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する(推論部842)。
(b3)学習済みDNN92aにCT画像を入力し、デュアルエネルギー情報を推論する(推論部842)。
(b4)学習済みモデル91aの推論結果に基づいて、学習済みDNN92a(図14参照)の推論結果が正しいか否かを判定する(判定部843)。
【0080】
以下、第2の形態の造影検査フローについて、図13および図14を参照しながら説明する。
【0081】
図13は、第2の形態における造影検査フローを示す図である。
ステップST10およびST20は、第1の形態と同じであるので説明は省略する。画像再構成した後、ステップST30に進む。
【0082】
図14は、ステップST30の説明図である。
ステップST30では、推論部842が、ステップST20で得られた非造影CT画像CN0並びに造影CT画像CP0、CQ0、およびCR0を学習済みモデル91aに入力する。学習済みモデル91aは、第1の形態で説明したように、差分画像GP0、GQ0、およびGR0を出力する。
【0083】
また、ステップST30では、推論部842は、ステップST20で得られたCT画像CN0、CP0、CQ0、およびCR0を学習済みDNN92aにも入力する。学習済みDNN92aは、ニューラルネットワークがデュアルエネルギーデータを学習することにより生成された学習済みモデルであり、学習済みDNN92aは、シングルエネルギーデータが入力されると、造影剤が取り込まれた領域の位置情報を含むデュアルエネルギー情報DIを推論するものである。
【0084】
CT画像CN0、CP0、CQ0、およびCR0は、シングルエネルギーCTで得られた画像であるので、これらのCT画像CN0、CP0、CQ0、およびCR0が学習済みDNN92aに入力されると、学習済みDNN92aは、造影剤が取り込まれた領域の位置情報を含むデュアルエネルギー情報DIを出力する。
【0085】
ステップST40では、判定部843が、学習済みモデル91aにより推論された結果(差分画像GP0、GQ0、およびGR0)と、学習済みDNN92aにより推論された結果(デュアルエネルギー情報DI)とを比較する。判定部843は、この比較結果に基づいて、学習済みDNN92aにより造影剤が取り込まれたと推論された領域が、実際に造影剤が取り込まれた領域なのか、それとも、実際には造影剤が取り込まれていないのに造影剤が取り込まれたと誤って推論された領域なのかを判定する。
このようにしてフローが終了する。
【0086】
第2の形態では、学習済みモデル91aの推定結果と、学習済みDNN92aの推定結果とを比較し、学習済みDNN92aによって造影剤が取り込まれたと推論された領域が、実際に造影剤が取り込まれた領域であるのか否かを判定することができる。したがって、学習済みモデル91aの推論結果を、学習済みDNN92aの推論精度を向上させるために使用することができる。
【0087】
第1および第2の形態では、肝臓を撮影部位としているが、撮影部位は必ずしも肝臓に限定されることは無く、肝臓以外の臓器を含む部位を撮影部位としてもよい。
【0088】
尚、第1および第2の形態では、非造影CT画像と造影CT画像とを用いて学習済みモデルを生成する例について説明した。しかし、非造影CT画像を使用せずに、マルチフェーズの造影CT画像のみを用いて学習済みモデルを生成してもよい。この学習済みモデルは、例えば、以下のステップ(1)-(4)を実行することにより生成することができる。
【0089】
(1)人間の所定の部位を複数の時相で造影撮影することにより、複数の造影CT画像を用意する。
【0090】
(2)複数の正解データを用意する。各正解データは、複数の時相のうちの一つの時相で撮影された造影CT画像と、複数の時相のうちの他の時相で撮影された造影CT画像とを差分することにより生成される。
【0091】
(3)正解データを造影CT画像にラベリングする。
【0092】
(4)コンピュータが、ニューラルネットワークに、複数の造影CT画像と複数の正解データとを用いた学習を実行させる
このようにして、学習済みモデルを生成する。この学習済みモデルは、造影CT画像が入力されることにより、患者の撮影部位において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。
【0093】
推論フェーズでは、複数の時相で撮影された患者の造影CT画像を、上記の学習済みモデルに入力し、造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する。この方法では、非造影CT画像を使わずに、腫瘍の鑑別をすることが可能となる。
【0094】
尚、第1および第2の形態では、DL(深層学習)により学習済みモデルを作成したが、DL以外の他の機械学習により学習済みモデルを生成してもよい。
【符号の説明】
【0095】
1 CT装置
4 テーブル
6 カメラ
8 操作コンソール
21 ボア
22 X線管
23 アパーチャ
24 コリメータ
25 X線検出器
26 データ収集部
27 回転部
28 高電圧電源
29 アパーチャ駆動装置
30 回転部駆動装置
31 GT制御部
40 患者
41 クレードル
42 クレードル支持台
43 駆動装置
81 入力部
82 表示部
83 記憶部
84 処理部
85 コンソール制御部
90 記憶媒体
91 ニューラルネットワーク
91a 学習済みモデル
92a 学習済みDNN
100 スキャンルーム
101 天井
200 操作ルーム
841 再構成部
842 推論部
843 判定部
【要約】      (修正有)
【課題】造影撮影を実行した場合、造影剤が取り込まれた領域と、造影剤が取り込まれていない領域とを高い精度で判別する技術を提供する。
【解決手段】撮影対象者の胸部を含む非造影CT画像および前記撮影対象者の胸部を含む造影CT画像が入力されることにより、前記撮影対象者の胸部において造影剤が取り込まれた領域と造影剤が取り込まれていない領域とを判別するための推論を実行する学習済みモデル91aを生成する学習済みモデル生成方法であって、コンピュータが、ニューラルネットワーク91に、人間の胸部を含む複数の非造影CT画像CN1~CNn、人間の胸部を含む第1の時相の造影CT画像CP1~CPn、第2の時相の造影CT画像CQ1~CQn、第3の時相の造影CT画像CQ1~CQn、および複数の正解データGP1~GPn、GQ1~GQn、およびGR1~GRnを用いた学習を実行させることにより、学習済みモデル91aを生成する。
【選択図】図8
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14