ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-15883情報処理装置、情報処理方法、プログラム、学習済みモデルおよび学習モデル生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024015883
(43)【公開日】2024-02-06
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、学習済みモデルおよび学習モデル生成方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20240130BHJP
【ＦＩ】
A61B6/03 370Z
A61B6/03 360J
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2022118251
(22)【出願日】2022-07-25
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】ケシュワニ ディーパック
(72)【発明者】
【氏名】北村 嘉郎
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA18
4C093DA02
4C093FA47
4C093FD03
4C093FF16
4C093FF19
4C093FF20
4C093FF23
4C093FG16
(57)【要約】
【課題】簡便あるいは低負荷な方法により取得可能な画像から精度よく臨床パラメータを算出することが可能になる情報処理装置、情報処理方法、プログラム、学習済みモデルおよび学習モデル生成方法を提供する。
【解決手段】情報処理装置は、１つ以上のプロセッサと、プログラムを記憶する１つ以上の記憶装置と、を備え、プログラムは、入力された第１の画像から第１の画像とは異なる撮影プロトコルにより得られる画像を模した第２の画像を生成するように学習された画像生成モデルを含む。画像生成モデルは、第１の撮影プロトコルにより撮影された訓練画像と、同種のモダリティを用いて同じ被検者について第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、画像生成モデルが出力する生成画像から算出される臨床パラメータが正解の臨床パラメータに近づくように学習されたモデルである。
【選択図】図７
【解決手段】情報処理装置は、１つ以上のプロセッサと、プログラムを記憶する１つ以上の記憶装置と、を備え、プログラムは、入力された第１の画像から第１の画像とは異なる撮影プロトコルにより得られる画像を模した第２の画像を生成するように学習された画像生成モデルを含む。画像生成モデルは、第１の撮影プロトコルにより撮影された訓練画像と、同種のモダリティを用いて同じ被検者について第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、画像生成モデルが出力する生成画像から算出される臨床パラメータが正解の臨床パラメータに近づくように学習されたモデルである。
【選択図】図７
【特許請求の範囲】
【請求項1】
１つ以上のプロセッサと、
前記１つ以上のプロセッサに実行させるプログラムを記憶する１つ以上の記憶装置と、を備え、
前記プログラムは、入力された第１の画像から前記第１の画像とは異なる撮影プロトコルにより得られる画像を模した第２の画像を生成するように学習された画像生成モデルを含み、
前記画像生成モデルは、第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、前記訓練画像の入力に対して前記画像生成モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習されたモデルであり、
前記１つ以上の前記プロセッサは、
前記第１の撮影プロトコルにより撮影された前記第１の画像の入力を受け付け、
前記第１の画像から前記画像生成モデルによって前記第２の画像を生成し、
前記第２の画像から臨床パラメータを算出する、
情報処理装置。
前記１つ以上のプロセッサに実行させるプログラムを記憶する１つ以上の記憶装置と、を備え、
前記プログラムは、入力された第１の画像から前記第１の画像とは異なる撮影プロトコルにより得られる画像を模した第２の画像を生成するように学習された画像生成モデルを含み、
前記画像生成モデルは、第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、前記訓練画像の入力に対して前記画像生成モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習されたモデルであり、
前記１つ以上の前記プロセッサは、
前記第１の撮影プロトコルにより撮影された前記第１の画像の入力を受け付け、
前記第１の画像から前記画像生成モデルによって前記第２の画像を生成し、
前記第２の画像から臨床パラメータを算出する、
情報処理装置。
【請求項2】
前記１つ以上の前記プロセッサは、
前記第１の画像を解剖学的領域に分割し、
前記分割された解剖学的領域毎に前記臨床パラメータを算出する、
請求項１に記載の情報処理装置。
前記第１の画像を解剖学的領域に分割し、
前記分割された解剖学的領域毎に前記臨床パラメータを算出する、
請求項１に記載の情報処理装置。
【請求項3】
前記訓練画像と前記対応画像とのそれぞれは前記解剖学的領域に分割され、前記対応画像の前記分割された解剖学的領域毎に前記正解の臨床パラメータが算出されており、
前記画像生成モデルは、前記訓練画像の前記分割された解剖学的領域毎に前記生成画像から算出されるそれぞれの前記臨床パラメータが、前記対応画像のそれぞれの解剖学的領域の前記正解の臨床パラメータに近づくように学習されたモデルである、
請求項２に記載の情報処理装置。
前記画像生成モデルは、前記訓練画像の前記分割された解剖学的領域毎に前記生成画像から算出されるそれぞれの前記臨床パラメータが、前記対応画像のそれぞれの解剖学的領域の前記正解の臨床パラメータに近づくように学習されたモデルである、
請求項２に記載の情報処理装置。
【請求項4】
前記分割された前記解剖学的領域は、冠状動脈の灌流領域である、
請求項２又は３に記載の情報処理装置。
請求項２又は３に記載の情報処理装置。
【請求項5】
前記臨床パラメータは、冠動脈の主枝毎のカルシウム体積である、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項6】
前記第１の画像は、心電図非同期撮影により得られる非心電図同期ＣＴ画像であり、
前記第２の画像は、心電図同期撮影により得られる心電図同期ＣＴ画像を模した画像である、
請求項１に記載の情報処理装置。
前記第２の画像は、心電図同期撮影により得られる心電図同期ＣＴ画像を模した画像である、
請求項１に記載の情報処理装置。
【請求項7】
前記訓練画像は、前記対応画像よりも低線量の条件下で撮影されたものである、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
前記第１の撮影プロトコルは、前記第２の撮影プロトコルよりも低線量である、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項9】
前記第１の撮影プロトコルは、前記第２の撮影プロトコルよりも遅いスキャン速度である、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項10】
前記臨床パラメータが、石灰化スコアである、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項11】
前記臨床パラメータが、心臓血管のカルシウム体積である、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項12】
前記臨床パラメータが、冠動脈石灰化の重症度である、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項13】
前記画像生成モデルは、ニューラルネットワークを用いて構成される、
請求項１記載の情報処理装置。
請求項１記載の情報処理装置。
【請求項14】
１つ以上のプロセッサが実行する情報処理方法であって、
前記１つ以上の前記プロセッサが、
第１の撮影プロトコルにより撮影された第１の画像を取得することと、
前記第１の画像を画像生成モデルに入力し、前記画像生成モデルにより前記第１の画像から、前記第１の画像の撮影に用いたモダリティと同種のモダリティを用いて前記第１の画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影した場合に得られる画像を模した第２の画像を生成することと、
前記第２の画像から臨床パラメータを算出することと、を含み、
前記画像生成モデルは、前記第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用い、前記訓練画像の入力に対して前記画像生成モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習されたモデルである、
情報処理方法。
前記１つ以上の前記プロセッサが、
第１の撮影プロトコルにより撮影された第１の画像を取得することと、
前記第１の画像を画像生成モデルに入力し、前記画像生成モデルにより前記第１の画像から、前記第１の画像の撮影に用いたモダリティと同種のモダリティを用いて前記第１の画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影した場合に得られる画像を模した第２の画像を生成することと、
前記第２の画像から臨床パラメータを算出することと、を含み、
前記画像生成モデルは、前記第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用い、前記訓練画像の入力に対して前記画像生成モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習されたモデルである、
情報処理方法。
【請求項15】
コンピュータに、
第１の撮影プロトコルにより撮影された第１の画像を取得する機能と、
前記第１の画像を画像生成モデルに入力し、画像生成モデルによって前記第１の画像から、前記第１の画像の撮影に用いたモダリティと同種のモダリティを用いて前記第１の画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影した場合に得られる画像を模した第２の画像を生成する機能と、
前記第２の画像から臨床パラメータを算出する機能と、
を実現させるプログラムであって、
前記画像生成モデルは、前記第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、前記訓練画像の入力に対して前記画像生成モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習されたモデルである、
プログラム。
第１の撮影プロトコルにより撮影された第１の画像を取得する機能と、
前記第１の画像を画像生成モデルに入力し、画像生成モデルによって前記第１の画像から、前記第１の画像の撮影に用いたモダリティと同種のモダリティを用いて前記第１の画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影した場合に得られる画像を模した第２の画像を生成する機能と、
前記第２の画像から臨床パラメータを算出する機能と、
を実現させるプログラムであって、
前記画像生成モデルは、前記第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、前記訓練画像の入力に対して前記画像生成モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習されたモデルである、
プログラム。
【請求項16】
入力された画像から前記画像とは異なる撮影プロトコルにより得られる画像を模した擬似画像を生成する機能をコンピュータに実現させる学習済みモデルであって、
第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、前記訓練画像の入力に対して学習モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習された学習済みモデル。
第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、前記訓練画像の入力に対して学習モデルが出力する生成画像から算出される臨床パラメータが前記正解の臨床パラメータに近づくように学習された学習済みモデル。
【請求項17】
入力された画像から前記画像とは異なる撮影プロトコルにより得られる画像を模した擬似画像を生成する機能をコンピュータに実現させる学習モデルを生成する学習モデル生成方法であって、
１つ以上のプロセッサを含むシステムが、
第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いて機械学習を行い、
前記訓練画像を学習モデルに入力して前記学習モデルから出力される生成画像から臨床パラメータを算出し、前記生成画像から算出される前記臨床パラメータが前記正解の臨床パラメータに近づくように前記学習モデルを学習することを含む、
学習モデル生成方法。
１つ以上のプロセッサを含むシステムが、
第１の撮影プロトコルにより撮影された訓練画像と、前記訓練画像の撮影に用いたモダリティと同種のモダリティを用いて前記訓練画像と同じ被検者について前記第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いて機械学習を行い、
前記訓練画像を学習モデルに入力して前記学習モデルから出力される生成画像から臨床パラメータを算出し、前記生成画像から算出される前記臨床パラメータが前記正解の臨床パラメータに近づくように前記学習モデルを学習することを含む、
学習モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、プログラム、学習済みモデルおよび学習モデル生成方法に係り、特に医療画像から臨床パラメータを算出する画像処理技術および機械学習技術に関する。
【背景技術】
【0002】
心臓血管疾患（Cardiovascular disease ：ＣＶＤ）を検出するための一般的な方法として、胸部領域のコンピュータ断層撮影（Computed Tomography：ＣＴ）画像を撮影し、冠動脈および心臓の石灰化（カルシウム化）を定量化することが行われる。冠動脈石灰化（Coronary Artery Calcification ：ＣＡＣ）スコアリングは、ＣＶＤ検出における最も特徴的かつ標準的なマーカーである。ＣＡＣスコアに基づいてＣＶＤの重症度が評価され、治療等が処方される。現状においてＣＡＣスコアを測定する際には、心臓の運動アーチファクトを無くすために、心電図（Electrocardiogram：ＥＣＧ）と同期した特殊な撮影法によって得られる心電図同期ＣＴ（ECG gated CT）画像が用いられる。
【0003】
これに対し、非特許文献１は、心電図と非同期の撮影法によって得られる非心電図同期ＣＴ（non ECG gated CT）画像から、限られた精度でＣＡＣ重症度を４段階にクラス分けする技術を開示している。非特許文献１に記載の方法は、まず、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を使用して、非心電図同期ＣＴ画像からカルシウム領域をセグメント化する。次に、セグメント化されたカルシウム領域から平均ＣＴ値および標準偏差などの特徴量を取得し、別の機械学習方法を用いて、対応する心電図同期ＣＴ画像で把握される重症度ステージと同じＣＡＣ重症度ステージを出力するようにモデルを訓練する。
【0004】
また、画像診断の支援技術に関して、特許文献１は、ＰＥＴ（Positron Emission Tomography）画像など、放射性薬剤を用いて撮影される画像のデメリットに鑑み、放射性薬剤を用いずに撮影可能なＭＲＩ（Magnetic Resonance Imaging）画像などの画像から、薬剤を用いたＰＥＴ画像などの画像を推定して診断に活用するシステムを提案している。特許文献１に記載のシステムは、受診者の、評価対象領域を一部に含む参照領域を少なくとも含むＭＲ画像の実画像データを含む受診者情報を取得する取得ユニットと、複数の被験対象の参照領域のＭＲ画像の実画像データと評価対象領域を含むＰＥＴ画像の実画像データとを含む訓練データに基づいて、参照領域のＭＲ画像の実画像データから評価対象領域の疑似ＰＥＴ画像データを生成するように機械学習をさせた画像処理モデルにより、受診者の個別のＭＲ画像の実画像データから生成された評価対象領域の疑似ＰＥＴ画像データに基づく診断支援情報を提供する情報提供ユニットとを有する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６７４６１６０号
【非特許文献】
【0006】
【非特許文献1】Eng, D., Chute, C., Khandwala, N. et al. “Automated coronary calcium scoring using deep learning with multicenter external validation.” npj Digit. Med. 4, 88 (2021).
【発明の概要】
【発明が解決しようとする課題】
【0007】
心電図同期撮影は、心電図非同期撮影に比べて精細な画像が得られるものの、撮影方法が複雑であり、特別な撮影システムが必要となる。また、心電図同期撮影は、心電図非同期撮影に比べて被検者に対する放射線量が増える。放射線量を低減して被検者への負荷を減らす観点から、肺がんや呼吸器疾患のスクリーニングに用いられる通常の胸部ＣＴ画像を用いてＣＡＣスコアを測定することが望ましい。
【0008】
しかし、心電図と非同期の撮影により得られる通常の非心電図同期ＣＴ画像は、心臓の動きに起因して不鮮明な（ぼやけた）画像であり、非心電図同期ＣＴ画像から精度よくＣＡＣスコアを測定することは困難である。そのため、非心電図同期ＣＴ画像から十分な精度でＣＡＣスコアリングを行う技術の開発が望まれている。
【0009】
この点、非特許文献１は、非心電図同期撮影ＣＴ画像を用いてＣＡＣ重症度ステージを推定し得るものの、心電図同期ＣＴ画像と同等の精度でＣＡＣスコアを算出することはできない。また、非特許文献１に記載のＣＡＣ重症度を計算する方法は、どのような道筋で（なぜ）その結果が導き出されたのかを説明することができない、いわゆる「説明不能な人工知能（Artificial Intelligence：ＡＩ）」を用いたブラックボックス方法である。
【0010】
上述の課題はＣＴ画像やＣＡＣスコアに限らず、他のモダリティの画像を用いて様々な臨床パラメータを算出する場合に共通する課題である。このような課題に対して、複雑な撮影方法、高価な高機能撮影システムが必要な撮影方法、あるいは被検者にとって負荷の大きい撮影方法などでなければ取得できないような画像と同等の診断精度を、より簡便、安価、あるいは低負荷で取得可能な画像から達成できる技術が望まれる。
【0011】
本開示はこのような事情に鑑みてなされたものであり、比較的簡便にあるいは低負荷で取得可能な画像から精度よく臨床パラメータを算出することが可能になる情報処理装置、情報処理方法、プログラム、学習済みモデルおよび学習モデル生成方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
本開示の第１態様に係る情報処理装置は、１つ以上のプロセッサと、１つ以上のプロセッサに実行させるプログラムを記憶する１つ以上の記憶装置と、を備え、プログラムは、入力された第１の画像から第１の画像とは異なる撮影プロトコルにより得られる画像を模した第２の画像を生成するように学習された画像生成モデルを含み、画像生成モデルは、第１の撮影プロトコルにより撮影された訓練画像と、訓練画像の撮影に用いたモダリティと同種のモダリティを用いて訓練画像と同じ被検者について第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、訓練画像の入力に対して画像生成モデルが出力する生成画像から算出される臨床パラメータが正解の臨床パラメータに近づくように学習されたモデルであり、１つ以上のプロセッサは、第１の撮影プロトコルにより撮影された第１の画像の入力を受け付け、第１の画像から画像生成モデルによって第２の画像を生成し、第２の画像から臨床パラメータを算出する。
【0013】
「撮影プロトコル」という用語は、撮影方法、撮影条件、およびスキャン設定等の用語の概念を含む。
【0014】
本開示によれば、第１の撮影プロトコルにより撮影された第１の画像から、同種のモダリティの第２の撮影プロトコルにより撮影される画像と同等の精度で臨床パラメータを算出することができる。第１の撮影プロトコルは、第２の撮影プロトコルよりも簡便な撮影方法であってよく、第２の撮影プロトコルの撮影に必要なシステムよりも安価なシステムとすることができる。また、第１の撮影プロトコルは、第２の撮影プロトコルよりも被検者にとって低負荷なものとすることができる。
【0015】
第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、１つ以上のプロセッサは、第１の画像を解剖学的領域に分割し、分割された解剖学的領域毎に臨床パラメータを算出する構成であってもよい。
【0016】
第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、訓練画像と対応画像とのそれぞれは解剖学的領域に分割され、対応画像の分割された解剖学的領域毎に正解の臨床パラメータが算出されており、画像生成モデルは、訓練画像の分割された解剖学的領域毎に生成画像から算出されるそれぞれの臨床パラメータが、対応画像のそれぞれの解剖学的領域の正解の臨床パラメータに近づくように学習されたモデルであってよい。
【0017】
第４態様に係る情報処理装置は、第２態様または第３態様の情報処理装置において、分割された解剖学的領域は、冠動脈の灌流領域であってもよい。
【0018】
第５態様に係る情報処理装置は、第２態様から第４態様のいずれか一態様に係る情報処理装置において、臨床パラメータは、冠動脈の主枝毎のカルシウム体積であってもよい。
【0019】
第６態様に係る情報処理装置は、第１態様から第５態様のいずれか一態様に係る情報処理装置において、第１の画像は、心電図非同期撮影により得られる非心電図同期ＣＴ画像であり、第２の画像は、心電図同期撮影により得られる心電図同期ＣＴ画像を模した画像であってもよい。
【0020】
第７態様に係る情報処理装置は、第１態様から第６態様のいずれか一態様に係る情報処理装置において、訓練画像は、対応画像よりも低線量の条件下で撮影されたものであってもよい。
【0021】
第８態様に係る情報処理装置は、第１態様から第６態様のいずれか一態様に係る情報処理装置において、第１の撮影プロトコルは、第２の撮影プロトコルよりも低線量であってもよい。
【0022】
第９態様に係る情報処理装置は、第１態様から第８態様のいずれか一態様に係る情報処理装置において、第１の撮影プロトコルは、第２の撮影プロトコルよりも遅いスキャン速度であってもよい。
【0023】
第１０態様に係る情報処理装置は、第１態様から第９態様のいずれか一態様に係る情報処理装置において、臨床パラメータが、石灰化スコアであってもよい。
【0024】
第１１態様に係る情報処理装置は、第１態様から第９態様のいずれか一態様に係る情報処理装置において、臨床パラメータが、心臓血管のカルシウム体積であってもよい。
【0025】
第１２態様に係る情報処理装置は、第１態様から第９態様のいずれか一態様に係る情報処理装置において、臨床パラメータが、冠動脈石灰化の重症度であってもよい。
【0026】
第１３態様に係る情報処理装置は、第１態様から第１２態様のいずれか一態様に係る情報処理装置において、画像生成モデルは、ニューラルネットワークを用いて構成されてもよい。
【0027】
第１４態様に係る情報処理方法は、１つ以上のプロセッサが実行する情報処理方法であって、１つ以上のプロセッサが、第１の撮影プロトコルにより撮影された第１の画像を取得することと、第１の画像を画像生成モデルに入力し、画像生成モデルにより第１の画像から、第１の画像の撮影に用いたモダリティと同種のモダリティを用いて第１の画像と同じ被検者について第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影した場合に得られる画像を模した第２の画像を生成することと、第２の画像から臨床パラメータを算出することと、を含み、画像生成モデルは、第１の撮影プロトコルにより撮影された訓練画像と、訓練画像の撮影に用いたモダリティと同種のモダリティを用いて訓練画像と同じ被検者について第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用い、訓練画像の入力に対して画像生成モデルが出力する生成画像から算出される臨床パラメータが正解の臨床パラメータに近づくように学習されたモデルである。
【0028】
第１４態様に係る情報処理方法について、第２態様から第１３態様のいずれか一態様の情報処理装置と同様の具体的態様を含む構成とすることができる。
【0029】
第１５態様に係るプログラムは、コンピュータに、第１の撮影プロトコルにより撮影された第１の画像を取得する機能と、第１の画像を画像生成モデルに入力し、画像生成モデルによって第１の画像から、第１の画像の撮影に用いたモダリティと同種のモダリティを用いて第１の画像と同じ被検者について第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影した場合に得られる画像を模した第２の画像を生成する機能と、第２の画像から臨床パラメータを算出する機能と、を実現させるプログラムであって、画像生成モデルは、第１の撮影プロトコルにより撮影された訓練画像と、訓練画像の撮影に用いたモダリティと同種のモダリティを用いて訓練画像と同じ被検者について第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、訓練画像の入力に対して画像生成モデルが出力する生成画像から算出される臨床パラメータが正解の臨床パラメータに近づくように学習されたモデルである。
【0030】
第１５態様に係るプログラムについて、第２態様から第１３態様のいずれか一態様の情報処理装置と同様の具体的態様を含む構成とすることができる。
【0031】
第１６態様に係る学習済みモデルは、入力された画像から画像とは異なる撮影プロトコルにより得られる画像を模した擬似画像を生成する機能をコンピュータに実現させる学習済みモデルであって、第１の撮影プロトコルにより撮影された訓練画像と、訓練画像の撮影に用いたモダリティと同種のモダリティを用いて訓練画像と同じ被検者について第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いた機械学習により、訓練画像の入力に対して学習モデルが出力する生成画像から算出される臨床パラメータが正解の臨床パラメータに近づくように学習された学習済みモデルである。
【0032】
第１６態様に係る学習済みモデルについて、第２態様から第１３態様のいずれか一態様の情報処理装置と同様の具体的態様を含む構成とすることができる。
【0033】
第１７態様に係る学習モデル生成方法は、入力された画像から画像とは異なる撮影プロトコルにより得られる画像を模した擬似画像を生成する機能をコンピュータに実現させる学習モデルを生成する学習モデル生成方法であって、１つ以上のプロセッサを含むシステムが、第１の撮影プロトコルにより撮影された訓練画像と、訓練画像の撮影に用いたモダリティと同種のモダリティを用いて訓練画像と同じ被検者について第１の撮影プロトコルとは異なる第２の撮影プロトコルにより撮影された対応画像から算出された正解の臨床パラメータとが関連付けされた複数の訓練データを用いて機械学習を行い、訓練画像を学習モデルに入力して学習モデルから出力される生成画像から臨床パラメータを算出し、生成画像から算出される臨床パラメータが正解の臨床パラメータに近づくように学習モデルを学習することを含む。
【0034】
第１７態様に係る学習モデル生成方法について、第２態様から第１３態様のいずれか一態様の情報処理装置と同様の具体的態様を含む構成とすることができる。
【発明の効果】
【0035】
本開示によれば、第１の撮影プロトコルにより撮影された第１の画像を基に、同種のモダリティの第２の撮影プロトコルにより撮影される画像と同等の精度で臨床パラメータを算出することができる。これによりに、第１の撮影プロトコルにより撮影された画像から、第２の撮影プロトコルにより撮影される画像に基づく診断精度と同等の診断精度を達成することができる。第１の撮影プロトコルは、第２の撮影プロトコルよりも簡便な撮影方法とすることができ、第２の撮影プロトコルの撮影に必要なシステムよりも安価なシステムとすることができる。また、第１の撮影プロトコルは、第２の撮影プロトコルよりも被検者にとって低負荷なものとすることができる。
【図面の簡単な説明】
【0036】
【発明を実施するための形態】
【0037】
以下、添付図面に従って本発明の好ましい実施形態について説明する。
【0038】
《ＣＡＣスコアリングの説明》
ここでは、ＣＴ装置を用いて被検者の心臓を含む胸部領域を撮影して得られたＣＴ画像からＣＡＣスコアを測定する場合を例に説明する。ＣＴ装置は医療画像を撮影するモダリティの一例である。ＣＡＣスコアは診断に用いられる臨床パラメータの一例である。図１は、心臓および冠動脈を模式的に示す説明図である。図１の左図Ｆ１Ａは心臓を正面から見た図、図１の右図Ｆ１Ｂは心臓を上から見た図である。冠動脈は、左冠動脈主幹部（left main coronary trunk：ＬＭ）、左前下行動脈（left anterior descending artery：ＬＡＤ）、左旋回動脈（left circumflex artery:ＬＣＸ）および右冠動脈（right coronary artery:ＲＣＡ）の４つの主要な枝を含む。図１中の「ＡＡ」は上行大動脈（Ascending Aorta）を表し、「ＰＴ」は肺動脈幹（Pulmonary Artery Trunk）を表す。
ここでは、ＣＴ装置を用いて被検者の心臓を含む胸部領域を撮影して得られたＣＴ画像からＣＡＣスコアを測定する場合を例に説明する。ＣＴ装置は医療画像を撮影するモダリティの一例である。ＣＡＣスコアは診断に用いられる臨床パラメータの一例である。図１は、心臓および冠動脈を模式的に示す説明図である。図１の左図Ｆ１Ａは心臓を正面から見た図、図１の右図Ｆ１Ｂは心臓を上から見た図である。冠動脈は、左冠動脈主幹部（left main coronary trunk：ＬＭ）、左前下行動脈（left anterior descending artery：ＬＡＤ）、左旋回動脈（left circumflex artery:ＬＣＸ）および右冠動脈（right coronary artery:ＲＣＡ）の４つの主要な枝を含む。図１中の「ＡＡ」は上行大動脈（Ascending Aorta）を表し、「ＰＴ」は肺動脈幹（Pulmonary Artery Trunk）を表す。
【0039】
ＣＡＣスコアリングでは、冠動脈のこれら４つの主枝のカルシウム沈着の量を測定する。冠動脈内のカルシウムは心臓疾患を引き起こす要因となる。心臓疾患のリスクは、冠動脈における各主枝のカルシウム量を総合したトータルＣＡＣスコアと相関があり、算出されたＣＡＣスコアに基づき治療法などが決定される。
【0040】
図２は、心臓を含む胸部領域を撮影したＣＴ画像の例である。図２の左側の画像Ｆ２Ａは、心電図同期撮影により得られた心電図同期ＣＴ画像の例である。図２の右側の画像Ｆ２Ｂは、同じ被検者について心電図非同期撮影によって得られた非心電図同期ＣＴ画像の例である。両画像を比較すると明らかなように、心電図同期ＣＴ画像（左図）は心臓の動きによる影響が抑制された精細な画像Ｆ２Ａであるのに対し、非心電図同期ＣＴ画像（右図）は、撮影時の心臓の動きにより不鮮明な（ぼやけた）画像Ｆ２Ｂである。なお、非心電図同期ＣＴ画像および心電図同期ＣＴ画像は、いずれも２次元スライス断層画像を連続的に撮影して得られた３次元データから構成された３次元画像である。「画像」という用語は、画像データの意味を含む。
【0041】
心電図同期撮影は本開示における「第１の撮影プロトコル」の一例である。心電図非同期撮影は本開示における「第２の撮影プロトコル」の一例である。心電図同期ＣＴ画像と非心電図同期ＣＴ画像とは同種のモダリティを用いて撮影された画像の一例である。
【0042】
非心電図同期ＣＴ画像は、心電図同期ＣＴ画像に比べて低線量の条件下で撮影することができる。すなわち、心電図非同期撮影は、心電図同期撮影よりも低線量で撮影可能であり、被検者にとって負荷が少ない撮影方法である。また、非心電図同期ＣＴ画像は、心電図同期ＣＴ画像に比べて遅いスキャン速度で撮影することができる。
【0043】
《課題の説明》
図３は、心電図同期ＣＴ画像Ｆ３Ａから測定されたＣＡＣスコアの例を示す説明図である。心電図同期ＣＴ画像Ｆ３Ａは、心臓の領域が４つの主枝のそれぞれの灌流領域（支配領域）に区分けされ、主枝の領域毎にＣＡＣスコアが算出される。各主枝の灌流領域の識別は、例えば、機械学習により訓練されたセグメンテーションモデルなどを用いた画像処理によって自動的に行われてもよいし、医師が画像を観察しながら手動で領域を指定してもよい。カルシウム領域か否かの識別は、各ボクセルのＣＴ値に対する閾値処理によって判定可能である。例えば、ＣＴ値が１００ＨＵよりも大きな領域はカルシウム領域と判定される。
図３は、心電図同期ＣＴ画像Ｆ３Ａから測定されたＣＡＣスコアの例を示す説明図である。心電図同期ＣＴ画像Ｆ３Ａは、心臓の領域が４つの主枝のそれぞれの灌流領域（支配領域）に区分けされ、主枝の領域毎にＣＡＣスコアが算出される。各主枝の灌流領域の識別は、例えば、機械学習により訓練されたセグメンテーションモデルなどを用いた画像処理によって自動的に行われてもよいし、医師が画像を観察しながら手動で領域を指定してもよい。カルシウム領域か否かの識別は、各ボクセルのＣＴ値に対する閾値処理によって判定可能である。例えば、ＣＴ値が１００ＨＵよりも大きな領域はカルシウム領域と判定される。
【0044】
図３に示す例では、ＲＣＡ、ＬＭ、ＬＡＤ、及びＬＣＸの各冠動脈枝の個別のＣＡＣスコアがそれぞれ「０」、「０」、「９０」、及び「３０」と算出され、トータルＣＡＣスコアが「１２０」と算出された例を示す。
【0045】
図４は、図３に示す心電図同期ＣＴ画像Ｆ３Ａと同じ被検者の非心電図同期ＣＴ画像Ｆ４Ａから測定されたＣＡＣスコアの例を示す説明図である。図４に示す非心電図同期ＣＴ画像Ｆ４Ａについて、図３の心電図同期ＣＴ画像Ｆ３Ａと同様に、ＣＴ値の閾値処理を行うことにより、冠動脈枝の領域毎のＣＡＣスコアを算出すると、ＲＣＡ、ＬＭ、ＬＡＤ、及びＬＣＸの各冠動脈枝の個別のＣＡＣスコアはそれぞれ「０」、「０」、「４０」、及び「１０」と算出され、トータルＣＡＣスコアが「５０」と算出された例を示す。トータルＣＡＣスコアは本開示における「石灰化スコア」の一例である。
【0046】
図４に示すうように、非心電図同期ＣＴ画像Ｆ４Ａから算出されるＣＡＣスコアは、心電図同期ＣＴ画像Ｆ３Ａから算出されるＣＡＣスコアと乖離しており、非心電図同期ＣＴ画像Ｆ４Ａから心電図同期ＣＴ画像Ｆ３Ａと同程度の精度で正確に（精度よく）ＣＡＣスコアを算出することは困難である。
【0047】
なお、図３及び図４では、４つの主枝の灌流領域毎に個別のＣＡＣスコアを算出して、これらの合計からトータルＣＡＣスコアを求めているが、主枝の灌流領域毎に区分けせずに、心臓の全体からＣＴ値１００ＨＵ以上のボクセル数をカウントしてＣＡＣスコアを算出してもよい。なお、「１００ＨＵ」はカルシウム領域を判定するための閾値の一例である。
【0048】
《第１実施形態》
〔情報処理装置の構成〕
図５は、第１実施形態に係る情報処理装置１０の機能的構成を示すブロック図である。情報処理装置１０は、データ取得部１２と、画像生成モデル１４と、臨床パラメータ算出部１６と、処理結果出力部１８と、を備える。情報処理装置１０の各種機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。情報処理装置１０は、１台又は複数台のコンピュータを含むコンピュータシステムによって構成されてもよい。
〔情報処理装置の構成〕
図５は、第１実施形態に係る情報処理装置１０の機能的構成を示すブロック図である。情報処理装置１０は、データ取得部１２と、画像生成モデル１４と、臨床パラメータ算出部１６と、処理結果出力部１８と、を備える。情報処理装置１０の各種機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。情報処理装置１０は、１台又は複数台のコンピュータを含むコンピュータシステムによって構成されてもよい。
【0049】
データ取得部１２は、処理対象としての非心電図同期ＣＴ画像ＩＭｎｇを取得する。データ取得部１２を介して入力される非心電図同期ＣＴ画像ＩＭｎｇは、ＣＴ装置を用いて実際に被検者を撮影して得られた実画像のデータである。
【0050】
画像生成モデル１４は、非心電図同期ＣＴ画像ＩＭｎｇの入力を受けて、非心電図同期ＣＴ画像ＩＭｎｇから疑似心電図同期ＣＴ画像ＩＭｓｙｎを生成するように機械学習によって訓練された学習済み（訓練済み）のモデルである。画像生成モデル１４は、いわゆるエンコーダ－デコーダ型と呼ばれる全層畳み込みニューラルネットワーク（fully convolutional neural network：ＦＣＮ）の構造を用いて構成される。
【0051】
画像生成モデル１４から出力される疑似心電図同期ＣＴ画像ＩＭｓｙｎは、ＣＡＣスコアの算出に使用するために、画像処理によって人工的に生成されるシンセティック（Synthetic）画像である。疑似心電図同期ＣＴ画像ＩＭｓｙｎは、入力された非心電図同期ＣＴ画像ＩＭｎｇを基にＣＡＣスコアを予測する処理の過程において中間的に生成される中間画像である。疑似心電図同期ＣＴ画像ＩＭｓｙｎは、心電図同期撮影によって得られる心電図同期ＣＴ画像を模した人工的な画像として生成されるが、この疑似画像（中間画像）から目的のＣＡＣスコアが精度よく算出されればよく、疑似画像自体が実際の心電図同期撮影により得られる実画像の心電図同期ＣＴ画像の特徴と類似しているか否かは問題としない。なお、「疑似画像」という用語は、「補正画像」あるいは「変換画像」などと言い換えてもよい。
【0052】
非心電図同期ＣＴ画像ＩＭｎｇは本開示における「第１の画像」の一例であり、疑似心電図同期ＣＴ画像ＩＭｓｙｎは本開示における「第２の画像」の一例である。
【0053】
画像生成モデル１４は、訓練画像としての非心電図同期ＣＴ画像と、この訓練画像と同じ被検者の心電図同期ＣＴ画像から算出された正解のＣＡＣスコアとが関連付け（紐付け）された訓練データを用いて、訓練画像の入力を受けてモデルが出力する出力画像（疑似画像）から算出されるＣＡＣスコアが正解のＣＡＣスコアに近づくように訓練されたモデルである。画像生成モデル１４を得るための機械学習方法について詳細は後述する。
【0054】
臨床パラメータ算出部１６は、画像生成モデル１４によって生成された疑似心電図同期ＣＴ画像ＩＭｓｙｎに基づいて診断用の臨床パラメータを算出する。本実施形態において算出の対象とする臨床パラメータは、ＣＡＣスコアである。
【0055】
処理結果出力部１８は、臨床パラメータ算出部１６によって算出された臨床パラメータの値（臨床パラメータの算出結果）を含む処理結果を出力する。処理結果出力部１８は、例えば、処理結果を表示させる処理、処理結果をデータベース等に記録する処理、および処理結果を印刷させる処理のうち少なくとも１つの処理を行う構成であってよい。
【0056】
図６は、情報処理装置１０のハードウェア構成の例を示すブロック図である。情報処理装置１０は、プロセッサ１０２と、非一時的な有体物であるコンピュータ可読媒体１０４と、通信インターフェース１０６と、入出力インターフェース１０８と、バス１１０と、を備える。プロセッサ１０２は、バス１１０を介してコンピュータ可読媒体１０４、通信インターフェース１０６および入出力インターフェース１０８と接続される。情報処理装置１０の形態は、特に限定されず、サーバであってもよいし、パーソナルコンピュータであってもよく、ワークステーション、あるいはタブレット端末などであってもよい。また、情報処理装置１０は、読影用のビューワ端末などであってもよい。
【0057】
プロセッサ１０２はＣＰＵ（Central Processing Unit）を含む。プロセッサ１０２はＧＰＵ（Graphics Processing Unit）を含んでもよい。コンピュータ可読媒体１０４は、主記憶装置であるメモリ１１２および補助記憶装置であるストレージ１１４を含む。コンピュータ可読媒体１０４は、例えば、半導体メモリ、ハードディスク（Hard Disk Drive：ＨＤＤ）装置、もしくはソリッドステートドライブ（Solid State Drive：ＳＳＤ）装置またはこれらの複数の組み合わせであってよい。コンピュータ可読媒体１０４は本開示における「記憶装置」の一例である。
【0058】
コンピュータ可読媒体１０４は、入力画像記憶領域１２０と、生成画像記憶領域１２２と、処理結果記憶領域１２４と、を含む。また、コンピュータ可読媒体１０４には、画像生成モデル１４、臨床パラメータ算出プログラム１６０、処理結果出力プログラム１８０および表示制御プログラム１９０を含む複数のプログラムおよびデータ等が記憶される。「プログラム」という用語はプログラムモジュールの概念を含む。プロセッサ１０２は、コンピュータ可読媒体１０４に記憶されたプログラムの命令を実行することにより、各種の処理部として機能する。
【0059】
入力画像記憶領域１２０には、処理の対象画像として入力された非心電図同期ＣＴ画像ＩＭｎｇが記憶される。生成画像記憶領域１２２には、画像生成モデル１４から出力される生成画像である疑似心電図同期ＣＴ画像ＩＭｓｙｎが記憶される。臨床パラメータ算出プログラム１６０は、疑似心電図同期ＣＴ画像ＩＭｓｙｎから臨床パラメータを算出する処理を実行させる命令を含む。処理結果記憶領域１２４には、臨床パラメータ算出プログラム１６０によって算出された臨床パラメータの値を含む処理結果の情報が記録される。処理結果出力プログラム１８０は、臨床パラメータの値を含む処理結果を出力する処理を実行させる命令を含む。表示制御プログラム１９０は、表示装置１５４への表示出力に必要な表示用信号を生成し、表示装置１５４の表示制御を実行させる命令を含む。
【0060】
情報処理装置１０は、通信インターフェース１０６を介して不図示の電気通信回線に接続され得る。電気通信回線は、広域通信回線であってもよいし、構内通信回線であってもよく、これらの組み合わせであってもよい。
【0061】
情報処理装置１０は、入力装置１５２と、表示装置１５４とを備えていてもよい。入力装置１５２は、例えば、キーボード、マウス、マルチタッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせによって構成される。表示装置１５４は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせによって構成される。入力装置１５２と表示装置１５４とは、入出力インターフェース１０８を介してプロセッサ１０２と接続される。
【0062】
〔機械学習方法の概要〕
図７は、第１実施形態に適用される画像生成モデル１４を生成するための機械学習方法の概要を示す説明図である。
図７は、第１実施形態に適用される画像生成モデル１４を生成するための機械学習方法の概要を示す説明図である。
【0063】
訓練に用いるデータセットは、被検者を撮影して得られた非心電図同期ＣＴ画像Ｆ７Ａと、この非心電図同期ＣＴ画像Ｆ７Ａと同じ被検者を撮影して得られた心電図同期ＣＴ画像Ｆ７Ｂから算出されたＣＡＣスコアＧＴＳとが関連付けされた複数の訓練データを含む。非心電図同期ＣＴ画像Ｆ７Ａは、学習モデル２１０への入力用の訓練画像である。ＣＡＣスコアＧＴＳは、非心電図同期ＣＴ画像Ｆ７Ａに対応する正解のＣＡＣスコアであり、教師有り学習における教師データ（正解データ）に相当する。ＣＡＣスコアＧＴＳは、例えば、心電図同期ＣＴ画像Ｆ７ＢにおけるＣＴ値が１００ＨＵよりも大きい領域のボクセル数をカウントした値であってもよい。第１実施形態の場合、ＣＡＣスコアＧＴＳはトータルＣＡＣスコアであってよい。心電図同期ＣＴ画像Ｆ７Ｂは本開示における「対応画像」の一例である。
【0064】
学習モデル２１０は、全層畳み込みニューラルネットワークによって構成され、次のような方法により訓練される。
【0065】
［手順１］学習モデル２１０に対して、訓練画像である非心電図同期ＣＴ画像Ｆ７Ａが入力される。
【0066】
［手順２］非心電図同期ＣＴ画像Ｆ７Ａの入力によって学習モデル２１０から生成画像Ｆ７Ｃの出力を得る。
【0067】
［手順３］学習モデル２１０から出力された生成画像Ｆ７ＣについてＣＴ値＞１００ＨＵの条件による閾値処理により、ＣＡＣスコアＰＲＳを算出する。生成画像Ｆ７Ｃから算出されるＣＡＣスコアＰＲＳは、非心電図同期ＣＴ画像Ｆ７Ａから予測されるＣＡＣスコアである。
【0068】
［手順４］機械学習の処理を実行するプロセッサを含む機械学習装置は、生成画像Ｆ７Ｃから算出されたＣＡＣスコアＰＲＳと、正解のＣＡＣスコアＧＴＳとから損失（ｌｏｓｓ）を算出し、損失を最小化するように、学習モデル２１０のモデルパラメータを更新する。損失は、例えばＬ１損失であってよい。なお、損失を最小化するように学習することは、生成画像Ｆ７Ｃから算出されるＣＡＣスコアＰＲＳが正解のＣＡＣスコアＧＴＳに近づくように（誤差が小さくなるように）学習することを意味している。
【0069】
複数の訓練データを用いて上記手順１～４を繰り返すことにより、学習モデル２１０のモデルパラメータが最適化され、学習モデル２１０は、正解のＣＡＣスコアと同程度の精度によりＣＡＣスコアＰＲＳが算出される生成画像Ｆ７Ｃを生成するように訓練される。
【0070】
図８は、機械学習装置３０の機能的構成を示すブロック図である。機械学習装置３０は、学習モデル２１０と、臨床パラメータ算出部２２０と、損失算出部２３０と、モデルパラメータ更新量算出部２３２と、モデルパラメータ更新部２３４と、を含む。機械学習装置３０の各処理部の機能は、コンピュータのハードウェアとソフトウェアの組み合わせによって実現できる。機械学習装置３０の各部の機能は１台のコンピュータで実現してもよいし、２以上の複数台のコンピュータで処理の機能を分担して実現してもよい。
【0071】
訓練データは、非心電図同期ＣＴ画像である訓練画像ＴＩｊと、これに対応する正解臨床パラメータＧＴｊと、を含む。添字のｊは、複数の訓練データを識別するインデンクス番号を表す。第１実施形態の場合、正解臨床パラメータＧＴｊは、訓練画像ＴＩｊと同じ被検者の心電図同期ＣＴ画像から算出されたＣＡＣスコアであってよい。
【0072】
学習モデル２１０は、非心電図同期ＣＴ画像である訓練画像ＴＩｊの入力を受けて生成画像ＳＩｊを出力する。臨床パラメータ算出部２２０は、生成画像ＳＩｊから臨床パラメータＰＰｊを算出する。この臨床パラメータＰＰｊは、生成画像ＳＩｊから閾値処理により算出されるトータルＣＡＣスコアであってよい。生成画像ＳＩｊから算出される臨床パラメータＰＰｊは、訓練画像ＴＩｊから予測（推定）される臨床パラメータ予測値に相当する。
【0073】
損失算出部２３０は、臨床パラメータ算出部２２０が算出した臨床パラメータＰＰｊと、正解臨床パラメータＧＴｊとの誤差を示す損失を算出する。
【0074】
モデルパラメータ更新量算出部２３２は、算出された損失に基づき、学習モデル２１０におけるモデルパラメータの更新量を算出する。モデルパラメータは、ＣＮＮの各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）およびノードのバイアスなどを含む。
【0075】
モデルパラメータ更新部２３４は、モデルパラメータ更新量算出部２３２により算出された更新量に従い学習モデル２１０のモデルパラメータを更新する。モデルパラメータ更新量算出部２３２およびモデルパラメータ更新部２３４は、例えば確率的勾配降下法（Stochastic Gradient Descent：ＳＧＤ）などの手法により、モデルパラメータの最適化を行う。
【0076】
図９は、機械学習装置３０のハードウェア構成の例を示すブロック図である。機械学習装置３０は、プロセッサ３０２と、非一時的な有体物であるコンピュータ可読媒体３０４と、通信インターフェース３０６と、入出力インターフェース３０８と、バス３１０と、を備える。コンピュータ可読媒体３０４は、メモリ３１２およびストレージ３１４を含む。プロセッサ３０２は、バス３１０を介してコンピュータ可読媒体３０４、通信インターフェース３０６および入出力インターフェース３０８と接続される。入力装置３５２および表示装置３５４は入出力インターフェース３０８を介してバス３１０に接続される。機械学習装置３０のハードウェア構成は、図６で説明した情報処理装置１０の対応する要素と同様であってよい。機械学習装置３０の形態は、サーバであってもよいし、パーソナルコンピュータであってもよく、ワークステーションであってもよい。
【0077】
機械学習装置３０は、通信インターフェース３０６を介して不図示の電気通信回線に接続され、訓練データ保存部５５０などの外部装置と通信可能に接続される。訓練データ保存部５５０は、複数の訓練データを含む訓練データセットが保存されているストレージを含む。なお、訓練データ保存部５５０は、機械学習装置３０内のストレージ３１４に構築されてもよい。
【0078】
コンピュータ可読媒体３０４には、学習処理プログラム３３０および表示制御プログラム３４０を含む複数のプログラムおよびデータ等が記憶される。学習処理プログラム３３０は、データ取得プログラム４００、学習モデル２１０、臨床パラメータ算出プログラム４２０、損失算出プログラム４３０およびオプティマイザ４４０を含む。データ取得プログラム４００は、訓練データ保存部５５０から訓練データを取得する処理を実行させる命令を含む。臨床パラメータ算出プログラム４２０は、図６で説明した臨床パラメータ算出プログラム１６０と同様であってよい。
【0079】
損失算出プログラム４３０は、臨床パラメータ算出プログラム４２０により算出された臨床パラメータと、訓練画像に対応する正解臨床パラメータとの誤差を示す損失を算出する処理を実行させる命令を含む。オプティマイザ４４０は、算出された損失からモデルパラメータの更新量を算出し、学習モデル２１０のモデルパラメータを更新する処理を実行させる命令を含む。
【0080】
〔訓練データの生成方法〕
図１０は、第１実施形態の機械学習方法に用いられる訓練データを生成する処理を行う訓練データ生成装置５０の機能的構成を示すブロック図である。
図１０は、第１実施形態の機械学習方法に用いられる訓練データを生成する処理を行う訓練データ生成装置５０の機能的構成を示すブロック図である。
【0081】
訓練データ生成装置５０は、臨床パラメータ算出部５２０と、関連付け処理部５３０と、を含む。訓練データを生成するために、まず、同じ被検者の同じ部位の領域を含む非心電図同期ＣＴ画像ＮＩｊと、心電図同期ＣＴ画像ＧＩｊとの画像ペアが複数組用意される。
【0082】
非心電図同期ＣＴ画像ＮＩｊは、学習モデル２１０への入力用の訓練画像ＴＩｊとなる。臨床パラメータ算出部５２０は、心電図同期ＣＴ画像ＧＩｊから臨床パラメータを算出する。関連付け処理部５３０は、心電図同期ＣＴ画像ＧＩｊから算出された臨床パラメータＣＰｊと、非心電図同期ＣＴ画像ＮＩｊとの関連付け（紐付け）を行う。すなわち、関連付け処理部５３０は、心電図同期ＣＴ画像ＧＩｊから算出された臨床パラメータＣＰｊを、非心電図同期ＣＴ画像ＮＩｊ（訓練画像ＴＩｊ）に対応する正解臨床パラメータＧＴｊとして非心電図同期ＣＴ画像ＮＩｊに関連付けする。
【0083】
関連付け処理部５３０によって関連付けされた非心電図同期ＣＴ画像ＮＩｊおよび臨床パラメータＣＰｊは、訓練画像ＴＩｊおよび正解臨床パラメータＧＴｊとして訓練データ保存部５５０に保存される。訓練データ保存部５５０は、訓練データ生成装置５０に含まれてもよいし、訓練データ生成装置５０とは別の装置であってもよい。複数の被検者のそれぞれについて撮影された画像ペアについて、同様の処理を行うことにより、複数の訓練データのセットが得られる。訓練データ生成装置５０の機能は、機械学習装置３０に組み込まれていてもよい。
【0084】
図１１は、訓練データ保存部５５０に保存される訓練データセットの概念図である。図１１に示すように、訓練データセットは、入力用の訓練画像ＴＩｊと、対応する正解臨床パラメータＧＴｊであるＣＡＣスコアの値とが関連付けされた複数の訓練データを含む。図１１のような訓練データセットを事前に用意しておき、訓練データセットからサンプルを取得して学習モデル２１０を訓練することが望ましい。なお、学習モデル２１０の訓練中に心電図同期ＣＴ画像ＧＩｊから正解の臨床パラメータを算出して訓練データを生成することも可能である。
【0085】
〔機械学習装置３０が実行する機械学習方法のフローチャート〕
図１２は、機械学習装置３０が実行する機械学習方法の例を示すフローチャートである。ステップＳ１０２において、プロセッサ３０２は、訓練データを取得する。
図１２は、機械学習装置３０が実行する機械学習方法の例を示すフローチャートである。ステップＳ１０２において、プロセッサ３０２は、訓練データを取得する。
【0086】
ステップＳ１０４において、プロセッサ３０２は、訓練データの訓練画像ＴＩｊを学習モデル２１０に入力し、学習モデル２１０によって疑似画像を生成する。
【0087】
ステップＳ１０６において、プロセッサ３０２は、学習モデル２１０が出力した疑似画像から臨床パラメータを算出する。
【0088】
ステップＳ１０８において、プロセッサ３０２は、疑似画像から算出された臨床パラメータと訓練画像ＴＩｊに紐付けされた正解臨床パラメータＧＴｊとの誤差を示す損失を算出する。
【0089】
ステップＳ１１０において、プロセッサ３０２は、算出された損失に基づき学習モデル２１０のモデルパラメータの更新量を算出し、モデルパラメータを更新する。なお、ステップＳ１０２からステップＳ１１０の動作はミニバッチの単位で実施されてもよい。
【0090】
ステップＳ１１２において、プロセッサ３０２は、学習を終了するか否かを判定する。
学習の終了条件は、損失の値に基づいて定められていてもよいし、モデルパラメータの更新回数に基づいて定められていてもよい。損失の値に基づく方法としては、例えば、損失が規定の範囲内に収束していることを学習終了条件としてよい。また、更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。あるいは、訓練データとは別にモデルの性能評価用のデータセットを用意しておき、評価用のデータを用いた評価値に基づいて学習終了の可否を判定してもよい。
学習の終了条件は、損失の値に基づいて定められていてもよいし、モデルパラメータの更新回数に基づいて定められていてもよい。損失の値に基づく方法としては、例えば、損失が規定の範囲内に収束していることを学習終了条件としてよい。また、更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。あるいは、訓練データとは別にモデルの性能評価用のデータセットを用意しておき、評価用のデータを用いた評価値に基づいて学習終了の可否を判定してもよい。
【0091】
ステップＳ１１２の判定結果がＮｏ判定である場合、プロセッサ３０２はステップＳ１０２に戻り、学習処理を継続する。一方、ステップＳ１１２の判定結果がＹｅｓ判定である場合、プロセッサ３０２は図１２のフローチャートを終了する。
【0092】
こうして、訓練された学習済みの学習モデル２１０は、画像生成モデル１４として情報処理装置１０に組み込まれる。機械学習装置３０が実行する機械学習方法は、画像生成モデル１４を生成する方法と理解することができ、本開示における学習モデル生成方法の一例である。
【0093】
〔情報処理装置１０が実行する情報処理方法のフローチャート〕
図１３は、情報処理装置１０が実行する情報処理方法の例を示すフローチャートである。ステップＳ２０２において、プロセッサ１０２は、処理の対象となる対象画像を取得する。この場合の対象画像は、非心電図同期ＣＴ画像である。プロセッサ１０２は、不図示の画像保存サーバなどから対象画像を自動的に取得してもよいし、ユーザインターフェースを介して対象画像の入力を受け付け、指定された画像を取得してもよい。画像保存サーバは、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであってもよい。
図１３は、情報処理装置１０が実行する情報処理方法の例を示すフローチャートである。ステップＳ２０２において、プロセッサ１０２は、処理の対象となる対象画像を取得する。この場合の対象画像は、非心電図同期ＣＴ画像である。プロセッサ１０２は、不図示の画像保存サーバなどから対象画像を自動的に取得してもよいし、ユーザインターフェースを介して対象画像の入力を受け付け、指定された画像を取得してもよい。画像保存サーバは、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであってもよい。
【0094】
ステップＳ２０４において、プロセッサ１０２は、対象画像を画像生成モデル１４に入力し、画像生成モデル１４によって疑似画像を生成する。
【0095】
ステップＳ２０６において、プロセッサ１０２は、疑似画像から臨床パラメータを算出する。
【0096】
ステップＳ２０８において、プロセッサ１０２は、算出された臨床パラメータの値を含む処理結果を出力する。
【0097】
ステップＳ２０８の後、プロセッサ１０２は、図１３のフローチャートを終了する。
【0098】
《第２実施形態》
第２実施形態では、冠動脈の４つの主枝の灌流領域毎にＣＡＣスコアを算出する場合の例を説明する。
第２実施形態では、冠動脈の４つの主枝の灌流領域毎にＣＡＣスコアを算出する場合の例を説明する。
【0099】
〔情報処理装置の構成〕
図１４は、第２実施形態に係る情報処理装置１００の機能的構成を示すブロック図である。図１４において、図５に示す構成と同一または類似の要素は同一の符号を付し、重複する説明は省略する。図１４に示す構成について図５と異なる点を説明する。
図１４は、第２実施形態に係る情報処理装置１００の機能的構成を示すブロック図である。図１４において、図５に示す構成と同一または類似の要素は同一の符号を付し、重複する説明は省略する。図１４に示す構成について図５と異なる点を説明する。
【0100】
図１４に示す情報処理装置１００は、データ取得部１２を介して入力された非心電図同期ＣＴ画像について冠動脈の４つの主枝の灌流領域に区分けする解剖学的領域分割部１５を含む。冠動脈の４つの主枝の灌流領域は、解剖学的領域の一例である。解剖学的領域分割部１５は、例えば、入力された画像を４つの主枝の灌流領域別に領域分割するセグメンテーションの処理を行い、領域分割されたセグメンテーション結果を出力するように機械学習によって訓練された学習モデル（セグメンテーションモデル）を用いて構成される。
【0101】
解剖学的領域分割部１５によって得られる解剖学的領域情報は、臨床パラメータ算出部１６に送られる。臨床パラメータ算出部１６は、画像生成モデル１４によって生成された疑似心電図同期ＣＴ画像ＩＭｓｙｎについて解剖学的領域情報を適用し、解剖学的領域毎に臨床パラメータを算出する。すなわち、第２実施形態の場合、主枝の灌流領域毎のＣＡＣスコアが算出される。その他の構成は、図５で説明した構成と同様であってよい。
【0102】
図１５は、第２実施形態に係る情報処理装置１００のハードウェア構成の例を示すブロック図である。図１５に示す構成について、図６に示す構成と同一または類似の要素には同一の符号を付し、重複する説明は省略する。
【0103】
情報処理装置１００のハードウェア構成は、図６に示す情報処理装置１０と同様であってよい。情報処理装置１００のコンピュータ可読媒体１０４には、図６で説明した構成に加え、解剖学的領域分割プログラム１５０が記憶される。解剖学的領域分割プログラム１５０は、解剖学的領域分割部１５として機能するセグメンテーションの処理を行うように機械学習によって訓練された学習済みモデルを含んでもよい。また、解剖学的領域分割プログラム１５０は、ユーザインターフェースを介して解剖学的領域を指定する指示の入力を受け付け、指示された情報に基づいて画像の領域分割を行い、解剖学的領域を特定することにより解剖学的領域情報を生成させる命令を含んでもよい。
【0104】
また、情報処理装置１００のコンピュータ可読媒体１０４は、解剖学的領域情報記憶領域１２５を含む。解剖学的領域情報記憶領域１２５には、解剖学的領域分割プログラム１５０によって得られた解剖学的領域情報が記憶される。臨床パラメータ算出プログラム１６０は、画像生成モデル１４の生成画像に対して解剖学的領域情報を適用し、生成画像のそれぞれの解剖学的領域について個別に臨床パラメータを算出する。その他の構成は、図６で説明した構成と同様であってよい。
【0105】
図１６は、第２実施形態に適用される画像生成モデル１４を生成するため機械学習方法の概要を示す説明図である。訓練データセットは、被検者を撮影して得られた非心電図同期ＣＴ画像Ｆ１６Ａと、非心電図同期ＣＴ画像Ｆ１６Ａについての解剖学的領域情報としての冠動脈の４つの主枝のそれぞれの灌流領域を領域分けした情報と、この非心電図同期ＣＴ画像Ｆ１６Ａと同じ被検者を撮影して得られた心電図同期ＣＴ画像Ｆ１６Ｂから算出された解剖学的領域毎の正解ＣＡＣスコアＧＴＳｓとが関連付けされた複数の訓練データを含む。
【0106】
非心電図同期ＣＴ画像Ｆ１６Ａは、学習モデル２１０への入力用の訓練画像である。正解ＣＡＣスコアＧＴＳｓは、非心電図同期ＣＴ画像Ｆ１６Ａに対応する教師データである。正解ＣＡＣスコアＧＴＳｓは、例えば、心電図同期ＣＴ画像Ｆ１６Ｂにおける解剖学的領域毎にＣＴ値が１００ＨＵよりも大きい領域のボクセル数をカウントした値であってもよい。第２実施形態の場合、正解ＣＡＣスコアＧＴＳｓは、冠動脈の主枝の灌流領域毎のＣＡＣスコアのセットである。なお、解剖学的領域情報は、非心電図同期ＣＴ画像Ｆ１６Ａから生成してもよいし、対応する心電図同期ＣＴ画像Ｆ１６Ｂから生成してもよい。
【0107】
この場合、学習モデル２１０は、次のような手順で学習が行われる。
【0108】
［手順１］学習モデル２１０に対して、訓練画像である非心電図同期ＣＴ画像Ｆ１６Ａが入力される。
【0109】
［手順２］非心電図同期ＣＴ画像Ｆ１６Ａの入力によって学習モデル２１０から生成画像Ｆ１６Ｃの出力を得る。
【0110】
［手順３］生成画像Ｆ１６Ｃに対して解剖学的領域情報を適用して生成画像Ｆ１６Ｃを冠動脈枝の灌流領域に分割し、かつ、生成画像Ｆ１６Ｃに対してＣＴ値＞１００ＨＵの条件による閾値処理を行い、それぞれの灌流領域について個別にＣＡＣスコアＰＲＳｓを算出する。生成画像Ｆ７Ｃから算出される領域別のＣＡＣスコアＰＲＳｓは、非心電図同期ＣＴ画像Ｆ１６Ａから予測されるＣＡＣスコアである。図１６には、生成画像Ｆ７Ｃから算出された４つの主枝に対応する領域別のＣＡＣスコアＰＲＳｓの値が（ＲＣＡ，ＬＭ，ＬＡＤ，ＬＣｘ）＝（５，２，６０，４５）である場合の例が示されている。
【0111】
［手順４］機械学習を実行するプロセッサを含む機械学習装置は、生成画像Ｆ７Ｃから算出されたＣＡＣスコアＰＲＳｓと、正解ＣＡＣスコアＧＴＳｓとから損失を算出し、損失を最小化するように、学習モデル２１０のモデルパラメータを更新する。図１６には、４つの主枝に対応する領域別の正解ＣＡＣスコアＧＴＳｓの値が（ＲＣＡ，ＬＭ，ＬＡＤ，ＬＣｘ）＝（０，０，９０，３０）である場合の例が示されている。学習モデル２１０は、解剖学的領域毎に生成画像Ｆ７Ｃから算出されるそれぞれの臨床パラメータの値が、対応する解剖学的領域の正解の臨床パラメータの値に近づくように、モデルパラメータが更新される。
【0112】
複数の訓練データを用いて上記手順１～４を繰り返すことにより、学習モデル２１０のモデルパラメータが最適化され、学習モデル２１０は、正解ＣＡＣスコアＧＴＳｓと同程度の精度によりＣＡＣスコアＰＲＳｓが算出される生成画像Ｆ１６Ｃを生成するように訓練される。
【0113】
【0114】
機械学習装置３２が取得する訓練データには、非心電図同期ＣＴ画像である訓練画像ＴＩｊについての解剖学的領域情報ＡＡｊが含まれる。また、訓練画像ＴＩｊに紐付けされる正解の臨床パラメータは、解剖学的領域毎の正解臨床パラメータＧＴｓｊとなっている。
【0115】
臨床パラメータ算出部２２０は、学習モデル２１０から出力された生成画像ＳＩｊと解剖学的領域情報ＡＡｊとに基づき、解剖学的領域毎の臨床パラメータＰＰｓｊを算出する。その他の構成は、図８で説明した構成と同様であってよい。
【0116】
図１８は、第２実施形態に適用される機械学習装置３２のハードウェア構成の例を示すブロック図である。図１８に示す構成について、図９に示す構成と同一または類似の要素には同一の符号を付し、重複する説明は省略する。
【0117】
機械学習装置３２のハードウェア構成は、図９に示す構成と同様であってよい。コンピュータ可読媒体３０４には、図９で説明した構成に加え、解剖学的領域分割プログラム４５０が記憶される。解剖学的領域分割プログラム４５０は、図１５で説明した解剖学的領域分割プログラム１５０と同様の構成であってよい。
【0118】
訓練データ保存部５５０には、訓練画像ＴＩｊと、その訓練画像ＴＩｊについての解剖学的領域情報ＡＡｊと、解剖学的領域毎の正解臨床パラメータＧＴｓｊとが関連付けされた複数の訓練データを含む訓練データセットが保存されている。
【0119】
データ取得プログラム４００は、解剖学的領域情報ＡＡｊを含む訓練データを取得する処理を実行させる命令を含む。臨床パラメータ算出プログラム４２０は、解剖学的領域情報ＡＡｊと生成画像ＳＩｊとに基づいて、生成画像ＳＩｊから解剖学的領域毎の臨床パラメータを算出する処理を実行させる命令を含む。また、損失算出プログラム４３０は、生成画像ＳＩｊから算出された解剖学的領域毎の臨床パラメータＰＰｓｊと、訓練画像ＴＩｊに紐付けされた解剖学的領域毎の正解臨床パラメータＧＴｓｊとから損失を算出する処理を実行させる命令を含む。その他の構成は、図９で説明した構成と同様であってよい。
【0120】
図１９は、第２実施形態の機械学習方法に用いられる訓練データを生成する処理を行う訓練データ生成装置５２の機能的構成を示すブロック図である。図１９において、図１０に示す構成と同一又は類似の要素には同一の符号を付し、重複する説明は省略する。
【0121】
訓練データ生成装置５２は、図１０に示す構成に対して、解剖学的領域分割部５１０Ａ、５１０Ｂが追加された構成となっている。なお、図１９においては、解剖学的領域分割部５１０Ａ、５１０Ｂを図示しているが、解剖学的領域分割部５１０Ａ、５１０Ｂは共通の（単一の）処理部であってよい。また、図１９では、心電図同期ＣＴ画像ＧＩｊと非心電図同期ＣＴ画像ＮＩｊとのそれぞれから解剖学的領域情報を取得する例が示されているが、非心電図同期ＣＴ画像ＮＩｊから解剖学的領域分割部５１０Ｂによって得られる解剖学的領域情報は、心電図同期ＣＴ画像ＧＩｊから得られる解剖学的領域情報と概ね同等の精度であることから、いずれか一方の画像のみから解剖学的領域情報を取得する構成であってもよい。
【0122】
例えば、心電図同期ＣＴ画像ＧＩｊから得られた解剖学的領域情報を訓練画像ＴＩｊと関連付けて、訓練データの解剖学的領域情報ＡＡｊとしてもよい。あるいはまた、非心電図同期ＣＴ画像ＮＩｊから得られた解剖学的領域情報ＡＡｊを臨床パラメータ算出部５２０に適用して、解剖学的領域毎の臨床パラメータＣＰｓｊを算出してもよい。
【0123】
〔機械学習装置３２が実行する機械学習方法のフローチャート〕
図２０は、機械学習装置３０が実行する機械学習方法の例を示すフローチャートである。図２０に示すフローチャートについて、図１２と共通するステップには同一のステップ番号を付し、重複する説明は省略する。
図２０は、機械学習装置３０が実行する機械学習方法の例を示すフローチャートである。図２０に示すフローチャートについて、図１２と共通するステップには同一のステップ番号を付し、重複する説明は省略する。
【0124】
図２０に示すフローチャートは、図１２のステップＳ１０６の代わりに、ステップＳ１０７を含む。ステップＳ１０４の後、ステップＳ１０７において、プロセッサ３０２は、学習モデルが生成した疑似画像（生成画像ＳＩｊ）と、訓練画像ＴＩｊに関連付けされた解剖学的領域情報ＡＡｊとに基づき、疑似画像から解剖学的領域毎の臨床パラメータＰＰｓｊを算出する。
【0125】
ステップＳ１０８において、プロセッサ３０２は、疑似画像から算出された解剖学的領域毎の臨床パラメータＰＰｓｊと、訓練画像ＴＩｊに関連付けされている解剖学的領域毎の正解臨床パラメータＧＴｓｊとから損失を算出する。
【0126】
その他のステップは図１２のフローチャートと同様であってよい。こうして、訓練された学習済みの学習モデル２１０は、画像生成モデル１４として情報処理装置１００に組み込まれる。
【0127】
〔情報処理装置１００が実行する情報処理方法のフローチャート〕
図２１は、第２実施形態に係る情報処理装置１００が実行する情報処理方法の例を示すフローチャートである。図２１のフローチャートについて、図１３と共通するステップには同一のステップ番号を付し、重複する説明は省略する。
図２１は、第２実施形態に係る情報処理装置１００が実行する情報処理方法の例を示すフローチャートである。図２１のフローチャートについて、図１３と共通するステップには同一のステップ番号を付し、重複する説明は省略する。
【0128】
【0129】
ステップＳ２０４の後、プロセッサ１０２は、対象画像を解剖学的領域に分割し、解剖学的領域情報を取得する。
【0130】
ステップＳ２０７において、プロセッサ１０２は、画像生成モデル１４が生成した疑似画像と、解剖学的領域情報とに基づき、疑似画像から解剖学的領域毎の臨床パラメータを算出する。第２実施形態の場合、冠動脈の４つの主枝の灌流領域毎のＣＡＣスコアが算出される。その他のステップは、図１３のフローチャートと同様であってよい。
【0131】
〔非心電図同期ＣＴ画像に基づくＣＡＣスコアリングの精度の検証〕
図２２は、第２実施形態に係る情報処理装置１００を用いて非心電図同期ＣＴ画像から算出されたＣＡＣスコアと、同じ被検者の対応する心電図同期ＣＴ画像から算出されたＣＡＣスコアとの関係を示すグラフである。図２２に示すように、両者のＣＡＣスコアは概ね一致している。
図２２は、第２実施形態に係る情報処理装置１００を用いて非心電図同期ＣＴ画像から算出されたＣＡＣスコアと、同じ被検者の対応する心電図同期ＣＴ画像から算出されたＣＡＣスコアとの関係を示すグラフである。図２２に示すように、両者のＣＡＣスコアは概ね一致している。
【0132】
図２３は、比較例に係る情報処理装置を用いて非心電図同期ＣＴ画像から算出されたＣＡＣスコアと、心電図同期ＣＴ画像から算出されたＣＡＣスコアとの関係を示すグラフである。比較例に係る情報処理装置は、画像生成モデル１４を用いずに、非心電図同期ＣＴ画像に対して閾値処理を行うことによりＣＡＣスコアを算出するように構成されている。この場合、図２３に示すように、両者のＣＡＣスコアは大きく乖離している。
【0133】
図２４には、図２２および図２３に示すＣＡＣスコアリングに用いられた画像の一例が示されている。図２４の左図Ｆ２４Ａは心電図同期ＣＴ画像の例である。中央図Ｆ２４Ｂは、左図Ｆ２４Ａと同じ被検者の非心電図同期ＣＴ画像の例である。右図Ｆ２４Ｃは、中央図Ｆ２４Ｂの非心電図同期ＣＴ画像から画像生成モデル１４が生成した擬似画像の例である。左図Ｆ２４Ａと右図Ｆ２４Ｃとを比較すると明らかなように、画像生成モデル１４が出力する擬似画像は、実画像の心電図同期ＣＴ画像とは異なるアピアランスの特徴を持つ画像となり得る。
【0134】
《コンピュータを動作させるプログラムについて》
第１実施形態に係る情報処理装置１０、機械学習装置３０、訓練データ生成装置５０、第２実施形態に係る情報処理装置１００、機械学習装置３２および訓練データ生成装置５２の各装置における処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
第１実施形態に係る情報処理装置１０、機械学習装置３０、訓練データ生成装置５０、第２実施形態に係る情報処理装置１００、機械学習装置３２および訓練データ生成装置５２の各装置における処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
【0135】
またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
【0136】
さらに、上述の各装置における処理機能の一部または全部をクラウドコンピューティングによって実現してもよく、また、ＳａａＳ（Software as a Service）として提供することも可能である。
【0137】
《各処理部のハードウェア構成について》
情報処理装置１０および情報処理装置１００におけるデータ取得部１２、画像生成モデル１４を含む画像生成部、解剖学的領域分割部１５、臨床パラメータ算出部１６、処理結果出力部１８、機械学習装置３０および機械学習装置３２における学習モデル２１０を含む画像生成部、臨床パラメータ算出部２２０、損失算出部２３０、モデルパラメータ更新量算出部２３２、モデルパラメータ更新部２３４、訓練データ生成装置５０および訓練データ生成装置５２における解剖学的領域分割部５１０Ａ、５１０Ｂ、臨床パラメータ算出部５２０、および関連付け処理部５３０などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。
情報処理装置１０および情報処理装置１００におけるデータ取得部１２、画像生成モデル１４を含む画像生成部、解剖学的領域分割部１５、臨床パラメータ算出部１６、処理結果出力部１８、機械学習装置３０および機械学習装置３２における学習モデル２１０を含む画像生成部、臨床パラメータ算出部２２０、損失算出部２３０、モデルパラメータ更新量算出部２３２、モデルパラメータ更新部２３４、訓練データ生成装置５０および訓練データ生成装置５２における解剖学的領域分割部５１０Ａ、５１０Ｂ、臨床パラメータ算出部５２０、および関連付け処理部５３０などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。
【0138】
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0139】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【0140】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【0141】
〔第１実施形態および第２実施形態の利点〕
上述した第１実施形態に係る情報処理装置１０および第２実施形態に係る情報処理装置１００によれば、次のような効果が得られる。
上述した第１実施形態に係る情報処理装置１０および第２実施形態に係る情報処理装置１００によれば、次のような効果が得られる。
【0142】
［１］非心電図同期ＣＴ画像から心電図同期ＣＴ画像と同程度の精度でＣＡＣスコアを算出することが可能である。
【0143】
［２］非心電図同期ＣＴ画像は、心電図同期ＣＴ画像と比較して、簡便な撮影方法によって取得可能であり、特別に高価な高機能撮影システムを必要とせず、通常のＣＴ装置を用いて取得可能である。
【0144】
［３］非心電図同期ＣＴ画像は、心電図同期ＣＴ画像と比較して、被検者に対する放射線量が少なく、被検者にとって低負荷で取得可能である。
【0145】
［４］情報処理装置１０および情報処理装置１００のそれぞれによって算出されるＣＡＣスコアは、その算出のプロセスが説明可能であり、算出結果の値について合理的な納得感が得られる。
【0146】
《他の臨床パラメータについて》
上述の各実施形態では、臨床パラメータとしてＣＡＣスコアを算出する例を説明したが、臨床パラメータはＣＡＣスコアに限らず、石灰化の重症度を示すＣＡＣ重症度ステージであってもよい。また、臨床パラメータは、心臓血管のカルシウム体積であってもいし、アガストンスコア（Agaston score）であってもよい。
上述の各実施形態では、臨床パラメータとしてＣＡＣスコアを算出する例を説明したが、臨床パラメータはＣＡＣスコアに限らず、石灰化の重症度を示すＣＡＣ重症度ステージであってもよい。また、臨床パラメータは、心臓血管のカルシウム体積であってもいし、アガストンスコア（Agaston score）であってもよい。
【0147】
《医療画像の種類について》
本開示の技術は、ＣＴ画像に限らず、ＭＲＩ（Magnetic Resonance Imaging）装置を用いて撮影されるＭＲ画像、人体情報を投影する超音波画像および陽電子放射断層撮影（Positron Emission Tomography：ＰＥＴ）装置を用いて撮影されるＰＥＴ画像、内視鏡装置を用いて撮影された内視鏡画像など、様々な医療機器（モダリティ）によって撮影される各種の医療画像を対象とすることができる。本開示の技術が対象とする画像は３次元画像に限らず、２次元画像であってもよい。なお、２次元画像を扱う構成の場合、上述の各実施形態で説明した内容における「ボクセル」は「ピクセル」に置き換えて適用される。
本開示の技術は、ＣＴ画像に限らず、ＭＲＩ（Magnetic Resonance Imaging）装置を用いて撮影されるＭＲ画像、人体情報を投影する超音波画像および陽電子放射断層撮影（Positron Emission Tomography：ＰＥＴ）装置を用いて撮影されるＰＥＴ画像、内視鏡装置を用いて撮影された内視鏡画像など、様々な医療機器（モダリティ）によって撮影される各種の医療画像を対象とすることができる。本開示の技術が対象とする画像は３次元画像に限らず、２次元画像であってもよい。なお、２次元画像を扱う構成の場合、上述の各実施形態で説明した内容における「ボクセル」は「ピクセル」に置き換えて適用される。
【0148】
《その他》
本開示は上述した実施形態に限定されるものではなく、本開示の技術的思想の趣旨を逸脱しない範囲で種々の変形が可能である。
本開示は上述した実施形態に限定されるものではなく、本開示の技術的思想の趣旨を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【0149】
１０、１００ 情報処理装置
１２ データ取得部
１４ 画像生成モデル
１５ 解剖学的領域分割部
１６ 臨床パラメータ算出部
１８ 処理結果出力部
３０、３２ 機械学習装置
５０、５２ 訓練データ生成装置
１０２ プロセッサ
１０４ コンピュータ可読媒体
１０６ 通信インターフェース
１０８ 入出力インターフェース
１１０ バス
１１２ メモリ
１１４ ストレージ
１２０ 入力画像記憶領域
１２２ 生成画像記憶領域
１２４ 処理結果記憶領域
１２５ 解剖学的領域情報記憶領域
１５０ 解剖学的領域分割プログラム
１５２ 入力装置
１５４ 表示装置
１６０ 臨床パラメータ算出プログラム
１８０ 処理結果出力プログラム
１９０ 表示制御プログラム
２１０ 学習モデル
２２０ 臨床パラメータ算出部
２３０ 損失算出部
２３２ モデルパラメータ更新量算出部
２３４ モデルパラメータ更新部
３０２ プロセッサ
３０４ コンピュータ可読媒体
３０６ 通信インターフェース
３０８ 入出力インターフェース
３１０ バス
３１４ ストレージ
３３０ 学習処理プログラム
３４０ 表示制御プログラム
３５２ 入力装置
３５４ 表示装置
４００ データ取得プログラム
４２０ 臨床パラメータ算出プログラム
４３０ 損失算出プログラム
４４０ オプティマイザ
４５０ 解剖学的領域分割プログラム
５１０Ａ 解剖学的領域分割部
５１０Ｂ 解剖学的領域分割部
５２０ 臨床パラメータ算出部
５３０ 関連付け処理部
５５０ 訓練データ保存部
ＡＡｊ 解剖学的領域情報
ＣＰｊ 臨床パラメータ
ＣＰｓｊ 臨床パラメータ
Ｆ１Ａ 左図
Ｆ１Ｂ 右図
Ｆ２Ａ 画像
Ｆ２Ｂ 画像
Ｆ３Ａ 心電図同期ＣＴ画像
Ｆ４Ａ 非心電図同期ＣＴ画像
Ｆ７Ａ 非心電図同期ＣＴ画像
Ｆ７Ｂ 心電図同期ＣＴ画像
Ｆ７Ｃ 生成画像
Ｆ１６Ａ 非心電図同期ＣＴ画像
Ｆ１６Ｂ 心電図同期ＣＴ画像
Ｆ１６Ｃ 生成画像
Ｆ２４Ａ 左図
Ｆ２４Ｂ 中央図
Ｆ２４Ｃ 右図
ＧＩｊ 心電図同期ＣＴ画像
ＧＴｊ 正解臨床パラメータ
ＧＴＳ ＣＡＣスコア
ＧＴｓｊ 正解臨床パラメータ
ＧＴＳｓ 正解ＣＡＣスコア
ＩＭｎｇ 非心電図同期ＣＴ画像
ＩＭｓｙｎ 疑似心電図同期ＣＴ画像
ＮＩｊ 非心電図同期ＣＴ画像
ＰＰｊ 臨床パラメータ
ＰＰｓｊ 臨床パラメータ
ＰＲＳ ＣＡＣスコア
ＰＲＳｓ ＣＡＣスコア
ＳＩｊ 生成画像
ＴＩｊ 訓練画像
Ｓ１０２～Ｓ１１２ 機械学習方法のステップ
Ｓ２０２～Ｓ２０８ 情報処理方法のステップ
１２ データ取得部
１４ 画像生成モデル
１５ 解剖学的領域分割部
１６ 臨床パラメータ算出部
１８ 処理結果出力部
３０、３２ 機械学習装置
５０、５２ 訓練データ生成装置
１０２ プロセッサ
１０４ コンピュータ可読媒体
１０６ 通信インターフェース
１０８ 入出力インターフェース
１１０ バス
１１２ メモリ
１１４ ストレージ
１２０ 入力画像記憶領域
１２２ 生成画像記憶領域
１２４ 処理結果記憶領域
１２５ 解剖学的領域情報記憶領域
１５０ 解剖学的領域分割プログラム
１５２ 入力装置
１５４ 表示装置
１６０ 臨床パラメータ算出プログラム
１８０ 処理結果出力プログラム
１９０ 表示制御プログラム
２１０ 学習モデル
２２０ 臨床パラメータ算出部
２３０ 損失算出部
２３２ モデルパラメータ更新量算出部
２３４ モデルパラメータ更新部
３０２ プロセッサ
３０４ コンピュータ可読媒体
３０６ 通信インターフェース
３０８ 入出力インターフェース
３１０ バス
３１４ ストレージ
３３０ 学習処理プログラム
３４０ 表示制御プログラム
３５２ 入力装置
３５４ 表示装置
４００ データ取得プログラム
４２０ 臨床パラメータ算出プログラム
４３０ 損失算出プログラム
４４０ オプティマイザ
４５０ 解剖学的領域分割プログラム
５１０Ａ 解剖学的領域分割部
５１０Ｂ 解剖学的領域分割部
５２０ 臨床パラメータ算出部
５３０ 関連付け処理部
５５０ 訓練データ保存部
ＡＡｊ 解剖学的領域情報
ＣＰｊ 臨床パラメータ
ＣＰｓｊ 臨床パラメータ
Ｆ１Ａ 左図
Ｆ１Ｂ 右図
Ｆ２Ａ 画像
Ｆ２Ｂ 画像
Ｆ３Ａ 心電図同期ＣＴ画像
Ｆ４Ａ 非心電図同期ＣＴ画像
Ｆ７Ａ 非心電図同期ＣＴ画像
Ｆ７Ｂ 心電図同期ＣＴ画像
Ｆ７Ｃ 生成画像
Ｆ１６Ａ 非心電図同期ＣＴ画像
Ｆ１６Ｂ 心電図同期ＣＴ画像
Ｆ１６Ｃ 生成画像
Ｆ２４Ａ 左図
Ｆ２４Ｂ 中央図
Ｆ２４Ｃ 右図
ＧＩｊ 心電図同期ＣＴ画像
ＧＴｊ 正解臨床パラメータ
ＧＴＳ ＣＡＣスコア
ＧＴｓｊ 正解臨床パラメータ
ＧＴＳｓ 正解ＣＡＣスコア
ＩＭｎｇ 非心電図同期ＣＴ画像
ＩＭｓｙｎ 疑似心電図同期ＣＴ画像
ＮＩｊ 非心電図同期ＣＴ画像
ＰＰｊ 臨床パラメータ
ＰＰｓｊ 臨床パラメータ
ＰＲＳ ＣＡＣスコア
ＰＲＳｓ ＣＡＣスコア
ＳＩｊ 生成画像
ＴＩｊ 訓練画像
Ｓ１０２～Ｓ１１２ 機械学習方法のステップ
Ｓ２０２～Ｓ２０８ 情報処理方法のステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
