(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132794
(43)【公開日】2023-09-22
(54)【発明の名称】画像診断支援プログラム,訓練プログラム,情報処理装置,画像診断支援方法および訓練方法
(51)【国際特許分類】
A61B 5/055 20060101AFI20230914BHJP
A61B 6/03 20060101ALI20230914BHJP
【FI】
A61B5/055 380
A61B6/03 360T
A61B6/03 360J
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022038323
(22)【出願日】2022-03-11
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】竹内 真樹
(72)【発明者】
【氏名】御宿 義勝
(72)【発明者】
【氏名】梅田 将孝
【テーマコード(参考)】
4C093
4C096
【Fターム(参考)】
4C093AA22
4C093DA04
4C093FD09
4C093FF16
4C093FF17
4C093FF32
4C093FF35
4C093FH08
4C096AB44
4C096AC01
4C096AD14
4C096AD24
4C096DC20
4C096DC21
4C096DC28
(57)【要約】
【課題】推論の精度を向上させる。
【解決手段】それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像とその被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じてその診断対象の被験者の病名の推定結果および撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデル102に、判定対象の複数の入力画像を入力し、判定対象の複数の入力画像の中から、寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデル105に、推定用の撮像条件で撮像された入力画像を入力し、第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と当該被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに、判定対象の複数の入力画像を入力し、
前記判定対象の複数の入力画像の中から、前記寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに、前記推定用の撮像条件で撮像された入力画像を入力し、
前記第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する
処理をコンピュータに実行させることを特徴とする画像診断支援プログラム。
【請求項2】
前記寄与の度合いが所定の閾値未満の撮像条件を前記推定用の撮像条件から除外する
処理を前記コンピュータに実行させることを特徴とする請求項1に記載の画像診断支援プログラム。
【請求項3】
前記寄与の度合いが上位の撮像条件を優先して前記推定用の撮像条件に加える
処理を前記コンピュータに実行させることを特徴とする請求項1に記載の画像診断支援プログラム。
【請求項4】
それぞれ異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに対して、それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と、当該被験者の病名とを関連付けた第1の訓練データを用いて第1の訓練を行ない、
前記複数の訓練用画像の中から、前記第1のモデルが前記複数の訓練用画像の入力に応じて出力した前記撮像条件毎の前記複数の訓練用画像それぞれの推定への寄与の度合に基づいて、当該寄与の度合に基づいて選択された訓練用の撮像条件で撮像された訓練用入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに対して、前記訓練用入力画像と病巣箇所とを関連付けた第2の訓練データを用いて第2の訓練を行なう
処理をコンピュータに実行させることを特徴とする訓練プログラム。
【請求項5】
前記寄与の度合いが所定の閾値未満の撮像条件を前記訓練用の撮像条件から除外する
処理を前記コンピュータに実行させることを特徴とする請求項4に記載の訓練プログラム。
【請求項6】
前記寄与の度合いが上位の撮像条件を優先して前記訓練用の撮像条件に加える
処理を前記コンピュータに実行させることを特徴とする請求項4に記載の訓練プログラム。
【請求項7】
それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と当該被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに、判定対象の複数の入力画像を入力し、
前記判定対象の複数の入力画像の中から、前記寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに、前記推定用の撮像条件で撮像された入力画像を入力し、
前記第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する
処理を実行する制御部を備えることを特徴とする情報処理装置。
【請求項8】
それぞれ異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに対して、それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と、当該被験者の病名とを関連付けた第1の訓練データを用いて第1の訓練を行ない、
前記複数の訓練用画像の中から、前記第1のモデルが前記複数の訓練用画像の入力に応じて出力した前記撮像条件毎の前記複数の訓練用画像それぞれの推定への寄与の度合に基づいて、当該寄与の度合に基づいて選択された訓練用の撮像条件で撮像された訓練用入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに対して、前記訓練用入力画像と病巣箇所とを関連付けた第2の訓練データを用いて第2の訓練を行なう
処理を実行する制御部を備えることを特徴とする情報処理装置。
【請求項9】
それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と当該被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに、判定対象の複数の入力画像を入力し、
前記判定対象の複数の入力画像の中から、前記寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに、前記推定用の撮像条件で撮像された入力画像を入力し、
前記第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する
処理をコンピュータが実行することを特徴とする画像診断支援方法。
【請求項10】
それぞれ異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに対して、それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と、当該被験者の病名とを関連付けた第1の訓練データを用いて第1の訓練を行ない、
前記複数の訓練用画像の中から、前記第1のモデルが前記複数の訓練用画像の入力に応じて出力した前記撮像条件毎の前記複数の訓練用画像それぞれの推定への寄与の度合に基づいて、当該寄与の度合に基づいて選択された訓練用の撮像条件で撮像された訓練用入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに対して、前記訓練用入力画像と病巣箇所とを関連付けた第2の訓練データを用いて第2の訓練を行なう
処理をコンピュータが実行することを特徴とする訓練方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像診断支援プログラム,訓練プログラム,情報処理装置,画像診断支援方法および訓練方法に関する。
【背景技術】
【0002】
近年、患者の病巣箇所の特定を行なうために、脳MRI(Magnetic Resonance Imaging)やCT(Computed Tomography)灌流等の医用画像を撮影し、これらの医用画像に対して、ディープラーニングを用いた読影診断が行なわれている。
【0003】
また、これらの医用画像の撮影においては、撮像プロトコル(撮像条件)を切り替えることで、撮像に用いられるパラメータが変更され、強調される体組織(水、脂肪,骨等)のパターンが異なるものとなる。
【0004】
例えば、脳MRIにおいては、FLAIR, MRA, DWI, ADC, T1, T1強調, T2, T2*等の撮像プロトコルが知られている。そして、同一の部位(例えば、頭部)を撮像する場合においても、撮像プロトコルを切り替えることで、医用画像中の病巣(病変)の見えやすさが変化する。
【0005】
そのため、撮像プロトコルによって、病気の種類に応じて医用画像中に病変を見つけやすい場合と見つけにくい場合とがある。これにより、読影診断に使用される撮像プロトコルは病気に応じて異なるものとなる。特定の撮像プログラムで撮影された医用画像中に病巣(病変)を見つけにくい場合に、当該撮像プロトコルは読影診断に使用する効果が小さいといってもよく、または、当該撮像プロトコルは読影診断への寄与が少ないといってもよい。
【0006】
一種類の病気の診断にのみ用いる目的で読影診断を行なうのであれば、特定の撮像プロトコルを選択して用いればよいが、患者が複数の病気を併発していることが多々ある。そのため、読影診断を行なう場合には、推論に使用する医用画像に特定の撮像プロトコルを限定して用いることは、病気の見落としを防止する観点から望ましくない。
【0007】
従って、従来のディープラーニングを用いた読影診断においては、複数の撮像プロトコルにより撮影された全ての画像データを用いて機械学習および推論を行なう。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2018-175343号公報
【特許文献2】特開2019-82881号公報
【特許文献3】米国特許第10311566号明細書
【非特許文献】
【0009】
【非特許文献1】Love, Askell & Siemund, Roger & Andsberg, Gunnar & Cronqvist, Mats & Holtas, Stig & Bjorkman-Burtscher, Isabella. (2011)., "Comprehensive CT Evaluation in Acute Ischemic Stroke: Impact on Diagnosis and Treatment Decisions.", Stroke research and treatment. 2011. 726573. 10.4061/2011/726573
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上述の如く、撮像プロトコルによって、病気の種類に応じて医用画像中に病変を見つけやすい場合と見つけにくい場合とがある。そのため、従来のディープラーニングを用いた読影診断においては、特定の病気の読影診断に寄与が少ない撮像プロトコルの医用画像を使用することで、推論(予測)の精度が低下する場合がある。
1つの側面では、本発明は、推論の精度を向上できるようにすることを目的とする。
【課題を解決するための手段】
【0011】
このため、この画像診断支援プログラムは、それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と当該被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに、判定対象の複数の入力画像を入力し、前記判定対象の複数の入力画像の中から、前記寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに、前記推定用の撮像条件で撮像された入力画像を入力し、前記第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する。
【発明の効果】
【0012】
一実施形態によれば、推論の精度を向上させることができる。
【図面の簡単な説明】
【0013】
【
図1】実施形態の一例としての読影診断支援システムのハードウェア構成を例示する図である。
【
図2】実施形態の一例としての読影診断支援システムの機能構成を例示する図である。
【
図3】実施形態の一例としての読影診断支援システムの第1訓練処理部および第2訓練処理部による訓練フェーズの処理を説明するための図である。
【
図4】実施形態の一例としての読影診断支援システムにおける撮像プロトコル毎の特徴量の抽出方法を説明するための図である。
【
図5】実施形態の一例としての読影診断支援システムの第1推論処理部および第2推論処理部による推論フェーズの処理を説明するための図である。
【
図6】実施形態の一例としての読影診断支援システムにおける訓練フェーズにおける処理を説明するためのフローチャートである。
【
図7】実施形態の一例としての読影診断支援システムにおける教師データを例示する図である。
【
図8】実施形態の一例としての読影診断支援システムにおける推論フェーズにおける処理を説明するためのフローチャートである。
【
図9】実施形態の一例としての読影診断支援システムにおける推論の対象となる診断画像データセットを例示する図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本画像診断支援プログラム,訓練プログラム,情報処理装置,画像診断支援方法および訓練方法にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
(A)構成
【0015】
本発明の一実施形態としての読影診断支援システム1は、医用画像の読影を行なう医師(読影医)を支援するものであり、医用画像において病巣の可能性が高い箇所や悪性度を読影医に提示する。具体的には、本読影診断支援システム1は、診断対象の被験者から撮影された画像データ(診断画像データセット)に対して、病巣の箇所を推論(推定)し、当該病巣の推定箇所(病巣箇所)を示す情報を出力する。被験者には患者が含まれる。
読影医は、読影診断支援システム1によって提示される情報に基づき、患者に対する診断等を行なう。
図1は実施形態の一例としての読影診断支援システム1のハードウェア構成を例示する図、
図2はその機能構成を例示する図である。
【0016】
本読影診断支援システム1は、
図1に示すように、推論サーバ10を備える。推論サーバ10には、MRIやCT等の医療機器によって撮影された医用画像が入力される。
【0017】
医療機器においては、撮像条件(撮像プロトコル)を切り替えて被験者(の臓器や患部)を撮影することで、被験者から複数種類の医用画像(画像データ)を生成する。医療機器によって撮影された医用画像は、例えば、図示しないネットワークを介して、ファイル転送によって推論サーバ10に入力されてもよく、適宜変更して実施することができる。
【0018】
医師は、ネットワークを介して接続されたPC(Personal Computer)等の情報処理装置を用いて、推論サーバ10にGUI(Graphical User Interface)アクセスし、各種入力操作を行なう。
【0019】
推論サーバ10は、コンピュータ(情報処理装置)であって、
図1に示すように、例えば、プロセッサ11,メモリ12,記憶装置13,グラフィック処理装置14,入力インタフェース15,光学ドライブ装置16,機器接続インタフェース17およびネットワークインタフェース18を構成要素として有する。これらの構成要素11~18は、バス19を介して相互に通信可能に構成される。
【0020】
プロセッサ(制御部)11は、推論サーバ10全体を制御する。プロセッサ11は、マルチプロセッサであってもよい。プロセッサ11は、例えばCPU,MPU(Micro Processing Unit),DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit),PLD(Programmable Logic Device),FPGA(Field Programmable Gate Array),GPU(Graphics Processing Unit)のいずれか一つであってもよい。また、プロセッサ11は、CPU,MPU,DSP,ASIC,PLD,FPGA,GPUのうちの2種類以上の要素の組み合わせであってもよい。
【0021】
そして、プロセッサ11が例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム(画像診断支援プログラム,訓練プログラム,OSプログラム)を実行することにより、
図2に例示する、第1訓練処理部101,第1ニューラルネットワーク102,訓練情報選択部103,第2訓練処理部104,第2ニューラルネットワーク105,第1推論処理部106,推論情報選択部107,第2推論処理部108,出力処理部109および画像データベース110としての機能が実現される。
【0022】
推論サーバ10に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、推論サーバ10に実行させるプログラムを記憶装置13に格納しておくことができる。プロセッサ11は、記憶装置13内のプログラムの少なくとも一部をメモリ12にロードし、ロードしたプログラムを実行する。
【0023】
また、推論サーバ10(プロセッサ11)に実行させるプログラムを、光ディスク16a,メモリ装置17a,メモリカード17c等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ11からの制御により、記憶装置13にインストールされた後、実行可能になる。また、プロセッサ11が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
【0024】
メモリ12は、ROM(Read Only Memory)およびRAM(Random Access Memory)を含む記憶メモリである。メモリ12のRAMは推論サーバ10の主記憶装置として使用される。RAMには、プロセッサ11に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ12には、プロセッサ11による処理に必要な各種データが格納される。
【0025】
記憶装置13は、ハードディスクドライブ(Hard Disk Drive:HDD)、SSD(Solid State Drive)、ストレージクラスメモリ(Storage Class Memory:SCM)等の記憶装置であって、種々のデータを格納するものである。記憶装置13は、推論サーバ10の補助記憶装置として使用される。
【0026】
記憶装置13には、OSプログラム,制御プログラムおよび各種データが格納される。制御プログラムには画像診断支援プログラムや訓練プログラムが含まれる。
【0027】
なお、補助記憶装置としては、SCMやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置13を用いてRAID(Redundant Arrays of Inexpensive Disks)を構成してもよい。
【0028】
グラフィック処理装置14には、モニタ14aが接続されている。グラフィック処理装置14は、プロセッサ11からの命令に従って、画像をモニタ14aの画面に表示させる。モニタ14aとしては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置等が挙げられる。
【0029】
入力インタフェース15には、キーボード15aおよびマウス15bが接続されている。入力インタフェース15は、キーボード15aやマウス15bから送られてくる信号をプロセッサ11に送信する。なお、マウス15bは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル,タブレット,タッチパッド,トラックボール等が挙げられる。
【0030】
光学ドライブ装置16は、レーザ光等を利用して、光ディスク16aに記録されたデータの読み取りを行なう。光ディスク16aは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク16aには、DVD(Digital Versatile Disc),DVD-RAM,CD-ROM(Compact Disc Read Only Memory),CD-R(Recordable)/RW(ReWritable)等が挙げられる。
【0031】
機器接続インタフェース17は、推論サーバ10に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース17には、メモリ装置17aやメモリリーダライタ17bを接続することができる。メモリ装置17aは、機器接続インタフェース17との通信機能を搭載した非一時的な記録媒体、例えばUSB(Universal Serial Bus)メモリである。メモリリーダライタ17bは、メモリカード17cへのデータの書き込み、またはメモリカード17cからのデータの読み出しを行なう。メモリカード17cは、カード型の非一時的な記録媒体である。
【0032】
ネットワークインタフェース18は、ネットワークに接続される。ネットワークインタフェース18は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。例えば、推論サーバ10は、ネットワークインタフェース18およびネットワークを介して医療機器に接続され、この医療機器から、ファイル転送で医用画像を受信してもよい。
【0033】
また、推論サーバ10は、ネットワークインタフェース18およびネットワークを介して、医用画像を記憶するデータベースシステムに接続され、このデータベースシステムから医用画像を受信してもよい。
【0034】
推論サーバ10は、
図2に示すように、第1訓練処理部101,第1ニューラルネットワーク102,訓練情報選択部103,第2訓練処理部104,第2ニューラルネットワーク105,第1推論処理部106,推論情報選択部107,第2推論処理部108,出力処理部109および画像データベース110としての機能を備える。
【0035】
本読影診断支援システム1においては、プロセッサ11が訓練プログラムを実行することで、第1訓練処理部101,訓練情報選択部103および第2訓練処理部104としての機能が実現される。これらの第1訓練処理部101,訓練情報選択部103および第2訓練処理部104は、訓練フェーズにおいて機能する。
【0036】
また、プロセッサ11が画像診断支援プログラムを実行することで、第1推論処理部106,推論情報選択部107,第2推論処理部108および出力処理部109としての機能が実現される。これらの第1推論処理部106,推論情報選択部107,第2推論処理部108および出力処理部109は、推論フェーズにおいて機能する。
また、画像データベース110には、訓練フェーズおよび推論フェーズにおいて用いられる医用画像や教師データ等が記憶される。
【0037】
第1訓練処理部101は、訓練フェーズにおいて第1ニューラルネットワーク102の訓練(機械学習)を行なう。第1ニューラルネットワーク102をNN#1と表す場合がある。
第1ニューラルネットワーク102は、被験者が罹患している病気を分類する機械学習モデル(第1のモデル)を実現する。
【0038】
第1ニューラルネットワーク102は、一人の被験者から複数種類の撮像条件(撮像プロトコル)で撮影された複数の画像データ(診断画像データセット)を入力として推論を行ない、当該被験者が罹患していると推論した病名の情報(被験者の病名の推定結果)と、当該推論の過程で算出した撮像プロトコル毎の特徴量の絶対値とを出力する。
【0039】
第1訓練処理部101は、それぞれ異なる撮像条件(撮像プロトコル)で被験者を撮像して得られた第1訓練画像データセット(複数の訓練用画像)と当該被験者の病名(罹患病名情報)とを関連付けた訓練データ(教師データ)を用いて第1ニューラルネットワーク102を生成する。
【0040】
そして、第1訓練処理部101は、第1ニューラルネットワーク102に対して、それぞれ異なる撮像プロトコル(撮像条件)で被験者を撮像して得られた第1訓練画像データセット(複数の訓練用画像)と、当該被験者の罹患病名情報(病名)とを関連付けた第1の訓練データセット(第1の訓練データ)を用いて機械学習(訓練,第1の訓練)を行なう。
【0041】
第1ニューラルネットワーク102は、ハードウェア回路であってもよいし、プロセッサ11によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。機械学習モデルには、例えば、畳み込み層を持つニューラルネットワークを用いたディープラーニングを用いてもよい。
【0042】
図3は実施形態の一例としての読影診断支援システム1の第1訓練処理部101および第2訓練処理部104による訓練フェーズの処理を説明するための図である。
【0043】
図3中において、符号Aは第1ニューラルネットワーク102の訓練に用いられる第1の訓練データセットを示す。この符号Aに例示する第1の訓練データセットは、一人の被験者から生成される情報であって、入力データ(符号A1参照)と正解データ(符号A2参照)とを備える。本読影診断支援システム1においては、この符号Aに例示する第1の訓練データセットを、複数の患者のそれぞれについて生成する。
第1の訓練データセットに含まれる入力データは、患者を複数種類の撮像プロトコルで撮影して得られる複数の画像データ(医用画像)である。
【0044】
第1の訓練データセットには、医用画像の提供元の被験者一人あたりで、なるべく多くの種類の撮像プロトコルで撮影された画像データを用いることが望ましい。そこで、本読影診断支援システム1においては、複数の画像データとして、医療機器を用いて患者から得られる、全ての撮像プロトコルの画像データが用いられる。
【0045】
以下、第1の訓練データセットに含まれる、一人の被験者に対して複数種類の撮像プロトコルで撮影することで得られる複数の画像データを、第1訓練画像データセットという場合がある。第1訓練画像データセットは、訓練フェーズにおいて第1ニューラルネットワーク102への入力データとして用いられ、この第1ニューラルネットワーク102の訓練に用いられる。
【0046】
第1訓練処理部101は、第1訓練画像データセットを第1ニューラルネットワーク102へ入力して、この入力データに対する推論結果を出力する機械学習モデル(第1ニューラルネットワーク102)を機械学習によって作成する。
【0047】
また、第1の訓練データセットに含まれる正解データは、当該被験者が実際に罹患している病気の病名を示す罹患病名情報である。この罹患病名情報は、当該被験者に対して医師により診断された病名を示す。
【0048】
図3中において、符号Bは第1ニューラルネットワーク102から出力される第1の訓練出力情報を示す。第1の訓練出力情報は、予測病名情報(
図3の符号B1参照)と、撮像プロトコル毎に算出した特徴量情報(
図3の符号B2参照)とを備える。
予測病名情報は、被験者の画像データから推論される、当該被験者が罹患していると推論される病名を示す情報である。
【0049】
第1ニューラルネットワーク102は、第1訓練画像データセットが入力されると、当該第1訓練画像データセットから病名を推論し、予測病名情報を出力する。
【0050】
第1訓練処理部101は、例えば、勾配降下法を用いて、訓練データに対する機械学習モデル(第1ニューラルネットワーク102)の推論結果(予測病名情報)と正解データ(罹患病名情報)との誤差を定義した損失関数を小さくする方向に、ニューラルネットワークのパラメータ等を更新することによって、パラメータ等の最適化を行なってもよい。
【0051】
また、第1ニューラルネットワーク102は、複数の畳み込み層を備え、第1訓練画像データセットを構成する撮像プロトコルが異なる複数の画像データに対して、撮像プロトコル毎に特徴量の抽出を行なう。
【0052】
第1ニューラルネットワーク102は、少なくとも、第1訓練画像データセットにおける撮像プロトコルの数に対応する数の畳み込み層を備える。各畳み込み層は、対応する撮像プロトコルの画像データの特徴量をそれぞれ算出する。
【0053】
第1ニューラルネットワーク102は、算出した撮像プロトコル毎の画像データの特徴量の絶対値を出力する。以下、便宜上、撮像プロトコル毎の画像データの特徴量の絶対値を、単に撮像プロトコル毎の特徴量という場合がある。
各畳み込み層がそれぞれ算出する撮像プロトコル毎の特徴量は、前述した第1ニューラルネットワーク102による病名の推定の過程で算出されるものである。
図4は実施形態の一例としての読影診断支援システム1における撮像プロトコル毎の特徴量の抽出方法を説明するための図である。
【0054】
図4に示す例においては、T2ce,T2,FLAIRおよびT1の4種類の撮像プロトコルで撮影された4枚の画像データを備える第1訓練画像データセットが示されている。そして、この
図4においては、この第1訓練画像データセットを構成する画像データのそれぞれから特徴量を算出する過程が示されている(
図4の符号A参照)。
【0055】
この
図4においては、第1ニューラルネットワーク102が、特徴プロトコルT2ceに対応させて備えられた畳み込み層conv_p1と、特徴プロトコルT2に対応させて備えられた畳み込み層conv_p2と、特徴プロトコルFLAIRに対応させて備えられた畳み込み層conv_p3と、特徴プロトコルT1に対応させて備えられた畳み込み層conv_p4とを示している。
【0056】
第1ニューラルネットワーク102においては、畳み込み層conv_p1が、特徴プロトコルT2ceの画像データに基づいて特徴量(p1の特徴量)を算出する。同様に、畳み込み層conv_p2が、特徴プロトコルT2の画像データに基づいて特徴量(p2の特徴量)を算出する。また、畳み込み層conv_p3が、特徴プロトコルFLAIRの画像データに基づいて特徴量(p3の特徴量)を算出し、畳み込み層conv_p4が、特徴プロトコルT1の画像データに基づいて特徴量(p4の特徴量)を算出する。
図4においては、各畳み込み層conv_p1~conv_p4がそれぞれ算出した撮像プロトコル毎の特徴量をグラフで示している(
図4の符号B参照)。
【0057】
第1訓練処理部101は、第1ニューラルネットワーク102の各畳み込み層が第1訓練画像データセットに基づいて算出した、撮像プロトコル毎の特徴量を、メモリ12や記憶装置13等の所定の記憶領域に記憶させる。
この際、第1訓練処理部101は、各畳み込み層がそれぞれ算出した撮像プロトコル毎の特徴量を、値に応じてソートしてもよい。
【0058】
図3の符号B2は、撮像プロトコル毎に算出した特徴量情報の表示例を示しており、特徴量の値(情報量)が大きい順に撮像プロトコルのプロトコル名を並べた一覧を例示している。
【0059】
各畳み込み層conv_p1~conv_p4がそれぞれ算出した撮像プロトコル毎の特徴量は、前述した第1ニューラルネットワーク102による病名の推定に用いられる。
【0060】
図3に示す例においては、第1ニューラルネットワーク102は、全ての撮像プロトコルの画像データを入力として、その患者のかかっている病気の病名の一覧と、これらの病名の推論の過程で算出した特徴量の値が大きい撮像プロトコルの一覧とを出力している。
【0061】
撮像プロトコル毎の特徴量は、対応する撮像プロトコルによる画像の特徴が、推論に対してどれだけ寄与したかを特定できる情報に相当する。特徴量の値が大きい撮像プロトコルは、当該撮像プロトコルが、画像データ中における病気の特徴を大きく抽出できたことを示す。
なお、第1ニューラルネットワーク102は、特徴プロトコル毎に算出した特徴量の値を出力してもよい。
【0062】
第1ニューラルネットワーク102は、異なる撮像条件(撮像プロトコル)で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果(予測病名情報)および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合(特徴量)を出力する第1のモデルに相当する。
【0063】
訓練情報選択部103は、前述した第1の訓練データセットに含まれる第1訓練画像データセットの中から、第2訓練処理部104が第2ニューラルネットワーク105の訓練を行なう際に用いる訓練用データを選択する。以下、第2ニューラルネットワーク105の訓練に用いられる1つ以上の画像データを第2訓練画像データセットという。
【0064】
訓練情報選択部103は、第1ニューラルネットワーク102が第1訓練画像データセット(複数の訓練用画像)の入力に応じて出力した撮像プロトコル(撮像条件)毎の複数の訓練用画像それぞれの特徴量(推定への寄与の度合)に基づいて、訓練に用いる撮像プロトコル(訓練用の撮像条件)を決定する。
【0065】
そして、訓練情報選択部103は、第1訓練画像データセット(複数の訓練用画像)の中から、特徴量に基づいて選択した撮像プロトコル(訓練用の撮像条件)で撮像された第2の訓練画像データセット(訓練用入力画像)を選択する。
【0066】
例えば、訓練情報選択部103は、第1ニューラルネットワーク102によって算出された撮像プロトコル毎の特徴量に基づいて、第1訓練画像データセットの中から、例えば、特徴量が所定の閾値未満の撮像プロトコルの画像データを除外し、特徴量が所定の閾値以上の画像データのみを第2訓練画像データセットとする。
【0067】
第2訓練画像データセットから特徴量が所定の閾値未満の撮像プロトコルの画像データを除外することで、第2ニューラルネットワーク105の訓練に、特徴量が低い(すなわち、読影診断への寄与が少ない)撮像プロトコルの画像データが使用されることが抑制される。
【0068】
また、訓練情報選択部103は、特徴量の値に応じて撮像プロトコルをソートし、特徴量の値が大きいものから順に上位の所定数の撮像プロトコルを選択し、第1訓練画像データセットの中から、これらの撮像プロトコルで撮影された画像データを選択して第2訓練画像データセットとしてもよい。
訓練情報選択部103は、作成した第2訓練画像データセットをメモリ12や記憶装置13等の所定の記憶領域に記憶させる。
【0069】
第2訓練処理部104は、訓練フェーズにおいて第2ニューラルネットワーク105の訓練(機械学習)を行なう。第2ニューラルネットワーク105をNN#2と表す場合がある。
【0070】
第2ニューラルネットワーク105は、被験者から撮影された医用画像データから、病巣の箇所を推論する機械学習モデル(第2のモデル)を実現する。第2ニューラルネットワーク105は、ハードウェア回路であってもよいし、プロセッサ11によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。機械学習モデルには、例えば、ニューラルネットワークを用いたディープラーニングを用いてもよい。
【0071】
図3中において、符号Cは第2ニューラルネットワーク105の訓練に用いられる第2の訓練データセットを示す。この符号Cに例示する第2の訓練データセットは、一人の被験者から生成される情報であって、入力データ(
図3の符号C1参照)と正解データ(
図3の符号C2参照)とを備える。本読影診断支援システム1においては、この符号Cに例示する第2の訓練データセットを、複数の被験者のそれぞれについて生成する。
第2の訓練データセットに含まれる入力データは、訓練情報選択部103によって選択された第2訓練画像データセットである(
図3の符号C1参照)。
【0072】
第2訓練画像データセットは、訓練フェーズにおいて第2ニューラルネットワーク105への入力データとして用いられ、この第2ニューラルネットワーク105の訓練に用いられる。
【0073】
第2訓練処理部104は、第2訓練画像データセットを第2ニューラルネットワーク105へ入力して、この入力データに対する推論結果を出力する機械学習モデル(第2ニューラルネットワーク105)を機械学習によって作成する。
【0074】
そして、第2訓練処理部104は、第2ニューラルネットワーク(第2のモデル)105に対して、第2の訓練画像データセット(訓練用入力画像)と病巣箇所(病巣の正解データ)とを関連付けた第2の訓練データセット(第2の訓練データ)を用いて機械学習(訓練,第2の訓練)を行なう。
【0075】
また、第2の訓練データセットに含まれる正解データは、当該被験者が実際にかかっている病気の病巣の位置を示す病巣位置情報である(
図3の符号C2参照)。この病巣位置情報は、当該被験者から撮影された医用画像データにおいて医師により予め特定された病巣箇所を示す。
図3中において、符号Dは第2ニューラルネットワーク105から出力される第2の訓練出力情報を示す。
【0076】
第2ニューラルネットワーク105は、第2訓練画像データセットが入力されると、当該第1訓練画像データセットから病巣の箇所を推論し、当該病巣の予測箇所を示す情報(出力画像データ)を出力する。
図3において、符号Dに例示する第2の訓練出力情報は、病巣箇所の予測値を医用画像に反映させることで視覚化した出力画像データを示す。
【0077】
第2ニューラルネットワーク105によって推論される病巣の箇所の情報を予測病巣箇所情報といってもよい。
【0078】
第2訓練処理部104は、第2ニューラルネットワーク105に病巣個所の特定を行なわせる。
第2訓練処理部104は、第2ニューラルネットワーク105が特定した病床箇所と正解との誤差(ズレ)を見て、この誤差が小さくなるように、第2ニューラルネットワーク105のパラメータを更新する。
【0079】
第2訓練処理部104は、このような、第2ニューラルネットワーク105による病巣個所の特定と、特定結果と正解とのズレに基づく第2ニューラルネットワーク105のパラメータの更新と繰り返し行なうことで、第2ニューラルネットワーク105の精度を向上させる。
【0080】
第2訓練処理部104は、作成した予測病巣箇所情報をメモリ12や記憶装置13等の所定の記憶領域に記憶させる。
【0081】
第1推論処理部106は、推論フェーズにおいて、診断対象の患者(被験者)から撮影された複数の画像データ(診断画像データセット)を第1ニューラルネットワーク102へ入力し、この第1ニューラルネットワーク102が出力する推論結果を得る。
図5は実施形態の一例としての読影診断支援システム1の第1推論処理部106および第2推論処理部108による推論フェーズの処理を説明するための図である。
【0082】
図5中において、符号Aは第1ニューラルネットワーク102に入力される診断画像データセットを示す。この符号Aに例示する診断画像データセットは、診断対象である一人の患者から生成される情報であって、当該患者を複数種類の撮像プロトコルで撮影することにより作成された複数の画像データを備える。これらの画像データはMRIやCT等の医療機器によって撮影される医用画像である。
【0083】
診断画像データセットを構成する複数の画像データは、本読影診断支援システム1において病巣の推定の対象である推論対象データに相当する。診断画像データセットは病巣等が未知の複数の画像データである。診断画像データセットを入力データといってもよい。
【0084】
診断画像データセットには、患者について、なるべく多くの種類の撮像プロトコルで撮影された画像データを用いることが望ましい。そこで、本読影診断支援システム1においては、診断画像データセットとして、本読影診断支援システム1において患者から取得可能な全ての撮像プロトコルの画像データが用いることが望ましい。
【0085】
第1推論処理部106は、診断画像データセットを第1ニューラルネットワーク102へ入力して、この入力データ(診断画像データセット)に対する推論結果を取得する。診断画像データセットを第1の推論データセットといってもよい。
図5中において、符号Bは推論フェーズにおいて第1ニューラルネットワーク102から出力される第1の推論出力情報を示す。
第1の推論出力情報は、予測病名情報(
図5の符号B1参照)と、撮像プロトコル毎に算出した特徴量情報(
図5の符号B2参照)とを備える。
第1ニューラルネットワーク102は、診断画像データセットが入力されると、当該診断画像データセットから病名を推論し、出力する。
【0086】
図5の符号B1に例示する予測病名情報は、病名に対して罹患しているかの判定結果が対応付けられている。例えば、脳梗塞および脳出血に対して判定に“1”が設定されており、患者が脳梗塞および脳出血に罹患していると推論されたことを示している。
【0087】
また、第1ニューラルネットワーク102は、推論フェーズにおいても、診断画像データセットを構成する撮像プロトコルが異なる複数の画像データに対して、撮像プロトコル毎に特徴量の絶対値の抽出(算出)を行なう。
【0088】
第1推論処理部106は、推論の過程において、第1ニューラルネットワーク102の各畳み込み層が第1訓練画像データセットに基づいて算出した、撮像プロトコル毎の特徴量を、メモリ12や記憶装置13等の所定の記憶領域に記憶させる。
この際、第1推論処理部106は、各畳み込み層がそれぞれ算出した撮像プロトコル毎の特徴量を、各値に応じてソートしてもよい。
図5の符号B2は、特徴量の値(情報量)が大きい順に撮像プロトコルのプロトコル名を並べた一覧を例示している。
撮像プロトコル毎に算出された各特徴量は、対応する撮像プロトコルで撮影された画像データの特徴が、推論に対してどれだけ寄与したかを表す。
【0089】
推論情報選択部107は、第1推論処理部106が算出した撮像プロトコル毎の特徴量に基づいて、前述した診断画像データセットの中から、第2推論処理部108が第2ニューラルネットワーク105に入力する推論用データ(入力データ)を選択する。以下、推論フェーズにおいて、第2ニューラルネットワーク105に入力される1つ以上の画像データを第2診断画像データセットという。
【0090】
推論情報選択部107は、第1推論処理部106が算出した撮像プロトコル毎の特徴量に基づいて、診断画像データセットを構成する複数の画像データを撮影するために用いられた複数種類の撮像プロトコルの中から、推論に用いる撮像プロトコルを選択する。
【0091】
すなわち、推論情報選択部107は、判定対象の複数の入力画像(診断画像データセット)の中から、特徴量(寄与の度合)に基づいて選択された推定用の撮像条件(推論に用いる撮像プロトコル)で撮像された入力画像(第2診断画像データセット)を選択する。第2診断画像データセットを、第2の推論データセットといってもよい。
図5中において、符号Cは推論情報選択部107によって選択された第2診断画像データセットを示す。
第2診断画像データセットは、第1ニューラルネットワーク102から出力される特徴量に基づいて選択された、特徴量の値が大きいと判断された撮像プロトコルの画像データの集合である。第2診断画像データセットは、推論に用いる撮像プロトコル(推定用の撮像条件)で撮像された入力画像に相当する。
【0092】
推論情報選択部107は、撮像プロトコル毎の特徴量に基づいて、特徴量の値が大きい撮像プロトコルを優先して選択する。例えば、特徴量が所定の閾値未満の撮像プロトコルを除外し、特徴量が閾値以上の撮像プロトコルのみを選択してもよい。また、推論情報選択部107は、特徴量の値が大きい順で上位の所定数の撮像プロトコルを選択してもよい。
【0093】
推論情報選択部107は、診断画像データセットの中から、上述の如く選択した撮像プロトコルで撮影された画像データを選択して第2診断画像データセットを作成する。
【0094】
推論情報選択部107が、特徴量が所定の閾値未満の撮像プロトコルの画像データを除外し、特徴量が閾値以上の撮影プロトコルの画像データのみを選択して第2診断画像データセットを作成する。これにより、第2ニューラルネットワーク105による推論において、特徴量の値が低い(すなわち、読影診断への寄与が少ない)撮像プロトコルの画像データが使用されることが抑制される。
推論情報選択部107は、作成した第2診断画像データセットをメモリ12や記憶装置13等の所定の記憶領域に記憶させる。
【0095】
第2推論処理部108は、推論フェーズにおいて第2ニューラルネットワーク105を用いて推論を行なう。第2推論処理部108は、推論情報選択部107によって選択された第2診断画像データセットを第2ニューラルネットワーク105へ入力し、この第2ニューラルネットワーク105が出力する推論結果を得る。
【0096】
第2推論処理部108は、入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2ニューラルネットワーク105(第2のモデル)に、推定用の撮像条件(推論に用いる撮像プロトコル)で撮像された第2の推論データセット(入力画像)を入力する。
【0097】
第2ニューラルネットワーク105は、第2診断画像データが入力されると、当該第2診断画像データから病巣の箇所を推論し、当該病巣の予測箇所(病巣箇所の予測値)を示す情報を出力する。
【0098】
図5中において、符号Dは第2ニューラルネットワーク105が出力する推論結果である第2の推論出力情報を示す。この符号Dに例示する第2の推論出力情報は、病巣箇所の予測値を医用画像に反映させることで視覚化した出力画像データを備える。
推論フェーズにおいて、第2ニューラルネットワーク105によって推論される病巣の箇所の情報を予測病巣箇所情報といってもよい。
第2推論処理部108は、作成した予測病巣箇所情報をメモリ12や記憶装置13等の所定の記憶領域に記憶させる。
【0099】
出力処理部109は、第2ニューラルネットワーク105が出力した第2の推論出力情報を、当該推論サーバ10の外部に出力する処理を行なう。例えば、出力処理部109は、第2の推論出力情報を、当該推論サーバ10とネットワークを介して接続された、医師が使用するPCに転送する処理を行なってもよい。また、出力処理部109は、第2の推論出力情報をモニタ14aに表示させてもよく、また、メモリカード17cに記憶させてもよく、適宜変更して実施することができる。
出力処理部109は、第2ニューラルネットワーク105(第2のモデル)の出力結果に基づいて特定される病巣箇所の推定結果を出力する。
【0100】
画像データベース110は、医用画像を記憶する。例えば、画像データベース110は、第1の訓練データセットを構成する各種の画像データや、罹患病名情報等を記憶する。
(B)動作
【0101】
上述の如く構成された実施形態の一例としての読影診断支援システム1における訓練フェーズにおける処理を、
図7を参照しながら、
図6に示すフローチャート(ステップS11~S16)に従って説明する。
図7は実施形態の一例としての読影診断支援システム1における教師データを例示する図である。
ステップS11において、第1訓練処理部101は、教師データの準備を行なう。
図7においては、訓練フェーズにおける一度の訓練に用いる教師データを示しており、一人の被験者に基づいて作成された教師データを示す。
【0102】
すなわち、一被験者分の教師データは、当該被験者から複数種類の撮像プロトコルで撮影して得られる複数の医用画像データ(第1訓練画像データセット)と、当該被験者が実際に罹患している病気の病名を示す罹患病名情報と、病気ごとの病巣箇所の正解データ(マスク画像データ)とを備える。
第1訓練処理部101は、画像データベース110から教師データを構成する各データを読み出してもよい。
【0103】
ステップS12において、第1訓練処理部101が、第1訓練画像データセットを第1ニューラルネットワーク102に入力し、罹患病名情報を正解データとして、第1ニューラルネットワーク102の訓練を行なう。
【0104】
ステップS13において、訓練情報選択部103が、第1ニューラルネットワーク102によって算出された撮像プロトコル毎の特徴量(プロトコル情報)と、推論された予測病名情報(病気情報)とを取得する。
【0105】
ステップS14において、訓練情報選択部103は、撮像プロトコル毎の特徴量(プロトコル情報)に基づいて、第1訓練画像データセットの中から、第2訓練処理部104が第2ニューラルネットワーク105の訓練を行なう際に用いる第2訓練画像データセットを選択する。
例えば、訓練情報選択部103は、1訓練画像データセットの中から、特徴量が所定の閾値以上の画像データを第2訓練画像データセットとして選択する。
【0106】
ステップS15において、第2訓練処理部104が、第2訓練画像データセットを第2ニューラルネットワーク105に入力し、病気ごとの病巣箇所の正解データを正解データとして、第2ニューラルネットワーク105の訓練を行なう。
ステップS16において、第2訓練処理部104が、第2ニューラルネットワーク105に病巣個所の特定を行なわせる。
第2訓練処理部104は、第2ニューラルネットワーク105が特定した病床箇所と正解との誤差を見て、この誤差が小さくなるように第2ニューラルネットワーク105のパラメータを更新する。その後、処理を終了する。
【0107】
次に、上述の如く構成された実施形態の一例としての読影診断支援システム1における推論フェーズにおける処理を、
図9を参照しながら、
図8に示すフローチャート(ステップS21~S25)に従って説明する。
図9は実施形態の一例としての読影診断支援システム1における推論の対象となる診断画像データセットを例示する図である。
ステップS21において、医療機器が、患者を複数種類の撮像プロトコルで撮影することで、複数の画像データ(医用画像)を作成する。
【0108】
図9においては、推論フェーズにおいて推論の対象となる診断画像データセットを示している。本読影診断支援システム1においては、患者から撮影された病巣等が未知の患者の画像データであり、一人の患者に対して、医療機器を用いて複数種類の撮像プロトコルで撮影することで作成される診断画像データセットである。
【0109】
ステップS22において、第1推論処理部106が診断画像データセットを第1ニューラルネットワーク102に入力し、第1の推論出力情報(予測病名情報,撮像プロトコル毎に算出した特徴量情報)が出力される。すなわち、第1ニューラルネットワーク102による病名の診断が行なわれる。
【0110】
ステップS23において、推論情報選択部107が、第1推論処理部106が算出した撮像プロトコル毎の特徴量に基づいて、診断画像データセットを構成する複数の画像データを撮影するために用いられた複数種類の撮像プロトコルの中から、推論に用いる撮像プロトコルを選択する。
【0111】
この際、推論情報選択部107は、特徴量の値が大きい撮像プロトコル(例えば、特徴量が閾値以上の撮像プロトコルや特徴量値が上位の撮像プロトコル)を選択する。
【0112】
そして、推論情報選択部107は、診断画像データセットの中から、選択した撮像プロトコルで撮影された画像データを選択して第2診断画像データセットを作成する。
【0113】
ステップS24において、第2推論処理部108が、推論情報選択部107によって選択された第2診断画像データセットを第2ニューラルネットワーク105へ入力する。第2ニューラルネットワーク105は、第2診断画像データが入力されると、当該第2診断画像データから病巣の箇所を推論し、第2の推論出力情報を出力する。
【0114】
ステップS25において、出力処理部109が、第2ニューラルネットワーク105から出力された第2の推論出力情報(病巣画像)を、医師が使用するPCに転送(出力)させる。その後、処理を終了する。
(C)効果
【0115】
このように、実施形態の一例としての読影診断支援システム1によれば、推論フェーズにおいて、推論情報選択部107が、例えば、第2診断画像データセットから特徴量が所定の閾値未満の撮像プロトコルの画像データを除外し、特徴量が閾値以上の撮影プロトコルの画像データを選択して第2診断画像データセットを作成する。
【0116】
そして、第2推論処理部108が、この第2診断画像データセットを第2ニューラルネットワーク105へ入力することで、第2ニューラルネットワーク105が、当該第2診断画像データから病巣の箇所を推論する。
【0117】
これにより、第2ニューラルネットワーク105による推論において、特徴量が低い(すなわち、読影診断への寄与が少ない)撮像プロトコルの画像データが使用されることが抑制される。従って、第2ニューラルネットワーク105による推論において、病気の読影診断に寄与が高い撮像プロトコルの画像データのみが使用されるので、第2ニューラルネットワーク105による推論精度を向上させることができる。
【0118】
推論情報選択部107は、例えば、推論情報選択部107は、特徴量の値が大きい順で上位の所定数の撮像プロトコルの画像データを選択して第2診断画像データセットを作成してもよい。これによっても、特徴量が低い(すなわち、読影診断への寄与が少ない)撮像プロトコルの画像データが使用されることが抑制され、第2ニューラルネットワーク105による推論精度を向上させることができる。
【0119】
また、訓練フェーズにおいて、訓練情報選択部103が、第2訓練画像データセットから特徴量が所定の閾値未満の撮像プロトコルの画像データを除外し、特徴量が閾値以上の撮影プロトコルの画像データを選択して第2訓練画像データセットを作成する。
【0120】
そして、第2訓練処理部104が、この第2訓練画像データセットを第2ニューラルネットワーク105へ入力することで、第2ニューラルネットワーク105が、当該第2訓練画像データから病巣の箇所を推論する。
【0121】
これにより、第2ニューラルネットワーク105の訓練において、特徴量が低い(すなわち、読影診断への寄与が少ない)撮像プロトコルの画像データが使用されることが抑制される。従って、第2ニューラルネットワーク105の訓練において、病気の読影診断に寄与が高い撮像プロトコルの画像データのみが使用されるので、第2ニューラルネットワーク105の精度を向上させることができる。
【0122】
また、訓練情報選択部103は、特徴量の値に応じて撮像プロトコルをソートし、特徴量の値が大きいものから順に上位の所定数の撮像プロトコルを選択し、第1訓練画像データセットの中から、これらの撮像プロトコルで撮影された画像データを選択して第2訓練画像データセットとしてもよい。これによっても、特徴量が低い(すなわち、読影診断への寄与が少ない)撮像プロトコルの画像データが使用されることが抑制され、第2ニューラルネットワーク105による推論精度を向上させることができる。
(D)その他
本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、推論情報選択部107や訓練情報選択部103としての機能を第1ニューラルネットワーク102(NN#1)が備えてもよい。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
【0123】
(E)付記
以上の実施形態に関し、さらに以下の付記を開示する。
【0124】
(付記1)
それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と当該被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに、判定対象の複数の入力画像を入力し、
前記判定対象の複数の入力画像の中から、前記寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに、前記推定用の撮像条件で撮像された入力画像を入力し、
前記第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する
処理をコンピュータに実行させることを特徴とする画像診断支援プログラム。
【0125】
(付記2)
前記寄与の度合いが所定の閾値未満の撮像条件を前記推定用の撮像条件から除外する
処理を前記コンピュータに実行させることを特徴とする付記1に記載の画像診断支援プログラム。
【0126】
(付記3)
前記寄与の度合いが上位の撮像条件を優先して前記推定用の撮像条件に加える
処理を前記コンピュータに実行させることを特徴とする付記1に記載の画像診断支援プログラム。
【0127】
(付記4)
それぞれ異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに対して、それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と、当該被験者の病名とを関連付けた第1の訓練データを用いて第1の訓練を行ない、
前記複数の訓練用画像の中から、前記第1のモデルが前記複数の訓練用画像の入力に応じて出力した前記撮像条件毎の前記複数の訓練用画像それぞれの推定への寄与の度合に基づいて、当該寄与の度合に基づいて選択された訓練用の撮像条件で撮像された訓練用入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに対して、前記訓練用入力画像と病巣箇所とを関連付けた第2の訓練データを用いて第2の訓練を行なう
処理をコンピュータに実行させることを特徴とする訓練プログラム。
【0128】
(付記5)
前記寄与の度合いが所定の閾値未満の撮像条件を前記訓練用の撮像条件から除外する
処理を前記コンピュータに実行させることを特徴とする付記4に記載の訓練プログラム。
【0129】
(付記6)
前記寄与の度合いが上位の撮像条件を優先して前記訓練用の撮像条件に加える
処理を前記コンピュータに実行させることを特徴とする付記4に記載の訓練プログラム。
【0130】
(付記7)
それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と当該被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに、判定対象の複数の入力画像を入力し、
前記判定対象の複数の入力画像の中から、前記寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに、前記推定用の撮像条件で撮像された入力画像を入力し、
前記第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する
処理を実行する制御部を備えることを特徴とする情報処理装置。
【0131】
(付記8)
前記制御部が、
前記寄与の度合いが所定の閾値未満の撮像条件を前記推定用の撮像条件から除外する
処理を実行することを特徴とする、付記7に記載の情報処理装置。
【0132】
(付記9)
前記制御部が、
前記寄与の度合いが上位の撮像条件を優先して前記推定用の撮像条件に加える
処理を実行することを特徴とする付記7に記載の情報処理装置。
【0133】
(付記10)
それぞれ異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに対して、それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と、当該被験者の病名とを関連付けた第1の訓練データを用いて第1の訓練を行ない、
前記複数の訓練用画像の中から、前記第1のモデルが前記複数の訓練用画像の入力に応じて出力した前記撮像条件毎の前記複数の訓練用画像それぞれの推定への寄与の度合に基づいて、当該寄与の度合に基づいて選択された訓練用の撮像条件で撮像された訓練用入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに対して、前記訓練用入力画像と病巣箇所とを関連付けた第2の訓練データを用いて第2の訓練を行なう
処理を実行する制御部を備えることを特徴とする情報処理装置。
【0134】
(付記11)
前記制御部が、
前記寄与の度合いが所定の閾値未満の撮像条件を前記訓練用の撮像条件から除外する
処理を実行することを特徴とする付記10に記載の情報処理装置。
【0135】
(付記12)
前記制御部が、
前記寄与の度合いが上位の撮像条件を優先して前記訓練用の撮像条件に加える
処理を実行することを特徴とする付記10に記載の情報処理装置。
【0136】
(付記13)
それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と当該被験者の病名とを関連付けた訓練データを用いて生成された、異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに、判定対象の複数の入力画像を入力し、
前記判定対象の複数の入力画像の中から、前記寄与の度合に基づいて選択された推定用の撮像条件で撮像された入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに、前記推定用の撮像条件で撮像された入力画像を入力し、
前記第2のモデルの出力結果に基づいて特定される病巣箇所の推定結果を出力する
処理をコンピュータが実行することを特徴とする画像診断支援方法。
【0137】
(付記14)
前記寄与の度合いが所定の閾値未満の撮像条件を前記推定用の撮像条件から除外する
処理を前記コンピュータが実行することを特徴とする付記13に記載の画像診断支援方法。
【0138】
(付記15)
前記寄与の度合いが上位の撮像条件を優先して前記推定用の撮像条件に加える
処理を前記コンピュータが実行することを特徴とする付記13に記載の画像診断支援方法。
【0139】
(付記16)
それぞれ異なる撮像条件で診断対象の被験者を撮像して得られた複数の入力画像の入力に応じて当該診断対象の被験者の病名の推定結果および前記撮像条件毎の前記複数の入力画像それぞれの推定への寄与の度合を出力する第1のモデルに対して、それぞれ異なる撮像条件で被験者を撮像して得られた複数の訓練用画像と、当該被験者の病名とを関連付けた第1の訓練データを用いて第1の訓練を行ない、
前記複数の訓練用画像の中から、前記第1のモデルが前記複数の訓練用画像の入力に応じて出力した前記撮像条件毎の前記複数の訓練用画像それぞれの推定への寄与の度合に基づいて、当該寄与の度合に基づいて選択された訓練用の撮像条件で撮像された訓練用入力画像を選択し、
入力画像の入力に応じて入力画像中の病巣箇所の推定結果を出力する第2のモデルに対して、前記訓練用入力画像と病巣箇所とを関連付けた第2の訓練データを用いて第2の訓練を行なう
処理をコンピュータが実行することを特徴とする訓練方法。
【0140】
(付記17)
前記寄与の度合いが所定の閾値未満の撮像条件を前記訓練用の撮像条件から除外する
処理を前記コンピュータが実行させることを特徴とする付記16に記載の訓練方法。
【0141】
(付記18)
前記寄与の度合いが上位の撮像条件を優先して前記訓練用の撮像条件に加える
処理を前記コンピュータが実行することを特徴とする付記16に記載の訓練方法。
【符号の説明】
【0142】
1 読影診断支援システム
10 推論サーバ
11 プロセッサ(制御部)
12 メモリ
13 記憶装置
14 グラフィック処理装置
14a モニタ
15 入力インタフェース
15a キーボード
15b マウス
16 光学ドライブ装置
16a 光ディスク
17 機器接続インタフェース
17a メモリ装置
17b メモリリーダライタ
17c メモリカード
18 ネットワークインタフェース
19 バス
101 第1訓練処理部
102 第1ニューラルネットワーク(NN#1)
103 訓練情報選択部
104 第2訓練処理部
105 第2ニューラルネットワーク(NN#2)
106 第1推論処理部
107 推論情報選択部
108 第2推論処理部
109 出力処理部
110 画像データベース