(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070171
(43)【公開日】2024-05-22
(54)【発明の名称】死後画像を用いて出血の有無を画像診断支援する装置、方法およびプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20240515BHJP
A61B 5/055 20060101ALI20240515BHJP
【FI】
A61B6/03 360T
A61B5/055 380
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022180618
(22)【出願日】2022-11-10
(71)【出願人】
【識別番号】504150450
【氏名又は名称】国立大学法人神戸大学
(74)【代理人】
【識別番号】110000822
【氏名又は名称】弁理士法人グローバル知財
(72)【発明者】
【氏名】松尾 秀俊
(72)【発明者】
【氏名】杉本 茉里恵
(72)【発明者】
【氏名】河野 淳
(72)【発明者】
【氏名】上野 易弘
(72)【発明者】
【氏名】村上 卓道
【テーマコード(参考)】
4C093
4C096
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA15
4C093DA04
4C093FD03
4C093FF17
4C093FF31
4C096AC01
4C096DC20
4C096DC33
4C096DC40
(57)【要約】
【課題】死後画像診断において、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を高精度で予測可能な画像診断支援方法、画像診断支援装置及び画像診断支援プログラムを提供する。
【解決手段】入力部2、演算処理部3、予測出力部4及びメモリ部5を備える。入力部2は、CT,MRI等の画像取得装置10で取得した死後画像データ11を入力するものであり、演算処理部3で予測された出血の有無の予測結果を、予測出力部4から表示装置20へ出力する。メモリ部5には、画像診断支援プログラム7が格納されており、演算処理部3がプログラム7を実行する。遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能(AI)モデル6は、死後画像データからヒトの体腔内における出血の有無、又は、皮下出血や筋出血の有無を高精度で予測する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
コンピュータが、
死後画像データを入力し、
遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルを用いて、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測することを特徴とする画像診断支援方法。
【請求項2】
前記人工知能モデルは、教師あり生前医用画像データを用いて学習した後、遺体の解剖結果を用いた教師あり死後画像データを用いて学習したモデルであることを特徴とする請求項1に記載の画像診断支援方法。
【請求項3】
前記死後画像データと前記生前医用画像データは、頭部の画像データであり、
頭部の画像のスライス毎の出血予測スコアを算出した結果から、頭蓋内出血の有無を予測することを特徴とする請求項1又は2に記載の画像診断支援方法。
【請求項4】
前記死後画像データと前記生前医用画像データは、骨折部位の画像データであり、
骨折部位の画像のスライス毎の出血予測スコアを算出した結果から、骨折に伴う出血の有無を予測することを特徴とする請求項1又は2に記載の画像診断支援方法。
【請求項5】
死後画像データを入力する入力部と、
遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルと、
ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測する予測出力部、
を備えたことを特徴とする画像診断支援装置。
【請求項6】
前記死後画像データと前記生前医用画像データは、頭部の画像データであり、
頭部の画像のスライス毎の出血予測スコアを算出し前記スライス毎の出血予測スコアを記憶するメモリ部を更に備え、
前記予測出力部は、前記スライス毎の出血予測スコアの結果から、頭蓋内の出血の有無を予測することを特徴とする請求項5に記載の画像診断支援装置。
【請求項7】
プログラムを格納するメモリ部と、前記プログラムを実行する演算処理部とを備える情報提供装置であって、
前記演算処理部が前記プログラムを実行することにより、
死後画像データを入力する入力部と、
遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルを用いて、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測する予測出力部とを実現する画像診断支援装置。
【請求項8】
コンピュータに、
死後画像データを入力するステップと、
遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルを用いて、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測するステップ、
を実行させるための画像診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解剖を行う前に、死後画像診断(PMI:Postmortem
Imaging)によって、ヒトの体腔内における出血の有無を予測する技術に関するものである。
【背景技術】
【0002】
我が国における剖検率は依然として低く、医療の質の維持に不可欠な死因究明を支えるため、CT(Computed Tomography:コンピュータ断層診断装置)やMRI(Magnetic
Resonance Imaging:磁気共鳴画像診断装置)等によって撮影された死後画像を用いて、生前に生じた病変や創傷等の異常を診断する死後画像診断(PMI)が用いられるようになってきた。また、このPMIを用いて、剖検を行うべき症例の適切な選択や、剖検が行えない場合の死因診断の補助手段としての使用や、剖検時の所見の見落としを防ぎ、かつ解剖を効率化するというニーズが存在する。例えば、法医解剖では頭部・胸部・腹部の三大体腔を解剖するが、頭部を解剖する前に頭蓋内出血の有無がPMIで予測されていれば、頭部解剖手技の事前の工夫が可能となるほか、感染症などの場合は頭部解剖を避けることができ、労力の軽減と解剖担当者の安全の確保が可能となる。
【0003】
生きているヒトの診断のためにCT等によって撮影される生前医用画像では、人工知能(AI:Artificial Intelligence)学習のために大規模なデータセットが多数公開されているのに対して、遺体を撮影する死後画像では未だにほぼ存在せず、死後画像を用いてAI学習させることは困難である。
【0004】
一方、放射線科医と法医学者とでは、CT画像による診断に求める内容が異なる。すなわち、生存患者の場合はCT画像による診断結果が治療方針の決定に重要であるが、死亡患者においては剖検結果に基づく死因診断が最も重要な目的となることから、その予診となる死亡時における画像診断は、生存患者ほどの正確性は求められず、出血の有無等、解剖手順や手技に影響を与えるような所見の有無を正確に知ることができれば十分である。
【0005】
ここで、出血の有無は、骨折が生じた時期を判断するための重要な指標となる。死亡前と死亡後のいずれの時期に骨折したかの診断は、生体反応すなわち出血の状態を見て、血流があったときに生じたものか否かによって診断することができるからである。
また、骨折の検査についても、一般に患者の胸側から身体を切開して解剖を行うため、例えば、頸椎前方部分の骨折の確認は容易であるが、頸椎の背側の構造に骨折があるか否かを調べることは余計な手間と労力がかかる。しかし、死亡時のCT画像から頸椎骨折が無いことの蓋然性が高いと分かれば、無駄な労力をかけずに解剖を進めることができる。
【0006】
頭蓋内出血について、CT画像を活用して判断する技術としては、頭部CT画像の評価のためのコンピュータベースの方法があり、頭蓋内出血等につき、コンピュータが、深層学習に基づいて出血の同定、位置特定、及び定量化する頭部CT画像の分析方法が知られている(例えば、特許文献1を参照)。特許文献1の技術では、深層学習として畳み込みニューラルネットワーク(CNN)を使用する。
しかしながら、特許文献1の技術は、頭部外傷や、急性出血性卒中、虚血性脳卒中などが疑われる生存患者についての初期評価や治療方針の決定に用いるために、コンピュータによって実行される方法であり、畳み込みニューラルネットワークを使用して、CT画像から出血部位を含む異常部位の体積の計算などを予測するものであるが、死亡患者における剖検結果に基づいて、法医学者が出血の有無を実際に目視確認した結果を含めて、より高精度に出血の有無を予測できるものではなかった。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来、CTやMRI等によって撮影された死後画像であって、法医学者が遺体の解剖結果を用いて出血の有無をラベル付けした教師あり死後画像データは、少数のデータしか存在しないのが実情である。その原因として、未だ死後画像を撮る施設が少ないことや、死後の遺体を対象とする事例や、それを専門に扱う法医学者などが少ないことが考えられる。
医用画像を対象とした深層学習の研究・開発の進展は著しいが、その一方で、このような実情から、死後画像を対象にした深層学習による診断はあまり試みられていない。生前医療画像では人工知能モデルの開発のために大規模なデータセットが多数公開されているが、死後画像ではモデルの学習は困難である。死後画像の人工知能(AI)による診断が可能になると剖検の必要性をより高精度に判別することができるようになり、我が国の法医不足の現状の改善に大変有用と考えられる。
【0009】
かかる状況に鑑みて、本発明は、死後画像診断において、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を高精度で予測可能な画像診断支援方法、画像診断支援装置及び画像診断支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決すべく、本発明の画像診断支援方法は、コンピュータが、死後画像データを入力し、遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルを用いて、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測する。
遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルを用いることにより、精度の高い人工知能モデルを作製することができ、高精度で出血の有無を予測することができる。
【0011】
死後画像における出血の有無のラベルが付された教師あり死後画像データについては、少数のデータしか得られなかったため、出血の有無のラベルが付された教師あり生前医用画像データの大規模なデータセットを加えて学習を行うことにより、後述するとおり、死後CT画像の頭蓋内出血を高精度に判別することができた。一般的な医用画像を元にした人工知能モデルは、医用画像から医師などの専門家が類推できる結果に基づいて学習することが多い。しかしながら、本発明では、医用画像に基づいて専門家が体腔内に出血が有るか否かを判別してラベル付けした画像データを用いるのではなく、遺体の解剖の結果、出血が有ったか否かをラベル付けした画像データを用いて、人工知能モデルを学習させることにより、より実用面で優れた性能を示すことができることがわかった。
ここで、死後画像データとは、ヒトの死後に撮影された画像データであり、例えば、ヒトの死後24時間以内に、或いは、24時間経過した後のCT,MRI等で撮影された医用画像データを意味する。また、人工知能モデル(AIモデルともいう)は、深層ニューラルネットワークモデル(DNN)や畳み込みニューラルネットワーク(CNN)など深層学習を行うモデルである。
また、ヒトの体腔内における出血とは、頭蓋内出血、胸腔内出血、腹腔内出血のいずれかを指し、骨折部位の周囲の出血とは、皮下組織中の血管が切れて皮下組織中に出血する皮下出血、または、筋肉を覆っている筋膜と筋肉の間もしくは筋肉の中に出血する筋出血として現れる場合が多い。
【0012】
本発明の画像診断支援方法において、人工知能モデルは、教師あり生前医用画像データを用いて学習した後、遺体の解剖結果を用いた教師あり死後画像データを用いて学習したモデルである。
上記の学習は、転移学習(Transfer
Learning)といい、生前医用画像で学習したこと(学習済みモデル)を、別の死後画像診断(PMI)の領域に役立たせるために、死後画像データを用いて、ヒトの体腔内における出血の有無を精度よく予測できるように効率的に学習させる方法である。死後画像の出血の有無のラベル付け、学習時間を踏まえると、転移学習は必要である。死後画像データが少なくても高い精度を得ることが可能になる。また、生前医用画像と死後画像は、撮影部位すなわち頭部、胸部、腹部、手足部など共に分かれており、いずれも適用可能である。
【0013】
なお、学習済みモデルの層の重みを微調整するファインチューニング(学習済みモデルの重みを初期値とし、再度学習することによって微調整する手法)を適用することでもよいが、ファインチューニングの場合には、新たに学習する新データセットサイズが大きいことが要件とされることから、データセットサイズが小さい死後画像に適用することは困難である。そのため、生前医用画像と類似し、新データセットサイズの小さい死後画像を利用する。畳み込みニューラルネットワーク(CNN)を用いて、学習済みモデルの重みを固定し、追加した層のみを使用して学習する転移学習を適用する。なお、転移学習の課題である新データセットサイズ(死後画像)のラベル付けの精度については、法医学者が遺体の解剖において肉眼で確認した結果を用いて出血の有無をラベル付けすることから、死後画像のラベル付けの精度にかかる問題が生じることはない。
【0014】
本発明の画像診断支援方法において、死後画像データと生前医用画像データは、頭部の画像データであり、頭部の画像のスライス毎の出血予測スコアを算出した結果から、頭蓋内の出血の有無を予測することが好ましい。
ここで、出血予測スコアとは、学習済みの人工知能モデルを用いて、CT,MRI等で撮影された医用画像のスライス画像毎に、予測した出血の有無の確率である。
具体的には、頭部の画像データにおいて、人工知能モデルが予測したスライス毎の出血予測スコアの内、最大値(最大の確率値)を用いて、コンピュータによってその最大値が所定の閾値を超えているか否かを判別して頭蓋内の出血の有無を予測する。
【0015】
本発明の画像診断支援方法において、死後画像データと生前医用画像データは、骨折部位の画像データであり、骨折部位の画像のスライス毎の出血予測スコアを算出した結果から、骨折に伴う出血の有無を予測することでもよい。
具体的には、骨折部位の画像データにおいて、人工知能モデルが予測したスライス毎の出血予測スコアの内、最大値(最大の確率値)を用いて、コンピュータによってその最大値が所定の閾値を超えているか否かを判別して骨折部位の出血の有無を予測する。
【0016】
本発明の画像診断支援装置は、死後画像データを入力する入力部と、遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルと、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測する予測出力部を備える。
【0017】
本発明の画像診断支援装置において、死後画像データと生前医用画像データは、頭部の画像データであり、頭部の画像のスライス毎の出血予測スコアを算出しスライス毎の出血予測スコアを記憶するメモリ部を更に備え、予測出力部は、スライス毎の出血予測スコアの結果から、頭蓋内出血の有無を予測することが好ましい。
【0018】
また、別の観点によれば、本発明の画像診断支援装置は、プログラムを格納するメモリ部と、プログラムを実行する演算処理部(プロセッサ)とを備える情報提供装置であって、演算処理部(プロセッサ)がプログラムを実行することにより、死後画像データを入力する入力部と、遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルを用いて、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測する予測出力部とを実現する。
【0019】
また、本発明の画像診断支援プログラムは、コンピュータに、死後画像データを入力するステップと、遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みの人工知能モデルを用いて、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を予測するステップ、を実行させるためのものである。
【発明の効果】
【0020】
本発明の画像診断支援方法、画像診断支援装置及び画像診断支援プログラムによれば、死後画像診断(PMI)において、ヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を高精度に予測でき、剖検を行うべきか否かの判断支援、剖検が行えない場合の死因の診断の補助、剖検時の所見の見落としの防止、解剖作業の効率化が図れるといった効果がある。
【図面の簡単な説明】
【0021】
【
図6】実施例1のAIモデル、放射線科医及び法医学者のROC曲線比較グラフ
【発明を実施するための形態】
【0022】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0023】
図1は、本発明の画像診断支援装置の一実施形態の機能ブロックを示している。
図1に示すように、画像診断支援装置1は、入力部2、演算処理部(プロセッサ)3、予測出力部4及びメモリ部5を備える。入力部2は、CT,MRI等の画像取得装置10で取得した死後画像データ11を入力するものであり、演算処理部3で予測された出血の有無の予測結果を、予測出力部4から表示装置20へ出力する。メモリ部5には、画像診断支援プログラム7が格納されており、演算処理部3がプログラム7を実行する。遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みのAIモデル6は、死後画像データからヒトの体腔内における出血の有無、又は、皮下出血もしくは筋出血の有無を高精度で予測できる。
【0024】
CTやMRIの医用画像フォーマットは、医療データ通信の国際標準規格DICOM(Digital Imaging and Communications in Medicine)で定義されており、死後画像データ11についてもDICOMの規格に沿ったものである。画像診断支援装置1における入力部2は、死後画像データ11のフォーマットを解釈することができる。死後画像データ11の入力に関しては、ネットワークなどのデータ通信やUSB(Universal Serial Bus)などの記憶媒体を介して入力部2が入力することが可能である。
また、表示装置20は、画像診断支援装置1に接続されているディスプレイに限らず、ネットワークを介して接続される表示端末であってもよい。
【0025】
図2は、本発明の画像診断支援方法の処理フローを示している。まず、入力部2に、頭部、胸部、腹部、骨折部位の周囲などの特定部位の死後画像データ(CT等の画像の断面であるスライス画像データ)を入力する(ステップS01)。次に、遺体の解剖結果を用いた教師あり死後画像データと、教師あり生前医用画像データとを用いて学習した学習済みのAIモデルを用いて、スライス画像データにおける出血の有無を予測する(ステップS02)。AIモデルで予測した当該スライス画像データにおける出血有りの予測確率を記憶する(ステップS03)。特定部位の死後画像データの全てのスライス画像データに関して出血有無の予測を行ったか否かをチェックし(ステップS04)、全てのスライス画像データを予測していない場合には、ステップS01に戻り、全てのスライス画像データを予測した場合には、記憶した出血有りの予測確率の最大値を取得する(ステップS05)。予測確率の最大値が予め設定した所定閾値を超えるか否かをチェックし(ステップS06)、最大値が所定閾値を超える場合には、特定部位の体腔内、皮下組織中、筋肉中において出血有りの可能性が大きいと判別する(ステップS07)。また、最大値が所定閾値以下の場合には、特定部位の体腔内、皮下組織中、筋肉中において出血無しの可能性が大きいと判別する(ステップS08)。
【0026】
図3を参照して、画像診断支援方法におけるAIモデルを用いた出血有りの処理について説明する。
図3に示すAIモデルは、特定部位の死後画像のスライス画像データを入力し、出血有りか無しの2分類のラベル確率を出力する。AIモデルは、教師ありの学習データセットにおける正解の分類ラベルと比較して、AIモデルの重み係数を調整することを繰り返しながら学習したものである。学習済みのAIモデルでは、畳み込みニューラルネットワーク(CNN)を用いるが、ニューラルネットワークの学習安定化を図るためバッチ正規化手法、活性化関数、正規化手法、最適化手法に関しては、特に限定されるものではない。
スライス画像データにおいて、出血有り又は出血無しの2つの分類ラベルの確率が、AIモデルの出力層から出力される。特定部位の全てのスライス画像データの出血有りの確率の最大値を取得し、最大値が所定閾値を超えている場合に、出血有りの可能性が大きいと判断する。
【0027】
図4は、本発明の画像診断支援方法におけるAIモデルの学習フローを示している。
図4に示すように、まず、一般画像用AIモデルを、出血の有無のラベル付けされた生前医用画像データを用いて学習させる(ステップS11)。生前医用画像データは、死後画像データと比較して、学習データセット数が多く、入手も容易である。
一定量学習した場合(ステップS12)、生前医用画像データによる学習済みAIモデルを、出血の有無のラベル付けされた死後画像データを用いて学習させる(ステップS13)。死後画像データは、生前医用画像データと比較して、学習データセット数が少なく、入手も困難である。性能が安定するまで(ステップS14)、死後画像データを用いて学習する。
死後画像データにおける出血の有無のラベル付けは、法医学者が遺体の解剖において肉眼で確認した結果を用いて出血の有無をラベル付けすることから、死後画像のラベル付けの精度は高い。
【0028】
図5のAIモデルの学習フローの説明図に示すように、一般画像用AI(CNN)31に、教師あり生前医用画像データ91を学習させ、生前医用画像データ91で学習済みのAIモデル32を作製し、その後、AIモデル32に、教師あり死後画像データ92を学習させる。このように、生前医用画像データ91及び死後画像データ92で学習済みのAIモデル6を作製する。
【0029】
ここで、本発明の画像診断支援方法におけるAIモデルの出血有無の予測精度について以下に説明する。
本実施例では、生前医用画像データ91として、25000枚以上のラベル付きCT画像(特定部位:頭部、スライス画像:水平断面、データフォーマット:DICOM)を用いている。テスト症例について、出血の有無を予測しスコアを競った。分類ラベルは、出血の有無の1つであり、教師ありデータとして使用した。
【0030】
実施例1の画像診断支援装置1を用いて出血の有無の予測を行った結果と、放射線科医又は法医学者による予測結果との比較を行った。
実験では、検案・解剖を行い死後画像データのCT画像が存在する110症例を対象とした。下記表1は、患者の特徴を示している。
なお、放射線科医(レジデント)と法医学者は、5-point scaleを用いて、死後画像データにおける出血の有無を予測した。
【0031】
【0032】
図6は、実施例1のAIモデル、放射線科医及び法医学者のROC(Receiver Operatorating Characteristic
curve)曲線比較グラフを示している。
図6においては、実施例1のAIモデルの予測結果のROC曲線を実線で示し、放射線科医の予測結果のROC曲線を破線で示し、また、法医学者の予測結果のROC曲線を点線で示している。
曲線グラフの下側の面積で、面積が大きいほどAIモデルの性能評価が高く、性能評価指標に用いられるAUC(Area Under the Curve)については、実施例1のAIモデルによる予測結果では0.90、放射線科医(専門家1)による予測結果では0.81、また、法医学者(専門家2)による予測結果では0.74であった。
以上の結果から、実施例1のAIモデルでは、専門家1,2の予測を超える高精度の予測結果を示すことがわかった。
【0033】
(その他の実施例)
実施例1とは異なり、死後画像データと生前医用画像データは、骨折部位の画像データであり、骨折部位の画像のスライス毎の出血予測スコアを算出した結果から、骨折に伴う出血の有無を予測できる。