IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 公立大学法人奈良県立医科大学の特許一覧 ▶ 国立大学法人 奈良先端科学技術大学院大学の特許一覧 ▶ 奈良県の特許一覧

特開2024-7851情報処理装置、情報処理方法、及びプログラム
<>
  • 特開-情報処理装置、情報処理方法、及びプログラム 図1
  • 特開-情報処理装置、情報処理方法、及びプログラム 図2
  • 特開-情報処理装置、情報処理方法、及びプログラム 図3
  • 特開-情報処理装置、情報処理方法、及びプログラム 図4
  • 特開-情報処理装置、情報処理方法、及びプログラム 図5
  • 特開-情報処理装置、情報処理方法、及びプログラム 図6
  • 特開-情報処理装置、情報処理方法、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024007851
(43)【公開日】2024-01-19
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   G16H 50/20 20180101AFI20240112BHJP
【FI】
G16H50/20
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022109211
(22)【出願日】2022-07-06
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和3年度、国立研究開発法人日本医療研究開発機構、難治性疾患実用化研究事業、研究開発課題名:「特発性心筋症の診療に直結するエビデンス創出のためのAIを活用した自動病理診断システムの開発~希少・分類不能心筋症の自動抽出システムの開発~」委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】507126487
【氏名又は名称】公立大学法人奈良県立医科大学
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(71)【出願人】
【識別番号】000225142
【氏名又は名称】奈良県
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】尾上 健児
(72)【発明者】
【氏名】佐藤 嘉伸
(72)【発明者】
【氏名】大竹 義人
(72)【発明者】
【氏名】スーフィー マーゼン
(72)【発明者】
【氏名】箱谷 知輝
(72)【発明者】
【氏名】林田 平馬
(72)【発明者】
【氏名】増山 史倫
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA04
(57)【要約】
【課題】心臓病理の専門家がいなくても、専門家と同等の心筋症の診断が可能な技術を実現化させること。
【解決手段】診断情報取得部51は、診断対象の心筋組織画像を含む診断対象データをユーザ端末2から取得する。AI診断部52は、診断対象データ及びAIモデル71を用いて、DCM、HCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて診断対象に対する診断結果を出力する。診断結果情報生成部53は、AI診断部52による診断結果を示す情報を、診断結果情報として生成し、ユーザ端末2を介して医師等のユーザに提示する。
【選択図】図3
【特許請求の範囲】
【請求項1】
心筋症の診断を支援する情報処理装置において、
診断対象の心筋組織画像を含む診断対象データを取得する診断対象取得手段と、
前記診断対象データに基づいて、拡張型心筋症であるDCM、肥大型心筋症であるHCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて前記診断対象に対する診断結果を出力する心筋症診断手段と、
を備える情報処理装置。
【請求項2】
前記診断対象取得手段は、N個(Nは2以上の整数値)の単位画像に区分された前記心筋組織画像を取得し、
前記心筋症診断手段は、前記N個の単位画像の夫々について、前記3種類の夫々に該当する確率を出力し、当該確率に基づいて前記診断対象に対する診断結果を出力する、
請求項1に記載の情報処理装置。
【請求項3】
前記心筋症診断手段は、
前記N個の単位画像の夫々について前記3種類のうち最高確率の種類に分類し、
前記3種類のうち、分類された前記単位画像の数の割合が最高となっている所定種類について、当該所定種類の割合が閾値を超える場合、当該所定種類を前記診断結果として出力し、当該所定種類の割合が閾値以下の場合、判定不能を前記診断結果として出力する、
請求項2に記載の情報処理装置。
【請求項4】
前記心筋症診断手段は、前記DCM、前記HCM、又は前記判定不能を前記診断結果として出力する場合、さらに、空胞変性の有無についても追加検証する、
請求項3に記載の情報処理装置。
【請求項5】
前記心筋症診断手段は、前記3種類の夫々に該当する確率を出力する前に、さらに、
前記心筋組織画像に基づいて、アミロイドーシスであるか否か、次に、心筋炎であるか否かを夫々判別し、
前記アミロイドーシスに該当すると判断した場合、当該アミロイドーシスを前記診断結果として出力し、
前記心筋炎に該当すると判断した場合、当該心筋炎を前記診断結果として出力し、
前記アミロイドーシス及び前記心筋炎の何れにも該当しないと判断した場合、前記3種類の夫々に該当する前記確率を出力し、当該確率に基づいて前記診断結果を出力する、
請求項1に記載の情報処理装置。
【請求項6】
実際の症例の前記心筋組織画像であって、N個の単位画像の夫々に対して前記3種類を少なくとも含む複数種類のうちの何れかを付すアノテーションが行われた心筋組織画像を含む学習データを生成する学習データ生成手段と、
前記学習データを用いて、前記N個の単位画像に区分された心筋組織画像を入力すると当該N個の単位画像毎に前記複数種類の夫々に該当する前記確率を出力するモデルを生成又は更新する学習手段と、
をさらに備え、
前記心筋症診断手段は、前記診断対象の前記心筋組織画像を前記モデルに入力させ、当該モデルの出力に基づいて前記診断結果を出力する、
請求項2に記載の情報処理装置。
【請求項7】
前記心筋症診断手段により出力された前記3種類のうち最高確率の種類が夫々割り当てられた前記N個の単位画像に区分された前記診断対象の前記心筋組織画像と共に、前記心筋症診断手段による診断結果を提示する診断結果提示手段
をさらに備える請求項3に記載の情報処理装置。
【請求項8】
前記診断結果提示手段は、さらに、
前記N個の単位画像の夫々を示すN個のブロックを、前記3種類を少なくとも含む診断結果のうち何れに分類されたのかを示す表示態様で配置させることによって得られる棒グラフを提示する、
請求項7に記載の情報処理装置。
【請求項9】
前記診断結果提示手段は、
前記診断結果として前記DCMを提示する場合、さらに、
変性/線維化二次元plotを提示する、
請求項7に記載の情報処理装置。
【請求項10】
前記診断結果提示手段は、
前記診断結果を示す文章として、M(MはNとは独立した2以上の整数値)のパターンの中から選択されたパターンの文章を提示する、
請求項7に記載の情報処理装置。
【請求項11】
心筋症の診断を支援する情報処理装置が実行する情報処理方法において、
診断対象の心筋組織画像を含む診断対象データを取得する診断対象取得ステップと、
前記診断対象データに基づいて、拡張型心筋症であるDCM、肥大型心筋症であるHCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて前記診断対象に対する診断結果を出力する心筋症診断ステップと、
を含む情報処理方法。
【請求項12】
心筋症の診断を支援するコンピュータに、
診断対象の心筋組織画像を含む診断対象データを取得する診断対象取得ステップと、
前記診断対象データに基づいて、拡張型心筋症であるDCM、肥大型心筋症であるHCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて前記診断対象に対する診断結果を出力する心筋症診断ステップと、
を含む制御処理を実行させるプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、心筋症の診断には心エコーやMRI等の画像診断(例えば特許文献1)が重要であるが、解像度に限界があるため、心臓病理を専門とする病理医や循環器内科医(以下、「専門家」と呼ぶ)による検査が施行されて初めて診断に至る場合が多い。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-130610号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、心筋症診断の決め手となる心臓病理の専門家は全国的に見ても非常に少なく、ゆえに積極的な心臓病理診断施行施設は限定されている。
このため、心臓病理の専門家がいなくても、専門家と同等の心筋症の診断が可能な技術の実現化が要望されている状況である。
【0005】
本発明は、このような状況に鑑みてなされたものであり、心臓病理の専門家がいなくても、専門家と同等の心筋症の診断が可能な技術を実現化させることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
心筋症の診断を支援する情報処理装置であって、
診断対象の心筋組織画像を含む診断対象データを取得する診断対象取得手段と、
前記診断対象データに基づいて、拡張型心筋症であるDCM、肥大型心筋症であるHCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて前記診断対象に対する診断結果を出力する心筋症診断手段と、
を備える。
【0007】
本発明の一態様の情報処理方法及びプログラムの夫々は、本発明の一態様の情報処理装置に対応する方法及びプログラムの夫々である。
【発明の効果】
【0008】
本発明によれば、心臓病理の専門家がいなくても、専門家と同等の心筋症の診断が可能な技術を実現化させることができる。
【図面の簡単な説明】
【0009】
図1】本発明の情報処理装置の一実施形態に係る診断装置が適用される情報処理システムの構成の一例を示す図である。
図2図1の情報処理システムのうち、本発明の情報処理装置の一実施形態に係る診断装置のハードウェア構成の一例を示すブロック図である。
図3図2のハードウェア構成を有する診断装置の機能的構成の一例を示すブロック図である。
図4図3の診断装置のうちAI診断部により実行される診断処理の一例を説明するフローチャートを示している。
図5図3の診断装置のうちAI診断部によりDCMと診断された場合に生成される変性/線維化二次元plotの一例を示す図である。
図6図3の診断装置の診断結果情報生成部により画像の形態で生成される診断結果情報の一例を示している。
図7図6の診断結果情報のうちグラフ情報の拡大図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を用いて説明する。
【0011】
図1は、本発明の情報処理装置の一実施形態に係る診断装置が適用される情報処理システムの構成の一例を示す図である。
図1に示す情報処理システムは、診断装置1と、ユーザ端末2とを含むように構成されている。
診断装置1及びユーザ端末2は、インターネット等の所定のネットワークを介して相互に接続されている。
【0012】
診断装置1は、心筋症の診断を支援するサーバ等で構成される情報処理装置である。
ユーザ端末2は、心筋症の診断を担当する医師等のユーザにより操作される、パーソナルコンピュータ、タブレット、スマートフォン等で構成される情報処理端末である。
【0013】
図2は、図1に示す情報処理システムのうち診断装置のハードウェア構成の一例を示すブロック図である。
【0014】
診断装置1は、診断対象の心筋組織画像を含む診断対象データをユーザ端末2等から取得する。
診断装置1は、その診断対象データに基づいて、拡張型心筋症であるDCM、肥大型心筋症であるHCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて診断対象に対する診断結果を出力し、ユーザ端末2に提示する。
【0015】
診断装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、GPU(Graphics Processing Unit)14と、バス15と、入出力インターフェース16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21とを備えている。ただしGPU14を備えていない場合は、その処理はCPU11で代用できる。
【0016】
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。GPU14が備わっている場合は、学習部55、AI診断部52の処理をCPU11の代わりに実行し、処理時間を短くすることができる。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0017】
CPU11、ROM12、RAM13及びGPU14は、バス15を介して相互に接続されている。このバス15にはまた、入出力インターフェース16も接続されている。入出力インターフェース16には、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
【0018】
入力部17は、例えばキーボード等により構成され、各種情報を入力する。
出力部18は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部19は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部20は、インターネットを含むネットワークNWを介して他の装置(例えばユーザ端末2等)との間で通信を行う。
【0019】
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア30が適宜装着される。ドライブ21によってリムーバブルメディア30から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。
また、リムーバブルメディア30は、記憶部19に記憶されている各種データも、記憶部19と同様に記憶することができる。
【0020】
このような図2の診断装置1の各種ハードウェアと各種ソフトウェアとの協働により、各種処理の実行が可能になる。
以下、図3を参照して、本実施形態の診断装置1がこのような各種処理を実行するための機能的構成について説明する。
図3は、図2のハードウェア構成を有する診断装置の機能的構成の一例を示すブロック図である。
【0021】
図3に示すように、診断装置1のCPU11においては、診断情報取得部51と、AI診断部52と、診断結果情報生成部53と、学習データ生成部54と、学習部55とが機能する。
また、診断装置1の記憶部19には、AIモデル71が記憶されている。
【0022】
診断情報取得部51は、診断対象の心筋組織画像(デジタルデータ)を含む診断対象データをユーザ端末2から取得する。
なお、診断対象の心筋組織画像(デジタルデータ)は、心筋症の診断対象となる心臓に対して顕微鏡を用いて撮像された結果得られる画像(デジタルデータ)であれば足り、その取得形態は特に限定されない。即ち、ここでは説明の便宜上ユーザ端末2から取得する形態が採用されたが、その他例えば、リムーバブルメディア30に記憶されていたデジタルデータを直接入力して取得する形態でもよいし、図示せぬクラウド上の装置からデジタルデータを通信により取得する形態でもよい。
【0023】
AI診断部52は、診断対象データ及びAIモデル71を用いて、DCM、HCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて診断対象に対する診断結果を出力する。以下、このような処理を「診断処理」と呼ぶ。
AI診断部52には、アミロイドーシス判断部61と、心筋炎判断部62と、DCM/HCM判断部63とが設けられている。
【0024】
以下、図4のフローチャートを参照してAI診断部52の診断処理の詳細例を説明すると共に、アミロイドーシス判断部61と、心筋炎判断部62と、DCM/HCM判断部63との夫々の機能的構成についても併せて説明する。
図4は、図3の診断装置のうちAI診断部により実行される診断処理の一例を説明するフローチャートである。
【0025】
図4には、診断対象データは、病理画像と検査データとからなる診断情報として示されている。病理画像とは、診断対象の患者の心臓についての心筋組織画像(デジタルデータ)である。検査データとは、ユーザ端末2を操作するユーザ(医師等)により当該患者に対して行われた検査の結果を示すデータである。
【0026】
ステップS1において、アミロイドーシス判断部61は、診断対象データに基づいて、アミロイドーシスか否かを判断する。
ここで、後述の図6に示すように、心筋組織画像は、7×5の単位画像(以下、「パッチ」と呼ぶ)に区分されている。そして、AIモデル71は、各パッチ毎に典型的画像特徴が含まれているか否かを判断することができるように学習されているものとする。
そこで、アミロイドーシス判断部61は、AIモデル71を用いて、各パッチ毎に典型的画像特徴が含まれているか否かを判断する。
典型的画像特徴が含まれているパッチの数(割合)が閾値を超える場合、ステップS2において、アミロイドーシス判断部61は、アミロイドーシスであると診断する。これにより診断処理は終了となる。
これに対して、典型的画像特徴が含まれているパッチの数(割合)が閾値以下の場合、アミロイドーシスではないため、処理はステップS3に進む。
【0027】
ステップS3において、心筋炎判断部62は、診断対象データに基づいて、心筋炎か否かを判断する。
ここで、AIモデル71は、各パッチ毎に心筋炎か否かを判断することができるように学習されているものとする。
そこで、心筋炎判断部62は、AIモデル71を用いて、各パッチ毎に心筋炎か否かを判断する。
心筋炎と判断されるパッチの数(割合)が閾値を超える場合、ステップS4において、心筋炎判断部62は、心筋炎であると診断する。これにより診断処理は終了となる。
これに対して、心筋炎と判断されるパッチの数(割合)が閾値以下の場合、心筋炎ではないため、処理はステップS5に進む。
【0028】
ここで、ステップS5において用いられるAIモデル71は、各パッチ毎に、DCM、HCM、及び正常の3種類の夫々に該当する確率(確信度)を出力できるように学習されているものとする。なお、学習の詳細については、学習部55の機能的構成の説明として後述する。
ステップS5において、DCM/HCM判断部63は、35個のパッチの夫々についてDCM、HCM、正常のうち最高確率の種類(症例)に分類する。即ち所定パッチが分類された種類(症例)が、当該所定パッチの診断結果である。
DCM/HCM判断部63は、DCM、HCM、正常の3種類(3症例)に夫々分類されたパッチの数の(総計35個に対する)割合を算出する。
DCM/HCM判断部63は、パッチの数の割合が最高となっている所定種類(所定症例)をステップS5の判断結果として出力する。
【0029】
ステップS5において、パッチの数の割合が最高となっている所定種類(所定症例)がDCMであって、その割合が閾値を超える場合、処理はステップS6に進む。
ステップS6において、DCM/HCM判断部63は、DCMと診断し、処理をステップS7に進める。
ステップS7において、DCM/HCM判断部63は、心筋細胞変性と間質線維化の程度(一定閾値により心筋細胞変性が低値・高値で二分、一定閾値により間質線維化が低値・高値で二分)により4分割され、サブタイプが図5の様に決定される。これにより、診断処理は終了となる。
【0030】
図5は、DCMと診断された場合に生成される変性/線維化二次元plotの一例を示す図である。
変性/線維化二次元plotは、DCMがどの位置に該当するかを視認できるものであるため、後述する診断結果情報に含められてユーザ端末2に送信されて、医師等のユーザに提示される。
【0031】
図4に戻り、ステップS5において、パッチの数の割合が最高となっている所定種類(所定症例)がHCMであって、その割合が閾値を超える場合、処理はステップS8に進む。
ステップS8において、DCM/HCM判断部63は、空胞変性の有無を判断する。
ステップS8において空胞変性が有りと判断された場合、ステップS9において、DCM/HCM判断部63は、HCM、蓄積疾患要鑑別と診断する。これにより、診断処理は終了となる。
これに対して、ステップS8において空胞変性が無しと判断された場合、ステップS10において、DCM/HCM判断部63は、HCMと診断する。これにより、診断処理は終了となる。
【0032】
また、ステップS5において、パッチの数の割合が最高となっている所定種類(所定症例)について、その割合が閾値以下の場合、即ち、DCM、HCM、及び正常の3種類(3症例)の何れの割合も閾値以下の場合、処理はステップS11に進む。
ステップS11において、DCM/HCM判断部63は、空胞変性の有無を判断する。
ステップS11において空胞変性が有りと判断された場合、ステップS12において、DCM/HCM判断部63は、判定不能、空胞変性有と判断する。これにより、診断処理は終了となる。
これに対して、ステップS11において空胞変性が無しと判断された場合、ステップS13において、DCM/HCM判断部63は、判定不能、空胞変性無と診断する。これにより、診断処理は終了となる。
【0033】
また、ステップS5において、パッチの数の割合が最高となっている所定種類(所定症例)が正常(Normal)であって、その割合が閾値を超える場合、処理はステップS14に進む。
ステップS14において、DCM/HCM判断部63は、正常と診断する。これにより、診断処理は終了となる。
【0034】
図3に戻り、このような図4の診断処理がAI診断部52により行われると、診断結果情報生成部53は、AI診断部52による診断結果を示す情報(以下、「診断結果情報」と呼ぶ)を生成し、ユーザ端末2を介して医師等のユーザに提示する。
診断結果情報のユーザ提示形態は、特に限定されないが、ここでは図6に示す画像の形態が採用されているものとする。
図6は、図3の診断装置の診断結果情報生成部により画像の形態で生成される診断結果情報の一例を示している。
図6の例の診断結果情報GSは、画像情報GTと、グラフ情報GBとを含んでいる。
【0035】
画像情報GTは、診断対象の心筋組織画像に対して、35個のパッチを示す枠が重畳表示され、さらに35個のパッチの夫々の中に、パッチの診断結果(DCM、HCM、正常の3種類(3症例)、アミロイドーシス、心筋炎といった種類(診断名)のうち何れに分類されたのか、その分類された種類(診断名)の確信度)を示す情報が夫々表示されるものである。
【0036】
グラフ情報GBの詳細は、図7に示されている。
図7に示すように、グラフ情報GBには、35個のパッチの夫々を示す35個のブロックが、上述のパッチの診断結果を示す表示態様で配置させることによって得られる棒グラフが含まれている。この棒グラフにより、診断名(種類)の各パッチの割合が容易に視認可能になる。
ここで、「上述のパッチの診断結果を示す表示態様」は、特に限定されず、パッチ毎に、DCM、HCM、正常の3種類(3症例)、アミロイドーシス、心筋炎のうち何れに分類されたのかが区別可能な態様であれば足り、特に限定されない。
即ち、図7においては説明の便宜上「パッチ」で区別される態様とされているが、実際には、DCM、HCM、正常の3種類(3症例)、アミロイドーシス、心筋炎といった診断名の夫々に対して一意の色が予め割り当てられており、各パッチを示すブロックが、該当する色により塗られる態様が採用されている。
さらには、実際には、確信度がわかるように、確信度が低くなる程半透明の度合いが濃くなっていくように、各パッチを示すブロックが該当する色により塗られる態様が採用されている。
【0037】
また、グラフ情報GB又は図示せぬ情報において、診断結果を示す文章として、M(MはNとは独立した2以上の整数値)のパターンの中から選択されたパターンの文章を提示するようにしてもよい。
ここで、パターンの種類数Mや、各パターンの情報の内容は特に限定されないが、例えばここでは次のようなM=3種類が採用されており、医師等のユーザの選択により診断結果情報GSに含めて提示可能とされている。
即ち、第1のパターンは、最終診断名のみのパターンであり、例えば「HCM、蓄積疾患も鑑別してください」といったテキスト情報である。
第2のパターンは、DCM、HCM、正常の3種類(3症例)等の各分類のパッチの割合のパターンであり、例えば「DCM 15%、Normal 15% HCM 70%、 without vacuolation」といったテキスト情報である。
第3のパターンは、DCM、HCM、正常の3種類(3症例)等の各分類の確信度割合であり、例えば「DCM 13%、Normal 18% HCM 69%、 without vacuolation」といったテキスト情報である。
【0038】
また、診断結果がDCMである場合には、上述したように、図5に示すような変性/線維化二次元plotも、診断結果情報GSに含められる。
【0039】
図3に戻り、上述の診断結果情報GSを生成するための診断処理において用いられるAIモデル71は、学習データ生成部54及び学習部55により生成又は更新されるものである。ここで、更新とは、新たな学習データを用いて再学習することを意味している。
【0040】
学習データ生成部54は、実際の症例の心筋組織画像であって、N個の単位画像(パッチ)の夫々に対して、DCM、HCM、正常の3種類を含む複数種類のうちの何れかを付すアノテーションが行われた心筋組織画像を含む学習データを生成する。
学習部55は、学習データを用いて、N個の単位画像(パッチ)に区分された心筋組織画像を入力すると当該N個の単位画像毎に複数種類の夫々に該当する確率(確信度)を出力するAIモデル71を生成又は更新する。
【0041】
具体的には例えば、図6と同様なインターフェース、即ち、実際の症例の心筋組織画像に対してN=35個のパッチが視認可能なように重畳表示され、パッチ毎に、DCM、HCM、正常の3種類を含む複数種類のうちの何れかの診断結果を付与することが可能なインターフェースが、心臓病理専門家に提供される。即ち、心臓病理専門家は、このようなインターフェースを用いて、実際の症例の心筋組織画像に対してアノテーションを行う。
このようなアノテーションが行われた実際の症例の心筋組織画像がK枚(Kは、多数の整数値であるが、複数種類の夫々が同じ比率に含まれるような値であるとよい)、学習データとして学習データ生成部54により生成される。
ここで、1枚の心筋組織画像は、1920×1440ピクセルの画像が採用されており、パッチは、5行7列のN=35枚、即ち縦横256ピクセルの画像が採用された。
【0042】
また例えば、学習部55は、このようなK枚のアノテーションが行われた心筋組織画像を含む学習データを用いて、次のような学習方法により学習することで、深層学習ネットワークとして構成されるAIモデル71を生成した。
即ち、DCM、HCM、正常、及びBackgroundの4クラスに分類する深層学習ネットワークを構築する学習方法が採用された。
即ち、ImageNet(自然画像などで構成された大規模データセット)で事前学習済みのResNet(ImageNetの分類問題における高精度のモデル)を画像特徴抽出器として用い、全ての層を再学習する学習方法が採用された。K枚の心筋組織画像をランダムに分割して交差検証を行う学習方法が採用された。適当なエポック数で学習を行う(全ての学習データをエポック数の回数だけ学習を行う)学習方法が採用された。テスト画像のN=35枚のパッチのAI分類結果に対して、Backgroundを除いた3クラスで多数決を行い,一番多いクラスをその心筋組織画像の予測診断結果とする学習方法が採用された。
【0043】
ここで、DCM、HCM、正常の3種類の組織型分類については、専門家でも臨床情報無く心筋組織画像のみの情報では、診断正答率は77%にとどまる。
上述の学習方法により学習された結果として生成されたAIモデル71を用いることで、正答率は71%まで到達できている。今後、学習データの数を増やして再学習を繰り返すことで、専門家の正答率を超えるレベルのAIモデル71が得られるものと推定できる。
このようにして、心臓病理の専門家がいなくても、専門家と同等の心筋症の診断が可能な技術を実現化させることができる。
【0044】
以上説明したように、本実施形態の診断装置1(図1乃至図4参照)は、顕微鏡で撮影した心臓病理写真(診断対象の心筋組織画像)及び各種検査データが入力されると、自動で病理診断名を結果として出力することができる。
本実施形態の診断装置1(図1乃至図4参照)は、心臓病理の専門家がいなくても、専門家と同等の診断がAIを用いて可能であり、その診断結果も独自のインターフェースを用いてユーザに提示することが可能である。
即ち、本実施形態の診断装置1によれば、医師の中に心臓病理の専門家がいなくても、専門家と同等の心筋症を診断することができる。
【0045】
このような本実施形態の診断装置1を含む情報処理システム(例えば図1のような情報処理システム)を、以下、「心臓病理診断システム」と呼ぶものとすると、心臓病理診断システムは、自動化及び標準化できるとともに、希少心筋症をより効果的に抽出して医療の最適化に資するものになると期待される。
また、心臓病理診断システムによる病理組織解析結果を、臨床歴やゲノム情報とリンクさせ、組織像から予後や重症度予測を可能とすることができ、これにより、臨床的にも心筋病理診断の重要性が増す結果となる。
現状存在する分類不能心筋症が、AIを用いる心臓病理診断システムの病理組織診断により分類可能なものとなることが期待され、これにより、未診断心筋症も含め新たな疾患群を提唱することができる。
さらにこれらの結果、心筋生検施行施設が増加すれば、臨床的エビデンスが蓄積され、最終的に診療ガイドラインの改訂に繋がり、より正確な最適化された心筋疾患診療に資するものになると期待される。
【0046】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものとみなす。
【0047】
例えば、AIモデル71は、上述のDCM、HCM、正常、及びBackgroundの4クラスに分類する深層学習ネットワークを構築するものに特に限定されず、診断対象の心筋組織画像を入力するとDCM、HCM、正常の3種類の何かしらの確率を出力するモデルであれば足りる。
また、上記実施形態では、記憶部19にAIモデル71を一つ記憶した例で説明したが、疾患毎にAIモデル71を複数設けてもよく、AIモデル71の数は実施形態に限定されない。
上記実施形態では、学習部55が、学習データを用いて、N個の単位画像に区分された心筋組織画像を入力すると当該N個の単位画像毎に複数種類の夫々に該当する確率を出力するAIモデル71(図3参照)を生成又は更新する例として説明したが、これ以外に、例えば学習部55はAIモデル71を生成するだけの機能とし、学習部55により生成されたAIモデル71の性能を評価し更新する評価手段(評価部)を別に設けてもよい。
【0048】
また、図1に示すシステム構成、図2に示す診断装置1のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0049】
また、図3に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図3の例に限定されない。
【0050】
また、機能ブロックの存在場所も、図3に限定されず、任意でよい。
例えば、図3の例において、上述の処理は診断装置1側で行われる構成となっているが、これに限定されず、ユーザ端末2や、図示せぬ他の情報処理装置側で処理の少なくとも一部が行われてもよい。
例えば、学習に必要となる機能ブロックは、診断装置1側が備える構成となっているが、これは例示に過ぎず、図示せぬ学習装置が備えるようにしてもよい。
同様に、AIモデル71の存在場所も図3に限定されず、図示せぬクラウド上など任意でよい。
【0051】
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0052】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0053】
このようなプログラムを含む記録媒体は、装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で提供される記録媒体等で構成される。
【0054】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0055】
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
【0056】
即ち、本発明が適用される情報処理装置(例えば図1乃至図3の診断装置1)は、
心筋症の診断を支援する情報処理装置であって、
診断対象の心筋組織画像を含む診断対象データを取得する診断対象取得手段(例えば図3の診断情報取得部51)と、
前記診断対象データに基づいて、拡張型心筋症であるDCM、肥大型心筋症であるHCM、正常の3種類の夫々に該当する確率を出力し、当該確率に基づいて前記診断対象に対する診断結果を出力する心筋症診断手段(例えば図3のAI診断部52)と、
を備える。
【0057】
前記診断対象取得手段は、N個(Nは2以上の整数値)の単位画像(例えば上述のN=35のパッチ)に区分された前記心筋組織画像を取得し、
前記心筋症診断手段は、前記N個の単位画像の夫々について、前記3種類の夫々に該当する確率を出力し、当該確率に基づいて前記診断対象に対する診断結果を出力する、
ことができる。
【0058】
前記心筋症診断手段は、
前記N個の単位画像の夫々について前記3種類のうち最高確率の種類に分類し(例えば図4のステップS6、S8,S11)、
前記3種類のうち、分類された前記単位画像の数の割合が最高となっている所定種類について、当該所定種類の割合が閾値を超える場合、当該所定種類を前記診断結果として出力し(例えば図4のステップS7,S9、S10、S14)、当該所定種類の割合が閾値以下の場合、判定不能を前記診断結果として出力する(例えば図4のステップS12,S13)、
ことができる。
【0059】
前記心筋症診断手段は、前記DCM、前記HCM、又は前記判定不能を前記診断結果として出力する場合、さらに、空胞変性の有無についても追加検証する(例えば図4のステップS6、S8、S11)、
ことができる。
【0060】
前記心筋症診断手段は、前記3種類の夫々に該当する確率を出力する前に、さらに、
前記心筋組織画像に基づいて、アミロイドーシスであるか否か(例えば図4のステップS1)、次に、心筋炎であるか否か(例えば図4のステップS3)を夫々判別し、
前記アミロイドーシスに該当すると判断した場合、当該アミロイドーシスを前記診断結果として出力し(例えば図4のステップS2)、
前記心筋炎に該当すると判断した場合、当該心筋炎を前記診断結果として出力し(例えば図4のステップS4)、
前記アミロイドーシス及び前記心筋炎の何れにも該当しないと判断した場合、前記3種類の夫々に該当する前記確率を出力し、当該確率に基づいて前記診断結果を出力する(例えば図4のステップS5乃至S14)、
ことができる。
【0061】
実際の症例の前記心筋組織画像であって、N個の単位画像の夫々に対して前記3種類を少なくとも含む複数種類のうちの何れかを付すアノテーションが行われた心筋組織画像を含む学習データを生成する学習データ生成手段(例えば図3の学習データ生成部54)と、
前記学習データを用いて、前記N個の単位画像に区分された心筋組織画像を入力すると当該N個の単位画像毎に前記複数種類の夫々に該当する前記確率を出力するモデル(例えば図3のAIモデル71)を生成又は更新する学習手段(例えば図3の学習部55)と、
をさらに備え、
前記心筋症診断手段は、前記診断対象の前記心筋組織画像を前記モデルに入力させ、当該モデルの出力に基づいて前記診断結果を出力する、
ことができる。
【0062】
前記心筋症診断手段により出力された前記3種類のうち最高確率の種類が夫々割り当てられた前記N個の単位画像に区分された前記診断対象の前記心筋組織画像と共に、前記心筋症診断手段による診断結果(例えば図6の画像情報GT)を提示する診断結果提示手段(例えば図3の診断結果情報生成部53)
をさらに備えることができる。
【0063】
前記診断結果提示手段は、さらに、
前記N個の単位画像の夫々を示すN個のブロックを、前記3種類を少なくとも含む診断結果のうち何れに分類されたのかを示す表示態様で配置させることによって得られる棒グラフ(例えば図6及び図7のグラフ情報GB)を提示する、
ことができる。
【0064】
前記診断結果提示手段は、
前記診断結果として前記DCMを提示する場合、さらに、
変性/線維化二次元plot(例えば図5参照)を提示する、
ことができる。
【0065】
前記診断結果提示手段は、
前記診断結果を示す文章として、M(MはNとは独立した2以上の整数値)のパターンの中から選択されたパターンの文章を提示する、
ことができる。
【符号の説明】
【0066】
1・・・診断装置、11・・・CPU、19・・・記憶部、21・・・ドライブ、30・・・リムーバブルメディア、51・・・診断情報取得部、52・・・AI診断部、53・・・診断結果情報生成部、54・・・学習データ生成部、55・・・学習部、61・・・アミロイドーシス判断部、62・・・心筋炎判断部、63・・・DCM/HCM判断部

図1
図2
図3
図4
図5
図6
図7