IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 中山 雅文の特許一覧 ▶ エースリージャパン合同会社の特許一覧

<>
  • 特開-検査結果推定装置およびプログラム 図1
  • 特開-検査結果推定装置およびプログラム 図2
  • 特開-検査結果推定装置およびプログラム 図3
  • 特開-検査結果推定装置およびプログラム 図4
  • 特開-検査結果推定装置およびプログラム 図5
  • 特開-検査結果推定装置およびプログラム 図6
  • 特開-検査結果推定装置およびプログラム 図7
  • 特開-検査結果推定装置およびプログラム 図8
  • 特開-検査結果推定装置およびプログラム 図9
  • 特開-検査結果推定装置およびプログラム 図10
  • 特開-検査結果推定装置およびプログラム 図11
  • 特開-検査結果推定装置およびプログラム 図12
  • 特開-検査結果推定装置およびプログラム 図13
  • 特開-検査結果推定装置およびプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022035870
(43)【公開日】2022-03-04
(54)【発明の名称】検査結果推定装置およびプログラム
(51)【国際特許分類】
   G16H 50/20 20180101AFI20220225BHJP
   A61B 5/346 20210101ALI20220225BHJP
【FI】
G16H50/20
A61B5/04 312A
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2020140479
(22)【出願日】2020-08-21
(71)【出願人】
【識別番号】502205008
【氏名又は名称】中山 雅文
(71)【出願人】
【識別番号】516066198
【氏名又は名称】エースリージャパン合同会社
(74)【代理人】
【識別番号】100120662
【弁理士】
【氏名又は名称】川上 桂子
(74)【代理人】
【識別番号】100216770
【弁理士】
【氏名又は名称】三品 明生
(74)【代理人】
【識別番号】100217364
【弁理士】
【氏名又は名称】田端 豊
(72)【発明者】
【氏名】中山 雅文
【テーマコード(参考)】
4C127
5L099
【Fターム(参考)】
4C127AA02
4C127CC08
4C127GG10
5L099AA04
(57)【要約】
【課題】心臓超音波検査装置を使用しない場合でも、医療技術の変化に対応可能な検査結果を推定することが可能な検査結果推定装置およびプログラムを提供する。
【解決手段】検査結果推定装置10は、心電信号Saを取得し、学習用心電信号SLを入力データとし学習用心臓超音波検査結果RLを教師データとして機械学習された学習済モデルMを用いて、心電信号Saに応じた心臓超音波検査結果Raを推定し、推定された心臓超音波検査結果Raを出力する。
【選択図】図1
【特許請求の範囲】
【請求項1】
心電信号を取得する信号取得部と、
学習用心電信号を入力データとし心臓超音波検査結果を教師データとして機械学習された学習済モデルを用いて、前記信号取得部により取得された心電信号に応じた心臓超音波検査結果を推定する推定部と、
前記推定部により推定された前記心臓超音波検査結果を出力する出力部と、を備える、検査結果推定装置。
【請求項2】
前記心臓超音波検査結果は、心臓の部位の寸法、心臓内の血液の流量、心臓内の血液の流速および心臓内の血液の圧力のうちの少なくとも1つの項目を含む、請求項1に記載の検査結果推定装置。
【請求項3】
前記出力部は、前記心臓超音波検査結果に含まれる複数の項目が記載されたレポートを表示部に表示する、請求項1または2に記載の検査結果推定装置。
【請求項4】
前記信号取得部は、心電図画像データから変換された数値データを含む心電信号を取得する、請求項1~3のいずれか1項に記載の検査結果推定装置。
【請求項5】
前記出力部は、数値データを含む前記心臓超音波検査結果を出力する、請求項1~4のいずれか1項に記載の検査結果推定装置。
【請求項6】
前記推定部は、前記学習済モデルを用いて、前記信号取得部により取得された心電信号に応じた、壁運動の異常の有無および先天性心疾患の有無の少なくとも一方を含む前記心臓超音波検査結果を推定する、請求項1~5のいずれか1項に記載の検査結果推定装置。
【請求項7】
医療ガイドラインの情報が記憶された記憶部をさらに備え、
前記推定部は、推定した前記心臓超音波検査結果と、前記医療ガイドラインの情報とに基づいて、医師による診療を支援するための支援情報を生成し、
前記出力部は、前記推定部により推定された前記心臓超音波検査結果と、前記支援情報とを出力する、請求項1~6のいずれか1項に記載の検査結果推定装置。
【請求項8】
心電信号を取得する処理と、
学習用心電信号を入力データとし心臓超音波検査結果を教師データとして機械学習された学習済モデルを用いて、前記心電信号に応じた心臓超音波検査結果を推定する処理と、
推定された前記心臓超音波検査結果を出力する処理と、コンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、心臓超音波検査結果を推定する検査結果推定装置およびプログラムに関する。
【背景技術】
【0002】
従来、心電図を用いた検査が知られている。心電図は心臓の電気的活動を体表の電極で検出して調べる検査であり、不整脈、虚血性心疾患、心筋症などあらゆる心臓疾患の発見および経過をみるために用いられている。さらに、心電図検査は、侵襲的な検査ではなく、どこでも簡便に、かつ、安価に検査を行うことができる検査である。このことから、心電図検査は、健康診断でもスクリーニング検査として重宝されている。しかしながら、心電図の読影には多くの経験が必要とされ、熟練した医師であっても、心電図のみで心疾患の全てを診断(確定診断)することは難しい。
【0003】
そこで、確定診断をするためには、心臓超音波検査による精査が必要となる。ここで、心臓超音波検査とは、超音波を身体の内部の構造に当てて跳ね返ってきた反射波を利用して画像を取得する検査を意味する。心臓超音波検査によれば、高血圧や心不全、心臓の筋肉壁の障害(心筋症)などの患者でみられる、心臓弁の異常、先天異常(心室や心房の間の穴など)、心臓壁や心房または心室の拡大など、心臓の構造的異常を見つけることが可能となる。また、心臓超音波検査では、1回の拍動毎に心臓が送り出す血液の量なども測定することが可能となる。心臓超音波検査は、心臓の構造的異常や心臓の血液の流量等を把握するのに有用であることと、心電図と同様に被検者にとって非侵襲的であることから、心疾患の診断によく用いられる検査法の1つになっている。
【0004】
しかしながら、心臓超音波検査装置を所有している場合でも、適切な画像の描出には、熟練した医師または技師が必要になる。そのため、医療過疎地域においては循環器専門医がいない場合や、超音波検査を行うことができる技師がいない場合があり、心臓超音波検査装置を準備しても、適切な医療を受けられない可能性がある。
【0005】
上記の事情から、心電図によって疾患を自動的に判定するシステムの開発が開始されており、例えば、心電図と機械学習(深層学習)とを組み合わせた研究が開始されている(例えば、特許文献1および2、非特許文献1および2)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2019-514635号公報
【0007】
【特許文献2】特表2018-503885号公報
【非特許文献】
【0008】
【非特許文献1】古林せなみ、今井健、石原三四郎、藤生克仁、大江和彦著、深層学習を用いた心電図波形の正常異常判定に関する研究、人工知能学会研究会資料、2018年3月15日、vol.5、no.5、p.1-5
【0009】
【非特許文献2】Goto S, Kimura M, Katsumata Y, Goto S, Kamatani T, Ichihara G, Ko S, Sasaki J, Fukuda K, Sano M.,Artificial intelligence to predict needs for urgent revascularization from 12-leads electrocardiography in emergency patients. PLoS One (米),2019,14(1),e0210103
【0010】
【非特許文献3】泉知里、他33名、2020年改訂版 弁膜症治療のガイドライン(日本循環器学会、日本胸部外科学会、日本血管外科学会、日本心臓血管外科学会合同ガイドライン)、2013年3月13日
【発明の概要】
【発明が解決しようとする課題】
【0011】
上記のように、心電図(心電信号)と機械学習とを組み合わせた研究が開始されているものの、従来の研究は、学習させた時点における医療技術に基づく、特定の疾患の有無の推定や、その特定の疾患がある場合に重症であるか否かの判定(推定)を行うものである。しかしながら、よりよい医療が提供されるように日々医療技術は変化しており、治療方法の判断基準は日々変化している。例えば、大動脈弁狭窄症だけを例にとっても、以前の臨床では手術適応の判断は重症度に基づいて行われていたが、最近の臨床では手術適応の判断は重症度だけに依存するわけではない(例えば、非特許文献3)。具体的には、心臓の駆出率(心臓が血液を送り出す量を拡張期の左心室容量で割って算出されるもの)が低ければ、大動脈弁での圧較差が生じにくくなるため、重症の大動脈弁狭窄症でなくても手術適応になることがある。このため、医師にとっては、上記の研究に基づいた装置を用いたとしても、比較的古い医療技術に基づいた推定結果を知ることができるだけであり、確定診断を行いにくいという問題点があった。そこで、心臓超音波検査装置を使用しない場合でも、医療技術の変化に対応可能な検査結果を推定することが可能な検査結果推定装置およびプログラムが望まれている。
【0012】
この開示は、上記のような課題を解決するためになされたものであり、心臓超音波検査装置を使用しない場合でも、医療技術の変化に対応可能な検査結果を推定することが可能な検査結果推定装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
上記の目的を達成するために、以下に開示する、第1の局面による検査結果推定装置は、心電信号を取得する信号取得部と、学習用心電信号を入力データとし心臓超音波検査結果を教師データとして機械学習された学習済モデルを用いて、信号取得部により取得された心電信号に応じた心臓超音波検査結果を推定する推定部と、推定部により推定された心臓超音波検査結果を出力する出力部と、を備える。
【0014】
第2の局面によるプログラムは、心電信号を取得する処理と、学習用心電信号を入力データとし心臓超音波検査結果を教師データとして機械学習された学習済モデルを用いて、心電信号に応じた心臓超音波検査結果を推定する処理と、推定された心臓超音波検査結果を出力する処理と、コンピュータに実行させる。
【発明の効果】
【0015】
上記第1および第2の局面の構成によれば、心臓超音波検査装置を使用しない場合や、心臓超音波検査装置を扱うことができる専門の医師や技師がいない場合でも、心臓超音波検査結果を医師に提供することができる。そして、心臓超音波検査結果を確認することにより、心臓の構造的異常や心臓の血液の流量等を、医師は把握することができる。このため、比較的古い医療技術に基づいて疾患の重症度のみが出力される従来の装置とは異なり、診断時の最新の医療技術と心臓超音波検査結果(心臓の構造的異常や心臓の血液の流量等)とに基づいて、医師は適切に診察することができる。すなわち、心臓超音波検査装置を使用しない場合でも、医療技術の変化に対応可能な検査結果を推定することが可能な検査結果推定装置およびプログラムを提供することができる。
【図面の簡単な説明】
【0016】
図1図1は、一実施形態における検査結果推定システムの処理の概要を説明するための図である。
図2図2は、一実施形態における検査結果推定システムの全体の構成を示ブロック図である。
図3図3は、一実施形態における心電図検査装置の構成を示すブロック図である。
図4図4(a)は、一実施形態における心電図検査の肢誘導を説明するための図である。図4(b)は、一実施形態における心電図検査の胸部誘導を説明するための図である。
図5図5は、一実施形態における機械学習装置の制御部の機能ブロック図である。
図6図6は、一実施形態における心電信号の波形の例を説明するための図である。
図7図7は、一実施形態における数値データに変換された状態の心電信号の例を説明するための図である。
図8図8は、一実施形態における検査結果推定装置の構成を示すブロック図である。
図9図9は、一実施形態における検査結果推定装置の制御部の機能ブロック図である。
図10図10は、一実施形態における心臓超音波検査結果(レポート)の画面の例を示す図である。
図11図11は、一実施形態におけるガイドライン参照結果の画面の例を示す図である。
図12図12は、一実施形態における検査結果推定装置による提案の画面の例を示す図である。
図13図13は、一実施形態における学習済モデルの作成方法を説明するためのフロー図である。
図14図14は、一実施形態における心臓超音波検査結果の推定方法を説明するためのフロー図である。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は、以下の実施形態に限定されるものではなく、本発明の構成を充足する範囲内で、適宜設計変更を行うことが可能である。また、以下の説明において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、実施形態および変形例に記載された各構成は、適宜組み合わされてもよいし、変更されてもよい。また、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化または模式化して示されたり、一部の構成部材が省略されたりしている。
【0018】
[検査結果推定装置の概要]
図1および図2は、本実施形態における検査結果推定システム100(以下、単に「システム100」という)の構成の概要を説明するための図である。システム100は、心電信号Saが入力されると、心臓超音波検査結果Raを推定して出力するためのシステムであり、医師による診断や治療を支援するためのシステムである。ここで、「心臓超音波検査結果Ra」は、心臓超音波検査(心エコー検査)を実施した場合に得られる検査結果に相当するものであり、例えば、心電信号Saのみでは得られない心臓の構造的な情報や心臓における血液の流量等の情報が含まれる。心臓超音波検査結果Raの詳細は、図10を用いて後述する。
【0019】
図1に示すように、システム100では、学習用心電信号SLを入力データとし学習用心臓超音波検査結果RLを教師データとするデータセットを用いて、機械学習部21bによる機械学習が行われる(学習フェーズ)。ここで、「学習用心電信号SL」とは、例えば、機械学習を行うために準備された心電図データを数値データに変換したものである。機械学習を行うために準備された心電図データには、例えば、心電図検査装置30(図2参照)により取得された患者の心電図データが含まれていてもよいし、学習用に機械や人が作成した模式的な心電図データが含まれていてもよい。また、機械学習を行うために準備された心電図データは、心電図検査装置30により取得された患者の心電図データそのもの(生データ)に限らず、学習用に加工処理されたデータであってもよい。加工処理の例は後述する。
【0020】
本実施形態における心電図データは、例えば、Medical waveform Format Encoding Rules(MFER)、または、Digital Imaging and COmmunications in Medicine(DICOM)に準拠しているものである。MFERは、心電図を始め、脳波や呼吸波形など医療波形全般を記述することができるように標準化された規格であり、容易に数値や画像への変換を可能にするための規格である。例えば、MFERに準拠した心電図データは、システム100において、Comma Separated Value(CSV)変換された数値データ(CSV信号)として学習、記憶、推定および表示に用いることが可能である。また、DICOMは、医用画像機器間の通信プロトコルを定義した標準規格であり、異なる製造業者の医用画像機器間で画像転送を可能とすることを目的とした規格である。なお、本開示では、MFERまたはDICOMに準拠した心電図データであっても、必ずしもCSV変換する必要はなく、例えば、MFERファイルまたはDICOMファイルを画像として学習、記憶、推定および表示に用いてもよい。また、心電図データは、MFERおよびDICOMに限られず、画像データであれば、例えば、Joint Photographic Experts Group(JPEG)規格に基づいたものであってもよい。
【0021】
図1に示すように、システム100は、機械学習部21bにより作成された学習済モデルMを用いて、入力された心電信号Saに対応する心臓超音波検査結果Raを推定し、推定された心臓超音波検査結果Raを出力する(推定フェーズ)。ここで、「心電信号Sa」とは、診断の対象となっている患者の心電図データ、または、当該心電図データを加工または数値に変換したデータである。すなわち、システム100は、この診断の対象となっている患者の心電図データに基づいて、心臓超音波検査結果Ra(心エコーの検査結果)を推定するように構成されている。この段落における心電図データは、例えば、心臓超音波検査装置が設けられていない医療施設(例えば、医療過疎地の診療所)において診察される患者の心電図データである。なお、「学習済モデルM」の詳細は、後述する。
【0022】
これにより、心臓超音波検査装置を使用できない場合や、心臓超音波検査装置を扱うことができる医師や技師がいない地域でも、心臓超音波検査結果Raを医師に提供することができる。そして、心臓超音波検査結果Raを確認することにより、心臓の構造的異常や心臓の血液の流量等を、医師は把握することができる。このため、比較的古い医療技術に基づいて疾患の重症度のみが出力される装置とは異なり、診断時の最新の医療技術と心臓の構造的異常や心臓の血液の流量等とに基づいて、医師は適切に診察することができる。
【0023】
[検査結果推定装置の各部の構成]
図2に示すように、システム100は、複数の検査結果推定装置10と、機械学習装置20とを備える。機械学習装置20は、図1に示した学習フェーズを実行するための装置である。すなわち、機械学習装置20は、学習用心電信号SLを入力データとし学習用心臓超音波検査結果RLを教師データとするデータセットを用いて、機械学習を行うことにより、学習済モデルを作成する。検査結果推定装置10は、図1に示した推定フェーズを実行するための装置である。すなわち、検査結果推定装置10は、学習済モデルMを用いて、入力された心電信号Saに対応する心臓超音波検査結果Raを推定し、推定された心臓超音波検査結果Raを出力する。
【0024】
複数の検査結果推定装置10と、機械学習装置20とは、例えば、ネットワークNを介して、通信可能に構成されている。複数の検査結果推定装置10と複数の心電図検査装置30とは、それぞれ、通信可能に接続されている。なお、ネットワークNは、例えば、Local Area Network(LAN)、Wide Area Network(WAN)、および、インターネット等であるが、これら以外のネットワークを用いてもよい。
【0025】
(心電図検査装置の構成)
心電図検査装置30は、例えば、12誘導心電図を用いた検査法により、心電図検査を行うように構成されている。図3および図4に示すように、心電図検査装置30は、測定部31と、制御部32と、通信部33と、表示部34とを含む。以下、12誘導心電図を例として示すが、本開示では、12誘導心電図を用いた検査法以外の検査法により心電信号Saを取得してもよい。
【0026】
図4は、12誘導心電図を用いた検査法を説明するための図である。図4に示すように、12誘導とは、6つの肢誘導(I、II、III、aVR、aVLおよびaVF)と6つの胸部誘導(V1、V2、V3、V4、V5およびV6)で構成され、心筋の電気的活動を12個のベクトルとして表すものである。測定部31は、例えば、患者の12部位に取り付けられる12個の測定電極を含む。そして、測定部31は、12誘導の心電図データを表す12種類の心電信号Sa(図6参照)を取得する。測定部31は、取得した心電信号Saを制御部32に伝達する。制御部32は、プロセッサを含む。そして、制御部32は、表示部34に心電信号Sa(波形)(図6参照)を表示する。また、制御部32は、通信部33を介して、有線または無線通信により、心電信号Saを検査結果推定装置10(図2参照)に送信する。また、制御部32は、通信部33を介して、学習用心電信号SLを機械学習装置20に送信してもよい。通信部33は、通信インターフェイスである。表示部34は、例えば、液晶ディスプレイまたは有機ELディスプレイである。
【0027】
なお、本実施形態では、心電図検査装置30に、表示部34を設ける例を示したが、表示部34に代えて、または、表示部34に加えて、心電信号Saの波形を紙媒体に印刷する印刷部が設けられていてもよい。また、心電図検査装置30に、通信部33を設ける例を示したが、通信部33に代えて、または、通信部33に加えて、心電図検査装置30に着脱可能な記憶媒体が設けられていてもよい。この記憶媒体を用いて、心電信号Saを検査結果推定装置10に移動させてもよいし、学習用心電信号SLを機械学習装置20に移動させてもよい。
【0028】
(機械学習装置の構成)
図2に示すように、機械学習装置20は、制御部21と、記憶部22と、通信部23と、入力部24とを含む。制御部21は、プログラムを実行することにより制御処理を実行するプロセッサを含む。そして、制御部21は、機械学習装置20の各制御処理を実行するように構成されている。記憶部22は、学習用データ記憶領域22aと、学習済モデル記憶領域22bとを含む。通信部23は、通信インターフェイスであり、ネットワークNに接続されている。入力部24は、キーボード、マウス、タッチパネル等のユーザインタフェースであってもよいし、紙媒体を読み取る光学式文字読取装置(OCR)として構成されていてもよい。
【0029】
図5は、制御部21の機能ブロック図である。制御部21は、データ取得部21aと、機械学習部21bと、出力部21cとを含む。データ取得部21aは、心電図検査装置30から学習用心電信号SLを取得するか、または、人や機械が作成した学習用心電信号SLを取得する。そして、データ取得部21aは、取得した学習用心電信号SLを学習用データ記憶領域22aに記憶する。
【0030】
図6は、12誘導心電図のデータ(心電信号の波形)を説明するための図である。また、図7は、学習用心電信号SL(心電信号Sa)の数値データを説明するための図である。学習用心電信号SLは、12誘導心電図のデータ(図6参照)を所定のタイミングでサンプリングし、CSV変換された数値データとして取得される。図7は、CSV変換された数値データを表形式で模式的に示したものである。なお、本開示では、CSV変換された数値データに限られず、12誘導心電図の波形画像を、学習用心電信号SLとして用いてもよい。学習用心電信号SLは、CSV変換された数値データに対して、さらに加工処理が行われた信号(データ)であってもよい。例えば、制御部21は、学習用心電信号SLの心拍間隔を正規化してもよい。「正規化」とは、心拍の1拍の長さを共通の大きさになるように各信号を加工処理し、波形同士を対比しやすくすることを意味する。また、制御部21は、学習用心電信号SLからPQRST波以外の直線部分(ベースライン)や、ノイズ成分を除去する処理を行ってもよい。これにより、個人差が表れやすい心拍間隔やノイズ等の要因を排除することにより、作成される学習済モデルMの推定精度を向上させることができる。なお、心拍間隔が学習用心電信号SLの特徴点として含まれる場合には、学習用心電信号SLは、正規化されなくてもよい。
【0031】
データ取得部21aは、学習用心臓超音波検査結果RLを取得する。例えば、同一の患者に対して心電図検査と心臓超音波検査とが行われ、これらの検査から学習用心電信号SLと学習用心臓超音波検査結果RLとがデータ取得部21aにより取得される。ここで、学習用心臓超音波検査結果RLには、心臓の部位の寸法、心臓内の血液の流量、心臓内の血液の流速および心臓内の血液の圧力のうちの少なくとも1つの項目が含まれる。詳細には、例えば、学習用心臓超音波検査結果RLは、左心室壁厚、左心房径、および、弁口面積等を含む心臓の構造的な寸法と、心拍出量などの血液の流量と、心臓弁膜症の重症度の判定に必要な圧較差、および、心室内の圧等との各々の項目を含む。
【0032】
さらに詳細には、学習用心臓超音波検査結果RLには、大動脈径(AOD)、左房径(LAD)、右房径(RVD)、左室拡張末期径(LVDd)、左室収縮末期径(LVDs)、左室拡張末期容積(LVEDV)、左室収縮末期容積(LVESV)、一回心拍出量(SV)、駆出率(EF)、左室心筋重量係数(LV mass index)、左室中隔(IVST)、左室後壁厚(PWT)、左室流入血流の情報(E/A、DcT、e、E/e)、右室流出血流の情報(ACI/ET)、僧房弁逆流(MR)、僧帽弁口面積(MVA)、僧帽弁輪径、圧半減時間(PHT)、大動脈弁逆流(AR)、大動脈弁口面積(AVA)、大動脈弁輪径、三尖弁逆流(TR)、ジェット面積、右室収縮期圧(RVP)、肺動脈弁逆流(PR)、下大静脈径(IVC)、虚脱、および、心膜液の項目が含まれる。また、学習用心臓超音波検査結果RLには、心臓の壁運動の情報、および、先天性心疾患の情報が含まれる。心臓の壁運動の情報は、例えば、左心室または右心室のうちのどの壁部に異常があるかについての情報を含む。また、先天性心疾患の情報には、心室中隔欠損症や心房中隔欠損症などが存在する可能性の情報が含まれる。先天性心疾患は、これら2つに限らず、他の疾患であってもよい。そして、学習用心臓超音波検査結果RLの各項目は、例えば、数値データとして学習用データ記憶領域22aに記憶される。なお、本開示では、数値データに限られず、心臓超音波検査における心エコー画像が、学習用心臓超音波検査結果RLとして学習用データ記憶領域22aに記憶されていてもよい。また、学習用心臓超音波検査結果RLは、入力部24に対する入力や、入力部24により紙媒体を読み取られることにより、データ取得部21aにより取得されてもよい。学習用心電信号SLと学習用心臓超音波検査結果RLとは、対応付けて(データセットとして)、学習用データ記憶領域22aに記憶される。
【0033】
図1に示すように、機械学習部21bは、例えば、教師あり学習を行うことにより学習済モデルMを作成する機能を有する。すなわち、機械学習部21bは、学習用心電信号SLを入力データとし、入力データ(学習データ)に対する教師データ(正解ラベル)として、学習用心臓超音波検査結果RLが学習される。機械学習部21bは、例えば、学習用データ記憶領域22aに記憶された数万の学習用心電信号SLおよび学習用心臓超音波検査結果RLのデータセットを学習することにより、学習済モデルMを作成する。機械学習部21bによる機械学習方法としては、例えば、ニューラルネットワークによる深層学習を用いることができるが、深層学習以外の機械学習方法を用いてもよい。深層学習を用いる場合、機械学習部21bは、データセットを学習することにより、ニューラルネットワークにおける関数のパラメータが最適化される。作成された学習済モデルMは、記憶部22の学習済モデル記憶領域22b(図2参照)に記憶される。
【0034】
出力部21cは、機械学習部21bにより作成された学習済モデルMを、通信部23を介して各検査結果推定装置10に送信する。検査結果推定装置10は、受信した学習済モデルMを自身の記憶部12(図8参照)に記憶する。なお、機械学習装置20に、通信部23を設ける例を示したが、通信部23に代えて、または、通信部23に加えて、機械学習装置20に、着脱可能な記憶媒体が設けられていてもよい。この記憶媒体を用いて、学習済モデルMを検査結果推定装置10に移動させてもよい。
【0035】
記憶部22は、例えば、不揮発性メモリとして構成されている。記憶部22は、オンプレミス型(据え置き型)のサーバでもよいし、オンプレミス型のサーバに限られず、クラウド上に構成されたサーバを用いてもよい。
【0036】
(検査結果推定装置の構成)
図8は、検査結果推定装置10の構成を示すブロック図である。検査結果推定装置10は、制御部11と、記憶部12と、通信部13と、表示部14とを含む。制御部11は、制御部11は、プログラムを実行することにより制御処理を実行するプロセッサを含む。そして、制御部11は、検査結果推定装置10の各制御処理を実行するように構成されている。
【0037】
記憶部12には、制御部11が処理を行うためのプログラムと、学習済モデルMとが記憶されている。記憶部12には、機械学習装置20により作成された学習済モデルMが、予め(検査結果推定装置10に製造時に)記憶されていてもよいし、上記したように、通信部13を介して、機械学習装置20から学習済モデルMを受信してもよい。ここで、本実施形態では、記憶部12には、医療ガイドラインデータGが記憶されている。また、医療ガイドラインデータGは、心臓超音波検査結果Raの各項目における基準、当該基準に対して異常値(または異常)となった場合に推奨される検査方法、および、当該基準に対して異常値(または異常)となった場合に推奨される治療方法等の情報が含まれている。医療ガイドラインデータとは、例えば、医療系学会(例えば、日本循環器学会、日本胸部外科学会、日本血管外科学会、および、日本心臓血管外科学会等)により作成された、医師による診断や治療方法を判断するための基準や手順である。記憶部12に記憶される医療ガイドラインデータGは、最新版に随時更新されている。更新処理は、制御部11により行われる。医療ガイドラインデータGは、例えば、「弁膜症治療のガイドライン」を用いることができる。
【0038】
図9は、制御部11の機能ブロックを示す図である。制御部11は、信号取得部11aと、推定部11bと、出力部11cとを含む。信号取得部11aは、通信部13を介して、心電図検査装置30から心電信号Saを取得するように構成されている。すなわち、信号取得部11aは、診察対象の患者の心電図画像データ(MFERまたはDICOM)からCSV変換された数値データ(CSV信号)を含む心電信号Saを取得する。これにより、心電図画像データ(MFERまたはDICOM)よりも数値データの方がデータサイズを小さくすることができるので、心電図検査装置30から心電信号Saをより迅速に取得することができるとともに、記憶部12の容量を節約することができる。また、推定部11bにより心臓超音波検査結果Raを推定する際の処理負担を軽減することができる。
【0039】
図10は、表示部14に表示されるレポート(心臓超音波検査推定結果報告書)の例である。推定部11bは、学習済モデルMを用いて、取得した心電信号Saに応じた心臓超音波検査結果Raを推定する処理を行う。出力部11cは、推定された心臓超音波検査結果Raを、表示部14に出力する。具体的には、出力部11cは、心臓超音波検査結果Raに含まれる複数の項目が記載されたレポートを表示部14に表示する。推定部11bは、例えば、心臓超音波検査結果Raとして、左心室壁厚、左心房径、および、弁口面積等を含む心臓の構造的な寸法と、心拍出量などの血液の流量と、心臓内の血液の流速、心臓弁膜症の重症度の判定に必要な圧較差、および、心室内の圧等との各々の項目の数値データ(CSVデータ)として推定結果を出力する。詳細には、推定部11bは、例えば、大動脈径(AOD)、左房径(LAD)、右房径(RVD)、左室拡張末期径(LVDd)、左室収縮末期径(LVDs)、左室拡張末期容積(LVEDV)、左室収縮末期容積(LVESV)、一回心拍出量(SV)、駆出率(EF)、左室心筋重量係数(LV mass index)、左室中隔(IVST)、左室後壁厚(PWT)、左室流入血流の情報(E/A、DcT、e、E/e)、右室流出血流の情報(ACI/ET)、僧房弁逆流(MR)、僧帽弁口面積(MVA)、僧帽弁輪径、圧半減時間(PHT)、大動脈弁逆流(AR)、大動脈弁口面積(AVA)、大動脈弁輪径、三尖弁逆流(TR)、ジェット面積、右室収縮期圧(RVP)、肺動脈弁逆流(PR)、下大静脈径(IVC)、虚脱、および、心膜液の各々の項目についての推定結果を出力する。また、推定部11bは、心臓の壁運動の推定結果、および、先天性心疾患の推定結果を出力する。心臓の壁運動の推定結果とは、例えば、左心室または右心室のうちのどの壁部に異常があるかについての推定結果を含む。また、先天性心疾患の推定結果には、心室中隔欠損症や心房中隔欠損症などが存在する可能性の推定結果が含まれる。先天性心疾患の推定結果は、これら2つの推定結果に限らず、他の疾患の推定結果が含まれていてもよい。
【0040】
図10に示すように、レポートには、患者情報(患者ID、患者氏名、患者の生年月日、患者の性別、患者の年齢)と、検査日、科別(例えば、心臓血管内科など)、および、担当医師名等が記載される。そして、レポートには、例えば、大動脈径(AOD)、左房径(LAD)、右房径(RVD)、左室拡張末期径(LVDd)、左室収縮末期径(LVDs)、左室拡張末期容積(LVEDV)、左室収縮末期容積(LVESV)、一回心拍出量(SV)、駆出率(EF)、左室心筋重量係数(LV mass index)、左室中隔(IVST)、左室後壁厚(PWT)、左室流入血流の情報(E/A、DcT、e、E/e)、右室流出血流の情報(ACI/ET)、僧房弁逆流(MR)、僧帽弁口面積(MVA)、僧帽弁輪径、圧半減時間(PHT)、大動脈弁逆流(AR)、大動脈弁口面積(AVA)、大動脈弁輪径、三尖弁逆流(TR)、ジェット面積、右室収縮期圧(RVP)、肺動脈弁逆流(PR)、下大静脈径(IVC)、虚脱、および、心膜液の項目が含まれる。また、レポートには、心臓の壁運動の推定結果、および、先天性心疾患の推定結果が含まれる。例えば、心臓の壁運動の推定結果として、左心室の「前壁運動異常の可能性あり」や右心室の「異常なし」等のコメントが含まれている。また、先天性心疾患の推定結果には、心室中隔欠損症の「可能性高い」や心房中隔欠損症の「可能性低い」等のコメントが含まれる。なお、レポートには、上記の情報以外の情報(例えば、心室中隔欠損症や心房中隔欠損症以外の疾患の推定結果)が含まれていてもよい。また、検査結果推定装置10には、レポートを紙媒体に印刷する印刷機能部が設けられていてもよい。
【0041】
この表示部14に表示されたレポートを医師が視認することにより、心臓超音波検査装置が設けられていない医療施設においても、推定された心臓超音波検査結果Raを医師が確認することができる。このため、医師は、心電信号Saのみでは得られない心臓の構造的な情報や心臓における血液の流量等を確認することができる。この結果、システム100は、推定された心臓の構造的な情報や心臓における血液の流量等を用いて、医師による患者の確定診断を支援することができる。
【0042】
図12は、表示部14に表示されるガイドライン参照結果の画面の例である。推定部11bは、心臓超音波検査結果Raと、医療ガイドラインデータGとに基づいて、医師による診療を支援するための支援情報Rbを出力する。例えば、推定部11bは、心臓超音波検査結果Raの各項目の値と、医療ガイドラインデータGに含まれる各項目の基準値とを比較する。推定部11bは、心臓超音波検査結果Raの各項目の値のうちいずれかが異常値(または異常)であった場合に、医療ガイドラインデータGから、異常値(または異常)に対応する疾患の有無を精査するための検査方法を抽出する。そして、出力部11cは、表示部14に異常値(または異常)となった項目と、精査するための検査方法等を表示させる。例えば、出力部11cは、表示部14に「ガイドライン参照結果、△△(項目名)に異常が見られますので、造影検査を実施し精査を行うことを提案致します」等のメッセージが表示される。なお、図12の画像は、図11の画像と同一画面上に表示されてもよいし、別画面として表示されてもよい。
【0043】
また、図13は、表示部14に表示される提案(医師への提案)の画面の例である。推定部11bは、心臓超音波検査結果Raの項目のうちのいずれかが推定できなかった場合、推定値の確度が低い場合(推定される範囲が所定の範囲よりも大きい場合)、推定値が所定の値(異常値)であった場合などに、表示部14に表示される提案のメッセージを作成する。出力部11cは、表示部14に提案のメッセージを表示させる。例えば、出力部11cは、表示部14に「××(項目)の推定値に異常が見られますので、心臓超音波検査装置による実際の検査を実施することを提案致します」というメッセージを表示させる。なお、図13の画像は、図11および図12のいずれか一方の画像と同一画面上に表示されてもよいし、別画面として表示されてもよい。
【0044】
[学習済モデルの作成方法]
次に、図13を参照して、本実施形態における学習済モデルの作成方法について説明する。図13は、学習済モデルの作成に関するフローチャートである。この作成方法に関する処理は、機械学習装置20の制御部21により実行される。
【0045】
ステップS1において、学習用心電信号SLと学習用心臓超音波検査結果RLとのデータセットが取得される。例えば、同一の患者に対して心電図検査と心臓超音波検査(心エコー検査)との両方を行う。そして、心電図検査により得られた心電信号を学習用心電信号SLとし、心臓超音波検査により得られた情報を学習用心臓超音波検査結果RLとし、当該学習用心電信号SLと当該学習用心臓超音波検査結果RLとを対応付けたデータセットを作成する。データセットは記憶部22に記憶される。なお、学習用心電信号SLまたは学習用心臓超音波検査結果RLには、加工処理(正規化処理やノイズ処理など)された状態で記憶部22に記憶されてもよい。
【0046】
ステップS2において、複数のデータセットが学習される。例えば、複数(例えば、数万)のデータセットが記憶部22から読み出され、深層学習されることにより、学習済モデルMが作成される。ステップS3において、作成された学習済モデルMが記憶部22に記憶される。
【0047】
[心臓超音波検査結果の推定方法]
次に、図14を参照して、本実施形態における心臓超音波検査結果Raの推定方法について説明する。図14は、心臓超音波検査結果Raの推定に関するフローチャートである。この作成方法に関する処理は、検査結果推定装置10の制御部11により実行される。
【0048】
ステップS11において、心電信号Saが取得される。この心電信号Saは、診断対象の患者に対して行われた心電図検査により得られたものである。
【0049】
ステップS12において、心電信号Saに応じた心臓超音波検査結果Raが、学習済モデルMを用いて推定される。
【0050】
ステップS13において、推定された心臓超音波検査結果Raに含まれる複数の項目が記載されたレポート(図10参照)が表示部14に表示される。ステップS14において、ガイドライン参照結果(図11参照)および提案(図12参照)の少なくとも一方が表示される。これにより、心臓超音波検査装置を使用できない場合や、心臓超音波検査装置を扱うことができる医師や技師がいない地域でも、心臓超音波検査結果Raを医師が確認することができる。そして、心臓超音波検査結果Raを確認することにより、心臓の構造的異常や心臓の血液の流量等を、医師は把握することができる。このため、比較的古い医療技術に基づいて疾患の重症度のみが出力される装置とは異なり、診断時の最新の医療技術と心臓の構造的異常や心臓の血液の流量等とに基づいて、医師は適切に診察することができる。
【0051】
例えば、日常診療では、医師は、心臓超音波検査結果Raから心筋梗塞の有無や、心臓弁膜症の重症度などの他の検査を行うかどうか検討する。また、医師は、推定された心臓超音波検査結果Raを元に、疑うべき疾患や、次に行うべき検査を提案する。これは心疾患に限らず、医師は、肺動脈塞栓症や肺高血圧症などの心臓超音波検査結果Raから推測できる疾患であれば心臓以外の病気についても提案を行う。
【0052】
[変形例]
以上、上述した実施形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施形態を適宜変形して実施することが可能である。
【0053】
(1)上記実施形態では、機械学習装置と検査結果推定装置と心電図検査装置とをそれぞれ別装置として構成する例を示したが、本開示はこれに限られない。すなわち、機械学習装置と検査結果推定装置と心電図検査装置とのうちの2つが一体に構成されていてもよい。
【0054】
(2)上記実施形態では、推定された心臓超音波検査結果を、数値データを含むレポートとして表示する例を示したが、本開示はこれに限られない。例えば、推定された心臓超音波検査結果を画像(心エコー画像)として表示してもよい。
【0055】
(3)上記実施形態では、学習および推定の際に、数値データに変換した心電信号を用いたが、本開示はこれに限られない。例えば、学習および推定の少なくとも一方において、心電図画像データを用いてもよい。
【0056】
(4)上記実施形態では、図10にレポートに記載される項目の例を挙げたが本開示はこれに限られない。すなわち、図10に記載の項目のうちの一部のみ記載されてもよいし、図10に記載の項目以外の項目がレポートに含まれていてもよい。
【0057】
また、上述した検査結果推定装置およびプログラムは、以下のように説明することができる。
【0058】
第1の構成に係る検査結果推定装置は、学習用心電信号を入力データとし、心臓超音波検査結果を教師データとして、機械学習された学習済モデルと、心電信号を取得する信号取得部と、信号取得部により取得された心電信号に応じた心臓超音波検査結果を、学習済モデルを用いて推定する推定部と、推定部により推定された心臓超音波検査結果を出力する出力部と、を備える(第1の構成)。
【0059】
上記第1の構成によれば、心臓超音波検査装置が設けられていない医療施設においても、推定された心臓超音波検査結果を出力することができる。このため、医師は、推定された心臓超音波検査結果を確認することにより、心電信号のみでは得られない心臓の構造的な情報や心臓における血液の流量等を確認することができる。この結果、推定された心臓の構造的な情報や心臓における血液の流量等を用いて、医師による患者の確定診断を支援することが可能な検査結果推定装置を提供することができる。
【0060】
第1の構成において、心臓超音波検査結果に、心臓の部位の寸法、心臓内の血液の流量、心臓内の血液の流速および心臓内の血液の圧力のうちの少なくとも1つの項目が含まれていてもよい(第2の構成)。
【0061】
上記第2の構成によれば、医師は、心臓超音波検査装置を用いずに、心臓の部位の寸法、心臓内の血液の流量、心臓内の血液の流速および心臓内の血液の圧力のうちの少なくとも1つの項目の推定結果を認識することができる。
【0062】
第1または第2の構成において、出力部を、心臓超音波検査結果に含まれる複数の項目が記載されたレポートを表示部に表示するように構成してもよい(第3の構成)。
【0063】
上記第3の構成によれば、表示部に表示されたレポートにより、医師は容易に心臓超音波検査結果を確認することができる。
【0064】
第1~第3のいずれか1つの構成において、信号取得部を、心電図画像データから変換された数値データを含む心電信号を取得するように構成してもよい(第4の構成)。
【0065】
上記第4の構成によれば、心電図画像データよりもデータ量が小さい数値データを用いることができるので、検査結果推定装置の処理の負担を軽減することができる。
【0066】
第1~第4のいずれか1つの構成において、出力部を、数値データを含む心臓超音波検査結果を出力するように構成してもよい(第5の構成)。
【0067】
上記第5の構成によれば、医師は、数値データを確認することにより、心臓超音波検査の画像自体が出力される場合に比べて容易に心臓超音波検査結果を確認することができる。
【0068】
第1~第5のいずれか1つの構成において、推定部を、学習済モデルを用いて、信号取得部により取得された心電信号に応じた、壁運動の異常の有無および先天性心疾患の有無の少なくとも一方を含む心臓超音波検査結果を推定するように構成してもよい(第6の構成)。
【0069】
上記第6の構成によれば、壁運動の異常の有無および先天性心疾患の有無の少なくとも一方の推定結果を、医師は確認することができるので、壁運動の異常や先天性心疾患に関して、医師の診断や治療方法の判断を支援することができる。
【0070】
第1~第6のいずれか1つの構成において、医療ガイドラインの情報が記憶された記憶部をさらに備えてもよく、推定部を、推定した心臓超音波検査結果と、医療ガイドラインの情報とに基づいて、医師による診療を支援するための支援情報を生成し、出力部は、推定部により推定された心臓超音波検査結果と、支援情報とを出力するように構成してもよい(第7の構成)。
【0071】
上記第7の構成によれば、心臓超音波検査結果のみならず、医療ガイドラインの情報に基づく支援情報が出力されるので、支援情報を医師が参照することによって、より一層、医師の診断や治療方法の判断を支援することができる。
【0072】
第8の構成に係るプログラムは、心電信号を取得する処理と、学習用心電信号を入力データとし、心臓超音波検査結果を教師データとして、機械学習された学習済モデルを用いて、取得した心電信号に応じた心臓超音波検査結果を推定する処理と、推定された心臓超音波検査結果を出力する処理と、コンピュータに実行させる(第8の構成)。
【0073】
上記第8の構成によれば、上記第1の構成と同様に、心臓超音波検査装置を使用しない場合でも、医師が確定診断を行う際に必要な心臓超音波検査結果を、医師に提供することが可能なプログラムを提供することができる。
【符号の説明】
【0074】
10…検査結果推定装置、11a…信号取得部、11b…推定部、11c…出力部、12…記憶部、14…表示部、M…学習済モデル、RL…学習用心臓超音波検査結果、Ra…心臓超音波検査結果、Rb…支援情報、SL…学習用心電信号、Sa…心電信号
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14