(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-23
(45)【発行日】2024-01-31
(54)【発明の名称】可視化プログラム、可視化方法、および可視化システム
(51)【国際特許分類】
A61B 5/339 20210101AFI20240124BHJP
A61B 5/336 20210101ALI20240124BHJP
A61B 5/343 20210101ALI20240124BHJP
【FI】
A61B5/339
A61B5/336
A61B5/343
(21)【出願番号】P 2020105184
(22)【出願日】2020-06-18
【審査請求日】2023-03-09
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】渡邉 正宏
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】特開2010-057615(JP,A)
【文献】特開2001-104266(JP,A)
【文献】特開平10-243930(JP,A)
【文献】特表2003-531656(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/05-5/0538
A61B 5/24-5/398
(57)【特許請求の範囲】
【請求項1】
コンピュータに、
患者の所定期間の心電図を示す心電図データに基づいて、一拍の拍動ごとの心電図を示す複数の曲線を、前記心電図の時間の軸と電位の軸とに対して垂直な軸方向に時系列で並べて配置し、
並べられた前記複数の曲線を含む曲面を生成し、
前記曲面と交差する平面を生成し、
前記曲面と前記平面との交線に基づく図形を出力する、
処理を実行させる可視化プログラム。
【請求項2】
前記図形の
出力では、前記曲面と前記平面との交線に基づいて、前記曲面よりも電位が低い領域と前記平面との断面を示す断面図を出力する、
請求項1記載の可視化プログラム。
【請求項3】
前記平面の設定では、前記平面の位置を前記心電図の電位の軸方向に平行移動させ、
前記
図形の出力では、前記平面が移動するごとに、前記曲面と前記平面との交線に基づく図形を出力する、
請求項1または2に記載の可視化プログラム。
【請求項4】
前記複数の曲線の配置では、一拍の拍動ごとの心電図に示される一拍に要する時間が所定時間となるように一拍に要する時間を正規化して、一拍の拍動ごとの心電図を示す前記複数の曲線を配置する、
請求項1ないし3のいずれかに記載の可視化プログラム。
【請求項5】
コンピュータが、
患者の所定期間の心電図を示す心電図データに基づいて、一拍の拍動ごとの心電図を示す複数の曲線を、前記心電図の時間の軸と電位の軸とに対して垂直な軸方向に時系列で並べて配置し、
並べられた前記複数の曲線を含む曲面を生成し、
前記曲面と交差する平面を生成し、
前記曲面と前記平面との交線に基づく図形を出力する、
可視化方法。
【請求項6】
患者の所定期間の心電図を示す心電図データに基づいて、一拍の拍動ごとの心電図を示す複数の曲線を、前記心電図の時間の軸と電位の軸とに対して垂直な軸方向に時系列で並べて配置し、並べられた前記複数の曲線を含む曲面を生成し、前記曲面と交差する平面を生成し、前記曲面と前記平面との交線に基づく図形を出力する、
可視化システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は可視化プログラム、可視化方法、および可視化システムに関する。
【背景技術】
【0002】
心臓の疾患の発見に利用されるものとして心電図がある。心電図は、心臓の電気的な活動をグラフ化したものである。心臓の電気的な活動は心電計で計測できる。心電計は、心電図をデジタルデータ(以下、心電図データと呼ぶ)で記録することができる。患者の心電図データに基づいて心臓の状態をコンピュータで可視化することで、医師は、該当患者の疾患を早期に発見することができる。
【0003】
例えばコンピュータにより、心電図データに基づいて、患者の心臓の3次元モデルの動作のシミュレーションを行い、患者の心臓の動きをコンピュータ上の3次元モデルで再現することができる。心臓の動きが可視化されることで、心臓の疾患に起因する挙動を見つけやすくなる。
【0004】
医療用のデータの可視化技術としては、例えば超音波ドプラスペクトラム画像から血流量を表す診断情報をより簡易かつ短時間で画一的なデータとして取得することが可能な超音波診断装置が提案されている。1つ以上の電極によって検出された電気活動に対応する心電図データ組を表示部上に動的表示することを含む生理的マッピングデータ表示方法も提案されている。さらに、再生表示できるトレンドグラフやヒストグラムも複数種類とできるように拡大表示/縮小表示機能をもった携帯型心電計も提案されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2010-200844号公報
【文献】特表2017-512113号公報
【文献】特開平4-300523号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
単に心電図のグラフを表示しただけでは、心電図に現れる疾患を見つけ出すのに時間がかかる場合がある。例えば小型の心電計を患者に携帯させ、患者の24時間以上の心電図データを取得する場合がある。例えば患者の疾患に起因する心臓の不自然な挙動が間欠的に出現する場合、または患者が特定の状況にある場合にのみ疾患の症状が発現する場合である。これらの場合、長期間の心電図データに基づく心電図を確認することで、そのような疾患の存在を見つけ出すことができる。しかし、長時間分の心電図をそのまま表示しても、医師による目視での確認に時間がかかる。
【0007】
1つの側面では、本発明は、心電図に表れる疾患の影響を分かりやすく可視化できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
1つの案では、コンピュータに以下の処理を実行させる可視化プログラムが提供される。
コンピュータは、患者の所定期間の心電図を示す心電図データに基づいて、一拍の拍動ごとの心電図を示す複数の曲線を、心電図の時間の軸と電位の軸とに対して垂直な軸方向に時系列で並べて配置する。次にコンピュータは、並べられた複数の曲線を含む曲面を生成する。さらにコンピュータは、曲面と交差する平面を生成する。そしてコンピュータは、曲面と平面との交線に基づく図形を出力する。
【発明の効果】
【0009】
1態様によれば、心電図に表れる疾患の影響を分かりやすく可視化できる。
【図面の簡単な説明】
【0010】
【
図1】第1の実施の形態に係る可視化方法の一例を示す図である。
【
図2】第2の実施の形態に係る可視化システムの一例を示す図である。
【
図3】可視化システムのハードウェアの一例を示す図である。
【
図4】可視化システムの機能を示すブロック図である。
【
図7】心電図を配置した空間の一例を示す図である。
【
図8】疾患がある場合の拍動ごとの心電図の第1の例を示す図である。
【
図9】疾患がある場合の拍動ごとの心電図の第2の例を示す図である。
【
図10】一拍ずつの心電図の複数の曲線に基づいて得られる断面の第1の例を示す図である。
【
図11】一拍ずつの心電図の複数の曲線に基づいて得られる断面の第2の例を示す図である。
【
図12】一拍ずつの心電図の複数の曲線に基づいて得られる断面の第3の例を示す図である。
【
図13】一拍ずつの心電図の複数の曲線に基づいて得られる断面の第4の例を示す図である。
【
図14】心電図に基づく曲面生成の第1の例を示す図である。
【
図15】ブルガダ症候群の症状が現れているときの断面図の例を示す図である。
【
図16】心電図に基づく曲面生成の第2の例を示す図である。
【
図17】頻拍の症状が現れているときの断面図の例を示す図である。
【
図18】切断用の平面の移動に伴う断面図の変化の一例を示す図である。
【
図19】疾患の発現パターンを示す第1の例を示す図である。
【
図20】疾患の発現パターンを示す第2の例を示す図である。
【
図21】可視化処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る可視化方法の一例を示す図である。
図1には、心電図の可視化方法を実施するための可視化システム10を示している。可視化システム10は、例えば可視化方法の処理手順が記述された可視化プログラムを実行することにより、可視化方法を実施することができる。
【0012】
可視化システム10は、1または複数のコンピュータで実現できる。可視化システム10には、コンピュータに接続されたストレージ装置も含まれる。可視化システム10は、記憶部11と処理部12とを有する。記憶部11は、例えばコンピュータが有するメモリ、またはストレージ装置である。処理部12は、例えばコンピュータが有するプロセッサ、または演算回路である。
【0013】
記憶部11は、心電図データ1を記憶する。心電図データ1は、患者の所定期間の心電図を示すデータである。心電図は、患者の心臓の電気的な活動を示すグラフである。心電図のグラフは、時間の軸と電位の軸とを有する平面上に表される。
【0014】
処理部12は、心電図データ1に基づいて、心電図に表れる疾患の影響を分かりやすく可視化する。すなわち処理部12は、患者の所定期間の心電図を示す心電図データに基づいて、一拍の拍動ごとの心電図を示す複数の曲線3を、3次元座標系2内に、心電図の時間の軸と電位の軸とに対して垂直な軸方向に時系列で並べて配置する。次に処理部12は、並べられた複数の曲線3を含む曲面を生成する。さらに処理部12は、生成した曲面と交差する平面4を生成する。そして処理部12は、生成した曲面と平面4との交線5に基づく図形を出力する。例えば処理部12は、曲面と平面4との交線5に基づいて、曲面よりも電位が低い領域を平面4で切断したときの断面を示す断面
図6を出力する。断面
図6は、例えばモニタに表示される。
【0015】
なお平面4は、例えば、時間の軸と拍動回数の軸とに平行な平面である。平面4が時間の軸と拍動回数の軸とに平行な場合、平面4は特定の電位の平面となる。すると曲面と平面4との交線5は、平面4で示される電位の等電位線に相当する。平面4が時間の軸と拍動回数の軸とに平行な場合、断面
図6は、その平面4内での交線5の内部を塗りつぶした図形が、曲面よりも電位が低い領域を平面4で切断したときの断面として表示される。
【0016】
また平面4は、拍動回数の軸に平行であり、時間の軸に対して傾いた平面であってもよい。平面4が時間の軸に対して傾いている場合、例えば、交線5を時間の軸と拍動回数の軸とに並行な平面に投影することで得られる図形の内側を他と異なる色で塗りつぶした図形が、曲面よりも電位が低い領域を平面4で切断したときの断面として表示される。
【0017】
このようにして、長い期間の心電図データ1に記録された心電図の一部に疾患の影響が現れている場合において、疾患の症状が出ていることを容易に認識できるようになる。例えば、患者に疾患の症状が出たとき、心電図のR波の強さ(電位)が弱くなるものとする。このような疾患が予想される場合、例えばユーザが、一拍ごとの心電図の複数の曲線3を含む曲面と交差する平面4を、正常なときの心電図のR波のピークより少し下の位置に生成するように可視化システム10に指示する。すると処理部12が、指定された位置に平面4を生成し、そのときの交線5に基づく断面
図6を出力する。断面
図6には、患者に疾患の症状が出ていない期間(拍動回数の軸方向の範囲)は断面が表示されるが、それ以外の期間では断面が表示されない。ユーザは断面
図6を参照することで、断面が表示されていない期間は、患者に疾患の症状が現れていると容易に判断することができる。
【0018】
処理部12は、生成した平面4の位置を心電図の電位の軸方向に平行移動させることもできる。その場合、処理部12は、平面4が移動するごとに、曲面と平面4との交線5に基づく図形を出力する。例えば処理部12は、平面4の移動を一定間隔で繰り返し、その都度、平面4の位置に応じた断面
図6をモニタに表示させる。これにより、予め適切な平面4の位置が不明な場合であっても、平面4の移動に伴う断面
図6に表示される断面形状の変化により、疾患の症状が現れた期間を容易に認識可能となる。
【0019】
処理部12は、複数の曲線3の配置では、一拍の拍動ごとの心電図に示される一拍に要する時間が所定時間となるように一拍に要する時間を正規化して、一拍の拍動ごとの心電図を示す複数の曲線3を配置してもよい。一拍に要する時間を正規化することで、患者の心拍数の変動の影響により心電図が読み取りづらくなることを抑止することができる。
【0020】
なお、一拍に要する時間を正規化しない方が、疾患の影響が明確になる場合もある。例えば徐脈のように、一拍の心電図の複数の曲線の形状(波形)は正常な状態と大きくは変わらないが、心拍数が大きく変わる場合、一拍に要する時間を正規化しない方が、疾患の影響が心電図に明確に現れる。
【0021】
〔第2の実施の形態〕
次に第2の実施の形態について説明する。第2の実施の形態は、心電図データにおける疾患の影響が表れた箇所を分かりやすく可視化すると共に、該当箇所の心電図データに基づいて心臓シミュレーションを行うことで、疾患の影響による心臓の状態を可視化する可視化システムである。
【0022】
図2は、第2の実施の形態に係る可視化システムの一例を示す図である。患者30は、例えば携帯型の心電計31を装着する。携帯型の心電計31は、ホルター心電計とも呼ばれる。心電計31には、複数の電極32が接続されている。複数の電極32それぞれは、患者30の胸部における所定の箇所に取り付けられる。心電計31は、複数の電極32を介して心臓を伝わる電気信号を計測し、心電図データとして記録する。例えば心電計31は、24時間以上の期間、心電図データの記録を行う。心電計31は、可視化システム100と無線または有線で通信することができる。
【0023】
可視化システム100は、心電計31から心電図データを取得する。そして可視化システム100は、取得した心電図データに基づいて、患者30の心臓の状態を可視化する。
図3は、可視化システムのハードウェアの一例を示す図である。可視化システム100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
【0024】
メモリ102は、可視化システム100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
【0025】
バス109に接続されている周辺機器としては、ストレージ装置103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107および通信インタフェース108がある。
【0026】
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、コンピュータの補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
【0027】
グラフィック処理装置104には、モニタ21が接続されている。グラフィック処理装置104は、プロセッサ101からの命令に従って、画像をモニタ21の画面に表示させる。モニタ21としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
【0028】
入力インタフェース105には、キーボード22とマウス23とが接続されている。入力インタフェース105は、キーボード22やマウス23から送られてくる信号をプロセッサ101に送信する。なお、マウス23は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0029】
光学ドライブ装置106は、レーザ光などを利用して、光ディスク24に記録されたデータの読み取り、または光ディスク24へのデータの書き込みを行う。光ディスク24は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク24には、DVD(Digital Versatile Disc)、DVD-RAM、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)などがある。
【0030】
機器接続インタフェース107は、可視化システム100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置25やメモリリーダライタ26を接続することができる。メモリ装置25は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ26は、メモリカード27へのデータの書き込み、またはメモリカード27からのデータの読み出しを行う装置である。メモリカード27は、カード型の記録媒体である。
【0031】
通信インタフェース108は、他のコンピュータまたは通信機器との間でデータの送受信を行う。通信インタフェース108は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。通信インタフェース108は、例えば心電計31と無線で通信を行う。
【0032】
可視化システム100は、以上のようなハードウェアによって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示した可視化システム10も、
図3に示した可視化システム100と同様のハードウェアにより実現することができる。
【0033】
可視化システム100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。可視化システム100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、可視化システム100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。また可視化システム100に実行させるプログラムを、光ディスク24、メモリ装置25、メモリカード27などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
【0034】
このようなハードウェアの可視化システム100を用いて、心電計31から取得した心電図データに基づいて、心電図に表れる疾患の影響を可視化することができる。例えば可視化システム100は、心電図のうち、患者30の疾患の影響が表れた部分を容易に特定できるように可視化する。そして可視化システム100は、患者30の疾患の影響が表れた部分の心電図データを用いて心臓シミュレーションを行い、疾患の影響が出たときの心臓の挙動を3次元のモデルで再現する。
【0035】
なお、心電図に表れる波形をそのまま画面に表示するだけでは、以下のような問題がある。
心電図データに基づいて、心臓シミュレーションにより、患者30の心臓の挙動を再現するサービスを実現しようとした場合、医師は、まず、すべての心電図データの中から、疾患の影響が表れている部分を特定する。患者30の心電図データが、24時間以上の長期間のデータの場合、医師がすべての心電図の波形を目視で確認して、疾患の影響が現れている部分を特定するのには時間がかかる。
【0036】
そこで可視化システム100は、心電図データ内の心臓シミュレーションへの入力とするデータの特定時間を短くするため、心電図における特異な部分が明確となるように心電図を可視化する。しかし、心電図から特異な部分を特定にするためには、以下のような点に困難性がある。
1)変化している箇所(該当心電図だけでなく、その周辺の心電図)の心電図から心臓の状態を適切に読み取るのが容易ではない。
2)一拍動の実際の時間間隔を分かりやすく表示するのが難しい。
3)洞調律の影響で1分間あたりの心拍数が50回以下となる洞性徐脈、または100回以上になる洞性頻脈の抽出が困難である。
4)疾患ごとの波形の特徴の違いを正しく見分けるのが容易ではない。
【0037】
なお、心電図から見分けることができる疾患としては、不整脈または興奮伝導の異常などがある。不整脈には様々な種類がある。例えば心房頻脈、心室頻脈、房室ブロックなど、不整脈にも様々な症状がある。心電図に影響が表れる疾患の種類が多いため、単に心電図の波形だけを医師が確認した場合、心電図の異常を見つけることができても、その異常の原因がどのような疾患に起因しているのかを迅速に判断するのは容易ではない。
【0038】
特に、疾患の影響が常に心電図に現れているのではなく、1日のうちに数回程度だけ発生する場合もある。このような場合、
図2に示したような携帯型の心電計31を用いて患者30の心電図を長時間計測することとなる。すると医師が確認する心電図も長時間分となり、その中から疾患の影響が表れている部分を特定するのには時間がかかる。
【0039】
そこで可視化システム100は、長期間の心電図であっても、疾患の影響が表れている部分を容易に特定できるように、心電図を可視化する。
以下、可視化システム100の機能について説明する。
【0040】
図4は、可視化システムの機能を示すブロック図である。可視化システム100は、心電図データ取得部110、記憶部120、心電図可視化部130、および心臓シミュレーション部140を有する。
【0041】
心電図データ取得部110は、心電計31から心電図データ121を取得する。心電図データ取得部110は、取得した心電図データ121を記憶部120に格納する。心電図データ取得部110は、例えば、プロセッサ101が通信インタフェース108を制御することで実現される。
【0042】
記憶部120は、心電図データ121と心臓モデルデータ122とを記憶する。心臓モデルデータ122は、患者30の心臓の形状を表す3次元モデル(心臓モデル)のデータである。記憶部120は、例えば可視化システム100のメモリ102またはストレージ装置103の記憶領域の一部を利用して実現される。
【0043】
心電図可視化部130は、心電図データ121に基づいて、心電図を可視化する。例えば心電図可視化部130は、心電図データ121を心臓の拍動で一拍分ずつのデータに分割し、分割したデータに応じた心電図の複数の曲線を並べたグラフを生成する。
【0044】
さらに心電図可視化部130は、並べられた心電図の複数の曲線を包含する曲面を生成し、その曲面を所定の平面で切断した断面図を表示する。限定的な期間だけ、疾患の影響が心電図に表れている場合、断面図に示される曲面の断面形状がいびつな形となり、疾患があることが一目瞭然となる。心電図可視化部130は、疾患が検出された部分の心電図データを心臓シミュレーション部140に送信する。心電図可視化部130は、例えばプロセッサ101に、心電図可視化用の可視化プログラムを実行させることで実現することができる。
【0045】
心臓シミュレーション部140は、疾患が検出された部分の心電図データを用いて、疾患が表れている期間の心臓の挙動のシミュレーションを行う。例えば心臓シミュレーション部140は、心臓モデルデータ122を記憶部120から読み込む。次に心臓シミュレーション部140は、心臓モデルデータ122から患者30の心臓モデルを生成する。そして心臓シミュレーション部140は、疾患が検出された部分の心電図データに従って、心臓モデルの形状を変形させ、心臓モデルが変化する様子をモニタ21に表示する。心臓シミュレーション部140は、例えばプロセッサ101に、心臓シミュレーション用の心臓シミュレーションプログラムを実行させることで実現することができる。
【0046】
次に、心電図データ121について説明する。
図5は、心電図データの一例を示す図である。心電図データ121には、測定した時刻に対応付けて、電極によって計測した電位が設定されている。心電図データ121から、心電
図41を生成することができる。心電
図41は、横軸が時刻、縦軸が電位となっている。
【0047】
心電
図41では、心臓の拍動の1周期ごとに、同じような波形が繰り返される。拍動の1周期内には、主にP波、Q波、R波、S波、T波と呼ばれる波形が含まれる。以下、P波、Q波、R波、S波、T波を纏めてPQRST波と呼ぶこともある。医師は、これらの波の形、幅、高さに基づいて、疾患の有無を判断する。また複数の波の間の時間間隔も、疾患の有無の判断に利用される。
【0048】
次に、心臓モデルデータ122について説明する。
図6は、心臓モデルデータの一例を示す図である。心臓モデルデータ122は、例えば非構造格子型データである。心臓モデルデータ122には、節点情報テーブル122aと要素情報テーブル122bとが含まれる。節点情報テーブル122aには、節点ごとに、節点番号と節点の位置を示す座標とが設定されている。なお、節点情報テーブル122aに設定されている各節点の座標は、シミュレーション開始前の節点の位置を示しており、シミュレーションにより心臓の拍動が再現されると、節点の位置が変化する。要素情報テーブル122bには、要素ごとに、要素番号と4面体の要素の頂点となる節点の節点番号とが設定されている。
【0049】
このような心臓モデルデータ122に基づいて、3次元の心臓モデル33が生成できる。心臓モデル33は、4面体の要素の集合体である。このような心臓モデル33に対して、心電図データに基づく電気信号の条件を与えることで、心臓の心筋を介した電気信号の伝播状況(興奮伝播)の再現シミュレーションを実行できる。そして、興奮伝播の状況に応じて、心筋の収縮や拡張の動作を心臓モデル33で再現させることで、患者30自身の心臓の動きの可視化が可能となる。
【0050】
次に、心電図可視化部130における処理を具体的に説明する。心電図可視化部130は、まず心電図データ121を、拍動ごとのデータに分割する。そして心電図可視化部130は、例えば一拍分の心電図それぞれの時間を揃えて、3次元座標系に配置する。
【0051】
図7は、心電図を配置した空間の一例を示す図である。例えば心電図可視化部130は、心電
図42に示される時系列の電位の変化から、PQRST波を検知し、P波の開始時を、分割時刻とする。そして心電図可視化部130は、分割時刻を区切りの時刻とする時間帯ごとに、該当時間帯内の時刻が設定された心電図データのレコードをグループ化する。
図7の例では、時刻t0~t1の時間帯、時刻t1~t2の時間帯、および時刻t2~t3の時間帯に、心電図データが分けられている。時刻t0~t1の時間帯には、1回目の拍動(拍動回数:1)の心電図を表す心電図データが含まれる。時刻t0~t1の時間帯には、2回目の拍動(拍動回数:2)の心電図を表す心電図データが含まれる。時刻t2~t3の時間帯には、3回目の拍動(拍動回数:3)の心電図を表す心電図データが含まれる。
【0052】
心電図可視化部130は、拍動ごとの心電図データそれぞれに基づく各一拍分の心電図を、開始時刻をt0に揃えて3次元座標系43に配置する。3次元座標系43は、時間[sec]の軸、電位の電位[mV]の軸、拍動回数[n]の軸を有する。
図7に示す心電
図42は、心臓が正常に拍動しているときの心電図を示している。そのため、一拍ごとの心電図の波形も揃っている。
【0053】
なお心臓に疾患のない人であっても、脈の早さは一定ではない。例えば階段を上っているときと椅子に座っているときとでは、脈の早さは異なる。脈の速さが早いときは、一拍の周期が短い。一拍ごとの心電図の波形を比較する場合、一拍の周期にばらつきがあると比較しづらい。そこで心電図可視化部130は、一拍ごとの拍動の時間を、例えばt0(拍動開始時間)~t1(拍動終了時間)の期間の長さに合わせて正規化することができる。t0~t1の期間の長さは、例えば正常時の心拍の平均的な周期とする。
【0054】
正規化する場合、心電図可視化部130は、各電位の測定時刻の一拍の期間の開始からの時間を、t0~t1の一拍の周期に合わせて修正する。例えばt0~t1の一拍の周期をT1、正規化対象の一拍分の心電図データにおける一拍の周期をT2とする。このとき心電図可視化部130は、正規化対象の一拍分の各電位の測定時刻の拍動の開始からの経過時間を、「T1/T2」倍する。例えば一拍の周期T2が通常の周期T1の半分(T2=T1/2)の場合、心電図可視化部130は、該当の一拍の開始からの各電位の計測時までの経過時間を2倍(T1/T2=T1/(T1/2)=2)する。これにより、一拍の周期をt0~t1に合わせることができる。
【0055】
図8は、疾患がある場合の拍動ごとの心電図の第1の例を示す図である。
図8には、患者30が完全房室ブロックを患っている場合の心電図を、分割して3次元座標系43に配置した場合の例が示されている。
図8の例では、各拍動の周期は正規化されている。完全房室ブロックでは、心房側からの電気信号が心室へ伝わらなくなる。すると、心室は自分で電気信号を発生し、収縮活動を始める。その結果、心電図の波形が乱れる。
【0056】
図9は、疾患がある場合の拍動ごとの心電図の第2の例を示す図である。
図9には、患者30が多源性の心室期外収縮を患っている場合の心電図を、分割して3次元座標系43に配置した場合の例が示されている。
図9の例では、各拍動の周期は正規化されている。心室期外収縮では、心室で発生した異常な電気刺激によって、心室の正常な拍動が起こる前に心室が活性化される。その結果、心室において余分な拍動が生じ、心電図の波形が乱れる。
【0057】
図8または
図9では、疾患の影響が現れている部分に着目して示しているため、疾患の影響が分かりやすくなっている。しかし、例えば24時間分の心電図の中から、
図8または
図9に示すような疾患の影響を受けた心電図の波形を見つけ出すのは、単に拍動ごとの波形を見比べていたのでは時間がかかる。
【0058】
そこで心電図可視化部130は、3次元座標系43に並べられた一拍ずつの心電図の複数の曲線を包含する滑らかな曲面を生成する。
図8に示すような正常な心臓の心電図であれば、生成される曲面は拍動回数の軸方向へは傾斜せず、時間の軸方向にのみ傾斜する曲面となる。他方、疾患がある場合、拍動ごとの心電図の波形が揃わなくなる。
【0059】
図8または
図9の例では、3次元座標系43に並べられた一拍ずつの心電図の複数の曲線を包含する滑らかな曲面は、正常な期間と完全房室ブロックの症状が表れた期間との間で拍動回数方向に大きく歪むこととなる。
【0060】
拍動回数方向の傾斜の有無によって、正常な状態から逸脱した拍動ごとの心電図が存在することは分かるが、それが疾患に起因するものなのか否かについては、心電図をより詳細に観察することとなる。そこで、心電図可視化部130は、3次元座標系43に、心電図の複数の曲線を含む曲面を切断する平面を定義する。この切断用の平面は、例えば時間の軸と拍動回数の軸とに平行な平面である。また切断用の平面は、拍動回数の軸には平行であるが、時間の軸に対しては、所定の傾きを有する平面であってもよい。
【0061】
心電図可視化部130は、一拍ずつの心電図の複数の曲線を包含する曲面より下側(電位の軸の負の方向)の領域と切断用の平面との交差する部分の断面を求める。心電図可視化部130は、断面形状をモニタ21に表示する。断面には、疾患により生じる心電図の波形の変化が、明瞭に現れる。
【0062】
図10は、一拍ずつの心電図の複数の曲線に基づいて得られる断面の第1の例を示す図である。
図10には、完全房室ブロックの症状が表れている心電図の複数の曲線を包含する曲面の下側の領域を、切断用の平面51で切断し、曲面の下側の領域の断面52を得た場合の例が示されている。なお
図10の例では、各拍動の周期は正規化されている。
【0063】
完全房室ブロックの症状が現れると、R波の山の高さが低くなる(R波のピークの電位が小さくなる)。そのため切断用の平面51として、正常な場合のR波の高さ(R波のピークの電位)より少し低い位置に設定したとき、完全房室ブロックの症状が現れた期間は断面が表れず、完全房室ブロックの疾患があることが明確となる。
【0064】
図11は、一拍ずつの心電図の複数の曲線に基づいて得られる断面の第2の例を示す図である。
図11には、多源性の心室期外収縮の症状が表れている心電図の複数の曲線を包含する曲面の下側の領域を、切断用の平面51で切断し、曲面の下側の領域の断面53を得た場合の例が示されている。なお
図11の例では、各拍動の周期は正規化されている。
【0065】
多源性の心室期外収縮の症状が現れた期間では、一拍内でのR波の発生時間が正常時とずれている。また多源性の心室期外収縮の症状が現れた期間では、T波のピークの高さが低くなっている。この場合、切断用の平面51を、正常な場合のT波の高さ(T波のピークの電位)より少し低い位置に設定したとき、完全房室ブロックの症状が現れた期間が明確となる。すなわちR波の位置がずれていること、およびT波の断面が表れないことから、該当期間に、完全房室ブロックの症状が現れていることが明確となる。
【0066】
図12は、一拍ずつの心電図の複数の曲線に基づいて得られる断面の第3の例を示す図である。
図12には心室頻脈の症状が表れている心電図の複数の曲線を包含する曲面の下側の領域を、切断用の平面51で切断し、曲面の下側の領域の断面54を得た場合の例が示されている。なお
図12の例では、各拍動の周期は正規化されていない。
【0067】
心室頻脈の症状が現れると、低い山の波形が短周期で繰り返される。そのため切断用の平面51を、正常な場合のT波の高さ(T波のピークの電位)より少し低い位置に設定すると、心室頻脈の症状が現れた期間は、早い段階で断面が現れ、R波とT波を区別できないことから、心室頻脈の疾患があることが明確となる。
【0068】
図13は、一拍ずつの心電図の複数の曲線に基づいて得られる断面の第4の例を示す図である。
図13には発作性上室性頻拍の症状が表れている心電図の複数の曲線を包含する曲面の下側の領域を、切断用の平面51で切断し、曲面の下側の領域の断面55を得た場合の例が示されている。なお
図13の例では、各拍動の周期は正規化されていない。
【0069】
発作性上室性頻拍の症状が現れると、ピークが2つある山の波形が短周期で繰り返される。そのため切断用の平面51を、正常な場合のR波の高さ(R波のピークの電位)より少し低い位置に設定すると、心室頻脈の症状が現れた期間は、早い段階で短い期間に分かれた2つの断面が現れることから、発作性上室性頻拍心室頻脈の疾患があることが明確となる。
【0070】
図14は、心電図に基づく曲面生成の第1の例を示す図である。
図14の例では、正常な状態の心電
図61とブルガダ症候群の症状が現れているときの心電
図62とを示している。それぞれの心電
図61,62から曲面63が生成される。曲面63の下側の領域を切断用の平面で切断することで断面図が生成される。
【0071】
図15は、ブルガダ症候群の症状が現れているときの断面図の例を示す図である。
図15の例では、T波のピークより少し下を通る位置に切断用の平面が設定されている。心電図可視化部130は、切断用の平面で曲面63を切断し、断面
図64を生成する。断面
図64の下側に、正常時の心電
図61の複数の曲線に応じた断面が示されており、断面
図64の上側に、ブルガダ症候群の症状が現れているとき心電
図62の複数の曲線に応じた断面が示されている。断面
図64により、ブルガダ症候群の症状が現れていることが明確となる。
【0072】
図16は、心電図に基づく曲面生成の第2の例を示す図である。
図16の例では、正常な状態の心電
図71と頻脈の症状が現れているときの心電
図72とを示している。それぞれの心電
図71,72から曲面73が生成される。曲面73を切断用の平面で切断することで断面図が生成される。
【0073】
図17は、頻拍の症状が現れているときの断面図の例を示す図である。
図17の例では、正常な状態でのT波のピークより少し下を通る位置に切断用の平面が設定されている。心電図可視化部130は、切断用の平面で曲面73を切断し、断面
図74を生成する。断面
図74の下側に、正常時の心電
図71の複数の曲線に応じた断面が示されており、断面
図74の上側に、頻拍の症状が現れているときの心電
図72の複数の曲線に応じた断面が示されている。断面
図74により、頻脈の症状が現れていることが明確となる。
【0074】
上記のように、疾病に応じた断面図が生成される。このような断面図を表示すれば、長期間にわたる心電図の変化を、断面図形状の変化によって視覚的に容易に認識可能となる。なお、患者が有する疾病の種類ごとに、その疾病の特徴が断面図に現れる切断用の平面の位置が異なる。そこで心電図可視化部130は、切断用の平面を上方(電位の軸の正の方向)から徐々に下げ、切断用の平面の位置ごとの断面図を表示する。医師は、切断用の平面の移動に伴う断面図の変化を観察し、断面図に疾患の特徴が現れるか否かを確認する。
【0075】
図18は、切断用の平面の移動に伴う断面図の変化の一例を示す図である。
図18に示す心電
図81は、正常な状態の心電図を示している。切断用の平面82を上方から徐々に下げたとき、最初の断面
図83では、正常な心電
図81のR波のピーク付近の断面が現れる。断面
図83では、R波を示す断面が途中で途切れていることから、何らかの疾患の症状が現れていることが分かる。しかし、断面
図83では、疾患の種類までは特定できない。
【0076】
切断用の平面82が下方に移動すると、断面
図84では、正常な期間については、R波の期間とT波のピーク付近との断面が現れる。疾患の影響が現れている期間にも、断面が現れている。
【0077】
切断用の平面82がさらに下方に移動すると、断面
図85には、正常な期間については、Q波とS波の期間に断面が現れている。疾患の影響が現れている期間には、4カ所に短期間分の断面が現れている。
【0078】
このように、切断用の平面82の位置を移動させていくことで、疾患の影響が現れる期間の断面の様子が変化する。そして医師は、これらの断面の変化の様子から、疾患の種別を特定することができる。
【0079】
心電図の変化を断面図で表すことで、長い期間の心電図の全体を容易に可視化することができる。長い期間分の心電図を可視化できることで、疾患の発現パターンの把握が容易となる。
【0080】
図19は、疾患の発現パターンを示す第1の例を示す図である。
図19には、24時間分の心電図データに基づいて生成した断面
図91が示されている。断面
図91を参照すると、24時間の内に、疾患による心電図の乱れが定期的に発生していることが分かる。このように、断面
図91で可視化することで、疾患の症状の発現が周期的であることを容易に把握できる。
【0081】
図20は、疾患の発現パターンを示す第2の例を示す図である。
図20には、24時間分の心電図データに基づいて生成した断面
図92が示されている。断面
図92を参照すると、24時間の内に数回、特定の心電図の乱れがあった後に、疾患による心電図の乱れが発生していることが分かる。このように、断面
図92で可視化することで、疾患の症状の発現が、心電図に影響を及ぼす別の何らかの事象と相関があることを容易に把握できる。
【0082】
次に、可視化システム100における可視化処理の手順について具体的に説明する。
図21は、可視化処理の手順の一例を示すフローチャートである。以下、
図21に示す処理をステップ番号に沿って説明する。
【0083】
[ステップS101]心電図可視化部130は、記憶部120から心電図データ121を読み込む。
[ステップS102]心電図可視化部130は、心電図データ121を一拍の拍動ごとの区間に分割する。
【0084】
[ステップS103]心電図可視化部130は、一拍の時間を正規化するか否かを判断する。例えば心電図可視化部130は、正規化の有無を問い合わせるメッセージを表示し、そのメッセージに対して、正規化すると入力された場合、正規化すると判断する。また心電図可視化部130は、正規化しないと入力された場合、正規化しないと判断する。心電図可視化部130は、正規化する場合、処理をステップS104に進める。また心電図可視化部130は、正規化しない場合、処理をステップS105に進める。
【0085】
[ステップS104]心電図可視化部130は、拍動一拍の時間をt0-t1の時間に正規化する。t0-t1の時間は、例えば正常な心電図が現れている期間の平均的な一拍の時間である。
【0086】
[ステップS105]心電図可視化部130は、区間ごとの心電図データを配列に保存する。例えば心電図可視化部130は、2次元配列を定義する。心電図可視化部130は、2次元配列の1つ目の要素番号には、区間の順番(拍動回数)が設定される。2次元配列の2つ目の要素番号には、該当区間内で計測された電位の識別番号が設定される。そして配列の値として、該当区間内で計測された電位と、該当区間の開始時刻から電位の計測時刻までの経過時間との組が設定される。
【0087】
[ステップS106]心電図可視化部130は、一拍の区間ごとの心電図を示す複数の曲線を、3次元座標系の拍動回数の軸方向に、拍動の順番で並べて配置する。
[ステップS107]心電図可視化部130は、配置した区間ごとの心電図の複数の曲線を包含する曲線σを生成する。曲線σは例えばNURBS曲線である。
【0088】
[ステップS108]心電図可視化部130は、切断用の平面を、3次元座標系の上方(電位の正の方向)に設定する。例えば心電図可視化部130は、心電図データ121に示されている電位の最大値を通り、時間の軸と拍動回数の軸とに平行な平面を、切断用の平面の初期状態とする。
【0089】
[ステップS109]心電図可視化部130は、曲面σを切断用の平面で切ったときの断面図を生成する。
[ステップS110]心電図可視化部130は、断面図をモニタ21に表示する。
【0090】
[ステップS111]心電図可視化部130は、断面位置を移動させるか否かを判断する。例えば心電図可視化部130は、予め断面位置の自動移動が指定されている場合、移動停止の指示の入力がされていない限り、切断用の平面が下限に達するまで移動させると判断する。また心電図可視化部130は、自動移動が指定されていない場合、移動の指示を待つ。心電図可視化部130は、移動の指示が入力された場合、移動させると判断する。心電図可視化部130は、移動停止の指示が入力された場合、移動を停止させると判断する。心電図可視化部130は、断面位置を移動させる場合、処理をステップS112に進める。また心電図可視化部130は、断面位置の移動を停止する場合、処理をステップS113に進める。
【0091】
[ステップS112]心電図可視化部130は、切断用の平面を所定量だけ下方に移動させる。その後、心電図可視化部130は、処理をステップS109に進める。
[ステップS113]心電図可視化部130は、断面図に基づいて疾患があるか否かによって処理を分岐させる。例えば心電図可視化部130は、疾患を検出したとの入力があった場合、処理をステップS114に進める。また心電図可視化部130は、疾患がないとの入力があった場合、可視化処理を終了する。
【0092】
[ステップS114]心電図可視化部130は、疾患が現れている期間の心電図、そのときの断面図を表示する。また心臓シミュレーション部140は、疾患が現れている期間の心電図データに基づいて、疾患の症状が現れているときの心臓の挙動のシミュレーションを実施し、心臓モデルによってその挙動を再現する。心臓シミュレーション部140は、心臓モデルによって再現された心臓の挙動をモニタ21に表示する。
【0093】
このようにして、心電図に基づく断面図の表示により、断面形状の判断による疾患の有無および疾患の種別の判断が可能となる。さらに、疾患が見つかった場合には、そのときの心電図および断面図に加え、心臓の挙動を3次元の心臓モデルで再現することができる。
【0094】
図22は、可視化画面の一例を示す図である。可視化画面93には心電図表示部93a、断面表示部93b、および心臓挙動表示部93cが含まれる。
心電図表示部93aには、一拍の区間ごとに並べられた心電図が表示される。例えば24時間以上の長期の心電図データのうち、疾患の影響が現れている期間として指定された期間の心電図データに基づいて、該当期間の心電図が心電図表示部93aに表示される。また心電図表示部93aには、断面表示部93bに表示される断面図の生成に使用された切断面を表示することもできる。
【0095】
心電図表示部93aには、心電図の複数の曲線を含む曲面σを表示することもできる。この場合、心電図可視化部130は、例えば曲面σ内の、各拍動中のPQRST波それぞれの間隔(PR間隔、QRS間隔、RR間隔、QT間隔)に対応する領域を、予め設定されたカラーマップに従いを配色する。心電図可視化部130は、例えば、時間間隔の長い領域について強調するような配色を行う。また心電図可視化部130は、QRS振幅についても、色彩の違いにより、振幅の大きさを分かりやすく表示することもできる。
【0096】
例えば心電図表示部93aは、勾配の大きさに応じた色を定義したカラーマップを保持する。カラーマップには、例えば勾配の最小値から勾配の最大値までの勾配に応じた色の変化が指定されている。心電図表示部93aは、PQRST波それぞれの間の区間における勾配を求める。心電図表示部93aは、カラーマップの最小値と最大値の色を、区間の勾配の最小値と最大値に割り当てる。そして心電図表示部93aは、区間の勾配の最小値から最大値までの範囲に、カラーマップの最小値と最大値との間の色を割り当てる。そして心電図表示部93aは、曲面σを、勾配に応じた色に彩色する。
【0097】
このように曲面σに勾配に応じた色を彩色することで、それまでに起こった拍動の状態と異なる拍動が心電図に現れた場合に、曲面σの色の変化によって識別することが可能となる。
【0098】
断面表示部93bには、心電図に基づいて生成された曲面の断面図が表示される。例えば断面表示部93bには、疾患の特徴を明確に表すことができる切断用の平面により曲面を切断したときの断面図が表示される。
【0099】
心臓挙動表示部93cには、疾患が現れている期間の心電図データに基づいて再現された心臓の挙動の、3次元の心臓モデルの形状の時系列変化による再現画像が表示される。例えば心電図表示部93aまたは断面表示部93bに対して、心臓の挙動の再現対象の拍動回数(何回目の拍動か)が指定されると、心電図可視化部130は、その拍動回数に対応する心電図データを心臓シミュレーション部140に送信する。心臓シミュレーション部140は、受信した心電図データに基づいて心臓の挙動のシミュレーションを実行し、心臓モデルにより心臓の挙動を再現する。疾患の影響が現れている拍動回数が指定された場合には、疾患の影響で不自然な動きをする心臓が、可視化表示されることとなる。
【0100】
このようにして、心電図に基づく疾患の有無の判断の容易化が可能となる。すなわち、一拍の拍動ごとに分けて並べられた心電図の複数の曲線を含む曲面の断面図により、疾患の特徴を分かりやすく表示することができる。しかも一拍分の心電図の時間の正規化を行うことで、心拍数の変化の影響を低減することができ、疾患による影響をより強く断面図に表すことができる。
【0101】
なお医師は、一拍分の心電図の時間を正規化して可視化処理を実行したときに疾患を見つけられなかった場合、例えば、可視化システム100に、正規化をせずに可視化処理を実行させる。正規化をしないことで、一拍動ごとの実際の一拍の周期の違いが分かりやすく表示される。その結果、徐脈または頻脈のように、正規化すると見つけづらい疾患を、正規化しないことで見つけやすくなる。このように、正規化の有無が選択可能であることにより、より多くの疾患を見落とさずに見つけ出すことが可能となる。
【0102】
〔その他の実施の形態〕
第2の実施の形態では、切断用の平面を上方から下方に向かって移動させているが、心電図可視化部130は、逆に下方から上方に向かって移動させてもよい。
【0103】
また心電図可視化部130は、3次元座標系の時間の軸に対して、切断用の平面を傾けて生成してもよい。疾患によっては、切断用の平面を時間の軸に対して傾けた方が、その疾患の心電図に現れる影響が、断面図上でより明確になる場合があり得る。疾患の有無を診断しようとする場合、医師は、可視化システム100に対して、切断用の平面の傾きを設定する。これにより、可視化システム100は、時間の軸に対して傾いた切断用の平面による断面を表示させることができる。
【0104】
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
【符号の説明】
【0105】
1 心電図データ
2 3次元座標系
3 複数の曲線
4 平面
5 交線
6 断面図
10 可視化システム
11 記憶部
12 処理部