特許 7487965 グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-13

(45)【発行日】2024-05-21

(54)【発明の名称】グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法

(51)【国際特許分類】

   G06N 3/0464 20230101AFI20240514BHJP

   G06N 3/04 20230101ALI20240514BHJP

   G06N 3/084 20230101ALI20240514BHJP

   G06N 3/09 20230101ALI20240514BHJP

   G06N 20/00 20190101ALI20240514BHJP

   A61B 5/346 20210101ALI20240514BHJP

   G16H 50/20 20180101ALI20240514BHJP

【ＦＩ】

G06N3/0464

G06N3/04 100

G06N3/084

G06N3/09

G06N20/00 130

A61B5/346

G16H50/20

【請求項の数】 8

(21)【出願番号】P 2022196838

(22)【出願日】2022-12-09

(65)【公開番号】P2023104885

(43)【公開日】2023-07-28

【審査請求日】2022-12-09

(31)【優先権主張番号】202210083513.8

(32)【優先日】2022-01-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】505072650

【氏名又は名称】浙江大学

【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＵＮＩＶＥＲＳＩＴＹ

(74)【代理人】

【識別番号】100103207

【弁理士】

【氏名又は名称】尾崎 隆弘

(72)【発明者】

【氏名】劉華鋒

(72)【発明者】

【氏名】彭建輝

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０２０－０８７１２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３９４４９９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１３４７０８１２（ＣＮ，Ａ）

【文献】中国特許出願公開第１１２９０６７４８（ＣＮ，Ａ）

【文献】尾亦 範泰ほか，深層学習を用いた心電図波形の長期変動パターン抽出法，一般社団法人 人工知能学会 第３２回全国大会論文集ＤＶＤ ［ＤＶＤ－ＲＯＭ］，（一社）人工知能学会，2018年06月05日，2H2-04

【文献】Ao RAN et al.，Multi-label Classification of Abnormalities in 12-Lead ECG Using Deep Learning，2020 Computing in Cardiology Conference (CinC) [online]，2020年12月30日，https://www.cinc.org/archives/2020/pdf/CinC2020-139.pdf [2023年12月15日検索]，DOI: 10.22489/CinC.2020.139

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ａ６１Ｂ ５／３４６

Ｇ１６Ｈ ５０／２０

(57)【特許請求の範囲】

【請求項1】

下記のステップを含むグラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法。
（1）体表12誘導心電図信号を採集、取得し、各リードの心電図信号を同じ信号長さまでにサンプリングする。
（2）ノード相互情報プーリングU形グラフ畳み込みネットワークを構築し、グラフ畳み込みネットワークにおける特徴によりモジュールを抽出して心電図信号の深さ上の特徴を抽出するようにする。
（3）前記の深さ上の特徴に対する1層1次元畳み込みにより構築するグラフの特徴マトリックスを取得し、マトリックスの行に対応するのが予測する各種の不整脈の病型、マトリックスの列が各病型に対応する特徴ベクトルである。そして、グラフの特徴マトリックスを無向グラフ構造

に転換する。その中、

無向グラフの点集合であり、集合で各ノードが各種の不整脈の病型に対応し、Eは無向グラフの辺の集合であり、ノード間の類似程度を記録していて、Wは重みマトリックスであり、辺に応じる重みに属し、Xはノード特徴マトリックス、Aはノード隣接マトリックスである。
（4）転換による無向グラフをグラフ畳み込みネットワークにおけるグラフ・エンコーディングモジュールに入力する。このモジュールは無向グラフ進行ノード相互情報の定量計算のためのものであり、最大の相互情報のノードのサブセットを探し、選定して無向グラフにおけるノード数量を少なくし、ダウンサンプリングを達成するようにする。
（5）ノード数量が少なくされた無向グラフをグラフ畳み込みネットワークにおける画像復号化モジュールに入力する。このモジュールは既存のノード・インデックスにより無向グラフに対するアップサンプリングを行って元のノード数量に恢復し、新規グラフの特徴マトリックスを生成し、ダウンサンプリング前のグラフの特徴マトリックスと加算させてから出力する。
（6）出力されたグラフの特徴マトリックスに対する合計、最大、最小及び平均の操作を行い、4種の操作後の結果を特徴ベクトルにスプライシングし、全結合層に入力し、最終にマッピングにより種別の不整脈疾患の確率値を取得する。
（7）大量の心電図信号データ及び不整脈の病型ラベルを利用し、交差エントロピー損失関数によりグラフ畳み込みネットワークを訓練し、訓練を完成してから心電図心拍数のマルチタイプを取得できる。

【請求項2】

前記の特徴抽出モジュールが1次元畳み込み層、残差ネットワークResNet34及び平均プーリング層から相次ぎに結合して構成し、ResNet34における畳み込み層の全部が1次元畳み込みに替えられることを特徴とする請求項1に記載の心電図心拍数マルチタイプの予測方法。

【請求項3】

前記のグラフ・エンコーディングモジュールが下式により最大の相互情報のノードのサブセットを選択することを特徴とする請求項1に記載の心電図心拍数マルチタイプの予測方法。

その中、

は多層パーセプトロン、

はR-hopグラフ畳み込みにより達成する。

【請求項4】

無向グラフに対するアップサンプリングまたはダウンサンプリングを行ってから対応するグラフの特徴マトリックスに対する1層のグラフ畳み込みを行ってグラフにおけるすべてのノードの特徴を更新するようにしなければいけないことを特徴とする請求項1に記載の心電図心拍数マルチタイプの予測方法。

【請求項5】

前記のステップ（7）で交差エントロピー損失関数が収束するまでネットワークにおけるパラメータに対する反復更新を行うことを特徴とする請求項1に記載の心電図心拍数マルチタイプの予測方法。

【請求項6】

前記の交差エントロピー損失関数が下式で表現されることを特徴とする請求項1に記載の心電図心拍数マルチタイプの予測方法。

その中、

【請求項7】

前記のステップ（4）でノード相互情報プーリングがグラフ・エンコーディングモジュールの中心であることを特徴とする請求項1に記載の心電図心拍数マルチタイプの予測方法。その中、グラフプーリング部がノード選択及び新規グラフ構成の生成に関わり、この部がノードと隣接ノードとの間の相互情報得点を計算し、前のK個で得点が最も高いノード・インデックスに戻る。

【請求項8】

前記のステップ（5）で、アップサンプリングの場合に前に記録したノード・インデックスを利用し、新規グラフの特徴マトリックス

が生じるようにし、そしてアップサンプリングされるグラフの特徴マトリックスと同一の層のダウンサンプリングされるグラフの特徴マトリックスとの加算を行ってアップサンプリングされたグラフの特徴マトリックスを取得することを特徴とする請求項1に記載の心電図心拍数マルチタイプの予測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は心臓電気生理学的疾患の予測技術分野に属し、具体的に、グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法に関わる。

【背景技術】

【0002】

心血管疾患は一連の心臓または血管関連疾患の総称であり、ずっと以来人の命を脅かす主要な病気の一つであり、それによる死亡率が依然として第一位にある。ECG(心電図信号)は人間が最も早期に研究され、医学臨床に応用される生物信号の一つであり、心電図は人体心臓の健康状況を反映し、臨床で心血管系疾患を診断するための重要な依拠である。心電図数量の快速的な成長に伴って、コンピュータ支援心電図分析に対する需要はもっと緊迫的になり，心電図自動分類はコンピュータ支援心電図分析を達成するための不可欠の技術手段として医学上の重要な価値がある。今、マシンラーニングとAI支援診断は迅速的な発展を取得している。

【0003】

従来の心電図心拍数のマルチタイプの予測構築法は大体に2タイプに分けられる。その1タイプは心電図の形態上の特徴(ビート間の間隔、振幅及び面積など)に基づいて特徴選択を行って診断決定のレベルを向上させるものであり、実施して煩雑である上、ECG信号データに対する更に深い特徴的能力が乏しい。他の1タイプの心拍数マルチタイプの予測は心電図に対する複雑な心拍のセグメンテーションを行い、畳み込みニューラルネットワークにより自動的特徴抽出と決定を行う。現在、このタイプ関係の研究は多く行われていて、主にCNNまたはLSTM関係のモデルアルゴリズムで行われるが、こんな研究データの前処理の過程が非常に複雑であり、方法にエンドツーエンドのリアルタイム実施の特性がなく、操作が複雑である。それと同時に、これらの方法は今までの研究に予測される心拍数タイプの数量が大体に2種または数種だけであり、予測タイプの数量があまり多くなく、実際な使用上の意義が大きくない。例えば、文献[李潤川、張行進、陳剛、姚金良,於▲じえ▼、王宗敏：多特徴融合に基づく心拍タイプ識別に関する研究[J].鄭州大学学報(工学版),2021,42(04):7-12.DOI:10.13705/j.issn.1671-6833.2021.04.011]で原始心電グラフデータに対するノイズ除去及び心拍ピーク値位置確定を行ってから前処理後に取得した心拍形態上の特徴を算出し、そしてKNNアルゴリズムにより異常タイプの五分類予測を行う。この方法は前期の前処理過程が複雑であり、KNNアルゴリズムにより高い効率で各心拍数タイプを区分できない同時に、関わる心拍数タイプが少なく、使用上の意義があまり大きくない。文献[朱俊江、楊▲るー▼▲るー▼、厳天宏、孫▲しあお▼、卓威：2重畳み込みニューラルネットワークに基づく心電図タイプの認識方法及び装置[P].上海市：CN110236520A,2019-09-17]は畳み込みニューラルネットワークによりマルチリードの心電グラフデータ分類から自動的に深さ上の特徴を抽出してからこの特徴に対する最終的二分類予測を行う。この方法は自動深さ上の特徴を利用するが、特徴表現があまり深くなく，最終予測心拍数異常タイプが二分類であり、更に複雑なデータで更に多く、更に複雑な予測を行うことができない。

【0004】

そして、エンドツーエンドでき、複雑なデータ前処理過程が不要であり、見事に自動的に心電図原始データを表現できる方法を提出することは極めて重要な現実的な意義がある。

【発明の開示】

【発明が解決しようとする課題】

【0005】

上記を踏まえて、本発明はグラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法を提供し、12リード電気信号を無向グラフに替え、無向グラフでノード間の関係を利用し、ノード相互情報プーリングU形グラフネットワークにより疾患間の隠された特徴をラーニングして予測結果の正確性を向上させる。

【課題を解決するための手段】

【0006】

下記のステップを含むグラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法。

【0007】

（1）体表12誘導心電図信号を採集、取得し、各リードの心電図信号を同じ信号長さまでにサンプリングする。

【0008】

（2）ノード相互情報プーリングU形グラフ畳み込みネットワークを構築し、グラフ畳み込みネットワークにおける特徴によりモジュールを抽出して心電図信号の深さ上の特徴を抽出するようにする。

【0009】

（3）前記の深さ上の特徴に対する1層1次元畳み込みにより構築するグラフの特徴マトリックスを取得し、マトリックスの行に対応するのが予測する各種の不整脈の病型、マトリックスの列が各病型に対応する特徴ベクトルである。そして、グラフの特徴マトリックスを無向グラフ構造

に替える。その中、

は無向グラフの点集合であり、集合で各ノードが各種の不整脈の病型に対応し、Eは無向グラフの辺の集合であり、ノード間の類似程度を記録していて、Wは重みマトリックスであり、辺に応じる重みに属し、Xはノード特徴マトリックス、Aはノード隣接マトリックスである。

【0010】

（4）転換による無向グラフをグラフ畳み込みネットワークにおけるグラフ・エンコーディングモジュールに入力する。このモジュールは無向グラフ進行ノード相互情報の定量計算のためのものであり、最大の相互情報のノードのサブセットを探し、選定して無向グラフにおけるノード数量を少なくし、ダウンサンプリングを達成するようにする。

【0011】

（5）ノード数量が少なくされた無向グラフをグラフ畳み込みネットワークにおける画像復号化モジュールに入力する。このモジュールは既存のノード・インデックスにより無向グラフに対するアップサンプリングを行って元のノード数量に恢復し、新規グラフの特徴マトリックスを生成し、ダウンサンプリング前のグラフの特徴マトリックスと加算させてから出力する。

【0012】

（6）出力されたグラフの特徴マトリックスに対する合計、最大、最小及び平均の操作を行い、4種の操作後の結果を特徴ベクトルにスプライシングし、全結合層に入力し、最終にマッピングにより種別の不整脈疾患の確率値を取得する。

【0013】

（7）大量の心電図信号データ及び不整脈の病型ラベルを利用し、交差エントロピー損失関数によりグラフ畳み込みネットワークを訓練し、訓練を完成してから心電図心拍数のマルチタイプを取得できる。

【0014】

より一歩に、前記の特徴抽出モジュールは1次元畳み込み層、残差ネットワークResNet34及び平均プーリング層から相次ぎに結合して構成し、ResNet34における畳み込み層の全部が1次元畳み込みに替えられる。

【0015】

より一歩に、前記のグラフ・エンコーディングモジュールが下式により最大の相互情報のノードのサブセットを選択する。

【0016】

【0017】

その中、

【0018】

は多層パーセプトロン、

はR-hopグラフ畳み込みにより達成する。

【0019】

より一歩に、無向グラフに対するアップサンプリングまたはダウンサンプリングを行ってから対応するグラフの特徴マトリックスに対する1層のグラフ畳み込みを行ってグラフにおけるすべてのノードの特徴を更新するようにしなければいけない。

【0020】

より一歩に、前記のステップ（7）で交差エントロピー損失関数が収束するまでネットワークにおけるパラメータに対する反復更新を行う。

【0021】

より一歩に、前記の交差エントロピー損失関数が下式で表現される。

【0022】

【0023】

その中、

【0024】

より一歩に、前記のステップ（4）でノード相互情報プーリングがグラフ・エンコーディングモジュールの中心である。その中、グラフプーリング部がノード選択及び新規グラフ構成の生成に関わり、この部がノードと隣接ノードとの間の相互情報得点を計算し、前のK個で得点が最も高いノード・インデックスに戻る。

【0025】

より一歩に、前記のステップ（5）でアップサンプリングの場合に前に記録したノード・インデックスを利用し、新規グラフの特徴マトリックス

が生じるようにし、そしてアップサンプリングされるグラフの特徴マトリックスと同一の層のダウンサンプリングされるグラフの特徴マトリックスとの加算を行ってアップサンプリングされたグラフの特徴マトリックスを取得する。

【発明の効果】

【0026】

他のマシンラーニングまたは深さラーニング方法との違いとして、本発明では、タイミング電気信号をグラフ構成に表示し、そしてグラフ畳み込みのラーニング方法により特徴を更新し、グラフ畳み込みネットワーク(GCN)がグラフ領域信号処理理論を拡張し、GCNが生成する関係感知表示が極めて大きくCNN特徴の識別能力を強化し、且つモデルの解釈可能性が更に良く臨床医師を支援できる。CNN畳み込みと比べて、GCNは隣接マトリックスが包括的に更に多くの疾患及び患者関係の情報により患者の心電データを分析し、更に有効に心拍数の異常及び各種の不整脈(心房性、心室期外収縮など)を発見できるので、患者に対する有効なモーニングを達成できる。また、実際な測定によるECG信号は自身に各種の干渉（一般的にベースラインドリフト、EMG干渉及び電源周波数干渉を含む）があり、ベースラインドリフトの周波数がとても低く、その範囲が0.05～数Hz、主成分が0.1Hz程度にあるが、心電図信号のP波、T波及びST段の周波数もとても低く、その範囲が0.5～10Hzにあり、両者のスペクトルが非常に近く、ノイズを除去する同時に、心電図信号成分に決まった損失を引き起こすのが避けられない。従来の大多数の方法は原始信号に対するバンドパス フィルタリングを行って関係のノイズを除去するのを含むが、実際のところ、信号の真理値に対してとても重要な影響が生じ、決まった程度で不正確なモデルランニングにつながる。よって、本発明では、直接に原始ECG信号データに基づくことを考えに入れ、データの損失を避け、タイミング電気信号データをグラフに替えてグラフ畳み込みにより計算を行い、心電図誘導間の関係を予測される疾患タイプ間の関係に替え、解の精度を向上させ、計算を簡単にするようにする。

【0027】

本発明による予測モデルはノード相互情報プーリンググラフ畳み込みネットワークに基づき、体表のECG原始信号により正確に不整脈のタイプを予測でき、グラフ構成の構築で疾患間の特徴上の関係を考えに入れ、元々CNNによる各ラベルの「ファジー」特徴に対するディープラーニングを行い、グラフドメインで相互の重合を行って更に相互影響により更に正確な各種の心拍数特徴を取得でき、そして最終に決定を提供する。本発明は臨床診断及び治療に重要な参考意義があり、直接に体表ECG信号により不整脈診断を行う事ができ、決まった程度でバンドパス フィルタリングノイズ除去などの方法によるデータの歪みを避けていて、診断の正確性を向上させている。

【図面の簡単な説明】

【0028】

【図1】本発明の予測方法のプロセスのイメージ

【図2】ノード相互情報プーリングU形グラフ畳み込みネットワーク構成のイメージ

【図3】ノード相互情報ダウンサンプリングプロセスのイメージ

【図4】本発明と他の従来のアルゴリズムの実験結果指標との比較結果のイメージ

【発明を実施するための形態】

【0029】

更に詳細に本発明について説明するために、次に図及び実例と合わせて本発明の技術策について更に詳細に説明する。

【0030】

図1のとおりに、本発明では、グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法は下記のステップを含む。

【0031】

（1）患者体表の12リード電気信号を採集し、各リードの電気信号を同じ信号長さにリサンプリングし、リサンプリング後のデータが同じ長さの1次元データの12個であると、直接にモデルに入力できる。

【0032】

（2）訓練データに多種のタイプの疾患ラベルがあるので、疾患に応じる患者数量のアンバランスがある。よって、訓練データ各種の心拍数タイプラベルの数量を計算してから最終に必要な、最適化された交差エントロピー損失関数の各重みを直して数量が少ない疾患タイプに対する本発明による方法による予測程度を向上させる。

【0033】

【0034】

その中、

【0035】

（3）データを構築するグラフ畳み込みネットワークにおける特徴抽出モジュールに通信してモジュールに抽出される深さ上の特徴を取得する。グラフ畳み込みネットワーク構成は図2のとおりである。特徴抽出モジュールは構成が1次元畳み込み層とResNet34残差との結合トランク及び平均プーリング層である。その中、ResNet34における畳み込み層の全部が1次元畳み込みに替えられる。

【0036】

（4）深さ上の特徴に対する1 層の1次元畳み込みを行って構築するグラフの特徴マトリックスHを取得する。グラフの特徴マトリックスは行数が近似的に予測される疾患の合計、列数が各ノードに対応する特徴ベクトルを代表する。ここでは、近似的にノードベクターを各タイプの疾患の「ファジー特徴」にする。

【0037】

そして、グラフの特徴マトリックスを無向グラフ構造

に替える。その中、

はグラフGの頂点セットであり、即ちすべての心臓ノードの集合である。EはグラフGの辺の集合であり、各ノード間の相似程度を記録する。Wは重みマトリックスであり、辺に応じる重みである。

はノード特徴マトリックスである。

【0038】

(5）転換による無向グラフをノード相互情報プーリングU形グラフ畳み込みネットワークのグラフ・エンコーディングモジュールに入力する。図3のとおりに、このモジュールでは、相互情報ノードのプーリングはグラフデータについてノード相互情報得点の計算を行い、最大の相互情報ノードのサブセットを探してノード選択を行う。

【0039】

【0040】

その中、

【0041】

普通、ノードと周りの隣接ノードとの間の相互情報値は同時確率分布と辺縁確率分布との間のKL発散値と定義される。即ち、

【0042】

【0043】

その中、

【0044】

KL発散度とf発散度との間の関係により、ノード特徴とその分野特徴との間の相互情報値見積は下式で表示できる。

【0045】

【0046】

その中、

【0047】

関数

はニューラルネットワークを代表し、下記のとおりに、頂点埋め込み関数

、近傍埋め込み関数

及び頂点隣接アフィニティ関数

という訓練可能な関数の3つから構成する。

【0048】

【0049】

その中、

は各々MLPの2つ、

はR-hopグラフ畳み込みに替えられる。

【0050】

（6）ノード数量を少なくした後のグラフをもう一度グラフ表現デコードモジュールに入力する。その中、アップサンプリングの場合に前に記録したノード・インデックスを利用し、新規グラフの特徴マトリックス

が生じるようにし、そしてアップサンプリングされるグラフの特徴マトリックスと同一の層のダウンサンプリングされるグラフの特徴マトリックスとの加算を行ってアップサンプリングされたグラフの特徴マトリックスを取得する。

【0051】

（7）グラフのダウンサンプリングとアップサンプリングとの間、グラフの特徴マトリックスは一層のグラフ畳み込み層によりグラフにおけるすべてのノードの特徴を更新しなければいけない。その中、グラフ畳み込みは下式で算出される。

【0052】

【0053】

その中、

【0054】

（8）取得したグラフの特徴マトリックスに対してグラフ特徴を読み出し、即ちグラフにおけるすべてのノードに対して合計、最大、最小及び平均を行い、共にグラフの出力特徴にする。

【0055】

（9）グラフの出力特徴を取得してから特徴を全結合層に入力し、最後に出力される種別の疾患の確率値にマッピングされる。

【0056】

【0057】

その中、

【0058】

（10）モデル前方向計算の全部は関数

で表し、同時にAdamアルゴリズムによりモデル訓練の時に完全なモデルのパラメータを更新する。

【0059】

【0060】

その中、

【0061】

本発明による方法の有効性を検証するために、私達は43100個の患者心電データで訓練と試験を行った。その中、ランダムでデータの70%を訓練セット、30%を試験セットにする同時に、若干の主要心拍数異常分類モデルで比較を行った。図4に本発明モデルと他の分類モデル結果のprecision-recallカーブを示す。よると、本発明による方法は1D-resnet34など他のモデルしか利用しない方法より予測結果が更に良く、疾患ノード相互情報ダウンサンプリンググラフ畳み込みに対して有効である。それによると、本発明によるモデルは畳み込みニューラルネットワークの特徴の上、更に深く心電データの隠された特徴をランニングでき、極めて大きくマルチラベル関係の予測に対するモデルの表現力を向上させていて、更に有効に疾患間の関係を判定でき、正確に支援診断を行うことができる。

【0062】

実例に関する上記の説明は本技術分野の通常の技術者が容易に本発明を理解、応用するためのものである。明らかに、本分野の技術をよく知るものは創造的労働をしないで容易に上記の実例を様々に直し、ここで説明した一般原理を他の実例に応用することできる。よって、本発明は前記の実例に限るものではなく、本分野の技術者が本発明の開示により本発明に対して行う改善でも直しでも本発明の請求項にある。

【図1】

【図2】

【図3】

【図4】