特許 7091451 人工知能自己学習に基づく心電図自動解析方法、その解析方法の実行に用いられる装置、コンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-17

(45)【発行日】2022-06-27

(54)【発明の名称】人工知能自己学習に基づく心電図自動解析方法、その解析方法の実行に用いられる装置、コンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   A61B 5/346 20210101AFI20220620BHJP

【ＦＩ】

A61B5/346

【請求項の数】 12

(21)【出願番号】P 2020521443

(86)(22)【出願日】2018-01-12

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 CN2018072348

(87)【国際公開番号】W WO2019100560

(87)【国際公開日】2019-05-31

【審査請求日】2020-04-15

(31)【優先権主張番号】201711203259.6

(32)【優先日】2017-11-27

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520363498

【氏名又は名称】上海▲楽▼普云智科技股▲分▼有限公司

【氏名又は名称原語表記】Ｓｈａｎｇｈａｉ Ｌｅｐｕ ＣｌｏｕｄＭｅｄ Ｃｏ．， ＬＴＤ

【住所又は居所原語表記】１６Ｆ Ｂｌｏｃｋ Ａ， Ｎｏ． ６６８ Ｘｉｎｚｈｕａｎ Ｒｏａｄ， Ｓｏｎｇｊｉａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ Ｐｅｏｐｌｅ’ｓ Ｒｅｐｕｂｌｉｃ ｏｆ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100140822

【弁理士】

【氏名又は名称】今村 光広

(72)【発明者】

【氏名】曹 君

(72)【発明者】

【氏名】姜 ▲艷▼

(72)【発明者】

【氏名】▲劉▼ 涛

(72)【発明者】

【氏名】▲蔵▼ ▲凱▼▲豊▼

(72)【発明者】

【氏名】胡 ▲傳▼言

(72)【発明者】

【氏名】▲劉▼ ▲暢▼

【審査官】藤原 伸二

(56)【参考文献】

【文献】特開２０１７－０７７４６１（ＪＰ，Ａ）

【文献】特表２０１３－５２４８６５（ＪＰ，Ａ）

【文献】特開平１０－０８５１９７（ＪＰ，Ａ）

【文献】国際公開第２０１７／０７２２５０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／３４６－５／３６７

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

心電監視装置より出力されるシングルリード又はマルチリードの時系列データである心電図データを受信することと、
前記心電図データのデータフォーマットをリサンプリングして予め設定された標準データフォーマットに変換し、予め設定された標準データフォーマットに変換された後の心電図データに対してハイパスフィルタ、ローパスフィルタ、及びメディアンフィルタを含む第１フィルタ処理を行うことと、
前記第１フィルタ処理後の心電図データに対して心拍検出処理を行い、前記心電図データに含まれる複数の心拍データを識別し、各前記心拍データは、対応するＰ波、ＱＲＳ群、Ｔ波の振幅データ及び終始時間データを含む一つの心拍期間に対応することと、
トレーニングして得られた干渉識別二項分類モデルに基づいて前記心拍データを干渉識別し、心拍データに干渉ノイズが存在するか、及び干渉ノイズを判定するための一つの確率値を確定することと、
心拍データがどのリードの心拍データであるかを表すパラメータ情報である心拍データのリードパラメータと前記心拍データにより、前記干渉識別の結果と時間規則に基づいて心拍時系列データを併合生成し、前記心拍時系列データから心拍解析データを生成することと、
前記心拍解析データに対して信号品質解析を行い、前記心拍解析データの信号品質を評価し、前記心拍解析データのRR間隔内のQRS群に対するノイズレベルによって表される信号品質評価パラメータを得ることと、
トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することと、
前記一次分類情報の結果における特定の心拍を有する心拍解析データをトレーニング済みのＳＴセグメント及びＴ波変化モデルに入力して識別し、ＳＴセグメント及びＴ波評価情報を確定することと、
前記心拍解析データを前記一次分類情報の下で前記心電図の基本規則参照データ並びに前記ＳＴセグメント及びＴ波評価情報に基づいて二次分類処理を行い、最終的に心拍分類情報を取得することと、
前記心拍解析データを、前記心拍分類情報と心電図の基本規則参照データに基づいて心電図イベントデータとして生成することと、前記信号品質評価パラメータに基づいて心電図イベントデータをスクリーニングし、対応する報告用結論データ及び報告用項目データを得ることと、各種の心電図イベントデータにおける代表的なデータセグメントに基づいて報告用画像データを生成することと、前記報告用項目データ、報告用画像データ及び報告用結論データを出力することとを含む方法がプロセッサにより実行される、ことを特徴とする人工知能自己学習に基づく心電図自動解析方法。

【請求項2】

前記第１フィルタ処理後の心電図データに対して心拍検出処理を行うことは、
前記ＱＲＳ群に基づいてＲＲ間隔を確定して前記ＲＲ間隔におけるノイズの推定値を計算することと、
前記ノイズの推定値と各ＱＲＳ群の最大振幅値に基づき、各ＱＲＳ群の検出信頼度を確定することをさらに含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項3】

前記トレーニングして得られた干渉識別二項分類モデルに基づいて前記心拍データを干渉識別することは、具体的には、
心拍データに対してカットサンプリングするためのデータ量である第１のデータ量で前記心拍データをカットサンプリングし、カットサンプリングして得られたデータを干渉識別二項分類モデルに入力して干渉識別を行うことと、
心拍データのうち、心拍間隔が予め設定された間隔判定閾値以上のデータセグメントを識別することと、
前記心拍間隔が予め設定された間隔判定閾値以上のデータセグメントについて信号異常判定を行い、異常信号であるか否かを判定することと、
異常信号でなければ、所定時間幅で設定時間値に基づき、前記データセグメントにおけるスライドサンプリングの開始データ点及び終了データ点を決定し、前記開始データ点から前記終了データ点まで前記データセグメントをスライドサンプリングして複数のサンプリングデータセグメントを取得することと、
各前記サンプリングデータセグメントに対して前記干渉識別を行うことを含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項4】

前記トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することは、具体的には、
シングルリード心拍解析データについて、前記心拍解析データをトレーニングして得られた対応する前記シングルリード心拍分類モデルに入力し、シングルリード心拍分類モデルに基づき、シングルリード心拍分析データに対して振幅及び時間特徴データの特徴抽出を行うためのデータ量である第２のデータ量で振幅及び時間特徴データの特徴抽出及び解析を行い、前記シングルリード一次分類情報を取得することを含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項5】

前記トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することは、具体的には、
トレーニングして得られた各リードに対応する心拍分類モデルに基づき、各リードの心拍解析データに対してトレーニングして得られた各リードに対応する心拍分類モデルに基づき、マルチリードの心拍解析データに対して振幅と時間特徴データの特徴抽出を行うためのデータ量である第３のデータ量で振幅と時間特徴データの特徴抽出と解析を行い、各リードの分類情報を得ることと、
各リードの分類情報とリード重み値参照係数に基づいて分類投票決定計算を行うことにより、前記一次分類情報を得ることとを含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項6】

前記トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することは、具体的には、
トレーニングして得られたマルチリード同期関連分類モデルに基づき、各リードの心拍解析データに対してトレーニングして得られたマルチリード同期関連分類モデルに基づき、各リードの心拍解析データに対して同期振幅と時間特徴データとの特徴抽出を行うためのデータ量である第４のデータ量で同期振幅と時間特徴データとの特徴抽出と解析を行い、心拍解析データの一次分類情報を取得することを含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項7】

前記一次分類情報における特定の心拍を有する心拍解析データを、トレーニング済みのＳＴセグメント及びＴ波変化モデルに入力して識別し、ＳＴセグメント及びＴ波評価情報を確定することは、具体的には、
前記一次分類情報における特定心拍データを、トレーニングして得られたＳＴセグメント及びＴ波変化モデルにリードに沿って順次に入力し、各リードの特定心拍データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、各リードのＳＴセグメント及びＴ波変化情報を取得し、具体的には前記心拍データセグメントに対応するＳＴセグメント及びＴ波が変化するリード位置情報であるＳＴセグメント及びＴ波評価情報を確定することを含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項8】

前記各種の心電図イベントデータの代表的なデータセグメントに基づき、報告用画像データを生成することは、具体的には、
前記信号品質評価パラメータに基づき、各種の心電図イベントのデータセグメントを評価し、信号品質評価パラメータが最も高いデータセグメントを前記心電図イベントの代表的なデータセグメントとして選択することを含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項9】

前記方法は、
前記心拍分類情報の修正情報を受信することと、
修正後データをトレーニングサンプルデータとして、前記人工知能に基づく自己学習型心電図自動解析方法におけるモデルトレーニングに用いることをさらに含む、ことを特徴とする請求項１に記載の心電図自動解析方法。

【請求項10】

メモリとプロセッサとを備える装置であって、前記プロセッサは、請求項１～９のいずれか１項に記載の方法の実行に用いられ、前記メモリは、該プロセッサに請求項１～９のいずれか１項に記載の方法を実行させるためのプログラムを記憶するのに用いられる、ことを特徴とする装置。

【請求項11】

請求項１～９のいずれか１項に記載の方法をコンピュータに実行させる、コンピュータプログラム製品。

【請求項12】

請求項１～９のいずれか１項に記載の方法をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１７年１１月２７日に中国特許庁に提出された出願番号が２０１７１１２０３２５９．６であり、発明の名称が「人工知能自己学習に基づく心電図自動解析方法及び装置」である中国特許出願の優先権を主張するものである。

【0002】

本発明は、人工知能データ解析という技術分野に関し、特に、人工知能自己学習に基づく心電図自動解析方法及び装置に関する。

【背景技術】

【0003】

１９０８年にＥｉｎｔｈｏｖｅｎは、心電図( Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｐｈｙ，ＥＣＧ )を用いて心臓の電気生理学的活動を測定し始め、現在、非侵襲的な心電図検査は、臨床心血管分野における心臓疾患の診断及びスクリーニングのための重要な方法の１つとなっている。心電図検査は、臨床上の使用状況に応じて、静的心電図、動的心電図及び運動心電図などに大別できる。静的心電図は、Ｅｉｎｔｈｏｖｅｎ－Ｗｉｌｓｏｎ－Ｇｏｌｄｂｅｒｇｅｒによって発明された１２誘導法(標準誘導法)を用いて、８～３０秒の心電図信号を記録して解析するが、様々な不整脈及び伝導ブロックの診断分析に肯定的価値を有し、冠動脈心疾患診断における最も早く、最も一般的に使用され、及び最も基本的な診断方法である。動的心電図は、２４時間から数日までの心電活動の全過程を連続的に記録でき、休憩、活動、食事、仕事、学習及び睡眠など様々な状況における心電図情報を含み、従来の心電図検査では見つけにくい不連続な不整脈を発見でき、患者の心悸、めまい、ふらつきなどの症状が極度の徐脈、心臓停止、伝導ブロック、心室頻拍などの不整脈に関連しているかどうかを確定し、一過性不整脈及び一過性の心筋虚血発作の検出率を向上させるが、臨床において病状を分析し、診断を確定し、治療効果を判断する上で重要な客観的根拠である。Ｈｏｌｔｅｒが１９５７年に動的心電図検査を臨床に導入して以来、簡略化された標準誘導( Ｍａｓｏｎ－Ｌｉｋａｒ誘導)を使用することが一般的となり、測定用リード数として１２、６又は３リード、ひいては１リードのペースタであってもよく、動的心電図の実用性は大幅に改善された。運動心電図は、心電図の運動負荷試験であり、一定量の運動による心臓負荷の増大に起因する心電図の変化の様子を記録解析するが、現在冠状動脈性心疾患の臨床評価に多く用いられている補助的手段である。

【0004】

市場での心電図解析ソフトの大半はデータを自動的に解析することが可能であるが、心電図信号自体の複雑性や変異性により、装着過程で様々な外乱を受けやすいため、現在の自動解析ソフトは精度が十分ではなく、比較的短時間で心電図データを正確に解析して正確な解析報告書を出すという医者の手助けにはならない。

【0005】

人工知能のディープラーニングにおける成熟的な方法を用いて、従来の心電図解析アルゴリズムの精度を高め、特に畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉ―ｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ)画像識別技術を心電図特徴の自動抽出及び分類に適用することは、現在の人工知能( Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ )医療分野での重要な研究方向となっている。２０１７年７月に、有名な人工知能専門家である呉恩達教授が率いたスタンフォード大学チームは、この分野の最新の研究成果をａｒＸｉｖに発表した。彼らは、３４層ＣＮＮモデルを使用し、シングルリードのＨｏｌｔｅｒデータに対して不整脈の測定を行った。具体的には、トレーニングデータは、２９,１６３人の患者の６４,１２１個サンプルからのものを使用し、各サンプルは、長さ３０秒でサンプリング周波数２００ Ｈｚのシングルリードデータであり、毎秒のデータは認証資格を持つ心電図専門家による標記審査を受けた心拍数タイプ( Ｒｈｙｔｈｍ Ｔｙｐｅ)にそれぞれ対応し、１２種類の一般的な不整脈事象、１つの正常の洞調律及びノイズのタイプを含んだ合計１４タイプが標記されている。トレーニング済みモデルは、同じサンプリング周波数のシングルリード標準基準ラベリングデータを使用し、１秒当たりのデータ入力に対して１４種類のイベント認識を行い、同時に６人の心電図専門家のラベリング結果と対照して分析したところ、人工知能方法は、感度(Ｓｅｎｓｉｔｉｖｉｔｙ)及び精度(Ｐｒｅｃｉｓｉｏｎ)の両方の統計値においてともに心電図専門家の平均レベルを超えたと結論付ける。しかしながら、この方法は、以下のようなさらに解決すべき問題が存在する。すなわち、(ａ)識別された不整脈事象の種類が十分ではなく、低電圧や停脈などの場合に特別に対応するものもない。(b) モデルは、シングルリードＨｏｌｔｅｒに対してトレーニングされたものであり、実際の使用では、マルチリード心電図検査が大量に存在し、特に標準１２誘導、動的心電図に一般的に使用される３誘導などの装置がある。マルチリード解析は、不整脈、伝導ブロック、ＳＴセグメント及びＴ波変化の位置特定などをより全面的に正確に解析できるが、これらの機能はシングルリードモデル解析で実現できない。(ｃ)この方法は、ノイズを考慮したとはいえ、ノイズを特殊な心拍イベントとして扱うのに過ぎず、医学的規則に全く合致するものではなく、ノイズの本質から解析識別を行い、ノイズの後続の解析に与える影響を排除したわけではない。(ｄ)この方法は、報告書を自動的に生成する能力がなく、特に、全てのデジタル信号を分析した後、最も代表的で信号品質が最良のセグメントを自動的に切り出して画像報告書を生成することがない。(ｅ) また、この方法は、８～３０秒の静的心電図解析や２４時間の動的心電図解析の流れ全体に如何に応用し、従来の技術と組み合わせて、臨床解析作業者の全作業の質と効率を向上させるかについても説明していない。一方、これらはどれも現在の心電図解析で最も一般的かつ緊急性のある需要である。

【0006】

したがって、どのように病院、特に膨大な各レベルの一般病院を支援し、心電図を読影する十分な専門医者がないという困難な条件下で、最先端の科学方法である人工知能技術を用いることにより、心電図の自動分析レベルを効果的に向上させるかということは、本発明が解決しようとする難題及びチャレンジである。

【発明の概要】

【0007】

本発明は、心電図装置より出力される測定データを自動で迅速且つ完全に解析し、必要な報告用データを得ることのできる人工知能自己学習に基づく心電図自動解析方法及び装置を提供することを目的とする。

【0008】

上記目的を達成するために、本発明の実施例の第１態様は、以下のことを含む人工知能自己学習に基づく心電図自動解析方法を提供する。すなわち、
心電監視装置より出力されるシングルリード又はマルチリードの時系列データである心電図データを受信することと、
前記心電図データのデータフォーマットをリサンプリングして予め設定された標準データフォーマットに変換し、予め設定された標準データフォーマットに変換された後の心電図データに対して第１フィルタ処理を行うことと、
前記第１フィルタ処理後の心電図データに対して心拍検出処理を行い、前記心電図データに含まれる複数の心拍データを識別し、各前記心拍データは対応するＰ波、ＱＲＳ群、Ｔ波の振幅データ及び終始時間データを含む一つの心拍期間に対応することと、
トレーニングして得られた干渉識別二項分類モデルに基づいて前記心拍データを干渉識別し、心拍データに干渉ノイズが存在するか、及び干渉ノイズを判定するための一つの確率値を確定することと、
心拍データのリードパラメータと前記心拍データとにより、前記干渉識別の結果と時間規則に基づいて心拍時系列データを併合生成し、前記心拍時系列データから心拍解析データを生成することと、
前記心拍解析データに対して信号品質解析を行い、前記心拍解析データの信号品質を評価し、前記心拍解析データの信号品質評価パラメータを得ることと、
トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することと、
前記一次分類情報の結果における特定の心拍を有する心拍解析データをトレーニング済みのＳＴセグメント及びＴ波変化モデルに入力して識別し、ＳＴセグメント及びＴ波評価情報を確定することと、
前記心拍解析データを前記一次分類情報の下で前記心電図の基本規則参照データ並びに前記ＳＴセグメント及びＴ波評価情報に基づいて二次分類処理を行い、最終的に心拍分類情報を取得することと、
前記心拍解析データを、前記心拍分類情報と心電図の基本規則参照データに基づいて心電図イベントデータとして生成することと、前記信号品質評価パラメータに基づいて心電図イベントデータをスクリーニングし、対応する報告用結論データ及び報告用項目データを得ることと、各種の心電図イベントデータにおける代表的なデータセグメントに基づいて報告用画像データを生成することと、前記報告用項目データ、報告用画像データ及び報告用結論データを出力することとを含む。

【0009】

好ましくは、前記第１フィルタ処理後の心電図データに対して心拍検出処理を行うことは、
前記ＱＲＳ群に基づいてＲＲ間隔を確定して前記ＲＲ間隔におけるノイズの推定値を計算することと、
前記ノイズの推定値と各ＱＲＳ群の最大振幅値に基づき、各ＱＲＳ群の検出信頼度を確定することをさらに含む。

【0010】

好ましくは、前記トレーニングして得られた干渉識別二項分類モデルに基づいて前記心拍データを干渉識別することは、具体的には、
第１のデータ量で前記心拍データをカットサンプリングし、カットサンプリングして得られたデータを干渉識別二項分類モデルに入力して干渉識別を行うことと、
心拍データのうち、心拍間隔が予め設定された間隔判定閾値以上のデータセグメントを識別することと、
前記心拍間隔が予め設定された間隔判定閾値以上のデータセグメントについて信号異常判定を行い、異常信号であるか否かを判定することと、
異常信号でなければ、所定時間幅で設定時間値に基づき、前記データセグメントにおけるスライドサンプリングの開始データ点及び終了データ点を決定し、前記開始データ点から前記終了データ点まで前記データセグメントをスライドサンプリングして複数のサンプリングデータセグメントを取得することと、
各前記サンプリングデータセグメントに対して前記干渉識別を行うことを含む。

【0011】

好ましくは、前記トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することは、具体的には、
シングルリード心拍解析データについて、前記心拍解析データをトレーニングして得られた対応する前記シングルリード心拍分類モデルに入力し、第２のデータ量で振幅及び時間特徴データの特徴抽出及び解析を行い、前記シングルリード一次分類情報を取得することを含む。

【0012】

好ましくは、前記トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することは、具体的には、
トレーニングして得られた各リードに対応する心拍分類モデルに基づき、各リードの心拍解析データに対して第３のデータ量で振幅と時間特徴データの特徴抽出と解析を行い、各リードの分類情報を得ることと、
各リードの分類情報とリード重み値参照係数に基づいて分類投票決定計算を行うことにより、前記一次分類情報を得ることとを含む。

【0013】

好ましくは、前記トレーニングして得られた心拍分類モデルに基づき、前記心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、前記心拍解析データの一次分類情報を取得することは、具体的には、
トレーニングして得られたマルチリード同期関連分類モデルに基づき、各リードの心拍解析データに対して第４のデータ量で同期振幅と時間特徴データとの特徴抽出と解析を行い、心拍解析データの一次分類情報を取得することを含む。

【0014】

好ましくは、前記一次分類情報における特定の心拍を有する心拍解析データを、トレーニング済みのＳＴセグメント及びＴ波変化モデルに入力して識別し、ＳＴセグメント及びＴ波評価情報を確定することは、具体的には、
前記一次分類情報における特定心拍データを、トレーニングして得られたＳＴセグメント及びＴ波変化モデルにリードに沿って順次に入力し、各リードの特定心拍データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、各リードのＳＴセグメント及びＴ波変化情報を取得し、具体的には前記心拍データセグメントに対応するＳＴセグメント及びＴ波が変化するリード位置情報であるＳＴセグメント及びＴ波評価情報を確定することを含む。

【0015】

好ましくは、前記各種の心電図イベントデータの代表的なデータセグメントに基づき、報告用画像データを生成することは、具体的には、
前記信号品質評価パラメータに基づき、各種の心電図イベントのデータセグメントを評価し、信号品質評価パラメータが最も高いデータセグメントを前記心電図イベントの代表的なデータセグメントとして選択することを含む。

【0016】

好ましくは、前記方法は、
前記心拍分類情報の修正情報を受信することと、
修正後データをトレーニングサンプルデータとして、前記人工知能に基づく自己学習型心電図自動解析方法におけるモデルトレーニングに用いることをさらに含む。

【0017】

本発明の実施例に係る人工知能自己学習に基づく心電図自動解析方法は、データの前処理、心拍特徴検出、ディープラーニング法による干渉信号検出及び心拍分類、信号品質評価とリード併合、心拍の検証、心電図イベント及びパラメータの解析計算、最終的に報告用データを自動的に出力するという完全で高速な流れを含む自動解析方法である。本発明の自動解析方法は、自動解析結果に対する修正情報を記録し、且つこれらの修正データを収集してディープラーニングモデルにフィードバックしてトレーニングを継続させることにより、自動解析方法の精度を絶えずに向上させることもできる。

【0018】

本発明の実施例の第２の態様は、プログラムを記憶するためのメモリと、第１の態様及び第１の態様のそれぞれの実行方式における方法を実行するためのプロセッサとを備える装置を提供する。

【0019】

本発明の実施例の第３の態様は、コマンド含有コンピュータプログラム製品を提供し、コマンド含有コンピュータプログラム製品がコンピュータ上で実行される場合、第１の態様及び第１の態様のそれぞれの実行方式における方法をコンピュータに実行させる。

【0020】

本発明の実施例の第４の態様は、コンピュータプログラムを記憶したコンピュータ可読記憶媒体を提供し、コンピュータプログラムがプロセッサによって実行されると、第１の態様及び第１の態様のそれぞれの実行方式における方法が実現される。

【図面の簡単な説明】

【0021】

【図1】図１は本発明の実施例に係る人工知能自己学習に基づく心電図自動解析のシステム構成図である。

【図2】図２は本発明の実施例に係る人工知能自己学習に基づく心電図自動解析方法のフローチャートである。

【図3】図３は本発明の実施例に係る干渉識別二項分類モデルの模式図である。

【図4】図４は本発明の実施例に係る心拍分類モデルの模式図である。

【図5】図５は本発明の実施例に係るＳＴセグメント及びＴ波変化モデルの模式図である。

【図6】図６は本発明の実施例に係る人工知能自己学習に基づく心電図自動解析の装置構成の模式図である。

【発明を実施するための形態】

【0022】

以下、図面及び実施例により、本発明の技術方案について詳しく説明する。

【0023】

本発明の技術方案を理解しやすくするために、人工知能モデル、特に畳み込みニューラルネットワークモデルの基本原理をまず紹介する。

【0024】

人工知能畳み込みニューラルネットワーク( ＣＮＮ )モデルは、ディープラーニングにおける教師あり学習方法である。すなわち、ニューラルネットワークを模擬した多層ネットワーク(隠れ層ｈｉｄｄｅｎ ｌａｙｅｒ )の接続構造であり、入力信号は各隠れ層を順次に通過し、その中で一連の複雑な数学的な処理( Ｃｏｎｖｏｌｕｔｉｏｎ畳み込み、Ｐｏｏｌｉｎｇプーリング、Ｒｅｇｕｌａｒｉｚａｔｉｏｎ正規化、オーバーフィッティング防止、Ｄｒｏｐｏｕｔ一時廃棄、Ａｃｔｉｖａｔｉｏｎ活性化、一般的にはＲｅｌｕ活性化関数を用いる)を行い、識別対象物のいくつかの特徴を層ごとに自動的に抽象化し、次にそれらの特徴を入力として最後の数層の全結合層( Ｆｕｌｌ Ｃｏｎｎｅｃｔｉｏｎ )が信号全体を再構成するまで上位の隠れ層に再伝達して計算し、Ｓｏｆｔｍａｘ関数を用いてロジスティック（ｌｏｇｉｓｔｉｃｓ）回帰を行い、多目的分類を達成する。

【0025】

ＣＮＮは、人工知能における教師あり学習方法に属する。トレーニング段階では、入力信号は、複数の隠れ層処理を経て最後の全結合層に到達し、ｓｏｆｔｍａｘロジスティック回帰によって得られた分類結果と既知の分類結果( ｌａｂｅｌ ｔａｇ )との間に誤差があるが、ディープラーニングの１つの核となる着想は、多数のサンプル反復によってこの誤差を連続的に極小化し、各隠れ層ニューロンを接続するパラメータを計算して得ることである。このプロセスは、一般に、非線形最適化勾配降下アルゴリズム及び誤差逆伝搬アルゴリズム( ｂａｃｋｐｒｏｐａｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ，ＢＰ )を用いて、深さ(隠れ層の層数)及び広さ(フィーチャの次元数)全体が非常に複雑なニューラルネットワーク構造における全ての接続パラメータを、迅速かつ効率的に最小化する、特別な損失関数( ｃｏｓｔ ｆｕｎｃｔｉｏｎ )を構築することを必要とする。

【0026】

ディープラーニングは、識別が必要なデータをトレーニングモデルに入力し、第１隠れ層、第２隠れ層、第３隠れ層を経て、最後に識別結果を出力する。各層は、異なる抽象度の特徴を抽出し、最終的に、生データが、具体的には、車、人、又は動物などのどのカテゴリであるかを識別する。

【0027】

ディープラーニングのアルゴリズムは、数学的に非常に複雑である。完全なアルゴリズムプログラムを開発するには、極めて高度な専門的知識と豊かな作業経験が必要である。近年、Ｇｏｏｇｌｅ、Ｍｉｃｒｏｓｏｆｔ、Ｂａｉｄｕ、Ｆａｃｅｂｏｏｋなどの企業や一部の著名大学(例えば、カリフォルニア大学バークレー校、カナダのモントリオール大学)も、それぞれの特徴を有する人工知能開発のオーペンソースプラットフォームを次々に開発し、ディープラーニング分野の一部の研究開発会社の該先端技術への迅速な把握に手助けするようにしている。その中でも、バーガーレーのＣａｆｆｅとグーグルのＴｅｎｓｏｒｆｌｏｗは、現在最も広く用いられている２つのフレームワークツールである。

【0028】

ディープラーニングモデルが極めて複雑であるため、必要なトレーニングデータは数十万、数百万から数千万に及ぼし、それに反復を繰り返すことになり、非線形最適化用計算量は非常に膨大になる。実際のプロジェクトでは、通常のコンピュータの中央処理装置を使用して計算すると、多くの場合、十数時間から数日、さらにはそれ以上の時間を要する。この場合、グラフィックスプロセッサ( Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＧＰＵ )計算を用いることにより、計算速度を大幅に向上させることができる。現在、Ｎｖｉｄｉａ社が提供するＧＰＵカードは、強力なグラフィックスとコンピュータビジョン計算能力、大量の線形代数などの計算ライブラリによって並列処理をサポートするため、ディープラーニングの要する様々な方法計算を満たすことができ、現在の人工知能高性能トレーニング及び推論用基礎的なハードウェアとなっている。

【0029】

本発明の人工知能自己学習に基づく心電図自動解析方法は、ＣＮＮモデルによって実現されるものである。

【0030】

本発明の実施例に係る人工知能自己学習に基づく心電図自動解析方法は、図１に示すシステムアーキテクチャに基づいて実現される。そのシステムアーキテクチャは、心電図監視装置１、データ記憶伝送装置２、解析システムハードウェアモジュール３、モデルトレーニングモジュール４、及び解析システム実行モジュール５を備え、解析システム実行モジュール５に係る作業方法及びフローは、解析システムハードウェアモジュール３内で実行される。システムアーキテクチャにおける解析システムハードウェアモジュール３、モデルトレーニングモジュール４及び解析システム実行モジュール５によって人工知能自己学習に基づく心電図自動解析過程を実現する。

【0031】

次に、図２に示すものを参照しながら、本発明の人工知能自己学習に基づく心電図自動解析方法について説明する。本方法は、主に以下のステップを含む。

【0032】

ステップ１００：心電監視装置より出力される心電図データを受信する。

【0033】

具体的には、心電監視装置は、電気信号をデジタル信号に変換して出力するが、具体的にはシングルリード又はマルチリードの時系列データであってもよく、データ記憶伝送装置により生データへの記憶を行い、ＷＩＦＩ、ブルートゥース（登録商標）、ＵＳＢ、３Ｇ/４Ｇ/５Ｇ移動体通信ネットワーク、モノのインターネットなどの方式で解析システムハードウェアモジュールに送信し、入力信号として解析システム実行モジュールに入力することができる。

【0034】

ステップ１１０：心電図データのデータフォーマットをリサンプリングして予め設定された標準データフォーマットに変換し、予め設定された標準データフォーマットに変換された後の心電図データに対して第１フィルタ処理を行う。

【0035】

具体的には、心電図データのフォーマットは、読み取り、リサンプリング、フィルタリング及び標準データフォーマットに適合させて保存される。心電図データのフォーマットは、読み取りに合わせ、異なる装置に対して異なる読み取りが行われ、読み取った後は、ベースラインを調整し、ゲインに応じてミリボルトデータに変換する必要がある。心電データをリサンプリングし、データを全フローが処理可能なサンプリング周波数に変換する。次に、高周波、低周波のノイズ干渉及びベースラインドリフトをフィルタリングによって除去し、人工知能の解析精度を高める。処理後の心電図データを予め設定された標準データフォーマットによって保存する。ここで、標準データフォーマットとは、データ処理の全フローに使用され、データ識別をサポートできるデータフォーマットをいう。

【0036】

このステップにより、異なる心電図装置に使用されるリード、サンプリング周波数及び送信データフォーマットの差異を解消し、高周波、低周波のノイズ干渉及びベースラインドリフトをデジタル信号フィルタリングによって除去することができる。

【0037】

具体的な例では、リサンプリング周波数として２００ Ｈｚであってもよく、一定時間範囲のデータ長の一致性をそれぞれ確保し、演算、訓練及び推論を行うことにより、演算訓練の複雑度や時間をむやみに増大させることなく、比較的に満足な解析結果を得られる。もちろん、心電図装置自体のサンプリング周波数の段々とする増加、ＧＰUの計算性能の持続的な向上やコストの低下、及び人工知能アルゴリズムの絶えない革新や最適化に伴い、サンプリング周波数はさらに向上できる。

【0038】

デジタル信号フィルタリングとしては、それぞれ、ハイパスフィルタ、ローパスフィルタ及びメディアンフィルタを使用することにより、商用周波数干渉、筋電干渉及びベースラインドリフト干渉を除去し、後続の解析への影響を回避することができる。

【0039】

より具体的には、ベースラインのドリフト及び高周波干渉を除去し、有効な心電信号を保留するために、低域通過、高域通過バターワースフィルタを用いてゼロ位相シフトフィルタリングを行うことができる。メディアンフィルタは、ウィンドウ中心シーケンスの振幅を、所定の時間長のスライディングウィンドウ内のデータ点の電圧振幅の中央値で置き換えることができる。低周波のベースラインドリフトを除去することができる。

【0040】

ステップ１２０：第１フィルタ処理後の心電図データに対して心拍検出処理を行い、心電図データに含まれる複数の心拍データを識別する。

【0041】

各心拍データは、対応するＰ波、ＱＲＳ群、Ｔ波の振幅データ及び終始時間データを含む一つの心拍期間に対応する。心拍検出は、ＱＲＳ群検出及びＰ波、Ｔ波検出を含む。

【0042】

ＱＲＳ群検出は、一、前記第１フィルタ処理後の心電図データからＱＲＳ群の特徴周波数帯域を抽出する信号処理過程と、二、適切な閾値を設けることによりＱＲＳ群の発生時間を確定するという二つの過程によって構成される。心電図には、一般にＰ波、ＱＲＳ群、Ｔ波成分及びノイズ成分が含まれる。ＱＲＳ群の周波数は、５～２０ Ｈｚである範囲が一般的であり、この範囲内のバンドパスフィルタを通してＱＲＳ群の信号を抽出することができる。しかし、Ｐ波、Ｔ波、ノイズの帯域はＱＲＳ群の帯域と一部重なるため、信号処理の方法によってＱＲＳ群でない信号を完全に除去することはできない。そこで、適切な閾値を設定することにより、信号の包絡線からＱＲＳ群の位置を抽出する必要がある。具体的な検出過程は、ピーク検出に基づく過程である。信号における各ピークに対して順次に閾値判定を行い、閾値を超えた場合はＱＲＳ群判定フローに入り、より多くの特徴、例えばＲＲ間隔、形態などの検出を行う。

【0043】

心電図、特に長時間記録中の心拍信号の時間領域の不安定性により、心拍信号の振幅や周波数は絶えずに変化し、病気状態では、このような特性がさらに強く現れる。閾値設定を行う場合、時間領域でのデータの特徴の変化の様子に応じて動的に閾値調整を行う必要がある。検出の正確さと陽性率を高めるために、ＱＲＳ群検出は、時間閾値を２倍振幅の閾値に組み合わせて行われることが多く、高い閾値はより高い陽性率を有し、低い閾値はより高い感度を有し、ＲＲ間隔が一定時間(時間閾値)を超える場合、低い閾値を使用して検出を行い、検出漏れを減少させる。一方、低閾値は閾値が低いため、Ｔ波や筋電ノイズの影響を受けやすく、多重検出になりやすいため、好ましくは高閾値を用いて検出する。心拍検出の過程で、ＱＲＳ群の振幅及びＲＲ間隔内のノイズ信号の振幅の比率から、ＱＲＳ群の検出信頼度への推定値を得ることができる。

【0044】

このステップの心拍信号解析では、Ｐ波、Ｔ波及びＱＲＳ群の各特徴も心電図解析の重要な根拠となる。ＱＲＳ群における分割点位置、並びにＰ波及びＴ波の分割点位置を算出することにより、Ｐ波、Ｔ波、ＱＲＳ群の各特徴を抽出する。それぞれＱＲＳ群分割点検出、シングルリードＰＴ検出アルゴリズム及びマルチリードＰＴ検出アルゴリズムにより実現できる。

【0045】

ＱＲＳ群分割点検出：ＱＲＳ群検出アルゴリズムによるＱＲＳ群の電力最大点及び終始点から、シングルリードにおけるＱＲＳ群のＲ点、Ｒ '点、Ｓ点及びＳ '点を探す。マルチリードデータが存在する場合には、各分割点の中央値を最後の分割点位置として算出する。

【0046】

シングルリードＰ波、Ｔ波検出アルゴリズム：Ｐ波とＴ波はＱＲＳ群に比べて振幅が低く、信号が緩やかであり、低周波ノイズに埋もれやすく、検出での難点である。本方法は、ＱＲＳ群検出の結果に基づき、ＱＲＳ群の低周波帯域に対する影響を除去した後、信号をローパスフィルタリングし、ＰＴ波の相対的な振幅を高くする。その後、ピーク検出の方法により２つのＱＲＳ群の間でＴ波を探す。Ｔ波は心室再分極による波群であるため、Ｔ波とＱＲＳ群との間には明確なタイムロック関係がある。検出されたＱＲＳ群を基準として、各ＱＲＳ群から次のＱＲＳ群までの間の中間点(例えば、最初のＱＲＳ群から４００ ｍｓ～６００ ｍｓの範囲に限定される)を取り、それをＴ波検出終了点とし、この区間内で最大のピークをＴ波として抽出する。次に、残りのピークの内で最も振幅の大きいピークをＰ波として選択する。好ましくは、ローパスフィルタの遮断周波数を１０～３０ Ｈｚの間に設定する。

【0047】

マルチリードＰ波、Ｔ波検出アルゴリズム：マルチリードである場合、心拍中の各波の発生時間は同じで空間分布が異なるのに対し、ノイズの時間空間分布が異なるため、トレーサビリティアルゴリズムによりＰ、Ｔ波を検出することがである。まず、信号に対してＱＲＳ群除去処理を行い、干渉除去のためのローパスフィルタをかける。その後、独立成分解析アルゴリズムにより、元の波形における各独立成分を算出する。分離された各独立成分は、そのピーク値の分布特性及びＱＲＳ群の位置に基づき、対応する成分をＰ波及びＴ波信号としてそれぞれ抽出する。

【0048】

ステップ１３０：トレーニングして得られた干渉識別二項分類モデルに基づき、心拍データを干渉識別し、心拍データに干渉ノイズが存在するか否か、及び干渉ノイズを判定するための１つの確率値を得る。

【0049】

心電図検出記録の過程では様々な影響を受けて干渉現象が発生しやすいことにより、取得したデータが無効又は不正確になるため、被検者の状況を正確に反映できないと同時に、医者の診断難度及び作業量を増加させる。同時に、干渉データは、スマート解析ツールが効率的に機能しない要因でもある。このため、干渉を最小限にすることが特に重要になってくる。

【0050】

このステップは、ディープラーニングアルゴリズムを中心としたエンドツーエンドの二項分類識別システムに基づくものであり、高精度で汎用性が高いという特徴があり、電極パッドの脱落、動的干渉、静的干渉など主要な干渉源による干渉問題を効果的に解決し、従来のアルゴリズムが干渉データの多様性や不規則性で識別効果が悪かったという問題を克服した。

【0051】

具体的には、干渉識別過程の主なステップは、以下のことを含んでもよい。

【0052】

ステップ１３１：心拍データに対して干渉識別二項分類モデルを用いて干渉識別を行う。

【0053】

ステップ１３２：心拍データのうち、心拍間隔が予め設定された間隔判定閾値以上のデータセグメントを識別する。

【0054】

ステップ１３３：心拍間隔が予め設定された間隔判定閾値以上のデータセグメントについて信号異常判定を行い、異常信号であるか否かを確認する。

【0055】

ここで、異常信号判定は、主に電極パッド脱落、低電圧であるか否かなどを含む。

【0056】

ステップ１３４：異常信号でなければ、所定時間幅で設定時間値に基づき、心拍データセグメントにおけるスライドサンプリングの開始データ点及び終了データ点を決定し、開始データ点から終了データ点までデータセグメントをスライドサンプリングし、複数のサンプルデータセグメントを取得する。

【0057】

ステップ１３５：各サンプルデータセグメントに対して干渉識別を行う。

【0058】

前記ステップ１３１～１３５について、具体的な例を用いて説明する。各リードの心拍データを第１データ量でカットサンプリングした後、それぞれ干渉識別二項分類モデルに入力して分類し、干渉識別結果と対応結果の１つの確率値を得る。心拍間隔が２秒以上の心拍データについて、オーバーフロー、低電圧、電極抜けであるか否かをまず判定する。そうでない場合は、第１のデータ量により、左側の心拍から右へと連続して第１のデータ量で重ねることなくスライドサンプルして識別する。

【0059】

入力されたのは任意のリードの第１のデータ量の心拍データであってもよく、その後、干渉識別二項分類モデルを用いて分類し、干渉か否かの分類結果を直接出力することにより、結果の取得が速く、精度が高く、安定性が良く、より効率的で良質なデータを後の解析に提供することができる。

【0060】

上記干渉識別二項分類モデルの構造は、人工知能に基づく深層学習畳み込みニューラルネットワークＬｅＮｅｔ-５やＡlｅxＮｅｔなどのモデルから啓発を受けて構築されたエンドツーエンドの二項分類識別システムである。

【0061】

このモデルのトレーニングについて、我々は、３０万人の患者からの精確にラベリングしたデータセグメントを４００万に近く使用した。ラベリングは、正常な心電信号か又は明らかに干渉のある心電信号セグメントという２種類に分類される。我々は、カスタム開発されたツールによってフラグメントラベリングを行い、次いで、干渉フラグメント情報をカスタム標準データフォーマットで保存する。

【0062】

トレーニング過程では、２台のＧＰUサーバを用いて数十回のラウンドトレーニングを行う。具体的な例では、サンプリング周波数は２００ Ｈｚであり、データ長は３００個心電図電圧値(ミリボルト)の１つのセグメントＤ [ ３００ ]であり、入力データはInpuｔＤａｔａ ( ｉ，ｊ ) ( ｉはｉ番目のリードで、ｊはリードｉのＤ番目のセグメント)である。入力データを全てランダムに分散して初めてトレーニングを開始し、トレーニング過程の収束を保証するとともに、同一患者の心電図データからの過度のサンプル収集を制御し、モデルの汎化能力、つまり実際のシチュエーションでの正確度を向上させる。トレーニングが収束された後、１００万個の独立したテストデータを用いてテストを行い、９９.３%の精度を達成できた。その他の具体的な試験データは、下記の表１の通りである。

【0063】

【表1】

【0064】

干渉データは、外乱要因の作用に起因することが多く、主に、電極パッドの脱落、低電圧、静的干渉及び動的干渉などがあり、異なる干渉源による干渉データが異なるだけではなく、同じ干渉源による干渉データも様々である。また、干渉データは多様性が広くても正常データとの差異が大きいことを考慮して、干渉のトレーニングデータを収集する場合も可能な限り多様性を保証しながら、移動ウィンドウ式スライドサンプリングを採用して干渉データの多様性を可能な限り増加させてモデルを干渉データに対してよりロバストにすることによって、将来の干渉データが従来のいかなる干渉と異なっても、正常データと比較して干渉との類似度が正常データよりも大きくなり、モデルが干渉データを識別する能力を向上させることができる。

【0065】

このステップで用いる干渉識別二項分類モデルは、図３に示すように、ネットワークとしてはまず２層の畳み込み層を用い、畳み込みカーネルサイズは１x５で、各層ごとに最大値を加算してプールすることができる。コンボリューションカーネル数は１２８から始まり、最大プーリング層を通過する度にコンボリューションカーネル数は２倍になる。畳み込み層の次には、２つの全結合層と１つのｓｏｆｔｍａｘクラシファイヤとが続く。このモデルの分類数は２であるので、ｓｏｆｔｍａｘは出力手段を２つ有し、対応するクラスに順次に対応し、損失関数としてクロスエントロピーを用いる。

【0066】

ステップ１４０：心拍データのリードパラメータと心拍データに基づき、一つの統合された心拍時系列データを生成し、心拍時系列データに基づいて心拍解析データを生成する。

【0067】

心電信号の複雑さや各リードが異なる程度の干渉を受けている可能性があり、シングルリードで心拍を検出すると、多重検出や検出漏れが発生する場合があり、異なるリードで検出した心拍結果の時間特徴データが揃わないため、全てのリードの心拍データを干渉識別結果と時間規則に基づいて統合し、完全な心拍時系列データを生成し、全てのリード心拍データの時間特徴データを統一する必要がある。ここで、時間特徴データは、心電図データ信号の時間軸上の各データ点の時間情報を表すことに用いられる。この統一された心拍時系列データに基づき、後の解析計算の際には、予め設定された閾値を用いて各リード心拍データをカッティングすることにより、詳細な解析に必要な各リードの心拍解析データを生成することができる。

【0068】

前記各リードの心拍データを統合する前に、ステップ１２０で得られた検出信頼度により心拍データの有効性を判定する必要がある。

【0069】

具体的な心拍データの統合過程は、次のとおりとなる。心電図の基本規則参照データの不応期に応じて、異なるリードの心拍データの時間特徴データの組み合わせを取得し、異なるリードの心拍データのどれでも、該心拍データがどのリードの心拍データであるかを表すためのリードパラメータの情報を有する。次に、ずれの大きい心拍データを破棄し、前記時間特徴データの組み合わせに対して併合心拍位置を投票して生成し、併合心拍位置を併合心拍時系列に加え、次の処理対象となる心拍データグループに移動するが、それを全ての心拍データの併合が完了するまで繰り返す。

【0070】

この場合、心電図活動の不応期は、好ましくは２００ミリ秒～２８０ミリ秒である。取得した異なるリード心拍データの時間特徴データの組み合わせは、心拍データの時間特徴データの組み合わせにおいて、各リードが多くても一つの心拍データの時間特徴データを含むという条件を満たすものである。心拍データの時間特徴データの組み合わせについて投票する際に、心拍データを検出するリード数が有効リード数に占めるパーセンテージを用いて決定する。心拍データの時間特徴データに対応するリードの位置が低電圧セグメント、干渉セグメント及び電極脱落である場合、そのリードは、この心拍データに対して無効なリードであるとみなされる。具体的な併合心拍位置を算出する際には、心拍データの時間特徴データ平均値を用いて求めることができる。統合する際、本方法は、誤った統合を回避するための不応期を設定する。

【0071】

このステップでは、統合操作により１つの統一された心拍時系列データを出力する。該ステップは、心拍の多重検出率及び検出漏れ率を同時に低下させ、心拍検出の感度及び陽性予測率を効果的に向上させることができる。

【0072】

ステップ１５０：心拍解析データに対して信号品質解析を行い、心拍解析データの信号品質を評価し、心拍解析データの信号品質評価パラメータを得る。

【0073】

具体的には、以下のステップを含んでもよい。

【0074】

ステップ１５１：心拍解析データにおけるＱＲＳ群の位置情報及び幅情報を抽出する。

【0075】

ステップ１５２：隣接する２つのＱＲＳ群信号の間のＲＲ間隔の信号を抽出する。

【0076】

ステップ１５３は、ＲＲ間隔の信号に対してフィルタリング処理を行い、フィルタリング処理後の信号に対してエンベロープ計算を行い、ＲＲ間隔のノイズ信号の平均電力を得る。

【0077】

ここで、ＲＲ間隔のノイズ信号の平均電力は、ＲＲ間隔内のエンベロープ振幅の平均値である。

【0078】

ステップ１５４：ノイズ信号の平均電力とＱＲＳ群信号の電力から信号品質評価パラメータを得る。

【0079】

さらに具体的には、信号品質評価パラメータは、ＲＲ間隔内のＱＲＳ群に対するノイズレベルによって表現できる。具体的にはＱＲＳ群の電力とノイズ信号の平均電力から算出して得られる。
以下の式によって表される。

【0080】

【数1】

【0081】

ここで、Ｓ_iはｉ番目のＱＲＳ群の幅であり、Ｎ_i,tはｉ番目のＲＲ間隔区間内のｔ番目のサンプル点の幅であり、ＴはＲＲ間隔の長さである。

【0082】

ステップ１６０：トレーニングして得られた心拍分類モデルに基づき、心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、心拍解析データにおける各心拍データの一次分類情報を得る。

【0083】

具体的には、異なる心電図装置が信号測定、収集又は出力するリードデータなど方面にいて差異を有し、及び実際の応用シチュエーションが異なるが、本発明の心拍の分類方法は、具体的な状況に応じて、簡単なシングルリード分類方法、又はマルチリード分類方法を使用することができる。また、マルチリード分類方法には、リード投票決定分類方法とリード同期関連分類方法という２種類が含まれる。シングルリード分類方法は、シングルリード装置の心拍解析データに対して、対応するリードモデルを用いて直接分類し、投票決定過程を有しないものである。リード投票決定分類方法は、各リードの心拍解析データに基づいてリード独立分類を行い、結果を投票融合して分類結果を決定する投票決定方法である。リード同期関連分類法方法、各リードの心拍解析データを同期関連して解析する手法を用いる。一般的に、比較的少ないリードの数を有する動的心電図に対しては、投票決定方法を選択できるが、標準１２誘導の静的心電図に対しては、リード同期関連方法を使用できる。以下、上述いくつかの分類方法について、それぞれ説明する。

【0084】

シングルリード分類方法は、
心拍時系列データに基づき、第２のデータ量で各シングルリード心拍データをカッティングしてシングルリード心拍解析データを生成し、トレーニングして得られた該リードに対応する心拍分類モデルに入力して振幅及び時間特徴データの特徴抽出及び解析を行い、シングルリードの前記一次分類情報を得る、ことを含む。

【0085】

リード投票決定分類方法は、具体的には、以下のことを含んでもよい。

【0086】

第一、心拍時系列データに基づき、第３のデータ量で各リード心拍データをカッティングして各リードの心拍解析データを生成する。

【0087】

第二、トレーニングして得られた各リードに対応する心拍分類モデルに基づき、各リードの心拍解析データに対して振幅及び時間特徴データの特徴抽出及び解析を行い、各リードの分類情報を得る。

【0088】

第三、各リードの分類情報とリード重み値参照係数に基づいて分類投票決定計算を行い、前記一次分類情報を得る。具体的には、リード重み値参照係数は、心電データのベイズ統計解析に基づいて各リードについて異なる心拍分類に帰属される投票重み係数である。

【0089】

リード同期関連分類方法は、具体的には、
心拍時系列データに基づき、第４のデータ量で各リード心拍データをカッティングして各リードの心拍解析データを生成することと、次に、トレーニングして得られたマルチリード同期関連分類モデルに基づいて各リードの心拍解析データに対して、同期振幅と時間特徴データの特徴抽出と解析を行い、心拍解析データの一次分類情報を得ることとを含んでもよい。

【0090】

心拍データの同期関係分類方法に入力したのは、心電図装置が有する全てのリードデータであり、心拍解析データの統一された心拍部位に従って各リードにおける同一位置かつ一定の長さのデータ点を切り出し、トレーニングされた人工知能深層学習モデルに同期入力して演算解析を行うが、出力したのは、各心拍位置点の全てのリード心電信号の特徴、及び心拍の時間的前後に関連する心拍の特徴を総合的に考慮した正確な心拍分類である。

【0091】

この方法は、心電図の異なるリードデータは実際に心臓の電気信号が異なる心電軸ベクトル方向に流れる情報流を測定したものであることを十分に考慮し、心電図信号が時間及び空間的に送信した多次元デジタル特徴を総合的に解析することにより、従来の方法で一つのリードだけで単独解析した後、その結果をまとめて何らかの統計的投票方法を行うことが分類ミスを起こしやすいという欠点を大幅に改善し、心拍分類の正確度を大きく高めた。

【0092】

このステップにおける心拍分類モデルについて、我々はトレーニングセットが３０万人の患者を含む１７００万のデータサンプルを用いてトレーニングした。これらのサンプルは、心電図解析診断の要求に応じてデータを正確にラベリングして生成したものである。ラベリングは、主に、一般的な不整脈、伝導ブロック並びにＳＴセグメント及びＴ波変化に対するものであり、異なる応用シチュエーションに関するモデルトレーニングを満たすことができる。具体的には、予め設定された標準データフォーマットでラベリングした情報を保存する。トレーニングデータの前処理において、モデルの汎化性を増加させるために、サンプル量の少ない分類に対して小さなスライドを行ってデータを増幅し、具体的には、１心拍ごとに一定のステップ(例えば１０～５０個データ点)で２回移動させることにより、２倍のデータを増加させることができ、これらのデータ量の比較的少ない分類サンプルに対する識別の正確度を向上させることができる。実際の結果、汎化性も改善されることが実証された。

【0093】

実際のトレーニング過程では、２台のＧＰUサーバを用いて数十回のラウンドトレーニングを行い、トレーニングが収束した後に５００万個の独立したテストデータを用いてテストを行うことで、精度が９１.９２%に達成できる。

【0094】

ここで、トレーニングデータの切り出しの長さは、１秒から１０秒であってもよい。例えば、サンプリング周波数が２００ Ｈｚであり、２.５sをサンプリング長として、取得されるデータ長が５００個心電図電圧値(ミリボルトの１つのセグメントＤ [ ５００ ]であり、入力データはＩｎｐｕｔＤａｔａ ( ｉ，ｊ ) (ここで、ｉはｉ番目のリードであり、ｊはリードｉのｊ番目のセグメントＤ )である。入力データを全てランダムに分散して初めてトレーニングを開始し、トレーニング過程の収束を保証するとともに、同一患者の心電図データからの過度のサンプル収集を制御し、モデルの汎化能力、つまり実際のシチュエーションでの正確度を向上させる。トレーニング時には、全てのリードに対応するセグメントデータＤを同期入力し、画像解析によるマルチチャンネル解析手法に従って、各時間位置における複数の空間次元(異なる心電軸ベクトル)のリードデータを同期学習することで、従来のアルゴリズムよりも正確な分類結果を得る。

【0095】

このステップで用いる心拍分類モデルは、図４に示すように、具体的には人工知能深層学習に基づく畳み込みニューラルネットワークＡlｅxＮｅｔ，ＶＧＧ１６，Inｃｅpｔｉonなどのモデルの示唆によるエンドツーエンドマルチラベル分類モデルであってもよい。具体的には、該モデルのネットワークは、７層の畳み込みネットワークであり、各畳み込みの直後に活性化関数が続く。第１の層は、２つの異なる寸法のロールラミネーション、続いて６つのロールラミネーションである。７層畳み込みのコンボリューションカーネルは、それぞれ９６、２５６、２５６、３８４、３８４、３８４、２５６である。第１層コンボリューションカーネルにそれぞれ５と１１という二つのスケールがある以外、他の層コンボリューションカーネルのスケールは５である。３、５、６、７層目は積層後にプール層となる。最後に、２つの完全結合層が続く。

【0096】

ステップ１７０：一次分類情報の結果における特定心拍の心拍解析データを、トレーニング済みのＳＴセグメントとＴ波変化モデルに入力して識別し、ＳＴセグメントとＴ波評価情報を確定する。

【0097】

ここで、一次分類情報の特定心拍データとは、洞調律(Ｎ)を含み、及びＳＴセグメントやＴ波変化を含む可能性のある他の種類の心拍データをいう。一次分類情報結果の特定心拍データをトレーニング済みのＳＴセグメント及びＴ波変化モデルに入力してＳＴセグメント及びＴ波変化を識別し、一次分類情報における特定の心拍データにＳＴセグメント及びＴ波変化データがあるか否かを識別する。その具体的な方法は、一次分類情報において結果が洞調律である各リードデータを、ＳＴセグメント及びＴ波変化モデルに入力し、洞調律データに対して逐一に識別して判断することにより、洞調律にＳＴセグメント及びＴ波変化の特徴の有無、そして発生した具体的なリード位置情報を確認し、ＳＴセグメント及びＴ波評価情報を確定するということである。

【0098】

ここで、ＳＴセグメント及びＴ波評価情報とは、具体的には、心拍セグメントデータに対応するＳＴセグメント及びＴ波が変化したリード位置情報である。臨床診断に必要なＳＴセグメント及びＴ波変化は、具体的なリードまで特定することが必要である。この方法は、一次分類識別された特定の心拍データを、各リードデータに従って、ＳＴセグメントとＴ波変化を識別するための人工知能深層学習モデルに順次に入力し、独立計算解析を行い、出力した結果が、リードセグメントの特徴がＳＴセグメントとＴ波変化に合致するか否かを示す結論であれば、ＳＴセグメントとＴ波変化が生じた具体的なリードの情報を確認できるものである。

【0099】

ＳＴセグメントとＴ波変化を有する心拍は、心拍に占める割合が低く、トレーニングデータの多様性と各種類のデータ量のバランスを両立させるため、ＳＴセグメントとＴ波変化がないものと、ＳＴセグメントとＴ波変化を有するトレーニングデータの割合は約２:１とし、分類する際のモデルの良い汎化能力を確保しつつ、トレーニングデータに多く占める種類の傾向性が現れないことを確保できる。心拍の形態が多種多様であり、異なる個体によって表現される形態は異なるため、モデルが各分類の分布をより良く推定し、特徴を効率的に抽出できるように、トレーニングサンプルは年齢、体重、性別及び居住地域が異なる個人から収集される。また、同一時間帯における個々の個人の心電図データは類似している傾向があるため、過剰学習を避けるために、個々の個人のデータを取得する際に、全てのデータから時間帯の異なる少数のサンプルをランダムに選び出す。最後に、患者の心拍形態は個人差が大きいが、個人内の類似度が高いという特徴があるので、トレーニング、テストセットを分ける際に、異なる患者を異なるデータセットに分け、同一個体のデータがトレーニングセットとテストセットに同時に現れることを避けることで、得られたモデル検査結果が、実際の応用シチュエーションに最も近くなり、モデルの信頼性及び汎用性が保証される。

【0100】

このステップで用いるＳＴセグメント及びＴ波変化モデルは、図５に示すように、具体的には人工知能深層学習に基づく畳み込みニューラルネットワークＡlｅxＮｅｔやＶＧＧ１６などのモデルの示唆によるエンドツーエンド分類モデルであってもよい。具体的には、このモデルは、７層のネットワークであり、モデルは、７つの畳み込み、５つのプール及び２つの完全結合層を含む。畳み込みに用いるコンボリューションカーネルは、いずれも１x５であり、１層あたりの畳み込みフィルタの数はそれぞれ異なる。１層目の畳み込みフィルタの数は９６であり、２層目の畳み込みと３層目の畳み込みを連用し、フィルタ数は２５６であり、４層目の畳み込みと５層目の畳み込みを連用し、フィルタ数は３８４であり、６層目の畳み込みフィルタの数は３８４であり、７層目の畳み込みフィルタの数は２５６であり、１、３、５、６、７層目は、畳み込みの後にプーリング層が続く。次に、完全結合層が２つ続き、最後にさらにＳofｔmａx分類器を用いて２種類に分類する。モデルの非線形性を大きくし、データのより高次元の特徴を抽出するため、２つの畳み込みを連用するパターンを用いる。

【0101】

ステップ１８０：一次分類情報において、心拍解析データを心電図の基本規則参照データ並びにＳＴセグメント及びＴ波評価情報に基づいて二項分類処理を行い、最終的に心拍分類情報を取得する。

【0102】

具体的には、心電図の基本規則基準データ例えば、２つの心拍間の最小時間間隔、Ｐ波とＲ波の最小間隔などは、権威性のある心電図教科書に記載された心筋細胞の電気生理活動や心電図臨床診断に関する基本規則に従って生成されたものであり、心拍分類の投票決定計算及び心拍分類後の一次分類情報の再細分化に用いられる。主な根拠は、心拍間のＲＲ間隔及び異なる心拍信号の各リードにおける医学的顕著性である。心電図の基本規則参照データを連続した複数の一定の心拍分類識別に組み合わせることにより、心室性心拍分類を、心室性期外収縮(Ｖ)、心室性補充収縮(ＶＥ)、心室頻拍(ＶＴ) を含む心拍分類に細分化し、上室性類心拍を、上室性期外収縮(Ｓ)、心房性補充収縮(ＳＥ)、接合部性補充収縮(ＪＥ)、心房頻拍(ＡＴ)などに細分化する。

【0103】

また、二次分類処理により、一次分類で生じた心電図の基本規則に合致しない参照データのミス分類識別を修正することもできる。細分化された心拍分類を、心電図の基本規則参照データに従ってパターンマッチングし、心電図の基本規則参照データに合致しない分類識別を見つけ、ＲＲ間隔及び前後分類表記に基づいて適切な分類に修正する。

【0104】

具体的には、二次分類処理により、例えば、正常洞調律(Ｎ)、完全右脚ブロック(Ｎ_ＣＲＢ)、完全左脚ブロック(Ｎ_ＣＬＢ)、心室内ブロック(Ｎ_ＶＢ)、１度房室ブロック(Ｎ_Ｂ１)、早期興奮 (Ｎ_ＰＳ)、心室性期外収縮(Ｖ)、心室性補充収縮(ＶＥ)、心室頻拍(ＶＴ)、上室性期外収縮(Ｓ)、心房性補充収縮(ＳＥ)、接合部性補充収縮(ＪＥ)、心房頻拍(ＡＴ)、心房粗動・細動(ＡＦ)、アーティファクト(Ａ)など複数の心拍分類の分類結果を出力することができる。

【0105】

このステップにより、基礎心拍数パラメータの計算も完成させることができる。ここで基礎的に算出される心拍数パラメータは、ＲＲ間隔、心拍数、ＱＴ時間、ＱＴｃ時間などのパラメータを含む。

【0106】

ステップ１９０：心拍分類情報と心電図の基本規則参照データに基づき、心拍解析データを心電図イベントデータとして生成する。信号品質評価パラメータに基づいて心電図イベントデータをスクリーニングし、対応する報告用結論データ及び報告用項目データを得る。各種の心電図イベントデータの代表的なデータセグメントに基づいて報告用画像データを生成し、前記報告用項目データ、報告用画像データ及び報告用結論データを出力する。

【0107】

このステップでは、まず、心拍の二次分類結果に基づき、心電図の基本規則参照データに従ってパターンマッチングを行うことにより、心拍解析データにおける心電図イベントデータを得る。同時に、信号品質評価パラメータを参照し、不信イベントを除外し、各種の心拍数パラメータを計算し、イベントの数及び発生時間などを統計し、報告用結論データ及び報告用項目データを得る。

【0108】

具体的な心拍数パラメータの算出には、平均心拍数、及び最大、最小心拍数などの算出が含まれる。最大心拍数と最小心拍数を算出する際には、一定長さのセグメントを統計単位として、１心拍ずつに対してフルスキャンと統計比較を行う。セグメントの長さは、８～１０秒が一般的であり、必要に応じて自由に設定することもできる。心拍数を計算する際には、洞調律が大半を占める場合と異所性調律が大半占める場合に対し、異なる心拍種類統計計算方法を採用する。最大や最小心拍数を算出する際には、洞調律が大半を占める心電図について洞性類心拍のみを算出し、心房粗動・細動が大半を占める心電図について心房粗動・細動類心拍及び洞性心拍のみを算出し、心房粗動・細動以外の他の異所性調律が大半を占める心電図についてアーティファクトを除く全ての種類の心拍が算出に関与する。

【0109】

心電図イベントデータについて、信号品質評価パラメータに基づいて品質評価し、データの信号品質が最も良いイベントセグメントを選択すると同時に、セグメントに含まれるイベントの種類数を解析し、最も代表的なセグメントを優先的に選択し、好ましくはセグメントの開始位置を選択し、イベント心拍が選択されたセグメントの中央部に位置するようにできるだけ保証し、報告用画像データを生成する。

【0110】

好ましい態様では、心電図イベントの選択規則は、具体的には、以下の例に記載されたものであってもよい。

【0111】

一般的な心電図イベントの場合、一つのセグメントを選択する。セグメントの最初の心拍数が１００以上の場合、セグメント始点位置は、最初の心拍数から０.３秒である。セグメントの最初の心拍数が４５以下の場合、セグメント始点位置は、最初の心拍数から０.３７秒である。

【0112】

複数のセグメントを有する心電図イベントの場合、複数のセグメントに対して品質評価を行う必要がある。信号品質評価パラメータに基づき、切り出されたセグメントの無干渉信号の割合を算出し、無干渉信号の割合が設定された閾値(好ましくは６０%から９５%の範囲で閾値を決定)に達するものであれば、セグメントがスクリーニング条件に適合し、その中から最適な代表データを得る。

【0113】

最後に、報告用項目データ、報告用画像データ、報告用結論データを出力する。

【0114】

上述の過程以外には、本発明は、得られた分類結果に基づき、人工的な検証を行い、自動解析によって出力された分類結果と合致しない心拍分類データを検出してさらに修正し、トレーニング済みのモデルにトレーニングサンプルとして入力してフィードバックし、人工知能自己学習に用いることもできる。深層学習モデルは、新しいトレーニングデータを入力することによって、反復的なトレーニングを連続的に行うことができ、それにより本発明で使用される３つの分類モデル(干渉二項分類モデル、心拍分類モデル、ＳＴセグメント及びＴ波変化モデル)の精度を継続的に改善することができる。

【0115】

なお、上記のステップの実行の過程において、３つの分類モデルの具体的な実現形態を具体的に説明したが、その具体的な実現形態は、例示した形態のみに限定されているわけではない。３つのモデルはいずれも、ＬｅＮｅｔ-５モデル、ＡlｅxＮｅｔモデル、ＶＧＧ１６モデル、Inｃｅpｔｉonモデルのうちの１つ又は複数を用いて実現することができ、また、他のいくつかのモデル、例えば、ＲｅsＮｅｔモデル、ＲＮＮ関連モデル、Ａuｔo-Ｅnｃoｄｉngモデル、またはＳｅqＴoＳｅqなどを用いてトレーニング及び分類推論を実行してもよく、また、モデル分類の種類数も限定されない。

【0116】

図６は、本発明の実施例に係る装置構成の模式図である。該装置は、プロセッサとメモリを備える。メモリは、バスを介してプロセッサに接続可能である。メモリは、ハードディスクドライブやフラッシュメモリなどの不揮発性メモリであってもよく、メモリには、ソフトウェアプログラムやデバイスドライバが記憶されている。ソフトウェアプログラムは、本発明の実施例に係る方法の様々な機能を実行することができる。デバイスドライバは、ネットワークやインターフェースドライバであってもよい。プロセッサは、ソフトウェアプログラムを実行することに用いられ、そのソフトウェアプログラムが実行されると、本発明の実施例に係る方法を実現することができる。

【0117】

なお、本発明の実施例は、コンピュータ可読記憶媒体も提供する。該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサによって実行されると、本発明の実施例に係る方法を実現することができる。

【0118】

本発明の実施例は、コマンド含有コンピュータプログラム製品をさらに提供する。該コンピュータプログラム製品がコンピュータ上で実行される時、プロセッサに上記の方法を実行させる。

【0119】

本発明の実施例に係る人工知能自己学習に基づく心電図自動解析方法及び装置は、データの前処理、心拍特徴検出、干渉信号検出、信号品質評価及びリード併合、心拍分類、心拍検証の二次分類、心電図イベント分類及び心電図パラメータの解析計算により、最終的に報告用データを自動的に出力するという完全で高速の流れを有する自動解析方法である。本発明の自動解析方法は、自動解析結果に対する修正情報を記録し、これらの修正データを収集して深層学習モデルにフィードバックしてトレーニングを継続させ、自動解析方法の精度を絶えずに改善して向上させることもできる。

【0120】

当業者は、本文に開示される実施例に記載の各例のユニットおよびアルゴリズムに関するステップが、電子ハードウェア、コンピュータソフトウェア又は両方の組み合わせで実施されることができ、ハードウェアとソフトウェアの互換性を明確に示すために、上記の説明では、機能に応じて各例の構成及び手順を包括的に説明したことをさらに分かる。これらの機能は、ハードウェア又はソフトウェアのいずれで実行されるかは、技術方案の特定の応用及び設計上の制約によって決められる。当業者は、特定の応用に対して異なる方法によって上述の機能を実現することができるが、そのような実施は、本発明の範囲から逸脱するものと見なすべきではない。

【0121】

本文に開示される実施例に記載の方法又はアルゴリズムに関するステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、又は両方の組合せで実施されることができる。ソフトウェアモジュールは、ランダムアクセスメモリ( ＲＡＭ )、メモリ、リードオンリーメモリ( ＲＯＭ )、電気的なプログラマブルＲＯＭ、電気的に消去可能なプログラマブルＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ-ＲＯＭ、又は当技術分野で知られている任意の他の形態の記憶媒体に置かれることができる。

【0122】

上述の具体的な実施形態に基づき、本発明の目的、技術方案及び有益な効果について詳しく説明してきた。なお、上述のものは本発明の具体的な実施の形態に過ぎず、本発明の権利範囲を制限するものではなく、本発明の精神及び権利範囲内で行われた如何なる変更、均等な置き換え、改良などはいずれも本発明の権利範囲に含まれるものであると理解しなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】