特許 7523302 生体信号処理装置および心電図解析用データの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】生体信号処理装置および心電図解析用データの生成方法

(51)【国際特許分類】

   A61B 5/346 20210101AFI20240719BHJP

   A61B 5/352 20210101ALI20240719BHJP

   A61B 5/353 20210101ALI20240719BHJP

   A61B 5/36 20210101ALI20240719BHJP

【ＦＩ】

A61B5/346

A61B5/352

A61B5/353

A61B5/36

【請求項の数】 20

(21)【出願番号】P 2020161258

(22)【出願日】2020-09-25

(65)【公開番号】P2022054202

(43)【公開日】2022-04-06

【審査請求日】2023-09-25

(73)【特許権者】

【識別番号】000112602

【氏名又は名称】フクダ電子株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100161399

【弁理士】

【氏名又は名称】大戸 隆広

(72)【発明者】

【氏名】呉 弘敏

【審査官】磯野 光司

(56)【参考文献】

【文献】特開２０２０－１３０７７２（ＪＰ，Ａ）

【文献】特表２０１９－５３４０９２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２９８２０４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００－５／３９８

(57)【特許請求の範囲】

【請求項1】

深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、
１種類以上の誘導に関する心電図データを取得する取得手段と、
前記心電図データに基づいて前記心電図解析用データを生成する生成手段と、を有し、
前記生成手段は、前記１種類以上の誘導に関する波形の情報を表す波形画像領域と、前記１種類以上の誘導のうち所定の誘導に関するリズム情報を表すリズム画像領域とを有する２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする生体信号処理装置。

【請求項2】

前記生成手段は、前記２次元画像の一辺を時間軸として、前記リズム情報に応じて定まる前記時間軸の方向における位置や長さを有する画像パターンを前記リズム画像領域に配置した２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする請求項１に記載の生体信号処理装置。

【請求項3】

前記リズム情報が、１心拍の心電図における予め定められた特徴点の時間間隔を含み、
前記生成手段は、前記特徴点を示す画像パターンを前記時間間隔に対応した間隔で前記リズム画像領域に配置した２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする請求項１または２に記載の生体信号処理装置。

【請求項4】

前記特徴点がＰ波のピークおよびＲ波のピークの少なくとも１つであることを特徴とする、請求項３に記載の生体信号処理装置。

【請求項5】

前記リズム情報が、１心拍内の心電図における予め定められた区間の長さを含み、
前記生成手段は、前記予め定められた区間の長さに対応した長さを有する画像パターンを前記リズム画像領域に配置した２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする請求項１から４のいずれか１項に記載の生体信号処理装置。

【請求項6】

前記予め定められた区間が、ＱＲＳ区間およびＱＴ区間の少なくとも１つであることを特徴とする、請求項５に記載の生体信号処理装置。

【請求項7】

前記生成手段は、前記リズム画像領域に、前記所定の誘導に関する心電図データに含まれる各心拍におけるＱＲＳ区間の長さに応じた長さを有する画像パターンを、隣接する心拍間におけるＲ－Ｒ間隔に応じた間隔で配置した２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする、請求項１から６のいずれか１項に記載の生体信号処理装置。

【請求項8】

前記生成手段は、前記リズム画像領域に、前記ＱＲＳ区間の長さに応じた長さを有する画像パターンにおけるＲ波のタイミングを表す位置から、Ｐ－Ｒ間隔に応じた間隔を持たせてＰ波のタイミングを示す画像パターンを配置した２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする、請求項７に記載の生体信号処理装置。

【請求項9】

前記生成手段は、前記リズム画像領域に、ＱＴ区間に応じた長さを有する画像パターンを、前記ＱＲＳ区間の長さに応じた長さを有する画像パターンと同じ位置でＱ波のタイミングを表すように、かつ前記ＱＲＳ区間の長さに応じた長さを有する画像パターンと重複しないように配置した２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする、請求項７または８に記載の生体信号処理装置。

【請求項10】

前記生成手段は、前記１種類以上の誘導ごとに、前記心電図データの値を波形として表した画像を前記波形画像領域に配置した２次元画像を表すデータを、前記心電図解析用データとして生成する、ことを特徴とする請求項１から９のいずれか１項に記載の生体信号処理装置。

【請求項11】

前記生成手段は、前記心電図データの値を非線形圧縮した値に基づいて前記心電図データの値を波形として表した画像を生成することを特徴とする請求項１０に記載の生体信号処理装置。

【請求項12】

前記生成手段は、前記非線形圧縮した値を誘導ごとに正規化してから前記心電図データの値を波形として表した画像を生成することを特徴とする請求項１１に記載の生体信号処理装置。

【請求項13】

前記生成手段は、前記正規化された値を有する心電図データに対し、ダウンサンプリングを適用してから前記心電図データの値を波形として表した画像を生成することを特徴とする請求項１２に記載の生体信号処理装置。

【請求項14】

前記ダウンサンプリングが、心電図の１心拍期間を分割した区間に応じたサンプリングレートを有することを特徴とする請求項１３に記載の生体信号処理装置。

【請求項15】

前記生成手段は、前記２次元画像の後処理により、画素数を低減して前記心電図解析用データとすることを特徴とする請求項１０から１４のいずれか１項に記載の生体信号処理装置。

【請求項16】

深層学習を利用した心電図解析に用いる心電図解析用データの生成方法であって、
１種類以上の誘導に関する心電図データを取得する取得工程と、
前記心電図データに基づいて前記心電図解析用データを生成する生成工程と、を有し、
前記生成工程では、前記１種類以上の誘導に関する波形の情報を表す波形画像領域と、前記１種類以上の誘導のうち所定の誘導に関するリズム情報を表すリズム画像領域とを有する２次元画像を表すデータを、前記心電図解析用データとして生成することを特徴とする心電図解析用データの生成方法。

【請求項17】

コンピュータを、請求項１から１５のいずれか１項に記載の生体信号処理装置が有する各手段として機能させるためのプログラム。

【請求項18】

深層学習を利用した心電図解析に用いる心電図解析用データを用いた、ニューラルネットワークの学習方法であって、
前記心電図解析用データが、１種類以上の誘導に関する波形の情報を表す波形画像領域と、前記１種類以上の誘導のうち所定の誘導に関するリズム情報を表すリズム画像領域とを有する２次元画像を表すデータであることを特徴とするニューラルネットワークの学習方法。

【請求項19】

前記心電図解析用データが、前記１種類以上の誘導のそれぞれについて、時系列データの値を波形として表す２次元画像を含むことを特徴とする請求項１８に記載のニューラルネットワークの学習方法。

【請求項20】

請求項１８または１９に記載のニューラルネットワークの学習方法を用いて学習したニューラルネットワークを用いて心電図の自動解析を行う心電図解析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は生体信号処理装置および心電図解析用データの生成方法に関する。

【背景技術】

【0002】

近年、AI技術の実用化が急速に進み、心電図波形を時系列データまたは画像として取扱い、機械学習や深層学習のモデルを用いて自動解析する手法が提案されている。また、出願人は先に、心電図における複数種の波形情報と誘導間の関係を効率的に深層学習させることを可能とする心電図解析用データの生成手法を提案した（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１３０７７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、複数種の誘導波形の画像を並べた２次元画像を心電図解析用データとして生成することにより、波形情報や誘導間の相互関係に関して効率的な深層学習を実現した。しかしながら、引用文献１で提案した心電図解析用データには心電図の時間軸方向の情報、より具体的には心拍のリズムに関する情報が含まれていない。そのため、不整脈のように心拍のリズムに関する情報を必要とする自動解析には利用することができない。

【0005】

一方、心電図波形を画像ではなく時系列データとして深層学習を行おうとすると、ある程度の長さ（例えば１０秒）のデータを学習するために、かなり層数の多いモデルを構築する必要がある。そのため、多くのメモリが必要になるほか、演算負荷が非常に大きく、例えば心電計などの医療機器に実装することは現実的でない。

【0006】

本発明はこのような従来技術の課題に鑑みてなされたものであり、深層学習を用いた心電図の自動解析により不整脈を効率的に検出することが可能な心電図解析用データを生成する生体信号処理装置および心電図解析用データの生成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述の目的は、深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、１種類以上の誘導に関する心電図データを取得する取得手段と、心電図データに基づいて心電図解析用データを生成する生成手段と、を有し、生成手段は、１種類以上の誘導に関する波形の情報を表す波形画像領域と、１種類以上の誘導のうち所定の誘導に関するリズム情報を表すリズム画像領域とを有する２次元画像を表すデータを、心電図解析用データとして生成することを特徴とする生体信号処理装置によって達成される。

【発明の効果】

【0008】

本発明による生体信号処理装置および心電図解析用データの生成方法によって得られる心電図解析用データは、心電図波形の特徴のみならず、所定時間分のリズム変化の特徴も効率よく表すことができる。そのため、深層学習を用いた心電図の自動解析により不整脈を効率的に検出することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る生体信号処理装置の機能構成例を示すブロック図である。

【図2】実施形態に係る心電図解析用データ生成処理に関するフローチャートである。

【図3】実施形態に係る心電図解析用データ生成処理に関するフローチャートである。

【図4】実施形態に係る心電図解析用データ生成処理に関するフローチャートである。

【図5】実施形態に係る前処理の具体例を示す図である。

【図6】実施形態に係る心電図解析用データの具体例を示す図である。

【図7】実施形態に係る心電図解析用データの具体例を示す図である。

【図8】実施形態に係る心電図解析用データを用いた学習モデルの評価結果の例を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下に説明する実施形態は本発明をいかなる意味においても限定しない。また、実施形態で説明される構成の全てが本発明に必須とは限らない。また、明らかに不可能である場合や、それが否定されている場合を除き、異なる実施形態に含まれる構成を組み合わせたり、入れ替えたりしてもよい。また、重複した説明を省略するために、添付図面においては全体を通じて同一もしくは同様の構成要素には同一の参照番号を付してある。

【0011】

図１は、本実施形態に係る生体信号処理装置１００の機能構成例を示すブロック図である。生体信号処理装置１００は、例えばプログラマブルプロセッサにより、後述する動作を実現するアプリケーションプログラムを実行することによって実現することができる。したがって、生体信号処理装置は、プログラマブルプロセッサを有する電子機器一般で実施することができる。

【0012】

生体信号処理装置１００は、複数種の誘導を含んだ心電図の時系列データ（以下、心電図データと呼ぶ）から、ニューラルネットワークの深層学習および学習済みニューラルネットワークを用いた自動解析に適したデータ（心電図解析用データ）を生成する。特に、本実施形態の生体信号処理装置１００は、ニューラルネットワークを用いた自動解析により、不整脈の検出を可能にする心電図解析用データを生成する。生体信号処理装置が生成する心電図解析用データは、ニューラルネットワークの学習時および、学習済みのニューラルネットワークを用いた自動解析時に用いられる。

【0013】

制御部１１０は、プログラマブルプロセッサ、ＲＯＭ、ＲＡＭを有し、ＲＯＭや記録部１３０に記憶されているプログラムをＲＡＭに読み込んで実行することにより、後述する心電図解析用データ生成処理を含む、生体信号処理装置１００の処理を実現する。

【0014】

外部Ｉ／Ｆ１２０は生体信号処理装置１００が外部装置と有線および／または無線通信するためのインタフェースである。生体信号処理装置１００は、外部Ｉ／Ｆ１２０を通じて、解析結果を外部機器へ出力したり、外部機器から解析対象の心電図データなどのデータを取得したりすることができる。外部Ｉ／Ｆ１２０は例えば、ＵＳＢ、無線ＬＡＮ、有線ＬＡＮ、ｂｌｕｅｔｏｏｔｈ（登録商標）など、機器間の通信に関する規格の１つ以上に準じた構成を有することができる。

【0015】

記録部１３０は解析対象の心電図データ、心電図データの解析結果などを保持するための装置であり、ＳＳＤ、ＨＤＤなどの内蔵記憶装置、および／またはＵＳＢメモリ、メモリカードなどの着脱可能な記憶装置であってよい。制御部１１０は、記録部１３０にデータを記録したり、記録部１３０に記録されたデータを読み出したりする。

【0016】

信号処理部１４０は、心電図データを始めとした生体信号に対して予め定められた処理を適用する。信号処理部１４０は例えばプログラマブルプロセッサと、プロセッサが実行可能なプログラムを記憶するＲＯＭ、プログラムの実行に用いられるＲＡＭから構成することができる。信号処理部１４０が用いるプログラマブルプロセッサは一般的なＣＰＵであってよいが、信号処理やニューラルネットワークに関する処理（深層学習および学習済みニューラルネットワークの適用）を高速に実行するために、ＧＰＵやＤＳＰなどを少なくとも補助的に用いてもよい。

【0017】

信号処理部１４０は、学習用の心電図データから生成した心電図解析用データを用いたニューラルネットワークの深層学習処理と、解析対象の心電図データから生成した心電図解析用データを深層学習済のニューラルネットワークに適用する自動解析処理とを実行する。なお、本明細書において、深層学習とは、複数層を有するニューラルネットワークの学習を意味するものとする。

【0018】

表示部１５０は液晶表示装置（ＬＣＤ）などの表示装置であり、生体信号処理装置１００のユーザインタフェース（ＧＵＩ）、心電図波形などの生体情報、心電図データの自動解析結果などを表示する。表示部１５０は外部表示装置であってもよい。

【0019】

操作部１６０はキーボード、ポインティングデバイス、タッチパネル、スイッチ、ボタンなど、ユーザが生体信号処理装置１００に指示を入力するための入力デバイスの総称である。表示部１５０がタッチディスプレイの場合、表示部１５０に表示されたソフトウェアキーは操作部１６０の一部を構成する。

【0020】

図２は、生体信号処理装置１００が実行する心電図解析用データ生成処理のフローチャートである。
Ｓ２１０で制御部１１０は、複数種の誘導に関する心電図データ（例えば１２誘導心電図のデータ）を、例えば記録部１３０から取得する。なお、ここでは予め計測され、記録部１３０に保存された心電図データを取得するものとするが、生体信号処理装置１００が心電計に組み込まれる場合などにはリアルタイムで心電図データを取得してもよい。

【0021】

詳細は後述するが、本実施形態では、各誘導に関する波形を表す画像領域（波形画像領域）と、所定の１つの誘導に関するリズム情報を表す画像領域（リズム画像領域）とを有する２次元画像のデータを、心電図解析用データとして生成する。Ｓ２１０では、波形画像を生成するための心電図データを取得する。

【0022】

各誘導について１心拍分の波形画像を生成するため、Ｓ２１０で制御部１１０は１心拍分の心電図データを取得する。あるいは、制御部１１０は、所定時間分の心電図データを１心拍分ずつ分割し、それらを加算平均することにより１心拍分の心電図データを生成してもよい。また、制御部１１０は、所定時間分の心電図データのうち、最も品質が良いと判定される１心拍分の心電図データを抽出してもよい。Ｓ２１０において得られる、各誘導の心電図データを、代表心電図データと呼ぶ。なお、代表心電図データは各誘導について１心拍分より長くてもよい。

【0023】

なお、心電図データを１心拍ずつ分割したり、１心拍内を複数の区間に分割したりするための区分点は、複数種の誘導のうちの１つを用いて決定し、全誘導について共通に使用することができる。区分点の決定に用いる誘導は予め定めておいてもよいし、最大振幅が一番大きな誘導を用いてもよい。公知の任意の方法を用いて、心電図データを１心拍分単位に分割することができる。

【0024】

Ｓ２２０で制御部１１０は、各誘導の１心拍分の心電図データに対して前処理を適用する。前処理は、波形の特徴を残しつつ、心電図データの量を削減する処理である。前処理の詳細については後述する。前処理は必須ではないが、実施した方が深層学習および自動解析の演算負荷を低減でき、また波形の特徴を抽出する効率を高めることができる。

【0025】

Ｓ２３０で制御部１１０は、前処理された各誘導の心電図データの画像（誘導画像）を２次元配置した合成波形画像を生成する。また、制御部１１０は、複数種の誘導のうち１つの誘導について、所定時間分の心電図データを取得し、予め定められたリズム情報を抽出する。そして、抽出したリズム情報を表すリズム画像を生成する。リズム情報は、心電図の１心拍内における特定区間の長さや、特徴点の隣接心拍間における間隔などである。リズム情報の抽出およびリズム画像の詳細については後述する。

【0026】

そして、制御部１１０は、合成波形画像を波形画像領域に、リズム画像をリズム画像領域にそれぞれ配置した２次元画像のデータを生成する。Ｓ２３０における画像データ生成処理の詳細については後述する。

【0027】

Ｓ２４０で制御部１１０は、Ｓ２３０で生成した心電図解析用データに対し、必要に応じて後処理を適用する。後処理は例えばバイキュービック法のような公知の手法を用いた画素圧縮処理であってよい。なお、信号処理部１４０の処理能力が十分高い場合などには、後処理は必ずしも行わなくてもよい。したがって、Ｓ２３０で生成した２次元画像のデータ、あるいはＳ２４０で後処理が適用された２次元画像のデータが、心電図解析用データとなる。制御部１１０は、生成した心電図解析用データを、例えば記録部１３０に記録する。なお、上述した処理のうち、少なくとも一部は制御部１１０の代わりに信号処理部１４０が実施してもよい。

【0028】

信号処理部１４０が実現するニューラルネットワークの深層学習（または検証）を行う場合、制御部１１０は、学習用（または検証用）の心電図データ（既知の心電図データ）から生成した心電図解析用データを信号処理部１４０に供給する。また、信号処理部１４０が実現する学習済みのニューラルネットワークを用いた自動解析処理を行う場合、制御部１１０は、解析用の心電図データ（未知の心電図データ）から生成した心電図解析用データを信号処理部１４０に供給する。

【0029】

次に、図３に示すフローチャートを用いて、図２のＳ２２０で行う前処理の詳細について説明する。前処理は、Ｓ２１０で得られた各誘導の代表心電図データに対して適用される。

【0030】

Ｓ２２２で制御部１１０は、心電図データに対して非線形増幅処理を適用する。非線形増幅処理は、心電図データの振幅値（基線レベルとの差）が小さい部分に大きなゲインを、振幅値が大きい部分に小さなゲインを適用する。非線形増幅の特性には特に制限はないが、対数関数的な利得曲線を用いることができる。非線形増幅は心電図データのダイナミックレンジの非線形圧縮ということもできる。

【0031】

Ｓ２２４で制御部１１０は、非線形増幅した心電図データを正規化する。例えば全誘導の最大値を用いて各誘導の心電図データを正規化してもよいし、誘導ごとに、その誘導の最大値で正規化してもよい。正規化により各誘導の心電図データは－１から１までの値を有するようになる。

【0032】

Ｓ２２６で制御部１１０は、各誘導の正規化後の心電図データにダウンサンプリングを適用して時間軸方向のデータ（サンプル）数を削減する。ダウンサンプリングは必須ではないが、学習や解析の負荷を軽減する効果がある。

【0033】

ダウンサンプリングを実施する場合には、サンプリングレートを一定とするよりも、波形の変化が大きい区間は変化の小さい区間よりも高いサンプリングレートとして、サンプル数の減少を抑制することが好ましい。例えば制御部１１０は、１心拍の期間をＱＲＳ区間（例えばＲ波のピークを基準として前後所定サンプル数（時間）の第１の区間と、Ｐ区間（例えばＱＲＳ区間の前の所定サンプル数（時間）の第２の区間と、他の第３の区間とに分割する。そして、間引かれるサンプルの割合が多い方から第３の区間＞第２の区間＞第１の区間となるように、ダウンサンプリングのサンプリングレートを異ならせることができる。また、区間内において、等間隔にサンプルを間引かずに、例えば値の差が大きい隣接サンプルについては間引かないよう、間引くサンプルを調整してもよい。なお、ここでは単純にサンプルを間引く構成としたが、補間を伴うサブサンプリングを実施してもよい。

【0034】

Ｓ２２８で制御部１１０は、必要に応じて、心電図データのうち重要でない区間のデータをトリミング（削除）する。例えば制御部１１０は、１心拍期間のうち、Ｔ波終了後からＰ波開始前の区間においてデータを削除することができる。なお、トリミングは必須ではないが、トリミングを行うことによりデータ量が削減できるため、学習時や自動解析時の演算負荷が低減できるという効果がある。なお、トリミングはダウンサンプリングの前に実行してもよい。

【0035】

前処理におけるサブサンプリングレートやトリミングするサンプル数は、心電図解析用データにおける波形画像領域の大きさと、波形画像領域に波形画像を含める誘導数によって定まる１誘導あたりの波形画像の大きさによって定めることができる。こうすることにより、波形画像を効率的に生成することができる。

【0036】

このような前処理が行われた後、Ｓ２３０で実施される画像データ生成処理の詳細について、図４のフローチャートを用いて説明する。
Ｓ２３２で制御部１１０は、誘導ごとに、前処理された代表心電図データから画像データ（誘導画像データ）を生成する。本実施形態では、予め定められた共通の大きさ（水平および垂直方向の画素数）を有する矩形状の誘導画像データを、各誘導の心電図データから生成する。

【0037】

心電図データを構成する各サンプルの値（すなわち、誘導の波形に関する情報）をどのように表現した誘導画像データとするかに特に制限はなく、様々な方法が考えられる。ここでは、矩形領域の水平方向を時間軸、垂直方向を振幅軸として、各サンプル値に応じて定まる座標の画素値を、背景の画素値と異ならせることにより、直交座標空間に波形がプロットされた誘導画像データを生成するものとする。

【0038】

説明を簡単にするため、誘導画像の水平方向のサイズが、心電図データのサンプル数に等しい画素数であるものとする。前処理において心電図データが正規化されている場合、誘導画像の垂直方向のサイズを＋１から－１の値の範囲に割り当てて、各サンプル値に対応する垂直方向の座標を決定する。水平方向の座標はサンプルごとに１ずつ加算すればよい。このようにして決定された各サンプル値の座標に該当する画素の値を１、他の座標に該当する画素の値を０とすることで、黒の背景にサンプル値が白でプロットされた、誘導画像データが生成される。なお、誘導画像データは多値画像であってもよい。

【0039】

なお、生成する画像の水平方向の大きさ（画素数）よりも心電図データのサンプル数が少ない場合には、画像の水平方向をサンプル数に合わせて小さくしてもよいし、サンプルがプロットされない領域は背景のままとしてもよい。前処理を行う場合には、サブサンプリングのサンプリングレートやトリミングするサンプル数を調整して、心電図データのサンプル数を、生成する画像の水平方向の大きさ（画素数）に合わせることが好ましい。

【0040】

以上のようにして、各誘導の心電図データから同じ画像サイズの誘導画像データを生成したら、Ｓ２３４で制御部１１０は、誘導画像を２次元配置した合成波形画像のデータを生成する。合成波形画像のサイズは、リズム画像と合わせた自動解析用データが正方形状の画像となるように決定されている。これは、一般的に利用可能なニューラルネットワークのプログラムライブラリは正方形状の画像を取り扱うことを前提としているものが多いためである。

【0041】

次に、Ｓ２３６で制御部１１０は、リズム画像データを生成する。制御部１１０は、記録部１３０から所定の１つの誘導の心電図データを、所定時間分取得し、リズム情報を抽出する。ここで取得する心電図データは、Ｓ２１０で誘導画像の生成のために取得した心電図データのうち、いずれか１つの誘導に関する心電図データである。どの誘導に関する心電図データを取得してもよいが、複数の誘導のうち、ドミナント心拍を有する誘導を選択してもよいし、予めどの誘導を用いるかが設定されていてもよい。

【0042】

例えばＳ２１０で各誘導について同時に計測された１０秒分の心電図データを取得し、代表心電図データを生成したとする。この場合、Ｓ２３６において制御部１１０は、１つの誘導についてＳ２１０で取得したものと同じ１０秒分の心電図データを取得し、リズム情報を抽出する。

【0043】

リズム情報は１心拍内の特定区間の長さや、特徴点の隣接心拍間における間隔といった、心電図のタイミングに関する情報である。本実施形態では特に不整脈の検出に有用なリズム情報を抽出する。このようなリズム情報としては、例えばＲ－Ｒ間隔、Ｐ－Ｒ間隔、ＱＲＳ区間の長さ、ＱＴ区間の長さなどがあるが、これらに限定されない。Ｒ－Ｒ間隔は隣接心拍におけるＲ波ピークの間隔である。Ｐ－Ｒ間隔は、１心拍内におけるＰ波とＲ波のピーク間隔である。ＱＲＳ区間の長さは１心拍内におけるＱ波からＳ波までの長さである。ＱＴ区間の長さは１心拍内におけるＱ波からＴ波ピークまでの長さである。心電図データを１拍分ずつ分割する方法や、特徴点を検出したりする方法は、公知の方法を利用できるため、詳細については説明を省略する。

【0044】

制御部１１０は、抽出したリズム情報を表すリズム画像のデータを生成する。リズム画像のサイズは、波形画像と合成した際に所定のサイズの画像となるように定められている。リズム画像の具体例については後述する。リズム画像データを生成すると、制御部１１０は処理をＳ２３８に進める。

【0045】

Ｓ２３８で制御部１１０は、Ｓ２３４で生成した波形画像データとＳ２３６で生成したリズム画像データを合成して、合成画像データを生成する。合成画像内の波形画像とリズム画像の位置や配分は自由に調整可能である。上述したように、Ｓ２３８で生成する合成画像のデータは、そのまま心電図解析用データとして用いてもよいし、後処理を適用したものを心電図解析用データとして用いてもよい。

【0046】

図５は、前処理の具体例を示している。図５（ａ）は取得した１心拍分の心電図データを示しており、サンプル数は５００である。この心電図データに対して、非線形増幅を適用し、全誘導の最大値で正規化した結果を図５（ｂ）に示す。この状態ではサンプル数は変化していない。

【0047】

ダウンサンプリングに際して、Ｐ波区間、ＱＲＳ区間、Ｔ波区間、および他の区間に分割し、それぞれサンプリングレートをＤＳＲ２、ＤＳＲ３、ＤＳＲ４、ＤＳＲ１に設定する。ここで、ダウンサンプリングによって間引かれるサンプルの割合は、ＤＳＲ１＞ＤＳＲ４＞＝ＤＳＲ２＞ＤＳＲ３という関係を有する。ここでは、ダウンサンプリングレートＤＳＲ１の区間についてはトリミングによって削除するものとし、ＤＳＲ３を１／２、ＤＳＲ２を１／６、ＤＳＲ４を１／６とした。ここでダウンサンプリングレート１／ｎは、ダウンサンプリングによってサンプル数がもとの１／ｎに減少することを示す。図５（ｃ）は、サブサンプリングおよびトリミング後の心電図データを示している。サンプル数が５００から８４に削減されているが、誘導に関する波形の特徴は保持されている。

【0048】

図６（ａ）は、生体信号処理装置１００が生成する心電図解析用データが表す２次元画像の例を示す図である。２次元画像４００は、波形画像領域４０１と、リズム画像領域４０２とを有する。図６（ａ）に示す例では２次元画像４００が正方形状であるが、矩形状であってもよい。ただし、正方形状の方が２次元ニューラルネットワークへの適用性が高い。

【0049】

まず、波形画像領域４０１について、図７をさらに用いて説明する。図７は、標準１２誘導の代表心電図データに図５に示した前処理を適用したのち、誘導ごとに生成した波形画像を合成した波形画像領域の例を示している。ここでは、図６（ａ）に示した２次元画像４００の、後処理適用前の大きさを３６０×３６０画素、波形画像領域４０１の大きさを縦２５２×横３６０画素、リズム画像領域４０２の大きさを縦１０８×横３６０画素とした。波形画像領域４０１における各誘導の波形画像の大きさは、縦２５２×横３６０画素を横に３分割、縦に４分割した縦６３×横１２０画素である。

【0050】

図６（ｂ）は、図６（ａ）のリズム画像領域４０２の拡大図である。ここでは図の見やすさのために、リズム画像をグレーで示している。図６に示すリズム画像は、１０秒間の心電図データから、リズム情報として、Ｒ－Ｒ間隔、Ｐ－Ｒ間隔、ＱＲＳ区間の長さ、ＱＴ区間の長さの４つを画像化した例を示している。

【0051】

ここでは、３種類の矩形若しくは線上の画像パターン４０３～４０５を用いて、４つのリズム情報を画像化している。画像パターン４０３～４０５に共通するのは、リズム画像の一辺（ここでは水平方向に延びる辺）を時間軸として、その一辺に沿う方向での位置が定まることである。

【0052】

垂直方向に長い矩形状の画像パターン４０３は、時間軸方向の長さでＱＲＳ区間の長さを表し、時間軸方向の位置でＲ波のタイミングを表している。画像パターン４０３が時間軸方向に１０個並んでいるのは、リズム情報を抽出した１０秒間の心電図データに１０心拍分のＱＲＳ区間が含まれていたためである。したがって、隣接する画像パターン４０３の間隔はＲ－Ｒ間隔に相当する。なお、画像パターン４０３は、時間軸方向の中心間距離がＲ－Ｒ間隔を表すように配置されてもよいし、時間軸方向の一端（図６（ｂ）の例であれば左端）間の距離がＲ－Ｒ間隔を表すように配置されてもよい。なお、画像パターン４０３の垂直方向のサイズに特に意味は無いが、不整脈の検出においてＲ－Ｒ間隔やＱＲＳ区間の長さはＰ－Ｒ間隔やＱＴ区間の長さよりも重要であると考えられるため、画像パターン４０４、４０５よりも垂直方向のサイズを大きくしている。

【0053】

時間軸方向に長い矩形状の画像パターン４０４は、時間軸方向の長さでＱＴ区間の長さを表している。画像パターン４０４は、同じ心拍に関する画像パターン４０３と時間軸方向における開始位置が揃えられている。これは、画像パターン４０３と画像パターン４０４の開始位置は、同一のＱ波の開始タイミングに相当するためである。画像パターン４０４の垂直方向のサイズは固定であり、特に意味を表していない。

【0054】

垂直方向に長く、時間軸方向の長さが固定の線状もしくは矩形状の画像パターン４０５は、時間軸方向の位置によってＰ波のタイミングを表している。画像パターン４０５は、同じ心拍に関する画像パターン４０３との時間軸方向における間隔でＰ－Ｒ間隔を表すように、時間軸方向における位置が決定されている。画像パターン４０５の垂直方向のサイズは固定であり、特に意味を表していない。

【0055】

ここでは、Ｐ波のタイミングを表す画像パターン４０５と、ＱＴ区間の長さを表す画像パターン４０４とが時間軸方向に隣接して配置されるため、両者が種類の画像パターンと誤認されないように、一方の画像パターンを垂直方向に長い形状とし、他方の画像パターンを水平方向に長い形状としている。しかし、他の方法を用いて画像パターンの誤認を抑制してもよい。例えば、図６（ｃ）に示すように、画像パターン４０４と４０５とを、画像パターン４０３と４０４とのように、垂直方向に離間させて配置してもよい。

【0056】

なお、リズム情報を画像化する方法は図６を用いて説明した方法に限定されない。複数心拍分のリズム情報（数値）が、通知に応じて異なる画像として表現できれば、他の方法でリズム画像を生成することができる。

【0057】

以上説明したように、本実施形態によれば、複数の誘導に関する波形画像に加え、所定時間分の心電図に関するリズム情報を画像化したリズム画像をまとめた１つの２次元画像を心電図解析用データとして生成する。本実施形態によって生成した心電図解析用データを用いることにより、誘導波形とリズム情報とに基づいた不整脈の検出を深層学習を利用した自動解析によって効率よく実施することが可能になる。

【0058】

以下、本実施形態による心電図解析用データを、２次元の畳み込みニューラルネットワーク（２Ｄ ＣＮＮ）に適用した例について説明する。ここで、評価に用いた２Ｄ ＣＮＮに関するパラメータは以下の通りである。
層数：１０～１６層
カーネルサイズ：３×３
活性化関数：ＲｅＬＵ
バッチサイズ：６４
Ｅｐｏｃｈ数：２０～６０
Ｄｒｏｐｏｕｔ割合：０．５

【0059】

図８は、１２誘導心電図データとして、洞調律(Sinus)と不整脈(Arrhythmia)の心電図データをそれぞれ７６７件用意し、上述した実施形態の手法によって自動解析用データを生成した。そして、それぞれ５３７件分の自動解析用データを用いて学習を行った後、それぞれ２３０件分の心電図解析用データについて検証を行った結果を示している。

【0060】

心電図解析用データは、３６０×３６０画素の２次元画像のデータを作成した後、後処理により１２０×１２０画素に縮小したものと、９０×９０画素に縮小したものを用いた。図８において、学習モデルの評価は、適合率(Precision)、再現率(Recall)、およびＦ１スコアで行った。Ｆ１スコアは、２×適合率×再現率／（適合率＋再現率）である。

【0061】

図８に示した評価結果は学習モデルの最適化が十分行われていない段階（ｌｏｓｓ＝０．１～０．２）であるにもかかわらず、不整脈の心電図データを精度良く検出可能であることを示している。また、心電図解析用データのサイズを小さくしても性能の低下は見られず、演算能力やメモリ容量などが高くない実行環境でも十分実用に耐えうる速度で判別が可能である。一般的なパーソナルコンピュータでの実施において、９０×９０画素の心電図解析用データを用いた場合、モデルサイズは４．５ＭＢ、２３０件分の心電図解析用データの判別に要する時間は０．１３秒程度であった。したがって、１所見あたりの心電図解析用データの判別時間は約０．５７ミリ秒であり、心電図解析用データの生成に要する時間を考慮しても、リアルタイムもしくはそれに近い処理が実現可能である。

【0062】

以上説明したように、本実施形態によれば、深層学習を利用した心電図解析用データとして、複数種の誘導に関する波形画像と、所定の誘導に関するリズム情報に基づくリズム画像とを含んだ２次元画像のデータを生成するようにした。これにより、波形情報からは判別できない不整脈の検出を、深層学習モデルを利用した自動解析によって精度よく、また高速に実施することが可能になる。

【0063】

発明は上述した実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。例えば、上述した実施形態では１２誘導心電図データを用いる場合について説明したが、本発明は任意の複数種の誘導に関する心電図データに対して適用可能である。例えば、ＩＩ誘導、Ｖ５誘導、Ｖ２誘導の３種類の誘導に関する心電図データから波形画像を生成してもよい。また、ホルターやモニター心電図のような単誘導または少ない誘導の波形画像と、長い記録時間を分割した複数のリズム画像を並べた合成画像を生成することも可能である。

【0064】

なお、本発明に係る生体信号処理装置は、一般的に入手可能な、パーソナルコンピュータ、スマートフォン、タブレット端末のようなプログラムを実行可能な電子機器で、図２～図４に示したフローチャートの動作を実行させるプログラム（アプリケーションソフトウェア）を実行することによっても実現できる。従って、このようなプログラムおよび、プログラムを格納した記憶媒体（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光学記録媒体や、磁気ディスクのような磁気記録媒体、半導体メモリカードなど）もまた本発明を構成する。

【符号の説明】

【0065】

１００…生体信号処理装置、１１０…制御部、１４０…信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】