特開 2023-120282 生体信号処理装置および自動解析用データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120282

(43)【公開日】2023-08-29

(54)【発明の名称】生体信号処理装置および自動解析用データ生成方法

(51)【国際特許分類】

   A61B 5/346 20210101AFI20230822BHJP

   G16H 40/00 20180101ALI20230822BHJP

【ＦＩ】

A61B5/346

G16H40/00

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023097217

(22)【出願日】2023-06-13

(62)【分割の表示】P 2019030386の分割

【原出願日】2019-02-22

(71)【出願人】

【識別番号】000112602

【氏名又は名称】フクダ電子株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】呉 弘敏

(72)【発明者】

【氏名】米山 達哉

(72)【発明者】

【氏名】井芹 史明

(72)【発明者】

【氏名】山内 剛

(72)【発明者】

【氏名】澤田 匠

(57)【要約】

【課題】心電図における複数種の誘導間の関係を効率的に深層学習させることが可能な自動解析用データを生成する生体信号処理装置および自動解析用データ生成方法を提供すること。
【解決手段】深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置である。生体信号処理装置は、複数種の誘導に関する心電図データを取得する取得手段と、心電図データに基づいて、複数種の誘導に関する波形の情報を表す画像のデータを心電図解析用データとして生成する生成手段と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、
複数種の誘導に関する心電図データを取得する取得手段と、
前記心電図データに基づいて、前記複数種の誘導に関する波形の情報を表す画像のデータを前記心電図解析用データとして生成する生成手段と、
を有することを特徴とする生体信号処理装置。

【請求項2】

前記生成手段は、前記心電図データの値を輝度に変換した画像のデータを前記心電図解析用データとして生成することを特徴とする請求項１に記載の生体信号処理装置。

【請求項3】

前記生成手段は、
前記複数種の誘導のそれぞれについて、前記心電図データの値を輝度に変換した１次元画像のデータを所定の長さずつ垂直方向に並べた２次元画像のデータを生成し、
前記２次元画像が配列された合成画像のデータを前記心電図解析用データとして生成する、
ことを特徴とする請求項１または２に記載の生体信号処理装置。

【請求項4】

前記生成手段は、
前記複数種の誘導のそれぞれについて、前記心電図データの値を波形として表す２次元画像のデータを生成し、
前記２次元画像が配列された合成画像のデータを前記心電図解析用データとして生成する、
ことを特徴とする請求項１に記載の生体信号処理装置。

【請求項5】

前記生成手段は、前記心電図データの値を非線形圧縮した値に基づいて前記心電図解析用データを生成することを特徴とする請求項４に記載の生体信号処理装置。

【請求項6】

前記生成手段は、前記非線形圧縮した値を誘導ごとに正規化してから前記心電図解析用データを生成することを特徴とする請求項５に記載の生体信号処理装置。

【請求項7】

前記生成手段は、前記正規化された値を有する心電図データに対し、ダウンサンプリングを適用してから前記画像のデータを生成することを特徴とする請求項６に記載の生体信号処理装置。

【請求項8】

前記ダウンサンプリングが、心電図の１心拍期間を分割した区間に応じたサンプリングレートを有することを特徴とする請求項７に記載の生体信号処理装置。

【請求項9】

前記生成手段は、前記合成画像の解像度を低減して前記心電図解析用データとすることを特徴とする請求項４から８のいずれか１項に記載の生体信号処理装置。

【請求項10】

深層学習を利用した心電図解析に用いる心電図解析用データの生成方法であって、
複数種の誘導に関する心電図データを取得する取得工程と、
前記心電図データに基づいて、前記複数種の誘導に関する波形の情報を表す画像のデータを前記心電図解析用データとして生成する生成工程と、
を有することを特徴とする心電図解析用データの生成方法。

【請求項11】

コンピュータを、請求項１から９のいずれか１項に記載の生体信号処理装置が有する各手段として機能させるためのプログラム。

【請求項12】

深層学習を利用した心電図解析に用いる心電図解析用データであって、
心電図を構成する複数種の誘導の波形の情報を表す画像のデータであることを特徴とする心電図解析用データ。

【請求項13】

前記複数種の誘導のそれぞれについて、時系列データの値に基づく輝度を有する画像を含むことを特徴とする請求項１２に記載の心電図解析用データ。

【請求項14】

前記複数種の誘導のそれぞれについて、時系列データの値を波形として表す２次元画像を含むことを特徴とする請求項１２記載の心電図解析用データ。

【請求項15】

請求項１２から１４のいずれか１項に記載の心電図解析用データを用いることを特徴とする、ニューラルネットワークの学習方法。

【請求項16】

請求項１２から１４のいずれか１項に記載の心電図解析用データを用いて学習したニューラルネットワークを用いて心電図の自動解析を行う心電図解析装置。

【請求項17】

深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、
複数種の誘導に関する心電図データを取得する取得手段と、
前記心電図データに対して振幅値の正規化を含む前処理を適用する前処理手段と、
前記前処理を適用した心電図データに基づいて、前記複数種の誘導に関する波形の情報を表す画像のデータを前記心電図解析用データとして生成する生成手段と、
を有することを特徴とする生体信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は生体信号処理装置および自動解析用データ生成方法に関する。

【背景技術】

【0002】

従来、心電図の自動解析には人間の考え方に比較的近い枝分かれ手法やポイントスコア法が主に用いられている。近年、AI技術の実用化が急速に進んでいることにより、心電図波形を時系列データまたは画像として取扱い、機械学習や深層学習のモデルを用いて自動解析する手法も提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－５２５４１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１は、心電図モニタの単一誘導を対象として、異常な心拍リズムが心室頻拍（ＶＴ）または心室細動（ＶＦ）によるものかノイズによるものかを判断するのに機械学習を利用することを開示している。しかしながら、心電図は例えば１２誘導心電図のように、複数種の誘導（チャンネル）について同時に計測されるのが一般的である。
複数種の誘導について深層学習を行おうとした場合、誘導毎に学習すると学習に要する計算時間が長くなる上、誘導間の相互関係を考慮した所見を学習できない。そのため、左室肥大や心筋梗塞などのように、複数の誘導間の相互関係を考慮すべき所見について、自動解析による判別精度が低下するという問題点がある。

【0005】

本発明はこのような従来技術の課題に鑑みてなされたものであり、心電図における複数種の波形情報と誘導間の関係を効率的に深層学習させることが可能な自動解析用データを生成する生体信号処理装置および自動解析用データ生成方法を提供することを目的の１つとする。

【課題を解決するための手段】

【0006】

本発明は一実施態様において、深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、複数種の誘導に関する心電図データを取得する取得手段と、心電図データに基づいて、複数種の誘導に関する波形の情報を表す画像のデータを心電図解析用データとして生成する生成手段と、を有することを特徴とする生体信号処理装置を提供する。

【発明の効果】

【0007】

本発明によれば、心電図における複数種の波形情報と誘導間の関係を効率的に深層学習させることが可能な自動解析用データを生成する生体信号処理装置および自動解析用データ生成方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る生体信号処理装置の機能構成例を示すブロック図である。

【図2】実施形態に係る自動解析用データ生成処理に関するフローチャートである。

【図3】実施形態に係る自動解析用データ生成処理に関するフローチャートである。

【図4】実施形態に係る自動解析用データ生成処理に関するフローチャートである。

【図5】実施形態における前処理の具体例を示す図である。

【図6】実施形態における合成画像の生成処理の具体例を示す図である。

【図7】実施形態における合成画像の生成処理の別の具体例を示す図である。

【図8】実施形態に係る自動解析用データの評価結果を示す図である。

【図9】実施形態に係る自動解析用データの評価結果を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下に説明する実施形態は本発明をいかなる意味においても限定しない。また、実施形態で説明される構成の全てが本発明に必須とは限らない。また、明らかに不可能である場合や、それが否定されている場合を除き、異なる実施形態に含まれる構成を組み合わせたり、入れ替えたりしてもよい。また、重複した説明を省略するために、添付図面においては全体を通じて同一もしくは同様の構成要素には同一の参照番号を付してある。

【0010】

図１は、本実施形態に係る生体信号処理装置１００の機能構成例を示すブロック図である。生体信号処理装置１００は、例えばプログラマブルプロセッサにより、後述する動作を実現するアプリケーションプログラムを実行することによって実現することができる。したがって、生体信号処理装置は、プログラマブルプロセッサを有する電子機器一般で実施することができる。ただし、ニューラルネットワークを用いた学習処理や学習済みモデルを適用する処理に必要なメモリ容量や演算量が多いため、ＧＰＵや深層学習に適したコプロセッサとメモリを搭載したボードなど、深層学習に関する演算を高速に実行可能なハードウェアを有する（あるいは内蔵する）電子機器で実施することが好ましい。

【0011】

生体信号処理装置１００は、複数種の誘導を含んだ心電図の時系列データ（以下、心電図データと呼ぶ）から、複数種の誘導間の関係をも勘案した心電図解析を実現するニューラルネットワークの深層学習および学習済みニューラルネットワークを用いた自動解析に適したデータ（心電図解析用データ）を生成する。なお、生体信号処理装置が生成する心電図解析用データは、ニューラルネットワークの学習時および、学習済みのニューラルネットワークを用いた自動解析時に用いられる。

【0012】

制御部１１０は、プログラマブルプロセッサ、ＲＯＭ、ＲＡＭを有し、ＲＯＭや記録部１３０に記憶されているプログラムをＲＡＭに読み込んで実行することにより、後述する心電図解析用データ生成処理を含む、生体信号処理装置１００の処理を実現する。

【0013】

外部Ｉ／Ｆ１２０は生体信号処理装置１００が外部装置と有線および／または無線通信するためのインタフェースである。生体信号処理装置１００は、外部Ｉ／Ｆ１２０を通じて、解析結果を外部機器へ出力したり、自動血圧計、IDリーダ等の外部機器から必要なデータを取得したりすることができる。外部Ｉ／Ｆ１２０は例えば、ＵＳＢ、無線ＬＡＮ、有線ＬＡＮ、ｂｌｕｅｔｏｏｔｈ（登録商標）などの規格の１つ以上に準じた外部装置と通信可能であってよい。

【0014】

記録部１３０は心電図データ及び解析結果を収録するための装置であり、ＳＳＤ、ＨＤＤなどの記憶装置、および／またはＵＳＢメモリなどが使用できる。制御部１１０は、記録部１３０にデータを記録したり、記録部１３０に記録されたデータを読み出したりする。

【0015】

信号処理部１４０は、心電図などの生体信号に対して予め定められた処理を適用する。信号処理部１４０は例えばＧＰＵやＤＳＰなど、信号処理や、ニューラルネットワークに関する処理（深層学習および学習済みニューラルネットワークの適用）に適したプログラマブルプロセッサと、プログラムを記憶するＲＯＭ、プログラムの実行に用いられるＲＡＭから構成することができる。本実施形態では、ニューラルネットワークの深層学習処理および、心電図解析用データを深層学習済のニューラルネットワークを用いて自動解析処理することを、信号処理部１４０が実現するものとする。なお、本明細書において、深層学習とは、複数層を有するニューラルネットワークの学習を意味するものとする。

【0016】

表示部１５０はＬＣＤなどの表示装置であり、生体信号処理装置１００のユーザインタフェースや生体信号などを表示する。
操作部１６０はキーボード、ポインティングデバイス、タッチパネル、スイッチ、ボタンなど、ユーザが生体信号処理装置１００に指示を入力するための入力デバイスの総称である。

【0017】

図２は、自動解析用データ生成処理のフローチャートである。
Ｓ２１０で制御部１１０は、複数種の誘導に関する心電図データ（例えば１２誘導心電図のデータ）を、例えば記録部１３０から取得する。なお、ここでは予め記録された心電図データを取得するものとするが、生体信号処理装置１００が心電計に組み込まれる場合などにはリアルタイムで心電図データを取得してもよい。

【0018】

後述するように、本実施形態では各誘導について１心拍分の波形を用いて自動解析用データを生成するため、Ｓ２１０で制御部１１０は１心拍分の心電図データを取得する。あるいは、制御部１１０は、所定時間分の心電図データを１心拍分ずつ分割し、それらを加算平均することにより１心拍分の心電図データを生成してもよい。しかしながら、各誘導について１心拍分より長い心電図データを用いて自動解析用データを生成してもよい。なお、心電図データを１心拍ずつ分割したり、１心拍内を複数の区間に分割したりするための区分点は、複数種の誘導のうちの１つを用いて決定し、全誘導について共通に使用することができる。区分点の決定に用いる誘導は予め定めておいてもよいし、振幅の最も大きな誘導を用いてもよい。また、これらの分割には公知の任意の方法を用いることができる。

【0019】

Ｓ２２０で制御部１１０は、取得した心電図データに対して前処理を適用する。前処理は、各誘導について、波形の特徴を残しつつデータ量を削減する処理である。前処理の詳細については後述する。前処理は必須ではないが、実施した方が深層学習および自動解析の演算負荷を低減でき、また学習および自動解析の精度が向上する。

【0020】

Ｓ２３０で制御部１１０は、前処理された各誘導のデータを用いて、複数種の誘導に関する波形の情報を表す１フレームの画像（合成画像）のデータを生成する。Ｓ２３０における画像データ生成処理の詳細については後述する。

【0021】

Ｓ２４０で制御部１１０は、Ｓ２３０で生成した合成画像に対し、必要に応じて後処理を適用する。後処理は例えば解像度の低減処理であってよい。後処理は必ずしも行わなくてもよい。したがって、Ｓ２３０で生成される合成画像のデータ、あるいはＳ２４０で後処理が適用された合成画像のデータが、自動解析用データとなる。制御部１１０は、生成した自動解析用データを、例えば記録部１３０に記録する。

【0022】

信号処理部１４０が実現するニューラルネットワークの深層学習（または検証）を行う場合、制御部１１０は、学習用（または検証用）の心電図データ（既知の心電図データ）から生成した自動解析用データを信号処理部１４０に供給する。また、信号処理部１４０が実現する学習済みのニューラルネットワークを用いた自動解析処理を行う場合、制御部１１０は、解析用の心電図データ（未知の心電図データ）から生成した自動解析用データを信号処理部１４０に供給する。

【0023】

次に、図３に示すフローチャートを用いて、図２のＳ２２０で行う前処理の詳細について説明する。
Ｓ２２２で制御部１１０は、心電図データに対して非線形増幅処理を適用する。非線形増幅処理は、心電図データの振幅値（基線レベルとの差）が小さい部分に大きなゲインを、振幅値が大きい部分に小さなゲインを適用する。非線形増幅の特性には特に制限はないが、対数関数的な利得曲線を用いることができる。非線形増幅は心電図データのダイナミックレンジの非線形圧縮ということもできる。

【0024】

Ｓ２２４で制御部１１０は、非線形増幅した心電図データを正規化する。例えば全誘導の最大値を用いて各誘導の心電図データを正規化してもよいし、誘導ごとに、その誘導の最大値で正規化してもよい。正規化により各誘導の心電図データは－１から１までの値を有するようになる。

【0025】

Ｓ２２６で制御部１１０は、各誘導の正規化後の心電図データにダウンサンプリングを適用して時間軸方向のデータ（サンプル）数を削減する。ダウンサンプリングは必須ではないが、学習や解析の負荷を軽減する効果がある。

【0026】

ダウンサンプリングを実施する場合には、サンプリングレートを一定とするよりも、波形の変化が大きい区間は変化の小さい区間よりも高いサンプリングレートとして、サンプル数の減少を抑制することが好ましい。例えば制御部１１０は、１心拍の期間をＱＲＳ区間（例えばＲ波のピークを基準として前後所定サンプル数（時間）の第１の区間と、Ｐ区間（例えばＱＲＳ区間の前の所定サンプル数（時間）の第２の区間と、他の第３の区間とに分割する。そして、間引かれるサンプルの割合が多い方から第３の区間＞第２の区間＞第１の区間となるように、ダウンサンプリングのサンプリングレートを異ならせることができる。また、区間内において、等間隔にサンプルを間引かずに、例えば値の差が大きい隣接サンプルについては間引かないよう、間引くサンプルを調整してもよい。なお、ここでは単純にサンプルを間引く構成としたが、補間を伴うサブサンプリングを実施してもよい。

【0027】

Ｓ２２８で制御部１１０は、必要に応じて、心電図データのうち重要でない区間のデータをトリミング（削除）する。例えば制御部１１０は、１心拍期間のうち、Ｔ波終了後からＰ波開始前の区間においてデータを削除することができる。なお、トリミングは必須ではないが、トリミングを行うことによりデータ量が削減できるため、学習時や自動解析時の演算負荷が低減できるという効果がある。なお、トリミングはダウンサンプリングの前に実行してもよい。

【0028】

このような前処理が行われた後、Ｓ２３０で実施される画像データ生成処理の詳細について、図４のフローチャートを用いて説明する。
Ｓ２３２で制御部１１０は、誘導ごとに、心電図データから画像データを生成する。本実施形態では、各誘導の時系列データである心電図データから、予め定められた共通の大きさ（水平および垂直方向の画素数）を有する矩形状の画像に対応する画像データを生成する。

【0029】

心電図データを構成する各サンプルの値（すなわち、誘導の波形に関する情報）をどのような画像で表現するかに特に制限はなく、様々な方法が考えられる。ここでは２つの例を説明する。第１の方法は、画像の水平方向を時間軸、垂直方向を振幅軸として、各サンプル値に対応する座標をプロットすることにより、波形を表す画像を生成する方法である。また、第２の方法は、サンプル値を輝度値とした画像を生成する方法である。

【0030】

まず、第１の方法について説明する。ここで、各誘導の心電図データから生成する画像の大きさが、垂直方向が振幅値の量子化により一定の画素数、水平方向がサンプル数に等しい画素数であるものとする。例えば、前処理において心電図データが正規化されている場合、垂直方向の６３画素を＋１から－１の値の範囲に割り当てて各サンプル値に対応する垂直方向の座標を決定する。水平方向の座標はサンプルごとに１ずつ加算すればよい。このようにして決定された各サンプル値の座標に該当する画素の値を１、他の座標に該当する画素の値を０とした２値画像を生成する。これにより、黒の背景にサンプル値が白でプロットされた、誘導波形を表す画像が生成される。

【0031】

なお、生成する画像の水平方向の大きさ（画素数）よりも心電図データのサンプル数が少ない場合には、画像の水平方向をサンプル数に合わせて小さくしてもよいし、サンプルがプロットされない領域は背景のままとしてもよい。前処理を行う場合には、サブサンプリングのサンプリングレートやトリミングするサンプル数を調整して、心電図データのサンプル数を、生成する画像の水平方向の大きさ（画素数）に合わせることが好ましい。

【0032】

次に、第２の方法について説明する。第２の方法は、時系列データである心電図データを、複数の区間に分割し、各区間を、そこに含まれる複数のサンプルの値を輝度値とした１次元画像に変換する。そして、各区間の１次元画像を時系列に従って垂直方向に並べることにより、２次元の多値画像を生成する。

【0033】

各誘導の心電図データから生成する画像の大きさが垂直方向ｙ画素、水平方向ｘ画素とすると、時系列データを構成するサンプル数がｘ×ｙ以下となるように、画像の大きさおよび／またはサンプル数を調整する。サンプル数がｘ×ｙに等しい場合、心電図データをｙ分割して各区間を１次元画像に変換すれば、水平方向ｘ画素の１次元画像がｙ個生成される。したがって、ｙ個の１次元画像を垂直方向に並べることで、所定の大きさの画像を生成することができる。サンプル数がｘ×ｙ未満の場合、サンプルが足りない部分については基線レベルに等しい輝度を有する画素とすることができる。

【0034】

以上のようにして、各誘導の心電図データから同じ大きさの２次元画像を表す画像データを生成したら、制御部１１０は処理をＳ２３４に進める。

【0035】

Ｓ２３４で制御部１１０は、Ｓ２３２で生成した誘導種に等しい数の２次元画像を隣接配置した合成画像のデータを生成する。一般的に利用可能なニューラルネットワークのプログラムライブラリは正方形状の画像を取り扱うことを前提としているものが多いため、合成画像は好ましくは正方形状とするが、矩形状であってもよい。

【0036】

最終的に正方形状の合成画像が生成できるように、合成画像の大きさを誘導種の数で分割してＳ２３２で誘導ごとに生成する２次元画像の大きさを定めてもよい。そして、２次元画像の大きさに基づいて、前処理におけるサブサンプリングレートやトリミングするサンプル数を決定すれば、効率よく合成画像のデータを生成することができる。

【0037】

上述のように、Ｓ２３４で生成する合成画像のデータは、そのまま自動解析用データとして用いてもよいし、さらに後処理を適用してもよい。

【0038】

図５は、前処理の具体例を示している。図５（ａ）は取得した１心拍分の心電図データを示しており、サンプル数は５００である。この心電図データに対して、非線形増幅を適用し、全誘導の最大値で正規化した結果を図５（ｂ）に示す。この状態ではサンプル数は変化していない。

【0039】

ダウンサンプリングに際して、Ｐ波区間、ＱＲＳ区間、Ｔ波区間、および他の区間に分割し、それぞれサンプリングレートをＤＳＲ２、ＤＳＲ３、ＤＳＲ４、ＤＳＲ１に設定する。ここで、ダウンサンプリングによって間引かれるサンプルの割合は、ＤＳＲ１＞ＤＳＲ４＞＝ＤＳＲ２＞ＤＳＲ３という関係を有する。ここでは、ダウンサンプリングレートＤＳＲ１の区間についてはトリミングによって削除するものとし、ＤＳＲ３を１／２、ＤＳＲ２を１／６、ＤＳＲ４を１／６とした。ここでダウンサンプリングレート１／ｎは、ダウンサンプリングによってサンプル数がもとの１／ｎに減少することを示す。図５（ｃ）は、サブサンプリングおよびトリミング後の心電図データを示している。サンプル数が５００から８４に削減されているが、誘導に関する波形の特徴は保持されている。

【0040】

図６は、１２誘導心電図データに対して図５に示した前処理を適用し、第１の方法によって各誘導に関する画像を生成し、さらに合成画像を生成した例を示している。
図６（ａ）は、各誘導の心電図データから第１の方法によって生成した、水平方向８４画素、垂直方向６３画素の画像データが表す矩形画像を模式的に示している。ただし、図６（ａ）の例では、前処理における正規化が、誘導ごとに、その最大値を用いて行われている。

【0041】

図６（ｂ）は、図６（ａ）に示す各誘導の画像を、水平方向に３つ、垂直方向に４つ隣接配置して生成した、水平方向２５２画素、垂直方向２５２画素の正方形状の合成画像を示している。この合成画像が大きすぎる場合には、後処理を適用して、図６（ｃ）～図６（ｅ）のような縮小画像を生成してもよい。この場合、後処理では例えばバイキュービック法のような公知の画像縮小処理を適用することができる。

【0042】

図７は、１２誘導心電図データに対し、図５に示した前処理のうち、非線形増幅および正規化処理を適用した後、第２の方法によって各誘導に関する画像を生成し、さらに合成画像を生成した例を示している。図７（ａ）は、１２誘導のうち１つの心電図データを例示的に示している。ここでは、水平方向に７２画素の画像を生成するため、５００に最も近い７２の倍数である４３２サンプルを用いることとし、残りの６８サンプルについてはトリミングしている。トリミングする区間は、Ｔ波終了からＰ波開始までの区間（図７（ａ）の両端部分）としている。

【0043】

次に、制御部１１０は、４３２サンプルを１～６の区間（セグメント）に等分割する。そして、制御部１１０は、セグメントごとに、サンプル値を輝度値とする１次元画像のデータに変換し、得られた６ラインの画像を時系列に従って垂直方向に並べた、垂直方向６画素、水平方向７２画素の画像のデータを生成する（図７（ｂ））。ここでは、最も古いサンプル群からなるセグメント１が一番下のラインとなるように並べているが、セグメント１を一番上のラインとして、セグメント２以降を順次下に並べてもよい。

【0044】

同様にして各誘導に関する心電図データから垂直方向６画素、水平方向７２画素の画像のデータを生成すると、制御部１１０は、各誘導の画像を予め定めた順序で垂直方向に並べた垂直方向７２画素、水平方向７２画素の画像の合成画像のデータを生成する（図７（ｃ））。

【0045】

なお、合成画像のサイズを小さくしたい場合、図７（ｄ）に示すように、各誘導の心電図データをサブサンプリングしてから画像を生成してもよいし、後処理において合成画像データを縮小してもよい。

【0046】

以上説明したように、本実施形態によれば、複数の誘導に関する心電図データから、全誘導の心電図波形の情報をまとめた１つの２次元画像を自動解析用データとして生成する。本実施形態によって生成した自動解析用データを用いることにより、個々の誘導に関する学習とともに、複数の誘導間の関係についても学習が可能になる。

【0047】

以下、本実施形態による自動解析用データを、２次元の畳み込みニューラルネットワーク（２Ｄ ＣＮＮ）に適用した例について説明する。ここで、評価に用いた２Ｄ ＣＮＮに関するパラメータは以下の通りである。
層数：６～１０層
カーネルサイズ：３×３
活性化関数：ＲｅＬＵ
バッチサイズ：６４
Ｅｐｏｃｈ数：１０～２０
Ｄｒｏｐｏｕｔ割合：０．５

【0048】

また、比較例として以下の方法についても評価した。
・時系列データとして学習
比較例１：１次元ＣＮＮ
比較例２：ＲＮＮ(Recurrent Neural Network)
比較例３：Wavelet変換＋Kernel ＳＶＭ(Support Vector Machine)
・画像として学習
比較例４：ＡＥ(Auto Encoder)
比較例はいずれも誘導ごとに学習を行った。

【0049】

図８は、１２誘導心電図データとして、正常心電図(Normal)２５０件、右脚ブロック(RBBB)２５０件、左脚ブロック(LBBB)２５０件、ウォルフ・パーキンソン・ホワイト症候群(WPW)２００件、心筋梗塞(IMI)２５０件を用いて学習を行った後、それぞれ１００件（ＷＰＷのみ５０件）について検証を行った結果を示している。

【0050】

本実施形態に係る自動解析用データについては、図６の後処理により合成画像を４２×４２画素、と図７の後処理により、合成画像を３６×３６画素に縮小したものを用いた。また、ＡＥについては誘導ごとに１００×１００画素の波形画像を用いた。図８において、比較例１～４はいずれも、１２誘導のそれぞれについて別個に検証を行い、最も成績の良かった１誘導についての値（％）を示している。感度は正解率であり、陽性的中率は、陽性と判定されたもののうち、実際に陽性であった確率を示している。

【0051】

１つの誘導から判別が可能な右脚ブロック(RBBB)、左脚ブロック(LBBB)、ウォルフ・パーキンソン・ホワイト症候群(WPW)についての感度（R_Acc、L_Acc、W_Acc）および陽性的中率(R_PPR、L_PPR、W_PPR)を比較すると、本実施形態による自動解析用データを用いることにより、比較例と同等以上の精度が得られていることがわかる。
また、複数の誘導の相互関係を考慮して判別する必要がある心筋梗塞(IMI)の感度（I_Acc）および陽性的中率（I_PPR）を比較すると、本実施形態による自動解析用データを用いることにより、比較例に対して精度が大幅に向上していることが分かる。

【0052】

さらに、本実施形態による自動解析用データを用いる場合、３６×３６画素は４２×４２画素よりも画素数が２５％以上少ないものの、それでも比較例よりも良好な精度が得られている。また、学習に要する時間も短いことが分かる。

【0053】

図９は、前処理において非線形増幅を適用することの効果を評価した結果を示している。非線形増幅の特性を対数関数としているため、図９では対数圧縮(Log Compression)と記載している。対数圧縮後、全誘導の最大値で各誘導を正規化している。
比較のため、対数圧縮を行わずに、誘導ごとに最大値で正規化を行った場合(Each Ch Normalization)と、対数圧縮を行わずに、最大振幅を飽和させた後、全誘導の最大値で各誘導を正規化した場合(Saturation)についても評価した。

【0054】

ここでは、正常心電図１０５００件、異常心電図１０５００件を用いて学習し、その後、正常心電図４５００件、異常心電図４５００件について、正常（Normal）か異常（Abnormal）かの判定精度を評価した。また、それぞれの方法について、自動解析用データのサイズを２５２×２５２画素の場合と、８４×８４画素の場合について、感度および陽性的中率を評価した。AVG_Accは平均感度、AVG_Pprは平均陽性的中率であり、AVG_Accの下に記載したNormal、Abnormalがそれぞれの感度、AVG_Pprの下に記載したNormal、Abnormalがそれぞれの陽性的中率である。

【0055】

非線形増幅を適用した場合、データサイズを小さくした場合の精度の低下がほとんど見られないことが分かる。８４×８４画素のデータサイズは２５２×２５２画素のデータサイズのほぼ１／９である。データサイズは計算量に直結するため、精度の低下を抑制しながら大幅にデータサイズを低減可能である点において、非線形増幅の有用性が理解される。

【0056】

以上説明したように、本実施形態によれば、深層学習を利用した心電図解析用のデータとして、複数種の誘導に関する波形の情報を表す画像を生成するようにした。これにより、単一の誘導に関する情報からでは判別が難しい所見についても、精度のよい自動解析が実現できる。また、心電図データに対して非線形増幅を適用してから２次元画像を生成することにより、判定精度の低下を抑制しながら２次元画像のサイズを小さくすることが可能であり、学習や自動解析の演算コストおよび時間を大幅に削減することができる。

【0057】

発明は上述した実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。例えば、上述した実施形態では１２誘導心電図データを用いる場合について説明したが、本発明は任意の複数種の誘導に関する心電図データに対して適用可能である。

【0058】

なお、本発明に係る生体信号処理装置は、一般的に入手可能な、パーソナルコンピュータ、スマートフォン、タブレット端末のようなプログラムを実行可能な電子機器で、図２～図４に示したフローチャートの動作を実行させるプログラム（アプリケーションソフトウェア）を実行することによっても実現できる。従って、このようなプログラムおよび、プログラムを格納した記憶媒体（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光学記録媒体や、磁気ディスクのような磁気記録媒体、半導体メモリカードなど）もまた本発明を構成する。

【符号の説明】

【0059】

１００…生体信号処理装置、１１０…制御部、１４０…信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-07-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、
複数種の誘導に関する心電図データを取得する取得手段と、
前記心電図データに基づいて、前記複数種の誘導に関する波形の情報を表す２次元画像が誘導ごとに異なる予め定められた位置に２次元配置された合成画像のデータを前記心電図解析用データとして生成する生成手段と、を有し、
前記生成手段は、
同一心拍に係る前記複数種の誘導のそれぞれについて、前記心電図データの値を波形として表す２次元画像が誘導ごとに異なる予め定められた位置に２次元配置され、前記波形と背景以外の情報を含まない合成画像のデータを前記心電図解析用データとして生成する、
ことを特徴とする生体信号処理装置。

【請求項2】

前記生成手段は、前記心電図データに対して振幅値の正規化を含む前処理を適用し、前記前処理を適用した心電図データに基づいて、前記心電図解析用データを生成することを特徴とする請求項１に記載の生体信号処理装置。

【請求項3】

前記生成手段は、前記心電図データの値を非線形圧縮した値に基づいて前記心電図解析用データを生成することを特徴とする請求項１に記載の生体信号処理装置。

【請求項4】

前記生成手段は、前記非線形圧縮した値を誘導ごとに正規化してから前記心電図解析用データを生成することを特徴とする請求項３に記載の生体信号処理装置。

【請求項5】

前記生成手段は、前記正規化された値を有する心電図データに対し、ダウンサンプリングを適用してから前記２次元画像のデータを生成することを特徴とする請求項４に記載の生体信号処理装置。

【請求項6】

前記ダウンサンプリングが、心電図の１心拍期間を分割した区間に応じたサンプリングレートを有することを特徴とする請求項５に記載の生体信号処理装置。

【請求項7】

前記生成手段は、前記合成画像の解像度を低減して前記心電図解析用データとすることを特徴とする請求項２から６のいずれか１項に記載の生体信号処理装置。

【請求項8】

前記合成画像が正方形状であることを特徴とする請求項１から７のいずれか１項に記載の生体信号処理装置。

【請求項9】

深層学習を利用した心電図解析に用いる心電図解析用データの生成方法であって、
複数種の誘導に関する心電図データを取得する取得工程と、
前記心電図データに基づいて、前記複数種の誘導に関する波形の情報を表す２次元画像が誘導ごとに異なる予め定められた位置に２次元配置された合成画像のデータを前記心電図解析用データとして生成する生成工程と、を有し、
前記生成工程は、
同一心拍に係る前記複数種の誘導のそれぞれについて、前記心電図データの値を波形として表す２次元画像が誘導ごとに異なる予め定められた位置に２次元配置され、前記波形と背景以外の情報を含まない合成画像のデータを前記心電図解析用データとして生成することと、
を有することを特徴とする心電図解析用データの生成方法。

【請求項10】

コンピュータを、請求項１から８のいずれか１項に記載の生体信号処理装置が有する各手段として機能させるためのプログラム。

【請求項11】

既知の心電図データから請求項１から８のいずれか１項に記載の生体信号処理装置が生成した心電図解析用データを用いてニューラルネットワークを学習する工程を有することを特徴とする、ニューラルネットワークの学習方法。

【請求項12】

既知の心電図データから請求項１から８のいずれか１項に記載の生体信号処理装置が生成した心電図解析用データを用いて学習したニューラルネットワークに、未知の心電図データから請求項１から８のいずれか１項に記載の生体信号処理装置が生成した心電図解析用データを適用することにより、前記未知の心電図データの自動解析を行う心電図解析装置。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

本発明はその一態様において、深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、複数種の誘導に関する心電図データを取得する取得手段と、心電図データに基づいて、複数種の誘導に関する波形の情報を表す２次元画像が誘導ごとに異なる予め定められた位置に２次元配置された合成画像のデータを心電図解析用データとして生成する生成手段と、を有し、生成手段は、同一心拍に係る複数種の誘導のそれぞれについて、心電図データの値を波形として表す２次元画像が誘導ごとに異なる予め定められた位置に２次元配置され、波形と背景以外の情報を含まない合成画像のデータを心電図解析用データとして生成する、ことを特徴とする生体信号処理装置を提供する。