特開 2025-1618 深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025001618

(43)【公開日】2025-01-08

(54)【発明の名称】深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20241225BHJP

   G06T 7/00 20170101ALI20241225BHJP

   G16H 50/20 20180101ALI20241225BHJP

   G16H 30/00 20180101ALI20241225BHJP

【ＦＩ】

A61B8/14

G06T7/00 350C

G06T7/00 612

G16H50/20

G16H30/00

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023204719

(22)【出願日】2023-12-04

(11)【特許番号】

(45)【特許公報発行日】2024-12-13

(31)【優先権主張番号】2023107339773

(32)【優先日】2023-06-20

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】515339491

【氏名又は名称】▲華▼中科技大学同▲済▼医学院附属▲協▼和医院

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】張麗

(72)【発明者】

【氏名】朱業

(72)【発明者】

【氏名】謝明星

(72)【発明者】

【氏名】張紫桑

(72)【発明者】

【氏名】張易薇

(72)【発明者】

【氏名】呉純

(72)【発明者】

【氏名】劉曼薇

(72)【発明者】

【氏名】章子銘

(72)【発明者】

【氏名】朱双双

(72)【発明者】

【氏名】肖蘇珊

(72)【発明者】

【氏名】許春燕

(72)【発明者】

【氏名】張▲くん▼敏

(72)【発明者】

【氏名】陳▲うぇん▼▲うぇん▼

(72)【発明者】

【氏名】祖白熱 牙生

【テーマコード（参考）】

4C601

5L096

5L099

【Ｆターム（参考）】

4C601BB03

4C601DD15

4C601DD27

4C601EE09

4C601EE11

4C601JB34

4C601JC06

4C601JC25

4C601JC26

4C601JC37

4C601KK25

4C601LL21

5L096AA03

5L096AA06

5L096BA06

5L096BA13

5L096CA04

5L096DA02

5L096EA02

5L096FA32

5L096GA34

5L096HA11

5L096JA22

5L096KA04

5L096KA15

5L099AA04

5L099AA26

(57)【要約】      （修正有）

【課題】深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法を提供する。
【解決手段】成人向け心エコー図の動画及び画像を収集し、これに対して前処理を行い、前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分けることを含む。ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、測定対象画像または動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法であって、
ステップ１：マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、
ステップ２：収集された成人向け心エコー図の動画及び画像に対して前処理を行い、
ステップ３：前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、
ステップ４：成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、
ステップ５：ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、
ステップ６：テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、
ステップ７：測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る、というステップを含む、
ことを特徴とする深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【請求項2】

ステップ１において、マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、具体的には、
マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、三次元グレースケール心エコー図、カラードプラ心エコー図、二次元グレースケール胸骨傍左心室長軸断面、二次元グレースケール胸骨傍左心室短軸断面、二次元グレースケール胸骨傍大動脈短軸断面、二次元グレースケール剣状突起下側断面、二次元グレースケール心尖二腔断面、二次元グレースケール心尖三腔断面、二次元グレースケール心尖四腔断面、二次元左心音響造影心尖二腔断面、二次元左心音響造影心尖三腔断面、二次元左心音響造影心尖四腔断面、及び二次元左心音響造影胸骨傍左心室短軸断面を含む、ことを特徴とする請求項１に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【請求項3】

ステップ２において、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、具体的には、
Ｐｙｔｈｏｎの第三者ライブラリＯｐｅｎＣＶによって成人向け心エコー図の動画及び画像に対してバッチ処理を行い、連続フレーム画像の画素変化に基づいて、画像前処理操作に合わせて扇形の関心領域を抽出し、動画をフレームごとにＰＮＧフォーマットに保存する、ことを特徴とする請求項２に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【請求項4】

ステップ４において、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、具体的には、
８：１：１の割合で成人向け心エコー図のデータセットを訓練セット、検証セットおよびテストセットに分け、ここで、サンプル量が最も少ない断面データ量を基準として、他のカテゴリの断面データセットを等比率でサンプリングして、サンプル量が等化であるデータセットを構成することにより、各カテゴリの断面サンプル量が等化するようにし、ここで、訓練セットは、成人向け心エコー図断面分類モデルを訓練し、検証セットは、モデルハイパーパラメータを調整し、最適分類モデルをスクリーニングし、テストセットは、モデルの分類性能を評価するために用いられる、ことを特徴とする請求項３に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【請求項5】

ステップ５において、ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、具体的には、
１０１層のＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、訓練段階において転移学習戦略を採用し、事前訓練の重みはＩｍａｇｅＮｅｔデータセットで訓練された結果を採用し、出力層分類器はＳｏｆｔｍａｘ関数であり、分類カテゴリ数は１３カテゴリに設定され、初期学習率が０．０００１であるＡｄａｍ最適化器を使用し、バッチ処理サイズは１２８であり、モデル微調整を行い、１００回反復し、残差構造を有する畳み込みニューラルネットワークにより超音波画像の特徴を抽出し、訓練が完了した後、トゥルースラベルと予測結果との間の交差エントロピー損失値を最小化することにより、検証セットにおいてモデル性能を評価し、分類正確率が最も高いモデル重みを最適成人向け心エコー図断面分類モデルとして選択する、ことを特徴とする請求項４に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【請求項6】

ステップ６において、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、具体的には、
混同行列、正確率、精度、リコール率、特異度及びＦ１スコアを用いて、検証セット及びテストセットにおいて、最適成人向け心エコー図断面分類モデルの性能を評価する、ことを特徴とする請求項５に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【請求項7】

ステップ７において、測定対象画像を成人向け心エコー図断面分類モデルに入力し、分類結果を得り、具体的には、
測定対象画像を成人向け心エコー図断面分類モデルに入力し、ここで、成人向け心エコー図の動画に対して、成人向け心エコー図断面分類モデルにより各画像の分類結果を予測し、成人向け心エコー図の動画に対して、各動画に等間隔で１０フレーム画像をサンプリングして予測を行い、予測結果に対して平均値を取って、最大予測確率に対応する断面種別を動画の分類結果とし、勾配重み付けタイプの活性化グラフ可視化分析方法を用いて、成人向け心エコー図断面分類モデルの最後の層の特徴重みを用いてヒートマップを生成し、可視化断面分類モデルが重点注目領域に注目し、分類結果に対して解釈可能な分析を行う、ことを特徴とする請求項６に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、心エコー図分類技術分野に関し、特に、深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法に関する。

【背景技術】

【0002】

心エコー図は、非侵襲、無放射、高時間分解能、ベッドサイド操作などの利点を有し、心血管疾患の診療において重要な臨床価値を発揮する。現在の心エコー図は、Ｍ型、二次元グレースケール、カラードプラ、音響造影などの複数のモーダルを含んでいる。マルチモーダル超音波画像は、心房及び心室位置、大きさ及び血行動態情報などの豊富な心臓解剖構造情報を提供する。心エコー図基準断面を正確に認識することは、定量化及び後処理に対して心臓機能を解析することが重要であるが、後処理解析ソフトウェア、例えば、ＱＬａｂ及びＥｃｈｏＰＡＣ等は、人工スクリーニングで標準心尖アプローチ面画像に依存して心臓構造及び機能の二次解析を行い、特に、ビッグサンプルデータに対して、断面の予備分類には、手間がかかる。したがって、心エコー図基準断面を迅速かつ正確に自動的に識別するニーズが徐々に向上している。

【0003】

従来技術における心エコー図基準断面の認識方法は、主に２Ｄグレースケール画像に対するもので、３Ｄ造影及びカラードプラ超音波画像に対する研究が少ない。したがって、深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法を設計する必要がある。

【発明の概要】

【0004】

本発明の目的は、深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法を提供し、心エコー図のマルチモーダルマルチ断面の自動分類を実現でき、分類精度が高く、手間が省ける。

【0005】

上記目的を達成するために、本発明は以下の手段を提供する。

【0006】

深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法であって、以下のステップを含む：

【0007】

ステップ１：マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、

【0008】

ステップ２：収集された成人向け心エコー図の動画及び画像に対して前処理を行い、

【0009】

ステップ３：前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、

【0010】

ステップ４：成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、

【0011】

ステップ５：ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、

【0012】

ステップ６：テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、

【0013】

ステップ７：測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る。

【0014】

選択的に、ステップ１において、マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、具体的には、

【0015】

マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、三次元グレースケール心エコー図、カラードプラ心エコー図、二次元グレースケール胸骨傍左心室長軸断面、二次元グレースケール胸骨傍左心室短軸断面、二次元グレースケール胸骨傍大動脈短軸断面、二次元グレースケール剣状突起下側断面、二次元グレースケール心尖二腔断面、二次元グレースケール心尖三腔断面、二次元グレースケール心尖四腔断面、二次元左心音響造影心尖二腔断面、二次元左心音響造影心尖三腔断面、二次元左心音響造影心尖四腔断面、及び二次元左心音響造影胸骨傍左心室短軸断面を含む。

【0016】

選択的に、ステップ２において、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、具体的には、

【0017】

Ｐｙｔｈｏｎの第三者ライブラリＯｐｅｎＣＶによって成人向け心エコー図の動画及び画像に対してバッチ処理を行い、連続フレーム画像の画素変化に基づいて、画像前処理操作に合わせて扇形の関心領域を抽出し、動画をフレームごとにＰＮＧフォーマットに保存する。

【0018】

選択的に、ステップ４において、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、具体的には、

【0019】

８：１：１の割合で成人向け心エコー図のデータセットを訓練セット、検証セットおよびテストセットに分け、ここで、サンプル量が最も少ない断面データ量を基準として、他のカテゴリの断面データセットを等比率でサンプリングして、サンプル量が等化であるデータセットを構成することにより、各カテゴリの断面サンプル量が等化するようにし、ここで、訓練セットは、成人向け心エコー図断面分類モデルを訓練し、検証セットは、モデルハイパーパラメータを調整し、最適分類モデルをスクリーニングし、テストセットは、モデルの分類性能を評価するために用いられる。

【0020】

選択的に、ステップ５において、ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、具体的には、

【0021】

１０１層のＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、訓練段階において転移学習戦略を採用し、事前訓練の重みはＩｍａｇｅＮｅｔデータセットで訓練された結果を採用し、出力層分類器はＳｏｆｔｍａｘ関数であり、分類カテゴリ数は１３カテゴリに設定され、初期学習率が０．０００１であるＡｄａｍ最適化器を使用し、バッチ処理サイズは１２８であり、モデル微調整を行い、１００回反復し、残差構造を有する畳み込みニューラルネットワークにより超音波画像の特徴を抽出し、訓練が完了した後、トゥルースラベルと予測結果との間の交差エントロピー損失値を最小化することにより、検証セットにおいてモデル性能を評価し、分類正確率が最も高いモデル重みを最適成人向け心エコー図断面分類モデルとして選択する。

【0022】

選択的に、ステップ６において、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、具体的には、

【0023】

混同行列、正確率、精度、リコール率、特異度及びＦ１スコアを用いて、検証セット及びテストセットにおいて、最適成人向け心エコー図断面分類モデルの性能を評価する。

【0024】

選択的に、ステップ７において、測定対象画像を成人向け心エコー図断面分類モデルに入力し、分類結果を得り、具体的には、

【0025】

測定対象画像を成人向け心エコー図断面分類モデルに入力し、ここで、成人向け心エコー図の動画に対して、成人向け心エコー図断面分類モデルにより各画像の分類結果を予測し、成人向け心エコー図の動画に対して、各動画に等間隔で１０フレーム画像をサンプリングして予測を行い、予測結果に対して平均値を取って、最大予測確率に対応する断面のカテゴリを動画の分類結果とし、勾配重み付けタイプの活性化グラフ可視化分析方法を用いて、成人向け心エコー図断面分類モデルの最後の層の特徴重みを用いてヒートマップを生成し、可視化断面分類モデルが重点注目領域に注目し、分類結果に対して解釈可能な分析を行う。

【0026】

本発明によって提供される具体的な実施例によれば、本発明は、以下の技術的効果を提供する。本発明に提供された深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法であって、マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る、というステップを含み、該方法は、成人向け心エコー図の動画及び画像に対して前処理を行い、関心領域を抽出し、患者の検査及び個人情報をヒドゥンし、該方法は、マルチモーダル（２Ｄグレースケール、ドプラ、３Ｄ及び音響造影）、マルチ断面（主に、２Ｄグレースケールの臨床検査に常用される断面に対する）心エコー図のデータに応用することができ、該方法は、臨床経験が豊富な超音波医師によりラベル付けされ、ラベルの正確性を保証することができ、該方法は、データセットを比例的にランダムに分け、データ多様性及びサンプル量が等化であることを保証することができ、該方法は、複数の分類指標により独立データセットにおいてモデル予測性能を評価し、モデル予測結果のロバスト性を保証することができ、該方法は、クラス活性化ヒートマップ可視化モデル分類過程において重点的に注目する解剖領域を採用し、モデルの解釈可能性を向上させる。

【図面の簡単な説明】

【0027】

本発明の実施例又は従来技術の技術的解決手段をさらに明瞭に説明するように、次に実施例の記述に使用される必要がある図面を簡単に説明し、明らかに、次の記述における図面は、本考案の一部の実施例だけであり、当業者にとっては、創造的な労働を払わずに、これらの図面に基づいて他の図面を得ることもできる。

【図1】本発明の実施例に係る深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法のフローチャートである。

【図2a】断面のカテゴリが２Ｄ＿２Ｃ、２Ｄ＿３Ｃ、２Ｄ＿４Ｃ及び２Ｄ＿ＢＸの可視化解析結果図である。

【図2b】断面のカテゴリが２Ｄ＿Ｐ、２Ｄ＿ＳＡＸ、２Ｄ＿ＳＡｏＡ、３Ｄ、Ｃ２Ｄ＿２Ｃ及びＣ２Ｄ＿３Ｃの可視化解析結果図である。

【図2c】断面のカテゴリがＣ２Ｄ＿４Ｃ、Ｃ２Ｄ＿ＳＡＸ及びＣＤＦＩの可視化解析結果図である。

【発明を実施するための形態】

【0028】

本発明の目的は、深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法を提供し、心エコー図のマルチモーダルマルチ断面の自動分類を実現でき、分類精度が高く、手間が省ける。

【0029】

発明の上記目的、特徴及び利点をより明らかにするために、以下、図面及び具体的な実施形態を参照しながら本発明を更に詳細に説明する。

【0030】

図１に示すように、本発明の実施例に提供される深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法であって、以下のステップを含む：

【0031】

ステップ１：マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、ステップ２：収集された成人向け心エコー図の動画及び画像に対して前処理を行い、

【0032】

ステップ３：前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、

【0033】

ステップ４：成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、

【0034】

ステップ５：ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、

【0035】

ステップ６：テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、

【0036】

ステップ７：測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る。

【0037】

選択ステップ１において、マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、具体的には、

【0038】

マルチモジュール、マルチ断面の成人向け心エコー図の動画及び画像を収集し、三次元グレースケール心エコー図、カラードプラ心エコー図、二次元グレースケール胸骨傍左心室長軸断面、二次元グレースケール胸骨傍左心室短軸断面、二次元グレースケール胸骨傍大動脈短軸断面、二次元グレースケール剣状突起下側断面、二次元グレースケール心尖二腔断面、二次元グレースケール心尖三腔断面、二次元グレースケール心尖四腔断面、二次元左心音響造影心尖二腔断面、二次元左心音響造影心尖三腔断面、二次元左心音響造影心尖四腔断面、及び二次元左心音響造影胸骨傍左心室短軸断面を含む。

【0039】

選択ステップ２において、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、具体的には、

【0040】

超音波動画データはＤＩＣＯＭ形式で記憶され、通常、検査情報（検査日時、心電図、心拍数、フレーム周波数）及び超音波デバイスパラメータなどの冗長情報を含み、画像信号対雑音比を低下させ、ＡＩモデルの予測性能に影響を与える可能性があり、Ｐｙｄｉｃｏｍ及びＯｐｅｎＣＶ等のＰｙｔｈｏｎ第三者ライブラリによって成人向け心エコー図の動画及び画像に対してバッチ処理を行い、連続フレーム画像の画素変化に基づいて、膨張、腐食等の画像前処理操作を組みあわせ、扇形の関心領域を抽出し、動画をフレームごとにＰＮＧフォーマットに保存し、後続の訓練断面分類モデルに対して、Ｐｙｄｉｃｏｍライブラリを用いて元のＤＩＣＯＭファイルを処理し、患者の氏名等のセンシティな情報を除去し、ＯｐｅｎＣＶライブラリにより心エコー図の動画における関心領域（扇形領域）を抽出し、周囲の無用な情報（例えば、患者の年齢、氏名、機械の型番など）を除去する。

【0041】

ステップ３において、前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、具体的には、

【0042】

臨床経験を豊かにする超音波医師によって断面データセットのラベル付け作業を完成し、データラベルの真実性と信頼性を保証する。

【0043】

ステップ４において、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、具体的には、

【0044】

８：１：１の割合で成人向け心エコー図のデータセットを訓練セット、検証セットおよびテストセットに分け、ここで、サンプル量が最も少ない断面データ量を基準として、他のカテゴリの断面データセットを等比率でサンプリングして、サンプル量が等化であるデータセットを構成することにより、各カテゴリの断面サンプル量が等化であるデータセットを構成する。ここで、訓練セットは、成人向け心エコー図断面分類モデルを訓練し、検証セットは、モデルハイパーパラメータを調整し、最適分類モデルをスクリーニングし、テストセットは、モデルの分類性能を評価するために用いられる。

【0045】

ステップ５において、ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、具体的には、

【0046】

畳み込みニューラルネットワークは、強い特徴の表現能力を有し、通常、畳み込みカーネル、活性化関数、プーリング層及び全結合層を組み合わせてなり、畳み込み操作は、入力画像の異なる階層の特徴を抽出することができ、活性化関数は、ネットワーク層と層との間の非線形関係を増加させることにより特徴識別能力を向上させ、プーリング層は、特徴次元を低減する及び画像の主な特徴を保留する空間やスケール不変性であり、全結合層は、抽出された特徴を分類サンプル空間にマッピングするが、ネットワーク層の数が深くなるにつれて、簡単に畳み込み層を積層して勾配消失又は爆発問題を引き起こし、モデル性能を低下させ、深度残差ネットワークＲｅｓＮｅｔは、コンピュータビジョン分野において最も革新的な畳み込みニューラルネットワークの１つであり、残差学習再構成モデルにより残差マップに対してフィッティングを行い、深層ネットワークの逆伝播過程に存在する「退化」という問題を解決し、ネットワーク深度を大幅に増加させ、ネットワーク性能を効果的に向上させる。

【0047】

ＲｅｓＮｅｔの基本的思想は、入力がｘであり、Ｈ（ｘ）が、学習された特徴、即ち、いくつかの畳み込み層が積み重ねられた非線形層が抽出した特徴を表すことである。もう１つの分岐路は線形層であり、恒等マッピング又は投影を示し、残差特徴がＦ（ｘ）＝Ｈ（ｘ）ーｘであることを学習する。従って、元のマッピングはＦ（ｘ）＋ｘとなり、畳み込み層が入力特徴に基づいて新しい特徴を学習し、ネットワーク深度を増加させるとともに、モデル性能を向上させる。

【0048】

本発明は、１０１層のＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、訓練段階において転移学習戦略を採用し、事前訓練の重みはＩｍａｇｅＮｅｔデータセットで訓練された結果を採用し、出力層分類器はＳｏｆｔｍａｘ関数であり、分類カテゴリ数は１３カテゴリに設定され、初期学習率が０．０００１であるＡｄａｍ最適化器を使用し、バッチ処理サイズは１２８であり、モデル微調整を行い、１００回反復し、残差構造を有する畳み込みニューラルネットワークにより超音波画像の特徴を抽出し、ここで、具体的な手順は、まず、オリジナルサイズの超音波画像を１枚入力し、Ｐｙｔｏｒｃｈにおけるｔｒａｎｓｆｏｒｍｓ．Ｒｅｓｉｚｅ（）方法を呼び出し、画像サイズを２５６＊２５６＊３に調整する。訓練セットにおいて、ｔｒａｎｓｆｏｒｍｓ．ＲａｎｄｏｍＲｏｔａｔｉｏｎ（）方法を呼び出し、０－１５°の範囲内のいずれかの角度で水平方向に画像をランダムに回転させ、データの多様性とロバスト性を増加させ、モデルの汎化能力を向上させる。モデルの収束速度、安定性及び汎化能力を向上させるために、訓練セット及び検証セットにおいてｔｒａｎｓｆｏｒｍｓ．Ｎｏｒｍａｌｉｚｅ（）方法を用いて画像標準化処理を行い、画像の３つのチャネルの平均値は０．０７であり、標準偏差はそれぞれ０．１５、０．１５及び０．１４である。前処理された画像に７×７の畳み込みカーネルを入力して畳み込み操作を行い、ステップサイズは２であり、出力チャネル数は６４であり、境界は３に充填される。次にバッチ正規化及びＲｅＬＵ活性化関数を適用し、３ｘ３のプーリングカーネルを用いて最大プーリング操作を行い、ステップサイズが２であり、特徴マップのサイズを小さくする。次に、基本ブロック群１に３つの基本ブロック構成が含まれる。各基本ブロックは、２つの１ｘ１の畳み込みカーネル（ステップサイズが１、出力チャンネル数が６４、２５６）及び１つの３ｘ３の畳み込みカーネル（ステップサイズが１、出力チャンネル数が６４、境界が１に充填されている）を含む。各畳み込みカーネルの後にバッチ正規化を適用し、２番目の１ｘ１の畳み込みカーネルの後にＲｅＬＵ活性化関数を採用する。これら３つの基本ブロックの入力は、スキップ接続によって畳み込み層をバイパスし、入力を畳み込み層の出力に直接加算することで、勾配の消失問題を回避する。次に、基本ブロック群１と同様の構成により、出力チャンネルを２５６から５１２、１０２４、２０４８とする。グローバル平均プーリング操作を用いて、特徴マップをベクトル２０４８＊１＊１に変換する。最後に、出力層は線形全結合操作を用いて、Ｓｏｆｔｍａｘ関数を採用して特徴ベクトルを１３カテゴリの確率分布にマッピングし、超音波画像の断面のカテゴリを予測する。

【0049】

訓練が完了した後、トゥルースラベルと予測結果との間の交差エントロピー損失値を最小化することによって、検証セットにおいてモデル性能を評価し、損失値が最小となるモデル重みを最適成人向け心エコー図断面分類モデルとして選択し、ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ３０９０ ＧＰＵ（２４ＧＢメモリ）を搭載するサーバーにＰｙｔｈｏｎ（３．７．１０バージョン）とＰｙＴｏｒｃｈ（１．７．１バージョン）ソフトウェアを用いてモデルの開発及び検証を実現する。

【0050】

ステップ６において、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、具体的には、

【0051】

混同行列、正確率、精度、リコール率（「陽性予測値」とも呼ばれる）、特異度（「感受性」とも呼ばれる）及びＦ１スコアなどの多項式の指標を用いて、検証セット及びテストセットにおいて、最適成人向け心エコー図断面分類モデルの性能を評価する。

【0052】

ステップ７において、測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を取得し、具体的には、

【0053】

測定対象画像を成人向け心エコー図断面分類モデルに入力し、ここで、成人向け心エコー図の動画について、成人向け心エコー図断面分類モデルは、各画像の分類結果を予測する。成人向け心エコー図の動画に対して、各動画などの間隔から１０フレームの画像をサンプリングして予測を行い、予測結果に対して平均値を取って、最大予測確率に対応する断面のカテゴリを動画の分類結果とし、勾配重み付けタイプの活性化グラフ可視化分析方法を用いて、成人向け心エコー図断面分類モデルの最後の層の特徴重みを用いて、ヒートマップを生成し、可視化断面分類モデルを重点的に領域に分類し、分類結果に対して解釈可能な分析を行い、断面分類モデルの深層ロジックを理解し、モデルの解釈可能性を向上させることに役立つ。

【0054】

本発明の一実施例は、異なる分類モデルにおいて、マルチモーダル、マルチ断面データセットを訓練し、検証セットの画像レベルにおいて分類モデルの性能を評価するとともに、テストセットの画像レベル及び動画レベルにおいて分類モデル性能を評価し、結果を表１に示す。

【0055】

検証セットの画像レベルにおいて、正確率とＦ１スコアを用いて分類モデルの性能を評価し、ＲｅｓＮｅｔ１０１のＦ１スコアが最も高く、その分類性能が最適であることを示す（表１を参照）。したがって、ＲｅｓＮｅｔ１０１を最終的な断面分類モデルとして選択し、テストセットの画像レベルと動画レベルでモデルの分類性能をそれぞれ評価する。

【0056】

備考：２Ｄ＿２Ｃは二次元グレースケール心尖二腔断面を示し、２Ｄ＿３Ｃは二次元グレースケール心尖三腔断面を示し、２Ｄ＿４Ｃは二次元グレースケール心尖四腔断面を示し、２Ｄ＿ＢＸは二次元グレースケール剣状突起下側断面を示し、２Ｄ＿Ｐは二次元グレースケール胸骨傍左心室長軸断面を示し、２Ｄ＿ＳＡＸは二次元グレースケール胸骨傍左心室短軸断面を示し、２Ｄ＿ＳＡｏＡは二次元グレースケール胸骨近傍大動脈短軸断面を示し、３Ｄは三次元グレースケール心エコー図を示し、Ｃ２Ｄ＿２Ｃは二次元左心音響造影心尖二腔断面を示し、Ｃ２Ｄ＿３Ｃは二次元左心音響造影心尖三腔断面を示し、Ｃ２Ｄ＿４Ｃは二次元左心音響造影心尖四腔断面を示し、Ｃ２Ｄ＿ＳＡＸは二次元左心音響造影胸骨傍左心室短軸断面を示し、ＣＤＦＩはカラードプラ心エコー図を示し、

【0057】

結果から明らかなように、画像レベルでＲｅｓＮｅｔ１０１分類１３カテゴリの断面の平均精度は９７．１３であり、平均Ｆ１スコアは９６．８６（表２を参照）に分類され、動画レベルでＲｅｓＮｅｔ１０１分類１３カテゴリの断面の平均Ｆ１スコアは９７．０７である。

【0058】

Ｇｒａｄ－ＣＡＭ可視化方法によれば、テストセットについて結果の解釈可能性分析を行い、断面分類モデルが画像カテゴリの重点注目領域と超音波医師とが一致すると判断することを示し、ここで、例えば、図２ａ－２ｃに示すように、二次元グレースケール心尖四腔断面、モデル及び医師がいずれも心房と心室の十字交差領域に注目する。

【0059】

本発明によって提供される深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法であって、該方法は、マルチモジュール、マルチ断面の成人向け心エコー図動画及び画像を収集し、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成することを含む。成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、ＲｅｓＮｅｔネットワークに基づいて成人向け心エコー図断面分類モデルを構築する。そして、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行う。測定対象画像を成人向け心エコー図断面分類モデルに入力し、分類結果を取得し、該方法は、成人向け心エコー図の動画及び画像に対して前処理を行い、関心領域を抽出し、患者の検査及び個人情報をヒドゥンする。該方法は、マルチモーダル（２Ｄグレースケール、ドプラ、３Ｄ及び音響造影）、マルチ断面（主に、２Ｄグレースケールの臨床検査に常用される断面に対する）心エコー図のデータに応用することができる。該方法は臨床経験が豊富な超音波医師によってラベル付けされ、ラベルの正確性を保証することができる。該方法は、データセットを比例的にランダムに分け、データ多様性及びサンプル量が等化であることを保証することができる。該方法は、複数の分類指標により独立データセットにおいてモデル予測性能を評価し、モデル予測結果のロバスト性を保証することができる。該方法は、クラス活性化ヒートマップ可視化モデル分類過程において重点的に注目する解剖領域を採用し、モデルの解釈可能性を向上させる。

【0060】

本文に具体的な例を適用して本発明の原理及び実施形態について述べたが、以上の実施例の説明は、本発明の方法及びその中心的思想を理解するのを助けるためのものであり、同時に、当業者にとって、本発明の思想に基づいて、具体的な実施形態及び応用範囲において変更箇所がある。要するに、本明細書の記載は、本発明を限定するものと理解すべきではない。

【図1】

【図2a】

【図2b】

【図2c】

【手続補正書】

【提出日】2024-08-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法であって、
ステップ１：マルチ断面の成人向け心エコー図の動画及び画像を収集し、
ステップ２：収集された成人向け心エコー図の動画及び画像に対して前処理を行い、
ステップ３：前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、
ステップ４：成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、
ステップ５：ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面の分類モデルを構築し、訓練セットによって前記分類モデルを訓練し、検証セットにより最適な分類モデルをスクリーニングし、
ステップ６：テストセットに基づいて、最適成人向け心エコー図断面の分類モデルに対して性能評価を行い、
ステップ７：測定対象画像又は動画を成人向け心エコー図断面の分類モデルに入力し、分類結果を得る、というステップを含み、
前記マルチ断面は、三次元グレースケール心エコー図、カラードプラ心エコー図、二次元グレースケール胸骨傍左心室長軸断面、二次元グレースケール胸骨傍左心室短軸断面、二次元グレースケール胸骨傍大動脈短軸断面、二次元グレースケール剣状突起下側断面、二次元グレースケール心尖二腔断面、二次元グレースケール心尖三腔断面、二次元グレースケール心尖四腔断面、二次元左心音響造影心尖二腔断面、二次元左心音響造影心尖三腔断面、二次元左心音響造影心尖四腔断面、及び二次元左心音響造影胸骨傍左心室短軸断面を含む、ことを特徴とする深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法。

【請求項2】

ステップ２において、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、具体的には、
Ｐｙｔｈｏｎの第三者ライブラリＯｐｅｎＣＶによって成人向け心エコー図の動画及び画像に対してバッチ処理を行い、連続フレーム画像の画素変化に基づいて、画像前処理操作に合わせて扇形の関心領域を抽出し、動画をフレームごとにＰＮＧフォーマットに保存する、ことを特徴とする請求項１に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面分類方法。

【請求項3】

ステップ４において、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、具体的には、
８：１：１の割合で成人向け心エコー図のデータセットを訓練セット、検証セットおよびテストセットに分け、ここで、サンプル量が最も少ない断面データ量を基準として、他のカテゴリの断面データセットを等比率でサンプリングして、サンプル量が等化であるデータセットを構成することにより、各カテゴリの断面サンプル量が等化するようにし、ここで、訓練セットは、成人向け心エコー図断面の分類モデルを訓練し、検証セットは、分類モデルのハイパーパラメータを調整し、最適な分類モデルをスクリーニングし、テストセットは、分類モデルの分類性能を評価するために用いられる、ことを特徴とする請求項２に記載の深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法。

【請求項4】

ステップ６において、テストセットに基づいて、最適成人向け心エコー図断面の分類モデルに対して性能評価を行い、具体的には、
混同行列、正確率、精度、リコール率、特異度及びＦ１スコアを用いて、検証セット及びテストセットにおいて、最適成人向け心エコー図断面の分類モデルの性能を評価する、ことを特徴とする請求項１に記載の深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法。

【請求項5】

ステップ７において、測定対象画像を成人向け心エコー図断面の分類モデルに入力し、分類結果を得り、具体的には、
測定対象画像を成人向け心エコー図断面の分類モデルに入力し、ここで、成人向け心エコー図の動画に対して、成人向け心エコー図断面の分類モデルにより各画像の分類結果を予測し、成人向け心エコー図の動画に対して、各動画に等間隔で１０フレーム画像をサンプリングして予測を行い、予測結果に対して平均値を取って、最大予測確率に対応する断面種別を動画の分類結果とし、勾配重み付けタイプの活性化グラフ可視化分析方法を用いて、成人向け心エコー図断面の分類モデルの最後の層の特徴重みを用いてヒートマップを生成し、可視化断面の分類モデルが重点注目領域に注目し、分類結果に対して解釈可能な分析を行う、ことを特徴とする請求項１に記載の深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、心エコー図分類技術分野に関し、特に、深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法に関する。

【背景技術】

【0002】

心エコー図は、非侵襲、無放射、高時間分解能、ベッドサイド操作などの利点を有し、心血管疾患の診療において重要な臨床価値を発揮する。現在の心エコー図は、Ｍ型、二次元グレースケール、カラードプラ、音響造影などの複数のモーダルを含んでいる。マルチモーダル超音波画像は、心房及び心室位置、大きさ及び血行動態情報などの豊富な心臓解剖構造情報を提供する。心エコー図基準断面を正確に認識することは、定量化及び後処理に対して心臓機能を解析することが重要であるが、後処理解析ソフトウェア、例えば、ＱＬａｂ及びＥｃｈｏＰＡＣ等は、人工スクリーニングで標準心尖アプローチ面画像に依存して心臓構造及び機能の二次解析を行い、特に、ビッグサンプルデータに対して、断面の予備分類には、手間がかかる。したがって、心エコー図基準断面を迅速かつ正確に自動的に識別するニーズが徐々に向上している。

【0003】

従来技術における心エコー図基準断面の認識方法は、主に２Ｄグレースケール画像に対するもので、３Ｄ造影及びカラードプラ超音波画像に対する研究が少ない。したがって、深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法を設計する必要がある。

【発明の概要】

【0004】

本発明の目的は、深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法を提供し、マルチモーダル心エコー図のマルチ断面の自動分類を実現でき、分類精度が高く、手間が省ける。

【0005】

上記目的を達成するために、本発明は以下の手段を提供する。

【0006】

深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法であって、以下のステップを含む：

【0007】

ステップ１：マルチ断面の成人向け心エコー図の動画及び画像を収集し、

【0008】

ステップ２：収集された成人向け心エコー図の動画及び画像に対して前処理を行い、

【0009】

ステップ３：前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、

【0010】

ステップ４：成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、

【0011】

ステップ５：ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、

【0012】

ステップ６：テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、

【0013】

ステップ７：測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る。

【0014】

選択的に、ステップ１において、マルチ断面の成人向け心エコー図の動画及び画像を収集し、具体的には、

【0015】

マルチ断面の成人向け心エコー図の動画及び画像を収集し、三次元グレースケール心エコー図、カラードプラ心エコー図、二次元グレースケール胸骨傍左心室長軸断面、二次元グレースケール胸骨傍左心室短軸断面、二次元グレースケール胸骨傍大動脈短軸断面、二次元グレースケール剣状突起下側断面、二次元グレースケール心尖二腔断面、二次元グレースケール心尖三腔断面、二次元グレースケール心尖四腔断面、二次元左心音響造影心尖二腔断面、二次元左心音響造影心尖三腔断面、二次元左心音響造影心尖四腔断面、及び二次元左心音響造影胸骨傍左心室短軸断面を含む。

【0016】

選択的に、ステップ２において、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、具体的には、

【0017】

Ｐｙｔｈｏｎの第三者ライブラリＯｐｅｎＣＶによって成人向け心エコー図の動画及び画像に対してバッチ処理を行い、連続フレーム画像の画素変化に基づいて、画像前処理操作に合わせて扇形の関心領域を抽出し、動画をフレームごとにＰＮＧフォーマットに保存する。

【0018】

選択的に、ステップ４において、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、具体的には、

【0019】

８：１：１の割合で成人向け心エコー図のデータセットを訓練セット、検証セットおよびテストセットに分け、ここで、サンプル量が最も少ない断面データ量を基準として、他のカテゴリの断面データセットを等比率でサンプリングして、サンプル量が等化であるデータセットを構成することにより、各カテゴリの断面サンプル量が等化するようにし、ここで、訓練セットは、成人向け心エコー図断面分類モデルを訓練し、検証セットは、モデルハイパーパラメータを調整し、最適分類モデルをスクリーニングし、テストセットは、モデルの分類性能を評価するために用いられる。

【0020】

選択的に、ステップ５において、ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、具体的には、

【0021】

１０１層のＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、訓練段階において転移学習戦略を採用し、事前訓練の重みはＩｍａｇｅＮｅｔデータセットで訓練された結果を採用し、出力層分類器はＳｏｆｔｍａｘ関数であり、分類カテゴリ数は１３カテゴリに設定され、初期学習率が０．０００１であるＡｄａｍ最適化器を使用し、バッチ処理サイズは１２８であり、モデル微調整を行い、１００回反復し、残差構造を有する畳み込みニューラルネットワークにより超音波画像の特徴を抽出し、訓練が完了した後、トゥルースラベルと予測結果との間の交差エントロピー損失値を最小化することにより、検証セットにおいてモデル性能を評価し、分類正確率が最も高いモデル重みを最適成人向け心エコー図断面分類モデルとして選択する。

【0022】

選択的に、ステップ６において、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、具体的には、

【0023】

混同行列、正確率、精度、リコール率、特異度及びＦ１スコアを用いて、検証セット及びテストセットにおいて、最適成人向け心エコー図断面分類モデルの性能を評価する。

【0024】

選択的に、ステップ７において、測定対象画像を成人向け心エコー図断面分類モデルに入力し、分類結果を得り、具体的には、

【0025】

測定対象画像を成人向け心エコー図断面分類モデルに入力し、ここで、成人向け心エコー図の動画に対して、成人向け心エコー図断面分類モデルにより各画像の分類結果を予測し、成人向け心エコー図の動画に対して、各動画に等間隔で１０フレーム画像をサンプリングして予測を行い、予測結果に対して平均値を取って、最大予測確率に対応する断面のカテゴリを動画の分類結果とし、勾配重み付けタイプの活性化グラフ可視化分析方法を用いて、成人向け心エコー図断面分類モデルの最後の層の特徴重みを用いてヒートマップを生成し、可視化断面分類モデルが重点注目領域に注目し、分類結果に対して解釈可能な分析を行う。

【0026】

本発明によって提供される具体的な実施例によれば、本発明は、以下の技術的効果を提供する。本発明に提供された深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法であって、マルチ断面の成人向け心エコー図の動画及び画像を収集し、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る、というステップを含み、該方法は、成人向け心エコー図の動画及び画像に対して前処理を行い、関心領域を抽出し、患者の検査及び個人情報をヒドゥンし、該方法は、マルチモーダル（２Ｄグレースケール、ドプラ、３Ｄ及び音響造影）、マルチ断面（主に、２Ｄグレースケールの臨床検査に常用される断面に対する）心エコー図のデータに応用することができ、該方法は、臨床経験が豊富な超音波医師によりラベル付けされ、ラベルの正確性を保証することができ、該方法は、データセットを比例的にランダムに分け、データ多様性及びサンプル量が等化であることを保証することができ、該方法は、複数の分類指標により独立データセットにおいてモデル予測性能を評価し、モデル予測結果のロバスト性を保証することができ、該方法は、クラス活性化ヒートマップ可視化モデル分類過程において重点的に注目する解剖領域を採用し、モデルの解釈可能性を向上させる。

【図面の簡単な説明】

【0027】

本発明の実施例又は従来技術の技術的解決手段をさらに明瞭に説明するように、次に実施例の記述に使用される必要がある図面を簡単に説明し、明らかに、次の記述における図面は、本考案の一部の実施例だけであり、当業者にとっては、創造的な労働を払わずに、これらの図面に基づいて他の図面を得ることもできる。

【図1】本発明の実施例に係る深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法のフローチャートである。

【図2a】断面のカテゴリが２Ｄ＿２Ｃ、２Ｄ＿３Ｃ、２Ｄ＿４Ｃ及び２Ｄ＿ＢＸの可視化解析結果図である。

【図2b】断面のカテゴリが２Ｄ＿Ｐ、２Ｄ＿ＳＡＸ、２Ｄ＿ＳＡｏＡ、３Ｄ、Ｃ２Ｄ＿２Ｃ及びＣ２Ｄ＿３Ｃの可視化解析結果図である。

【図2c】断面のカテゴリがＣ２Ｄ＿４Ｃ、Ｃ２Ｄ＿ＳＡＸ及びＣＤＦＩの可視化解析結果図である。

【発明を実施するための形態】

【0028】

本発明の目的は、深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法を提供し、マルチモーダル心エコー図のマルチ断面の自動分類を実現でき、分類精度が高く、手間が省ける。

【0029】

発明の上記目的、特徴及び利点をより明らかにするために、以下、図面及び具体的な実施形態を参照しながら本発明を更に詳細に説明する。

【0030】

図１に示すように、本発明の実施例に提供される深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法であって、以下のステップを含む：

【0031】

ステップ１：マルチ断面の成人向け心エコー図の動画及び画像を収集し、ステップ２：収集された成人向け心エコー図の動画及び画像に対して前処理を行い、

【0032】

ステップ３：前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、

【0033】

ステップ４：成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、

【0034】

ステップ５：ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、

【0035】

ステップ６：テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、

【0036】

ステップ７：測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を得る。

【0037】

選択ステップ１において、マルチ断面の成人向け心エコー図の動画及び画像を収集し、具体的には、

【0038】

マルチ断面の成人向け心エコー図の動画及び画像を収集し、三次元グレースケール心エコー図、カラードプラ心エコー図、二次元グレースケール胸骨傍左心室長軸断面、二次元グレースケール胸骨傍左心室短軸断面、二次元グレースケール胸骨傍大動脈短軸断面、二次元グレースケール剣状突起下側断面、二次元グレースケール心尖二腔断面、二次元グレースケール心尖三腔断面、二次元グレースケール心尖四腔断面、二次元左心音響造影心尖二腔断面、二次元左心音響造影心尖三腔断面、二次元左心音響造影心尖四腔断面、及び二次元左心音響造影胸骨傍左心室短軸断面を含む。

【0039】

選択ステップ２において、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、具体的には、

【0040】

超音波動画データはＤＩＣＯＭ形式で記憶され、通常、検査情報（検査日時、心電図、心拍数、フレーム周波数）及び超音波デバイスパラメータなどの冗長情報を含み、画像信号対雑音比を低下させ、ＡＩモデルの予測性能に影響を与える可能性があり、Ｐｙｄｉｃｏｍ及びＯｐｅｎＣＶ等のＰｙｔｈｏｎ第三者ライブラリによって成人向け心エコー図の動画及び画像に対してバッチ処理を行い、連続フレーム画像の画素変化に基づいて、膨張、腐食等の画像前処理操作を組みあわせ、扇形の関心領域を抽出し、動画をフレームごとにＰＮＧフォーマットに保存し、後続の訓練断面分類モデルに対して、Ｐｙｄｉｃｏｍライブラリを用いて元のＤＩＣＯＭファイルを処理し、患者の氏名等のセンシティな情報を除去し、ＯｐｅｎＣＶライブラリにより心エコー図の動画における関心領域（扇形領域）を抽出し、周囲の無用な情報（例えば、患者の年齢、氏名、機械の型番など）を除去する。

【0041】

ステップ３において、前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成し、具体的には、

【0042】

臨床経験を豊かにする超音波医師によって断面データセットのラベル付け作業を完成し、データラベルの真実性と信頼性を保証する。

【0043】

ステップ４において、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、具体的には、

【0044】

８：１：１の割合で成人向け心エコー図のデータセットを訓練セット、検証セットおよびテストセットに分け、ここで、サンプル量が最も少ない断面データ量を基準として、他のカテゴリの断面データセットを等比率でサンプリングして、サンプル量が等化であるデータセットを構成することにより、各カテゴリの断面サンプル量が等化であるデータセットを構成する。ここで、訓練セットは、成人向け心エコー図断面分類モデルを訓練し、検証セットは、モデルハイパーパラメータを調整し、最適分類モデルをスクリーニングし、テストセットは、モデルの分類性能を評価するために用いられる。

【0045】

ステップ５において、ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、具体的には、

【0046】

畳み込みニューラルネットワークは、強い特徴の表現能力を有し、通常、畳み込みカーネル、活性化関数、プーリング層及び全結合層を組み合わせてなり、畳み込み操作は、入力画像の異なる階層の特徴を抽出することができ、活性化関数は、ネットワーク層と層との間の非線形関係を増加させることにより特徴識別能力を向上させ、プーリング層は、特徴次元を低減する及び画像の主な特徴を保留する空間やスケール不変性であり、全結合層は、抽出された特徴を分類サンプル空間にマッピングするが、ネットワーク層の数が深くなるにつれて、簡単に畳み込み層を積層して勾配消失又は爆発問題を引き起こし、モデル性能を低下させ、深度残差ネットワークＲｅｓＮｅｔは、コンピュータビジョン分野において最も革新的な畳み込みニューラルネットワークの１つであり、残差学習再構成モデルにより残差マップに対してフィッティングを行い、深層ネットワークの逆伝播過程に存在する「退化」という問題を解決し、ネットワーク深度を大幅に増加させ、ネットワーク性能を効果的に向上させる。

【0047】

ＲｅｓＮｅｔの基本的思想は、入力がｘであり、Ｈ（ｘ）が、学習された特徴、即ち、いくつかの畳み込み層が積み重ねられた非線形層が抽出した特徴を表すことである。もう１つの分岐路は線形層であり、恒等マッピング又は投影を示し、残差特徴がＦ（ｘ）＝Ｈ（ｘ）ーｘであることを学習する。従って、元のマッピングはＦ（ｘ）＋ｘとなり、畳み込み層が入力特徴に基づいて新しい特徴を学習し、ネットワーク深度を増加させるとともに、モデル性能を向上させる。

【0048】

本発明は、１０１層のＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面分類モデルを構築し、訓練セットによってそれを訓練し、訓練段階において転移学習戦略を採用し、事前訓練の重みはＩｍａｇｅＮｅｔデータセットで訓練された結果を採用し、出力層分類器はＳｏｆｔｍａｘ関数であり、分類カテゴリ数は１３カテゴリに設定され、初期学習率が０．０００１であるＡｄａｍ最適化器を使用し、バッチ処理サイズは１２８であり、モデル微調整を行い、１００回反復し、残差構造を有する畳み込みニューラルネットワークにより超音波画像の特徴を抽出し、ここで、具体的な手順は、まず、オリジナルサイズの超音波画像を１枚入力し、Ｐｙｔｏｒｃｈにおけるｔｒａｎｓｆｏｒｍｓ．Ｒｅｓｉｚｅ（）方法を呼び出し、画像サイズを２５６＊２５６＊３に調整する。訓練セットにおいて、ｔｒａｎｓｆｏｒｍｓ．ＲａｎｄｏｍＲｏｔａｔｉｏｎ（）方法を呼び出し、０－１５°の範囲内のいずれかの角度で水平方向に画像をランダムに回転させ、データの多様性とロバスト性を増加させ、モデルの汎化能力を向上させる。モデルの収束速度、安定性及び汎化能力を向上させるために、訓練セット及び検証セットにおいてｔｒａｎｓｆｏｒｍｓ．Ｎｏｒｍａｌｉｚｅ（）方法を用いて画像標準化処理を行い、画像の３つのチャネルの平均値は０．０７であり、標準偏差はそれぞれ０．１５、０．１５及び０．１４である。前処理された画像に７×７の畳み込みカーネルを入力して畳み込み操作を行い、ステップサイズは２であり、出力チャネル数は６４であり、境界は３に充填される。次にバッチ正規化及びＲｅＬＵ活性化関数を適用し、３ｘ３のプーリングカーネルを用いて最大プーリング操作を行い、ステップサイズが２であり、特徴マップのサイズを小さくする。次に、基本ブロック群１に３つの基本ブロック構成が含まれる。各基本ブロックは、２つの１ｘ１の畳み込みカーネル（ステップサイズが１、出力チャンネル数が６４、２５６）及び１つの３ｘ３の畳み込みカーネル（ステップサイズが１、出力チャンネル数が６４、境界が１に充填されている）を含む。各畳み込みカーネルの後にバッチ正規化を適用し、２番目の１ｘ１の畳み込みカーネルの後にＲｅＬＵ活性化関数を採用する。これら３つの基本ブロックの入力は、スキップ接続によって畳み込み層をバイパスし、入力を畳み込み層の出力に直接加算することで、勾配の消失問題を回避する。次に、基本ブロック群１と同様の構成により、出力チャンネルを２５６から５１２、１０２４、２０４８とする。グローバル平均プーリング操作を用いて、特徴マップをベクトル２０４８＊１＊１に変換する。最後に、出力層は線形全結合操作を用いて、Ｓｏｆｔｍａｘ関数を採用して特徴ベクトルを１３カテゴリの確率分布にマッピングし、超音波画像の断面のカテゴリを予測する。

【0049】

訓練が完了した後、トゥルースラベルと予測結果との間の交差エントロピー損失値を最小化することによって、検証セットにおいてモデル性能を評価し、損失値が最小となるモデル重みを最適成人向け心エコー図断面分類モデルとして選択し、ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ３０９０ ＧＰＵ（２４ＧＢメモリ）を搭載するサーバーにＰｙｔｈｏｎ（３．７．１０バージョン）とＰｙＴｏｒｃｈ（１．７．１バージョン）ソフトウェアを用いてモデルの開発及び検証を実現する。

【0050】

ステップ６において、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行い、具体的には、

【0051】

混同行列、正確率、精度、リコール率（「陽性予測値」とも呼ばれる）、特異度（「感受性」とも呼ばれる）及びＦ１スコアなどの多項式の指標を用いて、検証セット及びテストセットにおいて、最適成人向け心エコー図断面分類モデルの性能を評価する。

【0052】

ステップ７において、測定対象画像又は動画を成人向け心エコー図断面分類モデルに入力し、分類結果を取得し、具体的には、

【0053】

測定対象画像を成人向け心エコー図断面分類モデルに入力し、ここで、成人向け心エコー図の動画について、成人向け心エコー図断面分類モデルは、各画像の分類結果を予測する。成人向け心エコー図の動画に対して、各動画などの間隔から１０フレームの画像をサンプリングして予測を行い、予測結果に対して平均値を取って、最大予測確率に対応する断面のカテゴリを動画の分類結果とし、勾配重み付けタイプの活性化グラフ可視化分析方法を用いて、成人向け心エコー図断面分類モデルの最後の層の特徴重みを用いて、ヒートマップを生成し、可視化断面分類モデルを重点的に領域に分類し、分類結果に対して解釈可能な分析を行い、断面分類モデルの深層ロジックを理解し、モデルの解釈可能性を向上させることに役立つ。

【0054】

本発明の一実施例は、異なる分類モデルにおいて、マルチモーダル、マルチ断面データセットを訓練し、検証セットの画像レベルにおいて分類モデルの性能を評価するとともに、テストセットの画像レベル及び動画レベルにおいて分類モデル性能を評価し、結果を表１に示す。

【0055】

検証セットの画像レベルにおいて、正確率とＦ１スコアを用いて分類モデルの性能を評価し、ＲｅｓＮｅｔ１０１のＦ１スコアが最も高く、その分類性能が最適であることを示す（表１を参照）。したがって、ＲｅｓＮｅｔ１０１を最終的な断面分類モデルとして選択し、テストセットの画像レベルと動画レベルでモデルの分類性能をそれぞれ評価する。

【0056】

備考：２Ｄ＿２Ｃは二次元グレースケール心尖二腔断面を示し、２Ｄ＿３Ｃは二次元グレースケール心尖三腔断面を示し、２Ｄ＿４Ｃは二次元グレースケール心尖四腔断面を示し、２Ｄ＿ＢＸは二次元グレースケール剣状突起下側断面を示し、２Ｄ＿Ｐは二次元グレースケール胸骨傍左心室長軸断面を示し、２Ｄ＿ＳＡＸは二次元グレースケール胸骨傍左心室短軸断面を示し、２Ｄ＿ＳＡｏＡは二次元グレースケール胸骨近傍大動脈短軸断面を示し、３Ｄは三次元グレースケール心エコー図を示し、Ｃ２Ｄ＿２Ｃは二次元左心音響造影心尖二腔断面を示し、Ｃ２Ｄ＿３Ｃは二次元左心音響造影心尖三腔断面を示し、Ｃ２Ｄ＿４Ｃは二次元左心音響造影心尖四腔断面を示し、Ｃ２Ｄ＿ＳＡＸは二次元左心音響造影胸骨傍左心室短軸断面を示し、ＣＤＦＩはカラードプラ心エコー図を示し、

【0057】

結果から明らかなように、画像レベルでＲｅｓＮｅｔ１０１分類１３カテゴリの断面の平均精度は９７．１３であり、平均Ｆ１スコアは９６．８６（表２を参照）に分類され、動画レベルでＲｅｓＮｅｔ１０１分類１３カテゴリの断面の平均Ｆ１スコアは９７．０７である。

【0058】

Ｇｒａｄ－ＣＡＭ可視化方法によれば、テストセットについて結果の解釈可能性分析を行い、断面分類モデルが画像カテゴリの重点注目領域と超音波医師とが一致すると判断することを示し、ここで、例えば、図２ａ－２ｃに示すように、二次元グレースケール心尖四腔断面、モデル及び医師がいずれも心房と心室の十字交差領域に注目する。

【0059】

本発明によって提供される深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面の分類方法であって、該方法は、マルチ断面の成人向け心エコー図動画及び画像を収集し、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、前処理された成人向け心エコー図の動画及び画像に対してラベル付けを行い、成人向け心エコー図のデータセットを生成することを含む。成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、ＲｅｓＮｅｔネットワークに基づいて成人向け心エコー図断面分類モデルを構築する。そして、訓練セットによってそれを訓練し、検証セットにより最適分類モデルをスクリーニングし、テストセットに基づいて、最適成人向け心エコー図断面分類モデルに対して性能評価を行う。測定対象画像を成人向け心エコー図断面分類モデルに入力し、分類結果を取得し、該方法は、成人向け心エコー図の動画及び画像に対して前処理を行い、関心領域を抽出し、患者の検査及び個人情報をヒドゥンする。該方法は、マルチモーダル（２Ｄグレースケール、ドプラ、３Ｄ及び音響造影）、マルチ断面（主に、２Ｄグレースケールの臨床検査に常用される断面に対する）心エコー図のデータに応用することができる。該方法は臨床経験が豊富な超音波医師によってラベル付けされ、ラベルの正確性を保証することができる。該方法は、データセットを比例的にランダムに分け、データ多様性及びサンプル量が等化であることを保証することができる。該方法は、複数の分類指標により独立データセットにおいてモデル予測性能を評価し、モデル予測結果のロバスト性を保証することができる。該方法は、クラス活性化ヒートマップ可視化モデル分類過程において重点的に注目する解剖領域を採用し、モデルの解釈可能性を向上させる。

【0060】

本文に具体的な例を適用して本発明の原理及び実施形態について述べたが、以上の実施例の説明は、本発明の方法及びその中心的思想を理解するのを助けるためのものであり、同時に、当業者にとって、本発明の思想に基づいて、具体的な実施形態及び応用範囲において変更箇所がある。要するに、本明細書の記載は、本発明を限定するものと理解すべきではない。

【手続補正書】

【提出日】2024-10-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面のカテゴリについての分類方法であって、
ステップ１：マルチ断面の成人向け心エコー図の動画及び画像を収集し、
ステップ２：収集された成人向け心エコー図の動画及び画像に対して前処理を行い、
ステップ３：前処理された成人向け心エコー図の動画及び画像に対してマルチ断面のカテゴリについてのラベル付けを行い、成人向け心エコー図のデータセットを生成し、
ステップ４：成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、
ステップ５：ＲｅｓＮｅｔネットワークに基づいて、成人向け心エコー図断面の分類モデルを構築し、訓練セットによって前記分類モデルを訓練し、検証セットにより最適な分類モデルをスクリーニングし、
ステップ６：テストセットに基づいて、最適成人向け心エコー図断面の分類モデルに対して性能評価を行い、
ステップ７：測定対象画像又は動画を成人向け心エコー図断面の分類モデルに入力し、分類結果を得る、というステップを含み、
前記マルチ断面のカテゴリは、三次元グレースケール心エコー図、カラードプラ心エコー図、二次元グレースケール胸骨傍左心室長軸断面、二次元グレースケール胸骨傍左心室短軸断面、二次元グレースケール胸骨傍大動脈短軸断面、二次元グレースケール剣状突起下側断面、二次元グレースケール心尖二腔断面、二次元グレースケール心尖三腔断面、二次元グレースケール心尖四腔断面、二次元左心音響造影心尖二腔断面、二次元左心音響造影心尖三腔断面、二次元左心音響造影心尖四腔断面、及び二次元左心音響造影胸骨傍左心室短軸断面を含む、ことを特徴とする深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面のカテゴリについての分類方法。

【請求項2】

ステップ２において、収集された成人向け心エコー図の動画及び画像に対して前処理を行い、具体的には、
Ｐｙｔｈｏｎの第三者ライブラリＯｐｅｎＣＶによって成人向け心エコー図の動画及び画像に対してバッチ処理を行い、連続フレーム画像の画素変化に基づいて、画像前処理操作に合わせて扇形の関心領域を抽出し、動画をフレームごとにＰＮＧフォーマットに保存する、ことを特徴とする請求項１に記載の深層学習アルゴリズムに基づく心エコー図のマルチモーダルマルチ断面のカテゴリについての分類方法。

【請求項3】

ステップ４において、成人向け心エコー図のデータセットを訓練セット、検証セット及びテストセットに分け、具体的には、
８：１：１の割合で成人向け心エコー図のデータセットを訓練セット、検証セットおよびテストセットに分け、ここで、サンプル量が最も少ない断面データ量を基準として、他のカテゴリの断面データセットを等比率でサンプリングして、サンプル量が等化であるデータセットを構成することにより、各カテゴリの断面サンプル量が等化するようにし、ここで、訓練セットは、成人向け心エコー図断面の分類モデルを訓練し、検証セットは、分類モデルのハイパーパラメータを調整し、最適な分類モデルをスクリーニングし、テストセットは、分類モデルの分類性能を評価するために用いられる、ことを特徴とする請求項２に記載の深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面のカテゴリについての分類方法。

【請求項4】

ステップ６において、テストセットに基づいて、最適成人向け心エコー図断面の分類モデルに対して性能評価を行い、具体的には、
混同行列、正確率、精度、リコール率、特異度及びＦ１スコアを用いて、検証セット及びテストセットにおいて、最適成人向け心エコー図断面の分類モデルの性能を評価する、ことを特徴とする請求項１に記載の深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面のカテゴリについての分類方法。

【請求項5】

ステップ７において、測定対象画像を成人向け心エコー図断面の分類モデルに入力し、分類結果を得り、具体的には、
測定対象画像を成人向け心エコー図断面の分類モデルに入力し、ここで、成人向け心エコー図の動画に対して、成人向け心エコー図断面の分類モデルにより各画像の分類結果を予測し、成人向け心エコー図の動画に対して、各動画に等間隔で１０フレーム画像をサンプリングして予測を行い、予測結果に対して平均値を取って、最大予測確率に対応する断面種別を動画の分類結果とし、勾配重み付けタイプの活性化グラフ可視化分析方法を用いて、成人向け心エコー図断面の分類モデルの最後の層の特徴重みを用いてヒートマップを生成し、可視化断面の分類モデルが重点注目領域に注目し、分類結果に対して解釈可能な分析を行う、ことを特徴とする請求項１に記載の深層学習アルゴリズムに基づくマルチモーダル心エコー図のマルチ断面のカテゴリについての分類方法。