ホーム > 特許ランキング > コニカミノルタ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-129281機械学習モデル、プログラム、超音波診断装置、超音波診断システム、画像処理装置及び訓練装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129281
(43)【公開日】2024-09-27
(54)【発明の名称】機械学習モデル、プログラム、超音波診断装置、超音波診断システム、画像処理装置及び訓練装置
(51)【国際特許分類】
A61B 8/06 20060101AFI20240919BHJP
A61B 8/08 20060101ALI20240919BHJP
【ＦＩ】
A61B8/06
A61B8/08
【審査請求】有
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2023038382
(22)【出願日】2023-03-13
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】川端 章裕
(72)【発明者】
【氏名】松本 洋日
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601BB06
4C601DD01
4C601DD03
4C601DD04
4C601DD15
4C601DD27
4C601DE03
4C601EE09
4C601HH14
4C601JB16
4C601JB34
4C601KK01
4C601KK13
4C601KK17
4C601KK31
(57)【要約】
【課題】機械学習モデルの訓練に利用される時間変化画像データを効率的に生成するための技術を提供することである。
【解決手段】本開示の一態様は、超音波探触子で受信した画像生成用の受信信号に基づく第１の時間変化画像データを時間方向に規格化した第２の時間変化画像データと、前記第２の時間変化画像データに基づく第３の時間変化画像データとの少なくとも１つの訓練用時間変化画像データと、前記少なくとも１つの訓練用時間変化画像データに対応する検出対象を含む正解データと、のペアを含む訓練データを用いて訓練された機械学習モデルに関する。
【選択図】図１
【解決手段】本開示の一態様は、超音波探触子で受信した画像生成用の受信信号に基づく第１の時間変化画像データを時間方向に規格化した第２の時間変化画像データと、前記第２の時間変化画像データに基づく第３の時間変化画像データとの少なくとも１つの訓練用時間変化画像データと、前記少なくとも１つの訓練用時間変化画像データに対応する検出対象を含む正解データと、のペアを含む訓練データを用いて訓練された機械学習モデルに関する。
【選択図】図１
【特許請求の範囲】
【請求項1】
超音波探触子で受信した画像生成用の受信信号に基づく第１の時間変化画像データを時間方向に規格化した第２の時間変化画像データと、前記第２の時間変化画像データに基づく第３の時間変化画像データとの少なくとも１つの訓練用時間変化画像データと、
前記少なくとも１つの訓練用時間変化画像データに対応する検出対象を含む正解データと、
のペアを含む訓練データを用いて訓練された機械学習モデル。
前記少なくとも１つの訓練用時間変化画像データに対応する検出対象を含む正解データと、
のペアを含む訓練データを用いて訓練された機械学習モデル。
【請求項2】
前記検出対象は、時間変化画像において時間変化によって影響を受ける特徴に関する情報である、請求項１に記載の機械学習モデル。
【請求項3】
前記検出対象は、時間変化画像における１つ以上の点の位置に関する情報、幅に関する情報、波形の形状に関する情報、時間タイミングに関する情報、時間区間に関する情報、及びトレースに関する情報のうち少なくとも１つの情報である、請求項１に記載の機械学習モデル。
【請求項4】
前記第３の時間変化画像データは、前記第２の時間変化画像データを時間方向に規格化したデータである、請求項１に記載の機械学習モデル。
【請求項5】
前記第３の時間変化画像データは、前記第２の時間変化画像データを時間方向に変形したデータである、請求項１に記載の機械学習モデル。
【請求項6】
前記第２の時間変化画像データは、前記第１の時間変化画像データを生成する際に時間変化画像に時間方向に影響を与える情報に基づき、前記第１の時間変化画像データを時間方向に規格化したデータである、請求項１に記載の機械学習モデル。
【請求項7】
前記第２の時間変化画像データは、前記第１の時間変化画像データを生成する際の掃引速度と所定時間当たりの心拍数との一方又は双方に基づき、前記第１の時間変化画像データを時間方向に規格化したデータである、請求項１に記載の機械学習モデル。
【請求項8】
前記訓練用時間変化画像データは、所定の画像幅に切り出された時間変化画像データ、又は、所定の画像幅の背景画像データに貼り付けられた時間変化画像データである、請求項１に記載の機械学習モデル。
【請求項9】
前記第１の時間変化画像データは、ドプラ画像であり、
前記検出対象は、
ｉ）ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測の対象となるスペクトル波形の時間方向の区間若しくは前記スペクトル波形の領域、
ｉｉ）ＰＳＶ（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）及びＥＤＶ（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）の位置若しくは時間軸上のタイミング、
ｉｉｉ）血流量計測の対象となるスペクトル波形の時間方向の区間の境界、又は、
ｉｖ）Ｅ／Ａ計測におけるＥ波及びＡ波の血流速度の位置又は時間軸上のタイミング、
の何れかである、請求項１に記載の機械学習モデル。
前記検出対象は、
ｉ）ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測の対象となるスペクトル波形の時間方向の区間若しくは前記スペクトル波形の領域、
ｉｉ）ＰＳＶ（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）及びＥＤＶ（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）の位置若しくは時間軸上のタイミング、
ｉｉｉ）血流量計測の対象となるスペクトル波形の時間方向の区間の境界、又は、
ｉｖ）Ｅ／Ａ計測におけるＥ波及びＡ波の血流速度の位置又は時間軸上のタイミング、
の何れかである、請求項１に記載の機械学習モデル。
【請求項10】
前記第１の時間変化画像データは、Ｍモード画像であり、
前記検出対象は、
ｉ）ＴＡＰＳＥ（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測若しくはＭＡＰＳＥ（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測における弁輪部の拡張期の位置及び収縮期の位置、時間軸上の拡張期及び収縮期タイミング、若しくは弁輪部のトレース、又は、
ｉｉ）ＭモードＩＶＣ（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ）径計測における下大静脈の血管径、呼気時及び吸気時のタイミング、若しくは下大静脈の前壁及び後壁のトレース、
の何れかである、請求項１に記載の機械学習モデル。
前記検出対象は、
ｉ）ＴＡＰＳＥ（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測若しくはＭＡＰＳＥ（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測における弁輪部の拡張期の位置及び収縮期の位置、時間軸上の拡張期及び収縮期タイミング、若しくは弁輪部のトレース、又は、
ｉｉ）ＭモードＩＶＣ（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ）径計測における下大静脈の血管径、呼気時及び吸気時のタイミング、若しくは下大静脈の前壁及び後壁のトレース、
の何れかである、請求項１に記載の機械学習モデル。
【請求項11】
請求項１から１０の何れか一項に記載の機械学習モデルを用いて、超音波探触子で受信した画像生成用の受信信号に基づく第１の予測対象時間変化画像データを時間方向に規格化した第２の予測対象時間変化画像データから、前記検出対象を推論結果として出力する出力機能をコンピュータに実現させるプログラム。
【請求項12】
前記推論結果として出力される検出対象は、時間変化画像において時間変化によって影響を受ける特徴に関する情報である、請求項１１に記載のプログラム。
【請求項13】
前記推論結果として出力される検出対象は、時間変化画像における１つ以上の点の位置に関する情報、幅に関する情報、波形の形状に関する情報、時間タイミングに関する情報、時間区間に関する情報、及びトレースに関する情報のうち少なくとも１つの情報である、請求項１１に記載のプログラム。
【請求項14】
前記第２の予測対象時間変化画像データは、前記第１の予測対象時間変化画像データを生成する際に時間変化画像に時間方向に影響を与える情報に基づき、前記第１の予測対象時間変化画像データを時間方向に規格化したデータである、請求項１１に記載のプログラム。
【請求項15】
前記第２の予測対象時間変化画像データは、前記第１の予測対象時間変化画像データを生成する際の掃引速度と所定時間当たりの心拍数との一方又は双方に基づき、前記第１の予測対象時間変化画像データを時間方向に規格化したデータである、請求項１１に記載のプログラム。
【請求項16】
前記第２の予測対象時間変化画像データは、所定の画像幅に切り出された時間変化画像データ、又は、所定の画像幅の背景画像データに貼り付けられた時間変化画像データである、請求項１１に記載のプログラム。
【請求項17】
前記第１の予測対象時間変化画像データは、ドプラ画像であり、
前記推論結果として出力される検出対象は、
ｉ）ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測の対象となるスペクトル波形の時間方向の区間若しくは前記スペクトル波形の領域、
ｉｉ）ＰＳＶ（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）及びＥＤＶ（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）の位置若しくは時間軸上のタイミング、
ｉｉｉ）血流量計測の対象となるスペクトル波形の時間方向の区間の境界、又は、
ｉｖ）Ｅ／Ａ計測におけるＥ波及びＡ波の血流速度の位置又は時間軸上のタイミング、
の何れかである、請求項１１に記載のプログラム。
前記推論結果として出力される検出対象は、
ｉ）ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測の対象となるスペクトル波形の時間方向の区間若しくは前記スペクトル波形の領域、
ｉｉ）ＰＳＶ（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）及びＥＤＶ（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）の位置若しくは時間軸上のタイミング、
ｉｉｉ）血流量計測の対象となるスペクトル波形の時間方向の区間の境界、又は、
ｉｖ）Ｅ／Ａ計測におけるＥ波及びＡ波の血流速度の位置又は時間軸上のタイミング、
の何れかである、請求項１１に記載のプログラム。
【請求項18】
前記第１の予測対象時間変化画像データは、Ｍモード画像であり、
前記検出対象は、
ｉ）ＴＡＰＳＥ（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測若しくはＭＡＰＳＥ（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測における弁輪部の拡張期の位置及び収縮期の位置、時間軸上の拡張期及び収縮期タイミング、若しくは弁輪部のトレース、又は、
ｉｉ）ＭモードＩＶＣ（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ）径計測における下大静脈の血管径、呼気時及び吸気時のタイミング、若しくは下大静脈の前壁及び後壁のトレース、
の何れかである、請求項１１に記載のプログラム。
前記検出対象は、
ｉ）ＴＡＰＳＥ（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測若しくはＭＡＰＳＥ（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測における弁輪部の拡張期の位置及び収縮期の位置、時間軸上の拡張期及び収縮期タイミング、若しくは弁輪部のトレース、又は、
ｉｉ）ＭモードＩＶＣ（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ）径計測における下大静脈の血管径、呼気時及び吸気時のタイミング、若しくは下大静脈の前壁及び後壁のトレース、
の何れかである、請求項１１に記載のプログラム。
【請求項19】
被検体に対して超音波を送受信する超音波探触子と、
請求項１から１０の何れか一項に記載の機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第１の予測対象時間変化画像データを時間方向に規格化した第２の予測対象時間変化画像データから、前記検出対象を推論結果として出力する出力部と、
を有する超音波診断装置。
請求項１から１０の何れか一項に記載の機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第１の予測対象時間変化画像データを時間方向に規格化した第２の予測対象時間変化画像データから、前記検出対象を推論結果として出力する出力部と、
を有する超音波診断装置。
【請求項20】
請求項１から１０の何れか一項に記載の機械学習モデルを格納するデータベースと、
被検体に対して超音波を送受信する超音波探触子と、
前記機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第１の予測対象時間変化画像データを時間方向に規格化した第２の予測対象時間変化画像データから、前記検出対象を推論結果として出力する出力部と、
を有する超音波診断システム。
被検体に対して超音波を送受信する超音波探触子と、
前記機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第１の予測対象時間変化画像データを時間方向に規格化した第２の予測対象時間変化画像データから、前記検出対象を推論結果として出力する出力部と、
を有する超音波診断システム。
【請求項21】
請求項１から１０の何れか一項に記載の機械学習モデルを用いて、超音波探触子で受信した受信信号に基づく第１の予測対象時間変化画像データを時間方向に規格化した第２の予測対象時間変化画像データから、前記検出対象を推論結果として出力する出力部と、
を有する画像処理装置。
を有する画像処理装置。
【請求項22】
超音波探触子で受信した画像生成用の受信信号に基づく第１の時間変化画像データを時間方向に規格化した第２の時間変化画像データと、前記第２の時間変化画像データに基づく第３の時間変化画像データとの少なくとも１つの訓練用時間変化画像データと、
前記少なくとも１つの訓練用時間変化画像データに対応する検出対象を含む正解データと、
のペアを含む訓練データを用いて機械学習モデルを訓練する訓練装置。
前記少なくとも１つの訓練用時間変化画像データに対応する検出対象を含む正解データと、
のペアを含む訓練データを用いて機械学習モデルを訓練する訓練装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習モデル、プログラム、超音波診断装置、超音波診断システム、画像処理装置及び訓練装置に関する。
【背景技術】
【0002】
近年のディープラーニング技術の進展によって、機械学習モデルが様々な用途に利用されるようになってきている。例えば、医療分野では、超音波診断などの画像診断などに機械学習を利用する試みがなされている。
【0003】
典型的な超音波診断装置は、断層像を表示するＢモードや血流像を表示するカラードプラモードの他、ドプラモードとＭモードの２つのモードにより動作可能である。ドプラモードとは、血流（組織）の速度変化をスペクトル表示する画像モードであり、パルス波ドプラ（Ｐｕｌｓｅ Ｗａｖｅ Ｄｏｐｐｌｅｒ：ＰＷＤ）、連続波ドプラ（Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ Ｄｏｐｐｌｅｒ：ＣＷＤ）、組織ドプラ（Ｔｉｓｓｕｅ Ｄｏｐｐｌｅｒ Ｉｍａｇｉｎｇ：ＴＤＩ）などの種類がある。他方、Ｍモードは、断層像（Ｂモード）上のある１ラインの時間変化を表示するモードである。超音波画像を利用した様々な画像診断技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００６－１８１０５８号公報
【特許文献2】特開２００６－１９７９６９号公報
【特許文献3】特開２０２１－１６４５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ドプラモードにおいて、超音波診断装置の掃引速度（ｓｗｅｅｐ ｓｐｅｅｄ）が異なる場合、同一の被検者でも超音波画像におけるスペクトルの時間方向の幅が異なりうる。掃引速度が低い場合、超音波画像においてスペクトルが時間方向に縮み、掃引速度が高い場合、スペクトルが時間方向に伸びる。また、被検者によって心拍数（Ｈｅａｒｔ Ｒａｔｅ：ＨＲ）が異なりうる。心拍が速い場合、超音波画像においてスペクトルが時間方向に詰まり、心拍が遅い場合、スペクトルが時間方向に拡がる。
【0006】
Ｍモードにおいても、掃引速度が低い場合、Ｍモード画像が時間方向に縮み、掃引速度が高い場合、Ｍモード画像が時間方向に伸びる。また、心拍が速い場合、Ｍモード画像が時間方向に詰まり、心拍が遅い場合、Ｍモード画像が時間方向に拡がる。
【0007】
ドプラモードやＭモードなどの時間変化画像モードでは、掃引速度等の設定によって、時間変化画像データが時間方向に伸縮されたように変化する。そのため、時間変化画像に対する自動計測にＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルが適用される場合、掃引速度の違いによって、ＡＩモデルを訓練するのに必要とされるパターンが増加する。このため、掃引速度毎に時間変化画像の学習データ（訓練データ）が用意される必要があり、訓練データが少ない場合には、ＡＩ処理の性能が低くなるという問題が生じうる。
【0008】
また、時間変化画像モードでは、掃引速度が同じであっても、被検者の心拍数が異なる場合、取得されるデータは、見かけ上は時間方向に伸縮が変化したように見えうる。従って、心拍数の違いでも、上述した掃引速度の違いと同様の問題が生じうる。
【0009】
上記問題点に鑑み、本開示の１つの課題は、機械学習モデルの訓練に利用される時間変化画像データを効率的に生成するための技術を提供することである。
【課題を解決するための手段】
【0010】
本開示の一態様は、超音波探触子で受信した画像生成用の受信信号に基づく第１の時間変化画像データを時間方向に規格化した第２の時間変化画像データと、前記第２の時間変化画像データに基づく第３の時間変化画像データとの少なくとも１つの訓練用時間変化画像データと、前記少なくとも１つの訓練用時間変化画像データに対応する検出対象を含む正解データと、のペアを含む訓練データを用いて訓練された機械学習モデルに関する。
【発明の効果】
【0011】
本開示によると、機械学習モデルの訓練に利用される時間変化画像データを効率的に生成することができる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、図面を参照して本開示の実施の形態を説明する。
【0014】
以下の実施例では、被検者から取得した時間変化画像から検出対象を出力する機械学習モデルを利用した画像処理装置が開示される。
【0015】
［概要］
一般に、同一の被検者であっても異なる掃引速度により超音波診断装置によって取得された時間変化画像は異なることが知られている。例えば、図１には、３０ｍｍ／ｓｅｃ、４０ｍｍ／ｓｅｃ及び６０ｍｍ／ｓｅｃの３つの掃引速度によって取得された時間変化画像が示されている。３つの時間変化画像から、スペクトルの時間方向の幅が異なることがわかる。すなわち、掃引速度が遅いと、時間変化画像上のスペクトルが時間方向に縮み、掃引速度が速いと、スペクトルが時間方向に伸びる。すなわち、３０ｍｍ／ｓｅｃの時間変化画像のスペクトルは、６０ｍｍ／ｓｅｃの時間変化画像のスペクトルより時間方向に縮んでいる。このように、超音波診断装置のドプラモード、Ｍモードなどの時間変化画像モードでは、ユーザによって設定された掃引速度により取得される時間変化画像が時間方向に伸縮されうる。このため、時間変化画像データに対して機械学習モデルを適用する場合、掃引速度の相違によって、機械学習モデルの訓練に必要とされるパターン数が増加し、良好なモデル予測性能を充足するためには、様々な掃引速度に対する訓練データを準備することが必要とされる。
一般に、同一の被検者であっても異なる掃引速度により超音波診断装置によって取得された時間変化画像は異なることが知られている。例えば、図１には、３０ｍｍ／ｓｅｃ、４０ｍｍ／ｓｅｃ及び６０ｍｍ／ｓｅｃの３つの掃引速度によって取得された時間変化画像が示されている。３つの時間変化画像から、スペクトルの時間方向の幅が異なることがわかる。すなわち、掃引速度が遅いと、時間変化画像上のスペクトルが時間方向に縮み、掃引速度が速いと、スペクトルが時間方向に伸びる。すなわち、３０ｍｍ／ｓｅｃの時間変化画像のスペクトルは、６０ｍｍ／ｓｅｃの時間変化画像のスペクトルより時間方向に縮んでいる。このように、超音波診断装置のドプラモード、Ｍモードなどの時間変化画像モードでは、ユーザによって設定された掃引速度により取得される時間変化画像が時間方向に伸縮されうる。このため、時間変化画像データに対して機械学習モデルを適用する場合、掃引速度の相違によって、機械学習モデルの訓練に必要とされるパターン数が増加し、良好なモデル予測性能を充足するためには、様々な掃引速度に対する訓練データを準備することが必要とされる。
【0016】
以下の実施例では、画像診断装置によって取得された時間変化画像データに対してデータ拡張を実行し、時間変化画像データが所定の掃引速度に規格化される。規格化した時間変化画像を利用して機械学習モデルに対する訓練処理及び推論処理が実行される。例えば、図１に示されるように、３０ｍｍ／ｓｅｃ及び６０ｍｍ／ｓｅｃの２つの訓練用の時間変化画像データが４０ｍｍ／ｓｅｃの掃引速度により規格化される。具体的には、掃引速度ＳＳ１の時間変化画像データを所定の掃引速度ＳＳ０に規格化する場合、掃引速度ＳＳ１の時間変化画像は、時間軸方向、すなわち、画像の幅方向にＳＳ０／ＳＳ１倍に拡大又は縮小される。すなわち、図１に示されるように、３０ｍｍ／ｓｅｃの掃引速度により取得された時間変化画像は、４０／３０＝１．３３倍に拡大され、６０ｍｍ／ｓｅｃの掃引速度により取得された時間変化画像は、４０／６０＝０．６６倍に縮小される。同一被検者に対して取得された異なる掃引速度の時間変化画像は、このような規格化によって揃えられうる。
【0017】
その後、拡大及び縮小された時間変化画像は、所定の画像の幅に合わされる。具体的には、図１に示されるように、拡大された時間変化画像は、４０ｍｍ／ｓｅｃの掃引速度の時間変化画像の幅に合わせて切り出されてもよい。他方、縮小された時間変化画像は、４０ｍｍ／ｓｅｃの掃引速度の時間変化画像の幅の背景画像に貼り付けられてもよい。
【0018】
このようにして、異なる掃引速度により取得された時間変化画像データから規格化された所定の掃引速度の時間変化画像データを利用して、機械学習モデルの訓練データを取得することが可能である。これにより、各掃引速度の時間変化画像データを訓練データとして用意することが不要になり、より少ないサンプル数の時間変化画像データにより機械学習モデルを訓練することが可能になる。規格化された時間変化画像データにより訓練された機械学習モデルを推論処理に利用する際には、推論対象の時間変化画像データは、所定の掃引速度の時間変化画像データに拡大又は縮小するよう前処理された後、訓練済み機械学習モデルに入力される。
【0019】
また、異なる被検者及び／又は異なる心拍数に対して取得される時間変化画像については、時間変化画像データがまず所定の掃引速度に規格化される。図２に示されるように、時間変化画像データは、４０ｍｍ／ｓｅｃの掃引速度に規格化されてもよい。次に、掃引速度に関して規格化された時間変化画像データは、所定の心拍数に規格化されてもよい。ここで、心拍数に関する規格化は、上述した掃引速度に関する規格化と同様に、時間変化画像を時間軸方向、すなわち、画像の幅方向に拡大又は縮小することによって実行されてもよい。図２に示される例では、時間変化画像データは、８０ｂｐｍの心拍数に規格化されてもよい。
【0020】
その後、拡大及び縮小された時間変化画像は、所定の画像の幅に合わされる。具体的には、図２に示されるように、拡大された時間変化画像は、所定の時間変化画像の幅に合わせて切り出されてもよい。他方、縮小された時間変化画像は、所定の時間変化画像の幅の背景画像に貼り付けられてもよい。
【0021】
このようにして、異なる掃引速度及び心拍数により取得された時間変化画像データから規格化された時間変化画像データを利用して、機械学習モデルの訓練データを取得することが可能である。これにより、各掃引速度及び各心拍数の時間変化画像データを訓練データとして用意することが不要になり、より少ないサンプル数の時間変化画像データにより機械学習モデルを訓練することが可能になる。規格化された時間変化画像データにより訓練された機械学習モデルを推論処理に利用する際には、推論対象の時間変化画像データは、所定の掃引速度及び／又は心拍数の時間変化画像データを拡大又は縮小するよう前処理された後、訓練済み機械学習モデルに入力される。
【0022】
例えば、上述したデータ拡張により生成された時間変化画像データを利用して機械学習モデルを訓練する際、図３に示されるように、異なる掃引速度及び／又は心拍数の時間変化画像データは、正解データと関連付けて訓練データデータベース（ＤＢ）２０に格納され、訓練装置５０は、訓練データＤＢ２０から取得した時間変化画像データに対して上述したデータ拡張を実行し、規格化された時間変化画像データを取得する。訓練装置５０は、規格化された時間変化画像データを利用して訓練対象の機械学習モデル１０を訓練する。例えば、訓練対象の機械学習モデル１０が、畳み込みニューラルネットワークなどの何れかのタイプのニューラルネットワークとして実現されている場合、訓練装置５０は、規格化された時間変化画像データを訓練対象のニューラルネットワークに入力し、ニューラルネットワークからの出力結果と正解データとの誤差に基づいて、誤差逆伝播法などの何れかの訓練アルゴリズムに従って訓練対象のニューラルネットワークのパラメータを更新する。
【0023】
このようにして機械学習モデル１０の訓練が終了すると、訓練済み機械学習モデル１０は、図４に示されるように、予測対象の時間変化画像から規格化された時間変化画像データを受け付けると、推論結果を出力する。例えば、超音波診断では、推論結果は、以下でより詳細に説明されるように、時間変化画像上のスペクトルによって表出される特定の位置、タイミング、領域などであってもよい。図５に示されるように、超音波診断装置１００は、被検者３０に超音波信号を送出し、被検者３０からの反射信号に基づいて時間変化画像データを取得する。超音波診断装置１００は、取得した時間変化画像データを規格化し、訓練装置５０から提供された訓練済み機械学習モデル１０に規格化した時間変化画像を入力し、訓練済み機械学習モデル１０から取得した推論結果に対して前処理と逆の処理をした処理結果を出力する。
【0024】
なお、図５に示された例では、超音波診断装置１００は、訓練装置５０から提供された訓練済み機械学習モデル１０を格納しているが、本開示による超音波診断装置１００は、必ずしもこれに限定されず、図６に示されるように、クラウド上などの外部のモデルデータベース（ＤＢ）４０に格納された訓練済み機械学習モデル１０を利用してもよい。具体的には、超音波診断システム１は、超音波診断装置１００及びモデルＤＢ４０を有し、超音波診断装置１００は、被検者３０から取得した予測対象の時間変化画像データを規格化し、規格化された時間変化画像データをモデルＤＢ４０にわたす。そして、規格化された時間変化画像データに対する推論結果をモデルＤＢ４０から取得すると、超音波診断装置１００は、取得した推論結果を出力するようにしてもよい。
【0025】
あるいは、図７に示されるように、本開示による超音波診断装置１００は、クラウド上などの外部の画像処理装置２００とやりとりしてもよい。例えば、超音波診断装置１００は、被検者３０に送出した超音波信号に対して取得した受信信号を画像処理装置２００に送信する。画像処理装置２００は、受信信号を規格化し、訓練済み機械学習モデル１０を利用して、規格化された受信信号から推論結果を取得する。画像処理装置２００は、取得した推論結果を格納してもよいし、及び／又は超音波診断装置１００に推論結果を提供してもよい。
【0026】
【0027】
超音波診断装置１００は、被検者３０内の形状又は動態を超音波画像として可視化する。本実施形態に係る超音波診断装置１００は、例えば、検出対象部位の超音波画像（すなわち、断層画像）を撮影し、検出対象部位に対する検査を実施する用途に用いられる。
【0028】
超音波診断装置１００は、図８に示すように、超音波診断装置本体１０１０及び超音波プローブ１０２０を備える。超音波診断装置本体１０１０と超音波プローブ１０２０とは、ケーブル１０３０を介して接続される。
【0029】
超音波プローブ（超音波探触子）１０２０は、超音波ビーム（例えば、１～３０ＭＨｚ程度）を被検者３０（例えば、人体）内に対して送信するとともに、送信した超音波ビームのうち被検者３０内で反射された超音波エコーを受信して電気信号に変換する音響センサとして機能する。
【0030】
ユーザは、超音波プローブ１０２０の超音波ビームの送受信面を被検者３０の検出対象部位の体表に接触させて超音波診断装置１００を動作させ、検査を行う。なお、超音波プローブ１０２０には、コンベックスプローブ、リニアプローブ、セクタプローブ、又は三次元プローブ等の任意のものを適用することができる。
【0031】
超音波プローブ１０２０は、例えば、マトリクス状に配設された複数の振動子（例えば、圧電素子）と、当該複数の振動子の駆動状態のオンオフを個別に又はブロック単位（以下、「チャネル」と称する）で切替制御するためのチャネル切替装置（例えば、マルチプレクサ）を含んで構成される。
【0032】
超音波プローブ１０２０の各振動子は、超音波診断装置本体１０１０（送信部１０１２）で発生された電圧パルスを超音波ビームに変換して被検者３０内へ送信し、被検者３０内で反射した超音波エコーを受信して電気信号（以下、「受信信号」と称する）に変換し、超音波診断装置本体１０１０（受信部１０１３）へ出力する。
【0033】
超音波診断装置本体１０１０は、図９に示すように、操作入力部１０１１、送信部１０１２、受信部１０１３、超音波画像生成部１０１４、表示画像生成部１０１５、出力部１０１６、及び、制御部１０１７を備える。
【0034】
送信部１０１２、受信部１０１３、超音波画像生成部１０１４及び表示画像生成部１０１５は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等の、各処理に応じた専用又は汎用のハードウェア（電子回路）で構成され、制御部１０１７と協働して各機能を実現する。
【0035】
操作入力部１０１１は、例えば、診断開始等を指示するコマンド又は被検者３０に関する情報の入力を受け付ける。操作入力部１０１１は、例えば、複数の入力スイッチを有する操作パネル、キーボード、及びマウス等を有してもよい。なお、操作入力部１０１１は、出力部１０１６と一体的に設けられるタッチパネルで構成されてもよい。
【0036】
送信部１０１２は、制御部１０１７の指示に従って、超音波プローブ１０２０に対して駆動信号として電圧パルスを送出する送信機である。送信部１０１２は、例えば、高周波パルス発振器、及びパルス設定部等を含んで構成されてもよい。送信部１０１２は、高周波パルス発振器で生成した電圧パルスを、パルス設定部で設定した電圧振幅、パルス幅及び送出タイミングに調整して、超音波プローブ１０２０のチャネルごとに送出してもよい。
【0037】
送信部１０１２は、超音波プローブ１０２０の複数のチャネルそれぞれにパルス設定部を有しており、複数のチャネルごとに電圧パルスの電圧振幅、パルス幅及び送出タイミングを設定可能になっている。例えば、送信部１０１２は、複数のチャネルに対して適切な遅延時間を設定することによって目標とする深度を変更したり、異なるパルス波形を発生させてもよい。
【0038】
受信部１０１３は、制御部１０１７の指示に従って、超音波プローブ１０２０で生成された超音波エコーに係る受信信号を受信処理する受信機である。受信部１０１３は、プリアンプ、ＡＤ変換部、及び受信ビームフォーマを含んで構成されてもよい。
【0039】
受信部１０１３は、プリアンプにて、チャネルごとに微弱な超音波エコーに係る受信信号を増幅し、ＡＤ変換部にて、受信信号を、デジタル信号に変換する。そして、受信部１０１３は、受信ビームフォーマにて、各チャネルの受信信号を整相加算することで複数チャネルの受信信号を１つにまとめて、音響線データとしうる。
【0040】
超音波画像生成部１０１４は、受信部１０１３から受信信号（音響線データ）を取得して、被検者３０の内部の超音波画像（すなわち、断層画像）を生成する。
【0041】
超音波画像生成部１０１４は、例えば、超音波プローブ１０２０が深度方向に向けてパルス状の超音波ビームを送信した際に、その後に検出される超音波エコーの信号強度（Ｉｎｔｅｎｓｉｔｙ）を時間的に連続してラインメモリに蓄積する。そして、超音波画像生成部１０１４は、超音波プローブ１０２０からの超音波ビームが被検者３０内を走査するに応じて、各走査位置での超音波エコーの信号強度をラインメモリに順次蓄積し、フレーム単位となる二次元データを生成する。そして、超音波画像生成部１０１４は、当該二次元データの信号強度を輝度値に変換することによって、超音波の送信方向と超音波の走査方向とを含む断面内の二次元構造を表す超音波画像を生成しうる。
【0042】
なお、超音波画像生成部１０１４は、例えば、受信部１０１３から取得する受信信号を包絡線検波する包絡線検波回路、包絡線検波回路で検出された受信信号の信号強度に対して対数圧縮を行う対数圧縮回路、及び、深度に応じて周波数特性を変化させたバンドパスフィルタで、受信信号に含まれるノイズ成分を除去するダイナミックフィルタ等を有していてもよい。
【0043】
表示画像生成部１０１５は、超音波画像生成部１０１４から超音波画像のデータを取得すると共に、超音波画像の表示領域を含む表示画像を生成する。そして、表示画像生成部１０１５は、生成した表示画像のデータを出力部１０１６に送出する。表示画像生成部１０１５は、超音波画像生成部１０１４から新たな超音波画像を取得する毎に表示画像を順次更新し、動画形式で、表示画像を出力部１０１６に表示させてもよい。
【0044】
また、表示画像生成部１０１５は、制御部１０１７の指示に従って、超音波画像と共に、検出対象の時系列データをグラフィック表示した画像を、表示領域内に埋め込んだ表示画像を生成してもよい。
【0045】
なお、表示画像生成部１０１５は、超音波画像生成部１０１４から出力される超音波画像に対して、座標変換処理やデータ補間処理等の所定の画像処理を施した上で、表示画像を生成してもよい。
【0046】
出力部１０１６は、制御部１０１７の指示に従って、表示画像生成部１０１５から表示画像のデータを取得し、当該表示画像を出力する。例えば、出力部１０１６は、液晶ディスプレイ、有機ＥＬディスプレイ、又は、ＣＲＴディスプレイ等で構成されてもよく、表示画像を表示してもよい。
【0047】
制御部１０１７は、操作入力部１０１１、送信部１０１２、受信部１０１３、超音波画像生成部１０１４、表示画像生成部１０１５及び出力部１０１６を、それぞれの機能に応じて制御することによって、超音波診断装置１００の全体制御を行う。
【0048】
制御部１０１７は、演算／制御装置としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１７１、主記憶装置としてのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１７２及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１７３等を有してもよい。ＲＯＭ１１７２には、基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１７１は、ＲＯＭ１７２から処理内容に応じたプログラムを読み出してＲＡＭ１１７３に格納し、格納したプログラムを実行することにより、超音波診断装置本体１０１０の各機能ブロック（送信部１０１２、受信部１０１３、超音波画像生成部１０１４、表示画像生成部１０１５、及び出力部１０１６）の動作を集中制御する。
【0049】
［訓練装置及び画像処理装置のハードウェア構成］
次に、図１０を参照して、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を説明する。図１０は、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を示すブロック図である。
次に、図１０を参照して、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を説明する。図１０は、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を示すブロック図である。
【0050】
訓練装置５０及び画像処理装置２００はそれぞれ、サーバ、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット等の計算装置によって実現されてもよく、例えば、図１０に示されるようなハードウェア構成を有してもよい。すなわち、訓練装置５０及び画像処理装置２００はそれぞれ、バスＢを介し相互接続されるドライブ装置１０１、ストレージ装置１０２、メモリ装置１０３、プロセッサ１０４、ユーザインタフェース（ＵＩ）装置１０５及び通信装置１０６を有する。
【0051】
訓練装置５０及び画像処理装置２００における後述される各種機能及び処理を実現するプログラム又は指示は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体に格納されてもよい。当該記憶媒体がドライブ装置１０１にセットされると、プログラム又は指示が記憶媒体からドライブ装置１０１を介しストレージ装置１０２又はメモリ装置１０３にインストールされる。ただし、プログラム又は指示は、必ずしも記憶媒体からインストールされる必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードされてもよい。
【0052】
ストレージ装置１０２は、ハードディスクドライブなどによって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。
【0053】
メモリ装置１０３は、ランダムアクセスメモリ、スタティックメモリ等によって実現され、プログラム又は指示が起動されると、ストレージ装置１０２からプログラム又は指示、データ等を読み出して格納する。ストレージ装置１０２、メモリ装置１０３及び着脱可能な記憶媒体は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）として総称されてもよい。
【0054】
プロセッサ１０４は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、メモリ装置１０３に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、後述されるモデル生成装置１００の各種機能及び処理を実行する。
【0055】
ユーザインタフェース（ＵＩ）装置１０５は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと訓練装置５０及び画像処理装置２００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、訓練装置５０及び画像処理装置２００を操作する。
【0056】
通信装置１０６は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラーネットワーク等の通信ネットワークとの有線及び／又は無線通信処理を実行する各種通信回路により実現される。
【0057】
しかしながら、上述したハードウェア構成は単なる一例であり、本開示による訓練装置５０及び画像処理装置２００は、他の何れか適切なハードウェア構成により実現されてもよい。
【0058】
［規格化処理］
次に、本開示の一実施例による超音波診断に利用される機械学習モデルの訓練及び推論処理のための規格化処理を説明する。訓練用及び推論用の時間変化画像データは、様々な掃引速度により被検者３０から取得され、及び／又は、異なる心拍数の被検者３０から取得されうる。異なる掃引速度及び／又は異なる心拍数の時間変化画像データをそのまま利用して機械学習モデルを訓練した場合、掃引速度毎及び／又は心拍数毎に機械学習モデル１０を訓練するのに必要とされる数の訓練用時間変化画像データを準備する必要があり、訓練データを収集するのにコストがかかる。本実施例の規格化処理によると、異なる掃引速度及び／又は異なる心拍数の時間変化画像データは、所定の掃引速度及び／又は所定の心拍数に規格化され、規格化された時間変化画像データを利用して機械学習モデル１０が訓練される。これにより、機械学習モデル１０を訓練するため、掃引速度毎及び／又は心拍数毎に必要とされる数の訓練用の時間変化画像データを収集することが不要になり、より低いコストにより機械学習モデル１０を生成することが可能になる。
次に、本開示の一実施例による超音波診断に利用される機械学習モデルの訓練及び推論処理のための規格化処理を説明する。訓練用及び推論用の時間変化画像データは、様々な掃引速度により被検者３０から取得され、及び／又は、異なる心拍数の被検者３０から取得されうる。異なる掃引速度及び／又は異なる心拍数の時間変化画像データをそのまま利用して機械学習モデルを訓練した場合、掃引速度毎及び／又は心拍数毎に機械学習モデル１０を訓練するのに必要とされる数の訓練用時間変化画像データを準備する必要があり、訓練データを収集するのにコストがかかる。本実施例の規格化処理によると、異なる掃引速度及び／又は異なる心拍数の時間変化画像データは、所定の掃引速度及び／又は所定の心拍数に規格化され、規格化された時間変化画像データを利用して機械学習モデル１０が訓練される。これにより、機械学習モデル１０を訓練するため、掃引速度毎及び／又は心拍数毎に必要とされる数の訓練用の時間変化画像データを収集することが不要になり、より低いコストにより機械学習モデル１０を生成することが可能になる。
【0059】
図１１は、本開示の一実施例による訓練装置５０の機能構成を示すブロック図である。図１１に示されるように、本実施例による訓練装置５０は、前処理部５１及び訓練部５２を有する。例えば、前処理部５１及び訓練部５２の１つ以上の機能部は、１つ以上のプロセッサ１０４がメモリ装置１０３に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。
【0060】
前処理部５１は、時間変化画像データを規格化する。具体的には、前処理部５１は、超音波探触子１０２０で受信した画像生成用の受信信号に基づく時間変化画像データから、当該時間変化画像データを時間方向に規格化した時間変化画像データを取得してもよい。例えば、前処理部５１は、ある掃引速度によって被検者３０から超音波探触子１０２０において受信した信号に基づく時間変化画像データを所定の掃引速度の時間変化画像データに変換してもよい。具体的には、前処理部５１は、掃引速度３０ｍｍ／ｓｅｃの訓練用の時間変化画像データを所定の掃引速度４０ｍｍ／ｓｅｃの時間変化画像データに変換するため、図１２に示されるように、掃引速度３０ｍｍ／ｓｅｃの訓練用時間変化画像データを時間方向に４０／３０＝１．３３・・・倍に拡大してもよい。
【0061】
さらに、前処理部５１は、拡大された時間変化画像データを更に規格化した時間変化画像データを取得してもよい。すなわち、前処理部５１は、掃引速度に対して規格化された心拍数７２ｂｐｍの時間変化画像データを所定の心拍数８０ｂｐｍに変換するため、図１２に示されるように、心拍数７２ｂｐｍの時間変化画像データを時間方向に７２／８０＝０．９倍に縮小してもよい。
【0062】
このようにして、前処理部５１は、異なる掃引速度及び／又は異なる心拍数の訓練用の時間変化画像データを所定の掃引速度及び／又は所定の心拍数の時間変化画像データに規格化する。前処理部５１は、所定の掃引速度及び／又は所定の心拍数に規格化された時間変化画像データを、図１３に示されるような所定の幅の時間変化画像データに変更し、時間方向に所定の幅を有する訓練用の時間変化画像データを取得する。
【0063】
また、前処理部５１は、時間方向に規格化された時間変化画像データをさらに時間方向に変形させるデータ拡張を施してもよい。すなわち、被検者の心拍数が得られないケースでは、図１４に示されるように、掃引速度に応じて規格化された時間変化画像データに対して、ランダムな比率で時間方向に拡大または縮小させるデータ拡張を施すことによって、心拍数の違いに対応してもよい。
【0064】
訓練部５２は、このようにして前処理された時間変化画像データを利用して、訓練対象の機械学習モデル１０を訓練する。具体的には、訓練部５２は、掃引速度及び／又は心拍数に対して規格化された訓練用の時間変化画像データと、訓練用の時間変化画像データに対応する検出対象を含む正解データとから構成される訓練データを利用して、畳み込みニューラルネットワークなどの機械学習モデル１０のパラメータを調整する。ここで、正解データは、時間変化画像において時間変化によって影響を受ける特徴に関する情報であってもよい。具体的には、正解データ（すなわち、ラベルデータ）は、時間変化画像における１つ以上の点の位置に関する情報、幅に関する情報、波形の形状に関する情報、時間タイミングに関する情報、時間区間に関する情報、トレースに関する情報などであってもよい。
【0065】
例えば、訓練対象の機械学習モデル１０が画像処理に利用される畳み込みニューラルネットワークである場合、訓練部５２は、規格化された訓練用の時間変化画像データを訓練対象の畳み込みニューラルネットワークに入力し、訓練対象の畳み込みニューラルネットワークからの出力結果と正解データとの誤差に基づいて、誤差逆伝播法に従って訓練対象の畳み込みニューラルネットワークのパラメータを調整してもよい。訓練部５２は、所定の終了条件が充足されるまで当該訓練処理を継続し、所定の終了条件が充足されると、当該訓練処理を終了する。
【0066】
図１５は、本開示の一実施例による超音波診断装置１００の機能構成を示すブロック図である。図１５に示されるように、本実施例による超音波診断装置１００は、超音波制御部１１０、前処理部１２０及び推論部１３０を有する。例えば、超音波制御部１１０、前処理部１２０及び推論部１３０の１つ以上の機能部は、１つ以上のＣＰＵ １１７１がＲＯＭ １１７２又はＲＡＭ １１７３に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。
【0067】
超音波制御部１１０は、超音波診断装置１００において送受信される超音波信号を制御する。具体的には、超音波制御部１１０は、超音波探触子１０２０から被検者３０に送出される超音波信号を制御するとともに、被検者３０から反射された超音波信号を受信する。例えば、超音波制御部１１０は、超音波信号を超音波探触子１０２０から送出し、対象物から反射された超音波信号を受信してもよい。超音波制御部１１０は、受信した超音波信号に基づいてユーザによって設定された掃引速度にしたがって被検者３０の検出対象領域における時間変化画像データを生成する。
【0068】
前処理部１２０は、時間変化画像データを前処理する。具体的には、訓練済み機械学習モデル１０が所定の掃引速度及び／又は所定の心拍数により規格化された時間変化画像データにより訓練されている場合、前処理部１２０は、超音波制御部１１０によって被検者３０から取得された時間変化画像データを、所定の掃引速度及び／又は所定の心拍数により規格化する。例えば、図１２に示されるように、超音波制御部１１０によって取得された時間変化画像データが、掃引速度３０ｍｍ／ｓｅｃ及び心拍数７２ｂｐｍである場合、前処理部１２０はまず、取得された時間変化画像を所定の掃引速度４０ｍｍ／ｓｅｃに規格化するため、４０／３０＝１．３３・・・倍に拡大し、さらに所定の心拍数８０ｂｐｍに規格化するため、７２／８０＝０．９倍に縮小する。前処理部１２０は、このようにして規格化された時間変化画像データを推論部１３０にわたす。
【0069】
推論部１３０は、訓練済み機械学習モデル１０を利用して、前処理部１２０により規格化された時間変化画像データに対する推論結果を取得する。具体的には、推論部１３０は、規格化された時間変化画像データを訓練済み機械学習モデル１０に入力し、訓練済み機械学習モデル１０から検出対象領域に関する推論結果を取得する。推論部１３０は、前処理部１２０にて実行された拡大及び／又は縮小と逆の処理を推論結果に対して実行し、超音波制御部１１０により取得された時間変化画像データに対応する推論結果を取得する。
【0070】
［ＶＴＩ計測の実施例］
本実施例による機械学習モデル１０は、ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測に利用可能である。ここで、ＶＴＩとは、速度時間積分値であり、心臓の左室流出路（Ｌｅｆｔ Ｖｅｎｔｉｃｕｌａｒ Ｏｕｔｆｌｏｗ Ｔｒａｃｔ：ＬＶＯＴ）におけるＶＴＩは、心臓左室収縮機能の評価指標として利用される。ＰＷドプラ速度波形の面積は、血流速度の時間積分値ＶＴＩに等しい。ここで、ＬＶＯＴ径は、例えば、図１６に示されるように、傍胸骨左縁長軸像において計測されうる。図１６において、時間変化画像データ上の包囲された領域の面積がＶＴＩに相当する。ＶＴＩ計測のため、機械学習モデル１０は、入力された時間変化画像データから、図１７に示されるようなＶＴＩ計測対象区間及び／又はＶＴＩ計測対象領域を検出するよう訓練される。
本実施例による機械学習モデル１０は、ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測に利用可能である。ここで、ＶＴＩとは、速度時間積分値であり、心臓の左室流出路（Ｌｅｆｔ Ｖｅｎｔｉｃｕｌａｒ Ｏｕｔｆｌｏｗ Ｔｒａｃｔ：ＬＶＯＴ）におけるＶＴＩは、心臓左室収縮機能の評価指標として利用される。ＰＷドプラ速度波形の面積は、血流速度の時間積分値ＶＴＩに等しい。ここで、ＬＶＯＴ径は、例えば、図１６に示されるように、傍胸骨左縁長軸像において計測されうる。図１６において、時間変化画像データ上の包囲された領域の面積がＶＴＩに相当する。ＶＴＩ計測のため、機械学習モデル１０は、入力された時間変化画像データから、図１７に示されるようなＶＴＩ計測対象区間及び／又はＶＴＩ計測対象領域を検出するよう訓練される。
【0071】
機械学習モデル１０の訓練処理では、例えば、図１８に示されるような時間変化画像データと、当該時間変化画像データに対応する計測区間のラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、図示されるように、時間方向に拡大及び／又は縮小される。例えば、図１８に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0072】
次に、訓練済み機械学習モデル１０を利用した推論処理では、図１９に示されるような推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、図１９に示されるように、規格化された時間変化画像データにおけるＶＴＩ計測区間を予測する。その後、前処理と逆の処理が、予測されたＶＴＩ計測区間に対して実行される。すなわち、ＶＴＩ計測区間から前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得されたＶＴＩ計測区間を、推論対象の時間変化画像データに重畳して表示してもよい。
【0073】
図２０は、本開示の一実施例による超音波診断処理を示すフローチャートである。図２０に示されるように、ステップＳ１０１において、超音波診断装置１００は、Ｂモードで傍胸骨左縁長軸像を描出し、描出した画像をフリーズする。
【0074】
ステップＳ１０２において、超音波診断装置１００は、ＬＶＯＴ径を計測する。例えば、超音波診断装置１００は、フリーズされた傍胸骨左縁長軸像上においてユーザにより指定されたＬＶＯＴ径を示す部分の長さを計測してもよい。
【0075】
ステップＳ１０３において、超音波診断装置１００は、Ｂモードで心尖部長軸像（３チャンバビュー）を描出し、ドプラカーソルをＬＶＯＴに合わせる。例えば、超音波診断装置１００は、描出された心尖部長軸像上においてユーザからＬＶＯＴを指示される。
【0076】
ステップＳ１０４において、超音波診断装置１００は、ＰＷ（Ｐｕｌｓｅｄ Ｗａｖｅ）ドプラモードに遷移する。
【0077】
ステップＳ１０５において、超音波診断装置１００は、ＬＶＯＴのＰＷドプラ速度波形とドプラトレースとを取得して時間変化画像データとしてのＰＷドプラ速度波形に対してＶＴＩ自動計測を実行し、ＶＴＩ計測区間とドプラトレースとからＶＴＩを算出及び表示する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＶＴＩ計測区間を取得する。そして、超音波診断装置１００は、取得したＶＴＩ計測区間とドプラトレースとからＶＴＩを算出する。
【0078】
ステップＳ１０６において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ１０６：ＮＯ）、超音波診断装置１００は、ステップＳ１０５に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ１０６：ＹＥＳ）、超音波診断装置１００は、ステップＳ１０７に移行する。
【0079】
ステップＳ１０７において、超音波診断装置１００は、フリーズ表示されているＰＷドプラ速度波形に対してＶＴＩ自動計測を実行し、ＶＴＩ計測区間とドプラトレースとからＶＴＩを算出及び表示する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＶＴＩ計測区間を取得する。そして、超音波診断装置１００は、取得したＶＴＩ計測区間とドプラトレースとからＶＴＩを算出する。
【0080】
ステップＳ１０８において、超音波診断装置１００は、ＬＶＯＴ径とＶＴＩとから１回拍出量（Ｓｔｒｏｋｅ Ｖｏｌｕｍｅ：ＳＶ）を算出し、ＳＶと心拍数（Ｈｅａｒｔ Ｒａｔｅ：ＨＲ）とから心拍出量（Ｃａｒｄｉａｃ Ｏｕｔｐｕｔ：ＣＯ）を算出する。
【0081】
このようにして、本実施例によると、規格化された時間変化画像データとＶＴＩ計測対象区間とから構成される訓練データによって訓練された機械学習モデル１０を利用してＶＴＩ自動計測を実行し、推定されたＶＴＩ計測対象区間とドプラトレースとに基づいて、被検者３０から取得した時間変化画像データからＶＴＩを推定することができる。
【0082】
上述した実施例では、ＶＴＩ自動計測によって推定されたＶＴＩ計測対象区間とドプラトレースとからＶＴＩを推定したが、本実施例による機械学習モデル１０は、図２１に示されるように、ＶＴＩ計測対象領域を検出するよう訓練されてもよい。
【0083】
機械学習モデル１０の訓練処理では、例えば、図２２に示されるような時間変化画像データと、当該時間変化画像データに対応する計測領域のラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、図示されるように、時間方向に拡大及び／又は縮小される。例えば、図２２に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0084】
次に、訓練済み機械学習モデル１０を利用した推論処理では、図２３に示されるような推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、図２３に示されるように、規格化された時間変化画像データにおけるＶＴＩ計測対象領域を予測する。その後、前処理と逆の処理が、予測されたＶＴＩ計測対象領域に対して実行される。すなわち、ＶＴＩ計測対象領域から前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得されたＶＴＩ計測領域を、推論対象の時間変化画像データに重畳して表示してもよい。
【0085】
図２４は、本開示の一実施例による超音波診断処理を示すフローチャートである。図２４に示されるように、ステップＳ２０１において、超音波診断装置１００は、Ｂモードで傍胸骨左縁長軸像を描出し、描出した画像をフリーズする。
【0086】
ステップＳ２０２において、超音波診断装置１００は、ＬＶＯＴ径を計測する。例えば、超音波診断装置１００は、フリーズされた傍胸骨左縁長軸像上においてユーザにより指定されたＬＶＯＴ径を示す部分の長さを計測してもよい。
【0087】
ステップＳ２０３において、超音波診断装置１００は、Ｂモードで心尖部長軸像（３チャンバビュー）を描出し、ドプラカーソルをＬＶＯＴに合わせる。例えば、超音波診断装置１００は、描出された心尖部長軸像上においてユーザからＬＶＯＴを指示される。
【0088】
ステップＳ２０４において、超音波診断装置１００は、ＰＷドプラモードに遷移する。
【0089】
ステップＳ２０５において、超音波診断装置１００は、ＬＶＯＴのＰＷドプラ速度波形を取得して時間変化画像データとしてのＰＷドプラ速度波形に対してＶＴＩ自動計測を実行し、推定されたＶＴＩ計測対象領域からＶＴＩを算出及び表示する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＶＴＩ計測対象領域を取得する。そして、超音波診断装置１００は、取得したＶＴＩ計測対象領域からＶＴＩを算出する。
【0090】
ステップＳ２０６において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ２０６：ＮＯ）、超音波診断装置１００は、ステップＳ２０５に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ２０６：ＹＥＳ）、超音波診断装置１００は、ステップＳ２０７に移行する。
【0091】
ステップＳ２０７において、超音波診断装置１００は、フリーズ表示されているＰＷドプラ速度波形に対してＶＴＩ自動計測を実行し、推定されたＶＴＩ計測対象領域からＶＴＩを算出及び表示する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＶＴＩ計測対象領域を取得する。そして、超音波診断装置１００は、取得したＶＴＩ計測対象領域からＶＴＩを算出する。
【0092】
ステップＳ２０８において、超音波診断装置１００は、ＬＶＯＴ径とＶＴＩとから１回拍出量（ＳＶ）を算出し、ＳＶと心拍数（ＨＲ）とから心拍出量（ＣＯ）を算出する。
【0093】
このようにして、本実施例によると、規格化された時間変化画像データとＶＴＩ計測対象領域とから構成される訓練データによって訓練された機械学習モデル１０を利用してＶＴＩ自動計測を実行し、推定されたＶＴＩ計測対象領域に基づいて、被検者３０から取得した時間変化画像データからＶＴＩを推定することができる。
【0094】
［ＰＳＶ・ＥＤＶの実施例］
本実施例による機械学習モデル１０は、図２５に示されるように、最大収縮血流速度（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ：ＰＳＶ）及び／又は拡張末期血流速度（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ：ＥＤＶ）計測に利用可能である。ここで、ＰＳＶは１心拍中の最大血流速度であり、ＥＤＶは拡張末期（心臓が収縮する直前）の血流速度である。ＰＳＶ及びＥＤＶは、抵抗係数（Ｒｅｓｉｓｔａｎｃｅ Ｉｎｄｅｘ：ＲＩ）及び拍動係数（Ｐｕｌｓａｔｉｌｉｔｙ Ｉｎｄｅｘ：ＰＩ）の指標算出に利用されうる。すなわち、ＲＩ＝（ＰＳＶ－ＥＤＶ）／ＰＳＶであり、ＰＩ＝（ＰＳＶ－ＥＤＶ）／ＴＡＭＶである。ここで、時間平均最大血流速度（Ｔｉｍｅ Ａｖｅｒａｇｅｄ Ｍａｘｉｍｕｍ Ｖｅｌｏｃｉｔｙ：ＴＡＭＶ）は、最大流速の１心拍の時間平均である。ＰＳＶ・ＥＤＶ計測のため、機械学習モデル１０は、入力された時間変化画像データから、ＰＳＶ及びＥＤＶの位置及び／又はタイミングを検出するよう訓練される。
本実施例による機械学習モデル１０は、図２５に示されるように、最大収縮血流速度（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ：ＰＳＶ）及び／又は拡張末期血流速度（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ：ＥＤＶ）計測に利用可能である。ここで、ＰＳＶは１心拍中の最大血流速度であり、ＥＤＶは拡張末期（心臓が収縮する直前）の血流速度である。ＰＳＶ及びＥＤＶは、抵抗係数（Ｒｅｓｉｓｔａｎｃｅ Ｉｎｄｅｘ：ＲＩ）及び拍動係数（Ｐｕｌｓａｔｉｌｉｔｙ Ｉｎｄｅｘ：ＰＩ）の指標算出に利用されうる。すなわち、ＲＩ＝（ＰＳＶ－ＥＤＶ）／ＰＳＶであり、ＰＩ＝（ＰＳＶ－ＥＤＶ）／ＴＡＭＶである。ここで、時間平均最大血流速度（Ｔｉｍｅ Ａｖｅｒａｇｅｄ Ｍａｘｉｍｕｍ Ｖｅｌｏｃｉｔｙ：ＴＡＭＶ）は、最大流速の１心拍の時間平均である。ＰＳＶ・ＥＤＶ計測のため、機械学習モデル１０は、入力された時間変化画像データから、ＰＳＶ及びＥＤＶの位置及び／又はタイミングを検出するよう訓練される。
【0095】
機械学習モデル１０の訓練処理では、例えば、図２６に示されるような時間変化画像データと、当該時間変化画像データに対応するＰＳＶ位置及びＥＤＶ位置のラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、図示されるように、時間方向に拡大及び／又は縮小される。例えば、図２６に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0096】
次に、訓練済み機械学習モデル１０を利用した推論処理では、図２７に示されるような推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、図２７に示されるように、規格化された時間変化画像データにおけるＰＳＶ位置及びＥＤＶ位置を予測する。その後、前処理と逆の処理が、予測されたＰＳＶ位置及びＥＤＶ位置に対して実行される。すなわち、ＰＳＶ位置及びＥＤＶ位置から前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得されたＰＳＶ位置及びＥＤＶ位置を、推論対象の時間変化画像データに重畳して表示してもよい。
【0097】
図２８は、本開示の一実施例による超音波診断処理を示すフローチャートである。図２８に示されるように、ステップＳ３０１において、超音波診断装置１００は、Ｂモードで計測対象の血管を描出し、ドプラカーソルを血管に合わせる。例えば、超音波診断装置１００は、描出された血管上においてユーザから計測対象の血管部分及びドプラカーソルを指示される。
【0098】
ステップＳ３０２において、超音波診断装置１００は、ＰＷドプラモードに遷移する。
【0099】
ステップＳ３０３において、超音波診断装置１００は、血管におけるＰＷ速度波形とドプラトレースとを取得して時間変化画像データとしてのＰＷドプラ速度波形に対してＰＳＶ・ＥＤＶ自動計測を実行し、ＰＳＶ及びＥＤＶの流速を算出及び表示する。
【0100】
ステップＳ３０４において、超音波診断装置１００は、ＰＳＶ及びＥＤＶから抵抗係数ＲＩを算出及び表示し、ドプラトレースから時間平均最大血流速度（ＴＡＭＶ）を算出して、ＰＳＶとＴＡＭＶとから拍動係数（ＰＩ）を算出及び表示する。
【0101】
ステップＳ３０５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ３０５：ＮＯ）、超音波診断装置１００は、ステップＳ３０３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ３０５：ＹＥＳ）、超音波診断装置１００は、ステップＳ３０６に移行する。
【0102】
ステップＳ３０６において、超音波診断装置１００は、フリーズ表示されているＰＷドプラ速度波形に対してＰＳＶ・ＥＤＶ自動計測を実行し、ＰＳＶ位置とＥＤＶ位置とからＰＳＶ及びＥＤＶの流速を算出及び表示する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＰＳＶ位置とＥＤＶ位置とを取得する。そして、超音波診断装置１００は、取得したＰＳＶ位置とＥＤＶ位置とからＰＳＶ及びＥＤＶの流速を算出及び表示する。
【0103】
ステップＳ３０７において、超音波診断装置１００は、ＰＳＶ及びＥＤＶから抵抗係数（ＲＩ）を算出及び表示し、ドプラトレースから時間平均最大血流速度（ＴＡＭＶ）を算出して、ＰＳＶとＴＡＭＶとから拍動係数（ＰＩ）を算出及び表示する。
【0104】
このようにして、本実施例によると、規格化された時間変化画像データとＰＳＶ位置及びＥＤＶ位置とから構成される訓練データによって訓練された機械学習モデル１０を利用してＰＳＶ・ＥＤＶ自動計測を実行し、推定されたＰＳＶ位置及びＥＤＶ位置とドプラトレース及びドプラトレースから算出したＴＡＭＶとに基づいて、被検者３０から取得した時間変化画像データからＲＩ及びＰＩを推定することができる。
【0105】
上述した実施例では、ＰＳＶ・ＥＤＶ自動計測によって推定されたＰＳＶ位置及びＥＤＶ位置とドプラトレースとからＲＩ及びＰＩを推定したが、本実施例による機械学習モデル１０は、図２９に示されるように、ＰＳＶタイミング及びＥＤＶタイミングを検出するよう訓練されてもよい。
【0106】
機械学習モデル１０の訓練処理では、例えば、図３０に示されるような時間変化画像データと、当該時間変化画像データに対応するＰＳＶタイミング及びＥＤＶタイミングのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、図示されるように、時間方向に拡大及び／又は縮小される。例えば、図３０に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0107】
次に、訓練済み機械学習モデル１０を利用した推論処理では、図３１に示されるような推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、図３１に示されるように、規格化された時間変化画像データにおけるＰＳＶタイミング及びＥＤＶタイミングを予測する。その後、前処理と逆の処理が、予測されたＰＳＶタイミング及びＥＤＶタイミングに対して実行される。すなわち、ＰＳＶタイミング及びＥＤＶタイミングから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得されたＰＳＶタイミング及びＥＤＶタイミングを、推論対象の時間変化画像データに重畳して表示してもよい。
【0108】
図３２は、本開示の一実施例による超音波診断処理を示すフローチャートである。図３２に示されるように、ステップＳ４０１において、超音波診断装置１００は、Ｂモードで計測対象の血管を描出し、ドプラカーソルを血管に合わせる。例えば、超音波診断装置１００は、描出された血管上においてユーザから計測対象の血管部分及びドプラカーソルを指示される。
【0109】
ステップＳ４０２において、超音波診断装置１００は、ＰＷドプラモードに遷移する。
【0110】
ステップＳ４０３において、超音波診断装置１００は、血管におけるＰＷ速度波形とドプラトレースとを取得して時間変化画像データとしてのＰＷドプラ速度波形に対してＰＳＶ・ＥＤＶ自動計測を実行し、推定されたＰＳＶタイミング及びＥＤＶタイミングとドプラトレースとからＰＳＶ及びＥＤＶの流速を算出及び表示する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＰＳＶタイミングとＥＤＶタイミングとを取得する。そして、超音波診断装置１００は、取得したＰＳＶタイミング及びＥＤＶタイミングとドプラトレースとからＰＳＶ及びＥＤＶの流速を算出及び表示する。
【0111】
ステップＳ４０４において、超音波診断装置１００は、ＰＳＶ及びＥＤＶから抵抗係数（ＲＩ）を算出及び表示し、ドプラトレースから時間平均最大血流速度（ＴＡＭＶ）を算出して、ＰＳＶとＴＡＭＶとから拍動係数（ＰＩ）を算出及び表示する。
【0112】
ステップＳ４０５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ４０５：ＮＯ）、超音波診断装置１００は、ステップＳ４０３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ４０５：ＹＥＳ）、超音波診断装置１００は、ステップＳ４０６に移行する。
【0113】
ステップＳ４０６において、超音波診断装置１００は、フリーズ表示されているＰＷドプラ速度波形に対してＰＳＶ・ＥＤＶ自動計測を実行し、推定されたＰＳＶタイミング及びＥＤＶタイミングとドプラトレースとからＰＳＶ及びＥＤＶの流速を算出及び表示する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＰＳＶタイミングとＥＤＶタイミングとを取得する。そして、超音波診断装置１００は、取得したＰＳＶタイミング及びＥＤＶタイミングとドプラトレースとからＰＳＶ及びＥＤＶの流速を算出及び表示する。
【0114】
ステップＳ４０７において、超音波診断装置１００は、ＰＳＶ及びＥＤＶから抵抗係数（ＲＩ）を算出及び表示し、ドプラトレースから時間平均最大血流速度（ＴＡＭＶ）を算出して、ＰＳＶとＴＡＭＶとから拍動係数（ＰＩ）を算出及び表示する。
【0115】
このようにして、本実施例によると、規格化された時間変化画像データとＰＳＶタイミング及びＥＤＶタイミングとから構成される訓練データによって訓練された機械学習モデル１０を利用してＰＳＶ・ＥＤＶ自動計測を実行し、推定されたＰＳＶタイミング及びＥＤＶタイミングとドプラトレース及びドプラトレースから算出したＴＡＭＶとに基づいて、被検者３０から取得した時間変化画像データからＲＩ及びＰＩを推定することができる。
【0116】
［血流量の実施例］
本実施例による機械学習モデル１０は、図３３に示されるように、血流量（Ｆｌｏｗ Ｖｏｌｕｍｅ：ＦＬ）計測に利用可能である。ここで、単位時間当たりの血流量ＦＬ［ｍＬ／ｍｉｎ］は、ドプラ計測された１心拍の時間平均血流速度ＴＡＶ［ｃｍ／ｓｅｃ］と、Ｂモード計測された血管径Ｄ［ｍｍ］から算出された血管断面積Ｓ［ｍｍ２］とを乗算することによって算出されうる。すなわち、Ｓ＝π×（Ｄ／２）２であり、ＦＬ＝（Ｓ／１０２）×（ＴＡＶ×６０）となる。血流量自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、血流量計測対象区間（すなわち、１心拍の区間）の境界を検出するよう訓練される。図示された計測対象区間の境界は、ＥＤＶのタイミングに基づいて設定されるが、本開示は必ずしもこれに限定されるものでない。
本実施例による機械学習モデル１０は、図３３に示されるように、血流量（Ｆｌｏｗ Ｖｏｌｕｍｅ：ＦＬ）計測に利用可能である。ここで、単位時間当たりの血流量ＦＬ［ｍＬ／ｍｉｎ］は、ドプラ計測された１心拍の時間平均血流速度ＴＡＶ［ｃｍ／ｓｅｃ］と、Ｂモード計測された血管径Ｄ［ｍｍ］から算出された血管断面積Ｓ［ｍｍ２］とを乗算することによって算出されうる。すなわち、Ｓ＝π×（Ｄ／２）２であり、ＦＬ＝（Ｓ／１０２）×（ＴＡＶ×６０）となる。血流量自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、血流量計測対象区間（すなわち、１心拍の区間）の境界を検出するよう訓練される。図示された計測対象区間の境界は、ＥＤＶのタイミングに基づいて設定されるが、本開示は必ずしもこれに限定されるものでない。
【0117】
機械学習モデル１０の訓練処理では、例えば、図３４に示されるような時間変化画像データと、当該時間変化画像データに対応するＥＤＶタイミングのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、時間方向に拡大及び／又は縮小される。例えば、時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。なお、訓練データに対する規格化は、上述したＥＤＶタイミングの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0118】
次に、訓練済み機械学習モデル１０を利用した推論処理では、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおけるＥＤＶタイミングを予測する。その後、前処理と逆の処理が、予測されたＥＤＶタイミングに対して実行される。すなわち、ＥＤＶタイミングから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得されたＥＤＶタイミングを、推論対象の時間変化画像データに重畳して表示してもよい。なお、推論対象データに対する規格化は、上述したＥＤＶタイミングの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0119】
図３５は、本開示の一実施例による超音波診断処理を示すフローチャートである。図３５に示されるように、ステップＳ５０１において、超音波診断装置１００は、Ｂモードで計測対象の血管を描出し、ドプラカーソルを血管に合わせる。例えば、超音波診断装置１００は、描出された血管上においてユーザから計測対象の血管部分及びドプラカーソルを指示される。
【0120】
ステップＳ５０２において、超音波診断装置１００は、ＰＷドプラモードに遷移する。
【0121】
ステップＳ５０３において、超音波診断装置１００は、血管におけるＰＷ速度波形とドプラトレースとを取得してフリーズ状態に遷移する。
【0122】
ステップＳ５０４において、超音波診断装置１００は、時間変化画像データとしてのＰＷドプラ速度波形に対して血流量自動計測を実行し、推定されたＥＤＶタイミングなどの計測対象区間を検出する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０からＥＤＶタイミングを取得する。
【0123】
ステップＳ５０５において、超音波診断装置１００は、計測対象区間の平均流速を時間平均し、時間平均血流速度ＴＡＶを取得する。
【0124】
ステップＳ５０６において、超音波診断装置１００は、Ｂモード画像上で血管径Ｄを計測する。
【0125】
ステップＳ５０７において、超音波診断装置１００は、時間平均血流速度ＴＡＶと血管径Ｄとから血流量ＦＬを算出する。具体的には、超音波診断装置１００は、Ｓ＝π×（Ｄ／２）２に従って血管径Ｄから血管断面積Ｓを算出し、ＦＬ＝（Ｓ／１０２）×（ＴＡＶ×６０）に従って血管断面積Ｓと時間平均血流速度ＴＡＶとから血流量ＦＬを算出する。
【0126】
このようにして、本実施例によると、規格化された時間変化画像データとＥＤＶタイミングとから構成される訓練データによって訓練された機械学習モデル１０を利用して血流量自動計測を実行し、推定されたＥＤＶタイミングとドプラトレースとに基づいて、被検者３０から取得した時間変化画像データから血流量を推定することができる。
【0127】
［Ｅ／Ａ比の実施例］
本実施例による機械学習モデル１０は、図３６に示されるように、Ｅ／Ａ比計測に利用可能である。ここで、Ｅ／Ａ比は、左室拡張機能の評価指標であり、Ｅ／Ａ比＝最大Ｅ波速度／最大Ａ波速度に従って算出されうる。例えば、Ｅ／Ａ≦０．８である場合、左室は弛緩障害型であると判定され、Ｅ／Ａ≧２．０である場合、左室は拘束型であると判定される。Ｅ／Ａ比自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、最大Ｅ波速度の位置と最大Ａ波速度の位置とを検出するよう訓練される。
本実施例による機械学習モデル１０は、図３６に示されるように、Ｅ／Ａ比計測に利用可能である。ここで、Ｅ／Ａ比は、左室拡張機能の評価指標であり、Ｅ／Ａ比＝最大Ｅ波速度／最大Ａ波速度に従って算出されうる。例えば、Ｅ／Ａ≦０．８である場合、左室は弛緩障害型であると判定され、Ｅ／Ａ≧２．０である場合、左室は拘束型であると判定される。Ｅ／Ａ比自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、最大Ｅ波速度の位置と最大Ａ波速度の位置とを検出するよう訓練される。
【0128】
機械学習モデル１０の訓練処理では、例えば、図３７に示されるような時間変化画像データと、当該時間変化画像データに対応する最大Ｅ波速度の位置及び最大Ａ波速度の位置のラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、時間方向に拡大及び／又は縮小される。例えば、時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。なお、訓練データに対する規格化は、上述したＰＳＶ・ＥＤＶ位置の検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0129】
次に、訓練済み機械学習モデル１０を利用した推論処理では、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおける最大Ｅ波速度の位置及び最大Ａ波速度の位置を予測する。その後、前処理と逆の処理が、予測された最大Ｅ波速度の位置及び最大Ａ波速度の位置に対して実行される。すなわち、最大Ｅ波速度の位置及び最大Ａ波速度の位置から前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得された最大Ｅ波速度の位置及び最大Ａ波速度の位置を、推論対象の時間変化画像データに重畳して表示してもよい。なお、推論対象データに対する規格化は、上述したＰＳＶ・ＥＤＶ位置の検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0130】
図３８は、本開示の一実施例による超音波診断処理を示すフローチャートである。図３８に示されるように、ステップＳ６０１において、超音波診断装置１００は、Ｂモードで心臓の心尖部四腔像（４チャンバビュー）を描出し、ドプラカーソルを僧帽弁尖先端間に合わせる。例えば、超音波診断装置１００は、描出された心尖部四腔像上においてユーザからドプラカーソルの位置を指示される。
【0131】
ステップＳ６０２において、超音波診断装置１００は、ＰＷドプラモードに遷移する。
【0132】
ステップＳ６０３において、超音波診断装置１００は、僧帽弁流入血流のＰＷドプラ速度波形を取得して時間変化画像データとしてのＰＷドプラ速度波形に対してＥ／Ａ自動計測を実行し、最大Ｅ波速度と最大Ａ波速度とを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０から最大Ｅ波速度の位置と最大Ａ波速度の位置とを取得する。
【0133】
ステップＳ６０４において、超音波診断装置１００は、取得した最大Ｅ波速度と最大Ａ波速度とからＥ／Ａ比を算出及び表示する。
【0134】
ステップＳ６０５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ６０５：ＮＯ）、超音波診断装置１００は、ステップＳ６０３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ６０５：ＹＥＳ）、超音波診断装置１００は、ステップＳ６０６に移行する。
【0135】
ステップＳ６０６において、超音波診断装置１００は、フリーズ表示されているＰＷドプラ速度波形に対してＥ／Ａ自動計測を実行し、最大Ｅ波速度と最大Ａ波速度とを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０から最大Ｅ波速度の位置と最大Ａ波速度の位置とを取得する。そして、超音波診断装置１００は、取得した最大Ｅ波速度の位置と最大Ａ波速度の位置とから最大Ｅ波速度と最大Ａ波速度とを取得する。
【0136】
ステップＳ６０７において、超音波診断装置１００は、最大Ｅ波速度と最大Ａ波速度とからＥ／Ａ比を算出及び表示する。
【0137】
このようにして、本実施例によると、規格化された時間変化画像データと最大Ｅ波速度の位置及び最大Ａ波速度の位置とから構成される訓練データによって訓練された機械学習モデル１０を利用してＥ／Ａ自動計測を実行し、推定された最大Ｅ波速度の位置及び最大Ａ波速度の位置に基づいて、被検者３０から取得した時間変化画像データからＥ／Ａ比を推定することができる。
【0138】
上述した実施例では、Ｅ／Ａ自動計測によって推定された最大Ｅ波速度の位置及び最大Ａ波速度の位置からＥ／Ａ比を推定したが、本実施例による機械学習モデル１０は、図３９に示されるように、最大Ｅ波速度タイミング及び最大Ａ波速度タイミングを検出するよう訓練されてもよい。
【0139】
機械学習モデル１０の訓練処理では、例えば、図３９に示されるような時間変化画像データと、当該時間変化画像データに対応する最大Ｅ波速度タイミング及び最大Ａ波速度タイミングのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、図示されるように、時間方向に拡大及び／又は縮小される。例えば、時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。なお、訓練データに対する規格化は、上述したＰＳＶ・ＥＤＶタイミングの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0140】
次に、訓練済み機械学習モデル１０を利用した推論処理では、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおける最大Ｅ波速度タイミング及び最大Ａ波速度タイミングを予測する。その後、前処理と逆の処理が、予測された最大Ｅ波速度タイミング及び最大Ａ波速度タイミングに対して実行される。すなわち、最大Ｅ波速度タイミング及び最大Ａ波速度タイミングから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得された最大Ｅ波速度タイミング及び最大Ａ波速度タイミングを、推論対象の時間変化画像データに重畳して表示してもよい。なお、推論対象データに対する規格化は、上述したＰＳＶ・ＥＤＶタイミングの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0141】
図４０は、本開示の一実施例による超音波診断処理を示すフローチャートである。図４０に示されるように、ステップＳ７０１において、超音波診断装置１００は、Ｂモードで心臓の心尖部四腔像（４チャンバビュー）を描出し、ドプラカーソルを僧帽弁尖先端間に合わせる。例えば、超音波診断装置１００は、描出された心尖部四腔像上においてユーザからドプラカーソルの位置を指示される。
【0142】
ステップＳ７０２において、超音波診断装置１００は、ＰＷドプラモードに遷移する。
【0143】
ステップＳ７０３において、超音波診断装置１００は、僧帽弁流入血流のＰＷドプラ速度波形を取得して時間変化画像データとしてのＰＷドプラ速度波形に対してＥ／Ａ自動計測を実行し、最大Ｅ波速度タイミングと最大Ａ波速度タイミングとを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０から最大Ｅ波速度タイミングと最大Ａ波速度タイミングとを取得する。そして、最大Ｅ波速度タイミングと最大Ａ波速度タイミング及びドプラトレースとから、最大Ｅ波速度と最大Ａ波速度とを取得する。
【0144】
ステップＳ７０４において、超音波診断装置１００は、取得した最大Ｅ波速度と最大Ａ波速度とからＥ／Ａ比を算出及び表示する。
【0145】
ステップＳ７０５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ７０５：ＮＯ）、超音波診断装置１００は、ステップＳ７０３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ７０５：ＹＥＳ）、超音波診断装置１００は、ステップＳ７０６に移行する。
【0146】
ステップＳ７０６において、超音波診断装置１００は、フリーズ表示されているＰＷドプラ速度波形に対してＥ／Ａ自動計測を実行し、最大Ｅ波速度タイミングと最大Ａ波速度タイミングとを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＰＷドプラ速度波形を入力し、訓練済み機械学習モデル１０から最大Ｅ波速度タイミングと最大Ａ波速度タイミングとを取得する。そして、超音波診断装置１００は、取得した最大Ｅ波速度タイミングと最大Ａ波速度タイミング及びドプラトレースとから最大Ｅ波速度と最大Ａ波速度とを取得する。
【0147】
ステップＳ７０７において、超音波診断装置１００は、最大Ｅ波速度と最大Ａ波速度とからＥ／Ａ比を算出及び表示する。
【0148】
このようにして、本実施例によると、規格化された時間変化画像データと最大Ｅ波速度タイミング及び最大Ａ波速度タイミングとから構成される訓練データによって訓練された機械学習モデル１０を利用してＥ／Ａ自動計測を実行し、推定された最大Ｅ波速度タイミング及び最大Ａ波速度タイミングに基づいて、被検者３０から取得した時間変化画像データからＥ／Ａ比を推定することができる。
【0149】
［ＴＡＰＳＥ・ＭＡＰＳＥの実施例］
本実施例による機械学習モデル１０は、三尖弁輪収縮期移動距離（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ：ＴＡＰＳＥ）及び／又は僧帽弁輪収縮期移動距離（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ：ＭＡＰＳＥ）計測に利用可能である。ここで、ＴＡＰＳＥは、右心機能の評価指標であり、図４１に示されるように、Ｍモードで三尖弁の弁輪部の動きの量を評価するのに利用される。また、ＭＡＰＳＥは、左心機能の評価機能であり、左室の描出が困難なケースで利用可能であり、Ｍモードで僧帽弁の弁輪部の動きの量を評価するのに利用される。図４２に示されるように、ＴＡＰＳＥは、Ｍモード画像における拡張期の位置と収縮期の位置とに基づいて決定可能であり、図示しないが、ＭＡＰＳＥも同様に決定可能である。ＴＡＰＳＥ・ＭＡＰＳＥ自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、ＴＡＰＳＥ及び／又はＭＡＰＳＥの拡張期位置と収縮期位置とを検出するよう訓練される。
本実施例による機械学習モデル１０は、三尖弁輪収縮期移動距離（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ：ＴＡＰＳＥ）及び／又は僧帽弁輪収縮期移動距離（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ：ＭＡＰＳＥ）計測に利用可能である。ここで、ＴＡＰＳＥは、右心機能の評価指標であり、図４１に示されるように、Ｍモードで三尖弁の弁輪部の動きの量を評価するのに利用される。また、ＭＡＰＳＥは、左心機能の評価機能であり、左室の描出が困難なケースで利用可能であり、Ｍモードで僧帽弁の弁輪部の動きの量を評価するのに利用される。図４２に示されるように、ＴＡＰＳＥは、Ｍモード画像における拡張期の位置と収縮期の位置とに基づいて決定可能であり、図示しないが、ＭＡＰＳＥも同様に決定可能である。ＴＡＰＳＥ・ＭＡＰＳＥ自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、ＴＡＰＳＥ及び／又はＭＡＰＳＥの拡張期位置と収縮期位置とを検出するよう訓練される。
【0150】
機械学習モデル１０の訓練処理では、例えば、図４３に示されるような時間変化画像データと、当該時間変化画像データに対応する拡張期の弁輪部の位置及び収縮期の弁輪部の位置のラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、時間方向に拡大及び／又は縮小される。例えば、図４３に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0151】
次に、訓練済み機械学習モデル１０を利用した推論処理では、例えば、図４４に示されるように、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおける拡張期の弁輪部の位置及び収縮期の弁輪部の位置を予測する。その後、前処理と逆の処理が、予測された拡張期の弁輪部の位置及び収縮期の弁輪部の位置に対して実行される。すなわち、拡張期の弁輪部の位置及び収縮期の弁輪部の位置から前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得された拡張期の弁輪部の位置及び収縮期の弁輪部の位置を、推論対象の時間変化画像データに重畳して表示してもよい。
【0152】
図４５は、本開示の一実施例による超音波診断処理を示すフローチャートである。図４５に示されるように、ステップＳ８０１において、超音波診断装置１００は、Ｂモードで心臓の心尖部四腔像（４チャンバビュー）を描出し、Ｍモードカーソルを三尖弁輪部に合わせる。例えば、超音波診断装置１００は、描出された心尖部四腔像上においてユーザからＭモードカーソルの位置を指示される。
【0153】
ステップＳ８０２において、超音波診断装置１００は、Ｍモードに遷移する。
【0154】
ステップＳ８０３において、超音波診断装置１００は、三尖弁輪部のＭモード画像を取得して時間変化画像データとしてのＭモード画像に対してＴＡＰＳＥ自動計測を実行し、三尖弁輪部の拡張期の位置と収縮期の位置とを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＭモード画像を入力し、訓練済み機械学習モデル１０から三尖弁輪部の拡張期の位置と収縮期の位置とを取得する。
【0155】
ステップＳ８０４において、超音波診断装置１００は、取得した三尖弁輪部の拡張期の位置と収縮期の位置とからＴＡＰＳＥ値を算出及び表示する。
【0156】
ステップＳ８０５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ８０５：ＮＯ）、超音波診断装置１００は、ステップＳ８０３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ８０５：ＹＥＳ）、超音波診断装置１００は、ステップＳ８０６に移行する。
【0157】
ステップＳ８０６において、超音波診断装置１００は、フリーズ表示されているＭモード画像に対してＴＡＰＳＥ自動計測を実行し、三尖弁輪部の拡張期の位置と収縮期の位置とを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＭモード画像を入力し、訓練済み機械学習モデル１０から三尖弁輪部の拡張期の位置と収縮期の位置とを取得する。
【0158】
ステップＳ８０７において、超音波診断装置１００は、取得した三尖弁輪部の拡張期の位置と収縮期の位置とからＴＡＰＳＥ値を算出及び表示する。
【0159】
このようにして、本実施例によると、規格化された時間変化画像データと三尖弁輪部の拡張期の位置と収縮期の位置とから構成される訓練データによって訓練された機械学習モデル１０を利用してＴＡＰＳＥ自動計測を実行し、推定された三尖弁輪部の拡張期の位置と収縮期の位置とに基づいて、被検者３０から取得した時間変化画像データからＴＡＰＳＥ値を推定することができる。
【0160】
なお、ＭＡＰＳＥについては、Ｍモード画像において僧帽弁輪部の拡張期の位置と収縮期の位置とを推定するよう訓練された機械学習モデル１０を利用して、同様にＭＡＰＳＥ値を取得することができる。
【0161】
上述した実施例では、ＴＡＰＳＥ自動計測によって推定された三尖弁輪部の拡張期の位置と収縮期の位置とからＴＡＰＳＥ値を推定したが、本実施例による機械学習モデル１０は、図４６に示されるように、三尖弁輪部の拡張期タイミング及び収縮期タイミングを検出するよう訓練されてもよい。
【0162】
機械学習モデル１０の訓練処理では、例えば、図４７に示されるような時間変化画像データと、当該時間変化画像データに対応する拡張期タイミング及び収縮期タイミングのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、時間方向に拡大及び／又は縮小される。例えば、図４７に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0163】
次に、訓練済み機械学習モデル１０を利用した推論処理では、例えば、図４８に示されるように、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおける拡張期タイミング及び収縮期タイミングを予測する。その後、前処理と逆の処理が、予測された拡張期タイミング及び収縮期タイミングに対して実行される。すなわち、拡張期タイミング及び収縮期タイミングから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得された拡張期タイミング及び収縮期タイミングを、推論対象の時間変化画像データに重畳して表示してもよい。
【0164】
また、本実施例による機械学習モデル１０は、図４９に示されるように、Ｍモード画像における三尖弁輪部のトレースラインを検出するよう訓練されてもよい。機械学習モデル１０の訓練処理では、例えば、図４９に示されるような時間変化画像データと、当該時間変化画像データに対応する三尖弁輪部のトレースラインのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度及び／又は異なる心拍数により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度及び／又は所定の心拍数に規格化され、時間方向に拡大及び／又は縮小される。例えば、図４８に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小され、次に所定の心拍数に規格化するため時間方向に拡大される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0165】
次に、訓練済み機械学習モデル１０を利用した推論処理では、例えば、図５０に示されるように、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおける三尖弁輪部のトレースラインの位置を予測する。その後、前処理と逆の処理が、予測された三尖弁輪部のトレースラインに対して実行される。すなわち、三尖弁輪部のトレースラインから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得された三尖弁輪部のトレースラインを、推論対象の時間変化画像データに重畳して表示してもよい。
【0166】
図５１は、本開示の一実施例による超音波診断処理を示すフローチャートである。図５１に示されるように、ステップＳ９０１において、超音波診断装置１００は、Ｂモードで心臓の心尖部四腔像（４チャンバビュー）を描出し、Ｍモードカーソルを三尖弁輪部に合わせる。例えば、超音波診断装置１００は、描出された心尖部四腔像上においてユーザからＭモードカーソルの位置を指示される。
【0167】
ステップＳ９０２において、超音波診断装置１００は、Ｍモードに遷移する。
【0168】
ステップＳ９０３において、超音波診断装置１００は、三尖弁輪部のＭモード画像を取得して時間変化画像データとしてのＭモード画像に対してＴＡＰＳＥ自動計測を実行し、三尖弁輪部の拡張期タイミング及び収縮期タイミングと、トレースラインとを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＭモード画像を入力し、訓練済み機械学習モデル１０から三尖弁輪部の拡張期タイミング及び収縮期タイミングと、トレースラインとを取得する。
【0169】
ステップＳ９０４において、超音波診断装置１００は、取得した三尖弁輪部の拡張期タイミングと収縮期タイミングにおけるトレースラインより拡張期位置と収縮期位置とを取得し、拡張期位置と収縮期位置とからＴＡＰＳＥ値を算出及び表示する。
【0170】
ステップＳ９０５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ９０５：ＮＯ）、超音波診断装置１００は、ステップＳ９０３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ９０５：ＹＥＳ）、超音波診断装置１００は、ステップＳ９０６に移行する。
【0171】
ステップＳ９０６において、超音波診断装置１００は、フリーズ表示されているＭモード画像に対してＴＡＰＳＥ自動計測を実行し、三尖弁輪部の拡張期タイミング及び収縮期タイミングと、トレースラインとを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＭモード画像を入力し、訓練済み機械学習モデル１０から三尖弁輪部の拡張期タイミング及び収縮期タイミングと、トレースラインとを取得する。
【0172】
ステップＳ９０７において、超音波診断装置１００は、取得した三尖弁輪部の拡張期タイミングと収縮期タイミングにおけるトレースラインより拡張期位置と収縮期位置とを取得し、拡張期位置と収縮期位置とからＴＡＰＳＥ値を算出及び表示する。
【0173】
このようにして、本実施例によると、規格化された時間変化画像データと、三尖弁輪部の拡張期及び収縮期タイミング並びにトレースラインとから構成される訓練データによって訓練された機械学習モデル１０を利用してＴＡＰＳＥ自動計測を実行し、推定された三尖弁輪部の拡張期及び収縮期タイミングとトレースラインとに基づいて、被検者３０から取得した時間変化画像データからＴＡＰＳＥ値を推定することができる。
【0174】
なお、ＭＡＰＳＥについては、Ｍモード画像において僧帽弁輪部の拡張期及び収縮期タイミングとトレースラインとを推定するよう訓練された機械学習モデル１０を利用して、同様にＭＡＰＳＥ値を取得することができる。
【0175】
［ＩＶＣ径の実施例］
本実施例による機械学習モデル１０は、下大静脈（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ：ＩＶＣ）計測に利用可能である。ここで、ＩＶＣ径は、Ｂモード画像又はＭモード画像上で呼吸に伴う下大静脈の血管径の最大値と呼吸変動とを計測するのに利用されうる。血管径の呼吸性変動は、例えば、（最大径－最小径）／最大径×１００［％］で表されうる。図５２に示されるように、最大径は呼気時の下大静脈の径であり、最小径は吸気時の下大静脈の径である。ＩＶＣ径は、例えば、輸液管理のための指標として利用可能である。ＩＶＣ径自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、呼気時の血管の位置及び幅と吸気時の血管の位置及び幅とを検出するよう訓練される。
本実施例による機械学習モデル１０は、下大静脈（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ：ＩＶＣ）計測に利用可能である。ここで、ＩＶＣ径は、Ｂモード画像又はＭモード画像上で呼吸に伴う下大静脈の血管径の最大値と呼吸変動とを計測するのに利用されうる。血管径の呼吸性変動は、例えば、（最大径－最小径）／最大径×１００［％］で表されうる。図５２に示されるように、最大径は呼気時の下大静脈の径であり、最小径は吸気時の下大静脈の径である。ＩＶＣ径は、例えば、輸液管理のための指標として利用可能である。ＩＶＣ径自動計測のため、機械学習モデル１０は、入力された時間変化画像データから、呼気時の血管の位置及び幅と吸気時の血管の位置及び幅とを検出するよう訓練される。
【0176】
機械学習モデル１０の訓練処理では、例えば、図５３に示されるような時間変化画像データと、当該時間変化画像データに対応する呼気時の血管の位置及び幅と吸気時の血管の位置及び幅とのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度に規格化され、時間方向に拡大及び／又は縮小される。なお、ＩＶＣ径は、心臓の拍動に関する計測ではなく、呼吸変動に関する計測であるので、心拍数に応じた規格化は実施されない。例えば、図５３に示された時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小される。次に異なる呼吸速度に対応するために、時間方向にランダムな比率で拡大・縮小するデータ拡張を施してもよい。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。
【0177】
次に、訓練済み機械学習モデル１０を利用した推論処理では、例えば、図５４に示されるように、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおける呼気時の血管の位置及び幅と吸気時の血管の位置及び幅とを予測する。その後、前処理と逆の処理が、予測された呼気時の血管の位置及び幅と吸気時の血管の位置及び幅とに対して実行される。すなわち、呼気時の血管の位置及び幅と吸気時の血管の位置及び幅とから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得された呼気時の血管の位置及び幅と吸気時の血管の位置及び幅を、推論対象の時間変化画像データに重畳して表示してもよい。
【0178】
図５５は、本開示の一実施例による超音波診断処理を示すフローチャートである。図５５に示されるように、ステップＳ１００１において、超音波診断装置１００は、ＢモードでＩＶＣの長軸像を描出し、Ｍモードカーソルを計測対象のＩＶＣの位置に合わせる。例えば、超音波診断装置１００は、描出されたＩＶＣの長軸像上においてユーザからＭモードカーソルの位置を指示される。
【0179】
ステップＳ１００２において、超音波診断装置１００は、Ｍモードに遷移する。
【0180】
ステップＳ１００３において、超音波診断装置１００は、ＩＶＣのＭモード画像を取得して時間変化画像データとしてのＭモード画像に対してＩＶＣ径自動計測を実行し、呼気時及び吸気時のＩＶＣの血管径を取得する。
【0181】
ステップＳ１００４において、超音波診断装置１００は、取得した呼気時及び吸気時のＩＶＣ径からＩＶＣ径の呼吸性変動を算出及び表示する。
【0182】
ステップＳ１００５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ１００５：ＮＯ）、超音波診断装置１００は、ステップＳ１００３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ１００５：ＹＥＳ）、超音波診断装置１００は、ステップＳ１００６に移行する。
【0183】
ステップＳ１００６において、超音波診断装置１００は、フリーズ表示されているＭモード画像に対してＩＶＣ径自動計測を実行し、呼気時及び吸気時のＩＶＣの血管径を取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＭモード画像を入力し、訓練済み機械学習モデル１０から呼気時の血管の位置及び幅と吸気時の血管の位置及び幅を取得する。
【0184】
ステップＳ１００７において、超音波診断装置１００は、取得した呼気時及び吸気時のＩＶＣの血管径からＩＶＣ径の呼吸性変動を算出及び表示する。
【0185】
このようにして、本実施例によると、規格化された時間変化画像データと、呼気時の血管の位置及び幅と吸気時の血管の位置及び幅とから構成される訓練データによって訓練された機械学習モデル１０を利用してＩＶＣ径自動計測を実行し、推定された呼気時の血管の位置及び幅と吸気時の血管の位置及び幅に基づいて、被検者３０から取得した時間変化画像データからＩＶＣ径の呼吸性変動を推定することができる。
【0186】
上述した実施例では、ＩＶＣ径自動計測によって推定された呼気時の血管の位置及び幅と吸気時の血管の位置及び幅からＩＶＣ径の呼吸性変動を推定したが、本実施例による機械学習モデル１０は、図５６に示されるように、ＩＶＣの呼気時及び吸気時タイミングと、前壁及び後壁トレースとを検出するよう訓練されてもよい。
【0187】
機械学習モデル１０の訓練処理では、例えば、時間変化画像データと、当該時間変化画像データに対応するＩＶＣの呼気時及び吸気時タイミングのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度に規格化され、時間方向に拡大及び／又は縮小される。例えば、時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小される。次に異なる呼吸速度に対応するために、時間方向にランダムな比率で拡大・縮小するデータ拡張を施してもよい。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。なお、訓練データに対する規格化は、上述したＴＡＰＳＥ／ＭＡＰＳＥ計測における拡張期及び収縮期タイミングの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。ただし、ＩＶＣ径は、心臓の拍動に関する計測ではなく、呼吸変動に関する計測であるので、心拍数に応じた規格化は実施されない。
【0188】
次に、訓練済み機械学習モデル１０を利用した推論処理では、例えば、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおけるＩＶＣの呼気時及び吸気時タイミングを予測する。その後、前処理と逆の処理が、予測されたＩＶＣの呼気時及び吸気時タイミングに対して実行される。すなわち、ＩＶＣの呼気時及び吸気時タイミングから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得されたＩＶＣの呼気時及び吸気時タイミングを、推論対象の時間変化画像データに重畳して表示してもよい。なお、推論対象データに対する規格化は、上述したＴＡＰＳＥ／ＭＡＰＳＥ計測における拡張期及び収縮期タイミングの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0189】
また、本実施例による機械学習モデル１０は、例えば、Ｍモード画像における前壁及び後壁のトレースラインを検出するよう訓練されてもよい。機械学習モデル１０の訓練処理では、例えば、時間変化画像データと、当該時間変化画像データに対応する前壁及び後壁のトレースラインのラベルデータとが、訓練データとして準備される。訓練用の時間変化画像データは、異なる掃引速度により取得されるため、時間変化画像データとラベルデータとは、上述したように、所定の掃引速度に規格化され、時間方向に拡大及び／又は縮小される。例えば、時間変化画像データとラベルデータとはまず、所定の掃引速度に規格化するため時間方向に縮小される。このように拡大及び縮小された時間変化画像データとラベルデータとは、時間方向に所定の幅を有するよう背景画像に重畳される。そして、所定の幅を有する時間変化画像データとラベルデータが訓練処理に入力される。なお、訓練データに対する規格化は、上述したＴＡＰＳＥ／ＭＡＰＳＥ計測における三尖弁輪部／僧帽弁輪部のトレースラインの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。ただし、ＩＶＣ径は、心臓の拍動に関する計測ではなく、呼吸変動に関する計測であるので、心拍数に応じた規格化は実施されない。
【0190】
次に、訓練済み機械学習モデル１０を利用した推論処理では、例えば、推論対象の時間変化画像データが与えられると、推論対象の時間変化画像データは、時間方向に規格化され、時間方向に所定の幅を有するように背景画像に重畳される。このように所定の時間幅を有する規格化された時間変化画像データは、訓練済み機械学習モデル１０に入力され、規格化された時間変化画像データにおける前壁及び後壁のトレースラインを予測する。その後、前処理と逆の処理が、予測された前壁及び後壁のトレースラインに対して実行される。すなわち、前壁及び後壁のトレースラインから前処理で重畳された背景画像の部分が除外され、その後に時間方向に元の幅に戻される。このようにして取得された前壁及び後壁のトレースラインを、推論対象の時間変化画像データに重畳して表示してもよい。なお、推論データに対する規格化は、上述したＴＡＰＳＥ／ＭＡＰＳＥ計測における三尖弁輪部／僧帽弁輪部のトレースラインの検出に関する実施例と同様であり、重複した説明を避けるため、詳細は割愛する。
【0191】
図５７は、本開示の一実施例による超音波診断処理を示すフローチャートである。図５７に示されるように、ステップＳ１１０１において、超音波診断装置１００は、ＢモードでＩＶＣの長軸像を描出し、Ｍモードカーソルを計測対象のＩＶＣの位置に合わせる。例えば、超音波診断装置１００は、描出されたＩＶＣの長軸像上においてユーザからＭモードカーソルの位置を指示される。
【0192】
ステップＳ１１０２において、超音波診断装置１００は、Ｍモードに遷移する。
【0193】
ステップＳ１１０３において、超音波診断装置１００は、ＩＶＣのＭモード画像を取得して時間変化画像データとしてのＭモード画像に対してＩＶＣ径自動計測を実行し、呼気時及び吸気時のタイミングと、ＩＶＣの前壁及び後壁のトレースラインとを取得する。
【0194】
ステップＳ１１０４において、超音波診断装置１００は、取得した呼気時及び吸気時のタイミングにおける前壁及び後壁のトレースラインから呼気時及び吸気時のＩＶＣ径を取得し、ＩＶＣ径から呼吸性変動を算出及び表示する。すなわち、取得された呼気時及び吸気時のタイミングにおける前壁と後壁のトレースライン間の距離がＩＶＣ径となる。
【0195】
ステップＳ１１０５において、超音波診断装置１００は、フリーズ状態に遷移したか判定する。フリーズ状態に遷移していない場合（Ｓ１１０５：ＮＯ）、超音波診断装置１００は、ステップＳ１１０３に移行し、上述した処理を繰り返す。他方、フリーズ状態に遷移した場合（Ｓ１１０５：ＹＥＳ）、超音波診断装置１００は、ステップＳ１１０６に移行する。
【0196】
ステップＳ１１０６において、超音波診断装置１００は、フリーズ表示されているＭモード画像に対してＩＶＣ径自動計測を実行し、呼気時及び吸気時のタイミングと、ＩＶＣの前壁及び後壁のトレースラインを取得する。すなわち、超音波診断装置１００は、訓練済み機械学習モデル１０に計測対象の時間変化画像データとしてＭモード画像を入力し、訓練済み機械学習モデル１０から呼気時及び吸気時のタイミングとＩＶＣの前壁及び後壁のトレースラインとを取得する。
【0197】
ステップＳ１１０７において、超音波診断装置１００は、取得した呼気時及び吸気時のタイミングにおける前壁及び後壁のトレースラインから呼気時及び吸気時のＩＶＣ径を取得し、ＩＶＣ径から呼吸性変動を算出及び表示する。すなわち、取得された呼気時及び吸気時のタイミングにおける前壁と後壁のトレースライン間の距離がＩＶＣ径となる。
【0198】
このようにして、本実施例によると、規格化された時間変化画像データと、呼気時及び吸気時のタイミングと前壁及び後壁のトレースラインとから構成される訓練データによって訓練された機械学習モデル１０を利用してＩＶＣ径自動計測を実行し、推定された呼気時及び吸気時のタイミングと前壁及び後壁のトレースラインとに基づいて、被検者３０から取得した時間変化画像データからＩＶＣ径の呼吸性変動を推定することができる。
【0199】
上述した実施例によると、超音波探触子で受信した画像生成用の受信信号に基づく時間変化画像データを時間方向に伸縮することによって規格化された時間変化画像データ及び／又は当該規格化された時間変化画像データに基づき生成された時間変化画像データから構成される訓練用時間変化画像データと、訓練用時間変化画像データに対応する検出対象を含む正解データとのペアを含む訓練データを用いて、機械学習モデルが訓練される。例えば、機械学習モデルは、畳み込みニューラルネットワークなどの何れかのタイプのニューラルネットワークにより実現されてもよい。また、超音波探触子において受信された信号に基づく時間変化画像データは、ドプラ画像、Ｍモード画像などであってもよく、当該時間変化画像データから規格化された時間変化画像データは、所定の掃引速度に規格化された時間変化画像データであってもよい。また、規格化された時間変化画像データに基づき生成される時間変化画像データは、所定の心拍数に規格化された時間変化画像データであってもよい。
【0200】
また、機械学習モデルによる検出対象は、時間変化画像において時間変化によって影響を受ける特徴に関する情報であってもよい。具体的には、検出対象は、時間変化画像における１つ以上の点の位置に関する情報、幅に関する情報、波形の形状に関する情報、時間タイミングに関する情報、時間区間に関する情報、トレースに関する情報などであってもよい。例えば、超音波診断装置によってドプラ画像が取得された場合、機械学習モデルは、取得したドプラ画像から、
ｉ）ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測の対象となるスペクトル波形の時間方向の区間若しくはスペクトル波形の領域、
ｉｉ）ＰＳＶ（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）及びＥＤＶ（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）の位置若しくは時間軸上のタイミング、
ｉｉｉ）血流量計測の対象となるスペクトル波形の時間方向の区間の境界、又は、
ｉｖ）Ｅ／Ａ計測におけるＥ波及びＡ波の血流速度の位置又は時間軸上のタイミング、
を検出対象として検出するよう訓練されうる。
ｉ）ＶＴＩ（Ｖｅｌｏｃｉｔｙ－Ｔｉｍｅ Ｉｎｔｅｇｒａｌ）計測の対象となるスペクトル波形の時間方向の区間若しくはスペクトル波形の領域、
ｉｉ）ＰＳＶ（Ｐｅａｋ Ｓｙｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）及びＥＤＶ（Ｅｎｄ Ｄｉａｓｔｏｌｉｃ Ｖｅｌｏｃｉｔｙ）の位置若しくは時間軸上のタイミング、
ｉｉｉ）血流量計測の対象となるスペクトル波形の時間方向の区間の境界、又は、
ｉｖ）Ｅ／Ａ計測におけるＥ波及びＡ波の血流速度の位置又は時間軸上のタイミング、
を検出対象として検出するよう訓練されうる。
【0201】
また、超音波診断装置によってＭモード画像が取得された場合、機械学習モデルは、取得したＭモード画像から、
ｉ）ＴＡＰＳＥ（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測若しくはＭＡＰＳＥ（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測における弁輪部の拡張期の位置及び収縮期の位置、時間軸上の拡張期及び収縮期タイミング、若しくは弁輪部のトレース、又は、
ｉｉ）ＭモードＩＶＣ（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ）径計測における下大静脈の血管径、呼気時及び吸気時のタイミング、若しくは下大静脈の前壁及び後壁のトレース
を検出対象として検出するよう訓練されうる。
ｉ）ＴＡＰＳＥ（Ｔｒｉｃｕｓｐｉｄ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測若しくはＭＡＰＳＥ（Ｍｉｔｒａｌ Ａｎｎｕｌａｒ Ｐｌａｎｅ Ｓｙｓｔｏｌｉｃ Ｅｘｃｕｒｓｉｏｎ）計測における弁輪部の拡張期の位置及び収縮期の位置、時間軸上の拡張期及び収縮期タイミング、若しくは弁輪部のトレース、又は、
ｉｉ）ＭモードＩＶＣ（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ）径計測における下大静脈の血管径、呼気時及び吸気時のタイミング、若しくは下大静脈の前壁及び後壁のトレース
を検出対象として検出するよう訓練されうる。
【0202】
以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0203】
１０ 機械学習モデル
２０ 訓練データベース（ＤＢ）
３０ 被検者
４０ モデルデータベース（ＤＢ）
５０ 訓練装置
５１ 前処理部
５２ 訓練部
１００ 超音波診断装置
１１０ 超音波制御部
１２０ 前処理部
１３０ 推論部
２００ 画像処理装置
２０ 訓練データベース（ＤＢ）
３０ 被検者
４０ モデルデータベース（ＤＢ）
５０ 訓練装置
５１ 前処理部
５２ 訓練部
１００ 超音波診断装置
１１０ 超音波制御部
１２０ 前処理部
１３０ 推論部
２００ 画像処理装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】