ホーム > 特許ランキング > コニカミノルタ株式会社
特開2024-130034機械学習モデル、プログラム、超音波診断装置、超音波診断システム、画像診断装置及び訓練装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130034
(43)【公開日】2024-09-30
(54)【発明の名称】機械学習モデル、プログラム、超音波診断装置、超音波診断システム、画像診断装置及び訓練装置
(51)【国際特許分類】
A61B 8/14 20060101AFI20240920BHJP
【ＦＩ】
A61B8/14
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023039515
(22)【出願日】2023-03-14
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】松本 洋日
(72)【発明者】
【氏名】武田 義浩
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601DD15
4C601DD27
4C601EE09
4C601JC37
(57)【要約】
【課題】機械学習モデルを利用した画像診断技術を提供することである。
【解決手段】本開示の一態様は、超音波探触子で受信した受信信号に基づく第１の超音波画像データと、前記第１の超音波画像データの検出対象に関連付けられた第１の領域情報である第１の正解データと、前記第１の超音波画像データの検出対象に関連付けられた第１の位置情報であるか、又は前記第１の位置情報に基づく第２の領域情報である第２の正解データと、を含む訓練データを用いて訓練された機械学習モデルに関する。
【選択図】図２
【解決手段】本開示の一態様は、超音波探触子で受信した受信信号に基づく第１の超音波画像データと、前記第１の超音波画像データの検出対象に関連付けられた第１の領域情報である第１の正解データと、前記第１の超音波画像データの検出対象に関連付けられた第１の位置情報であるか、又は前記第１の位置情報に基づく第２の領域情報である第２の正解データと、を含む訓練データを用いて訓練された機械学習モデルに関する。
【選択図】図２
【特許請求の範囲】
【請求項1】
超音波探触子で受信した受信信号に基づく第１の超音波画像データと、
前記第１の超音波画像データの検出対象に関連付けられた第１の領域情報である第１の正解データと、
前記第１の超音波画像データの検出対象に関連付けられた第１の位置情報であるか、又は前記第１の位置情報に基づく第２の領域情報である第２の正解データと、
を含む訓練データを用いて訓練された機械学習モデル。
前記第１の超音波画像データの検出対象に関連付けられた第１の領域情報である第１の正解データと、
前記第１の超音波画像データの検出対象に関連付けられた第１の位置情報であるか、又は前記第１の位置情報に基づく第２の領域情報である第２の正解データと、
を含む訓練データを用いて訓練された機械学習モデル。
【請求項2】
前記第２の正解データは、前記第２の領域情報である、請求項１に記載の機械学習モデル。
【請求項3】
前記第２の領域情報は、前記検出対象に関連付けられた第１の位置座標からの距離と確信度とを含む情報である、請求項２に記載の機械学習モデル。
【請求項4】
前記第１の領域情報及び前記第２の領域情報は、画像データである、請求項１に記載の機械学習モデル。
【請求項5】
前記第２の領域情報は、前記検出対象に関連付けられた第１の位置座標からの距離と確信度とを含む情報がヒートマップに変換された第１のヒートマップ情報である、請求項３に記載の機械学習モデル。
【請求項6】
前記訓練データは、前記第１の超音波画像データの検出対象に関連付けられた第２の位置情報であるか、又は前記第２の位置情報に基づく第３の領域情報である第３の正解データを更に含む、請求項１に記載の機械学習モデル。
【請求項7】
前記機械学習モデルは、畳み込みニューラルネットワークから構成される、請求項１に記載の機械学習モデル。
【請求項8】
請求項１から７の何れか一項に記載の機械学習モデルを用いて、超音波探触子で受信した受信信号に基づく第２の超音波画像データから、前記検出対象に関連付けられた推論結果を出力する出力機能をコンピュータに実現させるプログラム。
【請求項9】
被検体に対して超音波を送受信する超音波探触子と、
請求項１から７の何れか一項に記載の機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第２の超音波画像データから、前記検出対象に関連付けられた推論結果を出力する推論部と、
を有する超音波診断装置。
請求項１から７の何れか一項に記載の機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第２の超音波画像データから、前記検出対象に関連付けられた推論結果を出力する推論部と、
を有する超音波診断装置。
【請求項10】
所定の機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第２の超音波画像データから、検出対象に関連付けられた検出領域を第１の推論結果として出力し、前記検出対象に関連付けられた検出位置を第２の推論結果として出力し、前記検出領域と前記検出位置とに基づき、前記検出対象に関連付けられた検出結果を第３の推論結果として出力する推論部を有する超音波診断装置。
【請求項11】
所定の機械学習モデルを用いて、超音波探触子で受信した受信信号に基づく第２の超音波画像データから、検出対象に関連付けられた確信度を生成し、前記確信度に基づき確信度最大値座標を取得する推論部、
を有する超音波診断装置。
を有する超音波診断装置。
【請求項12】
前記推論部は、前記確信度最大値座標に基づき前記検出対象の形状を認識し、前記検出対象の形状の情報を出力する、請求項１１に記載の超音波診断装置。
【請求項13】
前記推論部は、前記確信度最大値座標に基づき前記検出対象の計測位置を決定し、前記計測位置に基づき、検出対象を計測し、前記計測された検出対象の計測情報を出力する、請求項１１に記載の超音波診断装置。
【請求項14】
被検体に対して超音波を送受信する超音波探触子と、
請求項１から７の何れか一項に記載の機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第２の超音波画像データから、前記検出対象に関連付けられた推論結果を出力する出力部と、
を有する超音波診断システム。
請求項１から７の何れか一項に記載の機械学習モデルを用いて、前記超音波探触子で受信した受信信号に基づく第２の超音波画像データから、前記検出対象に関連付けられた推論結果を出力する出力部と、
を有する超音波診断システム。
【請求項15】
請求項１から７の何れか一項に記載の機械学習モデルを用いて、超音波探触子で受信した受信信号に基づく第２の超音波画像データから、前記検出対象に関連付けられた推論結果を出力する推論部を有する画像診断装置。
【請求項16】
超音波探触子で受信した受信信号に基づく第１の超音波画像データと、
前記第１の超音波画像データの検出対象に関連付けられた第１の領域情報である第１の正解データと、
前記第１の超音波画像データの検出対象に関連付けられた第１の位置情報であるか、又は前記第１の位置情報に基づく第２の領域情報である第２の正解データと、
を含む訓練データを用いて機械学習を実行する訓練装置。
前記第１の超音波画像データの検出対象に関連付けられた第１の領域情報である第１の正解データと、
前記第１の超音波画像データの検出対象に関連付けられた第１の位置情報であるか、又は前記第１の位置情報に基づく第２の領域情報である第２の正解データと、
を含む訓練データを用いて機械学習を実行する訓練装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習モデル、プログラム、超音波診断装置、超音波診断システム、画像診断装置及び訓練装置に関する。
【背景技術】
【0002】
近年のディープラーニング技術の進展によって、機械学習モデルが様々な用途に利用されるようになってきている。例えば、医療分野においては、超音波画像データの画像診断などに機械学習モデルを利用することが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２０－５１９３６９号公報
【特許文献2】特開２０２１－１６４５７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
心機能を評価するための指標として、左室駆出率（Ｅｊｅｃｔｉｏｎ Ｆｒａｃｔｉｏｎ：ＥＦ）、下大静脈（Ｉｎｆｅｒｉｏｒ Ｖｅｎａ Ｃａｖａ：ＩＶＣ）径などの計測項目があり、正確で再現性の高い計測が望まれている。現状、手動によるＥＦの計測では、超音波画像においてユーザが心内膜をトレースすることによって、ＥＦが算出されている。また、手動によるＩＶＣ径計測では、ユーザが肝静脈を基準にした下大静脈の血管壁を指定することによって、ＩＶＣ径が計測されている。これらの手動計測は、煩雑であり、ユーザ操作によって誤差が生じうる。また、撮像された画像毎に変化があり、誤差が生じうることが知られている。
【0005】
セミオートマティックなＥＦ計測手法が一般に知られている。このセミオートマティックなＥＦ計測手法では、心内膜は自動トレースされるが、僧帽弁輪部２点と心尖部1点とはユーザによって指定される必要がある。さらに、ユーザが僧帽弁輪部２点と心尖部１点を指定するには、超音波画像をフリーズし、静止画上でこれらを指定する必要がある。この結果、計測に時間及び手間がかかり、リアルタイムでの計測が困難である。
【0006】
さらに、心臓は他の臓器と異なって拍動に伴って大きく動く部位である。例えば、心機能をリアルタイムで評価する際のＥＦの算出では、心内膜のトレースのみでは十分な左室領域を認識することができず、心機能を良好な精度で評価するための技術が必要とされる。
【0007】
上記問題点に鑑み、本開示の１つの課題は、機械学習モデルを利用した画像診断技術を提供することである。
【課題を解決するための手段】
【0008】
本開示の一態様は、超音波探触子で受信した受信信号に基づく第１の超音波画像データと、前記第１の超音波画像データの検出対象に関連付けられた第１の領域情報である第１の正解データと、前記第１の超音波画像データの検出対象に関連付けられた第１の位置情報であるか、又は前記第１の位置情報に基づく第２の領域情報である第２の正解データと、を含む訓練データを用いて訓練された機械学習モデルに関する。
【発明の効果】
【0009】
本開示によると、機械学習モデルを利用した画像診断技術を提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、図面を参照して本開示の実施の形態を説明する。
【0012】
［本開示の概略］
以下の実施例では、超音波画像における検出対象領域を推定する機械学習モデルを訓練する訓練装置と、訓練済み機械学習モデルを利用して検出対象領域を推定し、心機能に関する指標（例えば、ＥＦ、ＩＶＣ径など）を算出する超音波診断装置、画像診断装置及び超音波診断システムとが開示される。
以下の実施例では、超音波画像における検出対象領域を推定する機械学習モデルを訓練する訓練装置と、訓練済み機械学習モデルを利用して検出対象領域を推定し、心機能に関する指標（例えば、ＥＦ、ＩＶＣ径など）を算出する超音波診断装置、画像診断装置及び超音波診断システムとが開示される。
【0013】
より詳細には、後述される実施例による機械学習モデルは、入力された超音波画像から検出対象領域の一部（例えば、左心室内腔領域、下大静脈領域などの輪郭）を示す領域情報と、検出対象領域の他の一部（例えば、左右弁輪端、肝静脈点など）を示す位置情報とを抽出する。超音波診断装置、画像診断装置及び超音波診断システムは、抽出された領域情報と位置情報とに基づいて検出対象領域を推定し、推定された検出対象領域に基づいて心機能を評価するための指標を算出する。本実施例による機械学習モデルは、検出対象領域を直接抽出するのと比較して、拍動する心臓から検出対象領域をより良好に抽出することができる。
【0014】
［システム構成］
まず、本開示の一実施例による機械学習モデルを利用した訓練及び推論処理を実現するためのシステムを説明する。図１は、本開示の一実施例による機械学習モデルの訓練処理及び推論処理を示す概略図である。
まず、本開示の一実施例による機械学習モデルを利用した訓練及び推論処理を実現するためのシステムを説明する。図１は、本開示の一実施例による機械学習モデルの訓練処理及び推論処理を示す概略図である。
【0015】
図１に示されるように、訓練装置５０は、訓練対象の機械学習モデル１０を格納し、訓練データデータベース（ＤＢ）２０に格納されている訓練データを利用して訓練対象の機械学習モデル１０を訓練する。訓練対象の機械学習モデル１０は、例えば、ニューラルネットワークなどの何れか適切なタイプの機械学習モデルとして実現されてもよい。例えば、訓練対象の機械学習モデル１０がニューラルネットワークによって実現されている場合、訓練装置５０は、訓練データＤＢ２０から取得した訓練データによって教師有り学習を実行し、誤差逆伝播法などの何れか公知の訓練アルゴリズムに従って機械学習モデル１０のパラメータを更新してもよい。
【0016】
機械学習モデル１０が訓練されると、訓練済み機械学習モデル１０は、超音波診断装置１００に格納され、超音波診断装置１００は、訓練済み機械学習モデル１０を利用して、超音波探触子を介し被検者３０との間で超音波信号を送受信することによって取得した超音波画像データから、検出対象の領域検出結果を推定してもよい。例えば、機械学習モデル１０が、心臓の超音波画像データから左心室内膜境界と左右弁輪端とを抽出するよう訓練されている場合、超音波診断装置１００は、被検者３０の超音波画像データから、図２Ａに示されるような左心室内膜境界と左右弁輪端とを抽出してもよい。超音波診断装置１００は、抽出した左心室内膜境界と左右弁輪端とによって規定される領域に基づいて左心室領域をリアルタイムに推定し、変動する左心室領域から左室駆出率（Ｅｊｅｃｔｉｏｎ Ｆｒａｃｔｉｏｎ：ＥＦ）を計測することができる。
【0017】
あるいは、機械学習モデル１０が、心臓の超音波画像データから下大静脈と肝静脈とを抽出するよう訓練されている場合、超音波診断装置１００は、被検者３０の超音波画像データから、図２Ｂに示されるような下大静脈領域と肝静脈とを抽出してもよい。超音波診断装置１００は、抽出した下大静脈領域と肝静脈とによって規定される下大静脈（ＩＶＣ）径をリアルタイムに計測することができる。
【0018】
一実施例では、左心室領域を検出するための機械学習モデル１０は、超音波画像データから複数のチャネルの領域検出結果を抽出してもよい。図３で示された実施例では、チャネル０は左心室内膜境界を示し、チャネル１及び２はそれぞれ左右弁輪端の領域検出結果の位置を重量して示している。超音波診断装置１００は、これら３つのチャネルの検出結果に基づいて左心室領域の輪郭又は境界を抽出してもよい。図示しないが、下大静脈と肝静脈とを検出する機械学習モデル１０は、超音波画像データから複数のチャネルの領域検出結果を同様に抽出しうる。例えば、チャネル０は下大静脈領域を示し、チャネル１は肝静脈の位置を示してもよく、超音波診断装置１００は、これら２つのチャネルの検出結果に基づいて下大静脈（ＩＶＣ）径を推定してもよい。
【0019】
図１を参照して本開示の一実施例によるシステム構成を説明したが、本開示によるシステム構成は、これに限定されるものでない。図４は、本開示の他の実施例による機械学習モデルの訓練処理及び推論処理を示す概略図である。図示される実施例では、訓練装置５０が、訓練対象の機械学習モデル１０を訓練する点では図１に示される実施例と同様であるが、本実施例では、超音波診断システム１が、超音波診断装置１００及び画像診断装置２００を有し、画像診断装置２００が、訓練済み機械学習モデル１０を格納し、超音波診断装置１００から取得した超音波画像データから領域検出結果を推定してもよい。本実施例によると、超音波診断装置１００が、機械学習モデル１０を実行するための計算リソースを備えない場合であっても、ネットワーク上などに配置されたサーバなどによって実現される画像診断装置２００のより豊富な計算リソースを利用して、機械学習モデル１０を実行することができる。
【0020】
図５は、本開示の他の実施例による機械学習モデルの訓練処理及び推論処理を示す概略図である。図示される実施例では、訓練装置５０が、モデルデータベース（ＤＢ）４０に格納された訓練対象の機械学習モデル１０を訓練し、訓練済みの機械学習モデル１０をモデルＤＢ４０に格納してもよい。超音波診断装置１００は、モデルＤＢ４０にアクセスし、訓練済み機械学習モデル１０を利用してもよい。例えば、被検者３０から超音波画像データを取得すると、超音波診断装置１００は、モデルＤＢ４０に格納されている訓練済み機械学習モデル１０に取得した超音波画像データをわたし、モデルＤＢ４０から領域検出結果を取得してもよい。本実施例によると、超音波診断装置１００が、機械学習モデル１０を記憶するための記憶リソースを備えない場合であっても、モデルＤＢ４０に格納された機械学習モデル１０を利用することができる。
【0021】
図６は、本開示の他の実施例による機械学習モデルの訓練処理及び推論処理を示す概略図である。図示される実施例では、訓練装置５０が、モデルＤＢ４０に格納された訓練対象の機械学習モデル１０を訓練し、訓練済みの機械学習モデル１０をモデルＤＢ４０に格納する点では図５に示される実施例と同様であるが、本実施例では、超音波診断システム１Ａが、超音波診断装置１００及び画像診断装置２００を有し、画像診断装置２００が、超音波診断装置１００から取得した超音波画像データをモデルＤＢ４０の訓練済みの機械学習モデル１０にわたし、モデルＤＢ４０から領域検出結果を取得してもよい。本実施例によると、超音波診断装置１００が、機械学習モデル１０を実行するための計算リソースを備えない場合、及び／又は、機械学習モデル１０を記憶するための記憶リソースを備えない場合であっても、ネットワーク上などに配置されたサーバなどによって実現されるモデルＤＢ４０及び画像診断装置２００のより豊富な計算リソース及び記憶リソースを利用して、機械学習モデル１０を利用することができる。
【0022】
【0023】
超音波診断装置１００は、被検者３０内の形状又は動態を超音波画像として可視化する。本実施形態に係る超音波診断装置１００は、例えば、検出対象部位の超音波画像（すなわち、断層画像）を撮影し、検出対象部位に対する検査を実施する用途に用いられる。
【0024】
超音波診断装置１００は、図７に示すように、超音波診断装置本体１０１０及び超音波プローブ１０２０を備える。超音波診断装置本体１０１０と超音波プローブ１０２０とは、ケーブル１０３０を介して接続される。
【0025】
超音波プローブ（超音波探触子）１０２０は、超音波ビーム（例えば、１～３０ＭＨｚ程度）を被検者３０（例えば、人体）内に対して送信するとともに、送信した超音波ビームのうち被検者３０内で反射された超音波エコーを受信して電気信号に変換する音響センサとして機能する。
【0026】
ユーザは、超音波プローブ１０２０の超音波ビームの送受信面を被検者３０の検出対象部位の体表に接触させて超音波診断装置１００を動作させ、検査を行う。なお、超音波プローブ１０２０には、コンベックスプローブ、リニアプローブ、セクタプローブ、又は三次元プローブ等の任意のものを適用することができる。
【0027】
超音波プローブ１０２０は、例えば、マトリクス状に配設された複数の振動子（例えば、圧電素子）と、当該複数の振動子の駆動状態のオンオフを個別に又はブロック単位（以下、「チャネル」と称する）で切替制御するためのチャネル切替装置（例えば、マルチプレクサ）を含んで構成される。
【0028】
超音波プローブ１０２０の各振動子は、超音波診断装置本体１０１０（送信部１０１２）で発生された電圧パルスを超音波ビームに変換して被検者３０内へ送信し、被検者３０内で反射した超音波エコーを受信して電気信号（以下、「受信信号」と称する）に変換し、超音波診断装置本体１０１０（受信部１０１３）へ出力する。
【0029】
超音波診断装置本体１０１０は、図８に示すように、操作入力部１０１１、送信部１０１２、受信部１０１３、超音波画像生成部１０１４、表示画像生成部１０１５、出力部１０１６、及び、制御部１０１７を備える。
【0030】
送信部１０１２、受信部１０１３、超音波画像生成部１０１４及び表示画像生成部１０１５は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等の、各処理に応じた専用又は汎用のハードウェア（電子回路）で構成され、制御部１０１７と協働して各機能を実現する。
【0031】
操作入力部１０１１は、例えば、診断開始等を指示するコマンド又は被検者３０に関する情報の入力を受け付ける。操作入力部１０１１は、例えば、複数の入力スイッチを有する操作パネル、キーボード、及びマウス等を有してもよい。なお、操作入力部１０１１は、出力部１０１６と一体的に設けられるタッチパネルで構成されてもよい。
【0032】
送信部１０１２は、制御部１０１７の指示に従って、超音波プローブ１０２０に対して駆動信号として電圧パルスを送出する送信機である。送信部１０１２は、例えば、高周波パルス発振器、及びパルス設定部等を含んで構成されてもよい。送信部１０１２は、高周波パルス発振器で生成した電圧パルスを、パルス設定部で設定した電圧振幅、パルス幅及び送出タイミングに調整して、超音波プローブ１０２０のチャネルごとに送出してもよい。
【0033】
送信部１０１２は、超音波プローブ１０２０の複数のチャネルそれぞれにパルス設定部を有しており、複数のチャネルごとに電圧パルスの電圧振幅、パルス幅及び送出タイミングを設定可能になっている。例えば、送信部１０１２は、複数のチャネルに対して適切な遅延時間を設定することによって目標とする深度を変更したり、異なるパルス波形を発生させてもよい。
【0034】
受信部１０１３は、制御部１０１７の指示に従って、超音波プローブ１０２０で生成された超音波エコーに係る受信信号を受信処理する受信機である。受信部１０１３は、プリアンプ、ＡＤ変換部、及び受信ビームフォーマを含んで構成されてもよい。
【0035】
受信部１０１３は、プリアンプにて、チャネルごとに微弱な超音波エコーに係る受信信号を増幅し、ＡＤ変換部にて、受信信号を、デジタル信号に変換する。そして、受信部１０１３は、受信ビームフォーマにて、各チャネルの受信信号を整相加算することで複数チャネルの受信信号を１つにまとめて、音響線データとしうる。
【0036】
超音波画像生成部１０１４は、受信部１０１３から受信信号（音響線データ）を取得して、被検者３０の内部の超音波画像（すなわち、断層画像）を生成する。
【0037】
超音波画像生成部１０１４は、例えば、超音波プローブ１０２０が深度方向に向けてパルス状の超音波ビームを送信した際に、その後に検出される超音波エコーの信号強度（Ｉｎｔｅｎｓｉｔｙ）を時間的に連続してラインメモリに蓄積する。そして、超音波画像生成部１０１４は、超音波プローブ１０２０からの超音波ビームが被検者３０内を走査するに応じて、各走査位置での超音波エコーの信号強度をラインメモリに順次蓄積し、フレーム単位となる二次元データを生成する。そして、超音波画像生成部１０１４は、当該二次元データの信号強度を輝度値に変換することによって、超音波の送信方向と超音波の走査方向とを含む断面内の二次元構造を表す超音波画像を生成しうる。
【0038】
なお、超音波画像生成部１０１４は、例えば、受信部１０１３から取得する受信信号を包絡線検波する包絡線検波回路、包絡線検波回路で検出された受信信号の信号強度に対して対数圧縮を行う対数圧縮回路、及び、深度に応じて周波数特性を変化させたバンドパスフィルタで、受信信号に含まれるノイズ成分を除去するダイナミックフィルタ等を有していてもよい。
【0039】
表示画像生成部１０１５は、超音波画像生成部１０１４から超音波画像のデータを取得すると共に、超音波画像の表示領域を含む表示画像を生成する。そして、表示画像生成部１０１５は、生成した表示画像のデータを出力部１０１６に送出する。表示画像生成部１０１５は、超音波画像生成部１０１４から新たな超音波画像を取得する毎に表示画像を順次更新し、動画形式で、表示画像を出力部１０１６に表示させてもよい。
【0040】
また、表示画像生成部１０１５は、制御部１０１７の指示に従って、超音波画像と共に、検出対象の時系列データをグラフィック表示した画像を、表示領域内に埋め込んだ表示画像を生成してもよい。
【0041】
なお、表示画像生成部１０１５は、超音波画像生成部１０１４から出力される超音波画像に対して、座標変換処理やデータ補間処理等の所定の画像処理を施した上で、表示画像を生成してもよい。
【0042】
出力部１０１６は、制御部１０１７の指示に従って、表示画像生成部１０１５から表示画像のデータを取得し、当該表示画像を出力する。例えば、出力部１０１６は、液晶ディスプレイ、有機ＥＬディスプレイ、又は、ＣＲＴディスプレイ等で構成されてもよく、表示画像を表示してもよい。
【0043】
制御部１０１７は、操作入力部１０１１、送信部１０１２、受信部１０１３、超音波画像生成部１０１４、表示画像生成部１０１５及び出力部１０１６を、それぞれの機能に応じて制御することによって、超音波診断装置１００の全体制御を行う。
【0044】
制御部１０１７は、演算／制御装置としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１７１、主記憶装置としてのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１７２及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１７３等を有してもよい。ＲＯＭ１１７２には、基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１７１は、ＲＯＭ１７２から処理内容に応じたプログラムを読み出してＲＡＭ１１７３に格納し、格納したプログラムを実行することにより、超音波診断装置本体１０１０の各機能ブロック（送信部１０１２、受信部１０１３、超音波画像生成部１０１４、表示画像生成部１０１５、及び出力部１０１６）の動作を集中制御する。
【0045】
［訓練装置及び画像処理装置のハードウェア構成］
次に、図９を参照して、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を説明する。図９は、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を示すブロック図である。
次に、図９を参照して、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を説明する。図９は、本開示の一実施例による訓練装置５０及び画像処理装置２００のハードウェア構成を示すブロック図である。
【0046】
訓練装置５０及び画像処理装置２００はそれぞれ、サーバ、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット等の計算装置によって実現されてもよく、例えば、図９に示されるようなハードウェア構成を有してもよい。すなわち、訓練装置５０及び画像処理装置２００はそれぞれ、バスＢを介し相互接続されるドライブ装置１０１、ストレージ装置１０２、メモリ装置１０３、プロセッサ１０４、ユーザインタフェース（ＵＩ）装置１０５及び通信装置１０６を有する。
【0047】
訓練装置５０及び画像処理装置２００における後述される各種機能及び処理を実現するプログラム又は指示は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体に格納されてもよい。当該記憶媒体がドライブ装置１０１にセットされると、プログラム又は指示が記憶媒体からドライブ装置１０１を介しストレージ装置１０２又はメモリ装置１０３にインストールされる。ただし、プログラム又は指示は、必ずしも記憶媒体からインストールされる必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードされてもよい。
【0048】
ストレージ装置１０２は、ハードディスクドライブなどによって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。
【0049】
メモリ装置１０３は、ランダムアクセスメモリ、スタティックメモリ等によって実現され、プログラム又は指示が起動されると、ストレージ装置１０２からプログラム又は指示、データ等を読み出して格納する。ストレージ装置１０２、メモリ装置１０３及び着脱可能な記憶媒体は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）として総称されてもよい。
【0050】
プロセッサ１０４は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、メモリ装置１０３に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータ等に従って、後述される訓練装置５０及び画像処理装置２００の各種機能及び処理を実行する。
【0051】
ユーザインタフェース（ＵＩ）装置１０５は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと訓練装置５０及び画像処理装置２００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、訓練装置５０及び画像処理装置２００を操作する。
【0052】
通信装置１０６は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラーネットワーク等の通信ネットワークとの有線及び／又は無線通信処理を実行する各種通信回路により実現される。
【0053】
しかしながら、上述したハードウェア構成は単なる一例であり、本開示による訓練装置５０及び画像処理装置２００は、他の何れか適切なハードウェア構成により実現されてもよい。
【0054】
[第１実施例]
次に、本開示の一実施例による訓練装置５０を説明する。本実施例は、ＥＦ計測のため左心室領域を検出するよう訓練される機械学習モデル１０に着目して説明される。図１０は、本開示の一実施例による訓練装置５０の機能構成を示すブロック図である。図１０に示されるように、訓練装置５０は、データ取得部５１及び訓練部５２を有する。
次に、本開示の一実施例による訓練装置５０を説明する。本実施例は、ＥＦ計測のため左心室領域を検出するよう訓練される機械学習モデル１０に着目して説明される。図１０は、本開示の一実施例による訓練装置５０の機能構成を示すブロック図である。図１０に示されるように、訓練装置５０は、データ取得部５１及び訓練部５２を有する。
【0055】
データ取得部５１は、訓練対象の機械学習モデル１０の訓練データを取得する。具体的には、データ取得部５１は、超音波画像データと、当該超音波画像データの検出対象に関連付けられた領域情報、及び／又は、当該超音波画像データの検出対象に関連付けられた位置情報又は当該位置情報に基づく領域情報から構成される正解データとを含む訓練データを取得する。
【0056】
例えば、データ取得部５１は、機械学習モデル１０への入力用の訓練データとして、図１１Ａに示されるような心臓を示す超音波画像データを訓練データＤＢ２０から取得してもよい。また、データ取得部５１は、機械学習モデル１０から出力されるべき出力用の訓練データとして、図１１Ｂに示されるような超音波画像データにおける左心室領域を示すデータと、左弁輪端及び右弁輪端の位置を示す座標とを訓練データＤＢ２０から取得してもよい。左心室領域を示すデータは、確信度に関する情報（例えば、超音波画像データの中央の画素ブロックに対応する左心室領域である確信度を示す数値）が対応付けられたデータセットである。なお、画素ブロックは、画像を複数領域に分割したときのそれぞれの分割領域であり、複数の画素からなる画素群で構成されてもよいし、一つの画素で構成されてもよい。なお、必要に応じて、データ取得部５１は、取得した訓練用の超音波画像データを前処理してもよい。当該前処理は、例えば、コントラスト変更、ノイズ除去などを含みうる。
【0057】
また、データ取得部５１は、訓練データＤＢ２０から取得した訓練データに対してデータ拡張を実行し、訓練データを増やしてもよい。例えば、データ取得部５１は、訓練データＤＢ２０から取得した訓練用の超音波画像データに対して拡大・縮小、位置変更、変形等を実行してもよい。
【0058】
訓練部５２は、訓練対象の機械学習モデル１０から出力された左心室領域を示すデータと、左弁輪端及び右弁輪端の位置を示す座標との出力結果と正解データと比較し、出力結果と正解データとの間の誤差に従って機械学習モデル１０のパラメータを更新する。図１２に示されるように、訓練部５２は、訓練用の超音波画像データを機械学習モデル１０に入力し、超音波画像データにおける左心室領域を示すデータと、左弁輪端及び右弁輪端の位置を示す座標とを機械学習モデル１０から取得してもよい。例えば、図１２に示される例では、訓練対象の機械学習モデル１０は、図示されるような左心室領域を示すデータと、左弁輪端及び右弁輪端の位置を示す座標（１００，１１５），（１５５，９５）とを出力する。訓練部５２は、当該検出結果と、入力された訓練用の超音波画像データにおける左心室領域を示すデータと左弁輪端及び右弁輪端の位置を示す座標（１１０，１００），（１６０，１００）との正解データとを比較し、検出結果と正解データとの間の誤差に従って機械学習モデル１０のパラメータを更新する。例えば、機械学習モデル１０が畳み込みニューラルネットワークにより実現される場合、訓練部５２は、所定の終了条件が充足されるまで、誤差逆伝播法に従って出力結果と正解データとの間の誤差に応じて機械学習モデル１０のパラメータを調整し続けてもよい。
【0059】
このようにして機械学習モデル１０の訓練を終了すると、訓練済み機械学習モデル１０は、超音波診断装置１００に提供されてもよい。あるいは、訓練済み機械学習モデル１０は、モデルＤＢ４０及び／又は画像診断装置２００に提供されてもよい。
【0060】
次に、本開示の一実施例による超音波診断装置１００を説明する。超音波診断装置１００は、訓練装置５０によって訓練された機械学習モデル１０を利用して、被検者３０に対して送受信される超音波信号に基づいて超音波診断を実行する。図１３は、本開示の一実施例による超音波診断装置１００の機能構成を示すブロック図である。図１３に示されるように、超音波診断装置１００は、データ取得部１１０及び推論部１２０を有する。
【0061】
データ取得部１１０は、推論対象の超音波画像データを取得する。具体的には、データ取得部１１０は、超音波探触子１１２０において被検者３０から受信した受信信号に基づいて生成された超音波画像データを取得する。なお、必要に応じて、データ取得部１１０は、訓練済み機械学習モデル１０への入力のため、取得した超音波画像データに対してノイズ抑制、コントラスト正規化、画像のリサイズ等の前処理を実行してもよい。
【0062】
推論部１２０は、推論対象の超音波画像データを訓練済み機械学習モデル１０に入力し、推論結果を取得する。具体的には、推論部１２０は、推論対象の超音波画像データを訓練済み機械学習モデル１０に入力し、機械学習モデル１０から左心室領域の輪郭を示すデータと、左弁輪端及び右弁輪端の位置を示す座標とを取得する。例えば、訓練済み機械学習モデル１０が、図１４に示されるようなＵ－ｎｅｔタイプの畳み込みニューラルネットワークとして実現されている場合、推論部１２０は、畳み込みニューラルネットワークの入力層に推論対象の超音波画像データを入力し、出力層から左心室領域を示すデータと、左弁輪端及び右弁輪端の位置を示す座標とを取得する。図示された例では、左心室領域を示すデータと、左弁輪端の座標（１１０，１００）及び右弁輪端の座標（１６０，１００）とが出力される。
【0063】
推論部１２０は、機械学習モデル１０によって推定された左心室領域を示すデータと、左弁輪端の座標及び右弁輪端の座標とに基づいて計測対象領域を決定する。具体的には、機械学習モデル１０から左心室領域を示すデータと、左弁輪端の座標（１１０，１００）及び右弁輪端の座標（１６０，１００）とが取得されると、図１５に示されるように、推論部１２０は、左弁輪端と右弁輪端とを結ぶ直線を導出し、描出された左心室領域に当該直線を重畳する。そして、推論部１２０は、描出された左心室領域と直線とによって包囲される領域を計測対象領域として決定し、当該計測対象領域の容量に基づいて左室駆出率を推定することができる。
【0064】
ここで、左心室領域の輪郭線を示すデータは、例えば、図１６Ａ～Ｃに示されるような手順に従って取得されてもよい。すなわち、図１６Ａに示されるように、機械学習モデル１０からの出力結果である左心室領域を示すデータに対して左心室領域の重心がまず決定され、決定された重心から外側に向かって輪郭点が探索される。次に、図１６Ｂに示されるように、出力結果としての確信度が閾値を最初に下回った点が輪郭点として決定されてもよい。当該処理が、図１６Ｃに示されるように、重心から延びる探索線の角度を様々に変更することによって、各探索線上の輪郭点が決定される。そして、これらの輪郭点データがスプライン補間され、輪郭線が取得される。また、計測対象領域の容量は、このようにして左心室領域を示すデータから決定された輪郭線に基づいて推定してもよい。例えば、計測対象領域の容量は、Ｍｏｄｉｆｉｅｄ Ｓｉｍｐｓｏｎ法（デイスク法）に従って導出されてもよい。具体的には、心尖部２腔又は４腔像の２断面の長軸（Ｌ）を２０個のデイスクに等分し、それぞれ長軸に直交する短軸内径（ａｉとｂｉ）を求め、デイスクの断面積の総和から容積を算出する。各デイスクを楕円形と仮定し、左室内腔面積（Ｖ）を求める。すなわち、計測対象の左室内腔面積（Ｖ）は、
によって算出されうる。なお、他の実施例では、当該計測対象領域自体を直接推定する機械学習モデル１０が生成されてもよいが、計測対象領域自体を機械学習モデル１０によって推定することは、一般に推定精度を劣化させうる可能性がある。
【数1】
【0065】
上述した検出対象領域と特定の位置に関する座標とを推定する機械学習モデル１０は、ＥＦ計測に限定されず、ＩＶＣ径計測に利用されてもよい。まず、訓練処理について、例えば、データ取得部５１は、機械学習モデル１０への入力用の訓練データとして、図１７Ａに示されるような下大静脈を示す超音波画像データを訓練データＤＢ２０から取得してもよい。また、データ取得部５１は、機械学習モデル１０から出力されるべき出力用の訓練データとして、図１７Ｂに示されるように、超音波画像データにおける下大静脈領域の領域を示すデータと、肝静脈の位置を示す座標とを訓練データＤＢ２０から取得してもよい。なお、データ取得部５１は、必要に応じて、取得した訓練用の超音波画像データに対して前処理及び／又はデータ拡張を実行してもよい。
【0066】
訓練部５２は、訓練用の超音波画像データを機械学習モデル１０に入力し、超音波画像データにおける下大静脈領域の領域を示すデータと、肝静脈の位置を示す座標とを機械学習モデル１０から取得してもよい。例えば、図１８に示されるように、訓練データＤＢ２０に格納されている訓練用の超音波画像データが、訓練対象の機械学習モデル１０に入力され、下大静脈領域を示すデータと肝静脈の位置を示す座標（１２０，１１５）とが検出結果として出力されうる。訓練部５２は、当該検出結果と、入力された訓練用の超音波画像データにおける下大静脈領域と肝静脈の位置を示す座標（１３０，１１０）との正解データとを比較し、検出結果と正解データとの間の誤差に従って機械学習モデル１０のパラメータを更新する。
【0067】
例えば、機械学習モデル１０が畳み込みニューラルネットワークにより実現される場合、訓練部５２は、所定の終了条件が充足されるまで、誤差逆伝播法に従って出力結果と正解データとの間の誤差に応じて機械学習モデル１０のパラメータを調整し続けてもよい。このようにして機械学習モデル１０の訓練を終了すると、訓練済み機械学習モデル１０は、超音波診断装置１００に提供されてもよい。あるいは、訓練済み機械学習モデル１０は、モデルＤＢ４０及び／又は画像診断装置２００に提供されてもよい。
【0068】
次に、推論処理について、データ取得部１１０は、超音波探触子１１２０において被検者３０から受信した受信信号に基づいて生成された超音波画像データを取得する。必要に応じて、データ取得部１１０は、訓練済み機械学習モデル１０に入力するため、取得した超音波画像データに対して前処理を実行してもよい。推論部１２０は、推論対象の超音波画像データを訓練済み機械学習モデル１０に入力し、機械学習モデル１０から下大静脈領域を示すデータと、肝静脈の位置を示す座標とを取得する。例えば、訓練済み機械学習モデル１０が、図１９に示されるようなＵ－ｎｅｔタイプの畳み込みニューラルネットワークとして実現されている場合、推論部１２０は、畳み込みニューラルネットワークの入力層に推論対象の超音波画像データを入力し、出力層から下大静脈領域を示すデータと、肝静脈の位置を示す座標とを取得する。図示された例では、下大静脈領域を示すデータと、肝静脈の座標（１１０，１００）とが出力される。そして、推論部１２０は、機械学習モデル１０によって推定された下大静脈領域のデータと、肝静脈の位置を示す座標とに基づいて決定される領域からＩＶＣ径を推定することができる。具体的には、推論部１２０は、予め設定された肝静脈位置からの距離に基づいて計測点探索線を設定し、計測点探索線と推定された下大静脈領域との２つの交点を求め、その交点間の距離をＩＶＣ径として推定する。推論部１２０は、異なる角度の複数の計測点探索線に対応する交点間の距離をそれぞれ求め、距離が最小となる交点間の距離をＩＶＣ径の距離としてもよい。また、推論部１２０は、下大静脈領域のデータに基づいて計測点探索線の角度を決定し、決定された計測線探索線からＩＶＣ径を推定してもよい。
【0069】
[第２実施例]
次に、本開示の第２実施例による機械学習モデル１０を利用した対象領域検出処理を説明する。第１実施例による機械学習モデル１０は、超音波画像データを受け付けると、超音波画像データにおける左心室領域又は下大静脈を示すデータと、左右弁輪端又は肝静脈の位置を示す座標とを検出した。一方、第２実施例による機械学習モデル１０は、超音波画像データを受け付けると、超音波画像データにおける左心室領域又は下大静脈を示すデータと、左右弁輪端又は肝静脈が存在する領域を示すデータとを検出する。例えば、このような領域を示すデータは、検出対象の位置の確信度を表すヒートマップ形式のデータであってもよい。ヒートマップデータは、マップ上の各位置に検出対象が存在する確信度又は確率を示す何れかの形式のデータであってもよい。
次に、本開示の第２実施例による機械学習モデル１０を利用した対象領域検出処理を説明する。第１実施例による機械学習モデル１０は、超音波画像データを受け付けると、超音波画像データにおける左心室領域又は下大静脈を示すデータと、左右弁輪端又は肝静脈の位置を示す座標とを検出した。一方、第２実施例による機械学習モデル１０は、超音波画像データを受け付けると、超音波画像データにおける左心室領域又は下大静脈を示すデータと、左右弁輪端又は肝静脈が存在する領域を示すデータとを検出する。例えば、このような領域を示すデータは、検出対象の位置の確信度を表すヒートマップ形式のデータであってもよい。ヒートマップデータは、マップ上の各位置に検出対象が存在する確信度又は確率を示す何れかの形式のデータであってもよい。
【0070】
訓練処理について、データ取得部５１は、機械学習モデル１０への入力用の訓練データとして、図２０Ａに示されるような心臓を示す超音波画像データを訓練データＤＢ２０から取得してもよい。また、データ取得部５１は、機械学習モデル１０から出力されるべき出力用の訓練データとして、図２０Ｂに示されるような超音波画像データにおける左心室領域を示すデータと、左弁輪端及び右弁輪端の位置の確信度を示すヒートマップデータとを訓練データＤＢ２０から取得してもよい。必要に応じて、データ取得部５１は、取得した訓練用の超音波画像データを前処理してもよい。当該前処理は、例えば、コントラスト変更、ノイズ除去などを含んでもよい。
【0071】
また、データ取得部５１は、訓練データＤＢ２０から取得した訓練データに対してデータ拡張を実行し、訓練データを増やしてもよい。例えば、データ取得部５１は、訓練データＤＢ２０から取得した訓練用の超音波画像データに対して拡大・縮小、位置変更、変形等を実行してもよい。また、データ取得部５１は、データ拡張後の検出対象の位置の確信度を表すヒートマップ形式のデータは、確信度のピーク位置が変化しない範囲で修正してもよい。具体的には、確信度のピーク位置からの距離に応じたヒートマップの場合、データ取得部５１は、データ拡張により変化したヒートマップを、データ拡張前と基準の距離に応じたヒートマップに修正する。これにより、ヒートマップの確信度の値が検出対象の位置からの距離を反映したものにすることができる。
【0072】
訓練部５２は、訓練データを利用して訓練対象の機械学習モデル１０を訓練する。具体的には、訓練部５２は、訓練用の超音波画像データを機械学習モデル１０に入力し、超音波画像データにおける左心室領域を示すデータと、左弁輪端及び右弁輪端の位置の確信度を示すヒートマップデータとを機械学習モデル１０から取得してもよい。訓練部５２は、図２１に示されるように、訓練対象の機械学習モデル１０から出力された左心室領域データと、左弁輪端及び右弁輪端の位置の確信度を示すデータとを正解データと比較し、出力結果と正解データとの間の誤差に従って機械学習モデル１０のパラメータを更新する。例えば、機械学習モデル１０が畳み込みニューラルネットワークにより実現される場合、訓練部５２は、所定の終了条件が充足されるまで、誤差逆伝播法に従って出力結果と正解データとの間の誤差に応じて機械学習モデル１０のパラメータを調整し続けてもよい。
【0073】
このようにして機械学習モデル１０の訓練を終了すると、訓練済み機械学習モデル１０は、超音波診断装置１００に提供されてもよい。あるいは、訓練済み機械学習モデル１０は、モデルＤＢ４０及び／又は画像診断装置２００に提供されてもよい。
【0074】
推論処理について、データ取得部１１０は、超音波探触子１１２０において被検者３０から受信した受信信号に基づいて生成された超音波画像データを取得する。データ取得部１１０は、訓練済み機械学習モデル１０への入力のため、取得した超音波画像データに対してノイズ抑制、コントラスト正規化、画像のリサイズ等の必要な前処理を実行してもよい。
【0075】
推論部１２０は、推論対象の超音波画像データを訓練済み機械学習モデル１０に入力し、機械学習モデル１０から左心室領域データと、左弁輪端及び右弁輪端の位置の確信度を示すヒートマップデータとを取得する。例えば、訓練済み機械学習モデル１０が、図２２に示されるようなＵ－ｎｅｔタイプの畳み込みニューラルネットワークとして実現されている場合、推論部１２０は、畳み込みニューラルネットワークの入力層に推論対象の超音波画像データを入力し、出力層から左心室領域データと、左弁輪端及び右弁輪端の位置の確信度を示すヒートマップデータとを取得する。
【0076】
推論部１２０は、機械学習モデル１０によって推定された左心室領域を示すデータと、左弁輪端及び右弁輪端の位置の確信度を示すヒートマップデータとに基づいて計測対象領域を決定する。具体的には、機械学習モデル１０から左心室領域を示すデータと、左弁輪端及び右弁輪端の位置の確信度を示すヒートマップデータとが取得されると、図２３に示されるように、推論部１２０は、ヒートマップデータにおける左弁輪端と右弁輪端との最も確信度の高い位置を結ぶ直線を導出し、描出された左心室領域に当該直線を重畳する。そして、推論部１２０は、描出された左心室領域と直線とによって包囲される領域を計測対象領域として決定し、当該計測対象領域の容量に基づいて左室駆出率を推定することができる。また、計測対象領域の容量は、推定された左心室領域を示すデータから輪郭線を決定し、輪郭線に基づいて推定してもよい。
【0077】
ここで、左心室領域の輪郭線を示すデータは、以下の手順に従って取得されてもよい。すなわち、機械学習モデル１０からの出力結果である左心室領域を示すデータに対して左心室領域の重心がまず決定され、決定された重心から外側に向かって輪郭点が探索される。次に、出力結果としての確信度が閾値を最初に下回った点が輪郭点として決定されてもよい。当該処理が、重心から延びる探索線の角度を様々に変更することによって、各探索線上の輪郭点が決定される。そして、これらの輪郭点データがスプライン補間され、輪郭線が取得される。また、計測対象領域の容量は、このようにして左心室領域を示すデータから決定された輪郭線に基づいて推定してもよい。例えば、計測対象領域の容量は、Ｍｏｄｉｆｉｅｄ Ｓｉｍｐｓｏｎ法（デイスク法）に従って導出されてもよい。具体的には、心尖部２腔又は４腔像の２断面の長軸（Ｌ）を２０個のデイスクに等分し、それぞれ長軸に直交する短軸内径（ａｉとｂｉ）を求め、デイスクの断面積の総和から容積を算出する。各デイスクを楕円形と仮定し、左室内腔面積（Ｖ）を求める。すなわち、計測対象の左室内腔面積（Ｖ）は、
によって算出されうる。なお、他の実施例では、当該計測対象領域自体を直接推定する機械学習モデル１０が生成されてもよいが、計測対象領域自体を機械学習モデル１０によって推定することは、一般に推定精度を劣化させうる可能性がある。
【数2】
【0078】
上述した検出対象領域と特定の位置に関する確信度とを推定する機械学習モデル１０は、ＥＦ計測に限定されず、ＩＶＣ径計測に利用されてもよい。まず、訓練処理について、例えば、データ取得部５１は、機械学習モデル１０への入力用の訓練データとして、図２４Ａに示されるような下大静脈を示す超音波画像データを訓練データＤＢ２０から取得してもよい。また、データ取得部５１は、機械学習モデル１０から出力されるべき出力用の訓練データとして、図２４Ｂに示されるように、超音波画像データにおける下大静脈領域を示すデータと、肝静脈の位置の確信度を示すヒートマップデータとを訓練データＤＢ２０から取得してもよい。なお、データ取得部５１は、必要に応じて、取得した訓練用の超音波画像データに対して前処理及び／又はデータ拡張を実行してもよい。
【0079】
訓練部５２は、訓練用の超音波画像データを機械学習モデル１０に入力し、超音波画像データにおける下大静脈領域を示すデータと、肝静脈の位置の確信度を示すヒートマップデータとを機械学習モデル１０から取得してもよい。訓練部５２は、当該検出結果と、入力された訓練用の超音波画像データにおける下大静脈領域と肝静脈の位置の確信度を示すヒートマップデータとの正解データとを比較し、検出結果と正解データとの間の誤差に従って機械学習モデル１０のパラメータを更新する。
【0080】
例えば、機械学習モデル１０が畳み込みニューラルネットワークにより実現される場合、訓練部５２は、所定の終了条件が充足されるまで、誤差逆伝播法に従って出力結果と正解データとの間の誤差に応じて機械学習モデル１０のパラメータを調整し続けてもよい。このようにして機械学習モデル１０の訓練を終了すると、訓練済み機械学習モデル１０は、超音波診断装置１００に提供されてもよい。あるいは、訓練済み機械学習モデル１０は、モデルＤＢ４０及び／又は画像診断装置２００に提供されてもよい。
【0081】
次に、推論処理について、データ取得部１１０は、超音波探触子１１２０において被検者３０から受信した受信信号に基づいて生成された超音波画像データを取得する。必要に応じて、データ取得部１１０は、訓練済み機械学習モデル１０に入力するため、取得した超音波画像データに対して前処理を実行してもよい。推論部１２０は、図２５に示されるように、推論対象の超音波画像データを訓練済み機械学習モデル１０に入力し、機械学習モデル１０から下大静脈領域を示す画像と、肝静脈の位置の確信度を示すヒートマップデータとを取得する。例えば、訓練済み機械学習モデル１０が、図２６に示されるようなＵ－ｎｅｔタイプの畳み込みニューラルネットワークとして実現されている場合、推論部１２０は、畳み込みニューラルネットワークの入力層に推論対象の超音波画像データを入力し、出力層から下大静脈領域を示す画像と、肝静脈の位置の確信度を示すヒートマップデータとを取得する。そして、推論部１２０は、機械学習モデル１０によって推定された下大静脈領域の画像と、肝静脈の位置の最も高い確信度を示す座標とに基づいて規定された領域からＩＶＣ径を推定することができる。
【0082】
上述した実施例によると、超音波診断装置１００は、被検体３０に対して超音波を送受信する超音波探触子１１２０と、機械学習モデル１０を用いて、超音波探触子１１２０で受信した受信信号に基づく超音波画像データから、検出対象に関連付けられた推論結果を出力する出力手段とを有するよう構成されてもよい。
【0083】
また、超音波診断装置１００は、機械学習モデル１０を用いて、超音波探触子１１２０で受信した受信信号に基づく超音波画像データから、検出対象に関連付けられた検出領域を第１の推論結果として出力し、検出対象に関連付けられた検出位置を第２の推論結果として出力し、検出領域と検出位置とに基づき、検出対象に関連付けられた検出結果を第３の推論結果として出力する出力手段を有するよう構成されてもよい。
【0084】
また、超音波診断装置１００は、機械学習モデル１０を用いて、超音波探触子１１２０で受信した受信信号に基づく超音波画像データから、検出対象に関連付けられた確信度を生成する確信度生成手段と、確信度に基づき確信度最大値座標を取得する位置情報取得手段とを有するよう構成されてもよい。さらに、超音波診断装置１００は、確信度最大値座標に基づき検出対象の形状を認識する形状認識手段と、検出対象の形状の情報を出力する出力手段とを有するよう構成されてもよい。
【0085】
上述した実施例によると、超音波診断システム１は、確信度最大値座標に基づき検出対象の計測位置を決定する計測位置決定手段と、計測位置に基づき、検出対象を計測する計測手段と、計測された検出対象の計測情報を出力する出力手段とを有するよう構成されてもよい。
【0086】
上述した実施例によると、機械学習モデル１０は、超音波探触子で受信した受信信号に基づく超音波画像データと、当該超音波画像データの検出対象に関連付けられた領域情報（例えば、左心室領域、下大静脈など）と、超音波画像データの検出対象に関連付けられた位置情報（例えば、左右弁輪端の座標、肝静脈の座標など）であるか、又は位置情報に基づく領域情報（例えば、左右弁輪端のヒートマップデータ、肝静脈のヒートマップデータなど）と、を含む訓練データを用いて訓練されてもよい。ここで、位置情報に基づく領域情報は、ヒートマップデータに限定されず、検出対象の位置座標からの距離と確信度を含む何れかのタイプのデータであってもよい。また、領域情報は、画像データであってもよい。
【0087】
以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0088】
１ 超音波診断システム
１０ 機械学習モデル
２０ 訓練データデータベース（ＤＢ）
３０ 被検者
４０ モデルデータベース（ＤＢ）
５０ 訓練装置
１００ 超音波診断装置
２００ 画像診断装置
１０ 機械学習モデル
２０ 訓練データデータベース（ＤＢ）
３０ 被検者
４０ モデルデータベース（ＤＢ）
５０ 訓練装置
１００ 超音波診断装置
２００ 画像診断装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
