特許 7592789 学習済みモデルの生産方法、超音波診断装置及び、学習済みモデルを生産する装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】学習済みモデルの生産方法、超音波診断装置及び、学習済みモデルを生産する装置

(51)【国際特許分類】

   A61B 8/14 20060101AFI20241125BHJP

【ＦＩ】

A61B8/14

【請求項の数】 12

(21)【出願番号】P 2023102621

(22)【出願日】2023-06-22

【審査請求日】2023-06-27

(73)【特許権者】

【識別番号】319011672

【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー

(74)【代理人】

【識別番号】100105588

【弁理士】

【氏名又は名称】小倉 博

(74)【代理人】

【識別番号】100129779

【弁理士】

【氏名又は名称】黒川 俊久

(74)【代理人】

【識別番号】100151286

【弁理士】

【氏名又は名称】澤木 亮一

(72)【発明者】

【氏名】イー・ホウ

(72)【発明者】

【氏名】橋本 浩

【審査官】井海田 隆

(56)【参考文献】

【文献】国際公開第２０２２／１８６１１０（ＷＯ，Ａ１）

【文献】特開２０２０－０９２７６７（ＪＰ，Ａ）

【文献】特開２０２３－０６０７６７（ＪＰ，Ａ）

【文献】特表２０２１－５１６１０５（ＪＰ，Ａ）

【文献】特開２０１８－１３４３８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００ ー ８／１５

(57)【特許請求の範囲】

【請求項1】

入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを生産する方法であって、
前記超音波データを受領するステップと、
前記超音波データに含まれる臓器の種類及び前記臓器の位置の少なくとも一方を受領するステップと、
（１）前記臓器の種類及び前記臓器の位置の少なくとも一方と、（２）前記超音波データとを教師データとした機械学習を実行して、前記学習済みモデルを生産するステップと、
を含み、
前記超音波データは、複数の特定断面に対応するもののみを含み、
前記複数の特定断面の各々は、前記超音波データを収集した超音波診断装置にインストールされたナビゲーションソフトウェアが指定した被検体の特定の位置と特定の方向に対応付けられている、方法。

【請求項2】

前記超音波データが、画像処理前の生のデータまたは画像処理後の画像データを含み、
前記複数の特定断面は、特定部位をスクリーニングするため必要かつ十分な範囲をカバーする代表的な位置の断面である、請求項１に記載の方法。

【請求項3】

前記学習済みモデルを１つまたは複数の超音波診断装置が利用可能に配置するステップと、
前記学習済みモデルの自動的な再学習またはマニュアルによる再学習を実行するステップと、
を含み、
前記学習済みモデルの自動的な再学習を実行する前記ステップは、
前記学習済みモデルを使用して、前記１つまたは複数の超音波診断装置で新たに収集された前記複数の特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを自動的に検出するステップと、
前記新たな超音波データと、前記新たな超音波データに対応する臓器の種類とその位置とに基づいて再学習を行って、前記学習済みモデルを更新するステップと、
を含み、
前記学習済みモデルのマニュアルによる再学習を実行する前記ステップは、
前記１つまたは複数の超音波診断装置で新たに収集された前記複数の特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを含むユーザ入力を受領するステップと、
前記新たな超音波データと、前記新たな超音波データに対応する臓器の種類とその位置とに基づいて再学習を行って、前記学習済みモデルを更新するステップと、
を含む、請求項１に記載の方法。

【請求項4】

前記超音波データに含まれる臓器の種類及び位置の少なくとも一方を受領する前記ステップは、前記超音波データに含まれる前記臓器の前記種類及び前記位置を自動的にまたはマニュアルで受領するステップを含み、
前記超音波データに含まれる前記臓器の前記種類及び前記位置を自動的に受領するステップは、
前記超音波データに基づいて生成された超音波画像にパターン認識を適用して、前記臓器の前記種類及び前記位置を特定するステップを含み、
前記超音波データに含まれる前記臓器の前記種類及び前記位置をマニュアルで受領するステップは、
前記超音波データに基づいて生成された超音波画像をモニタに表示するステップと、
前記超音波画像に含まれる前記臓器に対して操作者によって位置づけられる幾何学図形であって、前記モニタに表示される前記幾何学図形を特定する座標情報を受領するステップと、
前記幾何学図形に対応付けて入力された前記臓器を特定する臓器種類情報を受領するステップと、
を含む、請求項１に記載の方法。

【請求項5】

通信接続を介して前記超音波データ及び／又は前記超音波データに基づいて生成された超音波画像を記憶するデータベースにアクセスするステップと、
前記超音波データ及び／又は前記超音波画像を前記データベースから受領するステップと、
を含み、
前記データベースは、前記超音波データ及び／又は前記超音波画像を収集する複数の超音波診断装置と通信接続し、
前記複数の超音波診断装置の各々は、前記ナビゲーションソフトウェアの機能として所定の検査手順を予めプログラムされることで、前記複数の特定断面に応じた収集パラメータを自動的に設定されると共に、前記複数の特定断面を所定の順序で検査することを操作者に促すように構成され、前記複数の超音波診断装置の各々は、前記複数の特定断面の各々に対応する前記臓器の種類及び前記臓器の位置の少なくとも一方を前記超音波データ及び／又は前記超音波画像にタグ付けして記憶するように構成される、請求項１に記載の方法。

【請求項6】

前記教師データは、前記臓器の形状、前記臓器に含まれる病変の情報及び、前記超音波データの品質のうちの少なくとも１つを含み、
前記学習済みモデルは、
前記１つまたは複数の超音波診断装置が新たに収集した超音波画像に含まれる前記臓器の形状の検出、
前記１つまたは複数の超音波診断装置が新たに収集した超音波画像に含まれる前記臓器に含まれる病変の有無の特定、
前記１つまたは複数の超音波診断装置が新たに収集した超音波データの品質の評価、
のうちの１つ以上を提供する、請求項１に記載の方法。

【請求項7】

入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを有する超音波診断装置であって、
前記学習済みモデルを生成するための教師データは、
複数の特定断面にのみ対応する超音波画像と、前記超音波画像に含まれる臓器の種類及び位置の少なくとも一方とを含み、
前記複数の特定断面の各々は、前記超音波データを収集した超音波診断装置にインストールされたナビゲーションソフトウェアが指定した被検体の特定の位置と特定の方向に対応付けられている、超音波診断装置。

【請求項8】

入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定を特定する学習済みモデルを生産する装置であって、
前記超音波データを受領する入力ポートと、
（１）前記臓器の種類及び前記臓器の位置の少なくとも一方と、（２）前記超音波データとを教師データとした機械学習を実行して、前記学習済みモデルを生産するプロセッサと、
を含み、
前記超音波データは、複数の特定断面に対応するもののみを含み、
前記複数の特定断面の各々は、前記超音波データを収集した超音波診断装置にインストールされたナビゲーションソフトウェアが指定した被検体の特定の位置と特定の方向に対応付けられている、装置。

【請求項9】

前記プロセッサは、前記超音波データの品質を自動的に評価し、または、操作者に品質の評価を促すように構成され、
前記超音波データの前記品質が所定の評価基準に達しない場合、前記超音波データを前記教師データから除外するように構成され、
前記所定の評価基準は、
前記超音波データの前記特定の位置からの逸脱、
前記超音波データの前記特定の方向からの逸脱、
前記超音波データに基づく超音波画像の低い画質、
前記超音波データを前記教師データから除外することを指示するユーザ入力、
のいずれか１つ以上である、請求項８に記載の装置。

【請求項10】

前記装置は、前記超音波データ及び／又は前記超音波データに基づいて生成された超音波画像を記憶するデータベースと通信接続し、
前記データベースは、前記超音波データ及び／又は前記超音波画像を収集する複数の超音波診断装置と通信接続し、
前記複数の超音波診断装置の各々は、前記ナビゲーションソフトウェアの機能として所定の検査手順を予めプログラムすることで、
前記複数の特定断面に応じた収集パラメータを自動的に設定すると共に、前記複数の特定断面を所定の順序で検査することを操作者に促すように構成され、
前記複数の超音波診断装置の各々は、前記複数の特定断面の各々に対応する前記臓器の種類及び前記臓器の位置の少なくとも一方を前記超音波データ及び／又は前記超音波画像にタグ付けして記憶するように構成される、請求項８に記載の装置。

【請求項11】

前記超音波データは、Ａモード、Ｂモード、Ｍモードまたはドップラーモードにより収集される、請求項１０に記載の装置。

【請求項12】

前記プロセッサは、
前記複数の特定断面の各々に対応する複数の臓器の名称を優先順位を付けてモニタに表示させること、
前記複数の臓器に応じて訓練対象のモデルを切り替えること、
のいずれかを実行するように構成される、請求項１０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、超音波データを用いて学習済みモデルを生産する方法及び装置に関する。

【背景技術】

【0002】

従来より、畳み込みニューラルネットワーク（ＣＮＮ）等の数理モデルを使用して超音波画像中の臓器の位置を特定する試みがなされてきた（例：WO2017210690A1、「ＣＮＮを用いた高速な超音波画像上の臓器検出手法の比較・検証」五十嵐立樹他、計測自動制御学会論文集第５６巻 第１２号２０２０年１２ 月、Ｐ５６０－５６９）。

【0003】

かかる超音波画像を収集する超音波診断装置は、被検体の体表の任意の位置に置かれたプローブから任意の方向に向けて超音波を放出し、これに基づく超音波データ（エコー信号、音線信号）を収集して断面を描出することができる。このため、超音波診断装置は、ＭＲやＣＴ等の他のモダリティに比べて、描画断面の自由度が高いという特徴がある。

【0004】

また、ＭＲやＣＴ等の他の多くのモダリティで再構成された断面には、スライス位置等の位置情報に関連付けられる場合が多いが、超音波診断装置では、ほとんどの場合において、再構成された断面にその位置情報が記録されることはない。このため、検査中ないし検査後に特に初学者もしくは第三者がその画像に対して、適切な臓器を適切な画質で記録されているかを判断することが難しい場合がある。また、リアルタイムで得られる画像全てを記録することは、記録媒体の制限や読影の手間を考えても現実的ではない。

【0005】

このため、超音波画像中の臓器の種類及び／又は位置を高い精度で特定することのできる学習済みの人工知能モデルの利用が望まれている。しかし、超音波診断装置が生成する超音波画像は、ＭＲやＣＴ等の他のモダリティが生成する画像に比べて、描画断面の自由度が高いという特徴があるため、人工知能モデルを学習させるための学習データを準備することは容易ではない。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2018-079000号公報

【文献】WO2017210690A1号公報

【文献】「ＣＮＮを用いた高速な超音波画像上の臓器検出手法の比較・検証」五十嵐立樹他、計測自動制御学会論文集第５６巻 第１２号２０２０年１２ 月、Ｐ５６０－５６９）

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを低コストで生産する方法が望まれている。また、臓器の種類及び位置の少なくとも一方をより効率的に人工知能モデルに学習させる簡単な方法が望まれる。

【課題を解決するための手段】

【0008】

本発明の第１の実施形態において提供される、入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを生産する方法は、
前記超音波データを受領するステップと、
前記超音波データに含まれる臓器の種類及び前記臓器の位置の少なくとも一方を受領するステップと、
（１）前記臓器の種類及び前記臓器の位置の少なくとも一方と、（２）前記超音波データとを教師データとした機械学習を実行して、前記学習済みモデルを生産するステップと、
を含み、
前記超音波データは、実質的に１つまたは複数の特定断面に対応するもののみを含んでおり、
前記１つまたは複数の特定断面の各々は、被検体の特定の位置と特定の方向に対応付けられている。

【0009】

本発明の第２の実施形態では、
前記超音波データが、画像処理前の生のデータまたは画像処理後の画像データを含み、
前記１つまたは複数の特定断面は、特定部位をスクリーニングするため必要かつ十分な範囲をカバーする代表的な位置の断面である、第１の実施形態に記載の方法が提供される。

【0010】

本発明の第３の実施形態では、
前記学習済みモデルを１つまたは複数の超音波診断装置が利用可能に配置するステップと、
前記学習済みモデルの自動的な再学習またはマニュアルによる再学習を実行するステップと、
を含み、
前記学習済みモデルの自動的な再学習を実行する前記ステップは、
前記学習済みモデルを使用して、前記１つまたは複数の超音波診断装置で新たに収集された前記１つまたは複数の特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを自動的に検出するステップと、
前記新たな超音波データと、前記新たな超音波データに対応する臓器の種類とその位置とに基づいて再学習を行って、前記学習済みモデルを更新するステップと、
を含み、
前記学習済みモデルのマニュアルによる再学習を実行する前記ステップは、
前記１つまたは複数の超音波診断装置で新たに収集された前記１つまたは複数の特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを含むユーザ入力を受領するステップと、
前記新たな超音波データと、前記新たな超音波データに対応する臓器の種類とその位置とに基づいて再学習を行って、前記学習済みモデルを更新するステップと、
を含む、第１または第２の実施形態に記載の方法が提供される。

【0011】

本発明の第４の実施形態では、
前記超音波データに含まれる臓器の種類及び位置の少なくとも一方を受領する前記ステップは、前記超音波データに含まれる前記臓器の前記種類及び前記位置を自動的にまたはマニュアルで受領するステップを含み、
前記超音波データに含まれる前記臓器の前記種類及び前記位置を自動的に受領するステップは、
前記超音波データに基づいて生成された超音波画像にパターン認識を適用して、前記臓器の前記種類及び前記位置を特定するステップを含み、
前記超音波データに含まれる前記臓器の前記種類及び前記位置をマニュアルで受領するステップは、
前記超音波データに基づいて生成された超音波画像をモニタ表示するステップと、
前記超音波画像に含まれる前記臓器に対して前記操作者によって位置づけられる幾何学図形であって、前記モニタに表示される前記幾何学図形を特定する座標情報を受領するステップと、
前記幾何学図形に対応付けて入力された前記臓器を特定する臓器種類情報を受領するステップと、
を含む、第１～第３の実施形態に記載の方法が提供される。

【0012】

本発明の第５の実施形態では、
通信接続を介して前記超音波データ及び／又は前記超音波画像を記憶するデータベースにアクセスするステップと、
前記超音波データ及び／又は前記超音波画像を前記データベースから受領するステップと、
を含み、
前記データベースは、前記超音波データ及び／又は前記超音波画像を収集する複数の超音波診断装置と通信接続し、
前記複数の超音波診断装置の各々は、所定の検査手順を予めプログラムされることで、 前記１つまたは複数の特定断面に応じた収集パラメータを自動的に設定されると共に、前記複数の異なる特定断面を所定の順序で検査することを操作者に促すように構成され、
前記複数の超音波診断装置の各々は、前記複数の異なる特定断面の各々に対応する前記臓器の種類及び前記臓器の位置の少なくとも一方を前記超音波データ及び／又は前記超音波画像にタグ付けして記憶するように構成される、第１～第４の実施形態に記載の方法が提供される。

【0013】

本発明の第６の実施形態では、
前記教師データは、前記臓器の形状、前記臓器に含まれる病変の情報及び、前記超音波データの品質のうちの少なくとも１つを含み、
前記学習済みモデルは、１つまたは複数の超音波診断装置が利用できるように配置されたときに、
前記１つまたは複数の超音波診断装置が新たに収集した超音波画像に含まれる前記臓器の形状の検出、
前記１つまたは複数の超音波診断装置が新たに収集した超音波画像に含まれる前記臓器に含まれる病変の有無の特定、
前記１つまたは複数の超音波診断装置が新たに収集した超音波データの品質の評価、
のうちの１つ以上を提供する、第１～第５の実施形態に記載の方法が提供される。

【0014】

本発明の第７の実施形態では、
入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを有する超音波診断装置であって、
前記学習済みモデルを生成するための教師データは、
実質的に１つまたは複数の特定断面にのみ対応する超音波画像と、前記超音波画像に含まれる臓器の種類及び位置の少なくとも一方とを含み、
前記１つまたは複数の特定断面の各々は、被検体の特定の位置と特定の方向に対応付けられている、超音波診断装置が提供される。

【0015】

本発明の第８の実施形態では、
入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定を特定する学習済みモデルを生産する装置であって、
前記超音波データを受領する入力ポートと、
（１）前記臓器の種類及び前記臓器の位置の少なくとも一方と、（２）前記超音波データとを教師データとした機械学習を実行して、前記学習済みモデルを生産するプロセッサと、
を含み、
前記超音波データは、実質的に１つまたは複数の特定断面に対応するもののみを含み、
前記１つまたは複数の特定断面の各々は、被検体の特定の位置と特定の方向に対応付けられている、装置が提供される。

【0016】

本発明の第９の実施形態では、
前記プロセッサは、前記超音波データの品質を自動的に評価し、または、操作者に品質の評価を促すように構成され、
前記超音波データの前記品質が所定の評価基準に達しない場合、前記超音波データを前記教師データから除外するように構成され、
前記所定の評価基準は、
前記超音波データの前記特定の位置からの逸脱、
前記超音波データの前記特定の方向からの逸脱、
前記超音波データに基づく超音波画像の低い画質、
前記超音波データを前記教師データから除外することを指示するユーザ入力、
のいずれか１つ以上である、第８実施形態に記載の記載が提供される。

【0017】

本発明の第１０の実施形態では、
前記装置は、前記超音波データ及び／又は前記超音波画像を記憶するデータベースと通信接続し、
前記データベースは、前記超音波データ及び／又は前記超音波画像を収集する複数の超音波診断装置と通信接続し、
前記複数の超音波診断装置の各々は、所定の検査手順を予めプログラムすることで、 前記１つまたは複数の特定断面に応じた収集パラメータを自動的に設定すると共に、前記複数の異なる特定断面を所定の順序で検査することを操作者に促すように構成され、
前記複数の超音波診断装置の各々は、前記複数の異なる特定断面の各々に対応する前記臓器の種類及び前記臓器の位置の少なくとも一方を前記超音波データ及び／又は前記超音波画像にタグ付けして記憶するように構成される、第８または第９実施形態に記載の記載が提供される。

【0018】

本発明の第１１の実施形態では、
前記超音波データは、Ａモード、Ｂモード、Ｍモードまたはドップラーモードにより収集される、第８～第１０実施形態に記載の記載が提供される。

【0019】

本発明の第１２の実施形態では、
前記プロセッサは、
前記断面特定情報に対応する複数の臓器の名称を優先順位を付けて前記モニタに表示させること、
前記断面特定情報に応じて訓練対象のモデルを切り替えること、
のいずれかを実行するように構成される、第８～第１１実施形態に記載の記載が提供される。

【発明の効果】

【0020】

上記実施形態の発明によれば、入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを低コストで生産することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態におけるシステムの全体構成の概略を示すブロック図である。

【図2】図１に示すシステムを構成する超音波診断装置の構成を示すブロック図である。

【図3】学習済みモデル生産システムを示すブリンク図である。

【図4】アノテーションの付加及び、深層学習モデルによる臓器の種類と位置の認識の態様を示す図である。

【図5】トレーナおよびモデラの典型的な実施態様を示す図である。

【図6】深層学習ニューラルネットワークの典型的な実施態様を示す図である。

【図7】画像解析畳み込みニューラルネットワークの典型的な実施態様を示す図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について図面を参照して説明する。図１に示すシステム１００は、複数の超音波診断装置１０１、１０２、１０３とサーバー１０４を備える。複数の超音波診断装置１０１、１０２、１０３は、ネットワーク１０５を介して互いに通信接続されている。また、複数の超音波診断装置１０１、１０２、１０３の各々は、ネットワーク１０５を介してサーバー１０４とも通信接続されている。学習済みモデルを生産する学習済みモデル生産端末１０７もネットワーク１０５を介してサーバー１０４と通信接続されている。

【0023】

超音波診断装置１０１、１０２、１０３の各々の構成を超音波診断装置２００として図２に示す。超音波診断装置２００は、超音波プローブ２０２内に配列された複数の振動素子２０２ａをドライブ（駆動）してパルス超音波信号を生成する送信ビームフォーマ２０３および生成されたパルス超音波信号を被検体（図示せず）に放射する送信機２０４を含む。パルス超音波信号は、被検体内において反射して振動素子２０２ａに戻るエコーを生成する。エコーは、振動素子２０２ａによって電気信号に変換され、電気信号は、受信機２０５によって受信される。受信されたエコーを表す電気信号、すなわちエコー信号は、受信機２０５において所要のゲインによる増幅等が行なわれた後に受信ビームフォーマ２０６に入力され、この受信ビームフォーマ２０６において受信ビームフォーミングが行われる。受信ビームフォーマ２０６は、受信ビームフォーミング後の超音波データを出力する。

【0024】

受信ビームフォーマ２０６は、ハードウェアビームフォーマであってもソフトウェアビームフォーマであってもよい。受信ビームフォーマ２０６がソフトウェアビームフォーマである場合、受信ビームフォーマ２０６は、グラフィックス処理ユニット（ＧＰＵ）、マイクロプロセッサ、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、または論理演算を実行することができる他の種類のプロセッサのうちの任意の１つまたは複数を含む１つまたは複数のプロセッサ２０７を備えることができる。受信ビームフォーマ２０６を構成するプロセッサは、後述のプロセッサ２０７とは別のプロセッサで構成されていてもよいし、プロセッサ２０７で構成されていてもよい。受信ビームフォーミングが行われる前のエコー信号と受信ビームフォーミング後の超音波データは、メモリ２０９に記憶される。

【0025】

プロセッサ２０７は、エコー信号が受信されるとき、データは走査セッション中にリアルタイムで処理することができる。この開示のために、「リアルタイム」という用語は、いかなる意図的な遅延もなく行われる手順を含むように定義される。

【0026】

また、データは、超音波の走査中に一時的にバッファ（図示せず）に格納し、ライブ操作またはオフライン操作でリアルタイムではなく処理することができる。この開示において、「データ」という用語は、本開示においては、超音波診断装置を用いて取得される１つまたは複数のデータセットを指すように使用することができる。

【0027】

超音波データは、プロセッサ２０７によって他のまたは異なるモード関連モジュール（例えば、Ｂモード、カラードップラ、Ｍモード、カラーＭモード、スペクトルドップラ、造影モード、エラストグラフィ、ＴＶＩ、歪み、歪み速度、など）で処理して超音波画像のデータを作ることができる。例えば、１つまたは複数のモジュールが、Ｂモード、カラードップラ、Ｍモード、カラーＭモード、スペクトルドップラ、造影モード、エラストグラフィ、ＴＶＩ、歪み、歪み速度、およびそれらの組合せ、などの超音波画像を生成することができる。

【0028】

被検体に処置が実施されている間にメモリから画像フレームを読み取り、その画像フレームをリアルタイムで表示する映像プロセッサモジュールが設けられてもよい。映像プロセッサモジュールは画像フレームを画像メモリに保存することができ、超音波画像は画像メモリから読み取られディスプレイ２０８に表示される。

【0029】

なお、本明細書で使用する場合、「画像」という用語は、可視画像と可視画像を表すデータの両方を広く指す。また、「データ」という用語は、走査変換演算前の超音波データ（エコー信号または音線信号）であるローデータ（ｒａｗ ｄａｔａ）と、走査変換演算後のデータである画像データを含みうる。

【0030】

プロセッサ２０７が複数のプロセッサを含む場合、プロセッサ２０７が担当する上述の処理タスクを、複数のプロセッサが担当してもよい。例えば、第１のプロセッサを使用して、ＲＦ信号を復調および間引きすることができ、第２のプロセッサを使用して、データをさらに処理した後、画像を表示することができる。また、例えば受信ビームフォーマ２０６がソフトウェアビームフォーマである場合、その処理機能は、単一のプロセッサで実行されてもよいし、複数のプロセッサで実行されてもよい。

【0031】

ディスプレイ２０８は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、マイクロＬＥＤディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。

【0032】

メモリ２０９は、任意の既知のデータ記憶媒体である。一例では、超音波画像表示装置１は、メモリ２０９として非一過性の記憶媒体及び一過性の記憶媒体を含み、複数のメモリ２０９を含んでいる。非一過性の記憶媒体は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ハードディスクドライブ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記憶媒体である。非一過性の記憶媒体は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ブルーレイディスク（Ｂｌｕ－ｒａｙ Ｄｉｓｃ、登録商標）などの可搬性の記憶媒体を含んでいてもよい。非一過性の記憶媒体には、プロセッサ２０７によって実行されるプログラムが記憶される。また、非一過性の記憶媒体には、後述のプロトコルも記憶される。一過性の記憶媒体は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の記憶媒体とすることができる。これらは、すべて同じメモリ２０９に記憶されてもよいし、少なくともいずれか一つが異なるメモリ２０９に記憶されてもよい。また、メモリ２０９は、クラウド上に展開された複数のデータ記憶媒体であってもよい。

【0033】

ユーザインタフェース２１０は、オペレータの入力を受け付けることができる。例えば、ユーザインタフェース２１０は、オペレータからの指示や情報の入力を受け付ける。ユーザインタフェース２１０は、キーボード（ｋｅｙｂｏａｒｄ）、ハードキー（ｈａｒｄ ｋｅｙ）及びソフトキー等を含んで構成されている。ユーザインタフェース２１０は、マウスやタッチパネル、ペンタブレット、タッチパッド、トラックボール、ジョイスティックなどのポインティングデバイやアイトラッキングや音声入力等の種々の入力装置を含んでいてもよい。

【0034】

スピーカー２１１は、プロセッサ２０７によって制御されて音を出力する。一例では、スピーカー２１１は、プロセッサ２０７から入力された信号に基づいて音を出力する。

【0035】

図３は、学習済みモデル生産システム３００を示している。学習済みモデル生産システム３００は、超音波診断装置３１０と、データストア３２０と、モデルトレーナ３３０と、モデラ３４０と、出力プロセッサ３５０と、フィードバックユニット３６０と、セレクタ３７０と、アノテーション付加部３８０とを含む。各機能ブロックは１つまたは複数のプロセッサにより実行することができる。特定の例において、データストア３２０は、サーバー１０４のデータベース内に配置され、データストア３２０、モデルトレーナ３３０、モデラ３４０、出力プロセッサ３５０、フィードバックユニット３６０、セレクタ３７０及び、アノテーション付加部３８０は、学習済みモデル生産端末１０７に配置される。他の特定の例において、学習済みモデル生産端末１０７は必須ではなく、データストア３２０、データストア３２０、モデルトレーナ３３０、モデラ３４０、出力プロセッサ３５０、フィードバックユニット３６０、セレクタ３７０及び、アノテーション付加部３８０は、サーバー１０４に配置される。さらに他の特定の例において、データストア３２０、データストア３２０、モデルトレーナ３３０、モデラ３４０、出力プロセッサ３５０、フィードバックユニット３６０、セレクタ３７０及び、アノテーション付加部３８０は、超音波診断装置１０１、１０２、１０３のいずれか１つ以上に配置される。データストア３２０、データストア３２０、モデルトレーナ３３０、モデラ３４０、出力プロセッサ３５０、フィードバックユニット３６０、セレクタ３７０及び、アノテーション付加部３８０は、ネットワークに分散する複数の処理装置で処理することも可能である。超音波データは、データストア３２０（例えば、データベース、データ構造、ハードドライブ、ソリッドステートメモリ、フラッシュメモリ、他のコンピュータメモリ、など）に格納される。データストア３２０は、ネットワークに分散する複数の記憶装置により構成することも可能である。

【0036】

セレクタ３７０は、データストア３２０から画像および／またはエコー信号を受け取り、１つまたは複数の所定の特定断面に対応するか否かを判断し、１つまたは複数の所定の特定断面に対応するタグ付けを行う。使用されるトレーニングネットワーク４２０（図５）および／または学習済みモデル４６０（図５）はタグに応じて選択される。特定の実施形態において、セレクタ３７０は、データストア３２０から画像および／またはエコー信号を受け取り、１つまたは複数の所定の特定断面に対応するか否かを判断し、１つまたは複数の所定の特定断面に対応していない画像および／またはエコー信号を処理対象から除外し、タグ付けは行われない。さらに別の実施形態ではデータストア３２０に格納される画像および／またはエコー信号は断面識別情報に関連付けられており、かかる実施例ではセレクタ３７０は不要となる。セレクタ３７０は、データストア３２０から画像および／またはエコー信号の品質を自動的に評価し、または、操作者に品質の評価を促すように構成され、画像および／またはエコー信号の品質が所定の評価基準に達しない場合、画像および／またはエコー信号を教師データから除外する。所定の評価基準は、特定の位置からの逸脱、特定の方向からの逸脱、超音波画像の低い画質、教師データから除外することを指示するユーザ入力のいずれか１つ以上であってよい。

【0037】

本発明の好適な実施例において、１つまたは複数の特定断面は、腎臓や膵臓等の特定部位をスクリーニングするため必要かつ十分な範囲をカバーする代表的な位置の断面である。本発明の好適な実施例において、日本消化器がん検診学会が定める推奨記録２５断面のいずれかに１つ以上に相当する。１つまたは複数の特定断面は、互いに異なる収集パラメータで収集される複数の異なる特定断面であってもよく、同じ収集パラメータで収集される複数の異なる特定断面であってもよい。

【0038】

本発明の好適な実施例において、セレクタ３７０は、データストア３２０から画像および／またはエコー信号を受け取り、不十分な接触の発生、シャドウの存在、不適切な輝度（低すぎる輝度及び／又は高すぎる輝度）、低コントラスト、画像のぼやけの存在等の品質の低い画像を検出し、処理対象から除外する。特定の実施形態においては、セレクタ３７０は、品質の低い画像を検出した場合、低品質の原因の種類に応じたアノテーション付けを行うのみで処理対象から除外しない。特定の実施形態においては、セレクタ３７０は、品質の低い画像を検出した場合、品質が所定レベル以下の画像を処理対象から除外し、品質は低いが許容レベルである場合に低品質の原因の種類に応じたアノテーション付けを行い、処理対象から除外しない。

【0039】

近年、深層学習（ディープラーニング：Deep Learning）の手法を用いることにより、画像上の物体検出や画像分類が行えるようになってきた。学習には大量の画像とそれに付随する情報(アノテーション：Annotation)が必要となる。実時間で画像を得ることが出来る超音波画像は、大量のデータを集めることが容易であるが、前述の通り、描画断面の自由度が高すぎて、学習に必要な画像を偏りなく収集し、アノテーションを付けることが難しい。

【0040】

本発明では、深層学習モデル（Learning model）を訓練（トレーニング：Training）するため、特定の位置と特定の方向に対応付けられた１つまたは複数の特定断面の超音波画像のみを学習データとして採用する。これにより、効率的に臓器の種類と位置の検出や画質分類の学習を行うことが可能である。

【0041】

アノテーション付加部３８０は、図４に示すように、学習済みモデル生産端末１０７の表示装置にデータストア３２０から画像を表示させる。しかしながら、表示される画像４０１が被検体のいかなる位置でいかなる方向で収集された画像であるか不明である場合、画像にいかなる臓器が含まれているかは必ずしも明確では無いので、学習済みモデル生産端末１０７のオペレータは、画像にアノテーションを容易に付加することはできない。

【0042】

この一方、日本消化器がん検診学会は、２５種類の推奨記録断面（超音波Ｂモード画像）を定めており、各断面のそれぞれにおいて、操作者が超音波プローブ２０２を被検体に配置する位置と方向が定められている。かかる場合、例えば２５種類の推奨記録断面の内の２５番目の断面では腎臓と肝臓が注目される場合がある一方、Ｂモード画像４０２内の腎臓が存在する凡その位置は既知である。学習済みモデル生産端末１０７のオペレータは、画像にアノテーションを容易に付加することができる。同様に２５種類の推奨記録断面の内の８番目の断面では膵臓が注目される場合がある一方、Ｂモード画像４０３内の膵臓が存在する凡その位置は既知である。学習済みモデル生産端末１０７のオペレータは、画像にアノテーションを容易に付加することができる。図４の例では臓器名をアノテーションとして付加しているが、臓器の位置、形状、画質良悪等もアノテーションとして付加することができる。また、不十分な接触の発生、シャドウの存在、不適切な輝度（低すぎる輝度及び／又は高すぎる輝度）、低コントラスト、画像のぼやけの存在等、画質低下の原因の種類もマニュアルによりアノテーション付けすることもできる。さらに、操作者は、アノテーション付加部３８０を使用して、不所望な画像を処理対象から除外すべく、画像の削除を行うことができる。

【0043】

２５種類の推奨記録断面に代表される、被検体の特定の位置と特定の方向に対応付けられた特定断面とこれに対するアノテーションは、深層学習モデルを訓練するための理想的な教師データとなる。図４の例では、特定断面画像４０２に対して臓器名が「腎臓」および「肝臓」であることを示すアノテーション４０４を付加して深層学習モデルを訓練する。この訓練された深層学習モデルを使用して別の被検体の特定断面画像を解析すると、腎臓及び肝臓が含まれていることを示す表示４０６と、それぞれの臓器の位置情報４０７、４０８が表示される。また、他の例では、特定断面画像４０３に対して臓器名が「膵臓」であることを示すアノテーション４０５を付加して深層学習モデルを訓練する。この訓練された深層学習モデルを使用して別の被検体の特定断面画像を解析すると、膵臓が含まれていることを示す表示４０６と、それぞれの臓器の位置情報４０９が表示される。この実施例において、臓器の位置を示す位置情報として矩形の幾何学図形を使用しているが、例えば円形、楕円形、多角形の他、エッジ検出により描画される複雑な曲線等、様々な幾何学図形を使用することができる。

【0044】

アノテーションのマニュアルによる付加は、様々な態様で実行することができる。本発明の特定の実施形態では、操作者が円形、楕円形、多角形等の幾何学図形で所望の臓器を囲むことにより、臓器の位置を特定する。他の実施形態においては、操作者が臓器の中心を選択することにより、臓器の位置を特定する。臓器の位置が特定されると、操作者に臓器の種類の特定を促すプルダウンメニューがディスプレイに表示される。操作者がプルダウンメニューから臓器の種類を選択することにより、臓器の種類のアノテーションの付加が完了する。

【0045】

上述のように、アノテーション付加部３８０は、操作者にマニュアルによりアノテーションを付加する機能を提供する。しかし、本発明の他の好適な実施例において、アノテーション付加部３８０は、自動的にアノテーションを付加する機能を提供することもできる。アノテーション付加部３８０は、超音波データに基づいて生成された超音波画像にパターン認識を適用して、認識された臓器の種類と位置を特定し、これに対応するアノテーションを付加する。特定の実施形態では、アノテーション付加部３８０は、超音波データに基づいて生成された超音波画像にパターン認識を適用して、認識された臓器の種類と位置を特定し、これに対応するアノテーションを操作者に対して修正可能に提示する。アノテーション付加部３８０は、臓器の種類と臓器の位置だけではなく、臓器の形状、画質良悪、不十分な接触の発生、シャドウの存在、不適切な輝度（低すぎる輝度及び／又は高すぎる輝度）、低コントラスト、画像のぼやけの存在等、画質低下の原因の種類も自動的にアノテーション付けすることもできる。

【0046】

アノテーション付加部３８０の機能を説明してきたが、本発明の特定の実施形態において、アノテーション付加部３８０は不要である。アノテーション付加部３８０が不要となる実施形態において、超音波診断装置１０１～１０３の各々に特定断面の収集をナビゲート（案内：navigate）するための特別なソフトウェアがインストールされる。例えば人間ドックの超音波検査のように、検査手順が概ね固定化された検査手順が複数存在する。

【0047】

超音波診断装置１０１～１０３の各々にインストールされたナビゲーションソフトウェアは、操作者（検査技師）が実行する検査手順を選択したことに応答して、選択された検査手順に含まれる複数の特定断面の収集を検査効率などを考慮して決定された所定の順番でナビゲートする。このナビゲーションソフトウェアは、本発明の特定の実施形態において必須の構成要素ではない。上述のような人間ドックの超音波検査の場合、ナビゲーションソフトウェアは、どのような順番でどのような断面を検査し、画像を保存するかを記した院内マニュアルや操作者間の口頭や書面などの紙媒体または電子媒体での合意、監督者からの指示などにより代替することができる。上述のような人間ドックの超音波検査の場合、ナビゲーションソフトウェアは、どのような順番でどのような断面を検査し、画像を保存するかを記した院内マニュアルや操作者間の口頭や院内メールでの合意、監督者からの指示などにより代替することができる。ナビゲーションソフトウェアは、操作者に被検体のどの位置にどのような角度で超音波プローブを接触させるかや被検体にどのような体勢を取るように指示すべきかをディスプレイ２０８に表示する。かかる指示はスピーカー２１１から出すこともできる。ナビゲーションソフトウェアは、収集された画像が指示通りの位置や角度で収集されたものであるかを確認し、指示通りで無い場合には警告をディスプレイ２０８に表示する（またはスピーカー２１１から音声で出力する）。ナビゲーションソフトウェアは、収集された画像の品質も確認し、問題の種類に応じた警告をディスプレイ２０８に表示する。警告は、超音波プローブ２０２の被検体への接触が不十分であることや輝度調整が不適切であること等であり得る。ナビゲーションソフトウェアは、収集された画像が指示通りの位置や角度で収集されたものであり、画像の品質にも問題ない場合、操作者に画像の保存を推奨する。操作者がこれに応じて画像を保存する指示を行うと、ナビゲーションソフトウェアは、収集された特定断面を特定する特定断面識別情報をアノテーションとして画像に付加する。本発明の好適な実施形態において特定断面識別情報は、検査手順の番号と検査手順における何番目の断面かに対応する番号である。他の好適な実施例において特定断面識別情報は、複数の検査手順で共通する、特定の位置と特定の方向に対応付けられた番号である。さらに別の実施形態では、特定断面識別情報は、その断面に含まれる臓器の種類と凡その位置の情報である。ナビゲーションソフトウェアによる自動的なアノテーションに加え、超音波診断装置１０１～１０３の操作者はマニュアルによるアノテーションを行うことができる。例えば、被検体から胆嚢や腎臓の一方が全摘出されている場合や、肝臓や膵臓の一部が摘出されている場合は、それに対応したアノテーションをマニュアルで付加することができる。かかるナビゲーションソフトウェアの手順に従うことにより、アノテーション付加部３８０を設けることなしにアノテーションを付与することができる。かかるマニュアルによるアノテーションも学習の対象とすることができる。

【0048】

本発明の好適な実施形態において、ナビゲーションソフトウェアは、選択された検査手順に含まれていない複数の特定断面の収集を許容する。例えば、選択された検査手順に従った検査の途中に病変を発見した場合、病変の状態や特徴を詳細に観察し、その画像を保存したい場合がある。このような場合、操作者はナビゲーションソフトウェアに通常の検査手順の中断を指示し、必要な画像の収集と画像の保存を行うことができる。ナビゲーションソフトウェアは、通常手順の中断中に保存された画像であることを示すアノテーションを付加する。セレクタ３７０は、通常手順の中断中に保存された画像であることを示すアノテーションが付加された画像を処理対象から除外する。

【0049】

本発明の好適な実施形態において、ナビゲーションソフトウェアを用いて収集された１つまたは複数の特定断面についても、アノテーション付加部３８０は、操作者にマニュアルによりアノテーションを付加する機能を提供することができる。この場合、ナビゲーションソフトウェアを用いずに収集された１つまたは複数の特定断面と同様な手順で行うことができる。特定の実施形態において、アノテーション付加部３８０は、１つまたは複数の特定断面にアノテーションとして付加された特定断面識別情報に基づいて、これに対応した臓器名のプルダウンメニューを提供することができる。例えば、２５種類の推奨記録断面の内の２１番目の断面では肝静脈と横隔膜が注目される場合が多いので、肝静脈と横隔膜が上位に配置されたプルダウンメニューが提供される。また、２５種類の推奨記録断面の内の３番目の断面では膵臓が上位に配置されたプルダウンメニューが提供される。本発明の特定な実施形態において、複数の被検体の検査データが蓄積され、特定断面識別情報に基づいてソートされる。マニュアルによりアノテーションを付加する操作者は、位置と方向が共通する多数の断面画像をまとめて処理対象とすることができる。これにより、作業の効率化や正確性の向上を図ることができる。

【0050】

図３に戻り説明を続ける。トレーナ３３０およびモデラ３４０は、データストア３２０から直接またはセレクタ３７０を介して画像および／またはエコー信号を受け取る。トレーナ３３０は、モデラ３４０にモデルとして展開される深層学習ネットワークおよび／または他の機械学習ネットワーク（例えば、畳み込みニューラルネットワーク、再帰ニューラルネットワーク、ランダムフォレスト、など）をトレーニングおよびテストする。トレーニングされたネットワークモデル（学習済みモデル）は、データストア３２０からの画像データを解析するために、モデラ３４０によって使用される。学習モデルとしては、当業者に従来より使用されている、物体検出のためのYOLOや、分類のためのResNetなどを使用することもできる。

【0051】

モデラ３４０は、展開された人工知能モデル（学習済みモデル、例えば、ニューラルネットワーク、ランダムフォレスト、など）を使用して、到来する超音波データを処理し、超音波データに含まれる臓器の種類及び前記臓器の位置の少なくとも一方を特定し、超音波データに含まれる臓器の種類及び前記臓器の位置の少なくとも一方の表示を超音波画像に組み込んだ合成画像を生成する。モデラ３４０によって生成された合成画像は、表示、保存、（例えば、病変、腫瘍、などを検出するためのコンピュータ支援診断用の）別のシステムによる処理、別の装置（例えば、タブレットまたはスマートフォンなど）との通信、などのための画像出力を生成するために、出力プロセッサ３５０へともたらされる。

【0052】

画像出力からのフィードバックを、フィードバックユニット３６０によってキャプチャし、トレーナ３３０に提供することができ、トレーナ３３０は、フィードバックを利用して、人工知能モデルを改善することができる。フィードバックを、モデルのトレーニングおよび／またはテストに使用することができ、モデラ３４０へと展開されるモデルのトレーナ３３０による再生成を定期的にトリガするために使用することができる。

【0053】

本発明の好適な実施例において、学習済みモデル４６０は、学習済みモデル生産端末１０７から超音波診断装置１０１～１０３のそれぞれに送信される。超音波診断装置１０１～１０３のそれぞれにおいて、学習済みモデル４６０の自動的な再学習またはマニュアルによる再学習またはその両方が実行される。

【0054】

学習済みモデル４６０の自動的な再学習においては、まず、各超音波診断装置１０１～１０３で１つまたは複数の特定断面を新たに収集し、学習済みモデル４６０を使用して、新たに収集された特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを自動的に検出する。次に、新たな超音波データと、新たな超音波データに対応する臓器の種類とその位置とをトレーナ３３０に入力し、再学習を行って、学習済みモデル４６０を更新する。このような自動的な再学習により、被検体の個人差に応じて変化する臓器の形状、大きさ、輝度、位置等の違いを加味した強化された学習済みモデル４６０を提供することができる。

【0055】

特定の実施形態において、学習済みモデル４６０の自動的な再学習においては、まず、各超音波診断装置１０１～１０３で１つまたは複数の特定断面を新たに収集し、新たに収集した１つまたは複数の特定断面を学習済みモデル４６０の自動的な再学習を行う１つまたは複数の場所に送信する。この１つまたは複数の場所は、サーバー１０４であっても学習済みモデル生産端末１０７であっても他の超音波診断装置であってもよい。１つまたは複数の場所において学習済みモデル４６０を使用して、新たに収集された特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを自動的に検出される。特定の実施形態では、１つまたは複数の特定断面に該当するが、他の特定断面と異なる特徴が認められる場合は、その特徴に応じて決定された異なる場所への送信が行われる。特別な特徴を持つ特定断面を受信した場所では、かかる特別な特定断面を使用して学習済みモデル４６０の自動的な再学習を行う。これにより、仮に特別な特徴が希少な症例に基づく病変等に基づくものであっても、多数の超音波診断装置が多数の画像収集を行うことにより、再学習後の学習済みモデル４６０を使用して、新たに入力された画像に含まれる同様な希少な病変等を検出ができるようになる。また、例えば、ナビゲーションソフトウェアを使用した検査中に、検査者が特定断面に情報を追記したことを、再学習の実行のトリガーとすることもできる。再学習に際しては追記された情報も対象として再学習を実行することができる。例えば、追記された情報が腫瘍の可能性である場合、腫瘍に特化した学習済みモデル４６０が再学習の対象として選択されても良い。

【0056】

本発明の特定の実施形態では、予め決められた検査手順の各断面で、想定される臓器が検出されなかった場合及び／又は誤った臓器が検出された場合、その画像および臓器種別を再学習に使用することを自動的に決定する。他の実施形態では、この場合は検査者に再学習が必要か否かを選択させる。本発明の特定の実施形態では、ナビゲーションソフトウェアを使用した検査中に収集された超音波データのみが学習済みモデル４６０の学習や再学習に使用される。他の実施形態では、ナビゲーションソフトウェアを使用した検査中に収集された超音波データではないが、ナビゲーションソフトウェアを使用した検査中に収集された超音波データと同等の超音波データであるとの自動的な解析が行われた場合、学習済みモデル４６０の学習や再学習に使用される。

【0057】

本発明の好適な実施例において、学習済みモデル４６０は、学習済みモデル生産端末１０７から超音波診断装置１０１～１０３のそれぞれに送信される。超音波診断装置１０１～１０３のそれぞれにおいて、学習済みモデル４６０のマニュアルによる再学習が実行される。

【0058】

学習済みモデル４６０のマニュアルによる再学習においては、まず、各超音波診断装置１０１～１０３で１つまたは複数の特定断面を新たに収集し、学習済みモデル４６０を使用して、新たに収集された特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを自動的に検出する。次に、超音波診断装置１０１～１０３のディスプレイ２０８に新たに収集された特定断面に含まれる臓器の種類及び前記臓器の位置の少なくとも一方が新たに収集された特定断面の超音波画像に重畳して表示される。超音波診断装置１０１～１０３の操作者は、臓器の種類及び前記臓器の位置の少なくとも一方を必要に応じてユーザインタフェース２１０を介して修正することができる。マニュアルによる臓器の位置の特定に際しては、臓器の位置を示す位置情報として矩形の幾何学図形を使用することができる。操作者は指定した矩形を特定できる情報（例えば左上の座標と右下の座標）特定断面にアノテーションとして付加される。しかし、臓器の位置の特定は、例えば円形、楕円形、多角形の他、エッジ検出により描画される複雑な曲線等、様々な幾何学図形を使用することができる。

【0059】

１つまたは複数の特定断面を新たに収集した超音波診断装置１０１～１０３に配置されたモデルトレーナ３３０は、操作者により修正された臓器の種類及び前記臓器の位置の少なくとも一方と、新たに収集した１つまたは複数の特定断面を教師データとしてトレーニングネットワーク４２０を再学習し、学習済みモデル４６０を更新する。このようなマニュアルによる再学習により、操作者にわかりやすい位置表示ができる強化された学習済みモデル４６０を提供することができる。

【0060】

上述の実施形態において学習済みモデル４６０のマニュアルによる再学習は、１つまたは複数の特定断面を新たに収集した超音波診断装置１０１～１０３において実行されるが、これに代わりまたはこれに加えて他の場所で実行することもできる。特定の実施形態において、学習済みモデル４６０のマニュアルによる再学習においては、まず、各超音波診断装置１０１～１０３で１つまたは複数の特定断面を新たに収集し、新たに収集した１つまたは複数の特定断面を学習済みモデル４６０のマニュアルによる再学習を行う１つまたは複数の場所に送信する。この１つまたは複数の場所は、サーバー１０４であっても学習済みモデル生産端末１０７であっても他の超音波診断装置であってもよい。１つまたは複数の場所において学習済みモデル４６０を使用して、新たに収集された特定断面に対応する新たな超音波データに含まれる臓器の種類とその位置とを自動的に検出される。１つまたは複数の場所のディスプレイ２０８に新たに収集された特定断面に含まれる臓器の種類及び前記臓器の位置の少なくとも一方が新たに収集された特定断面の超音波画像に重畳して表示される。１つまたは複数の場所の操作者は、臓器の種類及び前記臓器の位置の少なくとも一方を必要に応じてそのユーザインタフェースを介して修正することができる。

【0061】

１つまたは複数の場所に配置されたモデルトレーナ３３０は、操作者により修正された臓器の種類及び前記臓器の位置の少なくとも一方と、新たに収集した１つまたは複数の特定断面を教師データとしてトレーニングネットワーク４２０を再学習し、学習済みモデル４６０を更新する。このようなマニュアルによる再学習により、操作者にわかりやすい位置表示ができる強化された学習済みモデル４６０を提供することができる。かかる実施形態に従えば、アノテーションの付加に熟練した操作者にアノテーション付加の作業を集中させて再学習を行うことができるので、検出の精度が高く、位置の特定が正確なトレーニングネットワーク４２０を生産することができる。

【0062】

図５は、トレーナ３３０およびモデラ３４０の典型的な実施態様を示している。図５の例に示されるように、トレーナ３３０は、入力プロセッサ４１０と、トレーニングネットワーク４２０と、出力検証器４３０と、フィードバックプロセッサ４４０とを含む。典型的なモデラ３４０は、プリプロセッサ４５０と、展開されたモデルである学習済みモデル４６０と、ポストプロセッサ４７０とを含む。図５の例において、データストア３２０から直接またはセレクタ３７０を介して受け取った画像および／またはエコー信号などの入力が、入力プロセッサ４１０へともたらされ、入力プロセッサ４１０は、複数のトレーニングネットワーク４２０の中から入力に対応するトレーニングネットワーク４２０を選択し、トレーニングネットワーク４２０に入力されるデータを準備する。例えば、データを、ネットワーク４２０に入力される画像および／またはエコー信号が学習により適するようにするために、フィルタ処理し、補足し、さらには／あるいは不要部分を削除等のやり方で変更することができる。特定の実施形態においてトレーナ３３０は入力プロセッサ４１０を有していない。

【0063】

典型的なトレーニングネットワーク４２０は、入力プロセッサ４１０からの入力データを解析して、出力を生成し、出力は、出力検証器４３０によって検証される。したがって、トレーニングネットワーク４２０は、入力画像データを受け取り、画像に含まれる臓器の種類と位置を特定する学習アルゴリズムを動的に形成するように、接続を発達させる。出力検証器４３０は、例えば、トレーニングネットワーク４２０からの出力の精度を検証することができる。ネットワーク４２０の出力が正確でない場合、例えば、ネットワーク４２０を更新し、正しい出力を生成するように、ネットワーク４２０を（例えば、ネットワークの重みを調整する、ノードの接続を変更する、などによって）修正することができる。ひとたびトレーニングネットワーク４２０の出力が出力検証器４３０によって検証されると、トレーニングネットワーク４２０を使用して、モデラ３４０用の学習済みモデル４６０を生成して展開することができる。

【0064】

定期的に、フィードバックをフィードバックプロセッサ４４０へともたらすことができ、フィードバックプロセッサ４４０は、フィードバックを処理し、ネットワーク４２０の更新または再生成をトリガするかどうかを評価する。例えば、展開された学習済みモデル４６０の出力が正確であり続ける場合、更新を行うべき理由はないかもしれない。しかしながら、例えば、学習済みモデル４６０の出力が不正確になると、ネットワーク４２０の再生成または他の更新をトリガし、（例えば、追加のデータ、新たな制約、更新された構成、などに基づいて）更新された学習済みモデル４６０を展開することができる。

【0065】

展開された学習済みモデル４６０は、入力超音波データを処理し、臓器の種類と位置を特定するために、モデラ３４０によって使用される。例えばデータストア３２０などからの入力データが、プリプロセッサ４５０によって準備され、入力データに応じてプリプロセッサ４５０が選択した学習済みモデル４６０（例えば、深層学習ネットワークモデル、機械学習モデル、他のネットワークモデル、など）へ入力データが供給される。プリプロセッサ４５０は、入力画像データを、画像データが学習済みモデル４６０へともたらされる前に、コントラスト、輝度、レベル、アーチファクト／ノイズなどを調整することができる。学習済みモデル４６０は、プリプロセッサ４５０からの超音波データを処理し、臓器の種類と位置を特定する。学習済みモデル４６０からの出力は、出力されたデータをクリーンアップし、オーガナイズし、さらには／あるいは他のやり方で修正して合成２Ｄ画像を形成することができるポストプロセッサ４７０によって後処理される。特定の例において、ポストプロセッサ４７０は、合成画像の保存、表示、別のシステムへの伝達、などの前に、出力された画像データについて検証を行い、さらには／あるいは他のやり方で品質チェックを実行することができる。

【0066】

図６が、典型的な深層学習ニューラルネットワーク５００を示している。典型的なニューラルネットワーク５００は、層５２０、５４０、５６０、および５８０を含む。層５２０および５４０は、ニューラル接続５３０で接続されている。層５４０および５６０は、ニューラル接続５５０で接続されている。層５６０および５８０は、ニューラル接続５７０で接続されている。データは、入力５１２、５１４、５１６を介して入力層５２０から出力層５８０および出力５９０へと順方向に流れる。

【0067】

層５２０は、図６の例では、複数のノード５２２、５２４、５２６を含む入力層である。層５４０および５６０は、隠れ層であり、図６の例ではノード５４２、５４４、５４６、５４８、５６２、５６４、５６６、５６８を含む。ニューラルネットワーク５００は、図示されているよりも多数または少数の隠れ層５４０および５６０を含んでもよい。層５８０は、出力層であり、図６の例では、出力５９０を有するノード５８２を含む。各々の入力５１２～５１６は、入力層５２０のノード５２２～５２６に対応し、入力層５２０の各々のノード５２２～５２６は、隠れ層５４０の各々のノード５４２～５４８への接続５３０を有する。隠れ層５４０の各々のノード５４２～５４８は、隠れ層５６０の各々のノード５６２～５６８への接続５５０を有する。隠れ層５６０の各々のノード５６２～５６８は、出力層５８０への接続５７０を有する。出力層５８０は、典型的なニューラルネットワーク５００からの出力をもたらす出力５９０を有する。

【0068】

接続５３０、５５０、および５７０のうち、特定の典型的な接続５３２、５５２、５７２に追加の重みを与えることができる一方で、他の典型的な接続５３４、５５４、５７４には、ニューラルネットワーク５００におけるより軽い重みを与えることができる。入力ノード５２２～５２６が、例えば、入力５１２～５１６を介して入力データを受信することによって活性化される。隠れ層５４０および５６０のノード５４２～５４８および５６２～５６８が、接続５３０および５５０をそれぞれ介するネットワーク５００におけるデータの順方向の流れによって活性化される。出力層５８０のノード５８２は、隠れ層５４０および５６０において処理されたデータが接続５７０を介して送られた後に活性化される。出力層５８０の出力ノード５８２が活性化されると、ノード５８２は、ニューラルネットワーク５００の隠れ層５４０および５６０で達成された処理に基づいて適切な値を出力する。このようにして、画像と、画像に含まれる臓器名、その位置情報を、物体検出(Detection)や形状検出(Segmentation)、分類(Classification)の学習に用いてモデルを作成することが出来る。

【0069】

図７が、画像解析畳み込みニューラルネットワーク７００の典型的な実施態様を示している。畳み込みニューラルネットワーク７００は、入力画像データ７０２を受け取り、畳み込み層７０４において画像データを抽象化して、学習された特徴７１０～７２２を識別する。第２の畳み込み層７３０において、画像データは、複数の画像７３０～７３８へと変換され、画像７３０～７３８において、学習された特徴７１０～７２２の各々は、それぞれのサブ画像７３０～７３８において強調される。画像７３０～７３８は、画像７４０～７４８において関心の特徴７１０～７２２に注目するようにさらに処理される。結果として得られる画像７４０～７４８は、次に、画像７４０～７４８のうちの関心の特徴７１０～７２２を含む部分７５０～７５４を分離するために画像７４０～７４８のサイズを縮小するプーリング層を通って処理される。畳み込みニューラルネットワーク７００の出力７５０～７５４は、最後の非出力層から値を受け取り、最後の非出力層から受け取ったデータに基づいて画像を分類する。かかる分類とその形状により、対応する臓器の種類と位置とその形状が特定される。同様に所定の形状の病変の種類と位置とその形状も特定することができる。さらに、畳み込みニューラルネットワーク７００は、新たに収集した超音波データの品質の評価することができる。特定の例において、畳み込みニューラルネットワーク７００は、畳み込み層、プーリング層、学習された特徴、および出力、などについて、多くの異なる変形を含むことができる。

【0070】

以上、本発明の最適な実施形態を中心に説明したが、当業者に明らかなように、本発明はその技術的範囲内において実施形態に様々な変更・変形を加えて実施することができる。

【符号の説明】

【0071】

１００ システム
１０１、１０２、１０３、２００、３１０ 超音波診断装置
１０４ サーバー
１０５ ネットワーク
１０７ 学習済みモデル生産端末
２０２ 超音波プローブ
２０２ａ 振動素子
２０３ 送信ビームフォーマ
２０４ 送信機
２０５ 受信機
２０６ 受信ビームフォーマ
２０７ プロセッサ
２０８ ディスプレイ
２０９ メモリ
２１０ ユーザインタフェース
２１１ スピーカー
３００ 学習済みモデル生産システム
３２０ データストア
３３０ モデルトレーナ
３４０ モデラ
３５０ 出力プロセッサ
３６０ フィードバックユニット
３７０ セレクタ
３８０ アノテーション付加部
４１０ 入力プロセッサ
４２０ トレーニングネットワーク
４３０ 出力検証器
４４０ フィードバックプロセッサ
４５０ プリプロセッサ
４６０ 学習済みモデル
４７０ ポストプロセッサ

【要約】

【課題】入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを効率的に生産する。
【解決手段】
本開示は、入力された超音波データに含まれる臓器の種類及び位置の少なくとも一方を特定する学習済みモデルを生産する方法に関する。超音波データに含まれる臓器の種類及び前記臓器の位置の少なくとも一方を受領し、臓器の種類及び臓器の位置の少なくとも一方と超音波データとを教師データとした機械学習を実行して、学習済みモデル（４６０）を生産する。超音波データは、実質的に１つまたは複数の特定断面に対応するもののみを含み、１つまたは複数の特定断面の各々は、被検体の特定の位置と特定の方向に対応付けられている。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】