特許 7190316 超音波診断装置、超音波撮像プログラム、及び超音波撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】超音波診断装置、超音波撮像プログラム、及び超音波撮像方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20221208BHJP

【ＦＩ】

A61B8/14

【請求項の数】 18

(21)【出願番号】P 2018191574

(22)【出願日】2018-10-10

(65)【公開番号】P2020058593

(43)【公開日】2020-04-16

【審査請求日】2021-09-01

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】橋本 敬介

(72)【発明者】

【氏名】池田 智

【審査官】最首 祐樹

(56)【参考文献】

【文献】特開２００９－１９５５８５（ＪＰ，Ａ）

【文献】特開２０１７－００６６５５（ＪＰ，Ａ）

【文献】特開２０１４－１００２７０（ＪＰ，Ａ）

【文献】特開２０１８－０１１９４９（ＪＰ，Ａ）

【文献】特開２０１５－１８１７８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

被検体の撮像対象である撮像部位を設定する設定部と、
超音波の３Ｄ（three-dimensional）撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する判定部と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる終了支援部と、
を有し、
前記判定部は、
過去の３Ｄ画像データに基づいて構造物の部位名に関する情報を生成する学習済みモデルに対して、前記被検体の前記３Ｄ画像データを入力することで、前記被検体の構造物の部位名に関する情報を生成し、
前記構造物の部位名の、前記撮像部位に対する確度に基づいて、前記３Ｄ画像データに、前記撮像部位に対応する構造物の所定割合が含まれるかを判断する、
超音波診断装置。

【請求項2】

被検体の撮像対象である撮像部位を設定する設定部と、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する判定部と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる終了支援部と、
を有し、
前記判定部は、
前記３Ｄ画像データに含まれる、前記撮像部位を構成する部位要素に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記部位要素に対応する構造物の所定割合が含まれるかを判定し、
前記３Ｄ画像データに、前記部位要素に対応する構造物の所定割合が含まれると判断された場合、前記３Ｄ撮像の進捗度を算出する、
超音波診断装置。

【請求項3】

被検体の撮像対象である撮像部位を設定する設定部と、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する判定部と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる終了支援部と、
を有し、
前記終了支援部は、前記３Ｄ画像データに、前記構造物の所定割合が含まれないと前記判定部により判定された場合であっても、前記３Ｄ画像データに、前記撮像部位に対応する構造物の所定割合の増分がないとき、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる、
超音波診断装置。

【請求項4】

被検体の撮像対象である撮像部位を設定する設定部と、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する判定部と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる終了支援部と、
を有し、
前記終了支援部は、前記３Ｄ画像データに、前記構造物の所定割合が含まれないと前記判定部により判定された場合であっても、前記３Ｄ画像データのサイズに増分がないとき、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる、
超音波診断装置。

【請求項5】

前記３Ｄ撮像により収集された複数の３Ｄ元画像データから、前記３Ｄ画像データとしての３Ｄ合成画像データを合成する画像合成部を更に有し、
前記判定部は、前記３Ｄ合成画像データに、前記撮像部位に対応する構造物の所定割合が含まれるかを判定する、
請求項１乃至４のうちいずれか１項に記載の超音波診断装置。

【請求項6】

前記画像合成部は、前記３Ｄ撮像としての３Ｄパノラマ撮像により収集された複数の３Ｄ元画像データから、前記３Ｄ合成画像データとしての３Ｄパノラマ画像データを合成し、
前記判定部は、前記３Ｄパノラマ画像データに、前記撮像部位に対応する構造物の所定割合が含まれるかを判定する、
請求項５に記載の超音波診断装置。

【請求項7】

前記３Ｄパノラマ画像データを、予め指定された外部装置に送信する送信制御部を更に有する、
請求項６に記載の超音波診断装置。

【請求項8】

前記判定部は、
過去の３Ｄ画像データに基づいて構造物の部位要素名に関する情報を生成する学習済みモデルに対して、前記被検体の前記３Ｄ画像データを入力することで、前記被検体の構造物の部位要素名に関する情報を生成し、
前記構造物の部位要素名の、前記部位要素に対する確度に基づいて、前記３Ｄ画像データに、前記部位要素に対応する構造物の所定割合が含まれるかを判断する、
請求項２に記載の超音波診断装置。

【請求項9】

前記終了支援部は、前記３Ｄ画像データに、前記構造物の所定割合が含まれないと前記判定部により判定された場合であっても、前記３Ｄ撮像の開始からの経過時間が予め定められた一定値を超えたとき、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる、
請求項１乃至８のうちいずれか１項に記載の超音波診断装置。

【請求項10】

前記終了支援部は、撮像部位ごとに、終了支援機能の要否を設定する、
請求項１乃至９のうちいずれか１項に記載の超音波診断装置。

【請求項11】

コンピュータに、
被検体の撮像対象である撮像部位を設定する機能と、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する機能と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる機能と、
過去の３Ｄ画像データに基づいて構造物の部位名に関する情報を生成する学習済みモデルに対して、前記被検体の前記３Ｄ画像データを入力することで、前記被検体の構造物の部位名に関する情報を生成する機能と、
前記構造物の部位名の、前記撮像部位に対する確度に基づいて、前記３Ｄ画像データに、前記撮像部位に対応する構造物の所定割合が含まれるかを判断する機能と、
を実現させる超音波撮像プログラム。

【請求項12】

コンピュータに、
被検体の撮像対象である撮像部位を設定する機能と、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する機能と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる機能と、
前記３Ｄ画像データに含まれる、前記撮像部位を構成する部位要素に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記部位要素に対応する構造物の所定割合が含まれるかを判定する機能と、
前記３Ｄ画像データに、前記部位要素に対応する構造物の所定割合が含まれると判断された場合、前記３Ｄ撮像の進捗度を算出する機能と、
を実現させる超音波撮像プログラム。

【請求項13】

コンピュータに、
被検体の撮像対象である撮像部位を設定する機能と、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する機能と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる機能と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれないと判定された場合であっても、前記３Ｄ画像データに、前記撮像部位に対応する構造物の所定割合の増分がないとき、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる機能と、
を実現させる超音波撮像プログラム。

【請求項14】

コンピュータに、
被検体の撮像対象である撮像部位を設定する機能と、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定する機能と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる機能と、
前記３Ｄ画像データに、前記構造物の所定割合が含まれないと判定された場合であっても、前記３Ｄ画像データのサイズに増分がないとき、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる機能と、
を実現させる超音波撮像プログラム。

【請求項15】

被検体の撮像対象である撮像部位を設定し、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定し、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させ、
過去の３Ｄ画像データに基づいて構造物の部位名に関する情報を生成する学習済みモデルに対して、前記被検体の前記３Ｄ画像データを入力することで、前記被検体の構造物の部位名に関する情報を生成し、
前記構造物の部位名の、前記撮像部位に対する確度に基づいて、前記３Ｄ画像データに、前記撮像部位に対応する構造物の所定割合が含まれるかを判断する、
超音波撮像方法。

【請求項16】

被検体の撮像対象である撮像部位を設定し、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定し、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させ、
前記３Ｄ画像データに含まれる、前記撮像部位を構成する部位要素に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記部位要素に対応する構造物の所定割合が含まれるかを判定し、
前記３Ｄ画像データに、前記部位要素に対応する構造物の所定割合が含まれると判断された場合、前記３Ｄ撮像の進捗度を算出する、
超音波撮像方法。

【請求項17】

被検体の撮像対象である撮像部位を設定し、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定し、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させ、
前記３Ｄ画像データに、前記構造物の所定割合が含まれないと判定された場合であっても、前記３Ｄ画像データに、前記撮像部位に対応する構造物の所定割合の増分がないとき、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる、
超音波撮像方法。

【請求項18】

被検体の撮像対象である撮像部位を設定し、
超音波の３Ｄ撮像により収集された３Ｄ画像データに含まれる、前記撮像部位に対応する構造物の認識の確度により、前記３Ｄ画像データに、前記構造物の所定割合が含まれるかを判定し、
前記３Ｄ画像データに、前記構造物の所定割合が含まれると判定された場合、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させ、
前記３Ｄ画像データに、前記構造物の所定割合が含まれないと判定された場合であっても、前記３Ｄ画像データのサイズに増分がないとき、前記３Ｄ撮像中にその旨を報知するか、又は、前記３Ｄ撮像を終了させる、
超音波撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、超音波診断装置、超音波撮像プログラム、及び超音波撮像方法に関する。

【背景技術】

【0002】

医用分野では、超音波プローブの複数の振動子（圧電振動子）を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。

【0003】

一般に、超音波画像の映像範囲（ＦＯＶ：Field of View）は狭く、撮像対象である構造物の全体をＦＯＶに含めることが困難な場合が多い。そのため、超音波プローブの位置を変えながら、構造物の全体に対する撮像が行われる場合がある。その際、構造物の全体の構造を容易に把握できるようにするため、３Ｄ（three-dimensional）撮像により収集された画像から立体パノラマ画像を合成する技術が広く知られている。

【0004】

また、収集された立体パノラマ画像の観察には、（複数の）断面を設定したＭＰＲ表示やボリュームレンダリング法が用いられることが一般的である。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１３－２３３４１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、超音波プローブを操作する操作者の習熟度に依存することなく、超音波検査を簡便、かつ、効率的に実施させることである。

【課題を解決するための手段】

【0007】

実施形態に係る超音波診断装置は、設定部と、判定部と、終了支援部とを有する。設定部は、被検体の撮像対象である撮像部位を設定する。判定部は、超音波の３Ｄ（three-dimensional）撮像により収集された３Ｄ画像データに含まれる、撮像部位に対応する構造物の認識の確度により、３Ｄ画像データに、構造物の所定割合が含まれるかを判定する。終了支援部は、３Ｄ画像データに、構造物の所定割合が含まれると判定された場合、３Ｄ撮像中にその旨を報知するか、又は、３Ｄ撮像を終了させる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る超音波診断装置の構成を示す概略図。

【図2】図２は、実施形態に係る超音波診断装置の機能を示すブロック図。

【図3】図３は、実施形態に係る超音波診断装置の動作をフローチャートとして示す図。

【図4】図４は、実施形態に係る超音波診断装置における、第ｔフレームにおけるＦＯＶを示す図。

【図5】図５は、実施形態に係る超音波診断装置における、第ｔフレームに係る３Ｄパノラマ画像データの表示例を示す図。

【図6】図６（Ａ）は、実施形態に係る超音波診断装置における、学習時におけるデータフローの一例を示す説明図であり、図６（Ｂ）は、実施形態に係る超音波診断装置における、トレーニングデータの例を表として示す図。

【図7】図７は、実施形態に係る超音波診断装置における、運用時におけるデータフローの一例を示す説明図。

【図8】図８は、実施形態に係る超音波診断装置の第１の変形例の動作をフローチャートとして示す図。

【図9】図９は、実施形態に係る超音波診断装置の第１の変形例の動作をフローチャートとして示す図。

【図10】図１０（Ａ）は、実施形態に係る超音波診断装置における、学習時におけるデータフローの一例を示す説明図であり、図１０（Ｂ）は、実施形態に係る超音波診断装置における、トレーニングデータの例を表として示す図。

【図11】図１１は、実施形態に係る超音波診断装置における、運用時におけるデータフローの一例を示す説明図。

【図12】図１２は、実施形態に係る超音波診断装置における、３Ｄパノラマ撮像の進捗度の表示例を示す図。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、超音波診断装置、超音波撮像プログラム、及び超音波撮像方法の実施形態について詳細に説明する。

【0010】

１．実施形態
図１は、実施形態に係る超音波診断装置の構成を示す概略図である。

【0011】

図１は、実施形態に係る超音波診断装置１０を示す。また、図１は、超音波プローブ２０、入力インターフェース３０、及びディスプレイ４０を示す。なお、超音波診断装置１０に、超音波プローブ２０、入力インターフェース３０、及びディスプレイ４０のうちの少なくとも１個を加えた装置を超音波診断装置と称する場合もある。以下の説明では、超音波診断装置１０の外部に、超音波プローブ２０、入力インターフェース３０、及びディスプレイ４０の全てが備えられる場合について説明する。

【0012】

超音波診断装置１０は、コンピュータとしての構成を備える。また、超音波診断装置１０は、送受信回路１１、Ｂモード処理回路１２、ドプラ処理回路１３、画像生成回路１４、画像メモリ１５、ネットワークインターフェース１６、処理回路１７、及びメインメモリ１８を備える。回路１１～１４は、特定用途向け集積回路（ＡＳＩＣ:Application Specific Integrated Circuit）等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路１１～１４の機能の全部又は一部は、処理回路１７がプログラムを実行することで実現されるものであってもよい。

【0013】

送受信回路１１は、送信回路及び受信回路（図示省略）を有する。送受信回路１１は、処理回路１７による制御の下、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信回路１１が超音波診断装置１０に設けられる場合について説明するが、送受信回路１１は、超音波プローブ２０に設けられてもよいし、超音波診断装置１０及び超音波プローブ２０の両方に設けられてもよい。なお、送受信回路１１は、送受信部の一例である。

【0014】

送信回路は、パルス発生回路、送信遅延回路、及びパルサ回路等を有し、超音波振動子に駆動信号を供給する。パルス発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ２０の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。

【0015】

受信回路は、アンプ回路、Ａ／Ｄ（Analog to Digital）変換器、及び加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。

【0016】

Ｂモード処理回路１２は、処理回路１７による制御の下、受信回路からエコーデータを受信し、対数増幅、及び包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（２Ｄ又は３Ｄデータ）を生成する。このデータは、一般に、Ｂモードデータと呼ばれる。なお、Ｂモード処理回路１２は、Ｂモード処理部の一例である。

【0017】

なお、Ｂモード処理回路１２は、フィルタ処理により、検波周波数を変化させることで、画像化する周波数帯域を変えることができる。Ｂモード処理回路１２のフィルタ処理機能を用いることにより、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）等のハーモニックイメージングを実行可能である。すなわち、Ｂモード処理回路１２は、造影剤が注入された被検体の反射波データから、造影剤（微小気泡、バブル）を反射源とするハーモニック成分の反射波データ（高調波データ又は分周波データ）と、被検体内の組織を反射源とする基本波成分の反射波データ（基本波データ）とを分離することができる。Ｂモード処理回路１２は、また、ハーモニック成分の反射波データ（受信信号）から、造影画像データを生成するためのＢモードデータを生成することができ、また、基本波成分の反射波データ（受信信号）から、基本波（ファンダメンタル）画像データを生成するためのＢモードデータを生成することができる。

【0018】

ドプラ処理回路１３は、処理回路１７による制御の下、受信回路からのエコーデータから速度情報を周波数解析し、平均速度、分散、パワー等の移動体の移動情報を多点について抽出したデータ（２Ｄ又は３Ｄデータ）を生成する。このデータは、一般に、ドプラデータと呼ばれる。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。なお、ドプラ処理回路１３は、ドプラ処理部の一例である。

【0019】

画像生成回路１４は、処理回路１７による制御の下、超音波プローブ２０が受信したエコー信号に基づいて、所定の輝度レンジで表現された超音波画像データを生成する。例えば、画像生成回路１４は、超音波画像データとして、Ｂモード処理回路１２によって生成された２ＤのＢモードデータから反射波の強度を輝度にて表した２ＤのＢモード画像データを生成する。また、画像生成回路１４は、超音波画像として、ドプラ処理回路１３によって生成された２Ｄのドプラデータから移動態情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としての２Ｄのカラードプラ画像データを生成する。以下、２ＤのＢモード画像データや、２Ｄのカラードプラ画像データ等の２Ｄの超音波画像データを、単に「２Ｄ画像データ」と呼ぶ。

【0020】

ここで、画像生成回路１４は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の画像データを生成する。具体的には、画像生成回路１４は、超音波プローブ２０による超音波の走査形態に応じて座標変換を行なうことで、表示用の画像データを生成する。また、画像生成回路１４は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、画像生成回路１４は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

【0021】

すなわち、Ｂモードデータ及びドプラデータは、スキャンコンバート処理前の画像データであり、画像生成回路１４が生成するデータは、スキャンコンバート処理後の表示用の画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw Data）とも呼ばれる。画像生成回路１４は、スキャンコンバート処理前の２Ｄ画像データから、表示用の２Ｄ画像データを生成する。

【0022】

更に、画像生成回路１４は、Ｂモード処理回路１２によって生成された３ＤのＢモードデータに対して座標変換を行なうことで、３ＤのＢモード画像データを生成する。また、画像生成回路１４は、ドプラ処理回路１３によって生成された３Ｄのドプラデータに対して座標変換を行なうことで、３Ｄのドプラ画像データを生成する。画像生成回路１４は、３ＤのＢモード画像データや３Ｄドプラ画像データを３Ｄの超音波画像データ（ボリュームデータ）として生成する。以下、３ＤのＢモード画像データや、３Ｄのカラードプラ画像データ等の３Ｄの超音波画像データを、後述する「３Ｄ合成画像データ」と区別するために、「３Ｄ元画像データ」と呼ぶ。「３Ｄ合成画像データ」も「３Ｄ元画像データ」も、「３Ｄ画像データ」の一種である。

【0023】

さらに、画像生成回路１４は、３Ｄ画像データをディスプレイ４０にて表示するための各種の２Ｄ画像データを生成するために、３Ｄ画像データに対してレンダリング処理を行なう。また、画像生成回路１４は、レンダリング処理として、例えば、３Ｄの情報を反映した２Ｄ画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理を行う。また、画像生成回路１４は、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行なって３Ｄ画像データからＭＰＲ画像データを生成する処理を行う。ステレオ視等によりレンダリング画像の立体視を行う場合には、画像生成回路１４において、異なる複数の視点からレンダリング処理を行う。なお、画像生成回路１４は、画像生成部の一例である。

【0024】

画像メモリ１５は、１フレーム当たり２軸方向に複数のメモリセルを備え、それを複数フレーム分備えたメモリである２次元メモリを含む。画像メモリ１５としての２次元メモリは、処理回路１７の制御による制御の下、画像生成回路１４によって生成された１フレーム、又は、複数フレームに係る２Ｄ画像データを記憶する。なお、画像メモリ１５は、記憶部の一例である。

【0025】

画像生成回路１４は、処理回路１７による制御の下、画像メモリ１５としての２次元メモリに配列された２Ｄ画像データに対し、必要に応じて補間処理を行う３次元再構成を行うことで、画像メモリ１５としての３次元メモリ内に２Ｄ画像データを３Ｄ画像データとして生成する。補間処理方法としては、公知の技術が用いられる。

【0026】

画像メモリ１５は、３軸方向（Ｘ軸、Ｙ軸、及びＺ軸方向）に複数のメモリセルを備えたメモリである３次元メモリを含む場合もある。画像メモリ１５としての３次元メモリは、処理回路１７の制御による制御の下、画像生成回路１４によって生成された２Ｄ画像データを３Ｄ画像データとして記憶する。

【0027】

ネットワークインターフェース１６は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインターフェース１６は、この各種プロトコルに従って、超音波診断装置１０と、外部の医用画像管理装置６０及び医用画像処理装置７０等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線の病院基幹のＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。

【0028】

また、ネットワークインターフェース１６は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、超音波診断装置１０は、例えば超音波プローブ２０と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース１６は、ネットワーク接続部の一例である。

【0029】

処理回路１７は、専用又は汎用のＣＰＵ（central processing unit）、ＭＰＵ（micro processor unit）、又はＧＰＵ（Graphics Processing Unit）の他、ＡＳＩＣ、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：simple programmable logic device）、複合プログラマブル論理デバイス（ＣＰＬＤ：complex programmable logic device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）等が挙げられる。

【0030】

また、処理回路１７は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合わせによって構成されてもよい。後者の場合、メインメモリ１８は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ１８が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。なお、処理回路１７は、処理部の一例である。

【0031】

メインメモリ１８は、ＲＡＭ（random access memory）、フラッシュメモリ（flash memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メインメモリ１８は、ＵＳＢ（universal serial bus）メモリ及びＤＶＤ（digital video disk）等の可搬型メディアによって構成されてもよい。メインメモリ１８は、処理回路１７において用いられる各種処理プログラム（アプリケーションプログラムの他、ＯＳ（operating system）等も含まれる）や、プログラムの実行に必要なデータを記憶する。また、ＯＳに、操作者に対するディスプレイ４０への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース３０によって行うことができるＧＵＩ（graphical user interface）を含めることもできる。なお、メインメモリ１８は、記憶部の一例である。

【0032】

超音波プローブ２０は、前面部に複数個の微小な振動子（圧電素子）を備え、撮像部位を含む領域に対して超音波の送受波を行う。各振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、また、受信時には反射波を電気信号（受信信号）に変換する機能を有する。超音波プローブ２０は小型、軽量に構成されており、ケーブル（又は無線通信）を介して超音波診断装置１０に接続される。

【0033】

超音波プローブ２０は、スキャン方式の違いにより、リニア型、コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ２０は、アレイ配列次元の違いにより、アジマス方向に１次元（１Ｄ）的に複数個の振動子が配列された１Ｄアレイプローブと、アジマス方向かつエレベーション方向に２次元（２Ｄ）的に複数個の振動子が配列された２Ｄアレイプローブとの種類に分けられる。なお、１Ｄアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。

【0034】

ここで、パノラミックスキャン等の３Ｄ撮像が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた２Ｄアレイプローブが利用される。又は、３Ｄ撮像が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた１Ｄプローブが利用される。後者のプローブは、メカ４Ｄプローブとも呼ばれる。

【0035】

入力インターフェース３０は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路１７に出力する。なお、入力インターフェース３０は、入力部の一例である。

【0036】

ディスプレイ４０は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ４０は、処理回路１７の制御に従って各種情報を表示する。画像生成回路１４において複数視点からのレンダリング処理を行ってステレオ視等を行う場合、ディスプレイ４０は偏向板やアクティブシャッター等を用いた３Ｄディスプレイ、レンチキュラーレンズ等を用いた裸眼３Ｄディスプレイ、メガネやゴーグル等の形状を持つウェアラブルディスプレイ等を用いる。なお、ディスプレイ４０は、表示部の一例である。

【0037】

また、図１は、超音波診断装置１０の外部機器である医用画像管理装置６０及び医用画像処理装置７０を示す。医用画像管理装置６０は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであり、ネットワークＮを介してデータ送受信可能に超音波診断装置１０等の機器に接続される。医用画像管理装置６０は、超音波診断装置１０によって生成された超音波画像等の医用画像をＤＩＣＯＭファイルとして管理する。

【0038】

医用画像処理装置７０は、ネットワークＮを介してデータ送受信可能に超音波診断装置１０や医用画像管理装置６０等の機器に接続される。医用画像処理装置７０としては、例えば、超音波診断装置１０によって生成された超音波画像に対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等が挙げられる。なお、医用画像処理装置７０はオフラインの装置であって、超音波診断装置１０によって生成された超音波画像を可搬型の記憶媒体を介して読み出し可能な装置であってもよい。

【0039】

続いて、超音波診断装置１０の機能について説明する。

【0040】

図２は、超音波診断装置１０の機能を示すブロック図である。

【0041】

処理回路１７は、メインメモリ１８に記憶された、又は、処理回路１７内に直接組み込まれたプログラムを読み出して実行することで、設定機能１７１、画像収集機能１７２、画像合成機能１７３、判定機能１７４、終了支援機能１７５、及び送信制御機能１７６を実現する。以下、機能１７１～１７６がソフトウェア的に機能する場合を例に挙げて説明するが、機能１７１～１７６の全部又は一部は、超音波診断装置１０にＡＳＩＣ等の回路等として設けられるものであってもよい。

【0042】

設定機能１７１は、撮像対象としての撮像部位を設定する。例えば、設定機能１７１は、操作者が入力インターフェース３０を介して入力した入力信号に従って、心臓、胎児、肝臓、及び腎臓等の撮像部位を設定する。又は、設定機能１７１は、外部装置（例えば、ＭＷＭ（Modality Worklist Management）サーバ）から送信される検査オーダに含まれる検査部位を撮像部位として設定してもよい。なお、設定機能１７１は、設定部の一例である。

【0043】

画像収集機能１７２は、送受信回路１１、Ｂモード処理回路１２、ドプラ処理回路１３、及び画像生成回路１４等を制御して、超音波プローブ２０を用いた３Ｄ撮像を実行させて３Ｄ元画像データを収集する機能を含む。３Ｄ元画像データは、３Ｄ画像データの一種である。なお、画像収集機能１７２は、画像収集部の一例である。

【0044】

画像合成機能１７３は、画像収集機能１７２によって収集された複数の３Ｄ元画像データから３Ｄの超音波合成画像データ（以下、単に、「３Ｄ合成画像データ」という）を合成する機能を含む。３Ｄ合成画像データは、３Ｄ画像データの一種である。なお、画像合成機能１７３は、画像合成部の一例である。

【0045】

判定機能１７４は、３Ｄ画像データに含まれる、撮像部位に対応する構造物の認識の確度（３Ｄ画像データから認識された構造物が示す部位の、設定された撮像部位らしさ）により、３Ｄ画像データに、撮像部位に対応する構造物の所定割合が含まれるかを判定する機能を含む。つまり、判定機能１７４は、画像収集機能１７２によって収集された３Ｄ元画像データ、又は、画像合成機能１７３によって合成された３Ｄ合成画像データに、撮像部位に対応する構造物の所定割合が含まれるかを判定する機能を含む。なお、所定割合は、閾値であり、予め任意に設定できるものとする。また、判定機能１７４は、撮像部位ごとに、所定割合を変えて設定することもできる。

【0046】

ここで、撮像部位は、心臓、肝臓、及び腎臓等の臓器の他、胎児をも含み得る。なお、判定機能１７４は、判定部の一例である。

【0047】

終了支援機能１７５は、判定機能１７４により３Ｄ画像データに、撮像部位に対応する構造物の所定割合が含まれると判定された場合、３Ｄ撮像中にその旨を報知するか、又は、３Ｄ撮像を終了させる機能を含む。例えば、終了支援機能１７５は、撮像部位の所定範囲が画像化されたと判定された場合、３Ｄ撮像中に撮像の終了を促す情報をディスプレイ４０に表示させることもできるし、その情報をスピーカ（図示省略）から発声させることもできる。なお、終了支援機能１７５は、終了支援部の一例である。また、終了支援機能１７５は、撮像部位ごとに、終了支援機能の要否を設定することもできる。

【0048】

送信制御機能１７６は、３Ｄ画像データを、ネットワークインターフェース１６を介して、予め設定された外部装置に逐次送信する機能を含む。つまり、送信制御機能１７６は、画像収集機能１７２によって収集された３Ｄ元画像データ、又は、画像合成機能１７３によって合成された３Ｄ合成画像データを、ネットワークインターフェース１６を介して外部装置に逐次送信する機能を含む。これにより、当該外部装置を使って、３Ｄ画像データに描画される、構造物の割合を参照することができる。

【0049】

機能１７１～１７６の詳細については、図３～図１２を用いて説明する。

【0050】

続いて、超音波診断装置１０の動作について説明する。

【0051】

図３は、超音波診断装置１０の動作をフローチャートとして示す図である。図３において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。

【0052】

図３において、画像合成機能１７３が、画像収集機能１７２によって収集された複数の３Ｄ元画像データから、３Ｄ合成画像データとしての３Ｄ（立体）パノラマ画像データを合成し、判定機能１７４が、３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれるかを判定する場合について説明する。その場合、画像合成機能１７３は、複数の３Ｄ元画像データ（動画像フレーム列）を超音波プローブ２０の移動操作に応じて相互に接続する。画像合成機能１７３は、動画像フレーム列の指定部分を接続することで３Ｄパノラマ画像データを合成する。

【0053】

まず、設定機能１７１は、撮像対象としての撮像部位を設定する（ステップＳＴ１）。例えば、設定機能１７１は、ステップＳＴ１において、操作者が入力インターフェース３０を介して入力した指定指示に従って撮像部位を設定する。

【0054】

画像収集機能１７２は、送受信回路１１、Ｂモード処理回路１２、ドプラ処理回路１３、及び画像生成回路１４等を制御して、超音波プローブ２０を用いた超音波の３Ｄパノラマ撮像を開始させる（ステップＳＴ２）。３Ｄパノラマ撮像は、３Ｄ撮像の一種である。画像収集機能１７２は、画像生成回路１４等を制御して、第ｔフレームに係る３Ｄ元画像データを生成して画像メモリ１５に記憶させる（ステップＳＴ３）。また、画像収集機能１７２は、ステップＳＴ３によって生成された第ｔフレームに係る３Ｄ元画像データをディスプレイ４０にライブ表示させる（ステップＳＴ４）。

【0055】

図４は、第ｔフレームにおけるＦＯＶを示す図である。図４（Ａ）は、超音波プローブ２０と、ｔ＝ｔ１、即ち、第ｔ１フレームに係る３Ｄ元画像データのＦＯＶ＿ｋ１とを示す。図４（Ｂ）は、超音波プローブ２０と、ｔ＝ｔ２、即ち、第ｔ２フレームに係る３Ｄ元画像データのＦＯＶ＿ｋ２とを示す。図４（Ｃ）は、超音波プローブ２０と、ｔ＝ｔ３、即ち、第ｔ３フレームに係る３Ｄ元画像データのＦＯＶ＿ｋ３とを示す。

【0056】

図４（Ａ）～（Ｃ）に示すように、ＦＯＶは狭く、ＦＯＶに撮像部位Ｕに対応する構造物の全体をＦＯＶ内に画像化することは困難な場合がある。そのため、図４（Ａ）～（Ｃ）に示すように、超音波プローブ２０の位置を変えながら、撮像部位Ｕに対応する構造物の全体に対するパノラマ３Ｄ撮像が行われる。

【0057】

図３の説明に戻って、画像合成機能１７３は、ステップＳＴ３によって画像メモリ１５に記憶された第ｔフレームまでの複数の３Ｄ元画像データに基づいて、第ｔフレームに係る３Ｄパノラマ画像データを合成する（ステップＳＴ５）。また、画像合成機能１７３は、ステップＳＴ５によって合成された第ｔフレームに係る３Ｄパノラマ画像データをディスプレイ４０に表示させる（ステップＳＴ６）。

【0058】

図５は、第ｔフレームに係る３Ｄパノラマ画像データの表示例を示す図である。図５（Ａ）は、第ｔ１フレームに係る３Ｄパノラマ画像データを示す。図５（Ｂ）は、第ｔ２フレームに係る３Ｄパノラマ画像データを示す。図５（Ｃ）は、第ｔ３フレームに係る３Ｄパノラマ画像データを示す。

【0059】

図５（Ｂ）に示すように、第ｔ２フレームに係る３Ｄパノラマ画像データ（例えば、ＭＰＲ表示）は、第ｔ２フレームまでに生成及び記憶されている第ｔ１フレーム及び第ｔ２フレームに係る３Ｄ元画像データに基づいて生成される。また、図５（Ｃ）に示すように、第ｔ３フレームに係る３Ｄパノラマ画像データは、第ｔ３フレームまでに生成及び記憶されている第ｔ１フレーム、第ｔ２フレーム、及び第ｔ３フレームに係る３Ｄ元画像データに基づいて生成される。

【0060】

図３の説明に戻って、判定機能１７４は、ステップＳＴ６によって合成された３Ｄパノラマ画像データに含まれる、撮像部位に対応する構造物の認識の確度により、３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれるかを判定する（ステップＳＴ７，ＳＴ８）。

【0061】

まず、判定機能１７４は、ステップＳＴ６によって合成された３Ｄパノラマ画像データに含まれる、撮像部位に対応する構造物の認識の確度を求めるために、３Ｄパノラマ画像データに含まれる構造物の部位名に関する情報を生成する（ステップＳＴ７）。

【0062】

ステップＳＴ７において、判定機能１７４は、第ｔフレームに係る３Ｄパノラマ画像データに基づいて、３Ｄパノラマ画像データに含まれる構造物の部位名に関する情報を生成する処理を行うものである。この処理には、例えば、各種部位に対応する構造物全体を含む３Ｄ画像データ（過去画像）と、構造物の部位名とを関連付けたルックアップテーブル（ＬＵＴ）が用いられてもよい。また、この処理には、機械学習が用いられてもよい。機械学習を用いる場合、判定機能１７４は、例えば、部位に対応する構造物全体を含む３Ｄ画像データから特徴量を求め、その特徴量について、予め３Ｄ画像データを正解データとして学習した辞書とＳＶＭ（サポートベクターマシン）等で照合して算出した尤度を撮像部位として出力してもよい。また、機械学習としてＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）などの、多層のニューラルネットワークを用いた深層学習を用いてもよい。

【0063】

以下の説明では、判定機能１７４がニューラルネットワークＮＡを含み、深層学習を用いて、第ｔフレームに係る３Ｄパノラマ画像データに基づいて、パノラマ画像データに含まれる構造物の部位名を生成する場合の例を示す。

【0064】

図６（Ａ）は、判定機能１７４の学習時におけるデータフローの一例を示す説明図である。図６（Ｂ）は、トレーニングデータの例を表として示す図である。図７は、判定機能１７４の運用時におけるデータフローの一例を示す説明図である。

【0065】

図６（Ａ）に示すように、判定機能１７４は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータＰＡを逐次的に更新する。トレーニングデータは、トレーニング入力データ群Ｆを構成するトレーニング入力データと、トレーニング出力データ群Ｇを構成するトレーニング出力データとの組みからなる。そして、トレーニング入力データ群Ｆは、部位に対応する構造物全体を含む３Ｄ画像データ（過去画像）Ｆ１，Ｆ２，Ｆ３，…を含み、トレーニング出力データ群Ｇは、構造物の部位名Ｇ１，Ｇ２，Ｇ３，…を含む。

【0066】

判定機能１７４は、トレーニングデータが入力されるごとに、３Ｄ画像データＦ１，Ｆ２，Ｆ３，…をニューラルネットワークＮＡで処理した構造物の部位名Ｇ１，Ｇ２，Ｇ３，…に近づくようにパラメータデータＰＡを更新していく、いわゆる学習を行う。一般に、パラメータデータＰＡの変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータＰＡを特に学習済みパラメータデータＰＡ´（図７に図示）という。

【0067】

図７に示すように、運用時には、判定機能１７４は、第ｔフレームに係る３Ｄパノラマ画像データをニューラルネットワークＮＡに入力し、学習済みパラメータデータＰＡ´を用いて構造物の部位名を出力する。

【0068】

なお、ニューラルネットワークＮＡと学習済みパラメータデータＰＡ´は、学習済みモデル１９Ａを構成する。ニューラルネットワークＮＡは、プログラムの形態でメインメモリ１８に記憶される。学習済みパラメータデータＰＡ´は、メインメモリ１８に記憶されてもよいし、ネットワークを介して超音波診断装置１０と接続された記憶媒体に記憶されてもよい。この場合、処理回路１７のプロセッサにより実現される、処理部の一例としての判定機能１７４は、メインメモリ１８から学習済みモデル１９Ａを読み出して実行することで、第ｔフレームに係る３Ｄパノラマ画像データに基づいて、構造物の部位名に関する情報を生成する。なお、学習済みモデル１９Ａは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって構築されてもよい。

【0069】

なお、判定機能１７４を含む学習済みモデル１９Ａが出力する被検体の構造物の部位名は、例えば、各部位名の可能性をパーセント（確度）で示すデータ（例えば、心臓：ｘ％、肝臓：ｙ％）であってもよい。

【0070】

また、判定機能１７４による構造物の部位名の精度を向上させるよう、入力データとして、３Ｄ画像データＦ１，Ｆ２，Ｆ３，…に加え、患者の身長、体重、既往歴、及び血縁者の病歴の少なくとも１つを含む識別情報を用いてもよい。また、複数の撮像部位が存在する場合は、撮像部位ごとにニューラルネットワークを構成してもよい。

【0071】

図３の説明に戻って、判定機能１７４は、ステップＳＴ７によって生成された構造物の部位名の、ステップＳＴ１によって設定された撮像部位に対する確度に基づいて、ステップＳＴ６によって生成された第ｔフレームに係る３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれるか否かを判断する（ステップＳＴ８）。例えば、判定機能１７４は、ステップＳＴ７によって生成された構造物の部位名の、撮像部位に対する確度が９０％以上である場合に、３Ｄパノラマ画像データに、撮像部位に対応する構造物の１００％（全体）が含まれると判断する。

【0072】

ステップＳＴ８の判断にてＮＯ、即ち、第ｔフレームに係る３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれていないと判断された場合、画像収集機能１７２は、画像生成回路１４等を制御して、次のフレームについて、３Ｄ元画像データを生成して画像メモリ１５に記憶させる（ステップＳＴ３）。つまり、３Ｄパノラマ撮像が継続される。なお、第ｔフレームに係る３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれていないと判断された場合とは、撮像範囲が未だ狭い場合に起因する他、患者が疾患を抱えている場合も考えられる。その場合、終了支援機能１７５は、当該撮像部位名をディスプレイ４０に強調表示させることもできる。

【0073】

一方で、ステップＳＴ８の判断にてＹＥＳ、即ち、第ｔフレームに係る３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれると判断された場合、終了支援機能１７５は、ステップＳＴ２によって開始された３Ｄパノラマ撮像を強制的に終了させる（ステップＳＴ９）。なお、３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれると判断された場合、終了支援機能１７５は、３Ｄパノラマ撮像中にその旨を報知してもよい。その場合、操作者が入力インターフェース３０を介して入力した終了指示に従って、３Ｄパノラマ撮像を終了させる。

【0074】

超音波診断装置１０によれば、超音波プローブ２０を操作する操作者の習熟度に依存することなく、超音波検査の終了のタイミングを操作者に提示することができる。

【0075】

２．第１の変形例
以上では、撮像部位の全体を認識するディープニューラルネットを用いて、撮像部位に対応する構造物を画像化するための３Ｄ撮像を終了させるべきかを判断する構成について説明した。しかしながら、その場合に限定されるものではない。ここでは、撮像部位を構成する各部位要素に対応する構造物を個別に認識するディープニューラルネットを用いてもよい。

【0076】

部位要素とは、例えば撮像部位が心臓である場合の弁（僧帽弁、三尖弁、大動脈弁）、中隔、心房（右／左）、心室（右／左）、及びそれらの組み合わせを意味する。また、部位要素とは、例えば、撮像部位が胎児である場合の頭部、上肢（右／左）、トルソ、大腿部、下肢（右／左）、及びそれらの組み合わせを意味する。

【0077】

続いて、超音波診断装置１０の第１の変形例の動作について説明する。

【0078】

図８及び図９は、超音波診断装置１０の第１の変形例の動作をフローチャートとして示す図である。図８及び図９において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。なお、図８において、図３と同一ステップには同一符号を付して説明を省略する。

【0079】

ステップＳＴ８の判断にてＮＯ、即ち、第ｔフレームに係る３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれていないと判断された場合、判定機能１７４は、ステップＳＴ６によって合成された３Ｄパノラマ画像データに含まれる、部位要素に対応する構造物の認識の確度により、３Ｄパノラマ画像データに、部位要素に対応する構造物の所定割合が含まれるかを判定する（ステップＳＴ１１，ＳＴ１２）。

【0080】

まず、判定機能１７４は、ステップＳＴ６によって合成された３Ｄパノラマ画像データに含まれる、部位要素に対応する構造物の認識の確度を求めるために、３Ｄパノラマ画像データに含まれる構造物の部位要素名に関する情報を生成する（ステップＳＴ１１）。

【0081】

ステップＳＴ１１において、判定機能１７４は、第ｔフレームに係る３Ｄパノラマ画像データに基づいて、３Ｄパノラマ画像データに含まれる構造物の部位要素名に関する情報を生成する処理を行うものである。以下の説明では、判定機能１７４がニューラルネットワークＮＢを含み、深層学習を用いて、第ｔフレームに係る３Ｄパノラマ画像データに基づいて、パノラマ画像データに含まれる構造物の部位要素名を生成する場合の例を示す。

【0082】

図１０（Ａ）は、判定機能１７４の学習時におけるデータフローの一例を示す説明図である。図１０（Ｂ）は、トレーニングデータの例を表として示す図である。図１１は、判定機能１７４の運用時におけるデータフローの一例を示す説明図である。

【0083】

図１０（Ａ）に示すように、判定機能１７４は、トレーニングデータが多数入力されて学習を行うことにより、パラメータデータＰＢを逐次的に更新する。トレーニングデータは、トレーニング入力データ群Ｈを構成するトレーニング入力データと、トレーニング出力データ群Ｊを構成するトレーニング出力データとの組みからなる。そして、トレーニング入力データ群Ｈは、部位要素に対応する構造物全体を含む３Ｄ画像データ（過去画像）Ｈ１，Ｈ２，Ｈ３，…を含み、トレーニング出力データ群Ｊは、構造物の部位要素名Ｊ１，Ｊ２，Ｊ３，…を含む。

【0084】

判定機能１７４は、トレーニングデータが入力されるごとに、３Ｄ画像データＨ１，Ｈ２，Ｈ３，…をニューラルネットワークＮＢで処理した構造物の部位要素名Ｊ１，Ｊ２，Ｊ３，…に近づくようにパラメータデータＰＢを更新していく、いわゆる学習を行う。一般に、パラメータデータＰＢの変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータＰＡを特に学習済みパラメータデータＰＢ´（図１１に図示）という。

【0085】

図１１に示すように、運用時には、判定機能１７４は、第ｔフレームに係る３Ｄパノラマ画像データをニューラルネットワークＮＢに入力し、学習済みパラメータデータＰＢ´を用いて構造物の部位要素名を出力する。

【0086】

なお、ニューラルネットワークＮＢと学習済みパラメータデータＰＢ´は、学習済みモデル１９Ｂを構成する。ニューラルネットワークＮＢは、プログラムの形態でメインメモリ１８に記憶される。学習済みパラメータデータＰＢ´は、メインメモリ１８に記憶されてもよいし、ネットワークを介して超音波診断装置１０と接続された記憶媒体に記憶されてもよい。この場合、処理回路１７のプロセッサにより実現される、処理部の一例としての判定機能１７４は、メインメモリ１８から学習済みモデル１９Ｂを読み出して実行することで、第ｔフレームに係る３Ｄパノラマ画像データに基づいて、構造物の部位要素名に関する情報を生成する。なお、学習済みモデル１９Ｂは、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構築されてもよい。

【0087】

なお、判定機能１７４を含む学習済みモデル１９Ｂが出力する被検体の構造物の部位要素名は、例えば、各部位要素名の可能性をパーセント（確度）で示すデータ（例えば、弁：ｘ％、弁・中隔：ｙ％）であってもよい。

【0088】

図９の説明に戻って、判定機能１７４は、ステップＳＴ１１によって生成された構造物の部位要素名の、ステップＳＴ１によって設定された撮像部位を構成する部位要素に対する確度に基づいて、ステップＳＴ６によって生成された第ｔフレームに係る３Ｄパノラマ画像データに、部位要素に対応する構造物の所定割合が含まれるか否かを判断する（ステップＳＴ１２）。例えば、判定機能１７４は、ステップＳＴ１１によって生成された構造物の部位要素名の、部位要素に対する確度が９０％以上である場合に、３Ｄパノラマ画像データに、部位要素に対応する構造物の１００％（全体）が含まれると判断する。

【0089】

なお、撮像部位を構成する部位要素は、予め撮像部位に対応付けておけばよい。例えば、撮像部位として「心臓」が設定された場合は、部位要素として、弁、中隔、心房、心室、及びそれらの組み合わせが抽出される。

【0090】

ステップＳＴ１２の判断にてＮＯ、即ち、第ｔフレームに係る３Ｄパノラマ画像データに、部位要素に対応する構造物の所定割合が含まれていないと判断された場合、画像収集機能１７２は、画像生成回路１４等を制御して、次のフレームについて、３Ｄ元画像データを生成して画像メモリ１５に記憶させる（ステップＳＴ３）。つまり、３Ｄパノラマ撮像が継続される。

【0091】

一方で、ステップＳＴ１２の判断にてＹＥＳ、即ち、第ｔフレームに係る３Ｄパノラマ画像データに、部位要素に対応する構造物の所定割合が含まれると判断された場合、終了支援機能１７５は、３Ｄパノラマ撮像の進捗度を算出する（ステップＳＴ１３）。３Ｄパノラマ撮像の進捗度は、部位要素としての弁の全体が含まれている場合は「１０％」と、部位要素としての弁及び中隔の全体が含まれている場合は「４５％」と、部位要素としての弁、中隔、及び心房の全体が含まれている場合は「８０％」と予め設定さていればよい。

【0092】

終了支援機能１７５は、ステップＳＴ１３によって算出された３Ｄパノラマ撮像の進捗度をディスプレイに表示させる（ステップＳＴ１４）。３Ｄパノラマ進捗度の表示は、プログレスバー等を用いて操作者に示すことができる。また、進捗度は、音声情報として操作者にフィードバックすることもできる。

【0093】

図１２は、３Ｄパノラマ撮像の進捗度の表示例を示す図である。図１２（Ａ）は、第ｔ１フレームに係るパノラマ画像を示し、図１２（Ｂ）は、第ｔ２フレームに係るパノラマ画像を示す。

【0094】

図１２（Ａ），（Ｂ）に示すように、３Ｄパノラマ撮像の進捗度は、図５に示す表示画面上に示されればよい。３Ｄパノラマ進捗度の表示は、プログレスバーＩを用いて操作者に示すことができる。図１２（Ａ）は、例えば、撮像部位が「心臓」である場合の、部位要素「弁及び中隔」の全体が撮像された時点における進捗度「４５％」の表示を示す。図１２（Ｂ）は、例えば、撮像部位が「心臓」である場合の、部位要素「弁、中隔、及び心房」の全体が撮像された時点における進捗度「８０％」の表示を示す。

【0095】

超音波診断装置１０の第１の変形例によれば、超音波プローブ２０を操作する操作者の習熟度に依存することなく、３Ｄ撮像の進捗度を提示しつつ、３Ｄ撮像の終了のタイミングを操作者に提示することができる。

【0096】

３．第２の変形例
３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれる場合に、３Ｄパノラマ撮像を強制的に終了させる場合について説明した。しかし、その場合に限定されるものではない。終了支援機能１７５は、３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合が含まれない場合であっても、［１］３Ｄパノラマ撮像の開始からの経過時間が予め定められた一定値を超えたとき、［２］３Ｄパノラマ画像データに、撮像部位に対応する構造物の所定割合の増分がないとき、［３］３Ｄ画像データのサイズに増分がないとき、の少なくとも１つの条件を満たせば、３Ｄパノラマ撮像を強制的に終了させてもよい。

【0097】

上記条件［１］について説明する。操作者が超音波プローブ２０の操作に手間取り、撮像部位ごとに予め定められた時間を経過しても操作を終了できていない場合には、半ば強制的に３Ｄパノラマ撮像を終了させるように構成してもよい。つまり、終了支援機能１７５は、３Ｄパノラマ画像データに、構造物の所定割合が含まれないと判定機能１７４により判定された場合であっても、３Ｄパノラマ撮像の開始からの経過時間が予め定められた一定値を超えたとき、３Ｄパノラマ撮像中にその旨を報知するか、又は、３Ｄパノラマ撮像を終了させる。終了支援機能１７５は、撮像部位ごとに、タイマ機能の要否を設定することもできる。

【0098】

終了支援機能１７５は、初期設定としてタイマ時間を設定しておき、３Ｄパノラマ撮像の開始よりタイマ動作を開始させる。通常、操作者が所定時間内に３Ｄパノラマ撮像を終了させた場合には、終了支援機能１７５は、画像収集機能１７２よりタイマ機能の停止に必要なメッセージ情報を受信する。

【0099】

しかし、終了支援機能１７５は、所定時間内に３Ｄパノラマ撮像を終了していない場合には、アラーム通知等を行う。そして、終了支援機能１７５は、３Ｄパノラマ撮像、信号、画像処理、３Ｄパノラマ画像の合成処理等の動作を終了させると共に、操作者に対して動作を終了させた旨を通知するためのメッセージ表示、又は、音声通知を行う。また、終了支援機能１７５は、超音波プローブ２０による撮像方向の変更や、患者に体位の変更を促すためのメッセージ表示、又は、音声通知を行うこともできる。

【0100】

なお、途中まで合成された３Ｄパノラマ画像データを保存、又は、外部装置にネットワーク伝送する等を行うこともでき、また、一旦終了させた３Ｄパノラマ撮像を継続して実行できるようにしてもよい。前者の場合、外部装置の側で、３Ｄパノラマ画像データに基づき３Ｄパノラマ撮像の終了の原因を判断することができる。後者の場合、ディスプレイ４０へのメッセージ表示、又は、音声によるメッセージ伝達を受けて操作者がタッチ操作や音声指示により３Ｄパノラマ撮像を継続させることができる。ただし、この場合には、初期設定よりも短い時間を設定することで効率的な画像収集を操作者に促すことが好適である。また、延長操作の回数については制限を持たせることでもよいし、操作者が必要な分だけ時間を確保できるように無制限とすることも可能である。

【0101】

続いて、上記条件［２］について説明する。終了支援機能１７５は、３Ｄパノラマ画像データに、構造物の所定割合が含まれないと判定機能１７４により判定された場合であっても、３Ｄパノラマ画像データに、構造物の所定割合の増分がないとき、３Ｄパノラマ撮像中にその旨を報知するか、又は、３Ｄパノラマ撮像を終了させる。なお、上記条件［２］に関わる動作については、上記条件［１］で説明したものと同様であるので、説明を省略する。

【0102】

続いて、上記条件［３］について説明する。終了支援機能１７５は、３Ｄパノラマ画像データに、構造物の所定割合が含まれないと判定機能１７４により判定された場合であっても、３Ｄパノラマ画像データのサイズ（撮像された空間的な領域）に増分がないとき、３Ｄパノラマ撮像中にその旨を報知するか、又は、３Ｄパノラマ撮像を終了させる。なお、上記条件［２］に関わる動作については、上記条件［１］で説明したものと同様であるので、説明を省略する。

【0103】

超音波診断装置１０の第２の変形例によれば、超音波プローブ２０を操作する操作者の習熟度に依存することなく、適切な撮像が行われていない場合を検知しつつ、３Ｄ撮像の終了のタイミングを操作者に提示することができる。

【0104】

以上説明した少なくとも１つの実施形態によれば、超音波プローブを操作する操作者の習熟度に依存することなく、超音波検査を簡便、かつ、効率的に実施させることができる。

【0105】

なお、設定機能１７１は、設定部の一例である。画像収集機能１７２は、画像収集部の一例である。画像合成機能１７３は、画像合成部の一例である。判定機能１７４は、判定部の一例である。終了支援機能１７５は、終了支援部の一例である。送信制御機能１７６は、送信制御部の一例である。

【0106】

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0107】

１０ 超音波診断装置
１７ 処理回路
１７１ 設定機能
１７２ 画像収集機能
１７３ 画像合成機能
１７４ 判定機能
１７５ 終了支援機能
１７６ 送信制御機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】