ホーム > 特許ランキング > 国立大学法人電気通信大学
▶ 国立大学法人電気通信大学の特許一覧 ▶ 国立大学法人 東京大学の特許一覧 ▶ 独立行政法人国立国際医療研究センターの特許一覧
特開2022-164416超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022164416
(43)【公開日】2022-10-27
(54)【発明の名称】超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20221020BHJP
A61N 7/00 20060101ALI20221020BHJP
【ＦＩ】
A61B8/14
A61N7/00
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2021069893
(22)【出願日】2021-04-16
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(71)【出願人】
【識別番号】510192802
【氏名又は名称】国立研究開発法人国立国際医療研究センター
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】小泉 憲裕
(72)【発明者】
【氏名】大塚 研秀
(72)【発明者】
【氏名】西山 悠
(72)【発明者】
【氏名】月原 弘之
(72)【発明者】
【氏名】宮嵜 英世
(72)【発明者】
【氏名】沼田 和司
【テーマコード（参考）】
4C160
4C601
【Ｆターム（参考）】
4C160JJ33
4C160JJ35
4C601BB03
4C601EE09
4C601FF16
4C601JB34
4C601JB40
4C601JB41
4C601JC06
4C601JC21
4C601JC23
(57)【要約】
【課題】音響陰影の存在下で臓器の追従の向上および常時診断の可能性を図る。
【解決手段】超音波画像を利用する治療および／または診断に用いられる超音波治療診断システムは、画像取得部と、複数の超音波画像を保管する画像群保管部と、超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成部と、超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成部と、音響陰影を含み補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定部と、保管されている複数の超音波画像から補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索部と、参考画像から補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出部と、補完対象画像に含まれる音響陰影を補完領域で合成補完する合成補完画像生成部とを備える。
【選択図】図１
【解決手段】超音波画像を利用する治療および／または診断に用いられる超音波治療診断システムは、画像取得部と、複数の超音波画像を保管する画像群保管部と、超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成部と、超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成部と、音響陰影を含み補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定部と、保管されている複数の超音波画像から補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索部と、参考画像から補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出部と、補完対象画像に含まれる音響陰影を補完領域で合成補完する合成補完画像生成部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
超音波画像を利用する治療および／または診断に用いられる超音波治療診断システムであって、
超音波画像を取得する画像取得部と、
前記画像取得部によって取得された複数の超音波画像を保管する画像群保管部と、
前記画像取得部によって取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成部と、
前記画像取得部によって取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成部と、
前記画像取得部によって取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定部と、
前記画像群保管部によって保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索部と、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出部と、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出部によって抽出された前記補完領域で合成補完する合成補完画像生成部とを備え、
前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管部によって保管されている複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像を探索する、
超音波治療診断システム。
超音波画像を取得する画像取得部と、
前記画像取得部によって取得された複数の超音波画像を保管する画像群保管部と、
前記画像取得部によって取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成部と、
前記画像取得部によって取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成部と、
前記画像取得部によって取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定部と、
前記画像群保管部によって保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索部と、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出部と、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出部によって抽出された前記補完領域で合成補完する合成補完画像生成部とを備え、
前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管部によって保管されている複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像を探索する、
超音波治療診断システム。
【請求項2】
前記臓器マスク生成部は、医療画像用のセグメンテーション手法による臓器セグメンテーションを行うことによって臓器マスクを生成する、
請求項１に記載の超音波治療診断システム。
請求項１に記載の超音波治療診断システム。
【請求項3】
前記音響陰影マスク生成部は、医療画像用のセグメンテーション手法による音響陰影セグメンテーションを行うことによって音響陰影マスクを生成する、
請求項１に記載の超音波治療診断システム。
請求項１に記載の超音波治療診断システム。
【請求項4】
前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる臓器に対応する臓器マスクとの類似度に基づいて、前記参考画像を探索する、
請求項１に記載の超音波治療診断システム。
請求項１に記載の超音波治療診断システム。
【請求項5】
前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる臓器に対応する臓器マスクとの類似度を算出する、
請求項４に記載の超音波治療診断システム。
請求項４に記載の超音波治療診断システム。
【請求項6】
前記参考画像探索部は、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度に基づいて、前記参考画像を探索する、
請求項１に記載の超音波治療診断システム。
請求項１に記載の超音波治療診断システム。
【請求項7】
前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度を算出する、
請求項６に記載の超音波治療診断システム。
請求項６に記載の超音波治療診断システム。
【請求項8】
前記参考画像探索部は、
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致するように、前記補完対象画像に含まれる臓器に対応する臓器マスクおよび前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクに対して、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの位置合わせを行い、
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が重複しない場合に、前記参考候補画像を前記参考画像とする、
請求項１に記載の超音波治療診断システム。
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致するように、前記補完対象画像に含まれる臓器に対応する臓器マスクおよび前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクに対して、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの位置合わせを行い、
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が重複しない場合に、前記参考候補画像を前記参考画像とする、
請求項１に記載の超音波治療診断システム。
【請求項9】
前記参考画像探索部は、
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合に、前記画像群保管部によって保管されている複数の超音波画像のうちの他の超音波画像を前記参考候補画像として、前記参考画像を探索する、
請求項８に記載の超音波治療診断システム。
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合に、前記画像群保管部によって保管されている複数の超音波画像のうちの他の超音波画像を前記参考候補画像として、前記参考画像を探索する、
請求項８に記載の超音波治療診断システム。
【請求項10】
前記参考画像探索部は、
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動、回転、拡大および縮小の少なくともいずれかを行う、
請求項８に記載の超音波治療診断システム。
前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動、回転、拡大および縮小の少なくともいずれかを行う、
請求項８に記載の超音波治療診断システム。
【請求項11】
前記参考画像探索部は、
Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致したか否かを評価する、
請求項８に記載の超音波治療診断システム。
Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致したか否かを評価する、
請求項８に記載の超音波治療診断システム。
【請求項12】
前記補完領域抽出部によって前記参考画像から抽出される前記補完領域の形状は、前記補完対象画像に含まれる音響陰影の形状と同一である、
請求項１に記載の超音波治療診断システム。
請求項１に記載の超音波治療診断システム。
【請求項13】
前記補完領域抽出部によって前記参考画像から抽出される前記補完領域の形状は、前記補完対象画像に含まれる音響陰影の形状と異なり、
前記補完領域は、前記補完対象画像に含まれる音響陰影より小さく、
前記補完領域には、臓器の輪郭よりも内側の部分に対応する領域のみが含まれる、
請求項１に記載の超音波治療診断システム。
前記補完領域は、前記補完対象画像に含まれる音響陰影より小さく、
前記補完領域には、臓器の輪郭よりも内側の部分に対応する領域のみが含まれる、
請求項１に記載の超音波治療診断システム。
【請求項14】
前記合成補完画像生成部によって生成された合成補完画像を表示する合成補完画像表示部を備え、
前記合成補完画像表示部は、前記合成補完画像に含まれる前記補完領域と前記補完領域以外の領域とを識別可能に表示する、
請求項１に記載の超音波治療診断システム。
前記合成補完画像表示部は、前記合成補完画像に含まれる前記補完領域と前記補完領域以外の領域とを識別可能に表示する、
請求項１に記載の超音波治療診断システム。
【請求項15】
前記画像取得部によって取得される超音波画像には、３次元プローブを用いて得られた超音波画像が含まれる、
請求項１に記載の超音波治療診断システム。
請求項１に記載の超音波治療診断システム。
【請求項16】
超音波画像を利用して治療および／または診断を行う超音波治療診断方法であって、
超音波画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、
前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを備え、
前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、
超音波治療診断方法。
超音波画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、
前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを備え、
前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、
超音波治療診断方法。
【請求項17】
コンピュータに、
超音波画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、
前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを実行させるためのプログラムであって、
前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、
プログラム。
超音波画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、
前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、
前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、
前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、
前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを実行させるためのプログラムであって、
前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、
プログラム。
【請求項18】
請求項１に記載の超音波治療診断システムの前記合成補完画像生成部によって生成された合成補完画像に対して、テンプレートマッチングを用いることによって前記合成補完画像に含まれる患部の追従評価を行う、
患部追従評価方法。
患部追従評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法に関する。
【背景技術】
【0002】
超音波を一点に集束させ、患部を焼灼する治療法であるＨＩＦＵ（High Intensity Focused Ultrasound）が知られている。この治療法による治療対象は、臓器内の結石、腫瘍などである。
この治療法の利点は、メスで開腹せずに治療が可能なことであり、患者の身体への負担を低減することができる。また、この治療法は、放射線治療の超音波版であり、放射線治療のような被曝の恐れがなく、非侵襲的であると言える。
一方、この治療法の問題点として、患者の呼吸、拍動等により臓器が運動し、患部に精確に焦点を合わせることが困難になる点がある。患部に精確に焦点を合わせることができないと、正常組織を損傷するおそれが生じてしまう。
従って、呼吸性運動する患部を追従しながら治療するシステムが必要であると言える。
この治療法の利点は、メスで開腹せずに治療が可能なことであり、患者の身体への負担を低減することができる。また、この治療法は、放射線治療の超音波版であり、放射線治療のような被曝の恐れがなく、非侵襲的であると言える。
一方、この治療法の問題点として、患者の呼吸、拍動等により臓器が運動し、患部に精確に焦点を合わせることが困難になる点がある。患部に精確に焦点を合わせることができないと、正常組織を損傷するおそれが生じてしまう。
従って、呼吸性運動する患部を追従しながら治療するシステムが必要であると言える。
【0003】
本発明者等が研究を行ってきた非侵襲超音波診断・治療統合システム（ＮＩＵＴＳ：Non-Invasive Ultrasound Theragnostic System）とは、呼吸・拍動等により能動的に運動する患部を抽出・追従・モニタリングしながら、超音波を集束させてピンポイントに患部へ照射することにより、がん組織の焼灼や、結石の破砕を、患者の皮膚表面を切開することなく非侵襲かつ低負担で行なおうとするものである。
【0004】
本発明者等が研究を行ってきたシステムの問題点としては、骨などの硬い組織により音波が強く反射することなどがある。詳細には、ＨＩＦＵ治療対象である腎臓は、肋骨、胸骨に覆われているため、音響陰影が発生し、深部の情報が欠損してしまうおそれがある。
音響陰影の影響としては、ＨＩＦＵ治療患部が隠れて診断・モニタリングが困難になること、臓器の追従の精度が低下することなどがある。
音響陰影の影響としては、ＨＩＦＵ治療患部が隠れて診断・モニタリングが困難になること、臓器の追従の精度が低下することなどがある。
【0005】
また従来から、生体内を運動する注目部分の追跡の精度及びロバスト性の向上を図った生体内運動追跡装置が知られている（例えば、特許文献１参照）。特許文献１に記載された技術では、臓器位置推定部が臓器の過去の動きに基づき生体像における臓器の推定位置を求める。また、特許文献１に記載された技術では、音響陰影が臓器の一部に重なる場合に、臓器の輪郭の非欠損部分に基づいて臓器の位置や回転角が推定される。
ところで、特許文献１に記載された技術では、音響陰影を含む臓器の超音波画像を補完するために、臓器の輪郭を推定しなければならない。
ところで、特許文献１に記載された技術では、音響陰影を含む臓器の超音波画像を補完するために、臓器の輪郭を推定しなければならない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１８－１４３４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述した点に鑑み、本発明は、音響陰影の存在下で臓器の追従の向上および常時診断の可能性を図ることができる超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法を提供することを目的とする。
詳細には、本発明は、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法を提供することを目的とする。
詳細には、本発明は、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明者等は、鋭意研究において、臓器が呼吸などにより運動していることを利用した、音響陰影領域への画像補完アルゴリズムを見い出したのである。
詳細には、本発明者等は、臓器が呼吸などにより運動しているため、ある時点に撮像された臓器の超音波画像において臓器の特定部位が音響陰影の影響を受けていても、他の時点に撮像された臓器の超音波画像では臓器のその部位が音響陰影の影響を受けておらず、その部位が音響陰影の影響を受けていない臓器の超音波画像を用いることによって、その部位が音響陰影の影響を受けている臓器の超音波画像を補完できることを見い出した。
詳細には、本発明者等は、臓器が呼吸などにより運動しているため、ある時点に撮像された臓器の超音波画像において臓器の特定部位が音響陰影の影響を受けていても、他の時点に撮像された臓器の超音波画像では臓器のその部位が音響陰影の影響を受けておらず、その部位が音響陰影の影響を受けていない臓器の超音波画像を用いることによって、その部位が音響陰影の影響を受けている臓器の超音波画像を補完できることを見い出した。
【0009】
本発明の一態様は、超音波画像を利用する治療および／または診断に用いられる超音波治療診断システムであって、超音波画像を取得する画像取得部と、前記画像取得部によって取得された複数の超音波画像を保管する画像群保管部と、前記画像取得部によって取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成部と、前記画像取得部によって取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成部と、前記画像取得部によって取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定部と、前記画像群保管部によって保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索部と、前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出部と、前記補完対象画像に含まれる音響陰影を、前記補完領域抽出部によって抽出された前記補完領域で合成補完する合成補完画像生成部とを備え、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管部によって保管されている複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像を探索する、超音波治療診断システムである。
【0010】
本発明の一態様の超音波治療診断システムでは、前記臓器マスク生成部は、医療画像用のセグメンテーション手法による臓器セグメンテーションを行うことによって臓器マスクを生成してもよい。
【0011】
本発明の一態様の超音波治療診断システムでは、前記音響陰影マスク生成部は、医療画像用のセグメンテーション手法による音響陰影セグメンテーションを行うことによって音響陰影マスクを生成してもよい。
【0012】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる臓器に対応する臓器マスクとの類似度に基づいて、前記参考画像を探索してもよい。
【0013】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる臓器に対応する臓器マスクとの類似度を算出してもよい。
【0014】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度に基づいて、前記参考画像を探索してもよい。
【0015】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度を算出してもよい。
【0016】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致するように、前記補完対象画像に含まれる臓器に対応する臓器マスクおよび前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクに対して、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの位置合わせを行い、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が重複しない場合に、前記参考候補画像を前記参考画像としてもよい。
【0017】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合に、前記画像群保管部によって保管されている複数の超音波画像のうちの他の超音波画像を前記参考候補画像として、前記参考画像を探索してもよい。
【0018】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、前記参考候補画像に含まれる臓器に対応する臓器マスクおよび前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動、回転、拡大および縮小の少なくともいずれかを行ってもよい。
【0019】
本発明の一態様の超音波治療診断システムでは、前記参考画像探索部は、Ｄｉｃｅ係数を用いることによって、前記補完対象画像に含まれる臓器に対応する臓器マスクと前記参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致したか否かを評価してもよい。
【0020】
本発明の一態様の超音波治療診断システムでは、前記補完領域抽出部によって前記参考画像から抽出される前記補完領域の形状は、前記補完対象画像に含まれる音響陰影の形状と同一であってもよい。
【0021】
本発明の一態様の超音波治療診断システムでは、前記補完領域抽出部によって前記参考画像から抽出される前記補完領域の形状は、前記補完対象画像に含まれる音響陰影の形状と異なり、前記補完領域は、前記補完対象画像に含まれる音響陰影より小さく、前記補完領域には、臓器の輪郭よりも内側の部分に対応する領域のみが含まれてもよい。
【0022】
本発明の一態様の超音波治療診断システムは、前記合成補完画像生成部によって生成された合成補完画像を表示する合成補完画像表示部を備え、前記合成補完画像表示部は、前記合成補完画像に含まれる前記補完領域と前記補完領域以外の領域とを識別可能に表示してもよい。
【0023】
本発明の一態様の超音波治療診断システムでは、前記画像取得部によって取得される超音波画像には、３次元プローブを用いて得られた超音波画像が含まれてもよい。
【0024】
本発明の一態様は、超音波画像を利用して治療および／または診断を行う超音波治療診断方法であって、超音波画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを備え、前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、超音波治療診断方法である。
【0025】
本発明の一態様は、コンピュータに、超音波画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された複数の超音波画像を保管する画像群保管ステップと、前記画像取得ステップにおいて取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する臓器マスク生成ステップと、前記画像取得ステップにおいて取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する音響陰影マスク生成ステップと、前記画像取得ステップにおいて取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する補完対象画像設定ステップと、前記画像群保管ステップにおいて保管されている複数の超音波画像から、前記補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する参考画像探索ステップと、前記参考画像から、前記補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する補完領域抽出ステップと、前記補完対象画像に含まれる音響陰影を、前記補完領域抽出ステップにおいて抽出された前記補完領域で合成補完する合成補完画像生成ステップとを実行させるためのプログラムであって、前記参考画像探索ステップでは、前記補完対象画像に含まれる臓器に対応する臓器マスクと、前記補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、前記画像群保管ステップにおいて保管された複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、前記参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、前記参考画像が探索される、プログラムである。
【0026】
本発明の一態様は、前記超音波治療診断システムの前記合成補完画像生成部によって生成された合成補完画像に対して、テンプレートマッチングを用いることによって前記合成補完画像に含まれる患部の追従評価を行う、患部追従評価方法である。
【発明の効果】
【0027】
本発明によれば、音響陰影の存在下で臓器の追従の向上および常時診断の可能性を図ることができる超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法を提供することができる。
詳細には、本発明によれば、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法を提供することができる。
詳細には、本発明によれば、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法を提供することができる。
【図面の簡単な説明】
【0028】
【図1】第１実施形態の超音波治療診断システムの一例を示す図である。
【図2】画像取得部によって取得された超音波画像の一例などを示す図である。
【図3】超音波プローブを用いて得られた超音波画像が、画像取得部によって取得され、画像群保管部に保管される流れなどの一例を示す図である。
【図4】手書きしたものを利用して臓器マスク生成部によって臓器マスクが生成される例と、臓器マスク生成部によって臓器マスクが自動生成される例とを比較して示す図である。
【図5】本発明者等が行った臓器マスク生成実験を説明するための図である。
【図6】本発明者等が行った臓器マスク生成実験における実験条件などを説明するための図である。
【図7】本発明者等が行った臓器マスク生成実験の結果を説明するための図である。
【図8】参考画像探索部による位置合わせの一例を説明するための図である。
【図9】補完領域抽出部による参考画像からの補完領域の抽出および合成補完画像生成部による補完対象画像の合成補完（合成補完画像の生成）の一例を説明するための図である。
【図10】本発明者等が行った合成補完実験を説明するための図である。
【図11】本発明者等が行った合成補完実験の評価方法を説明するための図である。
【図13】第１実施形態の超音波治療診断システムにおいて実行される処理の一例を示すフローチャートである。
【図14】本発明者等が行った合成補完実験における合成補完画像に含まれる患部の追従評価方法を説明するための図である。
【図15】本発明者等が行った第２実施形態の超音波治療診断システムを用いた腎臓断面画像Ａ（動画像Ａ）に関する合成補完実験（画像合成実験）の結果を示す図である。
【図16】腎臓断面画像Ａに対するテンプレートマッチングによる患部追従評価を説明するための図である。
【発明を実施するための形態】
【0029】
以下、本発明の超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法の実施形態について説明する。
【0030】
＜第１実施形態＞
図１は第１実施形態の超音波治療診断システム１の一例を示す図である。
図１に示す例では、第１実施形態の超音波治療診断システム１が、超音波画像を利用する治療および／または診断に用いられる。
超音波治療診断システム１は、画像取得部１１と、画像群保管部１２と、臓器マスク生成部１３と、音響陰影マスク生成部１４と、補完対象画像設定部１５と、参考画像探索部１６と、補完領域抽出部１７と、合成補完画像生成部１８と、合成補完画像表示部１９とを備えている。
画像取得部１１は超音波画像を取得する。画像取得部１１は、例えば特許文献１に記載された技術と同様に、超音波プローブ等を用いて得られた超音波画像を取得する。画像取得部１１によって取得される超音波画像は、２次元映像表示に対応する超音波プローブを用いて得られた超音波画像であっても、３次元映像表示に対応する３次元プローブを用いて得られた超音波画像であってもよい。
図１は第１実施形態の超音波治療診断システム１の一例を示す図である。
図１に示す例では、第１実施形態の超音波治療診断システム１が、超音波画像を利用する治療および／または診断に用いられる。
超音波治療診断システム１は、画像取得部１１と、画像群保管部１２と、臓器マスク生成部１３と、音響陰影マスク生成部１４と、補完対象画像設定部１５と、参考画像探索部１６と、補完領域抽出部１７と、合成補完画像生成部１８と、合成補完画像表示部１９とを備えている。
画像取得部１１は超音波画像を取得する。画像取得部１１は、例えば特許文献１に記載された技術と同様に、超音波プローブ等を用いて得られた超音波画像を取得する。画像取得部１１によって取得される超音波画像は、２次元映像表示に対応する超音波プローブを用いて得られた超音波画像であっても、３次元映像表示に対応する３次元プローブを用いて得られた超音波画像であってもよい。
【0031】
図２は画像取得部１１によって取得された超音波画像ＵＭの一例などを示す図である。詳細には、図２（Ａ）は画像取得部１１によって取得された超音波画像ＵＭの一例を示しており、図２（Ｂ）は第１実施形態の超音波治療診断システム１によって生成された合成補完画像ＣＭの一例を示す図である。
図２に示す例では、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器が腎臓であるが、他の例では、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器が腎臓以外の臓器であってもよい。
図２（Ａ）に示すように、画像取得部１１によって取得された超音波画像ＵＭには、音響陰影が含まれる場合がある。そのような場合に、第１実施形態の超音波治療診断システム１では、後述するように、図２（Ａ）に示す音響陰影を補完する処理が行われ、図２（Ｂ）に示すような合成補完画像ＣＭが生成される。
図２に示す例では、腎臓の同断面動画上における図２（Ａ）に示す音響陰影による欠損領域の臓器組織が、第１実施形態の超音波治療診断システム１によって、図２（Ｂ）に示すように再現される。
図２に示す例では、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器が腎臓であるが、他の例では、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器が腎臓以外の臓器であってもよい。
図２（Ａ）に示すように、画像取得部１１によって取得された超音波画像ＵＭには、音響陰影が含まれる場合がある。そのような場合に、第１実施形態の超音波治療診断システム１では、後述するように、図２（Ａ）に示す音響陰影を補完する処理が行われ、図２（Ｂ）に示すような合成補完画像ＣＭが生成される。
図２に示す例では、腎臓の同断面動画上における図２（Ａ）に示す音響陰影による欠損領域の臓器組織が、第１実施形態の超音波治療診断システム１によって、図２（Ｂ）に示すように再現される。
【0032】
図１に示す例では、画像群保管部１２が、画像取得部１１によって取得された複数の超音波画像を保管する。
図３は超音波プローブを用いて得られた超音波画像ＵＭｋ、ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０が、画像取得部１１によって取得され、画像群保管部１２に保管される流れなどの一例を示す図である。
図３に示す例では、超音波プローブを用いて得られた超音波画像の新しさ（古さ）を示す識別番号「０」が付された超音波画像ＵＭ０（つまり、図３に示す例では、超音波プローブを用いて最初に得られた超音波画像ＵＭ０）などが、画像群保管部１２に保管されている。また、画像群保管部１２には、「０」から「ｋ－１」までの識別番号が付された超音波画像などが保管されている。更に、識別番号「ｋ」が付された超音波画像ＵＭｋ（つまり、図３に示す例では、超音波プローブを用いて得られた最新の超音波画像ＵＭｋ）などが、画像群保管部１２に保管されようとしている。
図３は超音波プローブを用いて得られた超音波画像ＵＭｋ、ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０が、画像取得部１１によって取得され、画像群保管部１２に保管される流れなどの一例を示す図である。
図３に示す例では、超音波プローブを用いて得られた超音波画像の新しさ（古さ）を示す識別番号「０」が付された超音波画像ＵＭ０（つまり、図３に示す例では、超音波プローブを用いて最初に得られた超音波画像ＵＭ０）などが、画像群保管部１２に保管されている。また、画像群保管部１２には、「０」から「ｋ－１」までの識別番号が付された超音波画像などが保管されている。更に、識別番号「ｋ」が付された超音波画像ＵＭｋ（つまり、図３に示す例では、超音波プローブを用いて得られた最新の超音波画像ＵＭｋ）などが、画像群保管部１２に保管されようとしている。
【0033】
図１に示す例では、臓器マスク生成部１３が、画像取得部１１によって取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する。
図３に示す例では、臓器マスク生成部１３が、超音波画像ＵＭ０に含まれる臓器に対応する臓器マスクＧＭ０、超音波画像ＵＭｋ－ｉに含まれる臓器に対応する臓器マスクＧＭｋ－ｉ、超音波画像ＵＭｋ－１に含まれる臓器に対応する臓器マスクＧＭｋ－１などを生成し、それらは、超音波画像ＵＭ０、…、ＵＭｋ－ｉ、…、ＵＭｋ－１などと共に画像群保管部１２に保管されている。
また、図３に示す例では、臓器マスク生成部１３が、超音波画像ＵＭｋに含まれる臓器に対応する臓器マスクＧＭｋを生成し、臓器マスクＧＭｋは、超音波画像ＵＭｋなどと共に画像群保管部１２に保管されようとしている。
図３に示す例では、臓器マスク生成部１３が、超音波画像ＵＭ０に含まれる臓器に対応する臓器マスクＧＭ０、超音波画像ＵＭｋ－ｉに含まれる臓器に対応する臓器マスクＧＭｋ－ｉ、超音波画像ＵＭｋ－１に含まれる臓器に対応する臓器マスクＧＭｋ－１などを生成し、それらは、超音波画像ＵＭ０、…、ＵＭｋ－ｉ、…、ＵＭｋ－１などと共に画像群保管部１２に保管されている。
また、図３に示す例では、臓器マスク生成部１３が、超音波画像ＵＭｋに含まれる臓器に対応する臓器マスクＧＭｋを生成し、臓器マスクＧＭｋは、超音波画像ＵＭｋなどと共に画像群保管部１２に保管されようとしている。
【0034】
図１に示す例では、臓器マスク生成部１３は、例えば、第１実施形態の超音波治療診断システム１の利用者が、画像取得部１１によって取得された超音波画像に含まれる臓器の輪郭をなぞり書き（手書き）したものを利用して、臓器マスクを生成する。
他の例では、臓器マスク生成部１３が、学習機能を有しており、画像取得部１１によって取得された超音波画像に基づいて、その超音波画像に含まれる臓器に対応する臓器マスクを自動生成してもよい。この例では、臓器を含む超音波画像と、その超音波画像に含まれる臓器に対応する臓器マスク（つまり、臓器マスク生成部１３が生成すべき臓器マスク）との組が、教師データとして臓器マスク生成部１３に与えられ、臓器マスク生成部１３の学習が行われる。この例では、臓器マスク生成部１３が、下記の文献に記載されたＵ－Ｎｅｔによる臓器セグメンテーションを行うことによって、臓器マスクを自動生成する。
Olaf Ronneberger, et al., U-Net: Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention - MICCAI, 2015, pp 234-241.
「Ｕ－Ｎｅｔ：ディープラーニングによるSemantic Segmentation手法（https://blog.negativemind.com/2019/03/15/semantic-segmentation-by-u-net/）」に記載されているように、Ｕ－ＮｅｔはＭＩＣＣＡＩ（Medical Image Computing and Computer-Assisted Intervention）２０１５で発表されたＵ－Ｎｅｔ：Convolutional Networks for Biomedical Image Segmentationで提案された医療画像用セグメンテーション（部分領域の抽出）手法のひとつである。Ｕ－Ｎｅｔは全結合総を持たず、畳み込み層で構成されているため、入力画像サイズを固定する必要がない。Ｕ－Ｎｅｔは、ほぼ左右対称のEncoder-Decoder構造で、Encoderのpoolingを経てダウンダンプリングされた特徴マップをDecoderでアップサンプリングしていく。Ｕ－Ｎｅｔでは、Encoderの各層で出力される特徴マップをDecoderの対応する各層の特徴マップに連結（concatenation）するアプローチ（「スキップ接続」と呼ばれる）が導入されている。
他の例では、臓器マスク生成部１３が、学習機能を有しており、画像取得部１１によって取得された超音波画像に基づいて、その超音波画像に含まれる臓器に対応する臓器マスクを自動生成してもよい。この例では、臓器を含む超音波画像と、その超音波画像に含まれる臓器に対応する臓器マスク（つまり、臓器マスク生成部１３が生成すべき臓器マスク）との組が、教師データとして臓器マスク生成部１３に与えられ、臓器マスク生成部１３の学習が行われる。この例では、臓器マスク生成部１３が、下記の文献に記載されたＵ－Ｎｅｔによる臓器セグメンテーションを行うことによって、臓器マスクを自動生成する。
Olaf Ronneberger, et al., U-Net: Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention - MICCAI, 2015, pp 234-241.
「Ｕ－Ｎｅｔ：ディープラーニングによるSemantic Segmentation手法（https://blog.negativemind.com/2019/03/15/semantic-segmentation-by-u-net/）」に記載されているように、Ｕ－ＮｅｔはＭＩＣＣＡＩ（Medical Image Computing and Computer-Assisted Intervention）２０１５で発表されたＵ－Ｎｅｔ：Convolutional Networks for Biomedical Image Segmentationで提案された医療画像用セグメンテーション（部分領域の抽出）手法のひとつである。Ｕ－Ｎｅｔは全結合総を持たず、畳み込み層で構成されているため、入力画像サイズを固定する必要がない。Ｕ－Ｎｅｔは、ほぼ左右対称のEncoder-Decoder構造で、Encoderのpoolingを経てダウンダンプリングされた特徴マップをDecoderでアップサンプリングしていく。Ｕ－Ｎｅｔでは、Encoderの各層で出力される特徴マップをDecoderの対応する各層の特徴マップに連結（concatenation）するアプローチ（「スキップ接続」と呼ばれる）が導入されている。
【0035】
図４は手書きしたものを利用して臓器マスク生成部１３によって臓器マスクＧＭＡが生成される例と、臓器マスク生成部１３によって臓器マスクＧＭＢが自動生成される例とを比較して示す図である。
図４の左下に示す例では、臓器マスク生成部１３が、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器の輪郭がなぞり書き（手書き）されたものを利用して、臓器マスクＧＭＡを生成する。
図４の右下に示す例では、学習機能を有する臓器マスク生成部１３が、Ｕ－Ｎｅｔによる臓器セグメンテーションを行うことによって、画像取得部１１によって取得された超音波画像ＵＭから、その超音波画像ＵＭに含まれる臓器に対応する臓器マスクＧＭＢを自動生成する。
図４の左下に示す例では、臓器マスク生成部１３が、画像取得部１１によって取得された超音波画像ＵＭに含まれる臓器の輪郭がなぞり書き（手書き）されたものを利用して、臓器マスクＧＭＡを生成する。
図４の右下に示す例では、学習機能を有する臓器マスク生成部１３が、Ｕ－Ｎｅｔによる臓器セグメンテーションを行うことによって、画像取得部１１によって取得された超音波画像ＵＭから、その超音波画像ＵＭに含まれる臓器に対応する臓器マスクＧＭＢを自動生成する。
【0036】
図１に示す例では、音響陰影マスク生成部１４が、画像取得部１１によって取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する。
図３に示す例では、音響陰影マスク生成部１４が、超音波画像ＵＭ０に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭ０、超音波画像ＵＭｋ－ｉに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－ｉ、超音波画像ＵＭｋ－１に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－１などを生成し、それらは、超音波画像ＵＭ０、…、ＵＭｋ－ｉ、…、ＵＭｋ－１などと共に画像群保管部１２に保管されている。
また、図３に示す例では、音響陰影マスク生成部１４が、超音波画像ＵＭｋに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋを生成し、音響陰影マスクＡＭｋは、超音波画像ＵＭｋなどと共に画像群保管部１２に保管されようとしている。
図３に示す例では、音響陰影マスク生成部１４が、超音波画像ＵＭ０に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭ０、超音波画像ＵＭｋ－ｉに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－ｉ、超音波画像ＵＭｋ－１に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－１などを生成し、それらは、超音波画像ＵＭ０、…、ＵＭｋ－ｉ、…、ＵＭｋ－１などと共に画像群保管部１２に保管されている。
また、図３に示す例では、音響陰影マスク生成部１４が、超音波画像ＵＭｋに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋを生成し、音響陰影マスクＡＭｋは、超音波画像ＵＭｋなどと共に画像群保管部１２に保管されようとしている。
【0037】
図１に示す例では、音響陰影マスク生成部１４は、例えば、第１実施形態の超音波治療診断システム１の利用者が、画像取得部１１によって取得された超音波画像に含まれる音響陰影の輪郭をなぞり書き（手書き）したものを利用して、音響陰影マスクを生成する。
他の例では、音響陰影マスク生成部１４が、学習機能を有しており、画像取得部１１によって取得された超音波画像に基づいて、その超音波画像に含まれる音響陰影に対応する音響陰影マスクを自動生成してもよい。この例では、音響陰影を含む超音波画像と、その超音波画像に含まれる音響陰影に対応する音響陰影マスク（つまり、音響陰影マスク生成部１４が生成すべき音響陰影マスク）との組が、教師データとして音響陰影マスク生成部１４に与えられ、音響陰影マスク生成部１４の学習が行われる。この例では、音響陰影マスク生成部１４が、上述した文献に記載されたＵ－Ｎｅｔによる音響陰影セグメンテーションを行うことによって、音響陰影マスクを自動生成する。
他の例では、音響陰影マスク生成部１４が、学習機能を有しており、画像取得部１１によって取得された超音波画像に基づいて、その超音波画像に含まれる音響陰影に対応する音響陰影マスクを自動生成してもよい。この例では、音響陰影を含む超音波画像と、その超音波画像に含まれる音響陰影に対応する音響陰影マスク（つまり、音響陰影マスク生成部１４が生成すべき音響陰影マスク）との組が、教師データとして音響陰影マスク生成部１４に与えられ、音響陰影マスク生成部１４の学習が行われる。この例では、音響陰影マスク生成部１４が、上述した文献に記載されたＵ－Ｎｅｔによる音響陰影セグメンテーションを行うことによって、音響陰影マスクを自動生成する。
【0038】
図１に示す例では、補完対象画像設定部１５が、画像取得部１１によって取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する。
図３に示す例では、補完対象画像設定部１５が、画像取得部１１によって取得された超音波画像ＵＭｋ（つまり、図３に示す例では、画像群保管部１２に保管されようとしている最新の超音波画像ＵＭｋ）を補完対象画像として設定する。
図３に示す例では、補完対象画像設定部１５が、画像取得部１１によって取得された超音波画像ＵＭｋ（つまり、図３に示す例では、画像群保管部１２に保管されようとしている最新の超音波画像ＵＭｋ）を補完対象画像として設定する。
【0039】
図１に示す例では、参考画像探索部１６が、画像群保管部１２によって保管されている複数の超音波画像から、補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する。詳細には、参考画像探索部１６は、補完対象画像に含まれる臓器に対応する臓器マスクと、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、画像群保管部１２によって保管されている複数の超音波画像のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクと、参考候補画像に含まれる音響陰影に対応する音響陰影マスクとに基づいて、参考画像を探索する。
図３に示す例では、参考画像探索部１６が、画像群保管部１２によって保管されている複数の超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０から、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳの補完に適した超音波画像である参考画像ＲＭを探索する。詳細には、参考画像探索部１６は、補完対象画像としての超音波画像ＵＭｋに含まれる臓器に対応する臓器マスクＧＭｋと、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋと、画像群保管部１２によって保管されている複数の超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクＧＭｋ－１、…、ＧＭｋ－ｉ、…、ＧＭ０と、参考候補画像（超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０）に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－１、…、ＡＭｋ－ｉ、…、ＡＭ０とに基づいて、参考画像ＲＭを探索する。
図３に示す例では、参考画像探索部１６が、画像群保管部１２によって保管されている複数の超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０から、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳの補完に適した超音波画像である参考画像ＲＭを探索する。詳細には、参考画像探索部１６は、補完対象画像としての超音波画像ＵＭｋに含まれる臓器に対応する臓器マスクＧＭｋと、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋと、画像群保管部１２によって保管されている複数の超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０のそれぞれである参考候補画像に含まれる臓器に対応する臓器マスクＧＭｋ－１、…、ＧＭｋ－ｉ、…、ＧＭ０と、参考候補画像（超音波画像ＵＭｋ－１、…、ＵＭｋ－ｉ、…、ＵＭ０）に含まれる音響陰影ＡＳに対応する音響陰影マスクＡＭｋ－１、…、ＡＭｋ－ｉ、…、ＡＭ０とに基づいて、参考画像ＲＭを探索する。
【0040】
図１に示す例では、補完領域抽出部１７が、参考画像探索部１６によって探索された参考画像から、補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する。
図３に示す例では、補完領域抽出部１７が、参考画像ＲＭから、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳの補完に用いられる補完領域ＣＡを抽出する。
図３に示す例では、補完領域抽出部１７が、参考画像ＲＭから、補完対象画像としての超音波画像ＵＭｋに含まれる音響陰影ＡＳの補完に用いられる補完領域ＣＡを抽出する。
【0041】
図１に示す例では、合成補完画像生成部１８が、補完対象画像に含まれる音響陰影を、補完領域抽出部１７によって抽出された補完領域で合成補完する。
図３に示す例では、合成補完画像生成部１８が、補完対象画像としての超音波画像ＵＭｋに含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡを用いて合成補完する。つまり、合成補完画像生成部１８は、補完対象画像としての超音波画像ＵＭｋに含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡで置換することによって、補完対象画像としての超音波画像ＵＭｋから合成補完画像ＣＭ（図２（Ｂ）および図３参照）を生成する。
図３に示す例では、合成補完画像生成部１８が、補完対象画像としての超音波画像ＵＭｋに含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡを用いて合成補完する。つまり、合成補完画像生成部１８は、補完対象画像としての超音波画像ＵＭｋに含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡで置換することによって、補完対象画像としての超音波画像ＵＭｋから合成補完画像ＣＭ（図２（Ｂ）および図３参照）を生成する。
【0042】
図１に示す例では、合成補完画像表示部１９が、合成補完画像生成部１８によって生成された合成補完画像を表示する。
図３に示す例では、合成補完画像表示部１９が、合成補完画像ＣＭに含まれる補完領域ＣＡと補完領域ＣＡ以外の領域とを識別可能に、合成補完画像ＣＭを表示する。
他の例では、図２（Ｂ）に示すように、合成補完画像表示部１９が、合成補完画像ＣＭに含まれる補完領域ＣＡと補完領域ＣＡ以外の領域とを識別できないように（つまり、補完領域ＣＡと補完領域ＣＡ以外の領域との境界がわからないように）、合成補完画像ＣＭを表示してもよい。
図３に示す例では、合成補完画像表示部１９が、合成補完画像ＣＭに含まれる補完領域ＣＡと補完領域ＣＡ以外の領域とを識別可能に、合成補完画像ＣＭを表示する。
他の例では、図２（Ｂ）に示すように、合成補完画像表示部１９が、合成補完画像ＣＭに含まれる補完領域ＣＡと補完領域ＣＡ以外の領域とを識別できないように（つまり、補完領域ＣＡと補完領域ＣＡ以外の領域との境界がわからないように）、合成補完画像ＣＭを表示してもよい。
【0043】
図５は本発明者等が行った臓器マスク生成実験を説明するための図である。詳細には、図５（Ａ）は臓器マスク生成実験において用いられた学習用の超音波画像の一例を示しており、図５（Ｂ）は臓器マスク生成実験において用いられた学習用の臓器マスクの一例を示している。つまり、臓器マスク生成実験が、図５（Ａ）に示す超音波画像と図５（Ｂ）に示す臓器マスクとの組などが学習用の教師データとして用いられた。図５（Ｃ）は臓器マスク生成実験において用いられた検証用の超音波画像の一例を示しており、図５（Ｄ）は臓器マスク生成実験において用いられた検証用の臓器マスクの一例を示している。
図５に示す臓器マスク生成実験では、超音波画像を得るために下記の文献に記載された超音波診断ファントム上腹部病変付モデルが用いられた。
https://www.kyotokagaku.com/jp/educational/products/detail03/pdf/us-1b_catalog.pdf
図５に示す臓器マスク生成実験では、超音波画像を得るために下記の文献に記載された超音波診断ファントム上腹部病変付モデルが用いられた。
https://www.kyotokagaku.com/jp/educational/products/detail03/pdf/us-1b_catalog.pdf
【0044】
図５に示す臓器マスク生成実験では、腎臓の超音波画像のデータとして、様々な方向から撮像されたものが用いられた。撮像された腎臓の超音波画像のデータを拡張するために、撮像された腎臓の超音波画像に対して、回転、縦横スライド（平行移動）、せん断、拡大縮小の処理が行われた。撮像された腎臓の超音波画像（つまり、音響陰影を含んでいない超音波画像）に対して、扇形の音響陰影をランダムに付与する処理が行われた。
また、図５に示す臓器マスク生成実験では、学習用データとして、１０８０枚の腎臓臓器断面画像が用いられ、検証用データとして、２７０枚の腎臓臓器断面画像が用いられ、評価用データとして、１３０枚の腎臓臓器断面画像が用いられた。
また、図５に示す臓器マスク生成実験では、学習用データとして、１０８０枚の腎臓臓器断面画像が用いられ、検証用データとして、２７０枚の腎臓臓器断面画像が用いられ、評価用データとして、１３０枚の腎臓臓器断面画像が用いられた。
【0045】
図１に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと、参考候補画像に含まれる臓器に対応する臓器マスクとの類似度に基づいて、参考画像を探索する。詳細には、参考画像探索部１６は、Ｄｉｃｅ係数を用いることによって、補完対象画像に含まれる臓器に対応する臓器マスクと、参考候補画像に含まれる臓器に対応する臓器マスクとの類似度を算出する。
【0046】
図６は本発明者等が行った臓器マスク生成実験における実験条件などを説明するための図である。
本発明者等が行った臓器マスク生成実験では、Ｕ－Ｎｅｔによる臓器セグメンテーションを行うことによって臓器を含む超音波画像から自動生成された臓器マスク（つまり、推定された臓器マスク）と、生成されるべき臓器マスク（つまり、正解の臓器マスク）との類似度が、Ｄｉｃｅ係数を用いて算出された。
図６の左上部分は、推定された臓器マスクと正解の臓器マスクとの類似度が高くなるほど、損失関数が１に近い値になることを示している。
本発明者等が行った臓器マスク生成実験では、図６に示すように、エポック数として、６００ｅｐｏｃｈ→４７６ｅｐｏｃｈ目の重みを使用した。最適関数として、Ａｄａｍ（学習率＝０．００１）を使用した。損失関数として、Ｄｉｃｅ係数を使用した。画像前処理として、４００×４００→グレースケール化→２５６×２５６→正規化（０～１）→音響陰影付与を行った。
本発明者等が行った臓器マスク生成実験では、図６の右側部分に示す実行環境（計算機）のもとで、図６の右側部分に示す損失関数（Ｌｏｓｓ）とエポック数（Ｅｐｏｃｈ）との関係が得られた。
本発明者等が行った臓器マスク生成実験では、Ｕ－Ｎｅｔによる臓器セグメンテーションを行うことによって臓器を含む超音波画像から自動生成された臓器マスク（つまり、推定された臓器マスク）と、生成されるべき臓器マスク（つまり、正解の臓器マスク）との類似度が、Ｄｉｃｅ係数を用いて算出された。
図６の左上部分は、推定された臓器マスクと正解の臓器マスクとの類似度が高くなるほど、損失関数が１に近い値になることを示している。
本発明者等が行った臓器マスク生成実験では、図６に示すように、エポック数として、６００ｅｐｏｃｈ→４７６ｅｐｏｃｈ目の重みを使用した。最適関数として、Ａｄａｍ（学習率＝０．００１）を使用した。損失関数として、Ｄｉｃｅ係数を使用した。画像前処理として、４００×４００→グレースケール化→２５６×２５６→正規化（０～１）→音響陰影付与を行った。
本発明者等が行った臓器マスク生成実験では、図６の右側部分に示す実行環境（計算機）のもとで、図６の右側部分に示す損失関数（Ｌｏｓｓ）とエポック数（Ｅｐｏｃｈ）との関係が得られた。
【0047】
図７は本発明者等が行った臓器マスク生成実験の結果を説明するための図である。
詳細には、図７（Ａ）はＤｉｃｅ係数が０．９７６になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｂ）はＤｉｃｅ係数が０．９７４になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｃ）はＤｉｃｅ係数が０．９５９になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｄ）はＤｉｃｅ係数が０．９５１になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
本発明者等が行った臓器マスク生成実験では、図７に示すように、Ｄｉｃｅ係数の平均が０．９７０になった。つまり、本発明者等が行った臓器マスク生成実験では、音響陰影と臓器とを含む超音波画像から、臓器領域を高精度に抽出することができた（すなわち、高精度な臓器マスクを自動生成することができた）。
本発明者等が行った臓器マスク生成実験と同様の手法を用いることによって、音響陰影と臓器とを含む超音波画像から、音響陰影領域を高精度に抽出することができる（すなわち、高精度な音響陰影マスクを自動生成することができる）。
詳細には、図７（Ａ）はＤｉｃｅ係数が０．９７６になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｂ）はＤｉｃｅ係数が０．９７４になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｃ）はＤｉｃｅ係数が０．９５９になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
図７（Ｄ）はＤｉｃｅ係数が０．９５１になった例における臓器を含む超音波画像と、その超音波画像から自動生成された臓器マスク（推定された臓器マスク）と、生成されるべき臓器マスク（正解の臓器マスク）とを左側から順に示している。
本発明者等が行った臓器マスク生成実験では、図７に示すように、Ｄｉｃｅ係数の平均が０．９７０になった。つまり、本発明者等が行った臓器マスク生成実験では、音響陰影と臓器とを含む超音波画像から、臓器領域を高精度に抽出することができた（すなわち、高精度な臓器マスクを自動生成することができた）。
本発明者等が行った臓器マスク生成実験と同様の手法を用いることによって、音響陰影と臓器とを含む超音波画像から、音響陰影領域を高精度に抽出することができる（すなわち、高精度な音響陰影マスクを自動生成することができる）。
【0048】
図１に示す例では、参考画像探索部１６が、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度に基づいて、参考画像を探索する。詳細には、参考画像探索部１６は、Ｄｉｃｅ係数を用いることによって、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと、参考候補画像に含まれる音響陰影に対応する音響陰影マスクとの類似度を算出する。
【0049】
また、図１に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致するように、補完対象画像に含まれる臓器に対応する臓器マスクおよび補完対象画像に含まれる音響陰影に対応する音響陰影マスクに対して、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの位置合わせを行う。
【0050】
図８は参考画像探索部１６による位置合わせの一例を説明するための図である。
図８に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動（詳細には、例えば重心中心への平行移動）を行う。
更に、図８に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの回転（詳細には、例えば重心中心の回転）を行う。
他の例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの拡大または縮小を行ってもよい。
図８に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの平行移動（詳細には、例えば重心中心への平行移動）を行う。
更に、図８に示す例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの回転（詳細には、例えば重心中心の回転）を行う。
他の例では、参考画像探索部１６が、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭を一致させるために、参考候補画像に含まれる臓器に対応する臓器マスクおよび参考候補画像に含まれる音響陰影に対応する音響陰影マスクの拡大または縮小を行ってもよい。
【0051】
図１に示す例では、参考画像探索部１６は、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が重複しない場合（例えば図８の右上部分の場合）に、参考候補画像を参考画像とする。
一方、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合（例えば図８の右下部分の場合）に、参考画像探索部１６は、画像群保管部１２によって保管されている複数の超音波画像のうちの他の超音波画像を参考候補画像として、参考画像を探索する。
一方、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致する状態で、補完対象画像に含まれる音響陰影に対応する音響陰影マスクと参考候補画像に含まれる音響陰影に対応する音響陰影マスクとで音響陰影の輪郭が少なくとも部分的に重複する場合（例えば図８の右下部分の場合）に、参考画像探索部１６は、画像群保管部１２によって保管されている複数の超音波画像のうちの他の超音波画像を参考候補画像として、参考画像を探索する。
【0052】
図１に示す例では、参考画像探索部１６が、図８に示すように、Ｄｉｃｅ係数を用いることによって、補完対象画像に含まれる臓器に対応する臓器マスクと参考候補画像に含まれる臓器に対応する臓器マスクとで臓器の輪郭が一致したか否かを評価する。
【0053】
図９は補完領域抽出部１７による参考画像ＲＭからの補完領域ＣＡの抽出および合成補完画像生成部１８による補完対象画像の合成補完（合成補完画像ＣＭの生成）の一例を説明するための図である。
図９に示す例では、補完領域抽出部１７が、参考画像ＲＭから、補完対象画像としての超音波画像に含まれる音響陰影ＡＳの補完に用いられる補完領域ＣＡを抽出する。合成補完画像生成部１８は、補完対象画像に含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡを用いて合成補完する。つまり、合成補完画像生成部１８は、補完対象画像に含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡで置換することによって、補完対象画像から合成補完画像ＣＭを生成する。
図９に示す例では、補完領域抽出部１７によって参考画像ＲＭから抽出される補完領域ＣＡの形状が、補完対象画像に含まれる音響陰影ＡＳの形状と同一である。
他の例では、補完領域抽出部１７によって参考画像ＲＭから抽出される補完領域ＣＡの形状が、補完対象画像に含まれる音響陰影ＡＳの形状と異なっていてもよい。この例では、補完領域ＣＡが補完対象画像に含まれる音響陰影ＡＳより小さく、補完領域ＣＡには、臓器の輪郭よりも内側の部分に対応する領域のみが含まれる。この例では、補完対象画像に含まれる音響陰影ＡＳのうちの臓器の輪郭よりも外側の部分に対応する領域が、合成補完画像ＣＭにそのまま残される。
図９に示す例では、補完領域抽出部１７が、参考画像ＲＭから、補完対象画像としての超音波画像に含まれる音響陰影ＡＳの補完に用いられる補完領域ＣＡを抽出する。合成補完画像生成部１８は、補完対象画像に含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡを用いて合成補完する。つまり、合成補完画像生成部１８は、補完対象画像に含まれている音響陰影ＡＳを、参考画像ＲＭに含まれている補完領域ＣＡで置換することによって、補完対象画像から合成補完画像ＣＭを生成する。
図９に示す例では、補完領域抽出部１７によって参考画像ＲＭから抽出される補完領域ＣＡの形状が、補完対象画像に含まれる音響陰影ＡＳの形状と同一である。
他の例では、補完領域抽出部１７によって参考画像ＲＭから抽出される補完領域ＣＡの形状が、補完対象画像に含まれる音響陰影ＡＳの形状と異なっていてもよい。この例では、補完領域ＣＡが補完対象画像に含まれる音響陰影ＡＳより小さく、補完領域ＣＡには、臓器の輪郭よりも内側の部分に対応する領域のみが含まれる。この例では、補完対象画像に含まれる音響陰影ＡＳのうちの臓器の輪郭よりも外側の部分に対応する領域が、合成補完画像ＣＭにそのまま残される。
【0054】
図１０は本発明者等が行った合成補完実験を説明するための図である。
図１０に示す臓器マスク生成実験では、超音波画像を得るために上述した文献に記載された超音波診断ファントム上腹部病変付モデルが用いられ、そのモデルを呼吸性運動方向に移動させながら超音波画像を得た。
図１０に示す臓器マスク生成実験では、超音波画像を得るために上述した文献に記載された超音波診断ファントム上腹部病変付モデルが用いられ、そのモデルを呼吸性運動方向に移動させながら超音波画像を得た。
【0055】
図１０に示す臓器マスク生成実験では、同一断面の腎臓ファントムの超音波動画が用いられた。ベッド型ロボットによって、呼吸性運動が再現された。超音波画像として、腹部から撮像された腎臓断面画像Ａと、背部から撮像された腎臓断面画像Ｂとが１種類ずつ利用された。事前にアノテーションしたデータが、臓器マスクとして利用された。扇形の音響陰影がランダムに作成された。腹部から撮像された腎臓断面画像Ａが３１７枚用いられ、背部から撮像された腎臓断面画像Ｂが２８０枚用いられた。
【0056】
図１１は本発明者等が行った合成補完実験の評価方法を説明するための図である。
図１１に示す合成補完実験の評価方法では、補完対象画像と合成補完画像との類似度評価が行われた。詳細には、補完領域ＣＡ内の臓器領域ＧＡの正解画像に対する類似度評価が行われた。
図１１に示す類似度評価では、零平均正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）が用いられた。零平均正規化相互相関は－１以上１以下の値になり、零平均正規化相互相関の値が１に近いほど、補完領域ＣＡ内の臓器領域ＧＡの正解画像に対する類似度は高くなる。目標類似度としての零平均正規化相互相関の値が０．７００に設定された。
図１１に示す合成補完実験の評価方法では、補完対象画像と合成補完画像との類似度評価が行われた。詳細には、補完領域ＣＡ内の臓器領域ＧＡの正解画像に対する類似度評価が行われた。
図１１に示す類似度評価では、零平均正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）が用いられた。零平均正規化相互相関は－１以上１以下の値になり、零平均正規化相互相関の値が１に近いほど、補完領域ＣＡ内の臓器領域ＧＡの正解画像に対する類似度は高くなる。目標類似度としての零平均正規化相互相関の値が０．７００に設定された。
【0057】
本発明者等が行った合成補完実験では、補完された腎臓領域の類似度評価として、上述した腎臓断面画像Ａを２８６枚用いた場合の腎臓領域のＺＮＣＣ平均が０．７４０になった。上述した腎臓断面画像Ｂを２５３枚用いた場合の腎臓領域のＺＮＣＣ平均は０．６３０になった。合計の腎臓領域のＺＮＣＣ平均は０．６６７になった。
【0058】
図１２は図１０に示す腎臓断面画像Ａについて本発明者等が行った合成補完実験（画像合成実験）の結果を示す図である。詳細には、図１２はＺＮＣＣを用いた腎臓補完領域の類似度比較を示している。図１２の横軸は画像の番号を示しており、図１２の縦軸は類似度を示している。ＺＮＣＣを用いた腎臓補完領域の類似度比較では、ＺＮＣＣの平均が０．７４０になった。
本発明者等が行った合成補完実験では、腎臓領域の目標類似度０．７００を達成した合成補完画像を生成することができた。つまり、合成補完画像において、輪郭や内部組織を滑らかに合成することができた。
本発明者等が行った合成補完実験では、腎臓領域の目標類似度０．７００を達成した合成補完画像を生成することができた。つまり、合成補完画像において、輪郭や内部組織を滑らかに合成することができた。
【0059】
図１３は第１実施形態の超音波治療診断システム１において実行される処理の一例を示すフローチャートである。
図１３に示す例では、ステップＳ１１において、画像取得部１１が超音波画像を取得する。
次いで、ステップＳ１２では、画像群保管部１２が、ステップＳ１１において取得された複数の超音波画像を保管する。
次いで、ステップＳ１３では、臓器マスク生成部１３が、ステップＳ１１において取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する。
また、ステップＳ１４では、音響陰影マスク生成部１４が、ステップＳ１１において取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する。
また、ステップＳ１５では、補完対象画像設定部１５が、ステップＳ１１において取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する。
次いで、ステップＳ１６では、参考画像探索部１６が、ステップＳ１２において保管された複数の超音波画像から、ステップＳ１５において設定された補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する。
次いで、ステップＳ１７では、補完領域抽出部１７が、ステップＳ１６において探索された参考画像から、ステップＳ１５において設定された補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する。
次いで、ステップＳ１８では、合成補完画像生成部１８が、ステップＳ１５において設定された補完対象画像に含まれる音響陰影を、ステップＳ１７において抽出された補完領域で合成補完する。
次いで、ステップＳ１９では、合成補完画像表示部１９が、ステップＳ１８において生成された合成補完画像を表示する。
図１３に示す例では、ステップＳ１１において、画像取得部１１が超音波画像を取得する。
次いで、ステップＳ１２では、画像群保管部１２が、ステップＳ１１において取得された複数の超音波画像を保管する。
次いで、ステップＳ１３では、臓器マスク生成部１３が、ステップＳ１１において取得された超音波画像に含まれる臓器に対応する臓器マスクを生成する。
また、ステップＳ１４では、音響陰影マスク生成部１４が、ステップＳ１１において取得された超音波画像に含まれる音響陰影に対応する音響陰影マスクを生成する。
また、ステップＳ１５では、補完対象画像設定部１５が、ステップＳ１１において取得された超音波画像であって、音響陰影を含み、補完が必要な超音波画像である補完対象画像を設定する。
次いで、ステップＳ１６では、参考画像探索部１６が、ステップＳ１２において保管された複数の超音波画像から、ステップＳ１５において設定された補完対象画像に含まれる音響陰影の補完に適した超音波画像である参考画像を探索する。
次いで、ステップＳ１７では、補完領域抽出部１７が、ステップＳ１６において探索された参考画像から、ステップＳ１５において設定された補完対象画像に含まれる音響陰影の補完に用いられる領域である補完領域を抽出する。
次いで、ステップＳ１８では、合成補完画像生成部１８が、ステップＳ１５において設定された補完対象画像に含まれる音響陰影を、ステップＳ１７において抽出された補完領域で合成補完する。
次いで、ステップＳ１９では、合成補完画像表示部１９が、ステップＳ１８において生成された合成補完画像を表示する。
【0060】
上述したように、第１実施形態の超音波治療診断システム１では、臓器の輪郭を推定する必要なく、臓器の超音波画像に含まれる音響陰影を補完することができる。
【0061】
＜第２実施形態＞
以下、本発明の超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法の第２実施形態について説明する。
第２実施形態の超音波治療診断システム１は、後述する点を除き、上述した第１実施形態の超音波治療診断システム１と同様に構成されている。従って、第２実施形態の超音波治療診断システム１によれば、後述する点を除き、上述した第１実施形態の超音波治療診断システム１と同様の効果を奏することができる。
以下、本発明の超音波治療診断システム、超音波治療診断方法、プログラムおよび患部追従評価方法の第２実施形態について説明する。
第２実施形態の超音波治療診断システム１は、後述する点を除き、上述した第１実施形態の超音波治療診断システム１と同様に構成されている。従って、第２実施形態の超音波治療診断システム１によれば、後述する点を除き、上述した第１実施形態の超音波治療診断システム１と同様の効果を奏することができる。
【0062】
上述したように、第１実施形態の超音波治療診断システム１では、合成補完画像生成部１８によって生成された合成補完画像に対して、テンプレートマッチングを用いた評価が行われない。
一方、第２実施形態の超音波治療診断システム１では、後述するように、合成補完画像生成部１８によって生成された合成補完画像に対して、図１１に示す類似度評価に加えて、テンプレートマッチングを用いることによって合成補完画像に含まれる患部の追従評価が行われる。
一方、第２実施形態の超音波治療診断システム１では、後述するように、合成補完画像生成部１８によって生成された合成補完画像に対して、図１１に示す類似度評価に加えて、テンプレートマッチングを用いることによって合成補完画像に含まれる患部の追従評価が行われる。
【0063】
図１４は本発明者等が行った合成補完実験における合成補完画像に含まれる患部の追従評価方法を説明するための図である。
図１４に示す合成補完実験の評価方法では、合成補完画像生成部１８によって生成された合成補完画像の視認性評価のために、テンプレートマッチングによる患部追従が行われる。テンプレートマッチングによる追従（追跡）については、例えば特開２０１９－０３３９６０号公報に記載された技術と同様の技術が用いられる。
図１４に示す合成補完実験の評価方法では、テンプレートを正解画像、補完対象画像、合成補完画像内で走査し、ＺＮＣＣが最も高い位置を検出し、重心座標（ｘ，ｙ）とした。また、ユークリッド距離［ｍｍ］の目標精度を１ｍｍ以内に設定した。
図１４において、「ＥＤ正－影」は、正解画像と補完対象画像とのユークリッド距離を示しており、「ＥＤ正－合」は、正解画像と合成補完画像とのユークリッド距離を示している。
図１４に示す合成補完実験の評価方法では、合成補完画像生成部１８によって生成された合成補完画像の視認性評価のために、テンプレートマッチングによる患部追従が行われる。テンプレートマッチングによる追従（追跡）については、例えば特開２０１９－０３３９６０号公報に記載された技術と同様の技術が用いられる。
図１４に示す合成補完実験の評価方法では、テンプレートを正解画像、補完対象画像、合成補完画像内で走査し、ＺＮＣＣが最も高い位置を検出し、重心座標（ｘ，ｙ）とした。また、ユークリッド距離［ｍｍ］の目標精度を１ｍｍ以内に設定した。
図１４において、「ＥＤ正－影」は、正解画像と補完対象画像とのユークリッド距離を示しており、「ＥＤ正－合」は、正解画像と合成補完画像とのユークリッド距離を示している。
【0064】
本発明者等が行った合成補完実験では、テンプレートマッチングによる患部追従評価として、上述した腎臓断面画像Ａ（動画像Ａ）を用いた場合に、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が３５．２［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．５３［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．７８６になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．６３５になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７６１になった。
上述した腎臓断面画像Ｂ（動画像Ｂ）を用いた場合には、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が１７．３［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．３３［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．８３３になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．５９７になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７８８になった。
腎臓断面画像Ａ（動画像Ａ）に関する結果と腎臓断面画像Ｂ（動画像Ｂ）に関する結果とを合わせると、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が２５．７［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．４２［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．８１１になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．６１５になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７７５になった。
上述した腎臓断面画像Ｂ（動画像Ｂ）を用いた場合には、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が１７．３［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．３３［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．８３３になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．５９７になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７８８になった。
腎臓断面画像Ａ（動画像Ａ）に関する結果と腎臓断面画像Ｂ（動画像Ｂ）に関する結果とを合わせると、正解画像と音響陰影入り画像（補完対象画像）とのユークリッド距離平均が２５．７［ｍｍ］になり、正解画像と合成補完画像とのユークリッド距離平均が０．４２［ｍｍ］になった。正解画像の患部領域のＺＮＣＣ平均が０．８１１になり、音響陰影入り画像（補完対象画像）の患部領域のＺＮＣＣ平均が０．６１５になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７７５になった。
【0065】
図１５は本発明者等が行った第２実施形態の超音波治療診断システム１を用いた腎臓断面画像Ａ（動画像Ａ）に関する合成補完実験（画像合成実験）の結果を示す図である。
詳細には、図１５（Ａ）は正解画像（正解動画像）と合成補完画像とのユークリッド距離および正解画像（正解動画像）と補完対象画像とのユークリッド距離を示している。図１５（Ａ）の横軸は画像の番号を示しており、図１５（Ａ）の縦軸は、正解動画像（正解動画像）と合成補完画像生成部１８によって生成された合成補完画像とのユークリッド距離、および、正解動画像（正解動画像）と補完対象画像設定部１５によって設定された補完対象画像とのユークリッド距離を示している。上述したように、正解動画像（正解動画像）と合成補完画像とのユークリッド距離の平均が０．５３ｍｍになり、正解動画像（正解動画像）と補完対象画像とのユークリッド距離の平均が３５．２ｍｍになった。
図１５（Ｂ）は検出領域の類似度比較を示している。図１５（Ｂ）の横軸は画像の番号を示しており、図１５（Ｂ）の縦軸は正解画像、補完対象画像（音響陰影入り画像）および合成補完画像の類似度を示している。上述したように、正解画像の患部領域のＺＮＣＣ平均が０．７８６になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７６１になった。
詳細には、図１５（Ａ）は正解画像（正解動画像）と合成補完画像とのユークリッド距離および正解画像（正解動画像）と補完対象画像とのユークリッド距離を示している。図１５（Ａ）の横軸は画像の番号を示しており、図１５（Ａ）の縦軸は、正解動画像（正解動画像）と合成補完画像生成部１８によって生成された合成補完画像とのユークリッド距離、および、正解動画像（正解動画像）と補完対象画像設定部１５によって設定された補完対象画像とのユークリッド距離を示している。上述したように、正解動画像（正解動画像）と合成補完画像とのユークリッド距離の平均が０．５３ｍｍになり、正解動画像（正解動画像）と補完対象画像とのユークリッド距離の平均が３５．２ｍｍになった。
図１５（Ｂ）は検出領域の類似度比較を示している。図１５（Ｂ）の横軸は画像の番号を示しており、図１５（Ｂ）の縦軸は正解画像、補完対象画像（音響陰影入り画像）および合成補完画像の類似度を示している。上述したように、正解画像の患部領域のＺＮＣＣ平均が０．７８６になり、合成補完画像の患部領域のＺＮＣＣ平均が０．７６１になった。
【0066】
図１６は腎臓断面画像Ａに対するテンプレートマッチングによる患部追従評価を説明するための図である。
詳細には、図１６（Ａ）は音響陰影を含む補完対象画像（補完対象動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ａ）に示す評価では、音響陰影が補完対象画像に含まれているため、患部（腎臓）に追従できない結果となった。
図１６（Ｂ）は正解画像（正解動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ｂ）に示す評価では、音響陰影が正解画像に含まれていないため、患部（腎臓）に追従することができた。
図１６（Ｃ）は合成補完画像（合成補完動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ｃ）に示す評価では、音響陰影が補完領域によって補完されているため（つまり、音響陰影が合成補完画像に含まれていないため）、患部（腎臓）に追従することができた。
詳細には、図１６（Ａ）は音響陰影を含む補完対象画像（補完対象動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ａ）に示す評価では、音響陰影が補完対象画像に含まれているため、患部（腎臓）に追従できない結果となった。
図１６（Ｂ）は正解画像（正解動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ｂ）に示す評価では、音響陰影が正解画像に含まれていないため、患部（腎臓）に追従することができた。
図１６（Ｃ）は合成補完画像（合成補完動画像）に対してテンプレートマッチングによる患部追従評価が行われている状態を示している。図１６（Ｃ）に示す評価では、音響陰影が補完領域によって補完されているため（つまり、音響陰影が合成補完画像に含まれていないため）、患部（腎臓）に追従することができた。
【0067】
本発明者等が行った合成補完実験では、患部追従精度０．４２［ｍｍ］を達成した合成補完画像を生成することができた。つまり、治療患部モニタリングに十分な精度を達成した。また、合成補完領域の類似度が低い場合に、輪郭や内部組織のずれが生じ、そのずれが視認性の低下につながることが確認できた。
【0068】
第２実施形態の超音波治療診断システム１では、音響陰影の存在下で臓器の追従の向上および常時診断の可能性を図ることができる。
【0069】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
【0070】
なお、上述した実施形態における超音波治療診断システム１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【0071】
１…超音波治療診断システム、１１…画像取得部、１２…画像群保管部、１３…臓器マスク生成部、１４…音響陰影マスク生成部、１５…補完対象画像設定部、１６…参考画像探索部、１７…補完領域抽出部、１８…合成補完画像生成部、１９…合成補完画像表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
