▶ テルモ株式会社の特許一覧 ▶ 株式会社ロッケンの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-16
(45)【発行日】2024-01-24
(54)【発明の名称】診断支援装置及び診断支援システム
(51)【国際特許分類】
A61B 8/12 20060101AFI20240117BHJP
【ＦＩ】
A61B8/12
【請求項の数】
11
(21)【出願番号】P 2021512059
(86)(22)【出願日】2020-03-27
(86)【国際出願番号】 JP2020014276
(87)【国際公開番号】W WO2020203873
(87)【国際公開日】2020-10-08
【審査請求日】2023-02-03
(31)【優先権主張番号】P 2019066466
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(73)【特許権者】
【識別番号】518110280
【氏名又は名称】株式会社ロッケン
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100186015
【弁理士】
【氏名又は名称】小松 靖之
(74)【代理人】
【識別番号】100176728
【弁理士】
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】坂本 泰一
(72)【発明者】
【氏名】大久保 到
(72)【発明者】
【氏名】清水 克彦
(72)【発明者】
【氏名】石原 弘之
(72)【発明者】
【氏名】佐賀 亮介
(72)【発明者】
【氏名】エン トマ
(72)【発明者】
【氏名】ジャケ クレモン
(72)【発明者】
【氏名】ヘラト ヌワン
(72)【発明者】
【氏名】エリックセン イセリン
【審査官】後藤 昌夫
(56)【参考文献】
【文献】特開平９－８４７９３（ＪＰ，Ａ）
【文献】特開２０１１－１３１０６２（ＪＰ，Ａ）
【文献】特表２００２－５２１１６８（ＪＰ，Ａ）
【文献】米国特許出願公開第２００５／０２４９３９１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／１２
Ａ６１Ｂ ８／００
Ａ６１Ｂ １／０４５
Ａ６１Ｂ １／３１３
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／１０
(57)【特許請求の範囲】
【請求項1】
血液が通る生体組織の内部で送信された超音波の反射波の信号により生成される、前記生体組織を含む２次元画像に含まれる複数の画素を、生体組織クラスを含む２つ以上のクラスに対応付け、前記生体組織クラスに対応付けた画素群から前記生体組織の３次元画像を生成し、生成した前記生体組織の３次元画像を表示する制御を行う制御部を備え、
前記２つ以上のクラスには、血球クラスがさらに含まれ、
前記制御部は、前記複数の画素から前記血球クラスに対応付けた画素群を除外して前記生体組織の３次元画像を生成する診断支援装置。
【請求項2】
血液が通る生体組織の内部で送信された超音波の反射波の信号により生成される、前記生体組織を含む２次元画像に含まれる複数の画素を、生体組織クラスを含む２つ以上のクラスに対応付け、前記生体組織クラスに対応付けた画素群から前記生体組織の３次元画像を生成し、生成した前記生体組織の３次元画像を表示する制御を行う制御部を備え、
前記２つ以上のクラスには、医療器具クラスがさらに含まれ、
前記制御部は、前記医療器具クラスに対応付けた１つ以上の画素から医療器具の３次元画像を生成し、生成した前記生体組織の３次元画像と前記医療器具の３次元画像とを互いに区別可能な形式で表示する制御を行う診断支援装置。
【請求項3】
前記制御部は、前記２次元画像に含まれる前記複数の画素を前記医療器具クラス及び他の１つ以上のクラスに対応付ける第１分類処理と、前記第１分類処理で前記医療器具クラスに対応付けた１つ以上の画素を除いた前記２次元画像を平滑化し、平滑化した２次元画像に含まれる画素群を、前記生体組織クラスを含む１つ以上のクラスに対応付ける第２分類処理とを実行する請求項２に記載の診断支援装置。
【請求項4】
前記制御部は、前記２次元画像を平滑化し、平滑化する前の前記２次元画像に含まれる前記複数の画素を前記医療器具クラス及び他の１つ以上のクラスに対応付ける第１分類処理と、前記第１分類処理で前記医療器具クラスに対応付けた１つ以上の画素を除く、平滑化した２次元画像に含まれる画素群を、前記生体組織クラスを含む１つ以上のクラスに対応付ける第２分類処理とを実行する請求項２に記載の診断支援装置。
【請求項5】
前記制御部は、前記医療器具クラスに対応付けた１つ以上の画素に、互いに異なる医療器具を表示した２つ以上の画素が含まれる場合、前記医療器具の３次元画像を医療器具ごとに生成し、生成した前記医療器具の３次元画像を医療器具ごとに区別可能な形式で表示する制御を行う請求項２から請求項４のいずれか１項に記載の診断支援装置。
【請求項6】
前記２次元画像は、前記生体組織の内部で前記超音波の送信位置を変えながら順次生成され、前記制御部は、前に生成された前記２次元画像に含まれる前記複数の画素の対応付け結果に基づいて、新たに生成された前記２次元画像に含まれる前記複数の画素のうち１つ以上の画素を前記医療器具クラスに対応付けるかどうかを決定する請求項２から請求項５のいずれか１項に記載の診断支援装置。
【請求項7】
血液が通る生体組織の内部で送信された超音波の反射波の信号により生成される、前記生体組織を含む２次元画像に含まれる複数の画素を、生体組織クラスを含む２つ以上のクラスに対応付け、前記生体組織クラスに対応付けた画素群から前記生体組織の３次元画像を生成し、生成した前記生体組織の３次元画像を表示する制御を行う制御部を備え、
前記制御部は、前記反射波の信号を処理して前記２次元画像を生成し、新たに前記２次元画像を生成する度に、次に前記２次元画像を生成する前に、新たに生成した前記２次元画像に対応する前記生体組織の３次元画像を生成する診断支援装置。
【請求項8】
前記制御部は、毎秒１５回以上９０回以下の速さで前記２次元画像を生成する請求項７に記載の診断支援装置。
【請求項9】
前記制御部は、前記生体組織クラスに対応付けた画素群と、生成した前記生体組織の３次元画像とのいずれかを分析して前記生体組織の厚みを算出し、算出した前記生体組織の厚みを表示する制御を行う請求項１から請求項８のいずれか１項に記載の診断支援装置。
【請求項10】
前記制御部は、学習済みモデルを用いて、前記２次元画像に含まれる前記複数の画素を対応付ける請求項１から請求項９のいずれか１項に記載の診断支援装置。
【請求項11】
請求項１から請求項１０のいずれか１項に記載の診断支援装置と、前記生体組織の内部で前記超音波を送信し、前記反射波の信号を前記制御部に入力するプローブと
を備える診断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、診断支援装置、診断支援システム、及び診断支援方法に関する。
【背景技術】
【0002】
特許文献１から特許文献３には、ＭＲＩシステム、Ｘ線ＣＴ画像システム、又はＵＳ画像システムなどの医療画像システムにより取得された画像に写った心腔又は血管の輪郭を検出して、心腔又は血管の画像領域を他の画像領域から分割する技術が記載されている。「ＭＲＩ」は、magnetic resonance imagingの略語である。「ＣＴ」は、computed tomographyの略語である。「ＵＳ」は、ultrasoundの略語である。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第２０１０／０２１５２３８号明細書
【文献】米国特許第６３８５３３２号明細書
【文献】米国特許第６２５１０７２号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。
【0005】
現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。
【0006】
ＩＶＵＳは６ＭＨｚから６０ＭＨｚ程度の高周波数帯を使用するため、ＩＶＵＳの２次元画像には微小な粒子が写り込み、特に血球ノイズが強く反映される。よって、従来のような、画像に写った心腔又は血管の輪郭を検出する方法では、ＩＶＵＳの２次元画像に含まれる生体組織の画像領域を血球などの他の画像領域と精度良く区別することができない。仮にそのような方法で３次元画像を生成することができたとしても、表現される生体組織の構造が不正確なため、手術の安全に支障をきたすおそれがある。
【0007】
本開示の目的は、超音波の２次元画像から生成される、生体組織の構造を表現する３次元画像の正確性を向上させることである。
【課題を解決するための手段】
【0008】
本開示の一態様としての診断支援装置は、血液が通る生体組織の内部で送信された超音波の反射波の信号により生成される、前記生体組織を含む２次元画像に含まれる複数の画素を、生体組織クラスを含む２つ以上のクラスに対応付け、前記生体組織クラスに対応付けた画素群から前記生体組織の３次元画像を生成し、生成した前記生体組織の３次元画像を表示する制御を行う制御部を備える。
【0009】
本開示の一実施形態として、前記２つ以上のクラスには、血球クラスがさらに含まれ、前記制御部は、前記複数の画素から前記血球クラスに対応付けた画素群を除外して前記生体組織の３次元画像を生成する。
【0010】
本開示の一実施形態として、前記制御部は、前記生体組織クラスに対応付けた画素群と、生成した前記生体組織の３次元画像とのいずれかを分析して前記生体組織の厚みを算出し、算出した前記生体組織の厚みを表示する制御を行う。
【0011】
本開示の一実施形態として、前記２つ以上のクラスには、医療器具クラスがさらに含まれ、前記制御部は、前記医療器具クラスに対応付けた１つ以上の画素から前記医療器具の３次元画像を生成し、生成した前記生体組織の３次元画像と前記医療器具の３次元画像とを互いに区別可能な形式で表示する制御を行う。
【0012】
本開示の一実施形態として、前記制御部は、前記２次元画像に含まれる前記複数の画素を前記医療器具クラス及び他の１つ以上のクラスに対応付ける第１分類処理と、前記第１分類処理で前記医療器具クラスに対応付けた１つ以上の画素を除いた前記２次元画像を平滑化し、平滑化した２次元画像に含まれる画素群を、前記生体組織クラスを含む１つ以上のクラスに対応付ける第２分類処理とを実行する。
【0013】
本開示の一実施形態として、前記制御部は、前記２次元画像を平滑化し、平滑化する前の前記２次元画像に含まれる前記複数の画素を前記医療器具クラス及び他の１つ以上のクラスに対応付ける第１分類処理と、前記第１分類処理で前記医療器具クラスに対応付けた１つ以上の画素を除く、平滑化した２次元画像に含まれる画素群を、前記生体組織クラスを含む１つ以上のクラスに対応付ける第２分類処理とを実行する。
【0014】
本開示の一実施形態として、前記制御部は、前記医療器具クラスに対応付けた１つ以上の画素に、互いに異なる医療器具を表示した２つ以上の画素が含まれる場合、前記医療器具の３次元画像を医療器具ごとに生成し、生成した前記医療器具の３次元画像を医療器具ごとに区別可能な形式で表示する制御を行う。
【0015】
本開示の一実施形態として、前記２次元画像は、前記生体組織の内部で前記超音波の送信位置を変えながら順次生成され、前記制御部は、前に生成された前記２次元画像に含まれる前記複数の画素の対応付け結果に基づいて、新たに生成された前記２次元画像に含まれる前記複数の画素のうち１つ以上の画素を前記医療器具クラスに対応付けるかどうかを決定する。
【0016】
本開示の一実施形態として、前記制御部は、学習済みモデルを用いて、前記２次元画像に含まれる前記複数の画素を対応付ける。
【0017】
本開示の一実施形態として、前記制御部は、前記反射波の信号を処理して前記２次元画像を生成し、新たに前記２次元画像を生成する度に、次に前記２次元画像を生成する前に、新たに生成した前記２次元画像に対応する前記生体組織の３次元画像を生成する。
【0018】
本開示の一実施形態として、前記制御部は、毎秒１５回以上９０回以下の速さで前記２次元画像を生成する。
【0019】
本開示の一態様としての診断支援システムは、前記診断支援装置と、前記生体組織の内部で前記超音波を送信し、前記反射波の信号を前記制御部に入力するプローブとを備える。
【0020】
本開示の一態様としての診断支援方法では、プローブが、血液が通る生体組織の内部で超音波を送信し、診断支援装置が、前記超音波の反射波の信号により生成される、前記生体組織を含む２次元画像に含まれる複数の画素を、生体組織クラスを含む２つ以上のクラスに対応付け、前記診断支援装置が、前記生体組織クラスに対応付けた画素群から前記生体組織の３次元画像を生成し、ディスプレイが、前記診断支援装置により生成された前記生体組織の３次元画像を表示する。
【発明の効果】
【0021】
本開示の一実施形態によれば、超音波の２次元画像から生成される、生体組織の構造を表現する３次元画像の正確性が向上する。
【図面の簡単な説明】
【0022】
【図1】本開示の一実施形態に係る診断支援システムの斜視図である。
【図2】本開示の一実施形態に係る２次元画像に含まれる複数の画素の分類例を示す図である。
【図3】本開示の一実施形態に係るプローブ及び駆動ユニットの斜視図である。
【図4】本開示の一実施形態に係る診断支援装置の構成を示すブロック図である。
【図5】本開示の一実施形態に係る診断支援システムの動作を示すフローチャートである。
【図6】本開示の一実施形態に係る診断支援装置のデータフローを示す図である。
【図7】本開示の一実施形態に係る学習済みモデルの入出力例を示す図である。
【図8】本開示の一実施形態に係る学習済みモデルの実装例を示す図である。
【図9】本開示の一実施形態に係る学習済みモデルの実装例を示す図である。
【図10】本開示の一実施形態に係る学習済みモデルの実装例を示す図である。
【図11】本開示の一実施形態に係る３次元画像の例を示す図である。
【図12】本開示の一実施形態に係る３次元画像の例を示す図である。
【図13】本開示の一実施形態に係る３次元画像の例を示す図である。
【図14】本開示の一実施形態の変形例に係る診断支援装置のデータフローを示す図である。
【発明を実施するための形態】
【0023】
以下、本開示の一実施形態について、図を参照して説明する。
【0024】
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
【0025】
【0026】
本実施形態では、診断支援装置１１が、血液が通る生体組織の内部で送信された超音波の反射波の信号が処理されることにより生成される、生体組織を含む２次元画像に含まれる複数の画素を、生体組織クラスを含む２つ以上のクラスに対応付ける。２次元画像に含まれる複数の画素を「クラスに対応付ける」とは、２次元画像の各画素に表示された生体組織などの対象物の種類を識別するために、各画素に生体組織ラベルなどのラベルを付与すること、又は各画素を生体組織クラスなどのクラスに分類することと同義である。本実施形態では、診断支援装置１１が、生体組織クラスに対応付けた画素群から生体組織の３次元画像を生成する。すなわち、診断支援装置１１が、生体組織クラスに分類した画素群から生体組織の３次元画像を生成する。そして、ディスプレイ１６が、診断支援装置１１により生成された生体組織の３次元画像を表示する。図２の例では、５１２ピクセル＊５１２ピクセルの２次元画像に含まれる複数の画素、すなわち、２６２，１４４個の画素が生体組織クラスと、血球クラスなどの別のクラスとを含む２つ以上のクラスに分類される。図２で拡大表示した４ピクセル＊４ピクセルの領域では、全１６個の画素のうち半分の８個の画素が、生体組織クラスに分類された画素群であり、残りの８個の画素が、生体組織クラスとは別のクラスに分類された画素群である。図２では、５１２ピクセル＊５１２ピクセルの２次元画像に含まれる複数の画素の一部である４ピクセル＊４ピクセルの画素群を拡大表示し、説明の便宜上、生体組織クラスに分類された画素群にハッチングを付している。
【0027】
本実施形態によれば、超音波の２次元画像から生成される、生体組織の構造を表現する３次元画像の正確性が向上する。
【0028】
本実施形態では、診断支援装置１１は、超音波の２次元画像として、ＩＶＵＳの２次元画像を使用する。
【0029】
ＩＶＵＳは、例えば、インターベンションの最中に使用される。その理由としては、例えば、以下の理由が挙げられる。
・心腔内などの生体組織性状を判定するため。
・ステントなどの留置物を配置する位置、又は留置物が配置されている位置を確認するため。
・ＩＶＵＳカテーテル以外のカテーテル、及びガイドワイヤなどの位置を、リアルタイムに２次元画像を利用しながら確認するため。
・心腔内などの生体組織性状を判定するため。
・ステントなどの留置物を配置する位置、又は留置物が配置されている位置を確認するため。
・ＩＶＵＳカテーテル以外のカテーテル、及びガイドワイヤなどの位置を、リアルタイムに２次元画像を利用しながら確認するため。
【0030】
上述の「ＩＶＵＳカテーテル以外のカテーテル」としては、例えば、ステント留置用のカテーテル、又はアブレーションカテーテルがある。
【0031】
本実施形態によれば、術者は頭の中でＩＶＵＳの２次元画像を積層して立体構造を再構築しながら施術を行う必要がなくなる。特に若年層の医師、又は経験の浅い医師にとって障壁がなくなる。
【0032】
本実施形態では、診断支援装置１１は、術中に３次元画像でＩＶＵＳカテーテル以外のカテーテル、若しくは留置物などの位置関係、又は生体組織性状を判定できるように構成される。
【0033】
本実施形態では、診断支援装置１１は、特にＩＶＵＳカテーテルをガイドするために、リアルタイムに３次元画像を更新することができるように構成される。
【0034】
アブレーションなどの手技においては、血管又は心筋領域の厚みを考慮してアブレーションのエネルギーを決定したいという要求がある。また石灰又はプラークを削るアテレクトミーデバイスなどを使用する際は、生体組織の厚みを考慮して手技を行いたいという要望もある。本実施形態では、診断支援装置１１は、厚みを表示することができるように構成される。
【0035】
本実施形態では、診断支援装置１１は、常時更新されるＩＶＵＳ連続画像を用いて、３次元画像を更新し続けることによって、径血管的に観察可能な部位の３次元構造を提供し続けることができるように構成される。
【0036】
ＩＶＵＳの２次元画像から心腔構造を表現するためには、血球領域、心筋領域、及び心腔内にあるＩＶＵＳカテーテル以外のカテーテルなどを区別しなければならない。本実施形態では、それが可能であり、心筋領域のみを表示することができる。
【0037】
ＩＶＵＳは６ＭＨｚから６０ＭＨｚ程度の高周波数帯を使用するため、血球ノイズが強く反映されるが、本実施形態では、生体組織領域と血球領域との差異をつけることが可能である。
【0038】
１５ＦＰＳ以上９０ＦＰＳ以下の速さで更新されるＩＶＵＳの２次元画像から心腔構造を表現する処理をリアルタイムで実行するためには、１枚の画像を処理するための時間が１１ｍｓｅｃ以上６６ｍｓｅｃ以下に限られる。本実施形態では、診断支援装置１１は、そのような制限に対応することができるように構成される。
【0039】
本実施形態では、診断支援装置１１は、生体組織性状の特定、血球領域の除去、又はＩＶＵＳカテーテル以外のカテーテル位置の特定などを行った画像を３次元空間に落とし込み、３次元画像を描画するまでの処理を次のフレーム画像が来るまでの間に、すなわち、リアルタイム性が成立する時間内に計算することができるように構成される。
【0040】
本実施形態では、診断支援装置１１は、構造のみならず、石灰又はプラークの情報など、医師の要求に合った追加情報を提供することができるように構成される。
【0041】
図１を参照して、本実施形態に係る診断支援システム１０の構成を説明する。
【0042】
診断支援システム１０は、診断支援装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。
【0043】
診断支援装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。
【0044】
ケーブル１２は、診断支援装置１１と駆動ユニット１３とを接続するために用いられる。
【0045】
駆動ユニット１３は、図３に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。
【0046】
キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で診断支援装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。
【0047】
診断支援システム１０は、オプションとして、接続端子１７及びカートユニット１８をさらに備える。
【0048】
接続端子１７は、診断支援装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器としては、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体を使用できる。
【0049】
カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、診断支援装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。
【0050】
図３を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。
【0051】
プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。
【0052】
駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。
【0053】
ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。
【0054】
駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。
【0055】
スキャナユニット３１は、ケーブル１２を介して診断支援装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。
【0056】
プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と診断支援装置１１との間で信号が送受信される。診断支援装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
【0057】
スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的かつ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。
【0058】
プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。
【0059】
スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。
【0060】
スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。
【0061】
フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。
【0062】
スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者は、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
【0063】
ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。
【0064】
図４を参照して、本実施形態に係る診断支援装置１１の構成を説明する。
【0065】
診断支援装置１１は、制御部４１、記憶部４２、通信部４３、入力部４４、及び出力部４５などの構成要素を備える。
【0066】
制御部４１は、１つ以上のプロセッサである。プロセッサとしては、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサを使用できる。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。制御部４１には、１つ以上の専用回路が含まれてもよいし、又は制御部４１において、１つ以上のプロセッサを１つ以上の専用回路に置き換えてもよい。専用回路としては、例えば、ＦＰＧＡ又はＡＳＩＣを使用できる。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、診断支援装置１１を含む診断支援システム１０の各部を制御しながら、診断支援装置１１の動作に関わる情報処理を実行する。
【0067】
記憶部４２は、１つ以上のメモリである。メモリとしては、例えば、半導体メモリ、磁気メモリ、又は光メモリを使用できる。半導体メモリとしては、例えば、ＲＡＭ又はＲＯＭを使用できる。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭとしては、例えば、ＳＲＡＭ又はＤＲＡＭを使用できる。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭとしては、例えば、ＥＥＰＲＯＭを使用できる。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。メモリは、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、診断支援装置１１の動作に用いられる情報と、診断支援装置１１の動作によって得られた情報とが記憶される。
【0068】
通信部４３は、１つ以上の通信用インタフェースである。通信用インタフェースとしては、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースを使用できる。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、診断支援装置１１の動作に用いられる情報を受信し、また診断支援装置１１の動作によって得られる情報を送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。
【0069】
入力部４４は、１つ以上の入力用インタフェースである。入力用インタフェースとしては、例えば、ＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースを使用できる。「ＨＤＭＩ」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、診断支援装置１１の動作に用いられる情報を入力する操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェースにキーボード１４及びマウス１５が接続されるが、通信部４３に含まれる無線ＬＡＮインタフェースにキーボード１４及びマウス１５が接続されてもよい。
【0070】
出力部４５は、１つ以上の出力用インタフェースである。出力用インタフェースとしては、例えば、ＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースを使用できる。出力部４５は、診断支援装置１１の動作によって得られる情報を出力する。本実施形態では、出力部４５に含まれるＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。
【0071】
診断支援装置１１の機能は、本実施形態に係る診断支援プログラムを、制御部４１に含まれるプロセッサで実行することにより実現される。すなわち、診断支援装置１１の機能は、ソフトウェアにより実現される。診断支援プログラムは、診断支援装置１１の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、診断支援プログラムは、コンピュータを診断支援装置１１として機能させるためのプログラムである。
【0072】
プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリを使用できる。プログラムの流通は、例えば、プログラムを記録したＤＶＤ又はＣＤ－ＲＯＭなどの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
【0073】
コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、メモリに格納する。そして、コンピュータは、メモリに格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
【0074】
診断支援装置１１の一部又は全ての機能が、制御部４１に含まれる専用回路により実現されてもよい。すなわち、診断支援装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。
【0075】
図５を参照して、本実施形態に係る診断支援システム１０の動作を説明する。診断支援システム１０の動作は、本実施形態に係る診断支援方法に相当する。
【0076】
図５のフローの開始前に、術者によって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が心腔又は血管など、血液が通る生体組織内の目的部位まで挿入される。
【0077】
ステップＳ１において、スイッチ群３９に含まれるスキャンスイッチが押され、さらにスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。
【0078】
ステップＳ２において、プローブ２０は、ステップＳ１で送信した超音波の反射波の信号を診断支援装置１１の制御部４１に入力する。
【0079】
具体的には、プローブ２０は、生体組織の内部で反射した超音波の信号を、駆動ユニット１３及びケーブル１２を介して診断支援装置１１に送信する。診断支援装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。
【0080】
ステップＳ３において、診断支援装置１１の制御部４１は、ステップＳ２で入力された信号を処理して超音波の２次元画像を生成する。
【0081】
具体的には、図６に示すように、制御部４１は、少なくとも画像処理Ｐ１、画像処理Ｐ２、及び画像処理Ｐ３を管理するタスク管理処理ＰＭを実行する。タスク管理処理ＰＭの機能は、例えば、ＯＳの一機能として実装される。「ＯＳ」は、operating systemの略語である。制御部４１は、ステップＳ２で通信部４３によりＡ／Ｄ変換された信号を信号データ５１として取得する。制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ１を起動し、信号データ５１を処理してＩＶＵＳの２次元画像を生成する。制御部４１は、画像処理Ｐ１の結果であるＩＶＵＳの２次元画像を２次元画像データ５２として取得する。
【0082】
ステップＳ４において、診断支援装置１１の制御部４１は、ステップＳ３で生成した２次元画像に含まれる複数の画素を、生体組織を表示した画素に対応する生体組織クラスを含む２つ以上のクラスに分類する。本実施形態では、これら２つ以上のクラスには、血液に含まれる血球を表示した画素に対応する血球クラスがさらに含まれる。これら２つ以上のクラスには、ＩＶＵＳカテーテル以外のカテーテル、又はガイドワイヤなどの医療器具を表示した画素に対応する医療器具クラスがさらに含まれる。これら２つ以上のクラスには、ステントなどの留置物を表示した画素に対応する留置物クラスがさらに含まれてもよい。これら２つ以上のクラスには、石灰又はプラークなどの病変を表示した画素に対応する病変クラスがさらに含まれてもよい。各クラスは、細分化されてもよい。例えば、医療器具クラスは、カテーテルクラス、ガイドワイヤクラス、及びその他の医療器具クラスに分かれていてもよい。
【0083】
具体的には、図６及び図７に示すように、制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ２を起動し、学習済みモデル６１を用いて、ステップＳ３で取得した２次元画像データ５２に含まれる複数の画素を分類する。制御部４１は、画像処理Ｐ２の結果である、２次元画像データ５２の各画素に生体組織クラス、血球クラス、及び医療器具クラスのいずれかの分類を付与した２次元画像を分類結果６２として取得する。
【0084】
ステップＳ５において、診断支援装置１１の制御部４１は、ステップＳ４で生体組織クラスに分類した画素群から生体組織の３次元画像を生成する。本実施形態では、制御部４１は、ステップＳ３で生成した２次元画像に含まれる複数の画素からステップＳ４で血球クラスに分類した画素群を除外して生体組織の３次元画像を生成する。また、制御部４１は、ステップＳ４で医療器具クラスに分類した１つ以上の画素から医療器具の３次元画像を生成する。さらに、制御部４１は、ステップＳ４で医療器具クラスに分類した１つ以上の画素に、互いに異なる医療器具を表示した２つ以上の画素が含まれる場合、医療器具の３次元画像を医療器具ごとに生成する。
【0085】
具体的には、図６に示すように、制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ２を実行し、ステップＳ４で取得した、２次元画像データ５２の各画素に分類を付与した２次元画像を積層して３次元化する。制御部４１は、画像処理Ｐ２の結果である、分類ごとの立体構造を表現するボリュームデータ５３を取得する。そして、制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ３を起動し、取得したボリュームデータ５３を可視化する。制御部４１は、画像処理Ｐ３の結果である、分類ごとの立体構造を表現する３次元画像を３次元画像データ５４として取得する。
【0086】
本実施形態の一変形例として、制御部４１は、ステップＳ４で医療器具クラスに分類した１つ以上の画素の座標に基づいて、医療器具の３次元画像を生成してもよい。具体的には、制御部４１は、駆動ユニット１３のスキャナユニット３１の移動方向に沿って存在する複数の点の座標として、ステップＳ４で医療器具クラスに分類した１つ以上の画素の座標を示すデータを保持し、スキャナユニット３１の移動方向に沿って当該複数の点をつなぐ線状の３次元モデルを医療器具の３次元画像として生成してもよい。例えば、制御部４１は、カテーテルのように断面が小さい医療器具については、医療器具クラスに分類した１つ画素の中心、又は医療器具クラスに分類した画素群の中心の座標に、円断面の３次元モデルを医療器具の３次元画像として配置してもよい。すなわち、カテーテルなどの小さな物体の場合は、画素又は画素の集合としての領域ではなく、座標が分類結果６２として返されてもよい。
【0087】
ステップＳ６において、診断支援装置１１の制御部４１は、ステップＳ５で生成した生体組織の３次元画像を表示する制御を行う。本実施形態では、制御部４１は、ステップＳ５で生成した生体組織の３次元画像と医療器具の３次元画像とを互いに区別可能な形式で表示する制御を行う。制御部４１は、ステップＳ５で医療器具の３次元画像を医療器具ごとに生成していれば、生成した医療器具の３次元画像を医療器具ごとに区別可能な形式で表示する制御を行う。ディスプレイ１６は、制御部４１により制御されて生体組織の３次元画像と医療器具の３次元画像とを表示する。
【0088】
具体的には、図６に示すように、制御部４１は、３Ｄ表示処理Ｐ４を実行し、ステップＳ６で取得した３次元画像データ５４を、出力部４５を介してディスプレイ１６に表示させる。心腔又は血管などの生体組織の３次元画像と、カテーテルなどの医療器具の３次元画像とは、異なる色を付けるなどして区別可能に表示される。生体組織の３次元画像と医療器具の３次元画像とのうち、任意の画像がキーボード１４又はマウス１５により選択されてもよい。その場合、制御部４１は、入力部４４を介して、画像を選択する操作を受け付ける。制御部４１は、選択された画像を、出力部４５を介してディスプレイ１６に表示させ、選択されていない画像を非表示にする。また、任意の切断面がキーボード１４又はマウス１５により設定されてもよい。その場合、制御部４１は、入力部４４を介して、切断面を選択する操作を受け付ける。制御部４１は、選択された切断面で切断した３次元画像を、出力部４５を介してディスプレイ１６に表示させる。
【0089】
ステップＳ７において、スイッチ群３９に含まれるスキャンスイッチが再度押されていなければ、ステップＳ１に戻ってプルバック操作が継続される。その結果、ＩＶＵＳの２次元画像が、生体組織の内部で超音波の送信位置を変えながら順次生成される。一方、スキャンスイッチが再度押されていれば、プルバック操作が停止され、図５のフローが終了する。
【0090】
本実施形態では、画像処理Ｐ１及び３Ｄ表示処理Ｐ４がＣＰＵ上で実行され、画像処理Ｐ２及び画像処理Ｐ３がＧＰＵ上で実行される。ボリュームデータ５３は、ＣＰＵ内の記憶領域に保存されてもよいが、ＣＰＵ及びＧＰＵ間のデータ転送を省くために、ＧＰＵ内の記憶領域に保存される。
【0091】
特に、画像処理Ｐ２に含まれる分類、カテーテル検出、画像補間、及び３次元化の各処理は、本実施形態ではＧＰ－ＧＰＵにおいて実行されるが、ＦＰＧＡ又はＡＳＩＣなどの集積回路において実行されてもよい。「ＧＰ－ＧＰＵ」は、general purpose graphics processing unitの略語である。各処理は、直列に実行されてもよいし、並列に実行されてもよい。各処理はネットワーク経由で実行されてもよい。
【0092】
ステップＳ４では、診断支援装置１１の制御部４１が、従来のようなエッジ抽出の代わりに、領域認識によって生体組織領域を抽出している。その理由について説明する。
【0093】
ＩＶＵＳ画像において、血球領域の除去を目的に血球領域と生体組織領域との境界を示すエッジを抽出し、そのエッジを３次元空間に反映させることで３次元画像を作ることが考えられる。しかし、エッジ抽出は以下の点で非常に難易度が高い。
・血球領域と生体組織領域との境界の輝度勾配は一定ではなく、一様なアルゴリズムで全てを解決することが難しい。
・エッジで３次元画像を作る場合、血管壁のみでなく、心腔全体を対象にした場合など、複雑な構造を表現することができない。
・血球領域が生体組織内側だけでなく、左心房と右心房とが両方見える部分など、生体組織外側にも含まれるような画像ではエッジ抽出だけでは不十分である。
・エッジを抽出するだけではカテーテルを特定し得ない。特に生体組織壁とカテーテルとが接している場合には生体組織との境界を取ることは不可能である。
・薄い壁を挟むときにエッジだけではどちら側が本当に生体組織なのかがわかりにくい。
・厚みを計算しにくい。
・血球領域と生体組織領域との境界の輝度勾配は一定ではなく、一様なアルゴリズムで全てを解決することが難しい。
・エッジで３次元画像を作る場合、血管壁のみでなく、心腔全体を対象にした場合など、複雑な構造を表現することができない。
・血球領域が生体組織内側だけでなく、左心房と右心房とが両方見える部分など、生体組織外側にも含まれるような画像ではエッジ抽出だけでは不十分である。
・エッジを抽出するだけではカテーテルを特定し得ない。特に生体組織壁とカテーテルとが接している場合には生体組織との境界を取ることは不可能である。
・薄い壁を挟むときにエッジだけではどちら側が本当に生体組織なのかがわかりにくい。
・厚みを計算しにくい。
【0094】
ステップＳ２からステップＳ６では、診断支援装置１１の制御部４１が、３次元化を行うにあたって、血球成分を除去し、臓器部分を抽出し、その情報を３次元空間に反映させ、３次元画像を描画する必要があるが、リアルタイムに３次元画像を更新し続けるために画像が送られてくる時間Ｔｘ以内にそれらの処理を終えることができる。時間Ｔｘは、１／ＦＰＳである。３次元画像を提供する従来技術では、リアルタイム処理を実現し得ない。従来の手法ではフレームごとに処理を行い、次のフレームが来るまでの間に３次元イメージを更新し続けることはできない。
【0095】
このように、本実施形態では、制御部４１は、新たに２次元画像を生成する度に、次に２次元画像を生成する前に、新たに生成した２次元画像に対応する生体組織の３次元画像を生成する。
【0096】
具体的には、制御部４１は、毎秒１５回以上９０回以下の速さでＩＶＵＳの２次元画像を生成し、毎秒１５回以上９０回以下の速さで３次元画像を更新する。
【0097】
ステップＳ４では、診断支援装置１１の制御部４１が、従来のようなエッジ抽出ではなく、領域認識によって生体組織以外の物の領域も抽出することで、カテーテルなど特に小さい物を特定することができるため、以下の課題に対処できる。
・カテーテルが壁に接していると１枚の画像だけでは、人間でも生体組織と判定してしまう。
・カテーテルを血栓又はバブルと間違えることで、１枚の画像だけではカテーテルの判定が難しい。
・カテーテルが壁に接していると１枚の画像だけでは、人間でも生体組織と判定してしまう。
・カテーテルを血栓又はバブルと間違えることで、１枚の画像だけではカテーテルの判定が難しい。
【0098】
平素人間が、過去の連続画像を参考情報として、カテーテル位置を推定しているように、制御部４１がカテーテル位置を特定するために過去情報を使用してもよい。
【0099】
ステップＳ４では、診断支援装置１１の制御部４１が、２次元画像中心のプローブ２０本体と壁面とが接している場合も、従来のようなエッジ抽出ではなく、領域認識によって生体組織以外の物の領域も抽出することで、それらを区別することができる。すなわち、制御部４１は、ＩＶＵＳカテーテルそれ自体と、生体組織領域とを区分することができる。
【0100】
ステップＳ４では、診断支援装置１１の制御部４１が、複雑な構造を表現し、生体組織性状を判定し、カテーテルなど小さな物を探すために、エッジ抽出ではなく、生体組織領域及びカテーテル領域を抽出する。そのために、本実施形態では、機械学習のアプローチが採用されている。制御部４１は、学習済みモデル６１を用いて、画像のそれぞれの画素に対して、その部分がどのような性質を持った部分であるかを直接評価し、分類を付与された画像を定められた条件下で設定された３次元空間に反映させる。制御部４１は、３次元空間にその情報を積層し、３次元に配置されたメモリ空間に保存された情報をベースとして３次元化を行い、３次元画像を表示させる。また、それらの処理がリアルタイムに更新され、２次元画像が対応する位置の３次元情報が更新される。順次又は並行して計算が行われる。特に並行して処理が行われることにより、時間的な効率化が図られる。
【0101】
機械学習とは、アルゴリズムを使用して入力データを解析し、その解析結果から有用な規則又は判断基準などを抽出し、アルゴリズムを発展させることを指す。機械学習のアルゴリズムは、一般的に、教師あり学習、教師なし学習、及び強化学習などに分類される。教師あり学習のアルゴリズムでは、サンプルとなる生体音の音声データ及び超音波画像という入力と、それらに対応した疾患のデータという結果とのデータセットが与えられ、それに基づき機械学習が行われる。教師なし学習のアルゴリズムでは、入力データのみが大量に与えられて機械学習が行われる。強化学習のアルゴリズムは、アルゴリズムが出力した解に基づいて環境を変化させ、出力した解がどの程度正しいのかの報酬に基づいて、修正が加えられていく。こうして得られた機械学習済みのモデルが学習済みモデル６１として用いられる。
【0102】
学習済みモデル６１は、事前に機械学習を行うことによって、サンプルとなる２次元画像から、クラスを特定できるように調教されている。サンプルとなる超音波画像及びその画像に対して予め人がラベル付けした分類が施された画像は、例えば多くの患者が集まる大学病院などの医療機関で収集される。
【0103】
ＩＶＵＳ画像には血球領域のような高ノイズが載っており、さらにシステムノイズも載っている。そのため、ステップＳ４では、診断支援装置１１の制御部４１が、学習済みモデル６１に挿入する前に画像に前処理を施す。前処理としては、例えば、simple blur、median blur、Gaussian blur、bilateral filter、median filter、若しくはblock averagingなどの様々なフィルタを用いたsmoothing、又はdilation and erosion、opening and closing、morphological gradient、若しくはtop hat and black hatなどのimage morphology、又はflood fill、resize、image pyramids、threshold、low path filter、high path filter、若しくはdiscrete wavelet transformが行われる。ただし、このような処理を通常のＣＰＵ上で行った場合、その処理のみでも６６ｍｓｅｃ以内で終わらない可能性がある。そのためこの処理をＧＰＵ上で行う。特にディープラーニングと呼ばれる複数のレイヤで構築される機械学習でのアプローチにおいて、そのレイヤとしてアルゴリズムを構築することで、リアルタイム性を持たせた前処理を行うことが可能となることを検証済みである。この検証では、５１２ピクセル＊５１２ピクセル以上の画像を用いて分類精度９７％以上、４２ＦＰＳを達成している。
【0104】
前処理の有無で比較した場合、生体組織領域の抽出においては前処理のレイヤを加えることが望ましいが、２次元画像内のカテーテルのような小さな物を判定する際は、前処理のレイヤがない方が良い。そのため、本実施形態の一変形例として、クラスごとに異なる画像処理Ｐ２が準備されてもよい。例えば、図１４に示すように、生体組織クラス用の、前処理のレイヤを含む画像処理Ｐ２ａと、カテーテルクラス用又はカテーテル位置特定用の、前処理のレイヤを含まない画像処理Ｐ２ｂとを用意してもよい。
【0105】
この変形例において、診断支援装置１１の制御部４１は、２次元画像を平滑化する。平滑化とは、画素群の濃淡変動を滑らかにする処理のことである。平滑化には、上述のsmoothingが含まれる。制御部４１は、平滑化する前の２次元画像に含まれる複数の画素を医療器具クラス及び他の１つ以上のクラスに分類する第１分類処理を実行する。制御部４１は、第１分類処理で医療器具クラスに分類した１つ以上の画素を除く、平滑化した２次元画像に含まれる画素群を、生体組織クラスを含む１つ以上のクラスに分類する第２分類処理を実行する。制御部４１は、第１分類処理で分類した１つ以上の画素と、第２分類処理で分類した画素群とを重畳することで、医療器具を精度よく３次元画像に表示することができる。この変形例のさらなる変形例として、制御部４１は、平滑化する前の２次元画像に含まれる複数の画素を医療器具クラス及び他の１つ以上のクラスに分類する第１分類処理と、第１分類処理で医療器具クラスに分類した１つ以上の画素を除いた２次元画像を平滑化し、平滑化した２次元画像に含まれる画素群を、生体組織クラスを含む１つ以上のクラスに分類する第２分類処理とを実行してもよい。
【0106】
ステップＳ５では、診断支援装置１１の制御部４１が、画像処理Ｐ２による分類の結果、取得された生体組織領域の情報を用いて、生体組織の厚みを計測する。また、制御部４１が、その計測結果を３次元情報に反映させることにより、厚みを表現する。ステップＳ６では、制御部４１が、グラデーションなどを用いて立体構造の色を分けるなどの処理を加えることで、厚みを表示する。制御部４１は、さらに生体組織性状の違いなど、３次元における生体組織構造をクラスごとに色を変えるなどの表示方法で追加情報を与えてもよい。
【0107】
このように、本実施形態では、制御部４１は、ステップＳ４で生体組織クラスに分類した画素群を分析して生体組織の厚みを算出する。制御部４１は、算出した生体組織の厚みを表示する制御を行う。ディスプレイ１６は、制御部４１により制御されて生体組織の厚みを表示する。本実施形態の一変形例として、制御部４１は、生成した前記生体組織の３次元画像を分析して生体組織の厚みを算出してもよい。
【0108】
本実施形態における３次元空間の定義について説明する。
【0109】
３次元化の手法としては、surface rendering又はvolume renderingなどのレンダリング手法、及びそれに付随したtexture mapping、bump mapping、又はenvironment mappingなど種々の操作が用いられる。
【0110】
本実施形態で利用される３次元空間は、リアルタイム処理を行い得るサイズに限定される。そのサイズはシステムにおいて定められた超音波画像を取得するＦＰＳに準ずるものであることが求められる。
【0111】
本実施形態ではその位置を逐一取得することができる駆動ユニット１３が使用される。駆動ユニット１３のスキャナユニット３１は一軸上を移動することができるが、その軸をｚ軸、ある瞬間のスキャナユニット３１の位置をｚとする。またｚ軸は予め規定された３次元空間のある一軸に紐付いており、その軸をＺ軸とする。Ｚ軸とｚ軸とは紐付いているため、Ｚ軸上の点ＺはＺ＝ｆ（ｚ）となるように予め定められている。
【0112】
Ｚ軸上には画像処理Ｐ２によって得られた分類結果６２の情報が反映される。ここで定義した３次元空間のＸＹ軸平面には、画像処理Ｐ２で分類可能なクラス情報を全て保存することができることが求められる。さらには、元の超音波画像における輝度情報が同時に内包されることが望ましい。画像処理Ｐ２によって得られた分類結果６２の情報は、その全てのクラス情報が、現在のスキャナユニット３１の位置に相当する３次元上Ｚ軸位置におけるＸＹ平面へと反映される。
【0113】
また３次元空間は、Ｔｘ（＝１／ＦＰＳ）ごとにvolume renderingなどを用いて３次元化されることが望ましいが、処理時間が限定されているため無限に大きくしていくことはできない。すなわち、３次元空間は、Ｔｘ（＝１／ＦＰＳ）以内に計算し得るサイズであることが求められる。
【0114】
駆動ユニット１３上の長い範囲を３次元に変換したい場合は、計算し得るサイズに収まらない可能性が考えられる。そのため、駆動ユニット１３で表示する範囲を上述の範囲内に抑えるためにＺ＝ｆ（ｚ）が適切な変換として規定される。これは、Ｚ軸上での駆動ユニット１３のスキャナユニット３１の移動範囲と、ｚ軸上でボリュームデータ５３を保存可能な範囲との両方の制限内でＺ軸上の位置をｚ軸上の位置に変換する関数を設定する必要があるということである。
【0115】
上述のように、本実施形態では、診断支援装置１１の制御部４１は、血液が通る生体組織の内部で送信された超音波の反射波の信号が処理されることにより生成される２次元画像に含まれる複数の画素を、生体組織を表示した画素に対応する生体組織クラスを含む２つ以上のクラスに分類する。制御部４１は、生体組織クラスに分類した画素群から生体組織の３次元画像を生成する。制御部４１は、生成した生体組織の３次元画像を表示する制御を行う。したがって、本実施形態によれば、超音波の２次元画像から生成される、生体組織の構造を表現する３次元画像の正確性が向上する。
【0116】
本実施形態によれば、リアルタイムに３次元画像が表示され、術者が頭の中で２次元画像を３次元空間へ変換することなく手技を行うことができるようになり、術者の疲労軽減、及び手技時間の短縮が見込まれる。
【0117】
本実施形態によれば、カテーテルなどの挿入物、又はステントなどの留置物の位置関係が明確となり、手技の失敗が減少する。
【0118】
本実施形態によれば、生体組織の性状を３次元的に捉えることが可能となり、正確な手技を行うことができる。
【0119】
本実施形態によれば、前処理のレイヤを画像処理Ｐ２の内部に入れ込むことで、精度が向上する。
【0120】
本実施形態によれば、分類された生体組織領域の情報を用いて、生体組織厚みを計測することができ、その情報を３次元情報に反映させることができる。
【0121】
本実施形態では、入力画像を超音波画像とし、アウトプットを１ピクセルごと、又は複数の画素を集合と見立てた領域に、カテーテル本体の領域、血球領域、石灰化領域、線維化領域、カテーテル領域、ステント領域、心筋壊死領域、脂肪生体組織、又は臓器間の生体組織などの２クラス以上の分類を持たせて分類を行うことで、１枚の画像内からどの部分がどの部分であるかを判定することができる。
【0122】
本実施形態では、少なくとも心臓及び血管領域に対応する生体組織クラスという分類が予め定められる。既に１ピクセルごと、又は複数の画素を集合と見立てた領域に、この生体組織クラスを含む２クラス以上の分類を持たせて分類された教師ありデータを機械学習の材料とすることで、学習効率を向上させることができる。
【0123】
本実施形態において、学習済みモデル６１は、ＣＮＮ、ＲＮＮ、及びＬＳＴＭをはじめとした任意のディープラーニング用のニューラルネットワークとして構築される。「ＣＮＮ」は、convolutional neural networkの略語である。「ＲＮＮ」は、recurrent neural networkの略語である。「ＬＳＴＭ」は、long short-term memoryの略語である。
【0124】
図８は、学習済みモデル６１をＲＮＮとして構築する例を示している。
【0125】
この例では、分類に時系列が考慮される。平素人間はカテーテルなどの小さい物の位置を判定するときに、超音波素子の位置を変えながら撮影箇所を変えることで、その連続性を考慮している。画像処理Ｐ２においても同様に、時間軸のデータを考慮してカテーテルなどの小さい物体を特定することができる。過去の情報を考慮するために、現在得られた画像とともに一定の期間の過去の情報も一度に画像処理Ｐ２に入力することによって、現在の分類が行われる。この例における学習済みモデル６１は、少なくとも、１つ前に生成された２次元画像と、新たに生成された２次元画像とを入力として受け、新たに生成された２次元画像の分類結果６２を出力するモデルである。図８では、時点ｔ－１の入力画像が、１つ前に生成された２次元画像であり、時点ｔの入力画像が、新たに生成された２次元画像であり、時点ｔの出力画像が、新たに生成された２次元画像の分類結果６２である。
【0126】
図９は、学習済みモデル６１をＬＳＴＭとして構築する例を示している。
【0127】
この例では、学習済みモデル６１は、２つ以上前に生成された２次元画像を記憶するメモリモジュールを有する。メモリモジュールは、過去の情報を保存する機能を持っている。
【0128】
図１０は、未来情報をさらに考慮する例を示している。
【0129】
この例では、実際の現在の時点を未来の時点ｔとし、時点ｔ以前の一定期間の画像を画像処理Ｐ２に入力し、実際の少し前の時点を現在の時点ｔ－１とし、時点ｔ－１の画像に対する分類が行われる。この例における学習済みモデル６１は、少なくとも、１つ前に生成された２次元画像と、新たに生成された２次元画像とを入力として受け、１つ前に生成された２次元画像の分類結果６２を出力するモデルである。図１０では、時点ｔ－１の入力画像が、１つ前に生成された２次元画像であり、時点ｔの入力画像が、新たに生成された２次元画像であり、時点ｔ－１の出力画像が、１つ前に生成された２次元画像の分類結果６２である。図１０の手法は、図８又は図９の例に適用してもよい。
【0130】
ディープラーニングにより画像内のカテーテルなどの小さい物を抽出する手法としては、Ｒ－ＣＮＮ、Fast R-CNN、Faster R-CNN、Mask R-CNN、ＹＯＬＯ又はＳＳＤなどの手法を適用してもよい。「Ｒ－ＣＮＮ」は、region-based convolutional networkの略語である。「ＹＯＬＯ」は、You Only Look Onceの略語である。「ＳＳＤ」は、Single Shot MultiBox Detectorの略語である。
【0131】
本実施形態の一変形例として、診断支援装置１１の制御部４１は、図１１又は図１２に示すように、前に生成された２次元画像に含まれる複数の画素の分類結果に基づいて、新たに生成された２次元画像に含まれる複数の画素のうち１つ以上の画素を医療器具クラスに分類するかどうかを決定してもよい。その場合、制御部４１は、前に生成された２次元画像と、新たに生成された２次元画像とを対比する。そして、例えば、制御部４１は、前に生成された２次元画像に含まれる複数の画素のうち医療器具クラスに分類した１つ以上の画素と一致度９０％以上の１つ以上の画素が新たに生成された２次元画像に含まれていれば、新たに生成された２次元画像に含まれる当該１つ以上の画素を医療器具クラスに分類する。
【0132】
図１１は、グルーピングの例を示している。
【0133】
この例では、制御部４１は、３次元空間内に、カテーテルなどの連続的に存在することが予想されるクラスのオブジェクトが複数含まれる場合、画像処理Ｐ２を用いて抽出した結果を一時的に保存する。制御部４１は、さらに時系列的に判定した結果を考慮し、予め与えられたカテーテル本数の情報をベースに、抽出されたオブジェクト群を分類する。図１１では、血管６３と、第１カテーテル６４と、第２カテーテル６５とが独立して３次元画像データ５４に反映されている。
【0134】
図１２は、ノイズ修正の例を示している。
【0135】
画像処理Ｐ２を用いてカテーテルなどの位置を抽出したとしても、その全てが正解であるわけではない。そのため、この例では、制御部４１は、さらに時系列的に判定した結果を考慮し、明らかな誤りを除去する。図１２では、血管６３と、第１カテーテル６４と、第２カテーテル６５とが独立して３次元画像データ５４に反映されている。ノイズ６６は、便宜上図１２に記載しているが、実際には３次元画像データ５４に反映されていない。
【0136】
本実施形態の一変形例として、ＩＶＵＳの２次元画像が、生体組織の内部における医療器具の有無又は配置を変えて複数回生成されてもよい。その場合、診断支援装置１１の制御部４１は、図１３に示すように、前に生成された２次元画像に含まれる複数の画素の分類結果に基づいて、新たに生成された２次元画像に含まれる複数の画素のうち１つ以上の画素を医療器具クラスに分類するかどうかを決定する。
【0137】
図１３の例では、血管６３内の同じ位置でカテーテルの有無に差Ｄ１を付けて撮影した画像を比較することで第１カテーテル６４及び第２カテーテル６５を確実に検出することができる。また、血管６３内の同じ位置でカテーテルの配置に差Ｄ２を付けて撮影した画像を比較することでも第１カテーテル６４及び第２カテーテル６５を確実に検出することができる。
【0138】
本実施形態の一変形例として、診断支援装置１１がステップＳ３の処理を行う代わりに、他の装置がステップＳ３の処理を行い、診断支援装置１１はステップＳ３の処理の結果として生成された２次元画像を取得してステップＳ４以降の処理を行ってもよい。すなわち、診断支援装置１１の制御部４１が、ＩＶＵＳの信号を処理して２次元画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して２次元画像を生成し、生成した２次元画像を制御部４１に入力してもよい。
【0139】
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
【0140】
例えば、図６に示した画像処理Ｐ１、画像処理Ｐ２、及び画像処理Ｐ３は並列に実行されてもよい。
【符号の説明】
【0141】
１０ 診断支援システム
１１ 診断支援装置
１２ ケーブル
１３ 駆動ユニット
１４ キーボード
１５ マウス
１６ ディスプレイ
１７ 接続端子
１８ カートユニット
２０ プローブ
２１ 駆動シャフト
２２ ハブ
２３ シース
２４ 外管
２５ 超音波振動子
２６ 中継コネクタ
３１ スキャナユニット
３２ スライドユニット
３３ ボトムカバー
３４ プローブ接続部
３５ スキャナモータ
３６ 差込口
３７ プローブクランプ部
３８ スライドモータ
３９ スイッチ群
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
５１ 信号データ
５２ ２次元画像データ
５３ ボリュームデータ
５４ ３次元画像データ
６１ 学習済みモデル
６２ 分類結果
６３ 血管
６４ 第１カテーテル
６５ 第２カテーテル
６６ ノイズ
１１ 診断支援装置
１２ ケーブル
１３ 駆動ユニット
１４ キーボード
１５ マウス
１６ ディスプレイ
１７ 接続端子
１８ カートユニット
２０ プローブ
２１ 駆動シャフト
２２ ハブ
２３ シース
２４ 外管
２５ 超音波振動子
２６ 中継コネクタ
３１ スキャナユニット
３２ スライドユニット
３３ ボトムカバー
３４ プローブ接続部
３５ スキャナモータ
３６ 差込口
３７ プローブクランプ部
３８ スライドモータ
３９ スイッチ群
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
５１ 信号データ
５２ ２次元画像データ
５３ ボリュームデータ
５４ ３次元画像データ
６１ 学習済みモデル
６２ 分類結果
６３ 血管
６４ 第１カテーテル
６５ 第２カテーテル
６６ ノイズ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】