特許 7514673 医用画像処理装置及び医用画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-03

(45)【発行日】2024-07-11

(54)【発明の名称】医用画像処理装置及び医用画像処理システム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240704BHJP

   A61B 5/055 20060101ALI20240704BHJP

   A61B 6/03 20060101ALI20240704BHJP

   A61B 6/46 20240101ALI20240704BHJP

   A61B 6/50 20240101ALI20240704BHJP

   A61B 8/14 20060101ALI20240704BHJP

【ＦＩ】

A61B6/00 550Z

A61B5/055 380

A61B5/055 390

A61B6/03 577

A61B6/46 536Q

A61B6/50 500B

A61B8/14

【請求項の数】 12

(21)【出願番号】P 2020114343

(22)【出願日】2020-07-01

(65)【公開番号】P2022012486

(43)【公開日】2022-01-17

【審査請求日】2023-04-18

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】安藤 広治

(72)【発明者】

【氏名】松永 智史

(72)【発明者】

【氏名】平山 貢大

【審査官】佐藤 賢斗

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０２７９７８０（ＵＳ，Ａ１）

【文献】特開平０４－１８３４４６（ＪＰ，Ａ）

【文献】特開２０２０－００５７８５（ＪＰ，Ａ）

【文献】特開２００９－０９５６７１（ＪＰ，Ａ）

【文献】特開２０１９－０７２４６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００９５４２１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／００６５４９８（ＵＳ，Ａ１）

【文献】米国特許第０９９１８７９２（ＵＳ，Ｂ１）

【文献】特表２０１８－５３４０３８（ＪＰ，Ａ）

【文献】特開２０２０－０４４２６６（ＪＰ，Ａ）

【文献】特開２０２０－０６５５９３（ＪＰ，Ａ）

【文献】特開２０１４－０６１０９３（ＪＰ，Ａ）

【文献】特表２０１３－５１３４１２（ＪＰ，Ａ）

【文献】特開２０１０－０２９６４１（ＪＰ，Ａ）

【文献】特開２０１９－０９３１２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ８／００ － ８／１５

(57)【特許請求の範囲】

【請求項1】

被検体の超音波画像を第１の医用画像として取得する第１画像取得部と、
前記被検体のＸ線画像を第２の医用画像として取得する第２画像取得部と、
前記超音波画像及び前記Ｘ線画像とは異なる、前記被検体の第３の医用画像を取得する第３画像取得部と、
前記Ｘ線画像を、前記超音波画像に位置合せする第１位置合せ部と、
前記第３の医用画像を、前記超音波画像に位置合せする第２位置合せ部と、
前記第１位置合せ部による位置合せ結果および前記第２位置合せ部による位置合せ結果に基づいて、前記Ｘ線画像と前記第３の医用画像とを位置合せし、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を生成する画像生成部と、
前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を表示部に表示させる表示制御部と、
を有し、
前記表示制御部は、位置合せの基準となった前記超音波画像を位置合せしてさらに前記表示部に表示させ、前記Ｘ線画像に現れるカテーテルの位置に基づいて、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像の表示から、前記Ｘ線画像に対して前記第３の医用画像と前記超音波画像とが位置合せされた画像の表示に切り替える、
医用画像処理装置。

【請求項2】

前記第２位置合せ部は、前記第１位置合せ部による前記Ｘ線画像の、前記超音波画像との位置合せ方法とは異なる方法で、前記第３の医用画像の、前記超音波画像との位置合せを行う、
請求項１に記載の医用画像処理装置。

【請求項3】

前記第１位置合せ部は、前記Ｘ線画像から超音波プローブの位置を検出することで前記Ｘ線画像の、前記超音波画像との位置合せを行い、
前記第２位置合せ部は、前記第３の医用画像と前記超音波画像とに描出される特徴部位に基づいて、前記第３の医用画像の、前記超音波画像との位置合せを行う、
請求項２に記載の医用画像処理装置。

【請求項4】

前記第３画像取得部は、前記第３の医用画像として、前記超音波画像及び前記Ｘ線画像とは異なる種類である前記被検体のＣＴ画像又はＭＲＩ画像を取得する、
請求項１乃至３のいずれか一項に記載の医用画像処理装置。

【請求項5】

前記第３画像取得部は、前記第３の医用画像として、所定の解剖学的特徴を含む画像を取得する、
請求項１乃至４のいずれか一項に記載の医用画像処理装置。

【請求項6】

前記第３画像取得部は、前記第３の医用画像として、カテーテルの経路を示す情報を含む画像を取得する、
請求項１乃至４のいずれか一項に記載の医用画像処理装置。

【請求項7】

超音波画像を生成する超音波診断装置と、Ｘ線画像を生成するＸ線撮影装置とを備える医用画像処理システムであって、
被検体の超音波画像を第１の医用画像として取得する第１画像取得部と、
前記被検体のＸ線画像を第２の医用画像として取得する第２画像取得部と、
前記超音波画像及び前記Ｘ線画像とは異なる、前記被検体の第３の医用画像を取得する第３画像取得部と、
前記Ｘ線画像を、前記超音波画像に位置合せする第１位置合せ部と、
前記第３の医用画像を、前記超音波画像に位置合せする第２位置合せ部と、
前記第１位置合せ部による位置合せ結果および前記第２位置合せ部による位置合せ結果に基づいて、前記Ｘ線画像と前記第３の医用画像とを位置合せし、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を生成する画像生成部と、
を有し、
前記Ｘ線撮影装置に、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を表示部に表示させる表示制御部を有し、
前記表示制御部は、位置合せの基準となった前記超音波画像を位置合せしてさらに前記表示部に表示させ、前記Ｘ線画像に現れるカテーテルの位置に基づいて、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像の表示から、前記Ｘ線画像に対して前記第３の医用画像と前記超音波画像とが位置合せされた画像の表示に切り替える、
医用画像処理システム。

【請求項8】

前記第１位置合せ部は、前記超音波診断装置に設けられる、
請求項７に記載の医用画像処理システム。

【請求項9】

前記画像生成部は、前記Ｘ線撮影装置に設けられる、
請求項７又は８に記載の医用画像処理システム。

【請求項10】

前記表示制御部は、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像と、位置合せの基準となった前記超音波画像とを並列で前記表示部に表示させる、
請求項７乃至９のいずれか一項に記載の医用画像処理システム。

【請求項11】

前記画像生成部は、前記第１位置合せ部による位置合せ結果および前記第２位置合せ部による位置合せ結果に基づいて、連続する全てのフレームに関するＸ線画像と前記第３の医用画像とを位置合せし、前記連続する全てのフレームに関するＸ線画像に対して前記第３の医用画像が位置合せされた複数の画像を生成し、
前記表示制御部は、前記複数の画像を、略リアルタイムで動画として前記表示部に表示させる、
請求項７乃至１０のいずれか一項に記載の医用画像処理システム。

【請求項12】

前記画像生成部は、前記第１位置合せ部による位置合せ結果および前記第２位置合せ部による位置合せ結果に基づいて、連続する複数のフレームのうち所定のフレームに関するＸ線画像と前記第３の医用画像とを位置合せし、前記所定のフレームに関するＸ線画像に対して前記第３の医用画像が位置合せされた画像を生成し、
前記表示制御部は、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像の要素としてのＸ線画像を動画として、前記要素としての第３の医用画像を静止画として前記表示部に表示させる、
請求項７乃至１０のいずれか一項に記載の医用画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用画像処理装置及び医用画像処理システムに関する。

【背景技術】

【0002】

医用分野では、超音波プローブの複数の振動子（圧電振動子）を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。

【0003】

心臓の冠動脈に対してカテーテルを用いたインターベンション治療が行われてきたが、心臓の弁膜症等の器質的な心疾患に対するインターベンション治療が注目されている。弁膜症に対するインターベンション治療は、「ＳＨＤ（Structural Heart Disease）インターベンション治療」と呼ばれる。近年、ＳＨＤインターベンション治療を進める際、Ｘ線撮影装置（例えば、Ｘ線循環器装置（Angio））から得られる透視画像データだけではなく、超音波診断装置から得られる超音波画像データも駆使するケースが増加している。そのため、ＳＨＤインターベンション治療におけるマルチモダリティのニーズは高まっている。

【0004】

具体的には、僧帽弁閉鎖不全症（ＭＲ：Mitral Regurgitation）の患者の体内に挿入されたカテーテルからクリップ等の医用デバイスを挿入し、弁の治療を行なうＭｉｔｒａ Ｃｌｉｐ（登録商標）という術式が適用されている。この術式では、透視画像データによるガイドの下で、術者は、デバイスと心臓組織との位置関係を把握しながら、超音波の経食道心エコーで血流状況を確認しながら医用デバイスの留置を行う。そのため、この術式では、患者を開胸せずに、患者の体力や年齢を考慮して行うことができる。

【0005】

また、非弁膜症性心房細動の患者の体内に挿入されたカテーテルの中から、ＷＡＴＣＨＭＡＮ（登録商標）デバイス等の医用デバイスを挿入し、左心耳の中に留置する術式が適用されている。デバイスが留置されると、術者は、超音波画像で左心耳の適切な位置に留置できているかを確認し、医用デバイスをリリースする。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１４－７６３３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、インターベンション治療において、術者等の操作者を支援可能な画像データを生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0008】

実施形態に係る医用画像処理装置は、第１画像取得部と、第２画像取得部と、第３画像取得部と、第１位置合せ部と、第２位置合せ部と、画像生成部とを有する。第１画像取得部は、被検体の超音波画像を第１の医用画像として取得する。第２画像取得部は、被検体のＸ線画像を第２の医用画像として取得する。第３画像取得部は、超音波画像及びＸ線画像とは異なる、被検体の第３の医用画像を取得する。第１位置合せ部は、Ｘ線画像を、超音波画像に位置合せする。第２位置合せ部は、第３の医用画像を、超音波画像に位置合せする。画像生成部は、第１位置合せ部による位置合せ結果および第２位置合せ部による位置合せ結果に基づいて、Ｘ線画像と第３の医用画像とを位置合せし、Ｘ線画像に対して第３の医用画像が位置合せされた画像を生成する。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの構成の一例を示す概略図。

【図2】図２は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの外観を示す図。

【図3】図３は、実施形態に係る医用画像処理装置を設ける医用画像処理システムのＸ線撮影装置の構成の一例を示す概略図。

【図4】図４は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの機能の一例を示すブロック図。

【図5】図５は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの動作の一例をフローチャートとして示す図。

【図6】図６は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの動作の一例をフローチャートとして示す図。

【図7】図７は、実施形態に係る医用画像処理装置を設ける医用画像処理システムにおいて、Ｘ線透視画像データに、超音波画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図。

【図8】図８は、実施形態に係る医用画像処理装置を設ける医用画像処理システムにおいて、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図。

【図9】図９は、実施形態に係る医用画像処理装置を設ける医用画像処理システムにおいて、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データと心臓を部分的に含む超音波画像データとが重畳された重畳画像データに基づく重畳画像の一例を示す図。

【図10】図１０は、実施形態に係る医用画像処理装置を設ける医用画像処理システムにおいて、Ｘ線透視画像データに、血管を含むＣＴ画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図。

【図11】図１１は、実施形態に係る医用画像処理装置を設ける医用画像処理システムにおいて、図３に示す医用画像処理システムの変形例を示すブロック図。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、医用画像処理装置及び医用画像処理システムの実施形態について詳細に説明する。

【0011】

図１は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの構成の一例を示す概略図である。図２は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの外観を示す図である。

【0012】

図１は、医用画像処理システム１を示す。医用画像処理システム１は、第１の医用画像生成装置（「モダリティ」とも呼ばれる）としての超音波診断装置１０と、超音波プローブ２０と、位置センサ３０と、第２の医用画像生成装置としてのＸ線撮影装置（例えば、Ｘ線循環器装置（Angio））４０と、医用画像提供装置５０とを備える。なお、超音波診断装置１０に、超音波プローブ２０と、位置センサ３０とのうちの少なくとも１個を加えた装置を超音波診断装置と称する場合もある。以下の説明では、超音波診断装置の外部に、超音波プローブ２０と、位置センサ３０とが備えられる場合について説明する。

【0013】

超音波診断装置１０は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４と、画像メモリ１５と、ネットワークインターフェース１６と、本実施形態に係る医用画像処理装置１７と、入力インターフェース１８と、ディスプレイ１９とを備える。回路１１～１４は、特定用途向け集積回路（ＡＳＩＣ:Application Specific Integrated Circuit）等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路１１～１４の機能の全部又は一部は、医用画像処理装置１７の処理回路１７１がプログラムを実行することで実現されるものであってもよい。また、超音波診断装置１０は、入力インターフェース１８と、ディスプレイ１９とのうちの少なくとも１個をその外部に備えてもよい。以下の説明では、超音波診断装置の内部に、入力インターフェース１８と、ディスプレイ１９との両方が備えられる場合について説明する。

【0014】

送受信回路１１は、送信回路と受信回路とを有する（図示省略）。送受信回路１１は、処理回路１７１による制御の下、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信回路１１が超音波診断装置１０に設けられる場合について説明するが、送受信回路１１は、超音波プローブ２０に設けられてもよいし、超音波診断装置１０と超音波プローブ２０との両方に設けられてもよい。なお、送受信回路１１は、送受信部の一例である。

【0015】

送信回路は、パルス発生回路と、送信遅延回路と、パルサ回路等を有し、超音波振動子に駆動信号を供給する。パルス発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ２０の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。

【0016】

受信回路は、アンプ回路と、Ａ／Ｄ（Analog to Digital）変換器と、加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。

【0017】

Ｂモード処理回路１２は、処理回路１７１による制御の下、受信回路からエコーデータを受信し、対数増幅と、包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（２次元又は３次元データ）を生成する。このデータは、一般に、Ｂモードデータと呼ばれる。なお、Ｂモード処理回路１２は、Ｂモード処理部の一例である。

【0018】

なお、Ｂモード処理回路１２は、フィルタ処理により、検波周波数を変化させることで、映像化する周波数帯域を変えることができる。Ｂモード処理回路１２のフィルタ処理機能を用いることにより、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）等のハーモニックイメージングを実行可能である。すなわち、Ｂモード処理回路１２は、造影剤が注入された被検体の反射波データから、造影剤（微小気泡、バブル）を反射源とするハーモニック成分の反射波データ（高調波データ又は分周波データ）と、被検体内の組織を反射源とする基本波成分の反射波データ（基本波データ）とを分離することができる。Ｂモード処理回路１２は、また、ハーモニック成分の反射波データ（受信信号）から、造影画像データを生成するためのＢモードデータを生成することができ、また、基本波成分の反射波データ（受信信号）から、基本波（ファンダメンタル）画像データを生成するためのＢモードデータを生成することができる。

【0019】

また、Ｂモード処理回路１２のフィルタ処理機能を用いることによるＴＨＩにおいて、被検体の反射波データから、ハーモニック成分の反射波データ（受信信号）である高調波データ又は分周波データを分離することができる。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）から、ノイズ成分を除去した組織画像データを生成するためのＢモードデータを生成することができる。

【0020】

さらに、ＣＨＩやＴＨＩのハーモニックイメージングを行う際、Ｂモード処理回路１２は、上述したフィルタ処理を用いた方法とは異なる方法により、ハーモニック成分を抽出することができる。ハーモニックイメージングでは、振幅変調（ＡＭ：Amplitude Modulation）法、位相変調（ＰＭ：Phase Modulation）法、ＡＭ法及びＰＭ法を組み合せたＡＭＰＭ法と呼ばれる映像法が行われる。ＡＭ法と、ＰＭ法と、ＡＭＰＭ法とでは、同一の走査線に対して振幅や位相が異なる超音波送信を複数回行う。これにより、送受信回路１１は、各走査線で複数の反射波データ（受信信号）を生成し出力する。そして、Ｂモード処理回路１２は、各走査線の複数の反射波データ（受信信号）を、変調法に応じた加減算処理することで、ハーモニック成分を抽出する。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）に対して包絡線検波処理等を行って、Ｂモードデータを生成する。

【0021】

例えば、ＰＭ法が行われる場合、送受信回路１１は、処理回路１７１が設定したスキャンシーケンスにより、例えば（－１，１）のように、位相極性を反転させた同一振幅の超音波を、各走査線で２回送信させる。そして、送受信回路１１は、「－１」の送信による受信信号と、「１」の送信による受信信号とを生成し、Ｂモード処理回路１２は、これら２つの受信信号を加算する。これにより、基本波成分が除去され、２次高調波成分が主に残存した信号が生成される。そして、Ｂモード処理回路１２は、この信号に対して包絡線検波処理等を行って、ＴＨＩのＢモードデータやＣＨＩのＢモードデータを生成する。

【0022】

又は、例えば、ＴＨＩでは、受信信号に含まれる２次高調波成分と差音成分とを用いて映像化を行う方法が実用化されている。差音成分を用いた映像化法では、例えば、中心周波数が「ｆ１」の第１基本波と、中心周波数が「ｆ１」より大きい「ｆ２」の第２基本波とを合成した合成波形の送信超音波を、超音波プローブ２０から送信させる。この合成波形は、２次高調波成分と同一の極性を持つ差音成分が発生するように、互いの位相が調整された第１基本波の波形と第２基本波の波形とを合成した波形である。送受信回路１１は、合成波形の送信超音波を、位相を反転させながら、例えば、２回送信させる。かかる場合、例えば、Ｂモード処理回路１２は、２つの受信信号を加算することで、基本波成分が除去され、差音成分及び２次高調波成分が主に残存したハーモニック成分を抽出した後、包絡線検波処理等を行う。

【0023】

ドプラ処理回路１３は、処理回路１７１による制御の下、受信回路からのエコーデータから速度情報を周波数解析し、平均速度、分散、パワー等の移動体の移動情報を多点について抽出したデータ（２次元又は３次元データ）を生成する。このデータは、一般に、ドプラデータと呼ばれる。ここで、移動体の例としては、血流と、心壁等の組織と、造影剤等が挙げられる。なお、ドプラ処理回路１３は、ドプラ処理部の一例である。

【0024】

画像生成回路１４は、処理回路１７１による制御の下、超音波プローブ２０が受信したエコー信号に基づいて、所定の輝度レンジで表現された超音波画像データを生成する。例えば、画像生成回路１４は、超音波画像データとして、Ｂモード処理回路１２によって生成された２次元のＢモードデータから反射波の強度を輝度にて表したＢモード画像データを生成する。また、画像生成回路１４は、超音波画像データとして、ドプラ処理回路１３によって生成された２次元のドプラデータから移動態情報を表す平均速度画像データ、分散画像データ、パワー画像データ、又は、これらの組み合せの画像データとしてのカラードプラ画像データを生成する。なお、画像生成回路１４は、画像生成部の一例である。

【0025】

ここで、画像生成回路１４は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成回路１４は、超音波プローブ２０による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像データを生成する。また、画像生成回路１４は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、画像生成回路１４は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

【0026】

すなわち、Ｂモードデータとドプラデータとは、スキャンコンバート処理前の超音波画像データであり、画像生成回路１４が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Ｂモードデータとドプラデータとは、生データ（Raw Data）とも呼ばれる。画像生成回路１４は、スキャンコンバート処理前の２次元超音波画像データから、表示用の２次元超音波画像データを生成する。

【0027】

さらに、画像生成回路１４は、Ｂモード処理回路１２によって生成された３次元のＢモードデータに対して座標変換を行うことで、３次元Ｂモード画像データを生成する。また、画像生成回路１４は、ドプラ処理回路１３によって生成された３次元のドプラデータに対して座標変換を行うことで、３次元ドプラ画像データを生成する。画像生成回路１４は、「３次元のＢモード画像データや３次元ドプラ画像データ」を「３次元超音波画像データ（ボリュームデータ）」として生成する。

【0028】

そして、画像生成回路１４は、３次元メモリに記憶されたボリュームデータをディスプレイ１９にて表示するための各種の２次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行う。画像生成回路１４は、レンダリング処理として、例えば、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行ってボリュームデータからＭＰＲ画像データを生成する処理を行う。また、画像生成回路１４は、レンダリング処理として、例えば、３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理を行う。

【0029】

画像メモリ１５は、例えば、磁気的記録媒体、光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１５は、処理回路１７１の制御による制御の下、画像生成回路１４によって生成された超音波画像データを保存する。なお、画像メモリ１５は、記憶部の一例である。

【0030】

ネットワークインターフェース１６は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインターフェース１６は、この各種プロトコルに従って、超音波診断装置１０と、外部のＸ線撮影装置４０や、医用画像提供装置５０等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線の病院基幹のＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。

【0031】

また、ネットワークインターフェース１６は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、超音波診断装置１０は、例えば超音波プローブ２０と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース１６は、ネットワーク接続部の一例である。

【0032】

医用画像処理装置１７は、処理回路１７１と、メインメモリ１７２とを備える。

【0033】

処理回路１７１は、専用又は汎用のＣＰＵ（central processing unit）、ＭＰＵ（micro processor unit）、又はＧＰＵ（Graphics Processing Unit）の他、ＡＳＩＣ、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：simple programmable logic device）、複合プログラマブル論理デバイス（ＣＰＬＤ：complex programmable logic device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）等が挙げられる。

【0034】

また、処理回路１７１は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合せによって構成されてもよい。後者の場合、メインメモリ１７２は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ１７２が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。なお、処理回路１７１は、処理部の一例である。

【0035】

メインメモリ１７２は、ＲＡＭ（random access memory）、フラッシュメモリ（flash memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メインメモリ１７２は、ＵＳＢ（universal serial bus）メモリ及びＤＶＤ（digital video disk）等の可搬型メディアによって構成されてもよい。メインメモリ１７２は、処理回路１７１において用いられる各種処理プログラム（アプリケーションプログラムの他、ＯＳ（operating system）等も含まれる）や、プログラムの実行に必要なデータを記憶する。また、ＯＳに、操作者に対するディスプレイ１９への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース１８によって行うことができるＧＵＩ（graphical user interface）を含めることもできる。なお、メインメモリ１７２は、記憶部の一例である。

【0036】

入力インターフェース１８は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。また、超音波プローブ２０がＴＥＥプローブである場合は、入力デバイスは、ＴＥＥプローブを操作可能なコントローラによって実現される場合もある。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路１７１に出力する。なお、入力インターフェース１８は、入力部の一例である。

【0037】

ディスプレイ１９は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ１９は、処理回路１７１の制御に従って各種情報を表示する。なお、ディスプレイ１９は、表示部の一例である。

【0038】

超音波プローブ２０は、前面部に複数個の微小な振動子（圧電素子）を備え、対象を含む領域、例えば心臓の左心房を含む領域に対して超音波の送受波を行う。各振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、また、受信時には反射波を電気信号（受信信号）に変換する機能を有する。超音波プローブ２０は小型、軽量に構成されており、ケーブル（又は無線通信）を介して超音波診断装置１０に接続される。

【0039】

超音波プローブ２０は、スキャン方式の違いにより、リニア型、コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ２０は、アレイ配列次元の違いにより、アジマス方向に１次元（１Ｄ）的に複数個の振動子が配列された１Ｄアレイプローブと、アジマス方向かつエレベーション方向に２次元（２Ｄ）的に複数個の振動子が配列された２Ｄアレイプローブとの種類に分けられる。なお、１Ｄアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。

【0040】

ここで、３Ｄ撮影、つまり、ボリューム撮影（例えば、ボリュームスキャン）が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた２Ｄアレイプローブが利用される。又は、ボリューム撮影が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた１Ｄプローブが利用される。後者のプローブは、メカ４Ｄプローブとも呼ばれる。

【0041】

ここで、超音波プローブ２０は、被検体、例えば患者Ｐの体表上で操作される超音波プローブ（即ち、体表プローブ）である。例えば、超音波プローブ２０は、患者Ｐの胸部の体表上で操作され、左室、左房、大動脈、僧帽弁、大動脈弁等を走査することができる経胸壁心エコー（ＴＴＥ：Transthoracic echocardiography）プローブである。又は、超音波プローブ２０は、患者Ｐの体腔内に挿入されて体腔内で操作される超音波プローブ（即ち、体腔内プローブ）である。例えば、超音波プローブ２０は、食道内で操作され、左室、左房、大動脈、僧帽弁、大動脈弁などを走査することができる経食道心エコー（ＴＥＥ：Transesophageal echocardiography）プローブである。なお、ＴＥＥプローブは、略リアルタイムで心臓等の３次元の超音波画像データを取得することができる。

【0042】

位置センサ３０は、超音波プローブ２０の、時系列に複数の位置情報を検知して、超音波診断装置１０に出力する。位置センサ３０としては、超音波プローブ２０に取り付けられるタイプのセンサと、超音波プローブ２０としての体表プローブとは別体で設けられるタイプのセンサとがある。後者のセンサは、光学式センサであり、測定対象である体表プローブの特徴点を複数位置から撮影し、三角測量の原理で体表プローブの各位置を検出する。以下、位置センサ３０が前者のセンサである場合について説明する。

【0043】

位置センサ３０は、超音波プローブ２０に取り付けられ、自身の位置情報を検知して、超音波診断装置１０に出力する。位置センサ３０の位置情報を、超音波プローブ２０の位置情報と見なすこともできる。超音波プローブ２０の位置情報は、超音波プローブ２０の位置及び姿勢（傾き角）を含む。例えば、磁場送信器（図示省略）が３軸の磁場を順次送信しその磁場を位置センサ３０で順次受信することにより超音波プローブ２０の姿勢が検知され得る。また、位置センサ３０は、３次元空間における３軸の角速度を検知する３軸ジャイロセンサ、３次元空間における３軸の加速度を検知する３軸加速度センサ、３次元空間における３軸の地磁気を検知する３軸地磁気センサのうち少なくともいずれかを含む、いわゆる９軸センサであってもよい。

【0044】

Ｘ線撮影装置４０は、ネットワークＮを介して、超音波診断装置１０と、医用画像提供装置５０と相互に通信可能なように接続される。

【0045】

図３は、医用画像処理システム１のＸ線撮影装置４０の構成の一例を示す概略図である。

【0046】

Ｘ線撮影装置４０は、高電圧供給装置４１と、Ｘ線照射装置４２と、Ｘ線検出装置４３と、入力インターフェース４４と、ディスプレイ４５と、ネットワークインターフェース４６と、医用画像処理装置４７と、Ｃアーム４８（図２のみに図示）と、寝台４９（図２のみに図示）とを備える。

【0047】

高電圧供給装置４１は、処理回路４７１による制御の下、Ｘ線照射装置４２のＸ線管に高電圧電力を供給する。

【0048】

Ｘ線照射装置４２は、Ｃアーム４８の一端に設けられる。Ｘ線照射装置４２は、Ｘ線管（Ｘ線源）と可動絞り装置とを設ける。Ｘ線管は、高電圧供給装置４１から高電圧電力の供給を受けて、高電圧電力の条件に応じてＸ線を発生する。可動絞り装置は、処理回路４７１による制御の下、Ｘ線管のＸ線照射口で、Ｘ線を遮蔽する物質から構成された絞り羽根を移動可能に支持する。なお、Ｘ線管の前面に、Ｘ線管によって発生されたＸ線の線質を調整する線質調整フィルタ（図示省略）を備えてもよい。

【0049】

Ｘ線検出装置４３は、Ｃアーム４８の他端に、Ｘ線照射装置４２に対向するように設けられる。Ｘ線検出装置４３は、処理回路４７１による制御の下、ＳＩＤ（Source-Image Distance）方向に沿って動作、即ち、前後動作を行うことができる。また、Ｘ線検出装置４３は、処理回路４７１による制御の下、ＳＩＤ方向を中心とした回転方向に沿って動作、即ち、回転動作を行うことができる。

【0050】

入力インターフェース４４は、入力インターフェース１８と同等な構成を有する。治療室内の操作者Ｄ（手技者Ｄ１、超音波技師Ｄ２、及び助手等）によって入力インターフェース４４が操作されると、操作信号が処理回路４７１に送られる。

【0051】

ディスプレイ４５は、ディスプレイ１９と同等な構成を有する。ディスプレイ４５は、インターベンション治療の手技中に、Ｘ線透視画像データをＸ線透視画像として表示させる。ディスプレイ４５は、インターベンション治療の手技中に、Ｘ線透視画像データに第３の医用画像データ（例えば、ＣＴ画像データ）が重畳された重畳画像データを重畳画像として表示させる。

【0052】

ネットワークインターフェース４６は、ネットワークインターフェース１６と同等の構成を有する。

【0053】

医用画像処理装置４７は、処理回路４７１と、メモリ４７２とを備える。

【0054】

処理回路４７１は、処理回路１７１と同等の構成を有する。メモリ４７２は、メインメモリ１７２と同等の構成を有する。

【0055】

Ｃアーム４８（図２に図示）は、Ｘ線照射装置４２とＸ線検出装置４３とを、対向配置するように支持する。Ｃアーム４８は、処理回路４７１による制御の下、又は、手動操作に従って、円弧方向の回転、即ち、ＣＲＡ（Cranial View）の向きの回転と、ＣＡＵ（Caudal View）の向きの回転とが可能である。また、Ｃアーム４８は、処理回路４７１による制御の下、又は、手動操作に従って、支点中心の回転、即ち、ＬＡＯ（Left Anterior Oblique View）の向きの回転と、ＲＡＯ（Right Anterior Oblique View）の向きの回転とに対応する。なお、Ｃアーム４８の円弧方向の回転が、ＬＡＯの向きの回転とＲＡＯの向きの回転とに対応し、Ｃアーム４８の支点中心の回転が、ＣＲＡの向きの回転とＣＡＵの向きの回転とに対応する構成を有していてもよい。

【0056】

また、図２において、Ｘ線撮影装置４０が備えるＣアーム構造は、Ｘ線照射装置４２が寝台４９の天板の下方に位置するアンダーテーブルの場合を示す。しかしながらその場合に限定されるものではなく、Ｘ線照射装置４２が天板の上方に位置するオーバーテーブルの場合であってもよい。また、Ｃアーム４８は、Ωアームにより代替されてもよいし、Ωアームが組み合わされてもよい。

【0057】

寝台４９は、患者Ｐを載置可能な天板（図示省略）を備える。天板は、処理回路４７１による制御の下、Ｘ軸方向に沿って動作、即ち、左右方向へのスライドを行うことができる。天板は、処理回路４７１による制御の下、Ｙ軸方向に沿って動作、即ち、昇降方向へのスライドを行うことができる。天板は、処理回路４７１による制御の下、Ｚ軸方向に沿って動作、即ち、頭足方向へのスライドを行うことができる。また、天板は、処理回路４７１による制御の下、ローリング動作や、チルト動作を行うことも可能である。

【0058】

図１及び図２の説明に戻って、医用画像提供装置５０は、ネットワークＮを介して、超音波診断装置１０と、Ｘ線撮影装置４０と相互に通信可能なように接続される。例えば、医用画像提供装置５０は、超音波画像データと、Ｘ線画像データとの両方と種類の異なる第３の医用画像データを生成する第３の医用画像生成装置から第３の医用画像データを収集して保管する医用画像管理装置（「画像サーバ」とも呼ばれる）である。医用画像提供装置５０としての医用画像管理装置は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであり、ネットワークＮを介して通信可能に超音波診断装置１０等の機器に接続される。医用画像管理装置は、第３の医用画像データをＤＩＣＯＭファイルとして管理する。

【0059】

又は、医用画像提供装置５０は、第３の医用画像データを生成する第３の医用画像生成装置そのものである。例えば、医用画像提供装置５０は、Ｘ線ＣＴ（Computed Tomography）装置や、ＭＲＩ（Magnetic Resonance Imaging）装置等である。以下、医用画像提供装置５０がＸ線ＣＴ（Computed Tomography）装置である場合について説明する。しかし、その場合に限定されるものではない。

【0060】

続いて、医用画像処理システム１の機能について説明する。

【0061】

図４は、医用画像処理システム１の機能の一例を示すブロック図である。

【0062】

超音波診断装置１０の処理回路１７１は、メインメモリ１７２、又は、処理回路１７１内のメモリ等の非一過性の記録媒体に記憶されたコンピュータプログラム（例えば、画像処理プログラム）を読み出して実行することで、第１画像取得機能Ｆ１と、第２画像取得機能Ｆ２と、第３画像取得機能Ｆ３と、第１位置合せ機能Ｆ４と、第２位置合せ機能Ｆ５と、画像生成機能Ｆ６と、出力制御機能Ｆ７とを実現する。以下、機能Ｆ１～Ｆ７がコンピュータプログラムによって実現される場合を例に挙げて説明するが、機能Ｆ１～Ｆ７の全部又は一部は、超音波診断装置１０にＡＳＩＣ等の回路等の機能として設けられるものであってもよい。

【0063】

超音波診断装置１０の医用画像処理装置１７は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４等を制御して、超音波プローブ２０を用いた超音波撮影を実行させて、第１の医用画像データとして超音波画像データを生成する。超音波画像データは、画像メモリ１５に記憶される。

【0064】

第１画像取得機能Ｆ１は、画像メモリ１５に記憶された超音波画像データを取得する機能を含む。具体的には、画像取得機能Ｆ１は、超音波画像データとして、Ｂモード画像データ等を取得する。なお、第１画像取得機能Ｆ１は、第１画像取得部の一例である。

【0065】

第２画像取得機能Ｆ２は、ネットワークＮを介して、Ｘ線画像データを生成するＸ線撮影装置４０から、第２の医用画像データとしてＸ線画像データを取得する機能を含む。なお、第２画像取得機能Ｆ２は、第２画像取得部の一例である。

【0066】

Ｘ線画像データと超音波画像データとのマルチフュージョン（画像出力に対するフュージョン）は実現できているが、超音波画像データでは左心房の全体（又は、心臓全体）を撮影することが難しい。仮に、超音波診断装置１０からＸ線撮影装置４０に超音波画像データやマーカを出力しても、Ｘ線撮影装置４０のディスプレイ４５において操作者が左心房の全体の位置情報を把握することは難しい。例えば、心房中隔穿刺を行う際に、超音波プローブ２０としてのＴＥＥプローブによる超音波画像単体の表示では穿刺位置が見づらく、術前のＣＴ検査により穿刺位置や角度を見ているのが現状である。また、心臓の左心房がどのあたりにどの大きさで存在するかを確認したい場合であっても、左心房がＴＥＥプローブ２０に近すぎて左心房の全体を画像化することができないので、左心房の全体を確認できない。

【0067】

そこで、医用画像処理装置１７は、以下のような機能Ｆ３～Ｆ７を備え、超音波画像データを介して他の第２の医用画像データと第３の医用画像データとの位置合せを行い、第２の医用画像データに第３の医用画像データをフュージョン（重畳）して重畳画像データを生成するものである。その一例として、超音波診断装置１０側で重畳画像データを生成し、Ｘ線撮影装置４０に出力し、Ｘ線撮影装置４０のディスプレイ４５に表示させる場合を想定して説明する。

【0068】

第３画像取得機能Ｆ３は、ネットワークＮを介して医用画像提供装置５０から、超音波画像データ及びＸ線画像データとは異なる第３の医用画像データを取得する機能を含む。例えば、第３画像取得機能Ｆ３は、超音波画像データ及びＸ線画像データとは異なる第３の医用画像データとして、超音波画像データ及びＸ線画像データとは異なる種類である画像データを取得する。超音波画像データ及びＸ線画像データとは異なる種類である画像データとしては、ＣＴ画像データ、ＭＲＩ画像データ、所定の解剖学的特徴（例えば、左心房、心臓等）を含む画像データ、又は、カテーテルの経路を示す情報（例えば、血管）を含む画像等が挙げられる。また、例えば、第３画像取得機能Ｆ３は、超音波画像データ及びＸ線画像データとは異なる第３の医用画像データとして、超音波画像データと同一種類で、取得された時相が異なる超音波画像データ（例えば、過去の超音波画像データ）を取得する。以下、第３画像取得機能Ｆ３がＣＴ画像データを取得する場合について説明する。なお、第３画像取得機能Ｆ３は、第３画像取得部の一例である。

【0069】

第１位置合せ機能Ｆ４は、第２画像取得機能Ｆ２によって取得されたＸ線画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。位置合せは、両画像データの空間的な同期を意味する。第１位置合せ機能Ｆ４は、Ｘ線画像データを、超音波画像データに対して位置合せした後の画像データを新たに生成するか、Ｘ線画像データを、超音波画像データに対して位置合せした後の、Ｘ線画像データの各部分の移動量に関するデータを生成する。なお、第１位置合せ機能Ｆ４は、第１位置合せ部の一例である。

【0070】

第２位置合せ機能Ｆ５は、第３画像取得機能Ｆ３によって取得されたＣＴ画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。第２位置合せ機能Ｆ５は、ＣＴ画像データを、超音波画像データに対して位置合せした後の画像データを新たに生成するか、ＣＴ画像データを、超音波画像データに対して位置合せした後の、ＣＴ画像データの各部分の移動量に関するデータを生成する。なお、第２位置合せ機能Ｆ５は、第２位置合せ部の一例である。

【0071】

画像生成機能Ｆ６は、第１位置合せ機能Ｆ４による位置合せ結果と、第２位置合せ機能Ｆ５による位置合せ結果とに基づいて、Ｘ線画像データとＣＴ画像データとを位置合せし、Ｘ線画像データに対してＣＴ画像データが位置合せされた画像データを生成する機能を含む。例えば、画像生成機能Ｆ６は、Ｘ線画像データに対してＣＴ画像データが位置合せされた画像データとして、Ｘ線画像データに、位置合せされたＣＴ画像データが重畳された重畳画像データを生成する。以下、画像生成機能Ｆ６が、重畳画像データを生成する場合を例にとって説明する。なお、画像生成機能Ｆ６は、画像生成部の一例である。

【0072】

出力制御機能Ｆ７は、ネットワークＮを介して、画像生成機能Ｆ６によって生成された重畳画像データを、外部のＸ線撮影装置４０に出力する機能を含む。また、出力制御機能Ｆ７は、重畳画像データをディスプレイ１９に表示させる機能を含んでもよい。なお、出力制御機能Ｆ７は、出力制御部の一例である。

【0073】

Ｘ線撮影装置４０の処理回路４７１は、メモリ４７２、又は、処理回路４７１内のメモリ等の非一過性の記録媒体に記憶されたコンピュータプログラム（例えば、画像処理プログラム）を読み出して実行することで、表示制御機能Ｆ８を実現する。以下、機能Ｆ８がコンピュータプログラムによって実現される場合を例に挙げて説明するが、機能Ｆ８の全部又は一部は、Ｘ線撮影装置４０にＡＳＩＣ等の回路等の機能として設けられるものであってもよい。

【0074】

Ｘ線撮影装置４０の医用画像処理装置４７は、高電圧供給装置４１と、Ｘ線照射装置４２と、Ｘ線検出装置４３等を制御して、Ｘ線撮影を実行させて、第２の医用画像データとしてＸ線画像データを生成する。Ｘ線画像データは、メモリ４７２に記憶される。

【0075】

表示制御機能Ｆ８は、超音波診断装置１０から出力された重畳画像データを重畳画像としてディスプレイ４５に表示させる機能を含む。超音波診断装置１０の出力制御機能Ｆ７による重畳画像データの出力により、Ｘ線撮影装置４０のディスプレイ４５は、重畳画像データを重畳画像として略リアルタイムで表示することができる。また、表示制御機能Ｆ８は、メモリ４７２に記憶されたＸ線画像データを取得して、取得されたＸ線画像データをＸ線画像として略リアルタイムでディスプレイ４５に表示させる機能を含む。出力制御機能Ｆ７による重畳画像データの出力により、Ｘ線撮影装置４０のディスプレイ４５は、重畳画像データを重畳画像として略リアルタイムで表示することができる。なお、「略リアルタイム」は、Ｘ線の検出と同時にＸ線画像データや重畳画像データを生成（又は、表示）する場合に加え、Ｘ線の検出からＸ線画像データや重畳画像データを生成（又は、表示）するまでの処理時間の分だけタイムラグがある場合を含む。

【0076】

機能Ｆ１～Ｆ８の詳細については、図５～図１０を用いて説明する。

【0077】

続いて、医用画像処理システム１の動作について説明する。

【0078】

図５及び図６は、医用画像処理システム１の動作の一例をフローチャートとして示す図である。図５及び図６において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。なお、図５及び図６の説明において、超音波プローブ２０がＴＥＥプローブである場合について説明するが、その場合に限定されるものではない。超音波プローブ２０は、体表プローブであってもよい。

【0079】

まず、図５について説明する。第３画像取得機能Ｆ３は、医用画像提供装置５０から、インターベンション治療の対象である所定の患者Ｐに関する第３の医用画像データとしてＣＴ画像データ（例えば、ボリュームデータ）を取得する（ステップＳＴ１）。ＣＴ画像データは、少なくとも、医用デバイスを僧帽弁に留置するために観察が必要な左心房の全体の像を含むものとする。

【0080】

続いて、医用画像処理システム１は、医用デバイスを用いた患者Ｐの僧帽弁のインターベンション治療において、Ｘ線撮影装置４０によりＸ線透視画像データを生成するとともに、患者Ｐの食道に挿入されたＴＥＥプローブ２０を用いた超音波診断装置１０により超音波画像データを取得する。そして、医用画像処理システム１は、超音波画像データを基準として位置合せされたＸ線透視画像データに第３の医用画像データを重畳し、当該Ｘ線透視画像データに第３の医用画像データが重畳された重畳画像データを略リアルタイムで生成するものである（後述するステップＳＴ２～ＳＴ１３）。手技を実施する術者Ｄ１等の操作者は、略リアルタイムで表示された重畳画像データを観察しながら医用デバイスを進め、所定の位置に医用デバイスを到達させる。

【0081】

Ｘ線撮影装置４０は、Ｘ線透視撮影を開始する（ステップＳＴ２）。Ｘ線撮影装置４０は、高電圧供給装置４１と、Ｘ線照射装置４２と、Ｘ線検出装置４３とを制御してＸ線撮影を実行することで、患者Ｐに関する所定フレームのＸ線画像データ（例えば、低いＸ線量によるＸ線透視画像データ）を生成し、Ｘ線透視画像データをＸ線撮影装置４０のディスプレイ４５に表示させる（ステップＳＴ３）。

【0082】

第１画像取得機能Ｆ１は、患者Ｐの食道内に挿入されたＴＥＥプローブ２０を使った超音波診断装置１０による超音波撮影（例えば、ボリューム撮影）を開始するか否かを判断する（ステップＳＴ４）。ステップＳＴ４の判断にてＮＯ、即ち、超音波診断装置１０による超音波撮影を開始しないと判断される場合、Ｘ線撮影装置４０は、次のフレームについてＸ線透視画像データを生成して表示させる（ステップＳＴ３）。複数のフレームにおいてＸ線透視画像データを表示している間に、術者Ｄ１は、患者Ｐの体内におけるカテーテルを進行させる手技を継続する。

【0083】

一方で、ステップＳＴ４の判断にてＹＥＳ、即ち、超音波診断装置１０による超音波撮影を開始すると判断される場合、第２画像取得機能Ｆ２は、Ｘ線撮影装置４０に、Ｘ線透視画像データの出力を要求する（ステップＳＴ４）。Ｘ線撮影装置４０は、次のフレームについてＸ線透視画像データを生成し（ステップＳＴ７）、ネットワークＮを介して、生成したＸ線透視画像データを超音波診断装置１０に出力する。

【0084】

第２画像生成機能Ｆ２は、Ｘ線撮影装置４０からＸ線透視画像データを取得する（ステップＳＴ８）。また、超音波診断装置１０は、送受信回路１１と、Ｂモード処理回路１２（又は、ドプラ処理回路１３）と、画像生成回路１４とを制御して超音波撮影を実行することで、患者Ｐに関する所定フレームの超音波画像データを生成する。第１画像取得機能Ｆ１は、画像メモリ１５から超音波画像データを取得する（ステップＳＴ８）。

【0085】

第１位置合せ機能Ｆ４は、ステップＳＴ７によって取得されたＸ線透視画像データを、ステップＳＴ８によって取得された超音波画像データに位置合せする（ステップＳＴ９）。例えば、第１位置合せ機能Ｆ４は、位置センサ３０によりＴＥＥプローブ２０の位置を検出することで、又は、Ｘ線透視画像データからＴＥＥプローブ２０の位置を検出することで、Ｘ線透視画像データの、超音波画像データとの位置合せを行う。

【0086】

また、第２位置合せ機能Ｆ５は、ステップＳＴ１によって取得された左心房の全体を含むＣＴ画像データを、ステップＳＴ８によって取得された超音波画像データに位置合せする（ステップＳＴ１０）。ここで、第２位置合せ機能Ｆ５は、第１位置合せ機能Ｆ４によるＸ線透視画像データの、超音波画像データとの位置合せ方法とは異なる方法で、ＣＴ画像データの、超音波画像データとの位置合せを行う。例えば、第２位置合せ機能Ｆ５は、ＣＴ画像データと超音波画像データとに描出される特徴部位（例えば、心臓、左心房、血管等）に基づいて、ＣＴ画像データの、超音波画像データとの位置合せを行う。

【0087】

図６の説明に移って、画像生成機能Ｆ６は、ステップＳＴ９による位置合せの結果に基づくＸ線透視画像データに、ステップＳＴ１０による位置合せの結果に基づくＣＴ画像データが重畳された重畳画像データを生成する（ステップＳＴ１１）。これにより、インターベンション治療において、術者Ｄ１等の操作者を支援可能な重畳画像データを生成することができる。

【0088】

出力制御機能Ｆ７は、ネットワークＮを介して、ステップＳＴ１１によって生成された重畳画像データをＸ線撮影装置４０に出力する（ステップＳＴ１２）。Ｘ線撮影装置４０の表示制御機能Ｆ８は、ステップＳＴ１２によって出力された重畳画像画像データを重畳画像としてディスプレイ４５に表示させる（ステップＳＴ１３）。これにより、インターベンション治療において、位置合せされたＣＴ画像データが重畳された重畳画像データがディスプレイ４５に表示されることで、術者Ｄ１等の操作者の手技を適切に支援することができる。

【0089】

図７は、Ｘ線透視画像データに、超音波画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図である。

【0090】

図７に示す重畳画像は、左心房の全体を含む領域をＸ線撮影して取得されるＸ線透視画像ＩＸと、それに重畳された超音波画像ＩＵとを含んで成る。上述したように、左心房（左心房の像ＬＡ）の位置がＴＥＥプローブ２０（ＴＥＥプローブの像Ｑ）に近すぎて左心房の全体を画像化することができない。

【0091】

そこで、超音波画像データと同様にボリュームデータであり、３次元的な位置合せが可能であり左心房の全体を含むＣＴ画像データが超音波画像データを基準にして位置合せされる。画像生成機能Ｆ６は、位置合せ後のＣＴ画像データを、同じく超音波画像データを基準にして位置合せされたＸ線透視画像データ上に重畳する。

【0092】

図８は、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図である。

【0093】

図８に示す重畳画像は、左心房の全体を含む領域をＸ線撮影して取得されるＸ線透視画像ＩＸと、それに重畳された左心房の全体を含むＣＴ画像ＩＣとを含んで成る。左心房の位置がＴＥＥプローブ２０（ＴＥＥプローブの像Ｑ）に近すぎて左心房の全体を画像化することができない場合であっても、適切に位置合せされたＣＴ画像に描画される左心房（左心房の像ＬＡ）により、術者Ｄ１等の操作者は左心房の全体を視認できる。また、この表示により、心房中隔穿刺を行う際に、ビューの大きいＣＴ画像等による穿刺位置や角度の事前確認が不要となり、操作者による穿刺位置や角度の決定を支援することができる。

【0094】

なお、表示画面は、重畳画像に、位置合せの基準となった超音波画像の画像領域ＩＵ´がフレーム（枠）として示されてもよい。

【0095】

図６の説明に戻って、第１画像取得機能Ｆ１は、超音波撮影を終了するか否かを判断する（ステップＳＴ１４）。所定位置への医用デバイスの留置とリリースが終了すると、術者Ｄ１は、Ｘ線撮影装置４０の入力インターフェース４４を操作して、超音波診断装置１０に対して超音波撮影の終了を指示する。又は、超音波技師Ｄ２は、超音波診断装置１０の入力インターフェース１８を操作して、超音波撮影の終了を指示する。

【0096】

ステップＳＴ１４の判断にてＹＥＳ、即ち、超音波撮影を終了すると判断された場合、第１画像取得機能Ｆ１は、Ｘ線撮影装置４０にＸ線透視画像データの出力を終了するように要求し（ステップＳＴ１５）。その要求により、Ｘ線撮影装置４０は、ディスプレイ４５への重畳画像データの表示を終了し、Ｘ線透視画像データ単独の表示に戻る（ステップＳＴ３）。

【0097】

一方で、ステップＳＴ１４の判断にてＮＯ、即ち、超音波撮影を終了しないと判断された場合、Ｘ線撮影装置４０にＸ線透視画像データの出力を終了するように要求されていない。そのため、Ｘ線撮影装置４０は、次のフレームについてＸ線透視画像データを生成し（ステップＳＴ６）、次のフレームについてＸ線透視画像データを超音波診断装置１０に出力することで（ステップＳＴ７）、ディスプレイ４５への重畳画像データの更新表示を維持する。

【0098】

図５及び図６を用いて説明したように、画像生成機能Ｆ６は、第１位置合せ機能Ｆ４による位置合せ結果と第２位置合せ機能Ｆ５による位置合せ結果とに基づいて、連続する全てのフレームに関するＸ線画像データ（例えば、Ｘ線透視画像データ）にとＣＴ画像データとを位置合せし、連続する全てのフレームに関するＸ線透視画像データに対してＣＴ画像データが位置合せされた画像データ、例えば重畳画像データを生成する。そして、表示制御機能Ｆ８は、重畳画像データを、略リアルタイムで動画としてディスプレイ４５に表示させる。なお、その場合に限定されるものではない。画像生成機能Ｆ６は、第１位置合せ機能Ｆ４による位置合せ結果と、第２位置合せ機能Ｆ５による位置合せ結果とに基づいて、連続する複数のフレームのうち所定のフレームに関するＸ線透視画像データとＣＴ画像データとを位置合せし、所定のフレームに関するＸ線透視画像に対してＣＴ画像データが位置合せされた画像データ、例えば重畳画像データを生成してもよい。その場合、表示制御機能Ｆ８は、重畳画像データの要素としてのＸ線透視画像データを動画像として、ＣＴ画像データを静止画としてディスプレイ４５に表示させる。

【0099】

以上のように、医用画像処理システム１によれば、インターベンション治療を進める際に、位置合せされた、左心房の全体を含むＣＴ画像データが重畳された重畳画像データをディスプレイ４５に表示することで、術者Ｄ１等の操作者は、左心房の全体の位置情報を容易に把握することができる。

【0100】

（第１変形例）
図８において、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データを重畳することで重畳画像データを生成する場合について説明したが、その場合に限定されるものではない。例えば、画像生成機能Ｆ６は、左心房の全体を含むＣＴ画像データと、位置合せの基準となった超音波画像データとが、Ｘ線透視画像データに重畳された重畳画像データを生成することができる。超音波画像データは、左心房の像を部分的に含む。それにより、表示制御機能Ｆ８は、Ｘ線撮影装置４０のディスプレイ４５に重畳画像データを重畳画像として表示させることができる。

【0101】

図９は、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データと心臓を部分的に含む超音波画像データとが重畳された重畳画像データに基づく重畳画像の一例を示す図である。

【0102】

図９に示すように、図８に示すＣＴ画像の左心房ＬＡ上に、超音波画像上の左心房ＬＡがさらに重畳される。これにより、左心房の全体を含む過去のＣＴ画像における部分の表示を、現状を示す超音波画像に置き換えることができる。なお、表示制御機能Ｆ８は、Ｘ線透視画像上に現われるカテーテルの位置、又は、入力インターフェース４４を介した操作に基づいて、図８に示す重畳画像の表示から、図９に示す重畳画像の表示に切り替えることができる。なお、表示制御機能Ｆ８は、重畳画像データに、位置合せの基準となった超音波画像データを重畳して表示する場合に限定されるものではなく、重畳画像データと、位置合せの基準となった超音波画像データとを並列でディスプレイ４５に表示させてもよい。

【0103】

第１変形例によれば、上記効果に加え、左心房の全体を含む過去のＣＴ画像における部分の表示を、現状を示す超音波画像に置き換えることができるので、術者Ｄ１等の操作者は、左心房の全体の位置情報を容易に把握することができる。

【0104】

（第２変形例）
図８において、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データを重畳することで重畳画像データを生成する場合について説明し、図９において、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データと心臓を部分的に含む超音波画像データとを重畳することで重畳画像データを生成する場合について説明したが、その場合に限定されるものではない。例えば、第３画像取得機能Ｆ３が、血管を含むＣＴ画像データを取得することで、画像生成機能Ｆ６は、血管を含むＣＴ画像データが、Ｘ線透視画像データに重畳された重畳画像データを生成することができる。それにより、表示制御機能Ｆ８は、Ｘ線撮影装置４０のディスプレイ４５に重畳画像データを重畳画像として表示させることができる。

【0105】

図１０は、Ｘ線透視画像データに、血管を含むＣＴ画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図である。

【0106】

図１０に示す重畳画像は、左心房の周辺を含む領域をＸ線撮影して取得されるＸ線透視画像ＩＸと、それに重畳された、僧帽弁に至るまでのカテーテルの経路、つまり、血管を含むＣＴ画像ＩＣとを含んで成る。左心房の位置がＴＥＥプローブ２０（ＴＥＥプローブの像Ｑ）に近すぎて左心房の周辺を画像化することができない場合であっても、適切に位置合せされたＣＴ画像に描画される血管（血管の像Ｂ）により、術者Ｄ１等の操作者は左心房の周辺のカテーテルの経路を視認できる。

【0107】

第２変形例によれば、インターベンション治療を進める際に、位置合せされた、血管を含むＣＴ画像データが重畳された重畳画像データをディスプレイ４５に表示することで、術者Ｄ１等の操作者は、カテーテルの経路を容易に把握することができる。

【0108】

（第３変形例）
図４において、超音波診断装置１０の医用画像処理装置１７が機能Ｆ１～Ｆ７を備え、Ｘ線撮影装置４０の医用画像処理装置４７が機能Ｆ８を備える場合について説明したが、その場合に限定されるものではない。医用画像処理システム１において、複数の装置が連携して重畳画像データを生成することができる。つまり、医用画像処理システム１において、Ｘ線撮影装置４０が機能Ｆ８を備えていれば、機能Ｆ１～Ｆ７はいずれに備えられてもよい。例えば、超音波診断装置１０が機能Ｆ１～Ｆ５，Ｆ７を備え、Ｘ線撮影装置４０が機能Ｆ６，Ｆ８を備えてもよい。その場合について、図１１を用いて説明する。

【0109】

図１１は、図３に示す医用画像処理システム１の変形例を示すブロック図である。

【0110】

超音波診断装置１０の処理回路１７１は、メインメモリ１７２、又は、処理回路１７１内のメモリ等の非一過性の記録媒体に記憶されたコンピュータプログラム（例えば、画像処理プログラム）を読み出して実行することで、第１画像取得機能Ｆ１と、第２画像取得機能Ｆ２と、第３画像取得機能Ｆ３と、第１位置合せ機能Ｆ４と、第２位置合せ機能Ｆ５と、出力制御機能Ｆ７とを実現する。

【0111】

第１画像取得機能Ｆ１は、前述したように、第１の医用画像データとして超音波画像データを取得する機能を含む。第２画像取得機能Ｆ２は、前述したように、ネットワークＮを介して、Ｘ線画像データを生成するＸ線撮影装置４０から、第２の医用画像データとしてＸ線画像データを取得する機能を含む。第３画像取得機能Ｆ３は、前述したように、ネットワークＮを介して医用画像提供装置５０から、第３の医用画像データを取得する機能を含む。

【0112】

第１位置合せ機能Ｆ４は、前述したように、第２画像取得機能Ｆ２によって取得されたＸ線画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。第２位置合せ機能Ｆ５は、前述したように、第３画像取得機能Ｆ３によって取得されたＣＴ画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。

【0113】

出力制御機能Ｆ７は、ネットワークＮを介して、第１位置合せ機能Ｆ４によって生成された位置合せ後のＸ線画像データと、第２位置合せ機能Ｆ５によって生成された位置合せ後のＣＴ画像データとを、外部のＸ線撮影装置４０に出力する機能とを含む。

【0114】

Ｘ線撮影装置４０の画像生成機能Ｆ６は、出力制御機能Ｆ７から出力された、第１位置合せ機能Ｆ４による位置合せの結果に基づくＸ線画像データに、第２位置合せ機能Ｆ５による位置合せの結果に基づくＣＴ画像データが重畳された重畳画像データを生成する機能を含む。

【0115】

表示制御機能Ｆ８は、画像生成機能Ｆ６によって生成された重畳画像データを、ディスプレイ４５に表示させる機能を含む。超音波診断装置１０出力制御機能Ｆ７による重畳画像データの出力により、Ｘ線撮影装置４０のディスプレイ４５は、重畳画像データを重畳画像として略リアルタイムで表示することができる。

【0116】

また、例えば、Ｘ線撮影装置４０が機能Ｆ８を備え、ネットワークＮを介して接続される、超音波診断装置１０でもＸ線撮影装置４０でもない第３の医用画像処理装置が機能Ｆ１～Ｆ７を備えてもよい。例えば、第３の医用画像処理装置は、医用画像データに対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等である。

【0117】

第３変形例によれば、既存の装置１０，４０に新たに機能Ｆ１～Ｆ７を導入することなく、上記効果を得ることができる。

【0118】

以上説明した少なくとも１つの実施形態によれば、インターベンション治療において、術者等の操作者を支援可能な画像データを生成することができる。

【0119】

なお、第１画像取得機能Ｆ１は、第１画像取得部の一例である。第２画像取得機能Ｆ２は、第２画像取得部の一例である。第３画像取得機能Ｆ３は、第３画像取得部の一例である。第１位置合せ機能Ｆ４は、第１位置合せ部の一例である。第２位置合せ機能Ｆ５は、第２位置合せ部の一例である。画像生成機能Ｆ６は、画像生成部の一例である。出力制御機能Ｆ７は、出力制御部の一例である。表示制御機能Ｆ８は、表示制御部の一例である。

【0120】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合せ、実施形態と１又は複数の変形例との組み合せを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0121】

１ 医用画像処理システム
１０ 超音波診断装置
１７１，４７１ 処理回路
４０ Ｘ線撮影装置
４５ ディスプレイ
５０ 医用画像提供装置
Ｆ１ 第１画像取得機能
Ｆ２ 第２画像取得機能
Ｆ３ 第３画像取得機能
Ｆ４ 第１位置合せ機能
Ｆ５ 第２位置合せ機能
Ｆ６ 画像生成機能
Ｆ７ 出力制御機能
Ｆ８ 表示制御機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】