特許 6622114 超音波診断装置、カメラ付き端末および位置合わせ支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6622114

(24)【登録日】2019年11月29日

(45)【発行日】2019年12月18日

(54)【発明の名称】超音波診断装置、カメラ付き端末および位置合わせ支援プログラム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20191209BHJP

【ＦＩ】

   A61B8/14

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2016-38775(P2016-38775)

(22)【出願日】2016年3月1日

(65)【公開番号】特開2017-153665(P2017-153665A)

(43)【公開日】2017年9月7日

【審査請求日】2019年1月29日

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】特許業務法人東京国際特許事務所

(72)【発明者】

【氏名】鷲見 篤司

(72)【発明者】

【氏名】菊地 紀久

(72)【発明者】

【氏名】貞光 和俊

(72)【発明者】

【氏名】奥村 貴敏

(72)【発明者】

【氏名】中沢 尚之

(72)【発明者】

【氏名】米山 直樹

(72)【発明者】

【氏名】西野 正敏

【審査官】 宮川 哲伸

(56)【参考文献】

【文献】 特開２０１３−２５５６５８（ＪＰ，Ａ）

【文献】 特開２００７−７２５５（ＪＰ，Ａ）

【文献】 特表２００９−５２９９５１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０２４５４６１（ＵＳ，Ａ１）

【文献】 特開２０１４−１５８６９３（ＪＰ，Ａ）

【文献】 特開平９−２４０３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００ − ８／１５

(57)【特許請求の範囲】

【請求項1】

被検体の体表画像を撮像するカメラ付き端末を備える超音波診断装置であって、
前記カメラ付き端末は、
前記被検体の第１の体表画像を撮像する第１のカメラと、
前記被検体の体表画像を表示するディスプレイと、
前記超音波診断装置とは異なる画像診断装置における第２のカメラによって撮像された前記被検体の第２の体表画像と、その第２の体表画像と空間的な位置関係によって関係付けられた体内画像との入力を受け付ける受付部と、
前記体内画像を前記第２の体表画像の方向に投影し、前記第２のカメラの撮像方向から見た前記体内画像の投影参照画像を生成する生成部と、
前記投影参照画像と、前記第１の体表画像と、前記第２の体表画像とを、位置合わせ可能に重畳表示する表示制御部と、
前記被検体の超音波画像を撮像するためのガイドを、前記第１の体表画像と、前記投影参照画像とともに、前記ディスプレイに表示させるガイド表示部と、
を備える超音波診断装置。

【請求項2】

前記ガイド表示部は、
前記投影参照画像に対する前記ガイドとして、前記超音波画像を撮像するための場所を、点、線または領域により表示させる
請求項１に記載の超音波診断装置。

【請求項3】

前記ガイド表示部は、
前記投影参照画像に対する前記ガイドとして、超音波プローブを当てる角度を示す角度情報を視覚的に表示させる
請求項１または２に記載の超音波診断装置。

【請求項4】

視覚的効果を有する光線を発する光源を備え、
前記ガイド表示部は、
前記投影参照画像に対する前記ガイドとして、前記光線を用いて前記超音波画像を撮像するための地点を表示させる
請求項１乃至３のいずれか１項に記載の超音波診断装置。

【請求項5】

前記ガイド表示部は、
前記投影参照画像に対する前記ガイドとして、超音波プローブの形状を模した仮想的な画像を用いて、前記超音波画像を撮像するための場所を表示させる
請求項１乃至４のいずれか１項に記載の超音波診断装置。

【請求項6】

前記表示制御部は、
前記第１の体表画像と前記第２の体表画像の表示される位置を合わせたまま、前記体内画像内の関心領域を示す断面の角度に応じて、前記投影参照画像が表示される表示形態を変更する
請求項１乃至５のいずれか１項に記載の超音波診断装置。

【請求項7】

前記第２の体表画像と前記投影参照画像の表示位置を補正する補正部を備え、
前記表示制御部は、
前記第１のカメラによる撮像により前記第１の体表画像の表示される位置が変更された場合には、その変更された位置に基づいて、前記第２の体表画像と前記投影参照画像との表示される位置を補正し、前記第１の体表画像、前記第２の体表画像および前記投影参照画像が固定して表示されるように前記ディスプレイに表示させる
請求項１乃至６のいずれか１項に記載の超音波診断装置。

【請求項8】

被検体の第１の体表画像を撮像する第１のカメラと、
前記被検体の体表画像を表示するディスプレイと、
超音波診断装置とは異なる画像診断装置における第２のカメラによって撮像された前記被検体の第２の体表画像と、その第２の体表画像と空間的な位置関係によって関係付けられた体内画像との入力を受け付ける受付部と、
前記体内画像を前記第２の体表画像の方向に投影し、前記第２のカメラの撮像方向から見た前記体内画像の投影参照画像を生成する生成部と、
前記投影参照画像と、前記第１の体表画像と、前記第２の体表画像とを、位置合わせ可能に重畳表示する表示制御部と、
前記被検体の超音波画像を撮像するためのガイドを、前記第１の体表画像と、前記投影参照画像とともに前記ディスプレイに表示させるガイド表示部と、
を備える位置合わせ支援機能を備えたカメラ付き端末。

【請求項9】

被検体の第１の体表画像を撮像する第１のカメラと、前記被検体の体表画像を表示するディスプレイとを備えるコンピュータに、
超音波診断装置とは異なる画像診断装置における第２のカメラによって撮像された前記被検体の第２の体表画像と、その第２の体表画像と空間的な位置関係によって関係付けられた体内画像との入力を受け付ける機能と、
前記体内画像を前記第２の体表画像の方向に投影し、前記第２のカメラの撮像方向から見た前記体内画像の投影参照画像を生成する機能と、
前記投影参照画像と、前記第１の体表画像と、前記第２の体表画像とを、位置合わせ可能に重畳表示する機能と、
前記被検体の超音波画像を撮像するためのガイドを、前記第１の体表画像と、前記投影参照画像とともに前記ディスプレイに表示させる機能と、
を実現させるための位置合わせ支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、超音波診断装置、カメラ付き端末および位置合わせ支援プログラムに関する。

【背景技術】

【0002】

被検体を検査する医用画像診断装置として、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置（磁気共鳴診断装置）および超音波診断装置などが知られている。

【0003】

近年の検査や治療において、例えば、Ｘ線ＣＴ画像やＭＲＩ画像の断層像を表示装置に表示させると共に、そのＸ線ＣＴ画像やＭＲＩ画像の断層像と同一の断層像を超音波画像で同時に表示させることが行われている。この場合において、断層像の位置合わせは、Ｘ線ＣＴ画像やＭＲＩ画像の断層像のうち身体の特徴的な部位を基準にして行われる。

【0004】

しかしながら、Ｘ線ＣＴ画像やＭＲＩ画像の断層像の身体の特徴的な部位により位置合わせを行っても、超音波画像による診断を行うためには、その位置合わせ後に超音波画像において観察したい関心領域を設定する必要があった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−６３２５３号公報

【特許文献1】特開平９−２４０３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、簡便でかつ直観的な方法で、超音波診断装置以外の診断装置で撮像された撮像画像と、超音波画像との位置合わせを行うことができる超音波診断装置、カメラ付き端末および位置合わせ支援プログラムを提供することである。

【課題を解決するための手段】

【0007】

本実施形態に係る超音波診断装置は、被検体の体表画像を撮像するカメラ付き端末を備える超音波診断装置であって、前記カメラ付き端末は、前記被検体の第１の体表画像を撮像する第１のカメラと、前記被検体の体表画像を表示するディスプレイと、前記超音波診断装置とは異なる画像診断装置における第２のカメラによって撮像された前記被検体の第２の体表画像と、その第２の体表画像と空間的な位置関係によって関係付けられた体内画像との入力を受け付ける受付部と、前記体内画像を前記第２の体表画像の方向に投影し、前記第２のカメラの撮像方向から見た前記体内画像の投影参照画像を生成する生成部と、前記投影参照画像と、前記第１の体表画像と、前記第２の体表画像とを、位置合わせ可能に重畳表示する表示制御部と、前記被検体の超音波画像を撮像するためのガイドを、前記第１の体表画像と、前記投影参照画像とともに、前記ディスプレイに表示させるガイド表示部と、を備える。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係るカメラ付き端末を備える超音波診断装置の概略の構成の一例を示した概略構成図。

【図2】本実施形態に係る超音波診断装置が、画像記憶回路から受信した被検体のＣＴ体表画像とカメラで撮像したＵＬ体表画像とを位置合わせ可能に表示させ、体内画像について、被検体の超音波画像を撮像するためのガイドを表示させるガイド表示処理の動作を示すフローチャート。

【図3】本実施形態に係る超音波診断装置の処理回路が、記憶回路から取得するＣＴ体表画像と体内画像の概念を示した概念図。

【図4】本実施形態に係る超音波診断装置の処理回路が、体内画像から投影参照画像を生成する概念を示した概念図。

【図5】本実施形態に係る超音波診断装置のカメラが、被検体ＰのＵＬ体表画像を撮像する状況を示した説明図。

【図6】本実施形態に係る超音波診断装置の処理回路が、投影参照画像と、ＵＬ体表画像と、ＣＴ体表画像とを、位置合わせ可能に重畳表示する概念を示した概念図。

【図7】本実施形態に係る超音波診断装置のカメラ付き端末のディスプレイにおいて、ＵＬ体表画像にＣＴ体表画像が一致するように重畳表示させ、投影参照画像を含め、位置合わせ後の表示例を示した概念図。

【図8】本実施形態に係る超音波診断装置の処理回路が、ディスプレイに表示される投影参照画像に対して、超音波プローブを押し当てる場所をガイドする４つの例を示したガイド例。

【図9】第２の実施形態に係るカメラ付き端末を備える超音波診断装置の概略の構成の一例を示した概略構成図。

【図10】第２の実施形態に係る超音波診断装置の光源が、ディスプレイに表示される投影参照画像に対し、超音波プローブを押し当てる場所を、光線を用いてガイドするガイド例。

【図11】第３の実施形態に係る超音波診断装置は、カメラ付き端末の処理回路において、補正機能をさらに備えた構成を示した概略構成図。

【図12】第３の実施形態に係る超音波診断装置のディスプレイにおいて、処理回路が、ＵＬ体表画像の変更に伴ってＵＬ体表画像にＣＴ体表画像が一致するように補正する概念を示した概念図。

【発明を実施するための形態】

【0009】

（第１の実施形態）
以下、本実施形態に係る、カメラ付き端末を備える超音波診断装置について、添付図面を参照しながら説明する。なお、本実施形態では、超音波画像診断を行う際、一例として、Ｘ線ＣＴ（Computed Tomography）装置で撮像されたＣＴ画像と超音波画像の位置合わせを行う場合について説明するが、本実施形態はこれに限定されるものでない。例えば、ＭＲＩ（Magnetic Resonance Imaging）装置で撮像されたＭＲＩ画像と超音波画像の位置合わせにも適用することができる。

【0010】

［概略構成］
図１は、本実施形態に係るカメラ付き端末２００を備える超音波診断装置１００の概略の構成の一例を示した概略構成図である。

【0011】

図１に示すように、本実施形態に係る超音波診断装置１００は、超音波プローブ１１０、超音波診断装置本体１２０およびカメラ付き端末２００を備えて構成されている。

【0012】

超音波プローブ１１０は、超音波振動素子を備えて構成されている。超音波振動素子は、送信時には電気的な駆動信号を送信超音波に変換する一方、受信時には超音波反射波（受信超音波）を電気的な受信信号に変換する機能を備えている。

【0013】

超音波診断装置本体１２０は、送受信回路１３０、信号処理回路１４０、画像処理回路１５０、ディスプレイ１６０、入力回路１７０、処理回路１８０および記憶回路１９０を備えて構成されている。

【0014】

送受信回路１３０は、送信回路および受信回路を備えて構成されている。送信回路は、被検体の所定方向に対し、送信超音波を放射するための駆動信号を超音波プローブ１１０に供給する機能を備えている。受信回路は、位相検波回路とビーム形成回路とを備えている。位相検波回路は、超音波プローブ１１０から受信した複数チャンネルの受信信号のそれぞれを、ベースバンド帯域の同相信号（Ｉ信号、Ｉ：In-phase）と、直交信号（Ｑ信号、Ｑ：Quadrature-phase）に分解し、さらにデジタル信号に変換する。ビーム形成回路は、各チャンネルの信号（Ｉ信号及びＱ信号）に所定の遅延を与えた後に加算してビームを形成する。ビーム形成回路から出力されるビーム形成後の信号も、Ｉ信号とＱ信号とから構成される。以下、ビーム形成回路から出力されるビーム形成後の信号を「ＩＱ信号」と呼ぶものとする。送受信回路１２０は、ＩＱ信号を信号処理回路１４０に出力する。

【0015】

信号処理回路１４０は、送受信回路１３０からＩＱ信号を受信して、そのＩＱ信号に、ＦＦＴ法（高速フーリエ変換法：Fast Fourier Transform method）を用いて、連続波ドップラー画像の画像データを生成する。また、信号処理回路１４０は、パルス送信モードにおいて、ＩＱ信号の包絡線を検出してＢモード画像を生成したり、ＩＱ信号からカラードプラ画像を生成する。

【0016】

以下、信号処理回路１４０において生成したＢモード画像や、カラードプラ画像の画像データや、連続波ドップラー画像の画像データなどを超音波画像データともいう。

【0017】

画像処理回路１５０は、信号処理回路１４０で生成された超音波画像データに対し、被検体の撮像断面に座標系を合わせる座標変換処理を行う機能を備えている。画像処理回路１５０は、例えば、超音波画像データを、スキャン方式の座標系からテレビ方式の座標系に変換する。また、画像処理回路１５０は、座標変換された超音波画像データに対し、画像表示に適した諧調設定や、解像度またはフレームレートを変更する画像処理を施す機能を備えている。

【0018】

ディスプレイ１６０は、超音波プローブ１１０で撮像した被検体の超音波画像データを画像として表示する機能を備えている。ディスプレイ１６０は、例えば、液晶ディスプレイやモニタなどにより構成されている。

【0019】

入力回路１７０は、医師や検査技師などの操作者によって操作が可能なポインティングデバイス（マウスなど）やキーボードなどの入力デバイスからの信号を入力する回路であり、ここでは、入力デバイス自体も入力回路１７０に含まれるものとする。この場合、操作に従った入力信号が、入力回路１７０から処理回路１８０に送られる。

【0020】

処理回路１８０は、超音波診断装置本体１２０を統括的に制御する機能を備えている。例えば、処理回路１８０は、プログラムを記憶回路１９０から読み出し、実行することにより、各プログラムに対応する機能を実現するプロセッサである。

【0021】

記憶回路１９０は、メモリとして、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等を備えている。記憶回路１９０は、上記のプログラムを記憶する他、ＩＰＬ（Initial Program Loading）、ＢＩＯＳ（Basic Input/Output System）のデータを記憶したり、処理回路１８０のワークメモリやデータの一時的な記憶に用いたりする。

【0022】

次に、カメラ付き端末２００について説明する。本実施形態に係るカメラ付き端末２００は、処理回路２１０、カメラ２２０、入力回路２３０、ディスプレイ２４０、記憶回路２５０、ネットワークインターフェース２６０および内部バス２７０を備えて構成されている。

【0023】

カメラ２２０は、被検体の体表画像を撮像する機能を備えている。なお、カメラ２２０によって撮像された画像を、ＵＬ体表画像という。

【0024】

ディスプレイ２４０は、被検体の体表画像を表示する機能を備えている。ディスプレイ２４０は、例えば、液晶ディスプレイやモニタなどにより構成されている。

【0025】

処理回路２１０は、プログラムを記憶回路２５０から読み出し、実行することにより、各プログラムに対応する機能を実現するプロセッサである。換言すると、処理回路２１０は、各プログラムを読み出して、受付機能、生成機能、表示制御機能およびガイド制御機能を実現することができる。

【0026】

ここで、受付機能とは、超音波診断装置１００とは異なる画像診断装置、例えば、Ｘ線ＣＴ装置におけるＣＴ側カメラによって撮像された被検体のＣＴ体表画像と、そのＣＴ体表画像と空間的な位置関係によって関係付けられた体内画像との入力を受け付ける機能のことである。なお、体内画像とは、例えば、Ｘ線ＣＴ装置やＭＲＩ装置で取得した、同一被検体の３次元のボリュームデータにおける断層像のことである。

【0027】

生成機能とは、体内画像をＣＴ体表画像の方向に投影し、ＣＴ側カメラの撮像方向から見た体内画像の投影参照画像を生成する機能のことである。

【0028】

表示制御機能とは、投影参照画像と、ＵＬ体表画像と、ＣＴ体表画像とを、位置合わせ可能に重畳表示する機能のことである。

【0029】

ガイド制御機能とは、被検体の超音波画像を撮像するためのガイドを、ＵＬ体表画像と、投影参照画像とともに、ディスプレイ２４０に表示させる機能のことである。

【0030】

なお、本実施形態における受付機能、生成機能、表示制御機能およびガイド制御機能は、それぞれ特許請求の範囲における受付部、生成部、表示制御部およびガイド表示部の一例である。

【0031】

また、上記説明において用いた「プロセッサ」という文言は、例えば、専用又は汎用のＣＰＵ（Central Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）などの回路を意味する。

【0032】

プロセッサは、メモリに保存された、もしくはプロセッサの回路内に直接組み込まれたプログラムを読み出し、実行することで各機能を実現する。プロセッサが複数設けられ場合、プログラムを記憶するメモリは、プロセッサごとに個別に設けられるものであっても構わないし、或いは、例えば、図１の記憶回路１９０や記憶回路２５０が各プロセッサの機能に対応するプログラムを記憶するものであっても構わない。

【0033】

入力回路２３０は、医師や検査技師などの操作者によって操作が可能なポインティングデバイス（マウスなど）やキーボードなどの入力デバイスからの信号を入力する回路であり、ここでは入力デバイス自体も入力回路２０に含まれるものとする。この場合、操作に従った入力信号が、入力回路２３０から処理回路２１０に送られる。

【0034】

なお、カメラ付き端末２００は、例えば、携帯型情報処理装置によって実現することができ、入力回路２３０とディスプレイ２４０が一体として、信号の入力や画像表示が可能なタッチパネルにより構成することができる。

【0035】

記憶回路２５０は、ＲＯＭ及びＲＡＭ、ＨＤＤ等を含む記憶装置により構成されている。記憶回路２５０は、ＩＰＬ、ＢＩＯＳ及びデータを記憶したり、処理回路２１０のワークメモリとして使用されたり、または、データを一時的に記憶する場合に用いられる。ＨＤＤは、カメラ付き端末２００にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）や画像データを記憶する記憶装置である。また、医師や検査技師などの操作者に対するディスプレイ２４０への情報の表示にグラフィックを多用して、基礎的な操作を入力回路２３０によって行なうことができるＧＵＩ（Graphical User Interface）を、ＯＳに提供することもできる。

【0036】

なお、本実施形態の場合は、記憶回路２５０は、ネットワークインターフェース２６０を介して、画像記憶回路３００から、被検体のＣＴ体表画像とその体内画像と受信し記憶する。すなわち、記憶回路２５０は、被検体のＣＴ体表画像とその体内画像とを記憶しているものとする。

【0037】

ネットワークインターフェース２６０は、通信規格に応じた通信制御を行ない、例えば、ＩＥＥＥ８０２．１１シリーズに準拠した無線ＬＡＮ（Local Area Network）、近距離無線通信又は電話回線等を通じて、カメラ付き端末２００をネットワークに接続する機能を有している。例えば、ネットワークインターフェース２６０は、画像記憶回路３００から被検体のＣＴ体表画像とその体内画像とを受信するようになっている。

【0038】

内部バス２７０は、処理回路２１０によって処理回路２１０が統括制御されるように、各構成要素に接続されている。

【0039】

次に、超音波診断装置１００の外部に設けられ、ネットワークを介して接続された画像記憶回路３００について説明する。

【0040】

画像記憶回路３００は、メモリとして、ＲＯＭおよびＲＡＭ等を備えている。画像記憶回路３００は、例えば、Ｘ線ＣＴ装置で取得した被検体のＣＴ体表画像と、そのＣＴ体表画像と空間的な位置関係によって関係付けられた体内画像とを記憶している。なお、体内画像とは、上述した、Ｘ線ＣＴ装置で取得した同一被検体の３次元のボリュームデータにおける断層像のことである。

【0041】

［動作］
以下、本実施形態に係るカメラ付き端末２００を備える超音波診断装置１００の詳細な動作について、フローチャートを用いて説明する。

【0042】

（ガイド表示処理）
図２は、本実施形態に係る超音波診断装置１００が、画像記憶回路３００から受信した被検体のＣＴ体表画像とカメラ２２０で撮像したＵＬ体表画像とを位置合わせ可能に表示させ、体内画像について、被検体の超音波画像を撮像するためのガイドを表示させるガイド表示処理の動作を示すフローチャートである。

【0043】

図２に示すように、まず、本実施形態に係る超音波診断装置１００の処理回路２１０は、記憶回路２５０から、Ｘ線ＣＴ装置におけるＣＴ側カメラによって撮像されたＣＴ体表画像と、そのＣＴ体表画像と空間的な位置関係によって関係付けられた体内画像とを取得し、その入力を受け付ける（ステップＳＴ００１）。

【0044】

図３は、本実施形態に係る超音波診断装置１００の処理回路２１０が、記憶回路２５０から取得するＣＴ体表画像ＣＢと体内画像ＶＤの概念を示した概念図である。

【0045】

図３（ａ）では、図示しないＸ線ＣＴ装置に設けられたＣＴ側カメラＣＣを用いて、被検体ＰのＣＴ体表画像ＣＢを取得する概念を示している。また、図３（ｂ）では、同じく図示しないＸ線ＣＴ装置に設けられた撮像装置を用いて、被検体Ｐのボリュームデータである体内画像ＶＤを取得する概念を示している。

【0046】

なお、ＣＴ側カメラＣＣは、例えば、Ｘ線ＣＴ装置のガントリ内に設けられることにより、ＣＴ側カメラＣＣの位置を特定することができ、体内画像ＶＤにＣＴ側カメラＣＣの位置に関する位置情報とＣＴ体表画像ＣＢとを関連付けて、相対的な位置を示す位置情報を持たせることができる。また、ＣＴ体表画像ＣＢについてもＣＴ側カメラＣＣから撮像する範囲が分かるので、ＣＴ側カメラＣＣの相対的な位置を示す位置情報を持つことができる。なお、体内画像ＶＤとＣＴ体表画像ＣＢは、例えば、ベッドの位置における空間的な位置を利用して相互に関連付けるようにしても良い。

【0047】

次に、処理回路２１０は、体内画像ＶＤをＣＴ体表画像ＣＢの方向に投影し、ＣＴ側カメラＣＣの撮像方向から見た体内画像ＶＤの投影参照画像を生成する（ステップＳＴ００３）。

【0048】

図４は、本実施形態に係る超音波診断装置１００の処理回路２１０が、体内画像ＶＤから投影参照画像を生成する概念を示した概念図である。

【0049】

図４（ａ）では、被検体ＰにおいてＣＴボリュームデータから参照断面を抽出する概念を示している。例えば、ＣＴボリュームデータにおける断層像として、ボリュームデータから抽出された参照断面Ｄ１、Ｄ２、Ｄ３が例示されている。

【0050】

また、図４（ｂ）では、図４（ａ）で抽出した参照断面Ｄ１、Ｄ２、Ｄ３に対し、それぞれの参照断面をＣＴ側カメラＣＣの方向から見た形状を、例えば、台形でその概念を表示した概念図である。例えば、図４（ａ）で示した参照断面Ｄ１は、図４（ｂ）の台形Ｊ１の形状に該当する。同様に、図４（ａ）で示した参照断面Ｄ２は、図４（ｂ）の台形Ｊ２の形状に該当し、図４（ａ）で示した参照断面Ｄ３は、図４（ｂ）の台形Ｊ３の形状に該当する。なお、台形Ｊ１、Ｊ２、Ｊ３は、投影参照画像Ｊ１、Ｊ２、Ｊ３に対応する。

【0051】

このように、処理回路２１０は、体内画像ＶＤをＣＴ体表画像ＣＢの方向に投影することにより、ＣＴ側カメラＣＣの撮像方向から見た体内画像ＶＤの投影参照画像を生成する（ステップＳＴ００３）。

【0052】

次に、処理回路２１０は、カメラ付き端末２００に設けられたカメラ２２０により被検体Ｐの体表画像を撮像し、ＵＬ体表画像ＵＢを取得する（ステップＳＴ００５）。なお、カメラ２２０のことをＵＬ側カメラともいう。

【0053】

図５は、本実施形態に係る超音波診断装置１００のカメラ２２０が、被検体ＰのＵＬ体表画像ＵＢを撮像する状況を示した説明図である。

【0054】

図５に示すように、本実施形態に係るカメラ付き端末２００は、カメラ２２０とディスプレイ２４０とを備えているので、被検体ＰのＵＬ体表画像ＵＢを撮像することができる。また、カメラ付き端末２００は、可動式のアームに固定されることにより操作者はカメラ付き端末２００を持たないで、カメラ付き端末２００のディスプレイ２４０に表示されたＵＬ体表画像ＵＢを撮像することができる。

【0055】

なお、図５では、カメラ付き端末２００は、可動式のアームに固定されて、操作者は、ディスプレイ２４０に表示されるＵＬ体表画像ＵＢを見ることができるようになっているが、本実施形態は、これに限定されるものではない。例えば、操作者は、カメラ付き端末２００を手で持ち、自らの手で持ちながらＵＬ体表画像ＵＢを見るようにしてもよい。

【0056】

また、カメラ付き端末２００は、例えば、カメラ付き端末２００を固定するアームなどにより固定された場合は、被検体Ｐとカメラ付き端末２００との相対的な位置を示す位置情報をＵＬ体表画像ＵＢに持たせることができる。この場合、カメラ付き端末２００とベッドとの相対的な位置を示す位置情報と、ベッドにおける被検体Ｐの位置を示す位置情報とをＵＬ体表画像ＵＢに関連付けて持たせるようにしてもよい。

【0057】

次に、処理回路２１０は、投影参照画像と、ＵＬ体表画像ＵＢと、ＣＴ体表画像ＣＢとを、位置合わせ可能に重畳表示する（ステップＳＴ００７）。

【0058】

図６は、本実施形態に係る超音波診断装置１００の処理回路２１０が、投影参照画像Ｊ２と、ＵＬ体表画像ＵＢと、ＣＴ体表画像ＣＢとを、位置合わせ可能に重畳表示する概念を示した概念図である。

【0059】

図６（ａ）では、カメラ付き端末２００が入力を受け付けたＣＴ体表画像ＣＢと、生成した投影参照画像Ｊ２をディスプレイ２４０に表示させたときの表示例である。ＣＴ体表画像ＣＢは、ＣＴ側カメラＣＣで被検体Ｐの体表を撮影した体表画像であるため、２次元の画像となっている。また、投影参照画像Ｊ２は、参照断面Ｄ２をＣＴ体表画像ＣＢに投影し、ＣＴ側カメラＣＣから見た画像であるため、３次元的な形状が２次元の台形により表示されている。なお、ＣＴ体表画像ＣＢと投影参照画像Ｊ２とは、投影により一体化することができる。

【0060】

図６（ｂ）は、カメラ付き端末２００がカメラ２２０により被検体Ｐの体表を撮像したＵＬ体表画像ＵＢを示している。ディスプレイ２４０には、ステップＳＴ００５においてカメラ２２０により撮像されたＵＬ体表画像ＵＢが表示されている。

【0061】

図６（ｃ）は、投影参照画像Ｊ２と、ＵＬ体表画像ＵＢと、ＣＴ体表画像ＣＢとを重畳表示し、ＵＬ体表画像ＵＢとＣＴ体表画像ＣＢとの位置合わせを行う場合の一例を示している。例えば、カメラ付き端末２００は、ディスプレイ２４０に表示されているＵＬ体表画像ＵＢに、ＣＴ体表画像ＣＢと投影参照画像Ｊ２とを一体として、ＵＬ体表画像ＵＢにＣＴ体表画像ＣＢが一致するように位置合わせをする。

【0062】

図７は、本実施形態に係る超音波診断装置１００のカメラ付き端末２００のディスプレイ２４０において、ＵＬ体表画像ＵＢにＣＴ体表画像ＣＢが一致するように重畳表示させ、投影参照画像Ｊ２を含め、位置合わせ後の表示例を示した概念図である。

【0063】

図７に示すように、処理回路２１０は、ディスプレイ２４０におけるＵＬ体表画像ＵＢに、ＣＴ体表画像ＣＢと投影参照画像Ｊ２を一体として位置合わせを行うことができる。また、例えば、ＣＴ側カメラＣＣの位置に関する位置情報とＣＴ体表画像ＣＢとの相対的な位置を示す位置情報を用いて、被検体ＰのＵＬ体表画像ＵＢを撮影可能な相対的な位置にカメラ付き端末２００をセットするようにしてもよい。例えば、カメラ付き端末２００は、アームにおいて微調整を行い、ＵＬ体表画像ＵＢの撮像される範囲を調整することにより、ＣＴ体表画像ＣＢとＵＬ体表画像ＵＢとが一致するように位置合わせを行うことができる。なお、この位置合わせは、手動であっても自動であってもよい。

【0064】

また、投影参照画像Ｊ２は、参照断面Ｄ２と同期を取ることができ、例えば、操作者が図４（ａ）における参照断面Ｄ１を選択した場合には、投影参照画像Ｊ１をＵＬ体表画像ＵＢに重畳表示させることができ、また、操作者が図４（ａ）における参照断面Ｄ３を選択した場合には、投影参照画像Ｊ３をＵＬ体表画像ＵＢに重畳表示させることができる。

【0065】

次に、処理回路２１０は、被検体Ｐの超音波画像を撮像するためのガイドを、ＵＬ体表画像ＵＢと、投影参照画像Ｊ２とともに、ディスプレイ２４０に表示させる（ステップＳＴ００９）。本実施形態では、被検体Ｐの超音波画像を撮像するためのガイドを表示する例として、例えば、４つ想定されている。

【0066】

図８は、本実施形態に係る超音波診断装置１００の処理回路２１０が、ディスプレイ２４０に表示される投影参照画像Ｊ２に対して、超音波プローブ１１０を押し当てる場所をガイドする４つの例を示したガイド例である。

【0067】

図８（ａ）では、投影参照画像Ｊ２に対するガイドとして、音波画像を撮像するための場所を、点により表示させた場合のガイド例である。点Ｐ１は押当点を示しており、操作者は、点Ｐ１により、超音波プローブ１１０を操作する際の目安とすることができる。

【0068】

図８（ｂ）では、投影参照画像Ｊ２に対するガイドとして、音波画像を撮像するための場所を、線により表示させた場合のガイド例である。線Ｐ２は、スキャン方向に対応する線を示しており、操作者は、線Ｐ２により、超音波プローブ１１０を操作する際の目安とすることができる。また、３０度は、例えば、超音波プローブ１１０を走査する際の傾ける角度を示しており、例えば、ディスプレイ２４０の垂直方向から超音波プローブ１１０の先端を投影参照画像Ｊ２に３０度傾けて撮像することにより、参照断面Ｄ２に対応する超音波画像を得ることができることを示している。

【0069】

なお、３０度という数値による表示方法は、これに限定されるものではない。投影参照画像Ｊ２に対するガイドとして、超音波プローブを当てる角度を示す角度情報を視覚的に表示させるものであれば、適用可能である。例えば、分度器を用いた角度情報を視覚的に表示するようにしてもよい。

【0070】

図８（ｃ）では、投影参照画像Ｊ２に対するガイドとして、音波画像を撮像するための場所を、領域により表示させた場合のガイド例である。領域Ｐ３は、超音波プローブ１１０を押し当てる領域を示しており、操作者は、領域Ｐ３により、超音波プローブ１１０を操作する際の目安とすることができる。

【0071】

図８（ｄ）では、投影参照画像Ｊ２に対するガイドとして、音波画像を撮像するための場所を、超音波プローブを模した仮想的な画像を用いて、その仮想的プローブにより表示させた場合のガイド例である。仮想的プローブＰ４は、操作者が、超音波プローブ１１０を押し当てる場所を示しており、操作者は、仮想的プローブＰ４により、超音波プローブ１１０を操作する際の目安とすることができる。また、仮想的プローブＰ４は、例えば、図４（ａ）の参照断面Ｄ２の撮像すべき角度に合わせ、仮想的プローブＰ４を傾けて表示することができる。この場合、数値だけではなく仮想的プローブＰ４の傾いた形状により、直感的に超音波プローブ１１０の走査角度を認識させることができる。

【0072】

本実施形態に係る超音波診断装置１００は、このようなガイドをディスプレイ２４０に表示させ、操作者が超音波プローブ１１０を被検体Ｐに押し当てると、ガイド表示処理を終了する。

【0073】

以上説明したように、本実施形態に係る超音波診断装置１００は、カメラ付き端末２００を備え、カメラ付き端末２００の処理回路２１０は、ＣＴ体表画像ＣＢと体内画像ＶＤの入力を受け付けると共に、体内画像ＶＤをＣＴ体表画像ＣＢに投影して、投影参照画像を生成する。カメラ付き端末２００は、ディスプレイ２４０において、投影参照画像と、ＵＬ体表画像ＵＢと、ＣＴ体表画像ＣＢとを位置合わせ可能に重畳表示することができ、被検体Ｐの超音波画像を撮像するためのガイドをディスプレイ２４０に表示する。

【0074】

これにより、本実施形態に係る超音波診断装置１００は、簡便でかつ直観的な方法で、超音波診断装置以外の診断装置で撮像された撮像画像と、超音波画像との位置合わせを、操作者に行わせることができる。

【0075】

また、カメラ付き端末２００は、ＵＬ体表画像ＵＢとＣＴ体表画像ＣＢの表示される位置を合わせたまま、体内画像ＶＤ内の関心領域を示す断面の角度に応じて、投影参照画像が表示される表示形態を変更することができる。

【0076】

例えば、図４に示した参照断面Ｄ１、Ｄ２、Ｄ３のうちいずれか１つの参照断面を選択することにより、対応する投影参照画像をディスプレイ２４０に表示することができる。具体的には、図４（ａ）で示した参照断面Ｄ１が選択された場合には、図４（ｂ）の台形Ｊ１の形状により、投影参照画像Ｊ１として表示することができ、また、図４（ａ）で示した参照断面Ｄ３が選択された場合には、図４（ｂ）の台形Ｊ３の形状により、投影参照画像Ｊ３として表示することができる。

【0077】

そして、例えば、参照断面を参照断面Ｄ１から参照断面Ｄ３に変更した場合には、投影参照画像Ｊ１から投影参照画像Ｊ３に変更することができるとともに、同期によりガイドを表示するガイドの表示位置も変更することできる。

【0078】

また、図７において、投影参照画像Ｊ２により位置合わせ後の投影参照画像を表示するようになっていたが、この投影参照画像は、これに限定されるものではない。例えば、図４（ａ）に示した参照断面を３次元的に補正し、投影断面画像がグラフィック処理された断面画像により、投影参照画像としてはめ込むようにしてもよい。

【0079】

（第２の実施形態）
第１の実施形態に係る超音波診断装置１００は、カメラ付き端末２００において、例えば、図８（ａ）に示したように、超音波画像を撮像するための場所を、点や線等により、投影参照画像に対するガイドとして表示するようになっていた。

【0080】

第２の実施形態では、カメラ付き端末２００に、視覚的効果を有する光線を発する光源２８０をさらに備え、処理回路２１０は、投影参照画像に対するガイドとして、光源２８０を用いて、超音波画像を撮像するための地点を表示させるようになっている。

【0081】

図９は、第２の実施形態に係るカメラ付き端末２００Ａを備える超音波診断装置１００Ａの概略の構成の一例を示した概略構成図である。

【0082】

図９に示すように、第２の実施形態に係る超音波診断装置１００Ａは、光源２８０を備えるカメラ付き端末２００Ａを備えて構成されている。第１の実施形態の超音波診断装置１００と異なる点は、光源２８０を有している点である。

【0083】

図１０は、第２の実施形態に係る超音波診断装置１００Ａの光源２８０が、ディスプレイ２４０に表示される投影参照画像Ｊ２に対し、超音波プローブ１１０を押し当てる場所を、光線を用いてガイドするガイド例である。

【0084】

図１０に示すように、点ＳＰは、光源２８０によって、ＵＬ体表画像ＵＢにレーザ照射された点を示しており、超音波プローブ１１０を押し当てる押当点を示している。例えば、光源２８０を用いて、押当点である点ＳＰを照射し指し示すことにより、超音波プローブ１１０を当てる点を、操作者に対し、より明確に認識させることができる。

【0085】

（第３の実施形態）
第３の実施形態では、カメラ付き端末２００の処理回路２１０に、ＣＴ体表画像ＣＢと、ＵＬ体表画像ＵＢの表示位置を補正する補正機能をさらに備えるようになっている。

【0086】

図１１は、第３の実施形態に係る超音波診断装置１００Ｂは、カメラ付き端末２００Ｂの処理回路２１０Ｂにおいて、補正機能をさらに備えた構成を示した概略構成図である。

【0087】

カメラ付き端末２００Ｂは、カメラ２２０による撮像により、ＵＬ体表画像ＵＢの表示される位置が変更された場合には、その変更された位置に基づいて、ＣＴ体表画像ＣＢと投影参照画像との表示される位置を補正し、ＵＬ体表画像ＵＢとＣＴ体表画像ＣＢが一致して表示されるようにディスプレイ２４０に表示する。

【0088】

図１２は、第３の実施形態に係る超音波診断装置１００Ｂのディスプレイ２４０において、処理回路２１０Ｂが、ＵＬ体表画像ＵＢの変更に伴って、ＵＬ体表画像ＵＢにＣＴ体表画像ＣＢが一致するように補正する概念を示した概念図である。

【0089】

図１２（ａ）では、例えば、カメラ付き端末２００Ｂの位置が移動した場合、カメラ付き端末２００Ｂの移動に伴って、ＵＬ体表画像ＵＢの表示される位置が変更されることを示している。一方、図１２（ｂ）では、ＣＴ体表画像ＣＢと投影参照画像Ｊ２が、カメラ付き端末２００Ｂの位置の移動に追従し、その変更されたＵＬ体表画像ＵＢの表示位置に、ＣＴ体表画像ＣＢと投影参照画像とを補正した場合の表示例を示している。

【0090】

第３の実施形態の場合には、カメラ付き端末２００Ｂが移動した場合であっても、処理回路２１０Ｂの補正機能により、ＣＴ体表画像ＣＢと投影参照画像Ｊ２の位置を補正することができるので、操作者は、カメラ付き端末２００が移動した場合であっても検査を止めることなく投影参照画像Ｊ２を見ることができ、継続して超音波プローブ１１０を当てることができる。

【0091】

なお、補正する方法は一例であって、これに限定されるものではない。例えば、カメラ付き端末２００Ｂが固定されている場合は、被検体Ｐの体位の移動も生じ得るため、その場合、その被検体Ｐの体位の移動に伴って、ＣＴ体表画像ＣＢと投影参照画像Ｊ２の位置を補正することができる。

【0092】

以上説明した少なくともひとつの実施形態によれば、簡便でかつ直観的な方法で、超音波診断装置１００以外の診断装置で撮像された撮像画像と、超音波画像との位置合わせを行うことができる。

【0093】

なお、本実施形態におけるカメラ２２０は、特許請求の範囲における第１のカメラの一例であり、本実施形態におけるＣＴ側カメラＣＣは、特許請求の範囲における第２のカメラの一例である。また、本実施形態におけるＵＬ体表画像ＵＢは、特許請求の範囲における第１の体表画像の一例であり、本実施形態におけるＣＴ体表画像ＣＢは、特許請求の範囲における第２の体表画像の一例である。

【0094】

また、カメラ付き端末２００は、カメラ２２０とディスプレイ２４０とを一体として備えるようになっていたが、これに限定されるものではない。例えば、カメラ付き端末２００は、カメラ２２０と、ディスプレイ２４０との少なくともいずれかを、別体により構成するようにしてもよい。

【0095】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0096】

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

【符号の説明】

【0097】

１００…超音波診断装置
１１０…超音波プローブ
１２０…超音波診断装置本体
１３０…送受信回路
１４０…信号処理回路
１５０…画像処理回路
１６０…ディスプレイ
１７０…入力回路
１８０…処理回路（プロセッサ）
１９０…記憶回路
２００…カメラ付き端末
２１０…処理回路（プロセッサ）
２２０…カメラ
２３０…入力回路
２４０…ディスプレイ
２５０…記憶回路
２６０…ネットワークインターフェース
２７０…内部バス
３００…画像記憶回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】