(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-07
(45)【発行日】2022-11-15
(54)【発明の名称】医用画像診断装置及び医用画像処理装置
(51)【国際特許分類】
A61B 8/14 20060101AFI20221108BHJP
【FI】
A61B8/14
(21)【出願番号】P 2017119588
(22)【出願日】2017-06-19
【審査請求日】2020-05-15
(32)【優先日】2016-06-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100108855
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【氏名又は名称】鵜飼 健
(72)【発明者】
【氏名】マグナス ワレンバーグ
(72)【発明者】
【氏名】トリスタン・ロートン
(72)【発明者】
【氏名】ティモシー デイ
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開2002-315754(JP,A)
【文献】特開2015-134132(JP,A)
【文献】国際公開第2009/107770(WO,A1)
【文献】特開2001-276066(JP,A)
【文献】特開2013-022156(JP,A)
【文献】特開2014-150957(JP,A)
【文献】国際公開第2012/039192(WO,A1)
【文献】米国特許出願公開第2012/0046521(US,A1)
【文献】特開2014-158746(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
A61B 6/00 - 6/14
A61B 5/055
A61B 1/00 - 1/32
G06T 1/00
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
被検体の3次元領域に対してスキャンを実行するスキャン部と、
前記スキャンの結果に基づいて、前記3次元領域の医用画像データを生成し、
前記3次元領域内のターゲットの位置を検出し、
検出した前記ターゲットの位置を光源の位置として、前記医用画像データに対するレンダリング処理を実行する、処理部と、
を備え、
前記ターゲットは、前記3次元領域内に存在する医用器具又は電子機器であり、
前記処理部は、
前記被検体の内部に挿入された前記ターゲットの位置及び手術の進捗のうち少なくとも一つに基づいて、前記光源に関連する少なくとも一つのパラメータを変化させ、
前記ターゲットの先端、前記ターゲットの所定の一部、及び、前記ターゲットの長さの少なくとも一部に沿って分布する部分、のうちのいずれかの位置を前記光源の位置として、前記レンダリング処理を実行し、
色が組織性状情報または機能情報を表す、前記3次元領域内の関心領域に対するカラーマップを決定し、
前記光源の色は、前記ターゲットが位置する領域の
前記カラーマップの色に対応する、医用画像診断装置。
【請求項2】
前記医用器具は、穿刺針、カテーテル、ステント、およびインプラントのうち少なくとも一つを含む、請求項1に記載の医用画像診断装置。
【請求項3】
前記電子機器は、体内式の超音波プローブ、内視鏡、のうち少なくとも一つを含む、請求項1に記載の医用画像診断装置。
【請求項4】
前記処理部は、ユーザインタフェースを介してユーザから指定された前記医用器具または電子機器の位置を、前記ターゲットの位置として検出する、請求項1乃至3のうちいずれか一項に記載の医用画像診断装置。
【請求項5】
前記処理部は、前記3次元領域内に存在する穿刺針のシャフト位置を、前記ターゲットの位置として検出する、請求項1乃至4のうちいずれか一項に記載の医用画像診断装置。
【請求項6】
前記処理部は、前記3次元領域内に存在する穿刺針の先端位置を、前記ターゲットの位置として検出する、請求項1乃至4のうちいずれか一項に記載の医用画像診断装置。
【請求項7】
前記処理部は、穿刺の対象であるサンプル位置と、検出した前記穿刺針の先端位置の間の距離に基づいて、前記光源
の強度を決定する、請求項6に記載の医用画像診断装置。
【請求項8】
前記処理部は、所定の穿刺計画において定められた位置と、検出した前記穿刺針の先端位置の間の距離に基づいて、前記光源
の強度を決定する、請求項6に記載の医用画像診断装置。
【請求項9】
前記ターゲットは、前記被検体内を進行し、
前記処理部は、前記ターゲットの進行方向に光が投じられるように、前記光源を設定する、請求項1乃至8のうちいずれか一項に記載の医用画像診断装置。
【請求項10】
前記スキャン部は、超音波走査を実行する超音波プローブを含み、
前記処理部は、前記超音波プローブによる超音波走査が実行されているライブ走査断面の位置と前記ターゲットの位置の間の距離に基づいて、前記光源
の強度を決定する、請求項
1に記載の医用画像診断装置。
【請求項11】
前記処理部は、前記ターゲットの位置を含む領域、または前記ターゲットが存在する位置の周辺について算出された組織性状情報に基づいて、前記光源
の強度を決定する、請求項
1に記載の医用画像診断装置。
【請求項12】
前記機能情報は、他の医用画像診断装置により算出される、請求項
1に記載の医用画像診断装置。
【請求項13】
前記スキャン部は、超音波走査を実行する超音波プローブを含み、
前記処理部は、超音波プローブに設けられた位置センサの出力、穿刺針に設けられた位置センサの出力、および前記医用画像データのうちの少なくとも1つに基づいて、前記ターゲットの位置を検出する、請求項1乃至9のうちいずれか一項に記載の医用画像診断装置。
【請求項14】
前記処理部は、前記ターゲットの位置の光源を第1光源の位置として、前記ターゲットの位置と異なる位置を第2光源の位置として前記医用画像データに対するレンダリング処理を実行する、請求項1乃至13のうちいずれか一項に記載の医用画像診断装置。
【請求項15】
医用画像診断装置で生成された被検体の3次元領域の医用画像データを取得し、
前記3次元領域内のターゲットの位置を検出し、
検出した前記ターゲットの位置を光源の位置として、前記医用画像データに対するレンダリング処理を実行する、処理部を備え、
前記ターゲットは、前記3次元領域内に存在する医用器具又は電子機器であり、
前記処理部は、
前記被検体の内部に挿入された前記ターゲットの位置及び手術の進捗のうち少なくとも一つに基づいて、前記光源に関連する少なくとも一つのパラメータを変化させ、
前記ターゲットの先端、前記ターゲットの所定の一部、及び、前記ターゲットの長さの少なくとも一部に沿って分布する部分、のうちのいずれかの位置を前記光源の位置として、前記レンダリング処理を実行し、
色が組織性状情報または機能情報を表す、前記3次元領域内の関心領域に対するカラーマップを決定し、
前記光源の色は、前記ターゲットが位置する領域の
前記カラーマップの色に対応する、医用画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、例えば医用画像診断装置及び医用画像処理装置に関する。
【背景技術】
【0002】
穿刺針を用いる生検は、一般に、患者またはその他被検体から組織サンプルを収集するために実施される。また、穿刺針を用いて腫瘍部を焼灼する治療法が存在する。これらの生検、焼灼治療においては、針は組織に挿入され、関心領域の医用撮像を使用して導かれる。関心領域の医用撮像は、例えば、超音波プローブを使用して取得される撮像など、リアルタイム撮像を含んでよい。針の位置は、リアルタイム撮像を使用して追跡されてもよい。また針の位置は、位置センサを使用して代替的にまたは追加的に追跡することが出来る。
【0003】
穿刺術に先立って取得される先行画像(例えば、穿刺術よりも前もって取得された先行3次元医用画像、或いはアトラス画像)は、リアルタイム撮像と共に表示される。先行3次元医用画像とは、例えば、CT、MRなどの医用画像診断装置によって取得された三次元画像または3次元超音波画像であってもよい。先行3次元医用画像は、リアルタイム超音波画像と一緒にレジストレーションされることがある。
【0004】
生検針を誘導中の臨床医にとって、先行3次元医用画像は有益な情報を含むことができる。例えば、先行3次元医用画像は、所望のサンプルされる解剖学的特徴(腫瘍など)の大きさや位置を示すことができる。先行3次元医用画像は、3次元の性質によりおよび/または異なるモダリティで撮られているので、リアルタイム撮像よりもさらに多くの情報量を示すかもしれない。
【0005】
中には、先行3次元医用画像がレジストレーションされたMPR(マルチプラナー再編成)画像として示される場合がある。レジストレーションされたMPR画像は、リアルタイム撮像で示される平面画像に対応する、先行3次元医用画像のスライスを示してもよい。
【0006】
またあるケースでは、先行3次元医用画像が3次元ボリュームレンダリング画像として、示されるものがある。先行3次元医用画像を3次元ボリュームレンダリング画像として表示することにより、MPR画像に比して、より多くの事実関係(context)を伴う概要的な全体像を考慮することが出来る。
【0007】
3次元ボリュームレンダリング画像は、先行画像が針とプローブとの幾何学的な位置関係の移動のみを伴った、固定された位置から見られることを可能にする。その一方で、レジストレーションされたMPR画像は、針とプローブの幾何学的な位置関係の移動のみに固定された位置から先行3次元医用画像を観察するような、全体的な位置や方向において同じ感覚をもたらさないかもしれない。
【先行技術文献】
【特許文献】
【0008】
【文献】米国特許出願公開第2014/0232719A1号明細書
【発明の概要】
【発明が解決しようとする課題】
【0009】
例えば、穿刺術においては、針先や針先周囲に関する関連情報を視覚化することが望ましい。しかし、3次元ボリュームレンダリングの特性上、針の描出が3次元ボリュームレンダリングに含まれる場合、実際に針先がどこにあるのかを目で捉えるのは、一般的に困難である。針先は、針が挿入される表面または物質によって塞がれる可能性があるからである。
【0010】
針は、主には柔組織に向けられるので、先行3次元医用画像の標準的な直接ボリュームレンダリング画像(classical Direct Volume Rendering images)では、粗く見える可能性がある。従来の直接ボリュームレンダリングは、柔組織を上手くレンダリングしないかもしれないので、主な組織タイプおよび/またはその主な組織タイプ周りの大半が柔組織の場合、先行3次元医用画像のレンダリングに対しては不適切かもしれない。
【0011】
画像中のノイズは、局所シェーディングにより、よりひどくなる可能性がある。ノイズの影響は、先行画像が3次元超音波ボリュームならば、特にひどいかもしれない。ある状況下で、ノイズ影響が針の幾何学的位置関係(needle geometry)をより見づらいものにする可能性がある。
【0012】
以上に鑑み、本実施形態の目的は、手術前のシミュレーションや手術中において、対象部位、被検体内に挿入する医用器具又は電子機器の経路、或いは対象部位と医用器具又は電子機器の位置関係を、従来に比してより簡単に視認することが可能な医用画像診断装置、医用画像処理装置を提供することである。
【課題を解決するための手段】
【0013】
実施形態に係る医用画像診断装置は、スキャン部、処理部を有する。スキャン部は、被検体の3次元領域に対してスキャンを実行する。処理部は、スキャンの結果に基づいて、3次元領域の医用画像データを生成し、3次元領域内のターゲットの位置を検出し、検出した前記ターゲットの位置を光源の位置として、前記医用画像データに対するレンダリング処理を実行する。
【図面の簡単な説明】
【0014】
【
図1】
図1は、実施形態に係る医用画像診断装置の概要図である。
【
図2】
図2は、実施形態の処理全体を描いているフローチャートである。
【
図3】
図3は、針先に電源を備えた(active)仮想光源を有する、針生検画像の概要図である。
【
図4】
図4は、針先の前面のエラストグラフィに基づく色と輝度モディファイアとを示す概要図である。
【
図5】
図5は、先行PET/CT画像からFDG摂取(FDG uptake)に基づく色と輝度モディファイアとを示す概要図である。
【
図6】
図6は、収集点からの距離の計測を示す概要図である。
【
図7】
図7は、ライブ超音波面からの距離の計測を示す概要図である。
【発明を実施するための形態】
【0015】
以下、各実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【0016】
また、以下の実施形態においては、説明を具体的にするため、実施形態に係る医用画像診断装置が超音波診断装置である場合を例として説明する。しかしながら、以下に述べる本実施形態の画像処理手法は、超音波診断装置の例に限定されず、例えば、X線コンピュータ断層撮像装置、磁気共鳴イメージング装置、X線診断装置、PET、SPECT等の他の医用画像診断装置においても適用可能である。
【0017】
実施形態に係る超音波診断装置1が、
図1に示されている。超音波診断装置1は、撮影機器としての超音波スキャナ14と、当該超音波スキャナ14によって取得された超音波データを処理するパーソナルコンピュータ(PC)またはワークステーションである医用画像処理装置12を具備している。医用画像処理装置12は、超音波スキャナ14、一つ以上の表示機器50またはその他表示デバイス、そしてコンピュータキーボード、マウスまたはトラックボールなど、入力装置または複数の入力装置18に接続されている。
【0018】
超音波診断装置1或いは医用画像処理装置12は、例えばその手術計画段階において手術の対象となる部位の位置を把握、被検体に挿入する医用器具又は電子機器の経路のシミュレーション、或いは手術中における手術対象部位と医用器具又は電子機器の位置関係のモニタリング等を行う場合に用いられる。なお、以下においては、説明を具体的にするため、医用器具としての穿刺針を被検体内に挿入する場合を例とする。なお、本実施形態では、被検体内の手術対象部位、医用器具の位置、電子機器の位置、又はユーザによりマニュアル指定された位置など、仮想光源が配置される位置の総称をターゲットとする。
【0019】
超音波スキャナ14は、患者またはその他被検体の領域を描出した超音波データ(ultrasound data representative of a region)を収集するように構成された任意の超音波スキャナであってよい。患者またはその他被検体の領域は、少なくとも一つの関心の解剖学的構造を具備するかもしれない。
【0020】
本実施形態において、超音波スキャナ14は、2次元超音波データを収集するように構成されている。超音波スキャナ14は、リアルタイムまたはほぼリアルタイム(near-real-time)で2次元超音波データを収集するように構成されている。代替的な実施形態において、医用画像診断装置が他のモダリティとなる場合には、超音波スキャナ14は、例えばMRI(磁気共鳴撮像)スキャナ、X線スキャナ、PET(陽電子放射断層撮影法)スキャナ、SPECT(単光子放出コンピュータ断層撮影)スキャナ、またはCTスキャナなど、2次元または3次元医用撮像データを提供するように構成された任意の撮像モダリティ内の、任意のボリューメトリックスキャナと置き換えられる、または補われてもよい。
【0021】
なお、超音波診断装置1には、生検手術を実行する患者またはその他被検体の身体に挿入される可能性のある、生検針の位置を決定するように構成された位置検出器21が接続される。本実施形態において、公知のタイプの磁気検波器が生検針の位置を検出するために使用される。
【0022】
実施形態の中には、位置検出器21は、電磁石追跡システムを具備してよい。また実施形態には、電磁石センサが生検針(またはその他医療器具)に埋め込まれているものがある。電磁石センサの位置、つまり生検針の位置は、一つ以上の電磁石送信機を使用して決定される。
【0023】
代わりの実施形態において、例えばステレオビジョン針検出器など、任意の適切なその他タイプの検出器が使われてよい。ステレオビジョン針検出器は、プローブと針とを追跡し、プローブと針の幾何学的関係(geometric relationship)を計算する、カメラ二台を具備しているかもしれない。さらなる実施形態において、位置検出器21は、任意の適切な挿入手術において任意の適切な医用デバイスが挿入される位置を決定するように構成されている。
【0024】
図1に示されるように、超音波診断装置1は、装置本体10、超音波プローブ70、表示機器50、及び入力装18を備える。装置本体10は、ネットワーク100を介して外部装置40と接続される。また、装置本体10は、表示機器50、及び入力装18と接続される。
【0025】
超音波プローブ70は、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ70は、装置本体10と着脱自在に接続される。複数の圧電振動子は、装置本体10が有する超音波送信部11aから供給される駆動信号に基づき超音波を発生する。また、超音波プローブ70には、後述するオフセット処理や、超音波画像のフリーズなどの際に押下されるボタンが配置される。
【0026】
超音波プローブ70から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ70が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して周波数偏移を受ける。超音波プローブ70は、被検体Pからの反射波信号を受信して電気信号に変換する。超音波プローブ70は、例えば、複数の超音波振動子が所定の方向に沿って配列された一次元アレイプローブである。なお、超音波プローブ70は、一次元アレイプローブに限られず、ボリュームデータを取得可能なものとして、二次元アレイプローブ(複数の超音波振動子が二次元マトリックス状に配列されたプローブ)、又はメカニカル4Dプローブ(超音波振動子列をその配列方向と直交する方向に機械的に煽りながら超音波走査を実行可能なプローブ)等であってもよい。
【0027】
図1に示される装置本体10は、超音波プローブ70が受信した反射波信号に基づいて超音波画像を生成する装置である。装置本体10は、
図1に示すように、超音波送信部11a、超音波受信部11b、Bモード処理部13a、ドプラ処理部13b、画像メモリ34(シネメモリ)、内部記憶部20、データ処理部22、通信インタフェース回路35、制御部(CPU)30、画像データベース31、入力インタフェース回路32を含む。
【0028】
超音波送信部11aは、超音波プローブ70に駆動信号を供給するプロセッサである。超音波送信部11aは、例えば、トリガ発生回路、遅延回路、パルサ回路等により実現される。トリガ発生回路は、制御部30の制御の下、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ70から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、制御部30の制御の下、レートパルスに基づくタイミングで、超音波プローブ70に駆動信号(駆動パルス)を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。
【0029】
超音波受信部11bは、超音波プローブ70が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信部11bは、例えば、アンプ回路、A/D変換器、受信遅延回路、加算器等により実現される。アンプ回路は、超音波プローブ70が受信した反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。A/D変換器は、ゲイン補正された反射波信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生される。
【0030】
Bモード処理部13aは、超音波受信部11bから受け取った受信信号に基づき、Bモードデータを生成するプロセッサである。Bモード処理部13aは、超音波受信部11bから受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。生成されたBモードデータは、2次元的な超音波走査線上のBモードRAWデータとして不図示のRAWデータメモリに記憶される。
【0031】
ドプラ処理部13bは、超音波受信部11bから受け取った受信信号に基づき、ドプラ波形、及びドプラデータを生成するプロセッサである。ドプラ処理部13bは、受信信号から血流信号を抽出し、抽出した血流信号からドプラ波形を生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ(ドプラデータ)を生成する。生成されたドプラデータは、2次元的な超音波走査線上のドプラRAWデータとして不図示のRAWデータメモリに記憶される。
【0032】
データ処理部22は、Bモード処理部13a、及びドプラ処理部13bにより生成されたデータに基づき、各種データ処理を実行するプロセッサである。
【0033】
データ処理部22は、位置決定部24、レジストレーション処理部26、画像生成部28、画像処理部29を有している。
【0034】
位置決定部24は、位置検出器21が検出した穿刺針の基準位置(例えば、先端位置)に基づいて、ボリュームデータ内における当該基準位置の位置を決定する。
【0035】
レジストレーション処理部26は、リジッドレジストレーション、アフィン変換、ノンリジッドレジストレーション等の所定の手法に従って、超音波ボリュームデータと先行ボリュームデータ(例えばCTボリュームデータ)とをレジストレーションする。
【0036】
画像生成部28は、RAWデータメモリに記憶されたBモードRAWデータに基づいてBモード画像データを生成する。また、画像生成部28は、RAWデータメモリに記憶されたドプラRAWデータに基づいて、平均速度画像、分散画像、パワー画像等に係るドプラ画像データを生成する。
【0037】
さらに、画像生成部28は、RAWデータメモリに記憶されたBモードデータに対し、空間的な位置情報を加味した補間処理を含むRAW-ボクセル変換を実行することにより、形態情報を表すBモードボリュームデータを生成する。また、データ処理部22は、RAWデータメモリに記憶されたドプラデータに対し、空間的な位置情報を加味した補間処理を含むRAW-ボクセル変換を実行することにより、血流情報を表す血流(カラードプラ)ボリュームデータを生成する。Bモードボリュームデータ、及び、血流ボリュームデータは、所望の範囲のボクセルから構成される。
【0038】
画像処理部29は、発生した各種ボリュームデータを用いて、レンダリング画像、MPR画像等を生成する。また、画像処理部29は、シェーディング等の所定の画像処理を実行する。
【0039】
表示処理部16は、各種画像を表示機器50に表示させるプロセッサである。表示処理部16は、座標変換処理等により、表示画像としての超音波画像データを生成する。座標変換処理とは、例えば、Bモードデータ、及びドプラデータからなる超音波走査の走査線の信号列を、テレビ等に代表される一般的なビデオフォーマットの走査線信号列であるビデオ信号に変換する処理である。生成された超音波画像データは、例えばDICOM(digital imaging and communication in medicine)規格に準拠したフォーマットに変換され、例えば画像データベース19に記憶される。
【0040】
また、表示処理部16は、データ処理部22において生成された各種画像データに対し、ダイナミックレンジ、輝度(ブライトネス)、コントラスト、γカーブ補正、及びRGB変換などの各種処理を実行することで、画像データをビデオ信号に変換する。表示処理部16は、ビデオ信号を表示機器50に超音波画像として表示させる。
【0041】
なお、表示処理部16は、操作者(例えば、術者)が入力インタフェース回路32により各種指示を入力するためのユーザインタフェース(GUI:Graphical User Interface)を生成し、GUIを表示機器50に表示させてもよい。表示機器50としては、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。
【0042】
内部記憶部20は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。内部記憶部20は、超音波送受信を実現するための制御プログラム、画像処理を行うための制御プログラム、及び表示処理を行なうための制御プログラム等を記憶している。また、内部記憶部20は、本実施形態に係る各種機能を実現するための制御プログラムを記憶している。また、内部記憶部20は、診断情報(例えば、患者ID、医師の所見等)、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位ごとに予め設定する変換テーブルなどのデータ群を記憶している。また、内部記憶部20は、生体内の臓器の構造に関する解剖学図譜、例えば、アトラスを記憶してもよい。
【0043】
また、内部記憶部20は、本実施形態では、超音波スキャナ14によって収集された超音波データセットは、内部記憶部20に格納され、その後に医用画像処理装置12に提供される。代わりの実施形態において、超音波データセットは、画像保管通信システム(PACS)の一部を形成し得る、遠隔データストア(図示せず)から供給される。内部記憶部20または遠隔データストアは、メモリストレージの任意の適切な形態を具備していてもよい。
【0044】
内部記憶部20は、患者またはその他被検体を描出した3次元CTデータも格納する。格納された3次元CTデータは、CTスキャナを使用して以前に収集されてきたデータである。格納された3次元CTデータは、以下により詳細に説明される通り、撮像処理において使用される。代わりの実施形態において、CTデータは、遠隔データストアから供給される。その他の実施形態において、CTデータは、例えばMRI、X線、PET、SPECT、または超音波撮像モダリティなど任意のその他適切な撮像モダリティを使用して収集された3次元医用撮像データによって、置き換えられる、または補われてもよい。
【0045】
画像メモリ34は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ34は、入力インタフェース回路32を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ34に記憶されている画像データは、例えば、連続表示(シネ表示)される。
【0046】
画像データベース31は、外部装置40から転送される画像データを記憶する。例えば、画像データベース31は、過去の診察において取得された同一患者に関する過去画像データを、外部装置40から取得して記憶する。過去画像データには、超音波画像データ、CT(Computed Tomography)画像データ、MR画像データ、PET(Positron Emission Tomography)-CT画像データ、PET-MR画像データ及びX線画像データが含まれる。また、過去画像データは、例えば3次元ボリュームデータ、及びレンダリング画像データとして記憶されている。これらの過去画像データは、本実施形態において、先行医用画像として利用される。
【0047】
なお、画像データベース31は、MO、CD-R、DVDなどの記録媒体(メディア)に記録された画像データを読み込むことで、所望の画像データを格納してもよい。
【0048】
入力インタフェース回路32は、入力装18を介して、操作者からの各種指示を受け付ける。入力装18には、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、ダイヤルスイッチ、トラックボール、ロータリーエンコーダ、操作パネル及びタッチコマンドスクリーン(TCS)等が含まれる。
【0049】
入力インタフェース回路32は、例えばバスを介して制御部30に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を制御部30へ出力する。なお、本実施形態において入力インタフェース回路32は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置1とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を無線信号として受け取り、この電気信号を制御部30へ出力する電気信号の処理回路も入力インタフェース回路32の例に含まれる。
【0050】
通信インタフェース回路35は、通信インタフェース回路35は、ネットワーク100等を介して外部装置40と接続され、外部装置40との間でデータ通信を行う。外部装置40は、例えば、各種の医用画像のデータを管理するシステムであるPACS(Picture Archiving and Communication System)のデータベース、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。また、外部装置40は、例えば、X線CT装置、及びMRI(Magnetic Resonance Imaging)装置、核医学診断装置(PET、SPECT)、及びX線診断装置等、本実施形態に係る超音波診断装置1以外の各種医用画像診断装置である。なお、外部装置40との通信の規格は、如何なる規格であっても良いが、例えば、DICOMが挙げられる。
【0051】
制御部(CPU)30は、プロセッサを有し、超音波診断装置1の中枢として機能する。制御部30は、超音波受信部11bから発生される受信信号に基づき、Bモード処理部13a、ドプラ処理部13b、データ処理部22、及び表示処理部16等を制御し、所定の超音波画像データを生成し、生成した超音波画像データを表示機器に表示する。制御部30は、入力インタフェース回路32を介して、操作者等からの各種指示を受け付ける。制御部30は、受け付けた各種指示を、制御部30に入力する。
【0052】
本実施形態において、位置決定部24、レジストレーション処理部26と画像生成部28とは、実施形態の方法を実行することが可能なコンピュータ可読指示を有するコンピュータプログラムの方法により、医用画像処理装置12でそれぞれ実行される。例えば、位置決定部24とレジストレーション処理部26、画像生成部28とは、例えば制御部30によって、医用画像処理装置12で実行可能な個別のコンピュータプログラムまたはアルゴリズムとして、それぞれ実行される可能性がある。しかし、その他の実施形態において、回路は、一つ以上のASICs(特定用途向け集積回路)またはFPGAs(フィールド・プログラマブル・ゲート・アレイ)として、実行されてもよい。
【0053】
医用画像処理装置12は、ハードドライブや、RAM、ROMを含むPCのその他構成要素、データバス、様々なデバイスドライバを含むオペレーティング・システム、グラフィックス・カードを含むハードウェアデバイスも包括する。このような構成要素は、明確にするために
図1には図示されていない。
【0054】
以下により詳細に説明される通り、生検針が患者またはその他被検体の身体へと挿入される間、生検針の少なくとも一部を描出した画像の特性は、画像上に表示されてよい、というのが
図1の実施形態の特徴である。その表示される画像とは、例えば、レンダリング処理を使用して予め収集されたCTデータから生成された、患者またはその他被検体の身体の少なくとも一部の3次元レンダリング画像である。レンダリング処理の一部として、針が移動するとレンダリング画像の少なくとも一部の見た目が変化するように、仮想光源は、生検針の少なくとも一部と関連付けられる可能性がある。例えば、仮想光源の位置および/または輝度は、針が動くにつれて変化してもよい。
【0055】
CTデータから生成された、3次元レンダリング画像は、例えば、生検針の挿入中または生検針を抜いている間に、リアルタイムで超音波スキャナ14から収集された、超音波データから生成されたリアルタイム画像を補足するのに、使用されることができる。例えば、実施形態の中には、CTデータから生成された画像は、表示機器50または異なる、例えば近接する、表示スクリーンに、超音波画像の隣に/と同時に表示されてよく、一つ以上の関心特徴に関連する生検針の位置を画像から決定する際に、ユーザを支援することができる。
【0056】
生検針挿入手術間の
図1のシステムの操作は、
図2のフローチャートに概要が描かれている。
【0057】
生検針挿入手術は、
図3に概略的に描かれており、
図3は、生検針200が生検を実行したい一つ以上の点を含む可能性のある関心領域204へと、患者またはその他の被検体の肉体202を通して挿入されているところを示している。
【0058】
処理の第一ステージ100で、医用画像処理装置12は、患者またはその他の被検体を描出したCT撮像データを、内部記憶部20または遠隔データストアから検索する。本実施形態において、CTデータは、スキャンボリュームにおける対応する位置で、CTスキャンによって決定されたX線吸収の程度を表すそれぞれボクセルの輝度値と共に、ボクセルのセットを具備している3次元CTデータを具備する。本願実施形態におけるCT撮像データとは、以前のスキャンから予め収集されてきたCTデータのことである。その他の実施形態において、医用画像処理装置12は、任意の適切な3次元医用撮像データセットを検索する。
【0059】
処理の次のステージ102で、位置決定部24は、生検針200の位置を描出する位置検出器21から位置データを収集し、その位置データから生検針200の現在位置を決定する。
【0060】
次ステージ104で、医用画像処理装置12は、患者またはその他の被検体に超音波スキャナ14を使用して実行されている超音波計測を描出する超音波スキャナ14から、リアルタイム超音波データを収集する。その他実施形態において、ステージ100から104までは、同時にまたは任意の順序で実行されてよい。実施形態には、位置検出器21からよりもリアルタイム超音波データから位置データが収集されるものもある。
【0061】
CTスキャナまたはCTデータのそれぞれ、超音波スキャナ14または超音波データ、そして位置検出器21または位置データは、それら独自の座標系を有する場合があるので、一つ以上の超音波データ、CTデータまたは位置データを、一つ以上の超音波データ、CTデータまたは位置データと組み合わせて使用するという試みは、ミスアライメントという結果に繋がる可能性がある。従って述べられた実施形態において、CTデータ、超音波データおよび/または位置データが共通の座標系でアライメントされていることを確かなものにするために、アライメント手順は実行される。
【0062】
アライメント手順は、レジストレーション処理部26によって実行されて、先行レジストレーション手順または先行キャリブレーション手順に基づいていてよい。任意の適切なレジストレーション手順またはキャリブレーション手順が使用され得る。例えば、最初の超音波データセットは、超音波スキャナ14から収集されてよく、そして任意の適切な公知のレジストレーション手順(例えば、任意の適切な公知の、リジッド、アフィン変換またはノンリジッドレジストレーション手順)が、超音波データセットをCTデータにレジストレーションするために、使用されてよく、その結果、超音波データまたはCTデータの座標系システムをアライメントするために使用されてもよい、並進または座標オフセットのセットを収集することになる。レジストレーション手順は、例えば解剖学的特性のそれぞれデータセットおよび/または位置における輝度値に基づいていてもよい。
【0063】
同様に、例えば生検針200が患者またはその他の被検体に関連する所定位置(例えば、被検体に触れてはいるが刺してはいないなど)にある場合に、または患者天板または超音波スキャナ14に対して所定位置にある場合に、最初の位置データは、位置検出器21から収集することが出来る。最初の位置データは、位置検出器21の座標系、または位置データを、一つ以上のCTスキャナまたはCTデータ、超音波スキャナ14または超音波データとアライメントするために使用され得る、並進または座標オフセットのセットを決定するためのレジストレーション処理部26によって使用されてよい。
【0064】
本実施形態において、並進または座標オフセットのセットは、上述の通り先行レジストレーションまたはキャリブレーション手順で収集される。本実施形態のステージ106において、医用画像処理装置12(例えば、レジストレーション処理部26)は、ステージ100で検索されたCTデータ撮像データ、ステージ102で収集された位置データ、ステージ104で取得された超音波データ、をアライメントするために、先行レジストレーションまたはキャリブレーション手順において収集された並進または座標オフセットのセットを使用する。
【0065】
実施形態において、並進または座標オフセットのセットは、CTデータ、超音波データ、または位置データをアライメントするために、データ処理部22によって(例えば、レジストレーション処理部26によって)、使用されてよく、CTデータ、超音波データおよび/または位置データとをアライメントするために、それぞれ時間的に新しい(each time new)CTデータ、超音波データが収集される(つまり、それぞれステージ100、102、または104の逐次に対して)。代わりの実施形態において、並進または座標オフセットのセットは、一つ以上のCTスキャナ、内部記憶部20、超音波スキャナ14、または位置検出器21に提供される可能性があり、アライメントは、データが医用画像処理装置12に提供される前に実施されてよい。さらなる実施形態において、CTデータ、超音波データ、そして位置データのそれぞれは、同じ座標系で生成されており、アライメントを必要としない。
【0066】
ステージ106のアライメント後、CTデータは、患者またはその他被検体の少なくとも一部画像をレンダリングするためのレンダリング処理において、画像生成部28によって使用される。仮想光源がレンダリング処理において使用されることは、
図1の実施形態の特徴である。このようにして、ステージ108で仮想光源の位置が決定される。生検針200の少なくとも一部の決定された位置に基づき(ステージ102で収集された位置データから位置決定部24によって決定されたように)、ステージ108で仮想光源の位置が決定されることは、
図1の実施形態の更なる特徴である。
【0067】
なお、ステージ108で仮想光源の位置決定は、上述した位置検出器21を用いた手法に限定されず、種々の手法を採用することが可能である。例えば、所定の断面に対応する2次元CT画像或いは2次元超音波画像を表示し、当該画像上において、入力装置18を介してユーザがマニュアル操作により仮想光源位置(ターゲットの位置)を入力するようにしてもよい。
【0068】
また、三次元画像を用いたマニュアル操作による仮想光源位置の入力も可能である。例えば、PET-CTによって取得された三次元画像(すなわち、PET画像とCT画像の三次元合成画像)に対して、入力装置18を介してユーザがマニュアル操作により仮想光源位置(ターゲットの位置)を入力する。位置決定部24は、入力された位置(少なくとも一点)から深さ方向に進み、初めてPET画像に到達した座標を基準とすることで、仮想光源位置を決定することができる。
【0069】
さらに、位置決定部24は、閾値処理やパターンマッチング等の手法により、仮想光源位置を自動的に決定するようにしてもよい。
【0070】
以上の様にして、
図1の実施形態において、仮想光源は、生検針200の先端位置に対応する位置であるように決定される。本実施形態において、仮想光源は一点の光源である。
【0071】
次ステージ110で、画像生成部28は、CTデータを処理して、仮想光源を使用することで、画像をレンダリングして表示する。本開示における仮想光源の位置は、生検針200の先端位置に対応しているように、ステージ108で決定される。任意の適切なレンダリング方法が使われてよく、例えば、グローバルイルミネーション(global illumination)および/またはトランスイルミネーション(transillumination)および/または光子マッピングおよび/またはレイ追跡方法および/またはその他レンダリング方法があり、また例えば米国出願2014/0232719、米国出願2015/0022523、または米国出願2015/0164475に述べられているような任意の方法があるが、それぞれの内容は、ここに番号を付すことで組み込まれるものとする。レンダリング方法は、例えば、Jonsson共著、相互ボリュームレンダリングのためのボリューメトリック照明技術検査(A Survey of Volumetric Illumination Techniques for Interactive Volume Rendering)、コンピュータグラフィックスフォーラム、第33巻、1号、2014年2月に述べられているレンダリング方法の一つが使われてよい。
【0072】
本実施形態において、画像生成部28によって実行されるレンダリング処理は、CTデータのボリュームの少なくとも一部に対応するボリューム中に、複数の仮想光源のそれぞれから仮想ライトをキャスティングすることで、放射照度ボリュームを決定することを具備する。仮想ライトがキャストされるボリュームは、関心領域を含む。
【0073】
仮想光源のうちの一つは、ステージ108で定義された仮想光源であり、生検針200の先端に位置する。少なくとも一つの更なる仮想光源が、周囲照明を提供するために使用される。その他の実施形態で、仮想光源の任意の数または任意のタイプが使用されてよい。
【0074】
複数の仮想光源による放射照度は、CTデータのボクセル輝度に依存し、ボクセルに割り当てられた吸収特性を使用して、ボリュームにおける点の大きなアレイ(each of a large array of points)のそれぞれで、決定される。点のアレイでの放射照度の値は、放射照度ボリュームとして格納される。
【0075】
本実施形態において、グローバルイルミネーションライティングモデルは、レンダリング処理に置いて使用される。グローバルイルミネーションライティングモデルは、光源から直接向かって来る(coming)光による直接照明と、例えば別の表面から散乱してきた光による照明などの間接照明、との両方を含んでよい。
【0076】
画像生成部28は、表示用の画像をレンダリングするために、放射照度ボリュームを使用する。レイは仮想カメラからのキャスト(例えば、レンダリング結果画像のそれぞれピクセルに対する一つのレイ)であり、それぞれレイに沿った点からの放射照度は、レンダリング最終画像のためのピクセルカラーを提供するために統合される。
【0077】
本実施形態において、レンダリング処理は、放射照度ボリュームの決定と放射照度ボリュームからの画像のレンダリングとの二段階(two-pass)処理であるが、その他の実施形態では一段階処理が使用されてもよい。仮想光源を使用する、任意の適切なレンダリング技術が使用され得る。レンダリング技術は、グローバルイルミネーションライティングモデルを使用してもしなくてもよい。レンダリング技術は、反射、屈折および/または散乱などの影響を含んでよいし、含まずともよい。
【0078】
図1の実施形態において、レンダリング処理は、ボリューメトリックレンダリング処理であり、ステージ110で表示される画像は、スクリーンまたはその他2次元表示デバイス上に表示されるにもかかわらず、3次元における特徴を表すという印象をユーザに与える可能性のある、2次元投影である。この画像は、そのため3次元画像と呼ぶことが出来る。この画像は、一つ以上のシェーディング、深さ、表面テクスチャ特徴を含み得る。
【0079】
図1の実施形態において、画像生成部28は、レンダリング画像において生検針200の少なくとも一部を描出した画像特徴を含む。本実施形態において、画像特徴は、レンダリング画像上に画像生成部28によって、オーバーレイドされたライン(オーバーレイドライン)である。任意のその他適切な画像特徴が、代わりの実施形態において使用されてよい。実施形態の中には、生検針の少なくとも一部を描出した画像特徴は、多角形幾何により特徴付けたものまたはオーバーレイドラインのものがある。
【0080】
実施形態には、針の代表的な画像特徴が画像において何も見当たらないものもある。唯一仮想光源だけが針の位置を示す。
【0081】
実施形態の中には、二枚の3次元画像が表示されるものがある(例えば、同じレンダリング画像の二枚のコピー)。3次元画像のうちの一枚は、光源の点を含み、その他 の3次元画像は、例えば多角形幾何により特徴付けたものまたはオーバーレイドラインなど、生検針の少なくとも一部を具現化した画像特性を含む。画像特性と点光源は、同一ビューでは使用されないかもしれない。
【0082】
ステージ112で、画像生成部28は、超音波データから更なる画像を生成して表示する。任意の適切な公知の画像生成処理が超音波画像を生成するために使用されてよい。例えば、任意の適切な商業用超音波画像処理ソフトウェアが使用されてよい。本実施形態において、ステージ112で超音波データから生成された画像は、2次元画像である。その他実施形態において、ステージ104で受信したデータは、任意の適切なリアルタイムデータであってよく、ステージ104で受信したデータは、任意の適当な2次元または3次元画像を収集するために、処理することが出来る。
【0083】
ステージ102から112は、超音波スキャナ14および/または位置検出器21から受信された新たなデータとして、繰り返される。例えば、超音波スキャナ14は、各秒超音波データのいくつかのセットを収集するかもしれない。ステージ112は、新たな画像を生成するために、超音波データのそれぞれ新たなセットに対して、繰り返される。位置検出器は、毎秒数回新たな位置データを返す可能性がある。ステージ110は、新たな位置データのそれぞれセットに対して、繰り返される。
【0084】
本実施形態において、直近の超音波画像は、直近のレンダリング画像に隣接して、表示機器50上に表示される。新たな位置データおよび新たな超音波データが収集されるごとに、画像は更新される。
【0085】
超音波画像は、現在画像化されている超音波面を示す。レンダリング画像は、仮想光源により指示されている生検針200の位置がある、関心領域のレンダリング3次元画像を示す。レンダリング3次元画像における仮想光源の位置は、生検針200が移動するにつれて、変化する。
【0086】
仮想光源は生検針200と関連付けられているように、生検針200が患者またはその他被検体に挿入されたり、または引き抜かれたりすることで、画像の様子は変化する。本実施形態において、仮想光源によって提供される仮想ライトの輝度や色は、変わらないままである。しかし、ステージ110の結果画像に見えるライトの量やライトの色は、生検針200の位置に依存する。
【0087】
もし生検針200の先端が肉体202の表面に近ければ、生検針200の先端での仮想光源によって提供されるライトは、レンダリング画像において非常に明るく見える。またもし生検針200の先端が肉体202へとさらに挿入されたら、仮想光源によって提供されるライトは、少し暗くなるおよび/または赤っぽく見える。さらに、組織のあるタイプには、その他の組織のタイプよりもよりライトを吸収するかもしれない。結果、画像におけるライトの明るさは、生検針200が挿入された組織のタイプに依存する可能性がある。
【0088】
レンダリング3次元画像は、2次元超音波画像を補足する。レンダリング3次元画像は、超音波画像が超音波プローブの位置とともに変化するビューを提供する一方で、生検針200の位置が変化する、関心領域の固定されたビューを提供することがある。レンダリング3次元画像は、関心の解剖的構造の全体像(overview perspective)に対して可能とする。レンダリング3次元画像は、全体的な位置および全体方向の感覚を与えることが出来る。
【0089】
レンダリング3次元画像は、超音波画像と比較された際、追加の解剖学的情報を提供することが出来る。例えば、レンダリング3次元画像は、特定の解剖学的特徴を識別するために、セグメントされる可能性がある。レンダリング3次元画像は、超音波画像よりもより高解像であるかもしれない、および/または特定の特徴(例えば、柔組織における特徴)をより良く検知するために、適応されるかもしれない。
【0090】
本実施形態において、仮想光源は、生検針200の先端で位置されていることで、生検針200と関連付けられる。その他の実施形態で、仮想光源は、任意の適当な医用デバイスの任意の適切な部分に関連して、位置付けすることも可能である。
【0091】
針先に電源を備えた光源を使用することは、グローバルイルミネーションレンダリングモデルにうまく適合する可能性がある。針先での点ライトを位置付けるためにグローバルイルミネーション照明を使用することで、過度の透明度またはオーバーレイの使用を必要とすることなく、針先が関心領域の内側に示される可能性がある。
【0092】
レンダリング画像において生検針200を表示するある方法は、3次元多角形幾何を使用することである。多角形モデルの使用は、グローバルイルミネーションアルゴリズムと適合するかもしれない。しかし、針の幾何形状は、レンダリング画像において減衰され、良く見えない可能性がある。針の幾何学的位置関係(geometry)が見えるかどうかは、照明条件にも依るのかもしれない。針先に電源を備えた光源を位置付けることは、挿入された幾何的位置関係(geometry)よりももっと見えやすい有効位置マーカとして、役目を果たす可能性がある。
【0093】
もし生検針200が多角形幾何でのみ表されたとしたら、過度の透明性が肉体202のレンダリングで使用されない限り、生検針200が肉体202へと挿入されると、目立たなくなる可能性がある。肉体202をレンダリングするための高い透明性を使用することは、ユーザに対して表示されることが可能な有益な情報量を制限するかもしれないし、および/またはユーザが肉体202における解剖学的構造の描出を理解することをより困難なものにしてしまうかもしれない。
【0094】
レンダリング画像において生検針200を表示する別の方法として、レンダリング画像上にオーバーレイによるものがある。仮に生検針200が画像上にオーバーレイでのみ表されたら、肉体202への生検針200の挿入の深さは、ユーザにとって不明確になる可能性がある。オーバーレイは、3次元方法におけるボリュームと相互に作用しない可能性があり、またGI(グローバルイルミネーション、Global Illumination)ビューも物理的でないことから、GIを妨げる可能性もある。
【0095】
実施形態の中には、生検針200も多角形幾何またはオーバーレイによって描出されていることなく、針先が仮想光源によって描出されるものがある。その他の実施形態では、仮想光源が、多角形幾何またはオーバーレイを使用する生検針200の描出を補足するために使用される。
【0096】
本実施形態において、電源を備えた照明の針先点は、ビーコンのような役割を果たすと考えられてよい。生検針200の描出は、生検針自体のライティングを提供し、それにより生検針の視覚性に対するその他の照明条件に依存しないかもしれない。仮想光源を使用する生検針200の描出は、3次元の方法でボリュームと相互に作用する。
【0097】
生検針200の先端にある仮想ライトの位置付けは、レンダリング3次元画像における生検針200の先の位置により、直観的な方法で観察し把握出来るようになるだろう。画像の2次元における針先の位置は、画像におけるライトの位置で示される。画像におけるライトの明るさおよび/または色は、針先の深さ(つまり、スクリーン中へ向けられた次元に沿った針先の位置)および/またはライトが通っている組織中のタイプと、対応するかもしれない。
【0098】
概念実証は、動脈瘤内に位置された仮想ライトで準備されてきた。動脈瘤において異なる位置にあるライト位置は、はっきりと区別がつくと思われる。もしライトが動脈瘤の背後に位置していれば、ライトが動脈瘤の内側に位置している画像とは、ライトの明るさや性質が異なる。この場合、ライトは有効位置インジケータとしての役割を果たす。
【0099】
図1の実施形態において、針先の仮想光源により発せられる仮想ライトの明るさは、一定のままである(結果画像における明るさは、例えば深さなど位置によって、一見すると異なるが)。更なる実施形態において、針先での仮想光源により発せられる仮想ライトの色/輝度は、有益なボリューメトリック特性を示すように調節される。
【0100】
図4は、針先での仮想光源により発せられる仮想ライトの色が、生検針200周辺の超音波弾性計測の小さな領域に基づいている実施形態を例示している。生検針200は、肉体202と関心領域204とに挿入される。超音波プローブ206は、関心の領域204を含む超音波撮像領域208のための超音波データを収集する。
【0101】
弾性計測は、関心領域における点に対し収集される。弾性計測は、任意の適切な方法および任意の適切なモダリティを使用して、収集されてよい。例えば、弾性計測は、超音波プローブ206を使用して収集された超音波データから、収集されてもよい。弾性計測は、例えば生検針200が肉体に挿入される前など、挿入手術が実行される前に収集されてもよい。弾性計測は、CTデータとアライメントされる。
【0102】
関心領域における点のセット(例えば、ピクセルまたはボクセル)のそれぞれに対して、画像生成部28は、点周辺の小さな領域における弾性計測に基づいて、弾性値を決定する。画像生成部28は、それぞれ弾性値を色と関連付ける。例えば、高い弾性値は赤、低い弾性値は青、と関連付けられていてよい。画像生成部28は、その結果、色が弾性を表す関心領域に対するカラーマップを決定する。
【0103】
図4のインセット領域210は、関心領域204の一部に対するカラーマップのグレースケールの描出を具備する。異なるグレースケール値が、弾性の異なる値を描出する。
【0104】
画像生成部28は、カラーマップと生検針200の先端位置とを使用して、生検針200の先端によって発せられる仮想ライトの色を決定する。針先により発せられる仮想ライトの色は、針先の位置に対するカラーマップにおける色に対応する。例えば、
図4に示された針先位置は、カラーマップの赤い部分と一致する。赤い仮想ライトは、従って針先がこの赤い部分位置にある場合、針先にある仮想光源によって発せられる。仮に、針先がカラーマップの青い部分へと移動したら、針先の仮想光源より青い光が発せられる。
【0105】
実際に、表示された画像は、
図4のインセット領域として示されるカラーマップを表示しない。代わりに、針先の仮想光源によって発せられる仮想ライトは、生検針200が移動するにつれて変化し、仮想光源の色は、カラーマップに関連して針先の位置に依存している(そして色自体は、弾性計測に基づいている)。
【0106】
弾性計測に基づいて仮想光源の色を変化させることで、生検針200の先端が関心領域の弾性が高い部分なのか、または低い部分なのかどうか、ユーザにとって直観的なビューで示されるかもしれない。
【0107】
図5は、針先と関連付けられた仮想光源により発せられた仮想ライトの色が、針先周辺の計測されたPET FDG(フルデオキシグルコース(18F))摂取に基づく、実施形態の概略図である。生検針200は、肉体202と関心領域204とに挿入される。
【0108】
FDG摂取値は、関心領域における点に対して収集される。
図5の実施形態において、FDG摂取は、先行するPET/CTから決定され、レンダリング3次元画像をレンダリングするために使用される3次元医用撮像データを提供するためにも使われる。その他の実施形態において、FDG摂取は、任意の適切なデータセットから決定されてよく、そのデータセットとは、3次元画像のレンダリングにおいて使用されたデータセットと同じでもよいし、違っていてもよい。更なる実施形態において、FDG以外のマーカが使用されてよい。ライトは、例えばPETなど、線源としての核医学薬剤からの任意の適切な値に基づいて、調節され得る。
【0109】
関心領域における点のセット(例えば、ピクセルまたはボクセル)のそれぞれに対して、画像生成部28は、あの点に対するFDG摂取値を決定する。画像生成部28は、それぞれFDG摂取値を色と関連付ける。画像生成部28は、それによって、色がFDG摂取を表す、関心領域に対するカラーマップを決定する。
【0110】
図5におけるグレースケールシェーディング212は、FDG摂取が赤(高摂取)から青(低摂取)まで色によって表されたカラーマップの描出である。画像生成部28は、カラーマップ212と生検針200の先端位置とを使用して、生検針200の先端で発せされた仮想ライトの色を決定する。針先により発せされた仮想ライトの色は、針先の位置に対するカラーマップ212における色と対応する。
【0111】
図5において、針先は、カラーマップ212の緑のエリアと合致する。従って、針先の仮想光源から発せられた仮想ライトは、緑ということになる。もし、針先がカラーマップの青い領域へと移動したら、針先の仮想光源により発せられた仮想ライトは、青になる。針先での仮想ライトの色は、カラーマップでの位置に伴って、変化する(そして、それにより計測されたFDG摂取にも伴って変化する)。ユーザは、生検針200の先端が低摂取領域にあるのか高摂取領域にあるのかを、ライトの色から判断できる。
【0112】
その他の実施形態において、針先での仮想光源により発せられたライトの色は、針先で、または針先周辺の、組織に対する任意の適切な計測の値に依存する可能性がある。実施形態には、ライトの色が、例えばPETまたはSPECT撮像のために使用される任意の適切なトレーサなど、任意の適切なトレーサの摂取に依存するものがある。ライトの色は、任意の適切な放射性核種の摂取に依存してもよい。実施形態の中には、ライトの色がテクニチューム-99mに依存するものもある。ライトの色は、超音波またはMRエレクトログラフィ(例えば、電気的活性に対する値)、計算圧力、CFD(コンピュータ流体力学)シミュレーション、またはCTパフュージョン値から収集される値に依存していてもよい。
【0113】
仮想光源の色の決定には、カラーマップ、伝達関数、または任意のその他適切な関数を使用してよく、またはカラーマップまたは伝達関数を使用しない計測値に直接基づいていてもよい。
【0114】
更なる実施形態において、仮想光源の任意の適切なパラメータが、任意の適切な計測の値に依存していてよい。例えば、ライトの輝度、色、方向または位置は、計測値(例えば、トレーサ摂取に対する値、弾性、粘性、圧力または流速、またはパフュージョン)に依存してよい。仮想光源によって生み出される光線または光円錐の、方向および/またはサイズは、計測値に依存するかもしれない。実施形態の中には、仮想光源はパルス状の光を生み出し、パルス状の光のパルス継続時間および/またはパルス周波数は、計測値に基づいているものがある。
【0115】
実施形態には、CTデータ(または画像がレンダリングされる元のその他3次元データ)は、レンダリングの前にセグメントされる。異なる解剖学的特徴は、CTデータにおいて異なるセグメントされた領域によって、表すことが出来る。仮想光源のパラメータ(例えば、色または輝度)は、針先が特定のセグメントされた領域の内側にあるかどうかによって、調節される。
【0116】
一実施形態において、異なる解剖学的構造を描出したセグメントされた領域は、異なる色と関連付けられる。ユーザは、仮想光源の色における変化を観察することで、針先が特定のセグメントされた領域へと入ってきたことが見ることが出来る。
【0117】
その他の実施形態において、生検針200は、肝腫瘍付近の組織へと挿入される。レンダリング画像において、生検針200の先端は、点ライトのように見える。針200が腫瘍に入ったら、ライトの輝度が上がる。ライトの輝度を観察することで、ユーザは、針200が腫瘍に入ったということを目撃することが出来る。
【0118】
図4および
図5の実施形態において、仮想光源の性質は、針先位置での計測に左右される。その他の実施形態において、仮想光源の性質は、針先が例えばセグメントされた領域など、特定の領域にあるかどうかによる。またその他の実施形態において、仮想光源の性質は、所望の位置に関連する針先の位置に左右される。
【0119】
所望の位置は、所望の収集点でもよい。所望の収集点とは、生検針200を使用する、サンプルを収集するように意図された点であってよい。所望の位置は、以前の収集点に関連して、決められてもよい。例えば、所望の位置とは、以前の収集点または複数点から所定の距離での位置でよい。所望の位置は、計測の位置に関連して決めることが出来る。また所望の位置は、基準点に関連して決められることがある。さらに所望の位置は、画像において、または更なる画像において、点または特徴に関連して決められることもある。
【0120】
図6は、関心領域204における所望の収集点214の四点が特定されてきたことを示す。実施形態には、所望の収集点214は、レンダリング3次元画像を使用して、特定されるものがある。その他の実施形態において、所望の収集点214は、任意の最適な方法によって特定されてよい。
【0121】
図6は、所望の収集点214のうちの一点(針先に最も近い点)から、生検針200の先端までの距離216を示している。
図6の実施形態において、針先での仮想光源からのライトの輝度は、針先から最も近い所望の収集点214への距離216に依存している。針先が、最も近い所望の収集点214に近づいていくほど(つまり、距離216が縮まるほど)、仮想光源はより明るくなる。その他の実施形態で、仮想光源の任意の適切な特性が、距離216に応じて変化してよい。例えば、仮想光源からの光の色、方向、パルス継続時間、またはパルス繰り返し数は、針先が最も近い所望の収集点214へ近づくにつれ、変化してよい。実施形態の中には、異なる所望の収集点214が、ライトの異なる色と関連付けられるものがある。
【0122】
図6の実施形態において、ライトの輝度は、針先から所望の収集点214までの距離に依存する。その他の実施形態において、ライトの性質は、以前に生検が行われてきた位置(以前の収集点)に、針先が近いかどうかに依存する。ライトの適切な特性は、以前の収集点214への距離に依存するおよび/または予め用意された収集点214への距離に基づいていてもよい。
【0123】
実施形態には、ライトの特性は解剖学的距離からの距離に基づくものがある。例えば、ライトの特性は、腫瘍を表す領域としてなど、セグメントされた領域からの距離に基づいてよい。ライトの特性は、解剖学的目印からの距離に基づいてもよい。
【0124】
実施形態には、ライトの特性は、例えば更なる針からの距離など、更なるデバイスからの距離に基づくものがある。一実施形態では、凍結切除のために複数の針が患者に挿入される。個別の仮想光源は、複数の針のそれぞれと関連付けられている。それぞれ仮想光源の色および/または輝度は、針と近接する針との間の間隔に基づいている。
【0125】
実施形態には、ライトの特性は、更なる画像と関連付けられた位置からの距離に基づくものがある。例えば、実施形態の中には、基準位置が更なる画像から決定されるものがある。ライトの特性は、針先と基準位置との間の距離に基づく。更なる画像とは、ステージ112で生成された超音波画像でもよいし、または異なる画像でもよい。実施形態には、基準面は更なる画像から決定され、ライトの特性は針先と基準面との間の距離に基づいているものがある。
【0126】
図7は、針先の仮想光源の色および/または輝度は、超音波スキャナ14によって収集された超音波画像に対応している、ライブ2次元超音波面から針先のオフセットに依存する、更なる実施形態を描いている。
図7において、生検針200の先端は、距離220でのライブ2次元超音波面218からオフセットである。従って、現在の超音波ビューは(
図2のステージ112で生成された超音波画像上に示されるように)、針200と一直線になっていない(is out of alignment with)。
図7の実施形態において、針200がライブ2次元超音波面と一直線になったら、仮想光源の輝度は、より明るくなる。その他の実施形態では、仮想光源の任意の適切なパラメータは、ライブ超音波面からの距離に基づく(その距離は、不均衡計測と表現されるかもしれない)。
【0127】
図1から
図7までを参考に今まで述べられた実施形態において、位置データは針200の位置を描出したものであり、仮想光源は針200の先端に位置する。その他の実施形態において、仮想光源は針200の任意の部分に対して位置してよい。実施形態には、分布した仮想光源または複数の光源は、針200の長さに沿って位置している。従って、ユーザは単に先端だけよりも、光を生み出している針全体200を見る。実施形態には、針200に沿ったその他の点よりも、針200の先端の方が、ずっと多い量の仮想ライトの光を生み出すものがある。
【0128】
図1から
図7の実施形態において、針の先端に位置した仮想光源は、点光源である。その他の実施形態では、仮想光源は指向性を有する光源である。その他実施形態において、針先の仮想光源は、最も近い所望の収集点に向かって、光線または光の円錐を発する。光線または光の円錐は、針が動こうとする方向のインジケータとしての役割を果たす。その他の実施形態において、光線または光の円錐は、針200の軸と一直線に並んでよい。光線または光の円錐は、針200の移動の方向と一直線に並んでもよい。
【0129】
図1から
図7の実施形態において、位置検出器21によって取得された位置データは、生検針200の位置を描出したデータであり、仮想光源は生検針200と関連付けられている。その他の実施形態において、位置データは、人体または動物体中へ挿入された任意の医用デバイスの位置を描出する可能性がある。仮想光源は、医用デバイスの任意の適切な部分に関連付けられているかもしれない。仮想光源は、医用デバイスの先端に位置するかもしれない。仮想光源は、医用デバイスの長さの少なくとも一部に沿って分布していても良い。
【0130】
画像生成部28は、医用デバイスの任意の部分の位置に従って、仮想光源の任意のパラメータを変えるように構成されていて良い。
【0131】
仮想光源は、医用デバイス処理を実行するように構成された、医用デバイスの一部に関連付けられている可能性がある。医用デバイス処理は、例えば生検サンプルの取得や切除の実行を具備する可能性がある。医用デバイス処理は、画像の取得を具備するかもしれない。医用デバイスの一部とは、医用デバイス処理を実行するように構成されており、例えばカメラ、ポイント、ブレードまたはアンテナなどを具備してよい。医用デバイスは、一つ以上の医用デバイス処理(例えば、一つ以上の生検)を具備する、挿入手術(例えば、生検針挿入手術)の実行のために、挿入されるかもしれない。それぞれ医用デバイス処理は、個別の位置で実行されてよい。
【0132】
その医用デバイスとは、例えば針、ステント、身体部分の置換、人口装具、計測デバイス、外科装置、バルブ、心臓弁、撮像デバイス、内視鏡デバイス、カテーテル、インプラント、または電子デバイス、などの可能性がある。電子デバイスとは、例えば内視鏡や超音波プローブがあるかもしれない。挿入手術とは、例えば生検針挿入手術、内視鏡検査、カテーテル法、インプラント挿入手術を具備する可能性がある。仮想光源は、点光源または分布した光源であってよい。
【0133】
実施形態には、医用デバイスが内視鏡というものがある。仮想光源は、例えば内視鏡の先端など、内視鏡の点と関連付けられている可能性がある。仮想光源は、内視鏡の観察点に位置するかもしれない。仮想光源の特性が内視鏡の観察点の位置に依存する画像は、レンダリングされるかもしれない。
【0134】
実施形態には、医用デバイスがカテーテルであり、仮想光源がカテーテルの先端と関連付けられているものがある。実施形態の中には、医用デバイスはインプラントであり、仮想光源はインプラント上の点、例えばコーナーや中心点、基準点、付着点などの点に関連付けられているものもある。
【0135】
一実施形態において、医用デバイスは経食道心エコー図(TOEまたはTEE)を実行するように構成された超音波プローブである。仮想光源は、超音波プローブと関連付けられている。
【0136】
実施形態では、仮想光源の任意のパラメータは、手術の進捗に依存して変化してよい。例えば、仮想光源の任意のパラメータは、挿入手術の進捗によって変化してよい。仮想光源のパラメータは、挿入手術の継続時間によって変化してもよい。例えば、仮想光源の色/輝度は、時間と共に変化する可能性がある。仮想光源のパラメータは、例えば、実行されてきた医用デバイス処理の数など、達成されてきたことよりも、挿入手術のステージに依存して、変化するかもしれない。例えば、仮想光源の色は、収集されてきた所望のサンプルの割合によって、変化する可能性がある。仮想光源のパラメータは、挿入手術の完成度のレベルに応じて、変化してよい。
【0137】
上記で述べた実施形態において、仮想光源の一つ以上のパラメータが変化される。その他の実施形態において、画像生成部28は、仮想光源に関する少なくとも一つのパラメータを変えるように構成されており、仮想光源自体のパラメータであってもよいし、そうでなくてもよい。例えば画像生成部28は、例えば解剖学的特徴を描出した画像の一部など画像の任意の部分の、または画像の全体の、色またはその他特性を変化させる可能性がある。画像生成部28は、画像生成処理の任意のパラメータを変化させるように構成されていてよい。
【0138】
実施形態には、医用デバイス上に位置しない、仮想光源が使用され得るものがある。例えば、仮想光源は、所望の収集点など、所望の位置にあるかもしれない。所望の位置での仮想光源のパラメータは、所望の位置から医用デバイスの距離に依存して、変化する可能性がある。例えば、所望の位置での仮想光源は、医用デバイスが所望の位置に近づくにつれ、色および/または輝度において変わる可能性がある。実施形態の中には、医用デバイス上に位置しない仮想光源のパラメータは、挿入手術の進捗に依存して、変化されてもよいものがある。例えば、医用デバイス処理が順調に実行されてきたら、画像の色は変化してもよい。
【0139】
実施形態の中には、医用デバイス上に位置した仮想光源を使用することで、医用デバイス上に位置しない仮想光源の画像よりも、画像の解釈が更に容易になることを提供し得るものがある。例えば、針のように小さな物体が、点光源に関しどのように移動するのかを観察するのが比較的難しい一方で、点光源がその周辺に関しどのように移動するか、が容易に見て取れるかもしれない。
【0140】
実施形態には、レンダリング3次元画像は、仮想内視鏡画像であり、仮想光源は、仮想内視鏡画像の観察点で、または観察点に対して、位置するものがある。また実施形態の中には、仮想内視鏡画像がレンダリング3次元画像に追加でレンダリングされるものもある。
内視鏡画像は、内視鏡検査の間に内視鏡の上に位置したカメラによって導出されるかもしれない画像をシミュレートするように、例えば内視鏡のビューの点から生成された仮想ビューを具備するかもしれない。代わりに、または追加で、画像は内視鏡自体の描出を具備するかもしれない。
【0141】
実施形態には、仮想内視鏡画像の観察点の位置(例えば、ビューワが画像を観察しているように見える所からの位置)は、内視鏡の先端位置と対応し得るものがある。実施形態の中には、画像生成部28は、仮想光源(例えば、少なくとも一つの色または輝度)に関する少なくとも一つのパラメータを、仮想内視鏡画像の観察点の位置に依存して変化させるように構成されている。例えば、仮想光源の色または輝度は、観察点が関心のある点または領域に近づくにつれて、変化するかもしれない。
実施形態には、医用画像処理装置12は、3次元医用画像データの処理において、ユーザ入力を受信して、ユーザ入力を使用するように構成されているものがある。実施形態の中には、画像生成部28は、ユーザ入力を受信して、ユーザ入力に基づいて医用デバイスに関する仮想光源を配置するように構成されたものがある。例えば、ユーザが画像生成部28に仮想光源を、医用装置の先端上に、または医用デバイスの任意の適切な位置に、配置するように指示してもよい。ユーザは、仮想光源のパラメータを選択してよい。ユーザは、医用デバイスの位置に依存して、仮想光源のパラメータが変わるように選択してもよい。例えば、医用デバイスが所望の位置に近づくにつれて、仮想光源の色および/または輝度が変化するのを、ユーザが望むかどうか選択するかもしれない。
【0142】
ユーザは、画像に表示されるのが、関心領域および/または解剖学的特徴かを選択してよい。ユーザは、医用デバイスの描出を選択し得る。例えば、ユーザは、一つ以上のオーバーレイ、多角形幾何、そして仮想光源を使用して、医用デバイスを表すかどうかを選択する可能性がある。ユーザは、任意の可能性のある描出をする、しないの切り替えをしてよい。
【0143】
特定の実施形態は、医用撮像デバイス、追跡された生検針と表示装置とを具備する医用撮像装置を提供し得る。即ちその中で、光源は、点ライトとして先行スキャンにおける針先位置を視覚化するために使用される。
【0144】
ライトの色および/または輝度は、超音波エラストグラフィを使用する針周辺の弾性の計測に基づいて、調節される可能性がある。ライトの色および/または輝度は、例えばPETなど核医学源からの値を基に、調節される可能性がある。ライドの色および/または輝度は、既に集められてきた生検サンプルからの針の点への距離に基づいて、調節されてもよい。またライトの色および/または輝度は、針の予め計画された生検点への距離に基づいて調節されてもよい。さらにライトの色/および輝度は、針のライブ超音波面上の高さに基づいて調節されてもよいだろう。
【0145】
光線または光の円錐は、どの方向に針が移動するかのインジケータとして、最も近い点に向かうキャストであってもよい。
【0146】
針について多くの実施形態が述べられてきたが、任意の医用デバイスが使用されてよい。医用デバイスは、任意の人体または動物体の、任意の部分へと挿入されてよい。仮想光源は、任意の医用デバイスの、任意の適切な位置に、または位置に対して、位置してよい。仮想光源は、医用デバイスが人体または動物検体の被検体へと挿入されたら、その人体または動物検体の被検体の少なくとも一部分の3次元画像における医用デバイスの位置を示すことが出来る。医用デバイスは、任意の適切な医用手術または獣医手術において、使用されてよい。
【0147】
上記実施形態においては、穿刺針を用いた生検を例として説明した。しかしながら、当該例に拘泥されず、本実施形態は、穿刺針を用いた焼灼治療においても適用可能である。例えば、焼灼治療の事前のシミュレーション時において、ステップ108において焼灼予定範囲(ターゲット)内に仮想光源を設定し、ステップ110において、当該仮想光源によって焼灼予定範囲が照らし出されるように、焼灼予定範囲に存在するボクセルの輝度値を仮想光源からの距離に基づいて決定することで実現できる。また、例えば焼灼治療時のモニタリングにおいては、ステップ108において被検体内の電極の位置を仮想光源として設定し、ステップ110において、当該電極の位置から焼灼可能範囲が照らし出されるように、焼灼可能範囲に存在するボクセルの輝度値を仮想光源からの距離に基づいて決定することで実現できる。
【0148】
本明細書では特定の回路が説明されたが、代替的な実施形態においては、これらの回路の一つ以上の機能性が単一の処理リソースまたはその他構成要素によって提供されることも可能であり、あるいは単一の回路によって提供される機能性が二つ以上の処理リソースまたはその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。
【0149】
特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変さらが本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。
【符号の説明】
【0150】
1…超音波診断装置、10…装置本体、11a…超音波送信部、11b…超音波受信部、12…医用画像処理装置、13a…Bモード処理部、13b…ドプラ処理部、14…超音波スキャナ、16…表示処理部、18…入力装置、19…画像データベース、20…内部記憶部、21…位置検出器、22…データ処理部、24…位置決定部、26…レジストレーション処理部、28…画像生成部、29…画像処理部、30…制御部、31…画像データベース、32…入力インタフェース回路、34…画像メモリ、35…通信インタフェース回路、40…外部装置、50…表示機器、70…超音波プローブ