知財求人 - 知財ポータルサイト「IP Force」
▶ ヴェラン メディカル テクノロジーズ，インコーポレイテッドの特許一覧
特開2024-96050事前に取得された画像データをリアルタイム画像ストリームの閉塞領域に合成するシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024096050
(43)【公開日】2024-07-11
(54)【発明の名称】事前に取得された画像データをリアルタイム画像ストリームの閉塞領域に合成するシステムおよび方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20240704BHJP
A61B 6/46 20240101ALI20240704BHJP
【ＦＩ】
A61B8/14
A61B6/46 536A
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023219527
(22)【出願日】2023-12-26
(31)【優先権主張番号】63/477,744
(32)【優先日】2022-12-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521234386
【氏名又は名称】ヴェラン メディカル テクノロジーズ，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】クリストファー・リー
(72)【発明者】
【氏名】マーク・ハンター
【テーマコード（参考）】
4C093
4C601
【Ｆターム（参考）】
4C093AA22
4C093FA06
4C093FF17
4C093FF35
4C601BB03
4C601EE11
4C601EE30
4C601FE01
4C601FF03
4C601FF06
4C601FF16
4C601GA20
4C601GA25
4C601JC02
4C601JC06
4C601JC11
4C601JC16
4C601JC20
4C601JC21
4C601KK02
4C601KK24
4C601KK31
4C601LL33
(57)【要約】
【課題】事前に取得された画像データをリアルタイム画像ストリームの閉塞領域に合成するシステムおよび方法
【解決手段】第2の画像の閉塞部分に対応する第1の画像の非閉塞部分を抽出し、閉塞された部分を非閉塞部分に置換する方法など、リアルタイムの合成画像を生成および表示するために、方法、システム、およびユースケースの様々な態様が使用され得る。いくつかの例では、器具のグラフィック表現が合成画像上に生成され得る。
【選択図】図１Ａ
【解決手段】第2の画像の閉塞部分に対応する第1の画像の非閉塞部分を抽出し、閉塞された部分を非閉塞部分に置換する方法など、リアルタイムの合成画像を生成および表示するために、方法、システム、およびユースケースの様々な態様が使用され得る。いくつかの例では、器具のグラフィック表現が合成画像上に生成され得る。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
超音波画像ストリームの閉塞部分をリアルタイムで置換する方法であって、
前記超音波画像ストリームを介して、患者の視野の少なくとも1つの第1の画像を受信するステップと、
前記超音波画像ストリームを介して、前記視野の複数の第2の画像を受信するステップであって、前記複数の第2の画像が、前記少なくとも1つの第1の画像に続いて受信される、ステップと、
前記視野内の前記複数の第2の画像の閉塞部分を識別するステップと、
前記閉塞部分に対応する前記少なくとも1つの第1の画像の少なくとも1つの非閉塞部分を抽出するステップと、
前記複数の第2の画像の前記閉塞部分を、前記少なくとも1つの第1の画像からの前記少なくとも1つの非閉塞部分で置換することによって、複数の合成画像を生成するステップと、
前記複数の第2の画像を受信する前記ステップの際に、実質的にリアルタイムで前記複数の合成画像を表示するステップと
を備える、方法。
前記超音波画像ストリームを介して、患者の視野の少なくとも1つの第1の画像を受信するステップと、
前記超音波画像ストリームを介して、前記視野の複数の第2の画像を受信するステップであって、前記複数の第2の画像が、前記少なくとも1つの第1の画像に続いて受信される、ステップと、
前記視野内の前記複数の第2の画像の閉塞部分を識別するステップと、
前記閉塞部分に対応する前記少なくとも1つの第1の画像の少なくとも1つの非閉塞部分を抽出するステップと、
前記複数の第2の画像の前記閉塞部分を、前記少なくとも1つの第1の画像からの前記少なくとも1つの非閉塞部分で置換することによって、複数の合成画像を生成するステップと、
前記複数の第2の画像を受信する前記ステップの際に、実質的にリアルタイムで前記複数の合成画像を表示するステップと
を備える、方法。
【請求項2】
前記複数の第2の画像の閉塞部分を識別するステップが、前記視野内の器具を検出するステップを含む、請求項1に記載の方法。
【請求項3】
前記視野内の前記器具を検出するステップが、前記視野内の知られている器具の特徴を識別するステップを備える、請求項2に記載の方法。
【請求項4】
前記視野内の前記器具を検出するステップが、前記器具によって生成された、知られている画像特徴を検出するようにトレーニングされたマシン学習モデルを適用するステップを備える、請求項3に記載の方法。
【請求項5】
前記視野内の前記器具を検出するステップが、前記器具の一部が前記視野内に伸長されたことを示すセンサまたは制御情報を前記器具から受信するステップを備える、請求項2に記載の方法。
【請求項6】
前記複数の合成画像を生成するステップが、前記閉塞部分を生じさせる前記器具のグラフィック表現を生成するステップを備え、前記グラフィック表現が、前記視野内の前記器具の伸長長さを示すために動的に変化する、請求項2に記載の方法。
【請求項7】
前記複数の合成画像を表示するステップが、前記器具があらかじめ定められた量だけ伸長されたことを示す表示を行うステップを備える、請求項6に記載の方法。
【請求項8】
前記表示が前記器具の伸長長さの数値表示である、請求項7に記載の方法。
【請求項9】
前記表示が、前記器具のあらかじめ定められた伸長長さに対応する色分けを含むグラフィック表示である、請求項7に記載の方法。
【請求項10】
前記複数の第2の画像の前記閉塞部分を識別するステップが、前記視野内の気泡を検出するステップを備える、請求項1に記載の方法。
【請求項11】
前記視野内の前記気泡を検出するステップが、気泡の超音波特徴を検出するようにトレーニングされた画像処理アルゴリズムを適用するステップを備える、請求項10に記載の方法。
【請求項12】
前記複数の第2の画像の前記閉塞部分を識別するステップが、前記複数の第2の画像からの少なくとも1つの第2の画像のピクセルデータのセットをベースライン値と比較して、ピクセルデータの前記セットのサブセットが前記ベースライン値を下回っている場合に前記閉塞部分を決定するステップを備える、請求項1に記載の方法。
【請求項13】
前記少なくとも1つの第1の画像および前記複数の第2の画像の位置および向きを追跡するステップをさらに備える、請求項1に記載の方法。
【請求項14】
前記複数の合成画像を生成するステップが、前記少なくとも1つの第1の画像の非閉塞部分を変形するステップを備える、請求項13に記載の方法。
【請求項15】
前記少なくとも1つの第1の画像の前記非閉塞部分を変形するステップが、前記複数の第2の画像と前記少なくとも1つの第1の画像との前記位置および向きの違いを考慮して補間するステップを備える、請求項14に記載の方法。
【請求項16】
患者の内部の医用画像を取得するように構成された画像センサと、
前記画像センサからの画像データおよび関連するグラフィック情報を表示するように構成されたディスプレイデバイスと、
プロセッサおよびメモリデバイスを含むコンピューティングデバイスであって、前記メモリデバイスが、前記プロセッサによって実行されると、前記コンピューティングデバイスに、請求項1から15のいずれか一項に記載の方法を実行させる命令を含む、コンピューティングデバイスと
を備える、内部医用画像化システム。
前記画像センサからの画像データおよび関連するグラフィック情報を表示するように構成されたディスプレイデバイスと、
プロセッサおよびメモリデバイスを含むコンピューティングデバイスであって、前記メモリデバイスが、前記プロセッサによって実行されると、前記コンピューティングデバイスに、請求項1から15のいずれか一項に記載の方法を実行させる命令を含む、コンピューティングデバイスと
を備える、内部医用画像化システム。
【請求項17】
超音波画像ストリームの閉塞部分をリアルタイムで置換する方法であって、
CTスキャンから患者の視野の少なくとも1つの以前に取得された画像を受信するステップと、
前記超音波画像ストリームを介して、前記視野の少なくとも一部を含むライブ画像を受信するステップであって、前記ライブ画像が、前記少なくとも1つの以前に取得された画像に続いて受信される、ステップと、
前記視野内の前記ライブ画像の閉塞部分を識別するステップと、
前記閉塞部分に対応する前記少なくとも1つの以前に取得された画像の少なくとも1つの非閉塞部分を抽出するステップと、
拡張されたライブ画像を生成するために、前記ライブ画像の前記閉塞部分を、前記少なくとも1つの以前に取得された画像からの前記非閉塞部分とオーバーレイすることによって前記ライブ画像を更新するステップと、
前記拡張されたライブ画像を表示するステップと
を備える、方法。
CTスキャンから患者の視野の少なくとも1つの以前に取得された画像を受信するステップと、
前記超音波画像ストリームを介して、前記視野の少なくとも一部を含むライブ画像を受信するステップであって、前記ライブ画像が、前記少なくとも1つの以前に取得された画像に続いて受信される、ステップと、
前記視野内の前記ライブ画像の閉塞部分を識別するステップと、
前記閉塞部分に対応する前記少なくとも1つの以前に取得された画像の少なくとも1つの非閉塞部分を抽出するステップと、
拡張されたライブ画像を生成するために、前記ライブ画像の前記閉塞部分を、前記少なくとも1つの以前に取得された画像からの前記非閉塞部分とオーバーレイすることによって前記ライブ画像を更新するステップと、
前記拡張されたライブ画像を表示するステップと
を備える、方法。
【発明の詳細な説明】
【背景技術】
【0001】
医療処置の前または最中に、患者の体の一部を観察するために画像化が使用され得る。たとえば、画像化は、患者の内臓、組織、および他の解剖学的構造を観察するために使用され得る。画像化技法およびデバイスは、たとえば、超音波画像化またはコンピュータ断層撮影(CT)画像化を含み得る。超音波画像化は、患者の体内の画像を生成するために高周波音波を使用する。CT画像化では、患者の体内の断面画像を生成するために体の周囲の複数の角度から撮影された一連のX線画像を組み合わせる。
【0002】
そのような画像化技法は、気道壁のすぐ外側に存在し得、CT画像上で識別され得る孤立性肺結節(SPN)を有する患者に使用され得る。多くの場合、CT画像セットにおいてSPNを識別すると、呼吸器科医は病理用の組織サンプルを取得するために生検を実行する。これは、ほとんどのSPNは良性であるが、一部のSPNは初期段階の肺がんに相当し、未治療のまま放置すると致命的になる可能性があるためである。
【0003】
SPNを有する患者は、生検サンプルを取得するために気管支内超音波(EBUS)処置を受ける場合がある。EBUS処置は、肺の屈折、病気、がんなどの様々な肺の問題を診断するために使用され得る。EBUS処置中、針がSPNに入りサンプリングしていることを確認するために臨床医がリアルタイムの超音波画像を見ながら、組織または体液サンプルを採取するために針が使用され得る。呼吸周期全体にわたる肺の動的な性質とSPNのサイズが小さいため、EBUSデバイスを介したリアルタイム画像化が必要になることがよくある。たとえば、SPNは直径2cm未満の場合もあれば、呼吸周期全体を通じて2cmを超えて移動する場合もある。したがって、術前のCTスキャンはSPNの存在を明らかにする可能性があるが、そのような静的スキャンはSPNの現在のリアルタイムの場所についての確認を提供しない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第10,617,324号
【発明の概要】
【課題を解決するための手段】
【0005】
本発明は、事前に取得された画像データをリアルタイム画像ストリームの閉塞領域に合成するためのシステムおよび方法を開示する。一態様では、システムは、リアルタイムの超音波データ内の閉塞部分を識別し、リアルタイムの超音波データ以外のソースからの画像データを用いて閉塞部分を埋めるか、または置換する。
【0006】
たとえば、リアルタイムストリームを強化するために、閉塞イベントの直前にキャプチャされた以前に取得された超音波画像が使用され得る。本システムは、現在の閉塞部分が遮蔽されていない数秒前にキャプチャされた1つまたは複数の超音波画像を分析することができる。次いで、一致する非閉塞超音波データを閉塞領域に合成する。これにより、臨床医は、あたかも閉塞が発生していないかのように、組織の完全な表示を観察できるようになる。
【0007】
閉塞は、生検針やアブレーションデバイスなどの器具が視野に入ることによって引き起こされることがある。また、超音波の伝達を妨げる気泡によって引き起こされることもある。本システムは、ピクセルデータを分析し、組織特性情報が欠如している領域を識別することによって、閉塞部分を検出する。また、閉塞領域を識別するために、知られている器具の特徴または気泡の特徴を使用することもできる。
【0008】
別の実施形態では、システムは、事前に取得されたCTまたは他のモダリティデータを、リアルタイムの超音波データに適合させる処理の後に、閉塞領域に合成する。たとえば、閉塞領域を表すCTデータは、ライブストリームに合成する前に、超音波データのように見えるように変換することができる。
【0009】
システムは、電磁追跡または呼吸ゲートなどの技法を使用して画像の位置および方向をさらに追跡することができる。このナビゲーションデータは、過去の画像の非閉塞部分をライブの閉塞領域と位置合わせするために役立つ。また、リアルタイムの解剖学的構造に合わせるために、合成データをワーピングおよび変形することもできる。
【0010】
開示されたシステムおよび方法により、臨床医は、通常は画像の一部を遮蔽するリアルタイムの閉塞にもかかわらず、処置中に貴重な組織情報を含む完全で豊富な画像を観察することができる。
【0011】
図面において、必ずしも縮尺どおりに描かれていないが、異なる図面において同様の数字は同様の構成要素を表す場合がある。異なる文字の接尾辞を有する同様の数字は、同様の構成要素の異なるインスタンスを表す場合がある。図面は、本明細書で議論される様々な実施形態を、限定ではなく例として一般的に示す。
【図面の簡単な説明】
【0012】
【図1A】患者の管腔内で使用するための例示的な内部医用画像化システムを示す概略図である。
【図1B】画像化システムから伸長された器具を有する、患者の管腔内で使用するための例示的な内部医用画像化システムを示す概略図である。
【図2A】合成画像を生成する方法の一例を示す図である。
【図3A】複数の画像モダリティを使用して合成画像を生成する方法の一例を示す図である。
【図4A】グラフィック表示を伴う合成画像を生成する方法の一例を示す図である。
【図5A】内部医用画像化システムからの非閉塞視野を示す概略図である。
【図6】本明細書で論じられる技法のいずれか1つまたは複数が実行され得る例示的なマシンのブロック図である。
【発明を実施するための形態】
【0013】
超音波(US)画像化は組織と器具(たとえば、生検針またはシース)の両方をリアルタイムで表示できるため、超音波画像化は生検サンプルを採取する標的領域を確実に識別するために呼吸器領域において使用される。しかしながら、器具は、超音波エネルギー源(たとえば、USトランスデューサ)に関連して、器具を越えた組織への超音波エネルギーの伝達を遮断することが多い。したがって、器具が超音波画像の視野内に存在する場合、医師が生検のために器具を標的領域に向けている間、トランスデューサに関連して器具を越えた閉塞領域には組織の特徴を示す情報が欠けている可能性がある。したがって、本発明者らは、そのような閉塞領域内の組織の豊富な画像を表示し続けることができる画像化システムが望ましいことを認識した。
【0014】
器具が超音波伝達を遮蔽し、画質に影響を与えることに加えて、本発明者らは、特定の疾患状態が超音波伝達を塞ぎ、処置中の画像化に影響を与える可能性があることを認識した。たとえば、COPD患者は肺からの空気の流れが遮蔽されている。肺が遮蔽されると、組織内に気泡が閉じ込められることがある。COPD患者の肺を画像化する場合、気泡により画像の品質が低下する。超音波デバイスを用いて画像化する場合、音波が気泡に当たり、気泡を越えた組織の画像化が妨げられる。
【0015】
これらの欠点を軽減するために、本発明者らは、リアルタイムの超音波データ内の閉塞部分を識別し、リアルタイムの超音波データ以外の何らかのソースからの画像データを用いてその閉塞部分を埋める、または閉塞部分を置換することができるシステムを開発した。たとえば、あらかじめ取得された画像データが利用され得る。以前に取得された画像データは、リアルタイムで取得されている、閉塞された、または閉塞部分を含む画像の部分を強調するために使用され得る。そのような閉塞は、気泡、画像デバイス(たとえば、超音波トランスデューサ)の視野に入る器具(たとえば、生検針またはアブレーションデバイス)、またはそれらの組合せによって引き起こされる可能性がある。
【0016】
より具体的には、本明細書で説明する概念は、リアルタイムで取得されており、(たとえば、超音波トランスデューサなどの画像デバイスの視野に入った器具によって)塞がれた画像の部分を強調するために、以前に取得された画像データを利用するように設計されたシステムである。提案された概念が有益となる例示的なシナリオは、超音波支援生検である。そのような処置中、医師は、気管支内超音波(EBUS)組織サンプリングデバイスを標的結節(たとえば、生検サンプルが必要なCTスキャンからあらかじめ識別された組織)に向かってナビゲートし得る。超音波画像内で標的結節を確実に識別すると、医師は、EBUS組織サンプリングデバイスの作業チャネルからサンプリング針を包むシースを前進させることができる。シースは、サンプリング針がランプを有する側方出口においてEBUS組織サンプリングデバイスを損傷するのを防ぐ(たとえば、気道壁を越えて標的小結節に向かってサンプリングデバイスの縦軸から離れるようにサンプリング針を偏向させる)可撓性プラスチックスリーブであり得る。
【0017】
器具(たとえば、サンプリング針および/またはシース)が側方出口から伸長すると、器具は超音波トランスデューサの視野に入ることが理解されよう。これは、医師が生成された超音波画像内で器具をリアルタイムで視覚的に確認できるようにするための設計であり、望ましいことであるが、欠点の1つは、トランスデューサに対して器具の背後にある画像の領域を器具が塞いでしまう可能性があることである。提案された概念は、この閉塞部分を識別し、リアルタイムの超音波データ以外の何らかのソースからの画像データを用いて埋めることによって、この欠点を軽減することを目的としている。
【0018】
いくつかの実施形態では、システムは、閉塞部分を識別し、次いで、器具が閉塞部分を引き起こす直前に取得された、以前に取得された超音波画像を利用し得る。たとえば、システムは、閉塞部分がまだ塞がれていない数秒前にキャプチャされた1つまたは複数の超音波画像を分析し、閉塞部分と一致するこれらの超音波画像の一部を、実質的にリアルタイムで閉塞部分上に合成し得る。このようにして、リアルタイムの超音波画像に閉塞領域があるにもかかわらず、あたかも器具が画像を塞ぐ影響がなかったかのように、医師には依然として超音波の視野全体内の組織のグラフィック表現が表示される。
【0019】
いくつかの実施形態では、システムは、別の画像モダリティからの画像情報を、閉塞部分に合成し得る。たとえば、閉塞部分を表す以前に取得されたCTデータを処理して、超音波データのように見せ、次いでリアルタイムの超音波画像の閉塞部分に合成することができる。
【0020】
上記の説明は、本特許出願の主題の概要を提供することが意図されている。本発明の排他的または網羅的な説明を提供することを意図したものではない。以下の説明は、本特許出願に関するさらなる情報を提供するために含まれている。
【0021】
【0022】
一例では、内部医用画像化システム104は、気管支内超音波(EBUS)組織サンプリングデバイスである。一例では、内部医用画像化システム104は、組織サンプリングの前に標的結節に向かってナビゲートし、画像化するために使用される。一例では、標的結節は、生検サンプルが所望されるあらかじめ識別された組織である。一例では、超音波(US)画像化は、超音波(US)画像化が組織と器具(たとえば、針またはシース)の両方をリアルタイムで表示するため、生検サンプルを採取する標的領域を確実に識別するために呼吸器領域において使用される。
【0023】
一例では、画像センサ106は、内部医用画像化システム104の遠位端に配置される。一例では、画像センサ106は、遠位端の一部に沿って伸長する。一例では、画像センサ106は実質的に平坦である。一例では、画像センサ106は超音波トランスデューサである。一例では、画像センサ106は画像化ディスプレイに視野108を提供する。
【0024】
画像化中、視野108内の閉塞110により、視野108内に閉塞部分112が生じる。視野108は、近位境界108aから遠位境界108bまで広がる。一例では、閉塞110は、閉塞部分112を引き起こす気泡である。図1A(さらに言えば図1B)に示されるように、閉塞部分は近位境界112aから遠位境界112bまで伸長している。閉塞部分112は、画像センサ106(たとえば、USトランスデューサ)に関連して閉塞110を越えた組織への超音波エネルギーの伝達が遮断されることによって引き起こされる。たとえば、画像センサ106(たとえば、超音波トランスデューサ)から伝達された超音波は、組織と気泡との間の境界(この例では閉塞110である)に到達するまで組織を通って伝搬し得、そこでかなりの量の超音波エネルギーが画像センサ106に向かって反射され、わずかな量が画像センサ106から離れて気泡内に伝搬し続ける。閉塞部分112には、組織の特徴を示す情報が欠けている場合がある。そのような情報の欠如は、医師が内部医用画像化システム104を患者の標的領域に向ける能力に影響を与える可能性がある。したがって、以下でさらに詳細に説明するように、内部医用画像化システム104に接続されたディスプレイデバイスまたはそのコンピューティングデバイスは、以前に取得された画像とリアルタイムで収集した画像とを含む合成画像を作成するために、視野から以前に取得された画像データを使用する。コンピューティングデバイスは、閉塞部分を置換するために、閉塞部分112と位置合わせされる以前に取得された画像の一部を使用し、これにより、たとえ一部が塞がれている場合でも、臨床医には視野の完全な画像が提供される。
【0025】
【0026】
一例では、器具120は、作業チャネルを介して内部医用画像化システム104を通って前進する。一例では、器具120は、内部医用画像化システム104の出口ポート114から伸長されている。一例では、出口ポート114は、器具120が内部医用画像化システム104からある角度で伸長するように傾斜路を含む。一例では、器具120はシースである。一例では、シースは可撓性のプラスチックスリーブである。別の例では、器具120は針である。一例では、針は、標的組織(たとえば、CTスキャンなどの術前画像源を介して事前に識別され得る)の生検をキャプチャするためのサンプリング針である。
【0027】
別の例として、器具120はシースと針の両方を含む。一例として、シースは針を覆っている。別の例として、シースが出口ポート114を保護するように、針が出口ポートから伸長する前に、シースが部分的に内部医用画像化システム104の外に伸長している。
【0028】
画像化中に、器具120が内部医用画像化システム104から伸長すると、視野108内に閉塞部分122が生じる。閉塞部分122は、画像センサ106(たとえば、USトランスデューサ)に関連して器具120を越えた組織への超音波エネルギーの伝達が遮断されることによって引き起こされる。視野108内で器具120を見ることはユーザにとって有利である可能性があるが、器具120によって生じる閉塞部分122には、器具120を越えた組織の特徴を示す情報が欠けている可能性がある。この例では、視野108および閉塞部分122は、共通の近位境界(近位境界108aおよび近位境界122a)を共有し、一方、閉塞部分122の遠位境界122bは、器具120が視野108内に伸長するにつれて遠位方向に進むことになる。そのような情報の欠如は、医師が内部医用画像化システム104を患者の標的領域に向ける能力に影響を与える可能性があり、および/または医師が器具120を標的領域内の標的オブジェクトに向ける能力に影響を与える可能性がある。
【0029】
一例では、図1Aおよび図1Bの内部医用画像化システム104は、画像センサ106によって取得された視野108の画像を表示するためのディスプレイデバイスを含むか、またはそれに接続される。一例では、内部医用画像化システム104はコンピューティングデバイスに接続される。コンピューティングデバイスは画像処理が可能である(たとえば、図6のマシン)。
【0030】
図2Aは、合成画像を生成する方法200aの一例を示す図である。図2Bは、図2Aの方法を使用して合成画像に処理される画像200bの例示的なセットを示している。一例では、方法200aは、EBUSに通信可能に接続されたコンピュータデバイス(たとえば、図6のマシン)によって実行することができる。コンピュータデバイスは、方法200aに関連して説明した様々な画像処理タスクを実行するための処理回路を含む。さらに、コンピュータデバイスは、特に、超音波画像および様々な追加のユーザインターフェース要素を表示するためのモニタなどの出力ディスプレイを含むことができる。
【0031】
処置の開始時など、方法200aの開始時に、画像化デバイス(たとえば、内部医用画像化システム104)は、所望の視野に配置される。一例では、画像化デバイスが所定の位置に配置されると、複数の追跡位置において複数の画像を収集するために、画像化デバイスは回転される。いくつかの実施形態では、画像化デバイス104は、たとえば、処置中に生成される電磁場内に配置されると、患者の中で位置および方向の正確な追跡を可能にするナビゲーションシステムに信号を提供する埋め込みセンサコイルなどのナビゲーション機能を備えたEBUSデバイスである。画像化デバイスのナビゲーションシステムは、6自由度以内で画像化デバイスの追跡を可能にする電磁(EM)追跡技法を利用することができる。一例では、デバイスは15度から360度の間で回転する。一例では、補間を使用して、異なる度数において収集された画像間で画像が作成される。一例では、追跡位置は、画像化デバイスの位置および画像化デバイスの向きを含む。
【0032】
一例では、画像化システム、または別の接続されたシステムは、画像に関連付けられる呼吸情報を監視および収集する。たとえば、呼吸周期の一部がキャプチャされる。一例では、呼吸情報は、呼吸ゲート追跡デバイスを介して受信される。呼吸ゲート追跡デバイスは、患者が呼吸周期内のどの位置にいるかを示すことができるため、システムは呼吸を考慮して患者の肺の3Dモデルの形状と場所を調整することができる。呼吸ゲート追跡デバイスの例は、「Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue」と題する米国特許第10,617,324号の中で論じられており、その全体が参照により本明細書に組み込まれる。呼吸ゲート追跡デバイスは、呼吸周期の異なる段階によって引き起こされる患者の移動中に、移動したり、方向および形状を変更したりすることができる複数のマーカを含むことができる。一例では、コンピューティングデバイスは、呼吸周期の段階を決定するために、所与の時間における複数のマーカのセット間の距離を使用することができる。一例では、マーカは画像内に表示される。たとえば、コンピューティングデバイスは、マーカ間の距離を決定し、呼吸周期の現在の段階を決定するために、マーカの画像を使用する。したがって、一例では、解剖学的構造の特定の部分内で、画像化に使用される方向および位置情報をさらに強化するために、呼吸周期がナビゲーションデータに組み込まれる。
【0033】
202aにおいて、コンピューティングデバイスは、視野の第1の画像202bを受信する。コンピューティングデバイスは、内部医用画像化システム104の画像センサ106からキャプチャされた第1の画像202bを受信する。一例では、第1の画像202bは患者の標的領域のものである。たとえば、第1の画像202bは、気道のすぐ外側に隣接して位置する孤立性肺結節(SPN)などの、生検サンプルおよび/またはアブレーション治療が望まれる標的組織を視野内に含み得る。第1の画像202bには閉塞がなくてもよい。一例では、第1の画像202bは追跡位置を含む。一例では、複数の第1の画像202bが受信される。EBUSデバイスは、画像のストリームを提供するリアルタイム画像化デバイスである。したがって、これらの例では、「第1の画像」の説明は、一般に、第1の画像化状態(たとえば、閉塞を含まない第1の画像化状態)を指すために使用される。したがって、方法200aが「第1の画像を受信する」として議論される場合、これは、第1の画像化状態にある画像のストリームの略語として解釈することができる。特定のシナリオでは、コンピューティングデバイスは、ディスプレイデバイスをリアルタイムまたはほぼリアルタイムで更新しながら、単一の画像または画像のストリーム上で動作し得る。便宜上、本方法の大部分は個々の画像に関して説明されているが、動作は画像のストリームに対してリアルタイムで実行される。
【0034】
204aにおいて、コンピューティングデバイスは、視野の第2の画像204bを受信する。第2の画像204bは、第1の画像202bの後に受信される。第2の画像204bは、閉塞領域206bを含む。一例では、第2の画像204bはリアルタイムで受信される。一例では、コンピューティングデバイスは複数の第2の画像204bを受信する。一例では、第2の画像204bは、第1の画像202bの直後に受信される。一例では、第2の画像204bは追跡位置を含む。閉塞領域206bを含む第2の画像204bは、第1の画像202bが受信されたのと同じ画像ストリームからの連続画像であってもよい。たとえば、第1の画像202bおよび第2の画像204bの各々は、単一の処置中に同じ画像ストリーム内でEBUSサンプリングデバイスから超音波画像プロセッサに提供され得る。
【0035】
206aにおいて、コンピューティングデバイスは、第2の画像204bの1つまたは複数の閉塞部分206bを識別する。一例では、コンピューティングデバイスは、第2の画像204bのピクセルを評価することによって、1つまたは複数の閉塞部分206bを識別する。一例では、コンピューティングデバイスは、閉塞部分206b内のピクセルがすべて黒であるか、あるいは明らかに画像化された組織からのものではないデータを含んでいると決定する。別の例では、コンピューティングデバイスは、第2の画像204bからのピクセルデータのセットをピクセルデータのベースライン値と比較する。ピクセルのベースライン値は、ピクセルが塞がれていることを示すように設定することができる。一例では、コンピューティングデバイスは、ピクセルデータのセットのサブセットがベースライン値を下回る場合、第2の画像204bの一部が塞がれていると決定する。一例では、個々のピクセルを評価する代わりに、コンピューティングデバイスは、ピクセルのグループ内のピクセルデータを比較する。コンピューティングデバイスは、特定の領域を越えると、閉塞部分206bがあると決定することができる。たとえば、コンピューティングデバイスは、データの特定の行を超えると追加の情報が収集されていないと決定する。一例では、コンピューティングデバイスは、閉塞部分206bの原因となる閉塞後の品質における即時の変化を検出する(たとえば、収集された超音波データは、大きい超音波反射が発生する特定の深度を超えると、トランスデューサに反射される超音波データはほとんどないことを示し得る)。閉塞された画像部分はまた、画像内の器具を識別することによって識別され得る。たとえば、金属針は超音波を効率的に反射するため、生検針は通常、超音波画像内に明るい白いピクセルの線を生成する。一例では、コンピューティングデバイスは、画像化光線に基づいてセグメント内の第2の画像204bを検査し、第2の画像204bにおいてデータが期待されるが、データが収集されない場合(たとえば、第2の画像204bが特定の点を超えるとゼロを生成する場合)、閉塞部分206bを識別する。一例では、コンピューティングデバイスは、第2の画像204bの視野内の気泡を検出することによって、閉塞部分206bを検出する。コンピューティングデバイスは、上述の技法を使用して気泡を検出する。一例では、コンピューティングデバイスは、気泡の画像化特徴を検出するようにトレーニングされた画像処理アルゴリズムを適用することによって気泡を検出する。画像処理アルゴリズムは、これらの知られているアーティファクトを識別するために利用することができ、次いで、閉塞領域を補間することができる。特定の例では、画像処理アルゴリズムはコントラストにおける変化を探すことができ、たとえば、コントラストの変化がほとんどまたはまったくない領域は、画像の閉塞領域である可能性が高くなる。
【0036】
208aにおいて、コンピューティングデバイスは、第1の画像202bから視野の非閉塞部分を抽出する。第1の画像202bからの非閉塞部分は、第2の画像204bの閉塞部分206bに実質的に対応する。いくつかの例では、第1の画像202bおよび第2の画像204bの各々は、画像に関連付けられる位置および方向データ(たとえば、追跡位置)を含む。一例では、コンピューティングデバイスは、第1の画像202bと第2の画像204bとの間の関係を理解するために、視野および追跡位置に関する情報を利用することができる。別の例として、コンピューティングデバイスは、第2の画像204bと実質的に同様の追跡位置を有する第1の画像202bから抽出する第1のビューの非閉塞部分を決定するために、複数の第1の画像を利用することができる。特定の例では、非閉塞部分は、第2の画像204bと正確に同じ追跡位置において撮影されなかった第1の画像202b内で識別され得る。このような例では、3D空間内のどこで患者の組織が塞がれているかを正確に識別するために、第2の画像204bに関連付けられる位置および方向データが使用され得、第2の画像204bへの合成において使用するためのこの3D空間に対応する非閉塞画像データを識別するために、第1の画像202bに関連付けられる位置および方向データが使用され得る。
【0037】
210aにおいて、コンピューティングデバイスは合成画像210bを生成する。一例では、コンピューティングデバイスは、第2の画像204bの閉塞部分206bを第1の画像202bの非閉塞部分と置換することによって合成画像を生成する。たとえば、閉塞部分206bを第2の画像204bから抽出し、第1の画像202bの非閉塞部分と置換することができる。別の例では、コンピューティングデバイスは、第1の画像202bの非閉塞部分を第2の画像204bの閉塞部分206bにオーバーレイすることによって合成画像を生成する。合成画像は、実質的にリアルタイムで生成され得る。システムは、リアルタイム超音波ストリーム(たとえば、第2の画像204b)と以前に取得された超音波画像(たとえば、第1の画像202b)との間のスケールおよびポーズ調整係数(pose adjustment factor)を決定し、スケールおよびポーズ調整に基づいて、以前に取得された超音波画像(たとえば、第1の画像202b)の一部を変換し得る。第1の画像202bの非閉塞部分は、第2の画像204bの閉塞部分206bと位置合わせするように変形され得る。特定の例では、非閉塞部分は、第2の画像204bと正確に同じナビゲーション位置および方向において撮影されなかった第1の画像202b内で識別され得る。これらの例では、コンピューティングデバイスは、第1の画像202bと第2の画像204bとの間のナビゲーションデータの比較に基づいて、第1の画像の非閉塞部分を転置するか、または、各画像のナビゲーションデータに基づいて、第1の画像202bの非閉塞部分と第2の画像204bの閉塞部分206bとの間を補間することができる。データを転置する場合、非閉塞部分は、位置および方向が十分に近い第1の画像202bからのものであり、非閉塞部分を第2の画像204bの閉塞部分206bの位置にシフトするだけでよい。第1の画像202bと第2の画像204bとの間の位置および方向がより重要である場合(ただし、非閉塞部分の代表的な調整が可能な範囲内である場合)、補間を行う必要がある場合がある。
【0038】
212aにおいて、コンピューティングデバイスは合成画像210bを表示する。リアルタイムの第2の画像が閉塞部分206bを有するにもかかわらず、ユーザには、あたかも閉塞部分206bが第2の画像204bを塞ぐ効果を有していないかのように、全視野内の組織の画像表現が示される。コンピューティングデバイスが、閉塞部分206bを有する画像を受信しない場合、第1の画像202bは、本明細書で説明される処理によって変更されずに表示される。一例では、コンピューティングデバイスにより、ユーザは複数の画像表示モードを切り替えることができる。たとえば、コンピューティングデバイスは、閉塞部分が検出されたときに合成画像を生成する第1のモードと、変更されていないリアルタイム画像を表示する第2のモードとを含み得る。いくつかの実施形態では、システムは、変更されていないリアルタイム画像データに対応する画像ストリームの部分と、閉塞部分を補完する合成画像データに対応する部分との間の輪郭を示すグラフィカルユーザインターフェース要素(GUI)を表示するように構成され得る。そのようなGUIの例には、合成画像部分の輪郭を描く色付きの境界線、または変更されていない画像部分と比較して異なる色または色合いで合成画像部分を表示する、あるいはその両方が含まれるが、これらに限定されない。
【0039】
方法200aは、処置全体を通じてリアルタイムかつ継続的にコンピューティングデバイス上で動作する。たとえば、器具が視野内に伸長している間、第2の画像204bは、閉塞部分206bとともに収集され続け、方法200aは、第2の画像204bの閉塞部分206bを置換するために抽出された第1の画像202bの一部を使用して合成画像210bを生成および表示するためにリアルタイムで動作する。別の例として、画像化デバイスが通路を移動するとき、通路内に気泡が存在するとき、第2の画像204bは、閉塞部分206bとともに収集され続け、方法200aは、第2の画像204bの閉塞部分206bを置換するために抽出された第1の画像202bの一部を使用して表示合成画像210bを生成するためにリアルタイムで動作する。別の例として、第1の画像202bは、閉塞部分206bを有する第2の画像204bが識別されるまで収集され続ける。第1の画像202bおよび第2の画像204bは継続的に受信され得、処置全体を通じて新しい合成画像が表示され得る。方法200aが動作する際、第1の画像202bは、閉塞部分206bを含む第2の画像204bの直前に受信された画像となるように選択され得る。他の利点の中でも特に、本明細書に記載される技法により、生検を取得するかアブレーション処置を実行するためにサンプリング針またはアブレーションデバイスが標的組織に部分的に挿入されている間でも、ユーザは標的組織(たとえば、SPN)の境界全体を見ることができようになる。このようにして、従来の医用画像化システム(たとえば、EBUSシステム)では提供する能力が不足している貴重な情報が、表示された画像内でユーザに提供される。
【0040】
図3Aは、複数の画像モダリティを使用して合成画像を生成する方法300aの一例を示している。図3Bは、図3Aの方法を使用して合成画像に処理される画像300bの例示的なセットを示している。一例では、方法300aは、EBUSに通信可能に接続されたコンピュータデバイス(たとえば、図6のマシン)によって実行することができる。コンピュータデバイスは、方法300aに関連して説明した様々な画像処理タスクを実行するための処理回路を含む。さらに、コンピュータデバイスは、特に、超音波画像および様々な追加のユーザインターフェース要素を表示するためのモニタなどの出力ディスプレイを含むことができる。
【0041】
画像または画像データを収集、キャプチャ、受信する際に、画像を登録する場合がある。たとえば、画像は、患者空間に関連して画像空間に登録され得る。登録は、患者に対する画像の方向、位置、場所、および/または回転を含むことができる。たとえば、画像を登録するために画像内の様々な点または患者が識別され得る。一例では、点は容易に識別可能な解剖学的ランドマークである。点は、画像データが患者または他の画像に対する画像の方向、位置、場所、および/または回転に関する情報を含むように、画像間の点ベースの登録を確立するために使用することができる。画像センサが移動される場合、点の移動は、患者または他の画像に対する画像の方向、位置、場所、および/または回転に関する更新情報を決定するために使用され得る。一例では、画像または画像データを収集、キャプチャ、または受信する場合、画像は4次元(4D)データを使用して登録することができる。4D登録中に、標的領域の3次元(3D)画像(たとえば、ボリューム画像)をレンダリングするために画像データが収集される。3D画像は、患者の呼吸周期および/または患者の心拍によって引き起こされるような患者の解剖学的構造の動きから生じる動きをさらに含み、したがって4Dデータと4D画像が生成される。
【0042】
302aにおいて、コンピューティングデバイスは、第1の画像化モダリティから視野の第1の画像302bを受信する。一例では、コンピューティングデバイスは、コンピュータ断層撮影(CT)デバイスから第1の画像302bを受信する。一例では、第1の画像302bは患者の標的領域のものである。たとえば、第1の画像302bは患者の標的領域のものである。たとえば、第1の画像202bは、気道のすぐ外側に隣接して位置する孤立性肺結節(SPN)などの、生検サンプルおよび/またはアブレーション治療が望まれる標的組織を視野内に含み得る。第1の画像302bには閉塞がなくてもよい。一例では、複数の第1の画像302bが複数の追跡位置において取得され得る。たとえば、第1の画像302bは、1mmのスライスにおいて収集されたCTスキャンである。一例では、コンピューティングデバイスは、新しい第1の画像302bを作成するためにスライス間を補間する。一例では、第1の画像302bは解剖学的ランドマークを含み、および/または現在の解剖学的状態を示す。たとえば、解剖学的状態は呼吸状態を含む。第1の画像302bは、総肺活量および/または一回換気量中に収集することができる。一例では、コンピューティングデバイスは複数の第1の画像302bを受信する。
【0043】
処置の開始時など、第2の画像304bを受信する前に、画像化デバイス(たとえば、内部医用画像化システム104)は、所望の視野に配置される。一例では、画像化デバイスが所定の位置に配置されると、複数の追跡位置において複数の画像を収集するために、画像化デバイスは回転され得る。一例では、画像化デバイス104は、たとえば、処置中に生成される電磁場内に配置されると、患者の中で位置および方向の正確な追跡を可能にするナビゲーションシステムに信号を提供する埋め込みセンサコイルなどのナビゲーション機能を備えたEBUSデバイスである。画像化デバイスのナビゲーションシステムは、6自由度以内で画像化デバイスの追跡を可能にする電磁(EM)追跡技法を利用することができる。一例では、画像化デバイスはデバイスの縦軸を中心に回転される。画像化デバイスは15度から360度の間で回転され得る。画像化デバイスを縦方向に回転させると、扇状に広がった一連の画像を生成することができる。一例では、コンピューティングデバイスは、追加の画像を作成するために、異なる度合いで収集された画像間を補間する。一例では、追跡位置は、画像化デバイスの位置および画像化デバイスの向きを含む。
【0044】
一例では、画像化システム、または別の接続されたシステムは、画像に関連付けられる呼吸情報を監視および収集する。たとえば、呼吸周期の一部がキャプチャされる。一例では、呼吸情報は、呼吸ゲート追跡デバイスを介して受信される。たとえば、呼吸ゲート追跡デバイスは、呼吸周期の異なる段階によって引き起こされる患者の移動中に、移動したり、方向および形状を変更したりすることができる複数のマーカを含む。一例では、コンピューティングデバイスは、呼吸周期の段階を決定するために、所与の時間における複数のマーカのセット間の距離を使用することができる。一例では、マーカは画像内に表示される。たとえば、コンピューティングデバイスは、マーカ間の距離を決定し、呼吸周期の現在の段階を決定するために、マーカの画像を使用する。したがって、一例では、解剖学的構造の特定の部分内で、画像化に使用される方向および位置情報をさらに強化するために、呼吸周期がナビゲーションデータに組み込まれる。
【0045】
304aにおいて、コンピューティングデバイスは、第2の画像化モダリティから視野の第2の画像304bを受信する。第2の画像304bは、第1の画像302bの後に受信される。第2の画像302bは、患者の標的領域のものであり得る。第2の画像304bは、閉塞領域306bを含む。一例では、第2の画像304bはリアルタイムで受信される。第2の画像モダリティは、内部医用画像化システム104の画像センサ106である。一例では、コンピューティングデバイスは複数の第2の画像304bを受信する。第2の画像304bは、第1の画像302bに続いて受信される。たとえば、第1の画像302bは、第2の画像304bが受信される手順の前に収集され得る。EBUSデバイスは、画像のストリームを提供するリアルタイム画像化デバイスである。したがって、これらの例では、「第2の画像」の説明は、一般に、第2の画像化状態(たとえば、閉塞を含む第2の画像化状態)を指すために使用される。したがって、方法300aが「第2の画像を受信する」として議論される場合、これは、第2の画像化状態にある画像のストリームの略語として解釈することができる。特定のシナリオでは、コンピューティングデバイスは、ディスプレイデバイスをリアルタイムまたはほぼリアルタイムで更新しながら、単一の画像または画像のストリーム上で動作し得る。便宜上、本方法の大部分は個々の画像に関して説明されているが、動作は画像のストリームに対してリアルタイムで実行される。一例では、第2の画像304bは追跡位置を含む。一例では、第2の画像304bは解剖学的ランドマークを含み、および/または現在の解剖学的状態を示す。たとえば、解剖学的状態は呼吸状態を含むことができる。
【0046】
306aにおいて、コンピューティングデバイスは、第2の画像304bの1つまたは複数の閉塞部分306bを識別する。一例では、コンピューティングデバイスは、第2の画像304bのピクセルを評価することによって、1つまたは複数の閉塞部分306bを識別する。一例では、コンピューティングデバイスは、閉塞部分306b内のピクセルがすべて黒であるか、あるいは明らかに画像化された組織からのものではないデータを含んでいると決定する。別の例では、コンピューティングデバイスは、第2の画像304bからのピクセルデータのセットをピクセルデータのベースライン値と比較する。ピクセルのベースライン値は、ピクセルが塞がれていることを示すように設定することができる。一例では、コンピューティングデバイスは、ピクセルデータのセットのサブセットがベースライン値を下回る場合、第2の画像304bの一部が塞がれていると決定する。一例では、個々のピクセルを評価する代わりに、コンピューティングデバイスは、ピクセルのグループ内のピクセルデータを比較する。コンピューティングデバイスは、特定の領域を越えると、閉塞部分306bがあると決定し得る。たとえば、コンピューティングデバイスは、データの特定の行を超えると追加の情報が収集されていないと決定することができる。一例では、コンピューティングデバイスは、閉塞部分306bの原因となる閉塞後の品質における即時の変化を検出する(たとえば、収集された超音波データは、大きい超音波反射が発生する特定の深度を超えると、トランスデューサに反射される超音波データはほとんどないことを示し得る)。閉塞された画像部分はまた、画像内の器具を識別することによって識別され得る。たとえば、金属針は超音波を効率的に反射するため、生検針は通常、超音波画像内に明るい白いピクセルの線を生成する。一例では、コンピューティングデバイスは、画像化光線に基づいてセグメント内の第2の画像304bを検査し、第2の画像304bにおいてデータが期待されるが、データが収集されない場合(たとえば、第2の画像304bが特定の点を超えるとゼロを生成する場合)、閉塞部分306bを識別する。一例では、コンピューティングデバイスは、第2の画像304bの視野内の気泡を検出することによって、閉塞部分306bを検出する。コンピューティングデバイスは、上述の技法を使用して気泡を検出することができる。コンピューティングデバイスは、気泡の画像化特徴を検出するようにトレーニングされた画像処理アルゴリズムを適用することによって気泡を検出し得る。画像処理アルゴリズムは、これらの知られているアーティファクトを識別するために利用することができ、次いで、閉塞領域を補間することができる。特定の例では、画像処理アルゴリズムはコントラストにおける変化を探すことができ、たとえば、コントラストの変化がほとんどまたはまったくない領域は、画像の閉塞領域である可能性が高くなる。
【0047】
308aにおいて、コンピューティングデバイスは、第1の画像302bから視野の非閉塞部分を抽出する。第1の画像302bからの非閉塞部分は、第2の画像304bの閉塞部分306bに実質的に対応する。第1の画像302bの非閉塞部分は、第2の画像304bより前に取得される。第1の画像302bおよび第2の画像304bの各々は、画像に関連付けられる位置および方向データ(たとえば、追跡位置)を含む。一例では、追跡位置は呼吸状態情報を含む。一例では、コンピューティングデバイスは、第1の画像302bと第2の画像304bとの間の関係を理解するために、視野および追跡位置に関する情報を利用する。別の例として、コンピューティングデバイスは、第2の画像304bと実質的に同様の追跡位置を有する第1の画像302bから抽出する第1のビューの非閉塞部分を決定するために、複数の第1の画像を利用する。特定の例では、非閉塞部分は、第2の画像304bと正確に同じ追跡位置において撮影されなかった第1の画像302b内で識別され得る。このような例では、3D空間内のどこで患者の組織が塞がれているかを正確に識別するために、第2の画像304bに関連付けられる位置および方向データが使用され得、第2の画像304bへの合成において使用するためのこの3D空間に対応する非閉塞画像データを識別するために、第1の画像302bに関連付けられる位置および方向データが使用され得る。
【0048】
第1の画像302bから非閉塞部分を抽出する前に、第1の画像302bは、第2の画像304bに対応するように変形される。この例では、第1の画像302bは、第2の(リアルタイム)画像304bと比較して異なる画像化モダリティから取得されるため、第1の画像302bは、第2の画像304bに適切に対応するように調整(変形)されなければならない。代替的または追加的に、非閉塞部分が抽出された後、合成画像310bが310aにおいて生成されている間に、非閉塞部分が変形されてもよい。一例では、第1の画像302bは、第2の画像304bの現在の解剖学的状態に適合するように変形される。そのような変形は、第1の画像302bおよび第2の画像304b内の解剖学的ランドマークを識別することを含むことができる。解剖学的ランドマークを識別した後、第1の画像302b内の解剖学的ランドマークが第2の画像304bの解剖学的ランドマークと位置合わせされるように、第1の画像302bが変形され得る。一例では、解剖学的ランドマークは血管を含む。
【0049】
一例では、コンピューティングデバイスは、指定された呼吸状態で第2の画像304bが収集されたとき、方法300aに進む。一例では、指定された呼吸状態は、総肺活量および/または一回換気量である。別の例として、第1の画像302bは、指定された呼吸状態(たとえば、総肺活量および一回換気量)で収集され、指定された呼吸状態(たとえば、総肺活量および一回換気量)間のデータおよび画像化を補間するために変形行列を使用して変形することができる。たとえば、変形行列は、第1の画像302bと第2の画像304bが異なる呼吸状態中にキャプチャされたときに使用することができる。追加的または代替的に、第1の画像302bと第2の画像304bの両方は、同じ呼吸状態において収集された画像ですべての変形が生じるように、あらかじめ定められた呼吸状態(たとえば、総肺活量および/または一回換気量)において収集され得る。たとえば、呼吸状態に基づいて画像キャプチャをトリガすることができる。別の例として、画像は継続的に収集されるが、指定された呼吸状態において収集された画像のみが合成画像を生成するために使用される。別の例として、第1の画像302bは、選択された第1の画像302bが第2の画像304bと同じ呼吸状態中にキャプチャされるように、複数の第1の画像から選択され得る。
【0050】
一例では、画像センサによって取得された複数の2次元(2D)画像を使用して、標的領域の3次元(3D)モデルが生成される。3Dモデルを使用すると、画像の場所または位置を決定するために、新しくキャプチャまたは受信した画像を3Dモデルと照合することができる。場所または位置情報を使用して、第2の画像304bの閉塞部分306bと位置合わせするために、第1の画像302bの部分(たとえば、非閉塞部分)を抽出することができる。抽出された部分は、閉塞部分306bをオーバーレイすることができ、強調することができ、閉塞部分306bを置換することができ、またはそれらの組合せとすることができる。別の例として、コンピューティングデバイスは、閉塞部分306bを、その部分が塞がれなかった場合に提供される情報で置換するために、画像データをシミュレートする。別の例として、コンピューティングデバイスは、合成画像310bを作成する際に、第2の画像304bの閉塞部分306bを仮想的に埋めるか置換するために、CT画像データをデジタル的に再構築する。一例では、画像または画像データを収集、キャプチャ、または受信する場合、画像は4次元(4D)データを使用して登録される。たとえば、標的領域の3次元(3D)画像(たとえば、ボリューム画像)をレンダリングするために画像データが収集される。3D画像は、呼吸周期から生じる動きをさらに含むことができ、したがって4Dデータと4D画像が生成される。
【0051】
一例では、CT画像は超音波画像に変換される。場合によっては、CT画像を超音波画像に変換すると、両方の画像が超音波画像であるため、より鮮明な画像が作成されたり、より滑らかな合成画像が提供されたりすることがある。たとえば、閉塞部分(たとえば、CT画像データの非閉塞部分)を表す以前に取得されたCTデータを処理して、超音波データのように見せ、次いでリアルタイムの超音波画像の閉塞部分に合成することができる。
【0052】
310aにおいて、コンピューティングデバイスは合成画像310bを生成する。一例では、コンピューティングデバイスは、第2の画像304bの閉塞部分306bを第1の画像302bの非閉塞部分と置換することによって合成画像を生成する。たとえば、コンピューティングデバイスは、第2の画像304bから閉塞部分306bを抽出し、閉塞部分306bを第1の画像302bの非閉塞部分と置換する。別の例では、コンピューティングデバイスは、第1の画像302bの非閉塞部分を第2の画像304bの閉塞部分306bにオーバーレイすることによって合成画像を生成する。合成画像310bは、実質的にリアルタイムで生成され得る。システムは、リアルタイム超音波ストリーム(たとえば、第2の画像304b)と以前に取得されたCT画像(たとえば、第1の画像302b)との間のスケールおよびポーズ調整係数を決定し、スケールおよびポーズ調整に基づいて、以前に取得されたCT画像(たとえば、第1の画像302b)の一部を変換し得る。第1の画像302bの非閉塞部分は、第2の画像304bの閉塞部分306bと位置合わせするように変形され得る。特定の例では、非閉塞部分は、第2の画像304bと正確に同じナビゲーション位置および方向において撮影されなかった第1の画像302b内で識別され得る。これらの例では、コンピューティングデバイスは、第1の画像302bと第2の画像304bとの間のナビゲーションデータの比較に基づいて、第1の画像の非閉塞部分を転置するか、または、各画像のナビゲーションデータに基づいて、第1の画像302bの非閉塞部分と第2の画像304bの閉塞部分306bとの間を補間することができる。データを転置する場合、非閉塞部分は、位置および方向が十分に近い第1の画像302bからのものであり、非閉塞部分を第2の画像304bの閉塞部分306bの位置にシフトするだけでよい。第1の画像302bと第2の画像304bとの間の位置および方向がより重要である場合(ただし、非閉塞部分の代表的な調整が可能な範囲内である場合)、補間を行う必要がある場合がある。
【0053】
312aにおいて、コンピューティングデバイスは合成画像310bを表示する。リアルタイムの第2の画像が閉塞部分306bを有するにもかかわらず、ユーザには、あたかも閉塞部分306bが第2の画像304bを塞ぐ効果を有していないかのように、全視野内の組織の画像表現が示される。コンピューティングデバイスが、閉塞部分306bを有する画像を受信しない場合、第1の画像302bは、本明細書で説明される処理によって変更されずに表示される。一例では、コンピューティングデバイスにより、ユーザは複数の画像表示モードを切り替えることができる。たとえば、コンピューティングデバイスは、閉塞部分が検出されたときに合成画像を生成する第1のモードと、変更されていないリアルタイム画像を表示する第2のモードとを含み得る。いくつかの実施形態では、システムは、変更されていないリアルタイム画像データに対応する画像ストリームの部分と、閉塞部分を補完する合成画像データに対応する部分との間の輪郭を示すグラフィカルユーザインターフェース要素(GUI)を表示するように構成され得る。そのようなGUIの例には、合成画像部分の輪郭を描く色付きの境界線、または変更されていない画像部分と比較して異なる色または色合いで合成画像部分を表示する、あるいはその両方が含まれるが、これらに限定されない。
【0054】
方法300aは、処置全体を通じてリアルタイムかつ継続的にコンピューティングデバイス上で動作する。たとえば、器具が視野内に伸長すると、第2の画像304bは、閉塞部分306bとともに収集され続け、方法300aは、第2の画像304bの閉塞部分306bを置換するために抽出された第1の画像302bの一部を使用して合成画像310bを生成および表示するためにリアルタイムで動作する。別の例として、画像化デバイスが通路を移動するとき、通路内に気泡が存在するとき、第2の画像304bは、閉塞部分306bとともに収集され続け、方法300aは、第2の画像304bの閉塞部分306bを置換するために抽出された第1の画像302bの一部を使用して表示合成画像310bを生成するためにリアルタイムで動作する。第1の画像302bおよび第2の画像304bは継続的に受信され得、処置全体を通じて新しい合成画像が表示され得る。別の例として、第1の画像化モダリティからの利用可能な第1の画像302bのすべてが一度に受信される。別の例として、コンピューティングデバイスは、標的領域の第1の画像302bを受信するが、追加の画像が利用可能であり、必要に応じて2回目に受信することができる。方法300aが動作する際、第1の画像302bは、閉塞部分306bを含む第2の画像304bの直前に受信された画像となるように選択され得る。他の利点の中でも特に、本明細書に記載される技法により、生検を取得するかアブレーション処置を実行するためにサンプリング針またはアブレーションデバイスが標的組織に部分的に挿入されている間でも、ユーザは標的組織(たとえば、SPN)の境界全体を見ることができようになる。このようにして、従来の医用画像化システム(たとえば、EBUSシステム)では提供する能力が不足している貴重な情報が、表示された画像内でユーザに提供される。
【0055】
図4Aは、グラフィック表示を伴う合成画像を生成する方法400aの一例を示している。図4Bは、図4Aの方法を使用して合成画像に処理される画像400bの例示的なセットを示している。一例では、方法400aは、EBUSに通信可能に接続されたコンピュータデバイス(たとえば、図6のマシン)によって実行することができる。コンピュータデバイスは、方法400aに関連して説明した様々な画像処理タスクを実行するための処理回路を含む。さらに、コンピュータデバイスは、特に、超音波画像および様々な追加のユーザインターフェース要素を表示するためのモニタなどの出力ディスプレイを含むことができる。
【0056】
処置の開始時など、方法400aの開始時に、画像化デバイス(たとえば、内部医用画像化システム104)は、所望の視野を結像できるように配置される。一例では、画像化デバイス104は、たとえば、処置中に生成される電磁場内に配置されると、患者の中で位置および方向の正確な追跡を可能にするナビゲーションシステムに信号を提供する埋め込みセンサコイルなどのナビゲーション機能を備えたEBUSデバイスである。画像化デバイスのナビゲーションシステムは、6自由度以内で画像化デバイスの追跡を可能にする電磁(EM)追跡技法を利用することができる。一例では、デバイスは15度から360度の間で回転する。一例では、補間を使用して、異なる度数において収集された画像間で画像が作成される。一例では、追跡位置は、画像化デバイスの位置および画像化デバイスの向きを含む。
【0057】
一例では、画像化システム、または別の接続されたシステムは、画像に関連付けられる呼吸情報を監視および収集する。たとえば、呼吸周期の一部がキャプチャされる。一例では、呼吸情報は、呼吸ゲート追跡デバイスを介して受信される。たとえば、呼吸ゲート追跡デバイスは、呼吸周期の異なる段階によって引き起こされる患者の移動中に、移動したり、方向および形状を変更したりすることができる複数のマーカを含む。一例では、コンピューティングデバイスは、呼吸周期の段階を決定するために、所与の時間における複数のマーカのセット間の距離を使用することができる。一例では、マーカは画像内に表示される。たとえば、コンピューティングデバイスは、マーカ間の距離を決定し、呼吸周期の現在の段階を決定するために、マーカの画像を使用する。したがって、一例では、解剖学的構造の特定の部分内で、画像化に使用される方向および位置情報をさらに強化するために、呼吸周期がナビゲーションデータに組み込まれる。
【0058】
402aにおいて、コンピューティングデバイスは、視野の第1の画像402bを受信する。コンピューティングデバイスは、内部医用画像化システム104の画像センサ106からキャプチャされた第1の画像402bを受信する。一例では、第1の画像402bは患者の標的領域のものである。たとえば、第1の画像402bは患者の標的領域のものである。たとえば、第1の画像202bは、気道のすぐ外側に隣接して位置する孤立性肺結節(SPN)などの、生検サンプルおよび/またはアブレーション治療が望まれる標的組織を視野内に含み得る。第1の画像402bには閉塞がなくてもよい。一例では、第1の画像202bは追跡位置を含む。一例では、コンピューティングデバイスは複数の第1の画像402bを受信する。EBUSデバイスは、画像のストリームを提供するリアルタイム画像化デバイスである。したがって、これらの例では、「第1の画像」の説明は、一般に、第1の画像化状態(たとえば、閉塞を含まない第1の画像化状態)を指すために使用される。したがって、方法400aが「第1の画像を受信する」として議論される場合、これは、第1の画像化状態にある画像のストリームの略語として解釈することができる。特定のシナリオでは、コンピューティングデバイスは、ディスプレイデバイスをリアルタイムまたはほぼリアルタイムで更新しながら、単一の画像または画像のストリーム上で動作し得る。便宜上、本方法の大部分は個々の画像に関して説明されているが、動作は画像のストリームに対してリアルタイムで実行される。
【0059】
404aにおいて、コンピューティングデバイスは、視野の第2の画像404bを受信する。第2の画像404bは、第1の画像402bの後に受信される。第2の画像404bは、閉塞領域406bを含む。一例では、コンピューティングデバイスは、第2の画像404bをリアルタイムで受信する。一例では、コンピューティングデバイスは複数の第2の画像404bを受信し得る。一例では、コンピューティングデバイスは、第2の画像404bを第1の画像402bの直後に受信される。一例では、第2の画像404bは追跡位置を含む。閉塞領域406bを含む第2の画像404bは、第1の画像402bが受信されたのと同じ画像ストリームからの連続画像であってもよい。たとえば、第1の画像402bおよび第2の画像404bの各々は、単一の手順中に同じ画像ストリーム内でEBUSサンプリングデバイスから超音波画像プロセッサに提供され得る。
【0060】
406aにおいて、コンピューティングデバイスは、第2の画像404bの視野内で器具406bを検出する。器具406bは、図1Aおよび図1Bの器具120であり得る。器具406bが針である場合、その針は第2の画像404b内に明るい線を引き起こす可能性がある。たとえば、金属針は超音波を効率的に反射するため、生検針は通常、超音波画像内に明るい白いピクセルの線を生成する。明るい線は、器具406bを検出するために使用される。一例では、内部医用画像化システム104は、器具120が内部医用画像化システム104から出るときをセンサが検出できるように、出口ポート114の近くにセンサを含む。一例では、センサは、内部医用画像化システム104の画像化センサ106である。たとえば、コンピューティングデバイスは、器具406bを検出するために制御情報を使用することができる。コンピューティングデバイスは、器具406bの一部が第2の画像404bの視野内に伸長していることを検出することができる。一例では、コンピューティングデバイスは、器具406bが内部医用イメージングシステム104から伸長しており、したがって視野の一部を塞いでいると決定するために、人工知能、マシン学習、または他の画像化技法を使用する。たとえば、コンピューティングデバイスは、第2の画像404bの視野内の知られている器具の特徴を識別することによって、器具406bを検出する。器具406bが視野内に展開された、または伸長したことを決定することに加えて、コンピューティングデバイスは、器具406bが内部医用画像化システム104から伸長している長さを決定することができる。別の例として、コンピューティングデバイスは、器具406bによって生成された、知られている画像特徴を検出するようにトレーニングされたマシン学習モデルを適用する。
【0061】
408aにおいて、コンピューティングデバイスは、第2の画像404bの1つまたは複数の閉塞部分408bを識別する。一例では、コンピューティングデバイスは、第2の画像404bのピクセルを評価することによって、1つまたは複数の閉塞部分408bを識別する。一例では、コンピューティングデバイスは、閉塞部分408b内のピクセルがすべて黒であるか、あるいは明らかに画像化された組織からのものではないデータを含んでいると決定する。別の例では、コンピューティングデバイスは、第2の画像404bからのピクセルデータのセットをピクセルデータのベースライン値と比較する。ピクセルのベースライン値は、ピクセルが塞がれていることを示すように設定することができる。一例では、コンピューティングデバイスは、ピクセルデータのセットのサブセットがベースライン値を下回る場合、第2の画像404bの一部が塞がれていると決定する。一例では、個々のピクセルを評価する代わりに、コンピューティングデバイスは、ピクセルのグループ内のピクセルデータを比較する。コンピューティングデバイスは、器具406bの後ろの領域は閉塞部分408bであると決定することができる。たとえば、コンピューティングデバイスは、データの特定の行を超えると追加の情報が収集されていないと決定する。たとえば、コンピューティングデバイスは、器具406bを越えると追加の情報が収集されていないと決定する。一例では、コンピューティングデバイスは、閉塞部分408bの原因となる閉塞後の品質における即時の変化を検出する(たとえば、収集された超音波データは、大きい超音波反射が発生する特定の深度を超えると、トランスデューサに反射される超音波データはほとんどないことを示し得る)。閉塞された画像部分はまた、画像内の器具406bを識別することによって識別され得る。たとえば、金属針は超音波を効率的に反射するため、生検針は通常、超音波画像内に明るい白いピクセルの線を生成する。一例では、コンピューティングデバイスは、画像化光線に基づいてセグメント内の第2の画像404bを検査し、第2の画像404bにおいてデータが期待されるが、データが収集されない場合(たとえば、第2の画像404bが器具406bを超えるとゼロを生成する場合)、閉塞部分408bを識別する。一例では、器具406b(たとえばシース)は、画像化された器具406bの検出可能性を高めるためのエコー源性機能を含む。たとえば、エコー源性機能は反射率が高くなる。別の例として、エコー源性機能は、環状リング構造である。エコー源性機能により、画質が損なわれ、器具の製造コストが増加する可能性がある。一例では、器具406bがエコー源性機能を含まない場合、第2の画像404b内の器具406bを検出するためにシースの画像特徴を使用することができる。一例では、コンピューティングデバイスは、第2の画像404bの視野内の器具406bを検出することによって、閉塞部分408bを検出する。コンピューティングデバイスは、上述の技法を使用して器具406bを検出する。一例では、コンピューティングデバイスは、器具の画像化特徴を検出するようにトレーニングされた画像処理アルゴリズムを適用することによって器具406bを検出する。画像処理アルゴリズムは、これらの知られているアーティファクトを識別するために利用することができ、次いで、閉塞領域408bを補間することができる。特定の例では、画像処理アルゴリズムはコントラストにおける変化を探すことができ、たとえば、コントラストの変化がほとんどまたはまったくない領域は、画像の閉塞領域である可能性が高くなる。
【0062】
410aにおいて、コンピューティングデバイスは、第1の画像402bから視野の非閉塞部分を抽出する。画像化センサ(たとえば、トランスデューサ)は小さい可能性があるため、器具406bは、器具406bがどの程度展開されたかに応じて、様々なサイズの閉塞部分408bを引き起こす可能性がある。しかしながら、処置(たとえば、画像収集、組織サンプリング)の実行を支援するために、完全な2次元(2D)画像化スライスが望まれる場合がある。第2の画像404bの閉塞部分408bに対応する第1の画像402bの非閉塞部分を抽出することによって、閉塞部分408bは、閉塞(たとえば、器具406b、気泡)が画像化を妨げなかった場合に画像がどのように見えるかを示すために塗りつぶされてもよい。第1の画像402bからの非閉塞部分は、第2の画像404bの閉塞部分408bに実質的に対応する。第1の画像402bおよび第2の画像404bの各々は、画像に関連付けられる位置および方向データ(たとえば、追跡位置)を含む。一例では、コンピューティングデバイスは、第1の画像402bと第2の画像404bとの間の関係を理解するために、視野および追跡位置に関する情報を利用する。別の例として、コンピューティングデバイスは、第2の画像404bと実質的に同様の追跡位置を有する第1の画像402bから抽出する第1のビューの非閉塞部分を決定するために、複数の第1の画像を利用する。特定の例では、非閉塞部分は、第2の画像404bと正確に同じ追跡位置において撮影されなかった第1の画像402b内で識別され得る。このような例では、3D空間内のどこで患者の組織が塞がれているかを正確に識別するために、第2の画像404bに関連付けられる位置および方向データが使用され得、第2の画像404bへの合成において使用するためのこの3D空間に対応する非閉塞画像データを識別するために、第1の画像402bに関連付けられる位置および方向データが使用され得る。
【0063】
412aにおいて、コンピューティングデバイスは合成画像412bを生成する。一例では、コンピューティングデバイスは、第2の画像404bの閉塞部分408bを第1の画像402bの非閉塞部分と置換することによって合成画像を生成する。たとえば、コンピューティングデバイスは、第1の画像402bの非閉塞部分を抽出し、第2の画像404bの閉塞部分408bを置換することによって合成画像412bを生成する。別の例では、コンピューティングデバイスは、第1の画像402bの非閉塞部分を第2の画像404bの閉塞部分408bにオーバーレイすることによって合成画像412bを生成する。コンピューティングデバイスは、実質的にリアルタイムで合成画像412bを生成し得る。コンピューティングデバイスは、リアルタイム超音波ストリーム(たとえば、第2の画像404b)と以前に取得された超音波画像(たとえば、第1の画像402b)との間のスケールおよびポーズ調整係数を決定し、スケールおよびポーズ調整に基づいて、以前に取得された超音波画像(たとえば、第1の画像402b)の一部を変換し得る。第1の画像402bの非閉塞部分は、第2の画像404bの閉塞部分406bと位置合わせするように変形することができる。特定の例では、非閉塞部分は、第2の画像404bと正確に同じナビゲーション位置および方向において撮影されなかった第1の画像402b内で識別され得る。これらの例では、コンピューティングデバイスは、第1の画像402bと第2の画像404bとの間のナビゲーションデータの比較に基づいて、第1の画像402bの非閉塞部分を転置するか、または、各画像のナビゲーションデータに基づいて、第1の画像402bの非閉塞部分と第2の画像404bの閉塞部分408bとの間を補間することができる。データを転置する場合、非閉塞部分は、位置および方向が十分に近い第1の画像402bからのものであり、非閉塞部分を第2の画像404bの閉塞部分408bの位置にシフトするだけでよい。第1の画像402bと第2の画像404bとの間の位置および方向がより重要である場合(ただし、非閉塞部分の代表的な調整が可能な範囲内である場合)、補間を行う必要がある場合がある。
【0064】
414aにおいて、コンピューティングデバイスは、合成画像412b上に器具406bのグラフィック表現414bを生成する。一例では、器具406bが伸長され続けると、グラフィック表現414bが動的に変化する。たとえば、コンピューティングデバイスが新しい第2の画像404bを受信すると、合成画像412は、新しい第2の画像404b、第1の画像402bからの更新された非閉塞部分、および更新されたグラフィック表現414bを用いて更新され得る。一例では、第2の画像404bが実質的に変化しておらず、同じ第1の画像402bが使用されると識別された場合、コンピューティングデバイスは、器具406bに基づいて閉塞部分408bを予測し、予測された閉塞部分全体を置換する合成画像412bを作成する。したがって、合成画像412bは同じままであり得るが、器具のグラフィック表現414bは、器具406bがさらに伸長および/または収縮されるにつれて継続的に更新される。一例では、グラフィック表現414bは器具406bと実質的に同様に見える。たとえば、グラフィック表現414bは針のように見える形状をしている。別の例として、グラフィック表現414bは、シースのように見える形状をしている。別の例では、グラフィック表現414bは針とシースの両方を示す。一例では、グラフィック表現414bは、器具406bが内部医用画像化システム104からどれだけ離れて伸長しているかの表示を提供する。一例では、グラフィック表現414bは、器具406bが内部医用画像化システムからあらかじめ定められた量だけ伸長されたことを示す表示を提供する。そのようなグラフィック表現は、針を伸長する前にシースがあらかじめ定められた量だけ伸長されていることを確認するために役立つ。一例では、グラフィック表現414bは、器具406bの伸長長さ(extension length)の数値表示を含む。一例では、グラフィック表現414bは、器具406bのあらかじめ定められた伸長長さに対応する色分けを含む。
【0065】
416aにおいて、コンピューティングデバイスは合成画像412bを表示する。リアルタイムの第2の画像404bが閉塞部分408bを有するにもかかわらず、ユーザには、あたかも閉塞部分408bが第2の画像404bを塞ぐ効果を有していないかのように、全視野内の組織の画像表現が示される。コンピューティングデバイスが、閉塞部分408bを有する画像を受信しない場合、第1の画像402bは、本明細書で説明される処理によって変更されずに表示される。一例では、コンピューティングデバイスにより、ユーザは複数の画像表示モードを切り替えることができる。たとえば、コンピューティングデバイスは、閉塞部分が検出されたときに合成画像を生成する第1のモードと、変更されていないリアルタイム画像を表示する第2のモードとを含み得る。いくつかの実施形態では、システムは、変更されていないリアルタイム画像データに対応する画像ストリームの部分と、閉塞部分を補完する合成画像データに対応する部分との間の輪郭を示すグラフィカルユーザインターフェース要素(GUI)を表示するように構成され得る。そのようなGUIの例には、合成画像部分の輪郭を描く色付きの境界線、または変更されていない画像部分と比較して異なる色または色合いで合成画像部分を表示する、あるいはその両方が含まれるが、これらに限定されない。
【0066】
方法400aは、処置全体を通じてリアルタイムかつ継続的にコンピューティングデバイス上で動作する。たとえば、器具406bが視野内に伸長している間、第2の画像404bは、閉塞部分406bとともに収集され続け、方法400aは、第2の画像404bの閉塞部分406bを置換するために抽出された第1の画像402bの一部を使用して合成画像412bを生成および表示するためにリアルタイムで動作する。別の例として、第1の画像402bは、閉塞部分408bを有する第2の画像404bが識別されるまで収集され続ける。第1の画像402bおよび第2の画像404bは継続的に受信され得、処置全体を通じて新しい合成画像412bが表示され得る。方法400aが動作する際、第1の画像402bは、閉塞部分406bを含む第2の画像404bの直前に受信された画像となるように選択され得る。他の利点の中でも特に、本明細書に記載される技法により、生検を取得するかアブレーション処置を実行するためにサンプリング針またはアブレーションデバイスが標的組織に部分的に挿入されている間でも、ユーザは標的組織(たとえば、SPN)の境界全体を見ることができようになる。このようにして、従来の医用画像化システム(たとえば、EBUSシステム)では提供する能力が不足している貴重な情報が、表示された画像内でユーザに提供される。
【0067】
方法200a、300a、および400aのステップまたは動作は、便宜および明確化のために特定の順序で示されており、説明した動作の多くは、他の動作に実質的な影響を与えることなく、別の順序で、または並行して実行することができる。説明した方法200a、300a、および400aは、複数の異なるアクタ、デバイス、および/またはシステムによって実行される動作を含む。方法200a、300a、および400aにおいて説明した動作のサブセットは、単一のアクタ、デバイス、またはシステムに起因する可能性があり、別個のスタンドアロンのプロセスまたは方法とみなすことができることが理解される。
【0068】
図5Aは、内部医用画像化システム504の画像センサ506からの非閉塞視野502の概略図500aである。一例では、内部医用画像化システム504は患者の標的領域に挿入される。医用画像化システム504は、上述の医用画像化システムと同等である。
【0069】
一例では、内部医用画像化システム504は、気管支内超音波(EBUS)組織サンプリングデバイスである。一例では、内部医用画像化システム504は、組織サンプリングの前に標的結節510に向かってナビゲートし、画像化するために使用される。一例では、標的結節510は、生検サンプルが所望されるあらかじめ識別された組織である。一例では、超音波(US)画像化は、超音波(US)画像化が組織と器具(たとえば、針またはシース)の両方をリアルタイムで表示するため、生検サンプルを採取する標的領域を確実に識別するために呼吸器領域において使用される。
【0070】
一例では、画像センサ506は、内部医用画像化システム504の遠位端に配置される。一例では、画像センサ506は、遠位端の一部に沿って伸長する。一例では、画像センサ506は実質的に平坦である。一例では、画像センサ506は超音波トランスデューサである。一例では、画像センサ506は、画像化ディスプレイに視野502を提供する。
【0071】
画像センサの視野502は、近位境界502aから遠位境界502bまで伸長する。図示される例では、視野502全体が非閉塞視野508である。
【0072】
【0073】
一例では、針520は、作業チャネルを介して内部医用画像化システム504を通って前進する。一例では、針520は、内部医用画像化システム504の出口ポートから伸長されている。一例では、出口ポートは、針520が内部医用画像化システム504からある角度で伸長するように傾斜路を含む。一例では、針520は、標的組織(たとえば、結節510)の生検材料をキャプチャするためのサンプリング針である。たとえば、標的組織は、CTスキャンなどの術前画像源を介して事前に識別され得る。一例では、内部医用画像化システム504は、出口ポートから伸長されるシースを含む。一例では、シースは可撓性のプラスチックスリーブである。一例として、シースは針520を覆っている。別の例として、シースが出口ポートを保護するように、針520が出口ポートから伸長する前に、シースが部分的に内部医用画像化システム504の外に伸長している。
【0074】
画像化中に、針520が内部医用画像化システム504から伸長すると、非閉塞部分508に加えて、視野502内に閉塞部分522が生じる。閉塞部分522は、近位境界522aから遠位境界522bまで伸長している。閉塞部分522は、画像センサ506(たとえば、USトランスデューサ)に関連して針520を越えた組織への超音波エネルギーの伝達が遮断されることによって引き起こされる。たとえば、画像センサ506(たとえば、超音波トランスデューサ)から伝達された超音波は、組織と針520との間の境界に到達するまで組織を通って伝搬し得、そこでかなりの量の超音波エネルギーが画像センサ506に向かって反射され、わずかな量が画像センサ506から離れて針520内に伝搬し続ける。視野502内で針520を見ることはユーザにとって有利である可能性があるが、針520によって生じる閉塞部分522には、針520を越えた組織の特徴を示す情報が欠けている可能性がある。この例では、視野502および閉塞部分522は、共通の近位境界(近位境界502aおよび近位境界522a)を共有し、一方、閉塞部分522の遠位境界522bは、針520が視野502内に伸長するにつれて遠位方向に進むことになる。そのような情報の欠如は、医師が内部医用画像化システム504を患者の標的領域に向ける能力に影響を与える可能性があり、および/または医師が針520を標的領域内の標的結節510に向ける能力に影響を与える可能性がある。
【0075】
一例では、図5Aおよび図5Bの内部医用画像化システム504は、画像センサ506によって取得された視野502の画像を表示するためのディスプレイデバイスを含むか、またはそれに接続される。一例では、内部医用画像化システム504はコンピューティングデバイスに接続される。コンピューティングデバイスは画像処理が可能である(たとえば、図6のマシン)。
【0076】
図5Cは、対応する非閉塞部分572がコンピューティングデバイスによって識別される、図5Aの視野552の概略図550を示している。コンピューティングデバイスが内部医用画像化システムから画像を受信すると、コンピューティングデバイスは画像の一部がいつ塞がれるかを決定する。一例では、コンピューティングデバイスは、視野のピクセルを評価することと、視野内の針を識別することと、視野内の針の背後の領域を識別することと、リアルタイム画像の視野の一部における品質の変化を決定することとを行うことによって、受信した画像の1つまたは複数の閉塞部分をリアルタイムで識別する。そのような方法は上で説明されている。
【0077】
閉塞部分が検出されると、コンピューティングデバイスは、閉塞部分を含む画像よりも前に受信した画像を検索することができる。たとえば、以前に取得された画像の視野552は、近位境界552aから遠位境界552bまで伸長することができ、標的結節560を含み得る。コンピューティングデバイスは、リアルタイム画像の閉塞部分に対応する、以前に取得された画像の非閉塞部分572を識別する。たとえば、対応する非閉塞部分572は、図5Bの閉塞部分522と位置合わせする。対応する非閉塞部分572は、近位境界572aから遠位境界572bまで伸長している。図示される例では、対応する非閉塞近位境界572aと視野近位境界558aは同じである。以前に取得された画像はまた、リアルタイム時間の非閉塞部分に対応する非閉塞部分558を含む。対応する非閉塞部分572は針の後方に位置するため、対応する非閉塞部分572はまた、視野552の下境界552cと位置合わせされていないが、代わりに針の軌道に従う下境界572cを含む。
【0078】
コンピューティングデバイスが、以前に取得された画像の対応する非閉塞部分572を識別した後、コンピューティングデバイスは、以前に取得された画像の対応する非閉塞部分572を抽出する。以前に取得された画像の対応する非閉塞部分572を抽出することによって、閉塞部分は、閉塞(たとえば、針)が画像化を妨げなかった場合に画像がどのように見えるかを示すために塗りつぶされてもよい。
【0079】
図5Dは、図5Aおよび図5Bの視野から作成された合成画像582の概略図580を示している。コンピューティングデバイスは、合成画像582を表示する。したがって、合成画像582は、ユーザに対して表示される画像である。
【0080】
コンピューティングデバイスが内部医用画像化システムから画像を受信すると、コンピューティングデバイスはリアルタイム画像の一部がいつ塞がれるかを決定する。一例では、コンピューティングデバイスは、視野のピクセルを評価することと、視野内の針を識別することと、視野内の針の背後の領域を識別することと、リアルタイム画像の視野の一部における品質の変化を決定することとを行うことによって、受信した画像の1つまたは複数の閉塞部分をリアルタイムで識別する。そのような方法は上で説明されている。
【0081】
合成画像582は、近位境界582aから遠位境界582bまで伸長しており、標的結節560を含み得る。合成画像582は、非閉塞部分588および閉塞部分572を含む。コンピューティングデバイスは、リアルタイム画像の非閉塞部分588を使用する。リアルタイム画像の一部が閉塞されているため、コンピューティングデバイスは、合成画像582を作成するために、前の画像からの対応する非閉塞部分572(たとえば、図5Cに示されるような対応する非閉塞部分572)を使用する。非閉塞部分(閉塞部分)572は、近位境界572aから遠位境界572bまで伸長している。図示される例では、非閉塞近位境界572aと視野近位境界582aは同じである。非閉塞部分572は針の後方に位置するため、非閉塞部分572はまた、視野582の下境界582cと位置合わせされていないが、代わりに針の軌道に従う下境界572cを含む。
【0082】
一例では、コンピューティングデバイスは、リアルタイム画像の閉塞部分を、以前に取得された画像の対応する非閉塞部分572で置換することによって、合成画像582を生成する。たとえば、コンピューティングデバイスは、以前に取得された画像の対応する非閉塞部分572を抽出し、リアルタイム画像の閉塞部分を置換することによって合成画像582を生成する。別の例では、コンピューティングデバイスは、以前に取得された画像の対応する非閉塞部分572をリアルタイム画像の閉塞部分にオーバーレイすることによって合成画像582を生成する。コンピューティングデバイスは、実質的にリアルタイムで合成画像582を生成し得る。
【0083】
図示される例では、合成画像582は針のグラフィック表現570を含む。コンピューティングデバイスは、グラフィック表現570を生成する。一例では、針が伸長され続けると、グラフィック表現570が動的に変化する。たとえば、コンピューティングデバイスがリアルタイム画像を受信すると、合成画像582は、リアルタイム画像の非閉塞部分588、以前に取得された画像からの更新された対応する非閉塞部分572、および更新されたグラフィック表現570を用いて更新され得る。一例では、グラフィック表現570は針と実質的に同様に見える。たとえば、グラフィック表現570は針のように見える形状をしている。一例では、グラフィック表現570、合成画像582、または合成画像582を表示しているグラフィカルユーザインターフェースは、針が内部医用画像化システムからどれだけ離れて伸長しているかの表示を提供する。一例では、グラフィック表現570、合成画像582、または合成画像582を表示しているグラフィカルユーザインターフェースは、針が内部医用画像化システムからあらかじめ定められた量だけ伸長しているという表示を提供する。一例では、グラフィック表現570は、針の伸長長さの数値表示を含む。一例では、グラフィック表現570は、針のあらかじめ定められた伸長長さに対応する色分けを含む。
【0084】
図6は、いくつかの実施形態に従って、本明細書で論じられる技法(プロセス)のいずれか1つまたは複数が実行され得る例示的なマシン600のブロック図を示している。代替実施形態では、マシン600は、スタンドアロンデバイスとして動作してもよく、および/または他のマシンに接続(たとえば、ネットワーク接続)されてもよい。ネットワーク化された展開では、マシン600は、サーバクライアントネットワーク環境においてサーバマシン、クライアントマシン、またはその両方の能力で動作し得る。一例では、マシン600は、ピアツーピア(P2P)(または、他の分散型)ネットワーク環境においてピアマシンとして機能し得る。マシン600は、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、モバイル電話、ウェブアプライアンス、ネットワークルータ、スイッチまたはブリッジ、あるいはそのマシンによって実行されるべきアクションを指定する命令(順次またはその他)を実行することができる任意のマシンであり得る。さらに、単一のマシンのみが示されているが、「マシン」という用語は、クラウドコンピューティング、サービスとしてのソフトウェア(SaaS)、他のコンピュータクラスタ構成などの、本明細書で説明されている方法論のうちのいずれかを実行するために、命令のセット(または複数のセット)を個別にまたは共同で実行するマシンの任意の集合を含むものと解釈される。
【0085】
マシン(たとえば、コンピュータシステム)600は、ハードウェアプロセッサ602(たとえば、中央処理装置(CPU)、グラフィックス処理装置(GPU)、ハードウェアプロセッサコア、またはそれらの任意の組合せ)、メインメモリ604、およびスタティックメモリ606を含み得、その一部またはすべては、インターリンク(たとえば、バス)608を介して互いに通信し得る。マシン600は、ディスプレイユニット610、英数字入力デバイス612(たとえば、キーボード)、およびユーザインターフェース(UI)ナビゲーションデバイス614(たとえば、マウス)をさらに含み得る。一例では、ディスプレイユニット610、入力デバイス612、およびUIナビゲーションデバイス614は、タッチスクリーンディスプレイであってもよい。マシン600は、ストレージデバイス(たとえば、ドライブユニット)616、信号生成デバイス618(たとえば、スピーカ)、ネットワークインターフェースデバイス620、および全地球測位システム(GPS)センサ、コンパス、加速度計、または他のセンサなどの1つまたは複数のセンサ621をさらに含み得る。マシン600は、1つまたは複数の周辺デバイス(たとえば、プリンタ、カードリーダなど)と通信する、および/またはそれを制御するために、シリアル(たとえば、ユニバーサルシリアルバス(USB))、パラレル、あるいは他のワイヤードまたはワイヤレス(たとえば、赤外線(IR)、近距離無線通信(NFC)など)接続などの出力コントローラ628を含み得る。
【0086】
ストレージデバイス616は、本明細書に記載される技法または機能のうちの任意の1つまたは複数によって具現化または利用されるデータ構造または命令624(たとえば、ソフトウェア)の1つまたは複数のセットが記憶されるマシン可読媒体622を含み得る。命令624は、マシン600による実行中に、完全にまたは少なくとも部分的に、メインメモリ604内、スタティックメモリ606内、またはハードウェアプロセッサ602内に常駐し得る。一例では、ハードウェアプロセッサ602、メインメモリ604、スタティックメモリ606、またはストレージデバイス616の1つまたは任意の組合せは、マシン可読媒体を構成し得る。
【0087】
マシン可読媒体622は単一の媒体として示されているが、「マシン可読媒体」という用語は、1つまたは複数の命令624を記憶するように構成された単一の媒体または複数の媒体(たとえば、集中型または分散型データベース、および/または関連付けられるキャッシュおよびサーバ)を含み得る。「マシン可読媒体」という用語は、マシン600による実行のための命令を記憶、符号化、または搬送することができ、マシン600に本開示の技法のいずれか1つまたは複数を実行させる、あるいは、そのような命令によって使用される、またはそのような命令に関連付けられるデータ構造を記憶、符号化、または搬送することができる任意の媒体を含み得る。マシン可読媒体の非限定的な例は、ソリッドステートメモリ、光媒体および磁気媒体を含み得る。
【0088】
命令624は、多くの転送プロトコル(たとえば、フレームリレー、インターネットプロトコル(IP)、伝送制御プロトコル(TCP)、ユーザーデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)など)のうちの任意の1つを利用して、ネットワークインターフェースデバイス620を介して伝送媒体を使用して、通信ネットワーク626を介してさらに送信または受信され得る。例示的な通信ネットワークは、とりわけ、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、パケットデータネットワーク(たとえば、インターネット)、モバイル電話ネットワーク(たとえば、セルラネットワーク)、基本電話サービス(POTS)ネットワーク、ワイヤレスデータネットワーク(たとえば、Wi-Fi(登録商標)として知られる電気電子学会(IEEE)802.11規格ファミリ、WiMAX(登録商標)として知られるIEEE 802.16規格ファミリ)、IEEE 802.15.4規格ファミリ、ピアツーピア(P2P)ネットワークなどを含み得る。一例では、ネットワークインターフェースデバイス620は、通信ネットワーク626に接続するための1つまたは複数の物理ジャック(たとえば、イーサネット、同軸、または電話ジャック)あるいは1つまたは複数のアンテナを含み得る。一例では、ネットワークインターフェースデバイス620は、単一入力複数出力(SIMO)、複数入力複数出力(MIMO)、または複数入力単一出力(MISO)技法のうちの少なくとも1つを使用してワイヤレス通信するための複数のアンテナを含み得る。「伝送媒体」という用語は、マシン600による実行のための命令を記憶、符号化、または搬送することができる任意の無形媒体を含むものと解釈され、デジタルまたはアナログ通信信号、またはそのようなソフトウェアの通信を容易にするための他の無形媒体を含む。
【0089】
上記の詳細な説明には、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、本発明を実施することができる特定の実施形態を例示として示されている。これらの実施形態は、本明細書では「例」とも呼ばれる。そのような例は、図示された、または説明された要素に加えて要素を含むことができる。しかしながら、本発明者らは、図示された、または説明された要素のみが提供される例も企図している。さらに、本発明者らは、特定の例(あるいは、その1つまたは複数の態様)に関して、または本明細書で図示された、または説明された他の例(あるいは、その1つまたは複数の態様)に関して、図示された、または説明された要素(あるいは、その1つまたは複数の態様)の任意の組合せまたは置換を使用する例も企図している。
【0090】
本明細書と、参照により組み込まれる任意の文書との間で使用法が一致しない場合は、本明細書における使用法が優先される。本明細書では、「含む(including)」および「そこで(in which)」という用語は、「備える(comprising)」および「そこで(wherein)」というそれぞれの用語の平易な英語の均等物として使用される。また、添付の特許請求の範囲において、「含む」および「備える」という用語は無制限であり、すなわち、特許請求の範囲においてそのような用語の後に列挙される要素に加えて要素を含むシステム、デバイス、物品、組成物、配合物、またはプロセスを意味し、依然としてその請求項の範囲内に含まれるものとみなされる。
【0091】
本明細書では、「a」または「an」という用語は、特許文書において一般的であるように、「少なくとも1つ」あるいは「1つまたは複数」の任意の他のインスタンスまたは使用とは無関係に、1つまたは複数を含むために使用される。本明細書では、「または」という用語は、特に明記されていない限り、「AまたはB」は「AであるがBではない」、「BであるがAではない」、ならびに「AおよびB」を含むように、非排他的なorを指すために使用される。本明細書では、「含む」および「そこで」という用語は、「備える」および「そこで」というそれぞれの用語の平易な英語の均等物として使用される。また、添付の特許請求の範囲において、「含む」および「備える」という用語は無制限であり、すなわち、特許請求の範囲においてそのような用語の後に列挙される要素に加えて要素を含むシステム、デバイス、物品、組成物、配合物、またはプロセスを意味し、依然としてその請求項の範囲内に含まれるものとみなされる。さらに、添付の特許請求の範囲において、「第1」、「第2」、および「第3」などの用語は単にラベルとして使用されており、それらの目的に数値的要件を課すことが意図されるものではない。
【0092】
上記の説明は例示であることが意図されており、限定するものではない。たとえば、上述の例(または、その1つまたは複数の態様)は、互いに組み合わせて使用され得る。上記の説明を検討すれば、当業者などによって、他の実施形態を使用することもできる。要約は、読者が技術的開示の性質をすぐに確認できるようにするために、米国特許法施行規則第1.72条第(b)項(37C.F.R.§1.72(b))に準拠するために提供されている。これは、特許請求の範囲または意味を解釈または制限するために使用されるものではないことを理解して提出される。また、上記の発明を実施するための形態では、開示を合理化するために様々な特徴がグループ化され得る。これは、請求されていない開示された特徴がいずれかの請求項に必須であることを意図していると解釈されるべきではない。むしろ、発明の主題は、開示された特定の実施形態のすべての特徴に含まれない場合がある。したがって、添付の特許請求の範囲は、例または実施形態として発明を実施するための形態に組み込まれ、各請求項は別個の実施形態として独立しており、そのような実施形態は、様々な組合せまたは順列において互いに組み合わせることができることが企図される。本発明の範囲は、添付の特許請求の範囲と、そのような特許請求の範囲が権利を有する均等物の全範囲を参照して決定されるべきである。
【0093】
(実施例)
以下の実施例は、事前に取得された画像データをリアルタイム画像ストリームの閉塞領域に合成するためのシステムおよび方法の重要な側面および実施形態の概要を提供する。実施例は、本発明の重要な特徴を説明するために平易な言葉で書かれている。実施例は、特許請求の範囲において定義される本発明の全範囲を示すものではないが、特定の発明の概念、構成要素、ステップ、および利点を簡略化された非限定的な方法で強調することが意図されている。例は、超音波画像の閉塞を埋めるためのリアルタイム合成技法、マルチモダリティ画像合成方法、グラフィカル閉塞インジケータ、および本明細書に開示される関連概念をカバーする。これらの例は、本明細書の他の場所において提供される技術的な詳細を補足することが意図される。
以下の実施例は、事前に取得された画像データをリアルタイム画像ストリームの閉塞領域に合成するためのシステムおよび方法の重要な側面および実施形態の概要を提供する。実施例は、本発明の重要な特徴を説明するために平易な言葉で書かれている。実施例は、特許請求の範囲において定義される本発明の全範囲を示すものではないが、特定の発明の概念、構成要素、ステップ、および利点を簡略化された非限定的な方法で強調することが意図されている。例は、超音波画像の閉塞を埋めるためのリアルタイム合成技法、マルチモダリティ画像合成方法、グラフィカル閉塞インジケータ、および本明細書に開示される関連概念をカバーする。これらの例は、本明細書の他の場所において提供される技術的な詳細を補足することが意図される。
【0094】
(実施例1)
超音波画像ストリームの閉塞部分をリアルタイムで置換する方法である。本方法は、視野の第1の画像を受信するステップと、第1の画像に続いて、閉塞領域を含む視野の第2の画像を受信するステップと、閉塞部分を識別するステップと、閉塞に対応する第1の画像の非閉塞部分を抽出するステップと、閉塞部分を非閉塞部分に置換することによって合成画像を生成するステップと、合成画像をリアルタイムで表示するステップとを含むことができる。
超音波画像ストリームの閉塞部分をリアルタイムで置換する方法である。本方法は、視野の第1の画像を受信するステップと、第1の画像に続いて、閉塞領域を含む視野の第2の画像を受信するステップと、閉塞部分を識別するステップと、閉塞に対応する第1の画像の非閉塞部分を抽出するステップと、閉塞部分を非閉塞部分に置換することによって合成画像を生成するステップと、合成画像をリアルタイムで表示するステップとを含むことができる。
【0095】
(実施例2)
実施例1の主題を含み、視野内の器具を検出することによって閉塞部分を識別する追加機能を有する。
実施例1の主題を含み、視野内の器具を検出することによって閉塞部分を識別する追加機能を有する。
【0096】
(実施例3)
実施例2の主題を含み、知られている器具の特徴を識別することによって器具を検出する追加機能を有する。
実施例2の主題を含み、知られている器具の特徴を識別することによって器具を検出する追加機能を有する。
【0097】
(実施例4)
実施例3の主題を含み、器具の特徴に基づいてトレーニングされたマシン学習モデルを適用することによって器具を検出する追加機能を有する。
実施例3の主題を含み、器具の特徴に基づいてトレーニングされたマシン学習モデルを適用することによって器具を検出する追加機能を有する。
【0098】
(実施例5)
実施例2から4のいずれか1つの主題を含み、器具の一部が視野内に伸長されたことを示すセンサまたは制御情報に基づいて器具を検出する追加機能を有する。
実施例2から4のいずれか1つの主題を含み、器具の一部が視野内に伸長されたことを示すセンサまたは制御情報に基づいて器具を検出する追加機能を有する。
【0099】
(実施例6)
実施例2から5のいずれか1つの主題を含み、合成画像上に器具のグラフィック表現を生成する追加機能を有し、表現は器具の伸長長さを示すために動的に変化する。
実施例2から5のいずれか1つの主題を含み、合成画像上に器具のグラフィック表現を生成する追加機能を有し、表現は器具の伸長長さを示すために動的に変化する。
【0100】
(実施例7)
実施例6の主題を含み、器具があらかじめ定められた量だけ伸長したことを示す表示を行う追加機能を有する。
実施例6の主題を含み、器具があらかじめ定められた量だけ伸長したことを示す表示を行う追加機能を有する。
【0101】
(実施例8)
実施例7の主題を含み、表示が伸長長さの数値であるという機能を有する。
実施例7の主題を含み、表示が伸長長さの数値であるという機能を有する。
【0102】
(実施例9)
実施例7の主題を含み、表示が伸長長さに基づく色分けを使用するという機能を有する。
実施例7の主題を含み、表示が伸長長さに基づく色分けを使用するという機能を有する。
【0103】
(実施例10)
実施例1から9のいずれか1つの主題を含み、画像処理アルゴリズムを使用して気泡を検出することによって閉塞部分を識別する追加機能を有する。
実施例1から9のいずれか1つの主題を含み、画像処理アルゴリズムを使用して気泡を検出することによって閉塞部分を識別する追加機能を有する。
【0104】
(実施例11)
実施例1から10のいずれか1つの主題を含み、ピクセルデータをベースラインレベルと比較することによって閉塞部分を識別し、ベースラインレベルを下回るピクセルに基づいて閉塞領域を決定する追加機能を有する。
実施例1から10のいずれか1つの主題を含み、ピクセルデータをベースラインレベルと比較することによって閉塞部分を識別し、ベースラインレベルを下回るピクセルに基づいて閉塞領域を決定する追加機能を有する。
【0105】
(実施例12)
実施例1から11のいずれか1つの主題を含み、第1の画像と第2の画像の位置および方向を追跡する追加機能を有する。
実施例1から11のいずれか1つの主題を含み、第1の画像と第2の画像の位置および方向を追跡する追加機能を有する。
【0106】
(実施例13)
実施例12の主題を含み、合成画像を生成する際に第1の画像の非閉塞部分を変形する追加機能を有する。
実施例12の主題を含み、合成画像を生成する際に第1の画像の非閉塞部分を変形する追加機能を有する。
【0107】
(実施例14)
実施例13の主題を含み、第1の画像と第2の画像との間の位置および方向の違いを考慮して補間することによって非閉塞部分を変形する追加機能を有する。
実施例13の主題を含み、第1の画像と第2の画像との間の位置および方向の違いを考慮して補間することによって非閉塞部分を変形する追加機能を有する。
【0108】
(実施例15)
画像センサ、ディスプレイデバイス、およびコンピューティングデバイスを含む内部医用画像化システムである。コンピューティングデバイスは、第1の画像と第2の画像を受信することと、第2の画像の閉塞部分を識別することと、第1の画像の非閉塞部分を抽出することと、合成画像を生成することと、合成画像をリアルタイムで表示することとを行うことができる。
画像センサ、ディスプレイデバイス、およびコンピューティングデバイスを含む内部医用画像化システムである。コンピューティングデバイスは、第1の画像と第2の画像を受信することと、第2の画像の閉塞部分を識別することと、第1の画像の非閉塞部分を抽出することと、合成画像を生成することと、合成画像をリアルタイムで表示することとを行うことができる。
【0109】
(実施例16)
実施例15の主題を含み、閉塞部分を識別するために視野内の器具を検出するコンピューティングデバイスの追加機能を有する。
実施例15の主題を含み、閉塞部分を識別するために視野内の器具を検出するコンピューティングデバイスの追加機能を有する。
【0110】
(実施例17)
実施例16の主題を含み、知られている器具の特徴を識別することによって器具を検出する追加機能を有する。
実施例16の主題を含み、知られている器具の特徴を識別することによって器具を検出する追加機能を有する。
【0111】
(実施例18)
実施例17の主題を含み、器具特徴検出モデルを適用することによって器具を検出する追加機能を有する。
実施例17の主題を含み、器具特徴検出モデルを適用することによって器具を検出する追加機能を有する。
【0112】
(実施例19)
実施例16から18のいずれか1つの主題を含み、視野内に伸長された器具の一部を示すセンサまたは制御データに基づいて器具を検出する追加機能を有する。
実施例16から18のいずれか1つの主題を含み、視野内に伸長された器具の一部を示すセンサまたは制御データに基づいて器具を検出する追加機能を有する。
【0113】
(実施例20)
実施例16から19のいずれか1つの主題を含み、合成画像上に器具のグラフィック表現を表示する追加機能を有する。
実施例16から19のいずれか1つの主題を含み、合成画像上に器具のグラフィック表現を表示する追加機能を有する。
【0114】
(実施例21)
実施例20の主題を含み、器具があらかじめ定められた量を超えて伸長したことを示す表示を行う追加機能を有する。
実施例20の主題を含み、器具があらかじめ定められた量を超えて伸長したことを示す表示を行う追加機能を有する。
【0115】
(実施例22)
実施例21の主題を含み、表示が伸長長さの数値であるという機能を有する。
実施例21の主題を含み、表示が伸長長さの数値であるという機能を有する。
【0116】
(実施例23)
実施例21の主題を含み、表示が伸長長さに基づく色分けを使用するという特徴を有する。
実施例21の主題を含み、表示が伸長長さに基づく色分けを使用するという特徴を有する。
【0117】
(実施例24)
実施例15から23のいずれか1つの主題を含み、画像処理アルゴリズムを使用して気泡を検出することによって閉塞部分を識別する追加機能を有する。
実施例15から23のいずれか1つの主題を含み、画像処理アルゴリズムを使用して気泡を検出することによって閉塞部分を識別する追加機能を有する。
【0118】
(実施例25)
実施例15から24のいずれか1つの主題を含み、ピクセルデータをベースラインレベルと比較することによって閉塞部分を識別し、ベースラインレベルを下回るピクセルに基づいて閉塞領域を決定する追加機能を有する。
実施例15から24のいずれか1つの主題を含み、ピクセルデータをベースラインレベルと比較することによって閉塞部分を識別し、ベースラインレベルを下回るピクセルに基づいて閉塞領域を決定する追加機能を有する。
【0119】
(実施例26)
実施例15から25のいずれか1つの主題を含み、第1の画像と第2の画像の位置および方向を追跡するコンピューティングデバイスの追加機能を有する。
実施例15から25のいずれか1つの主題を含み、第1の画像と第2の画像の位置および方向を追跡するコンピューティングデバイスの追加機能を有する。
【0120】
(実施例27)
実施例26の主題を含み、合成画像を生成する際に第1の画像の非閉塞部分を変形するコンピューティングデバイスの追加機能を有する。
実施例26の主題を含み、合成画像を生成する際に第1の画像の非閉塞部分を変形するコンピューティングデバイスの追加機能を有する。
【0121】
(実施例28)
実施例27の主題を含み、第1の画像と第2の画像との間の位置および方向の違いを考慮して補間することによって非閉塞部分を変形する追加機能を有する。
実施例27の主題を含み、第1の画像と第2の画像との間の位置および方向の違いを考慮して補間することによって非閉塞部分を変形する追加機能を有する。
【0122】
(実施例29)
マルチモダリティ画像を使用して超音波画像の閉塞をリアルタイムで置換する方法である。本方法は、以前に取得されたCT画像を受信するステップと、閉塞のあるライブ超音波画像を受信するステップと、非閉塞CT部分を抽出するステップと、拡張されたライブ画像を生成するために非閉塞CT部分をオーバーレイすることによってライブ超音波画像を更新するステップとを含むことができる。
マルチモダリティ画像を使用して超音波画像の閉塞をリアルタイムで置換する方法である。本方法は、以前に取得されたCT画像を受信するステップと、閉塞のあるライブ超音波画像を受信するステップと、非閉塞CT部分を抽出するステップと、拡張されたライブ画像を生成するために非閉塞CT部分をオーバーレイすることによってライブ超音波画像を更新するステップとを含むことができる。
【0123】
(実施例30)
実施例29の主題を含み、ライブ超音波画像の解剖学的状態に一致するように非閉塞CT部分を変形する追加機能を有する。
実施例29の主題を含み、ライブ超音波画像の解剖学的状態に一致するように非閉塞CT部分を変形する追加機能を有する。
【0124】
(実施例31)
実施例30の主題を含み、CTおよび超音波画像内の解剖学的ランドマークを識別することによってCT部分を変形する追加機能を有する。
実施例30の主題を含み、CTおよび超音波画像内の解剖学的ランドマークを識別することによってCT部分を変形する追加機能を有する。
【0125】
(実施例32)
実施例30から31のいずれか1つの主題を含み、呼吸状態の追跡に基づいてCT部分を変形する追加機能を有する。
実施例30から31のいずれか1つの主題を含み、呼吸状態の追跡に基づいてCT部分を変形する追加機能を有する。
【0126】
(実施例33)
実施例32の主題を含み、CT部分を変形する際にCT画像とライブ超音波画像との間の呼吸状態の違いを考慮する追加機能を有する。
実施例32の主題を含み、CT部分を変形する際にCT画像とライブ超音波画像との間の呼吸状態の違いを考慮する追加機能を有する。
【0127】
(実施例34)
実施例32の主題を含み、ライブ超音波画像の呼吸状態と一致する呼吸状態を有するCT画像を選択する追加機能を有する。
実施例32の主題を含み、ライブ超音波画像の呼吸状態と一致する呼吸状態を有するCT画像を選択する追加機能を有する。
【0128】
(実施例35)
実施例30から34のいずれか1つの主題を含み、CT画像と超音波画像との間の位置および方向の違いを考慮して補間することによってCT部分を変形する追加機能を有する。
実施例30から34のいずれか1つの主題を含み、CT画像と超音波画像との間の位置および方向の違いを考慮して補間することによってCT部分を変形する追加機能を有する。
【0129】
(実施例36)
実施例29から35のいずれか1つの主題を含み、以前に取得された画像がCT画像であるという追加機能を有する。
実施例29から35のいずれか1つの主題を含み、以前に取得された画像がCT画像であるという追加機能を有する。
【0130】
(実施例37)
実施例29から36のいずれか1つの主題を含み、非閉塞CT部分をオーバーレイすることによって拡張されたライブ超音波画像を生成する追加機能を有する。
実施例29から36のいずれか1つの主題を含み、非閉塞CT部分をオーバーレイすることによって拡張されたライブ超音波画像を生成する追加機能を有する。
【符号の説明】
【0131】
100a 概略図
100b 概略図
102 標的領域
104 内部医用画像化システム
106 画像センサ
108 視野
108a 近位境界
108b 遠位境界
110 閉塞
112 閉塞部分
112a 近位境界
112b 遠位境界
114 出口ポート
120 器具
122 閉塞部分
200a 方法
200b 画像
202b 第1の画像
204b 第2の画像
206b 閉塞領域
206b 閉塞部分
210b 合成画像
300a 方法
300b 画像
302b 第1の画像
304b 第2の画像
306b 閉塞領域
306b 閉塞部分
310b 合成画像
400a 方法
400b 画像
402b 第1の画像
404b 第2の画像
406b 器具
408b 閉塞部分
412b 合成画像
414b グラフィック表現
500a 概略図
500b 概略図
502 視野
502a 近位境界
502b 遠位境界
504 内部医用画像化システム
506 画像センサ
508 非閉塞視野
508 非閉塞部分
510 標的結節
520 針
522 閉塞部分
522a 近位境界
522b 遠位境界
550 概略図
552 視野
552c 下境界
558 非閉塞部分
558a 視野近位境界
560 標的結節
570 グラフィック表現
572 非閉塞部分
572a 非閉塞近位境界
572c 下境界
580 概略図
582 合成画像
582a 近位境界
582b 遠位境界
582c 境界
588 非閉塞部分
600 マシン
602 ハードウェアプロセッサ
604 メインメモリ
606 スタティックメモリ
608 インターリンク
610 ディスプレイユニット
612 英数字入力デバイス
614 ユーザインターフェース(UI)ナビゲーションデバイス
616 ストレージデバイス
618 信号生成デバイス
620 ネットワークインターフェースデバイス
621 センサ
622 マシン可読媒体
624 命令
626 通信ネットワーク
628 出力コントローラ
100b 概略図
102 標的領域
104 内部医用画像化システム
106 画像センサ
108 視野
108a 近位境界
108b 遠位境界
110 閉塞
112 閉塞部分
112a 近位境界
112b 遠位境界
114 出口ポート
120 器具
122 閉塞部分
200a 方法
200b 画像
202b 第1の画像
204b 第2の画像
206b 閉塞領域
206b 閉塞部分
210b 合成画像
300a 方法
300b 画像
302b 第1の画像
304b 第2の画像
306b 閉塞領域
306b 閉塞部分
310b 合成画像
400a 方法
400b 画像
402b 第1の画像
404b 第2の画像
406b 器具
408b 閉塞部分
412b 合成画像
414b グラフィック表現
500a 概略図
500b 概略図
502 視野
502a 近位境界
502b 遠位境界
504 内部医用画像化システム
506 画像センサ
508 非閉塞視野
508 非閉塞部分
510 標的結節
520 針
522 閉塞部分
522a 近位境界
522b 遠位境界
550 概略図
552 視野
552c 下境界
558 非閉塞部分
558a 視野近位境界
560 標的結節
570 グラフィック表現
572 非閉塞部分
572a 非閉塞近位境界
572c 下境界
580 概略図
582 合成画像
582a 近位境界
582b 遠位境界
582c 境界
588 非閉塞部分
600 マシン
602 ハードウェアプロセッサ
604 メインメモリ
606 スタティックメモリ
608 インターリンク
610 ディスプレイユニット
612 英数字入力デバイス
614 ユーザインターフェース(UI)ナビゲーションデバイス
616 ストレージデバイス
618 信号生成デバイス
620 ネットワークインターフェースデバイス
621 センサ
622 マシン可読媒体
624 命令
626 通信ネットワーク
628 出力コントローラ
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【外国語明細書】