(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】画像再構築および内視鏡追跡
(51)【国際特許分類】
A61B 1/045 20060101AFI20240918BHJP
A61B 1/00 20060101ALI20240918BHJP
【ＦＩ】
A61B1/045 610
A61B1/045 618
A61B1/00 552
【請求項の数】
30
(21)【出願番号】P 2023504626
(86)(22)【出願日】2021-07-16
(65)【公表番号】
(43)【公表日】2023-08-17
(86)【国際出願番号】 US2021042053
(87)【国際公開番号】W WO2022020207
(87)【国際公開日】2022-01-27
【審査請求日】2023-03-22
(31)【優先権主張番号】63/055,936
(32)【優先日】2020-07-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500498763
【氏名又は名称】ジャイラス エーシーエムアイ インク ディー／ビー／エー オリンパス サージカル テクノロジーズ アメリカ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】カート・ジー・シェルトン
(72)【発明者】
【氏名】セルゲイ・エー・ブケソフ
【審査官】増渕 俊仁
(56)【参考文献】
【文献】米国特許出願公開第２０１３／００７００６９（ＵＳ，Ａ１）
【文献】国際公開第２０２０／１５３１８６（ＷＯ，Ａ１）
【文献】特開２０１０－０４６２１６（ＪＰ，Ａ）
【文献】特表２０１５－５１９９５７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０２０１１３６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
(57)【特許請求の範囲】
【請求項1】
ターゲットの内視鏡マッピングのためのシステムであって、前記ターゲットの内視鏡画像をキャプチャするように構成された撮像システムであって、前記内視鏡画像が、前記ターゲットに向けられた照準ビームのフットプリントを含む、撮像システムと、
前記キャプチャされた内視鏡画像から1つまたは複数のランドマークを識別し、前記照準ビームフットプリントに対するそれぞれの位置を決定することと、
前記複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークに基づいて、複数の内視鏡画像を統合することによってターゲットマップを生成することと
を行うように構成されたビデオプロセッサと
を備える、システム。
【請求項2】
前記ビデオプロセッサが、前記照準ビームの位置において組織タイプを識別することと、前記識別された組織タイプを示す視覚的識別子を用いて前記照準ビームフットプリントをマークすることとを行うように構成される、請求項1に記載のシステム。
【請求項3】
前記ビデオプロセッサに通信可能に結合された分光計を備え、前記分光計が、前記ターゲットから反射された照明光信号の1つまたは複数の分光特性を測定するように構成され、前記ビデオプロセッサが、前記1つまたは複数の分光特性に基づいて、前記照準ビームの位置において組織タイプを識別することと、前記識別された組織タイプを示す視覚的識別子を用いて前記照準ビームフットプリントをマークすることとを行うように構成される、請求項1または2に記載のシステム。
【請求項4】
前記ビデオプロセッサが、前記組織タイプを正常組織または異常組織として識別するように構成される、請求項2または3に記載のシステム。
【請求項5】
前記ビデオプロセッサが、異なる組織タイプを示すために異なる色で前記照準ビームフットプリントをマークするように構成される、請求項2または3に記載のシステム。
【請求項6】
前記ビデオプロセッサが、前記内視鏡画像のピクセルの明るさの変化に基づいて前記内視鏡画像から前記1つまたは複数のランドマークを識別するように構成される、請求項1から5のいずれか一項に記載のシステム。
【請求項7】
前記1つまたは複数のランドマークが、線分または交差線分として前記内視鏡画像において表される、請求項6に記載のシステム。
【請求項8】
前記ビデオプロセッサが、前記複数の内視鏡画像のうちの1つまたは複数から識別された前記ランドマークから、前記識別されたランドマークが配置されているそれぞれのターゲット部位においてレーザエネルギーが活性化されているかどうかに基づいて、ランドマークのサブセットを選択することと、
ランドマークの前記選択されたサブセットに基づいて前記複数の内視鏡画像を統合することによって、前記ターゲットマップを生成することと
を行うように構成される、請求項1から7のいずれか一項に記載のシステム。
【請求項9】
前記複数の内視鏡画像が、第1の内視鏡位置からキャプチャされた第1のターゲット部位の第1の内視鏡画像と、第2の内視鏡位置からキャプチャされた第2のターゲット部位の第2の内視鏡画像とを含む、前記ターゲットの様々な部位の画像を含み、前記ビデオプロセッサが、前記第2の内視鏡画像における対応する2つ以上のランドマークと一致する前記第1の内視鏡画像中の2つ以上のランドマークを含む一致するランドマークを識別することと、
前記第1の画像の座標系において前記一致するランドマークに対して前記第1および第2の内視鏡画像を位置合わせすることと、
少なくとも前記位置合わせされた第1および第2の画像を使用して前記ターゲットマップを生成することと
を行うように構成される、請求項1から8のいずれか一項に記載のシステム。
【請求項10】
前記ビデオプロセッサが、前記第2の画像のスケーリング、平行移動、または回転のうちの1つまたは複数を含む前記第2の画像を変換することと、
前記一致するランドマークに対して、前記変換された第2の画像および前記第1の画像を位置合わせすることと
を行うように構成される、請求項9に記載のシステム。
【請求項11】
前記第2の画像の前記変換が、変換行列による行列乗算を含む、請求項10に記載のシステム。
【請求項12】
前記ビデオプロセッサが、前記第2の画像における前記対応する2つのランドマーク間の距離に対する前記第1の画像における前記一致するランドマークのうちの2つの間の距離の比に基づく倍率を使用して、前記第2の画像をスケーリングするように構成される、請求項10または11に記載のシステム。
【請求項13】
前記ビデオプロセッサが、前記第2の画像における照準ビームフットプリントの幾何学的特徴に対する前記第1の画像における照準ビームフットプリントの幾何学的特徴の比に基づく倍率によって前記第2の画像をスケーリングするように構成される、請求項10または11に記載のシステム。
【請求項14】
前記ビデオプロセッサが、前記第1の画像と第2の画像との間の内視鏡の向きにおける変化を補正するために、前記第2の画像を変換するように構成され、前記内視鏡の向きがターゲット部位に対する内視鏡の先端の傾きを示す、請求項10から13のいずれか一項に記載のシステム。
【請求項15】
前記ビデオプロセッサが、前記第1の画像における前記一致するランドマークのうちの2つの間の第1の勾配と、前記第2の画像における前記対応する2つのランドマーク間の第2の勾配とを使用して、内視鏡の向きにおける前記変化を検出するように構成される、請求項14に記載のシステム。
【請求項16】
前記ビデオプロセッサが、前記第1の画像における照準ビームフットプリントの第1の幾何学的特徴と、前記第2の画像における照準ビームフットプリントの第2の幾何学的特徴とを使用して、内視鏡の向きにおける前記変化を検出するように構成される、請求項14に記載のシステム。
【請求項17】
前記第1または第2の照準ビームフットプリントのうちの少なくとも1つが、長軸および短軸を有する楕円形状を有し、前記第1または前記第2の幾何学的特徴のうちの少なくとも1つが、前記長軸の長さ対前記短軸の長さの比を含む、請求項16に記載のシステム。
【請求項18】
内視鏡処置中に未知の内視鏡位置から前記撮像システムによってキャプチャされた前記ターゲットの処置部位のリアルタイム画像から、前記リアルタイム画像における対応する2つ以上のランドマークと一致する前記ターゲットマップ内の2つ以上のランドマークを含む、一致するランドマークを識別することと、前記一致するランドマークを使用して前記リアルタイム画像を前記ターゲットマップに登録することと、
前記リアルタイム画像の前記登録に基づいて内視鏡の先端の位置を追跡することと
を行うように構成された内視鏡追跡システムを備える、請求項1から17のいずれか一項に記載のシステム。
【請求項19】
前記内視鏡追跡システムが、前記リアルタイム画像におけるランドマーク間の距離の1つまたは複数の比と、前記ターゲットマップにおけるランドマーク間の距離の1つまたは複数の比とに基づいて、前記一致するランドマークを識別するように構成される、請求項18に記載のシステム。
【請求項20】
前記内視鏡追跡システムがターゲット部位における組織タイプの変化の表示を生成するように構成される、請求項18または19に記載のシステム。
【請求項21】
ターゲットの内視鏡マッピングのためのコンピュータ実装方法であって、
撮像システムを介して前記ターゲットの内視鏡画像をキャプチャするステップであって、前記内視鏡画像が、前記ターゲットに向けられた照準ビームのフットプリントを含む、ステップと、
ビデオプロセッサを介して、前記キャプチャされた内視鏡画像から1つまたは複数のランドマークを識別し、前記照準ビームフットプリントに対する前記1つまたは複数のランドマークのそれぞれの位置を決定するステップと、
前記ビデオプロセッサを介して、前記複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークに基づいて、複数の内視鏡画像を統合することによってターゲットマップを生成するステップと
を備える、方法。
【請求項22】
前記ターゲットから反射された照明光信号を使用して前記照準ビームの位置において組織タイプを識別するステップと、前記識別された組織タイプを示す視覚的識別子を用いて前記照準ビームフットプリントをマークするステップと
を備える、請求項21に記載の方法。
【請求項23】
前記内視鏡画像から前記1つまたは複数のランドマークを識別するステップが、前記内視鏡画像のピクセルの明るさの変化に基づく、請求項21または22に記載の方法。
【請求項24】
前記複数の内視鏡画像が、第1の内視鏡位置においてキャプチャされた第1のターゲット部位の第1の内視鏡画像と、第2の内視鏡位置においてキャプチャされた第2のターゲット部位の第2の内視鏡画像とを含む前記ターゲットの様々な部位の画像を含み、前記方法が、
前記第2の内視鏡画像における対応する2つ以上のランドマークと一致する前記第1の内視鏡画像中の2つ以上のランドマークを含む一致するランドマークを識別するステップと、
前記第1の画像の座標系において前記一致するランドマークに対して前記第1および第2の内視鏡画像を位置合わせするステップと、
少なくとも前記位置合わせされた第1および第2の画像を使用して前記ターゲットマップを生成するステップと
を備える、請求項21から23のいずれか一項に記載の方法。
【請求項25】
前記第1および第2の内視鏡画像を位置合わせするステップが、前記第2の画像のスケーリング、平行移動、または回転のうちの1つまたは複数を含む前記第2の画像を変換するステップと、
前記一致するランドマークに対して、前記変換された第2の画像および前記第1の画像を位置合わせするステップと
を含む、請求項24に記載の方法。
【請求項26】
前記第2の画像を変換するステップが、前記第2の画像における前記2つの対応するランドマーク間の距離に対する前記第1の画像における前記一致するランドマークのうちの2つの間の距離の比に基づく倍率によって前記第2の画像をスケーリングするステップを含む、請求項25に記載の方法。
【請求項27】
前記第2の画像を変換するステップが、前記第2の画像における照準ビームフットプリントの幾何学的特徴に対する前記第1の画像における照準ビームフットプリントの幾何学的特徴の比に基づく倍率によって前記第2の画像をスケーリングするステップを含む、請求項25に記載の方法。
【請求項28】
前記第2の画像を変換するステップが、前記第1の画像と第2の画像との間の内視鏡の向きにおける変化を補正するステップを含み、前記内視鏡の向きが、ターゲット部位に対する内視鏡の先端の傾きを示す、請求項25に記載の方法。
【請求項29】
内視鏡処置中に未知の内視鏡位置から前記撮像システムを使用して前記ターゲットの処置部位のリアルタイム画像をキャプチャするステップと、前記リアルタイム画像における対応する2つ以上のランドマークと一致する前記ターゲットマップ内の2つ以上のランドマークを含む、一致するランドマークを識別するステップと、
前記一致するランドマークを使用して前記リアルタイム画像を前記ターゲットマップに登録するステップと、
前記リアルタイム画像の前記登録に基づいて内視鏡の先端の位置を追跡するステップと
をさらに備える、請求項21から28のいずれか一項に記載の方法。
【請求項30】
一致するランドマークを識別するステップが、前記リアルタイム画像におけるランドマーク間の距離の1つまたは複数の比と、前記ターゲットマップにおけるランドマーク間の距離の1つまたは複数の比とに基づく、請求項29に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年7月24日に出願された米国仮特許出願第63/055,936号に対する優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
本出願は、2020年7月24日に出願された米国仮特許出願第63/055,936号に対する優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
【0002】
本明細書は、一般に内視鏡検査に関し、より具体的には、ターゲットの内視鏡マッピングおよび処置中の内視鏡位置の追跡のためのシステムおよび方法に関する。
【背景技術】
【0003】
内視鏡は、典型的には、医師が視覚的にアクセスできるように、被験者の内部位置へのアクセスを提供するために使用される。内視鏡は、通常、患者の体内に挿入され、検査対象のターゲット(たとえば、ターゲットの解剖学的構造または対象)に光を送り、対象から反射された光を収集する。反射された光は、検査の対象に関する情報を運び、対象の画像を作成するために使用することができる。一部の内視鏡は、手術者が吸引を実行したり、またはブラシ、生検針、もしくは鉗子などの器具を通過させたり、または患者の体から不要な組織もしくはまたは異物を除去するために低侵襲手術を実行したりすることができる作業チャネルを含む。
【0004】
一部の内視鏡は、軟組織もしくは硬組織などのターゲットの解剖学的構造もしくは対象に外科用レーザエネルギーを送達するためのレーザもしくはプラズマシステムを含むか、またはそれらとともに使用され得る。レーザ治療の例は、アブレーション、凝固、気化、断片化などを含む。砕石術の用途では、レーザは、他の結石形成領域の中でも腎臓、胆嚢、尿管などにおける結石構造を分解したり、または大きい結石を小さい破片に切除したりするために使用されてきた。
【0005】
ビデオシステムは、医師または技師が処置部位を視覚化し、内視鏡処置中に内視鏡をナビゲートするのを支援するために使用されてきた。画像誘導内視鏡検査は、一般に、内視鏡位置を特定し、内視鏡の動きをターゲット領域の座標系において追跡することを必要とする。ターゲット領域の正確なマッピングならびに効率的な内視鏡位置特定および追跡は、内視鏡処置中の内視鏡操作の精度を向上させ、医師または技師の介入能力を高め、治療(たとえば、レーザ治療)の有効性を向上させる可能性がある。
【発明の概要】
【課題を解決するための手段】
【0006】
本明細書は、処置中のターゲットの内視鏡マッピングおよび被験者の体内の内視鏡位置の追跡のためのシステム、デバイス、および方法について説明する。例示的なシステムは、ターゲットに向けられた照準ビームのフットプリントを含むターゲットの内視鏡画像をキャプチャするように構成された撮像システムと、キャプチャされた内視鏡画像から1つまたは複数のランドマークを識別し、照準ビームフットプリントに対するそれぞれの位置を決定することと、複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークに基づいて、複数の内視鏡画像を統合することによってターゲットマップを生成することとを行うように構成されたビデオプロセッサとを備える。ターゲットマップは、内視鏡処置中に内視鏡位置を追跡するために使用することができる。
【0007】
実施例1は、ターゲットの内視鏡マッピングのためのシステムである。本システムは、ターゲットの内視鏡画像をキャプチャするように構成された撮像システムであって、内視鏡画像が、ターゲットに向けられた照準ビームのフットプリントを含む、撮像システムと、キャプチャされた内視鏡画像から1つまたは複数のランドマークを識別し、照準ビームフットプリントに対するそれぞれの位置を決定することと、複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークに基づいて、複数の内視鏡画像を統合することによってターゲットマップを生成することとを行うように構成されたビデオプロセッサとを備える。
【0008】
実施例2において、実施例1の主題は、照準ビームの位置において組織タイプを識別することと、識別された組織タイプを示す視覚的識別子を用いて照準ビームフットプリントをマークすることとを行うように構成することができるビデオプロセッサを任意で含む。
【0009】
実施例3において、実施例1～2のうちのいずれか1つまたは複数の主題は、ビデオプロセッサに通信可能に結合された分光計を任意で含み、分光計は、ターゲットから反射された照明光信号の1つまたは複数の分光特性を測定するように構成され、ビデオプロセッサは、1つまたは複数の分光特性に基づいて、照準ビームの位置において組織タイプを識別することと、識別された組織タイプを示す視覚的識別子を用いて照準ビームフットプリントをマークすることとを行うように構成される。
【0010】
実施例4において、実施例2～3のうちのいずれか1つまたは複数の主題は、組織タイプを正常組織または異常組織として識別するように構成することができるビデオプロセッサを任意で含む。
【0011】
実施例5において、実施例2～4のうちのいずれか1つまたは複数の主題は、異なる組織タイプを示すために異なる色で照準ビームフットプリントをマークするように構成することができるビデオプロセッサを任意で含む。
【0012】
実施例6において、実施例1～5のうちのいずれか1つまたは複数の主題は、内視鏡画像のピクセルの明るさの変化に基づいて内視鏡画像から1つまたは複数のランドマークを識別するように構成することができるビデオプロセッサを任意で含む。
【0013】
実施例7において、実施例6の主題は、線分または交差線分として内視鏡画像において表される1つまたは複数のランドマークを任意で含む。
【0014】
実施例8において、実施例1～7のうちのいずれか1つまたは複数の主題は、複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークから、識別されたランドマークが配置されているそれぞれのターゲット部位においてレーザエネルギーが活性化されているかどうかに基づいて、ランドマークのサブセットを選択することと、ランドマークの選択されたサブセットに基づいて複数の内視鏡画像を統合することによって、ターゲットマップを生成することとを行うように構成することができるビデオプロセッサを任意で含む。
【0015】
実施例9において、実施例1～8のうちのいずれか1つまたは複数の主題は、第1の内視鏡位置からキャプチャされた第1のターゲット部位の第1の内視鏡画像と、第2の内視鏡位置からキャプチャされた第2のターゲット部位の第2の内視鏡画像とを含む、ターゲットの様々な部位の画像を含むことができる複数の内視鏡画像を任意で含み、ビデオプロセッサは、第2の内視鏡画像における対応する2つ以上のランドマークと一致する第1の内視鏡画像中の2つ以上のランドマークを含む一致するランドマークを識別することと、第1の画像の座標系において一致するランドマークに対して第1および第2の内視鏡画像を位置合わせすることと、少なくとも位置合わせされた第1および第2の画像を使用してターゲットマップを生成することとを行うように構成される。
【0016】
実施例10において、実施例9の主題は、第2の画像のスケーリング、平行移動、または回転のうちの1つまたは複数を含む第2の画像を変換することと、一致するランドマークに対して、変換された第2の画像および第1の画像を位置合わせすることとを行うように構成することができるビデオプロセッサを任意で含む。
【0017】
実施例11において、実施例10の主題は、変換行列による行列乗算を含むことができる第2の画像の変換を任意で含む。
【0018】
実施例12において、実施例10～11のうちのいずれか1つまたは複数の主題は、第2の画像における対応する2つのランドマーク間の距離に対する第1の画像における一致するランドマークのうちの2つの間の距離の比に基づく倍率を使用して、第2の画像をスケーリングするように構成することができるビデオプロセッサを任意で含む。
【0019】
実施例13において、実施例10～12のうちのいずれか1つまたは複数の主題は、第2の画像における照準ビームフットプリントの幾何学的特徴に対する第1の画像における照準ビームフットプリントの幾何学的特徴の比に基づく倍率によって第2の画像をスケーリングするように構成することができるビデオプロセッサを任意で含む。
【0020】
実施例14において、実施例10～13のうちのいずれか1つまたは複数の主題は、第1の画像と第2の画像との間の内視鏡の向きにおける変化を補正するために、第2の画像を変換するように構成することができるビデオプロセッサを任意で含み、内視鏡の向きは、ターゲット部位に対する内視鏡の先端の傾きを示す。
【0021】
実施例15において、実施例14の主題は、第1の画像における一致するランドマークのうちの2つの間の第1の勾配と、第2の画像における対応する2つのランドマーク間の第2の勾配とを使用して、内視鏡の向きにおける変化を検出するように構成することができるビデオプロセッサを任意で含む。
【0022】
実施例16において、実施例14～15のうちのいずれか1つまたは複数の主題は、第1の画像における照準ビームフットプリントの第1の幾何学的特徴と、第2の画像における照準ビームフットプリントの第2の幾何学的特徴とを使用して、内視鏡の向きにおける変化を検出するように構成することができるビデオプロセッサを任意で含む。
【0023】
実施例17において、実施例16の主題は、長軸および短軸を有する楕円形状を有し得る第1または第2の照準ビームフットプリントのうちの少なくとも1つと、長軸の長さ対前記短軸の長さの比を含むことができる第1または第2の幾何学的特徴のうちの少なくとも1つとを任意で含む。
【0024】
実施例18において、実施例1～17のうちのいずれか1つまたは複数の主題は、内視鏡処置中に未知の内視鏡位置から撮像システムによってキャプチャされたターゲットの処置部位のリアルタイム画像から、リアルタイム画像における対応する2つ以上のランドマークと一致するターゲットマップ内の2つ以上のランドマークを含む、一致するランドマークを識別することと、一致するランドマークを使用してリアルタイム画像をターゲットマップに登録することと、リアルタイム画像の登録に基づいて内視鏡の先端の位置を追跡することとを行うように構成された内視鏡追跡システムを任意で含む。
【0025】
実施例19において、実施例18の主題は、リアルタイム画像におけるランドマーク間の距離の1つまたは複数の比と、ターゲットマップにおけるランドマーク間の距離の1つまたは複数の比とに基づいて、一致するランドマークを識別するように構成することができる内視鏡追跡システムを任意で含む。
【0026】
実施例20において、実施例18～19のうちのいずれか1つまたは複数の主題は、ターゲット部位における組織タイプの変化の表示を生成するように構成することができる内視鏡追跡システムを任意で含む。
【0027】
実施例21は、ターゲットの内視鏡マッピングのための方法である。本方法は、照準ビームをターゲットに向けるステップと、撮像システムを介してターゲットの内視鏡画像をキャプチャするステップであって、内視鏡画像が照準ビームのフットプリントを含む、ステップと、ビデオプロセッサを介して、キャプチャされた内視鏡画像から1つまたは複数のランドマークを識別し、照準ビームフットプリントに対する1つまたは複数のランドマークのそれぞれの位置を決定するステップと、ビデオプロセッサを介して、複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークに基づいて、複数の内視鏡画像を統合することによってターゲットマップを生成するステップとを備える。
【0028】
実施例22において、実施例21の主題は、ターゲットから反射された照明光信号を使用して照準ビームの位置において組織タイプを識別するステップと、識別された組織タイプを示す視覚的識別子を用いて照準ビームフットプリントをマークするステップとを任意で含む。
【0029】
実施例23において、実施例21～22のうちのいずれか1つまたは複数の主題は、内視鏡画像のピクセルの明るさの変化に基づいて、内視鏡画像から1つまたは複数のランドマークを識別するステップを任意で含む。
【0030】
実施例24において、実施例21～23のうちのいずれか1つまたは複数の主題は、複数の内視鏡画像が、第1の内視鏡位置においてキャプチャされた第1のターゲット部位の第1の内視鏡画像と、第2の内視鏡位置においてキャプチャされた第2のターゲット部位の第2の内視鏡画像とを含むターゲットの様々な部位の画像を含むことを任意で含み、本方法は、第2の内視鏡画像における対応する2つ以上のランドマークと一致する第1の内視鏡画像中の2つ以上のランドマークを含む一致するランドマークを識別するステップと、第1の画像の座標系において一致するランドマークに対して第1および第2の内視鏡画像を位置合わせするステップと、少なくとも位置合わせされた第1および第2の画像を使用してターゲットマップを生成するステップとを備える。
【0031】
実施例25において、実施例24の主題は、第2の画像のスケーリング、平行移動、または回転のうちの1つまたは複数を含む第2の画像を変換するステップと、一致するランドマークに対して、変換された第2の画像および第1の画像を位置合わせするステップとを含む、第1および第2の内視鏡画像を位置合わせするステップを任意で含む。
【0032】
実施例26において、実施例25の主題は、第2の画像を変換するステップを任意で含み、これは、第2の画像における対応する2つの対応するランドマーク間の距離に対する第1の画像における一致するランドマークのうちの2つの間の距離の比に基づく倍率によって第2の画像をスケーリングするステップを含む。
【0033】
実施例27において、実施例25～26のうちのいずれか1つまたは複数の主題は、第2の画像を変換するステップを任意で含み、これは、第2の画像における照準ビームフットプリントの幾何学的特徴に対する第1の画像における照準ビームフットプリントの幾何学的特徴の比に基づく倍率によって第2の画像をスケーリングするステップを含む。
【0034】
実施例28において、実施例25～27のうちのいずれか1つまたは複数の主題は、第2の画像を変換するステップを任意で含み、第1の画像と第2の画像との間の内視鏡の向きにおける変化を補正するステップを含み、内視鏡の向きは、ターゲット部位に対する内視鏡の先端の傾きを示す。
【0035】
実施例29において、実施例28の主題は、第1の画像における一致するランドマークのうちの2つの間の第1の勾配と、第2の画像における対応する2つのランドマーク間の第2の勾配とを使用して、内視鏡の向きにおける変化を検出するステップを任意で含む。
【0036】
実施例30において、実施例28～29のうちのいずれか1つまたは複数の主題は、第1の画像における照準ビームフットプリントの第1の幾何学的特徴と、第2の画像における照準ビームフットプリントの第2の幾何学的特徴とを使用して、内視鏡の向きにおける変化を検出するステップを任意で含む。
【0037】
実施例31において、実施例21～30のうちのいずれか1つまたは複数の主題は、内視鏡処置中に未知の内視鏡位置から撮像システムを使用してターゲットの処置部位のリアルタイム画像をキャプチャするステップと、リアルタイム画像における対応する2つ以上のランドマークと一致するターゲットマップ内の2つ以上のランドマークを含む、一致するランドマークを識別するステップと、一致するランドマークを使用してリアルタイム画像をターゲットマップに登録するステップと、リアルタイム画像の登録に基づいて内視鏡の先端の位置を追跡するステップとを任意で含む。
【0038】
実施例32において、実施例31の主題は、リアルタイム画像におけるランドマーク間の距離の1つまたは複数の比と、ターゲットマップにおけるランドマーク間の距離の1つまたは複数の比とに基づいて、一致するランドマークを識別するステップを任意で含む。
【0039】
実施例33は、機械の1つまたは複数のプロセッサによって遂行されると、機械に、照準ビームをターゲットに向けることと、ターゲットの内視鏡画像をキャプチャすることであって、内視鏡画像が照準ビームのフットプリントを含む、ことと、キャプチャされた内視鏡画像から1つまたは複数のランドマークを識別し、照準ビームフットプリントに対する1つまたは複数のランドマークのそれぞれの位置を決定することと、複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークに基づいて、複数の内視鏡画像を統合することによってターゲットマップを生成することとを備える動作を実行させる命令を含む、少なくとも1つの非一時的機械可読ストレージ媒体である。
【0040】
実施例34において、実施例33の主題は、命令が、機械に、照準ビームの位置において組織タイプを識別することと、識別された組織タイプを示す視覚的識別子を用いて照準ビームフットプリントをマークすることをさらに備える動作を実行させることを任意で含む。
【0041】
実施例35において、実施例33～34のうちのいずれか1つまたは複数の主題は、命令が、機械に、内視鏡画像のピクセルの明るさの変化に基づいて、内視鏡画像から1つまたは複数のランドマークを識別することをさらに備える動作を実行させることを任意で含む。
【0042】
実施例36において、実施例33～35のうちのいずれか1つまたは複数の主題は、複数の内視鏡画像が、第1の内視鏡位置においてキャプチャされた第1のターゲット部位の第1の内視鏡画像と、第2の内視鏡位置においてキャプチャされた第2のターゲット部位の第2の内視鏡画像とを含むターゲットの様々な部位の画像を含むことを任意で含み、命令が、機械に、第2の内視鏡画像における対応する2つ以上のランドマークと一致する第1の内視鏡画像中の2つ以上のランドマークを含む一致するランドマークを識別することと、第1の画像の座標系において一致するランドマークに対して第1および第2の内視鏡画像を位置合わせすることと、少なくとも位置合わせされた第1および第2の画像を使用してターゲットマップを生成することとをさらに備える動作を実行させる。
【0043】
実施例37において、実施例36の主題は、第1および第2の内視鏡画像を位置合わせする動作が、第2の画像のスケーリング、平行移動、または回転のうちの1つまたは複数を含む第2の画像を変換することと、一致するランドマークに対して、変換された第2の画像および第1の画像を位置合わせすることとを含むことを任意で含む。
【0044】
実施例38において、実施例37の主題は、第2の画像を変換する動作が、第2の画像における対応する2つの対応するランドマーク間の距離に対する第1の画像における一致するランドマークのうちの2つの間の距離の比に基づく倍率によって第2の画像をスケーリングすることを任意で含む。
【0045】
実施例39において、実施例37～38のうちのいずれか1つまたは複数の主題は、第2の画像を変換する動作は、第2の画像における照準ビームフットプリントの幾何学的特徴に対する第1の画像における照準ビームフットプリントの幾何学的特徴の比に基づく倍率によって第2の画像をスケーリングするステップを任意で含む。
【0046】
実施例40において、実施例37～39のうちのいずれか1つまたは複数の主題は、第2の画像を変換する動作が、第1の画像と第2の画像との間の内視鏡の向きにおける変化を補正することであって、内視鏡の向きは、ターゲット部位に対する内視鏡の先端の傾きを示すことを任意で含む。
【0047】
実施例41において、実施例40の主題は、命令が、機械に、第1の画像における一致するランドマークのうちの2つの間の第1の勾配と、第2の画像における対応する2つのランドマーク間の第2の勾配とを使用して、内視鏡の向きにおける変化を検出することをさらに備える動作を実行させることを任意で含む。
【0048】
実施例42において、実施例40～41のうちのいずれか1つまたは複数の主題は、命令が、機械に、第1の画像における照準ビームフットプリントの第1の幾何学的特徴と、第2の画像における照準ビームフットプリントの第2の幾何学的特徴とを使用して、内視鏡の向きにおける変化を検出することをさらに備える動作を実行させることを任意で含む。
【0049】
実施例43において、実施例33～42のうちのいずれか1つまたは複数の主題は、命令が、機械に、内視鏡処置中に未知の内視鏡位置からターゲットの処置部位のリアルタイム画像をキャプチャすることと、リアルタイム画像における対応する2つ以上のランドマークと一致するターゲットマップ内の2つ以上のランドマークを含む、一致するランドマークを識別することと、一致するランドマークを使用してリアルタイム画像をターゲットマップに登録することと、リアルタイム画像の登録に基づいて内視鏡の先端の位置を追跡することをさらに備える動作を実行させることを任意で含む。
【0050】
実施例44において、実施例33～43のうちのいずれか1つまたは複数の主題は、一致するランドマークを識別する動作が、リアルタイム画像におけるランドマーク間の距離の1つまたは複数の比と、ターゲットマップにおけるランドマーク間の距離の1つまたは複数の比とに基づくことを任意で含む。
【0051】
この要約は、本出願の教示のうちの一部の概要であり、本主題の排他的または網羅的な扱いを意図するものではない。本主題に関するさらなる詳細は、詳細な説明および添付の特許請求の範囲に記載されている。本開示の他の態様は、以下の詳細な説明を読んで理解し、その一部を形成する図面を見ると、当業者には明らかとなるであろう。それらの各々は、限定的な意味で解釈されるべきではない。本開示の範囲は、添付の特許請求の範囲およびそれらの法的均等物によって定義される。
【0052】
様々な実施形態が、添付の図面の図に例として示されている。そのような実施形態は例示であり、本主題の網羅的または排他的な実施形態であることを意図するものではない。
【図面の簡単な説明】
【0053】
【図1】内視鏡処置において使用するための医療システムの一例を示す図である。
【図4A】異なるターゲット部位およびランドマークにおいてキャプチャされた内視鏡画像またはビデオフレームのシーケンス、ならびにそこから検出された照準ビームフットプリントの例を示す図である。
【図4B】異なるターゲット部位およびランドマークにおいてキャプチャされた内視鏡画像またはビデオフレームのシーケンス、ならびにそこから検出された照準ビームフットプリントの例を示す図である。
【図4C】異なるターゲット部位およびランドマークにおいてキャプチャされた内視鏡画像またはビデオフレームのシーケンス、ならびにそこから検出された照準ビームフットプリントの例を示す図である。
【図4D】異なるターゲット部位およびランドマークにおいてキャプチャされた内視鏡画像またはビデオフレームのシーケンス、ならびにそこから検出された照準ビームフットプリントの例を示す図である。
【図4E】異なるターゲット部位およびランドマークにおいてキャプチャされた内視鏡画像またはビデオフレームのシーケンス、ならびにそこから検出された照準ビームフットプリントの例を示す図である。
【図4F】異なるターゲット部位およびランドマークにおいてキャプチャされた内視鏡画像またはビデオフレームのシーケンス、ならびにそこから検出された照準ビームフットプリントの例を示す図である。
【図5】異なるターゲット部位においてキャプチャされた複数の内視鏡画像またはビデオフレームから再構築されたターゲットマップの例を示す図である。
【図6A】内視鏡画像特徴に対する内視鏡の向きの影響、および内視鏡画像間の内視鏡の向きにおける変化に対する補正を例として示す図である。
【図6B】内視鏡画像特徴に対する内視鏡の向きの影響、および内視鏡画像間の内視鏡の向きにおける変化に対する補正を例として示す図である。
【図6C】内視鏡画像特徴に対する内視鏡の向きの影響、および内視鏡画像間の内視鏡の向きにおける変化に対する補正を例として示す図である。
【図6D】内視鏡画像特徴に対する内視鏡の向きの影響、および内視鏡画像間の内視鏡の向きにおける変化に対する補正を例として示す図である。
【図6E】内視鏡画像特徴に対する内視鏡の向きの影響、および内視鏡画像間の内視鏡の向きにおける変化に対する補正を例として示す図である。
【図6F】内視鏡画像特徴に対する内視鏡の向きの影響、および内視鏡画像間の内視鏡の向きにおける変化に対する補正を例として示す図である。
【図7】リアルタイム画像と再構築されたターゲットマップとの間で一致するランドマークを認識し、一致するランドマークに関してリアルタイム画像をターゲットマップに登録する例を示す図である。
【図8】処置中の被験者の体内のターゲットの内視鏡的マッピングのための方法を示す流れ図である。
【図9】再構築されたターゲットマップを使用する内視鏡追跡のための方法の一例を示す流れ図である。
【図10】本明細書で論じる技法(たとえば、方法論)のうちの任意の1つまたは複数が実行され得る例示的な機械を示すブロック図である。
【発明を実施するための形態】
【0054】
低侵襲内視鏡手術は、剛性または可撓性内視鏡を被験者の体のターゲット領域に自然の開口部または皮膚の小さな切開部から導入する外科的処置である。手術部位および手術器具の外科医に視覚的なフィードバックを提供するために、内視鏡を使用して、レーザファイバなどの追加の手術器具を同様のポートから被験者の体内に導入することができる。
【0055】
内視鏡手術は、術前段階および術中段階を含み得る。術前段階は、撮像システム(たとえば、ビデオカメラ)を使用してターゲットの解剖学的構造または対象の画像またはビデオフレームを獲得することと、その画像またはビデオフレームを使用してマップを再構築することとを含む。マップは、診断評価または内視鏡手術計画のために使用され得る。術中段階では、内視鏡をターゲットの処置部位に導入することができる。手術者は、内視鏡の遠位端を移動および旋回させ、内視鏡の遠位端に配置された撮像システムなどを介して処置部位のリアルタイム画像を獲得することができる。内視鏡の遠位端における外科用ツール(たとえば、レーザファイバ)の位置および向きは、処置全体を通して監視および追跡することができる。
【0056】
1つの従来の術中追跡は、自動追跡またはナビゲーションシステムなしで手術野のリアルタイム画像またはビデオを表示するモニタ上で外科医が手術野を見るフリーハンド技法を含む。この手法は、ターゲットに対する内視鏡手術ツールの位置および向きの追跡を容易にする画像間の関係を確立することができない。別の手法は、内視鏡手術ツールの位置および向きを追跡する、光学または電磁追跡システムなどのナビゲーションベースの追跡システムを含む。リアルタイム画像をターゲットマップに位置合わせするために、画像登録手順を実行することができる。リアルタイム画像に表示される基準マーカは、内視鏡手術ツールの位置および向きのリアルタイムフィードバックを用いて外科医を誘導するための参照として使用される。基準マーカは、患者に取り付けられた外部対象、または内部の解剖学的基準である可能性がある。外部基準は、位置の一貫性に欠け、システムの複雑さを増す可能性がある。内部基準を使用すると、処置中にスコープが解剖学的基準に触れる必要があるなど、一般に内視鏡の物理的な動きが制限され、処置時間が長くなる可能性がある。従来のナビゲーションベースの内視鏡追跡システムはまた、ターゲット面に対するカメラの位置、視線方向、および向き(たとえば、傾きまたはスキュー)における変化などによる画像の歪みまたは変形があると、追跡性能が低下することがある。少なくとも上記の理由により、本発明者らは、内視鏡処置で使用される場合の、画像の歪みまたは変形に対してより堅牢な改善された内視鏡マッピングおよび追跡システムに対する満たされていない必要性を認識した。
【0057】
本明細書に記載されているのは、処置中に、ターゲットの内視鏡マッピング、および被験者の体内の内視鏡位置を追跡するためのシステム、デバイス、および方法である。例示的なシステムは、ターゲットに向けられた照準ビームのフットプリントを含むターゲットの内視鏡画像をキャプチャするように構成された撮像システムと、キャプチャされた内視鏡画像から1つまたは複数のランドマークを識別し、照準ビームフットプリントに対するそれぞれの位置を決定することと、複数の内視鏡画像のうちの1つまたは複数から識別されたランドマークに基づいて、複数の内視鏡画像を統合することによってターゲットマップを生成することとを行うように構成されたビデオプロセッサとを備える。ターゲットマップは、処置中に処置中の内視鏡の位置を追跡するために使用することができる。
【0058】
本明細書で論じる様々な実施形態によるシステム、デバイス、および方法は、内視鏡処置中のターゲットの改善された内視鏡マッピングおよび内視鏡位置の追跡を提供することができる。本開示の様々な例によれば、内視鏡画像から、たとえば、とりわけ照準ビームフットプリントに対するランドマークおよびそれらの位置、ランドマーク間の空間関係、照準ビームフットプリントの形状および幾何学的特性などを含む、様々な画像特徴が生成され得る。本明細書で説明するそれらの画像特徴に基づく画像登録、ターゲットマップの再構築、および内視鏡追跡は、内視鏡処置中の画像の回転、拡大、縮小、カメラ位置における変化、視線方向、または内視鏡の向きの変化に対してより回復力がある。改善されたナビゲーションおよび内視鏡追跡により、手術者の介入能力および内視鏡動作の精度を向上させることができ、処置時間を短縮することができ、全体的な処置の有効性、患者の安全性、およびシステムの信頼性を向上させることができる。
【0059】
本明細書で説明する主題は、関節鏡検査、気管支鏡検査、結腸鏡検査、腹腔鏡検査、脳内視鏡検査、および内視鏡心臓手術を含むが、これらに限定されない、様々な内視鏡用途に適用することができる。内視鏡心臓手術の例は、内視鏡冠状動脈バイパス、内視鏡僧帽弁および大動脈弁の修復および置換を含むが、これらに限定されない。本明細書において、「内視鏡(endoscopic)」は、体内から撮像する能力を有する任意のタイプの内視鏡によって獲得される画像の特徴付けとして広く定義される。本発明の目的のための内視鏡の例は、可撓性または剛性の任意のタイプのスコープ(たとえば、内視鏡、関節鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経鏡、耳鏡、プッシュエンテロスコープ、鼻咽頭鏡、S状結腸鏡、副鼻腔鏡、胸腔鏡など)、および画像システムを備えたスコープに類似する任意のデバイス(たとえば、撮像を備えた入れ子式カニューレ)を含むが、これらに限定されない。撮像は局所的であり、表面画像は、光ファイバ、レンズ、または小型化された(たとえば、CCDベース)撮像システムを使用して光学的に取得され得る。本発明の目的のための蛍光透視鏡の例は、X線撮像システムを含むが、これに限定されない。
【0060】
図1は、内視鏡処置において使用するための医療システム100の一例を示す図である。システム100は、内視鏡102、内視鏡コントローラ103、光源104、レーザ装置106、およびディスプレイ108を備える。システム100の一部の概略図が図2に示されている。内視鏡102は、遠位部に挿入部110を含み、内視鏡102の近位部に動作ユニット107を含むことができる。挿入部110は、被験者のターゲット部位に挿入され、ターゲット101の画像をキャプチャし、任意でその中で処置を実行するように構成することができる。挿入部110は、照明ファイバ(照明ガイド)、電気ケーブル、光ファイバ等を用いて形成することができる。図1に示される例では、挿入部110は、撮像ユニットを内蔵する遠位端部110aと、複数の湾曲片を含む湾曲可能な湾曲部110bと、湾曲部110bの近位端部側に設けられた可撓性を有する可撓管部110cとを有する。
【0061】
図2を参照すると、遠位端部110aは、光源104に結合され、照明レンズ122を介してターゲット101上に照明光230を投影するように構成された照明ガイド120を備えることができる。遠位端部110aは、ターゲット101を撮像するように構成された撮像システム115などの観察ユニットを含み得る。撮像システム115は、画像センサ116および関連付けられるレンズシステム118を含むことができる。画像センサ116の例は、紫外(UV)、可視(VIS)、または赤外(IR)波長に感応するCCDまたはCMOSカメラを含むことができる。内視鏡102は、内視鏡102の内部に位置し、挿入部110に沿って延びる治療ツールチャネル102aに結合された挿入ポート107bを含み得る。挿入ポート107bを通じてチャネル102a内に配置された光経路112は、レーザ装置106に動作可能に接続された近位端を有し、チャネル102aの遠位端開口部102bから遠位に延びる。治療ビーム240aまたは照準ビーム240bなどのレーザエネルギーは、光経路112を通して伝達され、光経路112の遠位端112aから放出され、ターゲット101に向けられ得る。内視鏡102は、遠位端部110aに空気/水供給ノズル(図示せず)を任意で含み得る。
【0062】
動作ユニット107は、手術者によって保持されるように構成することができる。動作ユニット107は、内視鏡102の近位端部に配置されてよく、動作ユニット107から延在する可撓性ユニバーサルコード114を介して内視鏡コントローラ103および光源104と通信するように構成される。図1に示されるように、動作ユニット107は、湾曲部110bを上下方向および左右方向に湾曲させるための湾曲ノブ107aと、医療用鉗子等の治療ツールまたは光経路112を被験者の体腔内に挿入するための治療ツール挿入ポート107bと、内視鏡コントローラ103、光源104、送気デバイス、給水デバイス、または気体供給デバイス等の周辺デバイスを動作するための複数のスイッチ107cとを含む。光経路112などの治療ツールは、治療ツール挿入ポート107bからチャネル102aを通って挿入され、その遠位端が、挿入部110の遠位端においてチャネル102aの開口部102b(図2参照)から露出するようにする。
【0063】
内視鏡コントローラ103は、光源104、レーザ装置106、または画像センサ116によって感知された画像またはビデオ信号に基づいてターゲット101の画像を表示するディスプレイ108などの、システム100の1つまたは複数の要素の動作を制御することができる。内視鏡102の遠位端は、照準ビーム240bが撮像システム115の視野(FOV)内のターゲット位置に向けられるように、配置および配向されてもよく、また、内視鏡画像は照準ビーム240bのフットプリントを含む。照準ビーム240bは、レーザエネルギー源から放出されるレーザビームとして示されているが、他の光源を使用して、光ファイバに沿って移動する照準ビームを生成することができる。内視鏡コントローラ103は、内視鏡画像に画像処理を適用し、複数の内視鏡画像を統合することによってターゲットのマップを再構築することができる。いくつかの例では、内視鏡処置中に内視鏡の先端を位置特定および追跡するために、内視鏡コントローラ103は、再構築されたターゲットマップを使用することができる。ターゲットの内視鏡マッピングおよび内視鏡位置の追跡を含む内視鏡コントローラ103の例は、たとえば図3を参照して以下に論じられる。
【0064】
ユニバーサルコード114は、照明ファイバ、ケーブル等を含む。ユニバーサルコード114は、その近位端で分岐していてもよい。分岐端の一方の端はコネクタ114aであり、分岐端の他方の近位端はコネクタ114bである。コネクタ114aは、内視鏡コントローラ103のコネクタに着脱可能である。コネクタ114bは、光源104に着脱可能である。ユニバーサルコード114は、光源104からの照明光を、コネクタ114bおよび照明ガイド120を介して遠位端部110aまで伝搬させる。さらに、ユニバーサルコード114は、撮像システム115によってキャプチャされた画像またはビデオ信号を、コード内の信号線124(図2参照)を介して、およびコネクタ114aを介して内視鏡コントローラ103に送信することができる。内視鏡コントローラ103は、コネクタ114aから出力された画像またはビデオ信号の画像処理を遂行し、システム100を構成する構成要素の少なくとも一部を制御する。
【0065】
光源104は、内視鏡102が処置において使用されている間、照明光を生成することができる。光源104は、たとえば、キセノンランプ、発光ダイオード(LED)、レーザダイオード(LD)、またはそれらの任意の組合せを含むことができる。一例では、光源104は、照明モードと呼ばれる異なる照明特性を有する光を放出する2つ以上の光源を含み得る。光源104は、内視鏡コントローラ103の制御の下、光を放出し、コネクタ114bおよびユニバーサルコード114の照明ガイドを介して接続された内視鏡102に、対象である被験者の体内の照明光として供給する。照明モードは、白色光照明モード、または狭帯域撮像モード、自動蛍光撮像モード、もしくは赤外線撮像モードなどの特殊光照明モードであってもよい。特殊光照明は、特定の波長の光を集中させて強めることができ、たとえば、粘膜の不規則性の微妙なコントラストを強調するために、表面の微小血管および粘膜表面構造をよりよく視覚化する。
【0066】
ディスプレイ108は、たとえば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等を含む。ディスプレイ108は、ビデオケーブル108aを介して、内視鏡コントローラ103によって画像処理するために、ターゲット被験者の内視鏡画像を含む情報を表示することができる。いくつかの例では、内視鏡画像の1つまたは複数はそれぞれ、照準ビーム240bのフットプリントを含み得る。手術者は、ディスプレイ108に表示された画像を見ながら内視鏡102を動作することによって、被験者の体内の内視鏡の挙動を観察し、追跡し得る。
【0067】
レーザ装置106は、レーザファイバなどの光経路112とともに使用するためのものである。図2を参照すると、レーザ装置106は、光経路112の近位端に結合されたレーザエネルギーを生成するために、第1のエネルギー源202および第2のエネルギー源204などの1つまたは複数のエネルギー源を含むことができる。一例では、ユーザは、レーザ装置106上のボタン106a(図1を参照)またはフットスイッチ(図示せず)などを介して、ソフトウェアもしくはディスプレイ108上のユーザインターフェース、または当技術分野で知られている手動もしくは自動の他の入力を通じて、エネルギー源を選択し得る。
【0068】
第1のエネルギー源202は、光経路112に光学的に結合され得、光経路112を通して治療ビーム240aをターゲット101に送達するように構成され得る。限定ではなく一例として、第1のエネルギー源202は、切断(切除)モードおよび凝固(止血)モードなどの異なる治療モードにおいて動作するために、光経路112を通じてターゲット組織に送達するためのレーザ光を生成するために使用される、ツリウムレーザを含むことができる。Ho:YAG、Nd:YAGおよびCO2、ならびに当技術分野で知られている他のものなど、組織のそのような治療、または任意の他の治療モードのための当技術分野で知られている他のエネルギー源も、第1のエネルギー源202のために使用することができる。
【0069】
第2のエネルギー源204は、光経路112に光学的に結合され、光経路112を通してターゲット101に照準ビーム240bを向けるように構成され得る。照準ビーム240bは、レーザ源から放出されるレーザビームとして示されているが、光ファイバに沿って移動する照準ビーム240bを生成するために他の光源が使用されてもよい。照準ビーム240bは、ターゲットが照明光230によって照らされるときに放出され得る。いくつかの例では、第2のエネルギー源204は、少なくとも2つの異なる照準ビームを放出し得、第1の照準ビームは、第2の照準ビームとは異なる少なくとも1つの特性を有する。そのような異なる特性は、波長、出力レベル、および/または放出パターンを含むことができる。たとえば、第1の照準ビームは500nmから550nmの範囲の波長を有することができ、第2の照準ビームは635nmから690nmの範囲の波長を有することができる。異なる照準ビームの特性は、内視鏡コントローラ103によって処理され、光源104によって提供される特定の照明モードの下でディスプレイ108上に表示される画像における照準ビームの可視性に基づいて選択され得る。
【0070】
レーザ装置106は、第1のエネルギー源202および第2のエネルギー源204の動作を制御する、マイクロプロセッサなどのハードウェアを備えるコントローラ206を含み得る。図2に示される例において、照明光230に応答して、ターゲット101から反射された光は、遠位端112aから光経路112に入ることができる。レーザビームを伝送するように構成された光経路112は、反射された光をレーザ装置106に戻すための経路としても使用され得る。スプリッタ205は、反射された光を収集し、同じ光経路112を介してターゲット101に送達されたレーザビームからそれを分割することができる。レーザ装置106は、スプリッタ205に動作可能に結合され、スプリッタから反射された光を検出するように構成された分光計208を含むことができる。あるいは、反射された光は、光経路112から分離された光経路(たとえば、光ファイバ)を通じて誘導されてもよい。分光計208は、専用光経路に動作可能に結合され、そこから反射された光を検出することができる。
【0071】
分光計208は、感知された反射信号から1つまたは複数の分光特性を測定することができる。分光計208の例は、とりわけ、フーリエ変換赤外線(FTIR)分光計、ラマン分光計、UV-VIS分光計、UV-VIS-IR分光計、または蛍光分光計を含み得る。分光特性は、反射率、反射スペクトル、吸収指数などの特性を含み得る。分光特性は、構造カテゴリ(たとえば、解剖学的組織または結石)またはターゲットの化学組成を示す特定の構造タイプを示し得る。
【0072】
図3は、システム100において使用するための内視鏡コントローラ103の例を示すブロック図である。内視鏡コントローラ103は、本明細書に記載の様々な例に従って動作を実行するためのマイクロプロセッサなどのハードウェアを備える。内視鏡コントローラ103は、デバイスコントローラ310、ビデオプロセッサ320、内視鏡追跡装置330、およびメモリ340を含むことができる。デバイスコントローラ310は、内視鏡102、ディスプレイ108、光源104、またはレーザ装置106などのシステム100の1つまたは複数の構成要素の動作を制御することができる。
【0073】
ビデオプロセッサ320は、信号線124を介して撮像システム115から画像またはビデオ信号を受信し、ディスプレイ108上に表示され得る画像またはビデオフレームを生成するために画像またはビデオ信号を処理し得る。いくつかの例では、複数の内視鏡画像(たとえば、ビデオフレーム)が生成され、ディスプレイ108上に表示され得る。複数の内視鏡画像は、内視鏡の先端および撮像システム115が静止したままの場合、ターゲット101の同じ部位において撮影され得、一方、光経路112(たとえば、レーザファイバ)の遠位端112aは移動し、レーザビームをターゲットの異なる位置に向けることができる。いくつかの例では、同じターゲット部位の複数の内視鏡画像が異なる時間に撮影され得る。後に撮影された画像は、画像変換および/または画像位置合わせのプロセスなどを通じて、同じターゲット部位の以前に撮影された画像と登録され得る。登録された画像は、ターゲット部位における組織状態における変化を決定するために使用され得る。追加的または代替的に、複数の内視鏡画像は、内視鏡の遠位端がターゲット101を横切ってパンするときなど、ターゲット101の異なる部位において撮影され得る。内視鏡のパンニング中、内視鏡の遠位端は、手術者によって手動で、または内視鏡アクチュエータによって自動的に、様々な内視鏡の位置{L1、L2、…、LN}(すなわち、内視鏡の遠位端の位置)に移動して配置され得る。撮像システム115は、内視鏡コントローラ103の制御下で、ターゲット101の実質的な表面積を共同でカバーするそれぞれのターゲット部位{S1、S2、…、SN}において画像(または、ビデオフレーム)のシーケンス{G1、G2、…、GN}を撮影することができる。たとえば、撮像システム115のFOV内にあるターゲット部位Siの内視鏡画像Giは、レンズシステム118が内視鏡位置Liに配置および配向されたときに撮影され得る。内視鏡の遠位端が異なる内視鏡位置Ljに移動されると、別の内視鏡画像Gjが、撮像システム115のFOV内に入る異なるターゲット部位Sjにおいて撮影され得る。ビデオプロセッサ320は、たとえば、図4A～図4Fおよび図5を参照して以下でさらに説明する様々な例などに従って、ターゲット101のマップを作成するために、結果として得られた画像{G1、G2、…、GN}を統合し得ることができる。
【0074】
上述のように、内視鏡の先端は、照準ビーム240bが撮像システム115のFOV内に収まるように配置および配向され、照準ビームフットプリントが内視鏡画像(たとえば、Gi)にキャプチャされ得る。一例では、ビデオプロセッサ320は、内視鏡画像の背景とは異なる色で照準ビームフットプリントを着色し得る。ビデオプロセッサ320は、照準ビーム240bの色を内視鏡画像のピクセルの色に一致させることによって、照準ビーム240bが現在照射している場所を識別することができる。
【0075】
ビデオプロセッサ320は、内視鏡画像から1つまたは複数のランドマークを検出するように構成されたランドマーク検出器321を含み得る。ランドマークは、手術者によって手動で作成されてもよく、または画像処理アルゴリズムを使用して自動的に識別されてもよい。一例では、ランドマーク検出器321は、内視鏡画像のピクセルの輝度の変化に基づいてランドマークを検出し得る。一例では、ランドマーク検出器321は、最小コントラストしきい値、ならびに同様の正および負のコントラスト勾配の間のピクセル数によって制約されるエッジ検出を使用してランドマークを検出し得る。検出されたランドマークは、血管を示している可能性がある。エッジ検出は、血管セグメントの開始を示すピクセル輝度の明から暗への遷移、および血管セグメントの終了を示すピクセル輝度の後続の暗から明への遷移を検出することを含み得る。血管の検出を確認するために、追加の基準が適用され得る。たとえば、前記後続の遷移が少なくともユーザ定義の数の暗いピクセルにおいて発生し、両側でしきい値数の明るいピクセルによって境界付けられている場合、明るいピクセルと暗いピクセルとの間の遷移によって定義されるエッジは、一方または両方のエッジに沿ったそれらのポイントが少なくとも別のしきい値よりも長い長さだけ続く限り、ランドマークとして使用され得る。別の例では、検出されたエッジは、エッジのピクセルの線形回帰が、例では0.8などの、ターゲットしきい値よりも大きいR2乗または他の適合度を有する直線を生成する場合、血管として識別される。
【0076】
ランドマークは、内視鏡マップにおいて異なる形態を有し得る。一例では、ランドマークは、内視鏡画像において線分として表され得る。別の例では、ランドマークは、交差ランドマークまたは点ランドマークと呼ばれる点において交差する2つ以上の線分として内視鏡画像において表され得る。いくつかの例では、互いに近接する2つの、交差せず、平行でない線分(特定の距離範囲内など)について、ランドマーク検出器321は、点ランドマークを作成するために、一方の線分が他方の線分と交差するまで一方の線分をアルゴリズム的に延長し得る。
【0077】
ランドマーク検出器321は、内視鏡画像の座標系における照準ビームフットプリントに対してランドマークを位置特定し得る。たとえば、内視鏡マップにおける点ランドマークの位置は、点ランドマークと照準ビームフットプリントとの間のベクトル、または座標系におけるX軸およびY軸に沿った距離によって表され得る。いくつかの例では、ランドマーク検出器321は、内視鏡画像の座標系において、ランドマーク間の距離および勾配などのランドマーク間の空間関係を決定し得る。様々な例によれば、ランドマークおよびそれらの位置、照準ビームフットプリント、およびランドマーク間の空間関係に関する情報がメモリ340に記憶され、本明細書で説明されている様々な例に従って、内視鏡処置中の内視鏡画像登録、ターゲットマップ再構築、または内視鏡追跡のために使用される。
【0078】
ランドマーク検出器321は、メモリ340に記憶するため、または画像登録、ターゲットマップ再構築、もしくは内視鏡追跡などの用途のために、検出されたランドマークのサブセットを選択し得る。一例では、内視鏡画像におけるランドマークの空間分布など、ランドマークの位置に基づいてランドマークのサブセットが選択され得る。たとえば、内視鏡画像全体に広がっているランドマークは、内視鏡画像における密集したランドマークのクラスタよりも有利に選択される可能性がある。別の例では、ランドマークが配置されているターゲット部位においてレーザエネルギーが活性化されているかどうかに基づいて、ランドマークのサブセットが選択され得る。レーザエネルギーはランドマーク検出の精度および一貫性に影響を与える可能性があるため、一例では、レーザエネルギーによって活性化されないランドマークは、レーザエネルギーによって活性化される別のランドマークよりも有利に選択される可能性がある。
【0079】
いくつかの例では、内視鏡コントローラ103は、ランドマークの検出および位置特定を改善するために、ターゲット101の特別な照明条件を生成するために光源104または照明レンズ122を制御し得る。たとえば、光源104は、ターゲット101の内視鏡画像のコントラストを増加させ、経時的に移動または変化する可能性が低い血管系をより明確に定義するために、青色または緑色の照明を提供し得る。これにより、わずかに異なる照明条件の下で、より一貫したランドマークの検出および位置特定が可能になる。一例では、内視鏡コントローラ103は、ランドマークを最適に識別するために緑色または青色の光源をオンにするなど、照明を一時的に変更し、ランドマークが識別された後に通常の照明モードに戻ることができる。
【0080】
ビデオプロセッサ320は、ターゲット101の照準ビーム位置におけるターゲットタイプを識別するように構成されたターゲット識別子322を含み得る。一例では、ターゲットタイプの識別は、ターゲット101から反射された照明光の1つまたは複数の分光特性に基づき得る。分光学的特性は、分光計208を使用して測定され得る。識別されたターゲットタイプは、解剖学的組織タイプまたは結石タイプを含み得る。結石のタイプの例は、泌尿器系、胆嚢、鼻道、胃腸管、胃、または扁桃腺などの様々な結石形成領域にある結石または結石の破片を含み得る。解剖学的組織タイプの例は、とりわけ、軟組織(たとえば、筋肉、腱、靭帯、血管、筋膜、皮膚、脂肪、および繊維組織)、骨などの硬組織、軟骨などの結合組織を含み得る。一例では、ターゲット識別子322は、反射照明信号の特性に基づいて、ターゲット101の照準ビーム位置における組織タイプを正常および異常組織、または粘膜もしくは筋肉組織として識別し得る。
【0081】
ビデオプロセッサ320は、識別された組織タイプを示す視覚的識別子を用いて、ディスプレイ108上に表示されるように、内視鏡画像における照準ビームフットプリントをマーク付けし得る。一例では、視覚的識別子は、異なる組織タイプを示すために照準ビームフットプリントが異なる色を用いて着色され得るように、色コードを含むことができる。たとえば、照準ビームフットプリントは、ターゲット部位が正常な組織として認識された場合は緑色に、またはターゲット部位が異常な組織(たとえば、癌)として認識された場合は赤色に着色され得る。一例では、ビデオプロセッサ320は、正常な組織または異常な組織を表す色とは異なる色を使用することなどによって、ターゲット部位における経時的な組織タイプにおける変化(たとえば、正常から異常へ、またはその逆)を示す視覚的識別子を用いて照準ビームフットプリントをマーク付けし得る。別の例では、ビデオプロセッサ320は、ターゲット部位における治療状態を示す視覚的識別子を用いて照準ビームフットプリントをマーク付けし得る。たとえば、ターゲット部位が(たとえば、レーザ治療を用いて)治療されている場合、照準ビームフットプリントは、正常な組織または異常な組織を表す色とは異なる色のドットによって表され得る。
【0082】
図4A～図4Fは、限定ではなく一例として、関心のある他の解剖学的構造の中でも、腎臓、膀胱、尿道、または尿管の内部などの、ターゲット101において撮影された内視鏡画像のシーケンス(たとえば、ビデオフレーム){G1、G2、…、GN}を示している。内視鏡画像は、ディスプレイ108上に表示され得る。上述のように、内視鏡画像は、異なる時間に同じターゲット部位において撮影されてもよく、または内視鏡の先端がターゲット101を横切ってパンするときに異なるターゲット部位{S1、S2、…SN}において撮影されてもよい。ターゲット識別子322は、ターゲット部位{S1、S2、…SN}に対応する照準ビーム位置において、ターゲットタイプを識別し得る。ビデオプロセッサ320は、対応する内視鏡画像における照準ビームフットプリントを、対応するターゲットタイプを識別するそれぞれの視覚的識別子(たとえば、色)を用いてマーク付けすることと、内視鏡画像からランドマークを検出して位置特定することと、内視鏡画像から識別されたランドマークに基づいて、内視鏡画像をターゲット101のターゲットマップに統合することとを行い得る。
【0083】
図4A～図4Fに示されるように、内視鏡画像410～460は、内視鏡の先端がターゲット101を横切ってパンするときに生成され、その間に内視鏡の遠位端が手動または自動で移動され、異なる内視鏡位置に配置される。図4Aは、撮像システム115のFOV内に入る照射されたターゲット部位S1のグラフィック表現と、円形の照準ビームフットプリント412とを含む内視鏡画像410を示している。照準ビームフットプリント412は、照準ビーム位置の組織が正常な組織であることを示すために緑色に着色されている。この例では、光経路112(たとえば、レーザファイバ)の遠位端112aの画像413および内視鏡102の遠位部の画像414も画像410に示されている。
【0084】
画像410はまた、ターゲット識別子322によって検出されたものなどの、ランドマーク415A～415Cを含む。この例では、ランドマーク415Bおよび415Cはそれぞれ、交差して点ランドマークを形成する2つの線分によって表され、ランドマーク415Aは、点ランドマークを形成するために(たとえば、一方の線分を他方に向かって投影することによって)アルゴリズム的に交差する2つの線分によって表される。図3を参照して上述したように、ランドマーク415A～415Cの位置は、ターゲット識別子322によって決定され得る。照準ビームフットプリント412およびランドマーク415A～415Cに関する情報を含む画像410は、メモリ340に記憶され得る。
【0085】
内視鏡の遠位端が手動または自動で新しい内視鏡位置に移動されると、図4Bに示されるような別の内視鏡画像420が生成され得る。新しい内視鏡画像420は、新しい内視鏡位置に対応する新しい照らされたターゲット部位S2のグラフィック表現、および新しい照準ビームフットプリント422を含む。現在の照準ビームにおける組織が正常組織として認識されるので、照準ビームフットプリント422が緑色に着色されている。現在の内視鏡画像から検出された場合、新しいランドマークは画像に含まれる可能性がある。この例では、内視鏡画像420から新しいランドマークは検出されない。以前の照準ビームフットプリント412および以前に生成されたランドマーク415A～415Cは、現在の内視鏡位置において撮像システムのFOV内に位置する場合、現在の画像420に保持され得る。
【0086】
遠位端の移動が小さいステップサイズで行われる場合、照らされたターゲット部位S1およびS2は重なり合い、図4Aおよび図4Bに示されるように、2つの内視鏡画像410および420は両方ともターゲット101の共通領域をカバーし得る。内視鏡画像410および420から、1つまたは複数の一致するランドマークが識別され得る。以下で説明する様々な例に従って、ターゲットのマップを再構築するために画像410および420を位置合わせするために、そのような一致するランドマークが使用され得る。
【0087】
内視鏡パンニングプロセスが継続され得、追加の内視鏡画像が生成され得る。図4Cは、新しい照らされたターゲット部位S3のグラフィック表現を含む画像430を示し、新しい照準ビームフットプリント432は、現在の照準ビーム位置において異常な組織が認識されていることを示す赤色に着色されている。新しいランドマーク435A～435Bは、現在の内視鏡画像から検出され得る。以前の照準ビームフットプリントおよび以前に生成されたランドマーク(たとえば、415A～415C)は、依然として現在の内視鏡位置における撮像システムのFOV内にあり、画像430内に保持され得る。
【0088】
図4Dは、新しい照らされたターゲット部位S4のグラフィック表現を含む画像440を示しており、新しい照準ビームフットプリント442は、現在の照準ビーム位置において正常な組織が認識されていることを示す緑色に着色されている。新しいランドマーク445A～445Cは、現在の内視鏡画像から検出され得る。新しい照準ビームフットプリント(組織タイプを表すその位置および色を含む)および新しいランドマーク(照準ビームフットプリントに対するそれらの位置を含む)、ならびに以前の照準ビームフットプリントおよび以前に生成されたランドマークは、メモリ340に記憶され得る。現在の内視鏡位置における撮像システムのFOV内にある以前の照準ビームフットプリントおよび以前に生成されたランドマーク(たとえば、435B)は、画像440内に保持され得る。
【0089】
内視鏡の遠位端は、手動または自動で、特定の経路に沿って、または特定のパターンに従って移動され得、これにより、パンニングプロセス中に生成された内視鏡画像は、ターゲット101の実質的な表面積のパノラマカバレッジを一緒に提供し得る。非限定的な例として、図4A～図4Fは、対応する内視鏡画像における照準ビームフットプリントによって示される長方形の経路を示している。左方向の水平移動の後(図4A～図4Dに示されるように)、内視鏡の遠位端は垂直に上向きに移動し、その間にそれぞれのターゲット部位において内視鏡画像が撮影され得る。図4Eは、新しい照らされたターゲット部位S5のグラフィック表現を含む画像450を示しており、新しい照準ビームフットプリント452は、現在の照準ビーム位置において正常な組織が認識されていることを示す緑色に着色されている。新しいランドマーク455A～455Bは、現在の内視鏡画像から検出され得る。現在の内視鏡位置における撮像システムのFOV内にある以前の照準ビームフットプリントおよび以前に生成されたランドマークは、画像450に保持される。
【0090】
上向きの垂直移動の後、内視鏡の遠位端は右方向の水平移動を行い、その間にそれぞれのターゲット部位において内視鏡画像が撮影され得る。図4Fは、照らされたターゲット部位S6のグラフィック表現を含む画像460を示しており、これは、画像410においてキャプチャされた以前に訪れた照らされた部位の一部を含み、新しい照準ビームフットプリント462は、現在の照準ビーム位置において正常な組織が認識されていることを示す緑色に着色されている。新しいランドマーク465A～465Bは、現在の内視鏡画像から検出され得る。現在の内視鏡位置における撮像システムのFOV内にある以前の照準ビームフットプリントおよび以前に生成されたランドマークは、画像460に保持される。これは、以前に生成されたランドマーク435Aを含み、一度内視鏡画像440および450の外側に出た。
【0091】
図3に戻ると、ビデオプロセッサ320は、メモリ340に記憶されたターゲット101の様々なターゲット部位の複数の内視鏡画像(または、ビデオフレーム){G1、G2、…、GN}を統合することによってターゲットマップを再構築するように構成されたターゲットマップジェネレータ323を含むことができる。図4A～図4Fを参照して上述したように、記憶された内視鏡画像Giは、照らされたターゲット部位のグラフィック表示、照準ビームフットプリント(その位置、および組織タイプを表す色を含む)、および1つまたは複数のランドマーク(照準ビームフットプリントおよびランドマーク間の空間関係に対するそれらの位置を含む)を含み得る。ターゲットマップジェネレータ323は、ランドマークに基づいて記憶された内視鏡画像{G1、G2、…、GN}を相対位置と位置合わせするために画像登録を実行し得る。画像登録は、第2の内視鏡画像(たとえば、異なる第2のターゲット部位Sjにおいて撮影された画像Gj)から識別された2つ以上のランドマークと一致する第1の内視鏡画像(たとえば、第1のターゲット部位Siにおいて撮影された画像Gi)から識別された2つ以上のランドマークを含む、一致するランドマークを識別することと、識別された一致するランドマークに関して第2の画像を第1の画像に位置合わせすることとを含み得る。たとえば、図4Cの画像430は、画像420および430の両方に存在する一致するランドマーク415A～415Cを使用して、図4Bの画像420と位置合わせされ得る。次いで、ターゲットマップを再構築するために、位置合わせされた画像を一致するランドマークに関してつなぎ合わせることができる。いくつかの例では、内視鏡画像からより多くのランドマークを識別できるようにするために、ランドマーク検出器321は、ランドマーク検出アルゴリズムを調整し得る(たとえば、エッジ検出のしきい値を下げる)。複数のランドマークは、画像間で一致するランドマークを識別する可能性を高め、画像の位置合わせの精度を向上させることができる。
【0092】
図5は、膀胱の実質的な領域などのターゲット101のターゲットマップ500の例を示している。スティッチングされた画像に加えて再構築されたマップは、複数の内視鏡画像から識別されたランドマークのセット、照準ビームフットプリント、ターゲットタイプ識別子(たとえば、照準ビームフットプリントの色コード)、照準ビームフットプリントに対するランドマークの位置、またはランドマーク間の空間関係のうちの1つまたは複数をさらに含み得る。ターゲットマップ500は、内視鏡処置中に内視鏡の位置を特定して追跡するなど、医療診断または治療計画を支援するために使用され得る。
【0093】
ターゲットマップを再構成するために使用される内視鏡画像(たとえば、図5のターゲットマップ500を再構成するために使用される図4A～図4Fにおける内視鏡画像410～460)に幾何学的歪みまたは変形が導入されることがあり、その結果、画像間の共通領域の不一致が生じる。たとえば、内視鏡の先端をターゲットに近づけたり、もしくはそこから遠ざけたりすること、または体の動き(たとえば、呼吸)によって、画像が拡大したりもしくは縮小したりすることがある。観察方向(内視鏡の遠位端にある撮像システム115からターゲットに向かう方向)の変化は、画像の回転を引き起こすことがある。場合によっては、内視鏡の向きの変化によって幾何学的な歪みまたは変形が引き起こされることがある。本明細書では、内視鏡の向きは、ターゲット面に対する内視鏡の先端の傾きまたは歪みを指す。ある画像から別の画像への内視鏡の向きにおける変化は、長さ、形状、および他の幾何学的特性に歪みを引き起こす可能性がある。そのような歪みまたは変形を補正するために、いくつかの例では、ターゲットマップジェネレータ323は、画像を別の画像と位置合わせする前に変換し得る。画像変換の例は、他の剛性の、類似性ベースの、またはアフィン変換の中でも、座標系における画像のスケーリング、平行移動、回転、またはせん断変換のうちの1つまたは複数を含み得る。一例では、画像は、たとえば、図7に関して以下に説明するような、2つの画像からそれぞれ測定されたランドマーク間距離に基づく倍率、または2つの画像における照準ビームフットプリントからそれぞれ測定された幾何学的特徴に基づく倍率によってスケーリングされ得る。一例では、内視鏡の向きにおける変化は、たとえば、図6A～図6Fに関して以下に説明するような、2つの画像からそれぞれ測定されたランドマーク間の勾配に基づいて、または2つの画像における照準ビームフットプリントからそれぞれ測定された幾何学的特徴に基づいて、以下で説明されるように補正され得る。
【0094】
変換は、画像データ(たとえば、データ配列)を乗じた変換行列として実装され得る。変換された画像は、2つの画像間で一致するランドマークに関して別の画像と位置合わせされ得る。いくつかの例では、位置合わせは、互いに対する複数のランドマークの勾配に基づき得る。そのような位置合わせは、ランドマーク間の距離(拡大における違い、またはターゲットからの内視鏡の距離に関する)に影響されない場合がある。本明細書に記載されている様々な例による画像変換は、内視鏡画像の回転、拡大、または縮小における違いに対するターゲットマップ再構築の堅牢性を向上させることができる。
【0095】
変換された内視鏡画像内のランドマークは、多くの場合、ターゲットの二次元投影面上にあるかのように、変換された状態でメモリ340に保存され得る。したがって、変換された内視鏡画像におけるランドマークは、他の歪みまたは変形の中でも、表面の不均一性、ゆがみ、回転、スケールに対して不変である。統合ターゲットマップを形成するために、保存された変換された内視鏡画像が統合され得る。保存されたランドマークは、新しい画像の比較の基礎として、または、たとえば、図7を参照して以下に説明するように、新しい画像を2次元投影面に変換し、新しい画像を保存されたターゲットマップに登録するための基礎として機能し得る。
【0096】
図6A～図6Fは、内視鏡画像特性に対する内視鏡の向きの影響、および2つの内視鏡画像間の異なる内視鏡の向きを補正する方法を示す図である。本明細書で論じる内視鏡の向き補正方法は、図7を参照して以下で説明するように、リアルタイムの手術中の内視鏡画像をターゲットマップ(ターゲットマップ500など)に登録するなどの画像登録の用途に適用され得る。内視鏡の向きは、ターゲット面に対するレンズシステム118の傾斜角またはスキュー角θを指す。異なる内視鏡の向きで撮影された2つの内視鏡画像GiおよびGjについて、ランドマークの位置(たとえば、照準ビームフットプリントまでの距離)などの画像特性およびランドマーク間の空間関係(たとえば、ランドマーク間の距離)が、2つの画像のそれぞれの座標系において測定される。GiおよびGjが同じターゲット部位の内視鏡画像である場合、このような内視鏡の向きにおける違いを補正することによって、内視鏡画像GiおよびGjの画像特性が同じ座標系において計測される。2つの画像間の画像特性(たとえば、ランドマーク間の距離)に基づいた解剖学的相違点または類似点の評価は、異なる画像条件に対してより堅牢である。GiおよびGjが異なるターゲット部位の内視鏡画像である場合(内視鏡のパンニング中の図4A～図4Fにおける画像のうちの2つなど)、そのような内視鏡の向きにおける違いを補正することによって、内視鏡画像GiとGjとの間の不一致が低減され得、(ターゲットマップ500の一部としての)GiとGjとの統合により、ターゲット101の拡張された表面積のより信頼性の高い表現を提供し得る。
【0097】
図6Aは、内視鏡102の先端がターゲット部位611の表面に垂直であり(すなわち、θ1=90度)、レンズシステム118がターゲット部位611に平行である、第1の内視鏡の向きθ1を示している。内視鏡の向きθ1において撮影された内視鏡画像615が図6Cに示されている。図6Bは、内視鏡102の先端がターゲット部位621に対して傾けられ(すなわち、θ2は鋭角である)、レンズシステム118がターゲット部位621に対して平行ではない、第2の内視鏡の向きθ2を示している。内視鏡の向きθ2において撮影された画像625が図6Dに示されている。交差する線分の形などの一致するランドマーク{M1、M2、M3}は、内視鏡画像615および625からランドマーク検出器321によって識別され得る。
【0098】
ターゲットマップジェネレータ323は、画像615および625からそれぞれ生成された特徴を使用して、θ1からθ2への内視鏡の向きにおける変化を検出することと、内視鏡の向きにおける変化を補正するために内視鏡画像625を変換することと、一致するランドマーク{M1、M2、M3}に関して、変換された画像625を画像615と位置合わせすることとを行い得る。図6Cおよび図6Dに示されるように、内視鏡の向きにおける違いにより、画像615におけるランドマーク{M1、M2、M3}の間のランドマーク間の空間関係(たとえば、距離および相対位置)は、画像625におけるランドマーク{M1、M2、M3}の間の相対位置とは異なって見える場合がある。一例では、ランドマーク間の空間関係は、ランドマークM1とM3との間の勾配k13など、座標系における2つのランドマーク間の勾配によって表され得、これは、M1とM3との間のy軸における距離y13と、M1とM3との間のx軸における距離x13との比、すなわち、k13=y13/x13として計算され得る。内視鏡の向きにおける変化を決定するために、ターゲットマップジェネレータ323は、画像615における2つのランドマーク間の第1の勾配(たとえば、k13=y13/x13)と、画像625における同じ2つのランドマーク間の第2の勾配(たとえば、k13'=y13'/x13')とを比較し得る。図示された例では、k13とk13'との間の比などの相対的勾配は、内視鏡の向きにおける変化を示し得る。
【0099】
追加的または代替的に、いくつかの例では、ターゲットマップジェネレータ323は、画像615および625における照準ビームフットプリントからそれぞれ生成された幾何学的特徴を使用して、内視鏡の向きにおける変化を検出し得る。図6Aおよび図6Bは、照準ビームをそれぞれのターゲット部位に向けるレーザファイバ(光経路112の一例)の遠位端112aを示している。結果として得られる照準ビームフットプリント612および622は、それぞれの内視鏡画像615および625に示されるように、内視鏡の向きにおける違いにより、異なる幾何学的特性を有する。内視鏡の向きθ1=90°に対応して、図6Eは、直径dの円形の照準ビームフットプリント612を示している。内視鏡の向きθ1<90°に対応して、図6Fは、長さ「a」の長軸623および長さ「b」の短軸624を有する楕円形状の照準ビームフットプリント622を示している。一例では、ターゲットマップジェネレータ323は、楕円軸長比Re=a/bを使用して内視鏡の向きを決定し得る。楕円形フットプリント622の場合、楕円軸の長さの比はRe>1である。楕円軸の長さの比が大きいほど、内視鏡の向きが傾いていることを示す。直径dの円形フットプリント612の場合、長軸および短軸はa=b=dであり、楕円軸の長さの比はRe=1である。ターゲットマップジェネレータ323は、照準ビームフットプリント612および622からそれぞれ計算された楕円軸長比の間の比較に基づいて、内視鏡の向きにおける変化を決定することと、内視鏡の向きにおける変化を補正するために内視鏡画像625を変換することと、識別された一致するランドマークに関して、変換された画像625を画像615と位置合わせすることとを行い得る。
【0100】
図3に戻ると、内視鏡追跡装置330は、内視鏡処置中に、あらかじめ生成されたターゲットマップ(たとえば、図5に示されるターゲットマップ500)を使用して内視鏡の先端を位置特定および追跡し得る。内視鏡追跡は、ターゲットマップ500を再構築するための内視鏡画像(たとえば、図4A～図4Fに示されるもののうちの1つ)を生成することに関して上述されたもの同様に、撮像システム115を使用してターゲット101の処置部位からリアルタイム画像またはビデオ信号をキャプチャすることと、ビデオプロセッサ320を使用してリアルタイム画像またはビデオフレームを生成することとから開始し得る。撮像システム115は、未知の内視鏡的位置に配置される場合がある。ランドマーク検出器321は、リアルタイム画像から1つまたは複数のランドマークを識別することができる。内視鏡追跡装置330は、リアルタイム画像を、ターゲット101のあらかじめ生成されたターゲットマップ(たとえば、ターゲットマップ500)に登録し、ターゲットマップから、リアルタイム画像においてキャプチャされた部位を突き止めることができる。
【0101】
内視鏡追跡装置330は、ターゲット部位における組織状態における変化(たとえば、正常組織から異常組織への変化、またはその逆)を決定し得る。内視鏡追跡装置330は、リアルタイム画像から識別されたランドマークおよびターゲットマップに関連付けられる記憶されたランドマークなどに基づいて、処置中に内視鏡の先端を位置特定および追跡し得る。一例では、内視鏡追跡装置330は、ターゲットマップのランドマークとリアルタイム画像のランドマークとの間の2つ以上の一致するランドマークを認識することと、認識された一致ランドマークを使用してリアルタイム画像をターゲットマップに登録することと、リアルタイム画像の登録に基づいて内視鏡の先端を位置特定および追跡することとを行うことができる。
【0102】
図7は、リアルタイム画像710と再構築されたターゲットマップ500との間で一致するランドマークを認識し、一致するランドマークに関してリアルタイム画像710をターゲットマップ500に登録する例を示している。一例では、一致するランドマークは、ランドマーク間の距離比(r)に基づいて認識され得る。図5を参照して上述したように、ターゲットマップ500は、ペアワイズランドマーク間距離{d1、d2、d3、…、dK}を含み、ここで、Kは、ターゲットマップ500から識別されたランドマークペアの数を表す。距離比{r1、r2、…、rM}は、K個のランドマーク間距離{d1、d2、d3、…、dK}のうち任意の2つの間で計算され得、ここで、Mは距離比の数を表す。
【0103】
一例によれば、一致するランドマークを認識するために、内視鏡追跡装置330は、それぞれの交点位置を有する交差ランドマーク(すなわち、交差線分)のセットの中から、リアルタイム画像における現在の照準ビームフットプリント701に最も近い交差ランドマーク711を識別し得る。ランドマーク711から画像710における他のランドマークまでの距離が測定され得、D1はPcまでの距離、D2はPdまでの距離、D3はPbまでの距離、D4はPaまでの距離などである。次いで、内視鏡追跡装置330は、この例ではランドマーク711など、同じランドマークから生じる距離間の距離比(R)、R1=D1/D2、R2=D1/D3、R3=D1/D4などを計算することができる。距離比{R1、R2、R3}は、ターゲットマップ500に関連付けられる距離比{r1、r2、…、rM}と比較され得る。距離比{R1、R2、R3}(リアルタイム画像710内の元のランドマーク711に対応する)が距離比{rx、ry、rz}(ターゲットマップ500内の元のランドマークPkに対応する)と一致し、R1=rx、R2=ry、R3=rzとなる場合、距離{D1、D2、D3、D4}が距離{d1、d2、d3、d4}と一致する可能性が高く、リアルタイム画像710内のランドマーク{Pa、Pb、Pc、Pd}は、ターゲットマップ500内のランドマーク{p1、p2、p3、p4}と一致する可能性が高い。一致する可能性のある距離が長いほど、リアルタイム画像710とマップ500との間でランドマークが一致する確率が高くなる。
【0104】
次いで、内視鏡追跡装置330は、ランドマーク間の距離の比に基づいて、距離{D1、D2、D3、D4}と距離{d1、d2、d3、d4}との間の対応を決定し得る。たとえば、D1/D2=d1/d2である場合、D1=d1およびD2=d2であると決定し得る。すべてが一致するまで様々な組合せをチェックすることによって、内視鏡追跡装置330は、{D1、D2、D3、D4}のどの距離が{d1、d2、d3、d4}のどの距離に対応するかを識別し得る。すべての一致は、D1をd1として識別してD1に対して行われたため、残りの距離D2、D3、およびD4は、d2、d3、およびd4と一致する可能性がある。D1とd1の間、D2とd2の間、D3とd3の間、およびD4とd4の間の確立された対応により、{Pa、Pb、Pc、Pd}と{P1、P2、P3、P4}との間の対応も決定され得る。
【0105】
内視鏡追跡装置330は、ターゲットマップ500におけるランドマーク{P1、P2、P3、P4}と一致するリアルタイム画像710における識別された一致するランドマーク{Pa、Pb、Pc、Pd}を使用して、リアルタイム画像710をターゲットマップ500に登録し得る。画像の拡大、縮小、回転、または内視鏡の向きにおける変化などによる画像の幾何学的歪みまたは変形を補正するために、内視鏡追跡装置330は、第1の内視鏡画像の変換に関して上述したのと同様の方法で、リアルタイム画像710またはターゲットマップ500を変換し得、それを第2の内視鏡画像と位置合わせし、図4A～図4Fを参照して上述したように、少なくとも変換された第1の画像および第2の画像を使用してパノラマターゲットマップを再構築する。変換は、他の動作の中でも、スケーリング、平行移動、または回転のうちの1つまたは複数を含み得る。変換は、リアルタイム画像710の座標系におけるターゲットマップ500の画像データ(たとえば、データアレイ)によって乗じられた変換行列として実装され得る。あるいは、変換は、リアルタイム画像710に適用され得る。
【0106】
図7に示されるように、変換は、リアルタイム画像710とマップ500との間の異なる画像拡大または収縮を補正するために、倍率λによってマップ500をスケーリングすることを含み得る。スケーリングされたマップ720は、それらの位置(たとえば、照準ビームフットプリントまでの相対距離)を有するランドマークと、同じく倍率λによってスケーリングされたランドマーク間距離とを含む。一例では、倍率λは、マップ500における対応する2つのランドマーク(たとえば、PaおよびPb)間の距離に対する、リアルタイム画像710における2つの一致するランドマーク(たとえば、P1およびP2)間の距離の比を使用して決定され得る。一例では、距離比λを計算するために、リアルタイム画像710における一致するランドマークの中から最大のランドマーク間距離が選択され得る。たとえば、D4が{D1、D2、D3、D4}の中で最大の距離である場合、倍率λ=D4/d4である。
【0107】
倍率λは、代替的または追加的に、リアルタイム画像710における照準ビームフットプリントの形状と、マップ500における照準ビームフットプリントの形状との間の比較を使用して決定され得る。一例では、倍率λは、マップ500における照準ビームフットプリントの対応する幾何学的特徴に対するリアルタイム画像710における照準ビームフットプリントの幾何学的特徴の比を使用して決定され得る。たとえば、リアルタイム画像710が直径dRの円形フットプリント(図6Eに示されるような)を有し、マップ500が直径dMの円形フットプリントを有する場合、倍率λ=dR/dMである。一例では、リアルタイム画像710が、長軸の長さがaRで短軸の長さがbRの楕円形フットプリント(図6Fに示されるような)を有し、マップ500が長軸の長さがaMで短軸の長さがbMの楕円形フットプリントを有する場合、倍率はλ=aR/aM、またはλ=bR/bMである。
【0108】
上記のように計算された倍率λは、照準ビームが投影される表面が平面であると仮定している。場合によっては、照準ビーム投影面は完全に平坦ではなく、代わりに3次元形状を有する場合がある。これにより、計算された倍率λに変化が生じる場合がある。システムは、理想的な倍率λからの変化に対応する場合がある。一例では、複数の照準ビームフットプリントは、それぞれの投影面でターゲット部位のわずかに異なる位置に照準ビームが向けられたときにキャプチャされ得る。複数の照準ビームフットプリントを重ね合わせると、照準ビームフットプリントにおける形状の変化が明らかになる場合がある。幾何学的特徴(たとえば、円形フットプリントの直径または楕円形フットプリントの長軸もしくは短軸の長さ)は、複数の照準ビームフットプリントからそれぞれ測定され、対応する複数の倍率が計算され得る。倍率λの期待値を取得するために、複数の倍率の平均または加重平均が実行され得る。
【0109】
上述の倍率λの決定は、リアルタイム画像710とマップ500との間で内視鏡の向きが実質的に変化しない(たとえば、ターゲット面に対する内視鏡先端のスキューの傾きが実質的に同じ)という仮定に基づいている。実質的に異なる内視鏡の向きが存在する場合、ランドマークの位置、ランドマーク間の距離、照準ビームフットプリントの形状、およびそれらの幾何学的特性(たとえば、長軸および短軸の長さ)などの測定基準は、内視鏡の向きによって影響を受ける可能性がある。リアルタイム画像710またはマップ500は、図6A～図6Fに関する説明などに従って、内視鏡の向きにおける変化を補正するために変換され得る。次いで、変換された画像から倍率λが決定され得る。
【0110】
図730に示されるように、縮尺されたマップ720(その中にランドマークを含む)は、P1およびPaなどの識別された一致するランドマークに関して、ターゲットマップ500に位置合わせされ得る。リアルタイム画像710は、Paが、P1(Pa)によって示される縮尺されたマップ720のP1と同じ座標にあるように、縮尺されたマップ720に向かって平行移動され得る。次いで、スケーリングされたマップ720は、角度α、すなわち∠Pb-P1(Pa)-P2で時計回りに回転され得る(730)。回転後、一致するランドマークPbは、登録されたマップ740に示されているように、P2(Pb)で示されるスケーリングされたマップ720のP2と同じ座標にある。スケーリングおよび回転動作は、ランドマーク間の相対位置(たとえば、角度)を保持するため、他の一致するランドマークP3およびP4も、登録されたマップ740においてP3(Pc)およびP4(Pd)によって示される、スケーリングされたマップ720上のランドマークPcおよびPdと重なる。したがって、リアルタイム画像710は、一致するランドマークP1～P4(画像710におけるPa～Pdに対応する)に関して、ターゲットマップ500に登録される。
【0111】
上述のように、内視鏡処置中に撮影されたリアルタイム画像のターゲットマップへの登録は、内視鏡処置の精度および効率を改善するために、様々な用途で使用され得る。一例では、画像登録は、改善された精度であらかじめ生成されたターゲットマップから処置部位をリアルタイムで識別する際に手術者を支援し得る。ターゲットマップは、複数の記憶されたランドマークに対する内視鏡先端位置の情報を記憶するため、本明細書で論じる画像登録は、処置全体を通して内視鏡先端をリアルタイムで位置特定および追跡する際に役立ち得る。ターゲットの様々な照準ビーム位置におけるターゲットタイプ(たとえば、正常組織または異常組織)に関する情報を記憶するターゲットマップの場合、内視鏡追跡装置330は、様々なターゲット部位における経時的な組織タイプにおける変化を検出および追跡してもよく、またはターゲットに送達される治療の有効性の評価を提供してもよい。
【0112】
図8は、処置中の被験者の体内のターゲットの内視鏡的マッピングのための方法800を示す流れ図である。方法800は、システム100またはその変形などの内視鏡処置において使用するための医療システムによって実装および遂行され得る。方法800のプロセスは1つのフローチャートに描かれているが、それらは特定の順序で実行される必要はない。様々な例において、プロセスのうちのいくつかは、本明細書に示される順序とは異なる順序で実行され得る。
【0113】
810において、照準ビームは、内視鏡の先端から放出され、ターゲット101の一部などのターゲットの部位に向けられ得る。照準ビームは、第2のレーザエネルギー源204などのレーザ源によって生成されてもよい。あるいは、照準ビームは、他の光源によって生成され、光ファイバなどを介して送信されてもよい。
【0114】
820において、ターゲット部位の画像は、撮像システム115などの撮像システムによってキャプチャされ得る。画像は、撮像システム115のレンズシステム118が内視鏡位置に配置されたときに撮影され得る。UVからIRまでの光学的範囲内の電磁放射(照明光とも呼ばれる)でターゲットが照らされたときに、画像が撮影され得る。照明光は、光源104などの光源によって生成され、照明ガイド120を介してターゲット部位に伝達され得る。一例では、光源104は、異なる照明特性を有する光を放出する2つ以上の光源を含み得る。
【0115】
ターゲット部位に向けられた照準ビームは、撮像システムのFOV内に収まり、したがって、ターゲット部位においてキャプチャされた画像は、照らされたターゲット(たとえば、ターゲットの解剖学的構造の表面)のグラフィック表現だけでなく、照準ビームのフットプリントも含み得る。画像は、図4A～図4Fのいずれかに示されるように、ディスプレイ108などにおいてユーザに表示され得る。照準ビームフットプリントは、内視鏡画像の背景とは異なる色を用いて着色される場合がある。一例では、照準ビームフットプリントの位置は、照準ビームの色を内視鏡画像におけるピクセルの色に一致させることによって、内視鏡画像から識別され得る。
【0116】
照明光に応答してターゲットから反射された信号は、ターゲットの照準ビーム位置におけるターゲットのタイプを識別するために、分光計208を使用するなどして分析され得る。一例では、反射信号の分光学的特性に基づいて、ターゲット部位における組織は、他の解剖学的構造タイプの中でも、正常および異常な組織、または粘膜または筋肉組織として識別され得る。いくつかの例では、ターゲット部位は、それぞれの組成を有する複数の結石タイプのうちの1つとして識別され得る。
【0117】
内視鏡画像における照準ビームフットプリントは、ターゲットの照準ビーム位置における組織タイプを示す視覚的識別子を用いてマーク付けされ得る。一例では、照準ビームフットプリントは、異なる組織タイプを示すために異なる色を用いて着色される場合がある。たとえば、照準ビームのフットプリントは、ターゲット部位が正常な組織として認識された場合は緑色に着色され、またはターゲット部位が異常な組織(たとえば、癌)として認識された場合は赤色に着色される場合がある。いくつかの例では、照準ビームフットプリントは、経時的な組織タイプにおける変化を示すために、または治療状態を示すために、識別子を用いてマーク付けされ得る。
【0118】
830において、1つまたは複数のランドマークがターゲット部位のキャプチャされた画像から識別され、ビデオプロセッサ320を使用するなどして、照準ビームフットプリントに対するランドマークの位置が決定され得る。一例では、ランドマークは、解剖学的構造(たとえば、血管)を表す。ランドマークは、内視鏡画像のピクセルの明るさにおける変化に基づいて検出され得る。一例では、ランドマークは、コントラストしきい値によって制約されたエッジ検出、ならびに同様の正および負のコントラスト勾配の間のピクセル数を使用して検出され得る。
【0119】
内視鏡画像の座標系におけるxおよびy距離などの1つまたは複数のランドマークの位置は、同じ内視鏡画像における照準ビームフットプリントに対して決定され得る。別の例では、ランドマーク位置特定は、内視鏡画像の座標系におけるランドマーク間距離を決定することを含む。いくつかの例では、内視鏡画像におけるランドマークの空間分布に基づいて、検出されたランドマークのサブセットが選択され得る。たとえば、選択されたサブセットは、内視鏡画像全体に分布されるランドマークを含み得る(画像の1つの領域における狭い間隔のランドマークのクラスタとは対照的に)。別の例では、レーザエネルギーがそのようなランドマークを歪ませる可能性があるため、レーザエネルギーがランドマーク上で活性化されるかどうかに基づいてランドマークが選択され得る。たとえば、レーザエネルギーによって活性化されないランドマークは、レーザエネルギーによって活性化される別のランドマークよりも有利に選択され得る。
【0120】
いくつかの例では、ランドマークの検出および位置特定を改善するために、ターゲットを特別な照明条件によって照らすことができる。たとえば、ターゲットは、ターゲットの内視鏡画像のコントラストを高め、経時的に移動または変化する可能性が低い血管系をより明確に定義するために、青または緑の照明で照らされる場合がある。これにより、わずかに異なる照明条件の下で、より一貫したランドマークの検出および位置特定が可能になる。
【0121】
840において、複数の画像から識別されたそれぞれのランドマークに基づいて、ターゲットの様々な部位の複数の画像を統合することなどによって、ターゲットマップが再構築され得る。たとえば、手術者によって手動で、または内視鏡アクチュエータによって自動的に、内視鏡の先端がターゲットを横切ってパンするとき、内視鏡の遠位端が移動し、様々な内視鏡位置{L1、L2、…、LN}に配置され、撮像システムはそれぞれの内視鏡位置において撮像システムのFOV内に入るターゲットのそれぞれの複数のターゲット部位{S1、S2、…、SN}において内視鏡画像{G1、G2、…、GN}のシーケンスをキャプチャすることができる。ターゲットの異なる部位においてキャプチャされた画像のシーケンス(または、ビデオフレーム)の例が図4A～図4Fに示されている。
【0122】
複数の内視鏡画像{G1、G2、…、GN}を統合することによって、ターゲットマップが再構築され得る。内視鏡画像{G1、G2、…、GN}は、画像から識別されたランドマークに関して位置合わせされ得る。一例では、2つの内視鏡画像GiおよびGjの間で、画像Gjから識別された2つ以上のランドマークと一致する画像Giから識別された2つ以上のランドマークを含む、一致するランドマークが識別され得る。次いで、画像GiおよびGjは、識別された一致するランドマークに関して位置合わせすることができる。
【0123】
いくつかの例では、内視鏡画像(たとえば、Gi)は、別の内視鏡画像(たとえば、Gj)と位置合わせされる前に変換され得る。変換は、内視鏡の遠位端をターゲットに近づけたりもしくは遠ざけたりすることによって引き起こされる画像の拡大もしくは縮小、体の動き(たとえば、呼吸)、画像システムからターゲットに向かう視線方向における変化によって引き起こされる画像の回転、または内視鏡の向きにおける変化によって引き起こされる長さ、形状、および他の画像特性の歪みなどの、幾何学的な画像の歪みまたは変形を補正し得る。画像変換の例は、他の剛性の、類似性ベースの、またはアフィン変換の中でも、座標系における画像のスケーリング、平行移動、回転、またはせん断変換のうちの1つまたは複数を含み得る。
【0124】
一例では、第1の内視鏡画像Giと第2の内視鏡画像Gjとを位置合わせする前に、画像Gjは、画像Giにおける一致するランドマークのうちの2つの間の距離と、画像Gjにおける対応する2つのランドマーク間の距離との比に基づいて、倍率λによってスケーリングされ得る。別の例では、倍率λは、画像Giにおける照準ビームフットプリントから生成された幾何学的特徴と、画像Gjにおける照準ビームフットプリントから生成された幾何学的特徴との比に基づいて決定され得る。図7を参照して上述したように、幾何学的特徴の例は、円形フットプリントの直径、または楕円形フットプリントの長軸(または、短軸)の長さを含み得る。
【0125】
一例では、第1の内視鏡画像Giを第2の内視鏡画像Gjと位置合わせする前に、画像GiとGjとの間の内視鏡の向きにおける変化が検出および補正され得る。一例では、内視鏡の向きにおける変化は、画像Giにおける一致するランドマークのうちの2つの間の第1の勾配と、画像Gjにおける2つの一致するランドマーク間の第2の勾配との比較に基づいて決定され得る。別の例では、内視鏡の向きにおける変化は、画像Giにおける照準ビームフットプリントの第1の幾何学的特徴と、画像Gjにおける照準ビームフットプリントの第2の幾何学的特徴との間の比較に基づいて決定され得る。一例では、第1または第2の照準ビームフットプリントのうちの少なくとも1つは、長軸および短軸を有する楕円形状を有し、第1または第2の幾何学的特徴のうちの少なくとも1つは、図6A～図6Fを参照して上述したように、楕円形状の照準ビームフットプリントの長軸の長さ対短軸の長さの比を含み得る。
【0126】
変換された画像は、図5に示されるような、再構築されたターゲットマップに位置合わせし、統合され得る。再構築されたマップは、複数の内視鏡画像、組織塗装プロセス中に生成された照準ビームフットプリント、ターゲットタイプ識別子(色分けされた照準ビームフットプリントなど)、照準ビームフットプリントに対するランドマークの位置、またはランドマーク間の相対位置から識別されたランドマークのセットのうちの1つまたは複数を含み得る。ランドマークおよび照準ビームフットプリントに関する情報を含むターゲットマップは、メモリ340に記憶され得る。850において、ターゲットマップは、図9を参照して後述するように、内視鏡処置中に内視鏡の先端を位置特定および追跡するために使用され得る。追加的または代替的に、ターゲット部位においての組織状態における変化(たとえば、正常から異常へ、またはその逆への変化)を決定するために、ターゲットマップが使用され得る。
【0127】
本明細書で論じる様々な例による画像再構築および内視鏡追跡のシステムおよび方法は、それらの測定に関する許容誤差に対応することができる。本明細書の説明から説明または推測される比較または式は、完全な同等性に限定されない。一例では、本明細書で説明するシステムおよび方法は、第1に完全に等しいかどうかの値を比較できるが、次いで、次に等しいものとして扱われるオーバーラップを識別するために、各計算の周りで許容誤差を徐々に拡大する。たとえば、アルゴリズムは、週、月、もしくは年ごとに異なる可能性がある2つの異なる時点からの同じ患者の解剖学的マップを比較するときに、許容誤差範囲を理想から限界まで徐々に拡大することもでき、または各ランドマークの周りにより大きい領域を作成することもでき、その後、たとえば、ターゲット信頼度が5～25%の中央値のt検定もしくはMann-Whitney比較などの標準的な統計的方法を使用してオーバーラップがチェックされる。一例では、許容誤差範囲または信頼区間は、比較されるランドマークの各ペア間の距離の0%からX%の範囲である可能性があり得、X%は、一例では20%、別の例では25%であり得る。あるいは、ランドマークの約70～100%が一致することが判明するなど、大多数のランドマーク間で適切な一致が得られるまで、許容範囲または信頼区間を徐々に増加させることもできる。
【0128】
図9は、方法800を使用して生成されたものなどの、再構築されたターゲットマップを使用する内視鏡追跡のための方法の一例900を示す流れ図である。910において、内視鏡処置中に、ターゲット部位の処置部位のリアルタイム画像が、未知の内視鏡位置に配置された撮像システムなどを介してキャプチャされ得る。920において、リアルタイム画像における2つ以上のランドマークとそれぞれ一致するターゲットマップ内の2つ以上のランドマークを含む、一致するランドマークが識別され得る。一致するランドマークは、図7を参照して上述したように、ランドマーク間の距離比に基づいて識別され得る。930において、識別された一致するランドマークを使用して、リアルタイム画像がターゲットマップに登録され得る。登録は、図7を参照して上述したように、画像変換(たとえば、とりわけ平行移動、スケーリング、回転)および画像位置合わせを含み得る。940において、内視鏡の先端が、リアルタイム画像の登録に基づいて位置特定および追跡され得る。ターゲットマップは、複数のランドマークに関する内視鏡の先端の位置の情報を記憶するので、内視鏡追跡装置330は、登録された画像上のランドマークに基づいて、処置全体を通して内視鏡の先端をリアルタイムで位置特定および追跡し得る。組織タイプ(たとえば、照準ビームのフットプリントによって示されるような、異なるターゲット部位における正常組織または異常組織)に関する情報を記憶するターゲットマップについて、内視鏡追跡装置330は、ターゲットの様々な部位における経時的な組織タイプにおける変化、またはそこに送達される治療の有効性を検出および追跡し得る。
【0129】
図10は、本明細書で論じる技法(たとえば、方法論)のうちの任意の1つまたは複数を実行し得る例示的な機械1000のブロック図を一般的に示している。この説明の一部は、内視鏡コントローラ103など、システム100の様々な部分のコンピューティングフレームワークに適用され得る。
【0130】
代替実施形態では、機械1000は、スタンドアロンデバイスとして動作してもよく、または他の機械に接続(たとえば、ネットワーク化)されてもよい。ネットワーク展開では、機械1000は、サーバクライアントネットワーク環境における、サーバ機械、クライアント機械、またはその両方の能力において動作し得る。一例では、機械1000は、ピアツーピア(P2P)(または他の分散型)ネットワーク環境においてピア機械として機能し得る。機械1000は、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、モバイル電話、ウェブアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、またはその機械によって実行されるべきアクションを指定する命令(シーケンシャルまたはその他)を遂行することができる任意の機械であり得る。さらに、1台の機械のみが示されているが、「機械(machine)」という用語は、クラウドコンピューティング、サービスとしてのソフトウェア(SaaS)、他のコンピュータクラスタ構成など、本明細書で論じる方法論のうちの任意の1つまたは複数を実行する命令のセット(または、複数のセット)を個別にまたは共同で遂行する機械の任意の集合を含むものと解釈されるものとする。
【0131】
本書に記載されているように、例は、論理もしくは多くのコンポーネント、またはメカニズムを含むか、あるいはそれによって動作され得る。回路セットは、ハードウェア(たとえば、単純な回路、ゲート、ロジックなど)を含む有形エンティティに実装された回路の集合である。回路セットのセットのメンバシップは、経時的に、および基になるハードウェアの変動に応じて柔軟になり得る。回路セットは、単独でまたは組み合わせて、動作時に指定された動作を実行し得るメンバを含む。一例では、回路セットのハードウェアは、特定の操作を実行するように不適切に設計されている場合がある(たとえば、ハードワイヤード)。一例では、回路セットのハードウェアは、特定の動作命令をエンコードするために、物理的に修正されたコンピュータ可読媒体(たとえば、不変質量粒子の磁気的に、電気的に、移動可能な配置など)を含む、様々な接続された物理コンポーネント(たとえば、遂行ユニット、トランジスタ、単純な回路など)を含み得る。物理コンポーネントを接続する際に、ハードウェア構成要素の基礎となる電気的特性が、絶縁体から導体に、またはその逆に変更される。これらの命令により、埋込みハードウェア(たとえば、遂行ユニットまたはローディングメカニズム)は、動作中に特定の動作の一部を実行するために、可変接続を介してハードウェアに設定された回路のメンバを作成することが可能になる。したがって、コンピュータ可読媒体は、デバイスが動作しているとき、回路セットメンバの他のコンポーネントに通信可能に結合される。一例では、物理コンポーネントのいずれも、複数の回路セットの複数のメンバにおいて使用され得る。たとえば、動作中、遂行ユニットは、ある時点で第1の回路セットの第1の回路において使用され、第1の回路セットにおける第2の回路によって、または異なる時間に第2の回路セットにおける第3の回路によって再利用され得る。
【0132】
機械(たとえば、コンピュータシステム)1000は、ハードウェアプロセッサ1002(たとえば、中央処理装置(CPU)、グラフィック処理装置(GPU)、ハードウェアプロセッサコア、またはそれらの任意の組合せ)、メインメモリ1004、およびスタティックメモリ1006を含み得、その一部またはすべてはインターリンク(たとえば、バス)1008を介して互いに通信し得る。機械1000は、ディスプレイユニット1010(たとえば、ラスタディスプレイ、ベクトルディスプレイ、ホログラフィックディスプレイなど)、英数字入力デバイス1012(たとえば、キーボード)、およびユーザインターフェース(UI)ナビゲーションデバイス1014(たとえば、マウス)をさらに含み得る。一例では、ディスプレイユニット1010、入力デバイス1012、およびUIナビゲーションデバイス1014は、タッチスクリーンディスプレイであってもよい。機械1000は、ストレージデバイス(たとえば、駆動ユニット)1016、信号生成デバイス1018(たとえば、スピーカ)、ネットワークインターフェースデバイス1020、および全地球測位システム(GPS)センサ、コンパス、加速度計、または他のセンサなどの1つまたは複数のセンサ1021を追加で含み得る。機械1000は、1つまたは複数の周辺デバイス(たとえば、プリンタ、カードリーダなど)を通信または制御するために、シリアル(たとえば、ユニバーサルシリアルバス(USB))、パラレル、または他のワイヤードもしくはワイヤレス(たとえば、赤外線(IR)、近距離通信(NFC)など)接続などの出力コントローラ1028を含み得る。
【0133】
ストレージデバイス1016は、本明細書に記載の技法または機能のうちの任意の1つもしくは複数を具現化する、またはそれによって利用されるデータ構造または命令1024(たとえば、ソフトウェア)の1つまたは複数のセットが記憶される機械可読媒体1022を含み得る。命令1024はまた、機械1000によるその遂行中に、メインメモリ1004内、スタティックメモリ1006内、またはハードウェアプロセッサ1002内に、完全にまたは少なくとも部分的に常駐し得る。一例では、ハードウェアプロセッサ1002、メインメモリ1004、スタティックメモリ1006、またはストレージデバイス1016の1つまたは任意の組合せが、機械可読媒体を構成し得る。
【0134】
機械可読媒体1022は単一の媒体として示されているが、「機械可読媒体(machine readable medium)」という用語は、1つまたは複数の命令1024を記憶するように構成された単一の媒体または複数の媒体(たとえば、集中型もしくは分散型データベース、ならびに/または関連付けられるキャッシュおよびサーバ)を含み得る。
【0135】
「機械可読媒体」という用語は、機械1000による遂行のための命令を記憶、エンコード、もしくは搬送することができ、機械1000に、本開示の技法のうちの任意の1つもしくは複数を実行させる、または、そのような命令によって使用される、もしくはそのような命令に関連付けられるデータ構造を記憶、エンコード、もしくは搬送することができる、任意の媒体を含み得る。非限定的な機械可読媒体の例は、ソリッドステートメモリ、ならびに光学および磁気媒体を含み得る。一例では、質量のある機械可読媒体は、不変の(たとえば、静止)質量を有する複数の粒子を有する機械可読媒体を備える。したがって、質量のある機械可読媒体は、一時的な伝播信号ではない。質量のある機械可読媒体の具体例は、半導体メモリデバイス(たとえば、電気的にプログラム可能な読取り専用メモリ(EPROM)、電気的に消去可能なプログラム可能な読取り専用メモリ(EPSOM))およびフラッシュメモリデバイスなどの不揮発性メモリ、内蔵ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスクならびにCD-ROMおよびDVD-ROMディスクを含み得る。
【0136】
命令1024は、多数の転送プロトコル(たとえば、フレームリレー、インターネットプロトコル(IP)、伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)など)のうちの任意の1つを利用して、ネットワークインターフェースデバイス1020を介して伝送媒体を使用して、通信ネットワーク1026を介してさらに送信または受信され得る。例示的な通信ネットワークは、とりわけ、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、パケットデータネットワーク(たとえば、インターネット)、モバイル電話ネットワーク(たとえば、セルラーネットワーク)、一般電話(POTS)ネットワーク、およびワイヤレスデータネットワーク(たとえば、WiFi(登録商標)として知られる米国電気電子技術者協会(IEEE)802.11規格群、WiMax(登録商標)として知られるIEEE802.16規格群)、IEEE802.15.4規格群、ピアツーピア(P2P)ネットワークを含み得る。一例では、ネットワークインターフェースデバイス1020は、通信ネットワーク1026に接続するために、1つもしくは複数の物理ジャック(たとえば、イーサネット、同軸、または電話ジャック)または1つもしくは複数のアンテナを含み得る。一例では、ネットワークインターフェースデバイス1020は、単入力多出力(SIMO)、多入力多出力(MIMO)、または多入力単出力(MISO)技法のうちの少なくとも1つを使用してワイヤレス通信するための複数のアンテナを含み得る。「伝送媒体(transmission medium)」という用語は、機械1000による遂行のために命令を記憶、エンコード、または搬送することができる任意の無形媒体を含むものと解釈され、デジタルもしくはアナログ通信信号、またはそのようなソフトウェアの通信を容易にするための他の無形媒体を含む。
【0137】
補注
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、例示として、本発明を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「例(examples)」とも呼ばれる。そのような例は、図示されたもの、または説明されたものに加えて要素を含むことができる。しかしながら、本発明者らは、図示された、または説明された要素のみが提供される例も企図する。さらに、本発明者らは、特定の例(または、それらの1つもしくは複数の態様)に関して、または本明細書に図示された、もしくは説明された他の例(または、それらの1つもしくは複数の態様)に関して、図示された、または説明された要素(または、それらの1つもしくは複数の態様)の任意の組合せまたは順列を使用する例も企図する。
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、例示として、本発明を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「例(examples)」とも呼ばれる。そのような例は、図示されたもの、または説明されたものに加えて要素を含むことができる。しかしながら、本発明者らは、図示された、または説明された要素のみが提供される例も企図する。さらに、本発明者らは、特定の例(または、それらの1つもしくは複数の態様)に関して、または本明細書に図示された、もしくは説明された他の例(または、それらの1つもしくは複数の態様)に関して、図示された、または説明された要素(または、それらの1つもしくは複数の態様)の任意の組合せまたは順列を使用する例も企図する。
【0138】
本明細書では、「a」または「an」という用語は、特許文書において一般的であるように、「少なくとも1つ(at least one)」または「1つまたは複数(one or more)」の任意の他の例または用法とは無関係に、1つまたは複数を含むために使用される。本明細書では、「または(or)」という用語は、特に明記しない限り、「AまたはB(A or B)」が「AであるがBではない(A but not B)」、「BであるがAではない(B but not A)」、および「AおよびB(A and B)」が含まれるように、非排他的な「または」を指すために使用される。本明細書では、「含む(including)」および「その中で(in which)」という用語は、「備える(comprising)」および「そこで(wherein)」というそれぞれの用語の平易な英語の同等物として使用される。また、以下の特許請求の範囲において、「含む(including)」および「備える(comprising)」という用語は制限のないものであり、すなわち、システム、デバイス、物品、組成物、製剤、またはプロセスであり、請求項のそのような用語の後にリストされている要素に加えて要素を含むものは、依然としてその請求項の範囲内にあると見なされる。さらに、以下の特許請求の範囲において、用語「第1(first)」、「第2(second)」、「第3(third)」などは単にラベルとして使用され、それらの対象に数値要件を課すことを意図していない。
【0139】
上記の説明は、例示を意図したものであり、限定を意図したものではない。たとえば、上記の例(または、その1つもしくは複数の態様)は、互いに組み合わせて使用され得る。上記の説明を検討する当業者などによって、他の実施形態を使用することができる。要約は、読者が技術的開示の性質を迅速に確認できるようにするために提供されている。要約は、請求項の範囲または意味を解釈または制限するために使用されないことを理解して提出される。また、上記の発明を実施するための形態では、開示を簡素化するために、様々な特徴がグループ化され得る。これは、請求されていない開示された機能が請求項に不可欠であることを意図していると解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴よりも少ない特徴にある可能性がある。したがって、以下の請求項は、例または実施形態として発明を実施するための形態に組み込まれ、各請求項は別個の実施形態として独立しており、そのような実施形態は、様々な組合せまたは順列において互いに組み合わせることができると企図される。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられている均等物の全範囲とともに決定されるべきである。
【符号の説明】
【0140】
100 医療システム
101 ターゲット
102 内視鏡
102a 治療ツールチャネル
102b 遠位端開口部
103 内視鏡コントローラ
104 光源
106 レーザ装置
107 動作ユニット
107a 湾曲ノブ
107b 挿入ポート、治療ツール挿入ポート
107c スイッチ
108 ディスプレイ
108a ビデオケーブル
110 挿入部
110a 遠位端部
110b 湾曲部
110c 可撓管部
112 光経路
112a 遠位端
114 ユニバーサルコード
114a コネクタ
114b コネクタ
115 撮像システム
116 画像センサ
118 レンズシステム
120 照明ガイド
122 照明レンズ
124 信号線
202 第1のエネルギー源
204 第2のエネルギー源、第2のレーザエネルギー源
205 スプリッタ
206 コントローラ
208 分光計
230 照明光
240a 治療ビーム
240b 照準ビーム
310 デバイスコントローラ
320 ビデオプロセッサ
321 ランドマーク検出器
322 ターゲット識別子
323 ターゲットマップジェネレータ
330 内視鏡追跡装置
340 メモリ
410～460 内視鏡画像
410 画像
412 照準ビームフットプリント
413 画像
414 画像
415A ランドマーク
415B ランドマーク
415C ランドマーク
420 内視鏡画像
422 照準ビームフットプリント
430 画像
432 照準ビームフットプリント
435A～435B 新しいランドマーク
440 画像
442 照準ビームフットプリント
445A～445C 新しいランドマーク
450 画像
452 照準ビームフットプリント
455A～455B 新しいランドマーク
460 画像
462 照準ビームフットプリント
465A～465B 新しいランドマーク
500 ターゲットマップ
611 ターゲット部位
612 照準ビームフットプリント
615 内視鏡画像
621 ターゲット部位
622 照準ビームフットプリント、楕円形フットプリント
625 内視鏡画像
701 照準ビームフットプリント
710 リアルタイム画像
711 交差ランドマーク
720 マップ
730 図
740 マップ
800 方法
1000 機械
1002 ハードウェアプロセッサ
1004 メインメモリ
1006 スタティックメモリ
1008 インターリンク
1010 ディスプレイユニット
1012 英数字入力デバイス
1014 ユーザインターフェース(UI)ナビゲーションデバイス
1016 ストレージデバイス
1018 信号生成デバイス
1020 ネットワークインターフェースデバイス
1021 センサ
1022 機械可読媒体
1024 命令
1026 通信ネットワーク
1028 出力コントローラ
101 ターゲット
102 内視鏡
102a 治療ツールチャネル
102b 遠位端開口部
103 内視鏡コントローラ
104 光源
106 レーザ装置
107 動作ユニット
107a 湾曲ノブ
107b 挿入ポート、治療ツール挿入ポート
107c スイッチ
108 ディスプレイ
108a ビデオケーブル
110 挿入部
110a 遠位端部
110b 湾曲部
110c 可撓管部
112 光経路
112a 遠位端
114 ユニバーサルコード
114a コネクタ
114b コネクタ
115 撮像システム
116 画像センサ
118 レンズシステム
120 照明ガイド
122 照明レンズ
124 信号線
202 第1のエネルギー源
204 第2のエネルギー源、第2のレーザエネルギー源
205 スプリッタ
206 コントローラ
208 分光計
230 照明光
240a 治療ビーム
240b 照準ビーム
310 デバイスコントローラ
320 ビデオプロセッサ
321 ランドマーク検出器
322 ターゲット識別子
323 ターゲットマップジェネレータ
330 内視鏡追跡装置
340 メモリ
410～460 内視鏡画像
410 画像
412 照準ビームフットプリント
413 画像
414 画像
415A ランドマーク
415B ランドマーク
415C ランドマーク
420 内視鏡画像
422 照準ビームフットプリント
430 画像
432 照準ビームフットプリント
435A～435B 新しいランドマーク
440 画像
442 照準ビームフットプリント
445A～445C 新しいランドマーク
450 画像
452 照準ビームフットプリント
455A～455B 新しいランドマーク
460 画像
462 照準ビームフットプリント
465A～465B 新しいランドマーク
500 ターゲットマップ
611 ターゲット部位
612 照準ビームフットプリント
615 内視鏡画像
621 ターゲット部位
622 照準ビームフットプリント、楕円形フットプリント
625 内視鏡画像
701 照準ビームフットプリント
710 リアルタイム画像
711 交差ランドマーク
720 マップ
730 図
740 マップ
800 方法
1000 機械
1002 ハードウェアプロセッサ
1004 メインメモリ
1006 スタティックメモリ
1008 インターリンク
1010 ディスプレイユニット
1012 英数字入力デバイス
1014 ユーザインターフェース(UI)ナビゲーションデバイス
1016 ストレージデバイス
1018 信号生成デバイス
1020 ネットワークインターフェースデバイス
1021 センサ
1022 機械可読媒体
1024 命令
1026 通信ネットワーク
1028 出力コントローラ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図7】
【図8】
【図9】
【図10】
