特許 7206438 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-06

(45)【発行日】2023-01-17

(54)【発明の名称】内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230110BHJP

   A61B 1/00 20060101ALI20230110BHJP

   G06T 1/00 20060101ALI20230110BHJP

   G06T 3/40 20060101ALI20230110BHJP

【ＦＩ】

A61B1/045 610

A61B1/045 618

A61B1/045 622

A61B1/00 552

G06T1/00 290Z

G06T3/40 730

【請求項の数】 15

(21)【出願番号】P 2022515013

(86)(22)【出願日】2020-08-27

(65)【公表番号】

(43)【公表日】2022-11-04

(86)【国際出願番号】 US2020048202

(87)【国際公開番号】W WO2021061335

(87)【国際公開日】2021-04-01

【審査請求日】2022-03-07

(31)【優先権主張番号】62/904,408

(32)【優先日】2019-09-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】506192652

【氏名又は名称】ボストン サイエンティフィック サイムド，インコーポレイテッド

【氏名又は名称原語表記】ＢＯＳＴＯＮ ＳＣＩＥＮＴＩＦＩＣ ＳＣＩＭＥＤ，ＩＮＣ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100144451

【弁理士】

【氏名又は名称】鈴木 博子

(72)【発明者】

【氏名】ラウニヤール ニラジ プラサド

(72)【発明者】

【氏名】ライカー ロバート ジェイ

(72)【発明者】

【氏名】ハラー ティモシー ポール

【審査官】北島 拓馬

(56)【参考文献】

【文献】台湾特許出願公開第２０１２２５００１（ＴＷ，Ａ）

【文献】米国特許第７８１３５３８（ＵＳ，Ｂ２）

【文献】米国特許出願公開第２００８／０７１１４３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００４／２１０１０５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０２Ｂ ２３／２４ －２３／２６

(57)【特許請求の範囲】

【請求項1】

内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサであって、
予備セットの画像フレームに空間変換を適用する段階であって、前記空間変換が前記画像フレームを円筒座標に変換する、前記空間変換を適用する段階と、
空間変換された前記画像フレームからマップ画像を計算する段階であって、前記マップ画像の各画素位置が固定次元のベクトルで定められる、前記マップ画像を計算する段階と、
現在の画像フレームを前記マップ画像と整列させ、前記現在の画像フレームに前記空間変換を適用する段階と、
空間変換された前記現在の画像フレームを前記マップ画像に融合して融合画像を生成する段階と、
前記融合画像に逆空間変換を適用して、前記現在の画像フレームよりも高い空間解像度を有する強化された現在の画像フレームを生成する段階と、
を行うように構成された前記プロセッサと、
前記強化された現在の画像フレームを表示するように構成されたディスプレイと、
を備えることを特徴とする内視鏡システム。

【請求項2】

前記空間変換は、前記内視鏡イメージャの光学的形状に基づいて生成される、請求項１に記載の内視鏡システム。

【請求項3】

前記マップ画像は、前記内視鏡イメージャの解像度よりも整数倍高い解像度を有する、請求項１又は２に記載の内視鏡システム。

【請求項4】

前記現在の画像フレームは、前記現在の画像フレームと前記マップ画像との間の類似度を測定する相互相関に基づいて、前記マップ画像と整列される、請求項１～３のいずれか１項に記載の内視鏡システム。

【請求項5】

前記プロセッサは、前記空間変換された現在の画像フレームを取り囲む前記マップ画像の領域に基づいて、前記強化された現在の画像フレームの視野を、前記現在の画像フレームと比べて拡大するようにさらに構成される、請求項１～４のいずれか１項に記載の内視鏡システム。

【請求項6】

前記プロセッサは、前記空間変換された現在の画像フレームを前記マップ画像に追加するようにさらに構成される、請求項１～５のいずれか１項に記載の内視鏡システム。

【請求項7】

前記マップ画像内の所与の画素位置が一杯になった場合、新たなサンプルが追加される際に最も古いサンプルが削除される、請求項１～６のいずれか１項に記載の内視鏡システム。

【請求項8】

内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサと、を備え、
前記プロセッサは、
予備セットの画像フレームに空間変換を適用する段階であって、前記空間変換が前記画像フレームを円筒座標に変換する、前記空間変換を適用する段階と、
空間変換された前記画像フレームからマップ画像を計算する段階であって、前記マップ画像の各画素位置が固定次元のベクトルで定められる、前記マップ画像を計算する段階と、
前記マップ画像のスケール空間表現を計算する段階と、
複数の独立領域を含むさらなる画像を取り込む段階と、
前記独立領域の各々について所定量の画像データが取得された時に、前記独立領域の各々について独立の空間変換を含む非線形空間変換を展開する段階と、
前記非線形空間変換からストラクチャ・フロム・モーション（ＳＦＭ）深度マップを導出する段階と、
を行うように構成されたことを特徴とする内視鏡システム。

【請求項9】

前記ＳＦＭ深度マップは、前記内視鏡イメージャの追跡情報にさらに基づいており、前記追跡情報は、取り込み画像間で変化する前記内視鏡イメージャの姿勢を含む、請求項８に記載の内視鏡システム。

【請求項10】

前記プロセッサは、
前記予備セットの画像フレーム内のスコープ関連オブジェクト及び関心オブジェクトを識別してセグメント化し、
前記予備セットの画像フレームに前記空間変換を適用する際に、識別された前記スコープ関連オブジェクトを除外する、ように構成されている、請求項８又は９に記載の内視鏡システム。

【請求項11】

前記プロセッサは、現在の画像フレーム内の深度情報及び角度範囲に基づいて前記関心オブジェクトのサイズを推定するようにさらに構成されている、請求項１０に記載の内視鏡システム。

【請求項12】

前記関心オブジェクトが注釈付けされた前記現在の画像フレームを表示するように構成されたディスプレイをさらに備える、請求項１１に記載の内視鏡システム。

【請求項13】

前記関心オブジェクトは腎臓結石である、請求項１２に記載の内視鏡システム。

【請求項14】

前記内視鏡イメージャに取り付けられ、前記内視鏡イメージャの６自由度位置を含む追跡データを提供するように構成された電磁（ＥＭ）トラッカーをさらに備え、
前記プロセッサは、前記標的部位の以前に取得された３Ｄ画像ボリュームをセグメント化するようにさらに構成され、
前記追跡データは、セグメント化された前記画像ボリューム及び前記ＳＦＭ深度マップと組み合わせられて前記内視鏡イメージャの位置推定を提供する、請求項８～１３のいずれか１項に記載の内視鏡システム。

【請求項15】

前記プロセッサは、前記追跡データが前記セグメント化された画像ボリュームの表面を突破するように示された時に、前記セグメント化された画像ボリュームを変形させるようにさらに構成されている、請求項１４に記載の内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

〔優先権の主張〕
本開示は、２０１９年９月２３日に出願された米国仮特許出願第６２／９０４，４０８号の優先権を主張するものであり、この文献の開示は引用により本明細書に組み入れられる。

【0002】

本開示は、内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法に関する。

【背景技術】

【0003】

様々な医学的介入中に内視鏡イメージャを使用することがある。イメージャによって提供される患者生体構造のビューは、スコープの解像度又は分解能及び視野によって制限される。生体構造のビューがこのように制限されると、介入が長引くとともに、介入を行う上で望ましい情報が手術中の医師に全て提供されなくなるおそれがある。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は、生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、予備セットの画像フレームに、画像フレームを円筒座標に変換する空間変換を適用し、空間的に変換された画像フレームから、各画素位置が固定次元のベクトルで定められたマップ画像を計算し、現在の画像フレームをマップ画像と整列させて、現在の画像フレームに空間変換を適用し、空間的に変換された現在の画像フレームをマップ画像に融合して融合画像を生成し、融合画像に逆空間変換を適用して、現在の画像フレームよりも高い空間解像度を有する強化された現在の画像フレームを生成するように構成されたプロセッサと、を含む内視鏡システムに関する。システムは、強化された現在の画像フレームを表示するディスプレイも含む。

【0005】

ある実施形態では、空間変換が、内視鏡イメージャの光学的形状に基づいて生成される。

【0006】

ある実施形態では、マップ画像が、内視鏡イメージャの解像度よりも整数倍高い解像度を有する。

【0007】

ある実施形態では、現在の画像フレームが、現在の画像フレームとマップ画像との間の類似度が測定される相互相関に基づいてマップ画像と整列される。

【0008】

ある実施形態では、プロセッサが、空間的に変換された現在の画像フレームを取り囲むマップ画像の領域に基づいて、強化された現在の画像フレームの視野を現在の画像フレームと比べて拡大するようにさらに構成される。

【0009】

ある実施形態では、プロセッサが、空間的に変換された現在の画像フレームをマップ画像に追加するようにさらに構成される。

【0010】

ある実施形態では、マップ画像内の所与の画素位置が一杯になった場合、新たなサンプルが追加される際に最も古いサンプルが削除される。

【0011】

本開示は、生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、プロセッサとを含む内視鏡システムにも関する。プロセッサは、予備セットの画像フレームに、画像フレームを円筒座標に変換する空間変換を適用し、空間的に変換された画像フレームから、各画素位置が固定次元のベクトルで定められたマップ画像を計算し、マップ画像のスケール空間表現を計算し、複数の独立領域を含むさらなる画像を取り込み、独立領域の各々の所定量の画像データが取得された時に、独立領域の各々の独立空間変換を含む非線形空間変換を展開し、非線形空間変換からストラクチャ・フロム・モーション（ＳＦＭ）深度マップを導出するように構成される。

【0012】

ある実施形態では、ＳＦＭ深度マップが内視鏡イメージャの追跡情報にさらに基づき、追跡情報が、取り込み画像間で変化する内視鏡イメージャの姿勢を含む。

【0013】

ある実施形態では、プロセッサが、予備セットの画像フレーム内でスコープ関連オブジェクト及び関心オブジェクトを識別してセグメント化し、予備セット画像に空間変換を適用する際に、識別されたスコープ関連オブジェクトを除外するように構成される。

【0014】

ある実施形態では、プロセッサが、現在の画像フレーム内の深度情報及び角度範囲に基づいて関心オブジェクトのサイズを推定するようにさらに構成される。

【0015】

ある実施形態では、内視鏡システムが、関心オブジェクトが注釈付けされた現在の画像フレームを表示するように構成されたディスプレイをさらに含む。

【0016】

ある実施形態では、関心オブジェクトが腎臓結石である。

【0017】

ある実施形態では、内視鏡システムが、内視鏡イメージャの６自由度位置を含む追跡データを提供するように構成された、内視鏡イメージャに取り付けられた電磁（ＥＭ）トラッカーをさらに含む。プロセッサは、以前に取得された標的部位の３Ｄ画像ボリュームをセグメント化するようにさらに構成される。追跡データは、セグメント化された画像ボリューム及びＳＦＭ深度マップと組み合わせられて内視鏡イメージャの位置推定値を提供する。

【0018】

ある実施形態では、プロセッサが、追跡データがセグメント化された画像ボリュームの表面を突破するように示された時に、セグメント化された画像ボリュームを変形させるようにさらに構成される。

【0019】

また、本発明は、生体内の標的部位の予備セットの画像フレームに、画像フレームを円筒座標に変換する空間変換を適用する段階と、空間変換された画像フレームから、各画素位置が固定寸法のベクトルで定められるマップ画像を計算する段階と、現在の画像フレームをマップ画像と整列させて、現在の画像フレームに空間変換を適用する段階と、空間的に変換された現在の画像フレームをマップ画像に融合して融合画像を生成する段階と、融合画像に逆空間変換を適用して、現在の画像フレームよりも高い空間解像度を有する強化された現在の画像フレームを生成する段階と、を含む方法に関する。

【0020】

ある実施形態では、空間変換が、内視鏡イメージャの光学的形状に基づいて生成される。

【0021】

ある実施形態では、マップ画像が、内視鏡イメージャの解像度よりも整数倍高い解像度を有する。

【0022】

ある実施形態では、現在の画像フレームが、現在の画像フレームとマップ画像との間の類似度が測定される相互相関に基づいてマップ画像と整列される。

【0023】

ある実施形態では、方法が、空間的に変換された現在の画像フレームを取り囲むマップ画像の領域に基づいて、強化された現在の画像フレームの視野を現在の画像フレームに比べて拡大することをさらに含む。

【図面の簡単な説明】

【0024】

【図1】本開示の様々な例示的な実施形態による、泌尿器科的処置を実行するシステムを示す図である。

【図2】第１の例示的な実施形態による、内視鏡ビデオの細部及び／又は視野を改善する方法を示す図である。

【図3】画像座標から円筒座標への空間変換の図である。

【図4】第２の例示的な実施形態による、内視鏡ビデオを改善する方法を示す図である。

【図5】内視鏡ビデオにオブジェクトサイズ情報を注釈付けする方法を示す図である。

【図6】腎臓結石を括弧で囲んだ例示的な内視鏡ビデオ表示を示す図である。

【図7】第１の例示的な実施形態による、連続的に変形する生体構造に対する内視鏡位置を追跡する方法を示す図である。

【図8】第２の例示的な実施形態による、管状構造の内視鏡ビデオにおける動き追跡法を示す図である。

【図9】追跡用注釈が示された例示的な内視鏡ビデオ表示を示す図である。

【図10】第３の例示的な実施形態による、管状構造の内視鏡ビデオにおける動き追跡法を示す図である。

【図11】膀胱鏡ビデオフィードを解析して、レーザー治療手順を知らせる注釈を提供する方法を示す図である。

【図12】前立腺レーザー注釈が示された例示的な内視鏡ビデオ表示を示す図である。

【発明を実施するための形態】

【0025】

本開示は、以下の説明、及び同様の要素を同じ参照数字で参照する添付図面を参照することでさらに理解することができる。例示的な実施形態は、内視鏡手術のための内視鏡表示の改善について説明する。これらの改善は、特に泌尿器科的処置のための、例えば内視鏡ビューの向上、及びビデオオブジェクト特性に関する定量的フィードバックを含む。いくつかの一般的な泌尿器科的処置としては、腎結石対策（例えば、砕石術）、ＢＰＨ（前立腺肥大症）治療（例えば、ＧｒｅｅｎＬｉｇｈｔ（商標）レーザー手術）、前立腺切除術、膀胱腫瘍切除術、子宮筋腫対策、診断などが挙げられる。これらの処置の多くは、「診断と治療（ｓｅｅ ａｎｄ ｔｒｅａｔ）」と表現することができる。

【0026】

典型的な処置は、画像媒体（例えば、ＬｉｔｈｏＶｕｅ（商標）又はその他の内視鏡イメージャ）、（視野をクリアにするため及び／又は空洞を広げるための）流体供給機構、及び治療機構（例えば、レーザー、ＲＦエネルギー）を有する。例示的な実施形態は、物理的サイズ推定、考えられる石組成の相関性、様々なタイプの組織の区別などを含む、ビデオオブジェクト特性に関する定量的フィードバックを通じて医師の意思決定を改善することができる。また、例えばレーザー手術中のスワイプ速度、気泡サイズ及び密度、腎臓検査中のランダルプラーク（Ｒａｎｄａｌｌ’ｓ ｐｌａｑｕｅ）決定、水蒸気療法（例えば、Ｒｅｚｕｍ（商標））中の挿入ポイント決定、ＢＰＨ処置中の被膜深さに関する外科的指針を通じて手順の認知的負荷及び効率を改善することもできる。

【0027】

１つの例示的な実施形態では、例えば尿管鏡画像又は膀胱鏡画像などの一連の低解像度内視鏡画像からさらに高解像度のマップ画像を作成し、結合画像がマップ画像の解像度を有するように、現在の画像をマップ画像に融合させる超解像技術が実装される。これらの例示的な技術は泌尿器科的処置に特に適しているが、いくつかの実施形態は、周囲組織が連続していて、後述するように組織上の固有の位置を長手方向及び半径方向座標に基づいてマッピングできるように配置されている限り、他の概ね管状の患者生体構造（例えば、静脈、食道など）、又は非管状の患者生体構造（例えば、胃）の内視鏡観察を改善することもできる。「超解像」は、一般に低解像度画像を融合することによって生成される改善された解像度又は分解能の画像として定義することができる。

【0028】

本明細書では、「超解像」という用語は、一般に内視鏡介入中のビデオ表示を改善するために生体構造をマッピングする画像空間の形成を意味する。関連する実施形態は、ストラクチャ・フロム・モーション（ＳＦＭ）深度マップの導出について説明する。他の例示的な技術は、他の方法で表示を改善することができる。例えば、適切に設計された深層畳み込みニューラルネットワーク（ＣＮＮ）を直接画素データに適用して、画像のノイズ抑制及び／又は組織灌流の相違の強調を行うことができる。以下で詳細に説明するように、これらの技術は単独で又は組み合わせて使用することができる。

【0029】

図１に、本開示の様々な例示的実施形態による、泌尿器科的処置を実行するシステム１００を示す。システム１００は、泌尿器科的処置中に患者生体構造の画像フレームを取得するイメージャ１０４を有する内視鏡１０２と、イメージャ１０４の視界を損なうおそれがある血液及びデブリを除去するために生体構造に流体（例えば、生理食塩水）を供給する流体機構１０６とを含む。以下でさらに詳細に説明するように、この実施形態の内視鏡１０２は、連続的に変形する患者生体構造に対する内視鏡１０２の位置の決定を知らせる任意の電磁（ＥＭ）トラッカー１０８を含む。

【0030】

システム１００は、泌尿器科的処置の性質に応じて選択された治療装置１１０をさらに含むことができる。治療装置１１０は、内視鏡１０２を通じて動作することも、又は内視鏡１０２の外部に存在することもできる。例えば、治療装置１１０は、例えば腎臓結石を砕くためのレーザー又は衝撃波発生器、又は前立腺組織を除去するためのレゼクトスコープ（ｒｅｓｅｃｔｏｓｃｏｐｅ）とすることができる。泌尿器科的処置が診断（すなわち、症状を治療することではなく生体構造を検査すること）を目的とする場合には、治療装置が使用されない場合もある。例示的な実施形態は、泌尿器科的イメージングに関して説明しているが、これに限定されるものではない。いくつかの実施形態は、流体機構が使用されないもの（例えば、食道イメージング）にも適用可能である。

【0031】

システム１００は、イメージャ１０４から提供された画像フレームを処理し、処理された画像をディスプレイ１１４に提供するコンピュータ１１２を含む。コンピュータ１１２及びディスプレイ１１４は、内視鏡タワーなどの統合ステーションに設けることができる。内視鏡タワーには、例えば流体機構１０６を通じて供給される流体の流量を制御するアクチュエータを含む、泌尿器科的処置を実行するための他の機能を実装することもできる。例示的な実施形態は、表示画像を一般に連続的に又は他のいずれかの所望の形で変更して強化又は向上するためのアルゴリズム的プロセスについて説明する。

【0032】

図２に、第１の例示的な実施形態による、内視鏡ビデオ表示の細部及び／又は視野の改善方法２００を示す。方法２００は、例えば尿道などの管状構造の近接内視鏡イメージング（ｃｌｏｓｅ－ｑｕａｒｔｅｒｓ ｅｎｄｏｓｃｏｐｉｃ ｉｍａｇｉｎｇ）に特に適した超解像技術とみなすことができる。２０５において、図３に示すような画像座標から円筒座標に画像を変換する空間変換を生成する。空間変換は、イメージャ１０４の光学的形状に基づいて生成される。図３の最も内側の円は、小さな半径ではビデオ表示において利用可能なデータ点の数が少なすぎて役に立たない可能性があると予想して、マッピングすることも又はしないこともできる。当業者であれば理解できるように、左側の黒い円の数は、右側の黒い横線の数に対応する。

【0033】

２１０において、円筒空間上にイメージャ１０４の解像度の整数倍の解像度でマップ画像を作成する変換セットを生成する。例えば、マップ画像は、解像度又は分解能、すなわちマップ画像を構築するために使用される画素数を有することができ、この解像度は、イメージャ１０４の解像度の３倍の解像度である。マップ内の各画素位置は、固定次元のベクトルによって表される。例えば、所与の位置におけるベクトルは、その位置から複数の画像フレームにわたって蓄積された、例えば８つのサンプルを表す８つの要素を有することができる。

【0034】

２１５において、イメージャ１０４によって取り込まれた予備セット画像を円筒座標系において整列するように相関付ける。２２０において、複数の画像サンプルに空間変換を適用して画像を円筒座標に変換し、サンプルからマップ画像を計算する。マップ画像は、外れ値棄却（ｏｕｔｌｉｅｒ ｒｅｊｅｃｔｉｏｎ）を適用されたベクトルから定められる各画像位置を有する。例えば、外れ値棄却はメジアンフィルタとすることができる。

【0035】

２２５において、イメージャによって現在の画像を取り込み、空間変換の適用時に円筒空間内の画像の整列を最適化するようにマップ画像に相関付ける。例えば、この相関は、画像間の類似度を測定して類似度を最大化するように画像を整列させる、画像間の相互相関とすることができる。２３０において、相関に基づいて画像に空間変換を適用する。２３５において、円筒座標系において現在の変換画像及びマップ画像を結合させ、例えば融合させる。マップ画像が現在の画像の視野を取り囲む領域内に十分なデータを有している場合には、結合画像の視野を拡大することができる。

【0036】

２４０において、結合画像に逆空間変換を適用して、スコープ座標系（ｓｃｏｐｅ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）における空間解像度が強化又は向上された画像を生成する。２４５において、最初に取り込まれたスコープ解像度の画像と比べて改善された細部及び／又は改善された視野で内視鏡手術を誘導するために、強化された解像度の画像をディスプレイ１１４上に表示する。

【0037】

２５０において、対応するマップベクトルに画素値を追加することによって、画像フレームの円筒座標変換をマップ画像に追加する。ベクトルは、ベクトルが一杯になった時に最も古いサンプルが削除されて空の場所に新たな画素値が追加されるように、サンプルが追加された時点に基づいて連続的に順序付けることができる。

【0038】

上述した画像処理ステップは、イメージャ１０４によって新たな画像フレームが取り込まれた時に連続して実行されるが、当業者であれば理解するように、他の画像処理スケジュールを採用することもできる。従って、各新たな画像フレームは、新たなフレームとマップ画像との融合に基づいて、改善された解像度又は分解能で視覚的に強化される。

【0039】

図４に、第２の例示的な実施形態による内視鏡ビデオの改善方法３００を示す。方法３００は方法２００に類似するが、方法３００では、光学的歪み、組織運動及び視点（ＰＯＶ）変化をよりよく補償する非剛体レジストレーションプロセス（ｎｏｎ－ｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｐｒｏｃｅｓｓ）について説明する。非剛体レジストレーションは、一般に画像に複数の局所的変換を適用して参照画像（この場合はマップ画像）との相関を改善することを意味する。本実施形態では、画像の異なるエリアを独立して変換してエリア間の位置の変化をより良好に取り込むことができる。

【0040】

３０５において、方法２００のステップ２０５～２２０に従ってマップ画像を計算する。３１０において、マップ画像のスケール空間表現を計算する。スケール空間表現は、一般に異なるスケールで徐々に平滑化された画像セットとしての画像データの表現を意味する。例えば、マップ画像内の大規模構造は強調され、微細構造は抑制される。

【0041】

３１５において、現在の画像を取り込み、最初は低い空間周波数でマップ画像に相関付ける。３２０において、現在の画像をマップ画像と融合させ、方法２００のステップ２３０～２５０に従って強化する。画像処理ステップは、新たな画像が取得された時に繰り返される。しかしながら、画像データはマップ画像を生成するために収集され続けるので、３２５において、次第に小さくなる領域を次第に高くなる空間周波数スケールで最適化することによって複数の独立領域変換を展開する。生体構造関連運動（Ａｎａｔｏｍｙ－ｒｅｌａｔｉｖｅ ｍｏｔｉｏｎ）を推定することができる。

【0042】

３３０において、非線形変換に基づいてストラクチャ・フロム・モーション（ＳＦＭ）深度マップを導出する。ＳＦＭは、一般に移動するＰＯＶによって取り込まれた一連の画像から３次元構造をマッピングすることを意味し、ここではイメージャの変化する位置及び向き（姿勢）が追跡される。深度マップは、新たな画像が収集された時に連続して作成される。

【0043】

上述した画像処理法２００、３００の要素を使用して、以下の手順固有の方法でさらに表示を強化又は向上することができる。

【0044】

レーザー結石破砕術などの腎臓結石治療では、結石を様々なサイズの多数の破片に断片化することができ、これらの断片のいくつかはさらに縮小する必要があり、いくつかは自然に回収又は排出されるほど十分に小さい場合もある。尿管鏡ビデオ内で結石粒子を追跡し、そのサイズを推測し、医師に適切な注釈を与えることで、これらの介入の速度、信頼性及び精度を向上させることができる。以下では、腎臓結石に関するオブジェクトサイジングについて説明するが、例えば病変、成長及びその他の組織特徴などの他の画像特徴を内視鏡表示内でサイジングして注釈付けすることもできる。

【0045】

図５に、内視鏡ビデオに物体サイズ情報を注釈付けする方法４００を示す。４０５において、方法２００のステップ２０５～２１５に従って、空間変換及び画像マップを生成し、予備セット画像を取り込んで相関付ける。

【0046】

４１０において、予備セット画像内でスコープ関連オブジェクトを識別してセグメント化する。スコープ関連オブジェクトは、例えばレーザー結石破砕術を実行するためのレーザーファイバを含むことができる。スコープ関連オブジェクトのセグメンテーションは、予め定められた特徴マップと制約された登録幾何形状とを使用して実行される。

【0047】

４１５において、予備セット画像内で関心オブジェクトを識別してセグメント化する。関心オブジェクトは、例えば腎臓結石を含むことができる。当業者であれば認識するように、関心オブジェクトのセグメンテーションは、画像特徴及び小塊発見アルゴリズム（ｂｌｏｂ－ｆｉｎｄｉｎｇ ａｌｇｏｒｉｔｈｍｓ）を使用して実行される。

【0048】

４２０において、予備セット画像に空間変換を適用し、識別されたスコープ関連オブジェクトを除外して超解像シーンマップを計算する。

【0049】

４２５において、方法３００のステップ３１０～３３０に従って確率的深度マップを導出する。この深度マップは、超解像マップ整合（ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｍａｐ ａｌｉｇｎｍｅｎｔ）からの独立した領域変換及び暗黙のカメラ姿勢変換に基づく。ステップ３１０～３３０は、シーンマップの解像度を連続的に向上させるために、連続的に画像を取得してシーンマップに相関付け／追加することを含む。

【0050】

４３０において、現在取り込まれている画像内の深度情報及び角度範囲（ａｎｇｕｌａｒ ｅｘｔｅｎｔ）に基づいて、以前に識別された関心オブジェクトのサイズを推定する。

【0051】

４３５において、現在取り込まれている画像の表示上で腎臓結石などの関心オブジェクトに注釈付けする。１つの実施形態では、表示上にオブジェクトの寸法を直接レンダリングすることができる。別の実施形態では、オブジェクトの境界を示すようにオブジェクトに括弧付きで注釈付けすることができる。この括弧は、オブジェクトのサイズ推定値を所定の治療閾値と比較することによって、オブジェクトのサイズ分類を示すように色分けすることができる。例えば、オブジェクトにさらなる縮小が必要であることがサイズ推定値によって示される場合には括弧を赤色に着色し、オブジェクトが回収できるほど十分に小さいが自然に排出されるには大きすぎることがサイズ推定値によって示される場合には括弧を黄色に着色し、オブジェクトが自然に通過できることがサイズ推定値によって示される場合には括弧を緑色に着色することができる。換言すれば、腎臓結石には、腎臓結石が通過できる最小管サイズを示すように注釈付けすることができる。図６に、腎臓結石を括弧で囲んだ例示的な内視鏡ビデオ表示を示す。

【0052】

別の実施形態では、上述したフレーム間相関又は超解像マップを使用して、セグメント化された各画素における複数のサンプルから色及び反射率（アルベド）の統計的記述を構築する。クラスタリングアルゴリズム及びインビボ訓練データを使用する機械学習を使用して、識別されたサイズグループ内のメンバーシップの確率を投影する組成マップを作成する。

【0053】

ＳＦＭ技術は、内視鏡手術中に内視鏡の位置を追跡するプロセスに情報を提供するために採用することができる。内視鏡ビデオから決定される内視鏡のＳＦＭ姿勢推定（ＳＦＭ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）を、ＥＭトラッカー１０８からの位置情報、及び以前に取得された画像から導出される患者生体構造のセグメント化された３Ｄ再構成と組み合わせて使用して、連続的に変形する患者生体構造に対する内視鏡の位置決定を改善することができる。

【0054】

図７に、第１の例示的な実施形態による、連続的に変形する生体構造に対する内視鏡の位置を追跡する方法５００を示す。５０５において、以前に取得された生体構造の標的部位の３Ｄ画像ボリューム（３Ｄ ｉｍａｇｅ ｖｏｌｕｍｅ）を受け取ってセグメント化する。３Ｄボリュームは、以前に取り込まれたＣＴ画像又は同様の画像媒体から取り込まれた画像によって生成することができる。５１０において、方法３００のステップ３０５～３３０に従ってＳＦＭ深度マップを導出する。深度マップは、生体構造関連運動、位置推定、及び位置推定の信頼度を提供する。

【0055】

５１５において、内視鏡１０２の先端付近に配置されたＥＭトラッカー１０８を使用して内視鏡１０２の６自由度（６ＤＯＦ）位置を決定する。５１５からの６ＤＯＦ位置、及び５１０からのＳＦＭ深度マップを追加する画像は、実質的に同時に受け取られ、相関することができる。

【0056】

５２０において、ＥＭトラッカー１０８からの位置データと、ＳＦＭマップからの位置データと、生体構造の固定ボリュームとを組み合わせて、内視鏡１０２を生体構造の表面境界内に維持するのに十分な生体構造の最小変形を推定する。結果として得られるモデルは、セグメント化された表面モデルにスコープ１０２が接触したことを位置データが示すまで、スコープ１０２が空洞内で自由に動くことを想定する。位置データが固定モデルの表面を突破するように示されると、スコープ１０２の位置を表面内に維持するように生体構造を変形させる。例えば、生体構造は、表面の向きに対して垂直に変位する。

【0057】

５２５において、組み合わせモデル及び６ＤＯＦ内視鏡位置が、ＳＦＭ深度マップからの位置推定を知らせて改善する。改善された推定値は、ノイズの暴走統合（ｒｕｎａｗａｙ ｉｎｔｅｇｒａｔｉｏｎ）を防ぐ。

【0058】

５３０において、処理された画像をライブ注釈ナビゲーションフィードバック（ｌｉｖｅ ａｎｎｏｔａｔｉｏｎ ｎａｖｉｇａｔｉｏｎ ｆｅｅｄｂａｃｋ）と共にディスプレイ１１４上に表示する。ある実施形態では、注釈が、以前のイメージングからの石又は粒子の位置を反映することができる。また、磁気共鳴（ＭＲ）追跡又は光学追跡を組み込むことによって、注釈が既にナビゲートされている経路を反映することもできる。この方法は、画像が取得された時に連続して繰り返される。

【0059】

別の実施形態では、方法３００で導出されるＳＦＭ深度マップではなく、当業で周知のＳＦＭ技術を使用することもできる。方法３００からのＳＦＭ深度マップは、既知の技術と比べて、例えばカメラ動作から生じる変換などの典型的な変換を表すために必要な非線形性の少ない単純な形状を有する。従来のＳＦＭアルゴリズムはカメラ光学系の幾何学的補正も必要とするが、これらの補正は、表面の連続性又は向きに関する仮定にまでは及ばない。これらの仮定は、有効である場合には解決策の数値的複雑性を大幅に抑えることによって、性能を改善して誤差を低減する。

【0060】

ＢＰＨ（前立腺肥大症）は、様々な低侵襲性の経尿道的内視鏡手術を通じて治療できる疾患である。解剖学的ランドマークに対する内視鏡の位置の認識は、内視鏡ビデオの注釈付けを可能にし、医師が距離を測定して進行中の多段階介入を追跡する支援を行う。

【0061】

図８に、第２の例示的な実施形態による、尿道などの管状構造の内視鏡ビデオにおける動き追跡法６００を示す。方法６００は、解剖学的ランドマークに対する現在の位置、目的とする介入に関連する所望の位置、及びその介入に関連する進捗インジケータを含む注釈を提供することができる。

【0062】

６０５において、カメラの回転中心及び移動方向をマッピングする。６１０において、光学系をマッピングして、スコープのＰＯＶから各画像画素とスコープの移動方向との間の物理的角度を導出する。光学系をマッピングすると、画像の各画素について緯度と同様に、カメラ軸からの角度距離を指定するスカラー（緯度の例えで言えば、むしろ逆に０°が極になって９０°が赤道になる点を除いて北極）が効果的に定められる。画像内の０°における「極」位置は、正確にカメラ軸に沿ってカメラを前進又は後退させた時に同じ位置を向いたままの点である。

【0063】

６１５において、マッピングステップ６０５～６１０に基づいて、各画像について各解剖学的画素までの距離を決定する。この距離は、スコープ１０２に垂直な基準面から画素において撮像されたオブジェクトまで測定される。

【0064】

６２０において、決定された距離、及びスコープの自軸に対する回転角に基づいて、円筒空間内で変形画像を計算する。変形画像は、スコープの回転点からスコープビデオ内の基準方位特徴（ｒｅｆｅｒｅｎｃｅ ｏｒｉｅｎｔａｔｉｏｎ ｆｅａｔｕｒｅ）へのベクトルに対して計算される。基準方位を定める（例えば、図３の０°の角度を設定する）任意の特徴が選択され、従ってその後の全てのマッピングは直接的又は間接的に基準方位に関連する。

【0065】

６２５において、画像特徴を識別する。画像特徴を識別するために、変形円筒画像からのスケール空間内で、例えばヘッセ行列（Ｈｅｓｓｉａｎ ｄｅｔｅｒｍｉｎａｎｔｓ）などの顕著性又はサリエンシーメトリクス（Ｓａｌｉｅｎｃｙ ｍｅｔｒｉｃｓ）が計算される。

【0066】

６３０において、イメージャ１０４の視野内の介入器具のいずれかの部分に関連する画像特徴を無視して特徴記述子を構築する。特徴記述子は、円筒形画像内の特徴エリア画素値に基づく。６３５において、記述子に基づいて特徴を照合する。ある実施形態では、本アルゴリズムが画像を別の画像と照合する傾向にあるが、別の実施形態では、グローバルマップが可能であって潜在的に有利である。先行方法とは異なり、スケール及び回転不変計算（ｓｃａｌｅ ａｎｄ ｒｏｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｃａｌｃｕｌａｔｉｏｎｓ）を実行する必要はない。シーンマップの形状に関する推測を行うことにより、特徴の形状は、１つの画像から次の画像まで一貫したスケール及び向きを保つはずである。例えば、特徴の向きは、外挿された円筒の消滅点への特徴のベクトルに関連し、従ってその後にスコープを実質的にその軸に沿って回転させた状態で近くの画像が取得された場合、この画像はこの方位角に影響を与えず、これによって特徴をより直接的に照合できるようになる。

【0067】

６４０において、範囲から外れた照合を除外し、画像フレーム間で相対的カメラ姿勢変換を推測する。注釈は、基準特徴及び基準面との関係に関して表され、従ってカメラ姿勢変換が分かると画像空間内に位置を戻すことができる。

【0068】

図９に、解剖学的ランドマークに対する現在位置、介入に関連する所望の位置、及びその介入に関連する進捗インジケータが示された、例示的な内視鏡ビデオ表示を示す。

【0069】

図１０には、第２の例示的な実施形態による、管状構造の内視鏡ビデオ内の動き追跡法７００を示す。方法７００は、方法６００に類似する。７０５において、方法６００のステップ６０５～６２０に従って円筒空間内で変形画像を計算する。

【0070】

７１０において、器具オブジェクトに対応する画素を無視したマスク画像を生成する。現在の画像が最初の画像である場合、７１５においてマスク画像をマップ画像として記憶する。現在の画像が後続の画像である場合、７２０において、好適な整列基準に基づいてマップ画像との最適な整列を計算する。例えば、最適な整列は、ヘッセ行列加重相関（Ｈｅｓｓｉａｎ－ｄｅｔｅｒｍｉｎａｎｔ ｗｅｉｇｈｔｅｄ ｃｏｒｒｅｌａｔｉｏｎ）又はエントロピー加重相関（ｅｎｔｒｏｐｙ－ｗｅｉｇｈｔｅｄ ｃｏｒｒｅｌａｔｉｏｎ）などの相関に基づいて計算することができる。７２５において、最適な整列に基づいて画像にマップをオーバーレイ表示する。

【0071】

７３０において、マップ位置サンプルの統計的組み合わせを使用して最新のマップ画像を計算する。例えば、マップ画像は、各画素が定められた全ての画像にわたる各色チャネルの中央強度（ｍｅｄｉａｎ ｉｎｔｅｎｓｉｔｙ）を使用して計算することができる。７３５において、マップとの整列からカメラの相対的位置を推測する。

【0072】

ＢＰＨを治療する１つの手順は、前立腺組織にレーザーを通過させることによって前立腺組織を収縮又は除去するレーザー前立腺切除術である。この手順は、レーザーの掃引範囲（レーザーが通過する角度範囲）及び掃引速度（単位時間当たりの角度変化）を特徴とする。掃引範囲、掃引速度及び掃引角度は、レーザーの出力密度、組織からレーザーまでの距離、組織のタイプ、レーザー周波数及びファイバサイズによって決定される。内視鏡ビデオに注釈を組み込むことで、医師の意識及び精度を高めることを通じてレーザー治療手順を容易にすることができる。

【0073】

図１１に、膀胱鏡ビデオフィードを解析し、例えばＧｒｅｅｎＬｉｇｈｔ（商標）レーザーなどのレーザー治療手順を知らせる注釈を提供する方法８００を示す。８０５において、レーザー装置のために画像特徴を記憶する。８１０において画像を取り込む。８１５において、イメージャが画像にレーザー装置の少なくとも一部を取り込んでいた場合、レーザー装置の向き及びカメラに対する距離を計算する。

【0074】

８２０において、カラーフィルタリングを使用してレーザビームの散乱分布を決定する。８２５において、画像内に散乱ピークが取り込まれている場合、散乱ピークに基づいてレーザーの向きを推定する。散乱ピークとは、レーザー光の経路内に直接存在する生体構造の位置を推測するための反射レーザー光の強度、すなわちレーザーパルスと共に明滅する輝点のことである。レーザーファイバの端部の直接的な視覚化と組み合わせて、（カメラセンサ上に投影された）レーザーの向きの推定を決定することができる。

【0075】

８３０において、レーザー装置から散乱ピークまでの距離の事前校正マップを使用してアブレーション距離を推定する。距離推定は、ステップ８１５の距離計算が利用可能である場合には、この距離計算を使用して精緻化することができる。

【0076】

８３５において、距離推定及びレーザー出力設定に基づいて最適なレーザー掃引速度を計算する。８４０において、最適な掃引レート、及び最適な掃引レートと検出された掃引レートとの間の関係を示す第１の注釈をディスプレイ１１４上に提供する。

【0077】

８４５において、アブレーション深さを示す第２の注釈をディスプレイ１１４上に提供する。表示されるアブレーション深さは、前立腺被膜までの距離に関連することができる。

【0078】

８５０において、適切なレート、及び最適な測定レートと掃引角度との間の関係を示す視覚的手掛かりを提供する。

【0079】

図１２は、推測される最適範囲に対する出力レベル、レーザー標的組織に対する見掛けの平均深さ、推測される掃引角、並びに出力及び平均深さから計算される最適掃引角／掃引ペースを含む前立腺レーザー注釈が表示された例示的な内視鏡ビデオ表示である。

【0080】

別の実施形態では、各掃引角度での見掛けのアブレーション深さと、以前に取得された３Ｄ画像ボリュームにおいて測定された尿道から被膜までの投影距離とを比較するビデオ注釈が提供される。レーザー位置は（以前の）尿道位置に存在するので、以前の画像で測定された被膜までの距離はアブレーション手順の限界深さを示す。ユーザは、被膜又はそれを越えてアブレーションを継続しないことを選択することもできる。

【0081】

さらに別の代替実施形態では、角度及び深さの推定を３Ｄ器具追跡システムから計算されたレーザー角度及び挿入深さ測定値と組み合わせる。

【0082】

内視鏡ビュー内で異なるタイプの組織を区別することで、様々な内視鏡手術をさらに容易にすることができる。また、整列した画像フレームの非常にわずかな変動を増幅させることで、心拍位相測定（ｃａｒｄｉａｃ ｐｈａｓｅ ｍｅａｓｕｒｅｍｅｎｔｓ）との相関を可能にして組織灌流の差異を強調することができる。

【0083】

ある実施形態では、適切に設計された畳み込みニューラルネットワーク（ＣＮＮ）が、フィルタリング及び増幅パラメータのアドホックチューニングを可能にして以前の方法よりも柔軟な実装をもたらすことができる。第１の畳み込み層に供給されるＣＮＮの入力ボリュームは、約数秒分のビデオフレームを赤色、緑色及び青色チャンネルについて３倍した深さを有する。出力層は、同じ長さ及び幅のビデオフレーム、並びに１の深さを有し、心臓相関の度合いを表す。このネットワークは、指定心拍間隔に一致するようにスケーリングされた一連の所定のウェーブレットのいずれかに対する画素の最大時間相関をコスト関数が測定する未圧縮インビボ内視鏡ビデオ上で訓練される。結果として得られる値及び最大ウェーブレットは、信号の増幅を促して組織灌流の相違を導出し、これに関連して組織構成の相違を強調することができる。ＣＮＮの使用は教師なしの方法での導出を可能にするのに対し、以前の方法は、未加工画像フレームを適切にフィルタリングするためにユーザが繰り返し介入することを伴う。

【0084】

ＣＮＮは、ノイズが少なく細部が強調された画像を生成するためにも使用される。深層畳み込みニューラルネットワーク（ＣＮＮ）は、内視鏡からの画素データに直接適用することができる。この非典型的なＣＮＮでは、出力ボリュームが入力ボリュームと同じ深さ（推定上は赤色、緑色及び青色チャンネルについて３）を有するが、幅及び高さは入力幅及び高さの同じ整数倍（超解像倍率）であり、畳み込み層のストライディング（ｓｔｒｉｄｉｎｇ）は部分的である。ネットワークを訓練するための誤差項は、入力データの最も高い空間周波数成分が出力データ変換において表現可能な最も高い空間周波数に対応するようにナイキスト限界を超えてシフトしている場合を除き、元々の画素及び出力値に対して離散ハートレー変換（ｄｉｓｃｒｅｔｅ Ｈａｒｔｌｅｙ ｔｒａｎｓｆｏｒｍｓ）を実行して二乗差を最小化することによって計算される。別の実施形態では、ノイズ抑制に役立つように、入力データの空間周波数変換が、相関ベースのレジストレーション変換を使用して計算されたマルチフレーム平均画像に対して実行される。

【0085】

様々な既存の超解像法又はＳＦＭ法は、開示した方法の要素と組み合わせて既存の技術を改善することができる。例えば、方法２００に関して説明したような内視鏡の既知／校正可能な光学的形状を利用して既存の超解像技術を改善することができる。内視鏡の光学的形状に基づいて生成されるイメージマップは、各フレームの画素当たりに１つのサンプルを有することができ、スコープ画像は、「シフト及び融合（ｓｈｉｆｔ ａｎｄ ｆｕｓｉｏｎ）」などの既知の超解像技術を使用して変換することができる。

【0086】

他の画像強化技術としては、バンドフィルタ、メジアンフィルタ又は高周波フィルタなどの様々なフィルタを画素データに適用すること、及び曇った又は濁った環境（ｃｌｏｕｄｙ ｏｒ ｔｕｒｂｉｄ ｅｎｖｉｒｏｎｍｅｎｔ）を通じて関心オブジェクトのためのエッジ検出を使用することが挙げられる。これらのさらなる技術は、単独で又は上述した実施形態と組み合わせて使用することができる。

【符号の説明】

【0087】

２０５ 空間変換を生成
２１０ マップ画像変換を生成
２１５ 予備セット画像を取り込んで相関付け
２２０ 空間変換を適用してマップ画像を計算
２２５ 現在の画像を取り込んで相関付け
２３０ 現在の画像に空間変換を適用
２３５ 現在の画像の変換及びマップ画像を融合
２４０ 結合画像に逆空間変換を適用
２４５ 現在の画像の強化された解像度表現を表示
２５０ 現在の画像の変換をマップ画像に追加

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】