特許 6382802 ロボット操作される内視鏡を使用した血管可視化の向上

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6382802

(24)【登録日】2018年8月10日

(45)【発行日】2018年8月29日

(54)【発明の名称】ロボット操作される内視鏡を使用した血管可視化の向上

(51)【国際特許分類】

   A61B 1/00 20060101AFI20180820BHJP

   A61B 1/045 20060101ALI20180820BHJP

   A61B 1/313 20060101ALI20180820BHJP

   A61B 34/20 20160101ALI20180820BHJP

   A61B 34/30 20160101ALI20180820BHJP

【ＦＩ】

   A61B1/00 551

   A61B1/00 620

   A61B1/00 655

   A61B1/045 620

   A61B1/045 623

   A61B1/313

   A61B34/20

   A61B34/30

【請求項の数】20

【全頁数】12

(21)【出願番号】特願2015-519422(P2015-519422)

(86)(22)【出願日】2013年6月20日

(65)【公表番号】特表2015-526133(P2015-526133A)

(43)【公表日】2015年9月10日

(86)【国際出願番号】IB2013055070

(87)【国際公開番号】WO2014001980

(87)【国際公開日】20140103

【審査請求日】2016年6月16日

(31)【優先権主張番号】61/665,375

(32)【優先日】2012年6月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ポポヴィッチ アレクサンドラ

(72)【発明者】

【氏名】エルハワリー ハイサム

【審査官】 磯野 光司

(56)【参考文献】

【文献】 特表２００９−５１７１７７（ＪＰ，Ａ）

【文献】 特表平０８−５１１６９４（ＪＰ，Ａ）

【文献】 特開平０８−２７５９５８（ＪＰ，Ａ）

【文献】 特開２００６−０００４８５（ＪＰ，Ａ）

【文献】 特開２００７−１５９６４１（ＪＰ，Ａ）

【文献】 国際公開第２０１２／００１５４９（ＷＯ，Ａ１）

【文献】 特表２００１−５００７７２（ＪＰ，Ａ）

【文献】 特表２０１２−５０５６９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００− １／３２

Ａ６１Ｂ ３４／３０−３４／３７

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

Ｓｃｏｐｕｓ

(57)【特許請求の範囲】

【請求項1】

撮像される領域より小さい視野を有する内部撮像用の検査鏡と、
前記撮像される領域の合成画像を生成するように、前記検査鏡の視野画像がステッチされるように前記検査鏡からのビデオを受け取る計画モジュールと、
前記検査鏡の視野内で生成された画像が、前記合成画像のフィールド上にオーバレイされるライブビデオとして表示されるように、処置の間、解剖学的ターゲットに沿って前記検査鏡を移動させる画像ガイダンスモジュールと、
を含む、解剖学的ターゲットを可視化するシステム。

【請求項2】

前記計画モジュールは、前記合成画像内の前記解剖学的ターゲットに関連する関心点を選択する、請求項１に記載のシステム。

【請求項3】

前記検査鏡をガイドするロボットを更に含み、前記画像ガイダンスモジュールは、前記検査鏡をガイドするために、前記関心点を使用する、請求項２に記載のシステム。

【請求項4】

前記計画モジュールは、前記解剖学的ターゲットのマップを提供するように、前記合成画像上に手術画像を位置合わせし、オーバレイする、請求項１に記載のシステム。

【請求項5】

全寸法に対する前記検査鏡の進捗を示すように、前記合成画像と共に表示される進捗インジケータを更に含む、請求項１に記載のシステム。

【請求項6】

前記解剖学的ターゲットは、分離されるべき血管を含み、前記進捗インジケータは、前記血管の全長に対して分離された部分を示す進捗のパーセンテージ又は進捗グラフの少なくとも１つを含む、請求項５に記載のシステム。

【請求項7】

前記計画モジュールは、前記全長を推定するために、前記血管の術前画像を使用する、請求項６に記載のシステム。

【請求項8】

前記解剖学的ターゲットは、バイパス形成術に使用するための内胸動脈（ＩＭＡ）を含む、請求項１に記載のシステム。

【請求項9】

前記検査鏡は、フレキシブル内視鏡を含む、請求項１に記載のシステム。

【請求項10】

プロセッサと、
前記プロセッサに結合されるメモリと、
を含み、
前記メモリは、
解剖学的ターゲットの合成画像を形成するように、検査鏡から受け取られる前記解剖学的ターゲットの視野画像をステッチする計画モジュールと、
前記検査鏡の視野内で生成された画像が、前記合成画像のフィールド上にオーバレイされるライブビデオとして表示されるように、前記合成画像を使用して前記解剖学的ターゲットに沿って前記検査鏡を移動させる画像ガイダンスモジュールとを含む、解剖学的ターゲットを可視化するシステム。

【請求項11】

前記計画モジュールは、少なくとも、（ｉ）前記合成画像内の前記解剖学的ターゲットに関連する関心点を選択する、又は、（ｉｉ）前記解剖学的ターゲットのマップを提供するように、前記合成画像上に手術画像を位置合わせし、オーバレイする、請求項１０に記載のシステム。

【請求項12】

前記検査鏡をガイドするロボットを更に含み、前記画像ガイダンスモジュールは、前記検査鏡をガイドするために、前記関心点を使用する、請求項１１に記載のシステム。

【請求項13】

前記画像ガイダンスモジュールによって生成され、全寸法に対する前記検査鏡の進捗を示すように前記合成画像と共に表示される進捗インジケータを更に含み、前記解剖学的ターゲットは、分離されるべき血管を含み、前記進捗インジケータは、前記血管の全長に対して分離された部分を示す進捗のパーセンテージ又は進捗グラフの少なくとも１つを含み、前記計画モジュールは、前記全長を推定するために、前記血管の術前画像を使用する、請求項１０に記載のシステム。

【請求項14】

前記解剖学的ターゲットは、バイパス形成術に使用するための内胸動脈（ＩＭＡ）を含む、請求項１０に記載のシステム。

【請求項15】

前記検査鏡は、フレキシブル内視鏡を含む、請求項１０に記載のシステム。

【請求項16】

解剖学的ターゲットを可視化するシステムの作動方法であって、前記システムは、メモリ及び表示装置を含むワークステーションを備え、前記システムの作動方法は、
視野を有する検査鏡によって生成された解剖学的ターゲットの一部の画像を前記ワークステーションが受け取るステップと、
前記ワークステーションが前記一部の画像を使用して前記解剖学的ターゲットの合成画像を形成するステップと、
前記合成画像内の関心点を特定するデータを前記ワークステーションの前記メモリが記憶するステップと、
前記ワークステーションが前記検査鏡の視野内で生成された画像を、前記合成画像のフィールド上にオーバレイされるライブビデオとして前記表示装置上に表示するステップと、
を含む、システムの作動方法。

【請求項17】

前記解剖学的ターゲットのマップを提供するように、前記ワークステーションが、前記合成画像上に、少なくとも１つの術前画像を位置合わせし、オーバレイするステップを更に含む、請求項１６に記載のシステムの作動方法。

【請求項18】

前記解剖学的ターゲットの全寸法に対する前記検査鏡の位置を示すように、前記ワークステーションが進捗インジケータを生成するステップを更に含み、前記ワークステーションが前記進捗インジケータを生成するステップは、血管の全長に対する前記検査鏡の位置を示すパーセンテージ又はグラフの少なくとも１つを示すことを含む、請求項１６に記載のシステムの作動方法。

【請求項19】

前記ワークステーションが、前記合成画像から前記解剖学的ターゲットの長さを測定するステップを更に含む、請求項１６に記載のシステムの作動方法。

【請求項20】

前記解剖学的ターゲットは、内胸動脈（ＩＭＡ）を含む、請求項１６に記載のシステムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療機器及び方法、より具体的には、医学的応用における解剖学的内部構造の可視化を向上させるシステム及び方法に関する。

【背景技術】

【0002】

冠動脈バイパス術（ＣＡＢＧ）は、閉塞した冠動脈の血管再開通のための外科的処置である。従来の外科手術では、患者の肋骨が開かれ、心臓が完全に露出される。しかし、低侵襲（ＭＩ）バイパス外科手術は、小さいポートを介して行われる。ＣＡＢＧ処置の重要な部分は、患者の体から血管を取り出すことである。その血管は、冠動脈における１つ以上のアテローム性狭窄箇所にバイパス形成するために使用される。最も一般的に取り出されて使用される血管は、内胸動脈（ＩＭＡ）であり、左内胸動脈（ＬＩＭＡ）又は右内胸動脈（ＲＩＭＡ）を含み、胸腔内にある。

【0003】

ＭＩ心臓バイパス術の間、これらの血管に直接アクセスすることはできず、これらの血管は、肋骨の間の空間内の肋間筋を通るポート内に挿入される長い器具を使用して取り出される。ＭＩ手術の間、外科助手が内視鏡を持つか、又は、内視鏡はロボットガイダンスを使用して保持される。ロボットガイダンスの場合、ロボットを特定の場所に移動させるために、視覚サーボが使用される。視覚サーボは、内視鏡画像上の点を選択し、当該点が画像の中心となるようにロボットが移動することから構成される。

【0004】

ＩＭＡの取り出し（takedown）は、通常、ＣＡＢＧ処置のうち最も時間のかかる部分である。ＩＭＡの取り出しは、通常、４５〜６０分かかり、バイパス形成術の成功は、通常、摘出される血管の質に依存する。

【0005】

処置のこの段階における主な課題は次を含む。即ち、内視鏡画像が、この処置のための唯一の可視化方法であるが、内視鏡は、血管の小さいセグメントの限られた視野しか提供しない。ＭＩのために、外科医は、肋骨間に挿入され、胸骨領域の下に到達する細長い器具を用いて作業する。しかし、これは作業を困難にする。摘出される動脈は、周囲組織から慎重に分離されなければならず、また、側枝は焼灼されなければならないからである。

【0006】

例えばＬＩＭＡ動脈の長さは、冠動脈上のバイパス形成位置に届くように十分でなければならない。（領域全体が可視で、アクセス可能であることにより、摘出される血管動脈の長さを推定することのできる観血手術とは対照的に）ＭＩ処置の間に摘出される血管動脈の長さを推定することは非常に困難である。ＬＩＭＡは、胸の中央及び下部から取り出されるので、ＬＩＭＡは、組織内により埋め込まれている傾向があり、分離が遅くなり、動脈及び側枝の可視化をより一層困難なものにしてしまう。

【発明の概要】

【発明が解決しようとする課題】

【0007】

動脈を分離する技術的難しさとバイパス形成に必要な長さが分からないということが合わさると、処置時間が長くなる。これは、外科医がより困難な遠位領域において必要であるよりも大幅に長い動脈セグメントを分離するか、又は、短過ぎるセグメントを分離することで動脈を再び分離するために後で戻ることが必要となることによる。

【課題を解決するための手段】

【0008】

本発明の例示的な実施形態によれば、本明細書において説明される解剖学的ターゲットを可視化するシステムは、撮像される領域よりも小さい視野を有する内部撮像のための検査鏡を含む。計画モジュールが、撮像される領域の合成画像を生成するように、検査鏡の複数の視野画像がステッチされるように検査鏡からのビデオを受け取る。画像ガイダンスモジュールは、検査鏡の視野内で生成された画像が、合成画像のフィールド上にオーバレイされるライブビデオとして表示されるように、処置の間、解剖学的ターゲットに沿って検査鏡を移動させる。

【0009】

例えば、計画モジュールは、合成画像内の解剖学的ターゲットに関連する関心点を選択する。当該システムは、検査鏡をガイドするロボットを更に含み、画像ガイダンスモジュールは、検査鏡をガイドするために、当該関心点を使用する。計画モジュールは、解剖学的ターゲットの高められたマップを提供するように、合成画像上に手術画像を位置合わせし、オーバレイする。当該システムは、例えば全寸法に対する検査鏡の進捗を示すように、合成画像と共に表示される進捗インジケータを更に含む。解剖学的ターゲットは、分離されるべき血管を含み、進捗インジケータは、血管の全長に対して分離された部分を示す進捗のパーセンテージ及び／又は進捗グラフを含む。計画モジュールは、全長を推定するために、血管の術前画像を使用することも可能である。解剖学的ターゲットは、例えば、バイパス形成術に使用するための内胸動脈（ＩＭＡ）を含む。更に、検査鏡は、フレキシブル内視鏡を含んでもよい。

【0010】

本発明の別の例示的な実施形態によれば、本明細書において説明される解剖学的ターゲットを可視化するシステムは、プロセッサと、当該プロセッサに結合されるメモリとを含む。メモリは、解剖学的ターゲットの合成画像を形成するように、検査鏡から受け取られる解剖学的ターゲットの複数の視野画像をステッチする計画モジュールを含む。画像ガイダンスモジュールは、検査鏡の視野内で生成された画像が、合成画像のフィールド上にオーバレイされるライブビデオとして表示されるように、合成画像を使用して解剖学的ターゲットに沿って検査鏡を移動させる。

【0011】

例えば、計画モジュールは、合成画像内の解剖学的ターゲットに関連する関心点を選択する。当該システムは、検査鏡をガイドするロボットを更に含み、画像ガイダンスモジュールは、検査鏡をガイドするために、関心点を使用する。計画モジュールは、解剖学的ターゲットの高められたマップを提供するように、合成画像上に手術画像を位置合わせし、オーバレイする。当該システムは、画像ガイダンスモジュールによって生成され、例えば全寸法に対する検査鏡の進捗を示すように合成画像と共に表示される進捗インジケータを更に含む。解剖学的ターゲットは、分離されるべき血管を含み、進捗インジケータは、血管の全長に対して分離された部分を示す進捗のパーセンテージ及び／又は進捗グラフを含む。計画モジュールは、全長を推定するために、血管の術前画像を使用する。解剖学的ターゲットは、例えば、バイパス形成術に使用するための内胸動脈（ＩＭＡ）を含む。更に、検査鏡は、フレキシブル内視鏡を含んでもよい。

【0012】

本発明の更に別の例示的な実施形態によれば、本明細書において説明される解剖学的ターゲットを可視化する方法は、検査鏡の視野を使用して解剖学的ターゲットの一部を撮像するステップと、当該一部を使用して解剖学的ターゲットの合成画像を形成するステップと、合成画像内の関心点を選択するステップと、検査鏡の視野内で生成された画像が、合成画像のフィールド上にオーバレイされるライブビデオとして表示されるように、始点から解剖学的ターゲットに沿って移動するステップとを含む。

【0013】

例えば、当該方法は、解剖学的ターゲットの高められたマップを提供するように、合成画像上に、術中又は術前画像を位置合わせし、オーバレイするステップを更に含む。更に、当該方法は、全寸法に対する検査鏡の進捗を示すように進捗インジケータを生成するステップを更に含む。解剖学的ターゲットは、分離されるべき血管を含み、進捗インジケータを生成するステップは、例えば、血管の全長に対して分離された部分を示す進捗のパーセンテージ又は進捗グラフの少なくとも１つを示すことを含む。検査鏡の視野を使用して解剖学ターゲットの一部を撮像するステップは、ガイダンスのための関心点を使用して、検査鏡をロボットで移動させるステップを含む。当該方法は更に、視覚サーボを使用して、検査鏡を移動させるステップを含む。解剖学的ターゲットは、内胸動脈（ＩＭＡ）を含み、解剖学的ターゲットに沿って移動するステップは、バイパス形成術に使用するためにＩＭＡを分離するステップを含むことが可能である。当該方法は更に、合成画像から解剖学的ターゲットの長さを測定するステップを含む。

【0014】

本開示のこれらの及び他の目的、特徴及び利点は、添付図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかとなろう。

【0015】

本開示は、以下の図面を参照して好適な実施形態の以下の説明を詳細に提示する。

【図面の簡単な説明】

【0016】

【図1】図１は、一実施形態に係る解剖学的ターゲットを可視化するシステムを示すブロック／フロー図である。

【図2】図２は、一実施形態に係る解剖学的ターゲットを可視化するシステムを示すブロック／フロー図である。

【図3】図３は、１つの例示的な実施形態に従って、血管の取り出し及び／又は動脈バイパス形成を行うためのシステムセットアップを示す図である。

【図4】図４は、１つの例示的な実施形態に従って、取出される血管全体の視野よりも小さい視野を有する内視鏡を有する図３のシステムセットアップを示す図である。

【図5】図５は、一実施形態に従って内胸動脈の内視鏡ビデオからの視野がステッチされた合成画像を示す画像である。

【図6】図６は、一実施形態に従って割り当てられた関心点を有する合成画像を示す画像である。

【図7】図７は、一実施形態に従って内胸動脈の位置合わせされ及びオーバレイされた手術画像（術前及び／又は術中）を有する合成画像を示す画像である。

【図8】図８は、一実施形態に従って、合成画像上にオーバレイされたライブビデオ視野挿入画像を有する合成画像を示し、進捗（％）及び内胸動脈の長さを示す画像である。

【発明を実施するための形態】

【0017】

本発明の原理によれば、上記の血管分離の問題を解決するために、血管分離計画及び実行システムが提供される。本発明の原理は、ほんの小さなセグメントではなく、血管（例えばＬＩＭＡ）の大部分を示す大幅に拡大された視野を提供して、血管に関する追加情報を提供する。この追加情報は、例えば摘出のために分離されている血管の長さ、所望のバイパス形成長さに対する血管分離の進捗、及び、焼灼される必要のある側枝の位置を含む。

【0018】

なお、本発明は、冠動脈のバイパス形成処置に使用する医用器具の観点から説明されるが、本発明の教示内容は、それよりも広く、ターゲット解剖学的構造の向上された可視化が必要又は所望される任意の器具又は処置に適用可能である。幾つかの実施形態では、本発明の原理は、複雑な生物系又は機械系を追跡又は分析する際に使用される。特に、本発明の原理は、生物系の内部追跡法、及び、肺、胃腸管、排出器官、血管等といった人体のあらゆる領域における処置に適用可能である。図面に示される要素は、ハードウェア及びソフトウェアの様々な組み合わせで実施されてよく、単一の要素又は複数の要素に組み合わされてもよい機能を提供する。

【0019】

図面に示される様々な要素の機能は、専用ハードウェアだけでなく、適切なソフトウェアと関係してソフトウェアを実行可能であるハードウェアの使用を介して提供される。機能は、プロセッサによって提供される場合は、単一の専用プロセッサ、単一の共有プロセッサ、又は、複数の個別のプロセッサによって提供されてもよい。複数の個別のプロセッサのうちの幾つかは共有されてもよい。また、「プロセッサ」又は「コントローラ」といった用語の明白な使用は、ソフトウェアを実行可能なハードウェアを排他的に指すものと解釈されるべきではなく、当該使用は、限定されることなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性記憶装置等を非明示的に含む。

【0020】

更に、本発明の原理、態様及び実施形態、並びに、それらの特定の例を列挙する本明細書における記述はすべて、構造とその機能的等価物との両方を含むことを意図している。更に、このような等価物は、現在知られている等価物だけでなく、将来に開発される等価物（即ち、構造に関係なく、同じ機能を実行するように開発される等価物）の両方を含むことを意図している。したがって、例えば当業者であれば、本明細書に提示されるブロック図は、本発明の原理を具現化する例示的なシステムコンポーネント及び／又は回路の概念的な図を表すことは理解できよう。同様に、当然ながら、任意のフローチャート、フロー図等は、コンピュータ可読記憶媒体内に実質的に表現され、したがって、コンピュータ又はプロセッサが明示的に示されているかどうかに関係なく、当該コンピュータ又はプロセッサによって実行される様々なプロセスを表す。

【0021】

更に、本発明の実施形態は、コンピュータ若しくは任意の命令実行システムによって使用される又は当該コンピュータ若しくは任意の命令実行システムに関連してプログラムコードを提供するコンピュータ使用可能若しくはコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取ってよい。この説明のために、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによって使用される又は当該命令実行システム、装置又はデバイスに関連してプログラムを含む、記憶する、通信する、伝播する又は輸送する任意の装置であってよい。媒体は、電子、磁気、光、電磁気、赤外線若しくは半導体システム（又は装置若しくはデバイス）、又は、伝播媒体であってもよい。コンピュータ可読媒体の例としては、半導体又は固体メモリ、磁気テープ、取外し可能なコンピュータディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、剛性磁気ディスク及び光ディスクが挙げられる。光ディスクの現在の例としては、コンパクトディスク−読出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−読出し／書込み（ＣＤ−Ｒ／Ｗ）、ブルーレイ（登録商標）及びＤＶＤが挙げられる。

【0022】

次に、同様の参照符号が同じ又は同様の要素を表す図面を参照する。まず、図１を参照すると、一実施形態に係る低侵襲外科処置用のシステム１００が例示的に示される。システム１００は、処置を監視及び／又は管理するワークステーション又はコンソール１１２を含む。ワークステーション１１２は、１つ以上のプロセッサ１１４と、プログラム及びアプリケーションを記憶するメモリ１０６とを含むことが好適である。メモリ１１６は、計画モジュール１０４と、医療デバイス１０２と共に動作するように使用される画像ガイダンスモジュール１０６とを記憶していてもよい。医療デバイス１０２は、カテーテル、ガイドワイヤ、プローブ、内視鏡、フレキシブル内視鏡、ロボット、電極、フィルタデバイス、バルーンデバイス又は他の医療コンポーネント等のうちの１つ以上が設置される撮像デバイス１０５（例えばカメラ、レンズ付き光ファイバ等）を含む。デバイス１０２は、患者の体１０６内に挿入される。一実施形態では、行われる処置は、低侵襲冠動脈手術を含み、デバイス１０２は、血管（例えばＩＭＡ）といった解剖学的ターゲット１３１を観察し、分離するために、体１６０の胸腔１６２内に挿入される。

【0023】

計画モジュール１０４は、次の要素及び特徴を含む。例えば冠動脈バイパス形成処置のために血管を取り出す間、計画モジュール１０４は、例えばＩＭＡである摘出されるターゲット血管の可視化の制御のために計画する一方で、外科医が、他の器具を操作することを可能にする。計画モジュール１０４は、大局的な視野を提供するように、ＩＭＡに沿って画像のステッチングを制御し、更に、例えば当技術分野において知られている方法を使用して、内視鏡ビデオ上に術前（又は術中）画像をオーバレイすることを可能にする画像位置合わせを提供する。計画モジュール１０４は、画像ガイダンスモジュール１０６と共に使用するために参照される又はインデックス付けされるターゲット関心点の選択を提供する。計画モジュール１０４は更に、（例えばステッチ／合成画像を使用して）血管又は他の解剖学的特徴の長さの計算も提供する。

【0024】

計画モジュール１０４は、撮像デバイス１１０を使用して撮られた術前又は術中画像といった手術画像を位置合わせし、オーバレイするために使用される。撮像デバイス１１０は、画像を収集するために、同時に又は別の時間及び位置において使用されてもよい。手術画像１３５は、３次元の術前のコンピュータ断層撮影（ＣＴ）画像若しくは磁気共鳴画像（ＭＲＩ）等、又は、術中のＸ線又は超音波を含んでもよい。他の撮像モダリティも考えられる。手術画像１３５は、内視鏡画像中では見ることが困難である解剖学的ターゲット１３１の特徴を図示するために、オーバレイ画像１０７内に使用される。

【0025】

画像ガイダンスモジュール１０６は、好適には、例えば内視鏡であるデバイス１０２を支持するロボットシステム１０８を制御することによって、デバイス１０２の画像に基づいた制御を提供する。オーバレイ画像１０７は、画像処理モジュール１４８及び計画モジュール１０４を使用して生成される。オーバレイ画像１０７は、合成画像１２４上に可視化される現在のライブ内視鏡画像１３４を含む。合成画像１２４は、デバイス１０２によって撮られた画像の複数の視野のステッチされた視野である。画像ガイダンスモジュール１０６は、十分な進捗が達成された時を判断するために、分離された血管の長さを所望の長さと比較することができる進捗の定量化を提供する。

【0026】

画像ガイダンスモジュール１０６は、ロボットシステム１０８を、ターゲット解剖学的構造１３１の長さに沿ってガイドする。一実施形態では、デバイス１０２が、計画段階で割り当てられた関心点を使用してガイドされる。

【0027】

ワークステーション１１２は、被験者（患者）又はボリュームの内部像を見るためのディスプレイ１１８を含み、オーバレイ又はデバイス１０２から収集された画像上に生成される他のレンダリングを有する画像を含む。ディスプレイ１１８は更に、ユーザがワークステーション１１２並びにそのコンポーネント及び機能、又は、システム１００内の任意の他の要素とインタラクトできるようにする。このことは、ワークステーション１１２からのフィードバック及びワークステーション１１２とのインタラクションを可能にするキーボード、マウス、ジョイスティック、触覚デバイス又は任意の他の周辺機器若しくは制御器を含むインターフェース１２０によって容易にされる。

【0028】

図２を参照するに、本発明の原理に従って処置を行う方法は、２つのパートを含む。処置の第１のパートは、計画モジュール１０４によって行われ、第２のパートは、血管分離を容易にするために画像ガイダンスモジュール１０６によって行われる。計画モジュール１０４は、ステップ２０２乃至２１２を行う。画像ガイダンスモジュール１０６は、ステップ２１４乃至２２０を行う。処置の間、図３に示される術中セットアップが使用される。他の実施形態では、図２のタスクのうちの一部又はすべてが、異なるモジュール（１０４及び／又は１０６）によって共有される又は行われる。

【0029】

図２を引き続き参照しながら、図３を参照する。内視鏡３０２がロボットシステム３０４によって保持される一方で、外科医によってＩＭＡ３１０を分離するために２つの器具３０６、３０８が使用され、保持されている。内視鏡３０２は、肋骨３１２間へのアクセスを可能にするポート（図示せず）を通り胸腔内に挿入される。これは、助手が内視鏡を持つ従来のセットアップとは異なる。ロボットシステム３０４（内視鏡ホルダ）は、提供される画像に基づいて命令を発行することによって、可視化に関して外科医による完全な制御を可能にする。

【0030】

ステップ２０２において、ターゲット領域について術前又は術中画像が得られる。術前画像は、前もって撮られた患者のボリューム画像を含む。これは、コンピュータ断層撮影（ＣＴ）撮像、磁気共鳴撮像（ＭＲＩ）又は任意の他の撮像モダリティを含む。術中画像は、Ｘ線撮像、直接的写真撮影（例えば内視鏡カメラを介する）等を含む。ステップ２０４において、内視鏡３０２が、胸部内に挿入される。ステップ２０６において、内視鏡は、有用な視野を提供する位置に動かされる。一実施形態では、内視鏡は、処置の間、内視鏡視野の中心を関心領域上に合わせることを含む視覚サーボと呼ばれる技術を使用して操作される。他の内視鏡移動技術が使用されてもよい。

【0031】

ステップ２０８において、ターゲット血管の合成画像が収集される。内視鏡の視野は限られているため、ターゲット血管に沿った複数の画像が収集され、例えばＩＭＡであるターゲット領域全体の合成画像を形成するように、互いにステッチされる。図４は、合成画像用の画像を撮る内視鏡３０２の視野（ＦＯＶ）コーン４０２を例示的に示す。

【0032】

ステップ２１０において、合成画像上に解剖学的関心点が選択される。これらの点は、ＩＭＡから側枝が生じる領域、又は、健康若しくは不健康な組織の領域、瘢痕領域等を含む。関心点は、処置の様々な時点において、内視鏡をロボットによって合焦させる又は移動させるためのアドレス位置として使用される。ステップ２１２において、術前又は術中画像と、内視鏡から収集された合成画像との間で位置合わせが行われる。

【0033】

ステップ２１４において、内視鏡（又は少なくとも内視鏡の視野）が、最初の位置に移動される。この位置は、最初のスキャン位置として選択され、関心領域の端に設定されることが好適である。ステップ２１６において、内視鏡の現在の視野が、合成画像の対応する部分の上にオーバレイされる。現在の視野は、図３において、ボックス３２０内に示される。合成画像３２２に、ライブビュー画像３２０がオーバレイされる。ステップ２１８において、血管の一部が分離されるにつれて、全長に対する進捗の長さを示す進捗バーが組み入れられる。例えば合成画像が横断されるにつれて、全長のうちの分離されている一部が、パーセンテージ、又は、焼灼された側枝の数として示される又は計算される。図３では、全長３２６が図示され、進捗長さ３２４が示される。ステップ２２０において、進捗は、完了するまで続く。

【0034】

図５乃至図８を参照するに、本発明の実施形態をより完全に説明するために、ＩＭＡの例示的な画像が示されている。これらの例は、例示的であり、当然ながら、本発明の原理は、任意の外科的処置、又は、（例えばトレーニングシステムにおいてや、例えばエンジンブロックといった機械システム、骨董品等の）内部構造を確認若しくは分析するための任意のシステム／方法に適用されてもよい。

【0035】

図５を参照するに、広視野画像のための画像ステッチングが例示的に示されている。内視鏡が定位置にあり、ＬＩＭＡ血管の先頭に向けて置かれた状態で、外科医は、広視野の獲得を開始できる。これをするためには、外科医又はロボットは、未較正ロボット視覚サーボ又は他の技術を使用して、内視鏡を、ＬＩＭＡの可視部分に沿って移動させる。このようにして、外科医は、ＬＩＭＡに沿って位置を選択し、内視鏡は、これに応じて移動する。外科医は更に、外科的器具をガイドとして使用することもでき、当該器具が移動するにつれて、内視鏡がツールの先端を追随する。このステップは、動脈の全長を観察するために助手又は外科医によって内視鏡が動かされる臨床診療に似ている。

【0036】

移動する内視鏡によって収集された複数の画像をステッチするためには、画像のステッチングを行うために使用される既知の方法が変更される。画像は、マッチングアルゴリズム又は他の画像処理技術を使用する。１つの変更点は、内視鏡の種類に関する。この実施形態では、内視鏡は、斜視型でかつ前方視型である。第２の変更点は、内視鏡の動作に関する。内視鏡の動作は、画像処理モジュール１４８（図１）によって予めプログラムされて、ゲートされる。この実施形態では、動作は、外科医のコマンドによって生成され、ゲートされる。他の変更点は、フレキシブル内視鏡の使用を伴う。

【0037】

動作は、ユーザによって定義されるが、ステッチングに使用される画像の照合は、オーバラップ量とオーバラップした画素のＲＧＢ値における残余誤差とに基づいて、捕捉画像を最適化することによって行われる。画像は、合成画像５００を形成するように位置合わせされる。合成画像５００は、血管（例えばＩＭＡ）の全長を含む。血管の全長は、（スケール又は基準を使用して）画像から計算されるか、又は、画像内を内視鏡若しくは他のツールが進んだ距離に基づいて計算される。最終的に得られる結果は、ある一定の時間に亘って内視鏡によって獲得された個々の画像からステッチされているＩＭＡ５０２の長さに沿った一連の画像（視野画像５０４）を含む合成画像５００である。

【0038】

図６を参照するに、関心点６０２が選択され、示されている合成画像５００が示されている。ＩＭＡ５０２の関連部分の合成画像５００が生成されると、血管分離を計画するために、合成画像５００上の幾つかの解剖学的関心点６０２が選択される。これらの点６０２は、（これらの点を画像上にオーバレイすることによって）記憶され、処置の間に参照される。或いは、点６０２が選択されると、ロボット内視鏡ホルダは、内視鏡をその位置に移動し、ロボットの関節位置が記憶され、したがって、これらの位置は、画像によりガイドされる分離処置の間に、参照される。

【0039】

図６の例では、解剖学的関心点６０２上の点の選択は、例えば、「Ａ」とマーク付けされた分離開始点、「Ｂ」とマーク付けされた分離終了点、及び、「Ｃ」とマーク付けされた大きい分岐点を含む。

【0040】

図７を参照するに、合成画像５００上の点の選択に加えて（又はそれに代えて）、合成画像５００は、２Ｄの内視鏡画像と術前又は術中の３Ｄ撮像と位置合わせするために使用される。３Ｄ術前画像からの血管系のオーバレイ７０２が、合成画像５００上に置かれる。ＩＭＡ５０２との比較によって、筋膜及び他の組織の下にあることによって内視鏡画像上ではすぐに可視ではない分岐点の場所が示される。

【0041】

図８を参照するに、内視鏡をガイドするために、画像ガイダンスモジュール１０６が使用される。外科医は、内視鏡を、近位部（例えば大動脈付近）に戻し、胸壁から動脈（ＩＭＡ）を離すために、周囲組織からの動脈の分離を実行し始める。外科医は、視覚サーボを使用することによって及び／又は先に選択された点６０２（計画の段階で選択される）を参照することによって、当該位置に内視鏡を自動的に置く。外科医が動脈に沿って進むと、ボックス８０２内でオーバレイされる現在の内視鏡視野と、先に計算された合成画像５００との両方が、外科医に表示される（例えば術前画像からの動脈オーバレイ（７０２）を有してもよい）。

【0042】

「ピクチャ・イン・ピクチャ」ビューによって、外科医は、現在利用可能であるものよりもかなり広い視野を観察することができる。更に、位置合わせ情報と組み合わされたロボットエンコーダから、内視鏡の動作が既知であるため、既に分離されている動脈の一部の長さを示すスケールが読出し可能である。数値であってもグラフであってもよい進捗インジケータ８０４が、所望又は全体の長さ８０６の一部として動脈の取出された量を示す。進捗インジケータ８０４は、ディスプレイ上の画像内に示されてもよい。別の実施形態では、パーセンテージではなく、進捗バーが示されてもよく、外科医がＩＭＡ枝を進むにつれて、ライブビューボックス８０２が合成画像５００上にオーバレイされる場合、所望又は全体の長さに比べて取り出された血管の全長の一部として示される。計画モジュール（１０４、図１）は、血管の全長の推定を可能とするために術前画像を使用し、当該画像は、検査鏡（scope）を用いた介入の間に、進捗バーを生成するために使用できる。

【0043】

添付の請求項を解釈する際に、以下の通りに理解されるべきである。
ａ）「含む」との用語は、所与の請求項において列挙されるもの以外の要素又は行為の存在を排除するものではない。
ｂ）要素に先行する「ａ」又は「ａｎ」との用語は、当該要素が複数存在することを排除するものではない。
ｃ）請求項における任意の参照符号は、その範囲を制限するものではない。
ｄ）幾つかの「手段」が同一のアイテム若しくはハードウェア又はソフトウェアが実装された構造体若しくは機能によって表される。
ｅ）特に明記されない限り、行為の特定の順序を必要とすることを意図していない。

【0044】

ロボット操作される内視鏡を使用した血管可視化を向上するための好適な実施形態（これらは例示的であって限定を意図していない）を説明したが、当業者であれば、上記の教示内容を鑑みて、修正態様及び変更態様を作成可能である。したがって、当然ながら、開示された開示内容の特定の実施形態について、添付の請求項に記載されるように本明細書に開示される実施形態の範囲内の変更を行ってもよい。したがって、特許法で定められるように詳細に及び入念に説明したが、特許証（特許状）により保護されることが望ましくクレームされるものは、請求項に記載されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】