特開 2023-64078 画像位置合わせのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023064078

(43)【公開日】2023-05-10

(54)【発明の名称】画像位置合わせのシステムおよび方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20230428BHJP

   A61B 34/10 20160101ALI20230428BHJP

【ＦＩ】

A61B34/20

A61B34/10

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022168248

(22)【出願日】2022-10-20

(31)【優先権主張番号】21204574

(32)【優先日】2021-10-25

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】522411739

【氏名又は名称】エルベ ビジョン ゲーエムベーハー

【氏名又は名称原語表記】Ｅｒｂｅ Ｖｉｓｉｏｎ ＧｍｂＨ

【住所又は居所原語表記】Ｅｉｓｅｎｂａｈｎｓｔｒａｓｓｅ １０２， ７８５７３ Ｗｕｒｍｌｉｎｇｅｎ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】シリシュ・ジョシ

(72)【発明者】

【氏名】スバモイ・マンダル

(72)【発明者】

【氏名】ファイサル・カリム

(57)【要約】      （修正有）

【課題】手術が行われる対象領域の術前医療スキャン画像を取得するステップと、患者の対象領域内にある体腔にフィデューシャル装置を非侵襲的にまたは最小侵襲的に導入するステップとを用いて外科医に拡張現実を提供する。
【解決手段】フィデューシャル装置２５は、医療スキャン画像内において明確に特定され得る体腔に導入される。フィデューシャル装置は、赤外光源の使用、または、フィデューシャル装置内もしくはその上に配置され、照明光もしくは励起光によって励起する蛍光材料の使用のどちらかによって赤外光を出射する。撮像光ライブ画像と、赤外ライブ画像とを取得した後、フィデューシャル装置が中に配置された体腔の組織構造体は、ライブ画像内において明確に検出可能であり、スキャン画像に確実に位置合わせして一致させ、重ね合わされた画像およびを外科医に提示することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

拡張現実システム（１４）であって、
手術が行われる対象領域（３２）の少なくとも１つの術前医療スキャン画像（２１）を導き出すことができる少なくとも１つの医療スキャン（１９）を取得するスキャン装置（１７）と、
患者（１５）の前記対象領域（３２）内にある体腔（４２）に導入され、赤外光（ＩＲ）および／または可視光を出射するフィデューシャル装置（２５）と、
前記手術が行われる手術部位（４１）を照明光（３９）で照らす光源（４０）と、
少なくとも１つの照明光ライブ画像（３８）と、赤外光ライブ画像（５０）とを取得するライブ撮像装置（３１）と、
前記少なくとも１つの術前医療スキャン画像（２１）と、前記照明光ライブ画像（３８）と共に少なくとも１つの前記赤外光ライブ画像（５０）とを位置合わせまたは再位置合わせする画像位置合わせシステム（５１）と、
前記医療スキャン画像（２１）と位置合わせされた前記可視光画像（３８）を再生する画像再生装置（２２）と、を備える
拡張現実システム。

【請求項2】

前記フィデューシャル装置（２５）は、赤外蛍光材料、特に近赤外蛍光材料を有する少なくとも１つの領域（４３、４４、３５）を有する本体を含む
請求項１に記載の拡張現実システム。

【請求項3】

前記フィデューシャル装置（２５）は、互いに距離を取って配置された、赤外蛍光材料、特に近赤外蛍光材料を有する少なくとも２つの領域を含む
請求項２に記載の拡張現実システム。

【請求項4】

前記フィデューシャル装置（２５）の前記本体は、剛性または可撓性を有する管状または棒状の要素である
請求項１に記載の拡張現実システム。

【請求項5】

前記画像位置合わせシステム（１８）は、前記スキャン画像内において解剖学的構造体を特定する輪郭検出器（５１）を含む
請求項１～４のいずれか１項に記載の拡張現実システム。

【請求項6】

前記輪郭検出器は、前記フィデューシャル装置（２５）を収容する前記体腔（４２）の輪郭を検出する
請求項５に記載の拡張現実システム。

【請求項7】

前記撮像光（３９）は、可視光である
請求項１に記載の拡張現実システム。

【請求項8】

前記光源（４２、４９）は、前記蛍光材料に赤外光または近赤外光を出射させる励起光（４８）を出射する
請求項１に記載の拡張現実システム。

【請求項9】

前記画像位置合わせシステム（５１）は、前記撮像光ライブ画像（３８）の画像スケールを決定し、前記医療スキャン画像（２１）を同じスケールに拡大または縮小する
請求項１に記載の拡張現実システム。

【請求項10】

前記スケールは、赤外蛍光材料、特に近赤外蛍光材料を有する前記少なくとも２つの領域（４３、４４、４５）が互いに離れている距離によって規定される
請求項３または９に記載の拡張現実システム。

【請求項11】

前記画像位置合わせシステム（５１）は、前記医療スキャン画像（２１）内の前記体腔（４２）の形状および位置を、前記赤外画像（５０）内の前記フィデューシャル装置（２５）の形状および位置と比較することによって、前記スキャン画像（２０）に対する前記撮像光ライブ画像（３８）の変形を決定する
請求項１に記載の拡張現実システム。

【請求項12】

前記画像位置合わせシステム（５１）は、前記赤外画像（５０）の変形に応じて前記医療スキャン画像（２１）を変形する
請求項１１に記載の拡張現実システム。

【請求項13】

前記ライブ撮像装置（３１）は、位置追跡システム（２６）に連結される
請求項１に記載の拡張現実システム。

【請求項14】

前記フィデューシャル装置（２５）は、位置追跡システム（２６）に連結される
請求項１に記載の拡張現実システム。

【請求項15】

外科医に拡張現実を提供する方法であって、
手術が行われる対象領域（３２）の少なくとも１つの術前医療スキャン画像（２１）を取得するステップと、
患者（１５）の前記対象領域（３２）内にある体腔（４２）に、赤外光（ＩＲ）を出射するフィデューシャル装置（２５）を導入するステップと、
前記手術が行われる手術部位（４１）を照明光（３９）および励起光（４８）で照らすステップと、
少なくとも１つの撮像光ライブ画像（３８）と、赤外光ライブ画像（５０）とを取得するステップと、
前記少なくとも１つの術前医療スキャン画像（２１）と、前記可視光ライブ画像（３８）と共に少なくとも１つの前記赤外光ライブ画像（５０）とを位置合わせするステップと、
前記医療スキャン画像（２１）と位置合わせされた前記可視光画像（３８）を再生するステップ、とを含む
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、術前スキャン中に取り込まれた画像と、手術中に取り込まれた画像とを位置合わせするシステムおよび方法に関する。

【背景技術】

【0002】

手術前に撮られた医療スキャン画像を、手術中に患者と位置合わせすることは、既知の課題である。特許文献１および特許文献２には、解剖学的対象物の術前輪郭シグネチャおよびライブ輪郭シグネチャを用いて、手術画像と、内視鏡のような取得装置とを位置合わせすることが開示されている。適切なプロセッサが、解剖学的対象物のリアルタイム輪郭シグネチャを術前輪郭シグネチャのデータベースと比較し、最終的な輪郭一致を選択するための輪郭シグネチャ一致候補群を生成する。手術部位との画像取得デバイスの位置合わせは、選択された最終的な輪郭シグネチャ一致に対応する向きに基づいて行われる。

【0003】

特許文献３には、リアルタイム画像を記録するカメラを含む手術用眼鏡を備える拡張現実システムが開示されている。複数のセンサが、空間内における眼鏡の場所および向きを決定する。眼鏡は、さらに、外科医に画像データを表示し、その画像は、外科医が眼鏡越しに見る実像と重なる。位置合わせ工程では、画像データが外科医の視界軸と位置合わせされ、点一致、表面／対象物一致、解剖学的ランドマークの触診、および単一面または多面術中撮像の処理が用いられる。位置合わせされた画像データは、拡張現実システムのユーザによって視認可能に投影される。

【0004】

特許文献４および特許文献５には、近赤外光で見える蛍光ポリマーコーティングフィルムを有するフィデューシャルなどのコーティング医療用具が開示されている。

【0005】

さらなる先行技術が、特許文献６および特許文献７に見ることができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】欧州特許出願公開第３３９８１６９号明細書

【特許文献2】国際公開第２０１７／１１４８２８号

【特許文献3】米国特許出願公開第２０１９／００１７０９号明細書

【特許文献4】欧州特許出願公開第３７４３１２６号明細書

【特許文献5】国際公開第２００９／１４５５３２号

【特許文献6】米国特許第９９０１４０９号明細書

【特許文献7】米国特許出願公開第２０１８／０２１１０２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したいくつかの先行技術文献は、実際のライブ画像と術前スキャン画像との位置合わせと、外科医へのオーバーレイ画像の提示とを考慮しているが、特に、時間もしくは患者の位置決め、または他の内部もしくは外部影響によって非常に変形しやすい、または変化しやすい体部分の治療を考慮する場合には、依然として上記をより確実に行う必要がある。

【課題を解決するための手段】

【0008】

本発明の拡張現実システムは、少なくとも１つの術前医療スキャン画像と、照明光で得られた少なくとも１つのライブ画像と、赤外光で得られたライブ画像とを提供する。照明光は、通常のカメラで直接見ることができる、または外科医が直接見ることができる可視光であってもよい。しかしながら、照明光は、少なくとも部分的に可視光の領域外であってもよい。撮像光は、ライブ画像を取得するカメラの検出範囲内にあることが好ましい。照明光ライブ画像および赤外光ライブ画像は、１つの共通のライブ画像内に一緒に取り込むことができる。したがって、両者は、２つの別個のカメラ、または代替的に単一のカメラによって取得することができる。少なくとも１つのライブ画像および／または少なくとも１つの照明光ライブ画像は、少なくとも実質的にリアルタイムで（すなわち、２００ｍｓ未満、１５０ｍｓ未満、１００ｍｓ未満、５０ｍｓ未満、または１０ｍｓ未満などの規定された期間内に）取得された、処理された、かつ／または表示された画像であることが好ましい。あるいは、画像は、画像のバッファリングまたは中間記憶により、遅れて（例えば５００ｍｓを超え、７５０ｍｓを超え、１ｓを超え、５ｓを超え、または１０ｓを超える）表示されてもよい。取得された画像は、例えば、前処理（例えば、画像のコントラスト増強、照明補正）、エッジフィルタリング、セグメンテーション、および／またはフォールスカラー表現での情報の視覚化によって処理されてもよい。

【0009】

システムは、撮像光で手術部位を照らす少なくとも１つの光源を含む。さらに、光源は、励起光を出射してもよい。励起光は、可視光の領域内にあってもよく、または紫外光もしくは赤外光のような非可視光であってもよい。励起光は、例えば、５００ｎｍより大きく、または６００ｎｍより大きい、例えば、６００ｎｍ～８００ｎｍ、６００ｎｍ～９００ｎｍ、または６５０ｎｍ～１３５０ｎｍ（すなわち、近赤外（ＮＩＲ）領域）の波長を有してもよい。励起光は、例えば、さらに、少なくとも１４００ｎｍ、少なくとも３０００ｎｍ、少なくとも８０００ｎｍ、または少なくとも１５０００ｎｍである波長を有してもよい。

【0010】

画像位置合わせシステムは、術前医療スキャン画像を主に赤外光ライブ画像と位置合わせすることによって、術前医療スキャン画像と照明光ライブ画像とを位置合わせする。蛍光フィデューシャルは、生体組織の層の後ろに隠れていても、赤外光ライブ画像内にはっきり見える。蛍光フィデューシャルは、可視領域にある場合、照明光ライブ画像内に見える。フィデューシャルのない術前スキャン画像と赤外光ライブ画像との位置合わせには、対象領域の組織の構造体、特に、尿管のような体腔の構造体と、当該構造体内に配置されたフィデューシャル装置とが利用される。位置合わせシステムは、医療スキャン画像から、尿管もしくは他の管状構造体、血管、または中空器官のような組織構造体を検出する。その後、外科医は、好ましくは非侵襲的な方法で、管状構造体（尿管）内にフィデューシャル装置を配置する。フィデューシャル装置の中または上に配置された蛍光材料の励起光、ならびに可視光および／または赤外光は、共に、生体組織、特に血液が透明である波長を有する。蛍光材料の可視光は、例えば、５００ｎｍより大きい波長を有してもよい。蛍光材料の赤外光は、例えば、６００ｎｍより大きい、例えば６００ｎｍ～８００ｎｍ、６００ｎｍ～９００ｎｍ、または６５０ｎｍ～１３５０ｎｍ（すなわち近赤外（ＮＩＲ）領域）の波長を有してもよい。赤外光は、例えば、さらに、少なくとも１４００ｎｍ、少なくとも３０００ｎｍ、少なくとも８０００ｎｍ、または少なくとも１５０００ｎｍである波長を有してもよい。透明とは、特に、蛍光材料の励起光および赤外光において、生体組織および／または血液への浸透深さが十分に高く、かつ／または吸収が十分に低いことを意味する。この光は、例えば、生体組織および／または血液の中を、少なくとも１ｍｍ、特に少なくとも２ｍｍ、より具体的には少なくとも５ｍｍ、好ましくは少なくとも８ｍｍ、より好ましくは少なくとも１０ｍｍ進み得る。したがって、この光は、生体組織および／または血液の中を容易に進む。蛍光フィデューシャルは、生体組織の層の後ろに隠れていても、または血液もしくは他の体液によってよく見えなくても、赤外光ライブ画像内にはっきり見える。外科医は、フィデューシャルを直接見ることができないが、画像位置合わせシステムは、フィデューシャル装置のマークを使用して、３つの画像（スキャン画像、赤外ライブ画像および照明光ライブ画像）をすべて位置合わせする。

【0011】

さらに、画像位置合わせシステムは、他の方法で既に位置合わせされた術前医療スキャン画像と照明光ライブ画像とを再位置合わせしてもよい。再位置合わせという用語は、術前医療スキャン画像と照明光ライブ画像との既存の位置合わせが補正される、または、その位置合わせがより正確になる工程を指す。これにより、手術野における患者または組織の変形に対処することが可能になる。それらの変形は、医療スキャン画像が撮られた位置とは異なる位置に患者を配置することから生じ得る。変形は、さらに、例えば腹腔鏡手術中に、手術領域を膨張させることから生じ得る。医療スキャン画像とライブ画像とを再位置合わせすることにより、正確な位置合わせ、ひいては、より良好な手術結果が得られる。例えば手術計画に基づいて、手術前に位置合わせを行うことができるが、手術中に再位置合わせを行うことができる。

【0012】

医療スキャン画像は、超音波撮像、コンピュータ断層撮影、Ｘ線撮像、磁気共鳴撮像、陽電子放射断層撮影、およびその他多数のような任意の医療撮像方法によって、手術前に撮ることができる。

【0013】

励起光は、可視光の波長領域内またはその波長領域外の光であってもよい。光源は、両タイプの光を出射してもよい。さらに、２つの別個の光源、一方は照明光を出射するためのもの、そして、他方は励起光を出射するためのものを使用することも可能である。

【0014】

ライブ撮像装置は、組織から後方散乱した撮像光と、フィデューシャル装置によって送出され、組織を通って光っている可視光および／または赤外光との両方を検出するカメラであってもよい。あるいは、別個の撮像装置、１つは照明光ライブ画像を取得するためのもの、別の１つは赤外光ライブ画像を取得するためのものを使用してもよい。両方の撮像装置は、一定または可変の開口角を有する、複数のカメラまたは単一のカメラであってもよい。カメラは、一定または可変の焦点距離を有する対物レンズを有してもよい。いずれの場合も、赤外光画像および照明光画像は、同じスケールで取得されることが好ましい。

【0015】

フィデューシャル装置は、発光素子を含む２以上の領域を有してもよく、発光素子は、蛍光材料、好ましくは近赤外蛍光材料からなる、またはそれを含むことが好ましい。赤外発光蛍光材料は、既知のパターンで、互いに既知の距離を取った場所に配置されてもよい。したがって、フィデューシャル装置は、参照基準として使用されてもよい。

【0016】

システムは、フィデューシャル装置の位置および向きを決定する追跡システムを含んでもよい。同様に、システムは、カメラ、例えば外科医が手術野を検査するのに用いる腹腔鏡カメラの位置および向きを決定する追跡システムを含んでもよい。赤外画像取得カメラによって検出可能な赤外光を出射する２以上の要素を有するフィデューシャル装置は、ライブ画像のスケールを示す（照明光画像および赤外光画像は、同じスケールで撮られることが好ましいことに留意する）。したがって、外科医は、照明光画像で測定を行うこともできる。

【0017】

位置合わせシステムは、医療スキャン画像内に検出された構造体および赤外光画像のみを利用してもよい。検出可能な構造体は、骨のような硬い構造体、および、軟らかい構造体、特に、フィデューシャル装置が非侵襲的な方法で導入され得る中空器官、管状構造体（例えば尿管）、血管などである。中空器官に導入されたフィデューシャル装置によって、特定の組織構造体が赤外光画像内において可視化され、また、赤外光画像と医療スキャン画像が一致して重なり合うまでそれらの画像を変倍したり、回転させたり、移動させたりすることで医療スキャン画像との位置合わせが可能になる。

【0018】

さらに、位置合わせシステムは、組織の歪みおよび反りを検出および補正してもよい。特に、医療スキャン画像と照明光ライブ画像を比較する際に、局部的な変形が存在し得る。これは、腹腔鏡手術中における患者の体の膨張、患者の位置変更、生理学的プロセスなどのような、いくつかの要因によるものであり得る。それらの変形を補償するために、位置合わせシステムは、まず、医療スキャン画像内の組織構造体の位置と、赤外光画像に再度見つかった同じ構造体とに基づいて局部的な歪みを決定することによって、変形を決定してもよい。フィデューシャル装置は、赤外光画像でも照明光画像でも容易には見えない組織構造体を、赤外光ライブ画像において位置決めするために使用されてもよい。したがって、フィデューシャル装置は、医療スキャン画像では容易に見つけることができるが赤外光画像または可視光画像ではあまり見えない組織構造体の指標として、使用される。

【0019】

さらなる詳細および利点は、図面およびそれぞれの説明、ならびに特許請求項の範囲から導き出すことができる。本発明の実施形態が図面に示される。

【図面の簡単な説明】

【0020】

【図1】図１は、患者の医療スキャン中および手術中における本発明のシステムを非常に抽象的に示す図である。

【図2】図２は、手術中における腹腔鏡カメラおよび患者の組織の図である。

【図3】図３は、医療撮像中に撮られた医療スキャン画像の図である。

【図4】図４は、照明光ライブ画像の図である。

【図5】図５は、赤外光ライブ画像の図である。

【図6】図６は、図４および図５に示されたものと同じ対象領域の医療スキャン画像の図である。

【図7】図７は、図４の照明光画像と、図５の赤外光画像に沿って位置合わせされた図６の医療スキャン画像とからなるオーバーレイ画像の図である。

【図8】図８は、図４に類似した照明光ライブ画像の図である。

【図9】図９は、対象領域内にある中空器官にフィデューシャル装置が導入された手術部位の赤外光画像の図である。

【図10】図１０は、対象領域の医療スキャン画像の図である。

【図11】図１１は、図９の赤外光画像と図１０のスキャン画像を比較することによって得られた歪みマップの図である。

【図12】図１２は、図８の可視光画像に、図１１に示された歪みに沿って補正された図１０のスキャン画像を重ね合わせることによって得られた、外科医に提示されるオーバーレイ画像の図である。

【発明を実施するための形態】

【0021】

図１から拡張現実システム１４が見て取れ、図１は、医療撮像中、患者１５が台１６に横たわっているのを示す。ＣＴスキャンを取得するスキャン装置１７として、説明のためだけに、Ｃアームが示される。術前医療スキャン画像を取得し、それらを処理システム１８に供給するために、任意の医療撮像システム、任意の医療撮像方法およびモダリティが用いられてもよいことを理解されたい。

【0022】

処理システム１８は、Ｃアームまたは他の任意のスキャン装置１７のいずれの動き、起動または停止を制御してもよい。処理システムは、医療スキャンからスキャン画像を生成する、任意のタイプのコンピュータもしくはコンピューターネットワーク、または、ハードウェアおよび／もしくはソフトウェアであってもよい。

【0023】

図３は、処理システム１８と共にスキャン装置１７の動作を示す。スキャン装置１７は、複数のスキャン、例えばＣＴスキャン１９を提供する。処理部１８は、対象の体部分の体積モデル２０を決定してもよい。さらに、処理システム１８は、任意の所望の平面内で体積モデル２０を交差させることによって得られた１以上の医療スキャン画像２１を提供してもよい。医療スキャン画像２１は、画像再生装置２１（図１）に表示されてもよく、画像再生装置２１は、任意のタイプの画面、フラット画面、立体画面、仮想現実眼鏡などであってもよい。

【0024】

拡張現実システム１４は、さらに、台、椅子、または患者１５を適切な位置に横たわらせるための他の任意のタイプの支持部のような適切な支持部２４に患者１５を載せることができる手術場２３を備える。拡張現実システム１４は、さらに、患者１５の体、好ましくは尿管のような体腔に導入される、好ましくは非侵襲的なフィデューシャル装置２５を提供する。追跡システム２６は、例えば三角測量によって、患者１５に対するフィデューシャル装置２５の位置決めを可能にしてもよい。好ましくはフィデューシャル装置２５の近位端に、位置決めシステム２６によって見える少なくとも２つの位置マーカー２７、２８が設けられてもよい。カメラ２９、３０は、三角測量によって、マーカー２７、２８、ひいては、フィデューシャル装置２５の位置および向きを位置決めしてもよい。患者１５および／または支持部２４に対する装置２５の位置および向きの決定に適した他の任意のタイプの追跡システムが使用されてもよいことに留意されたい。

【0025】

さらに、拡張現実システム１４は、ライブ撮像装置３１を備えてもよく、ライブ撮像装置３１は、腹腔鏡カメラ、内視鏡カメラ、または患者の任意の対象領域３２のライブ画像を提供する他の任意のカメラシステムであってもよい。手術が行われる領域である対象領域３２は、図１において点線円によって表される。正確には、その領域は、スキャン装置１７によって行われた術前スキャン中に撮像された。体積モデル２０は、典型的には対象領域３２を含む。通常、術前スキャンは、患者の体が膨張していない状態で撮られ、患者の体は、後に腹腔鏡手術のためのＣＯ２で多少膨張する。

【0026】

腹腔鏡カメラまたは他の任意のタイプのライブ撮像装置３１は、例えば三角測量によって、ライブ撮像装置の位置および向きを得ることができるように、位置決めシステム２６に連結されてもよい。ライブ撮像装置３１は、カメラ２９および３０によって位置決めすることができる少なくとも２つの位置決めマーク３３、３４、３５に連結されてもよい。しかしながら、他の任意のタイプの位置決めシステムが同様に機能してもよいことに留意されたい。

【0027】

位置決めシステム２６によって決定された、フィデューシャル装置２５およびライブ撮像装置３１の位置および向きは、処理システム１８に供給され、また、ライブ撮像装置３１によって撮られたライブ画像になる。

【0028】

図２は、遠位端３１を機能的な描写で示す。ライブ撮像装置３１は、照明光３９で生成されたライブ画像３８（図４）を取り込むカメラ３７を含む。照明光３９を生成し、対象領域３２の少なくともカメラ３７から見える部分を照らすために光源４０が設けられてもよい。照明光３９は、可視光、例えば白色光であってもよい。光は、特に、手術が行われる、カメラ３７から見える位置４１に方向付けられる。

【0029】

手術部位４１は、フィデューシャル装置２５が配置される体腔、例えば尿管４２を含んでもよい。フィデューシャル装置２５は、少なくとも１つ、好ましくは２以上のマーク４３～４５を有する剛性もしくは可撓性を有する棒状もしくは管状の部材であってもよく、マーク４３～４５は、生体組織４６、特に、管状構造体（例えば尿管）または血管の壁、脂肪、筋肉、筋膜などのような軟組織を透過することができる光を出射する。少なくとも１つのマーク４３（４４、４５）は、点状、軸方向に線状、環状などであってもよい。

【0030】

マーク４３～４５は、特に、赤外光、特に近赤外光ＩＲを出射する。マーク４３～４５は、光ファイバまたはＬＥＤ部材によって照らされてもよい。しかしながら、マーク４３～４５は、赤外光を生成する蛍光材料によって形成された受動光源であることが好ましい。赤外光は、光源４９によって送出された励起光４８により励起したときに出射される近赤外線４７であることが好ましい。励起光４８と照明光３９が同一であるように、光源４８は、光源４０と同一であってもよい。しかしながら、照明光源４０と異なる励起光源４９を使用することも、同様に可能である。照明光３９は、広域スペクトルを有してもよく、一方、励起光源４９は、マーク４３、４４、４５内に存在する蛍光材料のタイプに応じて赤外光、可視光または紫外光を生成する狭帯域源であってもよく、またはそうでなくてもよい。

【0031】

カメラ３７は、図４に示されたライブ画像３８と、図５に示された赤外光ライブ画像５０とを取得してもよい。ライブ画像３８および５０は、一緒に単一の画像内に、または別々に取り込まれてもよい。

【0032】

拡張現実システム１４は、処理システム１８の一部であってもよい画像位置合わせシステム５１を備える。位置合わせシステム５１は、少なくとも軟組織輪郭上で検出する輪郭検出器であってもよく、またはそれを含んでもよい。そのような輪郭は、血管、他の任意の中空器官もしくは管状構造体（例えば尿管）、または器官の表面であってもよい。

【0033】

画像位置合わせシステムは、少なくとも１つの術前医療スキャン画像２１と照明光ライブ画像３８とを位置合わせする。そうするために、画像位置合わせシステム５１は、赤外光ライブ画像５０、特に、図５に点線で示された尿管４２内に配置された少なくとも２つのマーク４３、４４を使用する。尿管４２は、医療スキャン画像２１では明確に特定可能であり、かつ明確に特定される組織構造体であるが、照明光画像３８ではあまり見えない可能性がある。しかしながら、尿管４２内にフィデューシャル２５を配置することによって、マーク４３および４４は、尿管がライブ画像３８内のどこにあるかを示し、その結果、ここで画像位置合わせシステム５１が確実かつ正確に医療スキャン画像２１を照明光画像３８（および同様に赤外光画像５０）に位置合わせすることができる。照明光ライブ画像３８をスキャン画像２１と位置合わせした後、（所望により）赤外光画像５９は、図７に示されるように、オーバーレイとして画像再生装置２２に表示されてもよい。

【0034】

その際、位置決めシステム２６は、常に、フィデューシャル装置２５と、照明光画像３８および赤外光画像５０を一緒にまたは別々に提供するライブ撮像装置３１との両方の位置および向きを決定する。処理システム１８は、体積モデル２０を使用し、ライブ撮像装置３１の向きによって規定される平面でスキャン画像２１を見つける。スキャン画像２１は、柔組織、管状構造体（例えば尿管）または血管などのような様々な組織を可視化するための、組織構造体を強調する色または図形を含んでもよい。このシステムは、骨のような硬い体の部分の遠隔手術が行われる場合、特に有用である。患者の器官は、患者の位置変更、弛緩、または腹腔鏡手術中の手術部位の膨張により、動く可能性がある。好ましくは非侵襲的にフィデューシャル装置２５を中に配置するために中空器官を用いることは、スキャン画像２１およびライブ画像３８の位置ずれを避ける助けとなる。そうでなければ、軟組織は骨または他の体構造体に対して動くことがあり、その骨または他の体構造体だけに依存している場合、上記位置ずれが生じ得るであろう。

【0035】

本発明は、さらなる改良への道を開くものである。

【0036】

上述のように、患者の軟組織は、医療撮像と手術との間に激しく変形し得る。尿管４２または他の任意の体腔へのフィデューシャル装置２５の導入および腹腔鏡手術のための内部体腔の膨張でも、組織構造体は変形し得る。本発明は、変形したスキャン画像が実際のライブ画像とより良好に位置合わせされ得るように、実際の体が変形したのと同様または同じように医療スキャン画像２１を適応させることを可能にする。この工程は、処理システム１８によって行われ、図８～図１２に示される。照明光ライブ画像３８は、図８に示される。同様に、赤外光画像５０は、図９に示される。分かるように、尿管４２は、赤外光を出射する３つのマーク４３～４５が一直線に並ぶようにまっすぐである。医療スキャン画像２１が曲がった尿管４２を含んでいるため、明らかに、患者の体は変形している。さらに、スキャン画像２１は、骨５２のような硬い体構造体を含み、それは、当然全く変形しない可能性がある。したがって、明らかに、どんなに照明光ライブ画像３８とスキャン画像２１とを位置合わせしようとしても、ある程度の位置ずれは常にある。処理システム、特に、（輪郭検出器を含む）画像位置合わせシステム５１は、ここで、ライブ画像３８が（歪みのない）医療スキャン画像２１に対して歪んでいるのと同じように、医療スキャン画像２１を歪めてもよい。そうするために、画像位置合わせシステム５１は、ここで、フィデューシャル装置２５が配置された組織構造体、例えば尿管４２を特定する。さらに、画像位置合わせシステム５１は、自然な硬い体構造体を骨５２として特定してもよい。骨５２は、歪んでいないと見なすことができるが、スキャン画像の尿管４２を、図１１に示されるような赤外画像５０の３つのマーク４５、４３、４４と位置合わせするには、スキャン画像の歪みが必要であることがわかる。小さい矢印は、スキャン画像の歪みの程度を表し、その歪みは、医療スキャン画像２１をライブ画像３８および５０と位置合わせするのに必要である。その結果は、ライブ画像３８、５０と位置合わせされた歪んだ医療スキャン画像２１’を示す図１２から分かる。

【0037】

本発明は、腹腔鏡手術における特許登録の従来の困難さおよび信頼性の課題を克服し、拡張現実支援を可能にする。本発明は、赤外線カメラと、尿管のような体腔、または別の体開口部に導入されるフィデューシャル装置２５とを使用して、患者１５を位置合わせする新規の方法を提供する。フィデューシャル装置２５は、フィデューシャルマーカー４３～４５を含む。本発明は、計画ワークフローステップの数および複雑さを減らし、また、追加の侵襲的処置の必要性を減らすか、またはなくす。さらに、この方法は、外科的処置への妨げが最小限または全くない、手術中における患者の位置変更を可能にする。その方法は、ワークフローに追加の放射線撮像処置を必要としない。

【0038】

本発明の方法は、特に、「変形していない」患者の体で撮られた術前スキャンを、例えば腹腔鏡手術を可能にするためのＣＯ２ガスで膨張した後の「激しく変形した」患者の体と位置合わせすることを可能にする。変形のために、術前スキャン画像は、術中医療スキャン画像ともはや同一ではない。本発明は、これらの変形の補償を可能にし、術中スキャン撮像を不要にする。これは、患者の安全性に寄与し、手術時間を劇的に短縮し、それらの手術を間違いなくある程度まで可能にする。

【0039】

本発明は、手術が行われる対象領域の少なくとも１つの術前医療スキャン画像を取得するステップと、患者の対象領域内にある体腔にフィデューシャル装置２５を非侵襲的にまたは最小侵襲的に導入するステップとを用いて外科医に拡張現実を提供するシステムおよび方法を提供する。フィデューシャル装置は、特に、医療スキャン画像内において明確に特定され得る体腔に導入される。フィデューシャル装置２５は、赤外光源の使用、または、フィデューシャル装置内もしくはその上に配置され、照明光３９もしくは励起光４８によって励起する蛍光材料の使用のどちらかによって赤外光を出射する。少なくとも１つの撮像光ライブ画像と、１つの赤外ライブ画像とを取得した後、フィデューシャル装置２５が中に配置された体腔の組織構造体は、ライブ画像３８内において明確に検出可能であり、スキャン画像２１に確実に位置合わせして一致させ、重ね合わされた画像２１および３８を外科医に提示することができる。

【符号の説明】

【0040】

１４ 拡張現実システム
１５ 患者
１６ 台
１７ スキャン装置、例えばＣアーム
１８ 処理システム
１９ スキャン
２０ 体積モデル
２１ スキャン画像
２２ 画像再生装置
２３ 手術場
２４ 支持部
２５ フィデューシャル装置
２６ 位置決めシステム
２７、２８ マーク
２９、３０ カメラ
３１ ライブ撮像装置
３２ 対象領域
３３～３５ マーク
３６ 撮像装置３１の遠位端
３７ カメラ
３８ 照明光ライブ画像
３９ 照明光
４０ 照明光用の光源
４１ 手術部位
４２ 尿管
４３～４５ マーク
４６ 生体組織
４７ ＩＲ光
４８ 光源
４９ 励起光源
５０ 赤外光ライブ画像
５１ 画像位置合わせシステム
５２ 骨

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【外国語明細書】

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】