知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6927991
(24)【登録日】2021年8月10日
(45)【発行日】2021年9月1日
(54)【発明の名称】眼科手術のための可視化システム
(51)【国際特許分類】
A61F 9/007 20060101AFI20210823BHJP
A61B 34/20 20160101ALI20210823BHJP
A61B 3/12 20060101ALI20210823BHJP
【ＦＩ】
A61F9/007 200C
A61B34/20
A61B3/12
【請求項の数】12
【全頁数】29
(21)【出願番号】特願2018-545310(P2018-545310)
(86)(22)【出願日】2017年3月28日
(65)【公表番号】特表2019-511273(P2019-511273A)
(43)【公表日】2019年4月25日
(86)【国際出願番号】IB2017051775
(87)【国際公開番号】WO2017168328
(87)【国際公開日】20171005
【審査請求日】2020年2月27日
(31)【優先権主張番号】15/087,585
(32)【優先日】2016年3月31日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100117019
【弁理士】
【氏名又は名称】渡辺 陽一
(74)【代理人】
【識別番号】100173107
【弁理士】
【氏名又は名称】胡田 尚則
(72)【発明者】
【氏名】タモ ヘーレン
【審査官】
細川 翔多
(56)【参考文献】
【文献】
米国特許出願公開第２０１２／０１８４８４６（ＵＳ，Ａ１）
【文献】
特開２０１４−１８８２７５（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１４／０２２１８２２（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２０１５／０１７３６４４（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２０１５／０３４２４６０（ＵＳ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｆ ９／００７
Ａ６１Ｂ ３／１２
Ａ６１Ｂ ３４／２０
(57)【特許請求の範囲】
【請求項1】
眼の眼底画像を生成するように構成された画像化ユニットと、
前記眼の深度分解画像を生成するように構成された深度画像化システムと、
前記画像化ユニットと前記深度画像化システムとに通信的に結合された追跡システムとを含み、
前記追跡システムは、プロセッサ及びメモリを含み、前記プロセッサ及び前記メモリは、
前記画像化ユニットによって生成された前記眼底画像を解析して、前記眼底画像内における手術器具の遠位先端の位置を特定することと、
前記深度画像化システムによって生成された前記深度分解画像を解析して、前記手術器具の前記遠位先端と前記眼の網膜との間の距離を特定することと、
前記眼底画像の一部に重なる視覚インジケータを生成することであって、前記視覚インジケータは、前記遠位先端と前記網膜との間の前記特定された距離を示す、生成することと、
前記眼底画像内における前記遠位先端の前記位置の変化を追跡するように前記視覚インジケータをリアルタイムで変更することと、
前記手術器具の前記遠位先端と前記網膜との間の前記距離の変化を示すように前記視覚インジケータをリアルタイムで変更することと
を行うように構成されており、
前記追跡システムの前記プロセッサ及び前記メモリは、前記手術器具の前記遠位先端と前記眼の網膜との間の距離を、一定のＺ深さを有する前記深度分解画像内における、個々に一定距離に対応する画像の画素の解析に基づいて計算するように更に構成されている、眼科手術システム。
前記眼の深度分解画像を生成するように構成された深度画像化システムと、
前記画像化ユニットと前記深度画像化システムとに通信的に結合された追跡システムとを含み、
前記追跡システムは、プロセッサ及びメモリを含み、前記プロセッサ及び前記メモリは、
前記画像化ユニットによって生成された前記眼底画像を解析して、前記眼底画像内における手術器具の遠位先端の位置を特定することと、
前記深度画像化システムによって生成された前記深度分解画像を解析して、前記手術器具の前記遠位先端と前記眼の網膜との間の距離を特定することと、
前記眼底画像の一部に重なる視覚インジケータを生成することであって、前記視覚インジケータは、前記遠位先端と前記網膜との間の前記特定された距離を示す、生成することと、
前記眼底画像内における前記遠位先端の前記位置の変化を追跡するように前記視覚インジケータをリアルタイムで変更することと、
前記手術器具の前記遠位先端と前記網膜との間の前記距離の変化を示すように前記視覚インジケータをリアルタイムで変更することと
を行うように構成されており、
前記追跡システムの前記プロセッサ及び前記メモリは、前記手術器具の前記遠位先端と前記眼の網膜との間の距離を、一定のＺ深さを有する前記深度分解画像内における、個々に一定距離に対応する画像の画素の解析に基づいて計算するように更に構成されている、眼科手術システム。
【請求項2】
前記深度画像化システムは、前記眼の深度分解画像を、前記手術器具に組み込まれた画像化プローブによって受信された信号に基づいて生成するように構成されている、請求項１に記載の眼科手術システム。
【請求項3】
前記追跡システムの前記プロセッサ及び前記メモリは、前記眼底画像内の前記手術器具の前記遠位先端に重なる前記視覚インジケータを生成するように構成されている、請求項１又は２に記載の眼科手術システム。
【請求項4】
前記追跡システムの前記プロセッサ及び前記メモリは、前記視覚インジケータの大きさを前記手術器具の前記遠位先端と前記網膜との間の距離の前記変化に比例して増加又は減少させることにより、前記手術器具の前記遠位先端と前記網膜との間の前記距離の前記変化を示すように前記視覚インジケータを変更するように構成されている、請求項１〜３のいずれか一項に記載の眼科手術システム。
【請求項5】
前記追跡システムの前記プロセッサ及び前記メモリは、前記視覚インジケータの色を変更することにより、前記手術器具の前記遠位先端と前記網膜との間の前記距離の前記変化を示すように前記視覚インジケータを変更するように構成されている、請求項１〜４のいずれか一項に記載の眼科手術システム。
【請求項6】
前記深度画像化システムは、前記眼のＯＣＴ画像を生成するように構成された光干渉断層（ＯＣＴ）システムであり、前記ＯＣＴシステムは、
ＯＣＴ画像化ビームを生成するように動作可能なＯＣＴ光源と、
前記ＯＣＴ画像化ビームを導くように動作可能なビームスキャナと
を含み、及び
前記追跡システムは、前記ＯＣＴ画像を解析して、前記手術器具の前記遠位先端と前記眼の前記網膜との間の前記距離を特定するように構成されている、請求項１〜５のいずれか一項に記載の眼科手術システム。
ＯＣＴ画像化ビームを生成するように動作可能なＯＣＴ光源と、
前記ＯＣＴ画像化ビームを導くように動作可能なビームスキャナと
を含み、及び
前記追跡システムは、前記ＯＣＴ画像を解析して、前記手術器具の前記遠位先端と前記眼の前記網膜との間の前記距離を特定するように構成されている、請求項１〜５のいずれか一項に記載の眼科手術システム。
【請求項7】
前記追跡システムの前記プロセッサ及び前記メモリは、前記眼底画像内の前記手術器具の前記遠位先端の前記特定された位置に基づき、前記手術器具の前記遠位先端を含む前記眼の特定の領域に前記ＯＣＴ画像化ビームを導くことを前記ビームスキャナに行わせるように更に構成されている、請求項６に記載の眼科手術システム。
【請求項8】
前記手術器具は、前記ＯＣＴ画像化ビームを送信するように構成された第１の光ファイバーと、前記眼によって反射された光を送信するように構成された第２の光ファイバーとを含む、請求項６又は７に記載の眼科手術システム。
【請求項9】
前記追跡システムの前記プロセッサ及び前記メモリは、
前記眼底画像の強調画像を生成することと、
前記強調画像内のマーカー画像を推定することと、
前記強調画像から前記マーカー画像を抽出することと、
前記マーカーの前記画像から前記マーカーの位置を特定することと
により、前記眼底画像内の前記手術器具の前記遠位先端の前記位置を特定するように構成されている、請求項１〜８のいずれか一項に記載の眼科手術システム。
前記眼底画像の強調画像を生成することと、
前記強調画像内のマーカー画像を推定することと、
前記強調画像から前記マーカー画像を抽出することと、
前記マーカーの前記画像から前記マーカーの位置を特定することと
により、前記眼底画像内の前記手術器具の前記遠位先端の前記位置を特定するように構成されている、請求項１〜８のいずれか一項に記載の眼科手術システム。
【請求項10】
前記視覚インジケータ及び前記眼底画像は、接眼レンズ内又はヘッドアップスクリーン上に表示される、請求項１〜９のいずれか一項に記載の眼科手術システム。
【請求項11】
前記視覚インジケータは、ユーザによって構成可能である、請求項１〜１０のいずれか一項に記載の眼科手術システム。
【請求項12】
前記画像化ユニットは、手術用顕微鏡、２次元カメラ、線走査カメラ及び共焦点走査検眼鏡に使用されるような単一の検出器の少なくとも１つを含む、請求項１〜１１のいずれか一項に記載の眼科手術システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、手術処置に関し、特に眼科手術用可視化システム及び方法に関する。
【背景技術】
【0002】
多くの顕微手術処置では、体組織の精密な切除及び／又は除去を要する。例えば、特定の眼の外科的処置では、眼の後区を満たす透明なゼリー状の物質である硝子体液の切除及び／又は除去を要する。硝子体液又は硝子体は、多くの場合、網膜に付着する多くの微視的な筋原線維からなる。硝子体の切除及び除去は、網膜の牽引、脈絡膜からの網膜の分離、網膜裂孔又は最悪の場合には網膜自体の切除及び除去を回避するように細心の注意を払って行わなければならない。可動組織管理（ｍｏｂｉｌｅ ｔｉｓｓｕｅ ｍａｎａｇｅｍｅｎｔ）（例えば、網膜の剥離部分又は網膜裂孔近傍の硝子体の切除及び除去）などの一部の繊細な作業、硝子体基底部の切開、並びに膜の切除及び除去は特に困難である。
【0003】
眼の後区の手術で使用される顕微手術切除プローブは、典型的には、毛様体扁平部の近傍の強膜の切開を通して挿入される。外科医はまた、後区手術中、光ファイバー照明器、灌流カニューレ、画像化プローブ（例えば、ＯＣＴプローブ）又は吸引プローブなどの他の顕微手術器具を挿入し得る。
【0004】
これらの種類及び他の種類の外科的処置において外科医を補助するために、外科医は、患者の眼の組織など、治療される組織の顕微鏡像を呈する画像化システムを用い得る。したがって、このような画像化システムのユーザは、鉗子又は他のツールなどの手術器具及び眼の関心領域の拡大像を提供され得る。このようなシステムは、眼の関心領域の光干渉断層（ＯＣＴ）画像など、外科医にとって有用となり得る追加情報も外科医に提供し得る。ＯＣＴ画像化では、一般に、近赤外光を使用し、表面下の組織の画像を得るか又は生成することができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像化システムの進歩にもかかわらず、眼の手術処置の実施は依然として困難である。とりわけ、ステレオ顕微鏡画像を見る外科医にとって、眼内に挿入された手術ツールの深さ及び網膜などの特定の組織に対するその近さを正確に認識することは困難な場合がある。外科医は、繊細な処置中のガイダンスにおいて、通常、長い年月にわたって培った経験及び判断に依存するため、患者の安全及び手術結果を向上させるために可視化技術の改良が必要である。
【課題を解決するための手段】
【0006】
ある実施形態では、眼科手術システムは、眼の眼底画像を生成するように構成された画像化ユニットと、眼の深度分解画像を生成するように構成された深度画像化システムとを含む。システムは、画像化ユニットと深度画像化システムとに通信的に結合された追跡システムを更に含む。追跡システムは、プロセッサ及びメモリを含み、プロセッサ及びメモリは、画像化ユニットによって生成された眼底画像を解析して、眼底画像内における手術器具の遠位先端の位置を特定することと、深度画像化システムによって生成された深度分解画像を解析して、手術器具の遠位先端と眼の網膜との間の距離を特定することと、眼底画像の一部に重なる視覚インジケータを生成することであって、視覚インジケータは、遠位先端と網膜との間の特定された距離を示す、生成することと、眼底画像内における遠位先端の位置の変化を追跡するように視覚インジケータをリアルタイムで変更することと、手術器具の遠位先端と網膜との間の距離の変化を示すように視覚インジケータをリアルタイムで変更することとを行うように構成されている。
【0007】
追跡システムのプロセッサ及びメモリは、手術器具の遠位先端と眼の網膜との間の距離を深度分解画像内の画像の画素の解析に基づいて特定するように更に構成され得る。
【0008】
深度画像化システムは、眼の深度分解画像を、手術器具に組み込まれた画像化プローブによって受信された信号に基づいて生成するように構成され得る。
【0009】
ある実施形態では、追跡システムのプロセッサ及びメモリは、眼底画像内の手術器具の遠位先端に重なる視覚インジケータを生成するように構成されている。
【0010】
追跡システムのプロセッサ及びメモリは、視覚インジケータの大きさを手術器具の遠位先端と網膜との間の距離の変化に比例して増加又は減少させることにより、手術器具の遠位先端と網膜との間の距離の変化を示すように視覚インジケータを変更するように構成され得る。
【0011】
ある実施形態では、追跡システムのプロセッサ及びメモリは、視覚インジケータの色を変更することにより、手術器具の遠位先端と網膜との間の距離の変化を示すように視覚インジケータを変更するように構成されている。
【0012】
ある実施形態によれば、深度画像化システムは、眼のＯＣＴ画像を生成するように構成された光干渉断層（ＯＣＴ）システムである。ＯＣＴシステムは、ＯＣＴ画像化ビームを生成するように動作可能なＯＣＴ光源と、ＯＣＴ画像化ビームを導くように動作可能なビームスキャナとを含み得る。追跡システムは、ＯＣＴ画像を解析して、手術器具の遠位先端と眼の網膜との間の距離を特定するように構成され得る。追跡システムのプロセッサ及びメモリは、眼底画像内の手術器具の遠位先端の特定された位置に基づき、手術器具の遠位先端を含む眼の特定の領域にＯＣＴ画像化ビームを導くことをビームスキャナに行わせるように構成され得る。
【0013】
ある実施形態では、手術器具は、ＯＣＴ画像化ビームを送信するように構成された第１の光ファイバーと、眼によって反射された光を送信するように構成された第２の光ファイバーとを含む。
【0014】
ある実施形態によれば、追跡システムのプロセッサ及びメモリは、眼底画像の強調画像を生成することと、強調画像内のマーカー画像を推定することと、強調画像からマーカー画像を抽出することと、マーカーの画像からマーカーの位置を特定することとにより、眼底画像内の手術器具の遠位先端の位置を特定するように構成されている。
【0015】
ある実施形態では、視覚インジケータ及び眼底画像は、接眼レンズ内又はヘッドアップスクリーン上に表示される。視覚インジケータは、ユーザによって構成可能でもあり得る。
【0016】
ある実施形態では、画像化ユニットは、手術用顕微鏡、２次元カメラ、線走査カメラ及び共焦点走査検眼鏡に使用されるような単一の検出器の少なくとも１つを含む。
【0017】
ある実施形態は、眼の眼底画像を生成するステップと、眼の深度分解画像を生成するステップと、眼底画像を解析して、眼底画像内における手術器具の遠位先端の位置を特定するステップと、深度分解画像を解析して、手術器具の遠位先端と眼の網膜との間の距離を特定するステップと、眼底画像内の手術器具の遠位先端に重なる視覚インジケータを生成するステップであって、視覚インジケータは、遠位先端と網膜との間の特定された距離を示す、ステップと、眼底画像内における遠位先端の位置の変化を追跡するように視覚インジケータをリアルタイムで変更するステップと、手術器具の遠位先端と網膜との間の距離の変化を示すように視覚インジケータをリアルタイムで変更するステップとを含む方法を含む。
【0018】
ある実施形態によれば、手術器具の遠位先端と網膜との間の距離の変化を示すように視覚インジケータをリアルタイムで変更するステップは、手術器具の遠位先端と網膜との間の距離の変化に比例して視覚インジケータの大きさを増加又は減少させるステップを含む。
【0019】
ある実施形態では、手術器具の遠位先端と網膜との間の距離の変化を示すように視覚インジケータをリアルタイムで変更するステップは、視覚インジケータの色を変更するステップを含む。
【0020】
ある実施形態は、画像化システムの画像化ビームを、眼底画像内の手術器具の遠位先端の特定された位置に基づき、手術器具の遠位先端を含む眼の特定の領域に導くステップを更に含む。
【0021】
ある実施形態では、眼底画像を解析して、眼底画像内における手術器具の遠位先端の位置を特定するステップは、眼底画像の強調画像を生成するステップと、強調画像内のマーカー画像を推定するステップと、強調画像からマーカー画像を抽出するステップと、マーカーの画像からマーカーの位置を特定するステップとを含む。
【0022】
ある実施形態では、方法は、接眼レンズ内又はヘッドアップスクリーン上に視覚インジケータを表示するステップを含む。方法は、視覚インジケータの種類に関連するユーザ入カを受信するステップも含み得る。
【0023】
本開示のある実施形態は、１つ以上の技術的な利点を提供し得る。例えば、ある実施形態は、外科医が、精度の向上を伴って硝子体切除を実施することを可能にし得るとともに、硝子体切除中に網膜を損傷するリスクを低下させる視覚インジケータを提供する。特に、ある実施形態は、手術器具の遠位先端の位置にオーバーレイとして表示される視覚インジケータを提供する。この態様は、手術ツール及び敏感な組織の実際の位置及び／又は相対的な位置、並びに手術ツールと敏感な組織との間の距離に関する正確なリアルタイムの情報を、周囲組織に対する外科医の視界を遮ることなく提供することにより外科医を支援し得る。更に、網膜などの敏感な組織に対するその近さを含む手術器具の正確な位置を外科医に通知するためのインジケータを提供することにより、ある実施形態は、外科医の精度、意識及び自信を高め、患者の安全及び手術結果を向上させる。更に、外科医が術野から注意を逸らすことなくインジケータを容易に監視できるように、インジケータは、接眼レンズ又はヘッドアップディスプレイ内の画像オーバーレイとして設けられ得る。加えて、インジケータの特徴又は態様は、ツールと眼組織との近さの変化に比例して変更され得、それによりツール位置に関する直感的且つ即時のフィードバックを外科医に提供する。
【0024】
本開示及びその利点のより詳細な理解のために、ここで、類似の参照符号が類似の特徴を表す添付の図面と併せて解釈される以下の説明が参照される。
【図面の簡単な説明】
【0025】
【図1】ある実施形態による、手術用顕微鏡及び統合されたＯＣＴシステムを含む眼科手術用可視化システムの一例を示す。
【図2】ある実施形態による、可視化システムとともに使用するための例示的な手術器具を示す。
【図3A】ある実施形態による、可視化システムによって提供される視覚インジケータを含む顕微鏡画像を示す。
【図3B】ある実施形態による、可視化システムによって提供される視覚インジケータを含む顕微鏡画像を示す。
【図3C】ある実施形態による、可視化システムによって提供される視覚インジケータを含む顕微鏡画像を示す。
【図4A】ある実施形態による、可視化システムによって提供される様々な別の視覚インジケータを含む顕微鏡画像を示す。
【図4B】ある実施形態による、可視化システムによって提供される様々な別の視覚インジケータを含む顕微鏡画像を示す。
【図4C】ある実施形態による、可視化システムによって提供される様々な別の視覚インジケータを含む顕微鏡画像を示す。
【図5】ある実施形態による、眼内に挿入された手術器具の位置を追跡し、その眼組織への近さを示すための方法を示すフローチャートである。
【図6】ある実施形態による手術器具用の様々な種類のマーカーを示す。
【図7A】ある実施形態による、切り替え可能な単一チャネルデータ注入部を含む例示的な眼科手術用可視化システムを示す。
【図7B】ある実施形態による、切り替え可能な単一チャネルデータ注入部を含む例示的な眼科手術用可視化システムを示す。
【図8】ある実施形態による、２チャネルデータ注入部を含む例示的な眼科手術用可視化システムを示す。
【図9】ある実施形態による、２チャネルデータ注入部を含む別の例示的な眼科手術用可視化システムを示す。
【図10A】ある実施形態による、３Ｄ知覚を伴う２チャネルデータ注入部を含む例示的な眼科手術用可視化システムを示す。
【図10B】ある実施形態による、３Ｄ知覚を伴う２チャネルデータ注入部を含む例示的な眼科手術用可視化システムを示す。
【図10C】ある実施形態による、３Ｄ知覚を伴う２チャネルデータ注入部を含む例示的な眼科手術用可視化システムを示す。
【発明を実施するための形態】
【0026】
当業者であれば、以下で説明する図面が単に説明のためのものであり、本出願人の開示の範囲を限定するものではないことを理解するであろう。
【0027】
本開示の原理の理解を促進する目的で、ここで、図面に図示されている実施形態に言及し、特定の用語を使用してそれら実施形態を説明する。それにもかかわらず、本開示の範囲を限定することは意図されていないことが理解されるであろう。説明するシステム、装置、及び方法に対する改変形態及び更なる変更形態、並びに本開示の原理の任意の更なる応用は、本開示が関係する技術分野の当業者が通常想到し得るものとして考慮される。特に、一実施形態に関して説明するシステム、装置、及び／又は方法が、本開示の他の実施形態に関して説明する特徴、部品、及び／又はステップと組み合わされ得ることが考慮される。しかしながら、簡潔さのために、これらの組み合わせの多数の反復は別々に説明されていない。簡略化するために、場合により、図面全体を通して同一又は類似の部分を指すように同一の参照番号が使用される。本明細書中において位置、距離又は近さについて述べる場合、実際の及び／又は相対的な位置、距離又は近さを意味し得る。
【0028】
概して、本開示は、網膜などの特定の組織に対する手術ツールの近さを伝える１つ以上の視覚インジケータを提供することができる眼科手術用可視化システムに関する。ある実施形態は、特定の眼組織（例えば、網膜）と、眼内に挿入された手術ツール（例えば、硝子体切除プローブの先端）との間の距離を示す、コンピュータで生成した視覚インジケータ（例えば、ポインタ、形状、アイコン又は他のグラフィック要素）を含む眼組織の顕微鏡画像をユーザに提供する。視覚インジケータの１つ以上の特性（例えば、その色、大きさ、形状）は、手術ツールと特定の眼組織との間の距離を反映するようにリアルタイムで変更され得る。ある実施形態では、視覚インジケータの特性（例えば、大きさ、色）は、段階的に変更され、距離の変化に比例してツールの動きを直観的に伝える。手術ツールと特定の眼組織との間の距離は、ＯＣＴ画像化システム、超音波画像化システム、マルチスペクトル画像化システム、コンピュータ体軸断層撮影（ＣＡＴ）走査システム、磁気共鳴画像（ＭＲＩ）システム又はポジトロン放出断層撮影（ＰＥＴ）画像化システムなどのリアルタイムで深度分解可能な画像化システムにより得られるデータに基づいて特定され得る。ある実施形態はまた、顕微鏡画像内における手術ツールの動きをリアルタイムで追跡し、視覚インジケータを、接眼レンズ内又はヘッドアップディスプレイ上に呈示される顕微鏡画像内の動的オーバーレイとして表示し得る。例えば、視覚インジケータは、手術ツールの遠位端が網膜の顕微鏡画像内を移動する際に手術ツールの遠位端に重ねられるグラフィックオーバーレイとして表示され得、オーバーレイインジケータの大きさ及び／又は色は、手術ツールの遠位端と網膜との間の距離に応じて連続的に更新され得る。
【0029】
図１は、本開示のある実施形態による眼科手術用可視化システムの一例を示す。手術用顕微鏡１００は、統合されたＯＣＴシステム及び表示システムを含む。手術用顕微鏡１００は、手術処置中に患者の眼１０２の拡大観察を容易にし得、概して、接眼レンズ１０４と、リレーレンズ１０６と、拡大／集束光学系１０８と、対物レンズ１１０と、手術用観察光学系１１２とを含み得る。接眼レンズ１０４、リレーレンズ１０６、拡大／集束光学系１０８、対物レンズ１１０、及び手術用観察光学系１１２の各々は、当業者により理解されるように任意の好適な光学部品を含み得る。
【0030】
手術用顕微鏡１００は、患者の眼１０２のＯＣＴ画像を生成するように動作可能な統合されたＯＣＴシステム１１４と、一方又は両方の接眼レンズ１０４を介してそれらのＯＣＴ画像を外科医に表示するように動作可能なリアルタイムデータ投影ユニット１１６とを追加的に含み得る。ＯＣＴシステム１１４が（以下に更に詳細に述べるように）手術用顕微鏡１００に統合される位置は、有利には、外科医が拡大／集束光学系１０８を介して顕微鏡の視野を操作するときにＯＣＴ走査範囲が自動的に調整されることを可能にし得る。その上、リアルタイムデータ投影ユニット１１６は、有利には、ＯＣＴシステム１１４により生成されたＯＣＴ画像を外科医が別個の表示モニタを見る必要なしに観察することを可能にし得る。
【0031】
ＯＣＴシステム１１４は、光源／解析ユニット１１８とビームスキャナ１２０とを含み得る。概して、光源／解析ユニット１１８はＯＣＴ画像化ビーム１２２を生成し得、且つ（手術用顕微鏡の他の光学部品と併せて）ビームスキャナ１２０は、生成されたＯＣＴ画像化ビーム１２２を患者の眼１０２内の特定の領域に導き得る。患者の眼１０２内の特定の領域からのＯＣＴ画像化ビーム１２２の反射（反射されたＯＣＴ画像化ビーム１２４）は、ＯＣＴ画像化ビーム１２２と同じ光路に沿って光源／解析ユニット１１８に戻り得、且つ光源／解析ユニット１１８は、反射１２４とＯＣＴ画像化ビーム１２２の基準アームとの干渉を判定することにより特定の領域のＯＣＴ画像を生成し得る。本開示では、ＯＣＴシステム１１４が、当業者により理解されるようにＯＣＴ画像化ビーム１２２を操作するための任意の好適な追加の光学部品を含み得ることが考慮され、それらの追加の部品は簡略化のために図示／説明されていない。
【0032】
ある実施形態において、ＯＣＴ画像化ビーム１２２は、比較的狭い帯域の波長（例えば、８３０ｎｍ〜８７０ｎｍ、７９０ｎｍ〜９００ｎｍ、９５０ｎｍ〜１１５０ｎｍ）を包含する赤外光ビーム又は近赤外光ビームを含み得る。しかしながら、任意の好適なスペクトル領域を有するＯＣＴ画像化ビーム１２２を使用し得る。
【0033】
ある実施形態において、ＯＣＴ画像化ビーム１２２は、ＯＣＴシステム１１４の他の任意の好適な光学部品（上で説明した通り、図示せず）だけでなくビームスキャナ１２０（以下に更に詳細に説明する）を通過し得る。次いで、ＯＣＴ画像化ビーム１２２は、（以下に更に詳細に説明するように）手術用顕微鏡１００の上で説明した光学部品の１つ又は複数を介して患者の眼１０４に導かれ得る。
【0034】
ビームスキャナ１２０は、Ｘ−Ｙ平面におけるＯＣＴ画像化ビーム１２２の集束を容易にする任意の好適な光学部品又は光学部品の組み合わせを含み得る。例えば、ビームスキャナ１２０は、走査ミラーの対、マイクロミラー装置、ＭＥＭＳベースの装置、変形可能なプラットフォーム、検流計ベースのスキャナ、ポリゴンスキャナ、及び／又は共振ＰＺＴスキャナの１つ又は複数を含み得る。ある実施形態において、ビームスキャナ１２０の光学部品の位置は、自動的に操作され得る。ごく一例として、ビームスキャナ１２０は、モータ駆動部に各々結合された走査ミラーの対を含み得、モータ駆動部は、垂直軸線を中心にミラーを回転させるように動作可能である。結果として、結合されたモータの位置を（例えば、所定の又は選択された走査パターンに従って）制御することにより、患者の眼１０４内でのＯＣＴ画像化ビーム１２２のＸ−Ｙ位置決めを制御することができる。追加的に、ＯＣＴ画像化ビーム１２２の焦点深度は、３ＤのＯＣＴ画像化を容易にするために当技術分野で理解されるようにＯＣＴシステム１１４の１つ又は複数の他の部品により制御され得る。
【0035】
上で説明したように、反射されたＯＣＴビーム１２４は、ＯＣＴ画像化ビーム１２２が移動する光路と実質的に同じ光路に沿ってＯＣＴシステム１１４に戻り得る。反射されたＯＣＴビーム１２４が光源／解析ユニット１１８に到達した時点で、光源／解析ユニット１１８は、反射されたＯＣＴビーム１２４とＯＣＴ画像化ビーム１２２の基準アーム（当技術分野で知られている）との干渉に基づいてＯＣＴ画像（Ａ走査）を構築し得る。その上、ビームスキャナ１２０を介してＸ−Ｙ平面内で画像化ビームを移動させ、且つ／又は画像化ビーム１２２の焦点深度を変更することにより、複数のＯＣＴ画像（Ａ走査）が生成されてＯＣＴ断面画像（Ｂ走査）に組み合わされ得、且つそれらの複数の断面画像（Ｂ走査）が３ＤのＯＣＴ画像を生成するために組み合わされ得る。
【0036】
ある実施形態において、ＯＣＴシステム１１４は、手術用顕微鏡１００の光路に位置するビーム結合器１２６を介して手術用顕微鏡１００に統合され得る。ビーム結合器１２６は、手術用顕微鏡１００を通過する可視スペクトルにおける光の通過を可能にしつつ、ＯＣＴ画像化ビーム１２２のスペクトル領域内の波長（例えば、赤外波長）を反射するように構成された光学素子を含み得る。一例として、ビーム結合器１２６は、ダイクロイックホットミラー、偏光ビームスプリッタ、及びノッチフィルタの１つを含み得る。
【0037】
ある実施形態では、ＯＣＴシステム１１４は、手術用顕微鏡１００の光路に位置するビーム結合器１２６を介して手術用顕微鏡１００に統合され得る。ビーム結合器１２６は、手術用顕微鏡１００を通過する可視スペクトルにおける光の通過を可能にしつつ、ＯＣＴ画像化ビーム１２２のスペクトル領域内の波長（例えば、赤外波長）を反射するように構成された光学素子を含み得る。一例として、ビーム結合器１２６は、ダイクロイックホットミラー、偏光ビームスプリッタ及びノッチフィルタの１つを含み得る。
【0038】
ある実施形態において、ビーム結合器１２６は、手術用観察光学系１１２と接眼レンズ１０４との間の光路に沿って位置し得る。手術用観察光学系１１２は、ドロップオン黄斑レンズ（ｄｒｏｐ−ｏｎ ｍａｃｕｌａｒ ｌｅｎｓ）、接触式広角レンズ、（双眼間接検眼鏡）ＢＩＯＭなどの非接触式観察システム、又は他の任意の好適な観察光学系を含み得る。より詳細には、ビーム結合器１２６は、拡大／集束光学系１０８と接眼レンズ１０４との間の光路に沿って位置し得る。結果として、ＯＣＴ画像化ビーム１２２は、拡大／集束光学系１０８を通過して、外科医が拡大／集束光学系１０８を介して顕微鏡の視野を操作するときにＯＣＴ走査範囲が自動的に調整されることを可能にする。本開示では、図示されていないが、ＯＣＴ画像化ビーム１１６が拡大／集束光学系１０８及び対物レンズ１１０を通過することを踏まえると、ＯＣＴシステム１１４が、患者の眼１０２内でのＯＣＴ画像化ビーム１２２の適切な焦点合わせを容易にする任意の好適な光学部品を追加的に含み得ることが考慮される。
【0039】
ある実施形態において、ＯＣＴシステム１１４は、ＯＣＴ画像化ビーム１２２に加えて可視照準ビーム（図示せず）を生成し得る。この可視照準ビームは、接眼レンズ１０４を介して外科医が視認できてもよく、且つ外科医がＯＣＴ画像化を指示することを補助し得る。このような実施形態において、ビーム結合器１２６は、狭帯域の照準光に含まれない手術用顕微鏡１００を通過する可視光の通過を可能にしつつ、ＯＣＴ画像化ビーム１２２のスペクトル領域（例えば、赤外波長）と狭帯域の可視光（その狭帯域に照準ビームが含まれる）との両方を反射するように構成され得る。
【0040】
Ａ走査、Ｂ走査、又は上で説明したように複数のＢ走査を組み合わせることにより構築された３ＤのＯＣＴ画像を含み得る、ＯＣＴシステム１１４により生成されたＯＣＴ画像（図１において参照符号１２８で特定される）は、一方又は両方の接眼レンズ１０４を介して外科医に対して表示されるようにリアルタイムデータ投影ユニット１１６に通信され得る。
【0041】
本開示では、図示されていないが、ある実施形態は、超音波画像化システム、マルチスペクトル画像化システム、コンピュータ体軸断層撮影（ＣＡＴ）走査システム、磁気共鳴画像（ＭＲＩ）システム又はポジトロン放出断層撮影（ＰＥＴ）画像化システムなどの１つ以上の追加的又は代替的な深度画像化システムを含み得ると考えられる。このような画像化システムは、本明細書中に記載されるＯＣＴ画像化システム（例えば、顕微鏡１００と統合された、プローブベースの、及び／又は手術器具１４６と統合された）と同様に、追跡ユニット１４４によって解析され得る深度分解画像を生成するように構成され得る。
【0042】
リアルタイムデータ投影ユニット１１６は、画像を投影するための任意の好適な装置を含み得、且つその画像に焦点を合わせるための任意の好適な光学系（図示せず）を含み得る。例えば、リアルタイムデータ投影ユニット１１６は、ヘッドアップ表示装置、１次元表示アレイ、２次元表示アレイ、スクリーン、プロジェクタ装置、又はホログラフィック表示装置の１つを含み得る。
【0043】
リアルタイムデータ投影ユニット１１６は、手術用顕微鏡１００の光路に位置するビームスプリッタ１３０を介して手術用顕微鏡１００に統合され得る。ビームスプリッタ１３０は、患者の眼１０２から反射された可視光に実質的に干渉せずに、リアルタイムデータ投影ユニット１１６により生成された投影画像を接眼レンズ１０４に向けて反射するように構成された光学素子を含み得る。
【0044】
ある実施形態では、手術用顕微鏡１００は、追加的に又は代替的に、プローブベースのＯＣＴシステム１３４を含み得る。プローブベースのＯＣＴシステム１３４は、プローブベースのＯＣＴシステム１３４により生成されたＯＣＴ画像化ビームが、患者の眼１０２に挿入され得るプローブ１３８を使用して患者の眼１０２内に導かれ得ることを除いて、ＯＣＴシステム１１４に関して上で説明したのと実質的に同じ様式でＯＣＴ画像１３６を生成し得る。ＯＣＴシステム１１４とプローブベースのＯＣＴシステム１３４との両方を含む実施形態において、手術用顕微鏡１００は、ソース選択ユニット１４０を追加的に含み得る。ソース選択ユニット１４０は、（ＯＣＴシステム１１４により生成された）ＯＣＴ画像１２８又は（プローブベースのＯＣＴシステム１３４により生成された）ＯＣＴ画像１３６のいずれかの選択を、リアルタイムデータ投影ユニット１１６又は表示装置１３２への通信のために可能にする任意の好適なスイッチを含み得る。結果として、外科医は、手術中の画像化にいずれのＯＣＴ画像化システムを使用するかを選択し得る。
【0045】
ある実施形態では、手術器具１４６は、追加的に又は代替的に、ＯＣＴ画像化プローブ１３８と統合され得、又は追加的若しくは代替的なＯＣＴ画像化プローブを含み得る。例えば、手術器具１４６は、プローブベースのＯＣＴシステム１３４と通信可能に結合され得る。手術器具１４６は、１つ以上の光ファイバーを含み得、１つ以上の光ファイバーは、器具の遠位先端の方に器具の長さに沿って延び、ＯＣＴ画像化ビーム又は眼１０２から反射された光を送信及び／又は受信する。ファイバーは、遠位先端において又はその近傍において終端し、画像化ビームを眼１０２に送信し得る。このようなファイバー及び手術器具１４６の他の構成要素は、ＯＣＴ画像化ビームを眼１０２に送信し、光源／解析ユニット１１８に反射を戻すように構成され得る。このように、ＯＣＴ画像化ビームは、別個のＯＣＴプローブ又はビームスキャナよりもむしろ手術器具１４６を用いて、患者の眼１０２内に導かれ得る。このような実施形態では、手術器具１４６の遠位先端と眼１０２との間の距離は、器具へのＯＣＴビームを調整することなく特定され得る。画像化ビームは手術器具の先端から投影されるため、外部ＯＣＴ画像化ビームを、眼組織及び手術器具の両方を画像化領域内に含むように調整する必要はない。ある実施形態では、手術器具１４６は、ＯＣＴ画像化プローブ以外の深度画像化プローブと統合され得るか又はそれを含み得る。
【0046】
リアルタイムデータ投影ユニット１１６により投影されたＯＣＴ画像（例えば、ＯＣＴ画像１２８及び／又はＯＣＴ画像１３６）は、接眼レンズ１０４を介して外科医により観察される可視構造と位置合わせされた半透明のオーバーレイとして表示され得る。このような実施形態において、ＯＣＴ画像と眼の実際の構造との位置合わせは、例えば、網膜追跡（以下に更に説明する）、器具追跡（以下に更に説明する）、照準ビーム、又はこれらの任意の組み合わせに基づいて達成され得る。
【0047】
ある他の実施形態において、リアルタイムデータ投影ユニット１１６により投影されたＯＣＴ画像は、外科医の視野の隅に又は接眼レンズ１０４を通して眼１０２を観察する外科医の能力を実質的に低下させない他の任意の好適な位置に表示され得る。
【0048】
リアルタイムデータ投影ユニット１１６は、ＯＣＴ画像が接眼レンズ１０４を通して観察可能であるように手術用顕微鏡１００の光路にＯＣＴ画像１２８及び／又はＯＣＴ画像１３６を投影するものとして上で説明されているが、本開示では、リアルタイムデータ投影ユニット１１６が、追加的又は代替的に、特定の必要に応じて、手術用顕微鏡１００の光路に他の任意の好適な情報（ＯＣＴデータ、眼底画像、手術パラメータ、手術パターン、手術指標などから抽出され且つ／又は強調表示された情報）を投影し得ることが考慮される。
【0049】
手術用顕微鏡１００は、追加的に、画像化ユニット１４２及び追跡ユニット１４４を含み得る。追跡ユニット１４４は、システムオペレータに対して表示するための画像、インジケータ及び他のデータを提供するために、ＯＣＴシステム１１４、リアルタイムデータ投影ユニット１１６及びディスプレイ１３２に（有線又は無線通信によって）通信可能に結合され得る。以下で更に詳細に記載するように、ＯＣＴシステム１１４、画像化ユニット１４２及び追跡ユニット１４４は、患者の眼１０２内における手術器具１４６の位置、深さ、近さ及び動きの追跡を集合的に容易にし得る。
【0050】
画像化ユニット１４２は、患者の眼１０２の眼底画像１４８を生成するための任意の好適な装置を含み得、且つその機能を果たすための好適な拡大／集束光学系（図示せず）を含み得る。簡単な例として、手術用顕微鏡１００の光路に沿って患者の眼１０２により反射された可視光又は近赤外光１５０は、光路に沿って配置されるとともに、かかる光を部分的に反射するように動作可能であるミラー１５２を介して画像化ユニット１４２に向けて導かれ得る。ある実施形態において、眼底画像１４８は、患者の眼１０２の個別の静止画であり得る。他の実施形態において、眼底画像１４８は、患者の眼１０２の連続したビデオストリームを含み得る。眼底画像１４８は、システム１００の他の構成要素によって処理され、変更され得る複数の画像フレームを含み得る。例示の画像化ユニットは、デジタルビデオカメラ、線走査検眼鏡又は共焦点走査検眼鏡を含み得る。
【0051】
示されている実施形態では、リアルタイムデータ投影ユニット１１６を介してＯＣＴ画像が光路に導入される前に可視光又は近赤外光１５０が光路から取り出されるため、生成された眼底画像１４８は、投影されたＯＣＴ画像を含まない（これは、以下に説明する器具追跡のために有益であり得る）。画像化ユニット１４２は手術用顕微鏡１００及びＯＣＴシステム１１４の光学部品に対して特定の位置に位置するものとして示され説明されているが、本開示では、画像化ユニット１４２が、特定の必要に応じて、それらの部品に対して任意の好適な位置に配置され得ることが考慮される。
【0052】
手術用顕微鏡１００の追跡ユニット１４４は、患者の眼１０２内における手術器具１４６の位置／姿勢、深さ、近さ及び動きを、少なくとも部分的に、画像化ユニット１４２によって生成された眼底画像１４８と、ＯＣＴシステム１１４、超音波画像化システム、マルチスペクトル画像化システム、コンピュータ体軸断層撮影（ＣＡＴ）走査システム、磁気共鳴画像（ＭＲＩ）システム又はポジトロン放出断層撮影（ＰＥＴ）画像化システムなどの深度画像化システムによって生成された深度分解画像又は３次元画像とに基づいて特定するように動作可能である。
【0053】
追跡ユニット１４４は、ハードウェア、ファームウェア及びソフトウェアの任意の好適な組み合わせを含み得る。ある実施形態において、追跡ユニット１４４は、プロセッサ１５４とメモリ１５６とを含み得る。プロセッサ１５４は、１つ又は複数のマイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、又は他の任意の好適な計算装置若しくは計算資源を含み得る。プロセッサ１５４は、本明細書で説明する機能を提供するために、単独で又は図１に示されている他の部品とともに機能し得る。メモリ１５６は、限定されるものではないが、磁気媒体、光媒体、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、リムーバブルメディア、又は他の任意の好適なメモリ部品を含む、揮発性又は不揮発性メモリの形態を取り得る。メモリ１５６は、プロセッサ１５４により実行されたときに追跡ユニット１４４の機能を実施するプログラムの命令及びアルゴリズムを記憶し得る。
【0054】
追跡ユニット１４４は、眼底画像１４８を解析して、手術器具１４６の位置を特定及び追跡するようにプログラムされ得る（又はプロセッサ１５４により実行されたときに、眼底画像１４８を解析するように動作可能なソフトウェアをメモリ１５６に格納し得る）。例えば、プロセッサ１５４は、画像化ユニット１４２によって取得された画像１４８を受信し、処理又は解析し得、処理された画像に基づいてインジケータ及び画像を生成し、リアルタイムデータ投影ユニット１１６又はディスプレイ１３２により表示し得る。プロセッサ１５４は、複数の画像を処理又は解析して手術器具１４６の位置の変化を追跡し得、このような変化を反映するようにインジケータ及び画像を変更し得る。追跡ユニット１４４のメモリ１５６は、前処理された及び／又は後処理された画像データを記憶し得る。プロセッサ１５４は、術野内における手術器具１４６の位置及び／又は向き（又は位置及び向きの変化）を眼底画像１４８に基づいて検出及び計算し得る。
【0055】
加えて、追跡ユニット１４４は、遠位先端１４９の深さ及び眼１０２の特定の組織に対するその近さを特定するようにプログラムされ得る（又はプロセッサ１５４により実行されたときに、遠位先端１４９の深さ及び眼１０２の特定の組織に対するその近さを特定するように動作可能なソフトウェアをメモリ１５６に格納し得る）。例えば、プロセッサ１５４は、ＯＣＴシステム１１４（又は別の深度画像化システム）によって取得された３次元又は深度分解画像データを受信し得、データを解析し、遠位先端１４９と眼１０２の網膜との間の距離及び／又は近さを特定し得る。特定された距離に基づき、追跡ユニット１４４は、リアルタイムデータ投影ユニット１１６又はディスプレイ１３２により表示するためのインジケータ生成し、網膜などの特定の眼組織に対する遠位先端１４９の近さについてシステムオペレータに通知し得る。プロセッサ１５４は、遠位先端１４９に関する位置、向き及び距離／近さのデータを連続的又は反復的に特定又は計算して遠位先端１４９を追跡し、インジケータを更新し、顕微鏡画像内における遠位先端１４４の位置、及び遠位先端１４４と眼１４６の網膜との間の距離のリアルタイム表示を提供し得る。プロセッサ１５４はまた、遠位先端１４９と眼１０２の網膜との間の距離の変化に対して段階的及び比例的に視覚インジケータの特性（例えば、大きさ、色）を連続的又は反復的に変更し、遠位先端１４９の動きを直観的に伝え得る。追跡ユニット１４４のメモリ１５６は、前処理された及び／又は後処理された深度画像化データを記憶し得る。
【0056】
更に、追跡ユニット１４４は、ＯＣＴシステム１１４のビームスキャナ１２０がＯＣＴ画像化ビーム１２２の位置を患者の眼１０２内に導くようにするために、ＯＣＴシステム１１４に通信される信号１５８を生成するようにプログラムされ得る（又はプロセッサ１５４により実行されたときに、信号１５８を生成するように動作可能なソフトウェアをメモリ１５６に格納し得る）。例えば、信号１５８は、患者の眼１０２内における手術器具１４６の特定された位置に基づいて生成され得、ＯＣＴシステム１１４のビームスキャナ１２０は、ＯＣＴ画像化ビーム１２２を手術器具１４６の遠位先端１４９の近傍の位置に導き得る。その結果、ＯＣＴ画像１２８は、外科医にとって最も関心がある領域に生成され得、追跡ユニット１４４は、処置の全体を通し、ＯＣＴシステム１１４によって生成されたデータを使用して遠位先端１４９と網膜との間の距離を計算し得る。その上、ＯＣＴ画像１２８が顕微鏡の視野内における半透明のオーバーレイとして表示される実施形態では、手術器具１４６の追跡がそのオーバーレイの適切な位置決めを追加的に容易にし得る。
【0057】
別の例として、信号１５８は、患者の眼１０２の網膜の判定された位置（手術器具１４６を追跡することに関して本明細書に述べたのと同様の様式で眼底画像１４８を処理することにより、追跡ユニット１４４によって判定される）に基づいて生成され得、且つＯＣＴシステム１１４のビームスキャナ１２０は、ＯＣＴ画像化ビーム１２２を網膜に対して一定の位置に導き得る。その上、ＯＣＴ画像１２８が顕微鏡の視野内における半透明のオーバーレイとして表示される実施形態では、網膜の追跡がそのオーバーレイの適切な位置決めを追加的に容易にし得る。
【0058】
手術用顕微鏡１００は、固定された単一チャネルを通じて表示されたＯＣＴ画像を含むものとして示され説明されているが（すなわち、リアルタイムデータ投影ユニット１１６は、２つの接眼レンズ１０４の一方の接眼レンズ１０４の光路に結合される）、他の実施形態も（以下で図７〜図１０に関して説明するように）本開示により考慮される。
【0059】
ここで、ある実施形態に従い、追跡ユニット１４４の機能及び動作について更に詳細に記載する。
【0060】
追跡ユニット１４４は、種々の技術を用いて顕微鏡画像内における手術器具１４６の位置（例えば、顕微鏡画像内における遠位先端１４９のＸ−Ｙ位置）を特定及び追跡し得る。ある実施形態では、手術器具１４６は、取り付けられた又は埋め込まれた検出デバイスを有し得る。例えば、手術器具１４６は、姿勢、位置又は動きの変化を検出するための１つ以上のジャイロスコープ、加速度計、重力センサ、リニア加速度センサ、回転ベクトルセンサ、地磁気場センサ又は他の種類のセンサを有し得る。このようなセンサから生成されたデータは、追跡ユニット１４４に提供され得、追跡ユニット１４４は、データを解析して手術器具１４６の位置、姿勢及び／又は動きを特定し得る。
【0061】
ある実施形態では、追跡ユニット１４４は、画像ベースの処理技術を用いて手術器具１４６の位置を特定及び追跡し得る。例えば、追跡ユニット１４４は、画像化ユニット１４２から取得された画像に対してマシンビジョンアルゴリズム又はコンピュータビジョンアルゴリズムを用いて、手術器具１４６の位置を特定及び追跡し得る。追跡ユニット１４４は、特徴認識若しくは抽出技術、並びに／又はモーションベースの物体追跡及び画像処理アルゴリズム（例えば、エッジ検出、コーナ検出、ブロブ検出、ブロブ抽出、リッジ検出、スケール不変特徴変換、動き検出、バックグラウンド除去、フレーム差分、オプティカルフロー、閾値処理、テンプレートマッチング、ハフ変換等）を適用し得る。追加的に又は代替的に、追跡ユニット１４４は領域ベースの物体追跡技術を使用し得る。
【0062】
例えば、追跡ユニット１４４は、深度画像化システムにより得られた画像データ内において遠位先端１４９及び眼１０２の網膜を検出又は分離するために、特徴認識又は抽出技術（例えば、エッジ検出、コーナ検出、ブロブ検出、ブロブ抽出、リッジ検出、スケール不変特徴変換、動き検出、オプティカルフロー、閾値処理、テンプレートマッチング、ハフ変換等）を深度分解画像に適用し得る。追跡ユニット１４４は、眼１０２のリファレンス画像を取得及び記憶し得るとともに、手術処置中に得られた画像をリファレンス画像と比較し、手術器具１４６の遠位先端及び眼１０２の網膜の位置及び動き、並びに手術器具１４６の遠位先端と眼１０２の網膜との間の距離を特定し得る。
【0063】
ある実施形態によれば、追跡ユニット１４４は、画像化ユニット１４２から受信された画像内の手術器具１４６の固有の特徴（例えば、輪郭、エッジ、形状、色、コーナ／特徴点等）を抽出及び検索するために、特徴ベースの物体追跡を使用して手術器具１４６の位置を特定及び追跡するようにプログラムされ得る。このような実施形態では、追跡ユニット１４４は、手術器具１４６の位置の特定及び追跡を支援するためにマーカー１４７を使用し得る。図２に示すように、手術器具１４６は、遠位部１４４に又はその近傍に配置された、可視光線又は赤外スペクトル又は画像化ユニット１４２により検出可能な他のスペクトル領域における高コントラスト特徴を有するマーカー１４７を含み得る。高コントラストは、眼１０２の眼底の色又はパターンと区別可能な色又はパターンを使用することにより得られ得る。眼内照明器（ｅｎｄｏ−ｉｌｌｕｍｉｎａｔｏｒ）又はファイバー照明器などの光源１４５が、イメージング光を発して眼１０２の眼底を照明し得る。マーカー１４７については、以下で図６に関して更に詳細に記載する。
【0064】
追跡ユニット１４４はまた、手術器具１４６と眼１０２の組織との間の距離及び近さを特定及び追跡し得る。ある実施形態では、追跡ユニット１４４は、ＯＣＴ画像化システム１１４、又は組織及び器具の深さ及び位置を特定することが可能な別の深度画像化システムから深度分解画像データを受信する。追跡ユニット１４４は、このような画像データに画像ベースの処理技術を適用し、手術器具１４６及び眼１０２の組織に関する位置及び姿勢データを特定及び／又は抽出し得る。この解析に基づき、追跡ユニット１４４は、手術器具１４６の一部分（例えば、遠位先端１４９）と眼１０２の組織（例えば、網膜）との間の距離を計算し得る。追跡ユニット１４４は、深度画像化システムにより得られた画像データの流れをリアルタイムで処理することにより、この距離の変化を追跡し得る。追跡ユニット１４４はまた、手術器具１４６及び眼１０２の組織の位置及び動きの変化、並びに手術器具１４６と眼１０２の組織との間の距離の変化を計算及び追跡するために、画像解析データを記憶し得る。
【0065】
ある実施形態では、追跡ユニット１４４は、ＯＣＴシステム１１４などの深度分解画像化システムから画像データを受信する。追跡ユニット１４４は、深度分解画像を解析し、網膜及び／又は手術ツールなど、画像内に示される特徴を識別するように構成され得る。追跡ユニット１４４は、深度画像データを登録し、深度分解画像内において識別された特徴の座標を特定し得る。このような座標は、エッジ若しくはブロブ検出などのコンピュータビジョンアルゴリズム又はマシンビジョンアルゴリズムを使用してデジタル化され得、画像内の特徴間の距離を計算するために使用され得る。
【0066】
ある実施形態では、校正サンプル材料を使用して、既知の位置座標内の位置に基準マークの３Ｄアレイを形成し得る。基準マークの既知の位置座標と、得られた深度分解画像内の基準マークの深度分解画像との間にマッピング関係を確立するために深度分解画像（例えば、ＯＣＴ画像）が得られ得る。このマッピング関係は、デジタル校正データとして格納され得るとともに、深度分解画像内の特徴（例えば、網膜及び手術ツールの切除先端）間の距離を計算するため、及び深度分解画像化システムの画像化ビームを制御するために使用され得る。
【0067】
深度分解画像化プローブが手術器具１４６から離れている実施形態では、深度分解画像は、手術器具１４６及び眼１０２の網膜を含む特徴を示し得る。例えば、追跡ユニット１４４は、眼１０２の網膜及び遠位先端手術器具１４６を示す深度分解画像（例えば、Ａ走査又はＢ走査）を受信し得る。追跡ユニット１４４は、受信された深度画像の特徴に基づき、眼１０２の網膜と手術器具１４６の遠位先端との間の距離又は近さを特定し得る。例えば、このような画像において、眼１０２の網膜及び手術器具１４６の遠位先端は、画像内の空間によって分離されているように見え得る（眼１０２の網膜と手術器具１４６の遠位先端とが接していないことを前提として）。追跡ユニット１４４は、眼１０２の網膜と手術器具１４６の遠位先端との間の距離又は近さを、画像内における眼１０２の網膜と手術器具１４６の遠位先端との間の分離の程度に基づいて特定し得る。例えば、上述のように、デジタル化された座標を使用し得る。別の例として、追跡ユニット１４４は、一定のｚ深度分解能を有し得る深度分解画像において、眼１０２の網膜と遠位先端手術器具１４６とを隔てる画素数に基づいて距離又は近さを特定し得る。一定のｚ深さを有する深度分解画像（ＯＣＴ画像などの）において、画像内の特徴（例えば、ツール先端部及び網膜）間の距離及び／又は近さは、個々に一定距離に対応する画素に基づいて計算され得る。追跡ユニット１４４は、画像化された物体間の距離を特定するために、深度分解画像の画素数を特定及び処理し得る。この手法を容易にするために、上述のように、追跡ユニット１４４は、有利には、深度画像化システムによって深度画像化ビームを手術器具１４６の近傍の位置に導き得る。
【0068】
ある実施形態では、追跡ユニット１４４は、手術器具１４６内に少なくとも部分的に統合された深度分解画像化プローブから画像データを受信し得る。一例では、手術器具１４６は、統合された深度画像化プローブを含み得る。手術器具１４６は、画像化ビームを送信するために、眼から反射された光を送信するために、及び眼１０２の深度分解画像（例えば、Ａ走査又はＢ走査）を生成するために深度画像化システム（例えば、ＯＣＴシステム１１４）によって使用される１つ以上の光ファイバーを含み得る。このような深度分解画像は、手術器具１４６を示すことなく眼１０２の網膜を示し得る（このような画像は器具１４６の先端の視点から得られるため）。追跡ユニット１４４は、受信された深度画像の特徴に基づき、眼１０２の網膜と手術器具１４６の遠位先端との間の距離又は近さを特定し得る。例えば、上記のように、デジタル化された座標を使用し得、又は追跡ユニット１４４が深度分解画像の画素数を割り出し、処理し、画像化された物体間の距離を特定し得る。ある実施形態では、追跡ユニット１４４は、画像のエッジ（又は手術器具１４６の遠位先端に対応する他の特徴）と、一定のｚ深度分解能を有し得る深度分解画像に示される眼１０２の網膜との間の画素に基づき、距離又は近さを特定し得る。上述のように、一定のｚ深さを有する深度分解画像（ＯＣＴ画像など）において、画像内の特徴（例えば、ツール及び網膜）間の距離及び／又は近さは、一定距離に対応する画素に基づいて計算され得る。このような実施形態では、眼組織に対する手術ツールの近さは、画像化ビームを手術器具１４６へ能動的に導くことなく連続的に特定され得る。
【0069】
追跡ユニット１４４は、追加的に又は代替的に、種々の画像ベースの処理技術（例えば、マシンビジョンアルゴリズム又はコンピュータビジョンアルゴリズム、モーションベースの物体追跡アルゴリズム、領域ベースの物体追跡技術及び／又は特徴ベースの物体追跡）を使用して、深度分解画像（例えば、ＯＣＴ画像）を解析し、手術器具１４６と眼１０２の組織との間の距離を特定及び追跡し得る。例えば、追跡ユニット１４４は、特徴認識又は抽出技術（例えば、エッジ検出、コーナ検出、ブロブ検出、ブロブ抽出、リッジ検出、スケール不変特徴変換、動き検出、オプティカルフロー、閾値処理、テンプレートマッチング、ハフ変換等）を深度分解画像に適用して、深度画像化システムにより得られた画像データ内において遠位先端１４９及び眼１０２の網膜を検出又は分離し得る。追跡ユニット１４４は、眼１０２のリファレンス画像を取得及び記憶し得るとともに、手術処置中に得られた画像をリファレンス画像と比較して、手術器具１４６の遠位先端及び眼１０２の網膜の位置及び動き、並びに手術器具１４６の遠位先端と眼１０２の網膜との間の距離を特定し得る。
【0070】
追跡ユニット１４４は、インジケータ（例えば、数、形状、色、図若しくは記号、又は他のグラフィック要素）を生成してリアルタイムデータ投影ユニット１１６又はディスプレイ１３２により表示し、遠位先端１４９の位置、向き及び深さ、並びに網膜に対するその近さを特定し得る。例えば、追跡ユニット１４４は、インジケータ（例えば、ドット又は矢印）を生成することができ、インジケータを顕微鏡画像内の遠位先端１４９の位置に重ねることができ、それにより、遠位先端１４９の位置を、周囲組織に対する外科医の視野を妨げることなく強調表示する。ある実施形態では、追跡ユニット１４４は、画像１４８内の遠位先端１４９の特定された位置にインジケータをオーバーレイとして適用する。他の実施形態では、インジケータは、顕微鏡画像内の別の場所に配置されるオーバーレイであり得る。プロセッサ１５４は、リアルタイムで更新される動的インジケータを提供するために、遠位先端１４９の位置、向き及び深さ、近さを追跡し得る。したがって、インジケータは、遠位先端１４９と網膜との間の距離の正確なリアルタイム表示を提供することにより外科医を支援し得る。これは、ステレオ顕微鏡画像から正確に認識することが困難な場合がある。
【0071】
追跡ユニット１４４は、画像内におけるインジケータの位置を指定する信号を生成して伝達し、リアルタイムデータ投影ユニット１１６又はディスプレイ１３２により、インジケータをオーバーレイとして顕微鏡画像上に投影又は表示し得る。代わりに、追跡ユニット１４４は、インジケータオーバーレイを含む変更済み眼底画像を生成し、変更済み画像をリアルタイムデータ投影ユニット１１６又はディスプレイ１３２に伝達し、ユーザに提示し得る。
【0072】
一部の例では、インジケータの態様は、遠位先端１４９と網膜との間の距離を直接示し得る。例えば、インジケータは、距離を明示する数値（例えば、「２．０」は２．０ｍｍ、「１．０」は１．０ｍｍ及び「０．５」は０．５ｍｍ）であり得る。一部の例では、追跡ユニット１４４は、遠位先端１４９と眼１０２の網膜との間の距離を間接的に示す特定の特性（例えば、大きさ、形状、色、点滅速度、明るさ、透明度、量等）を有するインジケータを生成し得る。加えて、インジケータは、遠位先端１４９と眼１０２の網膜との間の距離が変化するにつれて変更又は調整され得る。ある実施形態では、視覚インジケータの特性（例えば、大きさ、色）は、段階的に且つ距離の変化に比例して変更され、遠位先端１４９の動きを直観的に伝える。
【0073】
ある実施形態では、追跡ユニット１４４は、遠位先端１４９と網膜との間の特定の距離に特定の色を関連付け得る。例えば、追跡ユニット１４４は、緑色のインジケータを２ｍｍ以上の距離に、黄色のインジケータを１ｍｍの距離に、赤色のインジケータを０．５ｍｍ未満の距離に関連付け得る。色スキームは、距離が２ｍｍから０．５ｍｍに減少するにつれて、インジケータが緑から黄色、赤色に中間調で移行するように次第に変化され得る。色の段階的変化は、距離の段階的変化に比例し得る。
【0074】
ある実施形態では、追跡ユニット１４４は、生成されたインジケータが、遠位先端１４９と眼１０２の網膜との間の距離が減少するにつれて徐々に大きくなる又は小さくなるように特定の距離に特定のインジケータサイズを関連付け得る。例えば、追跡ユニット１４４は、視覚インジケータを、網膜から離れるにつれて大きくなり、網膜に近づくにつれて小さくなる三角形のオーバーレイとして遠位先端１４９上に生成し得る。追跡ユニット１４４は、インジケータが網膜に近づくにつれてシステムオペレータから離れているという印象を与えるために、小さくなるサイズを遠位先端１４９の深くなる深さと関連付け得る。サイズの段階的変化は、距離の段階的変化に比例し得る。追跡ユニット１４４は、また、周囲組織に対する外科医の視野を妨げること又はインジケータが小さくなり過ぎて明確に見えなくなる可能性があることを避けるために、インジケータのサイズに上限及び下限を設定し得る。
【0075】
任意の数のインジケータ特性を、距離を示すように変更し得る。一部の例では、遠位先端１４９と眼１０２の網膜との間の距離が減少するにつれて、追跡ユニット１４４は、インジケータを、次第に明るくなるように、透明から不透明に移行するように、点滅を開始するように、増加する速度で点滅するように、及び／又は形状若しくは形態を変化させるように変更する。例えば、追跡ユニット１４４は、遠位先端１４９と網膜との間の距離が０．５ｍｍなどの予め設定した閾値未満であるときにインジケータを点滅させ得る。
【0076】
一部の例では、距離を示すためにインジケータ特性の組み合わせを用い得る。例えば、追跡ユニット１４４は、最小インジケータサイズを距離の閾値と関連付けることができ（インジケータのサイズが更に減少することを避けるため）、インジケータが異なる色になるように、より明るくなるように、及び／又は距離が閾値を超えると点滅するように変更し得る。
【0077】
大きさ、色、点滅速度、明るさ等などの段階的に調整可能な又は連続的に変化する特性により、距離の段階的変化に比例して特性を変更することを有利に可能にする。このようにインジケータの変化を距離に関連付けることで、処置中に容易に監視することができる距離及び距離の変化の直感的表示を外科医に有利に提供する。
【0078】
ある実施形態は、インジケータの姿勢又は位置を距離に基づいて変更し得る。例えば、ある実施形態は、遠位先端１４９と網膜との間の距離が閾値（例えば、２ｍｍ）を下回ったときのみに現れる視覚インジケータを提供し得る。別の例として、ある実施形態は、眼１０２の組織と手術器具１４６とが少なくとも閾値距離だけ離れたときに視覚インジケータを第１の位置（例えば、顕微鏡画像の外縁部近傍）に表示し得るとともに、閾値に合致したときに視覚インジケータを第２の位置に再配置し得る（例えば、遠位先端１４９の近傍）。
【0079】
ある実施形態では、インジケータは、追加的に又は代替的に、手術器具１４６の向き、例えば指し示す角度を示し得る。例えば、矢印を、手術器具１４６の指し示す方向を示すためのインジケータとして使用し得る。インジケータは、また、眼１０２の網膜の一領域のＯＣＴ画像などの画像、又は硝子体切除プローブの切除速度などの手術設定パラメータを含み得る。
【0080】
追跡ユニット１４４の種々の実施形態は、ユーザがインジケータの外観、特性及び挙動を設定することを可能にし得る。例えば、ユーザは、インジケータの特定のサイズ及び形状を設定し得るとともに、インジケータが距離を示すようにどのように変更されるかを設定し得る。追跡ユニット１４４のある実施形態は、視覚インジケータがいつ、どこで、及びどのように表示及び変更されるかを定めるカスタマイズされた設定に関するユーザ入カを受信するためのユーザインタフェースを含む。ある実施形態では、ユーザは、視覚インジケータがペダル、スイッチ、ソフトキー、コンソールボタン、音声コマンド又は他の入カ機構により表示されるかどうかを制御し得る。視覚インジケータは、また、タイマー、手術器具１４６の特定の動き、又は手術器具１４６及び／若しくは遠位先端１４９の姿勢若しくは位置に基づいて現れるように構成され得る。
【0081】
図３及び図４は、ある実施形態による視覚インジケータを示す。図３及び図４は、網膜１０３を含む眼１０２を左側に示す。手術器具１４６（ここでは硝子体切除プローブ）及び光源１４５が眼１０２の後部に挿入されている。図３及び図４は、接眼レンズ１０４（リアルタイムデータ投影ユニット１１６からの入カによる）及び／又はディスプレイ１３２を介してシステムオペレータに対して表示される対応する顕微鏡画像を右側に更に示す。顕微鏡画像は、眼底１０５と、手術器具１４６（マーカー１４７（図示せず）を含み得る）と、追跡ユニット１４４により生成されたインジケータ３００とを示す。図３及び図４の実施形態に示すように、インジケータ３００は、手術器具１４６の遠位先端１４９に重ねられたオーバーレイとして現れる。眼底１０５に対する外科医の視界を遮断しないように、インジケータ３００は、遠位先端１４９の全体に重ねられたオーバーレイとして現れ得る（インジケータのいずれの部分も、遠位先端１４９のエッジにより形成された境界の外部にないように）。ある実施形態によれば、インジケータ３００は、代わりに、遠位先端１４９を部分的に覆うか又は遠位先端１４９を覆うことなく、遠位先端１４９の近傍にあるインジケータとして現れ得る。手術器具１４６が眼１０２内を移動すると、追跡ユニット１４４は、遠位先端１４９を追跡し、インジケータ３００を遠位先端１４９の又は遠位先端１４９の近傍のオーバーレイとして維持する。加えて、インジケータ３００の特性は、段階的に変更され、（均一の縮尺でないが）遠位先端１４９と網膜１０３との間の距離の変化に比例するものとして示される。
【0082】
図３の実施形態では、インジケータ３００は、遠位先端１４９が網膜１０３に近づくにつれてより大きくなる。図３Ａでは、手術器具１４６の遠位先端１４９は、網膜１０３から比較的大きい距離だけ離れている。したがって、追跡ユニット１４４は、右側に示される顕微鏡画像内の遠位先端１４９に重なる比較的大きいインジケータ３００（ここでは三角形）を生成して表示する。図３Ｂでは、遠位先端１４９と網膜１０３との間の距離は減少しており、図３Ｃでは、更に一層減少している。遠位先端１４９が網膜１０３に近づくにつれて、追跡ユニット１４４は、インジケータ３００のサイズを減少させて、遠位先端１４９が網膜１０３に近づいている（及び／又は画像化ユニット又はシステムオペレータから遠ざかっている）ことを伝える。このように、視覚インジケータ３００のサイズは、遠位先端１４９と網膜１０３との間の距離の変化に比例して増加又は減少され得る。追跡ユニット１４４は、視覚インジケータ３００のサイズを小刻みに連続的に（又は頻繁に）調整することから、遠位先端１４９の深さ及びその網膜１０３からの距離の直感的なリアルタイム表示を外科医に提供し得る。したがって、この例では、視覚インジケータの特性（この例では、サイズ）が遠位先端１４９と網膜１０３との間の距離の変化に応じて変更される。この例は、インジケータ３００が、顕微鏡画像内の遠位先端１４９の動きを追跡するようにどのように変更され得るかを更に示す。すなわち、インジケータ３００は、遠位先端１４９が顕微鏡画像内を移動する際にもオーバーレイとして維持される。
【0083】
図４は、ある実施形態において、更なる特性及びインジケータがどのように使用され得るかを示す。図３と同様に、図４は、図４Ｂ及び図４Ｃにおいて遠位先端１４９が網膜１０３に近づくにつれてインジケータ３００（ここでは円）が比較的小さくなり、インジケータ３００が、遠位先端１４９が図の右側の顕微鏡画像内を移動する際にもオーバーレイとして維持されることを示す。
【0084】
加えて、図４のインジケータ３００は、追跡ユニット１４４により計算された距離に応じて透明度を変化させる。手術器具１４６の遠位先端１４９が網膜１０３から比較的遠い距離にある図４Ａでは、インジケータ３００は、ほぼ透明に見える。図４Ｂにおいて、距離が減少すると、インジケータ３００は半透明である。また、図４Ｃでは、インジケータ３００は、距離が所定の閾値距離（例えば、０．５ｍｍ）を下回ると不透明になり、点滅し始める。インジケータ３００は、図４Ａの低い明るさから図４Ｂの中間の明るさ、図４Ｃの最大の明るさに移行するように、距離が減少するにつれて更に明るく（又はより高輝度に）なり得る。したがって、遠位先端１４９の深さの直感的表示を提供するために、視覚インジケータ３００の種々の特性を遠位先端１４９と網膜１０３との間の距離の変化に比例して変化させ得る。
【0085】
図４の顕微鏡画像は、また、第２のインジケータ３０２を示す。第２のインジケータ３０２は、遠位先端１４９と網膜１０３との間の特定された距離の数値（ここではミリメートル）である。二次インジケータ３０２は、ここで、遠位先端１４９の近傍に配置されるオーバーレイとして示されるが、他の実施形態では顕微鏡図内の別の場所に配置され得る。
【0086】
図４は、第３のインジケータ３０４を更に示す。第３のインジケータ３０４は、顕微鏡図の外縁部の色付きリングを含む。この例では、インジケータ３０４は、特定された距離に応じて色を変化させ、それぞれ図４Ａ、図４Ｂ及び図４Ｃで緑色から黄色及び赤色に移行する。インジケータ３０４は、インジケータ３００と同様に、近接及び／又は距離を示すように特性を変化させ得る（例えば、明るさ、透明度、点滅速度等を変化させる）。
【0087】
上記の例は非限定的であり、本開示では、インジケータ３００は、任意の適切な形態を取り得るとともに、遠位先端１４９の姿勢、向き及び深さ、又はその網膜からの距離若しくは網膜に対する近さを示すために任意の適切な特性を有し得ると考えられることが理解されるべきである。
【0088】
図５は、ある実施形態による、手術器具１４６の深さ及び位置を決定し、追跡し、且つ示すための方法５００を示すフローチャートである。追跡ユニット１４４のある例は、方法５００のステップを実施するように構成されているプロセッサを含む（又はプロセッサによって実行されたときに、方法５００のステップを実施するように動作可能なソフトウェアをメモリに格納し得る）。
【0089】
ステップ５０２において、追跡ユニット１４４は眼底の画像を受信する。例えば、追跡ユニット１４４は、画像化ユニット１４２により取り込まれた１つ以上の写真又はビデオフレームを受信し得る。
【0090】
ステップ５０４において、追跡ユニット１４４は、受信された画像に対してコントラスト及び特徴強調処理を実施し得る。例えば、追跡ユニット１４４は、画像を赤−緑−青（ＲＧＢ）形式で受信し得る。追跡ユニット１４４は、ＲＧＢ形式の画像を色相−彩度−明度（ＨＳＶ）空間に変換し得る。
【0091】
ステップ５０６において、追跡ユニット１４４は、画像内のマーカー（例えば、マーカー１４７）の１次推定マスク（ｆｉｒｓｔ−ｏｒｄｅｒ ｅｓｔｉｍａｔｉｏｎ ｍａｓｋ）を決定し得る。例えば、追跡ユニット１４４は、マーカー１４７の画像を際立たせ、推定するために、マーカー１４７の所定の色に基づき、ＨＳＶ画像の色相チャンネル及び彩度チャンネルに基準を適用し、マーカー１４７を背景から分離し得る。
【0092】
ステップ５０８において、追跡ユニット１４４は、眼底画像からマーカー１４７の画像を抽出し、マーカーの位置を特定し得る。例えば、追跡ユニット１４４は、ブロブ検出法を用い、画像フレーム内でほぼ一定の性質を有する領域を探すことにより、画像１４８内におけるマーカー１４７の境界を検出し得る。したがって、追跡ユニット１４４は、マーカー１４７の境界を見つけ、これを画像フレームから抽出し、画像内におけるその位置を特定し得る。
【0093】
ステップ５１０において、追跡ユニット１４４は、画像フレームから抽出されたマーカー１４７の形状及び向きを解析し得るとともに、所定のパターン又は色（例えば、縞の位置及び方向）に基づいてマーカーの向きを特定し得る。例えば、マーカー１４７が縞を有する場合、追跡ユニット１４４は、マーカー１４７の向きを縞の向き及び方向に基づいて特定し得る。
【0094】
ステップ５１２において、追跡ユニット１４４は、画像フレーム内における手術器具１４６の遠位先端１４９の姿勢及び向きを特定し得る。特定の実施形態では、追跡ユニット１４４は、画像内における遠位先端１４９の位置及び向きをマーカー１４７の位置及び向きの特定に基づいて特定し得る（先のステップで記載した）。このような特定を容易にするために、マーカー１４７は、遠位先端１４９から所定の距離に配置され得るとともに、手術器具１４６の指し示す方向を示すパターン（例えば、ストリップ、縞又は矢印）を有し得る。したがって、マーカー１４７の位置及びパターンに基づき、追跡ユニット１４４は、遠位先端１４９の位置及び手術器具１４６の指し示す方向又は向きを特定し得る。
【0095】
ステップ５１４において、追跡ユニット１４４は、眼１０２の深度分解画像を生成する画像化システムから画像データを受信する。このような画像は、手術器具１４６を含み得（器具の外部の画像化プローブにより得られる場合）、又は手術器具１４６自体を使用して得られ得る（例えば、器具１４６の先端へ延びる１つ以上の光ファイバーを介して）。ある実施形態では、追跡ユニット１４４は、ＯＣＴシステム１１４から画像データを受信する。他の実施形態では、追跡ユニット１４４は、超音波画像化システム、マルチスペクトル画像化システム、コンピュータ体軸断層撮影（ＣＡＴ）走査システム、磁気共鳴画像（ＭＲＩ）システム、ポジトロン放出断層撮影（ＰＥＴ）画像化システム又は他の画像化システムなど、深度分解画像又は３次元画像データを提供する別のシステムから画像データを受信し得る。追跡ユニット１４４は、受信された画像データを解析し、遠位先端１４９及び眼１０２の網膜の深さ、並びに遠位先端１４９と眼１０２の網膜との間の距離又は近さを特定し得る。
【0096】
ステップ５１６において、追跡ユニット１４４は、受信された画像データを解析して、遠位先端１４９と眼１０２の網膜との深さ及び近さを特定する。追跡ユニット１４４は、ステップ５１４において受信された画像（又は画像に関連するか又は画像から抽出されたデータ）を処理し、手術器具１４６の一部分（例えば、遠位先端１４９）と眼１０２の組織（例えば、網膜）との間の距離を計算し得る。例えば、追跡ユニット１４４は、深度画像データを登録し、深度分解画像内において識別された特徴の座標を特定し得る。このような座標は、エッジ若しくはブロブ検出などのコンピュータビジョンアルゴリズム又はマシンビジョンアルゴリズムを使用してデジタル化され得、画像内の特徴間の距離を計算するために使用され得る。
【0097】
ある実施形態では、追跡ユニット１４４は、受信された深度画像の特徴に基づいて眼１０２の網膜と遠位先端１４９との間の距離又は近さを特定し得る。追跡ユニット１４４は、眼１０２の網膜と遠位先端１４９との間の距離又は近さを、画像内における眼１０２の網膜と遠位先端１４９との間の分離の程度に基づいて特定し得る。ある実施形態では、追跡ユニット１４４は、一定のｚ深度分解能を有し得るＯＣＴ画像内の、眼１０２の網膜と遠位先端１４９とを隔てる画素数に基づいて距離又は近さを特定し得る。ある実施形態では、追跡ユニット１４４は、画像のエッジ（又は遠位先端１４９に対応する他の特徴）と、ＯＣＴ画像内に示される眼１０２の網膜との間の画素に基づいて距離又は近さを特定し得る。
【0098】
ステップ５１８において、追跡ユニット１４４は、顕微鏡画像内の遠位先端１４９上にオーバーレイとして表示するためのインジケータを生成する。追跡ユニット１４４のある実施形態は、手術器具１４６の特定された位置、深さ及び向きに基づいて１つ以上の視覚インジケータを生成し得、手術のガイダンスのために顕微鏡画像にインジケータを重ね得る。例えば、ステップ５１２及びステップ５１６の特定に基づき、追跡ユニット１４４は、リアルタイムデータ投影ユニット１１６又はディスプレイ１３２により表示するためのインジケータを生成し、網膜などの特定の眼組織に対する遠位先端１４９の近接をシステムオペレータに通知し得る。上述のように、インジケータの特性は、遠位先端１４９と眼１０２の網膜との近接又は遠位先端１４９と眼１０２の網膜との間の距離を示し得る。追跡ユニット１４４は、画像１４８内の遠位先端１４９の特定された位置にインジケータをオーバーレイとして適用し得る。このように、インジケータは、遠位先端１４９が眼１０２の網膜に近づくとシステムオペレータに通知することができる。
【0099】
追跡ユニット１４４は、遠位先端１４９の位置及び向き、並びに遠位先端１４９と眼１０２の網膜との間の距離をリアルタイムで追跡するために、画像化ユニット１４２から受信された複数の眼底画像１４８のための方法５００を実施し得る。このため、リアルタイムデータ投影ユニット１１６及びディスプレイ１３２は、遠位先端１４９の位置及び動き、並びに眼１０２の網膜に対するその近さを追跡するために、生成されたインジケータを眼底のリアルタイムビデオ内にオーバーレイとして投影又は表示し得る。
【0100】
図６は、マーカー１４７の種々の例を示す。マーカー１４７は、手術器具１４６の遠位部１４３に巻き付けるように構成されたリング状のリボン形状を有し得る。マーカー１４７は、内部表面６０２及び外部表面６０４を有し得る。内部表面６０２は、接着剤を有し得、手術器具１４６の外面に接着又は結合するように構成され得る。遠位部１４３の外面は、リング状のリボン形状のマーカー１４７を収容するように構成された周囲溝を有し得る。このため、マーカー１４７は、周囲溝内に確実に嵌合し得る。外部表面６０４は、マーカー１４７を眼底画像内の他の要素から区別するように構成された色又はパターンを有し得る。
【0101】
手術器具１４６に１つ以上のマーカー１４７を使用し得る。マーカー１４７は、滅菌プラスチックなどの生体適合材料及び／又は合成材料で形成され得る。いくつかの実施形態では、マーカー１４７は、手術器具１４６の遠位部１４３の外面に刻まれた塗料の層であり得る。マーカー１４７は、互いに重なっていても離れていてもよい。マーカー１４７は、典型的な眼底画像内には出現しない緑色などの１つ以上の高対比色を有し得る。したがって、緑色マーカー１４７は、眼底画像内の他の要素から区別され得る。
【0102】
マーカー１４７は、様々な色、テクスチャ又は特殊なコントラスト特性を有し得る。マーカー１４７は、器具１４６の向き及び角度を識別し得るパターンを含み得る。例えば、図６に示すように、マーカー１４７ａは、無地の高対比色を有し得る。リング状のリボン形状のマーカー１４７ａが展開されると、マーカー１４７ａは、無地のリボンであり得る。別の例では、マーカー１４７ｂは、背景の眼底画像とマーカー１４７ｂとを区別し得るテクスチャパターンを有し得る。例示的なマーカー１４７ｃは、赤外線を反射するか又は発するように構成された赤外色を含み得る。種々のスペクトル吸収／放出を伴うマーカー１１４も使用し得る。
【0103】
マーカー１１４は、文字、数字、バーコード、パターン、記号又はピクチャを含み得る。例示的なマーカー１４７ｄは、文字を含み得る。図６に示すように、マーカー１４７ｄが器具１４６の遠位部１４３の周囲３６０度に巻き付くと想定すると、文字「Ａ」は、ゼロ度位置近辺に配置され得、文字「Ｅ」は、３６０度位置近辺に配置され得る。文字１５「Ｂ」、「Ｃ」及び「Ｄ」は、「Ａ」と「Ｅ」との間の各位置に配置され得る。したがって、文字の向きに基づき、マーカー１４７ｄの回転位置、及び間接的に手術器具１４６の回転位置が特定され得る。例示的なマーカー１４７ｅは、数字「１」〜「５」を含み得る。同様に、数字は、手術器具１４６の回転位置を示し得る。更に、文字又は数字の向きは、また、手術器具１４６の傾斜角を示し得る。例えば、数字又は文字は、数字又は文字の下部が遠位先端１４９の方を向くように遠位先端１４９に対して方向付けられ得る。したがって、数字又は文字の向きに基づき、遠位先端１４９の傾斜角が特定され得る。
【0104】
例示的なマーカー１４７ｆは、バーコード又は縞を含み得る。縞の方向は、手術器具１４６の傾斜角を示し得る。更に、縞の数は、マーカー１４７ｆの回転位置、及び間接的には手術器具１４６の回転位置を示すように変化し得る。マーカー１４７ｇは、様々なドットパターンを有する。ドットの数は、マーカー１４７ｆの回転位置を示し得、ドットの整列は、マーカー１４７ｆの傾斜角を示し得る。他の記号もマーカー１１４に使用し得る。例えば、回転位置を示すために、マーカー１１４ｈ及びマーカー１１４ｉの異なる回転位置に形状又は非文字記号などの様々な記号を用い得る。加えて、マーカー１１４ｊの回転位置及び傾斜位置を示すためにピクチャを用い得る。手術器具１４６の向き及び位置を示し得る他のパターン又は記号もマーカー１１４に使用し得る。
【0105】
図７Ａ〜図７Ｂは、本開示のある実施形態による、切り替え可能な単一チャネルデータ注入部を有する眼科手術用顕微鏡１００の実施形態を図示している。図７Ａ〜図７Ｂは、簡略化のために、図１に示されている眼科手術用顕微鏡１００のある部品を示していないが、本開示では、それらの部品が含まれることと、図１に関して上で説明したのと実質的に同じ様式でそれら部品が機能することとが考慮される。
【0106】
図７Ａ〜図７Ｂに示されている実施形態において、眼科手術用顕微鏡１００は、単一チャネルデータ注入が可能なリアルタイムデータ投影ユニット１１６を含む（すなわち、リアルタイムデータ投影ユニット１１６により注入された画像は、図１と同様に、２つの接眼レンズ１０４の一方のみを通して観察可能である）。しかしながら、図１に示されている実施形態と異なり、図７Ａ〜図７Ｂに示されている実施形態は、データが注入されるチャネル（すなわち、接眼レンズ１０４）を変更する能力を提供する。より詳細には、図７Ａは、データが注入されるチャネルを変更するためにリアルタイムデータ投影ユニット１１６及びビームスプリッタ１３０の一方又は両方が左右に平行移動できる実施形態を示しており、その一方で、図７Ｂは、データが注入されるチャネルを変更するためにリアルタイムデータ投影ユニット１１６とビームスプリッタ１３０との組立体が手術用顕微鏡１００の中心点を中心に回転可能である実施形態を示している。結果として、外科医には、注入されたデータを観察するためにいずれの眼が使用されるかを選択する融通性が与えられ得る。
【0107】
図８は、本開示のある実施形態による、２チャネルデータ注入部を有する眼科手術用顕微鏡１００の実施形態を図示している。図８は、簡略化のために、図１に示されている眼科手術用顕微鏡１００のある部品を示していないが、本開示では、それらの部品が含まれることと、図１に関して上で説明したのと実質的に同じ様式でそれら部品が機能することとが考慮される。
【0108】
図８に示されている実施形態において、手術用顕微鏡１００は、単一のリアルタイムデータ投影ユニット１１６と、顕微鏡の対応するチャネルに各々関連付けられた２つのビームスプリッタ１３０（１３０ａ及び１３０ｂ）とを含む。ビームスプリッタ１３０ａ及び１３０ｂは、リアルタイムデータ投影ユニット１１６により投影されたデータが複製され、両方の接眼レンズ１０４を介して観察可能であるように構成され得る。ビームスプリッタ１３０ａ及び１３０ｂの反射率は、各接眼レンズ１０４を通して観察可能な画像の明るさが同じになるように選択され得る。その上、ビームスプリッタは、外科医の視野内でずらされたものを変更するために移動可能であり得る。代替的に、外科医の視野内での移動は、リアルタイムデータ投影ユニット１１６により投影された画像の光路にビーム偏向装置（例えば、音響光学偏向器）を配置することにより達成され得る。
【0109】
図９は、本開示のある実施形態による、２チャネルデータ注入部を有する眼科手術用顕微鏡１００の代替的な実施形態を図示している。図９は、簡略化のために、図１に示されている眼科手術用顕微鏡１００のある部品を示していないが、本開示では、それらの部品が含まれることと、図１に関して上で説明したのと実質的に同じ様式でそれら部品が機能することとが考慮される。
【0110】
図９の実施形態において、２つのリアルタイムデータ投影ユニット１１６（１１６ａ及び１１６ｂ）が含まれる。各リアルタイムデータ投影ユニットは画像を投影し、各リアルタイムデータ投影ユニットは、対応するビームスプリッタ１３０により手術用顕微鏡の光路に結合される。各リアルタイムデータ投影ユニットは固有の画像を注入できるため、図４の実施形態は３Ｄ知覚を容易にし得る。より詳細には、各リアルタイムデータ投影ユニット１１６は、接眼レンズ１０４を通して観察されたときに３Ｄ知覚を提供するために、同じ画像であるが僅かに異なる視点の画像を投影し得る。
【0111】
図１０Ａ〜図１０Ｃは、本開示のある実施形態による、３Ｄ知覚を伴う２チャネルデータ注入部を有する眼科手術用顕微鏡１００の実施形態を図示している。図１０Ａ〜図１０Ｃは、簡略化のために、図１に示されている眼科手術用顕微鏡１００のある部品を示していないが、本開示では、それらの部品が含まれることと、図１に関して上で説明したのと実質的に同じ様式でそれら部品が機能することとが考慮される。
【0112】
図１０Ａ〜図１０Ｃに示されている実施形態において、３Ｄ知覚は、（図４に関して上で説明した実施形態と同様の）２つではなく１つのリアルタイムデータ投影ユニット１１６を使用して容易にされる。図１０Ａに示されている実施形態において、単一のリアルタイムデータ投影ユニット１１６は、（上で説明したように）３Ｄ知覚を提供するために僅かに異なり得る横並びの画像を投影する。投影された横並びの画像は、ビームスプリッタ５００により分割され、ビームスプリッタ１３０ａ及び１３０ｂにより各接眼レンズ１０４に投影され得る。ある実施形態において、フィルタ５０２ａ及び５０２ｂはまた、３Ｄ知覚を更に容易にするために投影された画像の光路に配置され得る。
【0113】
図１０Ｂに示されている実施形態において、リアルタイムデータ投影ユニット１１６は、色分けされた画像（アナグリフにおける赤色及びシアンで色分けされた画像など）を投影し得、且つその色分けされた画像は、手術用顕微鏡１００の２つのチャネルに向けて導かれるようにビームスプリッタ５０４ａ及び５０４ｂを通過し得る。フィルタ５０６ａ及び５０６ｂは、色分けされた情報を分離するために各チャネルに対する画像の光路に配置され得る。例えば、フィルタ５０６ａ（赤色フィルタなど）は左側チャネルに挿入され得、且つフィルタ５０６ｂ（シアンフィルタなど）は、投影された画像における赤色／シアン情報を分離するために右側チャネルに追加され得る。投影された画像を適切に校正することにより、外科医が余計な眼鏡又は光学装置を装着する必要なしに３Ｄ知覚が提供され得る。
【0114】
図１０Ｃに示されている実施形態において、リアルタイムデータ表示ユニット１１６は、偏光ディスプレイ／プロジェクタ（偏光変調プロジェクタなど）であり得、且つ偏光符号化画像を投影し得る。投影された偏光符号化画像は、２つのチャネル間で分割されるように偏光ビームスプリッタ５０８ａ及び５０８ｂを通過し得る。例えば、ｐ偏光画像が一方の眼へと分割され得（５１０ａとして示される）、その一方でｓ偏光画像が他方の眼へと分割され得る（５１０ｂとして示される）。追加的又は代替的に、波長板５１２ａ及び５１２ｂを２つのチャネルに挿入することにより、左円偏光画像が一方の眼へと分割され得、その一方で右円偏光画像が他方の眼へと分割され得る。投影された画像を適切に校正することにより、外科医が余計な眼鏡又は光学装置を装着する必要なしに３Ｄ知覚が提供され得る。
【0115】
上に開示した種々の特徴及び機能、他の特徴及び機能、又はこれらの代替物が、望ましくは多くの他の異なるシステム又は用途に組み合わされ得ることが認識されるであろう。本明細書における種々の現在予期できない又は予想できない代替形態、修正形態、変更形態、又は改良形態が後に当業者によってなされ得、これらの代替形態、変更形態及び改良形態も添付の特許請求の範囲に包含されるように意図されていることも認識されるであろう。