特許 7198950 ロボット脳外科手術用の光コヒーレンストモグラフィ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-21

(45)【発行日】2023-01-04

(54)【発明の名称】ロボット脳外科手術用の光コヒーレンストモグラフィ

(51)【国際特許分類】

   A61B 34/20 20160101AFI20221222BHJP

   A61B 10/00 20060101ALI20221222BHJP

【ＦＩ】

A61B34/20

A61B10/00 E

【請求項の数】 20

(21)【出願番号】P 2021576739

(86)(22)【出願日】2020-07-07

(65)【公表番号】

(43)【公表日】2022-10-17

(86)【国際出願番号】 US2020041056

(87)【国際公開番号】W WO2021011239

(87)【国際公開日】2021-01-21

【審査請求日】2022-02-15

(31)【優先権主張番号】62/873,705

(32)【優先日】2019-07-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521109589

【氏名又は名称】ニューラリンク コーポレーション

【氏名又は名称原語表記】ＮＥＵＲＡＬＩＮＫ ＣＯＲＰ．

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100205833

【弁理士】

【氏名又は名称】宮谷 昂佑

(72)【発明者】

【氏名】ギルバート アイ モンタギュー

【審査官】鈴木 敏史

(56)【参考文献】

【文献】特開２０１８－８９０５５（ＪＰ，Ａ）

【文献】特開２０１７－９９７５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／２６７６０３（ＵＳ，Ａ１）

【文献】Matteo De Silvestri，Real-Time Haptic Guidance System for Reinal Surgery Based on Intraoperative Optical Choherence Tomography，米国，University of Illinois，2018年08月16日，https://indigo.uic.edu/articles/thesis/Real-time_Haptic_Guidance_System_for_Retinal_Surgery_Based_on_Intraoperative_Optical_Coherence_Tomography/10877258

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ １０／００

(57)【特許請求の範囲】

【請求項1】

ロボット手術をガイドする方法であって、
生体組織上の光コヒーレンストモグラフィ（ＯＣＴ）プローブから得られた３次元（３Ｄ）空間の、それぞれが強度値の２次元配列を含む一連の断面スライスを受け取るステップと、
各スライスの前記強度値を空間的に平滑化して対応するぼかしスライスを生成するステップと、
各ぼかしスライスを２値化して対応するセグメンテーションスライスを作成するステップと、
各セグメンテーションスライスの連結成分解析を実行して前記セグメンテーションスライス上のそれぞれが連続性のある特徴を含むブロブを識別するステップと、
少なくとも前記ブロブのサイズに基づき各セグメンテーションスライス上のブロブをフィルタリングするステップと、
各セグメンテーションスライス上の前記フィルタリングされたブロブのエッジ検出を行って対応するエッジ検出スライスを作成するステップと、
前記エッジ検出スライスで選択的メディアンフィルタを呼び出して前記生体組織の表面の深度マップを作成するステップと、
前記深度マップに基づきロボットエンドエフェクタをガイドするステップと
を含む方法。

【請求項2】

請求項１に記載の方法において、
最大のブロブが幅の５０％以上延びないセグメンテーションスライスを考慮対象としないステップ
をさらに含む方法。

【請求項3】

請求項２に記載の方法において、前記最大のブロブは、前記セグメンテーションスライスの幅の７５％以上延びない方法。

【請求項4】

請求項１に記載の方法において、前記フィルタリングするステップは、前記生体組織から突出する電線に対応するブロブを拒否する方法。

【請求項5】

請求項１に記載の方法において、前記生体組織は、軟膜－クモ膜複合体で覆われた大脳皮質である方法。

【請求項6】

請求項１に記載の方法において、前記空間的に平滑化するステップは、ガウスぼかし又はメディアンぼかしを含む方法。

【請求項7】

請求項１に記載の方法において、前記２値化するステップは、大津の手法を用いて閾値を動的に選択してクラス内輝度分散を最小化することを含む方法。

【請求項8】

請求項１に記載の方法において、
より大きなＯＣＴスライスセットから一連のスライスを選択するステップ
をさらに含む方法。

【請求項9】

請求項１に記載の方法において、前記エッジ検出を行うステップにより、各エッジ検出スライスに２つ以上の連続性のあるエッジを得る方法。

【請求項10】

請求項１に記載の方法において、前記選択的メディアンフィルタは、前記生体組織の表面の複数の深度マップを作成し、前記方法は、
前記ロボットエンドエフェクタをガイドするために上面深度マップを選択するステップ
をさらに含む方法。

【請求項11】

ロボット手術をガイドする情報を具現する非一時的な機械可読媒体であって、前記情報は、
生体組織上の光コヒーレンストモグラフィ（ＯＣＴ）プローブから得られた３次元（３Ｄ）空間の、それぞれが強度値の２次元配列を含む一連の断面スライスを受け取るステップと、
各スライスの前記強度値を空間的に平滑化して対応するぼかしスライスを生成するステップと、
各ぼかしスライスを２値化して対応するセグメンテーションスライスを作成するステップと、
各セグメンテーションスライスの連結成分解析を実行して前記セグメンテーションスライス上のそれぞれが連続性のある特徴を含むブロブを識別するステップと、
少なくとも前記ブロブのサイズに基づき各セグメンテーションスライス上のブロブをフィルタリングするステップと、
各セグメンテーションスライス上の前記フィルタリングされたブロブのエッジ検出を行って対応するエッジ検出スライスを作成するステップと、
前記エッジ検出スライスで選択的メディアンフィルタを呼び出して前記生体組織の表面の深度マップを作成するステップと、
前記深度マップに基づきロボットエンドエフェクタをガイドするステップと
を含む動作を１つ又は複数の機械に実行させる命令を示す非一時的な機械可読媒体。

【請求項12】

請求項１１に記載の機械可読媒体において、
最大のブロブが幅の５０％以上延びないセグメンテーションスライスを考慮対象としないステップ
をさらに含む機械可読媒体。

【請求項13】

請求項１２に記載の機械可読媒体において、前記最大のブロブは、前記セグメンテーションスライスの幅の７５％以上延びない機械可読媒体。

【請求項14】

請求項１１に記載の機械可読媒体において、前記空間的に平滑化するステップは、ガウスぼかし又はメディアンぼかしを含む機械可読媒体。

【請求項15】

請求項１１に記載の機械可読媒体において、前記２値化するステップは、大津の手法を用いて閾値を動的に選択してクラス内輝度分散を最小化することを含む機械可読媒体。

【請求項16】

ロボット手術をガイドするためのプログラムコードを実行するコンピュータシステムであって、
メモリと、
該メモリと動作結合された少なくとも１つのプロセッサであり、
生体組織上の光コヒーレンストモグラフィ（ＯＣＴ）プローブから得られた３次元（３Ｄ）空間の、それぞれが強度値の２次元配列を含む一連の断面スライスを受け取り、
各スライスの前記強度値を空間的に平滑化して対応するぼかしスライスを生成し、
各ぼかしスライスを２値化して対応するセグメンテーションスライスを作成し、
各セグメンテーションスライスの連結成分解析を実行して前記セグメンテーションスライス上のそれぞれが連続性のある特徴を含むブロブを識別し、
少なくとも前記ブロブのサイズに基づき各セグメンテーションスライス上のブロブをフィルタリングし、
各セグメンテーションスライス上の前記フィルタリングされたブロブのエッジ検出を行って対応するエッジ検出スライスを作成し、
前記エッジ検出スライスで選択的メディアンフィルタを呼び出して前記生体組織の表面の深度マップを作成し、
前記深度マップに基づきロボットエンドエフェクタをガイドする
命令を含む前記メモリからのプログラムコードを実行する少なくとも１つのプロセッサと
を備えたコンピュータシステム。

【請求項17】

請求項１６に記載のコンピュータシステムにおいて、
最大のブロブが幅の５０％以上延びないセグメンテーションスライスを考慮対象としないこと
をさらに含むコンピュータシステム。

【請求項18】

請求項１７に記載のコンピュータシステムにおいて、前記最大のブロブは、前記セグメンテーションスライスの幅の７５％以上延びないコンピュータシステム。

【請求項19】

請求項１６に記載のコンピュータシステムにおいて、前記空間的に平滑化することは、ガウスぼかし又はメディアンぼかしを含むコンピュータシステム。

【請求項20】

請求項１６に記載のコンピュータシステムにおいて、前記２値化することは、大津の手法を用いて閾値を動的に選択してクラス内輝度分散を最小化することを含むコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、２０１９年７月１２日に出願された米国特許出願第６２／８７３，７０５号の優先権を主張し、あらゆる目的で上記出願の全体を参照により本明細書に援用する。

【0002】

［連邦政府資金による研究開発下で行われた発明の権利に関する記載］
該当なし。

【0003】

本願は、概して、ロボット手術システムをガイドするためのセンサとしてのその使用を含む、光コヒーレンストモグラフィ（ＯＣＴ）に関する。詳細には、本願は、ロボットによる電極挿入のために濡れた脳表面又は他の組織表面の深度マップを取得する際のリアルタイム使用にＯＣＴを適合させる技術に関する。

【背景技術】

【0004】

脳等の生体膜に埋め込むことができる装置がある。場合によっては、埋込み型デバイスは、ニューロンの刺激及び／又は神経シグナルの記録のための電極等の導管を有する生体適合性基材を有する。

【0005】

脳インプラントは、インプラント及び各接続点の全てを脳に確実に挿入し取り付けるための細かな制御を必要とする。脳インプラントの外科的埋込みには、血管系を避けると共に脳への物理的及び電気的接続を無事に行うことを含むがこれに限定されない、いくつかの課題がある。

【0006】

２０１６年８月１１日に公開された特許文献１は、被験者の脳に埋め込んでさまざまな目的で用いることができる埋込み型デバイスを開示している。この埋込み型デバイスは、記録又は光、電流、電圧、又は薬剤等の刺激の送出ができる導管又は電極を有し得る。

【0007】

特定の実施態様において、特に近代医学の進歩と共に、手術ロボットは埋込み手技の補助具になりつつある。脳へのアクセスが限られていることや脳の複雑な構造を考えると、手術ロボットのコンピュータビジョンは、脳のさまざまな層を区別する際及び手術用具、インプラントの一部、又は手術ロボット自体によることさえあり得る影を判別する際に問題となる。

【0008】

電極を利用する脳インプラントでは、血流、心拍数、呼吸、及び自然な脳の動き等の背景の動きへの適応の点で、特定の精度での埋込みが空間的に困難になる。追加されるニューロンが増えるほど、これは適切な埋込み深さの区別と同様に、脳の表面上の流体膜の存在によりさらに困難になり得る。

【先行技術文献】

【特許文献】

【0009】

【文献】国際公開第２０１６／１２６３４０号

【発明の概要】

【発明が解決しようとする課題】

【0010】

脳等の繊細な臓器に関する手術において、手術ロボットの精度の強化が望ましい。より精密なリアルタイムの脳電極埋込み方法を埋込み型デバイスに結び付けることが、当該技術分野で必要とされている。

【課題を解決するための手段】

【0011】

概して、ロボット手術システムは、光コヒーレンストモグラフィ（ＯＣＴ）を用いることで、ロボットアセンブリを用いた生体組織（例えば、脳等の神経組織）への生体適合性電極の埋込みを容易にする。リアルタイムＯＣＴは、埋込み型デバイスに係合し、標的埋込み部位を識別し、且つ挿入を確認するコンポーネントを含む、ロボット手術システムのガイドを助ける。このシステムは、ロボット操作より、挿入針の係合要素に電極を取り付ける。ＯＣＴは、脳組織の最初の数百ミクロンを適当な波長の光で照明し、脳血管系及び他の特徴の２次元スライスを取得し、脳組織の既知の成層に基づきスライスを処理して深度マップを作成し、手術ロボットがロボットアセンブリにより電極を埋め込むことができるように深度マップを提示する。

【0012】

生体適合性電極の埋込みを容易にして手術中の精度及び確度を最善に確保するためにＯＣＴを利用するにあたり、ＯＣＴは、脳の動的環境に適応しなければならない。結果として、フィルタリング及び埋込み部位への正確なガイドの確保が、手術の成功に重要である。

【0013】

ロボット手術をガイドする方法は、生体組織上の光コヒーレンストモグラフィ（ＯＣＴ）プローブから得られた一連の断面３次元（３Ｄ）空間を受け取るステップであり、各スライスが強度値の２次元配列を含むステップから始まり得る。次に、各スライスの強度値を空間的に平滑化して、対応するぼかしスライスを生成することができる。次に、ぼかしスライスを２値化して、対応するセグメンテーションスライスを作成することができる。次に、各セグメンテーションスライスで連結成分解析を実行して、各セグメンテーションスライス上のブロブを識別することができる。次に、ブロブを少なくともブロブのサイズに基づきフィルタリングすることができる。次に、フィルタリングされた（フィルタリング済みの）ブロブにエッジ検出を実行して、対応するエッジ検出スライスを作成することができる。次に、選択的メディアンフィルタをエッジ検出スライスで呼び出して、生体組織の表面の深度マップを作成することができる。次に、深度マップに基づきロボットエンドエフェクタをガイドすることができる。

【0014】

いくつかの実施形態において、本方法は、最大のブロブが幅の５０％以上延びないセグメンテーションスライスを考慮対象としないステップも含み得る。いくつかの実施形態において、本方法は、ブロブが幅の７５％以上延びないセグメンテーションスライスを除去し得る。

【0015】

いくつかの実施形態において、ブロブのフィルタリングにより、生体組織から突出する電線に対応するブロブが拒否され得る。

【0016】

いくつかの実施形態において、生体組織は、軟膜－クモ膜複合体で覆われた大脳皮質であり得る。

【0017】

いくつかの実施形態において、空間的な平滑化は、ガウスぼかし又はメディアンぼかしを含み得る。

【0018】

いくつかの実施形態において、２値化は、大津の手法を用いて閾値を動的に選択してクラス内輝度分散を最小化することを含み得る。

【0019】

いくつかの実施形態において、本方法は、より大きなＯＣＴスライスセットから一連のスライスの選択を含み得る。

【0020】

いくつかの実施形態において、エッジ検出により、各エッジ検出スライスに２つ以上の連続性のあるエッジが得られ得る。

【0021】

いくつかの実施形態において、選択的メディアンフィルタは、組織の表面の複数の深度マップを作成することができる。いくつかの実施形態において、本方法は、上面深度マップの選択を含み得る。

【0022】

いくつかの実施形態において、非一時的なコンピュータ可読媒体が、プロセッサにより実行されるとプロセッサにロボット手術をガイドする上記方法のいずれかを実行させ且つ／又はシステムのコンポーネントに上記方法のいずれかを実行するよう命令させるコンピュータ実行可能命令を記憶することができる。
い

【図面の簡単な説明】

【0023】

【図1A】実施形態よる、光コヒーレンストモグラフィ（ＯＣＴ）を用いるロボット手術システムである。

【図1B】図１Ａのシステムの拡大底面図を示す。

【図2A】実施形態による、脳の一部の俯瞰画像である。

【図2B】図２Ａの脳の表面形状を示す３Ｄ画像である。

【図3】一実施形態に従って頭蓋骨の一部を除去した頭部の断面である。

【図4】実施形態による、光コヒーレンストモグラフィ（ＯＣＴ）により撮影された脳からの強度値の２次元配列のスライスのスタックである。

【図5】図４のスライスの１つである。

【図6】一実施形態に従ってぼかしフィルタをかけた図４のスライスである。

【図7】一実施形態による、図６のぼかしスライスの識別されたブロブを含むセグメンテーションスライスである。

【図8】一実施形態による、図７のセグメンテーションスライスのフィルタリングされたブロブを含むセグメンテーションスライスである。

【図9】一実施形態による、図８のセグメンテーションスライスに基づくエッジ検出スライスである。

【図10】一実施形態による、図９のエッジ検出スライスから作成された生体組織の表面その他の深度マップである。

【図11】一実施形態による、図１０の深度マップの３次元描画である。

【図12A】一実施形態による、標的組織代用物質への電極の埋込み前を示す。

【図12B】図１２Ａの手術ロボットエンドエフェクタの下降を示す。

【図12C】図１２Ａの標的組織代用物質への電極の挿入を示す。

【図12D】図１２Ａの標的組織代用物質に残った最終糸状電極を示す。

【図13】一実施形態による、脳組織に埋め込まれた多くの電極の例を示す。

【図14】実施形態による、単一糸の場合の強度値を示すＯＣＴスライスを示す。

【図15】実施形態による、複数糸の場合の強度値を示すＯＣＴスライスを示す。

【図16】実施形態による、血管系、脈管、及び撮像時の他のアーチファクトを示すＯＣＴスライスを示す。

【図17】実施形態による、光コヒーレンストモグラフィを用いてロボット手術をガイドする方法である。

【図18A】実施形態による、光コヒーレンストモグラフィを用いてコンピュータビジョンによりガイドされるロボット手術用の例示的なコンピューティングシステムを示す。

【図18B】実施形態による、光コヒーレンストモグラフィを用いてコンピュータビジョンによりガイドされるロボット手術用のコンピューティングシステムの例示的なコンポーネントを示す。

【発明を実施するための形態】

【0024】

光コヒーレンストモグラフィ（ＯＣＴ）は、手術用のロボットアームのリアルタイム制御に用いることができる。具体的には、ＯＣＴは、ＯＣＴ用の光に対して約１００μｍ（ミクロン）の深さまで透明又は半透明である脳の最外層のどこに血管系があるかを求めるのに好都合である。さらに、ＯＣＴは、視野を不明瞭にする血液又は他の流体を克服する。

【0025】

検眼医が用いる市販のＯＣＴ可視化システムは、概してリアルタイム制御には遅すぎる。例えば、これは患者の眼の一部を走査し表示するのに数秒を要する。数秒単位の更新は、鎮静下の被験者であってもリアルタイムのロボット手術には遅すぎる。

【0026】

髄膜の特定の層及び特徴のＯＣＴデータへの現れ方により、これらの特徴を用いてそれらの特徴の判定を加速し且つロボットガイド式の針又は他のエンドエフェクタをガイドすることができる。

【0027】

システム概要
図１Ａは、実施形態による、電極デバイスのロボット外科埋込み用の例示的なシステム１００を示す。図１Ｂは、実施形態による、電極のロボット外科埋込み用の例示的なシステム１００の拡大底面図を示す。いくつかの実施形態において、システム１００全体がロボットに関連し得るものであり、例えば単一のロボットがシステム１００の全てのコンポーネントと一体化され得る。いくつかの実施形態において、システム１００のいくつかのサブシステムを組み合わせることができ、例えば、単一のロボットが、デバイス係合サブシステム１０４の機能も果たすことができるインサータヘッド１０２を含むことができ、本開示により限定されない。

【0028】

この例では、システム１００は、インサータヘッド１０２及びデバイス係合サブシステム１０４を含む。デバイス係合サブシステム１０４は、埋込み用の電極に係合することができ、インサータヘッド１０２は、後述するように、神経組織への電極の埋込み中にターゲティング及び／又は挿入確認機能を果たすことができる。インサータヘッド１０２は、ターゲティング及び／又は挿入確認サブシステムとも称する場合があり、デバイス係合サブシステム１０４は、電極ステージとも称する場合がある。いくつかの実施形態において、インサータヘッド１０２及びデバイス係合サブシステム１０４の機能を単一の装置により代わりに果たすことができる。例えば、いくつかの実施形態において、デバイス係合サブシステム１０４の機能がインサータヘッド１０２のコンポーネントにより果たされ得る。システム１００は、超音波洗浄器１０６をさらに含み得る。

【0029】

システム１００及び／又はサブシステム１０４は、電極デバイスを照明するよう構成された光源を収容することができ、システム１００及び／又はサブシステム１０２は、術野を照明するよう構成された光源を収容することができる。電極デバイス又は挿入針を照明する光源は、電極デバイス又は針に関連する材料に基づき選択された波長の光を発生させることができ、術野を照明する光源は、標的組織を撮像するために選択された波長の光を発生させることができる。特に、システム１００は、それぞれが４０５ｎｍ、５２５ｎｍ及び６５０ｎｍ又は白色光で独立して照明可能な複数の独立した光モジュールを収容することができる。例えば、埋込み型電極デバイスは、ポリイミドでできた生体適合性基材を含み、光源からの光の波長は、３９０ｎｍ～４２５ｎｍ（例えば、４０５ｎｍ又は３９５ｎｍ）であり得る。一実施形態において、光源は、レーザ及び／又は発光ダイオード（ＬＥＤ）を含み得る。一実施形態において、埋込み型電極デバイスは、ポリイミド、ポリアミド、及び／又は別の芳香族剛直鎖ポリマー材料、高分子材料、又は他の材料でできた生体適合性基材を含むことができ、これは本開示により限定されない。

【0030】

システム１００は、電極デバイス及び挿入針のデジタル写真等の画像を得るよう構成されたカメラと、例えば大脳皮質等の標的神経組織の画像を得るよう構成されたカメラとを収容することができる。別の例では、画像は、ロボット外科埋込みに関連する任意の対象の画像を含むことができる。通常の実施形態において、カメラは、相対角度（例えば、実質的に４５°に等しい相対角度又は他の何等かの角度）で配置された２つのカメラを含むことができる。種々の実施形態において、システム１００は、付加的なカメラ、又はビデオカメラ、マイクロホン、化学センサ、温度センサ、時間センサ、及び力又は圧力センサ等の他のセンサを収容することができ、これは本開示により限定されない。

【0031】

光源は、点灯状態と消灯状態との間で且つ／又は異なる波長の光の間で循環又は明滅させることができる１つ又は複数の光源を含み得るので、カメラは、術野を異なる視点又は側面で撮像することができる。一実施形態において、カメラは、弱い蛍光等に対するその感度を高めるために冷却することができる。一実施形態において、カメラの１つ又は複数を顕微鏡に組み込んでもよい。実施形態において、光源は、光コヒーレンストモグラフィで用いられるような干渉法に適し得る。

【0032】

光源が光コヒーレンストモグラフィで用いられるような干渉法に適している実施形態では、センサを干渉法に用いることができる。センサは、例えば３０ｇＢｉｔ／ｓ程度でデータを取得及び送信し得る。

【0033】

システム１００は、コンピュータビジョンヒューリスティックを実行してカメラにより得られた画像を処理するよう構成された、以下の図１８Ａの例におけるコンピューティングシステム１８００等の処理ユニットを含むことができる。コンピューティングシステムは、術野及び／又は電極デバイス及び針の１つ又は複数の部分を撮像するよう構成された複数のカメラに通信可能に結合され得る。特に、コンピューティングシステムは、電極デバイスの場所及び／又は向きを求めるためにカメラからの画像にコンピュータビジョン技法を適用することができる。一実施形態において、コンピューティングシステムは、挿入針及び埋込みの標的組織の場所及び／又は向きを求めることができる。実施形態において、処理ユニットは、例えば光コヒーレンストモグラフィデータから取得された表面データを処理及び抽出するのに適し得る。コンピューティングシステムは、続いてそのデータを処理することができる。例えば、コンピューティングシステムは、カメラからの画像に基づき、標的外科組織の輪郭を求めることができる。種々の実施形態において、処理ユニットは、１つ又は複数のプロセッサ、１つ又は複数の処理コア、以下の図１８Ａの例におけるコンピューティングシステム１８００等の１つ又は複数のコンピューティングシステム、１つ又は複数のＧＰＵ、又はそれらの組合せを含むことができ、これは本開示により限定されない。

【0034】

システム１００は、電極デバイスを標的生体組織に外科的に埋め込むよう構成されたロボットアセンブリ等の１つ又は複数のロボットアセンブリを収容することができる。ロボットアセンブリは、コンピューティングシステムにより求められた電極デバイス、挿入針、及び／又は標的組織の三角測量で求めた場所に基づき、以下の図１８Ａの例におけるコンピューティングシステム１８００等の処理ユニットによりガイドされ得る。一実施形態において、システム１００はさらに、挿入針の係合要素を電極デバイスの相互係合要素に取り付けるよう構成された付加的なロボットアセンブリを収容することができる。一実施形態において、電極デバイスの外科埋込み時に、ロボットアセンブリは、電極デバイスに取り付けられた挿入針を外科的に埋め込むことができる。ロボットアセンブリは、カメラからの画像に基づきさらにガイドされることができる。一実施形態において、システム１００は、音波、超音波、又は圧力アクチュエータ等の他のアクチュエータを収容することができるか、又はメス等の他の器具をガイドすることができ、これは本開示により限定されない。

【0035】

いくつかの実施形態において、システム１００は、付加的なカメラを含むことができ、これは本開示により限定されない。例えば、システム１００は、標的組織部位をマッピングするために、ロボットアセンブリのヘッドに位置付けられた別個のカメラシステムを用いることができる。いくつかの実施形態において、このロボットアセンブリは、挿入針を担持するようにも構成され得る。別個のカメラシステムは、１つ又は複数の軸上に可動に位置することができる。一実施形態において、システムは、軸に沿ってこのロボットアセンブリを引き下げて、カメラシステムの焦点が脳組織等の関心の標的組織部位の下になるようにする。ロボットアセンブリは、標的組織を撮像するために、軸に沿って上昇し且つ／又はカメラシステムを上方に走査させることができる。

【0036】

本開示の通常の実施形態において、ロボット手術システム１００は、生体組織の表面（例えば皮質）の下に貫入することができる、貫入深さを改善した電極を含む埋込み型デバイスを埋め込むことができる。電極の例として、「電極設計及び作製（Electrode Design and Fabrication）」と題する米国特許出願公開第２０２０／００８５３７５号に記載のものを挙げることができ、当該出願を参照により本明細書に援用する。本開示のロボットシステムは、ピルボックス、カートリッジ、及び／又は「カートリッジを使用した装置埋め込み（Device Implantation Using a Cartridge）」と題する米国特許出願公開第２０２０／００８６１１１号に記載のもの等のピルボックス－カートリッジ組立体に配置された埋込み型デバイスを埋め込むことができ、当該出願を参照により本明細書に援用する。さらに、本開示のロボットシステムは、針の動作を制御することができる。

【0037】

図１Ｂは、例示的なシステム１００の底面図を示す。この図は、ＯＣＴセンサ１１０を示す。ＯＣＴセンサ１１０は、組織試料の後ろからの光信号を受信するように位置決めされ得る。実施形態において、ＯＣＴセンサ１１０がインサータヘッド１０２に従うように位置決めされ得ることで、インサータヘッド１０２が脳の特定の領域上で動作するときにＯＣＴセンサ１１０は動作領域に関する視覚データを受信している。

【0038】

図２Ａは、一実施形態による標的挿入域を含む脳の一部の画像である。一部の脳外科手術の目的の１つは、血管系２１０等の血管系、つまり写真内の暗い蜘蛛の足状の領域を避けることである。血管系を避けるために、医師がこれらの画像を用いて針の挿入場所を手動で選択することができる。この選択プロセス及びターゲティングの自動化により、数百又は数千の場所までアップスケーリング可能とすることができる。

【0039】

図２Ｂは、脈管及び血管系を示す脳のボリュームスナップショットである。脳の表面は、脈動血管、流動流体、及び脈動層を有する動的環境である。この環境の複雑さにより、ロボットシステムによる手術及び埋込みは、精度及び確度に影響し得る要因に適合しなければならない。図示の画像は、脳の表面を示す。領域２５２は血管であり、領域２５４はクモ膜下腔であり、領域２５６はうねりのある脳表面を示す。脳のマッピングを用いても、その動的に変化する表面を考えれば、インサータヘッド１０２（図１Ａ参照）等のインサータヘッドに指示するのに十分なほど高速に表面を処理し理解することは困難であることが分かり得る。

【0040】

図３は、哺乳動物の脳の断面図である。一実施形態において、本方法は、埋込み前に頭皮に開口を形成して頭蓋骨及び硬膜に穿孔することを含む。硬膜は、骨膜性及び髄膜性として知られる２つの層からなり、これらは概して単一の層すなわち硬膜層とも称する。次はクモ膜層である。クモ膜層は、脳を包み硬膜から分離可能な薄い膜である。硬膜とクモ膜との間には、硬膜下腔と呼ばれる空間がある。

【0041】

クモ膜層の下には、クモ膜下腔があり、その外側限界は結合組織の水密層つまりクモ膜であり、内側限界はより薄い層の軟膜である。これはＣＳＦが流れるクモ膜下腔内にある。

【0042】

軟膜は、脳及び脊髄の表面に密着している。軟膜は、脳の表面に最も近い髄膜の層である。軟膜は、脳の表面深くに達する多くの血管を有する。脳を栄養する主幹動脈から軟膜に血管が延びる。クモ膜と軟膜とを分離する空間をクモ膜下腔と呼ぶ。

【0043】

リアルタイム撮像プロセス
光コヒーレンストモグラフィ（ＯＣＴ）を用いて、電極の外科的埋込み時にシステム１００（図１Ａ参照）等のシステムをガイドすることができる。脳の液体表面層、血流、ＣＳＦ、及び光路を覆い隠す可能性があるさまざまな層があるので、インサータヘッドをガイドするために高速で生成できる正確な被写界深度マップが、手術ロボットシステムの精度の確保に非常に有益である。

【0044】

適切な深度マップの生成を確実にするにあたり、ＯＣＴセンサ１１０等のＯＣＴセンサはまず、システムのセンサに戻る光に相関する強度値を示す２次元配列のスタックを得ることができる。実施形態において、ＯＣＴセンサは、脳等の表面から捉えた反射に基づき多数の光強度点を得ることができる。ＯＣＴセンサは、２０００万個、３０００万個、４０００万個、又はそれ以上の点等の多くの点を得ることができる。さまざまな点が収集されてスライスの２次元配列になり、各スライスは、脳の異なる深さの層である。２次元配列は、１２０～１６０スライスからなり得る。このスライスのフルスタックから、図１８Ａのプロセッサ１８００等のプロセッサが、目的の挿入部位について受け取った空間選択に基づき１０～３０スライスに絞ってそこから選択し得る。

【0045】

図４は、図１Ｂに示すＯＣＴセンサ１００等のＯＣＴにより撮影された脳からの強度値の２次元配列のスライスのスタック４００を示す。スタック４００は、スライス４１０からなり、各スライス４１０は、ＯＣＴセンサにより収集された点を示す。ＯＣＴセンサは、図の最上部で下向きとなる。さまざまな点が収集されてスタック４００等のスタックを形成するスライスの２次元配列になり、各スライスは、脳の異なる深さの層である。例えば、スタックの最も右側のスライス４１０は、特定の深さでＯＣＴにより撮像されたスライスを示し得る。

【0046】

図５は、スタック４００の例示的なスライス４１０を示す。スライス４１０は、ＯＣＴにより測定された強度値の配列を有し得る。各スライス４１０が、ＯＣＴセンサが上から見下ろした状態のＸ－Ｙ平面に沿った脳の断面を示す。したがって、スライスのスタックは、脳の深さを形成し、その深さに沿って強度値が対応する。

【0047】

しかしながら、ＯＣＴは、撮影されたスライス４１０における背景信号、雑音、及び他のアーチファクトを拾う場合がある。低信号及び雑音を除外するために、平滑化法が適用され得る。

【0048】

処理ユニット１８００（図１８Ａ参照）等の処理ユニットが、各スライスで処理及びフィルタリング法を用いて、埋込み手術で手術ロボットをガイドする深度マップを生成することができる。

【0049】

強度点は各スライス上の離散的な場所を表すので、処理ユニットは、雑音、低信号、又はアーチファクト等のボイドではない表面の部分を形成する領域を識別する問題に直面し得る。これを補正するために、処理ユニットは、平滑化フィルタを実施して強度点の配列に対して画像を平滑化する。実施形態において、平滑化は、ガウスぼかし、メディアンぼかし、バイラテラルフィルタ、又は他の空間平滑化アルゴリズムとすることができる。処理ユニットは、フィルタをスタック内の各スライスに個別に適用し得る。

【0050】

図６は、空間的に平滑化されたぼかしスライス６００を示す。ぼかしスライス６００は、スライス４１０から処理され得る。例えば、ぼかしスライス６００は、強度値を平滑化するためにガウスぼかしを適用される。ぼかしスライス６００で分かるように、図５のスライス４１０に比べて、強度が平滑化されスライスのぼけ画像を形成する。

【0051】

平滑化処理の適用後に、処理ユニット１８００（図１８Ａ参照）等の処理ユニットが、２値化処理を実行して対応するセグメンテーションスライスを作成し得る。２値化は、ぼかしスライス６００等のぼかしスライスの画素強度に基づき得る。２値化処理は、ｋ平均法又は画素強度に基づき群を区別するのに適した２値化処理であり得る。

【0052】

２値化は、大津の手法を用いて閾値を動的に選択してクラス内輝度分散を最小化する、すなわちクラス間輝度分散を最大化することを含み得る。

【0053】

図７は、対応するセグメンテーションスライス７００を示す。対応するセグメンテーションスライス７００は、２値化処理を適用したぼかしスライス６００等のぼかしスライスから得られ得る。例えば、強度に基づき２つの群に２値化するｋ平均法にて、閾値を上回る画素強度は白点として表され得るのに対し、閾値を下回る画素強度は暗くなる。結果として、画像は２値化された画素強度を有する領域の２次元画像となる。

【0054】

閾値強度は、測定済み脳表面で既知の画素強度に基づくものであり得る。例えば、既知の測定済み脳表面強度を未知の脳の２値化閾値として用いて、脳の表面の画素強度を測ることができる。

【0055】

対応するセグメンテーションスライス７００をぼかしスライス６００と比較すると、ぼかしスライス６００及び対応するセグメンテーションスライス７００の２値化処理による白黒反転の勾配強度値間に視覚的な差がある。例えば、ぼかしスライス６００の底部付近の低強度画素が空の／暗いパッチとなり、脳の表面の一部に対応する高強度信号を有する領域の鮮明な画像をもたらす。

【0056】

２値化処理後に、処理ユニットは、連結成分解析／処理を用いて脳の表面をさらに定義し得る。連結成分処理は、対応するセグメンテーションスライスに基づき連結領域を分類する。連結成分処理は、対応するセグメンテーションスライスにおける連続性を探して、「ブロブ」つまり連続性のある構造を形成する閾値強度値の領域を識別する。処理ユニットは、連続性を調べて、ブロブの適格画素サイズを満たす領域か否かを評価することができる。例えば、処理ユニットは、各スライスを調べ、スライスの１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、又は９０％、又はそれ以上の閾値連続性を、閾値を上回るブロブとしてみなすよう設定することができる。

【0057】

連続性閾値は、既知の脳のヒューリスティクスに基づき、各スライスの処理でＯＣＴにより取り込まれた雑音及びアーチファクトを除外するのに役立ち得る。例えば、液体又は影から生じる雑音性信号及び閉塞は、スライスの５０％を超える連続性を有することがなく、したがって除外の対象である。実施形態において、不所望のブロブを適切に除外するための連続性閾値は、６０％、７０％、８０％、又は９０％その他であり得る。

【0058】

図８は、対応するセグメンテーションスライス７００で連結成分解析を実行したスライス８００の例である。図示のように、スライス８００は、ブロブ８０１、８０２、８０３、８０４、及び８０５を有する。例えば、ブロブ８０１は、表面に対応する脳の領域である。ブロブ８０１はスライド幅の５０％超に及ぶので、ブロブ８０１は、閾値連続性の長さを満たす。しかしながら、ブロブ８０２、ブロブ８０３、ブロブ８０４、ブロブ８０５は、ブロブサイズがスライス８００の閾値連続性の長さを満たさないので除外される。

【0059】

サイズに基づくブロブのフィルタリング後に、処理ユニットは、サイズに基づきフィルタリングされたブロブに対してエッジ検出を実行することができる。

【0060】

図９は、スライス８００のブロブに対して実行されたエッジ検出アルゴリズムの結果を示すエッジ検出スライス９００を示す。ブロブ８０１は、閾値ブロブサイズを上回り、したがってブロブ８０１はエッジ検出アルゴリズムに適している。スライス９００は、ブロブ８０１の上縁に対応するエッジ９０１を示す。

【0061】

速度に関しては、エッジ検出アルゴリズムは、全角度からエッジを見付ける計算コストがより高いエッジ検出アルゴリズムに代わり、スライスの上から下まで（すなわち、ｙ方向のみ）進むことができる。

【0062】

得られたエッジ９０１は、スライスのスタック内の特定のスタック深さの脳表面に対応するエッジの詳細を示す。処理ユニットは、各スライスに対応するさまざまな深さで脳の表面エッジを取得するためにスタックの複数のスライスに対して平滑化処理、２値化処理、連結成分解析、フィルタリング、及びエッジ検出を実行し得る。

【0063】

スライスのスタックのブロブの得られたエッジから、画像微分を用いて表面形状を抽出し、３２ビット深度マップにコンパイルすることができる。スライスは、ＯＣＴ測定からの既知の深度に従って空間的にランク分けされる。検出されたエッジは、実際の脳表面上の実世界座標に相関し得る。

【0064】

図１０は、実施形態による、スタック４００に基づく表面形状の深度マップ１０００を示す。深度マップ１０００は、脳表面１００２及び頭蓋骨の一部１００４を特徴とする。深度マップ１０００に示すように、表面１００２は、脳の表面への電極の埋込み時にロボットインサータヘッド１０２等のロボットインサータヘッドのガイドを助けることができる、深度マップの底部に沿って見ることができる。さらに、一例として、処理ユニットは右側に頭蓋骨１００４の一部を認識するので、ロボットインサータヘッドのガイドは、骨で糸を損傷させる可能性を回避することができる。しかしながら、まさに画像微分が雑音を発生させる可能性があり、目下脳内にある他の電極又は糸の影の原因ではない場合がある。これらのアーチファクトは、脳の実際の表面よりはるかに高い脳の疑似表面を表し得る。

【0065】

不正確な深度マップをもたらす雑音又は影を除外するために、選択的メディアンフィルタを用いることができる。選択的メディアンフィルタは、形成されたエッジに沿った中点を識別して表面トポグラフィを作成することができる。さらに、選択的メディアンフィルタは中央値を評価するので、処理ユニットは、選択的平均フィルタで起こり得る空間的な場所ではなく、有効な表面の場所が選択されていることを確認することができる。

【0066】

図１１は、選択的メディアンフィルタが深度マップ１０００及びいくつかの他の深度マップに対して実行された後の脳表面の３Ｄ深度マップ１１００を示す。３Ｄ深度マップ１１００は、脳表面１１０２を示す。右側のリッジは、頭蓋骨１１０４の一部を示す。作成された深度マップ１１００に基づき、処理ユニットは、脳の表面に沿って正確に電極を埋め込むようにインサータヘッド１０２等のロボットインサータヘッドをガイドすることができる。

【0067】

電極埋込み
図１２Ａ～図１２Ｄは、一実施形態による、標的組織代用物質１２０８への電極の埋込みを示す。特に、図１２は、インサータヘッド１２０２のエンドエフェクタによるアガロース脳組織代用品への挿入プロセスの一連のステップを示す。この例では、針１２０３が最初に複数の電極（例えば、３２個の電極）を保持できる左側の第１の糸１２０５を挿入し、続いて第２の複数の電極を保持する第２の糸１２０４（作業中を示す）を挿入する。埋込みは、ＯＣＴと埋込み表面の場所に関するリアルタイムデータを得る処理ユニットとにより取得された画像によりガイドされ得る。

【0068】

インサータヘッド１２０２支持システムは、糸ループへの針のガイド、挿入ターゲティング、ライブ挿入ビューイング、及び挿入確認に用いられる撮像スタックを保持する。さらに、インサータヘッドは、それぞれが４０５ｎｍ、５２５ｎｍ、及び６５０ｎｍ又は白色光で独立して照明可能な光モジュールを収容する。４０５ｎｍ照明がポリイミドからの蛍光を励起して、光学スタック及びコンピュータビジョンに（１６×５０）μｍ_２の糸ループを確実に突き止めさせると共に、そのループを通して針を６５０ｎｍ照明下でガイドするサブミクロンのビジュアルサーボを実行させることができる。立体カメラ、単眼拡張被写界深度計算等のコンピュータビジョン法、及び５２５ｎｍ光での照明により、血管系及び以前に埋め込まれた可能性がある他の糸を避けながら皮質表面の場所を精密に推定することができる。

【0069】

ロボットは、頭蓋骨上の目印を有する共通の座標系に挿入部位を登録し、これを深度追跡と組み合わせると、解剖学的に定義された脳構造の精密なターゲティングが可能となる。統合カスタムコンピュータ命令により、全ての挿入部位の事前選択が可能なことで、糸の絡まりや緊張を最小限にするよう最適化された挿入経路の計画が可能となり得る。この計画性により、挿入中に血管系を避けることができることが明らかであり、これは電極の個別挿入の重要な利点の１つである。これにより、血液脳関門の損傷を回避することにより炎症反応を低減するための技術的利点を得ることができる。一実施形態において、ロボットは、自動挿入モードを特徴とし得る。挿入手順全体を自動化できる一方で、外科医が制御を維持でき、且つ大脳皮質等の標的組織への各挿入前に糸の位置を手動で微調整することができる。脳神経外科手術ロボットは、滅菌シュラウドと適合性があり、針の自動滅菌超音波洗浄等の迅速な挿入を容易に成功させる特徴を有する。

【0070】

図１３は、一実施形態による、脳組織に埋め込まれた電極の例を示す。典型例では、本開示のシステム及び方法は、糸１３０８等の９６本のポリマー糸を標的組織に埋め込むことができ、各糸は３２個の電極、合計で３，０７２個の電極を配列中に有する。電極は、小型、薄型、且つ可撓性、糸幅５μｍ～５０μｍ及び公称糸太さ４μｍ～６μｍに設計される。典型例では、糸長は約２０ｍｍであり得る。これらのプローブのサイズが小さく可撓性が高いことで、生体適合性が向上し、免疫応答を起こすことなく長期間にわたりプローブを埋め込んだままにすることができる。小さな糸断面積により、標的における組織変位を最小限に抑えることもできる。

【0071】

通常の埋込み術で挿入される糸の数を考えれば、最初に挿入された糸のいくつかは、その後に挿入される糸のコンピュータビジョンに影響を及ぼす影を生じさせる傾向があり得る。例えば、図１３で分かるように、多数の糸１３０８が相互に近接している。埋込みの過程で、インサータヘッドをガイドする際に処理ユニットが以前の糸を考慮しなければならない。図５～図９の例では脳表面のクリーン画像を示しているが、脳の環境の複雑さの例を以下の図１４～図１６で見ることができる。

【0072】

図１４は、糸が脳表面に影を落としている、ＯＣＴセンサ１１０（図１Ｂ参照）等のＯＣＴセンサにより測定された強度点を有するスライス１４００を示す。スライス１４００は、領域１４０１、１４０２、及び１４０３を示す。領域１４０１は、脳の表面である。したがって、スライスを横切る表面は埋込みの標的となる。しかしながら、領域１４０２は、影を落とす糸を表す。領域１４０３の強度低下により分かるように、領域１４０２の糸は、下のＯＣＴセンサにより測定されたものに影響を及ぼす。生じた影により、得られたブロブは、その特定の深度での脳の表面の不正確な描写であり得る。

【0073】

図１５は、複数の糸が脳表面に影を落としている、図１ＢのＯＣＴセンサ１１０等のＯＣＴセンサにより測定された強度点を有するスライス１５００を示す。スライス１５００は、領域１５０１、１５０２、１５０３、及び１５０４を示す。領域１５０１は、脳の表面である。領域１５０２は、脳の表面から突出する複数の糸を示す。領域１５０３の画素強度の低下により分かるように、糸はＯＣＴセンサから取得されたその下のデータに文字通り影を落とす。

【0074】

領域１５０４で観察されるアーチファクトは、脳の流体からの光の屈折により引き起こされる。ＯＣＴに用いた光源は、特定の角度の場合に脳の流体から屈折して、脳の表層より上の強度値として拾われるアーチファクトを引き起こす。

【0075】

図１６は、脈管がＯＣＴセンサにより撮像されている、図１ＢのＯＣＴセンサ１１０等のＯＣＴセンサにより測定された強度点を有するスライス１６００を示す。スライス１６００は、領域１６０１、１６０３、１６０７、及び１６０８を示す。領域１６０１は、脳の表面である。領域１６０３の影は、脳の表面に沿った流体及び脈管から映った閉塞である。高強度領域１６０６は、脳に沿った血管を表す。暗いボイド領域１６０７は、脳に沿って流れるＣＳＦを表し、ＯＣＴセンサがこれを拾うのは困難である。領域１６０８は、まとめて脳のクモ膜腔である。この図が強調しているさまざまな複雑さにより、処理しないＯＣＴデータのみの使用は、手術ロボットをガイドする際の外科手術のためのメトリックとして低精度になる。

【0076】

したがって、上記フィルタリング及び処理法の使用により、ニューロンへの電極の埋込みでの外科ロボットの精度及び確度が向上する。さらに、上記フィルタリング及び処理法は、深度マップが生成されるまでに処理済みの画像が変化していることがないほど高速且つ効率的であり得る。フィルタリング法は、データ点を分割するのに長いプロセスを要することがなく、深度マップ生成は、長い計算時間を要さない。

【0077】

深度マップに対する選択的メディアンフィルタの使用は、エッジ検出アルゴリズムまで進む場合がある上記に示したもののような雑音及びアーチファクトに対応することを可能にする。特に、複数の電極の埋込み中には、以前に埋め込んだ電極を避けることが重要であり、以前に埋め込んだ電極が脳の表面の疑似表面マッピングを示さないことも重要である。このようなガイド誤差は、手術中の埋込み不良及び糸の破損をもたらし得る。

【0078】

ロボット手術をガイドする方法
図１７は、実施形態による、ロボット手術をガイドする例示的プロセス１７００を示すフローチャートである。実施形態において、本方法を用いて、生体組織内に電極デバイスを埋め込むように手術ロボットをガイドすることができる。「第１」、「第２」等のステップ番号は、例示的なものであり、中間ステップの順序も除外も限定するものではない。

【0079】

第１のステップ１７０２において、図４のスタック４００等のＯＣＴプローブ又はセンサから得られた３Ｄ空間の一連の断面スライスを受け取り、各スライスは光強度値の２Ｄアレイを有する。ＯＣＴプローブ又はセンサは、図１ＢのＯＣＴセンサ１１０であり得る。例示的なスライスは図５のスライス４１０のように見える。

【0080】

第２のステップ１７０４において、各スライスの強度値を空間的に平滑化して、対応するぼかしスライスを生成する。例えば、図６の対応するぼかしスライス６００は、空間的に平滑化した後のスライス４１０であり得る。

【0081】

実施形態において、平滑化は、ガウスぼかしによるものであり得る。実施形態において、メディアンぼかし、バイラテラルフィルタその他の異なる平滑化関数を適用してスライスを空間的に平滑化することができる。

【0082】

第３のステップ１７０６において、各ぼかしスライスを２値化して対応するセグメンテーションスライスを作成する。図７のセグメンテーションスライス７００が例示的なセグメンテーションスライスであり、ＯＣＴセンサが受け取り既知の値を上回る画素強度を識別するために２値化処理が適用されている。既知の画素強度は、経験的データ、測定済み脳組織の強度に関する既知のヒューリスティクスその他に基づくものであり得る。

【0083】

第４のステップ１７０８において、連結成分解析を各セグメンテーションスライスに対して実行して、図８のスライス８００のようなブロブを識別する。連結成分解析では、対応するセグメンテーションスライスからの連結成分を検査し、２値化後の画素関係を調べる。実施形態において、連結成分解析の実行により、特定の深度での脳の表面に関する空間的情報を得ることができる。

【0084】

第５のステップ１７１０において、少なくともブロブのサイズに基づき各セグメンテーションスライスでブロブをフィルタリングする。実施形態において、ブロブサイズは、既知の測定済みブロブからの経験的データに基づき知ることができる。実施形態において、フィルタリングは、特定のスライスの幅に対するブロブの連続性に基づくことができる。例えば、ブロブは、スライスの幅の５０％、６０％、７０％、８０％、又は９０％の連続性に、又は用途に応じて他の割合に絞り込まれ得る。

【0085】

実施形態において、フィルタリングは、特定のスライスの幅に対するブロブの連続性に基づくことができる。例えば、ブロブは、スライスの幅の５０％、６０％、７０％、８０％、又は９０％の連続性に絞り込まれ得る。場合によっては、フィルタリングプロセスは、セグメンテーションスライスの幅の５０％以上、７０％以上、又は９０％以上延びないブロブを除去することができる。

【0086】

第６のステップ１７１２において、例えば図９のエッジ検出スライス９００のような各セグメンテーションスライスのフィルタリングされたブロブに対して、エッジ検出を実行する。エッジ検出は、前のステップ１７１０で除外されなかった各ブロブのエッジを識別する。

【0087】

第７のステップ１７１４において、エッジ検出スライスに対して選択的メディアンフィルタを実行して、図１０の深度マップ１０００のような生体試料の表面の深度マップを作成する。スタック４００等のスタックの各スライスのエッジ検出をまとめて、脳のある領域の深度マップを示す深度マップ１０００等の深度マップを形成することができる。実施形態において、システム１００（図１Ａ参照）等のシステムが、スタックの座標をその組織の場所に関連付けることができる。選択的メディアンフィルタは、表面の中央値を考慮し得るものであり、これはセンサ、流体からの閉塞、又は脳に既に埋め込まれた他の糸からの雑音及びアーチファクトを除外する助けとなり得る。

【0088】

第８のステップ１７１６において、ロボットエンドエフェクタを深度マップに基づきガイドする。実施形態において、ロボットエンドエフェクタは、システム１００（図１Ａ参照）のもの等の手術ロボットにより制御される。深度マップは、脳の所望の領域への正確且つ精密な移動の際に手術ロボットをガイドすることができる。実施形態において、これは、インサータヘッド１０２等のインサータヘッドのガイドであり得る。

【0089】

図１８Ａは、少なくとも１つの例による例示的なコンピューティングシステム１８００のコンポーネントを示す。コンピューティングシステム１８００は、表示デバイス１８０２等の１つ又は複数の表示デバイスを含むことができる。表示デバイス１８０２は、情報を視覚的に提示可能な任意の適当なデバイスであり得る。このような装置の例として、陰極線管（ＣＲＴ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、エレクトロルミネセンスディスプレイ（ＥＬＤ）、電子ペーパー、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）、プロジェクタ（ＬＣＤ、ＣＲＴ、デジタルライトプロセッシング（ＤＬＰ）、シリコン基板上液晶（ＬＣｏＳ）、ＬＥＤ、ハイブリッドＬＥＤ、レーザダイオード）、及び情報を表示可能な任意の他の適当なデバイスを挙げることができる。

【0090】

コンピューティングシステム１８００は、コンピューティングデバイス１８０４を含むことができ、これは、ロボットアセンブリ１８２０、光源１８２２、及びカメラ１８２４、並びにアクチュエータ等の任意の他のデバイスに接続され得る。コンピューティングデバイス１８０４は、１つ又は複数のネットワーク、有線接続等を介してこれらのデバイス及び／又はロボット手術システムの他のコンポーネントと通信し得る。ネットワークは、ケーブルネットワーク、インターネット、ワイヤレスネットワーク、セルラーネットワーク、無線ネットワーク、及び他のプライベート及び／又はパブリックネットワーク等の多くの異なるタイプのネットワークのいずれか１つ又は組合せであり得る。

【0091】

次にコンピューティングデバイス１８０４の詳細について、コンピューティングデイバス１８０４は、少なくとも１つのメモリ１８１４及び１つ又は複数の処理ユニット（又はプロセッサ（単数又は複数））１８１０を含み得る。プロセッサ（単数又は複数）１８１０は、ハードウェア、コンピュータ実行可能命令、ソフトウェア、ファームウェア、又はそれらの組合せで適宜実装され得る。例えば、プロセッサ（単数又は複数）１８１０は、１つ又は複数の汎用コンピュータ、専用マイクロプロセッサ、又は電子情報を通信可能な他の処理デバイスを含み得る。プロセッサ（単数又は複数）１８１０の例として、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、及び任意の他の適当な専用又は汎用プロセッサが挙げられる。

【0092】

プロセッサ（単数又は複数）１８１０のコンピュータ実行可能命令、ソフトウェア、又はファームウェア実装は、記載の種々の機能を実行するよう任意の適当なプログラミング言語で記述されたコンピュータ実行可能又はマシン実行可能な命令を含み得る。メモリ１８１４は、２つ以上のメモリを含むことができ、コンピューティングデバイス１８０４内に分散させることができる。メモリ１８１４は、プロセッサ（単数又は複数）１８１０でロード可能且つ実行可能なプログラム命令（例えば、三角測量モジュール１８１８）と、これらのプログラムの実行中に生成されるデータとを記憶することができる。三角測量モジュール１８１８を含むメモリの構成及びタイプに応じて、メモリ１８１４は、揮発性（ランダムアクセスメモリ（ＲＡＭ）等）及び／又は不揮発性（リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、又は他のメモリ）であり得る。一実施形態において、三角測量モジュール１８１８は、ＣＲＥにより測定された電位に基づくラプラス推定のための線形結合係数を受け取り且つ／又は調整することができる。一実施形態において、三角測量モジュール１８１８は、これらの係数に基づく線形結合を実施することができる。コンピューティングデバイス１８０４は、限定はされないが磁気記憶装置、光ディスク、及び／又はテープ記憶装置を含む追加の着脱可能且つ／又は着脱不可能な記憶装置１８０６も含み得る。ディスクドライブ及びそれらに関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及びコンピューティングデバイス用の他のデータの不揮発性記憶装置を提供し得る。いくつかの実施態様において、メモリ１８１４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はＲＯＭ等の複数の異なるタイプのメモリを含み得る。メモリ１８１４は、オペレーティングシステム１８１６も含み得る。

【0093】

メモリ１８１４及び着脱可能なことも着脱不可能なこともある追加の記憶装置１８０６は、コンピュータ可読記憶媒体の例である。例えば、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータ等の情報を記憶するのに適した方法又は技術で実装される揮発性又は不揮発性の、着脱可能、又は着脱不可能な媒体を含み得る。本明細書で用いる場合、モジュールは、三角測量モジュール１８１８の一部であるコンピューティングシステム（例えばプロセッサ）により実行されるプログラミングモジュールを指すことができる。三角測量モジュール１８１８のモジュールは、１つ又は複数のコンポーネント、モジュール等を含み得る。例えば、三角測量モジュール１８１８は、電極、挿入針、及び／又は標的組織等の物体の場所をコンピュータビジョンに基づき三角測量するモジュール又はコンポーネントを含み得る。コンピューティングデバイス１８０４は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、ディスプレイ、スピーカ、プリンタ、又は他の入力／出力（「Ｉ／Ｏ」）デバイスとの接続等を可能にするために、Ｉ／Ｏデバイス（単数又は複数）及び／又はポート１８１２も含むことができる。Ｉ／Ｏデバイス（単数又は複数）１８１２は、ロボット手術システムの他のシステムとの通信を可能にし得る。

【0094】

コンピューティングデバイス１８０４は、ユーザインタフェース１８０８を含み得る。ユーザインタフェース１８０８は、オペレータ又はコンピューティングデバイス１８０４の一部（例えば三角測量モジュール１８１８）にアクセスするユーザとしての権限を有する他のユーザにより利用され得る。いくつかの例では、ユーザインタフェース１８０８は、グラフィカルユーザインタフェース、ウェブベースアプリケーション、アプリケーションプログラミングインタフェース（ＡＰＩ）等のプログラマチックインタフェース、又は他のユーザインタフェース構成を含み得る。

【0095】

図１８Ｂは、少なくとも１つの例による、コンピュータシステム１８５０のコンポーネントの例を示す。コンピュータシステム１８５０は、ユーザコンピューティングデバイス等の単一のコンピュータであってもよく、且つ／又は１つ又は複数のサーバコンピューティングデバイス等の分散コンピューティングシステムを表すこともできる。

【0096】

コンピュータシステム１８５０は、プロセッサ１８５２、メモリ１８５４、記憶装置１８５６、入力／出力周辺機器（Ｉ／Ｏ）１８５８、通信周辺機器１１８５、及びインタフェースバス１８６２を少なくとも含み得る。インタフェースバス１８６２は、コンピュータシステム１８５０の種々のコンポーネント間でデータ、制御、及びコマンドを通信、伝送、及び転送するよう構成される。メモリ１８５４及び記憶装置１８５６として、ランダムアクセスメモリ（ＲＡＭ）、Ｒｅａｄ ＲＯＭ、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードドライブ、ＣＤ－ＲＯＭ、光記憶装置、磁気記憶装置、電子的不揮発性コンピュータ記憶装置、例えばＦｌａｓｈ（登録商標）メモリ、及び他の有形の記憶媒体等のコンピュータ可読記憶媒体が挙げられる。このようなコンピュータ可読記憶媒体のいずれも、本開示の態様を具現する命令又はプログラムコードを記憶するよう構成することができる。メモリ１８５４及び記憶装置１８５６は、コンピュータ可読信号媒体も含む。コンピュータ可読信号媒体は、コンピュータ可読プログラムコードを具現した伝播データ信号を含む。このような伝播信号は、限定はされないが電磁、光学、又はそれらの任意の組合せを含むさまざまな形態のいずれかをとる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなくコンピュータシステム１８５０に関連して用いるプログラムを通信、伝搬、又は搬送することができる任意のコンピュータ可読媒体を含む。

【0097】

さらに、メモリ１８５４は、オペレーティングシステム、プログラム、及びアプリケーションを含む。プロセッサ１８５２は、記憶された命令を実行するよう構成され、例えば、論理処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、及び他のプロセッサを含む。メモリ１８５４及び／又はプロセッサ１８５２は、可視化されることができ、例えばクラウドネットワーク又はデータセンタの別のコンピューティングシステム内でホスティングされることができる。Ｉ／Ｏ周辺機器１８５８として、キーボード、スクリーン（例えばタッチスクリーン）、マイクロホン、スピーカ、他の入力／出力デバイス、及びグラフィカル処理ユニット等のコンピューティングコンポーネント等のユーザインタフェース、シリアルポート、パラレルポート、ユニバーサルシリアルバス、及び他の入力／出力周辺機器が挙げられる。Ｉ／Ｏ周辺機器１８５８は、インタフェースバス１８６２に結合されたポートのいずれかを通してプロセッサ１８５２に接続される。通信周辺機器１１８５は、通信ネットワーク上でのコンピュータシステム１８５０と他のコンピューティングデバイスとの間の通信を容易にするよう構成され、例えば、ネットワークインタフェースコントローラ、モデム、無線及び有線インタフェースカード、アンテナ、及び他の通信周辺機器を含む。

【0098】

本明細書で用いる用語「コンピューティングシステム」及び「処理ユニット」は、あらゆる目的で広義に解釈されることが意図され、全ての使用、全てのデバイス、並びに／又は全てのシステム及び／若しくは本開示のシステムについて、中央処理ユニット、データネットワークとのインタフェースをとる通信デバイス、一時的なコンピュータ可読メモリ、並びに／又は非一時的なコンピュータ可読メモリ及び／若しくは媒体を少なくとも備えたデバイスとして定義される。中央処理ユニットは、本明細書に記載の任意の方法の１つ又は複数のステップを全体的に又は部分的に達成するよう算術、論理、及び／又は入力／出力演算を行うことにより、非一時的なコンピュータ可読メモリ及び／又は媒体に記憶された１つ又は複数のプログラムの命令を実行する。本明細書中の１つ又は複数の適当な機能に関して能動的且つ／又は受動的に、あるコンピューティングシステムが１人又は複数人のユーザにより使用可能であり、他のコンピューティングシステムが直接的且つ／又は間接的に使用可能である。コンピューティングシステムは、コンピュータ、ラップトップ、タブレットコンピュータ、スマートフォン、及び／又は任意の他の適当なデバイスとして具現することができ、ネットワークコンピューティングシステム、サーバ等でもあり得る。有益な場合、コンピューティングシステムは、コンピュータマウス及び／又はキーボード等の１つ又は複数のヒューマン入力デバイス並びに１つ又は複数のモニタ等の１つ又は複数のヒューマンインタラクションデバイスを含むことができる。コンピューティングシステムは、１人又は複数人のユーザへの経験の提供に関連する任意の入力、出力、及び／又は計算デバイスを指し得る。図示及び／又は記載されているコンピューティングシステムは１つかもしれないが、複数のコンピューティングシステムが用いられてもよい。逆に、複数のコンピューティングシステムが図示及び／又は記載されている場合、単一のコンピューティングデバイスが用いられてもよい。

【0099】

「軟膜－クモ膜複合体」は、クモ膜及び軟膜を通常は含む。クモ膜は、クモ膜と脳脊髄液（ＣＳＦ）を収容するクモ膜下腔とを含む。軟膜は、皮質に沿った略単一細胞の層である。

【0100】

血管系からの影があることが知られているので、情報を用いて１つの画像中の推定血管境界を他の画像中の推定血管境界に一致させる。ＣＳＦ、軟膜、及び皮質表面を含む３つの他の表面があるはずであることも知られている。リアルタイムアルゴリズムは、この情報を用いて、表面を有するはずの場所を予め決定し、したがってそれらの探索を絞ることができる。

【0101】

脳インプラント又は脳インプラント用の他のシステム及び各制御システムが、さらに装置全体のコンポーネントであり得る１つ又は複数のマイクロプロセッサ／処理デバイスを有し得ることを理解されたい。制御システムは、概して各自のデバイスに近接して電子通信し（無線又は有線）、表示インタフェース及び／又は動作制御部も含むことができ、動作制御部は、ユーザが操作して各システムを監視するよう構成され、各システムの構成を変更するよう構成され、且つ各システム及びその下位部分に対するプログラムされた命令を操作、直接ガイド、又は設定するよう構成される。このような処理デバイスは、バスを介して不揮発性メモリデバイスに通信結合することができる。不揮発性メモリデバイスは、記憶された情報を電断時に保持する任意のタイプのメモリデバイスを含み得る。メモリデバイスの非限定的な例として、電気的に消去可能なプログラマブルリードオンリメモリ（「ＲＯＭ」）、フラッシュメモリ、又は任意の他のタイプの不揮発性メモリが挙げられる。いくつかの態様において、メモリデバイスの少なくとも一部は、処理デバイスが命令を読み出すことができる非一時的な媒体又はメモリデバイスを含み得る。非一時的なコンピュータ可読媒体は、処理デバイスにコンピュータ可読命令又は他のプログラムコードを提供可能な電子、光、磁気、又は他の記憶装置を含み得る。非一時的なコンピュータ可読媒体の非限定的な例として、（限定はされないが）磁気ディスク（単数又は複数）、メモリチップ（単数又は複数）、ＲＯＭ、ランダムアクセスメモリ（「ＲＡＭ」）、ＡＳＩＣ、構成済みプロセッサ、光記憶装置、及び／又はコンピュータプロセッサが命令を読み出すことができる任意の他の媒体が挙げられる。命令は、例えばＣ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ等を含む任意の適当なコンピュータプログラミング言語で記述されたコードからコンパイラ及び／又はインタープリタにより生成されるプロセッサ固有命令を含み得る。

【0102】

上記説明は、本発明の種々の実施形態及び意図される最良の形態を記載しているが、上記本文の詳細さに関係なく、本発明は多くの方法で実施することができる。システムの詳細はその具体的な実施態様で大きく変わり得るとはいえ、本開示に包含される。上述のように、本発明の特定の特徴又は態様の説明時に用いられる特定の専門用語は、その専門用語が関連する本発明の任意の具体的な特性、特徴、又は態様に限定されるようにその専門用語が本明細書で再定義されることを意味するとみなされるべきではない。概して、併記の特許請求の範囲で用いられる用語は、上記詳細な説明がかかる用語を明示的に定義しない限り、本明細書に開示される具体例に本発明を限定するものと解釈されるべきではない。したがって、本発明の実際の範囲は、開示された例だけでなく、特許請求の範囲の下で発明を実施又は実装する全ての等価な方法も包含する。

【0103】

いくつかの実施形態において、本開示のシステム及び方法を脳神経外科技術に関連して用いることができる。しかしながら、当業者には、脳神経外科技術が非限定的な用途であり、本開示のシステム及び方法を任意の生体組織に関連して用いることができることが認識されよう。生体組織として、限定はされないが脳、筋肉、肝臓、膵臓、脾臓、腎臓、膀胱、腸、心臓、胃、皮膚、結腸等を挙げることができる。

【0104】

本開示のシステム及び方法は、限定はされないが無脊椎動物、脊椎動物、魚類、鳥類、哺乳類、げっ歯類（例えば、マウス、ラット）、有蹄類、ウシ、ヒツジ、ブタ、ウマ、非ヒト霊長類、及びヒトを含む任意の適当な多細胞生物で用いることができる。さらに、生体組織は、ｅｘ ｖｉｖｏ（例えば、組織外植片）又はｉｎ ｖｉｖｏ（例えば、方法は患者で実施される外科手技である）とすることができる。

【0105】

本明細書中の本発明の教示は、必ずしも上述のシステムでなく他のシステムに適用することができる。上述の種々の例の要素及び行為を組み合わせて、本発明のさらに他の実施態様を提供することができる。本発明のいくつかの代替的な実施態様は、上記のような実施態様に対する追加的要素を含み得るだけでなく、より少ない要素も含み得る。さらに、本明細書に記載のいかなる具体的な数も例にすぎず、代替的な実施態様は、異なる値又は範囲を用いてもよく、かかる範囲内及びかかる範囲の境界の値のさまざまな増分及び勾配に対応できる。

【0106】

上記説明全体での特徴、利点、又は同様の文言への言及は、本技術で実現され得る特徴及び利点の全てが本発明の単一の実施形態にあるべきであることも、本発明の単一の実施形態にあることも意味しない。正確には、特徴及び利点に言及する文言は、一実施形態に関連して説明される特定の特徴、利点、又は特性が本技術の少なくとも１つの実施形態に含まれることを意味すると理解される。よって、本明細書を通した特徴及び利点についての記述並びに同様の文言は、同じ実施形態を指す場合があるが、必ずしもそうとは限らない。さらに、本技術について記載された特徴、利点、及び特性は、１つ又は複数の実施形態において任意の適当な方法で組み合わせることができる。当業者には、特定の実施形態の具体的な特徴又は利点の１つ又は複数がなくても本技術を実施できることが認識されよう。他の場合には、本技術の全ての実施形態には存在し得ない特定の実施形態において、さらなる特徴及び利点が認識され得る。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】