知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】コンピュータ視覚技術
(51)【国際特許分類】
A61N 1/05 20060101AFI20240814BHJP
A61B 34/35 20160101ALI20240814BHJP
A61B 34/20 20160101ALI20240814BHJP
【ＦＩ】
A61N1/05
A61B34/35
A61B34/20
【請求項の数】
14
(21)【出願番号】P 2021539470
(86)(22)【出願日】2019-09-12
(65)【公表番号】
(43)【公表日】2022-01-04
(86)【国際出願番号】 US2019050877
(87)【国際公開番号】W WO2020056179
(87)【国際公開日】2020-03-19
【審査請求日】2022-09-08
(31)【優先権主張番号】62/731,520
(32)【優先日】2018-09-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521109589
【氏名又は名称】ニューラリンク コーポレーション
【氏名又は名称原語表記】ＮＥＵＲＡＬＩＮＫ ＣＯＲＰ．
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100173794
【弁理士】
【氏名又は名称】色部 暁義
(72)【発明者】
【氏名】ティモシー ジェイ ガードナー
(72)【発明者】
【氏名】ヴィカッシュ ギリヤ
(72)【発明者】
【氏名】ティモシー エル ハンソン
(72)【発明者】
【氏名】イアン エム オハラ
(72)【発明者】
【氏名】ケニー シャルマ
【審査官】近藤 裕之
(56)【参考文献】
【文献】特表２０１５－５２３１０２（ＪＰ，Ａ）
【文献】国際公開第２０１６／１２６３４０（ＷＯ，Ａ２）
【文献】特表２０１５－５０５６７８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／００８０７４０（ＵＳ，Ａ１）
【文献】特開２００８－０５６７９７（ＪＰ，Ａ）
【文献】特開２００４－２０２２２１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｎ １／０５
Ａ６１Ｂ ３４／３５
Ａ６１Ｂ ３４／２０
(57)【特許請求の範囲】
【請求項1】
電極をロボット外科手術で埋め込むロボットシステムを構成する方法であり、
前記ロボットシステムの第１光源により光の近紫外（近ＵＶ）波長を用いて前記電極のポリマー部分を照射するステップであって、前記近ＵＶ波長は３００ナノメートル～４２５ナノメートルの間であり、また前記第１光源は第１発光ダイオード（ＬＥＤ）又は第１レーザーを含む、照射ステップと、
前記ロボットシステムの第１カメラによって前記照射ステップに応じて前記ポリマー部分から蛍光発生した光により前記ポリマー部分の第１画像を取得するステップと、
第２カメラによって前記ポリマー部分から蛍光発生した光により前記ポリマー部分の第２画像を取得するステップと、
前記ロボットシステムのプロセッサにより前記ポリマー部分から蛍光発生した前記光を用いて取得した前記第１画像及び第２画像を処理するコンピュータ視覚を使用して前記電極の３次元（３Ｄ）場所を三角測量するステップと、
前記ロボットシステムの第２ＬＥＤ又は第２レーザーを有する第２光源により可視光を使用して挿入ニードルを照明するステップと、
前記第１カメラによって前記可視光が照明した前記挿入ニードルの第３画像を取得するステップと、並びに
前記ロボットシステムのロボットアセンブリによって、前記ポリマー部分から蛍光発生した前記光を用いて取得した前記第１画像及び第２画像を使用して決定した前記３Ｄ場所、並びに前記可視光の使用で取得した前記挿入ニードルの前記第３画像に基づいて前記電極の前記ポリマー部分を前記挿入ニードルにロボット制御で係合させるステップと
を含む、方法。
【請求項2】
請求項１記載の方法において、前記挿入ニードルは金属を有し、また前記可視光は赤色光を有する、方法。
【請求項3】
請求項１記載の方法において、前記ポリマー部分はポリイミドを有し、前記光の前記近ＵＶ波長は３９０ナノメートル～４２５ナノメートルであり、また前記ポリマー部分から蛍光発生した前記光は緑色光を有する、方法。
【請求項4】
請求項１記載の方法において、前記電極の前記ポリマー部分をロボット制御で係合させるステップは、前記３Ｄ場所及び前記第３画像に基づいて、前記挿入ニードルの係合素子を前記電極に連結した相反係合素子に対してロボット制御で取り付けるステップを含む、方法。
【請求項5】
請求項４記載の方法において、前記相反係合素子はループを有し、また前記挿入ニードルの前記係合素子を前記相反係合素子に取り付けるステップは、さらに、前記挿入ニードルを前記ループに挿通するステップを含む、方法。
【請求項6】
請求項１記載の方法において、前記第１カメラは、前記電極に関連する投影エッジの平面状表面にほぼ直交するよう配置し、また前記第２カメラは、前記第１カメラに対して５°より大きい角度をなすよう配置する、方法。
【請求項7】
電極をロボット外科手術で埋め込むシステムにおいて、第１発光ダイオード（ＬＥＤ）又は第1レーザーを有する第１光源であって、前記第１光源は、光の近紫外（近ＵＶ）波長を用いて前記電極のポリマー部分を照射するよう構成され、また前記近ＵＶ波長は３００ナノメートル～４２５ナノメートルである、第1光源と、
第２ＬＥＤ又は第２レーザーを有する第２光源であって、可視光の使用で挿入ニードルを照明するよう構成された、第２光源と、
照射されていることに応じて前記ポリマー部分から蛍光発生した光により前記ポリマー部分の第１画像を取得するよう構成された第１カメラであって、さらに、前記可視光によって照明された前記挿入ニードルの第３画像を取得するよう構成された、第１カメラと、
前記ポリマー部分から蛍光発生した前記光により前記ポリマー部分の第２画像を取得するよう構成された第２カメラと、
前記ポリマー部分から蛍光発生した前記光を用いて取得した前記第１画像及び第２画像を処理するコンピュータ視覚を使用して前記電極の３次元（３Ｄ）場所を三角測量するよう構成されたプロセッサと、
前記ポリマー部分から蛍光発生した前記光を用いて取得した前記第１画像及び第２画像を使用して決定した前記３Ｄ場所、並びに前記可視光の使用で取得した前記挿入ニードルの前記第３画像に基づいて前記電極の前記ポリマー部分を前記挿入ニードルに係合させるよう構成されたロボットアセンブリと
を備える、システム。
【請求項8】
請求項７記載のシステムにおいて、前記挿入ニードルは金属を有し、また前記可視光は赤色光を有する、システム。
【請求項9】
請求項７記載のシステムにおいて、前記ロボットアセンブリはさらに、前記電極の前記ポリマー部分を係合させる間に、前記３Ｄ場所及び前記第３画像に基づいて、前記挿入ニードルの係合素子を前記電極に連結した相反係合素子に対して取り付けるよう構成されている、システム。
【請求項10】
請求項９記載のシステムにおいて、前記相反係合素子はループを有し、また前記ロボットアセンブリはさらに、前記挿入ニードルの前記係合素子を前記相反係合素子に取り付ける間に、前記挿入ニードルを前記ループに挿通するよう構成されている、システム。
【請求項11】
請求項７記載のシステムにおいて、前記第１カメラ又は前記第２カメラは、さらに、標的手術組織の第４画像を取得するよう構成され、
前記プロセッサは、さらに、前記第４画像に基づいて前記標的手術組織の輪郭場所を決定するよう構成され、
前記ロボットアセンブリは、さらに、前記決定した輪郭場所に基づいて前記電極を外科手術的に埋め込むよう構成されている、システム。
【請求項12】
請求項７記載のシステムにおいて、前記第１カメラ又は前記第２カメラは顕微鏡内に統合される、システム。
【請求項13】
プロセッサが実行するとき、前記プロセッサに対して電極のロボット外科手術的埋込み方法を実施させるコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であり、前記方法は、光の近紫外（近ＵＶ）波長を用いて前記電極のポリマー部分を照射するように第１光源を環境設定するステップであって、前記近ＵＶ波長は３００ナノメートル～４２５ナノメートルである、ステップと、
第１カメラによって照射されていることに応じて前記ポリマー部分から蛍光発生した光で撮られた前記ポリマー部分の第１画像を取得するステップと、
第２カメラによって前記ポリマー部分から蛍光発生した前記光で撮られた前記ポリマー部分の第２画像を取得するステップと、
前記ポリマー部分から蛍光発生した前記光を用いて取得した前記第１画像及び第２画像を処理するコンピュータ視覚を使用して前記電極の３次元（３Ｄ）場所を三角測量するステップと、
可視光の使用で挿入ニードルを照明するよう第２光源を環境設定するステップと、
前記第１カメラから前記可視光で撮られた前記挿入ニードルの第３画像を取得するステップと、並びに
前記ポリマー部分から蛍光発生した前記光を用いて取得した前記第１画像及び第２画像を使用して決定した前記３Ｄ場所、並びに前記可視光の使用で取得した前記挿入ニードルの前記第３画像に基づいて前記電極の前記ポリマー部分を前記挿入ニードルに係合させるようロボットアセンブリを環境設定するステップと
を含む、非一時的コンピュータ可読媒体。
【請求項14】
請求項１３記載の非一時的コンピュータ可読媒体において、前記方法は、さらに、標的手術組織の第４画像を取得するよう前記第１カメラ又は前記第２カメラを環境設定するステップと、及び
前記第４画像に基づいて前記標的手術組織の輪郭場所を決定するステップと、及び
決定した前記輪郭場所に基づいて前記電極を外科手術的に埋め込むよう前記ロボットアセンブリを環境設定するステップと
を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、あらゆる目的のために参照により全体が本明細書に組み入れられるものとする、「コンピュータ視覚技術（Computer Vision Techniques）」と題した、２０１８年９月１４日出願の米国仮出願第６２／７３１,５２０号の優先権の恩典を主張する。
【0002】
＜連邦支援の研究開発の下でなされた発明に対する権利に関する声明(STATEMENT AS TO RIGHTS TO INVENTIONS MADE UNDER FEDERALLY SPONSORED RESEARCH AND DEVELOPMENT)＞
非適用（NOT APPLICABLE）
非適用（NOT APPLICABLE）
【背景技術】
【0003】
外科手術は危機的状況であるとともに細心の注意を要する行為である。したがって、通常、高度に熟練した外科医が外科処置、とくに、脳神経外科的処置を実施しなければならない。例えば、デバイスを生体組織内に埋め込む通常の外科技術は、埋込み型デバイスのために挿入部位を適正に標的化する必要性によって制約される。不適正な標的箇所にある埋込み型デバイスは血管又は組織にダメージを与えかねない。
【0004】
それでも、従来の外科技術は極めて高額であり、また脳コンピューター・インタフェースのような革新的な埋込み型技術の採用に制限があり得る。例えば、人間の外科医では、埋込み型電極の脳に対する多数回にわたる順次挿入を信頼性高く実施することはできない。
【0005】
従来、ロボット外科手術は、ロボットをリアルタイムで標準撮像化技術を介して制御する困難性によって、例えば、制限された術野深さ、グレア、又はカメラ画像における反射要素に起因して制限を受ける。したがって、従来型ロボット外科手術の技術は、埋込み型デバイス、標的組織、及び挿入ニードルのような関連用具の精密な位置決めを決定する能力において人間の外科医よりも劣っている。
【発明の概要】
【課題を解決するための手段】
【0006】
概して、ロボット外科手術システムは、所定要素の蛍光、特別な照明、及びコンピュータ視覚技術を使用して、微細製造した生体適合性電極デバイスを生体組織（例えば、脳のような神経組織）にロボットアセンブリを用いて埋め込むことを容易にする。ロボット外科手術システムは、微小埋込み型デバイスに係合するコンポーネント、血が多い又は他の生体組織における標的埋込み部位を識別するコンポーネント、また適正挿入を検証するコンポーネントを備えることができる。システムは、ロボット制御を介して、電極を微細挿入ニードルの係合素子に取り付けることができる。システムは、エッジ及び形体をよりよく際立たせるため、赤色光のような特定色の光をロボットにおけるエンドエフェクタの金属部分に当てることができる。ロボットアセンブリを介して、また標的組織の輪郭画像及び電極の三角測量場所に基づいて電極を外科手術的に埋め込むことができる。
【0007】
システムは、近紫外（近ＵＶ）波長光を用いて電極のポリマー部分を照射することができる。この近ＵＶ波長は、３００ナノメートル（ｎｍ）～４２５ナノメートルの間におけるものとすることができる。第１光源は第１発光ダイオード（ＬＥＤ）又は第１レーザーを有することができる。システム及び／又は第１カメラは、この場合、照射に応答してポリマー部分から蛍光を発した光によりポリマー部分の第１画像を取得することができる。システム及び／又は第２カメラは、次にポリマー部分から蛍光を発した光によりポリマー部分の第２画像を取得することができる。この後、システム及び／又は第１画像及び第２画像を処理するコンピュータ視覚の発見的問題解決法を使用するプロセッサは、電極の３次元（３Ｄ）場所を三角測量することができる。システム及び／又は第２ＬＥＤ若しくは第２レーザーを有する第２光源は、可視光の使用により挿入ニードルを照らすことができる。システム及び／又は第１カメラは、次に可視光によって照らされた挿入ニードルの第３画像を取得することができる。最終的に、システムは、ロボット制御で３Ｄ場所及び第３画像に基づいて電極のポリマー部分に挿入ニードルを係合させることができる。
【0008】
幾つかの実施形態において、挿入ニードルは金属を有し、また可視光は赤色光を有する。
【0009】
幾つかの実施形態において、ポリマー部分はポリイミドを有することができる。光の近ＵＶ波長は３９０ナノメートル～４２５ナノメートルの間におけるものとすることができる。ポリマー部分からの蛍光は緑色光を有することができる。
【0010】
幾つかの実施形態において、電極のポリマー部分に対するロボット制御係合は、３Ｄ場所及び第３画像に基づいて、挿入ニードルの係合素子を電極に連結した相反係合素子にロボットで取り付けるステップを含むことができる。
【0011】
幾つかの実施形態において、相反係合素子はループを有することができる。相反係合素子に対する挿入ニードルの係合素子の取付けは、挿入ニードルをループの挿通するステップを有することができる。
【0012】
幾つかの実施形態において、第１カメラは、電極に関連する投影エッジの平面状表面にほぼ直交して据え付けることができる。第２カメラは、第１カメラに対して５°より大きい角度を付けて据え付けることができる。
【0013】
幾つかの実施形態において、第２カメラは、第１カメラに対して４０°～５０°の間における角度を付けて据え付けることができる。
【0014】
幾つかの実施形態において、システムは、挿入ニードルの使用により外科手術的に電極を埋め込むことができる。
【0015】
幾つかの実施形態において、システムは、標的手術組織の第４画像を取得することができる。システムは、第４画像に基づいて、標的手術組織の輪郭場所を決定することができる。外科手術的に電極を埋め込むことは、さらに、決定された輪郭場所に基づくことができる。
【0016】
幾つかの実施形態において、外科手術的に電極を埋め込むとともに、システムは電極及び標的手術組織の第５画像を取得することができる。システムは、第５画像に基づいて電極の埋込みを検証することができる。
【0017】
幾つかの実施形態において、第１カメラ又は第２カメラは顕微鏡内に統合することができる。
【0018】
幾つかの実施形態において、電極のロボット外科手術的埋込みシステムは、第１ＬＥＤ又は第１レーザーを有する第１光源と、第２ＬＥＤ又は第２レーザーを有する第２光源と、第１カメラと、第２カメラと、及びロボットアセンブリとを備えることができる。システムは、さらに、コンピュータ実行可能命令を実行するよう構成されたプロセッサを備え、前記命令は、電極のロボット外科手術的埋込みに関する上述した方法のいずれかを実施するよう、プロセッサがシステムのコンポーネントに実施させる及び／又は命令するものとする。
【0019】
幾つかの実施形態において、持続性コンピュータ可読媒体は、プロセッサが実行するとき、電極のロボット外科手術的埋込みに関する上述した方法のいずれかを実施するよう、プロセッサがシステムのコンポーネントに実施させる及び／又は命令するコンピュータ実行可能命令を記憶することができる。
【0020】
本明細書に組み入れられてその一部を構成する添付図面は、幾つかの実施形態を図解し、また明細書の記載とともに、開示される原理を説明する役目を果たす。
【図面の簡単な説明】
【0021】
【図1A】本発明実施形態による、電極をロボット外科手術的に埋め込むための例示的システムを示す。
【図2】本発明実施形態による、電極のロボット外科手術的埋込みのために組織を標的化するための例示的システムを示す。
【図3】本発明実施形態による、電極を可視化しまたロボット係合させるための例示的システムを示す。
【図4】本発明実施形態による、白色光を当てたニードル及び係合コンポーネントの例示的画像を示す。
【図5】本発明実施形態による、照射に応答して蛍光を発している係合コンポーネントの例示的画像を示す。
【図6】本発明実施形態による、赤色光を用いて撮影したニードル及び係合コンポーネントの例示的画像を示す。
【図7】本発明実施形態による、ニードルペンチカートリッジにおける挿入ニードル及びペンチを示す。
【図8】本発明実施形態による、標的組成代用物に電極を埋め込む状況を示す。
【図9】本発明実施形態による、脳組織に埋め込んだ電極の例を示す。
【図10】本発明実施形態による、ロボット外科手術的埋込みシステムの例示的検証コンポーネントを示す。
【図11】本発明実施形態による、デバイス係合及びロボット外科手術的埋込みの例示的プロセスを示すフローチャートである。
【図12】本発明実施形態による、ロボット外科手術的埋込みの例示的プロセスを示すフローチャートである。
【図13】本発明実施形態による、ロボット外科手術的埋込み中における標的化のための例示的プロセスを示すフローチャートである。
【図14】本発明実施形態による、ロボット外科的埋込み中における検証のための例示的プロセスを示すフローチャートである。
【図15A】本発明実施形態による、コンピュータ視覚により案内されるロボット外科手術のための例示的コンピューティングシステムを示す。
【図15B】本発明実施形態による、コンピュータ視覚により案内されるロボット外科手術のための例示的コンピューティングシステムの例示的コンポーネントを示す。
【発明を実施するための形態】
【0022】
概して、本開示は、微細精密ロボット外科手術に関連するコンピュータ視覚技術を使用するシステム及び方法を企図する。とくに、開示したシステム及び方法は、微小生体適合性電極デバイスを生体組織に埋め込むにあたりロボットアセンブリを案内するよう特別な照明及びコンピュータ視覚技術を利用することができる。スケールは、白色光ではコンピュータ視覚にとって十分なエッジ及び他の形体を鮮明に示すことができないほど小さい。幾つかの実施形態において、システムは、埋込み型デバイスを挿入ニードルに係合及び位置決めする、デバイスを標的化するまた埋め込む、及び／又は安全で適正な挿入を検証するというような複雑な外科手術タスクを実施することができる。システムは、これらタスクのうち任意なもの又はすべての安全、精密及び効率的な実施を向上させるため、コンピュータ視覚を使用することができる。
【0023】
非限定的な実施例において、開示したシステム及び方法は、電極デバイスを脳のような神経組織に埋め込むのに使用することができる。とくに、埋込み型電極デバイスは、脳の領域に電気信号を記録及び／又は活性化するように構成することができる。他の実施例において、開示したシステム及び方法は、限定しないが、脳、筋肉、肝臓、膵臓、脾臓、腎臓、膀胱、腸、心臓、胃、皮膚、結腸、等々を含む生体組織における外科手術を実施するのに使用することができる。さらに、開示したロボット外科手術システム及び方法は、人間に対する使用に限定されず、任意の適当な多細胞生物にも使用することができる。
【0024】
或る実施例において、開示された実施形態によるロボット外科手術埋込みシステムは、埋込み型デバイス係合サブシステム、標的化サブシステム、及び挿入検証サブシステムを備えることができる。埋込み型デバイス係合サブシステム、標的化サブシステム、及び挿入検証サブシステムは、ロボットマニピュレータを使用する生体組織（脳のような）への埋込み型デバイスの埋込み（又は挿入）を実施しまた検証するために、コンピュータ視覚技術を適用することができる。幾つかの実施形態において、埋込み型デバイスは、生体組織を記録及び／又は活性化するよう構成することができる。
【0025】
例示的自動外科手術処置において、初期的にロボット外科手術埋込みシステムの標的化サブシステムは、埋込みのための標的組織部位を決定することができる。標的に基づいて、ロボット外科手術埋込みシステムは、埋込み型電極デバイス（ピルボックスカートリッジアセンブリ内に収容される）及びニードルを手術野に位置決めすることができる。以下に説明するように、デバイス係合サブシステムは、コンピュータ視覚及びロボット係合を使用してニードルを埋込み型デバイスに係合させることができる。ロボット外科手術埋込みシステムは、次にデバイス及びニードルを標的生体組織内に埋め込むことができる。挿入検証サブシステムは、本明細書に開示するように、デバイスの標的組織内への埋込みを検証することができる。
【0026】
図１Ａは、本発明実施形態による、電極デバイスのロボット外科手術的埋込み用の例示的システム１００を示す。図１Ｂは、本発明実施形態による、電極のロボット外科手術的埋込み用の例示的システム１００の側面図を示す。幾つかの実施形態において、システム１００全体がロボットに関連するものとすることができ、例えば、単一ロボットをシステム１００のすべてのコンポーネントと一緒に統合することができる。幾つかの実施形態において、システム１００における幾つかのサブシステムは組み合わせることができ、例えば、単一ロボットは、デバイス係合サブシステム１０４の機能を実施することもできる挿入ヘッド１０２を有することができ、またこれは本明細書の開示に限定されない。
【0027】
この実施例において、システム１００は、挿入ヘッド１０２及びデバイス係合サブシステム１０４を備える。デバイス係合サブシステム１０４は埋込み用電極に係合することができ、挿入ヘッド１０２は、以下説明するように、電極を神経組織に埋め込むとともに、標的化及び／又は挿入検証する機能を実施することができる。挿入ヘッド１０２は、さらに、標的化及び／又は挿入検証サブシステムと称することができ、またデバイス係合サブシステム１０４は、電極ステージと称することもできる。幾つかの実施形態において、挿入ヘッド１０２及びデバイス係合サブシステム１０４の機能は、代わりに単一装置が実施することができる。例えば、幾つかの実施形態において、デバイス係合サブシステム１０４の機能は、挿入ヘッド１０２のコンポーネントによって実施することができる。システム１００は、さらに、超音波クリーナー１０６を備えることができる。
【0028】
システム１００及び／又はサブシステム１０４は電極デバイス及びシステム１００を照明するよう構成された光源を収納することができる、及び／又はサブシステム１０２は手術野を照明するよう構成された光源を収納することができる。電極デバイス又は挿入ニードルを照明する光源は、電極デバイス又はニードルに関連する材料に基づいて選択された波長の光を発生することができるとともに、手術野を照明する光源は、標的組織の撮像のために選択された波長の光を発生することができる。とくに、システム１００は、複数の独立した光モジュールを収納することができ、各光モジュールは独立して４０５ｎｍ、５２５ｎｍ及び６５０ｎｍの光又は白色光で照明することができる。例えば、埋込み型電極デバイスがポリイミドから作成した生体適合性基板を収納する場合、光源からの光の波長は、３９０ｎｍ～４２５ｎｍの間（例えば、４０５ｎｍ又は３９５ｎｍ）とすることができる。或る実施形態において、光源は、レーザー及び／又は発光ダイオード（ＬＥＤ）を有することができる。或る実施形態において、埋込み型電極デバイスは、ポリイミド、ポリアミド、及び／若しくは他の芳香族剛性鎖ポリマー材料、蛍光材料、又は他の材料から作成した生体適合性基板を収納することができ、またこれは本明細書の開示に限定されない。
【0029】
システム１００は、電極デバイス及び挿入ニードルにおけるデジタル写真のような画像を取得するよう構成されたカメラ、及び標的神経組織、例えば脳皮質の画像を取得するよう構成されたカメラを収納することができる。他の実施例において、画像は、ロボット外科手術埋込みに関連する任意な対象物の画像を含むことができる。代表的実施形態において、カメラは、互いに角度をなして（例えば、４５°にほぼ等しい又は他の相対角度で）配列した２台のカメラを有することができる。種々の実施形態において、システム１００は、追加のカメラ、又はビデオカメラ、マイクロフォン、化学センサ、温度センサ、時間センサ、力若しくは圧力センサのような他のセンサを収納することができ、また本明細書の開示に限定されない。
【0030】
光源は、照明状態と消滅状態との間で、及び／又は異なる波長光間で周期動作又はストロボ動作することができる１つ又はそれ以上の光源を有することができ、カメラが手術野の異なる視点又は局面を撮像できるようにする。或る実施形態において、カメラは、かすかな蛍光に対するその感度を高めるため冷却することができる。一実施形態において、１つ又はそれ以上のカメラは顕微鏡に統合することができる。
【0031】
システム１００は、カメラによって取得した画像を処理するためコンピュータ視覚の発見的問題解決法を実行するよう構成された、以下の図１０の実施例におけるコンピューティングシステム１００８、又は以下の図１５Ａの実施例におけるコンピューティングシステム１５００のような処理ユニットを備えることができる。コンピューティングシステムは、手術野の１つ若しくはそれ以上の部分及び／又は電極デバイス及びニードルを撮像するよう構成された複数のカメラに通信可能に接続することができる。とくに、コンピューティングシステムは、電極デバイスの場所及び／又は向きを決定するためカメラからの画像にコンピュータ視覚技術を適用することができる。或る実施形態において、コンピューティングシステムは挿入ニードル及び埋込みのための標的組織の場所及び／又は向きを決定できる。例えば、コンピューティングシステムは、カメラからの画像に基づいて、標的外科手術組織の輪郭を決定することができる。種々の実施形態において、処理ユニットは、１つ以上のプロセッサ、１つ以上の処理コア、以下の図１５Ａの実施例におけるコンピューティングシステム１５００のような１つ以上のコンピューティングシステム、１つ以上のＧＰＵ、又はそれらの組合せを有することができ、またこれは本開示により限定されない。
【0032】
システム１００は、電極デバイスを外科手術により標的生体組織内に埋め込むよう構成されたロボットアセンブリのような１つ又はそれ以上のロボットアセンブリを含むことができる。ロボットアセンブリは、コンピューティングシステムによって決定された電極デバイス、挿入ニードル、及び／又は標的組織の三角測量された場所に基づいて、以下の図１５Ａの実施例におけるコンピューティングシステム１５００のような処理ユニットによってガイドすることができる。或る実施形態において、システム１００は、さらに、挿入ニードルの係合素子を電極における相反係合素子に取り付けるよう構成された追加のロボットアセンブリを含むことができる。或る実施形態において、外科手術的に電極デバイスを埋め込むとき、ロボットアセンブリは、電極デバイスに取り付けた挿入ニードルを外科手術的に埋め込むことができる。さらに、ロボットアセンブリは、カメラからの画像に基づいてガイドすることができる。或る実施形態において、システム１００は、音波、超音波、若しくは圧力によるアクチュエータのような他のアクチュエータを含むことができ、又は外科用メスのような他の用具をガイドすることができ、またこれは本開示により限定されない。
【0033】
幾つかの実施形態において、システム１００は、追加のカメラを有することができ、またこれは本開示により限定されない。例えば、システム１００は、標的組織部位をマッピングするため、ロボットアセンブリのヘッドに設置した別個のカメラシステムを使用することができる。幾つかの実施形態において、このロボットアセンブリは、さらに、挿入ニードルを担持するよう構成することもできる。別個のカメラシステムは１つ又はそれ以上の軸線上に移動可能に配置することができる。或る実施形態において、システムはこのロボットアセンブリを一軸上で駆動し、これによりカメラシステムの焦点が脳組織のような関心対象の標的組織部位の下方にあるようにする。ロボットアセンブリは、標的組織を撮像するため、その軸に沿ってカメラシステムを上昇移動させる、及び／又はカメラシステムを上向きにスキャンさせることができる。
【0034】
本開示の代表的実施形態において、ロボット外科手術システム１００は、電極を含む埋込み型デバイスを、生体組織（例えば、皮質）表面の下方に貫入することができる改善された深さ貫入で埋め込むことができる。例示的電極としては、本願と同時に出願された「電極設計及び作製（Electrode Design and Fabrication）」と題する米国特許出願で詳述されたものがあり、この出願は、参照により本明細書に組み入れられるものとすることができる。開示したロボットシステムは、本願と同時に出願された「カートリッジを用いるデバイス埋込み（Device Implantation Using a Cartridge）」と題する米国特許出願で詳述されたような、ピルボックス、カートリッジ、及び／又はピルボックス-カートリッジアセンブリがあり、この出願は、参照により本明細書に組み入れられるものとすることができる。さらに、開示したロボットシステムはニードルの動作を制御することができる。
【0035】
＜I. 標的化コンポーネント＞
図２は、本発明実施形態による、電極のロボット外科手術的埋込みのために組織を標的化するための例示的システム２００を示す。上述したように、標的化サブシステムは、埋込みのための標的組織を決定し、手術野において埋込み型電極及びニードルを位置決めし、また埋込み型電極及びニードルを標的生体組織内に埋め込むことができる。この実施例において、標的化コンポーネントは、光源２０８及び２０９と、カメラ２０４及び２０５のような１つ又はそれ以上のカメラと、１つ又はそれ以上の埋込み型電極デバイスを埋め込むことができる生体組織の領域を選択するよう構成されたコンピューティングシステムのような処理ユニットと、を有することができる。
図２は、本発明実施形態による、電極のロボット外科手術的埋込みのために組織を標的化するための例示的システム２００を示す。上述したように、標的化サブシステムは、埋込みのための標的組織を決定し、手術野において埋込み型電極及びニードルを位置決めし、また埋込み型電極及びニードルを標的生体組織内に埋め込むことができる。この実施例において、標的化コンポーネントは、光源２０８及び２０９と、カメラ２０４及び２０５のような１つ又はそれ以上のカメラと、１つ又はそれ以上の埋込み型電極デバイスを埋め込むことができる生体組織の領域を選択するよう構成されたコンピューティングシステムのような処理ユニットと、を有することができる。
【0036】
幾つかの実施形態において、光源２０８及び２０９並びにカメラ２０４及び２０５はコンピューティングシステムに接続される。幾つかの実施形態において、コンピューティングシステムはマイクロプロセッサコントローラ２１６とすることができる。他の実施形態において、コンピューティングシステムは、図１０の実施例におけるコンピューティングシステム１００８、若しくは以下の図１５Ａの実施例におけるコンピューティングシステム１５００とすることができる、又はこれらシステムと通信することができる。このコンピュータシステムは、カメラ２０４及び２０５が取得した画像を表示するよう構成されたユーザー・インタフェースを提供するコンピュータソフトウェアを有することができる。幾つかの実施形態において、カメラは顕微鏡内に統合することができる。カメラ２０４及び２０５は、手術野における生体組織の表面を撮像するよう構成することができる。カメラ２０４及び２０５は、さらに、取得した画像に適用できる１つ又はそれ以上の偏光フィルタを有することができる。このような偏光フィルタは、グレア及び観測された画像における反射光の効果を減少させることができる。この実施例において、標的化サブシステム２００は、さらに、取付けプレート背後の挿入カメラスタック２０６を有する。或る実施形態において、標的化サブシステム２００は、さらに、手術野に対する広角視野を有するカメラを有することができる。
【0037】
幾つかの実施形態において、カメラ２０４及び／又はカメラ２０５は、それらの光学的及び／又は撮像の感度を向上させるため冷却することができる。或る実施形態において、カメラ２０４及び／又はカメラ２０５は、標的組織部位に埋め込んだ複数電極の詳細な３次元マップを生成するに十分な感度があるものとすることができる。カメラ２０４及び／又はカメラ２０５は、本開示によって限定されないが、冷蔵システム、液体窒素及び／又は水素のような冷却流体、又は任意な他の方法により、冷却及び／又は低温維持することができる。
【0038】
この実施例において、光源２０８及び２０９は、それぞれカメラ２０４及び２０５の近傍に設置される。この近接性は技術的利点をもたらすことができ、これはすなわち、標的を明るく照らすのに少ないエネルギーで済ませ、またより少ない影しか発生しないからである。幾つかの実施形態において、光源は装置周りに分散させることができ、これは本開示に限定されない。カメラ２０４及び２０５は、標的化カメラアクチュエータ２０２によって独立して制御する、パンする、向き決めする及び／又は合焦することができる。
【0039】
幾つかの実施形態において、光源は、生体組織及び血管のような形体を区別することができる方向に光を当てるよう構成することができる。とくに、標的化コンポーネントは、ロボット外科手術システムが外科手術埋込み処置中の血管損傷を回避できるよう、血管を撮像することができる。例えば、一実施形態において、光源２０８及び２０９は、約５９０ナノメートルの波長を有する琥珀色（アンバー）光で手術野を照らすよう構成することができる。アンバー光はヘモグロビンによって吸収することができ、これによりカメラが取得した画像を使用して、生体組織と血管との間の相違を区別することができる。他の実施例において、光源２０８及び２０９は、血管を見るための十分なコントラストを生ずるよう、約５２５ナノメートルの波長を有する緑色（グリーン）光を使用することができる。第３の実施例において、光源２０８は、ポリイミドのような電極材料によって吸収されて材料に蛍光を発生させる光を使用することができる。種々の実施形態において、電極は、ポリイミドのような蛍光性芳香族剛性鎖ポリマーを含むことができ、又はポリイミド、及び／若しくは他の蛍光性材料若しくは蛍光性分子を含むことができ、これらは本開示によって限定されない。或る実施形態において、蛍光発生した光は、吸収された光より長い波長とすることができる。カメラ２０４及び２０５は、脳のような生体組織２０８に埋め込んだ複数電極の３次元マップを作成するため、材料が蛍光発生した光を捕捉することができる。
【0040】
標的化サブシステム２００の挿入ヘッドは、スレッドループ内へのニードル案内、挿入標的化、挿入ライブビュー、及び挿入検証をするのに使用される、カメラ２０４、２０５及び挿入カメラスタック２０６のような撮像スタックを有することができる。これに加えて、挿入ヘッドは、それぞれが独立して、４０５ｎｍ、５２５ｎｍ、及び６５０ｎｍ又は白色光で照らすことができる光源２０８及び２０９のような多数の独立した光モジュール（例えば、６個又は任意な他の個数の光モジュール）を含むことができる。立体カメラ、ソフトウェアベースの単眼拡張被写界深度計算、及び５２５ｎｍ光による照明は、皮質表面の場所を正確に推定することを可能にする。幾つかの実施形態において、以下に説明するデバイス係合機能は、４０５ｎｍ光を使用する挿入ヘッド２００によって実施することができる。
【0041】
カメラ２０４が取得した画像をコンピューティングシステムに送信することができる。或る実施形態において、コンピューティングシステムは、空間的帯域フィルタのようなフィルタを適用して、長さスケールに基づいて血管を識別することができる。或る実施形態において、コンピューティングシステムは、生体構造及び組織が画像内で区別可能となるよう取得した画像を処理することができる、又は脳の外側輪郭又は生体組織２０８内の特別な標的部位のような、生体組織２０８の輪郭又は表面マップを決定することができる。或る実施形態において、コンピューティングシステムは、複数カメラ（例えば、左側及び右側のカメラ）からの標的組織画像に基づいて合成画像（例えば、立体合成画像）を形成することができ、これにより拡張被写界深度（ＥＤＦ：Extended Depth of Field）情報を提供することができる。
【0042】
コンピューティングシステムのユーザー・インタフェースを使用して、ユーザーは１つ又はそれ以上の埋込み型電極デバイスの埋込みのための標的場所を選択することができる。幾つかの実施形態において、コンピュータソフトウェアは、自動的に埋込みのための標的場所を提案することができる。ユーザー・インタフェースは、コンピューティングシステムのユーザーが自動的に生成した提案標的場所を承認することができる。このような自動生成提案標的場所は取得した画像に基づくものとすることができ、これは、例えばコンピュータ視覚、人工知能、又は機械学習発見的問題解決法を画像に適用することによって行うことができる。コンピューティングシステムは、血管を回避して、関心対象部位を記録及び／若しくは活性化する部位にとってジオメトリ的に有利であり、並びに／又は最小離間距離である標的場所を提案することができる。幾つかの実施形態において、コンピューティングシステムは、標的部位を自動的に決定及び／又は選択するのにこのような発見的問題解決法を適用することができ、またユーザーからの入力は不要とする。幾つかの実施形態において、コンピューティングシステムは、さらに、ロボットアセンブリを位置決めし、カメラ２０４に対して手術野をスキャンするよう命令し、また合成画像における脳のような標的組織を探し出すことができる。
【0043】
標的化サブシステム２００の挿入ヘッドは、さらに、以下に図７の実施例において更に説明するように、ニードルペンチカートリッジ（ＮＰＣ）２１０、ペンチアクチュエータ２１２，インラインの力（ちから）センサを有するニードルアクチュエータ２１４を保持することができる。ＮＰＣは、ニードル２２０及びニードルペンチ２２２を有することができる。
【0044】
＜II. 埋込み型デバイス係合コンポーネント＞
図３は、本発明実施形態による、電極を可視化しまたロボット係合させるための例示的システム３００を示す。図３の実施例において、デバイス係合サブシステム３００は別個のシステムとして示す。しかし、幾つかの実施形態において、挿入ヘッド及びデバイス係合サブシステム３００の機能は、その代わりとして、単一装置によって実施することができる。例えば、幾つかの実施形態において、デバイス係合サブシステム３００が実施するものとして本明細書に記載される機能は、代わりとして、挿入ヘッドのコンポーネント、又は単一の統合型ロボット外科手術及びコンピュータ視覚システムによって実施することができる。代案として、デバイス係合サブシステム３００の一部として本明細書に記載されるコンポーネントを挿入ヘッド又は単一システム内に統合することができる。
図３は、本発明実施形態による、電極を可視化しまたロボット係合させるための例示的システム３００を示す。図３の実施例において、デバイス係合サブシステム３００は別個のシステムとして示す。しかし、幾つかの実施形態において、挿入ヘッド及びデバイス係合サブシステム３００の機能は、その代わりとして、単一装置によって実施することができる。例えば、幾つかの実施形態において、デバイス係合サブシステム３００が実施するものとして本明細書に記載される機能は、代わりとして、挿入ヘッドのコンポーネント、又は単一の統合型ロボット外科手術及びコンピュータ視覚システムによって実施することができる。代案として、デバイス係合サブシステム３００の一部として本明細書に記載されるコンポーネントを挿入ヘッド又は単一システム内に統合することができる。
【0045】
この実施例において、デバイス係合コンポーネントは、埋込み型電極デバイスの係合素子を挿入ニードルの相反係合素子に着脱可能に連結するようロボットアセンブリ（例えば、ロボットマニュピレータ、等々）を観測かつ案内するのに使用される画像を取得するよう構成されているカメラ３０２及び３０４を有する。幾つかの実施形態において、電極をニードルに係合させるのに使用されるロボットアセンブリは、図２の実施例における挿入ヘッド２００のような挿入ヘッドの一部とすることができるが、デバイス係合サブシステム３００のカメラ３０２及び３０４が取得する画像に基づいてシステムによって制御することができる。他の実施形態において、デバイス係合を案内するのに使用されるカメラは、その代わりとして挿入ヘッドに配置することができる、又は代案として、デバイス係合サブシステム３００及び挿入ヘッドの双方を単一ロボット外科手術システムに統合することができる。
【0046】
挿入ニードルは、埋込み型電極デバイスに係合するよう構成することができ、例えば、ニードルは電極におけるポリイミドループに挿通することができる。或る実施形態において、ループは、約（１６×５０）μｍ２であると測定できる。代案として、種々の実施形態において、それぞれに対応する係合素子は、フック、カップ、突出部、拡張アーム、「ｖ」字部、等々を有することができる。埋込み型デバイス係合コンポーネントは、さらに、光源３０６のような１つ又はそれ以上の光源を有することができ、この光源は、手術野に光を当て、電極デバイス及び挿入ニードルを照らす又は照射するとともに、それらをカメラ３０２及び３０４によって撮像するよう構成される。
【0047】
図３に示すように、複数の埋込み型電極デバイスはカートリッジ-ピルボックス・アセンブリ３０８内に配列することができ、また電極のための係合形体は、カートリッジ部分に配列することができる。カートリッジ-ピルボックス・アセンブリ３０８及び挿入ニードルの位置は１つ又はそれ以上のロボットアセンブリによって制御することができる。種々の実施形態において、ロボットアセンブリは、ロボットアーム、ロボットマニュピレータ、又は任意な他のロボット装置を有することができるが、これは本開示によって限定されない。
【0048】
ロボット係合中、ロボットアセンブリは、コンピュータ視覚技術を使用して画像を処理することができる処理ユニット又はコンピューティングシステムによって案内することができる。ロボットアセンブリは、以下の図１０の実施例におけるコンピューティングシステム１００８、又は以下の図１５Ａの実施例におけるコンピューティングシステム１５００のような処理ユニットに通信可能に接続することができる。コンピューティングシステムは、ロボットアセンブリからそれらの位置、向き等々に関する情報を受け取るよう構成することができる。コンピューティングシステムは、さらに、カートリッジ及び／又はニードルにおける埋込み型デバイスを撮像するよう構成されたカメラ３０２及び３０４のような複数のカメラに通信可能に接続することができる。コンピュータシステムは、さらに、ロボットアセンブリの位置を制御するようロボットアセンブリに信号を送信するよう構成することもできる。種々の実施形態において、これらの命令としては、特定の動きを受け持つ低レベル命令又はロボットアセンブリが解釈することができる高レベル命令があり得る。
【0049】
代表的な実施形態において、複数の埋込み型電極デバイスにおける係合形体（例えば、ループ）はカートリッジに不動に保持される。システムはコンピュータ視覚技術を使用して、カメラ３０２及び３０４によって撮られたニードル及び係合形体の画像に基づいて係合形体にニードルを整列させるよう駆動することができる。ニードルをループ内に挿入した後、以下に図７の実施例におけるニードルペンチ７０２のようなニードルペンチは、ニードルペンチカートリッジ（ＮＰＣ）から突出して、またニードルに向かって回転することができる。ＮＰＣは、標的組織と直接接触する挿入ヘッド２００の部分である。ペンチは、ＮＰＣが電極のスレッドをパリレン裏当てから剥ぎ取り、またそのスレッドを標的組織における挿入部位に駆動するとき、電極ループのネック部をニードルのカニューレ状先端に挟み付けるよう回転することができる。この後、ロボットアセンブリはＮＰＣを標的組織に駆動し、そこでニードルがカニューレに貫通し、また組織に進入することができる。この後、ニードルを再使用のため後退させるとき、電極及びループは組織内に留まることができる。或る実施形態において、ＮＰＣは、外科手術中１分足らずで交換できる消耗品である。
【0050】
幾つかの実施形態において、光源３０６は、係合形体の撮像を向上させる光を当てるよう構成することができる。例えば、光源３０６は、埋込み型電極デバイスに関連する材料又は係合形体に含まれる材料に基づいて選択された波長の光を発生することができる。例えば、近紫外（近ＵＶ）光は、係合形体を製造するのに使用されるポリイミドによって吸収され得る。とくに、これらの波長による照射は、ポリイミドから蛍光を励起することができ、これによりカメラ３０２及び３０４がポリイミドのエッジをより一層鮮明に解像することを可能にする。種々の実施形態において、近ＵＶ光は、３００ｎｍ～４２５ｎｍの間、又は３９０ｎｍ～４２５ｎｍの間における波長、例えば、約４０５ｎｍの波長を有することができる。他の実施形態において、幾つかの他の波長、例えば３９５ｎｍ波長を使用することができる、又はシステムは波長の組合せを使用することができる、若しくは異なるタイプの光間で、近ＵＶ光と単色可視光との間で周期循環することができる。近ＵＶ照明は、光学的スタック及びコンピュータ視覚がスレッドループを信頼性高く見つけ出し、またニードルをそこに挿通又は案内するサブミクロン的視覚のサーボ動作を実行することを可能にする。或る実施形態において、このサーボ動作は６５０ｎｍ光によって照らすことができる。
【0051】
代案として、光源３０６は、とくに、挿入ニードルを撮像するのに有用な赤色光、又は白色光のような可視光を当てることができる。赤色光を使用することは、ニードルを構成する金属からより強くかつ明瞭に反射することによって技術的な優位性をもたらすことができ、またカメラ３０２及び３０４がニードル先端の解像度を明瞭にすることを可能にする。種々の実施形態において、複数光源を使用して異なるタイプの光を当てるようにすることができ、又は光源は異なるタイプの光間で周期循環させることができる。
【0052】
光源３０６は、レーザー及び／又は発光ダイオード（ＬＥＤ）とすることができる。この実施例において、光源３０６はライトパイプである。他の実施形態において、光源３０６は、独立した光モジュールを有することができる。
【0053】
幾つかの実施形態において、カメラ３０２及び３０４は、互いに角度をなす（例えば、この角度は約４５°又は任意な他の角度とし得るが、本開示によって限定されない）よう構成することができる。或る実施形態において、カメラ３０４のような第１前方ビューカメラは、前方ビューでカートリッジに配列された複数埋込み型デバイスにおける係合形体を撮像するよう構成することができる。カメラ３０２のような第２側方ビューカメラは、側方ビューでカートリッジに配列された複数埋込み型デバイスにおける係合形体を撮像するよう構成することができる。コンピュータ視覚技術を用いてこれら複数のビューを組み合わせることにより、システムは、電極デバイス、挿入ニードル、及び／又は任意な他の対象物の３次元（３Ｄ）場所を三角測量することができる。幾つかの実施形態において、カメラ３０２及び３０４は、手術野に対して、またより具体的には、ピルボックス-カートリッジアセンブリに対して相対移動するよう構成することができる。とくに、カメラは、パン作動アセンブリ３１０及び合焦作動アセンブリ３１２により、それぞれパン及び合焦させることができる。
【0054】
幾つかの実施形態において、異なる個数又は形態のカメラを使用することができる。例えば、電極スレッドに合焦するカメラは、個別のデバイス係合サブシステムアセンブリ３００におけるよりも、図２の実施例における標的化サブシステム２００の挿入ヘッドに直接設置することができる。代案として、或る実施形態において、デバイス係合を案内するのに使用されるカメラは、その代わりとして、挿入ヘッドに配置することができる、又はデバイス係合サブシステム３００及び挿入ヘッドの双方を単一のロボット外科手術システムに統合することができる。
【0055】
或る実施形態において、カメラは、独立したモーション軸上及び／又は異なる角度形態に配置することができるが、本開示によって限定されない。或る実施形態において、１つ又はそれ以上のカメラは顕微鏡内に統合することができる。
【0056】
或る実施形態において、光源３０６のような１つ又はそれ以上の光源は、照明状態と消滅状態との間で、及び／又は光の異なる波長光間で周期動作することができる。例えば、１つ又はそれ以上の光源は、電極デバイスにおける材料によって吸収される光（例えば、約３９５ｎｍ又は４０５ｎｍ波長の近ＵＶ光）と、挿入ニードルを照明するのに使用される光（例えば、赤色光）との間で周期動作又はストロボ動作することができる。このように、異なる光を使用して異なる対象物を撮像することができる。或る実施形態において、２つの別個の光源（例えば、レーザー及び／又はＬＥＤｓの任意な組合せ）が、それぞれ電極デバイスによって吸収される光及び挿入ニードルを照明する光を発生することができる。これら２つの光源は、交互のタイミングでオン及びオフとなるストロボ動作をすることができ、これにより一方の光源のみが任意な所定時間に照明される。或る実施形態において、このような周期動作又はストロボ動作は、カメラ３０２及び３０４のような別個のカメラが、手術野、電極デバイス、及び挿入ニードルの異なる視点及び／又は異なる局面を撮像する機会をもたらす。例えば、カメラ３０２及び３０４は、相対角度（例えば、４５°又は他の角度）をなすよう構成することができ、また異なるストロボ動作光の下で電極デバイス及び挿入ニードルを撮像することができる。或る実施形態において、周期動作又はストロボ動作は素早いものとすることができる。
【0057】
この実施例において、光源３０６は、カメラ３０２及び３０４の近傍に設置される。この近接性は技術的利点をもたらすことができ、これはすなわち、標的を明るく照らすのに少ないエネルギーで済ませ、またより少ない影しか発生しないからである。幾つかの実施形態において、光源は装置周りに分散させることができ、またこれは本開示に限定されない。
【0058】
或る実施形態において、カメラ３０２及び／又は３０４は、その光学的及び／又は撮像に関する感度を高めるため冷却することができる。一方のカメラは、電極デバイスからの、例えば、電極デバイスに含まれるポリイミドからの比較的かすかな蛍光に対する感度を高めるため冷却することができる。或る実施形態において、カメラ３０２及び／又は３０４は、顕微鏡的電極係合形体及び挿入ニードルを撮像するに十分な感度を有することができる。カメラ３０２及び／又は３０４は、本開示によって限定されないが、冷蔵システム、液体窒素及び／又は水素のような冷却流体、又は任意な他の方法により、冷却及び／又は低温維持することができる。
【0059】
図４は、本発明実施形態による、白色光を当てたニードル４０２及び係合コンポーネント４０４の例示的画像を示す。この実施例において、画像は、図３の実施例におけるカメラ３０２及び３０４のようなデバイス係合システムにおけるカメラによって、また白色光による照明の下で撮られている。図から分かるように、ニードル４０２及び係合コンポーネント４０４はこの画像においてぼやけて見え、またシステムにとって係合コンポーネント４０４のループを判別するのが困難である。同様に、ニードル４０２は薄暗く見える。或る実施形態において、コンピュータ視覚技術及び埋込み型デバイス係合サブシステムは、ニードル４０２及び係合コンポーネント４０４を信頼性高く係合させるに十分な程度にニードル４０２及び係合コンポーネント４０４の位置及び向きを決定することができない。とくに、偽正又は負検出等々のようなニードル４０２及び係合コンポーネント４０４の誤検出を回避することは重要である。したがって、幾つかの実施形態において、ニードル４０２及び係合コンポーネント４０４を撮像するため、近ＵＶ放射源のような単色光源及び／又は他の特別な光源を使用することができる。
【0060】
図５は、本発明実施形態による、照射に応答して蛍光を発している係合コンポーネント５０２の例示的画像を示す。この実施例において、係合コンポーネント５０２は、４０５ｎｍのような近ＵＶ波長による照射に応答して緑色光の蛍光を発生する。この画像は、係合コンポーネント５０２が蛍光する緑色光に基づいて、図３の実施例におけるカメラ３０２及び３０４のようなデバイス係合システムにおけるカメラによって撮られている。図から分かるように、係合コンポーネント５０２は、図４の実施例よりも鮮明に見えており、したがって、システムはそれを正確に探し出すことができる。
【0061】
幾つかの実施形態において、システムはコンピュータ視覚のために白黒画像を使用することができる。代案として、システムはコンピュータ視覚のために色データを使用することができる。色付き画像を使用することによって、システムは、白黒画像に比べて付加的情報を使用することができる。この実施例において、ポリイミドループは緑色で蛍光発色するため、画像の色データは、システムがデバイス係合コンポーネント５０２を識別する、及び／又はデバイス係合コンポーネント５０２を画像における他の対象物から区別するのに役立てることができる。
【0062】
図６は、本発明実施形態による、赤色光を用いて撮影したニードル６０２及び係合コンポーネント６０４の例示的画像を示す。この実施例において、赤色光を用いて、図３の実施例におけるカメラ３０２及び３０４のような、デバイス係合システムにおけるカメラによって撮られている。幾つかの事例において、画像は赤の背景を用いて撮ることもできる。
【0063】
赤色光を使用することは、ニードル６０２を構成する金属からより強くかつはっきりと反射することによって技術的利点をもたらすことができる。図から分かるように、ニードル６０２は図４の実施例におけるよりも鮮明に見え、これによりシステムはそれをより正確に探し出すことができる。とくに、赤色背景とともに、赤色光を使用することは、カメラがニードル先端の極めて画定されたエッジで画像を解像することができる。したがって、幾つかの実施形態において、システムは、ニードル６０２の先端の位置及び／又は向きを検出するため赤色光を使用する。赤色光を使用することは、偽正又は負検出等々のような誤検出を回避するのに役立てることができる。
【0064】
幾つかの実施形態において、システムは、コンピュータ視覚のために白黒画像を使用ことができる。代案として、システムは、コンピュータ視覚のために色データを使用ことができる。
【0065】
＜III. 電極埋込み＞
システムは、血管を回避し、また分散した脳領域から記録するよう多数のポリマープローブを迅速かつ信頼性高く標的化することができる、可撓性プローブ挿入のためのロボット挿入手法を使用することができる。ロボット挿入ヘッドは移動ステージ上に備え付けることができる。例えば、全体的に１０μｍ精度で、４００ｍｍ×４００ｍｍ×１５０ｍｍの３軸移動ステージを使用することができる。種々の実施形態において、挿入ヘッドは他の移動ステージ上に備え付けることができるが、本開示によって限定されない。挿入ヘッドは、以下に説明するように、小さく、迅速交換可能なニードル-ペンチアセンブリを保持することができる。
システムは、血管を回避し、また分散した脳領域から記録するよう多数のポリマープローブを迅速かつ信頼性高く標的化することができる、可撓性プローブ挿入のためのロボット挿入手法を使用することができる。ロボット挿入ヘッドは移動ステージ上に備え付けることができる。例えば、全体的に１０μｍ精度で、４００ｍｍ×４００ｍｍ×１５０ｍｍの３軸移動ステージを使用することができる。種々の実施形態において、挿入ヘッドは他の移動ステージ上に備え付けることができるが、本開示によって限定されない。挿入ヘッドは、以下に説明するように、小さく、迅速交換可能なニードル-ペンチアセンブリを保持することができる。
【0066】
図７は、本発明実施形態による、ニードルペンチカートリッジ（ＮＰＣ）７０６における挿入ニードル７０２及びペンチ７０４を示す。ＮＰＣ７０６は、標的組織に直接接触する挿入ヘッド２００の一部分である。或る実施形態において、ＮＰＣ７０６は、外科手術中１分足らずで交換できる消耗品である。ニードル７２は、電気化学的にエッチングした４０μｍ直径のタングステン-レニウム製ワイヤ原材料から挿入長さに沿って２４μｍ直径までミリング加工することができる。挿入ニードル７０２の先端は、図５の実施例における挿入ループに引っ掛けることによってのような、個別スレッドを移送及び挿入するため、電極の相反係合コンポーネントに係合するよう設計される。ニードル７０２の先端は、さらに、髄膜及び脳組織に貫入するよう設計される。挿入ニードルは、可変挿入速度及びプローブをニードルから分離し易くする迅速後退加速度（３０,０００ｍｍ／ｓ２）を可能にするリニアモータによって駆動することができる。ペンチは、先端を曲げた５０μｍタングステンワイヤとすることができ、軸方向及び回転方向の双方に駆動することができる。これは、移送中のプローブ支持体としてまたガイドとしての役目を果たし、ニードル経路に沿ってスレッドを確実に挿入する。
【0067】
係合及び挿入中に、ペンチは、ＮＰＣが電極のスレッドをパリレン裏当てから剥ぎ取り、またそのスレッドを標的組織における挿入部位に駆動するとき、電極ループのネック部をニードルのカニューレ状先端に挟み付けるよう回転することができる。ロボットアセンブリはＮＰＣを標的組織に駆動し、そこでニードルがカニューレに貫通し、また組織に進入することができる。この後、ニードルを再使用のため後退させるとき、電極及びループは組織内に留まることができる。
【0068】
図８は、本発明実施形態による、標的組成代用物８０８に電極を埋め込む状況を示す。とくに、図８は、アガロース脳組織代用物内に挿入プロセスのステップシーケンスを示す。この実施例において、ニードルは、複数の電極（例えば、３２本の電極）を保持することができる第１スレッドを先ず挿入し、次いで複数の第２電極を保持する第２スレッドを挿入する。
【0069】
挿入ヘッドは、スレッドループ内にニードルを案内し、挿入標的化し、挿入をライブビューし、また挿入検証するために使用される図２の実施例におけるカメラ２０４、２０５、及び２０６のような撮像スタックを保持する。さらに、挿入ヘッドは、それぞれが４０５ｎｍ、５２５ｎｍ及び６５０ｎｍの光又は白色光で照明することができる、図２の実施例における光源２０８のような光モジュールを含む。図３及び５の実施例で上述したように、４０５ｎｍの照明は、ポリイミドから蛍光を励起し、また光学的スタック及びコンピュータ視覚が（１６×５０）μｍ２のスレッドループが探し出すことを可能にし、また６５０ｎｍで照明してニードルをそこに案内するサブミクロン的視覚のサーボ動作を実行することを可能にする。立体カメラ、ソフトウェアベースの単眼拡張被写界深度計算、及び５２５ｎｍ光による照明は、皮質表面の場所を正確に推定することを可能にし得る。
【0070】
ロボットは、頭蓋骨におけるランドマークを有する共通座標フレームに挿入部位を登録し、これを深さ追跡と組み合わせるとき、解剖学的に規定される脳構造の精密標的化ができる。統合特注コンピュータ命令は、すべての挿入部位の予選択を可能にし、スレッドにおけるもつれ及び歪みを最小にするよう最適化された挿入経路のプランニングを有効にする。プランニング特徴は、電極を個別に挿入する重要な利点の一つである、挿入中の血管回避能力を際立たせる。このことは、血管-脳バリアに対する損傷を回避し、これにより炎症反応を減少する上で技術的利点をもたらすことができる。或る実施形態において、ロボットは、１分間あたり６スレッド（１９２電極）までも挿入できる自動挿入モードを特徴にすることができる。挿入手順全体を自動化するとともに、外科医は制御を保持することができ、また皮質のような標的組織への各挿入をする前にスレッド位置に対する手動の微調整をすることができる。脳神経外科ロボットは無菌シュラウド環境に適合性があり、上首尾で迅速な挿入を容易にする特徴、例えば、ニードルの自動殺菌超音波クリーニングの特徴を有する。
【0071】
図９は、本発明実施形態による、脳組織に埋め込んだ電極の例を示す。代表的な実施例において、開示したシステム及び方法は、スレッド９０８のような９６本のポリマースレッドを標的組織内に埋め込むことができ、各スレッドは３２本の電極を有し、アレイにおける電極は合計３,０７２本である。電極はコンパクトで細くまた可撓性があり、５～５０μｍのスレッド幅及び４～６μｍの公称スレッド太さを有するよう設計される。代表的な実施例において、スレッド長さは約２０ｍｍとすることができる。これらプローブの小さいサイズ及び増大した可撓性は、より高い生体適合性をもたらし、プローブが免疫反応を引き起こすトリガとならず、長期間にわたる埋込み状態に留まることができるようにする。小さいスレッド断面積も標的における組織変位を最小化することができる。
【0072】
＜IV. 挿入検証コンポーネント＞
図１０は、本発明実施形態による、ロボット外科手術的埋込みシステムの例示的検証コンポーネントを概略的に示す。この実施例において、この検証コンポーネントは、埋込み型電極デバイス１００４の標的組織部位１００６における埋込みの視覚的検証をもたらすよう構成された１つ又はそれ以上のカメラ１００２を有することができる。幾つかの実施形態において、挿入検証は、図２の実施例における挿入ヘッド２００のような挿入ヘッドのコンポーネントによって実施することができる。代案として、挿入検証は、別個のサブシステムによって実施することができ、またこれは本開示によって限定されない。
図１０は、本発明実施形態による、ロボット外科手術的埋込みシステムの例示的検証コンポーネントを概略的に示す。この実施例において、この検証コンポーネントは、埋込み型電極デバイス１００４の標的組織部位１００６における埋込みの視覚的検証をもたらすよう構成された１つ又はそれ以上のカメラ１００２を有することができる。幾つかの実施形態において、挿入検証は、図２の実施例における挿入ヘッド２００のような挿入ヘッドのコンポーネントによって実施することができる。代案として、挿入検証は、別個のサブシステムによって実施することができ、またこれは本開示によって限定されない。
【0073】
検証コンポーネントは、さらに、コンピューティングシステム１００８のような処理ユニットと、ロボットアセンブリ１０１０及びロボットアセンブリ１０１２のような１つ又はそれ以上のロボットアセンブリとを含むことができる。コンピューティングシステム１００８は、埋込み型電極デバイス１００４及び／又は挿入ニードルが適正に埋め込まれたかを決定するため、コンピュータ視覚発見的問題解決法に従ってカメラ１００２が取得した画像を処理することができる。この決定に基づいて、コンピューティングシステム１００８は、さらに、ロボットアセンブリ１０１０及びロボットアセンブリ１０１２に対して電極デバイスの位置決め又は埋込みを正確にする動きをとらせるよう命令することができる。第２の実施例において、コンピューティングシステム１００８は更なる動きは不要であるとの決定をすることができ、ロボット外科手術は次のステージ、例えば、図８及び９の実施例におけるようなその後のスレッド埋込みに進むことができる。
【0074】
幾つかの実施形態において、検証コンポーネントは、さらに、光源１００８を有することができる。光源１００８は、埋込み型電極デバイス１００４又はそのワイヤに関連する材料が蛍光として見えるよう選択された波長の光で埋込み型電極デバイス１００４を照明することができる。とくに、カメラ１００２のような検証コンポーネントは、標的組織部位１００６に埋め込んだ複数電極の３次元マップを生成するため、材料が発生した蛍光を捕捉することができる。
【0075】
＜V. ロボット外科手術的埋込み技術＞
図１１は、本発明実施形態による、デバイス係合及びロボット外科手術的埋込みの例示的プロセス１１００を示すフローチャートである。とくに、開示したロボット外科手術システムは、電極デバイスを生体組織内に埋め込むのに使用することができる。
図１１は、本発明実施形態による、デバイス係合及びロボット外科手術的埋込みの例示的プロセス１１００を示すフローチャートである。とくに、開示したロボット外科手術システムは、電極デバイスを生体組織内に埋め込むのに使用することができる。
【0076】
第１ステップ１１０２において、ロボット外科手術システム、及び／又は図３に示す埋込み型デバイス係合コンポーネントは、電極のポリマー部分に光の近紫外（近ＵＶ）波長を用いて照射することができる。近ＵＶ放射は図３の光パイプ（光ファイバ）アセンブリ３０６のような第１光源から発生させることができる。或る実施形態において、第１光源は第１ＬＥＤ又は第１レーザーとすることができる。近ＵＶ波長は、ポリイミドが吸収できるレンジ、例えば、３９０ｎｍ～４２５ｎｍの間における波長を選択することができる。ポリマー部分は、照射に応答して蛍光を発生できるポリイミドループのような電極の相反係合コンポーネントとすることができる。
【0077】
第２ステップ１１０４において、ロボット外科手術システム、及び／又は図３の実施例におけるカメラ３０４のような第１カメラは、ポリマー部分の第１画像を取得することができる。第１画像は、図４の実施形態におけるような照射に応答してポリマー部分から発生した蛍光により撮ることができる。
【0078】
他の実施形態において、光は、ポリイミド又は電極、挿入ニードル又は係合形体における他の材料によって吸収され得る。したがって、或る実施形態において、画像は、白色背景で黒色対象物として係合形体を描くことができる。
【0079】
第３ステップ１１０６において、ロボット外科手術システム、及び／又は図３の実施例におけるカメラ３０２のような第２カメラは、ポリマー部分の第２方向に沿う第２画像を取得することができる。第２画像は、やはり図４の実施形態におけるような照射に応答してポリマー部分から発生した蛍光により撮ることができる。第２カメラは、第１カメラに対して或る角度、例えば、４５°又は何らかの他の角度をなすことができ、第２カメラは、異なる角度でのポリマー部分を示すことができる。或る実施形態において、２つの画像は、コンピュータ視覚技術を用いて組み合わされて、ポリマー部分に関する深度情報を含む位置及び向き情報を決定することができる。
【0080】
或る実施形態において、第１カメラは、電極に関連する投影エッジ（「ナイフエッジ」と称することができる）にほぼ直交するよう配置することができ、第２カメラは、第１カメラに対して角度をなして配置することができる（すなわち、第２カメラは第１カメラに平行とならないようにすることができる）。この相対角度によれば、２つのカメラが深度情報を取得できるようにする。例えば、この相対角度は４５°にほぼ等しい又は任意な他の角度にすることができるが、本開示によって限定されない。或る実施形態において、相対角度は、ナイフエッジの平面及び／又は電極デバイスを収容するカートリッジの平面内で測定することができる。第１正面ビューカメラは、カートリッジに配列される複数の埋込み型デバイスの係合形体の正面ビューを撮像するよう構成することができる。第２側面ビューカメラは、カートリッジに配列される複数の埋込み型デバイスの係合形体の側面ビューを撮像するよう構成することができる。第１正面ビューカメラからのビューを使用して、手術野のｘ-ｙ平面に沿う係合形体の全体的位置を三角測量することができる。第２側面ビューカメラからのビューを使用して、手術野のｚ平面に沿う係合形体の位置を三角測量することができる。
【0081】
第４ステップ１１０８において、システム及び／又はプロセッサは第１及び第２の画像を処理して、電極の３次元（３Ｄ）場所を三角測量することができる。システムは、画像処理をするようコンピュータ視覚発見的問題解決法を使用することができる。或る実施形態において、電極場所三角測量ステップは、第１画像及び第２画像に基づいて、ニードルを埋込み型デバイスに係合させるようロボットアセンブリの動きに関連する電極の３Ｄ座標を決定するステップを含む。
【0082】
第５ステップ１１１０において、システム及び／又は図３の光ファイバアセンブリ３０６のような第２光源は、可視光を使用して挿入ニードルを照明することができる。或る実施形態において、システムは、電極デバイスを蛍光発生させない光の波長でニードルを照明するのに光源を使用する。種々の実施形態において、可視光は、赤のような特定の色とすることができる、又は白色光とすることができる。赤色光を使用することは、ニードルを構成する金属からより強くまたはっきりと反射することによって技術的利点をもたらすことができる。或る実施形態において、第２光源は、第２ＬＥＤ又は第２レーザーとすることができる。
【0083】
次に、第６ステップ１１１２において、システム及び／又は第１カメラは挿入ニードルを撮像することができる。幾つかの実施形態において、第２カメラが、第１カメラの代わりに又は付加的に、挿入ニードルを撮像することができる。或る実施形態において、カメラは、ステップ１１１０におけるニードルが反射した可視光の使用によりニードルを撮像する。
【0084】
第７ステップ１１１４において、ロボット外科手術システム、及び／又は図３に示すような埋込み型デバイス係合コンポーネントは、電極のポリマー部分を挿入ニードルにロボット制御で係合させることができる。動作ステップ１１０８及び１１１２で決定された取得画像及び／又は３Ｄ場所（例えば、座標）に基づいて、システムは、１つ又はそれ以上のロボットアセンブリをニードルに係合させるよう構成することができる。
【0085】
第８ステップ１１１６において、ロボット外科手術システム、及び／又は図３に示すような埋込み型デバイス係合コンポーネントは、次に挿入ニードルの係合素子を電極に連結した相反係合素子にロボット制御で取り付けるようことができる。これは、３Ｄ場所及びカメラが撮った画像に基づいて行うことができる。例えば、システムは、標的組織における外科手術的埋込み準備のため、図３の実施例におけるカートリッジ３０８のようなカートリッジから電極を取り出すよう、ロボット制御で挿入ニードルを電極のポリイミドループに挿通させることができる。第２実施例において、システムは、ロボット制御で、電極の係合素子（例えば、ループ、フック、カップ、突出部、延長アーム、「Ｖ」字状部、等々）を挿入ニードルに連結される相反係合素子に取り付けることができる。さらにまた、コンピューティングシステム又は処理ユニットは、ロボットアセンブリの動きの詳細を決定する及び／又はロボットアセンブリに対して命令を送信することができる。例示的実施形態において、ロボットアセンブリの動きの環境設定は、ロボットアセンブリに関連する座標又は３Ｄ場所に基づくものとすることができ、また命令はロボットアセンブリの動きを設定する構成とすることができる。
【0086】
第９ステップ１１１８において、ロボット外科手術システム及び／又はロボットアセンブリは、次に埋込み型デバイス及びニードルを生体組織内に埋め込むことができる。電極を埋め込む前に、ロボット外科手術システム及び／又は図２に示すような標的化コンポーネントは、埋め込むための１つ又はそれ以上の標的組織を決定することができる。或る実施形態において、ロボット外科手術システムは、図１０の実施例におけるコンピューティングシステム１００８、又は以下の図１５Ａの実施例におけるコンピューティングシステム１５００のようなコンピューティングシステムを利用して、埋込み標的組織部位に基づいて手術プランを生成することができる。
【0087】
図１２は、本発明実施形態による、ロボット外科手術的埋込みの例示的プロセス１２００を示すフローチャートである。幾つかの実施形態において、例示的プロセス１２００は、図１１の実施例の動作ステップ１１１８における埋込み型デバイス及び／又はニードルの生体組織内への埋込みの際における追加的詳細を与えることができる。或る実施形態において、プロセス１２００は、図１及び２の実施例におけるようなロボット外科手術及び／又は標的化コンポーネントによって実施することができる。
【0088】
第１ステップ１２０２において、ロボット外科手術システム、及び／又は図２に示すような標的化コンポーネントは、埋込み用の１つ又はそれ以上の標的組織を決定することができる。ロボット外科手術システムは、さらに、図２の実施例におけるコンピューティングシステム２１０のようなコンピューティングシステムを利用して、埋込み標的に基づく手術プランを生成することができる。ロボット外科手術システムは、このプランを使用して、電極デバイスを埋め込むとき１つ又はそれ以上のロボットアセンブリを案内することができる。とくに、このプランは、１つ又はそれ以上のロボットアセンブリにおける動きの３次元座標を特定することができる。このような動きの３次元座標は、例えば、それぞれのロボットアセンブリにおける３つの作動軸線に関連して表現することができる。或る実施形態において、コンピューティングシステムは、ロボットアセンブリに適用可能な動きの３次元座標を決定するため、１つ又はそれ以上のカメラが撮った異なる視点からの画像のような立体画像を使用することができる。
【0089】
或る実施形態において、システムは、例えば、図２の実施例におけるカメラ２０４及び２０５のような、又は図１０の実施例におけるカメラ１００２のようなカメラを介して標的外科手術組織を撮像することができる。或る実施形態において、１つ又はそれ以上のカメラは顕微鏡内に統合して、標的部位の微視的詳細を捕捉することができる。
【0090】
第２ステップ１２０４において、ロボット外科手術システム、及び／又は図３に示すような埋込み型デバイス係合コンポーネントは、ピルボックス-カートリッジアセンブリ及びニードルを決定した標的に基づいて手術野に位置決めすることができる。或る実施形態において、システム及び／又は光源は、電極デバイスに関連する材料に基づいて選択された波長の光で電極を照明することができる。或る実施形態において、材料はポリイミドとし、また光の波長は、ポリイミドが吸収できるレンジの、例えば、３９０ｎｍ～４２５ｎｍの間における紫外波長内で選択することができる。システム及び／又は第１及び第２のカメラは、材料から反射した又は蛍光発生した光により電極の画像を取得することができる。他の実施形態において、光は、ポリイミド又は電極、挿入ニードル、又は係合形体における他の材料によって吸収され得る。したがって、或る実施形態において、画像は、白色背景で黒色対象物として係合形体を描くことができる。
【0091】
システム及び／又はプロセッサは、第１及び第２の画像、電極の場所を処理するためコンピュータ視覚発見的問題解決法を使用して三角測量することができる。或る実施形態において、電極場所の三角測量ステップは、ニードルを埋込み型デバイスに係合させるため、第１及び第２の画像に基づいて、ロボットアセンブリの動きに関連する電極の３次元座標を決定するステップを含む。
【0092】
第３ステップ１２０６において、ロボット外科手術システム、及び／又は図３に示すような埋込み型デバイス係合コンポーネントは、ニードルを埋込み型デバイスに係合させることができる。或る実施形態において、システム及び／又はカメラはニードルを撮像することができる。或る実施形態において、挿入ニードルを撮像するとき、電極に蛍光を発生させない光の他の波長でニードルを照明する光源、例えば、赤色光を使用する。取得した画像及び／又は動作ステップ１２０４で決定したロボットアセンブリの動きに関連する座標に基づいて、システムは、ニードルを係合させるよう１つ又はそれ以上のロボットアセンブリを構成することができる。例示的実施形態において、コンピューティングシステム又は処理ユニットは、ロボットアセンブリの動きの詳細を決定する及び／又はロボットアセンブリに対して命令を送信することができる。
【0093】
随意的な第６ステップ１２０８において、ロボット外科手術システム、及び／又は図２に示すような標的化コンポーネントは、標的外科手術組織を撮像することができる。
【0094】
随意的な第７ステップ１２１０において、ロボット外科手術システム、及び／又は図２に示すような標的化コンポーネントは、標的外科手術組織輪郭場所を決定することができる。例えば、この輪郭場所は、標的部位の２次元又は３次元の表面を特定することができる、又は神経組織構造のような標的組織の内部構造を特定することができる。種々の実施形態において、輪郭場所は、ベクトル描画、コンピュータ支援設計（ＣＡＤ）描画、及び／又は処理済み画像を含むことができる。或る実施形態において、システムは、さらに、決定した組織輪郭に基づいて、外科手術プランを生成する、及び／又は電極を外科手術的に埋め込むようロボットアセンブリを案内することができる。
【0095】
或る実施形態において、図１０の実施例におけるコンピューティングシステム１００８又は図１５Ａの実施例におけるコンピューティングシステム１５００のようなコンピューティングシステムは、組織の輪郭場所を決定するようステップ１２０８からの画像を解析することができる。標的組織の輪郭場所を決定するときに、コンピューティングシステムは、焦点スタッキング又はｚスタッキングのような標準フィルタを使用して、画像のどの部分が焦点に合っているかを決定することができる。例えば、コンピューティングシステムは、組織の輪郭マップを生成するため、特定場所における標的組織の高さを決定するよう特定ｚスタックにおける画像の合焦部分を使用することができる。或る実施形態において、コンピューティングシステムは、複数カメラ（例えば、左側及び右側のカメラ）からの標的組織画像に基づいて合成画像（例えば、立体合成画像）を形成することができ、これにより拡張被写界深度（ＥＤＦ）情報を提供することができる。このようにして、コンピューティングシステムは、複数画像を組み合わせて合成画像を取得することができ、また合成画像に基づいて表面マップを生成することができる。このような表面マップを使用して、合成画像における所与の場所での標的組織の高さ又は輪郭を決定することができる。幾つかの実施形態において、システムは、さらに、挿入検証のような他の目的のためにこのような輪郭マッピング技術を使用することができる。
【0096】
幾つかの実施形態において、システムは、標的組織の輪郭の特徴を決定するために、「タッチダウン」センサのようなセンサを使用することができる。とくに、システムは、標的組織の平面に沿って標的化を生ずるためにコンピュータ視覚技術を使用するとともに、タッチダウンセンサを使用して、コンピュータ視覚で画像化した平面に直交する方向における標的化を改善することができる。
【0097】
第６ステップ１２１２において、ロボット外科手術システム及び／又はロボットアセンブリは、次に埋込み型デバイス及び／又はニードルを生体組織内に埋め込むことができる。コンピューティングシステム又は処理ユニットは、電極デバイスを埋め込むとき１つ又はそれ以上のロボットアセンブリを案内する外科手術プランを使用することができる。とくに、ロボット外科手術システムはこのプランを使用して、電極デバイスを埋め込むとき１つ又はそれ以上のロボットアセンブリを案内することができる。或る実施形態において、このプランは、動きの３次元座標又は１つ若しくはそれ以上のロボットアセンブリにおける動きの３次元座標又は標的位置を特定することができる。このような動きの３次元座標は、例えば、それぞれのロボットアセンブリにおける３つの作動軸線に関連して表現することができる。或る実施形態において、コンピューティングシステムは、ロボットアセンブリに適用可能な動きの３次元座標を決定するため、１つ又はそれ以上のカメラが撮った異なる視点からの画像のような立体画像を使用することができる。
【0098】
したがって、コンピューティングシステム又は処理ユニットは、特定の動きを受け持つ低レベルの命令のような命令をロボットアセンブリに送信することができる。ロボットアセンブリは、ニードルを標的組織内に挿入し、ニードルを電極デバイスから離脱させ、またニードルを取り外すことができる。
【0099】
随意的な第７ステップ１２１４において、ロボット外科手術システム、及び／又は図１０に示すような挿入検証コンポーネントは電極を撮像することができる。
【0100】
第８ステップ１２１６において、ロボット外科手術システム、及び／又は図１０に示すような挿入検証コンポーネントは電極デバイスの生体組織内での埋込みを検証することができる。或る実施形態において、システム及び／又はカメラは、電極及び標的外科手術組織の画像を取得することができ、また画像に基づいて電極の埋込みを検証することができる。この検証に基づいて、コンピューティングシステムは、プロセス１２００を終了するか否か又は更なる修正が必要か否かを決定することができる。或る実施形態において、コンピューティングシステムは、電極デバイスの位置決め又は埋込みを修正するため、ロボット外科手術システム及び／又はロボットアセンブリに対してステップ１２０８に戻るよう命令することができる。或る実施形態において、システムは、埋込みを検証した後にのみ、ニードルを取り外すことができる。
【0101】
図１３は、本発明実施形態による、ロボット外科手術的埋込み中における標的化のための例示的プロセス１３００を示すフローチャートである。幾つかの実施形態において、例示的プロセス１３００は、図１１の実施例の動作ステップ１１０２における埋込み用の１つ又はそれ以上の標的組織決定に際しての追加的詳細を与えることができる。例示的プロセス１３００は、図２の実施例における標的化システム２００のような標的化コンポーネントによって実施することができる。
【0102】
第１ステップ１３０２において、光源は光を手術野に当てることができる。第２ステップ１３０４において、カメラは手術野を撮像することができる。第３ステップ１３０６において、取得した画像をコンピューティングシステムに送信することができる。第４ステップ１３０８において、生物学的構造及び生体組織を画像内で区別することができるよう、コンピューティングシステムは画像を処理することができる。コンピューティングシステムは、標的外科手術組織の輪郭場所を決定するよう画像を解析することができる。第５ステップ１３１０において、処理した画像をコンピューティングシステムのユーザー・インタフェース上に表示することができる。幾つかの実施形態において、コンピューティングシステムは、コンピュータ視覚、人工知能、又はマシン学習発見的問題解決法を自動的に適用することができ、また画像をユーザーに表示する必要をなくす。第６ステップ１３１２において、コンピューティングシステムは、処理した画像に基づいて１つ又はそれ以上の埋込み標的を生成することができる。第７ステップ１３１４において、コンピューティングシステムは、埋込み標的及び／又は取得した画像に基づいて手術プランを生成することができる。ロボット外科手術システムはこのプランを使用して、電極デバイスを埋め込むとき１つ又はそれ以上のロボットアセンブリを案内することができる。
【0103】
図１４は、本発明実施形態による、ロボット外科的埋込み中における検証のための例示的プロセス１４００を示すフローチャートである。幾つかの実施形態において、例示的プロセス１４００は、図１１の実施例の動作ステップ１１１０における電極デバイスの生体組織内への適正埋込みを検証する際の追加的詳細を与えることができる。例示的プロセス１４００は、図１０の実施例におけるような挿入検証コンポーネント、及び／又は図２の実施例におけるような挿入ヘッドによって実施することができる。
【0104】
第１ステップ１４０２において、カメラを使用して手術野を撮像する。或る実施形態において、カメラはデバイスにおける材料から反射した、又は蛍光発生した光により電極デバイスを撮像することができる。第２ステップ１４０４において、取得した画像をコンピューティングシステムに送信する。第３ステップ１４０６において、電極デバイス、挿入ニードル及び／又は標的部位を識別するよう、取得した画像をコンピュータ視覚発見的問題解決法に従ってコンピューティングシステムにより処理する。第４ステップ１４０８において、コンピューティングシステムは、処理した画像を使用して、電極デバイスが適正に埋め込まれたか否かを決定する。この決定に基づいて、ロボット外科手術システム及び／又はコンピューティングシステムは、電極デバイスの位置決め又は埋込みの修正をするための更なるロボットの動きが必要か否かを決定することができる。
【0105】
図１１～１４に示すプロセスで取得される１つ又はそれ以上の画像は、焦点スタッキング技術（すなわち、焦点面マージング、ｚスタッキング）を使用して処理することができる。幾つかの実施形態において、異なる焦点深度（それぞれ合焦した手術野の異なるエリアを有する）で捕捉された同一手術野の画像は、単一画像を形成するよう組み合わせることができる。焦点スタッキング技術はコンピューティングシステムで実施することができる。
【0106】
図１５Ａは、少なくとも１つの実施例による、例示的コンピューティングシステム１５００を示す。コンピューティングシステム１５００は、表示デバイス（ディスプレイ）１５０２のような１つ又はそれ以上の表示デバイスを有することができる。表示デバイス１５０２は、情報を視覚的に提示することができる任意の適当なデバイスとすることができる。このようなデバイスの例としては、陰極線管（ＣＲＴ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、電子発光ディスプレイ（ＥＬＤ）、電子ペーパー、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、表面電界ディスプレイ（ＳＥＤ）、電界放出ディスプレイディスプレイ（ＦＥＤ）、プロジェクタ（ＬＣＤ、ＣＲＴ、デジタル光プロセッシング（ＤＬＰ）、シリコン基板上液晶（ＬＣｏＳ）、ＬＥＤ、ハイブリッドＬＥＤ、レーザーダイオード）、及び情報を表示できる任意な他の適当なデバイスがあり得る。
【0107】
コンピューティングシステム１５００はコンピューティングデバイス１５０４を備え、このコンピューティングデバイス１５０４は、ロボットアセンブリ１５２０、光源１５２２、及びカメラ１５２４、並びにアクチュエータ等々のような任意な他のデバイスに接続することができる。コンピューティングデバイス１５０４は、これらデバイス及び／又はロボット外科手術システムのこれらデバイス及び／又は他のコンポーネントに対して１つ又はそれ以上のネットワーク、有線接続、等々を介して通信することができる。ネットワークは、ケーブルネットワーク、インターネット、ワイヤレスネットワーク、セルラーネットワーク、無線ネットワーク、及び他のプライベート及び／又は公衆ネットワークのような多くの異なるタイプのネットワークのうち任意な１つ又は組合せを含むことができる。
【0108】
次にコンピューティングデバイス１５０４の詳細につき説明すると、コンピューティングデバイス１５０４は、少なくとも１つのメモリ１５１４及び１つ又はそれ以上の処理ユニット（又はプロセッサ）１５１０を有することができる。プロセッサ１５１０はハードウェア、コンピュータ実行可能命令、ソフトウェア、ファームウェア、又はそれらの組合せにおける適切なものとして実装することができる。例えば、プロセッサ１５１０は、１つ若しくはそれ以上の汎用コンピュータ、専用マイクロプロセッサ、又は電子情報を通信できる他の処理デバイスを含むことができる。プロセッサ１５１０の例には、１つ又はそれ以上の特定用途向け集積回路（ＡＳＩＣｓ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、及び任意な他の適当な専用又は汎用のプロセッサがある。
【0109】
プロセッサ１５１０におけるコンピュータ実行可能命令、ソフトウェア、ファームウェア実装は、記載した種々の機能を実施するよう任意の適当なプログラミング言語で書かれたコンピュータ実行可能又はマシン実行可能な命令を含むことができる。メモリ１５１４は、１つより多いメモリを有することができ、またコンピューティングデバイス１５０４にわたり分散させることができる。メモリ１５１４は、プロセッサ１５１０にローディング可能かつ実行可能であるプログラム命令（例えば、三角測量モジュール１５１８）、並びにこれらプログラムの実行中に生成されるデータを記憶することができる。三角測量モジュール１５１８を含むメモリの構成及びタイプに基づいて、メモリ１５１４は揮発性（ランダム・アクセス・メモリ(RAM）のような）及び／又は不揮発性（リード・オンリー・メモリ(ROM）、フラッシュメモリ、又は他のメモリのような）ものとすることができる。或る実施形態において、三角測量モジュール１５１８は、ＣＲＥが測定した可能性に基づくラプラス推定のための線形結合係数を受け取り及び／又は調整することができる。或る実施形態において、三角測量モジュール１５１８は、これら係数に基づく線形結合を遂行することができる。コンピュータデバイス１５０４は、限定しないが、磁気記憶装置、光ディスク及び／又はテープ記憶装置を含む、追加的な着脱可能な及び／又は着脱不能な記憶装置１５０６を含むこともできる。ディスクドライブ及び関連のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及びコンピューティングデバイス用の他データの不揮発性記憶装置を提供することができる。幾つかの実施形態において、メモリ１５１４は、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、又はＲＯＭのような複数の異なるタイプのメモリを含むことができる。メモリ１５１４は、さらに、オペレーティング・システム１５１６を含むことができる。
【0110】
メモリ１５１４及び着脱可能及び着脱不能の双方もあり得る追加の記憶装置１５０６は、コンピュータ可読記憶媒体の例である。例えば、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータのような情報を記憶する任意の適当な方法又は技術で実装される、揮発性、不揮発性、着脱可能又は着脱不能な媒体を含むことができる。本明細書で使用されるモジュールとは、コンピューティングシステム（例えば、プロセッサ）によって実行され、三角測量モジュール１５１８の一部であるプログラミングモジュールに言及することができる。三角測量モジュール１５１８のモジュールは、１つ又はそれ以上のコンポーネント、モジュール等々を含むことができる。例えば、三角測量モジュール１５１８は、電極、挿入ニードル、及び／又は標的組織のような対象物の場所をコンピュータ視覚に基づいて三角測量するモジュール又はコンポーネントを含むことができる。コンピューティングデバイス１５０４は、さらに、入力／出力（「Ｉ／Ｏ」）デバイス及び／又はポート１５１２を有し、例えば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、ディスプレイ、スピーカー、プリンタ、又は他のＩ／Ｏデバイスとの接続を可能にする。Ｉ／Ｏデバイス１５１２は、ロボット外科手術システムにおける他のシステムと通信できるようにする。
【0111】
コンピューティングデバイス１５０４はユーザー・インタフェース１５０８を有することができる。ユーザー・インタフェース１５０８は、オペレータ又はコンピューティングデバイス１５０４（例えば、三角測量モジュール１５１８）の部分にアクセスするユーザーとしての権限を有する他のユーザーが利用することができる。幾つかの実施例において、ユーザー・インタフェース１５０８としては、グラフィカル・ユーザー・インタフェース、ウェブベースのアプリケーション、アプリケーション・プログラミング・インタフェース（ＡＰＩｓ）のようなプログラム的なインタフェース、又は他のユーザー・インタフェース構成があり得る。
【0112】
図１５Ｂは、少なくとも一例によるコンピュータシステム１５５０のコンポーネントの実施例を示す。コンピュータシステム１５５０は、ユーザーコンピューティングデバイスのような単独コンピュータとすることができる、及び／又は１つ又はそれ以上のサーバーコンピューティングデバイスのような分散コンピューティングシステムを表すことができる。
【0113】
コンピュータシステム１５５０は、少なくともプロセッサ１５５２、メモリ１５５４、記憶装置１５５６、入力／出力周辺機器（Ｉ／Ｏ）１５５８、通信周辺機器１１５５及びインタフェースバス１５６２を有することができる。インタフェースバス１５６２は、データを通信、送信及び転送し、またコンピュータシステム１５５０の種々のコンポーネントにコマンドを送るよう構成されている。メモリ１５５４及び記憶装置１５５６としては、ランダム・アクセス・メモリ（ＲＡＭ）、リードＲＯＭ、電気的消去プログラム可能リード・オンリー・メモリ（ＥＥＰＲＯＭ）、ハードドライブ、ＣＤ-ＲＯＭ、光記憶装置、磁気記憶装置、例えば、フラッシュ（登録商標）メモリのような電子的不揮発性コンピュータ記憶装置、及び他の有形記憶媒体がある。このようなコンピュータ可読記憶媒体のうち任意なものは、本開示の態様を具現化する命令又はプログラムコードを記憶するよう構成することができる。メモリ１５５４及び記憶装置１５５６は、さらに、コンピュータ可読信号媒体を含む。コンピュータ可読信号媒体としては、具現化されたコンピュータ可読プログラムコードを有する伝播性データ信号がある。このような伝播性信号は、限定しないが、電磁的、光学的、又はそれらの組合せを含む多様な形態のうち任意な形態をとる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、またコンピュータシステム１５５０と関連して使用するためのプログラムを通信、伝搬、又は搬送することができる、任意なコンピュータ可読媒体を含む。
【0114】
さらに、メモリ１５５４は、オペレーティング・システム、プログラム、及びアプリケーションを含む。プロセッサ１５５２は、記憶した命令を実行するよう構成され、また例えば、論理処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、及び他のプロセッサがある。メモリ１５５４及び／又はプロセッサ１５５２は、仮想化することができ、また他のコンピューティングシステム、例えば、クラウドネットワーク又はデータセンター内でホスティングすることができる。Ｉ／Ｏ周辺機器１５５８としては、キーボード、スクリーン（例えば、タッチスクリーン）、マイクロフォン、スピーカー、他の入力／出力デバイス、グラフィカル処理ユニットのようなコンピューティングコンポーネント、シリアルポート、パラレルポート、ユニバーサル・シリアル・バス、及び他の入力／出力周辺機器がある。Ｉ／Ｏ周辺機器１５５８は、インタフェースバス１５６２に結合されたポートのうち任意なものを介してプロセッサ１５５２に接続される。通信周辺機器１１５５は、コンピュータシステム１５５０と他のコンピューティングデバイスとの間における通信ネットワーク上での通信を容易にするよう構成され、また例えば、ネットワーク・インタフェース・コントローラ、モデム、無線及び有線のインタフェースカード、アンテナ、及び他の通信周辺機器がある。
【0115】
本明細書で使用される用語「コンピューティングシステム（computing system）」及び「処理ユニット（processing unit）」は、すべての目的のため広く解釈されることを意図し、またすべての使用、すべてのデバイス、並びに／又はすべてのシステム並びに／若しくは少なくとも中央処理ユニット、データネットワーク、一時的コンピュータ可読メモリ、並びに／若しくは持続性コンピュータ可読メモリ及び／若しくは媒体とのインタフェースをとる通信デバイスを有するデバイスとして本開示に記載のシステムに対して定義される。中央処理ユニットは、持続性コンピュータ可読メモリ及び／又は媒体に記憶された１つ又はそれ以上のコンピュータプログラムの命令を、算術的、論理的、及び／又は入力／出力演算を実施することによって実行し、本明細書記載の任意な方法における１つ又はそれ以上のステップを全体的又は部分的に完遂する。コンピューティングシステムは、１人又はそれ以上のユーザーが使用可能であり、他のコンピューティングシステムは、本明細書記載の１つ又はそれ以上の適当な機能に対して直接的及び／又は間接的、能動的及び／又は受動的に使用可能である。コンピューティングシステムは、コンピュータ、ラップトップ、タブレットコンピュータ、スマートフォン、及び／又は任意な他の適当なデバイスとして具現化することができ、またネットワーク化コンピューティングシステム、サーバー、等々とすることもできる。コンピューティングシステムは、コンピュータマウス及び／又はキーボードのような１つ又はそれ以上のヒューマン入力デバイス、１つ又はそれ以上のモニタのような１つ又はそれ以上のヒューマン相互作用デバイスを有することができる。コンピューティングシステムは、１人又はそれ以上のユーザーに経験を与えることに関連する、任意な入力、出力、及び／又は計算デバイスに言及することができる。１つのコンピューティングシステムを示し及び／又は記載したが、複数のコンピューティングシステムを使用することができる。逆に、複数コンピューティングシステムを示し及び／又は記載する場合、単一コンピューティングシステムを使用することができる。
【0116】
ロボット外科手術のためのコンピュータ視覚をベースとする技術は、例えば、神経外科手術を含む種々の用途に使用することができる。幾つかの実施形態において、複数の埋込み型デバイスは、本明細書記載の技術を使用して順次に挿入又は埋め込むことができる。
【0117】
幾つかの実施形態において、埋込み型デバイスは、生体組織内に埋め込むよう構成することができる。生体組織としては、限定しないが、脳、筋肉、肝臓、膵臓、脾臓、腎臓、膀胱、腸、心臓、胃、皮膚、結腸、等々があり得る。さらに、埋込み型デバイスは、限定しないが、無脊椎動物、脊椎動物、魚、鳥、哺乳動物、齧歯動物（例えば、マウス、ラット）、有蹄動物、牛、ヒツジ、ブタ、馬、ヒトではない霊長類、及びヒトを含む、任意の適当な多細胞生物に関連して使用することができる。さらに、生体組織は、体外組織（例えば、外植組織片）とすることができる、又は生体内組織（例えば、この方法は患者に対して実施する外科手術処置である）とすることができる。
【0118】
図示の実施形態を本明細書で記載してきたが、その範囲は、本開示に基づいて当業者には理解されるであろう、等価要素、変更、省略、組合せ（例えば、種々の実施形態にわたる態様の）、適応及び／又は代替を有する任意な及びすべての実施形態を含む。例えば、例示的システムに示されるコンポーネントの数及び向きは変更することができる。
【0119】
したがって、上述の記載は説明目的のために提示されている。それは網羅的なものではなく、本明細書記載の正確な形式又は実施形態に限定されない。変更及び適応は、開示した実施形態の明細及び実践を考慮することにより当業者には明らかであろう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
