特許 7457692 手術を実行するためにロボットアームアセンブリの手術経路を更新するためのシステムの作動方法及びそのシステム、並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-19

(45)【発行日】2024-03-28

(54)【発明の名称】手術を実行するためにロボットアームアセンブリの手術経路を更新するためのシステムの作動方法及びそのシステム、並びに記憶媒体

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240321BHJP

【ＦＩ】

A61B34/20

【請求項の数】 12

(21)【出願番号】P 2021505301

(86)(22)【出願日】2019-07-31

(65)【公表番号】

(43)【公表日】2021-12-02

(86)【国際出願番号】 CN2019098706

(87)【国際公開番号】W WO2020025001

(87)【国際公開日】2020-02-06

【審査請求日】2021-03-24

(31)【優先権主張番号】62/713,522

(32)【優先日】2018-08-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/820,804

(32)【優先日】2019-03-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519452138

【氏名又は名称】ブレイン ナビ バイオテクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】100125450

【弁理士】

【氏名又は名称】河野 広明

(72)【発明者】

【氏名】チェン シェシャオ

(72)【発明者】

【氏名】ワン カンジュ

【審査官】和田 将彦

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１６１１１３（ＵＳ，Ａ１）

【文献】特表２００５－５３７５８３（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４０８３２１７（ＣＮ，Ａ）

【文献】特表２０１８－５０９９４９（ＪＰ，Ａ）

【文献】特表２０１４－５１１１１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／２０

(57)【特許請求の範囲】

【請求項1】

患者の動きに応答するタグを含むフレームとの所定の空間的関係を有する前記患者に対して手術を実行するためにロボットアームアセンブリの手術経路を更新するためのシステムの作動方法であって、前記タグが前記空間的関係における第１の点、第２の点、第３の点、第４の点及び第５の点を含み、
前記作動方法は、
該システムが備えるプロセッサが、前記患者との前記空間的関係を有する前記タグに関連付けられた２次元画像を、第１の点画像、第２の点画像、第３の点画像、第４の点画像及び第５の点画像を含む前記２次元画像のうちの前記第１の点画像を前記第１の点に関連付け、前記２次元画像のうちの前記第２の点画像を前記第２の点に関連付け、前記２次元画像のうちの前記第３の点画像を前記第３の点に関連付け、前記２次元画像のうちの前記第４の点画像を前記第４の点に関連付け、前記２次元画像のうちの前記第５の点画像を前記第５の点に関連付けるように処理をすることであって、前記患者の動きに応答する前記タグの対応する動きは前記空間的関係に基づいて決定される、該処理をすることと、
前記第１の点、前記第２の点、第３の点、第４の点及び第５の点、ならびに前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像の変換行列に基づいて、前記手術経路を更新することと、を含み、
前記手術経路を更新することが、
前記変換行列に基づいて、２次元座標系において、前記第１の点に関連付けられた第１の投影点、前記第２の点に関連付けられた第２の投影点、前記第３の点に関連付けられた第３の投影点、前記第４の点に関連付けられた第４の投影点及び前記第５の点に関連付けられた第５の投影点を得ることと、
前記２次元座標系において前記第１の投影点と前記第１の点画像との間の第３の距離を得ることと、
前記２次元座標系において前記第２の投影点と前記第２の点画像との間の第４の距離を得ることと、
前記２次元座標系において前記第３の投影点と前記第３の点画像との間の第５の距離を得ることと、
前記２次元座標系において前記第４の投影点と前記第４の点画像との間の第６の距離を得ることと、
前記２次元座標系において前記第５の投影点と前記第５の点画像との間の第７の距離を得ることと、
を含み、
前記作動方法は、前記プロセッサが、前記第３の距離と、前記第４の距離と、前記第５の距離と、前記第６の距離と、前記第７の距離との合計が第２の閾値よりも大きいことに応答して、前記患者の動きを識別し、前記手術経路を更新することをさらに含む、
システムの作動方法。

【請求項2】

前記２次元画像を処理することは、
前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像を、拡大係数を用いて拡大し、
強度が第１の閾値よりも大きい前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像を識別し、且つ
前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像を、縮小係数を用いて前記２次元座標系に縮小することをさらに含む、
請求項１に記載のシステムの作動方法。

【請求項3】

前記２次元画像を処理することは、前記２次元座標系を前記２次元画像に割り当てることと、前記２次元座標系において前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像に関連付けられた座標を識別することとをさらに含む、
請求項１に記載のシステムの作動方法。

【請求項4】

前記第１の点画像を前記第１の点に関連付けることが、
前記２次元座標系において前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像に関連付けられた幾何学的中心を得ることと、
前記第１の点画像と前記幾何学的中心との間の第１の距離、前記第２の点画像と前記幾何学的中心との間の第２の距離、前記第３の点画像と前記幾何学的中心との間の第８の距離、前記第４の点画像と前記幾何学的中心との間の第９の距離及び前記第５の点画像と前記幾何学的中心との間の第１０の距離を得ることと、
前記第１の距離、前記第２の距離、前記第８の距離、前記第９の距離及び前記第１０の距離に基づいて、前記第１の点画像を基点画像として選択することと
をさらに含む、
請求項１に記載のシステムの作動方法。

【請求項5】

前記ロボットアームアセンブリに関連付けられる衝突を識別するために、前記更新された手術経路を検証することをさらに含む、
請求項１に記載のシステムの作動方法。

【請求項6】

患者の動きに応答するタグを含むフレームとの所定の空間的関係を有する前記患者に対して手術を実行するためにロボットアームアセンブリの手術経路を更新するためのシステムであって、前記タグが前記空間的関係における第１の点、第２の点、第３の点、第４の点及び第５の点を含み、
該システムは、
光学装置と、
プロセッサであって、
前記患者との前記空間的関係を有する前記タグに関連付けられた２次元画像を、第１の点画像、第２の点画像、第３の点画像、第４の点画像及び第５の点画像を含む前記２次元画像のうちの前記第１の点画像を前記第１の点に関連付け、前記２次元画像のうちの前記第２の点画像を前記第２の点に関連付け、前記２次元画像のうちの前記第３の点画像を前記第３の点に関連付け、前記２次元画像のうちの前記第４の点画像を前記第４の点に関連付け、前記２次元画像のうちの前記第５の点画像を前記第５の点に関連付けるように処理し、前記患者の動きに応答する前記タグの対応する動きは、前記空間的関係に基づいて決定され、
前記第１の点、前記第２の点、第３の点、第４の点及び第５の点、ならびに前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像の変換行列に基づいて、前記手術経路を更新する
ように構成された該プロセッサと、を備え、
前記プロセッサが、
前記変換行列に基づいて、２次元座標系において、前記第１の点に関連付けられた第１の投影点、前記第２の点に関連付けられた第２の投影点、前記第３の点に関連付けられた第３の投影点、前記第４の点に関連付けられた第４の投影点及び前記第５の点に関連付けられた第５の投影点とを得、
前記２次元座標系において前記第１の投影点と前記第１の点画像との間の第３の距離を得、
前記２次元座標系において前記第２の投影点と前記第２の点画像との間の第４の距離を得、
前記２次元座標系において前記第３の投影点と前記第３の点画像との間の第５の距離を得、
前記２次元座標系において前記第４の投影点と前記第４の点画像との間の第６の距離を得、
前記２次元座標系において前記第５の投影点と前記第５の点画像との間の第７の距離を得る
ようにさらに構成され、
前記プロセッサが、前記患者の動きを識別し、前記第３の距離と、前記第４の距離と、前記第５の距離と、前記第６の距離と、前記第７の距離との合計が第２の閾値よりも大きいことに応答して、前記手術経路を更新するようにさらに構成されている、
システム。

【請求項7】

前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像を、拡大係数を用いて拡大し、
前記プロセッサは、強度が第１の閾値よりも大きい前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像を識別し、
前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像を、縮小係数を用いて前記２次元座標系に縮小するようにさらに構成されている
請求項６に記載のシステム。

【請求項8】

前記プロセッサは、前記２次元座標系を前記２次元画像に割り当て、前記２次元座標系において前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像に関連付けられた座標を識別するようにさらに構成されている、
請求項６に記載のシステム。

【請求項9】

前記プロセッサが、
前記２次元座標系において前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像に関連付けられた幾何学的中心を得、
前記第１の点画像と前記幾何学的中心との間の第１の距離、前記第２の点画像と前記幾何学的中心との間の第２の距離、前記第３の点画像と前記幾何学的中心との間の第８の距離、前記第４の点画像と前記幾何学的中心との間の第９の距離及び前記第５の点画像と前記幾何学的中心との間の第１０の距離を得、
前記第１の距離、前記第２の距離、前記第８の距離、前記第９の距離及び前記第１０の距離に基づいて、前記第１の点画像を基点画像として選択する
ようにさらに構成されている、
請求項６に記載のシステム。

【請求項10】

前記プロセッサが、前記更新された手術経路に基づいて、前記患者の動きを識別することに応答して前記ロボットアームアセンブリを安全点に移動させる第１のコマンドと、前記ロボットアームアセンブリを前記安全点から前記患者の手術目標に移動させる第２のコマンドとを発行するようにさらに構成されている、
請求項６に記載のシステム。

【請求項11】

前記プロセッサが、前記ロボットアームアセンブリに関連付けられる衝突を識別するために、前記更新された手術経路を検証するようにさらに構成されている、
請求項６に記載のシステム。

【請求項12】

プロセッサによる実行に応答して、患者の動きに応答するタグを含むフレームとの所定の空間的関係を有する前記患者に対して手術を実行するためにロボットアームアセンブリの手術経路を更新する方法を前記プロセッサに実行させる実行可能命令のセットを含む非一時的なコンピュータ可読記憶媒体であって、前記タグが前記空間的関係における第１の点、第２の点、第３の点、第４の点及び第５の点を含み、
前記方法が、
前記患者との前記空間的関係を有する前記タグに関連付けられた２次元画像を、第１の点画像、第２の点画像、第３の点画像、第４の点画像及び第５の点画像を含む前記２次元画像のうちの前記第１の点画像を前記第１の点に関連付け、前記２次元画像のうちの前記第２の点画像を前記第２の点に関連付け、前記２次元画像のうちの前記第３の点画像を前記第３の点に関連付け、前記２次元画像のうちの前記第４の点画像を前記第４の点に関連付け、前記２次元画像のうちの前記第５の点画像を前記第５の点に関連付けるように処理をすることであって、前記患者の動きに応答する前記タグの対応する動きは前記空間的関係に基づいて決定される、該処理をすることと、
前記第１の点、前記第２の点、第３の点、第４の点及び第５の点、ならびに前記第１の点画像、前記第２の点画像、前記第３の点画像、前記第４の点画像及び前記第５の点画像の変換行列に基づいて、前記手術経路を更新することと、を含み、
前記手術経路を更新することが、
前記変換行列に基づいて、２次元座標系において、前記第１の点に関連付けられた第１の投影点、前記第２の点に関連付けられた第２の投影点、前記第３の点に関連付けられた第３の投影点、前記第４の点に関連付けられた第４の投影点及び前記第５の点に関連付けられた第５の投影点とを得ることと、
前記２次元座標系において前記第１の投影点と前記第１の点画像との間の第３の距離を得ることと、
前記２次元座標系において前記第２の投影点と前記第２の点画像との間の第４の距離を得ることと、
前記２次元座標系において前記第３の投影点と前記第３の点画像との間の第５の距離を得ることと、
前記２次元座標系において前記第４の投影点と前記第４の点画像との間の第６の距離を得ることと、
前記２次元座標系において前記第５の投影点と前記第５の点画像との間の第７の距離を得ることと
をさらに含み、
前記第３の距離と、前記第４の距離と、前記第５の距離と、前記第６の距離と、前記第７の距離との合計が第２の閾値よりも大きいことに応答して、前記患者の動きを識別し、前記手術経路を更新することをさらに含む、
非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１８年８月１日に出願された米国仮出願第６２／７１３，５２２号および２０１９年３月１９日に出願された米国仮出願第６２／８２０，８０４号の利益を主張し、これらは参照によりその全体が組み込まれる。

【技術分野】

【0002】

本発明の実施形態は、概して、手術中の患者の位置または向きを追跡する方法およびシステムに関する。

【背景技術】

【0003】

本明細書で特に明記しない限り、このセクションで説明するアプローチは、本出願の特許請求の範囲の先行技術ではなく、このセクションに含めることによって先行技術であるとは認められない。

【0004】

手術を行うためには、手術経路の計画が重要である。ロボット手術によって前記手術経路を正確に制御できる。手術の前に、患者は医用スキャン（例えば、ＣＴまたはＭＲＩ）を受ける。医用スキャンに基づいて、目的の解剖学的領域への手術経路が計画される。人工知能を使用して、損傷が最も少ない最適なルートを外科医に提示することができる。手術を行うために、前記患者の位置を医用スキャンの視点に合わせて、計画された手術経路に沿って正確に手術を行うことができる。

【0005】

しかしながら、手術中、患者の位置は動かされる場合がある。したがって、計画された手術経路は、患者が動いた位置を考慮すると適用できない場合があり、患者が動いた位置に応じて更新される場合がある。

【図面の簡単な説明】

【0006】

【図1】患者に対して手術を実行するように構成された手術システムを示す例示的な図である。

【図2】タグを示す例示的な図である。

【図3A】光学装置によって取り込まれたタグの画像例である。

【図3B】光学装置によって取り込まれたタグの例示的な処理画像である。

【図4】タグに関連付けられた２次元画像を処理するための例示的なプロセスを示す流れ図である。

【図5】点画像をタグの点に関連付ける例示的なプロセスを示す流れ図である。

【図6】全て本開示のいくつかの実施形態に従って配置された、複数の変換行列に基づいて患者の動きに応答して手術経路を更新するための例示的なプロセスを示す流れ図である。

【発明を実施するための形態】

【0007】

以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈からそうでないことが示されていない限り、同様の記号は通常、同様の成分を示す。詳細な説明、図面、および特許請求の範囲に記載されている例示的な実施形態は、限定することを意図していない。本明細書に提示される主題の精神または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を加えることができる。本開示の態様は、本明細書に一般的に記載され、図に例示されるように、多種多様な異なる構成で配置、置換、組み合わせ、および設計することができ、その全てが本明細書で明示的に企図されることは容易に理解されよう。

【0008】

図１は、本開示のいくつかの実施形態に従って配置された、患者１０１に対して手術を実行するように構成された手術システム１００を示す例示的な図である。いくつかの実施形態では、手術システム１００は、フレーム１２０、手術台１３０、およびロボットアームアセンブリ１４０を含む。

【0009】

いくつかの実施形態では、フレーム１２０は、患者１１０の手術目標（例えば、患者の頭部１０３）を支持し、それに取り付くように構成される。さらに、フレーム１２０はまた、手術台１３０に取り付くように構成される。いくつかの実施形態では、フレーム１２０は、タグ１２１をさらに含む。タグ１２１は固定されているか、フレーム１２０と一体に形成されている。したがって、患者の頭部１０３、手術台１３０、フレーム１２０、およびタグ１２１は一緒になって、所定の空間的関係を形成し得る。言い換えれば、患者の頭部１０３の第１の動きに応答して、タグ１２１も、所定の空間的関係に基づいて、対応する第２の動きを有する。したがって、タグ１２１の動きはまた、患者の頭部が動いたかどうかを決定するために使用され得る。

【0010】

いくつかの実施形態では、フレーム１２０は、２つ以上のタグを含んでもよい。各タグは、相互に固有の識別パターンを含み得る。したがって、手術システム１００は、これらのタグに基づいて異なる要件を処理し得る。

【0011】

いくつかの実施形態では、ロボットアームアセンブリ１４０は、外科用器具１４１、光学装置１４３、第１のアーム１４７、第２のアーム１４８、および第３のアーム１４９を含み得る。いくつかの実施形態では、光学装置１４３は、異なる時間にタグ１２１の画像を取り込むことができるＩＲカメラである。これらの取り込まれた画像は、タグ１２１の動きが閾値を超えているかどうかを識別するために処理される。閾値を超えるタグ１２１の動きを決定することに応答して、ロボットアームアセンブリ１４０に関連付けられたプロセッサ（図示せず）は、上記の所定の空間的関係に基づいて患者１１０が動いたと決定し、手術を停止して患者１１０に害を及ぼさない安全点に移動するようにロボットアームアセンブリ１４０にコマンドを発行してもよい。患者１１０が動いたという決定に応答して、プロセッサは、新しい手術経路を計算し、新しい手術経路に沿って安全点から移動するようにロボットアームアセンブリ１４０にコマンドを発行してもよい。

【0012】

図２は、本開示のいくつかの実施形態に従って配置されたタグ２００を示す例示的な図である。タグ２００は、図１のタグ１２１に対応し得る。いくつかの実施形態では、タグ２００は、点２０１、点２０２、点２０３、点２０４、点２０５、および識別パターン２０９を含む。点２０１、２０２、２０３、２０４、２０５および識別パターン２０９は、光学装置（例えば、光学装置１４３）によって取り込むことができる特定の波長を有する光を放出してもよい。その反対に、タグ２００の他の部分は、そのような光をほとんど放出せず、したがって、光学装置によってかろうじて取り込まれ得る。いくつかの他の実施形態では、点２０１、２０２、２０３、２０４、２０５および識別パターン２０９は、光学装置（例えば、光学装置１４３）によって取り込むことができる特定の波長を有する光源によって生成された光を反射してもよい。タグ２００の他の部分は、そのような光を吸収してもよく、したがって、光学装置によってかろうじて取り込まれ得る。

【0013】

図３Ａは、本開示のいくつかの実施形態に従って配置された、光学装置によって取り込まれたタグの画像例３００である。画像３００は、点画像３０１、３０２、３０３、３０４、および３０５、点画像３０４と３０５との間のバー画像３０６、ならびに識別画像３０９を含み得る。点画像３０１、３０２、３０３、３０４、および３０５を点２０１、２０２、２０３、２０４、および２０５に効率的かつ正確に関連付けることは課題であった。

【0014】

いくつかの実施形態では、点画像３０１は、点２０１の画像に対応し得る。同様に、点画像３０２は点２０２の画像に対応し、点画像３０３は点２０３の画像に対応し、点画像３０４は点２０４の画像に対応し、点画像３０５は点２０５の画像に対応し得る。バー画像３０６は、点２０４と点２０５との間のタグ２００の部分に対応し得る。識別画像３０９は、識別パターン２０９に対応し得る。

【0015】

図３Ｂは、光学装置によって取り込まれたタグの例示的な処理画像３００’であり、図４は、全て本開示のいくつかの実施形態に従って配置された、タグに関連付けられた２次元画像を処理するための例示的なプロセス４００を示す流れ図である。プロセス４００は、ブロック４１０、４２０および／または４３０によって示されるように、ハードウェア、ソフトウェアおよび／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。図３Ｂに関連して、図４はさらに以下で詳細に説明される。

【0016】

プロセス４００は、ブロック４１０「座標を割り当てる」から開始され得る。図３Ａを参照すると、いくつかの実施形態では、画像３００は、タグ２００に関連付けられた２次元画像である。図３Ｂでは、画像３００’は、処理された画像３００であり得る。いくつかの実施形態では、２次元座標系が画像３００’に割り当てられる。いくつかの実施形態では、左上隅３０７は、２次元座標系の原点（０、０）として割り当てられる。２次元座標系は、画像３００のピクセルに基づいてもよい。したがって、画像３００上の点画像３０１、３０２、３０３、３０４、および３０５は、２次元座標系によって記述され得る。

【0017】

ブロック４１０の後には、ブロック４２０「点画像に関連付けられた座標を識別する」が続き得る。いくつかの実施形態では、画像３００’から点画像３０１、３０２、３０３、３０４、および３０５を効率的に識別するために、閾値化技術が適用され得る。例えば、画像３００’は最初に、多くのピクセルを含むブロックで処理される。いくつかの実施形態では、強度が閾値よりも大きいピクセルを含まないブロック（例えば、領域３１０またはバー画像３０６）は、計算リソースを節約するために、さらなる処理から破棄される。次に、強度が閾値よりも大きいピクセルを含むブロック（例えば、領域３２０）は、ピクセルベースでさらに処理される。

【0018】

いくつかの実施形態では、領域３２０は、拡大係数で拡大され得る。したがって、点画像３０１、３０２、３０３、３０４、および３０５も拡大係数で拡大され得る。いくつかの実施形態では、拡大された点画像のピクセルに追加の閾値化技術を適用して、強度がより大きい１つまたは複数のピクセルを識別してもよい。識別されたピクセルに関連付けられた画像は、縮小係数（例えば、拡大係数の逆数）に基づいて２次元系に縮小されてもよい。したがって、より高い強度を有する新しい点画像３０１’、３０２’、３０３’、３０４’、および３０５’が画像３００上で識別され得、２次元座標系の座標が点画像３０１’、３０２’、３０３’、３０４’、および３０５’に割り当てられ得る。いくつかの実施形態では、点画像３０１’には２次元座標系の座標（Ｘ_３０１’、Ｙ_３０１’）が割り当てられる。同様に、点画像３０２’には座標（Ｘ_３０２’、Ｙ_３０２’）が割り当てられ、点画像３０３’には座標（Ｘ_３０３’、Ｙ_３０３’）が割り当てられ、点画像３０４’には座標（Ｘ_３０４’、Ｙ_３０４’）が割り当てられ、点画像３０５’には座標（Ｘ_３０５’、Ｙ_３０５’）がそれぞれ割り当てられる。

【0019】

ブロック４２０の後には、ブロック４３０「点画像をタグの点に関連付ける」が続き得る。いくつかの実施形態では、点画像３０１’、３０２’、３０３’、３０４’、および３０５’は、点２０１、２０２、２０３、２０４、および２０５に関連付けられる。いくつかの実施形態では、ｐｅｒｓｐｅｃｔｉｖｅ‐ｎ‐ｐｏｉｎｔアプローチに基づいて、２次元座標系の点画像３０１’、３０２’、３０３’、３０４’、および３０５’の座標、光学装置１４３とロボットアームアセンブリ１４０と外科用器具１４１との間の空間的関係を記述する３次元座標系のタグ１２１の点２０１、２０２、２０３、２０４、および２０５の座標、ならびに画像３００’内の点画像とそれに関連付けられたタグ２００の点との関係を記述する変換行列が設定され得る。

【0020】

図５は、本開示のいくつかの実施形態に従って配置された、点画像をタグの点に関連付けるための例示的なプロセス５００を示す流れ図である。プロセス５００は、ブロック５１０、５２０、５３０、５４０、５５０および／または５６０によって示されるように、ハードウェア、ソフトウェアおよび／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

【0021】

プロセス５００は、ブロック５１０「点画像の幾何学的中心を得る」から開始され得る。いくつかの実施形態では、上記のように、２次元座標系において点画像３０１’、３０２’、３０３’、３０４’、および３０５’は、座標（Ｘ_３０１’、Ｙ_３０１’）、（Ｘ_３０２’、Ｙ_３０２’）、（Ｘ_３０３’、Ｙ_３０３’）、（Ｘ_３０４’、Ｙ_３０４’）、（Ｘ_３０５’、Ｙ_３０５’）をそれぞれ有する。点画像３０１’、３０２’、３０３’、３０４’、および３０５’の幾何学的中心は、座標（（Ｘ_３０１’＋Ｘ_３０２’＋Ｘ_３０３’＋Ｘ_３０４’＋Ｘ_３０５’）／５、（Ｙ_３０１’＋Ｙ_３０２’＋Ｙ_３０３’＋Ｙ_３０４’＋Ｙ_３０５’）／５）を有し得る。

【0022】

ブロック５１０の後には、ブロック５２０「幾何学的中心からの点画像の距離を得る」が続き得る。いくつかの実施形態では、点画像３０１’と幾何学的中心との間の第１の距離は、

【数1】

として得られる。
同様に、点画像３０２’と幾何学的中心との間の第２の距離、点画像３０３’と幾何学的中心との間の第３の距離、点画像３０４’と幾何学的中心との間の第４の距離、および点画像３０５’と幾何学的中心との間の第５の距離を得ることができる。

【0023】

ブロック５２０の後には、ブロック５３０「幾何学的中心から点画像へのベクトルを得る」が続き得る。いくつかの実施形態では、幾何学的中心から点画像３０１’への第１のベクトル

【数2】

は、（Ｘ_３０１’‐（Ｘ_３０１’＋Ｘ_３０２’＋Ｘ_３０３’＋Ｘ_３０４’＋Ｘ_３０５’）／５、Ｙ_３０１’‐（Ｙ_３０１’＋Ｙ_３０２’＋Ｙ_３０３’＋Ｙ_３０４’＋Ｙ_３０５’）／５）として得られる。同様に、幾何学的中心から点画像３０２’への第２のベクトル

【数3】

、幾何学的中心から点画像３０３’への第３のベクトル

【数4】

、幾何学的中心から点画像３０４’への第４のベクトル

【数5】

、および幾何学的中心から点画像３０５’への第５のベクトル

【数6】

も得ることができる。

【0024】

ブロック５３０の後には、ブロック５４０「基点画像を選択する」が続き得る。いくつかの実施形態では、ブロック５２０で得られた第１の距離、第２の距離、第３の距離、第４の距離、および第５の距離を比較して、どの点画像が基点画像であるかを選択する。いくつかの実施形態では、２次元座標系において幾何学的中心から最も遠い距離を有する点画像が基点として選択されてもよい。あるいは、２次元座標系において幾何学的中心から最も近い距離を有する点画像が基点として選択されてもよい。いくつかの他の実施形態では、基点は、識別画像３０９と、２次元座標系における点画像３０１’、３０２’、３０３’、３０４’、および３０５’との関係に基づいて選択されてもよい。説明のみを目的として、いくつかの実施形態では、点画像３０１’が基点画像として選択される。

【0025】

ブロック５４０の後には、ブロック５５０「ベクトルに基づいて点画像にインデックスを付ける」が続き得る。いくつかの実施形態では、第１のベクトル（例えば、

【数7】

）と第２のベクトル（例えば、

【数8】

）の外積を使用して、点画像３０２’が点画像３０１’から時計回りの方向に沿っているかどうかが決定され得る。いくつかの実施形態では、第１のベクトルと第２のベクトルの外積が２次元座標系に関して正のｚ方向を指すベクトルであることに応答して、点画像３０２’は、点画像３０１’から時計回りの方向に沿って決定される。いくつかの他の実施形態では、第１のベクトル（例えば、

【数9】

と第２のベクトル（例えば、

【数10】

）の内積を使用して、第１のベクトルと第２のベクトルとの間の角度が決定され得る。したがって、外積および内積に基づいて、点画像３０２’は、点画像３０１’から時計回りの方向に沿った第１の角度で決定され得る。同様に、点画像３０３’、３０４’、および３０５’は、点画像３０１’から時計回りの方向に沿って第２の角度、第３の角度、および第４の角度でそれぞれ決定され得る。いくつかの実施形態では、第１の角度、第２の角度、第３の角度、および第４の角度の比較に基づいて、時計回りの方向に沿った一連の点画像３０１’、３０２’、３０３’、３０４’および３０５’が決定され得る。例えば、第１の角度が第２の角度よりも小さいことに応答して、点画像３０２’は、点３０３’に比べて、時計回りの方向に沿って点画像３０１’に近いと決定される。シーケンスが決定された後、点画像３０１’、３０２’、３０３’、３０４’、および３０５’にはシーケンスに従ってインデックスが付けられ得る。

【0026】

ブロック５５０の後には、ブロック５６０「点画像と対応するタグの点の変換行列を得る」が続き得る。いくつかの実施形態では、ブロック５５０およびｐｅｒｓｐｅｃｔｉｖｅ‐ｎ‐ｐｏｉｎｔアプローチで得られたインデックスに基づいて、３次元座標系におけるタグ２００の点の座標（例えば、２０１、２０２、２０３、２０４および２０５）とそれらの対応する点画像（例えば、３０１’、３０２’、３０３’、３０４’および３０５’）との間の数学的関係を記述する変換行列が設定され得る。図１に戻って参照すると、いくつかの実施形態では、３次元座標系は、光学装置１４３と、ロボットアームアセンブリ１４０と、外科用器具１４１との間の空間的関係を記述し得る。

【0027】

図６は、本開示のいくつかの実施形態に従って配置された、複数の変換行列に基づいて患者の動きに応答して手術経路を更新するための例示的なプロセス６００を示す流れ図である。プロセス６００は、ブロック６１０、６２０、６３０、６４０および／または６５０によって示されるように、ハードウェア、ソフトウェアおよび／またはファームウェアによって実行され得る１つまたは複数の動作、機能、またはアクションを含み得る。様々なブロックは、説明する実施形態に限定されることを意図していない。概説された工程および動作は例としてのみ提供され、工程および動作の一部はオプションであり、組み合わせてより少ない工程および動作にしてもよいし、開示される実施形態の本質を損なうことなく追加の工程および動作に拡張してもよい。ブロックは連続した順序で例示されているが、これらのブロックは、並行して、および／または本明細書で説明する順序とは異なる順序で実行されてもよい。

【0028】

プロセス６００は、ブロック６１０「変換行列に基づいて投影点を得る」から開始され得る。いくつかの実施形態では、変換行列を得た後、変換行列による点２０１の第１の投影点を得ることができる。いくつかの実施形態では、投影点は、２次元座標系で座標（Ｘ_{３０１’’}、Ｙ_{３０１’’}）を有する。同様に、点２０２の第２の投影点、点２０３の第３の投影点、点２０４の第４の投影点、および点２０５の第５の投影点も得ることができ、２次元座標系で座標（Ｘ_{３０２’’}、Ｙ_{３０２’’}）（Ｘ_{３０３’’}、Ｙ_{３０３’’}）、（Ｘ_{３０４’’}、Ｙ_{３０４’’}）、および（Ｘ_{３０５’’}、Ｙ_{３０５’’}）をそれぞれ有し得る。

【0029】

ブロック６１０の後には、ブロック６２０「投影点と対応する点画像との間の距離を得る」が続き得る。いくつかの実施形態では、座標（Ｘ_{３０１’’}、Ｙ_{３０１’’}）を有する第１の投影点と、座標（Ｘ_３０１’、Ｙ_３０１’）を有する点画像３０１’との間の第１の距離が計算される。同様に、座標（Ｘ_{３０２’’}、Ｙ_{３０２’’}）を有する第２の投影点と座標（Ｘ_３０２’、Ｙ_３０２’）を有する点画像３０２’との間の第２の距離、座標（Ｘ_{３０３’’}、Ｙ_{３０３’’}）を有する第３の投影点と座標（Ｘ_３０３’、Ｙ_３０３’）を有する点画像３０３’との間の第３の距離、座標（Ｘ_{３０４’’}、Ｙ_{３０４’’}）を有する第４の投影点と座標（Ｘ_３０４’、Ｙ_３０４’）を有する点画像３０４’との間の第４の距離、および座標（Ｘ_{３０５’’}、Ｙ_{３０５’’}）を有する第５の投影点と座標（Ｘ_３０５’、Ｙ_３０５’）を有する点画像３０５’との間の第５の距離もそれぞれ得ることができる。

【0030】

ブロック６２０の後には、ブロック６３０「距離は閾値よりも大きいか？」が続き得る。いくつかの実施形態では、第１の距離、第２の距離、第３の距離、第４の距離、および第５の距離の合計が閾値よりも大きいことに応答して、ブロック６３０の後にブロック６４０「患者が動かされたことを決定する」が続き得る。

【0031】

いくつかの他の実施形態では、第１の距離、第２の距離、第３の距離、第４の距離、および第５の距離の合計が閾値以下であることに応答して、ブロック６３０の後にブロック６１０「変換行列に基づいて投影点を得る」が続き得る。２回目に取り込まれた画像３００／３００’に関連付けられた別の変換行列を得た後、別の変換行列に従って、点２０１、２０２、２０３、２０４、および２０５の２次元座標系の座標を有する別の投影点のセットを得ることができる。

【0032】

ブロック６４０の後には、ブロック６５０「手術経路を更新する」が続き得る。いくつかの実施形態では、図１に戻って参照すると、ロボットアームアセンブリ１４０は、患者１１０に害を及ぼさない安全点に移動し得る。患者１１０の動きに応答して新しい手術経路が更新され得、次にロボットアームアセンブリ１４０は、更新された手術経路に沿って安全点から移動するように構成される。

【0033】

いくつかの他の実施形態では、更新された手術経路は、更新された手術経路が外科用器具１４１とロボットアームアセンブリ１４０との間の衝突を引き起こさないように検証されてもよい。あるいは、図１に戻って参照すると、更新された手術経路は、更新された手術経路がロボットアームアセンブリ１４０の第１のアーム１４７、第２のアーム１４８、および第３のアーム１４９の間で衝突を引き起こさないように検証されてもよい。

【0034】

更新された手術経路がロボットアームアセンブリ１４０の衝突を引き起こすことが検証されたことに応答して、更新された手術経路は破棄され、新しい更新された手術経路が計算される。

【0035】

前述の詳細な説明では、ブロック図、フローチャート、および／または例を使用して、デバイスおよび／またはプロセスの様々な実施形態を説明した。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限り、そのようなブロック図、フローチャート、または例内の各機能および／または動作は個別および／または集合的に、広範囲のハードウェア、ソフトウェア、ファームウェア、またはそれらの実質的にあらゆる組み合わせによって実装できることが当業者には理解されよう。いくつかの実施形態において、本明細書に記載の主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の統合フォーマットを介して実装され得る。しかし、当業者は、本明細書に開示される実施形態のいくつかの態様は、全体または一部において、１つまたは複数のコンピュータで実行される１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステムで実行される１つまたは複数のプログラムとして）、１つまたは複数のプロセッサで実行される１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサで実行される１つまたは複数のプログラムとして）、ファームウェアとして、またはそれらの実質的にあらゆる組み合わせとして、集積回路において同等に実装でき、回路の設計および／またはソフトウェアおよび／またはファームウェアのコードの記述は、本開示に照らして当業者の技術の範囲内に十分にあるであろうことを認識するであろう。さらに、当業者は、本明細書に記載の主題のメカニズムが様々な形態のプログラム製品として配信可能であり、本明細書に記載の主題の例示的な実施形態が、実際に配信を実行するために使用される信号伝達媒体の特定の種類にかかわらず適用されることを理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなどの記録可能なタイプの媒体、ならびにデジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）などの伝送タイプの媒体が含まれるがこれらに限定されない。

【0036】

上記から、本開示の様々な実施形態が例示の目的で本明細書に記載されており、本開示の範囲および精神から逸脱することなく様々な改変がなされ得ることが理解されよう。したがって、本明細書で開示された様々な実施形態は、限定することを意図するものではない。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】