知財求人 - 知財ポータルサイト「IP Force」
特表2024-508126拡張現実を使用して整形外科手術用の脊椎ロッドを提案するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-22
(54)【発明の名称】拡張現実を使用して整形外科手術用の脊椎ロッドを提案するための方法およびシステム
(51)【国際特許分類】
A61B 34/10 20160101AFI20240215BHJP
A61B 17/70 20060101ALI20240215BHJP
【ＦＩ】
A61B34/10
A61B17/70
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023550605
(86)(22)【出願日】2022-03-01
(85)【翻訳文提出日】2023-10-04
(86)【国際出願番号】 IB2022051805
(87)【国際公開番号】W WO2022185210
(87)【国際公開日】2022-09-09
(31)【優先権主張番号】PCT/IB2021/051694
(32)【優先日】2021-03-01
(33)【優先権主張国・地域又は機関】IB
(31)【優先権主張番号】PCT/IB2021/056242
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】IB
(81)【指定国・地域】
(71)【出願人】
【識別番号】515314867
【氏名又は名称】ネオ・メディカル・ソシエテ・アノニム
(74)【代理人】
【識別番号】100107456
【弁理士】
【氏名又は名称】池田 成人
(74)【代理人】
【識別番号】100162352
【弁理士】
【氏名又は名称】酒巻 順一郎
(74)【代理人】
【識別番号】100123995
【弁理士】
【氏名又は名称】野田 雅一
(72)【発明者】
【氏名】レファウコニアー， ヴィンセント
【テーマコード（参考）】
4C160
【Ｆターム（参考）】
4C160LL24
4C160LL63
4C160LL70
(57)【要約】
整形外科手術を支援する方法であって、視野が複数のスクリューエクステンダの画像を撮像するように画像のシーケンスを撮像することであって、各スクリューエクステンダが椎弓根スクリューを保持し、複数のスクリューエクステンダが整形外科手術の外科的切開部に配列される、ことと、撮像された画像のうちの画像を表示してライブビデオフィードを提供することと、撮像された画像のシーケンスに基づいて複数のスクリューエクステンダを検出することと、検出された複数のスクリューエクステンダの向きおよび位置を計算することと、向きおよび位置に基づいて各椎弓根スクリューのスクリューヘッドの３Ｄ位置を計算する第２ことと、表示装置上でグラフィック要素を用いて、ライブビデオフィードの現在表示されている画像に投影されたスクリューヘッドの位置に対応する位置に、複数のスクリューヘッドの各計算された３Ｄ位置を投影して表示することとを含む、方法。
【選択図】 図１Ａ
【選択図】 図１Ａ
【特許請求の範囲】
【請求項1】
表示装置と画像撮像装置とを含むデータ処理装置を用いて実施される、脊柱の整形外科手術を支援するための方法であって、前記画像撮像装置の視野が複数のスクリューエクステンダの画像を撮像するように、前記画像撮像装置を用いて画像のシーケンスを撮像するステップであって、各スクリューエクステンダが椎弓根スクリューを保持し、前記複数のスクリューエクステンダが、整形外科手術を受けている生体の身体の外科的切開部に配列される、ステップと、
前記撮像された画像のうちの少なくとも一部の画像を表示すること、または透明な表示装置を用いて直接見ることのいずれかによって、前記表示装置にライブビデオフィードを提供するステップと、
前記撮像された画像のシーケンスに基づいて、前記データ処理装置を用いて前記複数のスクリューエクステンダを検出するステップと、
前記検出された複数のスクリューエクステンダの向きおよび位置を計算する第１の計算するステップと、
前記第１の計算するステップの前記向きおよび前記位置に基づいて、各椎弓根スクリューのスクリューヘッドの三次元（３Ｄ）位置を計算する第２の計算するステップと、
前記表示装置上でグラフィカルユーザインターフェースを用いて、前記ライブビデオフィードの現在提供されている画像に投影された前記スクリューヘッドの前記位置に対応する位置に、前記複数のスクリューヘッドの各計算された３Ｄ位置を、グラフィック要素を用いて投影して表示するステップと
を含む、方法。
【請求項2】
前記表示装置の前記グラフィカルユーザインターフェース上にグラフィック要素として複数の固定ロッドテンプレートを表示するステップであって、前記複数の固定ロッドが異なる形状を有する、ステップをさらに含む、請求項１に記載の方法。
【請求項3】
前記スクリューヘッドの前記複数の３Ｄ位置によって表される点に曲線を適合させるステップと、前記表示装置上にグラフィック要素として固定ロッドのテンプレートを表示するステップであって、前記固定ロッドが、前記適合された曲線と少なくとも部分的に一致するように成形される、ステップと
をさらに含む、請求項１に記載の方法。
【請求項4】
前記複数の固定ロッドテンプレートのうちの１つをグラフィカルに選択するステップと、前記スクリューヘッドの前記３Ｄ位置のうちの１つの位置に、前記複数の固定ロッドテンプレートのうちの前記選択された１つを表すグラフィック要素を配置するステップと
をさらに含む、請求項２に記載の方法。
【請求項5】
前記検出された複数のスクリューエクステンダを視覚的に強調表示するステップと、前記データ処理装置のグラフィカルユーザインターフェースを用いて、前記複数のスクリューエクステンダのうちの少なくとも１つの選択または選択解除を可能にするステップと
をさらに含む、請求項１に記載の方法。
【請求項6】
前記データ処理装置が距離測定センサをさらに備え、前記方法が、前記距離測定センサを用いて距離情報を取得するステップ
をさらに含み、
前記第１の計算するステップが前記距離情報にさらに基づく、請求項１に記載の方法。
【請求項7】
前記距離測定センサが、直接飛行時間（ｄＴｏＦ）、ＬｉＤＡＲセンサ、またはＦａｃｅＩＤなどの構造物光センサを含む、請求項６に記載の方法。
【請求項8】
少なくとも２つの椎骨についての姿勢データ情報を、前記第１の計算するステップによる前記椎骨に取り付けられた前記検出された複数のスクリューエクステンダのうちの少なくとも１つの前記向きおよび前記位置に基づいて計算する第３の計算するステップと、前記表示装置上で前記グラフィカルユーザインターフェースを用いて、前記椎骨を表すグラフィック基本要素を投影して表示するステップであって、前記グラフィック基本要素が、前記ライブビデオフィードの現在提供されている画像に投影された前記椎骨の前記位置に対応する位置に表示される、表示するステップと
をさらに含む、請求項１に記載の方法。
【請求項9】
前記第１の計算するステップによる前記椎骨に取り付けられた前記検出された複数のスクリューエクステンダの前記向きおよび前記位置に基づいて、前記脊柱の脊椎曲率データを計算する第４の計算するステップと、前記第１の計算するステップによる前記椎骨に取り付けられた前記検出された複数のスクリューエクステンダの前記向きおよび前記位置に基づいて、前記脊柱の脊椎パラメータを計算する第５の計算するステップと、
前記表示装置上で前記グラフィカルユーザインターフェースを用いて、前記脊柱の曲率を表すグラフィック基本要素を投影して表示するステップであって、前記グラフィック基本要素が、前記ライブビデオフィードの現在提供されている画像に投影された前記脊柱の前記位置に対応する位置に表示される、表示するステップと
をさらに含む、請求項８に記載の方法。
【請求項10】
表示装置と、データプロセッサと、画像撮像装置とを備える、脊柱の整形外科手術を支援するように構成されたデータ処理装置であって、前記データプロセッサが、前記画像撮像装置の視野が複数のスクリューエクステンダの画像を撮像するように、前記画像撮像装置を用いた画像のシーケンスの撮像を命令することであって、各スクリューエクステンダが椎弓根スクリューを保持し、前記複数のスクリューエクステンダが、整形外科手術を受けている生体の身体の外科的切開部に配列される、ことと、
前記撮像された画像のうちの少なくとも一部の画像を表示して、前記表示装置にライブビデオフィードを提供するように命令することと、
前記撮像された画像のシーケンスに基づいて、前記データ処理装置を用いて前記複数のスクリューエクステンダを検出するための検出アルゴリズムを実施することと、
前記検出された複数のスクリューエクステンダの向きおよび位置を計算する第１の計算を行うことと、
前記第１の計算の前記向きおよび前記位置に基づいて、各椎弓根スクリューのスクリューヘッドの三次元（３Ｄ）位置を計算する第２の計算を行うことと、
前記表示装置上でグラフィカルユーザインターフェースを用いて、前記ライブビデオフィードの現在提供されている画像に投影された前記スクリューヘッドの前記位置に対応する位置に、前記複数のスクリューヘッドの各計算された３Ｄ位置を、グラフィック要素を用いて投影して表示することと
を行うように構成される、データ処理装置。
【請求項11】
コンピュータ命令コードが記録された非一時的コンピュータ可読媒体であって、前記コンピュータ命令コードが、表示装置および画像撮像装置に動作可能に接続されたデータ処理装置上で前記コンピュータ命令が実行されたときに、脊柱の整形外科手術をコンピュータ支援するための方法を実施するように構成され、前記方法が、前記画像撮像装置の視野が複数のスクリューエクステンダの画像を撮像するように、前記画像撮像装置を用いて画像のシーケンスを撮像するステップであって、各スクリューエクステンダが椎弓根スクリューを保持し、前記複数のスクリューエクステンダが、整形外科手術を受けている生体の身体の外科的切開部に配列される、ステップと、
前記撮像された画像のうちの少なくとも一部の画像を表示すること、または透明な装置を用いて直接見ることのいずれかによって、前記表示装置にライブビデオフィードを提供するステップと、
前記撮像された画像のシーケンスに基づいて、前記データ処理装置を用いて前記複数のスクリューエクステンダを検出するステップと、
前記検出された複数のスクリューエクステンダの向きおよび位置を計算する第１の計算するステップと、
前記第１の計算するステップの前記向きおよび前記位置に基づいて、各椎弓根スクリューのスクリューヘッドの三次元（３Ｄ）位置を計算する第２の計算するステップと、
前記表示装置上でグラフィカルユーザインターフェースを用いて、前記ライブビデオフィードの現在提供されている画像に投影された前記スクリューヘッドの前記位置に対応する位置に、前記複数のスクリューヘッドの各計算された３Ｄ位置を、グラフィック要素を用いて投影して表示するステップと
を含む、非一時的コンピュータ可読媒体。
【請求項12】
データ処理装置を用いて実施される、固定ロッドに基づく脊柱の補正を決定する、整形外科手術を支援するための方法であって、画像撮像装置を用いて固定ロッドを走査して、前記固定ロッドの走査データを取得するステップであって、前記脊椎補正ロッドが脊椎補正のために曲げられている、ステップと、
前記走査データに基づいて前記固定ロッドの曲率データを計算する第１の計算するステップと、
前記脊柱への前記固定ロッドの取付点の位置のデータを受信するステップであって、前記取付点の前記位置が、前記脊柱の少なくとも２つの椎骨に取り付けられた椎弓根スクリューのスクリューヘッドの位置データに基づいて決定されている、ステップと、
前記取付点の補正された位置のデータを計算する第２の計算するステップであって、前記取付点の前記補正された位置が、前記第１の計算するステップによる前記固定ロッドの前記曲率データを考慮に入れることによって、前記固定ロッドが補正された脊柱の前記取付点に取り付けられた場合に前記取付点の前記位置に付与される補正に基づく、第２の計算するステップと、
前記補正された脊柱の前記取付点の前記補正された位置の前記データに基づいて、前記補正された脊柱の脊椎パラメータを計算する第３の計算するステップと、
前記補正された脊柱の前記脊椎パラメータを表示装置に表示するステップと
を含む、脊柱の補正を決定する、整形外科手術を支援するための方法。
【請求項13】
前記補正された脊柱の前記取付点の前記補正された位置の前記データに基づいて、前記補正された脊柱の椎骨についての姿勢データ情報を計算する第４の計算するステップをさらに含む、請求項１２に記載の脊柱の補正を決定する、整形外科手術を支援するための方法。
【請求項14】
前記表示装置上で前記グラフィカルユーザインターフェースを用いて、前記椎骨を表すグラフィック基本要素を表示するステップであって、前記グラフィック基本要素が、前記椎骨の前記位置に対応する位置に表示される、ステップをさらに含む、請求項１３に記載の脊柱の補正を決定する、整形外科手術を支援するための方法。
【請求項15】
表示装置と画像撮像装置とを含むデータ処理装置を用いて実施される、脊柱の整形外科手術を支援するための方法であって、前記画像撮像装置の視野が、複数のガイドワイヤ上にそれぞれ配置された複数の椎弓根マーカ、または複数のガイドワイヤのうちの少なくとも１つの画像を撮像するように、前記画像撮像装置を用いて画像のシーケンスを撮像するステップであって、前記複数の椎弓根マーカまたは前記複数のガイドワイヤが、整形外科手術を受けている生体の身体の外科的切開部に配列される、ステップと、
前記撮像された画像のうちの少なくとも一部の画像を表示すること、または透明な表示装置を用いて直接見ることのいずれかによって、前記表示装置にライブビデオフィードを提供するステップと、
前記撮像された画像のシーケンスに基づいて、前記データ処理装置を用いて前記複数の椎弓根マーカまたは前記複数のガイドワイヤを検出するステップと、
前記検出された複数の椎弓根マーカまたは前記検出された複数のガイドワイヤの向きおよび位置を計算する第１の計算するステップと、
少なくとも２つの椎骨についての姿勢データ情報を、前記第１の計算するステップによる前記椎骨に取り付けられた前記検出された複数の椎弓根マーカまたは前記検出された複数のガイドワイヤのうちの少なくとも１つの前記向きおよび位置に基づいて計算する第２の計算するステップと
を含む、脊柱の整形外科手術を支援するための方法。
【請求項16】
前記第２の計算するステップによる前記姿勢データ情報から前記脊柱を特徴付けるパラメータを計算する第３の計算するステップと、前記脊柱を特徴付ける前記パラメータを前記表示装置に表示するステップと
をさらに含む、請求項１５に記載の方法。
【請求項17】
前記第１の計算するステップの前記向きおよび前記位置に基づいて、各椎弓根スクリューのスクリューヘッドの位置の仮想三次元（３Ｄ）位置を計算する第４の計算するステップと、前記表示装置上でグラフィカルユーザインターフェースを用いて、前記ライブビデオフィードの現在提供されている画像に投影された前記スクリューヘッドの前記位置に対応する位置に、前記複数のスクリューヘッドの各計算された仮想３Ｄ位置を、グラフィック要素を用いて投影して表示するステップと
をさらに含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
[0001]本発明は、２０２１年３月１日に出願された国際特許出願第ＰＣＴ／ＩＢ２０２１／０５１６９４号明細書および２０２１年７月１２日に出願された国際特許出願第ＰＣＴ／ＩＢ２０２１／０５６２４２号明細書の優先権を主張し、参照により完全に組み込む。
[0001]本発明は、２０２１年３月１日に出願された国際特許出願第ＰＣＴ／ＩＢ２０２１／０５１６９４号明細書および２０２１年７月１２日に出願された国際特許出願第ＰＣＴ／ＩＢ２０２１／０５６２４２号明細書の優先権を主張し、参照により完全に組み込む。
【0002】
[0002]本発明は、拡張現実または複合現実を使用する整形外科手術の分野に関し、より詳細には、拡張現実または複合現実を使用して、外科医が整形外科手術を実施するのを支援または容易にするための、具体的には、脊椎固定術および他の種類の整形外科手術のために異なる種類および形状の安定化ロッドを提案するための方法、システム、および装置に関する。
【背景技術】
【0003】
[0003]整形外科の分野、ならびに整形外科手術、より具体的には脊柱の脊椎固定術用のインプラントのツールおよびシステムの分野では、椎弓根スクリューを使用して、患者の背中の切開位置を通して骨アンカーで椎骨に取り付ける。いくつかの椎弓根スクリューが異なる椎骨に取り付けられた後、これらの椎弓根スクリューのヘッドはロッド型またはバー型装置を介して互いに接続され、ロッド型またはバー型装置は、脊椎ロッドとも呼ばれるが、セットスクリューを用いて椎弓根スクリューのヘッドに取り付けられる。一例として、椎骨固定のためのいくつかの隣接する椎骨について、各椎骨に対して、椎弓根スクリューが椎弓根スクリューの骨アンカーによってねじ式に取り付けられ、その後、これらの椎弓根スクリューは、椎弓根スクリューヘッドによって形成された溝またはＵ字形の開口部に配置された脊椎ロッドを使用して互いに向かって機械的に締結され、脊椎に沿って椎弓根スクリューの列を形成する。これにより、患者または生体における脊椎固定のための脊椎安定化に必要な機械的支持を提供することが可能になる。
【0004】
[0004]切開位置によりよく到達し、椎弓根スクリューを椎骨にねじ式に取り付けるために、椎弓根スクリュー、具体的には椎弓根スクリューのヘッドは、通常、スクリューエクステンダ、または同様の装置、例えば拡張タップスクリューヘッドもしくはブレードに取り外し可能に取り付けられる。スクリューエクステンダおよび同様の装置は、椎弓根スクリューのヘッドに追加の長さを追加する目的を有し、オペレータまたは外科医が外科的切開部の外側に作用することを可能にし、外科的切開部を開いたままにするだけでなく、異なるツールおよび脊椎ロッドを椎弓根スクリューのヘッドに案内するのを助ける。椎弓根スクリューを保持するように構成されたスクリューエクステンダは、通常、椎弓根スクリューのヘッドよりもかなり大きい管状の長手方向装置であり、スクリューエクステンダ自体はその側面に沿って長手方向形状のスロットを有する。椎弓根スクリューヘッドがスクリューエクステンダに接続されると、長手方向形状のスロットは、椎弓根スクリューのスクリューヘッドのＵ字形の開口部と一致し、したがって、長手方向形状のスロットを通してＵ字形の開口部に脊椎ロッドを案内することを可能にする。スクリューエクステンダの長手方向に成形されたスロット内の脊椎ロッドを、椎弓根スクリューのヘッドに向かって、かつ椎弓根スクリューのヘッド内に押し下げるプロセスは、ロッド縮小とも呼ばれる。
【0005】
[0005]例えば、参照によりその全体が本明細書に組み込まれる米国特許第１０，０５８，３５５号明細書は、椎弓根スクリュー、対応するセットスクリュー、ロッド、およびこれらを操作するためのツールを提供する整形外科用インプラントキットを記載しており、椎弓根スクリューを保持するためのスクリューエクステンダと、椎弓根スクリューのスクリューヘッドに対してセットスクリューをねじ込むためのセットスクリュードライバとを含む。参照によりその全体が本明細書に組み込まれる米国特許第７，１６０，３００号明細書は、中間ガイドツールが骨スクリューに取り付けられ、中間ガイドツールは、ガイドツールからガイドツールに取り付けられた骨スクリューまでロッドを案内することができる長手方向形状のチャネルを有する管状形状を有するロッド縮小方法を記載している。別の例として、参照によりその全体が本明細書に組み込まれる米国特許第８，７９５，２８３号明細書は、ロッドを受け入れるためのヘッドを有する椎弓根スクリューと、外科的介入に必要なツールとを含む、脊椎安定化のための外科的介入のための別の種類のキット整形外科手術システムを記載している。スクリューエクステンダは、管状を形成することができるように保持リングによって一緒に保持された２つの分離可能なハーフシェルを有するチューブから作製される。さらに別の例では、参照によりその全体が本明細書に組み込まれる米国特許第８，２６２，６６２号明細書は、脊柱内の脊椎アンカー部位に脊椎コネクタを送達するためのシステムおよび方法を提供する。一実施形態では、Ｕ字形の受け部材と、骨係合部材と、延長部材と、脊椎ロッドと、セットスクリューとを含む脊椎インプラントおよびアクセス装置が提供される。拡張部材は、管状である。
【0006】
[0006]セットスクリューを介してロッドを椎弓根スクリューに取り付けるための同様の整形外科的脊椎手術の概念、ツールおよび装置が上述のように提案されており、例えば、米国特許第５，１２９，３８８号明細書、米国特許第５，５２０，６８９号明細書、米国特許第５，５３６，２６８号明細書、米国特許第５，７２０，７５１号明細書、米国特許第５，９８４，９２３号明細書、米国特許第６，０５６，７５３号明細書、米国特許第６，１８３，４７２号明細書、米国特許第６，２５８，０９０号明細書、米国特許第６，４５４，７６８号明細書、米国特許第６，６４８，８８８号明細書、米国特許第６，７４０，０８６号明細書、米国特許第７，６１８，４４２号明細書、米国特許第８，３０８，７８２号明細書、米国特許第８，８７６，８６８号明細書、米国特許出願公開第２００６／００２５７７１号明細書、および米国特許出願公開第２０１８／０２８９３９７号明細書であり、これらの参考文献はすべて、参照によりその全体が本明細書に組み込まれる。
【0007】
[0007]しかしながら、椎弓根スクリューが脊椎の椎骨に取り付けられると、外科医またはオペレータは、それぞれの椎弓根スクリューのスクリューヘッドに取り外し可能に取り付けられたスクリューエクステンダしか見ることができず、スクリューエクステンダは、一般に、椎弓根スクリューを椎骨に取り付けるために必要であった外科的切開部を指し、外科的切開部から離れている。一般に、外科医が切開部を開かない限り、スクリューヘッドは切開部の周囲組織に埋め込まれている。この点において、ロッド縮小およびロッド固定プロセスの前に、外科医またはオペレータは、通常、椎弓根スクリューのヘッドのＵ字形溝に配置するために、適切な長さを有するロッドを選択するか、脊椎ロッドを予め曲げるか、または予め曲げられた脊椎ロッドを選択する必要がある。しかしながら、椎弓根スクリュー、および脊椎ロッドを収容するための溝を有する椎弓根スクリューのスクリューヘッドの正確な配置を見ることができないため、これは、椎弓根スクリューの各スクリューヘッドに経皮的に挿入することができるように、脊椎ロッドの適切な長さおよび形状および曲げを決定する試行錯誤の手順につながり得る困難な作業である。これは、手術中の時間の大幅な損失、スクリューの緩みまたはインプラントの欠損のリスクの増加、および追加のコストにつながる可能性がある。
【0008】
[0008]畳み込みニューラルネットワーク（ＣＮＮ）を用いた機械学習に基づいて、観視可能な椎弓根スクリューヘッドを検出するという整形外科手術における解決策が提案されている。例えば、Ｖｏｎ Ａｔｚｉｇｅｎ ｅｔ ａｌ．，「ＨｏｌｏＹｏｌｏ：Ａ ｐｒｏｏｆ－ｏｆ－ｃｏｎｃｅｐｔ ｓｔｕｄｙ ｆｏｒ ｍａｒｋｅｒ－ｌｅｓｓ ｓｕｒｇｉｃａｌ ｎａｖｉｇａｔｉｏｎ ｏｆ ｓｐｉｎａｌ ｒｏｄ ｉｍｐｌａｎｔｓ ｗｉｔｈ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ａｎｄ ｏｎ－ｄｅｖｉｃｅ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ」Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｍｅｄｉｃａｌ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｓｕｒｇｅｒｙ，ｙｅａｒ ２０２０，ｅ２１８４を参照されたい。しかしながら、この方法は、椎骨に取り付けられた椎弓根スクリューの異なるスクリューヘッドの直接の視覚的視野に依存し、したがって、創傷内を直接見るための完全に開いた手術位置および切開部の最大開放を必要とし、検出のために比較的長いデータ処理時間および遅い追跡リフレッシュ速度を必要とし、実質的な検出の不確実性を有するため、多くの欠点を抱えている。
【0009】
[0009]カメラビューベースの画像化解決策の欠点を回避するために、いくつかの方法では、Ｘ線投影を用いたＣアーム蛍光透視法を使用して椎弓根スクリューの配置を評価し、二平面Ｘ線、および反射マーカを使用した蛍光透視画像に基づいてスクリューの姿勢推定を計算することができる。Ｅｓｆａｎｄｉａｒｉ ｅｔ ａｌ．，「Ａ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｐｅｄｉｃｌｅ ｓｃｒｅｗ ｉｍｐｌａｎｔｓ ｂａｓｅｄ ｏｎ Ｃ－ａｒｍ ｆｌｕｏｒｏｓｃｏｐｙ，」Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ａｓｓｉｓｔｅｄ ｒａｄｉｏｌｏｇｙ ａｎｄ ｓｕｒｇｅｒｙ，Ｖｏｌ．１３，Ｎｏ．８，ｙｅａｒ ２０１８，ｐｐ．１２６９－１２８２を参照、また、Ｆｕ ｅｔ ａｌ．，「Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｆｌｕｏｒｏｓｃｏｐｉｃ Ｎａｖｉｇａｔｉｏｎ ｏｆ Ｐｅｄｉｃｌｅ Ｓｃｒｅｗ Ｉｎｓｅｒｔｉｏｎ Ａｎ Ｉｎ Ｖｉｖｏ Ｆｅａｓｉｂｉｌｉｔｙ Ｓｔｕｄｙ，」Ａｃｔａ Ｏｒｔｈｏｐａｅｄｉｃａ Ｓｃａｎｄｉｎａｖｉｃａ，Ｖｏｌ．７５，Ｎｏ．６，ｙｅａｒ ２００４，ｐｐ．７３０－７３５も参照されたい。しかしながら、これらの方法論は、複雑で高価なコンピュータ断層撮影機器を必要とし、実施する必要がある追加の操作ステップのために、整形外科医の直接使用にも適していない。
【0010】
[0010]したがって、手術中の脊椎ロッドの使用、具体的には特定の手術条件に対する脊椎ロッドの配置、埋め込み、事前選択および一致を改善し、ユーザの使用を単純化し、ユーザを支援するために必要なコストを実質的に少なくするシステム、方法、および装置が必要とされている。
【発明の概要】
【0011】
[0011]本発明の一態様によれば、整形外科手術を支援するための方法が提供される。本方法は、データ処理装置を用いて実施することができ、データ処理装置は、表示装置および画像撮像装置を含む。好ましくは、本方法は、画像化装置の視野が複数のスクリューエクステンダの画像を撮像するように、画像化装置を用いて画像のシーケンスを撮像するステップであって、各スクリューエクステンダが椎弓根スクリューを保持し、複数のスクリューエクステンダが、整形外科手術を受けている生体の身体の外科的切開部に配列される、ステップと、撮像された画像のうちの少なくとも一部の画像を表示して、表示装置にライブビデオフィードを提供するステップと、撮像された画像のシーケンスに基づいて、データ処理装置を用いて複数のスクリューエクステンダを検出するステップと、検出された複数のスクリューエクステンダの向きおよび位置を計算する第１の計算するステップと、第１の計算するステップの向きおよび位置に基づいて、各椎弓根スクリューのスクリューヘッドの三次元（３Ｄ）位置を計算する第２の計算するステップと、表示装置上でグラフィカルユーザインターフェースを用いて、ライブビデオフィードの現在表示されている画像に投影されたスクリューヘッドの位置に対応する位置に、複数のスクリューヘッドの各計算された３Ｄ位置を、グラフィック要素を用いて投影して表示するステップとを含む。
【0012】
[0012]本発明の別の態様によれば、コンピュータ命令が記録された非一時的コンピュータ可読媒体が提供される。コンピュータ命令は、コンピュータ装置上で実行されると、整形外科手術を支援するための方法を実施するように構成され、コンピュータ装置は、表示装置および画像撮像装置と動作可能に接続される。
【0013】
[0013]本発明のさらに別の態様によれば、コンピュータシステムが提供され、コンピュータシステムは、画像撮像装置と、表示装置と、データ処理装置とを含み、データ処理装置は、画像撮像装置および表示装置と動作可能に接続される。好ましくは、データ処理装置は、拡張現実を使用して整形外科手術を支援するための方法を実施するように構成される。
【0014】
[0014]本発明の別の態様によれば、曲げられた固定ロッドに基づく脊柱の補正を決定する、整形外科手術を支援するための方法が提供される。好ましくは、本方法は、データ処理装置を用いて実施される。さらに、好ましくは、本方法は、画像撮像装置を用いて固定ロッドを走査して、脊椎補正のために曲げられた固定ロッドの走査データを取得するステップと、走査データに基づいて固定ロッドの曲率データを計算する第１の計算するステップと、脊柱への固定ロッドの取付点の位置のデータを受信するステップであって、取付点の位置が、脊柱の椎骨に取り付けられた椎弓根スクリューのスクリューヘッドの位置データに基づいて決定されている、ステップと、取付点の補正された位置のデータを計算する第２の計算するステップであって、取付点の補正された位置が、第１の計算するステップによる固定ロッドの曲率データを考慮に入れることによって、固定ロッドが補正された脊柱の取付点に取り付けられた場合に取付点の位置に付与される補正に基づく、第２の計算するステップと、補正された脊柱の取付点の補正された位置のデータに基づいて、補正された脊柱の脊椎パラメータを計算する第３の計算するステップと、補正された脊柱の脊椎パラメータを表示装置に表示するステップとを含む。
【0015】
[0015]本発明のさらに別の態様によれば、コンピュータ命令が記録された非一時的コンピュータ可読媒体が提供される。コンピュータ命令は、表示装置および画像撮像装置と動作可能に接続されたコンピュータ装置によって実行されると、曲げられた固定ロッドに基づく脊柱の補正を決定する、整形外科手術を支援するため方法を実施するように構成される。
【0016】
[0016]本発明のさらに別の態様によれば、コンピュータシステムが提供され、コンピュータシステムは、画像撮像装置と、表示装置と、データ処理装置とを含み、データ処理装置は、画像撮像装置および表示装置と動作可能に接続される。好ましくは、データ処理装置は、曲げられた固定ロッドに基づく脊柱の補正を決定する、整形外科手術を支援するための方法を実施するように構成される。
【0017】
[0017]本発明の別の態様によれば、脊柱の整形外科手術を支援するための方法が提供される。好ましくは、本方法は、データ処理装置を用いて実施され、データ処理装置は、表示装置および画像撮像装置を含む。さらに、好ましくは、本方法は、画像撮像装置の視野が、複数のガイドワイヤ上にそれぞれ配置された複数の椎弓根マーカ、または複数のガイドワイヤのうちの少なくとも１つの画像を撮像するように、画像撮像装置を用いて画像のシーケンスを撮像するステップであって、複数の椎弓根マーカまたは複数のガイドワイヤが、整形外科手術を受けている生体の身体の外科的切開部に配列される、ステップと、撮像された画像のうちの少なくとも一部の画像を表示すること、または透明な表示装置を用いて直接見ることのいずれかによって、表示装置にライブビデオフィードを提供するステップと、撮像された画像のシーケンスに基づいて、データ処理装置を用いて複数の椎弓根マーカまたは複数のガイドワイヤを検出するステップと、検出された複数の椎弓根マーカまたは検出された複数のガイドワイヤの向きおよび位置を計算する第１の計算するステップと、第１の計算するステップによる椎骨に取り付けられた検出された複数の椎弓根マーカまたは検出された複数のガイドワイヤのうちの少なくとも１つの向きおよび位置に基づいて、少なくとも２つの椎骨についての姿勢データ情報を計算する第２の計算するステップとを含む。
【0018】
[0018]本発明のいくつかの好ましい実施形態を示す添付の図面を参照し、以下の説明および添付の特許請求の範囲を研究することで、本発明の上記および他の目的、特徴および利点ならびにそれらを実現する方法がより明らかになり、本発明自体は最もよく理解されるであろう。
【0019】
[0019]本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本発明の現在好ましい実施形態を示し、上記の一般的な説明および以下の詳細な説明と共に、本発明の特徴を説明するのに役立つ。
【図面の簡単な説明】
【0020】
【図1A】整形外科手術が実施される例示的かつ簡略化された位置または施設の斜視図を示し、外科的切開部ＳＩを有する手術台上の生体または患者Ｌと、整形外科手術用の異なる種類の脊椎ロッドを提案するための方法を実施するための例示的なデータ処理装置１００を保持するユーザ、オペレータ、外科医、医療助手Ｏとを示す。
【図1B】本発明の一態様による、拡張現実を使用することによって整形外科手術用の異なる種類の脊椎ロッドを提案するための方法の異なるステップを描写する例示的かつ簡略化されたフローチャートを示す。
【図1C】本明細書の本方法およびシステムのためのスクリューエクステンダおよび椎弓根スクリューの非限定的な例として、例示的なスクリューエクステンダＳＥ、および骨アンカーＢＡおよびスクリューヘッドＳＨを有する椎弓根スクリューアセンブリの側面図を示し、この例示的なアセンブリの異なる要素を視覚化している。
【図1D】６つの例示的な数のスクリューエクステンダＳＥ１～ＳＥ６が突出している外科的切開部ＳＩの簡略化された概略斜視図を示し、各スクリューエクステンダＳＥは、スクリューエクステンダを検出および追跡するための光学マーカＯＭ１～ＯＭ６を装備している。
【図1E】スクリューエクステンダＳＥの遠位端６０上に取り外し可能に配置することができる例示的なマーカ装置５０の簡略斜視図を示し、マーカ装置５０は、光学マーカコードＯＭと、スクリューエクステンダＳＥに取り外し可能に取り付けるための取付装置５５とを有する。
【図2A】本方法の一段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の一態様を示す。
【図2B】本方法の図２Ａとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａとは異なる態様を示す。
【図2C】本方法のさらに図２Ａ～図２Ｂとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｂとは異なる態様を示す。
【図2D】本方法の図２Ａ～図２Ｃとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｃとは異なる態様を示す。
【図2E】本方法の図２Ａ～図２Ｄとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｄとは異なる態様を示す。
【図2F】本方法の図２Ａ～図２Ｅとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｅとは異なる態様を示す。
【図2G】本方法の図２Ａ～図２Ｆとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｆとは異なる態様を示す。
【図2H】本方法の図２Ａ～図２Ｇとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｇとは異なる態様を示す。
【図2I】本方法の図２Ａ～図２Ｈとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｈとは異なる態様を示す。
【図2J】本方法の図２Ａ～図２Ｉとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｉとは異なる態様を示す。
【図2K】本方法の図２Ａ～図２Ｊとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｊとは異なる態様を示す。
【図2L】本方法の図２Ａ～図２Ｋとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｋとは異なる態様を示す。
【図2M】本方法の図２Ａ～図２Ｌとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｌとは異なる態様を示す。
【図2N】本方法の図２Ａ～図２Ｍとは異なる段階の例示的なスクリーンショットを示し、スクリーンショットは、好ましくはデータ処理装置のグラフィカルユーザインターフェースに表示され、整形外科手術支援のための表示画面上で使用される拡張現実の図２Ａ～図２Ｍとは異なる態様を示す。
【図3A】背面から見るように示された７つの例示的な椎骨Ｖ１～Ｖ７を有する脊椎または脊柱ＳＣの概略的かつ簡略化された表現を示し、各椎骨Ｖに対する２つの取付点ＡＰが本明細書に記載の方法で決定されており、方法に対するいくつかのステップ、例えばステップＣ７０、Ｃ７５、Ｄ７０、Ｄ８０によって計算および表示することができる異なるパラメータを視覚化し、異なるパラメータは、各椎骨Ｖ１～Ｖ７の位置および姿勢情報ＰＤＩ＿Ｖ、現在補正されていない脊椎または脊柱の曲率データＳＣＤ、および補正された脊椎または脊柱についての補正された脊椎曲線ＣＳＣ上のデータを含む。
【図3B】外科的切開部ＳＩの内部に配置され、ツールＳＤが取り付けられたスクリューエクステンダＳＥの例示的な斜視図を示し、ツールＳＤは、例えば椎弓根スクリューを椎骨Ｖに取り付けるためのスクリュードライバＳＤであり、ツールＳＤは、その上に配列された２つの例示的な光学検出マーカＯＭを有する。
【図3C】スクリューエクステンダＳＥ１～ＳＥ３とスクリューヘッドＳＨ１～ＳＨ３の骨アンカーＢＡ１～ＢＡ３との間の固定された幾何学的関係に基づいて、椎骨および脊柱ＳＣの位置の計算の精度を高めるために、スクリューヘッドＳＨおよび骨アンカーＢＡに対して最も外側の角度位置にあるように、１つの所定の側に移動された３つのスクリューエクステンダＳＥの側面図を示す。
【図4】本発明の別の態様による、実際の脊椎安定化ロッドＲのロッドデータＲＤを走査、計算、および表示し、そして、ロッドデータＲＤに基づいて仮想脊椎補正を計算して脊柱ＳＣに対する仮想補正を視覚化するための方法５００の例示的なフローチャートを示す。
【図5】外科的切開部ＳＩから見えるガイドワイヤＧＷまたは椎弓根マーカＰＭの検出によって、椎弓根スクリューＰＳの配置が行われる前に脊柱ＳＣを特徴付ける異なる種類の情報を決定するための方法６００の例示的なフローチャートを示す。
【図6】本発明の一態様による、２つのドリル孔ＤＨ１、ＤＨ２と、ドリル孔ＤＨ１、ＤＨ２にそれぞれ配置された２つのガイドワイヤＧＷ１、ＧＷ２と、ガイドワイヤＧＷ１、ＧＷ２にそれぞれ取り付けられた２つの椎弓根マーカＰＭ１、ＰＭ２とを有する椎骨の例示的かつ簡略化された断面図を示し、光学マーカＯＭは、取り外し可能または固定的に取り付けられた光学マーカ部品５０を備える。
【発明を実施するための形態】
【0021】
[0032]本明細書では、可能であれば、図に共通する同一の要素を指名するために同一の参照番号が使用される。また、図面の画像は、例示の目的で簡略化されており、縮尺通りに描写されていない場合がある。
【0022】
[0033]図１Ａは、整形外科手術が実施される場所の斜視図を示し、外科的切開部ＳＩを有する手術台上の生体または患者Ｌと、整形外科手術のための異なる種類の脊椎ロッドを提案するための方法を実施するための例示的なデータ処理装置１００を保持するユーザ、オペレータ、外科医、医療助手Ｏとを示し、図１Ｂは、本発明の一態様による、生体または患者Ｌの脊柱ＳＣの椎骨を安定させて固定するための異なる種類の脊椎安定化ロッドを提案するための方法の異なるステップを描写する例示的かつ簡略化されたフローチャートを示し、方法は、画像撮像装置および表示画面を有するコンピューティング装置によって、外科的切開部ＳＩでの脊椎整形外科手術中に拡張現実を使用することによって実施される。例示的な実施形態として、整形外科脊椎手術が示され説明されており、本方法は、ユーザ、オペレータ、外科医、医療助手Ｏが２つ以上の椎弓根スクリューに取り付けるための適切な安定化ロッドを選択するのを支援するために実施および使用される。例えば、本方法は、異なる曲げ形状を有する複数のロッドの中から、特定の予め曲げられた形状を有する特定のロッドを提案することができ、またはロッドの特定の曲率もしくは曲げ曲線を提案することができ、その後ロッドは外科医Ｏによって手術のために曲げることができる。
【0023】
[0034]脊椎整形外科手術は本質的に例示的なものにすぎず、拡張現実を使用する同じ方法は、検出可能なスクリューエクステンダが取り付けられた異なる種類の予め配置された骨スクリューへの取付けのために安定化ロッドまたは別の種類の安定化装置が必要とされる他の種類の整形外科手術、例えば、これらに限定されないが、ロッドによる安定化を必要とする骨折修復手術、または外部固定器を使用する他の種類の骨折もしくは再建手術に使用することができることに留意されたい。
【0024】
[0035]方法２００を実施する前に、整形外科手術が実施され、外科医Ｏは、例えば通常の外科的ワークフローに基づいて整形外科手術を開始して実施する。これにより、外科的切開部ＳＩは、生体または患者Ｌに対して行われ、例示および説明の目的で、少なくとも２つの椎弓根スクリューＰＳ１、ＰＳ２が、生体Ｌの脊柱ＳＣのそれぞれの椎骨に配置されると仮定され、この変形例では、３つの椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３が示されている。この数は例示的なものにすぎず、例示目的のために選択され、異なる数のスクリューエクステンダＳＥおよび対応する椎弓根スクリューを用いて方法２００を実施することが可能である。通常、各椎骨は、両側に２つの椎弓根スクリューを必要とする。これにより、各１つの椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３は、それぞれのスクリューヘッドＳＨ１、ＳＨ２、ＳＨ３を用いてそれぞれのスクリューエクステンダＳＥ１、ＳＥ２、ＳＥ３に取り付けられる。そのような手術の少なくとも一部の例は、米国特許第１０，０５８，３５５号明細書（図１８～図３８を参照）に示されており、この参考文献は、その全体が参照により本明細書に組み込まれる。
【0025】
[0036]複数の椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３が、米国特許第１０，０５８，３５５号明細書に示されているように、スクリューエクステンダＳＥ１、ＳＥ２、ＳＥ３およびスクリュードライバを使用することによって、例えば椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３の骨固定要素で個々の椎骨にねじ込まれることによって、それぞれの椎骨Ｖ１、Ｖ２、Ｖ３に対する最終位置に配置されると、外科医またはオペレータＯは、複数の椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３のスクリューヘッドＳＨ１、ＳＨ２、ＳＨ３の各収容開口内に配置され得るように曲げられた、またはそのような形状を有する脊椎安定化ロッドＲを選択または提供する必要がある。好ましくは、椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３の各スクリューヘッドは、ロッドＲを受け入れるためのＵ字状の溝を有し、ロッドＲをセットスクリューによってスクリューヘッドに取り付けることができるようにねじ山を有する。椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３のスクリューヘッドＳＨ１、ＳＨ２、ＳＨ３内に配置されるロッドＲの形状または曲率を決定するために、スクリューヘッドＳＨ１、ＳＨ２、ＳＨ３への配置および接続前のロッドＲの形状、曲率、または長さの少なくとも１つを決定することができるように、スクリューヘッドＳＨ１、ＳＨ２、ＳＨ３の互いに対する位置および向きの情報を有することが望ましい。
【0026】
[0037]手術のこの段階で、外科医Ｏは、データ処理装置１００を使用して、生体または患者Ｌの脊柱ＳＣの椎骨の安定化および固定のための異なる種類の脊椎安定化ロッドを提案するための方法２００を開始することができる。方法２００のステップは、コンピュータ命令を含む専用のアプリケーションソフトウェアによって実施することができ、コンピュータ命令は、本明細書に記載の方法の態様を実施するためにデータ処理装置１００のデータプロセッサで実行可能であり、方法２００は、例えば、データ処理装置１００の表示装置１２０に表示することができるライブビデオフィード上のグラフィックオーバーレイとして、ユーザコマンドによりグラフィカルユーザインターフェースＧＵＩを操作および表示するように構成される。表示装置１２０は、例えばタッチスクリーンなど、情報入力のためのタッチ感知特性も含む表示画面とすることができる。好ましくは、データ処理装置１００は、例えば、これらに限定されないが、スマートフォン、携帯電話、もしくはタブレットなどのポータブル装置、または別の種類のハンドヘルドデータ処理装置とすることができる。さらに、データ処理装置１００はまた、画像データ処理、ならびにライブビデオフィードおよびＧＵＩだけでなくＧＵＩに表示される他のグラフィック要素の生成をサポートするグラフィックプロセッサを含むことができる。
【0027】
[0038]方法２００は、図１Ａおよび図１Ｂに例示的に示すように、それぞれのスクリューエクステンダＳＥ１、ＳＥ２、ＳＥ３を有するすべての椎弓根スクリューＰＳ１、ＰＳ２、ＰＳ３が配置されると開始することができる。最初のステップＵ１０が実施され、方法２００は、例えば外科医またはオペレータＯによってアプリケーションを起動することによって開始される。次に、方法２００はステップＤ１０に進み、ライブビデオフィードが生成され、表示装置１２０のＧＵＩ、例えばスマートフォンのタッチスクリーンに表示される。これは、アプリケーションの１つに表示される、ライブビデオフィードを開始するためのＧＵＩのボタンまたはアクティブなグラフィック要素にタッチすることによって行うことができ、またはステップＵ１０でアプリケーションを起動すると自動的に開始することができる。これにより、データ処理装置１００は、画像撮像装置１１０、例えばスマートフォン内蔵カメラユニットを用いて画像のシーケンスの撮像を開始し、表示画面１２０、例えばグラフィカルユーザインターフェースＧＵＩのウィンドウを用いて、または表示装置もしくは画面１２０の全画面に、そのような画像をリアルタイムで同時に表示する。ライブビデオフィードは、画像撮像装置１１０の撮像画像に基づいており、拡張現実表現のための追加のグラフィック要素、アニメーション、および他のオブジェクトをオーバーレイすることを可能にするために、リアルタイムのビデオシーケンスとして表示される。ステップＤ１０は任意選択のステップであることに留意されたく、なぜならば、透明または半透明のディスプレイ画面または装置を用いて、例えば、外科的切開部ＳＩを直接見ることができるウェアラブル拡張現実（ＡＲ）眼鏡、透明もしくは半透明の表示画面もしくは装置を有するヘッドマウントディスプレイ、またはヘッドアップディスプレイ（ＨＵＤ）を用いて方法を実施することも可能であるからである。
【0028】
[0039]次に、任意選択で、方法２００はステップＤ２０に進み、ここで、命令またはコマンドＣＭＤを外科医またはオペレータＯに表示または他の方法で提供することができ、例えば、外科医もしくはオペレータＯによる手動データ入力のための較正情報、向き情報、または次の走査ステップＵ３０を可能にする他の種類の情報を要求することによって、例えば方法を開始するための基本情報を要求する。さらに、このステップＤ２０はまた、ユーザが方法２００のデータ、具体的には、命令またはコマンドＣＭＤに関連するデータを入力することを可能にするグラフィック要素を提供することもできる。これは、例えば、テキストプロンプト、グラフィカルプロンプト、または１つもしくは複数の選択ボタンを用いて、ライブビデオフィード上にオーバーレイされたグラフィック要素を用いて行うことができる。また、ステップＤ２０が音声コマンドの形態のオーディオ情報を提供して、外科医またはオペレータＯが命令またはコマンドＣＭＤを提供するのを支援することも可能である。また、ステップＵ２０を実施することができ、ここで、図２Ａのスクリーンショットで例示的に示されるように、外科医またはオペレータＯは命令またはコマンドＣＭＤに応答するためのデータを入力することができる。これらのステップは、外科医またはオペレータＯがステップＤ１０のライブビデオフィードを生成するために外科的切開部ＳＩを連続的に撮影しながら少なくとも部分的に同時に実施することができ、コマンドおよびボタンＣＭＤの表示を可能にする。例えば、図示の変形例では、ステップＤ２０は、ライブビデオフィードビューに対する生体Ｌの向きに関する情報を要求する外科医またはオペレータＯのためのテキストボックスを表示し、ステップＤ２０では、テキストボックスがＧＵＩに表示され、情報要求に関連する追加情報を外科医またはオペレータＯに提供する。また、ステップＤ２０は、ＧＵＩの左側および乗車側にグラフィカルアイコンを有する２つの記号化された頭部を表示およびオーバーレイすることができ、その結果、外科医またはオペレータＯは、これらの２つのグラフィカルアイコンのうちの一方を選択して、データ処理装置１００の位置に対して、生体の頭部Ｌがどの側に位置するかを示すことができる。頭部を表す１つのグラフィックアイコンが選択されると、頭部を強調表示することができ、要求された情報は、図２Ａに示すように、ＧＵＩのライブビデオフィード上にオーバーレイされた確認ボタンで確認することができる。
【0029】
[0040]一般に、本明細書の文脈では、外科医またはオペレータＯが方法２００または本明細書に記載の他の方法にデータを入力するステップ、例えば、これに限定されないが、ステップＵ２０では、要求されたデータは、タッチスクリーン操作でＧＵＩ上のボタンなどのグラフィック要素にタッチすることによって手動でデータを入力する代わりに、データ処理装置１００のマイクロフォン１３０を使用して、データ処理装置１００上で動作する音声または発話認識ソフトウェアを使用することによって入力することができる。これにより、外科医またはオペレータＯは、音声コマンドによって命令またはコマンドＣＭＤに応答するためのデータまたは情報を提供することができ、音声および速度認識のそのような実装は、外科医またはオペレータＯが方法２００の間に表示画面１２０にタッチすることを少なくとも部分的に回避することを可能にする。その後、データの入力は、オーディオによって、例えば音声プロンプトを用いて、または表示される異なるグラフィック要素を用いて、データ処理装置１００の一部であるかまたはデータ処理装置１００に動作可能に接続された１つ以上のスピーカを使用して確認することができる。
【0030】
[0041]しかしながら、このステップＵ２０が、コンピュータベースのプロセスによって、例えばデータプロセッサを用いた画像データ処理アルゴリズムによって自動化されること、およびデータ処理装置１００のメモリが、ライブビデオフィードのための画像データを提供する画像の撮像されたシーケンスに対する生体Ｌの向きを検出するために実施されることも可能である。一例として、これは、例えば、訓練データに基づいて生体Ｌの向きを検出することができる訓練されたニューラルネットワークの使用によって、またはスクリューエクステンダＳＥに取り付けられた光学マーカＯＭに関して以下でさらに説明するように、生体Ｌもしくは医療用もしくは手術台もしくは手術テーブルに取り付けられた光学マーカの使用によって、またはパターンマッチングアルゴリズムによって検出することができる医療用もしくは手術台もしくは手術テーブルの向きを検出することによることができ、生体Ｌの向きに関する情報を提供することができる。
【0031】
[0042]ステップＵ２０およびＤ２０で上述したように、ＧＵＩを用いたステップＤ１０のライブビデオフィードの表示と同時に、ユーザ指示を提供し、ユーザ情報および命令を受信するために、方法２００の実施中の異なる時点で異なるユーザコマンドおよび情報をＧＵＩに表示することができる。例えば、異なるテキストプロンプト、またはテキスト情報を有するテキストボックスを、ライブビデオフィード上のオーバーレイとして表示することができ、外科医またはオペレータＯに、実施される処理の種類に関する情報または方法２００のステータス情報を外科医またはオペレータＯへのフィードバックとして与える、またはアイコンもしくはボタンを介してユーザ入力を要求する。異なる情報および命令がオーディオ、例えば音声プロンプトによって要求されることも可能である。また、画質および画像撮像パラメータおよび特徴、例えば、これらに限定されないが、ズームまたは画像クリッピング、自動画像補正設定、自動カラーおよびホワイトバランス調整、広角設定をロックすることによって、方法２００を構成するためのメニューを開くまたはプルダウンすることを可能にするグラフィック要素またはアイコンが表示されることが可能である。また、方法２００の前のステップに戻るために、外科医またはオペレータＯによってタッチまたは他の方法で選択され得るグラフィカルアイコンを提供することが可能である。
【0032】
[0043]次に、スクリューエクステンダＳＥを走査するステップＵ３０において、外科医またはオペレータＯは、ステップＤ１０の連続的な実施によってライブビデオフィードバックがＧＵＩに表示されている間に、例えばテキストプロンプトによって、外科的切開部ＳＩを指し示すスクリューエクステンダＳＥの画像シーケンスを撮影および撮像するように通知または促される。このステップの例示的なスクリーンショットが図２Ｂに示されており、テキストボックスはユーザまたはオペレータＯに、データ処理装置１００を移動させてスクリューエクステンダＳＥのすべてを走査するように要求している。次に、ステップＤ１０で、外科医またはオペレータＯは、すべてのスクリューエクステンダＳＥ、例えば３つの例示的なスクリューエクステンダＳＥ１、ＳＥ２、ＳＥ３をＧＵＩのライブビデオフィードで見ることができるように、画像撮像装置１１０の視野角および視野を生体Ｌおよび外科的切開部ＳＩに向けて、外科的切開部ＳＩおよびその周囲の画像シーケンスを撮像する。これは、図２Ｃに、スクリーンショットと共に例示的に示されており、スクリューエクステンダの走査が進行中であることを示すテキストボックスを表示することができる。図２Ｃでは、ＧＵＩを用いて表示される画像撮像装置１１０の視野は、５つのスクリューエクステンダＳＥ、脊柱の後方の椎弓根骨の右側に、椎体内に取り付けられた前方の３つ、および左側の２つを示すことも分かる。
【0033】
[0044]走査ステップＵ３０が開始されるのと同時にまたはその後に、外科医またはオペレータＯが依然として外科的切開部ＳＩおよびスクリューエクステンダＳＥを撮影している間に、異なるスクリューエクステンダＳＥを検出するステップである画像データ処理ステップＣ１０が実施される。これは、撮像された画像に対して実施される異なる種類の画像処理アルゴリズムによって行うことができる。例えば、これは、第１の１つのスクリューエクステンダＳＥが検索され、検出され、そして、そのデータが例えば三次元座標データモデルによって保存される段階的な方法によって行うことができる。その後、次のスクリューエクステンダＳＥが検索され、検出されて、そのデータが保存され、画像撮像装置１１０の視野内のすべてのスクリューエクステンダＳＥが検出されて保存されるまで、これらのサブステップが繰り返される。好ましくは、検出ステップＣ１０は、データ処理装置１００が移動している間に実施され、これは、スクリューエクステンダＳＥおよび外科的切開部ＳＩの視野角および観察窓が可変で変化することを意味する。
【0034】
[0045]一例として、検出ステップＣ１０は、スクリューエクステンダＳＥの形状を検出して追跡し、その後、スクリューエクステンダＳＥの姿勢を抽出して姿勢データ情報ＰＤＩのデータセットを提供するために、剛体モデルベースの三次元（３Ｄ）姿勢、位置決め推定アルゴリズムおよび追跡アルゴリズムを使用して実施することができる。スクリューエクステンダＳＥの形状はすべて既知であり、すべて同じ形状および寸法であるため、三次元モデル、例えばコンピュータ支援設計（ＣＡＤ）データモデルをこの検出ステップに使用することができる。複数のスクリューエクステンダＳＥのうちの１つを検出した後、ステップは、記憶および更新することができる姿勢データ情報ＰＤＩを生成し、姿勢データ情報ＰＤＩは、スクリューエクステンダＳＥの座標基準位置、角度および回転方向、例えば座標系、例えばユークリッド空間などの現実世界座標系を基準とする異なるベクトルを含むことができる。姿勢データ情報ＰＤＩは、計算を簡単にするために、異なるスクリューエクステンダＳＥの座標位置のみを含むことも可能である。姿勢データ情報ＰＤＩは、様々な形態および座標空間で計算することができるが、好ましい実施形態では、座標データは、ユークリッド座標空間を参照する三次元データである。すべてのスクリューエクステンダＳＥのすべての姿勢データ情報ＰＤＩが生成されると、収集されたすべての姿勢データ情報ＰＤＩのデータセットを用いてデータセットまたはテーブルを生成することができる。スクリューエクステンダＳＥの本体形状は既知であるが、スクリューエクステンダＳＥの前端は、図２Ｃの例示的なスクリーンショットに見られるように、外科的切開部の内側で椎弓根スクリューＰＳのヘッドと相互接続されているため、スクリューエクステンダＳＥは画像シーケンスでは部分的にしか見えない。このため、身体の部分的な形状も検出することができ、姿勢データ情報ＰＤＩを生成することができる、コンピュータビジョン追跡のためのロバストなアルゴリズムを実施する必要がある。すべての外科的切開部は、先験的には知られておらず、異なる切開位置、生体Ｌ、外科用ツールの配列の間で大きく異なり得るので、好ましくは、追跡されるシーンの事前知識を必要としないビジョン追跡アルゴリズムが使用される。
【0035】
[0046]使用することができるモデルベースの追跡アルゴリズムの一例は、訓練されたニューラルネットワークが物体検出に使用される米国特許出願公開第２０１９／０３５５１５０号明細書に記載されており、この参考文献は、参照によりその全体が組み込まれる。訓練されたニューラルネットワーク、例えば、これらに限定されないが、既知の姿勢データ情報ＰＤＩを有するスクリューエクステンダの画像に基づいたＣＮＮおよび深層学習を用いて、スクリューエクステンダＳＥの部分ビューをその姿勢データ情報ＰＤＩに直接リンクすることを可能にする訓練データを確立することができる。別の例として、Ｖｉｓｏｍｅｔｒｙ ＧｍｂＨのｖｉｓｉｏｎＬｉｂ（商標）社のロバストでモデルベースの拡張現実追跡アルゴリズムを使用することができる。
【0036】
[0047]別の例として、検出ステップＣ１０は輪郭検出アルゴリズムを使用して実施することができ、輪郭検出アルゴリズムは、最初にスクリューエクステンダＳＥの各々の輪郭を検出し、その後、検出された各輪郭をスクリューエクステンダの三次元（３Ｄ）モデルの二次元（２Ｄ）投影にマッピングし、その後、姿勢データ情報ＰＤＩのデータセットを決定することを可能にする。
【0037】
[0048]検出ステップＣ１０では、検出されたスクリューエクステンダＳＥはまた、画像の撮像およびライブビデオフィード上での表示中に追跡および更新することができる。これは、外科医またはオペレータＯが走査のステップＵ３０でスクリューエクステンダＳＥの撮影の位置および方向を移動させ、それによって姿勢データ情報ＰＤＩのデータセットをさらに改良するためにより多くの情報が収集されるので、必要であり得る。しかしながら、スクリューエクステンダＳＥ自体が互いに対してわずかに移動することも可能であり、それによってスクリューエクステンダＳＥの座標および向きデータを変更することができる。この点で、姿勢データ情報ＰＤＩのデータセットは時間の関数として変化してもよく、姿勢データ情報ＰＤＩのデータセットを含むデータ構造またはテーブルは、検出ステップＣ１０中に定期的に更新することができる。
【0038】
[0049]一変形例では、ステップＣ１０は、椎弓根スクリューＰＳへのスクリューエクステンダＳＥの配置を必要とせず、椎骨Ｖに取り付けられた椎弓根スクリューＰＳで簡単に実施される。例えば、各椎弓根スクリューＰＳのスクリューヘッドＳＨは、追跡アルゴリズムによる各椎弓根スクリューＰＳのスクリューヘッドＳＨのよりロバストな検出のために、印刷、エッチング、彫刻、パターン化、または他の方法で提供される光学マーカＯＭを有することができる。例えば、光学マーカＯＭは、マーカＯＭが外科的切開部ＳＩの肉、筋肉、脂肪、または他の身体部分で覆われていても依然として検出できるように、何らかの冗長情報を有するようなものとすることができる。例えば、Ｋｏｈｌｅｒ ｅｔ ａｌ．，「Ｒｏｂｕｓｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｐａｒｔｉａｌｌｙ Ｏｃｃｌｕｄｅｄ Ｃｉｒｃｕｌａｒ Ｍａｒｋｅｒｓ，」Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（ＶＩＳＡＰＰ），Ｖｏｌ．１，ｐｐ．３８７－３９２，ｙｅａｒ ２０１０を参照されたい。ＡＲＴａｇ基準光学マーカも参照のこと。一変形例では、スクリューエクステンダＳＥの代わりにスクリューヘッドＳＨを走査するステップＣ１０の前に、各スクリューヘッドＳＨには、図１Ｅに示すように、光学マーカＯＭが配列された取り外し可能な光学マーカ部品５０が装備されるが、今回はスクリューエクステンダＳＥ上に配置されず、椎弓根スクリューＰＳの各スクリューヘッドＳＨ上に直接配置される。光学マーカ部品５０とスクリューヘッドＳＨとの間の相互接続は、光学マーカ部品５０の端部を、椎弓根スクリューＰＳのスクリューヘッドＳＨの一方と相補的または対応する相互接続要素、例えば、米国特許第１０，０５８，３５５号明細書に記載されているような圧入係合部、またはスナップロック、または光学マーカ部品５０とスクリューヘッドＳＨとの間の他の種類の幾何学的に画定されたロックと共に構成することによって行うことができ、これにより、光学マーカ部品５０を正確に画定された位置でスクリューヘッドＳＨに接続することができ、しかも検出にのみ使用されるため、依然として容易に取り外すことができる。これにより、相互接続された状態または位置における光学マーカＯＭ、光学マーカ部品５０、および椎弓根スクリューＰＳのスクリューヘッドＳＨの間の幾何学的関係が定義され、可変ではない。これにより、椎弓根スクリューＰＳの検出信頼性の問題が低減されるか、またはさらには完全になくなる。しかしながら、方法の少なくとも一部が、追加の光学的検出補助を必要とせずに、画像処理アルゴリズムを用いた椎弓根スクリューＰＳの検出に依存することも可能である。
【0039】
[0050]ステップＣ１０の別の変形例として、各椎弓根スクリューＰＳは、異なる検出技術およびＲＦＩＤ検出アンテナの使用に基づいて、空間内の三次元位置の検出を可能にする１つ以上の無線周波数識別タグ（ＲＦＩＤ）、好ましくはパッシブ型ＲＦＩＤタグを装備することができる。例えば、これは、椎弓根スクリューＰＳ、例えばスクリューヘッドＳＨに取り付けられ、互いに異なる向きを有する異なるＲＦＩＤタグ、例えば三次元座標空間の異なる軸線で向きされた複数のＲＦＩＤタグを有するＲＦＩＤタグアレイを使用し、位置精度を向上させるために椎弓根スクリューＰＳのＲＦＩＤタグに対して移動することができるＲＦＩＤ検出アンテナを使用することによって行うことができる。例えば、Ｚｈａｎｇ ｅｔ ａｌ．，「３－Ｄｉｍｅｎｓｉｏｎａｌ Ｌｏｃａｌｉｚａｔｉｏｎ ｖｉａ ＲＦＩＤ Ｔａｇ Ａｒｒａｙ，」Ｉｎ ２０１７ ＩＥＥＥ １４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍｏｂｉｌｅ ａｄ ｈｏｃ ａｎｄ ｓｅｎｓｏｒ ｓｙｓｔｅｍｓ（ＭＡＳＳ），ｐｐ．３５３－３６１．ＩＥＥＥ，ｙｅａｒ ２０１７を参照されたい。例えばマトリックスに配列された異なる既知の基準位置を提供するために、椎弓根スクリューＰＳに取り付けられていない複数の基準ＲＦＩＤタグが使用されること、および椎弓根スクリューＰＳ、例えばスクリューヘッドＳＨに１つ以上のＲＦＩＤタグが取り付けられることも想定することができ、例えば、Ｌｉｕ ｅｔ ａｌ．，「Ａ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｐａｓｓｉｖｅ Ｒａｄｉｏ－Ｆｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄｅｖｉｃｅ Ｔａｇ，」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋｓ，Ｖｏｌ．１３，Ｎｏ．１０，ｙｅａｒ ２０１７，ｒｅｆ．１５５０１４７７１７７３６１７６を参照されたい。
【0040】
[0051]別の変形例として、超広帯域ＲＦＩＤタグを使用することができ、超広帯域ＲＦＩＤタグは、複数のリーダアンテナを使用して、異なる種類の検出アルゴリズム、例えば後方散乱変調またはＵＨＦおよびＵＷＢ変調によって検出することができ、例えば、「Ｕｌｔｒａｗｉｄｅ Ｂａｎｄｗｉｄｔｈ ＲＦＩＤ：Ｔｈｅ Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ？，」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｖｏｌ．９８，Ｎｏ．９，ｙｅａｒ ２０１０，ｐｐ．１５７０－１５８２を参照されたい。そのような場合、基準ＲＦＩＤタグ、１つ以上のリーダアンテナ、およびＲＦＩＤタグからの読み取り信号に対してデータ処理アルゴリズムを実施するためのデータ処理装置などの異なる要素は、図１Ａに示すシステムの一部であり、そして、基準フレーム情報または方法２００によるさらなる処理のために、データ処理装置１００に相互接続されて、スクリューヘッドＳＨおよび取付位置ＡＰの座標データを配信し、特定の基準フレーム内のスクリューヘッドＳＨおよび取付位置ＡＰを見つけることを可能にする他のデータを配信することができる。しかしながら、ネットワークを介してリーダアンテナの生データをデータ処理装置１００に提供して、装置１００におけるスクリューヘッドＳＨおよび取付点ＡＰの座標位置を決定することも可能である。
【0041】
[0052]さらに別の変形例として、椎弓根スクリューのスクリューヘッドＳＨが、具体的には金属製スクリューヘッドおよび外科的切開部ＳＩの周囲組織から放射される異なる熱放射により、外科的切開部ＳＩ内の環境よりも低温になるという前提に基づいて、スクリューヘッドＳＨは熱画像化によって検出することができる。例えば、赤外線サーモグラフィは、外科的切開部ＳＩの露出した組織および骨、ならびに椎弓根スクリューＰＳおよびそれらのスクリューヘッドＳＨなどのインプラントから発生する赤外線エネルギーを測定するために使用することができ、この赤外線エネルギーは、表面温度の分布を示す放射熱画像に変換することができる。そのような画像は、スクリューヘッドＳＨを検出するための、またはさらにはスクリューエクステンダＳＥを検出するための画像データ処理アルゴリズムを受けることができる。この目的のために使用することができる例示的な熱画像化カメラは、ＦＬＩＲ Ｓｙｓｔｅｍｓ Ｉｎｃ社の赤外線（ＩＲ）サーモグラフィカメラＦＬＩＲ Ｔ３３５である。これはまた、座標の基準位置、例えば定規、マーカなどを提供するために、熱画像化カメラ（図示せず）によって、および可視光範囲で動作する画像撮像装置１１０によって見ることができる基準マーカまたは基準フレームの使用を必要とする。画像処理アルゴリズムに基づいて、スクリューヘッドＳＨまたはスクリューエクステンダＳＥは、それにより、例えばモデルベースのパターンマッチングアルゴリズムによって、または他の種類の人工知能ベースの検出アルゴリズムによって、熱画像から位置特定および検出することができる。この目的のために、図１Ａに示すシステムは、ネットワークを介してデータ処理装置、例えばデータプロセッサ１００に熱画像化データを提供することができる熱画像化カメラをさらに含む。
【0042】
[0053]スクリューエクステンダＳＥの位置またはスクリューヘッドＳＨの位置のいずれかに関するこの情報は、ステップＤ２５、Ｄ３０、およびＵ４０によって使用することができ、ライブビデオフィード上にオーバーレイすることができるグラフィック基本要素ＧＰを提供して、異なるスクリューエクステンダＳＥを強調表示する、または一変形例ではグラフィック基本要素ＧＰを提供して椎弓根スクリューＰＳの異なる検出されたスクリューヘッドＳＨを強調表示し、スクリューエクステンダＳＥが配置されていない場合、ステップＣ２０、Ｃ３０の幾何学的形状およびロッドテンプレート計算のために考慮する必要がある異なる椎弓根スクリューＰＳを選択および選択解除する。
【0043】
[0054]さらに、一変形例では、走査ステップＵ３０、検出ステップＣ１０、および基本要素を表示するステップＤ２５は、反復的に実施することができ、それにより、例えば検出されたスクリューエクステンダＳＥごとに繰り返すことができる。この変形例は、図２Ｌおよび図２Ｍの表現で示されており、ここでは、例示的な数の４つのスクリューエクステンダＳＥ１～ＳＥ４が追跡および検出されている。例えば、走査ステップＵ３０では、スクリューエクステンダＳＥの検索および走査は、ライブビデオフィード上に表示およびオーバーレイされるグラフィカルロケータ要素ＧＬＥを使用することによってさらに支援することができ、例えば、図２Ｍを参照されたい。例えば、スクリューエクステンダのグラフィカル表現、例えば、画面上のスクリューエクステンダＳＥのレンダリングまたは投影のグラフィカル表現、スクリューエクステンダＳＥの外形、例えば、スクリューエクステンダＳＥの半透明のグラフィカル表現を表す、表示されるグラフィカルロケータ要素ＧＬＥ、またはスクリューエクステンダＳＥを走査および検出するためのロケータとして使用することができる他の種類のグラフィカルロケータ要素ＧＬＥ、例えば十字線、レチクル、カーソル、矢印、インジケータを画面上に示すことができる。例えば、このグラフィカルロケータ要素ＧＬＥは、画面に対して固定された位置、例えば表示された視野の実質的に中心に画面上に提示することができる。これにより、外科医またはオペレータＯは、ステップＵ３０で装置１００を移動させることができ、それにより、データ処理装置１００の画像撮像装置１１０によって撮影されたグラフィカルロケータ要素に対して、外科的切開部ＳＩで撮像または撮像されたシーンを移動させることもできる。
【0044】
[0055]図２Ｍに示す変形例では、グラフィカルロケータ要素ＧＬＥは、ＧＵＩの画面の中央の直立位置に固定的に表され、ライブビデオフィード上のスクリューエクステンダＳＥの外形として半透明要素としてレンダリングされ、グラフィカルロケータ要素ＧＬＥが外科的切開部ＳＩから突出しているスクリューエクステンダＳＥ１～ＳＥ２のうちの１つと一致することができるように、オペレータＯが装置１００を移動させることを可能にする位置および向きを有する。図示の変形例では、スクリューエクステンダの長手方向溝は、グラフィカルロケータ要素ＧＬＥにも表され、それにより、スクリューエクステンダＳＥ１～ＳＥ４を検出するために装置１００を保持して移動させるための向き角に関してオペレータＯに対する向き補助として機能する。
【0045】
[0056]ビデオフィードによって撮像されたスクリューエクステンダＳＥ１～ＳＥ４のうちの１つとグラフィカルロケータ要素ＧＬＥが部分的または完全に視覚的に接触またはタッチすると、それによって接触したスクリューエクステンダＳＥをステップＣ１０で検出することができ、その後、例えばステップＤ２５で検出されたスクリューエクステンダＳＥの基本要素を表示することによって強調表示することができる。例えば、検出ステップＣ１０は、走査ステップＵ３０と同時に実施されるコース検出ステップＣ１２に分割することができ、ここで、スクリューエクステンダＳＥとのグラフィカルロケータ要素ＧＬＥのタッチまたは接触を検出することができる。このコース検出ステップＣ１２は、スクリューエクステンダＳＥが位置する現在の画像内の表面または領域を検出することを可能にするパターンマッチングアルゴリズムまたは他の種類の検出アルゴリズムに基づくことができ、その後、グラフィカルロケータ要素ＧＬＥの座標または領域がスクリューエクステンダＳＥを表す画像の領域に接触、近接、またはタッチしている場合、精密検出ステップＣ１４を実施することができ、ここでスクリューエクステンダＳＥの正確な位置および座標が検出され、例えば姿勢データ情報ＰＤＩが検出される。ステップＣ１４でスクリューエクステンダＳＥが完全に検出されると、図２Ｌに示すように、拡張現実グラフィック基本要素ＧＰ１～ＧＰ４を検出されたスクリューエクステンダＳＥ上に表示することができ、例えばプロンプト、テキストボックス、確認ボタンを用いて、スクリューエクステンダＳＥの検出を承諾し、それによって、検出された姿勢データ情報ＰＤＩも承諾するように外科医またはオペレータを促すことができる。図２Ｍの例示的な図では、スクリューエクステンダのうちの左側に配列された２つであるＳＥ１およびＳＥ２が既に検出されており、グラフィック基本要素ＧＰ１およびＧＰ２とオーバーレイされて表示され、画像の中央にグラフィカルロケータ要素ＧＬＥが表示され、グラフィカルロケータ要素ＧＬＥは半透明のスクリューエクステンダＳＥのレンダリングを示している。
【0046】
[0057]一変形例では、検出のために、図２Ｌおよび図２Ｍに視覚化されているように、位置および向きに関する特定の姿勢情報を有するグラフィカルロケータ要素ＧＬＥと、画面１２０または装置１００に対して固定された座標とのおおよその一致時に、外科的切開部ＳＩのスクリューエクステンダＳＥ１～ＳＥ４のうちの追跡された１つの姿勢データ情報を用いて、一致するスクリューエクステンダを選択のために強調表示することができる。この点において、スクリューエクステンダＳＥ１～ＳＥ４のうちの１つの姿勢データ情報ＰＤＩの正確なまたはおおよその一致時に、図２Ｌに示すように、検出されたものをグラフィック基本要素ＧＰとオーバーレイすることができ、確認プロンプトをオペレータＯに提示することができる。オペレータＯが、スクリューエクステンダＳＥ１～ＳＥ４のうちの１つとグラフィカルロケータ要素ＧＬＥのＰＤＩとの間のＰＤＩの一致を引き起こすために、オペレータは、表示されたグラフィカルロケータ要素ＧＬＥがスクリューエクステンダＳＥのうちの１つ、図２ＭではＳＥ３とほぼ一致するまで、例えば旋回、傾斜、移動によって装置１００を移動させなければならない。このステップでは、例えばパターンマッチングアルゴリズムによって、選択のための異なるスクリューエクステンダ候補の粗いＰＤＩ情報を、グラフィカルロケータ要素ＧＬＥのＰＤＩとの一致が見つかるまで繰り返し計算することができる。
【0047】
[0058]次に、走査ステップＵ３０、検出ステップＣ１０、および基本要素を表示するステップＤ２５を次のスクリューエクステンダＳＥについて繰り返すことができ、図２Ｄに示すように、所望のスクリューエクステンダＳＥがすべて検出されるまで、スクリューエクステンダＳＥ１～ＳＥ４が順次１つずつ、検出されて基本要素によって強調表示される。この変形例は、各スクリューエクステンダＳＥの検出のために外科医またはオペレータに直接的な視覚的かつ直感的なフィードバックを提供することを可能にする段階的走査である。ＳＥのＰＤＴが撮像されて追跡されるスクリューエクステンダごとのステップＳ１４の検出時点または瞬間は、信号、例えば聴覚信号もしくは振動信号、またはその両方によってさらに強調表示することもできる。
【0048】
[0059]一変形例では、スクリューエクステンダＳＥは、上述のように形状、輪郭、またはパターンを検出するコンピュータビジョンアルゴリズムによって検出されないが、各スクリューエクステンダＳＥは、検出ステップで検出および追跡することができる光学マーカＯＭを装備し、光学マーカＯＭは、観視風景の基準マーカとしても機能することができる。外科的切開部ＳＩを伴うそのような観視風景の一例が図１Ｄに示されており、椎弓根スクリューＰＳ（図示せず）に取り付けられた２列のスクリューエクステンダＳＥ１～ＳＥ６を示している。図示の例では、各スクリューエクステンダＳＥは、スクリューエクステンダのよりロバストな検出を提供するために、異なる位置に２つの光学マーカＯＭを装備することができ、第１のマーカＯＭはスクリューエクステンダＳＥの本体の遠位端に位置し、第２のマーカはスクリューエクステンダＳＥの本体の中間部に位置する。例えばスクリューエクステンダＳＥ４、ＳＥ６で示されるように、２つのマーカのうちの１つがカメラ視野から覆われる場合、他の可視光学マーカＯＭによって提供される検出および追跡の冗長性がある。
【0049】
[0060]各スクリューエクステンダＳＥは、冗長性の目的のために複数の光学マーカＯＭを装備することができ、いくつかのマーカＯＭは、外科的切開部の内側に隠されるか、他のスクリューエクステンダＳＥによって覆われるか、そうでなければ画像撮像装置１１０の視野の外側にあるように配置されてもよい。また、外科医またはオペレータＯが、スクリューエクステンダＳＥが検出されているかどうかを視覚的に検査し、少なくとも１つのマーカＯＭが検出されて追跡されるように、カメラまたは画像化装置１１０の撮影および視野位置を移動させることができる。図１Ｄの例では、ステップＣ１０によるスクリューエクステンダの検出および追跡のために、少なくとも１つの光学マーカＯＭ５を検出するために異なるカメラビューが必要とされ得る。
【0050】
[0061]光学マーカＯＭは、例えば特定の向きで特定の位置に配置されることによって、スクリューエクステンダＳＥに対して固定された幾何学的関係を有するグラフィックパターンまたは設計で作製することができる。光学マーカに使用することができるパターンの一例として、パターンは、市松模様パターン、マトリックスコードもしくはＱＲコード（登録商標）、または同様の設計、例えばロボットの追跡に使用される設計とすることができる。異なる追跡マーカ、例えば、これらに限定されないが、ＡＲＴｏｏｌＫｉｔ、ＡＲＴａｇ、ＡｐｒｉｌＴａｇ、およびＡｒＵｃｏ基準追跡マーカは、スクリューエクステンダＳＥをラベル付けするために使用することができる光学マーカＯＭの一例であり、識別および姿勢推定の両方の目的に有用である。例えば、各スクリューエクステンダＳＥは、例えば、そのような光学マーカＯＭを有する層の印刷、貼り付け、エッチング、エンボス加工、格子、または堆積によって、１つ以上の光学マーカＯＭを固定して装備することができる。これらの光学マーカは、例えばＵＶ可視インク、ＮＩＲ可視インクを使用することによって、人間の目には見えないようにすることもできる。例えば、光学マーカＯＭは、取り外し可能または固定的に取り付けられた層またはステッカーとして作製することができる。
【0051】
[0062]代替として、図１Ｅに示すように、光学マーカが、各スクリューエクステンダＳＥから分離された部品５０であり、例えば、スクリューエクステンダＳＥの遠位端のハンドル取付部品６０上に光学マーカ部品５０を配置することによって、スクリューエクステンダＳＥに対して所定の幾何学的関係で配置することができることも可能である。また、光学マーカ部品５０は光学マーカＯＭを含み、そして、方法１００が実施されて終了すると、例えば単純な手動操作によってスクリューエクステンダ５０から容易に取り外すことができる。この目的のために、光学マーカ部品５０は、スクリューエクステンダ６０のハンドル取付部品６０と相補的な取付装置５５を有することができる。好ましくは、取付装置５５およびハンドル取付部品６０は、取付装置５５がスクリューエクステンダＳＥに対して１つの位置しかとることができないように形成され、その結果、スクリューエクステンダＳＥの正しい向きを考慮に入れて、スクリューエクステンダＳＥの正しい姿勢データ情報ＰＤＩを計算することができる。ステップＣ１０による検出および追跡のために、スクリューエクステンダＳＥを走査するステップＵ３０を実施する前に、光学マーカ部品５０をすべてのスクリューエクステンダＳＥ上に配置することができる。上記で説明したように、部分的に遮蔽されたマーカＯＭの検出が可能であるように、冗長な情報を有する光学マーカＯＭ、例えばＡＲＴａｇ、ＴｒｉＣｏｄｅ、ＡＲＴｏｏｌｋｉｔ＋、Ｋｏｈｌｅｒ円形マーカを使用することも可能である。
【0052】
[0063]各スクリューエクステンダＳＥについて、光学マーカＯＭに含まれるパターンまたは他のグラフィック要素が異なり、任意選択の識別ステップＣ１５で読み取って識別することができる情報を含むことも可能である。この情報は、正しい外科手術のための正しいスクリューエクステンダＳＥが使用されているかどうかを確認するための検証目的に使用することができる。例えば、データベースを用いて、各スクリューエクステンダＳＥの識別情報を読み取ることができ、スクリューエクステンダＳＥの異なる態様、例えばスクリューエクステンダＳＥがその寿命またはライフサイクルを超えたかどうか、正しい種類のスクリューエクステンダＳＥが特定の手術に使用されているかどうかを確認することができる。さらに、各光学マーカＯＭに含まれる識別情報を使用して、手術風景から撮像されたいくつかの画像にわたってそれぞれのスクリューエクステンダＳＥを識別することができ、それにより、撮像された画像のシーケンス内の検出されたスクリューエクステンダＳＥの対応関係の高速計算が可能になる。これにより、いくつかの撮像画像にわたって個々のスクリューエクステンダＳＥのよりロバストで高速な識別を提供することができる。
【0053】
[0064]スクリューエクステンダＳＥのうちの少なくとも１つが検出されると、図２Ｄのスクリーンショットに例示的に示すように、スクリューエクステンダの基本要素を計算して表示するステップＤ２５で、グラフィック基本要素ＧＰを生成し、ＧＵＩのライブビデオフィード内の実際に表示されたスクリューエクステンダ上にオーバーレイすることができる。この図では、スクリューエクステンダＳＥの可視部分の外形を示すグラフィック基本要素が示されており、グラフィック要素はコーナー点を強調表示または指示している。グラフィック基本要素ＧＰは、スクリューエクステンダＳＥ用のコンピュータ生成グラフィック要素の拡張現実、および現実世界を提供するために、ライブビデオフィード中にそれぞれのスクリューエクステンダＳＥの位置を覆うか、または他の方法でグラフィカルに指示するように表示することができる。これは、スクリューエクステンダＳＥに対して、現在撮像されて表示されている画像のカメラ位置および向きを表すデータを計算することによって、ならびに姿勢データ情報ＰＤＩのデータセットに基づいて、グラフィック基本要素ＧＰのグラフィック要素としてのスクリューエクステンダＳＥの投影を計算して表示することによって行うことができる。しかしながら、スクリューエクステンダのグラフィック基本要素ＧＰを計算して表示するステップＤ２５は、検出ステップＣ１０によって収集された姿勢データ情報ＰＤＩとは完全に別個に行うこともでき、そして、スクリューエクステンダＳＥの外形を検出する輪郭検出アルゴリズムに基づくことができ、その後、要素、例えば、これらに限定されないが、線、シェーディング、ドット、点、ボックスをグラフィカルに表示する。
【0054】
[0065]一般に、ステップＤ２５は、スクリューに関するコンピュータ生成情報を提供することを可能にする。このステップは、好ましくは２つのサブステップを含み、第１のサブステップは、ライブビデオフィードの撮像画像上の固定された関心点、基準マーカ、または光学フローを検出する。カメラ画像内の関心点、基準マーカ、または光学フローを検出する。これにより、第１のサブステップは、現在のカメラビューの向きデータモデルを作成することができる。このステップは、コーナー検出、ブロブ検出、エッジ検出または閾値処理、および他の種類の画像処理方法などの特徴検出方法を使用することができる。第２のサブステップは、外科的切開部ＳＩおよびスクリューエクステンダＳＥである、現在撮影されている環境の現実世界座標系を復元する。外科的切開部ＳＩおよび身体を伴う観視風景の少なくとも一部が未知であるので、同時位置特定およびマッピング（ＳＬＡＭ）は、姿勢データ情報ＳＰＩの相対位置を画面位置座標データＳＬＣＤにマッピングすることができ、ライブビデオフィード上の正しい位置にグラフィック基本要素ＧＰを表示するために計算することができる。この点において、スクリューエクステンダＳＥのグラフィカル表現は、画面位置座標データＳＬＣＤに投影されたスクリューエクステンダの幾何学的モデルの投影図とすることができる。加えて、または代替として、観視シーンの構造は、バンドル調整が使用されるような運動方法から導出することができ、使用される数学的方法は、射影（エピポーラ）幾何学、幾何学的代数、指数写像による回転表現、カルマンおよび粒子フィルタ、非線形最適化、およびロバスト統計の場合の使用を含むことができる。このステップＤ２５により、現実の単語オブジェクトのグラフィカル表現、この場合はスクリューエクステンダＳＥのグラフィック基本要素ＧＰが、スクリューエクステンダＳＥの現実の単語ビューまたはシーンと関連付けられる。三次元情報に基づいて、例えば、直接飛行時間（ｄＴｏＦ）、ＬｉＤＡＲセンサ、または構造光センサを含む距離測定センサからのデータ、２つの画像センサによるステレオ画像化に基づいて、マッピングのために観視風景がさらに分析されることも可能である。グラフィック基本要素ＧＰは、スクリューエクステンダＳＥの仮想再構成投影モデルと考えることができる。そのようなステップＤ２５の実装の一例は、米国特許第１０，８２４，３１０号明細書および米国特許第９，８２４，４９５号明細書を用いて見出すことができ、これらの参考文献は、その全体が参照により本明細書に組み込まれる。
【0055】
[0066]このステップＤ２５により、視覚フィードバックを外科医またはオペレータＯに与えて、すべてのスクリューエクステンダＳＥが検出されたかどうかを確認し、そして、スクリューエクステンダＳＥを強調表示するための動的に移動するグラフィック要素によって外科的切開部ＳＩのライブビデオフィードがさらに拡張されるので、拡張現実概念の一態様を提供することができる。一変形例では、最初にすべてのスクリューエクステンダＳＥが検出され、姿勢データ情報ＰＤＩが抽出されてテーブルまたはデータ構造に記憶され、その後、グラフィック基本要素ＧＰがスクリューエクステンダ上にオーバーレイされる。このステップは、走査ステップＵ３０および検出ステップＣ１０と同時に実施することができる。例えば、グラフィック基本要素ＧＰは、検出されたそれぞれのスクリューエクステンダＳＥを覆う不透明、透明、または半透明のシェーディングとすることができる。
【0056】
[0067]次に、方法２００は、ステップＤ３０を実施することができ、ここで、セレクタ要素ＳＦが生成され、検出されたスクリューエクステンダＳＥごとにライブビデオフィード上に表示され、そして、セレクタ要素ＳＦによってスクリューエクステンダＳＥを選択または選択解除するステップＵ４０が実施され、外科医またはオペレータＯが、好ましくはタッチスクリーン操作によってスクリューエクステンダの個々のものを手動で選択することを可能にする。それにより、ステップＤ３０は拡張現実概念の別の態様を提供し、外科医またはオペレータＯとの容易な対話を可能にして、考慮されるスクリューエクステンダＳＥを選択または選択解除し、そして、ステップＵ４０で、例えば、外科医またはオペレータＯが、選択／選択解除を切り替えるためのセレクタ要素ＳＦを指でタッチすることよって、ライブビデオフィード上に配置されたスクリューエクステンダの選択／選択解除のためのＧＵＩ上のグラフィック要素ＳＦの使用を可能にする。また、視野角が変化した場合でも、セレクタ要素ＳＦのグラフィカル表現がそれぞれのスクリューエクステンダＳＥに位置する、またはそれぞれのスクリューエクステンダＳＥを向くように移動させることができる。セレクタ要素ＳＦを表示するステップＤ３０は、セレクタ要素ＳＦの表示座標をステップＤ２５によって生成されたそれぞれのグラフィック基本要素ＧＰの表示座標とリンクさせることによって、またはスクリューエクステンダＳＥの姿勢データ情報ＰＤＩからの投影を計算することによって、図２Ｅのスクリーンショットに例示的に示されるように、ライブビデオフィード上に動的にオーバーレイされたグラフィック要素、例えば、これらに限定されないが、スクリューエクステンダＳＥのそれぞれについてのフィールド、ボックス、矢印、アイコン、ラベル、または他の種類のグラフィカルに選択可能なラベルもしくは要素をＧＵＩに表示することができる。ライブビデオフィード上のセレクタ要素ＳＦのこのグラフィックオーバーレイにより、外科医またはオペレータＯは、以下でさらに説明するように、ロッドテンプレートＲＴを提案するために、または複数のロッドテンプレートの中からロッドテンプレートを選択するために、スクリューエクステンダＳＥのうちのアクティブなものを選択することができる。例えば、外科医またはオペレータＯは、ロッド決定のために３つのスクリューエクステンダＳＥを有する前列を選択したい場合がある。
【0057】
[0068]ステップＵ４０で外科医またはオペレータＯによって行われた選択は、タッチスクリーン操作によってアクセスすることができるグラフィッカルに表示された確認ボタンによって確認することができ、また、図２Ｆに例示的に示されているように、いくつのスクリューエクステンダＳＥが検出されたかに関する情報を有するテキストボックスによって案内することもでき、いくつのスクリューエクステンダが選択されたかに関する情報を有し、３つのスクリューエクステンダの前列が選択されている。ＳＦを有するスクリューエクステンダの選択または選択解除はまた、選択されたＳＥの状態に関して外科医またはオペレータＯに視覚フィードバックが提供されるように、グラフィック要素によって強調表示または非強調表示することができる。
【0058】
[0069]ステップＵ４０でスクリューエクステンダの選択を確認すると、方法２００は、椎弓根スクリューＰＳのロッド取付位置の幾何学的形状の計算が実施されるステップＣ２０に進む。例えば、このステップでは、幾何学的形状は、脊椎安定化または固定ロッドＲのすべての取付中心点ＡＰの座標データを含むことができ、これらは、ステップＣ１０およびＵ４０からの検出および選択されたスクリューエクステンダＳＥのデータに基づいて計算することができる。本明細書に記載の変形例では、このステップは、図１Ｃの例示的な実施形態に示すように、脊椎安定化または固定ロッドＲが縮小され、脊椎安定化のためにその最終位置でスクリューヘッドＳＨに配置されることを考慮して、選択されたスクリューエクステンダＳＥごとの架空的に配置された、または仮想ロッドＲの各椎弓根スクリューＰＳの取付中心点ＡＰを決定し、各椎弓根スクリューＰＳは対応するスクリューエクステンダＳＥに取り付けられる。このロッドは、外科的切開部の椎弓根スクリューＰＳにまだ配置されていないので、架空または仮想的であると考えられる。図示の変形例では、ロッドＲの取付中心点ＡＰは、ロッドＲがスクリューヘッドＳＨのＵ字形溝ＵＧ内に完全に配置されたときの、椎弓根スクリューＰＳのスクリューヘッドＳＨおよびスクリューエクステンダＳＥアセンブリの中心軸線ＣＡと、ロッドＲの回転中心軸線との間の交点として定義される。しかしながら、スクリューヘッドの種類および他の考慮事項について保留すると、取付中心点ＡＰは異なって定義することができる。ステップＵ４０での幾何学的空間、例えば三次元ユークリッド空間内のすべての取付中心点ＡＰを決定することにより、その後、椎弓根スクリューＰＳのスクリューヘッドＳＨへの配置および取付けのためのロッド形状またはテンプレートＲＴの提案を行うことが可能である。
【0059】
[0070]ステップＣ２０は、スクリューエクステンダＳＥを検出するステップＣ１０によって計算された姿勢データ情報ＰＤＩのデータセットに基づいて幾何学的計算を実施することができる。スクリューヘッドＳＨが通常完全に挿入されるか、またはスクリューエクステンダＳＥに対して固定された取付位置を有するため、椎弓根スクリューＰＳのスクリューヘッドＳＨは、椎弓根スクリューＰＳが取り外し可能に取り付けられる対応するスクリューエクステンダＳＥに対して固定位置を有すると仮定することができる。これにより、選択されたスクリューヘッドごとの姿勢データ情報ＰＤＩからの座標および向きデータを用いて、取付中心点ＡＰの三次元座標位置を計算することができる。椎弓根スクリューＰＳは、外科的切開部ＳＩ内に配置されているため、生体外Ｌからは見えないか、または部分的にしか見えないが、配置されたスクリューエクステンダＳＥの検出に基づいて、依然として取付中心点ＡＰを計算することが可能であることに留意されたい。例えば、これは、デカルト座標、線形方程式、距離計算、および表面方程式を使用して、異なる取付中心点ＡＰの座標を決定することによって行うことができる。例えば、これは、対応するスクリューエクステンダＳＥの中心軸線ＣＡの線形方程式を最初に決定し、スクリューエクステンダＳＥの姿勢情報を使用し、そして、すべてのスクリューエクステンダＳＥと同じ固定位置から固定距離にある取付中心点ＡＰを計算して、取付中心点ＡＰの位置を計算することによって行うことができる。
【0060】
[0071]取付中心点ＡＰ以外の、提案されたロッドテンプレートＲＴを決定するために関連する追加の情報を計算することができる。例えば、３つのスクリューエクステンダＳＥ１、ＳＥ２、ＳＥ３のロッドテンプレートＲＴが決定されている図１Ａおよび図２Ｆの変形例では、ＡＰの３つの座標点を幾何学的形状に使用することができるだけでなく、ロッド取付位置の幾何学的形状は、例えば、Ｕ字形溝に配置された仮想ロッドＲの中心軸線の方向ＤＣＡまたは軸線によって表される、座標空間内のスクリューヘッドＳＨの向きをさらに含むことができる。スクリューエクステンダＳＥの姿勢データ情報ＰＤＩに基づいて、取付中心点ＡＰごとに、仮想ロッドＲの中心軸線の方向ＤＣＡを表すデータを計算することができる。スクリューヘッドＳＨの中心軸線がスクリューエクステンダＳＥの中心軸線ＣＡと一致するように、一般に、スクリューヘッドＳＨが対応するスクリューエクステンダＳＥにしっかりと取り付けられているので、この方向は、スクリューヘッドＳＨのＵ字形溝の溝延長の方向に対応し、椎弓根スクリューＰＳの骨アンカー部品は、その多軸性のために異なる向きを有することができる。
【0061】
[0072]一変形例では、幾何学的形状の計算はまた、別のステップの一部であり得、そして、事前に計算され得、例えば、スクリューエクステンダの位置決めまたは姿勢に関するデータが利用可能になった後の、ステップＣ１０によるスクリューエクステンダＳＥの検出の一部であり得、方法２００のステップの本明細書で提案される順序は単なる例示である。
【0062】
[0073]次に、ステップＣ３０において、ステップＣ２０によって決定されたロッド取付位置の幾何学的形状に基づいて、１つ以上のロッドテンプレートＲＴの幾何学的形状を表すデータセットを計算することができ、データセットは本明細書ではロッドテンプレートデータＲＴＤと呼ばれ、ロッド取付位置の幾何学的形状は、例えば、決定された取付中心点ＡＰおよび／または中心軸線の方向ＤＣＡを含む。例えば、取付中心点ＡＰの座標データおよび中心軸線の方向ＤＣＡを考慮すると、ロッドテンプレートＲＴの適切な幾何学的形状は、例えば、カーブフィッティングアルゴリズム、例えば取付中心点ＡＰへの幾何学的適合を提供するカーブフィッティングを使用することによって、または、ステップＣ２０からの中心軸線の方向ＤＣＡも考慮することによって、または、例えば、これらに限定されないが、曲げられたロッドＲの最小可能もしくは許容される曲げ半径、最大曲率、最大横方向寸法を考慮する実際の物理的脊椎安定化ロッドＲの曲げ制限およびその物理的制限を考慮する適合アルゴリズムを使用することによって、例えば、取付中心点ＡＰの現在の位置に対する最良の適合と考えることができるものに決定することができる。ロッドテンプレートデータＲＴＤを、三次元座標空間において、隣接する取付中心点ＡＰの間に位置する一連の補間された離散的な三次元点として決定することも可能である。このステップＣ３０では、ロッドテンプレートＲＴの全長を計算し、計算した長さをロッドテンプレートデータＲＴＤに記憶することもできる。
【0063】
[0074]別の態様によれば、ステップＤ４２において、選択されたロッドテンプレートＲＴをロッドの実際の物理的実施形態の１対１のスケールで示すために、ウィンドウまたは他のグラフィック要素がディスプレイのグラフィカルユーザインターフェース上に表示されることも可能である。これは、ロッドテンプレートＲＴ、または最良の機械的適合のために計算されたもの、例えば、グラフィカルボタン、コンテキストメニュー項目、またはグラフィカルユーザインターフェースを用いた他の選択操作によるリストからのロッドテンプレートＲＴをダブルクリックまたは他の方法で選択することによって行うことができる。これにより、外科医またはオペレータは、実際の物理的ロッドＲを表示画面上に保持するだけで、実際の物理的ロッドＲを縮尺通りに表示されるロッドテンプレートＲＴと直接比較することができ、オペレータまたはユーザは、異なる予め計算されたまたは決定されたロッドテンプレートＲＴを切り替えて、それらの適合性および適切性をグラフィカルに検証することができる。また、一変形例では、ロッドテンプレートＲＴのロッド形状は、タッチスクリーン操作によって、例えば、タッチスクリーン上での指操作によってロッドテンプレートＲＴを示すグラフィック要素の部分を横方向に移動させることによって、曲げられ、引き伸ばされ、または他の方法で変形され、または形状が変更され得る。修正された仮想ロッドテンプレートＲＴは、選択された基準またはゼロ点、例えば、取付点ＡＰ１、ＡＰ２、ＡＰ３のうちの１つに関して再び表示することができ、それぞれの取付点からのオフセット距離を再計算することができる。オペレータまたは外科医Ｏが使用のためのロッドテンプレートＲＴに満足するまで、表示ステップＤ４２およびロッドテンプレートＲＴに関連するパラメータの再計算を繰り返すことができる。
【0064】
[0075]複数の異なる予め曲げられたロッドテンプレートＲＴの座標または他の記述データのリストが、データセットまたは構造、例えばデータ処理装置１００のメモリまたはデータ処理装置１００によってアクセス可能なサーバに予め記憶され、次いで、このデータセットが、例えば決定された取付中心点ＡＰおよび／または中心軸線の方向ＤＣＡを含むロッド取付位置の幾何学的形状と最適に適合するように比較されることも可能である。これにより、外科医またはオペレータＯへの提示のために１つ以上のロッドテンプレートを識別することができる。ステップＣ３０の性能はまた、図２Ｇに例示的に示すように、例えばプログレスバーまたは円、アニメーション化された待機シンボルによって、データ処理装置１００上で外科医またはオペレータＯに表示することもできる。
【0065】
[0076]次に、方法２００は、ステップＤ４０に続くことができ、異なるパラメータを変更して視覚化するために、ロッドテンプレートＲＴ、取付中心点ＡＰ、中心軸線の方向ＤＣＡに関する異なる情報を表示することができ、この情報に関連するユーザインターフェースをＧＵＩに表示することができる。例示的なスクリーンショットが図２Ｈ～図２Ｉに提供される。これは、アプリケーションの拡張現実機能を提供し、それによってロッドテンプレートの椎弓根スクリューＰＳに対する正確さおよび適合についての視覚フィードバックを提供するために、ライブビデオフィードが依然としてデータ処理装置１００の表示装置１２０に表示されている間に行うことができる。図２Ｉに例示的に示すように、各スクリューエクステンダＳＥの中心軸線ＣＡの投影である選択された各スクリューエクステンダＳＥの線、取付中心点ＡＰの投影位置に配置された、ロッド取付位置の幾何学的形状を表す計算された取付中心点ＡＰを視覚化するグラフィック要素を含む異なる情報を、ライブビデオフィード上にグラフィックオーバーレイとして表示することができる。この拡張現実の態様では、取付中心点ＡＰの座標データをディスプレイの座標空間にマッピングまたは投影することができる。さらに、特性データ、例えば、これらに限定されないが、厚さ、長さ、曲げ半径、曲げパターンを含む、ステップＣ３０によって選択または決定されたロッドテンプレートＲＴのグラフィック表現を表示することができる。図示の変形例では、曲げられたロッドテンプレートＲＴが、その長さと共にミリメートル単位でボックス内に表示されている。
【0066】
[0077]さらに、図２Ｉに示すように、ステップＤ４０はまた、ボックスの同じ曲げられたロッドテンプレートＲＴを表示することができるが、３つの例示的な椎弓根スクリューＰＳと共に設置されたロッドテンプレートＲＴのグラフィカル表現を示すために、取付中心点ＡＰの少なくとも１つと一致するように配置される。図示の変形例では、ロッドテンプレートＲＴは、中心軸線が取付中心点ＡＰの中央の１つのＡＰ２と一致するように表示され、それによってＡＰ２はゼロ点または基準点として機能し、椎弓根スクリューＰＳ２のスクリューヘッドＳＨ２への取付けを表す。次に、他の取付中心点ＡＰおよび椎弓根スクリューＰＳ１、ＰＳ３について、ロッドテンプレートＲＴから取付点ＰＳ１、ＰＳ３までの距離を表示することができ、その結果、外科医またはオペレータＯは、現在選択されているロッドテンプレートＲＴが基準点に隣接する椎弓根スクリューＰＳ１、ＰＳ３にどれだけ適合しているかまたは適合していないかを検証することができる。
【0067】
[0078]例えば、ロッドテンプレートＲＴが直線であると仮定すると、三次元（３Ｄ）空間における幾何学的計算は、直線であるロッドテンプレートＲＴから取付中心点ＡＰ１、ＡＰ３までの距離を決定するために、取付中心点ＡＰ１が一方の表面にあり、取付中心点ＡＰ３が他方の表面にある、直線に垂直な２つの幾何学的表面ＧＳ１、ＧＳ２を配置することによって行うことができる。次に、隣接する取付中心点ＡＰ１、ＡＰ３と、それぞれの表面と直線との交差によって定義される点との間の距離は、表示され得るこれら２つの距離の定義を提供する。ロッドテンプレートＲＴが湾曲している場合、各々がそれぞれの表面ＧＳ１、ＧＳ２の交点の場所に位置する接線に垂直で、取付中心点ＡＰ１、ＡＰ３も表面ＧＳ１、ＧＳ２の１つの中にある２つの表面ＧＳ１、ＧＳ２を決定することによって、同じ手法を使用することができる。これにより、取付中心点ＡＰ１、ＡＰ３からロッドテンプレートＲＴまでの距離を決定することができる。図２Ｉ、図１Ｊ、図２Ｋに例示的に示すように、これらの距離は、スクリューエクステンダＳＥの長手方向の延長を示す中心線ＣＡに関連付けられて、強調表示または容易に読むためにボックス内にミリメートル単位で表示することができ、矢印、ポインタ、または他の方向を示すグラフィック要素を距離値に関連付けて、ロッドテンプレートＲＴからのオフセット距離の方向を示すことができる。距離が非常に小さい場合、インジケータは、オフセット距離方向を識別するのに役立つことができる。これらの距離値は、グラフィカルユーザインターフェースで表示することができ、またはスクリューエクステンダＳＥおよび椎弓根スクリューＰＳアセンブリのそれぞれと、例えばスクリューエクステンダＳＥについて表示される各中心線ＣＡとのグラフィカルな関連付けを用いて可動テキスト画面として表示することもできる。
【0068】
[0079]図２Ｉに示す変形例では、オフセットの測定のための基準点または位置は、異なるゼロ点または基準点を決定するために、例えばステップＵ５５で変更することができる。例えば、ステップＵ５５では、オペレータまたは外科医Ｏは、ＧＵＩで取付中心点ＡＰ１、ＡＰ２、ＡＰ３のうちの１つを表すグラフィック要素を単にタッチ、押す、または他の方法で選択することによって、異なる基準点またはゼロ点を選択することができ、それによってゼロ点または基準点をリセットし、オフセット値を新しい基準点について再計算することができる。別の例として、ユーザは、図２Ｈに例示的に示すように、スクリューエクステンダＳＥ１、ＳＥ２、ＳＥ３のうちの１つをゼロ点または基準点のうちの１つとして選択することができる。また、すべてのオフセット値の再計算は、自動で得、または図２Ｈ、図２Ｉ、および図２Ｊに例示的に示すように、オペレータまたは外科医Ｏによる確認もしくは要求時に、仮想ボタン「再測定」として示すように、ボタンを押すかまたはタッチすることによって行われ得る。
【0069】
[0080]図２Ｎは、ステップＤ４０から生じ得る画面の一変形例を示し、例示的な３つの異なる取付点ＡＰ１、ＡＰ２、ＡＰ３が示され、選択され配置されたロッドテンプレートＲＴからのそれらの距離の関数として、配置されたロッドテンプレートＲＴに対する取付点ＡＰ１からＡＰ３のオフセットに関してオペレータまたは外科医Ｏに視覚フィードバックが提供される。例えば、取付けＡＰ３は、計算されたオフセット距離が約８ｍｍで、ロッドテンプレートＲＴから最も遠いことが示され、それにより、取付点ＡＰ３は、赤色、例えば赤色ドット、または選択されたロッドテンプレートＲＴが対応する椎弓根スクリューＰＳ３の配置および取付けに適していないことを示す他の種類のハイライトで強調表示される。対照的に、取付点ＡＰ２は、ロッドテンプレートＲＴに、またはロッドテンプレートＲＴに許容可能な近接範囲に位置することが示されており、したがって、緑色、例えば緑色ドット、または他の種類のハイライトで強調表示することができる。オフセットは０ｍｍとして測定されている。これは、選択されたロッドテンプレートＲＴがこの特定の取付点ＡＰ２での配置に適していたことを示している。同様に、図２Ｎに示すように、取付点ＡＰ１はオレンジ色で強調表示され、４ｍｍのオフセット距離を有する、理想的ではないがやや適切な位置を示す。この点において、取付点ＡＰ１、ＡＰ２、ＡＰ３のうちの１つに接続されるように配置されたロッドテンプレートＲＴからの取付点ＡＰの距離の増加は、着色または他の種類の視覚フィードバックによって示すことができる。図２Ｎの図示された変形例では、ヒートマップ着色方式が使用され、緑色はＡＰのうちの１つとロッドテンプレートＲＴとの良好な一致を表し、緑色からオレンジ色、赤色に変化すると、ロッドテンプレートの不良一致、例えばロッドを曲げることができる範囲外のオフセット値を表す。
【0070】
[0081]さらに、方法２００は、オペレータまたは外科医Ｏによって選択され得るロッドテンプレートＲＴのリストＬＬを表示するためのステップＤ５０を実施して、ライブビデオフィードを用いて外科的切開部ＳＩで視覚化し、オペレータまたは外科医Ｏが拡張現実によってロッド配置の目視検査を行うことを可能にすることができる。例えば、このステップは、ロッドテンプレートＲＴが計算されるステップＣ３０に基づいて発見されたロッドテンプレートＲＴのリスト、例えばロッド取付位置の幾何学的形状に最も一致するもの、または予め記憶された選択からのロッドテンプレートＲＴのリストを表示することができる。表示されたリストＬＬによって、データ処理装置１００は、オペレータまたは外科医ＯがステップＵ５０によってロッドテンプレートＲＴのうちの１つをグラフィカルに選択することを可能にするように構成され、その後、選択されたロッドテンプレートＲＴは、ステップＤ４０によって、図２Ｊに示すように、取付中心点ＡＰのうちの少なくとも１つに仮想的に接続または配置されるように表示することができる。また、ロッドテンプレートＲＤを選択して椎弓根スクリューＰＳに仮想的に配置する際に、オフセット値を計算して表示することができる。
【0071】
[0082]この点で、ステップＤ５５が実施され、ロッドテンプレートＲＴのうちの選択された１つが、表示画面またはグラフィカルユーザインターフェースＧＵＩの１対１（１：１）スケールのグラフィック要素として表示されることも可能である。これは、ユーザまたはオペレータＯが対応するロッドを製造するための補助として、２つの１：１の図、例えば、矢状面または長手方向の平面図および冠状面または正面の平面図で行うことができる。ロッドテンプレートＲＴが長すぎる、例えば典型的なタブレットの画面よりも長いために画面に収まらない場合、１：１のビュースケールを維持することが可能であるが、ＧＵＩでスクロールオプションが使用される。
【0072】
[0083]方法２００の任意選択のステップでは、別の椎弓根スクリューＰＳ、例えば、図２Ｄから図２Ｋに示す手術風景の画像を参照した場合の第４の椎弓根スクリューＰＳ４を、選択されて配置されたロッドテンプレートＲＴの座標に一致するようにどのように配置または調整するかについてのヒントを外科医またはオペレータＯに提供することができる。例えば、選択されたロッドテンプレートＲＴから延伸し、次の椎弓根スクリューＰＳ４の取付位置の潜在的な位置を示すグラフィック要素を有するグラフィック要素を表示することができる。例えば、図２Ｊを参照すると、３つの異なる椎弓根スクリューＰＳ１～ＰＳ３の取付中心点ＡＰ１～ＡＰ３に配置された湾曲ロッドテンプレートＲＴが示されており、潜在的な椎弓根スクリューＰＳ４の次の取付位置を示すためのドット、十字形、または他のグラフィック要素を示す線形グラフィック要素または三角形グラフィック要素を表示することができる。三角形のグラフィック要素は、椎弓根スクリューＰＳ４の取付けの様々な可能性を示すために、ロッドテンプレートＲＴの端部にコーナーを有することができる。
【0073】
[0084]方法２００の別の任意選択のステップでは、特定のスクリューエクステンダＳＥおよび椎弓根スクリューＰＳアセンブリを選択して、補正前、補正動作中および補正後の位置を比較し、以下でさらに説明するように、例えば補正前、補正動作中および補正後の異なる取付中心点ＡＰ１～ＡＰ３を計算、表示、および処理することによって、互いに対する幾何学的位置の変化に関するデータを収集することが可能である。
【0074】
[0085]次に、ステップＣ６０において、ステップＵ５０でオペレータまたは外科医Ｏによって選択されたロッドテンプレートＲＴに基づいて、選択されたロッドテンプレートＲＴからのロッドテンプレートデータＲＴＤを処理してＣＡＤデータ、または物理的固定ロッドＲを製造するために使用することができる、ロッドテンプレートＲＴから生じるロッドＲを特徴付けることができる他のデータを生成することができ、ＣＡＤデータは、ステップＦ１０で製造された実際の物理的ロッドを製造するためのロッド曲げ機械または別の種類のロッド加工装置に送信することができる。ロッドテンプレートデータＲＴＤは、ステップＵ２０によって、またはステップＤ５５で１対１の表現で表示されている後に間接的に、または同時に提供されることが可能である。このステップでは、ロッドＲを製造するためのデータは、ステップＣ３０からのＲＴＤに基づき、ステップＵ５０でオペレータまたは外科医Ｏによって選択されている。次に、選択されたロッドの幾何学的データをＲＦＴデータから抽出することができ、異なるデータフォーマット、例えば、ＣＡＤデータフォーマット規格、例えば、これらに限定されないが、ＳＴＥＰ、ＩＧＥＳ、Ｐａｒａｓｏｌｉｄ、ＳＴＬ、ＶＲＭＬ、Ｘ３Ｄ、ＤＸＦ、ＣＯＬＬＡＤＡなどに変換することができる。例えば、ＲＤＴからの１つのロッドに対する少なくとも１つのデータセットは、ロッド曲げまたは加工機械、例えば、米国特許第６，７５５，０６４号明細書、米国特許第１０．４０５，９０８号明細書に記載されているようなロッド曲げ装置、または米国特許出願公開第２００５／０２６２９１１号明細書に記載されているようなロッド曲げ装置に送信することができ、これらの参考文献は、参照によりその全体が本明細書に組み込まれる。
【0075】
[0086]方法２００の別の任意選択のステップは、椎弓根スクリューＰＳに取り付けられた各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖの推定値を計算するステップＣ７０と、拡張現実でライブビデオフィードバックを提供して、脊柱ＳＣの実際の椎骨Ｖの推定または計算された位置決めを示すために、ライブビデオフィードまたは各椎骨Ｖの表示画像上にグラフィック基本要素を表示する任意選択の表示ステップＤ７０と、脊椎曲率データＳＣＤまたは脊柱ＳＣの他の脊椎特徴付けパラメータまたはパラメータ化ＰＡＲ、例えば、これらに限定されないが、Ｃｏｂｂ角、矢状面の角度、および脊椎の他のパラメータを計算し、それにより、侵襲的な医療画像化、例えばＸ線画像化を必要とせずに、手術中の生体Ｌの脊椎曲率の推定値を計算する別の任意選択のステップＣ７５とである。異なるスクリューエクステンダＳＥを検出するステップＣ１０、および検出されたスクリューエクステンダＳＥごとの姿勢データ情報ＰＤＩを提供することにより、たとえ脊柱ＳＣがライブビデオフィードの画像内で見えなくても、椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖを少なくとも推定することができる。通常、２つの椎弓根スクリュー対ＰＳが各椎骨Ｖに取り付けられるため、このステップは、図１Ｄに示すように、２つの異なるスクリューエクステンダＳＥ、例えば、両方とも同じ椎骨Ｖに取り付けられている２つの隣接して配列されたスクリューエクステンダＳＥ１、ＳＥ４の２つの異なる姿勢データ情報ＰＤＩに基づいて、位置の推定を計算することを可能にする。
【0076】
[0087]スクリューエクステンダＳＥと椎骨Ｖとの間の正確な幾何学的関係は知られていない可能性があるが、近似推定に使用することができる確率範囲があり、１つの椎骨Ｖに取り付けられた２つのスクリューエクステンダＳＥに関する２つの姿勢データ情報ＰＤＩデータセットを使用して、例えば２つのスクリューエクステンダ姿勢ＰＤＩの平均値を使用することによって、各椎骨Ｖの推定姿勢ＰＤＩ＿Ｖを提供することができる。さらに、スクリューエクステンダＳＥに対して固定された位置を有するスクリューエクステンダＳＥの位置または姿勢と椎骨Ｖの位置または姿勢との間の幾何学的関係の履歴データに基づいて、２つのスクリューエクステンダが取り付けられた、検出されたＰＤＩを考慮して、脊柱ＳＣの椎骨が取る可能性が最も高い位置を使用するために知識データベースを生成することができる。例えば、ステップＣ７０では、計算および推定の目的のために、各対の椎弓根スクリューＰＳが所与の椎骨Ｖの椎骨Ｖ内に理想的な所定の配置を有すると仮定することができ、位置および向きに関する穿孔中心軸線に関する椎弓根スクリューＰＳの取付位置が、椎骨Ｖの規範的サイズに基づいて、そのような理想的な所定の配置位置になるように選択されたと仮定することができる。一対のスクリューエクステンダＳＥについてステップＳ１０から姿勢データ情報ＰＤＩを検出し、一対のスクリューエクステンダＳＥが、椎弓根スクリューＰＳを介して、そのような理想的な位置の近似に取り付けられていると仮定すると、対応する椎骨Ｖの位置および向きを近似することができ、そして、対応する椎骨Ｖの姿勢データ情報は座標の幾何学的変換によって計算して、姿勢データ情報ＰＤＩ＿Ｖを取得することができる。
【0077】
[0088]ステップＣ７０およびＣ７５は、知識データベースを使用した推定、計算、または決定に基づくことができ、知識データベースは、異なる椎弓根スクリューＰＳの取付点ＡＰ間の対応もしくはマッピングに関する履歴情報、または異なるスクリューエクステンダＳＥの姿勢データ情報ＰＤＩ、ならびにＰＤＩ＿Ｖとしての対応する椎骨の位置および向き情報、脊椎曲率データＳＣＤ、脊椎特徴付けパラメータＰＡＲ、またはそれらの組み合わせを有する。それにより、椎骨の姿勢データ情報ＰＤＩ＿Ｖ、脊椎曲率データＳＣＤ、Ｃｏｂｂ角および矢状面の角度を含む脊椎特徴付けパラメータＰＡＲ、またはそれらの組み合わせを、検出された取付点ＡＰ、姿勢データ情報ＰＤＩ、またはそれらの組み合わせから決定するための人工知能ネットワーク、例えば、知識データベースで訓練された畳み込みニューラルネットワーク（ＣＮＮ）、決定フォレスト、または他の種類のネットワークが作成または確立されることが可能である。姿勢データ情報ＰＤＩおよび取付点ＡＰが決定論的かつ計算可能な幾何学的関係を有するので、ＰＤＩ＿Ｖ、ＳＣＤ、またはＰＡＲは、検出されたスクリューエクステンダＳＥのＰＤＩから直接決定することができる。しかしながら、一変形例では、椎骨の姿勢データ情報ＰＤＩ＿Ｖ、または脊椎曲率データＳＣＤの計算が省略され、異なる椎弓根スクリューＰＳの取付点ＡＰ、異なるスクリューエクステンダＳＥの姿勢データ情報ＰＤＩのいずれか、またはその両方に基づいて、脊椎自体の姿勢または他の種類の位置決めまたは曲率データＰＤＩ＿Ｖ、ＳＣＤを計算することなく、脊椎特徴付けパラメータＰＡＲが直接計算または推定されることも可能であり、最終的にユーザまたはオペレータＯは、脊椎補正を決定するための、脊椎補正手術のためのこれらのパラメータＰＡＲに特に関心がある。
【0078】
[0089]また、このようにして得られたステップＣ７０の推定姿勢データ情報ＰＤＩ＿Ｖに基づいて、脊椎曲率データＳＣＤを計算して、それにより、手術中の生体Ｌの脊椎曲率の推定値を計算するステップＣ７５を実施することができる。これもやはり知識データベースに基づくことができ、例えば患者の年齢、体重、身長に基づく患者固有のパラメータおよび値を考慮に入れることができ、脊椎曲率データＳＣＤとして可能性のある脊椎曲線を計算することができる。また、ステップＣ７５は、椎骨ＶのステップＣ７０からの姿勢データ情報ＰＤＩ＿Ｖに基づいて、またはステップＣ１０のスクリューエクステンダＳＥの姿勢データ情報ＰＤＩに基づいて、またはステップＣ１０、Ｃ７０からのＰＤＩおよびＰＤＩ＿Ｖの両方に基づいて、そのような決定のための典型的なアルゴリズム、例えば、これに限定されないが、ユークリッド座標空間内のＰＤＩ、ＰＤＩ＿Ｖのベクトル表現に基づく幾何学的変換に基づいて、脊椎特徴付けパラメータＰＡＲを計算することもできる。このデータは、自動化されたプロセスによって生体の脊椎の曲率を少なくとも部分的に補正するために、自動化された脊柱または脊柱の矯正（rectification）または補正（correction）装置またはシステムに使用することができる。脊柱矯正システムは、例えば自動脊椎補正のために、電動アクチュエータ、ロボット装置、または拡張可能なチャンバを有する枕を有する手術台の形態であり得、中国特許出願ＣＮ１０８１４３５８２号明細書またはＣＮ１１０２７９５５４号明細書に記載されているようなシステム、または同様の機械を使用することができる。
【0079】
[0090]これらの態様では、方法２００は、生体Ｌの脊椎または脊柱の異なる姿勢および位置情報を計算することが可能である。例えば、異なる種類の脊椎特徴付けパラメータまたはパラメータ化ＰＡＲを計算することが可能であり、例えば、これらに限定されないが、腰椎の矢状面アライメントまたは腰椎前湾であって、これらに限定されないが、前湾傾斜角、全体的な前湾、仙骨傾斜、前湾分布指数、腰椎の頂部位置、上部円弧角、相対的な脊椎－骨盤アライメント、胸椎または頸椎の矢状面アライメント、Ｃｏｂｂ角などの後湾、矢状面バランスのパラメータ、および他のパラメータを含む。また、脊椎または脊柱が嚢胞症に罹患していることに関連する異なる幾何学的パラメータを計算することが可能である。
【0080】
[0091]例えば、図３Ａは、７つの例示的な椎骨Ｖ１～Ｖ７を有する脊椎または脊柱の概略的かつ簡略化された表現を示し、各椎骨Ｖについて、２つの取付点対ＡＰ１．１およびＡＰ１．２が計算ステップＣ２０で決定されている。計算された取付点ＡＰのセットに基づいて、７対の取付点ＡＰｎ．１およびＡＰｎ．２が示された変形例では、この例ではｎは１から７であり、脊椎または脊柱の姿勢および向きに関連する異なるパラメータを、本方法の追加のステップで計算することができる。
【0081】
[0092]例えば、ステップＣ７０では、三次元（３Ｄ）位置および向き情報ＶＰ１～ＶＰ７を含むことができる各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖを、各椎骨Ｖ１～Ｖ７について、取付点ＡＰｎ．１およびＡＰｎ．２の対からの幾何学的位置データに基づいて計算することができる。スクリューエクステンダＳＥを有する２つの椎弓根スクリューＰＳが各椎骨Ｖに取り付けられ、椎骨に対する各ＡＰの正確な位置が１００％定義されていない場合、各椎骨Ｖに対して２つの異なる幾何学的点ＡＰが利用可能であるため、両方の取付点ＡＰｎ．１およびＡＰｎ．２の平均値または幾何学的中間位置を使用して、より正確な位置で各椎骨に関連するＶＰｎを計算することができる。この計算は、例えば取付点位置ＡＰの履歴データおよび統計的変動に基づいた統計をさらに考慮に入れることができ、上記で説明したように、訓練された人工ネットワークを使用することができる。各椎骨の三次元（３Ｄ）位置および向き情報ＶＰ１～ＶＰ７は、表示ステップＵ７０に関して上述したように、各椎骨のグラフィック基本要素をライブビデオフィードに表示するために使用することもできる。
【0082】
[0093]次に、脊椎曲率データＳＣＤを計算する別のステップＣ７５では、各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖ、例えば各椎骨Ｖ１～Ｖ７について計算された３Ｄ位置および向き情報ＶＰ１～ＶＰ７に基づいて、脊椎曲線の幾何学的モデルまたは座標データを計算することができる。例えば、脊椎曲率データＳＣＤは、幾何学的点ＶＰ１～ＶＰ７とのカーブフィッティングによって、または３Ｄ空間内の一連の幾何学的位置で特徴付けることによって決定された曲線とすることができる。しかしながら、脊椎および椎骨Ｖ１～Ｖ７に関連する他のデータまたはパラメータは、このステップＣ７５で計算することができる。例えば、Ｄ１２、Ｄ２３、Ｄ３４、Ｄ４５、Ｄ５６、Ｄ６７などの各椎骨間の距離を、例えば隣接する椎骨の幾何学的点間の距離に基づいて計算することが可能であり、隣接する椎骨Ｖ間の向き角β、例えば異なる方向から見たとき、例えば後方から見たとき、前方から見たとき、またはいずれかの側から見たときの２つの隣接する椎骨Ｖの向き角を計算することも可能である。
【0083】
[0094]また、ステップＣ７５では、上記で説明したように、脊椎特徴付けパラメータまたはパラメータ化ＰＡＲが計算されることも可能である。一般に、例えば計算された３Ｄ位置および向き情報ＶＰ１～ＶＰ７を含む各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖに基づいて、脊椎または脊柱の異なる幾何学的および向きパラメータＰＡＲを計算して、記憶、表示、アーカイブ、および外科医またはオペレータＯによってレビューすることができる。一例として、異なる種類の脊椎手術について、脊椎特徴付けパラメータＰＡＲ、例えば、これらに限定されないが、前湾傾斜角、全体的な前湾、仙骨傾斜、前湾分布指数、腰椎の頂部位置、上部円弧角、相対的な脊椎－骨盤アライメント、胸椎または頸椎の矢状面アライメント、Ｃｏｂｂ角などのパラメータを含む後湾、矢状面バランス、および他のパラメータを計算することができる。別の例として、各椎骨Ｖの向きに関するデータを含むことができる各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖに基づいて、隣接して位置する椎骨の互いに向かう回転向きを計算することが可能である。
【0084】
[0095]グラフィカルユーザインターフェースＧＵＩを、外科医またはオペレータＯが、例えばディスプレイ上のグラフィック基本要素をクリックまたは他の方法で選択することによって２つの椎骨を選択することができ、その後、これらの２つの選択された椎骨に関する異なるパラメータ、例えば距離、互いに対する回転方向、および姿勢情報を表示して、例えば角度方向を比較することができるように構成することも可能である。
【0085】
[0096]表示ステップＤ７０を実施することができ、ここでは、異なる椎骨Ｖを表すグラフィック基本要素を表示することができ、直線状または湾曲したグラフィック要素としての脊椎曲率は、例えばステップＣ７５によって計算された脊椎曲率データＳＣＤに基づいて、ヘッドアップディスプレイを用いて、手術のライブビデオフィードまたは直接の視界とオーバーレイされる。また、表示ステップＤ７０では、補正された脊椎曲線ＣＳＣ、および脊椎を特徴付けるすべての異なる計算されたパラメータを表示することができる。図３Ａの変形例では、これは、背面から見た理想的な脊椎曲線が直線であるため、直線であり得る。
【0086】
[0097]別の態様によれば、方法２００では、手術中の異なる時点でスクリューエクステンダＳＥを介して脊椎または脊柱の測定を行うことが可能である。例えば、外科医またはオペレータＯは、最初にステップＵ３０、Ｃ１０でスクリューエクステンダＳＥを撮像および検出することができ、その後、ステップＣ２０、Ｃ４０、Ｃ７０、Ｃ７５に基づいて異なるパラメータを計算することができる。ロッドＲを選択して配置した後、ユーザまたはオペレータＯは、ロッドをスクリューエクステンダＳＥの開いたスリットに挿入し、次いで、ロッドＲがスクリューエクステンダＳＥの溝内に下方に移動して、ロッドＲをスクリューヘッドのＵ字形溝内に配置し、各椎弓根スクリューＰＳのセットスクリューによって保持することができるように、ロッドＲのロッド縮小に関与することができる。縮小プロセスの間、ロッドＲは椎骨を新しい位置に押し込む。これは、一旦測定されると、新しい配列および新しい脊椎曲率データＳＣＤへの脊椎曲線の補正または変更、例えば、冠状面、矢状面、および軸方向の補正をもたらす。この段階で、または縮小プロセス中の他の任意の時点で、椎弓根スクリューＰＳからスクリューエクステンダＳＥを取り外す前に、オペレータまたは外科医Ｏは、ステップＵ３０、Ｃ１０に再び関与して、すべてのスクリューエクステンダＳＥを再検出し、取付点ＡＰ、例えば計算された３Ｄ位置および向き情報ＶＰ１～ＶＰ７を含む各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖを再決定することができる。
【0087】
[0098]その後、ステップＣ１０、Ｃ７０、およびＣ７５の繰り返しに基づいて補正前および補正後に決定された脊椎曲率データＳＣＤを使用して、例えばグラフィカルユーザインターフェース（ＧＵＩ）を使用して、表示ステップＤ８０で異なるパラメータおよびデータを表示して、ロッドの取り付け前後の補正または変更を示すことが可能である。ステップＤ８０は、例えば比較表現として、例えば異なるＳＣＤまたはＰＡＲの術前および術後の２つのテーブルの行または列を用いて、術前、術後、またはその両方の異なる脊椎パラメータＰＡＲまたは脊椎曲率データＳＣＤを表示することができる。これにより、オペレータＯは、ＧＵＩまたは画面上の他の表現上のデータを視覚的に比較することができる。補正が不十分であるかまたは好ましい範囲外である場合、スクリューヘッドＳＨに接続されているロッドＲを取り外しまたはロック解除することができ、そして、異なる曲率または形状を有するロッドＲをスクリューヘッドＳＨに配置することができる。ロッドＲの曲率または形状は、セットスクリューまたはスクリューエクステンダＳＥに配置された器具によって変更することができ、その後、セットスクリューによってロッドＲをスクリューヘッドＳＨに再び締め付ける。異なる脊椎特徴付けパラメータＰＡＲをグラフィカルユーザインターフェースＧＵＩを用いて表示および視覚化して、例えば、ロッド配置の前後のデータ、例えば、これに限定されないが、Ｃｏｂｂ角、矢状面の角度、前湾傾斜角を含む最も適切な脊椎特徴付けパラメータＰＡＲを比較することが可能である。
【0088】
[0099]ステップＵ３０、Ｃ１０における検出および追跡のためにスクリューエクステンダＳＥが使用されるだけでなく、図３Ｂに示すように、スクリューエクステンダＳＥ ＳＣに動作可能に取り付けられたツールＳＤが使用されることも可能である。例えば、ツールＳＤは、ロッド縮小のためのセットスクリュードライバもしくはロッド縮小ツール、または椎弓根スクリューＰＳの骨アンカーを椎骨と螺合するためのスクリュードライバとすることができる。これにより、ツールＳＤは、スクリューエクステンダＳＥと椎弓根スクリューＰＳの骨アンカーＢＡとの間の軸線を固定して、定義された向き関係を有することができる。この目的のために、ツールＳＤの形状を追跡および検出することができ、またはツールＳＤに光学マーカＯＭを装備することもでき、図３Ｂに示す変形例では、２つの光学マーカＯＭがツールＳＤのハンドルの上部および下部に配置されている。
【0089】
[0100]ロッド補正前、ロッド補正中、およびロッド補正後の脊椎または脊柱の変化を視覚化することにより、オペレータまたは外科医Ｏは、上述の測定および表示を通じて脊椎の補正にどの程度の影響を与えるかを直接確認する。適切であると決定されたロッドテンプレートＲＴは、その後に生体Ｌの内部に配置される実際の物理的な実施形態として作成することができる。ロッドテンプレートＲＴのデータ、脊椎姿勢情報、および取付点ＡＰの位置に基づいて、補正が行われる前、すなわち、ロッドが椎弓根スクリューＰＳに取り付けられる前に、選択されたロッドテンプレートＲＴから得られる可能性が最も高い脊椎姿勢を計算することが可能である。
【0090】
[0101]また、手術を記録している異なる装置１００からアクセスすることができるデータベースを用いて、例えば畳み込みニューラルネットワークを訓練するための、異なる種類の人工知能（ＡＩ）による将来の手術および深層学習のための訓練データを作成することができる。例えば、各手術について、スクリューエクステンダの姿勢情報、取付点ＡＰ、ロッドテンプレート、椎骨位置を含むビデオデータならびに計算および検出されたメタデータをデータベースに記憶し、インデックス付けし、データベースの訓練データおよびアーカイブとして使用することができる。
【0091】
[0102]特定の状況下では、骨アンカーＢＡと椎弓根スクリューＰＳのスクリューヘッドＳＨとの間の角度向きは固定されず、例えば±２７°などの特定の角度向き範囲、または他の角度範囲を有する複数軸または多軸椎弓根スクリューＰＳの使用によって、特定の角度範囲に制限される。そのような場合、スクリューエクステンダＳＥは椎弓根スクリューＰＳのスクリューヘッドＳＨに取り付けられているため、骨アンカーＢＡに対するスクリューエクステンダＳＥの向きは知られていないかまたは見えない可能性がある。方法２００は、スクリューエクステンダＳＥの位置および向きに依存して、スクリューヘッドＳＨの取付点ＡＰを計算し、その後、例えば、各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖを計算して、ＶＰ１～ＶＰ７を計算することができるので、スクリューエクステンダＳＥまたはスクリューヘッドＳＨと骨アンカーＢＡとの間の向きが知られておらず、外科的切開部ＳＩの外側から見ることができない場合、脊椎の姿勢データ情報ＰＤＩ＿Ｖの計算は、この不確実性のために、比較的高い誤差マージンを有することができる。そのような状況下では、オペレータまたは外科医Ｏは、スクリューヘッドＳＨと骨アンカーＢＡとの間に形成された関節接合部が最大角度点にあるように、角度範囲の端部に移動するようにすべてのスクリューエクステンダＳＥを移動させるように指示することができ、それによって、スクリューエクステンダＳＥとスクリューヘッドＳＨおよび骨アンカーＢＡとの間の向き関係が一定程度固定され、知られることになる。
【0092】
[0103]例えば、図３Ｃに示すように、３つすべての例示的な視覚化されたスクリューエクステンダＳＥは、同じ方向に移動され、多軸または複数軸椎弓根スクリューＰＳの最大向き角２７°だけ傾斜され、変形例では、脊椎または脊柱の延伸方向に沿って示されている。このステップは、方法２００のステップＤ２５において、グラフィカルユーザインターフェースまたは他の種類の命令によって、例えば音声命令、アニメーションなどによって、オペレータまたは外科医Ｏが外科的切開部ＳＩおよびスクリューエクステンダＳＥを走査するステップＵ３０に関与する前に、オペレータまたは外科医Ｏに命令することができる。命令は、スクリューエクステンダＳＥをスクリューヘッドＳＨに対して外側角度位置に配置するための移動方向を示すために、ライブビデオストリーム上に示される矢印またはポインタの表示を含むことができる。一変形例では、骨アンカーＢＡと係合し、スクリューエクステンダＳＥに挿入されるツールを使用して、スクリューエクステンダＳＥと骨アンカーＢＡとの間の固定された角度関係を提供し、ステップＣ１０、Ｃ２０、Ｃ７０による測定および計算のために椎弓根スクリューＰＳの一時的な単軸性を提供することが可能である。このツールは、図３Ｂに例示的に示すように、スクリューエクステンダＳＥを介して骨アンカーＢＡの一部に係合することができるスクリュードライバＳＤ自体であり得、例えば、骨アンカーＢＡのトルク駆動機構または骨アンカーＢＡの他の要素と係合し、それにより、スクリューヘッドＳＨを骨アンカーＢＡの同じ延長軸線に再向きさせ、それにより、単軸スクリュー構成の向きになる。このようなツールは、スクリューエクステンダＳＥを使用せずに、またはスクリューエクステンダＳＥが取り外されたときに、スクリューヘッドＳＨの向き目的のために骨アンカーＢＡに取り付けられることも可能である。また、このようなツールは、図３Ｂに示すように、検出効率のための光学マーカＯＭを装備することが可能である。
【0093】
[0104]方法２００は、携帯型データ処理装置１００を用いた実施に限定されず、非携帯型システム、例えば、固定設置カメラを有するマルチカメラシステム、データ処理装置またはサーバ、および対話型画面を用いて実施することもできる。そのような変形例では、外科的切開部ＳＩの異なる視野角を提供する複数のカメラを使用することが可能であり、それによって三次元決定のための画像データを提供し、ライブビデオフィードおよびＧＵＩが外科手術室に配置された表示画面に表示される。カメラビューが遮られているかどうかに応じて、カメラビューを切り替えることができるアルゴリズムをデータ処理装置上で動作させることができる。また、タッチスクリーンの代わりに、別の種類の入力装置、例えばマウス、対応する画面を有するレーザポインタ、またはオペレータもしくは外科医Ｏの手の動きもしくは指示を読み取ることができる他の入力装置を使用することができる。
【0094】
[0105]別の実施形態として、データ処理装置１００は、装着型拡張現実（ＡＲ）眼鏡、透明もしくは半透明の表示画面を有するヘッドマウントディスプレイ、またはヘッドアップディスプレイ（ＨＵＤ）を含むことも可能であり、眼鏡またはディスプレイは、スクリューエクステンダの追跡および検出のために画像シーケンスを撮像するためのカメラも含む。例えば、米国特許第１０，８５４，０９８号明細書に記載されているようなシステムを使用することができ、この特許は、その全体が参照により本明細書に組み込まれる。これにより、シースルー型の拡張現実システムを提供することが可能になり、ライブビデオフィードは透明な表示画面を介して直接見られるため、ステップＤ１０のライブビデオフィードを表示する必要はない場合がある。グラフィック要素、例えば、スクリューエクステンダＳＥ用のグラフィック基本要素ＧＰ、セレクタ要素ＳＦ、テキストボックス、ロッドテンプレートＲＴ、およびグラフィカルユーザインターフェースの他の要素は、依然として透明な表示画面に表示することができる。
【0095】
[0106]別の態様によれば、異なる放射線不透過性マーカＲＯＭ、またはＸ線もしくはＣＴ走査によって検出することができるか、もしくは他の種類の医療画像化によって検出することができる他の種類のマーカが、手術中の生体Ｌの皮膚上に配置されることが可能である。例えば、ＲＯＭマーカは、ＱＲコードまたは他の種類の光学コードを表すことができる。これにより、例えばＣアームを用いたＸ線、またはＯアームもしくは３ＤのＣアームを介したＣＴ走査によって、術中患者画像間の接続を行うための位置にあるマーカＲＯＭを用いて術中画像化を行い、骨アンカーＢＡおよびスクリューヘッドＳＨの位置および向きを決定し、その後、これらの位置を、画像センサからの画像データとの３Ｄ形状マッチングまたはＱＲコードマッチングのいずれかによって、スクリューエクステンダＳＥの姿勢情報と一致させることができる。
【0096】
[0107]本明細書に提示される方法の別の態様として、ロッド挿入を容易にするためのスクリューエクステンダＳＥの位置決めのための案内をオペレータまたは外科医Ｏに提供することが可能である。椎弓根スクリューＰＳがすべて整列されていない可能性があるため、比較的多数のスクリューエクステンダＳＥおよび椎弓根スクリューＰＳを有する長い構造物にロッドを経皮的に挿入することが困難な場合がある。例えば、一方はより横方向に配置される場合があり、他方はより内側に配置場合がある。しかしながら、各椎弓根スクリューＰＳの既知の空間位置に基づいて、例えば取付中心点ＡＰによって、外科医またはオペレータＯは、異なるスクリューエクステンダＳＥを、スクリューが他方に対して誤って配置されるかまたは位置ずれしているのと反対側に傾けることができる。横方向に配置された椎弓根スクリューＰＳの場合、外科医またはオペレータＯは、スクリューエクステンダＳＥを内側に傾斜させ、内側に配置された椎弓根スクリューＰＳのためにスクリューエクステンダＳＥを横方向に傾斜させることができる。スクリューエクステンダＳＥのこの再位置決め、および結果としてのスクリューヘッドＳＨの再向きにより、スクリューエクステンダＳＥのすべてのスロットまたは開口部のより良好な位置合わせを提供することができ、それによってロッドＲの挿入を容易にする。
【0097】
[0108]本発明の別の態様は、取付点ＡＰに取り付けるために曲げられた脊椎ロッドＲを走査、表示、および検証するための方法５００を含む。図４に例示的に示す方法５００の例示的なフローチャートでは、例えば、脊柱ＳＣに取り付けられた椎弓根スクリューＰＳによって定義された異なる取付点ＡＰに関連して、脊柱ロッドＲをテンプレートＲＴとして、拡張現実を使用するライブビデオフィードを用いて外科的切開部のライブビデオを使用することによって、実際の脊椎ロッドＲを走査および視覚化することができる。
【0098】
[0109]方法５００では、外科医、オペレータ、またはユーザＯによって曲げられた脊髄ロッドＲを、例えば走査ステップＵ１００を用いて、データ処理装置１００または３２０による計算ステップの対象となる走査、撮影、または画像取得することができる。実際のロッドＲが、例えば選択されたロッドテンプレートＲＴに基づいて、上記で説明したようにステップＦ１０によって製造されていることも可能である。例えば、このステップは、飛行時間型センサ、例えばＬｉｄａｒセンサからの三次元データまたは深度データによって支援または補完することもできる。次に、ステップＣ１１０を実施することができ、撮像された画像データ、例えば、ロッドＲの異なる角度からのビューを有するビデオシーケンスもしくは画像シーケンス、または三次元もしくは深さデータに基づいて、ロッドＲを表す幾何学的データをロッドデータセットＲＤとして計算することができる。次に、ステップＤ４０で、図２Ｈ、図２Ｉ、図２Ｊ、図２Ｋ、および図２Ｎに示すように、ロッドテンプレートとしての実際のロッドＲの投影またはレンダリングを行うことができ、読み出されたロッドテンプレートＲＲＴを表示し、例えば、取付点ＡＰの１つに取り付けるように選択することができる。上記で説明したステップＵ５５では、ゼロオフセット点としての基準取付点ＡＰを変更することができ、その結果、実際のロッドテンプレートＲＲＴの異なる配置をオペレータＯによって視覚的に検証することができる。次に、ステップＣ１２０を実施することができ、実際のロッドテンプレートＲＲＴ、および最初に提案または選択された基準取付点ＡＰに基づいて、残りの取付点ＡＰは、実際のロッドテンプレートＲＲＴと一致するように移動または補正される。
【0099】
[0110]ステップＣ１２０では、ステップＣ１０およびＣ７５に由来する補正前状態の脊椎曲線ＳＣＤの元のデータに基づいて、ステップＣ１１０からの走査および計算された実際のロッドテンプレートＲＲＴの提案されたロッドＲおよびロッドデータセットＲＤに基づいて、およびステップＣ１２０から補正された脊椎曲線ＳＣの近似を計算することができ、ここで、補正された取付点ＡＰの位置は、実際のロッドテンプレートＲＲＴの最初に提案されたまたは選択された基準位置、例えば、補正された取付点ＡＰのうちの選択された１つと一致するＲＲＴの配置に基づいて計算することができる。これにより、ステップＣ１２０で、実際の脊椎ロッドＲが椎弓根スクリューＰＳに取り付けられる場合に取付点ＡＰに対して逸脱するように、仮想的に移動された取付点ＡＰの新しいデータセットが計算される。次に、方法５００はまた、上記で説明したステップＣ７０を用いて、新たに計算された仮想取付点に基づいて、関与するすべての椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖを計算するステップと、仮想的に補正された脊柱ＳＣを視覚化するために、椎骨Ｖのグラフィック基本要素を表示するステップ、または上記で説明したステップＤ７０を用いて脊柱ＳＣをレンダリングするステップとを含むことができる。
【0100】
[0111]ステップＤ７０による表示は、曲げられたロッドＲに基づく仮想または拡張現実グラフィック基本要素として脊柱ＳＣを示し、その結果、外科医、オペレータ、またはユーザＯは、曲げられたロッドＲが脊柱ＳＣに及ぼす効果を仮想的に検証することができる。これにより、ロッドＲを椎弓根スクリューＰＳの取付点ＡＰに取り付ける必要が生じる前に、曲げられたロッドＲが所望の効果を有するかどうかを検証することができる。また、ステップＣ７５およびＤ８０を実施することができ、ここで、脊柱曲線データＳＣＤおよび脊椎パラメータが計算され、その後ステップＤ８０で表示される。ステップＤ８０はまた、取付点ＡＰの補正前の位置について以前に実施されたステップＣ７５およびＤ８０に基づいて、補正ごとの脊柱曲線データＳＣＤおよび脊椎パラメータの表示を含むことができる。実際の脊椎曲率データＳＣＤの事前補正および仮想脊椎曲率データＳＣＤの表示は、オペレータＯが、曲げられたロッドＲが脊柱ＳＣに対する所望の補正効果を有するか、または少なくとも近似するかどうかを検証することを可能にする。
【0101】
[0112]本発明の別の態様によれば、図５のフローチャートで例示的かつ概略的に示すように、各椎骨への椎弓根スクリューＰＳの配置および固定が行われる前に、脊柱ＳＣを特徴付ける異なる種類の情報を決定するための方法６００が提供される。したがって、方法６００は、例えば脊椎パラメータＰＡＲまたは脊椎曲率データＳＣＤを決定することによって、椎弓根スクリューＰＳに取り付けられた固定ロッドＲによって任意の脊椎補正を実施する前に異なる脊椎データおよびパラメータを計算することを可能にし、そして、ガイドワイヤまたは別の同等の装置を介して、異なる椎骨Ｖに挿入または他の方法で取り付けることができる異なる椎弓根マーカＰＭを最初に検出することによって、異なる椎骨の姿勢データ情報ＰＤＩ＿Ｖを計算することを可能にする。これにより、椎弓根スクリューＰＳが固定ロッドＲの取付点ＡＰを定義する椎骨Ｖに取り付けられる前であっても、脊椎補正手術用の固定ロッドＲを定義または示唆するステップを実施することが可能になる。
【0102】
[0113]例えば、参照によりその全体が本明細書に組み込まれる米国特許出願公開第２０２１／０１６９５０６号明細書に記載されているように、外科的切開部ＳＩを介して初期ドリル孔ＤＨまたはボアに挿入されて配置されるガイドワイヤＧＷ、例えば、これらに限定されないが、Ｋｉｒｓｃｈｎｅｒ線、Ｋ線、ガイドピン、Ｓｃｈａｎｚピン、Ｄｅｎｈａｍピン、Ｓｔｅｉｎｍａｎｎピン、ガイドロッド、およびガイドシャフトに取り付けることができる椎弓根マーカＰＭが記載されており、ドリル孔は脊柱ＳＣの異なる椎骨Ｖに穿孔されており、椎弓マーカをガイドワイヤに取り付けることができる。椎弓根スクリューＰＳを椎弓根または椎骨Ｖに挿入するためにドリル孔またはボアに案内するために、ガイドワイヤＧＷを各ドリル孔ＤＨに配置することができる。椎弓根スクリューＰＳの骨アンカーＢＡは、典型的には、ガイドワイヤが通される貫通ボアを含み、椎弓根スクリューＰＳを椎弓根に形成されたドリル孔またはボアに案内することを可能にする。椎弓根マーカＰＭは、ガイドワイヤまたはそれらの同等物、例えば、これに限定されないが、米国特許出願公開第２０２１／０１６９５０６号明細書に記載されているものに取り付けるために使用することができ、ガイドワイヤへの椎弓根スクリューＰＳの挿入および配置を容易にすることを可能にし、また、ガイドワイヤＧＷの配置およびドリル孔からのガイドワイヤの取り外しを助けることによって、外科医またはオペレータＯの手術を容易にするためにも使用することができる。
【0103】
[0114]図６は椎骨Ｖの例示的かつ簡略化された断面図を示し、２つのドリル孔ＤＨ１、ＤＨ２が椎骨Ｖに穿孔または他の方法で作製され、２つのガイドワイヤＧＷ１、ＧＷ２がそれぞれドリル孔ＤＨ１、ＤＨ２に配置され、２つの椎弓根マーカＰＭ１、ＰＭ２がそれぞれガイドワイヤＧＷ１、ＧＷ２に取り付けられており、光学マーカＯＭには光学マーカ部品５０が取り外し可能にまたは固定して取り付けて設けられ、光学マーカＯＭは追跡アルゴリズムを用いたコンピュータ画像データ処理を使用して、椎弓根マーカＰＭ１、ＰＭ２、ガイドワイヤＧＷ１、ＧＷ２、またはその両方のロバストな検出に使用可能である。図示の変形例では、光学マーカ部品５０は、例示的には、図１Ｅに示す装置５０と同様に、それぞれが冗長性のために光学マーカＯＭを配置するための２つの平坦面を有する取り外し可能なキャップ、クリップ、チューブ、クランプ、フラグ、タブ、または他の装置として作製されるが、光学マーカＯＭが、例えば、エッチングされたパターン、印刷されたパターン、打ち抜きもしくはエンボス加工されたパターン、機械加工された三次元表面もしくは構造、または椎弓根マーカＰＭに対する他のマーキングとして、椎弓根マーカＰＭ上に直接配列されることも可能である。また、光学マーカＯＭは、例えば、これらに限定されないが、タブ、フラグ、ガイドワイヤＧＷを形成するシャフトに沿った長手方向コード、コードを直接表す三次元構造など、椎弓根マーカＰＭ上の光学マーカＯＭの有無にかかわらず、ガイドワイヤＧＷに直接配置することもできる。
【0104】
[0115]方法６００は、上述した方法２００といくつかの同様の態様を有するが、ステップＣ１０において光学マーカＯＭを使用してまたは使用せずにスクリューエクステンダＳＥを検出する代わりに、脊柱ＳＣを特徴付ける情報を決定するために、椎弓根マーカＰＭを検出することができるステップが実施される。ステップＵ１０、Ｄ１０、Ｕ２０、およびＤ２０は、ディスプレイ１２０上にライブビデオフィードを提供し、ユーザ操作のためのＧＵＩを提供し、較正情報を入力するための方法２００と実質的に同じであり得る。ステップＵ２３０は、異なる椎弓根マーカＰＭの画像を撮像することを目的として、外科医またはオペレータＯがデータ処理装置１００の画像撮像装置１１０を用いて外科的切開部ＳＩを走査する場合に実施することができる。次に、データ処理装置１００は、ステップＣ２１０を実施して、例えば、光学マーカＯＭを備えた椎弓根マーカＰＭによって、または光学マーカを使用せずに画像形状もしくはパターン認識によって椎弓根マーカＰＭの形状を検出することによって、またはガイドワイヤＧＷ自体に直接取り付けられた、もしくはガイドワイヤＧＷの一体部分である光学マーカＯＭを検出することによって、画像データ処理によって椎弓根マーカＰＭを検出する。また、本ステップにおいて、ガイドワイヤＧＷ自体を検出するようにしてもよい。結果として得られるステップＣ２１０の情報は、椎弓根マーカＰＭの姿勢データ情報ＰＤＩ＿ＰＭもしくはガイドワイヤＧＷの姿勢データ情報、またはそれぞれのガイドワイヤＧＷの位置および向きを特徴付けることができる他の種類の座標データとすることができる。２つのガイドワイヤＧＷまたは椎弓根マーカＰＭが１つの椎骨Ｖに取り付けられていると仮定すると、この情報は、脊柱ＳＣの個々の椎骨Ｖの位置および向きを決定するために使用することができる。
【0105】
[0116]その後、ステップＤ２５、Ｄ３０、Ｕ４０と同様に、選択を行うためのグラフィック要素を示すためのステップＤ２３０、および検出された異なる椎弓根マーカＰＭまたはガイドワイヤＧＷを実際に選択する外科医またはオペレータＯからの入力データを受信するステップＵ２４０と共に、任意選択のステップＤ２２５を実施してライブビデオフィード上にグラフィック基本要素をオーバーレイし、椎弓根マーカＰＭ、ガイドワイヤＧＷ、またはその両方を強調表示し、外科医またはオペレータＯがさらなる計算のために関心のある椎弓根マーカＰＭまたはガイドワイヤＧＷを選択または選択解除するのを支援することができる。次に、幾何学的形状を計算する任意選択のステップＣ２２０をデータ処理装置１００によって実施することができ、ここで、仮想取付点ＡＰ＿Ｖを計算することができ、仮想取付点ＡＰ＿Ｖは、対応する椎弓根スクリューＰＳに対して固定ロッドＲが位置する可能性が最も高い特定の幾何学的位置であり、椎弓根スクリューＰＳはまだ椎骨Ｖに取り付けられていないか、または固定されていない。ここで、取付点ＡＰ＿Ｖは、そのような取付点ＡＰが現在存在していないため、仮想であると考えられる。これにより、ステップＣ２２０では、特定の固定ロッドＲがこれらの仮想取付点ＡＰ＿Ｖに配置されて取り付けられ、それにより、実際の取付点ＡＰに関する直接的な情報をまだ有していない場合に、現在操作されている脊柱ＳＣの異なる曲率または脊椎パラメータ化、および脊柱ＳＣに対して逸脱する曲率または脊椎パラメータ化を推定するために使用することができる仮想取付点ＡＰ＿Ｖとして、取付点ＡＰの幾何学的位置の推定値を提供することができる。この計算は、画像データからの所与のドリル孔およびドリル孔に配置された所与のガイドワイヤＧＷの取付点ＡＰの位置に関する履歴データを使用して、過去の医療画像化データ、例えば、これに限定されないが、Ｘ線画像に基づいて、または取付点ＡＰの位置を定義する、ガイドワイヤＧＷの位置および向き、椎弓根マーカＰＭの位置および向き、ならびに椎骨Ｖに取り付けられた椎弓根スクリューＰＳの位置および向きの間の幾何学的関係の統計データに関するテーブルまたは他の予め記憶された情報を使用して、訓練されたネットワークを用いて人工知能を使用することによって行うことができる。
【0106】
[0117]次に、方法２００のステップＣ７０と同様のステップＣ２７０を実施することができ、このステップは、ガイドワイヤＧＷ、またはガイドワイヤＧＷおよび椎弓根マーカＰＭに関連する各椎骨Ｖの姿勢データ情報ＰＤＩ＿Ｖを計算するように構成され、そして、方法２００の同じステップと同様の任意選択の表示ステップＤ７０を実施して、ライブビデオフィードまたは各椎骨Ｖの表示画像上にグラフィック基本要素を表示し、拡張現実でライブビデオフィードバックを提供して、ライブビデオフィードに投影された脊柱ＳＣの実際の椎骨Ｖの推定または計算された位置決めを示すことができる。ステップＣ２７０は、２つ以上の椎骨Ｖについて、椎弓根マーカＰＭの姿勢データ情報ＰＤＩ＿ＰＭもしくはガイドワイヤＧＷの姿勢データ情報を使用することができ、またはステップＣ２２０からの２つ以上の椎骨Ｖ、もしくはデータセットＡＰ＿ＶおよびＰＤＩ＿ＰＭの両方についての一対の仮想取付点ＡＰ＿Ｖのデータを使用することもできる。
【0107】
[0118]また、方法２０と同様に、別の任意選択のステップＣ７５を実施することができ、ここで、脊柱ＳＣの脊椎曲率データＳＣＤまたは他の脊椎特徴付けパラメータまたはパラメータ化ＰＡＲ、例えば、現在の脊椎曲線の近似を幾何学的に特徴付ける曲率データＳＣＤ、例えば、脊柱ＳＣのＣｏｂｂ角、矢状面の角度、軸角、隣接する椎骨間の距離、および他のパラメータなどの脊椎パラメータ化データを計算することができ、それにより、例えばＸ線画像化などの侵襲的な医療画像化を必要とせず、椎弓根スクリューＰＳが配置または固定される前であっても、手術中の生体Ｌの脊椎曲率の推定値を計算することができる。このデータＳＣＤおよびＰＡＲは、その後、外科医またはオペレータＯにフィードバックを提供するために、データ処理装置１００のディスプレイ１２０に表示することができる。
【0108】
[0119]上記のように、方法６００では、椎弓根スクリューＰＳを取り付ける前に、推定によって脊柱ＳＣに対して逸脱する補正を検証することができる。例えば、方法６００を一度実施した後、外科医またはオペレータＯは、ステップＤ８０で表示することができるＳＣＤおよびＰＡＲに関するデータを有する脊柱ＳＣに関する何らかの第１の推定情報を有し、ステップＤ２７０で脊柱の曲率および位置の視覚フィードバックを有することさえでき、ライブビデオフィードに投影されたオーバーレイされた基本要素を表示する。それにより、外科医またはオペレータＯは、脊柱ＳＣの２つの例示的な隣接する椎骨Ｖ１、Ｖ２の間に脊椎ケージ、固定装置、または他の種類の椎間インプラントを選択して配置することができ、それにより、例えばその厚さを選択することによって、または脊椎固定術のために特定の角度、例えば矢状面の角度を選択して調整することによって、椎間インプラントの種類および構成を選択することもできる。椎間インプラントの配置は、２つの隣接する椎骨Ｖ１、Ｖ２の位置および向きの間の特定の再向きおよび変位を逸脱することができ、それにより、オペレータまたは外科医Ｏは、方法６００を再び実施して、椎間インプラントの配置に基づくものの、椎弓根スクリュー対ＰＳ１、ＰＳ２の配置なしに、かつ固定ロッドＲの取り付けなしに、部分的に補正された脊柱ＳＣのＳＣＤおよびＰＡＲの新しい値を決定することができる。
【0109】
[0120]新たに表示されたパラメータＰＡＲおよびＳＣＤの値、またはその両方に基づいて、方法６００のステップＤ８０は、椎間インプラントの挿入前および挿入後のＰＡＲおよびＳＣＤのテーブル、曲線、または他の種類の視覚化を提供して、任意のロッドＲが配置される前の脊柱に対する第１の補正の比較データを提供することができる。これにより、例えば異なる厚さまたは角度で、方法６００によって計算された、第１の椎間インプラントが逸脱している新しいＰＡＲおよび／またはＳＣＤにオペレータまたは外科医Ｏが満足しない場合、オペレータまたは外科医Ｏは、異なる構成を有する異なる椎間インプラントと椎間インプラントを交換することができる。また、一変形例では、オペレータまたは外科医Ｏは、椎間インプラントが構成可能な種類である場合、椎間インプラントのパラメータ化を変更して、上部骨係合面と下部骨係合面との間の厚さもしくは距離、または上部骨係合面と下部骨係合面との間の角度を変更することができる。その後、方法６００は、椎間インプラントの寸法および特性の変化の結果を検証するステップを再び実施することができる。
【0110】
[0121]さらに、方法６００は、ステップＣ２２０で、孔ＤＨ１、ＤＨ２を穿孔するために潜在的に配置された椎弓根スクリューＰＳ１、ＰＳ２の対の仮想取付点ＡＰ＿Ｖを任意選択的に計算することができるので、例えば方法２００のステップＣ３０、Ｄ４０、Ｄ５０、Ｕ５０、Ｕ５５、Ｄ５５、Ｃ６０で、オペレータまたは外科医Ｏに提案することができる１つ以上のロッドテンプレートＲＴを計算することによって潜在的なロッドＲの決定を行うことが可能であり、それによって、ステップＤ５０での１つ以上のロッドテンプレートＲＴ、およびステップＤ５５、Ｃ６０での製造データまたは情報の作成を用いて、脊椎補正のための異なる提案されたロッドテンプレートＲＴを提案し、仮想的に試験する。
【0111】
[0122]また、方法６００および方法２００の態様は、方法５００のステップと組み合わせることもでき、物理的固定ロッドＲが実際に任意の椎弓根スクリューＰＳに取り付けられる前に、脊柱ＳＣに対するロッドテンプレートＲＴまたはロッドデータＲＤの影響を計算によって仮想的に試験することができる。例えば、例えばステップＵ５０で、または方法２００によってロッドテンプレートＲＴが計算され提案されるステップＣ３０でロッドテンプレートＲＴを選択するステップを実施した後、このデータは、方法６００のステップＣ２２０から生じた仮想取付点ＡＰ＿Ｖに基づいて新しい取付点ＡＰが計算されるステップＣ１２０によって処理することができ、それによって、提案された仮想ロッドテンプレートＲＴまたはロッドデータＲＤに基づいて、仮想的に補正された脊柱ＳＣの椎骨の位置および向きに関する情報ＰＤＩ＿Ｖを計算する。この態様は、椎弓根スクリューＰＳがまだ配置されていないので、取付点ＡＰに関するデータは単に仮想的であり、本明細書ではＡＰ＿Ｖと呼ばれるため、方法５００とは異なる。ステップＣ７０、Ｄ７０、Ｃ７５、およびＤ８０も実施して、脊椎曲率ＳＣＤおよび脊椎パラメータＰＡＲに関するデータを計算し（ステップＣ７５）、脊椎曲率ＳＣＤおよび脊椎パラメータＰＡＲに関する異なるデータ、例えば補正後および補正前データを表示し（ステップＤ８０）、そして、ステップＤ７０で、椎骨Ｖをそれらの新しい仮想位置および向きに基本要素として、例えばライブビデオフィードへの拡張現実投影で表示することができる。
【0112】
[0123]ロッドテンプレートＲＴの仮想決定に満足すると、例えばステップＤ５５、Ｃ６０の助けを借りて、または方法５００の助けを借りて、物理的固定ロッドＲを製造することができ、外科医またはオペレータＯは、椎弓根スクリューＰＳを椎骨Ｖのドリル孔ＤＨに取り付けることができ、その後、外科医またはオペレータＯはまた、固定ロッドＲを椎弓根スクリューＰＳに取り付けることができる。方法２００の助けを借りて、脊椎補正は、椎弓根スクリューＰＳおよび固定ロッドＲの配置後に検証することができる。代替的に、第１の外科医またはオペレータＯは、実際にロッドＲを製造する前に椎弓根スクリューＰＳを椎骨Ｖのドリル孔ＤＨに取り付けることができ、次いで、方法２００を実施して、椎弓根スクリューＰＳの取り付けによって正確に定義される取付点ＡＰを検証し、物理的固定ロッドＲの別のまたは補正されたロッドテンプレートＲＴまたはロッドデータＲＤを決定することができる。この段階で、方法２００を実施して、手術中に物理的固定ロッドＲによって付与される脊椎補正を検証することができる。
【0113】
[0124]上述したように、本明細書に記載の方法２００、５００、および６００、ならびにこれらの方法のステップおよびその一部の組み合わせは、異なる種類のデータ処理装置１００に実装することができるが、非一時的コンピュータ可読媒体、例えば任意の種類のデータメモリ装置またはデータ記憶装置に記憶することができるコンピュータ可読コードとしてプログラムすることもでき、コンピュータ可読コードは、データ処理装置１００上で実行されるか、または他の種類のコンピュータシステム、例えばネットワークおよび／またはクラウドアクセスを有する分散コンピュータシステムのデータプロセッサ上で実行されると、方法２００、５００、６００またはそのステップを実施するように構成される。例えば、画像の視覚化および画像撮像にタブレット型装置を使用することが可能であるが、実際の計算ステップは、分散コンピューティングの変形例として、ネットワークを介してタブレットと動作可能に接続されているサーバまたはパーソナルコンピュータでリモートで実施される。
【0114】
[0125]本発明は、特定の好ましい実施形態を参照して開示されているが、添付の特許請求の範囲およびその均等物に定義される本発明の領域および範囲から逸脱することなく、記載された実施形態に対する多くの修正、代替例、および変更が可能である。したがって、本発明は、記載された実施形態に限定されず、以下の特許請求の範囲の文言によって定義される全範囲を有することが意図される。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図2H】
【図2I】
【図2J】
【図2K】
【図2L】
【図2M】
【図2N】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【国際調査報告】