特表 2024-527624 経皮医療処置の段階セグメント化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-25

(54)【発明の名称】経皮医療処置の段階セグメント化

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240718BHJP

   A61B 34/35 20160101ALI20240718BHJP

【ＦＩ】

A61B34/20

A61B34/35

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024503445

(86)(22)【出願日】2022-07-14

(85)【翻訳文提出日】2024-03-04

(86)【国際出願番号】 IB2022056506

(87)【国際公開番号】W WO2023002312

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】63/223,340

(32)【優先日】2021-07-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ケブラー

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518083032

【氏名又は名称】オーリス ヘルス インコーポレイテッド

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】アイバリ・エリフ

(72)【発明者】

【氏名】イブラギモフ・ボラート

【テーマコード（参考）】

4C130

【Ｆターム（参考）】

4C130AA22

4C130AB02

4C130AC11

4C130AD02

4C130AD05

4C130BA05

(57)【要約】

１つ以上の決定可能な段階に基づいて経皮医療処置をセグメント化するための技法。本技法は、第１の期間にわたる特徴の第１のセットを取得することを含み得る。特徴の第１のセットは、管腔内スコープ器具に対応する器具遠隔測定データから導出されてもよい。本技法はまた、第１の期間にわたる特徴の第２のセットを取得することを含み得る。特徴の第２のセットは、経皮針器具に対応する器具遠隔測定データから導出されてもよい。特徴の第１のセット及び特徴の第２のセットに基づいて、本技法は、第１の期間の少なくとも一部を経皮医療処置の第１の段階として分類することができる。

【特許請求の範囲】

【請求項1】

医療処置をセグメント化するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶するコンピュータ可読媒体であって、前記命令が実行されると、前記１つ以上のプロセッサに、
第１の期間にわたる特徴の第１のセットを取得することであって、前記特徴の第１のセットが、管腔内スコープ器具に対応する器具遠隔測定データから導出される、ことと、
前記第１の期間にわたる特徴の第２のセットを取得することであって、前記特徴の第２のセットが、経皮針器具に対応する器具遠隔測定データから導出される、ことと、
前記特徴の第１のセット及び前記特徴の第２のセットに基づいて、前記第１の期間の少なくとも一部分を前記経皮医療処置の第１の段階として分類することと、を行わせる、コンピュータ可読媒体と、を含む、システム。

【請求項2】

前記管腔内スコープ器具が、位置センサを含み、前記特徴の第１のセットが、前記位置センサから導出されるデータを含む、請求項１に記載のシステム。

【請求項3】

前記第１の段階が、針挿入段階、標的選択段階、部位選択段階、及び針挿入後段階のうちの１つ以上に対応する、請求項１に記載のシステム。

【請求項4】

前記第１の段階が、針挿入を含む二項分類に対応する、請求項１に記載のシステム。

【請求項5】

前記第１の期間の前記少なくとも一部分の分類が、
経皮的入口を通して標的場所に向かって前記針器具を挿入する試みの開始の表示を生成することと、
前記経皮的入口を通して前記標的場所に向かって前記針器具を挿入する前記試みの終了の表示を生成することと、を更に含む、請求項１に記載のシステム。

【請求項6】

前記コンピュータ可読媒体が、命令を更に記憶し、前記命令が実行されると、前記１つ以上のプロセッサに、
第２の期間にわたる特徴の第３のセットを取得することであって、前記特徴の第３のセットが、前記管腔内スコープ器具に対応する前記器具遠隔測定データから導出される、ことと、
前記第２の期間にわたる特徴の第４のセットを取得することであって、前記特徴の第４のセットが、前記経皮針器具に対応する前記器具遠隔測定データから導出される、ことと、
前記特徴の第３のセット及び前記特徴の第４のセットに基づいて、前記第２の期間の少なくとも一部を前記経皮医療処置の第２の段階として分類することと、を行わせる、請求項１に記載のシステム。

【請求項7】

前記特徴の第１のセットが、スコープ配置、スコープ配向、相対的針スコープ進行方向、相対的針スコープ３ｄ距離、位置合わせ誤差、スコープ線形本体速度、スコープ角度本体速度、及びスコープ絶対速度のうちの少なくとも１つを含む、請求項１に記載のシステム。

【請求項8】

前記特徴の第２のセットが、針配置、針配向、相対的針スコープ進行方向、相対的針スコープ３ｄ距離、標的までの距離、標的平面までの距離、位置合わせ誤差、針線形本体速度、針角度本体速度、及び針絶対速度のうちの少なくとも１つを含む、請求項１に記載のシステム。

【請求項9】

システムであって、
１つ以上のプロセッサと、
命令を記憶するコンピュータ可読媒体であって、前記命令が実行されると、前記１つ以上のプロセッサに、
第１の経皮的処置の１つ以上のケースログからの遠隔測定データを取得することであって、前記遠隔測定データが、経時的な針器具のセンサ読み取り値を特徴付ける、ことと、
前記遠隔測定データに基づいて、前記遠隔測定データに関連付けられた第１の期間の少なくとも一部を前記第１の経皮的処置の第１の段階に分類することと、
前記第１の期間が前記第１の段階に関連付けられていることに応答して、前記第１の期間に対応する前記遠隔測定データから、前記第１の経皮的処置における前記第１の段階に関連付けられた１つ以上の臨床メトリックを生成することと、を行わせる、コンピュータ可読媒体と、を含む、システム。

【請求項10】

前記１つ以上の臨床メトリックが、標的腎杯の数、腎臓調査時間、極、後退距離、及び停止姿勢のうちの少なくとも１つを含む、請求項９に記載のシステム。

【請求項11】

前記１つ以上の臨床メトリックが、部位選択時間、平均管長さ、解剖学的角度、場発生器距離、針とスコープとの相対的角度、管長さ、及び腎杯に対する角度のうちの少なくとも１つを含む、請求項９に記載のシステム。

【請求項12】

前記１つ以上の臨床メトリックが、成功率、針挿入精度、針挿入安定性、スコープ配置のシフト、精度、試行回数、針挿入速度、針後退速度、針挿入加速度、及び針後退加速度のうちの少なくとも１つを含む、請求項９に記載のシステム。

【請求項13】

前記第１の段階が、標的選択段階、部位選択段階、針挿入段階、及び針挿入後段階のうちの少なくとも１つを表す、請求項９に記載のシステム。

【請求項14】

前記コンピュータ可読媒体が、更なる命令を含み、前記更なる命令が実行されると、前記１つ以上のプロセッサに、
前記第１の経皮的処置に成功ラベルをラベル付けすることと、
前記１つ以上の臨床メトリックを前記成功ラベルと相関させることと、を行わせる、請求項９に記載のシステム。

【請求項15】

経皮的処置中に針挿入の成功を自動的に識別するためのシステムであって、
命令を記憶するメモリと、
前記メモリに記憶される前記命令を実行するように構成された１つ以上のプロセッサと、
前記経皮的処置に関する１つ以上のデータセットから器具遠隔測定データを抽出するように構成された特徴抽出器モジュールと、
前記抽出された器具遠隔測定データに基づいて、１つ以上の多変量時系列分類アルゴリズムを適用して、期間を、前記経皮的処置の標的選択段階、前記経皮的処置の部位選択段階、又は前記経皮的処置の針挿入段階のうちの１つに属するものとして分類するように構成された段階セグメント化モジュールと、
前記１つ以上の多変量時系列分類に基づいて、（ａ）針器具と標的場所との間の距離を判定し、（ｂ）前記針挿入の成功予測を計算するように構成された成功分類器モジュールと、
前記成功予測に基づいて、針挿入部位又は針挿入軌道のうちの１つ以上に関する推奨を生成するように構成された推奨モジュールと、を含む、システム。

【請求項16】

前記段階セグメント化モジュールが、完全畳み込みニューラルネットワークに基づいて前記期間を分類する、請求項１５に記載のシステム。

【請求項17】

前記成功分類器モジュールは、１つ以上のロジスティック回帰アルゴリズムに基づいて前記成功予測を計算する、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２１年７月１９日に出願された「ＰＨＡＳＥ ＳＥＧＭＥＮＴＡＴＩＯＮ ＯＦ Ａ ＰＥＲＣＵＴＡＮＥＯＵＳ ＭＥＤＩＣＡＬ ＰＲＥＣＥＤＵＲＥ」と題する米国仮特許出願第６３／２２３，３４０号の利益を主張し、この仮特許出願は、その全体が全ての目的のために参照により本明細書に組み込まれる。

【0002】

（発明の分野）
本開示は、医療処置の分野に関する。

【背景技術】

【0003】

様々な医療処置は、人体解剖学的構造を貫通して治療部位に到達するように構成された１つ以上のデバイスの使用を伴う。或る特定の手術プロセスは、１つ以上のデバイスを患者の皮膚及び他の解剖学的構造を通して挿入して治療部位に到達させ、尿路結石などの物体を患者から摘出することを伴い得る。

【図面の簡単な説明】

【0004】

種々の実施形態を説明を目的として添付図面に示すが、決して本開示の範囲を限定するものと解釈するべきではない。加えて、開示した異なる実施形態の種々の特徴を組み合わせて、本開示の一部である更なる実施形態を形成することができる。図面の全体を通して、参照番号を、参照要素間の対応関係を示すために再使用する場合がある。

【図1】１つ以上の実施形態による、本明細書で考察される技法を実装するように構成された医療システムの実施形態を例示する。

【図2】１つ以上の実施形態による、患者内にスコープを挿入するのを支援するように配列された図１の医療システムの上面図を例示する。

【図3】１つ以上の実施形態による、患者内のスコープをナビゲートするように配列された図１の医療システムの上面図を例示する。

【図4】１つ以上の実施形態による、患者内に針を挿入するのを支援するように配列された図１の医療システムの上面図を例示する。

【図5】１つ以上の実施形態による、本明細書で考察される技法を実装するように構成された分析エンジンを例示するブロック図である。

【図6A】１つ以上の実施形態による、ケースログから導出された時系列データを分類するための多対１段階セグメント化モジュールを例示するブロック図である。

【図6B】１つ以上の実施形態による、ケースログ内の時系列データを分類するための多対多段階セグメント化モジュールを例示するブロック図である。

【図6C】１つ以上の実施形態による、セグメント化モジュールが組み込み得る二項分類手法を示す図である。

【図6D】１つ以上の実施形態による、ラベルの複数の分類を伴うセグメント化モジュールの出力を示す図である。

【図7】例示的な実施形態による、医療システムによって実行される経皮医療処置における段階を評価する方法を示すフローチャートである。

【図8】例示的な実施形態による、経皮医療処置において臨床メトリックを生成する方法を示すフローチャートである。

【図9】例示的な実施形態による、経皮医療処置の予測を生成するための例示的な成功予測システムを例示するブロック図である。

【図10】例示的な実施形態に従って提供され得る例示的なガイダンスを例示する図である。

【図11】は、例示的な実施形態による、条件付き論理に少なくとも部分的に基づいてラベル付けされ得る針電磁データの例を例示する図である。

【図12】１つ以上の実施形態による、図１のロボットシステムの例示的な詳細を例示する。

【図13】１つ以上の実施形態による、図１の制御システムの例示的な詳細を例示する。

【発明を実施するための形態】

【0005】

本明細書で提供される進行方向は、便宜的なものに過ぎず、必ずしも開示の範囲又は意味に影響を及ぼすものではない。或る特定の例示的な実施形態を以下に開示するが、主題は、具体的に開示した実施形態を越えて他の代替的な実施形態及び／又は使用まで、並びに変更及びその均等物にまで及ぶ。したがって、本明細書から生じ得る特許請求の範囲は、以下に記載される特定の実施形態のうちのいずれかによって限定されない。例えば、本明細書で開示した任意の方法又はプロセスにおいて、方法又はプロセスの行為又は動作は、任意の好適な順序で行ってもよく、必ずしも何らかの特定の開示した順序に限定されない。様々な動作が、或る特定の実施形態を理解することに役立ち得る方法で、複数の別個の動作として順々に説明され得るが、しかしながら、説明の順序は、これらの動作が順序に依存することを含意するように解釈されるべきではない。更に、本明細書に記載の構造体、システム、及び／又はデバイスは、統合された構成要素又は別個の構成要素として具体化され得る。様々な実施形態を比較する目的で、これらの実施形態の或る特定の態様及び利点について説明する。必ずしも全てのこのような態様又は利点が、任意の特定の実施形態によって実現されるわけではない。したがって、例えば、様々な実施形態が、本明細書で同様に教示又は示唆され得る他の態様又は利点を必ずしも実現することなく、本明細書で教示される１つの利点又は利点の群を実現又は最適化する方法で行われ得る。

【0006】

位置という或る特定の標準的な解剖学的用語は、本明細書において、例示的な実施形態に関して、動物、すなわちヒトの解剖学的構造を指すために使用され得る。特定の空間的に相対的な語、例えば「外側」、「内側」、「上側」、「下側」、「下方」、「上方」、「垂直」、「水平」、「頂部」「底部」、及び同様の用語は、本明細書では、あるデバイス／要素又は解剖学的構造の別のデバイス／要素又は解剖学的構造に対する空間的関係を説明するために用いられるが、これらの用語は、本明細書では、図面に例示するように、要素／構造間の位置関係を説明するために説明を簡単にする目的で用いられることを理解されたい。空間的に相対的な用語は、図面に示す配向に加えて、使用又は動作時に、要素／構造体の異なる配向を包含することが意図されていることを理解されたい。例えば、別の要素／構造体の「上方」にあると説明される要素／構造体は、対象患者又は要素／構造体の代替的な配向に対して、そのような他の要素／構造体の下方又は脇にある位置を表すことがあり、逆もまた同様である。

【0007】

概要
本開示は、決定可能な段階に従って医療処置をセグメント化するシステム、デバイス、及び方法に関する。例示的な実施形態では、このセグメント化は、経皮医療処置又は任意の他の適切な医療処置を実行するか又は実行した医療システムによって生成されたケースログに基づいて行われる。本開示の或る特定の態様は、腎石の除去／治療処置などの腎臓、泌尿器、及び／又は神経学的な処置の文脈において本明細書で詳細に記載されるが、かかる文脈は、便宜上及び明確化のために提供され、本明細書に開示される概念は、任意の適切な医療処置に適用可能であることを理解されたい。しかし、前述したように、腎臓／泌尿器の解剖学的構造並びに関連する医学的な問題及び処置の説明を、本明細書で開示する考え方の説明を助けるために以下に提示する。

【0008】

尿路結石症としても知られる腎石疾患は、「腎石」、「尿路結石」、「腎結石」、「腎臓結石」、又は「腎結石症」と称される、物質の固体片の尿路における形成を伴う比較的一般的な医学的状態である。尿路結石は、腎臓、尿管、及び膀胱（「膀胱結石」と称される）に形成及び／又は見出され得る。そのような尿路結石は、ミネラル分が濃縮された結果として生じ、尿管又は尿道を通る尿流を妨げるのに十分なサイズに達すると、著しい腹痛を引き起こし得る。尿路結石は、カルシウム、マグネシウム、アンモニア、尿酸、システイン、又は他の化合物から形成され得る。

【0009】

膀胱及び尿管から尿路結石を除去するために、外科医は、尿管鏡を尿道を通して尿路内へ挿入することができる。通常、尿管鏡はその遠位端に、尿路の視覚化を可能にするように構成された内視鏡を含む。尿管鏡はまた、尿路結石を捕捉又は破砕するための結石摘出機構を含むこともできる。尿管鏡処置中、１人の医師／技術者が、尿管鏡の位置を制御することができ、別の他の医師／技術者が、結石摘出機構を制御することができる。

【0010】

腎臓から比較的大きな結石（すなわち、「腎石」）を除去するために、医師は、皮膚を通して腎孟尿管鏡を挿入して結石を破砕及び／又は除去することを含む経皮的腎結石摘出（percutaneous nephrolithotomy、「ＰＣＮＬ」）技術を使用することができる。腎石の位置を定めることは、腎孟尿管鏡の挿入のために標的を提供するために蛍光透視法を使用して達成され得る。しかしながら、蛍光透視法は、蛍光透視鏡自体のコスト、並びに蛍光透視鏡を操作するための技術者のコストにより、腎石切除手技のコストを増加させる。蛍光透視法はまた、長期間にわたって患者を放射線に曝露する。蛍光透視法でさえも、腎臓結石にアクセスするための経皮的切開を正確に加えることは、困難であり、不必要に不正確であり得る。更に、いくつかの腎石切除技法は、２日間又は３日間の入院を伴う。要するに、特定の腎石切除技法は、比較的高価であり、患者にとって問題となり得る。

【0011】

いくつかの実施態様では、本開示は、経皮医療処置又は任意の他の適切な医療処置を実行するか又は実行した医療システムによって生成されたケースログに基づいて、決定可能な段階に従って医療処置をセグメント化するための技法及びシステムに関する。本明細書で使用されるように、「ケースログ」は、医療システムが動作中に生成又は収集するランタイムデータを指し得る。いくつかの状況では、ケースログは、システムによって能動的に生成若しくは収集されるか、又はシステムに手動で入力若しくは転送されるかにかかわらず、手術前又は手術後データを代替的に又は追加的に含み得る。ケースログという用語は、必ずしも特定のデータ記憶フォーマットを暗示するものではなく、いくつかの実施形態は、単にケースログを生のセンサデータとして記憶してもよいことを理解されたい。他の実施形態は、ケースログを指定された又は決定可能なファイルフォーマットに構造化する。ケースログという用語は、本明細書では代替的に「ケースデータ」と呼ばれることがある。ケースログは、医療システムの器具の姿勢、医療システムのロボットアーム又はマニピュレータの姿勢、ユーザインターフェース（「ＵＩ」）コマンド、システムステータス、ビデオデータ、オーディオデータ等を表すデータを含み得る。しかしながら、そのようなデータは、医療処置の成功又は医師のパフォーマンスを評価し、術中の推奨又は知見を提供し、又は自動化されたアクションを実行するための臨床メトリックを直接提供しない。例えば、ケースログは、セグメント化なしでは、腎臓に入るための標的場所を選択した後に、針挿入がいつ開始したか、又はユーザが何回穿刺を試みたかを識別しない（例えば、以下の更なる詳細を参照）。更に、ケースログは、例えば、ユーザがどの挿入部位を選択したか、患者の皮膚と腎杯／乳頭内の標的（医師によって識別された配置（例えば、以下のタグ付けを参照）、又は腎杯／乳頭壁の推定値）との間の長さ（そのような長さは、管長さと称され得る）に関する情報を有していない場合がある。

【0012】

したがって、決定可能な医療処置段階に従って医療処置がセグメント化されると、実施形態は、とりわけ、段階固有のメトリックを生成し、推奨及び知見を提供し、自動化されたアクションを実行するために、セグメント化の文脈においてケースデータを分析することができる。例えば、管長さを計算することができるように、システムは、最初に、ユーザが皮膚上の挿入部位及び腎杯／乳頭（又はその表現）の標的配置を選択したときの針先端の配置を計算してもよい。しかしながら、これらの段階固有のメトリックのうちのいくつかは、経皮医療処置をセグメント化した後のケースログからのみ計算可能である。本開示の一部は、例示的なシステム、方法、又は装置が、臨床メトリックを計算し、処置の各段階又は任意の段階がどれくらいかかるかを計算することができるように、所与の時間に処置においてどの段階が行われているかを認識又は別様に識別するためのシステム、方法、及び装置に焦点を当てている。本明細書で企図される実施形態によって決定され得る例示的なメトリックは、以下でより詳細に説明される。更に、本明細書で企図される実施形態はまた、臨床メトリックを分析して、メトリックと処置成功との間の相関を決定してもよい。これらの相関関係を使用して、処置の前、間、及び後にガイダンス及び知見を提供することができる。

【0013】

多くの実施形態では、本明細書に説明される本技法及びシステムは、皮膚、粘膜、及び／又は他の身体層の穿刺及び／又は切開を行うことによって、標的場所へのアクセスが得られる任意の処置を含み得る、経皮的処置の文脈で考察される。しかしながら、これらの本技法及びシステムは、例えば、低侵襲処置（例えば、腹腔鏡検査）、非侵襲的処置（例えば、内視鏡検査）、療法処置、診断処置、経皮的処置、非経皮的処置、又は他のタイプの処置を含む、任意の医療処置の文脈において実装され得ることを理解されたい。内視鏡処置は、気管支鏡検査、尿管鏡検査、胃鏡検査、腎孟尿管鏡検査、腎結石摘出などを含み得る。いくつかの実施形態では、腹腔鏡処置又は別の処置の文脈において、本明細書に説明される本技法及びシステムは、ポート位置決めを誘導するため（例えば、第１のトロカールを第２のトロカール／解剖学的配置に位置合わせするため）等、第１の医療器具を第２の医療器具／解剖学的配置に位置合わせすることを伴う処置の段階固有のメトリックを生成するために使用され得る。更に、いくつかの実施形態では、診断処置の文脈において、本技法及びシステムは、電磁センサを装備した超音波プローブを解剖学的標的に位置合わせすることを伴う医療処置をセグメント化するために、又は三次元（three-dimensional、３Ｄ）腎臓解剖学的構造等の解剖学的構造を再構築するようにユーザを一組の標的配向に誘導するために使用され得る。更に、いくつかの実施形態では、内視鏡処置の文脈において、本技法及びシステムは、腫瘍の位置等のマーク付けされた位置で生検を実行しながら、気管支鏡の配置を誘導することを伴う医療処置をセグメント化するために使用され得る。

【0014】

医療システム
図１に、本開示の態様による、様々な医療処置を行うための医療システム例１００を例示する。医療システム１００は、医療器具と係合し、及び／又はそれを制御し、患者１３０に処置を実行するように構成されたロボットシステム１１０を含む。医療システム１００はまた、ロボットシステム１１０とインターフェース接続し、処置に関する情報を提供し、及び／又は種々の他の動作を実行するように構成された制御システム１４０を含む。例えば、制御システム１４０は、医師１６０を支援するために、或る特定の情報を提示するディスプレイ１４２を含み得る。ディスプレイ（複数の場合もある）１４２は、モニタ、スクリーン、テレビ、仮想現実ハードウェア、拡張現実ハードウェア、三次元撮像デバイス（例えば、ホログラムデバイス）等、又はそれらの組み合わせであってもよい。医療システム１００は、患者１３０を保持するように構成された台１５０を含むことができる。システム１００は、ロボットシステム１１０の１つ以上のロボットアーム１１２によって保持され得るか、又は独立型デバイスであり得る電磁（electromagnetic、ＥＭ）場発生器１８０を更に含み得る。実施例では、医療システム１００はまた、Ｃアームに一体化され、及び／又は蛍光透視方タイプの処置などの処置中に撮像を提供するように構成され得る撮像デバイス１９０を含み得る。図１に示されているが、いくつかの実施形態では、撮像デバイス１９０は省かれる。

【0015】

いくつかの実装形態では、医療システム１００は、経皮的処置を実行するために使用され得る。例えば、患者１３０が、尿路を通して除去するには大きすぎる腎石を有する場合、医師１６０は、患者１３０上の経皮的アクセス点を通して腎石を除去するための処置を実行することができる。例示するために、医師１６０は、制御システム１４０と対話して、ロボットシステム１１０を制御し、医療器具（例えば、スコープ）を尿道から膀胱を通して尿管の上方に、結石が位置する腎臓内に前進させナビゲートすることができる。制御システム１４０は、医師１６０が医療器具をナビゲートするのを支援するために、それを用いて取り込まれたリアルタイム画像等、医療器具に関する情報をディスプレイ（複数の場合もある）１４２を介して提供することができる。

【0016】

腎石の（例えば、腎杯内の）部位になると、医療器具を使用して、腎臓に経皮的にアクセスするために、医療器具の標的場所（例えば、腎臓にアクセスするための所望の点）を指定／タグ付けすることができる。腎臓及び／又はその周囲の解剖学的構造への損傷を最小限に抑えるために、医師１６０は、医療器具で腎臓内に進入するための標的場所として特定の乳頭を指定することができる。しかし、他の標的場所を指定又は決定することができる。医師が特定の乳頭を通して医療器具を患者１３０に運ぶのを支援するために、制御システム１４０は、標的軌道（例えば、患者の皮膚から標的場所までの所望のアクセス経路）に対する医療器具の配向の位置合わせを示唆する視覚化、例えば、医療器具を標的場所に向かって腎臓に挿入する進行を示唆する視覚化、経皮的処置のガイダンス、及び／又は他の情報を含み得る経皮的アクセスインターフェース１４４を提供することができる。（例えば、針１７０、スコープ１２０、又は他の任意のセンサ若しくは撮像モダリティに取り付けられたセンサによって決定されるように）医療器具が標的場所に到達すると、医師１６０は、医療器具及び／又は別の医療器具を使用して、経皮的アクセスポイント等を通して、患者１３０から腎石を摘出することができる。

【0017】

上記の経皮的処置及び／又は他の処置は、医療器具を使用する文脈で考察されているが、いくつかの実施態様では、経皮的処置が医療器具の支援を伴わずに実行され得る。更に、医療システム１００は、様々な他の処置を実行するために使用され得る。

【0018】

更に、多くの実施形態では、医師１６０が医療器具を使用すると説明されているが、医療器具は、代替的に、医療システム１００の構成要素によって使用され得る。例えば、医療器具は、ロボットシステム１１０（例えば、１つ以上のロボットアーム１１２）によって保持／操作することができ、本明細書で考察される技法は、医療器具を適切な姿勢（又は配向又は配置等の姿勢の態様）で挿入して標的場所に到達させるためにロボットシステム１１０を制御するように実装され得る。

【0019】

図１の実施例では、医療器具は、スコープ１２０として実装され、医療器具は、針１７０として実装される。こうして、考察を容易にするために、医療器具は、「スコープ１２０」又は「管腔ベースの医療器具」と称され、医療器具は、「針１７０」又は「経皮的医療器具」と称される。しかしながら、医療器具及び医療器具は各々、例えば、スコープ（「内視鏡」と称されることもある）、針、カテーテル、ガイドワイヤ、腎石砕石器、バスケット回収デバイス、鉗子、バキューム、針、メス、撮像プローブ、顎部、ハサミ、把持部、針ホルダ、マイクロ切開器具、ステープルアプライヤ、タッカ、吸引／灌注ツール、クリップアプライヤ等を含む、適切なタイプの医療器具として実装され得る。いくつかの実施形態では、医療器具は操縦可能デバイスであり、他の実施形態では、医療器具は非操縦可能デバイスである。いくつかの実施形態では、手術ツールは、針、外科用メス、ガイドワイヤなどの、人体構造を穿刺するか又は人体構造を通して挿入されるように構成されたデバイスを指す。しかし、手術ツールは他のタイプの医療器具を指すこともできる。

【0020】

いくつかの実施形態では、スコープ１２０及び／又は針１７０などの医療器具は、別のデバイスに送信され得るセンサデータを生成するように構成されているセンサを含む。実施例では、センサデータは、医療器具の場所／向きを示唆することができ、及び／又は医療器具の場所／向きを判定するために使用され得る。例えば、センサは、導電性材料のコイルを有する電磁（ＥＭ）センサを含み得る。ここで、ＥＭ場発生器１８０などのＥＭ場発生器は、医療器具上のＥＭセンサによって検出されるＥＭ場を提供することができる。磁界は、ＥＭセンサのコイル内に小電流を誘導することができ、小電流を分析して、ＥＭセンサとＥＭ場発生器との間の距離及び／又は角度／向きを判定することができる。更に、医療器具は、例えばカメラ、範囲センサ、レーダデバイス、形状検知ファイバ、加速度計、ジャイロスコープ、衛星ベースの測位センサ（例えば、地球測位システム（global positioning system、ＧＰＳ））、無線周波数トランシーバ等のうちのいずれか１つ以上のセンサデータを生成するように構成された他のタイプのセンサを備え得る。いくつかの実施形態では、センサは、医療器具の遠位端上に位置決めされるが、他の実施形態では、センサは、医療器具上の別の場所に位置決めされる。いくつかの実施形態では、医療器具上のセンサは、センサデータを制御システム１４０に提供することができ、制御システム１４０は、医療器具の位置及び／又は向きを判定／追跡するために１つ以上の位置特定技術を実行することができる。

【0021】

いくつかの実施形態では、医療システム１００は、医療処置中に生成されるランタイムデータを記録又は別様に追跡してもよい。例えば、医療システム１００は、ケースデータストア１４５Ａ（例えば、コンピュータ可読メモリ、データベース、ファイルシステム等のコンピュータ記憶システム）内の器具（例えば、スコープ１２０及び針１７０）からのセンサ読み取り値（例えば、センサデータ）を追跡又は別様に記録してもよい。センサデータに加えて、医療システム１００は、他のタイプのケースログをケースデータストア１４５Ａに記憶することができる。例えば、図１の文脈では、ケースログは、スコープ１２０によって取り込まれたビデオ画像の時系列データ、ロボットシステム１１０のステータス、Ｉ／Ｏデバイス（複数の場合もある）（例えば、以下で説明するＩ／Ｏデバイス（複数の場合もある）１４６）からのコマンドデータ、オーディオデータ（例えば、医療器具上のマイクロフォン、ロボットアーム、又は医療システム内の他の場所等、医療システム１００内に埋め込まれたオーディオキャプチャデバイスによって取り込まれ得る）、外部（患者に対して）撮像デバイス（ＲＧＢカメラ、ＬＩＤＡＲ撮像センサ、蛍光透視撮像センサ等）等を含むことができる。

【0022】

図１に示すように、制御システム１４０は、ケースデータストア１４５Ａに記憶されたケースログに対して動作して、所与の時間について処置段階に従ってケースログにラベル付けすることができる分析エンジン１４１Ａを含む。以下でより詳細に考察するように、分析エンジン１４１Ａは、機械学習技法を採用して、異なる段階に従って医療処置をセグメント化することができる。いくつかの実施形態では、医療処置がセグメント化されると、分析エンジン１４１Ａは、医療処置段階、医療処置全般についてのメトリックを生成するか、又は医療システム１００のユーザ（例えば、医師、スタッフ、訓練要員等）に知見及び推奨を提供することができる。

【0023】

図１は、いくつかの実施形態において、制御システム１４０が、クラウドベースのデータ分析プラットフォーム１４９への（例えば、ネットワーク１０１を介した）ネットワーク接続を含み得ることを更に示す。クラウドベースのデータ分析プラットフォーム１４９は、サードパーティコンピュータ１４７に、所与の医療処置に関する術後分析能力、又は複数の医療処置にわたる分析を提供するコンピュータシステムであってもよい。図１に示すように、クラウドベースのデータ分析プラットフォーム１４９は、追加の医療システム１０３に更に接続することができ、追加の医療システム１０３はそれぞれ、ケースログをクラウドベースのデータ分析プラットフォーム１４９に送信することができる。クラウドベースのデータ分析プラットフォームは、複数の医療システムからケースログを受信するので、クラウドベースのデータ分析プラットフォーム１４９は、単一の医療システムがアクセスするよりも比較的大きなデータプールにアクセスすることができ、複数の医療システムにわたってケースログを集約して医療処置の知見を導出することができる。医療処置の知見は、医療システム及び医療処置にわたってケースログをセグメント化することから導出されるメトリックに基づいて医療処置における成功の可能性を増加させる要因に関するガイダンスを含むことができる。ケースログのセグメント化については、以下でより詳細に考察する。

【0024】

図１に示すように、クラウドベースのデータ分析プラットフォーム１４９は、分析エンジン１４１Ｂ及びクラウドベースのデータストア１４５Ｂを含むことができる。クラウドベースのデータストア１４５Ｂは、医療システム１００及び追加の医療システム１０３からのシステムデータ記録を記憶するコンピュータ記憶デバイスであってもよい。分析エンジン１４１Ｂは、分析エンジン１４１Ａと同様の特徴及び能力を含んでもよい。しかしながら、いくつかの実施形態では、分析エンジン１４１Ａは更に、複数の医療システム（例えば、医療システム１００及び医療システム１０３）にわたってケースログを分析し、メトリック又は知見を生成するように動作してもよい。これは、そのようなメトリック又は知見を生成するために使用されるデータが、より広い範囲の情報を使用しているので、比較的ロバストな知見を提供し得る。追加的又は代替的に、クラウドベースの分析エンジン１４１Ｂは、術後分類に適した機械学習技法を使用してもよく、一方、ローカル分析エンジン１４１Ｂは、リアルタイム又はほぼリアルタイムの分類に適した機械学習技法を使用してもよい。これらの機械学習技法は、以下により詳細に説明される。

【0025】

用語「スコープ」又は「内視鏡」は、本明細書では、それらの広義及び通常の意味に従って使用され、また任意のタイプの細長い医療機器であって、画像生成、視認、及び／又は取り込み機能を有し、身体の任意のタイプの臓器、体腔、管腔、室、及び／又は空間内に導入されるように構成された医療機器を指すことができる。例えば、本明細書におけるスコープ又は内視鏡への言及は、（例えば、尿路にアクセスするための）尿管鏡、腹腔鏡、（例えば、腎臓にアクセスするための）腎孟尿管鏡、（例えば、気管支などの気道にアクセスするための）気管支鏡、（例えば、結腸にアクセスするための）結腸鏡、（例えば、関節にアクセスするための）関節鏡、（例えば、膀胱にアクセスするための）膀胱鏡、ボアスコープなどを指すことができる。

【0026】

スコープは、解剖学的構造の画像を取り込むために患者の解剖学的構造内に挿入されるように構成されているチューブ状及び／又は可撓性の医療器具を備え得る。いくつかの実施形態では、スコープは、光学アセンブリ及びスコープの遠位端との間で信号を転送するために、ワイヤ及び／又は光ファイバを収容することができ、スコープは、光学カメラなどの撮像デバイスを含み得る。カメラ／撮像デバイスは、肝臓の標的腎杯／乳頭などの内部解剖学的空間の画像を取り込むために使用され得る。スコープは、発光ダイオードなどの近位に位置する光源からスコープの遠位端まで光を搬送するために光ファイバを収容するように更に構成され得る。スコープの遠位端は、カメラ／撮像デバイスを使用するときに解剖学的空間を照明するための光源用のポートを含み得る。いくつかの実施形態では、スコープは、ロボットシステム１１０などのロボットシステムによって制御されるように構成されている。撮像デバイスは、光ファイバ、ファイバアレイ、及び／又はレンズを備え得る。光学構成要素は、スコープの先端部と共に移動することができるため、スコープの先端部の移動が撮像装置によって取り込まれた画像に変化をもたらす。

【0027】

スコープは、スコープの少なくとも遠位側部分などに対して関節運動可能であり得るため、スコープは、人体解剖学的構造内で操縦され得る。いくつかの実施形態では、スコープは、例えば、Ｘ、Ｙ、Ｚ座標移動、並びにピッチ、ヨー、及びロールを含む、例えば、５又は６自由度で関節運動されるように構成されている。スコープの位置センサは、同様に、それらが作成／提供する位置情報に関して同様の自由度を有することができる。スコープは、内側リーダ部分及び外側シース部分などの伸縮部品を含み得、これら伸縮部品は、スコープを伸縮自在に延伸するように操作され得る。スコープは、いくつかの事例では、剛性又は可撓性チューブを備え得、外側シース、カテーテル、導入器、又は他の管腔型デバイス内を通過するように寸法決めされ得るか、又はかかるデバイスを伴わずに使用され得る。いくつかの実施形態では、スコープは、スコープの遠位端において動作区域に対し、医療器具（例えば、砕石器、バスケットデバイス、鉗子など）、灌注、及び／又は吸引を展開するための作業チャネルを含む。

【0028】

ロボットシステム１１０は、医療処置の実行を少なくとも部分的に容易にするように構成することができる。ロボットシステム１１０は、特定の処置に応じて種々の方式で配列され得る。ロボットシステム１１０は、処置を実行するためにスコープ１２０と係合し、及び／又はそれを制御するように構成された１つ以上のロボットアーム１１２を含み得る。示されるように、各ロボットアーム１１２は、関節に結合された複数のアームセグメントを含み得、これにより、複数の移動度を提供し得る。図１の実施例では、ロボットシステム１１０は、患者１３０の脚に近接して位置決めされ、ロボットアーム１１２は、患者１３０の尿道などのアクセス点へのアクセスのために、スコープ１２０と係合して位置決めするように作動される。ロボットシステム１１０が適切に配置されると、スコープ１２０は、ロボットアーム１１２を使用してロボットで、医師１６０によって手動で、又はそれらの組み合わせで、患者１３０に挿入され得る。ロボットアーム１１２はまた、ＥＭ場発生器１８０に接続され得、これは患者１３０の腎臓に近接範囲内など、治療部位の近くに位置決めされ得る。

【0029】

ロボットシステム１１０はまた、１つ以上のロボットアーム１１２に結合された支持構造１１４を含み得る。支持構造１１４は、制御電子機器／回路、１つ以上の電源、１つ以上の空気圧、１つ以上の光源、１つ以上のアクチュエータ（例えば、１つ以上のロボットアーム１１２を移動させるモータ）、メモリ／データ記憶装置、及び／又は１つ以上の通信インターフェースを含み得る。いくつかの実施形態では、支持構造１１４は、ロボットシステム１１０を制御するためのユーザ入力などの入力を受信することと、及び／又はグラフィカルユーザインターフェース（graphical user interface、ＧＵＩ）、ロボットシステム１１０に関する情報、手技に関する情報などの出力を提供することと、を行うように構成された入力／出力（input/output、Ｉ／Ｏ）デバイス（複数可）１１６を含む。Ｉ／Ｏデバイス（複数可）１１６は、ディスプレイ、タッチスクリーン、タッチパッド、プロジェクタ、マウス、キーボード、マイクロフォン、スピーカなどを含み得る。いくつかの実施形態では、ロボットシステム１１０は、移動可能である（例えば、支持構造１１４は、ホイールを含む）ため、ロボットシステム１１０は、手技に適切な又は所望される場所に位置決めされ得る。他の実施形態では、ロボットシステム１１０は、固定システムである。更に、いくつかの実施形態では、ロボットシステム１１０は、台１５０に一体化されている。

【0030】

ロボットシステム１１０は、制御システム１４０、台１５０、ＥＭ場発生器１８０、スコープ１２０、及び／又は針１７０などの医療システム１００の任意の構成要素に結合することができる。いくつかの実施形態では、ロボットシステムは、制御システム１４０に通信可能に結合されている。一実施例では、ロボットシステム１１０は、制御システム１４０から制御信号を受信して、特定の方法でロボットアーム１１２を位置決めする、スコープ１２０を操作するなどの動作を実行するように構成され得る。それに応答して、ロボットシステム１１０は、ロボットシステム１１０の構成要素を制御し、動作を実施することができる。別の実施例では、ロボットシステム１１０は、患者１３０の内部の解剖学的構造を描写する画像をスコープ１２０から受信し、及び／又は画像を制御システム１４０に送信するように構成され、次いで、その画像はディスプレイ（複数の場合もある）１４２上に表示され得る。更に、いくつかの実施形態では、ロボットシステム１１０は、制御システム１４０などの医療システム１００の構成要素に、流体、光学系、電力などをそこから受信することを可能にするように結合される。ロボットシステム１１０の例示的な詳細が、図１２を参照して以下で更に詳細に考察される。

【0031】

制御システム１４０は、医療処置の実施を支援するための様々な機能を提供するように構成することができる。いくつかの実施形態では、制御システム１４０は、ロボットシステム１１０に結合され、ロボットシステム１１０と協働して動作して、患者１３０に対して医療処置を実施し得る。例えば、制御システム１４０は、（例えば、ロボットシステム１１０及び／又はスコープ１２０を制御するため、スコープ１２０などによって取り込まれた画像を受信するために）無線接続又は有線接続を介してロボットシステム１１０と通信し、１つ以上の流体チャネルを介してロボットシステム１１０に流体を提供し、１つ以上の電気接続を介してロボットシステム１１０に電力を提供し、１つ以上の光ファイバ又は他の構成要素などを介してロボットシステム１１０に光学系を提供することができる。更に、いくつかの実施形態では、制御システム１４０は、針１７０及び／又はスコープ１２０と通信して、針１７０及び／又はスコープ１２０から（ロボットシステム１１０を介して、及び／又は針１７０及び／又はスコープ１２０から直接）センサデータを受信することができる。更に、いくつかの実施形態において、制御システム１４０は、台１５０と通信して、台１５０を特定の配向に配置するか、又は別様に台１５０を制御することができる。更に、いくつかの実施形態では、制御システム１４０は、ＥＭ場発生器１８０と通信して、患者１３０の周囲のＥＭ場の生成を制御することができる。

【0032】

制御システム１４０は、医師１６０又は他の者が医療処置を実行するのを支援するように構成された様々なＩ／Ｏデバイスを含む。この実施例では、制御システム１４０は、患者１３０内でスコープ１２０をナビゲートするなど、スコープ１２０を制御するために医師１６０又は他のユーザによって用いられるＩ／Ｏデバイス１４６を含む。例えば、医師１６０は、Ｉ／Ｏデバイス１４６を介して入力を提供することができ、それに応答して、制御システム１４０は、スコープ１２０を操作するために制御信号をロボットシステム１１０に送信することができる。Ｉ／Ｏデバイス（複数の場合もある）１４６は、図１の実施例ではコントローラとして例示されているが、Ｉ／Ｏデバイス（複数の場合もある）１４６は、タッチスクリーン、タッチパッド、マウス、キーボード、外科医又は内科医のコンソール、仮想現実ハードウェア、拡張ハードウェア、マイクロフォン、スピーカ、触覚デバイス等の様々なタイプのＩ／Ｏデバイスとして実装され得る。

【0033】

図１にも示されるように、制御システム１４０は、処置に関する様々な情報を提供するためにディスプレイ１４２を含むことができる。上述のように、ディスプレイ（複数の場合もある）１４２は、経皮的アクセス処置（例えば、標的部位に向かって針１７０を操作すること）において医師１６０を支援するために、経皮的アクセスインターフェース１４４を提示することができる。ディスプレイ（複数の場合もある）１４２はまた、スコープ１２０に関する情報を（例えば、経皮的アクセスインターフェース１４４及び／又は別のインターフェースを介して）提供することができる。例えば、制御システム１４０は、スコープ１２０によって取り込まれたリアルタイム画像を受信し、ディスプレイ（複数の場合もある）１４２を介してリアルタイム画像を表示することができる。追加的又は代替的に、制御システム１４０は、患者１３０と関連付けられた医療モニタ及び／又はセンサから信号（例えば、アナログ、デジタル、電気、音響／音波、空気圧、触感、油圧等）を受信することができ、ディスプレイ（複数の場合もある）１４２は、患者１３０の健康又は環境に関する情報を提示することができる。このような情報は、例えば、心拍数（例えば、ＥＣＧ、ＨＲＶ等）、血圧／レート、筋生体信号（例えば、ＥＭＧ）、体温、血中酸素飽和度（例えば、ＳｐＯ２）、ＣＯ２、脳波（例えば、ＥＥＧ）、環境及び／又は局所若しくはコア体温等を含む、医療モニタを介して表示される情報を含むことができる。

【0034】

制御システム１４０の機能を容易にするために、制御システム１４０は、様々な構成要素（「サブシステム」と称されることもある）を含み得る。例えば、制御システム１４０は、制御電子機器／回路、並びに１つ以上の電源、空気圧、光源、アクチュエータ、メモリ／データ記憶デバイス、及び／又は通信インターフェースを含み得る。いくつかの実施形態では、制御システム１４０は、実行されると、様々な動作を実装させる、実行可能な命令を記憶するように構成された、コンピュータベースの制御システムを含む、制御回路を含む。いくつかの実施形態では、図１に示されるように、制御システム１４０は移動可能であるが、他の実施形態では、制御システム１４０は、固定システムである。様々な機能及び構成要素が制御システム１４０によって実装されるものとして考察されているが、この機能及び／又は構成要素のうちのいずれも、ロボットシステム１１０、台１５０、及び／又はＥＭ場発生器１８０（又は更にはスコープ１２０及び／又は針１７０）等の他のシステム及び／又はデバイスに一体化され、及び／又はそれらによって実行され得る。制御システム１４０の例示的な詳細が、図１３を参照して以下で更に詳細に考察される。

【0035】

撮像デバイス１９０は、１つ以上のＸ線又はＣＴ画像等、処置中に、患者１３０の１つ以上の画像を取り込み／生成するように構成され得る。実施例では、撮像デバイス１９０からの画像は、医師１６０が処置を実行するのを支援するために、患者１３０内の、解剖学的構造及び／又はスコープ１２０及び／又は針１７０などの医療器具を視認するようにリアルタイムで提供され得る。撮像デバイス１９０を使用して、（例えば、患者１３０内で造影剤を用いた）蛍光透視法又は別のタイプの撮像技法を実行し得る。図１に示されているが、多くの実施形態では、撮像デバイス１９０は、処置を実行するために実装されず、及び／又は（Ｃアームを含む）撮像デバイス１９０は省かれる。

【0036】

医療システム１００の種々の構成要素を、無線及び／又は有線ネットワークを含むことができるネットワークを介して互いに通信可能に結合することができる。例示的なネットワークとしては、１つ以上のパーソナルエリアネットワーク（personal area network、ＰＡＮ）、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）、インターネットエリアネットワーク（Internet area network、ＩＡＮ）、セルラーネットワーク、インターネットなどが挙げられる。更に、いくつかの実施形態では、医療システム１００の構成要素は、１つ以上の支持ケーブル、チューブなどを介して、データ通信、流体／ガス交換、電力交換などのために接続されている。

【0037】

医療システム１００は、医師が処置を実行することを支援するためのガイダンス（例えば、器具追跡、器具位置合わせ情報等）を提供すること、医師がぎこちない腕の運動及び／又は配置を必要とすることなく人間工学的配置から処置を実行することを可能にすること、１人の医師が１つ以上の医療器具を用いて処置を実行することを可能にすること、（例えば、蛍光透視技法と関連付けられた）放射線曝露を回避すること、処置が単一動作設定で実行されることを可能にすること、連続的吸引を提供し、より効率的に物体を除去する（例えば、腎石を除去する）こと等の種々の利益を提供することができる。例えば、医療システム１００によって、出血及び／又は解剖学的構造（例えば、決定臓器、血管など）への損傷を最小限にしながら、医師が様々な医療機器を用いて標的解剖学的特徴にアクセスするのを支援するための誘導情報が得られる。更に、医療システム１００は、医師及び患者の放射線への曝露を低減し、かつ／又は手術室内の機器の量を低減するための、非放射線ベースのナビゲーション技法及び／若しくは位置特定技法を提供することができる。更に、医療システム１００は、少なくとも制御システム１４０とロボットシステム１１０との間に分散された機能を提供することができ、これにより、独立して移動可能になることができる。そのような機能及び／又は可動性の分散は、制御システム１４０及び／又はロボットシステム１１０が、特定の医療処置に対して最適である位置に位置決めされることを可能にすることができ、これにより、患者の周りの作業領域を最大化し、及び／又は医師が処置を実行するための最適化された位置を提供することが可能になる。

【0038】

様々な技法及びシステムがロボット支援手技（例えば、医療システム１００を少なくとも部分的に使用する手技）として実装されるものとして考察されているが、これらの技法及びシステムは、完全ロボット医療処置、人間のみの手技（例えば、ロボットシステムを含まない）などの他の手技で実装され得る。例えば、医療システム１００は、医師が医療器具を保持／操作することなく手技（例えば、完全ロボット手技）を実行するために使用され得る。すなわち、スコープ１２０及び針１７０など、処置中に使用される医療器具は各々、ロボットシステム１１０のロボットアーム１１２などの医療システム１００の構成要素によって保持／制御され得る。

【0039】

医療システムを使用する例示的な経皮的処置
図２～図４は、１つ以上の実施形態による、経皮的処置を実行するように配列された図１の医療システム１００の上面図を例示する。これらの実施例では、医療システム１００は、スコープ１２０及び針１７０の助けを借りて患者１３０から腎石を除去するために手術室に配列される。このような処置の多くの実施形態では、患者１３０は、図１に例示されるように、患者１３０の脇腹にアクセスするために、患者１３０が側部にわずかに傾けられた修正された仰臥位に配置される。しかしながら、患者１３０は、仰臥位、腹臥位等の他の方法で配置することができる。患者１３０の解剖学的構造を視認する例示を容易にするために、図２～図４は、脚を広げた仰臥位の患者１３０を例示する。また、例示を容易にするために、撮像デバイス１９０（Ｃアームを含む）は取り外されている。

【0040】

図２～図４は、患者１３０から腎石を除去するための経皮的処置を実行するための医療システム１００の使用を例示しているが、医療システム１００は、別様に腎石を除去するために、及び／又は他の処置を実行するために使用され得る。更に、患者１３０は、処置のために所望される他の位置に配置され得る。種々の行為を、図２～図４において、また本開示の全体を通して、医師１６０が実行するものとして説明している。これらの行為は、医師１６０、医師の指示の下にあるユーザ、別のユーザ（例えば、技術者）、それらの組み合わせ、及び／又は任意の他のユーザによって直接実行され得ることを理解されたい。

【0041】

腎臓の解剖学的構造は、図２～図４に少なくとも部分的に例示したように、本概念の態様に関係する或る特定の医療処置に関して参照するために、ここでは説明している。腎臓は一般的に、腹膜後腔内の左右に位置する２つの豆形状の臓器を含む。成人では、腎臓は一般的に約１１ｃｍの長さである。腎臓は、対になった腎動脈から血液を受け取り、血液は、対になった腎静脈内に出る。各腎臓は尿管に付いている。尿管は、排泄された尿を腎臓から膀胱へ運ぶチューブである。膀胱は尿道に付いている。

【0042】

腎臓は通常、腹腔内で比較的高い位置にあり、わずかに斜めの角度で後腹膜位置にある。肝臓の位置によって生じる腹腔内の非対称は、通常、右腎が左腎よりもわずかに低くて小さく、左腎よりもわずかに中央に配置される。各腎臓の上に副腎がある。腎臓の上部は、第１１肋骨及び第１２肋骨によって部分的に保護される。その副腎を伴う各腎臓は、脂肪の２つの層、すなわち、腎筋膜と腎被膜との間に存在する腎周囲脂肪と腎筋膜の上方の腎傍脂肪とによって、囲まれている。

【0043】

腎臓は、種々の体液区画の体積、流体浸透圧、酸塩基平衡、種々の電解質濃度、及び毒素の除去の制御に関与する。腎臓は、特定の物質を分泌して他の物質を再吸収することによって、濾過機能をもたらす。尿中に分泌される物質の例は、水素、アンモニウム、カリウム、及び尿酸である。加えて、腎臓はまた、ホルモン合成などの様々な他の機能を行う。

【0044】

腎臓の凹状境界上の凹領域は腎門である。腎門では、腎動脈が腎臓に入り、腎静脈及び尿管が出ている。腎臓は、丈夫な繊維組織である腎被膜によって囲まれている。腎被膜自体は、腎周囲脂肪、腎筋膜、及び腎傍脂肪によって囲まれている。これらの組織の前（正）面は腹膜であり、一方で後（裏）面は横筋筋膜である。

【0045】

腎臓の機能物質又は実質は、２つの主要構造、すなわち、外側腎皮質及び内側腎髄質に分割される。これらの構造は、複数の円錐形の腎葉の形状をとり、それぞれが、腎錐体と言われる髄質の一部を囲む腎皮質を含んでいる。腎錐体間には、腎柱と言われる皮質の突起がある。ネフロン、すなわち腎臓の尿産生機能構造体は、皮質及び髄質に及ぶ。ネフロンの初期濾過部分は腎小体であり、皮質内に位置する。これに続いて、皮質から延髄錐体の内部まで深く通る尿細管がある。腎皮質の一部である髄線は、単一の集合管の中に排出する尿細管の集合である。

【0046】

各錐体の先端又は乳頭は、尿を個々の小腎杯内に出し、小腎杯は大腎杯内に出し、大腎杯は腎盤内に出し、そして尿管に遷移する。門部では、尿管及び腎静脈が腎臓から出て、腎動脈が入る。腎門部脂肪及びリンパ節を伴うリンパ組織は、これらの構造を囲んでいる。腎門部脂肪は、腎洞と呼ばれる脂肪で充填された体腔に隣接する。腎洞は、腎盤及び腎杯をまとめて収容し、これらの構造を腎髄質組織から分離する。

【0047】

図２～図４に、患者１３０の解剖学的構造の種々の特徴を示す。例えば、患者１３０は、尿管２２０を介して膀胱２３０に流体的に接続された腎臓２１０と、膀胱２３０に流体的に接続された尿道２４０とを含む。腎臓２１０（Ａ）の拡大描写に示されるように、腎臓２１０（Ａ）は、腎杯（腎杯２１２を含む）、腎乳頭（「乳頭２１４」とも称される、腎乳頭２１４を含む）、及び腎錐体（腎錐体２１６を含む）を含む。これらの実施例では、腎石２１８は乳頭２１４に近接して位置する。しかしながら、腎石２１８は、腎臓２１０（Ａ）内の他の位置等に位置する可能性がある。

【0048】

図２に示されるように、例示的な経皮的処置において腎石２１８を除去するために、医師１６０は、ロボットシステム１１０を台１５０の側部／足部に配置して、スコープ１２０（図２には例示せず）の患者１３０への送達を開始し得る。具体的には、ロボットシステム１１０は、患者１３０の足の近接範囲内で台１５０の側部に配置され、患者１３０の尿道２４０への直接線形アクセスのために位置合わせされ得る。実施例では、患者１３０の股関節が、ロボットシステム１１０を位置決めするための基準点として使用される。配置されると、ロボットアーム１１２（Ｂ）及び１１２（Ｃ）等のロボットアーム１１２のうちの１つ以上は、外向きに伸びて、患者１３０の脚の間に到達することができる。例えば、ロボットアーム１１２（Ｂ）は、図２に示されるように、尿道２４０まで延在して、そこに線形アクセスを提供するように制御され得る。この実施例では、医師１６０は、医療器具２５０を、この直接線形アクセス経路（「仮想レール」と称されることもある）に沿って、尿道２４０内に少なくとも部分的に挿入する。医療器具２５０は、スコープ１２０を受容するように構成された管腔型デバイスを備えることができ、それによって、スコープ１２０を患者１３０の解剖学的構造内に挿入するのを支援する。ロボットアーム１１２（Ｂ）を患者１３０の尿道２４０に位置合わせすることによって、及び／又は医療器具２５０を使用することによって、その領域内の敏感な解剖学的構造に対する摩擦及び／又は力が低減され得る。医療器具２５０が図２に例示されているが、いくつかの実施形態では、医療器具２５０は使用されない（例えば、スコープ１２０は、尿道２４０に直接挿入され得る）。

【0049】

医師１６０はまた、手技のために、ロボットアーム１１２（Ａ）を処置部位の近くに位置決めすることができる。例えば、ロボットアーム１１２（Ａ）は、患者１３０の切開部位及び／又は腎臓２１０の近接範囲内に配置され得る。ロボットアーム１１２（Ａ）は、処置中にスコープ１２０及び／又は針１７０の場所を追跡するのを支援するために、ＥＭ場発生器１８０に接続され得る。ロボットアーム１１２（Ａ）は、患者１３０の比較的近くに配置されているが、いくつかの実施形態では、ロボットアーム１１２（Ａ）は、他の場所に配置され、及び／又はＥＭ場発生器１８０は、台１５０に一体化されている（これにより、ロボットアーム１１２（Ａ）がドッキング配置にあることを可能にすることができる）。この実施例では、処置のこの時点で、ロボットアーム１１２（Ｃ）は、図２に示されるように、ドッキング配置のままである。しかしながら、ロボットアーム１１２（Ｃ）は、いくつかの実施形態では、ロボットアーム１１２（Ａ）及び／又は１１２（Ｃ）の上記で考察された機能のうちのいずれかを実行するために使用され得る。

【0050】

ロボットシステム１１０が適切に配置され、及び／又は医療器具２５０が尿道２４０に少なくとも部分的に挿入されると、図３に示されるように、スコープ１２０は、ロボット的に、手動で、又はそれらの組み合わせで患者１３０に挿入され得る。例えば、医師１６０は、スコープ１２０を、ロボットアーム１１２（Ｃ）に接続し、及び／又はスコープ１２０を、医療器具２５０及び／又は患者１３０内に少なくとも部分的に配置し得る。スコープ１２０は、手技前又は手技中（例えば、ロボットシステム１１０を位置決めした後）などの任意の時点でロボットアーム１１２（Ｃ）に接続され得る。次いで、医師１６０は、スコープ１２０を患者１３０内でナビゲートするために、Ｉ／Ｏデバイス（複数の場合もある）１４６等の制御システム１４０と対話し得る。例えば、医師１６０は、尿道２４０、膀胱２３０、尿管２２０（Ａ）を通って、腎臓２１０（Ａ）までスコープ１２０をナビゲートするために、Ｉ／Ｏデバイス（複数の場合もある）１４６を介して入力を提供して、ロボットアーム１１２（Ｃ）を制御し得る。

【0051】

示されるように、制御システム１４０は、医師１６０がスコープ１２０を制御するのを支援するために、ディスプレイ（複数の場合もある）１４２を介して、図３の器具－位置合わせインターフェース３１０等の、スコープ１２０によって取り込まれたリアルタイム画像３１２を視認するための器具－位置合わせインターフェース３１０を提示することができる。医師１６０は、画像３１２に描写されるように、腎石２１８を位置させるためにスコープ１２０をナビゲートすることができる。いくつかの実施形態では、制御システム１４０は、位置特定技法を使用してスコープ１２０の配置及び／又は配向を決定することができ、これは、ディスプレイ（複数の場合もある）１４２（図３のディスプレイ（複数の場合もある）１４２上に例示せず）を通して医師１６０によって視認され、スコープ１２０を制御するのを支援することもできる。更に、いくつかの実施形態では、スコープ１２０の制御時に医師１６０を支援するために、患者１３０の内部解剖学的構造のＸ線画像等、他のタイプの情報がディスプレイ（複数の場合もある）１４２を通して提示され得る。

【0052】

腎石２１８の位置を特定すると、医師１６０は、腎石２１８の最終的な摘出のために、針１７０が腎臓２１０（Ａ）に進入する位置を識別することができる。例えば、出血を最小限に抑え、及び／又は腎臓２１０（Ａ）の血管若しくは他の望ましくない解剖学的構造及び／又は腎臓２１０（Ａ）を囲む解剖学的構造に当たることを回避するために、医師１６０は、針１７０を腎杯の軸と位置合わせすることを求めることができる（例えば、腎杯の中心を通って真正面から腎杯に到達することを求めることができる）。そうするために、医師１６０は、乳頭を標的場所として識別することができる。この実施例では、医師１６０は、スコープ１２０を使用して、腎石２１８の近くにある乳頭２１４の位置を特定し、その乳頭２１４を標的場所として指定する。乳頭２１４を標的場所として指定するいくつかの実施形態では、医師により、医療システムが乳頭にタグ付けすることができる。乳頭をタグ付けすることにおいて、医師１６０は、乳頭２１４に接触するようにスコープ１２０をナビゲートし、タグ付けを示唆するためにＵＩ入力をシステムに提供することはでき、制御システム１４０は、位置特定技法を使用して、スコープ１２０の位置（例えば、スコープ１２０の端部の位置）を決定することができ、制御システム１４０は、スコープ１２０の位置と標的場所とを関連付けることができる。追加的又は代替的に、医師１６０は、乳頭２１４まで特定の距離内にある（例えば、乳頭２１４の前に停止する）ようにスコープ１２０をナビゲートし、標的場所がスコープ１２０の視野内にあることを示唆する入力を提供し得る。制御システム１４０は、標的場所の位置を決定するために、画像分析及び／又は他の位置特定技法を実行し得る。更に他の実施形態では、スコープ１２０は、標的場所として乳頭２１４をマーク付けするための基準点を送達し得る。

【0053】

図４に示されるように、医師１６０は、標的場所への挿入のために針１７０を配置することによって、処置を進めることができる。いくつかの実施形態では、医師１６０は、患者１３０の解剖学的構造に関する知識、以前に処置を実行した経験、ＣＴ／Ｘ線画像の分析、又は患者１３０の他の術前情報などに基づいて、自分の最良の判断を使用して、切開部位で患者１３０に針１７０を配置することができる。更に、いくつかの実施形態では、制御システム１４０は、針１７０を患者１３０に位置決めするための位置に関する情報を提供し得る。医師１６０は、結腸、傍脊椎筋、肋骨、肋間神経、肺、胸膜等の患者１３０の重要な解剖学的構造を回避しようと試みることができる。いくつかの実施例では、制御システム１４０は、ＣＴ／Ｘ線／超音波画像を使用して、針１７０を患者１３０に位置決めするための位置に関する情報を提供し得る。

【0054】

いずれの場合も、制御システム１４０は、医師１６０が標的場所（すなわち、乳頭２１４）に到達するのを支援するために、針１７０を挿入するための標的軌道４０２を決定することができる。標的軌道４０２は、標的場所にアクセスするための所望の経路を表すことができる。標的軌道４０２は、医療器具（例えば、針１７０、スコープ１２０等）の配置、人体解剖学的構造内の標的場所、患者の配置及び／又は配向、患者の解剖学的構造（例えば、標的場所に対する患者内の臓器の位置）等に基づいて決定することができる。この実施例では、標的軌道４０２は、乳頭２１４及び針１７０を通過する（例えば、乳頭２１４の軸上の点等、針１７０の先端から乳頭２１４を通って延在する）直線を含む。しかしながら、標的軌道４０２は、曲線等の他の形態をとることができ、及び／又は別様に定義することができる。いくつかの実施例では、針１７０は、針１７０が真直ぐに挿入されるときに湾曲するように構成されている可撓性斜角先端針として実装される。かかる針は、肋骨又は他の解剖学的構造などの特定の解剖学的構造の周囲を操縦するために使用され得る。ここで、制御システム１４０は、針軌道における逸脱を補償するため、又はユーザを標的軌道に維持するためなど、ユーザを誘導するための情報を提供することができる。

【0055】

図４の例は乳頭２１４を通って同軸に延在する標的軌道４０２を例示するが、標的軌道４０２は、別の配置、角度、及び／又は形態を有し得る。例えば、標的軌道は、図４に示す腎石２１８の下に位置する乳頭を通る等下部極アクセス点と共に実装され、乳頭を通る非同軸角度を有することができ、これは、股関節を回避するために使用され得る。

【0056】

制御システム１４０は、器具－位置合わせインターフェース３１０を介して位置合わせ－進行視覚化４０４を提供するために標的軌道４０２を使用することができる。例えば、位置合わせ－進行視覚化４０４は、標的軌道４０２に対する針１７０の配向を示唆する器具位置合わせ要素４０６を含むことができる。医師１６０は、位置合わせ－進行視覚化４０４を視認して、針１７０を適切な配向（すなわち、標的軌道４０２）に向けることができる。位置合わせされると、医師１６０は、針１７０を患者１３０に挿入して標的場所に到達させることができる。位置合わせ－進行視覚化４０４は、針１７０の標的場所への近接を示唆する進行視覚化４０８（「進行バー４０８」とも称される）を提供することができる。そのため、器具－位置合わせインターフェース３１０は、医師１６０が、針１７０を位置合わせ及び／又は挿入して標的場所に到達させるのを支援することができる。

【0057】

標的場所に針１７０が到達すると、医師１６０は、パワーカテーテル、バキューム、腎孟尿管鏡などの別の医療器具を、針１７０によって作り出された経路に及び／又は針１７０を通して挿入することができる。医師１６０は、他の医療器具及び／又はスコープ１２０を使用して、腎臓２１０（Ａ）から腎石２１８の破片を断片化して除去することができる。

【0058】

いくつかの実施形態では、医療器具の位置は、点／点セットで表され得、及び／又は医療器具の向きは、軸／平面に対する角度／オフセットとして表され得る。例えば、医療器具の位置は、座標系内の点／点セットの座標（例えば、１つ以上のＸ、Ｙ、Ｚ座標）で表され得、及び／又は医療器具の向きは、座標系の軸／平面に対する角度（例えば、Ｘ軸／平面、Ｙ軸／平面、及び／又はＺ軸／平面に対する角度）で表され得る。ここで、医療器具の向きの変化は、軸／平面に対する医療器具の角度の変化に対応することができる。更に、いくつかの実施形態では、医療器具の向きは、ヨー、ピッチ、及び／又はロール情報で表される。他の実施形態では、医療器具の配向は四元数表現で表される。四元数表現は、ヨー、ピッチ、及びロールに基づく表現中に存在する特異点を回避し得ることを理解されたい。

【0059】

いくつかの実施形態では、軌道は、姿勢を指す。例えば、医療器具の軌道は、医療器具の位置及び向きの両方を含む／示唆する、医療器具の姿勢を指すことができる。同様に、標的軌道は、所望の経路の位置及び向きの両方を含む／示唆する標的姿勢を指すことができる。しかしながら、他の実施形態では、軌道は、向き又は位置のいずれかを指す。

【0060】

ロボットシステム１１０の特定のロボットアームは、図２～図４の文脈において特定の機能を実行するものとして例示されている（及び／又は本明細書に説明される）が、ロボットアーム１１２のうちのいずれかを使用してそれらの機能を実行し得る。更に、任意の追加のロボットアーム及び／又はシステムを使用して、手技を実行することができる。更に、ロボットシステム１１０を使用して、手技の他の部分を実行することができる。例えば、ロボットシステム１１０は、針を患者１３０に位置合わせ及び／又は挿入するように制御することができる。例示するために、ロボットアーム１１２のうちの１つは、針１７０と係合し、及び／又は針１７０を制御して、針１７０を適切な場所に位置決めし、針１７０を標的軌道と位置合わせし、及び／又は針１７０を標的場所に挿入することができる。制御システム１４０は、位置特定技術を使用して、かかる処理を実行することができる。そのため、いくつかの実施形態では、経皮的処置は、完全に又は部分的に医療システム１００を用いて（例えば、医師１６０の助けを借りて又はそれを伴わずに）実行され得る。

【0061】

図２～図４に関する上記の説明において実証されているように、経皮医療処置は、いくつかの段階を有し得る。本開示によって企図される実施形態の考察を簡略化するために、４つの例示的な段階がここで提供される。しかしながら、他の実施形態は、より多くの、より少ない、又は更に異なる段階を有することができ、以下の段階は、限定ではなく単に例示として提供されることを理解されたい。

【0062】

標的選択：この段階は、腎臓内に標的を設定するために実行される活動を含むことができる。例えば、上述のように、尿管鏡は、標的腎杯に駆動され、乳頭にタグを付け、乳頭から離れた距離に停止され、ライブ標的を設定するために「設定」することができる。

【0063】

部位選択：この段階は、ユーザが標的を選択したときから、ユーザが腎臓に向かって皮膚を穿刺する意図で患者の皮膚上の固有の位置に針先端を配置する瞬間までの活動を含むことができる。

【0064】

針挿入：この段階は、ユーザが針を患者に挿入し、針を更に押す意図なく停止する期間を含む。針挿入中に、ユーザは、皮膚を穿刺し、針を皮膚から標的に向かって挿入することができる。この試みは、第１の針挿入と称され得る。ユーザが標的を見逃した場合、医療システムは、ユーザに、針を後退させ（いくつかの実施形態では、針を身体の内側に保ちながら）、別の針挿入（例えば、二次針挿入）を試みるように命令してもよい。第１の針挿入の試みと二次挿入の試みとの間に区別があるとしても、いくつかの実施形態は、それらを同じものとして扱ってもよく、一方、他の実施形態は、それらを異なる試みとして扱ってもよい。

【0065】

挿入後：この段階は、連続する／順次の針挿入段階が存在する場合、それらの間の活動と、最後の針挿入から経皮的処置の終了までの持続時間とを包含する。

【0066】

例示的なセグメント化
図５は、１つ以上の実施形態による、本明細書で考察される技法を実装するように構成された分析エンジン５００を例示するブロック図である。上で考察したように、分析エンジン５００は、手術中又は手術後にケースログ５０２を受信及び処理することができる。術中にケースログを受信及び処理する実施形態では、分析エンジン５００は、図１に示される制御システム１４０の分析エンジン１４１Ａ等の医療システムの制御システムの構成要素であってもよい。術後にケースログを受信及び処理する実施形態では、分析エンジン５００は、図１に示されるクラウドベースのデータ分析プラットフォーム１４９の分析エンジン１４１Ｂ等の医療システム（又は複数の医療システム）に接続されたクラウドベースのデータ分析プラットフォームの構成要素であってもよい。

【0067】

図５が示すように、分析エンジン５００は、ケースログ５０２を受信し得る。前述したように、ケースログは、医療処置が実行される際の医療システムの動作中に医療システムが収集し、そうでなければ記憶するランタイムデータを含むことができる。図５が示すように、ケースログ５０２は、ロボット遠隔測定データ５１０、器具遠隔測定データ５１２、ビデオデータ５１４、デバイスステータスデータ５１６、及びＩ／Ｏデータ５１８を含み得る。ロボット遠隔測定データ５１０は、ロボットアーム関節及びアクチュエータを含むロボットシステムの様々な姿勢、移動、及び作動を表す時系列データであってもよい。ロボットシステムのそのような姿勢、移動、作動は、ロボットアームの姿勢だけでなく、器具の既知の特性を用いて、ロボット制御内視鏡等のロボットシステムによって取り付けられ、別様に制御される器具の姿勢も推定することができる、システムの運動学モデルの一部であってもよいことを理解されたい。

【0068】

器具遠隔測定データ５１２は、センサデータに基づく器具の配置を表す時系列データを含む。例えば、上で考察したように、経皮針は、システムがＥＭ空間内の針の位置を記録及び決定することを可能にするＥＭセンサを備えてもよい。システムは、このＥＭ空間データを記録して、針の位置を経時的に追跡することができる。器具遠隔測定データ５１２は、医療器具に埋め込まれた、形状感知ファイバ、加速度計、ジャイロスコープ、衛星ベースの測位センサ（例えば、全地球測位システム（ＧＰＳ））、無線周波数トランシーバ等、ＥＭデータ以外のセンサデータを含み得ることを理解されたい。

【0069】

器具遠隔測定データ５１２はまた、スコープの配置を表す時系列データを含み得る。例えば、上で考察したように、スコープ器具は、システムがＥＭ空間内のスコープ器具の位置を記録及び決定することを可能にするＥＭセンサを備えることができる。システムは、スコープ器具の位置を経時的に追跡するために、このＥＭ空間データを記録し得る。器具遠隔測定データ５１２は、医療器具に埋め込まれた、形状感知ファイバ、加速度計、ジャイロスコープ、衛星ベースの測位センサ（例えば、全地球測位システム（ＧＰＳ））、無線周波数トランシーバ等、ＥＭデータ以外のセンサデータを含み得ることを理解されたい。

【0070】

ビデオデータ５１４は、内視鏡器具の端部のカメラによって取り込まれたライブビデオデータを表すデータであってもよい。いくつかの実施形態では、手術室及び／又はロボットシステムは、患者の外部の撮像デバイスを装備してもよく、ビデオデータ５１４は、同様に、このタイプのビデオデータを含んでもよい。

【0071】

デバイスステータスデータ５１６は、とりわけ、医療システムの構成要素のステータス、医療システムに接続された器具のステータス、医療システムによってユーザに示されるユーザインターフェースメニューページ、及び任意の他の適切なデバイスステータスを表す時系列データを含んでもよい。例として、医療システム１００は、ロボットシステムに取り付けられた医療器具上のＲＦＩＤタグを読み取ることができる無線周波数識別（「ＲＦＩＤ」）リーダを含むことができる。デバイスステータスデータ５１６は、それらのＲＦＩＤタグによって取得されるような、医療器具に関連付けられたインジケータを含み得る。また更に、医療器具がＥＭセンサを備えるいくつかの実施形態では、デバイスステータスデータ５１６は、医療器具がＥＭシステムに接続されているかどうか、及び医療器具がＥＭシステムのＥＭ場発生器のＥＭ場内にあるかどうかを示唆するデータを含むことができる。デバイスステータスデータ５１６は、ロボットの状態を更に含み得る。例えば、ロボットは、スコープ駆動状態、バスケット状態、レーザ状態等にあることができる。このロボット状態は、器具接続ステータス、及びどのＵＩページがユーザに表示されているか（例えば、Ｉ／Ｏデータ５１８のデータにおいて識別され得る）から導出される。

【0072】

Ｉ／Ｏデータ５１８は、とりわけ、医療システムのＩ／Ｏデバイスによって送信されるコマンドを表す時系列データを含むことができる。例えば、Ｉ／Ｏデータ５１８は、器具駆動コマンド（例えば、挿入／後退）又は関節運動コマンド（例えば、左への関節運動、右への関節運動、上への関節運動、下への関節運動、ロールスコープ）を表すデータを含んでもよい。いくつかの実施形態では、Ｉ／Ｏデータ５１８は、乳頭にタグ付けし、スコープを停止させる等、経皮的処置におけるイベントを表し得る追加のＩ／Ｏコマンドを含んでもよい。これらのイベントは、医療デバイスシステムによって現在表示されているＵＩページに基づいて決定され得る。Ｉ／Ｏデータ５１８は、追加的又は代替的に、経皮的アクセスインターフェース１４４によって表示されるＵＩとのユーザの対話を表すデータを含んでもよい。

【0073】

本明細書で使用されるように、時系列データは、経時的に追跡され、監視され、ダウンサンプリングされ、又は集約される測定値又はイベントを含み得ることを理解されたい。場合によっては、上記で説明した時系列データは、（例えば、センサ又はイベントロガーのサンプルレートに基づく）何らかの決定可能な周波数に従うセンサからのデータのストリームであり得る。それらの場合、時間は、何らかの既知の時間及びストリーム内のセンサデータの配置に基づいて導出され得る。他の場合には、時系列データは、システムから生成されたイベントを含むことができる。それらの場合、イベントは、イベントが発生した時間及び可能な持続時間を識別するタイムスタンプ（又はタイムスタンプの範囲）を含み得る。いくつかの実施形態では、イベントの持続時間は、次のタイムスタンプイベントの発生に基づいて推測され得る。他の場合には、イベントは、ストリーム内で現在トリガされているイベントのストリームとして表されてもよく、タイミングは、イベントのストリーム内のイベントの既知の時間及び配置から推測されてもよい。

【0074】

図５は、特徴抽出器モジュール５２０がケースログ５０２を受信することを示す。特徴抽出器モジュール５２０は、ケースログ５０２を分析し、１つ以上のケースログ特徴５３０のセットを出力するモジュールである。異なる例示的なケースログ特徴が以下でより詳細に考察されるが、ケースログ特徴は、ワールドフレーム（例えば、ロボットシステムの座標フレーム）内のスコープ配置、ワールドフレーム内の針配置、ワールドフレーム内の標的配置、構成要素（例えば、針、スコープ、標的等）間の距離、構成要素（例えば、針、スコープ、標的等）間の配向等に関連する特徴を含むことができる。

【0075】

段階セグメント化モジュール５４０は、ケースログ特徴５３０を受信し、セグメント化された処置データ５５０として示される、医療処置が決定可能な段階内にあるかどうかについての時系列クラス予測を生成する。経皮的アクセスの場合、段階セグメント化モジュール５４０は、クラスＡが「針挿入段階」を表し、クラスＢが「他の段階」を表す二項分類を出力することができる。他の実施形態では、段階セグメント化モジュール５４０は、クラスＡが「針挿入段階」を表し、クラスＢが「標的選択段階」を表し、クラスＣが「部位選択段階」を表し、クラスＤが「針挿入後段階」を表すマルチクラス分類を出力することができる。これらの分類は単なる例であり、いくつかの実施形態は、医療処置に応じて、より多くの、より少ない、又は異なる分類を有し得ることを理解されたい。

【0076】

段階セグメント化モジュール５４０は、隠れマルコフモデル（ＨＭＭ）、長期短期記憶ネットワーク、及び畳み込みニューラルネットワーク（「ＣＮＮ」又は単数形の「ＣＮＮ」）等のディープラーニングベースの方法を含むがこれらに限定されない任意の適切な機械学習方法に基づいて医療処置の段階を推定することができる。場合によっては、追加的又は代替的に、段階推定に対する工学的手法が機械学習方法と共に使用されてもよい。例えば、工学的手法は、条件付き論理を使用して、医療処置が「針挿入段階」にあるかどうかを決定することができる。これについては、以下で更に詳細に説明される。

【0077】

図５が示すように、システムによって処理されるデータは、データが左から右に移動するにつれて、データサイズに関して低減し得る。例えば、ケースログ５０２は、ケースログ特徴５３０の抽出された特徴データよりもデータ量が比較的大きい。なぜなら、特徴抽出器モジュール５２０が、ケースログからのデータを、段階セグメント化に対して影響力のある特徴に絞り込むからである。これを達成するために、特徴抽出器モジュールは、ケースログからの複数のデータ値を組み合わせて１つの値を生成してもよく、又はセグメント化アルゴリズムにおいて有用でないデータを選択的にフィルタ除去してもよい。データサイズを更に低減すると、ケースログ特徴５３０の抽出された特徴データは、セグメント化された処置データ５５０よりもデータ量が比較的大きい。なぜなら、セグメント化された処置データ５５０は、潜在的に多くの経時的特徴を経時的な分類に低減するからである。データセットを削減し、データがセグメント化アルゴリズムに関連し、適していることを確実にすることによって、本明細書に説明されるシステム及び方法は、計算効率が高いセグメント化解決策を提供する。更に、本開示は、主に経皮医療処置を対象とするが、より大きな臨床的有用性を有し、様々な処置に適合させることができる。したがって、関心のあるそれぞれの医療処置に関してデータをフィルタリングすることができ、医療処置のデータ分野全体を見ることに伴う計算オーバーヘッドを回避することができる。

【0078】

例示的なケースログ特徴
図５を参照して上で考察したように、段階セグメント化モジュール５４０は、段階に基づいて医療処置をセグメント化するために、いくつかのケースログ特徴を受信することができる。限定ではなく例として、段階セグメント化モジュールが受信し得る例示的なケースログ特徴は、以下を含む。

【0079】

針配置：経時的なワールドフレームにおける三次元針配置（例えば、針１７０）を定義する時系列データ。本明細書で使用される場合、ワールドフレームは、患者の身体に結び付けられていない座標系によって定義される基準フレームを指すことがある。そのようなワールドフレームは、針追跡のそのようなシステムが使用される場合、ＥＭ場発生器によって定義され得る。追加的又は代替的に、針の配置を追跡するために形状検知ファイバが使用される場合、ワールドフレームは、典型的には既知の配置から、そのシステムで使用される座標系によって定義される。したがって、医療システム１００は、針器具１７０に取り付けられた配置センサから受信したセンサデータに基づいて、ケースログ内の針の現在配置を繰り返し記録することができる。

【0080】

針配向：針１７０の配向を定義する時系列データは、オイラー角又は四元数で表され得るか、又は別様に測定され得る。針配置と同様に、この特徴は、ワールドフレームに対して測定され得る。同様に、医療システム１００は、針器具１７０に取り付けられた配置センサによって生成されたセンサデータに基づいてケースログ内の針の現在の配向を繰り返し記録し、これらのセンサデータを使用してこの特徴を生成することができる。

【0081】

スコープ配置：ワールドフレームにおけるスコープ１２０の三次元配置を定義する時系列データ。上で考察したように、スコープはＥＭセンサを含んでもよく、そのような実施形態では、医療システム１００は、スコープ１２０に対応するＥＭセンサの現在の読み取り値をケースログに繰り返し記録してもよい。追加的に又は代替的に、スコープ１２０が他のタイプの位置センサを含む実施形態では、それらの位置センサ（例えば、形状感知ファイバ、加速度計、ジャイロスコープ等）からの現在の読み取り値は、記録され、この特徴を生成するために使用されてもよい。

【0082】

スコープ配向：スコープ１２０の配向測定値を定義する時系列データは、オイラー角又は四元数として測定されるか、又は別様に表され得る。この特徴は、ワールドフレームに対して測定されてもよく、ＥＭセンサ又は形状感知ファイバ等のスコープ１２０上の位置センサから導出されてもよい。

【0083】

標的配置：ワールドフレーム内の三次元標的配置を定義する時系列データ。上で考察したように、標的配置は、標的選択段階中に医療システムによって確立されたユーザ開始位置であってもよい。例えば、医療システム１００は、ユーザが乳頭にタグ付けし、スコープを乳頭から或る距離だけ離して停止させた後に生じ得るような、ユーザからの「設定」コマンドの受信に応答して、三次元ＥＭ空間内の標的配置を設定し得る。「標的配置」特徴は、ユーザコマンドと、ユーザコマンドが受信されたときのスコープの配置とを含むので、実施形態は、ユーザが標的を設定したことを示唆するＩ／Ｏイベントが受信されたときのスコープの配置（スコープから受信されたセンサデータから決定され得る）に応答してターゲット配置を生成し得る。

【0084】

標的配向：標的の配向測定値を定義する時系列データは、オイラー角又は四元数で測定されるか、又は別様に表され得る。この特徴は、ワールドフレームに対して測定することができ、上で考察したように、標的選択段階中に記録されたユーザ開始配置から導出することができる。更に、「標的配向」特徴は、ユーザが標的を設定したことを示唆するＩ／Ｏイベントが受信されたときに、実施形態が、（スコープから受信されたセンサデータから決定され得る）スコープの配向に応答して標的配向を生成し得るという点で、「標的配置」特徴と同様に導出され得る。

【0085】

針位置合わせ誤差：標的と、ユーザが経皮医療処置を実行するのを支援するために生成される位置合わせの表現との間の距離を表す時系列データ。いくつかの実施形態では、この距離はまた、「ブルズアイ」又は標的配置を伴う物理平面上の表現として、図４の器具位置合わせ要素４０６を介して表示される。

【0086】

相対的針スコープ進行方向：針１７０とスコープ１２０との間の角度の比較を表す時系列データ。この特徴は、針の配向を表すベクトルとスコープの配向を表すベクトルとの間の角度を決定することに基づいて導出され得る。

【0087】

標的までの距離：針１７０と標的との間の距離の測定値を表す時系列データ。いくつかの実施形態では、この特徴は、針の配置と標的との間の距離に基づいて導出されてもよい。

【0088】

標的平面までの距離：針１７０の配置から、標的場所を表す平面若しくは点、又は標的を通る平面までの距離の測定値を表す時系列データ。

【0089】

相対的針スコープ３ｄ距離：針の座標フレームに対するスコープ１２０の位置の測定値を表す時系列データ。

【0090】

位置合わせ誤差：スコープ１２０と針１７０とを結ぶベクトルから針の現在のベクトルまでの角度偏差を表す時系列データ。

【0091】

スコープ線形本体速度：スコープ内の配置センサによって測定され得るか、又は別様にスコープ内の配置センサによって感知されたデータから導出され得る、スコープ１２０の線形本体速度を表す時系列データ。

【0092】

スコープ角度本体速度：スコープ内の配置センサによって測定され得るか、又は別様にスコープ内の配置センサによって感知されたデータから導出され得る、スコープ１２０の角度本体速度を表す時系列データ。

【0093】

スコープ絶対速度：スコープ内の配置センサによって測定され得るか、又は別様にスコープ内の配置センサによって感知されたデータから導出され得る、スコープ１２０の絶対本体速度を表す時系列データ。いくつかの実施形態では、スコープ絶対速度特徴は、スコープ線形本体速度の基準であってもよい。

【0094】

針線形本体速度：針内の配置センサによって測定され得るか、又は別様に針内の配置センサによって感知されたデータから導出され得る、針１７０の線形本体速度を表す時系列データ。

【0095】

針角度本体速度：針内の配置センサによって測定され得るか、又は別様に針内の配置センサによって感知されたデータから導出され得る、針１７０の角度本体速度を表す時系列データ。

【0096】

針絶対速度：針１７０内の配置センサによって測定され得るか、又は別様に針１７０内の配置センサによって感知されたデータから導出され得る、針１７０の絶対本体速度を表す時系列データ。いくつかの実施形態では、針絶対速度特徴は、針線形本体速度の基準であってもよい。

【0097】

例示的な分類
上で考察したように、いくつかの実施形態は、ケースログから導出されたデータ（例えば、特徴）を使用して、処置段階に従って医療処置をセグメント化することができる。この文脈におけるセグメント化は、時系列データ（例えば、ケースログから導出されたデータ）が、時系列データが属する対応する医療処置段階で分類される分類問題として解決され得る。次に、分類の様々な態様について、図６Ａ～図６Ｄを参照しながら考察する。図６Ａは、図５に示される段階セグメント化モジュール５４０において実装され得る、ケースログから導出された時系列データを分類するための多対１段階セグメント化モジュール６００Ａを例示するブロック図である。

【0098】

図６Ａが示すように、多対１段階セグメント化モジュール６００Ａは、入力時系列６１０を受信することができる。入力時系列６１０は、ケースログ特徴であってもよい。ケースログ特徴は、図５を参照してより詳細に考察されるが、限定ではなく、ロボット遠隔測定データ、器具遠隔測定データ、ビデオデータ、デバイスステータスデータ、Ｉ／Ｏデータ等から導出されるデータを含んでもよい。図６Ａに示すように、多対１段階セグメント化モジュール６００Ａは、入力時系列６１０データをウィンドウ化されたセグメント６１２に分割することができ、ウィンドウ化されたセグメント６１２は、次いで、モデル評価ブロック６１４に入力される。モデル評価ブロック６１４では、各ウィンドウ化されたセグメントごとに、１つ以上のモデル評価が存在する。次に、各モデル評価は、対応する段階セグメントに対する出力予測を生成する。

【0099】

多対１段階セグメント化モジュール６００Ａは、比較的小さいウィンドウ特徴セグメントに対して段階セグメント化を提供することができ、医療処置を特徴付けるデータの完全なセットを必ずしも必要としない場合があることを理解されたい。したがって、図６Ａに示されるような多対１段階セグメント化手法は、リアルタイム又はほぼリアルタイムの段階検出（例えば、術中段階検出）のために使用され得る。更に、術中適用可能性を考慮すると、ローカル分析エンジン（例えば、図１のローカル分析エンジン１４１Ａ）は、図６Ａに示す多対１段階セグメント化モジュール６００Ａと同様の多対１セグメント化モジュールを利用してもよいことを理解されたい。

【0100】

いくつかの実施形態では、多対１段階セグメント化は、ほぼリアルタイムであるが、そのような手法がウィンドウ特徴セグメントによって遅延されるので、リアルタイムではない場合があることを理解されたい。多対１段階セグメント化手法をリアルタイムに行うために他の実施形態によって使用され得る１つの手法は、時系列予測モジュールを使用することである。時系列予測は、ウィンドウ特徴セグメントを取り込み、次のウィンドウ特徴セグメントを予測する。時系列予測モジュールは、次のウィンドウ特徴セグメントを予測するように訓練された時系列予測ネットワークを含むことができる。多対１段階セグメント化の実行中に、特徴は、特徴の次のウィンドウを予測するために時系列予測ネットワークに供給される。時系列予測ネットワークの出力は、次に、多対１段階セグメント化の時系列分類に供給されて、そのウィンドウ特徴セグメントに対する処置の段階を予測する。

【0101】

図６Ｂは、図５を参照して説明された段階セグメント化モジュール５４０において実装され得る、ケースログ内の時系列データを分類するための多対多段階セグメント化モジュール６００Ｂを例示するブロック図である。

【0102】

図６Ｂが示すように、多対多段階セグメント化モジュール６００Ｂは、時系列データ６２０を受信することができる。時系列データ６２０は、ケースログから導出された特徴であってもよい。ケースログ特徴は、図５を参照して上記でより詳細に考察されるが、限定ではないが、ロボット遠隔測定データ、器具遠隔測定データ、ビデオデータ、デバイスステータスデータ、及びＩ／Ｏデータ等から導出されるデータを含んでもよい。図６Ｂに示されるように、多対多段階セグメント化モジュール６００Ｂは、入力時系列６２０を、図６Ａに示される多対１段階セグメント化モジュール６００Ａに対して比較的長いウィンドウ化された特徴セグメント６２２に分割することができ、それらは次にモデル評価ブロック６２１に入力される。モデル評価ブロック６２１では、対応する特徴セグメントに対して、少数の（又は比較的少数の）モデル評価、及び多数の（又は比較的多数の）出力予測６２６が存在する。

【0103】

多対多段階セグメント化モジュール６００Ｂは、単一モデル評価で動作することができ、任意の長さの時系列データに適用することができることを理解されたい。したがって、多対多段階セグメント化モジュール６００Ｂは、多対多段階セグメント化モジュール６００Ｂが多対１段階セグメント化モジュール６００Ａと比較してよりロバストであり得ることを考慮すると、術後分析に有用であり得る。術後に使用されるとき、多対多段階セグメント化モジュール６００Ｂによって使用されるトレーニングセットは、潜在的に複数の医療システムを介して、複数の以前の処置から取得されたデータを含むことができ、このトレーニングセットは経時的に構築され得る。図１を一時的に参照して例示すると、クラウドベースのデータ分析プラットフォーム１４９は、図６Ｂに示す多対多段階セグメント化モジュール６００Ｂと同様の多対多セグメント化モジュールを利用することができる。クラウドベースのデータ分析プラットフォーム１４９によって使用されるモデル評価は、追加の医療システム１０３から取得された（又は追加の医療システム１０３から取得されたデータから導出された）データを使用して訓練され得る。

【0104】

図６Ｃは、セグメンテーションモジュール（例えば、多対１段階セグメント化モジュール６００Ａ又は多対多段階セグメント化モジュール６００Ｂ）が組み込むことができる二項分類手法を示す図である。示されるように、ケースログ特徴から導出された時系列データに基づいて、セグメント化モジュールは、時系列ラベルの形態で医療処置段階分類を生成し得る。医療処置段階分類は、予測された段階が針挿入段階（例えば、分類６６０Ａ及び６６０Ｂ）であるか否か（例えば、分類６８０Ａ、６８０Ｂ、６８０Ｃ）を識別する二項分類であってもよい。いくつかの実施形態では、セグメント化モジュールは、次いで、より高いレベルの決定処理を実行して、「針挿入」段階ではない他の分類（例えば、分類６８０Ａ、６８０Ｂ、６８０Ｃ）を明らかにすることができる。この手法は、Ｕ－Ｎｅｔ等の完全畳み込みニューラルネットワークにおいて有用であり得る。

【0105】

二項分類を使用するのではなく、セグメント化モジュール（例えば、多対１段階セグメント化モジュール６００Ａ又は多対多段階セグメント化モジュール６００Ｂ）のいくつかの実施形態は、マルチクラス分類アーキテクチャを使用してもよい。例えば、実施形態は、医療処置段階を針挿入又は非挿入として単に分類するのではなく、時系列データを更に分類して、標的選択、部位選択、針挿入後等のうちの１つ以上を更に含むことができる。図６Ｄは、複数の分類を有するセグメント化モジュールの出力６００Ｄを示す図である。更に、出力６００Ｄは、スライドセグメント化ウィンドウ６９２Ａ～Ｅが存在する多対多分類の文脈で示されている。ここで、スライドセグメント化ウィンドウ６９２Ａ～Ｅの各々は、セグメント化特徴６９４における異なる期間に対応する。更に、スライドセグメント化ウィンドウは、隣接するスライドセグメント化ウィンドウと時間的に重複することがある。例えば、スライドセグメント化ウィンドウ６９２Ｂは、スライドセグメント化ウィンドウ６９２Ａに関連付けられた期間と重複する期間、及びスライドセグメント化ウィンドウ６９２Ｃに関連付けられた期間と重複する期間に対応し得る。場合によっては、５０％の重複が存在するが、この重複は、用途及びモデルを訓練するために使用されるデータセットのサイズに応じて異なり得る。例えば、他の重複は、十分な訓練データが与えられると、２５％以下の重複を含み得る。ウィンドウ長さも特定用途向けであり、本開示は、それ自体を任意の特定のウィンドウ長さに限定しないことを理解されたい。経皮医療処置の文脈において、本開示は、３～１０秒のウィンドウ長さがこれらの処置において有用であると特定した。

【0106】

次いで、スライドセグメント化ウィンドウ６９２Ａ～Ｅは、医療処置段階分類６１６を生成するために（例えば、モデル評価ブロック６１４の１つ以上の評価によって）使用される。

【0107】

図６Ｄは、並列ＣＮＮ長期短期記憶（「ＬＳＴＭ」）によって使用される手法を表し得る。並列ＣＮＮ－ＬＳＴＭは、ＣＮＮ層及びアテンションＬＳＴＭ層を並列に使用することができる。これは、ＣＮＮが特徴を符号化するために使用され、ＬＳＴＭ層が経時的な特徴の長期依存性をモデル化するために使用される、一般的なシリアルＣＮＮ ＬＳＴＭアーキテクチャとは対照的である。並列ＣＮＮ－ＬＳＴＭは、図６Ａを参照して説明したように、多対１アーキテクチャで使用することができる。

【0108】

例示的なセグメント化方法
図７は、例示的な実施形態による、１つ以上の決定可能な段階に基づいて経皮医療処置をセグメント化する方法７００を示すフローチャートである。方法７００の説明を容易にするために、方法７００の動作は、図１に示される分析エンジン１４１Ａに関連して説明される。しかしながら、方法７００は、本明細書で考察される構成要素のいずれかによって、単独で、又は組み合わせて実行され得ることを理解されたい。

【0109】

方法７００の説明を始めるために、動作７１０において、分析エンジン１４１Ａは、第１の期間にわたる特徴の第１のセットを取得し得る。特徴の第１のセットは、管腔内スコープ（例えば、スコープ１２０）に対応する器具遠隔測定データから少なくとも部分的に導出されてもよい。図１～４を参照して説明されるように、スコープ器具は、尿道を通る尿路等の管腔内入口を通して患者の身体に進入する、ロボット制御式器具であってもよい。スコープ遠隔測定特徴は、経時的な（例えば、第１の期間）スコープ器具の配置、配向、移動のうちの１つ以上を特徴付ける、スコープに取り付けられたセンサ（例えば、ＥＭセンサ、形状センサファイバ等の位置センサ）から導出されたデータを含むことができる。上で考察したように、特徴抽出器モジュールは、医療処置を実行する過程にわたって医療システムによって生成されたケースログからスコープ器具遠隔測定特徴を導出することができる。スコープ遠隔測定特徴は、スコープ配置、スコープ配向、相対的針スコープ進行方向、相対的針スコープ３ｄ距離、位置合わせ誤差、スコープ線形本体速度、スコープ角度本体速度、スコープ絶対速度等を含んでもよい。これらの特徴及び他の特徴は、上でより詳細に説明されている。

【0110】

動作７２０において、分析エンジン１４１Ａは、第１の期間にわたる特徴の第２のセットを取得することができ、特徴の第２のセットは、経皮針器具から少なくとも部分的に導出される。図１～図４を参照して説明したように、針器具は、患者の脇腹の皮膚を通して等、患者の身体に経皮的に進入する器具であってもよい。針遠隔測定特徴は、経時的な（例えば、第１の期間）針器具の配置、配向、移動のうちの１つ以上を特徴付ける、針に取り付けられたセンサ（例えば、ＥＭセンサ、形状センサファイバ等の位置センサ）から導出されるデータであってもよい。上で考察したように、特徴抽出器モジュールは、医療処置を実行する過程にわたって医療システムによって生成されたケースログから、針器具の遠隔測定に関連する特徴を導出することができる。針器具遠隔測定に関連する特徴は、針配置、針配向、相対的針スコープ進行方向、相対的針スコープ３ｄ距離、標的までの距離、標的平面までの距離、位置合わせ誤差、針線形本体速度、針角度本体速度、針絶対速度等を含んでもよい。これらの特徴及び他の特徴は、上でより詳細に説明されている。

【0111】

動作７３０において、分析エンジン１４１Ａは、特徴の第１のセット及び特徴の第２のセットに基づいて、第１の期間の少なくとも一部を経皮医療処置の第１の段階として分類し得る。上で考察したように、経皮医療処置は、実施形態に応じて、針挿入、標的選択、部位選択、及び針挿入後の段階を少なくとも含むことができる。いくつかの実施形態において、分類器は、複数の段階についての分類を生成し得る。他の実施形態では、分類器は、二項分類、例えば、針挿入の有無を生成してもよく、Ｎｏｔ分類は、クラスが指定されたクラス以外の任意のクラスであってもよいことを意味する。二項分類を生成するいくつかの実施形態では、システムは、高レベル決定機構を実行して、Ｎｏｔ分類に関連付けられた期間を再分類し、それらの期間の段階を明らかにすることができる。期間の分類は、分類された段階の開始時間及び終了時間を識別することを含み得る。これは、段階が開始する時間を表すタイムスタンプを含めることによって達成され得る。分類された段階の終了を識別するために、実施形態は、分類された段階に関連付けられた持続時間、又は段階が終了する時間を表すタイムスタンプを含むことができる。また更に、いくつかの実施形態は、次の段階の開始等、推論に基づいて段階の終了を表すことができる。この推論手法では、実施形態は、段階１を時間１で始まるものとして分類し、段階２を時間２で始まるものとして分類することができる。次いで、実施形態は、段階２が開始するとき（例えば、時間２）に段階１が終了すると推測することができる。

【0112】

図示されていないが、方法７００は、追加の動作を有し得る。例えば、いくつかの実施形態では、動作７１０、７２０、及び７３０は、追加の期間に関して実行され得る。そうすることで、方法７００は、異なる期間から特徴を取得し、次いで、その期間の少なくとも一部を、経皮医療処置の段階に対応する別の（潜在的に異なる）分類で分類する。この追加の分類は、多対１手法又は多対多手法に従って実行することができる。図６Ｃ及び図６Ｄは、遠隔測定データから導出された特徴に関連付けられた期間６００Ｃ及び期間６００Ｄの分類を例示する。しかしながら、分類は、遠隔測定データ以外の他のケースログデータを使用することができ、必ずしも順次に動作するわけではないことを理解されたい。代わりに、動作の一部又は全部は、並列に、又は別様に重複して実行されてもよい。例えば、多対多手法では、全ての段階分類は、医療処置全体（又は医療処置のかなりの部分）のケースログデータに基づいて同時に出力され得る。

【0113】

図７に示されていない方法７００の追加の動作の別の例では、実施形態は、標的に関連するケースログ特徴を取得することができ、動作７３０は、標的に関連するケースログ特徴に更に基づく分類で第１の期間を更に分類する。

【0114】

例示的な段階ベースの分析
経皮的処置における段階に従ってシステムログからのデータを分類することは、いくつかの利点を有し得る。これは、単にケースログからユーザに利用可能な情報が、場発生器が使用されているときの器具の姿勢、ロボット姿勢、及びペンダントコマンドに限定され得るためである。しかしながら、この情報は、針挿入がいつ開始するか、又は標的を選択した後にユーザが何回試みたかを直接識別しない。ケースログはまた、ユーザがどの挿入部位を選択したかに関する直接的なデータを有していない。例えば、管長さ、選択された挿入部位の解剖学的位置を計算できるようにするために、システムは、針の姿勢、標的の配置、及び「いつ」針挿入が開始するかを知る必要がある。本明細書で考察される実施形態は、システムが臨床メトリックを計算することができるように、所与の時間に処置においてどの活動が行われているかを識別することができる。そのようなメトリックは、術中データとして、又は術後評価として、医師にとって使用可能なデータであり得る。更に、場合によっては、多くの医療処置にわたって取得されたメトリックに関するデータ分析は、経皮的処置の成功に影響を及ぼす重要な要因を明らかにする場合がある。

【0115】

図８は、例示的な実施形態による、経皮医療処置において臨床メトリックを生成する方法８００を示すフローチャートである。方法８００の説明を容易にするために、方法８００の動作は、図１に示される分析エンジン１４１Ａに関連して説明される。しかしながら、方法８００は、本明細書で考察される構成要素のいずれかによって、単独で、又は組み合わせて実行され得ることを理解されたい。

【0116】

方法８００の説明を始めるために、分析エンジン１４１Ａは、動作８１０において、第１の経皮的処置の１つ以上のケースログから遠隔測定データを取得する。考察されるように、遠隔測定データは、経時的な針器具のセンサ読み取り値を特徴付けることができる。動作８１０において、分析エンジンは、ロボット遠隔測定データ、器具遠隔測定データ（例えば、センサデータ）、ビデオデータ、デバイスステータスデータ、及びペンダントコマンドデータ等の追加のデータを受信し得ることを理解されたい。

【0117】

動作８２０において、分析エンジン１４１Ａは、遠隔測定データに関連付けられた第１の期間を、遠隔測定データに基づいて経皮的処置の第１の段階に分類する。動作８２０で実行される分類は、図５に示されるように、ケースログ（又は複数のケースログ）から特徴を抽出し、セグメント化モジュールを使用してそれらを評価する機械学習手法を使用する等、本明細書で考察される分類方法のいずれかを使用して実行され得る。したがって、動作８２０は、第１の期間の少なくとも一部分を分類することのみとして考察されるが、本開示は、複数の期間を分類し得る実施形態を企図することを理解されたい。更に、そのような実施形態は、第１の期間外の期間に対応するケースログデータに基づいて、第１の期間又は任意の他の期間を分類することができる。例えば、多対多手法が利用される場合、医療処置全体をカバーするケースログデータが使用されてもよく、段階の推定値が同時に出力されてもよい。

【0118】

動作８３０において、分析エンジン１４１は、第１の期間が第１の段階に関連付けられていることに応答して、第１の期間に対応する遠隔測定データから、経皮的処置における第１の段階に関連付けられた臨床メトリックを生成する。

【0119】

次に、分析エンジンによって生成することができるメトリックのタイプについて説明する。これらのメトリックは、個々の処置に対して生成されてもよく、又は多くの処置からデータを収集し、次いで、成功した処置との履歴平均又は相関メトリックを生成することによって、大域的知見を提供することができることを理解されたい。

【0120】

標的選択段階：標的腎杯の数、腎臓調査時間、極、後退距離（例えば、スコープが乳頭にタグ付けした後に後退する距離）、標的選択持続時間、乳頭からの標的オフセット、前腎杯対後腎杯、及び停止姿勢。

【0121】

部位選択段階：部位選択時間、平均管長さ、解剖学的角度（例えば、頭尾角度、前後角度）、場発生器に対する１つ以上の器具（例えば、スコープ又は針）の距離、針とスコープとの相対的角度、管長さ、及び腎杯に対する角度（測定された針軌道と腎杯の配向／進行方向との間の角度）。

【0122】

針挿入段階：成功率、針挿入精度（主方向からの針軌道の配置偏差又は角度偏差によって測定され得る）、針挿入安定性、スコープ配置／進行方向のシフト、ユーザに表示されるＵＩ要素によって測定される精度、試行回数、及び針挿入／後退速度／加速度。

【0123】

いくつかの実施形態では、動作８３０で生成された臨床メトリックに基づいて、分析エンジンは、これらのメトリックを処置の成功又は失敗への影響と相関させてもよい。これは、特に、図１に示されるクラウドベースのデータ分析プラットフォーム１４９の場合であり得る。これは、クラウドベースのデータ分析プラットフォーム１４９が、多くの異なる医療処置にわたるメトリックを取得するためである。相関に基づいて、分析エンジン（例えば、分析エンジン１４１Ａ又は分析エンジン１４１Ｂ）は、医師に知らせることができる術前ガイダンス、術中ガイダンス、又は術後ガイダンスを提供することができる。成功は、医療システムによって自動的に決定することができる。例えば、分析エンジンは、内視鏡ビデオデータを処理して、針器具を検出することができる。他の実施形態では、成功は手動又は半自動で決定することができる。例えば、手動の実施形態では、医師は、経皮的アクセス処置が成功したか否かを医療システムに入力してもよい。別の例として、半自動実施形態では、視覚アルゴリズムは、スコープカメラデータ内の針器具を検出し、成功を確認するようにユーザに要求してもよい。成功は必ずしも２値を有さなくてもよいが、針器具が入った乳頭の位置に基づく成功の程度を有することもでき、これは同様に、視覚検出によって自動的に検出されてもよく、手動で検出されてもよく、又は半自動的に検出されてもよいことを更に理解されたい。

【0124】

図９は、例示的な実施形態による、経皮医療処置の成功予測９８０を生成するための例示的な成功予測システム９００を例示するブロック図である。成功予測システム９００は、本明細書に説明される構成要素のいずれかによって実装され得るが、説明を明確にするために、分析エンジン（例えば、図１に示される分析エンジン１４１Ａ又は分析エンジン１４１Ｂ）の文脈で説明される。

【0125】

成功予測システム９００は、成功分類器モジュール９４０を含み得る。成功分類器モジュール９４０は、１つ以上のケースメトリック９２０を受信し、メトリック対成功モデル９５０に基づいて成功予測９８０を出力するコンピュータ実装モジュールであってもよい。経皮的ケースメトリック９２０は、例えば、経皮医療処置が段階に従ってセグメント化された後に計算され得る、上述のメトリックのいずれかを含み得る。成功予測９８０は、経皮的ケースメトリック９２０が与えられた場合に、経皮的処置が成功する可能性が高いか否かの任意の適切な表示を含むことができる。いくつかの実施形態では、成功予測９８０は、パーセンタイルとして、クラス若しくはルーブリック（例えば、割り当てられたグレード）に対応する値として、又は成功の程度に対する任意の他の適切な表現として与えられてもよい。更に他の実施形態では、成功予測９８０は、異なる配置挿入点及び／又は角度における経皮的処置の成功の確率を伴う「ヒートマップ」として提示されてもよい。例えば、成功に対する最大の信頼を提供する処置のための手法（複数の場合もある）の推奨を示す視覚的表示を使用して、ヒートマップが医師に対して（例えば、ディスプレイ又はユーザインターフェース上に）表示され得る。

【0126】

加えて、ヒートマップは、１つ以上の器具の長さ若しくはサイズ、又はロボットの作業空間の制限等の、ロボットシステムの物理的制限を表すシステム変数を組み込み得る。この機能は、重要な解剖学的構造の位置についての空間情報を組み込むこともできる。例えば、穿刺部位がロボットの作業空間又は器具の到達範囲の外側にある場合、その確率を０に設定して、ユーザが挿入部位において経皮的アクセスを成功させることができたとしても、処置の失敗に終わる可能性がある挿入部位をユーザが選択することを防止することができる。他の実施形態では、ヒートマップは、ケースメトリックの直接関数であるか、又はケースメトリックのサブセットにより多くの重みを与えることができる。例えば、ヒートマップへの入力は、標的選択メトリック及び部位選択メトリックのみに制限され得るか、又は針挿入メトリックに対してより少ない重みを与え得る。例では、ヒートマップは、複数の医師及び全ての患者集団にわたって収集されたデータに基づくことができる。ヒートマップは、所与の医師又は所与の患者集団に対して最適化されたパラメータを組み込んで、その医師の経験及びその患者集団の臨床仕様を説明することもできる。

【0127】

メトリック対成功モデル９５０は、ケースデータ及び成功ラベルのデータベースからのケースメトリックを用いて訓練されたモデルであり得る。いくつかの実施形態において、メトリック対成功モデル９５０は、ロジスティック回帰フレームワークに基づいてもよい。ケースメトリックは、本明細書で考察される実施形態を使用してケースログから導出され得る。成功ラベルは、経皮的処置が成功したか否かを意味するラベルであってもよく、手動で、自動的に、又はそれらのいくつかの組み合わせでラベル付けされてもよい。

【0128】

上で考察した成功分類器モジュール９４０は、ケースメトリックが試みの成功にどのように影響するかを学習する。成功分類器モジュール９４０を使用して、実施形態は、これらのケースメトリックのどの値／値の範囲が成功閾値（例えば、５０、７５、又は９０％の精度）と相関するかを識別することができる。限定ではなく例示の目的で、ユーザが最初の試みにおいて成功の確率の７５％を保証したい場合、成功予測システム９００の実施形態は、標的への角度が決定可能な角度内にあるべきであり、スコープが場発生器の決定可能な距離内にあるべきであり、針とスコープとの間の角度が決定可能な角度未満であるべきであるというガイダンスを提供し得る。成功予測システム９００は、追加のガイダンスを提供することができ、そのうちのいくつかをここで説明する。

【0129】

成功予測システム９００は、任意の数の調整に基づいて成功の推定値を提供することができることを理解されたい。最も高いレベルでは、実施形態は、異なる医師、異なる手術部位、異なるロボットシステム等にわたって集約されたデータを使用して、メトリック対成功モデル９５０を構築してもよい。他の実施形態は、追加的又は代替的に、より調整された又は特化された結果を提供するデータを用いて、メトリック対成功モデル９５０を構築してもよい。例えば、メトリック対成功モデル９５０は、医師固有のメトリックを成功と相関させるデータを含んでもよい。このようにして、成功予測システム９００は、特定の医師が特定の処置に対して所与の成功結果を達成することをもたらす、メトリックに関する推定値（及び以下で説明されるようなガイダンス）を提供することができる。したがって、成功予測システム９００は、システムが成功推定値を生成する医師ごとに１つずつ、異なるメトリック対成功モデルを含むことができる。医師は、異なるスキルレベルを有し、所望の結果を達成するために異なるメトリックを必要とし得るため、この手法は有用であり得る。例示のために、より低いスキルレベル／より少ない経験を有する医師は、より高いスキルレベルを有する医師よりも小さい領域を有するアクセスポイントを選択する必要があり得る一方で、より高いスキルを有する医師は、患者の身体を通して針をより良好にナビゲートし得る。同様に、より高いスキルを有する医師は、ナビゲーションの様々なレベルの困難性を有し得る、より広い範囲の潜在的な挿入点／角度から成功を達成することが可能であり得る。

【0130】

実施形態が成功推定値を調整し得る別の方法は、処置において使用される機器に基づく。例えば、いくつかのロボットシステムは、標的に到達する際により高い精度をもたらすセンサ又は制御システムを有し得るが、より低いセンサ忠実度を有するシステムは、成功の可能性を低減するフィードバック又は制御を提供し得る。これらの場合、高い成功可能性のための針挿入部位の領域は、異なるロボットシステム間で異なってもよく、本明細書で考察される実施形態は、これらの差異を説明し得る。したがって、メトリック対成功モデル９５０は、処置に使用される機器の特性も組み込む、メトリックと成功との間の相関を含んでもよい。

【0131】

実施形態が成功推定値を調整し得る更に別の方法は、患者の特性に基づく。例えば、患者の身体は、年齢、性別、人種、サイズ、生理学的メトリック（例えば、心拍数、血圧、コレステロール読み取り値、呼吸数、体温、血中酸素等）、及び任意の他の適切な特性に基づいて異なり得る。上記と同様に、メトリック対成功モデル９５０は、患者の特性も組み込むメトリックと成功との間の相関を含むことができる。

【0132】

図９は、処置の成功をもたらすメトリックを相関させることに関連して考察されているが、実施形態は、メトリックと、患者の結腸又は任意の他の臓器の破裂等の有害イベントとの間の相関を生成することもできることを理解されたい。これらのタイプの相関は、実施形態が、決定可能な閾値内で、有害イベントを回避する方法についてのガイダンス、又はそのような発生が起こりそうなときについての警告を提供することを可能にし得る。

【0133】

図１０は、例示的な実施形態に従って提供され得る例示的なガイダンス１０００を例示する図である。図１０に示される例示的なガイダンスは、図９に示される成功予測９８０等の成功予測を受信する推奨モジュール（図示せず）によって生成されてもよい。ガイダンス１０１０は、針先端が、処置成功と相関する十分な閾値内でスコープと同軸に位置合わせされるかどうかに関するガイダンスを提供してもよい。ガイダンス１０２０は、前後角度が処置の成功と相関する十分な閾値内にあるかどうかに関するガイダンスを提供してもよい。ガイダンス１０３０は、標的に対する挿入センタリング（例えば、安定性）が、処置の成功と相関する十分な閾値内にあるかどうかに関するガイダンスを提供してもよい。ガイダンス１０４０は、針挿入部位及び軌道が、処置の成功と相関する十分な閾値内にあるかどうかに関するガイダンスを提供してもよい。例示的な実施形態では、ガイダンス１０４０は、上述のようにヒートマップとして表され得るような、異なる針挿入部位についての成功の可能性を表すインジケータを含み得る。

【0134】

ガイダンス１０１０、１０２０、１０３０、１０４０は、限定ではなく例として提供され、他の形態のガイダンスが本開示の企図の範囲内であることを理解されたい。例えば、いくつかの実施形態では、分析エンジンは、段階固有メトリックのうちの１つ以上が処置成功と相関する閾値の範囲外にあることをシステムが検出したときに、照明パターン若しくは色等による代替的な視覚的ガイダンス、又は音若しくは触覚フィードバック等による非視覚的ガイダンスを提供してもよい。追加的又は代替的に、いくつかの実施形態は、段階固有メトリックに基づいて処置の成功の可能性を生成し、その可能性について医師に何らかのフィードバックを提供することができる。成功の可能性に関するフィードバックは、パーセンテージ、カラーコーディング、シンボル、可聴アラート、触覚アラート等を含み得る。また更に、いくつかの実施形態は、成功の可能性に関連付けられたメトリックを使用し、それらのメトリックを達成するためにいくつかのアクションを自動化することができる。自動応答の例は、所望の針軌道を達成するようにロボットアームを自動的に配置すること、又は所望の標的配置及び軌道を達成するようにスコープを配置することを含む。

【0135】

他の分類手法
本開示の多くは、これまで、医療デバイスシステムによって生成されたケースログからのデータを使用して、経皮的処置の段階を分類するための機械学習手法に焦点を当ててきた。しかしながら、本開示は、代替又は追加の分類方法が採用され得ることを企図することを理解されたい。そのような手法は、経皮的処置を処置段階にセグメント化するために医療システム１００によって使用されるモデルを構築するために使用される訓練データを自動的又は半自動的にラベル付けする際に有用であり得る。追加的に又は代替的に、このセクションで考察される手法は、セグメント化モジュールにおいて経皮医療処置を分類するための工学的解決策として使用され得る。

【0136】

針挿入段階を検出するために、分析エンジンのいくつかの実施形態は、ＥＭログを処理してもよく、データを針挿入段階ラベルでラベル付けするために或る特定の条件を評価してもよい。例えば、データ分析エンジンは、条件付き論理を使用して、データ内の針挿入活動を推定してもよい。そのような条件付き論理は、針位置合わせ誤差が閾値未満である場合、標的までの距離が増加している場合、及び針配置が主軸又は軸に沿って変化している場合を含む。条件が満たされた場合、それらの基準を満たした期間は、針挿入段階とラベル付けされる。図１１は、例示的な実施形態による、条件付き論理に少なくとも部分的に基づいてラベル付けされ得る針ＥＭデータ１１００の例を例示する図である。図１１に示すように、ＥＭデータは、繋ぎ合わされ、次いで主軸又は方向に対して比較される様々なセグメントを含むことができる。

【0137】

針挿入段階をラベル付けするための別の手法は、訓練データの或る割合（例えば、「初期訓練データ」と呼ばれる訓練データの２５～５０％）を手動でラベル付けし、初期訓練データを用いて針挿入を認識するようにネットワークを訓練することである。初期訓練データで訓練されたネットワークは、次いで、ケースの残りの５０～７５％における針挿入を予測するために使用されてもよく、それらの予測は、ケースの残りの５０～７５％をラベル付けする際に使用されてもよい。モデルの予測から生成されたラベルの手動検査を実行して、任意の必要な補正を行うことができる。

【0138】

標的選択段階は、タグ付けイベント及び停止イベントによって定義され得る。分析エンジンは、標的選択と針挿入との間の時間フレームを部位選択であるとラベル付けしてもよい。針挿入と針挿入の終了後のアイドル時間との間のギャップは、挿入後段階としてラベル付けされる。

【0139】

例示的なロボットシステム
図１２は、１つ以上の実施形態によるロボットシステム１１０の例示的な詳細を例示する。この実施例では、ロボットシステム１１０は、移動可能であるカートベースのロボット制御可能なシステムとして例示されている。しかし、ロボットシステム１１０は、固定システムとして実装されるか、台に一体化されるなどが可能である。

【0140】

ロボットシステム１１０は、細長いセクション１１４（Ａ）（「カラム１１４（Ａ）」と称されることもある）及び基部１１４（Ｂ）を含む支持構造１１４を含むことができる。カラム１１４（Ａ）は、１つ以上のロボットアーム１１２（図１２には３つ示されている）の展開を支持するためのキャリッジ１２０２（代替的に「アーム支持体１２０２」と称される）等の１つ以上のキャリッジを備えることができる。キャリッジ１２０２は、患者に対して配置するために、垂直軸に沿って回転してロボットアーム１１２の基部を調整する個別に構成可能なアームマウントを備えることができる。キャリッジ１２０２はまた、キャリッジ１２０２がカラム１１４（Ａ）に沿って垂直方向に並進することを可能にするキャリッジインターフェース１２０４を備える。キャリッジインターフェース１２０４は、キャリッジ１２０２の垂直並進を誘導するためにカラム１１４（Ａ）の両側に配置されているスロット１２０６等のスロットを通してカラム１１４（Ａ）に接続されている。スロット１２０６は、キャリッジ１２０２を基部１１４（Ｂ）に対して様々な垂直高さに配置して保持するための垂直並進インターフェースを備える。キャリッジ１２０２が垂直並進すると、ロボットシステム１１０は、ロボットアーム１１２の到達範囲を調整して、種々の台高さ、患者サイズ、医師の選好等を満たすことができる。同様に、キャリッジ１２０２上の個別に構成可能なアームマウントによって、ロボットアーム１１２のロボットアーム基部１２０８を、種々の構成で角度付けすることができる。カラム１１４（Ａ）は、例えば、Ｉ／Ｏデバイス（複数の場合もある）１１６からの入力等のユーザ入力に応答して生成される制御信号に応答して、キャリッジ１２０２を機械化された様式で並進させるために垂直方向に位置合わせされた親ねじを使用するように設計された、ギア及び／又はモータ等の機構を内部に備えることができる。

【0141】

いくつかの実施形態では、スロット１２０６には、キャリッジ１２０２が垂直方向に並進するときにカラム１１４（Ａ）の内部チャンバ及び／又は垂直並進インターフェース内に汚れ及び／又は流体が侵入するのを防止するために、スロット表面と同一平面内にある及び／又は並列であるスロットカバー（複数の場合もある）で補完され得る。スロットカバーは、スロット１２０６の垂直方向の頂部及び底部付近に配置されたばねスプールの対を通して展開され得る。カバーは、キャリッジ１２０２が垂直方向に上下に並進するときに、コイル状の状態から延在及び後退するように展開されるまで、スプール内でコイル状にされ得る。スプールのばね荷重は、キャリッジ１２０２がスプールに向かって並進するときにカバーをスプール内に後退させる力を提供し、同時に、キャリッジ１２０２がスプールから離れて並進するときに緊密なシールを維持することもできる。カバーは、キャリッジ１２０２が並進する際のカバーの適切な延在及び後退を確実にするために、例えば、キャリッジインターフェース１２０４内のブラケットを使用してキャリッジ１２０２に接続され得る。

【0142】

基部１１４（Ｂ）は、床等の表面上で、カラム１１４（Ａ）、キャリッジ１２０２、及び／又はロボットアーム１１２の重量のバランスをとることができる。したがって、基部１１４（Ｂ）は、１つ以上の電子機器、モータ、電源等の重い構成要素、並びにロボットシステム１１０を移動及び／又は固定することを可能にする構成要素を収容することができる。例えば、基部１１４（Ｂ）は、ロボットシステム１１０が処置のために部屋を動き回ることを可能にする転動可能ホイール（「キャスタ１２１６」とも称される）を備えることができる。適切な配置に達した後に、キャスタ１２１６は車輪ロックを使用して固定され、処置中にロボットシステム１１０を所定の位置に保持することができる。図示のように、ロボットシステム１１０はまた、ロボットシステム１１０の操縦、及び／又は安定化を支援するためのハンドル１２１８を備える。

【0143】

ロボットアーム１１２は、概して、一連のジョイント１２１４によって接続された一連のリンク機構１２１２によって分離されたロボットアーム基部１２０８及びエンドエフェクタ１２１０を備えることができる。各ジョイント１２１４は、独立したアクチュエータを備えることができ、各アクチュエータは独立して制御可能なモータを備えることができる。各独立して制御可能なジョイント１２１４は、ロボットアーム１１２が利用できる独立した自由度を表す。例えば、ロボットアーム１１２はそれぞれ、７つのジョイントを有することができ、したがって７つの自由度を得ることができる。しかし、任意の数のジョイントを任意の自由度を伴って実装することができる。例では、多数のジョイントによって多数の自由度を得ることができ、「冗長」自由度が可能になる。冗長自由度によって、ロボットアーム１１２は、それぞれのエンドエフェクタ１２１０を、異なるリンク機構配置及び／又はジョイント角度を使用して、空間内の固有の配置、配向、及び／又は軌跡に配置することを可能にする。いくつかの実施形態では、エンドエフェクタ１２１０は、医療器具、デバイス、物体等と係合し、及び／又はそれらを制御するように構成することができる。アーム１１２の移動の自由度により、ロボットシステム１１０が、空間内の所望の点から医療器具を配置し、及び／又は方向付けることができ、及び／又は医師が、アーム１１２を患者から離れた臨床的に好都合な配置に移動させて、アームの衝突を回避しながらアクセスすることができる。

【0144】

図１２に示されるように、ロボットシステム１１０はまた、Ｉ／Ｏデバイス（複数の場合もある）１１６を備えることができる。Ｉ／Ｏデバイス１１６は、ディスプレイ、タッチスクリーン、タッチパッド、プロジェクタ、マウス、キーボード、マイクロフォン、スピーカ、コントローラ、（例えば、ジェスチャ入力を受信するための）カメラ、又は入力を受信する及び／又は出力を提供するための別のＩ／Ｏデバイスを含むことができる。Ｉ／Ｏデバイス１１６は、タッチ、発話、ジェスチャ、又は任意の他のタイプの入力を受信するように構成され得る。Ｉ／Ｏデバイス１１６は、カラム１１４（Ａ）の垂直端部（例えば、カラム１１４（Ａ）の頂部）に位置決めされ得、及び／又はユーザ入力を受信するための及び／又は出力を提供するためのユーザインターフェースを提供することができる。例えば、Ｉ／Ｏデバイス１１６は、入力を受信し、術前及び／又は術中データを医師に提供するためのタッチスクリーン（例えば、兼用デバイス）を含むことができる。例示的な術前データは、術前計画、ナビゲーション、及び／又は術前コンピュータ断層撮影（computerized tomography、ＣＴ）スキャンから導出されたマッピングデータ、及び／又は術前患者問診からのメモを含むことができる。例示的な術中データは、ツール／器具、センサから提供される光学情報、及び／又はセンサからの座標情報、並びに呼吸、心拍数、及び／又は脈拍などの重要な患者統計を含むことができる。Ｉ／Ｏデバイス（複数の場合もある）１１６は、医師が、カラム１１４（Ａ）の、キャリッジ１２０２とは反対側等の様々な配置からＩ／Ｏデバイス（複数の場合もある）１１６にアクセスすることを可能にするように配置される及び／又は傾けられることができる。この位置から、医師は、Ｉ／Ｏデバイス１１６、ロボットアーム１１２、及び／又は患者を視認すると同時に、Ｉ／Ｏデバイス１１６をロボットシステム１１０の背後から動作させることができる。

【0145】

ロボットシステム１１０は、様々な他の構成要素を含むことができる。例えば、ロボットシステム１１０は、１つ以上の制御電子機器／回路、電源、空気圧、光源、アクチュエータ（例えば、ロボットアーム１１２を移動させるためのモータ）、メモリ、及び／又は（例えば、別のデバイスと通信するための）通信インターフェースを含むことができる。いくつかの実施形態では、メモリは、コンピュータ実行可能命令を記憶することができ、コンピュータ実行可能命令は、制御回路によって実行されると、制御回路に、本明細書で考察される動作のうちのいずれかを実行させる。例えば、メモリは、コンピュータ実行可能命令を記憶することができ、コンピュータ実行可能命令は、制御回路によって実行されると、制御回路に、ロボットアーム１１２の操作に関する入力及び／又は制御信号を受信させ、それに応答して、ロボットアーム１１２を制御して、特定の配列で配置し、及び／又はエンドエフェクタ１２１０に接続された医療器具をナビゲートする。

【0146】

いくつかの実施形態では、ロボットシステム１１０は、スコープ１２０などの医療器具と係合し、及び／又はそれを制御するように構成されている。例えば、ロボットアーム１１２は、スコープ（例えば、スコープのシース及び／又はリーダ）の位置、向き、及び／又は先端関節運動を制御するように構成され得る。いくつかの実施形態では、ロボットアーム１１２は、細長い移動部材を使用してスコープ１２０を操作するように構成され得る／構成可能であり得る。細長い移動部材としては、１つ以上のプルワイヤ（例えば、プル又はプッシュワイヤ）、ケーブル、ファイバ、及び／又は可撓性シャフトを挙げることができる。例示のために、ロボットアーム１１２は、スコープ１２０に結合された複数のプルワイヤを作動させて、スコープ１２０の先端を逸らすように構成され得る。プルワイヤは、ステンレス鋼、ケブラー、タングステン、カーボンファイバなどの金属材料及び／又は非金属材料などの任意の好適な又は望ましい材料を含むことができる。いくつかの実施形態において、スコープ１２０は、細長い移動部材によって加えられた力に応答して、非線形挙動を示すように構成されている。非線形挙動は、スコープ１２０の剛性及び圧縮性、並びに異なる細長い移動部材間のたるみ又は剛性の変動性に基づき得る。

【0147】

例示的な制御システム
図１３は、１つ以上の実施形態による、制御システム１４０の例示的な詳細を例示する。例示されるように、制御システム１４０は、以下の構成要素、デバイス、モジュール、及び／又はユニット（本明細書では「構成要素」と称される）、すなわち、制御回路１３０２、データ記憶装置／メモリ１３０４、１つ以上の通信インターフェース１３０６、１つ以上の電源ユニット１３０８、１つ以上のＩ／Ｏ構成要素１３１０、及び／又は１つ以上のホイール１３１２（例えば、キャスタ又は他のタイプのホイール）のうちの１つ以上を、別個に／個別に、及び／又は組み合わせて／まとめてのいずれかで含むことができる。いくつかの実施形態では、制御システム１４０は、制御システム１４０の構成要素のうちの１つ以上の少なくとも一部を収容又は含むように構成され、及び／又は寸法決めされたハウジング／エンクロージャを備えることができる。この実施例では、制御システム１４０は、１つ以上のホイール１３１２を用いて移動可能なカートベースのシステムとして例示されている。いくつかの事例では、適切な配置に到達した後、１つ以上のホイール１３１２は、ホイールロックを使用して固定されて、制御システム１４０を所定の位置に保持することができる。しかしながら、制御システム１４０は、固定システムとして実装され、別のシステム／デバイス等に一体化することができる。

【0148】

制御システム１４０の或る特定の構成要素を図１３に例示しているが、図示していない追加の構成要素が本開示による実施形態に含まれ得ることを理解されたい。更に、いくつかの実施形態では、例示される構成要素のうちのいくつかは、省略され得る。制御回路１３０２は、図１３の図において別個の構成要素として例示されているが、制御システム１４０の残りの構成要素のうちのいずれか又は全てが、制御回路１３０２に少なくとも部分的に具現化され得ることを理解されたい。すなわち、制御回路１３０２は、様々なデバイス（能動的及び／又は受動的）、半導体材料、及び／又は領域、層、区域、及び／又はそれらの部分、導体、リード、ビア、接続等を含むことができ、制御システム１４０の他の構成要素のうちの１つ以上及び／又はその一部分（複数の場合もある）は、かかる回路構成要素／デバイスによって少なくとも部分的に形成及び／又は具現化され得る。

【0149】

制御システム１４０の様々な構成要素は、或る特定の接続回路／デバイス／特徴を使用して、電気的及び／又は通信可能に結合され得るが、それら構成要素は、制御回路１３０２の一部であってもなくてもよい。例えば、接続特徴部（複数の場合もある）は、制御システム１４０の種々の構成要素／回路のうちの少なくとも一部の取り付け及び／又は相互接続を容易にするように構成された１つ以上のプリント回路基板を含むことができる。いくつかの実施形態では、制御回路１３０２、データ記憶装置／メモリ１３０４、通信インターフェース（複数の場合もある）１３０６、電源ユニット（複数の場合もある）１３０８、及び／又は入力／出力（Ｉ／Ｏ）構成要素（複数の場合もある）１３１０のうちの２つ以上は、互いに電気的及び／又は通信可能に結合され得る。

【0150】

例示されるように、メモリ１３０４は、位置特定構成要素１３１４、標的／軌道構成要素１３１６、及び本明細書で考察される様々な機能を容易にするように構成されたユーザインターフェース構成要素１３１８を備えることができる。いくつかの実施形態では、位置特定構成要素１３１４、標的／軌道構成要素１３１６、及び／又はユーザインターフェース構成要素１３１８は、１つ以上の動作を実行するために制御回路１３０２によって実行可能な１つ以上の命令を含むことができる。多くの実施形態は、制御回路１３０２によって実行可能な１つ以上の命令を含む構成要素１３１４～１３１８の文脈で考察されているが、構成要素１３１４～１３１８のうちのいずれも、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つ以上の特定用途向け標準製品（ＡＳＳＰ）、１つ以上の複合プログラマブル論理デバイス（ＣＰＬＤ）等、１つ以上のハードウェア論理構成要素として少なくとも部分的に実装され得る。更に、構成要素１３１４～１３１８は、制御システム１４０内に含まれるものとして例示されているが、構成要素１３１４～１３１８のうちのいずれも、ロボットシステム１１０、台１５０、又は別のデバイス／システム等、別のデバイス／システム内に少なくとも部分的に実装され得る。同様に、制御システム１４０の他の構成要素のうちのいずれも、別のデバイス／システム内に少なくとも部分的に実装され得る。

【0151】

位置特定構成要素１３１４は、１つ以上の位置特定技法を実行して、医療器具等の物体の配置及び／又は配向を決定及び／又は追跡するように構成され得る。例えば、位置特定構成要素１３１４は、入力データ（例えば、医療器具からのセンサデータ、患者の解剖学的構造に関するモデルデータ、患者の配置データ、術前データ、ロボットコマンド、及び／又は運動学データ等）を処理して、１つ以上の医療器具の配置／配向データを生成し得る。配置／配向データは、基準フレームに対する１つ以上の医療器具の位置及び／又は配向を示唆することができる。基準枠は、患者の解剖学的構造、既知の対象物（例えば、ＥＭ場発生器）、座標系／空間等に対する基準枠とすることができる。いくつかの実装形態では、配置／配向データは、医療器具の遠位端（及び／又はいくつかの事例では、近位端）の位置及び／又は配向を示唆し得る。

【0152】

いくつかの実施形態では、位置特定構成要素１３１４は、術前データを処理して、物体の配置及び／又は配向を決定することができる。術前データ（「マッピングデータ」と称されることもある）は、低用量ＣＴスキャンなどのコンピュータ断層撮影（ＣＴ）スキャンを実行することによって生成することができる。スキャンからの術前ＣＴ画像は、三次元画像に再構成することができ、三次元画像は、例えば、患者の内部解剖学的構造の切断図の「スライス」として視覚化される。全体として分析される場合、患者の肺網などの患者の解剖学的構造の解剖学的腔、空間、及び構造について画像ベースのモデルが生成され得る。中心線ジオメトリをＣＴ画像から判定及び近似して、モデルデータと称される（術前ＣＴスキャンのみを使用して生成された場合は「術前モデルデータ」とも称される）患者の解剖学的構造の三次元ボリュームを現像することができる。中心線ジオメトリの例示的な使用は、米国特許出願第１４／５２３，７６０号で考察されており、その内容は参照によりその全体が本明細書に組み込まれる。ネットワークトポロジーモデルはまた、ＣＴ画像から導出され得る。

【0153】

更に、いくつかの実施形態では、位置特定構成要素１３１４は、物体の配置及び／又は配向を決定するために視覚ベースの技法を実行することができる。例えば、医療器具は、視覚データの形態でセンサデータを提供するために、カメラ、距離センサ（「深さセンサ」と称されることもある）、レーダデバイスなどを備えることができる。位置特定構成要素１３１４は、視覚データを処理して、医療器具の視覚ベースの位置追跡を容易にすることができる。例えば、術前モデルデータを視覚データと共に使用して、医療器具（例えば、内視鏡）のコンピュータ視覚ベースの追跡を可能にすることができる。例では、術前モデルデータを使用して、制御システム１４０は、スコープの予想される進行経路に基づいて、予測される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。術中に、このライブラリは、スコープ（例えば、内視鏡の遠位端にあるカメラ）で取り込まれたリアルタイム画像及び／又は他の視覚データを、画像ライブラリ内の画像と比較するために、制御システム１４０によって参照され、位置特定を支援し得る。

【0154】

更に、いくつかの実施形態では、物体の位置及び／又は向きを判定するために、他のタイプの視覚ベースの技法が実行され得る。例えば、位置特定構成要素１３１４は、特徴追跡を使用して、画像センサ（例えば、カメラ又は他のセンサ）、したがって、画像センサに関連付けられた医療器具の運動を決定することができる。いくつかの事例では、位置特定構成要素１３１４は、解剖学的管腔に対応する術前モデルデータ内の円形ジオメトリを識別し、それらのジオメトリの変化を追跡して、どの解剖学的管腔が選択されたか、並びに医療器具の相対的な回転運動及び／又は並進運動を決定し得る。トポロジーマップの使用はまた、視覚ベースのアルゴリズム又は技法を更に強化することができる。更に、位置特定構成要素１３１４は、光学フロー、別のコンピュータ視覚ベースの技法を使用して、視覚データ内のビデオシーケンス内の画像ピクセルの変位及び／又は並進を分析してカメラの移動を推測することができる。光学フロー技法の例は、運動検出、物体セグメント化計算、輝度、運動補償符号化、ステレオ視差測定等を含むことができる。複数の反復にわたって複数のフレームを比較することによって、位置特定構成要素１３１４は、画像センサ（及び、したがって内視鏡）の移動及び位置を決定することができる。

【0155】

更に、いくつかの実施形態では、位置特定構成要素１３１４は、電磁追跡を使用して、物体の配置及び／又は配向を決定し得る。例えば、位置特定構成要素１３１４は、リアルタイムＥＭ追跡を使用して、患者の解剖学的構造に記録することができる、座標系／空間における医療器具のリアルタイムの位置を決定することができ、この場所は、術前モデル又は他のモデルによって表すことができる。ＥＭ追跡では、１つ以上のセンサコイルを含むＥＭセンサ（又はトラッカー）を、医療機器（例えば、スコープ、針など）内の１つ以上の場所及び／又は向きに埋め込むことができる。ＥＭセンサは、既知の場所に位置付けられた１つ以上の静的なＥＭ場発生器によって形成されるＥＭ場の変動を測定することができる。ＥＭセンサが検出した場所情報を、ＥＭデータとして記憶することができる。位置特定構成要素１３１４は、ＥＭデータを処理して、医療器具等、物体の配置及び／又は配向を決定することができる。ＥＭ場発生器（又は送信器）を、患者の近くに（例えば、所定の距離内に）配置して、ＥＭセンサが検出することができる低強度磁界を形成することができる。磁界は、ＥＭセンサのセンサコイル内に小電流を誘導することができ、これを分析して、ＥＭセンサとＥＭ場発生器との間の距離及び／又は角度を判定することができる。これらの距離及び／又は向きを、座標系内の単一の場所を患者の解剖学的構造の術前モデルにおける位置と位置合わせする幾何学的変換を判定するために、患者の解剖学的構造（例えば、術前モデル）に術中に「記録」することができる。記録されると、医療機器の１つ以上の位置（例えば、内視鏡の遠位先縁部、針など）におけるＥＭセンサ（例えば、埋め込まれたＥＭトラッカー）は、患者の解剖学的構造を通る医療機器の位置及び／又は向きをリアルタイムで表示することができる。

【0156】

追加的又は代替的に、いくつかの実施形態では、位置特定構成要素１３１４は、ロボットコマンド及び／又は運動学データを使用して、物体の配置及び／又は配向を決定することができる。ロボットコマンド及び／又は運動学データは、術前較正中及び／又は処置中に使用されるコマンドなど、関節運動コマンドから生じる（例えば、ロボットアームの）ピッチ及び／又はヨーを示唆することができる。術中に、較正測定を既知の挿入深さ情報と組み合わせて使用して、医療器具の位置及び／又は向きを推定することができる。代替的又は追加的に、これらの計算は、ＥＭ、視覚、及び／又はトポロジーモデリングと組み合わせて分析されて、医療器具の位置及び／又は向きを推定することができる。

【0157】

更に、いくつかの実施形態では、位置特定構成要素１３１４は、他のタイプのデータを使用して、物体の配置及び／又は配向を決定することができる。例えば、位置特定構成要素１３１４は、医療器具に埋め込まれた、（例えば、医療器具の位置／形状に関する形状データを提供することができる）形状検知ファイバ、加速度計、ジャイロスコープ、衛星ベースの測位センサ（例えば、全地球測位システム（ＧＰＳ））、無線周波数トランシーバ等からのセンサデータを分析することができる。かかるデータは、医療器具の位置及び／又は向きを示唆することができる。

【0158】

いくつかの実施形態では、位置特定構成要素１３１４は、入力データを組み合わせて使用することができる。例えば、位置特定構成要素１３１４は、信頼重みが複数の形態の入力データから決定された配置／配向に割り当てられる、確率的手法を使用することができる。例示するために、ＥＭデータが（ＥＭ干渉がある場合のように）信頼できない場合、ＥＭデータは比較的低い信頼値と関連付けられ得、視覚データ、ロボットコマンド、運動学データなどの他の形態の入力データに依拠することができる。

【0159】

標的／軌道構成要素１３１６は、ヒトの解剖学的構造及び／又は座標空間／座標系内の標的場所の配置を決定するように構成され得る。標的場所は、人体解剖学的構造及び／又は座標空間／座標系内の点／点セットを表すことができる。例えば、標的／軌道構成要素１３１６は、座標系内の標的場所の１つ以上の点を識別し、１つ以上の点の座標（例えば、各点のＸ、Ｙ、Ｚ座標）を識別し、座標を標的場所と関連付けることができる。いくつかの実施形態では、標的／軌道構成要素１３１６は、医療器具の配置及び／又は配向を使用して、標的場所の配置を決定することができる。例えば、スコープは、標的場所に接触するか、又は近接範囲内にある（例えば、標的場所の前に静止状態にある）ようにナビゲーションされ得る。位置特定構成要素１３１４は、位置特定技法を使用して、スコープの配置（例えば、スコープの端部の位置）及び／又はスコープの視野内の物体の配置を決定し得る。標的／軌道構成要素１３１６は、スコープの配置（例えば、スコープの座標）を標的場所と関連付けることができる。追加的又は代替的に、いくつかの実施形態では、スコープは、標的場所をマーク付けするために基準点を送達することができ、基準点の位置が判定され得る。

【0160】

標的場所は、人体解剖学的構造及び／又は座標空間／座標系内の固定点（複数可）又は可動点（複数可）を表すことができる。例えば、乳頭が最初に標的場所として指定されている場合、手技が進行し、（例えば、医療器具の挿入に起因して）乳頭が移動するにつれて、標的場所の座標が判定及び更新され得る。ここで、スコープの場所（乳頭の近接範囲内にあり得る）は、標的場所の座標を更新するために経時的に追跡され、使用され得る。いくつかの実施形態では、標的／軌道構成要素１３１６は、標的場所の配置を推定／予測することができる。ここで、標的場所は、予測位置で表すことができる。例えば、標的／軌道構成要素１３１６は、人体解剖学的構造が移動するときに標的場所の座標を予測するアルゴリズムを使用することができる。予測座標を使用して、標的軌道を判定することができる。

【0161】

標的／軌道構成要素１３１６はまた、医療器具又は別の物体の標的軌道を決定するように構成され得る。標的軌道は、標的場所にアクセスするための所望の経路を表すことができる。標的軌道は、医療器具（例えば、針、スコープなど）の位置、人体解剖学的構造内の標的場所、患者の位置及び／又は向き、患者の解剖学的構造（例えば、標的場所に対する患者内の臓器の場所）などの様々な情報に基づいて判定され得る。例えば、標的軌道は、医療器具の位置及び／又は患者の皮膚上の場所から患者内の標的場所の位置まで／そこを通って延伸するラインを含むことができる。実施例では、医師は、人体解剖学的構造の画像又はモデルを分析し、患者の内部解剖学的構造の画像上にラインを描くことなどによって、標的軌道を指定する入力を提供することができる。いくつかの実施形態では、標的／軌道構成要素１３１６は、最初に標的軌道を計算し、及び／又は処置全体を通して標的軌道を更新することができる。例えば、標的場所が処置中に移動するとき、標的軌道は、標的場所の位置の変化に起因して更新され得る。標的場所が推定される実施例では、標的軌道は、標的場所に到達するために推定経路を表すことができる。

【0162】

いくつかの実施形態では、標的軌道及び／又は医療器具の軌道は、１つ以上の解剖学的平面／軸に関して画定／表現され得る。例えば、軌道は、冠状／矢状／横断面又は別の平面／軸に対する角度（例えば、２０度の頭側－尾側角度、１０度の内側－外側角度など）として画定／表現され得る。例示するために、制御システム１４０は、ＥＭ場発生器に対する医療器具の姿勢及び／又はＥＭ場発生器に対する標的の位置を決定することができる。制御システム１４０はまた、ロボット運動学に基づいて、ロボットシステムに対するＥＭ場発生器の姿勢を決定することができる。場合によっては、制御システム１４０は、ロボットシステムがベッドに対して並列であると推測／決定することができる。かかる情報に基づいて、制御システム１４０は、ベッド上の患者の解剖学的平面に対する角度等、解剖学的平面に対する標的軌道及び／又は医療器具の軌道を決定することができる。

【0163】

ユーザインターフェース構成要素１３１８は、１つ以上のユーザインターフェース（「１つ以上のグラフィカルユーザインターフェース（ＧＵＩ）」とも称される）を容易にするように構成され得る。例えば、ユーザインターフェース構成要素１３１８は、医療器具の配向及び／又は配置を示唆するために、１つ以上の視覚化を含む器具－位置合わせインターフェースを表すユーザインターフェースデータ１３２２を生成することができる。ユーザインターフェース構成要素１３１８は、医療器具に関する配置／配向データ、標的場所に関する情報、及び／又は標的軌道に関する情報を使用して、器具－位置合わせインターフェース内に、標的軌道に対する医療器具の配向の位置合わせ及び／又は医療器具の標的場所への近接を示唆する１つ以上の視覚化を提示することができる。更に、ユーザインターフェース構成要素１３１８は、スコープによって取り込まれた画像等の視覚データを使用して、器具－位置合わせインターフェース内に情報を提示することができる。実施例では、情報は、スコープからの画像（例えば、拡張画像ビュー）上に重ね合わされ得る。ユーザインターフェース構成要素１３１８は、ユーザインターフェースデータ１３２２又は他のデータを、器具－位置合わせインターフェースの表示のために１つ以上のディスプレイ１４２及び／又は別のディスプレイに提供することができる。

【0164】

１つ以上の通信インターフェース１３０６は、１つ以上のデバイス／センサ／システムと通信するように構成することができる。例えば、１つ以上の通信インターフェース１３０６は、ネットワーク上で無線及び／又は有線の方式でデータを送信／受信することができる。本開示の実施形態によるネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、パーソナルエリアネットワーク（ＰＡＮ）、ボディエリアネットワーク（ＢＡＮ）等を含むことができる。いくつかの実施形態では、１つ以上の通信インターフェース１３０６は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、近距離無線通信（ＮＦＣ）等の無線技術を実装することができる。

【0165】

１つ以上の電源ユニット１３０８は、制御システム１４０（及び／又はいくつかの事例では、ロボットシステム１１０）の電力を管理するように構成され得る。いくつかの実施形態では、１つ以上の電源ユニット１３０８は、リチウム系電池、鉛酸蓄電池、アルカリ電池、及び／又は別のタイプの電池等の１つ以上の電池を含む。すなわち、１つ以上の電源ユニット１３０８は、電源を提供し、及び／又は電力管理機能を提供するように構成された１つ以上のデバイス及び／又は回路を備えることができる。また、いくつかの実施形態では、１つ以上の電源ユニット１３０８は、交流（alternating current、ＡＣ）又は直流（direct current、ＤＣ）主電源に結合するように構成された主電源コネクタを備える。

【0166】

１つ以上のＩ／Ｏ構成要素１３１０は、例えばユーザとのインターフェース接続のために、入力を受信する及び／又は出力を提供するための様々な構成要素を含み得る。１つ以上のＩ／Ｏ構成要素１３１０は、タッチ、発話、ジェスチャ、又は任意の他のタイプの入力を受信するように構成することができる。実施例では、１つ以上のＩ／Ｏ構成要素１３１０を使用して、ロボットシステム１１０を制御する、ロボットシステム１１０に取り付けられたスコープ又は他の医療器具をナビゲートする、台１５０を制御する、撮像デバイス１９０を制御する等、デバイス／システムの制御に関する入力を提供することができる。図示のように、１つ以上のＩ／Ｏ構成要素１３１０は、データを表示するように構成された（「１つ以上のディスプレイデバイス１４２」と称される場合がある）１つ以上のディスプレイ１４２を含むことができる。１つ以上のディスプレイ１４２は、１つ以上の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、プラズマディスプレイ、電子ペーパディスプレイ、及び／又は任意の他のタイプ（複数の場合もある）の技術を含むことができる。いくつかの実施形態では、１つ以上のディスプレイ１４２は、入力を受信する、及び／又はデータを表示するように構成された１つ以上のタッチスクリーンを備えることができる。更に、１つ以上のＩ／Ｏ構成要素１３１０は、タッチスクリーン、タッチパッド、コントローラ、マウス、キーボード、ウェアラブルデバイス（例えば、光学ヘッドマウントディスプレイ）、仮想又は拡張現実デバイス（例えば、ヘッドマウントディスプレイ）等を含むことができる１つ以上のＩ／Ｏデバイス１４６を含むことができる。追加的に、１つ以上のＩ／Ｏ構成要素１３１０は、音声信号に基づいて音を出力するように構成された１つ以上のスピーカ１３２６、及び／又は音を受信し音声信号を生成するように構成された１つ以上のマイクロフォン１３２８を含むことができる。いくつかの実施形態では、１つ以上のＩ／Ｏ構成要素１３１０は、コンソールを含むか又はコンソールとして実装される。

【0167】

図１３には図示しないが、制御システム１４０は、制御された灌注及び／又は吸引能力を医療器具（例えば、スコープ）に提供するための１つ以上のポンプ、流量計、バルブ制御装置、及び／又は流体アクセス構成要素等の他の構成要素、医療器具によって展開することができるデバイス等を含み、及び／又は制御することができる。いくつかの実施形態では、灌注及び吸引能力を、別個のケーブルを介して医療機器に直接届けることができる。更に、制御システム１４０は、フィルタリングされ、及び／又は保護された電力をロボットシステム１１０等の別のデバイスに提供するように設計された電圧及び／又はサージプロテクタを含むことができ、その結果、ロボットシステム１１０内に電力変圧器及び他の補助電力構成要素を位置決めすることが回避されるため、ロボットシステム１１０はより小さくて、より移動可能になる。

【0168】

制御システム１４０はまた、医療システム１００全体に展開されたセンサのための支持機器も含み得る。例えば、制御システム１４０は、光学センサ及び／又はカメラから受信したデータを検出し、受信し、及び／又は処理するための光電子機器を含むことができる。このような光電子機器は、制御システム１４０を含む任意の数のデバイス／システムに表示するためのリアルタイム画像を生成するために使用できる。同様に、制御システム１４０は、展開された電磁気（ＥＭ）センサから受信した信号を受信し、及び／又は処理するための電子サブシステムを含むことができる。いくつかの実施形態では、制御システム１４０を使用して、医療器具内又は医療器具上のＥＭセンサによる検出のためにＥＭ場発生器を収容及び配置することもできる。

【0169】

いくつかの実施形態では、制御システム１４０は、１つ以上のケーブル又は接続（図示せず）を介して、ロボットシステム１１０、台１５０、並びに／又はスコープ１２０及び／若しくは針１７０などの医療器具に結合され得る。いくつかの実施態様では、制御システム１４０からの支援機能を単一のケーブルを介して提供することができ、手術室を簡素化して整理することができる。他の実施態様では、特定の機能を別個のケーブル線及び接続部において結合することができる。例えば、電力は単一の電源ケーブルを介して提供することができるが、制御、光学系、流体工学、及び／又はナビゲーションに対する支援は、別個のケーブルを介して提供することができる。

【0170】

用語「制御回路」は、本明細書では、その広義及び通常の意味に従って使用され、以下のものの任意の集合を指すことができる：１つ以上のプロセッサ、処理回路、処理モジュール／ユニット、チップ、ダイ（例えば、１つ以上の能動デバイス及び／若しくは受動デバイス及び／若しくは接続回路を含む半導体ダイ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ、プログラマブル論理回路、ステートマシン（例えば、ハードウェアステートマシン）、論理回路、アナログ回路、デジタル回路、並びに／又は回路及び／若しくは動作命令のハードコーディングに基づいて信号（アナログ及び／又はデジタル）を操作する任意のデバイス。制御回路は更に、１つ以上の記憶デバイスを含むことができ、これは、単一のメモリデバイス、複数のメモリデバイス、及び／又はデバイスの埋め込み回路において具体化することができる。このようなデータ記憶装置としては、読み出し専用メモリ、ランダムアクセスメモリ、揮発性メモリ、不揮発性メモリ、スタティックメモリ、ダイナミックメモリ、フラッシュメモリ、キャッシュメモリ、データ記憶装置レジスタ、及び／又はデジタル情報を記憶する任意のデバイスを挙げることができる。制御回路がハードウェアステートマシンを含み（及び／又はソフトウェアステートマシンを実装し）、アナログ回路、デジタル回路、及び／又は論理回路を含む実施形態では、任意の関連付けられた動作命令を記憶するデータ記憶装置（複数可）／レジスタ（複数可）は、ステートマシン、アナログ回路、デジタル回路、及び／又は論理回路を含む回路の内部に又はその外部に埋め込めることに注意されたい。

【0171】

用語「メモリ」は、本明細書では、その広義及び通常の意味に従って使用され、任意の好適な又は望ましいタイプのコンピュータ可読媒体を指すことができる。例えば、コンピュータ可読媒体としては、１つ以上の揮発性データ記憶装置、不揮発性データ記憶装置、取り外し可能なデータ記憶装置、及び／又は取り外し不可能なデータ記憶装置であって、任意の技術、レイアウト、及び／又はデータ構造／プロトコルを用いて実装されるものを挙げることができ、これらは、任意の好適な又は望ましいコンピュータ可読命令、データ構造、プログラムモジュール、又は他のタイプのデータを含む。

【0172】

本開示の実施形態により実装することができるコンピュータ可読媒体としては、限定することなく、以下を挙げることができる。相変化メモリ、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ技術、コンパクトディスク読み出し専用メモリ（compact disk read-only memory、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（digital versatile disk、ＤＶＤ）若しくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は任意の他の非一時的媒体であって、コンピューティングデバイスによるアクセスのための情報を記憶するために使用できるもの。本明細書において特定の文脈で用いる場合、コンピュータ可読媒体は全般的に、変調データ信号及び搬送波などの通信媒体を含まない場合がある。したがって、コンピュータ可読媒体は全般的に、非一時的媒体を指すと理解しなければならない。

【0173】

更なる実施形態
実施形態に応じて、本明細書に説明されるプロセス又はアルゴリズムのうちのいずれかの或る特定の行為、イベント、又は機能は、異なる順序で実行することができ、追加し、マージし、又は完全に除外してもよい。したがって、或る特定の実施形態では、説明した行為又は事象の全てがプロセスの実行にとって必要なわけではない。

【0174】

とりわけ、「することができる（can）」、「することができる（could）」、「し得る（might）」、「し得る（may）」、「例えば（e.g.）」、及び同等物などの本明細書で使用される条件的文言は、別途具体的に記述されない限り、又は使用される文脈内で別途理解されない限り、その通常の意味で意図され、全般的に、或る特定の実施形態が、或る特定の特徴、要素、及び／又はステップを含むが、他の実施形態が含まないことを伝達することを意図している。したがって、そのような条件的文言は、一般的に、特徴、要素、及び／又はステップが、１つ以上の実施形態のために任意の方法で必要とされること、又は１つ以上の実施形態が、オーサ入力若しくはプロンプティングの有無を問わず、これらの特徴、要素、及び／若しくはステップが任意の特定の実施形態に含まれるか、又は実施されるかどうかを決定するための論理を必ず含むことを含意することを意図しない。「備える（comprising）」、「含む（including）」、「有する（having）」などの用語は、同意語であり、それらの通常の意味で使用され、非限定的な様式で包括的に使用され、更なる要素、特徴、行為、動作などを除外しない。また、「又は」という用語は、使用される場合、例えば、要素の列挙を接続するために、「又は」という用語は、列挙された要素のうちの１つ、いくつか、又は全てを意味するように、その包含的な意味で（かつその排他的な意味ではなく）使用される。別途具体的に記述されない限り、「Ｘ、Ｙ及びＺのうちの少なくとも１つ」という語句などの接続言語は、項目、用語、要素などがＸ、Ｙ、又はＺのいずれかであり得ることを伝えるために、一般的に使用されるような文脈で理解される。したがって、そのような接続言語は、全般的に、特定の実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、及びＺのうちの少なくとも１つが、それぞれ存在することを要求することを暗示することを意図しない。

【0175】

実施形態の上記の説明では、様々な特徴は、時として、本開示を合理化し、様々な発明の態様のうちの１つ以上の理解を補助する目的で、単一の実施形態、図、又はその説明においてグループ化されることを理解されたい。しかしながら、本開示の方法は、任意の請求項がその請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。更に、本明細書の特定の実施形態に例解及び／又は記載される任意の構成要素、特徴、又はステップは、任意の他の実施形態に適用されるか、又はそれと共に使用することができる。更に、いずれの構成要素、特徴、ステップ、又は構成要素、特徴、若しくはステップの群も、各実施形態のために必要又は不可欠ではない。したがって、本開示の範囲は、上記の特定の実施形態によって限定されるべきではなく、以下の特許請求の範囲の公正に読むことによってのみ判定されるべきであることが意図される。

【0176】

特定の序数用語（例えば、「第１」又は「第２」）が参照を容易にするために提供される場合があり、必ずしも物理的特性又は順序付けを含意するわけではないことを理解されたい。したがって、本明細書で使用される場合、構造体、構成要素、動作などの要素を修正するために使用される序数用語（例えば、「第１」、「第２」、「第３」など）は、必ずしも任意の他の要素に関して要素の優先順位又は順序を示すわけではなく、むしろ、全般的に、要素を（序数用語の使用を別として）同様又は同一の名称を有する別の要素と区別し得る。加えて、本明細書で使用される場合、不定冠詞（「ａ」及び「ａｎ」）は、「１つ」ではなく「１つ以上」を示し得る。更に、条件又は事象に「基づいて」実施される動作はまた、明示的に列挙されていない１つ以上の他の条件又は事象に基づいて実施され得る。

【0177】

別途定義されない限り、本明細書で使用されている全ての用語（技術的及び科学的用語を含む）は、実施形態例が属する分野の当業者によって一般的に理解されるものと同じ意味を有している。一般的に使用される辞書で定義されているものなどの用語は、関連技術の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想的な意味又は過度に形式的な意味で解釈されるべきではないことを更に理解されたい。

【0178】

「外側」、「内側」、「上側」、「下側」、「下方」、「上方」、「垂直」、「水平」という空間的に相対的な用語、及び同様の用語は、図面に例解されるような１つの要素又は構成要素と別の要素又は構成要素との間の関係を説明するための説明を容易にするために、本明細書で使用され得る。空間的に相対的な用語は、図面に描写される配向に加えて、使用又は動作時のデバイスの異なる配向を包含することを意図していると理解されたい。例えば、図面に示すデバイスが反転される場合、別のデバイスの「下方」又は「下に」位置決めされたデバイスは、別のデバイスに「上方」に配置され得る。したがって、「下方」という例解的用語は、下側及び上側位置の両方を含み得る。デバイスはまた、他の方向に配向される場合があり、したがって、空間的に相対的な用語は、配向に応じて異なって解釈され得る。

【0179】

別途明記されない限り、「より少ない」、「より多い」、「より大きい」などの比較及び／又は定量的用語は、平等の概念を包含することを意図している。例えば、「より少ない」は、厳密な数学的意味での「より少ない」だけでなく、「以下」も意味することができる。

【0180】

〔実施の態様〕
（１） 医療処置をセグメント化するためのシステムであって、
１つ以上のプロセッサと、
命令を記憶するコンピュータ可読媒体であって、前記命令が実行されると、前記１つ以上のプロセッサに、
第１の期間にわたる特徴の第１のセットを取得することであって、前記特徴の第１のセットが、管腔内スコープ器具に対応する器具遠隔測定データから導出される、ことと、
前記第１の期間にわたる特徴の第２のセットを取得することであって、前記特徴の第２のセットが、経皮針器具に対応する器具遠隔測定データから導出される、ことと、
前記特徴の第１のセット及び前記特徴の第２のセットに基づいて、前記第１の期間の少なくとも一部分を前記経皮医療処置の第１の段階として分類することと、を行わせる、コンピュータ可読媒体と、を含む、システム。
（２） 前記管腔内スコープ器具が、位置センサを含み、前記特徴の第１のセットが、前記位置センサから導出されるデータを含む、実施態様１に記載のシステム。
（３） 前記第１の段階が、針挿入段階、標的選択段階、部位選択段階、及び針挿入後段階のうちの１つ以上に対応する、実施態様１に記載のシステム。
（４） 前記第１の段階が、針挿入を含む二項分類に対応する、実施態様１に記載のシステム。
（５） 前記第１の期間の前記少なくとも一部分の分類が、
経皮的入口を通して標的場所に向かって前記針器具を挿入する試みの開始の表示を生成することと、
前記経皮的入口を通して前記標的場所に向かって前記針器具を挿入する前記試みの終了の表示を生成することと、を更に含む、実施態様１に記載のシステム。

【0181】

（６） 前記コンピュータ可読媒体が、命令を更に記憶し、前記命令が実行されると、前記１つ以上のプロセッサに、
第２の期間にわたる特徴の第３のセットを取得することであって、前記特徴の第３のセットが、前記管腔内スコープ器具に対応する前記器具遠隔測定データから導出される、ことと、
前記第２の期間にわたる特徴の第４のセットを取得することであって、前記特徴の第４のセットが、前記経皮針器具に対応する前記器具遠隔測定データから導出される、ことと、
前記特徴の第３のセット及び前記特徴の第４のセットに基づいて、前記第２の期間の少なくとも一部を前記経皮医療処置の第２の段階として分類することと、を行わせる、実施態様１に記載のシステム。
（７） 前記特徴の第１のセットが、スコープ配置、スコープ配向、相対的針スコープ進行方向、相対的針スコープ３ｄ距離、位置合わせ誤差、スコープ線形本体速度、スコープ角度本体速度、及びスコープ絶対速度のうちの少なくとも１つを含む、実施態様１に記載のシステム。
（８） 前記特徴の第２のセットが、針配置、針配向、相対的針スコープ進行方向、相対的針スコープ３ｄ距離、標的までの距離、標的平面までの距離、位置合わせ誤差、針線形本体速度、針角度本体速度、及び針絶対速度のうちの少なくとも１つを含む、実施態様１に記載のシステム。
（９） システムであって、
１つ以上のプロセッサと、
命令を記憶するコンピュータ可読媒体であって、前記命令が実行されると、前記１つ以上のプロセッサに、
第１の経皮的処置の１つ以上のケースログからの遠隔測定データを取得することであって、前記遠隔測定データが、経時的な針器具のセンサ読み取り値を特徴付ける、ことと、
前記遠隔測定データに基づいて、前記遠隔測定データに関連付けられた第１の期間の少なくとも一部を前記第１の経皮的処置の第１の段階に分類することと、
前記第１の期間が前記第１の段階に関連付けられていることに応答して、前記第１の期間に対応する前記遠隔測定データから、前記第１の経皮的処置における前記第１の段階に関連付けられた１つ以上の臨床メトリックを生成することと、を行わせる、コンピュータ可読媒体と、を含む、システム。
（１０） 前記１つ以上の臨床メトリックが、標的腎杯の数、腎臓調査時間、極、後退距離、及び停止姿勢のうちの少なくとも１つを含む、実施態様９に記載のシステム。

【0182】

（１１） 前記１つ以上の臨床メトリックが、部位選択時間、平均管長さ、解剖学的角度、場発生器距離、針とスコープとの相対的角度、管長さ、及び腎杯に対する角度のうちの少なくとも１つを含む、実施態様９に記載のシステム。
（１２） 前記１つ以上の臨床メトリックが、成功率、針挿入精度、針挿入安定性、スコープ配置のシフト、精度、試行回数、針挿入速度、針後退速度、針挿入加速度、及び針後退加速度のうちの少なくとも１つを含む、実施態様９に記載のシステム。
（１３） 前記第１の段階が、標的選択段階、部位選択段階、針挿入段階、及び針挿入後段階のうちの少なくとも１つを表す、実施態様９に記載のシステム。
（１４） 前記コンピュータ可読媒体が、更なる命令を含み、前記更なる命令が実行されると、前記１つ以上のプロセッサに、
前記第１の経皮的処置に成功ラベルをラベル付けすることと、
前記１つ以上の臨床メトリックを前記成功ラベルと相関させることと、を行わせる、実施態様９に記載のシステム。
（１５） 経皮的処置中に針挿入の成功を自動的に識別するためのシステムであって、
命令を記憶するメモリと、
前記メモリに記憶される前記命令を実行するように構成された１つ以上のプロセッサと、
前記経皮的処置に関する１つ以上のデータセットから器具遠隔測定データを抽出するように構成された特徴抽出器モジュールと、
前記抽出された器具遠隔測定データに基づいて、１つ以上の多変量時系列分類アルゴリズムを適用して、期間を、前記経皮的処置の標的選択段階、前記経皮的処置の部位選択段階、又は前記経皮的処置の針挿入段階のうちの１つに属するものとして分類するように構成された段階セグメント化モジュールと、
前記１つ以上の多変量時系列分類に基づいて、（ａ）針器具と標的場所との間の距離を判定し、（ｂ）前記針挿入の成功予測を計算するように構成された成功分類器モジュールと、
前記成功予測に基づいて、針挿入部位又は針挿入軌道のうちの１つ以上に関する推奨を生成するように構成された推奨モジュールと、を含む、システム。

【0183】

（１６） 前記段階セグメント化モジュールが、完全畳み込みニューラルネットワークに基づいて前記期間を分類する、実施態様１５に記載のシステム。
（１７） 前記成功分類器モジュールは、１つ以上のロジスティック回帰アルゴリズムに基づいて前記成功予測を計算する、実施態様１５に記載のシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】