▶ アイカーン・スクール・オブ・メディシン・アット・マウント・サイナイの特許一覧 ▶ モノグラム・オーサピディクス・インコーポレイテッドの特許一覧
特表2023-518089患者固有の骨用ジグを用いた患者の骨のレジストレーションおよび／またはトラッキング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-27
(54)【発明の名称】患者固有の骨用ジグを用いた患者の骨のレジストレーションおよび／またはトラッキング
(51)【国際特許分類】
A61B 34/20 20160101AFI20230420BHJP
【ＦＩ】
A61B34/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022556656
(86)(22)【出願日】2021-03-16
(85)【翻訳文提出日】2022-10-21
(86)【国際出願番号】 US2021022524
(87)【国際公開番号】W WO2021188512
(87)【国際公開日】2021-09-23
(31)【優先権主張番号】62/990,827
(32)【優先日】2020-03-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】509059941
【氏名又は名称】アイカーン・スクール・オブ・メディシン・アット・マウント・サイナイ
【氏名又は名称原語表記】ＩＣＡＨＮ ＳＣＨＯＯＬ ＯＦ ＭＥＤＩＣＩＮＥ ＡＴ ＭＯＵＮＴ ＳＩＮＡＩ
【住所又は居所原語表記】Ｏｎｅ Ｇｕｓｔａｖｅ Ｌ．Ｌｅｖｙ Ｐｌａｃｅ，Ｎｅｗ Ｙｏｒｋ，ＮＹ １００２９ Ｕ．Ｓ．Ａ．
(71)【出願人】
【識別番号】522369979
【氏名又は名称】モノグラム・オーサピディクス・インコーポレイテッド
【氏名又は名称原語表記】Ｍｏｎｏｇｒａｍ Ｏｒｔｈｏｐａｅｄｉｃｓ Ｉｎｃ．
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100131808
【弁理士】
【氏名又は名称】柳橋 泰雄
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(72)【発明者】
【氏名】ユニス，ダグラス ビー
(72)【発明者】
【氏名】セクソン，ベンジャミン
(72)【発明者】
【氏名】パティル，フリシェーケシュ
(57)【要約】
【課題】
【解決手段】１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程と、１つ又は複数のプロセッサによって、患者の骨の外面部分に一致する内面部分を有する患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、１つ又は複数のプロセッサによって、患者の骨にレジストレーションされた患者固有の骨用ジグの少なくとも一部を表す画像データを取得する工程と、取得した画像データ、取得した患者固有の骨用ジグを表す三次元データ、及び取得した患者の骨を表す三次元データに基づいて、１つ又は複数のプロセッサによって、患者の骨の位置及び向きを表すデータを生成する工程と、を含む方法。別の実施形態では、患者の骨の一部に所定の空間指標がレジストレーションされた患者固有の骨用ジグを点サンプリングで採用してもよい。
【選択図】図５
【解決手段】１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程と、１つ又は複数のプロセッサによって、患者の骨の外面部分に一致する内面部分を有する患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、１つ又は複数のプロセッサによって、患者の骨にレジストレーションされた患者固有の骨用ジグの少なくとも一部を表す画像データを取得する工程と、取得した画像データ、取得した患者固有の骨用ジグを表す三次元データ、及び取得した患者の骨を表す三次元データに基づいて、１つ又は複数のプロセッサによって、患者の骨の位置及び向きを表すデータを生成する工程と、を含む方法。別の実施形態では、患者の骨の一部に所定の空間指標がレジストレーションされた患者固有の骨用ジグを点サンプリングで採用してもよい。
【選択図】図５
【特許請求の範囲】
【請求項1】
１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記患者の骨の外面部分に一致する内面部分を含む患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた前記患者固有の骨用ジグの少なくとも一部を表す画像データを取得する工程と、
前記取得された画像データ、前記取得された患者の骨を表す三次元データ、及び、前記取得された患者固有の骨用ジグの少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記患者の骨の位置及び向きを表すデータを生成する工程と、
を含む、コンピュータで実行される方法。
【請求項2】
前記生成された患者の骨の位置及び向きを表すデータに基づいて、前記患者の骨の少なくとも一部を切除するためのツールを有するロボットシステムを制御する工程をさらに含む、請求項１に記載のコンピュータで実行される方法。
【請求項3】
前記１つ又は複数のプロセッサによって、前記ツールが切除に適切なツールであることを確認する工程をさらに含む、請求項２に記載のコンピュータで実行される方法。
【請求項4】
前記１つ又は複数のプロセッサによって、前記ツールが前記ロボットシステムに適切に接続されていることを確認する工程をさらに含む、請求項２に記載のコンピュータで実行される方法。
【請求項5】
前記患者固有の骨用ジグは、第１の色を含み、前記画像データを取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記第１の色以外の色をフィルタリングする工程と、
を含み、
前記患者の骨の位置及び向きを表すデータを生成する工程は、前記フィルタリングされた画像に基づく、請求項１に記載のコンピュータで実行される方法。
【請求項6】
前記患者固有の骨用ジグは単一色からなり、前記画像データを取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の単一色以外の色をフィルタリングする工程と、
を含み、
前記患者の骨の位置及び向きを表すデータを生成する工程は、前記フィルタリングされた画像に基づく、請求項１に記載のコンピュータで実行される方法。
【請求項7】
前記患者固有の骨用ジグは、黒、緑、またはオレンジの色からなる単一色の外表面を含み、前記画像データを取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記黒、緑、またはオレンジ以外の色をフィルタリングする工程と、
を含み、
前記患者の骨の位置および向きを表すデータを生成する工程は、前記フィルタリングされた画像に基づく、請求項１に記載のコンピュータで実行される方法。
【請求項8】
前記患者固有の骨用ジグは、外向きに伸びるフィデューシャルを含み、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおいて撮像された前記外向きに伸びるフィデューシャルに基づく、請求項１に記載のコンピュータで実行される方法。
【請求項9】
前記患者固有の骨用ジグは、球状ＩＲアレイからなる外向きに伸びるフィデューシャルを有し、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおける外向きに伸びる球状ＩＲアレイを撮像したものに基づく、請求項１に記載のコンピュータで実行される方法。
【請求項10】
前記患者固有の骨用ジグは、複数の指標からなり、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データ中の画像化された指標に基づく、請求項１に記載のコンピュータで実行される方法。
【請求項11】
前記複数の指標は、複数のチャンネルからなり、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおける複数のチャンネルを撮像したものに基づく、請求項１０に記載のコンピュータで実行される方法。
【請求項12】
前記複数のチャンネルは、前記患者固有の骨用ジグの厚みを介して延びる、請求項１１に記載のコンピュータで実行される方法。
【請求項13】
前記複数の指標は、コーナーを有し、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおいて撮像されたコーナーに基づく、請求項１０に記載のコンピュータで実行される方法。
【請求項14】
前記複数の指標は、複数の凸面状の凹凸を含み、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおける撮像された凸面状の凹凸に基づく、請求項１０に記載のコンピュータで実行される方法。
【請求項15】
前記１つ又は複数のプロセッサによって、前記生成されたデータに基づき、前記患者の骨の位置と向きを経時的にトラッキングする工程をさらに含む、請求項１に記載のコンピュータで実行される方法。
【請求項16】
前記患者固有の骨用ジグは、前記患者の骨の前記外面部分を覆って延び、概ね一定の断面厚さを有する、請求項１に記載のコンピュータで実行される方法。
【請求項17】
前記概ね一定の断面厚さは、１ｍｍから１０ｍｍの範囲である、請求項１６に記載のコンピュータで実行される方法。
【請求項18】
前記１つ又は複数のプロセッサによって、前記患者固有の骨用ジグを製作する工程をさらに含む、請求項１に記載のコンピュータで実行される方法。
【請求項19】
前記１つ又は複数のプロセッサによって、前記取得された患者の骨を表す三次元データに基づいて、前記患者固有の骨用ジグを表す三次元データを生成する工程をさらに含む、請求項１８に記載のコンピュータで実行される方法。
【請求項20】
前記１つ又は複数のプロセッサによって前記患者の骨を表す三次元データを取得する工程は、前記１つ又は複数のプロセッサによって、前記患者の骨の医療用走査装置からスキャンを取得する工程を含む、請求項１に記載のコンピュータで実行される方法。
【請求項21】
前記スキャンは、ＣＡＴスキャンおよび／またはＭＲＩスキャンを含む、請求項２０に記載のコンピュータで実行される方法。
【請求項22】
前記１つ又は複数のプロセッサによって前記画像データを取得する工程は、前記１つ又は複数のプロセッサによって、イメージャまたはスキャン装置から画像またはスキャンを取得する工程を含む、請求項１に記載のコンピュータで実行される方法。
【請求項23】
前記イメージャまたは前記スキャン装置は、手持ち式イメージャ、カメラ、またはＩＲセンサを備える、請求項２２に記載のコンピュータで実行される方法。
【請求項24】
１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分と一致する内面部分を含む第２の対象の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の少なくとも一部を表す画像データを取得する工程と、
前記取得された画像データ、前記取得された第１の対象を表す三次元データ、及び前記取得された第２の対象の少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記第２の対象の位置及び／又は向きを表すデータを生成する工程と、
を含む、請求項１に記載のコンピュータで実行される方法。
【請求項25】
前記第１の対象はロボットエンドエフェクタを備え、前記第２の対象はツールを備える、請求項２４に記載のコンピュータで実行される方法。
【請求項26】
前記１つ又は複数のプロセッサによって、前記ツールが手順に適したツールであることを確認する工程をさらに含む、請求項２４に記載のコンピュータで実行される方法。
【請求項27】
前記１つ又は複数のプロセッサによって、前記ツールが前記ロボットエンドエフェクタに適切に接続されていることを確認する工程をさらに含む、請求項２４に記載のコンピュータで実行される方法。
【請求項28】
前記生成された第１の対象の位置および向きを表すデータに基づいて、前記ツールを有するロボットシステムを制御する工程をさらに含む、請求項２４に記載のコンピュータで実行される方法。
【請求項29】
前記第２の対象は第１の色を含み、前記画像データの取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記第１の色以外の色をフィルタリングする工程と、
を含み、
前記第１の対象の位置及び／又は向きを表すデータを生成する工程は、前記フィルタリングされた画像に基づく、請求項２４に記載のコンピュータで実行される方法。
【請求項30】
前記１つ又は複数のプロセッサによって、前記生成されたデータに基づいて、前記第１の対象の位置及び／又は向きを経時的にトラッキングする工程をさらに含む、請求項２４に記載のコンピュータで実行される方法。
【請求項31】
前記１つ又は複数のプロセッサによって、前記第２の対象を製造する工程をさらに含む、請求項２４に記載のコンピュータで実行される方法。
【請求項32】
前記第１の対象は患者の骨であり、前記第２の対象は患者固有の骨用ジグである、請求項２４に記載のコンピュータで実行される方法。
【請求項33】
処理回路によって読み取り可能な非一時的コンピュータ可読記憶媒体を備え、１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨の外面部分に一致する内面部分を含む患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた前記患者固有の骨用ジグの少なくとも一部を表す画像データを取得する工程と、
前記取得された画像データ、前記取得された患者の骨を表す三次元データ、及び前記取得された患者固有の骨用ジグの少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記患者の骨の位置及び向きを表すデータを生成する工程と、
を含む方法を実行するための前記処理回路による実行命令を記憶している、コンピュータプログラム製品。
【請求項34】
処理回路によって読み取り可能な非一時的コンピュータ可読記憶媒体を備え、１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分に一致する内面部分を含む第２の対象の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の少なくとも一部を表す画像データを取得する工程と、
前記取得された画像データ、前記取得された第１の対象を表す三次元データ、及び前記取得された第２の対象の少なくとも一部を表す三次元データに基づいて、前記第２の対象の位置及び／又は向きを表すデータを、前記１つ又は複数のプロセッサによって生成する工程と、
を含む方法を実行するための前記処理回路による実行命令を記憶している、コンピュータプログラム製品。
【請求項35】
１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記患者の骨の外面部分に一致する内面部分を含む患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた前記患者固有の骨用ジグの少なくとも一部を表す点サンプリングデータを取得する工程と、
前記取得された点サンプリングデータ、前記取得された患者の骨を表す三次元データ、及び前記取得された所定の空間指標を含む患者固有の骨用ジグの少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記患者の骨の位置及び方向を表すデータを生成する工程と、
を含む、患者の骨の位置と向きを決定するための、コンピュータで実行される方法。
【請求項36】
前記所定の空間指標は、前記患者固有の骨用ジグに設けられた複数のチャンネルを含む、請求項３５に記載のコンピュータで実行される方法。
【請求項37】
前記患者固有の骨用ジグは、一定の厚みを有し、前記チャンネルは、前記患者固有の骨用ジグの厚み方向に延びている、請求項３６に記載のコンピュータで実行される方法。
【請求項38】
前記患者固有の骨用ジグは、第１の色を含み、ＲＧＢカメラを使用して画像データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記第１の色以外の色をフィルタリングする工程と、
前記フィルタリングされた画像に基づいて、前記患者の骨の位置及び向きを表すデータを生成する工程と、
をさらに含む、請求項３５に記載のコンピュータで実行される方法。
【請求項39】
前記１つ又は複数のプロセッサによって、前記フィルタリングされた画像に基づく生成データに基づいて、前記患者の骨の位置及び向きを経時的にトラッキングする工程をさらに含む、請求項３８に記載のコンピュータで実行される方法。
【請求項40】
前記フィルタリングされた画像に基づく生成データに基づいて、前記患者の骨の少なくとも一部を切除するためのツールを有するロボットシステムを経時的に制御する工程をさらに含む、請求項３９に記載のコンピュータで実行される方法。
【請求項41】
前記１つ又は複数のプロセッサによって、前記取得された患者の骨を表す三次元データに基づいて、前記患者固有の骨用ジグを表す三次元データを生成する工程をさらに含む、請求項３９に記載のコンピュータで実行される方法。
【請求項42】
前記１つ又は複数のプロセッサによって、前記生成された、患者固有の骨用ジグを表す三次元データに基づいて、前記所定の空間指標を含む患者固有の骨用ジグを作製する工程をさらに含む、請求項３９に記載のコンピュータで実行される方法。
【請求項43】
１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分と一致する内面部分を含み、所定の空間指標を含む第２の対象の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の前記所定の空間的指標を表す点サンプリングデータを取得する工程と、
前記取得された点サンプリングデータ、前記取得された第１の対象を表す三次元データ、および前記取得された所定の空間指標を含む第２の対象の少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記第１の対象の位置および向きを表すデータを生成する工程と、
を含む、コンピュータで実行される方法。
【請求項44】
前記所定の空間指標は、前記第２の対象における複数のチャンネルを備える、請求項４３に記載のコンピュータで実行される方法。
【請求項45】
前記第２の対象は、一定の厚みを有し、前記チャンネルは、前記第２の対象の厚み方向に延びている、請求項４４に記載のコンピュータで実行される方法。
【請求項46】
前記第２の対象が第１の色を含み、前記１つ又は複数のプロセッサによって、ＲＧＢカメラを使用して画像データを取得し、前記画像中の前記第１の色以外の色をフィルタリングする工程と、
前記フィルタリングされた画像に基づいて、前記第１の対象の位置及び配向を表すデータを生成する工程と、
を含む、請求項４３に記載のコンピュータで実行される方法。
【請求項47】
前記１つ又は複数のプロセッサによって、前記生成されたデータに基づき、前記患者の骨の位置と配向を経時的にトラッキングする工程をさらに含む、請求項４６に記載のコンピュータで実行される方法。
【請求項48】
前記１つ又は複数のプロセッサによって、前記取得された第１の対象を表す三次元データに基づいて、前記第２の対象を表す三次元データを生成する工程をさらに含む、請求項４３に記載のコンピュータで実行される方法。
【請求項49】
前記１つ又は複数のプロセッサによって、前記生成された第２の対象を表す三次元データに基づいて、前記所定の空間指標を含む第２の対象を製作する工程をさらに含む、請求項４３に記載のコンピュータで実行される方法。
【請求項50】
処理回路によって読み取り可能な非一時的コンピュータ可読記憶媒体を備え、方法を実行するための処理回路による実行命令を記憶しているコンピュータプログラム製品であって、前記方法は、
１つ又は複数のプロセッサによって、前記患者の骨を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨の外面部分と一致する内面部分を含み、所定の空間指標を含む患者固有の骨治具の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた前記患者固有の骨用治具の前記所定の空間指標を表す点サンプリングデータを取得する工程と、
前記取得された点サンプリングデータ、前記取得された患者の骨を表す三次元データ、及び前記取得された、所定の空間指標を含む患者固有の骨治具の少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記患者の骨の位置及び向きを表すデータを生成する工程と、
を含む、コンピュータプログラム製品。
【請求項51】
処理回路によって読み取り可能な非一時的コンピュータ可読記憶媒体を備え、方法を実行するための処理回路による実行命令を記憶しているコンピュータプログラム製品であって、前記方法は、
１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分と一致する内面部分を含み、所定の空間指標を含む第２の対象の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の所定の空間指標を表す点サンプリングデータを取得する工程と、
前記取得された点サンプリングデータ、前記取得された第１の対象を表す三次元データ、および前記取得された、所定の空間指標を含む第２の対象の少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記第１の対象の位置および向きを表すデータを生成する工程と、
を含む、コンピュータプログラム製品。
【請求項52】
１つ又は複数のプロセッサによって、前記患者の骨を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記患者の骨の外面部分に一致する内面部分を含み、前記患者固有の骨治具の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた患者固有の骨用治具の少なくとも一部を表す画像データを取得する工程と、
前記取得された画像データ、前記取得された患者の骨を表す三次元データ、及び前記取得された、患者固有の骨治具の少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記患者の骨の位置及び向きを表すデータを生成する工程と、
を含む、コンピュータで実行される方法。
【請求項53】
前記生成された、患者の骨の位置及び向きを表すデータに基づいて、前記患者の骨の少なくとも一部を切除するためのツールを有するロボットシステムを制御する工程をさらに含む、請求項５２に記載の方法を実行するコンピュータ。
【請求項54】
前記１つ又は複数のプロセッサによって、前記ツールが前記切除のための適切なツールであることを確認する工程をさらに含む、請求項５２又は５３に記載のコンピュータで実行される方法。
【請求項55】
前記１つ又は複数のプロセッサによって、前記ツールが前記ロボットシステムに適切に接続されていること確認する工程をさらに含む、請求項５２～５４のいずれか１項に記載のコンピュータで実行される方法。
【請求項56】
前記患者固有の骨治具は、第１の色を含み、前記画像データを取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記第１の色以外の色をフィルタリングする工程と、
を含み、
前記生成された、患者の骨の位置及び向きを表すデータは、前記フィルタリングされた画像に基づく、請求項５２～５５のいずれか１項に記載のコンピュータで実行される方法。
【請求項57】
前記患者固有の骨用ジグは単一色からなり、前記画像データの取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の単一色以外の色をフィルタリングする工程と、
を含み、
前記患者の骨の位置及び向きを表すデータを生成する工程は、前記フィルタリングされた画像に基づく、請求項５２～５５のいずれか１項に記載のコンピュータで実行される方法。
【請求項58】
前記患者固有の骨用ジグは、黒、緑、若しくはオレンジの色からなる単一色の外表面からなり、前記画像データの取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記黒、緑、もしくはオレンジ以外の色をフィルタリングする工程と、
を含み、
前記患者の骨の位置および向きを表すデータを生成する工程は、前記フィルタリングした画像に基づく、請求項５２～５５のいずれか１項に記載のコンピュータで実行される方法。
【請求項59】
前記患者固有の骨用ジグは、外向きに伸びるフィデューシャルを含み、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおいて撮像された外向きに伸びるフィデューシャルに基づく、請求項５２～５８のいずれか１項に記載のコンピュータで実行される方法。
【請求項60】
前記患者固有の骨用ジグは、球状ＩＲアレイからなる外向きに伸びるフィデューシャルを備え、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおける外向きに伸びる球状ＩＲアレイの撮像に基づく、請求項５２～５８のいずれか１項に記載のコンピュータで実行される方法。
【請求項61】
前記患者固有の骨用ジグは、複数の指標を含み、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データ中の画像化された指標に基づく、請求項５２～６０のいずれか１項に記載のコンピュータで実行される方法。
【請求項62】
前記複数の指標は、複数のチャンネルを備え、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおいて撮像された複数のチャンネルに基づく、請求項６１に記載のコンピュータで実行される方法。
【請求項63】
前記複数の複数のチャンネルは、前記患者固有の骨用ジグの厚さにわたって延びる、請求項６２に記載のコンピュータで実行される方法。
【請求項64】
前記複数の指標はコーナーを含み、前記患者の骨の位置および向きを表すデータを生成する工程、前記取得された画像データにおいて撮像されたコーナーに基づく、請求項６１に記載のコンピュータで実行される方法。
【請求項65】
前記複数の指標は、複数の凸面状の凹凸を含み、前記患者の骨の位置および向きを表すデータを生成する工程は、前記取得された画像データにおける撮像された凸面状の凹凸に基づく、請求項６１に記載のコンピュータで実行される方法。
【請求項66】
前記１つ又は複数のプロセッサによって、前記生成されたデータに基づき、前記患者の骨の位置と向きを経時的に追跡する工程をさらに含む、請求項５２～６５のいずれか１項に記載のコンピュータで実行される方法。
【請求項67】
前記患者固有の骨用ジグは、前記患者の骨の外面部分を覆って延び、概ね一定の断面厚みを有する、請求項５２～６６のいずれか１項に記載のコンピュータで実行される方法。
【請求項68】
前記概ね一定の断面厚みは、１ミリから１０ミリである、請求項６７に記載のコンピュータで実行される方法。
【請求項69】
前記１つ又は複数のプロセッサによって、前記患者固有の骨用ジグを製作する工程をさらに含む、請求項５２～６８のいずれか１項に記載のコンピュータで実行される方法。
【請求項70】
前記１つ又は複数のプロセッサによって、前記取得された患者の骨を表す三次元データに基づいて、前記患者固有の骨用ジグを表す三次元データを生成する工程をさらに含む、請求項６９に記載のコンピュータで実行される方法。
【請求項71】
前記１つ又は複数のプロセッサによって前記患者の骨を表す三次元データを取得する工程は、前記１つ又は複数のプロセッサによって、前記患者の骨の医療用走査装置からのスキャンを取得する工程を含む、請求項５２～７０のいずれか１項に記載のコンピュータで実行される方法。
【請求項72】
前記スキャンは、ＣＡＴスキャンおよび／またはＭＲＩスキャンを含む、請求項７１に記載のコンピュータで実行される方法。
【請求項73】
前記１つ又は複数のプロセッサによって前記画像データを取得する工程は、前記１つ又は複数のプロセッサによって、イメージャまたはスキャン装置から画像またはスキャンを取得する工程を含む、請求項５２～７２のいずれか１項に記載のコンピュータで実行される方法。
【請求項74】
前記イメージャまたはスキャン装置は、手持ち式イメージャ、カメラ、若しくはＩＲセンサを含む、請求項７３に記載のコンピュータで実行される方法。
【請求項75】
１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分と一致する内面部分を含む第２の対象の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の少なくとも一部を表す画像データを取得する工程と、
前記取得された画像データ、前記取得された第１の対象を表す三次元データ、及び前記取得された、第２の対象の少なくとも一部を表す三次元データに基づいて、前記第２の対象の位置及び／又は向きを表すデータを、前記１つ又は複数のプロセッサによって生成する工程と、
を含む、コンピュータで実行される方法。
【請求項76】
前記第１の対象は、ロボットエンドエフェクタを備え、前記第２の対象は、ツールを備える、請求項７５に記載のコンピュータで実行される方法。
【請求項77】
前記１つ又は複数のプロセッサによって、前記ツールが手順に適したツールであることを確認する工程をさらに含む、請求項７５又は７６に記載のコンピュータで実行される方法。
【請求項78】
前記１つ又は複数のプロセッサによって、前記ツールが前記ロボットエンドエフェクタに適切に接続されていること確認する工程をさらに含む、請求項７５～７７のいずれか１項に記載のコンピュータで実行される方法。
【請求項79】
前記第１の対象の位置および向きを表す生成されたデータに基づいて、前記ツールを有するロボットシステムを制御する工程をさらに含む、請求項７５～７８のいずれか１項に記載のコンピュータで実行される方法。
【請求項80】
前記第２の対象は第１の色を含み、前記画像データを取得する工程は、
ＲＧＢカメラを使用する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記第１の色以外の色をフィルタリングする工程と、
を含み、
前記第１の対象の位置及び／又は向きを表すデータを生成する工程は、前記フィルタリングされた画像に基づく、請求項７５～７９のいずれか１項に記載のコンピュータで実行される方法。
【請求項81】
前記１つ又は複数のプロセッサによって、前記生成されたデータに基づいて、前記第１の対象の位置及び／又は向きを経時的に追跡する工程をさらに含む、請求項７５～８１のいずれか１項に記載のコンピュータで実行される方法。
【請求項82】
前記１つ又は複数のプロセッサによって、前記第２の対象を製造する工程をさらに含む、請求項７５～８１のいずれか１項に記載のコンピュータで実行される方法。
【請求項83】
前記第１の対象は、患者の骨を含み、前記第２の対象は、患者固有の骨用ジグである、請求項７５～８２のいずれか１項に記載のコンピュータで実行される方法。
【請求項84】
患者の骨の位置及び向きを決定するための方法であって、１つ又は複数のプロセッサによって、前記患者の骨を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨の外表面部分に一致する内表面部分を含み、所定の空間指標を含む患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた前記患者固有の骨用ジグの所定の空間指標を表す点サンプリングデータを取得する工程と、
前記取得された点サンプリングデータ、前記取得された患者の骨を表す三次元データ、及び前記取得された、所定の空間指標を含む患者固有の骨用ジグの少なくとも一部を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記患者の骨の位置及び向きを表すデータを生成する工程と、
を含む、コンピュータで実行される方法。
【請求項85】
前記所定の空間指標は、前記患者固有の骨用ジグに設けられた複数のチャンネルを備える、請求項８５に記載のコンピュータで実行される方法。
【請求項86】
前記患者固有の骨用ジグは、一定の厚さを有し、前記チャンネルは前記患者固有の骨用ジグの厚さを貫通して延びている、請求項８５に記載のコンピュータで実行される方法。
【請求項87】
前記患者固有の骨用ジグは、第１の色を含み、ＲＧＢカメラを使用して画像データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記画像中の前記第１の色以外の色をフィルタリングする工程と、
をさらに含み、
前記患者の骨の位置及び向きを表すデータを生成する工程は、フィルタリングされた画像に基づく、請求項８４～８６のいずれか１項に記載のコンピュータで実行される方法。
【請求項88】
前記フィルタリングされた画像に基づき生成されたデータに基づいて、前記１つ又は複数のプロセッサによって、前記患者の骨の位置及び向きを経時的に追跡する工程をさらに含む、請求項８７に記載のコンピュータで実行される方法。
【請求項89】
前記フィルタリングされた画像に基づく生成されたデータに基づいて、前記患者の骨の少なくとも一部を切除するためのツールを有するロボットシステムを経時的に制御する工程をさらに含む、請求項８７に記載のコンピュータで実行される方法。
【請求項90】
前記取得された患者の骨を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、患者固有の骨用ジグを表す三次元データを生成する工程さらに含む、請求項８４～８９のいずれか１項に記載のコンピュータで実行される方法。
【請求項91】
前記１つ又は複数のプロセッサによって、前記生成された、患者固有の骨用ジグを表す三次元データに基づいて、所定の空間指標を含む患者固有の骨用ジグを作製する工程さらに含む、請求項９０に記載のコンピュータで実行される方法。
【請求項92】
１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分と一致する内面部分を含み、所定の空間指標を含む第２の対象の少なくとも一部を表す三次元データを取得する工程と、
前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の所定の空間指標を表す点サンプリングデータを取得する工程と、
前記取得された点サンプリングデータ、前記取得された第１の対象を表す三次元データ、および前記取得された、所定の空間指標を含む第２の対象の少なくとも一部を表す三次元データに基づいて、１つ又は複数のプロセッサによって、第１の対象の位置および向きを表すデータを生成する工程と、
を含む、コンピュータで実行される方法。
【請求項93】
前記所定の空間指標は、前記第２の対象における複数のチャンネルを備える、請求項９２に記載のコンピュータで実行される方法。
【請求項94】
前記第２の対象は、一定の厚さを有し、前記チャンネルは、前記第２の対象の厚さ方向に延びている、請求項９３に記載のコンピュータで実行される方法。
【請求項95】
前記第２の対象は、第１の色を含み、ＲＧＢカメラを使用して画像データを取得し、１つ又は複数のプロセッサによって、画像内の第１の色以外の色をフィルタリングする工程と、
前記フィルタリングされた画像に基づいて、前記第１の対象の位置及び向きを表すデータを生成する工程と、
請求項９２～９４のいずれか１項に記載のコンピュータで実行される方法。
【請求項96】
前記１つ又は複数のプロセッサによって、前記生成されたデータに基づき、患者の骨の位置と向きを経時的に追跡する工程をさらに含む、請求項９５に記載のコンピュータで実行される方法。
【請求項97】
前記取得された、第１の対象を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記第２の対象を表す三次元データを生成する工程をさらに含む、請求項９２～９６のいずれか１項に記載のコンピュータで実行される方法。
【請求項98】
前記生成された、第２の対象を表す三次元データに基づいて、前記１つ又は複数のプロセッサによって、前記所定の空間指標を含む第２の対象を製作する工程をさらに含む、請求項９２～９７のいずれか１項に記載のコンピュータで実行される方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２０年３月１７日に出願された「患者固有の骨用ジグを使用した患者の骨のレジストレーションおよび／またはトラッキング」と題する米国仮特許出願第６２／９９０，８２７号の優先権の利益を完全に主張し、この出願は、その全体が参照により本明細書に援用される。
【0002】
本開示は、一般に外科的方法に関し、より具体的には、画像化および／またはポイントサンプリングとともに患者固有（患者専用）の骨用ジグ（治具）を使用する患者の骨のレジストレーションおよび／またはトラッキングに関する。
【背景技術】
【0003】
一般的に、コンピュータ支援ナビゲーション手順、術前外科画像処理は、患者の骨のような関心のある解剖学的特徴をデジタル的に捕捉するために頻繁に使用される。レジストレーション及びトラッキングのプロセスは、第１に、関心のある対象の実際の開始位置に関する情報をナビゲーションシステムに提供し、第２に、トラッキングされた対象の時間の経過に伴う動きでナビゲーションシステムを更新するために使用される。レジストレーションプロセスでは、熟練したユーザがトラッキング可能なスタイラスを使用して臨床的に既知の解剖学的標識点をサンプリングすることが一般的である。例えば、股関節のコンピュータ支援ナビゲーション手順では、これらの点（ポイント）は、大転子または小転子の頂点である場合がある。他の従来のレジストレーションプロセスでは、位置合わせマーカ（フィデューシャルマーカ）を備えたトラッキングプローブを関心のある対象に手動で配置し、サンプリングした点を対象の位置を推測するアルゴリズムに統合する。非限定的な例として、フィデューシャルマーカは、ＩＲカメラ、光学カメラ、若しくはレーダーによって可視化されてもよい。レジストレーションアルゴリズムは、アライメント誤差を最小化することによって、データのセットを共通の座標系に関連付ける。レジストレーションパラメータは、表面モデルの座標フレームとロボットの座標フレームとの間の変換を規定する。
【発明の概要】
【課題を解決するための手段】
【0004】
例えば、１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記患者の骨の外面部分に一致する内面部分を含む患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた前記患者固有の骨用ジグの少なくとも一部を表す画像データを取得する工程と、前記取得された画像データ、前記患者の骨を表す取得された三次元データ、及び前記患者固有の骨用ジグの少なくとも一部を表す得られた三次元データに基づいて、前記患者の骨の位置及び向きを表すデータを、前記１つ又は複数のプロセッサによって生成する工程と、を含む、コンピュータで実行される方法の一実施形態によって、先行技術の欠点は克服され、さらなる利点が提供される。
【0005】
別の実施形態では、コンピュータで実行される方法は、例えば、１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分に一致する内面部分を含む第２の対象の少なくとも一部を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の少なくとも一部を表す画像データを取得する工程と、前記取得された画像データ、前記第１の対象を表す、取得された三次元データ、及び前記第２の対象の少なくとも一部を表す、取得された三次元データに基づいて、前記第２の対象の位置及び／又は向きを表すデータを、前記１つ又は複数のプロセッサによって生成する工程と、を含む。
【0006】
別の実施形態では、コンピュータで実行される方法は、例えば、１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、患者の骨の外面部分に一致する内面部分を含み、所定の空間的指標を有する患者固有の骨用ジグの少なくとも一部を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記患者の骨にレジストレーションされた前記患者固有の骨ジグの所定の空間指標を表す点サンプリングデータを取得する工程と、前記取得された点サンプリングデータ、前記患者の骨を表す前記取得された三次元データ、及び、前記所定の空間的指標を有する患者固有の骨用ジグの少なくとも一部を表す、取得された三次元データに基づいて、前記患者の骨の位置及び向きを表すデータを生成する工程と、を含む。
【0007】
別の実施形態では、コンピュータで実行される方法は、例えば、１つ又は複数のプロセッサによって、第１の対象を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象の外面部分と一致する内面部分を有し、所定の空間指標を有する第２の対象の少なくとも一部を表す三次元データを取得する工程と、前記１つ又は複数のプロセッサによって、前記第１の対象にレジストレーションされた前記第２の対象の所定の空間指標を表す点サンプリングデータを取得する工程と、前記取得した点サンプリングデータ、前記取得した第１の対象を表す三次元データ、および前記取得した所定の空間指標を有する第２の対象の少なくとも一部を表す三次元データに基づいて、前記第１の対象の位置および方向を表すデータを、前記１つ又は複数のプロセッサによって生成する工程と、を含む。
【図面の簡単な説明】
【0008】
開示とみなされる主題は、本明細書の結論部分において特に指摘され、明確に請求される。しかしながら、本開示は、様々な実施形態の以下の詳細な説明および添付の図面を参照することによって最もよく理解され得る。
【発明を実施するための形態】
【0009】
一般的に、本開示は、外科的方法、より詳細には、患者の骨の画像化及び／又は最小点サンプリングと共に患者固有の骨用ジグを採用する患者の骨のレジストレーション及びトラッキングに関するものである。
【0010】
この詳細な説明及び以下の請求項において、近位、遠位、前、後、内側、外側、上、及び下という語は、自然の骨の相対的配置又は方向性の用語に従って骨又はインプラントの特定の部分を示すためのそれらの標準的な使用法によって定義されている。位置または方向は、解剖学的構造または表面を参照して本明細書で使用されてもよい。例えば、現在の装置および方法は、股関節の骨との使用を参照して本明細書に記載されているので、股関節の骨は、インプラント装置、インプラント設置装置、および手術方法の表面、位置、方向、または向きを説明するために使用されてもよい。さらに、本明細書に開示される装置および外科的方法、ならびにその態様、構成要素、特徴などは、簡潔さを目的として、身体の片側に関して説明される。しかしながら、人体は、対称線（正中線）に関して比較的対称である、または鏡面であるので、本明細書に記載および／または図示される装置および外科的方法、ならびにその態様、構成要素、特徴などは、本開示の思想および範囲から逸脱することなく、同一または類似の目的のために身体の別のサイドと使用または関連するために変更、変化、修正、再構成またはその他の変更が可能であると明らかに考慮される。例えば、右大腿骨に関して本明細書に記載されたツールおよび方法、ならびにその態様、構成要素、特徴などは、左大腿骨で同様に機能するようにミラーリングされてもよく、その逆もまた然りである。
【0011】
レジストレーションは、実際の患者の骨などの実際の解剖学的構造を、コンピュータに入力されたＸ線写真、蛍光透視法、及び／又は、コンピュータ断層撮影（ＣＴ）スキャンデータと一致させるプロセスである。本開示は、いくつかの実施形態において、術前コンピュータモデルを術野におけるそのリアルタイムの位置又は「姿勢（ポーズ）」に整合させるレジストレーションプロセスの時間を短縮し、精度を高めるためのプロセス、及び／又は、（姿勢は全てのサンプリング位置で捕捉することができるが、通常、既知の開始姿勢が決定されると、）レジストレーションされた対象のリアルタイム位置をナビゲートトラッキング又は更新するプロセスに一般的に関する。数学的に、変換は、開始姿勢を見つけるために決定されてもよく、この変換は、リアルタイムトラッキング位置の全てに適用されてもよい。本開示の技術の利点は、同等の時間において可能である、よりも多くの点をサンプリングすることによってレジストレーション精度を高めつつ、患者の骨自体の手動による点サンプリングレジストレーション方法の必要性を排除することを含み得る。実際の患者の骨とコンピュータモデルまたは患者の骨を表すデータをレジストレーションした後、患者の骨の切除を含むさらなる自動化またはロボットによる処置が行われる場合がある。
【0012】
図１は、本開示の一実施形態に係る、患者の骨のレジストレーション及びトラッキングに使用するための方法１０を示す図である。例えば、方法１０は、一般に、撮像システムの使用と、患者固有の骨用ジグ（治具）の使用との組み合わせを含んでいてよい。
【0013】
この例示された実施形態では、方法１０は、患者の骨の位置及び向きを決定するように動作可能であってもよく、例えば、１つ又は複数のプロセッサによって、患者の骨を表す三次元データを取得する工程２０と、患者固有の骨用ジグは患者の骨の一部と一致する患者固有の骨用ジグの少なくとも一部を表す三次元データを、１つ又は複数のプロセッサによって取得する工程３０と、１つ又は複数のプロセッサによって、患者の骨にレジストレーションされた患者固有の骨用ジグの少なくとも一部を表す画像データを取得する工程４０と、取得された画像データ、取得された患者固有の骨用ジグの少なくとも一部を表す三次元データ、及び取得された患者の骨を表す三次元データに基づいて、１つ又は複数のプロセッサによって、患者の骨の位置及び向きを表すデータを生成する工程５０と、を含んでよい。該方法はさらに、生成された患者の骨の位置及び向きを表すデータに基づいて、患者の骨の少なくとも一部を切除するためのツールを有するロボットシステムを制御する工程６０を含んでいてよい。
【0014】
図２は、本開示の一実施形態に係る、大腿骨の近位部などの患者の骨１２に固定された患者固有の骨用ジグ１００を示す図である。この例示された実施形態では、患者固有の骨用ジグ１００は、患者固有の骨用ジグ１００を患者の骨１２に調整又は整合させることを可能にする少なくとも１つ以上の特徴を含んでもよい。例えば、患者固有の骨用ジグ１００は、患者の骨１２の対応する外面輪郭１３に一致するように設計された患者固有の内面輪郭１１２を有する本体１１０を含んでもよい。以下により詳細に説明するように、患者固有の骨用ジグ１００は、深度カメラ２００（図３）による検出のために最適化されてもよい。以下の説明から理解されるように、患者固有の骨用ジグ１００のモデル、形状、又は部分の知識は、患者の骨自体を撮像する際に必要とされるような複雑な計算画像認識アルゴリズムの必要性を排除しつつ、患者の骨１２の姿勢（例えば、位置及び／又は向き）データを迅速に推測することを可能にし得る。
【0015】
いくつかの実施形態では、患者固有の骨用ジグ１００の１つ以上の特徴又は指標は、臨床環境における患者の骨１２のレジストレーション及びトラッキングのために１つ以上の深度カメラを利用するシステムの性能を最適化又は支援するように設計されてもよい。例えば、いくつかの実施形態では、患者固有の骨用ジグ１００は、患者固有の骨用ジグ１００の色を含む特徴又は指標に基づいてもよい。外科的切開では、例えば皮膚組織、脂肪組織、筋肉組織、血液、軟骨、手術用レトラクター、滅菌ドレープなど、様々な色を持つものが多数存在する場合がある。さらに、そのときの照明条件は、大きく変化する可能性がある。患者固有の骨用ジグ１００は、周囲のシーン（光景）と対比されやすいような非有機的で高度に差別化された色で設計されてもよい。例えば、患者固有の骨用ジグ１００は、明るいオレンジ色又は明るい緑色を有していてもよい。いくつかの実施形態では、患者固有の骨用ジグは、患者の骨の外面部分上に延び、概ね一定の断面厚さＴを有していてもよい。
【0016】
図３を参照すると、深度カメラ２００は、ＲＧＢ（赤、緑、青）カメラ２１０と、赤外線（ＩＲ）プロジェクタ２２０と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの近赤外線（ＩＲ）センサ２３０とを含んでもよい。ＲＧＢカメラ２１０は、プロセッサ及び適切なプログラミングと共に、指定されたＲＧＢ範囲内の色をフィルタリング又はマスクするように動作可能であってよい。ＲＧＢカメラ２１０は、例えば、明るいオレンジ色又は明るい緑色でない任意の対象をフィルタリング又はマスクするために使用することができる。骨を「識別」するために複雑な計算ソフトウェアに頼るのではなく、患者の骨は、患者固有の骨用ジグを介して識別することができる。例えば、カメラは、明るい緑色の対象（例えば、骨用ジグ）以外の全てをマスクするように構成されてもよい。患者固有の骨用ジグが既知の位置（すなわち、患者固有であるような位置）で患者の骨上に静止及び／又は患者の骨に固定された状態で、明るいオレンジ又は緑の患者固有の骨用ジグの識別に基づいて、基礎となる患者の骨の位置を推測、決定、又は生成することができる。他の実施形態では、深度カメラは、構造化光投影器及びカメラ受信機を含んでもよく、既知のパターンがシーンに投影されて、シーン内の対象に関する深度及び表面情報を計算する。
【0017】
図４は、本開示の一実施形態による、フィデューシャルアレイ３００を有する患者固有の骨用ジグ１００を示す。深度カメラを利用してレジストレーションが行われてもよく、計算負荷が高いリアルタイムの対象識別と比較して、従来の手段でフィデューシャルアレイ３００を有する患者固有の骨用ジグ１００をトラッキングするために変換が適用されてもよい。
【0018】
図５は、患者固有の骨用ジグ１００、フィデューシャルアレイ３００、及び患者の骨１２のＲＧＢカメラ２００（図３）の視点からのシーンの出力を表す表示画像４００（図５において右下に示す）を示す図である。患者固有の骨用ジグ１００、フィデューシャルアレイ３００、及び患者の骨１２を表すデータは、深度カメラ２００（図３）によって得られ、表示画像４００に示される患者固有の骨用ジグ１００’、フィデューシャルアレイ３００’、及び患者の骨１２’を表す画像データを形成するように処理され得る。
【0019】
図６は、患者固有の骨用ジグ１００のＲＧＢカメラ２００、フィデューシャルアレイ３００、及び患者の骨１２（図６の左上にも示す）の視点から図５に示すのと同じシーンの出力の表示画像５００（図６の右下に示す）であり、黒のカラーマスクが施されている。表示画像５００のこの図示された実施形態では、黒色の対象、すなわち患者固有の骨用ジグ１００’’以外の全てが見えるようにされている。例えば、表示画像５００において、黒色以外の全ての色を見えなくするようにしてもよい。
【0020】
理解されるように、カラーフィルタを使用すると、「ノイズの多い」シーンは、さらなる処理及び計算のために単純化されることがある。従って、着色された患者固有の骨用ジグ１００は、対象識別を補助する。本技術は、対象の全てが見えるマスク又はフィルタリングなしの画像４００（図５）と比較して、必要な処理時間を単純化及び短縮することができ、これにより、患者の骨を識別するための計算上の課題が増加する（例えば、特に時間の露出が制限されている場合）。
【0021】
いくつかの実施形態では、患者固有の骨用ジグは、図７に示すような多角形の表面コーティングのように、複数の鋭い角（コーナー）１２０を有するとても不規則な表面などの特徴又は指標を利用することができる。いくつかの実施形態では、患者固有の骨用ジグは、図８に示されるような照明コントラストを高めるために、凸状表面凹凸１３０などの特徴又は指標も利用することができる。異なる表面の特徴又は指標は、単独で、又は患者固有の骨用ジグに関連して使用されてもよい。深度カメラは、対象の位置及び／又は向きを推論するための２段階のプロセスを採用してもよい。例えば、深度キャメラは、高速特徴検出アルゴリズムとそれに続くＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）最適化を利用することができる。促進的案特徴検出の一般的な方法として、コーナー検出を採用することができる。
【0022】
患者固有の骨用ジグは、レジストレーションのため、又はレジストレーション及びトラッキングのために使用されてもよい。例えば、色及び／又は表面特徴のような既知の特徴又は指標を有する患者固有の骨用ジグを識別するアルゴリズムを訓練することにより、レジストレーション及び／又はトラッキングのために深度カメラを利用する課題が単純化される場合がある。深度カメラは、一度に何千もの点をサンプリングすることができ、これは、レジストレーションの潜在的な精度を増加させることができる。
【0023】
図９は、手持ち式であってよく、ナビゲーションシステム、例えばレーダーなどのナビゲーションシステムによって監視され得るフィデューシャル（基準、指標）または他のデバイスによってトラッキングされ得るＲＧＢＤカメラなどの手持ち式深度カメラ２５０を例示している。図１０は、ロボット６００と、ロボットアーム６１０と、ロボットエンドエフェクタ６２０と、ツール６３０と、複数の深度カメラ２５０と、を示している。
【0024】
ロボットシステムの位置精度を利用して、ツール中心点（ＴＣＰ）をロボット上の既知の点、例えばフランジに較正することができる。エンドエフェクタは、ＲＧＢＤカメラによるフィルタリングを可能にするために陽極酸化されるか、さもなければ着色されることが可能である。ロボット上の既知の位置に既知の可視標識点を埋め込んで、そこにＴＣＰをレジストレーションすることができる。
【0025】
ＲＧＢＤカメラは、ロボットエンドエフェクタと係合しているツールタイプを識別するために使用することができる。例えば、システムが６ｍｍのバリを要求しているが９ｍｍのバリが係合されている場合、ＲＧＢＤカメラは高速特徴検出アルゴリズムを使用して対象物を特定し、この情報をユーザに返すことができる。非限定的な例として、球状バリが係合されているが非球状バリが必要な場合、同様にソフトウェアアルゴリズムがこの情報をユーザに返すことができる。
【0026】
別の実施形態では、ＲＧＢＤカメラは、すべてのサンプリングされた点におけるカメラの位置が既知であるようにトラッキングされてよい。ＴＣＰ位置は、複数の既知の位置（ローカライゼーション）における複数の読み取り値から推測することができる。
【0027】
手持ち式深度カメラ２５０は、エンドエフェクタおよびツール先端の姿勢および位置を正確かつ迅速に求めるために、高速特徴検出アルゴリズムと共に使用され得る。ツール先端の特別な位置を正確に測定する能力により、ロボットは、様々な位置に移動でき（例えばＸＹＺ－４点較正）、制御アルゴリズムのためにツールオフセットを迅速かつ正確に推測することができる。例えば、理論的な位置は、実際の位置と比較され、変換を推論することができる。適切なツール（直径およびツールタイプを含む）によって、ツールが完全に係合し、適切に適用するためにロボットのエンドエフェクタ内に適切に装着されていることを確認することができる。
【0028】
ロボットを較正するための従来の方法には、基準部品に触れる工程と、距離センサを使用する工程と、レーザー干渉法を採用する工程と、が含まれ得る。また、ロボットは、基準対象の正確な位置を取得するために、様々なロボット位置に取り付けられるカメラシステムなどの外部センサを使用して較正されることもある。本開示では、高速特徴識別が可能なカメラを用い、位置特定アルゴリズムで位置を特定することで、これらの従来の方法に伴う問題である、時間がかかること、及び複雑であることを克服できる可能性がある。
【0029】
注目すべきは、先に説明したような同色のＲＧＢフィルタをここで使用することができることである。例えばエンドエフェクタ、バリガイド、及びツールは、術野で対象を識別する計算問題を単純化するために、着色又は陽極酸化されてもよい。注目すべきは、このシステムの利点は、カメラを動かして、より正確に対象の位置を特定できることである。他のセットアップでは、センサは固定され、ロボットが動かされることが多い。
【0030】
本開示のいくつかの実施形態では、深度カメラは、ツール中心点（ＴＣＰ）をロボットフランジまたはロボット上のいくつかの既知の点にレジストレーションする。例えば、産業オートメーションロボットは、各関節の正確な位置を返す関節感知（例えば、エンコーダ）を含んでよい。空間におけるフランジの位置を、高精度に知ることができる。本開示は、空間におけるフランジの位置にＴＣＰをレジストレーションすることを提案する。レジストレーションは、その術野内の対象（ツールの先端からフランジ）に対するものであるので、深度カメラは、空間内のその位置に戻るために、ナビゲーションシステムによってトラッキングされる必要がない。冗長性として、ＲＧＢＤカメラをトラッキングし、ＴＣＰの位置が予想位置の許容範囲内であることを確認することもできる。
【0031】
深度カメラは、術野におけるトラッキング対象の姿勢推定に使用されるだけでなく、ロボットツール自体の較正に使用することもでき、また、適切な切削ツールタイプが係合し（例えば、正しい直径及び形状のバリ）、切削器具に適切に装着されているかを確認することもできる。ロボットは、作業中にツールの正確な位置を認識していることが望ましい。異なるツールを装着するたびに、ロボットを正確に再キャリブレーションすることを要する場合がある。ＴＣＰは、ロボットツール測定においてツールの正確な作業点を決定する。
【0032】
本開示の別の技術は、従来の点サンプリングに基づくレジストレーション方法の性能を向上させるために患者固有の骨用ジグを利用する方法に関する。従来の点サンプリング方法は、一般に、以下を含む２段階のプロセスである。１）解剖学的に重要な点をサンプリングすることによって対象の姿勢の近似が決定され、２）より多くの点をサンプリングし、反復的な最接近点アルゴリズムを実行することによって、より正確な位置が決定される。本開示の技術は、低減された点サンプリングで患者固有の骨用ジグと患者の骨とを容易に調整することを可能にする指標又は特徴を有する患者固有の骨用ジグを含んでもよい。
【0033】
図１１は、本開示の一実施形態に係る、本体７１０に統合されたチャンネル７２０などの指標又は特徴を有する本体７１０を有する患者固有の骨用ジグ７００を示す。チャンネル７２０の位置は、本体７１０に対して既知であるか又は相関していてもよく、この本体７１０もまた、患者の骨の医療スキャンと連携するように構成されてもよい。チャンネル７２０は、レジストレーションプローブによる関心点のサンプリングを低減し、より正確に行うことを可能にし得る。レジストレーションプローブは、より正確に点をサンプリングするために、例えば、チャンネルの先端部において、患者固有の骨用ジグ上の既知の位置の点に配置することができる。図１２を参照すると、レジストレーションプローブチップは、レジストレーションのためのより正確な位置読み取りを得るために、チャンネル７２０の遠位端７３０（図１２の丸で囲んだ領域内）に配置され得る。図１３は、チャンネル８２０を有する本体８１０を有する患者固有の膝骨用ジグ８００を示す。異なる構成を有する他のチャンネル、切り欠き、又は他の通路が好適に採用されてもよいことが理解される。例えば、点サンプリングは、患者の骨にレジストレーションされ固定された患者固有の骨用ジグの初期位置及び向きを得るために実行されてもよい。その後、患者の骨にレジストレーションされ固定された患者固有の骨用ジグの位置及び向きを経時的にトラッキングするために、撮像が実行されてもよい。
【0034】
図１４及び図１５は、本開示の一実施形態による、本体９１０に統合された又は取り付けられた位置合わせマーカ９５０などの指標又は特徴を有する本体９１０を有する患者固有の骨用ジグ９００を示す図である。この例示された実施形態では、患者固有の骨用ジグ９００は、患者の骨の解剖学的構造の外面部分に一致するように輪郭付けされた内面９１２を有する本体９１０を含んでよく、適切な医療スキャンなどの手術前画像又はデータから生成される。患者固有の骨用ジグ９００の内面は、適切な配置及び位置合わせのために患者の解剖学的構造に一致するように輪郭付けされる。本体９１０は、１つ又は複数のトラッキングマーカが貼り付けられ得る１つ又は複数の特徴又は指標を有する患者固有の骨用ジグの外装部分を含んでもよい。例えば、位置合わせマーカ９５０は、糸を含み、特定の位置及び向きで患者特異的骨用ジグの本体９１０に糸状に取り付けられ得る。他の実施形態では、外装部はまた、再帰反射テープ、または、別個の対象として識別可能にする他のマーキングもしくは指標を含み得る。
【0035】
いくつかの実施形態では、患者固有の骨用ジグ９００は、以下に説明するように、点をサンプリングするためにトラッキングされたスタイラスに依存しないレジストレーションプロセスにおいて採用されてもよい。例えば、フィデューシャルを有する患者固有の骨用ジグを表すデータは、ナビゲーションシステムによって参照されることができるデータベースにアップロードされる。ナビゲーションシステムがＩＲカメラを使用する場合、例えば、骨用ジグと一致する配列をアップロードし、ナビゲーションソフトウェアで一度識別すれば、患者の骨をトラッキングすることができる。同様に、ジグにビーコンを取り付けて、レーダーで対象物をトラッキングすることも可能である。ユーザが患者固有の骨用ジグを適切な骨表面の位置に置き、患者固有の骨用ジグがナビゲーションカメラによって適切に識別され、トラッキングされると、ユーザは患者固有の骨用ジグの位置をサンプリングし、初期姿勢推定値を得ることができる。
【0036】
レジストレーションで重要な数学的概念は、初期姿勢変換の概念である。トラッキングされる対象（患者の骨）の位置は、患者固有の骨用ジグの位置から推測される。ナビゲーションカメラは、患者固有の骨用ジグの位置をトラッキングし、患者の骨の位置はトラッキングしないことがある。患者の骨の位置は、患者特有の骨用ジグの位置から推測、決定、及び／又は生成されてもよく、この位置は、トラッキングされたマーカ、例えばフィデューシャルアレイの位置から推測、決定、及び／又は生成されてもよい。
【0037】
これらのプロセスを単純化するために、患者の骨の原点位置と患者固有の骨用ジグに注意を払うことができる。骨の術前画像データ（例えばＣＴスキャンからのＤｉｃｏｍファイル）が生成されると、そのデータは、コンピュータ支援設計ソフトウェアで操作可能なデジタル形式に変換されてもよい。デジタルファイルは、原点位置を有していてもよい。患者固有の骨用ジグは、患者の骨のデジタルファイルの原点フレームとして使用されたのと同じ原点フレームで設計されてもよい。ナビゲーションカメラが患者専用骨用ジグをトラッキングすると、患者専用骨用ジグの原点は、患者専用骨用ジグが患者の骨の外側に適切に配置されたときの患者の骨の原点に対応することになる。
【0038】
図１６は、患者固有の骨用ジグをトラッキングするために使用され得る球状ＩＲアレイなどの埋め込みフィデューシャル１０１０を有する患者固有の骨用ジグ１０００を例示している。様々な実施形態において、患者固有の骨用ジグは、患者の骨の外面部分上に延び、概ね一定の断面厚さを有していてもよい。例えば、概ね一定の厚さは、１ミリメートルと１０ミリメートルとの間であってもよい。様々な実施形態において、患者固有の骨用ジグは、明るいオレンジ色、明るい緑色、又は黒色などの固体又は単一色を有していてもよい。
【0039】
図１７は、本開示の一実施形態による、例えば方法１０（図１）、患者の骨のレジストレーション及び／又はトラッキング、及び／又は患者固有の骨用ジグの作製を実施するためのシステム１２００のブロック図である。システム１２００は、一般に、プロセッサ又はプロセッサ１２１０、入力／出力装置１２２０、及びメモリ１２３０を含んでもよい。
【0040】
例えば、患者の大腿骨の近位部などの患者の骨の少なくとも一部を表す三次元データなどの患者骨データ１２０２（図１のブロック２０）が、システム１２００に取得又は入力されてもよい。患者の骨データ１２０２は、例えば、コンピュータ断層撮影（ＣＴ）スキャン、コンピュータ軸断層撮影（ＣＡＴ）スキャン、磁気共鳴画像法（ＭＲＩ）スキャン、又は他の適切な二次元画像化若しくは三次元画像化若しくは処理により得られる三次元データを含んでもよい。このようなデータは、画像プロセッサから直接提供されることもあれば、保存された医用画像データのデータベースから取得することもできる。
【0041】
患者固有の骨用ジグの少なくとも一部を表す三次元データ又はモデル（図１のブロック３０）などの患者固有の骨用ジグデータ１２０４は、システム１２００に取得又は入力されてもよい。患者固有の骨用ジグデータ１２０４は、例えば、患者固有の骨用ジグの走査に基づいて、又は患者骨データ１２０２から生成された、以前に生成された三次元データを含んでもよい。例えば、システム１２００は、患者骨データ１２０２に基づいて患者固有の骨用ジグを生成するために動作可能な患者固有の骨用ジグ生成器１２４０を含んでもよく、患者固有の骨用ジグ生成器１２４０は、患者固有の骨用ジグを製作するために３Ｄプリンタ１２９５又は他の製造プロセスを制御するために動作可能であってもよい。患者固有の骨用ジグの生成及び製作のためのデータは、患者固有の骨用ジグデータ１２０４と同じであっても異なっていてもよい。例えば、患者固有の骨用ジグデータ１２０４は、レジストレーションプロセスにおける使用を可能にする患者固有の骨用ジグの一部を表す十分なデータに限定されてもよい。
【0042】
ロボットツール、例えば切削端などの作業端の少なくとも一部を表す三次元データまたはモデルなどのツールデータ１２０６は、システム１２００に取得または入力されてもよい。ツールデータ１２０２は、例えば、ツールの走査に基づいて以前に生成された三次元データ、又はツールを製作するためのデータを含んでもよい。例えば、ツールデータ１２０６は、ロボット切断計画での使用を可能にする患者固有の骨用ジグの一部を表す十分なデータに限定されてもよい。
【0043】
画像データなどの画像入力１２０７は、患者の特定の骨用ジグが患者の骨に固定されている間に、患者の特定の骨用ジグ（図１のブロック４０）の少なくとも一部を表すイメージャ、カメラ、深度カメラ、ＲＧＢカメラ、ＩＲセンサ、又は他の適切なイメージャ若しくは走査装置から得られてもよい。画像入力１２０７は、システム１２００に入力されてもよい。
【0044】
ポインタデータなどのポインタ入力１２０８は、患者固有の骨用ジグが患者の骨に固定されている間に、患者固有の骨用ジグの少なくとも一部を位置決めして方向付けるのに用いるために、ポインタまたは他の適切なデバイスから取得することができる。ポインタデータ１２０８は、システム１２００に入力されてもよい。
【0045】
さらなる入力データは、位置、向き、ツール、患者固有の骨用ジグ、または他のデータに関する所望の一般的なデータなどの外科医入力１２０９を含むことができる。
【0046】
プロセッサ１２１０は、例えば、ＷＩＮＤＯＷＳ（登録商標）、ＯＳＸ、ＵＮＩＸ（登録商標）またはＬｉｎｕｘ（登録商標）オペレーティングシステムを動作させるコンピュータであってよい。いくつかの実施形態では、プロセッサ１２１０は、ポータブルまたはハンドヘルドコンピューティングデバイスであってもよい。他の実施形態では、プロセッサ１２１０は、グローバル通信ネットワーク、例えばインターネットなどの１つ以上のネットワーク上でリンクされるか又は動作する、１つ以上の動作可能に接続されたプロセッサ、演算装置、サーバであってもよい。
【0047】
メモリ１２３０は、入力データを処理するための様々なモジュールを含んでもよい。例えば、メモリ１２３０は、患者固有の骨用ジグ生成器１２４０、骨レジストレーション生成器１２５０、ツールレジストレーション生成器１２６０、及びロボット骨切断計画生成器１２７０を含んでもよい。
【0048】
患者固有の骨用ジグ生成器１２４０は、患者固有の骨データ１２０２に基づいて、例えば内面を有する患者固有の骨用ジグの構成を決定するように動作可能であってもよく、また、同等の、又は関連する外側空間指標又はフィデューシャルの構成を決定してもよい。例えば、患者固有の骨用ジグ１２４０は、患者の骨の一部と一致する又は対応する内面を有する患者固有の骨用ジグの本体を決定してもよい。いくつかの実施形態では、患者固有の骨用ジグの３Ｄモデルは、患者固有の骨用ジグを生成するために、３Ｄプリンタ１２９５又は当技術分野で既知の他の製造装置によって使用されてもよい。３Ｄプリンタまたは製造装置は、上述のように、一体型、モノリシック、または一体型本体として、または１つ以上の部品から形成され、標準的な金属材料、ポリマー材料、または他の適切な材料から形成された患者固有の骨用ジグを形成するように動作可能であってよい。
【0049】
骨レジストレーション生成器１２５０は、患者が手術台上に配置されているときなど、患者の骨の実際の位置及び向きを決定するために、患者骨データ１２０２、患者固有の骨用ジグデータ、並びにイメージャ入力１２０７及び／又はポインタ入力１２０８を受け取るように動作可能であってよい。例えば、患者の骨データまたは骨モデルを用いて、患者固有の骨用ジグデータおよび患者の骨に取り付けられた観察された実際の患者固有の骨用ジグ（イメージャまたはポインタを使用）に基づいて実際の患者の骨の位置および向きを決定するための適切なプログラミングが提供され得る。
【0050】
ツールレジストレーション生成器１２６０は、ツールデータ１２０６と、イメージャ入力１２０７、及び／又はポインタ入力１２０８とを受け取って、患者が手術台上に配置され、患者固有の骨用ジグが患者の骨に固定された状態でロボットの端部に取り付けられたときのようなツールの実際の位置及び向きを決定するように動作可能であってもよい。例えば、ツールデータ又はツールモデルを用いて、ツールデータ及びロボットに取り付けられた観察された（イメージャ又はポインタを用いて）実際のツールに基づいて実際のツールを位置付け及び方向付けるための適切なプログラミングが提供されてもよい。ツールレジストレーション生成器１２６０は、特定の手順に対して適切なツールが係合されていることを確認またはチェックするためにも動作可能であってもよい。
【0051】
ロボット骨切断計画生成器１２７０は、例えば患者の骨を切除するために外科用ロボット１２９０又は他の自動化装置を操作するためのデータ又は指示を決定するように動作可能であってもよい。いくつかの実施形態では、患者の大腿骨または脛骨の切除された近位部分などの切除された骨の３Ｄモデルが、外科用ロボット１２９０にアップロードされて、外科用ロボットが、例えば、切除を形成し及び／または患者の骨に１つまたは複数の空洞を形成するために自律的に、または半自主的に大腿骨または脛骨の近位部分の大きさを変更する骨切断計画を実行するように作動可能であって良い。データまたは命令は、局所カメラ・イメージャーまたはセンサからのデータなど、外科用ロボット１２９０によって受信されたデータと組み合わされてもよい。好適な外科用ロボットは、ミシガン州シェルビータウンシップのＫＵＫＡ ＲＯＢＯＴＩＣＳ Ｃｏｒｐｏｒａｔｉｏｎによって製造されたＬＢＲ ｉｉｗａ Ｋｕｋａロボットであってもよく、１つまたは複数の骨鋸、ラスプ、鋸、ドリル、および／または他の装置で作動可能であってもよい。ロボット骨切断計画生成器１２７０は、切除面又は切断面生成器、空洞又は空洞生成器、及び最適化生成器などの様々なモジュールを含んでもよい。ロボット骨切断計画生成装置１２７０は、外科医が、例えば、切除面を示すことを可能にしてもよいし、そのような面は、例えば、外科医からの入力によって、または所定のデータに基づいてもしくは利用して、提供される自動的に生成されてもよい。ロボット骨切断計画生成装置１２７０は、位置、幅、長さ、深さなどの外科医からの初期入力を受け取ることを含んでもよく、または、所定のデータに基づいて、または、所定のデータを利用していてもよい。
【0052】
図１８は、本開示の実施形態の技術的アーキテクチャの一部である、患者固有の骨用ジグを採用した患者の骨のレジストレーション及び／又はトラッキングに用いるための別のシステム１３００のブロック図である。システム１３００は、特定の実施形態において、マイクロプロセッサ１３２０を含むことができる回路１３１０を含むことができる。システム１３００は、メモリ１３３０（例えば、揮発性メモリデバイス）、及びストレージ１３４０も含んでもよい。システム１３００は、入力／出力１３６０を介して、メモリ１３３０、ストレージ１３４０、及び／又は回路１３１０にロード又は格納され、マイクロプロセッサ１３２０及び／又は回路１３１０によって実行され得るコード１３５２を含むプログラムロジック１３５０を含んでもよい。様々な構成要素は、システムバスを介して直接的又は間接的に動作可能に結合されてもよく、又は、他のデータ処理システム及び構成要素に直接的又は間接的に結合されてもよい。プログラムロジック１３５０は、例えば、股関節全置換術用の大腿骨コンポーネントの患者固有の大腿骨ステムを形成する際に使用するために、本開示で上述したプログラムコードを含んでもよい。
【0053】
当業者には理解されるように、本技術の態様は、システム、方法、またはコンピュータプログラム製品として具現化されてもよい。したがって、本技術の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書において通常、「回路」、「モジュール」、または「システム」として言及されることがある。
【0054】
フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実装できることが理解される。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行される命令が、フローチャートおよび／またはブロック図のブロックまたはブロックに指定された機能／行為を実施する手段を作り出すように、機械を製造してもよい。フローチャートまたはブロック図の各ブロックは、指定された論理機能を実行するための１つまたは複数の実行可能な命令を含むコードのモジュール、セグメント、または部分を表すことができる。
【0055】
ソフトウェアおよび／またはプログラムコードとも呼ばれるこれらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置が特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、コンピュータ可読媒体に格納された命令が、フローチャートおよび／またはブロック図のブロックまたはブロックに指定された機能／行為を実施する命令を含む製造物品を製造するように、コンピュータ可読媒体は、コンピュータ可読媒体が、コンピュータに、プログラムすることができるように、プログラムできる。例えば、特定の配置において、デスクトップまたはワークステーションコンピュータは、市販のオペレーティングシステム、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ＯＳＸ（登録商標）、ＵＮＩＸ（登録商標）またはＬｉｎｕｘ（登録商標）ベースの実装を使用して採用されることができる。
【0056】
コンピュータ可読ストレージ媒体１３４０は、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、または前述の任意の適切な組み合わせであってよいが、これらに限定されるものではない。ストレージ１３４０は、内部ストレージ装置、付属ストレージ装置及び／又はネットワークアクセス可能なストレージ装置を含んでもよい。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）としては、１本以上のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、または前述の任意の適切な組み合わせなどがある。本明細書では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを格納することができる任意の有形媒体とすることができる。
【0057】
本技術の態様のための操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語、ＰＨＰ、ＡＳＰ、アセンブラまたは同様のプログラミング言語などの従来の手続き型プログラミング言語、ならびに関数型プログラミング言語および技術計算用の言語などの１以上のプログラミング言語の任意の組み合わせで書かれていてもよい。プログラムコードは、ユーザのコンピュータで完全に実行してもよいし、ユーザのコンピュータの一部で、スタンドアロンのソフトウェアパッケージとして実行してもよいし、ユーザのコンピュータの一部とリモートコンピュータの一部、またはリモートコンピュータやサーバで完全に実行してもよい。後者の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）などの任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、接続は外部のコンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われてもよい。さらに、プログラムコードを実装するために、クラウドコンピューティング環境における１つ以上のリソースを含むがこれに限定されない、複数のコンピュータを使用することができる。
【0058】
入力／出力またはＩ／Ｏデバイス１３６０（キーボード、ディスプレイ、ポインティングデバイス、ＤＡＳＤ、テープ、ＣＤ、ＤＶＤ、サムドライブおよび他のメモリメディアなどを含むが、これに限定されない）は、直接または介在するＩ／Ｏコントローラを通じてシステムに接続され得る。ネットワークアダプタは、データ処理システムが他のデータ処理システム、リモートプリンタまたはストレージデバイスとプライベートまたはパブリックネットワークを介在して接続できるようにシステムに接続されることもある。モデム、ケーブルモデム、イーサネットカードは、利用可能なネットワークアダプタの種類のほんの一部である。
【0059】
患者、例えば患者の骨盤及び股関節に関連するデータは、医療センサ装置によって作成されてもよいし、医療センサ装置からアクセスされてもよい。例えば、四肢の以前の医療スキャン、例えばコンピュータ軸断層撮影（ＣＡＴ又はＣＴ）又は磁気共鳴画像（ＭＲＩ）スキャンから得られたものは、医療記録保存装置、ストレージ１３４０に保存されてもよく、又はシステム１３００によってアクセスされてもよい。かかる患者データは、所定の患者に関する他のデータ（例えば、骨密度、タイプ、長さ、病状等）を含んでもよい。非限定的な例として、患者データは、スキャン装置から得られた一連の二次元画像（例えば、ＣＴスキャンスライス）を含むスキャンデータセットを含んでもよい。このように、スキャンデータセットは、スキャンデータの三次元的な表現である。
【0060】
本開示の技術は、多数の関心点を手動でサンプリングすることを採用する現在の最先端のレジストレーション及びトラッキングの時間及び処理上の制約を克服し得ることが理解される。特に、本開示の技術は、高精度のレジストレーションを達成するために多数の点を手動でサンプリングするのに必要な時間、及び熟練したユーザによってレジストレーションが実行される必要性を含む現在のレジストレーション方法の不利な点を克服し得る。
【0061】
例えば、カメラを使用することにより、本技術は、非常に短時間で数千の点を「サンプリング」することができ、レジストレーションの精度を高め、時間を短縮し得る。また、レジストレーションは、あまり熟練していないユーザでも行うことができる。
【0062】
本明細書から、本開示の技術は、外科領域における深度カメラの有用性を高めるためにシーン及びターゲットを最適化するための方法を提供し得ることが理解される。外科領域におけるレジストレーション及びトラッキングのために深度カメラを利用するために、カメラは、１）トラッキングする臨床的に関連する対象を識別し、２）対象の姿勢又は空間的位置及び向きを決定するように動作可能であってよい。
【0063】
画像化及び／又は最小限の点サンプリングによる患者固有の骨用ジグを採用する本技術は、現在のレジストレーション及びトラッキングに関連する問題を克服している。解剖学的構造をアルゴリズム的に識別することは、機械学習又は複雑な幾何学的モデリング技術を含むことができる非自明な計算上の問題である。また、被写体の姿勢や空間的な位置や向きを決定することも困難である。臨床現場では、被写体の露出が小さいことが多く、手術部位の形状が大きく変化することがある。空間的な向きを決定するためのアルゴリズムによる特徴検出は、困難であることが証明されている。これらのアルゴリズムの「トレーニング」または「検証」に使用するデータが入手可能であることも、開発の大きな障害となっている。深度カメラに依存する従来の特徴検出アルゴリズムは、「ノイズの多い」環境（軟骨、血液、手術器具、その他の軟組織）において、限られた表面異常（滑らかな）を持つ小さな露光でモデルに相関させるのに苦労している。アルゴリズムを学習させるための実世界の手術のデータセットは入手困難である。さらに、脊椎解剖学とは異なり、膝や股関節の重要な解剖学的標識点を限られた露出で特定することは、非常に困難なことである。
【0064】
例えば、本開示の技術は、臨床的に知られている解剖学的標識点をサンプリングするユーザが主観的でエラーになりやすい従来のレジストレーションの問題点を克服し得る。本技術は、精度を高めるために多数の点をサンプリングしなければならないという従来のレジストレーションにおける必要性を低減し、このサンプリングの増加は、手術時間を増加させる。さらに、点のサンプリングには外科医のような高度なスキルを持つユーザが必要なため、スキルの低いユーザがこの作業をサポートすることには限界がある。高精度のレジストレーションデータをタイムリーに作成することは、業界における課題として継続されている。
【0065】
本明細書の教示に基づいて当業者が認識し得るように、本発明の範囲から逸脱することなく、本発明の上述および他の実施形態に多数の変更および修正がなされ得る。添付の要約及び図面を含む本明細書に開示されるシステム、デバイス及び／又は装置のジグ、プログラミング、その他の構成要素は、意図された目的のために同様の機能を提供するために、当該代替構成要素又は特徴によって同じ、同等又は類似の結果を得るために当業者に知られているような別の実施形態に開示されるものなどの代替構成要素又は特徴によって置換されても良い。さらに、デバイス及び装置は、本明細書で説明及び図示されるような実施形態よりも多い又は少ない構成要素又は特徴を含んでもよい。したがって、現在好ましい実施形態のこの詳細な説明は、本開示を限定するものとは対照的に、例示として受け取られるべきである。
【0066】
本開示の技術は、Ｓｅｘｓｏｎらによって２０１９年５月３０日に出願された、「Ｒｏｂｏｔ Ｍｏｕｎｔｅｄ Ｃａｍｅｒａ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｏｒｔｈｏｐｅｄｉｃ ａｎｄ Ｎｅｕｒｏｌｏｇｉｃａｌ Ｓｕｒｇｅｒｙ」（アティドック番号５２４７・００５Ｐ）と題する米国仮特許出願番号６２／８５４，６４８に記載の１又は複数の構成要素と採用してもよく、その内容全体は参照により本明細書に援用されるものとする。例えば、患者固有の骨用ジグは、マーカとして採用されてもよい。
【0067】
本開示の技術は、「Ａ Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｉｎｔｅｒａｃｔｉｏｎ Ａｎｄ Ｄｅｆｉｎｉｔｉｏｎ Ｏｆ Ｔｏｏｌ Ｐａｔｈｗａｙｓ Ｆｏｒ Ａ Ｒｏｂｏｔｉｃ Ｃｕｔｔｉｎｇ Ｔｏｏｌ」と題する、Ｓｅｘｓｏｎらによる２０１９年５月２０日出願の米国仮特許出願第６２／８５０，０５０号（ａｔｔｙ． ｄｏｃｋ番号５２４７．００３Ｐ）に記載された１つ以上の構成要素と共に採用されてよく、その全体の内容は参照により本明細書に援用される。
【0068】
本明細書で使用される用語は、特定の実施形態を説明する目的のみのものであり、本発明を限定することを意図するものではない。本明細書で使用される場合、単数形「１つ」及び「その」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことが意図される。さらに、用語「構成する」（および「構成している」などの「構成する」の任意の形式）、「有する」（および「有している」などの「有する」の任意の形式）、「備える」（および「備えている」などの「備える」の任意の形式）、および「含む」（および「含んでいる」などの「含む」の任意の形式）はオープンエンドな連結動詞であると理解できる。その結果、１つ以上のステップまたは要素を「構成する」、「有する」、「備える」、若しくは「含む」方法または装置は、それらの１つ以上のステップまたは要素を所有するが、それらの１つ以上のステップまたは要素のみを所有することに限定されるわけではない。同様に、１つ以上の特徴を「構成する」、「有する」、「備える」、若しくは「含む」方法のステップまたは装置の要素は、それらの１つ以上の特徴を所有するが、それらの１つ以上の特徴のみを所有することに限定されない。さらに、ある方法で構成された装置や構造物は、少なくともその方法で構成されているが、記載されていない方法で構成されている場合もある。
【0069】
本発明は、好ましい実施形態を参照して説明された。本明細書に記載された構造上の及び動作上の実施形態は、同じ一般的な特徴、特性、及び一般的な装置動作を提供するための複数の可能な配置の例示であることが理解される。修正および変更は、先の詳細な説明を読み、理解することにより、第３者にも生じる。本発明は、そのようなすべての修正および変更を含むものとして解釈されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【国際調査報告】