知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-19
(54)【発明の名称】拡張現実患者評価モジュール
(51)【国際特許分類】
G16H 50/20 20180101AFI20240412BHJP
G06F 3/01 20060101ALI20240412BHJP
A61B 34/10 20160101ALI20240412BHJP
A61B 90/00 20160101ALI20240412BHJP
【ＦＩ】
G16H50/20
G06F3/01 510
A61B34/10
A61B90/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023566507
(86)(22)【出願日】2022-04-27
(85)【翻訳文提出日】2023-12-25
(86)【国際出願番号】 US2022026509
(87)【国際公開番号】W WO2022232250
(87)【国際公開日】2022-11-03
(31)【優先権主張番号】63/180,456
(32)【優先日】2021-04-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/303,683
(32)【優先日】2022-01-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523406174
【氏名又は名称】ジンマー ユーエス，インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【弁理士】
【氏名又は名称】伊藤 健太郎
(74)【代理人】
【識別番号】100227835
【弁理士】
【氏名又は名称】小川 剛孝
(72)【発明者】
【氏名】テッド スプーナー
(72)【発明者】
【氏名】デイブ バン アンデル
(72)【発明者】
【氏名】パウロ アレクサンドル ダ トレ ピニェイロ
(72)【発明者】
【氏名】イオアンニス ボレクトシオグロウ
【テーマコード（参考）】
5E555
5L099
【Ｆターム（参考）】
5E555AA41
5E555BA22
5E555BA38
5E555BB22
5E555BB38
5E555BC01
5E555BE17
5E555CA41
5E555CA42
5E555CC03
5E555DA08
5E555DB53
5E555DD01
5E555FA00
5L099AA03
5L099AA04
(57)【要約】
患者可動性評価は、拡張現実患者評価モジュールを使用して改良できる。可動性評価の主観性を減少するために、深度カメラを使用して、精確な患者の運動を決定し、患者の骨格モデルを生成し、様々な患者関節の運動範囲を決定できる。拡張現実頭部装着型ディスプレイは、透明表示画面を含むことができ、透明表示画面を通して患者を見ながら患者に重ねられた骨格モデルを表示するために使用できる。医師は、一連の筋骨格評価活動において患者を案内でき、筋骨格評価活動を使用して、患者の骨格モデルを生成し、様々な患者関節の運動範囲を決定できる。骨格モデル及び運動範囲情報は、予測術後骨格モデルを生成するために使用でき、予測術後骨格モデルは、外科処置に基づく改良された運動範囲を表示できる。
【特許請求の範囲】
【請求項1】
拡張現実患者評価のためのシステムであって、前記システムは、拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）と、
筋骨格評価活動の間に患者に関する深度センサデータを生成するための深度センサと、
処理回路と、
命令を含むメモリであって、前記命令は、前記処理回路によって実行されたとき、前記処理回路に、
前記深度センサデータに基づいて骨格モデルを生成させ、
前記筋骨格評価活動の間に患者の運動を追跡させ、
前記患者の運動に基づいて現在のＲＯＭを決定させ、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記患者に重ねられた前記現在のＲＯＭを出力させる、
メモリと、
を備える、システム。
【請求項2】
前記命令は、更に、前記処理回路に、前記筋骨格評価活動の選択を受信させ、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記筋骨格評価活動の説明を出力させる、
請求項１に記載のシステム。
【請求項3】
前記命令は、更に、前記処理回路に、前記筋骨格評価活動に基づいて目標のＲＯＭを決定させ、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記目標のＲＯＭのグラフィック表示を出力させる、
請求項１に記載のシステム。
【請求項4】
前記命令は、更に、前記処理回路に前記ＡＲＨＭＤ上で表示するためにガイドされた筋骨格活動を出力させ、前記ガイドされた筋骨格活動は、前記筋骨格評価活動を行うための患者の運動指令を与える、請求項１に記載のシステム。
【請求項5】
前記命令は、更に、前記処理回路に患者に取り付けられた運動センサから運動センサデータを受信させ、前記運動センサデータが前記患者の筋骨格運動を特徴付け、前記骨格モデルの前記生成は、更に前記センサデータに基づく、
請求項１に記載のシステム。
【請求項6】
前記命令は、更に、前記処理回路に前記患者の筋骨格関節の医療用撮像データを受信させ、前記骨格モデルの生成は、更に前記医療用撮像データに基づく、
請求項１に記載のシステム。
【請求項7】
前記命令は、更に、処理回路に、モデル外科処置の選択を受信させ、
前記モデル外科処置及び前記骨格モデルに基づいて患者処置モデルを生成させ、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記患者処置モデルを出力させる、
請求項１に記載のシステム。
【請求項8】
前記命令は、更に、前記処理回路に、前記骨格モデルに基づいて予測術後骨格モデルを生成させ、前記骨格モデルが術前骨格モデルを含み、前記予測術後骨格モデルが外科処置に基づく改良された運動範囲（ＲＯＭ）を含み、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記患者に重ねられた前記予測術後骨格モデルを出力させる、
請求項１に記載のシステム。
【請求項9】
前記深度センサは、更に、術後筋骨格評価活動の間に前記患者に関する術後深度センサデータを生成し、前記命令は、更に、前記処理回路に、
前記術後深度センサデータに基づいて改良された術後骨格モデルを生成させ、
前記ＡＲＨＭＤ上で表示するために前記術前骨格モデルに重ねられた前記改良された術後骨格モデルを出力させる、
請求項８に記載のシステム。
【請求項10】
前記命令は、更に、前記処理回路に外科処置の選択を受信させ、前記予測術後骨格モデルは、更に前記外科処置の選択に基づく、請求項８に記載のシステム。
【請求項11】
前記命令は、更に、前記処理回路に、前記筋骨格評価活動と関連付けられる外科処置のリストを識別させ、
前記ＡＲＨＭＤ上で表示するために前記外科処置のリストについて選択プロンプトを出力させる、
請求項１０に記載のシステム。
【請求項12】
拡張現実患者評価のための方法であって、前記方法が、筋骨格評価活動の間に患者に関する深度センサデータを生成することと、
前記深度センサデータに基づいて骨格モデルを生成することと、
前記筋骨格評価活動の間に患者の運動を追跡することと、
前記患者の運動に基づいて現在のＲＯＭを決定することと、
拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）を通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記患者に重ねられた前記現在のＲＯＭを出力することと、
を含む、方法。
【請求項13】
更に、前記筋骨格評価活動の選択を受信することと、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記筋骨格評価活動の説明を出力すること、
を含む、請求項１２に記載の方法。
【請求項14】
更に、前記筋骨格評価活動に基づいて目標のＲＯＭを決定することと、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記目標のＲＯＭのグラフィック表示を出力すること、
を含む、請求項１２に記載の方法。
【請求項15】
更に、前記ＡＲＨＭＤ上で表示するためにガイドされた筋骨格活動を出力することを含み、前記ガイドされた筋骨格活動が、前記筋骨格評価活動を行うための患者の運動指令を与える、請求項１２に記載の方法。
【請求項16】
更に、患者に取り付けられた運動センサから運動センサデータを受信することを含み、前記運動センサデータが前記患者の筋骨格運動を特徴付け、前記骨格モデルの生成は、更に前記センサデータに基づく、
請求項１２に記載の方法。
【請求項17】
更に、前記患者の筋骨格関節の医療用撮像データを受信することを含み、前記骨格モデルの生成は、更に前記医療用撮像データに基づく、
請求項１２に記載の方法。
【請求項18】
更に、モデル外科処置の選択を受信することと、
前記モデル外科処置及び前記骨格モデルに基づいて患者処置モデルを生成することと、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記患者処置モデルを出力すること、
を含む、請求項１２に記載の方法。
【請求項19】
更に、前記骨格モデルに基づいて予測術後骨格モデルを生成することであって、前記骨格モデルが術前骨格モデルを含み、前記予測術後骨格モデルは外科処置に基づく改良された運動範囲（ＲＯＭ）を含む、生成することと、
拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）を通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記患者に重ねられた前記予測術後骨格モデルを出力することと、
を含む、請求項１２に記載の方法。
【請求項20】
更に、術後筋骨格評価活動の間に前記患者に関する術後深度センサデータを生成することと、
前記術後深度センサデータに基づいて改良された術後骨格モデルを生成することと、
前記ＡＲＨＭＤ上で表示するために前記術前骨格モデルに重ねられた前記改良された術後骨格モデルを出力すること、
を含む、請求項１９に記載の方法。
【請求項21】
更に、外科処置の選択を受信することを含み、前記予測術後骨格モデルは、更に前記外科処置の選択に基づく、請求項１９に記載の方法。
【請求項22】
更に、前記筋骨格評価活動と関連付けられる外科処置のリストを識別することと、
前記ＡＲＨＭＤ上で表示するために前記外科処置のリストについて選択プロンプトを出力すること、
を含む、請求項２１に記載の方法。
【請求項23】
命令を含む非一時的機械可読記憶媒体であって、命令が、コンピュータ制御機器の処理回路で実行されるのに応答して、前記処理回路に、筋骨格評価活動の間に患者に関する深度センサデータを生成させ、
前記深度センサデータに基づいて骨格モデルを生成させ、
前記筋骨格評価活動の間に患者の運動を追跡させ、
前記患者の運動に基づいて現在のＲＯＭを決定させ、
拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）を通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記患者に重ねられた前記現在のＲＯＭを出力させる、
非一時的機械可読記憶媒体。
【請求項24】
前記命令は、更に、前記処理回路に、前記筋骨格評価活動の選択を受信させ、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記筋骨格評価活動の説明を出力させる、
請求項２３に記載の非一時的機械可読記憶媒体。
【請求項25】
前記命令は、更に、前記処理回路に、前記筋骨格評価活動に基づいて目標のＲＯＭを決定させ、
前記ＡＲＨＭＤを通して前記患者を見ながら前記ＡＲＨＭＤ上で表示するために前記目標のＲＯＭのグラフィック表示を出力させる、
請求項２３に記載の非一時的機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年４月２７日に提出された米国仮特許出願第６３／１８０４５６号の利益を主張し、同時に、２０２２年１月２７日に提出された米国仮特許出願第６３／３０３６８３号の利益を主張する。これらの各々の優先利益が、本明細書により主張され、その各々が、参照によりその全体が本明細書に援用される。
本出願は、２０２１年４月２７日に提出された米国仮特許出願第６３／１８０４５６号の利益を主張し、同時に、２０２２年１月２７日に提出された米国仮特許出願第６３／３０３６８３号の利益を主張する。これらの各々の優先利益が、本明細書により主張され、その各々が、参照によりその全体が本明細書に援用される。
【0002】
本出願は、拡張現実を使用する患者可動性評価に関する。
【背景技術】
【0003】
患者の可動性は、患者の筋骨格系の様々な変化の影響を受ける可能性がある。例えば、患者の関節の運動範囲は、関節炎によって又は負傷のせいで減少する場合がある。患者可動性の評価を導く際、医師は、典型的に、運動範囲を決定するために一連のエクササイズにおいて患者を指導する。しかし、患者の運動範囲は、医師による主観的判定であることが多い。
【0004】
診断は、患者が上肢（例えば、肩又は肘）、下肢（例えば、膝、股関節など）又はこれに類似するもののために外科処置を必要とするか否かを決定するために患者を評価するために使用される。これらの処置は、米国において年間に何十万件が実施される。外科的進歩によって、外科医は、診断及び外科的成果を改良するために術前プラニング、ディスプレイ機器及び撮像を使用できるようになった。
【0005】
拡張現実（ＡＲ）又は複合現実（ＭＲ）機器（ＡＲとＭＲは、交換可能に使用される）は、ユーザが、現実環境（可視的）に投影されるように見える仮想オブジェクトの表示を見ることができるようにする。ＡＲ機器は、典型的には、ユーザの各眼に１つずつ含まれる、２つのディスプレイレンズ又は画面を含む。光は、仮想要素がＡＲ機器のユーザに見えるように光を投射しながら現実環境の態様が見えるように、２つのディスプレイレンズを通過できる。
【図面の簡単な説明】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、患者可動性評価が直面する技術的問題に対する技術的解決法を説明する。可動性評価の主観性を減じるために、深度カメラ（例えば、深度センサ）を使用して、精確な患者の運動を決定し、患者の骨格モデルを生成し、様々な患者関節の運動範囲を決定できる。ＡＲ又はＭＲ頭部装着型ディスプレイ（ＨＭＤ）は、透明表示画面を含むことができ、透明表示画面を通して患者を見ながら患者に重ねられた骨格モデルを表示するために使用できる。
【課題を解決するための手段】
【0008】
医師は、一連の筋骨格評価活動において患者を案内できる。評価活動中に捕捉された深度センサ情報は、患者の骨格モデルを生成し、様々な患者関節の運動範囲を決定するために使用できる。評価活動は、透明表示画面を通して患者を見ながらＨＭＤ上で表示できる。評価活動の表示は、１つ又は複数の関節について患者の現在の運動範囲の表示を含むことができる。
【0009】
骨格モデル及び運動範囲情報は、予測術後骨格モデルを生成するために使用できる。予測術後骨格モデルは、外科処置に基づいて改良された運動範囲を示すことができる。例えば、大腿寛骨臼インピンジメントは、股関節可動性を制限する場合があり、予測術後骨格モデルは、寛骨臼表面再形成処置に基づいて改良された股関節運動範囲を示すことができる。評価活動は、関節の運動範囲を改良できる１つ又は複数の外科処置を識別するために使用できる。例えば、股屈曲及び伸展評価活動は、股関節運動範囲の減少を示すことができ、股関節運動範囲を改良するために、寛骨臼表面再形成処置又はその他の股関節処置を医師に示唆できる。予測術後骨格モデルは、表示のために出力され、透明表示画面を通して患者を見ながら患者に重ねることができる。予測術後骨格モデルは、患者ＨＭＤ、タブレット又はその他のディスプレイ機器などの患者ビューイング機器に表示できる。
【0010】
付加的筋骨格評価活動は、外科処置後などに患者可動性を再評価するために使用できる。術後評価活動は、術後深度センサデータを収集し、術後骨格モデルを生成するために使用できる。この術後骨格モデルは、術前モデルの上に重ね合わせた術後モデルを表示するなどによって、術前骨格モデルと比較できる。術前モデル及び術後モデルの一方又は両方は、透明ＨＭＤ画面を通して患者を見ながら患者に両方のモデルを重ね合わせるなど、ユーザに重ね合わせることができる。
【0011】
光学カメラ（例えば、画像捕捉機器）は、術前又は術後評価などにおいて、画像（例えば、静止画像又は動画）を捕捉できる。捕捉された画像は、関連付けられる術前又は術後骨格モデルと一緒に保存でき、患者に重ねられた骨格モデルを見るために医師又は患者が使用できる。捕捉された画像は、医師又は患者が特定の関節の位置（例えば、全屈曲又は全伸展）を見る又はある関節についての患者の現在の運動範囲のビデオを見ることができるようにする。
【0012】
本明細書において説明するシステム及び方法は、患者の身体の一部分への整形外科手術前、術中又は手術完了後に患者を評価するために使用できる。整形外科手術は、関節修復、置換、修正などを含むことができる。患者評価は、治療行程の重要な手術前、手術中及び手術後の態様である。運動範囲情報及び運動の質情報は、特に、患者の干渉前の限界、手術中の修復度及び干渉後の回復進行度を知る上で役立ち得る。
【0013】
本明細書において説明するシステム及び方法は、拡張又は仮想現実で特徴、ユーザインターフェイス、コンポーネント（例えば、三次元（３Ｄ）モデル、オーバーレイなど）又はこれに類似するものを表示するために使用できる。３Ｄモデルは、一般的骨モデル又は患者固有の骨モデル（例えば、患者撮像から生成される）などの骨モデルを含むことができる。オーバーレイは、骨格オーバーレイ、例えば患者の関節及び骨又はその他の体内組織構造を表す１組の関節及び関節を接続する分節を含むことができる。オーバーレイは、患者に重ねて表示できる（例えば、オーバーレイは、患者が現実世界で見える状態で、拡張又は複合現実システムにおいて仮想的に表示される）。
【0014】
拡張現実（ＡＲ）機器は、現実環境（同様に見える）に投影されるように見える表示された仮想オブジェクトをユーザが見えるようにする。ＡＲ機器は、典型的に、ユーザの各眼のために１つを含む、２つのディスプレイレンズ又は画面を含む。光は、ＡＲ機器のユーザに仮想要素が見えるようにするために光を投射しながら現実環境の態様が見えるように、２つのディスプレイレンズを通過できる。
【0015】
拡張現実は、現実環境に重ねられた仮想又は「拡張」オブジェクト又は視覚効果を表示するためのテクノロジーである。現実環境は、ある部屋又は具体的エリアを含むか、又は世界全般を含むもっと広範なものとすることができる。現実環境に重ねられた仮想形態は、固定されたものとして又は現実環境の１つ又は複数の態様に対して設定された位置で表すことができる。例えば、メニュ又はモデルなどの仮想オブジェクトは、テーブルに乗っているように見えるように構成できる。ＡＲシステムは、ＡＲシステムのビューアの視野又はビューアを考慮することなく現実オブジェクトに固定される仮想形態を表示できる。例えば、仮想オブジェクトはある部屋に在り、その部屋内のＡＲシステムのビューアには見え、その部屋外のＡＲシステムのビューアには見えない。その部屋の中の仮想オブジェクトは、ビューアが部屋に入ったとき部屋外のビューアに表示できる。この例において、部屋は、ＡＲシステムにおいて仮想オブジェクトが固定される現実オブジェクトとして機能できる。
【0016】
ＡＲ機器は、１つの画面又は２つの画面（例えば、ユーザの１つの眼に１つ）など１つ又は複数の画面を含むことができる。画面は、仮想オブジェクトを表示しながら現実環境の態様が見えるように、光が画面を通過できるようにする。仮想オブジェクトは、光を投射することによってＡＲ機器の装着者に見えるようにできる。仮想オブジェクトは、ある程度の透明度を有するように見えるか又は不透明とすることができる（即ち、現実環境の態様を遮断して）。
【0017】
ＡＲシステムは、単数又は複数人のビューアに視検可能とすることができ、いくつかの態様をビュー間で共通のままで維持しながら単数又は複数のビューアが利用できるビューの間で相違を含むことができる。例えば、ヘッドアップディスプレイは、両方のビューにおいて仮想オブジェクトを現実オブジェクト又はエリアに固定しながら２つのビューの間で変化できる。オブジェクトの色、照明などの態様又はその他の変化を、少なくとも１つの仮想オブジェクトの固定位置を変更することなくビューの間で加えることができる。
【0018】
ユーザは、不透明又はいくつかのレベルの透明度を含むものとして表示された仮想オブジェクトをＡＲシステムで見ることができる。１つの例において、ユーザは、第１位置から第２位置へ仮想オブジェクトを移動する又は１つの表示を選択する（例えば、メニュ上で）などによって、仮想オブジェクトと対話できる。例えば、ユーザは、ジェスチャ又は手の置き位置でオブジェクトを移動又は選択できる。これは、手がオブジェクトに一致する又はこれに隣接する位置まで移動したと決定して（例えば、ＡＲ機器に取り付けることができ静止的であるか又は移動するよう制御できる１つ又は複数のカメラを使用して）、これに応じてオブジェクトを移動又は応答させることによって、ＡＲシステムにおいて仮想的に行うことができる。仮想形態は、現実世界オブジェクトの仮想表現を含むか、又は照明効果などの視覚効果を含むことができる。ＡＲシステムは、仮想オブジェクトが重力又は摩擦を受けるなど仮想オブジェクトの行動を支配するルールを含むか、又は現実世界の物理的制約を無視した（例えば浮動オブジェクト、永久運動など）他の予め規定したルールを含むことができる。ＡＲ機器は、ＡＲ機器上のカメラを含むことができる。ＡＲ機器カメラは、赤外線カメラ、赤外線フィルタ、可視光線フィルタ、複数のカメラ、深度カメラなどを含むことができる。ＡＲ機器は、ユーザが見ることができる現実環境の表示に被せて仮想アイテムを投影できる。
【発明を実施するための形態】
【0019】
図（必ずしも縮尺通りではない）において、同様の参照番号は異なる図において同様のコンポーネントを指す場合がある。異なる接尾文字を有する同様の番号は、同様のコンポーネントの異なる例を表す場合がある。図面は限定的ではなく例として概略的に本出願において論じる様々な実施形態を図解する。
【0020】
図１Ａから図１Ｂは、いくつかの実施形態に係る骨格モデリングシステム１００の図を示す。システム１００は、ＡＲディスプレイ１１５を有するＨＭＤ１１０を含むことができる。ＨＭＤ１１０は、医師１２０が装着し、ディスプレイ１１５を通して患者１３０を見ながら患者情報１２５を表示するために使用できる。ＨＭＤ１１０は、深度センサ、イメージセンサ及びその他のセンサを使用して、患者１３０を識別できる。図１Ａに示すように、ＨＭＤ１１０は、患者が識別されたことを示すために円１３５を重ね合わせることができる。ＨＭＤ１１０は、術前骨格モデルを生成するために深度センサ、イメージセンサ及びその他のセンサの１つ又は複数を使用できる。術前骨格モデルは、静止する又は移動する患者に基づいて生成できる。図１Ｂに示すように、ＨＭＤ１１０は、患者１３０に術前骨格モデル１４０を重ね合わせることができる。１つの実施形態において、一般化初期術前骨格モデルは、患者の静止ビューに基づいて生成され、術前骨格モデルは、付加的な深度及びイメージセンサデータに基づいて連続的に更新される。モデルは、図２Ａから図２Ｂに示すような一連の筋骨格評価活動に基づいて更新できる。
【0021】
図２Ａから図２Ｂは、いくつかの実施形態に係る骨格運動モデリングシステム２００の図を示す。システム２００は、ＡＲディスプレイ２１５を有するＨＭＤ２１０を含むことができる。ＨＭＤ２１０は、医師２２０が装着でき、ディスプレイ２１５を通して患者２３０を見ながら運動範囲及びその他の患者情報２２５を表示するために使用できる。医師２２０は、一連の筋骨格評価活動において患者２３０を案内できる。評価活動は、患者２３０の骨格モデル２５０を更新するために使用できる。図２Ａに示すように、評価活動は、肩関節運動範囲２５５を決定するために使用できる。ＨＭＤ２１０は、骨格モデル２５０及び患者２３０に重ね合わせた運動角度範囲表示２６０などの運動範囲に関する情報を表示できる。ＨＭＤ２１０は、又、患者情報２２５内に運動範囲の現在及び履歴情報も表示できる。
【0022】
骨格モデル２５０及び運動範囲情報は、外科処置に基づいて関連付けられる改良された運動範囲を含む予測術後骨格モデルを生成するために使用できる。システム２００は、肩関節の減少した運動範囲を識別し、改良された肩関節運動範囲を含む予測術後骨格モデルを生成できる。図２Ｂに示すように、ＨＭＤ２１０は、減少した肩関節運動範囲２６５及び予測術後運動範囲２５５を表示できる。減少した肩関節運動範囲２６５は、予測術後運動範囲２５５から区別するために破線又は半透明フォーマットで表示できる。１つの実施形態において、システム２００は、肩関節の運動範囲を改良するための肩峰鎖骨表面再形成処置又はその他の肩関節処置を示唆する。システム２００は、医師２２０に選択のために１つ又は複数の外科処置を表示でき、予測術後運動範囲２５５は、１つ又は複数の選択された処置に基づいて生成できる。
【0023】
外科処置後、骨格モデル２５０及び運動範囲情報を再評価するために、事後筋骨格評価活動を使用できる。術後評価活動は、術後深度センサデータを収集して術後骨格モデルを生成するために使用できる。図２Ｂと同様、ＨＭＤ２１０は、術後運動範囲の隣りに減少した術前肩関節運動範囲を表示するなど、１対の患者骨格モデルを表示できる。
【0024】
図３は、いくつかの実施形態に係る遠隔骨格モデリングシステム３００の図を示す。システム３００は、骨格モデリング機器３１０を含むことができ、機器は、患者３２０の骨格モデル３４０を生成するために深度センサ、イメージセンサ及びその他のセンサを含むことができる。ディスプレイ機器３３０は、捕捉された患者３２０の画像に重ねられた骨格モデル３４０及び関節運動範囲３４５を表示するために使用できる。骨格モデリング機器３１０によって捕捉されたイメージ及び深度センサデータは、関連付けられる術前又は術後骨格モデルと一緒に保存でき、医師又は患者が患者３２０に重ねられた骨格モデル３４０の画像又はビデオを見るために使用できる。１つの実施形態において、骨格モデリング機器３１０は、患者の家又は医師から離れた他の場所において使用できる。これによって、医師の下に赴く必要なく患者３２０が術前又は術後筋骨格評価活動に参加できるようにするなどによって、遠隔評価を改良できる。
【0025】
図４は、いくつかの実施形態に係るＡＲジョイントビューイングシステム４００の図を示す。システム４００は、患者４１５が装着する患者用ＡＲディスプレイ４１０及び医師４２５が装着する医師用ＡＲディスプレイ４２０などの１つ又は複数のＡＲディスプレイを含むことができる。医師４２５は、システム４００を使用して、術前又は術後関節可動性を実証できる。例えば、医師４２５は、患者用ＡＲディスプレイ４１０及び医師用ＡＲディスプレイ４２０の両方に術前膝関節状態のＡＲ画像を表示できる。ＡＲ画像は、テーブルのある位置又は別の現実世界の位置に固定できる。医師４２５は、術前膝関節状態の説明を助けるために１つ又は複数の骨又は軟組織を強調させるなどによってＡＲ画像と対話できる。システム４００は、術前骨格モデル、予測術後骨格モデル又は術後骨格モデルなどの１つ又は複数の骨格モデルを表示し、これについて論じるために使用できる。
【0026】
図５Ａから図５Ｂは、いくつかの実施形態に係る球形骨格モデリングシステム５００の図を示す。システム５００は、患者５３０を見ながら医師５２０が装着するＡＲ ＨＭＤ（以下、「ＡＲＨＭＤ」と、称する。）５１０を含むことができる。システム５００は、ＨＭＤ５１０を通して患者５３０を見ながら患者５３０の周りに表示される評価用球体５４０を表示できる。評価用球体５４０は、患者可動性を評価するために使用できる１つ又は複数の角度ガイドライン（例えば、緯度線又は経度線）を含むことができる。例えば、図２Ａから図３に示す０°から１８０°の肩関節回転を、評価用球体５４０上の対応するガイドラインによって表示できる。評価用球体５４０を、図５Ａに示すように静止患者を見るために使用するか、又は図５Ｂに示すように移動する患者を見るために使用できる。評価用球体５４０は、患者の骨格モデル５５０に固定でき、患者５３０と一緒に回転又は移動できる。１つの実施形態において、評価用球体５４０の位置は、回転を所定の座標系と一致させたまま骨格モデル５５０の最上関節に固定できる。例えば、評価用球体５４０の位置は、歩く患者５３０と一緒に移動するが、評価用球体５４０の回転は、部屋の壁と床によって画定された直交座標系の中でロックできる。
【0027】
図６は、いくつかの実施形態に係るＡＲ患者評価方法６００を示すフローチャートである。方法６００は、筋骨格評価活動中に患者に関する深度センサデータを生成すること６０５と、深度センサデータに基づいて術前骨格モデルを生成すること６１０とを含む。方法６００は、術前骨格モデルに基づいて予測術後骨格モデルを生成すること６１５を含む。予測術後骨格モデルは、外科処置に基づいて改良される運動範囲を示す。方法６００は、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上に表示するために患者に重ねられた予測術後骨格モデルを出力すること６２０を含む。
【0028】
１つの実施形態において、方法６００は、術後筋骨格評価活動中に患者に関する術後深度センサデータを生成すること６２５を含む。方法６００は、術後深度センサデータに基づいて改良された術後骨格モデルを生成すること６３０を含むことができる。方法６００は、ＡＲＨＭＤ上で表示するために術前骨格モデルに重ねられた改良された術後骨格モデルを出力すること６３５を含むことができる。これによって、ビューアは改良された術後骨格モデルを術前骨格モデルと対比できる。方法６００は、ＡＲＨＭＤ上で表示するために予測術後骨格モデルに重ねられた改良された術後骨格モデルを出力すること６４０を含むことができる。これによって、ビューアは改良された術後骨格モデルを予測術後骨格モデルと対比できる。
【0029】
１つの実施形態において、方法６００は、外科処置の選択を受信すること６４５を含み、予測術後骨格モデルは、更に外科処置の選択に基づく。方法６００は、筋骨格評価活動と関連付けられる外科処置のリストを識別すること６５０を含むことができ、ＡＲＨＭＤ上に表示するために外科処置のリストについて選択プロンプトを出力すること６５５を含むことができる。
【0030】
１つの実施形態において、方法６００は、患者の画像を捕捉すること６６０を含み、術前骨格モデルは、更に患者の捕捉された画像に基づく。方法６００は、運動範囲エクササイズの選択を受信すること６６５を含むことができる。方法６００は、選択された運動範囲エクササイズと関連付けられる複数の運動範囲画像を生成すること６７０を含むことができ、複数の運動範囲画像は、捕捉された患者の画像に重ねられた術後骨格モデルを含む。
【0031】
１つの実施形態において、方法６００は、ＡＲＨＭＤ上で表示するためにガイドされた筋骨格活動を出力すること６７５を含む。ガイドされた筋骨格活動は、筋骨格評価活動を導くために患者運動指令を与えることができる。
【0032】
１つの実施形態において、方法６００は、運動センサデータ又は医療用撮像データを受信すること６８０を含む。運動センサデータは、患者に取り付けられた運動センサから受信でき、運動センサデータは、患者の筋骨格運動を特徴付けできる。術前骨格モデルの生成は、更に、受信したセンサデータ又は受信した医療用撮像データに基づくことができる。
【0033】
図７は、いくつかの実施形態に係るアプリケーションを選択する（例えば、拡張現実を使用する）ためのユーザインターフェイス７００を示す。メニュは、仮想又は拡張現実に表示又は従来の画面に表示できる。図７に示すユーザインターフェイス７００はＡＲであり、周囲エリアの形態が見える。ＡＲビューは、眼鏡、バイザー、ゴーグル又はその他のイマージョン／ＡＲセットアップを使用して表示できる。メニュは、ユーザの指で選択可能とすることができる（例えば、現実空間において、ＡＲ機器を使用して検出されるように）。選択は、臨床医、患者又は他の関係者によって行うことができる。例えば、選択は、表示７０２を有するＡＲでの患者評価又は表示７０４を有するＡＲでの手術デモを含むことができる。
【0034】
図８は、いくつかの実施形態に係る患者選択のための第１のユーザインターフェイス８００を示す。図８は、ＱＲコード（登録商標）の表現によって選択可能なインディケータを表示するメニュ８０２（例えば、ＡＲメニュ）を含む。選択可能なインディケータを選択したら、カメラビューを表示できる（例えば、図９においてＡＲで示すように、レティクルが捕捉エリアのフレームを設定する）。メニュ８０２における他の選択可能な選択肢は、患者を選択すること、評価を開始すること又はダッシュボードを見ることを含む。メニュ８０２がＡＲで示される例において、メニュ８０２は、壁などに、認識された患者の隣りなどに、自動的に整列できる。
【0035】
図９は、いくつかの実施形態に係る患者選択のための第２のユーザインターフェイス９００を示す。ＱＲコード（登録商標）９０２は、カメラ（例えば、メニュ８０２を表示するＡＲ機器に取り付けられる）を使用してスキャンできる。ＱＲコード（登録商標）９０２は、患者固有、臨床医固有、評価固有、計器固有又はその組合せなどとすることができる。ＱＲコード（登録商標）９０２は、新しいメニュを表示させるために図９に示すようにスキャンできる。ＱＲコード（登録商標）９０２をスキャンした後、ＡＲディスプレイ（例えば、メニュ）は、自動的に、患者情報、患者リスト、計器情報、評価情報、施設又はグループ患者リストなどの情報で占めることができる。患者リストの例を後に論じる図１０に示す。
【0036】
１つの実施例において、ＱＲコード（登録商標）は、カメラ（ライダーカメラを含むことができる）の設置場所を見つけるために役立つ。カメラは、カメラ座標の中に在る骨格関節の空間位置を突き止められるようにする。ＡＲ機器は、これらの関節座標を現実世界の座標に変換できる。
【0037】
図１０は、いくつかの実施形態に係る患者を選択するためのインターフェイス１０００を示す。ユーザインターフェイス１０００は、ユーザ選択、ＱＲコード（登録商標）のスキャン（例えば、図８から図９に関連して上記で説明するように）、ユーザのログイン又はこれに類似するものに応答して表示できる。ユーザインターフェイス１０００は、ＡＲで表示されるときには、視界内で移動できる。ユーザインターフェイス１０００は、壁などの現実世界において様々な場所に固定するか、又はＡＲ機器を装着するユーザまで固定距離を維持することによって移動できる。１つの実施例において、患者は、ユーザインターフェイス１０００から選択できる。選択されたとき、患者に関する更なる詳細を表示できる（図１１に関連して下で論じる）。
【0038】
図１１は、いくつかの実施形態に係る患者情報を表示するためのユーザインターフェイス１１００を示す。ユーザインターフェイス１１００は、患者選択（例えば、ユーザインターフェイス１０００上で、音声コマンドで、ジェスチャで、など）に応答して表示可能とすることができる。患者が選択されたら、名前、年齢、最終評価、処置（例えば、処置済み又はこれからの処置）、担当医名などの患者の詳細をユーザインターフェイス１１００に示すことができる。ユーザインターフェイス１１００を表示するＡＲ機器のユーザは、患者選択を確認又はキャンセルできる。いくつかの例において、ＱＲコード（登録商標）が利用できない場合又は患者が新規患者であり新規の入力が必要である場合などには、見つからない場合がある。このような例においては、患者の名前又はその他の詳細を手動入力するために仮想キーボードを表示できる。患者を確認すると選択した後に、評価用ユーザインターフェイスを表示できる。
【0039】
図１２は、いくつかの実施形態に係る評価を選択するための評価用ユーザインターフェイス１２０２を示す。評価用ユーザインターフェイス１２０２は、上肢又は下肢など大まかな選択可能な評価タイプを識別する。大まかなカテゴリーの選択後、選択のために評価の様々なカテゴリー又はサブカテゴリーを含む評価用ユーザインターフェイス１２０４を表示できる。表示される選択肢は、以前に選択された患者に応用可能なものに限定するか、又はもっと広い範囲の評価タイプのセットを表示できる。評価用ユーザインターフェイス１２０４に表示される評価タイプは、複数の部分（例えば、第１の脚又は第１の移動に対応する第１の評価及び第２の脚又は第２の移動に対応する第２の評価）を含むことができる。評価の例は、上肢に関する単一関節単一平面移動又は下肢に関する多平面多関節移動など下の表１及び表２に示すものを含むことができる。これらの２つの評価例は、カテゴリー的に、単一関節単一平面の従来の活動運動範囲評価又は多関節多平面機能評価と呼ぶことができる。
特定の評価が選択された後、ＡＲ評価を、例えば図１３に関連して以下で論じるように表示できる。
【表1】
【表2】
【0040】
図１３は、いくつかの実施形態に係るＡＲ評価の態様を表示するためのユーザインターフェイス１３００を示す。図１３は、ＡＲ評価の態様を表示するための、第１のユーザインターフェイス１３０２、第２のユーザインターフェイス１３０４及び患者１３０８に重ねられた骨格オーバーレイ１３０６を示す。図１３のインターフェイス又はコンポーネントは、評価の選択（例えば、図１２の評価用ユーザインターフェイス１２０４において）の受信に応答して表示できる。評価の名称を含めたメニュ１３０４は、開始、記録（例えばＡＲディスプレイから）、キャンセル、ステップのリスタートなどのために評価に関連して選択可能な選択肢と一緒に表示できる。患者の人口統計的情報、患者がエクササイズを完了するための指令（患者のための指令又は臨床医が患者に指令するために使用する指令、例えば、一般用語又は臨床用語を含むなど様々な言葉で書くことができる）などを含めた第２のメニュ１３０２を表示できる。第２のメニュ１３０２は、評価を開始するために選択可能なインディケータを含むことができる。第２のメニュ１３０２は、評価の目標（例えば、一般的な、又は完了した外科処置、物理療法、処置後の経過時間などに基づく術後などの患者特有の、目標運動範囲）を含むことができる。第２のメニュ１３０２は、評価の仮想デモを表示するためのコンポーネントを含むことができる。コンポーネントは、自動的に又はＡＲ機器のユーザによって起動できる。
【0041】
メニュ１３０２及び１３０４は、別個に移動可能とする、部屋の一部分に固定する、患者１３０８又はその他の可動オブジェクトに対して固定する、相互に固定する、メニュ１３０２又は１３０４を表示するＡＲディスプレイの装着者から固定距離だけ離して設定する、などが可能である。
【0042】
１つの実施例において、骨格フレーム１３０６は、患者１３０８に重ねて表示できる。骨格フレーム１３０６は、関節、分節（例えば、骨又はその他の身体部位に対応する）又はこれらに類似するものを含むことができる。骨格オーバーレイは、患者１３０８と一緒に移動でき、骨格オーバーレイの拡張現実画像は患者１３０８の現実世界の移動を追跡する。骨格フレーム１３０６は、患者１３０８の現実世界の移動を追跡するものとして説明されるが、骨格フレーム１３０６は、骨格フレーム１３０６を表示するＡＲ機器の装着者に対して移動して見えるように表示することもできる。例えば、装着者が移動するとき、骨格フレーム１３０６の投射図は、装着者と患者１３０８との間に留まるように変化できる。他の例において、骨格フレーム１３０６は、装着者の視野が変化する場合に、部分的に又は完全に骨格フレーム１３０６が不鮮明になるように装着者に対して移動しない。
【0043】
骨格フレーム１３０６は、例えばライダーカメラ、深度カメラなどのカメラを使用して患者１３０８から生成できる。カメラは、ＡＲ機器の一部とするか又は別個のものとすることができる。カメラからのデータは、例えばＡＰＩを介してＡＲ機器のディスプレイを制御するプロセッサへ送信でき、骨格フレーム１３０６は、受信したデータに基づいてＡＲ機器を使用して表示するために出力できる。
【0044】
１つの実施例において、ライダーカメラは、投射光を介して患者１３０８を捕捉しこれを識別するために使用できる。骨格フレーム１３０８は、例えば、画像認識及び骨格割当てを使用してライダーカメラデータから導出でき、任意に患者１３０６個人に特定できる。骨格フレーム１３０８の可視化は、ＡＲ機器を介して与えられ表示できる。患者１３０６の運動範囲データは、患者１３０６の動き（例えば、ライダーカメラ、ＡＲ機器に取り付けられたカメラなどを介して捕捉）に基づいて決定でき、骨格フレームの既知の力学及び捕捉された又は既知の患者１３０６の身体構造（例えば、身長）に基づき空間における予測される動きと比較できる。患者１３０６に関する情報（例えば、身長、腕幅など）は、接続された保健クラウドに保存できる。
【0045】
開始の選択を受信した後（メニュ１３０２又は１３０４の１つで、ジェスチャ、音声コマンドを介してなど）、図１４に関連して以下に説明するように、運動範囲のリアルタイムインディケータを表示できる。
【0046】
図１４は、いくつかの実施形態に係るＡＲ評価及び骨格オーバーレイの態様を表示するためのユーザインターフェイス１４００を示す。図１４は、ＡＲ評価及び骨格オーバーレイの態様を表示するためのユーザインターフェイス（例えば、１４０２及び１４０４）及びコンポーネント（例えば部分１４０６及び１４０８を含む）を示す。ユーザインターフェイス１４０２は、患者の運動範囲のリアルタイムインディケータを含む。評価中、患者が移動するとき、リアルタイムインディケータは、取得された現在の又は全体の運動範囲で更新できる（例えば、評価開始直後などにユーザインターフェイス１４０２において２度として表示される）。ユーザインターフェイス１４０２の「開始」選択可能インディケータは、「完了」又は「終了」選択可能インディケータに変わり（例えば、進行し、運動範囲が変化した後）、これが選択されると、評価を停止できる。
【0047】
ユーザインターフェイス１４０４における運動範囲の表示は、完了バー、円などを使用するなどして進行する（例えば、目標運動範囲へ向かって）。いくつかの例において、例えば進行の程度又は量を示すために、ユーザインターフェイス１４０４において色の変化、ポップアップ、音響又はその他の表示などで進行を示すために効果を付加又は変更できる。進行度は、以前の個人記録の通過、目標運動範囲の達成などに対応できる。
【0048】
ユーザインターフェイス１４０４は、ユーザに重ねられた骨格オーバーレイを含み、骨格オーバーレイは、部分１４０６及び１４０８を含む。表示強化は、運動経路（例えば、四肢の部分１４０８における目標及び現在の部分１４０６）、最終目標、開始点などを示すために骨格オーバーレイで示すことができる。表示強化は、リアルタイムに示され、評価中に患者が動くに連れて修正できる。
【0049】
ユーザインターフェイス１４０２及び１４０４は、ユーザインターフェイスメニュ及び患者の骨格フレームの両方を示す。ユーザインターフェイスメニュと骨格フレームの同時表示によって、ユーザ（例えば、外科医などの臨床医）は、１つのビュー内で患者、骨格フレーム及び移動に関するデータを見ることができる。これは、臨床医が画面を見つめる（患者を見失う）必要をなくすことによって、情報の可視性を改良する。骨格フレームは、いくつかの実施例において深度情報を提供できる。臨床医又はＡＲ機器のその他のユーザが移動すると、ユーザインターフェイスコンポーネントは臨床医と一緒に移動するか、又は静止したまま（例えば、患者付近で）とすることができる。いくつかの実施例において、ユーザインターフェイスコンポーネントは、ＡＲ機器のユーザに合わせて空間的に回転しているように見えて、ユーザが患者及び骨格フレームの様々な投射図を得られるようにしながらユーザインターフェイスコンポーネントを任意の角度で見られるようにする。これによって、ユーザは、正確な主要平面運動を見ることができ、これを、骨格フレーム上で視覚的に、かつ任意にユーザインターフェイスコンポーネントにおいて値として、見ることができる。
【0050】
１つの実施例において、評価が完了した後、運動範囲（全運動範囲又は運動の質）が達成された後又は完了インディケータが選択された後に、図１５に関連して以下に説明するように、ＡＲ評価を表示できる。
【0051】
図１５は、いくつかの実施形態に係るＡＲ評価及び骨格オーバーレイの態様を表示するためのユーザインターフェイス１５００を示す。図１５は、ＡＲ評価及び骨格オーバーレイの態様を表示するためのユーザインターフェイス１５０２及びコンポーネント１５０４を示す。ユーザインターフェイス１５０２は、評価（例えば、上記で説明したように完了した評価）の詳細を含む。骨格オーバーレイ又は表示強化は、観察のために維持できる。ユーザインターフェイス１５０２は、例えば目標又は個人最高記録と対比して表示される最高達成運動範囲の表示を含むことができる。コンポーネント１５０４は、例えば進行又は達成度をユーザに示すために、運動範囲評価中に肢の最終位置を示すことができる。
【0052】
評価が複数部分（例えば、２本の肢、２つのエクササイズなど）を有する場合、システムは、「完了」インディケータの選択（上記で説明するように）後に続けて次の部分へ移動できる。いくつかの例において、次の部分は直ちに開始し、別の例において、ユーザは、次の部分を開始するために「開始」インディケータを選択できる。評価の１つ又は全ての部分が完了したら、図１６に関連して以下に説明するように、ＡＲ評価の全体結果を表示できる。
【0053】
図１６は、いくつかの実施形態に係るＡＲ評価の結果を表示するためのユーザインターフェイス１６００を示す。ユーザインターフェイス１６００は、評価の結果を示すメニュを含むことができる。図１６に示す例において、運動角度範囲（例えば、１１９度及び１０８度）が、左及び右上肢の両方の水平内転評価について表示される。
【0054】
ユーザが、ＡＲ評価結果の検証を行ったことを示すユーザインターフェイス１６００上の「完了」インディケータを選択すると、システムは、必要であれば更なる評価のため、又は完了、保存又は評価結果の送信のために、以前のメニュへ戻ることができる。システムは、更なる命令（例えば、運動範囲を改善するために続けるエクササイズ、運動範囲を改善することの利点に関する教育、臨床医との連絡指令）を与えることができる。
【0055】
患者の身体構造の拡張又は仮想現実ビューは、いくつかの例においてＡＲ評価が完了した後に表示できる。患者身体構造は、患者ビュー又は臨床医ビューなど身体構造を見る者の役割に応じて表示できる。患者ビューは、身体構造又は臨床情報の点で臨床医ビューより単純化できる。いくつかの実施例において、患者ビューは、説明、教育資料、色又はその他の表示効果又は患者身体構造を含むこれに類似するものなどの付加的情報を含むことができる。
【0056】
完了済み又はこれから完了する処置を示すことができる（例えば、患者がロードマップのどこにいるかの表示を含むロードマップ）。拡張現実患者身体構造は、処置前、処置中又は処置後の身体構造、成果の予測ビューを含む術前、術前予測成果と比較するために術後など、様々な状態で表示できる。１つの実施例において、患者身体構造は、動的、静的又は分解図で又はこれに類似するもので示すことができる。拡張現実ビューで表示された患者身体構造は、回転可能、移動可能、拡大可能又は縮小可能などとすることができる。
【0057】
図１７は、いくつかの実施形態に係る拡張現実で手術デモを選択するためのユーザインターフェイス１７００を示す。ユーザインターフェイス１７０２は、ユーザが臨床医又は患者などの役割を選択できるようにする。ユーザインターフェイス１７０４は、ユーザインターフェイス１７０２上で選択が行われた後に表示できる。ユーザインターフェイス１７０４は、デモを開始するため、患者を選択するため（例えば、ユーザが臨床医の場合）、共有のため、などの選択を含むことができる。１つの実施例において、ユーザがユーザインターフェイス１７０２において「患者」を選択したとき、ユーザインターフェイス１７０４をスキップして、例えば、患者を確認するために患者選択画面へ進むことができる。
【0058】
図１８は、拡張現実で手術デモを選択するためのユーザインターフェイス１８００を示す。ユーザがデモの開始インディケータを選択すると（例えば、図１１Ｂのユーザインターフェイス１１０４上で）、ユーザインターフェイス１８００は、見ることが可能なデモを表示できる。ユーザは、見たいデモ（患者、臨床医、処置のタイプなどに対応する）を選択できる。ユーザインターフェイス１８００は、全膝関節手術又は股関節手術に関するデモを含む。患者は、いくつかの実施例においてデモを個人特定するために選択できる。デモは、以下に説明するようにＡＲデモンストレーションを含むことができ、デモは、今後の又は以前完了した外科処置に対応できる。
【0059】
図１９は、いくつかの実施形態に係るＡＲデモンストレーション及び３Ｄ骨モデルの態様を表示するためのユーザインターフェイス１９００を示す。図１９は、ＡＲデモンストレーション及び３Ｄ骨モデルの態様を表示するためのユーザインターフェイス１９０４及びコンポーネント１９０２を示す。コンポーネント１９０２は、ＡＲで表示される３Ｄ骨モデルの仮想的に操作可能な３Ｄ表示を含むことができる。３Ｄ骨モデルは、いくつかの実施例において、患者撮像に基づくカスタム３Ｄモデルを含むことができる。制御ユーザインターフェイス１９０４は、コンポーネント１９０２の表示を制御するための回転、分解、プレイ、キャンセル、共有などのコンポーネントを表示できる。いくつかの実施例において、コンポーネント１９０２は、コンポーネント１９０２を「移動」する（例えば、手又はジェスチャを使用する）ことによって制御できる。
【0060】
１つの実施例において、ユーザインターフェイス１９０４において「プレイ」ボタンを選択すると、３Ｄ骨モデルの完全回転又は運動範囲が示される。３Ｄ骨モデルをＡＲで表示するとき、切開、トライアルの設置、分解図、インプラント、回転などを表示できる（例えば動画として）。このようにして、ユーザは、処置のエンドトゥエンド表示を３Ｄ ＡＲで見ることができる。臨床医ユーザが、スポットを視覚化するために３ＤのＡＲ表示を使用する間、患者に処置の視覚的ウォークスルーが与えることができる。見終わったら、ユーザは、「確認」又は「チェック」ボタンを選択できる。
【0061】
コンポーネント１９０２は、いくつかの実施例に従った患者身体構造、インプラント、トライアルなどの三次元レンダリングを拡張現実表示で示す。ＡＲ表示は、コンポーネント１９０２を含み、コンポーネントは、例えばＸ線、ＭＲＩ、ＣＴスキャン又はこれに類似するものを使用して生成された患者の身体構造を含むことができる。ＡＲ表示は、動画を示すか、又は、コンポーネント１９０２（例えば、骨）における患者身体構造又はインプラントの三次元仮想表現を制御又は移動できるようにする。三次元仮想表現は、例えば、ボタン、リモート、ジェスチャ、ユーザインターフェイス１９０４のメニュ上での入力などを使用してＡＲ表示を見ている臨床医によって対話できる。対話は、コンポーネント１９０２を操作（例えば、コンポーネント１９０２を回転、移動、ズームなど）できる。コンポーネント１９０２を操作することによって、臨床医は、術前又は術後などに外科処置を可視化できる。
【0062】
図２０は、いくつかの実施形態に係る３Ｄ骨モデルＡＲビュー２０００の例を示す。ＡＲビュー２０００は、３Ｄ骨モデルの分解図であり、インプラント又はトライアル、切開の視覚的表示などを含むことができる。ＡＲビュー２０００は、例えば、拡張又は圧縮（例えば、再組立）のため、回転、移動などのために制御できる。いくつかの実施例において、トライアル又はインプラントなどのコンポーネントを選択でき、その後、これを取り外す、モデルから独立して移動する、別のものと交換する、サイズを変更するなど、が可能である。これによって、臨床医は、拡張モデルを見て、様々なサイズのトライアル又はインプラントを素早く視覚化できる。いくつかの実施例において、臨床医が切開の変更を視覚化できるようにするために、例えば切断深度、切断角度など、切開を修正できる。
【0063】
１つの実施例において、ＡＲビュー２０００は、外科処置のためのデモシステムを含む。いくつかの実施例において、ＡＲビュー２０００は、非患者固有の骨構造を使用でき、他の実施例において、患者固有の骨構造（例えば、患者の撮像に基づく）を使用できる。ＡＲビュー２０００は、膝関節システム（例えば、全又は部分膝関節）、股関節システムなどの医療機器コンポーネントを示すために使用できる。
【0064】
図２１は、いくつかの実施形態に係るＡＲビュー２１００の中の３Ｄ骨モデルの例を示す。ＡＲビュー２１００は、どこでモデルの移動が生じるかの視覚インディケータ２１０２を含む。このＡＲビュー２１００の例において、３Ｄ骨モデルは、視覚インディケータ２１０２（この場合、青い球体）によって表示される移動箇所を除いて安定的（例えば、移動不能）とすることができる。第２の視覚インディケータ２１０４は、視覚インディケータ２１０２を移動することによって生じる移動を固定する回転関節を示すために使用できる。例えば、ＡＲビュー２１００において、視覚インディケータ２１０２は、膝関節に在り、これが移動すると、第２の視覚インディケータ２１０４によって示すように大腿骨を股関節において回転させる。視覚インディケータは、固有に（例えば、球体で、異なる色で、カーソル又は指がその上でホバリングするとき変化することで、などで）表示できる。ＡＲビュー２１００において、膝関節は、例えば患者固有の３Ｄ骨モデルの股関節の回転又は運動範囲を示すために移動可能である。
【0065】
ＡＲビュー２０００又は２１００は、例えばマルチユーザシステムにおいて、本明細書において説明するようなユーザインターフェイスコンポーネント、モデル、技法、骨格フレーム又はこれに類似するものを表示するために使用できる。いくつかの実施例において、マルチユーザシステムは、同期化又は接続されたＡＲ機器を使用して臨床医及び患者によって使用できる。臨床医のＡＲ機器は、患者用ＡＲにおける患者回復、外科処置又はこれに類似するものの態様を制御又は表示するために使用できる。いくつかの実施例において、ＡＲビュー２０００又は２１００に示される身体構造は、予め設定されたように（例えば、動画で）移動できる。他の実施例において、臨床医は、回転、スピン、分解、プレイ、中断、スピードアップ、スローダウンなどによって、身体構造を制御できる。
【0066】
図２２は、本開示の少なくとも１つの実施例に従って拡張現実を使用して患者評価を実施するための技法２２００を示すフローチャートである。技法２２００は、拡張現実（ＡＲ）機器を使用して、評価に対応する選択可能インディケータを含む第１のユーザインターフェイスを始動するための操作２２０２を含む。１つの実施例において、患者は、ＡＲユーザインターフェイス（又は複数のＡＲユーザインターフェイス）を使用して選択できる。
【0067】
技法２２００は、第１のユーザインターフェイス上の選択可能インディケータ、ユーザインターフェイス上の割当てに対応する選択可能インディケータの選択を受信するための操作２２０４を含む。技法２２００は、評価を実施する患者即ちＡＲ機器を介して見える患者の現在位置に対応する現在の運動範囲表示を含む第２のユーザインターフェイスを表示するための操作２２０６を含む。技法２２００は、ＡＲ機器を使用して表示するために評価の運動範囲結果を出力するための操作２２０８を含む。１つの実施例において、技法２２００は、操作２２０６又は２２０８の代わりに又はこれに加えて、患者上に骨格オーバーレイを表示することを含むことができる。
【0068】
骨格オーバーレイは、ＡＲ機器を介してＡＲ表示と一緒に表示できる。骨格オーバーレイは、患者が移動するときに移動できる。ユーザインターフェイスは、ＡＲ表示のユーザの視線を追うためにユーザによって又は自動的に制御されるか、又は静止したまま若しくは対象物（例えば、患者）から特定の距離に固定できる。ＡＲ機器のユーザが移動するとき、ユーザインターフェイスは、これを追うか又は回転などができる（例えば、固定距離に設定されたとき）。
【0069】
図２３は、本開示の少なくとも１つの実施例に従った拡張現実を使用して手術デモを表示するための技法２３００を示すフローチャートである。技法２３００は、選択可能インディケータを含むユーザインターフェイスを表示するための操作２３０２を含み、これが選択されると、仮想又は拡張現実ディスプレイ機器を使用して仮想又は拡張現実で手術デモが表示される。技法２３００は、選択可能インディケータに対応するユーザ入力を受信するための操作２３０４を含む。技法２３００は、患者の身体構造の画像から生成された３Ｄモデルを使用して仮想又は拡張現実で手術デモを表示するための操作２３０６を含み、手術デモは、３Ｄモデルの完全回転、３Ｄモデルの運動範囲、３Ｄモデルの切開、３Ｄモデルにおけるトライアル又はインプラントの設置又は３Ｄモデルの分解図の少なくとも１つの３Ｄ表示を含む。
【0070】
図２４は、いくつかの実施形態に従って本明細書において論じる技法（例えば、方法論）の何れか１つ又は複数を実施できるマシン２４００のブロック図の例である。別の実施形態において、マシン２４００は、独立機器として作動するか、又は他のマシンに接続（又はネットワーク化）できる。ネットワーク配備において、マシン２４００は、サーバーマシン、クライアントマシン又はサーバークライアントネットワーク環境においてその両方として作動できる。マシン２４００は、パソコン（ＰＣ）、タブレットＰＣ、携帯情報端末（ＰＤＡ）、携帯電話、ｗｅｂアプライアンス、ネットワークルーター、スイッチ又はブリッジ又はマシンが取るべき動作を指定する命令（シーケンシャル又はその他）を実行できる任意のマシンとすることができる。更に、単一のマシンを図示するが、「マシン」は、クラウドコンピューティング、サービスとしてのソフトウェア（Ｓａａｓ）、その他のコンピュータクラスタ構成など本明細書において論じる方法論の何れか１つ又は複数を実行するための１組（又は複数組）の命令を個別に又は共同で実行するマシンの任意の集合体を含むと解釈することもできる。
【0071】
本明細書において説明するような実施例は、ロジック又は多数のコンポーネント、モジュール又は同様のメカニズムを含む又はこれにおいて作動できる。この種のメカニズムは、作動するとき指定される作動を実行できる有形体（例えば、ハードウェア）である。１つの実施例において、ハードウェアは、明確に、具体的な作動（例えば、配線）を実施するように構成できる。１つの実施例において、ハードウェアは、構成可能実行ユニット（例えば、トランジスタ、回路など）及びコンピュータ可読媒体に含まれる命令を含むことができ、命令は、作動時に具体的作動を実施するように実行ユニットを構成する。構成は、実行ユニット又はローディングメカニズムの指揮の下で行うことができる。したがって、実行ユニットは、機器が作動するときコンピュータ可読媒体に通信上結合される。例えば、作動において、実行ユニットは、１時点において第１の組の特徴を実現するために第１の組の命令によって構成でき、第２の組の特徴を実現するために第２の組の命令によって再構成できる。
【0072】
マシン（例えば、コンピュータシステム）２４００は、ハードウェアプロセッサ２４０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、ハードウェアプロセッサコア又はこれらの任意の組合せ）、メインメモリ２４０４及びスタティックメモリ２４０６を含むことができ、そのいくつか又は全ては、インターリンク（例えば、バス）２４０８を介して相互に通信できる。マシン２４００は、更に、ディスプレイユニット２４１０、英数字入力機器２４１２（例えば、キーボード）及びユーザインターフェイス（ＵＩ）ナビゲーション機器２４１４（例えば、マウス）を含むことができる。１つの実施例において、ディスプレイユニット２４１０、英数字入力機器２４１２及びＵＩナビゲーション機器２４１４は、タッチスクリーンディスプレイとすることができる。ディスプレイユニット２４１０は、ゴーグル、眼鏡、拡張現実（ＡＲ）ディスプレイ、仮想現実（ＶＲ）ディスプレイ又はその他のディスプレイコンポーネントを含むことができる。例えば、ディスプレイユニットは、ユーザの頭部に装着でき、ユーザにヘッドアップ表示を提供できる。英数字入力機器２４１２は、仮想キーボード（例えば、ＶＲ又はＡＲ設定において仮想的に表示されたキーボード）を含むことができる。
【0073】
マシン２４００は、更に記憶機器（例えば、ドライブユニット）２４１６、信号発生機器２４１８（例えば、スピーカ）、ネットワークインターフェイス機器２４２０、及び汎地球測位システム（ＧＰＳ）センサ、コンパス、加速度計又はその他のセンサなどの１つ又は複数のセンサ２４２１を含むことができる。マシン２４００は、１つ又は複数の周辺機器に通信する又はこれを制御するためのシリアル（例えば、ユニバーサルシリアルバス（ＵＳＢ）、パラレル又はその他の有線又は無線（例えば、赤外線（ＩＲ）、近距離通信（ＮＦＣ）など）接続などの出力コントローラ２４２８を含むことができる。
【0074】
記憶機器２４１６は、本明細書において説明する技法又は機能の何れか１つ又は複数を実現する又はこれによって利用される１組又は複数組のデータ構造又は命令２４２４（例えば、ソフトウェア）が記憶される非一時的な機械可読媒体２４２２を含むことができる。命令２４２４は、マシン２４００によるその実行中、完全に又は少なくとも部分的に、メインメモリ２４０４内、スタティックメモリ２４０６内又はハードウェアプロセッサ２４０２内に常駐できる。１つの実施例において、ハードウェアプロセッサ２４０２、メインメモリ２４０４、スタティックメモリ２４０６又は記憶機器２４１６の１つ又はその任意の組合せは、機械可読媒体を構成できる。
【0075】
機械可読媒体２４２２を単独媒体として説明するが、「機械可読媒体」は、１つ又は複数の命令２４２４を記憶するように構成された単一媒体又は複数の媒体（例えば、集中又は分散データベース又は関連キャッシュ及びサーバー）を含むことができる。
【0076】
「機械可読媒体」は、マシン２４００による実行のための命令を記憶、コード化又は保有できかつマシン２４００に本開示の技法の何れか１つ又は複数を実施させる又はこのような命令によって使用される又はこれと関連付けられるデータ構造を記憶、コード化又は保有できる任意の媒体を含むことができる。非限定的機械可読媒体の例は、ソリッドステートメモリ及び光学及び磁気媒体を含むことができる。機械可読媒体の具体的例は、半導体メモリ機器（例えば、電気プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ））及びフラッシュメモリ機器などの不揮発性メモリ、内部ハードディスク及び着脱式ディスクなどの磁気ディスク、光磁気ディスク、ＣＤ-ＲＯＭ及びＤＶＤ-ＲＯＭディスクなどを含むことができる。
【0077】
命令２４２４は、更に、多数のトランスファプロトコル（例えば、フレームリレイ、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキストトランスファプロトコル（ＨＴＴＰ）、など）の何れか１つを利用するネットワークインターフェイス機器２４２０を介して伝送媒体を使用して通信ネットワーク２４２６越しに送受できる。通信ネットワークの例は、特に、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パケットデータネットワーク（例えば、インターネット）、携帯電話ネットワーク（例えば、セルラーネットワーク）、従来型電話（ＰＯＴＳ）ネットワーク及び無線データネットワーク（例えば、ＷｉＦｉ（登録商標）として知られる電気電子学会（ＩＥＥＥ）８０２.１１規格、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｓｐｅｃｉａｌ Ｉｎｔｅｒｅｓｔ Ｇｒｏｕｐによって普及されるＢｌｕｅｔｏｏｔｈ（登録商標）として知られるパーソナルエリアネットワーク規格、ピアトゥピア（Ｐ２Ｐ）ネットワーク）を含む。１つの実施例において、ネットワークインターフェイス機器２４２０は、１つ又は複数の物理的ジャック（例えば、イーサネット、同軸又は電話ジャック）又は通信ネットワーク２４２６に接続するための１つ又は複数のアンテナを含むことができる。１つの実施例において、ネットワークインターフェイス機器２４２０は、単一入力複数出力（ＳＩＭＯ）、複数入力複数出力（ＭＩＭＯ）又は複数入力単数出力（ＭＩＳＯ）の少なくとも１つを使用して無線通信するために複数のアンテナを含むことができる。「伝送媒体」は、マシン２４００による実行のための命令を記憶、コード化又は保有できる任意の非有形媒体を含むと解釈され、デジタル又はアナログ通信信号又はこの種のソフトウェアの通信を容易にするためのその他の非有形媒体を含む。
【0078】
これらの非限定的例の各々は、単独とするか又は他の例の１つ又は複数と様々の置換又は組合せで組み合わせることができる。
【0079】
実施例１は、拡張現実患者評価のためのシステムである。システムは、拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）と、筋骨格評価活動中に患者に関する深度センサデータを生成するための深度センサと、処理回路と、命令を含むメモリと、を備え、命令は、処理回路によって実行されたとき、処理回路に、深度センサデータに基づいて骨格モデルを生成させ、筋骨格評価活動中に患者の運動を追跡させ、患者の運動に基づいて現在のＲＯＭを決定させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上に表示するために患者に重ねられた現在のＲＯＭを出力させる。
【0080】
実施例２において、実施例１の内容は、更に処理回路に筋骨格評価活動の選択を受信させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上に表示するために筋骨格評価活動の説明を出力させる命令を含む。
【0081】
実施例３において、実施例１又は実施例２の内容は、更に処理回路に筋骨格評価活動に基づいて目標のＲＯＭを決定させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために目標のＲＯＭのグラフィック表示を出力させる命令を含む。
【0082】
実施例４において、実施例１から実施例３の内容は、更に処理回路にＡＲＨＭＤ上で表示するためにガイドされた筋骨格活動を出力させる命令を含み、ガイドされた筋骨格活動は、筋骨格評価活動を行うための患者運動指令を与える。
【0083】
実施例５において、実施例１から実施例４の内容は、更に処理回路に患者に取り付けられた運動センサから運動センサデータを受信させる命令を含み、運動センサデータは、患者の筋骨格運動を特徴付け、骨格モデルの生成は、更にセンサデータに基づく。
【0084】
実施例６において、実施例１から実施例５の内容は、更に処理回路に患者の筋骨格関節の医療用撮像データを受信させる命令を含み、骨格モデルの生成は、更に医療用撮像データに基づく。
【0085】
実施例７において、実施例１から実施例６の内容は、更に処理回路にモデル外科処置の選択を受信させ、モデル外科処置及び骨格モデルに基づいて患者処置モデルを生成させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者処置モデルを出力させる命令を含む。
【0086】
実施例８において、実施例１から実施例７の内容は、更に処理回路に骨格モデルに基づいて予測術後骨格モデルを生成させる命令を含み、骨格モデルが術前骨格モデルを含み、予測術後骨格モデルが外科処置に基づき改良された運動範囲（ＲＯＭ）を含み、又、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた予測術後骨格モデルを出力させる命令を含む。
【0087】
実施例９において、実施例８の内容は、更に術後筋骨格評価活動中に患者に関する術後深度センサデータを生成するための深度センサを含み、命令は、更に処理回路に術後深度センサデータに基づいて改良された術後骨格モデルを生成させ、ＡＲＨＭＤ上で表示するために術前骨格モデルに重ねられた改良された術後骨格モデルを出力させる。
【0088】
実施例１０において、実施例９の内容は、更に処理回路にＡＲＨＭＤ上で表示するために予測術後骨格モデルに重ねられた改良された術後骨格モデルを出力にさせる命令を含む。
【0089】
実施例１１において、実施例８から実施例１０の内容は、更に処理回路に外科処置の選択を受信させる命令を含み、予測術後骨格モデルは、更に外科処置の選択に基づく。
【0090】
実施例１２において、実施例１１の内容は、更に処理回路に筋骨格評価活動と関連付けられる外科処置のリストを識別させ、ＡＲＨＭＤ上で表示するために外科処置のリストについて選択プロンプトを出力させる命令を含む。
【0091】
実施例１３において、実施例８から実施例１２の内容は、患者の複数の画像を捕捉するためのイメージセンサを含み、術前骨格モデルは、更に患者の複数の画像に基づく。
【0092】
実施例１４において、実施例１３の内容は、更に処理回路にＲＯＭエクササイズの選択を受信させ、ＲＯＭエクササイズと関連付けられる複数のＲＯＭ画像を生成させる命令を含み、複数のＲＯＭ画像は、患者の複数の画像に重ねられた予測術後骨格モデルを含む。
【0093】
実施例１５において、実施例１から実施例１４の内容は、患者用ＡＲＨＭＤを含み、命令は、更に処理回路にＡＲＨＭＤを通して医師が患者を見ながらＡＲＨＭＤ上で表示するために予測骨格モデルを出力させ、ＡＲＨＭＤを通して医師が見る通りに患者の画像を捕捉させ、患者用ＡＲＨＭＤで表示するために患者の画像に重ねられた予測骨格モデルを出力させる。
【0094】
実施例１６において、実施例１から実施例１５の内容は、更に処理回路に複数ポーズの骨格モデルを出力させる命令を含み、複数ポーズの骨格モデルは、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために複数ポーズの骨格モデルが患者に重ねられるときに、改良されたＲＯＭに基づいて患者身体部位の複数の位置を表示するように構成される。
【0095】
実施例１７において、実施例１６の内容は、更に処理回路にＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた運動骨格モデルを出力させる命令を含み、運動骨格モデルは、改良されたＲＯＭに基づく患者身体部位の運動を示す。
【0096】
実施例１８において、実施例１７の内容は、更に処理回路に骨格モデル運動中断入力を受信させ、患者用ＡＲＨＭＤ上の表示において患者身体部位の運動をフリーズさせる命令を含む。
【0097】
実施例１９において、実施例１から実施例１８の内容は、更に処理回路に外科処置の選択を受信させる命令を含む。
【0098】
実施例２０において、実施例１９の内容は、更に処理回路に改良されたＲＯＭ外科処置についてユーザにプロンプトを与えさせる命令を含み、改良されたＲＯＭ外科処置は、外科処置より大きいＲＯＭを与える。
【0099】
実施例２１において、実施例１から実施例２０の内容は、更に処理回路に骨格モデル修正入力を受信させ、骨格モデル修正入力に基づいて修正された骨格モデルを生成させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた修正された骨格モデルを出力させる命令を含む。
【0100】
実施例２２において、実施例２１の内容は、骨格モデル修正入力が少なくとも骨格モデル関節再位置付け、肢長調節、肢ポーズ調節及び骨格モデルリセット入力を含むことを含む。
【0101】
実施例２３において、実施例１２から実施例２２の内容は、更に処理回路に筋骨格評価活動と関連付けられる外科処置のリストの少なくとも１つの要素と関連付けられる外科処置暗示を識別させる命令を含み、外科処置のリストについての選択プロンプトの出力は、ＡＲＨＭＤ上で表示するための外科処置暗示の表示を含む。
【0102】
実施例２４において、実施例２３の内容は、外科処置暗示が回復時間、回復の物理療法要件及び予測ＲＯＭの少なくとも１つを含むことを含む。
【0103】
実施例２５において、実施例１から実施例２４の内容は、更に処理回路に外科的回避選択を受信させ、骨格モデルに基づいて予測外科的回避骨格モデルを生成させる命令を含み、予測骨格モデルが外科処置からの回避に基づく低下したＲＯＭを含み、又、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた予測外科的回避骨格モデルを出力させる命令を含む。
【0104】
実施例２６において、実施例１から実施例２５の内容は、更に処理回路に老化進行入力を受信させ、骨格モデルに基づいて複数の老化骨格モデルを生成させる命令を含み、複数の老化骨格モデルが老化進行入力に基づく複数の減少したＲＯＭ値を含み、又、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた複数の老化骨格モデルの進行を出力させる命令を含む。
【0105】
実施例２７において、実施例１４から実施例２６の内容は、更に処理回路に患者の運動を捕捉させる命令を含み、ＲＯＭエクササイズの選択は患者の運動に基づく。
【0106】
実施例２８は、拡張現実患者評価のための方法である。方法は、筋骨格評価活動中に患者に関して深度センサデータを生成することと、深度センサデータに基づいて骨格モデルを生成することと、筋骨格評価活動中に患者の運動を追跡することと、患者の運動に基づいて現在のＲＯＭを決定することと、拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）を通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた現在のＲＯＭを出力すること、を含む。
【0107】
実施例２９において、実施例２８の内容は、筋骨格評価活動の選択を受信することと、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために筋骨格評価活動の説明を出力することと、を含む。
【0108】
実施例３０において、実施例２８又は実施例２９の内容は、筋骨格評価活動に基づいて目標のＲＯＭを決定することと、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために目標のＲＯＭのグラフィック表示を出力すること、を含む。
【0109】
実施例３１において、実施例２８から実施例３０の内容は、ＡＲＨＭＤ上で表示するためにガイドされた筋骨格活動を出力することを含み、ガイドされた筋骨格活動は、筋骨格評価活動を行うための患者運動指令を与える。
【0110】
実施例３２において、実施例２８から３１の内容は、患者に取り付けられた運動センサから運動センサデータを受信することを含み、運動センサデータは患者の筋骨格運動を特徴付ける。骨格モデルの生成は、更にセンサデータに基づく。
【0111】
実施例３３において、実施例２８から実施例３２の内容は、患者の筋骨格関節の医療用撮像データを受信することを含み、骨格モデルの生成は、更に医療用撮像データに基づく。
【0112】
実施例３４において、実施例２８から実施例３３の内容は、モデル外科処置の選択を受信することと、モデル外科処置及び骨格モデルに基づいて患者処置モデルを生成することと、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者処置モデルを出力すること、を含む。
【0113】
実施例３５において、実施例２８から実施例３４の内容は、骨格モデルに基づいて予測術後骨格モデルを生成することを含み、骨格モデルが術前骨格モデルを含み、予測術後骨格モデルが外科処置に基づく改良された運動範囲（ＲＯＭ）を含み、又、拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）を通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた予測術後骨格モデルを出力することを含む。
【0114】
実施例３６において、実施例３５の内容は、術後筋骨格評価活動中に患者の術後深度センサデータを生成することと、術後深度センサデータに基づいて修正された術後骨格モデルを生成することと、ＡＲＨＭＤ上で表示するために術前骨格モデル重ねられた修正された術後骨格モデルを出力すること、を含む。
【0115】
実施例３７において、実施例３６の内容は、ＡＲＨＭＤ上で表示するために予測術後骨格モデルに重ねられた改良された術後骨格モデルを出力することを含む。
【0116】
実施例３８において、実施例３５から実施例３７の内容は、外科処置の選択を受信することを含み、予測術後骨格モデルは、更に外科処置の選択に基づく。
【0117】
実施例３９において、実施例３８の内容は、筋骨格評価活動と関連付けられる外科処置のリストを識別することと、ＡＲＨＭＤ上で表示するために外科処置のリストについて選択プロンプトを出力することと、を含む。
【0118】
実施例４０において、実施例３５から実施例３９の内容は、患者の複数の画像を捕捉することを含み、術前骨格モデルはさらに患者の複数の画像に基づく。
【0119】
実施例４１において、実施例４０の内容は、ＲＯＭエクササイズの選択を受信することと、選択されたＲＯＭエクササイズと関連付けられる複数のＲＯＭ画像を生成することと、を含み、複数のＲＯＭ画像は、捕捉された患者の画像に重ねられた術後骨格モデルを含む。
【0120】
実施例４２において、実施例２８から実施例４１の内容は、患者用ＡＲＨＭＤを含み、更に、ＡＲＨＭＤを通して医師が患者を見ながらＡＲＨＭＤ上で表示するために予測骨格モデルを出力することと、ＡＲＨＭＤを通して医師が患者を見る通りの患者の画像を捕捉することと、患者用ＡＲＨＭＤ上で表示するために患者の画像に重ねられた予測骨格モデルを出力すること、を含む。
【0121】
実施例４３において、実施例２８から実施例４２の内容は、複数ポーズ骨格モデルを出力することを含み、複数ポーズ骨格モデルは、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために複数ポーズ骨格モデルが患者に重ねられるときに、改良されたＲＯＭに基づいて患者身体部位の複数の部分を表示するように構成される。
【0122】
実施例４４において、実施例４３の内容は、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた運動骨格モデルを出力することを含み、運動骨格モデルは、改良されたＲＯＭに基づく患者身体部位の運動を示す。
【0123】
実施例４５において、実施例４４の内容は、骨格モデル運動中断入力を受信することと、患者用ＡＲＨＭＤ上の表示において患者身体部位の運動をフリーズすること、を含む。
【0124】
実施例４６において、実施例２８から実施例４５の内容は、外科処置の選択を受信することを含む。
【0125】
実施例４７において、実施例４６の内容は、改良されたＲＯＭ外科処置についてユーザにプロンプトを与えることを含み、改良されたＲＯＭ外科処置は、外科処置より大きいＲＯＭを与える。
【0126】
実施例４８において、実施例２８から実施例４７の内容は、骨格モデル修正入力を受信することと、骨格モデル修正入力に基づいて修正された骨格モデルを生成することと、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた修正された骨格モデルを出力すること、を含む。
【0127】
実施例４９において、実施例４８の内容は、骨格モデル修正入力が少なくとも骨格モデル関節再位置付け、肢長調節、肢ポーズ調節及び骨格モデルリセット入力を含む。
【0128】
実施例５０において、実施例３９から実施例４９の内容は、筋骨格評価活動と関連付けられる外科処置のリストの少なくとも１つの要素と関連付けられる外科処置暗示を識別することを含み、外科処置のリストについての選択プロンプトの出力がＡＲＨＭＤ上で表示するための外科処置暗示の表示を含む。
【0129】
実施例５１において、実施例５０の内容は、外科処置暗示が回復時間、回復の物理療法要件及び予測ＲＯＭの少なくとも１つを含むことを含む。
【0130】
実施例５２において、実施例２８から実施例５１の内容は、外科的回避選択を受信することと、骨格モデルに基づいて予測外科的回避骨格モデルを生成することであって、予測骨格モデルは外科的処置からの回避に基づく低下したＲＯＭを含む、生成することと、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた予測外科的回避骨格モデルを出力すること、を含む。
【0131】
実施例５３において、実施例２８から実施例５２の内容は、老化進行入力を受信することと、骨格モデルに基づいて複数の老化骨格モデルを生成することであって、複数の老化骨格モデルが老化進行入力に基づく複数のＲＯＭ値減少を含む、生成することと、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた複数の老化骨格モデルの進行を出力すること、を含む。
【0132】
実施例５４において、実施例４１から実施例５３の内容は、患者の運動を捕捉することを含み、ＲＯＭエクササイズの選択は患者の運動に基づく。
【0133】
実施例５５は、非一時的機械可読記憶媒体であり、コンピュータ制御機器の処理回路で実行されるのに応答して、処理回路に筋骨格評価活動中に患者の深度センサデータを生成させ、深度センサデータに基づいて骨格モデルを生成させ、筋骨格評価活動中に患者の運動を追跡させ、患者の運動に基づいて現在のＲＯＭを決定させ、拡張現実（ＡＲ）頭部装着型ディスプレイ（ＨＭＤ）を通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた現在のＲＯＭを出力させる命令を含む。
【0134】
実施例５６において、実施例５５の内容は、更に処理回路に筋骨格評価活動の選択を受信させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために筋骨格評価活動の説明を出力させる命令を含む。
【0135】
実施例５７において、実施例５５又は実施例５６の内容は、更に処理回路に筋骨格評価活動に基づいて目標のＲＯＭを決定させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために目標のＲＯＭのグラフィック表示を出力させる命令を含む。
【0136】
実施例５８において、実施例５５から実施例５７の内容は、更に処理回路にＡＲＨＭＤ上で表示するためにガイドされた筋骨格活動を出力させる命令を含み、ガイドされた筋骨格活動は、筋骨格評価活動を行うために患者運動指令を与える。
【0137】
実施例５９において、実施例５５から実施例５８の内容は、更に処理回路に患者に取り付けられた運動センサから運動センサデータを受信させる命令を含み、運動センサデータが患者の筋骨格運動を特徴付け、骨格モデルの生成は更にセンサデータに基づく。
【0138】
実施例６０において、実施例５５から実施例５９の内容は、更に処理回路に患者の筋骨格関節の医療用撮像データを受信させる命令を含み、骨格モデルの生成は更に医療用撮像データに基づく。
【0139】
実施例６１において、実施例５５から実施例６０の内容は、更に処理回路にモデル外科処置の選択を受信させ、モデル外科処置及び骨格モデルに基づいて患者処置モデルを生成させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者処置モデルを出力させる命令を含む。
【0140】
実施例６２において、実施例５５から実施例６１の内容は、更に処理回路に骨格モデルに基づいて予測術後骨格モデルを生成させる命令を含み、骨格モデルは術前骨格モデルを含み、予測術後骨格モデルは外科処置に基づく改良された運動範囲（ＲＯＭ）を含み、又、ＡＲ（拡張現実）ＨＭＤ（頭部装着型ディスプレイ）を通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた予測術後骨格モデルを出力させる命令を含む。
【0141】
実施例６３において、実施例６２の内容は、更に処理回路に術後筋骨格評価活動中に患者の術後深度センサデータを生成させ、術後深度センサデータに基づいて改良された術後骨格モデルを生成させ、ＡＲＨＭＤ上で表示するために術前骨格モデルに重ねられた改良された術後骨格モデルを出力させる命令を含む。
【0142】
実施例６４において、実施例６３の内容は、更に処理回路にＡＲＨＭＤ上で表示するために予測術後骨格モデルに重ねられた改良された術後骨格モデルを出力させる命令を含む。
【0143】
実施例６５において、実施例６２から実施例６４の内容は、更に処理回路に外科処置の選択を受信させる命令を含み、予測術後骨格モデルは更に外科処置の選択に基づく。
【0144】
実施例６６において、実施例６５の内容は、更に処理回路に筋骨格評価活動と関連付けられる外科処置のリストを識別させ、ＡＲＨＭＤ上で表示するために外科処置のリストについて選択プロンプトを出力させる命令を含む。
【0145】
実施例６７において、実施例５５から実施例６６の内容は、更に処理回路に患者用ＡＲＨＭＤを作動させる命令を含み、命令は、更に処理回路にＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために予測骨格モデルを出力させ、ＡＲＨＭＤを通して医師が見る通りの患者の画像を捕捉させ、患者用ＡＲＨＭＤ上で表示するために患者の画像に重ねられた予測骨格モデルを出力させる。
【0146】
実施例６８において、実施例５５から６７の内容は、更に処理回路に複数ポーズ骨格モデルを出力させる命令を含み、複数ポーズ骨格モデルは、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために複数ポーズ骨格モデルが患者に重ねられるときに、改良されたＲＯＭに基づいて患者身体部位の複数の位置を表示するように構成される。
【0147】
実施例６９において、実施例６８の内容は、更に処理回路にＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた運動骨格モデルを出力させる命令を含み、運動骨格モデルは改良されたＲＯＭに基づく患者身体部位の運動を示す。
【0148】
実施例７０において、実施例６９の内容は、更に処理回路に骨格モデル運動中断入力を受信させ、患者用ＡＲＨＭＤ上での表示において患者身体部位の運動をフリーズさせる命令を含む。
【0149】
実施例７１において、実施例５５から実施例７０の内容は、更に処理回路に外科処置の選択を受信させる命令を含む。
【0150】
実施例７２において、実施例７１の内容は、更に処理回路に改良されたＲＯＭ外科処置についてユーザにプロンプトを与させる命令を含み、改良されたＲＯＭ外科処置は外科処置より大きいＲＯＭを与える。
【0151】
実施例７３において、実施例５５から実施例７２の内容は、更に処理回路に骨格モデル修正入力を受信させ、骨格モデル修正入力に基づいて修正された骨格モデルを生成させ、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた修正された骨格モデルを出力させる命令を含む。
【0152】
実施例７４において、実施例７３の内容は、骨格モデル修正入力が少なくとも骨格モデル関節再位置付け、肢長調節、肢ポーズ調節及び骨格モデルリセット入力を含むことを含む。
【0153】
実施例７５において、実施例６６から実施例７４の内容は、更に処理回路に筋骨格評価活動と関連付けられる外科処置のリストの少なくとも１つの要素と関連付けられる外科処置暗示を識別させる命令を含み、外科処置リストについての選択プロンプトの出力は、ＡＲＨＭＤ上で表示するための外科処置暗示の表示を含む。
【0154】
実施例７６において、実施例７５の内容は、外科処置暗示が回復時間、回復の物理療法要件及び予測ＲＯＭの少なくとも１つを含むことを含む。
【0155】
実施例７７において、実施例５５から実施例７６の内容は、更に処理回路に外科的回避選択を受信させ、骨格モデルに基づいて予測外科的回避骨格モデルを生成させ、予測骨格モデルが外科処置からの回避に基づく低下したＲＯＭを含み、又、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた予測外科的回避骨格モデルを出力させる命令を含む。
【0156】
実施例７８において、実施例５５から実施例７７の内容は、更に処理回路に老化進行入力を受信させ、骨格モデルに基づいて複数の老化骨格モデルを生成させる命令を含み、複数の老化骨格モデルが老化進行入力に基づく複数の低下したＲＯＭ値を含み、又、ＡＲＨＭＤを通して患者を見ながらＡＲＨＭＤ上で表示するために患者に重ねられた複数の老化骨格モデルの進行を出力させる命令を含む。
【0157】
実施例７９において、未画定の実施例の内容は、更に処理回路に患者の運動を捕捉させる命令を含み、ＲＯＭエクササイズの選択は患者の運動に基づく。
【0158】
実施例８０は、患者評価のためのシステムである。システムは、患者に関する深度センサデータを生成するための深度センサと、患者の複数の画像を捕捉するためのイメージセンサと、処理回路と、命令を含むメモリとを備え、命令は、処理回路によって実行されたときに、処理回路に、深度センサデータに基づいて術前骨格モデルを生成させ、術前骨格モデルに基づいて術後骨格モデルを生成させ、術後骨格モデルが予め設定された外科処置に基づく改良された運動範囲を含み、また、患者の複数の重ねられた術後骨格モデルを表示のために出力させる。
【0159】
実施例８１は、評価の方法である。方法は、患者に関する深度センサデータを生成することと、患者の複数の画像を捕捉することと、深度センサに基づいて術前骨格モデルを生成することと、術前骨格モデルに基づいて術後骨格モデルを生成することであって、術後骨格モデルが予め設定された外科処置に基づく改良された運動範囲を含む、生成することと、患者の複数の画像に重ねられた術後骨格モデルを表示のために出力すること、を含む。
【0160】
実施例８２は、処理回路によって実行されたとき、処理回路に実施例１から８１の何れかを実現するために作動を実施させる命令を含む少なくとも１つの機械可読媒体である。
【0161】
実施例８３は、実施例１から実施例８１の何れかを実現するための手段を備える装置である。
【0162】
実施例８４は、実施例１から実施例８１の何れかを実現するためのシステムである。
【0163】
実施例８５は、実施例１から実施例８１の何れかを実現するための方法である。
【0164】
本明細書において説明する方法例は、少なくとも部分的に機械又はコンピュータによって実現できる。いくつかの実施例は、上記の実施例において説明する通りに方法を実施するように電子機器を構成するために作動可能な命令を含むコード化されたコンピュータ可読媒体又は機械可読媒体を含むことができる。これらの方法の実現は、マイクロコード、アセンブリ言語コード、高水準言語コード又はこれに類似するものなどのコードを含むことができる。この種のコードは、様々な方法を実施するためのコンピュータ可読命令を含むことができる。コードは、コンピュータプログラム製品の部分を形成できる。更に、１つの実施例において、コードは、実行中又はその他の時点などにおいて、１つ又は複数の揮発性非一時的又は非揮発性有形コンピュータ可読媒体に有形的に記憶できる。これらの有形コンピュータ可読媒体の例は、ハードディスク、着脱可能磁気ディスク、着脱可能光ディスク（例えばコンパクトディスク及びデジタルビデオディスク）、磁気カセット、メモリカード又はスティック、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、及びこれと類似するものを含むことができるが、これらに限定されない。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【国際調査報告】