(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-26
(54)【発明の名称】整形外科手術前の計画システム
(51)【国際特許分類】
A61B 34/10 20160101AFI20221019BHJP
A61F 2/46 20060101ALI20221019BHJP
【FI】
A61B34/10
A61F2/46
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021576871
(86)(22)【出願日】2020-06-29
(85)【翻訳文提出日】2022-02-09
(86)【国際出願番号】 IB2020056143
(87)【国際公開番号】W WO2020261249
(87)【国際公開日】2020-12-30
(32)【優先日】2019-06-28
(33)【優先権主張国・地域又は機関】NZ
(32)【優先日】2020-04-20
(33)【優先権主張国・地域又は機関】NZ
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】521561994
【氏名又は名称】フォームス ラブズ リミティッド
(71)【出願人】
【識別番号】501410698
【氏名又は名称】オークランド ユニサービシーズ リミティド
(71)【出願人】
【識別番号】322010914
【氏名又は名称】ベジェ,ソー フランシスクス
(74)【代理人】
【識別番号】100091683
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】ベジェ,ソー フランシスクス
(72)【発明者】
【氏名】ジャン,ジュ
(72)【発明者】
【氏名】ヴェレヴスキ,アントニイェ
【テーマコード(参考)】
4C097
【Fターム(参考)】
4C097AA04
4C097AA07
4C097AA08
4C097BB10
(57)【要約】
外科用インプラントの選択、位置決め、または留置のうちの1つ以上を決定するための方法であって、本方法は、
損なわれていない状態で障害のある解剖学的構造の機能を予測することと、
1つ以上のインプラントの構造の手術後の機能を予測することと、
インプラント、インプラント位置、またはインプラント場所のうちの1つ以上を選択して、予測された手術後の機能を改善することと、を含む。
【選択図】
図7
【特許請求の範囲】
【請求項1】
外科用インプラントの選択、位置決め、または留置のうちの1つ以上を決定するための方法であって、前記方法は、
損なわれていない状態で障害のある解剖学的構造の機能を予測するステップと、
前記1つ以上のインプラントの構造の手術後の機能を予測するステップと、
前記インプラント、前記インプラント位置、または前記インプラント場所のうちの1つ以上を選択して、前記予測された手術後の機能を改善するステップと、
を含む、方法。
【請求項2】
前記予測された手術後の機能と前記予測された損なわれていない機能との1つ以上の差を最小にすることをさらに含む、請求項1に記載の方法。
【請求項3】
前記障害のある構造の手術前データを取得する、請求項1または2のいずれか1項に記載の方法。
【請求項4】
被験者または患者のデータは、また、被験者の母集団のデータになり得るように取得され得る、請求項1~3のいずれか1項に記載の方法。
【請求項5】
手術後データは、前記予測機能を改善するために取得され得る、請求項1~4のいずれか1項に記載の方法。
【請求項6】
患者の解剖学的モデルを生成することを含み、好ましくは、モデルは3次元モデルを含む、請求項1~5のいずれか1項に記載の方法。
【請求項7】
前記モデルは1つ以上の患者の医用画像から生成される、請求項1~6のいずれか1項に記載の方法。
【請求項8】
前記1つ以上の患者の医用画像を処理して、統計的形状モデルを使用して、前記患者の解剖学的モデルを生成する、請求項7に記載の方法。
【請求項9】
前記方法は、1つ以上の方法のステップを行うための、例えば、患者の解剖学的画像または医用画像を分類及び/またはフィルタリングするための人工ニューラルネットワークまたはディープニューラルネットワーク等の機械学習法を含み得る、請求項1~8のいずれか1項に記載の方法。
【請求項10】
外科用インプラントの選択、位置決め、または留置のうちの1つ以上を決定するための方法であって、前記方法は、
障害のある解剖学的構造を有する患者の手術前データを取得するステップと、
前記1つ以上のインプラントの解剖学的構造の手術後の機能を予測するステップと、
前記インプラント、前記インプラント位置、または前記インプラント場所のうちの1つ以上を選択して、前記構造の前記予測された手術後の機能を改善するステップと、
を含む、方法。
【請求項11】
前記インプラントのタイプ、前記インプラントの形状、前記インプラントの固定点のうちの1つ以上を決定するために適用される、請求項10に記載の方法。
【請求項12】
患者の解剖学的モデルを生成することを含む、請求項10または11に記載の方法。
【請求項13】
前記モデルは1つ以上の患者の医用画像から生成される、請求項12に記載の方法。
【請求項14】
前記1つ以上の患者の医用画像を処理して、統計的形状モデルを使用して、前記患者の解剖学的モデルを生成する、請求項12または13に記載の方法。
【請求項15】
1つ以上の方法のステップを行うための人工ニューラルネットワークまたはディープニューラルネットワークを含む機械学習法を含む、請求項10~14のいずれか1項に記載の方法。
【請求項16】
前記機械学習法を使用して、患者の解剖学的画像または医用画像を分類及び/またはフィルタリングすることを含む、請求項15に記載の方法。
【請求項17】
前記統計的形状モデルを使用して、解剖学的ランドマーク、解剖学的特徴、または解剖学的領域、1つ以上の幾何学的モデル、1つ以上の形態学的測定値のうちの1つ以上を識別または生成する、請求項14~16のいずれか1項に記載の方法。
【請求項18】
前記解剖学的ランドマーク(複数可)、前記解剖学的特徴(複数可)、または前記解剖学的領域(複数可)は、手術に関連するランドマーク、特徴、または領域であり得る、請求項17に記載の方法。
【請求項19】
前記手術に関連する特徴のランドマークは、インプラントの固定点、または領域もしくは場所を含み得る、請求項18に記載の方法。
【請求項20】
本明細書に開示される特徴のいずれかの新規特徴または組み合わせ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、手術手技(特に、整形外科手術)を計画する一般的な分野に関する。また、手術手技で使用するインプラントコンポーネントを手術前に選択及び位置決めするための方法、システム、及びデバイスも開示されている。
【0002】
本開示は、また、人工関節置換術を手術前に計画するための方法、システム、及びデバイスに関する。
【0003】
本開示は、また、人工関節置換術の前後に患者の関節機能を測定、予測、及び比較するための方法、システム、及びデバイスに関する。
【背景技術】
【0004】
整形外科では、損傷または摩耗した関節は、プロステーシスまたはインプラント(例えば、特に、股関節インプラント、膝インプラント、または肩インプラント)と交換できる。人工関節置換術の主要目的は、患者の関節機能を回復することである。しかしながら、患者の骨形状、筋肉の幾何学形状ならびに機能、及び特定の機能的タスクの移動スタイルの変化を考慮すると、インプラントの選択及び位置決めの機能的影響を予測することは困難である。
【0005】
機能的タスク(例えば、片手を使用して物体を持ち上げる)を行うために、関節(例えば、肩)は角度範囲にわたって回転する必要がある。タスクを行う能力の測定値は、その角度範囲の大きさである。例えば、健常者は、肩を180度曲げて回転することが可能であり得る一方、肩関節形成術が必要な患者は何とか90度だけ曲げ得る。肩関節形成術の目的は、インプラントの選択及び留置によって180度までの角度範囲または可能な限り大きい角度を回復することである。
【0006】
この例は、各個人がタスクを行う方法のばらつきによって複雑化する。例えば、筋肉強度及び生まれつき優遇された能力の差に起因して、2人の個人は、異なる範囲の肘及び肩の回転によって持ち上げ作業を行い得る。患者が、別人の挙動及び能力に基づいて、患者の機能を回復することを試みることは非現実的及び不都合であり得る。
【0007】
多くの場合、手術前の手術計画を使用して、インプラントの選択及び位置決めをモデル化することを試みる。生物力学的モデルと組み合わせて、関節機能の予測を助けることを試みることができる。しかしながら、対処する必要があるいくつかの問題がある。現在、医師によって使用されるツールは、患者の解剖学的構造をモデル化する能力を制限しており、異なる可能性がある適切なインプラントまたはプロステーシスを選択及び位置決めする能力も制限している。
【0008】
また、患者の手術前の関節機能及びその機能が手術後になるはずの状態の知識がなくても、手術前の計画中にインプラントを選択及び留置するときに目標とするべきことを把握することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の開示の目的は、既存の方法、プロセス、またはシステムの実行可能なまたは有用な代替手段を提供する、整形外科手技(具体的には、インプラント外科手技)を事前に計画または計画するための方法、プロセス、またはシステムを提供することである。
【課題を解決するための手段】
【0010】
インプラントは、限定ではないが、永久インプラント(例えば、人工関節置換術)、手術中に使用される一時的インプラント(例えば、外科用切断ガイド)、またはインプラント後に時間が経つにつれて人体によって生体吸収されるインプラントを含み得る。
【0011】
インプラントの選択及び留置を最適化して、術後の関節機能を最大にするために、患者の機能を収集、予測、及び分析するための手術前の手術計画のシステム及び方法が開示されている。これは、患者特有の方式で行われる。一例では、関節角度範囲であり得る機能尺度を使用する機能を測定するが、患者の関節可動域をキャプチャする他の定量値も使用できる。関節について言及されているが、本開示は、より一般的に、骨、靱帯、腱、及び関節を含む解剖学的構造に利用可能であることが認識される。
【0012】
一態様では、本開示は、概して、外科用インプラントの選択、位置決め、または留置のうちの1つ以上を決定するための方法を提供し、本方法は、
損なわれていない状態で障害のある解剖学的構造の機能を予測するステップと、
1つ以上のインプラントの構造の手術後の機能を予測するステップと、
インプラント、インプラント位置、またはインプラント場所のうちの1つ以上を選択して、予測された手術後の機能を改善するステップと、を含む。
【0013】
ある実施形態では、選択は、予測された手術後の機能と予測された損なわれていない機能との1つ以上の差を最小にすることを含む。
【0014】
ある実施形態では、障害のある構造の手術前データを取得する。被験者または患者のデータは、また、被験者の母集団のデータになり得るように取得され得る。
【0015】
ある実施形態では、手術後データは、予測機能を改善するために取得され得る。
【0016】
ある実施形態では、本方法は、患者の解剖学的モデルを生成することを含む。好ましくは、モデルは3次元モデルを含む。
【0017】
ある実施形態では、モデルは1つ以上の患者の医用画像から生成される。
【0018】
ある実施形態では、1つ以上の患者の医用画像を処理して、統計的形状モデルを使用して、患者の解剖学的モデルを生成する。
【0019】
ある実施形態では、本方法は、1つ以上の方法のステップを行うための、例えば、患者の解剖学的画像または医用画像を分類及び/またはフィルタリングするための人工ニューラルネットワークまたはディープニューラルネットワーク等の機械学習法を含み得る。
【0020】
ある実施形態では、統計的形状モデルを使用して、解剖学的ランドマーク、解剖学的特徴、または解剖学的領域、1つ以上の幾何学的モデル、1つ以上の形態学的測定値のうちの1つ以上を識別または生成する。
【0021】
解剖学的ランドマーク(複数可)、解剖学的特徴(複数可)、または解剖学的領域(複数可)は、手術に関連するランドマーク、特徴、または領域であり得る。手術に関連する特徴のランドマークは、インプラントの固定点、または領域もしくは場所を含み得る。
【0022】
解剖学的ランドマーク(複数可)、解剖学的特徴(複数可)、または解剖学的領域(複数可)は、手術前または手術後の患者の機能(例えば、手術前または手術後の可動範囲)を決定するための関連のランドマーク、特徴、または領域であり得る。
【0023】
別の態様では、本開示は、概して、外科用インプラントの選択、位置決め、または留置のうちの1つ以上を決定するための方法を提供し、本方法は、
障害のある解剖学的構造を有する患者の手術前データを取得するステップと、
1つ以上のインプラントの解剖学的構造の手術後の機能を予測するステップと、
インプラント、インプラント位置、またはインプラント場所のうちの1つ以上を選択して、構造の予測された手術後の機能を改善するステップと、を含む。
【0024】
上記の方法は、インプラントのタイプ、インプラントの形状、インプラントの固定点のうちの1つ以上を決定するために適用され得る。
【0025】
ある実施形態では、本方法は、患者の解剖学的モデルを生成することを含む。好ましくは、モデルは3次元モデルを含む。
【0026】
ある実施形態では、モデルは1つ以上の患者の医用画像から生成される。
【0027】
ある実施形態では、1つ以上の患者の医用画像を処理して、統計的形状モデルを使用して、患者の解剖学的モデルを生成する。
【0028】
ある実施形態では、本方法は、1つ以上の方法のステップを行うための、例えば、患者の解剖学的画像または医用画像を分類及び/またはフィルタリングするための人工ニューラルネットワークまたはディープニューラルネットワーク等の機械学習法を含み得る。
【0029】
ある実施形態では、統計的形状モデルを使用して、解剖学的ランドマーク、解剖学的特徴、または解剖学的領域、1つ以上の幾何学的モデル、1つ以上の形態学的測定値のうちの1つ以上を識別または生成する。
【0030】
解剖学的ランドマーク(複数可)、解剖学的特徴(複数可)、または解剖学的領域(複数可)は、手術に関連するランドマーク、特徴、または領域であり得る。手術に関連する特徴のランドマークは、インプラントの固定点、または領域もしくは場所を含み得る。
【0031】
解剖学的ランドマーク(複数可)、解剖学的特徴(複数可)、または解剖学的領域(複数可)は、手術前または手術後の患者の機能(例えば、手術前または手術後の可動範囲)を決定するための関連のランドマーク、特徴、または領域であり得る。
【0032】
別の態様では、本開示は、解剖学的構造の損なわれていないまたは手術後の機能を予測するための医用画像を生成するための方法またはシステムを提供する。
【0033】
ある実施形態では、本方法は、患者の解剖学的モデルを生成することを含む。好ましくは、モデルは3次元モデルを含む。
【0034】
ある実施形態では、モデルは1つ以上の患者の医用画像から生成される。
【0035】
ある実施形態では、1つ以上の患者の医用画像を処理して、統計的形状モデルを使用して、患者の解剖学的モデルを生成する。
【0036】
ある実施形態では、本方法は、1つ以上の方法のステップを行うための、例えば、患者の解剖学的画像または医用画像を分類及び/またはフィルタリングするための人工ニューラルネットワークまたはディープニューラルネットワーク等の機械学習法を含み得る。
【0037】
ある実施形態では、統計的形状モデルを使用して、解剖学的ランドマーク、解剖学的特徴、または解剖学的領域、1つ以上の幾何学的モデル、1つ以上の形態学的測定値のうちの1つ以上を識別または生成する。
【0038】
解剖学的ランドマーク(複数可)、解剖学的特徴(複数可)、または解剖学的領域(複数可)は、手術に関連するランドマーク、特徴、または領域であり得る。手術に関連する特徴のランドマークは、インプラントの固定点、または領域もしくは場所を含み得る。
【0039】
解剖学的ランドマーク(複数可)、解剖学的特徴(複数可)、または解剖学的領域(複数可)は、手術前または手術後の患者の機能(例えば、手術前または手術後の可動範囲)を決定するための関連のランドマーク、特徴、または領域であり得る。
【0040】
別の態様では、本開示は、前述の方法の1つ以上を容易にするためのグラフィカルユーザインターフェースを提供する。
【0041】
一実施形態では、インターフェースは、患者の解剖学的構造の3次元表示と、患者の解剖学的構造に重ねられたインプラントの提示とを含む。
【0042】
一実施形態では、3次元表示は、複数の視点を提供するために操作可能である。
【0043】
一実施形態では、インターフェースは、複数の異なる平面でインプラントまたは患者の関節配向を示す。好ましくは、平面は相互に直交する。
【0044】
別の態様では、本開示は、前述の方法を実施するための装置を提供する。
【0045】
一実施形態では、本装置は、クライアントサーバーシステムを含む。
【0046】
別の態様では、本開示は、前述の方法を実施するためのシステムを提供する。
【0047】
さらなる態様は、添付の説明から明らかになる。
【0048】
外科用インプラントの選択、位置決め、または留置のうちの1つ以上を決定するための方法及びシステムの1つ以上の例は、添付図を参照して、下記に説明される。
【図面の簡単な説明】
【0049】
【
図1A】本明細書に開示される方法及びシステムを実装するための処理環境を含む装置を示す図である。
【
図1B】本明細書に開示される方法及びシステムを実装するための処理環境を含む装置を示す図である。
【
図3】患者の機能尺度を予測する機械学習/生物力学的ハイブリッドモデルの生成を示す図である。
【
図4】インプラント及び留置サブシステムの図である。
【
図6】インプラント適合及び患者の機能の3次元モデルの生成及びシミュレーションの例または実施形態を示すフローチャートである。
【
図7】本発明の実施態様の例を提供するクライアントサーバーシステムの概略図である。
【
図8】解剖学的モデルを形成するために識別され得るランドマークまたは幾何学的特徴の例を示す略図である。
【
図9A】モデルにおける骨(または同様の構造)のインプラント統合のためのターゲート手術特徴の形態のランドマークの例を示す略図である。
【
図9B】モデルにおける骨(または同様の構造)のインプラント統合のためのターゲート手術特徴の形態のランドマークの例を示す略図である。
【
図10】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【
図11】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【
図12】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【
図13】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【
図14】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【
図15】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【
図16】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【
図17】システムの使用を容易にするグラフィカルユーザインターフェースの例を示す。
【発明を実施するための形態】
【0050】
ここで、特定の例または実施形態は添付図を参照して詳細に説明される。しかしながら、本発明は、多くの異なる形態で具体化され得、本明細書に記載される実施形態に限定されると解釈するべきでない。むしろ、これらの実施形態は、本開示が完璧及び完全であり、当業者に本発明の範囲を十分に伝えるように提供される。添付図に示される実施形態の詳細な説明で使用される専門用語は、本発明を制限することを意図しない。図では、同様の数字は同様の要素を指す。
【0051】
以下の説明は、整形外科手術を計画するために適用可能な本発明の実施形態に注目している。本方法は、患者の解剖学的構造のデジタルモデルに対して仮想インプラントコンポーネントを位置決めすることを含む。本発明の実施形態は、寛骨臼カップコンポーネント及び大腿骨ステムコンポーネントを含む股関節インプラントを使用して、人工股関節置換手術を計画することに関して以下に説明される。しかしながら、本発明は、本願に限定されないが、関節インプラント手術等(例えば、膝インプラント手術、足関節インプラント手術等)の多くの他の整形外科手術に適用され得ることが認識される。1つまたはいくつかのインプラントコンポーネントは、手技に含まれ得る。例えば、仮想インプラントコンポーネントを位置決めすることは、罹患大腿骨頭、罹患大腿骨骨幹軸、非罹患大腿骨頭、非罹患大腿骨骨幹軸、仮想インプラントのカップ、及び仮想インプラントのステムのうちの少なくとも1つの位置情報を定義することを含み得る。当業者は、本明細書に開示されるような解剖学的構造のモデリングは骨のモデリングに限定されないが(ただし、これは、主要な例として使用される)、限定ではないが、結合組織、靱帯、腱、軟骨、筋肉、及び血管構造を含む他の構造を含むことを理解している。
【0052】
本明細書に開示されるような手術前の計画を行うために使用されるツールは、コンピュータによって実施される。したがって、本発明の開示の態様はデータ処理環境で実装される。
【0053】
本発明の開示の1つ以上の態様は、データ処理環境での使用が意図され、最初に、図面の
図1A及び
図1Bを参照して、幅広い用語で説明される。
図1Aを参照して、本発明の1つ以上の実施形態が使用され得るデータ処理ネットワーク環境を示す。データ処理環境10は、無線ネットワーク及び有線ネットワーク等の複数の個々のネットワークを含み得る。複数の有線デバイス及び/または無線デバイス11は、ネットワーク12を通じて、サードパーティー情報ソース13、データ処理サービス14、及び情報管理システム15(データストア16及びデータ処理システムまたはコンピューティングデバイス20を含み得る)と通信し得る。
【0054】
コンピューティングデバイス20は
図1Bにより詳細に示される。デバイス20は、ウェブサイトまたは他の補足コンテンツ配信等の追加ネットワークベースリソースからアクセスされるデータを処理できるマイクロプロセッサとして実装され得る。
【0055】
図1Bは、本願の態様による、データ処理システムまたは環境10の様々な態様を実装するための例示的コンピューティングデバイス20のアーキテクチャの一実施形態を示す。データ処理システム10は、仮想マシーンインスタンスのセットのインスタンス化の一部であり得る。コンピューティングデバイス20は、データ処理システム10として機能する独立型デバイスであり得る。
【0056】
図1Bに示されるデバイス20の全体的なアーキテクチャは、本発明の開示の態様を実装するために使用され得るコンピュータハードウェアコンポーネント及びソフトウェアコンポーネントの配列を含む。図示されるように、デバイス20は、処理ユニット24、ネットワークインターフェース26、コンピュータ可読媒体ドライブ28、入力/出力デバイスインターフェース29を含み、それらの全ては通信バスによって互いに通信し得る。コンピューティングデバイス20のコンポーネントは、物理ハードウェアコンポーネントであり得る、または仮想環境に実装され得る。
【0057】
ネットワークインターフェース26は、1つ以上のネットワークまたはコンピューティングシステムに接続を提供し得る。したがって、処理ユニット24は、ネットワークを介して、他のコンピューティングシステムまたはサービスから情報及び命令を受信し得る。処理ユニット24は、また、メモリ30を往復して通信し、さらに、出力情報を提供し得る。
【0058】
メモリ30は、1つ以上の実施形態を実施するために、処理ユニット24が実行するコンピュータプログラム命令を含み得る。メモリは、概して、RAM、ROM、または他の持続的メモリまたは非一時的メモリを含む。メモリは、デバイスの一般的な管理及び動作で処理ユニット24による使用のためにコンピュータプログラム命令を提供するオペレーティングシステム34を記憶し得る。メモリは、さらに、本発明の開示の態様を実装するためのコンピュータプログラム命令及び他の情報を含み得る。例えば、一実施形態では、メモリは、クライアントデバイス11から要求を受信及び処理するためのインターフェースソフトウェア32を含む。メモリ30は、ユーザとの対話を処理して、本明細書に説明されるようなグラフィカルインターフェースを作成するための情報一致処理コンポーネント36を含む。
【0059】
本願の態様は、そのように具体的に示されない限り、物理的、仮想的、または論理的な実施形態を必要とする解釈に限定するべきはない。
【0060】
図2を参照して、手術前の計画のためのシステム100の一実施形態の全体的概略図が示される。本実施形態はインプラントを参照して説明されているが、当業者は、本システムが他の手術手技に適用可能なことを認識する。
【0061】
本システムは、生物力学的モデル104の構造が中央にあり、少なくともいくつかの実施形態では、下記にさらに説明されるように、機械学習が実装または拡張される。モデル104は、手術前の患者の動作データと一緒に、患者の解剖学的モデル110及び初期手術計画113を受信する。この動作データは、患者の動作データ111(手術前評価101から導出される)と、患者の動作データ112(手術後患者機能106の評価から導出される)とを含む。
【0062】
患者の解剖学的モデルは、モデル110を提供するために102で処理される手術前画像117から導出される。
【0063】
モデル104からの出力は、手術計画を実施するための機能尺度104a、手術前の機能尺度104b,c,及び手術後の機能尺度104dを含む。手術前尺度104b,cを使用して、103に示されるように、インプラントの選択及び留置を決定するために使用できる手術前関節可動域分析105を進展できる。手術後尺度104dを使用して、手術後関節可動域分析107を進展し得、手術後関節可動域分析107は、例えば、機械学習の使用によって今後のモデル及び処理を改善するためのデータとして、モデル104に提供され得る手術結果115を決定する前に114における医師等のシステムユーザによるオプションのレビューのために、手術前分析データ105と比較され得る。いくつかの実施形態では、本システムは、医師からの最小入力値で自動的にデータを処理できる。これは、手術手技の性質または複雑性に依存し得る。いくつかの実施形態では、例えば、外科手技は、医師によって行われる必要がある特定の決定がなくても計画できる。いくつかの実施形態では、手術計画は、ロボット等の機械が外科手技を行うことを可能にする機械可読形態に提供され得る。
【0064】
他の実施形態では、医師は、モデル104によって決定された術前転帰または術後転帰等のデータに基づいて、手動選択を行うことが可能であり得る。
【0065】
インプラントモデル118を提供して、本システムが、手技の一部としてインプラントの留置及び術後転帰に関して必要なモデルを行うことを可能にする。したがって、インプラントモデル118は、モデル104が、患者の解剖学的構造に対してインプラントを留置するためのデータを生成することを可能にし、要求に応じて、インプラントの可視化を可能にする。
【0066】
いくつかの実施形態では、結果は自動的に最適化できる。例えば、インプラントの選択及び留置は自動的に最適化できる。これは、例えば、反復プロセスによって発生し得る。したがって、初期のインプラントの選択及び留置のデータは、手術計画113に入力され、モデル104に従って再度処理でき、選択及び留置が1つ以上の閾値パラメータの範囲内に含まれることが決定されるまで、このプロセスは継続し得る。閾値パラメータは、例えば、手術前関節可動域分析データ105及び/または手術後関節可動域分析データ107の一部を含み得る。
【0067】
他の実施形態では、医師は、例えば、手術前関節可動域分析105からのデータを使用して、103において、インプラントの完全に異なる形態の使用を試み得る。したがって、
図2に示される例では、医師は、116において、手術前関節可動域分析105を承認または改正するオプションを有し、ひいては、インプラントの選択及び留置103の手動調節、または反復、またはオーバーライドを提供するオプションを有し得る。
【0068】
最終決定された手術計画119は出力として生成でき、
図2から確認できるように、計画からのデータは、モデル104に入力としてフィードバックされ、最適化が行われている係る時間が1つ以上の要求される閾値またはパラメータの範囲内になるまで、または出力が手動で選択されるまで、本システムが、全ての入力を繰り返して処理することを可能にし得る。
【0069】
手術計画及びシステムによって生成された他のデータを視覚化して、手術プロセスを補助できる画像を人間のユーザ(医師等)に提供できる、及び/またはユーザがインプラント留置と、インプラントが手術後の可動範囲でもたらし得る影響もしくは患者が経験し得る他の影響とを視覚化することを可能にし得る。
【0070】
いくつかの実施形態では、モデル104は機械学習を使用して、システムの予測機能を補助し得る。例えば、手術後の機能評価は、過去の患者から取得された手術後データに基づいて、モデル104によって行われ得る。したがって、予測された手術後評価は、インプラントの選択及び留置を決定する際に別の入力として使用され得る。
【0071】
大まかに言うと、システム100は、概して、以下の1~7を含むデジタルで実現される手術計画システムを提供する。
1.無線慣性運動/計測装置(IMU)センサを使用する手術前の患者の機能評価101。
2.ディープニューラルネットワークを使用して、患者の解剖学的構造のデジタルモデルを生成する画像処理サブシステム102。
3.以下のa~dを行うインプラントの選択及び留置サブシステム103。
a.インプラント118のライブラリを105の出力にデジタルで適合する、
b.患者の解剖学的構造及びインプラントを表示する、
c.ユーザがインプラントの選択及び留置を調節することを可能にする、
d.患者の手術前の機能尺度、その予測された正常な機能尺度、及び予測された手術後の機能尺度を表示する。
4.以下のa~dを行う機械学習/生物力学的ハイブリッドモデル(ハイブリッドモデル)104。
a.初期手術計画または作業手術計画113を考慮して、患者の機能尺度を予測する、
b.101からの動作データを考慮して、患者の現在の機能尺度を推定する、
c.101からの動作データを考慮して、患者の正常な機能尺度を予測する、
d.手術前の機能データ及び手術後の機能データと、患者の解剖学的構造データから学習して、4(a)、(b)、及び(c)の予測を改善する。
5.104の出力を比較して、インプラントの選択及び留置を可視化及び最適化するために103にフィードバックを提供する、関節可動域分析サブシステム105。
6.4(b)及び4(c)を検証して、4を改善するために使用される無線慣性運動装置(IMU)センサを使用する手術後患者機能評価106。
7.実際の手術後の機能尺度を推定する手術後関節可動域分析サブシステム107。
【0072】
さらに、システム100の態様は、下記にさらにより詳細に説明される。
【0073】
図3を参照して、いくつかの実施形態において、患者の運動尺度をどのように取得及び処理するかについて、より詳細に提供される。モデル104は、画像処理サブシステム(下記にさらに説明される)によって生成された患者の解剖学的モデル110から、必要なまたは被験患者の解剖学的構造のデジタル機能モデル204を生成する運動モデル生成器201を含む。このモデルは、限定ではないが、患者の筋骨格系の機能をモデル化する患者の解剖学的構造に適応する幾何学的制約がある骨、関節、筋肉、及び他の特徴を含む解剖学的構造から成る。モデル生成器201は、随意に、1つ以上のインプラントを含む手術計画113を入力として取得できる。この例では、生成器は、患者自身の関節を人工関節と交換するために関節形状を調節する。
【0074】
機能尺度推定器202は、機能尺度をIMUデータから生成し、患者特有の運動モデルを204から生成して、手術前の機能尺度の推定205を提供する。
【0075】
機能尺度予測器203は、(人工関節置換術の例では)患者の関節が正常である場合、運動学モデル、患者の医用画像、205から推定された機能尺度、未加工の患者の動作データ、及び解剖学的構造ならびに機能の集団モデル206を使用して、患者の機能尺度207を予測する。この予測器は、生物力学的モデル及び機械学習法の組み合わせを使用して、予測に関する様々な入力データタイプを組み合わせる。
【0076】
図4を参照して、いくつかの実施形態において、インプラントの選択及び留置がどのように決定されるかについて、より詳細に提供される。インプラントの選択及び留置サブシステム103は、手術の制約を考慮して、インプラントライブラリ118の各インプラントを患者の解剖学的モデル110に適合するインプラント適合シミュレータ401を含み得る。適合シミュレータ401は、以下のa~cがどれくらい良好な状態であるかに基づいて、ステップ406において、各インプラントをスコア付けし、次に、ランク付けする。
a.患者の解剖学的構造に適合している程度
b.患者の解剖学的構造が回復している程度
c.患者の機能が回復している程度
【0077】
401の出力は、ユーザ(例えば、医師)に表示するグラフィカルユーザインターフェース402に送信される。いくつかの実施形態では、これにより、医師が以下の1つ以上を行うことを可能にする。
-患者の解剖学的構造及びインプラントを視認する。いくつかの実施形態では、これにより、医師が、インプラント及び/またはインプラントならびに解剖学的構造を、1つ以上の選択方向及び/または距離、断面、及び/またはグラフィックデータならびにテキストデータのオーバーレイにより視認することを可能にする、
-測定された患者の機能、予測された正常な機能、予測された手術後の機能、及びいずれかの測定された手術後の機能のうちの1つ以上のグラフィカル表現及びテキスト表現を視認する、
-手術後の患者の解剖学的構造及び機能に対する変化及び影響についてのリアルタイムのグラフィカルフィードバックにより、インプラントの選択及び留置を修正する、
-さらなる修正を防止し、インプラント調達の手術計画、手術中のガイダンス、及び手術後のレビューのドキュメントを生成するために、インプラントの選択及び留置を承認及び最終決定する。
【0078】
ユーザの承認または修正の後に、選択されたインプラント(複数可)及びその位置決めはハイブリッド生物力学的モデル403に入力され、手術後の機能(上記参照)が予測される。
【0079】
関節可動域分析405は、正常な機能の予測部2067及び手術後の機能の予測部で行われ、408において、差を計算する。少なくともいくつかの実施形態では、システム100は差408を最小にするように構成される。したがって、この差は、インプラントの位置決め及びスコアリングを調節するために適合シミュレータ401に送信され、選択されたインプラント(複数可)の性能についてのフィードバックをユーザに与えるためにユーザインターフェース402に送信される。
【0080】
ここで、
図5を参照して、画像処理サブシステム102の1つ以上の実施形態はより詳細にここで説明される。サブシステム102は、患者の1つ以上の医用画像117から骨、筋肉等の解剖学的構造、及び他の関連の解剖学的構造の3次元モデルを生成するディープニューラルネットワーク(DNN)及び画像フィルタのセット301を含み得る。画像または複数の画像は、2次元X線、3次元X線CT、3次元MRI、または他のモダリティを含み得る。DNNをトレーニングして、入力された画像テクスチャを、様々な解剖学的構造の出力された3次元ボクセルボリュームと関連付ける。次に、閾値化、領域拡張、ガウススムージング、及びマーチングキューブを含む一連の画像フィルタは、3次元ボクセルボリュームを3次元三角メッシュに変換する。いくつかの実施形態では、これらの未加工の幾何学的モデルまたはメッシュ302は、三角形の任意の順序付けを含み、解剖学的領域または解剖学的ランドマークに関する情報を含まない。
【0081】
サブシステム102は、また、未加工のメッシュに適合し得る統計的形状モデル(SSM)303を含む。SSMが解剖学的オブジェクトのそれぞれの標準的三角形分割を未加工のメッシュにモーフィングすることにより、304に示される均一な三角形分割により患者の解剖学的構造のメッシュを取得する。これにより、システムが、305に示されるように、幾何学形状の解剖学的領域及び解剖学的ランドマークをマッピングし、306に示されるように、長さ、角度、面積、及び体積等の形態学的測定値を自動的に取得することを可能にする。
【0082】
ここで、
図6を参照して、本発明の実施形態に従って、解剖学的モデルを取得して、インプラント適合をシミュレートするための全体的なプロセスフローが説明される。プロセスは640から始まり、641において、第1のステップでは、解剖学的医用画像の獲得またはアップロードが行われる。手技に関する患者の解剖学的構造(例えば、骨または複数の骨等の患者の解剖学的構造)の3次元モデルは642において発生し、その後、643において、インプラント統合のためのターゲート手術特徴の形態のランドマークは、モデルにおいて骨または同様の構造で識別される。次に、インプラントのライブラリからインプラントのデジタルモデルは、自動的にまたは手動で選択できる。インプラントモデルは、既に識別されているそれ自体のターゲート手術特徴を有する、または解剖学的デジタルモデルに応じて調節または識別され得る。ステップ644では、解剖学的モデルとインプラントモデルとの適合をシミュレートする。適合が適切であると仮定すると、ステップ645では、モデルを使用して、患者の機能(例えば、関節運動の範囲)をシミュレートする。機能が適切な場合、646において、計画は完了できる。不適切な場合、経路647によって示されるように、別のインプラントを選択及びシミュレートできる。
【0083】
ここで、
図7を参照して、手術前の計画システムの実施形態の概要が示され、全体的に、クライアントサーバー環境の実施態様の一例に関連して、参照符号750が開示されている。本実施形態では、サーバー752として表される情報管理システム15は、ネットワーク12を介して、マシン11によって実行され得るクライアント側アプリケーション754と通信する。
【0084】
クライアント側アプリケーション754は、ユーザ(例えば、整形外科手術を計画する医師)によって使用され、ブロック755に示されるように、新しい手術例をオープンにし、患者の解剖学的画像をアップロードし得る。いくつかの実施形態では、解剖学的画像は、様々な異なる画像診断モダリティ(例えば、X線、CT、またはMRI)がソースになり得る。いくつかのモダリティは、2次元画像(例えば、X線ソース画像)として提供され得る。他のモダリティは、CTまたはMRIがソースである3次元であり得る(または、例えば、3次元画像として表すことができる2次元画像のスタックから成り得る)。クライアント側アプリケーションは、2次元画像756または3次元画像757として画像をサーバー742に提供する。
【0085】
次に、サーバーで起動する画像処理アプリケーションは、ブロック758に示されるように、画像756、757から患者の解剖学的構造の3次元再構成を行い、患者の解剖学的構造の3次元モデルを自動的に生成する。モデル化される解剖学的構造は、手技の対象である解剖学的領域(例えば、臀部または肩または膝)を含む。
【0086】
ブロック758で生成された3次元モデルは、あるフォーマット(STL、PLY、OBJ等、または他のフォーマット)でデジタルモデルとして提供され、ブロック760に示されるように、クライアント側アプリケーション754に戻すように容易に提供でき、ユーザが患者の解剖学的構造を容易に視覚化することと、ユーザがクライアント側デバイスに現れる表現を操作することとを可能にし、その結果、ユーザは、意図される手技に関する患者の解剖学的構造の全点の適切な可視化を達成できる。
【0087】
3次元モデルを生成するために、ブロック758によって表されるアプリケーションは、いくつかの実施形態では、1つ以上のディープニューラルネットワークを含み得る人工ニューラルネットワーク759等の追加ツールを利用し得る。
【0088】
サーバー752は、また、3次元モデルを生成または再構成するために使用され得る患者の解剖学的構造(例えば、骨、または他の組織及び構造)の統計的形状モデル(SSM)の集合を含むデータベース761を含み得る。
【0089】
いくつかの実施形態では、3次元解剖学的モデルは、ディープニューラルネットワーク759を最初に使用することによって、入力された2次元の解剖学的医用画像756から生成または再構成され、解剖学的オブジェクトに属する画像の体積、領域、輪郭、または離散点等の幾何学的特徴を含み得る選択されたランドマークが識別される。
【0090】
図8A~
図8Dを参照して、ランドマークまたは幾何学的特徴の例を確認できる。
図8A~
図8Dは、例として、股関節(具体的には、臼蓋窩802の隣にまたは臼蓋窩802の内部に位置する大腿骨頭801)を使用する略図である。
図8Aは、大腿骨頭の体積803(斜線がある)を含む幾何学的特徴を示す。
図8Bは、平面断面が占める大腿骨頭の領域804(斜線がある)を示す。
図8Cは、平面断面の大腿骨頭の輪郭805(破線の輪郭線に示される)を示す。
図8Dは、大腿骨頭の識別された点806を示す。
【0091】
次のステップは、関連の解剖学的構造のSSMをランドマークまたは輪郭に適合することによって、骨の3次元モデルを再構成することである。
【0092】
いくつかの実施形態では、3次元解剖学的モデルは、ディープニューラルネットワーク759を最初に使用することによって、入力された2次元の解剖学的医用画像756から生成または再構成され、1つ以上の医用画像から骨のSSMのパラメータが直接予測される。次に、予測パラメータを使用して、骨の3次元モデルをSSMから生成できる。
【0093】
いくつかの実施形態では、3次元解剖学的モデルは、ディープニューラルネットワーク759を使用することによって、入力された解剖学的医用画像757等の3次元画像ボリューム(例えば、2次元のCT画像またはMRI画像のセットから成る)から生成または再構成され、3次元画像ボリュームから関心のある骨の関連領域が識別及び分類される。
【0094】
入力された2次元または3次元画像を使用する場合、識別された体積、領域、輪郭、または点は、1つのオブジェクト(例えば、1つの骨の一部)の単一の接続部、1つのオブジェクト(例えば、骨折骨の異なる部分)の複数の未接続領域、または複数のオブジェクト(例えば、関節(例えば、膝の大腿骨、脛骨、及び膝蓋骨)またはより大きい構造(例えば、脊椎を構成する複数の椎骨)を構成する全ての骨)を包囲し得るまたはその上にあり得る。
【0095】
患者の3次元解剖学的モデルを生成した後、次のステップは、モデル3において、骨(または同様の構造)のインプラント統合のためのターゲート手術特徴の形態のランドマークを識別することである。これらのターゲート手術特徴またはターゲート領域は、SSMを使用して、患者の3次元モデルにマッピングされる。これは、以下のi~iiiによって実現できる。
i.母集団(例えば、人間集団の全体にわたる骨の形状の変化)において観察された平均形状と、その平均形状の変形モードの記述とを含む、3次元幾何学形状(例えば、骨の三角メッシュ)の正準表現を生成する、または、
ii.SSMの正準表現は、それぞれが異なるスコアによって重み付けされた変形のモードに従って平均形状をモーフィングすることによって、特定個人の形状にカスタマイズできる、または、
iii.SSMは、以下を行うことによって個々の形状に適合できる。
-(例えば、画像分割から)点群として、個々の形状を記述する。
-変形モードのスコアを最適化することによって、その変形モードに従ってSSMの平均形状をモーフィングして、いくつかの費用関数(例えば、点群とモーフィング形状との間の距離の2乗の合計)を最小にする。これは、いくつかの領域でさらに有意差がある個々の形状の近似値を生成した。
-高品質のスケール変形関数を使用することによって、事前にモーフィングしたSSMメッシュをさらにモーフィングして、上記から、費用関数をさらに最小にする。係る高品質のスケール変形関数の例は、一連の放射基底関数である。最後のモーフィングされたメッシュは、個々の形状の1mmRMSの範囲内である。
【0096】
各骨(または他の構造)のSSMは、解剖点、解剖学的領域、解剖軸、及び標準的幾何学形状(例えば、三角メッシュ)の他の幾何学的特徴、例えば、プラットフォームに最良適合する球体、円柱、円錐に関する追加情報を含む。
図9A及び
図9Bでは、例が示され、大腿骨900の略図は、下記に説明されるランドマーク、領域、及び特徴を参照して、マークで示される。
i.解剖学的ランドマーク901は、ランドマークに最も近いメッシュ頂点の印によって説明できる。
ii.解剖学的領域902は、メッシュ頂点及び領域内に含まれるメッシュ面の印のセットによって説明される。
iii.追加特徴は、2つのランドマーク間の線、3つ以上のランドマークを通って適合する線、領域を通って適合する線もしくは軸904、またはランドマーク及び領域の組み合わせを通って適合する線によって画定される解剖軸903である。
iv.追加特徴は、中心及び半径が3つ以上の解剖学的ランドマーク及び/または領域に適合する円である。
v.追加特徴は、中心905及び半径906が4つ以上の解剖学的ランドマーク及び/または領域に適合する球体907である。
vi.追加特徴は、面内の点及び法線ベクトルが2つのランドマークから計算される、または領域を通って適合する平面908である。
vii.追加特徴はローカルデカルト座標系であり、これは、原点及び3つの直角ベクトルが、少なくとも3つのランドマーク、またはランドマーク、軸、及び平面の組み合わせによって計算される。
viii.他の幾何学的特徴も考えられる。
c.係るSSMが分割された骨面にモーフィングされるとき、SSM平均メッシュ上の解剖学的ランドマーク及び解剖学的領域は分割面に沿ってモーフィングされる。
d.ここで、モーフィングされたメッシュは、解剖学的ランドマーク、解剖学的領域、及び解剖学的特徴の場所に注釈が付けられた患者の骨形状の正確な表現になる。これらのランドマーク、領域、及び特徴は、インプラントのフィッティングのためのターゲート及び制約を提供する。
【0097】
手術のターゲートランドマークまたはターゲート領域を識別している患者の解剖学的構造の解剖学的デジタルモデルを生成した後、次のステップは、インプラントの形状及びサイズのライブラリからインプラントを選択して、選択されたインプラントからインプラント適合をシミュレートする、またはインプラントの形状及びサイズのライブラリ全体にわたってシミュレーションを簡単に行うことである。
a.シミュレーションは、インプラント幾何学形状の所定の領域と、患者の解剖学的構造の領域との適合の最適化を含む。
b.上記のステップから、インプラント3次元モデルとモーフィングされた構造(例えば、骨)のモデルとの適合が行われる。
c.骨モデルと同様に、インプラントモデルは、また、ランドマーク点及びランドマーク領域に注釈が付けられる。
d.骨、及びインプラントのタイプ、ブランド、サイズ、または異形に応じて、異なる領域及びランドマークは対象物または制約物としてフィッティングシミュレーションに使用される。例えば、
i.接触を最適化する領域、
ii.非接触を最適化する領域、
iii.距離を最小にする点、
iv.距離を最大にする点、
v.対象物または制約物を適合する際に使用される領域、平面、球体、または他の幾何学的特徴をシミュレーションする。
e.例えば、全人工股関節置換術においてセメントレス大腿骨ステムを大腿管に適合させるために、
i.ステムの中間の距領域及び外側の距領域と大腿管との接触エリアを最大にし、
ii.大腿骨ステムの先端と、大腿骨の形状に沿って中間にある大腿管の中心の点との間の距離を最小にし、
iii.大腿骨頸の角度とステム首の角度との間の角度を最小にし、
iv.上記のi~iiiに他のルールが加わる。
f.シミュレーション後に、適合の品質は、インプラントと骨との1つ以上の幾何学的測定値及び/または機能測定値(例えば、インプラントの適合前後の脚長の変化、または関節運動の範囲)に基づいてスコアを計算することによって定量化される。
g.適合されたインプラントのランドマーク及び他の特徴を使用して、幾何学形状(例えば、平面、球体、直方体)を定義し、次に、その幾何学形状を使用して、インプラントを動作可能に送ることが要求される骨の切除(切断)をシミュレートする。
【0098】
システム100は、固有の及び移植された解剖学的構による患者の機能のシミュレーションを可能にする。
a.モーフィングされた骨モデル及びインプラントモデルの解剖学的ランドマーク及び領域を使用して、隣接骨(例えば、大腿骨及び骨盤)の間の関節座標系を構築する。
b.固有機能は、移植されなかった骨モデルの相対運動に関係する。
c.移植された機能は、適合されたインプラント及び切除された骨の組み合わせであるモデルの相対運動に関係する。
d.患者の解剖学的構造の機能は、その関節座標系によって調節されるように相互に対して自由に移動するその骨及びインプラントモデルの能力によって決定される。
e.自由に移動することは以下によって定義される。
f.3次元モデルが、他の3次元モデルに接触しないように、または他の3次元モデルに対していくらかの定義された距離にあるように設定する。
-3次元モデルは、筋肉、腱、靱帯、及び他の解剖学的構造、同様に、質量特性、慣性特性、及び他の物理特性によって提供される受動的な力及び能動的な力の生物力学的モデルによって調節されるように別のモデルに対して移動する能力を有する。
f.さらに、機能は、機能的タスクに要求される運動(例えば、起立、歩行、伸ばす、掴む、腕を振る)を実現するために、自由に動く関節によって定義できる。
【0099】
上述したように、システム100は、
図10~
図17に示されるユーザインターフェースを含む。
図10で確認できるように、グラフィカルユーザインターフェース1000は手術状態フィールド1001を有し、1001の下に、手術状態トラッカー1002が提供される。手術状態トラッカーは、限定ではないが、手術前の計画が完了したかどうか、手術が行われているかどうか、及び手術後の評価が完了しているかどうかを含む手術状態をユーザがすぐ認識することを可能にする。
【0100】
制御部1005は、ユーザが計画プロセスの様々な段階で手動調節を行うことを可能にするように、または、システムがステップを自動的に行うことを可能にするように構成される制御要素を含む。各ステップに関する要約情報はフィールド1006~1009に提供され、これらは、ユーザがいくつかのステップもしくは複数のステップに関与するプロセスに移動することを可能にするグラフィカル制御要素を含み得る、及び/または制御部1005を使用して、例えば、インプラントの選択または位置決めの変更を実施し得る。承認またはサイン「オフ」ボタン1010は、システムによって生成された計画のユーザまたはスーパーバイザの承認、または代わりに、プロセスにおいて選択されたステップの承認を可能にする。
【0101】
確認できるように、フィールドまたはウィンドウ1003が提供され、そこでは、3次元モデルで適合された患者の解剖学的構造及びシミュレートされたインプラント(この例では)の3次元モデルのディスプレイが表される。ウィンドウ1003のディスプレイまたは可視化は、ユーザが操作することが可能であり、これは、例として、
図11~
図17に示される。ディスプレイは移植前後の患者の機能を示し、ユーザが、シミュレーション結果に基づいてインプラント選択することと、インプラントの位置及び配向を調節することとを可能にする。さらに、調節を行うとき、インプラント適合に対する定量的変化が、リアルタイムでユーザに知らされる。
【0102】
手術後の測定値、固有の測定値、インプラント特有の可視化、及び画像オーバーレイ制御は、フィールドまたはウィンドウ1004に提供される。重要なことに、このウィンドウは、
図11の1004A及び1004Bに示されるように、複数の平面の関節中心オフセットの多軸の可視化を提供し、一方の平面は前後軸及び上下軸における関節オフセットを示し、他の平面は中間横軸及び前後軸における関節オフセットを示す。分かり易くするために、
図12~
図17では、符号が省略されている。
【0103】
本明細書に説明されるプロセス及びシステムは、コンピュータシステム等の様々なタイプのハードウェアで行われ得る、またはそれを含み得る。いくつかの実施形態では、コンピュータ、ディスプレイ、及び/または入力デバイスは、それぞれ、別個のコンピュータシステム、アプリケーション、もしくはプロセスであり得る、または同じコンピュータシステム、アプリケーション、もしくはプロセスの一部として起動し得る。または、1つ以上のコンピュータ、ディスプレイ、ならびに/もしくは入力デバイスは、1つのアプリケーションもしくはプロセスの一部として起動するために組み合わされ得る、及び/または、コンピュータ、ディスプレイ、ならびに/もしくは入力デバイスのそれぞれもしくはそれらの1つ以上は、コンピュータシステムの一部であり得るもしくはコンピュータシステムで起動し得る。コンピュータシステムは、情報を通信するためのバスまたは他の通信機構と、情報を処理するためにバスと結合するプロセッサとを含み得る。コンピュータシステムは、バスに結合されるランダムアクセスメモリまたは他の動的記憶デバイス等のメインメモリを有し得る。メインメモリを使用して、命令及びテンポラリ変数を記憶し得る。コンピュータシステムは、また、静的情報及び命令を記憶するためにバスに結合される読取専用メモリまたは他の静的記憶デバイスを含み得る。コンピュータシステムは、また、CRTモニタまたはLCDモニタ等のディスプレイに結合され得る。入力デバイスは、また、コンピュータシステムに結合され得る。これらの入力デバイスは、マウス、トラックボール、またはカーソル方向キーを含み得る。
【0104】
各コンピュータシステムは、1つ以上の物理コンピュータもしくはコンピュータシステムまたはその一部を使用して、実装され得る。コンピュータシステムによって実行される命令は、また、コンピュータ可読媒体から読み取られ得る。コンピュータ可読媒体は、CD、DVD、光ディスクもしくは磁気ディスク、レーザーディスク(登録商標)、搬送波、またはコンピュータシステムによって読み取り可能であるいずれかの他の媒体であり得る。いくつかの実施形態では、配線回路は、プロセッサによって実行されるソフトウェア命令の代わりにまたはそれと組み合わせて使用され得る。モジュール、システム、デバイス、及び要素の間の通信は、直接接続または切り替え接続を通じて、及び有線もしくは無線のネットワークもしくは接続を通じて、直接接続された有線を介して、またはいずれかの他の適切な通信機構を介して行われ得る。モジュール、システム、デバイス、及び要素の間の通信は、ハンドシェーキング、通知、コーディネーション、カプセル化、暗号化、ヘッダー(ルーティングヘッダーもしくはエラー検出ヘッダー等)、またはいずれかの他の適切な通信プロトコルもしくは通信属性を含み得る。通信は、また、HTTP、HTTPS、FTP、TCP、IP、ebMS OASIS/ebXML、セキュアソケット、VPN、暗号化パイプまたは非暗号化パイプ、MIME、SMTP、MIMEマルチパート/関連コンテンツタイプ、SQL等に関連するメッセージであり得る。
【0105】
いずれかの適切な3次元グラフィックス処理は、WebGL、OpenGL、Direct3D、Java3D等に基づく処理を含む、表示またはレンダリングするために使用され得る。全体の、部分的な、または修正された3次元グラフィックスパッケージは、また、使用され得、係るパッケージは、3DS Max、SolidWorks、Maya、Form Z、Cybermotion 3D、Blender、またはいずれかの他のパッケージを含む。いくつかの実施形態では、必要なレンダリングの様々な部分は、従来のまたは専門グラフィックスハードウェアで発生し得る。レンダリングは、また、汎用CPUで、プログラム可能ハードウェアで、別個のプロセッサで発生し、複数のプロセッサにわたって、複数の専用グラフィックスカードにわたって、またはハードウェアもしくは技術のいずれかの他の適切な組み合わせを使用して分散され得る。
【0106】
明らかであろうように、上記に開示した特定の実施形態の特徴及び属性は、追加実施形態を形成するために異なる方法で組み合わされ得、追加実施形態の全ては本発明の開示の範囲内に含まれる。概して、特に「できる(can)」、「し得る(could)」、「場合がある(might)」、「し得る(may)」、「例えば(e.g.)」等の本明細書に使用される条件付き言語は、具体的に特に記述がない限り、またはそうでなければ、使用される場合に文脈の範囲内で理解される場合、特定の実施形態はある特徴、要素、及び/または状態を含む一方、他の実施形態はそれらを含まないことを伝えることが意図される。したがって、係る条件付き言語は、概して、特徴、要素、及び/もしくは状態は、いずれかの方法で、1つ以上の実施形態に必要であること、または、1つ以上の実施形態は、必ず、著者の情報提供もしくは指示がある場合もしくはない場合、これらの特徴、要素、及び/もしくは状態がいずれかの特定の実施形態に含まれるもしくはそこで行われるかどうかを決定するための論理を含むことを含意すると意図しない。
【0107】
本明細書に説明される及び/または添付図に示されるフロー図におけるいずれかのプロセス説明、要素、またはブロックは、モジュール、セグメント、または上記に言及した機能等のプロセスにおける特定の論理機能もしくはステップを実施するための1つ以上の実行可能な命令を含むコードの一部を潜在的に表すと理解されたい。代替の実施態様は、本明細書に説明される実施形態の範囲内に含まれ、要素または機能は、当業者によって理解されるだろうように、関与する機能に応じて、削除され、実質的に同時にまたは逆順を含む示されるまたは説明される順序とは違って順不同で実行され得る。
【0108】
上記に説明した方法及びプロセスの全ては、上記に説明したそれらのコンピュータシステム等の1つ以上の汎用コンピュータまたは汎用プロセッサによって実行されるソフトウェアコードモジュールに具体化され、それによって完全に自動化され得る。コードモジュールは、いずれかのタイプのコンピュータ可読媒体または他のコンピュータ記憶デバイスに記憶され得る。本方法の一部または全ては、代わりに、専門コンピュータハードウェアに具体化され得る。
【0109】
上述の実施形態に多くの変形及び修正がなされ得ることを強調されたい。その要素は他の許容可能な例の範囲内にあると理解されたい。全ての係る修正及び変形は、本明細書では、本開示の範囲内に含まれ、以下の請求項によって保護されることが意図される。
【0110】
本発明は、特定の実施形態を参照して、上記に説明されている。しかしながら、上記に説明したものと違う他の実施形態は、本発明の範囲内で同様に可能である。ハードウェアまたはソフトウェアによって方法を行う上記に説明したステップと異なる方法のステップは、本発明の範囲内で提供され得る。本発明の異なる特徴及びステップは、説明されるものと違う他の組み合わせで組み合わされ得る。本発明の範囲は添付の特許請求項だけによって制限される。
【国際調査報告】