ホーム > 特許ランキング > ガニュメート ロボティクス
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-25
(45)【発行日】2024-07-03
(54)【発明の名称】コンピュータ支援手術のための方法及びシステム
(51)【国際特許分類】
A61B 34/10 20160101AFI20240626BHJP
【ＦＩ】
A61B34/10
【請求項の数】
20
(21)【出願番号】P 2021563645
(86)(22)【出願日】2020-04-24
(65)【公表番号】
(43)【公表日】2022-06-29
(86)【国際出願番号】 EP2020061522
(87)【国際公開番号】W WO2020216934
(87)【国際公開日】2020-10-29
【審査請求日】2023-01-04
(31)【優先権主張番号】1904453
(32)【優先日】2019-04-26
(33)【優先権主張国・地域又は機関】FR
(73)【特許権者】
【識別番号】521466507
【氏名又は名称】ガニュメート ロボティクス
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ブルンヴァン，ブレイズ
(72)【発明者】
【氏名】ムーラン，シリル
(72)【発明者】
【氏名】カーン，ソフィー
(72)【発明者】
【氏名】ロイ ロダス，ニコラス
(72)【発明者】
【氏名】ボニン，マイケル
(72)【発明者】
【氏名】アイット シ セルミ，タリク
(72)【発明者】
【氏名】デクルーズ，マリオン
【審査官】槻木澤 昌司
(56)【参考文献】
【文献】特表２００８－５０２３９６（ＪＰ，Ａ）
【文献】特開平０５－０１１６８９（ＪＰ，Ａ）
【文献】国際公開第２０１４／０２５３０５（ＷＯ，Ａ１）
【文献】特開２００１－２９３００７（ＪＰ，Ａ）
【文献】国際公開第２０１８／２２３９２５（ＷＯ，Ａ１）
【文献】国際公開第２０１６／０６６２８７（ＷＯ，Ａ１）
【文献】特表２０１９－５３２６９３（ＪＰ，Ａ）
【文献】特表２０１９－５１９２５７（ＪＰ，Ａ）
【文献】特表２０１９－５２３６６４（ＪＰ，Ａ）
【文献】特表２０１９－５２３０４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／１０－３４／２０
(57)【特許請求の範囲】
【請求項1】
患者の整形外科手術のために仮想参照ＲＰに対する仮想環境で計画された動作の、実際の手術室環境で外科用器具（２０）を使用して行われる物理的動作への置き換えを行うことを含むコンピュータ支援手術のためのシステムであって、前記外科用器具（２０）が運動連鎖（７０）に固定され、前記運動連鎖（７０）が、前記運動連鎖（７０）の空間構成をリアルタイムで追跡するように構成された少なくとも１つのセンサを有するセンサユニットを備え、前記システムは、－ 少なくとも１つの３Ｄイメージングセンサ（３０）から取得された患者の標的解剖学的構造（１０）の少なくとも一部を含む少なくとも１つの３Ｄ画像を受信するように適合された少なくとも１つの入力部と、
－ 少なくとも１つのプロセッサであって、
・前記標的解剖学的構造のデジタルモデルの、前記３Ｄ画像に含まれる標的解剖学的構造（１０）の少なくとも一部との位置合わせにより、前記仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと前記標的参照ＲＣとの間での変換ＣＴＡを計算し、
・前記標的解剖学的構造のデジタルモデルに含まれる各点が前記標的参照ＲＣで既知の位置を有するように前記標的解剖学的構造の前記デジタルモデルを前記標的参照ＲＣに位置合わせするべく前記変換ＣＴＰを適用し、
・外科用器具参照ＲＯと前記標的参照ＲＣとの間での変換ＣＴＯを計算し、
・前記標的参照ＲＣでの前記外科用器具（２０）の位置及び空間的向きを知るべく前記外科用器具参照ＲＯに前記変換ＣＴＯを適用する、
ように構成された、プロセッサと、
を備え、
これにより、前記仮想参照ＲＰと前記標的参照ＲＣとの両方での前記外科用器具（２０）の位置及び空間的向きがわかり、前記仮想参照ＲＰで計画された動作が前記標的参照ＲＣで再現される、システム。
【請求項2】
前記少なくとも１つのプロセッサはさらに、－ 前記標的解剖学的構造（１０）を含む前記３Ｄ画像内の関心領域を定義し、
－ ＣＴＡを決定するべく前記標的解剖学的構造（１０）を含む関心領域を前記標的解剖学的構造のデジタルモデルと位置合わせすること、
によって前記変換ＣＴＡを計算するように構成される、請求項１に記載のシステム。
【請求項3】
前記運動連鎖（７０）が、前記標的解剖学的構造（１０）にしっかりと固定された少なくとも１つの機械的基準（４０）を備えるときに、前記少なくとも１つの３Ｄ画像は、前記機械的基準（４０）の少なくとも一部を含み、前記少なくとも１つのプロセッサはさらに、－ 前記運動連鎖（７０）のセンサユニットから、前記運動連鎖（７０）の空間構成を表すデータをリアルタイムで受信し、
－ 受信されたデータを使用して前記外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算し、
－ 前記３Ｄ画像に含まれる前記機械的基準の少なくとも一部を前記機械的基準のデジタルモデルと照合することにより、前記機械的基準参照ＲＭと前記取得参照ＲＡとの間での変換ＭＴＡを計算する、
ように構成され、
これにより、前記取得参照ＲＡ、前記機械的基準参照ＲＭ、及び前記標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから前記変換ＣＴＯが得られる、請求項１又は２のどちらか一項に記載のシステム。
【請求項4】
前記少なくとも１つのプロセッサはさらに、前記運動連鎖（７０）のセンサユニットを使用して、前記外科用器具（２０）に対する、前記少なくとも１つの機械的基準（４０）にしっかりと固定された前記標的解剖学的構造（１０）の移動を追跡するように構成され、したがって、前記標的解剖学的構造の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、前記仮想環境から実環境への計画された動作の置き換えが前記逸脱に関して補正される、請求項３に記載のシステム。
【請求項5】
前記少なくとも１つの３Ｄイメージングセンサ（３０）は、前記運動連鎖（７０）に固定され、前記少なくとも１つのプロセッサはさらに、前記運動連鎖（７０）のセンサユニットから得られたデータから前記外科用器具参照ＲＯと前記３Ｄイメージングセンサ取得参照ＲＡとの間での変換ＡＴＯを計算するように構成され、これにより、取得参照ＲＡと標的参照ＲＣとの間での前記変換ＡＴＯ及び前記変換ＣＴＡの組み合わせから前記変換ＣＴＯが得られる、請求項１又は２のどちらか一項に記載のシステム。
【請求項6】
前記運動連鎖（７０）は、関節により接続された複数の剛性要素を含む変形可能構造からなり、前記運動連鎖（７０）は、その要素に加えられる力を測定するためのセンサをさらに備える、請求項１乃至５のいずれか一項に記載のシステム。
【請求項7】
前記少なくとも１つの入力部によって受信された３Ｄ画像の取得は、ステレオビジョン又は構造化光による取得を実行するために少なくとも２つのセンサとプロジェクタを使用して行われる、請求項１乃至６のいずれか一項に記載のシステム。
【請求項8】
前記運動連鎖（７０）に固定された３Ｄイメージングセンサ（３０）は既知の軌道に沿って移動し、前記軌道に沿って複数の３Ｄ画像が取得され、前記少なくとも１つのプロセッサはさらに、前記標的解剖学的構造のデジタルモデルとの位置合わせのために前記複数の３Ｄ画像を使用するべく、前記軌道に沿って取得された複数の３Ｄ画像を共同で処理するように構成される、請求項５乃至７のいずれか一項に記載のシステム。
【請求項9】
前記少なくとも１つのプロセッサはさらに、前記３Ｄイメージングセンサ（３０）及び視覚的追跡アルゴリズムを使用して前記外科用器具（２０）に対する前記標的解剖学的構造（１０）の移動を追跡するように構成され、したがって、前記標的解剖学的構造の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、仮想環境から実環境への計画された動作の置き換えが前記逸脱に関して補正される、請求項５乃至８のいずれか一項に記載のシステム。
【請求項10】
前記標的解剖学的構造の三次元デジタルモデルは、前記標的解剖学的構造を含む２Ｄ Ｘ線撮影、前記標的解剖学的構造の統計的形状モデル、及び／又は前記３Ｄイメージングセンサによって術中に取得された３Ｄ画像を使用して生成される、請求項１乃至９のいずれか一項に記載のシステム。
【請求項11】
前記標的解剖学的構造の三次元デジタルモデルは、測定ノイズ又は軟骨の存在をシミュレートするためにデジタル修正され、前記修正は、トレーニングデータ又は生体力学的シミュレーションデータから計算される、請求項１乃至１０のいずれか一項に記載のシステム。
【請求項12】
前記標的解剖学的構造のデジタルモデルと前記３Ｄ画像に含まれる前記標的（１０）の少なくとも一部との位置合わせは、非剛体変換である、請求項１乃至１１のいずれか一項に記載のシステム。
【請求項13】
患者の整形外科手術に適した実際の手術室環境で外科用器具（２０）をガイドするためのコンピュータ実装方法であって、前記外科用器具（２０）が運動連鎖（７０）に固定され、前記運動連鎖（７０）が、前記運動連鎖（７０）の空間構成をリアルタイムで追跡するように構成された少なくとも１つのセンサを有するセンサユニットを備え、前記方法は、
－ 少なくとも１つの３Ｄイメージングセンサ（３０）から取得された、前記患者の標的解剖学的構造の少なくとも一部を含む少なくとも１つの３Ｄ画像を受信するステップと、
－ 前記標的解剖学的構造のデジタルモデルの、前記３Ｄ画像に含まれる標的解剖学的構造の少なくとも一部と位置合わせにより、前記仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと前記標的参照ＲＣとの間での変換ＣＴＡを計算するステップと、
－ 前記標的解剖学的構造のデジタルモデルに含まれる各点が前記標的参照ＲＣで既知の位置を有するように前記標的解剖学的構造の前記デジタルモデルを前記標的参照ＲＣに位置合わせするべく前記変換ＣＴＰを適用するステップと、
－ 外科用器具参照ＲＯと前記標的参照ＲＣとの間での変換ＣＴＯを計算するステップと、
－ 前記標的参照ＲＣでの外科用器具（２０）の位置及び空間的向きを知るべく前記外科用器具参照ＲＯに前記変換ＣＴＯを適用するステップと、
を含み、
これにより、前記仮想参照ＲＰと前記標的参照ＲＣとの両方での前記外科用器具（２０）の位置及び空間的向きがわかり、前記仮想参照ＲＰで計画された動作が標的参照ＲＣで再現される、方法。
【請求項14】
前記変換ＣＴＡの計算が、
－ 前記標的解剖学的構造を含む前記３Ｄ画像内の関心領域を定義するステップと、
－ ＣＴＡを決定するべく前記標的解剖学的構造を含む前記関心領域を前記標的解剖学的構造のデジタルモデルと位置合わせするステップと、
を含む、請求項１３に記載の方法。
【請求項15】
前記運動連鎖（７０）は、標的解剖学的構造（１０）にしっかりと固定された少なくとも１つの機械的基準（４０）を備え、前記少なくとも１つの３Ｄ画像は、前記機械的基準（４０）の少なくとも一部を含み、前記方法は、－ 前記運動連鎖（７０）のセンサユニットから、前記運動連鎖（７０）の空間構成を表すデータをリアルタイムで受信するステップと、
－ 受信されたデータを使用して前記外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算するステップと、
－ ３Ｄ画像に含まれる前記機械的基準の少なくとも一部を前記機械的基準のデジタルモデルと照合することにより、前記機械的基準参照ＲＭと前記取得参照ＲＡとの間での変換ＭＴＡを計算するステップと、
をさらに含み、
これにより、前記取得参照ＲＡ、前記機械的基準参照ＲＭ、及び前記標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから前記変換ＣＴＯが得られる、請求項１３又は１４のどちらか一項に記載の方法。
【請求項16】
前記外科用器具（２０）に対する前記標的解剖学的構造（１０）の移動が前記運動連鎖（７０）のセンサユニットによって追跡され、したがって、前記標的解剖学的構造の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、前記仮想環境から実環境への前記計画された動作の置き換えが前記逸脱に関して補正される、請求項１５に記載の方法。
【請求項17】
前記少なくとも１つの３Ｄイメージングセンサ（３０）が前記運動連鎖（７０）に固定され、前記方法は、前記運動連鎖（７０）のセンサユニットから得られたデータから前記外科用器具参照ＲＯと前記３Ｄイメージングセンサ取得参照ＲＡとの間での変換ＡＴＯを計算するステップをさらに含み、これにより、前記取得参照ＲＡと前記標的参照ＲＣとの間での前記変換ＡＴＯ及び前記変換ＣＴＡの組み合わせから前記変換ＣＴＯが得られる、請求項１３乃至１６のいずれか一項に記載の方法。
【請求項18】
前記運動連鎖（７０）に固定された前記３Ｄイメージングセンサ（３０）は既知の軌道に沿って移動し、前記軌道に沿って複数の３Ｄ画像が取得され、前記方法は、前記標的解剖学的構造のデジタルモデルとの位置合わせのために前記複数の３Ｄ画像を使用するべく、前記軌道に沿って取得された前記複数の３Ｄ画像を共同で処理するステップをさらに含む、請求項１７に記載の方法。
【請求項19】
前記外科用器具（２０）に対する前記標的解剖学的構造（１０）の移動が前記３Ｄイメージングセンサ（３０）及び視覚的追跡アルゴリズムによって追跡され、したがって、前記標的解剖学的構造の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、前記仮想環境から前記実環境への前記計画された動作の置き換えが前記逸脱に関して補正される、請求項１７又は１８のどちらか一項に記載の方法。
【請求項20】
コンピュータによって実行されるときに前記コンピュータに請求項１３乃至１９のいずれか一項に記載の方法のステップを実行させる命令を備えるコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータ支援手術に関する。この分野は、外科医が外科的介入を計画及び／又は実行するのを支援するように設計されたコンピュータ及び／又は物理システムのセットを含む。これには、以下の３つの類のシステム、すなわち、ナビゲーションシステム、ロボットシステム、及び拡張現実及び／又は複合現実ガイダンスシステムが含まれる。
【0002】
現在のコンピュータ支援手術システムの主な要素は以下のものである。
【0003】
第１に、医用イメージング（ＣＴスキャン、ＭＲＩ、Ｘ線など）によって得られた患者固有の術前データからの、又は、一般的なデータベース（例えば、解剖学的アトラス、統計的形状モデル）と術中画像（蛍光透視法、超音波など）又は三次元ローカライザと触診システムを使用して得られた患者の解剖学的構造のデータの取得とを組み合わせたコンピュータ処理によって手術中に生成される、患者のデジタルモデルの作成。
【0004】
第２に、デジタル患者モデルのコンピュータ処理からの手術計画の生成。このタスクは、患者モデルが術前データから導出される場合は手技の前に、又は術中データから導出されるときには最初に行われる。
【0005】
第３に、術前データと術中データを照合する方法に基づく手術ナビゲーション。手術ナビゲーションにより、外科医は、患者の解剖学的構造に関連した手術器具の現在の位置を視覚化し、手術計画に関連して手術の進行を追跡することができる。標準ナビゲーションシステムでは、この情報は画面上に表示される。複合現実ナビゲーションシステムでは、手術ガイダンスは、拡張現実又は仮想現実の方法でヘルメット又はゴーグルを通じて拡張現実又は仮想現実によって表示される。
【0006】
第４に、外科的ジェスチャの実現を支援するシステム：術前の計画から患者固有の器具（例えば、カスタマイズされたカッティングガイド又はミリングガイド）を作製することができる。代替的に、視覚的な意思決定支援情報が外科医に提供される。電気機械システムが外科医の外科的手技の実行を支援する場合、それはロボットシステムである。
【0007】
本発明は、主な、しかし排他的ではない用途として、単顆人工膝関節形成術及び全人工膝関節形成術による、ロボットシステムのナビゲーションのためのコンピュータ支援手術の分野に属する。
【0008】
コンピュータ支援ロボット関節形成術は、能動的又は協調的システム（外科医とロボットのスキルを組み合わせてパフォーマンスを向上させる関係性を築き上げる相乗的システム）と受動的ナビゲーションシステムを使用する。
【背景技術】
【0009】
２つの主要な方策が従来技術で一般に実施されている。
【0010】
第１の方策は、骨及び手術器具に付けられたマーカを光学追跡システムと組み合わせて使用して、実際の基準点とデジタル基準点が一致していることを確認し、スペース内の骨及び手術器具の正確な位置を知ることを含む。この種の方策の例は、ナビゲーションシステムで追跡されるように構成された患者の解剖学的構造に合うように外科用マーカを使用する米国特許ＵＳ１０，１３６，９５０ Ｂ２に示されている。手術ナビゲーションを用いる外科的手技中の手術器具、ツール、及び／又は医療器具の正確な計画、追跡、及びナビゲーションを達成するために、外科医は、しばしば「追跡アレイ」を外科用マーカに結合する。これらの追跡アレイにより、外科医は、手術中にこれらの外科用コンポーネントと患者の骨の物理的位置を追跡することができる。追跡アレイの物理的位置を知ることにより、追跡システムに関連するソフトウェアは、手術計画画像に対する追跡されるコンポーネントの位置を正確に計算することができる。しかしながら、骨にねじ込んでのマーカの使用は、固定点での骨折のリスクを生じ、手術時間が長くなる。また、マーカ（見通し内）の可視性は、手術全体を通して保証されなければならず、したがって、これらの種類の方策は、視点妨害に対して堅牢ではなく、手術野に対する手術スタッフの配置を制約する。それらはステップ及びツール（マーカ、プローブ）の数を増やし、デジタルモデルと照合するために解剖学的構造の機械的触診を必要とする。これらの制約は、面倒な作業で手技時間が増加し、外科医及び手術スタッフがどのようにマーカを付けるか及びどのように手術を行うかを学習する必要がある。最後に、関連する光学追跡システムは扱いにくく高価である。
【0011】
さらに、純粋に光学的な追跡では、リアルタイムの制御ループは可能ではない。このレベルのパフォーマンスに到達するには、機械的な追跡が必要とされる。
【0012】
第２のタイプの方策は、蛍光透視法などの電離術中視覚化方策を含む。整形外科及び外傷の手術中に、蛍光透視法に基づくナビゲーションシステムにより、手術器具の追跡と、蛍光透視法画像上へのそれらの輪郭のリアルタイムの重ね合わせが可能となる。フルオロナビゲーションの場合、外科的介入中に用いられる器具は、位置特定システムに結合されたマーカを装備している。
【0013】
しかしながら、この第２のタイプの方策にも、視点妨害に対する堅牢性の欠如、手術野に対する手術スタッフの配置の制約、必要な器具の数の増加、手術室への追加の扱いにくい器具（Ｃアームデバイス）の持ち込みなどの、第１の方策と同じ欠点がある。この第２の方策はさらに、患者と手術を行う周囲の医療スタッフの両者に有害な電離放射線の使用を意味する。
【発明の概要】
【0014】
本発明は、仮想環境で定義された少なくとも１つの計画された外科的動作を、実環境、より具体的には整形外科手術のための手術室での物理的な外科的動作に位置合わせることを可能にする方法である。
【0015】
本発明の実装は、例えば、仮想参照でのデジタルシミュレーション、例えば、手術計画シミュレーションによって軌道、位置、変位、又は他の動作が最初に決定される状況に関する。実環境で使用できるようにするために、この軌道、位置、変位、又は他の動作を、動作を適用する患者の実際の参照に置き換える必要がある。これを行うために、仮想参照を患者の実際の参照と照合するべく複数の変換が決定されなければならない。
【0016】
好ましくは、本発明は、手術計画に準拠するための骨の機械加工ツールの支持体の自動制御に関する。
【0017】
本発明の別の適用例は、視覚拡張ゴーグル又はプロジェクタのいずれかからオペレータ、例えば、外科医の視覚領域上に重ね合わされた画像の位置を制御するための拡張現実に関する。
【0018】
本発明は、患者の整形外科手術のために仮想参照ＲＰに対する仮想環境で計画された動作の、実際の手術室環境で外科用器具を使用して行われる物理的動作への置き換えを含むコンピュータ支援手術のためのシステムであって、前記外科用器具が、運動連鎖の空間構成をリアルタイムで追跡するように構成された少なくとも１つのセンサを有するセンサユニットを備える前記運動連鎖に固定され、前記システムは、
－ 少なくとも１つの３Ｄイメージングセンサから取得された、患者の標的解剖学的構造の少なくとも一部を含む少なくとも１つの３Ｄ画像を受信するように構成された受信モジュールと、
－ 計算モジュールであって、
・標的のデジタルモデルの、３Ｄ画像に含まれる標的の少なくとも一部との位置合わせにより、仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと標的参照ＲＣとの間での変換ＣＴＡを計算し、
・標的のデジタルモデルに含まれる各点が標的参照ＲＣで既知の位置を有するように前記標的の前記デジタルモデルを標的参照ＲＣに位置合わせするべく変換ＣＴＰを適用し、
・外科用器具参照ＲＯと標的参照ＲＣとの間での変換ＣＴＯを計算し、
・外科用器具の位置及び空間的向きを知るべく外科用器具参照ＲＯに変換ＣＴＯを適用する、
ように構成された、計算モジュールと、
を備え、
これにより、仮想参照ＲＰと標的参照ＲＣとの両方での前記外科用器具の位置及び空間的向きがわかり、仮想参照ＲＰで計画された動作が標的参照ＲＣで再現される、システムに関する。
－ 少なくとも１つの３Ｄイメージングセンサから取得された、患者の標的解剖学的構造の少なくとも一部を含む少なくとも１つの３Ｄ画像を受信するように構成された受信モジュールと、
－ 計算モジュールであって、
・標的のデジタルモデルの、３Ｄ画像に含まれる標的の少なくとも一部との位置合わせにより、仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと標的参照ＲＣとの間での変換ＣＴＡを計算し、
・標的のデジタルモデルに含まれる各点が標的参照ＲＣで既知の位置を有するように前記標的の前記デジタルモデルを標的参照ＲＣに位置合わせするべく変換ＣＴＰを適用し、
・外科用器具参照ＲＯと標的参照ＲＣとの間での変換ＣＴＯを計算し、
・外科用器具の位置及び空間的向きを知るべく外科用器具参照ＲＯに変換ＣＴＯを適用する、
ように構成された、計算モジュールと、
を備え、
これにより、仮想参照ＲＰと標的参照ＲＣとの両方での前記外科用器具の位置及び空間的向きがわかり、仮想参照ＲＰで計画された動作が標的参照ＲＣで再現される、システムに関する。
【0019】
一実施形態によれば、計算モジュールはさらに、
－ 前記標的を含む３Ｄ画像内の関心領域を定義し、
－ ＣＴＡを決定するべく前記標的を含む関心領域を標的のデジタルモデルと位置合わせすること、
によって変換ＣＴＡを計算するように構成される。
－ 前記標的を含む３Ｄ画像内の関心領域を定義し、
－ ＣＴＡを決定するべく前記標的を含む関心領域を標的のデジタルモデルと位置合わせすること、
によって変換ＣＴＡを計算するように構成される。
【0020】
一実施形態によれば、関心領域を定義することは、セグメント化アルゴリズムによる前記関心領域の自動検出を含む。
【0021】
一実施形態によれば、運動連鎖は、標的解剖学的構造にしっかりと固定された少なくとも１つの機械的基準を含み、少なくとも１つの３Ｄ画像は、機械的基準の少なくとも一部を含み、計算モジュールはさらに、
－ 運動連鎖に含まれるセンサユニットから得られたデータを使用して外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算し、
－ ３Ｄ画像に含まれる機械的基準の少なくとも一部を機械的基準のデジタルモデルと照合することにより、機械的基準参照ＲＭと取得参照ＲＡとの間での変換ＭＴＡを計算する、
ように構成され、
これにより、取得参照ＲＡ、機械的基準参照ＲＭ、及び標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから変換ＣＴＯが得られる。
－ 運動連鎖に含まれるセンサユニットから得られたデータを使用して外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算し、
－ ３Ｄ画像に含まれる機械的基準の少なくとも一部を機械的基準のデジタルモデルと照合することにより、機械的基準参照ＲＭと取得参照ＲＡとの間での変換ＭＴＡを計算する、
ように構成され、
これにより、取得参照ＲＡ、機械的基準参照ＲＭ、及び標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから変換ＣＴＯが得られる。
【0022】
標的解剖学的構造が少なくとも１つの機械的基準に固定される一実施形態によれば、システムはさらに、運動連鎖のセンサユニットを使用して外科用器具に対する標的の移動を追跡するように構成された補正モジュールを備え、したがって、標的の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、仮想環境から実環境への計画された動作の置き換えが前記逸脱に関して補正される。この実施形態では、有利なことに、患者が移動するときの視覚的追跡又は新しい位置合わせ手順の必要性を回避することができる。
【0023】
一実施形態によれば、少なくとも１つの３Ｄイメージングセンサは運動連鎖に固定され、計算モジュールはさらに、運動連鎖のセンサユニットから得られたデータから外科用器具参照ＲＯと３Ｄイメージングセンサ取得参照ＲＡとの間での変換ＡＴＯを計算するように構成され、これにより、取得参照ＲＡと標的参照ＲＣとの間での変換ＡＴＯ及び変換ＣＴＡの組み合わせから変換ＣＴＯが得られる。
【0024】
一実施形態によれば、受信モジュールによって受信された３Ｄ画像の取得は、ステレオビジョン又は構造化光による取得を実行するために少なくとも２つのセンサとプロジェクタを使用して行われる。
【0025】
一実施形態によれば、運動連鎖に固定された３Ｄイメージングセンサは既知の軌道に沿って移動し、軌道に沿って複数の３Ｄ画像が取得され、計算モジュールはさらに、標的のデジタルモデルとの位置合わせのために複数の３Ｄ画像を使用するべく、軌道に沿って取得された複数の３Ｄ画像を共同で処理するように構成される。
【0026】
一実施形態によれば、受信モジュールはさらに、熱画像、超音波画像、マルチスペクトル画像、顕微鏡スケールの画像、及び／又は単一カラー画像を受信するように構成される。
【0027】
３Ｄイメージングセンサが運動連鎖に固定されるときの一実施形態によれば、システムはさらに、３Ｄイメージングセンサ及び視覚的追跡アルゴリズムを使用して外科用器具に対する標的の移動を追跡するように構成された補正モジュールを備え、したがって、標的の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、仮想環境から実環境への計画された動作の置き換えが前記逸脱に関して補正される。
【0028】
本発明は、患者の整形外科手術のために仮想参照ＲＰに対する仮想環境で計画された動作の、実際の手術室環境で外科用器具を使用して行われる物理的動作への置き換えるを含むコンピュータ支援手術のための方法であって、前記外科用器具が、運動連鎖の空間構成をリアルタイムで追跡するように構成された少なくとも１つのセンサを有するセンサユニットを備える前記運動連鎖に固定され、前記方法は、以下の：
－ 少なくとも１つの３Ｄイメージングセンサから取得された、患者の標的解剖学的構造の少なくとも一部を含む少なくとも１つの３Ｄ画像を受信するステップと、
－ 標的のデジタルモデルの、３Ｄ画像に含まれる標的の少なくとも一部との位置合わせにより、仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと標的参照ＲＣとの間での変換ＣＴＡを計算するステップと、
－ 標的のデジタルモデルに含まれる各点が標的参照ＲＣで既知の位置を有するように前記標的の前記デジタルモデルを標的参照ＲＣに位置合わせするべく変換ＣＴＰを適用するステップと、
－ 外科用器具参照ＲＯと標的参照ＲＣとの間での変換ＣＴＯを計算するステップと、
－ 標的参照ＲＣにおける外科用器具の位置及び空間的向きを知るべく変換ＣＴＯを外科用器具参照ＲＯに適用するステップと、
を含み、
これにより、仮想参照ＲＰと標的参照ＲＣとの両方での前記外科用器具の位置及び空間的向きがわかり、仮想参照ＲＰで計画された動作が標的参照ＲＣで再現される、方法に関する。
－ 少なくとも１つの３Ｄイメージングセンサから取得された、患者の標的解剖学的構造の少なくとも一部を含む少なくとも１つの３Ｄ画像を受信するステップと、
－ 標的のデジタルモデルの、３Ｄ画像に含まれる標的の少なくとも一部との位置合わせにより、仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと標的参照ＲＣとの間での変換ＣＴＡを計算するステップと、
－ 標的のデジタルモデルに含まれる各点が標的参照ＲＣで既知の位置を有するように前記標的の前記デジタルモデルを標的参照ＲＣに位置合わせするべく変換ＣＴＰを適用するステップと、
－ 外科用器具参照ＲＯと標的参照ＲＣとの間での変換ＣＴＯを計算するステップと、
－ 標的参照ＲＣにおける外科用器具の位置及び空間的向きを知るべく変換ＣＴＯを外科用器具参照ＲＯに適用するステップと、
を含み、
これにより、仮想参照ＲＰと標的参照ＲＣとの両方での前記外科用器具の位置及び空間的向きがわかり、仮想参照ＲＰで計画された動作が標的参照ＲＣで再現される、方法に関する。
【0029】
一実施形態によれば、変換ＣＴＡの計算は、以下の：
－ 前記標的を含む３Ｄ画像内の関心領域を定義するステップと、
－ ＣＴＡを決定するべく前記標的を含む関心領域を標的のデジタルモデルと位置合わせするステップと、
を含む。
－ 前記標的を含む３Ｄ画像内の関心領域を定義するステップと、
－ ＣＴＡを決定するべく前記標的を含む関心領域を標的のデジタルモデルと位置合わせするステップと、
を含む。
【0030】
一実施形態によれば、関心領域を定義するステップは、セグメント化アルゴリズムによる前記関心領域の自動検出を含む。
【0031】
一実施形態によれば、少なくとも１つの３Ｄイメージングセンサは運動連鎖に固定され、前記方法は、運動連鎖のセンサユニットから得られたデータから外科用器具参照ＲＯと３Ｄイメージングセンサ取得参照ＲＡとの間での変換ＡＴＯを計算するステップをさらに含み、これにより、取得参照ＲＡと標的参照ＲＣとの間での変換ＡＴＯ及び変換ＣＴＡの組み合わせから変換ＣＴＯが得られる。
【0032】
一実施形態によれば、運動連鎖は、標的解剖学的構造にしっかりと固定された少なくとも１つの機械的基準を含み、少なくとも１つの３Ｄ画像は、機械的基準の少なくとも一部を含み、前記方法は、
－ 運動連鎖に含まれるセンサユニットから得られたデータを使用して外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算するステップと、
－ ３Ｄ画像に含まれる機械的基準の少なくとも一部を機械的基準のデジタルモデルと照合することにより、機械的基準参照ＲＭと取得参照ＲＡとの間での変換ＭＴＡを計算するステップと、
をさらに含み、
これにより、取得参照ＲＡ、機械的基準参照ＲＭ、及び標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから変換ＣＴＯが得られる。
－ 運動連鎖に含まれるセンサユニットから得られたデータを使用して外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算するステップと、
－ ３Ｄ画像に含まれる機械的基準の少なくとも一部を機械的基準のデジタルモデルと照合することにより、機械的基準参照ＲＭと取得参照ＲＡとの間での変換ＭＴＡを計算するステップと、
をさらに含み、
これにより、取得参照ＲＡ、機械的基準参照ＲＭ、及び標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから変換ＣＴＯが得られる。
【0033】
一実施形態によれば、機械的基準は標的解剖学的構造にしっかりと固定され、前記外科用器具に対する標的の移動が運動連鎖のセンサユニットによって追跡され、したがって、標的の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、仮想環境から実環境への計画された動作の置き換えが前記逸脱に関して補正される。
【0034】
一実施形態によれば、前記運動連鎖は、関節により接続された複数の剛性要素を含む変形可能構造からなる。
【0035】
一実施形態によれば、前記運動連鎖は、その要素に加えられる力を測定するためのセンサをさらに備える。
【0036】
一実施形態によれば、受信モジュールによって受信された３Ｄ画像の取得は、ステレオビジョン又は構造化光による取得を実行するために少なくとも２つのセンサとプロジェクタを使用して行われる。
【0037】
一実施形態によれば、運動連鎖に固定された３Ｄイメージングセンサは既知の軌道に沿って移動し、軌道に沿って複数の３Ｄ画像が取得され、前記方法は、標的のデジタルモデルとの位置合わせのために複数の３Ｄ画像を使用するべく、軌道に沿って取得された複数の３Ｄ画像を共同で処理するステップをさらに含む。
【0038】
一実施形態によれば、方法は、熱画像、超音波画像、マルチスペクトル画像、顕微鏡スケールの画像、及び／又は単一カラー画像を受信することをさらに含む。
【0039】
一実施形態によれば、３Ｄイメージングセンサは運動連鎖に固定され、前記外科用器具に対する標的の移動が３Ｄイメージングセンサ及び視覚的追跡アルゴリズムによって追跡され、したがって、標的の位置及び／又は空間的向きの逸脱が検出されるときにはいつでも、仮想環境から実環境への計画された動作の置き換えが前記逸脱に関して補正される。
【0040】
一実施形態によれば、標的の三次元デジタルモデルは、コンピュータ断層撮影画像又はＭＲＩ画像から生成される。
【0041】
一実施形態によれば、標的の三次元デジタルモデルは、標的を含む２Ｄ Ｘ線撮影、標的の統計的形状モデル、及び／又は３Ｄイメージングセンサによって術中に取得された３Ｄ画像を使用して生成される。
【0042】
一実施形態によれば、標的の三次元デジタルモデルは、測定ノイズ又は軟骨の存在をシミュレートするためにデジタル修正され、前記修正は、トレーニングデータ又は生体力学的シミュレーションデータから計算される。
【0043】
一実施形態によれば、３Ｄ画像に含まれる標的の少なくとも一部を標的のデジタルモデルと照合する動作は、非剛体変換である。
【0044】
本発明はさらに、プログラムがコンピュータによって実行されるときに本明細書で説明される実施形態のいずれか１つに係る方法のステップをコンピュータに実行させる命令を備えるコンピュータプログラム製品に関する。
【0045】
本発明はまた、コンピュータによって実行されるときに本明細書で説明される実施形態のいずれか１つに係る方法のステップをコンピュータに実行させる命令を備えるコンピュータ可読記憶媒体に関する。
【0046】
前述のように、本発明の一実施形態は、標的解剖学的構造にしっかりと固定された少なくとも１つの機械的基準を含む運動連鎖を用いるコンピュータ支援手術のための方法に関する。以下の段落は、この特定の実施形態に関する。
【0047】
この方法は、運動連鎖を通じて外科用器具と運動学的に結合された機械的基準を実装し、運動連鎖の構成要素の位置センサ及び／又は変位センサにより、手術全体を通して、機械的基準に対する外科用器具の位置及び向きがわかる。他方では、機械的基準は、機械加工される骨要素（すなわち、標的）にしっかりと結合される。手術中に、本発明は、術前又は術中に（手術の初めに、軟組織切開後であって骨切除前に）得られた計画データを使用して骨要素の位置合わせを行うために深さデータ（３Ｄ画像とも呼ばれる）を使用し、前記計画データは、標的のデジタルモデルと、整形外科手術中に行われる計画された外科的動作を含む。このようにして、標的に対する機械的基準の位置及び向きが決定される。位置合わせプロセスと、運動連鎖の幾何学的形状の知識により、標的の基準座標系の外科用器具の軌道を決定することが可能となる。骨要素に対する外科用器具の位置及び向きが常にわかり、例えば患者が移動する場合に、確立済みの手術計画に準拠するためにその経路を補正することができる。
【0048】
本発明は、手術計画に含まれる動作を実行するべく外科用器具ホルダを制御できるようにするために電離イメージング又は複数の光学マーカを必要としないという点で、従来技術の欠点を克服する。両方とも潜在的に有害であり、時間がかかるため、本発明は、医療チームと患者の両者に直接的な健康上の恩恵をもたらす。本発明はまた、手技の長さ及び外科医にとっての使いやすさの点で、利点をもたらす。
【0049】
本発明は、以下のステップを含む方法に関する。
【0050】
シーンの３Ｄ画像センサから、標的（すなわち、機械加工される骨要素）の少なくとも一部と、前記ツールに運動学的に結合された機械的基準の少なくとも一部とを含む、少なくとも１つの３Ｄ画像を取得する第１のステップ。
【0051】
標的参照ＲＣに対する取得参照ＲＡの位置及び空間的向きを定義する変換ＣＴＡを決定するべく画像処理アルゴリズムを適用することにより前記３Ｄ画像を標的のデジタルモデルにマッピングする第２のステップ。
【0052】
機械的基準参照ＲＭに対する３Ｄ画像センサ取得参照ＲＡの位置及び向きを定義する変換ＭＴＡを決定することを可能にする、前記３Ｄ画像を機械的基準のデジタルモデルにマッピングする第３のステップ。
【0053】
ＣＴＡ及びＭＴＡ変換行列を使用して標的参照ＲＣと機械的基準参照ＲＭとの間での変換行列を計算する第４のステップ。
【0054】
最初の計画を標的参照ＲＣに置き換える第５のステップ。
【0055】
並行して、この方法は、外科用器具を用いる物理的動作中に、機械的基準を外科用器具に結合する運動連鎖の要素の位置、空間的向き、及び／又は変位をリアルタイムで取得するステップを含む。
【0056】
有利なことに、本発明の方法は、シーンのリアルタイムの光学的モニタリングに依存しない。したがって、マーカの多様性及び手術領域の視点妨害が発生する場合の追跡の失敗などの標準的な手術ナビゲーションシステムに関連する問題が回避される。実際、計画データが標的参照ＲＣで分かると、運動連鎖のセンサは、あらゆる時点で、計算するべき標的に対する外科用器具の位置及び向きの知識を提供する。
【0057】
変形例によれば、前記第２及び第３のマッピングするステップは、以下のステップに置き換えられる。
【0058】
－ 前記標的に関連付けられた前記３Ｄデジタル画像の第１のサブセット、
－ 前記機械的基準に関連付けられた前記３Ｄデジタル画像の第２のサブセット、
を決定するべく、前記標的に対応する第１の関心領域と、前記機械的基準に対応する第２の関心領域を抽出することからなる、関心領域抽出ステップ。
－ 前記機械的基準に関連付けられた前記３Ｄデジタル画像の第２のサブセット、
を決定するべく、前記標的に対応する第１の関心領域と、前記機械的基準に対応する第２の関心領域を抽出することからなる、関心領域抽出ステップ。
【0059】
関心領域の抽出は、セグメント化アルゴリズムを通じて自動的に行うことができる。
【0060】
変換ＣＴＡを決定するべく前記標的に関連付けられた前記第１のサブセットを前記標的のデジタルモデルにマッピングするステップ。
【0061】
変換ＭＴＡを決定するべく前記機械的基準に関連付けられた前記サブセットを前記機械的基準のデジタルモデルにマッピングするステップ。
【0062】
個々に又は技術的に現実的な組み合わせで採用される実施形態の変形によれば、本発明はまた、以下のさらなる特徴に関する：
－ 運動連鎖は、その構成要素の相対位置を測定するセンサを備える剛体変形可能構造からなる、
－ 前記３Ｄ画像を取得する第１のステップは、ステレオビジョンによる取得を実行するために少なくとも２つのカメラとプロジェクタを使用するテクスチャ加工された３Ｄ画像の取得によって実行される、
－ 前記３Ｄ画像を取得する第１のステップは、構造化光による取得を実行するために少なくとも２つのセンサとプロジェクタを使用するテクスチャ加工された３Ｄ画像の取得によって実行される、
－ 前記第１の取得ステップはさらに、ＲＧＢ－Ｄ画像の取得を含む、
－ 前記第１の取得ステップはさらに、熱画像の取得を含む、
－ 前記第１の取得ステップはさらに、超音波画像の取得を含む、
－ 前記第１の取得ステップはさらに、マルチスペクトル画像の取得を含む、
－ 前記第１の取得ステップはさらに、顕微鏡スケールでの画像の取得を含む、
－ 前記第１の取得ステップはさらに、単一カラー画像の取得を含む、
－ 標的に対する前記外科用器具の移動は、標的と前記外科用器具の間の運動連鎖の要素の位置センサ及び／又は変位センサによって追跡され、仮想環境で計画された動作の、実環境への置き換えを補正することが可能となる、
－ 前記標的の三次元デジタルモデルは、スキャナ又はＭＲＩ画像から生成される、
－ 前記標的の三次元デジタルモデルは、測定ノイズ又は軟骨の存在をシミュレートするべくデジタル修正され、前記修正は、トレーニングデータ又は生体力学的シミュレーションデータから計算される。
－ 運動連鎖は、その構成要素の相対位置を測定するセンサを備える剛体変形可能構造からなる、
－ 前記３Ｄ画像を取得する第１のステップは、ステレオビジョンによる取得を実行するために少なくとも２つのカメラとプロジェクタを使用するテクスチャ加工された３Ｄ画像の取得によって実行される、
－ 前記３Ｄ画像を取得する第１のステップは、構造化光による取得を実行するために少なくとも２つのセンサとプロジェクタを使用するテクスチャ加工された３Ｄ画像の取得によって実行される、
－ 前記第１の取得ステップはさらに、ＲＧＢ－Ｄ画像の取得を含む、
－ 前記第１の取得ステップはさらに、熱画像の取得を含む、
－ 前記第１の取得ステップはさらに、超音波画像の取得を含む、
－ 前記第１の取得ステップはさらに、マルチスペクトル画像の取得を含む、
－ 前記第１の取得ステップはさらに、顕微鏡スケールでの画像の取得を含む、
－ 前記第１の取得ステップはさらに、単一カラー画像の取得を含む、
－ 標的に対する前記外科用器具の移動は、標的と前記外科用器具の間の運動連鎖の要素の位置センサ及び／又は変位センサによって追跡され、仮想環境で計画された動作の、実環境への置き換えを補正することが可能となる、
－ 前記標的の三次元デジタルモデルは、スキャナ又はＭＲＩ画像から生成される、
－ 前記標的の三次元デジタルモデルは、測定ノイズ又は軟骨の存在をシミュレートするべくデジタル修正され、前記修正は、トレーニングデータ又は生体力学的シミュレーションデータから計算される。
【0063】
有利なことに、標的参照ＲＣに対する取得参照ＲＡの位置及び向きを定義する変換ＣＴＡを決定することを可能にする、前記第２のステップのデジタルリセット処理は、非剛体である。
【0064】
定義
本発明において、以下の用語は以下の意味を有する。
－ 「３Ｄセンサ」又は「３Ｄカメラ」又は「深度カメラ」又は「３Ｄスキャナ」は、実際のシーンの三次元のトポロジーデータを取得するためのシステムである３Ｄセンサを指す。これらのトポロジーデータは、点群及び／又は深度マップの形態で記録される。
これらのトポロジーデータは、例えば、
・超音波又は光などの波の伝播時間の測定に基づく技術（ＬＩＤＡＲ、飛行時間）
・２つ以上のレンズを備えたカメラの一種であり、レンズごとに個別の画像センサ又はフィルムフレームを有する、ステレオカメラ又はセンサ。これにより、カメラは人間の両眼視をシミュレートすることができ、したがって、三次元画像を取り込むことができる
・オブジェクト上に光のパターンを投影し、オブジェクト上のパターンの変形を観察する、構造化光３Ｄスキャナなどの光の変形に基づく技術。構造化光３Ｄスキャナの利点は速度と精度である。構造化光スキャナは、一度に一点をスキャンするのではなく、一度に複数の点又は視野全体をスキャンする。ほんの一瞬で視野全体をスキャンすることで、動きによる歪みの問題が軽減又は排除される
・手持ち式レーザ又は飛行時間型３Ｄレーザスキャナなどの、レーザ技術を用いてサンプル又は表面をスキャンするためのレーザスキャンに基づく技術
といった取得技術により取得することができる。
これらの用語は、ＲＧＢ－Ｄ、カラー、マルチスペクトル、又はサーマルカメラを指す場合もある。
本発明において、以下の用語は以下の意味を有する。
－ 「３Ｄセンサ」又は「３Ｄカメラ」又は「深度カメラ」又は「３Ｄスキャナ」は、実際のシーンの三次元のトポロジーデータを取得するためのシステムである３Ｄセンサを指す。これらのトポロジーデータは、点群及び／又は深度マップの形態で記録される。
これらのトポロジーデータは、例えば、
・超音波又は光などの波の伝播時間の測定に基づく技術（ＬＩＤＡＲ、飛行時間）
・２つ以上のレンズを備えたカメラの一種であり、レンズごとに個別の画像センサ又はフィルムフレームを有する、ステレオカメラ又はセンサ。これにより、カメラは人間の両眼視をシミュレートすることができ、したがって、三次元画像を取り込むことができる
・オブジェクト上に光のパターンを投影し、オブジェクト上のパターンの変形を観察する、構造化光３Ｄスキャナなどの光の変形に基づく技術。構造化光３Ｄスキャナの利点は速度と精度である。構造化光スキャナは、一度に一点をスキャンするのではなく、一度に複数の点又は視野全体をスキャンする。ほんの一瞬で視野全体をスキャンすることで、動きによる歪みの問題が軽減又は排除される
・手持ち式レーザ又は飛行時間型３Ｄレーザスキャナなどの、レーザ技術を用いてサンプル又は表面をスキャンするためのレーザスキャンに基づく技術
といった取得技術により取得することができる。
これらの用語は、ＲＧＢ－Ｄ、カラー、マルチスペクトル、又はサーマルカメラを指す場合もある。
【0065】
－ 「参照」は、１つ以上の数値又は座標を使用してユークリッド空間などの多様体上の点又は他の幾何学的要素の位置を一意に決定する座標系を指す。
【0066】
－ コンピュータビジョンにおける「追跡」は、ストリームの連続する画像間のオブジェクトの位置及び空間的向きを追跡する動作を指す。マーカに基づく追跡は、関心あるオブジェクトに付けられたマーカに関連付けられた位置特定装置の使用に依存する。マーカなしの追跡は、関心あるオブジェクト自体から視覚的特徴を抽出し、フレームごとにそれらを照合することに依存する。
【0067】
－ 「位置合わせ」又は「照合」又は「ポーズ推定」は、異なるデータセットを１つの座標系に変換するプロセスを指す。
【0068】
－ 「三次元デジタルモデル」は、三次元の仮想オブジェクトである三次元デジタル（又は仮想）モデルを指す。モデルの位置及び向きは、関連するデジタル参照でわかる。
【0069】
－ 手術との関連での「計画」は、様々な手術段階で行われる動作のリストを指す。この手術計画は、手術の標的である患者の骨の三次元デジタルモデルを使用する手術の前に実行されるシミュレーションプログラムによって得られる。例えば、膝関節形成術の場合、術前計画は、大腿骨及び脛骨の三次元モデルに関連して機械加工面及び穴あけ軸のそれぞれを定義することからなる。
【0070】
－ 「術前データ」は、医用イメージング（ＣＴ、ＭＲＩ、ＰＥＴなど）によって得られた患者の画像（又はスライス）を指す。患者の三次元モデルは、各画像のセグメント化処理と、それに続く画像間の補間によって得られる。
【0071】
－ 「術中データ」は、手術中に取得されるデータを指す。これは、医用イメージング（蛍光透視法、超音波など）、三次元データ、色及び温度の情報、固有受容センサからの情報、外科用器具に関する力のフィードバックなどを含み得る。
【0072】
－ 「機械加工」は、材料を除去するための切断又は他の方法の機械的プロセスを指す。機械加工の目的は、事前定義されたモデルに従って生の元の状態から最終状態に移行するために、仕上げられる要素のすべての表面の寸法、精度、幾何学的形状、及び表面状態を修正することである。
【0073】
詳細な説明
以下の詳細な説明は、図面と併せて読むとよりよく理解される。説明の目的で、システム及び方法によって実施されるステップが好ましい実施形態で示されている。しかしながら、本発明は、示される正確な配置、構造、特徴、実施形態、及び態様に限定されないことを理解されたい。図面は正確な縮尺率ではなく、特許請求の範囲を図示した実施形態に限定することを意図していない。したがって、添付の特許請求の範囲に記載されている特徴の後に参照符号がついている場合、このような符号は、請求項の了解度を高める目的でのみ含まれ、請求項の範囲を制限するものではないことを理解されたい。
以下の詳細な説明は、図面と併せて読むとよりよく理解される。説明の目的で、システム及び方法によって実施されるステップが好ましい実施形態で示されている。しかしながら、本発明は、示される正確な配置、構造、特徴、実施形態、及び態様に限定されないことを理解されたい。図面は正確な縮尺率ではなく、特許請求の範囲を図示した実施形態に限定することを意図していない。したがって、添付の特許請求の範囲に記載されている特徴の後に参照符号がついている場合、このような符号は、請求項の了解度を高める目的でのみ含まれ、請求項の範囲を制限するものではないことを理解されたい。
【0074】
本発明の特徴及び利点は、システムの実施形態の以下の説明から明らかとなり、この説明は、単なる例として添付図を参照してなされる。
【図面の簡単な説明】
【0075】
【図1】運動連鎖が少なくとも１つの機械的基準を含む実施形態に係る、本発明で定義された異なる参照システムの概略図である。
【図1B】運動連鎖が少なくとも１つの機械的基準を含む実施形態に係る、本発明で定義された異なる参照システムの概略図である。
【図2】標的参照ＲＣと仮想参照ＲＰを位置合わせして、ＲＣに対する取得参照ＲＡの位置及び向きを定義するＣＴＡ変換を決定するプロセスのステップの概略図を示す。ＣＴＡは、回転行列ＣＲＡと変換ベクトルＣＴＡで構成される同次変換行列である。これは、取得参照ＲＡに対する標的参照ＲＣの位置を定義する。
【図3】取得参照ＲＡに対する機械的基準参照ＲＭの位置及び空間的向きが決定される（変換行列ＭＴＡ）、本発明の一実施形態に係る第４のステップを示す。ＭＴＡは、回転行列ＭＲＡと変換ベクトルＭＴＡで構成される同次変換行列である。これは、取得参照ＲＡに対する機械的基準参照ＲＭの位置及び空間的向きを定義する。
【図4】
ＡＴＣ（逆ＣＴＡ行列）とＭＴＡ行列の構成によって計算される、機械的基準と標的との間でのＣＴＭ変換を表す。
【図5】プロセスの第６のステップに対応する。機械的基準と外科用器具を結合する運動連鎖から決定される変換ＯＴＭを変換ＣＴＭと組み合わせて、ＣＴＯ（標的参照及び計画参照での外科用器具の位置）を計算する。
【図6】機械的基準が外科用器具に運動学的に結合される一実施形態に係る、システムと運動連鎖がどのように構築され得るかの例を示す。ここでは画面６０で表されるヒューマンマシンインターフェースは、個々のプロセスステップに関する視覚的フィードバックを提供する。
【図7】機械的基準が外科用器具に運動学的に結合される一実施形態に係る、システムと運動連鎖がどのように構築され得るかの例を示す。ここでは画面６０で表されるヒューマンマシンインターフェースは、個々のプロセスステップに関する視覚的フィードバックを提供する。
【図8】人工膝関節全置換術における大腿骨膝インプラントＩの埋め込みを考慮した、大腿骨Ｆ及び脛骨Ｔのいくつかの機械加工面Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６を示す。
【図9】本発明のシステム、及び、一端にある外科用器具と、患者に対して既知の位置を有する３Ｄイメージングセンサとを備える運動連鎖の例を示す。
【図10】仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと標的参照ＲＣとの間での変換ＣＴＡを計算するステップを概略的に表す。
【図11】外科用器具参照ＲＯと標的参照ＲＣとの間での変換ＣＴＯを計算するステップを概略的に表す。
【図12】少なくとも１つの３Ｄイメージングセンサが運動連鎖上に固定される実施形態の略図である。この図には、変換ＣＴＯを計算するのに用いられる、外科用器具参照ＲＯと３Ｄイメージングセンサ取得参照ＲＡとの間での変換ＡＴＯ、及び取得参照ＲＡと標的参照ＲＣとの間での変換ＣＴＡも示されている。
【発明を実施するための形態】
【0076】
様々な実施形態を説明及び図示しているが、詳細な説明はそれに限定されると解釈されるべきではない。請求項によって定義される本開示の真の精神及び範囲から逸脱することなく、当業者は実施形態に様々な修正を加えることができるであろう。
【0077】
本発明の目的は、途切れることなくリアルタイムで、術前計画データを手術室で行われる実際の手技と照合することである。
【0078】
術前手術計画は、特に標的骨要素を含む患者の少なくとも一部の３Ｄデジタルモデルと、患者の標的骨要素に対する機械加工動作を特徴付ける一連の順序付けられた幾何学的式を含む。好ましい実施形態において、術前手術計画は、各外科的動作に対応する機械加工計画を含む。術前手術計画という用語では、手術計画の外科的動作は、手術前（術前）、又は標的骨要素が露出されるが標的骨に対する外科的動作の開始前の手術の第１段階にある手術中に得られた計画データを使用して定義されることが理解される。
【0079】
標的のデジタルモデルは、手術の前に取得された医用画像から生成され得る。これは、医用画像に表示されない要素、例えば、ＣＴスキャン画像に表示されない軟骨を考慮に入れるように修正することができる。この場合、修正は、トレーニングデータ又は生体力学的シミュレーションデータから生成される。デジタルモデルは、統計モデル又は計算器と、術前の医用画像に関連付けられている又は関連付けられていない患者データから生成することもできる。加えて、デジタルモデルは、手術中に取得されたデータを考慮して適合させることができる。
【0080】
術前手術計画を決定するための計画データは、手術とは完全に独立している可能性がある場所、時間、及びイメージング手段に対する患者の位置で取得される。しかしながら、デジタル計画データの関数としての実際の機械加工ツールの移動を制御できるようにするために、デジタル計画モデルのデジタルデータは物理的現実に近づける必要がある。
【0081】
説明の残りの部分では、以下の参照が考慮される：
－ デジタル計画画像の計画又は仮想参照ＲＰと、コンピュータのメモリに格納された手術計画の外科的動作。標的のデジタルモデルでの機械加工される骨要素、説明している例では大腿骨１０は、この仮想参照ＲＰで既知の位置及び空間的向きを有する。手術計画データと外科的動作（例えば、切断面１１又は穴あけ軸の位置）は同じ参照ＲＰでわかる
－ 標的参照ＲＣは、機械加工される骨要素（すなわち、標的）、この場合、大腿骨頭の表面の物理座標系に対応する
－ 外科用器具参照ＲＯは、外科用器具２０の物理座標系に対応する
－ 取得参照ＲＡは、手術中に取得されたデータが表される３Ｄイメージングセンサ３０の座標系に対応する
－ 機械的参照ＲＭは、運動連鎖の要素を通じて外科用器具２０に運動学的に結合された機械的基準４０の物理座標系に対応する。機械的基準４０に対する外科用器具２０の位置及び空間的向きは、機械的基準４０に対する外科用器具２０の角変位及び／又は線形変位を表す信号を提供する運動連鎖のセンサでわかる。
－ デジタル計画画像の計画又は仮想参照ＲＰと、コンピュータのメモリに格納された手術計画の外科的動作。標的のデジタルモデルでの機械加工される骨要素、説明している例では大腿骨１０は、この仮想参照ＲＰで既知の位置及び空間的向きを有する。手術計画データと外科的動作（例えば、切断面１１又は穴あけ軸の位置）は同じ参照ＲＰでわかる
－ 標的参照ＲＣは、機械加工される骨要素（すなわち、標的）、この場合、大腿骨頭の表面の物理座標系に対応する
－ 外科用器具参照ＲＯは、外科用器具２０の物理座標系に対応する
－ 取得参照ＲＡは、手術中に取得されたデータが表される３Ｄイメージングセンサ３０の座標系に対応する
－ 機械的参照ＲＭは、運動連鎖の要素を通じて外科用器具２０に運動学的に結合された機械的基準４０の物理座標系に対応する。機械的基準４０に対する外科用器具２０の位置及び空間的向きは、機械的基準４０に対する外科用器具２０の角変位及び／又は線形変位を表す信号を提供する運動連鎖のセンサでわかる。
【0082】
標的骨１０、運動連鎖７０、外科用器具２０、３Ｄイメージングセンサ３０、及びそれらのそれぞれの参照の位置は、図９に表されている。
【0083】
本発明の方法は、運動連鎖７０に移動可能に固定された外科用器具２０を正確にガイドすることを目的としている。前記外科用器具２０は、例えば、機械加工ツールであり得る。
【0084】
本発明において、運動連鎖という用語は、動きを所望の方法で制約する又は提供するように関節により接続された剛性要素の集合を指す。
【0085】
一実施形態によれば、前記運動連鎖は、関節により接続された複数の剛性要素を含む変形可能構造からなる。
【0086】
本発明によれば、運動連鎖は、前記運動連鎖の空間構成をリアルタイムで追跡するように構成された少なくとも１つのセンサを有するセンサユニットを備える。
【0087】
センサユニットのセンサは、加速度計及び／又はジャイロスコープを含むエンコーダ又は慣性ユニットであり得る。
【0088】
一実施形態によれば、前記運動連鎖は、その要素に加えられる力を測定するためのセンサをさらに備える。
【0089】
一実施形態では、本発明の方法の第１のステップは、少なくとも１つの３Ｄイメージングセンサ３０から取得された少なくとも１つの３Ｄ画像を受信することを含み、３Ｄ画像は、患者の標的解剖学的構造１０の少なくとも一部を含むように取得される。
【0090】
本発明の３Ｄイメージングセンサ３０から得られる３Ｄ画像は、画像で取得されたシーンの各点と３Ｄイメージングセンサ３０との間の距離の情報を含む。したがって、３Ｄイメージングセンサ３０によって得られた生３Ｄ画像は、いわゆる深度マップ、或いはグレーレベル画像又はＲＧＢ画像を表す二次元アレイの形態で提示され得る深度画像であり、アレイのサイズは、カメラの種類とセンサの寸法に依存する。
【0091】
一実施形態によれば、３Ｄ画像の取得は、ステレオビジョン又は構造化光による取得を実行するために少なくとも２つのカメラとプロジェクタを使用して行われる。
【0092】
３Ｄイメージングセンサの使用により、有利なことに、患者と接触することなく（触診技術の場合）１つの画像ですべての手術野を取り込むことができるため、骨表面の形態に関する情報を簡単且つ迅速に得ることができる。
【0093】
一実施形態によれば、方法は、ノイズリダクションアルゴリズムを実装する前処理ステップをさらに含む。
【0094】
一実施形態によれば、少なくとも１つの３Ｄイメージングセンサ３０は、手術室で標的１０に対して固定の位置を有する。この実施形態では、３Ｄイメージングセンサ３０は、運動連鎖から独立している（すなわち、３Ｄイメージングセンサは、運動連鎖に固定されない）。一例では、３Ｄイメージングセンサ３０は、手術室の壁に固定されるか、又は三脚に配置されているか、又は関節式アームによって固定される。３Ｄイメージングセンサ３０が複数の３Ｄ画像を取り込むように変位された場合、３Ｄイメージングセンサ３０に固定された慣性計測装置（ＩＭＵ）が、その相対運動を測定し、動きの軌道を判定することができる。
【0095】
代替的な実施形態によれば、図１２に例示するように少なくとも１つの３Ｄイメージングセンサ３０が運動連鎖に固定される。これにより、有利なことに、３Ｄイメージングセンサ３０に対する外科用器具２０の相対位置に、手術中に常時アクセスすることができる。
【0096】
少なくとも１つの３Ｄイメージングセンサ３０が運動連鎖７０に固定されるとき、３Ｄイメージングセンサは、既知の軌道に沿って移動し、この軌道に沿って複数の３Ｄ画像を取得することができる。
【0097】
一実施形態によれば、第１のステップはさらに、熱画像、超音波画像、マルチスペクトル画像、顕微鏡スケールの画像、及び／又はカラー画像を受信することを含む。
【0098】
一実施形態によれば、方法は、コンピュータ可読記憶媒体、サーバなどから、外科用器具２０を使用して手術中に治療される標的骨のデジタルモデルを検索することを含む。前記デジタルモデルは、標的骨１０の三次元仮想表現である。
【0099】
一実施形態では、コンピュータ断層撮影又はＭＲＩシステムを用いて取得されたイメージングデータを使用して標的の三次元デジタルモデルが生成される。Ｘ線、蛍光透視法、超音波、又は他のイメージング手段などの他のイメージング技術も同様に用いられ得る。この場合、三次元デジタルモデルは手術前に得られる。
【0100】
一実施形態では、標的の三次元デジタルモデルは、標的を含む２Ｄ Ｘ線撮影、標的の統計的形状モデル、及び／又は３Ｄイメージングセンサ３０によって術中に取得された３Ｄ画像を使用して生成される。
【0101】
この実施形態により、有利なことに、３Ｄイメージングデータ（すなわち、コンピュータ断層撮影又はＭＲＩ）が入手できないときでさえも、三次元モデルを生成することが可能となる。
【0102】
一実施形態では、標的の三次元デジタルモデルは、測定ノイズ又は軟骨の存在をシミュレートするべく修正される。前記修正は、トレーニングデータ又は生体力学的シミュレーションデータから計算され得る。
【0103】
図２及び図１０に例示した一実施形態によれば、方法のさらなるステップは、標的のデジタルモデルと３Ｄ画像に含まれる標的１０の少なくとも一部を位置合わせすることにより、仮想参照ＲＰと標的参照ＲＣとの間での変換ＣＴＰ、及び３Ｄイメージングセンサ取得参照ＲＡと標的参照ＲＣとの間での変換ＣＴＡを計算することを含む。
【0104】
３Ｄ位置合わせは、重なり合う領域が可能な限り一致するような、同じオブジェクトの２つの３Ｄモデル間の変換を見つけ出すことを含む。これは、術中画像の各点を術前モデルでのその最近隣に関連付ける照合ステップと、術中モデルを推定された一致に最もよく適合するように変換する変換推定ステップを交互に行うことにより、２つのモデルを繰り返し位置合わせするアルゴリズムによって行うことができる。このプロセスは、術中モデルと術前モデルの各点間の距離が最小化され、閾値を下回るまで繰り返される。
【0105】
このステップにより、有利なことに、仮想参照ＲＰを手術室での標的参照ＲＣに位置合わせする変換を知ることができる。さらに、骨のデジタルモデルを使用し、それを手術野内の標的の少なくとも１つの３Ｄ画像と位置合わせすることにより、取り患者に付けられた外部マーカとは無関係に、仮想参照ＲＰと標的参照ＲＣとの間での変換を知ることができる。
【0106】
一実施形態では、標的のデジタルモデルと３Ｄ画像に含まれる標的の少なくとも一部との位置合わせは、剛体変換から得られる。
【0107】
代替的に、標的のデジタルモデルと３Ｄ画像に含まれる標的の少なくとも一部との位置合わせは、非剛体変換であり得る。
【0108】
有利なことに、この実施形態は、事前に取得された画像から得られた標的のデジタルモデルの形状を、手術中に取得された３Ｄ画像に適合させることを可能にする。
【0109】
一実施形態によれば、変換ＣＴＡを計算するステップは、標的の少なくとも一部を含む３Ｄ画像内の関心領域を定義する第１のステップを含む。
【0110】
一実施形態によれば、関心領域を定義するステップは、セグメント化アルゴリズムによる前記関心領域の自動検出を含む。
【0111】
代替的に、オペレータが、方法への入力として、標的の関心領域の輪郭の手動描写を含む情報を提供することができる。
【0112】
次いで、この標的を含む関心領域は、ＣＴＡを決定するべく標的のデジタルモデルと位置合わせされる。
【0113】
一実施形態では、方法は、標的のデジタルモデルに含まれる各点が標的参照ＲＣで既知の位置を有するように前記標的のデジタルモデルを標的参照ＲＣに位置合わせするべく変換ＣＴＰを適用するステップをさらに含む。このステップにより、有利なことに、標的のデジタルモデル及び手術計画の動作に関連付けられる仮想参照を手術室での標的参照ＲＣに位置合わせすることができる。
【0114】
図１１に例示した一実施形態では、この方法は、外科用器具参照ＲＯと標的参照ＲＣとの間での変換ＣＴＯを計算するステップを含む。
【0115】
次いで、この方法は、標的参照ＲＣでの外科用器具２０の位置及び空間的向きを知るために変換ＣＴＯを外科用器具参照ＲＯに適用するステップを実施することができる。この最後のステップにより、仮想参照ＲＰと標的参照ＲＣとの両方での前記外科用器具２０の位置及び空間的向きがわかり、仮想参照ＲＰで計画された動作が標的参照ＲＣで再現される。
【0116】
仮想参照ＲＰと標的参照ＲＣとの両方での前記外科用器具２０の位置及び空間的向きがわかっているとき、前記外科用器具２０を随伴する運動連鎖を利用して、最初の手術計画で計画された動作の実行をガイドすることが可能である。しかしながら、これらの動作の実行中に、例えば医療スタッフのメンバーのうちの１人による標的の移動によって、標的の空間的向き及び位置が変更される場合がある。これは、仮想参照ＲＰと標的参照ＲＣとの間の不一致をもたらし、したがって、仮想参照ＲＰを参照して計画された動作を実行する外科用器具２０が間違った位置に存在することになるであろう。
【0117】
この望ましくない状況を防ぐために、前記外科用器具２０に対する標的１０の移動を追跡することができ、したがって、標的の位置及び空間的向きの逸脱が検出されるときにはいつでも、仮想参照ＲＰ及び標的参照ＲＣからの計画された動作の位置合わせが前記逸脱に関して即座に補正される。
【0118】
図１２に示すように３Ｄイメージングセンサ３０が運動連鎖７０に固定される一実施形態によれば、方法は、外科用器具参照ＲＯと標的参照ＲＣとの間での変換ＣＴＯを得るべく変換ＡＴＯを変換ＣＴＡと組み合わせることによって、運動連鎖のセンサユニットから得られたデータから、外科用器具参照ＲＯと３Ｄイメージングセンサ取得参照ＲＡとの間での変換ＡＴＯを計算するように構成される。
【0119】
図１２に示すように３Ｄイメージングセンサ３０が運動連鎖７０に固定されている場合、一実施形態によれば、３Ｄイメージングセンサ３０に対する標的１０の連続的なポーズ（すなわち、空間的向き及び位置）推定のために３Ｄイメージングセンサ３０によって取り込まれたライブ３Ｄ画像を入力として用いる視覚的追跡アルゴリズムを通じて、前記外科用器具２０に対する標的１０の移動が計算される。３Ｄイメージングセンサ３０と標的１０の相対的な動きは、フレーム間の位置合わせを行うことによって、すなわち、現在の３Ｄ画像（タイムステップｉ）を前の画像（タイムステップｉ－１）と位置合わせすることによって計算される。３Ｄイメージングセンサ３０は外科用器具２０に機械的に結合されているので、視覚的追跡から推定された相対的な動きは、運動連鎖７０のセンサユニットから計算された相対的な動きと一致するはずである。そうでない場合は標的１０が移動しており、逸脱を補正するために仮想参照ＲＰ及び標的参照ＲＣからの計画された動作の位置合わせ（本発明の方法の最初の３つのステップ）を再度実行する必要があることを意味する。
【0120】
運動連鎖７０が３Ｄイメージングセンサ３０から独立している代替的な実施形態によれば、運動連鎖７０は、標的解剖学的構造１０にしっかりと固定された少なくとも１つの機械的基準４０を備える。図１及び図１Ｂに表されたこの実施形態によれば、少なくとも１つの３Ｄ画像は、機械的基準の少なくとも一部を含んでいなければならない。
【0121】
図３に示したこの実施形態によれば、方法は、
－ 運動連鎖７０に含まれるセンサユニットから得られたデータを使用して外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算するステップと、
－ 機械的基準のデジタルモデルを少なくとも１つの３Ｄ画像に含まれる機械的基準の少なくとも一部と照合することにより、機械的基準参照ＲＭと取得参照ＲＡとの間での変換ＭＴＡを計算するステップと、
をさらに含み、これにより、取得参照ＲＡ、機械的基準参照ＲＭ、及び標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから変換ＣＴＯが得られる。
－ 運動連鎖７０に含まれるセンサユニットから得られたデータを使用して外科用器具参照ＲＯと機械的基準参照ＲＭとの間での変換ＯＴＭを計算するステップと、
－ 機械的基準のデジタルモデルを少なくとも１つの３Ｄ画像に含まれる機械的基準の少なくとも一部と照合することにより、機械的基準参照ＲＭと取得参照ＲＡとの間での変換ＭＴＡを計算するステップと、
をさらに含み、これにより、取得参照ＲＡ、機械的基準参照ＲＭ、及び標的参照ＲＣ間でのＯＴＭ変換、ＭＴＡ変換、及びＣＴＡ変換の組み合わせから変換ＣＴＯが得られる。
【0122】
図１、図１Ｂ、及び図７に示すように機械的基準４０が標的１０に固定されるとき、一実施形態によれば、前記外科用器具２０に対する標的１０の移動が運動連鎖７０のセンサユニットによって追跡され、したがって、標的１０の位置及び空間的向きの逸脱が検出されるときにはいつでも、仮想参照ＲＰ及び標的参照ＲＣからの計画された動作の位置合わせが前記逸脱に関して即座に補正される。実際、機械的基準４０は、運動連鎖７０の一部でありながら標的解剖学的構造１０にしっかりと固定されるので、センサユニットから取得された情報を用いてすべての前記外科用器具２０に対する標的１０の移動を検出することが可能である。この補正は、標的のデジタルモデルに含まれる各点が機械的基準を有する新しい標的参照ＲＣで既知の位置を有するように、新しい標的参照ＲＣと仮想参照ＲＰとの間での補正変換ＣｎｅｗＴＰを計算することで構成される。
【0123】
少なくとも１つの機械的基準４０を備える運動連鎖７０が用いられるときに実施される方法のステップに関する特定の実施形態が、以下の段落で詳細に説明されている。
【0124】
例として、外科用器具２０は、機械加工される骨に機械的に固定された把持部又はねじなどの機械的基準に接続されたツールホルダと関連付けられる。このツール支持体と機械的基準との機械的接続は、少なくとも２つの要素、例えば、複数の関節要素を含む関節アセンブリと、関節要素の相対的な空間的向き及び位置の関数としての信号をリアルタイムで提供するように構成された少なくとも１つのセンサを有するセンサユニットを含む変形可能構造を有する運動連鎖によって提供される。したがって、このセンサユニットは、骨に固定された要素の固定点に対する外科用器具の能動端のスペース内での位置をリアルタイムで判定することを可能にするデジタル情報を提供する。
【0125】
さらに、術中データ収集と、それらをデジタル手術計画と照合することにより、機械加工される骨要素の表面に対する、骨に固定された機械的基準の位置がわかる。例えば、機械加工ツールのガイダンス、その移動の制御、又は手術計画中の所定の位置に対する位置の制御を保証するべく、既知の軌道を仮想参照でのシミュレーションによって実世界に置き換えることができる。
【0126】
第１のステップ
この目的のために、３Ｄ画像が、３Ｄイメージングセンサ３０、例えば、カメラによって取得され、その視野は、機械加工される表面１０（例えば、大腿骨）の少なくとも一部と機械的基準４０の一部を含む動作領域の一部を包含する。取得の結果は画面６０上に表示することができる。
この目的のために、３Ｄ画像が、３Ｄイメージングセンサ３０、例えば、カメラによって取得され、その視野は、機械加工される表面１０（例えば、大腿骨）の少なくとも一部と機械的基準４０の一部を含む動作領域の一部を包含する。取得の結果は画面６０上に表示することができる。
【0127】
取得は、タイプ（ｘ，ｙ，ｚ；ａ）の三次元画像又は深度マップ、点群、色又は強度などを指定するパラメータを提供する、３Ｄカメラ、アクティブステレオビジョンで画像を取得するための一対のカメラ、３Ｄスキャナ、又はＬＩＤＡＲで行うことができる。
【0128】
手術シーンの３Ｄ画像の取得
テクスチャ加工された３Ｄデジタル化方策は、２つ以上の校正されたカメラとプロジェクタを使用して、ステレオビジョン取得及び位相シフト構造化光取得を実行し、手術領域の正確な３Ｄ再構築を実現する。提案した方策は、時空間超解像技術スキームを非剛体３Ｄ位置合わせと統合して、３Ｄ情報を補正し、スキャンビューを完成させる。
テクスチャ加工された３Ｄデジタル化方策は、２つ以上の校正されたカメラとプロジェクタを使用して、ステレオビジョン取得及び位相シフト構造化光取得を実行し、手術領域の正確な３Ｄ再構築を実現する。提案した方策は、時空間超解像技術スキームを非剛体３Ｄ位置合わせと統合して、３Ｄ情報を補正し、スキャンビューを完成させる。
【0129】
構造化光は、時間多重化によってエンコードされる。位相が反対の２つの正弦波パターンと、第３のホワイトパターンが手術シーン上連続して投影される。最初に２Ｄサンプリングが各カメラに個別に適用され、フリンジ交点が特定される。次いで、得られたプリミティブと光学三角測量とのステレオ照合により、カメラの各ペアごとにシーンの非高密度３Ｄモデルが推定される。このモデルの空間分解能は、使用するパターンを形成するフリンジの数に依存する。次いで、使用するカメラとプロジェクタのペアごとに個別に、フリンジの内部に存在する点の位相情報を推定することによって、高密度３Ｄモデルが得られる。従来の位相シフト構造化光に基づく手法は、カメラとプロジェクタのオフライン校正及び位相巻き戻しステップを必要とする。
【0130】
３Ｄスキャンは、主に、掩蔽、位置の変動、又はさらには取得面上の光の反射によって引き起こされる歪み及びアーチファクトを生じることがあるため、時空超解像技術は、観察されたシーンの３Ｄモデルを完成させる及び補正することを可能にする。したがって、一方ではすべてのカメラペアによって提供される異なる３Ｄモデルを使用し、他方では時間ｔ－１で計算された３Ｄフレームを使用することにより、時間ｔで補正された高解像度３Ｄモデルが得られる。時空間超解像技術は、最初の３Ｄ照合ステップと、それに続くマージ及びノイズ除去ステップによって提供される。非剛体３Ｄ照合手法により、非剛体の観察領域の歪み又は変形の可能性に対処することができる。得られた３Ｄ点群のメッシュ及びテクスチャめっきにより、瞬間ｔのテクスチャ３Ｄフレームを完成させることができる。
【0131】
この第１のステップの結果は、骨５０の可視部と基準４０の可視部との両方を含む領域の３Ｄ画像を、それぞれ取得参照ＲＡでの光度、色、及び座標（ｘ，ｙ，ｚ）によって定義される点群の形態でコンピュータのメモリに記録することである。
【0132】
さらなるイメージングモダリティ
特定の方策は、同じ取得参照ＲＡで、又はＲＡでさらなる情報を有するように校正された参照で、異なる性質のさらなる画像を取得することである。さらなるモダリティの校正には、３Ｄイメージングセンサ３０とさらなるモダリティとの両方によって異なるビュー角度から見ることができる幾何学的テストパターンを使用する必要がある。結果として得られる画像ペアは、校正行列を導出するべく処理及び再スケーリングされる。
特定の方策は、同じ取得参照ＲＡで、又はＲＡでさらなる情報を有するように校正された参照で、異なる性質のさらなる画像を取得することである。さらなるモダリティの校正には、３Ｄイメージングセンサ３０とさらなるモダリティとの両方によって異なるビュー角度から見ることができる幾何学的テストパターンを使用する必要がある。結果として得られる画像ペアは、校正行列を導出するべく処理及び再スケーリングされる。
【0133】
さらなる画像は、例えば、３Ｄイメージングセンサ３０の向き及び距離に近い向き及び距離で手術の現場を取り込むサーマルカメラによって生成された熱画像であり得る。この画像により、有利なことに、患者の組織と外科用器具を区別することがより容易になる。
【0134】
これは、カラーカメラ、超音波プローブ、又はマルチスペクトルセンサによって取得することもできる。
【0135】
ステップ２：関心ある領域の抽出
以下の処理ステップは、取得ステップ中に記録された少なくとも１つの３Ｄ画像を利用して、標的１０（大腿骨）に対応する画像の部分と、機械的基準４０に対応する画像の部分を分離することからなる。
以下の処理ステップは、取得ステップ中に記録された少なくとも１つの３Ｄ画像を利用して、標的１０（大腿骨）に対応する画像の部分と、機械的基準４０に対応する画像の部分を分離することからなる。
【0136】
これを行うために、シーン全体の前記３Ｄデジタル画像、及び存在する場合は前記さらなる画像によって得られた画像が、深度マップ又は点群のサブセットを特徴付けるためのアルゴリズムによって処理される。
【0137】
この処理の結果は、
－ ３Ｄ画像のポイントの第１のサブセットに対応する機械的基準に関連付けられた第１の指標（ラベル）、
－ ３Ｄ画像のポイントの第２のサブセットに対応する標的（大腿骨）に関連付けられた第２の指標（ラベル）、
－ 背景（画像の関連性のないサブセット）の第３の指標（ラベル）
でのセグメント化又は分類となる。
－ ３Ｄ画像のポイントの第１のサブセットに対応する機械的基準に関連付けられた第１の指標（ラベル）、
－ ３Ｄ画像のポイントの第２のサブセットに対応する標的（大腿骨）に関連付けられた第２の指標（ラベル）、
－ 背景（画像の関連性のないサブセット）の第３の指標（ラベル）
でのセグメント化又は分類となる。
【0138】
この処理ステップは、連続する輪郭、色によって、及び代替的に訓練された分類器を使用して、又は人工知能によって、又は取得システムに対する機械的基準及び標的の幾何学的位置を事前に考慮に入れることによって実行される。
【0139】
第３及び第４のステップで適用された照合アルゴリズムが外れ値に対して十分に堅牢である場合、この関心ある領域を抽出するステップは随意的なものである。
【0140】
第３のステップ：標的に結合されている物理座標系を取得基準座標系と照合する。
第３のステップは、
－ 前のステップで決定された、標的に関連付けられた三次元デジタル画像のサブセットと、
－ 計画データと共に記録された標的の三次元デジタルモデルと、
の間での位置合わせ処理によって、前記物理的標的に関連付けられた標的参照ＲＣを取得参照ＲＡと照合することからなる。
第３のステップは、
－ 前のステップで決定された、標的に関連付けられた三次元デジタル画像のサブセットと、
－ 計画データと共に記録された標的の三次元デジタルモデルと、
の間での位置合わせ処理によって、前記物理的標的に関連付けられた標的参照ＲＣを取得参照ＲＡと照合することからなる。
【0141】
この処理は、図２に示すように、ＣＴＡ変換を決定し、標的参照ＲＣに対する取得参照ＲＡの位置及び向きを導出することからなる。
【0142】
この処理は、位置合わせ技術を用いて、同じ性質の２つの幾何学的構造に共通する基本的変形を見つけ出し、それらを結合できるようにする、すなわち、空間変換を適用することによって、第２の構造を第１の構造から得られたものとして記述しようとするものである。
【0143】
取り込みが幾何学的であるか、或いは点又は強い湾曲の線であるか、或いは解剖学的であるかどうかにかかわらず、画像の不可欠な情報を取り込む限り、変形が誘起される特徴的な点の事前抽出、又は元の画像から導出された幾何学的構造、点、曲線の一部、又はセグメント化によって得られた表面の利用に基づく前記照合技術が当業者には公知である。
【0144】
適切な技術は、重なり合う領域が可能な限り一致するような、２つのデータセット間の最適な変換を推定するプロセスによるポイント・ツー・ポイント位置合わせに基づいている。これは、術中画像の各点を術前モデルでのその最近隣に関連付ける照合ステップと、術中モデルを推定された一致に最良適合するように変換する変換推定ステップを交互に行うことにより、２つのモデルを繰り返し位置合わせするアルゴリズムによって行うことができる。このプロセスは、術中モデル及び術前モデルの各点間の距離が最小化され、閾値を下回るまで繰り返される。
【0145】
幾何学的変換が回転と平行移動を含む場合、位置合わせは剛体であると言える。幾何学的変換がより高次である（多項式、スプラインなど）の場合又は変換がパラメトリックではない場合、位置合わせは非剛体であると言える。
【0146】
本発明に関連して、剛体位置合わせは、一般に、標的参照から仮想参照ＲＰへの変換行列を計算するのに十分である。
【0147】
第４のステップ：機械的基準に結合された物理座標系の、取得座標系へのマッピング。
第４のステップは、
－ 前記機械的基準の３Ｄ画像と、
－ 前記機械的基準の三次元デジタルモデルと、
の間での位置合わせ処理によって、前記機械的基準に関連付けられた機械的基準参照ＲＭを取得参照ＲＡと照合することからなる。
第４のステップは、
－ 前記機械的基準の３Ｄ画像と、
－ 前記機械的基準の三次元デジタルモデルと、
の間での位置合わせ処理によって、前記機械的基準に関連付けられた機械的基準参照ＲＭを取得参照ＲＡと照合することからなる。
【0148】
同じタイプの剛体位置合わせ処理が、機械的基準に対応する３Ｄ画像ポイントのサブセットと、コンピュータメモリ内のそのデジタル表現を使用して適用される。
【0149】
図３に示したこの処理の結果は、ＭＴＡ変換を決定して、取得参照ＲＡに対する機械的参照ＲＭの位置及び向きを導出するのに用いられる。
【0150】
第５のステップ：標的参照ＲＣと機械的参照ＲＭとの間での変換
図４に示されたプロセスの第５のステップは、標的参照ＲＣと機械的参照ＲＭとの間での変換を計算することからなる。前の２つのステップのおかげでＣＴＡ及びＭＴＡ行列（図２及び図３に示される）がわかるので、標的参照ＲＣと機械的参照ＲＭの関係を表す変換行列ＭＴＣを推論することができる。
図４に示されたプロセスの第５のステップは、標的参照ＲＣと機械的参照ＲＭとの間での変換を計算することからなる。前の２つのステップのおかげでＣＴＡ及びＭＴＡ行列（図２及び図３に示される）がわかるので、標的参照ＲＣと機械的参照ＲＭの関係を表す変換行列ＭＴＣを推論することができる。
【0151】
第６のステップ：最初の計画から物理的計画への移行
図５に示されている第６のステップは、置き換えるデジタル計画データに従ってツールの支持体を配置することにより、最初の手術計画の計画された動作を標的参照ＲＣで行われる物理的動作に置き換えることに関する。機械的基準と機械加工ツールを含む運動連鎖のセンサから得られたデータを使用して決定されたＯＴＭ変換をＭＴＣと組み合わせて変換ＣＴＯを計算することにより、標的参照での機械加工ツールの位置を計算する、したがって、計画データを実環境に置き換えることができる。次いで、変換ＣＴＯの知識により、介入中の標的の移動に応じて機械加工ツール軌道を補正することができる。
図５に示されている第６のステップは、置き換えるデジタル計画データに従ってツールの支持体を配置することにより、最初の手術計画の計画された動作を標的参照ＲＣで行われる物理的動作に置き換えることに関する。機械的基準と機械加工ツールを含む運動連鎖のセンサから得られたデータを使用して決定されたＯＴＭ変換をＭＴＣと組み合わせて変換ＣＴＯを計算することにより、標的参照での機械加工ツールの位置を計算する、したがって、計画データを実環境に置き換えることができる。次いで、変換ＣＴＯの知識により、介入中の標的の移動に応じて機械加工ツール軌道を補正することができる。
【0152】
術中画像上の置き換える手術計画データを、手術室の画面６０に表示することができる。これにより、スケジュールに関連した手技の進行状況に関する視覚的フィードバックが外科医に提供される。
【0153】
一実施形態によれば、ステップ２及び３は、外れ値に対して堅牢なアルゴリズム、例えば、Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）を使用する単一の処理を用いることにより、サブセット抽出ステップを通過せずに実現される。
【0154】
図８は、定期的に手術が必要なことで古くからよく知られている、膝関節である、解剖学的構造Ａの例を提供する。それ自体が公知であるように、膝関節は、３つの骨、すなわち、大腿骨Ｆ、脛骨Ｔ、及び膝蓋骨を含む（膝蓋骨は説明する価値を追加しないので、この説明から意図的に除外する）。したがって、本明細書で説明される例は、整形外科手術の分野に関し、より具体的には、大腿骨膝インプラントＩの埋め込みのための大腿骨Ｆ及び脛骨Ｔの準備に関する。
【0155】
この例に係るこの準備は、一連のよく知られたステップを含み、各ステップは、手術計画に含まれる所与の事前に計算された機械加工面Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６（図８参照）に従って骨Ｆ又はＴのうちの１つを機械加工（従来は振動鋸を使用して骨を切断）するものである。これらの機械加工ステップは、それら自体がよく知られており、オペレータ（外科医）が採用した戦略に応じて、普通は同じ順序で行われる。図８では、各機械加工面Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６は、一般に認められる時系列で番号が付されている。これらの機械加工面Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６は、古典的に術前手術計画によって決定される。術前手術計画は、特定のタイプのインプラント（サイズ、設計、ブランドなど）での特定の手術の特定の患者にのみ有効である。各患者（及び各手術）は、個別の術前手術計画を得る。したがって、機械加工面Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６は、手術ごとに僅かに変化する。術前手術計画の通常の第１のステップは、標的骨Ｆ、Ｔの３Ｄデジタルモデルを確立することである。３Ｄデジタル骨Ｆ、Ｔモデルを取得する１つの方法は、コンピュータ断層撮影、Ｘ線、ＭＲＩ、蛍光透視法、超音波、又は他のイメージング手段などの医用イメージングを用いることである。Ｘ線又はスキャナ又はさらにはＭＲＩでの取得は、普通は、全体重負荷で、通常、正面（冠状又は前後とも呼ばれる）ビュー、膝を完全にのばした状態の側面（又はプロファイル）ビュー、及び／又は２０°～３０°の屈曲、大腿骨頭から足首関節までの下肢を含むロングレッグビュー、及び最後に３０°の屈曲での膝蓋骨のビュー（スカイラインビューとも呼ばれる）でなされる。これらの画像から、手術中に機械加工される骨Ｆ、Ｔのデジタルモデルを構築することが可能である。次いで、３Ｄデジタル骨Ｆ、Ｔモデルの分析に基づいて特定の膝インプラントＩが選択される。
【0156】
【0157】
確立された後に、骨Ｆ、Ｔの３Ｄデジタルモデルは、前記手術デバイスの制御ユニットのメモリに格納され得る。
【0158】
一例では、手術デバイスは、手術デバイス内でその位置がよくわかっている３Ｄイメージングセンサ３０を含み得る。この３Ｄイメージングセンサ３０は、オペレータが制御ユニットのメモリに格納された骨Ｆ、Ｔのモデルと協働することを可能にする。所与の患者の骨Ｆ、Ｔの３Ｄデジタルモデルが決定され、制御ユニットのメモリ内に保存されると、手術デバイスを手術に使用することができる。患者が適正に配置されると、解剖学的構造Ａが見え、手術デバイスが患者に対して適正に定位置に配置されると、解剖学的構造Ａの少なくとも１つの３Ｄ画像が撮影される。この３Ｄ画像は、３Ｄイメージングセンサ３０で撮影される。手術デバイスの制御ユニットは、本発明の方法のステップを実行するように構成され得る。これにより、制御ユニットは、解剖学的構造Ａを３Ｄイメージングセンサ３０、したがって、手術デバイスに関して位置決めすることができる。これにより、制御ユニットは、標的参照ＲＡ内でのこの特定の手術のための正確な機械加工面Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６を設定することができる。
【0159】
機械加工される骨Ｆ、Ｔの自由面は限られており、したがって、外科用器具２０を骨Ｆ、Ｔと接触させることができる領域はごくわずかである。この接触は、骨Ｆ、Ｔに対する外科用器具２０の正確な相対的位置を確保しながら骨Ｆ、Ｔ又は周囲の軟組織のいずれにも損傷を与えないように、可能な限り最小侵襲でなければならない。
【0160】
図６、図７、又は図９に示すように、手術デバイスは、手術台に配置された患者の解剖学的構造Ａ（この場合、膝）を機械加工することを目的としている。患者は、普通は、麻酔され、特定のよく知られた固定手段によって手術台上に維持される。図６及び図７に例示した一実施形態では、さらに、患者の手足全体が手術デバイスの運動連鎖７０に固定される。
【0161】
例えば、運動連鎖７０及び外科用器具２０に加えて、手術デバイスは、手術台に固定することを目的としたベースユニットと、解剖学的構造Ａを固定するように設計された機械的基準４０を備え得る。外科用器具２０は、オペレータによって変位されるように構成され得る。
【0162】
一実施形態では、コンピュータ支援手術のためのシステムは、前記手術デバイスの制御ユニットに対応する。前記制御ユニット８０は、例えば、コンピュータとすることができる。この制御ユニット８０は、メモリ、リアルタイムコンピューティング要素、電源、パワーコンバータ、ヒューズ、及び／又はアクチュエータを備え得る。制御ユニット８０は、制御ユニット８０とオペレータとの間の相互作用を可能にするオペレータインターフェース６０をさらに備え得る。
【0163】
このオペレータインターフェース６０は、
－ ３Ｄセンサによって取得された画像とステップ１～３の出力を表示する
－ 解剖学的構造Ａに対する外科用器具２０の位置などのリアルタイム情報を表示する
－ オペレータが最良のインプラント及びその位置を選択するのを助けるために、計画されたインプラント位置と手術計画を表示する
－ ツールキャリアの機械加工目標位置を設定する、
ように構成され得る。
－ ３Ｄセンサによって取得された画像とステップ１～３の出力を表示する
－ 解剖学的構造Ａに対する外科用器具２０の位置などのリアルタイム情報を表示する
－ オペレータが最良のインプラント及びその位置を選択するのを助けるために、計画されたインプラント位置と手術計画を表示する
－ ツールキャリアの機械加工目標位置を設定する、
ように構成され得る。
【0164】
本発明のコンピュータ支援手術のためのシステムは、前述のように制御ユニットとして手術デバイスに一体化され得る、又は、本発明の方法のステップを実行する及び有線接続又は無線により手術デバイスと通信するように構成されたプロセッサであり得る。
【0165】
本発明はさらに、コンピュータ支援手術のためのコンピュータプログラム製品を含み、前記コンピュータプログラム製品は、プログラムがコンピュータによって実行されるときにコンピュータに前述の実施形態のいずれか１つに係る方法のステップを実行させる命令を備える。
【0166】
前述の方法を実行するためのコンピュータプログラム製品は、ハードウェアコンポーネントによって実行される動作を実行するマシン又は専用コンピュータとして動作するようにプロセッサ又はコンピュータに個別に又は集合的に指示又は構成するためのコンピュータプログラム、コードセグメント、命令、又はその任意の組み合わせとして書くことができる。一例では、コンピュータプログラム製品は、コンパイラによって生成された機械コードなどの、プロセッサ又はコンピュータによって直接実行される機械コードを含む。別の例では、コンピュータプログラム製品は、インタープリタを使用してプロセッサ又はコンピュータによって実行される高レベルのコードを含む。当業者であるプログラマーは、前述の方法の動作を行うためのアルゴリズムを開示する、図面に示されたブロック図及び流れ図、並びに、本明細書での対応する説明に基づいて、命令又はソフトウェアを容易に書くことができる。
【0167】
本発明はさらに、プログラムがコンピュータによって実行されるときにコンピュータに前述の実施形態のいずれか１つに係る方法のステップを実行させる命令を備えるコンピュータ可読記憶媒体を含む。
【0168】
一実施形態によれば、コンピュータ可読記憶媒体は、非一時的なコンピュータ可読記憶媒体である。
【0169】
本発明の実施形態の方法を実施するコンピュータプログラムは、一般に、限定はされないが、ＳＤカード、外部記憶装置、マイクロチップ、フラッシュメモリデバイス、ポータブルハードドライブ、及びソフトウェアウェブサイトなどの配布コンピュータ可読記憶媒体上でユーザに配布することができる。配布媒体から、コンピュータプログラムをハードディスク又は同様の中間記憶媒体にコピーすることができる。コンピュータプログラムは、それらの配布媒体又はそれらの中間記憶媒体のいずれかからコンピュータ命令をコンピュータの実行メモリにロードし、本発明の方法に従って動作するようにコンピュータを構成することによって実行することができる。これらのすべての動作は、コンピュータシステムの当業者によく知られている。
【0170】
ハードウェアコンポーネントを実装し、前述の方法を実行するようにプロセッサ又はコンピュータを制御する命令又はソフトウェア、及び任意の関連するデータ、データファイル、及びデータ構造は、１つ以上の非一時的なコンピュータ可読記憶媒体に記録、保存される、又は常駐する。非一時的なコンピュータ可読記憶媒体の例としては、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ＋Ｒ、ＣＤ－ＲＷ、ＣＤ＋ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、ＤＶＤ－ＲＡＭ、ＢＤ－ＲＯＭ、ＢＤ－Ｒ、ＢＤ－Ｒ ＬＴＨ、ＢＤ－ＲＥ、磁気テープ、フロッピーディスク、光磁気データ記憶装置、光データ記憶装置、ハードディスク、ソリッドステートディスク、及び、命令又はソフトウェア、及び任意の関連するデータ、データファイル、及びデータ構造を非一時的な様態で格納し、プロセッサ又はコンピュータが命令を実行することができるように命令又はソフトウェア、及び任意の関連するデータ、データファイル、及びデータ構造をプロセッサ又はコンピュータに提供することができる当業者に公知の任意のデバイスが挙げられる。一例では、命令又はソフトウェア、及び任意の関連するデータ、データファイル、及びデータ構造は、ネットワークに結合されたコンピュータシステム上に分散されるため、命令及びソフトウェア、及び任意の関連するデータ、データファイル、及びデータ構造は、分散された様態でプロセッサ又はコンピュータによって格納、アクセス、及び実行される。
【図1】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】