特許 7125049 手術支援用マーカー及び手術支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-16

(45)【発行日】2022-08-24

(54)【発明の名称】手術支援用マーカー及び手術支援システム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20220817BHJP

   A61B 6/03 20060101ALN20220817BHJP

【ＦＩ】

A61B34/20

A61B6/03 360G

【請求項の数】 6

(21)【出願番号】P 2018106215

(22)【出願日】2018-06-01

(65)【公開番号】P2019208737

(43)【公開日】2019-12-12

【審査請求日】2021-05-19

(73)【特許権者】

【識別番号】516299419

【氏名又は名称】インテリジェンスファクトリー合同会社

(73)【特許権者】

【識別番号】515161065

【氏名又は名称】株式会社Ｍｅｄｉｃａ Ｓｃｉｅｎｔｉａ

(73)【特許権者】

【識別番号】518194844

【氏名又は名称】シェルハメディカル株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】特許業務法人鷲田国際特許事務所

(72)【発明者】

【氏名】稲垣 麻帆

(72)【発明者】

【氏名】道家 健仁

(72)【発明者】

【氏名】小山 和也

(72)【発明者】

【氏名】解 晨

【審査官】北村 龍平

(56)【参考文献】

【文献】特開２０１８－４７２４０（ＪＰ，Ａ）

【文献】特開２０１６－２１４９３７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１８２００５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ ６／０３

Ａ６１Ｂ ５／００

Ａ６１Ｂ ９０／９０

Ｇ０６Ｖ ２０／２０

(57)【特許請求の範囲】

【請求項1】

コード部及び背景部からなる所定のパターンを有し、手術用照明灯下で使用される手術支援用マーカーであって、
基体と、
前記基体上に形成され、可視光領域における反射率が１％以下である低反射層と、
前記低反射層を覆うように配置され、前記所定のパターンに対応する開口を有する高反射層と、を備え、
前記開口を介して外部に臨む前記低反射層により前記コード部が形成され、前記高反射層により前記背景部が形成されていることを特徴とする手術支援用マーカー。

【請求項2】

前記低反射層は、表面に微細な突起群からなる反射防止構造を有することを特徴とする請求項１に記載の手術支援用マーカー。

【請求項3】

前記低反射層は、黒色のめっき層であることを特徴とする請求項１又は２に記載の手術支援用マーカー。

【請求項4】

前記基体及び前記高反射層は、硬質材料で形成されていることを特徴とする請求項１から３のいずれか一項に記載の手術支援用マーカー。

【請求項5】

前記基体及び前記高反射層は、当該手術支援用マーカーの外面を形成することを特徴とする請求項４に記載の手術支援用マーカー。

【請求項6】

請求項１から５のいずれか一項に記載の手術支援用マーカーと、
前記手術支援用マーカーを含む術野を撮像する撮像装置と、
前記撮像装置によって撮像された実画像に、予め用意された仮想画像を重畳して表示する手術支援端末と、を備え、
前記手術支援端末は、前記実画像から得られる前記手術支援用マーカーの位置及び姿勢に基づいて、前記仮想画像の表示態様を決定することを特徴とする手術支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術支援用マーカー及び手術支援システムに関する。

【背景技術】

【0002】

近年、手術支援システムの一例として、拡張現実（ＡＲ：Augmented Reality）技術を利用した手術ナビゲーションシステムの開発が進められている（例えば、特許文献１、２参照）。手術ナビゲーションシステムは、例えば、患者の膝関節や股関節などを金属やセラミックス製の人工関節に置き換える人工関節置換術において使用される。また、特許文献１、２には、患者の口腔内にインプラントを埋め込む歯科インプラント手術に使用される手術ナビゲーションシステムが開示されている。

【0003】

具体的には、手術ナビゲーションシステムは、術前計画において行われたシミュレーションの結果を示す仮想画像を、撮像装置で撮像されている実画像に重ね合わせることにより、施術者に対して有用な手術支援情報を提供する。例えば、術前計画では、患部の断層画像を用いて、取付け予定のインプラントの形状、寸法、取付角度、必要に応じて骨切り量や骨切り位置等のシミュレーションが行われる。

【0004】

手術ナビゲーションシステムでは、仮想画像を実画像に重ね合わせるために、実空間の座標系と仮想画像の座標系とを正確に位置合わせする必要がある（いわゆるレジストレーション）。また、撮像視点の変化に伴う実画像の変化に追従して、仮想画像の表示制御を行う必要がある（いわゆるトラッキング）。一般には、所定部位（例えば、患者の骨など）に固定された識別標識（以下、「ＡＲマーカー」と称する）の位置及び姿勢を検出することにより、レジストレーション及びトラッキングが行われる。

【0005】

一般に、ＡＲマーカーは、黒色のコード部と白色の背景部からなる所定のパターンを有している（いわゆる二次元コード）。コード部と背景部のコントラストが大きい程、パターンの識別精度が高くなる。従来のＡＲマーカーは、例えば、白地の紙などのシートに黒色でコード部が印刷された印刷物で形成されている（例えば、特許文献１参照）。また、ＡＲマーカーに関する先行技術文献としては、例えば、特許文献３がある。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１０－２５９４９７号公報

【文献】特許第６０６３５９９号公報

【文献】特開２０１６－７７５７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、手術室の照明には、術野の視認性を確保するために、影ができにくい手術用照明灯（いわゆる無影灯）が用いられる。当然に、手術ナビゲーションシステムで用いられるＡＲマーカーも手術用照明灯下に設置されることとなる。手術用照明灯下では、印刷によって形成された黒色のコード部からの光強度は、光沢などにより、白色の背景部からの光強度と同様に高くなり、コード部と背景部のコントラストが小さくなる。そのため、印刷物からなる従来のＡＲマーカーを手術用照明灯下で使用する場合、手術ナビゲーションシステムにおいてＡＲマーカーの位置及び姿勢、すなわち仮想画像を重ね合わせるターゲットの位置及び姿勢を正確に検出できず、その結果、仮想画像を適切に表示させることができない虞がある。

【0008】

なお、撮像装置において露光量を調整することによりＡＲマーカーのパターン識別精度を高めることもできるが、この場合、高機能な撮像装置が必要となるため、システムコストが増大してしまう。また、印刷技術の改良（例えば、顔料成分の改良）によりコード部の低反射化を図ることも考えられるが、現状では、手術用照明灯下において利用しうる識別性を有するＡＲマーカーは実現されていない。

【0009】

本発明の目的は、手術用照明灯下でＡＲ技術を利用する場合に、ターゲットの位置及び姿勢を精度よく検出でき、仮想画像を適切に表示できる手術支援用マーカー及び手術支援システムを提供することである。

【課題を解決するための手段】

【0010】

本発明の一態様に係る手術支援用マーカーは、
コード部及び背景部からなる所定のパターンを有し、手術用照明灯下で使用される手術支援用マーカーであって、
基体と、
前記基体上に形成され、可視光領域における反射率が１％以下である低反射層と、
前記低反射層を覆うように配置され、前記所定のパターンに対応する開口を有する高反射層と、を備え、
前記開口を介して外部に臨む前記低反射層により前記コード部が形成され、前記高反射層により前記背景部が形成されていることを特徴とする。

【発明の効果】

【0011】

本発明によれば、手術用照明灯下でＡＲ技術を利用する場合に、ターゲットの位置及び姿勢を精度よく検出でき、仮想画像を適切に表示することができる。

【図面の簡単な説明】

【0012】

【図1】図１Ａ、図１Ｂは、実施の形態に係るＡＲマーカーの構成を示す図である。

【図2】図２は、低反射層の反射特性を示す図である。

【図3】図３は、手術支援システムを用いた人工膝関節置換術を説明するための図である。

【図4】図４は、手術支援端末の機能的構成を示すブロック図である。

【図5】図５は、手術支援システムを用いた手術ナビゲーション処理の一例を示すフローチャートである。

【図6】図６は、手術ナビゲーション処理における手術支援端末の表示画面の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

【0014】

図１Ａ、図１Ｂは、本発明の一実施の形態に係るＡＲマーカー１の構成を模式的に示す図である。図１Ａは、ＡＲマーカー１の外観斜視図であり、図１Ｂは、ＡＲマーカー１の分解斜視図である。

【0015】

ＡＲマーカー１は、手術室で用いられる識別標識であり、例えば、手術支援システムの一例である手術ナビゲーションシステムにおいて、ターゲットの位置及び姿勢を検出するために用いられる。ＡＲマーカー１は、低反射で黒として認識されるコード部１ａと、高反射で白として認識される背景部１ｂとからなる所定のパターンを有する。本実施の形態では、一例として、図形と文字とからなるパターンが形成されている場合について示している。なお、本実施の形態では、ＡＲマーカー１は、平面視において正方形状を有しているが、正方形以外の特殊形状を有していてもよい。また、典型的には、コード部１ａの色は「黒」で、背景部１ｂの色は「白」であるが、コード部１ａと背景部１ｂを区別して認識しうるコントラストが得られればよく、特に、背景部１ｂの色は白以外であってもよい。

【0016】

図１Ａ、図１Ｂに示すように、ＡＲマーカー１は、高反射層１１、低反射層１２及び基体１３からなる三層構造を有する。ＡＲマーカー１は、構造の面で印刷物からなる従来のＡＲマーカーと明確に異なる。

【0017】

基体１３は、低反射層１２を形成するための硬質材料からなる基板である。本実施の形態では、基体１３は、高反射層１１及び低反射層１２を収容する凹室１３ａを有する。基体１３の厚さ（凹室１３ａの深さ）は、収容する高反射層１１及び低反射層１２の厚さに依存する。基体１３は、オートクレーブによる高圧蒸気滅菌処理（例えば、１３０～１４０℃×１０～３０ｍｉｎの熱処理）に耐えうる材料で形成される。基体１３は、例えば、アルミニウムやステンレス等の金属材料によって形成される。

【0018】

低反射層１２は、基体１３上に形成される黒色の薄膜層（例えば、厚さ数μｍ）である。本実施の形態では、低反射層１２は、基体１３の凹室１３ａの底面に、全面に亘って形成されている。低反射層１２は、光沢がなく、可視光領域における反射率が１％以下である（図２参照）。これに対して、印刷物からなる従来のＡＲマーカーにおける黒色のコード部の反射率は、一般に、２～１０％である。すなわち、従来のＡＲマーカーに比較して、低反射層１２の光沢度及び反射率は格段に小さい。これにより、ＡＲマーカー１のパターン識別精度の向上を図ることができる。

【0019】

本実施の形態では、低反射層１２は、基体１３上への金属めっきにより形成されている。例えば、ヱビナ電化工業の黒化処理技術を利用することにより、可視光領域における反射率が１％以下である黒色のめっき層（無機皮膜）を形成することができる。具体的には、低反射層１２として、ヱビナ電化工業製のスゴクロ（商品名）を適用することができる。

【0020】

低反射層１２を金属めっきにより形成することにより、オートクレーブによる滅菌処理を施しても低反射層１２の性状は維持される。これに対して、印刷物からなる従来のＡＲマーカーは、耐熱性が低いので、オートクレーブによる滅菌処理を行うことができない。そのため、従来のＡＲマーカーは、オートクレーブ以外の滅菌処理（例えば、ガス滅菌）を適用しなければならない。すなわち、本実施の形態のＡＲマーカー１は、従来に比較して、短時間で、容易かつ安価に滅菌処理を行うことができる。

【0021】

また、本実施の形態では、低反射層１２は、表面に微細な突起群からなる反射防止構造を有している。スゴクロは、微視的にみると表面が毛羽立っている。これにより、低反射層１２に入射した光は、低反射層１２の表面で乱反射するので、低反射層１２の光沢度及び反射率を低減することができる。

【0022】

高反射層１１は、所定のパターンに対応する開口１１ａを有する硬質材料からなる平板である。開口１１ａは、例えば、レーザー加工により形成される。高反射層１１は、低反射層１２を覆うように配置される。高反射層１１は、例えば、ねじ止めにより基体１３に固定される。低反射層１２の表面は、高反射層１１によって覆われ、外部と非接触となる。これにより、高反射層１１によって低反射層１２が保護されるので、低反射層１２の性状を維持することができる。したがって、低反射層１２として、機械的に脆く、外部との接触によって損傷しやすい構造を適用することもできる。高反射層１１は、基体１３と同様に、オートクレーブによる高圧蒸気滅菌に耐えうる材料で形成される。高反射層１１は、例えば、アルミニウムやステンレス等の金属材料によって形成される。

【0023】

本実施の形態では、高反射層１１及び基体１３は硬質材料で形成されており、高反射層１１及び基体１３によって、ＡＲマーカー１の外面が形成されている。これにより、ＡＲマーカー１は簡単には破損しないので、取扱いが容易になる。また、ＡＲマーカー１の構造が簡素化されているので、ＡＲマーカー１の製造コストを低減することができる。

【0024】

なお、高反射層１１及び基体１３の厚さ（肉厚）は特に制限されないが、軽量化、低コスト化の観点から、ＡＲマーカーとしての使用に耐えられる程度に薄いことが好ましい。また、高反射層１１及び基体１３は、耐熱性を有するプラスチック材料やセラミック材料によって形成されてもよい。

【0025】

ＡＲマーカー１において、高反射層１１が所定パターンの背景部１ｂを形成し、低反射層１２のうち高反射層１１の開口１１ａから外部に臨む部分が所定パターンのコード部１ａを形成する。これにより、手術用照明灯下においても高いコントラストが得られるので、パターンの識別精度が向上する。したがって、ＡＲマーカー１を用いることにより、手術支援システムの撮像装置として、スマートフォン等に搭載されている一般的な撮像装置を適用することもできる。

【0026】

図３は、ＡＲマーカー１を用いた手術支援システムＳを説明するための斜視図である。手術支援システムＳは、手術用照明灯Ｌを用いた照明環境における患者Ｐの患部を含む撮像画像（実画像）に、術前計画においてシミュレーションした仮想画像を重畳して表示する手術ナビゲーションシステムである。図３では、一例として、人工膝関節置換術に手術支援システムＳを適用した場合について示している。なお、手術支援システムＳは、人工膝関節置換術だけでなく、人工股関節置換術やその他の外科手術に利用することができる。

【0027】

図３に示すように、手術支援システムＳは、ＡＲマーカー１、手術支援端末１００、及び病院端末２００を備える。手術支援端末１００と病院端末２００は、無線通信回線（例えば、無線ＬＡＮ（Local Area Network）等）を介して、情報通信可能に接続される。なお、図３では、手術台Ｔ上において患者Ｐが固定されていない状態を表しているが、施術しやすくなるように患者Ｐは固定されていてもよい。また、手術支援端末１００は、患者Ｐの患部との位置関係が大幅にずれないように、施術者が容易に視認できる位置に固定されてもよい。

【0028】

ＡＲマーカー１は、手術支援システムＳにおいて、仮想画像を重ね合わせるターゲット（ここでは、患者Ｐの脛骨又は大腿骨）の位置及び姿勢を検出するために用いられる。ＡＲマーカー１は、例えば、所定部位（例えば、患者Ｐの骨）、及び／又は所定部位を指し示すツールに取り付けられる。上述したように、ＡＲマーカー１は、コード部１ａの反射率が極めて低いので、手術用照明灯Ｌの下でも、手術支援端末１００によって精度よくＡＲマーカー１の位置及び姿勢を検出し、撮像画像におけるターゲットの位置及び姿勢を特定することができる。

【0029】

病院端末２００は、人工膝関節置換術の術前計画を行うための端末である。病院端末２００は、病院内に設置され、例えば、医用画像保存通信システム（ＰＡＣＳ：Picture Archiving and Communication Systems）、病院情報システム（ＨＩＳ：Hospital Information Systems）、及び放射線科情報システム（ＲＩＳ：Radiology Information Systems）等と情報通信可能に接続されている。病院端末２００、ＰＡＣＳ、ＨＩＳ及びＲＩＳを含む院内ネットワークにおいては、例えば、ＤＩＣＯＭ（Digital Image and Communications in Medicine）規格に従って、情報の送受信が行われる。

【0030】

病院端末２００は、例えば、汎用のパーソナルコンピューター等で構成される。すなわち、病院端末２００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む処理部、ハードディスク等の記憶部、表示部、操作部及び通信部等を備える（いずれも図示略）。

【0031】

病院端末２００は、術前計画用プログラムを実行することにより、取付け予定の人工膝関節（脛骨側部材（脛骨ベースプレート）、大腿骨側部材（大腿骨コンポーネント）等の人工関節構成部材）の形状や寸法、脛骨に刺入される脛骨随内ロッドの向き及び刺入点の位置、脛骨の骨切り位置、大腿骨に刺入される大腿骨随内ロッドの向き及び刺入点の位置、大腿骨の骨切り位置等を、術前検査で得られた断層画像データに基づいてシミュレーションする。

【0032】

ここで、断層画像データは、例えば、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging System）装置などの医用断層画像診断装置（図示略）により患者の患部が撮像された画像データである。なお、断層画像データは、院内ネットワークを介してＰＡＣＳから病院端末２００に送信されてもよいし、メモリカード等の可搬型記憶媒体を介して病院端末２００に提供されてもよい。

【0033】

病院端末２００で行われる術前計画処理は、公知の技術であるので、以下に簡単に説明する。すなわち、病院端末２００は、術前計画処理において、例えば、断層画像データから患者の脛骨や大腿骨の三次元形状を表す画像データ（三次元モデル）を生成する。そして、病院端末２００は、脛骨や大腿骨の三次元モデル上で座標系を構築し、人工膝関節を構成する脛骨側部材や大腿骨側部材の取付け予定位置等をシミュレーションする。

【0034】

また、病院端末２００は、脛骨及び大腿骨の三次元モデルにおいて、脛骨や大腿骨に対する脛骨側部材や大腿骨側部材の取付けを案内支援するための治具（脛骨髄内ロッド、大腿骨髄内ロッド）の適切な向き及び位置等を含む治具情報をシミュレーションする。この治具情報は、シミュレーションにより自動的に生成されてもよいし、医者による操作部の所定操作に基づいて治具の向きや位置の微調整が行われてもよい。

【0035】

治具情報には、例えば、脛骨に対する脛骨側部材の取付けを案内するために脛骨に刺入される脛骨随内ロッドの向き及び刺入点の位置、脛骨随内ロッドを基準として脛骨の骨切りを案内する脛骨骨切り案内部材の向き及び設置位置、大腿骨に対する大腿骨側部材の取付けを案内するために大腿骨に刺入される大腿骨随内ロッドの向き及び刺入点の位置、大腿骨随内ロッドを基準として大腿骨の骨切りを案内する大腿骨骨切り案内部材の向き及び設置位置、等が含まれる。

【0036】

また、病院端末２００は、下肢の機能軸、大腿骨の骨頭中心の位置、大腿骨の機能軸、大腿骨の前方皮質近似平面、脛骨の機能軸、内／外半角、屈曲・伸展角、回旋角等の各種の術中支援パラメーターを生成してもよい。病院端末２００において生成された術前計画データは、適宜手術支援端末１００に提供される。

【0037】

手術支援端末１００は、人工膝関節置換術の術中支援を行う支援端末である。具体的には、手術支援端末１００は、術前計画におけるシミュレーション結果を含む仮想画像を、実画像に重ね合わせた画像（以下、「拡張現実画像」と称する）表示する。本実施の形態では、手術支援端末１００として、スマートフォンやタブレット等の携帯端末を適用している。

【0038】

図４は、手術支援端末１００の機能的構成を示すブロック図である。図４に示すように、手術支援端末１００は、制御部１０１、記憶部１０５、撮像部１０６、操作部１０７、表示部１０８、及び通信部１０９を備える。

【0039】

制御部１０１は、演算／制御装置としてのＣＰＵ１０２、主記憶装置としてのＲＯＭ１０３及びＲＡＭ１０４等を備える。ＲＯＭ１０３には、基本プログラムや基本的な設定データが記憶される。ＣＰＵ１０２は、ＲＯＭ１０３又は記憶部１０５から処理内容に応じたプログラムを読み出してＲＡＭ１０４に展開し、展開したプログラムを実行することにより、手術支援端末１００の各ブロックの動作を集中制御する。

【0040】

なお、制御部１０１が実行する処理の一部又は全部は、処理に応じて設けられたＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路によって実行されてもよい。

【0041】

記憶部１０５は、例えば、フラッシュメモリ等の内蔵ストレージ（補助記憶装置）であり、プログラムや各種データ等を記憶する。本実施の形態では、記憶部１０５は、手術ナビゲーションプログラムを記憶する。なお、手術ナビゲーションプログラムは、ＲＯＭ１０３に記憶されてもよい。また、記憶部１０５は、通信部１０９を介して病院端末２００から取得した患者Ｐの断層画像データや術前計画データを記憶する。

【0042】

撮像部１０６は、レンズ部及びイメージセンサー、及び撮像制御部等を有し、操作部１０７（シャッターボタン）の操作に伴い被写体（ここでは、手術台Ｔ上の患者Ｐの骨Ｂ）を撮像する。

【0043】

操作部１０７及び表示部１０８は、例えば、タッチパネル付きのフラットパネルディスプレイで構成される。フラットパネルディスプレイとしては、液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができる。また、操作部１０７は、電源のＯＮ／ＯＦＦ操作に係る電源ボタン、撮像指示に係るシャッターボタン、各種のモードや機能等の選択指示に係るボタン等（いずれも図示略）を有する。

【0044】

操作部１０７は、手術支援端末１００に所定の動作を実行させるための操作を受け付け、操作に応じた操作信号を制御部１０１に操作信号を出力する。制御部１０１は、操作部１０７からの操作信号に従って所定の動作（例えば、被写体の撮像等）を各部に実行させる。表示部１０８は、制御部１０１の制御に従って各種情報を表示する。表示部１０８は、例えば、制御部１０１による各種のアプリケーションプログラムの実行に伴い、アプリケーション画面を表示する。本実施の形態では、表示部１０８は、手術ナビゲーション用の画面を表示する。

【0045】

通信部１０９は、例えば、ＮＩＣ（Network Interface Card）、ＭＯＤＥＭ（MOdulator-DEModulator）、ＵＳＢ（Universal Serial Bus）等の通信インターフェースである。制御部１０１は、通信部１０９を介して、有線／無線ＬＡＮ等のネットワークに接続された病院端末２００との間で各種情報の送受信を行う。通信部１０９には、ＮＦＣ（Near Field Communication）やBluetooth（登録商標）等の近距離無線通信用の通信インターフェースを適用することもできる。

【0046】

制御部１０１は、記憶部１０５に記憶されている手術ナビゲーションプログラムを実行することにより、術前計画取得部１０１Ａ、実画像取得部１０１Ｂ、位置姿勢推定部１０１Ｃ、表示制御部１０１Ｄとして機能する。これらの機能については、図５のフローチャートに従って詳述する。

【0047】

図５は、制御部１０１が実行する手術ナビゲーション処理の一例を示すフローチャートである。この処理は、例えば、操作部１０７を通じて、手術ナビゲーションのアプリケーションを起動する操作が入力されることに伴い、ＣＰＵ１０２が記憶部１０５に格納されている手術ナビゲーションプログラムを実行することにより実現される。

【0048】

なお、以下の説明では、予め病院端末２００において患者Ｐの人口膝関節置換術の術前計画処理が行われ、生成された術前計画データが病院端末２００の記憶部に記憶されているものとする。また、手術支援端末１００は、患者Ｐの患部及びＡＲマーカー１が撮像領域含まれる位置に設置され、手術ナビゲーションプログラムの実行に伴い、撮像部１０６は撮像を開始するものとする。また、患者Ｐの位置及び姿勢を検出するために、所定位置（例えば、患者の骨、又は骨の特定部位を指し示すツール）にＡＲマーカー１が取り付けられているものとする。

【0049】

ステップＳ１０１において、制御部１０１は、患者Ｐの人工膝関節が取り付けられる予定の脛骨及び大腿骨の三次元形状を表す基準画像（三次元モデル）、並びに、治具情報を含む術前計画データを、病院端末２００から取得する（術前計画取得部１０１Ａとしての処理）。なお、術前計画データは、予め、手術支援端末１００の記憶部１０５に記憶しておいてもよい。

【0050】

ステップＳ１０２において、制御部１０１は、脛骨及び大腿骨のうち、施術者による操作部１０７の所定操作に基づいて、仮想画像を重ね合わせるターゲットとなる対象骨を設定する。

【0051】

ステップＳ１０３において、制御部１０１は、対象骨の表面が撮像された撮像画像を逐次取得する（実画像取得部１０１Ｂとしての処理）。

【0052】

ステップＳ１０４において、制御部１０１は、撮像画像における患者Ｐの対象骨の位置及び姿勢を推定する（位置姿勢推定部１０１Ｃとしての処理）。具体的には、制御部１０１は、撮像画像に含まれるＡＲマーカー１のパターンの大きさ及び傾きに基づいて、対象骨の位置及び姿勢を推定する。ＡＲマーカー１を用いることにより、パターンを精度よく識別でき、ＡＲマーカー１の位置及び姿勢を正確に検出できるので、対象骨の位置及び姿勢を正確に推定することができる。

【0053】

ステップＳ１０５において、制御部１０１は、撮像画像に重ね合わせる仮想画像の表示態様（仮想画像の表示位置及び表示姿勢）を決定する（表示制御部１０１Ｄとしての処理）。具体的には、制御部１０１は、ステップＳ１０４で推定された対象骨の位置及び姿勢と、ステップＳ１０１で取得された術前計画データとに基づいて、撮像画像内の対象骨の座標系と当該対象骨の三次元モデルの座標系の位置合わせを行い、撮像画像に重畳する仮想画像の表示姿勢を決定するとともに、当該仮想画像の表示位置を決定する。

【0054】

ここで、仮想画像は、治具情報及び対象骨の三次元モデルを含んでもよいし、何れか一方だけを含んでもよい。また、仮想画像は、撮像画像を透かして視認できる半透過画像であってもよいし、輪郭だけからなる透過画像であってもよい。

【0055】

ステップＳ１０６において、制御部１０１は、撮像画像に仮想画像を重ね合わせた拡張現実画像を表示部１０８に表示させる（表示制御部１０１Ｄとしての処理）。

【0056】

例えば、対象骨が脛骨の場合、制御部１０１は、脛骨髄内ロッドの刺入前には、撮像画像内の脛骨に対して、脛骨髄内ロッドの向き及び当該脛骨髄内ロッドの刺入点の位置を示す治具情報を、仮想画像として重畳させた拡張現実画像ＡＲＩを表示部１０８に表示させる（図６参照）。また、脛骨髄内ロッドの刺入後には、撮像画像内の脛骨に対して、脛骨骨切り案内部材の向き及び位置を示す治具情報を、仮想画像として重畳させた拡張現実画像を表示部１０８に表示させる。これにより、施術者は、拡張現実画像を視認して、脛骨に対する脛骨髄内ロッドの向き及び刺入点の位置、並びに、脛骨骨切り案内部材の向き及び位置を把握することができる。

【0057】

なお、図６では、患者Ｐの脛骨以外の部分の図示は省略しているが、実際には、脛骨の周囲の組織（例えば、軟骨、腱、靱帯、皮膚等）も撮像部１０６により撮像され表示部１０８に表示された状態となる。

【0058】

ステップＳ１０７において、制御部１０１は、操作部１０７からの操作信号に基づいて、手術ナビゲーションのアプリケーションを終了する操作が行われたか否かを判定する。アプリケーションの終了操作が行われた場合（ステップＳ１０７で“ＹＥＳ”）、手術ナビゲーション処理を終了する。アプリケーションの終了操作が行われない場合（ステップＳ１０７で“ＮＯ”）、ステップＳ１０３の処理に移行する。すなわち、手術が終了するまで、手術支援端末１００の表示部１０８には、患部の位置及び姿勢、又は手術支援端末１００の撮像部１０６の位置及び姿勢に追従して、拡張現実画像が表示されることとなる（トラッキング）。

【0059】

なお、ターゲットとなる対象骨が変更される場合（例えば、脛骨から大腿骨に対象骨が変更される場合）、制御部１０１は、操作部１０７を通じて行われた対象骨の変更操作を受け付けて、上記と同様にしてステップＳ１０２以降の処理を実行する。

【0060】

以上説明したように、実施の形態に係るＡＲマーカー１（手術支援用マーカー）は、コード部１ａ及び背景部１ｂからなる所定のパターンを有し、手術用照明灯Ｌ下で使用される手術支援用マーカーである。ＡＲマーカー１は、基体１３と、基体１３上に形成され、可視光領域における反射率が１％以下である低反射層１２と、低反射層１２を覆うように配置され、所定のパターンに対応する開口１１ａを有する高反射層１１と、を備える。開口１１ａを介して外部に臨む低反射層１２によりコード部１ａが形成され、高反射層１１により背景部１ｂが形成されている。

【0061】

ＡＲマーカー１によれば、コード部１ｂの光沢度及び反射率が極めて小さく、手術用照明灯下においても高いコントラストが得られるので、パターンの識別精度が飛躍的に向上する。したがって、ＡＲマーカー１は、手術用照明等下で使用される手術支援用マーカーとして有用である。

【0062】

また、実施の形態で説明したように、低反射層１２は、表面に微細な突起群からなる反射防止構造を有することが好ましい。これにより、低反射層１２に入射した光は、低反射層１２の表面で乱反射するので、低反射層１２の反射率を低減することができる。

【0063】

また、実施の形態で説明したように、低反射層１２は、黒色のめっき層であることが好ましい。これにより、オートクレーブによる滅菌処理を施すことができるので、手術器材の準備が簡単になる。

【0064】

また、実施の形態で説明したように、高反射層１１及び基体１３は、硬質材料で形成されることが好ましい。これにより、ＡＲマーカー１は簡単には破損しないので、取扱いが容易になる。

【0065】

また、実施の形態で説明したように、高反射層１１及び基体１３は、ＡＲマーカー１の外面を形成することが好ましい。これにより、ＡＲマーカー１の構造が簡素化されるので、ＡＲマーカー１の製造コストを低減することができる。

【0066】

また、実施の形態に係る手術支援システムＳは、ＡＲマーカー１（手術支援用マーカー）と、ＡＲマーカー１を含む術野を撮像する手術支援端末１００の撮像部１０６(撮像装置）と、撮像装置によって撮像された撮像画像（実画像）に、予め用意された仮想画像を重畳して表示する手術支援端末１００と、を備える。手術支援端末１００は、撮像画像から得られるＡＲマーカー１の位置及び姿勢に基づいて、仮想画像の表示態様を決定する。

【0067】

手術支援システムＳによれば、手術用照明灯下でも高い識別性を有するＡＲマーカー１を用いるので、仮想画像を重ね合わせるターゲットの位置及び姿勢を精度よく検出でき、仮想画像を適切に表示することができる。また、手術支援システムＳの撮像装置として、スマートフォン等に搭載されている一般的な撮像装置を適用することができるので、手術支援システムＳの低コスト化を図ることができる。

【0068】

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

【0069】

例えば、ＡＲマーカー１を構成する低反射層１２は、金属めっき以外の方法によって形成されてもよい。ただし、インクや塗料は、オートクレーブによる滅菌処理に耐えられないので、実施の形態のように、低反射層１２は、金属めっきにより形成されるのが好ましい。

【0070】

また例えば、実施の形態では、手術支援端末１００の撮像部１０６を、手術支援システムＳの撮像装置として利用しているが、手術支援端末１００とは別に、撮像装置を設けてもよい。この場合、撮像装置は、患者Ｐの患部を撮像できるように設置され、手術支援端末１００は、施術者が視認しやすいように設置されればよい。

【0071】

また、手術支援端末１００として、ウェアラブルコンピューターデバイス（特に、頭部装着型のヘッドマウントディスプレイ）を適用してもよい。

【0072】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0073】

１ ＡＲマーカー（手術支援用マーカー）
１ａ コード部
１ｂ 背景部
１１ 高反射層
１１ａ 開口
１２ 低反射層
１３ 基体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】