(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-25
(45)【発行日】2025-01-09
(54)【発明の名称】インプラント手術支援装置、方法及びプログラム
(51)【国際特許分類】
A61C 13/36 20060101AFI20241226BHJP
A61C 8/00 20060101ALI20241226BHJP
A61B 34/10 20160101ALI20241226BHJP
【FI】
A61C13/36
A61C8/00 Z
A61B34/10
(21)【出願番号】P 2021031577
(22)【出願日】2021-03-01
【審査請求日】2024-02-14
(73)【特許権者】
【識別番号】508062719
【氏名又は名称】竹林 晃
(74)【代理人】
【識別番号】100105614
【氏名又は名称】児島 敦
(72)【発明者】
【氏名】竹林 晃
(72)【発明者】
【氏名】加納 徹
(72)【発明者】
【氏名】金林 裕太
【審査官】松江 雅人
(56)【参考文献】
【文献】特開2010-259497(JP,A)
【文献】国際公開第2020/048545(WO,A1)
【文献】特開2013-034764(JP,A)
【文献】特開2015-221201(JP,A)
【文献】国際公開第2009/107723(WO,A1)
【文献】米国特許第09821174(US,B1)
(58)【調査した分野】(Int.Cl.,DB名)
A61C 8/00,13/36
A61B 34/10
(57)【特許請求の範囲】
【請求項1】
カメラとコンピュータ及び表示装置を備えたハードウェアを使用して、インプラント手術の対象の患者のパノラマ画像、水平断面画像、斜断面画像等のシミュレーション用画像上にシミュレーション用インプラントであるシムインプラントを配置してインプラントの埋入位置及び埋入方向のシミュレーションを行うシミュレーション処理部と、
前記患者の前記インプラント手術対象の口腔内の一部あるいは
前記患者の前記インプラント手術対象の口腔内模型の一部をARマーカとして定義登録し、前記カメラで撮影している映像の中から前記ARマーカを検出追跡し、前記カメラで撮影している前記口腔内の映像あるいは口腔内模型の映像に重ねて、インプラントの埋入の位置及び向きを示すインプラント3Dオブジェクトをリアルイムで前記表示装置に表示するAR処理部と、
前記カメラで撮影している前記口腔内の映像あるいは前記口腔内模型の映像に重ねて表示される前記インプラント3Dオブジェクトの表示位置を、前記シ
ミュレーション用画像上に配置された前記シムインプラントの配置位置に一致させ、かつ前記シムインプラントを動かす操作がなされた場合には、前記インプラント3Dオブジェクトも前記操作に連動して動くようにする連携処理部と、
を備えたインプラント手術支援装置。
【請求項2】
前記連携処理部は、AR空間内で3Dモデルを拡大/縮小、回転、移動させることにより、前記シミュレーション用画像上において予め指定された互いに相異なる3地点の位置座標と同じ前記AR空間における前記3地点の位置座標と、前記AR空間に読み込んだ前記3Dモデル上の前記3地点に該当する位置座標と、が一致している場合に、前記シムインプラントの座標をそのまま前記AR空間における前記インプラント3Dオブジェクトの座標として扱う、
請求項1に記載のインプラント手術支援装置。
【請求項3】
前記連携処理部は、前記シミュレーション用画像上において予め指定された互いに相異なる3地点の位置座標を、前記AR空間に読み込んだ3Dモデル上の前記3地点に該当する位置座標に座標変換るための座標変換式を求め、前記シムインプラントの座標を前記座標変換式に代入して得られる座標を前記AR空間における前記インプラント3Dオブジェクトの座標として扱う、請求項1に記載のインプラント手術支援装置。
【請求項4】
前記3Dモデルは、3D石膏モデル、3D骨モデル、3D口腔内モデルのいずれかである、請求項2又は請求項3に記載のインプラント手術支援装置。
【請求項5】
前記インプラント3Dオブジェクトは、当該インプラント3Dオブジェクトの中心軸を含む、請求項1乃至請求項4のいずれか一項に記載のインプラント手術支援装置。
【請求項6】
前記インプラント3Dオブジェクトは、前記中心軸に装着された、前記中心軸に沿った方向にドリルの長さだけ離れた二つのガイドリングを含む、
請求項5に記載のインプラント手術支援装置。
【請求項7】
前記AR処理部は、歯科用コントラを3Dスキャナでスキャンし、得られたSTLデータをサーフィスレンダリングして得られるコントラ3Dモデルの一部をコントラARマーカとして定義登録し、ドリル軸形状のドリル軸3Dオブジェクトを、前記カメラで撮影している映像内の前記歯科用コントラに装着したドリルに重ねて表示する、
請求項1乃至請求項6のいずれか一項に記載のインプラント手術支援装置。
【請求項8】
前記AR処理部は、前記口腔内の映像あるいは前記口腔内模型の映像において、前記インプラント3Dオブジェクトの中心軸と前記ドリル軸3Dオブジェクトとが一致した場合に、その旨を表示色あるいは音により報知する、
請求項7記載のインプラント手術支援装置。
【請求項9】
前記AR処理部は、下顎管や上顎洞底を模した下顎管/上顎洞底3Dオブジェクトを前記口腔内の映像あるいは前記口腔内模型の映像に重ねて表示する、
請求項1乃至請求項8のいずれか一項に記載のインプラント手術支援装置。
【請求項10】
前記AR処理部は、前記口腔内の映像あるいは前記口腔内模型の映像において、前記インプラント3Dオブジェクトおよび前記ドリル軸3Dオブジェクトについて、前記口腔内領域または前記口腔内領域の模型に存在する歯牙、粘膜あるいは歯槽骨と重なって影になっている部分、あるいは、歯槽骨内部に入っている部分を非表示にする、あるいは半透明化して表示する、
請求項1乃至請求項8のいずれか一項に記載のインプラント手術支援装置。
【請求項11】
前記AR処理部は、前記口腔内の映像あるいは前記口腔内模型の映像において、前記インプラント3Dオブジェクトの中心軸について、ドリルを装着した前記コントラARマーカとして定義登録したドリルを装着したコントラ3Dモデルの一部と重なっている部分をリアルタイムで部分的に非表示にする、
請求項7に記載のインプラント手術支援装置。
【請求項12】
ハードウェアにLiDAR(LightImagingDetectionandRanging)スキャナを追加し、前記インプラント3Dオブジェクトの中心軸について、ドリルを装着した歯科用コントラと重なっている部分をリアルタイムで部分的に非表示にする、請求項1乃至請求項8のいずれか一項に記載のインプラント手術支援装置。
【請求項13】
カメラとコンピュータ及び表示装置を備えたハードウェアを使用して、インプラント手術の対象の患者のパノラマ画像、水平断面画像、斜断面画像等のシミュレーション用画像上にシミュレーション用インプラントであるシムインプラントを配置してインプラントの埋入位置及び埋入方向のシミュレーションを行う過程と、
前記患者の前記インプラント手術対象の口腔内の一部あるいは
前記患者の前記インプラント手術対象の口腔内模型の一部
をARマーカとして定義登録し、前記カメラで撮影している映像の中から前記ARマーカを検出追跡し、前記カメラで撮影している前記口腔内の映像あるいは口腔内模型の映像に重ねて、インプラントの埋入の位置及び向きを示すインプラント3Dオブジェクトをリアルタイムで前記表示装置に表示する過程と、
前記カメラで撮影している前記口腔内の映像あるいは前記口腔内模型の映像に重ねて表示される(前記インプラントの埋入位置及び方向を示す)前記インプラント3Dオブジェクトの表示位置を、前記シミュレーション用画像上に配置された前記シムインプラントの配置位置に一致させ、かつ前記シムインプラントを動かす操作がなされた場合には、前記インプラント3Dオブジェクトも前記操作に連動して動くようにする過程と、
を備えたインプラント手術支援方法。
【請求項14】
カメラとコンピュータ及び表示装置を備えたハードウェアを使用して、インプラント手術の対象の患者のパノラマ画像、水平断面画像、斜断面画像等のシミュレーション用画像を活用してインプラント手術支援を行うインプラント手術支援装置を前記コンピュータにより制御するためのプログラムであって、
前記コンピュータを、
前記シミュレーション用画像上にシミュレーション用インプラントであるシムインプラントを配置してインプラントの埋入位置及び埋入方向のシミュレーションを行う手段と、
前記患者の前記インプラント手術対象の口腔内の一部あるいは
前記患者の前記インプラント手術対象の口腔内模型の一部
をARマーカとして定義登録し、前記カメラで撮影している映像の中から前記ARマーカを検出追跡し、前記カメラで撮影している前記口腔内の映像あるいは口腔内模型の映像に重ねて、インプラントの埋入の位置及び向きを示すインプラント3Dオブジェクトをリアルタイムで前記表示装置に表示する手段と、
前記カメラで撮影している前記口腔内の映像あるいは前記口腔内模型の映像に重ねて表示される(前記インプラントの埋入位置及び方向を示す)前記インプラント3Dオブジェクトの表示位置を、前記シミュレーション用画像上に配置された前記シムインプラントの配置位置に一致させ、かつ前記シムインプラントを動かす操作がなされた場合には、前記インプラント3Dオブジェクトも前記操作に連動して動くようにする手段と、
して機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、インプラント手術支援装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、歯科用インプラント手術において、インプラントを埋設する際のドリリング位置や深さ、角度を正確にアシストするために患者の口腔内に装着するサージカルガイドプレートが用いられていた。
【0003】
そして、サージカルガイドプレートのガイド溝等にしたがって顎骨へドリリングを行うようにしていた。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術においては、以下のような問題点があった。
(1)サージカルガイドプレートにより術野がプレートで覆われるため、術野を術者が直視できなかった。そのため術者は不安を覚えていた。
【0006】
(2)手術時の冷却用の注水がサージカルガイドプレートにより遮られてしまい、骨火傷を起こす虞があった。
(3)遊離端症例では片側支持のためサージカルガイドプレートが不安定で位置ズレを起こし易いという虞があった。
【0007】
(4)フラップ手術を伴う症例ではサージカルガイドプレートを装着するため広い範囲でのフラップ(歯肉剥離)が必要となる上、フラップにより露出した骨面とサージカルガイドプレート内面とが適合し難いという虞があった。
【0008】
(5)臼歯部では、サージカルガイドプレートの上方からドリルを挿入可能なほど大きく口を開けられない患者の場合には適用ができない虞があった。
(6)ドリルを細いドリルから太いドリルに交換する都度に、径の異なるガイドリングに交換する必要があった。
【0009】
本発明は、上記に鑑みてなされたものであって、患者の口腔内にサージカルガイドプレート等を装着することなく、インプラント手術の支援を行えるインプラント手術支援装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0010】
実施形態のインプラント手術支援装置は、カメラとコンピュータ及び表示装置(ディスプレイ)を備えたハードウェアを使用して、インプラント手術の対象の患者のパノラマ画像、水平断面画像、斜断面画像等のシミュレーション用画像上にシミュレーション用インプラントであるシムインプラントを配置してインプラントの埋入位置及び埋入方向のシミュレーションを行うシミュレーション処理部と、患者のインプラント手術対象の口腔内の一部あるいは前記患者の前記インプラント手術対象の口腔内模型の一部をARマーカとして定義登録し、カメラで撮影している映像の中からARマーカを検出追跡し、カメラで撮影している口腔内の映像あるいは口腔内模型の映像に重ねて、インプラントの埋入の位置及び向きを示すインプラント3Dオブジェクトをリアルタイムで表示装置に表示するAR処理部と、カメラで撮影している口腔内の映像あるいは口腔内模型の映像に重ねて表示されるインプラント3Dオブジェクトの表示位置を、シミュレーション用画像上に配置されたシムインプラントの配置位置に一致させ、かつシムインプラントを動かす操作がなされた場合には、インプラント3Dオブジェクトも操作に連動して動くようにする連携処理部と、を備える。
【図面の簡単な説明】
【0011】
【
図1】
図1は、実施形態のインプラント手術支援システムの概要構成ブロック図である。
【
図2】
図2は、実施形態におけるインプラント埋入シミュレーションの手順のフローチャートである。
【
図3】
図3は、ディスプレイの表示画面の一例の説明図である。
【
図4】
図4は、シミュレーション用AR準備処理の第1の処理手順のフローチャートである。
【
図5A】
図5Aは、シミュレーション用AR準備処理の第1の処理の説明図である。
【
図5B】
図5Bは、シミュレーション用AR準備処理の第2の処理の説明図である。
【
図6】
図6は、シミュレーション用AR準備処理の第2の処理手順のフローチャートである。
【
図7】
図7は、実施形態におけるインプラント埋入手術の手順のフローチャートである。
【
図8】
図8は、埋入手術用AR準備処理の処理手順のフローチャートである。
【
図9】
図9は、3DコントラモデルデータCON及びドリル軸3DオブジェクトDRLの説明図である。
【
図10】
図10は、インプラント埋入手術時の口腔内の様子を撮影した説明図である。
【
図11】
図11は、ドリリング時の様子を練習用模型で示した説明図である。
【
図12】
図12は、ガイドリング付きのインプラント3Dオブジェクトの説明図である。
【
図13】
図13は、ガイドリング付きのインプラント3Dオブジェクト使用時の様子を示した説明図である。
【
図14】
図14は、ドリル軸3DオブジェクトDRLを用いないでドリルの位置合わせをするときの様子を示した説明図である。
【発明を実施するための形態】
【0012】
次に好適な実施形態について、図面を参照して説明する。
【0013】
図1は、実施形態のインプラント手術支援システムの概要構成ブロック図である。
インプラント手術支援システム10は、ハードウェアとして、インプラント手術支援システム10全体の制御を行うコンピュータ11と、撮影して映像データを出力するカメラ12と、コンピュータ11に接続して各種情報を表示する表示装置としてディスプレイ13Aおよびディスプレイ13Bと、キーボードやマウス等の入力装置14を備えている。
【0014】
また、インプラント手術支援システム10は、ソフトウェアとして、シミュレーションソフトSSおよびARアプリケーションソフトAAがコンピュータ11にインストールされ、それぞれシミュレーション処理部、AR処理部及び連携処理部として機能する。
【0015】
上記構成において、ディスプレイ13A(の所定の表示領域)には、シミュレーションソフトSSの後述する各種シミュレーション用画像が表示される。
また、ディスプレイ13B(の所定の表示領域)には、ARアプリケーションソフトAAのカメラ映像またはAR空間(画像)が切り替えて表示されるように設定されている。但し、デフォルトでは、カメラ映像が表示されるようになっている。
【0016】
ここで、シミュレーションソフトSS及びARアプリケーションソフトAAについて説明する。
【0017】
まず、シミュレーションソフトSSについて説明する。
シミュレーションソフトSSは、患者をCT撮影して得たDICOM(Digital Imaging and Communications in Medicine)データを読み込んで、ディスプレイ13A上にパノラマ画像GP、任意の水平面での断面画像(水平面断面画像)GS、任意の斜面での断面画像(斜面断面画像)GLなどの各種シミュレーション用画像を表示し、その画面上に実際に埋入するインプラントの径や長さに合わせたシミュレーション用インプラントであるシムインプラントSI(
図3中、円柱として示す)を配置して(インプラントの埋入手術を画面上でシミュレーションし、)どの位置にどの方向から何本のインプラントを埋入すべきかを検討しながら最適なインプラント埋入計画を立てるために用いられるソフトウェアである。
【0018】
次にARアプリケーションソフトAAについて説明する。
先ず、従来のAR(Augmented Reality:拡張現実)技術について説明する。
従来のAR技術においては、準備としてまず、ARマーカ(例えば、図形)を定義して登録し、3Dオブジェクトと呼ばれる3次元デジタル画像を製作してAR空間(ARマーカを定義し登録した空間)内に配置する。
【0019】
次に、例えば、紙や板に印刷したARマーカを現実世界の適所に貼り付けておく。
そして、カメラで撮影を行い、カメラで撮影している映像内のARマーカを検知して追跡(トラッキング)し、映像内のARマーカの画像の位置や角度及び大きさを認識する。そして、登録したARマーカと比較して、AR空間内に配置された3Dオブジェクトを座標変換することにより、3Dオブジェクトをカメラ映像内のARマーカの画像に重ねてリアルタイムで表示する。
【0020】
これにより、現実世界の実写映像中に3DオブジェクトがARマーカに貼りついているように表示されることとなる。
【0021】
近年、AR技術の進歩によりARマーカ(の画像)を現実世界に配置することなく、現実世界の物や領域をARマーカとして認識する技術が開発されている。
まず、例えば、現実世界の物や領域の3Dモデル上でARマーカの範囲を定義して登録する。
【0022】
そして、カメラで撮影している映像内においてARマーカと同じ形状とみなせる画像を検知して追跡(トラッキング)し、映像内のARマーカの画像の位置、角度及び大きさを認識する。そして、登録したARマーカと比較して、AR空間内に配置された3Dオブジェクトを座標変換することにより、3Dオブジェクトをカメラ映像内のARマーカの画像に重ねてリアルタイムで表示する。
【0023】
これにより、現実世界の実写映像中に3Dオブジェクトが、現実世界の物や領域に貼りついているように表示されることとなる。
【0024】
例えば、石膏模型PLMの形状の一部をARマーカとして登録することにより、石膏模型PLMをカメラで撮影している映像内において、ARマーカと同一の形状とみなせる画像を検知して追跡(トラッキング)し、映像内のARマーカの画像の位置、角度及び大きさを認識する。そして登録したARマーカと比較して、AR空間内に配置されたインプラント3DオブジェクトSIO(インプラント形状の3Dオブジェクト)を座標変換することにより、インプラント3DオブジェクトSIOを、カメラで撮影している石膏模型PLMの映像に重ねてリアルタイムで表示する。
【0025】
これにより、石膏模型PLMをカメラで撮影している実写映像中にインプラント3DオブジェクトSIOが石膏模型PLMに貼りついているように表示されることとなる。
【0026】
次にインプラント手術支援システム10で用いる3Dモデルの種類の一例について説明する。
インプラント手術支援システム10で用いる3Dモデルとしては、例えば、3D石膏モデル、3D骨モデル、3D口腔内モデル、3DコントラモデルCON等が挙げられる。
【0027】
3D石膏モデル3DM0は、口腔内を印象して得た石膏模型PLMを3Dスキャナでスキャンし、得られたSTL(Standard Triangulated Language)データをサーフェスレンダリング(Surface Rendering)して得られる3Dモデルである。
【0028】
3D骨モデルは、患者をCT撮影し、得られたDICOMデータをボリュームレンダリング(Volume Rendering)して得られる3Dモデルである。
【0029】
3D口腔内モデルは、患者の口腔内を光学スキャナで光学印象し、得られたSTLデータをサーフェスレンダリングして得られる3Dモデルである。
【0030】
3DコントラモデルCONは、インプラント埋入孔切削時に手術で用いる歯科用コントラDCNを3Dスキャナでスキャンし、得られたSTLデータをサーフェスレンダリングして得られる3Dモデルである。
【0031】
次にインプラント手術支援システム10で用いる3Dオブジェクトの種類の一例について説明する。
インプラント手術支援システムで用いる3Dオブジェクトとしては、例えば、インプラント3DオブジェクトSIO、板状3Dオブジェクト、ドリル軸3DオブジェクトDRL、上部構造付きインプラント3Dオブジェクト、下顎管3Dオブジェクト、上顎洞底3Dオブジェクト、ガイドリング付きインプラント3Dオブジェクト等が挙げられる。
【0032】
インプラント3DオブジェクトSIOは、埋入位置及び方向を指し示す中心軸DAXを持ったインプラント形状(例えば、筒状、柱状)の3Dオブジェクトである。
板状3Dオブジェクトは、板形状の3Dオブジェクトであり、シミュレーションにおいて斜断面位置を確認するのに用いるものである。
【0033】
ドリル軸3DオブジェクトDRLは、手術に用いるドリルの軸形状を有する3Dオブジェクトであり、歯科用コントラDCNに装着したドリルに重ねて表示されるものである。
上部構造付きインプラント3Dオブジェクトは、上部構造付きのインプラント形状を有する3Dオブジェクトであり、シミュレーションにおいて補綴的検討をする際に用いるものである。
【0034】
下顎管3Dオブジェクトは、下顎管を模した形状を有する3Dオブジェクトであり、手術の際にその位置を確認するために用いるものである。
上顎洞底3Dオブジェクトは、上顎洞底を模した形状を有する3Dオブジェクトであり、手術の際にその位置を確認するために用いるものである。
ガイドリング付きインプラント3Dオブジェクトは、
図12に示すようにドリル長DLだけ離れた上下二つのガイドリングUDL及びLDLが中心軸DAXに沿って一体に設けられているインプラント3Dオブジェクトで、ドリル軸3Dオブジェクトを用いなくてもドリルの位置決が可能となるものである。
【0035】
次に実施形態の動作を説明する。
図2は、実施形態におけるインプラント埋入シミュレーションの手順のフローチャートである。
まず、オペレータは、シミュレーションソフトSSを起動し、外部記憶装置の所定のフォルダから患者をCT撮影して得たDICOM(Digital Imaging and Communications in Medicine)データを読み込ませる(ステップS11)。
【0036】
図3は、二つのディスプレイにおける表示画面の一例の説明図である。
DICOMデータが読み込まれると、ディスプレイ13Aには、
図3に示すように、パノラマ画像GP、任意の水平面での断面画像(水平面断面画像)GS、任意の斜面での断面画像(斜面断面画像)GLが表示される(ステップS12)。
【0037】
この状態で、オペレータ(インプラント手術計画者)は、ディスプレイ13Aのパノラマ画像GP、水平面断面画像GSあるいは斜面断面画像GL上に、実際に埋入するインプラントの径や長さに合わせたシムインプラントSI(
図3中、円柱として示す)を配置して(ステップS13)、インプラントの埋入手術を画面上でシミュレーションし、どの位置にどの方向から何本のインプラントを埋入すべきかを検討することとなる。
【0038】
また、パノラマ画像GP、水平面断面画像GSあるいは斜面断面画像GL上に配置されたシムインプラントSIは、入力装置14のマウス等でドラッグして自在に移動可能で、パノラマ画像GP、水平面断面画像GS及び斜面断面画像GLのすべての画像上に連動して表示される。
【0039】
さらに、ARアプリケーションソフトAAを起動すると、ディスプレイ13Bには、ディスプレイ13Aのパノラマ画像GP、水平面断面画像GS及び斜面断面画像GL上に配置されたシムインプラントSIの位置へ、埋入の位置及び向きを示すインプラント3DオブジェクトSIOが、カメラ12で撮影している石膏模型PLMの映像に重ねて表示される。さらに、シムインプラントSIの動きに連動してインプラント3DオブジェクトSIOも動くようになっている。
【0040】
ここでAR技術者は、ARアプリケーションソフトAAをシミュレーションソフトSSと連携させるため、シミュレーション用AR準備処理を行う(ステップS14)。
【0041】
図4は、シミュレーション用AR準備処理の第1の処理手順のフローチャートである。
まず、AR技術者は、ディスプレイ13Bの表示を(カメラ映像から)AR空間画像に切り替えてから、ARアプリケーションソフトAAに3D石膏モデル3DM0の(STL)データを読み込ませて(ステップS31)、AR空間に3D石膏モデル3DM0を表示させる(ステップS32)。
【0042】
図5Aは、シミュレーション用AR準備処理の第1の処理の説明図である。
次にAR技術者は、ディスプレイ13Aの各種シミュレーション用画像(パノラマ画像GP、断面画像GS及び断面画像GL)を参照して、画面上で歯牙の咬頭(頂点)や窩底(谷底)など特徴的な3点(
図5Aの例では、3点A、B、C)をマウス等を用いて選択し、マークを付ける(ステップS33)。
【0043】
AR技術者が3点A,B,Cを選択すると、シミュレーションソフトSSにより3点A,B,CのシミュレーションソフトSSの空間における位置座標が表示されるので、AR技術者はこれを読み取る(ステップS34)。
【0044】
AR技術者は、ディスプレイ13Bに表示されたAR空間において、選択された3点A,B,Cの位置座標と同一の位置にマークを付ける(ステップS35)。
【0045】
次にAR技術者は、AR空間において、3D石膏モデル3DM0上における3点A,B,Cに該当する3点a,b,cにマークを付ける(ステップS36)。
【0046】
この時点においては、シミュレーションソフトSSの空間とAR空間の座標系(座標軸とスケール)が異なっているため、3点A,B,C相互間の距離と、3点a,b,c相互間の距離とは、異なっている。
【0047】
そこでAR技術者は、AR空間に表示された3D石膏モデル3DM0の大きさを拡大あるいは縮小させて3点間(2点間でも可)の距離を一致させる(ステップS37)。
【0048】
これにより、AR空間において、シミュレーションソフトSSの空間とスケール(3点間の距離)が一致した3D石膏モデル3DM1が得られる。
そこで、AR技術者は、座標軸を一致させるために、3D石膏モデル3DM1をマウスなどにより手動で動かして、
図5Aに示すように3点a,b,cを3点A,B,Cにそれぞれ一致させる(ステップS38)。
これにより、AR空間の座標系はシミュレーションソフトSSの空間の座標系と一致する。
【0049】
この状態においてAR技術者は、ARアプリケーションソフトAAのデータインポート(import)機能を用いて、シミュレーションソフトSSからシミュレーションソフトSSの空間に配置されたシムインプラントSIの座標を読み込ませる(ステップS39)。
【0050】
ここでAR技術者は、ARアプリケーションソフトAAの機能を用いて、シムインプラントSIに対応するインプラント3DオブジェクトSIOをAR空間内に生成する。
さらに、この状態ではシミュレーションソフトSSの空間とAR空間の座標系が一致しているので、生成したインプラント3DオブジェクトSIOを、読み込んだシムインプラントSIの座標と同じ座標に配置する(ステップS40)。
この状態でAR技術者は、3D石膏モデル3DM1上でARマーカの範囲を定義し、ARマーカとして登録する(ステップS41)。
【0051】
これらの結果、シミュレーションソフトSSで配置したシムインプラントSIの埋入位置へインプラント3DオブジェクトSIOを表示することが可能になる。さらに、シミュレーションソフトSS上でシムインプラントSIを動かすとそれに連動してインプラント3DオブジェクトSIOが動くことになる。
【0052】
この結果をプロジェクトとしてARアプリケーションソフトAAのプロジェクト保管フォルダ(ディレクトリ)11Bに保存して、シミュレーション用AR準備処理の第1の処理を終了する(ステップS42)。
【0053】
以上、ARアプリケーションソフトAAをシミュレーションソフトSSと連携させるためのシミュレーション用AR準備処理の第1の処理手順について説明したが、以下のような処理手順によっても連携が可能である。
【0054】
図6は、シミュレーション用AR準備処理の第2の処理手順のフローチャートである。
まず、AR技術者は、ディスプレイ13Bの表示を(カメラ映像から)AR空間に切り替えてから、ARアプリケーションソフトAAに3D石膏モデル3DM0の(STL)データを読み込ませて、(ステップS51)AR空間に3D石膏モデル3DM0を表示させる(ステップS52)。
【0055】
図5Bは、シミュレーション用AR準備処理の第2の処理の説明図である。
次に、AR技術者は、読み込んだ3D石膏モデル3DM0上でARマーカの範囲を定義し、ARマーカとして登録する(ステップS53)。
次に、AR技術者は、ディスプレイ13Aの各種シミュレーション用画像(パノラマ画像GP、断面画像GS及び断面画像GL)を参照して、画面上で歯牙の咬頭(頂点)や窩底(谷底)など特徴的な3点(
図5Bの例ではA,B,C)をマウス等を用いて選択し、マークを付ける(ステップS54)。
【0056】
AR技術者が3点A,B,Cを選択すると、シミュレーションソフトSSにより選択された3点A,B,CのシミュレーションソフトSSの空間における位置座標が表示されるので、AR技術者はこれを読み取る(ステップS55)。
【0057】
次に、AR技術者がディスプレイ13Bに表示されたAR空間において、3D石膏モデル3DM0上における3点A,B,Cに該当する3点a,b,cにマークを付けると(ステップS56)、ARアプリケーションソフトAAにより3点a,b,cのAR空間における位置座標が表示されるので、AR技術者はこれを読み取る(ステップS57)。
【0058】
次にAR技術者は、コンピュータ11の演算機能を用いて、3点A,B,Cの位置座標を3点a,b,cの位置座標に座標変換するための座標変換式を求める(ステップS58)。
【0059】
この状態においてAR技術者は、ARアプリケーションソフトAAのデータインポート(import)機能を用いて、シミュレーションソフトSSからシミュレーションソフトSSの空間に配置されたシムインプラントSIの座標を読み込ませる(ステップS59)。
AR技術者は、読み込んだシムインプラントSIの座標をステップS58で求めた座標変換式により座標変換する(ステップ60)。
【0060】
ここでAR技術者は、ARアプリケーションソフトAAの機能を用いて、シムインプラントSIに対応するインプラント3DオブジェクトSIOをAR空間内に生成する。さらに、生成したインプラント3DオブジェクトSIOを、読み込んだシムインプラントSIの座標をステップ60で座標変換して得られた座標に配置する(ステップS61)。
【0061】
これらの結果、シミュレーションソフトSSで配置したシムインプラントSIの埋入位置へインプラント3DオブジェクトSIOを表示することが可能になる。さらに、シミュレーションソフトSS上でシムインプラントSIを動かすとそれに連動してインプラント3DオブジェクトSIOが動くことになる。
この結果をプロジェクトとしてARアプリケーションソフトAAのプロジェクト保管フォルダ(ディレクトリ)11Bに保存して(ステップS62)、シミュレーション用AR準備処理の第2の処理を終了する。
【0062】
続いて、ディスプレイ13Bの表示を(AR空間から)カメラ映像に切り替えてから、石膏模型PLМをカメラ12により撮影し、ディスプレイ13Bに、カメラ12で撮影している石膏模型PLМの映像を表示する。
これにより、ディスプレイ13Bには、
図3に示したように、石膏模型PLМの映像上に埋入予定のすべてのインプラントのインプラント3DオブジェクトSIOが重ねて表示される(ステップS15)
【0063】
これでインプラント埋入シミュレーションの準備がすべて整ったのでシミュレーションを開始する。
まず、オペレータ(インプラント手術計画者)は、ディスプレイ13Aに表示された各種シミュレーション用画像(パノラマ画像GP、水平面断面画像GS、及び斜面断面画像GL)を見ながら解剖学的検討を加える(ステップS16)。
そして、必要に応じて、シムインプラントSIの配置位置を修正する(ステップS17)。
【0064】
続いて、ディスプレイ13Bに表示されたインプラント3DオブジェクトSIOを対合歯との関係などを見ながら歯科技工士などと共に石膏模型を手にとって補綴学的検討を加える(ステップS18)。
【0065】
そして、シムインプラントSIの配置に問題ないかを判断する(ステップS19)。
ステップS19の判断において、シムインプラントSIの配置に問題がある場合には(ステップS19;No)、シムインプラントSIを動かして修正する(ステップS20)。
【0066】
この状態で、再びステップS16に戻って、ディスプレイ13Aに表示された各種シミュレーション画像(パノラマ画像GP、水平面断面画像GS、及び斜面断面画像GL)を見ながら再び解剖学的検討を加え、必要であればシムインプラントSIを再度動かして修正し(ステップS17)、さらに再度補綴学的検討を加える(ステップS18)。以下、ステップS19の判断においてシムインプラントSIの配置に問題が無くなるまで上述した処理を繰り返す。
【0067】
ステップS19の判断において、シムインプラントの配置に問題が無い場合には(ステップS19;Yes)、インプラントの埋入位置を決定して、プロジェクトとしてシミュレーションソフトSSのプロジェクト保管フォルダ(ディレクトリ)11Aに保存し(ステップS21)、インプラント埋入シミュレーションを終了する。
【0068】
続いて、実施形態におけるインプラント埋入手術の手順について説明する。
図7は、実施形態におけるインプラント埋入手術の手順のフローチャートである。
まず、シミュレーションソフトSSに、プロジェクト保管フォルダ(ディレクトリ)11Aにプロジェクトとして保存された、シミュレーションで決定されたインプラント埋入位置情報を読み込ませる(ステップS71)。
【0069】
続いて、埋入手術用AR準備処理を行う(ステップS72)。
図8は、埋入手術用AR準備処理の処理手順のフローチャートである。
図9は、3DコントラモデルCON及びドリル軸3DオブジェクトDRLの説明図である。
【0070】
まず、ディスプレイ13Bの表示を(カメラ映像から)AR空間に切り替えてから、インプラント埋入孔切削時に当該手術で用いる歯科用コントラDCNを、3Dスキャナでスキャンし、得られた3Dコントラモデルの(STL)データをARアプリケーションソフトAAに読み込ませ(ステップS91)、3DコントラモデルCONをAR空間に表示させる(ステップS92)。
次に3DコントラモデルCONの一部または全部をコントラARマーカとして定義登録する(ステップS93)。
【0071】
さらに、手術に用いるドリルの軸形状を有するドリル軸3DオブジェクトDRLを生成し、カメラ映像中の歯科用コントラDCNに装着したドリルにドリル軸3DオブジェクトDRLがピッタリと重なって表示されるように、AR空間においてドリル軸3DオブジェクトDRLを正確に位置合わせする(ステップS94)。
この結果をプロジェクトとしてARアプリケーションソフトAAのプロジェクト保管フォルダ(ディレクトリ)11Bに保存して(ステップS95)、埋入手術用AR準備処理を終了する。
【0072】
これでインプラントの埋入手術の準備がすべて整ったのでインプラント埋入手術を開始する。なお、埋入手術用AR準備処理は、インプラント埋入手術に先立って行われていれば良く、直前に行う必要はない。
また、上述のシミュレーション用AR準備処理および埋入手術用AR準備処理を自動化するプログラムを組み込んだインターフェースを用いることにより、AR技術者でなくてもこれらの処理が可能になる。
【0073】
図10は、インプラント埋入手術時の口腔内の様子を撮影した説明図である。
インプラント埋入手術時においては、ディスプレイ13Bの表示を(AR空間から)カメラ映像に切り替えてから、患者の口腔内をカメラ12で撮影し、その映像をディスプレイ13Bに表示させる。
これにより、
図10に示すようにシミュレーションで決定されたインプラント埋入位置にインプラント3DオブジェクトSIOが口腔内の映像に重ねて表示される(ステップS73)。
【0074】
この状態で、まず術者は、歯肉を切開(フラップ)もしくは歯肉をパンチングし、スターティングポイント(起始点)をラウンドバー等で付与する(ステップS74)。
【0075】
ここで、歯科用コントラDCNにパイロット(ファースト)ドリルを装着し、歯科用コントラDCNをカメラ12の画角内に持ち込むと、
図10に示すようにドリル軸3DオブジェクトDRLが歯科用コントラDCNに装着したパイロット(ファースト)ドリルに重ねて表示される(ステップS75)。
【0076】
次に術者は、パイロット(ファースト)ドリルの先端をスターティングポイントに合わせ、インプラント3DオブジェクトSIOの中心軸DAXにドリル軸3DオブジェクトDRLを重ね合わせてパイロット(ファースト)ドリルの位置決めを行う(ステップS76)。
【0077】
図11は、ドリリング時の様子を練習用模型で示した説明図である。
そして術者は、
図11に示すように、インプラント3DオブジェクトSIOの中心軸DAXにドリル軸3DオブジェクトDRLを重ね合わせた状態を保持して所定の深さまでドリリングを行う(ステップS77)。
【0078】
そして、術者は、ドリリングによる埋入孔の径が埋入予定のインプラントの径に対し必要十分な大きさとなっているかを判断する(ステップS78)。
ステップS78の判断において、当該ドリルの穿孔では、径が必要十分な大きさではない場合には(ステップS78;No)、より太いドリルと交換し(ステップS79)、再びステップS76に戻って、ドリルの先端をドリリングで開けた埋入孔に合わせ、インプラント3DオブジェクトSIOの中心軸DAXにドリル軸3DオブジェクトDRLを重ね合わせてドリルの位置決めを行う。つづいて、インプラント3DオブジェクトSIOの中心軸DAXにドリル軸3DオブジェクトDRLを重ね合わせた状態を保持して所定の深さまでドリリングを行う(ステップ77)。以下、ステップS78の判断において、埋入孔の径が埋入予定のインプラントの径に対し必要十分な大きさとなるまで上述した処理を繰り返す。
【0079】
ステップS78の判断において、埋入孔の径がインプラント埋入に必要十分な大きさとなっている場合には、術者は、インプラントを埋入する(ステップS80)。
続いて、術者は、すべてのインプラント埋入が終わった否かを判断する(ステップS81)。
【0080】
ステップS81の判断において、未だ全てのインプラント埋入が終わっていない場合には(ステップS81;No)、再びステップS74に戻って、以下、上述した処理を繰り返す。
ステップS81の判断において、すべのインプラント埋入が終わった場合には(ステップS81;Yes)、ヒーリングキャップ装着し歯肉を縫合して、インプラント埋入手術を終了する(ステップS82)。
【0081】
以上の説明のように、本実施形態によれば、口腔内にはインプラント埋入手術の邪魔となるものが何も挿入されることがなく、サージカルガイドプレートを用いる場合の欠点がすべて解消されている。
【0082】
すなわち、
(1)サージカルガイドプレートにより術野がプレートで覆われることがないため、術野を術者が直視でき、安心して手術が行える。
(2)手術時の冷却用の注水がサージカルガイドプレートにより遮られることもなく、骨火傷を起こす確率を低減できる。
(3)遊離端症例でもサージカルガイドプレートがないため位置ズレを起こし易くはならない。
(4)フラップ手術を伴う症例でもサージカルガイドプレートを装着しないため広い範囲でのフラップ(歯肉剥離)が必要とはならず、サージカルガイドプレートと骨面との適合不良の心配もない。
(5)臼歯部の手術であっても、ドリルを挿入可能なほどに口を開けられれば、手術を適用することが可能となる。
【0083】
(6)ドリルを細いドリルから太いドリルに交換する都度に、径の異なるガイドリングに交換する必要があったが、ガイドリングが無いためその必要がない。
(7)さらに、サージカルガイドプレートを制作する必要もないため、サージカルガイドプレート製作の費用や製作時間がかからない。
【0084】
(8)また、治療計画立案の際にインプラントの埋入位置を解剖的視点と補綴的視点の両面から同時に検討することが可能となり、より患者に最適なインプラント埋入シミュレーションを行うことができる。
【0085】
以上の説明においては、インプラント3DオブジェクトSIOを円筒形状としていたが、実際のインプラントの形状に合わせたインプラント3Dオブジェクトとして表示するようにすることも可能である。
【0086】
本実施形態のインプラント手術支援装置(インプラント手術計画作成支援装置)は、CPUなどの制御装置と、ROM(Read Only Memory)やRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【0087】
本実施形態のインプラント手術支援装置で実行されるソフト(プログラム)は、インストール可能な形式又は実行可能な形式のファイルでDVD(Digital Versatile Disk)等のコンピュータで読み取り可能なディスク状記録媒体、USBメモリ、SSD(Solid State Disk)等の半導体記憶装置に記録されて提供される。
【0088】
また、本実施形態のインプラント手術支援装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のインプラント手術支援装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態のインプラント手術支援装置のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
【0089】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0090】
口腔内または石膏模型PLM上おいて、3Dオブジェクトが歯牙や歯槽骨(粘膜面)と重なって影になっている部分や歯槽骨内部に入っている部分を非表示もしくは半透明表示にするようにしてもよい。
この構成によれば、3Dオブジェクトを視覚的により立体的に感じさせることが可能になる。
また、ドリル軸3Dオブジェクトの表示を行う場合に、ドリル軸3Dオブジェクトの骨内部分の色を変えて表示するようにしてもよい。
この構成によれば、ドリルの深度を視覚的に認識することが可能になる。
【0091】
また、ディスプレイ13Bのカメラ映像内に、下顎管や上顎洞底を模した下顎管/上顎洞底3Dオブジェクトを口腔内領域または口腔内領域の模型の画像に重ねて表示するようにしてもよい。
この構成によれば、ディスプレイ13Bのカメラ映像上に下顎管/上顎洞底を表示することより、ドリルの骨内部分との距離を視覚的に認識することが可能となる。
【0092】
さらにこの場合において、ドリル軸3Dオブジェクトの先端と下顎管/上顎洞底3Dオブジェクトとの距離を表示するようにしてもよい。
この構成によれば、より正確にドリルの骨内部分との距離を把握できる。
【0093】
カメラ12で撮影している(口腔内あるいは口腔内模型の)映像において、インプラント3DオブジェクトSIOの中心軸DAXとドリル軸3DオブジェクトDRLとが一致した場合に、その旨を表示色あるいは音により報知するようにしてもよい。
これにより、術者はドリルの位置決めを容易に行うことが可能になる。
【0094】
図12は、ガイドリング付きのインプラント3Dオブジェクトの説明図である。
図13は、ガイドリング付きのインプラント3Dオブジェクト使用時の様子を示した説明図である。
ドリル軸3Dオブジェクトを用いない場合でも、
図12に示すように、ガイドリング付きインプラント3Dオブジェクトを使ってドリルの位置決めをすることができる。
この場合において、ガイドリング付きインプラント3Dオブジェクトの使い方は、前もって下のガイドリングLGLを骨面(表面)に合わせておき、
図13に示すようにドリルの先端を下のガイドリングLGLの中心(スターティングポイント)に合わせ、ドリルの後端を上のガイドリングUGLの中心に合わせてドリルの位置決めを行う。
【0095】
ARアプリケーションソフトAAには、ドリルを装着した3DコントラモデルCONの一部をコントラARマーカとして定義登録し、このコントラARマーカをトラッキングさせているときに、定義登録したドリルを装着した3DコントラモデルCONの一部とインプラント3DオブジェクトSIOの中心軸DAXとの前後関係をリアルタイムで認識する機能がある。この機能を用いて、定義登録したドリルを装着した3DコントラモデルCONの一部と重なっている(後方にある)部分のインプラント3DオブジェクトSIOの中心軸DAXを、リアルタイムで部分的に非表示にすることで、
図14に示すようにドリル軸3DオブジェクトDRLを表示させなくても、ドリルの位置決めを行うことが可能になる。
この場合において、ドリルの位置決め方法は、
図14に示すようにドリルの先端をスターティングポイントに合わせ、ドリルの後端をその中心から中心軸DAXが出ているように表示される位置に合わせてドリルの位置決めを行う。
【0096】
LiDAR(Light Imaging Detection and Ranging)スキャナをハードウェアに追加することにより、ドリルを装着した歯科用コントラDCNとインプラント3DオブジェクトSIOの中心軸DAXとの前後関係をリアルタイムで認識することが可能になる。このスキャナを用いて、ドリルを装着した歯科用コントラDCNと重なっている(後方にある)部分のインプラント3DオブジェクトSIOの中心軸DAXを、リアルタイムで部分的に非表示にすることで、
図14に示すようにドリル軸3DオブジェクトDRLを表示させなくても、ドリルの位置決めを行うことが可能になる。
【0097】
この場合において、ドリルの位置決め方法は、
図14に示すようにドリルの先端をスターティングポイントに合わせ、ドリルの後端をその中心から中心軸DAXが出ているように表示される位置に合わせてドリルの位置決めを行う。
【0098】
以上の説明においては、二つのディスプレイ13A、13Bを備えているように構成していたが、ディスプレイを一つとし、二つのディスプレイ13A、13Bに表示していた画像を一つのディスプレイの複数の表示領域に表示するように構成することも可能である。また、三つ以上のディスプレイを備え、これらのディスプレイにそれぞれシミュレーション画像、カメラ映像、AR空間を表示するように構成することも可能である。
またディスプレイに代えて、プロジェクタ等の他の表示装置を用いるようにすることも可能である。
【0099】
以上の説明においては、ローカルのコンピュータ11がシミュレーション処理部、AR処理部及び連携処理部の機能を実現していたが、これらの機能をクラウドのサーバーコンピュータに(インストールして)持たせ、カメラにより撮影した画像をクラウドのサーバーコンピュータにアップロードし、処理後の画像をローカルのコンピュータのディスプレイに表示するように構成することも可能である。
【符号の説明】
【0100】
10 インプラント手術支援システム
11 コンピュータ
11A シミュレーションソフトSSのプロジェクト保管フォルダ(ディレクトリ)
11B ARアプリケーションソフトAAのプロジェクト保管フォルダ(ディレクトリ)
12 カメラ
13A ディスプレイ(表示装置)
13B ディスプレイ(表示装置)
14 入力装置
AA ARアプリケーションソフト
CON 3Dコントラモデル
DAX インプラント3DオブジェクトSIOの中心軸
DCN 歯科用コントラ
DL ドリル長
DRL ドリル軸3Dオブジェクト
GP パノラマ画像
GS 水平面断面画像
GL 斜面断面画像
LGL 下のガイドリング
PLM 石膏模型
SI シムインプラント(シミュレーション用インプラント)
SIO インプラント3Dオブジェクト
SS シミュレーションソフト
UGL 上のガイドリング
3DM0 3D石膏モデル
3DM1 3D石膏モデル(スケールを一致させた後)