特許 7174966 歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-10

(45)【発行日】2022-11-18

(54)【発明の名称】歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ

(51)【国際特許分類】

   G09B 9/00 20060101AFI20221111BHJP

   G09B 23/28 20060101ALI20221111BHJP

【ＦＩ】

G09B9/00 Z

G09B23/28

【請求項の数】 8

(21)【出願番号】P 2021531487

(86)(22)【出願日】2020-08-21

(65)【公表番号】

(43)【公表日】2022-07-14

(86)【国際出願番号】 CN2020110381

(87)【国際公開番号】W WO2021032178

(87)【国際公開日】2021-02-25

【審査請求日】2021-06-17

(31)【優先権主張番号】201910777662.2

(32)【優先日】2019-08-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521235992

【氏名又は名称】ベイジン ユニドロー ブイアール テクノロジー リサーチ インスティテュート カンパニー リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＵＮＩＤＲＡＷ ＶＲ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ ＣＯ．， ＬＴＤ

【住所又は居所原語表記】７／Ｆ， Ｂｌｏｃｋ Ａ， Ｓｈｕｎｋｅ Ｂｕｉｌｄｉｎｇ， Ｓｈｕｎｙｉ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０１３００ （ＣＮ）

(74)【代理人】

【識別番号】100106297

【弁理士】

【氏名又は名称】伊藤 克博

(72)【発明者】

【氏名】ハオ、 エイミン

(72)【発明者】

【氏名】コン、 ユ

(72)【発明者】

【氏名】ジャオ、 ヨンタオ

(72)【発明者】

【氏名】ジャオ、 シャオハン

【審査官】大隈 俊哉

(56)【参考文献】

【文献】国際公開第２０１８／１６８８４２（ＷＯ，Ａ１）

【文献】特表２０１８－５３４０５０（ＪＰ，Ａ）

【文献】特表２０１９－５１７０４４（ＪＰ，Ａ）

【文献】「世界初、MR（複合現実）技術を活用した歯科治療シミュレーションシステムを発表」，リアライズ・モバイル・コミュニケーションズ株式会社ホームページ [online]，2017年03月17日，<https://www.realize-mobile.co.jp/press/2017031701/>

【文献】尾崎 正雄, Michael S. Downes，医工連携を歩く３，映像情報インダストリアル，日本，産業開発機構（株），2010年05月01日，第42巻 第5号，p.82-86

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００～ ９／５６

Ｇ０９Ｂ １７／００～１９／２６

Ｇ０９Ｂ ２３／００～２９／１４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータであって、歯科シミュレーション訓練プラットフォームと、フォースフィードバック装置を基とする歯科操作訓練システムと、拡張現実ヘッドマウントディスプレイを基とする観察システムと、を含み、
前記歯科シミュレーション訓練プラットフォームは、外形が歯科実践訓練に用いられる人工頭部ファントムに似ており、ユーザが操作環境に馴染むのに便利であって指の支えとして訓練効果の推移を実現するように構成され、
フォースフィードバック装置を基とする歯科操作訓練システムは、フォースフィードバック装置の支持具を歯科シミュレーション訓練プラットフォームに固定し、ユーザが握り持つよう、フォースフィードバック装置のエンドハンドルで歯科手術器械を置き換え、ユーザは、フォースフィードバック装置のエンドハンドルが作動するように操作し、作動範囲が人工頭部ファントムの口腔範囲をカバーし、フォースフィードバック装置が一定の出力力を作り出せ、歯、歯茎、舌及び頬を含む複数の組織をタッチする力覚の感じをシミュレーションするように構成され、
前記拡張現実ヘッドマウントディスプレイを基とする観察システムは、バーチャル環境を現実世界に重畳させてディスプレイし、メッシュ情報を受信し、バーチャル歯科用モデルとバーチャルツールモデルとによって構築されるバーチャル歯科環境をディスプレイするか、又は、歯科シミュレーション訓練プラットフォームとフォースフィードバック装置との実の環境を観察し、訓練プロセスでの没入感を高めるかをするように構成され、
前記視覚触覚融合拡張現実シミュレータの実現プロセスは、
ａ．実際の患者のＣＢＣＴ走査データとトゥルーカラー走査データ、および歯科手術器械のサイズ測定データと外形測定データとに基づき、バーチャル歯科環境を構築するための、バーチャル患者とバーチャルツールのモデルとを築き上げるステップ、
ｂ．バーチャル歯科用モデルと人工頭部ファントムとでスキャンによって取得された特徴ポイントに基づいてモデルをマッチングし、バーチャル環境が訓練モデルでの対応するポイントの空間的位置とマッチングするようにさせるステップ、
ｃ．モデルをマッチングした後に、メッシュ情報をバーチャル歯科手術のシミュレーションアルゴリズムに伝送してバーチャル歯科手術のシミュレーション計算を行い、ユーザがモバイルフォースフィードバック装置のエンドハンドルによってバーチャルツールの作動を制御し、拡張現実ヘッドマウントディスプレイで異なる角度から観察し、フォースフィードバック装置のエンドハンドルの６自由度姿勢情報と操作者の頭部位置情報とが、それぞれ１０００Ｈｚよりも大きい周波数と６０Ｈｚよりも大きい周波数とでバーチャル歯科手術のシミュレーションアルゴリズムによってリアルタイムに取得され、計算後に力覚情報とバーチャル環境のメッシュ情報とを出力するステップ、
ｄ．メッシュ情報を無線伝送の方式で拡張現実ヘッドマウントディスプレイに伝送してディスプレイする必要があり、伝送前に視覚情報を処理し、メッシュ情報を簡略化し、メッシュの鮮鋭な特徴を確保する前提で、メッシュ頂点の数を減らして伝送速度を上げ、６０Ｈｚよりも大きい更新周波数を実現するステップ、及び
ｅ．取得された操作者頭部情報に基づき、力覚視覚の空間的キャリブレーション行列を得て力覚視覚の空間的キャリブレーションを行い、ユーザが感じる出力力とユーザが観察する視覚情報とがマッチングするようにさせ、バーチャルツールがバーチャル環境での歯科組織に触れたと視覚的に観察した後に、正しい位置で正しい方向からのタッチ力を感じるようにさせるステップ、を含むことを特徴とする歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【請求項2】

前記歯科シミュレーション訓練プラットフォームの実現プロセスは、以下の通りであり、
（１）歯科シミュレーション訓練プラットフォームは、外形が、全体的に治療を受ける歯科患者に似ており、患者がデンタルチェアに横たわった時の外形の仕組みを真似し、歯科シミュレーション訓練プラットフォームシャーシ、連結部及び頭部という３つの部分によって構成されていること、
（２）歯科シミュレーション訓練プラットフォームシャーシは、堅固に支える、および、ホスト装置を配置する作用を果たすこと、
（３）歯科シミュレーション訓練プラットフォーム連結部は、歯科シミュレーション訓練プラットフォームのヘッド部のシャーシと底部のシャーシとを連結するためのものであり、堅固に支える作用を果たしながらフォースフィードバック装置を配置するためのものであること、及び
（４）歯科シミュレーション訓練プラットフォームのヘッド部は、外形と大きさが患者の実の頭部に似ており、フォースフィードバック装置のエンドハンドルとの干渉を防止するために、口腔及びその以下の部分が取り除かれ、ユーザ操作中に指の支えの作用を果たすために、半円形リングが元の口腔位置で配置されること、を含むことを特徴とする請求項１に記載の歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【請求項3】

前記フォースフィードバック装置を基とする歯科操作訓練システムの実現プロセスは、以下の通りであり、
（１）フォースフィードバック装置を移動し、フォースフィードバック装置作動時の空間的中心位置と歯科シミュレーション訓練プラットフォームの口腔の中心位置とを重ね合わせ、フォースフィードバック装置の位置を記録すること、及び
（２）フォースフィードバック装置の支持具を設計し、フォースフィードバック装置を歯科シミュレーション訓練プラットフォームに固定し、フォースフィードバック装置が使用中に揺れずに自由に作動するようにさせること、を含むことを特徴とする請求項１に記載の歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【請求項4】

前記拡張現実ヘッドマウントディスプレイを基とする観察システムの実現プロセスは、以下の通りであり、
（１）拡張現実装置としてＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓを選択し、該装置が無線伝送を実現し、ケーブルからの制限を受けないこと、及び
（２）拡張現実メガネを利用して歯科シミュレーション訓練プラットフォームとフォースフィードバック装置とを走査し、拡張現実メガネの作動中心を位置決めしながら、バーチャル環境を歯科シミュレーション訓練プラットフォームとフォースフィードバック装置とに重畳させてディスプレイし、周りの実の環境でのホログラムとのイントラクションを実現すること、を含むことを特徴とする請求項１に記載の歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【請求項5】

前記ステップaにおけるバーチャル環境の構築方法は、
（１）ＤＩＣＯＭフォーマットの患者口腔のＣＢＣＴデータを取得するステップ、
（２）ｓｔｌフォーマットの患者口腔の口腔走査データを取得するステップ、及び
（３）重畳して再構成された後に、完全な下半頭蓋骨の三次元表面と物理モデルとを得てバーチャル歯科用モデルを構成するステップ、を含むことを特徴とする請求項１に記載の歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【請求項6】

前記ステップｂにおけるモデルのマッチング方法は、
（１）バーチャル歯科用モデルのトライアングルメッシュの空間的位置(Ｐ_１、 Ｐ_２、……Ｐ_ｎ)を取得するステップ、
（２）人工頭部ファントムでの対応するポイントに対してサンプリングし、(Ｔ_０、Ｔ_１、……Ｔ_ｎ)を得るステップ、及び
（３）空間的キャリブレーション行列をＭとして設定し、最小二乗法を用いてフィッティングし、即ち、

【数1】

とし、Ｒ^２を最小化するようなキャリブレーション行列Ｍを求めるステップ、を含むことを特徴とする請求項５に記載の歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【請求項7】

前記ステップｄにおける視覚情報の処理方法は、
（１）メッシュの中のすべての頂点Ｖに関し、対称誤差行列

【数2】

と定義し、そのうち、Ｐ＝［ａｂｃｄ］が各頂点の周りがある平面であり、方程式のａｘ＋ｂｙ＋ｃｚ＋ｄ＝０で示され、Ｋ_ｐ＝ＰＰ^Ｔが二次基本誤差行列であるステップ、
（２）頂点v＝[ｖｘ ｖｙ ｖｚ １]^Ｔの誤差行列がΔ（ｖ）＝ｖ^ＴＱｖと定義するステップ、
（３）メッシュの中の辺(ｖ１，ｖ２)を簡略化して合わせた頂点がｖ_ｂａｒであり、頂点ｖ_ｂａｒの誤差行列Ｑ_ｂａｒ＝Ｑ１＋Ｑ２と定義するステップ、及び
（４）Δ（ｖ_ｂａｒ）を最小化にさせるように頂点ｖ_ｂａｒの位置を数値計算して、縮小した後、新しい頂点の誤差が最小の辺を選択して要件が満たされるまで繰り返し縮小するステップ、を含むことを特徴とする請求項１に記載の歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【請求項8】

前記ステップeにおける力覚視覚の空間的キャリブレーションアルゴリズムは、
（１）操作者頭部の位置情報Ｐ＝（ｘ，ｙ，ｚ，α，β，γ）を取得し、そのうち、ｘ、ｙ、ｚがユーザ頭部の位置情報であり、α、β、γがユーザ頭部の向き情報であること、
（２）頭部の空間的行列Ｍ＝Ｒ（α）・Ｒ（β）・Ｒ（γ）・Ｔｒａｎｓを計算して得て、Ｍを逆にして力覚視覚の空間的キャリブレーション行列Ｍ^－１を得て、そのうち、

【数3】

であること、及び
（３）計算で得られた出力力Ｆ＝（ｆ_０，ｆ_１，ｆ_２）を取得し、出力力を同次行列

【数4】

に転換し、Ｍ^－１をＱ_Ｆに応用し、変換された同次行列

【数5】

を求め出し、変換された出力力Ｆ_Ｔ＝（ｑ_３０，ｑ_３１，ｑ_３２）をフォースフィードバック装置に伝送し、１０００Ｈｚよりも大きい周波数で出力すること、を含むことを特徴とする請求項１に記載の歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歯科手術訓練シミュレーションの分野に関し、拡張現実技術、フォースレンダリング技術、コンピュータグラフィックス技術及びキネティクスなどの関連学科に基づき、歯科手術の操作プロセスをシミュレーションし、歯科関連手術操作のシミュレーション訓練を行う。

【背景技術】

【0002】

歯のケアに対する意識の高まりにつれて、歯周、デンタルインプラントなどの歯科治療のニーズが増える一方、期間が長くてコストが高い歯医者の技能研修上の現実的状況下で、歯科治療を手に入れる機会が極めて制限されている。本発明は、コンピュータグラフィックスと拡張現実などの新しい技術に基づき、歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータの構築手段を提案し、歯医者の研修に新たなルートを提供する。

【0003】

口腔医学は、実践と理論が組み合わせられた学科であり、歯医者の伝統的な実践研修が主に人工頭部ファントムに基づいて行われている。人工頭部ファントムの外形は、患者がデンタルチェアに横たわって治療を受けるときの歯科診察室の環境に似ているため、ユーザは、体位の調整と支点の利用を操作するなどのスキルをよく訓練し、訓練効果の推移を実現することができる一方、人工頭部ファントムで練習するプロセスには、部材が大量消耗し、訓練症例が単一でリアリティ感が劣っている欠陥もある。

【0004】

伝統的な歯科訓練手段の不足に対し、Ｍｏｎｇ Ｉｎｃ．などは、特許番号がＵＳ００９３８３８３２Ｂ１「ＨＡＰＴＩＣ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ」である特許に、デジタル化した訓練手段を提案しており、伝統的な訓練プロセスでの部材消耗の代わりに、フォースフィードバック装置を利用して歯をドリルするプロセスでのバーチャル力感を作り出すとともに、ダブルプロジェクションの方式を採ってバーチャル環境を展示して鏡面反射方式に基づいて視覚空間と力覚空間との統一を実現し、ユーザが観察するバーチャル環境を、ユーザが触れるバーチャル環境と、空間的位置が同じであるようにさせる。該手段の主な問題は以下の通りであり、鏡面反射の原理を採って構築した訓練プラットフォームは、外形が人工頭部ファントムと比較して大きな違いがあり、操作環境に馴染むまでユーザ時間を多く費やすだけではなく、同時に、指の支えも欠け、訓練効果の推移を実現するには容易ではない。また、バーチャル視覚環境とバーチャル力覚環境との空間的キャリブレーションを実現するために、スクリーンに映った画像の観察は反射鏡で反射された後にする必要があるため、操作手が操作中に観察できず、操作の没入感が劣っている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の技術によって解決しようとする課題は、歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータが提供され、外形が伝統的な人工頭部ファントムの歯科訓練プラットフォームに似ているから、操作中に指の支えとして用いることができること、バーチャル環境を構成する歯科用モデルと歯科用ツールモデルとがＣＴ走査と測定によって取得され、症例を複数シミュレーションすることができること、拡張現実メガネを利用して観察し、歯科用モデルと歯科用ツールなどのバーチャル環境を実の環境に重畳させてディスプレイして操作中の没入感を高めること、フォースフィードバック装置を利用してバーチャル力感を作り出し、訓練プロセスでの部材消耗を免れること、ような利点がある。

【課題を解決するための手段】

【0006】

歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータであって、歯科シミュレーション訓練プラットフォームと、フォースフィードバック装置を基とする歯科操作訓練システムと、拡張現実ヘッドマウントディスプレイを基とする観察システムと、を含み、
前記歯科シミュレーション訓練プラットフォームは、外形が歯科実践訓練に用いられる人工頭部ファントムに似ており、ユーザが操作環境に馴染むのに便利であって指の支えとして訓練効果の推移を実現するように構成され、
フォースフィードバック装置を基とする歯科操作訓練システムは、フォースフィードバック装置の支持具を歯科シミュレーション訓練プラットフォームに固定し、ユーザが握り持つよう、フォースフィードバック装置のエンドハンドルで歯科手術器械を置き換え、ユーザは、フォースフィードバック装置のエンドハンドルを作動するように操作し、作動範囲が人工頭部ファントムの口腔範囲をカバーし、フォースフィードバック装置が一定の出力力を作りさせ、歯、歯茎、舌及び頬を含む複数の組織をタッチする力覚の感じをシミュレーションするように構成され、
前記拡張現実ヘッドマウントディスプレイを基とする観察システムは、バーチャル環境を現実世界に重畳させてディスプレイし、メッシュ情報を受信し、バーチャル歯科用モデルとバーチャルツールモデルとによって構築されるバーチャル歯科環境をディスプレイするか、又は、歯科シミュレーション訓練プラットフォームとフォースフィードバック装置との実の環境を観察し、訓練プロセスでの没入感を高めるように構成される。
前記訓練シミュレータの実現プロセスは、
ａ．実際の患者のＣＢＣＴ走査データとトゥルーカラー走査データ、および歯科手術器械のサイズ測定データと外形測定データに基づき、バーチャル歯科環境を構築するための、バーチャル患者とバーチャルツールのモデルとを築き上げるステップ、
ｂ．バーチャル歯科用モデルと人工頭部ファントムでスキャンによって取得された特徴ポイントに基づいてモデルをマッチングし、バーチャル環境が実際の訓練モデルの対応するポイントの空間的位置とマッチングするようにさせるステップ、
ｃ．モデルをマッチングした後に、メッシュ情報をバーチャル歯科手術のシミュレーションアルゴリズムに伝送してバーチャル歯科手術のシミュレーション計算を行い、ユーザがモバイルフォースフィードバック装置のエンドハンドルによってバーチャルツールの作動を制御し、拡張現実ヘッドマウントディスプレイで異なる角度から観察し、フォースフィードバック装置のエンドハンドルの６自由度姿勢情報と操作者の頭部位置情報とが、それぞれ１０００Ｈｚよりも大きい周波数と６０Ｈｚよりも大きい周波数でバーチャル歯科手術のシミュレーションアルゴリズムによってリアルタイムに取得され、計算後に力覚情報とバーチャル環境のメッシュ情報とを出力するステップ、
ｄ．メッシュ情報を無線伝送の方式で拡張現実ヘッドマウントディスプレイに伝送してディスプレイする必要があり、伝送前に視覚情報を処理し、メッシュ情報を簡略化し、メッシュの鮮鋭な特徴を確保する前提で、メッシュ頂点の数を減らして伝送速度を上げ、６０Ｈｚよりも大きい更新周波数を実現するステップ、
ｅ．取得された操作者頭部情報に基づき、力覚視覚の空間的キャリブレーション行列を得て力覚視覚の空間的キャリブレーションを行い、ユーザが感じる出力力とユーザが観察する視覚情報とがマッチングするようにさせ、バーチャルツールがバーチャル環境での歯科組織に触れたと視覚的に観察した後に、正しい位置で正しい方向からのタッチ力を感じできるようにさせるステップ、を含む。

【0007】

前記歯科シミュレーション訓練プラットフォームの実現プロセスは、以下の通りである。
（１）歯科シミュレーション訓練プラットフォームは、外形が、全体的に治療を受ける歯科患者に似ており、患者がデンタルチェアに横たわった時の外形の仕組みを真似し、歯科シミュレーション訓練プラットフォームシャーシ、連結部及びヘッド部という３つの部分によって構成される。
（２）歯科シミュレーション訓練プラットフォームシャーシは、堅固に支える、および、ホスト装置を配置する作用を果たす。
（３）歯科シミュレーション訓練プラットフォーム連結部は、歯科シミュレーション訓練プラットフォームのヘッド部のシャーシと底部のシャーシとを連結するためのものであり、堅固に支える作用を果たしながらフォースフィードバック装置を配置するためのものである。
（４）歯科シミュレーション訓練プラットフォームのヘッド部は、外形と大きさが患者の実の頭部に似ており、フォースフィードバック装置のエンドハンドルとの干渉を防止するために、口腔及びその以下の部分が取り除かれ、ユーザ操作中に指の支えの作用を果たすために、半円形リングが元の口腔位置で配置される。

【0008】

前記フォースフィードバック装置を基とする歯科操作訓練システムの実現プロセスは、以下の通りである。
（１）フォースフィードバック装置を移動し、フォースフィードバック装置作動時の空間的中心位置と歯科シミュレーション訓練プラットフォームの口腔の中心位置とを重ね合わせ、フォースフィードバック装置の位置を記録する。
（２）フォースフィードバック装置の支持具を設計し、フォースフィードバック装置を歯科シミュレーション訓練プラットフォームに固定し、フォースフィードバック装置が使用中に揺れずに自由に作動できるようにさせる。

【0009】

前記拡張現実ヘッドマウントディスプレイを基とする観察システムの実現プロセスは、以下の通りである。
（１）拡張現実装置としてＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓを選択し、該装置が無線伝送を実現でき、ケーブルからの制限を受けない。
（２）拡張現実メガネを利用して歯科シミュレーション訓練プラットフォームとフォースフィードバック装置とを走査し、拡張現実メガネの作動中心を位置決めしながら、バーチャル環境を歯科シミュレーション訓練プラットフォームとフォースフィードバック装置とに重畳させてディスプレイし、周りの実の環境でのホログラムとのイントラクションを実現する。

【0010】

前記ステップaにおけるバーチャル環境の構築方法は、
（１）ＤＩＣＯＭフォーマットの患者口腔のＣＢＣＴデータを取得するステップ、
（２）ｓｔｌフォーマットの患者口腔の口腔走査データを取得するステップ、及び
（３）重畳して再構成された後に、完全な下半頭蓋骨の三次元表面と物理モデルとを得てバーチャル歯科用モデルを構成するステップ、を含む。

【0011】

前記ステップｂにおけるモデルのマッチング方法は、
（１）バーチャル歯科用モデルのトライアングルメッシュの空間的位置(Ｐ_１、 Ｐ_２、……Ｐ_ｎ)を取得するステップ、
（２）人工頭部ファントムでの対応するポイントに対してサンプリングし、(Ｔ_０、Ｔ_１、……Ｔ_ｎ)を得るステップ、及び
（３）空間的キャリブレーション行列をＭとして設定し、最小二乗法を用いてフィッティングし、即ち、

【数1】

とし、Ｒ^２を最小化するようなキャリブレーション行列Ｍを求めるステップ、を含む。

【0012】

前記ステップｄにおける視覚情報の処理方法は、
（１）メッシュの中のすべての頂点Ｖに関し、対称誤差行列

【数2】

と定義し、そのうち、Ｐ＝［ａｂｃｄ］が各頂点の周りがある平面であり、方程式のａｘ＋ｂｙ＋ｃｚ＋ｄ＝０で示すことができ、Ｋ_ｐ＝ＰＰ^Ｔが二次基本誤差行列であるステップ、
（２）頂点v＝[ｖ_ｘ ｖ_ｙ ｖ_ｚ １]^Ｔの誤差行列がΔ（ｖ）＝ｖ^ＴＱｖであると定義するステップ、
（３）メッシュの中の辺(ｖ１，ｖ２)を簡略化して合わせた頂点がｖ_ｂａｒであり、頂点ｖ_ｂａｒの誤差行列Ｑ_ｂａｒ＝Ｑ１＋Ｑ２と定義するステップ、及び
（４）Δ（ｖ_ｂａｒ）を最小化にさせるように頂点ｖ_ｂａｒの位置を数値計算して、縮小した後、新しい頂点の誤差が最小の辺を選択して要件が満たされるまで繰り返し縮小するステップ、を含む。

【0013】

前記ステップeにおける力覚視覚の空間的キャリブレーションアルゴリズムは、
（１）操作者頭部の位置情報Ｐ＝（ｘ，ｙ，ｚ，α，β，γ）を取得し、そのうち、ｘ、ｙ、ｚがユーザ頭部の位置情報であり、α、β、γがユーザ頭部の向き情報であること、
（２）頭部の空間的行列Ｍ＝Ｒ（α）・Ｒ（β）・Ｒ（γ）・Ｔｒａｎｓを計算して得て、Ｍを逆にして力覚視覚の空間的キャリブレーション行列Ｍ^－１を得て、そのうち、

【数3】

であること、及び
（３）計算して得られた出力力Ｆ＝（ｆ_０，ｆ_１，ｆ_２）を取得し、出力力を同次行列

【数4】

に転換し、Ｍ^－１をＱ_Ｆに応用し、変換された同次行列

【数5】

を求め出し、変換された出力力Ｆ_Ｔ＝（ｑ_３０，ｑ_３１，ｑ_３２）をフォースフィードバック装置に伝送し、１０００Ｈｚよりも大きい周波数で出力すること、を含む。

【発明の効果】

【0014】

従来の技術と比べて、本発明の利点は、（１）本発明の歯科シミュレーション訓練プラットフォームの外形が人工頭部ファントムの歯科シミュレーション訓練プラットフォームに似ており、ユーザ訓練プロセスでの指の支えとするとともに、空間的参照とすることができること、（２）本システムが、拡張現実メガネを利用して観察し、バーチャル環境を実の環境に重畳させてディスプレイし、没入感を高めること、（３）本システムが、フォースフィードバック装置に基づいてバーチャル力覚を提供し、訓練プロセスでの部材消耗を減少し、症例を複数シミュレーションすることができること、（４）力覚マッチングアルゴリズムによって、ユーザが観察するバーチャル環境とユーザが感じるフィードバックフォースの空間との位置が一致するようになり、訓練効果の推移にも有利であることを含む。

【図面の簡単な説明】

【0015】

【図1】本発明に係るシステムモジュールである。

【図2】システム作動原理の概略図である。

【図3】歯科シミュレーション訓練プラットフォームの概略図である。

【発明を実施するための形態】

【0016】

以下、図面に合わせて本発明に係る技術的手段についてさらに説明する。

【0017】

図２に示すように、本発明は歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータに関し、ユーザ操作中に指の支え及び空間的参照としている人工頭部ファントムの仕組みを基とする歯科シミュレーション訓練プラットフォームと、フォースフィードバック装置の出力力によって歯科治療プロセスでの複数の力覚の感じをシミュレーションするフォースフィードバック装置を基とする歯科操作訓練システムと、拡張現実ヘッドマウントディスプレイを基とする観察システムと、を含み、歯科患者のＣＢＣＴ走査データとトゥルーカラー走査データとに基づいてモデリングしてバーチャル歯科用モデルを得て、測定して得られた歯科手術ツールのサイズに基づいてモデリングしてバーチャルツールモデルを得て、バーチャル歯科訓練環境を構築し、複数の歯科症例のシミュレーションを実現し、バーチャル歯科用モデルとバーチャルツールモデルとに対して空間的にマッチングし、バーチャル歯科環境と歯科シミュレーション訓練プラットフォームとの空間がマッチングするようにさせ、拡張現実ヘッドマウントディスプレイを基とする観察システムは、バーチャル環境及び、歯科シミュレーション訓練プラットフォームとユーザの操作手などとの、バーチャル環境と実の環境とが協調してディスプレイすることを実現し、没入感を高めることができ、フォースフィードバック装置の空間的姿勢及び、拡張現実ヘッドマウントディスプレイのポジション、マッチングされたバーチャル口腔とツールモデルなどのデータを伝送して歯科手術のシミュレーションアルゴリズムに入力し、出力力情報と視覚メッシュ情報とを計算して得た後に、またフォースフィードバック装置と拡張現実ヘッドマウ ントディスプレイとへそれぞれ伝送して出力し、閉ループを実現し、メッシュ簡略化アルゴリズムに基づいて歯科手術のシミュレーションアルゴリズムから伝送される視覚情報を簡略化し、３０Ｈｚよりも大きい視覚的スレッド更新周波数を実現し、力覚視覚の空間的キャリブレーションアルゴリズムに基づいてコンピュータの出力力に対して方向的キャリブレーションをし、ユーザが感じる出力力の方向と観察する方向とが一致するようにさせ、そして、フォースフィードバック装置に届けて出力する。

【0018】

人工頭部ファントムを利用する伝統的な歯科技能訓練手段と比べて、本システムは、フォースフィードバック装置に助けを借りてバーチャル力感を作り出し、人工頭部ファントムを利用して訓練するときの部材消耗を省くとともに、単一な訓練症例の問題を解決し、従来のデジタル化した歯科訓練手段と比べて、本システムは、バーチャル環境及び歯科シミュレーション訓練プラットフォームとユーザの操作手などとの、バーチャル環境と実の環境とに対する同次観測と力感マッチングとを実現し、多通路からの視覚的フィードバック、視覚触覚融合のフィードバックという著しい特徴があり、臨床操作の習慣に適合する。

【0019】

図３に示すように、歯科シミュレーション訓練プラットフォームは、底部シャーシ８、連結部９及びヘッド部１０という３つの部分によって構成され、システムの構成及び作動原理は、図２に示すように、フォースフィードバック装置を基とする歯科操作訓練システムは、フォースフィードバック装置の支持具１、フォースフィードバック装置２及びフォースフィードバック装置の操作ハンドル３という３つの部分によって構成され、拡張現実メガネを基とする観察システムは、主に拡張現実メガネ５によって構成され、拡張現実メガネにより、ユーザは、バーチャル歯科用ツール４とバーチャル歯科環境７とを観察することができる。

【0020】

図１に示すように、本発明の具体的実現は、以下のステップを含む。

【0021】

ステップ１において、歯科訓練用伝統的な人工頭部ファントムを模造し、主にシャーシ、連結部及びヘッド部という３つの部分の構造を含む、本システムに係る歯科シミュレーション訓練プラットフォームを構築し、図３は、歯科シミュレーション訓練プラットフォームの概略図である。

【0022】

歯科シミュレーション訓練プラットフォームの実現ステップは、以下の通りであり、シャーシの外形を直方体として設計し、ホスト装置を配置することもできれば、堅固に支えることもできるステップ、実際の治療プロセスでの患者頭部の高さを測定し、シャーシの高さとして中間値を選択するステップ、シャーシの幅として歯科のトリートメントチェアの幅を測定するステップ、及びホスト装置が入るように確保できるシャーシの長さであるステップ、を含む。

【0023】

歯科シミュレーション訓練プラットフォームの連結部の実現ステップは、以下の通りであり、連結部の外形が患者の肩部に似ているように設計して実の大人患者の肩部のサイズを測定し、連結部のサイズを確定する。

【0024】

歯科シミュレーション訓練プラットフォームのヘッド部の実現ステップは、以下の通りであり、実の患者の頭部サイズと外形とを参照して設計するステップ、フォースフィードバック装置との干渉を防止するために鼻腔以下の部分を除去するステップ、及び実の患者の口腔の１.２倍大きさの口腔を選択し、操作中に指の支えとして不規則の弧形リングを設計し、元の口腔位置に配置するステップ、を含む。

【0025】

ステップ２において、フォースフィードバック装置を基とする歯科訓練システムを実現し、フォースフィードバック装置を歯科シミュレーション訓練プラットフォームに配置し、バーチャル力感を作り出し、部材の消耗を免れ、実現ステップは、以下の通りであり、
（１）フォースフィードバック装置を移動し、フォースフィードバック装置作動時の空間的中心位置と人工頭部ファントムの口腔の中心位置とを重ね合わせるようにさせ、フォースフィードバック装置の位置を記録する。
（２）フォースフィードバック装置の底部の外形に倣って、連結部で、フォースフィードバック装置を固定し、装置が自由に作動するように確保するための溝を切り開く。

【0026】

ステップ３において、拡張現実ヘッドマウントディスプレイを基とするディスプレイシステムを実現するステップであって、該ステップは、拡張現実ヘッドマウントディスプレイのモデルナンバーとしてＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓヘッドマウントディスプレイを選定し、ヘッドマウントディスプレイを利用して歯科シミュレーション訓練プラットフォームと拡張現実メガネとを走査し、実の環境を画定することを含む。

【0027】

ステップ４において、バーチャル歯科用モデルとバーチャル患者モデルとを構築するステップであって、該ステップは、（１）ＣＢＣＴ装置とトゥルーカラー走査装置とを利用して患者の口腔を走査し、ＤＩＣＯＭフォーマットの患者口腔のＣＢＣＴデータとｓｔｌフォーマットの患者口腔の口腔走査データを取得するステップ、（２）重畳して再構成された後に、完全な下半頭蓋骨の三次元表面と物理モデルとを得てバーチャル歯科用モデルを構成するステップ、及び（３）歯科手術で利用されるツールの外形とサイズとを測定し、モデリングしてバーチャルツールモデルを得るステップ、を含む。

【0028】

ステップ５において、バーチャル歯科用モデルに対して空間的キャリブレーションを行うステップであり、具体的実現は、以下のとおりであり、（１）バーチャル歯科用モデルのトライアングルメッシュの空間的位置(Ｐ_１、 Ｐ_２、……Ｐ_ｎ)を取得するステップ、（２）人工頭部ファントム上の対応するポイントに対してサンプリングし、(Ｔ_０、Ｔ_１、……Ｔ_ｎ)を得るステップ、及び（３）空間的キャリブレーション行列をＭとして設定し、最小二乗法を用いてフィッティングし、即ち、

【数6】

とし、Ｒ^２を最小化するようなキャリブレーション行列Ｍを求めるステップ、を含む。

【0029】

ステップ６において、バーチャル歯科用モデルとバーチャルツールモデルとをバーチャル歯科手術のシミュレーション方法に伝送し、計算用シミュレーションデータを取得するステップであり、オフラインで該ステップを完了させるため、モデルのメッシュの頂点が多めであるように、計算の精度が向上するように期待されている。

【0030】

ステップ７において、バーチャル歯科手術のシミュレーション方法は、１０００Ｈｚよりも大きい周波数で力覚スレッド計算を行うステップであって、該ステップは、フォースフィードバック装置の６自由度姿勢情報を収集し、バーチャル環境でのツールを移動させてバーチャル歯科用モデルとイントラクション計算をさせるように制御するステップ、計算完了後に、出力力情報を出力して送信し、力覚視覚の空間的キャリブレーションの後に、フォースフィードバック装置に送信してフィードバックフォースを作り出すステップ、を含む。

【0031】

ステップ８において、バーチャル歯科手術のシミュレーション方法は、３０Ｈｚよりも大きい周波数で力覚スレッド計算を行うステップであって、該ステップは、ヘッドマウントディスプレイによって測定される操作者頭部の位置情報を収集し、計算後に、バーチャル環境のメッシュ情報を出力するステップ、及びメッシュ情報を視覚情報によって処理した後に、拡張現実ヘッドマウントディスプレイに送信し、実の世界に重畳してバーチャル環境を実現するステップを含む。

【0032】

ステップ９において、力覚視覚の空間的キャリブレーションであって、
（１）操作者頭部の位置情報Ｐ＝（ｘ，ｙ，ｚ，α，β，γ）を取得し、そのうち、ｘ、ｙ、ｚが患者頭部の位置情報であり、α、β、γがユーザ頭部の向き情報であるステップ、
（２）頭部の空間的行列Ｍ＝Ｒ（α）・Ｒ（β）・Ｒ（γ）・Ｔｒａｎｓを計算して得て、Ｍを逆にして力覚視覚の空間的キャリブレーション行列Ｍ^－１を得ることができ、そのうち、

【数7】

であるステップ、及び
（３）コンピュータによって計算されて得られた出力力Ｆ＝（ｆ_０，ｆ_１，ｆ_２）を取得し、出力力を同次行列

【数8】

に転換し、Ｍ^－１をＱ_Ｆに応用し、変換された同次行列

【数9】

を求め出し、変換された出力力Ｆ_Ｔ＝（ｑ_３０，ｑ_３１，ｑ_３２）をフォースフィードバック装置に伝送するステップ、を含む。

【0033】

ステップ１０において、視覚情報処理であって、
（１）メッシュの中のすべての頂点Ｖに関し、対称誤差行列

【数10】

と定義し、そのうち、Ｐ＝［ａｂｃｄ］が各頂点の周りがある平面であり、方程式のａｘ＋ｂｙ＋ｃｚ＋ｄ＝０で示されることができ、Ｋ_ｐ＝ＰＰ^Ｔが二次基本誤差行列であるステップ、
（２）頂点v＝[ｖｘ ｖｙ ｖｚ １]^Ｔの誤差行列がΔ（ｖ）＝ｖ^ＴＱｖであると定義するステップ、
（３）メッシュの中の辺(ｖ１，ｖ２)を簡略化して合わせた頂点がｖ_ｂａｒであり、頂点ｖ_ｂａｒの誤差行列Ｑ_ｂａｒ＝Ｑ１＋Ｑ２と定義するステップ、及び
（４）Δ（ｖ_ｂａｒ）を最小化にさせるように頂点ｖ_ｂａｒの位置を数値計算し、縮小した後、新しい頂点の誤差が最小の辺を選択して要件が満たされるまで繰り返し縮小するステップ、を含む。

【図1】

【図2】

【図3】