特許 6857178 歯の状態を視覚化する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6857178

(24)【登録日】2021年3月23日

(45)【発行日】2021年4月14日

(54)【発明の名称】歯の状態を視覚化する方法

(51)【国際特許分類】

   A61C 19/04 20060101AFI20210405BHJP

【ＦＩ】

   A61C19/04 Z

【請求項の数】11

【全頁数】8

(21)【出願番号】特願2018-520504(P2018-520504)

(86)(22)【出願日】2016年11月17日

(65)【公表番号】特表2018-534050(P2018-534050A)

(43)【公表日】2018年11月22日

(86)【国際出願番号】EP2016077934

(87)【国際公開番号】WO2017085160

(87)【国際公開日】20170526

【審査請求日】2019年10月31日

(31)【優先権主張番号】102015222782.0

(32)【優先日】2015年11月18日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】500058187

【氏名又は名称】シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】シュナイダー，サッシャ

(72)【発明者】

【氏名】デルザップ，エフゲニー

(72)【発明者】

【氏名】アロニ，ラビッド

【審査官】 木村 立人

(56)【参考文献】

【文献】 特表２０１０−５２４５２９（ＪＰ，Ａ）

【文献】 特表２０１２−５２０６９４（ＪＰ，Ａ）

【文献】 特開２０１３−２３６７４９（ＪＰ，Ａ）

【文献】 特開２０１４−１７１７０２（ＪＰ，Ａ）

【文献】 特表２０１４−５１３８２４（ＪＰ，Ａ）

【文献】 国際公開第２００９／１１６６６３（ＷＯ，Ａ１）

【文献】 国際公開第２０１５／１２３７５９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００ ― ３４／３７

Ａ６１Ｃ １／００ ― １９／１０

(57)【特許請求の範囲】

【請求項1】

患者の顔の画像を、顔データ記録（２）として記録する、歯の状態を視覚化する方法であって、
―前記顔データ記録（２）内の特徴点（３）を、顔認識方法を用いて自動的に認識し、
―唇間に定められた口腔領域（４）を、前記特徴点（３）に基づいて自動的に認識し、
―前記顔データ記録（２）における前記顔の位置、および前記顔データ記録（２）における前記顔の配向の三次元方向（５）を、前記特徴点（３）に基づいて自動的に認識し、
―前記歯の状態の仮想歯データ記録（１）を、前記顔の前記配向の前記三次元方向（５）に従って配向し、前記顔データ記録（２）に対して前記顔の前記位置に従って位置付け、
― 前記顔データ記録（２）内の前記口腔領域に、前記歯データ記録（１）を、一部重ね、および／もしくは重ね、ならびに／または前記顔データ記録（２）内の前記口腔領域を前記歯データ記録（１）で置き換え、結果を視覚化データ記録として表示することを特徴とする方法。

【請求項2】

前記顔データ記録（２）は、二次元または三次元であることを特徴とする、請求項１に記載の方法。

【請求項3】

前記歯データ記録（１）は、三次元であることを特徴とする、請求項１または２に記載の方法。

【請求項4】

前記方法は、一定の時間間隔で再実行されることを特徴とする、請求項１から３に記載の方法。

【請求項5】

前記時間間隔は、４２ミリ秒以下であることを特徴とする、請求項４に記載の方法。

【請求項6】

少なくとも四つの特徴点（３）を、前記口腔領域（４）の前記自動認識で、自動的に識別することを特徴とする、請求項１から５に記載の方法。

【請求項7】

少なくとも一つの三次元追加データ記録を、前記顔の前記配向の前記三次元方向（５）に従って配向し、前記視覚化データ記録に対して前記顔の前記位置に従って位置付けることと、前記視覚化データ記録の中の前記顔データ記録（２）および／または前記歯データ記録（１）に、前記追加データ記録を、一部重ね、および／もしくは重ね、ならびに／または前記視覚化データ記録の中の前記顔データ記録（２）および／または前記歯データ記録（１）を前記追加データ記録で置き換えることと、を特徴とする、請求項１から６に記載の方法。

【請求項8】

前記追加データ記録は、ボリュームデータ記録から分割され、前記位置に対する現在の歯の状態と相関がある、歯根の画像であることを特徴とする、請求項７に記載の方法。

【請求項9】

前記追加データ記録は、磁気共鳴断層撮影画像から分割され、前記位置に対する現在の歯の状態と相関がある、顎にある神経の画像であることを特徴とする、請求項７または８に記載の方法。

【請求項10】

前記追加データ記録は、顎関節の画像であることを特徴とする、請求項７から９に記載の方法。

【請求項11】

前記追加データ記録は、ドリルまたはドリル穴の画像であることを特徴とする、請求項７から１０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歯の状態を視覚化する方法に関し、歯の状態の仮想歯データ記録が利用可能となり、患者の顔の画像を、顔データ記録として記録する。

【背景技術】

【0002】

例えば、患者の顔への計画された歯科補綴の効果を視覚化するといった、歯の状態を視覚化する以前の方法では、大抵、仮想の歯の状態を適当な配向および位置調整で組み込んだ、患者の顔の静止画像または少なくとも回転可能な画像が示される。

【0003】

歯の状態を視覚化する方法は、例えば、独国実用新案第２０２００８０１４３４４号、独国特許出願公開第１０２０１３１０２４２１号または米国特許出願公開第２０１２／００９５７３２号より知られている。

【0004】

顔の画像の中で顔または顔の特徴点を、自動的に認識する様々な方法は、例えば、D. VukadinovicおよびM. Panticの「Automatic Facial Feature Point Detection using Gabor Feature Based Boosted Classifiers」（2005年）、IEEE International Conference on Systems, Man and Cybernetics、M. Dantoneらの「Real-time Facial Feature Detection using Conditional Regression Forests」（2012年）、IEEE Conference on Computer Vision and Pattern Recognition、または米国特許出願公開第２０１０／０３０５７８号より知られている。

【0005】

本発明の目的は、従来の技術をさらに発展させ改良することである。

【発明の概要】

【0006】

本発明の主題は、歯の状態を視覚化する方法であり、患者の顔の画像を、顔データ記録として記録し、顔データ記録内の特徴点が、顔認識方法を用いて自動的に認識され、唇間に定められた口腔領域が、特徴点に基づいて自動的に認識され、顔データ記録における顔の位置、および顔データ記録における顔の配向の三次元方向が、特徴点に基づいて自動的に認識され、歯データ記録が、顔の配向の三次元方向に従って配向し、顔データ記録に対する顔の位置に従って位置し、顔データ記録内の口腔領域に、歯データ記録が、一部重なりおよび／もしくは重なり、ならびに／または置き換わり、結果が視覚化データ記録として表示される。

【0007】

歯の状態は、すべての歯一式の画像だけでなく、歯１本または複数の歯を伴う、いかなる歯の状態であり得ることに留意すべきである。歯の状態は、例えば、純粋に仮想として計画されたデータ記録あることができ、すなわち、走査を用いてモデルから生成される、計画された歯科補綴のデータ記録であり得る。また、例えば、カメラを用いて生成される、実際の歯の状態のデータ記録でもあり得る。例えば、計画された歯科矯正治療の結果を示すために、例として、文字を歯科補綴部に補い、またはその周りで操作し得る。

【0008】

顔特徴点（facial feature point：ＦＦＰ）または生体特徴点ともしばしば称される特徴点は、二次元または三次元の顔認識方法の枠組み内で、自動的に、すなわち、コンピュータを用いて、ユーザとの相互作用なしで、顔の中で認識され得るポイントであり、例えば、鼻の頭、口角、目などである。

【0009】

本発明による方法の一つの利点は、計画された歯の状態を、患者、または治療を行う医師もしくは歯科技工士に対して、患者の顔内で視覚化し得ることである。現実を示す現在のデータと仮想データとの組み合わせは、しばしば拡張現実と称される。計画された歯の状態への効果は、現在の歯の状態の上に計画された歯の状態を完全に重ね合わせるか、または現在の歯の状態を計画された歯の状態で置き換えるかによって、特に明示される。計画された歯の状態および現在の歯の状態は、現在の歯の状態の上に計画された歯の状態を一部重ね合わせて、同時に表示され得る。例えば、計画された歯の状態および現在の歯の状態、すなわち、口腔領域内の顔データ記録の範囲は、異なる色で透けて表示され得る。結果として、例えば、現在の歯の状態を準備すると、計画された歯の状態との一致または偏差が検証され得る。

【0010】

有利なことに、顔データ記録は二次元または三次元である。二次元のデータ記録は、生成するのが簡単であり、すなわち、単純な装置、例えば、カメラを用いて生成し得る一方、より優れた品質の視覚化データ記録は、三次元のデータ記録で達成し得る。

【0011】

有利なことに、歯データ記録は三次元である。そのため、歯データ記録は簡単に、顔データ記録における顔の配向に適合する配向で、顔データ記録と組み合わることができ、または視覚化データ記録内に表示され得る。

【0012】

方法は、一定の時間間隔で有利に再実行される。更新される、すなわち、新しく記録される顔の画像に、視覚化データ記録を継続してまたは繰り返し生成することで、一種の顔の仮想鏡像を生み出す。それゆえ、患者には、自身の頭の向きを変えるか、または頭を動かし、口を開けるなどし、適切に計画された歯の状態に重ねながら、自身の顔の現在の配向または現在の表情に適合する顔の画像が常に示される。再実行は、例えば、常に等しい時間間隔で、自動的に実施され得る。しかしながら、再実行を開始するトリガー機構も提供され得る。これによって、場合により異なる時間間隔を導き得る。

【0013】

時間間隔は、有利にも４２ミリ秒以下であり、その結果、動画に典型的な２４Ｈｚのフレームレートを、リアルタイムで顔を視覚化しながら達成する。

【0014】

正確な認識を保証するために、少なくとも四つの特徴点を、口腔領域の自動認識に対して、有利にも自動的に識別する。

【0015】

少なくとも一つの三次元追加データ記録は、顔の配向の三次元方向に従って有利に配向され、視覚化データ記録に対する顔の位置に従って位置し、視覚化データ記録の中の顔データ記録および／または歯データ記録は、追加データ記録と、一部重なりおよび／もしくは重なり、ならびに／または置き換わる。このように、追加情報を簡単に視覚化データ記録内に表示し、ユーザにはっきりと示し得る。

【0016】

追加データ記録は、有利なことに、ボリュームデータ記録から分割され、位置に対する現在の歯の状態と相関がある、歯根の画像、磁気共鳴断層撮影画像から分割され、位置に対する現在の歯の状態と相関がある、顎にある神経の画像、顎関節の画像、またはドリルもしくはドリル穴の画像である。計画またはモニタリングのために、例えば、計画されたドリル穴の針路、またはセンサを用いて判定されるドリルの現在位置を、視覚化データ記録に表示し得る。

【図面の簡単な説明】

【0017】

本発明の設計例について図面に概要を述べる。図面は以下を示す。

【図1】図１は、本発明による方法の第１実施形態の概略画像である。

【図2】図２は、患者の治療のために設計された、歯科補綴のデジタルデータ記録の概略図である。

【図3】図３は、患者の顔の二次元デジタルデータ記録の概略図である。

【図4】図４Ａ、Ｂは、顔データ記録内で顔の配向を判定するための、特徴点を伴う顔データ記録の概略図である。

【図5】図５は、計画された歯科補綴の視覚化の概略図である。

【発明を実施するための形態】

【0018】

本発明による方法の第１実施形態について、図１に概要を述べる。

【0019】

患者のために設計された歯科補綴の三次元歯データ記録１が、方法ステップＳ１に従って提供される。三次元歯データ記録１の例について、図２に概要を述べる。

【0020】

患者への歯科補綴によって達成される結果を示すために、方法ステップＳ２に従って、患者の顔の二次元画像を記録することによって、一つの顔データ記録２を提供し、または一連の二次元画像を短時間間隔で記録することによって、一連の顔データ記録２を提供し、それぞれ一つの顔データ記録２が、一連の各画像に対して生成される。一つ以上の二次元画像は、例えば、カメラを使用することで記録し得る。顔は、例えば、カメラで撮影され得る。顔データ記録３の例を図３に示す。

【0021】

顔認識方法を活用して、特徴点３、すなわち、口角などの顔の特質点を、方法ステップＳ３において顔データ記録２内で識別する。方法ステップＳ４では、認識した特徴点３に基づいて、口または唇を顔データ記録２の中で識別する。

【0022】

二つの異なる配向の顔を伴う、図４Ａおよび４Ｂに示す通り、方法ステップＳ５で特徴点３に基づいて、顔データ記録２における患者の顔の配向の三次元方向５を判定する。顔の正面を向いた配向である配向の方向５は、顔データ記録２の画像面に対して垂直に、画像面から離れるように延在する一方、例えば、横から記録した顔に対する方向５は画像面内にある。方法ステップＳ５では、顔の三次元配向を、そのように顔の二次元画像から推定する。

【0023】

図５に概要を述べる通り、方法ステップＳ４に続く方法ステップＳ６では、唇の間に定められた領域を、顔データ記録２内で口腔領域４として分割して切り出す。

【0024】

方法ステップＳ７では、歯データ記録１の配向が、顔の配向の判定した方向５と合致し、位置が口腔領域４の位置と合致するように、歯データ記録１を、顔データ記録２の画像面に対して回転させて位置付ける。

【0025】

これを行うには、顔に対する歯科補綴の相対配向を、例えば、画像面内の歯データ記録１の配向と、顔データ記録２内の顔の配向の方向との関係に基づいて、方法ステップＳ８で確立する。顔データ記録２における顔の配向の関係は、例として、残存するであろう既存の歯、または置き換えられるべき歯に基づいて確立され得る。関係するデータは記録され、その結果、歯データ記録１の配向は、記録されたデータ、および顔データ記録２内の判定した顔の配向５を活用して、方法ステップＳ７で自動的に行われる。そのため、方法ステップＳ８を、各生成された顔データ記録に対して再実行する必要はなく、この理由から、図１では破線により示されている。

【0026】

また、方法ステップＳ８に従って、一度手で配向を実施することも可能である。そのように生み出される、顔データ記録２内の顔の配向の方向５に対する、歯データ記録１の相対配向を続けて記録するため、その後、顔の配向が変化し、結果として方向５が変化した場合でも、歯データ記録は自動的に位置し得る。

【0027】

方法ステップＳ９では、配向された三次元歯データ記録１を、顔データ記録の背後に表示する。図５に概略的に示し、切り出された口腔領域４を伴う、顔データ記録２および歯データ記録１から成るデータ記録は、本明細書では視覚化データ記録と称す。

【0028】

さらなる改良により、顔データ記録２および歯データ記録１を統合し表示する前に、歯データ記録２を方法ステップＳ１０で編集する。提供される歯データ記録２は、通常、ＣＡＤの方法を使用するＣＡＭ法用に生成されるデータ記録、すなわち、コンピュータ支援製造方法用に生成されるデータ記録である。コンピュータ支援製造のみでの使用を意図するデータ記録は、形状、すなわち、表面の位置に関連する情報を含む必要がある。しかしながら、本発明による方法では、歯データ記録１の出現が、可能な限り現実に近いほど有利である。このため、方法ステップＳ１に従って提供される歯データ記録１を、任意の方法ステップＳ１０に従って編集する。

【0029】

顔データ記録が、方法ステップＳ２に従って一定の時間間隔で繰り返し提供され、少なくとも方法ステップＳ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７およびＳ９を、各新しい顔データ記録に対して繰り返し行う場合、表示手段は仮想鏡の均等物であり、または継続的に生成される視覚化データ記録は、仮想鏡像の均等物である。患者は、自身の頭を動かし、および／または自身の口を開閉し、様々な視点から計画された歯科補綴の効果を見ることができる。特に、患者の顔の画像を生成する記録手段を、表示手段から可能な限り最小の距離に配置すると、現在の配向で患者の顔を表示し、計画された歯科補綴で拡張した鏡像の効果が達成される。

【0030】

顔データ記録２の口腔領域４を、方法ステップＳ６で切り出さず、代わりに、識別のみして歯データ記録１と一部重ねる場合、現在の歯の状態と計画された歯の状態との偏差が視覚化され得る。これを行うには、口腔領域４および歯データ記録１を、例として、異なる色で、例えば、一部透けるように同時に表示する。この視覚化により、歯の状態の準備を行うとき、現在の歯の状態の準備をリアルタイムでモニタリングする、または現在の歯の状態をリアルタイムでモニタリングするのが簡単に可能になる。

【0031】

また、判定した顔の配向の方向５および顔データ記録２における顔の位置に従って、追加データ記録を配向し、顔データ記録２および／または歯データ記録１上に、該追加データ記録を重ね合わせることによって、追加データ記録を視覚化データ記録に組みこむこともできる。

【0032】

例えば、顎の神経、顎関節、歯根、計画されたドリル穴の場所、または使用中の現在のドリルの位置および配向に関する追加情報を、はっきりと表示し得る。

【符号の説明】

【0033】

１ 歯データ記録
２ 顔データ記録
３ 特徴点
４ 口腔領域
５ 顔データ記録内における顔の配向の方向
Ｓ１〜Ｓ９ 方法ステップ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】