(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-22
(54)【発明の名称】歯列弓のモデルを生成するための方法
(51)【国際特許分類】
A61C 7/00 20060101AFI20220714BHJP
A61C 13/34 20060101ALI20220714BHJP
【FI】
A61C7/00
A61C13/34 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021569188
(86)(22)【出願日】2020-05-20
(85)【翻訳文提出日】2022-01-18
(86)【国際出願番号】 EP2020064182
(87)【国際公開番号】W WO2020234411
(87)【国際公開日】2020-11-26
(32)【優先日】2019-05-22
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】519380842
【氏名又は名称】デンタル モニタリング
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】フィリップ・サラ
(72)【発明者】
【氏名】ローラン・ドブロー
(72)【発明者】
【氏名】トマ・ペリサール
【テーマコード(参考)】
4C052
【Fターム(参考)】
4C052JJ10
(57)【要約】
本発明は、患者の歯列弓の、「更新後モデル」と呼ばれる3次元デジタルモデルを、「アクティブアライナ」と呼ばれる歯列矯正アライナによる歯列弓の治療の過程において生成する方法であって、治療が、開始時間t1において生成され、複数の中間モデルを含む治療シナリオによってシミュレートされており、各中間モデルが、歯列弓の3次元デジタルモデルであり、中間モデルが、歯のモデルに分割され、開始時間に続くそれぞれの中間時間における歯列弓を表すように生成される方法において、1)治療の過程における更新時間taにおいて、各更新後画像が、動作位置において歯列弓に取り付けられたアクティブアライナを表す少なくとも1つの更新後画像、すなわち、「アライナを有する画像」を取得するか、またはアライナを有さない歯列弓を表す少なくとも1つの更新後画像、すなわち、「露出した歯の画像」を取得するステップと、3)「更新後解析画像」と呼ばれる更新後画像において、治療シナリオに適合していない歯の表示を探索するステップと、1本または複数の適合していない歯が識別された場合に、4)更新時間に応じて、中間モデルのうちの1つ、すなわち「アクティブ中間モデル」を決定し、次いで、アクティブ中間モデルにおいて、それぞれが適合していない歯を表す1つまたは複数の歯のモデルを識別するステップと、5)「更新後変形画像」と呼ばれる、更新後画像のうちの少なくとも1つに適合している更新後モデルが得られるまで、アクティブ中間モデルを変形させるステップとを含む、方法に関する。
【特許請求の範囲】
【請求項1】
患者の歯列弓の、「更新後モデル」と呼ばれる3次元デジタルモデルを、「アクティブアライナ」と呼ばれる歯列矯正アライナによる前記歯列弓の治療の過程において生成する方法であって、前記治療が、初期時間(t
1)に生成され複数の中間モデル(M
i)を含む治療シナリオによってシミュレートされており、各中間モデルが、前記歯列弓の3次元デジタルモデルであり、前記中間モデルが、切断されて歯モデルが作成され、前記初期時間の後の1つのそれぞれの中間時間(t
i)における前記歯列弓を表すように決定される、方法において、
1) 前記治療の前記過程における更新時間において、少なくとも1つの更新画像を取得するステップであって、各更新画像が、使用位置において前記歯列弓に取り付けられた前記アクティブアライナを表すアライナ画像(Ig)、またはアライナを有さない前記歯列弓を表す露出した歯の画像(Id)である、ステップと、
2) ステップ4)の前に、および好ましくはステップ3)の前に、前記更新時間に応じて、前記中間モデルまたは「アクティブ中間モデル」を決定するステップと、
3) 「解析更新画像」と呼ばれる更新画像において、治療シナリオに適合していない歯の1つまたは複数の表示を探索するステップと、
1つまたは複数の適合していない歯が検出された場合、
4) それぞれ、前記アクティブ中間モデル内の1つまたは複数の適合していない歯を表す1つまたは複数の歯モデルを識別するステップと、
5) 「変形更新画像」と呼ばれる少なくとも1つの前記更新画像に適合する更新後モデルが得られるまで前記アクティブ中間モデルを変形させるステップと、
を含み、
前記方法において、少なくとも1つの前記適合していない歯の非適合性は、前記更新画像を前記アクティブ中間モデルと比較することによって測定され、次いで、ステップ5)において、前記測定に応じて、前記少なくとも1つの適合していない歯の前記歯モデルを移動させる、方法。
【請求項2】
ステップ3)において、適合していない歯を検出するために、仮想取得デバイスが前記解析更新画像にできるだけ近い前記アクティブ中間モデル上のビューを有するのを可能にする前記仮想取得デバイスの位置、定位、および較正が追及され、次いで、
前記ビューと前記解析更新画像が比較され、または前記解析更新画像の区別情報を表す更新後マップが、前記ビューにおける前記区別情報を表す参照マップと比較され、ならびに/または
前記解析更新画像がアライナ画像であり、少なくとも1本の歯の外形および前記アクティブアライナの外形が、前記解析更新画像において判定され、次いで前記外形同士が比較される、請求項1に記載の方法。
【請求項3】
ステップ5)における前記アクティブ中間モデルの前記変形の間、移動させる歯モデルは、適合していない歯の歯モデルだけである、請求項1または2に記載の方法。
【請求項4】
ステップ5)において、前記適合していない歯の前記歯モデルの前記移動は、反復プロセスであり、各反復において、
前記歯モデルのうちの1つまたは複数は、試験すべき歯列弓モデルを得るように移動させられ、次いで、
前記試験すべき歯列弓モデルは、前記モデルと前記変形更新画像との間の適合度を評価することによって試験され、
前記更新後モデルは、前記すべての試験済みモデルのうちで、最高の適合度を有するモデルである、請求項3に記載の方法。
【請求項5】
前記反復プロセスの前に、前記適合している歯の前記表示が前記変形更新画像内の前記適合している歯の前記表示と一致して重なり合うことが可能であるビューを生成するように前記アクティブ中間モデルを観測するのを可能にする仮想取得デバイスの位置、定位、および較正、または「制約付き仮想取得条件」が追及され、次いで、
前記反復プロセスの間、各反復において、前記変形更新画像を試験中の前記歯列弓モデルの、前記制約付き仮想取得条件下のビューと比較することによって、試験中の前記歯列弓モデルと前記変形更新画像との間の適合度が評価される、請求項4に記載の方法。
【請求項6】
ステップ1)において、前記更新画像は、写真または映像から抽出された画像であり、携帯電話を用いて取得される、請求項1から5のいずれか一項に記載の方法。
【請求項7】
ステップ5)の前に、前記アクティブ中間モデルは、その精度を向上させるように処理される、請求項1から6のいずれか一項に記載の方法。
【請求項8】
ステップ5)において、前記アクティブ中間モデルの前記変形は、前記アクティブ中間モデルの歯モデルの移動を含み、前記移動は、前記変形更新画像を考慮した歯モデルごとの配置エラーが、1mm未満、好ましくは5/10mm未満、好ましくは3/10mm未満、好ましくは2/10mm未満、好ましくは1/10mm未満になるまで継続される、請求項1から7のいずれか一項に記載の方法。
【請求項9】
ステップ5)において、前記変形更新画像は、露出した歯の画像である、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記アクティブ中間モデルとしては、前記アクティブ中間モデルの前記中間時間と前記更新時間の差が2週間未満になるようなアクティブ中間モデルが選択される、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記治療シナリオの中間モデルは、アライナの交換を示す中間時間において予期される構成の前記歯列弓を表す、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記治療シナリオは、実質的に連続する一連の中間モデルである、請求項1から11のいずれか一項に記載の方法。
【請求項13】
ステップ2)の前に、前記歯列弓の中間モデルが、前記治療シナリオの中間モデルから生成され、次いで中間モデルを介して前記治療シナリオに追加される、請求項1から12のいずれか一項に記載の方法。
【請求項14】
ステップ3)において、前記解析更新画像内の歯の前記表示は、前記解析更新画像が、前記アクティブ中間モデルのビューと同じスケールであり実寸大である前記解析更新画像に適合する前記アクティブ中間モデルのビューと一致して重なり合うときに、前記表示の少なくとも1つの点が前記ビューにおける前記対応する点から1/10mmよりも長く、7mm未満である距離だけ離れている場合に前記治療シナリオに適合していない、請求項1から13のいずれか一項に記載の方法。
【請求項15】
歯列矯正アライナを製造するための方法であって、請求項1から14のいずれか一項に記載の更新後モデルを生成するための方法を含み、次いで、
6) 前記更新後モデルおよび理論上の最終構成における前記歯列弓を表す最終モデルに基づいて、前記歯列弓を前記更新時間での実際の構成から前記理論上の最終構成に向けて修正するのに適した「更新後」アライナを設計するステップと、
7) 前記更新後アライナを製造し、前記更新後アライナを前記患者に提供するステップと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歯列弓の3次元デジタルモデルを生成するための方法に関する。
【0002】
本発明は、本発明による生成方法によって、特に歯列矯正アライナによって歯列矯正治療を適合させることを目的としてそのようなアライナを製造する方法にも関する。
【0003】
最後に、本発明は、これらの方法を実施するためのコンピュータシステムに関する。
【背景技術】
【0004】
図1および
図2に示すように、歯列矯正アライナ10は従来、一体構成の取り外し可能デバイスの形をとり、従来、透明ポリマー材料で作られており、歯列矯正アライナ10が取り付けられる歯列弓の連続する歯に応じた形状を有する。歯列矯正アライナ10は、溝12を備え、溝12の概形はU字形であり、歯列弓の複数の歯、一般には歯列弓のすべての歯が溝12に収容され得るような形状を有する。
【0005】
溝の形状は、アライナを歯に確実に取り付けるように決定されるが、歯の所望の目標位置にも応じて決定される。より正確には、形状は、アライナが、その使用位置(service position)にあるときに、治療された歯を目標位置の方へ動かす傾向がある応力を加えるように決定される。
【0006】
従来、歯列矯正治療の開始時には、様々なアライナが治療の間の様々な時間に有さなければならない形状が決定され、次いで対応するアライナのすべてのアライナが製造されている。この目的のために、以下のステップ、すなわち、
- 初期時間t1、一般に治療の開始時には、初期構成である患者の歯列弓の、「初期モデル」と呼ばれる3次元デジタルモデルを生成し、初期モデルを切断して歯モデルを作成するステップと、
- 歯列弓をそれぞれの中間時間tnにおける中間構成を介して前記初期構成から最終時間tN+1における最終構成に修正するのに適した歯列弓治療を決定するステップであって、nが2からNの間である、ステップと、
- それぞれ中間構成および最終構成における歯列弓を表す中間モデルおよび最終モデルを生成するように初期モデルを変形させるステップと、
- 初期モデル、中間モデル、および最終モデルに基づいて、一連のN個のアライナを決定するステップであって、最初のアライナが時間t2まで装着され、n番目のアライナが時間tnから時間tn+1まで装着されるように意図されている、ステップと、
- アライナのうちの少なくともいくつかを製造するステップとを実施することが知られている。
【0007】
次いで、製造されたアライナのすべてが、患者が所定の中間時間にアライナを交換し得るように患者に提供される。
【0008】
治療の間、患者は、一定の間隔で目視検査のための歯列矯正医に赴き、特に歯の移動が予想通りであるか、および患者が装着しているアライナはまだ治療に適切であるかどうかを検証する。
【0009】
具体的には、歯列矯正医は、アライナが外れていないかどうかを目視で診断することがある。具体的には、溝の底部20は、歯の自由端部22の形状と実質的に相補的な形状を有する(
図5)。したがって、溝の底部の外形が、歯Dの外形と比較され、溝の底部と歯の1つまたは複数の自由端部との間の隙間が評価されることがある。
【0010】
外れが検出された場合、歯列矯正医は、歯の新しい印象をとり、または、同様に、歯の新しいスキャンを行い、次いで上述のプロセスを繰り返して新しい一連のアライナを設計し製造する。
【0011】
患者は、強制的に歯列矯正医を訪れなければならなくなる。歯列矯正医に対する患者の信頼が低下することもある。最後に、これには追加的なコストがかかる。したがって、歯列矯正医による検査の回数を制限しなければならない。
【0012】
さらに、不適切に装着されたアライナは見た目が悪い場合がある。
【0013】
これらの問題を解決するために、出願人は、EP3412245において、患者が装着する歯列矯正アライナの形状を評価するための方法を提案した。
【0014】
この方法は有利には、アライナの外れをリモートで検出するのを可能にする。この方法は、治療に対するアライナの適切性の評価をかなり容易にする。具体的には、この方法は、たとえば、患者によって、特定の注意なしに得られた単純な画像に基づき、特に写真または映像に基づいて実施されてもよい。したがって、歯列矯正医との予約をとる回数が制限されてもよい。
【0015】
しかし、治療に適合していない歯が検出されたとき、特にアライナが歯から外れた場合、新しい一連のアライナを作製してもらうために歯列矯正医との予約をとらなければならない。このことが患者にもたらす不都合とは別に、この予約は治療を遅延させる。具体的には、外れが検出されたときから新しいアライナを受け取るまでの間治療を中断しなければならない。
【0016】
これらの問題に対処する解決手段が必要である。
【先行技術文献】
【特許文献】
【0017】
【特許文献1】EP3412245
【特許文献2】米国特許第5975893A号
【特許文献3】PCT/EP2015/074896
【特許文献4】PCT/EP2015/074900
【特許文献5】EP3432218
【特許文献6】EP1835864
【非特許文献】
【0018】
【非特許文献1】Zhu, Jun-Yanら著“Unpaired image-to-image translation using cycle-consistent adversarial networks”
【発明の概要】
【発明が解決しようとする課題】
【0019】
本発明の1つの目的は、この要件を少なくとも部分的に満たすことである。
【課題を解決するための手段】
【0020】
本発明は、患者の歯列弓の、「更新後モデル」と呼ばれる3次元デジタルモデルを、「アクティブアライナ」と呼ばれる歯列矯正アライナによる前記歯列弓の治療の過程において、特に前記歯列弓に連続的に取り付けられるように意図されている一連の歯列矯正アライナによる治療の状況において生成する方法であって、前記治療が、初期時間t1、たとえば、治療の開始時に生成される治療シナリオによってシミュレートされており、治療シナリオが、複数の中間モデルを含み、各中間モデルが、歯列弓の3次元デジタルモデルであり、前記中間モデルが、切断されて歯モデルが作成され、初期時間の後の1つのそれぞれの中間時間における歯列弓を表すように決定される、方法を提供する。
【0021】
本発明による生成方法は以下のステップ、すなわち、
1) 治療の間の更新時間において、少なくとも1つの更新画像を取得するステップであって、各更新画像が、使用位置において歯列弓に取り付けられたアクティブアライナを表すアライナ画像、またはアライナを有さない歯列弓を表す露出した歯の画像である、ステップと、
2) ステップ4)、および好ましくはステップ3)の前に、更新時間に応じて、前記中間モデルまたは「アクティブ中間モデル」を決定するステップと、
3) 「解析更新画像」と呼ばれる更新画像において、治療シナリオに適合していない歯の1つまたは複数の表示を探索するステップと、
1つまたは複数の適合していない歯が検出された場合、
4) それぞれ、アクティブ中間モデル内の1つまたは複数の適合していない歯を表す1つまたは複数の歯モデルを識別するステップと、
5) 「変形更新画像」と呼ばれる前記更新画像のうちの少なくとも1つに適合する更新後モデルが得られるまでアクティブ中間モデルを変形させるステップとを含む。
【0022】
本発明は、適合していない歯を無視する場合、治療を開始する前に設計された治療シナリオの中間モデルが、対応する中間時間において歯列弓を正しくモデル化することに基づく。具体的には、アライナが歯から外れていない場合、治療がその歯に関して計画通りに進行していることを示す。したがって、更新時間に近い中間時間において、対応する中間モデルは、「適合している」歯については現実に適合しており、「適合している」歯は概して、ほぼすべての歯である。したがって、従来、アライナの製造のために初期に生成されているこのアクティブ中間モデルを開始点として使用して、更新後モデルを作成することができる。
【0023】
具体的には、適合している歯に関するアクティブ中間モデルの部分のすべてを直ちに利用することが可能である。したがって、更新後モデルは、アクティブ中間モデルに基づいて組み立てられてもよく、適合していない歯の歯モデルのみの実際の位置のみが追及される。
【0024】
したがって、有利には、患者はもはや、新しいスキャンを実行してアライナを患者の治療の負の進行に適合させる必要はない。治療シナリオおよび1つまたは好ましくは複数の更新画像で十分である。それによって、治療はかなり簡略化され加速される。
【0025】
さらに、移動させるべき歯モデルの数が非常に限定され、概して1つ~5つの歯モデルが適合していない歯を表すだけでなく、このような移動が適合している歯の歯モデルによって制約されることにも起因して、更新後モデルの決定が簡略化される。
【0026】
この方法は、ステップ1)の前に、前記複数の中間モデルを含む治療シナリオを生成するステップを含んでもよい。治療シナリオは、治療自体が決定された後で生成される。治療シナリオは、治療自体が決定されるのと同時に生成されてもよい。
【0027】
本発明による方法は、以下の任意の特徴のうちの1つまたは複数を含んでもよい。
- 治療シナリオの中間モデルの少なくともいくつかまたは場合によってはすべてが、アライナの交換を示す中間時間において予期される構成の歯列弓を表し、
- ステップ1)において、リマインダが好ましくは患者の携帯電話で患者に送られ、それによって、患者は少なくとも1つの更新画像、好ましくは少なくとも1つのアライナ画像および好ましくは露出した歯の少なくとも1つの画像を撮り、
- ステップ1)において、2つよりも多くの更新画像、好ましくは4つよりも多くの更新画像が取得され、
- ステップ1)において、少なくとも2つの更新画像が、異なる取得条件の下で、特に取得デバイスの異なる向きで取得され、患者の正面に対する取得デバイスの光軸の角度は、少なくとも2つの更新画像の取得間で20°よりも大きく、30°よりも大きく、45°よりも大きく、60°よりも大きく、または場合によっては90°よりも大きく異なることが好ましく、
- ステップ1)において、少なくとも1つの更新画像、好ましくは各更新画像は、写真または映像から抽出された画像であり、
- ステップ1)において、少なくとも1つの更新画像、好ましくは各更新画像は、口外画像であり、
- ステップ1)において、少なくとも1つの更新画像、好ましくは各更新画像は、好ましくは患者自身によって携帯電話を用いて、場合によっては、デンタルリトラクタが取り付けられた後で取得され、
- 一実施形態では、ステップ1)において、少なくとも1つの更新画像、好ましくは各更新画像は、好ましくは患者自身によって携帯電話を用いて、携帯電話およびデンタルリトラクタがホルダに取り付けられ、次いでデンタルリトラクタが患者の口に配置された後で取得され、
- ホルダは、リトラクタ上および携帯電話上への排他的なケーシング開口部の形をとり、
- すべての更新画像は、5日未満、好ましくは1日未満、好ましくは1時間未満、好ましくは10分未満の持続時間の時間間隔で取得され、
- 患者は、好ましくはアライナ画像を取得した携帯電話によって、1つまたは複数の更新画像をコンピュータに送り、
- コンピュータは、複数の患者、好ましくは100人を超え、1000人を超え、または10000人を超える患者の更新画像を受信し処理するように構成され、
- ステップ2)の前に、歯列弓の中間モデルが、治療シナリオの中間モデルから生成され、次いで中間モデルを介して治療シナリオに追加され、
- ステップ2)において、アクティブ中間モデルは、オペレータ、好ましくは歯科医療従事者、より好ましくは歯列矯正医によって、好ましくはオペレータが治療シナリオを視認するのを可能にするコンピュータを使用して手動で決定されるか、またはコンピュータによって自動的に実行され、好ましくは前記コンピュータは、複数の患者の更新画像を受信し、好ましくは更新時間を治療シナリオの中間モデルの中間時間と比較することによって処理しており、
- ステップ2)において、アクティブ中間モデルは、中間時間と更新時間との差が4週間未満、2週間未満、好ましくは1週間未満である中間モデルであり、
- ステップ2)において、アクティブ中間モデルは、中間時間が更新時間に最も近い中間モデルであり、
- ステップ3)において、解析更新画像における適合していない歯の表示の探索は、オペレータ、好ましくは歯科医療従事者、より好ましくは歯列矯正医によって、好ましくはオペレータが1つまたは複数の更新画像を視認するのを可能にするコンピュータを使用して手動で実行されるか、または好ましくはコンピュータによって自動的に実行され、好ましくは前記コンピュータは、複数の患者の更新画像を受信し処理しており、コンピュータは好ましくは、ディープラーニングデバイス、および好ましくはニューラルネットワークを実装し、
- ステップ3)において、解析更新画像内の歯の表示は、解析更新画像が、アクティブ中間モデルのビューと同じスケールであり実寸大である(実際の歯の寸法が歯の表示の寸法と同一である)前記解析更新画像に適合するアクティブ中間モデルのビューと一致して重なり合うときに、前記表示の少なくとも1つの点が、前記ビューにおける対応する点から1/10mm、3/10mm、5/10mm、または1mmよりも長く、好ましくは7mmまたは5mm未満である距離だけ離れている場合に治療シナリオに適合していないと見なされ、
- ステップ4)において、アクティブ中間モデルにおける適合していない歯の歯モデルは、オペレータ、好ましくは歯科医療従事者、より好ましくは歯列矯正医によって、好ましくはオペレータがアクティブ中間モデルを視認するのを可能にするコンピュータを使用して手動で識別されるか、またはコンピュータによって自動的に実行され、好ましくは前記コンピュータは、複数の患者の更新画像を受信し処理しており、コンピュータは好ましくは、ディープラーニングデバイス、および好ましくはニューラルネットワークを実装し、
- ステップ3)において、適合していない歯を検出するために、解析更新画像は、アクティブ中間モデルに依存せずに解析され、その場合、アクティブ中間モデルは、ステップ3)の後に決定されてもよく、
- 代替的に、ステップ3)において、適合していない歯を検出するために、解析更新画像がアクティブ中間モデルのビューと比較され、その場合、アクティブ中間モデルは、ステップ3)の前に決定されなければならず、
- ステップ3)において、適合していない歯を検出するために、
仮想取得デバイスが、解析更新画像にできるだけ近いアクティブ中間モデル上のビュー、すなわち、前記解析更新画像との最大適合度を有する(すなわち、最良適合である)アクティブ中間モデルのビューを有するのを可能にする仮想取得デバイスの位置、定位、および較正が追及され、次いで、
前記ビューと前記解析更新画像が比較されるか、または前記解析更新画像の区別情報を表す更新後マップが、前記ビューにおける前記区別情報を表す参照マップと比較され、
- ステップ3)において、適合していない歯を検出するために、
解析更新画像はアライナ画像であり、少なくとも1本の歯の外形およびアライナの外形が解析更新画像において決定され、次いで、前記外形同士が比較され、
- 歯は、アライナ画像において、アライナからしきい値を超えて外れている場合に適合していないと見なされ、
- ステップ5)の前に、アクティブ中間モデルがその精度を向上させるように処理され、
- ステップ5)において、アクティブ中間モデルの変形は、前記アクティブ中間モデルの歯モデルの移動を含み、好ましくはそのような移動からなり、
- ステップ5)において、歯モデルの移動は、変形更新画像に対する歯モデルごとの配置エラーが、1mm未満、好ましくは5/10mm未満、好ましくは3/10mm未満、好ましくは2/10mm未満、好ましくは1/10mm未満になるまで継続され、
- ステップ5)において、適合していない歯の歯モデルは、オペレータ、好ましくは歯科医療従事者、より好ましくは歯列矯正医によって、好ましくはオペレータがアクティブ中間モデルを視認するのを可能にするコンピュータを使用して手動で移動させられるか、またはコンピュータによって自動的に移動させされ、好ましくは前記コンピュータは、複数の患者の更新画像を受信し処理しており、コンピュータは好ましくは、ディープラーニングデバイス、および好ましくはニューラルネットワーク、または最適化法、および好ましくはメタヒューリスティック最適化法を実装し、
- ステップ5)において、適合していない歯の歯モデルの移動は、静止したままの適合している歯の歯モデルによって制限され、
- ステップ5)において、適合していない歯の歯モデルの移動は、反復プロセスであり、各反復において、
- 適合していない歯の前記歯モデルのうちの1つまたは複数は、試験すべき歯列弓モデルを得るように移動させられ、次いで、
- 試験すべきモデルは、前記モデルと変形更新画像、特に露出した歯の画像との間の適合度を評価することによって試験され、
更新後モデルは、すべての試験済みモデルのうちで、最高の適合度を有するモデルであり、
- 前記反復プロセスの前に、適合している歯の表示が変形更新画像内の前記適合している歯の表示と一致して重なり合うことが可能であるビューを生成するようにアクティブ中間モデルを観測するのを可能にする仮想取得デバイスの位置、定位、および較正、または「制約付き仮想取得条件」が追及され、次いで、
前記反復プロセスの間、各反復において、変形更新画像を前記制約付き仮想取得条件下で得られる試験中のモデルのビューと比較することによって試験中のモデルと変形更新画像との適合度が評価され、
- 反復のサイクルは、反復回数が所定数を超えるか、または適合度の値が所定のしきい値を超えた場合に中断され、
- ステップ5)において、アクティブ中間モデルの前記変形の間、移動させる歯モデルは、適合していない歯の歯モデルだけであり、
- ステップ3)または4)、好ましくはステップ4)の終了時に、1本または複数の適合していない歯の非適合度、および特に1本または複数の外れた歯の移動量が、少なくとも1つの更新画像に基づいて、好ましくは前記解析更新画像をアクティブ中間モデルと比較することによって測定され、次いで、
ステップ5)において、適合していない歯の1つまたは複数の歯モデルは、前記測定値に応じて、好ましくは変形更新画像に対する歯モデルごとの配置エラーが、1mm未満、好ましくは5/10mm未満、好ましくは3/10mm未満、好ましくは2/10mm未満、好ましくは1/10mm未満になるまで移動させられ、
- ステップ5)において、アクティブ中間モデルの変形は、適合していない歯の1つまたは複数の歯モデルの移動、前記1つまたは複数の適合していない歯の非適合度の測定値に応じて判定される前記移動の振幅および/または方向を含み、前記測定は、少なくとも1つの更新画像、特にアライナ画像に基づいて、好ましくは前記更新画像をアクティブ中間モデルと比較することによって実行されること。
【0028】
本発明は、歯列矯正アライナを製造するための方法であって、ステップ1)~5)、次いで以下のステップ、すなわち、
6) 更新後モデルおよび理論上の最終構成における歯列弓を表す最終モデルに基づいて、使用位置において、歯列弓を更新時間での実際の構成から前記理論上の最終構成に向けて修正するのに適した「更新後」アライナを設計するステップと、
7) 更新後アライナを製造し、更新後アライナを患者に提供するステップとを含む、方法にも関する。
【0029】
最後の中間時間の後の最終時間における歯列弓に関して計画される理論上の最終構成は一般に、治療の終了時の目標とされる歯列弓の理論上の最終構成である。
【0030】
本発明による方法は、特に、モデルを修正するステップ、モデルを計算または調査して、特に制約付き仮想取得条件を探索するか、または画像もしくはマップを解析して、たとえば外形を求めるステップに関して、コンピュータによって部分的に実施されてもよい。
【0031】
本発明は、
- コンピュータによって実行されたときに、ステップ2)、3)、4)、5)、および場合によってはステップ6)のうちの1つまたは複数、好ましくはすべてを実行するためのプログラムコード命令を含むコンピュータプログラム、
- そのようなプログラムが記憶されるコンピュータ可読記憶媒体、たとえば、メモリまたはCD-ROM、および
- そのようなプログラムがロードされるコンピュータにも関する。
【0032】
本発明は、
- ステップ1)において1つまたは複数の更新画像を取得するように構成されたパーソナルデバイス、好ましくは携帯電話と、
- コンピュータによって実行されたときに、ステップ2)~5)、および場合によってはステップ6)のうちの1つまたは複数、好ましくはすべてを実行するためのプログラムコード命令を含むプログラムがロードされ、すなわち、これらのステップを実行するように「構成され」たコンピュータと、
- 場合によっては、ステップ7)においてアライナを製造するように構成されたプログラムがロードされたコンピュータとを備えるシステムにも関する。
【0033】
定義
「患者」または「ユーザ」とは、本発明による方法が実施される任意の人を意味し、この人に疾病があるかどうかは無関係である。
【0034】
「歯」とは、歯列弓の1組の歯を意味する。
【0035】
「歯科医療従事者」とは、歯科治療を施す資格を有する任意の人を意味し、具体的には、歯列矯正医および歯科医が含まれる。
【0036】
治療の間患者によって使用されるアライナは、「アクティブアライナ」と呼ばれる。複数のアライナによる治療において、各アライナは連続的にアクティブになることが予期される。
【0037】
3Dスキャナまたは「スキャナ」は、歯列弓のモデルを得るのを可能にするデバイスである。
【0038】
「使用位置」は、アライナが歯列弓を治療するためにこの歯列弓に取り付けられたときのアライナの位置である。従来、この取り付けは、アライナを単に引っ張ることにより、患者によって非アクティブ化可能である。
【0039】
アライナが使用位置において歯列弓に取り付けられると、アライナ内に正しく配置されていない歯およびアライナ内に正しく配置されている歯をそれぞれ「外れている歯」および「外れていない歯」と呼ぶ。歯列矯正医は、外れている歯と外れていない歯を完璧に区別することができる。この区別はまた、コンピュータにより、歯と歯に取り付けられたアライナの溝の底部との間の距離を評価することによって行われてもよい。
【0040】
より一般的には、歯は、更新時間において、治療シナリオに関して計画された位置にあるときまたはその位置にないときに「適合している」または「適合していない」と言われる。外れている歯は、適合していない歯の一例である。
【0041】
「更新時間」は、更新画像が取得される時間である。この時間の長さは、この時間の間歯の構成がほとんど変化しないほど短い。
【0042】
歯列弓の構成は、患者の歯列弓が実際に有する構成であるときに「実際の」構成と言われる。歯列弓の構成は、患者の歯列弓の「シミュレートされた」構成または将来のために「計画された」構成であるときに「理論上の」構成と言われる。
【0043】
「モデル」とは、3次元デジタルモデルを意味する。モデルは、1組のボクセルからなる。「歯列弓のモデル」は、歯列弓の少なくとも一部、好ましくは少なくとも2本、好ましくは少なくとも3本、好ましくは少なくとも4本の歯を表すモデルである。
図3は、歯列弓モデルのビューの一例を示す。
【0044】
「歯モデル」は、患者の歯列弓の歯の3次元デジタルモデルである。歯列弓のモデルは、少なくともいくつかの歯、好ましくは歯列弓モデルに表されるすべての歯を画定するように切断されてもよい。したがって、歯モデルは、歯列弓のモデル内のモデルである。
図4は、切断された歯列弓モデルのビューの一例を示す。歯列弓モデルの歯モデルを操作するための計算ツールが存在する。このようなツールは、特に歯モデルの移動を現実的な移動に制限し、たとえば、隣接する歯モデル同士が互いに貫通するのを妨げるための制約の設定を可能にする。
【0045】
「シナリオ」は、連続する歯列弓構成を表す歯列弓のモデルのシーケンスである。具体的には、「治療シナリオ」または「治療計画」は、歯列弓の治療の間の様々な時間における歯列弓の構成を表すモデルを含む。これらの時間は従来、治療が開始される前の初期時間、治療の間の中間時間、および治療が終了するときの最終時間である。中間時間における歯列弓の予想される構成を表すシナリオの各モデルを「中間モデル」と呼ぶ。
図7は、治療シナリオの一例を示す。
【0046】
中間時間および最終時間における歯列弓の構成は、将来についてのシミュレーションから得られるので理論上の構成である。したがって、これらの構成は、予期されまたは「計画される」構成であり、したがって、中間時間における現実とは異なる場合がある。シナリオのモデルを時系列的に表示することによって、歯列弓の治療の効果をシミュレートすることが可能になる。
【0047】
歯モデルを操作し治療シナリオを作成するためのソフトウェアパッケージの一例としてTreatというプログラムがあり、https://en.wikipedia.org/wiki/Clear_aligners#cite_note-invisalignsystem-10というページ上に記載されている。米国特許第5975893A号も治療シナリオの作成について記載している。
【0048】
「画像」とは、写真または映像から抽出された画像などの2次元画像を意味する。画像は画素から形成される。
【0049】
「取得条件」は、
- 患者の歯列弓に関する画像を取得するための実際のデバイスの空間位置、空間的定位、および較正(たとえば、絞り開口および/もしくは露光時間および/もしくは焦点距離および/もしくは感度の値)(実際の取得条件)、または
- 患者の歯列弓のモデルに関する画像を取得するための仮想デバイスの空間位置、空間的定位、および較正(たとえば、絞り開口および/もしくは露光時間および/もしくは焦点距離および/もしくは感度の値)(仮想取得条件)を指定する。
【0050】
取得デバイスの「較正」は、較正パラメータのすべての値からなる。較正パラメータは、(取得デバイスの位置および定位とは異なり)取得デバイスに固有であり、値が取得される画像に影響を及ぼすパラメータである。たとえば、絞り開口は、被写界深度を修正する較正パラメータである。露光時間は、画像の明るさ(または「露光」)を修正する較正パラメータである。焦点距離は、視野角、すなわち、「ズーム」の量を修正する較正パラメータである。「感度」は、入射光に対するデジタル取得デバイスのセンサーの反応を修正する較正パラメータである。
【0051】
較正パラメータは、絞り開口、露光時間、焦点距離、および感度によって形成される群から選択されることが好ましい。
【0052】
(特に仮想取得デバイスの較正による)仮想取得の決定された条件、決定された角度、および決定された距離の下でのモデルの観測を「ビュー」と呼ぶ。
【0053】
「歯列弓の画像」、「歯列弓のビュー」、「歯列弓の表示」、「歯列弓のスキャン」、または「歯列弓のモデル」とは、前記歯列弓のすべてまたは一部の画像、ビュー、表示、スキャン、またはモデルを意味する。
【0054】
患者の歯列弓のモデルは、画像に対応するこのモデルのビュー、すなわち、ビューにおける歯の表示が、画像内の歯の表示と互いに対して同様に配置されるようなビューがあるときに前記画像に「適合する」。したがって、ビューにおいて表される歯モデルの外形は、実質的に画像内の前記歯の表示の外形と一致して重なり合うことが可能である。
【0055】
モデルのこのビューは、前記画像に「適合する」かまたは「一致して重なり合うことが可能である」と見なされてもよい。
【0056】
ディープラーニングアルゴリズムは、当業者に公知のディープラーニングデバイスである。ディープラーニングアルゴリズムは「ニューラルネットワーク」または「人工ニューラルネットワーク」を含む。
【0057】
当業者は、実行すべきタスクに応じてニューラルネットワークを選択することができる。具体的には、ニューラルネットワークは、特に、以下から選択することができる。
- 画像分類に特化された畳み込みニューラルネットワークと呼ばれるネットワーク(convolutional neural network: CNN)、たとえば、
- AlexNet(2012)
- ZF Net(2013)
- VGG Net(2014)
- GoogleNet(2015)
- Microsoft ResNet(2015)
- Caffe: BAIR Reference CaffeNet、BAIR AlexNet
- Torch: VGG_CNN_S、VGG_CNN_M、VGG_CNN_M_2048、VGG_CNN_M_1024、VGG_CNN_M_128、VGG_CNN_F、VGG ILSVRC-2014 16-layer、VGG ILSVRC-2014 19-layer、Network-in-Network(Imagenet & CIFAR-10)
- Google: Inception(V3、V4)
- 画像内の物体の特定および検出に特化したネットワーク(物体検出ネットワーク)、たとえば、
- R-CNN(2013)
- SSD(single shot multibox detector: 物体検出ネットワーク)、Faster R-CNN(faster region-based convolutional network method: 物体検出ネットワーク)
- Faster R-CNN(2015)
- SSD(2015)
- RCF(Richer Convolutional Features for Edge Detection)(2017)
- 画像生成に特化したネットワーク、たとえば、
- Cycle-Consistent Adversarial Networks(2017)
- Augmented CycleGAN(2018)
- Deep Photo Style Transfer(2017)
- FastPhotoStyle(2018)
- pix2pix(2017)
- Style-Based Generator Architecture for GANs(2018)
- SRGAN(2018)。
【0058】
上記のリストは限定的なものではない。
【0059】
ニューラルネットワークのトレーニングは、ニューラルネットワークが「対応」させ、すなわち、互いに接続することを学習しなければならない2種類の物体に関する情報を含むトレーニングデータベースにニューラルネットワークを対処させることからなる。
【0060】
トレーニングは、各レコードが第1の種類の第1の物体と第2の種類の対応する第2の物体とを備えるレコードで構成されたトレーニングデータベースに基づいて行われてもよい。
【0061】
あるいは、トレーニングは、各レコードが第1の種類の第1の物体または第2の種類の第2の物体のいずれかを含むが、各レコードが、そのレコードが含む物体の種類に関する情報を含むレコードで構成されたトレーニングデータベースに基づいて行われてもよい。そのようなトレーニング技法は、たとえば、Zhu, Jun-Yanら著“Unpaired image-to-image translation using cycle-consistent adversarial networks”の記事に記載されている。
【0062】
これらのレコードによるニューラルネットワークのトレーニングは、ニューラルネットワークに第1の種類の任意の物体から第2の種類の対応する物体を供給することを教示する。
【0063】
ニューラルネットワークによって実行される解析の質は、トレーニングデータベース内のレコードの数に直接依存する。トレーニングデータベースが含むレコードが10000個を超えることが好ましい。
【0064】
歯モデルの「配置エラー」を評価するために、(1:1スケールにおける変形更新画像が、1:1のスケールにおける、前記変形更新画像に適合するアクティブ中間モデルのビューと一致して重なり合うときの)歯モデルによってモデル化される歯の、変形更新画像における、表示の各点と、前記ビューにおける対応する点との間の距離を測定する。配置エラーは、前記ビュー内に対応する点を有する前記表示のすべての点を考慮したときのこれらの距離のうちの最長距離である。1:1スケールとは、歯の表示は実寸大であり、その場合、変形更新画像およびアクティブ中間モデルのビューは実際の寸法を有する歯を表すことを意味する。
【0065】
「備える」、「含む」、または「有する」は、別段の指示がない限り、広義に非限定的に解釈しなければならない。
【0066】
本発明の他の特徴および利点は、以下の詳細な説明を読み、添付の図面を調べたときにより明らかになろう。
【図面の簡単な説明】
【0067】
【
図2】
図1の歯列矯正アライナの上から見た図である。
【
図3】初期モデルの一例を示す図である(中間モデル、最終モデル、および更新後モデルは同様の形態をとってもよい)。
【
図4】歯モデルが切断されたモデルの一例を示す図である(歯モデルのみが示されている)。
【
図5】歯列矯正アライナを保持するホールディングアーチを概略的に示す図である。
【
図6】本発明による方法を実施するのに適したシステムを示す図である。
【
図10】アライナ画像および/または露出した歯の画像の取得を概略的に示す図である。
【
図11】
図10に示す取得キットとともに使用されてもよいリトラクタを概略的に示す図である。
【
図12】画像において外れを検出するための第1の方法を概略的に示す図である。
【
図13】画像において外れを検出するための第2の方法を概略的に示す図である。
【発明を実施するための形態】
【0068】
一実施形態では、本発明による方法は、ステップ1)~5)を実施する前に、以下のステップ、すなわち、
初期時間t
1、一般には治療の開始時において、
a) 実際の初期構成である患者の歯列弓の、「初期モデル」と呼ばれる3次元デジタルモデルを生成し、初期モデルを切断して歯モデルを作成するステップと、
b) 歯列弓をそれぞれの中間時間t
nにおける理論上の中間構成を介して前記初期構成から最終時間、一般には治療の終了時における理論上の最終構成に修正するための歯列弓治療を決定するステップであって、nが2からNの間である、ステップと、
c) それぞれ最終構成および中間構成における歯列弓を表す最終モデルおよび中間モデルを含む治療シナリオを生成するように初期モデルを変形させるステップと、
d) 初期モデル、中間モデル、および最終モデルに基づいて、一連のアライナを設計するステップと、
e) アライナのうちの1つまたは複数を製造し、これらのアライナを患者に提供するステップとを含む(
図8)。
【0069】
本発明の一実施形態では、方法は、治療の間、本発明による更新後モデルを生成するための方法のステップ1)~5)、次いで好ましくは以下のステップ、すなわち、
6) 更新後モデルおよび最終モデルに基づいて、歯列弓を更新時間における歯列弓の実際の構成から前記最終構成に向けて修正するように形作られた更新後アライナを設計するステップと、
7) 更新後アライナを製造し、更新後アライナを患者に提供するステップとをさらに含む。
【0070】
ステップa)において、歯列矯正アライナによる歯列矯正治療の開始に先行し、好ましくは治療が開始される6か月未満前、好ましくは3か月未満前または1か月未満前または2週間未満前である初期時間t1において初期モデルが作成される。
【0071】
初期モデルは、患者の歯または患者の歯の物理的モデル、たとえば、石膏モデルに対して行われる測定に基づいて作成されてもよい。
【0072】
初期モデルは好ましくは、専門装置、たとえば、3Dスキャナによって作成され、3Dスキャナは、好ましくは歯科医療従事者、たとえば歯列矯正医、または矯正歯科ラボラトリーによって実装される。矯正歯科医院では、患者または患者の歯の物理モデルは有利には、正確な位置に配置されることがあり、専門装置は最先端の装置である場合がある。したがって、非常に正確な初期モデルが得られる場合がある。初期モデルは、エラーが5/10mm未満、好ましくは3/10mm未満、好ましくは1/10mm未満である歯の位置に関する情報を提供することが好ましい。
【0073】
初期モデルは、たとえば、ポイントクラウドタイプまたは以下の種類、STL、OBJ、3D DXF、IGES、STEP、VDAのうちの1つである。有利には、そのようないわゆる「3D」モデルが任意の角度から観測されてもよい。
【0074】
初期モデルは従来、コンピュータによって観測可能であり操作可能である。初期モデルは次いで、歯モデルを画定するように切断される。
【0075】
3次元モデルを切断して歯モデルを作成することは、モデルが初期モデルにおける歯のうちの1本または複数の表示を画定するように切断される従来の動作である。歯列弓の他の要素、たとえば歯肉がモデル化されてもよい。
【0076】
初期モデルは、オペレータによってコンピュータを使用して手動で切断されてもよく、またはコンピュータによって自動的に切断されてもよく、このコンピュータは、ディープラーニングデバイス、および好ましくはニューラルネットワークを実装することが好ましい。
【0077】
具体的には、歯モデルは、たとえば、国際特許出願PCT/EP2015/074896に記載されたように画定されてもよい。
【0078】
図4は、歯モデル32が切断された初期モデルの一例を示す(歯モデルのみが示されており、より容易に識別可能なように異なる陰影が付けてある)。
【0079】
切断後、歯モデルを移動させてもよい。コンピュータによって、初期切断後モデルがこのように、歯モデルの移動を介して、歯モデルを修正することなく変形され、初期時間から、歯が最終構成になる最終時間までの歯の移動をシミュレートしてもよく、最終時間は、場合によっては治療の終了を示す。
【0080】
ステップb)において、1本または複数の歯を初期構成から中間構成を介して最終構成に移動させる治療が決定される。
【0081】
治療の各段階を視覚化するのを可能にする歯列弓モデルのセットは、治療シナリオを形成する。コンピュータを使用して治療シナリオが表示され、様々な中間時間における歯列弓の構成をシミュレートするように変形された初期モデルが記憶される。
【0082】
従来、所与の治療に複数の考えられる潜在的なシナリオがある。一実施形態では、コンピュータは、潜在的なシナリオを決定し、それらのシナリオから治療シナリオを選択する。別の実施形態では、コンピュータは、潜在的なシナリオを決定してそれらを歯科医療従事者に提示し、歯科医療従事者はそれらのシナリオから治療シナリオを選択する。別の好ましい実施形態では、歯科医療従事者、好ましくは歯列矯正医が潜在的なシナリオを決定し、それらのシナリオから治療シナリオを選択する。コンピュータは有利には、歯科医療従事者が潜在的なシナリオの歯列弓に対する効果のシミュレーションを視認するのを可能にする。
【0083】
ステップc)において、初期モデルは、理論上の最終構成における歯列弓を表す最終モデルおよび初期モデルと最終モデルとの間の段階を示す中間モデルを生成するように変形される。
【0084】
変形は、歯列矯正治療に応じて、歯科医療従事者、好ましくは歯列矯正医によって、歯科医療従事者が構想される治療の歯列弓に対する効果を視認するのを可能にするコンピュータを使用して決定されてもよく、またはコンピュータによって自動的に決定されてもよく、このコンピュータは、ディープラーニングデバイス、および好ましくはニューラルネットワークを実装することが好ましい。
【0085】
ステップb)とステップc)は同時であることが好ましい。具体的には、治療シナリオは、歯モデルを移動させることにより、初期モデルを最終モデルの構成に変形させることによって実行される1回または複数回のシミュレーションの結果として決定される。治療が選択されると、中間モデルを生成するには、この治療をシミュレートし、中間時間において、変形させた初期モデルを保存すれば十分である。
【0086】
図9は、初期モデルと、2つの中間モデルと、最終モデルとを含む治療シナリオの一例を示す。
【0087】
ステップd)において、一連のアライナは、治療シナリオに応じて、歯の移動を介して歯列弓を変形させるように設計される。
【0088】
ステップe)において、一連の第1のアライナのうちの1つまたは複数が製造される。従来、一連のすべてのアライナが製造されている。これらのアライナは、患者に提供され、それによって、患者は治療を開始してもよい。
【0089】
ステップa)~ステップe)を含む方法は、公知であり、一連の歯列矯正アライナを設計し製造するために広く使用されている。
【0090】
従来、患者は患者の歯列矯正医によって監視されている。導入部で説明したように、歯列矯正医はアライナの適合度を定期的に検査し、治療に適合していない場合、特にアライナが外れている場合、スキャナによって新しい歯列弓モデルを生成し、次いで、この新しいモデルに交換された初期モデルによってステップb)~ステップe)を繰り返し、それによって、治療の残りの部分の対象となる新しい一連のアライナを作製する。
【0091】
本発明によれば、この方法は、治療の間、ステップ1)~ステップ5)および好ましくはステップ1)~ステップ7)を含む。
【0092】
ステップ1)において、更新時間に、非適合性、特に更新時間に装着されていたアライナに対する歯の外れを検出するのを可能にする「解析」更新画像と呼ばれる更新画像が取得される。
【0093】
更新時間はたとえば、初期時間後の2週間を超える時間、4週間を超える時間、8週間を超える時間、または12週を超える時間であってもよい。
【0094】
更新時間の前に、たとえば、更新時間の2週間未満前に、患者に解析更新画像を撮る必要があることを知らせる少なくとも1つのリマインダが患者に送られることが好ましい。このリマインダは、紙の形態をとってもよく、または好ましくは電子形態、たとえば、eメール、専用モバイルアプリケーションからの自動アラート、またはSMSの形態をとってもよい。そのようなリマインダは、矯正歯科医院もしくは矯正歯科ラボラトリーから送られてもよく、または歯科医によって送られてもよく、または患者の携帯電話上の専用アプリケーションによって送られてもよい。
【0095】
解析更新画像は、画像取得デバイス、好ましくはパーソナル取得デバイス、好ましくは、ウェブカムもしくはカメラなどの画像取得システムを備える、携帯電話、いわゆる「接続」カメラ、いわゆる「スマート」ウォッチ、タブレット、または(デスクトップもしくはラップトップ)パーソナルコンピュータによって撮られる。
【0096】
解析更新画像は口外画像であることが好ましい。
【0097】
一実施形態では、
図10および
図11に示すように、写真撮影キット15が使用される。このようなキットは、ホルダ17と、デンタルリトラクタ19と、画像取得デバイス、好ましくは携帯電話21とを備えることが好ましい。デンタルリトラクタ19および取得デバイス、好ましくは携帯電話は、ホルダ17に取り外し可能に取り付けられることが好ましい。
【0098】
リトラクタ19は、従来のリトラクタの特性を有してもよい。
【0099】
図11に示すように(リトラクタ19がホルダから分離されている)、リトラクタ19は、軸Xのリトラクタ開口部の周りを延び、患者の唇が内部に位置し、一方、患者の歯を前記リトラクタ開口部を通して見せるように配置された溝23を備えることが好ましい。
【0100】
リトラクタ19は、1つまたは複数のクリップ27aおよび27b、たとえば磁気クリップによってホルダに取り付けられてもよい。
【0101】
リトラクタは、頬を邪魔にならないよう移動させるためのラグ26aおよび26bを備え、それによって、ホルダに取り付けられた取得デバイスが、リトラクタ開口部を通して、大臼歯などの、口の後部に配置された歯の前庭面の写真を取得し得ることが好ましい。
【0102】
ホルダは、リトラクタ開口部上および携帯電話上への排他的なケーシング開口部の形をとることが好ましい。したがって、携帯電話はケーシングを通して患者の歯列弓を観測する。有利には、ホルダは、歯列弓に対する携帯電話の位置を事前に設定するのを可能にする。
【0103】
取得は好ましくは、患者または患者の友人もしくは血縁者によって実行されるが、他の人、特に歯科医または歯列矯正医によって、好ましくは画像取得デバイスを歯に対して正確に配置する必要なしに実行されてもよい。
【0104】
解析更新画像は、写真であるか、または映像から抽出された画像であることが好ましい。解析更新画像は好ましくはカラー画像であり、好ましくはトゥルーカラー画像である。解析更新画像は、(X線によって取得される断層撮影画像またはパノラマ画像とは異なり)人間の目によって知覚されるような実際の歯列弓を示す写真であることがより好ましい。
【0105】
解析更新画像は次いで、好ましくは解析更新画像を取得した携帯電話によって集中コンピュータに送られることが好ましい。
【0106】
専用アプリケーションが携帯電話にロードされ、好ましくは、実行すべき様々な動作について患者を聴覚的および/または視覚的に案内し、解析更新画像を送信することが好ましい。
【0107】
一実施形態では、解析更新画像は、アライナ画像であり、これによって、有利には、この画像のみを解析することによって非適合性、特に外れを検出することが可能になる。この検出は、この画像をアクティブ中間モデルと比較することによって行われてもよい。
【0108】
一実施形態では、解析更新画像は、露出した歯の画像であり、これによって、有利には、非適合性を高い精度で、特にアライナの表示によって妨害されることなく検出することが可能になるが、その場合、この画像をアクティブ中間モデルと比較することが必要になる。
【0109】
ステップ1)において、2つの相補的な解析の利点が得られるようにアライナ画像および露出した歯の画像が取得されることが好ましい。
【0110】
ステップ1)において、ステップ5)で変形更新画像として使用される露出した歯の少なくとも1つの画像が取得されることが好ましい。
【0111】
ステップ2)において、前記中間モデルまたは「アクティブ中間モデル」が、好ましくはコンピュータによって、更新時間に応じて決定される。ステップ2)は、ステップ3)において、適合していない歯を検出するために、解析更新画像がアクティブ中間モデルに依存せずに解析された場合に、ステップ3)に続いて実行されてもよい。
【0112】
治療シナリオから、好ましくはコンピュータによって、このシナリオによれば更新時間における歯列弓を最もうまく表すはずである中間モデルが選択される。治療が治療シナリオに従って進行していると仮定して、中間時間が更新時間に最も近い中間モデルが選択されてもよい。この中間モデルは「アクティブ」であると言われる。
【0113】
アクティブ中間モデルは、中間時間が更新時間に近い中間モデルであり、好ましくは更新時間との差が4週間未満、2週間未満、好ましくは1週間未満であることが好ましい。アクティブ中間モデルの中間時間は更新時間に先行することが好ましい。
【0114】
好ましい一実施形態では、アクティブ中間モデルはステップ5)よりも前には修正されない。したがって、歯の移動は、解析更新画像と初期時間において設計された中間モデルを比較することによって評価される。
【0115】
好ましい一実施形態では、たとえば抜けるかまたは引き出された歯の歯モデルを取り除くために、治療の過程でのドリフトによるものではない初期時間と更新時間との間の患者の歯列弓の修正を考慮に入れるように、アクティブ中間モデルは、たとえば、手動で粗に補正されてもよい。
【0116】
ステップ3)において、治療シナリオに適合していない歯の、解析更新画像内の表示、特にアライナから外れた歯の表示が、追及される。
【0117】
集中コンピュータは、適合していない歯を自動的に検出し、それらの歯を識別するようにプログラムされることが好ましい。
【0118】
アクティブ中間モデルとの非適合性の検出
コンピュータは、特に露出した歯の画像の形態をとる解析更新画像を使用してアクティブ中間モデルと比較してもよい。
【0119】
解析更新画像の実際の取得条件に最もうまく対応する(「最良適合」)仮想取得デバイスの位置、定位、および較正(この位置、定位、および構成は集合的に「仮想取得条件」と呼ばれる)を追求することが好ましい。
【0120】
次いで、前記仮想取得条件の下でのビューが、解析更新画像と比較される。
【0121】
前記ビューと解析更新画像の比較によって、適合していない歯、すなわち、外れている歯だけでなく、位置が治療シナリオに対応しない外れていない歯も検出することができる。
【0122】
ビューと解析更新画像の比較は、たとえば、歯の外形を表す区別情報に関する対応するマップ同士の比較によって行われてもよい。試験マップと更新後マップを比較するための後述の比較手順が使用されてもよい。
【0123】
前記仮想取得条件の探索および前記比較は、具体的にはPCT/EP2015/074896の教示に従って実行されてもよい。
【0124】
好ましい一実施形態では、解析更新画像内の歯の表示は、スケールが1:1であるこの表示の少なくとも1つの点が、スケールが1:1である前記ビュー内の対応する点(すなわち、歯の同じ点を表す点)から離れた距離が1/10mmを超えるか、3/10mmを超えるか、または5/10mmを超え、好ましくは7mmまたは5mm未満である場合、治療シナリオに適合していないと見なされる。
【0125】
この距離はまた、画素単位で測定されてもよく、これによって有利には、スケールを確立することが不要になる。
【0126】
したがって、非適合性は有利には、治療の実行におけるドリフトを検出するのを可能にする非適合性である。具体的には、長すぎる距離は、治療におけるドリフトに関するものではなく、むしろたとえば、歯が解析更新画像内でマスクされることに起因して歯の判定が不良であったことを原因とする異常に関するものであると見なされる。
【0127】
アクティブ中間モデルに依存しないアライナ画像における外れの検出
コンピュータによって外れを検出するには、アライナ画像の形態をとる解析更新画像を解析して、特にアライナの溝の底部の外形および歯の自由端部の外形を決定してもよい。
【0128】
当業者は、外形を分離するには画像またはビューをどのように処理すればよいかを認識している。この処理は、たとえば、画像処理ソフトウェアとともに供給される公知のマスクまたはフィルターの適用を含む。そのような処理動作は、たとえば、高コントラストの領域を検出するのを可能にする。
【0129】
これらの処理動作は具体的には、以下の公知の好ましい方法、すなわち、
- キャニーフィルターを適用し、特にキャニーアルゴリズムを使用してエッジを探索すること、
- ソーベルフィルターを適用し、特に拡張ソーベル演算子によって導関数を算出すること、
- ラプラスフィルターを適用して画像のラプラシアンを算出すること、
- 画像におけるブロブを検出すること(「Blobdetector」)、
- しきい値を適用し、ベクトルの各要素に設定しきい値を適用すること、
- 画素の領域間の関係を使用したリサイズ(「Resize(Area)」)または画素の近傍におけるバイキュービック補間を行うこと、
- 特定の構造化要素によって画像を収縮させること、
- 特定の構造化要素によって画像を膨張させること、
- 特に復元された領域の近傍の領域を使用して修整を行うこと、
- バイラテラルフィルターを適用すること、
- ガウシアンぼかしを適用すること、
- 大津の方法を適用し、級内分散を最小限に抑えるしきい値を見つけること、
- A*フィルターを適用して点間の経路を見つけること、
- 適応しきい値を適用し、適応しきい値をベクトルに適用すること、
- 等化フィルターを特にグレースケール画像のヒストグラムに適用すること、
- ぼかしを検出し(「BlurDetection」)、そのラプラシアンを使用して画像のエントロピーを算出すること、
- バイナリ画像の外形を検出する(「FindContour」)こと、
- 色の塗りつぶしを行って(「FloodFill」)、特に接続された要素を決定された色で塗りつぶすことのうちの1つまたは複数を含む。
【0130】
以下の非限定的な方法、すなわち、
- 「MeanShift」フィルターを適用し、それによって画像の投影における物体を見つけること、
- 「CLAHE」を適用すること、CLAHEは「Contrast Limited Adaptive Histogram Equalization」を表し、
- 「Kmeans」フィルターを適用してクラスタの中心およびクラスタの周りのサンプルのグループを判定すること、
- DFTフィルターを適用し、それによってベクトルの離散フーリエ変換、順方向フーリエ変換、または逆フーリエ変換を実行すること、
- モーメントを算出すること、
- 「HuMoments」フィルターを適用してHuモーメント不変量を算出すること、
- 画像の積分を算出すること、
- Scharrフィルターを適用し、Scharr演算子を実装することによって画像の導関数を算出するのを可能にすること、
- 点の凸包を探索すること(「ConvexHull」)、
- 外形の凸性の点を探索すること(「ConvexityDefects」)、
- 形状同士を比較すること(「MatchShapes」)、
- 外形上に点があるかどうかを検査すること(「PointPolygonText」)、
- ハリスコーナー検出を適用すること(「CornerHarris」)、
- 勾配行列の最小固有値を探索してコーナーを検出すること(「CornerMinEigenVal」)、
- ハフ変換を適用してグレースケール画像において円を見つけること(「HoughCircles))、
- 「Active contour modeling」(潜在的に「ノイズのある」2D画像に基づいて物体の外形を辿ること)、
- 画像の一部分における力場(「勾配ベクトルフロー」またはGVF)を算出すること、
- カスケード型分類器を適用すること(「CascadeClassification」)は、好ましくはないが、実施されてもよい。
【0131】
歯の外形の判定は、PCT/EP2015/074900の教示に従って最適化されてもよい。
【0132】
一実施形態では、溝の底部の外形および歯の自由端部の外形が、各歯についてのこれらの外形のセグメントを画定するように分割される。溝の底部の外形のセグメントおよび歯の自由端部の外形のセグメントはそれぞれ、「外側歯外形」24
iおよび「内側歯外形」30
iと呼ばれる(
図12および
図14)。「内側の」および「外側の」という形容詞は、ここでは説明を明確にするためにのみ使用される。
図12において、点線は、連続するセグメントの境界を示す。
【0133】
次いで、任意の手段によって、特にEP3412245に記載された内側歯外形と外側歯外形を比較するための技法を使用して比較が実行されてもよい。
【0134】
具体的には、内側歯外形および外側歯外形が決定されている複数の歯の各々について以下のステップ、すなわち、
i) 内側歯外形と外側歯外形との間の距離を判定するステップと、
ii) 好ましくはステップi)において判定された距離に基づいて距離しきい値を判定するステップと、
iii) 前記歯の各々について、
- 内側歯外形と外側歯外形との間の距離および
- 距離しきい値に応じて距離スコアを判定するステップとを実行することが可能である。
【0135】
ステップi)において、内側歯外形と外側歯外形との間の距離dが前記歯の各々について判定される(
図13)。
【0136】
歯の内側歯外形と外側歯外形との間の距離は、たとえば、歯の同じ点に対応する前記外形の画素間の平均距離または最長距離であってもよい。
【0137】
この距離は、好ましくは画素単位で測定され、これによって有利には、スケールを確立することが不要になる。
【0138】
ステップii)において、好ましくはステップi)において判定された距離に基づいて距離しきい値Sdが判定される。
【0139】
ステップii)において、距離しきい値Sdは、ステップi)において判定された距離のうちの最短の距離に実質的に等しいことが好ましい(dmin)。従来、治療される歯のうちの少なくとも1本が、歯が挿入される溝の底部に接触している。その場合、この歯の内側歯外形と外側歯外形との間の距離は、通常の状況に対応する最小距離dminに等しい。したがって、この距離は、ステップiii)において、外側歯の内側歯外形と外側歯外形との間の距離を評価するための標準として使用されてもよい。
【0140】
ステップiii)において、「距離スコア」S(d,Sd)と呼ばれるスコアが、歯の各々について、
- 内側歯外形と外側歯外形との間の距離dおよび
- 距離しきい値Sdに応じて判定される。
【0141】
歯の距離スコアは、(d-Sd)に等しく、すなわち、この歯の内側歯外形と外側歯外形との間の距離と距離しきい値との差に等しいことが好ましい。距離スコアが高いほど、影響を受ける歯が溝から大きく外れる。
【0142】
図12は、ステップi)~ステップiii)の実施の一例を示し、この例では、歯D1がアライナの底部からd-d
min>Sdの点まで外れる。
【0143】
内側歯外形と外側歯外形が決定された複数の歯の各々について、以下のステップ、すなわち、
i’) 少なくとも第1、第2、および第3の隣接する歯の三重項の右側の歯に隣接する左側の歯からなる各対について、内側歯外形および外側歯外形が決定された各歯について、第1および第3の歯は、第2の歯に隣接しており、
前記左側の歯の内側歯外形と前記右側の歯の内側歯外形との間の「内側オフセット」と呼ばれるオフセットを判定し、前記左側の歯の外側歯外形と前記右側の歯の外側歯外形との間の「外側オフセット」と呼ばれるオフセットを判定し、
次いで、
「オフセット差」と呼ばれる内側オフセットと外側オフセットとの間の差を判定するステップと、
ii’) 好ましくはステップi’)において判定されたオフセット差に基づいてオフセット差しきい値を判定するステップと、
iii’) 少なくとも1本の歯について、好ましくは前記三重項の各歯について、少なくとも1つのオフセットスコアを、隣接する歯とのオフセット差およびオフセット差しきい値に応じて判定するステップを実行することも可能である。
【0144】
ステップi’)において、第1、第2、および第3の歯D1、D2、およびD3からなる少なくとも1つの三重項はそれぞれ、第1および第3の歯が第2の歯に隣接しており、すなわち、第1、第2、および第3の歯は歯列弓に沿って連続していると見なされる。
【0145】
それぞれ歯D1、D2、およびD3の内側歯外形301、302、および303ならびに外側歯外形241、242、および243が決定される。
【0146】
内側「オフセット」または外側「オフセット」はそれぞれ、2つの隣接する歯のそれぞれ内側歯外形または外側歯外形間の距離を表す。
【0147】
以下のこと、すなわち、
- 「第1の内側オフセット」Δ1-2iと呼ばれる、前記第1の歯301の内側歯外形と前記第2の歯302の内側歯外形との間のオフセット、
- 「第2の内側オフセット」Δ2-3iと呼ばれる、前記第2の歯302の内側歯外形と前記第3の歯303の内側歯外形との間のオフセット、
- 「第1の外側オフセット」Δ1-2eと呼ばれる、前記第1の歯241の外側歯外形と前記第2の歯242の外側歯外形との間のオフセット、
- 「第2の外側オフセット」Δ2-3eと呼ばれる、前記第2の歯242の外側歯外形と前記第3の歯243の外側歯外形との間のオフセットが判定される。
【0148】
2本の隣接する歯の内側歯外形間の内側オフセットは好ましくは、この2本の歯の内側歯外形間の最長距離に等しい。
【0149】
2本の隣接する歯の外側歯外形間の外側オフセットは好ましくは、この2本の歯の外側歯外形間の最長距離に等しい。
【0150】
内側オフセットおよび外側オフセットは好ましくは、画素単位で測定され、これによって有利には、スケールを確立することが不要になる。
【0151】
次いで、以下のこと、すなわち、
- 「第1のオフセット差」Δ1-2(=Δ1-2i-Δ1-2e)と呼ばれる、第1の内側オフセットΔ1-2iと第1の外側オフセットΔ1-2eとの間の差、
- 「第2のオフセット差」Δ2-3(=Δ2-3i-Δ2-3e)と呼ばれる、第2の内側オフセットΔ2-3iと第2の外側オフセットΔ2-3eとの間の差が判定される。
【0152】
図12の例では、Δ
1-2は、Δ
2-3よりもずっと小さい。
【0153】
ステップii’)において、オフセット差しきいSΔが、好ましくはステップi’)において判定された第1および第2のオフセット差Δ1-2およびΔ2-3に基づいて判定される。
【0154】
ステップii’)において、オフセットしきい値は、ステップi’)において判定されたオフセット同士の差のうちで最小の差に実質的に等しいことが好ましい。
【0155】
従来、少なくとも2本の隣接する治療中の歯は、それらの歯が挿入された溝の底部に接触している。その場合、この2本の治療中の歯間のオフセット差は実質的にゼロである。したがって、このゼロオフセット差は通常の状況に相当するので、このゼロオフセット差を標準として使用して隣接する治療中の歯同士の間のオフセット差を評価してもよい。
【0156】
図13において、2本の歯D
1およびD
2間のオフセット差は実質的にゼロである。
【0157】
ステップiii’)において、前記三重項の歯の各対について、「オフセットスコア」と呼ばれる少なくとも1つのスコアが、前記歯に隣接する歯とのオフセット差およびオフセット差しきい値に応じて判定される。
【0158】
具体的には、第1の歯の第2の歯とのオフセット差は、オフセット差しきい値SΔと比較されてもよく、オフセット差しきい値SΔは、たとえばゼロである。具体的には、オフセット差しきい値を第1の歯の第2の歯とのオフセット差から引いて第1の歯と第2の歯のオフセットスコアを判定してもよい。
【0159】
このオフセットスコアは、たとえば正である場合、第1の歯と第2の歯の一方または各々が、溝の底部から外れている可能性が高いことを示す。
【0160】
図13において、歯D
2と歯D
3との間のオフセット差は正であり、このことは、第2または第3の歯が外れていることを示す。
【0161】
図13において、2本の歯D
1とD
2との間のオフセット差は、実質的にゼロであり、したがって、2本の歯D
2とD
3との間の正のオフセット差は、第3の歯が外れていることを示す。
【0162】
一般に、第1および第2の歯についての第1のオフセットスコアが、この2本の歯の一方が外れていることを示すとき、第2の歯と第2の歯に隣接する第3の歯について第2のオフセットスコアが判定される。第2のオフセットスコアが第1のオフセットスコアよりも低い場合、溝の底部から外れているのは第1の歯である可能性が高い。そうでない場合、外れているのは第2の歯である可能性が高い。
【0163】
代替的に、適合していない歯、特に外れている歯の識別は、オペレータ、好ましくは歯科医療従事者、より好ましくは歯列矯正医により、コンピュータの画面上に表示されるアライナ画像を単に観測することによって行われてもよい。
【0164】
ディープラーニングデバイスによる解析
ディープラーニングデバイス、好ましくはニューラルネットワークを使用して解析更新画像内の適合していない歯を識別してもよい。
【0165】
具体的には、EP3432218に記載されたように行うことが可能である。
【0166】
以下のステップ、すなわち、
I. 各レコードが履歴画像および履歴説明を含み、1000個を超え、好ましくは5000個を超え、好ましくは10000個を超え、好ましくは30000個を超え、好ましくは50000個を超え、好ましくは100000個を超える履歴レコードを含み、各履歴画像が、1本の歯を表す1つまたは複数のゾーン、すなわち「履歴歯ゾーン」を含み、関連する履歴説明が、各履歴歯ゾーンについて、少なくとも1つの歯属性の歯属性値を指定するトレーニングデータベースを作成するステップと、
II. 少なくとも1つのディープラーニングデバイス、好ましくはニューラルネットワークをトレーニングデータベースによってトレーニングするステップと、
III. 解析更新画像、好ましくはアライナ画像を前記少なくとも1つのディープラーニングデバイスに送信し、それによって、ディープラーニングデバイスが、解析更新画像内の少なくとも1本の歯を少なくとも部分的に表すゾーン、すなわち「歯解析ゾーン」内に表される前記歯の属性値、前記表される歯の適合度に関する属性値に対する少なくとも1つの確率を判定するステップと、
IV. 前記確率に応じて、前記歯列弓の歯が前記歯解析ゾーンによって表される位置に存在するかどうか、および前記歯の属性値を判定するステップとを実施することが好ましい。
【0167】
ディープラーニングデバイスは、特に、画像内の物体の特定および検出に特化されたニューラルネットワーク(すなわち、物体検出ネットワーク)であってもよく、具体的には、そのようなネットワークの上述の例から選択されてもよい。
【0168】
ディープラーニングデバイスは、解析更新画像内の歯の表示を識別するのを可能にするだけでなく、歯が適合しているか否かの判定も可能にする。
【0169】
ステップIにおいて、歯属性は、値が各歯に固有の属性である。
【0170】
たとえば、「外れている」という歯属性は、それぞれ、当該の歯がアライナに対して正常に配置されているかそれとも配置が異常であるかに応じて「適合している」または「適合していない」という値を有する。
【0171】
ステップIIにおいて、各レコードが、履歴画像と、履歴画像内に表される各歯について、歯の外形およびあらゆる非適合性を記載した説明とを含む履歴レコードをディープラーニングデバイスに入力することが可能である。したがって、ディープラーニングデバイスは、徐々に学習して画像内のパターンを認識し、パターンを歯ゾーンに関連付けるとともに、非適合性に対する歯属性値、特に歯の外れに対する歯属性値に関連付ける。
【0172】
ステップIIIにおいて、ディープラーニングデバイスは、解析更新画像内の前記パターンを認識する。具体的には、ディープラーニングデバイスは、
- 前記解析画像内の位置における、少なくとも部分的に歯を表すゾーン(「歯解析ゾーン」)の存在、
- 前記歯解析ゾーン内に表される歯の属性値に対する確率を判定してもよい。
【0173】
たとえば、アライナ画像において、ディープラーニングデバイスは、解析画像内の形状が歯を表す確率は99.5%であり、この歯がアライナから外れている確率は99%であると判定することができる。
【0174】
ディープラーニングデバイスは、解析更新画像全体を解析し、識別した歯解析ゾーンのすべてについて確率を判定することが好ましい。
【0175】
ステップIVにおいて、好ましくはコンピュータにより、好ましくは解析更新画像内に表される歯ごとに、ステップIIIにおいて判定された確率に応じて、表される歯を適合している歯と見なさなければならないか、それとも適合していない歯と見なさなければならないかが判定される。たとえば、ある歯が適合していない確率がしきい値よりも高く、たとえば98%である場合、この歯はアライナから外れていると見なされてもよい。
【0176】
解析とアライナ画像および露出した歯の画像の組合せ
適合していない歯は、露出した歯の画像のアクティブ中間モデルとの比較、およびアライナ画像のみを解析することによる検出を介して検出されることが好ましい。それによって最終結果が向上する。
【0177】
具体的には、解析更新画像がアライナ画像である場合、ある外れの例は、この画像のみを解析することによって検出することが困難である場合がある。したがって、アライナ画像の解析のみを考慮した場合、適合していない歯が適合していると見なされることがある。露出した歯の画像およびアクティブ中間モデルを用いると、アライナ画像では検出できない非適合性を検出することが可能である場合がある。
【0178】
適合していない歯が検出されない場合、治療シナリオを修正せずに治療を継続してもよい。したがって、ステップd)において設計されるアライナは常に治療に適している。治療が正しく進行していることを患者に示す情報メッセージが患者に送られることが好ましい。患者を担当している歯列矯正医にも情報メッセージが送られることが好ましい。
【0179】
1本または複数の適合していない歯が検出された場合、プロセスはステップ4)に進む。
【0180】
ステップ4)において、ステップ3)において識別された歯を適合していない歯、特に外れた歯として表すアクティブ中間モデルの歯モデルが識別される。
【0181】
この識別は、アクティブ中間モデル、およびステップ3)において判定された適合していない歯、特に外れている歯の識別子にアクセスできる任意のコンピュータによって実行されてもよい。このような識別子は、アクティブ中間モデルにアクセスできるコンピュータに送信されてもよく、または逆の場合も同様であり、すなわち、アクティブ中間モデルが、識別子にアクセスできるコンピュータに送信されてもよい。
【0182】
アクティブ中間モデルは、ステップ3)において、解析更新画像を解析し、適合していない歯、特に外れている歯を検出した集中コンピュータに送信され、この集中コンピュータはステップ4)を実行することが好ましい。
【0183】
変形例として、ステップ4)は、アクティブ中間モデルにアクセスできるオペレータによって実行されてもよい。
【0184】
ステップ5)において、アクティブ中間モデルは、更新時間に撮られた更新画像に適合する構成が見つかるまで変形される。「変形更新画像」と呼ばれるこの更新画像は、アライナを有さない露出した歯の画像、すなわち、露出した歯列弓の画像であることが好ましい。それによって、アクティブ中間モデルの変形が容易になる。
【0185】
変形更新画像は、解析更新画像と同一であってもよく、または異なってもよい。変形更新画像は、好ましくは携帯電話により、好ましくは携帯電話およびデンタルリトラクタが取り付けられたホルダを備える取得キットによって、解析更新画像に関して上記で説明したように取得されて送信されることが好ましい。変形更新画像は口外画像であることが好ましい。
【0186】
アクティブ中間モデルのすべての歯モデルに作用することによって実現される変形を実施するには非常に時間がかかる。特に、本発明者は、この変形では、更新時間に歯列弓の実際の構成を正しく表すモデルを得ることができないことを観測している。具体的には、本発明者は、口外更新画像では、すべての歯モデルが変形時に移動可能である場合に口の後部における歯(特に大臼歯)の正確な位置を常に判定できるとは限らないことを観測している。したがって、そのような変形では、アクティブ中間モデルが歯の実際の位置を正しく表す領域においてアクティブ中間モデルからの実質的な逸脱が生じることがある。したがって、このような変形に基づいて製造されたアライナは、使用不能であり得る。
【0187】
本発明の一実施形態では、アクティブ中間モデルは、適合していない歯、特に外れている歯の歯モデルの領域を除いて変形されない。したがって、アクティブ中間モデルの概形は保持され、これらの歯モデルのみが移動させられる。
【0188】
したがって、アクティブ中間モデルの変形は、適合していない歯を表すアクティブ中間モデルの歯モデルの移動に限定される。
【0189】
具体的には、適合していない歯の歯モデルのみを移動させることによって中間モデルを変形させると、変形前のアクティブ中間モデルに対する更新時間における適合していない歯の相対的な逸脱を非常に正確に評価することができる。
【0190】
好ましい一実施形態では、歯モデルの移動は、変形更新画像に対する歯モデルごとの配置エラーが、1mm未満、好ましくは5/10mm未満、好ましくは3/10mm未満、好ましくは2/10mm未満、好ましくは1/10mm未満になるまで継続される。
【0191】
制約
変形更新画像の実際の取得条件に対応し、アクティブ中間モデルのビューが変形更新画像にできるだけ近くなるようにアクティブ中間モデルを観測するのを可能にする仮想取得条件が追及されることが好ましい。この探索は、変形更新画像が解析更新画像である場合にステップ3)において実施されていてもよい。
【0192】
一実施形態では、このような仮想取得条件は、すべての歯モデルを考慮して決定される。したがって、適合していない歯は、前記仮想取得条件の精度に悪影響を与える。しかし、このような歯は数が少なく、その影響は一般に低い。
【0193】
仮想取得条件は、適合していない歯、特に外れている歯の歯モデルを考慮せずに決定されることが好ましい。したがって、変形更新画像の実際の取得条件に正確に対応し、「制約付きビュー」と呼ばれるアクティブ中間モデルのビューが変形更新画像に非常に近くなるようにアクティブ中間モデルを観測するのを可能にする「制約付き」仮想取得条件を決定することが可能である。得られる制約付きビューは、適合していない歯の影響によって劣化することがないので、特に適合している歯に対して非常に正確である。
【0194】
具体的には、後者の実施形態では、変形更新画像内の適合している歯の表示は、有利には、アクティブ中間モデル内の位置が既知である基準として使用されてもよい。具体的には、前記仮想取得条件の下で得られるビューでは、このような基準は、それが変形更新画像内で有する相対位置と同一の相対位置を有する。
【0195】
少なくとも3つの非整列点、たとえば、適合している歯、特に外れていない歯の歯尖が基準として使用されることが好ましい。その場合、変形更新画像内のこれらの基準間の距離を解析すると、単純な計算を介して前記仮想取得条件を評価することが可能になる。
【0196】
有利には、その場合、前記仮想取得条件を使用して適合していない歯、特に外れている歯の歯モデルの位置のすべてを試験してもよい。
【0197】
最適化を介した適合していない歯の歯モデルの移動
アクティブ中間モデルは好ましくは、最適化アルゴリズムによって変形される。
【0198】
各反復において、適合していない歯、特に外れている歯の1つまたは複数の歯モデルが移動させられ、次いで、このように修正されたアクティブ中間モデルと変形更新画像との間の適合度が評価され、反復が、修正後モデルと変形更新画像が適合していることが判明するまで継続される、反復プロセスが実施されることが好ましい。
【0199】
反復の回数は、たとえば、10回を超え、100回を超え、1000回を超え、10000回を超え、ならびに/または1000000回未満であってもよい。
【0200】
以下のステップ、すなわち、
A) 変形更新画像を解析し、区別情報に関する更新後画像を生成するステップと、
B) 更新後マップに基づき、および適合していない歯、特に外れている歯の歯モデルの移動を介して、変形更新画像が取得されたときに歯の位置に対応する更新後モデルを探索するステップであって、探索が、好ましくは進化的なメタヒューリスティック法、好ましくは疑似アニーリングによって実施される、ステップとが実施されることが好ましい。
【0201】
ステップA)の後、少なくとも一形態の区別情報に関する更新後マップを作成するように変形更新画像が解析される。
【0202】
「区別情報」は、従来はこの画像のコンピュータ処理によって画像から抽出されることがある特性情報(すなわち、画像フィーチャ)である。
【0203】
区別情報は、可変数の値を有してもよい。たとえば、外形情報は、画素がある外形に属するか否かに応じて1または0に等しくてもよい。光沢情報は多数の値をとってもよい。画像処理は、区別情報を抽出し定量化するのを可能にする。
【0204】
更新後マップは、変形更新画像の基準枠における区別情報を表す。区別情報は好ましくは、外形情報、色情報、濃度情報、距離情報、光沢情報、彩度情報、これらの形態の情報の反映および組合せに関する情報からなる群から選択される。区別情報は好ましくは、外形情報である。
【0205】
ステップB)の目的は、変形に対応する更新後モデルが得られるまでアクティブ中間モデルを修正することである。したがって、理想的には、更新後モデルは、3次元デジタル歯列弓モデルであり、この3次元歯列弓モデルが実物である場合にはこのモデルに基づいて変形更新画像を得ることが可能であり、アライナが変形更新画像内に表されている場合にはアライナは無視される。
【0206】
したがって、様々なモデルが連続的に試験され、試験すべきモデルの選択は好ましくは、すでに試験済みのモデルと変形更新画像の対応レベルに依存する。この選択は好ましくは、公知の最適化法、特に、好ましくは進化的メタヒューリスティック最適化法から選択され、具体的には、疑似アニーリング法から選択される最適化法を使用して行われる。
【0207】
好ましくは、メタヒューリスティック最適化法は、
- 好ましくは、
進化戦略、遺伝的アルゴリズム、差分進化アルゴリズム、分布推定アルゴリズム、人工免疫システム、パスリリンキング(path relinking)、シャッフルドコンプレックスエボリューション(shuffled complex evolution)、疑似アニーリング、アントコロニー最適化アルゴリズム、粒子群最適化アルゴリズム、タブー探索、およびGRASP法から選択される進化的アルゴリズム、
- カンガルーアルゴリズム、
- フレッチャー-パウエル法、
- ノイズ法、
- 確率的トンネリング、
- ランダム再出発登坂(random-restart hill climbing)、
- 交差エントロピー法、および
上述のメタヒューリスティック法を組み合わせたハイブリッド法によって形成される群から選択される。
【0208】
好ましくは、ステップB)は、以下のステップ、すなわち、
B1) 適合していない歯、特に外れている歯の歯モデルのアクティブ中間モデル内の移動を介して試験すべきモデルを画定するステップと、
B3) 前記制約付き仮想取得条件の下で試験すべきモデルのビューを生成するステップと、
B4) 前記区別情報を少なくとも部分的に表す少なくとも1つの試験マップを生成するようにビューを処理するステップと、
B5) 更新後マップと前記試験マップを比較することによって試験すべきモデルを試験し、それによって、更新後マップと前記試験マップとの間の差を測定するステップであって、この差が、「適合度」または「一致度」と呼ばれる、ステップと、
B6) 前記差に応じて、たとえば、差がしきい値よりも小さい場合に、
- 適合していない歯、特に外れている歯の1つまたは複数の歯モデル移動させることによって試験すべきモデルを修正し、次いでステップB3)に戻るか、または
- 試験マップの更新後マップからの差が最も小さい試験済みモデルとして更新後マップを画定するステップとを含む。
【0209】
前記差の測定は、使用される区別情報に依存する。前記差は、たとえば、試験マップの外形と更新後マップの外形の両方に属する点の数の、更新後マップの外形の点の総数に対する比を介して測定されてもよく、または前記更新後マップおよび試験マップ内に表される外形同士の間の平均距離の逆数と更新後マップ内に表される外形の長さとの積を介して測定されてもよい。
【0210】
したがって、ステップB)の終了時に得られる更新後モデルは、アクティブ中間モデルの連続的な修正によるモデルであり、初期モデルの変形によって得られるので非常に正確である。したがって、有利には、更新後モデルは、特定の注意なしに撮られる単純な写真または映像画像に基づいて得られたにもかかわらず非常に正確である。
【0211】
歯モデル同士が相互に貫通することはできない。したがって、特にステップ5)における外れている歯の歯モデルの移動は、静止したままの外れていない歯の歯モデルによって制限される。それによって、更新後モデルの探索はさらに加速される。
【0212】
アクティブ中間モデルの歯モデルを移動させると、更新後モデルのビューが変形更新画像に適合する条件の下で観測されてもよい更新後モデルを得ることができる。言い換えれば、このビューは、変形更新画像と一致して重なり合ってもよく、それによって、ビュー内に表される歯と変形更新画像内に表される歯は、実質的に正確に重なり合う。
【0213】
アクティブ中間モデルの更新は、複数の更新画像を解析および/または変形更新画像として用いて前の動作を繰り返すことによって洗練されてもよい。これによって、実質的に更新時間における実際の構成である歯を表す更新後モデルが得られる。最適化法の使用の代替または追加として、更新後モデルの探索が、ディープラーニングデバイス、および好ましくはニューラルネットワークを使用して行われる。
【0214】
非適合性の評価に応じた適合していない歯の歯モデルの移動
一実施形態では、解析更新画像の解析によって非適合性を「非適合度」によって定量化することができる。
【0215】
具体的には、一実施形態では、解析更新画像の解析によって、外れ、好ましくは外れている歯の縁部に沿った外れの変動を測定することができる。
【0216】
非適合性に関するこの情報は、ステップ5)において、適合していない歯、特に外れている歯の歯モデルを移動させるために使用されることが好ましい。たとえば、
図12では、dの測定値を使用して、たとえば並進d-d
minを介して、歯D1を下向きに移動させてもよい。
【0217】
解析更新画像に基づいて評価される非適合性の性質および振幅に応じた歯モデルの移動をステップ5)の初期動作とすると特に有用である。この粗な移動動作の後に、好ましくは最適化を介すかまたはディープラーニングデバイス、好ましくはニューラルネットワークを用いた微細な移動動作が行われることが好ましい。
【0218】
ステップ6)において、歯列弓を更新時間における歯列弓の実際の構成から最終構成に向けて修正するのに適した少なくとも1つの更新後アライナが設計される。「前記最終構成に向けて」とは、更新後アライナが、歯列弓の構成を最終構成により近くなるように修正するように形作られることを意味する。しかし、最終構成に到達するには複数の新しいアライナが必要とされることがある。
【0219】
新しい一連のアライナは、初期モデルではなく更新後モデルを考慮して設計されることが好ましい。上述のステップa)~ステップd)がこのことを行うために使用され、初期時間および初期モデルがそれぞれ、更新時間および更新後モデルに交換されることが好ましい。
【0220】
ステップ7)において、新しい一連のアライナのうちの少なくとも1つまたは複数のアライナが、好ましくはステップe)と同様に製造される。
【0221】
アライナは、たとえば、EP1835864の教示に従って製造されてもよい。
【0222】
これらの新しいアライナは、たとえば郵便で送ることによって患者に与えられる。
【0223】
次いで、患者は、これらの新しいアライナによって治療を継続する。
【0224】
システム
本発明による方法は、少なくとも部分的に、好ましくは全体的にコンピュータによって実施される。任意のコンピュータ、具体的にはPC、サーバ、またはタブレットが構想されてもよい。
【0225】
従来、コンピュータは特に、プロセッサと、メモリと、従来はキーボードと画面とマウスとを備えるヒューマンマシンインターフェースと、インターネットを介した、WiFiを介した、Bluetooth(登録商標)を介した、または電話網を介した通信用のモジュールと、通信バスとを備える。メモリは従来、ROMメモリおよびRAMメモリを備える。本発明の方法の一部を実施するように構成されたソフトウェアパッケージがコンピュータのメモリにロードされる。
【0226】
コンピュータは、プリンタ、スキャナ、CD-ROMドライブ、DVDドライブ、ハードディスクドライブ、ディスクバーナー、または拡声器に接続されてもよい。
【0227】
通信バスは、コンピュータの他の要素同士の間の有線通信またはリモート通信を確保するデバイスである。
【0228】
コンピュータは、自動的にまたはオペレータの助けを得て、
- ステップa)において、初期モデルを表示して操作し、特に初期モデルの観測点を修正し、
- ステップa)において、初期モデルを切断し、
- 最終モデルを決定し、
- 所与の治療についての潜在的なシナリオを決定しならびに/または表示し、
- 治療シナリオを表示しならびに/または決定し、したがって、中間モデルを決定して記憶し、
- ステップ2)において、アクティブ中間モデルを決定し、
- ステップ3)において、解析更新画像を解析して適合していない歯、特に外れている歯の表示を検出し、
- ステップ4)において、アクティブ中間モデル内で、適合していない歯、特に外れている歯の歯モデルを識別し、
- ステップ5)において、アクティブ中間モデルの歯モデルを移動させ、
- 任意のステップ6)およびステップd)において、アライナを設計するために使用されてもよい。
【0229】
オペレータは、具体的には歯科医療従事者、好ましくは歯列矯正医であってもよい。コンピュータは、1つまたは複数のディープラーニングデバイス、好ましくはニューラルネットワークを実施してもよい。
【0230】
図6は、本発明の好ましい一実施形態におけるシステムを示す。
【0231】
このシステムは、患者Pに属し、各々が集中コンピュータ50と通信する複数の携帯電話、たとえば1000台を超え、好ましくは10000台を超える携帯電話21を備える。
【0232】
集中コンピュータ50は、複数の患者、好ましくは100人を超え、1000人を超え、または10000人を超える患者の更新画像、特にアライナ画像Igおよび露出した歯の画像Idを受信して処理するように構成されることが好ましい。集中コンピュータ50は、全員が同じ歯列矯正医の治療を受けている患者の更新画像を受信し処理するように構成されてもよい。集中コンピュータ50は、複数の異なる歯列矯正医、たとえば、10人を超え、100人を超え、または1000人を超える歯列矯正医の治療を受けている患者の更新画像を受信して処理するように構成されることが好ましい。
【0233】
集中コンピュータ50は、たとえば、WiFiを介して、Bluetooth(登録商標)を介して、光ファイバを介して、または電話網を介して、好ましくは矯正歯科医院内に位置する複数のローカルコンピュータ52、たとえば10台を超えるかまたは100台を超えるローカルコンピュータと通信するための通信モジュールを備える。
【0234】
システムはまた、複数のスキャナ54を備え、スキャナ54は、1台または複数のローカルコンピュータと通信し、好ましくは各スキャナが単一のローカルコンピュータと、たとえば、有線リンクを介して、WiFiを介して、Bluetooth(登録商標)を介して、光ファイバを介して、または電話網を介して通信する。各スキャナ54は、それぞれのローカルコンピュータと同じ場所、好ましくは同じ矯正歯科医院内に位置することが好ましい。
【0235】
システムはまた、集中コンピュータおよび/またはローカルコンピュータと、たとえば、有線リンクを介して、WiFiを介して、Bluetooth(登録商標)を介して、光ファイバを介して、または電話網を介して通信する製造コンピュータ56が設けられた製造ユニットを備える。
【0236】
実施例
ステップa)において、初期時間に、スキャナ54を用いて初期モデルM0が生成される。初期モデルM0は次いで、ローカルコンピュータ52に送信される。ローカルコンピュータにロードされたソフトウェアパッケージが、好ましくは、初期モデルを自動的に切断して歯モデルを作成するのを可能にする。
【0237】
歯列矯正医は、患者を検査した後、ローカルコンピュータにより歯モデルを移動させることによって最終モデルMfを画定する。
【0238】
ローカルコンピュータ52は、ステップb)およびステップc)において、歯列弓が最終モデルに対応する最終構成に到達するように歯列弓の修正の1つまたは複数のシナリオを決定するようにプログラムされることが好ましい。ローカルコンピュータはまた、歯列矯正医が潜在的なシナリオを視認し治療シナリオを選択するのを可能にすることが好ましい。歯列矯正医はまた、ローカルコンピュータ52によって提案されたシナリオを作成または修正できることが好ましい。
【0239】
中間時間および対応する中間モデルは、ローカルコンピュータによって画定されるか、または歯列矯正医が中間時間および中間モデルを検証しならびに/または修正し得るようにローカルコンピュータ52によって歯列矯正医に提案されてもよい。
【0240】
ローカルコンピュータ52は、治療シナリオ、特に少なくとも中間モデルMiならびに初期モデルおよび最終モデルM0、Mfを集中コンピュータ50に送信する。
【0241】
ステップd)において、集中コンピュータ50にロードされたソフトウェアパッケージが、これらのモデルに基づいて、製造すべきアライナの形状を決定し、次いで、この情報I0をステップe)においてアライナG0を製造することを目的として製造ユニットに送信する。
【0242】
代替的に、初期モデル、中間モデル、および最終モデルが集中コンピュータ50によって製造コンピュータ56に送信されてもよく、製造コンピュータ56は、ステップd)において、N個のアライナの形状を決定し、製造を制御する。
【0243】
再び代替的に、ステップd)は、ローカルコンピュータ52によって実行されてもよい。ローカルコンピュータは次いで、アライナを製造するのに必要な情報を製造ユニットに送信する。
【0244】
アライナG0が患者に送られ、患者は治療を開始する。
【0245】
患者は、1つまたは複数の更新画像、好ましくは少なくとも1つのアライナ画像および好ましくは露出した歯の1つまたは複数の画像を撮ることを患者に要求するリマインダを受信することが好ましい。
【0246】
ステップ1)において、患者は、更新時間に、その時点で装着する必要があるアクティブアライナを装着した状態および装着しない状態の写真を撮る。患者は、この目的のために自分の携帯電話21を使用し、これらの写真を集中コンピュータ50に転送する。
【0247】
ステップ2)において、集中コンピュータは、写真の取得の更新時間に応じてアクティブ中間モデルを識別する。集中コンピュータは、中間時間が更新時間に最も近い中間モデルをアクティブ中間モデルとして識別することが好ましい。集中コンピュータは、更新時間に患者によって装着されていたアクティブアライナを設計するために使用された中間モデルをアクティブ中間モデルとして識別することがより好ましい。
【0248】
ステップ3)において、集中コンピュータ50は、非適合性、特に歯の外れを自動的に検出し、適合していない歯、特に外れている歯を識別することを目的として、写真、特に使用位置にあるアライナを表す写真を解析する。適合していない歯、特に外れている歯が検出されない場合、集中コンピュータ50は、患者および/または歯列矯正医にメッセージを送信して治療が正常に進行していることを患者および/または歯列矯正医に通知する。
【0249】
集中コンピュータ50はこのような歯を識別するようにプログラムされることが好ましい。
【0250】
集中コンピュータ50は、そのようにプログラムされていない場合、ステップ4)において、場合によっては、オペレータの助けを得て、適合していない歯、特に外れている歯の歯モデルを識別する。
【0251】
ステップ5)において、集中コンピュータは、更新時間に撮られた写真に適合する更新後モデルMaが見つかるまで、適合していない歯、特に外れている歯の歯モデルを移動させることによってアクティブ中間モデルを修正する。
【0252】
ステップ6)において、集中コンピュータは、更新後モデルを考慮して1つまたは複数の新しいアライナG1を設計し、次いでアライナG1を製造するのに必要な情報を製造ユニットの製造コンピュータ56に送信する。
【0253】
ステップ7)において、製造ユニットは、新しいアライナG1を製造する。次いで、新しいアライナが患者に送られ、患者はこれらの新しいアライナによって患者の治療を継続してもよい。
【0254】
変形例
一実施形態では、本発明による方法は、アライナ画像を使用して、決定されたアクティブ中間モデルを初期時間に更新し、アライナの交換を示す中間時間tiに予期される構成の歯列弓を表す。したがって、治療シナリオの中間モデルは、患者がアライナを交換することを要求されるそれぞれの中間時間tnに予期される歯列弓構成を表す。したがって、患者は治療の開始時、すなわち、実質的に、初期モデルが生成された初期時間t1に、一連のアライナのうちの第1のアライナの装着を開始し、次いで、中間時間t2、t3などにアライナを交換する。したがって、中間時間tiは、一連のアライナのうちの(i-1)番目の歯列矯正アライナを一連のアライナのうちのi番目の歯列矯正アライナと交換することが予期される時間であり、この場合、iは、2以上である。治療にたとえば30個のアライナを使用することが計画されている場合(N=30)、患者は時間t30に30番目のアライナの装着を開始し、このアライナを最終時間t31まで装着する。
【0255】
アライナの数Nは、5個よりも多く、10個よりも多く、20個よりも多く、または30個よりも多くならびに/または60個未満、好ましくは50個未満であってもよい。
【0256】
アライナの2回の連続する交換間、すなわち、2つの連続する中間時間間の時間間隔は、7日を超え、または15日を超え、ならびに/または60日未満、好ましくは30日未満であってもよい。
【0257】
一実施形態では、治療シナリオはアライナの交換用の一連の中間モデルに制限されず、中間時間がアライナの交換を示さない他の中間モデルを含む。治療シナリオは、実質的に連続する一連の中間モデルであることが好ましい。したがって、治療シナリオは、初期モデルから最終モデルまでの進行を視認するのを可能にする映像と同様である。
【0258】
したがって、有利には、アクティブアライナの適切性を任意の時間に検査してもよい。更新画像は、治療の間の任意の更新時間に取得されてもよい。次いで、治療シナリオに応じて、更新時間に対応し、すなわち、更新時間に関して、治療シナリオに従って予期される構成の歯列弓を表すアクティブ中間モデルが選択される。
【0259】
一実施形態では、追加の中間モデルが、治療シナリオの中間モデルから生成され、治療シナリオに追加されてもよい。具体的には、更新時間が2つの中間時間tiとti+1との間である場合、たとえば補間によって、中間時間tiおよびti+1の中間モデルから、アクティブ中間モデルとして働く追加の中間モデルが作成されてもよい。追加の中間モデルは、特に治療の間に生成されてもよい。
【0260】
今や明らかなように、本発明による方法は、単純な写真または単純な映像に基づいて、更新時間における歯列弓の実際の構成に対応する非常に正確な更新後モデルを、新しいスキャンを実行する必要なしに得るのを可能にする。したがって、この方法は、歯列矯正医との予約をとる必要なしに実施される場合がある。
【0261】
もちろん、本発明は上記で説明し図示した実施形態に限定されない。
【0262】
歯列矯正治療は、治療および/または美容を目的としたものであってもよい。
【0263】
ステップ3)および/またはステップ5)において複数の更新画像が使用されてもよい。
【0264】
歯モデルの配置エラーを使用して歯列矯正治療におけるドリフトを検出し、すなわち、歯の位置の進行が治療シナリオに従っていない状況を検出してもよい。
【0265】
最後に、患者は必ずしも人間とは限らない。具体的には、本発明による方法は、別の動物に使用されてもよい。
【符号の説明】
【0266】
10 歯列矯正アライナ
12 溝
15 写真撮影キット
17 ホルダ
19 デンタルリトラクタ、リトラクタ
20 底部
21 携帯電話
22 自由端部
23 溝
241 外側歯外形、第1の歯
242 外側歯外形、第2の歯
243 外側歯外形、第3の歯
24i 外側歯外形
26a、26b ラグ
27a、27b クリップ
301 内側歯外形、第1の歯
302 内側歯外形、第2の歯
303 内側歯外形、第3の歯
30i 内側歯外形
32 歯モデル
50 集中コンピュータ
52 ローカルコンピュータ
54 スキャナ
56 製造コンピュータ
D1、D2、D3 歯
d 距離
dmin 最短距離
G0、G1 アライナ
I0 情報
Id 露出した歯の画像
Ig アライナ画像
M0 初期モデル
Mi 中間モデル
Mf 最終モデル
Ma 更新後モデル
P 患者
Sd 距離しきい値
S(d,Sd) 距離スコア
t1 初期時間
tn 中間時間
tN+1 最終時間
X 軸
【国際調査報告】