知財求人 - 知財ポータルサイト「IP Force」
▶ ソルベンタム インテレクチュアル プロパティズ カンパニーの特許一覧
特表2024-542691クリアトレイアライナにおけるセットアップ及び段階分けのための幾何学的深層学習
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-15
(54)【発明の名称】クリアトレイアライナにおけるセットアップ及び段階分けのための幾何学的深層学習
(51)【国際特許分類】
G16H 20/00 20180101AFI20241108BHJP
G06T 7/00 20170101ALI20241108BHJP
【ＦＩ】
G16H20/00
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024532455
(86)(22)【出願日】2022-11-29
(85)【翻訳文提出日】2024-06-26
(86)【国際出願番号】 IB2022061551
(87)【国際公開番号】W WO2023100078
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】63/264,914
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】524062087
【氏名又は名称】ソルベンタム インテレクチュアル プロパティズ カンパニー
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100146466
【弁理士】
【氏名又は名称】高橋 正俊
(74)【代理人】
【識別番号】100202418
【弁理士】
【氏名又は名称】河原 肇
(72)【発明者】
【氏名】ジョナサン ディー．ガンドルード
(72)【発明者】
【氏名】セイエド アミール ホセイン ホセイニー
(72)【発明者】
【氏名】ウェンボ トン
【テーマコード（参考）】
5L096
5L099
【Ｆターム（参考）】
5L096BA06
5L096HA11
5L099AA00
(57)【要約】
１つ以上のコンピュータプロセッサが、患者の歯の第１のデジタル表現を受信することと、１つ以上のコンピュータプロセッサが、１つ以上の歯の移動の予測を決定するために、敵対的生成ネットワーク（ＧＡＮ）に含まれたニューラルネットワークであり、１つ以上の歯の移動を予測するように訓練された生成器を使用することと、１つ以上のプロセッサが、最終セットアップ及び１つ以上の中間段階のうちの少なくとも１つを含む出力状態を生成することと、を含む、クリアトレイアライナ（ＣＴＡ）のための中間段階及び最終セットアップを製作するためにＧＡＮを訓練及び使用するためのシステム及び手法が記載されている。
【特許請求の範囲】
【請求項1】
歯科矯正整列治療のためのセットアップを生成するためのコンピュータ実装方法であって、１つ以上のコンピュータプロセッサが、患者の歯の第１のデジタル表現を受信することであって、前記第１のデジタル表現は、複数のメッシュ要素と、前記複数のメッシュ要素内の各メッシュ要素に関連付けられたそれぞれのメッシュ要素特徴ベクトルと、を含む、ことと、
前記１つ以上のコンピュータプロセッサが、セットアップのための１つ以上の歯の移動の予測を決定するために、１つ以上のニューラルネットワークを含み、セットアップのための１つ以上の歯の移動を予測するように最初に訓練された生成器を使用することと、
前記１つ以上のコンピュータプロセッサが、前記使用することに基づいて、前記生成器を更に訓練することであって、前記ニューラルネットワークの前記訓練は、
前記生成器が、前記患者の歯の前記第１のデジタル表現に基づいて、セットアップのための１つ以上の歯の移動を予測することであって、前記１つ以上の歯の移動は、位置及び配向のうちの少なくとも１つによって記述される、ことと、
前記生成器が、前記生成器によって予測された前記１つ以上の歯の移動の表現と、１つ以上の基準歯の移動の表現との間の差を定量化することと、
前記定量化することに基づいて、損失値を生成することと、
前記損失値に少なくとも部分的に基づいて、前記生成器を修正することと、を含む動作を実行することによって修正される、ことと、を含む、コンピュータ実装方法。
【請求項2】
メッシュ要素は、頂点、辺、面、及びボクセルのうちの少なくとも１つを含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
メッシュ特徴部は、空間的特徴部及び構造的特徴部のうちの少なくとも１つを含む、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記１つ以上のプロセッサが、１つ以上の歯に適用される１つ以上の変換を記述する出力を生成することを更に含む、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記セットアップは、中間セットアップである、請求項４に記載のコンピュータ実装方法。
【請求項6】
前記セットアップは、最終セットアップである、請求項４に記載のコンピュータ実装方法。
【請求項7】
前記生成器の前記訓練を修正することは、前記生成器の１つ以上のニューラルネットワークの１つ以上の重みを調整することを含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
１つ以上の前記メッシュ特徴部は、頂点ＸＹＺ位置、表面法線ベクトル、及び頂点曲率を含む、請求項３に記載のコンピュータ実装方法。
【請求項9】
前記生成器は、３次元Ｕ－Ｎｅｔ、３次元エンコーダ、３次元デコーダ、３次元ピラミッドエンコーダ／デコーダ、及び多層パーセプトロン（ＭＬＰ）のうちの少なくとも１つを含む、請求項１に記載のコンピュータ実装方法。
【請求項10】
前記１つ以上のコンピュータプロセッサが、前記１つ以上の基準歯の移動に基づいて、前記患者の歯のデジタル表現を生成することを更に含む、請求項１に記載のコンピュータ実装方法。
【請求項11】
前記生成器はまた、１つ以上のニューラルネットワークを含み、予測された歯の移動と基準歯の移動とを区別するように訓練されている、識別器によって少なくとも部分的に訓練される、請求項１に記載のコンピュータ実装方法。
【請求項12】
システムであって、１つ以上のコンピュータプロセッサと、
１つ以上のニューラルネットワークを含み、セットアップのための１つ以上の歯の移動を予測するように最初に訓練された生成器と、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
患者の歯の第１のデジタル表現を受信することであって、前記第１のデジタル表現は、複数のメッシュ要素と、前記複数のメッシュ要素内の各メッシュ要素に関連付けられたそれぞれのメッシュ要素特徴ベクトルと、を含む、ことと、
セットアップのための１つ以上の歯の移動の予測を決定するために、前記生成器を使用することと、
前記使用することに基づいて、前記生成器を更に訓練することであって、前記ニューラルネットワークの前記訓練は、
前記生成器が、前記患者の歯の前記第１のデジタル表現に基づいて、セットアップのための１つ以上の歯の移動を予測することであって、前記１つ以上の歯の移動は、位置及び配向のうちの少なくとも１つによって記述される、ことと、
前記生成器が、前記生成器によって予測された前記１つ以上の歯の移動の表現と、１つ以上の基準歯の移動の表現との間の差を定量化することと、
前記定量化することに基づいて損失値を生成することと、
前記損失値に少なくとも部分的に基づいて前記生成器を修正することと、を含む動作を行うことによって修正される、ことと、を行わせる命令と、を格納する、非一時的コンピュータ可読ストレージと、を備える、システム。
【請求項13】
メッシュ要素は、頂点、辺、面、及びボクセルのうちの少なくとも１つを含む、請求項１２に記載のシステム。
【請求項14】
メッシュ特徴部は、空間的特徴部及び構造的特徴部のうちの少なくとも１つを含む、請求項１２に記載のシステム。
【請求項15】
前記命令は更に、前記１つ以上のプロセッサに、１つ以上の歯に適用される１つ以上の変換を記述する出力を生成させる、請求項１２に記載のシステム。
【請求項16】
前記セットアップは、中間セットアップである、請求項１５に記載のシステム。
【請求項17】
前記セットアップは、最終セットアップである、請求項１５に記載のシステム。
【請求項18】
前記生成器の前記訓練を修正することは、前記生成器の１つ以上のニューラルネットワークの１つ以上の重みを調整することを含む、請求項１２に記載のシステム。
【請求項19】
前記１つ以上のメッシュ特徴部は、頂点ＸＹＺ位置、表面法線ベクトル、及び頂点曲率を含む、請求項１４に記載のシステム。
【請求項20】
前記生成器は、３次元Ｕ－Ｎｅｔ、３次元エンコーダ、３次元デコーダ、３次元ピラミッドエンコーダ／デコーダ、及び多層パーセプトロン（ＭＬＰ）のうちの少なくとも１つを含む、請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、歯科矯正治療において使用される自動的に生成されたクリアトレイアライナ（clear tray aligner、ＣＴＡ）デバイスの精度を改善するためのニューラルネットワークの構成及び訓練に関する。
【背景技術】
【0002】
不正咬合段階から最終段階への歯の中間期の段階分けは、歯が互いに衝突せず、歯がそれらの最終状態に向かって移動し、歯が最適かつ好ましくは短い軌道に従うように、正確な個々の歯の移動を決定することを必要とする。各歯は６自由度を有し、平均的な歯列弓は、約１４個の歯を有するので、初期段階から最終段階までの最適な歯の軌道を見つけることは、大きく複雑な課題である。
【0003】
ＣＴＡの製作を自動化するための以前のアプローチは、１つ以上のＣＴＡデバイスを使用する再調整のために、歯のセットの状態を定量化するために、ある規則又は測定基準の使用を伴った。他のアプローチは、ＣＴＡデバイスを生成するために機械学習手法を使用することを試みたが、功罪相半ばする結果となった。結果として、ＣＴＡの製作を自動化するシステムを改善するためのより良い機械学習モデル及び訓練手法が必要とされている。
【発明の概要】
【0004】
本開示は、ＣＴＡのための中間段階及び最終セットアップを製作するために敵対的生成ネットワーク（generative adversarial network、ＧＡＮ）を訓練及び使用するためのシステム及び手法を説明する。第１の態様では、１つ以上のコンピュータプロセッサが、患者の歯の第１のデジタル表現を受信するステップと、１つ以上のコンピュータプロセッサが、最終セットアップのための１つ以上の歯の移動の予測を決定するために、敵対的生成ネットワークＧＡＮに含まれるニューラルネットワークであり、最終セットアップのための１つ以上の歯の移動を予測するように最初に訓練された生成器を使用するステップと、１つ以上のコンピュータプロセッサが、使用するステップに基づいてＧＡＮを更に訓練するステップであって、ＧＡＮを訓練することは、生成器が、患者の歯の第１のデジタル表現に基づいて最終セットアップのための１つ以上の歯の移動を予測することと、予測された歯の移動と基準歯の移動とを区別するように構成されたニューラルネットワークでもあり、ＧＡＮの一部でもある識別器が、生成器によって予測された１つ以上の歯の移動の表現が１つ以上の基準歯の移動の表現から区別可能であるか否かを決定することと、識別器の決定に基づいて、生成器及び識別器のうちの少なくとも一方のためのニューラルネットワークのうちの１つを修正することと、を含む動作を実行することによって修正される、ステップと、を含む、歯科矯正整列治療のためのセットアップを生成する第１のコンピュータ実装方法が記載される。
【0005】
第１の態様は、追加の特徴を任意選択で含むことができる。例えば、本方法は、１つ以上のプロセッサによって、最終セットアップのための出力状態を生成することができる。本方法は、１つ以上のコンピュータプロセッサによって、１つ以上の予測された歯の移動と１つ以上の基準歯の移動との間の差を決定することができる。１つ以上の予測された歯の移動と１つ以上の基準歯の移動との間の決定された差を使用して、生成器の訓練を修正することができる。生成器の訓練を修正することは、生成器のニューラルネットワークの１つ以上の重みを調整することを含むことができる。本方法は、１つ以上のコンピュータプロセッサによって、患者の歯の第１のデジタル表現の要素を指定する１つ以上のリストを生成することができる。１つ以上のリストのうちの少なくとも１つは、患者の歯の第１のデジタル表現における１つ以上の辺を指定することができる。１つ以上のリストのうちの少なくとも１つは、患者の歯のデジタル表現における１つ以上の多角形面を指定することができる。１つ以上のリストのうちの少なくとも１つは、患者の歯の第１のデジタル表現における１つ以上の頂点を指定することができる。本方法は、１つ以上のコンピュータプロセッサによって、１つ以上のメッシュ特徴部（mesh feature）を算出することができる。１つ以上のメッシュ特徴部は、辺の端点、辺の曲率、辺の法線ベクトル、辺の移動ベクトル、辺の正規化された長さ、頂点、関連する３次元表現の面、ボクセル、及びこれらの組み合わせを含むことができる。本方法は、１つ以上のコンピュータプロセッサによって、１つ以上の予測された歯の移動に基づいて、患者の歯の位置及び配向を予測するデジタル表現を生成することができる。本方法は、１つ以上のコンピュータプロセッサによって、１つ以上の基準歯の移動に基づいて患者の歯のデジタル表現を生成することができる。生成器によって予測された１つ以上の歯の移動の表現が１つ以上の基準歯の移動の表現から区別可能であるか否かを識別器によって決定することは、生成器によって予測された１つ以上の歯の移動の表現、１つ以上の基準歯の移動の表現、及び患者の歯の第１のデジタル表現を受信するステップと、生成器によって予測された１つ以上の歯の移動の表現、１つ以上の基準歯の移動の表現を比較するステップであって、比較は、患者の歯の第１のデジタル表現に少なくとも部分的に基づいている、ステップと、１つ以上のコンピュータプロセッサが、生成器によって予測された１つ以上の歯の移動の表現が１つ以上の基準歯の移動の表現と同じである確率を決定するステップと、を含むことができる。
【0006】
第２の態様では、１つ以上のコンピュータプロセッサが、患者の歯の第１のデジタル表現及び最終セットアップの表現を受信するステップと、１つ以上のコンピュータプロセッサが、１つ以上の中間段階のための１つ以上の歯の移動の予測を決定するために、敵対的生成ネットワーク（ＧＡＮ）に含まれるニューラルネットワークであり、１つ以上の中間段階のための１つ以上の歯の移動を予測するように最初に訓練された生成器を使用するステップと、１つ以上のコンピュータプロセッサが、使用するステップに基づいてＧＡＮを更に訓練するステップであって、ＧＡＮの訓練は、生成器が、患者の歯の第１のデジタル表現に基づいて、少なくとも１つの中間段階のための１つ以上の歯の移動を予測することと、予測された歯の移動と基準歯の移動とを区別するように構成されたニューラルネットワークでもあり、ＧＡＮの一部でもある識別器が、生成器によって予測された１つ以上の歯の移動の表現が１つ以上の基準歯の移動の表現から区別可能であるか否かを決定することと、識別器の決定に基づいて、生成器及び識別器のうちの少なくとも一方のためのニューラルネットワークのうちの１つを修正することと、を含む動作を実行することによって修正される、ステップと、を含む、歯科矯正整列治療のためのセットアップを生成する第２のコンピュータ実装方法が記載される。第２の態様はまた、第１の態様を参照して上述した任意選択の特徴のうちの１つ以上を含むことができる。
【0007】
第３の態様では、１つ以上のコンピュータプロセッサが、患者の歯の第１のデジタル表現を受信するステップと、１つ以上のコンピュータプロセッサが、１つ以上の歯の移動の予測を決定するために、敵対的生成ネットワーク（ＧＡＮ）に含まれるニューラルネットワークであり、１つ以上の歯の移動を予測するように訓練された生成器を使用するステップと、１つ以上のコンピュータプロセッサが、最終セットアップ及び１つ以上の中間段階のうちの少なくとも一方を含む出力状態を生成するステップであって、ＧＡＮは、生成器が、患者の歯の第１のデジタル表現に基づいて、１つ以上の歯の移動を予測することと、予測された歯の移動と基準歯の移動とを区別するように構成されたニューラルネットワークでもあり、ＧＡＮの一部でもある識別器が、生成器によって予測された１つ以上の歯の移動の表現が１つ以上の基準歯の移動の表現から区別可能であるか否かを決定することと、識別器の決定に基づいて、生成器及び識別器のうちの少なくとも一方のためのニューラルネットワークのうちの１つを修正することと、を含む動作を使用して訓練されている、ステップと、を含む、歯科矯正整列治療のためのセットアップを生成する第３のコンピュータ実装方法が記載される。第３の態様はまた、第１の態様を参照して上述した任意選択の特徴のうちの１つ以上を含んでもよい。
【図面の簡単な説明】
【0008】
【図1】ＣＴＡの最終セットアップを決定するために使用される機械学習モデルを訓練するために使用することができる例示的な手法の図である。
【図4】ＣＴＡの中間期の段階分けを決定するために使用される機械学習モデルを訓練するために使用することができる例示的な手法の図である。
【図13】本開示の手法に従って動作する例示的な処理ユニットを示す図である。
【発明を実施するための形態】
【0009】
クリアトレイアライナ、すなわちＣＴＡは、治療の過程にわたって任意の数の患者の歯の位置付け及び／又は配向を再調整するために使用される一連の歯科矯正用の型である。患者の歯が１つのトレイ又は型に適合すると、所望の結果を達成するために、既存のトレイを配列内の次のトレイと交換することができる。ＣＴＡは、様々な材料で作ることができるが、名前が示すように、それらは概ね透明であり、したがって、トレイは、美容的に過度に乱されることなく所望の効果を達成するために一日中着用することができる。本明細書で使用される場合、「最終セットアップ」は、配列内の最終ＣＴＡに対応する（すなわち、患者の歯の最終的な所望の整列を表す）歯の目標配列を意味する。「中間段階」は、本明細書では、最終セットアップに達するために使用される配列内の他のトレイに対応する歯の中間配列を識別するために使用される。
【0010】
自動化ツールは、中間段階及び最終セットアップを表す物理的トレイを生成するために使用され得るデジタル式の最終セットアップ及び中間段階の作成のために開発されてきた。１つの既知の実施態様では、中間段階及び最終セットアップのデジタル表現を決定するために、特定の測定基準又は規則に従って、歯のセットの状態を定量化することを試みた、ランドマークベースの解剖学的構造に基づく手法が使用された。別の実施態様では、最終セットアップ及び中間段階のためのデジタル表現の生成のためにニューラルネットワークが使用された。
【0011】
しかしながら、これらの解決策を用いた研究において、改善を要する部分が明らかになっている。１つの改善を要する部分は、上記の手法によって実装されるモデルが、患者の歯を所望のように位置付けるために必要とされるであろう歯の移動のすべてを生成することが場合によりできないことである。例えば、一例を挙げると、算出された歯の移動によって、１つ以上の歯が重なり続ける場合があることが観察されている。これは、最終セットアップが患者によって装着された後であっても、特定の歯が依然として重なり合う可能性があるため、最終的に、所望の美容上の結果をもたらさないアライナの配列をもたらす場合がある。デジタル表現は、訓練されたモデルにおける識別された欠点に対処するために、更なる回数処理される必要があり得、更なる計算上のオーバーヘッドをもたらし、これは、計算リソースを不必要に消費することとなる。その場合であっても、デジタル表現を確定することは可能でない場合があり、したがって、これらのシステム及び手法の結果として生じる出力を補正するために人間の介入が必要とされる場合がある。言い換えれば、本開示の利点は、２つの例を挙げると、基礎となるシステムのより正確なデジタル表現及び改善された自動化をもたらす、より良好に訓練されたシステムを提供する。要するに、開示された手法を実施するシステムは、より良好に訓練され、それぞれの中間段階及び最終セットアップのより正確に生成されたデジタル表現を生成し、より短い持続時間でそれを行う。
【0012】
図１は、ＣＴＡの最終セットアップを決定するために使用される機械学習モデルを訓練するために使用することができる例示的な手法１００である。以下でより詳細に説明するように、手法１００は、所望の結果を達成するためにコンピュータハードウェア上で実施することができる。受信モジュール１０２は、患者症例データを受信する。一般に、患者症例データは、患者の口のデジタル表現を表す。図示されるように、モジュール１０２によって受信された患者症例データは、不正咬合歯列弓１０６（例えば、患者の歯の上側歯列弓及び下側歯列弓を表す３次元（「３Ｄ」）メッシュ）、図示されるような不正咬合歯列弓１０６であるが、上側歯列弓及び下側歯列弓が互いに係合される「咬合」位置１０４に配置されるもの、又は２つの組み合わせのいずれかとして受信されることができる。特定の実施態様によれば、咬合位置１０４を表す３Ｄメッシュはまた、患者の歯のメッシュデータに加えて、患者の歯肉組織（すなわち、歯肉）の３Ｄメッシュ幾何形状を含み得る。図１の説明の部分は、実行されている訓練のタイプ（すなわち、最終セットアップのための訓練又は中間段階のための訓練）にとらわれないものとして提示されている。しかしながら、メッシュ変換訓練を参照してそれらの変換を分析する場合、手法１００は、ニューラルネットワークを訓練して、最終セットアップをより正確かつ迅速に生成する目的で動作するように意図されていることを理解されたい。中間段階の訓練は、図４を参照して説明される。
【0013】
特定の実施態様によれば、咬合位置幾何形状１０４及び不正咬合歯列弓幾何形状１０６は、同じ若しくは類似の３Ｄ幾何形状を含むか、又はそうでなければそれによって画定されるが、特定の構成で配列されてもよいことを理解されたい。すなわち、状況によっては、咬合位置幾何形状１０４は、不正咬合歯列弓幾何形状１０６内に含まれるように、咬合構成を表すように配列又は別様に描画された同じ基礎となるメッシュデータを含む。したがって、例えば、受信モジュール１０２が不正咬合歯列弓幾何形状１０６のみを受信する場合、受信モジュール１０２は、咬合位置幾何形状１０４を自動的に生成してもよい。逆に、受信モジュール１０２が咬合位置幾何形状１０４のみを受信する場合、受信モジュール１０２は、不正咬合歯列弓幾何形状１０６を自動的に生成してもよい。本明細書で使用される場合、「３Ｄメッシュ」及び「３Ｄ幾何形状」は、３Ｄデジタル表現を言及するために互換的に使用される。すなわち、一般性を失うことなく、様々なタイプの３Ｄ表現が存在することが理解されるべきである。３Ｄ表現の１つのタイプは、３Ｄメッシュ、３Ｄ点群、ボクセル化幾何形状（すなわち、ボクセルの集合）、又は数式によって記述される他の表現を含むことができる。「メッシュ」という用語が本開示全体を通して頻繁に使用されるが、この用語は、いくつかの実施態様では、他のタイプの３Ｄ表現と互換性があると理解されるべきである。
【0014】
本明細書で説明される様々なセットアップの予測の実施態様の各態様は、クリアトレイアライナ及びインダイレクトボンディングトレイの製作に適用可能である。様々なセットアップの予測の実施態様は、最終的な歯の姿勢を伴う他の製品にも適用可能であり得る。姿勢は、位置（又は場所）及び回転（又は配向）のうちの少なくとも１つを含む。
【0015】
３Ｄメッシュは、歯、ハードウェア要素又は患者の歯肉組織などの物体の幾何形状（又は形状）及び構造を記述するデータ構造である。３Ｄメッシュは、頂点、辺、及び面などのメッシュ要素からなる。いくつかの実施態様では、メッシュ要素は、低密度（sparse）メッシュ処理動作のコンテキストなどにおいて、ボクセルを含み得る。様々な空間的特徴部及び構造的特徴部が、これらのメッシュ要素について算出され、本開示の予測モデルに入力されてもよく、これらのモデルが正確な予測を行う能力を向上させるという利点がある。
【0016】
メッシュ特徴部モジュール１０８は、受信モジュール１０２によって受信された患者症例データを使用し、３Ｄメッシュ１０４及び１０６に関連するいくつかの特徴部を算出することができる。一般に、手法１００は、患者の歯に関連する３Ｄ幾何形状を最適化することに最も関心があり、患者の歯肉組織に関連する３Ｄ幾何形状を最適化することにはあまり関心がない。結果として、メッシュ特徴部モジュール１０８は、対応する３Ｄ幾何形状内に存在する各歯の特徴を算出するように構成されている。特定の実施態様によれば、メッシュ特徴部モジュール１０８は、辺の中点、辺の曲率、辺の法線ベクトル、辺の正規化ベクトル、辺の移動ベクトル、並びに３Ｄメッシュ１０４及び１０６内の各歯に関する他の情報のうちの１つ以上を算出することができる。特定の実施態様によれば、メッシュ特徴部モジュール１０８は、利用されてもよく、又は利用されなくてもよい。すなわち、３Ｄメッシュ１０４及び１０６内の各歯についての辺の中点、辺の曲率、辺の法線ベクトル、及び辺の移動ベクトルのいずれかの算出は任意であることを理解されたい。メッシュ特徴部モジュール１０８を使用する１つの利点は、メッシュ特徴部モジュール１０８を利用するシステムをより迅速かつ正確に訓練することができるが、それにもかかわらず、手法１００は、メッシュ特徴部モジュール１０８を使用しない既存の手法よりも良好に機能することである。従来の手法に対する３Ｄメッシュを使用する別の利点は、２次元の結果を３Ｄ空間にマッピングし、戻すことによって生じる誤差が、本開示には存在しないことである。したがって、３Ｄで直接動作することは、機械学習モデル及び生成される結果の基礎となる精度を改善する。
【0017】
３Ｄメッシュは、辺、頂点、及び面を含む。相互に関連しているが、これらの３つのタイプのデータは別個である。頂点は、メッシュの境界を画定する３Ｄ空間内の点である。これらの点は、点が互いにどのように接続されるか、すなわち、辺についての更なる情報を伴わず、点群として記述される。辺は、２つの点から構成され、線分と呼ぶこともできる。面は、辺と頂点から構成される。三角形のメッシュの場合、面は、３つの頂点を含み、それらの頂点は、相互接続されて、３つの隣接する辺を形成する。いくつかのメッシュは、処理を進めることができる前に除去されなければならない非マニフォールド幾何形状などの縮退要素を含み得る。他のメッシュ前処理動作も可能である。３Ｄメッシュは、一般に、三角形を使用して形成されるが、他の実施態様では、四辺形、五角形、又はいくつかの他のｎ角形を使用して形成され得る。いくつかの実施態様では、３Ｄメッシュは、低密度処理が実行される場合など、１つ以上のボクセル化幾何形状（すなわち、ボクセルを含む）に変換され得る。
【0018】
３Ｄメッシュ上で動作する本開示の手法は、入力として、（例えば、１つ以上の歯列弓内に配列される）１つ以上の歯のメッシュを受信してもよい。これらのメッシュの各々は大体、予測アーキテクチャ（例えば、エンコーダ、デコーダ、ピラミッドエンコーダ－デコーダ、及びＵ－Ｎｅｔのうちの少なくとも１つを含む）に入力される前に前処理を受ける。この前処理は、メッシュを、頂点、辺、面、又は低密度処理の場合、ボクセルなどのメッシュ要素のリストに変換することを含む。選択されたメッシュ要素の（複数の）タイプ（例えば、頂点）に対して、特徴ベクトルが生成される。いくつかの例では、メッシュの頂点ごとに１つの特徴ベクトルが生成される。各特徴ベクトルは、以下の表に指定されているように、空間的特徴部と構造的特徴部の組み合わせを含むことができる。
【0019】
【表1】
【0020】
上記の説明と一致して、ボクセルはまた、ボクセルと交差するか、又はいくつかの実施態様ではボクセル内に主に若しくは完全に含まれるかのいずれかである他のメッシュ要素（例えば、頂点、辺、及び面）の集合体として算出される特徴部を有し得る。メッシュを回転させることは、構造的特徴部を変化させないが、空間的特徴部を変化させ得る。また、既に説明したように、メッシュという用語は、非限定的な意味で、３Ｄメッシュ、３Ｄ点群、及び３Ｄボクセル化幾何形状を含むものと考えるべきである。いくつかの実施態様では、メッシュ要素特徴部とは別に、３Ｄキーポイント及び３Ｄ記述子などのメッシュの幾何形状を記述する代替方法が存在する。そのような３Ｄキーポイント及び３Ｄ記述子の例は、「ＴＯＮＩＯＮＩ Ａら、「Ｌｅａｒｎｉｎｇ ｔｏ ｄｅｔｅｃｔ ｇｏｏｄ ３Ｄ ｋｅｙｐｏｉｎｔｓ．」、Ｉｎｔ Ｊ Ｃｏｍｐｕｔ Ｖｉｓ．２０１８ Ｖｏｌ．１２６，ｐａｇｅｓ １－２０．」において見出される。いくつかの実施態様では、３Ｄキーポイント及び３Ｄ記述子は、メッシュ表面の極値（最小値又は最大値のいずれか）を記述し得る。
【0021】
手法１００はまた、改善の特定の態様を達成するために、敵対的生成ネットワーク（「ＧＡＮ」）を活用する。一般に、ＧＡＮは、予測を提供するために２つのニューラルネットワークが互いに「競合」し、これらの予測が評価され、２つのモデルの評価がそれぞれの訓練を改善するために使用される機械学習モデルである。図１に示すように、ＧＡＮの２つのニューラルネットワークは、生成器１１０及び識別器１３４である。生成器１１０は、入力（例えば、咬合位置１０４、不正咬合歯列弓１０６、及びメッシュ特徴部モジュール１０８によって決定されたメッシュ特徴部のうちの１つ以上）を受信する。生成器１１０は、受信した入力を使用して、各歯のメッシュについて予測された歯の移動１１２を決定する。いくつかの実施態様では、生成器１１０はまた、生成器１１０を意図的に混乱させようと試みるために使用され得るガベージデータ又は他の情報を含み得るランダムノイズを受信し得る。生成器１１０が予測された歯の移動１１２を決定する方法は、図７～図１２において以下でより詳細に説明される。
【0022】
本明細書で説明するように、歯の移動は、セットアップ内の歯の位置及び配向を指定するために様々な方法で符号化することができ、歯の３Ｄ表現に適用される１つ以上の歯の変換を指定する。例えば、特定の実施態様によれば、歯の位置は、何らかの意味論的文脈で定義される歯の基準原点位置のデカルト座標であり得る。歯の配向は、回転行列、単位四元数、又は基準系（グローバル又はローカルのいずれか）に対するオイラー角などの別の３Ｄ回転表現として表すことができる。寸法は、実数値の３Ｄ空間範囲であり、間隙は、バイナリプレゼンスインジケータ又は特に特定の歯が欠けている場合には、歯間の実数値の間隙サイズであり得る。いくつかの実施態様では、歯の回転は、３×３行列によって（又は他の次元の行列によって）記述され得る。いくつかの実施態様では、歯の位置及び回転情報は、例えば、同次座標を反映し得る４×４行列として、同じ変換行列に組み合わせられてもよい。事例によっては、アフィン空間変換行列を使用して、歯の変換、例えば、歯の不正咬合姿勢、歯の中間姿勢、及び／又は歯の最終セットアップ姿勢を記述する変換を記述することができる。いくつかの実施態様は、相対座標を使用することができ、セットアップ変換は、不正咬合座標系に対して予測される（すなわち、不正咬合からセットアップへの変換は、セットアップ座標系の代わりに直接予測される）。他の実施態様は、絶対座標を使用することができ、セットアップ座標系は、各歯について直接予測される。相対モードでは、変換は、各歯のメッシュの重心（対グローバル原点）に対して算出することができ、これは「相対的局所」と呼ばれる。相対的局所座標を使用する利点のいくつかは、すべての患者症例データセットに利用可能ではない可能性がある不正咬合座標系（ランドマーキングデータ）の必要性を排除することを含む。絶対座標を使用する利点のいくつかは、メッシュデータが元々グローバル原点に対して相対的に表されるので、データ前処理を簡略化することを含む。
【0023】
予測された歯の移動１１２が生成器１１０によって決定された後、生成器１１０を訓練することができる。例えば、一実施態様では、予測された歯の移動１１２の各々は、歯のメッシュごとに対応するグラウンドトゥルースの歯の移動１１４と比較される。例えば、国際的な歯の付番システムの２７番に対応する犬歯に対する予測された歯の移動１１２は、同じ犬歯に対するグラウンドトゥルースの歯の移動１１４と比較される。グラウンドトゥルースの歯の移動は、特定の歯のメッシュに対して正しい歯の移動として検証された歯の移動である。いくつかの実施態様では、グラウンドトゥルースの歯の移動１１４は、歯科医又は他の医療提供者などのヒトユーザによって指定される。他の実施態様では、グラウンドトゥルースの歯の移動１１４は、手法１００を実装するシステムに提供される患者症例データ又は他の情報に基づいて自動的に生成され得る。
【0024】
予測された歯の移動１１２とグラウンドトゥルースの歯の移動１１４との間の差を使用して、１つ以上の損失値Ｇ１ １１６を算出することができる。例えば、Ｇ１ １１６は、予測された歯の移動１１２とグラウンドトゥルースの歯の移動１１４との間の回帰損失を表すことができる。すなわち、一実施態様によれば、損失Ｇ１ １１６は、予測された歯の移動１１２がグラウンドトゥルースの歯の移動１１５から逸脱する割合を反映する。とは言うものの、生成器の損失Ｇ１ １１６は、Ｌ２損失、平滑Ｌ１損失、又は何らかの他の種類の損失であり得る。特定の実施態様によれば、Ｌ１損失は、
【0025】
【数1】
【0026】
【数2】
【0027】
予測された歯の移動１１２を再び参照すると、予測された歯の移動１１２の各々は、それぞれの歯のメッシュへの１つ以上の変換によって表される。例えば、一実施態様では、予測された歯の移動１１２の各々は、６要素回転ベクトル変換及び３要素並進ベクトルによって表される。この実施態様では、６要素回転ベクトルは、３Ｄ幾何形状内のその回転を修正するためにそれぞれの歯に対して実行される１つ以上の回転を表し、３要素並進ベクトルは、Ｘ、Ｙ、及びＺ座標を使用して３Ｄ幾何形状内の各歯のそれぞれの位置を記述する。他の実施態様では、予測された歯の移動１１２の各々は、７要素ベクトル、すなわち、四元数回転を記述する４つの要素と、Ｘ、Ｙ、及びＺ座標を使用して位置を記述する３つの要素とによって表される。予測的な歯の移動を決定することの一部として回転予測及び並進予測の両方を生成することによって、既存のシステムに対して更なる利点が実現され得る。例えば、同じ変換において並進予測と回転予測の両方を一緒に生成することは、並進予測又は回転予測の一方が決定された後に、別々に予測された並進予測と回転予測とを別々に又は別様に組み合わせることを試みるシステムよりも精度を改善することが観察されている。
【0028】
次いで、メッシュ変換器１１８及び１２６を使用して、手法１００は、３Ｄメッシュ１０４及び１０６に対応する歯のメッシュを、予測された歯の移動１１２及びグラウンドトゥルースの歯の移動１１４をそれぞれ使用して変換する。すなわち、指定された移動に対応するように３Ｄ幾何形状を修正するために、それぞれの変換が３Ｄ幾何形状に適用される。例えば、予測された歯の移動１１２を参照して、７要素ベクトルによって表される実施態様では、歯のメッシュは、３Ｄメッシュ１０４及び１０６におけるその歯のメッシュの予測された歯の移動１１２の指定された四元数回転を使用して回転され、メッシュのＸ、Ｙ、及びＺ座標は、３Ｄメッシュ１０４及び１０６におけるその歯のメッシュの予測された歯の移動１１２のＸ、Ｙ、及びＺ座標に等しくなるように修正される。同様に、グラウンドトゥルースの歯の移動１１４を３Ｄメッシュ１０４及び１０６に適用して、３Ｄメッシュ１０４及び１０６内の各歯についてグラウンドの歯の移動を生成することができる。
【0029】
これらの変換は、予測された歯の移動表現１２０及びグラウンドトゥルースの歯の移動表現１２８に対応する修正された３Ｄ幾何形状をもたらす。特定の実施態様によれば、予測された歯の移動の表現１２０及びグラウンドトゥルースの歯の移動の表現１２８の両方は、それぞれ、咬合位置３Ｄ幾何形状１２４及び１３２と、それぞれ、不正咬合歯列弓３Ｄ幾何形状１２２及び１３０と、を含むことができる。すなわち、予測された歯の移動表現１２０は、予測された歯の移動変換１１２によって指定されるような咬合位置メッシュ１２４及び不正咬合歯列弓メッシュ１２２の変化に対応する咬合位置メッシュ１０４及び１つ以上の不正咬合歯列弓メッシュ１０６によって表すことができる。同様に、グラウンドトゥルースの歯の移動表現１２８は、グラウンドトゥルースの歯の移動変換１１４によって指定されるように、咬合位置メッシュ１３２及び１つ以上の不正咬合歯列弓メッシュ１３２によって表すことができる。
【0030】
加えて、予測された歯の移動表現１２０及びグラウンドトゥルースの歯の移動表現１２８は、表現がグラウンドトゥルースの変換に対応するか否かを示すために、フラグを立てられるか、又は他の方法で注釈を付けられることができる。例えば、一実施態様では、予測された歯の移動表現１２０は、グラウンドトゥルースの歯の移動１１４に対応しないことを示すために「偽」の値を割り当てられ、グラウンドトゥルースの歯の移動表現１２８は、「真」の値を割り当てられる。
【0031】
特定の実施態様によれば、表現１２０及び１２８は、識別器１３４への入力として提供される。更に、特定の実施態様によれば、メッシュ幾何形状１０４及び１０６もまた識別器１３４に提供される。しかしながら、表現１２０及び１２８並びにメッシュ１０４及び１０６に関する情報はまた、他の方法で識別器１３４に提供されてもよい。具体的には、識別器１３４は、変換されたメッシュ（すなわち、表現１２０及び１２８）を受信する必要はない。代わりに、識別器１３４は、開始メッシュ幾何形状１０４及び１０６と、変換１１２及び１１４と、を受信することができる。別の実施態様によれば、変換１１２及び１１４の代わりに、識別器１３４は、メッシュ１０４及び１０６内の各要素に適用される１つ以上の移動のリストを受信することができる。すなわち、識別器１３４は、メッシュ１０４及び１０６、変換１１２及び１１４、並びに表現１２０及び１２８に対応するデータの様々な表現を受信することができる。一般に、識別器１３４は、予測された歯の移動１１２から入力がいつ生成されるか、又はグラウンドトゥルースの歯の移動表現１２８から入力がいつ生成されるかを決定するように構成される。例えば、一実施態様では、識別器１３４は、入力が予測された歯の移動１１２から生成されたと識別器１３４が判定したときに「偽」の指示を出力することができ、入力がグラウンドトゥルースの歯の移動１１４から生成されたときに「真」の指示を出力することができる。
【0032】
識別器１３４は、最初に様々な方法で訓練され得る。例えば、識別器１３４は、エンコーダ（特定の種類のニューラルネットワーク）として構成することができ、これは、本明細書で説明されるような状況によっては、検証を実行するように構成することができる。例えば、識別器１３４に含まれる初期エンコーダは、ランダムな辺の重みが設定され得る。バックプロパゲーションを使用して、エンコーダ、したがって識別器１３４は、重みの値を修正することによって連続的に改良を加えられて、識別器１３４が、どの入力が「真」のグラウンドトゥルース表現として識別されるべきか、及びどの入力が「偽」のグラウンドトゥルース表現として識別されるべきかをより正確に決定することを可能にすることができる。言い換えれば、識別器１３４は、最初に訓練され得るが、手法１００が実行されるにつれて、識別器１３４は、進化／訓練され続ける。生成器１１０と同様に、手法１００を実行するたびに、識別器の精度が向上する。当業者によって理解されるように、識別器１３４に対する改善は、識別器１３４の精度が統計的に改善しない限界に達するが、その時点で識別器１３４の訓練は完了したと考えられる。
【0033】
識別器１３４が出力を生成した後、次いで、手法１００は、識別器１３４の出力を入力と比較して、識別器が予測された歯の移動表現１２０とグラウンドトゥルースの歯の移動表現１２８とを正確に区別したか否かを判定する。例えば、識別器１３４の出力は、表現の注釈と比較することができる。出力と注釈が一致する場合、識別器１３４は、識別器１３４が受信した入力のタイプを正確に予測した。逆に、出力と注釈が一致しない場合、識別器１３４は、識別器１３４が受信した入力のタイプを正確に予測しなかった。いくつかの実施態様では、生成器１１０と同様に、識別器１３４もランダムノイズを受信し、識別器１３４を意図的に混乱させようとしてもよい。
【0034】
加えて、特定の実施態様によれば、識別器１３４は、手法１００を実施するシステムの態様を訓練するために使用され得る追加の値を生成し得る。一例では、識別器１３４は、識別器損失値１３６を生成することができ、これは、入力が予測された歯の移動の表現１２０及び／又はグラウンドトゥルースの歯の移動の表現１２８に対応するか否かを識別器１３４がどの程度正確に決定したかを反映する。特定の実施態様によれば、識別器損失１３６は、識別器１３４がその予測においてあまり正確でないときにより大きくなり、識別器１３４がその予測においてより正確であるときにより小さくなる。別の例では、識別器１３４は、生成器損失値Ｇ２ １３８を生成し得る。特定の実施態様によれば、生成器損失値Ｇ２ １３８は、識別器損失１３６に対して直接的に逆ではないが、概して、識別器損失１３６に対して逆の関係を示す。すなわち、識別器損失１３６が大きいとき、生成器損失Ｇ２ １３８は小さく、識別器損失１３６が小さいとき、生成器損失Ｇ２ １３８は大きい。いくつかの実施態様では、識別器損失１３６は、「真」のモデルと「偽」のモデルの両方について計算されるバイナリクロスエントロピー損失関数を使用して決定され得る。いくつかの実施態様では、生成器損失は、２つの損失から構成され得る。すなわち、１）第１の損失は、識別器によって決定されるような生成器損失Ｇ２ １３８である（したがって、バイナリクロスエントロピーが使用され得る）、２）第２の損失は、例えば、生成器損失Ｇ１ １１６によって指定されるような、生成器１１０の所望の出力と実際の出力との間の差を測定するｌ１ノルム又は平均二乗誤差によって実装され得る。
【0035】
言い換えれば、図１に示すように、生成器損失Ｇ２ １３８は、加算演算１４０を使用して生成器損失Ｇ１ １１６に加算することができる。そして、生成器損失Ｇ１ １１６及びＧ２ １３８の合計値は、生成器１１０を訓練する目的で生成器１１０に提供することができる。とは言うものの、生成器損失Ｇ１ １１６の計算は、ＧＡＮの訓練に必要でないことを理解されたい。いくつかの実施態様では、生成器損失Ｇ２ １３８と識別器損失１３６との組み合わせのみを使用して、生成器１１０又は識別器１３４のいずれかを訓練することが可能であり得る。しかし、本開示の他の任意選択の態様と同様に、生成損失Ｇ１ １１６を使用することは、生成器１３４をより迅速に訓練して、より正確な予測を生成するために利用することができる。手法１００の追加の態様は、後続の図の説明の一部として明らかになるであろう。
【0036】
図２は、図１に示される手法１００を使用して実行されるワークフロー２００の例示的な視覚化である。図１の説明によって理解されるはずであるように、ワークフロー２００の第１のステップ２０２において、初期３Ｄ位置及び配向データ（例えば、咬合位置１０４、不正咬合歯列弓１０６のうちの１つ以上）が、１つ以上の３Ｄ幾何形状の形態で受信され、手法１００は、ワークフロー２００のステップ２０６において、最終位置及び配向情報を計算する。追加のステップ２０４ａ～２０４ｎもまた、ワークフロー２００に示されている。しかしながら、全般的には、ワークフローのこれらのステップは、図１を参照して説明されるような最終セットアップを決定するときに意図的に省略される。代わりに、ステップ２０４ａ～２０４ｎを使用して、図４～図６を参照して以下でより詳細に説明する中間段階を生成することができる。
【0037】
図３は、図１に示す手法１００（本明細書では手法３００と呼ぶ）の異なる図である。特定の実施態様によれば、手法３００はまず、モジュール１０２によって受信された患者データなどの患者データにアクセスする。ステップ３０２において、手法３００を実行するプロセッサは、任意選択でランダムノイズを生成することができる。次に、プロセッサは、患者症例データ及び任意のランダムノイズを生成器１１０に提供する。図１を参照して上述したように、プロセッサは、訓練された生成器１１０に、予測された歯の移動表現１２０を決定するために使用することができる予測された歯の移動１１２を生成させる命令を実行する。
【0038】
手法３００を実行するシステムはまた、ステップ３０４において１つ以上のグラウンドトゥルースの変換にアクセスし、モジュール１０２によって受信された選択された患者症例データに対応する１つ以上のサンプルグラウンドトゥルースの変換１１４を選択することができる。図１を参照して上述したように、１つ以上のサンプルグラウンドトゥルースの変換１１４を使用して、グラウンドトゥルースの歯の移動表現１２８を生成することができる。次に、手法３００を実行するシステムは、受信モジュール１０２によって受信された患者症例データ、予測された歯の移動表現１２０、及びグラウンドトゥルースの歯の移動表現１２８のいずれかを識別器１３４に提供することができる。
【0039】
次に、手法１００を参照して説明したように、ステップ３０６において、識別器１３４は、入力が真のグラウンドトゥルースの変換であるか偽のグラウンドトゥルースの変換であるかの確率を提供することによって、入力がグラウンドトゥルースの変換に対応するか否かを決定する。いくつかの実施態様では、識別器１３４によって返される確率は、０～１の範囲内であり得る。すなわち、識別器１３４は、入力が真である（すなわち、予測された歯の移動１１２に対応する）確率が低いことを示すために０に近い値を提供することができ、又は入力が真である（すなわち、グラウンドトゥルースの歯の移動１１４に対応する）確率が高いことを示すために１に近い値を提供することができる。
【0040】
図１を参照して上述したように、識別器１３４の出力は、識別器１３４及び生成器１１０の両方を訓練するために使用することができる。
【0041】
図４は、ＣＴＡの中間期の段階分けを決定するために使用される機械学習モデルを訓練するために使用することができる例示的な手法４００である。図示のように、手法４００の態様は、手法１００と同様である。例えば、手法４００は、患者症例データを受信する受信モジュール４０２を利用する。受信モジュール４０２は、受信モジュール１０２と同様に動作し、例えば、受信モジュール４０２は、咬合位置付け幾何形状及び不正咬合歯列弓幾何形状１０６に対応するデータを受信することができる。受信モジュールは、受信モジュール４０２が最終セットアップに対応する終点の歯の変換４０４を受信するようにも構成されるという点で、受信モジュール１０２とは異なる。特定の実施態様によれば、終点の歯の変換４０４は、手法１００を実行した結果として事前定義又は提供することができる。
【0042】
手法４００はまた、図１を参照して上述したように、受信モジュール１０２によって受信された患者症例データを使用し、３Ｄメッシュ１０４及び１０６に関連するいくつかの特徴を計算することができる、メッシュ特徴部モジュール１０８を使用する。手法１００と同様に、手法１００はまた、敵対的生成ネットワーク（「ＧＡＮ」）を活用して、本開示全体を通して説明されるような改善の特定の態様を達成する。しかしながら、手法４００は、図１を参照して上述したような生成器１１０及び識別器１３４とは異なって使用される生成器４１１及び識別器４３５を使用する。例えば、生成器４１１は、入力（例えば、咬合位置置１０４、不正咬合歯列弓１０６、及びメッシュ特徴部モジュール１０８によって決定されるメッシュ特徴部のうちの１つ以上）を受信し、最終セットアップのための予測された歯の移動を生成する代わりに、生成器４１１は、受信された入力を使用して、各歯のメッシュのための予測された中間歯の移動４０６を決定する。いくつかの実施態様によれば、予測された中間段階の歯の移動４０６を使用して、１）歯がどの方向に移動しているか、２）現在の段階について歯が最終状態に向かってどれだけ遠くに位置しているか、及び３）歯がどのように回転しているかという値のうちの１つ以上を決定することができる。しかし、生成器４１１の他の態様は、同じである。例えば、いくつかの実施態様では、生成器４１１はまた、生成器４１１を意図的に混乱させようと試みるために使用され得るガベージデータ又は他の情報を含み得るランダムノイズを受信し得る。結果として、本明細書で説明される本開示の多くの態様では、生成器１１０及び生成器４１１は、互換的に使用され得ることを理解されたい。同様に、識別器１３４及び識別器４３５は、互換的に使用することができる。
【0043】
予測された中間歯の移動４０６が生成器４１１によって決定された後、生成器４１１を訓練することができる。例えば、一実施態様では、予測された中間歯の移動４０６の各々は、各歯のメッシュについて、対応するグラウンドトゥルースの中間歯の移動４０８と比較される。手法４００の一部として実行される比較は、図１を参照して説明した手法１００と同じである。
【0044】
同様に、予測された中間歯の移動４０６とグラウンドトゥルースの中間歯の移動４０８との間の差は、手法１００に関して上述したように、１つ以上の損失値Ｇ１ １１６を計算するために使用され得る。同様に、手法１００に関連して説明したように、損失値Ｇ１ １１６を生成器４１１に提供して、例えば、生成器４１１のニューラルネットワーク内の１つ以上の重みを修正して、基礎となるモデルを訓練し、グラウンドトゥルースの中間歯の移動４０８を反映又は実質的に反映する予測された中間歯の移動４０６を生成するモデルの能力を向上させることによって、生成器４１１を更に訓練することができる。
【0045】
予測された中間歯の移動４０６を再び参照すると、予測された中間歯の移動４０６の各々は、それぞれの歯のメッシュへの１つ以上の変換によって表される。例えば、一実施態様では、予測された中間歯の移動４０６の各々は、６要素回転ベクトル変換及び３要素並進ベクトルによって表される。この実施態様では、６要素回転ベクトルは、３Ｄ幾何形状内のその回転を修正するためにそれぞれの歯に対して実行される１つ以上の回転を表し、３要素並進ベクトルは、Ｘ、Ｙ、及びＺ座標を使用して３Ｄ幾何形状内の各歯のそれぞれの位置を記述する。他の実施態様では、予測された中間歯の移動４０６の各々は、７要素ベクトル、すなわち、四元数回転を記述するための４つの要素と、Ｘ、Ｙ、及びＺ座標を使用して位置を記述するための３つの要素とによって表される。
【0046】
次いで、メッシュ変換器１１８及び１２６を使用して、手法４００は、３Ｄメッシュ１０４及び１０６に対応する歯のメッシュを、それぞれ、予測された中間歯の移動４０６及びグラウンドトゥルースの中間歯の移動４０８を使用して変換する。すなわち、指定された移動に対応するように３Ｄ幾何形状を修正するために、それぞれの変換が３Ｄ幾何形状に適用される。例えば、予測された中間歯の移動４０６を参照して、７要素ベクトルによって表される実施態様では、歯のメッシュは、３Ｄメッシュ１０４及び１０６内のその歯のメッシュに対する予測された中間歯の移動４０６の指定された四元数回転を使用して回転され、メッシュのＸ、Ｙ、及びＺ座標は、３Ｄメッシュ１０４及び１０６内のその歯のメッシュに対する予測された中間歯の移動４０６のＸ、Ｙ、及びＺ座標に等しくなるように修正される。同様に、グラウンドトゥルースの中間歯の移動１１４を３Ｄメッシュ１０４及び１０６に適用して、３Ｄメッシュ１０４及び１０６内の各歯についてグラウンドの歯の移動を生成することができる。
【0047】
これらの変換は、予測された中間歯の移動表現４１０及びグラウンドトゥルースの中間歯の移動表現４１８に対応する修正された３Ｄ幾何形状をもたらす。特定の実施態様によれば、予測された中間歯の移動表現４１０とグラウンドトゥルースの中間歯の移動表現４１８の両方は、それぞれ、咬合位置３Ｄ幾何形状４１４及び４２２と、それぞれ、不正咬合歯列弓３Ｄ幾何形状４１２及び４２０と、を含むことができる。すなわち、予測された中間歯の移動表現４１０は、予測された中間歯の移動変換４０６によって指定されるような咬合位置メッシュ４１４及び不正咬合歯列弓メッシュ４１２の変化に対応する咬合位置メッシュ１０４及び１つ以上の不正咬合歯列弓メッシュ１０６によって表すことができる。同様に、グラウンドトゥルースの中間歯の移動表現４１８は、グラウンドトゥルースの中間歯の移動変換４０８によって指定されるような咬合位置メッシュ４２２及び１つ以上の不正咬合歯列弓メッシュ４２０によって表すことができる。
【0048】
加えて、予測された中間歯の移動表現４１０及びグラウンドトゥルースの中間歯の移動表現４１８は、表現がグラウンドトゥルースの変換に対応するか否かを示すために、フラグを立てられるか、又は別様に注釈を付けられることができる。例えば、一実施態様では、予測された中間歯の移動表現４１０には「偽」の値が割り当てられて、それがグラウンドトゥルースの中間歯の移動４０８に対応しないことを示し、グラウンドトゥルースの中間歯の移動表現４１８には「真」の値が割り当てられる。
【0049】
表現４１０及び４１８は、識別器１３４への入力として提供される。更に、特定の実施態様によれば、メッシュ幾何形状１０４及び１０６も識別器４３５に提供される。とは言え、表現４１０及び４１８並びにメッシュ１０４及び１０６に関する情報は、他の方法で識別器４３５に提供されてもよい。具体的には、識別器４３５は、変換されたメッシュ（すなわち、表現４１０及び４１８）を受信する必要はない。代わりに、識別器４３５は、開始メッシュ幾何形状１０４及び１０６と、変換４０６及び４０８とを受信することができる。別の実施態様によれば、変換４０６及び４０８の代わりに、識別器４３５は、メッシュ１０４及び１０６内の各要素に適用される１つ以上の移動のリストを受信することができる。すなわち、識別器１３４と同様に、識別器４３５は、メッシュ１０４及び１０６、変換４０６及び４０８、並びに表現４１０及び４１８に対応するデータの様々な表現を受け取ることができる。手法４００によれば、識別器４３５は、予測された中間歯の移動４０６から入力がいつ生成されるか、又はグラウンドトゥルースの中間歯の移動４０８から入力がいつ生成されるかを決定するように構成される。例えば、一実施態様では、識別器４３５は、入力が、予測された中間歯の移動４０８から生成されたと識別器４３５が決定したときに「偽」の指示を出力することができ、入力がグラウンドトゥルースの中間歯の移動４０６から生成されたときに「真」の指示を出力することができる。
【0050】
識別器４３５は、その他の点では、図１を参照して説明した識別器４３５とほぼ同じである。例えば、識別器４３５が出力を生成した後、手法４００は、次いで、識別器４３５の出力を入力と比較して、識別器が予測された歯の移動表現４１０とグラウンドトゥルースの歯の移動表現４１８とを正確に区別したか否かを判定する。例えば、識別器４３５の出力は、表現の注釈と比較することができる。出力と注釈が一致する場合、識別器４３５は、識別器４３５が受信した入力のタイプを正確に予測した。逆に、出力と注釈が一致しない場合、識別器４３５は、識別器４３５が受信した入力のタイプを正確に予測しなかった。いくつかの実施態様では、生成器４１１と同様に、識別器４３５もまたランダムノイズを受信して、識別器４３５を意図的に混乱させようとしてもよい。
【0051】
更に、特定の実施態様によれば、識別器４３５は、手法４００を実装するシステムの態様を訓練するために使用され得る追加の値を生成し得る。一例では、識別器４３５は、識別器損失値１３６を生成することができ、これは、識別器４３５が、入力が予測された中間歯の移動表現４１０及び／又はグラウンドトゥルース中間歯の移動表現４１８に対応するか否かを識別器がどの程度正確に決定したかを反映する。特定の実施態様によれば、識別器損失１３６は、識別器４３５がその予測においてあまり正確でないときにより大きくなり、識別器４３５がその予測においてより正確であるときにより小さくなる。別の例では、識別器４３５は、生成器損失値Ｇ２ １３８を生成し得る。特定の実施態様によれば、生成器損失値Ｇ２ １３８は、識別器損失１３６に対して直接的に逆ではないが、概して、識別器損失１３６に対して逆の関係を示す。すなわち、識別器損失１３６が大きいとき、生成器損失Ｇ２ １３８は小さく、識別器損失１３６が小さいとき、生成器損失Ｇ２ １３８は大きい。いくつかの実施態様では、識別器損失１３６は、「真」のモデルと「偽」のモデルの両方について計算されるバイナリクロスエントロピー損失関数を使用して決定され得る。いくつかの実施態様では、生成器損失は、２つの損失から構成され得る。すなわち、１）第１の損失は、識別器によって決定されるような生成器損失Ｇ２ １３８である（したがって、バイナリクロスエントロピーが使用され得る）、２）第２の損失は、例えば、生成器損失Ｇ１ １１６によって指定されるような、生成器１１０の所望の出力と実際の出力との間の差を測定するｌ１ノルム又は平均二乗誤差によって実装され得る。
【0052】
言い換えれば、図４に示すように、生成器損失Ｇ２ １３８は、加算演算１４０を使用して生成器損失Ｇ１ １１６に加算することができる。生成器損失Ｇ１ １１６及びＧ２ １３８の合計値は、生成器４１１を訓練する目的で生成器４１１に提供することができる。手法４００の追加の態様は、後続の図の説明の一部として明らかになるであろう。
【0053】
図５は、図４に示される手法４００を使用して実行されるワークフロー５００の例示的な視覚化である。図４の説明によって理解されるはずであるように、ワークフロー５００の第１のステップ５０２において、初期及び最終の３Ｄ位置及び配向データ（例えば、咬合位置１０４、不正咬合歯列弓１０６のうちの１つ以上）の両方が、１つ以上の３Ｄ幾何形状の形態で受信され、手法４００は、ワークフローにおけるステップ２０４ａ～２０４ｎにおいて、中間位置及び配向情報を計算して、ＣＴＡのためのｎ個の中間段階を生成する。
【0054】
図６は、図４に示される手法４００（本明細書では手法６００と呼ぶ）の異なる図である。特定の実施態様によれば、手法３００はまず、患者データ４０２などの患者データにアクセスする。ステップ３０２において、手法６００を実行するプロセッサは、任意選択でランダムノイズを生成することができる。次に、プロセッサは、患者症例データ、最終的な歯のセットアップ４０４、及び任意選択のランダムノイズを生成器４１１に提供する。図４を参照して上述したように、プロセッサは、訓練された生成器４１１に、予測された中間歯の移動表現４１０を決定するために使用することができる予測された中間歯の移動４０６を生成させる命令を実行する。
【0055】
手法６００を実行するシステムはまた、ステップ３０４において１つ以上のグランドトゥルース変換にアクセスし、モジュール１０２によって受信された選択された患者症例データに対応する１つ以上のサンプルグランドトゥルース中間変換４０８を選択することができる。図４を参照して上述したように、１つ以上のサンプルグラウンドトゥルースの変換４０８を使用して、グラウンドトゥルースの歯の移動表現４１８を生成することができる。次に、手法６００を実行するシステムは、受信モジュール４０２によって受信された患者症例データ、予測された歯の移動表現４１０、及びグラウンドトゥルースの歯の移動表現４１８のいずれかを識別器４３５に提供することができる。
【0056】
次に、手法４００を参照して説明したように、ステップ３０６において、識別器４３５は、入力が真のグラウンドトゥルースの変換であるか、又は偽のグラウンドトゥルースの変換であるかの確率を提供することによって、入力がグラウンドトゥルースの変換に対応するか否かを決定する。いくつかの実施態様では、識別器４３５によって返される確率は、０から１の範囲内であり得る。すなわち、識別器４３５は、入力が真である（すなわち、予測された中間歯の移動４０６に対応する）低い確率を示すために０に近い値を提供することができ、又は入力が真である（すなわち、グラウンドトゥルースの中間歯の移動４０８に対応する）高い確率を示すために１に近い値を提供することができる。
【0057】
図４を参照して上述したように、識別器４３５の出力は、識別器４３５及び生成器４１１の両方を訓練するために使用することができる。
【0058】
図７は、幾何学的深層学習を使用する手法１００の態様に焦点を当てる、図１に示される手法１００の拡大図７００である。特定の実施態様によれば、３Ｄメッシュ１０４及び１０６に関する幾何学的情報は、メッシュ変換器７０２によって識別又は他の方法で決定され得る。図１には含まれていないが、手法１００の多くの実施態様は、メッシュ変換器７０２を利用することが意図されており、その理由は、そのようにすることによって、生成器１１０の出力の予測品質を改善することと、上述のように生成器１１０の出力に基づくＧＡＮのための訓練を改善することとの両方に関連する手法１００に様々な利益がもたらされるからである。
【0059】
図７に示すように、受信モジュール１０２は、３Ｄ咬合位置幾何形状１０４及び３Ｄ不正咬合歯列弓幾何形状１０６をメッシュ変換器７０２に提供することができる。一般に、よく確立された定義によれば、３Ｄ幾何形状１０４及び１０６は、頂点の集合によって定義され、頂点の各対は、３Ｄポリゴンの辺を指定し、辺の集合は、３Ｄ幾何形状の１つ以上の面（又は表面）を指定することができる。したがって、特定の実施態様によれば、これは、３Ｄメッシュ変換器７０２が３Ｄメッシュ１０４及び１０６をそれらのそれぞれの構成部分に分解することを可能にする。
【0060】
別の言い方をすれば、３Ｄメッシュ変換器７０２は、３Ｄメッシュ１０４及び１０６から様々な幾何学的特徴を抽出又は生成することができ、次いで、これらの変換されたメッシュデータは、生成器１１０への入力データとして使用される。例えば、３Ｄメッシュ変換器７０２は、１つ以上のメッシュ辺リスト７０４、１つ以上のメッシュ面リスト７０６、及び１つ以上のメッシュ頂点リスト７０８のうちの１つ以上を生成することができる。
【0061】
生成器１１０にこの追加情報を提供することによって、いくつかの利点を実現することができる。例えば、この情報を生成器１１０に提供することは、生成器１１０がより正確な予測された歯の移動１１２を生成することを可能にする。生成器１１０の訓練と識別器１３４の訓練の両方が、予測された歯の移動１１２の品質に少なくとも部分的に基づくので、これは、手法１００を実装するシステムの訓練が改善されることを可能にする。要するに、手法１００の一部としてメッシュ変換器７０２を実装することは、生成器１１０及び識別器１３４において構成されるニューラルネットワークが経験しなければならない訓練エポックの数を低減することができ、同時に精度も改善する。別の言い方をすれば、手法１００の一部としてメッシュ変換器７０２を使用することにより、手法１００を実行するシステムは、説明したように訓練されるモデルを改善しながら、訓練プロセスに関与する計算リソースを節約することができる。
【0062】
更に、拡大図７００の説明において、限定するものとして考慮されるべきではない。例えば、拡大図７００は、図１に提示される手法１００に関連して示され、説明されるが、拡大図７００は、図４に示される手法４００の一部としても使用され得ることを理解されたい。例えば、図７の受信モジュール１０２は、図４に示される受信モジュール４０２で置き換えることができる。これにより、例えば、手法４００は、手法１００に関連して上述したのと同じ改善されたコンピューティングリソースの利用及びモデル精度を達成することができる。唯一の違いは、手法１００が最終セットアップの予測を生成するのに対して、手法４００が中間段階の予測を生成することである。換言すれば、図７においてモジュール１０２をモジュール４０２で置換することはまた、生成器４１１が生成器１１０の代わりに置換されることを引き起こし、生成器４１１は、予測された歯の移動１１２の代わりに予測された中間歯の移動４０６を生成する。しかし、これらの構成変更にもかかわらず、手法４００は、それでもなお、上述の幾何学的深層学習からの改善を活用することができる。
【0063】
図８～図１２は、特定の実施態様による生成器１１０の特定の態様を示す。これらの図示された実施態様では、生成器１１０は、第１の３Ｄエンコーダ、３Ｄ Ｕ－Ｎｅｔエンコーダ－デコーダ、又は３Ｄピラミッドエンコーダ－デコーダのうちの少なくとも１つとして構成することができ、その後に第２の３Ｄエンコーダ（任意選択で多層パーセプトロン（multi-layer perceptron、ＭＬＰ）と置き換えることができる）が続く。生成器は、１つ以上のニューラルネットワークとして実装され得るので、生成器は、活性化関数を含み得る。活性化関数は、ニューラルネットワーク内のニューロンが発火する（例えば、出力を次の層に送る）か否かを決定する。いくつかの活性化関数は、バイナリステップ関数、及び線形活性化関数を含み得る。他の活性化関数は、ネットワークに非線形挙動を与え、シグモイド／ロジスティック活性化関数、Ｔａｎｈ（双曲線正接）関数、整流線形単位（rectified linear unit、ＲｅＬＵ）、リーキーＲｅＬＵ関数、パラメトリックＲｅＬＵ関数、指数線形単位（exponential linear unit、ＥＬＵ）、ソフトマックス関数、スウィッシュ関数、ガウス誤差線形単位（Gaussian error linear unit、ＧＥＬＵ）、及びスケーリングされた指数線形単位（scaled exponential linear unit、ＳＥＬＵ）を含む。線形活性化関数は、出力層において、（他のアプリケーションの中でも）いくつかの回帰アプリケーションによく適し得る。シグモイド／ロジスティック活性化関数は、出力層において、（他のアプリケーションの中でも）いくつかのバイナリ分類アプリケーションによく適し得る。ソフトマックス活性化関数は、出力層において、（他のアプリケーションの中でも）いくつかのマルチクラス分類アプリケーションによく適し得る。シグモイド活性化関数は、出力層において、（他のアプリケーションの中でも）いくつかのマルチラベル分類アプリケーションによく適し得る。ＲｅＬＵ活性化関数は、隠れ層において、（他のアプリケーションの中でも）いくつかの畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）アプリケーションによく適し得る。Ｔａｎｈ及び／又はシグモイド活性化関数は、（他のアプリケーションの中でも）いくつかのリカレントニューラルネットワーク（recurrent neural network、ＲＮＮ）アプリケーションにおいて、例えば、隠れ層において、よく適し得る。
【0064】
勾配降下法（１階微分値を使用して訓練勾配を決定し、ニューラルネットワークの訓練において一般的に使用される）、ニュートン法（勾配降下法よりも良好な訓練方向を見出すために損失計算において２階微分値を利用し得るが、ヘッセ行列を伴う計算を必要とし得る）、及び共役勾配法（勾配降下法よりも速い収束を有し得るが、ニュートン法によって必要とされ得るヘッセ行列計算を必要としない）を含む、本開示のニューラルネットワークの訓練において使用され得る複数の最適化アルゴリズムが存在する。バックプロパゲーションアルゴリズムは、損失計算の結果をネットワークに転送して戻すために使用され、その結果、ネットワーク重みを調整することができ、学習を進めることができる。
【0065】
いくつかの実施態様では、本開示のニューラルネットワークは、３Ｄ点群データ上で（代替として、３Ｄメッシュ又は３Ｄボクセル化幾何形状上で）動作するように適合されることができる。多数のニューラルネットワークの実施態様が、３Ｄ表現の処理に適用されてもよく、ＰｏｉｎｔＮｅｔ、ＰｏｉｎｔＮｅｔ＋＋、ＳＯ－Ｎｅｔ、球状畳み込み、モンテカルロ畳み込み及び動的グラフネットワーク、ＰｏｉｎｔＣＮＮ、ＲｅｓＮｅｔ、ＭｅｓｈＮｅｔ、ＤＧＣＮＮ、ＶｏｘＮｅｔ、３Ｄ－ＳｈａｐｅＮｅｔｓ、Ｋｄ－Ｎｅｔ、Ｐｏｉｎｔ ＧＣＮ、Ｇｒｉｄ－ＧＣＮ、ＫＣＮｅｔ、ＰＤ－Ｆｌｏｗ、ＰＵ－Ｆｌｏｗ、ＭｅｓｈＣＮＮ及びＤＳＧ－Ｎｅｔを含む、口腔ケア用途のための予測及び／又は生成モデルの訓練に適用されてもよい。
【0066】
上述したように、各歯のメッシュ１０４及び１０６は、辺、面及び頂点などのいくつかのメッシュ要素を含む。いくつかの実施態様では、メッシュ１０４及び１０６に含まれる辺は、正確な予測を生成する際により有用であり得るが、面及び頂点に対して動作を実行することもできる。予測を行うために辺を使用する場合、各辺のメッシュ要素について特徴ベクトルが計算される。特徴ベクトルは、頂点の３Ｄ座標、又は辺の曲率及び中点などの、様々な３Ｄ幾何学的表現を含み得る。他の特徴も可能である。特定の実施態様によれば、エンコーダ－デコーダ構造の出力は、入力と同じ解像度を維持する（すなわち、入力及び出力は同じ数の要素を有する）。一般に、エンコーダ－デコーダ構造（Ｕ－Ｎｅｔアーキテクチャ又はピラミッドアーキテクチャのいずれか）は、例えば、１つ以上の歯のメッシュを、第２のエンコーダが最終セットアップ又は中間段階のいずれかのための歯の変換を生成するために使用することができる表現（歯のメッシュに関するローカル情報及びグローバル情報のいずれか又は両方を含むことができる）に変換することによって、歯のメッシュから高次元の特徴を抽出する働きをする。
【0067】
更に、明示的に示されていないが、図８～図１２の追加の実施態様は、Ｕ－Ｎｅｔエンコーダ－デコーダ８０６又はピラミッドエンコーダ－デコーダ１００４をエンコーダ（図８及び図１０に示されたエンコーダ８１４など）で置き換える。この実施態様によれば、生成器１１０は、より低い解像度のメッシュに対して動作する。すなわち、第１のエンコーダ（図示されていないが、それぞれ、図８及び図１０のＵ－Ｎｅｔエンコーダ－デコーダ８０６又はピラミッドエンコーダ－デコーダ１００４のいずれかに取って代わる）は、エンコーダ８１４によって受信される入力幾何形状の解像度を粗くする。これは、生成器１１０のメモリ消費を低減することを含む特定の利点を提供する。とは言うものの、これらの改善を達成するために、限定はしないが、各要素について（すなわち、３Ｄ幾何形状内の各辺、面、又は頂点について）歯のラベルのリストを維持することを含む追加の処理が行われ得る。
【0068】
図８は、図１又は図４のいずれかに示され、Ｕ－Ｎｅｔアーキテクチャを使用する生成器１１０の例示的なワークフロー８００を示す。ワークフローのステップ８０２において、入力は、辺要素として抽出され得るデータフォーマットに入力を修正するように処理される。一般に、ステップ８０２は、第１のサイズの特徴ベクトルを有するメッシュデータを取り、機械学習モデルに提供し、機械学習モデルは、メッシュデータに対応する第２のサイズの特徴ベクトルを生成する。
【0069】
図８に示されるように、ステップ８０４におけるメッシュデータは、歯のメッシュ１０４及び１０６の任意の組み合わせであり得る。これらのメッシュ１０４及び１０６は、辺、面、頂点、及び／又はボクセルなどの、数千又は数万のメッシュ要素を含み得る。１つ以上のメッシュ要素について、１つ以上のメッシュ特徴ベクトルが計算され得る。メッシュ要素及び任意の関連付けられたメッシュ特徴ベクトルは、生成器に入力され得る。通常、メッシュ１０４及び１０６内のメッシュ要素の各々は、特徴に応じて、可変サイズを有する特徴ベクトルによって記述することができる。例えば、点を記述するとき、メッシュ要素は、３チャネルベクトルによって記述されてもよく、３つのチャネルは、３次元空間における位置のＸ、Ｙ、及びＺ座標を記述する。辺を記述するとき、メッシュ要素は、辺を定義する各頂点に１つずつ、２つの整数によって表されてもよく、各整数は、メッシュを構成する頂点のアレイへのインデックスである。面を記述する場合、メッシュ要素は、面を定義する各頂点に１つずつ、３つの整数によって表すことができる。ボクセルを記述するとき、メッシュ要素は、空間の立方体積によって表され得る。いくつかの実施態様では、３Ｄメッシュの頂点のリストが、オープンソースＭｉｎｋｏｗｓｋｉＥｎｇｉｎｅツールキットに供給され得、オープンソースＭｉｎｋｏｗｓｋｉＥｎｇｉｎｅツールキットは、スパース（sparce）処理のためにそれらの頂点をボクセルに変換し得る。いくつかの実施態様では、メッシュ特徴ベクトルは、１つ以上のメッシュ要素について計算され得る。メッシュ特徴部は、特定のメッシュ要素の位置におけるメッシュの属性（例えば、幾何学的及び／又は構造的属性）を記述する量である。いくつかの実施態様では、メッシュ要素のみが生成器に入力される。いくつかの実施態様では、各メッシュ要素は、上記の表１に関連して説明した特徴ベクトルなどの、関連するメッシュ要素特徴ベクトルを伴う。更に、特徴ベクトルは、総計９個のチャネルに対して、メッシュ曲率情報（３個のチャネルの追加）及び辺法線ベクトル情報（更なる３個のチャネルの追加）などの追加情報を含むことができる。更に他の特徴ベクトル構成も可能であり、対応するチャネル数を伴う。これまで説明した３Ｄメッシュは、歯を記述するために使用することができるいくつかのタイプの３Ｄ表現のうちの１つにすぎない。３Ｄ表現の他の形態は、３Ｄ点群及びボクセル化表現を含む。
【0070】
ステップ８０６で使用されるＵ－Ｎｅｔアーキテクチャは、最初に入力された歯のメッシュ８０４の解像度を低下させ、次いで、簡略化された歯のメッシュ（すなわち、低解像度メッシュ）を元の解像度に復元することによって機能する。この動作は、隣接する歯についての情報（又は歯列弓全体についての情報）が捕捉され、特徴の計算に統合されることを可能にする。ワークフロー８００のステップ８０８において、特徴ベクトルが、高次元空間（例えば、１２８個のチャネル）内の各要素（例えば、各辺）について計算される。
【0071】
ワークフローのステップ８１０において、歯ごとに、エンコーダ－デコーダ構造の出力から高次元の特徴を有する要素が抽出される。これは、ワークフロー８００のステップ８１４で別のエンコーダに提供されるｎ個の歯の辺８１２ａ～８１２ｎを生成する。エンコーダは、歯の移動を予測するために、所与の歯の高次元の特徴によるバックプロパゲーションによって訓練される。バックプロパゲーションは、ニューラルネットワークを訓練するための十分に確立された手法であり、当業者に知られている。
【0072】
ワークフロー８００のステップ８１４におけるエンコーダの出力は、（図１～図３を参照して説明した最終セットアップ又は図４～図６を参照して説明した中間段階のいずれかについて）歯を所望の位置に移動させるために、歯に適用される予測された歯の移動１１２である。ワークフロー８００のステップ８１４におけるエンコーダは、歯のアイデンティティにかかわらず、歯の変換を出力するようにバックプロパゲーションを介して訓練される。図に示されるこれらの実施態様では、同じエンコーダが、２つの歯列弓形状１０６の各々に存在する歯の各々を処理するように訓練される。他の実施態様では、エンコーダは、特定の歯又は歯の特定のセットを提供するように訓練され得る。この後者の実施態様は、図示されたものだけでなく、ステップ８１４において複数のエンコーダとしてワークフロー８００において反映されると考えられる。
【0073】
図９は、図８に示される例示的なＵ－Ｎｅｔアーキテクチャ９００を示す。全般的には、Ｕ－Ｎｅｔアーキテクチャは、プーリング層９０４ａ及び９０４ｂなどのいくつかのプーリング層を使用する。畳み込み層９０２ａ、９０２ｂ、９０８ａ、９０８ｂ、及び９１０などの畳み込み層に関連するプーリング層は、メッシュ入力をダウンサンプリング又は縮小する。例えば、３Ｄ空間における情報のダウンサンプリングは、３×３×３の情報セットを取得し、それを単一の１×１×１の表現に組み合わせることができる。３Ｄメッシュ情報のコンテキストでは、例えば、所与の辺の４つの隣接辺が、次の解像度レベルで単一の辺に結合される。ダウンサンプリング後のメッシュ解像度（メッシュ表面積）は、４倍だけ減少する。
【0074】
特定の実施態様によれば、畳み込み層９０２ａ、９０２ｂ、９０８ｂ、９０８ｂ、及び９１０は、辺データを使用して、メッシュ畳み込みを実行することができる。辺情報の使用は、モデルが３Ｄ要素の異なる入力順序にセンシティブでないことを保証する。辺データを使用することに加えて、又はそれとは別に、畳み込み層９０２ａ、９０２ｂ、９０８ｂ、９０８ｂ、及び９１０は、メッシュ畳み込みを実行するために頂点データを使用し得る。頂点情報の使用は、典型的には辺又は面よりも少ない頂点が存在するという点で有利であり、したがって、頂点指向処理は、より低い処理オーバーヘッド及びより低い計算コストにつながり得る。
【0075】
辺データ若しくは頂点データを使用することに加えて、又はそれとは別に、畳み込み層９０２ａ、９０２ｂ、９０８ｂ、９０８ｂ、及び９１０は、面データを使用して、メッシュ畳み込みを実行することができる。更に、辺データ、頂点データ、若しくは面データを使用することに加えて、又はそれとは別に、畳み込み層９０２ａ、９０２ｂ、９０８ｂ、９０８ｂ、及び９１０は、ボクセルデータを使用して、メッシュ畳み込みを実行することができる。ボクセル情報の使用は、選択された粒度に応じて、メッシュ内の頂点、辺、又は面と比較して処理すべきボクセルが著しく少なくなり得るという点で有利である。（ボクセルを用いた）低密度処理は、（特に、コンピュータメモリ又はＲＡＭ使用に関して）より低い処理オーバーヘッド及びより低い計算コストにつながり得る。
【0076】
図８を参照して上述したように、Ｕ－Ｎｅｔアーキテクチャ９００の目的は、入力メッシュ（１つ以上の歯のメッシュについてのローカル情報及びグローバル情報のいずれか又は両方を含み得る）についての高次元の特徴ベクトルを計算することである。例えば、特定の実施態様によれば、Ｕ－Ｎｅｔアーキテクチャ９００は、各メッシュ要素の特徴ベクトル（例えば、各辺の１２８要素特徴ベクトル）を計算する。このベクトルは、局所的な歯のコンテキスト内の辺の局所的な幾何形状を表すことができ、２つの歯列弓の全体的な幾何形状も表すことができる高次元空間に存在する。各歯内の要素の高次元の特徴は、歯の移動を予測するためにエンコーダによって使用される。歯の移動予測の精度は、このローカル情報とグローバル情報との組み合わせによって支援される。ローカル情報とグローバル情報の組み合わせにより、Ｕ－Ｎｅｔアーキテクチャ９００は、幾何学的制約を考慮することができる。例えば、ＣＴＡ治療の過程で、歯が３Ｄ空間で衝突することは望ましくない。ローカル情報とグローバル情報の組み合わせにより、Ｕ－Ｎｅｔアーキテクチャ９００は、衝突の発生を低減又は排除する変換を生成することができ、したがって、従来技術に比べてより高い精度をもたらすことができる。別の言い方をすれば、メッシュ要素特徴部を使用して、機械学習モデル（Ｕ－Ｎｅｔアーキテクチャ９００など）を訓練することの、従来の手法に対する１つの利点は、メッシュ要素特徴部が、歯のメッシュの幾何形状及び構造のうちの少なくとも１つに関する追加の情報を提供することであり、これは、訓練されたＵ－Ｎｅｔアーキテクチャから生成される、結果として得られる表現（複数可）を改善する。
【0077】
Ｕ－Ｎｅｔアーキテクチャ９００は、メッシュ要素近隣情報を抽出するプロセスを支援するプーリング動作及びアンプーリング動作を伴う。各連続するプーリング層は、前の層に対して解像度を減少させることによって、モデルが隣接する幾何形状情報を学習するのを助ける。各連続するアンプーリング層は、モデルがこの要約された近傍情報をより高い解像度に拡張して戻すのを助ける。アンプーリング層の配列に続くプーリング層の配列は、Ｕ－Ｎｅｔの効率的かつ正確な訓練を可能にし、Ｕ－Ｎｅｔがローカル及びグローバル幾何形状情報の両方を含む各要素についての特徴を出力することを可能にする。
【0078】
図９は、合計９つの層で示されているが、Ｕ－Ｎｅｔアーキテクチャ９００は、所望の結果を達成するために、任意の数の畳み込み層、任意の数のプーリング層、及び任意の数のアンプーリング層で構成することができることを理解されたい。
【0079】
図１０は、図１又は図４のいずれかに示される生成器１１０のための例示的ワークフロー１０００を示す。ワークフロー１０００は、図８に図示及び記載したワークフロー８００と同様である。例えば、ワークフロー８００及び１０００の両方が、予測された歯の移動１１２を生成する。更に、特定の実施態様によれば、ワークフロー１０００のステップ８１４におけるエンコーダは、図８を参照して上述したように、複数のエンコーダで置き換えられてもよい。したがって、簡潔にするために、ワークフロー１０００の各要素は説明されず、代わりに、ワークフロー８００とワークフロー１０００との間の差異のみが言及される。
【0080】
具体的には、ステップ１００２において、ステップ８０６で使用されるＵ－Ｎｅｔアーキテクチャの代わりに、ピラミッドエンコーダ－デコーダがステップ１００４で使用される。予想されるように、ステップ１００４で使用されるピラミッドエンコーダ－デコーダは、ステップ８０６で使用されるＵ－Ｎｅｔアーキテクチャとは異なって動作する。例えば、各歯のメッシュの入力要素（例えば、ワークフロー１０００のステップ８０４で識別された辺要素）は、エンコーダ構造を通過して、ピラミッド内の特徴の複数の層を生成する。エンコーダの各連続層は、より少ない要素を有するが、要素は、特徴ベクトル内の歯のメッシュに関するより高次元の情報を明らかにする。換言すれば、ピラミッドアーキテクチャにおける各連続層は、歯のメッシュに関するより高い次元の情報を明らかにするように構成される。更に、一連の低解像度からの特徴を元の歯のメッシュの入力解像度に戻すために、各層において補間ステップが実行される。複数の層から補間された特徴は、連結され、更に処理されて、ピラミッドエンコーダ－デコーダの出力として各メッシュ要素の高次元の特徴となる。
【0081】
ステップ１００４で生成されたピラミッドエンコーダアーキテクチャの出力は、ステップ８０６で生成されたＵ－Ｎｅｔアーキテクチャの出力がワークフロー８００の残りの部分によって使用される方法と同様に、ワークフロー１０００の残りの部分によって使用される。重要なことに、ワークフロー８００と同様に、ワークフロー１０００の最終結果は、予測された歯の移動１１２である。これは、上述の手法１００及び４００が、生成器１１０及び４１１のタイプの実施態様にとらわれないことを可能にする。この柔軟性は、システム全体を再構成しなくてもよい、異なって訓練されたＵ－Ｎｅｔ及びピラミッドアーキテクチャベースの生成器の精度を調査する能力を含むが、これに限定されない様々な利点を提供する。これは、例えば、手法１００及び４００を実装するシステムが、システムの中断又は性能の劣化なしに、モジュール１０２又は４０２によって受信されたある種類の患者症例データに対して訓練された１つの生成器１１０又は４１１と、異なる種類の患者症例データに対して訓練された別の生成器１１０又は４１１と、を使用することを可能にし得る。いくつかの実施態様では、生成器１１０又は４１１は、すべてのタイプの歯（例えば、切歯、犬歯、小臼歯、大臼歯など）のための歯の移動を生成するように訓練されることができる。他の実施態様では、１つの生成器１１０又は４１１は、前歯（例えば、切歯及び犬歯）のみに対して訓練されてもよく、別の生成器１１０又は４１１は、臼歯（例えば、小臼歯及び臼歯）のみに対して訓練されてもよい。この後者の手法の利点は、２つの生成器１１０又は４１１の各々が、それら自体の特定の幾何形状を有する特定の歯のための変換を生成するように調整されるので、精度が改善されることである。
【0082】
ステップ８０６におけるＵ－Ｎｅｔ構造は、各メッシュ要素について学習された近隣幾何形状情報の細粒度表現のために、高いコンピュータメモリ使用量を伴う。ステップ８０６におけるＵ－Ｎｅｔ構造の利点は、計算のために使用されるきめの細かいデータに見合った、歯の移動の非常に正確な予測である。ステップ１００４におけるピラミッドエンコーダ構造は、より低いメモリ要件が存在する場合（コンピューティング環境が、ステップ８０６におけるＵ－Ｎｅｔ構造の使用に関与する細粒度データを処理することができない場合など）に代替として使用され得る。ステップ１００４におけるＵ－Ｎｅｔアーキテクチャ９００又はピラミッドアーキテクチャをエンコーダで置き換える、上述の代替構造を実装することによって、更なるメモリの節約を実現することができる。
【0083】
図１１は、図１０に示される例示的なピラミッドエンコーダ－デコーダ１１００を示す。前述したように、ピラミッドエンコーダ－デコーダは、連続する層１１０４ａ～１１０４ｎを有する。ピラミッドアーキテクチャ１１００がワークフロー１０００のステップ１００４の間に使用される方法も前述した。特に、第１のステップ１１０２において、ピラミッドアーキテクチャ１１００は、より低いメッシュ解像度の連続する層を生成する。このステップは、歯のメッシュについての高次元情報を明らかにし、この高次元情報は、ピラミッドアーキテクチャ１１００が出力として生成する特徴ベクトルに含まれる。
【0084】
次に、ステップ１１０６において、ピラミッドアーキテクチャ１１００は、補間を使用してメッシュ要素（例えば、辺、面、又は頂点）の各連続層の解像度を増加させる。例えば、ピラミッドアーキテクチャ１１００内に含まれるエンコーダは、連続する層１１１０ａ～１１１０ｎを含み、それによって、各メッシュ要素がダウンサンプリングされて、一連の解像度のそれぞれにおけるメッシュに関する情報が抽出される。各連続層は、追加の特徴チャネルを包含されたメッシュ要素の各々に帰属させる。各連続層は、メッシュ要素が属する歯のより大きな部分、更には隣接する歯に関する情報、歯列弓全体に関する情報、又は更には２つの歯列弓全体に関する情報を包含する。補間は、低解像度層からのグローバルメッシュ情報を高解像度層からのローカルメッシュ情報と連結するプロセスを容易にするために実行される。図示のように、この補間の結果、層１１１０ａ～１１１０ｎが得られる。最後に、ステップ１１０８において、ピラミッドアーキテクチャ１１００は、入力メッシュの要素を連続する層の要素と連結して、アーキテクチャ１１００の出力を生成する。特定の実施態様によれば、最終的な集中ベクトルは、すべて同じ解像度（すなわち、同じ要素数）である。
【0085】
図１２は、図８及び図１０に示される例示的なエンコーダ８１４を示す。図示されるように、エンコーダ８１４は、畳み込み層１２０２ａ、１２０２ｂ、及び１２０６、並びにプーリング層１２０４ａ及び１２０４ｂの集合である。図１２は、合計５つの層で示されているが、エンコーダ８１４は、任意の数の層で構成され得ることを理解されたい。
【0086】
図１３は、本開示の手法に従って動作する例示的な処理ユニット１３０２を示す。処理ユニット１３０２は、上述したニューラルネットワークのうちの１つ以上の訓練のためのハードウェア環境を提供する。例えば、処理ユニット１３０２は、ニューラルネットワーク１１０及び１３４を訓練するために手法１００及び／又は４００を実行し得る。
【0087】
この例では、処理ユニットは、１つ以上のプロセッサ１３０４及びメモリ１３０６を含み得る処理回路を含み、これらは、いくつかの例では、例えば、リアルタイムマルチタスクオペレーティングシステム、又は他のタイプのオペレーティングシステムであり得るオペレーティングシステム１３１６を実行するためのコンピュータプラットフォームを提供する。次に、オペレーティングシステム１３１６は、アプリケーション１３１８などの１つ以上のソフトウェアコンポーネントを実行するためのマルチタスク動作環境を提供する。プロセッサ１３０４は、キーボード、コントローラ、ディスプレイデバイス、画像キャプチャデバイス、他のコンピューティングシステムなどのデバイスと通信するためのＩ／Ｏインターフェースを提供する１つ以上のＩ／Ｏインターフェース１３１４に連結される。更に、１つ以上のＩ／Ｏインターフェース１３１４は、ネットワークと通信するための１つ以上の有線又は無線ネットワークインターフェースコントローラ（network interface controller、ＮＩＣ）を含んでもよい。加えて、プロセッサ１３０４は、電子ディスプレイ１３０８に連結され得る。
【0088】
この例では、処理ユニットは、１つ以上のプロセッサ１３０４及びメモリ１３０６を含み得る処理回路を含み、これらは、いくつかの例では、例えば、リアルタイムマルチタスクオペレーティングシステム、又は他のタイプのオペレーティングシステムであり得るオペレーティングシステム１３１６を実行するためのコンピュータプラットフォームを提供する。次に、オペレーティングシステム１３１６は、アプリケーション１３１８などの１つ以上のソフトウェアコンポーネントを実行するためのマルチタスク動作環境を提供する。プロセッサ１３０４は、キーボード、コントローラ、ディスプレイデバイス、画像キャプチャデバイス、他のコンピューティングシステムなどのデバイスと通信するためのＩ／Ｏインターフェースを提供する１つ以上のＩ／Ｏインターフェース１３１４に連結される。更に、１つ以上のＩ／Ｏインターフェース１３１４は、ネットワークと通信するための１つ以上の有線又は無線ネットワークインターフェースコントローラ（ＮＩＣ）を含んでもよい。加えて、プロセッサ１３０４は、電子ディスプレイ１３０８に連結され得る。
【0089】
いくつかの例では、プロセッサ１３０４及びメモリ１３０６は、別個の個別的な構成要素であり得る。他の例では、メモリ１３０６は、単一の集積回路内でプロセッサ１３０４とコロケートされたオンチップメモリであり得る。並行してアプリケーションを実行することを容易にするために、処理ユニット１３０２内に処理回路（例えば、複数のプロセッサ１３０４及び／又はメモリ１３０６）の複数のインスタンスが存在し得る。複数のインスタンスは、同じタイプ、例えば、マルチプロセッサシステム又はマルチコアプロセッサであってもよい。複数のインスタンスは、異なるタイプ、例えば、関連付けられた複数のグラフィックスプロセッサユニット（graphics processor unit、ＧＰＵ）を有するマルチコアプロセッサであってもよい。いくつかの例では、プロセッサ１３０４は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、又は同等のディスクリート若しくは集積論理回路、又は前述のデバイス若しくは回路のいずれかの組み合わせとして実装されてもよい。
【0090】
図１３に示される処理ユニット１３０２のアーキテクチャは、例示目的のみのために示されている。処理ユニット１３０２は、図示された例示的なアーキテクチャに限定されるべきではない。他の例では、処理ユニット１３０２は、様々な方法で構成され得る。処理ユニット１３０２は、本開示の少なくとも１つの態様に従って説明される動作及び／又は機能を実行することが可能であり得る、任意の好適なコンピューティングシステム（例えば、少なくとも１つのサーバコンピュータ、ワークステーション、メインフレーム、アプライアンス、クラウドコンピューティングシステム、及び／又は他のコンピューティングシステム）として実装され得る。例として、処理ユニット１３０２は、クラウドコンピューティングシステム、サーバコンピュータ、デスクトップコンピュータ、サーバファーム、及び／又はサーバクラスタ（又はその一部）を表すことができる。他の例では、処理ユニット１３０２は、データセンタ、クラウドコンピューティングシステム、サーバファーム、及び／若しくはサーバクラスタの少なくとも１つの仮想化されたコンピュートインスタンス（例えば、仮想マシン又はコンテナ）を表してもよいか、又はそれを通じて実装されてもよい。いくつかの例では、処理ユニット１３０２は、少なくとも１つのコンピューティングデバイスを含み、各コンピューティングデバイスは、メモリ１３０６及び少なくとも１つのプロセッサ１３０４を有する。
【0091】
ストレージユニット１３３４は、動作中に処理ユニット１３０２内の情報（例えば、幾何形状１０４及び１０６、又は変換１１４若しくは４０８）を格納するように構成され得る。ストレージユニット１３３４は、コンピュータ可読記憶媒体又はコンピュータ可読記憶デバイスを含み得る。いくつかの例では、ストレージユニット１３３４は、少なくとも短期メモリ又は長期メモリを含む。ストレージユニット１３３４は、例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、磁気ディスク、光ディスク、フラッシュメモリ、磁気ディスク、光ディスク、フラッシュメモリ、又は電気的プログラマブルメモリ（electrically programmable memory、ＥＰＲＯＭ）若しくは電気的消去可能プログラマブルメモリ（electrically erasable and programmable memory、ＥＥＰＲＯＭ）の形態を含み得る。
【0092】
いくつかの例では、ストレージユニット１３３４は、プロセッサ１３０４による実行のためのプログラム命令を格納するために使用される。ストレージユニット１３３４は、処理ユニット１３０２上で動作するソフトウェア又はアプリケーションによって使用されて、プログラム実行中に情報を格納し、プログラム実行の結果を格納することができる。例えば、ストレージユニット１３３４は、ニューラルネットワーク構成１１０及び１３４を、各々が手法１００及び４００を使用して訓練されているときに格納することができる。
【0093】
本明細書は、多くの具体的な実施態様の詳細を説明するが、これらは、特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の実施態様に特有であり得る特徴の説明として解釈されるべきである。別個の実施態様の文脈で本明細書において説明される特定の特徴はまた、単一の実施態様において組み合わせて実装され得る。逆に、単一の実施態様の文脈で説明される様々な特徴はまた、複数の実施態様において別々に、又は任意の好適な部分組み合わせにおいて実装され得る。更に、特徴は、特定の組み合わせで作用するものとして上記で説明され、最初にそのように特許請求されてもよいが、特許請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから削除することができ、特許請求される組み合わせは、部分組み合わせ又は部分組み合わせの変形形態を対象とすることができる。
【0094】
同様に、動作は特定の順序で図面に示されているが、これは、所望の結果を達成するために、そのような動作が示された特定の順序で若しくは連続的な順序で実行されること、又はすべての図示された動作が実行されることを必要とすると理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。更に、上記で説明した実施態様における様々なシステムモジュール及び構成要素の分離は、すべての実施態様においてそのような分離を必要とすると理解されるべきではなく、説明した構成要素及びシステムは、一般に、単一のシステムに一緒に統合され得るか、又は複数のシステムにわたって分散され得ることを理解されたい。
【0095】
主題の特定の実施態様について説明してきた。他の実施態様は、以下の特許請求の範囲内にある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際調査報告】