▶ スリーエム イノベイティブ プロパティズ カンパニーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-18
(54)【発明の名称】幾何学的深層学習を使用する歯科スキャンの自動処理
(51)【国際特許分類】
G06T 19/00 20110101AFI20231211BHJP
G16H 30/20 20180101ALI20231211BHJP
G06N 20/00 20190101ALI20231211BHJP
G06N 3/02 20060101ALI20231211BHJP
【ＦＩ】
G06T19/00 A
G16H30/20
G06N20/00
G06N3/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023535284
(86)(22)【出願日】2021-12-02
(85)【翻訳文提出日】2023-06-09
(86)【国際出願番号】 IB2021061230
(87)【国際公開番号】W WO2022123402
(87)【国際公開日】2022-06-16
(31)【優先権主張番号】63/124,263
(32)【優先日】2020-12-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】505005049
【氏名又は名称】スリーエム イノベイティブ プロパティズ カンパニー
(74)【代理人】
【識別番号】100130339
【弁理士】
【氏名又は名称】藤井 憲
(74)【代理人】
【識別番号】100135909
【弁理士】
【氏名又は名称】野村 和歌子
(74)【代理人】
【識別番号】100133042
【弁理士】
【氏名又は名称】佃 誠玄
(74)【代理人】
【識別番号】100171701
【弁理士】
【氏名又は名称】浅村 敬一
(72)【発明者】
【氏名】ガンドラッド，ジョナサン ディー．
(72)【発明者】
【氏名】カンリフ，アレクサンドラ アール．
(72)【発明者】
【氏名】ハンセン，ジェームズ ディー．
(72)【発明者】
【氏名】ファブリ，キャメロン エム．
(72)【発明者】
【氏名】ドン，ウェンボー
(72)【発明者】
【氏名】ヤン，エン－ツー
(72)【発明者】
【氏名】ホアン，ジャンビン
(72)【発明者】
【氏名】ナヤー，ヒマンシュ
(72)【発明者】
【氏名】ソマスンダラム，グルプラサド
(72)【発明者】
【氏名】レン，ジネン
(72)【発明者】
【氏名】ディンゲルダイン，ジョーゼフ シー．
(72)【発明者】
【氏名】ホッセイニ，セイイェド アミール ホセイン
(72)【発明者】
【氏名】デムロー，スティーヴン シー．
(72)【発明者】
【氏名】ツィマー，ベンジャミン ディー．
【テーマコード（参考）】
5B050
5L099
【Ｆターム（参考）】
5B050AA02
5B050BA09
5B050DA04
5B050EA12
5B050EA13
5B050FA05
5B050FA17
5L099AA04
(57)【要約】
機械学習又は幾何学的深層学習が、様々な歯科プロセス及び５つの解決策に適用される。特に、敵対的生成ネットワークは、スマイル設計（仕上げスマイル）、装具レンダリング、スキャンクリーンアップ、修復装具設計、クラウン及びブリッジ設計、及び仮想デボンディングに機械学習を適用する。頂点及びエッジ分類は、歯肉と歯の検出、歯タイプのセグメント化、並びにブラケット及び他の歯列矯正ハードウェアに、機械学習を適用する。回帰は、座標系、診断、ケース複雑度、及び治療期間の０予測に、機械学習を適用する。自動エンコーダ及びクラスタリングは、医師又は技術者及び選好のグループ化に機械学習を適用する。
【特許請求の範囲】
【請求項1】
デジタル３Ｄモデル修正のコンピュータ実施方法であって、口腔内構造のデジタル３Ｄモデルを受信するステップであって、前記モデルが、修正される特徴、歯、及び歯肉のうちの少なくとも１つを含む、ステップと、
トレーニングされた機械学習モデルを前記デジタル３Ｄモデルに対して実行するステップであって、前記トレーニングされた機械学習モデルが、修正される特徴、セグメント化、座標系、及び歯科修復のうちの少なくとも１つを含む過去のデジタル３Ｄモデルに基づく、ステップと、
前記デジタル３Ｄモデルのバージョンを出力するステップであって、前記出力されるバージョンが、修正される前記特徴を欠いている、予測されたセグメント化を含む、予測された座標系を含む、又は設計された修復を含む、ステップと、
を含む、コンピュータ実施方法。
【請求項2】
前記口腔内構造が、修正される特徴を含み、前記トレーニングされた機械学習モデルが、修正される特徴を有する過去のデジタル３Ｄモデルに基づいており、
前記デジタル３Ｄモデルの前記出力されるバージョンが、前記修正される特徴を有していない、
請求項１に記載のコンピュータ実施方法。
【請求項3】
前記口腔内構造が、歯及び歯肉を含み、前記トレーニングされた機械学習モデルが、セグメント化を有する過去のデジタル３Ｄモデルに基づいており、
前記デジタル３Ｄモデルの前記出力されるバージョンが、予測されたセグメント化を含む、
請求項１に記載のコンピュータ実施方法。
【請求項4】
前記口腔内構造が歯を含み、前記トレーニングされた機械学習モデルが、座標系を有する過去のデジタル３Ｄモデルに基づいており、
前記デジタル３Ｄモデルの前記出力されるバージョンが、予測された座標系を含む、
請求項１～３のいずれか一項に記載のコンピュータ実施方法。
【請求項5】
前記口腔内構造が歯を含み、前記トレーニングされた機械学習モデルが、歯科修復に関する過去のデジタル３Ｄモデルに基づいており、
前記デジタル３Ｄモデルの前記出力されるバージョンが、設計された修復を含む、
請求項１～４のいずれか一項に記載のコンピュータ実施方法。
【請求項6】
前記口腔内構造が、歯及び修正される特徴を含み、前記トレーニングされた機械学習モデルが、歯科修復に関する過去のデジタル３Ｄモデルと、修正される前記特徴を有する過去のデジタル３Ｄモデルとに基づいており、
前記デジタル３Ｄモデルの前記出力されるバージョンが、設計された修復を含み、修正される前記特徴を欠いている、
請求項５に記載のコンピュータ実施方法。
【請求項7】
歯科用又は歯列矯正用部品の構成要素を検証するコンピュータ実施方法であって、歯科修復に関するデジタル３Ｄ構成要素を受信するステップと、
トレーニングされた機械学習モデルを前記デジタル３Ｄ構成要素に対して実行するステップであって、前記トレーニングされた機械学習モデルが、歯科修復に関する過去のデジタル３Ｄ構成要素に基づいている、ステップと、
前記デジタル３Ｄ構成要素が前記歯科修復又は歯列矯正修復に対して許容可能であるかどうかの指示を出力するステップと、
を含む、コンピュータ実施方法。
【請求項8】
前記機械学習モデルがニューラルネットワークである、請求項７に記載の方法。
【請求項9】
請求項７に記載の検証方法の前に、又は検証方法と共に、請求項２に記載のデジタル３Ｄモデルクリーンアップ方法を実行するステップ、をさらに含む、請求項７に記載の方法。
【請求項10】
請求項７に記載の検証方法の前に、又は検証方法と共に、請求項２に記載のデジタル３Ｄモデルクリーンアップ方法、請求項３に記載のデジタル３Ｄモデルセグメント化方法、及び／又は請求項４に記載のデジタル３Ｄモデル座標系方法を実行するステップ、をさらに含む、請求項７に記載の方法。
【請求項11】
請求項７に記載の検証方法の前に、後に、又は少なくとも部分的に同時に、請求項５に記載の設計方法を実行するステップ、をさらに含む、請求項７に記載の方法。
【請求項12】
請求項５に記載の設計方法及び請求項７に記載の検証方法を実行する前に、又は実行すると共に、請求項２に記載のデジタル３Ｄモデルクリーンアップ方法を実行するステップ、をさらに含む、請求項１１に記載の方法。
【請求項13】
請求項５に記載の設計方法及び請求項７に記載の検証方法を実行する前に、又は実行すると共に、請求項２に記載のデジタル３Ｄモデルクリーンアップ方法、請求項３に記載のデジタル３Ｄモデルセグメント化方法、及び／又は請求項４に記載のデジタル３Ｄモデル座標系方法を実行するステップ、をさらに含む、請求項１２に記載の方法。
【請求項14】
前記デジタル３Ｄ構成要素が前記歯科修復に対して許容可能であるように、前記デジタル３Ｄ構成要素をどのように変更するかの指示を出力するステップ、をさらに含む、請求項７に記載の方法。
【請求項15】
請求項３に記載のデジタル３Ｄモデル座標系方法を実行する前に、又は実行すると共に、請求項２に記載のデジタル３Ｄモデルクリーンアップ方法を実行するステップ、をさらに含む、請求項３に記載の方法。
【請求項16】
請求項３に記載のデジタル３Ｄモデル座標系方法の前に、後に、又は少なくとも部分的に同時に、請求項２に記載のデジタル３Ｄモデルセグメント化方法を実行するステップ、をさらに含む、請求項３に記載の方法。
【請求項17】
請求項３に記載のデジタル３Ｄモデルセグメント化方法及び請求項４に記載のデジタル３Ｄモデル座標系方法を実行する前に、又は実行すると共に、請求項２に記載のデジタル３Ｄモデルクリーンアップ方法を実行するステップ、をさらに含む、請求項１６に記載の方法。
【請求項18】
カスタマイズされた治療計画を生成するコンピュータ実施方法であって、提供者の過去の治療情報を受信するステップと、
トレーニングされた機械学習モデルを前記提供者の前記過去の治療情報に対して実行するステップと、
前記提供者の各々に対して１つ以上のカスタマイズされた治療計画を出力するステップと、
を含む、コンピュータ実施方法。
【請求項19】
請求項１８に記載のカスタマイズされた治療計画方法を実行する前に、又は実行すると共に、請求項２に記載のデジタル３Ｄモデルクリーンアップ方法、請求項３に記載のデジタル３Ｄモデルセグメント化方法、及び／又は請求項４に記載のデジタル３Ｄモデル座標系方法を実行するステップ、をさらに含む、請求項１８に記載のコンピュータ実施方法。
【発明の詳細な説明】
【背景技術】
【0001】
機械学習は、様々な産業及び分野において、プロセス及び様々なタスクを自動化及び改善するために使用される。歯列矯正を含む歯科分野では、多くのプロセス及びタスクが手動で実行され、それらを完了するためにユーザフィードバック又は対話に依存することがある。そのようなプロセス及びタスクを自動化する、部分的に自動化する、又は改善するために、歯科分野において機械学習を使用することができる。
【発明の概要】
【0002】
実施形態では、様々な歯科プロセス及びソリューションに適用される機械学習を使用する。特に、敵対的生成ネットワークの実施形態では、スマイル設計（仕上げスマイル）、装具レンダリング、スキャンクリーンアップ、修復装具の設計、クラウン及びブリッジの設計、及び仮想デボンディングに、機械学習を適用する。頂点及びエッジ分類の実施形態では、歯肉と歯の検出、歯タイプのセグメント化、並びにブラケット及び他の歯列矯正ハードウェアに、機械学習を適用する。回帰の実施形態では、座標系、診断、ケース複雑度、及び治療期間の予測に、機械学習を適用する。自動エンコーダ及びクラスタリングの実施形態では、医師（又は技術者）及び選好のグループ化に機械学習を適用する。
【図面の簡単な説明】
【0003】
【図1】３Ｄスキャンに基づくデジタルモデルを受信して処理するシステムの図である。
【図2】同じモデルの生バージョン（左）と、クリーンアップされかつ歯肉がクリッピング／ブリッジされたバージョン（右）とを示す。
【図3】モデル開発／トレーニング及びモデル展開のためのフローチャートを提供する。
【図4】根本の欠損（abfraction）（左）及び欠けた歯（右）を含む病理学的特徴を示す。
【図5】トレーニングパイプラインの概要である。
【図6】モデルの推論（展開）のための方法ワークフローであり、ジェネレータは、与えられたクリーンなデータ点及びアンクリーンなデータ点を生成する。
【図7】トレーニングパイプラインの概要である。
【図8】モデルの推論（展開）のための方法ワークフローであり、ジェネレータは、与えられたクリーンなデータ点及びアンクリーンなデータ点を生成する。
【図9】「良好な」分割面の６つの例を示す。
【図10】自動化コードの特定のラインを一時的に破損することによって生成された「悪い」又は不良な分割面の６つの例を示す。
【図11】合格の金型分割面と不合格の金型分割面とを区別するためのＮＮの運用である。
【図12】自動化コードモジュールのうちの１つ（例えば分割面生成コード）を回帰テストする目的での運用ケースである。
【図13】製造システムのコンテキストにおいて、分割面が歯科修復装具での使用に適しているかどうかを判定するための運用ケースである。
【図14】合格の金型分割面と不合格の金型分割面とを区別するためのＮＮの運用である。
【図15】回帰テストのコンテキストにおいて合格の金型分割面と不合格の金型分割面とを区別するためのＮＮの運用である。
【図16】生産システムのコンテキストにおいて、分割面が歯科修復装具での使用に適しているかどうかを判定するための運用ケースである。
【図17】正しい中心クリップ配置（左）と不適切な中心クリップ配置（右）の２Ｄ画像を示す。
【図18】３Ｄメッシュ構成要素が作成される運用である。
【図22】検証プロセスである。
【図24】分割面によって二分された左上側切歯（歯１０）の３０個の図を示す。
【図25】分割面によって正確に二分された右上犬歯（歯６）の３０個の図を示す。
【図26】セグメント化プロセスである。
【図27】いくつかの上側歯列弓及び下側歯列弓に対するセグメント化の結果の例を示す。
【図28】セグメント化のためのトレーニングパイプラインである。
【図29】セグメント化のためのテストパイプラインである。
【図30】歯の座標系の予測を示す。
【図31】座標系を予測するためのトレーニングパイプラインである。
【図32】座標系を予測するためのテストパイプラインである。
【図33】右上歯列弓第２臼歯（ＵＮＳ＝１）の予測を示している。
【図34】機械学習を使用して提供者及び選好をグループ化するプロセスである。
【発明を実施するための形態】
【0004】
幾何学的深層学習（Geometric Deep Learning、ＧＤＬ）又は機械学習方法を使用して、いくつかの歯科及び歯列矯正のプロセス及びタスクのための歯科スキャンを処理する。ＧＤＬを使用することで、例えば、これらのプロセス及びタスクを自動化する、部分的に自動化する、又は改善することができる。以下は、以下のセクションに説明される実施形態に加えて、歯科及び歯列矯正の用途におけるＧＤＬの例示的な使用である。
【0005】
転移学習の使用：本方法では、良好なトレーニングデータが不足している状況において転移学習を使用することができる。本方法では、十分なトレーニングデータが存在する種類の歯に対して事前トレーニングされたモデルを基本モデルとして使用し、その重みを完全に又は部分的に微調整して、最初の（データ不足の）種類の歯に対して動作するのに適した新しいモデルを作成することができる。
【0006】
他のモダリティの使用：ＧＤＬは、マルチビュー２次元（２Ｄ）投影、例えば、マルチビュー畳み込みニューラルネットワーク（multi-view convolutional neural network、ＭＶＣＮＮ）と共に使用することができる。
【0007】
複数のモダリティを一緒に使用する：本方法では、モダリティのすべて又は一部の機械を使用するパイプラインを作成して、ハイブリッドパイプラインを作成することができる。このパイプラインは、複数のモダリティによるデータを取り込むことができる。
【0008】
図１は、口腔内３次元（３Ｄ）スキャン又は物理モデルのスキャンに基づくデジタル３Ｄモデルを受信して、ＧＤＬを使用して処理するためのシステム１０の図である。システム１０は、口腔内３Ｄスキャン又は歯の印象のスキャンから歯（１２）のデジタル３Ｄモデルを受信するプロセッサ２０を含む。システム１０はまた、液晶ディスプレイ（ＬＣＤ）デバイスなどの電子ディスプレイデバイス１６と、ユーザコマンド又は他の情報を受信する入力デバイス１８とを含むことができる。複数の視点（ｖｉｅｗ）からの画像セットに基づいてデジタル３Ｄ画像又はモデルを生成するためのシステムは、米国特許第７，９５６，８６２号及び同第７，６０５，８１７号に開示されており、これらの両方は、完全に記載されているかのように参照により本明細書に組み込まれる。これらのシステムは、口腔内スキャナを使用して、歯又は他の口腔内構造の複数のビューからデジタル画像を得ることができ、これらのデジタル画像は、スキャンされた歯を表すデジタル３Ｄモデルを生成するために処理される。システム１０は、例えば、デスクトップ、ノートブック又はタブレットコンピュータを用いて実装することができる。システム１０は、３Ｄスキャンをローカルに、又はネットワークを介してリモートで受信することができる。
【0009】
Ｉ．生成－敵対的生成ネットワーク（Generative Adversarial Network、ＧＡＮ）
これらの実施形態は、例えば、以下を含む。
これらの実施形態は、例えば、以下を含む。
【0010】
修復最終スマイル設計：敵対的生成ネットワークを使用して、初期３Ｄメッシュに基づいて最終スマイルの３Ｄメッシュを作成する。
【0011】
修復装具の設計：敵対的生成ネットワーク（ＧＡＮ）を使用して、最終スマイル設計の３Ｄメッシュに基づいて修復装具を作成する。
【0012】
クラウン及びブリッジの設計：ＧＡＮを使用して、治療の過程で装具（ブレース、ブラケットなど）がどのように見えるかを表示する能力を提供する。
【0013】
仮想デボンディング：ＧＡＮを使用して、装具（ブラケット、リテーナ、又は他のハードウェア）を含む歯列弓の初期３Ｄスキャンに基づいて、装具なしのスキャンされた歯列弓メッシュを生成し、代替的に、機械学習セグメント化モジュールを使用して、スキャンされた歯列弓内に存在するブラケット、リテーナ、又は他のハードウェアを識別する。次いで、ＧＡＮ又は３Ｄメッシュ処理を使用して、スキャンメッシュから装具を除去することができる。
【0014】
Ａ．メッシュクリーンアップ
これらの実施形態は、歯科スキャンのための自動化された３Ｄメッシュクリーンアップのための方法を含む。３つの主要な手法、すなわち、３Ｄメッシュ処理手法、深層学習手法、及び、いくつかの３Ｄメッシュ処理要素といくつかの深層学習要素とを採用する組み合わせ手法がある。
これらの実施形態は、歯科スキャンのための自動化された３Ｄメッシュクリーンアップのための方法を含む。３つの主要な手法、すなわち、３Ｄメッシュ処理手法、深層学習手法、及び、いくつかの３Ｄメッシュ処理要素といくつかの深層学習要素とを採用する組み合わせ手法がある。
【0015】
セクション１：歯科スキャンクリーンアップのための３Ｄメッシュ処理
本方法は、３Ｄメッシュの様々な特性を有する、様々な口腔内スキャナ及びラボスキャナによって生成された生（クリーンアップ前）のデジタル歯科モデルを受信する。本方法は、標準的なドメイン独立３Ｄメッシュ修復技法を利用して、後続の動作におけるメッシュ処理の問題を回避する特定のメッシュ品質を保証する。本方法はまた、同じモデルの生（左画像）バージョン並びにクリーンアップされかつ歯肉がクリッピング／ブリッジされた（右画像）バージョンを示す図２に示されるように、モデル基部除去及び部分的な歯肉のクリッピング／ブリッジなどのカスタム歯列矯正／歯科ドメイン固有アルゴリズムを使用する。これらの自動化されたクリーンアップ結果を、市販又はカスタムのメッシュ操作ソフトウェアを使用した手動での対話を介して、さらに精緻化することができる。メッシュクリーンアップは、したがって、例えば、特徴を除去すること、特徴を追加すること、又は他のクリーンアップ技法を行うことによって、メッシュ又はモデルを修正することを含むことができる。
本方法は、３Ｄメッシュの様々な特性を有する、様々な口腔内スキャナ及びラボスキャナによって生成された生（クリーンアップ前）のデジタル歯科モデルを受信する。本方法は、標準的なドメイン独立３Ｄメッシュ修復技法を利用して、後続の動作におけるメッシュ処理の問題を回避する特定のメッシュ品質を保証する。本方法はまた、同じモデルの生（左画像）バージョン並びにクリーンアップされかつ歯肉がクリッピング／ブリッジされた（右画像）バージョンを示す図２に示されるように、モデル基部除去及び部分的な歯肉のクリッピング／ブリッジなどのカスタム歯列矯正／歯科ドメイン固有アルゴリズムを使用する。これらの自動化されたクリーンアップ結果を、市販又はカスタムのメッシュ操作ソフトウェアを使用した手動での対話を介して、さらに精緻化することができる。メッシュクリーンアップは、したがって、例えば、特徴を除去すること、特徴を追加すること、又は他のクリーンアップ技法を行うことによって、メッシュ又はモデルを修正することを含むことができる。
【0016】
セクション２：歯科スキャンクリーンアップのための深層学習。
より多くのデータが取得されるにつれて、機械学習方法及び特に深層学習方法は、明示的にプログラムされた方法の性能に匹敵するか又はそれを上回る性能を発揮し始める。深層学習方法は、トレーニングのプロセスを通じて、より高次元の潜在的又は隠れた特徴のいくつかの非線形関数の組み合わせを使用してデータから直接的にいくつかの有用な特徴を推論することができるため、特徴を手動で作成する必要がないという大きな利点を有する。メッシュクリーンアップ問題の解決を試みるとき、例えば、ＰｏｉｎｔＮｅｔ、ＰｏｉｎｔＣＮＮ、ＭｅｓｈＣＮＮ、及びＦｅａＳｔＮｅｔｒｅなどの方法を使用して、３Ｄメッシュ上で直接動作することが望ましい場合がある。
より多くのデータが取得されるにつれて、機械学習方法及び特に深層学習方法は、明示的にプログラムされた方法の性能に匹敵するか又はそれを上回る性能を発揮し始める。深層学習方法は、トレーニングのプロセスを通じて、より高次元の潜在的又は隠れた特徴のいくつかの非線形関数の組み合わせを使用してデータから直接的にいくつかの有用な特徴を推論することができるため、特徴を手動で作成する必要がないという大きな利点を有する。メッシュクリーンアップ問題の解決を試みるとき、例えば、ＰｏｉｎｔＮｅｔ、ＰｏｉｎｔＣＮＮ、ＭｅｓｈＣＮＮ、及びＦｅａＳｔＮｅｔｒｅなどの方法を使用して、３Ｄメッシュ上で直接動作することが望ましい場合がある。
【0017】
深層学習アルゴリズムは、２つの主要な開発ステップ、すなわち、１）モデルのトレーニング、及び２）モデルの展開、を有する。
【0018】
モデルのトレーニングでは、過去のケースデータの複数の生（クリーンアップ前）及びクリーンアップされたデジタル３Ｄモデルを利用する。生又は部分的にクリーンアップされた３Ｄモデルが、予測される改善かつクリーンアップされた３Ｄモデルを生成するように設計された深層学習フレームワークに入力される。オプションとして、データ拡張（augmentation）を入力モデルに適用して、深層学習モデルに入力されるデータの量を増加させることができる。いくつかのデータ拡張技法としては、メッシュの平行移動及び回転、均一及び不均一なスケーリング、エッジフリッピング、並びにメッシュ頂点へのランダムノイズの追加が挙げられる。次に、予測されたクリーンアップされたデジタル３Ｄモデルと実際のクリーンアップされたデジタル３Ｄモデルとの間の差を最小化するように重みのセットを反復的に調整するプロセスを通じて、モデルをトレーニングする。次に、トレーニング中に使用されなかったケースの予備セットのクリーンアップされたメッシュを生成し、これらの生成された３Ｄメッシュを、実際のケースデータのクリーンアップされたメッシュと比較することによって、トレーニングされたモデルを評価する。
【0019】
モデル展開段階では、モデルトレーニング中に開発されたトレーニングされたモデルを利用する。トレーニングされたモデルは、以前に見たことがない新しいケースの生のデジタル３Ｄモデルを入力として受け取り、このケースのクリーンアップされた３Ｄモデルを生成する。
【0020】
図３は、本明細書でさらに説明される、以下のモデル開発／トレーニング方法及びモデル展開方法のフローチャートを提供する。
【0021】
モデルの開発／トレーニング：
１．入力：過去のケースデータの３Ｄモデル（２２）。
２．オプションのデータ拡張（２４）。
３．深層学習モデルをトレーニングする（２６）。
４．生成されたクリーンアップされた３Ｄメッシュをグラウンドトゥルースデータに対して評価する（２８）。
１．入力：過去のケースデータの３Ｄモデル（２２）。
２．オプションのデータ拡張（２４）。
３．深層学習モデルをトレーニングする（２６）。
４．生成されたクリーンアップされた３Ｄメッシュをグラウンドトゥルースデータに対して評価する（２８）。
【0022】
モデルの展開：
１．入力：新しいケースのデジタル３Ｄモデル（３０）。
２．トレーニングされた深層学習モデルを実行する（３２）。
３．提案されたクリーンアップされた３Ｄメッシュを生成する（３４）。
１．入力：新しいケースのデジタル３Ｄモデル（３０）。
２．トレーニングされた深層学習モデルを実行する（３２）。
３．提案されたクリーンアップされた３Ｄメッシュを生成する（３４）。
【0023】
セクション３：組み合わせ手法（３Ｄメッシュ処理＋深層学習）。
セクション２で説明したように、深層学習を使用して、明示的にプログラムされた３Ｄメッシュ処理ステップなしに、入力スキャンからクリーンアップされたメッシュを生成することが可能である。しかしながら、いくつかのメッシュクリーンアップ動作（例えば、穴を埋める、三角形交差を除去する、及び孤立部分を除去する）は、うまく定義されたメッシュ動作であり、深層学習ではなく３Ｄメッシュ処理方法を使用してより効果的に実施される可能性が高い。代わりに、本方法では、セクション１で説明したすべてではなく、いくつかのメッシュ処理ステップの代わりに深層学習を使用する組み合わせ手法を実装することができる。例えば、深層学習を使用してメッシュ内の歯肉線を識別することができ、歯肉線の下の余分な材料を除去することができる。また、深層学習を使用して、窪み、欠けた歯、根本の欠損、及び凹部を含む、歯科スキャンにおける病理学的特徴（図４を参照）を識別することもできる。これらの特徴は、いったん検出されると、３Ｄメッシュ処理アルゴリズムを使用して修復することができる、又は病理学的特徴を直接修復するように深層学習モデルをトレーニングすることができる。図４は、根本の欠損（左画像）及び欠けた歯（右画像）を含む病理学的特徴を示す。
セクション２で説明したように、深層学習を使用して、明示的にプログラムされた３Ｄメッシュ処理ステップなしに、入力スキャンからクリーンアップされたメッシュを生成することが可能である。しかしながら、いくつかのメッシュクリーンアップ動作（例えば、穴を埋める、三角形交差を除去する、及び孤立部分を除去する）は、うまく定義されたメッシュ動作であり、深層学習ではなく３Ｄメッシュ処理方法を使用してより効果的に実施される可能性が高い。代わりに、本方法では、セクション１で説明したすべてではなく、いくつかのメッシュ処理ステップの代わりに深層学習を使用する組み合わせ手法を実装することができる。例えば、深層学習を使用してメッシュ内の歯肉線を識別することができ、歯肉線の下の余分な材料を除去することができる。また、深層学習を使用して、窪み、欠けた歯、根本の欠損、及び凹部を含む、歯科スキャンにおける病理学的特徴（図４を参照）を識別することもできる。これらの特徴は、いったん検出されると、３Ｄメッシュ処理アルゴリズムを使用して修復することができる、又は病理学的特徴を直接修復するように深層学習モデルをトレーニングすることができる。図４は、根本の欠損（左画像）及び欠けた歯（右画像）を含む病理学的特徴を示す。
【0024】
Ｂ．推論を使用したメッシュクリーンアップ
これらの方法は、ＧＡＮ及びＧＤＬを使用して、データから学習した傾向に基づいて手動のメッシュクリーンアッププロセスを自動化する。メッシュの欠陥としては、トポロジー的な穴（topological holes）、滑らかでない表面などが挙げられる。これらの方法では、機械学習手法を使用して、クリーンアップされていない状態のメッシュとクリーンアップされた状態のメッシュとの間のマッピングを構築する。このマッピングは、敵対的トレーニングを通じて学習され、対応するクリーンアップされていないソースメッシュが与えられると、クリーンアップされたメッシュの条件付き分布において具現化される。モデルは、クリーンアップされていない状態の口腔内スキャンを使用して取得された点群のデータセット（データ点と呼ばれる）と、半自動化ソフトウェアプログラムによって、又は訓練された人間によって完全に手動で行われるクリーンアッププロセスを経た後の対応するメッシュとを使用して、トレーニングされる。
これらの方法は、ＧＡＮ及びＧＤＬを使用して、データから学習した傾向に基づいて手動のメッシュクリーンアッププロセスを自動化する。メッシュの欠陥としては、トポロジー的な穴（topological holes）、滑らかでない表面などが挙げられる。これらの方法では、機械学習手法を使用して、クリーンアップされていない状態のメッシュとクリーンアップされた状態のメッシュとの間のマッピングを構築する。このマッピングは、敵対的トレーニングを通じて学習され、対応するクリーンアップされていないソースメッシュが与えられると、クリーンアップされたメッシュの条件付き分布において具現化される。モデルは、クリーンアップされていない状態の口腔内スキャンを使用して取得された点群のデータセット（データ点と呼ばれる）と、半自動化ソフトウェアプログラムによって、又は訓練された人間によって完全に手動で行われるクリーンアッププロセスを経た後の対応するメッシュとを使用して、トレーニングされる。
【0025】
この機械学習モデルは、後から、他のジオメトリ動作のための前処理ステップとして使用することができる。例えば、デジタル歯列矯正の場合、このモデルを使用して、入力された点群を、ループ内に人間を必要とせずに処理に適した座標系において標準化することができる。これにより、各ケースの処理時間が効果的かつ大幅に短縮されるとともに、このタスクを実行するために人間の作業者を訓練する必要性が低減される。加えて、機械学習モデルは、多数の訓練された人間によって生成されたデータでトレーニングされるため、一人の人間が単独で行う場合と比較して、より高い精度を達成する可能性を有する。
【0026】
図５は、本方法のトレーニングパイプラインの高レベルのワークフローを示す。ディスクリミネータは、ジェネレータをトレーニングするのを支援するためにのみ使用されるため、推論（展開）中には使用されない。ディスクリミネータ（３６）は、｛アンクリーン、クリーン｝データ点のタプルを分類するように学習し、ジェネレータ（３８）は、ディスクリミネータをだますための偽のクリーンデータ点を生成するように学習する。
【0027】
図６は、モデルの推論（展開）のための方法ワークフローであり、ジェネレータ（４０）は、アンクリーンなデータ点（４４）が与えられた場合にクリーンなデータ点（４２）を生成する。この段階では、ディスクリミネータはもはや必要とされない。
【0028】
以下はワークフローにおける段階である。
【0029】
１．前処理。
ａ．（オプション）低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング（coverage aware sampling）、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して点群のサイズを拡張し、より高い粒度を達成することができる。
ａ．（オプション）低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング（coverage aware sampling）、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して点群のサイズを拡張し、より高い粒度を達成することができる。
【0030】
２．モデルの推論：
前処理されたメッシュ／点群は、機械学習モデルを通過し、生成されたメッシュ／点群が得られる。機械学習モデルの使用に関連するステップを以下に示す。
ａ．モデルのトレーニング：モデルは、テンソル（モデルの重みと呼ばれる）の集合として具現化される。これらのモデルの重みの意味のある値は、トレーニングプロセスを通して学習される。これらの重みは、完全にランダムに初期化される。
前処理されたメッシュ／点群は、機械学習モデルを通過し、生成されたメッシュ／点群が得られる。機械学習モデルの使用に関連するステップを以下に示す。
ａ．モデルのトレーニング：モデルは、テンソル（モデルの重みと呼ばれる）の集合として具現化される。これらのモデルの重みの意味のある値は、トレーニングプロセスを通して学習される。これらの重みは、完全にランダムに初期化される。
【0031】
トレーニングプロセスは、アンクリーンなメッシュ／点群とクリーンなメッシュ／点群との対のセットであるトレーニングデータを使用する。このデータは、モデルの作成前に利用可能であると仮定される。
【0032】
モデルは２つの主要部分を有し、一方はジェネレータであり、他方はディスクリミネータである。ジェネレータは、メッシュ／点群を取り込み、別のメッシュ／点群を生成する。この生成されたメッシュ／点群は、いくつかの所望の幾何学的特徴を有する。ディスクリミネータは、生成されたメッシュ／点群を受け取り、それにスコアを与える。ディスクリミネータはまた、対応するグラウンドトゥルースのクリーンなメッシュ／点群を与えられ、別のスコアを与える。敵対的損失は、これら２つのスコア間の相違を符号化する。全損失関数は、他の成分も含むことができる。ルールベースの問題固有制約を実施するために、いくつかの成分を導入することができる。
【0033】
本方法は、トレーニングデータセットからランダムに選択されたバッチをモデルに渡し、損失関数を計算する。本方法は、計算された損失関数から勾配を推測し、モデルの重みを更新する。モデルのトレーニング中に、ジェネレータは全域関数を最小化するように更新され、ディスクリミネータは全域関数を最大化するように更新される。このプロセスは、所定の反復回数にわたって、又は特定の客観的基準が満たされるまで繰り返される。
【0034】
ｂ．モデルの検証：トレーニングと並行して、オーバーフィッティングなどのトレーニングに伴う潜在的な問題を監視するために、モデルが常に検証されることが典型的である。
本方法は、トレーニングの開始時に利用可能な検証セットが存在すると仮定する。このデータセットは、対にされたアンクリーンなメッシュ／点群及びクリーンなメッシュ／点群のセットであるという点で、トレーニングデータセットに類似している。
本方法は、トレーニングの開始時に利用可能な検証セットが存在すると仮定する。このデータセットは、対にされたアンクリーンなメッシュ／点群及びクリーンなメッシュ／点群のセットであるという点で、トレーニングデータセットに類似している。
【0035】
設定された回数のトレーニングを反復した後、本方法は、検証セットをモデルに通し、損失関数値を計算する。この値は、モデルが見えないデータに対していかに良好に一般化するかの尺度として役立つ。検証損失値は、トレーニングプロセスを停止するための基準として使用することができる。
【0036】
ｃ．モデルのテスト：モデルのテストは、典型的には、関連するグラウンドトゥルースのクリーンなメッシュ／点群を有さない、見えないデータ点に対して行われる。これは展開において行われる。
【0037】
Ｃ．歯科修復予測
これらの方法は、メッシュの初期状態を表すメッシュを与えられたとき、トレーニングセットから学習された傾向に基づいて、歯科修復が行われた後のメッシュをＧＡＮ及びＧＤＬを使用して予測する。
これらの方法は、メッシュの初期状態を表すメッシュを与えられたとき、トレーニングセットから学習された傾向に基づいて、歯科修復が行われた後のメッシュをＧＡＮ及びＧＤＬを使用して予測する。
【0038】
これらの方法では、機械学習手法を使用して、アンクリーンな状態のメッシュとクリーンな状態のメッシュとの間のマップを構築する。このマップは、敵対的トレーニングを通じて学習され、初期状態に対応するメッシュを与えられたとき、修復された歯のメッシュの条件付き分布において具現化される。モデルは、修復されていない初期状態の口腔内スキャンを使用して取得された点群のデータセット（データ点と呼ばれる）と、修復プロセスを経た後の対応するメッシュとを使用してトレーニングされる。
【0039】
推論機械学習モデルは、後からスマイル予測のために使用することができ、これにより、修復プロセスがソフトウェアにおいて完了した後に、歯科矯正医が患者に修復された歯列弓の最終状態を示すことが可能になり得る。
【0040】
図７は、本方法のトレーニングのための高レベルワークフローを示す。ディスクリミネータは、ジェネレータをトレーニングするのを支援するためにのみ使用されるため、推論（展開）中には使用されない。ディスクリミネータ（４６）は、｛アンクリーン、クリーン｝データ点のタプルを分類するように学習し、ジェネレータ（４８）は、ディスクリミネータをだますための偽のクリーンデータ点を生成するように学習する。
【0041】
図８は、モデルの推論（展開）のための方法ワークフローであり、ジェネレータ（５０）は、アンクリーンなデータ点（５４）が与えられた場合にクリーンなデータ点（５２）を生成する。この段階では、ディスクリミネータはもはや必要とされない。
【0042】
以下は、ワークフローにおける段階である。
１．前処理：
ａ．（オプション）低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して、点群のサイズを拡張し、より高い粒度を達成することができる。
１．前処理：
ａ．（オプション）低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して、点群のサイズを拡張し、より高い粒度を達成することができる。
【0043】
２．モデルの推論：
前処理されたメッシュ／点群が機械学習モデルを通過し、生成されたメッシュ／点群が得られる。機械学習モデルの使用に関連するステップを以下に示す。
前処理されたメッシュ／点群が機械学習モデルを通過し、生成されたメッシュ／点群が得られる。機械学習モデルの使用に関連するステップを以下に示す。
【0044】
ａ．モデルのトレーニング：モデルは、テンソル（モデルの重みと呼ばれる）の集合として具現化される。これらのモデルの重みの意味のある値は、トレーニングプロセスを通して学習される。これらの重みは、完全にランダムに初期化される。
【0045】
トレーニングプロセスでは、アンクリーンなメッシュ／点群とクリーンなメッシュ／点群との対のセットであるトレーニングデータを使用する。このデータは、モデルの作成前に利用可能であると仮定される。
【0046】
モデルは２つの主要部分を有し、一方はジェネレータであり、他方はディスクリミネータである。ジェネレータは、メッシュ／点群を取り込み、別のメッシュ／点群を生成し、この生成されたメッシュ／点群は、いくつかの所望の幾何学的特徴を有する。ディスクリミネータは、生成されたメッシュ／点群を受け取り、それにスコアを与える。ディスクリミネータはまた、対応するグラウンドトゥルースのクリーンなメッシュ／点群を与えられ、別のスコアを与える。敵対的損失は、これら２つのスコア間の相違を符号化する。
【0047】
全損失関数は、他の成分も含むことができる。ルールベースの問題固有制約を実施するために、いくつかの成分を導入することができる。
【0048】
本方法は、トレーニングデータセットからランダムに選択されたバッチをモデルに渡し、損失関数を計算する。本方法は、計算された損失関数から勾配を推測し、モデルの重みを更新する。モデルのトレーニング中に、ジェネレータは全域関数を最小化するように更新され、ディスクリミネータは全域関数を最大化するように更新される。このプロセスは、所定の反復回数にわたって、又は特定の客観的基準が満たされるまで繰り返される。
【0049】
ｂ．モデルの検証：トレーニングと並行して、オーバーフィッティングなどのトレーニングに伴う潜在的な問題を監視するために、モデルが常に検証されることが一般的である。
【0050】
本方法は、トレーニングの開始時に利用可能な検証セットが存在すると仮定する。このデータセットは、対にされたアンクリーンなメッシュ／点群及びクリーンなメッシュ／点群のセットであるという点で、トレーニングデータセットに類似している。
【0051】
設定された回数のトレーニングを反復した後、本方法は、検証セットをモデルに通し、損失関数値を計算する。この値は、モデルが見えないデータに対していかに良好に一般化するかの尺度として役立つ。検証損失値は、トレーニングプロセスを停止するための基準として使用することができる。
【0052】
ｃ．モデルのテスト：モデルのテストは、典型的には、関連するグラウンドトゥルースのクリーンなメッシュ／点群を有さない、見えないデータ点に対して行われる。これは展開において行われる。
【0053】
Ｄ．歯科修復の検証
これらの方法は、歯科修復装具を作成する際に使用するための構成要素の検証状態を判定する。これらの方法は、修復装具生産パイプラインの自動化を促進することができる。少なくとも２つの実施形態があり、すなわち、１）ＧｒａｐｈＣＮＮを使用して３Ｄメッシュ構成要素にクラスラベル（すなわち合格又は不合格）を適用する実施形態、及び、２）ＣＮＮを使用して、３Ｄメッシュ構成要素の１つ以上のビューを表す１つ以上の２Ｄラスタ画像のセットにクラスラベル（すなわち合格又は不合格）を適用する実施形態、である。
これらの方法は、歯科修復装具を作成する際に使用するための構成要素の検証状態を判定する。これらの方法は、修復装具生産パイプラインの自動化を促進することができる。少なくとも２つの実施形態があり、すなわち、１）ＧｒａｐｈＣＮＮを使用して３Ｄメッシュ構成要素にクラスラベル（すなわち合格又は不合格）を適用する実施形態、及び、２）ＣＮＮを使用して、３Ｄメッシュ構成要素の１つ以上のビューを表す１つ以上の２Ｄラスタ画像のセットにクラスラベル（すなわち合格又は不合格）を適用する実施形態、である。
【0054】
各実施形態は、ニューラルネットワーク（ＮＮ）を使用して、歯科修復装具で使用される構成要素の表現の２つ以上の状態を区別し、オプションとして、その構成要素が、装具を構築する際に使用するのに許容可能であるかどうかを判定することを目的とする。
【0055】
これらの実施形態では、完成した歯科修復装具に対して品質保証（ＱＡ）を行うことができる。いくつかの生産パイプラインでは、有資格者が、完成した装具を検査し、合格／不合格判定を行わなければならない。これらの実施形態は、修復装具を検証するプロセスを自動化し、残っている最大の「隠れた工場」の１つの労力を排除し、例えば多くの場合、１日～２日のパイプラインプロセスをわずか半時間程度に低減することができる。
【0056】
これらの実施形態は、歯科修復装具の構成要素及び／又は完成した歯科修復装具を検証することができる。そのようなＱＡプロセスのためにこれらの実施形態を使用する利点として、ＮＮは、生成された構成要素及び配置された構成要素の品質を、手動検査によって可能であるよりも迅速かつ効率的に評価することができ、ＱＡプロセスを、数人の専門家をはるかに超える規模で行うことが可能になる。さらなる利点として、例えば人間が見逃すであろう微妙な異常をＮＮが認識する場合、ＮＮは、手動検査によって可能であるよりも、構成要素の形状又は配置の品質のより正確な判定を生成することができる。さらに別の利点として、ＮＮを使用し、そのＮＮの結果を調べることで、人間のオペレータが装具構成要素の適切な設計を認識するように訓練されるのを支援することができる。このようにして、知識を新しい人間の専門家に伝えることができる。
【0057】
さらなる用途において、これらの実施形態は、構成要素を生成及び／又は配置するコードのための広範な自動回帰テストフレームワークの作成をサポートする。このさらなる用途の利点は、包括的な回帰テストが可能になることである。これらの実施形態は、回帰テストフレームワークが、何十もの処理されたケースの出力を自動的に検証することを可能にし、開発者がテストの実行を選択するたびに検証を行うことができる。
【0058】
実施形態１－３Ｄデータの使用
これらの実施形態は、例えば、グラフＣＮＮ（ＧＣＮＮ）を実装するためのオープンソースツールキットＭｅｓｈＣＮＮを部分的に使用して実装することができる。ＭｅｓｈＣＮＮは、メッシュを入力してそのメッシュにクラスラベルを割り当てるサンプルプログラムを有する。サンプルプログラムは、可能なクラスの長いリストを有する。ＭｅｓｈＣＮＮに付随するサンプルプログラムは、適切なラベルを割り当てるために、これらの３Ｄメッシュを分類することができる。ＭｅｓｈＣＮＮは、歯科修復装具の作成において使用される構成要素（すなわち金型分割面）の２つ以上の状態（例えば合格／不合格）を区別するように適合される。
これらの実施形態は、例えば、グラフＣＮＮ（ＧＣＮＮ）を実装するためのオープンソースツールキットＭｅｓｈＣＮＮを部分的に使用して実装することができる。ＭｅｓｈＣＮＮは、メッシュを入力してそのメッシュにクラスラベルを割り当てるサンプルプログラムを有する。サンプルプログラムは、可能なクラスの長いリストを有する。ＭｅｓｈＣＮＮに付随するサンプルプログラムは、適切なラベルを割り当てるために、これらの３Ｄメッシュを分類することができる。ＭｅｓｈＣＮＮは、歯科修復装具の作成において使用される構成要素（すなわち金型分割面）の２つ以上の状態（例えば合格／不合格）を区別するように適合される。
【0059】
実施形態２－２Ｄラスタ画像の使用
この実装は、ＧＣＮＮがＣＮＮに置き換えられることを除いて、実施形態１の実装に類似する。ＣＮＮは、２Ｄラスタ画像を分類するようにトレーニングされる。所与の構成要素について、ＣＮＮは、単独で、又は最終的な装具設計において表される他の特徴と併せて、又はそれらの組み合わせにおいて、構成要素（例えば分割面）の３Ｄジオメトリの異なるビューのセットのそれぞれを、単独で、入力された歯科構造に関連して、又はその両方で、認識するようにトレーニングされる。これらの２Ｄラスタ画像は、例えば、市販のＣＡＤツールであるＧｅｏｍａｇｉｃ Ｗｒａｐ、又はＢｌｅｎｄｅｒなどのオープンソースソフトウェアツールを用いて生成される。
この実装は、ＧＣＮＮがＣＮＮに置き換えられることを除いて、実施形態１の実装に類似する。ＣＮＮは、２Ｄラスタ画像を分類するようにトレーニングされる。所与の構成要素について、ＣＮＮは、単独で、又は最終的な装具設計において表される他の特徴と併せて、又はそれらの組み合わせにおいて、構成要素（例えば分割面）の３Ｄジオメトリの異なるビューのセットのそれぞれを、単独で、入力された歯科構造に関連して、又はその両方で、認識するようにトレーニングされる。これらの２Ｄラスタ画像は、例えば、市販のＣＡＤツールであるＧｅｏｍａｇｉｃ Ｗｒａｐ、又はＢｌｅｎｄｅｒなどのオープンソースソフトウェアツールを用いて生成される。
【0060】
用途１－回帰テスト
コンセプトの実証として、ＭｅｓｈＣＮＮを使用して、「合格」の金型分割面の例と「不合格」の金型分割面の例とを区別するようにＮＮをトレーニングした。「合格」及び「不合格」は、専門家によって判定され得る主観的なラベルであり、異なる専門家の間で変化し得る。このタイプのラベルは、例えば、犬のＩｍａｇｅＮｅｔ画像に対する「犬」というラベルとは対照的である。「犬」のラベルは客観的なものであり、専門家の意見を含まない。
コンセプトの実証として、ＭｅｓｈＣＮＮを使用して、「合格」の金型分割面の例と「不合格」の金型分割面の例とを区別するようにＮＮをトレーニングした。「合格」及び「不合格」は、専門家によって判定され得る主観的なラベルであり、異なる専門家の間で変化し得る。このタイプのラベルは、例えば、犬のＩｍａｇｅＮｅｔ画像に対する「犬」というラベルとは対照的である。「犬」のラベルは客観的なものであり、専門家の意見を含まない。
【0061】
これらの実施形態のＮＮは、歯科修復装具の生産に使用される部品の生産を自動化するコードの品質をテストするための回帰テストシステムに組み込むことができる。一般に、回帰テストは、コード又は入力に対する最近の変更がシステムの出力に悪影響を及ぼしたかどうかを判定するために使用される。この場合、自動化コードの数行を変更し、それらの変更が一連のテストケースの出力に悪影響を及ぼしたかどうかを迅速に判定することができる必要がある。数十のテストケースが存在し得る。数十のテストケースの出力を手動で検査することができるが、技術者又は他の人がすべてのテストケースの出力を手動で検査するのに必要な時間に関して多大なコストがかかる。本実施形態の利点は、このプロセスを合理化することである。たとえ３６のテストケースのうちの１つがコード変更後に許容可能な結果を生成できない場合であっても、この実施形態からのＮＮは、そのエラーを検出するように設計される。
【0062】
用途２－修復物生産パイプライン
さらなる用途として、ＮＮを、回帰テストの外で使用することができ、生産におけるＱＡステップとして適用することができる。現在、歯科装具の作成に関連する３Ｄデータを有資格者が手作業で検査しなければならない。これらのデータが検証されなければならない製造プロセスのいくつかの段階がある。
さらなる用途として、ＮＮを、回帰テストの外で使用することができ、生産におけるＱＡステップとして適用することができる。現在、歯科装具の作成に関連する３Ｄデータを有資格者が手作業で検査しなければならない。これらのデータが検証されなければならない製造プロセスのいくつかの段階がある。
【0063】
一実施形態では、ＮＮを使用して、修復装具の重要な構成要素である「金型分割面」の正確さを検証する。分割面が正確に形成されることが重要である。この新しいＮＮは、歯ごとに分割面を検査し、分割面が各歯を二分している様子を観察する。
【0064】
構成要素の生成及び配置
これらの実施形態は、自動化コードの出力に対して動作する。自動化コードは、「Ａｕｔｏｍａｔｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｔｏｏｔｈ Ｒｅｓｔｏｒａｔｉｏｎ Ｄｅｎｔａｌ Ａｐｐｌｉａｎｃｅｓ」と題されたＰＣＴ特許出願第ＰＣＴ／ＩＢ２０２０／０５４７７８号、及び「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ－Ｂａｓｅｄ Ｇｅｎｅｒａｔｉｏｎ ａｎｄ Ｐｌａｃｅｍｅｎｔ ｏｆ Ｔｏｏｔｈ Ｒｅｓｔｏｒａｔｉｏｎ Ｄｅｎｔａｌ Ａｐｐｌｉａｎｃｅｓ」と題された米国特許仮出願第６３／０３０１４４号の内容の一部又はすべてを具現化することができる。これらの出力のいくつかは、生成される構成要素である。生成される構成要素のリスト（すべてを網羅するものではない）としては、金型分割面、歯肉トリム面、顔リボン（facial ribbons）、切歯隆線（incisal ridges）、舌棚、補剛リブ、「ドア及び窓」、正中離開マトリックス（diastema matrices）が挙げられる。これらの出力の他のものは、配置される構成要素（例えば、患者の歯の幾何学形状に対して特定の方法で位置合わせするために平行移動及び／又は回転させなければならない既成ライブラリ部品）である。配置される構成要素のリスト（すべてを網羅するものではない）としては、切歯位置合わせ特徴、通気孔、後部スナップクランプ、ドアヒンジ、及びドアスナップが挙げられる。技術者は、自動化出力を検査して、生成された構成要素が適切に形成されていること、及び配置されたライブラリ構成要素が適切に位置決めされていることを確認しなければならない。本実施形態からのＮＮを使用して、構成要素が適切に形成又は配置されているかどうかを判定することができる。利点は、技術者の時間を節約し、技術者が見落とす可能性がある構成要素の形状又は配置の誤りを発見することによって、より高品質の歯科修復装具を製造できる可能性があることである。金型分割面など、特に重要な特定の構成要素が存在する。金型分割面は、装具のその後の形成のための多くの基礎を形成する。金型分割面に誤差がある場合、誤差を発見すること、及び装具作成プロセスにおいて誤差を早期に発見することには大きな価値がある。
これらの実施形態は、自動化コードの出力に対して動作する。自動化コードは、「Ａｕｔｏｍａｔｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｔｏｏｔｈ Ｒｅｓｔｏｒａｔｉｏｎ Ｄｅｎｔａｌ Ａｐｐｌｉａｎｃｅｓ」と題されたＰＣＴ特許出願第ＰＣＴ／ＩＢ２０２０／０５４７７８号、及び「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ－Ｂａｓｅｄ Ｇｅｎｅｒａｔｉｏｎ ａｎｄ Ｐｌａｃｅｍｅｎｔ ｏｆ Ｔｏｏｔｈ Ｒｅｓｔｏｒａｔｉｏｎ Ｄｅｎｔａｌ Ａｐｐｌｉａｎｃｅｓ」と題された米国特許仮出願第６３／０３０１４４号の内容の一部又はすべてを具現化することができる。これらの出力のいくつかは、生成される構成要素である。生成される構成要素のリスト（すべてを網羅するものではない）としては、金型分割面、歯肉トリム面、顔リボン（facial ribbons）、切歯隆線（incisal ridges）、舌棚、補剛リブ、「ドア及び窓」、正中離開マトリックス（diastema matrices）が挙げられる。これらの出力の他のものは、配置される構成要素（例えば、患者の歯の幾何学形状に対して特定の方法で位置合わせするために平行移動及び／又は回転させなければならない既成ライブラリ部品）である。配置される構成要素のリスト（すべてを網羅するものではない）としては、切歯位置合わせ特徴、通気孔、後部スナップクランプ、ドアヒンジ、及びドアスナップが挙げられる。技術者は、自動化出力を検査して、生成された構成要素が適切に形成されていること、及び配置されたライブラリ構成要素が適切に位置決めされていることを確認しなければならない。本実施形態からのＮＮを使用して、構成要素が適切に形成又は配置されているかどうかを判定することができる。利点は、技術者の時間を節約し、技術者が見落とす可能性がある構成要素の形状又は配置の誤りを発見することによって、より高品質の歯科修復装具を製造できる可能性があることである。金型分割面など、特に重要な特定の構成要素が存在する。金型分割面は、装具のその後の形成のための多くの基礎を形成する。金型分割面に誤差がある場合、誤差を発見すること、及び装具作成プロセスにおいて誤差を早期に発見することには大きな価値がある。
【0065】
両方の実施形態のための機械学習
機械学習システムは、動作の２つの段階、すなわち１）トレーニング、及び２）検証／運用を有する。実施形態におけるＮＮは、良好なジオメトリの例及び不良なジオメトリの例でトレーニングされなければならない。本発明者らの最初のコンセプト実証では、３Ｄジオメトリに金型分割面を使用した。図９は、「合格」の分割面の例を示す。図１０は、「不合格」の分割面の例を示す。「不合格」の分割面は、エラーを導入するために自動化コードを意図的かつ一時的に修正することによって生成した。
機械学習システムは、動作の２つの段階、すなわち１）トレーニング、及び２）検証／運用を有する。実施形態におけるＮＮは、良好なジオメトリの例及び不良なジオメトリの例でトレーニングされなければならない。本発明者らの最初のコンセプト実証では、３Ｄジオメトリに金型分割面を使用した。図９は、「合格」の分割面の例を示す。図１０は、「不合格」の分割面の例を示す。「不合格」の分割面は、エラーを導入するために自動化コードを意図的かつ一時的に修正することによって生成した。
【0066】
実施形態１のトレーニング及びホールドアウト検証
ＭｅｓｈＣＮＮコードを、歯科修復装具の構成要素部分のこの特定のデータセット上で（修正なしで）実行し、「合格」部分と「不合格」部分とを区別するようにトレーニングした。トレーニングデータセットは、１４例の「合格」分割面及び１４例の「不合格」分割面を含んでいた。「不合格」例の各々は、「合格」例のうちの１つの破損したインスタンスである（すなわち、生成される分割面が破損するようにコードを変更した）。テストデータセットは、６つの「不合格」例及び７つの「合格」例を含んでいた。２０エポックにわたりＮＮをトレーニングし、ホールドアウト検証セットにおいて１００％の精度を達成した。１つのエポックは、各例を１回繰り返すことを含む。この概念実証を実装する目的のために、ＮＮによって必要とされるＲＡＭを節約し、ＮＮを通常のラップトップ上で動作させることができるように、生産分割面よりも少ない数の三角形を用いて分割面を生成した。
ＭｅｓｈＣＮＮコードを、歯科修復装具の構成要素部分のこの特定のデータセット上で（修正なしで）実行し、「合格」部分と「不合格」部分とを区別するようにトレーニングした。トレーニングデータセットは、１４例の「合格」分割面及び１４例の「不合格」分割面を含んでいた。「不合格」例の各々は、「合格」例のうちの１つの破損したインスタンスである（すなわち、生成される分割面が破損するようにコードを変更した）。テストデータセットは、６つの「不合格」例及び７つの「合格」例を含んでいた。２０エポックにわたりＮＮをトレーニングし、ホールドアウト検証セットにおいて１００％の精度を達成した。１つのエポックは、各例を１回繰り返すことを含む。この概念実証を実装する目的のために、ＮＮによって必要とされるＲＡＭを節約し、ＮＮを通常のラップトップ上で動作させることができるように、生産分割面よりも少ない数の三角形を用いて分割面を生成した。
【0067】
次に、機械学習モデルをトレーニングする際に一般的であるように、ホールドアウト検証データセット、すなわちトレーニングプロセスに関与しなかったデータサンプルでＮＮをテストした。１８個の「合格」サンプル（すなわち良好な分割面）を準備し、１８個の「不合格」サンプル（すなわち不良な分割面）を準備した。ＮＮは、これらのホールドアウト検証データサンプルを１００％正しく分類した。
【0068】
実施形態１の図
図１１は、実施形態１の要素を示しており、合格の金型分割面と不合格の金型分割面とを区別するために、グラフＣＮＮ（ＧＣＮＮ）（５６）を使用して、合格／不合格ラベル（５８）を３Ｄメッシュ（６０）に直接適用する。
図１１は、実施形態１の要素を示しており、合格の金型分割面と不合格の金型分割面とを区別するために、グラフＣＮＮ（ＧＣＮＮ）（５６）を使用して、合格／不合格ラベル（５８）を３Ｄメッシュ（６０）に直接適用する。
【0069】
図１２は、実施形態１を使用して、回帰テスト及びコード開発のコンテキストにおけるトレーニングされたＧＣＮＮの運用を説明するフローチャートである。コードテストのコンテキストでは、フルサイズのメッシュとダウンスケールされたメッシュの両方が許容される。これらのメッシュは、装具を作成するために生産システムによって必要とされるよりも少ない三角形を使用して生成することができる（例えば１０分の１の数の三角形を用いて構成要素を生成することができる）。図１２のフローチャートは、本明細書でさらに説明されるように、以下の方法を提供する。
【0070】
１．入力：３Ｄメッシュ（６２）及び自動化パラメータ（６４）。
ａ．影響を受けたコードを実行する（６８）。
ｂ．３Ｄメッシュ（７０）。
２．入力：ＮＮパラメータ（６６）。
ａ．グラフＣＮＮ（７２）。
ｂ．分割面（７４）のクラスラベル。
３．出力：ラベル＝＝「不合格」の場合、出力は「失敗」である。それ以外の場合、「合格」を出力する（７６）。
ａ．影響を受けたコードを実行する（６８）。
ｂ．３Ｄメッシュ（７０）。
２．入力：ＮＮパラメータ（６６）。
ａ．グラフＣＮＮ（７２）。
ｂ．分割面（７４）のクラスラベル。
３．出力：ラベル＝＝「不合格」の場合、出力は「失敗」である。それ以外の場合、「合格」を出力する（７６）。
【0071】
図１３は、実施形態１を使用する、生産製造システムのコンテキストにおけるトレーニングされたＧＣＮＮの運用を説明するフローチャートであり、構成要素を使用して歯科修復装具を作製するため前に、構成要素の適合性を最初に評価しなければならない。この後者の用途では、構成要素はフルサイズでなければならない（すなわちメッシュは三角形を全数含まなければならない）。図１３のフローチャートは、本明細書でさらに説明されるように、以下の方法を提供する。
【0072】
１．入力：３Ｄメッシュ（７８）及び自動化パラメータ（８０）。
ａ．ランドマークベースの自動化を実行する（８４）。
ｂ．３Ｄメッシュ（８６）。
２．入力：ＮＮパラメータ（８２）。
ａ．グラフＣＮＮ（８８）。
ｂ．分割面のクラスラベル（９０）。
３．出力：ラベル＝＝「合格」である場合、テストは合格する。それ以外の場合、テストは失敗する（９２）。
ａ．ランドマークベースの自動化を実行する（８４）。
ｂ．３Ｄメッシュ（８６）。
２．入力：ＮＮパラメータ（８２）。
ａ．グラフＣＮＮ（８８）。
ｂ．分割面のクラスラベル（９０）。
３．出力：ラベル＝＝「合格」である場合、テストは合格する。それ以外の場合、テストは失敗する（９２）。
【0073】
実施形態２の図
図１４は、実施形態２の要素を示しており、ＣＮＮ（９４）を使用して、様々なビュー（１００）から得られた３Ｄメッシュの２Ｄラスタ画像（９８）のセットを分析することによってメッシュに合格／不合格ラベル（９６）を適用して、合格の金型分割面と不合格の金型分割面とを区別する。
図１４は、実施形態２の要素を示しており、ＣＮＮ（９４）を使用して、様々なビュー（１００）から得られた３Ｄメッシュの２Ｄラスタ画像（９８）のセットを分析することによってメッシュに合格／不合格ラベル（９６）を適用して、合格の金型分割面と不合格の金型分割面とを区別する。
【0074】
図１５は、実施形態２を使用する、回帰テストシステムのコンテキストにおけるトレーニングされたＣＮＮの運用を説明するフローチャートである。図１５のフローチャートは、本明細書でさらに説明されるように、以下の方法を提供する。
【0075】
１．入力：３Ｄメッシュ（１０２）及び自動化パラメータ（１０４）。
ａ．影響を受けたコードを実行する（１０８）。
ｂ．３Ｄメッシュ（１１０）。
ｃ．３Ｄメッシュの２Ｄラスタ画像（メッシュのいくつかのビューの各々から１つの画像）を生成するスクリプト（１１２）。
ｄ．２Ｄラスタ画像（１１４）。
２．入力：ＮＮパラメータ（１０６）。
ａ．ＣＮＮ（１１６）。
ｂ．クラスラベル（１１８）。
ｃ．各画像について「合格」又は「不合格」の結果を累積する（１２０）。
３．出力：いずれかの画像に対してラベル＝＝「不合格」である場合、「失敗」を出力する。それ以外の場合、「合格」を出力する（１２２）。
ａ．影響を受けたコードを実行する（１０８）。
ｂ．３Ｄメッシュ（１１０）。
ｃ．３Ｄメッシュの２Ｄラスタ画像（メッシュのいくつかのビューの各々から１つの画像）を生成するスクリプト（１１２）。
ｄ．２Ｄラスタ画像（１１４）。
２．入力：ＮＮパラメータ（１０６）。
ａ．ＣＮＮ（１１６）。
ｂ．クラスラベル（１１８）。
ｃ．各画像について「合格」又は「不合格」の結果を累積する（１２０）。
３．出力：いずれかの画像に対してラベル＝＝「不合格」である場合、「失敗」を出力する。それ以外の場合、「合格」を出力する（１２２）。
【0076】
図１６は、実施形態２を使用する、生産製造システムのコンテキストにおけるトレーニングされたＣＮＮの運用を説明するフローチャートであり、構成要素を使用して歯科修復装具を作製する前に、構成要素の適合性を最初に評価しなければならない。図１６のフローチャートは、本明細書でさらに説明されるように、以下の方法を提供する。
【0077】
１．入力：３Ｄメッシュ（１２４）及び自動化パラメータ（１２６）。
ａ．ランドマークベースの自動化を実行する（１３０）。
ｂ．３Ｄメッシュ（１３２）。
ｃ．３Ｄメッシュの２Ｄラスタ画像（メッシュのいくつかのビューの各々から１つの画像）を生成するスクリプト（１３４）。
ｄ．２Ｄラスタ画像（１３６）。
２．入力：ＮＮパラメータ（１２８）。
ａ．ＣＮＮ（１３８）。
ｂ．クラスラベル（１４０）。
３．出力：すべての２Ｄラスタ画像についてラベル＝＝「合格」である場合、テストは合格である。それ以外の場合、テストは失敗する（１４２）。
ａ．ランドマークベースの自動化を実行する（１３０）。
ｂ．３Ｄメッシュ（１３２）。
ｃ．３Ｄメッシュの２Ｄラスタ画像（メッシュのいくつかのビューの各々から１つの画像）を生成するスクリプト（１３４）。
ｄ．２Ｄラスタ画像（１３６）。
２．入力：ＮＮパラメータ（１２８）。
ａ．ＣＮＮ（１３８）。
ｂ．クラスラベル（１４０）。
３．出力：すべての２Ｄラスタ画像についてラベル＝＝「合格」である場合、テストは合格である。それ以外の場合、テストは失敗する（１４２）。
【0078】
図１７は、中央クリップが配置された歯列弓の合格（左）２Ｄ画像及び不合格（右）２Ｄ画像を示しており、中央クリップは、左画像では正しく配置されており、右画像では正しく配置されていない。
【0079】
検証
この実施形態は、本明細書に記載されている他の実施形態の拡張である。この実施形態では、上述した４つの項目に加えて、さらに別の項目を追加する。この実施形態では、ＮＮを使用して、歯科修復装具において使用される構成要素の表現の２つ以上の状態を、その構成要素が装具の構築に使用するのに許容可能であるかどうかを判定する目的で区別し、構成要素が許容可能ではないと判明した場合、ＮＮは、いくつかの実施形態では、構成要素の幾何学形状を補正するために構成要素をどのように修正するべきかの指示を出力することができる。
この実施形態は、本明細書に記載されている他の実施形態の拡張である。この実施形態では、上述した４つの項目に加えて、さらに別の項目を追加する。この実施形態では、ＮＮを使用して、歯科修復装具において使用される構成要素の表現の２つ以上の状態を、その構成要素が装具の構築に使用するのに許容可能であるかどうかを判定する目的で区別し、構成要素が許容可能ではないと判明した場合、ＮＮは、いくつかの実施形態では、構成要素の幾何学形状を補正するために構成要素をどのように修正するべきかの指示を出力することができる。
【0080】
「３Ｄメッシュ構成要素」という用語は、上述のものから生成された構成要素、上述のものから配置された構成要素、又はラピッドプロトタイピング、３Ｄ印刷、若しくはステレオリソグラフィシステムとともに使用するように意図された別の３Ｄメッシュを示すために使用される。構成要素は、ブール演算によって最終部分に統合されるポジティブ特徴又はネガティブ特徴のいずれかとすることができる。この実施形態は、コンテキストフィードバックを自動特徴生成に提供するのに役立ち、構成要素を作成するための１つのアルゴリズム又はルールセットと、その構成要素の品質をチェックするための１つのＮＮ分類とが存在し得る。２つの構成要素の間の関係は、許容可能な結果（作成／生成＞分類＞再生成＞分類＞．．．＞最終設計）を保証するための再帰的な「推測及びチェック」メカニズムを含む。
【0081】
この実施形態は、デジタル歯科学及び歯科装具の自動生産のコンテキストにおける３Ｄメッシュ構成要素を含む。例としては、修復装具、クリアトレイアライナ、ブラケット結合トレイ、舌側ブラケット、修復構成要素（例えばクラウン、義歯）、患者固有のカスタムデバイスなどが挙げられる。歯科医又は提供者は、この実施形態を、提供者が歯科医院で作成したデジタル設計に適用することができる。他の実施形態も可能であり、例えば、設計の自動化がこの実施形態から恩恵を受け得る任意の用途であり、３Ｄ印刷のための支持構造の自動設計及び部品固定のための固定具の自動設計を含む。加えて、３Ｄ印刷ラボでは、この実施形態をプロトタイプ部品に適用することができ、部品は３Ｄメッシュとして具現化される。製造環境では、３Ｄ印刷されるカスタム構成要素にこの実施形態を適用することができ、この場合、ＮＮの入力は、構成要素の写真、又は物理的部品をスキャンすることによって生成されるメッシュのスクリーンキャプチャから導出される。これにより製造業者は、一般的な３Ｄ解析ソフトウェアを使用することなく出力部品の品質を確認することが可能となり、出力部品の品質を確認するために人間の専門家によって必要とされる労力を低減又は排除することができる。この実施形態は、ユーザとソフトウェアとの対話によって適用することができ、又はこの実施形態は、ユーザの直接的な介入なしにプロセスに入力を提供するスマートシステムのバックグラウンド動作の一部とすることができる。
【0082】
この実施形態は、一般に、３Ｄメッシュに関する問題の検出及びそれらの問題の自動補正に有用である。
【0083】
図１８は、この実施形態の要素を提供する。３Ｄメッシュ構成要素が作成される（１４４）。検証ニューラルネットワークは、（様々な視野方向から生成された）３Ｄメッシュ構成要素の２Ｄラスタ画像を検査し、３Ｄメッシュ構成要素が合格するかどうかを判定する（１４６）。検証ニューラルネットワークが合格判定を示す場合、３Ｄメッシュ構成要素は、意図された用途における使用のためにクリアされる（例えば、金型分割面は、修復装具における使用のためにクリアされる）（１４８）。検証ニューラルネットワークが、３Ｄメッシュ構成要素が合格しないと判定した場合、検証ニューラルネットワークは、いくつかの実施形態では、３Ｄメッシュ構成要素をどのように変更するかの指示を出力することができる（１５０）。
【0084】
３Ｄメッシュ構成要素は、以下を通じて作成され、すなわち、本明細書で説明される自動生成、本明細書で説明される自動配置、専門家による手動生成、専門家による手動配置、又はいくつかの他の手段、例えば、ラピッドプロトタイピングラボにおけるＣＡＤツールの使用又は別の設定の使用、を通じて作成される。
【0085】
その３Ｄメッシュ構成要素は、（例えば本明細書で説明される種類の）検証ニューラルネットワークに入力される。検証ニューラルネットワークは、３Ｄメッシュ構成要素の品質に関する結果、すなわち合格又は不合格のいずれかを示す。結果が合格である場合、３Ｄメッシュ構成要素は、その意図された目的のために使用されるように（例えば歯科装具に組み込まれるように）送られる。結果が不合格である場合、検証ニューラルネットワークは、いくつかの実施形態では、３Ｄメッシュ構成要素を期待されたものに近づけるために、３Ｄメッシュ構成要素をどのように修正するかの指示を出力することができる。
【0086】
以下に説明する実施形態では、金型分割面は、歯列弓内の各歯の近傍で検査される。金型分割面がその歯と正しく交差しない場合、本実施形態は、金型分割面が歯の外側咬頭又は切端をよりきれいに二分するようにするために、金型分割面を舌側又は顔側のいずれかに移動させるべきであるという指示を出力する。金型分割面は、各歯の顔側部分と舌側部分とを分割するように意図されており、これは、金型分割面が歯の外側咬頭頂に沿って延びるべきであることを意味する。金型分割面が舌側方向に行き過ぎた位置で、又は顔側方向に行き過ぎた位置で切断している場合、金型分割面は、各歯の顔側部分と舌側部分とを適切に分割しない。その結果、金型分割面は、その歯の近傍において調整を必要とする。金型分割面を自動的に生成するソフトウェアは、その歯の近くの金型分割面の顔側／舌側の位置決めをずらすように動作可能なパラメータを有する。この実施形態では、金型分割面が各歯をよりきれいに二分するように、適切な方向にこれらのパラメータ値を段階的に変化させる。
【0087】
この実施形態では、いくつかの歯の近傍の金型分割面に変更を要求することができるが（すなわち金型分割面が歯を正確に二分しなかった場合）、他の歯の近傍の金型分割面に変更を要求することはできない（すなわち金型分割面が歯を正確に又はよりきれいに二分した場合）。
【0088】
この実施形態では、２つの検証ニューラルネットワークが存在し、１つは舌側バイアスＮＮと呼ばれ、１つは顔側バイアスＮＮと呼ばれる。これらのニューラルネットワークの両方は、歯の３Ｄジオメトリのビューの２Ｄラスタ画像でトレーニングされ、歯の３Ｄジオメトリは、金型分割面に関連して視覚化される（このセクションにおける上記の説明を参照）。金型分割面は、先に定義したように、３Ｄメッシュ構成要素の一例である。
【0089】
金型分割面に関連する歯の２Ｄラスタ画像を作成するためのオプションは、以下を含む。
１．金型分割面は、３Ｄメッシュとして、同様にメッシュである歯とともにシーンに描画することができる。
２．金型分割面は、歯と交差してもよく、その結果、歯の幾何学形状に沿ってその交点の輪郭をトレースする線が生じる。
３．金型分割面は、ブール演算の様式で歯と交差してもよく、それによって、歯の一部分（例えば舌側又は顔側のいずれか）がシーンから減算される。残りのジオメトリの２つの面には、明確にするために、例えば青色及び赤色、又は明るい及び暗いシェーディングなど、色又は異なるシェーディングを与えることができる。
４．金型分割面は、歯と交差してもよく、その結果、色分けされた歯のメッシュが得られる。金型分割面の顔側に位置する歯のメッシュの部分には、例えば赤色又は第１のシェーディングが付けられる。金型分割面の舌側に位置する歯のメッシュの部分には、例えば青色又は第１のシェーディングとは異なる第２のシェーディングが付けられる。このオプションは図１９及び図２０に示されている。
５．上記のいずれか又はすべてを組み合わせる。
１．金型分割面は、３Ｄメッシュとして、同様にメッシュである歯とともにシーンに描画することができる。
２．金型分割面は、歯と交差してもよく、その結果、歯の幾何学形状に沿ってその交点の輪郭をトレースする線が生じる。
３．金型分割面は、ブール演算の様式で歯と交差してもよく、それによって、歯の一部分（例えば舌側又は顔側のいずれか）がシーンから減算される。残りのジオメトリの２つの面には、明確にするために、例えば青色及び赤色、又は明るい及び暗いシェーディングなど、色又は異なるシェーディングを与えることができる。
４．金型分割面は、歯と交差してもよく、その結果、色分けされた歯のメッシュが得られる。金型分割面の顔側に位置する歯のメッシュの部分には、例えば赤色又は第１のシェーディングが付けられる。金型分割面の舌側に位置する歯のメッシュの部分には、例えば青色又は第１のシェーディングとは異なる第２のシェーディングが付けられる。このオプションは図１９及び図２０に示されている。
５．上記のいずれか又はすべてを組み合わせる。
【0090】
図１９（左側）は、歯が分割面によって正確に二分された歯の図を示す。図１９（右側）は、歯が分割面によって不正確に二分された（例えば分割面が顔側方向に行き過ぎている）歯の図を示す。図２０は、ネガティブサンプル（左側）が、舌側に過度に侵入した分割面に対応することを除き、図１９と同じ種類のデータサンプルを示す。
【0091】
上記の各々について、任意のビューが考慮される。いくつかの実施形態では、マルチビューパイプラインを使用することで、レンダリングされた画像の任意のカメラ位置及び角度を有する任意の数のビューの使用を可能にすることができる。
【0092】
トレーニング：
舌側バイアスＮＮは、画像の２つのクラス、すなわち、１）金型分割面が正確に形成され、歯を正確に二分するクラス、及び２）金型分割面が不正確に形成され、１つ以上の歯を正確に二分しないクラス、でトレーニングされる。この例では、歯列弓内の各歯のいくつかの任意のビューを反映する画像を作成した。分割面が（上記リストのように）歯と交差するので、これらのビューは、分割面に関連して歯を示すべきである。この場合は、上記のオプション４を使用することができ、分割面が歯と交差しており、歯の上に例えば赤色及び青色の着色又は異なるシェーディングを生成する。
舌側バイアスＮＮは、画像の２つのクラス、すなわち、１）金型分割面が正確に形成され、歯を正確に二分するクラス、及び２）金型分割面が不正確に形成され、１つ以上の歯を正確に二分しないクラス、でトレーニングされる。この例では、歯列弓内の各歯のいくつかの任意のビューを反映する画像を作成した。分割面が（上記リストのように）歯と交差するので、これらのビューは、分割面に関連して歯を示すべきである。この場合は、上記のオプション４を使用することができ、分割面が歯と交差しており、歯の上に例えば赤色及び青色の着色又は異なるシェーディングを生成する。
【0093】
この実施形態では、画像の２つのクラス（すなわち合格の分割面を有する画像と、不合格の分割面を有する画像）を区別するように、舌側バイアスＮＮをトレーニングする。舌側バイアスＮＮが入力分割面に対して不合格結果を示す場合、本方法は、分割面が、舌側に行き過ぎた様式で歯を二分したことを認識する。したがって、本方法は、金型分割面が自動生成ソフトウェア（例えば本明細書で説明されるような自動生成ソフトウェア）によって再加工されるときに、分割面がその歯に対して舌側に行き過ぎており、反対方向にわずかに移動するべきであるという指示を出力する。分割面を自動的に生成するためのコードは、舌側方向又は顔側方向のいずれかに分割面をずらすことができる、各歯に対するパラメータを有する。分割面の次の反復によって、この歯に対して顔側方向に少しずつ移動するように、このパラメータを調整することができる。
【0094】
別の実施形態では、歯の画像に対して機能する回帰ネットワークを使用して、顔側方向における表面の移動量を実質的に推定することができる。回帰ネットワークは、歯の画像が与えられたときに舌領域又は顔領域における「逸脱」を推定するために使用することができる。その逸脱量をパラメータに変換することが実現可能であり得る。フィードバックループにおけるこの変更により、本方法における反復／修正の数が減少する。
【0095】
顔側バイアスＮＮは、舌側バイアスＮＮと同じポジティブクラス画像を用いてトレーニングされるが、ネガティブクラス画像が、歯に沿って顔側方向に行き過ぎた分割面を使用して生成される。顔側バイアスＮＮが不合格判定を示すとき、本方法は、金型分割面が歯に沿って顔側方向に行き過ぎていることを認識しており、金型分割面を舌側方向に少しずつ移動させるように自動生成ソフトウェアに命令しなければならないことを除いて、トレーニングの詳細の残りのすべては実質的に同じである。
【0096】
別の実施形態では、舌側方向又は顔側方向のいずれかにおける逸脱量の異常を取り出すように、ニューラルネットワークをトレーニングすることができる。そのようなＮＮは、その推論において歯列弓のメッシュ／画像の最も顕著な部分であったものを強調表示する能力を有する。
【0097】
いくつかの実施形態では、回帰ネットワークを使用して、顔側での逸脱の量を推定し、それに応じて対応するパラメータを調整することができる。
【0098】
トレーニングされたニューラルネットワークの運用：
各歯が別々に分析される。各歯のいくつかの画像がパイプラインに通され、合格／不合格判定が各画像に対して示される。歯／分割面の組み合わせのいくつかの画像がこのパイプラインを通して示される場合、結果を判定するための異なるオプションが存在する。いくつかの実施形態では、いくつかのビューのうちの少なくとも１つが不合格判定を示す場合、本方法は、その歯の近傍で分割面を調整する必要があるという指示を出力する。別の実施形態では、分析された画像の一部又は大部分が不合格判定を示す場合、本方法は、その歯の近傍で分割面を調整する必要があるという指示を出力する。
各歯が別々に分析される。各歯のいくつかの画像がパイプラインに通され、合格／不合格判定が各画像に対して示される。歯／分割面の組み合わせのいくつかの画像がこのパイプラインを通して示される場合、結果を判定するための異なるオプションが存在する。いくつかの実施形態では、いくつかのビューのうちの少なくとも１つが不合格判定を示す場合、本方法は、その歯の近傍で分割面を調整する必要があるという指示を出力する。別の実施形態では、分析された画像の一部又は大部分が不合格判定を示す場合、本方法は、その歯の近傍で分割面を調整する必要があるという指示を出力する。
【0099】
一実施形態において、検証ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）を含む。ＣＮＮは、様々な異なるネットワーク構成を具現化することができ、中でも特に、異なる数の層、層ごとの異なる数のノード、ドロップアウト層の異なる使用、畳み込み層の異なる使用、高密度層の異なる使用などを有するネットワークを含む。
【0100】
別の実施形態では、検証ニューラルネットワークは、マルチビューＣＮＮ（ＭＶＣＮＮ）アーキテクチャの要素を利用してもよい。要約すると、ネットワークの入力は、３Ｄシーンの任意の数の画像を使用する。すべての画像が、特徴抽出ＣＮＮの共有コピーを通過する。次いで、これらの特徴は、ビュープーリングメカニズムを使用してプールされ、典型的には完全に接続されたネットワークである分類ネットワークに供給される。標準的なＣＮＮとの基本的な違いは、この種のアーキテクチャでは同じシーンの複数のビューを使用できることである。トレーニングは類似する方法で動作するが、１つの変更として、一度に１つの画像及びラベル／値を渡す代わりに、本方法では一度に画像及びラベル／値としてメッシュの複数のビューを渡す。
【0101】
さらに別の実施形態では、検証ＣＮＮ（２Ｄラスタ画像を使用して動作する）を、ＭｅｓｈＧＡＮなどの、３Ｄデータを使用して直接動作するニューラルネットワークに置き換えることができる。別の実施形態では、検証ＣＮＮ（２Ｄラスタ画像を使用して動作する）を、ＧｒａｐｈＣＮＮ（３Ｄデータ上で直接動作する）に置き換えることができる。別の実施形態では、検証ＣＮＮ（２Ｄラスタ画像を使用して動作する）を、ＧｒａｐｈＧＡＮ（３Ｄデータ上で直接動作する）に置き換えることができる。
【0102】
一例では、１）舌側バイアスＮＮ、及び２）顔側バイアスＮＮの両方に、金型分割面に関連する歯の画像を提供する。
１．両方のニューラルネットワークが合格判定を示す場合、金型分割面は、修復歯科装具の生産に使用されるようにクリアされる。
２．舌側バイアスＮＮが不合格判定を示し、顔側バイアスＮＮが合格判定を示す場合、本方法は、金型分割面が舌側方向に行き過ぎているという指示を出力する。金型分割面自動生成ソフトウェアは、金型分割面の次の反復が作成されるときに、歯の近傍において顔側方向に少しずつ金型分割面を調整しなければならない。
３．舌側バイアスＮＮが合格判定を示し、顔側バイアスＮＮが不合格判定を示す場合、本方法は、金型分割面が顔側方向に行き過ぎているという指示を出力する。金型分割面自動生成ソフトウェアは、金型分割面の次の反復が作成されるときに、歯の近傍において舌側方向に少しずつ金型分割面を調整しなければならない。
４．舌側バイアスＮＮ及び顔側バイアスＮＮの両方が不合格判定を示す場合、その結果は人間の意思決定者に提供され、人間の意思決定者は、金型分割面が歯の近傍で調整を必要とするかどうかを決定する。
１．両方のニューラルネットワークが合格判定を示す場合、金型分割面は、修復歯科装具の生産に使用されるようにクリアされる。
２．舌側バイアスＮＮが不合格判定を示し、顔側バイアスＮＮが合格判定を示す場合、本方法は、金型分割面が舌側方向に行き過ぎているという指示を出力する。金型分割面自動生成ソフトウェアは、金型分割面の次の反復が作成されるときに、歯の近傍において顔側方向に少しずつ金型分割面を調整しなければならない。
３．舌側バイアスＮＮが合格判定を示し、顔側バイアスＮＮが不合格判定を示す場合、本方法は、金型分割面が顔側方向に行き過ぎているという指示を出力する。金型分割面自動生成ソフトウェアは、金型分割面の次の反復が作成されるときに、歯の近傍において舌側方向に少しずつ金型分割面を調整しなければならない。
４．舌側バイアスＮＮ及び顔側バイアスＮＮの両方が不合格判定を示す場合、その結果は人間の意思決定者に提供され、人間の意思決定者は、金型分割面が歯の近傍で調整を必要とするかどうかを決定する。
【0103】
本方法は、各歯をループし、金型分割面がその歯に対して正確に位置決めされているかどうか、又は金型分割面が歯の近傍において舌側方向又は顔側方向のいずれかに調整を必要とするかどうかを判定する。
【0104】
別の実施形態では、それぞれが２クラス分類を実行するように動作可能である舌側バイアスＮＮ及び顔側バイアスＮＮを含む対のＮＮを、３クラス分類を実行するように動作可能である単一のＮＮに置き換えてもよい。この３クラス分類ＮＮは、次の３つのクラスからの２Ｄラスタ画像でトレーニングされる。
・クラス０－舌側に行き過ぎるように意図的に修正された金型分割面によって歯が二分されている色分けされた歯のビュー。
・クラス１－正確に形成された金型分割面によって歯が二分されている色分けされた歯のビュー。
・クラス２－顔側に行き過ぎるように意図的に修正された金型分割面によって歯が二分されている色分けされた歯のビュー。
・クラス０－舌側に行き過ぎるように意図的に修正された金型分割面によって歯が二分されている色分けされた歯のビュー。
・クラス１－正確に形成された金型分割面によって歯が二分されている色分けされた歯のビュー。
・クラス２－顔側に行き過ぎるように意図的に修正された金型分割面によって歯が二分されている色分けされた歯のビュー。
【0105】
３クラス分類ＮＮは、３つのクラスラベルのこのセットから予測を示す。
【0106】
別の実施形態では、Ｎクラス分類ＮＮを採用して、装具の構成要素（すなわち金型分割面）のＮ個の別個の状態に対応するＮ個の可能なクラスラベルのうちの１つを、各データサンプルに割り当てることができる。
【0107】
別の実施形態では、２つの別個のＮＮを有するのではなく、顔側及び舌側からの両方のビューを１つのＮＮに組み込むことができる。この場合、グラフィカル畳み込みネットワークは、歯のメッシュ全体を入力とし、その特定の歯に対する「半径方向の」調整量を表す１つの回帰値を出力する。そのようなＮＮへの入力（元の３Ｄシーン）は、厳密には、シーンからレンダリングされた数個の任意にレンダリングされた画像よりも多くの情報を有する。
【0108】
【0109】
１．入力：自動化パラメータ（１５２）及び患者の歯の３Ｄメッシュ（１５４）。
ａ．分割面が自動化プログラムによって生成される（１５６）。
ｂ．分割面を歯列弓全体と交差させ、結果として得られる顔側歯列弓部分を赤色で着色し、舌側歯列弓部分を青色で着色する（又はこれらの部分に対して他の色若しくはシェーディングを付ける）（１５８）。
２．様々な任意の視野角から、色で細分化された歯のＮ個のビューを生成する（１６８）。
ａ．入力：ＮＮパラメータ（１６０）。
ｉ．各ビューについて、舌側バイアスＮＮを実行する（１６２）。
ｂ．入力：ＮＮパラメータ（１６６）。
ｉ．各ビューについて、顔側バイアスＮＮを実行する（１６４）。
３．ビューごとの結果を集約し、Ｔｏｏｔｈ＿ｉの近くの分割面の部分に対する判定を示す（１７０）。
ａ．分割面は、Ｔｏｏｔｈ＿ｉの近傍における変更を必要としない（１７２）。
ｂ．顔側バイアスＮＮが不合格判定を出力し、舌側バイアスＮＮが合格判定を出力した場合、分割面がＴｏｏｔｈ＿ｉの近傍で舌側に移動すべきであることを記録する（１７２）。
ｃ．舌側バイアスＮＮが不合格判定を出力し、顔側バイアスＮＮが合格判定を出力した場合、分割面がＴｏｏｔｈ＿ｉの近傍で顔側に移動すべきであることを記録する（１７２）。
ｄ．両方のニューラルネットワークが不合格判定を出力した場合、Ｔｏｏｔｈ＿ｉの位置で何も行わない、又はフラグを立てて人間のオペレータによって分割面を検査する（１７２）。
４．歯ごとの調整命令を集約する（１７４）。
ａ．フィードバック：集約された調整命令をソフトウェアに送って分割面を自動的に生成し（１７６）、ステップ１．ａ（１５６）に戻る。
ｂ．調整がない場合、完了（１７８）。
ａ．分割面が自動化プログラムによって生成される（１５６）。
ｂ．分割面を歯列弓全体と交差させ、結果として得られる顔側歯列弓部分を赤色で着色し、舌側歯列弓部分を青色で着色する（又はこれらの部分に対して他の色若しくはシェーディングを付ける）（１５８）。
２．様々な任意の視野角から、色で細分化された歯のＮ個のビューを生成する（１６８）。
ａ．入力：ＮＮパラメータ（１６０）。
ｉ．各ビューについて、舌側バイアスＮＮを実行する（１６２）。
ｂ．入力：ＮＮパラメータ（１６６）。
ｉ．各ビューについて、顔側バイアスＮＮを実行する（１６４）。
３．ビューごとの結果を集約し、Ｔｏｏｔｈ＿ｉの近くの分割面の部分に対する判定を示す（１７０）。
ａ．分割面は、Ｔｏｏｔｈ＿ｉの近傍における変更を必要としない（１７２）。
ｂ．顔側バイアスＮＮが不合格判定を出力し、舌側バイアスＮＮが合格判定を出力した場合、分割面がＴｏｏｔｈ＿ｉの近傍で舌側に移動すべきであることを記録する（１７２）。
ｃ．舌側バイアスＮＮが不合格判定を出力し、顔側バイアスＮＮが合格判定を出力した場合、分割面がＴｏｏｔｈ＿ｉの近傍で顔側に移動すべきであることを記録する（１７２）。
ｄ．両方のニューラルネットワークが不合格判定を出力した場合、Ｔｏｏｔｈ＿ｉの位置で何も行わない、又はフラグを立てて人間のオペレータによって分割面を検査する（１７２）。
４．歯ごとの調整命令を集約する（１７４）。
ａ．フィードバック：集約された調整命令をソフトウェアに送って分割面を自動的に生成し（１７６）、ステップ１．ａ（１５６）に戻る。
ｂ．調整がない場合、完了（１７８）。
【0110】
以下は、検証構成要素の２Ｄラスタ画像の実施形態の実装において使用されるニューラルネットワークの一実施形態である。
【表1】
【0111】
一実施形態では、１）正しい装具構成要素の例、及び２）正しくないように系統的に変更された装具構成要素の例、でトレーニングされるニューラルネットワークを使用する。このニューラルネットワークは、異なるビューから得られる構成要素の複数の２Ｄレンダリングを使用して、正しい装具構成要素と正しくない装具構成要素とを区別する。
【0112】
ＮＮは、１）正しい分割面、及び２）舌側に行き過ぎた分割面、を区別するようにトレーニングすることができる。３人の患者のケース、合計５４本の歯について、ＮＮでテストした。このテストでは、５０本の歯が正しいと予測され、４本の歯が正しくないと予測された。
【0113】
【0114】
１．入力：歯のデータ（１８０）。
２．装具構成要素を自動的に生成する（１８２）。
３．装具構成要素に関連する患者の歯の２Ｄビューを生成する（１８４）。
４．ニューラルネットワーク（ＮＮ）が、装具構成要素の２Ｄビューを検証する（１８６）。
ａ．ＮＮが合格を返す場合、構成要素は、装具における使用のためにクリアされる。
ｂ．ＮＮが不合格を返す場合、いくつかの実施形態では、構成要素設計の次の反復を精緻化するために、フィードバックを修復自動化コードに送ることができる。
５．出力：修復装具で使用できる状態の構成要素（１８８）。
２．装具構成要素を自動的に生成する（１８２）。
３．装具構成要素に関連する患者の歯の２Ｄビューを生成する（１８４）。
４．ニューラルネットワーク（ＮＮ）が、装具構成要素の２Ｄビューを検証する（１８６）。
ａ．ＮＮが合格を返す場合、構成要素は、装具における使用のためにクリアされる。
ｂ．ＮＮが不合格を返す場合、いくつかの実施形態では、構成要素設計の次の反復を精緻化するために、フィードバックを修復自動化コードに送ることができる。
５．出力：修復装具で使用できる状態の構成要素（１８８）。
【0115】
この方法では、ニューラルネットワークは、金型分割面の正確さを検証するようにトレーニングされる。この実施形態は２クラス分類を反映しており、ニューラルネットワークは２つのクラスのデータでトレーニングされた。すなわち分割面は以下のいずれかである。
クラス０：舌側に行き過ぎて位置決めされている、
又は
クラス１：正しい（舌側にも顔側にも行き過ぎていない）。
クラス０：舌側に行き過ぎて位置決めされている、
又は
クラス１：正しい（舌側にも顔側にも行き過ぎていない）。
【0116】
図２４の図は、分割面によって二分された左上の側切歯（歯１０）の３０個のビューを示している。このテストケースでは、舌側方向に０．５ｍｍ行き過ぎているように修正された分割面によって歯を二分した。他のテストケースは、舌側方向に１．０ｍｍ行き過ぎているように修正された分割面を中心に設計されている。さらに他のテストケースは、歯を正確に二分する（すなわち舌側方向に行き過ぎず、顔側方向にも行き過ぎない）分割面を中心に設計されている。
【0117】
二分された歯の３０個のビュー（図２４）の各々をニューラルネットワークに通した。ニューラルネットワークは、各ビューについて予測を行い、そのビューに示される分割面が、次のいずれか、すなわち、クラス０「舌側に行き過ぎている」、又はクラス１「正しく位置決めされている」、であると結論した。このテストケースでは、すべてのビューのグラウンドトゥルースラベルは、同じ「クラス０」であった。しかしながら、この特定の分割面のジオメトリの曖昧さのために、ニューラルネットワークは、ビューのうちのいくつかを正しく分類することができなかった（すなわち、それらのビューに「クラス１」のラベルを割り当てた）。これらの誤って予測されたビューは、図において薄い灰色で示してある。画像におけるこの効果は、アルファチャネルを使用して達成された。ニューラルネットワークが、グラウンドトゥルースラベルに一致しない予測を示した１１個のそのようなビューがある。残りの１９個のフルカラービューは、ニューラルネットワークがグラウンドトゥルースラベルに一致する予測を得たビューである。検証システムは、３０個のうちの１９個という過半数により、分割面が舌側に行き過ぎていると結論付けた。これは、グラウンドトゥルースデータが利用可能であるテストケースであった。
【0118】
ニューラルネットワークの結果を視覚化するこの方法は、単一のテストケースに対して歯の多数のビューを編成し、人間がテストケースの結果に目を通して把握することを可能にするため、有利である。
【0119】
図２５の図は、分割面によって正確に二分された右上犬歯（歯６）の３０個のビューを示している。この場合、ニューラルネットワークは、ビューのうちの１つについて正しくない予測を行っただけである（図の左上付近の薄い灰色のビューを参照）。このテストケースの場合も、３０のうち２９という過半数により、分割面が正しいという結果がもたらされる。
【0120】
ニューラルネットワークは、以下の３つのクラスのグラウンドトゥルースデータでトレーニングされる。
クラス０：分割面は、舌側に行き過ぎて位置決めされるように意図的に修正される。
クラス１：正しい（舌側にも顔側にも行き過ぎていない）。
クラス２：分割面は、顔側に行き過ぎて位置決めされるように意図的に修正される。
クラス０：分割面は、舌側に行き過ぎて位置決めされるように意図的に修正される。
クラス１：正しい（舌側にも顔側にも行き過ぎていない）。
クラス２：分割面は、顔側に行き過ぎて位置決めされるように意図的に修正される。
【0121】
本明細書で説明される様々な実施形態は、様々な異なるニューラルネットワークにおいて使用することができる。実施形態２では、ＣＮＮを使用する。実施形態１では、グラフ畳み込みニューラルネットワーク（ＧｒａｐｈＣＮＮ）を使用する。他の実施形態は、以下を含む他のタイプのニューラルネットワークから全体的又は部分的に導出された要素を含んでもよく、すなわち、他のタイプのニューラルネットワークは、パーセプトロン（Ｐ）、フィードフォワード（ＦＦ）、放射基底ネットワーク（ＲＢＦ）、ディープフィードフォワード（ＤＦＦ）、回帰型ニューラルネットワーク（ＲＮＮ）、長・短期記憶（ＬＳＴＭ）、ゲート付き回帰型ユニット（ＧＲＵ）、オートエンコーダ（ＡＥ）、変分オートエンコーダ（ＶＡＥ）、ノイズ除去オートエンコーダ（ＤＡＥ）、スパースオートエンコーダ（ＳＡＥ）、カプセルオートエンコーダ（ＣＡＥ）、積層カプセルオートエンコーダ（ＳＣＡＥ）、深層信念ネットワーク（ＤＢＮ）、深層畳み込みネットワーク（ＤＣＮ）、デコンボリューションネットワーク（ＤＮ）、敵対的生成ネットワーク（ＧＡＮ）、液体状態機械（ＬＳＭ）、及びニューラルチューリングマシン（ＮＴＭ）である。
【0122】
ＧｒａｐｈＣＮＮは、３Ｄメッシュなどの３Ｄ形式で提供される歯科データ上で動作することができる。メッシュは、頂点と、頂点を面に配置する方法に関する命令との両方を含む。面の定義には、頂点を結ぶエッジに関する情報が暗黙的に含まれている。
【0123】
ＣＮＮは、２Ｄラスタ画像の形式で提供される歯科データ上で動作することができる。２Ｄラスタ画像は、色又はシェーディングを使用して、歯科解剖学的構造内の対象領域を強調表示することができる（例えば、金型分割面を歯に適用することによって生じる歯の顔側部分及び舌側部分を示すために、赤色及び青色の着色、又は明るい及び暗いシェーディングを使用する）。
【0124】
これらのニューラルネットワークは、拡張されたデータでトレーニングすることができる。３Ｄメッシュデータの場合、拡張は、３Ｄメッシュの形状を変更するがメッシュの本質的なアイデンティティを変更しないように、頂点又は面に適用される確率論的変換又は決定論的変換を含むことができる。メッシュ形状におけるこの変動は、トレーニングデータとして使用されるときに分類器がオーバーフィッティングを回避するのを助けることができる。２Ｄラスタ画像の場合、画像を、サイズ変更する、伸張する、回転する、せん断する、又はノイズを導入することができる。同様に３Ｄデータの場合、２Ｄデータを拡張してトレーニングデータとすることにより、ニューラルネットワークがトレーニング時にオーバーフィッティングを回避するのを助けることができる。
【0125】
本明細書で説明されるニューラルネットワークは、ＲＥＬＵなどの様々な活性化関数を組み込むことができる。他の活性化関数としては、バイナリステップ、同一性（identity）、ロジスティック、及びＴａｎＨが挙げられる。ニューラルネットワークは、プーリング及び最大値プーリングなどのダウンサンプリング技法を組み込むことができる。ニューラルネットワークは、オーバーフィッティングを低減し、ドロップアウトなどの正則化技法を使用して一般化誤差を低減することができる。
【0126】
他の検証
以下は、本明細書で説明される検証技法から恩恵を受けることができる歯科装具の他の例である。
以下は、本明細書で説明される検証技法から恩恵を受けることができる歯科装具の他の例である。
【0127】
１．カスタム歯列矯正装具（例えば舌側ブラケット）
いくつかの実施形態では、本明細書で説明される検証技法は、カスタム舌側ブラケットの設計に適用することができる。歯の上に配置された舌側ブラケットのデジタル３Ｄビューを使用して、舌側ブラケットの設計に対し合否判定を行う検証ＮＮをトレーニングすることができる。このフィードバックは、訓練された技術者が使用してもよいし、舌側ブラケットの次の反復の設計を改善するために、舌側ブラケットを生成した自動化ソフトウェアに送信してもよい。舌側ブラケットの場合、ボンディングパッドは、歯の周囲の輪郭を描き、シェルを形成する厚さを作成し、次いでブール演算を介して歯を減算することによって、特定の歯のために作成される。ブラケット本体は、ライブラリから選択され、パッド上に配置され、ブール加算を介してパッドに統合される。様々なブラケット構成要素（例えばフック及びウィング）が、歯及び歯肉の特定の幾何学形状に最良に適合するように調整され、ブラケット本体に統合されて、３Ｄジオメトリファイルとしてエクスポートされるブラケットのデジタル設計が完成する。いくつかの実施形態では、ＳＴＬフォーマットを３Ｄジオメトリファイルに使用することができる。
いくつかの実施形態では、本明細書で説明される検証技法は、カスタム舌側ブラケットの設計に適用することができる。歯の上に配置された舌側ブラケットのデジタル３Ｄビューを使用して、舌側ブラケットの設計に対し合否判定を行う検証ＮＮをトレーニングすることができる。このフィードバックは、訓練された技術者が使用してもよいし、舌側ブラケットの次の反復の設計を改善するために、舌側ブラケットを生成した自動化ソフトウェアに送信してもよい。舌側ブラケットの場合、ボンディングパッドは、歯の周囲の輪郭を描き、シェルを形成する厚さを作成し、次いでブール演算を介して歯を減算することによって、特定の歯のために作成される。ブラケット本体は、ライブラリから選択され、パッド上に配置され、ブール加算を介してパッドに統合される。様々なブラケット構成要素（例えばフック及びウィング）が、歯及び歯肉の特定の幾何学形状に最良に適合するように調整され、ブラケット本体に統合されて、３Ｄジオメトリファイルとしてエクスポートされるブラケットのデジタル設計が完成する。いくつかの実施形態では、ＳＴＬフォーマットを３Ｄジオメトリファイルに使用することができる。
【0128】
２．非カスタムブラケットのカスタムインダイレクトボンディング
ブラケットは、ライブラリから選択され、歯の上にカスタムに配置される。ボンディング領域における局所的な歯の解剖学的構造に基づいて微調整が行われ、歯とブラケットとの間の接着結合ライン内の補正を通じて、トルク及び回転のいくらかのカスタマイズが可能である。ＮＮは、ブラケットの配置における不一致を認識するようにトレーニングされ、これらの配置は、自動配置又は技術者が生成した配置のいずれかである。
ブラケットは、ライブラリから選択され、歯の上にカスタムに配置される。ボンディング領域における局所的な歯の解剖学的構造に基づいて微調整が行われ、歯とブラケットとの間の接着結合ライン内の補正を通じて、トルク及び回転のいくらかのカスタマイズが可能である。ＮＮは、ブラケットの配置における不一致を認識するようにトレーニングされ、これらの配置は、自動配置又は技術者が生成した配置のいずれかである。
【0129】
３．アライナ又はクリアトレイアライナ（clear tray aligner、ＣＴＡ）
別の実施形態では、本明細書で説明される検証技法を、ＣＴＡの設計、例えば、アライナトレイを設計するために使用される３Ｄデータに適用することができる。そのようなデータの例は、次に３Ｄプリンタに送られる「固定具モデル」と呼ばれる患者の歯の３Ｄ表現（例えば３Ｄメッシュ）である。トリムラインの位置、アタッチメント、バイトランプ又はスリットの幾何学形状及び位置などのパラメータを検証することができる。トリムラインとは、熱成形中にアライナがトリミングされる場所である。直接３Ｄ印刷されるアライナでは、より複雑な特徴が可能であり（局所的な厚さ、補強リブの幾何学形状、フラップの配置など）、本明細書で説明される検証技法を適用することができる。
別の実施形態では、本明細書で説明される検証技法を、ＣＴＡの設計、例えば、アライナトレイを設計するために使用される３Ｄデータに適用することができる。そのようなデータの例は、次に３Ｄプリンタに送られる「固定具モデル」と呼ばれる患者の歯の３Ｄ表現（例えば３Ｄメッシュ）である。トリムラインの位置、アタッチメント、バイトランプ又はスリットの幾何学形状及び位置などのパラメータを検証することができる。トリムラインとは、熱成形中にアライナがトリミングされる場所である。直接３Ｄ印刷されるアライナでは、より複雑な特徴が可能であり（局所的な厚さ、補強リブの幾何学形状、フラップの配置など）、本明細書で説明される検証技法を適用することができる。
【0130】
トリムラインを示す患者の歯及び歯肉のデジタル３Ｄモデルを使用して、ＣＴＡに対して合格／不合格判定を行う検証ＮＮをトレーニングすることができる。このフィードバックは、訓練された技術者が使用するか、又はＣＴＡを生成した自動化ソフトウェアに送信して、ＣＴＡの次の反復の設計を改善することができる。ＣＴＡとは、一連の所定の位置に沿って患者の歯を漸進的に移動させるように成形された、一連の取り外し可能なほぼ見えないプラスチックトレイである。
【0131】
本明細書で説明される検証技法を使用して検証することができる他の歯科装具としては、インプラント配置、又は他のタイプの歯科修復物（ベニア、クラウン、又はブリッジなど）の設計に関するデータ又は構造が挙げられる。
【0132】
また、本明細書で説明される検証技法は、人間の専門家による手動配置及びアルゴリズムによる自動配置のいずれか又は両方を含む、ブラケット配置を検証するために使用することができる。
【0133】
ＩＩ．頂点及びエッジの分類
これらの実施形態は、例えば、機械学習セグメント化モジュールを使用して、スキャンされた歯列弓からハードウェアをセグメント化する能力を提供することを含む。ハードウェアは、ブラケット、ブレース、又は他の複雑な外部人工物の形態であり得る。
これらの実施形態は、例えば、機械学習セグメント化モジュールを使用して、スキャンされた歯列弓からハードウェアをセグメント化する能力を提供することを含む。ハードウェアは、ブラケット、ブレース、又は他の複雑な外部人工物の形態であり得る。
【0134】
Ａ．セグメント化
深層学習モデルを使用して、３Ｄメッシュから歯を自動的にセグメント化する。このプロセスは、２つのステップ、すなわちモデルの開発／トレーニングと、モデルの展開とに分けることができる。トレーニング時には（図２６のフローチャート１）、複数の患者からのセグメント化されていないデジタル３Ｄモデル及びセグメント化されたデジタル３Ｄモデルの両方が、深層学習モデルに入力され、深層学習モデルは、予測された歯のセグメント化と実際の歯のセグメント化との間の差を最小化するパターンを学習するように最適化されている。モデルの展開時には（図２６のフローチャート２）、トレーニングされた深層学習モデルを使用して、以前に見たことがない新しいケースデータに対するセグメント化の予測を生成する。
深層学習モデルを使用して、３Ｄメッシュから歯を自動的にセグメント化する。このプロセスは、２つのステップ、すなわちモデルの開発／トレーニングと、モデルの展開とに分けることができる。トレーニング時には（図２６のフローチャート１）、複数の患者からのセグメント化されていないデジタル３Ｄモデル及びセグメント化されたデジタル３Ｄモデルの両方が、深層学習モデルに入力され、深層学習モデルは、予測された歯のセグメント化と実際の歯のセグメント化との間の差を最小化するパターンを学習するように最適化されている。モデルの展開時には（図２６のフローチャート２）、トレーニングされた深層学習モデルを使用して、以前に見たことがない新しいケースデータに対するセグメント化の予測を生成する。
【0135】
図２６のフローチャートは、本明細書でさらに説明されるように、以下の方法を提供する。
【0136】
モデルの開発／トレーニング：
１．入力：過去のケースデータにおけるセグメント化されていないデジタル３Ｄモデル及びセグメント化されたデジタル３Ｄモデル（１９０）。
２．（オプション）データの拡張、並びにメッシュのクリーンアップ及びリサンプリング（１９２）。
３．深層学習モデルをトレーニングする（１９４）。
４．グラウンドトゥルースセグメント化データに対してセグメント化予測を評価する（１９６）。
１．入力：過去のケースデータにおけるセグメント化されていないデジタル３Ｄモデル及びセグメント化されたデジタル３Ｄモデル（１９０）。
２．（オプション）データの拡張、並びにメッシュのクリーンアップ及びリサンプリング（１９２）。
３．深層学習モデルをトレーニングする（１９４）。
４．グラウンドトゥルースセグメント化データに対してセグメント化予測を評価する（１９６）。
【0137】
モデルの展開：
１．入力：新しいケースの不正咬合のデジタル３Ｄモデル（１９８）。
２．（オプション）メッシュのクリーンアップ及びリサンプリング（２００）。
３．トレーニングされた深層学習モデルを実行する（２０２）。
４．提案されたセグメント化を生成する（２０４）。
１．入力：新しいケースの不正咬合のデジタル３Ｄモデル（１９８）。
２．（オプション）メッシュのクリーンアップ及びリサンプリング（２００）。
３．トレーニングされた深層学習モデルを実行する（２０２）。
４．提案されたセグメント化を生成する（２０４）。
【0138】
より多くのデータが取得されるにつれて、機械学習方法及び特に深層学習方法は、明示的にプログラムされた方法の性能を上回る性能を発揮し始める。深層学習方法は、トレーニングのプロセスを通じて、より高次元の潜在的又は隠れた特徴のいくつかの非線形関数の組み合わせを使用してデータから直接的にいくつかの有用な特徴を推論することができるため、特徴を手動で作成する必要がないという大きな利点を有する。セグメント化問題の解決を試みる一方で、不正咬合の３Ｄメッシュ上で直接動作することが望ましい場合がある。
【0139】
歯肉からの歯のセグメント化のための深層学習：
深層学習モデルは、ＭｅｓｈＣＮＮを使用して３Ｄメッシュデータから歯のセグメント化を行う。ＭｅｓｈＣＮＮは、３Ｄ三角形メッシュのための汎用ディープニューラルネットワークであり、３Ｄ形状分類又はセグメント化などのタスクのために使用することができる。このフレームワークは、メッシュエッジに直接適用される畳み込み層、プーリング層、及びアンプーリング層を含み、メッシュの回転、スケーリング、及び平行移動の変化に対して不変であるため、他の手法よりも有利である。ＭｅｓｈＣＮＮを含む深層学習アルゴリズムは、２つの主要な開発ステップ、すなわち、１）モデルのトレーニング、及び２）モデルの展開、を有する。
深層学習モデルは、ＭｅｓｈＣＮＮを使用して３Ｄメッシュデータから歯のセグメント化を行う。ＭｅｓｈＣＮＮは、３Ｄ三角形メッシュのための汎用ディープニューラルネットワークであり、３Ｄ形状分類又はセグメント化などのタスクのために使用することができる。このフレームワークは、メッシュエッジに直接適用される畳み込み層、プーリング層、及びアンプーリング層を含み、メッシュの回転、スケーリング、及び平行移動の変化に対して不変であるため、他の手法よりも有利である。ＭｅｓｈＣＮＮを含む深層学習アルゴリズムは、２つの主要な開発ステップ、すなわち、１）モデルのトレーニング、及び２）モデルの展開、を有する。
【0140】
１．モデルのトレーニング
モデルのトレーニングでは、過去のケースデータにおける複数のセグメント化されていないデジタル３Ｄモデル及びセグメント化されたデジタル３Ｄモデルを利用する。使用前に、これらの３Ｄモデルに対して、何らかのメッシュクリーンアップ及びリサンプリングを行うことができる。本発明者らのケースデータでは、穴を埋める、微細エッジを除去する、孤立部分を除去するなどを含む多くの標準的なメッシュクリーンアップ動作が実行された。モデルトレーニング中の計算効率のために、メッシュデシメーションも実行し、面の数をより小さい数（約３０００）に減少させた。ディープニューラルネットワークをトレーニングするために使用される３Ｄメッシュサンプルの数を増加させるために、不均一スケール、頂点シフト、及びエッジフリッピングを含むデータ拡張技法を使用した。セグメント化されていないメッシュ及び各メッシュエッジのラベルをＭｅｓｈＣＮＮフレームワークに入力した。深層学習モデルにおいて標準的であるように、モデルは、予測されたセグメント化ラベルと実際のセグメント化ラベルとの間の差を最小化するように重みのセットを反復的に調整するプロセスを通じてトレーニングした。次いで、トレーニング中に使用されなかった予備のケースセットに対してセグメント化ラベルを予測し、精度を測定することによって、トレーニングされたモデルを評価した。このモデルは、エッジを歯又は歯肉のいずれかに属するものとして正しく識別する精度が９７％に達した。
モデルのトレーニングでは、過去のケースデータにおける複数のセグメント化されていないデジタル３Ｄモデル及びセグメント化されたデジタル３Ｄモデルを利用する。使用前に、これらの３Ｄモデルに対して、何らかのメッシュクリーンアップ及びリサンプリングを行うことができる。本発明者らのケースデータでは、穴を埋める、微細エッジを除去する、孤立部分を除去するなどを含む多くの標準的なメッシュクリーンアップ動作が実行された。モデルトレーニング中の計算効率のために、メッシュデシメーションも実行し、面の数をより小さい数（約３０００）に減少させた。ディープニューラルネットワークをトレーニングするために使用される３Ｄメッシュサンプルの数を増加させるために、不均一スケール、頂点シフト、及びエッジフリッピングを含むデータ拡張技法を使用した。セグメント化されていないメッシュ及び各メッシュエッジのラベルをＭｅｓｈＣＮＮフレームワークに入力した。深層学習モデルにおいて標準的であるように、モデルは、予測されたセグメント化ラベルと実際のセグメント化ラベルとの間の差を最小化するように重みのセットを反復的に調整するプロセスを通じてトレーニングした。次いで、トレーニング中に使用されなかった予備のケースセットに対してセグメント化ラベルを予測し、精度を測定することによって、トレーニングされたモデルを評価した。このモデルは、エッジを歯又は歯肉のいずれかに属するものとして正しく識別する精度が９７％に達した。
【0141】
２．モデルの展開
モデルの展開段階では、ステップ１のモデルのトレーニングの間に開発されたトレーニングされたモデルを利用する。トレーニングされたモデルは、入力として、新しいケースにおけるセグメント化されていない３Ｄスキャンを受け取る。モデルのトレーニング段階中に３Ｄメッシュに対して実行されたいずれのメッシュクリーンアップ又はリサンプリングも、新しい３Ｄスキャンデータに適用されるべきである。トレーニングされたモデルは、各エッジについて、エッジが「歯肉」クラスに属するか「歯」クラスに属するかを示すラベルのセットを出力する。
モデルの展開段階では、ステップ１のモデルのトレーニングの間に開発されたトレーニングされたモデルを利用する。トレーニングされたモデルは、入力として、新しいケースにおけるセグメント化されていない３Ｄスキャンを受け取る。モデルのトレーニング段階中に３Ｄメッシュに対して実行されたいずれのメッシュクリーンアップ又はリサンプリングも、新しい３Ｄスキャンデータに適用されるべきである。トレーニングされたモデルは、各エッジについて、エッジが「歯肉」クラスに属するか「歯」クラスに属するかを示すラベルのセットを出力する。
【0142】
いくつかの上側歯列弓及び下側歯列弓に対するセグメント化の結果の例を図２７に示す。
【0143】
歯のタイプ分類の拡張：
上記で作成されたセグメント化の結果は、メッシュ内のエッジが２つのクラス、すなわち（１）歯、（２）歯肉のうちの一方に属すると仮定することによって生成された。これに代えて、エッジは、複数のクラスのうちの１つに属するものとしてラベル付けすることができ、例えば次のとおりである。
１．歯のタイプ別：（１）臼歯、（２）小臼歯、（３）犬歯、（４）切歯、（５）歯肉。
２．歯のタイプ及び歯列弓別：（１）上側歯列弓の臼歯、（２）上側歯列弓の小臼歯、（３）上側歯列弓の犬歯、（４）上側歯列弓の切歯、（５）下側歯列弓の臼歯、（６）下側歯列弓の小臼歯、（７）下側歯列弓の犬歯、（８）下側歯列弓の切歯、（９）歯肉。
３．歯の番号別：（１）歯肉、（２）歯１、（３）歯２、．．．、（３３）歯３２。
上記で作成されたセグメント化の結果は、メッシュ内のエッジが２つのクラス、すなわち（１）歯、（２）歯肉のうちの一方に属すると仮定することによって生成された。これに代えて、エッジは、複数のクラスのうちの１つに属するものとしてラベル付けすることができ、例えば次のとおりである。
１．歯のタイプ別：（１）臼歯、（２）小臼歯、（３）犬歯、（４）切歯、（５）歯肉。
２．歯のタイプ及び歯列弓別：（１）上側歯列弓の臼歯、（２）上側歯列弓の小臼歯、（３）上側歯列弓の犬歯、（４）上側歯列弓の切歯、（５）下側歯列弓の臼歯、（６）下側歯列弓の小臼歯、（７）下側歯列弓の犬歯、（８）下側歯列弓の切歯、（９）歯肉。
３．歯の番号別：（１）歯肉、（２）歯１、（３）歯２、．．．、（３３）歯３２。
【0144】
ＭｅｓｈＣＮＮなどの深層学習モデルを、複数のクラスのうちの１つに属するものとしてエッジをラベル付けするようにトレーニングすることができる。
【0145】
Ｂ．推論を使用するセグメント化
この方法は、ＧＤＬを使用し、異なるスキャンハードウェアを使用してオブジェクトスキャンの部分又はセグメントを推論する。この方法は、機械学習手法を使用して、入力点群のセグメント化を推論する。これらのセグメントは、個々の歯及び歯肉（歯茎）に対応する。モデルは、口腔内スキャンを使用して取得された点群のデータセット（以下、データ点と呼ぶ）を使用してトレーニングされ、データセットは、点群内の各点の（ｘ，ｙ，ｚ）座標と、点から歯及び歯肉への関連するセグメント化の集合として具現化されたものである。
この方法は、ＧＤＬを使用し、異なるスキャンハードウェアを使用してオブジェクトスキャンの部分又はセグメントを推論する。この方法は、機械学習手法を使用して、入力点群のセグメント化を推論する。これらのセグメントは、個々の歯及び歯肉（歯茎）に対応する。モデルは、口腔内スキャンを使用して取得された点群のデータセット（以下、データ点と呼ぶ）を使用してトレーニングされ、データセットは、点群内の各点の（ｘ，ｙ，ｚ）座標と、点から歯及び歯肉への関連するセグメント化の集合として具現化されたものである。
【0146】
このマップは、後に別の幾何学的演算において使用することができる。例えば、デジタル歯列矯正の場合、このモデルを使用して、ループに手動で入力する必要なしに処理に適した座標系において入力点群を標準化することができる。これにより、各ケースの処理時間が効果的かつ大幅に短縮され、このタスクを実行するために人間の作業者を訓練する必要性も低減される。
【0147】
【0148】
図２８のフローチャートは、本明細書でさらに説明されるように、トレーニングパイプラインのための以下の方法を提供する。
１．点群／メッシュ（２０６）。
ａ．トレーニング及び検証のみのための、関連するセグメント化（２１２）。
２．（オプション）低減／拡張（２０８）。
３．（拡張された）点群／メッシュ（２１０）。
ａ．トレーニング及び検証のみのための、関連するセグメント化（２１４）。
４．ＧＤＬ機械学習モデル（２１６）。
５．予測されたセグメント化（２１８）。
１．点群／メッシュ（２０６）。
ａ．トレーニング及び検証のみのための、関連するセグメント化（２１２）。
２．（オプション）低減／拡張（２０８）。
３．（拡張された）点群／メッシュ（２１０）。
ａ．トレーニング及び検証のみのための、関連するセグメント化（２１４）。
４．ＧＤＬ機械学習モデル（２１６）。
５．予測されたセグメント化（２１８）。
【0149】
図２９のフローチャートは、本明細書でさらに説明されるように、テストパイプラインのための以下の方法を提供する。
【0150】
１．点群／メッシュ（２２０）。
２．（オプション）低減／拡張（２２２）。
３．（拡張された）点群／メッシュ（２２４）。
４．ＧＤＬ機械学習モデル（２２６）。
５．予測されたセグメント化（２２８）。
２．（オプション）低減／拡張（２２２）。
３．（拡張された）点群／メッシュ（２２４）。
４．ＧＤＬ機械学習モデル（２２６）。
５．予測されたセグメント化（２２８）。
【0151】
トレーニング中には、点群及び関連するセグメント化の両方が渡されるが、テスト中には、点群のみが渡される。
【0152】
ワークフローにおける段階は以下のとおりである。
【0153】
１．前処理：
ａ．（オプション）点群の低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して点群のサイズを拡張し、より高い粒度を達成することができる。
ａ．（オプション）点群の低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して点群のサイズを拡張し、より高い粒度を達成することができる。
【0154】
ｂ．（オプション）セグメント化の低減／拡張：点群がデシメートされる場合、結果として生じる点群のセグメント化は、デシメートされた点をドロップアウトすることによって相応にデシメートされる。点群が拡張される場合、新たに作成された点に対するセグメント化ラベルは、元の点群内の点に対する最近傍クエリを使用して決定される。
【0155】
２．モデル推論：
（拡張された）点群は機械学習モデルを通過し、関連する近似座標系が得られる。機械学習モデルの使用に関連するステップを以下に示す。
（拡張された）点群は機械学習モデルを通過し、関連する近似座標系が得られる。機械学習モデルの使用に関連するステップを以下に示す。
【0156】
ａ．モデルのトレーニング：モデルは、テンソル（モデルの重みと呼ばれる）の集合として具現化され、これらのモデルの重みの意味のある値は、トレーニングプロセスを通して学習される。これらの重みは、完全にランダムに初期化される。
【0157】
トレーニングプロセスでは、対のデータ点及び関連する座標系のセットであるトレーニングデータを使用する。このデータは、モデルの作成前に利用可能であると仮定される。
【0158】
本方法は、トレーニングデータセットからランダムに選択されたバッチをモデルに渡し、損失関数を計算する。この損失関数は、グラウンドトゥルース座標系と予測される座標系との間の非類似性を測定する。
【0159】
本方法は、計算された損失関数から勾配を推測し、モデルの重みを更新する。このプロセスは、所定の反復回数にわたって、又は特定の客観的基準が満たされるまで繰り返される。
【0160】
ｂ．モデルの検証：トレーニングと並行して、オーバーフィッティングなどのトレーニングに伴う潜在的な問題を監視するためにモデルが常に検証されることが一般的である。
【0161】
本方法は、トレーニングの開始時に利用可能な検証セットを使用することができる。このデータセットは、対になったデータ点及び関連する座標系のセットであるという点で、トレーニングデータセットに類似している。
【0162】
設定された回数のトレーニングを反復した後、本方法は、検証セットをモデルに渡し、損失関数値を計算する。この値は、モデルが見えないデータに対していかに良好に一般化するかの尺度として役立つ。検証損失値は、トレーニングプロセスを停止するための基準として使用することができる。
【0163】
ｃ．モデルのテスト：モデルのテストは、典型的には、関連する注釈付きセグメント化を有さない、見えないデータ点に対して行われる。
【0164】
ＩＩＩ．回帰
これらの実施形態は、例えば、以下を含む。
これらの実施形態は、例えば、以下を含む。
【0165】
ケース複雑度：回帰モジュールを使用して、スキャンされた歯列弓が与えられたケースに対する治療の複雑度レベルを分類する。
【0166】
ケース特性：回帰モデルを使用して、咬合関係（クラス１、２、又は３）、咬合（オーバーバイト／過蓋咬合）、正中線シフトなどのケース特性に基づいて、スキャンされた歯列弓メッシュを分類する。回帰モデルを使用して、咬合関係（クラス１、２、又は３）、咬合（オーバーバイト、オーバージェット、前方／後方交叉咬合）、正中線オフセット、アンテリアレベリング、空間／叢生、歯列弓形状、及び適用されたプロトコル（押出、拡張、遠心移動）などのケース特性の既存のラベルに基づいて、スキャンされた歯列弓メッシュを分類する。
【0167】
治療期間の予測：回帰モジュールを使用して、スキャンされた歯列弓が与えられたケースの治療の複雑度レベルを分類し、これは後に、必要なケアの量及び治療時間を予測するために使用される。
【0168】
Ａ．座標系
この実施形態は、グローバル参照フレームに対する３Ｄオブジェクトの相対姿勢又は座標系を決定する機械学習方法を含む。このような方法は、歯列矯正治療計画などの問題に影響を及ぼす。
この実施形態は、グローバル参照フレームに対する３Ｄオブジェクトの相対姿勢又は座標系を決定する機械学習方法を含む。このような方法は、歯列矯正治療計画などの問題に影響を及ぼす。
【0169】
３Ｄオブジェクトの姿勢を決定する問題は、通常、計算ジオメトリ手法を使用して解決される。特に人間及び人間の顔の２Ｄ画像からの３Ｄ姿勢推定は、よく研究された問題である。しかしながら、参照フレームを与えられた３Ｄオブジェクトの相対姿勢が重要であり、３Ｄにおけるオブジェクトの形状に関する情報が利用可能であるシナリオが存在する。従来、形状特徴の明示的な記述及びテンプレートへのマッチング又はテンプレートへの位置合わせを使用して、姿勢を決定する。例えば、反復最近点（ＩＣ）アルゴリズムを使用して、観察されたターゲットの３Ｄ形状を標準テンプレートに位置合わせすることができる。次いで、推論された変換行列を使用して、参照テンプレートの姿勢をターゲット形状に変換することができる。
【0170】
３Ｄ形状の表現に直接適用される深層学習方法は、２つの問題、すなわち、１）オブジェクトの分類、及び２）セマンティックなセグメント化又は頂点／要素ごとの分類、を解決するために使用されてきた。姿勢又は座標系を予測するために同様の技法を使用することが可能である。要件は、モデルが、姿勢（グローバル参照フレームに対する３Ｄオブジェクトの位置及び向き）を表す実数のセット又は変換行列を予測することである。これは、７つの出力パラメータ（並進のための３つ、回転の四元数表現のための４つ）によって表すことができる。これは、完全な変換行列を表すために必要とされる１２個のパラメータよりも少ないパラメータを提供する。しかしながら、この表現は限定されるものではなく、軸角度又はオイラー角などの他の表現を使用することもできる。
【0171】
方法：メッシュジオメトリ（例えば歯のメッシュ表現）の多数のトレーニングデータ及びラベルとしての対応する出力変換パラメータが与えられると、メッシュベース又は点ベースの深層学習モデルを、例えばＰｏｉｎｔＮｅｔ、ＰｏｉｎｔＣＮＮなどを使用してトレーニングすることができる。さらに、トレーニング中に、入力メッシュに対して、アンダーサンプリング、回転、点の並べ替えなどのデータ拡張を行うことができる。これは、単一のソースから何千もの拡張された入力データを生成するのを助けることができ、アルゴリズムがより高い性能をもたらす可能性を大幅に増大させる。図３０は、歯の座標系の予測を示す。
【0172】
以下は、座標系予測のための例示的な実施形態である。３Ｄ点群又はメッシュデータを受信する方法であって、グローバル参照フレームが与えられたとき、機械学習アルゴリズムを使用して相対的な姿勢及び位置を予測する方法、及び、３Ｄ点群又はメッシュデータを受信する方法であって、位置合わせアルゴリズムを使用して、点群を１つ以上のテンプレートの既知のセットに整列させ、次いで、その結果を使用して、グローバル参照フレームに対する相対姿勢及び位置を決定する方法。
【0173】
これらの実施形態は、例えば、３Ｄ点群が歯を表し、位置合わせアルゴリズムがＩＣＰ、点から平面までの距離メトリックを有するＩＣＰなどであり得る場合に使用することができる。
【0174】
Ｂ．推論を使用する座標系
これらの方法は、ＧＤＬを使用して、異なるスキャンハードウェアを使用してその表面から取得される点群のみを使用して、オブジェクトの向き／座標系を推論する。
これらの方法は、ＧＤＬを使用して、異なるスキャンハードウェアを使用してその表面から取得される点群のみを使用して、オブジェクトの向き／座標系を推論する。
【0175】
これらの方法では、機械学習手法を使用して、点群と関連する座標系との間のマップを推論する。そのようなアルゴリズムの例は、ＰｏｉｎｔＮｅｔの修正を使用することができる。本方法は、６次元表現で具現化される、点群内の各点の（ｘ，ｙ，ｚ）座標及び関連する座標系の集合として具現化される、口腔内スキャンを使用して取得された点群のデータセット（データ点と呼ばれる）を使用して、モデルをトレーニングする。モデルは、点群ドメインと座標系ドメインとの間の回帰マップとして機能し、点群が与えられると、モデルは、関連する座標系を推論する。
【0176】
このマップは、後に他の幾何学的演算において使用することができる。例えば、デジタル歯列矯正の場合、このモデルを使用して、ループ内に人間を必要とせずに処理を行うことができる座標系において入力点群を標準化することができる。これにより、各ケースの処理時間が効果的かつ大幅に短縮され、このタスクを実行するために人間の作業者を訓練する必要性も低減される。
【0177】
【0178】
図３１のフローチャートは、本明細書でさらに説明されるように、トレーニングパイプラインの方法を提供する。
１．点群／メッシュ（２３０）。
ａ．トレーニング及び検証のみのための座標系（２３８）。
ｂ．座標系変換（２４０）。
２．（オプション）低減／拡張（２３２）。
３．標準化（２３４）。
４．標準化された点群／メッシュ（２３６）。
ａ．トレーニング及び検証のみのための座標系（２４２）。
５．ＧＤＬ機械学習モデル（２４４）。
６．予測される座標系（２４６）。
１．点群／メッシュ（２３０）。
ａ．トレーニング及び検証のみのための座標系（２３８）。
ｂ．座標系変換（２４０）。
２．（オプション）低減／拡張（２３２）。
３．標準化（２３４）。
４．標準化された点群／メッシュ（２３６）。
ａ．トレーニング及び検証のみのための座標系（２４２）。
５．ＧＤＬ機械学習モデル（２４４）。
６．予測される座標系（２４６）。
【0179】
図３２のフローチャートは、本明細書でさらに説明されるような、テストパイプラインのための方法を提供する。
１．点／クラウドメッシュ（２４８）。
２．（オプション）低減／拡張（２５０）。
３．標準化（２５２）。
４．標準化された点群／メッシュ（２５４）。
５．ＧＤＬ機械学習モデル（２５６）。
６．予測された座標系（２５８）。
１．点／クラウドメッシュ（２４８）。
２．（オプション）低減／拡張（２５０）。
３．標準化（２５２）。
４．標準化された点群／メッシュ（２５４）。
５．ＧＤＬ機械学習モデル（２５６）。
６．予測された座標系（２５８）。
【0180】
方法ワークフロー：入力点群は、スキャンされた歯列弓から歯をセグメント化することから得られる。この点群は、元々「グローバル座標系」にある。以下は、ワークフローにおける段階である。
【0181】
１．前処理：
ａ．（オプション）点群低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して点群のサイズを拡張し、より高い粒度を達成することができる。
ａ．（オプション）点群低減／拡張：本方法は、ランダムダウンサンプリング、カバレッジアウェアサンプリング、又は他のメッシュ簡略化技法（メッシュが利用可能である場合）などの点群低減技法を使用して、点群のサイズを低減し、より高速な推論を促進することができる。本方法はまた、メッシュ補間技法を使用して点群のサイズを拡張し、より高い粒度を達成することができる。
【0182】
ｂ．点群の標準化：本方法は、白色化プロセスを使用して、点群の平均を原点に位置させ、点群の主軸をＸ、Ｙ、Ｚ軸に整列させる。この方法は、主成分分析（Principal Component Analysis、ＰＣＡ）に基づいている。この方法は、点群内の各点からメッシュ平均を差し引き、ＰＣＡを使用して抽出された点群の自己相関行列の固有ベクトルからなる直交行列の逆行列を使用して点群を回転させる。点群を標準化する一方で、本方法はまた、このアフィン変換を反映するように関連する座標系を変更する。
【0183】
ｃ．座標系の決定：座標系は、６次元ベクトルにおいて符号化される。並進成分と呼ばれる最初の３つは、グローバル座標系におけるローカル座標系の原点の位置を符号化する。回転成分と呼ばれる残りの３つは、座標軸の向きを符号化する。この変換は、ケーリー変換を使用する。元の向きは、直交行列として、又はオイラー角のセットとして符号化されてもよく、この方法は、それらを対応するケーリー角に変換する。
【0184】
２．モデルの推論：
標準化された点群は機械学習モデルを通過し、関連する近似座標系が得られる。機械学習モデルの使用に関連するステップを以下に示す。
標準化された点群は機械学習モデルを通過し、関連する近似座標系が得られる。機械学習モデルの使用に関連するステップを以下に示す。
【0185】
ａ．モデルのトレーニング：モデルは、テンソル（モデルの重みと称される）の集合として具現化される。これらのモデルの重みの意味のある値は、トレーニングプロセスを通して学習される。これらの重みは、完全にランダムに初期化される。
【0186】
トレーニングプロセスでは、対のデータ点及び関連する座標系のセットであるトレーニングデータを使用する。このデータは、モデルの作成前に利用可能であると仮定される。
【0187】
本方法は、トレーニングデータセットからランダムに選択されたバッチをモデルに渡し、損失関数を計算する。この損失関数は、グラウンドトゥルース座標系と予測される座標系との間の非類似性を測定する。
【0188】
本方法は、計算された損失関数から勾配を推測し、モデルの重みを更新する。このプロセスは、所定の反復回数にわたって、又は特定の客観的基準が満たされるまで繰り返される。
【0189】
ｂ．モデルの検証：トレーニングと並行して、オーバーフィッティングなどのトレーニングに伴う潜在的な問題を監視するために、モデルが常に検証されることが一般的である。
【0190】
本方法は、トレーニングの開始時に利用可能な検証セットが存在すると仮定する。このデータセットは、対になったデータ点及び関連する座標系のセットであるという点で、トレーニングデータセットに類似している。
【0191】
設定された回数のトレーニングを反復した後、本方法は、検証セットをモデルに渡し、損失関数値を計算する。この値は、モデルが見えないデータに対していかに良好に一般化するかの尺度として役立つ。検証損失値は、トレーニングプロセスを停止するための基準として使用することができる。
【0192】
ｃ．モデルのテスト：モデルのテストは、典型的には、関連するグラウンドトゥルース座標系を有さない、見えないデータ点に対して行われる。これは展開において行われる。
【0193】
３．（オプション）後処理：推定される座標系は、６次元ベクトルで具現化され、任意の所望のフォーマット、例えばオイラー角に変換することができる。本方法はまた、この推定された座標系を使用して入力メッシュをそのローカル座標に変換することができ、次いで、それらをパイプラインにおける他の動作のために使用することができる。
【0194】
以下は、このタスクのための本発明者らの実験的設定、及びいくつかの歯についての結果の説明である。
【0195】
実験的設定：
６５ケースのセット（部分的に完全である可能性がある）を、４：１分割を使用してトレーニングセットと検証セットに分割した。各ケースは、点群と、人間による注釈付きの関連する座標系の集合であった。これらのケースに対応する点群は、可変の入力点密度を有し、それらのサイズにおいても不均一であった。特徴ベクトルとして点の（ｘ，ｙ，ｚ）座標のみを使用した。
６５ケースのセット（部分的に完全である可能性がある）を、４：１分割を使用してトレーニングセットと検証セットに分割した。各ケースは、点群と、人間による注釈付きの関連する座標系の集合であった。これらのケースに対応する点群は、可変の入力点密度を有し、それらのサイズにおいても不均一であった。特徴ベクトルとして点の（ｘ，ｙ，ｚ）座標のみを使用した。
【0196】
結果：
図３３は、本発明者らのモデルの性能に関する検証セットでの結果の一部を示しており、右上歯列弓第２臼歯（ＵＮＳ＝１）に関する予測を示している。それぞれのケースについて２つの図がある。第１の図（上の図）は、メッシュ上の座標系オーバーレイに対応する。第２の図（下の図）は、座標系予測を使用して変換された点群の差に対応する。赤色（又は第１のシェーディング）は、本発明者らの機械モデルの予測を示すために使用され、青色（又は第１のシェーディングと異なる第２のシェーディング）は、検証点に対応するグラウンドトゥルース注釈を示すために使用されている。
図３３は、本発明者らのモデルの性能に関する検証セットでの結果の一部を示しており、右上歯列弓第２臼歯（ＵＮＳ＝１）に関する予測を示している。それぞれのケースについて２つの図がある。第１の図（上の図）は、メッシュ上の座標系オーバーレイに対応する。第２の図（下の図）は、座標系予測を使用して変換された点群の差に対応する。赤色（又は第１のシェーディング）は、本発明者らの機械モデルの予測を示すために使用され、青色（又は第１のシェーディングと異なる第２のシェーディング）は、検証点に対応するグラウンドトゥルース注釈を示すために使用されている。
【0197】
ＩＶ．自動エンコーダ及びクラスタ化－提供者及び選好のグループ化
これらの実施形態は、例えば、以下を含む。
これらの実施形態は、例えば、以下を含む。
【0198】
医師及び選好のグループ化：クラスタリングなどの教師なし手法を使用して、提供者（例えば、医師、技術者、又はその他）が、それぞれの治療選好に基づいてグループ化される。治療選好は、治療処方フォームで示すことができる、又は治療選好は、セットアップ特性（例えば、計画された最終セットアップにおける咬合矯正又は正中線矯正の量）、ステージング特性（例えば、治療期間、歯移動プロトコル、又は過剰矯正方式）、又は結果（例えば、修正／改良の数）などの治療計画における特性に基づくことができる。
【0199】
教師あり手法及び既存のデータにおける提供者識別情報を使用して、推奨システムを、各提供者に対して、それぞれの過去の選好に基づいてトレーニングする。
【0200】
教師あり手法を使用して、提供者の（例えば医師の）注記の長い段落が、セットアップ技術者が治療の設計時に従う手順の正しい順序に翻訳又は変換される。
【0201】
図３４のフローチャートは、提供者の選好のための方法を提供する。
【0202】
１．入力：提供者の過去の治療情報、例えば、各提供者の治療処方フォーム（２６０）。
２．機械学習を使用して、例えば、本明細書で説明される機械学習技法のいずれかを使用して、各提供者の選好を要約する（２６２）。
３．出力：提供者の選好及び過去の治療に基づいた、各提供者のためのカスタマイズされた治療計画（２６４）。
２．機械学習を使用して、例えば、本明細書で説明される機械学習技法のいずれかを使用して、各提供者の選好を要約する（２６２）。
３．出力：提供者の選好及び過去の治療に基づいた、各提供者のためのカスタマイズされた治療計画（２６４）。
【0203】
提供者の選好が機械学習によって要約された後、治療計画アルゴリズムは、それらの選好を考慮し、各提供者の（例えば医師の）過去の治療に従って、カスタマイズされた将来の治療計画を生成する。治療をカスタマイズすることで、医師と技術者との間の計画の修正の数を低減することができる。以下の表は、これらの提供者の選好及びカスタマイズされた治療計画を記憶するための例示的なデータ構造を提供する。カスタマイズされた治療計画は、他の方法及びテンプレートで記憶することができる。
【0204】
【表2】
【0205】
本明細書で説明される方法及びプロセスは、例えば、プロセッサ２０などの１つ以上のプロセッサによって実行できるようにソフトウェアモジュール又はファームウェアモジュールに実装することができる。本方法及びプロセスによって生成された情報は、表示装置１６などの表示装置上に表示することができる。本方法及びプロセスにおいてユーザ対話が必要又は望まれる場合、そのような対話は、入力デバイス１８などの入力デバイスを介して提供することができる。
【0206】
本明細書で説明されるＧＤＬ及び機械学習の実施形態は、以下のような実施形態の任意の組み合わせにおいてＧＤＬ処理を使用する目的で組み合わせることができる。
【0207】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩで説明した歯科修復予測プロセスの前に、又は歯科修復予測プロセスと共に実行して、クリーンアップされたメッシュ又はモデルを歯科修復予測プロセスに提供することができる。
【0208】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩＩで説明したセグメント化プロセス及びセクションＩＩＩで説明した座標系プロセスと共に、セクションＩで説明した歯科修復予測プロセスの前又は歯科修復予測プロセスと共に実行して、セグメント化された及び座標系を有するクリーンアップされたメッシュ又はモデルを歯科修復予測プロセスに提供することができる。
【0209】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩで説明した歯科修復検証プロセスの前に、又は歯科修復検証プロセスと共に実行して、クリーンアップされたメッシュ又はモデルを歯科修復検証プロセスに提供することができる。
【0210】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩＩで説明したセグメント化プロセス及びセクションＩＩＩで説明した座標系プロセスと共に、セクションＩで説明した歯科修復検証プロセスの前に又は歯科修復検証プロセスと共に実行して、セグメント化された及び座標系を有するクリーンアップされたメッシュ又はモデルを歯科修復検証プロセスに提供することができる。
【0211】
セクションＩで説明した歯科修復予測プロセスを、セクションＩで説明した歯科修復検証プロセスと共に、一方を他方の前に実行する、又は少なくとも部分的に同時に実行することができる。
【0212】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩで説明した歯科修復予測プロセスが、セクションＩで説明した歯科修復検証プロセスと共に実行される前に、又は実行されると共に、実行して、クリーンアップされたメッシュ又はモデルを歯科修復予測プロセス及び歯科修復検証プロセスに提供することができる。
【0213】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩＩで説明したセグメント化プロセス及びセクションＩＩＩで説明した座標系プロセスと共に、セクションＩで説明した歯科修復予測プロセスがセクションＩで説明した歯科修復検証プロセスと共に実行される前に、又は実行されると共に、実行して、セグメント化され座標系を有するクリーンアップメッシュ又はモデルを歯科修復予測及び検証プロセスに提供することができる。
【0214】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩＩで説明したセグメント化プロセスの前に、又はセグメント化プロセスと共に実行して、クリーンアップされたメッシュ又はモデルをセグメント化プロセスに提供することができる。
【0215】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩＩＩで説明した座標系プロセスの前に、又は座標系プロセスと共に実行して、クリーンアップされたメッシュ又はモデルを座標系プロセスに提供することができる。
【0216】
セクションＩＩで説明したセグメント化プロセスを、セクションＩＩＩで説明した座標系プロセスと共に、一方を他方の前に実行して、又は少なくとも部分的に同時に実行して、セグメント化されかつ座標系を有するメッシュ又はモデルを提供することができる。
【0217】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセスを、セクションＩＩで説明したセグメント化プロセスがセクションＩＩＩで説明した座標系プロセスと共に実行される前に、又は実行されると共に、実行して、クリーンアップされたメッシュ又はモデルをセグメント化プロセス及び座標系プロセスに提供することができる。
【0218】
セクションＩで説明したメッシュ又はモデルクリーンアッププロセス、セクションＩで説明した歯科修復予測プロセス及び歯科修復検証プロセス、セクションＩＩで説明したセグメント化プロセス、及びセクションＩＩＩで説明した座標系プロセスは、カスタマイズされた治療計画を生成するときに、セクションＩＶで説明した提供者グループ化プロセスと共に選択的に使用することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【国際調査報告】