IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ デントスプリー シロナ インコーポレイテッドの特許一覧

特表2022-547857カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置
<>
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図1
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図2
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図3
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図4
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図5
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図6
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図7
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図8
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図9
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図10
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図11
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図12
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図13
  • 特表-カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-16
(54)【発明の名称】カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置
(51)【国際特許分類】
   A61C 13/36 20060101AFI20221109BHJP
   A61C 8/00 20060101ALI20221109BHJP
【FI】
A61C13/36
A61C8/00 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022514478
(86)(22)【出願日】2020-09-03
(85)【翻訳文提出日】2022-04-18
(86)【国際出願番号】 US2020049093
(87)【国際公開番号】W WO2021046147
(87)【国際公開日】2021-03-11
(31)【優先権主張番号】62/896,043
(32)【優先日】2019-09-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517264281
【氏名又は名称】デンツプライ シロナ インコーポレイテッド
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】リー,ジンホ
(72)【発明者】
【氏名】ヒュアン,ジェシー
(72)【発明者】
【氏名】ブライト,エリック
【テーマコード(参考)】
4C159
【Fターム(参考)】
4C159AA51
(57)【要約】
本発明の実施形態は、患者固有の治療ソリューションの有効性および実行の即時確認を可能にするために、カスタマイズされた臨床的に関連する設計、例えば少なくとも1本の歯の置換療法のための治療計画/ソリューションを必要に応じてリアルタイムで提供する方法、システム、装置およびソフトウェアを提供する。機械学習アルゴリズムが自動修復物設計のコンピュータ実装方法またはシステムで使用される。修復物設計はクラウンおよびアバットメントなどの修復用要素の設計を含む。デジタルプロセッサで実行された場合に本方法を行うためのソフトウェアが提供される。修復用要素を製造することも含まれる。
【選択図】図2

【特許請求の範囲】
【請求項1】
患者のために修復用歯科用物体の3D形状の表現を提供するためのコンピュータ実装方法であって、
患者の歯列の少なくとも1つの部分の3Dスキャンの表現を訓練された機械学習システムに入力する工程であって、前記3Dスキャンの表現は少なくとも1つのインプラント位置を定め、前記機械学習システムは1つ以上の計算装置にインストールされている工程と、
前記訓練された機械学習システムを用いてインプラントのための修復用歯科用物体の3D形状の表現をエンドツーエンドで特定する工程と
を含むコンピュータ実装方法。
【請求項2】
1つ以上の計算装置によって複数の前から存在する治療用3Dデータセットを用いて、前記機械学習システムをエンドツーエンドで訓練する工程をさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
コンピュータベースのエンドツーエンド機械学習モデルを適用する工程を含む、請求項1に記載のコンピュータ実装方法。
【請求項4】
前記機械学習システムはニューラルネットワークである、請求項3に記載のコンピュータ実装方法。
【請求項5】
前記特定する工程は前記修復用歯科用物体の3D形状を生成することを含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
前記3D形状は、パラメータのセットによって定められたパラメトリックモデルによって決定される、請求項5に記載のコンピュータ実装方法。
【請求項7】
各パラメータの値の範囲をそれぞれが限られた範囲を有するビンのセットに分け、このようにして所望の解像度を提供し、かつ機械学習装置は特定のパラメータが属している正しいビンを推定するように構成されている、請求項6に記載のコンピュータ実装方法。
【請求項8】
パラメータは、歯表面の解剖学的構造の特性、歯列または修復物の種類に関する、請求項7に記載のコンピュータ実装方法。
【請求項9】
前記訓練された機械学習システムの出力はアバットメントまたはクラウンを定めるパラメータのセットとして表される3D形状の表現である、請求項8に記載のコンピュータ実装方法。
【請求項10】
前記パラメータのセットはパラメトリックモデリングの一部である、請求項9に記載のコンピュータ実装方法。
【請求項11】
前記機械学習システムは識別的MLアルゴリズムを使用するように構成されている、請求項1に記載のコンピュータ実装方法。
【請求項12】
前記修復用歯科用物体はインプラントのためのクラウンまたはアバットメントである、請求項1に記載のコンピュータ実装方法。
【請求項13】
各臨床例のための人工ニューラルネットワーク(ANN)への入力に適した顎スキャンジオメトリの3D表面上で点サンプルを抽出する、請求項1に記載のコンピュータ実装方法。
【請求項14】
インプラントベースの修復物の新しい臨床例のために、前記方法は、ユーザ設計嗜好、患者顎の3Dスキャンならびに特徴位置物体の3Dスキャンデータからのインプラント位置および向きの入力を受信する工程を含む、請求項1に記載のコンピュータ実装方法。
【請求項15】
患者のために修復用歯科用物体の3D形状の表現を提供するためのコンピュータ実装システムであって、
患者の歯列の少なくとも1つの部分の3Dスキャンの表現を入力するための手段であって、前記3Dスキャンの表現は少なくとも1つのインプラント位置を定めており、前記入力は1つ以上の計算装置上にインストールされた訓練された機械学習システムに対してなされる手段と、
前記訓練された機械学習システムを用いてインプラントのための修復用歯科用物体の3D形状の表現をエンドツーエンドで特定するための手段と
を備えるコンピュータ実装システム。
【請求項16】
1つ以上の計算装置によって複数の前から存在する治療用3Dデータセットを用いて機械学習システムをエンドツーエンドで訓練するための手段をさらに備える、請求項15に記載のコンピュータ実装システム。
【請求項17】
コンピュータベースのエンドツーエンド機械学習モデルを適用するための手段を備える、請求項15に記載のコンピュータ実装システム。
【請求項18】
機械学習システムを訓練するためのコンピュータ実装方法であって、前記機械学習システムは1つ以上の計算装置にインストールされており、前記方法は前記機械学習システムを複数の前から存在する治療用3Dデータセットによりエンドツーエンドで訓練する工程を含み、前記前から存在する3Dデータセットは患者の歯列の3D画像および患者の修復用歯科用物体の表現の3D形状を含むコンピュータ実装方法。
【請求項19】
機械学習システムを訓練するためのコンピュータ実装システムであって、前記機械学習システムは1つ以上の計算装置にインストールされており、前記システムは前記機械学習システムを複数の前から存在する治療用3Dデータセットによりエンドツーエンドで訓練するための手段を備え、前記3Dデータセットは、前記機械学習システムの一方のエンドに入力として患者の歯列の3D画像と他方のエンドに出力として患者の修復用歯科用物体の表現の3D形状とを含むコンピュータ実装システム。
【請求項20】
請求項1に記載の方法によって生成されたカスタムインプラントのためのアバットメントまたはクラウンである設計からカスタマイズされ製造された修復用要素。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動修復物設計のためのコンピュータ実装方法またはシステムに関する。本発明は、自動修復物設計のコンピュータ実装方法またはシステムのための機械学習アルゴリズムを利用することができる。修復物設計は、インプラントのためのアバットメントまたはクラウンあるいは歯根のためのクラウンなどの修復用歯科用物体の設計を含んでもよい。デジタルプロセッサで実行された場合に本方法を行うためのソフトウェアが提供される。修復用歯科用物体を製造することも本発明の範囲内に含まれる。
【背景技術】
【0002】
インプラントによる単歯置換療法のための修復および外科手術計画の設計提案は、典型的には歯科技工所または歯科医院においてデスクトップベースの歯科用CAD/CAMソフトウェアを用いて生成される。当該計画は典型的には歯科技工士および/または臨床医によって、このソフトウェアを用いて手動で生成される。場合によっては、歯科技工士および/または臨床医は当該計画を協働で策定して、臨床医および患者の治療ソリューションの期待を満たす臨床的に関連する設計を達成する。カスタマイズされた単歯置換のための計画を生成、見直しおよび受諾するこのプロセスは、最低でも数時間から数日以上の時刻の経過を要する。
【0003】
あるいは、アナログ印象(歯科技工所または集中型製造業者によってスキャンされた患者の口の印象からの鋳造模型)またはデジタル印象(口腔内スキャン)を取り、そのスキャンデータは、集中型設計および製造センターへの発注の一部として転送される。設計提案は従来の方法によって初期化され、典型的には必要に応じてアバットメント設計技術者(ADT)によって見直しおよび調整される。次いで設計提案は、様々な2次元および3次元の閲覧および編集用のデスクトップもしくはウェブベースのソフトウェアアプリケーションを用いて、注文を行った関係者たちと共有することができる。顧客はその計画を承諾する前に、設計提案を見直して変更を行う機会を有することができる。デスクトップベースのCAD/CAMソフトウェアの場合と同様に、模型またはスキャンデータの受け取りから設計提案の受け取りまでの時刻の経過は数時間から数日の範囲である。また集中型製造受託機関による現在のワークフローは、彼らの患者固有の設計提案を得るために様々な異なるソフトウェアおよびシステムを使用するために治療ソリューションプロバイダを必要とする。これらの電子環境のいくつかは完全に統合または接続されておらず、それにより完全なワークフローの利用が有用性の観点から困難になる。
【0004】
上に列挙されているいずれかの状況の場合に、歯置換治療ソリューションプロバイダは現時点では、彼らが収集する入力データ(すなわち模型またはデジタル印象のスキャン)と彼らが必要とする出力(すなわち患者固有の治療ソリューション提案)との間でかなりの遅延に常に遭遇する。
【0005】
入出力間の遅延は、治療ソリューションプロバイダのフラストレーションおよび金銭的損失の主要源である。場合によっては、患者が歯科医院を出てから数時間または数日後にさらなるアナログもしくはデジタル印象が必要とされることが決まる。この「再作業」は、治療ソリューションプロバイダが請求することができないさらなる患者の来院を必要とする。
【0006】
治療ソリューションプロバイダは現時点では、彼らの医院内システムまたは彼らの集中型製造業者のいずれかからの患者固有の設計提案を生成または受信する前に、治療ソリューションの詳細を明示しなければならない。従って、代わりの治療ソリューションが連続的または反復的にのみ提供される。場合によっては現在のワークフローは臨床的、費用的および他の要求をすべて満たす患者固有の治療ソリューションに達するのに数時間またはさらには数日を要する。
【0007】
歯の置換を求めている患者は典型的に、この遅延期間の間に少なくとも若干の不快感または不都合な状態にある。
【0008】
現在の「その日に歯が入る」システムは、最高級の高度に審美的な患者固有の歯の置換ソリューションを提供することができない。
【0009】
デジタル歯科の進歩にも関わらず、完全に自動的な方法で特定の患者の歯に適合するカスタマイズされた修復用歯科用物体(例えば歯科用アバットメントおよびクラウン)を作製することは非常に困難な問題のままである。歯科用設計ソフトウェアの大部分は、目的の歯科用物体の設計の開始点および提供された最初の設計の修正または調整を可能にするツールのセットをユーザに提供する。この手動の調整のためのユーザの努力を最小限に抑えるために、所与の患者の歯列環境に可能な限り最適に適合する最初の設計を提供できることが重要である。これはいくらかの歯の臨床的知識を必要とする場合がある。そのような歯科用物体を自動的に作製するためのコンピュータ化されたアルゴリズムを設計および実装することは非常に複雑で困難なプロセスであるが、その有効性は開発プロセスに注がれる努力の量によって変わる。
【0010】
設計自動化のための従来の手法は、3Dスキャンデータ上での歯の特徴の中間検出(DFD:歯の特徴検出)に依存することである。通常は各ソフトウェアコンポーネントまたはモジュールはその前のコンポーネントの出力に依存し、その出力品質はその入力品質によって決まり、各コンポーネントでのエラーはプロセス全体を通して容易に伝搬または蓄積される可能性がある。さらに各コンポーネントの機能性は、経験則または公知の規則および制約に基づく特定のアルゴリズムの明示的なプログラミングによって設計され、これはそのようなソフトウェアモジュールを作製する際に複雑さおよび困難を生じる。所望の出力が得られる保証はなく、いくつかの特定の境界事例ではそれがアルゴリズムに含まれていない場合がある。この一連のソフトウェアコンポーネントまたはモジュールの別の欠点は、複雑なアルゴリズムの計算が重くなるというその性質に起因する長い実行時間である。全体的な自動化パイプラインは典型的に、例えば生の入力から開始して最終的な修復物設計を得るのに5~10分を要する。
【0011】
参考文献
-米国特許第6523019B1号に記載されている「訓練データから得られる確率的レコードリンケージモデル(Probabilistic record linkage model derived from training data)」,Choicemaker Technologies社
-米国特許出願公開第2015056576A号に記載されている「コンピュータを利用した歯科用修復物設計(Computer-implemented dental restoration design)」,Glidewell Dental Ceramics社
-米国特許出願公開第2018/0028294A1号に記載されている「ディープラーニングを用いた歯科用CADの自動化(Dental CAD Automation Using Deep Learning)」および米国特許第9814549B2号に記載されている「修復歯科で使用するための歯の柔軟な歯列弓模型を作製するための方法(Method for creating flexible arch model of teeth for use in restorative dentistry)」
-米国特許出願公開第2017/0095319号、米国特許第9504541号、米国特許出願公開第2007/0154868号、米国特許第7551760号、米国特許第7362890号、米国特許出願公開第2008/0002869号および米国特許出願公開第2006/0072810号(これらも全て参照により含まれる)
-米国特許出願公開第20160224690A1号に記載されている「表面細部を統計学的技術を用いて作成されたデジタルのクラウンモデルに追加するためのシステムおよび方法(System and Method for Adding Surface Detail to Digital Crown Models Created Using Statistical Techniques)」
-Ronald S.Scharlack,Alexander Yarmarkovich,Bethany Grant,歯科用インプラントのためのカスタム修復物を設計するための方法およびシステム(Method and system for designing custom restorations for dental implants),国際特許の国際公開第2007081557A1号
-Charles R.Qi,Hao Su,Kaichun Mo,Leonidas J.Guibas,PointNet:3D分類およびセグメント化のための点集合に関するディープラーニング(Deep Learning on Point Sets for 3D Classification and Segmentation),CVPR2017
【発明の概要】
【0012】
本発明の目的は、カスタマイズされた歯科補綴物の自動化コンピュータベースの設計を提供することにある。好ましくは、本発明の実施形態は従来の方法に対する改良を表す。
【0013】
本発明の実施形態は、自動修復物設計のコンピュータ実装方法またはシステムを利用することができる。本発明の実施形態は、例えば好ましくは自動修復物設計のコンピュータ実装方法またはシステムのための機械学習アルゴリズムを利用する。この修復物設計は、インプラントのためのアバットメントあるいはインプラントまたは歯根のためのクラウンなどの修復用物体の設計を含んでもよい。
【0014】
カスタムアバットメントおよびクラウンの自動設計のためのコンピュータベースの方法またはシステムは、インプラント上の単歯修復物または単歯の歯根のためのクラウンのためのものであってもよい。デジタルプロセッサで実行された場合に本方法を行うためのソフトウェアが提供される。対応するカスタマイズされた修復用物体(カスタマイズされたアバットメントおよびクラウン)を製造することも含まれる。
【0015】
本発明の実施形態は好ましくは、人工ニューラルネットワーク(ANN)を介して問題領域において入出力をエンドツーエンド接続し、かつデータのどんな中間形態にも依存することなく本システムを既知のデータセットで訓練して入出力間の直接的パターンを見つけること、すなわちエンドツーエンドで動作させることにより歯科設計修復物の問題を解決することに基づいている。
【0016】
そのような方法は、基礎となるパラメータベースの修復物モデルの具体例を利用することができる。本発明の実施形態は、あらゆる特定のパラメトリック修復物モデルに適用することができる。
【0017】
一態様では本発明の実施形態は、インプラント上の単歯修復物のためのカスタムアバットメントおよびクラウンまたは単歯の歯根上のクラウンの自動設計のためのコンピュータベースの方法であって、
1)例えばスキャンするかアーカイブから検索することにより患者の口の3D画像を得る工程と、
2)コンピュータベースのエンドツーエンド機械学習モデルを適用する工程と
を含む方法に関する。
【0018】
当該出力は、アバットメントまたはクラウンを定めるパラメータのセットなどの形状の表現などの自動化出力であってもよい。これらのパラメータはパラメトリックモデリングの一部であってもよい。パラメトリックモデリング技術を用いてデジタルプロセッサで実行された場合に本方法を行うためのソフトウェアが提供される。アバットメントまたはクラウンの形状の表現の出力は、患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に得ることができる。当該出力は例えばI/Oポートまたはインタフェースを介して提供されてもよい。
【0019】
対応するカスタマイズされた修復用歯科用物体(カスタムアバットメントおよびクラウン)を製造することも含まれる。
【0020】
本出願の好ましい実施形態は、インプラント上の単歯修復物のためのカスタムアバットメントおよびクラウンまたは単歯の歯根上のクラウンのMLベースの(機械学習ベースの)自動設計を含む。以下:
-自動化外科手術計画、
-スキャンデータ(CBCTおよび表面スキャンデータ)のレジストレーションならびに歯のセグメント化、
-歯の特徴検出、
-外科手術ガイド設計
は必ずしも本発明の実施形態の一部ではなく、好ましくは一部ではない。
【0021】
本発明の態様は、以下の特徴を含む。
-顎、軟組織および歯の解剖学的構造における全てが互いに対するインプラント位置を含む患者の解剖学的構造のスキャンされたデータまたは測定値に基づく、インプラントのためのカスタムアバットメントまたはクラウンあるいは単歯の歯根のためのクラウンのコンピュータベースの設計。本発明の実施形態は、FLO(特徴位置物体)と呼ばれる基準装置を用いてインプラント外科手術後に患者の口の模型をスキャンして必要とされる測定値を得ることを含んでもよい。
-カスタムアバットメントまたはクラウンのコンピュータベースの設計は完全にパラメトリックであってもよく、このジオメトリは、十数個のパラメータ、二十数個のパラメータ、五十または六十数個のパラメータなどの複数のパラメータの値によって一意的に定めることができる。
-本発明の実施形態は基礎となる標的モデルのためのパラメータのセットを作成して出力する。当該出力は、例えばI/Oポートまたはインタフェースを介して提供されてもよい。
【0022】
本発明の実施形態は、コンピュータベースの技術プラットフォームの中に統合することができる。本発明の実施形態における人工知能および機械学習の使用は、従来の方法では解決することが非常に難しい特定の問題を解決するために非常に有効であることが証明された。本発明の実施形態は、自動のインプラントベースの修復物設計の問題の定式化および/または治療計画の決定、この問題の解決に関するものであってもよい。修復用歯科用物体はアバットメントおよびクラウンを含む。本発明の実施形態はコンピュータに実装された人工ニューラルネットワーク(ANN)を利用することができる。本発明の実施形態は、当該出力が目的の歯科用物体のパラメータ値および3D形状を得ることができるパラメータ値または表現を含むように、ANNを有効に訓練することおよび所望のセットの設計パラメータを入力データから予測することを含んでもよい。これらのパラメータ値またはその表現は高い正確性で出力することができる。これらのパラメータ値またはその表現は非常に速く(例えばデータスキャンの受信後5分未満、1分未満または30秒以内で)出力することができ、専門家である人間の設計者によって作成されるものに匹敵する品質を得ることができる。本発明の実施形態はANNをエンドツーエンドで訓練することを含む。それらは、患者の口の3D画像を(例えばI/Oポートまたはインタフェースを介して)入力すること、コンピュータベースのANNにおいてこれらを処理すること、およびパラメータ値または表現を(例えばI/Oポートまたはインタフェースを介して)出力することを含む動作モードで、訓練されたコンピュータベースのANNを実行することも含んでもよく、そこから目的の歯科用物体のパラメータ値および3D形状をエンドツーエンドで得ることができる。
【0023】
本発明の実施形態は、3D畳み込みニューラルネットワーク(CNN)に基づくコンピュータに実装されるANNを作成する方法を含む。本発明の実施形態は、回帰問題を分類問題に変換するための有効な方法を含む。本発明の実施形態は、各設計パラメータが表される異なる座標系を反映するためにどのように入力データを良好もしくは最適な方法で生成するかという特定の方法も含んでもよい。また個々のパラメータまたはパラメータのグループを訓練のために使用することができるように、ニューラルネットワークを訓練するために階層構造を提供することができる。最終的な設計に対してより大きい影響を有するパラメータを重要性の低いパラメータの訓練または予測のために使用することができる。従って階層構造は、同じパラメトリックモデルの他のパラメータに対する1つ以上のパラメータ(これは修復用歯科用物体などの構造の全体的形状を定めるために使用される)の重要性の順位を指す。階層内でのレベルとは無関係に当該パラメータは全てアバットメント全体、クラウン全体などに関する。
【0024】
さらに追加または代わりとして階層的予測構造を提供して、例えばそれらの間の依存性を考慮して単一のパラメータ値または複数のパラメータのセットを予測することができる。クラウン(すなわち完全な3D修復物ではない)の歯の特徴検出(DFD)または2D輪郭イメージングは本発明に係る任意の中間入力または出力であるが、それらは患者の顎の直接的な3D画像(例えば点群)を入力することと比較してあまり好ましくないだけでなく、それらは不要でもある。故に本発明の実施形態に係る出力は、DFD結果または2D輪郭イメージングなどのあらゆる中間結果に依存する必要はない。
【0025】
本発明の実施形態は、「モデルベースの」予測システムおよび方法を提供する。本システムまたは方法の出力は、歯科用物体の3D形状のモデルパラメータまたはモデルパラメータの表現、例えば患者のために必要とされるアバットメントおよびクラウンなどの修復用歯科用物体を定める数であってもよいパラメータ値である。本発明の実施形態に係るコンピュータベースのMLシステムまたは方法によって予測されると、これらのパラメータを使用してアバットメントおよびクラウンなどの修復用歯科用物体の完全な3D形状、位置および向きを一意的に定めることができる。この形状を計算するために、パラメータ値を基礎となる3Dパラメトリックモデルに供給することができる。
【0026】
本発明の実施形態は、モデルパラメータが表すことができる値の範囲の分割に関連づけられた「確率ベクトル」を利用することができ、例えばモデルパラメータの範囲をそれぞれがより小さい範囲を有する多くのビンに分割する。これにより回帰問題を各ビンがクラスである分類問題に変換する。本発明の実施形態は、入力データの事前の「セグメント化」、例えば3次元画像データのセグメント化または3D表面の異なる領域へのセグメント化を必要としない。
【0027】
本発明の実施形態は、歯科用治療サービスプロバイダが集中型模型製造受託機関と対話する方法に革命を起こすコンピュータベースのワークフローを提供するためのシステムおよび方法を含む。本発明の実施形態は、マイクロプロセッサなどの処理エンジンで実行された場合に本発明の方法のいずれかを行うソフトウェアを提供することができる。本発明の実施形態は、以下の特徴のいずれかまたは全てを含んでもよい。
1)入力として患者の口の歯または顎の表面の光学スキャンを撮影して、好ましくは1つ以上のインプラント位置の自動検出を含む3D表面データを得、かつこのデータを共有することを含む方法。歯または顎の既存のスキャンを使用することができる。スキャンされた画像は好ましくは2D画像ではなく、点群または三角メッシュなどの3D画像である。3Dスキャンは光学スキャン装置によるものであってもよい。スキャンはX線、MRI、CTスキャンなどの医用画像取得方法によりものであってもよいが、これはあまり好ましくない。
2)例えば3D入力画像のデータおよび既存の履歴事例の結果などの生データによる機械学習方法およびシステムを用いてエンドツーエンドで訓練することにより、完成に成功した既存の過去の事例の結果に基づくアバットメントおよびクラウンなどの修復用歯科用物体のMLベースの自動設計、および
3)患者または顧客が自身が受ける治療の詳細を見ることができるかその主導権を握るように、好ましくは使用が容易なグラフィックスエディタを介して例えば2Dもしくは3Dグラフィックスの形態で患者または顧客に設計を提示する方法。これらの方法は数秒以内に完了することができ、これは潜在的に、「まだ歯科医師の椅子にいる」間に治療ソリューションを患者と共有するという可能性を広げる。患者に形状を提示するために使用することができるアバットメントまたはクラウンの形状の表現の出力は、患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に得ることができる。
【0028】
本発明の実施形態であるワークフロー方法はあらゆる作業の注文がなされる前に行うことができる。入力(例えば、好ましくは点群の形態の3Dスキャンデータである生のスキャンデータ)と出力(すなわち患者固有の修復物設計)との間に経過時刻の遅延が本質的に全く存在しない。
【0029】
本発明の実施形態に係るデジタルワークフローは、既存の注文トンネルおよび下流の「バックオフィス」ソフトウェア要素から完全に切り離されている一連の接続された好ましくはクラウドベースのソフトウェアサービスを含む。
【0030】
本発明の一実施形態は、以下の要素および機能性のうちの1つ、いくつかまたは全てを含んでもよい。
1)スキャンデータ(例えば点群であってもよい3Dスキャンデータの形態)および患者の口の3D画像を含む測定されるかストレージから取り出されるアップロード。
2)自動化FLO検出およびいくつかの補助的製品が特定の最小のスキャン品質を必要とするようなスキャン品質チェック。
3)コンピュータに実装されたMLアルゴリズムに基づく設計パラメータの推定。MLアルゴリズムは、人間の専門家によって完成された既存の事例により訓練されている。MLアルゴリズムは、ユーザが行っている設計に対する変更をキャプチャするように構成することができる。MLアルゴリズムが「動的」かつ顧客固有のモデルを案出するように、これらの変更を訓練に組み込むことができる。
4)患者などのユーザと共有することができる設計提案。これは、例えばウェブベースの高性能化UXビューア/エディタを用いてグラフィックスを患者に提示することにより行うことができる。
5)任意に、臨床医が患者に治療計画提案を提示するのを支援するための拡張現実を用いるソフトウェアアプリケーション。
6)簡素化された(例えば1回のクリックでの)注文ボタンまたはアイコンが好ましくはビューア/エディタユーザインタフェースの中に直接構築されている。
7)任意に、顧客が承認した患者固有の設計を集中型製造プロセスへの入力として受け取る「バックオフィス」における一連の接続されたソフトウェア。この設計は集中型製造受託機関によって利用可能である。
8)集中型製造プロセスからの出力は、実際に作成されて送付される(任意に顧客への費用に基づいて売り上げが請求される)デジタルおよび製造された様々なカスタマイズされた修復用製品を含んでもよい。これらの製品は、ダウンロードして例えば切削加工などの除去加工または金属への3D印刷などの積層造形あるいは顧客の歯科技工所または患者の椅子の傍らで使用される他の製造方法によって最終的な修復物を製造する際に使用するために顧客のウェブベースのアカウントページに表示される、STLまたはそれ以外の適当なフォーマットでのコア、アバットメントまたはクラウンのデジタルファイルを含む。製造されるカスタマイズされる歯科用物体は、アバットメント、クラウンおよび補助的なカスタマイズされた製品を含む出力オプションでもある。そのようなワークフローは、「翌日仕上がり」の永久的な最高級の高度に審美的な患者固有の歯の置換ソリューションならびにTiBaseストックソリューションおよびカスタマイズされたメソ構造体(すなわち完全な修復物)が十分な臨床的ソリューションとみなされる「同日仕上がり」の患者固有のソリューションを可能にする。
【0031】
要約すると本発明の実施形態は、カスタマイズされた臨床的に関連する設計、例えば少なくとも1本の歯の置換療法のための治療計画/ソリューションを必要に応じてリアルタイムで提供して患者固有の治療ソリューションの有効性および実行の即時確認を可能にすることにより上記問題を解決するための方法、システム、装置およびソフトウェアを提供する。治療ソリューションプロバイダは、どの治療ソリューションが全ての要求を満たすかを分かっている場合には、再作業または遅延を必ずしも経験するわけではない。患者のために不快感および不都合が最小限に抑えられ、同時に永久的な審美的ソリューションを提供することができる。本発明の実施形態は、計算アルゴリズムおよびソフトウェアサービスを組み合わせて全体的に高価値の新しいデジタルワークフローにすることができる。改良された結果を達成するこれらの要素の組み合わせは、この分野の専門家には完全に明らかではない。成功的な手法の開発および実証は、特定の結果が事前に分かっていないか予測されていない試行錯誤および対照実験を必要とした。
【0032】
本発明の実施形態の利点は以下のいずれか、いくつかまたは全てである。
-即時すなわち迅速設計。アバットメントまたはクラウンの形状の表現の出力は患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に得ることができる。
-従来の設計自動化手法を用いた場合のように患者固有の環境の関数で歯科用物体の形状を決定するために明示的な手作業で作られる複雑なアルゴリズムを書く必要がない。
-歯科用物体の設計に対するブラックボックス手法、すなわちそれらが臨床的意味を有するように形状パラメータに対する制御を行う、すなわち形状パラメータ(例えば、アバットメントマージンの幅、アバットメントコアの高さなど)を定めるための能力は不要である。これは、所望であれば自動設計後でも設計の特定の特徴を容易に修正することができることを示唆している。
【0033】
本発明の実施形態を以下のとおり記載することができる。
【0034】
第1条項:機械学習システムを訓練するためのコンピュータ実装方法であって、機械学習システムは1つ以上の計算装置にインストールされており、本方法は機械学習システムを複数の前から存在する治療用3Dデータセットにより訓練する工程を含み、3Dデータセットは、機械学習システムの一方のエンドに入力として患者の歯列の3D画像と他方のエンドに出力として患者の修復用歯科用物体の表現の3D形状とを含む方法。
【0035】
複数の前から存在する治療用3Dデータセットを用いて機械学習システムを訓練する工程は、エンドツーエンドで行うことができる。
【0036】
第2条項:患者のために修復用歯科用物体の3D形状の表現を提供するためのコンピュータ実装方法であって、
患者の歯列の少なくとも1つの部分の3Dスキャンの表現を訓練された機械学習システムに(例えばI/O装置またはインタフェースを介して)入力する工程であって、3Dスキャンの表現は少なくとも1つのインプラント位置を定めており、機械学習システムは1つ以上の計算装置にインストールされている工程と、
訓練された機械学習システムを用いてインプラントのための修復用歯科用物体の3D形状の表現を特定する工程であって、表現の出力は患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に得ることができる工程と
を含む方法。
【0037】
特定する工程はエンドツーエンドで行うことができる。
【0038】
第3条項:患者のために修復用歯科用物体の3D形状の表現を提供するためのコンピュータ実装方法であって、
1つ以上の計算装置によって複数の前から存在する治療用3Dデータセットを用いて機械学習システムを訓練する工程と、
1つ以上の計算装置によって、少なくとも1つのインプラント位置を定めている患者の歯列の少なくとも1つの部分を表している患者の3Dスキャンデータを受信する工程と、
訓練された機械学習装置を用いてインプラントのための修復用歯科用物体の3D形状の表現を特定する工程と
を含む方法。表現を特定する工程は、患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に行うことができる。
【0039】
複数の前から存在する治療用3Dデータセットを用いて機械学習システムを訓練する工程はエンドツーエンドで行うことができる。
【0040】
第4条項:特定する工程はエンドツーエンドで行う、第3条項に係るコンピュータ実装方法。
【0041】
第5条項:コンピュータベースのエンドツーエンド機械学習モデルを適用する工程を含む、第1条項~第4条項のいずれかに係るコンピュータ実装方法。
【0042】
第6条項:機械学習システムはニューラルネットワークである、第1条項~第4条項のいずれかに係るコンピュータ実装方法。
【0043】
第7条項:ニューラルネットワークはCNNからなる、第〇条項に係るコンピュータ実装方法。
【0044】
第8条項:受信する工程は患者の口のスキャンされた3D画像またはアーカイブから検索された患者の口の3D画像を受信することを含む、第2条項~第5条項のいずれかに係るコンピュータ実装方法。
【0045】
第9条項:特定する工程は修復用歯科用物体の3D形状を生成することを含む、第2条項~第8条項のいずれかに係るコンピュータ実装方法。
【0046】
修復用歯科用物体は、インプラントへの直接的な取り付けのためのものであっても1つ以上の媒介物を介するものであってもよい。
【0047】
第10条項:3D形状は自由形式の3D形状ではなくパラメータのセットによって定められるパラメトリックモデルである、第9条項に係るコンピュータ実装方法。
【0048】
第11条項:各パラメータの値の第1の範囲はより小さい第2の範囲のビンのセットに分けられており、かつ機械学習装置は特定のパラメータが属している正しいビンを推定するように構成されている、第10条項に係るコンピュータ実装方法。
【0049】
第12条項:パラメータは歯表面の解剖学的構造の特性、歯列または修復物の種類に関するものであるかそれらを表している、第11条項に係るコンピュータ実装方法。
【0050】
第13条項:訓練された機械学習システムの出力は、アバットメントまたはクラウンを定めるパラメータのセットとして表される3D形状の表現である、第10条項、第11条項または第12条項に係るコンピュータ実装方法。
【0051】
第14条項:パラメータのセットはパラメトリックモデリングの一部である、第13条項に係るコンピュータ実装方法。
【0052】
第15条項:機械学習システムは識別的MLアルゴリズムを使用するように構成されている、第1条項~第14条項のいずれかに係るコンピュータ実装方法。
【0053】
第16条項:患者の歯列は上顎および/または下顎、支台歯形成された顎と対向する顎、喪失歯、インプラントおよび歯の番号を含む、第1条項~第15条項のいずれかに係るコンピュータ実装方法。
【0054】
第17条項:修復用歯科用物体はインプラントのためのクラウンまたはアバットメントである、第1条項~第16条項のいずれかに係るコンピュータ実装方法。
【0055】
第18条項:点サンプルは、各臨床例のための人工ニューラルネットワーク(ANN)への入力に適した顎スキャンジオメトリの3D表面で抽出される、第1条項~第17条項のいずれかに係るコンピュータ実装方法。
【0056】
第19条項:パラメトリックモデルは、入力データを全ての前から存在する治療用3DデータセットのためのANNの出力である修復用歯科用物体設計パラメータにエンドツーエンドでマッピングすることによりANNを用いて訓練される、第1条項~第18条項のいずれかに係るコンピュータ実装方法。
【0057】
第20条項:訓練された機械学習モデルはネットワーク位置にコンピュータファイルのセットとして保存される、第19条項に係るコンピュータ実装方法。
【0058】
第21条項:ビンに分類されたパラメトリック値を使用して、3D画像の入力により新しい臨床例のためのパラメトリック値を決定する工程をさらに含む、第19条項または第20条項に係るコンピュータ実装方法。
【0059】
第22条項:インプラントベースの修復物の新しい臨床例のための第3条項~第21条項のいずれかに係るコンピュータ実装方法であって、ユーザ設計嗜好、患者顎の3Dスキャンならびに特徴位置物体の3Dスキャンデータからのインプラント位置および向きの入力を受信する工程を含む方法。
【0060】
第23条項:顎スキャンジオメトリの3D表面上のサンプルは訓練のために使用されたものと同じフォーマットで抽出される、第18条項~第22条項のいずれかに係るコンピュータ実装方法。
【0061】
第24条項:受信した入力データを1つ以上の計算装置に送信し、当該装置はその要求を処理し、かつ訓練されたANNモデルを用いて予測された設計パラメータのセットを返す、第22条項または第23条項に係るコンピュータ実装方法。
【0062】
第25条項:3Dモデルの修復用歯科用物体は予測された設計パラメータから再構築され、かつユーザに提示されるようにレンダリングされる、第24条項に係るコンピュータ実装方法。
【0063】
第26条項:第1条項~第25条項のいずれかに係る歯科用物体を製造するコンピュータ実装方法であって、アバットメントまたはクラウンの再構築された形状に従って歯科用物体を製造する方法。
【0064】
第27条項:機械学習システムを訓練するためのコンピュータ実装システムであって、機械学習システムは1つ以上の計算装置にインストールされており、機械学習システムを複数の前から存在する治療用3Dデータセットにより訓練するための手段を備え、3Dデータセットは、機械学習システムの一方のエンドに入力として患者の歯列の3D画像と他方のエンドに出力として患者の修復用歯科用物体の表現の3D形状とを含むシステム。
【0065】
複数の前から存在する治療用3Dデータセットを用いて機械学習システムを訓練する工程はエンドツーエンドで行うことができる。
【0066】
第28条項:患者のために修復用歯科用物体の3D形状の表現を提供するためのコンピュータ実装システムであって、
患者の歯列の少なくとも1つの部分の3Dスキャンの表現を(例えばI/Oポートまたはインタフェースを介して)入力するための手段であって、3Dスキャンの表現は少なくとも1つのインプラント位置を定めており、入力は1つ以上の計算装置上にインストールされた訓練された機械学習システムに対してなされる手段と、訓練された機械学習システムを用いてインプラントのための修復用歯科用物体の3D形状の表現を特定するための手段とを備え、表現の出力は患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に得ることができるシステム。
【0067】
特定する工程は、エンドツーエンドで行うことができる。
【0068】
第29条項:患者のために修復用歯科用物体の3D形状の表現を提供するためのコンピュータ実装システムであって、
1つ以上の計算装置によって複数の前から存在する治療用3Dデータセットを用いて機械学習システムを訓練するための手段と、
1つ以上の計算装置によって、少なくとも1つのインプラント位置を定める患者の歯列の少なくとも1つの部分を表している患者の3Dスキャンデータを受信するための受信機と、
訓練された機械学習装置を用いてインプラントのための修復用歯科用物体の3D形状の表現を特定するための手段と
を備えるシステム。
【0069】
表現の特定は、患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に行うことができる。
【0070】
複数の前から存在する治療用3Dデータセットを用いて機械学習システムを訓練する工程はエンドツーエンドで行うことができる。
【0071】
第30条項:特定するための手段はエンドツーエンドで動作するように構成されている、第29条項に係るコンピュータ実装システム。
【0072】
第31条項:コンピュータベースのエンドツーエンド機械学習モデルを適用するための手段を備える、第27条項~第30条項のいずれかに係るコンピュータ実装システム。
【0073】
第32条項:機械学習システムはニューラルネットワークである、第27条項~第31条項のいずれかに係るコンピュータ実装システム。
【0074】
第33条項:ニューラルネットワークはCNNである、第32条項に係るコンピュータ実装システム。
【0075】
第34条項:受信機は患者の口のスキャンされた3D画像またはアーカイブから検索された患者の口の3D画像を受信するように構成されている、第29条項~第33条項のいずれかに係るコンピュータ実装システム。
【0076】
第35条項:特定するための手段は修復用歯科用物体の3D形状を生成するように構成されている、第27条項~第34条項のいずれかに係るコンピュータ実装システム。
【0077】
修復用歯科用物体は、インプラントへの直接的な取り付けのためのものであっても1つ以上の媒介物を介するものであってもよい。
【0078】
第36条項:3D形状は自由形式の3D形状ではなくパラメータのセットによって定められるパラメトリックモデルである、第35条項に係るコンピュータ実装システム。
【0079】
第37条項:各パラメータの値の第1の範囲はより小さい第2の範囲のビンのセットに分けられており、かつ機械学習装置は特定のパラメータが属している正しいビンを推定するように構成されている、第36条項に係るコンピュータ実装システム。
【0080】
第38条項:パラメータは歯表面の解剖学的構造の特性、歯列または修復物の種類に関するものであるかそれらを表している、第37条項に係るコンピュータ実装システム。
【0081】
第39条項:訓練された機械学習システムの出力は、アバットメントまたはクラウンを定めるパラメータのセットとして表される3D形状の表現である、第37条項または第38条項に係るコンピュータ実装システム。
【0082】
第40条項:パラメータのセットはパラメトリックモデリングの一部である、第39条項に係るコンピュータ実装システム。
【0083】
第41条項:機械学習システムは識別的MLアルゴリズムを使用するように構成されている、第27条項~第40条項のいずれかに係るコンピュータ実装システム。
【0084】
第42条項:患者の歯列は上顎および/または下顎、支台歯形成された顎と対向する顎、喪失歯、インプラントおよび歯の番号を含む、第27条項~第41条項のいずれかに係るコンピュータ実装システム。
【0085】
第43条項:修復用歯科用物体はインプラントのためのクラウンまたはアバットメントである、第27条項~第42条項のいずれかに係るコンピュータ実装システム。
【0086】
第44条項:点サンプルは、各臨床例のための人工ニューラルネットワーク(ANN)への入力に適した顎スキャンジオメトリの3D表面で抽出される、第27条項~第43条項のいずれかに係るコンピュータ実装システム。
【0087】
第45条項:パラメトリックモデルは、入力データを全ての前から存在する治療用3DデータセットのためのANNの出力である修復用歯科用物体設計パラメータにエンドツーエンドでマッピングすることによりANNを用いて訓練される、第27条項~第44条項のいずれかに係るコンピュータ実装システム。
【0088】
第46条項:訓練された機械学習モデルはコンピュータファイルのセットとしてネットワーク位置に記憶される、第45条項に係るコンピュータ実装システム。
【0089】
第47条項:ビンに分類されたパラメトリック値を使用して、3D画像の入力により新しい臨床例のためのパラメトリック値を決定する工程をさらに含む、第45条項または第46条項のいずれかに係るコンピュータ実装システム。
【0090】
第48条項:インプラントベースの修復物の新しい臨床例のために、ユーザ設計嗜好、患者顎の3Dスキャンならびに特徴位置物体の3Dスキャンデータからのインプラント位置および向きの入力を受信する工程を含む、第28条項~第47条項のいずれかに係るコンピュータ実装システム。
【0091】
第49条項:顎スキャンジオメトリの3D表面上のサンプルは訓練のために使用されたものと同じフォーマットで抽出される、第44条項~第48条項のいずれかに係るコンピュータ実装システム。
【0092】
第50条項:受信した入力データを1つ以上の計算装置に送信し、当該装置はその要求を処理し、かつ訓練されたANNモデルを用いて予測された設計パラメータのセットを返す、第48条項または第49条項に係るコンピュータ実装システム。
【0093】
第51条項:3Dモデルの修復用歯科用物体は予測された設計パラメータから再構築され、かつユーザに提示されるようにレンダリングされる、第50条項に係るコンピュータ実装システム。
【0094】
第52条項:アバットメントまたはクラウンの再構築された形状に従って歯科用物体を製造するように構成されている、第27条項~第51条項のいずれかに係るコンピュータ実装システム。
【0095】
第53条項:第1条項~第26条項のいずれかに係るパラメトリックモデルを記憶しているか、プロセッサを制御して第1条項~第26条項のいずれかに係る方法を実行するためのプロセッサ実行可能命令を記憶している記憶媒体。
【0096】
第54条項:プロセッサを制御して第1条項~第26条項のいずれかに係る方法を実行するためのプロセッサ実行可能命令。
【0097】
第55条項:デジタルプロセッサで実行された場合にパラメトリックモデリング技術を用いて第1条項~第26条項に係る方法のいずれかを行うためのソフトウェアを含むコンピュータ製品。
【0098】
第56条項:第1条項~第26条項に係る方法のいずれかによって生成された、任意にインプラントのためのカスタムアバットメントまたはクラウンである設計から作られたカスタマイズされた修復用要素を製造すること。
【図面の簡単な説明】
【0099】
図1】本発明の一実施形態に係る自動アバットメント設計のエンドツーエンド入出力。左:患者の顎の生の3D光学スキャン。右:所与のインプラント位置および向きに基づくアバットメント設計。
図2】本発明の一実施形態に係るネットワーク。
図3】本発明の一実施形態に係る機械学習を用いた修復用歯科用物体の自動設計のための方法およびシステムを示す。
図4】本発明の一実施形態に係る、設計された修復用物体の関連する回転値を含むインプラント座標系に変換された入力スキャンの例。
図5】本発明の一実施形態に係る、3D占有グリッドを用いたインプラント座標系における入力スキャンの表面点のサンプリング。
図6】本発明の一実施形態に係る、3D占有グリッドと組み合わせられた3DCNNおよび補助入力を用いたニューラルネットワークアーキテクチャ。
図7】本発明の一実施形態に係る、ニューラルネットワーク構造におけるSoftmax演算およびその通常の配置。
図8】本発明の一実施形態に係る、ANNモデルを訓練し(左)、かつ訓練したモデルを用いて設計を予測する(右)プロセス。
図9】最終使用者の要求に応じて訓練された修復物設計モデルをクラウドサーバから直接提供することができる、本発明の一実施形態に係るクライアントサーバシステム。
図10】他の方法と比較している歯#5の17632個のサンプルで訓練した後に776個の検証セットに対して測定されたx度の回転パラメータ内での正確性を示す。第1の列:x度内での正確性;0=完全な一致。第2の列:本発明者らの新しい方法(3DCNNベース)を用いて得られた正確性および所与の正確性に含まれる事例の数。第3の列:非線形多次元数値最適化に基づく本発明の方法を用いて得られた正確性。第4の列:それぞれが12人の異なる人間の設計者によって設計された25個の異なる事例に対して測定された正確性(計300個のサンプル)。
図11】0.5mm(第1の列)および1.0mm(第2の列)内の選択されたアバットメント形状パラメータの測定正確性をそれぞれ示す。その結果は、本発明の一実施形態に係る上側左後方(歯#2,3,4,5)の約70,000個の訓練サンプルおよび約7000個の検証サンプルに基づいている。
図12】上の行:人間の設計者によって作成されたアバットメント設計を示す。下の行:本発明の実施形態に係る機械学習モデルによって予測されたアバットメント設計を示す。
図13】上の行:人間の設計者によって作成されたクラウン設計を示す。下の行:本発明の実施形態に係る本発明者らの機械学習モデルによって予測されたクラウン設計を示す。
図14】本発明の実施形態に係るMLベースの方法と従来の最適化方法とのアバットメント設計の合格率の比較を示す。5人の異なる専門家である人間の設計者は各設計を作成した方法を知らされずに、2つの異なる方法により作成された100個の事例を検査した。
【発明を実施するための形態】
【0100】
定義
「確率ベクトル」:確率ベクトルはモデルパラメータの値の範囲の分割と関連づけられる。例えば単一のパラメータ値の可能な範囲をビンに区分してもよく、ビンをそれぞれパラメータの推定される値が特定のビンが表す部分範囲に含まれる確率と関連づける。従ってパラメータの正確な値は必要ではなく、単にその確率は計算されたパラメータ値が1つのビンの範囲内にあるという確率である。故にパラメータ値は分類され、回帰されない。
【0101】
「修復用物体」:インプラントのためのアバットメントおよびシングルインプラントまたは単歯の歯根のためのクラウンを含む。
【0102】
「エンドツーエンドモデル」:機械学習では通常「ディープラーニング」がセットアップされ、エンドツーエンドモデルが元の入力(x)と最終的な出力(y)との間で生じ得る全ての特徴を学ぶ。本事例ではxは患者の口の3D画像を指し、yはパラメータ値を指す。
【0103】
「エンドツーエンド」という用語は本明細書で使用される場合、訓練された後に、通常はソフトウェアコンポーネントの従来のパイプラインにおいて行われる中間工程を迂回しながら、入力データを出力予測に直接変換することができる機械学習モデルを有する本発明の実施形態に係る方法およびシステムを指す。本発明の実施形態に係る方法およびシステムは全ての一連のタスクを処理することができる。データ収集または補助プロセスなどのさらなる工程は、当該モデルが所与のデータにより中間プロセスを学ぶことができない場合にはエンドツーエンドモデルの一部ではない。
【0104】
「エンドツーエンド入出力」:本出願では、人工ニューラルネットワーク(ANN)の訓練は入力として開始時に患者の口の3D画像と、出力として最終的な治療計画とを含む多くの例を用いて行う。ANNは一方のエンドでの入力(例えば点群としての3Dの生のスキャンデータ)と他方のエンドでの出力(例えばアバットメントまたはクラウンパラメータ)との間の関係を見つける。ANNを多数のそのような例、例えばそのような入出力の50万超の異なる例で訓練する。
【0105】
「ニューラルネットワークを訓練すること」:ニューラルネットワークの基礎となる要素は、パーセプトロンまたは人工ニューロンと呼ばれる。パーセプトロンは一連の入力を受け取り、それらの入力に対して関数を行い、かつ他のニューロンに送ることができる出力を生成する。例えば関数は重み付けされた入力の合計であってもよい。ニューラルネットワークは多くの相互接続されたニューロンである。ニューロンはグループ化され、かつ「層」で接続されている。1つの層の出力は、通常は活性化関数によって次の層に接続される。シグモイド、TanHまたはReLU関数が一般的である。ニューラルネットワークは、一般に「隠れ層」と呼ばれるさらなる層を追加することにより複雑に成長することができる。
【0106】
順伝播および逆伝播を使用してネットワークを訓練し、より良好または最適な重みを見つける。重みを初期化した後に、既知の結果を有する入力データはネットワークを通して「順方向」に押し進められ、出力予測が得られる。コストもしくは損失関数を使用して予測が期待される結果からどの程度離れているかを計算する。
【0107】
次いで、誤差またはコストを可能な低水準または最下点すなわち大域的最小点まで減少させる。これは、例えば最急降下法を用いて達成することができる。最急降下アルゴリズムの目標は、各重みに関するコスト関数の偏微分を見つけることである。コスト関数の方向(+/-)および傾きを使用して、重みを調整するためのコストおよび低いまたはゼロのコストに達するための方向を決定する。勾配が0であれば最小に達している。出力層で開始して、最急降下アルゴリズムを次の層およびさらには入力まで「逆」に伝播させる。そのゼロのコストまたは低いコストに近づくために、どの程度重みを変える必要があるかをニューラルネットワークの各ノードのために計算する。
【0108】
ニューラルネットワークをさらに訓練することは、誤差が最小限に抑えられるまでの順伝播および逆伝播を含む。この手順を使用して、本発明の実施形態に使用するためにニューラルネットワークの重みをエンドツーエンドで調整することができる。
【0109】
「回帰」および「分類」:パラメータの推定は典型的かつ通常は回帰問題である。例えば、それは「クラス」の代わりに「数」を推定することを含む。分類では値(例えば数)の第1の範囲をそれぞれが第2のより小さい範囲(これを「クラス」と呼ぶことができる)を有するより小さいビンに分けることができ、ANNを含む機械学習システムが特定のパラメータが属している正しいビンを推定する。
【0110】
「人間の設計者の特定の規則」:これらの規則は典型的には、修復用歯科用物体を設計するために歯科技工士によって使用されるものである。当該規則は、アバットメントベースが周囲の軟組織に対してどの程度の圧力をかけることができるか、アバットメントをその隣接する歯および対向する歯と比較してどの程度の高さにすることができるかなどを含んでもよい。
【0111】
「基礎となる修復物モデル」(例えばアバットメントまたはクラウン)は自由形式の3D形状ではなく、パラメータ(=数)のセットによって定めることができるパラメトリックモデルである。例えばアバットメントまたはクラウンモデルの形状は、パラメータのセット(アバットメントのために約60の数)によって完全に決定することができ、これは自由形式のモデルよりも非常にコンパクトで制御可能であり、ここではそのようなモデルの形状は多数の点およびそれらを接続するための三角形によって定めなければならない(すなわち一般的な3D物体を表すためのフォーマット)。
【0112】
本出願で使用される「歯科用物体の設計」は、
a)それを製造することができるような歯科用物体の3Dジオメトリの機械可読フォーマットでの記述、または
b)そこから歯科用物体の3Dジオメトリを作成することができる機械可読フォーマットでの表現
を意味する。
【0113】
歯科用物体の設計は好ましくは、既存の口腔内状況すなわち残っている歯列、歯肉などの患者固有の特性の関数において行う。
【0114】
カスタマイズされた歯科用物体の設計の自動化は、以下の要素をエンドツーエンドで接続することにより行う。
【0115】
その間でデータのどんな中間形態にも依存することなくプロセスの一方のエンドでの入力(すなわち点群であってもよい生の3Dスキャンデータを受信するための入力)とプロセスのもう一方のエンドでの出力との直接的パターンを見つけるために人工ニューラルネットワークを訓練する。
【0116】
例えばデータが入力される一方のエンドでの入力は、入力された生のスキャンデータを受信するのに適している。このデータは、点群の形態の3Dデジタル表現または三角形分割された曲面表現などの(例えば口腔内)環境のデジタル表現であってもよい。それは好ましくは点群の形態の3Dスキャンデータである。
【0117】
人工ニューラルネットワークの出力は、歯科用物体の機械可読な記述または検討中の歯科用物体の機械可読な表現である。
【0118】
「主成分分析(PCA)」は、物体のより高次元空間のより低次元空間への射影のクラスに属する。好ましくは可能な限り多くの情報を保存する。数学的にこれは共分散行列の固有ベクトルを計算することにより達成することができる。これらから最大固有値を有するn個の固有ベクトルを使用して、n次元空間に射影することができる。これらのn個の固有ベクトルを用いて、検討中の物体のクラスに属するあらゆる物体を予測または再構築することが可能である。
【0119】
「近似形状」は、パラメトリックモデルを参照して、提案された形状と実際の形状との差を定量化するために使用される誤差項が最小限に抑えられるように、モデルの提案された形状と実際の形状とのあらゆる差によりパラメータ値のセットを見つけることを含むことを意味する。それらの(口腔内)環境における歯科用物体を含む代表的な訓練用セットの全ての構成要素のために、パラメトリックモデルに適用された場合にその歯科用物体の形状(または近似形状)が得られるパラメータ値が決定される。
【0120】
「アルゴリズム」は、所望の結果に導くセルフコンシステントな一連の工程として理解することができる。これらの工程は、記憶する、転送する、組み合わせる、比較するまたはそれ以外に操作することができる例えば電気もしくは磁気信号の形態の物理量の物理的操作を必要とする。
【0121】
例示的な実施形態の説明
図および以下の記載は、特定の実施形態を単に例示として説明している。当業者であれば以下の記載から、本明細書に例示されている構造および方法の他の実施形態を本明細書に記載されている原理から逸脱することなく用いることができることを容易に理解するであろう。以下ではいくつかの実施形態を詳細に参照し、それらの例は添付の図に示されている。なお、図では可能な場合には同様の符号が同様の機能性を示すために使用されている場合がある。本発明を様々な方法で実施できることは当業者には明らかであろう。
【0122】
本発明の実施形態は、自動修復物設計のコンピュータ実装方法またはシステムのための機械学習アルゴリズムを利用する。修復物設計は、インプラント(例えばシングルインプラント)のためのアバットメントまたはクラウンあるいは歯根のためのクラウンなどの修復用歯科用物体の設計を含む。インプラントのためのアバットメントまたはクラウンなどの修復用歯科用物体の形状の特定は、患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に行うことができる。
【0123】
デジタルプロセッサで実行された場合に本方法を行うためのソフトウェアが提供される。修復用歯科用物体を製造することも含まれる。
【0124】
本発明の実施形態はニューラルネットワークへの入力として患者の歯列の3Dスキャンデータを使用する。スキャンデータは3D画像の点群の形態であってもよい。

本発明の実施形態に係る方法およびシステムは、揮発性および不揮発性メモリなどのコンピュータメモリにアクセスすることができるコンピュータのマイクロプロセッサなどの処理装置で実行されるMLアルゴリズムを利用する。
【0125】
本発明の実施形態は、自動修復物設計のための機械学習アルゴリズムを使用するように構成されたコンピュータ実装システムにも関する。本コンピュータ実装システムは好ましくは、コンピュータプログラムを含む必要とされる目的のために特別にプログラムまたは構築されている。これらはコンピュータ使用可能媒体またはコンピュータ可読記憶媒体に記憶することができる。
【0126】
さらに本発明は、非一時的機械可読記憶媒体に記憶することができるコンピュータプログラム製品の形態をとっていてもよい。非一時的機械可読記憶媒体は電子、磁気、光学、電磁、赤外線または半導体システム(または装置もしくは素子)あるいは伝播媒体であってもよい。非一時的機械可読記憶媒体の例としては、限定されるものではないが、半導体もしくはソリッドステートメモリ、磁気テープ、取外し可能コンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、固定磁気ディスク、光ディスク、EPROM、EEPROM、磁気カードまたは光学カードあるいはデータ、画像もしくは電子命令を記憶するの適した任意の種類のコンピュータ可読記憶媒体、およびコンピュータシステムバスに結合されたそれぞれが挙げられる。光ディスクの例としては、読み取り専用コンパクトディスク(CD-ROM)、書き換え可能コンパクトディスク(CD-R/W)およびデジタルビデオディスク(DVD)が挙げられる。
【0127】
メモリを備えたマイクロプロセッサなどの処理装置はプログラムコードを記憶および/または実行するように構成されており、例えばシステムバスを介してメモリに直接もしくは間接的に結合された少なくとも1つのマイクロプロセッサを備える。メモリはプログラムコードの実行中に用いられるあらゆるローカルメモリを含んでもよい。コンピュータシステムは、直接または介在するI/Oコントローラを介して本システムに結合されたキーボード、ディスプレイ、ポインティングデバイスまたはデータを受信するかデータを提示するように構成された他の装置などの入出力(I/O)装置を備えていてもよい。
【0128】
介在するプライベートもしくはパブリックネットワークを介して他のデータ処理システムあるいは遠隔プリンタまたは記憶装置への結合を可能にするために、ネットワークアダプタも処理装置に結合されていてもよい。モデム、ケーブルモデムおよびネットワークカードは、現在利用可能な種類のネットワークアダプタの例である。
【0129】
本発明の実施形態は、自動修復物設計のための方法、システムおよびソフトウェアを含む。修復物設計は、例えばニューラルネットワークを利用する機械学習を用いて患者の歯列のスキャンデータから得られる修復用歯科用物体を含む。患者の歯列データセットは、患者の顎骨の1つ以上の部分のスキャンなどの患者の体の他の部分を含むか含まない患者の口の全てまたは一部の1回以上のスキャンからの1つ以上の患者のスキャンデータを含んでもよい。自動修復物設計のコンピュータ実装方法は、設計プロセスのための開始点として患者の口の少なくとも一部の3D電子画像を使用する。いくつかの実施形態では、電子画像は患者の歯の直接スキャンによって得られる。本発明の実施形態は、歯科医師または歯科技工士による3D画像のキャプチャを可能にし、あるいは患者の歯の1つ以上の印象をスキャンすることにより得ることができる。本発明の実施形態は歯科医師の椅子で使用するのに適している。
【0130】
本発明の実施形態は、歯科技工士などの人間の操作者によって設計された治療計画および結果の多くの既存の関連する例を(例えばI/Oポートまたはインタフェースを介して)入力および使用して機械学習システムまたは方法を訓練することにより、カスタマイズされた歯科用物体の設計とその設計を作成する基となった入力データとの間の関係を学習することができるという観察に基づいている。これは教師あり学習の典型的な問題とみなすことができる。そのようなアルゴリズムは、入力データが1)既知のインプラントの種類、位置および向き、2)患者の顎の3Dスキャンデータ(例えば点群として)、および3)どのように特定の歯科用物体を設計する必要があるかに関するさらなるオプション(または顧客の嗜好)である問題領域に関する。この情報は完璧であり、人間の設計者がカスタマイズされたクラウンおよびアバットメント形状などの修復用歯科用物体の形状を作成するのに十分である。人間の設計者は、所与の入力データに基づく最適な方法において喪失歯の周りの歯列に適合するアバットメントまたはクラウンを設計するために彼らの歯の知識および特定の規則を適用する。当該出力は完全な修復物設計であり、これはアバットメントまたはクラウンの形状、位置および向きを一意的に定めるパラメータのセットによってさらに定めることができる。本発明は、自由形式の3D形状ではないがパラメータ(例えば数)のセットによって定めることができるパラメトリックモデルである、基礎となる修復物モデル(例えばアバットメントまたはクラウンのモデル)に依存している。
【0131】
本発明の実施形態は、完全な3Dデータ(例えば占有グリッド、点群)をMLシステムまたは方法への入力として使用する。3Dデータを直接使用するという技術的難しさは本発明の実施形態においてこれにより解決し、例えば畳み込みニューラルネットワーク(CNN)に実装される機械学習システムまたは方法によって適用される3D畳み込み演算により解決した。
【0132】
本発明の実施形態のために、入力データは好ましくは例えば点群として、患者の口の口腔内スキャンまたは物理的印象から作製された石膏模型のスキャンのいずれかによって得られる患者の顎の3D光学スキャン(図1の左側の画像に示されている)の形態である。インプラント位置および向きは典型的には、インプラント上に置かれるスキャンボディまたは特徴位置物体(FLO)の検出を用いる別個のプロセスを使用することにより知る。生の3Dスキャンデータならびにインプラント位置および向きはどちらも自動的に行われるか手動で行われるかを問わず、任意の種類のインプラントベースの修復物設計のために必要とされる最小の入力情報である。
【0133】
入力を所与として所望の出力は、最終的な物理的製品をそこから作製するために変更を全く必要としないか最小の変更を必要とする標的修復用物体(例えばアバットメントまたはクラウン)の設計である。最終的な修復物設計(例えばアバットメントまたはクラウンのいずか)は、
1)一般的な3D物体フォーマット(例えば、物体表面上の高密度点を接続する三角メッシュ)、または
2)特定の種類の3D物体(例えば、アバットメントモデルまたはクラウンモデル)のために設計された基礎となるモデルの形状を定めるパラメータのセット
のいずれかによって表すことができる。図1の右側の画像はインプラント位置に置かれたアバットメントモデルの例である。
【0134】
インプラントのためのアバットメントまたはクラウンなどの修復用歯科用物体の形状を特定することは、患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に行うことができる。
【0135】
米国特許第9814549号(参照により含まれる)から、訓練用セットにおける複数の本物の歯列弓の変動をキャプチャおよびパラメータ化して柔軟な歯列弓モデル(FAM)を計算して患者の歯の解剖学的構造における喪失歯を再構築できるということが知られている。FAMを構築することは、ちょうど相対的位置に一対の上顎および下顎を有するデジタル化された歯列弓の複数のセットを得ること、および全てが複数のサンプルにわたって同じ順序および同じ対応する位置にある、各歯列弓の咬合面における予め定められた目印点のセットを集めることを含む。集められた目印のベクトル点を使用して統計学的モデリング(例えば主成分分析)を行って、当該手順中に見つけられる主成分を用いて(PCAを使用する場合)、特徴点の線形部分空間を生成する。訓練用サンプルからキャプチャされた妥当な範囲の変動内での主成分の一次結合により、一対の上側および下側歯列弓上の目印点の任意のセットを再構築することができる。
【0136】
米国特許第2017/0095319号(参照により含まれる)から、歯科用修復物構成要素を設計するためにコンピュータ実装方法を使用できるということが知られている。この方法は、歯科用修復物構成要素のために満足させなければならない設計寸法制約のセットを受信する工程と、歯科用修復物構成要素のための設計パラメータのセットを受信する工程と、前記設計パラメータの少なくとも2つ以上を考慮し、かつ前記パラメータのいずれかの値が制約に違反している場合に制約に達しているという信号を送るペナルティ関数のための定義を受信する工程と、前記構成要素のための制約に一致している歯科用修復物構成要素のための前記設計パラメータのそれぞれに値を割り当てるペナルティ関数を使用する工程とを含む。
【0137】
米国特許第9504541号または米国特許出願公開第2007/0154868号(それら全てが参照により含まれる)から、歯科用修復物構成要素を設計するための方法を使用できるということが知られている。歯科用修復物構成要素のために満足させなければならない設計寸法制約のセットを定める。歯科用修復物構成要素のための設計パラメータのセットも定める。ペナルティ関数を少なくとも部分的に用いて、前記構成要素のための制約に一致する歯科用修復物構成要素のための前記設計パラメータのそれぞれに値を割り当て、前記ペナルティ関数は前記設計パラメータの少なくとも2つ以上を考慮し、かつ前記パラメータのいずれかの値が制約に違反している場合に制約に達しているという信号を送る。
【0138】
米国特許出願公開第2016/0224690号(これは参照により含まれる)から、統計的手法(k平均法、主成分分析(PCA)または同様の統計的手法など)を用いてクラウンモデルを生成するための3D統計分析が知られている。これにより、統計学的手法の閾値未満の細部の鮮鋭度を欠いているクラウンモデルが生じる場合がある。単一の完全な特徴を備えた例を統計学的モデルを生成するアルゴリズムに組み合わせることにより、得られるモデルに鮮鋭度を加え直すための方法が提供されている。最終的に、リアルタイムで作成および操作するのが比較的簡単であるが、天然歯の解剖学的鮮鋭度をなお維持しているクラウンモデルが得られる。
【0139】
米国特許第7551760号または米国特許第7362890号または米国特許出願公開第2008/0002869号または米国特許出願公開第2006/0072810号(それら全てが参照により含まれる)から、3次元ベースのモデリング方法およびシステムを使用して、歯学および関連する医学(および適当な非医学)用途のための設計を行うことができるということが知られている。データキャプチャ手段が、物体(例えば歯列弓)の3次元表面を表している点群を生成する。3次元画像処理ソフトウェアに、隣接している画像および重なり合っている画像の非常に正確な組み合わせ(すなわち「スティッチング」)を可能にするのに十分な位置、角形成および向き情報を提供するために、特に低い画像定義を有する画像フィールドの領域および特に少なくとも2つの画像の一部に重なり合っているように見える領域に3次元認識物体を提供する。上顎および下顎の歯列弓などの位置合わせされた関連する物体またはそのモデルの作成が容易になる。
【0140】
歯科産業における1つの公知のアバットメントモデルは、特定の患者の歯列に適合することができる60超の設計パラメータに基づく広範囲のカスタマイズされたアバットメント形状を表す。広範囲の実際の歯サンプルの統計分析によって作成されるパラメトリックモデルも知られている。これらの方法はパラメータベースの基礎となる修復物モデルの具体例である。
【0141】
患者の顎の3Dスキャンならびに喪失歯部位におけるインプラントの位置および向きを考慮して、本発明の実施形態は、完全な修復物設計提案、例えばアバットメントまたはクラウンのような修復用歯科用物体の3Dモデルを例えばCAD/CAMフォーマットで、非常に速い方法、例えば数秒以下で完全に自動的な方法で最終使用者に提示することができるシステムまたは方法、例えばコンピュータベースのシステムまたは方法の作成を可能にする。本発明の実施形態は機械学習(ML)および人工知能(AI)の最近の進歩を利用するものであり、システムに多くの実際の例の入出力間の基礎となるパターンを学習させる、すなわちエンドツーエンドで学習させることは本発明の実施形態の態様の1つである。本発明の実施形態は、その開始位置(例えば喪失歯)が既知であり、最終的な治療計画、治療および結果(すなわち修復用歯科用物体の設計)が既知であるようなインプラントベースの修復物のための修復用歯科用物体の多くの実際の歯の臨床例の存在から開始する。開始位置、例えば喪失歯はプロセスの一方のエンドを指し、最終的な治療計画、治療および結果すなわち修復用歯科用物体の設計は他方のエンドである。従って本発明の実施形態に係る方法は、CNNなどのニューラルネットワークを生データおよび最終的な結果のみを用いて訓練し、このようにしてエンドツーエンド機械学習を行う。従来では既存の臨床例の文書化中の利用可能な情報に基づくエンドツーエンド機械学習は使用されたことがない。例えば米国特許出願公開第2018/0028294A1号に記載されているディープラーニングを用いる歯科用CADの自動化は、主にシステムに喪失歯の歯列の周りの正しい歯の特徴を分類させるために機械学習を利用し、これは生成MLアルゴリズムを用いてクラウン修復物を推定するためにさらに使用される。
【0142】
この先行技術の開示とは対照的に、本発明のいくつかの実施形態に係る修復物設計の問題は、本システムにエンドツーエンド入出力間のパターンを学習させることにより解決し、これは入力が生の顎のスキャンであり、かつ出力がどんな事前処理または1つ以上の中間特徴検出プロセスを必要としない例えばモデルパラメータの形態の最終的な修復物設計であることを意味し、これは非常に信頼性がありながらも最終使用者のための予測プロセスを非常に迅速にさせる。
【0143】
本発明の実施形態では、患者の口の1回以上のスキャンを行う。これらのスキャンは咬合、舌側もしくは頬側スキャンのうちのいくつか、いずれかまたは全てを含んでもよい。隣接する歯の接触領域もスキャンすることができる。複数のスキャンを組み合わせてインプラントを含む基礎となる3Dデジタルモデルにすることができる。基礎となる3Dデジタルモデルを使用して歯科用修復物(例えばクラウンまたはアバットメント)を設計する。本発明の実施形態では、修復物設計プログラムは訓練された機械学習システムにより提供され、修復物はグラフィックインタフェースを介して患者および/または歯科医師および/または歯科技工士が見ることができる。インタフェースは、歯科技工士または歯科医師が提案された修復物を改良することができるように構成されていてもよい。
【0144】
本発明の実施形態では、CNNがその一例であるニューラルネットワークなどの機械学習システムを、生の画像データおよび最終的な治療計画および/または修復用歯科用物体のみを含む多くの訓練用データセットを用いて訓練する。
【0145】
本発明の実施形態は、識別的機械学習アルゴリズムを用いてインプラントのためのクラウンまたはアバットメントなどの好適な歯科用修復物を決定してもよい。識別的機械学習アルゴリズムは、クラウンまたはアバットメントの3D表現またはモデルを出力するように訓練することができる。訓練用セットを好ましくは同じ種類の修復物を有する事例に制限し、例えば訓練用データセットをクラウンまたはアバットメントを含むものに制限することができる。インプラントのためのアバットメントまたはクラウンなどの修復用歯科用物体の形状の表現の出力は、患者のスキャンデータの受信後5分以内に、あるいはスキャンデータの受信後1分以内に、より好ましくは患者のスキャンデータの受信後30秒以内に行うことができる。
【0146】
図2は、機械学習アルゴリズムに適した本発明の一実施形態に係るコンピュータ実装システム10のブロック図である。本コンピュータ実装システムは、本発明の実施形態に係る自動修復物設計のための方法を行うように構成されている。修復物設計は、本発明の実施形態に係るインプラントのためのアバットメントまたはクラウンなどの修復用歯科用物体の設計を含む。システム10は、MLサーバ11がウェブサーバ12、モデルサーバ13および訓練されたモデル14を含むようにネットワーク15内にMLサーバ11を備えることができる。スキャナ19は任意であり、異なる敷地に位置していてもよい。
【0147】
ネットワーク15は、ネットワーク上の他の装置との通信を可能にし、標準的な電気通信プロトコルを使用することができる。例えばネットワーク15は、例えばスキャナ19から3D画像を受信するためのネットワーク装置18を備えていてもよい。ネットワーク15はローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)などの従来の有線もしくは無線ネットワークであってもよい。ネットワーク15は、クラウドコンピューティング技術を用いるクラウドネットワークを含んでもよい。モデルサーバ13は、本発明の実施形態に係るMLアルゴリズムを実行するように構成されている。ウェブサーバ12は例えばネットワーク装置18から、スキャナ19によって生成された例えばスキャンされた3D画像を含む患者の3D画像を受信するように構成することができる。モデルサーバ13がこれらの画像に基づいて修復物設計を準備した後に、ウェブサーバ12は完全な修復物設計を例えばネットワーク装置18にアクセスすることができる歯科技工士または歯科医師に送信するように構成することができる。完全な修復物設計はパラメータ値の形態であってもよい。
【0148】
モデルサーバ13およびモデル14は修復用歯科用物体の自動設計のために、前から存在する3D歯科画像およびこれらの画像から人間の専門家によって設計された修復用歯科用物体により訓練することができる。モデルサーバ13は、CNNなどのニューラルネットワークを動作させるように構成されていてもよい。1つ以上のクラウンまたはアバットメントを含む本物の歯科患者からの多くの訓練用データセットは、具体的にはクラウンまたはアバットメントのための訓練用データセット群を形成するために選択することができる。MLサーバ11は、前から存在する3D歯科画像および人間によって設計された修復用歯科用物体のデータベースを記憶するデータサーバ17と通信していてもよい。
【0149】
本発明の実施形態では、誤差を最小限に抑えるためにCNNのノードの重みを訓練することができる。本発明の一実施形態に係るCNNネットワークアーキテクチャは任意に正規化層、さらなる畳み込み層を含み、かつ完全に接続された層も含む多くの層からなるかそれらを含むCNNを含む。
【0150】
CNNの第1の層は任意に画像の正規化を行うことができる。正規化群はハードコード化することができ、学習プロセスにおいて変更する必要はない。CNNにおいて正規化を行うことにより正規化スキームをCNNアーキテクチャにより変更し、かつGPU処理を介して加速することができる。
【0151】
畳み込み層は特徴抽出を行う必要はない。畳み込み層の後に、出力パラメータ値を提供する完全に接続された層が存在する。CNNの訓練は既存の治療データを用いてエンドツーエンドで行う。
【0152】
本発明の実施形態は機械学習に基づいており、教師あり学習のために人工ニューラルネットワークフレームワーク(ANN)を利用することができる。本発明の実施形態に係る方法またはシステムは、修復用歯科用物体の設計である入出力の多くの例の既知のセットを使用することに基づいている。訓練は、前から存在する3D歯科画像およびこれらの画像から人間の専門家によって設計された修復用歯科用物体を用いて行う。ニューラルネットワークは訓練下または動作状態にあってもよい。
【0153】
図3を参照すると、訓練のための入力は患者から受け取った過去の臨床例の非常に多くの生の光学3Dスキャン20であり、出力は人間によって生成されたアバットメントおよびクラウンの対応する設計22である。設計22は好ましくはモデルパラメータによって定められ、人間の修復物設計技術者が生成し、かつデータベースに記憶することができる。この訓練する工程24は計算的に重くなる可能性があり、好ましくは高性能GPU(グラフィックス処理装置)によってオフラインで行う。訓練する工程24は、全ての過去の既存のデータセットを用いて一回限りのオフラインで行うことができ、故に訓練のために時間的に制約される必要がない。この訓練する工程24の間にANNは、全ての入力された訓練用データを対応する出力訓練用データに関連づけて暗黙パターン26および/または規則を学習する。モデルが訓練および作成されたら、ニューラルネットワークを動作状態またはオンラインモードにすることができ、新しい入力28が本システムに与えられた場合に学習されたパターン26をすぐに使用することができる。また新しい入力28からの出力設計29の予測は、エンドツーエンドオンラインモードでANNを用いて即座に生成することができる。即時予測時間に加えて、本発明の実施形態の他の利点としては、
1)入力と出力との中間で規則およびパターンを組み込むために明示的な手作業で作られる複雑なアルゴリズムを書く必要がないこと、
2)訓練する工程24は、人間または他の従来の計算手法によって見つけるのが難しい規則およびパターン26を良好もしくは最適な方法で見つけること、および
3)出力29は任意の中間検出プロセスまたは他のサブコンポーネントの品質の影響を受けないこと
のうちの1つ以上または全てを挙げることができる。
【0154】
階層的訓練および予測
本発明の実施形態は、重要な個々のパラメータを訓練すること、および/または残っている設計パラメータをそれらの値が解釈される基となる座標系に関してそれらの相対的依存性に応じて異なるグループに分けることを含む、階層的訓練手法を含む。従って階層的訓練手法は、同じパラメトリックモデルの他のパラメータに対する1つ以上のパラメータ(これは修復用歯科用物体などの構造の全体的形状を定めるために使用される)の重要性の順位を指す。階層内のレベルとは無関係に当該パラメータは全てアバットメント全体、クラウン全体などに関する。回転パラメータは最も重要なものであり、これは最初にインプラント座標系において入力スキャンにより訓練することができる。次いで角度および位置パラメータを、既知の回転角度により正規化された入力スキャンに基づいて(例えば各1つをそれのみまたはグループで)訓練することができる。次いで形状パラメータの残りの訓練(例えば各1つをそれのみまたはグループで)を、既知の位置および他の角度によって正規化された入力スキャンに基づいて行うことができる。実験結果によれば、この階層的訓練手法は1つの単一座標系において全てのパラメータを入力スキャンで訓練することと比較して、著しくより良好な正確な結果を提供することができる。
【0155】
それに応じて、予測工程中に同じ階層的手法に従うことができる。新しい入力スキャンおよびFLO検出が与えられた場合、最初に入力スキャンをインプラント座標系(FLO検出から既知である)に変換し、そのような入力スキャンを用いて最も重要なパラメータのパラメータ値を予測する。次いで、このパラメータ値および他の予測されたパラメータ値に基づいて入力スキャンをさらに変換し、そのような入力スキャンを用いてこれらのさらなるパラメータを予測する。最後に、以前に予測されたパラメータに基づいて入力スキャンをさらに変換し、そのような入力スキャンを用いてパラメータの残りを予測する。故に本発明の実施形態は、重要な個々のパラメータを予測すること、および/または残っている設計パラメータを、それらの値が解釈される基となる座標系に関してそれらの相対的依存性に応じて異なるグループに分けることを含む階層的パラメータ予測手法を任意に含むことができる。次いで、最も重要なパラメータのそれぞれのみに対する予測を用いて別々または個々に予測を開始する。その後に、重要性の低いパラメータをグループで予測してもよい。従って階層的訓練および階層的予測は、同じパラメトリックモデルの他のパラメータに対する1つ以上のパラメータ(これは修復用歯科用物体などの構造の全体的形状を定めるために使用される)の重要性の順位を指す。階層内のレベルとは無関係に当該パラメータは全てアバットメント全体、クラウン全体などに関する。
【0156】
故に、コンピュータを用いて階層的に訓練および/または予測することは、訓練または予測プロセスにおける最初すなわち初期に、より重要なパラメータまたはパラメータのグループを訓練および/または予測することを含む。これらの重要なパラメータは、歯科用物体すなわちアバットメント全体、クラウン全体などの基礎となるパラメトリックモデルによって定められる歯科用物体の形状に関連している。従って階層的訓練および/または階層的予測は、同じパラメトリックモデルの他のパラメータに対する1つ以上のパラメータ(これは修復用歯科用物体などの構造の全体的形状を定めるために使用される)の重要性の順位を指す。階層内のレベルとは無関係に当該パラメータは全てアバットメント全体、クラウン全体などに関する。
【0157】
以下の指示では、アバットメントまたはクラウンのために重要であることが分かっている特定のパラメータが与えられているが、これらは例として与えられており、優先度は異なる用途で異なってもよい。これらの異なる優先度および異なる用途は本発明の範囲内に含まれる。
【0158】
回転パラメータの推定
歯科用修復物設計において正確に推定するために重要な設計パラメータの1つの例は回転パラメータである。特に修復用物体の正しい顔面側または頬側を決定する回転パラメータが最も重要であることが分かった。例えば回転の僅かなずれでさえ人間の眼によって容易に検出することができ、それは水平の角度の他のパラメータまたは他の形状パラメータの決定にも影響を与える。回転値はインプラントの固定特徴の方向(図5のfベクトル)から相対的に決定することができる。FLO検出プロセスはこの水平のインプラント方向を提供し、これは正しい回転値を決定するために必要な入力情報となる。この水平のインプラントの向き(図5のfベクトル)および垂直なインプラントの向き(図5のuベクトル)は既知であるため、生のスキャンがこのインプラント座標系の中にあるように変換されている場合には、この情報を生のスキャンの中に組み込むことができる。このように、変換された生のスキャン以外にインプラントの向きのための別個の入力は必要でない。図4は、異なる関連する回転値と共に、変換された入力スキャン(例えば再サンプリングされた表面点)の数個の例を示す。同様の回転値を有する変換された入力スキャンは、個々のスキャンの形状の僅かな差異にも関わらず同様の大域的点分布を示していることに留意されたい。この大域的点分布は右回転値の予測のための好材料であり、3D畳み込みニューラルネットワーク(CNN)により訓練する工程は、このパターンを見つける上で非常に良好であることが分かった。
【0159】
コア角度パラメータの推定
頬および舌側角度:このパラメータは、修復物部分を垂直なインプラント軸に対してどの程度で頬および舌側に角度をつけるかを決定する。
【0160】
近遠心角度:このパラメータは、修復物部分を垂直なインプラント軸に対してどの程度で頬および舌側に角度をつけるかを決定する。
【0161】
これらの2つの修復物角度パラメータ(コア角度としても知られている)は回転角度の次に重要なパラメータであり、修復物形状パラメータの残りに対して大域的影響も有する。しかし回転角度とは異なり、これらのコア角度はインプラントの回転状況(図5のfベクトル)によって支配されず、インプラントの垂直向き(図5のuベクトル)によってのみ支配される。推定するために不要な自由度を除去するために、本発明者らは入力スキャンを各データサンプルの既知の回転値に基づいて再変換して(すなわち、垂直なインプラント軸に沿って既知の回転値の量だけ回転させる)これらの2つのパラメータを訓練し、これは、それらをインプラント座標系から訓練することよりも有効であることが分かった。
【0162】
修復物位置パラメータ
頬および舌側のオフセット:このパラメータは、修復物部分がインプラントの中心に対して頬および舌側のどこに位置決めするかを決定する。
【0163】
近遠心のオフセット:このパラメータは、修復物部分がインプラントの中心に対して近遠心のどこに位置決めするかを決定する。
【0164】
これらの2つのパラメータは、回転値が設定されたらそれらが修復物部分の位置(すなわち、それをインプラントの中心からどの程度移動させるか)を決定するという意味で、2つのコア角度パラメータと同等に重要である。従って、既知の回転値によって変換された入力サンプルを用いて(すなわち回転の変動を除去した後に正規化された入力サンプルを用いて)、これらの2つのパラメータを訓練することが重要である。
【0165】
アバットメント形状パラメータ
上に記載されている5つの大域的角度および位置パラメータを除く、(アバットメントまたはクラウンのいずれかの)設計パラメータの残りは、主として修復物部分の局所サイズまたは形状を支配する。そのようなアバットメント設計パラメータのいくつかの例としては、顔面側咬頭高、近遠心マージン幅、肩幅、顔面側マージン高さ、および具体的な基礎となるモデルに応じた多くのさらなるものが挙げられる。専門家によって設計されるアバットメントモデルは、広範囲の幾何学的変動においてアバットメントの固有形状を定める50個超のそのようなパラメータを有する可能性がある。図12は、パラメータの数個の異なるセットによって作成されたアバットメントのいくつかの例を示す。これらのアバットメント形状パラメータは全て、5つの大域的パラメータにより決定することができる座標系で定められており、本発明者らはこれを「コア座標系」と呼ぶ。これは、元の入力スキャンをこのコア座標系に変換して、それらの大域的パラメータの変動を除去することによりパラメータの残りを訓練することが有利であることを意味している。
【0166】
クラウン測定パラメータ
アバットメントとは異なりクラウン修復物部分は、生物学的形状を有する天然歯のように見えるものでなければならず、その完全な解剖学的形状は、いくつかの直接的な幾何学的意味と関連づけられた少ない数のパラメータにより記述することは難しい。この限界があってもなおクラウンモデルをいくつかの全体的サイズおよび形状(完全な解剖学的細部を含まない)で訓練することができることを理解して、本発明者らは人間の設計者によって作成された3D解剖学的クラウンの各サンプルを以下の5つのパラメータ:顔面側咬頭高、舌側咬頭高、近遠心幅、頬および舌側幅、咬頭角度について測定する。次いで本発明者らは、アバットメント形状パラメータのために本発明者らが使用する同じ「コア座標系」においてこれらの測定パラメータに関して訓練する。
【0167】
クラウン設計は、教師なし機械学習技術の1つとみなされている主成分分析(PCA)と呼ばれる統計的手法により構築することができる。この方法を用いてクラウンの完全な解剖学的形状を、例えば「PCAパラメータ」と呼ばれる小さいパラメータセットを用いてコンパクトな表現により表すことができ、これはクラウンの平均的な形状と組み合わせられた広範囲の変動でクラウンの完全な解剖学的形状を作成する方法を提供する。これらのPCAパラメータはエンドツーエンドで訓練することができ、本システムは上に記載されている機械学習フレームワークを用いて、所与の入力スキャンとPCAパラメータとの間のパターンを学習して完全な解剖学的細部に対処することができる。この方法のために多数の実世界の臨床的クラウンサンプルが必要とされる。
【0168】
訓練を含む一度での準備
この実施形態は以下の工程を有する。
【0169】
工程1:設計される歯科用物体のパラメトリック(数学的)モデルを作成または入手し、かつその変動モードもキャプチャする。
【0170】
好ましい実施形態では、このパラメトリックモデルは、(例示用または参照用)歯科用物体の訓練用セットに主成分分析を適用することにより生成されたアクティブ形状モデル(ASM)である。このモデルは真の形状の変動ならびに位置およびスケーリングの変動をキャプチャしてもよい。
【0171】
別の実施形態によれば、パラメトリックモデルは経験的規則または専門家によって定められた規則に基づく特定の種類の構成要素のために開発する。前記パラメトリックモデルは、定められた座標系に対する歯科用物体の位置の変動をキャプチャしてもしなくてもよい。
【0172】
工程2:それらの(口腔内)環境における歯科用物体を含む代表的な訓練用セットの全ての歯科用物体のために、パラメトリックモデルに適用された場合にその歯科用物体の形状(または近似形状)が得られるパラメータ値を決定する。
【0173】
パラメトリックモデルがASMである場合、物体の代表的な訓練用セットは、前記ASMを生成するために使用された訓練用セットであってもよい。決定されるパラメータ値は固有ベクトルのそれぞれのための重み係数であり、その一次結合は歯科用物体の形状を決定する。パラメータ値を決定するために、反復検索アルゴリズムを使用して統計学的構成要素モデル(ASM)を訓練用セット内の歯科用物体に当てはめることができる。
【0174】
場合によっては、代表的な訓練用セットのためのパラメータ値は既に知られていることがある。これは例えば前記訓練用セットが、対応する口腔内環境のためにパラメトリックモデルを用いて元々設計されていた歯科用物体を含む場合であってもよい。
【0175】
工程3:パラメトリックモデルにおける全てのパラメータのために訓練の階層(すなわち最初にどのパラメータまたはパラメータのグループを訓練するか)を指定する。
【0176】
一実施形態によれば、階層は、例えば作成されたパラメトリックモデルのためにその位置/スケーリングの変動に対する歯科用物体の形状変動の依存性が存在しない場合には、全てのパラメータで同じである。
【0177】
別の実施形態によれば、その環境に対する歯科用物体の位置を決定するモデルのパラメータの訓練を最初に行う。
【0178】
工程4:パラメトリックモデルにおける全てのパラメータのために(各パラメータをそれのみまたはパラメータのグループで訓練する)、全ての訓練用入力データセット(すなわち訓練用セットの(口腔内)環境の全てのデジタル表現)と、対応する出力データ(すなわち訓練用セットの全ての歯科用物体のために決定された同じパラメータのための全てのパラメータ値)との間の暗黙パターンを学習するように人工ニューラルネットワークを訓練する。入力された3Dスキャンデータは点群の形態であってもよい。当該訓練は工程3で指定された階層に従って行う。これは、各パラメータまたはパラメータのグループを他のパラメータまたはパラメータのグループとは別々に訓練することを意味する。全てのパラメータを一緒に訓練する試みは良好な結果に至らないことが分かった。
【0179】
好ましい実施形態によれば、各パラメータの訓練は前のパラメータ(の1つ以上)による正規化後の入力に基づいて行う。
【0180】
動作モード(設計自動化)
工程1:上に記載されている学習されたパターンに基づいて歯科用物体のパラメトリックモデルのためのパラメータ値を得るために、患者固有の(口腔内)環境のデジタル表現を以前に訓練した人工ニューラルネットワークに提供する。入力データは3Dスキャンデータであってもよく、これは点群の形態であってもよい。
【0181】
工程2:パラメータ値をパラメトリックモデルに適用して、所望の患者固有の歯科用物体の幾何学的記述を確立するか、そこから歯科用物体を製造することができる所望の患者固有の歯科用物体の幾何学的記述の表現を確立する。これは、例えば単一のパラメータおよび次いでパラメータのグループを予測することにより階層的に行うことができる。
【0182】
工程3:(必要であれば)歯科用物体の幾何学的記述を、歯科用物体を製造するための製造装置(例えば切削加工装置、3Dプリンタまたは放電加工装置など)に命令するために使用することができる歯科用物体の機械可読記述に翻訳する。あるいは、(必要であれば)所望の患者固有の歯科用物体の幾何学的記述の表現を、歯科用物体を製造するために製造装置(例えば切削加工装置、3Dプリンタまたは放電加工装置など)に提供されるコマンドを導出するために使用することができる歯科用物体の機械可読記述に翻訳する。
【0183】
入力データの生成
本発明の実施形態は、訓練および予測のために入力スキャンデータを定式化する。他の公知のシステムは、訓練用入力のソースとして完全な3Dデータセットを採用する際に経験するいくつかの技術的困難により、それらのニューラルネットワーク入力のために2Dデータまたは2.5Dデータ(例えば特定の方向の深さ情報を有する2D画像)を使用する。外見上、それらの2Dおよび2.5Dデータセットは3D入力スキャンデータが表すことができる完全な情報のいくつかを喪失している。
【0184】
3D占有グリッド
本発明の実施形態は完全な3D入力スキャンデータを使用する。本発明の実施形態において使用することができる3D入力データの表現のための1つのオプションは、「3D占有グリッド」と呼ばれる表現である(図5)。インプラント位置および向き(図5のb、f、u)を考慮して、入力スキャンを最初にこのインプラント座標系に変換した。次いで、各軸に関して特定の幾何学的長さをカバーすることができるN×N×Nの3Dグリッドを定める。次いで、スキャンの表面がボクセルに重なり合っている場合にはグリッド上の各ボクセルを1で満たすことができ、そうでない場合には0で満たすことができる。このようにして、N×N×Nの3D2値データにより入力スキャン上に表面の存在を表す。例えばN=40であって各軸に関して1インチのカバレッジであれば、この40×40×40の2値データは、8GBのGPUメモリの限界で快適にそれらを訓練することが可能となる。それは図5には示されていないが、インプラントが存在する模型スキャンおよびその対向する模型スキャンの両方を(そのようなスキャンが存在する場合はいつでも)同じ占有グリッドに一緒に含めることが好ましい。
【0185】
占有グリッドのカバレッジの選択は、GPUメモリの限界によって設定された所与の解像度の占有グリッドを用いて開始する。占有グリッドは、表面のいくつかの細部を失うという犠牲を払って表面データをあまり密でなくサンプリングすることにより、より広いスキャン範囲をカバーすることができる。主要な目標は入力スキャンデータとインプラント上の最終的な修復物設計とのエンドツーエンドパターンを見つけることであるため、入力スキャンに関する最も関連する情報は、直接隣接している歯および対向している歯を含むインプラント位置の近くにある。複数の実験に基づいて、各軸に関して約1インチのカバレッジが所与のグリッド解像度で最も正確な結果を提供することが分かった。
【0186】
補助入力
スキャンデータならびにインプラント位置および向きの入力に加えて、訓練中に最終的な修復物設計に関するより多くの手がかりを提供することができる他の入力情報を得ることができる。予測時間にも同じ情報が利用可能である場合にのみ、そのような補助データを訓練に含めることが好ましい。さらなる情報は歯の本数、設計嗜好およびインプラントの種類ならびに対応する仕様であってもよい。それらのうち歯の本数は、訓練および予測の正確性を高めるのを助けるのに有用である。次いでオプションに基づくいくつかの特定の設計を作成するのに有用となる、顧客が注文する際に提供する特定の任意の設計嗜好情報(例えば、どの程度のアバットメントマージンの歯肉下深さが必要であるか)が存在する。
【0187】
ニューラルネットワークアーキテクチャ
3D畳み込みニューラルネットワーク
畳み込みニューラルネットワーク(CNN)は、本発明の実施形態に使用するための好ましいネットワーク構造である。CNNは、サンプリングされた入力スキャンデータ(例えば占有グリッド)と最終的な設計パラメータとの間のパターンをエンドツーエンドで見つけるために使用される。CNNは公知の一般的なニューラルネットワーク構造である。本発明の実施形態ではそれを使用して、ラベル(すなわち既知の出力)を識別するために関連する入力データにおける幾何学的特徴(2Dまたは3D)を見つけることができる。入力は3D、例えば3D占有グリッドであるため、3D畳み込みフィルタを使用してパフォーマンスを向上または最大化させるのに好都合である。当業者は2D畳み込みフィルタの使用により訓練する工程をより速くさせることができるとみなすことがあるが、実験結果から、3D動作を使用することにより常により良好な結果が得られることが分かる。図6は、多くのプーリング層34および多くの畳み込み層35などの多くの層を有するニューラルネットワーク30と共に専用のニューラルネットワークアーキテクチャ40を含む本発明の一実施形態を示す。プーリング層34の数は最大で3であってもよく、畳み込み層35の数は5であってもよい。あるいは、予め構築されたネットワークまたは予め訓練されたモデルを使用することができる。なお図6に示されているこの特定のアーキテクチャは、本発明の実施形態に係る歯科用修復物設計のために機械学習の定式化を実行することができる単に一例である。本発明の実施形態に含まれるMLは、そのようなネットワークが入出力間の関係またはパターンを有効にエンドツーエンドで見つけることができる限り、他のニューラルネットワークアーキテクチャにより実行することができる。例えば本発明の実施形態では、「PointNet」と呼ばれるニューラルネットワーク構造を使用することができる。例えばCharles R.Qi,Hao Su,Kaichun Mo,Leonidas J.Guibas,PointNet:3D分類およびセグメント化のための点集合に関するディープラーニング(Deep Learning on Point Sets for 3D Classification and Segmentation),CVPR2017を参照されたい。
【0188】
補助入力の取り扱い
図6のブロック図に示されているように、幾何学的入力(例えば占有グリッド)31が3DCNN30の中に供給され、補助入力32(例えば歯の番号、設計嗜好など)が別個の密に接続された層41に供給され、これらは最終的に3DCNN30の出力の高密層36と共に層37に併合される。併合層37における併合後に、その層の出力は最終的な読み出し層38(例えばSoftmax層)の中に接続され、これは1つ以上のパラメータ値39を出力する。これらのパラメータ値を使用して、これらのパラメータを基礎となるパラメトリックモデルに入力することにより修復用歯科用物体の形状および位置を定める。3Dスキャンデータ31とは別個に補助入力32を取り扱うこの構造は、3D入力データ31のみを使用すること、またはそれらをCNNへの組み合わせられた入力として扱うことよりも全体的なパフォーマンスを非常に向上させるのに非常に有効である。
【0189】
回帰問題の分類問題への変換
訓練および予測の高い正確性を達成するのを助ける任意の特徴は、回帰問題(すなわちパラメータの数値を推定すること)を分類問題(すなわちクラスの複数の選択の中から1つのクラスを推定すること)に再定式化することである。パラメータ(すなわち数)の推定は本質的に回帰問題である。ネットワークを構築して回帰問題を解決することは難しいことではなく、これは本発明の一実施形態として含められる。しかし各設計において絶対に正しい単一のパラメトリックの設計値は存在しないため、正確または高精度なパラメータ値を推定することはあまり適切でないことが分かった。代わりに、各パラメータのためにいくつかの許容される値の範囲が存在する。従って予測値が既知の(標的)パラメータ値からの特定の範囲にある場合、それは適切である。この観察に基づいて、本発明の実施形態では数の範囲はより小さいビン(「クラス」)を定める。図6のニューラルネットワーク40を使用して、特定のパラメータが属する正しいビンを推定する。これは非常により有効であり、パラメータの正確または高精度な値を推定するために本システムを訓練することよりもはるかに良好な結果を提供した。
【0190】
ワンホットエンコーディングのSoftmaxおよびGaussianソフトウェア
Softmaxは、分類問題を解決するために使用される図6に示されているニューラルネットワークアーキテクチャ40の出力層38の標準的な形態である(図7を参照)。このSoftmax演算を適用した後に、各クラス(ビン)に1つの確率数(0~1)が与えられるため、範囲へのこのビニングは多くの場合に「確率ベクトル」として解釈される。訓練プロセス中に、このSoftmax出力(または確率ベクトル)が各入力サンプル31に対してニューラルネットワーク30によって生成され、「ワンホットエンコーディング」フォーマットによって表される既知の正しい値(ラベル)と比較される。例えば5つのクラスが存在する場合、Softmax出力は5つの確率値[0.1、0.2、0.5、0.1、0.1]のベクトルであり、「ワンホットエンコーディング」の形態の正しい答え(例えばそれは第3のクラスである)は[0、0、1、0、0]である。次いでこれらの2つのベクトルを比較し、訓練用アルゴリズムはそれらの類似性に基づいてネットワークによって推定される答えにペナルティを課す。しかし本発明の実施形態では、第2および第4のクラスは正しい(第3の)クラスにより近いので、第1および第5のクラスと同じ方法で第2および第4のクラスにペナルティを課すことは不適当または釣り合いが取れないものとみなされる。この観察に基づいて、ネットワークで生成されたSoftmax出力[0.1、0.2、0.5、0.1、0.1]と比較した場合に第1および第5のクラスよりも少なくペナルティが課されている第2および第4のクラスにおいて得られたワンホットエンコードされたベクトル[0、0、1、0、0]に対して、本発明の実施形態では別個のガウスフィルタのさらなる動作が存在する。実証実験によれば、生のラベルに対してGaussianソフトウェアのこの特徴を実装することにより、パラメータの特定のセットに対して正確性における幾らかの有意な向上を得ることができる。
【0191】
構築システム
モデルを各設計パラメータに関して訓練したら、全ての訓練されたモデルをサーバなどの機械学習計算装置上に展開させることができ、それらを新しい入力データに関するパラメータ値の予測のために使用することができる。図8は、そのようなシステムが本発明の実施形態に従って使用している2つの相補的なプロセスについて記載している。1つの方法100はオフライン訓練プロセスのためのものであり、他の方法200は最終使用者のためのオンライン予測システムのためのものである。方法100では、インプラントベースの修復物の過去の臨床例のそれぞれのためのインプラント位置、向き、設計嗜好および3D顎ジオメトリスキャン(例えば点群として)のうちのいくつか、いずれかまたは全てを含む訓練のための入力データを工程102で収集する。工程104では、各臨床例のための人工ニューラルネットワーク(ANN)への入力に適した形態で、顎スキャンジオメトリの3D表面で点サンプルを抽出する。工程106では、全ての収集された事例のために入力データを最終的な修復物設計パラメータ(ANNの出力)にエンドツーエンドでマッピングすることにより、ANNを用いてモデルを訓練する。工程108では、出力モデルを訓練し、かつコンピュータファイルのセットとしてネットワーク位置に保存する。この時点でANNをオフラインモードで訓練し、新しい入力事例のためにパラメトリック値を決定するためにビンに分類されたパラメトリック値を使用するための動作モード(例えばオンラインモード)で使用するために準備が整った状態にする。
【0192】
方法200では、工程202においてインプラントベースの修復物の新しい臨床例のために、設計嗜好、患者の顎の3Dスキャンのユーザ入力を収集し(例えば点群として)、かつ特徴位置物体の3Dスキャンデータからインプラント位置および向きを計算する。工程204では、顎スキャンジオメトリの3D表面で点サンプルを上に記載されている訓練のために使用した同じフォーマットで抽出する。工程206では、工程1および2において収集した入力データをサーバなどの計算装置に送信し、当該装置はその要求を処理し、かつ訓練されたANNモデルを用いて予測した設計パラメータのセットを返す。工程208では、3Dモデルの修復物要素(例えばアバットメントまたはクラウン)を予測した設計パラメータから再構築し、かつユーザに提示するためにレンダリングする。次いで、アバットメントまたはクラウンの形状に従って歯科用物体を製造することができる。
【0193】
図9は例示的なクライアントサーバシステム50を示し、ここでは訓練された修復物設計モデルは最終使用者の要求時にクラウドベースのサーバ52から直接供給される。提示されている設定に基づいて試験するシステムは、クラウドベースの機械学習サーバ52から最終使用者への応答時間が、1つのインプラント部位上のアバットメントまたはクラウンを含む完全な修復物設計では5秒もの速さであることを示す。
【0194】
図9を参照すると、訓練されたモデル54は患者から受け取った過去の臨床例の非常に多くの生の光学3Dスキャンで訓練されており、アバットメントおよびクラウンの対応する設計である出力がサーバ52に記憶されている。サーバ52は、ユーザとの通信のためにTensorFlow(商標)モデルサーバ55およびウェブサーバ56を含んでいてもよい。当該設計は好ましくはモデルパラメータにより定められ、人間の修復物設計技術によって生成され、かつデータベースに記憶することができる。訓練中にANN58は暗黙パターンおよび/または規則を学習し、全ての入力データを対応する出力データにエンドツーエンドで関連づける。この時点でモデルは訓練および作成されているので、ニューラルネットワーク58は動作状態にあるかオンラインモードにあり、新しい入力62ならびに任意の補助データ64が本システムに与えられた場合に、学習されたパターンを直接使用することができる。新しい入力62および64からの出力設計の予測は、エンドツーエンドオンラインモードでANN58を用いて迅速に生成することができる。これはウェブサーバ56を介してユーザに転送することができる。即時予測時間に加えて、本発明の実施形態の他の利点としては、
1)入力と出力との中間で規則およびパターンを組み込むために明示的な手作業で作られる複雑なアルゴリズムを書く必要がないこと、および
2)出力設計は任意の中間検出プロセスまたは他のサブコンポーネントの品質の影響を受けないこと
のうちの1つ以上または全てを挙げることができる。
【0195】
実験および結果
図10には、本発明の実施形態に係る機械学習システムによる回転パラメータの推定の正確性についての比較実験結果が提供されている。その結果は、多次元数値最適化方法に基づく現在のシステムによって得られる正確性よりも、本発明の実施形態に係るMLシステムおよび方法により得られる著しく良好な正確性および人間の設計者の変動と同様の正確性を示す。
【0196】
歯#5の17632個のサンプルで訓練した後に776個の検証セットに対してx度の回転パラメータ内での正確性の測定値を他の方法と比較する。第1の列:x度内での正確性;0=完全な一致。第2の列:本発明に係る(3DCNNベースの)方法を用いて得られた正確性および所与の正確性での事例数。第3の列:非線形多次元数値最適化に基づく本発明者らの現在の方法を用いて得られた正確性。第4の列:それらのそれぞれが12人の異なる人間の設計者によって設計された25個の異なる事例(計300個のサンプル)に対して測定された正確性。
【0197】
図11は、人間の設計の対応するパラメータ値から0.5mmおよび1.0mmの範囲での、いくつかの選択されたアバットメントパラメータに関する正確性の結果を示す。図12および図13は、人間の設計と比較した本発明の実施形態に係るMLシステムによってそれぞれ作成されたアバットメントまたはクラウン設計全体のいくつかのグラフィカル結果を示す。
【0198】
図11は、0.5mm(第1の列)および1.0mm(第2の列)内の選択されたアバットメント形状パラメータの測定正確性をそれぞれ示す。この結果は、約70,000個の訓練サンプルおよび上側左後方(歯#2,3,4,5)の約7000個の検証サンプルに基づいている。
【0199】
図12は、上の行に人間の設計者によって作成されたアバットメント設計を示し、下の行に本発明の実施形態に係る機械学習モデルによって予測されたアバットメント設計を示す。
【0200】
図13は、上の行に人間の設計者によって作成されたクラウン設計を示し、下の行に本発明の実施形態に係る機械学習モデルによって予測されたクラウン設計を示す。
【0201】
設計検証
各設計パラメータに関する数値的正確性による比較に加えて、複数の専門家である人間の修復物設計者の関与による知覚での設計品質を比較した。図14は、本発明の実施形態に係るMLベースの方法と現在の最適化方法とのアバットメント設計の合格率の比較を示す。5人の異なる専門家である人間の設計者は、どの方法により各設計が作成されたかという方法を知らされずに、2つの異なる方法により作成された100個の事例を検査した。図14は、100事例の同じセットに対する盲検法に基づいて、現在の最適化システムによって作成されたものよりも本発明の実施形態に係るMLシステムによって作成されたアバットメント設計のはるかに良好な合格率を示す。
【0202】
自動の歯の本数の推定への適用
先の記載において、本発明者らは3D入力スキャンならびにインプラント位置および向き以外に、歯の本数が最も重要な補助入力のうちの1つであると述べた。しかし別個の実験では本発明者らは、この歯の本数それ自体は本発明により提供される同じ問題定式化を用い、3D入力スキャンならびにインプラント位置および向きのみを用いてかなり確実に推定できることを証明した。この実験結果は、本発明者らが約91%の正確性および歯の+/-1本の違いでの99%の正確性で、正確な歯の本数を推定することができることを示している。この結果は、本発明者らが完全な設計推定を提供する前に、最初に生の3D入力スキャンデータのみに基づいてユーザのために歯の本数を自動的に推定することができる潜在的なサブシステムの可能性を示している。
【0203】
実装
本発明に係る方法は、独立型装置としてあるいはサブシステムまたは他の装置に組み込まれたプロセッサまたは処理手段によって行うことができる。本発明は機能を行うように構成されている処理エンジンを使用することができる。処理エンジンは好ましくは、1つ以上のマイクロプロセッサ、FPGAまたは中央処理装置(CPU)および/またはグラフィックス処理装置(GPU)によって提供されるようなデジタル処理能力を有し、ソフトウェア、すなわち1つ以上のコンピュータプログラムによりプログラムされているそれぞれの機能を行うように構成されている。ソフトウェアという言及は、コンパイルされた言語または解釈言語のいずれかを介してプロセッサによって直接もしくは間接的に実行可能なあらゆる言語の任意の種類のプログラムを包含することができる。本発明の方法のいずれかの実装は、論理回路、電子ハードウェア、プロセッサあるいは任意の程度まで統合されたあらゆる種類の論理もしくはアナログ回路を包含することができる回路によって行うことができ、これらは汎用プロセッサ、デジタル信号プロセッサ、ASIC、FPGA、個別コンポーネントまたはトランジスタロジックゲートなどに限定されない。
【0204】
処理手段またはプロセッサは、メモリ(非一時的コンピュータ可読媒体、RAMおよび/またはROMなど)、オペレーティングシステム、任意に固定式ディスプレイなどのディスプレイ、キーボードなどのデータ入力装置のためのポート、「マウス」などのポインタ装置、他の装置と通信するためのシリアルもしくはパラレルポート、任意のネットワークに接続するためのネットワークカードおよびネットワーク接続を有していてもよい。
【0205】
ソフトウェアは、ソフトウェアがメモリにロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、例えば以下に箇条書きにされている本発明の方法のいずれかの機能を行うように構成されたコンピュータプログラム製品として実装することができる。故に、本発明の実施形態のいずれかと共に使用するための処理手段またはプロセッサは、コンピュータソフトウェアの形態の1つ以上のコンピュータアプリケーションを実行することができるコンピュータシステムに組み込むことができる。
【0206】
上で本発明の実施形態に関して記載されている方法は、メモリにロードされて、例えばMicrosoft社(米国)によって提供されているWindows(登録商標)、Linux(登録商標)、Android(登録商標)などのオペレーティングシステム上で、あるいはそれらと連携して実行されるコンピュータシステム上で実行される1つ以上のコンピュータアプリケーションプログラムによって行うことができる。コンピュータシステムはメインメモリ、好ましくはランダムアクセスメモリ(RAM)を備えていてもよく、非一時的ハードディスクドライブおよび/または取外し可能な非一時的メモリおよび/または非一時的ソリッドステートメモリも備えていてもよい。取外し可能な非一時的メモリはコンパクトディスク(CD-ROMまたはDVD-ROM)などの光ディスク、好適なリーダーによって読み書きされる磁気テープであってもよい。取外し可能な非一時的メモリは、その中にコンピュータソフトウェアおよび/またはデータ記憶しているコンピュータ可読媒体であってもよい。不揮発性ストレージメモリを使用して、コンピュータシステムの電源を落とした場合に失われてはならない永続的情報を記憶することができる。アプリケーションプログラムは不揮発性メモリにおいて情報を使用および記憶する。
【0207】
コンピュータプログラム製品として実装されているソフトウェアは、ソフトウェアがそれぞれの1つ以上の装置にロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、
機械学習システムを訓練するためのコンピュータ実装方法を行う機能であって、機械学習システムは1つ以上の計算装置にインストールされている機能、
機械学習システムを複数の前から存在する治療用3Dデータセットによりエンドツーエンドで訓練する機能であって、3Dデータセットは、機械学習システムの一方のエンドに入力として患者の歯列の3D画像と他方のエンドに出力として患者の修復用歯科用物体の表現の3D形状とを含む機能、
患者の歯列の少なくとも1つの部分の3Dスキャンの表現を訓練された機械学習システムに(例えばI/Oポートまたはインタフェースを介して)入力する機能であって、3Dスキャンの表現は少なくとも1つのインプラント位置を定めており、機械学習システムは1つ以上の計算装置にインストールされている機能、および
訓練された機械学習システムを用いてインプラントのための修復用歯科用物体の3D形状の表現をエンドツーエンドで特定する機能
を行うように構成されている。
【0208】
コンピュータプログラム製品に実装されているソフトウェアは、ソフトウェアがそれぞれの1つ以上の装置にロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、
1つ以上の計算装置によって複数の前から存在する治療用3Dデータセットを用いて機械学習システムをエンドツーエンドで訓練する機能、
1つ以上の計算装置によって、少なくとも1つのインプラント位置を定めている患者の歯列の少なくとも1つの部分を表している患者の3Dスキャンデータを受信する機能、および
訓練された機械学習装置を用いてインプラントのための修復用歯科用物体の3D形状の表現を特定する機能
を行うように構成されており、
特定する機能はエンドツーエンドで行うことができる。
【0209】
コンピュータプログラム製品に実装されているソフトウェアはソフトウェアがそれぞれの1つ以上の装置にロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、
コンピュータベースのエンドツーエンド機械学習モデルを適用する機能
を行うように構成されており、
任意に機械学習システムはニューラルネットワークであり、
従ってニューラルネットワークはCNNであってもよく、
受信する機能は患者の口のスキャンされた3D画像またはアーカイブから検索された患者の口の3D画像を受信することを含む。
【0210】
コンピュータプログラム製品に実装されているソフトウェアはソフトウェアがそれぞれの1つ以上の装置にロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、
修復用歯科用物体の3D形状を生成する機能
を行うように構成されており、
修復用歯科用物体は、インプラントへの直接的な取り付けのためのものであっても1つ以上の媒介物を介するものであってもよく、
従って3D形状は自由形式の3D形状ではなく、パラメータのセットによって定められるパラメトリックモデルであり、
各パラメータの値の第1の範囲はより小さい第2の範囲のビンのセットに分けられており、かつ機械学習装置は特定のパラメータが属している正しいビンを推定するように構成されている。
【0211】
従ってパラメータは、歯表面の解剖学的構造の特性、歯列または修復物の種類を表すことができる。
【0212】
コンピュータプログラム製品に実装されているソフトウェアはソフトウェアがそれぞれの1つ以上の装置にロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、
パラメータのセットがパラメトリックモデリングの一部であるように、訓練された機械学習システムからアバットメントまたはクラウンを定めるパラメータのセットとして表される形状の表現を出力する機能、
識別的MLアルゴリズムを使用するために機械学習システムを採用する機能
上顎および/または下顎、支台歯形成された顎と対向する顎、喪失歯、インプラントおよび歯の番号を含む患者の歯列を使用する機能、
インプラントのためのクラウンまたはアバットメントである修復用歯科用物体を用いて本方法を行う機能、
各臨床例のための人工ニューラルネットワーク(ANN)への入力に適した顎スキャンジオメトリの3D表面で点サンプルを抽出する機能
を行うように構成されている。
【0213】
コンピュータプログラム製品に実装されているソフトウェアはソフトウェアがそれぞれの1つ以上の装置にロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、
入力データを全ての前から存在する治療用3DデータセットのためのANNの出力である修復用歯科用物体設計パラメータにエンドツーエンドでマッピングすることにより、ANNを用いてパラメトリックモデルを訓練する機能、
訓練されたパラメトリックモデルをコンピュータファイルのセットとしてネットワーク位置に保存する機能、
ビンに分類されたパラメトリック値を使用して3D画像の入力により新しい臨床例のためのパラメトリック値を決定する機能
を行うように構成されている。
【0214】
コンピュータプログラム製品に実装されているソフトウェアはソフトウェアがそれぞれの1つ以上の装置にロードされて、例えばマイクロプロセッサ、ASIC、FPGAなどの1つ以上の処理エンジンで実行された場合に、
インプラントベースの修復物の新しい臨床例を使用する機能であって、ユーザ設計嗜好、患者顎の3Dスキャンならびに特徴位置物体の3Dスキャンデータからのインプラント位置および向きの入力を受信することを含む機能、
顎スキャンジオメトリの3D表面上のサンプルを訓練のために使用した同じフォーマットで抽出する機能、
受信した入力データを1つ以上の計算装置に送信し、この計算装置がその要求を処理し、かつ訓練されたANNモデルを用いて予測した設計パラメータのセットを返す機能、
予測した設計パラメータから3Dモデルの修復用歯科用物体を再構築し、かつこれらをユーザに提示するためにレンダリングする機能
を行うように構成されている。
【0215】
上記ソフトウェアはいずれも、サーバまたはネットワークのノードのいずれかにある処理エンジンのためにコンパイルされているコンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、例えば光ディスク(CD-ROMまたはDVD-ROM)、デジタル磁気テープ、磁気ディスク、USBフラッシュメモリなどのソリッドステートメモリ、ROMなどの非一時的信号記憶媒体に記憶されていてもよい。
【0216】
例示のためにシステム、方法および装置の具体例を本明細書に記載してきた。これらは単に例である。本明細書に提供されている技術は、上に記載されている例示的システム以外のシステムに適用することができる。本発明の実施の範囲内で多くの代替、修正、追加、省略および置換が可能である。本発明は、特徴、要素および/または行為を同等の特徴、要素および/または行為で置き換えること、異なる実施形態からの特徴、要素および/または行為と混合および対応させること、本明細書に記載されている実施形態からの特徴、要素および/または行為を他の技術の特徴、要素および/または行為と組み合わせること、および/または記載されている実施形態からの特徴、要素および/または行為を省略することにより得られる変形を含む、当業者には明らかである記載されている実施形態に対する変形を含む。従って、以下の添付の特許請求の範囲およびその後に導入される請求項は、当然推測することができるような全てのそのような修正、置換、追加、省略および部分的組み合わせを含むものと解釈されることが意図されている。特許請求の範囲は、例に記載されている好ましい実施形態のセットによって限定されるべきではなく、全体としての記載に一致する最も広い解釈が与えられるべきである。
【0217】
以上、具体的な実施形態を参照しながら本発明について説明してきたが、これは本発明を限定するためではなく明らかにするためになされたものである。当業者であれば、本発明の範囲から逸脱することなく開示されている特徴の様々な修正および異なる組み合わせが可能であることを理解するであろう。

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
【国際調査報告】