IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジェームズ アール. グライドウェル デンタル セラミックス,インコーポレーテッドの特許一覧

特許7458711ディープラーニングを用いた歯科用CADの自動化
<>
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図1
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図2
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図3
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図4
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図5
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図6A
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図6B
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図7
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図8
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図9
  • 特許-ディープラーニングを用いた歯科用CADの自動化 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-22
(45)【発行日】2024-04-01
(54)【発明の名称】ディープラーニングを用いた歯科用CADの自動化
(51)【国際特許分類】
   A61C 13/00 20060101AFI20240325BHJP
   A61C 13/003 20060101ALI20240325BHJP
   A61C 8/00 20060101ALI20240325BHJP
   A61C 5/77 20170101ALN20240325BHJP
【FI】
A61C13/00 Z
A61C13/00 A
A61C13/003
A61C8/00 Z
A61C5/77
【請求項の数】 19
【外国語出願】
(21)【出願番号】P 2019049652
(22)【出願日】2019-03-18
(65)【公開番号】P2019162426
(43)【公開日】2019-09-26
【審査請求日】2022-03-10
(31)【優先権主張番号】15/925,078
(32)【優先日】2018-03-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】513149090
【氏名又は名称】ジェームズ アール. グライドウェル デンタル セラミックス,インコーポレーテッド
(74)【代理人】
【識別番号】100092783
【弁理士】
【氏名又は名称】小林 浩
(74)【代理人】
【識別番号】100120134
【弁理士】
【氏名又は名称】大森 規雄
(74)【代理人】
【識別番号】100103182
【弁理士】
【氏名又は名称】日野 真美
(74)【代理人】
【識別番号】100187964
【弁理士】
【氏名又は名称】新井 剛
(74)【代理人】
【識別番号】100104282
【弁理士】
【氏名又は名称】鈴木 康仁
(72)【発明者】
【氏名】セルゲイ,アザニコフ
(72)【発明者】
【氏名】セルゲイ,ニコルスキー
【審査官】岡▲さき▼ 潤
(56)【参考文献】
【文献】米国特許出願公開第2018/0028294(US,A1)
【文献】国際公開第2018/158411(WO,A1)
【文献】米国特許出願公開第2018/0008213(US,A1)
【文献】米国特許出願公開第2017/0325909(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61C 13/00
A61C 13/003
A61C 8/00
A61C 5/77
(57)【特許請求の範囲】
【請求項1】
歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
1以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第1の3D歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップと、
前記1以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
前記トレーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第1の3D歯科補綴物モデルを生成するステップと
を備え、
前記ディープニューラルネットワークは、敵対的生成ネットワーク(GAN)であり、
前記トレーニングデータセットはデジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを備え、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、
前記方法。
【請求項2】
歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
1以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第1の3D歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップであって、前記トレーニングデータセットは準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え、前記歯科補綴物データセットは前記歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを備える、ステップと、
デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第2の3D歯科補綴物モデルを生成するように第2のディープニューラルネットワークをトレーニングするステップであって、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、ステップと、
前記1以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
前記トレーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第1の3D歯科補綴物モデルを生成するステップと、
前記第2のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて、前記第2の3D歯科補綴物モデルを生成するステップと
を備え、
前記ディープニューラルネットワークは、敵対的生成ネットワーク(GAN)であり、 前記歯科補綴物データセットが、ライブラリ歯テンプレートに基づいて作成された現実の歯冠のスキャンデータを備える、
前記方法。
【請求項3】
前記ライブラリ歯テンプレートが32個の歯テンプレートを備える、請求項に記載の方法。
【請求項4】
現実の歯冠が、前記32個の歯テンプレートを用いて技師によって作成される、請求項に記載の方法。
【請求項5】
準備部位データを有する前記歯列スキャンデータセットが、患者のスキャンされた歯列からの現実の準備部位のスキャンデータを備える、請求項に記載の方法。
【請求項6】
前記第1の3D歯科補綴物モデルが、歯冠、インレー、ブリッジ又はインプラントからなる、請求項1に記載の方法。
【請求項7】
前記セグメント化歯データが、前記自然歯列スキャンデータセットからの歯データをセグメント化することによって生成される、請求項に記載の方法。
【請求項8】
歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
1以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第1の3D歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップであって、前記トレーニングデータセットは準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え、前記歯科補綴物データセットは前記歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを備える、ステップと、
デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第2の3D歯科補綴物モデルを生成するように第2のディープニューラルネットワークをトレーニングするステップであって、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、ステップと、
前記1以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
前記トレーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第1の3D歯科補綴物モデルを生成するステップと、
前記第2のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて、前記第2の3D歯科補綴物モデルを生成するステップと
前記第2のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第2の3D歯科補綴物モデルを生成するステップと
を備え、
前記ディープニューラルネットワークは、敵対的生成ネットワーク(GAN)である、
前記方法。
【請求項9】
前記第1及び第2の3D歯科補綴物モデルの特徴を共に混合して混合3D歯科補綴物モデルを生成するステップをさらに備える請求項に記載の方法。
【請求項10】
患者のプロファイル情報を受信するステップと、
前記患者のプロファイル情報と一致する1以上の歯列スキャンデータセットを選択するステップであって、前記自然歯列スキャンデータセットは一致した歯列スキャンデータセットのみを含む、ステップと
をさらに備える請求項に記載の方法。
【請求項11】
プロセッサベースのシステムが3D歯科補綴物モデルを生成することを可能とするコンピュータプログラム製品であって、
トレーニングデータセットを用いて第1の3D歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングすることを前記プロセッサベースのシステムに可能とさせるための第1のプログラムロジックモジュールであって、前記トレーニングデータセットは準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え、前記歯科補綴物データセットは前記歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを備える、前記第1のプログラムロジックモジュールと、 患者の歯列の少なくとも一部分を表す患者スキャンデータを受信することを前記プロセッサベースのシステムに可能とさせるための第2のプログラムロジックモジュールと、
前記受信された患者スキャンデータに基づいて前記第1の3D歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第3のプログラムロジックモジュールと
デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第2の3D歯科補綴物モデルを生成するように第2のディープニューラルネットワークをトレーニングすることを前記プロセッサベースのシステムに可能とさせるための第4のプログラムロジックモジュールであって、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える、第4のプログラムロジックモジュールと、
前記第2のディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて前記第2の3D歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第5のプログラムロジックモジュールと
を備え、
前記ディープニューラルネットワークは、敵対的生成ネットワーク(GAN)である
前記コンピュータプログラム製品。
【請求項12】
前記歯科補綴物データセットが、ライブラリ歯テンプレートに基づいて作成された現実の歯冠のスキャンデータを備える、請求項11に記載のコンピュータプログラム製品。
【請求項13】
前記ライブラリ歯テンプレートが32個の歯テンプレートを備える、請求項12に記載のコンピュータプログラム製品。
【請求項14】
現実の歯冠が、前記32個の歯テンプレートを用いて技師によって作成される、請求項13に記載のコンピュータプログラム製品。
【請求項15】
準備部位データを有する前記歯列スキャンデータセットが、患者のスキャンされた歯列からの現実の準備部位のスキャンデータを備える、請求項11に記載のコンピュータプログラム製品。
【請求項16】
プロセッサベースのシステムが3D歯科補綴物モデルを生成することを可能とするコンピュータプログラム製品であって、
トレーニングデータセットを用いて第1の3D歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングすることを前記プロセッサベースのシステムに可能とさせるための第1のプログラムロジックモジュールと、
患者の歯列の少なくとも一部分を表す患者スキャンデータを受信することを前記プロセッサベースのシステムに可能とさせるための第2のプログラムロジックモジュールと、
前記受信された患者スキャンデータに基づいて前記第1の3D歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第3のプログラムロジックモジュールと
を備え、
前記ディープニューラルネットワークは、敵対的生成ネットワーク(GAN)であり、
前記トレーニングデータセットはデジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを備え、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備える
コンピュータプログラム製品。
【請求項17】
前記セグメント化歯データが、前記自然歯列スキャンデータセットからの歯データをセグメント化することによって生成される、請求項16に記載のコンピュータプログラム製品。
【請求項18】
前記第1及び第2の3D歯科補綴物モデルの特徴を共に混合して混合3D歯科補綴物モデルを生成することを前記プロセッサベースのシステムに可能とさせるための第6のプログラムロジックモジュールをさらに備える請求項11に記載のコンピュータプログラム製品。
【請求項19】
歯列の歯科モデルに関連する歯科修復物を生成するために、コンピュータが実行する方法であって、
以上のコンピューティングデバイスが、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、
レーニングされたディープニューラルネットワークを用いて、前記受信された患者スキャンデータに基づいて第1の3D歯科補綴物モデルを生成するステップと
を備え、
前記トレーニングされたディープニューラルネットワークは、デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを備えるトレーニングデータセットを用いてトレーニングされたディープニューラルネットワークを備え、前記自然歯科補綴物データセットは前記自然歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを備え、
前記ディープニューラルネットワークは、敵対的生成ネットワーク(GAN)である
前記方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概略として歯科用のコンピュータ補助設計(CAD)の分野に関し、具体的にはディープラーニングを用いた歯科用CADの自動化に関する。
【背景技術】
【0002】
近年、CAD/CAM歯科医術(歯科医術におけるコンピュータ補助設計及びコンピュータ補助製造)が、歯冠、べニア、インレー及びアンレー、固定架工義歯、歯科インプラント修復物並びに歯科矯正アプリケーションを含む広範な歯科修復物を提供してきた。通常のCAD/CAMベースの歯科手順では、治療歯科医は、修復される歯を歯冠、インレー、アンレー又はべニアのいずれかとして準備することができる。そして、準備される歯及びその周辺は、三次元(3D)撮像カメラによってスキャンされ、設計用コンピュータにアップロードされる。あるいは、歯科医は、修復される歯の印象を取得すればよく、その印象は直接スキャンされ、又はスキャンされるモデルに形成され、設計用コンピュータにアップロードされ得る。
【0003】
現在の歯科用CADは、未だに手動作業に大きく依存する。これらの修復物のCADに伴う手動作業量を最小化することは、大きな関心事である。究極の目的は、人間の介在なしに許容可能な設計を与えることができる完全自動化ソリューションを提供することである。そのような非常に自律的な歯科用CADシステムを構築するために、高いレベルの経験がソフトウェアに集積される必要がある。それを行う一つのやり方は、熟練の歯科専門家に知られている全てのニュアンスを含むことになる包括的な規則のセットを構築し、それを機械が理解可能なように定式化することである。しかし、各歯科修復物は固有のものであり、歯科技師によってなされる特定の判断は厳密に定義することが非常に難しい。したがって、これは、非常に面倒な仕事であり、この規則のセットが提供可能な場合にのみ実行可能となることは明らかである。
【0004】
マシンラーニング(ML)業界において近年普及してきた異なるアプローチは、規則の明示的な定式化なしに多数の例から学習することができるシステムを構築する考えに基づく。この方法は、一般に、ディープラーニング(DL)といわれ、これは、数例を挙げると、会話認識(例えば、Siri)、コンピュータビジョン(例えば、Google+)、自動オファリング(例えば、Amazon)においてある程度の成功で使用されている。大量のデータ及び計算能力が利用可能であることによって、ほんの数年前では処理しにくいとみられていた問題に対処する能力が与えられる。DLは、大量のデータを用いて非常に大きなディープニューラルネットワーク(DNN)をトレーニングする能力を与える。
【発明の概要】
【0005】
ディープニューラルネットワークを用いて歯科補綴物の3Dモデルを生成するための方法及びコンピュータにより実行されるシステムの例示の実施形態をここに説明する。ある方法の実施形態は、1以上のコンピューティングデバイスによって、トレーニングデータセットを用いて第1の3D歯科補綴物モデルを生成するようにディープニューラルネットワークをトレーニングするステップと、1以上のコンピューティングデバイスによって、患者の歯列の少なくとも一部分を表す患者スキャンデータを受信するステップと、トレーニングされたディープニューラルネットワークを用いて、受信された患者スキャンデータに基づいて第1の3D歯科補綴物モデルを生成するステップとを含み得る。
【0006】
トレーニングデータセットは、準備部位データを有する歯列スキャンデータセット及び歯科補綴物データセットを備え得る。歯肉線上の準備部位は、歯茎上の準備限界又は限界線によって規定され得る。歯科補綴物データセットは、歯列スキャンデータセットにおける各準備部位に関連するスキャン補綴物データを含み得る。
【0007】
スキャン補綴物は、32個以上の歯テンプレートを有するライブラリ歯テンプレートに基づいて作成された現実の患者の歯冠のスキャンであり得る。準備部位データを有する歯列スキャンデータセットは、患者のスキャン歯列から現実の準備部位のスキャンデータを含み得る。
【0008】
ある実施形態では、トレーニングデータセットは、デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット、及び歯列スキャンデータセットにおける各デジタル的に作製された準備部位に関連するセグメント化歯データを含み得る自然歯科補綴物データセットを含み得る。自然歯列スキャンデータは、2つの主なコンポーネントを有し得る。第1のコンポーネントは、患者の自然歯のスキャン歯列データを含むデータセットである。第1のコンポーネントにおけるデータは、その自然及び未修正のデジタル状態における患者の歯の全てを含む。自然歯列スキャンデータの第2のコンポーネントは、スキャンデータから除去された1以上の歯を有する欠落歯データセットである。欠落歯の代わりに、DNN作製による準備部位が除去歯の部位において置換され得る。この処理は、2つのセットの歯列データ:患者の自然歯の完全かつ未修正の歯列スキャンデータ、及び1本以上の歯が歯列スキャンデータからデジタル的に除去された欠落歯データセット(自然歯科補綴物データセット)を生成する。
【0009】
ある実施形態では、方法は、完全アーチデジタルモデルを生成するステップと、トレーニングデータとしての使用のために自然歯冠データを生成するように完全なアーチにおける各歯をセグメント化するステップとをさらに含む。方法はまた、デジタル的に作製された準備部位データを有する自然歯列スキャンデータセット及び自然歯科補綴物データセットを用いて第2の3D歯科補綴物モデルを生成するように第2のディープニューラルネットワークをトレーニングするステップと、第2のディープニューラルネットワークを用いて、受信された患者スキャンデータに基づいて第2の3D歯科補綴物モデルを生成するステップと、第1及び第2の3D歯科補綴物モデルの特徴を共に混合して混合3D歯科補綴物モデルを生成するステップも含み得る。
【0010】
ある実施形態では、自然歯列スキャンデータは、性別、年齢、民族的属性、食事、生活様式などのような患者のプロファイルを同様に一致させるように選択され得る。患者のプロファイルが特定されると、類似又は同一のプロファイルを有する自然歯列スキャンデータは、カスタマイズされた3D歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするように選択可能となる。
【0011】
明細書に記載される構成及び効果は全てが包含的なものではなく、特に、多数の追加の構成及び効果が図面、明細書及び特許請求の範囲から当業者に明らかとなる。さらに、明細書において使用される文言は、原則として、読み易さ及び教示目的のために選択されており、開示の主題を境界付け又は制限するのに使用されているわけではないことを注記しておく。
【図面の簡単な説明】
【0012】
図1図1は、開示の幾つかの実施形態による、患者の歯列のスキャンデータからの歯科情報を認識するための及び歯科修復物を設計するためのシステムの上位ブロック図である。
図2図2は、本開示の幾つかの実施形態によるコンピューティングデバイスの上位ブロック図である。
図3図3は、本開示の幾つかの実施形態による、ディープニューラルネットワークを用いる3D歯科補綴物モデルを生成するための処理のフローチャートである。
図4図4は、本開示の幾つかの実施形態によるディープニューラルネットワークの構造を示す上位ブロック図である。
図5図5は、本開示の幾つかの実施形態によるディープニューラルネットワークに対する入力及び出力のグラフィック表示である。
図6A図6Aは、本開示の幾つかの実施形態による、3D歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフロー図である。
図6B図6Bは、本開示の幾つかの実施形態による、3D歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフロー図である。
図7図7は、本開示の幾つかの実施形態による、3D歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフローチャートである。
図8図8は、本開示の幾つかの実施形態による、3D歯科補綴物を生成するようにディープニューラルネットワークをトレーニングするための方法のフローチャートである。
図9図9Aおよび図9Bは、本開示の幾つかの実施形態による、ディープニューラルネットワークを用いて生成された歯冠例を示す。
図10図10Aおよび図10Bは、本開示の幾つかの実施形態による、ある歯科補綴物設計から他のものに構成を転用/合成するのに使用されるグラフィックユーザインターフェースを示す。
【発明を実施するための形態】
【0013】
以下に、患者の歯列のスキャンデータからの歯科情報又は特徴を認識するための及びディープニューラルネットワークを用いて歯科修復物を設計するためのシステムを説明する。以降の説明において、説明の便宜上、発明の完全な理解を与えるように多数の具体的詳細を説明する。ただし、発明はこれらの具体的詳細なしに実施可能であることは当業者には明らかとなる。他の例では、構造及びデバイスは、発明を不明瞭とすることを回避するためにブロック図形式で示される。
【0014】
明細書における「一実施形態」又は「実施形態」への言及は、実施形態との関連で記載される特定の構成、構造又は特徴が発明の少なくとも1つの実施形態に含まれることを意味する。本明細書の種々の箇所における「一実施形態では」との文言の出現は、必ずしも全て同じ実施形態に言及しているとは限らない。
【0015】
以降の詳細な説明のある部分は、コンピュータメモリ内のデータビットにおける動作のアルゴリズム及び記号表現の観点で提示される。これらのアルゴリズムの記載及び表現は、データ処理技術における当業者によって彼らの作業の実体を最も効果的に他の当業者に伝えるのに使用される方法である。アルゴリズムは、ここでは及び一般に、所望の結果を導くステップの自己整合的シーケンスと考えられる。ステップは、物理量の物理的操作を要するものである。通常、必ずしもではないが、これらの量は、記憶、転送、合成、比較又は操作されることができる電気又は磁気信号の形態を採る。場合によっては、原則として汎用性のために、これらの信号をビット、値、要素、記号、文字、用語、数字などとして言及することが好都合であることが分かっている。
【0016】
ただし、これら及び類似の用語の全ては適切な物理量に関連付けられるものであり、これらの量に適用される単に便利な符号であることが注記される。特に断りがない限り、以降の開示から明らかなように、開示を通じて「処理する」、「演算する」、「計算する」、「判定/特定/決定する」、「表示する」などのような用語は、コンピュータシステムのレジスタ及びメモリ内の物理(電気)量として表されるデータをコンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、送信若しくは表示デバイス内の物理量として同様に表される他のデータに操作及び変換するコンピュータシステム又は同様の電子コンピューティングデバイスの動作及び処理ということが分かる。
【0017】
本発明は、ここで動作を実行するための装置にも関する。この装置は、必要とされる目的のために特別に構築されてもよいし、コンピュータに記憶されたコンピュータプログラムによって選択的に活性化又は再構成された汎用コンピュータであってもよい。発明は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態又はハードウェア及びソフトウェア要素の双方を含む実施形態の形態をとり得る。ある実施形態では、発明は、コンピュータ可読記憶媒体に記憶された命令又はデータを備えるソフトウェアにおいて実施され、それは、これに限定されることなく、ファームウェア、常駐ソフトウェア、マイクロコード、又はプロセッサによる実行のために命令を記憶するための他の方法を含む。
【0018】
またさらに、発明は、コンピュータ又は任意の命令実行システムによる又はそれと接続されての使用のためのプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態を採り得る。この説明の目的のため、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによる又はそれと接続されての使用のためのプログラムを内包、記憶又は搬送することができる任意の装置である。コンピュータ可読記憶媒体は、電子、磁気、光学、電磁、赤外又は半導体システム(又は装置若しくはデバイス)又は伝搬媒体であればよい。有体コンピュータ可読記憶媒体の例は、これに限定されないが、半導体すなわち固体メモリ、磁気テープ、着脱可能コンピュータディスケット、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、硬い磁気ディスク、光学ディスク、EPROM、EEPROM、磁気カード若しくは光学カード、又は任意のタイプの電子的命令を記憶するためのコンピュータ可読記憶媒体を含み、各々はコンピュータシステムバスに接続される。光学ディスクの例は、コンパクトディスク読み出し専用メモリ(CD-ROM)、コンパクトディスク-リード/ライト(CD-R/W)及びデジタルビデオディスク(DVD)を含む。
【0019】
プログラムコードを記憶及び/又は実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接又は間接的に接続された少なくとも1つのプロセッサを含む。メモリ要素は、実行中にコードがバルクストレージから取得されなければならない回数を減少させるために、プログラムコードの実際の実行中に採用されるローカルメモリ、少なくとも幾つかのプログラムコードの一時的記憶を提供するバルクストレージ及びキャッシュメモリを含み得る。ある実施形態では、(キーボード、ディスプレイ、ポインティングディバイス、又はデータを受信し若しくはデータを提示するように構成された他のデバイスなどの)入力/出力(I/O)デバイスが、直接又は介在するI/Oコントローラを介してシステムに接続される。
【0020】
ネットワークアダプタはまた、介在するプライベート又は公衆ネットワークを介して他のデータ処理システム又は遠隔のプリンタ若しくは記憶デバイスへの接続を可能とするようにデータ処理システムに接続され得る。モデム、ケーブルモデム及びイーサネットカードは、現在利用可能なタイプのネットワークアダプタの例に過ぎない。
【0021】
最後に、ここに提示されるアルゴリズム及びディスプレイは、いずれの特定のコンピュータ又は他の装置に本来的に関連していない。種々の汎用システムは、ここでの教示によるプログラムと使用されてもよいし、必要な方法ステップを実行するようにより特化した装置を構築することが好都合となることもある。様々なこれらのシステムに必要な構造は、以下の説明から明らかとなる。様々なプログラミング言語が、ここに記載されるような発明の教示を実施するのに使用され得ることが分かるはずである。
【0022】
図面及び以降の説明は、説明のためのみによって特定の実施形態を説明するものである。当業者であれば、以降の説明から、ここに説明する構造及び方法の代替の実施形態はここに記載される原理から離れることなく採用され得ることを認識するはずである。ここで幾つかの実施形態に対して参照がなされ、その例は添付図面に示される。なお、実質的に類似又は同様の符号は、図面において類似又は同様の機能を示すのに使用され得る。
【0023】
システムの概要
患者の歯列のスキャンデータからの歯科情報又は特徴を認識するための及びディープニューラルネットワークを用いて歯科修復物を設計するための方法及びシステムの例示の実施形態をここに説明する。ここに説明する歯科修復物を設計するコンピュータにより実行される方法は、設計処理に関する開始点として患者の口腔の状況の少なくとも一部の電子画像を用いる。ある実施形態では、電子画像は、患者の歯の直接口腔スキャンによって取得される。これは、例えば、歯科医院又はクリニックにおいて通常行われるものであり、歯科医師又は歯科技師によって実行される。他の実施形態では、電子画像は、患者の歯の印象をスキャンすることによって、患者の歯の物理的モデルをスキャンすることによって、又は当業者に周知の他の方法によって間接的に取得される。これは、例えば、歯科実験室において行われ、実験室の技術者によって実行される。したがって、ここに記載される方法は、チェアサイド、歯科実験室又は他の環境での使用に適し、適用可能である。電子画像を用いて、コンピュータにより実行される歯科情報又は特徴認識システムは、自動的に有用な歯科構造及び修復情報を識別するとともに歯列の特徴及び限界線を検出するのに使用されるので、以下のステップにおける自動歯科修復設計及び作製を促進する。
【0024】
ある実施形態では、患者の解剖図の適切な画像を取得するために、複数回のスキャン(例えば、象限あたり3~5回のスキャン)が実行される。例えば、咬合、舌側及び頬側スキャンが、準備側の顎及び対向側の顎の双方に行われ得る。そして、準備側の顎と対向側の顎の間の適正な咬合関係を確立するように、咬合状態の顎での単一回のスキャンが頬側透視からとられてもよい。さらに、ある実施形態では、隣り合う歯の接触領域を撮影するように隣接間スキャンが付加される。スキャン処理が完了すると、スキャンシステム(不図示)は、複数回のスキャンを準備歯及びその周辺並びに対向歯のデジタルモデル(ここでは「歯科モデル」又は「デジタル歯科モデル」ともいう)に組み立てる。歯科モデルは、準備歯について使用される修復物を設計するのに使用され得る。例えば、歯科修復物設計プログラムが、ユーザデバイスにおけるユーザインターフェースにおいて歯科モデルを処理及び表示し得る。ユーザデバイス上で操作するユーザ(例えば、設計技術者)は、歯科モデルを視認し、歯科モデルに基づいて修復物モデルを設計又は改良することができる。
【0025】
ある実施形態では、本システムは、患者の歯列の少なくとも一部を表現する歯科モデルから歯科情報及び/又は特徴を自動的に認識し、ユーザが手動設計を開始する前に、認識された歯科情報及び/又は特徴を表示し得る。例えば、本システムは、下顎及び上顎、準備される顎及び対向する顎、準備物が使用される歯の数、又は設計される修復物の種類を識別及びラベル付けし得る。他の例では、本システムはまた、ユーザに対して特徴、例えば、歯列の咬頭又は限界線を検出してもよい。したがって、ユーザは、スクラッチから設計を開始する必要はなく、認識された歯科情報及び特徴があれば、ユーザはより容易かつ迅速に設計を完了することができる。また、状況によっては、自動的に認識された歯科情報及び特徴は、ユーザが適切に設計を行うことを保証することの確認として機能し得る。
【0026】
ある実施形態では、本システムは、認識された歯科情報及び特徴を、ユーザに対して修復物の自動的提案を生成するための他の自動設計プログラムに供給し得る。例えば、自動設計プログラムは、歯科モデルにおける歯列に最も合致するライブラリ歯アーチ形状を歯ライブラリから検索し、それを自動的に位置決めすることができる。本システムは、認識された歯科情報及び特徴を提案されたライブラリ歯群アーチ形状に合成することによって、ユーザの設計をさらに容易化する。
【0027】
図1は、本開示の幾つかの実施形態による、患者の歯列のスキャンデータからの歯科情報を認識するための及び歯科修復物を設計するためのシステム100のブロック図である。システム100は、歯科修復サーバ101、ユーザ147によって操作される設計デバイス103、クライアント175によって操作されるクライアントデバイス107及びスキャナ109、並びにネットワーク105によって接続される第三者サーバ151を含む。説明の簡明化のため、図1には、1つの歯科修復サーバ101、1つの設計デバイス103、1つのクライアントデバイス107及び1つの第三者サーバ151が示される。システム100の実施形態は、ネットワーク105に接続された複数の歯科修復サーバ101、設計デバイス103、クライアントデバイス107及び第三者サーバ151を有し得る。同様に、図1の種々のエンティティによって実行される機能は、異なる実施形態では異なり得る。
【0028】
ネットワーク105は、歯科修復サーバ101、設計デバイス103、クライアントデバイス107及び第三者サーバ151間の通信を可能とする。ある実施形態では、ネットワーク105は、標準通信技術及び/又はプロトコルを用いる。例えば、ネットワーク105は、有線であれ無線であれ、従来のタイプのネットワークであってもよいし、スター構成、トークンリング構成又は関連分野の当業者に周知の他の構成などの任意数の構成を有していてもよい。他の実施形態では、エンティティは、上記のものに代えて又はそれに加えて、カスタム及び/又は専用データ通信技術を用いることができる。
【0029】
ある実施形態では、ネットワーク105は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(例えば、インターネット)及び/又は複数のデバイスが通信する任意の他の相互接続データ経路を備える。他の実施形態では、ネットワーク105は、ピアトゥピアネットワークである。ネットワーク105は、様々な異なる通信プロトコルにおいてデータを送信するための電気通信ネットワークの部分に接続され、又はそれを含む。例えば、ネットワーク105は、3Gネットワーク又は4Gネットワークである。さらに他の実施形態では、ネットワーク105は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキストトランスファプロトコル(HTTP)、直接データ接続、ワイヤレスアプリケーションプロトコル(WAP)、eメールなどを介するような、データを送受信するためのBluetooth通信ネットワーク又はセルラ通信ネットワークを含む。さらに他の実施形態では、ネットワーク105におけるリンクの全部又は一部は、セキュアソケットレイヤ(SSL)、セキュアHTTP及び/又は仮想プライベートネットワーク(VPN)などの従来の暗号化技術を用いて暗号化される。
【0030】
ある実施形態では、ネットワーク105は、旧来的なネットワークではなく、クラウドコンピューティング技術を利用するクラウドである。ネットワーク/クラウド105は、任意のクラウドサーバを含み得る。例えば、歯科修復サーバ101は、クラウド105に含まれるクラウドサーバであり得る。第三者サーバ151も、クラウド105に含まれるクラウドサーバであり得る。これらのサーバを含むことによって、クラウド105は、クラウドコンピューティング技術を利用してクラウドサービスを設計デバイス103及び/又はクライアントデバイス107に提供することができる。
【0031】
歯科修復サーバ101は、人間のクライアントなどのクライアント175によって操作されるクライアントデバイス107からの歯科修復リクエストを受信する。ある実施形態では、歯科修復リクエストは、スキャナ109によって生成されるスキャン歯科モデルを含む。他の実施形態では、クライアント107は、そのリクエストとともに患者の歯の物理的モデル又は印象を歯科修復サーバ101に送信してもよく、それに従ってデジタル歯科モデルがサーバ側101において、例えば、サーバ101上で操作する管理者又は技術者によって作成可能となる。歯科修復サーバ101は、クライアント107からの受信リクエストに基づいて歯科修復ケースを作成及び管理する。例えば、歯科修復サーバ101は、作成されたケースを適切な設計デバイス103又は第三者サーバ151に割り当ててクライアントのリクエストによる歯科修復を設計することができる。ケースが完了すると、歯科修復サーバ101は、完了した設計をクライアント107に戻すことができる。ある実施形態では、歯科修復サーバ101は、ここに記載される歯科修復サービスを提供するようにクラウド105に含まれてもよい。
【0032】
ある実施形態では、歯科修復サーバ101は、歯科モデルからの歯科情報の自動認識のためのディープニューラルネットワークをトレーニングすることができ、以前にトレーニングされたディープニューラルネットワークを用いて歯科修復ケース又はリクエストに関連付けられる歯科モデルの歯科情報を識別する。例えば、歯科情報は、下顎及び上顎、準備される顎及び対向する顎、歯数、歯冠、インレー、ブリッジ及びインプラントなどの修復タイプを含み得る。歯科情報の更なる例は、歯科特徴(例えば、頬側咬頭及び舌側咬頭、咬合面、頬側アーク及び舌側アークなど)、限界線などを含み得る。図示する実施形態では、歯科修復サーバ101は、ディープニューラルネットワークのトレーニング及び自動歯科情報認識をそれぞれ行うトレーニングモジュール120及びスキャン認識モジュール125aを含む。(対応するデバイス又はサーバを参照して以下に説明する)スキャン認識モジュール125a、125b、125c及び125dを個々に又は総称してスキャン認識モジュール125ともいう。
【0033】
歯科修復サーバ101は、1以上のディープニューラルネットワークを有していればよく、それはトレーニングモジュール120及び/又は定性評価モジュール135の一部となり得る。あるいは、1以上のディープニューラルネットワークは、遠隔に又は分散して、歯科修復サーバ101内に存在する独立したモジュールであってもよい。
【0034】
歯科修復サーバ101はまた、歯科モデルに関連するディープニューラルネットワーク及び識別された歯科情報に関係するデータを記憶するデータベース150を含む。そして、歯科修復サーバ101は、修復設計を容易化するために、歯科モデルの自動的に識別された歯科情報を設計デバイス103又は第三者サーバ151に供給し得る。データベース150はまた、歯科修復サーバ101から遠隔に配置されてもよいし、分散して配置されてもよい。ある実施形態では、歯科修復サーバ101は、クライアント175の検討用に、歯科モデルの識別された歯科情報をクライアントデバイス107に送信してもよい。歯科修復サーバ101の他の実施形態は、異なる及び/又は追加の構成要素を含んでいてもよい。さらに、機能は、ここに記載するのとは異なる態様で構成要素間に分散されてもよい。またさらに、システム100は、複数の歯科修復サーバ101及び/又は複数の要求クライアント175に対して作業を実行する他のデバイスを含み得る。
【0035】
クライアントデバイス107は、スキャナ109からのスキャン歯科モデルを受信及び/若しくは検討すること、歯科モデルを含む新たな歯科修復リクエストを設計並びに/若しくは作製のために歯科修復サーバ101に提出すること、ネットワーク105を介して歯科修復サーバ101からの最終歯科修復モデル設計を受信及び/若しくは検討すること、又は歯科モデルの識別された歯科情報を受信及び/若しくは確認することなどの機能を実行するように人間のクライアント175によって使用される電子デバイスであればよい。例えば、クライアントデバイス107は、スマートフォン又はタブレット、ノートブック若しくはデスクトップコンピュータであり得る。クライアントデバイス107は、人間のクライアント175が歯科モデルを視認し、歯科モデルの識別された歯科情報を検討し、又は完了した歯科修復設計を検討することができる表示デバイスを含み及び/若しくはそれとインターフェース接続する。さらに、クライアントデバイス107は、新たな歯科修復リクエストを提出すること、歯科モデルに関連する識別された歯科情報を受信及び検討すること、完了した歯科修復設計を受信及び検討することなどの機能を実行するように人間のクライアント175がクライアントデバイス107と相互作用し得る物理的なボタン並びに/又は画面上のボタンなどのユーザインターフェース(UI)を与える。ある実施形態では、クライアントデバイス107は、歯科モデルに関連する歯科情報の自動認識のためのスキャン認識モジュール125cを含み得る。したがって、デバイス107は、クライアント175が検討及び確認するための歯科モデルの歯科情報を直接識別することができる。
【0036】
スキャナ109は、準備される歯及びその周辺部又は歯科印象をスキャンするための任意のタイプのデバイスであればよい。スキャナ109は、スキャンされた歯及びその周辺部又は歯の印象のデジタルファイルを生成し、そのファイルをクライアントデバイス107に送信することができる。例えば、デジタルファイルは、スキャンデータを含み、デジタル歯科モデルを表現し得る。上述したように、歯科モデルは、歯科修復リクエストを作成して設計及び/又は作製のために歯科修復サーバ101に送信するのにクライアント107によって使用可能である。代替の実施形態では、クライアント175は、クライアントデバイス107自体において歯科修復物を設計するのに歯科モデルを使用することができる。
【0037】
設計デバイス103は、クライアント107によって要求された歯科修復物を設計するようにユーザ147によって相互作用され得る。ある実施形態では、設計デバイス103は、スマートフォン又はタブレット、ノートブック若しくはデスクトップコンピュータであり得る。ユーザ147は、人間のオペレータ、歯科技師又は設計者などであり得る。設計デバイス103は、歯科修復サーバ101から歯科修復設計アサイメントを受信し、それに従って設計を行うことができる。歯科修復物のデジタル設計に使用される設計ソフトウェア(図1には不図示)は、設計デバイス103にインストール可能である。設計ソフトウェアは、ユーザ147についてのライブラリベースの自動的な歯科修復提案を提供して設計処理を加速及び簡略化することができる。ある実施形態では、設計デバイス103は、歯科モデルに関連付けられた歯科情報の自動認識のためのスキャン認識モジュール125bを含み得る。歯科情報(例えば、下顎及び上顎、準備される顎及び対向する顎、歯数、歯冠、インレー、ブリッジ及びインプラントなどの修復タイプ、頬側咬頭及び舌側咬頭、咬合面、頬側アーク及び舌側アーク、限界線など)が認識されていれば、設計ソフトウェアは、その歯科情報を自動提案処理に取り入れ、より速くより良いライブラリベースの修復の提案を提供することができる。
【0038】
第三者サーバ151は、ネットワーク105を介して歯科修復設計を歯科修復サーバ101に提供する任意の1以上のサーバ又はデバイスであればよい。ある実施形態では、第三者サーバ151は、歯科修復サーバ101との合致を行うのに必要となり得る。ある実施形態では、第三者サーバ151は、設計デバイス103にインストールされたソフトウェアからの同一の又は異なる設計ソフトウェア(図1には不図示)で装備されたコンピューティングデバイスを含む。図示する実施形態では、第三者サーバ151は、設計を容易化する歯科情報識別機能を実行するためのスキャン認識モジュール125dをインストールすることができる。ある実施形態では、第三者サーバ151は、歯科修復設計及び/又は作製サービスを提供するようにクラウド105に含まれてもよい。
【0039】
ある実施形態では、歯科修復サーバ101は、修復設計の定性的評価を行うようにディープニューラルネットワークをトレーニングする。例えば、システムは、限界線合せ、隣接歯の接触面、対向顎の歯との咬合、及び修復設計の輪郭のような修復設計の1以上の側面の定性的評価を行い得る。図示する実施形態では、歯科修復サーバ101は、ディープニューラルネットワークのトレーニング及び自動定性評価をそれぞれ実行するトレーニングモジュール120及び定性評価モジュール135を含む。
【0040】
コンピューティングシステムアーキテクチャ
図1に示すエンティティは、1以上のコンピューティングデバイスを用いて実施される。図2は、歯科修復サーバ101、設計デバイス103、第三者サーバ151及び/若しくはクライアントデバイス107又は上記の構成要素として作用するためのコンピューティングデバイス200の上位ブロック図である。チップセット204に接続された少なくとも1つのプロセッサ202が図示される。メモリ206、記憶デバイス208、グラフィクスアダプタ212及びネットワークアダプタ216も、チップセット204に接続される。ディスプレイ218が、グラフィクスアダプタ212に接続される。ある実施形態では、チップセット204の機能は、メモリコントローラハブ220及びI/Oコントローラハブ222によって提供される。他の実施形態では、メモリ206は、チップセット204ではなくプロセッサ202に直接接続される。記憶デバイス208は、ハードドライブ、コンパクトディスク読み出し専用メモリ(CD-ROM)、DVD又は固体メモリデバイスなどの任意の非一時的コンピュータ可読記憶媒体である。メモリ206は、プロセッサ202によって使用される命令及びデータを保持する。グラフィクスアダプタ212は、画像及び他の情報をディスプレイ218に表示する。ネットワークアダプタ216は、コンピュータシステム200をネットワーク105に接続する。
【0041】
当技術で周知のように、コンピューティングデバイス200は、図2に示すものとは異なる及び/又は他の構成要素を有し得る。さらに、コンピューティングデバイス200には、図示した特定の構成要素がなくてもよい。さらに、記憶デバイス208はローカルであってもよいし、及び/又は(ストレージエリアネットワーク(SAN)内に具現されるように)コンピューティングデバイス200から遠隔にあってもよい。
【0042】
当技術で周知のように、コンピューティングデバイス200は、ここに記載される機能を提供するためのコンピュータプログラムモジュールを実行するように適合される。ここで使用するように、用語「モジュール」とは、特定の機能を提供するのに利用されるコンピュータプログラムロジックをいう。したがって、モジュールは、ハードウェア、ファームウェア及び/又はソフトウェアにおいて実施可能である。ある実施形態では、トレーニングモジュール120及びスキャン認識モジュール125のようなプログラムモジュールは、記憶デバイス208に記憶され、メモリ206に読み込まれ、プロセッサ202によって実行される。
【0043】
ディープニューラルネットワークを用いる補綴物生成
図3は、ディープニューラルネットワーク(DNN)を用いる歯科補綴物生成処理300を示す。処理300は305で開始し、ここでは歯列スキャンデータセットが受信され、又はデータベース150などのデータベースに取り込まれる。歯列スキャンデータセットは、歯科準備部位を有する現実の患者の歯列及びそれらの準備部位に対して作成された技師生成による(非DNN生成による)歯科補綴物の1以上のスキャンデータセットを含み得る。歯科準備部位(歯準備物又は準備歯ともいう)は、歯科補綴物(例えば、歯冠、ブリッジ、インレーなど)を受けるように準備される歯、複数の歯又は一本の歯における領域である。技師又は非DNN生成による歯科補綴物は、技師によって主に設計された歯科補綴物である。さらに、技師生成による歯科補綴物は、複数の歯科修復テンプレートを有する歯科テンプレートライブラリに基づいて設計され得る。大人の口における各歯は、歯科テンプレートライブラリにおける1以上の歯科修復テンプレートを有し得る。歯科修復ライブラリについての更なる詳細は、以下に与えられる。
【0044】
ある実施形態では、歯科準備部位を有する受信された歯列スキャンデータセットは、1以上の歯科準備部位を有する現実の患者の歯列のスキャンデータを含み得る。準備部位は、準備限界によって定義され得る。受信された歯列スキャンデータセットはまた、それらの対応の歯科準備部位に装着されたときの歯科補綴物のスキャンデータを含み得る。このデータセットを歯科補綴物データセットというものとする。ある実施形態では、歯科補綴物データセットは、装着される前の技師生成による補綴物のスキャンデータを含み得る。
【0045】
ある実施形態では、受信される各歯列スキャンデータセットは、ディープニューラルネットワークの入力としてデータセットを用いる前に選択的に前処理されてもよい。歯列スキャンデータは、通常は患者の歯列の1以上の部分を表す3Dデジタル画像又はファイルである。患者の歯列の3Dデジタル画像(3Dスキャンデータ)は、患者の口を口腔内スキャンすることによって取得可能である。あるいは、患者の歯の印象又は物理的モデルのスキャンは、患者の歯列の3Dスキャンデータを生成するようになされ得る。ある実施形態では、3Dスキャンデータは、例えば、2D深度マップ及び/又はスナップショットを用いて2Dデータフォーマットに変換され得る。
【0046】
310において、ディープニューラルネットワークは、現実の歯科準備部位並びに装着後及び/又は装着前のそれらの対応の技師生成による歯科補綴物のスキャンデータを有する歯列スキャンデータセットを用いて(例えば、トレーニングモジュール120によって)トレーニングされ得る。現実の歯科準備部位及びそれらの対応の技師生成による歯科補綴物のデータセットの上記組合せをここでは技師生成による歯列スキャンデータセットというものとする。ある実施形態では、ディープニューラルネットワークは、技師生成による歯列スキャンデータセットのみを用いてトレーニングされ得る。言い換えると、トレーニングデータは、1以上の歯科修復ライブラリテンプレートに基づいて作成された技師生成による歯科補綴物のみを含む。
【0047】
歯科修復ライブラリの歯科テンプレートは、それが特定の歯(例えば、歯#3)に対する特定の特徴で設計されたので、最適修復モデルであるとみなされ得る。一般に、標準的な大人の口には32本の歯がある。したがって、歯科修復ライブラリは、少なくとも32個のテンプレートを有し得る。ある実施形態では、各歯テンプレートは、32本の歯の1本に特有なものとなり得る1以上の特定の特徴(例えば、側壁サイズ及び形状、頬側咬頭及び舌側咬頭、咬合面、並びに頬側アーク及び舌側アークなど)を有し得る。例えば、修復ライブラリにおける各歯は、特徴、ランドマーク、隣接する歯に最も合致することになる方向、周辺の歯肉、並びに歯科アーチ形状内の歯の位置及び姿勢を含むように設計される。このように、ディープニューラルネットワークは、特定の歯について顕著な特定の特徴(例えば、側壁サイズ及び形状、咬頭、溝、窪みなど)及びそれらの関係(例えば、咬頭間の距離)を認識するようにトレーニング可能となる。
【0048】
トレーニングモジュール120は、1以上の歯列分類が出力確率ベクトルに基づいてトレーニングデータセットにおいて存在し又は識別されることを認識するようにディープニューラルネットワークをトレーニングすることができる。例えば、トレーニングデータセットが、大量の患者の上顎を表す深度マップ及び/又は患者の下顎を表す深度マップを含むものとする。トレーニングモジュール120は、トレーニングデータセットを用いて、歯科アーチ形状における各個々の歯を認識するようにディープニューラルネットワークをトレーニングすることができる。同様に、ディープニューラルネットワークは、上顎及び下顎に属する深度マップの確率を含む確率ベクトルに下顎の深度マップをマッピングするようにトレーニング可能であり、ここで、下顎に属する深度マップの確率はベクトルにおいて最大となり、又は上顎が属する深度マップの確率よりも実質的に高くなる。
【0049】
ある実施形態では、トレーニングモジュール120は、現実の歯科準備部位及び対応の技師生成による歯科補綴物の1以上のスキャンデータセットを有する歯列スキャンデータセットを用いて、完全3D歯科修復モデルを生成するようにディープニューラルネットワークをトレーニングしてもよい。このように、DNN生成による3D歯科修復モデルは歯科修復ライブラリの1以上の歯テンプレートの1以上の特徴を本質的に取り込み、それはデータベース150の一部となり得る。
【0050】
本開示の幾つかの実施形態によるディープニューラルネットワーク(DNN)400の構造を示す上位ブロック図である図4をここで参照すると、DNN400は、複数のレイヤN、Nh,1、Nh、l-1、Nh,l、Nなどを含む。第1のレイヤNは、1以上の歯列スキャンデータセットが取り込まれ得る入力レイヤである。最後のレイヤNは、出力レイヤである。本開示において使用されるディープニューラルネットワークは、確率及び/又は完全3D修復モデルを出力し得る。例えば、出力は、特定の分類に属する歯科モデルの各特徴又は側面の1以上の確率値を含む確率ベクトルであり得る。さらに、出力は、歯科修復の完全3Dモデルであり得る。
【0051】
各レイヤNは、次のレイヤN+1における各ノードに接続する複数のノードを含み得る。例えば、レイヤNh,l-1における各計算ノードは、レイヤNh,lにおける各計算ノードに接続する。入力レイヤNiと出力レイヤNoの間のレイヤNh,l、Nh,l-1及びNh,1は、隠れたレイヤである。図4において「h」で示す隠れたレイヤにおけるノードは、隠れた変数であり得る。ある実施形態では、DNN400は、複数の、例えば、24個、30個、50個などの隠れたレイヤを含み得る。
【0052】
ある実施形態では、DNN400は、ディープフィードフォワードネットワークであり得る。DNN400は、ディープニューラルネットワークの隠れたレイヤの少なくとも1つにおいて一般行列乗算の代わりに畳み込みを用いるネットワークである畳み込みニューラルネットワークであってもよい。DNN400は、生成系ニューラルネットワーク又は敵対的生成ネットワークであってもよい。ある実施形態では、トレーニングモジュール120は、ディープニューラルネットワークの学習処理を管理するのにラベル付きのトレーニングデータセットを用いることができる。ラベルは、特徴を確率ベクトルの確率値にマッピングするのに使用される。あるいは、トレーニングモジュール120は、ラベル付けされたトレーニングデータセットを必ずしも必要としない生成系ディープニューラルネットワークを非管理的な態様でトレーニングするのに、構造化もラベル付けもされないトレーニングデータセットを用いることができる。
【0053】
トレーニングモジュール120は、技師設計による歯列スキャンデータセットのみを用いて歯科修復の3Dモデルを生成するようにディープニューラルネットワークをトレーニングすることができる。このように、DNN生成による3D歯科補綴物は、人間の技師がライブラリテンプレートを用いることによって設計された歯科補綴物の1以上の特徴を本質的に含むことになる。ある実施形態では、トレーニングモジュール120は、技師生成による歯科補綴物の咬合面が準備部位又は限界における欠落歯の咬合面を表す確率を含む確率ベクトルを出力するようにディープニューラルネットワークをトレーニングすることができる。さらに、トレーニングモジュール120は、最高確率を有する咬合面及び限界線データをスキャンされた歯列データから準備部位にマッピングすることによって完全な3D歯科修復モデルを生成するようにディープニューラルネットワークをトレーニングすることができる。さらに、トレーニングモジュール120は、側壁の1つが準備部位からの咬合面及び限界線データに一致することの確率を含む確率ベクトルに技師生成による歯科補綴物の側壁データをマッピングすることによって3D歯科修復モデルの側壁を生成するようにディープニューラルネットワークをトレーニングすることができる。
【0054】
図3を再度参照すると、新たな患者に対する歯科補綴物の新たな3Dモデルを生成するために、315において、新たな患者の歯列スキャンデータ(例えば、スキャンされた歯科印象、物理的モデル又は口腔内スキャン)が受信され、取り込まれる。ある実施形態では、新たな患者の歯列スキャンデータは、3D画像データを2D画像データに変換するように前処理されてもよく、それは歯列スキャンデータが特定のニューラルネットワークアルゴリズムによって取り入れられることをより容易とすることができる。320において、以前にトレーニングされたディープニューラルネットワークを用いて、新たな患者の歯列における1以上の歯科特徴が識別される。識別された特徴は、例えば、準備部位、対応の限界線、隣接歯及び対応の特徴並びに周辺の歯肉であり得る。
【0055】
325において、トレーニングされたディープニューラルネットワークを用いて、完全3D歯科修復モデルが、320において識別された特徴に基づいて生成可能となる。ある実施形態では、トレーニングされたディープニューラルネットワークに、準備部位に対する歯科補綴物の咬合部分を生成すること、患者の歯列スキャンデータから限界線データを取得すること、選択的に限界線を最適化すること、及び生成された咬合部分と限界線との間の側壁を生成することによって完全3D歯科修復モデルを生成するようにタスクが課されてもよい。咬合部分を生成することは、近心面頬面咬頭、頬側溝、遠心面頬面咬頭、遠端、遠心面頬面溝、遠端の窪み、舌側溝、近心面舌面咬頭などの1以上を有する咬合面を生成することを含み得る。
【0056】
トレーニングされたディープニューラルネットワークは、患者の歯列スキャンデータから限界線データを取得することができる。ある実施形態では、トレーニングされたディープニューラルネットワークは、取得された限界線の輪郭を、それを類似の隣接歯、周辺の歯肉などを有する数千の他の類似の限界線(例えば、同じ歯準備部位の限界線)と比較及びマッピングすることによって選択的に修正することができる。
【0057】
完全3Dモデルを生成するために、トレーニングされたディープニューラルネットワークは、生成された咬合面と限界線との間に合致する側壁を生成することができる。これは、数千の技師生成による歯科補綴物の側壁を生成された咬合部分及び限界線にマッピングすることによって行われ得る。ある実施形態では、(確率ベクトルにおいて)最高確率値を有する側壁が、咬合面と限界線の間の最終的な側壁が生成されることになる基礎モデルとして選択され得る。
【0058】
図5は、本発明の幾つかの実施形態によるトレーニングされたディープニューラルネットワーク400(例えば、GAN)の例示の入力及び出力を示す。図示するように、入力データセット505は、準備部位510を有する新たな患者の歯列スキャンができる。トレーニングされた1以上のディープニューラルネットワーク400を用いて、歯科修復サーバ101は、歯科修復物515の(DNN生成による)3Dモデルを生成することができる。DNN生成による歯科補綴物515は、咬合部分520、限界線部分525及び側壁部分530を含む。ある実施形態では、ディープニューラルネットワークは、1以上のライブラリテンプレートに基づいて生成された数千の技師生成による歯科補綴物を解析し、それらを準備部位510にマッピングすることによって補綴物515に対する側壁を生成することができる。最後に、最高確率値を有する側壁が、側壁530を生成するモデルとして選択可能となる。
【0059】
図6Aは、本開示の幾つかの実施形態による、歯科解剖特徴及び修復物を識別及びモデル化するのに採用可能な敵対的生成ネットワーク(GANネットワーク)600の構造を示す上位ブロック図である。上位において、GANネットワーク600は、現実のモデルと比較された場合に実質的に区別できない出力モデルを生成するように2つの独立したニューラルネットワークを相互に対して用いる。言い換えると、GANネットワーク600は、2つの競合するニューラルネットワークの間の収束を得るミニマックス最適化問題を採用する。GANネットワーク600は、生成器ニューラルネットワーク610及び弁別器ニューラルネットワーク620を含む。ある実施形態では、両ニューラルネットワーク610及び弁別器ネットワーク620は、構造化されず管理されない学習を実行するように構成されたディープニューラルネットワークである。GANネットワーク600では、生成器ネットワーク610及び弁別器ネットワーク(ディープニューラルネットワークを弁別する)620の双方は、同時にトレーニングされる。生成器ネットワーク610は、データ入力605からサンプル615を生成するようにトレーニングされる。弁別器ネットワーク620は、サンプル615が入力605のデータサンプルの1つではなく(現実のサンプル、現実のデータ625からの)トレーニングデータサンプル630に属する確率を提供するようにトレーニングされる。生成器ネットワーク610は、弁別器ネットワーク620がトレーニングデータセット及び生成器610によって生成された出力サンプルを(635において)区別できなくなる確率を最大化するように再帰的にトレーニングされる。
【0060】
各インタラクションにおいて、弁別器ネットワーク620は、生成されたサンプル615が現実のニューラル画像であるのか生成器610によって生成されたものなのかを定量化するのに使用される損失関数640を出力することができる。損失関数640は、後続のサイクルにおいて生成される各後続サンプルを向上するのに生成器610に必要なフィードバックを提供するのに使用され得る。ある実施形態では、損失関数に応じて、生成器610は、重み付け及び/又はバイアス変数の1以上を変化させて他の出力を生成することができる。
【0061】
ある実施形態では、トレーニングモジュール120は、2つの敵対的ネットワーク、生成器610及び弁別器620を同時にトレーニングすることができる。トレーニングモジュール120は、1以上の歯科特徴及び/又は修復物のサンプルモデルを生成するように患者の歯列スキャンデータセットの1以上を用いて生成器610をトレーニングすることができる。例えば、患者の歯列スキャンデータは、準備される歯/部位及びその隣接歯を含む下顎の3Dスキャンデータであり得る。同時に、トレーニングモジュール120は、現実のデータセット(歯冠の画像を有する複数のスキャンデータセットの集合)からの歯冠のサンプルに対して(生成器610によって生成される)準備される歯についての歯冠の生成3Dモデルを区別するように弁別器620をトレーニングすることができる。ある実施形態では、GANネットワークは管理されない学習について設計されるので、入力605及び現実のデータ625(例えば、歯列トレーニングデータセット)はラベル付けされなくてもよい。
【0062】
図6Bは、本開示の幾つかの実施形態による歯科修復物の3Dモデルを生成するための方法650のフローチャートである。方法650は、トレーニングモジュール120などの歯科修復サーバ101の1以上のモジュールによって実行可能である。方法650の命令、処理及びアルゴリズムは、コンピューティングデバイス200のメモリ206に記憶され得るものであり、プロセッサ202によって実行されると、それらは3D歯科補綴物を生成するための1以上のディープニューラルネットワークのトレーニングをコンピューティングデバイス200に実行させることができる。方法650において記載される処理及び手順の一部又は全部は、修復サーバ101内又は他の遠隔コンピューティングデバイス内の1以上の他のエンティティ又はモジュールによって実行され得る。さらに、方法650の1以上のブロック(処理)は、並列に、異なる順序で実行されてもよいし、省略されてもよい。
【0063】
655において、トレーニングモジュール120は、歯冠などの歯科補綴物の3Dモデルを生成するように、ラベル付けされない歯列データセットを用いて生成系ディープニューラルネットワーク(例えば、GAN生成器610)をトレーニングすることができる。一実施形態では、ラベル付け及び分類された歯列データセットが使用されてもよいが、必要ではない。生成系ディープニューラルネットワークは、歯科修復サーバ101の内部又は外部において、トレーニングモジュール120又は別個の独立したニューラルネットワークモジュールに存在していてもよい。
【0064】
660において、実質的に同時に、トレーニングモジュール120はまた、生成系ディープニューラルネットワークによって生成された歯科修復物が現実の歯科修復物のデジタルモデルに対するモデルであることを認識するように弁別ディープニューラルネットワーク(例えば、弁別器620)をトレーニングすることもできる。認識処理では、弁別ディープニューラルネットワークは、現実の歯科修復物と歯科修復物の生成モデルとの比較に基づいて損失関数を生成することができる。損失関数は、生成系ディープニューラルネットワークにフィードバックメカニズムを提供する。出力された損失関数からの情報を用いて、生成系ディープニューラルネットワークは、弁別ニューラルネットワークをより良く欺くことができる一層良好なモデルを生成して、生成モデルが現実のモデルであると思わせることができる。
【0065】
生成系ディープニューラルネットワーク及び弁別ニューラルネットワークは、相反するものとみなすことができる。言い換えると、生成系ディープニューラルネットワークの目的は、現実のサンプル分布又は模造サンプル分布(生成モデル)に属するモデルであることを弁別ディープニューラルネットワークによっては区別できないモデルを生成することである。665において、生成モデルが最も模造らしいことを示す確率値を有する場合、両ディープニューラルネットワークのトレーニングは、655及び660を再度反復及び継続する。この処理は、弁別ディープニューラルネットワークが生成モデルと現実のモデルの間を区別できなくなるまで継続及び反復する。言い換えると、生成モデルが模造である確率は非常に低く、又は生成モデルが現実のサンプルの分布に属する確率は非常に高い。
【0066】
ディープニューラルネットワークがトレーニングされると、方法600は、670で受信される患者の歯列データセットに基づいて歯科修復物のモデルを生成する準備ができる。675において、患者の歯列データセットのモデルは、受信された患者の歯列データセットを用いて生成される。
【0067】
図7は、本開示の幾つかの実施形態によるアーチセグメント化(arch segmentation)を用いてディープニューラルネットワークをトレーニングするのに使用可能な新たなニューラル歯列データセットを生成する処理700を示す。処理700は、1以上の歯列スキャンデータセットが受信されてデータベース150に取り込まれる705で開始する。ある実施形態では、3Dフォーマット画像のデータ取込みは、3Dデータから、個々の歯の識別を含む種々の歯科特徴を認識するようにディープニューラルネットワークをトレーニングするのに使用可能な2Dフォーマットに変換することを含み得る。710において、部分的又は完全アーチセグメント化が、受信歯列スキャンデータに対して実行される。アーチセグメント化処理は、歯列識別及び分類に有用なものとなり得る。言い換えると、アーチセグメント化能力があれば、歯科修復サーバ101は、準備部位の位置及び特徴並びに生成される歯科補綴物が模倣すべき歯識別子(例えば、歯#3)を識別するのにトレーニング済みディープニューラルネットワークを用いることができる。他の例では、アーチセグメント化能力があれば、歯科修復サーバ101は、隣接する歯及び/又は周囲の歯肉のデータのない任意の個々の歯のスキャンを識別することができる。
【0068】
ある実施形態では、アーチセグメント化処理は、歯列スキャンデータを識別して複数の個々の歯データコンポーネントにセグメント化することを含む。例えば、部分的歯列スキャンが4本の歯(番号1~4)を有するものとすると、セグメント化処理はスキャンデータを4個の個別のデータコンポーネントにフラグ付け及び/又は分離することができる。各コンポーネントは、各歯についてのスキャンデータを表す。したがって、セグメント化処理は、4本の個々の歯のいずれかについてのデータが選択、除去及び/又は置換可能となるように、部分的歯列スキャンデータを修正することができる。715において、歯(例えば、歯#2)についてのデータコンポーネントの1つが、4本の歯のアーチ形状の当初のスキャン歯列データから削除され得る。ある実施形態では、削除された歯についてのデータコンポーネントが、デジタル的に作成/作製された準備部位又は限界と置換され得る。したがって、新たなアーチ形状についての新たな歯列スキャンデータ(1本の歯は抽出/削除)は、3本の歯及び1つの準備部位を含む。
【0069】
ある実施形態では、アーチセグメント化に対する有用なアプリケーションの1つは、(720において)全体的に新たな自然歯列データセットを生成する能力を有して、歯科補綴物の自然に見える3Dモデルを生成するようにディープニューラルネットワークをトレーニングすることである。ここで用いられる自然歯列スキャンデータは、2つの主コンポーネントを有する。第1のコンポーネントは、患者の自然歯のスキャン歯列データ(理想的には上顎及び下顎の完全アーチスキャン)を含むデータセットである。第1のコンポーネントにおけるデータは、その自然かつ未修正のデジタル状態における患者の歯の全てを含む。自然歯列スキャンデータの第2のコンポーネントは、スキャンデータから除去された1以上の歯を有する欠落歯データセットである。欠落歯の代わりに、DNN生成による準備部位が欠落歯の部位に置換され得る。この処理は、歯列データの2つのセット:患者の自然歯の完全かつ未修正の歯列スキャンデータ、及び1以上の歯が歯列スキャンデータからデジタル的に除去された欠落歯データセットを生成する。
【0070】
725において、1以上のディープニューラルネットワークが、新たに作成された自然トレーニングスキャンデータセットを用いてトレーニングされる。新たに作成された自然トレーニングスキャンデータセットを用いてディープニューラルネットワークがトレーニングされると、それは自然3D歯科補綴物を生成するのに使用可能となる。なお、歯科補綴物生成処理300と歯科補綴物生成処理700の主な相違の1つは、処理300から生成されたDNN生成による3Dモデルは技師生成による歯科補綴物に基づいており(逆に歯科修復テンプレートに基づかず)、処理700から生成されたDNN生成による3Dモデルは患者の自然歯列特徴に基づくことである。前者のDNN生成による3Dモデルは、それが注意深く工学設計されたライブラリテンプレートに基づくので、その自然ベースの対応物よりも技術的に完全なものとみなされ得る。
【0071】
カスタマイズされたトレーニング及びモデル生成
図8は、本開示の幾つかの実施形態による、カスタマイズされたDNN生成による歯科補綴物を生成するためにトレーニングデータセットをカスタマイズするための処理800を示す。805において、患者の歯列スキャンデータ及び個人データが受信される。個人データは、患者の年齢、性別、民族的帰属、食事、生活様式、及び患者の歯列についての洞察を与えることができ又は患者のグループ若しくはクラスを作成することができる他の情報を含み得る。810において、自然トレーニングデータセットが、患者の個人データに基づいて生成される。同様の年齢、食事及び生活様式の人からのカスタマイズされたトレーニングデータセットは、より望ましいDNN生成による3D歯科補綴物を導くことができる。例えば、70歳代の患者は、DNN生成による歯冠が装着後に人工的に見えないように、他の70歳代の自然歯と同じように見えるDNN生成による歯冠を望み得る。他の例では、米国南東部出身のタバコ製品を吸う患者は、やはりタバコ製品を吸う米国南東部出身の他の人と同じように見えるDNN生成による歯冠を望み得る。したがって、各歯列データセットは、1以上の個人データによって分類及び類別され得る。ある実施形態では、歯列データセットの類別は、歯科修復サーバ101によって又は手動で行われ得る。
【0072】
自然歯列トレーニングデータセットは、年齢、性別、食事、生活様式などのような患者の個人データと一致する歯列スキャンデータを選択することによって作成される。前述したように、自然トレーニングデータセットは、2つの主なコンポーネントを有する。第1のコンポーネントは、患者の自然歯のスキャン歯列データの集合(理想的には、上顎及び下顎の完全アーチスキャン)である。上記例を用いると、米国南東部における人の歯列スキャンデータのみが使用される。そして入手可能であれば、タバコ使用者の歯列スキャンデータのみが使用される。自然歯列スキャンデータの第2のコンポーネントは、スキャンデータから除去された1以上の歯を有する欠落歯データセットである。欠落歯の代わりに、DNN生成による準備部位が欠落歯の部位において置換され得る。ここでも、この処理は、自然トレーニングデータセットに対する歯列データの2つのセット:患者の自然歯の完全かつ未修正の歯列スキャンデータ、及び1以上の歯が歯列スキャンデータからデジタル的に除去された欠落歯データセットを生成する。
【0073】
815において、自然トレーニングデータセットが、歯科補綴物の完全3Dモデルを生成するようにディープニューラルネットワークをトレーニングするのに使用される。820において、トレーニングされたディープニューラルネットワークは、受信された患者の歯列スキャンデータに基づいて歯科補綴物の完全3Dモデルを生成することができる。処理300によって生成された3D歯科補綴物は歯列概観からは非常に良いが、カスタマイズされたトレーニングデータセットを用いて処理800によって生成された3D歯科補綴物は、本来的な不完全さ(例えば、明瞭でない咬頭及び溝、並びにより混合的な特徴)のために、患者にとってはより望ましいものとなるはずであり、より自然に見えることになる。
【0074】
図9Aは、技師生成による歯冠を用いてトレーニングされたDNNを用いる処理300を用いる例示のDNN生成による歯冠900を示す。前述したように、技師生成による歯冠は、それらが歯科修復ライブラリの注意深く工学設計された歯科テンプレートに基づくため、より「完全な」外観となる。図示するように、歯冠900は、明瞭な溝及び咬頭を有する。図9Bは、自然歯列トレーニングデータセットを用いてトレーニングされたDNNを用いる処理700又は800を用いて生成された例示のDNN生成による歯冠950を示す。図示するように、歯冠950は、混合された特徴を有する(すなわち、咬頭及び溝は明瞭ではなく混合されている)。歯冠950は、歯冠900よりも不完全に見えることになるが、それが周囲の歯により良く合致し得るので、それでも歯冠900よりも望ましいものとなり得る。例えば、70歳代の歯の実質的に全てが摩耗している場合、装着歯冠900は直ちに目立ってしまう。そこで、この場合、歯冠950は、70歳代の患者により望ましいものとなり得る。
【0075】
図10A~Bは、本開示の幾つかの実施形態による、歯冠950の1以上の特徴を歯冠900に転用/合成することによって混合歯冠を生成する例示のユーザインターフェース1000を示す。ユーザインターフェース1000は、自然歯冠ウィンドウ1005、工学設計された歯冠ウィンドウ1010、混合歯冠ウィンドウ1015、境界/輪郭スライドバー1020及び解剖スライドバー1025を含む。図示するように、自然歯冠ウィンドウは、処理700又は800を用いるDNN生成による歯冠を表示する。工学設計歯冠(例えば、技師生成による歯冠データを用いて生成された歯冠)ウィンドウ1010は処理300を用いたDNN生成による歯冠を表示し、混合歯冠ウィンドウは自然歯冠及び工学設計された歯冠の双方からの混合構成を有する歯冠を表示する。
【0076】
より多くの輪郭及び/又はより多くの特徴をウィンドウ1005における自然歯冠に付加するために、ユーザはスライドバー1020及び/又はスライドバー1025におけるバーをスライドさせることができ、トレーニングされたDNNはウィンドウ1010における工学設計された歯冠の輪郭及び解剖構造の1以上の特徴をウィンドウ1005における自然歯冠に自動的に転用することができる。特徴転用機能の結果は、混合歯冠1025又は1030である。図10Bに示すように、解剖構造の最大量は、スライドバーを用いて選択される。したがって、混合歯冠1030は、工学設計された歯冠として非常に類似する又は同一の特徴を有する。
【0077】
上記説明は、好ましい実施形態の動作を示すために含まれ、発明の範囲を限定することを意味するものではない。発明の範囲は、以降の特許請求の範囲によってのみ限定されるものである。上記記載から、発明の趣旨及び範囲によって包含されることになる多数のバリエーションが当業者に明らかとなる。
【0078】
本発明の実施形態の上記説明は、例示及び説明の目的で提示されている。それは、網羅的なものでも、本発明を開示される正確な形態に限定するものでもない。多数の変形例及びバリエーションが、上記教示に照らして可能となる。本発明の範囲はこの詳細な説明によってではなく、本願の特許請求の範囲によって限定されるものである。当業者には理解されるように、本発明は、その趣旨又は本質的特徴から離れることなく他の具体的な形態において具現され得る。同様に、モジュール、ルーチン、構成、属性、方法及び他の側面の特定の名称付け及び区分は、強制的なものでも重大なものでもなく、本発明又はその構成を実施するメカニズムは、異なる名称、区分及び/又は形式を有していてもよい。
【0079】
またさらに、当業者には明らかなように、本発明のモジュール、ルーチン、構成、属性、方法及び他の側面は、ソフトウェア、ハードウェア、ファームウェア又はこれらの3つの任意の組合せとして実施され得る。また、モジュールを一例とする本発明の構成要素がソフトウェアとして実施される場合には、構成要素は、スタンドアロンプログラムとして、より大きなプログラムの部分として、複数の個別のプログラムとして、静的若しくは動的にリンクされたライブラリとして、カーネル読込み可能なモジュールとして、デバイスドライバとして、並びに/又はコンピュータプログラミングの当業者に現在若しくは将来において周知の各々及びいずれかの他の態様において実施可能である。
【0080】
さらに、本発明は、任意の特定のプログラミング言語における又は任意の特定のオペレーティングシステム若しくは環境に対する実施に限定されるものではない。したがって、本発明の開示は、以降の特許請求の範囲に記載される本発明の範囲の例示であって限定ではない。

図1
図2
図3
図4
図5
図6A
図6B
図7
図8
図9
図10