(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-01
(54)【発明の名称】シングルフレーム制御ビュー
(51)【国際特許分類】
G06T 19/00 20110101AFI20240423BHJP
A61C 9/00 20060101ALI20240423BHJP
A61B 1/24 20060101ALI20240423BHJP
A61B 1/00 20060101ALI20240423BHJP
A61B 1/045 20060101ALI20240423BHJP
G06N 20/00 20190101ALI20240423BHJP
【ＦＩ】
G06T19/00 A
A61C9/00 Z
A61B1/24
A61B1/00 513
A61B1/00 511
A61B1/00 512
A61B1/045 610
A61B1/045 614
G06N20/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023558414
(86)(22)【出願日】2022-03-18
(85)【翻訳文提出日】2023-11-20
(86)【国際出願番号】 US2022020844
(87)【国際公開番号】W WO2022203941
(87)【国際公開日】2022-09-29
(31)【優先権主張番号】17/211,922
(32)【優先日】2021-03-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517264281
【氏名又は名称】デンツプライ シロナ インコーポレイテッド
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】キム，ホン グン
(72)【発明者】
【氏名】アダムソン，アンダース
(72)【発明者】
【氏名】ヤクビク，オーレ
(72)【発明者】
【氏名】フランケ，フレデリケ
【テーマコード（参考）】
4C161
5B050
【Ｆターム（参考）】
4C161AA08
4C161BB01
4C161BB08
4C161QQ02
4C161QQ03
4C161QQ04
4C161WW02
5B050BA09
5B050BA12
5B050CA07
5B050CA08
5B050DA04
5B050DA10
5B050EA07
5B050EA13
5B050EA18
5B050EA19
5B050EA28
5B050FA02
5B050GA08
(57)【要約】
デジタル印象の幾何形状及び色の品質だけでなく、蛍光特性、透照特性、反射特性、及び吸収特性も、例えば、平均化効果、レンダリング効果、困難なスキャン状況などに起因して、シングルフレーム２Ｄ／３Ｄ画像よりも劣ることがある。これは、プレパレーションマージンラインの作成又はカリエスなどの疾患の検出といった歯科ワークフローの難しさにつながることがある。高品質のシングルフレーム画像と対応する３Ｄモデルの相関ビューを提供することによって、シングルフレーム画像を使用して歯科ワークフローをより効率よく完了するためにガイドすることができる。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
方法であって、歯顎の第１の仮想３Ｄモデルと、前記第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから表示するためのペアを選択するステップと、
提案生成器を使用して、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルを生成する、オペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップと、
を含む方法。
【請求項2】
前記少なくとも１つの直接測定データは、可視光、紫外放射、又は赤外線放射を照射したときに歯顎の修正されていないテクスチャ、可視色、蛍光特性、透照特性、及び反射又は吸収特性からなる群から選択される特徴に関する情報を提供する２Ｄ画像である、請求項１に記載の方法。
【請求項3】
前記少なくとも１つの直接測定データは、歯顎の修正されていない幾何形状に関する情報を提供するシングルフレーム３Ｄ画像である、請求項１に記載の方法。
【請求項4】
前記計算された修正は、第１の仮想３Ｄモデルの一部の幾何形状又は色の変更である、請求項１に記載の方法。
【請求項5】
前記計算された修正は、第１の仮想３Ｄモデルの提案されたマージンの変更である、請求項１に記載の方法。
【請求項6】
前記ペアのリストは、第１の仮想３Ｄモデル上にマッピングとして、テーブルとして、又はリストとして表示される、請求項１に記載の方法。
【請求項7】
前記少なくとも１つの直接測定データは、複数の直接測定データであり、少なくとも選択されたサブセットを使用して修正の再計算をトリガするべく、複数の直接測定データのサブセットが選択され、重み付けされる、請求項１に記載の方法。
【請求項8】
前記制御は双方向の表示関係であり、前記ペアの１つのメンバーを選択するステップによりペアの別のメンバーが表示される、請求項１に記載の方法。
【請求項9】
前記計算された修正はリアルタイムで表示される、請求項１に記載の方法。
【請求項10】
第１又は第２の仮想３Ｄモデルに対して別の入力を提供するステップをさらに含み、対応するライブ又は遅延フィードバックが、直接測定データの対応する位置に提供される、請求項１に記載の方法。
【請求項11】
前記選択されたペアの直接測定データの第１の位置に関するオペレータ入力を提供するステップでは、提案生成器を使用して、第２の仮想３Ｄモデルを生成するべく第１の仮想３Ｄモデルの対応する位置の修正が計算される、請求項１に記載の方法。
【請求項12】
前記提案生成器は機械学習モデルである、請求項１に記載の方法。
【請求項13】
少なくとも１つの２Ｄカラー画像と少なくとも１つのカリエス画像が同じビューに表示される、請求項１に記載の方法。
【請求項14】
同じ座標変換に属することができる複数の直接測定データが同時に表示される、請求項１に記載の方法。
【請求項15】
方法であって、歯顎の第１の仮想３Ｄモデルと、前記第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから、少なくとも１つの直接測定データのうちの第１の直接測定データと、前記第１の直接測定データに対応する第１の向きに配向された第１の仮想３Ｄモデルとを表示するためのペアを選択するステップと、
第１の仮想３Ｄモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第１の直接測定データの対応する位置を計算するために、選択されたペアの第１の仮想３Ｄモデルデータの第１の位置に関するオペレータ入力を提供するステップと、
を含む方法。
【請求項16】
前記少なくとも１つの直接測定データは、シングルフレーム２Ｄ画像又はシングルフレーム３Ｄ画像である、請求項１５に記載の方法。
【請求項17】
コンピュータシステムであって、歯顎の第１の仮想３Ｄモデルと、前記第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから表示するためのペアを選択するステップと、
提案生成器を使用して、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルを生成する、オペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップと、
を実行するように構成されたプロセッサを含むコンピュータシステム。
【請求項18】
前記計算された修正は、第１の仮想３Ｄモデルの提案されたマージンの変更である、請求項１７に記載のコンピュータシステム。
【請求項19】
コンピュータシステムであって、歯顎の第１の仮想３Ｄモデルと、前記第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから、少なくとも１つの直接測定データのうちの第１の直接測定データと、前記第１の直接測定データに対応する第１の向きに配向された第１の仮想３Ｄモデルとを表示するためのペアを選択するステップと、
第１の仮想３Ｄモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第１の直接測定データの対応する位置を計算するために、選択されたペアの第１の仮想３Ｄモデルデータの第１の位置に関するオペレータ入力を提供するステップと、を実行するように構成されたプロセッサを含むコンピュータシステム。
【請求項20】
前記少なくとも１つの直接測定データは、シングルフレーム２Ｄ画像又はシングルフレーム３Ｄ画像である、請求項１９に記載のコンピュータシステム。
【請求項21】
コンピュータシステムによって実行されるときに、歯顎の第１の仮想３Ｄモデルと、前記第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから表示するためのペアを選択するステップと、
提案生成器を使用して、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルを生成する、オペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップと、
を含む手順をコンピュータシステムに実行させるプログラムを記憶する一時的でないコンピュータ可読記憶媒体。
【請求項22】
コンピュータシステムによって実行されるときに、歯顎の第１の仮想３Ｄモデルと、前記第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから、少なくとも１つの直接測定データのうちの第１の直接測定データと、前記第１の直接測定データに対応する第１の向きに配向された第１の仮想３Ｄモデルとを表示するためのペアを選択するステップと、
第１の仮想３Ｄモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第１の直接測定データの対応する位置を計算するために、選択されたペアの第１の仮想３Ｄモデルデータの第１の位置に関するオペレータ入力を提供するステップと、
を含む手順をコンピュータシステムに実行させるプログラムを記憶する一時的でないコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
この特許出願は、あらゆる目的のために参照により本明細書に組み込まれる、２０２１年３月２５日に出願された米国特許出願第１７／２１１，９２２号の利益及び優先権を主張するものである。
この特許出願は、あらゆる目的のために参照により本明細書に組み込まれる、２０２１年３月２５日に出願された米国特許出願第１７／２１１，９２２号の利益及び優先権を主張するものである。
【0002】
本発明は、一般に、虫歯のシングルフレームビューを表示するための方法、システム、及びコンピュータプログラム製品に関する。より具体的には、本発明は、歯のマージンラインの作成などの歯科ワークフロープロセスを支援するために、歯のビューの品質を維持したビューを生成するべく、虫歯の歯の高品質のシングルフレームビューを用いるための方法、システム、及びコンピュータプログラム製品に関する。
【背景技術】
【0003】
歯科学の実践では、歯科治療で修復物の良好なフィットをもたらすために、歯科用ソフトウェアで歯のマージンをトレースすることが行われている。トレースは、普通は、マージンラインがある辺縁を示すことから始まる。入力デバイスを使用して、マージンライン上に点が順次に配置される。これらの点は、編集可能であり、配置された点の全円が生じるまで歯の周りに配置することができる。
【0004】
さらなるステップにおいて、これらの点を使用して、マージンラインを表すラインが自動的に計算される。前記ラインは、編集可能であり、入力デバイスを使用して修正することができる。配置された点を調整することでマージンラインが調整され、マージンラインを調整するためにさらなる点を追加することができる。
【発明の概要】
【0005】
例示的な実施形態は、歯のマージンラインの作成又はカリエスの検出などの歯科ワークフローを支援するために、歯のビューの品質を維持した画像の使用を通じて、虫歯の歯の高品質のシングルフレームビューを表示するための方法、システム、及びコンピュータプログラム製品を提供する。
本明細書の一態様では、シングルフレーム制御ビューを提供する方法が開示される。この方法は、歯顎の第１の仮想３Ｄモデルと、第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データ（例えば、シングルフレーム２Ｄ画像及びシングルフレーム３Ｄ画像）を含む、歯顎又は口腔に関するデータを取得することを含む。その後に、インデックスを付けるステップが続き、第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデックス付けモジュールを使用してデータにインデックスが付けられる。インデックスを付けることに応答して、選択するステップが続き、ペアのリストから表示するためのペアが選択され、提案生成器を使用してオペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力が提供される。この方法では、計算された修正により、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルが生成される。
仮想３Ｄモデルは、３Ｄ幾何形状情報とともに、テクスチャ、視覚的色、蛍光情報、吸収情報、透照情報、反射情報、マージン情報、例えば手動又は自動で生成されたライン、例えば、１つ以上の色又はラインとして描画されたカリエス情報、或いはモデルの一部として、モデル内に、モデルの表面上に、又はテキストボックス、矢印、凡例、十字線、点、円などのモデルの幾何形状の捕捉として視覚化又は表示することができる任意の他の手動で生成された又は自動的に提案された情報などの、それを補足するさらなる情報を含む。
前述の３Ｄモデルの任意の部分の表示された特徴又は基礎となる数値計算のいずれかの変更、修正、又は再計算、例えば、修正された幾何形状、修正された色、修正されたテクスチャ、修正されたマージン提案、修正されたカリエス提案、修正された幾何形状オブジェクト、修正された十字線の位置、モデルに伴う任意の他の診断特徴又はグラフィカル情報の修正、修正された蛍光情報、修正された吸収情報、修正された透照情報、修正された反射情報は、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルとなる、新たに生成又は再計算された３Ｄモデルとみなされる。
本明細書の一態様では、シングルフレーム制御ビューを提供する方法が開示される。この方法は、歯顎の第１の仮想３Ｄモデルと、第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データ（例えば、シングルフレーム２Ｄ画像及びシングルフレーム３Ｄ画像）を含む、歯顎又は口腔に関するデータを取得することを含む。その後に、インデックスを付けるステップが続き、第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデックス付けモジュールを使用してデータにインデックスが付けられる。インデックスを付けることに応答して、選択するステップが続き、ペアのリストから表示するためのペアが選択され、提案生成器を使用してオペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力が提供される。この方法では、計算された修正により、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルが生成される。
仮想３Ｄモデルは、３Ｄ幾何形状情報とともに、テクスチャ、視覚的色、蛍光情報、吸収情報、透照情報、反射情報、マージン情報、例えば手動又は自動で生成されたライン、例えば、１つ以上の色又はラインとして描画されたカリエス情報、或いはモデルの一部として、モデル内に、モデルの表面上に、又はテキストボックス、矢印、凡例、十字線、点、円などのモデルの幾何形状の捕捉として視覚化又は表示することができる任意の他の手動で生成された又は自動的に提案された情報などの、それを補足するさらなる情報を含む。
前述の３Ｄモデルの任意の部分の表示された特徴又は基礎となる数値計算のいずれかの変更、修正、又は再計算、例えば、修正された幾何形状、修正された色、修正されたテクスチャ、修正されたマージン提案、修正されたカリエス提案、修正された幾何形状オブジェクト、修正された十字線の位置、モデルに伴う任意の他の診断特徴又はグラフィカル情報の修正、修正された蛍光情報、修正された吸収情報、修正された透照情報、修正された反射情報は、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルとなる、新たに生成又は再計算された３Ｄモデルとみなされる。
【0006】
本明細書の別の態様では、以下の任意の組み合わせが開示される：少なくとも１つの直接測定データは、修正されていないテクスチャ、歯顎の色、歯顎の蛍光特性、透照特性、反射特性、又は吸収特性に関する情報を提供する、２Ｄ画像（２Ｄカラー画像、２Ｄ蛍光画像、２Ｄ赤外画像、２Ｄカリエス画像、２Ｄ吸収画像、２Ｄ反射画像、及び２Ｄ透照画像など）である；少なくとも１つの直接測定データは、（例えば、色、テクスチャ、カリエス、赤外、吸収、反射、透照、又は蛍光マッピングあり又はなしの）歯顎の修正されていない幾何形状に関する情報を提供する３Ｄ画像である；計算された修正は、第１の仮想３Ｄモデルの一部の幾何形状又は色の変更である；計算された修正は、第１の仮想３Ｄモデルの提案されたマージンの変更である；ペアのリストは、第１の仮想３Ｄモデル上にマッピングとして表示される；ペアのリストは、テーブル又はリストとして表示される；制御は双方向の表示関係であり、ペアの１つのメンバーを選択するとペアの別のメンバーが表示される；計算された修正はリアルタイムで表示される；第１又は第２の仮想３Ｄモデルに対して別の入力が提供され、対応するライブ又は遅延フィードバックが、直接測定データの対応する位置に提供される；選択されたペアの直接測定データの第１の位置に関して提供されるオペレータ入力により、機械学習モデルである提案生成器を使用して第２の仮想３Ｄモデルを生成するべく第１の仮想３Ｄモデルの対応する位置の修正が計算される。
【0007】
また別の態様において、歯顎の第１の仮想３Ｄモデルと、第１の仮想３Ｄモデルの少なくとも一部に対応する少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得することと、第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けることと、インデックスを付けることに応答して、ペアのリストから、少なくとも１つの直接測定データのうちの第１の直接測定データと、第１の直接測定データに対応する第１の向きに配向された第１の仮想３Ｄモデルとを表示するためのペアを選択することと、第１の仮想３Ｄモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第１の直接測定データの対応する位置を計算するために、選択されたペアの第１の仮想３Ｄモデルデータの第１の位置に関するオペレータ入力を提供することと、を含む方法が開示される。この方法では、少なくとも１つの直接測定データは、２Ｄ画像又は３Ｄ画像である。
【0008】
さらなる態様において、コンピュータシステムが開示される。コンピュータシステムは、歯顎の第１の仮想３Ｄモデルと、第１の仮想３Ｄモデルの少なくとも一部を表す、用いられる少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けるステップと、インデックスを付けることに応答して、ペアのリストから表示するためのペアを選択するステップと、提案生成器を使用して、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルを生成する、オペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップとを実行するように構成されたプロセッサを含む。
【0009】
歯顎の第１の仮想３Ｄモデルと、第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得するステップと、第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けるステップと、インデックスを付けるステップに応答して、ペアのリストから、少なくとも１つの直接測定データのうちの第１の直接測定データと、第１の直接測定データに対応する第１の向きに配向された第１の仮想３Ｄモデルとを表示するためのペアを選択するステップと、第１の仮想３Ｄモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第１の直接測定データの対応する位置を計算するために、選択されたペアの第１の仮想３Ｄモデルデータの第１の位置に関するオペレータ入力を提供するステップと、を実行するように構成されたプロセッサを含む別のコンピュータシステムも開示される。
【0010】
一時的でないコンピュータで読み取り可能なストレージも開示される。一時的でないコンピュータ可読媒体は、コンピュータシステムによって実行されるときに、歯顎の第１の仮想３Ｄモデルと、第１の仮想３Ｄモデルの少なくとも一部を表す少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得することと、第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けることと、インデックスを付けることに応答して、ペアのリストから表示するためのペアを選択することと、提案生成器を使用して、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルを生成する、オペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供することと、を含む手順をコンピュータシステムに実行させるプログラムを記憶する。
【0011】
別の一時的でないコンピュータ可読記憶媒体が開示される。これは、コンピュータシステムによって実行されるときに、歯顎の第１の仮想３Ｄモデルと、第１の仮想３Ｄモデルの少なくとも一部に対応する少なくとも１つの直接測定データとを含む、歯顎に関するデータを取得することと、第１の仮想３Ｄモデルの１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けることと、インデックスを付けることに応答して、ペアのリストから、少なくとも１つの直接測定データのうちの第１の直接測定データと、第１の直接測定データに対応する第１の向きに配向された第１の仮想３Ｄモデルとを表示するためのペアを選択することと、第１の仮想３Ｄモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第１の直接測定データの対応する位置を計算するために、選択されたペアの第１の仮想３Ｄモデルデータの第１の位置に関するオペレータ入力を提供することと、を含む手順をコンピュータシステムに実行させるプログラムを記憶する。
【0012】
本明細書の一態様では、作業ビュー（３Ｄモデルと２Ｄ（カラー、蛍光、赤外）画像とで同じパースペクティブ及びサイズ）のユーザによる迅速な直接のアクセスを可能にするべく、関連する３Ｄモデルの許容される個別の配向の対応するセットを生成するために、２Ｄ（カラー、蛍光、赤外）画像（又はシングルフレーム３Ｄデータ／３Ｄデータフレーム）に座標変換が割り当てられる。ユーザにより操作された、ユーザにより重み付けされたシングル又は複数の２Ｄ（カラー、蛍光、赤外）画像／３Ｄデータフレームは、モデルの再構成後の自動ワークフロー提案のための入力データとしてさらに用いられる。マージンの描画などのワークフローに対するライブ又は遅延フィードバックが可能になるとともに、完全マージン提案の同時制御及び修正も可能になる。
【0013】
本明細書での例示的な実施形態は、オペレータが、平均化されていない直接の生の２Ｄ画像（カラー、蛍光、赤外線）及び３Ｄデータフレーム（幾何形状）を使用して、ワークフロー（例えば、マージン提案）に関するＡＩ（人工知能）／ＭＬ（機械学習）アルゴリズムのための、直接の生の２Ｄ画像及び３Ｄデータフレームに対するユーザ入力を提供することを可能にするのに有利であり、これらのユーザ入力は、現在の提案において直接実装され、例えば、提案の再計算をトリガする。
【0014】
本明細書での例示的な実施形態はまた、現在のワークフロー提案において特異的に重み付けされる、含まれる、又は除外される２Ｄ（カラー、蛍光、赤外）画像／３Ｄデータフレームのサブセットの選択に関するオペレータ入力を可能にする（例えば、オペレータ入力は、前記オペレータ入力を組み込むために、提案の再計算をトリガすることができる）。さらに、例示的な実施形態は、ナビゲーションのために画像にインデックスを付け、さらに、選択された画像を重み付けする、含める、又は除外するようにＡＩアルゴリズムをトレーニングするべく、生の２Ｄ画像及び３Ｄデータフレームに関するオペレータ入力を提供することを可能にする。
【0015】
さらにまた、例示的な実施形態は、様々な診断及び治療ワークフローを支援するのに有利である。例は、スキャンボディ、アバットメント、アライナ、又は他の識別特徴などの、歯科材料及びツールに関する特色の表示である。実施形態はまた、歯周病、口腔癌、う蝕、歯の侵食、カリエスの検出、変色、及び歯列矯正疾患などの歯科疾患の検出、通信、視覚化、評価、及び治療に役立つ。本明細書で説明するプロセスは、デジタル印象を採得し、対応するレンダリングされた３Ｄモデルよりも高品質及び高精度なテクスチャ、色、及び３Ｄ情報を必要とする任意の他の歯科ワークフロー及び手順にさらに移行可能である。一例では、この品質及び／又は精度は、少なくとも閾値の品質及び／又は精度を上回る。歯科ワークフローは、例えば、歯周病、口腔癌、う蝕、歯の侵食、カリエスの検出、変色、歯列矯正疾患に関する歯科ワークフロー及び指示、或いは口腔内スキャナの複数の画像が、組み合わされたオブジェクト、例えば、３Ｄモデル、３Ｄモデル上のカラーテクスチャマップ、３Ｄモデルにマッピングされた２Ｄ蛍光及びＩＲ画像のレンダリングされた情報などにレンダリングされる歯科ワークフローを含む。したがって、２Ｄ画像という用語は、可視光スペクトルのカラー写真ピクチャとして一般に知られている２Ｄ画像に加えて、紫外（ＵＶ）又は赤外（ＩＲ）放射による蛍光特性、透照特性、又は吸収特性などの不可視スペクトルの光源の追加により生成される情報を含む２Ｄ画像を指し得る。したがって、２Ｄ画像又は直接測定データ（シングルフレーム３Ｄ画像などの）という用語は、カラー２Ｄ画像を指すことに加えて、２Ｄ蛍光画像及び２Ｄ赤外画像も指すが、これらに限定されない。これらの画像は、例えば、カリエスの検出のために用いることができる。
【0016】
本明細書で用いられるより高い品質又は精度は、取得されたデータの一部が実際にスキャンされたオブジェクト又はグラウンドトゥルースの特性により近い表現を指す。色の場合、より高い品質又はより高い精度は、スキャンされたオブジェクトの実際の色により近い表現によって与えられる。例として、スキャンされた表面の点の色は、ＣＩＥＬＡＢ色空間などの色空間の値で表すことができる。したがって、実際のイメージングされたオブジェクトの真のＬ＿ｒ＊ａ＿ｒ＊ｂ＿ｒ値と比較したときの、口腔内スキャナから得られたＬ＿ｉ＊ａ＿ｉ＊ｂ＿ｉ値のより小さな偏差は、色のより高い品質及び精度に対応する（ｉ＝口腔内スキャナ、ｒ＝実際又は参照）。３Ｄデータの場合、より高い品質又はより高い精度は、スキャンされたオブジェクトの３次元表面、例えば歯のマージンの、より近い表現によって与えられる。例として、表面の３Ｄ情報は、空間内の３Ｄ座標ｘ，ｙ，ｚとして表すことができる。したがって、口腔内スキャナによって得られる座標ｘｉ，ｙｉ，ｚｉをもつスキャンされた表面の点は、同じ座標系のオブジェクトの真のｘｒ，ｙｒ，ｚｒからの偏差がより小さいときにより正確である。ＵＶ又はＩＲ放射をさらに用いることによって取得されたデータの場合、より高い品質又は精度は、波長及び強度の点で、照射されたオブジェクトの実際の挙動により近く類似した情報によって与えられ、また最終的には可視２Ｄ黒／白画像、グレースケール画像、又はカラー画像が得られる。しかしながら、これらの効果は、特定の用途、及び基礎となる物理的及び光学的プロセスに依存する。
【0017】
したがって、従来の手法とは異なり、ＡＩ及び自動提案のためのオペレータ入力が提供され、レンダリングされた３Ｄモデルの操作によって作業ビューへの直接のアクセスが提供され、したがって、レンダリングされた３Ｄモデルと２Ｄ（カラー、蛍光、赤外）画像／２Ｄ（カラー、蛍光、赤外）画像について同じパースペクティブ及びサイズが提供され、シングルフレーム３Ｄデータが作業ビューに組み込まれ、２Ｄ（カラー、蛍光、赤外）画像の色情報がワークフローのために用いられ、３Ｄモデル及び対応するシングルフレーム画像の双方向制御が提供される。
【0018】
本発明の特色と考えられる特定の新規な特徴が添付の特許請求の範囲に記載されている。しかしながら、本発明自体、並びに、その好ましい使用モード、さらなる目的及び利点は、添付の図面と併せて読むときに、例示的な実施形態の以下の詳細な説明を参照することで、最もよく理解されるであろう。
【図面の簡単な説明】
【0019】
【図1】例示的な実施形態が実施され得るデータ処理システムのネットワークのブロック図である。
【図2】例示的な実施形態が実施され得るデータ処理システムのブロック図である。
【図3】例示的な実施形態が実施され得るアプリケーションのブロック図である。
【図4】一実施形態に係る主題の一態様を示す図である。
【図5】例示的な実施形態に係る可能な作業ビューのマップ表現のスケッチを示す図である。
【図6】一実施形態に係るプロセス６００を示す図である。
【図7】例示的な実施形態に係るアプリケーションのスケッチを示す図である。
【図8】例示的な実施形態に係るアプリケーションのスケッチを示す図である。
【図9A】例示的な実施形態に係るアプリケーションのスケッチを示す図である。
【図9B】例示的な実施形態に係るアプリケーションのスケッチを示す図である。
【図10】一実施形態に係るプロセス１０００を示す図である。
【図11】例示的な実施形態に係るアプリケーションのスケッチを示す図である。
【発明を実施するための形態】
【0020】
例示的な実施形態は、デジタル印象の幾何形状及び色の品質が、例えば、平均化効果、レンダリング効果、困難なスキャン状況などに起因して、普通は、シングルフレーム２Ｄ／３Ｄ画像の品質よりも劣ることを認識している。これは、プレパレーションマージンラインの手動又は自動描画などの歯科ワークフローの難しさにつながることがある。
【0021】
例示的な実施形態はまた、歯科３Ｄモデルの幾何形状及びテクスチャが複数の単一画像によって生成され、この分野の進歩にもかかわらず、デジタル印象又は３Ｄモデルのテクスチャ／精度と物理的歯のテクスチャ／精度との間に顕著な質の差があることを認識している。これらの難しさは、血液及び唾液、圧排糸付きの歯肉縁上プレパレーションマージン、小さな構造／孔、ブリッジ効果、複雑な幾何形状、及び反射率が高い半透明の表面、並びにグレアの存在を含むがこれらに限定されない困難な状況によって顕著に悪化する。生成／計算された３Ｄモデルでは、モデルの幾何形状及び色は、普通は、様々なシングルフレーム（例えば、２Ｄフォト又はシングル３Ｄフレーム）から計算され、この計算により、３Ｄモデルに平均化効果が導入される。さらに、従来の機械学習モデルは、前記平均化効果を有する３Ｄモデルを使用して自動マージンラインを作成し、マージンライン作成プロセス全体にわたって平均化誤差を伝播する。対象歯に関するより多くの情報／詳細を含むシングルフレームを使用することによって、マージンライン作成のための歯のより真の説明を得ることができる。
【0022】
例示的な実施形態は、現在利用可能なツール又は方策が、これらのニーズに対処していない、又はこれらのニーズに対する適切な方策を提供していないことを認識している。本発明を説明するために用いられる例示的な実施形態は、一般に、前述の問題、及びシングルフレームのライブ又は非同時制御ビューをオペレータに提供することに関連した他の問題に対処し、解決する。
【0023】
一実施形態は、ソフトウェア及び／又はハードウェアアプリケーションとして実装することができる。一実施形態を実装するアプリケーションは、歯科システムの修正、既存の歯科システムと連携して動作する別個のアプリケーション、独立したアプリケーション、又はそれらの何らかの組み合わせとして構成することができる。
【0024】
特に、いくつかの例示的な実施形態は、マージンラインの手動及び自動生成をサポートするためにシングルフレーム２Ｄ画像（例えば、フォト）又は３Ｄ画像（例えば、点群）を使用する方法を提供する。マージンラインの作成が概して説明されるが、これに限定することを意図しておらず、同時又は非同時の幾何形状及び色の修正を含む単一画像の使用を通じた３Ｄモデルの修正又は表示ワークフローが可能である。これは、例えば、歯周病、口腔癌、う蝕、歯の侵食、カリエス、変色、及び歯列矯正疾患などの歯科疾患の検出、通信、視覚化、評価、及び治療における、デジタル印象を採得し、対応するレンダリングされた３Ｄモデルの品質よりも高品質及び高精度のテクスチャ、色、及び３Ｄ情報を必要とするワークフローを含む。オペレータは、自動提案をガイドするために、（カリエスの検出又はマージンラインプレパレーションなどのための）シングルフレーム画像に関する入力を提供することができる。このオペレータ入力は、マージンに沿ったシングルフレーム上の複数の点、マージンに沿って描画されたライン、１つ又は複数のシングルフレーム画像の選択及び重み付け、マージンの自動提案をトレーニングするためのシングルフレーム画像に関するオペレータ入力を含み得る。別の例では、オペレータは、自動提案のためにモデルをトレーニングするべく、シングルフレーム画像に対する入力を提供する。このオペレータ入力は、マージンに沿ったシングルフレーム上の複数の点、マージンに沿って描画されたライン、１つ又は複数のシングルフレーム画像の選択及び重み付け、マージンの自動提案をトレーニングするためのシングルフレーム画像に関するオペレータ入力を含み得る。
【0025】
別の例示的な実施形態では、オペレータ入力のための使いやすい環境が提供される。前記環境は、生成／レンダリングされた３Ｄモデルとシングルフレーム２Ｄ又は３Ｄ画像（フォト、点群）とで同じパースペクティブが示される作業／相関ビューを含む。例えば、同じ向き及びズーム率のシングルフレーム画像が示される。別の実施形態では、作業ビューへのアクセスは、後述するように、インデックス付けツール、マッピングツール、及びナビゲーションツールを介して提供され得る。
【0026】
さらに、描画されたマージンラインなどの表示された特徴、又は歯、歯肉、歯科材料、及び疾患などの口腔内の任意の他の表示された特徴の位置が適正であるかどうかを評価するために、十字線などの好ましくはライブの制御ツールが提供される。このフィードバックオプションは、作業ビューで実現することができ、３Ｄモデル上にマージンラインが描画されるときに、シングルフレーム上の十字線の位置が、同時に又は別の時点で、その位置が適正であるかどうかのフィードバックとして機能する。したがって、ユーザは、３Ｄモデルを操作及び修正することができ、位置の制御のためにシングルフレーム（及び随意的に３Ｄモデル）上に十字線が出現してもよい。代替的に、ユーザは、シングルフレームを操作及び修正することができ、位置の制御のために３Ｄモデル（及び随意的にシングルフレーム）上に十字線が出現してもよい。これらの実施形態では、オペレータ入力は、所与の領域、例えば、プレパレーションの部分的又は完全マージンに対して同時に提供されてもよい。
【0027】
例示的な実施形態は、３Ｄモデルの生成のための画像を取得するのに用いられ得る歯科用スキャナ１２２などの特定のタイプのスキャナ、並びに、マージンラインのプレパレーションなどの特定のワークフローに関して説明されるが、それらに限定することを意図していない。シングルフレームから３Ｄモデルをレンダリング又は生成するために、クライアントアプリケーション１２０を有するクライアント１１０が用いられ得る。前記クライアントアプリケーション１２０はまた、本明細書に記載のステップの一部又はすべてを実行するように構成され得る。
【0028】
例示的な実施形態は、他のシーン、対象、測定、デバイス、データ処理システム、環境、コンポーネント、及びアプリケーションに関して単なる例として説明される。これらの及び他の同様のアーチファクトのどの特定の表現も、本発明を限定することを意図したものではない。これらの及び他の同様のアーチファクトの任意の適切な表現を、例示的な実施形態の範囲内で選択することができる。
【0029】
さらに、例示的な実施形態は、任意のタイプのデータ、データソース、又はデータネットワークを介したデータソースへのアクセスに関して実施され得る。任意のタイプのデータ記憶装置が、本発明の範囲内で、データ処理システムでローカルに、又はデータネットワークを介して、本発明の実施形態にデータを提供し得る。モバイルデバイスを使用して実施形態が説明される場合、モバイルデバイスと共に使用するのに適した任意のタイプのデータ記憶装置が、例示的な実施形態の範囲内で、モバイルデバイスでローカルに、又はデータネットワークを介して、そのような実施形態にデータを提供し得る。
【0030】
例示的な実施形態は、単なる例として特定のサーベイ、コード、ハードウェア、アルゴリズム、設計、アーキテクチャ、プロトコル、レイアウト、概略図、及びツールを使用して説明され、例示的な実施形態に限定するものではない。さらに、例示的な実施形態は、説明を明確にするために単なる例として特定のソフトウェア、ツール、及びデータ処理環境を使用して説明される場合がある。例示的な実施形態は、他の同等の又は同様の目的の構造、システム、アプリケーション、又はアーキテクチャと併せて用いられ得る。したがって、例えば、他の同等のモバイルデバイス、構造、システム、アプリケーション、又はアーキテクチャが、本発明の範囲内で本発明のそのような実施形態と併せて用いられ得る。例示的な実施形態は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実施され得る。
【0031】
本開示での例は、説明を明確にするためにのみ用いられ、例示的な実施形態に限定するものではない。この開示からさらなるデータ、動作、アクション、タスク、アクティビティ、及び操作が考えられ、これらは例示的な実施形態の範囲内に含まれると考えられる。
【0032】
ここに挙げた利点は単なる例であり、例示的な実施形態に限定することを意図したものではない。さらなる又は異なる利点が、特定の例示的な実施形態によって実現され得る。さらに、特定の例示的な実施形態は、上に挙げた利点の一部を有する場合がある、すべてを有する場合がある、又はまったく有しない場合がある。
【0033】
図面を参照すると、特に図１及び図２を参照すると、これらの図は、例示的な実施形態が実施され得るデータ処理環境の例示的な図である。図１及び図２は、単なる例であり、異なる実施形態が実施され得る環境に関して、いかなる制限を主張又は暗示することも意図していない。特定の実装では、以下の説明に基づいて、図示の環境に多くの変更が加えられ得る。
【0034】
図１は、例示的な実施形態が実施され得るデータ処理システムのネットワークのブロック図である。データ処理環境１００は、例示的な実施形態が実施され得るコンピュータのネットワークである。データ処理環境１００は、ネットワーク／通信インフラストラクチャ１０２を含む。ネットワーク／通信インフラストラクチャ１０２は、データ処理環境１００内で一緒に接続された様々なデバイス、データベース、及びコンピュータ間に通信リンクを提供するために用いられる媒体である。ネットワーク／通信インフラストラクチャ１０２は、有線、無線通信リンク、又は光ファイバケーブルなどの接続を含み得る。
【0035】
クライアント又はサーバは、ネットワーク／通信インフラストラクチャ１０２に接続された特定のデータ処理システムの役割の単なる例であり、これらのデータ処理システムの他の構成又は役割を排除することを意図したものではない。サーバ１０４及びサーバ１０６は、ストレージユニット１０８とともに、ネットワーク／通信インフラストラクチャ１０２に結合される。ソフトウェアアプリケーションは、データ処理環境１００内の任意のコンピュータで実行することができる。クライアント１１０、クライアント１１２、クライアント１１４も、ネットワーク／通信インフラストラクチャ１０２に結合される。クライアント１１０は、ディスプレイを備えた歯科収集ユニットであり得る。サーバ１０４又はサーバ１０６、又はクライアント（クライアント１１０、クライアント１１２、クライアント１１４）などのデータ処理システムは、データを記憶することができ、そこで実行するソフトウェアアプリケーション又はソフトウェアツールを有し得る。
【0036】
単なる例として、そのようなアーキテクチャへのいかなる制限も示唆するのではなく、図１は、一実施形態の例示的な実装において使用可能な特定のコンポーネントを示している。例えば、サーバ及びクライアンは単なる例であり、クライアント－サーバアーキテクチャへの限定を示唆しない。別の例として、一実施形態は、図のようにいくつかのデータ処理システム及びデータネットワークにわたって分散させることができるが、別の実施形態は、例示的な実施形態の範囲内で単一のデータ処理システムで実施することができる。データ処理システム（サーバ１０４、サーバ１０６、クライアント１１０、クライアント１１２、クライアント１１４）はまた、一実施形態を実施するのに適したクラスタ、パーティション、及び他の構成での例示的なノードを表す。
【0037】
歯科用スキャナ１２２は、人の口腔をマッピングする投影を通じて複数の画像を取得することによって歯を測定する１つ又は複数のセンサを含む。一例では、歯科用スキャナ１２２は、数千回／秒の頻度でデータポイントを取り込み、各歯のサイズ及び形状を自動的に登録する。このデータは、接続されたコンピュータのソフトウェアに継続的に送られ、患者の口腔の３Ｄ印象が構築される。
【0038】
最も広く用いられているデジタルフォーマットは、ＳＴＬ（Ｓｔａｎｄａｒｄ Ｔｅｓｓｅｌｌａｔｉｏｎ Ｌａｎｇｕａｇｅ）フォーマットである。このフォーマットは、各トライアングルが３つの点と面法線によって画定される、一連の三角面を記述する。ＳＴＬファイルは、色、テクスチャ、又は他のＣＡＤモデル属性をまったく表現せずに、３次元オブジェクトの表面幾何形状のみを記述し得る。しかしながら、歯組織の色、透明度、又はテクスチャを記録するために他のファイルフォーマット（ポリゴンファイルフォーマット、ＰＬＹファイルなど）が開発されている。使用されるイメージング技術のタイプに関係なく、スキャナ又はカメラが光を投影し、それが個々の画像として記録され、ＰＯＩ（ｐｏｉｎｔｓ ｏｆ ｉｎｔｅｒｅｓｔ）の認識後にソフトウェアによってコンパイルされる。例えば、画像上の各点の２つの座標（ｘ及びｙ）が評価され、次いで、スキャナからの距離に応じて第３の座標（ｚ）が計算される。
【0039】
クライアントアプリケーション１２０又は任意の他のアプリケーション１１６が、本明細書で説明される実施形態を実施する。クライアントアプリケーション１２０は、歯科用スキャナ１２２によって撮られたシングルフレーム画像を使用して３Ｄモデルを生成又はレンダリングするために歯科用スキャナ１２２からのデータを使用することができる。クライアントアプリケーション１２０はまた、レンダリング又はキャラクタライゼーションのためにストレージユニット１０８からデータを取得することができる。クライアントアプリケーション１２０はまた、データ処理システム（サーバ１０４又はサーバ１０６、クライアント１１０、クライアント１１２、クライアント１１４）のいずれか、例えばサーバ１０４内のクライアントアプリケーション１１６などで実行することができ、クライアント１１０と同じシステムで実行する必要はない。
【0040】
サーバ１０４、サーバ１０６、ストレージユニット１０８、クライアント１１０、クライアント１１２、クライアント１１４は、有線接続、無線通信プロトコル、又は他の適切なデータ接続を使用して、ネットワーク／通信インフラストラクチャ１０２に結合することができる。クライアント１１０、クライアント１１２、及びクライアント１１４は、例えば、パーソナルコンピュータ又はネットワークコンピュータであり得る。
【0041】
図示の例では、サーバ１０４は、ブートファイル、オペレーティングシステムイメージ、及びアプリケーションなどのデータをクライアント１１０、クライアント１１２、及びクライアント１１４に提供し得る。クライアント１１０、クライアント１１２、及びクライアント１１４は、この例ではサーバ１０４に対するクライアントであり得る。クライアント１１０、クライアント１１２、及びクライアント１１４、又はそれらの何らかの組み合わせは、独自のデータ、ブートファイル、オペレーティングシステムイメージ、及びアプリケーションを含み得る。データ処理環境１００は、図示されていないさらなるサーバ、クライアント、及び他のデバイスを含み得る。サーバ１０４は、１つ又は複数の実施形態に係るライブ制御ビューを表示するために本明細書で説明される機能のうちの１つ又は複数を実装するように構成され得るアプリケーション１１６を含む。
【0042】
サーバ１０６は、種々の実施形態に関して本明細書で説明されるように、オペレータからの要求に応答して、歯科診療所の患者の画像及び３Ｄモデルなどの保存されたファイルを検索するように構成された検索エンジンを含み得る。
【0043】
図示の例では、データ処理環境１００はインターネットであり得る。ネットワーク／通信インフラストラクチャ１０２は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）及び他のプロトコルを使用して互いに通信するネットワーク及びゲートウェイの集合体を表し得る。インターネットの中核には、データ及びメッセージをルーティングする数千の商業、政府、教育機関、及び他のコンピュータシステムを含む、主要なノード又はホストコンピュータ間のデータ通信リンクのバックボーンがある。もちろん、データ処理環境１００はまた、例えば、イントラネット、ＬＡＮ（ローカルエリアネットワーク）、又はＷＡＮ（ワイドエリアネットワーク）などのいくつかの異なるタイプのネットワークとして実装され得る。図１は、一例を意図したものであって、様々な例示的な実施形態に対するアーキテクチャの制限を意図したものではない。
【0044】
他の用途の中でも、データ処理環境１００は、例示的な実施形態が実施され得るクライアント－サーバ環境を実装するために用いられ得る。クライアント－サーバ環境は、クライアントデータ処理システムとサーバデータ処理システムとの間のインタラクティビティを利用することでアプリケーションが機能するように、ソフトウェアアプリケーション及びデータをネットワークにわたって分散させることを可能にする。データ処理環境１００はまた、ネットワークにわたって分散された相互運用可能なソフトウェアコンポーネントを一貫したビジネスアプリケーションとしてパッケージ化することができる、サービス指向アーキテクチャを採用することもできる。データ処理環境１００はまた、最小限の管理労力又はサービスプロバイダとの対話で迅速にプロビジョニング及びリリースすることができる構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス）の共有プールへの便利なオンデマンドのネットワークアクセスを可能にするために、クラウドの形態をとっていてもよく、サービス配信のクラウドコンピューティングモデルを採用することもできる。
【0045】
図２を参照すると、この図は、例示的な実施形態が実施され得るデータ処理システムのブロック図を示している。データ処理システム２００は、図１のクライアント１１０、クライアント１１２、クライアント１１４、又はサーバ１０４、サーバ１０６などのコンピュータ、又は例示的な実施形態ではプロセスを実施するコンピュータで使用可能なプログラムコード又は命令が配置され得る別のタイプのデバイスの一例である。
【0046】
データ処理システム２００は、単なる例としてコンピュータとして説明されているが、これに限定されない。図１の他のデバイスの形態の実装は、データ処理システム２００の動作及び機能の概要から逸脱することなく、タッチインターフェースの追加などによりデータ処理システム２００を変更することができ、さらには、データ処理システム２００から特定の図示されたコンポーネントを削除することができる。
【0047】
図示の例では、データ処理システム２００は、ＮＢ／ＭＣＨ（ノースブリッジ／メモリコントローラハブ）２０２及びＳＢ／ＩＣＨ（サウスブリッジ／入力／出力（Ｉ／Ｏ）コントローラハブ）２０４を含むハブアーキテクチャを採用している。処理ユニット２０６、メインメモリ２０８、及びグラフィックスプロセッサ２１０は、ＮＢ／ＭＣＨ（ノースブリッジ／メモリコントローラハブ）２０２に結合される。処理ユニット２０６は、１つ又は複数のプロセッサを含むことができ、１つ又は複数の異種プロセッサシステムを使用して実装され得る。処理ユニット２０６はマルチコアプロセッサであり得る。グラフィックスプロセッサ２１０は、特定の実装では、ＡＧＰ（アクセラレーテッド・グラフィックス・ポート）を通じてＮＢ／ＭＣＨ（ノースブリッジ／メモリコントローラハブ）２０２に結合され得る。
【0048】
図示の例では、ＬＡＮ（ローカルエリアネットワーク）アダプタ２１２は、ＳＢ／ＩＣＨ（サウスブリッジ／入力／出力（Ｉ／Ｏ）コントローラハブ）２０４に結合される。オーディオアダプタ２１６、キーボード及びマウスアダプタ２２０、モデム２２２、ＲＯＭ（リードオンリーメモリ）２２４、ＵＳＢ（ユニバーサルシリアルバス）及び他のポート２３２、及びＰＣＩ／ＰＣＩｅデバイス２３４は、バス２１８を通じてＳＢ／ＩＣＨ（サウスブリッジ／入力／出力（Ｉ／Ｏ）コントローラハブ）２０４に結合される。ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）２２６ａ及びＣＤ－ＲＯＭ２３０は、バス２２８を通じてＳＢ／ＩＣＨ（サウスブリッジ／入力／出力（Ｉ／Ｏ）コントローラハブ）２０４に結合される。ＰＣＩ／ＰＣＩｅデバイス２３４は、例えば、イーサネットアダプタ、アドインカード、及びノートブックコンピュータ用のＰＣカードを含み得る。ＰＣＩはカードバスコントローラを使用するが、ＰＣＩｅはカードバスコントローラを使用しない。ＲＯＭ（リードオンリーメモリ）２２４は、例えば、ＢＩＯＳ（フラッシュバイナリ入力／出力システム）であり得る。ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）２２６ａ及びＣＤ－ＲＯＭ２３０は、例えば、ＩＤＥ（インテグレーテッド・ドライブ・エレクトロニクス）、ＳＡＴＡ（シリアル・アドバンスト・テクノロジー・アタッチメント）インターフェース、又はｅＳＡＴＡ（外部ＳＡＴＡ）及びｍＳＡＴＡ（マイクロＳＡＴＡ）などの変形を使用し得る。ＳＩＯ（スーパーＩ／Ｏ）デバイス２３６は、バス２１８を通じてＳＢ／ＩＣＨ（サウスブリッジ／入力／出力（Ｉ／Ｏ）コントローラハブ）２０４に結合され得る。
【0049】
メインメモリ２０８、ＲＯＭ（リードオンリーメモリ）２２４、又はフラッシュメモリ（図示せず）などのメモリは、コンピュータで使用可能な記憶装置のいくつかの例である。ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）２２６ａ、ＣＤ－ＲＯＭ２３０、及び他の同様に使用可能なデバイスは、コンピュータで使用可能な記憶媒体を含むコンピュータで使用可能な記憶装置のいくつかの例である。
【0050】
オペレーティングシステムは処理ユニット２０６で動作する。オペレーティングシステムは、図２のデータ処理システム２００内の様々なコンポーネントをコーディネートし、それらの制御を提供する。オペレーティングシステムは、サーバシステム、パーソナルコンピュータ、及びモバイルデバイスを含むがこれらに限定されない、任意のタイプのコンピューティングラットフォームのための市販のオペレーティングシステムであり得る。オブジェクト指向又は他のタイプのプログラミングシステムが、オペレーティングシステムと連携して動作し、データ処理システム２００上で実行するプログラム又はアプリケーションからオペレーティングシステムへの呼び出しを提供し得る。
【0051】
オペレーティングシステム、オブジェクト指向プログラミングシステム、及び図１のアプリケーション１１６及びクライアントアプリケーション１２０などのアプリケーション又はプログラムのための命令は、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）２２６ａ上のコード２２６ｂなどの形態で記憶装置上に配置され、処理ユニット２０６による実行のために、メインメモリ２０８などの１つ以上のメモリのうちの少なくとも１つにロードされ得る。例示的な実施形態のプロセスは、例えば、メインメモリ２０８、ＲＯＭ（リードオンリーメモリ）２２４などのメモリに又は１つ又は複数の周辺装置に配置され得るコンピュータで実施される命令を使用して処理ユニット２０６によって実行され得る。
【0052】
さらに、或るケースでは、コード２２６ｂはネットワーク２１４ａ経由でリモートシステム２１４ｂからダウンロードされ、同様のコード２１４ｃが記憶装置２１４ｄに記憶され、別のケースでは、コード２２６ｂはネットワーク２１４ａ経由でリモートシステム２１４ｂにダウンロードされ、ダウンロードされたコード２１４ｃは記憶装置２１４ｄに記憶される。
【0053】
図１及び図２のハードウェアは実装に応じて異なり得る。図１及び図２に示されているハードウェアに加えて又はその代わりに、フラッシュメモリ、同等の不揮発性メモリ、又は光ディスクドライブなどの他の内部ハードウェア又は周辺装置を使用することができる。さらに、例示的な実施形態のプロセスは、マルチプロセッサデータ処理システムに適用することができる。
【0054】
いくつかの具体例では、データ処理システム２００は、オペレーティングシステムファイル及び／又はユーザにより生成されたデータを記憶するための不揮発性メモリを提供するために一般にフラッシュメモリと共に構成されるＰＤＡ（パーソナルデジタルアシスタント）であり得る。バスシステムは、システムバス、Ｉ／Ｏバス、及びＰＣＩバスなどの１つ又は複数のバスを含み得る。もちろん、バスシステムは、ファブリック又はアーキテクチャに接続された異なるコンポーネント又はデバイス間でのデータの転送を提供する任意のタイプの通信ファブリック又はアーキテクチャを使用して実装され得る。
【0055】
通信ユニットは、モデム又はネットワークアダプタなどの、データの送受信に用いられる１つ又は複数のデバイスを含み得る。メモリは、例えば、メインメモリ２０８であってもよく、又はＮＢ／ＭＣＨ（ノースブリッジ／メモリコントローラハブ）２０２で見られるキャッシュなどのキャッシュであってもよい。処理ユニットは、１つ又は複数のプロセッサ又はＣＰＵを含み得る。
【0056】
図１及び図２に示されている例及び前述の例は、アーキテクチャの限定を示唆するものではない。例えば、データ処理システム２００はまた、モバイル又はウェアラブルデバイスの形態をとることに加えて、タブレットコンピュータ、ラップトップコンピュータ、又は電話デバイスであってもよい。
【0057】
コンピュータ又はデータ処理システムが仮想マシン、仮想デバイス、又は仮想コンポーネントとして説明される場合、仮想マシン、仮想デバイス、又は仮想コンポーネントは、データ処理システム２００で示されているいくつか又はすべてのコンポーネントの仮想表現を用いてデータ処理システム２００の様態で動作する。例えば、仮想マシン、仮想デバイス、又は仮想コンポーネントでは、処理ユニット２０６は、ホストデータ処理システムで利用可能なすべての又はいくつかの数のハードウェア処理ユニット２０６の仮想インスタンスとして表現され、メインメモリ２０８は、ホストデータ処理システムで利用可能なメインメモリ２０８のすべての又は一部の仮想インスタンスとして表現され、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）２２６ａは、ホストデータ処理システムで利用可能なＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）２２６ａのすべての又は一部の仮想インスタンスとして表現される。このような場合のホストデータ処理システムは、データ処理システム２００によって表される。
【0058】
ここで図３に移ると、例示的な実施形態は、これから説明するデータ処理システム２００のアプリケーション３０２を示している。このアプリケーションは、限定することを意味するものではなく、クライアントアプリケーション１２０、アプリケーション１１６、又はデータ処理システム２００における任意の他のアプリケーションとして具体化することができる。アプリケーション３０２は、入力として、オペレータ入力３２８、再構成された３Ｄモデル３０４、及び再構成された３Ｄモデル３０４の少なくとも一部を表す又はそれに対応する直接測定データ３０８を受け取る。アプリケーション３０２は、入力モジュール３２４及び実装モジュール３２６を含む、１つ又は複数のモジュールを含む。入力モジュール３２４は、インデクサ３０６、パースペクティブ相関器３１０、及びオペレータ入力３２８を受け入れる及び処理するように構成されたオペレータ入力ハンドラ３１２を含む。アプリケーション３０２は、出力として、制御ビュー３１４を、例えばリアルタイムで表示及び更新する。直接測定データ３０８（例えば、物理的オブジェクトの真の表現に比べて少なくとも閾値量だけ修正されていない又は平均化されていない測定データであり、本明細書では概して、生データ／画像、シングルフレーム画像／データ、シングルフレーム２Ｄデータ／画像、シングルフレーム３Ｄデータ／画像、フォト、点群データ、シングルフレームＳＴＬなどと交換可能に呼ばれる）を受け取ることによって、アプリケーション３０２は、入力モジュール３２４から、実装モジュール３２６のための入力データとして、直接測定データ３０８のうちの１つ又は複数を提供することができる。
【0059】
例示的な実施形態では、直接測定データ３０８のシングルフレーム３Ｄデータ（すなわち、測定ボリュームのシングルショット）のそれぞれは、再構成されたデジタルモデルに関して確立された座標変換を有する。したがって、所与のシングル２Ｄ写真画像又は３Ｄデータフレームについて所望のパースペクティブ（向き、サイズ）から、例えば、スキャナの上方視野角（スキャナのパースペクティブ）から３Ｄモデルを配向することができる。したがって、向き及びパースペクティブの数は、個別のシングルフレーム３Ｄデータの数によって制限される。シングルフレーム３Ｄデータの座標変換は、最初の座標変換、スキャン手順中にシングルフレーム画像が互いに順次に位置合わせされる順次位置合わせプロセス、非順次位置合わせプロセス、又は最適化プロセスなどによって確立され得る。座標変換は、一般に、例えば、並進及び回転変換によって表すことができる２つのオブジェクト間の普通は３次元の空間的関係に関する情報を提供する。最初の座標変換は、例えば、慣性移動ユニット、シングルフレーム間の定義された既知の移動などの既知の情報源を利用することによって、ＩＣＰ（ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）法又は他の計算及び校正方法などのアルゴリズムを介して決定することができる。順次位置合わせプロセスでは、シングルフレームが順次にステッチされる。このようなプロセスでは、連続するフレーム間の座標変換だけでなく、シーケンスの他のフレームの座標変換も決定することができる。また、順次位置合わせプロセスでは、パフォーマンス又は精度の理由から、ｉ個おきのフレームのみを利用することができる。
【0060】
さらに、ビデオからの２Ｄ画像（２Ｄビデオ画像）などの各シングルフレーム２Ｄデータが、そのシングルフレーム２Ｄデータの直前又は直後に生成されたシングルフレーム３Ｄデータと相関され得る。したがって、各シングルフレーム２Ｄデータに、座標変換（相対又は絶対座標変換）を割り当てることができる。
【0061】
座標変換を確立すると、インデックスを付けるステップでいくつかの可能なパースペクティブを計算及び処理できるようになる。これは、入力モジュール３２４のインデクサ３０６によって実現される。したがって、個別の位置のインデックス付けにより、オペレータが所望のビューにナビゲートする複雑なプロセスを経る必要なしに迅速にアクセスできるようになる。一例では、オペレータは、シングルフレーム２Ｄ又はシングルフレーム３Ｄデータ（２Ｄフォト、２Ｄビデオ画像、３Ｄ画像）の向き及びサイズに対応するこれらの事前定義された向き及びズームレベルで再構成された３Ｄモデル３０４を配置できるようになり、したがって、強化された比較及び決定プロセス／ワークフローが提供される。さらに、オペレータは、キーボードの使用、マウス／３Ｄマウスによる画面上のクリック、タッチスクリーン操作などを通じて、再構成された３Ｄモデル３０４を操作して、事前定義された向きにスナップすることによって、又は事前定義された向きをステップスルーすることによって、これらの向きを通してナビゲートすることができる。
【0062】
作業ビューにアクセスするこの最適化されたワークフローにより、オペレータは、自動提案のためのサポート情報、例えば、マージン、使用するフレームのユーザベースの選択又は重み付け、自動提案のためのトレーニング情報、及びライブ／遅延フィードバック及び制御特徴で将来の手動検査及び操作の提案を改善するためのフレームの選択／重み付けを提供する目的で、直接測定データ３０８（２Ｄビデオ画像、シングル３Ｄデータフレームなど）に対する入力を提供することができる。
【0063】
例示的な実施形態では、提案生成器３１８は、直接測定データ３０８のうちの１つ又は複数を使用して自動及び／又はＡＩにより可能となるマージン提案を生成するべくトレーニングされたモデルである及び／又は予測分析又はアルゴリズムモデルを使用する。別の例示的な実施形態では、直接測定データ３０８は、入力モジュール３２４を通じてトレーナ３１６によって得られる。トレーナ３１６は、ワークフロー推奨を生成するべく直接測定データ３０８を使用して機械学習モデルをトレーニングする。直接測定データ３０８は生の平均化されていない／完全なデータであるため、機械学習モデル３３０は、再構成された３Ｄモデル３０４を使用して生成された推奨よりも高精度なワークフロー推奨を生成することができる。例えば、トレーニングのための入力データセットとして直接測定データ３０８を使用することによって、機械学習モデル３３０は高品質のデータから学習し、再構成された３Ｄモデル３０４を使用して提供されたマージンライン推奨よりも高精度なマージンライン推奨を生成する。
【0064】
さらに、提案生成器３１８による提案又はワークフロー推奨の生成において、いくつかの例示的な実施形態では、オペレータの１つ又は複数のプリファレンスに従って複数の直接測定データ３０８を重み付けするために重み付け器３２０が用いられ得る。複数の直接測定データ３０８のそれぞれの全体又は一部の寄与レベルを決定することによって、提案の性質及び品質が、１つ又は複数の仕様を満たすように制御される。例えば、新たに重み付けされた直接測定データ３０８に基づいて提案が再計算され得る。
【0065】
さらなる例示的な実施形態では、オペレータは、手動修正器３２２によって、手動ワークフローでスキャンされたデータのレンダリングされた３Ｄ表現（再構成された３Ｄモデル３０４）を手動で制御及び修正することができるようになる。これは、例えば、直接測定データ３０８を修正し、再構成された３Ｄモデル３０４の対応するライブ又は遅延修正／フィードバックを得ることによって、マージンライン、幾何形状、又は色に関して行うことができる。
【0066】
これらの例示的な実施形態は、３Ｄモデルの個別の位置のインデックス付け（決定）を通じて関連する生データを表示するための迅速簡便なナビゲーションを通じてユーザビリティを顕著に向上させ、オペレータは複数のステップで特定のビューに手動で変更する煩わしいプロセスを経る必要がなく、ビュー方向は、再構成された３Ｄモデル３０４と直接測定データ３０８とで同じ向きを提供し、したがって、比較及び意思決定のプロセスをサポートする。
【0067】
図４を参照すると、この図は、例示的な実施形態に係る例示的な作業ビュー４００を示している。作業ビュー４００は、特定の実装に応じてアプリケーション１１６、１２０、３０２のいずれか１つであり得るアプリケーション４０２で具体化される。作業ビュー４００は、直接測定データ３０８と、レンダリングされた３Ｄモデルとして示される再構成された３Ｄモデル３０４とで同じパースペクティブを示す。これは、両方の表現が同じ向き及びズーム率（サイズ）を有することを意味し、したがって、特にテクスチャ及び色を比較するときにオペレータが２つの表現を比較するのに役立つ。
【0068】
直接測定データ３０８がシングルフレーム３Ｄデータであるとき、オペレータはパースペクティブを修正することが可能になる。したがって、シングルフレーム３Ｄデータと再構成された３Ｄモデル３０４の向き及びサイズは同じ様態で変化する。
【0069】
図５を参照すると、この図は、例示的な実施形態に係る配向動作のために構成された再構成３Ｄモデル３０４を示す例示的なアプリケーション５０４を示している。生成された直接測定データ３０８の数によって、作業ビュー４００の可能なパースペクティブの数が決まる。この実施形態では、インデックス付け動作でインデクサ３０６を使用して、再構成された３Ｄモデル３０４の１つ又は複数のパースペクティブのそれぞれと、前記１つ又は複数のパースペクティブを示す対応する直接測定データ３０８をリンクし、それらの間の制御を確立し、３Ｄモデルのパースペクティブと対応する直接測定データ３０８／シングルフレーム画像とのペアのリストを提供する。この実施形態では、ペアのリストは、ペア間の相関を示す、再構成された３Ｄモデル３０４のサブ部分又は全体部分に配置される１つ又は複数のペア選択５０２として提供される。例えば、ペア選択５０２は、直接測定データ３０８の中心座標ｘ，ｙに対応する、再構成された３Ｄモデル３０４上の３Ｄ点に配置され、したがって、この例では、ペア選択５０２を選択すると、直接測定データ３０８の中心座標ｘ，ｙに対応する３Ｄモデル上の３Ｄ点を基準とした、再構成された３Ｄモデル３０４の向きが、直接測定データ３０８と並べて表示され得る。したがって、この例では、選択されたペアの各メンバーの視覚化された向き及びサイズは同じであり得る。多くの可能な個別の配向がある場合、代わりにペアが強調表示されてもよい。別の例では、モデルビューと並べて画像を表示することに加えて、さらなるマップが実現可能である。したがって、３Ｄモデルの２つの表現が存在してもよく、１つは概要／マップとしての表現であり、もう１つはズームインされ、適正に配向された表現である。別の例では、ペアのリストは、マップとして視覚化されないが、テーブル又はリストとして視覚化されてもよい。もちろん、これらは、限定することを意味するものではなく、例えば、ペア間の確立された制御、並びに、直接測定データ３０８の座標及び再構成された３Ｄモデル３０４の３Ｄ点へのアクセスに基づいてペアのリストを視覚化する他の様態が可能である。
【0070】
相関ビューにインデックスを付け、マッピングすることによって、オペレータが作業ビュー４００に迅速にアクセスできるようになる。一例では、マウス、タッチスクリーン、トラックボール、タッチパッドをドラッグすることによって、再構成された３Ｄモデル３０４を、直接測定データ３０８と再構成された３Ｄモデル３０４との間の相関ビューを提供する向きにのみ回転又は移動することができる、「スナップイン機能」が実現される。オペレータは、ライブビューモードで最も近い可能な向きをアクティブにするスナップイン特徴によって支援され得る。
【0071】
別の例では、キーボード又はマウスボタン、例えば、矢印キー又はスペースバーを使用して、隣接する向きを「ステップスルー」することによって、再構成された３Ｄモデル３０４を、直接測定データ３０８と再構成された３Ｄモデル３０４との間の相関ビューを提供する向きにのみ回転又は移動することができる、「段階的機能」が実現される。
【0072】
ここで図６に移ると、この図は、例示的な実施形態が実施され得るプロセスを示している。プロセスは、歯顎に関するデータが取得されるステップ６０２で始まる。データは、歯顎の再構成された３Ｄモデル３０４と、再構成された３Ｄモデル３０４を構築するために用いられる少なくとも１つの直接測定データ３０８とを含む。ステップ６０４において、プロセス６００は、再構成された３Ｄモデル３０４の１つ又は複数のパースペクティブのそれぞれと、１つ又は複数のパースペクティブを示す対応する直接測定データ３０８をリンクし、それらの間の制御を確立し、第１の仮想３Ｄモデルのパースペクティブと対応する直接測定データ３０８のペアのリストを提供するべく、インデクサによってデータにインデックスを付ける。ステップ６０６において、プロセス６００は、ペアのリストから表示するためのペアを選択する。ステップ６０８において、プロセス６００は、提案生成器を使用してオペレータ入力を示す選択されたペアの第１の仮想３Ｄモデルの修正を計算するべく、選択されたペアの直接測定データ３０８に関するオペレータ入力を提供する。計算された修正により、第１の仮想３Ｄモデルよりも高精度な第２の仮想３Ｄモデルが生成される。プロセスはステップ６１０で終わる。
【0073】
プロセス６００の一例では、オペレータが歯科用スキャナ１２２で患者をスキャンする。患者の口腔内の３Ｄモデルの幾何形状及び色が計算される。幾何形状及び色に加えて、対応するシングル２Ｄ／３Ｄ画像で利用可能な３Ｄモデルのパースペクティブが生成／保存され（インデックス付け、リスト、テーブル）、最終的に顎上の位置にリンク（マッピング）される。オペレータによって用いられるアプリケーションの特定のモードでは、３Ｄモデルは、単一の対応する２Ｄ／３Ｄ画像（ナビゲーション）も表示する向きにのみ移動することができる。
【0074】
プロセス６００の修正ステップであるステップ６０８の前に、アプリケーション４０２などのアプリケーションは、随意的に単一の直接測定データ３０８を使用して、最初のマージン提案（図示せず）又は他の最初のワークフロー推奨を計算するか、又は既存のマージン提案（又は他の最初のワークフロー推奨）を改善する。図７は、再構成された３Ｄモデル３０４上の最初の自動マージン提案を作成するための入力として用いられる、最初に選択された直接測定データ７０２を示している。
【0075】
その後のステップにおいて、オペレータは、図８に示すように、直接測定データ３０８上にオペレータ入力の最初のプレパレーションマージン８０２を描画するか、又はアプリケーション４０２からの既存のマージン提案を編集、補正、又は操作することができる。オペレータ入力（この場合、オペレータ入力の最初のプレパレーションマージン８０２）は、提案生成器３１８を使用して新しい又は改善された提案されたマージンライン８０４を生成するためのアプリケーション４０２の入力として作用する。これは、例えば、直接測定データ３０８がフォト又は２Ｄ画像であるときには色情報、又は直接測定データ３０８が３Ｄ画像であるときには曲率分析のための３Ｄ曲率情報を使用して行うことができる。提案生成器は、機械学習モデル又はアルゴリズムモデルであり得る。例えば、オペレータ入力の最初のプレパレーションマージン８０２は、ユーザによって描画されたライン又は複数の単一点であってもよく、前記オペレータ入力の最初のプレパレーションマージン８０２に関する情報は、提案生成器３１８が自動提案を生成するためのガイドとして用いられてもよい。提案生成器３１８が機械学習モデル３３０である場合、特定のオペレータのプリファレンスを考慮に入れるために、提案生成器３１８をトレーニングするためのトレーニングデータとして複数のオペレータ入力が用いられる。このプロセスは、複数のパースペクティブに対して繰り返すことができる。
【0076】
前述の提案生成器は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）などの人工機械学習ニューラルネットワークに基づくことができる。これはフィードフォワード人工ニューラルネットワークであり、古典的形態では、畳み込み層と、その後に続くプーリング層からなる。ＣＮＮは、層ごとの畳み込みカーネルの自由パラメータ又は分類器の学習と、次の層を計算するときのそれらの重み付けによって学習する。シングル２Ｄ画像（カラー、蛍光、透照、吸収）又はシングル３Ｄフレームは、多数のシングル２Ｄ画像又はシングル３Ｄフレームのコレクションを使用してトレーニングされたＣＮＮ又は機械学習システムへの入力として用いられる。さらなるステップにおいて、シングルフレーム２Ｄ／３Ｄ画像が分析され、シングル２Ｄ画像又は３Ｄモデルのいずれかに対する関連する出力が提案される。２Ｄ又は３Ｄ画像の任意の特色を、入力データに応じて分類器又は特徴として用いることができる。以下では、可能な特徴を例示するために、特定の２Ｄ／３Ｄシングルフレーム画像についていくつかの入力－出力ペアが与えられる。入力データが２Ｄカラー画像である場合、例えば、青い圧排糸に属する類似した色又はカラーグラデーションの領域を識別できるだけでなく、例えば、白／黄色の色合いの支台歯に属する異なる色の領域も識別される。この圧排糸の使用を伴う歯肉縁上プレパレーションマージンのシナリオでは、出力は、２Ｄシングルフレームにおいて表示される色に基づくマージンの提案であり得るが、好ましくは、対応するマージン提案として３Ｄモデル上に表示され得る。入力データがシングル３Ｄフレームである場合、最も鋭い辺縁を識別するために、シングル３Ｄフレーム内の高曲率の領域を識別することもできる。出力はまた、結果的に、シングル３Ｄフレームにおけるマージン提案であるか、又は好ましくは対応するマージン提案としてレンダリングされた３Ｄモデル上に表示される。入力データが２ＤのＵＶ蛍光又はＩＲ透照画像である場合、カリエスなどの特定の疾患のある領域に対応し得る同様の蛍光領域／透照領域を識別することもできる。出力は、結果的に、カリエスに感染した組織を提案するマークされた領域として２Ｄ単一画像又は好ましくはレンダリングされた３Ｄモデル上に表示され得る。この情報はまた、感染の確率の値も含み得る。入力－出力の別のペアは、シングル２Ｄ／３Ｄ画像の前述のすべての形態に適用可能であり、出力で可能な最良の結果をもたらす可能性が高い２Ｄ／３Ｄフレームを選択して重み付けするための事前選択ステップである。入力は、歯科状況の観察領域の画像を含む２Ｄ又は３Ｄシングルフレームのセットである。出力は、転帰について可能な最良の結果をもたらす可能性が高い、これらの２Ｄ／３Ｄシングルフレームのうちの少なくとも１つを選択したものになる。選択された２Ｄ／３Ｄ画像のサブセットはまた、例えば、これもマージン提案又は感染組織の検出とすることができる最終結果への影響を定義する重み付け又は格付けを有することができる。
【0077】
１つ又は複数のＣＮＮネットワークで構成される機械学習システムのパラメータをトレーニング又は設定するための可能な方法を以下に説明する。第１のステップにおいて、歯科状況の多数の既知の２Ｄ又は３Ｄシングルフレームが分析される。可能な入力データが生成される。入力データは、入力データにおいてすべての可能な自由度が利用できるような様態で生成される。これはデータ拡張を使用して実現される。この目的のために、歯科状況の２Ｄ又は３Ｄシングルフレームが、指定された自由度によって回転される及び／又は自由度に沿ってスケール変更される。ニューラルネットワークは、トレーニングデータセットに基づいて有利にトレーニングすることができ、トレーニングデータセットは、コンポーネントの最初の２Ｄ又は３Ｄシングルフレームと、少なくとも１人のユーザによるこれらの最初の２Ｄ又は３Ｄシングルフレームに関する手動変更を含む。手動変更は、２Ｄ又は３Ｄシングルフレームにおいてユーザが手動で行うことができる。このようにして、ＣＮＮネットワークは、特定のユーザによって行われた手動変更を、プレパレーションマージン又はカリエスに感染した組織などを提案するための最初の提案に適用することを学習する。ユーザによって行われた手動変更は、特定のユーザプリファレンスに適応した提案を生成するべくＣＮＮをトレーニングするために用いることができる。また、クラウド又は共有ポータルを通じて接続された様々なユーザによる手動変更は、より経験豊富なユーザの提案を反映した提案を作成するようにＣＮＮを適応させるために用いることができる。
【0078】
さらに、ＣＮＮ及びトレーニングデータのための入力データは、必ずしも２Ｄ／３Ｄシングルフレームに限定されず、感染した歯科領域のレンダリングされた３Ｄモデル、レンダリングされたテクスチャマップ、及びレンダリングされた情報も含むことができる。例として、ＣＮＮ及び既知のトレーニングデータのための入力データは、シングルフレームとレンダリングされたモデルのセットで構成することができる。
【0079】
ワークフロー中に、オペレータは、提案を生成する際に提案生成器３１８によって用いられる複数の直接測定データ３０８のための重みを選択することができる。代替的に、提案生成器は、自動提案を生成するための直接測定データ３０８の自動重み付けを可能にするべく同様の様態でトレーニングされる。
【0080】
別の態様では、再構成された３Ｄモデル３０４と直接測定データ３０８との間の双方向の制御と、再構成された３Ｄモデル３０４の３Ｄデータポイント、及び直接測定データ３０８における点の座標、並びに、歯科用スキャナ１２２のグローバル座標系へのアクセスにより、オペレータは、本明細書で説明するようにポストワークフローフィードバック又はライブワークフローフィードバックを有することができる。ポストワークフローフィードバックの場合、オペレータは、単一画像の助けにより、再構成された３Ｄモデル３０４又は描画されたマージンを手動で直接チェック、制御、又は検査することができる。例えば、オペレータは、オペレータにより描画されるマージンライン９０６（図９Ａ、図９Ｂ）又は再構成された３Ｄモデル３０４に対する他のワークフローを作成する。オペレータにより描画されるマージンライン９０６は、「マージンファインダ」などの直接測定データツール９０２の使用によって、再構成された３Ｄモデル３０４上に描画される。次いで、作業ビューにおいて、オペレータが、再構成された３Ｄモデル３０４上のオペレータにより描画されるマージンライン９０６の上にカーソルツール９０８を乗せることで、直接測定データツール９０２（例えば、十字線）が、マージンが適正な位置にあるかどうかをチェックするために直接測定データ３０８の対応する位置に現れる。再構成された３Ｄモデル３０４の情報に比べて直接測定データ３０８の情報の品質が高いことにより、オペレータの比較動作が可能になる。十字線は、２つ以上の交差する線で構成することができるが、代替的に、図９Ａ及び図９Ｂなどのより良好なビューを可能にするように設計することができ、又は隣接するデータポイントをより明瞭に見るためにズームイン機能をもつ十字線とすることができる。例示的な実施形態では、精度を確かめるために隣接するデータポイントの色を使用することができる。
【0081】
別の例示的な実施形態では、再構成された３Ｄモデル３０４上の描画が進む際に十字線がリアルタイムで表示される、ライブワークフローフィードバックが提供される。ここで、オペレータは、再構成された３Ｄモデル３０４上に、オペレータにより描画されるマージンライン９０６を描画する。マージン描画プロセスをリアルタイムでガイドするべく、直接測定データ３０８上に十字線が表示される。十字線は、カーソルの移動中に即座に位置のフィードバック及び制御を与える。これは、オペレータが、マージンが適正な位置に配置されるかどうかを判断するのに役立つ。
【0082】
ワークフローフィードバックは、プロセス１０００でより一般的に説明され、プロセス１０００は、歯顎の第１の仮想３Ｄモデル／再構成された３Ｄモデル３０４と、再構成された３Ｄモデル３０４を構築するために用いられる少なくとも１つの直接測定データ３０８とを含む、歯顎に関するデータを取得するステップ１００２で始まる。ステップ１００４において、プロセス１０００は、再構成された３Ｄモデル３０４の１つ又は複数のパースペクティブのそれぞれと、１つ又は複数のパースペクティブを示す対応する直接測定データ３０８をリンクし、それらの間の制御を確立し、再構成された３Ｄモデルのパースペクティブと対応する直接測定データ３０８のペアのリストを提供するべく、インデクサによってデータにインデックスを付ける。ステップ１００６において、プロセス１０００は、ペアのリストから、第１の直接測定データと、第１の直接測定データに対応する第１の向きに配向された第１の再構成された３Ｄモデル３０４を表示するためのペアを選択する。ステップ１００８において、プロセス１０００は、直接測定データツール９０２を表示するべく、第１の直接測定データの対応する位置を計算するために、選択されたペアの第１の仮想３Ｄモデルデータの第１の位置に関するオペレータ入力を提供する。直接測定データツールは、第１の仮想３Ｄモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成される（ステップ１０１０）。これは、平均化効果に起因して、再構成された３Ｄモデル３０４の情報の品質よりも直接測定データ３０８の情報の品質の方が高いためであり得る。オペレータ入力は、必要に応じて、直接測定データツール９０２に基づいて修正される。プロセス１０００はステップ１０１４で終わる。
【0083】
図１１を参照すると、この図は、クローズドマージンなどの完全なワークフローの同時制御ビューを示す別の例示的なアプリケーション１１０２を示している。所与の自動マージン提案について、それぞれ部分的なマージンライン１１０６を示す複数の２Ｄ画像１１０４が表示され、これらはまとめるとクローズドマージンのすべての部分を構成する。オペレータは、最初に２Ｄ画像１１０４を選択することによって各２Ｄ画像１１０４内のマージンを操作することができ、インデックスに従って、選択された２Ｄ画像１１０４に対応する配向の再構成された３Ｄモデル３０４が表示される。提案されたマージンライン８０４を再計算するためのガイドとして、選択された２Ｄ画像１１０４に関するオペレータ入力が提供される。最後に編集された２Ｄ画像１１０４に対応する配向の再構成された３Ｄモデル３０４での再計算後に、新たに計算された提案が、再構成された３Ｄモデル３０４上に表示される。このビューでは、再構成された３Ｄモデル３０４の個別の配向は、描画された２Ｄ画像１１０４に限定され得る。もちろん、他の種類の直接測定データ３０８を用いることもできる。ライブ／ポストワークフローフィードバック特徴も、本明細書での説明に照らして実装することができる。さらに、オペレータ入力は、提案生成器３１８をトレーニングするためのトレーニングデータとして用いることができる。さらに、歯のデータの編集又は操作を含むワークフローなどのマージン提案とは別の他のワークフローも、本明細書での説明に照らして実現することができ、そのワークフローは、仮想アプリケーションにおいて３Ｄモデルと対応するシングルフレーム画像との両方を使用して行うことができる。
【0084】
したがって、コンピュータで実施される方法、システム、又は装置、及びコンピュータプログラム製品が、シングルフレーム制御ビュー及び他の関連する特徴、機能、又は動作を表示するための例示的な実施形態で提供される。実施形態又はその一部が、或るタイプのデバイスに関して説明される場合、コンピュータで実施される方法、システム、又は装置、コンピュータプログラム製品、又はその一部は、そのタイプのデバイスの適切な同等の表現で用いるために適応又は構成される。
【0085】
実施形態がアプリケーションで実施されるものとして説明される場合、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）モデルでのアプリケーションの配信が例示的な実施形態の範囲内で企図される。ＳａａＳモデルでは、実施形態を実施するアプリケーションの機能は、クラウドインフラストラクチャのアプリケーションを実行することによってユーザに提供される。ユーザは、ウェブブラウザ（例えば、ウェブベースの電子メール）、又は他の軽量のクライアントアプリケーションなどのシンクライアントインターフェースを通じて、様々なクライアントデバイスを使用してアプリケーションにアクセスすることができる。ユーザは、クラウドインフラストラクチャのネットワーク、サーバ、オペレーティングシステム、又はストレージを含む、基盤となるクラウドインフラストラクチャを管理又は制御しない。場合によっては、ユーザは、ＳａａＳアプリケーションの機能でさえも管理又は制御しなくてもよい。いくつかの他の場合には、アプリケーションのＳａａＳ実装は、限られたユーザ固有のアプリケーション構成設定のあり得る例外を可能にし得る。
【0086】
本発明は、任意の可能な技術的詳細レベルが統合されたシステム、方法、及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータで読み取り可能なプログラム命令を有するコンピュータ可読記憶媒体（又はメディア）を含み得る。
【0087】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶できる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の網羅的でないリストは、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、ＥＰＲＯＭ（消去可能でプログラム可能なリードオンリーメモリ）又はフラッシュメモリ、ＳＲＡＭ（スタティックランダムアクセスメモリ）、ＣＤ－ＲＯＭ（ポータブルコンパクトディスク・リードオンリーメモリ）、ＤＶＤ（デジタルバーサタイルディスク）、メモリスティック、フロッピーディスク、パンチカード又は命令が記録されている溝内の隆起構造などの機械的にエンコードされたデバイス、及び上記の任意の適切な組み合わせを含む。本明細書で用いられる場合のコンピュータ可読記憶媒体は、電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、又はワイヤを通じて送信される電気信号などの、それ自体が一時的な信号であると解釈されるべきではない。
【0088】
本明細書で説明されるコンピュータで読み取り可能なプログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は無線ネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含み得る。各コンピューティング／処理デバイスのネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータで読み取り可能なプログラム命令を受信し、それぞれのコンピューティング／処理デバイスのコンピュータ可読記憶媒体に記憶するべくコンピュータで読み取り可能なプログラム命令を転送する。
【0089】
本発明の動作を実行するためのコンピュータで読み取り可能なプログラム命令は、アセンブラ命令、ＩＳＡ（命令セットアーキテクチャ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコード又はオブジェクトコードのいずれかであり得る。コンピュータで読み取り可能なプログラム命令は、全部が歯科収集ユニット又はユーザのコンピュータで実行されてもよく、一部がスタンドアロンソフトウェアパッケージとしてユーザのコンピュータ又は歯科収集ユニットで実行されてもよく、一部がユーザのコンピュータで一部がリモートコンピュータで実行されてもよく、又は全部がリモートコンピュータ又はサーバなどで実行されてもよい。後者のシナリオでは、リモートコンピュータは、ＬＡＮ（ローカルエリアネットワーク）又はＷＡＮ（ワイドエリアネットワーク）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、又は接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータになされてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、又はＰＬＡ（プログラマブルロジックアレイ）を含む電子回路は、本発明の態様を実行するべく電子回路をパーソナライズするためにコンピュータで読み取り可能なプログラム命令の状態情報を使用することによってコンピュータで読み取り可能なプログラム命令を実行し得る。
【0090】
本発明の態様は、本発明の実施形態に係る方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して本明細書で説明される。フローチャート図及び／又はブロック図の各ブロック、及びフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータで読み取り可能なプログラム命令によって実施できることが理解されるであろう。
【0091】
これらのコンピュータで読み取り可能なプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令がフローチャート図及び／又はブロック図の１つ又は複数のブロックで指定される機能／動作を実施するための手段を生み出すようにマシンを作製するべく、汎用コンピュータ、特殊用途コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供され得る。これらのコンピュータで読み取り可能なプログラム命令はまた、命令を記憶したコンピュータ可読記憶媒体がフローチャート図及び／又はブロック図の１つ又は複数のブロックで指定される機能／動作の態様を実施する命令を有する製品を含むように、コンピュータ、プログラム可能なデータ処理装置、及び／又は他のデバイスを特定の様態で機能するように誘導することができるコンピュータ可読記憶媒体に記憶され得る。
【0092】
コンピュータで読み取り可能なプログラム命令はまた、コンピュータ、又は他のプログラム可能な装置、又は他のデバイスで実行する命令がフローチャート図及び／又はブロック図の１つ又は複数のブロックで指定される機能／動作を実施するように、コンピュータで実装されるプロセスをもたらすべく、一連の動作ステップがコンピュータ、又は他のプログラム可能な装置、又は他のデバイスで行われるように、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイス上にロードされ得る。
【0093】
図面におけるフローチャート図及びブロック図は、本発明の種々の実施形態に係るシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を例示している。これに関して、フローチャート図又はブロック図の各ブロックは、特定の論理関数を実装するための１つ又は複数の実行可能命令を備える命令のモジュール、セグメント、又は一部を表し得る。いくつかの代替的な実装では、ブロックで示される機能は、図面に示された順番以外で行われてもよい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてよく、又はブロックは、関係する機能に応じて、時には逆の順番で実行されてよい。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図のブロックの組み合わせは、特定の機能又は動作を行う又は特殊用途ハードウェア及びコンピュータ命令の組み合わせを実行する特殊用途ハードウェアベースのシステムにより実施することができることも注目される。
【0094】
特許請求の範囲、要約書、及び図面を含む本明細書で開示されたすべての特徴、及び開示されたいずれかの方法又はプロセスのすべてのステップは、そのような特徴及び／又はステップの少なくともいくつかが相互に排他的である組み合わせを除いて、任意の組み合わせで組み合わせることができる。特許請求の範囲、要約書、及び図面を含む本明細書で開示された各特徴は、特に明記しない限り、同じ、同等の、又は同様の目的を果たす代替的な特徴に置き換えることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【国際調査報告】