特許 7472145 歯科治療を提案及び可視化するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-12

(45)【発行日】2024-04-22

(54)【発明の名称】歯科治療を提案及び可視化するための方法及びシステム

(51)【国際特許分類】

   A61C 7/00 20060101AFI20240415BHJP

   A61C 13/34 20060101ALI20240415BHJP

【ＦＩ】

A61C7/00

A61C13/34 Z

【請求項の数】 8

(21)【出願番号】P 2021536223

(86)(22)【出願日】2020-01-22

(65)【公表番号】

(43)【公表日】2022-03-28

(86)【国際出願番号】 EP2020051468

(87)【国際公開番号】W WO2020156896

(87)【国際公開日】2020-08-06

【審査請求日】2023-01-20

(31)【優先権主張番号】19000053.9

(32)【優先日】2019-01-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】515304558

【氏名又は名称】デンツプライ・シロナ・インコーポレイテッド

(73)【特許権者】

【識別番号】519410367

【氏名又は名称】シロナ・デンタル・システムズ・ゲーエムベーハー

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100219542

【弁理士】

【氏名又は名称】大宅 郁治

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】コザ、アンドレ

(72)【発明者】

【氏名】クハルチク、ロニー

【審査官】白土 博之

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１７４３６７（ＵＳ，Ａ１）

【文献】特開２０１７－２２１３２９（ＪＰ，Ａ）

【文献】特開２００４－２０２０６９（ＪＰ，Ａ）

【文献】特表２０１８－５３４０５０（ＪＰ，Ａ）

【文献】特表２０１７－５１２０８７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２６３７３３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｃ １／００－１３／３８

Ａ６１Ｃ １９／００－１９／１０

Ａ６１Ｇ １５／１４－１５／１８

(57)【特許請求の範囲】

【請求項1】

歯科矯正治療の提案及び拡張可視化のためのシステム（１）であって、前記システム（１）は、
拡張可視化のためのディスプレイデバイス（１２）と、ここで、前記ディスプレイデバイス（１２）は、拡張現実グラス又はＨＵＤディスプレイを備え、
距離測定のための手段を有するモバイルデバイス（５４）と、
少なくとも１つのプロセッサ（１２２）と、
を備え、前記システムは、前記プロセッサによって、
３次元顔データ記録を取得するために、前記モバイルデバイス（５４）で顔の３次元画像を記録することと、
前記３次元顔データ記録の口領域をセグメント化することと、
矯正される実際の歯の３次元表現を取得することと、
前記取得された実際の歯の３次元表現に基づいて、歯科矯正治療を３次元歯データ記録として決定することと、
前記歯科矯正治療が前記口領域上に直接重ね合わされて見えるように、前記歯科矯正治療を、拡張可視化のために前記ディスプレイデバイス（１２）を通して前記口領域上に拡張としてオーバーレイすることと、
前記３次元顔データ記録内の特徴点を決定することと、
前記特徴点に基づいて、前記３次元顔データ記録における前記顔の向きの方向を決定することと、
前記歯科矯正治療の方向が前記３次元顔データ記録における前記顔の向きの方向と一致するように、前記歯科矯正治療を配向することと、
が実行されるように構成されている、
システム（１）。

【請求項2】

前記モバイルデバイス（５４）は、モーショントラッキングのための手段及び／又は色測定のための手段を更に備える、請求項１に記載のシステム。

【請求項3】

前記プロセッサが、前記歯科矯正治療に基づいて矯正器具を設計するように更に構成されている、請求項１又は２に記載のシステム。

【請求項4】

実際の歯の前記３次元表現は、前記顔の前記３次元画像からの抽出を通して取得されるか、又はスキャンから取得される、請求項１～３のいずれか一項に記載のシステム。

【請求項5】

前記歯の解剖学的特徴は、咬頭、隆起、溝、及び接触点のうちの少なくとも１つを含む、請求項４に記載のシステム。

【請求項6】

前記プロセッサは、顔の表情の変化及び／又は患者の動きをトラッキングするリアルタイムデータを含む、前記モバイルデバイス（５４）からのデータに基づいて、前記３次元顔データ記録を連続的に更新するように更に構成されている、請求項１～５のいずれか一項に記載のシステム。

【請求項7】

前記プロセッサが、前記歯科矯正治療をリアルタイムで決定するように構成されている、請求項１～６のいずれか一項に記載のシステム。

【請求項8】

前記モバイルデバイス（５４）は、モーショントラッキングのための手段及び／又は色測定のための手段を更に備える、請求項１～７のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、概して、歯科矯正分析のための方法、システム、及びコンピュータ可読記憶媒体に関し、より具体的には、拡張現実を利用して、リアルタイムで、歯列不正（misalignment of teeth）を検出し、可能な歯科矯正／歯科治療を提案及び可視化するための方法、システム、及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

歯科医は通常、標準的な調査／臨床チェックで患者の歯列不正を検出することができる。次いで、患者は、更なる治療のために歯科矯正医に移され得る。場合によっては、例えば、患者が定期的に歯科医院に行かない場合、歯の状態の診断が遅れて行われる場合がある。更に、歯科矯正医による手動診断は時間がかかる場合がある。したがって、歯列不正を迅速及び／又は安価に診断し、可能な解決法を提案し、提案を可視化する必要があり得る。

【0003】

米国特許出願公開２０１８０２４９９１２Ａ１は、事前に取得された歯の画像を使用した、歯がどのように見えるかのプレビューを開示している。

【0004】

米国特許９６７５３０５Ｂ２は、深度情報なしに正しくない歯の位置を検出するために写真を使用することを開示している。

【0005】

米国特許出願第２０１７２０２６３３号は、ユーザが見るためのウェアラブルディスプレイを備える医療介入を誘導するための撮像及び表示システムを開示しており、該ディスプレイは、術前手術ナビゲーション画像、術中画像、及び生体内顕微鏡画像又は感知データを含む合成画像又は結合画像を提示する。顕微鏡プローブ又は感知プローブなどのプローブが、患者から生体内撮像／感知データを得るために使用され得、術中及び生体内画像が、表示用の合成画像を形成するために、それらを術前画像及び患者の位置と合わせるためのトラッキング及び位置合わせ技法を使用して得られ得る。

【0006】

米国特許出願第２００２００８２４９８号は、患者の一部分の３次元（３Ｄ）ボリュームデータを捕捉することと、データのグラフィック表現を提供するようにボリュームデータを処理することと、該患者の一部分を含むシーンの立体ビデオビューを捕捉することと、立体拡張画像を提供するようにグラフィック表現及び立体ビデオビューを混合してレンダリングすることと、該立体拡張画像をビデオシースルーディスプレイに表示することとを備える、画像誘導手術のための方法を開示している。

【0007】

米国特許出願公開第２０１６０１９１８８７号は、外科医の静的又は動的視点からの患者の拡張ビューを表示するためのリアルタイム手術ナビゲーション方法及び装置を記載している。表面画像、術前又は術中画像から処理された患者の内部解剖学的構造のグラフィック表現、及び両方の画像を幾何学的に位置合わせするコンピュータが使用され得る。画像を幾何学的に位置合わせすることに応答して、ヘッドマウント型ディスプレイが、患者の拡張ビューを外科医に提示し得る。

【発明の概要】

【0008】

前述のことに関連する既存の制限及び他の制限を、請求項１に記載の方法、請求項１０に記載のシステム、及び請求項１２に記載のコンピュータ可読記憶媒体によって克服することができ、それら各々は、歯科矯正治療を提案及び可視化するためのものである。

【0009】

以下では、歯科矯正治療が美容治療と交換可能に使用されて、不正咬合（例えば、オーバージェット、オーバーバイト、クロスバイト等を含む）の矯正、及び患者の笑顔の改善などの様々な歯の治療をカバーし得、クラウン、ベニア、歯科接着、インレー、アンレー、インプラントなどの使用を含む。

【0010】

本明細書の一態様では、本発明は、歯科矯正／美容治療の可視化のための方法を提供し、本方法は、３次元顔データ記録を取得するために、顔の３次元画像を記録することと、３次元顔データ記録内の特徴点を決定することと、特徴点に基づいて口領域をセグメント化することと、矯正される実際の歯の３次元表現を取得することと、取得された実際の歯の３次元表現に基づいて、歯科矯正治療を３次元歯データ記録として決定することと、歯科矯正治療を、３次元顔データ記録の口領域上にオーバーレイすることと、を備える。

【0011】

本明細書の別の態様では、本方法は、（ｉ）３次元顔データ記録内の特徴点を決定することと、特徴点に基づいて、３次元顔データ記録における顔の向きの方向を決定することと、歯科矯正治療の方向が３次元顔データ記録における顔の向きの方向と一致するように、該歯科矯正治療を配向することと、（ｉｉ）モバイルデバイスで顔の該３次元画像を記録することと、（ｉｉｉ）歯科矯正治療に基づいて矯正器具を設計することと、（ｉｖ）ここにおいて、実際の歯の３次元表現は、顔の３次元画像からの抽出を通して取得されるか、又はスキャンから取得され、（ｖ）基準オブジェクト／基準フレームを確立すること、及び／又は矯正される実際の歯の３次元表現における歯の解剖学的特徴を検出することと、基準オブジェクト／基準フレーム及び／又は歯の解剖学的特徴を基準データと比較することによって、矯正される実際の歯の３次元表現の歯列不正を決定することと、（ｖｉ）基準データは、進行中の患者治療、過去の患者治療、科学文献、及び教科書から取得されたデータを含み、（ｖｉｉ）解剖学的特徴は、咬頭、隆起、溝、及び接触点のうちの少なくとも１つを含み、（ｖｉｉｉ）顔の表情の変化及び／又は患者の動きをトラッキングするリアルタイムデータを含む、トラッキングシステムからのデータに基づいて３次元顔データ記録を連続的に更新することと、（ｉｘ）歯科矯正治療はリアルタイムで取得される、を行うステップのうちの１つ又は複数を更に備える。

【0012】

本明細書の更に別の態様では、本発明は、歯科矯正治療の拡張可視化のための方法を提供し、本方法は、３次元顔データ記録を取得するために、顔の３次元画像を記録することと、特徴点に基づいて口領域をセグメント化することと、矯正される実際の歯の３次元表現を取得することと、取得された実際の歯の３次元表現に基づいて、歯科矯正治療を３次元歯データ記録として決定することと、歯科矯正治療が治療部位上に直接重ね合わされて見えるように、歯科矯正治療を、拡張可視化のためにディスプレイデバイスを通して該治療部位上に拡張としてオーバーレイすることと、を備える。

【0013】

本明細書の別の態様では、本方法は、（ｉ）拡張可視化のためのディスプレイデバイスが、拡張現実グラス又はＨＵＤディスプレイであり、（ｉｉ）歯科矯正治療に基づいて矯正器具を設計することを更に備え、（ｉｉｉ）ここにおいて、実際の歯の３次元表現は、顔の３次元画像からの抽出を通して取得されるか、又はスキャンから取得され、（ｉｖ）基準オブジェクト／基準フレームを確立すること、及び／又は矯正される実際の歯の３次元表現における歯の解剖学的特徴を検出することと、基準オブジェクト／基準フレーム及び／又は歯の解剖学的特徴を基準データと比較することによって、矯正される実際の歯の３次元表現の歯列不正を決定することと、を更に備え、（ｖ）基準データは、進行中の患者治療、過去の患者治療、科学文献、及び教科書から取得されたデータを含み、（ｖｉ）解剖学的特徴は、咬頭、隆起、溝、及び接触点のうちの少なくとも１つを含み、（ｖｉｉ）顔の表情の変化、臨床医の動き、及び／又は患者の動きをトラッキングするリアルタイムデータを含む、トラッキングシステムからのデータに基づいて３次元顔データ記録を連続的に更新することと、を更に備え、（ｖｉｉｉ）歯科矯正治療はリアルタイムで取得される、ステップのうちの１つ又は複数を更に備える。

【0014】

本明細書の別の態様では、本発明は、歯科矯正治療を可視化するためのシステムを提供し、本システムは、距離測定のための手段、モーショントラッキングのための手段、及び／又は色測定のための手段を有するモバイルデバイスと、少なくとも１つのプロセッサと、を備え、該プロセッサは、３次元顔データ記録を取得するために、顔の３次元画像を記録することと、特徴点に基づいて口領域をセグメント化することと、矯正される実際の歯の３次元表現を取得することと、取得された実際の歯の３次元表現に基づいて、歯科矯正治療を３次元歯データ記録として決定することと、歯科矯正治療を、３次元顔データ記録の口領域上にオーバーレイすることと、を行うステップを実行するように構成されている。

【0015】

本システムは、（ｉ）該プロセッサが、特徴点に基づいて、３次元顔データ記録における顔の向きの方向を決定することと、歯科矯正治療の方向が３次元顔データ記録における顔の向きの方向と一致するように、該歯科矯正治療を配向することとを行うステップを実行するように更に構成されており、（ｉｉ）該プロセッサが、歯科矯正治療に基づいて矯正器具を設計するステップを実行するように更に構成されており、（ｉｉｉ）ここにおいて、実際の歯の３次元表現は、顔の３次元画像からの抽出を通して取得されるか、又はスキャンから取得され、（ｉｖ）該プロセッサが、基準オブジェクト／基準フレームを確立すること、及び／又は矯正される実際の歯の３次元表現における歯の解剖学的特徴を検出することと、基準オブジェクト／基準フレーム及び／又は歯の解剖学的特徴を基準データと比較することによって、矯正される実際の歯の３次元表現の歯列不正を決定することと、を行うステップを実行するように更に構成されており、（ｖ）基準データは、進行中の患者治療、過去の患者治療、科学文献、及び教科書から取得されたデータを含み、（ｖｉ）該プロセッサが、顔の表情の変化及び／又は患者の動きをトラッキングするリアルタイムデータを含む、トラッキングシステムからのデータに基づいて３次元顔データ記録を連続的に更新するステップを実行するように更に構成されている、構成のうちの１つ又は複数を更に備え得る。

【0016】

本明細書の別の態様では、本発明は、歯科矯正治療を可視化するためのシステムを提供し得、本システムは、拡張可視化のためのディスプレイデバイスと、少なくとも１つのプロセッサと、を備え、該プロセッサは、３次元顔データ記録を取得するために、顔の３次元画像を記録することと、３次元顔データ記録内の特徴点を決定することと、特徴点に基づいて口領域をセグメント化することと、矯正される実際の歯の３次元表現を取得することと、取得された実際の歯の３次元表現に基づいて、歯科矯正治療を３次元歯データ記録として決定することと、歯科矯正治療が治療部位上に直接重ね合わされて見えるように、歯科矯正治療を、拡張可視化のためにディスプレイデバイスを通して該治療部位上に拡張としてオーバーレイすることと、を行うステップを実行するように構成されている。

【0017】

本システムは、（ｉ）拡張可視化のためのディスプレイデバイスが、拡張現実グラス又はＨＵＤ（ヘッドアップディスプレイ）ディスプレイであり、（ｉｉ）該プロセッサが、歯科矯正治療に基づいて矯正器具を設計するステップを実行するように更に構成されており、（ｉｉｉ）ここにおいて、実際の歯の３次元表現は、顔の３次元画像からの抽出を通して取得されるか、又は口内スキャンから取得され、（ｉｖ）該プロセッサが、基準オブジェクト／基準フレームを確立すること、及び／又は矯正される実際の歯の３次元表現における歯の解剖学的特徴を検出することと、基準オブジェクト／基準フレーム及び／又は歯の解剖学的特徴を基準データと比較することによって、矯正される実際の歯の３次元表現の歯列不正を決定することと、を行うステップを実行するように更に構成されており、（ｖ）基準データは、進行中の患者治療、過去の患者治療、科学文献、及び教科書から取得されたデータを含み、（ｖｉ）該プロセッサが、顔の表情の変化、臨床医の動き、及び／又は患者の動きをトラッキングするリアルタイムデータを含む、トラッキングシステムからのデータに基づいて３次元顔データ記録を連続的に更新するステップを実行するように更に構成されている、構成のうちの１つ又は複数を更に備え得る。

【0018】

本明細書の別の態様では、本発明は、プログラムを記憶した非一時的コンピュータ可読記憶媒体を提供し得、該プログラムは、コンピュータシステムによって実行されると、コンピュータシステムに、３次元顔データ記録を取得するために、顔の３次元画像を記録することと、３次元顔データ記録内の特徴点を決定することと、特徴点に基づいて口領域をセグメント化することと、矯正される実際の歯の３次元表現を取得することと、取得された実際の歯の３次元表現に基づいて、歯科矯正治療を３次元歯データ記録として決定することと、歯科矯正治療を、３次元顔データ記録の口領域上にオーバーレイすることと、を備える手順を行わせる。

【0019】

例示的な実施形態が、本明細書において以下で与えられる詳細な説明及び添付の図面からより完全に理解されるであろう。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態による、歯科矯正／美容可視化システムを例示するブロック図である。

【図2】本発明の例示的な実施形態によるモバイルデバイスを例示する。

【図3】本発明の例示的な実施形態による、モバイルデバイス及び患者の側面図を例示する。

【図4】本発明の例示的な実施形態によるコンピュータシステムを示すブロック図である。

【図5】本発明の例示的な実施形態による方法を示すフローチャートである。

【図6a】患者の顔の３次元データ記録の正面図である。

【図6b】特徴点を有する患者の顔の３次元データ記録の正面図である。

【図7a】３次元歯データ記録の正面図である。

【図7b】提案された歯科矯正／美容治療を有する患者の顔の３次元データ記録の正面図である。

【発明を実施するための形態】

【0021】

本明細書に記載の例示的な態様によれば、歯列不正を検出し、可能な歯科矯正／美容治療を提案するための方法、システム、及びコンピュータ可読記憶媒体が提供され得る。

【0022】

歯科矯正／美容治療を提案及び可視化するためのシステム
図１は、可視化システム１を例示し、この可視化システム１は、ヘッドマウント型拡張現実グラス、ＨＵＤディスプレイ、又は立体ビデオ画像を受信することが可能な立体ディスプレイなどの拡張可視化のためのディスプレイデバイス１２、又はそうでない場合、臨床医１０が見たときに歯科矯正治療４２がターゲット／治療部位１４ａ上に重ね合わされているように見えるように、ターゲット／治療部位１４ａ又はターゲット／治療部位１４ａの立体ビデオ上に拡張方式で歯科矯正治療４２をオーバーレイするために使用され得るディスプレイデバイス１２を備える。可視化システム１はまた、カメラシステム３を含み得、カメラシステム３は、好ましくは、色、深度、及びモーショントラッキングセンサを装備したスマートフォン（図２に示す）などのモバイルデバイス５４であり得る。特に、モバイルデバイス５４は、色測定のためのＲＧＢ－ＩＲカメラ６２と、赤外線を使用した距離測定のためのＩＲプロジェクタ５６と、モーショントラッキングのための魚眼カメラ５８とを有し得る。本明細書では、歯科矯正の提案／治療は、見るために、モバイルデバイス５４のディスプレイ上に、好ましくは、患者の顔のリアルタイム３Ｄモデル上に、仮想的に表示され得る。モバイルデバイス５４はまた、リアルタイム３Ｄモデル中のオブジェクトを照らすためのフラッシュ６０を有し得る。当然ながら、モバイルデバイス５４はまた、当業者によって理解され得るように、色測定、距離測定、及び患者１４のモーショントラッキングのための他の手段を有し得る。本明細書では、患者１４は、患者自身のビデオ又は３Ｄモデル上にオーバーレイされた歯科矯正治療４２を見るためにモバイルデバイス５４のディスプレイを使用し得る。本明細書の代替の実施形態では、カメラシステム３は、３Ｄ光学トラッキングシステム及び／又は立体カメラシステムであり得、コンピュータシステムに含まれ得、及び／又はトラッキングシステム２を形成し得るか、又はその一部であり得る。カメラシステム３はまた、臨床医１０のディスプレイデバイス１２に埋め込まれ得る。カメラシステムは、例えば、以下で説明する、（ｉ）構造光、（ｉｉ）飛行時間（ＴｏＦ：Time of Flight）、及び／又は（ｉｉｉ）立体原理を含む、いくつかの深度感知原理のうちの１つの下で動作し得る。構造光を用いるカメラの場合、光源が既知のパターンを患者１４上に投影するために使用され得、受信機が反射パターンの歪みを検出してジオメトリに基づいて深度マップを計算し得る。飛行時間（ＴｏＦ）原理を用いるカメラの場合、光源がパルスを送出し得、センサがその飛行時間を記録するために患者１４からのパルスの反射を検出し得る。光の速度が一定であるとわかると、システムは、患者１４がどの程度離れているかを計算し得る。代替的に、変調された光源が送られてもよく、患者から反射された光の位相変化が検出されてもよい。立体原理を用いるカメラの場合、複数のカメラが患者の複数の画像を捕捉するために異なる位置に置かれ得、深度マップがジオメトリに基づいて計算され得る。この深度情報は、治療中（例えば歯科治療中）に患者の場所をトラッキングするために使用され得る。

【0023】

ターゲット／治療部位１４ａは、患者の実際の歯７４（図３）の場所に対応する患者１４の口腔領域であり得る。代替的に、歯科矯正治療４２は、モバイルデバイス５４のディスプレイ上の無地の背景上にオーバーレイされてもよいし、又は拡張方式で重ね合わされることなく、臨床医１０が装着したスマートグラスのスクリーン上に直接表示されてもよい。歯科矯正治療４２を取得するために、患者の実際の歯７４は、以下の方法で説明するように、好ましくは３次元的に捕捉及び分析されて、必要な矯正を決定し得る。

【0024】

図１のディスプレイデバイス１２は、コンピュータシステム１００に接続され得るか、又はその一部を形成し得る。コンピュータシステム１００は、トラッキングシステム２及びプロセッサ１２２を含み得る。トラッキングシステム２は、代替的に、コンピュータシステム１００から分離していてもよく、本明細書で説明する他のデバイス、構成要素、及び／又はシステムのうちの任意のものの少なくとも一部を形成してもよい。トラッキングシステム２は、プロセッサ１２２に電気的に接続され得、共通の座標系で画像及びオブジェクトの正確な場所及び向きに関するリアルタイム場所データを提供し得る。本明細書の例示的な実施形態では、トラッキングシステムは視覚ベースであり得、例えばオブジェクト／パターン認識を使用した、例えば、患者１４の顔、又は患者１４の顔の特徴点６３（図３）若しくは患者の顔に置かれた所定のマーカ（図示せず）の視覚トラッキングのためにカメラシステム３のカメラを利用する。

【0025】

プロセッサ１２２は、リアルタイム３次元患者顔データを受信し、該データを分析して歯科矯正治療４２を取得し、該歯科矯正治療４２を、（ｉ）ディスプレイ１２を通して臨床医１０が見るための治療部位１４ａ上に、及び／又は（ｉｉ）治療部位１４ａに対応する患者の３Ｄモデル又は立体ビデオにおける領域上にオーバーレイするように構成され得る。

【0026】

そのようにすると、臨床医１０及び／又は患者１４は、深度を有し、かつ本当の歯であるかのように患者１４の顔の表情又は場所の変化に応じて移動／シフトし得る、リアルタイムで提案される歯科矯正治療を受信し得る。これは、例えば、リアルタイムで特徴点６３をモニタリングし、顔の表情の変化によって引き起こされる特徴点６３の場所の変化に基づいて、表示された歯科矯正治療の部分を見せる又は隠すことによって達成し得る。例示的な顔の表情は、（ａ）プロセッサ１２２がすべての歯又はほとんどの歯を示すように構成され得る笑顔、（ｂ）プロセッサ１２２が上顎を下顎と接触していないように示すように構成され得る口を開けた状態、（ｃ）プロセッサ１２２がいずれの歯も示さないように構成され得る口を閉じた状態、（ｄ）プロセッサ１２２が上顎を下顎と接触しているように示すように構成され得る咬合等を含み得る。

【0027】

本発明の例示的な実施形態では、歯科矯正治療４２は、任意選択的に、コンピュータシステム１００（例えば、ジェスチャ認識システム及び／又は音声認識システムなど）のユーザインターフェースを通して臨床医１０から要求を受信した後、治療手順の前又はその間に、治療部位１４ａ上にオーバーレイされ得る。

【0028】

治療部位１４ａ又は治療部位の３Ｄモデル若しくは立体ビデオ上に歯科矯正治療４２をオーバーレイすることは、動的かつリアルタイムで実行され得、トラッキングシステム２と連携して動作するプロセッサ１２２によって達成され得、トラッキングシステム２によって捕捉された（ｉ）患者１４及び／又は（ｉｉ）臨床医１０の位置の変化、並びに患者１４の顔の表情の変化は、オーバーレイされた歯科矯正治療４２の位置の対応する変化に変換され得、それにより、患者１４及び／又は臨床医１０が動いても該歯科矯正治療４２は直接重ね合わされて見える。更に、提案の拒否に応答して、プロセッサ１２２は、受諾されるまで更なる提案を提供するように構成され得る。受諾された提案は、アライナの作製のために、又は他の歯科矯正／歯科治療での使用のために記憶され得る。

【0029】

歯科矯正／美容治療を提案及び可視化するためのコンピュータシステム
図１のシステム１を説明してきたが、次に、本明細書の例示的な実施形態の少なくともいくつかにしたがって用いられ得るコンピュータシステム１００のブロック図を示す図４を参照する。様々な実施形態について、本明細書ではこの例示的なコンピュータシステム１００の観点から説明し得るが、この説明を読んだ後、他のコンピュータシステム及び／又はアーキテクチャを使用して本開示をどのように実施するかが当業者に明らかになり得る。

【0030】

本明細書の１つの例示的な実施形態では、コンピュータシステム１００は、少なくとも１つのコンピュータプロセッサ１２２を含み得、トラッキングシステム２、ユーザインターフェース１２６、及び入力ユニット１３０を含み得る。１つの例示的な実施形態における入力ユニット１３０は、治療についての命令又は要求をコンピュータプロセッサ１２２に送信するために、モニタなどのディスプレイユニット１２８とともに臨床医１０によって使用され得る。本明細書の別の例示的な実施形態では、入力ユニット１３０は、タッチスクリーンインターフェース（図示せず）上で使用される指又はスタイラスである。入力ユニット１３０は、代替的に、ジェスチャ／音声認識デバイス、トラックボール、マウス、又はキーボード若しくはスタイラスなどの他の入力デバイスであり得る。１つの例では、ディスプレイユニット１２８、入力ユニット１３０、及びコンピュータプロセッサ１２２は、ユーザインターフェース１２６を集合的に形成し得る。

【0031】

コンピュータプロセッサ１２２は、例えば、中央処理ユニット、マルチプル処理ユニット、特定用途向け集積回路（「ＡＳＩＣ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などを含み得る。プロセッサ１２２は、通信インフラストラクチャ１２４（例えば、通信バス又はネットワーク）に接続され得る。本明細書の一実施形態では、プロセッサ１２２は、歯科矯正治療４２を自動的に計算及び表示するための要求を受信し得、コンピュータシステム１００の１つ又は複数の記憶ユニットから該要求に関する命令を取得し得る。プロセッサ１２２は、次いで、該命令をロードし、データベース又は人工知能（ＡＩ）を使用するなどして、ロードされた命令を実行して、表示するための可能な治療を取得し得る。

【0032】

歯科矯正治療４２を提案するための１つ又は複数のステップ／手順は、コンピュータ可読プログラム命令の形態で非一時的記憶デバイス上に記憶され得る。手順を実行するために、プロセッサ１２２は、記憶デバイス上に記憶された適切な命令をメモリにロードし、次いでロードされた命令を実行する。

【0033】

コンピュータシステム１００は、ランダムアクセスメモリ（「ＲＡＭ」）であり得るメインメモリ１３２を更に備え得、また二次メモリ１３４も含み得る。二次メモリ１３４は、例えば、ハードディスクドライブ１３６及び／又はリムーバブル記憶ドライブ１３８（例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブなど）を含み得る。リムーバブル記憶ドライブ１３８は、周知の方式でリムーバブル記憶ユニット１４０から読み取り、及び／又はそれに書き込み得る。リムーバブル記憶ユニット１４０は、例えば、フロッピーディスク、磁気テープ、光ディスク、フラッシュメモリデバイスなどであり得、それらは、リムーバブル記憶ドライブ１３８によって書き込み及び読み取りされ得る。リムーバブル記憶ユニット１４０は、コンピュータ実行可能ソフトウェア命令及び／又はデータを記憶する非一時的コンピュータ可読記憶媒体を含み得る。

【0034】

更なる代替の実施形態では、二次メモリ１３４は、コンピュータシステム１００にロードされることになるコンピュータ実行可能プログラム又は他の命令を記憶する他のコンピュータ可読媒体を含み得る。このようなデバイスは、リムーバブル記憶ユニット１４４及びインターフェース１４２（例えば、プログラムカートリッジ及びカートリッジインターフェース）と、リムーバブルメモリチップ（例えば、消去可能なプログラマブル読取り専用メモリ（「ＥＰＲＯＭ」）又はプログラマブル読取り専用メモリ（「ＰＲＯＭ」））及び関連するメモリソケットと、ソフトウェア及びデータがリムーバブル記憶ユニット１４４からコンピュータシステム１００の他の部分に転送されることを可能にする他のリムーバブル記憶ユニット１４４及びインターフェース１４２とを含み得る。

【0035】

コンピュータシステム１００はまた、ソフトウェア及びデータがコンピュータシステム１００と外部デバイスとの間で転送されることを可能にする通信インターフェース１４６を含み得る。そのようなインターフェースは、モデム、ネットワークインターフェース（例えば、イーサネット（登録商標）カード又はワイヤレスインターフェース）、通信ポート（例えば、ユニバーサルシリアルバス（「ＵＳＢ」）ポート又はＦｉｒｅＷｉｒｅ（登録商標）ポート）、パーソナルコンピュータメモリカード国際協会（「ＰＣＭＣＩＡ」）インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを含み得る。通信インターフェース１４６を介して転送されるソフトウェア及びデータは、通信インターフェース１４６によって送信及び／又は受信されることが可能であり得る電子信号、電磁信号、光信号、又は別のタイプの信号であり得る信号の形態であり得る。信号は、通信経路１４８（例えばチャネル）を介して通信インターフェース１４６に提供され得る。通信経路１４８は、信号を搬送し得、ワイヤ又はケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数（「ＲＦ」）リンクなどを使用して実施され得る。通信インターフェース１４６は、コンピュータシステム１００とリモートサーバ又はクラウドベースのストレージ（図示せず）との間でソフトウェア又はデータ又は他の情報を転送するために使用され得る。

【0036】

１つ又は複数のコンピュータプログラム又はコンピュータ制御論理は、メインメモリ１３２及び／又は二次メモリ１３４に記憶され得る。コンピュータプログラムはまた、通信インターフェース１４６を介して受信され得る。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行されると、コンピュータシステム１００に、以下に説明する方法を実行させるコンピュータ実行可能命令を含み得る。

【0037】

別の実施形態では、ソフトウェアは、非一時的コンピュータ可読記憶媒体に記憶され、リムーバブル記憶ドライブ１３８、ハードディスクドライブ１３６、及び／又は通信インターフェース１４６を使用して、コンピュータシステム１００のメインメモリ１３２及び／又は二次メモリ１３４にロードされ得る。制御論理（ソフトウェア）は、プロセッサ１２２によって実行されると、コンピュータシステム１００、より広くは歯科矯正治療を可視化するためのシステム１に、本明細書に記載の方法のいくつかの全部又は一部を実行させる。

【0038】

別の例示的な実施形態では、コンピュータシステム１００は、歯科矯正治療４２を提案及び可視化するためにユーザが関与し得るアプリケーションを有するモバイルデバイス５４であり得る。

【0039】

本明細書で説明する機能を実行するための他のハードウェア構成の実施が、本説明を考慮すれば当業者には明らかであろう。

【0040】

歯科矯正／美容治療を提案及び可視化するための方法
図４のコンピュータシステム１００を説明してきたが、次に、歯科矯正治療を提案及び可視化するための方法について、図５～図７と併せて更に説明する。

【0041】

図５は、歯科矯正治療を提案するためのプロセス２００を示す。図６ａ～図７ｂは、不正歯列の矯正のための３次元顔データ記録６２及び対応する３次元歯データ記録６１を示す。歯科矯正治療４２を提案するプロセスは、モバイルデバイス５４又はカメラシステム３が３Ｄ顔データ記録６２（図６ａ）を捕捉するのに関与する、図５のステップＳ１００において開始し得る。前述したように、患者の顔の立体ビデオが代替的に捕捉されてもよく、オブジェクト認識方法が立体ビデオにおける解剖学的特徴を検出するために使用され得る。ステップＳ２００において、顔認識方法によって、顔の特徴点６３（図６ｂ）、例えば口角の点が決定され得る。ステップＳ３００において、特徴点６３に基づいて、患者１４の口又は唇が認識され得る。顔認識方法はまた、Ｃｏｏｎｓによる“Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods”と題する米国特許８８３１２９５Ｂ２、Ｇｅｎｇらによる“Method and system for a three dimensional facial recognition system”と題する米国特許７８０４９９７Ｂ２、及びＳｉｐｅらによる“Facial recognition”と題する米国特許８４５７３６７Ｂ１に記載される方法を含み得、それらは、本明細書に完全に記載のものとして、それらの全体が本明細書に援用される。

【0042】

ステップＳ４００において、３次元顔データ記録６２における患者の顔の向きの３次元方向６５が決定され得る。ステップＳ５００において、患者１４の唇の間の口領域６４が、３Ｄ顔データ記録６２からセグメント化され、及び／又は切り取られ得る。患者１４の実際の歯６６の３次元表現も、ステップＳ６００において、３Ｄ顔データ記録６２から抽出され得る。３次元表現から、例えば自動化された測定を通して、歯列不正があるかどうかも決定され得る（ステップＳ７００）。基準オブジェクト、基準フレームの確立、及び／又は実際の歯６６の３次元表現における歯の解剖学的特徴の検出は、自動歯科測定を可能にし得る。基準フレームの確立は、どれだけ歯が移動することになるか又は移動したかの決定を可能にし得る。解剖学的特徴の検出は、患者の実際の歯６６の３Ｄ表現に関連付けられた目印の自動検出を備え得、目印は、咬頭、隆起、溝、及び接触点のうちの少なくとも１つを備える。次いで、基準オブジェクト、基準フレーム、及び／又は歯の解剖学的特徴に基づいて歯科測定値が算出され、歯列不正の存在を決定するために、（例えば人工知能を使用して）基準データと比較され得る。歯科測定のためのシステム及び方法は、Ｍａｔｏｖらによる“System and method for facilitating automated dental measurements and diagnostics”と題する米国特許８１２６７２６Ｂ２に教示されるものを含み得、それは、本明細書に完全に記載のものとして、その全体が本明細書に援用される。

【0043】

代替の実施形態では、患者の実際の歯６６の３Ｄ表現は、以前に作成されたデータベース又は口内スキャンから受信され得る。

【0044】

ステップＳ８００において、不正列歯に対する提案された矯正が取得され得る。

【0045】

更に、（ｉ）歯列不正を矯正するための所定の命令及び／又は（ｉｉ）人工知能に基づく命令などの命令は、歯科矯正治療を提案するためのものであり得る。より具体的には、ステップＳ８００において、ステップＳ７００の取得された歯科測定値に対して人工知能データ分析が使用されて歯科矯正状態を診断し、プロセッサ１２２が矯正を提案するための命令のセットを生成し得る。プロセッサ１２２は、患者の実際の歯６６の３Ｄ表現の複数の歯の場所及び位置を識別し、対応する座標を割り当てるように構成され得る。診断は、患者の実際の歯６６の３Ｄ表現と比較され得る、１つ又は複数の入力に基づき得るか又は最も適合するものであり得、そのような入力は、進行中の患者治療、過去の患者治療（各診断データセットが複数の歯の既知の場所／位置に対応する座標を備えた過去の治療の診断データセットなど）、科学文献、教科書等から導出されるか、又はそうでない場合それらに基づいている。

【0046】

プロセッサ１２２は更に、少なくとも１つの治療アプローチ、矯正器具、矯正された歯、それらの組合せ、又はそうでない場合少なくとも１つの診断に対する歯科矯正治療４２を識別するように構成され得、これは、歯の所望の又は矯正された場所若しくは位置を表し得るターゲット座標のセットを計算することと、１つ又は複数のターゲット座標によって表される場所又は位置に向かって１つ又は複数の歯を再配向するのに少なくとも部分的に有効であり得る、少なくとも１つの治療アプローチ、矯正器具、又はそれらの組合せを識別することとを含み得る。本方法はまた、ターゲットによって表される場所又は位置に１つ又は複数の歯を再配向するのに歯科矯正治療４２が有効となる相対的可能性と相関し得る確率値を決定することも含み得、少なくとも１つの人工知能又は他のアルゴリズムの適用を用いることを含み得る。Ｊａｍｅｓ Ｍａｈによる“Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning”と題する米国特許９７８８９１７Ｂ２に記載のものなど、治療計画において人工知能を用いるためのシステムが、本明細書に完全に記載のものとして、その全体が本明細書に援用される。本発明の例示的な実施形態では、歯科矯正治療４２は、好ましくは、矯正された歯に対応する３次元歯データ記録６１（図７ａ）であり得、これはアライナの設計のためなど更なる治療手順に使用するために記憶され得る。

【0047】

ステップＳ９００～Ｓ１１００において、歯科矯正治療４２は、歯科矯正治療４２の向きが患者の顔の向きの３Ｄ方向６５と一致し、及び位置が口領域６４の位置と一致するように、回転され、３Ｄ顔データ記録６２上に（完全又は部分的に）オーバーレイされ得る（又はモバイルデバイス５４上の患者の実際の歯６６の３Ｄ表現と交換するために使用され得る）。ここで、患者の顔の向きの３Ｄ方向６５に対する歯科矯正治療４２の相対配向が確立され得る。この関係は、例えば、そのままとなる既存の歯又は交換するべき歯に基づいて確立され得る。関連する関係データが記憶され得、それにより、患者が動いたときに歯科矯正治療４２の配向が自動的に行われ得る。好ましくは、３Ｄ顔データ記録６２は、スマートフォン内のカラーカメラ６２を使用することにより色付きであり得、またリアルタイムで更新され得る。

【0048】

別の代替の実施形態では、トラッキングシステム２は、後述するように歯科矯正治療を連続的に配向するために使用され得る。

【0049】

ディスプレイデバイス１２を通して臨床医１０が見る拡張オーバーレイの場合、歯科矯正治療４２は、歯科矯正治療４２が拡張方式で患者１４の治療部位１４ａ上に直接重ね合わされて見えるように、ディスプレイデバイス１２のスクリーンにルーティングされ得る。トラッキングシステム２からのデータを使用することは、例えば、（ｉ）患者の顔の表情の変化（例えば笑顔）をトラッキングするリアルタイムデータ４４、（ｉｉ）臨床医の動きをトラッキングするリアルタイムデータ４６、及び／又は（ｉｉｉ）患者の動き（例えば位置の変化）をトラッキングするリアルタイムデータ５０を含み、ディスプレイデバイス１２にルーティングされる拡張データ（歯科矯正治療４２）は、治療部位１４ａ上にオーバーレイするためにリアルタイムで動的に更新され得、それにより、該歯科矯正治療４２は、該部位上に直接重ね合わされて見える。該治療部位１４ａは、例えば、カメラシステム３から取得されたデータに対してオブジェクト認識を使用して認識され得る。

【0050】

以上の説明を考慮すると、本明細書に記載の例示的な実施形態が、歯科矯正治療を提案及び可視化するための方法、システム、及びコンピュータ可読記憶媒体を提供することが理解され得る。

【0051】

別段の定義がない限り、本明細書で使用されるすべての技術用語及び科学用語は、本発明が属する技術分野の当業者によって一般に理解されているものと同じ意味を有する。本明細書に記載のものと類似又は同等の方法及び材料が、本開示の実践又は試験において使用され得るが、好適な方法及び材料が上述されている。本明細書に記載のすべての刊行物、特許出願、特許、及び他の参考文献は、適用可能な法令によって許容される程度にその全体が援用される。本開示は、その趣旨又は本質的な属性から逸脱することなく、他の特定の形態で具現化されてもよく、したがって、本実施形態があらゆる点で例示的であり、限定的ではないと見なされることが望ましい場合がある。説明内で利用される見出しは便宜上のものにすぎず、法的又は限定的な効果を有するものではない。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［１］ 歯科矯正治療の提案及び拡張可視化のためのシステム（１）を動作させる方法であって、前記システム（１）は、
拡張可視化のためのディスプレイデバイス（１２）と、ここで、前記ディスプレイデバイス（１２）は、拡張現実グラス又はＨＵＤディスプレイを備え、
距離測定のための手段を有するモバイルデバイス（５４）と、
少なくとも１つのプロセッサ（１２２）と、
を備え、前記方法は、
３次元顔データ記録を取得するために、前記モバイルデバイス（５４）で顔の３次元画像を記録することと、
前記３次元顔データ記録の口領域をセグメント化することと、
矯正される実際の歯の３次元表現を取得することと、
前記取得された実際の歯の３次元表現に基づいて、歯科矯正治療を３次元歯データ記録として決定することと、
前記歯科矯正治療が前記口領域上に直接重ね合わされて見えるように、前記歯科矯正治療を、拡張可視化のために前記ディスプレイデバイス（１２）を通して前記口領域上に拡張としてオーバーレイすることと、
を備える、方法。
［２］ 前記モバイルデバイス（５４）は、モーショントラッキングのための手段及び／又は色測定のための手段を更に備える、［１］に記載の方法。
［３］ 前記３次元顔データ記録内の特徴点を決定することと、
前記特徴点に基づいて、前記３次元顔データ記録における前記顔の向きの方向を決定することと、
前記歯科矯正治療の方向が前記３次元顔データ記録における前記顔の向きの方向と一致するように、前記歯科矯正治療を配向することと、
を更に備える、［１］又は［２］に記載の方法。
［４］ 前記歯科矯正治療に基づいて矯正器具を設計することを更に備える、［１］～［３］のいずれか一項に記載の方法。
［５］ 実際の歯の前記３次元表現は、前記顔の前記３次元画像からの抽出を通して取得されるか、又はスキャンから取得される、［１］～［４］のいずれか一項に記載の方法。
［６］ 基準オブジェクト／基準フレームを確立すること、及び／又は矯正される実際の歯の前記３次元表現における歯の解剖学的特徴を検出することと、
前記基準オブジェクト／基準フレーム及び／又は歯の解剖学的特徴を基準データと比較することによって、矯正される実際の歯の前記３次元表現の歯列不正を決定することと、
を更に備え、
前記基準データは、進行中の患者治療、過去の患者治療、科学文献、及び教科書から取得されたデータを含む、［１］～［５］のいずれか一項に記載の方法。
［７］ 前記歯の解剖学的特徴は、咬頭、隆起、溝、及び接触点のうちの少なくとも１つを含む、［６］に記載の方法。
［８］ 顔の表情の変化及び／又は患者の動きをトラッキングするリアルタイムデータを含む、前記モバイルデバイス（５４）からのデータに基づいて前記３次元顔データ記録を連続的に更新することを更に備える、［１］～［７］のいずれか一項に記載の方法。
［９］ 前記歯科矯正治療はリアルタイムで決定される、［１］～［８］のいずれか一項に記載の方法。
［１０］ 歯科矯正治療を可視化するためのシステム（１）であって、
拡張可視化のためのディスプレイデバイス（１２）と、ここで、前記ディスプレイデバイス（１２）は、拡張現実グラス又はＨＵＤディスプレイを備え、
距離測定のための手段を有するモバイルデバイス（５４）と、
［１］～［９］のいずれか一項に記載の方法のステップを実行するように構成された少なくとも１つのプロセッサと、
を備える、システム（１）。
［１１］ 前記モバイルデバイス（５４）は、モーショントラッキングのための手段及び／又は色測定のための手段を更に備える、［１０］に記載のシステム（１）。
［１２］ プログラムを記憶した非一時的コンピュータ可読記憶媒体であって、前記プログラムが［１０］又は［１１］に記載のコンピュータ実装システム（１）によって実行されると、前記コンピュータ実装システム（１）に、［１］～［９］のうちのいずれか一項に記載の方法ステップを実行させる前記プログラムを記憶した非一時的コンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6a】

【図6b】

【図7a】

【図7b】