特開 2024-31920 ３次元スキャンデータから補綴物を自動で生成する方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031920

(43)【公開日】2024-03-07

(54)【発明の名称】３次元スキャンデータから補綴物を自動で生成する方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体

(51)【国際特許分類】

   A61C 13/00 20060101AFI20240229BHJP

   A61C 9/00 20060101ALI20240229BHJP

   A61C 5/30 20170101ALI20240229BHJP

   A61C 5/70 20170101ALI20240229BHJP

   A61C 8/00 20060101ALI20240229BHJP

【ＦＩ】

A61C13/00 Z

A61C9/00 Z

A61C5/30

A61C5/70

A61C8/00 Z

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023135406

(22)【出願日】2023-08-23

(31)【優先権主張番号】10-2022-0106978

(32)【優先日】2022-08-25

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】PCT/KR2022/013149

(32)【優先日】2022-09-01

(33)【優先権主張国・地域又は機関】WO

(71)【出願人】

【識別番号】523055651

【氏名又は名称】イマゴワークス インコーポレイテッド

【氏名又は名称原語表記】ＩＭＡＧＯＷＯＲＫＳ ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】アン ジュンソン

(72)【発明者】

【氏名】チョン ソ ジョン

(72)【発明者】

【氏名】タク ソン ジュン

(72)【発明者】

【氏名】シン ボンジュ

(72)【発明者】

【氏名】カム ドン ウク

(72)【発明者】

【氏名】ファン ジョン－ミン

(72)【発明者】

【氏名】キム ジョンファ

(72)【発明者】

【氏名】イ テソク

(72)【発明者】

【氏名】チェ ジンヒョク

【テーマコード（参考）】

4C159

【Ｆターム（参考）】

4C159BB10

4C159RR15

(57)【要約】

【課題】３次元スキャンデータから補綴物を自動で生成する方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体を提供する。
【解決手段】３次元スキャンデータから補綴物を自動で生成する方法は、３次元スキャンデータから、前記３次元スキャンデータ内に含まれる各歯牙の歯牙情報を自動で抽出するステップと、調製済み歯に対して、マージンラインを自動で抽出するステップと、前記調製済み歯と、前記調製済み歯に隣接した隣接歯とを有する複数の２次元画像を生成するステップと、前記複数の２次元画像を基に、３次元臨時補綴物データを自動で生成するステップと、前記マージンライン及び前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

３次元スキャンデータから、前記３次元スキャンデータ内に含まれる各歯牙の歯牙情報を自動で抽出するステップと、
調製済み歯に対して、マージンラインを自動で抽出するステップと、
前記調製済み歯と、前記調製済み歯に隣接した隣接歯とを有する複数の２次元画像を生成するステップと、
前記複数の２次元画像を基に、３次元臨時補綴物データを自動で生成するステップと、
前記マージンライン及び前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成するステップと、
を含むことを特徴とする、
３次元スキャンデータから補綴物を自動で生成する方法。

【請求項2】

前記歯牙情報は、前記歯牙の番号、前記歯牙の調製済み可否、前記歯牙の位置、及び前記歯牙の方向を含むことを特徴とする、
請求項１に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項3】

前記歯牙情報を自動で抽出するステップは、
前記３次元スキャンデータをモデル入力で前処理するステップと、
前記モデル入力をバックボーンネットワークに入力して、特徴マップを得るステップと、
前記特徴マップから、前記歯牙情報を抽出するステップと、
を含むことを特徴とする、
請求項２に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項4】

前記バックボーンネットワークの学習のために、前記歯牙の位置及び前記歯牙の方向に対して、回帰損失を用い、前記歯牙の番号に対して、分類損失を用いることを特徴とする、
請求項３に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項5】

前記マージンラインを自動で抽出するステップは、
前記３次元スキャンデータから、前記調製済み歯に対応する部分スキャンデータを抽出するステップと、
変換マトリックスを用いて、前記部分スキャンデータを、所定の２次元空間内にマッピングするステップと、
前記２次元空間内にマッピングされたデータから曲率値を判断して、２次元マージンラインを得るステップと、
前記変換マトリックスの反転マトリックスを用いて、前記２次元マージンラインを３次元マージンラインに変換するステップと、
を含むことを特徴とする、
請求項１に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項6】

前記複数の２次元画像は、
前記調製済み歯と、前記調製済み歯の第１の隣接歯とを有する第１の２次元画像と、
前記調製済み歯と、前記調製済み歯の第２の隣接歯とを有する第２の２次元画像と、
を含むことを特徴とする、
請求項１に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項7】

前記第１の２次元画像の中心及び前記第２の２次元画像の中心は、互いに同一であり、
前記第１の２次元画像のプロジェクション方向は、前記第２の２次元画像のプロジェクション方向と互いに異なることを特徴とする、
請求項６に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項8】

前記第１の２次元画像の中心及び前記第２の２次元画像の中心は、前記調製済み歯の中心であることを特徴とする、
請求項７に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項9】

前記３次元臨時補綴物データを自動で生成するステップは、ｃＧＡＮ（conditional generative adversarial network）を用いることを特徴とする、
請求項６に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項10】

前記ｃＧＡＮは、前記複数の２次元画像、カメラの位置情報、及び前記カメラの方向情報を受信するエンコーダと、前記エンコーダに連結される潜在ベクトル、及び前記潜在ベクトルに連結されるデコーダとを含み、
前記デコーダは、前記３次元臨時補綴物データを出力することを特徴とする、
請求項９に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項11】

前記３次元補綴物データを生成するステップは、
前記テンプレートモデルを、前記調製済み歯の位置に整列するステップと、
前記マージンラインを第１の制約として用い、前記３次元臨時補綴物データを第２の制約として用いて、前記単一歯牙モデルを変形するステップと、
を含むことを特徴とする、
請求項１に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項12】

前記テンプレートモデルのラプラシアンマトリックスをL、前記３次元臨時補綴物データのポイント集合をPpos、前記マージンラインのポイント集合をPmargin、前記Pposに近いようにする制約をCpred、前記Pmarginを超えない制約をCmargin、前記３次元補綴物データの頂点位置をxoptとすると、

を満たすことを特徴とする、
請求項１１に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項13】

更に、前記歯牙情報を自動で抽出するステップの前に、前記３次元スキャンデータを、所定の座標系の原点に所定の座標系の方向に整列するステップを含むことを特徴とする、
請求項１に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項14】

前記歯牙情報を自動で抽出するステップは、第１の人工知能神経網により行われ、
前記マージンラインを自動で抽出するステップは、第２の人工知能神経網により行われ、
前記３次元臨時補綴物データを自動で生成するステップは、第３の人工知能神経網により行われることを特徴とする、
請求項１に記載の３次元スキャンデータから補綴物を自動で生成する方法。

【請求項15】

３次元スキャンデータから、前記３次元スキャンデータ内に含まれる各歯牙の歯牙情報を自動で抽出するステップと、
前記歯牙情報から、調製済み歯が存在するか否かを判断するステップと、
前記調製済み歯が存在する場合、前記調製済み歯に対して、マージンラインを自動で抽出するステップと、
前記調製済み歯が存在する場合、前記調製済み歯と、前記調製済み歯に隣接した隣接歯とを有する複数の２次元画像を生成するステップと、
前記複数の２次元画像を基に、３次元臨時補綴物データを自動で生成するステップと、
前記マージンライン及び前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成するステップと、
を含むことを特徴とする、３次元スキャンデータから補綴物を自動で生成する方法。

【請求項16】

請求項１乃至１５のいずれか一項に記載の方法を、コンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元スキャンデータから補綴物を自動で生成する方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体に関し、より詳しくは、補綴物の製作時間及び過程を短縮し、品質を向上することができる、３次元スキャンデータから補綴物を自動で生成する方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体に関する。

【背景技術】

【0002】

３次元口腔スキャンデータとは、歯牙及び口腔又はそれを倣うか又は再構成した対象を、３次元スキャナでスキャンしたデータを意味する。インレー（inlay）、オンレー（onlay）、クラウン（crown）などの補綴治療、インプラント（implant）、矯正などの歯科治療は、患者の口腔データを取得して、補綴物又はインプラントデザイン、矯正機製作などに利用される。

【0003】

従来は、アルジネートなどを用いて、口腔を直接倣った後、手作業で補綴物を製作する方式が主に利用された。解剖学的に正しい補綴物を作るため、医療医又は歯機工士は、周辺歯の摩耗程度を把握し、歯牙の番号と対合歯の噛合情報を複合的に理解した後、結果物を生成することができる。従来の補綴物生成方法は、このような情報を考えて、一般の歯牙形状を基に、人が手作業で各患者の口腔状態に合わせて修正することができる。

【0004】

また、従来は、補綴物の生成過程が手作業で行われるので、医療医又は歯機工士の作業疲労度が増加し、結果物の正確度及び生産性が減少するという問題がある。また、作業者の熟練度によって補綴物の品質と所要時間の偏差が大きいという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、補綴物の製作時間及び過程を短縮させ、品質を向上することができる、３次元スキャンデータから補綴物を自動で生成する方法を提供することである。

【0006】

本発明の他の目的は、前記３次元スキャンデータから補綴物を自動で生成する方法をコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体を提供することである。

【課題を解決するための手段】

【0007】

本発明の目的を実現するための一実施形態に係る３次元スキャンデータから補綴物を自動で生成する方法は、３次元スキャンデータから、前記３次元スキャンデータ内に含まれる各歯牙の歯牙情報を自動で抽出するステップと、調製済み歯に対して、マージンラインを自動で抽出するステップと、前記調製済み歯と、前記調製済み歯に隣接した隣接歯とを有する複数の２次元画像を生成するステップと、前記複数の２次元画像を基に、３次元臨時補綴物データを自動で生成するステップと、前記マージンライン及び前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成するステップとを含むことを特徴とする。

【0008】

前記歯牙情報は、前記歯牙の番号、前記歯牙の調製済み可否、前記歯牙の位置、及び前記歯牙の方向を含む。

【0009】

前記歯牙情報を自動で抽出するステップは、前記３次元スキャンデータをモデル入力に前処理するステップと、前記モデル入力をバックボーンネットワークに入力して、特徴マップを得るステップと、前記特徴マップから、前記歯牙情報を抽出するステップとを含む。

【0010】

前記バックボーンネットワークの学習のために、前記歯牙の位置及び前記歯牙の方向に対して、回帰損失（regression loss）を用い、前記歯牙の番号に対して、分類損失（classification loss）を用いる。

【0011】

前記マージンラインを自動で抽出するステップは、前記３次元スキャンデータから、前記調製済み歯に対応する部分スキャンデータを抽出するステップと、変換マトリックスを用いて、前記部分スキャンデータを、所定の２次元空間内にマッピングするステップと、前記２次元空間内にマッピングされたデータから曲率値を判断して、２次元マージンラインを得るステップと、前記変換マトリックスの反転マトリックスを用いて、前記２次元マージンラインを３次元マージンラインに変換するステップとを含む。

【0012】

前記複数の２次元画像は、前記調製済み歯と、前記調製済み歯の第１の隣接歯とを有する第１の２次元画像と、前記調製済み歯と、前記調製済み歯の第２の隣接歯とを有する第２の２次元画像とを含む。

【0013】

前記第１の２次元画像の中心及び前記第２の２次元画像の中心は、互いに同一であり、前記第１の２次元画像のプロジェクション方向は、前記第２の２次元画像のプロジェクション方向と互いに異なる。

【0014】

前記第１の２次元画像の中心及び前記第２の２次元画像の中心は、前記調製済み歯の中心である。

【0015】

前記３次元臨時補綴物データを自動で生成するステップは、ｃＧＡＮ（conditional generative adversarial network）を用いる。

【0016】

前記ｃＧＡＮは、前記複数の２次元画像、カメラの位置情報、及び前記カメラの方向情報を受信するエンコーダと、前記エンコーダに連結される潜在ベクトル（Latent Vector）、及び前記潜在ベクトルに連結されるデコーダとを含み、前記デコーダは、前記３次元臨時補綴物データを出力する。

【0017】

前記３次元補綴物データを生成するステップは、前記テンプレートモデルを、前記調製済み歯の位置に整列するステップと、前記マージンラインを第１の制約（constraint）として用い、前記３次元臨時補綴物データを第２の制約として用いて、前記単一歯牙モデルを変形するステップを含む。

【0018】

前記テンプレートモデルのラプラシアンマトリックスをL、前記３次元臨時補綴物データのポイント集合をPpos、前記マージンラインのポイント集合をPmargin、前記Pposに近いようにする制約をCpred、前記Pmarginを超えない制約をCmargin、前記３次元補綴物データの頂点位置をxoptとすると、

を満たす。

【0019】

更に、前記３次元スキャンデータから補綴物を自動で生成する方法は、前記歯牙情報を自動で抽出するステップの前に、前記３次元スキャンデータを、所定の座標系の原点に所定の座標系の方向に整列するステップを含む。

【0020】

前記歯牙情報を自動で抽出するステップは、第１の人工知能神経網により行われ、前記マージンラインを自動で抽出するステップは、第２の人工知能神経網により行われ、前記３次元臨時補綴物データを自動で生成するステップは、第３の人工知能神経網により行われる。

【0021】

前記した本発明の目的を実現するための一実施形態による３次元スキャンデータから補綴物を自動で生成する方法は、３次元スキャンデータから、前記３次元スキャンデータ内に含まれる各歯牙の歯牙情報を自動で抽出するステップと、前記歯牙情報から、調製済み歯が存在するか否かを判断するステップと、前記調製済み歯が存在する場合、前記調製済み歯に対して、マージンラインを自動で抽出するステップと、前記調製済み歯が存在する場合、前記調製済み歯と、前記調製済み歯に隣接した隣接歯とを有する複数の２次元画像を生成するステップと、前記複数の２次元画像を基に、３次元臨時補綴物データを自動で生成するステップと、前記マージンライン及び前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成するステップとを含むことを特徴とする。

【0022】

本発明の一実施形態において、前記３次元スキャンデータから補綴物を自動で生成する方法を、コンピュータで実行させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録される。

【発明の効果】

【0023】

本発明による３次元スキャンデータから補綴物を自動で生成する方法によると、前記３次元スキャンデータから歯牙の情報が自動で抽出され、調製済み歯の部分スキャンデータから、マージンラインが自動で抽出され、前記調製済み歯及び隣接歯に対する複数の２次元画像を基に、３次元臨時補綴物データが自動で生成され、前記３次元臨時補綴物データの外郭点情報、前記マージンラインを基に単一歯牙モデルが自動で変形して、３次元補綴物データが自動で生成される。

【0024】

このように、前記３次元スキャンデータから補綴物が自動で生成されることで、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上することができる。

【0025】

特に、前記３次元スキャンデータから、歯牙の情報を自動で抽出するステップ、前記調製済み歯の部分スキャンデータから、マージンラインを自動で抽出するステップ、前記３次元臨時補綴物データを自動で生成するステップのうち少なくとも１つは、人工知能神経網を用いて行われるので、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上することができる。

【図面の簡単な説明】

【0026】

【図1】図１は、本発明の一実施形態に係る３次元スキャンデータから補綴物を自動で生成する方法を示すフローチャートである。

【図2】図２は、図１の３次元スキャンデータを自動で整列するステップを示す図である。

【図3】図３は、図１の歯牙情報を自動で抽出するステップを示す図である。

【図4】図４は、図１の歯牙情報を自動で抽出するステップを示すフローチャートである。

【図5】図５は、図１のマージンラインを自動で抽出するステップを示す図である。

【図6】図６は、図１の複数の２次元画像を生成するステップを示す図である。

【図7】図７は、図１の３次元臨時補綴物データを自動で生成するステップを示す図である。

【図8】図８は、図１の３次元補綴物データを自動で生成するステップを示す図である。

【図9】図９は、本発明の一実施形態に係る３次元スキャンデータから、補綴物を自動で生成する方法を示すフローチャートである。

【発明を実施するための形態】

【0027】

本文に示されている本発明の実施形態に対して、特定の構造的乃至機能的説明は、単に、本発明の実施形態を説明するための目的として例示しており、本発明の実施形態例は、様々な形態で実施することができ、本文で説明された実施形態に限定されることと解析されてはいけない。

【0028】

本発明は、様々な変更を加えることができ、様々な形態を有することができ、特定の実施形態を図面に例示し、本文で詳細に説明しようとする。しかし、これは、本発明を特定の開示形態について限定しようとすることではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むことと理解されなければいけない。

【0029】

第１、第２のなどの用語は、様々な構成要素を説明することに用いられるが、前記構成要素は、前記用語により限定されてはいけない。前記用語は、１つの構成要素を他の構成要素から区別する目的として使われる。例えば、本発明の権利範囲から逸脱しない状態で、第１の構成要素は、第２の構成要素と指し示すことができ、同様に、第２の構成要素も第１の構成要素と指し示すことができる。

【0030】

ある構成要素が他の構成要素に「連結されて」いるか、「接続されて」いるとしたときは、その他の構成要素に直接的に連結又は接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いるか、「直接接続されて」いるとしたときは、中間に他の構成要素が存在しないことと理解すべきである。構成要素間の関係を説明する他の表現、すなわち、「～間に」と「直ぐ～間に」、又は「～に隣接する」と「～に直接隣接する」なども同様に解析されるべきである。

【0031】

本出願で使用した用語は、単に、特定の実施形態を説明するために使われており、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、パーツ、又はこれらを組み合わせるものが存在することを指定しようとすることであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、パーツ、又はこれらを組み合わせたもの存在又は付加可能性を予め排除しないことと理解すべきである。

【0032】

異なって定義しない限り、技術的や科学的な用語を含めて、ここで使われる全ての用語は、本発明が属する技術分野における通常の知識を有する者にとって、一般に理解されることと同様な意味を有している。一般に使われる辞典に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解析されるべきであり、本出願で明白に定義しない限り、理想的又は過度に形式的な意味として解析されない。

【0033】

一方、ある実施形態が異なって具現可能な場合に、特定のブロック内に明記された機能又は動作がフローチャートに明記した手順と異なって起きることもできる。例えば、連続する２つのブロックが、実際には実質的に同時に行われることもでき、関連する機能又は動作によっては、前記ブロックが逆に行われることもできる。

【0034】

以下、添付の図面を参照して、本発明の好適な実施形態をより詳細に説明する。図面上の同一の構成要素に対しては、同一の図面符号を付し、同一の構成要素に対して重複した説明は、省略する。

【0035】

図１は、本発明の一実施形態に係る３次元スキャンデータから補綴物を自動で生成する方法を示すフローチャートである。

【0036】

図１に示しているように、本実施形態による３次元スキャンデータから補綴物を自動で生成する方法は、３次元スキャンデータから、前記３次元スキャンデータ内に含まれる各歯牙の歯牙情報を自動で抽出するステップ（ステップＳ２００）と、調製済み歯（prepared tooth、prepped tooth）に対して、マージンラインを自動で抽出するステップ（ステップＳ３００）と、前記調製済み歯及び前記調製済み歯に隣接した隣接歯を含む複数の２次元画像を生成するステップ（ステップＳ４００）と、前記複数の２次元画像を基に、３次元臨時補綴物データを自動で生成するステップ（ステップＳ５００）と、前記マージンライン及び前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成（ステップＳ６００）するステップとを含む。

【0037】

前記３次元スキャンデータから補綴物を自動で生成する方法は、前記歯牙情報を自動で抽出するステップの前に、前記３次元スキャンデータを所定の座標系の原点に、所定の座標系の方向に整列するステップ（ステップＳ１００）を更に含む。

【0038】

ここで、前記３次元スキャンデータは、歯牙及び口腔、又は、それを倣うか、再構成した対象を、３次元スキャナでスキャンしたデータを意味する。例えば、前記３次元スキャンデータは、３次元点（Vertex）と、前記点を連結して生成された三角形面（Triangle）又は四角形面（Rectangle）を含むメッシュ（Mesh）データである。前記３次元スキャンデータのファイル拡張子には制限がなく、例えば、ply、obj、stlの１つである。

【0039】

ここで、前記調製済み歯は、クラウンのために用意された歯牙を意味し、前記調製済み歯は、歯牙の一部を削った歯牙を意味したりする。

【0040】

図２は、図１の３次元スキャンデータを自動で整列するステップ（ステップＳ１００）を示す図である。

【0041】

図１及び図２に示しているように、前記３次元スキャンデータを整列するステップ（ステップＳ１００）では、ＰＣＡを用いて、前記３次元スキャンデータの位置と方向を正規化する正規化マトリックスを求める。前記正規化マトリックスを前記３次元スキャンデータの各点に掛けると、前記３次元スキャンデータが、所定の座標及び所定の方向に整列される。

【0042】

様々な前記３次元スキャンデータが前記所定の座標及び前記所定の方向に整列された状態は、図２に示している。

【0043】

前記３次元スキャンデータを特定の位置に特定の方向に整列する場合、前記３次元スキャンデータから補綴物を自動で生成する方法において、その正確度をより向上することができる。

【0044】

図３は、図１の歯牙情報を自動で抽出するステップ（ステップＳ２００）を示す図である。図４は、図１の歯牙情報を自動で抽出するステップ（ステップＳ２００）を示すフローチャートである。

【0045】

図１乃至図４を参照すると、前記歯牙情報は、前記歯牙の番号（歯式）、前記歯牙の調製済み歯の可否、前記歯牙の位置、及び前記歯牙の方向を含む。ここで、前記歯牙の位置は、前記歯牙の重点位置を意味する。ここで、前記歯牙の方向は、前記歯牙の前後方向、前記歯牙の上下方向、及び前記歯牙の左右方向を意味する。

【0046】

前記３次元スキャンデータ内に歯牙の数がＮ個とし、前記歯牙の状態（番号及び調製済み歯の可否）をclass、前記歯牙の位置をpos、前記歯牙の方向をorientとすると、

のように表現される。

【0047】

図３において、x_world、y_world、z_worldは、所定の座標系の方向を表し、x_local、y_local、z_localは、特定歯牙の前後方向、前記特定歯牙の上下方向、及び前記特定歯牙の左右方向を表す。

【0048】

例えば、前記歯牙情報を自動で抽出するステップ（ステップＳ２００）は、前記３次元スキャンデータをモデル入力（Model Input）で前処理するステップと、前記モデル入力（Model Input）をバックボーンネットワーク（Backbone）に入力して、特徴マップ（Feature Map）を得るステップと、前記特徴マップから前記歯牙情報を抽出するステップとを含む。

【0049】

前記前処理ステップにより、前記３次元スキャンデータが前記バックボーンネットワークに入力される形態に変換可能である。例えば、前記モデル入力は、ポイントクラウド、ディプスマップ、パラメータライズされたメッシュ、トポロジーが固定したメッシュなどである。例えば、前記モデル入力は、２次元画像データである。これとは異なり、前記モデル入力は、３次元画像データでもある。

【0050】

図４において、前記歯牙の状態情報は、Box Classificationであり、前記歯牙の位置情報は、Box Regression、前記歯牙の方向情報は、Axis Regressionと記載されている。

【0051】

前記バックボーンネットワーク（Backbone）の学習のために、前記歯牙の位置及び前記歯牙の方向に対して、回帰損失を用い、前記歯牙の番号に対して、分類損失を用いる。

【0052】

図５は、図１のマージンラインを自動で抽出するステップ（ステップＳ３００）を示す図である。

【0053】

図１乃至図５を参照すると、前記マージンラインを自動で抽出するステップ（ステップＳ３００）は、前記３次元スキャンデータから、前記調製済み歯に対応する部分スキャンデータを抽出するステップと、変換マトリックス（T）を用いて、前記部分スキャンデータを、所定の２次元空間内にマッピングするステップと、前記２次元空間内にマッピングされたデータから曲率値を判断して、２次元マージンラインを得るステップ（F）と、前記変換マトリックスの反転マトリックス（T-1）を用いて、前記２次元マージンラインを、３次元マージンラインに変換するステップとを含む。

【0054】

例えば、前記曲率値は、最大曲率値、最小曲率値、ガウス曲率値、及び平均曲率値のいずれか１つである。

【0055】

前記歯牙の上面の場合、曲率値が比較的一定の値を有する。これに対して、歯牙と歯牙の境界部、又は、歯牙と歯茎が触れる部分では、前記曲率値が大きく変化する。そこで、前記曲率値を用いて、前記歯牙のマージンラインを判断することができる。

【0056】

これとは異なり、前記マージンラインを自動で抽出するステップ（ステップＳ３００）は、前記３次元スキャンデータから、３次元マージンラインを直接探すこともできる。

【0057】

図６は、図１の複数の２次元画像を生成するステップ（ステップＳ４００）を示す図である。

【0058】

図１乃至図６に示しているように、前記複数の２次元画像（I1、I2、I3）は、前記調製済み歯と、前記調製済み歯に隣接した隣接歯とを含む。

【0059】

例えば、前記複数の２次元画像は、前記調製済み歯及び前記調製済み歯の第１隣接歯を含む第１の２次元画像（例えば、I1）と、前記調製済み歯及び前記調製済み歯の第２隣接歯を含む第２の２次元画像（例えば、I3）とを含む。

【0060】

例えば、前記第１の２次元画像（例えば、I1）の中心、及び前記第２の２次元画像（例えば、I3）の中心は、互いに同一であり、前記第１の２次元画像（例えば、I1）のプロジェクション方向は、前記第２の２次元画像（例えば、I3）のプロジェクション方向と互いに異なる。
例えば、前記第１の２次元画像の中心、及び前記第２の２次元画像の中心は、前記調製済み歯の中心である。

【0061】

図６では、前記複数の２次元画像を３つ示しているが、本発明は、これに限定されない。前記複数の２次元画像は、少なくとも２つである。前記複数の２次元画像が多いと、前記３次元臨時補綴物データの正確性がさらに高くなる。

【0062】

例えば、前記複数の２次元画像は、前記調製済み歯、及び前記調製済み歯の隣接歯をカメラで撮像した画像データである。

【0063】

図７は、図１の３次元臨時補綴物データを自動で生成するステップ（Ｓ５００）を示す図である。

【0064】

図１乃至図７に示しているように、前記複数の２次元画像（I1、I2、I3）を基に、３次元臨時補綴物データを自動で生成することができる。

【0065】

例えば、前記３次元臨時補綴物データを自動で生成するステップは、ｃＧＡＮ（conditional generative adversarial network）を用いる。前記ｃＧＡＮは、前記複数の２次元画像、前記２次元画像を生成したカメラの位置情報、及び前記２次元画像を生成した前記カメラの方向情報を受信するエンコーダと、前記エンコーダに連結される潜在ベクトル、及び前記潜在ベクトルに連結されるデコーダとを含む。前記デコーダは、前記３次元臨時補綴物データを出力する。

【0066】

図８は、図１の３次元補綴物データを自動で生成するステップ（ステップＳ６００）を示す図である。

【0067】

図１乃至図８を参照すれば、前記マージンライン及び前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成することができる。

【0068】

ここで、前記単一モデルは、歯式（歯牙番号）別にある程度予めデザインされているテンプレートモデルであるが、歯機工士、歯科医など、個人により生成されたメッシュデータである。

【0069】

前記テンプレートモデルは、補綴物、インプラント、矯正機などを製造するために使われる一種のサンプル歯牙（標準歯牙）であり、典型的な歯牙形態を有する。前記テンプレートモデルは、各歯牙番号別に１つのサンプル歯牙（標準歯牙）を有する。前記３次元スキャンデータは、スキャナにより撮影されたもので、メッシュの完成度が多少低く、前記メッシュの完成度が低い場合、３Ｄプリンティングで、補綴物、インプラント、矯正機などを製造するに不適合である。これとは逆に、前記テンプレートモデルは、メッシュの完成度が相対的に高い歯牙モデルである。そこで、前記テンプレートモデルを変形して、補綴物、インプラント、矯正機などを製造する場合、３Ｄプリンティング方式を用いるに非常に適している。

【0070】

例えば、前記３次元補綴物データを生成するステップ（ステップＳ６００）は、前記単一歯牙モデルを前記調製済み歯の位置に整列するステップと、前記マージンラインを第１の制約（constraint）として用い、前記３次元臨時補綴物データを、第２の制約として用いて、前記単一歯牙モデルを変形するステップとを含む。

【0071】

前記単一歯牙モデルのラプラシアンマトリックス（Laplacian matrix）をL、前記３次元臨時補綴物データのポイント集合をPpos、前記マージンラインのポイント集合をPmargin、前記Pposに近いようにする制約をCpred、前記Pmarginを超えない制約をCmargin、前記３次元補綴物データの頂点位置をxoptとすると、

を満たすことができる。

【0072】

前記線形式を最小二乗法（least square）の方法で数式を解けると、前記３次元補綴物データの頂点の位置を意味するxoptが得られる。すなわち、前記制約を用いるので、前記３次元補綴物データは、対合歯と隣接歯を考えて、マージンラインを越えない補綴物となり、臨床に適用できることになる。

【0073】

前記ステップＳ３００で生成されたマージンライン情報は、最終補綴物データのマージンラインに対応する。また、前記ステップＳ５００で生成された３次元臨時補綴物データは、前記最終補綴物データの上部の歯牙形状に対応する。

【0074】

本実施形態の３次元スキャンデータから補綴物を自動生成する方法は、コンピュータ装置により行われる。

【0075】

例えば、前記歯牙情報を自動で抽出するステップ（ステップＳ２００）は、第１の人工知能神経網により行われる。前記マージンラインを自動で抽出するステップ（ステップＳ３００）は、第２の人工知能神経網により行われる。前記３次元臨時補綴物データを自動で生成するステップ（ステップＳ５００）は、第３の人工知能神経網により行われる。

【0076】

すなわち、本発明では、互いに異なる少なくとも３つの人工知能神経網を用いて、各ステップを自動化することができる。そこで、作業速度及び作業正確度を大いに向上させることができる。

【0077】

本実施形態によると、前記３次元スキャンデータから、歯牙の情報が自動で抽出され、前記調製済み歯の部分スキャンデータから、マージンラインが自動で抽出され、前記調製済み歯及び隣接歯に対する複数の２次元画像を基に、３次元臨時補綴物データが自動で生成され、前記３次元臨時補綴物データの外郭点情報、前記マージンラインを基に、単一歯牙モデルが自動で変形して、３次元補綴物データが自動で生成される。

【0078】

このように、前記３次元スキャンデータから、補綴物が自動で生成され、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上することができる。

【0079】

特に、前記３次元スキャンデータから歯牙の情報を自動で抽出するステップ、前記調製済み歯の部分スキャンデータから、マージンラインを自動で抽出するステップ、及び前記３次元臨時補綴物データを自動で生成するステップのうち少なくとも１つは、人工知能神経網を用いて行われるので、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上させることができる。

【0080】

図９は、本発明の一実施形態に係る３次元スキャンデータから、補綴物を自動で生成する方法を示すフローチャートである。

【0081】

本実施形態による３次元スキャンデータから、補綴物を自動で生成する方法は、調製済み歯が存在するかを判断するステップを更に含むことを除くと、図１乃至図８の３次元スキャンデータから補綴物を自動で生成する方法と同様であるので、同一又は類似した構成要素に対しては、同一の図面符号を付し、重複する説明は、省略する。

【0082】

図９に示しているように、３次元スキャンデータを、所定の座標系の原点に所定の座標系の方向に整列する（ステップＳ１００）。

【0083】

前記３次元スキャンデータから、前記３次元スキャンデータ内に含まれる各歯牙の歯牙情報を自動で抽出する（ステップＳ２００）。

【0084】

前記３次元スキャンデータ内に調製済み歯が存在するか否かを判断する（ステップＳ２５０）。前記調製済み歯が存在しない場合、補綴物を生成する必要がないので、手続きが終了する。

【0085】

もし、前記調製済み歯が存在する場合、前記調製済み歯に対して、マージンラインを自動で抽出する（ステップＳ３００）。

【0086】

また、前記調製済み歯が存在する場合、前記調製済み歯と、前記調製済み歯に隣接した隣接歯とを含む複数の２次元画像を生成する（ステップＳ４００）。

【0087】

前記複数の２次元画像を基に、３次元臨時補綴物データを自動で生成する（ステップＳ５００）。

【0088】

前記３次元臨時補綴物データを用いて、前記調製済み歯に対応する単一歯牙モデルを変形して、３次元補綴物データを生成する（ステップＳ６００）。

【0089】

図９では、前記調製済み歯が１つの場合を例示しており、前記調製済み歯が１つではない場合は、前記調製済み歯が存在しなくなるまでステップＳ３００乃至ステップＳ６００を繰り返すことができる。

【0090】

本実施形態によると、前記３次元スキャンデータから、歯牙の情報が自動で抽出され、前記調製済み歯の部分スキャンデータから、マージンラインが自動で抽出され、前記調製済み歯及び隣接歯に対する複数の２次元画像を基に、３次元臨時補綴物データが自動で生成され、前記３次元臨時補綴物データの外郭点情報、前記マージンラインを基に、単一歯牙モデルが自動で変形して、３次元補綴物データが自動で生成される。

【0091】

このように、前記３次元スキャンデータから、補綴物が自動で生成され、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上することができる。

【0092】

特に、前記３次元スキャンデータから、歯牙の情報を自動で抽出するステップ、前記調製済み歯の部分スキャンデータから、マージンラインを自動で抽出するステップ、前記３次元臨時補綴物データを自動で生成するステップのうち少なくとも１つは、人工知能神経網を用いて行われるので、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上することができる。

【0093】

本発明の一実施形態によると、前記実施形態による３次元スキャンデータから補綴物を自動で生成する方法を、コンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体が提供される。前記方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータ読取り可能媒体を用いて、前記プログラムを動作させる汎用デジタルコンピューターで具現される。また、前記方法で使われたデータの構造は、コンピュータ読取り可能媒体に複数の手段を通じて記録される。前記コンピュータ読取り可能媒体は、プロラム命令、データファイル、データ構造などを、単独又は組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特に設計され構成されたものや、コンピュータソフトウェア分野の通常の技術者に公知されて使用可能なものである。コンピュータ読取り可能な記録媒体としては、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、プロブティコルディスクのような磁気-光媒体及びロム、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し、実行するおうに特に構成されたハードウェア装置が含まれる。プログラム命令としては、コンパイラーにより作られるような機械語コードだけでなく、インタプリターなどを用いて、コンピュータにより実行される高級言語コードを含む。前述ハードウェア装置は、本発明の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成される。

【0094】

また、前述した３次元スキャンデータから補綴物を自動で生成する方法は、記録媒体に格納されるコンピュータにより実行されるコンピュータープログラム、又は、アプリケーションの形態にも具現可能である。
［産業上利用可能性］

【0095】

本発明は、３次元スキャンデータから補綴物を自動で生成する方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読取り可能な記録媒体に関し、補綴物の製作のための手間を減少することができ、補綴物の正確度及び生産性を向上させることができる。

【0096】

前記では、本発明の好適な実施形態を参照して説明したが、該当技術分野における熟練した該当技術分野の通常の技術者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を様々に修正及び変更できることを理解するだろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】