特表 2024-541724 歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-11

(54)【発明の名称】歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241101BHJP

   G06V 10/82 20220101ALI20241101BHJP

   G06V 20/64 20220101ALI20241101BHJP

   G06T 7/11 20170101ALI20241101BHJP

   A61C 19/04 20060101ALI20241101BHJP

   A61C 7/00 20060101ALI20241101BHJP

【ＦＩ】

G06T7/00 612

G06T7/00 350D

G06V10/82

G06V20/64

G06T7/11

A61C19/04 Z

A61C7/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024529847

(86)(22)【出願日】2022-01-27

(85)【翻訳文提出日】2024-05-20

(86)【国際出願番号】 KR2022001535

(87)【国際公開番号】W WO2023128050

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】10-2021-0191835

(32)【優先日】2021-12-29

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523055651

【氏名又は名称】イマゴワークス インコーポレイテッド

【氏名又は名称原語表記】ＩＭＡＧＯＷＯＲＫＳ ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】タク、ソン ジュン

(72)【発明者】

【氏名】シム、ウン ジュン

(72)【発明者】

【氏名】キム、ヨンジュン

【テーマコード（参考）】

4C052

5L096

【Ｆターム（参考）】

4C052AA06

4C052JJ10

4C052NN02

4C052NN03

4C052NN15

5L096AA09

5L096BA06

5L096BA13

5L096DA01

5L096FA02

5L096HA11

5L096KA04

(57)【要約】

歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、第１の人工知能ニューラルネットワークを用いて、スキャンデータの歯牙を検出するステップと、前記歯牙の検出結果を基に、前記スキャンデータから歯牙スキャンデータを抽出するステップと、前記歯牙スキャンデータを基に、所定の空間に対応する歯牙マッピングデータを生成するステップと、前記歯牙マッピングデータを第２の人工知能ニューラルネットワークに入力して、歯牙境界カーブを生成するステップと、前記歯牙境界カーブを前記スキャンデータにマッピングするステップと、を含む。

【特許請求の範囲】

【請求項1】

第１の人工知能ニューラルネットワークを用いて、スキャンデータの歯牙を検出するステップと、
前記歯牙の検出結果を基に、前記スキャンデータから歯牙スキャンデータを抽出するステップと、
前記歯牙スキャンデータを基に、所定の空間に対応する歯牙マッピングデータを生成するステップと、
前記歯牙マッピングデータを第２の人工知能ニューラルネットワークに入力して、歯牙境界カーブを生成するステップと、
前記歯牙境界カーブを前記スキャンデータにマッピングするステップと、を含むことを特徴とする、歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項2】

３次元の前記スキャンデータを２次元画像に変換するステップを更に含み、
前記２次元画像は、前記第１の人工知能ニューラルネットワークに入力されることを特徴とする、
請求項１に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項3】

前記スキャンデータの歯牙を検出するステップは、
前記第１の人工知能ニューラルネットワークが前記２次元画像を受信して、２次元歯牙検出情報を含む出力２次元画像を出力するステップと、
前記２次元歯牙検出情報を３次元歯牙検出情報に変換するステップと、を含むことを特徴とする、
請求項２に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項4】

前記スキャンデータの前記歯牙を検出するステップは、１つの歯牙を取り囲む歯牙バウンディングボックスを生成することを特徴とする、
請求項１に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項5】

前記歯牙スキャンデータを抽出するステップは、前記歯牙バウンディングボックスに対応する歯牙カッティングボックスを用いて、１つの歯牙に対応する前記歯牙スキャンデータを抽出することを特徴とする、
請求項４に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項6】

前記歯牙カッティングボックスは、前記歯牙バウンディングボックスを含み、前記歯牙バウンディングボックスよりも大きいことを特徴とする、
請求項５に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項7】

前記スキャンデータの前記歯牙を検出するステップは、前記歯牙バウンディングボックスの中心点を歯牙表面上にマッピングして、歯牙特徴点を生成することを特徴とする、
請求項４に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項8】

前記歯牙スキャンデータを抽出するステップは、前記歯牙特徴点を基に形成される歯牙カット領域を用いて、１つの歯牙に対応する前記歯牙スキャンデータを抽出することを特徴とする、
請求項７に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項9】

前記歯牙スキャンデータを、前記歯牙スキャンデータ内の各点の曲率値を現わす曲率データに変換するステップを更に含むことを特徴とする、
請求項４に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項10】

前記曲率データは、前記各点の最小曲率値を現わすことを特徴とする、
請求項９に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項11】

前記各点の前記最小曲率値が大きいと、白色で表現され、前記各点の前記最小曲率値が小さいと、黒色で表現されるように、前記曲率データの諧調を反転するステップを更に含むことを特徴とする請求項１０に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項12】

前記歯牙マッピングデータを生成するステップは、前記歯牙スキャンデータの前記曲率データを前記所定の空間にマッピングして、前記歯牙マッピングデータを生成することを特徴とする、
請求項９に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項13】

前記第２の人工知能ニューラルネットワークの入力は、前記マッピングデータ及び前記歯牙バウンディングボックスであり、前記第２の人工知能ニューラルネットワークの出力は、前記歯牙境界カーブであることを特徴とする、
請求項１２に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項14】

前記歯牙境界カーブを生成するステップは、前記歯牙バウンディングボックスを回転して、ダイヤモンド輪郭を生成するステップを含むことを特徴とする、
請求項１３に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項15】

前記歯牙境界カーブを生成するステップは、前記ダイヤモンド輪郭の頂点の位置を、前記曲率値によって前記マッピングデータ内で移動させて極点を生成するステップを更に含むことを特徴とする、
請求項１４に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項16】

前記歯牙境界カーブを生成するステップは、前記極点を基に前記極点を通る八角形輪郭を生成するステップを更に含むことを特徴とする、
請求項１５に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項17】

前記歯牙境界カーブを生成するステップは、前記八角形輪郭を、前記曲率値によって前記マッピングデータ内で移動させて、前記境界カーブを生成するステップを更に含むことを特徴とする、
請求項１６に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項18】

前記第１の人工知能ニューラルネットワークは、３次元の前記スキャンデータを受信して、３次元歯牙検出情報を出力することを特徴とする、
請求項１に記載の歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法。

【請求項19】

請求項１乃至請求項１８のいずれか一項の方法を、コンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に関し、より詳しくは、ディープラーニング（deep learning）を通じて、スキャンデータから歯牙を検出し、個別歯牙に対するメッシュパラメータ化（mesh parameterization）を行い、ディープラーニングを通じて、個別歯牙のマッピングデータ内で歯牙境界カーブを生成する３次元スキャンデータの歯牙自動分離方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に関する。

【背景技術】

【0002】

歯科において、診断、分析、補綴物製作などのために、患者の３次元スキャンデータから歯牙を分離する技術が必要である。特に、歯科系において、口腔スキャナを用いたデジタル矯正が増えている。矯正では、歯牙の配列、咬合などを予測し、これに適した計画樹立が重要であるが、このためには、歯牙分離が必須である。

【0003】

歯牙分離のために広く使用される方法は、以下の通りである。まず、口腔スキャナで歯牙スキャンデータを得る。その後、作業者が歯牙の境界を手作業で指定し、軸情報と歯牙の境界を用いて、歯牙分離に使用する平面を指定し、最後に歯牙と歯牙の間の分離した面を確認し、必要な部分を修正して仕上げる。そして、このような過程を全ての歯牙に対して繰返して行って、分離した歯牙データを取得することができる。

【0004】

このように作業者が手作業をすると、３次元データに対して、２次元画面を通じて肉眼で境界を指定しなければならないので、精度が低下し、作業者の高い熟練度と手間を要するという問題がある。

【0005】

従来の歯牙分離技術は、歯牙に該当する平面をマスキングする方式を主に使うことになる。このような方式では、歯牙の一部領域がマスキングされない問題（図１、図２、図３）、マスクが１つの歯牙内に形成されず、隣接した歯牙や歯茎部分を侵す問題（図４及び図５）、マスクが複数の歯牙を１つの歯牙と判断する問題（図６）などが発生する。

【0006】

例えば、図１の矢印部をみると、歯牙の上部領域にマスキングされないことが確認でき、図２の矢印部をみると、歯牙の上部一部領域にマスキングされず、ホールが形成されたことが確認でき、図３の矢印部を見ると、歯牙の境界領域にマスキングされないことが確認できる。図４の点線楕円部を見ると、マスクが隣接した他の歯牙を侵したことが確認でき、図５の点線楕円部を見ると、マスクが歯牙を外れて歯茎部分を侵したことが確認できる。図６の矢印部を見ると、マスクが２つの歯牙を１つの歯牙と判断したことが確認でき、マスクが歯牙を外れて、歯茎部分を侵したことも確認できる。

【0007】

また、従来の歯牙分離技術は、アルゴリズムの限界により、全体歯牙を分離する技術に限定される。実際の臨床では、全体歯牙ではなく、部分歯牙に対するスキャンデータが用いられる場合が多く、従来の歯牙分離技術では、部分歯牙に対するスキャンデータから歯牙を分離し難いという問題がある。また、ディープラーニングを用いて、部分歯牙に対するスキャンデータから歯牙を分離するためには、部分歯牙データに適して学習されたモデルが更に必要であり、それにより、過度なメモリの使用、過度な速度低下などが発生する虞がある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、歯牙検出用人工知能ニューラルネットワーク、メッシュパラメータ化、及び歯牙境界生成用人工知能ニューラルネットワークにより自動で行われる３次元スキャンデータの歯牙自動分離方法を提供することである。

【0009】

本発明の他の目的は、前記３次元スキャンデータの歯牙自動分離方法をコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することである。

【課題を解決するための手段】

【0010】

前記した本発明の目的を実現するための一実施形態に係る歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、第１の人工知能ニューラルネットワークを用いて、スキャンデータの歯牙を検出するステップと、前記歯牙の検出結果を基に、前記スキャンデータから歯牙スキャンデータを抽出するステップと、前記歯牙スキャンデータを基に、所定の空間に対応する歯牙マッピングデータを生成するステップと、前記歯牙マッピングデータを第２の人工知能ニューラルネットワークに入力して、歯牙境界カーブを生成するステップと、前記歯牙境界カーブを前記スキャンデータにマッピングするステップと、を含むことを特徴とする。

【0011】

前記歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、更に、３次元の前記スキャンデータを２次元画像に変換するステップを含む。前記２次元画像は、前記第１の人工知能ニューラルネットワークに入力される。

【0012】

前記スキャンデータの歯牙を検出するステップは、前記第１の人工知能ニューラルネットワークが前記２次元画像を受信して、２次元歯牙検出情報を含む出力２次元画像を出力するステップと、前記２次元歯牙検出情報を３次元歯牙検出情報に変換するステップとを含む。
前記スキャンデータの前記歯牙を検出するステップは、１つの歯牙を取り囲む歯牙バウンディングボックスを生成する。

【0013】

前記歯牙スキャンデータを抽出するステップは、前記歯牙バウンディングボックスに対応する歯牙カッティングボックスを用いて、１つの歯牙に対応する前記歯牙スキャンデータを抽出する。

【0014】

前記歯牙カッティングボックスは、前記歯牙バウンディングボックスを含み、前記歯牙バウンディングボックスよりも大きい。
前記スキャンデータの前記歯牙を検出するステップは、前記歯牙バウンディングボックスの中心点を歯牙表面上にマッピングして、歯牙特徴点を生成する。

【0015】

前記歯牙スキャンデータを抽出するステップは、前記歯牙特徴点を基に形成される歯牙カット領域を用いて、１つの歯牙に対応する前記歯牙スキャンデータを抽出する。
前記歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、更に、前記歯牙スキャンデータを、前記歯牙スキャンデータ内の各点の曲率値を現わす曲率データに変換するステップを含む。

【0016】

前記曲率データは、前記各点の最小曲率値を現わす。
前記歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、更に、前記各点の前記最小曲率値が大きいと、白色で表現され、前記各点の前記最小曲率値が小さいと、黒色で表現されるように、前記曲率データの諧調を反転するステップを含む。

【0017】

前記歯牙マッピングデータを生成するステップは、前記歯牙スキャンデータの前記曲率データを前記所定の空間にマッピングして、前記歯牙マッピングデータを生成する。
前記第２の人工知能ニューラルネットワークの入力は、前記マッピングデータ及び前記歯牙バウンディングボックスであり、前記第２の人工知能ニューラルネットワークの出力は、前記歯牙境界カーブである。

【0018】

前記歯牙境界カーブを生成するステップは、前記歯牙バウンディングボックスを回転して、ダイヤモンド輪郭を生成するステップを含む。
更に、前記歯牙境界カーブを生成するステップは、前記ダイヤモンド輪郭の頂点の位置を、前記曲率値によって前記マッピングデータ内で移動させて極点を生成するステップを含む。

【0019】

更に、前記歯牙境界カーブを生成するステップは、前記極点を基に前記極点を通る八角形輪郭を生成するステップを含む。
更に、前記歯牙境界カーブを生成するステップは、前記八角形輪郭を、前記曲率値によって前記マッピングデータ内で移動させて、前記境界カーブを生成するステップを含む。

【0020】

前記第１の人工知能ニューラルネットワークは、３次元の前記スキャンデータを受信して、３次元歯牙検出情報を出力する。
前記歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法を、コンピュータで実行させるためのプログラムが、コンピュータ読み取り可能な記録媒体に記録される。

【発明の効果】

【0021】

本発明による歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法によると、歯牙検出用人工知能ニューラルネットワーク、メッシュパラメータ化、及び歯牙境界生成用人工知能ニューラルネットワークを通じて自動で行われて、スキャンデータから歯牙を分離するための手間を減少することができる。

【0022】

前記歯牙検出用人工知能ニューラルネットワーク、前記メッシュパラメータ化、及び前記歯牙境界生成用人工知能ニューラルネットワークを用いて、歯牙の面ではなく、歯牙境界カーブを正確に生成するので、歯牙の一部領域がマスキングされないか、歯牙ではない誤領域を歯牙と判断するか、マスクが１つの歯牙内に形成されず、隣接した歯牙や歯茎部分を侵すか、複数の歯牙を１つの歯牙と判断するなどの問題を防止することができる。そこで、前記歯牙分離の精度を向上することができる。

【0023】

また、前記歯牙境界生成用人工知能ニューラルネットワークは、初期入力された輪郭データを変形して、歯牙と歯茎を区分する前記歯牙境界カーブを一度に生成することができるので、前記歯牙分離の精度を向上することができる。

【0024】

また、全体歯牙ではなく、部分歯牙に対するスキャンデータが入力されても、前記歯牙検出用人工知能ニューラルネットワークを用いて、各歯牙の領域を正確に判断し、前記歯牙の領域に対応する歯牙別スキャンデータのそれぞれの境界カーブを生成するので、前記スキャンデータが全体歯牙を現わすか、部分歯牙を現わすか、同一のモデルを用いて、歯牙分離を行うことができる。

【図面の簡単な説明】

【0025】

【図1】図１は、従来の３次元スキャンデータの歯牙自動分離で発生する歯牙分離エラーの一例を示す図である。

【図2】図２は、従来の３次元スキャンデータの歯牙自動分離で発生する歯牙分離エラーの一例を示す図である。

【図3】図３は、従来の３次元スキャンデータの歯牙自動分離で発生する歯牙分離エラーの一例を示す図である。

【図4】図４は、従来の３次元スキャンデータの歯牙自動分離で発生する歯牙分離エラーの一例を示す図である。

【図5】図５は、従来の３次元スキャンデータの歯牙自動分離で発生する歯牙分離エラーの一例を示す図である。

【図6】図６は、従来の３次元スキャンデータの歯牙自動分離で発生する歯牙分離エラーの一例を示す図である。

【図7】図７は、本発明の一実施形態に係る歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法を簡略に示すフローチャートである。

【図8】図８は、図７の歯牙自動分離方法を詳しく示すフローチャートである。

【図9】図９は、図７の歯牙検出過程を示す概念図である。

【図10】図１０は、図９のメッシュ画像化の入力の一例を示す図である。

【図11】図１１は、図９のメッシュ画像化の出力の一例を示す図である。

【図12】図１２は、図９の第１の人工知能ニューラルネットワークの出力の一例を示す図である。

【図13】図１３は、図９の第１の人工知能ニューラルネットワークの出力の一例を示す図である。

【図14】図１４は、図７のパラメータ化過程を示す概念図である。

【図15】図１５は、図７のパラメータ化過程で用いられる曲率データを示す図である。

【図16】図１６は、図１４のメッシュ一部抽出により生成される歯牙スキャンデータを示す図である。

【図17】図１７は、前記歯牙スキャンデータの曲率データが、図１４のパラメータ化して生成される歯牙マッピングデータを示す図である。

【図18】図１８は、図７の境界カーブ生成過程を示す概念図である。

【図19】図１９は、図１８の第２の人工知能ニューラルネットワークの動作を具体的に示す概念図である。

【図20】図２０は、図１８の境界３次元マッピングにより生成される最終歯牙セグメンテーション結果を示す図である。

【図21】図２１は、本発明の一実施形態に係る歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法を詳しく示すフローチャートである。

【発明を実施するための形態】

【0026】

本文に示されている本発明の実施形態に対して、特定の構造的乃至機能的説明は、単に、本発明の実施形態を説明するための目的として例示しており、本発明の実施形態例は、様々な形態で実施することができ、本文で説明された実施形態に限定されることと解析されてはいけない。

【0027】

本発明は、多様な変更を加えることができ、様々な形態を有することができ、特定の実施形態を図面に例示し、本文で詳細に説明しようとする。しかし、これは、本発明を特定の開示形態について限定しようとすることではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むことと理解されなければいけない。

【0028】

第１、第２などの用語は、様々な構成要素を説明することに用いられるが、前記構成要素は、前記用語により限定されてはいけない。前記用語は、１つの構成要素を他の構成要素から区別する目的として使われる。例えば、本発明の権利範囲から逸脱しない状態で、第１の構成要素は、第２の構成要素と指し示すことができ、同様に、第２の構成要素も第１の構成要素と指し示すことができる。

【0029】

ある構成要素が他の構成要素に「連結されて」いるか、「接続されて」いるとしたときは、その他の構成要素に直接的に連結又は接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いるか、「直接接続されて」いるとしたときは、中間に他の構成要素が存在しないことと理解すべきである。構成要素間の関係を説明する他の表現、すなわち、「～間に」と「直ぐ～間に」、又は「～に隣接する」と「～に直接隣接する」なども同様に解析されるべきである。

【0030】

本出願で使用した用語は、単に、特定の実施形態を説明するために使われており、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、パーツ、又はこれらを組み合わせるものが存在することを指定しようとすることであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、パーツ、又はこれらを組み合わせたもの存在又は付加可能性を予め排除しないことと理解すべきである。

【0031】

異なって定義しない限り、技術的や科学的な用語を含めて、ここで使われる全ての用語は、本発明が属する技術分野における通常の知識を有する者にとって、一般に理解されることと同様な意味を有している。一般に使われる辞典に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解析されるべきであり、本出願で明白に定義しない限り、理想的又は過度に形式的な意味として解析されない。

【0032】

一方、ある実施形態が異なって具現可能な場合に、特定のブロック内に明記された機能又は動作がフローチャートに明記した手順と異なって起きることもできる。例えば、連続する２つのブロックが、実際には実質的に同時に行われることもでき、関連する機能又は動作によっては、前記ブロックが逆に行われることもできる。

【0033】

以下、添付の図面を参照して、本発明の好適な実施形態をより詳細に説明する。図面上の同一の構成要素に対しては、同一の符号を付し、同一の構成要素に対して重複した説明は、省略する。

【0034】

図７は、本発明の一実施形態に係る歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法を簡略に示すフローチャートである。図８は、図７の歯牙自動分離方法を詳しく示すフローチャートである。

【0035】

図７及び図８に示しているように、本発明では、メッシュパラメータ化及びディープラーニングを用いて、３次元スキャンデータから個別歯牙を完全自動で分割することができる。例えば、前記スキャンデータは、ポリゴンメッシュ（polygon mesh）からなるので、前記スキャンデータをメッシュとも称する。

【0036】

本実施形態による３次元スキャンデータの歯牙自動分離方法は、歯牙検出用第１の人工知能ニューラルネットワーク（AI1）、メッシュパラメータ化及び歯牙境界生成用第２の人工知能ニューラルネットワーク（AI2）を用いて、前記スキャンデータから、個別歯牙を完全自動で分割することができる。

【0037】

本実施形態による３次元スキャンデータの歯牙自動分離方法は、３次元口腔スキャンデータの画像から歯牙を検出する歯牙検出過程と、前記歯牙検出過程で探した歯牙を基準に一定の領域のメッシュをパラメータ化する過程と、前記パラメータ化した画像で境界を生成して、スキャンデータの境界カーブを生成する過程とを含む。

【0038】

一般に、ディープラーニングネットワークは、一定のサイズのデータ（整形データ）のみを入力されることができる。前記スキャンデータは、３次元ポリゴンメッシュで表現され、メッシュの点やエッジ、セルの数がデータ毎に異なるという問題がある。そこで、前記スキャンデータを入力に受けるディープラーニングネットワークの精度を向上させるためには、前記スキャンデータを整形データに作る過程が必要である。本発明では、前記スキャンデータを整形データに作るために、メッシュパラメータ化を用いることができる。

【0039】

前記メッシュパラメータ化とは、３次元メッシュを構成する点を所定の他の空間に一対一マッピングさせることを意味する。メッシュが存在する空間から前記所定の他の空間（パラメータ空間）にマッピングするためには、まず、前記メッシュが存在する空間の境界を、前記パラメータ空間の境界にマッピングする。前記メッシュが存在する空間の境界を除いた内部点は、前記パラメータ空間の境界の内部にマッピングさせ、ここで、エネルギー関数を用いて、メッシュのトポロジー（topology）を最大限維持する方法を使用することができる。

【0040】

前記メッシュパラメータ化を用いると、前記スキャンデータを２次元空間にマッピングすることができるので、前記ディープラーニングに用いる前記整形データを適切に形成することができる。

【0041】

前記メッシュパラメータ化により、歯牙境界カーブを生成する前記第２の人工知能ニューラルネットワーク（AI2）のディープラーニングネットワークの精度を向上することができる。
図８に示しているように、本実施形態による歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、第１の人工知能ニューラルネットワーク（Ｓ２００）を用いて、前記スキャンデータの歯牙を検出するステップと、前記歯牙の検出結果を基に、前記スキャンデータから歯牙スキャンデータを抽出するステップ（Ｓ３００）と、前記歯牙スキャンデータを基に、所定の空間に対応する歯牙マッピングデータを生成するステップ（Ｓ４００）と、前記歯牙マッピングデータを第２の人工知能ニューラルネットワークに入力して、歯牙境界カーブを生成するステップ（Ｓ５００）と、前記歯牙境界カーブを前記スキャンデータにマッピングするステップ（Ｓ６００）とを含む。

【0042】

例えば、前記歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、３次元の前記スキャンデータを２次元画像に変換するステップ（Ｓ１００）を更に含む。
本実施形態の３次元スキャンデータの歯牙自動分離方法は、コンピューティング装置により行われる。

【0043】

図９は、図７の歯牙検出過程を示す概念図である。図１０は、図９のメッシュ画像化の入力の一例を示す図である。図１１は、図９のメッシュ画像化（Ｓ２００）の出力の一例を示す図である。図１２は、図９の第１の人工知能ニューラルネットワーク（AI1）の出力の一例を示す図である。図１３は、図９の第１の人工知能ニューラルネットワーク（AI1）の出力の一例を示す図である。

【0044】

図７乃至図１３に示しているように、前記歯牙検出過程は、歯牙前記スキャンデータを２次元画像に変換するステップ（Ｓ１００）を含む。このような過程は、メッシュ画像化とも称する。

【0045】

本実施形態において、前記第１の人工知能ニューラルネットワーク（AI1）の入力は、２次元画像であるので、前記３次元のスキャンデータを前記２次元画像に変換するステップを含む。

【0046】

例えば、前記２次元画像は、赤階調、緑階調、及び青階調を含むＲＧＢ階調データである。例えば、前記２次元画像は、黒白階調データである。例えば、前記２次元画像は、深さ情報を含むデプスマップ（depth map）である。前記デプスマップは、前記３次元スキャンデータの２次元座標内における最大値、最小値、標準偏差、平均のいずれか１つを基に生成される。

【0047】

前記スキャンデータを前記２次元画像に変換するステップは、主軸正規化ステップを含む。前記主軸正規化は、主軸分析により、空間上オリエンテーションを設定することである。前記主軸正規化ステップでは、前記スキャンデータ内でポイントが形成する主軸を分析し、互いに垂直な第１の主軸、第２の主軸、及び第３主軸を判断する。

【0048】

前記主軸分析で抽出された前記第１の主軸、前記第２の主軸、及び前記第３主軸のうち、最長軸は、歯牙のＵ字形の左右方向と判断する。前記第１の主軸、前記第２の主軸、及び前記第３主軸のうち、最短軸は、前記Ｕ字形の上下方向と判断する。前記第１の主軸、前記第２の主軸、及び前記第３主軸のうち、二番目で長い軸は、前記Ｕ字形の前後方向と判断する。

【0049】

前記主軸正規化ステップにより、歯牙の咬合面が最大限よく見えるように、前記スキャンデータを整列する。
前記スキャンデータの前記歯牙を検出するステップは、前記第１の人工知能ニューラルネットワーク（AI1）が前記２次元画像を受信して、２次元歯牙検出情報を含む出力２次元画像を出力するステップ（Ｓ２２０）と、前記２次元歯牙検出情報を３次元歯牙検出情報に変換するステップ（Ｓ２４０）とを含む。

【0050】

ここで、前記歯牙検出情報は、それぞれの歯牙を取り囲む歯牙バウンディングボックスである。ここで、前記歯牙検出情報は、それぞれの歯牙の表面中心点を表わす歯牙特徴点である。

【0051】

すなわち、前記第１の人工知能ニューラルネットワーク（AI1）は、図１１の２次元画像を受信して、２次元のバウンディングボックス（2D Point）を生成（Ｓ２２０）し、前記２次元のバウンディングボックス（2D Point）を３次元に変換（Ｓ２４０）して、図１２における３次元のバウンディングボックス（3D Point）を生成する。

【0052】

これとは異なり、前記第１の人工知能ニューラルネットワーク（AI1）は、図１１の２次元画像を受信して、２次元の歯牙特徴点（2D Point）を生成（Ｓ２２０）し、前記２次元の歯牙特徴点（2D Point）を３次元に変換（Ｓ２４０）して、図１３における３次元の歯牙特徴点（3D Point）を生成する。

【0053】

前述したように、前記歯牙特徴点は、前記第１の人工知能ニューラルネットワーク（AI1）を通じて自動生成されることもでき、前記第１の人工知能ニューラルネットワーク（AI1）を通じて自動生成された前記バウンディングボックスを用いて、生成されることもできる。例えば、前記歯牙バウンディングボックスの中心点を歯牙表面上にマッピングして、前記歯牙特徴点を生成することができる。

【0054】

もし、前記スキャンデータに１４個の歯牙が含まれる場合、前記第１の人工知能ニューラルネットワーク（AI1）により、１４個のバウンディングボックスが生成される。前記バウンディングボックスのサイズは、歯牙によって異なる。同様に、もし、前記スキャンデータに１４個の歯牙が含まれる場合、前記第１の人工知能ニューラルネットワーク（AI1）により、１４個の特徴点が生成される。

【0055】

前記第１の人工知能ニューラルネットワーク（AI1）は、one-stage object detectorを基に歯牙を取り囲むバウンディングボックスを学習して、個別歯牙を検出する。ここで、前記第１の人工知能ニューラルネットワーク（AI1）に学習データとして入れるバウンディングボックスのＲＯＩ（region of interest）は、歯牙にきちんと合うサイズに設定することができる。前記ＲＯＩのサイズが小さすぎるか、とても大きい場合、前記歯牙検出の性能が低くなる。

【0056】

図１４は、図７のパラメータ化過程を示す概念図である。図１５は、図７のパラメータ化過程で用いられる曲率データを示す図である。図１６は、図１４のメッシュ一部抽出により生成される歯牙スキャンデータを示す図である。図１７は、前記歯牙スキャンデータの曲率データが図１４のパラメータ化して生成される歯牙マッピングデータを示す図である。
図７乃至図１４に示しているように、前記パラメータ化過程は、前記歯牙の検出結果を基に前記スキャンデータから歯牙スキャンデータを抽出するステップ（Ｓ３００）、及び前記歯牙スキャンデータを基に所定の空間に対応する歯牙マッピングデータを生成するステップ（Ｓ４００）を含む。

【0057】

例えば、前記スキャンデータの前記歯牙を検出するステップにおいて、１つの歯牙を取り囲む歯牙バウンディングボックスを生成する場合、前記歯牙スキャンデータを抽出するステップは、前記歯牙バウンディングボックスに対応する歯牙カッティングボックスを用いて、１つの歯牙に対応する前記歯牙スキャンデータを抽出する。ここで、前記歯牙カッティングボックスは、前記歯牙バウンディングボックスを含み、前記歯牙バウンディングボックスよりも大きい。図１６に示しているように、前記バウンディングボックスと比較して、前記歯牙カッティングボックスがさらに大きいことが分かる。前記歯牙バウンディングボックスは、前記歯牙を検出するために、前記歯牙の境界部にきつく対応する領域であり、前記歯牙カッティングボックスは、前記スキャンデータを歯牙単位に切り出した後、前記境界カーブを生成するための領域であるので、前記歯牙カッティングボックスが前記歯牙バウンディングボックスと必ずしも一致する必要はなく、前記歯牙カッティングボックスが前記バウンディングボックスを含み、且つ、前記歯牙バウンディングボックスよりもやや大きく設定することが望ましい。

【0058】

例えば、前記スキャンデータの前記歯牙を検出するステップにおいて、１つの歯牙の表面中心点を示す歯牙特徴点を生成する場合、前記歯牙スキャンデータを抽出するステップは、前記歯牙特徴点を基に形成される歯牙カット領域を用いて、１つの歯牙に対応する前記歯牙スキャンデータを抽出する。例えば、前記歯牙カッティング領域は、前記歯牙特徴点を中心に有する球形の領域である。

【0059】

前記パラメータ化過程は、前記歯牙スキャンデータを、前記歯牙スキャンデータ内の各点の曲率値を現わす曲率データに変換するステップを含む。
図１５は、前記スキャンデータ内の各点の曲率値を示す曲率データを示している。例えば、前記曲率データは、最大曲率値、最小曲率値、ガウシアン曲率値、及び平均曲率値を示す。図１５において、前記曲率データは、前記各点の最小曲率値を示している。

【0060】

前記歯牙の上面の場合、曲率値が比較的一定の値を有する。これに対して、歯牙と歯牙の境界部では、前記曲率値が大きく変化する。そこで、前記曲率値は、歯牙と歯茎が触れる部分をよく現わす値であり、前記曲率値を用いて歯牙境界カーブを生成する場合、その精度が高い。

【0061】

従来の曲率データは、前記曲率値が大きいほど、黒色を有し、小さいほど、白色を有する。
本実施形態では、前記各点の前記最小曲率値が大きいと白色で表現し、前記各点の前記最小曲率値が小さいと黒色で表現するように、前記曲率データの諧調を反転するステップを更に行うことができる。図１５は、前記曲率データの諧調が反転した図であり、そこで、前記最小曲率値が大きい部分が白色で表現され、前記最小曲率値が小さい部分が黒色で表現されている。例えば、前記曲率データの諧調を反転しない場合、図１５とは逆に、前記最小曲率値が大きい場合、黒色を現わし、前記最小曲率値が小さい場合、白色を現わすことになる。

【0062】

すなわち、前記曲率データが前記最小曲率値を反転しない値を有する場合、歯牙と歯茎が触れる部分のように有意味の部分（最小曲率値が大きい部分）が黒色を現わすことになる。しかし、本実施形態では、前記諧調反転により、歯牙と歯茎が触れる部分のように有意味の部分（最小曲率値が大きい部分）が白色を現わすことになる。

【0063】

例えば、スキャンデータにホールがあり、該当部分にポイント自体が存在しないため、曲率値が存在しない場合、従来の曲率データは、曲率値が存在しない部分を黒色で表示することになる。もし、前記曲率データの諧調反転をしない場合、有意味の部分（例えば、歯牙と歯茎が触れる部分）が黒色で現れることになるが、この場合、曲率値が存在しない部分も同様に黒色で表示されて、曲率値が存在しない部分が有意味の部分と誤認される問題がある。これに対して、前記曲率データの諧調反転が行われる場合、有意味の部分（例えば、歯牙と歯茎が触れる部分）が白色で現れることになり、この場合は、曲率値が存在しないホール部分が有意味の部分と認識しないので、曲率値が存在しない部分による誤判断を除去することができる。

【0064】

前記歯牙マッピングデータを生成するステップ（Ｓ４００）は、それぞれの歯牙に対応する前記歯牙スキャンデータの前記曲率データを前記所定の空間にマッピングして、前記歯牙マッピングデータを生成する。図１７は、前記歯牙マッピングデータの例示を示している。前記歯牙マッピングデータは、１つの歯牙に対応する歯牙スキャンデータの曲率データを、所定の空間にマッピングして、２次元データに変換したことと理解することができる。

【0065】

例えば、前記所定の空間は、正四角形状である。前記歯牙バウンディングボックス及び前記歯牙カッティングボックスは、歯牙によって、形状とサイズが異なるので、前記歯牙スキャンデータは、歯牙によって、その形状とサイズが異なる。これに対して、前記所定の空間の形状とサイズは、歯牙によらず、一定に設定することができる。この場合、前記歯牙マッピングデータの形状とサイズは、歯牙によらず、一定である。

【0066】

前記歯牙マッピングデータは、前記第２の人工知能ニューラルネットワーク（AI2）の入力であるので、同一のサイズに設定するのが望ましい。
図１８は、図７の境界カーブ生成過程を示す概念図である。図１９は、図１８の第２の人工知能ニューラルネットワークの動作を具体的に示す概念図である。図２０は、図１８の境界３次元マッピングにより生成される最終歯牙セグメンテーション結果を示す図である。

【0067】

図７乃至図２０に示しているように、前記第２の人工知能ニューラルネットワーク（AI2）の入力は、前記マッピングデータ及び前記歯牙バウンディングボックスであり、前記第２の人工知能ニューラルネットワーク（AI2）の出力は、前記歯牙境界カーブである。

【0068】

ここで、前記歯牙バウンディングボックスは、前記第２の人工知能ニューラルネットワーク（AI2）内で初期輪郭情報（図１９のInitial box definition）として用いられる。
例えば、前記歯牙境界カーブを生成するステップ（Ｓ５００）は、前記歯牙バウンディングボックスを回転して、ダイヤモンド輪郭（Diamond contour）を生成するステップを含む。例えば、前記歯牙バウンディングボックスを４５度回転して、前記ダイヤモンド輪郭を生成する。

【0069】

例えば、前記歯牙境界カーブを生成するステップ（Ｓ５００）は、前記ダイヤモンド輪郭の頂点の位置（Diamond contour）を前記マッピングデータ内で移動させて（Deformation）、極点（Extreme point）を生成するステップを更に含む。前記極点は、前記マッピングデータ内で前記曲率値の値が小さい又は大きい位置によって、移動することができる。

【0070】

例えば、前記歯牙境界カーブを生成するステップ（Ｓ５００）は、前記極点を基に、前記極点を通る八角形輪郭（Octagon contour）を生成するステップを更に含む。
例えば、前記歯牙境界カーブを生成するステップ（Ｓ５００）は、前記八角形輪郭を、前記曲率値によって前記マッピングデータ内で移動させて、前記境界カーブ（Object shape）を生成するステップを更に含む。

【0071】

前記第２の人工知能ニューラルネットワーク（AI2）の出力である前記歯牙境界カーブを、前記スキャンデータに３次元マッピングさせて（Ｓ６００）、歯牙セグメンテーションを完了する。図２０は、最終歯牙セグメンテーション結果を示している。

【0072】

本実施形態によると、歯牙検出用人工知能ニューラルネットワーク（AI1）、メッシュパラメータ化及び歯牙境界生成用人工知能ニューラルネットワーク（AI2）を通じて自動で行われることで、スキャンデータから歯牙を分離するための手間を減少することができる。
前記歯牙検出用人工知能ニューラルネットワーク（AI1）、前記メッシュパラメータ化及び前記歯牙境界生成用人工知能ニューラルネットワーク（AI2）を用いて、歯牙の面ではなく、歯牙境界カーブを正確に生成するので、歯牙の一部領域がマスキングされないか、歯牙ではない誤領域を歯牙と判断するか、マスクが１つの歯牙内に形成されず、隣接した歯牙や歯茎部分を侵すか、複数の歯牙を１つの歯牙と判断するなどの問題を防止することができる。そこで、前記歯牙分離の精度を向上することができる。

【0073】

また、前記歯牙境界生成用人工知能ニューラルネットワーク（AI2）は、初期入力された輪郭データを変形して、歯牙と歯茎を区分する前記歯牙境界カーブを一度に生成することができるので、前記歯牙分離の精度を向上することができる。

【0074】

また、全体歯牙ではなく、部分歯牙に対するスキャンデータが入力されても、前記歯牙検出用人工知能ニューラルネットワーク（AI1）を用いて、各歯牙の領域を正確に判断し、前記歯牙の領域に対応する歯牙別スキャンデータのそれぞれの境界カーブを生成するので、前記スキャンデータが全体歯牙を現わすか、部分歯牙を現わすか、同一のモデル（AI1、AI2）を用いて、歯牙分離を行うことができる。

【0075】

図２１は、本発明の一実施形態に係る歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法を詳しく示すフローチャートである。
本実施形態による歯牙自動分離方法は、第１の人工知能ニューラルネットワークの入力を除くと、図１乃至図２０の歯牙自動分離方法と同様であるので、同一の構成要素に対しては、同一の図面符号を付し、重複する説明は、省略する。

【0076】

図２１に示しているように、本実施形態による歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、第１の人工知能ニューラルネットワーク（Ｓ２５０）を用いて、前記スキャンデータの歯牙を検出するステップと、前記歯牙の検出結果を基に、前記スキャンデータから歯牙スキャンデータを抽出するステップ（Ｓ３００）と、前記歯牙スキャンデータを基に、所定の空間に対応する歯牙マッピングデータを生成するステップ（Ｓ４００）と、前記歯牙マッピングデータを第２の人工知能ニューラルネットワークに入力して、歯牙境界カーブを生成するステップ（Ｓ５００）と、前記歯牙境界カーブを前記スキャンデータにマッピングするステップ（Ｓ６００）とを含む。

【0077】

本実施形態の３次元スキャンデータの歯牙自動分離方法は、コンピューティング装置により行われる。
図１乃至図２０の歯牙自動分離方法では、前記第１の人工知能ニューラルネットワーク（AI1）の入力が２次元画像である場合を示しているが、本実施形態において、前記第１の人工知能ニューラルネットワーク（AI1）は、入力が３次元スキャンデータである場合を示している。

【0078】

本実施形態において、前記第１の人工知能ニューラルネットワーク（AI1）は、前記３次元スキャンデータを入力されて、３次元歯牙検出情報を出力する。ここで、前記歯牙検出情報は、歯牙バウンディングボックス又は歯牙特徴点である。

【0079】

本実施形態によると、歯牙検出用人工知能ニューラルネットワーク（AI1）、メッシュパラメータ化及び歯牙境界生成用人工知能ニューラルネットワーク（AI2）により自動で行われることで、スキャンデータから歯牙を分離するための手間を減少することができる。

【0080】

前記歯牙検出用人工知能ニューラルネットワーク（AI1）、前記メッシュパラメータ化及び前記歯牙境界生成用人工知能ニューラルネットワーク（AI2）を用いて、歯牙の面ではなく、歯牙境界カーブを正確に生成するので、歯牙の一部領域がマスキングされないか、歯牙ではない誤領域を歯牙と判断するか、マスクが１つの歯牙内に形成されず、隣接した歯牙や歯茎部分を侵すか、複数の歯牙を１つの歯牙と判断するなどの問題を防止することができる。そこで、前記歯牙分離の精度を向上することができる。

【0081】

また、前記歯牙境界生成用人工知能ニューラルネットワーク（AI2）は、初期入力された輪郭データを変形して、歯牙と歯茎を区分する前記歯牙境界カーブを一度に生成することができるので、前記歯牙分離の精度を向上することができる。

【0082】

また、全体歯牙ではなく、部分歯牙に対するスキャンデータが入力されても、前記歯牙検出用人工知能ニューラルネットワーク（AI1）を用いて、各歯牙の領域を正確に判断し、前記歯牙の領域に対応する歯牙別スキャンデータのそれぞれの境界カーブを生成するので、前記スキャンデータが全体歯牙を現わすか、部分歯牙を現わすか、同一のモデル（AI1、AI2）を用いて、歯牙分離を行うことができる。

【0083】

本発明の一実施形態によると、前記実施形態による歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法をコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。前記方法は、コンピュータで実行可能なプログラムとして作成可能であり、コンピュータ読み取り可能な媒体を用いて、前記プログラムを動作させる汎用デジタルコンピュータで具現可能である。また、前述した方法で使用されたデータの構造は、コンピュータ読み取り可能な媒体に様々な手段を通じて記録されることができる。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特に設計され構成されたものや、コンピュータソフトウェア分野の通常の技術者に公知されて、使用可能なものでもある。コンピュータ読み取り可能な記録媒体としては、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存し、実行するように特に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタプリターなどを用いて、コンピュータにより実行される高級言語コードを含む。前述したハードウェア装置は、本発明の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成されることができる。
また、前記歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法は、記録媒体に記憶されるコンピュータにより実行されるコンピュータープログラム又はアプリケーションの形態でも具現可能である。

【0084】

［産業上の利用可能性］
本発明は、歯牙境界カーブを用いた３次元スキャンデータの歯牙自動分離方法、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に関し、歯牙を分離するための手間を減らし、精度を向上することができる。

【0085】

上記では、本発明の好適な実施形態を参照して説明したが、該当技術分野における熟練した当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を様々に修正及び変更できることを理解するだろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【国際調査報告】