(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-10
(54)【発明の名称】3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動判別して、矯正治療計画を推薦する方法、装置、及びコンピュータ読取り可能な記録媒体
(51)【国際特許分類】
G16H 20/00 20180101AFI20240903BHJP
G16H 30/00 20180101ALI20240903BHJP
【FI】
G16H20/00
G16H30/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024508633
(86)(22)【出願日】2022-08-10
(85)【翻訳文提出日】2024-02-08
(86)【国際出願番号】 KR2022011898
(87)【国際公開番号】W WO2023018206
(87)【国際公開日】2023-02-16
(31)【優先権主張番号】10-2021-0105225
(32)【優先日】2021-08-10
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0111658
(32)【優先日】2021-08-24
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0135047
(32)【優先日】2021-10-12
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】524053856
【氏名又は名称】インノッドテック,インコーポレイテッド
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】ジュ,ボフン
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA03
5L099AA26
(57)【要約】
本発明は、3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法に関し、具体的には、被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、前記円と前記3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索ステップと、探索された最初接点で所定の間隔で、1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で球体を周辺方向に向けてランダムな速度で移動しつつ、球体を複製して、歯牙内に球体を配置させる球体配置ステップと、複製された球体のサイズを所定のサイズに成長させて、各歯牙に対応する代表球体が決まり、代表球体の座標及び接点を基準に歯牙の特徴データを抽出する特徴データ抽出ステップと、歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理ステップと、歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、位置異常を分類する位置異常分類ステップと、歯牙の位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報で生成する矯正データ生成ステップとを含むことを特徴とする。
【特許請求の範囲】
【請求項1】
1つ以上のプロセッサと、前記プロセッサで実行可能な命令を保存するメインメモリとを含むコンピューティング装置で具現される3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法であって、
被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、前記円と前記3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索ステップと、
探索された最初接点で所定の間隔で、1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で前記球体を周辺方向に向けてランダムな速度で移動しつつ、所定の周期で前記球体を複製することで、歯牙内に前記球体が均一に配置されるようにする球体配置ステップと、
前記球体配置ステップで複製された球体のサイズを所定のサイズに成長させて、各歯牙に対応する代表球体が決まるようにし、決められた代表球体の座標及び接点を基準に歯牙の特徴データを抽出する特徴データ抽出ステップと、
歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理ステップと、
前記画像処理ステップで生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類する位置異常分類ステップと、
前記位置異常分類ステップの実行結果により、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報で生成する矯正データ生成ステップとを含むことを特徴とする3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項2】
前記画像処理ステップにおいて、
前記歯牙別軸データは、
前記3次元口腔スキャンデータの体積中心点と広さ中心点を基に抽出され、
前記体積中心点と前記広さ中心点を貫通する線に統計分析で導出された数値的補正値を適用して、歯牙の根と平行に取得される歯牙別軸データが抽出されることを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項3】
前記代表球体の決定は、
前記複製された球体のサイズを所定のサイズに成長させて、歯牙外に離脱される球体を脱落させた後、歯牙内に残存する球体を所定のサイズで縮小して、各歯牙の中心点に対応する代表球体が決まるようにし、
前記被検者の歯牙数に対応する代表球体が取得されるまで行われることを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項4】
前記画像処理ステップは、前記個別歯牙のメッシュ情報を、モーションデータを扱う第1のプログラムで互換される所定のファイルフォーマットで変換してエクスポート(Export)した後、前記第1のプログラムでの作業データをスクリプトファイルで保存するようにすることを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項5】
前記特徴データ抽出ステップは、個別歯牙に対応する代表球体の特徴データとして、3次元空間上の位置(Position)に対するx、y、z座標値、回転(Rotation)に対するx、y、z座標値及び、サイズ(Scale)に対するx、y、z座標値が抽出されることを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項6】
前記球体配置ステップの実行において、前記歯牙内に分散する球体のサイズは、1~5ユニット(Unit)のサイズ範囲を有するようにし、1ユニットは、1/10,000 mmに対応するサイズであることを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項7】
前記位置異常分類ステップは、歯牙のサイズ及び相対的な配列状態を基に、歯牙間接触点が互いに会えず、交差される場合、叢生と判別し、歯牙間接触点の間に空間がある場合、空隙と判別し、歯牙が互いに回転した状態である場合、回転と判別し、歯牙の垂直関係が所定の第1の数値と一致しない場合、垂直関係と判別し、歯牙の近遠心歯軸傾斜勾配が所定の第2の数値と一致しない場合、近遠心歯軸傾斜と判別し、歯牙の頬舌側歯軸傾勾配が所定の第3の数値と一致しない場合、頬舌側歯軸傾斜と判別し、上顎歯牙咬頭が下顎歯牙2つの間に位置しない場合、勘合と、各不正咬合に対して判別することを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項8】
前記位置異常分類ステップは、各不正咬合に判断の根拠となる数値のサイズを基準に詳細程度を判断して、不正咬合分類情報に共に設定することを特徴とする請求項7に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項9】
前記矯正データ生成ステップでは、3次元口腔スキャンデータから導出された歯牙イメージのメッシュ情報を、第1のプログラムでシミュレーション可能なオブジェクト形式で変換したデータを、前記治療前口腔状態情報と共に生成することを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項10】
前記矯正データ生成ステップの実行後、更に、
前記矯正データ生成ステップの実行結果で生成された治療前口腔状態情報をロードする治療前口腔状態情報ロードステップと、
歯牙配列に対する学習データが既学習されたアルゴリズムにより、前記被検者の治療前口腔状態情報に含まれた個別歯牙の予測移動方向性及び予測移動量を考えて、目標とする1つ以上の予測歯牙配列モデルを導出する予測歯牙配列モデル導出ステップと、
前記予測歯牙配列モデルを具現するための矯正ソリューションを選定した後、段階別矯正治療計画を細分化して提示する矯正治療計画提示ステップと、
歯牙矯正治療分野に携わる多数の専門人材が登録された専門タレントプールから、前記被検者の治療前口腔状態情報にマッチングされる1人以上の専門人材を選定して、提示された矯正治療計画に対するフィードバックを収集するフィードバック収集ステップとを含むことを特徴とする請求項1に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項11】
前記矯正治療計画提示ステップは、
被検者の現在歯牙状態による矯正治療期間、矯正力、及び矯正治療の難易度のうち、少なくともいずれか1つを含む要素の予測値を目的関数とし、
パレート最適解演算手法を用いて、前記目的関数を同時に満たし、前記目的関数の値が最小となるようにするパレート最適解を探索することで、複数の矯正治療計画が提示されるようにし、前記パレート最適解演算手法により、複数の矯正治療計画が導出されるとき、ANN(Artificial Neural Network)、RF(Random Forest)、SVM(Support Vector Machine)、及びEDN(Evolving Deep Network)の少なくともいずれか1つを含む候補アルゴリズムを用いて、前記複数の矯正治療計画のうち、前記被検者の治療前口腔状態情報に対する最適の矯正治療計画が演算されるようにすることを特徴とする請求項10に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項12】
前記治療前口腔状態情報ロードステップの実行において、
前記被検者の治療前口腔状態情報に対するレントゲンイメージ、口腔内部イメージ、及び顔貌イメージのうち、少なくともいずれか1つを含むイメージデータを参照データとして更に収集し、
前記参照データは、前記候補アルゴリズムの条件変数にだけ用いられるようにすることを特徴とする請求項11に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項13】
前記矯正治療計画提示ステップは、演算された最適の矯正治療計画を基に、前記被検者の治療前口腔状態情報において、前記予測歯牙配列モデルを具現するための時系列的歯牙移動経路を時刻化モデルで加工して提供することを特徴とする請求項11に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項14】
前記フィードバック収集ステップの実行において、
前記専門人材の選定は、前記被検者の治療前口腔状態情報に対応する臨床経歴が、所定の臨界基準以上であると判断される専門人材を選定するようにし、
前記フィードバック収集ステップでは、
1人以上の専門人材から収集されるフィードバックをラベリング(Labeling)して、前記アルゴリズムに対する指導学習(Supervised Learning)が行われるようにすることを特徴とする請求項10に記載の3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法。
【請求項15】
1つ以上のプロセッサと、前記プロセッサで実行可能な命令を保存するメインメモリとを含むコンピューティング装置で具現される3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して、矯正治療計画を推薦する装置であって、
被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、前記円と前記3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索部と、
探索された最初接点で所定の間隔で、1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で前記球体を周辺方向に向けてランダムな速度で移動しつつ、所定の周期で前記球体を複製することで、歯牙内に前記球体が均一に配置されるようにする球体配置部と、
前記球体配置部で複製された球体のサイズを所定のサイズに成長させて、各歯牙に対応する代表球体が決まるようにし、決められた代表球体の座標及び接点を基準に歯牙の特徴データを抽出する特徴データ抽出部と、
歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理部と、
前記画像処理部で生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類する位置異常分類部と、
前記位置異常分類部の機能実行結果によって、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報で生成する矯正データ生成部とを含むことを特徴とする3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する装置。
【請求項16】
コンピュータ読取り可能な記録媒体であって、
前記コンピュータ読取り可能な記録媒体は、コンピューティング装置にとって、以下のステップを行うようにする命令を保存し、前記ステップは、
被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、前記円と前記3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索ステップと、
探索された最初接点で所定の間隔で、1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で前記球体を周辺方向に向けてランダムな速度で移動しつつ、所定の周期で前記球体を複製することで、歯牙内に前記球体が均一に配置されるようにする球体配置ステップと、
前記球体配置ステップにおいて複製された球体のサイズを所定のサイズで成長させて、各歯牙に対応する代表球体が決まるようにし、決められた代表球体の座標及び接点を基準に歯牙の特徴データを抽出する特徴データ抽出ステップと、
歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理ステップと、
前記画像処理ステップで生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類する位置異常分類ステップと、
前記位置異常分類ステップの実行結果により、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報で生成する矯正データ生成ステップとを含むことを特徴とするコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動判別して、矯正治療計画を推薦する方法に関し、具体的には、被検者の3次元口腔スキャンデータから、個別歯牙の接点と特徴点を基準に歯牙オブジェクトを分離し、各歯牙別に正確な相対的な座標及び方向値と共に軸の関係性を用いて、矯正治療計画樹立に必要な各歯牙の位置異常を自動判別して、最適の歯牙配列構造を選定することで、被検者の個別歯牙の特性を反映した矯正治療計画が提供される技術に関する。
【背景技術】
【0002】
一般に、歯科の矯正治療分野では、画像処理技術を用いて、矯正に対する有意味なデータを抽出し、これを矯正治療に用いるための様々な試みが行われている。
【0003】
しかし、矯正治療分野にて画像処理を用いる方式においては、歯科医が被検者の3次元口腔スキャンデータを用いる程度にその活用分野が限定され、結果として、歯科医が数年間の修練を通じてノウハウを取得することで正確な矯正治療が可能であり、このような理由で、矯正治療は、歯科医によって、同じケースの患者であっても、矯正結果の偏差が大きいという問題があった。
【0004】
一方、このような矯正結果の偏差を減らすための工夫として、特許文献1などの従来技術には、3次元の歯牙部スキャンデータを基に歯牙モデリングを行い、これに対する医者の検査及び診断結果を反映して、矯正治療時の模擬施術を可能とせしめる技術が提示されている。
【0005】
しかし、このような従来技術も、歯科医の単独診断データ又は単純経験に依存した診断データを、矯正結果を導出するための属性データに活用して、矯正治療の前後変化を比較する程度に過ぎず、実質的に歯科医又は歯科病院による矯正結果の偏差を減らすには限界があり、前記問題点を解消するためには、標準化された治療プロトコルに基づく診断及び治療計画を導出するアルゴリズムの必要性が強調されている実情にある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】韓国公開特許第2016-0004862号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、3次元口腔スキャンデータから、個別歯牙の接点と特徴点を基準に歯牙オブジェクトを分離する技術を提供することにある。
【0008】
また、本発明の他の目的は、矯正歯科分野において、患者の歯牙データを効率よく分析し、各歯牙に対する矯正分野の診断を自動で行った結果を導出することで、このようなモデルの構築及び機械学習、具体的には、ディープラーニングによるモデルの学習により、3次元の口腔スキャンデータを基に、矯正歯科において治療の根幹となる診断を自動で行う技術を提供することにある。
【0009】
更に、本発明の他の目的は、被検者の治療前口腔状態情報から確認される歯牙状態及び個別歯牙の移動可能性を基に、所定のアルゴリズムにより、最適の歯牙配列構造を選定し、個別歯牙の特性を反映した矯正治療計画の推薦アルゴリズムを提供することにある。
【課題を解決するための手段】
【0010】
上述した目的を達成するために、本発明の一実施例による1つ以上のプロセッサと、前記プロセッサで実行可能な命令を保存するメインメモリとを含むコンピューティング装置で具現される3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して矯正治療計画を推薦する方法は、被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、円と3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索ステップと、探索された最初接点で所定の間隔で、1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で前記球体を周辺方向に向けてランダムな速度で移動しつつ、所定の周期で前記球体を複製することで、歯牙内に前記球体が均一に配置されるようにする球体配置ステップと、前記球体配置ステップで複製された球体のサイズを所定のサイズに成長させて、各歯牙に対応する代表球体が決まるようにし、決められた代表球体の座標及び接点を基準に歯牙の特徴データを抽出する特徴データ抽出ステップと、歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理ステップと、前記画像処理ステップで生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類する位置異常分類ステップと、前記位置異常分類ステップの実行結果により、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報で生成する矯正データ生成ステップとを含むことを特徴とする。
【0011】
前記画像処理ステップにおいて、前記歯牙別軸データは、前記3次元口腔スキャンデータの体積中心点と広さ中心点を基に抽出され、前記体積中心点と前記広さ中心点を貫通する線に統計分析で導出された数値的補正値を適用して、歯牙の根と平行に取得される歯牙別軸データが抽出される。
【0012】
前記代表球体の決定は、前記複製された球体のサイズを所定のサイズに成長させて、歯牙外に離脱される球体を脱落させた後、歯牙内に残存する球体を所定のサイズで縮小して、各歯牙の中心点に対応する代表球体が決まるようにし、前記被検者の歯牙数に対応する代表球体が取得されるまで行われる。
【0013】
前記画像処理ステップは、前記個別歯牙のメッシュ情報を、モーションデータを扱う第1のプログラムで互換される所定のファイルフォーマットで変換してエクスポート(Export)した後、前記第1のプログラムでの作業データをスクリプトファイルで保存する。
【0014】
前記特徴データ抽出ステップは、個別歯牙に対応する代表球体の特徴データとして、3次元空間上の位置(Position)に対するx、y、z座標値、回転(Rotation)に対するx、y、z座標値及び、サイズ(Scale)に対するx、y、z座標値が抽出される。
【0015】
前記球体配置ステップの実行において、前記歯牙内に分散する球体のサイズは、1~5ユニット(Unit)のサイズ範囲を有するようにし、1ユニットは、1/10,000mmに対応するサイズである。
【0016】
前記位置異常分類ステップは、歯牙のサイズ及び相対的な配列状態を基に、歯牙間接触点が互いに会えず、交差される場合、叢生と判別し、歯牙間接触点の間に空間がある場合、空隙と判別し、歯牙が互いに回転した状態である場合、回転と判別し、歯牙の垂直関係が所定の第1の数値と一致しない場合、垂直関係と判別し、歯牙の近遠心歯軸傾斜勾配が所定の第2の数値と一致しない場合、近遠心歯軸傾斜と判別し、歯牙の頬舌側歯軸傾勾配が所定の第3の数値と一致しない場合、頬舌側歯軸傾斜と判別し、上顎歯牙咬頭が下顎歯牙2つの間に位置しない場合、勘合と、各不正咬合に対して判別する。
【0017】
前記位置異常分類ステップは、各不正咬合に判断の根拠となる数値のサイズを基準に詳細程度を判断して、不正咬合分類情報に共に設定する。
【0018】
前記矯正データ生成ステップでは、3次元口腔スキャンデータから導出された歯牙イメージのメッシュ情報を、第1のプログラムでシミュレーション可能なオブジェクト形式で変換したデータを、前記治療前口腔状態情報と共に生成する。
【0019】
前記矯正データ生成ステップの実行後、更に、前記矯正データ生成ステップの実行結果で生成された治療前口腔状態情報をロードする治療前口腔状態情報ロードステップと、歯牙配列に対する学習データが既学習されたアルゴリズムにより、前記被検者の治療前口腔状態情報に含まれた個別歯牙の予測移動方向性及び予測移動量を考えて、目標とする1つ以上の予測歯牙配列モデルを導出する予測歯牙配列モデル導出ステップと、前記予測歯牙配列モデルを具現するための矯正ソリューションを選定した後、段階別矯正治療計画を細分化して提示する矯正治療計画提示ステップと、歯牙矯正治療分野に携わる多数の専門人材が登録された専門タレントプールから、前記被検者の治療前口腔状態情報にマッチングされる1人以上の専門人材を選定して、提示された矯正治療計画に対するフィードバックを収集するフィードバック収集ステップとを含む。
【0020】
前記矯正治療計画提示ステップは、被検者の現在歯牙状態による矯正治療期間、矯正力、及び矯正治療の難易度のうち、少なくともいずれか1つを含む要素の予測値を目的関数とし、
パレート最適解演算手法を用いて、前記目的関数を同時に満たし、前記目的関数の値が最小となるようにするパレート最適解を探索することで、複数の矯正治療計画が提示されるようにし、前記パレート最適解演算手法により、複数の矯正治療計画が導出されるとき、ANN(Artificial Neural Network)、RF(Random Forest)、SVM(Support Vector Machine)、及びEDN(Evolving Deep Network)の少なくともいずれか1つを含む候補アルゴリズムを用いて、前記複数の矯正治療計画のうち、前記被検者の治療前口腔状態情報に対する最適の矯正治療計画が演算されるようにする。
【0021】
前記治療前口腔状態情報ロードステップの実行において、前記被検者の治療前口腔状態情報に対するレントゲンイメージ、口腔内部イメージ、及び顔貌イメージのうち、少なくともいずれか1つを含むイメージデータを参照データとして更に収集し、前記参照データは、前記候補アルゴリズムの条件変数にだけ用いられるようにする。
【0022】
前記矯正治療計画提示ステップは、演算された最適の矯正治療計画を基に、前記被検者の治療前口腔状態情報において、前記予測歯牙配列モデルを具現するための時系列的歯牙移動経路を時刻化モデルで加工して提供する。
【0023】
前記フィードバック収集ステップの実行において、前記専門人材の選定は、前記被検者の治療前口腔状態情報に対応する臨床経歴が、所定の臨界基準以上であると判断される専門人材を選定するようにし、前記フィードバック収集ステップでは、1人以上の専門人材から収集されるフィードバックをラベリング(Labeling)して、前記アルゴリズムに対する指導学習(Supervised Learning)が行われるようにする。
【0024】
一方、1つ以上のプロセッサと、前記プロセッサで実行可能な命令を保存するメインメモリとを含むコンピューティング装置で具現される3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動で判別して、矯正治療計画を推薦する装置であって、被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、前記円と前記3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索部と、探索された最初接点で所定の間隔で、1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で前記球体を周辺方向に向けてランダムな速度で移動しつつ、所定の周期で前記球体を複製することで、歯牙内に前記球体が均一に配置されるようにする球体配置部と、前記球体配置部で複製された球体のサイズを所定のサイズに成長させて、各歯牙に対応する代表球体が決まるようにし、決められた代表球体の座標及び接点を基準に歯牙の特徴データを抽出する特徴データ抽出部と、歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理部と、前記画像処理部で生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類する位置異常分類部と、前記位置異常分類部の機能実行結果によって、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報で生成する矯正データ生成部とを含むことを特徴とする。
【0025】
また、コンピュータ読取り可能な記録媒体であって、前記コンピュータ読取り可能な記録媒体は、コンピューティング装置にとって、以下のステップを行うようにする命令を保存し、前記ステップは、被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、前記円と前記3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索ステップと、探索された最初接点で所定の間隔で、1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で前記球体を周辺方向に向けてランダムな速度で移動しつつ、所定の周期で前記球体を複製することで、歯牙内に前記球体が均一に配置されるようにする球体配置ステップと、前記球体配置ステップにおいて複製された球体のサイズを所定のサイズで成長させて、各歯牙に対応する代表球体が決まるようにし、決められた代表球体の座標及び接点を基準に歯牙の特徴データを抽出する特徴データ抽出ステップと、歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理ステップと、前記画像処理ステップで生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類する位置異常分類ステップと、前記位置異常分類ステップの実行結果により、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報で生成する矯正データ生成ステップとを含むことを特徴とする。
【発明の効果】
【0026】
本発明によると、従来、3次元口腔スキャンデータにおいて、歯科専門人材が専用3D特殊プログラムを用いて、歯牙と歯茎を分離する作業を一々手作業で行わなければならなかった問題を解消し、3次元口腔スキャンデータから、個別歯牙の接点と特徴抽出で歯牙の個別オブジェクト分離が可能となることで、歯牙イメージデータに対する加工容易性を増大させる。
【0027】
また、本発明では、従来、歯牙の外形に基づいて歯牙特徴データが抽出される方式とは異なり、歯牙の物理的特性が適用された座標系データ検出を基にする歯牙特徴データの抽出が可能となることで、歯牙の特徴データ抽出に対する新たなアプローチを提案することができる。
【0028】
更に、本発明では、既存の技術に比べて、3次元口腔スキャンデータを基に、治療シミュレーションが可能な歯牙データを抽出するだけでなく、抽出された歯牙データを基に、自動で熟練した医者の診断結果を通じて、学習可能な診断結果に対する分類アルゴリズムを適用して、歯科医の熟練度に関係なく、専門化された治療計画の樹立が可能な治療前口腔状態情報を生成することができる。
【0029】
また、本発明では、被検者の治療前口腔状態情報から確認される歯牙状態及び個別歯牙の移動可能性を基に、所定のアルゴリズムにより予測歯牙配列モデルを選定し、個別歯牙の特性を反映した矯正治療計画の推薦アルゴリズムを提供することで、歯牙矯正の診断及び矯正治療計画の標準化を図ることができる。
【0030】
また、本発明によると、非定形診断データを定形化して、歯牙矯正治療計画を提示するための参照データとして活用することで、歯牙矯正治療に対する理論及びノウハウに基づくアルゴリズム構造化設計をなし、被検者の治療前口腔状態情報について導出された矯正治療計画を行う専門人材をマッチングすることで、推薦された矯正治療計画と矯正治療結果の再現率を増大することができる。
【図面の簡単な説明】
【0031】
【
図1】
図1は、本発明の一実施例による3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動判別して、矯正治療計画を推薦する方法のフローチャートである。
【
図2】
図2は、本発明の一実施例により、歯牙データ生成のための歯牙の代表座標及び接点が抽出されるフローを説明するための例を示す図である。
【
図3】
図3は、本発明の一実施例により、個別歯牙毎の特徴データが抽出され、テーブルで具現した例を示す図である
【
図4】
図4は、本発明の一実施例により、歯牙の軸に対する情報が抽出されるフローを説明するための図である。
【
図5ABCDEFG】
図5のA~Gは、本発明の一実施例により、歯牙データを基に、歯牙の位置異常が分類される例を示す図である。
【
図6AB】
図6ABは、本発明の一実施例によるロードされた治療前口腔状態情報を基に、被検者の治療前口腔状態情報に対応する歯牙配列モデルが具現される例を示す図である。
【
図7AB】
図7ABは、本発明の一実施例による被検者の治療前口腔状態情報に対する予測歯牙配列モデルが導出される例を示す図である。
【
図8】
図8は、本発明の一実施例による歯牙矯正治療に対するソリューションを提供するために用いられるアルゴリズムのインスタンス構成方案の例を示す図である。
【
図9】
図9は、本発明の一実施例による最適の矯正治療計画が導出される候補アルゴリズムの問題解決手法に対する例を示す図である。
【
図10】
図10は、本発明の一実施例において、最適の矯正治療計画が導出されることによるインタフェース提供例を示す図である。
【
図11】
図11は、本発明の一実施例による3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動判別して、矯正治療計画を推薦する装置の構成図である。
【
図12】
図12は、本発明の一実施例によるコンピューティング装置の内部構成の一例を示す図である。
【発明を実施するための形態】
【0032】
以下では、様々な実施例及び/又は様態を図面を参照して説明する。下記の説明では、説明を目的に、1つ以上の様態の全般的な理解を助けるために、多数の具体的な詳細事項が開示される。しかし、これらの様態は、このような具体的な詳細事項がなくても実行できることも、本発明の技術分野における通常の知識を有する者に認識されるだろう。以後の記載及び添付の図面は、1つ以上の様態の特定の例示的な様態を詳細に述べる。しかし、このような様態は、例示的なことであり、様々な様態の原理での様々な方法のうち、一部が利用可能であり、記述する説明は、このような様態及びこれらの均等物を全て含もうとする意図である。
【0033】
本明細書で使用する「実施例」、「例」、「様態」、「例示」などは、記述する任意の様態又は設計が、他の様態又は設計よりも良好であるか、利点があることと解析されないこともある。
【0034】
また、「含む」及び/又は「含み」という用語は、当該特徴及び/又は構成要素が存在することを意味するが、1つ以上の他の特徴、構成要素及び/又はこれらのグループの存在又は追加を排除しないことと理解されるべきである。
【0035】
また、第1、第2などのように序数を含む用語は、様々な構成要素を説明することに使われるが、前記構成要素は、前記用語により限定されない。前記用語は、ある構成要素を、他の構成要素から区別する目的としてのみ使われる。例えば、本発明の権利範囲を逸脱することなく、第1の構成要素は、第2の構成要素と称することができ、同様に、第2の構成要素も、第1の構成要素として称することができる。及び/又はという用語は、複数の関連して記載された項目の組み合わせ、又は、複数の関連して記載された項目のいずれの項目を含む。
【0036】
また、本発明の実施例において、別に異なって定義しない限り、技術的や科学的な用語を含み、ここで使われる全ての用語は、本発明が属する技術分野における通常の知識を有する者にとって、一般に理解されることと同一の意味を有している。一般に使われる辞典に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有することと解析されるべきであり、本発明の実施例で明白に定義しない限り、理想的や過度に形式的な意味として解析されない。
【0037】
本発明は、3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動判別して、矯正治療計画を推薦する方法に関し、本発明は、3次元口腔スキャンデータから、個別歯牙の接点と特徴点を基準に歯牙オブジェクトを分離する技術を提供することに第1の目的があり、矯正歯科分野において、患者の歯牙データを効率的に分析して、各歯牙に対する矯正分野の診断を自動実行した結果を導出できるようにすることで、このようなモデルの構築及び機械学習、具体的には、ディープラーニングによるモデルの学習を通じて、3次元の口腔スキャンデータを基に矯正歯科において、治療の根幹となる診断を自動実行する技術を提供することに第2の目的があり、被検者の治療前口腔状態情報から確認される歯牙状態及び個別歯牙の移動可能性を基に、所定のアルゴリズムにより最適の歯牙配列構造を選定し、個別歯牙の特性を反映した矯正治療計画の推薦アルゴリズムを提供することに第3の目的がある。
【0038】
一方、以下では、本発明に対する更に細部的な説明として、添付の図面を参照して説明し、1つ以上の技術的特徴又は発明を構成する構成要素を説明するために、多数の図面が同時に参照されることができる。
【0039】
まず、
図1に示しているように、本発明では、被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータの単純座標中心で円のサイズを逐次増加して、円と3次元口腔スキャンデータに含まれたオブジェクトが接する最初の地点を探索する最初接点探索ステップ(S10)が行われる。
【0040】
ここで、前述した3次元口腔スキャンデータは、stlオブジェクトなど、一般に歯科分野で被検者の頭部スキャン装置から得られる3次元口腔スキャンイメージなどの形式で構成されるデータである。Stlファイル形式は、ラピッドプロトタイピング業界の実質的な標準データ伝送形式と理解され、本発明では、前記stlファイル形式の他に、様々な形状の歯科分野における3次元スキャナにより得られる3次元口腔スキャンイメージの形式が用いられる。
【0041】
前記ステップS10に対する具体的な実施例として、
図2を参照すると、
図2のS1では、被検者の3次元スキャンデータの単純座標中心に円が配置された例101が示されており、
図2のS2では、単純座標中心に配置された円のサイズを増加111して、歯牙オブジェクトとの最初接点が探索される例が示されている。
【0042】
すなわち、前記ステップS10では、3次元口腔スキャンデータの単純座標中心で円のサイズを増加して、被検者の歯牙オブジェクトと当接する最初地点が探索されることで、3次元口腔スキャンデータ上で、歯牙オブジェクトの位置を容易で簡便に把握することができる。
【0043】
再度、
図1に戻り、前記ステップS10の実行後には、ステップS10において探索された最初接点で、所定の間隔で1つ以上の球体を歯牙内に分散するようにした後、メッシュ情報のベクトル方向を反転し、基準座標で球体を周辺方向に向けてランダムな速度で移動しつつ、所定の周期毎に球体を複製して、歯牙内に球体が均一に配置されるようにする球体配置ステップ(S20)が行われる。
【0044】
ここで、前述したステップS20では、ステップS10で探索された最初接点で一定の間隔を置いて、多数の球体を分散するようにし、球体が歯牙内に位置するようにし、分散される球体のサイズは、1~5ユニットのサイズ範囲を有するようにし、1ユニットは、1/10、000mmに対応するサイズであって、3次元歯牙スキャンデータに適した球体のサイズを探すために、経験的なチューニングを行った結果によって導出された球体のサイズであると理解される。
【0045】
一方、一般にSTLファイルは、立体物体の表面を3次元で無数に多くの三角形面と表現する特徴があり、従来、STLファイル形式は、3次元スキャンデータにおいて、歯牙オブジェクトの表面と衝突するイベントは、容易に感知できることに対して、歯牙オブジェクトの内部から外部に抜け出るイベントは、感知しやすくないという問題がある。
【0046】
これに本発明では、このような問題を解消するために、三角形からなる各メッシュ情報の表面に定義された方向ベクトルを反転して、三角形データを逆方向に再生成する処理過程が行われるようにし、これに関する具体的な実施例を、
図2で後述する。
【0047】
詳しく
図2のS3は、メッシュ情報(T)の方向反転実行前の歯牙オブジェクトを示し、
図3のS4は、メッシュ情報(T)の方向反転実行後の歯牙オブジェクト(UT)を示している。
【0048】
また、
図2のS5は、このようなメッシュ情報の反転処理が行われることにより、歯牙内に多数の分散した球体が存在することで、多数の球体121がランダムな速度に移動しつつ、所定の周期毎に複製される例を示しており、このような球体121の複製過程を繰り返すことで、歯牙内に球体121がムラなく配置された状態を持たせることができる。
【0049】
一方、前述したステップS20の実行後には、ステップS20にて複製された球体のサイズを所定のサイズに成長させて、各歯牙に対応する代表球体が決まるようにし、決められた代表球体の座標及び接点を基準に、歯牙の特徴データを抽出する特徴データ抽出ステップ(S30)が行われる。
【0050】
また、前記ステップS30では、歯牙オブジェクト内に多数分散した球体のサイズを逐次成長させて、歯牙内の空間から外部に離脱する球体を脱落させた後、歯牙内に残存する球体を再度所定のサイズに縮小して、各歯牙の中心点に対応する代表球体が決まるようにする。
【0051】
ここで、前述した球体のサイズ成長は、歯牙内に残存する球体の数が、被検者の歯牙数に対応する数となるサイズまで成長させるのが望ましいが、例えば、被検者の下顎の歯牙数が14個であると、球体のサイズ成長は、下顎の歯牙数に対応する14個が残るまで持続する。
【0052】
また、このような球体のサイズ成長及び縮小による代表球体の決定は、下顎と上顎についてそれぞれ行うのが望ましいが、これは、被検者の抜歯状態を始めとした口腔構造により、上顎と下顎の歯牙数が異なることを反映するためのことと理解される。
【0053】
具体例として、
図2のS6に示しているように、被検者の下顎に含まれる歯牙について、各歯牙毎の代表球体131が決まった例が示されており、本発明では、被検者の個別歯牙毎に決められた代表球体131の座標値を用いて、特徴データの抽出が可能となる。
【0054】
ここで、前述した代表球体131の座標値は、3次元空間の位置(Position)、回転(Rotation)、及びサイズ(Scale)に対するx、y、z平面の座標値が抽出されるのが望ましい。
【0055】
一例として、
図3の200では、それぞれの歯牙に決められた代表球体から、位置、回転、及びサイズに対するx、y、z平面に対する座標情報を取得することで、個別歯牙の特徴データが抽出された例が示されている。
【0056】
但し、
図3の200には、7つの個別歯牙に対する特徴データだけが示されているが、これに限定されるものではなく、本発明で言及する歯牙の特徴データは、被検者の歯牙数に対応する数の特徴データが抽出されることと理解される。
【0057】
次に、前述したステップS30の実行後には、歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を3次元イメージで具現する画像処理ステップ(S40)が行われる。
【0058】
ここで、前述した歯牙別軸データは、3次元口腔スキャンデータの体積中心点と広さ中心点を基に抽出される。
【0059】
具体的に、前述した歯牙別軸データは、体積中心点と広さ中心点を貫通する線に、統計分析により導出された数値的補正値を適用して、歯牙の根と平行に得られる軸データを歯牙別軸データとして抽出する。
【0060】
一実施例として、
図4の600では、個別歯牙オブジェクトに対する体積中心点(VC)と広さ中心点(AC)が示されていることが分かる。
【0061】
ここで、本発明において歯牙別軸データは、
図4における体積中心点(VC)と広さ中心点(AC)を貫通する線に、統計分析により導出された補正値を適用して、歯牙の根と平行な軸を導出することで、個別歯牙の軸データとして抽出することができ、前記補正値は、コンピューティング装置に搭載されている学習モジュールにより、個別歯牙の軸データに対する誤差学習を持続的に行うことで取得された値であり、このような補正値は、同一値でもあるが、個別歯牙の形状によって、互いに異なる値に導出されることもできる。
【0062】
一方、前述した
図1のステップS40では、個別歯牙のメッシュ情報を、モーションデータを扱う第1のプログラムで互換される所定のファイルフォーマットに変換してエクスポート(Export)した後、第1のプログラムでの作業データをスクリプトファイルで保存するのが望ましい。
【0063】
ここで、前述した第1のプログラムは、望ましくは、ユニティ(Unity)シミュレーションであると理解され、前述した所定のファイルフォーマットは、ユニティで互換可能なobjファイル形式に変換されることと理解される。
【0064】
一方、このようなobjファイルは、ユニティシミュレーションでインポート(import)するとき、座標軸の整列問題が発生して、再調整が必要であり、本発明では、個別歯牙の回転のために、objファイルフォーマットの中心点を体積中心点に設定し、ライノー(Rhino)から個別歯牙の座標値を呼び出して、歯牙の形状に配置するようにする画像処理過程がさらに行われる。
【0065】
歯牙の形状に配置する画像処理過程が行われた後は、第1のプログラム、すなわち、ユニティでの作業データをスクリプトファイルの形態に保存する過程が行われる。
【0066】
ここで、前記作業データとは、歯科専門人材が、歯牙矯正治療が必要な個別歯牙の配列を異にするなど、歯列の再配置に関する一連の治療計画データであると理解され、このようなスクリプトファイルは、歯牙矯正治療計画の自動化のための応用分野の基礎データとしても活用される。
【0067】
また、前記ステップS40の実行後には、ステップS40で生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類する位置異常分類ステップ(S50)が行われる。
【0068】
すなわち、前記ステップS50は、ステップS10~ステップS40の実行により取得された歯牙イメージに対する各歯牙別メッシュ情報を基に、歯牙の軸を導出することで、歯牙イメージを処理して、各歯牙の歯牙データ、すなわち、前記特徴データ及び導出された歯牙の軸を含むデータを生成する。
【0069】
一方、歯牙の軸に対しては、
図4でのように、その軸を導出するプロセスを経る。
【0070】
例えば、前記画像処理ステップでは、個別歯牙に対する学習のために、全体歯牙に対するメッシュ情報(T)を前記のように処理して、歯牙別3次元データ、すなわち、メッシュ情報(ET)から、体積中心点(VC)及び広さ中心点(AC)を自動で導出する。体積中心点(VC)は、各歯牙データの体積の中心点、広さ中心点(AC)は、例えば、歯牙の最も広い面積を有する部分の面積中心点、又は最も上面に該当する面の中心点を意味することと理解される。
【0071】
ここで、体積中心点(VC)と広さ中心点(AC)を貫通する線を、1次的に該当歯牙の軸と選定する。一方、前記歯牙イメージ処理アルゴリズムによると、歯牙イメージ処理結果に対する統計分析により、前記歯牙データ、例えば、前記歯牙の軸に対する誤り補正関数が導出される。これにより、導出された数値的な補正値を用いると、貫通する前記の線を補正することになると、このように補正した線を、歯牙の軸(A)に設定する。
【0072】
これによると、歯牙の3次元データ、すなわち、モデルの模様/ムービー的な特徴と統計的な分析に対する機械学習により、歯牙の根と平行な軸を自動で導出して、歯牙データに活用し、且つ、これを用いた治療計画樹立のためのシミュレーションに活用する。
【0073】
一方、前述したように、個別歯牙のメッシュ情報は、例えば、Unityなどのシミュレーションで使用可能なobj形式に変換することができる。このようなobj形式には、前記歯牙データが結合される。この場合、Pythonなどのプログラムを用いたrhino3次元モデリングツール自動化プログラムを具現すると、該当ツールを用いて作業する全ての過程を、スクリプトで自動化して、自動化サービスに対応することができる。
【0074】
すなわち、このような形式変換により、各歯牙イメージに歯牙の座標及び接点と歯牙の軸データを適用して、被検者の歯牙配列を3次元に具現可能なデータを、前記歯牙データに生成して、以後の処理に活用するようにし、このようなイメージ形式変換は、後述する矯正データ生成ステップ(S50)により行われる。
【0075】
また、前記ステップS50では、ステップS40で生成された歯牙データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動で分類する機能を行う。
【0076】
歯牙オブジェクトの相対的な配列状態であるとは、上下左右の歯牙の配列に対する相対的な状態を意味する。これは、前記歯牙データ、すなわち、各歯牙の座標、接点、及び軸に対する情報を基に、互いに隣接した歯牙に対する歯牙データを比較することで導出することができる。
【0077】
自動診断アルゴリズムは、前記機械学習により学習され、具体的な比較過程は、後述するように、すなわち、自動診断アルゴリズムが学習されることは、後述する比較過程により、歯牙の位置異常を自動で判別することにおいて、該当比較過程で用いられる比較基準数値などが学習されることを意味するか、具体的な比較プロセス自体が学習されることを意味することと理解される。
【0078】
これに関する例が
図5ABCDEFGに詳しく示されている。まず、
図5のAは、叢生(crowding)に該当する異常分類を意味する。叢生は、隣接歯牙の近遠心接触点が重ね合っている場合を意味し、まず、歯牙が重ね合って配列されているか、すなわち、歯牙間接触点が互いに会えず、交差されているか否かを基準に判断する。
【0079】
該当判断結果がNoであると、接触点が互いに会って配列が正常の場合、正常配列と判断し、そうでない場合であると、特殊状況に分類し、これに対するデータを医療スタッフに提供して、特別判断指示を要請する。該当特別判断指示の結果は、前記自動診断アルゴリズムの学習に用いられる。一方、重なっておらず、空間があると、後述する空隙評価に進行され、そうではない場合も、特殊状況に分類する。
【0080】
一方、該当判断結果がYesであると、重ね合わせた程度を基準に相対的な叢生程度を判断する。すなわち、重ね合わせた程度が例えば-2mm以下の場合、程度1度、-2乃至-4mmの場合、程度2度、-4mm以上の場合、程度3度の叢生と判断する。
【0081】
一方、
図5のBは、前記空隙(Spacing)に該当する異常分類を意味する。空隙は、隣接歯牙の近遠心接触点が互いに離れて、歯牙間の空間がある場合を意味する。まず、歯牙が互いに離れて配列されているか、すなわち、歯牙間接触点が重ね合わせていなく、空間があるか否かを判断する。
【0082】
該当判断結果がNoであると、接触点が互いに会って配列が正常の場合であると、正常配列であり、空間がなく、重なっていると、前記叢生評価を行う。一方、接触点が互いに会うが、配列が正常ではない場合、又は空間がなく、重ね合わせていない状態であると、前記のように特殊状況に分類する。
【0083】
一方、該当判断結果がYesであると、互いに離れた空間の幅を基準に相対的な空隙程度を判断する。空間の幅の程度が例えば2mm以下の場合、程度1度、2~4mmの場合、程度2度、4mm以上の場合、程度3度の空隙と判断する。
【0084】
図5のCは、回転(Rotation)に該当する異常分類を意味する。回転は、歯牙の近遠心接触点が正常配列線からずれて、歯牙が回転することと判断される場合を意味する。この場合、該当配列線を基準に判断して、歯牙が回転しているか否かを判断する。
【0085】
該当判断結果がNoの場合において、接触接が互いに会って配列が正常である場合、正常配列と判断し、回転しており、且つ、空隙と叢生の場合と複合的な様態を呈することと判断される場合、これに叢生及び空隙評価を共に行って、複合的分類をすることになる。もし、判断結果がNoであるか、配列が正常ではないか、複合的な様態を呈しない場合も、特殊状況に分類して、特別判断指示を要請する。
【0086】
該当判断結果がYesの場合は、歯牙の相対的な回転の程度によって、回転程度を判断する。例えば、4度以下の場合、程度1度、4~8度の場合、程度2度、8度以上の場合、程度3度の回転と判断する。
【0087】
図5のDは、垂直関係(openbite & deepbite)に該当する異常分類を意味する。垂直関係は、上下歯牙の被蓋程度の評価であって、全ての上顎歯牙は、下顎歯牙を覆わなければならない。このような関係がずれた場合、垂直関係に該当する異常分類(D)に区分し、各歯牙の特性に合うように、正常数値として既設定された第1の数値が設定されている。該当第1の数値も、前記サンプルデータによる学習により設定される。
【0088】
該当分類プロセスでは、前記各歯牙の特性に合うように、正常数値に一致するか、又は正常数値範囲に属するか否かを判断する。判断結果がYesであると、基準値に比して垂直被蓋が正常であると、正常状態と判断するが、そうではない場合、前記ように特殊状況に分類し、特別判断指示を要請する。
【0089】
判断結果がNoであると、基準値に比して垂直被蓋が不足しているか否かを判断し、不足した場合、不足程度によって、例えば0mm以下の場合、不足程度1、0~-3mmの場合、不足程度2、-3mm以上の場合、不足程度3と判断する。垂直被蓋が不足せず、過度な場合、過度程度によって、基準値よりも2mm以下の場合、過度程度1、2mm~4mmの場合、過度程度2、4mm以上の場合、過度程度3と判断する。
【0090】
図5のEは、近遠心歯軸傾斜(tipping)に該当する異常分類を意味する。近遠心歯軸傾斜は、各歯牙の近遠心面において、歯牙の勾配が近心に過度に傾斜するか、遠心に過度に傾斜した状態の分類を意味する。
【0091】
該当プロセスでは、まず、各歯牙の近遠心歯軸傾斜勾配が、与えられた所定の第2の数値と一致するか否かを判断する。このような第2の数値も、前記サンプルデータによるアルゴリズム学習により、歯牙別に設定される。
【0092】
該当判断結果がYesであり、歯軸傾斜勾配が2度以内又は正常の場合、正常状態と判断し、そうではない場合、特殊状況に分類して、特別判断指示を要請する。
【0093】
一方、該当判断結果がNoであると、過度傾斜方向が近心であるか否かを判断し、近心ではないと共に、方向が遠心でもない場合であると、特殊状況に分類して、特別判断指示を要請することになる。一方、近心であると、勾配程度が4度以下の場合、近心程度1度、4度~8度の場合、近心程度2度、8度以上の場合、近心程度3度と判断する。
【0094】
遠心の場合であると、勾配程度によって-4度以下の場合、遠心程度1度、-4度~-8度の場合、遠心程度2度、-8度以上の場合、遠心程度3度と判断する。
【0095】
図5のFは、頬舌側歯軸傾斜(torque)に該当する異常分類を意味する。頬舌側歯軸傾斜は、各歯牙の頬舌側面における歯牙の勾配程度が頬側過度傾斜であるか、又は舌側過度傾斜であるか否かを判断する分類を意味する。まず、該当プロセスでは、各歯牙の頬舌側歯軸傾斜勾配が与えられた所定の第3の数値と一致するか否かを判断する。このような第3の数値は、前記近遠心歯軸傾斜と互いに異なる数値に設定され、歯牙別に設定され、サンプルデータによるアルゴリズム学習により設定されることができる。
【0096】
該当判断結果がYesであると、歯軸傾斜勾配が2度以内、又は正常の場合、正常状態と判断し、そうではない場合、特殊状況に分類して、特別判断指示を要請する。
【0097】
一方、該当判断結果がNoであると、過度傾斜方向が頬側であるか否かを判断し、頬側ではないと共に、方向が舌側でもない場合であると、特殊状況に分類して、特別判断指示を要請する。一方、頬側であると、勾配程度が4度以下の場合、頬側程度1度、4度~8度の場合、頬側程度2度、8度以上の場合、頬側程度3度と判断する。
【0098】
舌側の場合であると、勾配程度によって、-4度以下の場合、舌側程度1度、-4度~-8度の場合、舌側程度2度、-8度以上の場合、舌側程度3度と判断することになる。
【0099】
図5のGは、勘合に該当する異常分類を意味する。勘合は、上下歯牙間の咬合状態を評価して判断する分類を意味する。歯牙間1:2関係の咬合状態であって、まるで鋸歯のように互いに噛み合っている状態が正常であるか否かを基準に判断し、上顎歯牙の咬頭が下顎歯牙の咬頭に位置するか否かを基準に評価する。
【0100】
前方(近心)位置である場合「-」と標記し、後方(遠心)位置である場合「+」と表記して、その分類を行う。まず、該当プロセスでは、臼歯部の上下歯牙が前後方(近遠心)面に鋸歯のように配列されなければならないが、上顎歯牙咬頭が下顎歯牙の2つの間に挟まれているか否かを判断する。
【0101】
該当判断結果がYesであると、また、上下顎臼歯部の勘合が正常の場合、正常状態と判別し、そうではない場合、特殊状況に分類して、特別判断指示を要請する。
【0102】
該当判断結果がNoであると、上顎歯牙が前方に押し寄せて位置するか否かを判断し、上顎歯牙が前方に押し寄せて位置する場合、その程度を基準に2mm以下の場合、下顎後方位置程度1度、2mm~4mmの場合、下顎後方位置程度2度、4mm以上の場合、下顎後方位置程度3度と判断する。一方、上顎歯牙が後方に押し寄せて位置する場合、その程度を基準に-2mm以下の場合、下顎前方位置程度1度、-2mm~-4mmの場合、下顎前方位置程度2度、-4mm以上の場合、下顎前方位置程度3度と判断する。
【0103】
このように、不正咬合の判断の根拠を7つに分類し、これに対するサンプルデータ学習及び実事例学習により、前記それぞれの基準数値などを学習するか、特殊状況における医療スタッフの特別判断指示を通じて、アルゴリズムを学習することになると、不正咬合の判断の根拠により、非常に正確な判断が可能となり、以後の診断において、効率よく明確な治療ソリューション樹立が可能となる効果がある。
【0104】
また、前記ステップS50では、各不正咬合の判断根拠となる数値の大きさを基準に細部程度を判断して、不正咬合分類情報に共に設定することもできるが、本発明は、これに限定されるものではない。
【0105】
一方、前記ステップS50の実行後には、ステップS50の分類結果及びステップS40の実行で生成された歯牙データを用いて、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報に生成するようにする矯正データ生成ステップ(S60)が行われる。
【0106】
ここで、前記ステップS60では、被検者の治療前口腔状態情報として、例えば、各歯牙の独立したメッシュ情報としての歯牙イメージ、特徴データ、及び軸を含む歯牙データ、歯牙別識別情報、及び歯牙別に分類された位置異常に対する分類結果を含む。また、該当データは、例えば、データベース20に保存され、これにより、AIを用いた自動治療シミュレーション又は治療計画樹立に用いられる。
【0107】
一方、前記のように、自動治療シミュレーション又は治療計画樹立において、該当治療前口腔状態情報を用いるためには、歯牙別に矯正による移動などが可能でなければならないので、前記のように、例えば、Unityなどのシミュレーションで使用可能なobj形式に変換することができる。このようなobj形式には、前記歯牙データが結合される。
【0108】
すなわち、ステップS60の実行により、前記形式でデータを変換することになると、Pythonなどのプログラムを用いたrhino3次元モデリングツール自動化プログラムを具現することにおいて、該当ツールを用いて作業する全ての過程をスクリプトで自動化し、自動化サービスに対応することができるようになるので、このような形式変換により、各歯牙イメージに歯牙の座標及び接点と歯牙の軸データを適用して、被検者の歯牙配列を3次元で具現可能なデータを、前記歯牙データで生成して、以後の処理に活用する。
【0109】
また、他の実施例では、前記
図1のステップS60の実行後、矯正治療計画を推薦するためのプロセスとして、ステップS60の実行結果で生成された治療前口腔状態情報をロードする治療前口腔状態情報ロードステップ(図示せず)、歯牙配列に対する学習データが既学習されたアルゴリズムにより、被検者の治療前口腔状態情報に含まれた個別歯牙の予測移動方向性及び予測移動量を考えて、目標とする1つ以上の予測歯牙配列モデルを導出する予測歯牙配列モデル導出ステップ(図示せず)、予測歯牙配列モデルを具現するための矯正ソリューションを選定した後、ステップ別矯正治療計画を細分化して提示する矯正治療計画提示ステップ(図示せず)及び、歯牙矯正治療分野に携わる多数の専門人材が登録された専門タレントプールから、被検者の治療前口腔状態情報にマッチングされる1人以上の専門人材を選定し、提示された矯正治療計画に対するフィードバックを収集するフィードバック収集ステップ(図示せず)を更に含む。
【0110】
ここで、前記口腔状態情報ロードステップでは、
図6ABに示したような治療前口腔状態情報が3次元イメージで具現される。
【0111】
ここで、
図6の(a)は、ライノーから個別歯牙の座標値が伝達されない状態のシミュレーション例として理解され、
図6の(b)は、ライノーから個別歯牙の座標値が伝達されて、個別歯牙の位置、回転角度、及び大きさが定義されることで、被検者の現在歯牙状態に対応する、すなわち、治療前口腔状態情報を3次元イメージで具現した例として理解される。
【0112】
すなわち、本発明では、前記口腔状態情報ロードステップの実行により、被検者の現在歯牙状態を更に明確に具現する3次元イメージを取得することで、後述する矯正治療計画を設計することに対する精密性を増大する効果を発揮することができる。
【0113】
一方、本発明の好適な実施例として、前記口腔状態情報ロードステップの実行において、本発明では、被検者の治療前口腔状態情報に対するレントゲンイメージ、口腔内部イメージ、及び顔貌イメージのうち、少なくともいずれか1つを含むイメージデータを参照データとして更に収集し、これを後述する候補アルゴリズムの条件変数として用いる。
【0114】
より詳しく、前記レントゲンイメージは、矯正治療で最も重要な情報を入れている顔の側面部レントゲンイメージに該当するセファロ、撮影機を一方から他方へ又は上から下へ動いて、広い範囲の場面を撮影するようにしたパノラマを含むイメージであると理解され、前記口腔内部イメージは、撮影機などを用いて、口腔の内部写真を2Dイメージで単純撮影したイメージであり、また、前記顔貌イメージは、被検者の口腔構造、歯牙状態による顔の顔立ちを現わすイメージであると理解される。
【0115】
ここで、本発明では、参照データとして収集されたセファロイメージから、上、下顎の水平・垂直関係を計測し、上顎前突度と舌顎前突度を計測することができ、パノラマイメージから喪失歯を把握し、歯槽骨の健康状態を定量化した数値と判断し、過度歯軸傾斜、親知らず/虫歯の存在可否、及びインプラント数を計測することができる。
【0116】
また、前記口腔内部写真では、虫歯数、充填物の数とクラウンの数を計測し、顔貌写真では、水平・垂直・横的評価を行うことができる。
【0117】
すなわち、本発明では、前記参照データの収集、及び収集された参照データの計測値を通じて、非定形診断データを定形データのような形態にデータベース化し、これにより、矯正治療計画に対する標準診断資料の分類及び定義の設計を行うことができるという効果がある。
【0118】
次に、前記導出する予測歯牙配列モデル導出ステップで言及される予測歯牙配列モデルは、歯牙矯正治療分野で理想的な歯牙配列を有する標準モデルに最も近接したモデルが、予測歯牙配列モデルとして導出される。ここで、理想的な歯牙配列とは、歯牙の接触点と隣接歯牙の接触点が重ねていなく、当接している状態で存在し、隣接歯牙の近遠心接触点が互いに当接している状態であり、咬合面上で歯牙の回転角度が正常範囲に属する範疇であり、上下歯牙の咬合程度をみると、全ての上顎歯牙が下顎歯牙を覆うようにし、各歯牙の近遠心面上で歯牙の勾配が正常範囲に属し、各歯牙の頬舌側面上で歯牙の勾配が正常であり、上下顎臼歯部の勘合が一方に傾くか、1:2関係の咬合で行われていない状態を有する歯牙配列を意味することと理解される。
【0119】
すなわち、前記アルゴリズムは、理想的な歯牙配列に対する学習データを機械学習して、被検者の現在歯牙状態で最も理想的な歯牙配列を持たせる予測歯牙配列モデルを導出することができる。
【0120】
一方、歯牙の予測移動方向性及び予測移動量は、矯正治療に対する臨床データに基づいて予測され、weak道具を活用して、メタ学習の構成アルゴリズムの1つであるRF(Random Forest)アルゴリズムで、歯牙の移動方向性及び移動量を予測することができると理解される。
【0121】
ここで、メタ学習は、多数の学習モデルのうち、もっともよいモデルを導出するためのメカニズムであり、
図9の400は、メタ学習の概念図が示されており、
図9の400におけるメタ学習者(Meta Learner)としては、前記RFを始めとして、ANN(Artificial Neural Network)、RF(Random Forest)、SVM(Support Vector Machine)、及びEDN(Evolving Deep Network)の少なくともいずれか1つを含むアルゴリズムが用いられる。
【0122】
また、
図7ABも参照すると、
図7の(a)は、被検者の治療前口腔状態情報に対応する3次元イメージの例を示しており、
図7の(b)は、被検者の現在歯牙状態で理想的な歯牙配列に最も近接した形態に導出された予測歯牙配列モデルの例を示している。
【0123】
ここで、
図7の(b)では、前記理想的な歯牙配列が学習されたアルゴリズムにより、被検者の歯牙配列が、
図7の(a)に比べて、一様になったことが確認できる。
【0124】
一方、一般に、矯正治療計画の提示のためには、矯正治療の期間、矯正力、及び矯正治療の難易度など、相反関係にある要素を同時に満たす解の探索が求められる。
【0125】
これに本発明では、前記矯正治療計画提示ステップの実行において、パレート最適解演算手法を用いて、被検者の現在歯牙状態による矯正治療期間、矯正力、及び矯正治療の難易度のうち、少なくともいずれか1つ(望ましくは、全て含む)を含む要素の予測値を目的関数とし、これらの目的関数を同時に満たし、目的関数の値が最小となるようにするパレート最適(Pareto Optimal)解を探索するようにして、複数の矯正治療計画が提示されるようにする。
【0126】
【0127】
一実施例として、前記表1を参照してみると、最小化問題の場合において、n個の決定変数を有するベクトル
【数1】
について、不等号制限(constraint)
【数2】
と等号制限
【数3】
をいずれも満たしながら、k個の目的関数を有するベクトル
【数4】
を最小化する問題と定義することができる。
【0128】
また、パレート最適とは、ベクトルF(x)により評価される全ての可能なxの決定空間をDと定義すると、ベクトル
【数5】
を支配する
【数6】
であるベクトル
【数7】
が存在しないxを意味し、ここで、支配の概念は、
【数8】
を満たすベクトル
【数9】
は、ベクトル
【数10】
を支配すると定義することができる。
【0129】
前記定義により、F個体は、G個体が属している地域を支配すると言え、再度、Fは、BとC個体により支配されることになる。
【0130】
結果として、A、B、C、D個体は、互いに比較できない同等な関係にあり、いずれの個体によっても支配を受けていないので、パレート最適解となる。
【0131】
また、多重目的関数を同時に最適化するパレート最適解を探すためには、多重最適アルゴリズムが用いられ、任意のN個の初期個体群を生成して、非支配関係で順にパレート順位を付与することになる。
【0132】
すなわち、全体個体群内で他のいずれの個体によっても、多重基準評価で支配されない候補解に1順位を付与した後、1順位候補解を全体個体群から除き、そして、残りの個体群から再度2順位の非支配個体群を選別して、順位を付与する。
【0133】
このような作業が繰り返されると、全ての候補解に順位割当てが完了し、次のステップに新たな候補解を生成するための自然選択と交差、変異演算からなる遺伝演算が順に適用されることになる。
【0134】
ここで、自然選択ステップでは、1順位の候補解を全て含み、残りの候補解に対しては、任意に2つの候補解を選択し、そのうち、高い順位の候補解を含ませ、順位が同じ候補解の場合、多重目的関数の評価空間で個体の密集度が低いことを優先して選択することができ、最終ステップの非支配解を矯正治療計画の提示結果として提供することができる。
【0135】
これに、矯正治療計画提示ステップでは、前記パレート最適解演算手法により複数の矯正治療計画が導出されると、ANN(Artificial Neural Network)、RF(Random Forest)、SVM(Support Vector Machine)、及びEDN(Evolving Deep Network)の少なくともいずれか1つを含む候補アルゴリズムを用いて、前記多数の矯正治療計画のうち、前記被検者の現在歯牙状態に対する最適の矯正治療計画が演算されるようにする。
【0136】
ここで、前記ANNは、脳の神経網構造を倣ったアルゴリズムであり、ディープラーニングとしてよく知られており、ビッグデータ水準の多数のインスタンスが確保される場合、レイヤー数の増加、構造変化、抽象化、Drop Outのような手法を適用して、高い性能を誘導することができるというメリットがある。
【0137】
また、前記RFは、多数のWeak Classifierを構成し、各分類機の予測値をマージ(Merge)して、1つの結果値を導出する形態で集団的知性を誘導して、単一分類機より高い性能を有するというメリットがある。さらに、RFは、決定木からなるWeak Classifierの場合、かなり早いモデル生成が可能である。
【0138】
また、前記SVMは、データクラスの領域をSupport Vectorを用いて設定し、境界線を導出する方式であり、すなわち、SVMは、2つのカテゴリーのうち、いずれか1つに属したデータの集合が与えられたとき、与えられたデータ集合を基に新たなデータがどのカテゴリーに属するかを判断する非確率的二項線形分類モデルを生成することができるというメリットがある。
【0139】
また、前記EDNは、ディープネットワーク学習アルゴリズムに進化演算が適用された手法であり、多数のWeak Classifierを基に速い学習・処理速度及び精度向上をなすことができるというメリットがある。
【0140】
すなわち、本発明では、前記候補アルゴリズムを用いて、多数の属性データの進化的組み合わせ選択を適用することで、多様性を極大化し、ディープネットワークを通じて、各Weak Classifierの性能を向上させて、集団的知性の発現を誘導することになることで、高度化した歯牙矯正治療計画の樹立が可能となる効果がある。
【0141】
一方、このように導出された被検者の現在歯牙状態に対する最適の歯牙矯正治療計画は、
図10の500のようなインタフェースで具現されて、被検者にフィットされた歯牙矯正治療計画を段階的に提供することができる。
【0142】
ここで、前記インタフェースには、演算された最適の矯正治療計画を基に被検者の治療前口腔状態情報で予測歯牙配列モデルを具現するための時系列的歯牙移動経路が時刻化モデルに加工されて、
図10の510のように提供され、本発明では、このような機能実行により、被検者の歯牙矯正治療に対する予測結果をより直観的に考察するようになる効果がある。
【0143】
また、他の好適な実施例では、前記矯正治療計画提示ステップの実行後、前記フィードバック収集ステップが行われる。
【0144】
ここで、専門人材とは、歯牙矯正治療の品質を高めるために、歯牙矯正と専門医資格を取得した人間に限定され、専門人材の選定は、被検者の治療前口腔状態情報に対応する臨床経歴が所定の臨界基準以上であると判断される専門人材を選定するのが望ましいが、臨床経歴を判断する基準は、タレントプールに専門人材が自分の経歴を明かすための症例をアップロードし、症例に対する所見を記載した後、他の専門人材又は症例審査委員に指定された外部専門人材から症例に対する妥当性評価が行われるようにして、専門人材の臨床経歴を管理するのが望ましい。
【0145】
また、前記フィードバック収集ステップの実行において、被検者の治療前口腔状態情報にマッチされる専門人材は、1人以上であるか、5人以下に構成して、円滑な専門人材間の協診が行われるようにする。
【0146】
合わせて、フィードバック収集ステップでは、被検者の治療前口腔状態情報にマッチされる専門人材が決まると、矯正治療計画提示ステップで提示された矯正治療計画に対するフィードバックを収集することになり、本発明では、1人以上の専門人材から収集されるフィードバックをラベリング(Labeling)して、アルゴリズムに対する指導学習(Supervised Learning)が行われるようにする。
【0147】
すなわち、本発明では、機械学習に基づくアルゴリズムで矯正治療計画を導出することにおいて、専門人材により、まだ見出されなかった問題とそれに対する治療方案である解答の提示結果を学習して、追って行われる矯正治療計画提示の高度化を図ることができ、このような機械学習適用のためのインスタンスの構成方案を、
図8の300で参照することができる。
【0148】
ここで、
図8のBefore Arrayは、被検者の治療前口腔状態情報、すなわち、現在歯牙状態を意味するデータであり、Target Arrayは、被検者の予測歯牙配列モデルに対応するデータであり、Solution Labelは、専門人材から収集されたフィードバックをラベリングすることによる最終矯正治療計画に対応するデータであると理解される。
【0149】
一方、本発明の他の実施例では、前記フィードバック収集ステップの実行後、被検者に対する最終矯正治療計画が決まると、コンピューティング装置は、最終矯正治療計画に対する治療計画書を、所定のファイルフォーマット(PDF及び動画ファイルフォーマットの少なくともいずれか1つを含む形態)で製作及び加工して、被検者の来訪歯科病院及び矯正装置製作業者の少なくともいずれか1つを含む事業体端末に送信する機能が行われることもできる。
【0150】
すなわち、前記実施例は、前記
図10の300及び310のような矯正治療計画を文書化する処理過程が行われることと理解され、このような治療計画書を被検者の来訪歯科病院端末に送信することは、被検者の来訪歯科病院で治療計画書に基づく矯正治療が移行されるようにして、矯正治療診断及び矯正治療計画に要する時間を減らし、診断効率を高めると共に、歯科毎に矯正治療の結果が異なることによる品質偏差を減らすためのことと理解される。
【0151】
一方、前記矯正治療計画書を矯正装置製作業者端末に送信することは、望ましくは、来訪歯科の確認後になされるようにするのが望ましく、より望ましくは、被検者の治療計画書上病院の来訪回数又は治療計画上の時期を考えて、矯正装置製作業者に時期別矯正装置の製作を要請して、矯正装置の製作が適時に行われるようにして、効率的な矯正治療目的を達成することができる。
【0152】
次に、
図11には、本発明の一実施例に係る3次元の口腔スキャンデータから歯牙オブジェクトを分離し、歯牙の位置異常を自動に判別して、矯正治療計画を推薦する装置の構成図が示されており、以下の説明において、
図1乃至
図7ABに関する説明と重複する説明は、省略することにする。
【0153】
図11に示しているように、本発明では、前記装置10の主要構成として、被検者の治療前口腔状態情報に対応する3次元口腔スキャンデータ1の単純座標中心で円のサイズを逐次増加して、円と3次元口腔スキャンデータ1に含まれたオブジェクトが接する最初の地点を探索するように機能する最初接点探索部11を含む。
【0154】
ここで、前記最初接点探索部11は、結果として、
図1のステップS10が行う機能をいずれも実行可能なことと理解され、本発明では、前記最初接点探索部11の機能実行により、3次元口腔スキャンデータ1で歯牙オブジェクトの位置を特定することになる。
【0155】
また、本発明では、前記装置10の主要構成として、最初接点探索部11で探索された最初接点で所定の間隔で1つ以上の球体を歯牙内に分散するようにした後、メッシュのベクトル方向を反転し、基準座標で球体を周辺方向に向けて、ランダムな速度に移動しつつ、所定の周期で球体を複製して、歯牙内に球体が均一に配置されるように機能する球体配置部12を含む。
【0156】
すなわち、前記球体配置部12は、
図1のステップS20が行う機能をいずれも実行可能なことと理解され、本発明では、球体配置部12において、1~5ユニットのサイズ範囲を有する小型の球体が歯牙内に多数分布されるようにして、個別歯牙の特徴点を導出する方式を用いることで、従来、歯牙の外形に基づく歯牙特徴点抽出方式とは異なる方式での歯牙の物理的特性抽出が可能となる効果がある。
【0157】
また、本発明では、前記装置10の主要構成として、球体配置部12で複製された球体のサイズを所定のサイズに成長させて、各歯牙に対応する代表球体を決め、決められた代表球体の座標点及び接点を基準に歯牙の特徴データを抽出するように機能する特徴データ抽出部13を含む。
【0158】
すなわち、前記特徴データ抽出部13は、
図1のステップS30が行う機能をいずれも実行することと理解され、本発明では、このような特徴データ抽出部13の機能実行により、従来、歯牙の外形に基づいて歯牙特徴データが抽出された方式とは異なり、歯牙の物理的特性が適用された座標系データ検出を基にする歯牙特徴データの抽出が可能となることで、歯牙の特徴データ抽出に対する新たなアプローチを提案することができるという効果がある。
【0159】
ここで、前記特徴データ抽出部13で抽出された歯牙の特徴データは、専用データベース30に保存されて管理されるのが望ましいが、本発明は、これに限定されない。
【0160】
また、本発明では、前記装置10の主要構成として、歯牙別に抽出された特徴データと歯牙別軸データを用いて、個別歯牙のメッシュ情報を取得することで、個別に分離した状態を有する被検者の歯牙配列を、3次元イメージで具現するように機能する画像処理部14を含む。
【0161】
すなわち、前記画像処理部14は、
図1のステップS40が行う機能をいずれも実行可能なことと理解され、本発明では、前記画像処理部14の機能実行により、個別歯牙の移動可能経路に対する設計を行い、移動可能経路を外部端末20に視覚化して見えるようにする画像処理技術をアルゴリズム化するという効果がある。
【0162】
また、本発明では、前記装置10の主要構成として、画像処理部で生成された歯牙配列データに含まれた歯牙オブジェクトの相対的な配列状態を自動診断アルゴリズムに適用して、少なくとも不正咬合の形状を含む複数の位置異常を自動分類するように機能する位置異常分類部15を含む。
【0163】
ここで、前記位置異常分類部は、前記
図1のステップS50が行う機能をいずれも実行することと理解され、本発明では、このような位置異常分類部15の機能実行により、被検者の歯牙データを不正咬合の判断根拠により、位置異常が存在するか否かに対する非常に正確な判断が可能となることで、以後の診断において、効率よく明確な治療ソリューション樹立が可能となる効果がある。
【0164】
また、本発明では、前記装置10の主要構成として、位置異常分類部の機能実行結果により、各歯牙イメージ、各歯牙データ、各歯牙の識別情報、及び各歯牙別位置異常に対する分類結果を結合して、被検者の治療前口腔状態情報に生成するように機能する矯正データ生成部16を含む。
【0165】
結果として、前記矯正データ生成部は、前記
図1のステップS60が行う機能をいずれも実行可能なことと理解され、本発明では、このような矯正データ生成部16の機能実行により、自動治療シミュレーション又は治療計画樹立が容易となる効果がある。
【0166】
また、
図11に示しているように、本発明では、前記装置10の主要構成として、矯正データ生成部16の機能実行結果で生成された治療前口腔状態情報をロードする治療前口腔状態情報ロード部17をさらに含む。
【0167】
ここで、前記治療前口腔状態情報ロード部は、物理エンジンが適用されたシミュレーションプログラムである第1のプログラム(例えば、ユニティシミュレーションプログラム)で被検者の治療前口腔状態情報をロードする機能を行う。
【0168】
本発明では、前記治療前口腔状態情報ロード部17の機能実行により、被検者の治療前口腔状態情報に対応する歯牙配列構造を、3次元イメージで具現するように機能し、特に、本発明では、従来、専門人材により3次元口腔スキャンデータで個別歯牙の分離を一々手作業で進行してきたこととは異なり、個別歯牙の特徴点データ及び個別歯牙の軸データを用いて、被検者の3次元口腔スキャンデータで精度高く個別歯牙の分離が行われるようにした3次元イメージを具現することで、歯牙矯正治療計画樹立に対する便宜及び効率を増大するという効果がある。
【0169】
また、
図11に示しているように、本発明では、前記装置10の主要構成として、歯牙配列に対する学習データが既学習されたアルゴリズムにより、被検者の治療前口腔状態情報に含まれた個別歯牙の予測移動方向性及び予測移動量を考えて、目標とする1つ以上の予測歯牙配列モデルが保存されたデータベース31から、最適の予測歯牙配列モデルを導出する予測歯牙配列モデル導出部18を含む。
【0170】
すなわち、本発明では、前記予測歯牙配列モデル導出部18の機能実行で、被検者の治療前口腔状態情報を考えて、最も理想的な歯牙モデルに近接した予測歯牙配列モデルの導出が可能となる効果がある。
【0171】
また、
図11に示しているように、本発明では、前記装置10の主要構成として、予測歯牙配列モデルを具現するための矯正ソリューションを選定した後、段階別矯正治療計画を細分化して提示する矯正治療計画提示部19を含む。
【0172】
すなわち、本発明では、前記矯正治療計画提示部19の機能実行により、矯正治療の期間、矯正力、及び矯正治療の難易度など、相反関係にある要素を同時に満たす最適解を探索して、複数の矯正治療計画が提示されるように機能し、ANN(Artificial Neural Network)、RF(Random Forest)、SVM(Support Vector Machine)、及びEDN(Evolving Deep Network)の少なくともいずれか1つを含む候補アルゴリズムを用いて、前記多数の矯正治療計画のうち、前記被検者の治療前口腔状態情報に対する最適の矯正治療計画が演算されるようにすることで、高度化した歯牙矯正治療計画の樹立が可能となる効果がある。
【0173】
また、
図11に示しているように、本発明では、前記装置10の主要構成として、歯牙矯正治療分野に携わる多数の専門人材が登録された専門タレントプールにおいて、被検者の治療前口腔状態情報にマッチングされる1人以上の専門人材40を選定し、提示された矯正治療計画に対するフィードバックを収集するフィードバック収集部20を更に含む。
【0174】
すなわち、本発明では、前記フィードバック収集部20の機能実行により、機械学習及びビッグデータに基づく客観的に定量的な人工知能を適用診断し、治療計画の樹立で多数の臨床経験に基づく高度化した治療計画の提示効果を発揮することができる。
【0175】
以上のように、本発明がたとえ限定された実施例と図面により説明されたが、当該技術分野における通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。
【0176】
次に、
図12では、本発明の一実施例によるコンピューティング装置の内部構成の一例を示し、以下の説明において、前記
図1乃至
図11に対する説明と重複する説明は、省略することにする。
【0177】
図12に示しているように、コンピューティング装置10000は、少なくとも1つのプロセッサ11100と、メモリ11200と、周辺装置インタフェース11300と、入出力サブシステム11400と、電力回路11500と、通信回路11600とを少なくとも含む。ここで、コンピューティング装置10000は、触覚インタフェース装置に連結されたユーザ端末機(A)、又は前記コンピューティング装置(B)に該当する。
【0178】
メモリ11200は、一例として、高速ランダムアクセスメモリ、磁気ディスク、SRAM、DRAM、ROM、フラッシュメモリ、又は不揮発性メモリを含む。メモリ11200は、コンピューティング装置10000の動作に必要なソフトウェアモジュール、コマンド集合、又は、その他に様々なデータを含む。
【0179】
ここで、プロセッサ11100や周辺装置インタフェース11300などの他のコンポーネントからメモリ11200にアクセスすることは、プロセッサ11100により制御される。
【0180】
周辺装置インタフェース11300は、コンピューティング装置10000の入力及び/又は出力周辺装置を、プロセッサ11100及びメモリ11200に結合させる。プロセッサ11100は、メモリ11200に保存されたソフトウェアモジュール又はコマンド集合を行って、コンピューティング装置10000のための様々な機能を行い、データを処理する。
【0181】
入出力サブシステム11400は、様々な入出力周辺装置を周辺装置インタフェース11300に結合させる。例えば、入出力サブシステム11400は、モニタやキーボード、マウス、プリンタ、又は、必要に応じて、タッチスクリーンやセンサなどの周辺装置を、周辺装置インタフェース11300に結合させるためのコントローラを含む。他の側面によると、入出力周辺装置は、入出力サブシステム11400を介することなく、周辺装置インタフェース11300に結合されることもできる。
【0182】
電力回路11500は、端末機のコンポーネントの全部又は一部に電力を供給することができる。例えば、電力回路11500は、電力管理システム、バッテリーや交流(AC)などのような1つ以上の電源、充電システム、電力失敗感知回路(power failure detection circuit)、電力変換器やインバータ、電力状態標識又は電力生成、管理、分配のための任意の他のコンポーネントを含む。
【0183】
通信回路11600は、少なくとも1つの外部ポートを用いて、他のコンピューティング装置との通信を可能にする。
【0184】
または、前記ように、必要に応じて、通信回路11600は、RF回路を含み、電磁気信号(electromagnetic signal)とも知られたRF信号を送受信することで、他のコンピューティング装置と通信を可能にすることもできる。
【0185】
このような
図12の実施例は、コンピューティング装置10000の一例に過ぎず、コンピューティング装置11000は、
図12における一部のコンポーネントが省略されるか、
図12における更なるコンポーネントを備えるか、2つ以上のコンポーネントを結合させる構成又は配置を有することができる。例えば、モバイル環境の通信端末のためのコンピューティング装置は、
図12に示しているようなコンポーネントの他にも、タッチスクリーンやセンサ等を更に含むこともでき、通信回路1160に様々な通信方式(Wi-Fi、3G、LTE、Bluetooth(登録商標)、NFC、Zigbee(登録商標)など)のRF通信のための回路が含まれる。コンピューティング装置10000に含まれるコンポーネントは、1つ以上の信号処理、又はアプリケーションに特化された集積回路を含むハードウェア、ソフトウェア、又は、ハードウェア及びソフトウェアの両者の組み合わせで具現される。
【0186】
本発明の実施例による方法は、様々なコンピューティング装置により行われるプログラム命令(instruction)形態に具現されて、コンピュータ読取り可能な媒体に記録される。特に、本実施例によるプログラムは、PC基盤のプログラム、又はモバイル端末専用のアプリケーションで構成される。本発明が適用されるアプリケーションは、ファイル配布システムが提供するファイルを通じて、ユーザ端末に設置される。一例として、ファイル配布システムは、ユーザ端末機の要請によって、前記ファイルを伝送するファイル伝送部(図示せず)を含む。
【0187】
以上で説明した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び/又は、ハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現される。例えば、実施例で説明された装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、又は、命令(instruction)を実行し、応答する他のいずれの装置のように、1つ以上の汎用コンピュータ、又は特殊の目的コンピュータを用いて具現される。処理装置は、運営体制(OS)、及び前記運営体制上で行われる1つ以上のソフトウェアアプリケーションを行うことができる。
【0188】
また、処理装置は、ソフトウェアの実行に応答して、データを接近、格納、操作、処理、及び生成することもできる。理解の便宜のために、処理装置は、1つが用いられると説明した場合もあるが、該当技術分野における通常の知識を有する者は、処理装置が複数の処理要素(processing element)、及び/又は複数タイプの処理要素をも含むことが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ、及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような他の処理構成(processing configuration)も可能である。
【0189】
ソフトウェアは、コンピュータプログラム、コード、命令、又は、これらのうち、1つ以上の組み合わせを含み、所望の通り動作するように、処理装置を構成するか、独立的に又は結合的に(collectively)処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置により解析されるか、処理装置に命令又はデータを提供するために、どのタイプの機械、構成要素(component)、物理的装置、仮想装置(virtual equipment)、コンピュータ格納媒体、又は装置に永久的に又は一時的に具体化(embody)される。ソフトウェアは、ネットワークで連結されたコンピューティング装置上に分散し、分散された方法で格納又は実行されることもできる。ソフトウェア及びデータは、1つ以上のコンピュータ読取り可能な記録媒体に格納される。
【0190】
実施例による方法は、様々なコンピュータ手段により行われるプログラム命令形態で具現され、コンピュータ読取り可能な媒体に記録される。前記コンピュータ読取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、実施例のために、特に設計され構成されたものであるか、コンピュータソフトウェア当業者に公知されて、使用可能なものでもある。コンピュータ読取り可能な記録媒体としては、ハードディスク、フロッピーディスク(登録商標)、及び磁気テープのような磁気媒体(magnetic media)、CD-ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を格納し、実行するように特に構成されたハードウェア装置が含まれる。
【0191】
プログラム命令としては、コンパイラーにより作られるような機械語コードだけでなく、インタプリターなどを用いて、コンピュータにより実行可能な高級言語コードを含む。前記ハードウェア装置は、実施例の動作を行うために、1つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。
【0192】
以上のように実施例が、たとえ限定した実施例と図面により説明されたが、該当技術分野における通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順に行われるか、及び/又は、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法と異なる形態で結合又は組み合わさるか、他の構成要素又は均等物により対置又は置換されても、適切な結果が達成される。そのため、他の具現、他の実施例、及び特許請求の範囲と均等なものも、後述する特許請求の範囲に属する。
【国際調査報告】