知財求人 - 知財ポータルサイト「IP Force」
▶ デンタル・イメージング・テクノロジーズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-15
(45)【発行日】2023-11-24
(54)【発明の名称】歯列メッシュ矯正具除去のための方法および装置
(51)【国際特許分類】
A61C 7/02 20060101AFI20231116BHJP
A61C 19/04 20060101ALI20231116BHJP
【ＦＩ】
A61C7/02
A61C19/04 Z
【請求項の数】
14
(21)【出願番号】P 2021156322
(22)【出願日】2021-09-27
(62)【分割の表示】P 2019504714の分割
【原出願日】2016-07-28
(65)【公開番号】P2022000211
(43)【公開日】2022-01-04
【審査請求日】2021-10-25
(73)【特許権者】
【識別番号】513097067
【氏名又は名称】デンタル・イメージング・テクノロジーズ・コーポレーション
(74)【代理人】
【識別番号】100103816
【弁理士】
【氏名又は名称】風早 信昭
(74)【代理人】
【識別番号】100120927
【弁理士】
【氏名又は名称】浅野 典子
(72)【発明者】
【氏名】ケン ショウプ
(72)【発明者】
【氏名】イェ ウェイ
(72)【発明者】
【氏名】ワン ビクター シー
(72)【発明者】
【氏名】リチャード サムエル
【審査官】寺澤 忠司
(56)【参考文献】
【文献】特表２０１１－５０７６１５（ＪＰ，Ａ）
【文献】特表２００２－５２６１５４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｃ ７／０２
Ａ６１Ｃ １９／０４
(57)【特許請求の範囲】
【請求項1】
患者の歯列のデジタルモデルから再構成された歯列のデジタルモデルを生成するための方法であって、矯正具、歯、および歯肉を含むそれぞれの構成要素にセグメンテーションがされていないデータを含む前記患者の歯列の３Ｄデジタルメッシュ歯列モデルを取得することであって、前記３Ｄデジタルメッシュ歯列モデルは、前記患者の前記歯と、前記患者の前記歯肉と、前記矯正具のワイヤおよびブラケットとを口腔内走査することによって形成される、三角メッシュから構成される３Ｄデジタルメッシュ歯列モデルを取得することと、
前記３Ｄデジタルメッシュ歯列モデルから前記矯正具のワイヤ部分を自動的に除去することによって前記３Ｄデジタルメッシュ歯列モデルを修正することと、
修正後の前記３Ｄデジタルメッシュ歯列モデルから前記矯正具のブラケット部分を自動的に除去することによって前記修正後の前記３Ｄデジタルメッシュ歯列モデルを更に修正することと、
前記矯正具の前記ワイヤ部分および前記ブラケット部分によって以前に覆われていた、前記更に修正された前記３Ｄデジタルメッシュ歯列モデルの歯表面を再構成することと、
前記再構成された３Ｄデジタルメッシュ歯列モデルを表示、格納、またはネットワークを通じて別のコンピュータに送信することとを含む、方法。
【請求項2】
患者の歯列のデジタルモデルから再構成された歯列のデジタルモデルを生成するためのコンピュータ実装方法であって、口腔内走査によって生成され、矯正具、歯、および歯肉を含むそれぞれの構成要素にセグメンテーションがされていないデータを含む、三角メッシュから構成される第１の３Ｄデジタルメッシュ歯列モデルを取得することと、
前記第１の３Ｄデジタルメッシュ歯列モデル内の前記矯正具のワイヤ部分を検出し、前記検出されたワイヤ部分を自動的に除去することによって第２の３Ｄデジタルメッシュ歯列モデルを生成することと、
前記第２の３Ｄデジタルメッシュ歯列モデル内の前記矯正具のブラケット部分を検出し、前記検出されたブラケット部分を自動的に除去することによって第３の３Ｄデジタルメッシュ歯列モデルを生成することと、
前記矯正具の前記ワイヤ部分および前記ブラケット部分によって以前に覆われていた、前記第３の３Ｄデジタルメッシュ歯列モデルの歯表面を再構成することと、
前記再構成された３Ｄデジタルメッシュ歯列モデルを表示、送信、または格納することとを含む、方法。
【請求項3】
前記矯正具の前記検出されたワイヤ部分を除去することは、前記矯正具を複数のブラケット部分に分離する、請求項２に記載の方法。
【請求項4】
前記歯表面を再構成することは、穴充填アルゴリズムを使用し、前記穴充填アルゴリズムは、最初に、ポリゴン充填プロセスを使用して前記第３の３Ｄデジタルメッシュ歯列モデルの前記除去されたブラケット部分と前記除去されたワイヤ部分とに対応する複数の穴のそれぞれを充填し、パッチ当てされた表面を生成することと、
前記第３の３Ｄデジタルメッシュ歯列モデル内の前記パッチ当てされた表面を平滑化し、前記再構成された３Ｄデジタルメッシュ歯列モデルを生成することとを含む、請求項２に記載の方法。
【請求項5】
前記歯表面を再構成することは、前記矯正具が取り付けられる前の前記患者の以前の３Ｄデジタルメッシュ歯列モデルからのデータを使用する、請求項２に記載の方法。
【請求項6】
前記再構成された３Ｄデジタルメッシュ歯列モデルは、前記矯正具を含まない、請求項２に記載の方法。
【請求項7】
前記取得された第１の３Ｄデジタルメッシュ歯列モデルに対して自動歯構成要素セグメンテーションを実行することと、自動セグメンテーション結果を表示することとをさらに含み、前記自動セグメンテーション結果は、前記患者の歯茎組織と１つまたは複数の歯とを区別しており、前記自動セグメンテーション結果は、前記１つまたは複数の歯において個々の歯を互いに区別している、請求項２に記載の方法。
【請求項8】
オペレータ命令に従って前記自動セグメンテーション結果の対話型セグメンテーションを実行することをさらに含み、前記自動セグメンテーション結果は、前記個々の歯を互いに区別している、請求項７に記載の方法。
【請求項9】
前記第２の３Ｄデジタルメッシュ歯列モデルから前記矯正具のブラケット部分を検出することは、前記第２の３Ｄデジタルメッシュ歯列モデルにおける、前記矯正具のブラケット部分の自動セグメンテーションを実行することと、
オペレータ命令に従って前記第２の３Ｄデジタルメッシュ歯列モデルに対して、前記ブラケット部分についての自動セグメンテーション結果への修正を可能とする、対話型セグメンテーションを実行することとを含む、請求項２に記載の方法。
【請求項10】
前記オペレータ命令はトレースした線分である、請求項９に記載の方法。
【請求項11】
前記第１の３Ｄメッシュ歯列モデルを取得することは、手持ち口腔内カメラから複数の構造化光画像を取得することを含む、請求項２に記載の方法。
【請求項12】
歯列のデジタルモデルを生成するように構成された装置であって、口腔内走査によって生成され、矯正具、歯、および歯肉を含むそれぞれの構成要素にセグメンテーションがされていないデータを含み、三角メッシュから構成される、患者の歯列の第１の３Ｄデジタルメッシュ歯列モデルを取得する手段と、
前記第１の３Ｄデジタルメッシュ歯列モデル内の前記矯正具のワイヤ部分を検出し、前記検出されたワイヤ部分を自動的に除去することによって第２の３Ｄデジタルメッシュ歯列モデルを生成する手段と、
前記第２の３Ｄデジタルメッシュ歯列モデル内の前記矯正具のブラケット部分を検出し、前記検出されたブラケット部分を自動的に除去することによって第３の３Ｄデジタルメッシュ歯列モデルを生成する手段と、
前記矯正具の前記ワイヤ部分および前記ブラケット部分によって以前に覆われていた、前記第３の３Ｄデジタルメッシュ歯列モデルの歯表面を再構成する手段と、
前記再構成された３Ｄデジタルメッシュ歯列モデルを表示、格納、またはネットワークを通じて別のコンピュータに送信する手段とを備える、装置。
【請求項13】
前記矯正具の前記検出されたワイヤ部分を除去することは、前記矯正具を複数のブラケット部分に分離する、請求項１２に記載の装置。
【請求項14】
前記矯正具のワイヤ部分を自動的に除去することは、前記３Ｄデジタルメッシュ歯列モデルにおいて前記三角メッシュの任意の頂点Ｖから所定の半径内で最近傍探索を実行して一組の近隣頂点ＶＮを取得し、
一組の前記近隣頂点ＶＮの法線の少なくとも一つが、前記頂点Ｖの法線の反対方向を指す法線である場合に、前記頂点Ｖを前記ワイヤ上の頂点に設定する、
ことを含む、請求項１または２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、三次元メッシュによって表される要素の操作に関し、より詳細には、反射率撮像を使用して得られた輪郭画像における歯冠表面操作のための方法および装置に関する。
【背景技術】
【0002】
三次元（３Ｄ）撮像および３Ｄ画像処理は、コンピュータ支援診断および患者介護の全体的向上のために歯科／歯科矯正医にとって関心が高まっている領域である。頭部計測分析の分野では、３Ｄ撮像および３Ｄ画像処理は、柔軟性、正確さ、および再現性の点で大きな利点を提供する。３Ｄ頭部計測分析は、二次元（２Ｄ）頭部計測分析からなる従来の方法に伴ういくつかの欠点、例えば、透視投影、倍率、および投影における頭部配置の２Ｄ幾何学的誤差などを克服する。３Ｄ頭部計測分析がより正確な客観的データをもたらすことが証明されており、これは、３Ｄ頭部計測分析が、２Ｄ頭部計測の場合のように離散測定に大きく依存するのではなく、計算に基づいているからである。
【0003】
３Ｄ頭部計測法を用いた初期の研究では、患者の頭部のコーンビームコンピュータ断層撮影（ＣＢＣＴ）を用いた顎顔面解剖学的構造の３Ｄ撮像およびパラメトリック分析を採用していた。ＣＢＣＴ法を使用した３Ｄ頭部計測分析の重要な役割は、各歯または各歯の群について慣性軸が計算された上顎弓および下顎弓の数学的モデルを定義することであった。これには、取得された患者のＣＢＣＴ頭部体積から個々の歯をセグメンテーションすることが必要であった。
【0004】
従来、歯科矯正治療処置の間、治療の経過を評価するために複数の２ＤのＸ線セファログラム取得物を用いる。従来の３Ｄ頭部計測分析もまたこの目的で使用することができ、複数のＣＢＣＴ走査を必要とする。しかし、２Ｄおよび３ＤのＸ線撮像法は、いずれも患者を電離放射線に暴露する。患者の全体的放射線被曝を低減することは、特に若年の患者にとって望ましいことである。
【0005】
光学口腔内走査は、一般に、歯列物体の輪郭を生成し、歯、歯茎、および他の口腔内構造物の可視化を改善するのに有用であった。表面輪郭情報は、特に、歯の状態の評価に有用であり得、修復歯科のためなどの様々な種類の歯科処置のための価値が認められている。これは、様々な問題を特定する際、ならびに患者の歯および支持構造物に関する他の測定値および観察結果を検証する際に歯科医を支援する貴重なツールを提供することができる。表面輪郭情報はまた、個々の歯などの歯列構成要素の３Ｄモデルを生成するために使用することができ、個々の歯に関する位置および向き情報は、その後、歯科矯正治療の経過を評価する際に使用することができる。表面輪郭撮像の適切な使用により、患者の歯列の複数の２Ｄまたは３ＤのＸ線取得の必要性を回避することができる。
【0006】
医療用途、工業用途、および他の用途において様々な種類の物体から表面輪郭情報を得るための多数の技術が開発されてきた。光学三次元（３Ｄ）測定方法は、様々な方法で表面に向けられた光を使用して形状および空間情報を提供するものである。輪郭撮像用に使用される各種撮像方法の中に、縞投影装置がある。縞投影撮像は、パターン化光または構造化光およびカメラ／センサー三角測量を使用して、様々な種類の構造物についての表面輪郭情報を得る。縞投影画像を処理した後、点群を生成することができる。その後、表面の少なくとも平面近似を再構成するために、この点群または複数の点群からメッシュを形成することができる。
【0007】
メッシュ表現は、特に歯および歯茎の表面構造を示すのに有用であり得、手持ちカメラを使用して、有害な放射線レベルの必要なく得ることができる。しかしながら、従来の画像処理手法を使用する場合、メッシュ表現は、コーンビームコンピュータ断層撮影（ＣＢＣＴ）または患者を放射線に曝す他の技術を使用して利用可能なその本来の多用途性および有用性のいくつかを欠くことがわかった。メッシュ表現が期待外れな結果しか生み出していない一領域は、セグメンテーションに関するものである。セグメンテーションは、歯科医が、歯茎および関連する支持構造物から歯冠および他の歯の視認可能な部分を識別し、分離することを可能にする。メッシュ画像をセグメンテーションするための従来の方法は、しばしば不正確になり得るものであり、歯構造と支持組織とを区別し損なう可能性がある。
【0008】
メッシュ画像についてのセグメンテーション問題に対処するための様々な手法が、例えば、以下のように提案されている。
（ｉ）Ｔｈｏｍａｓ Ｋｒｏｎｆｅｌｄらによる記事「Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ」（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ ａｐｐｌｉｃａｔｉｏｎｓ、７（ａ）、２０１０年）に記載された方法は、１つの処理反復で各歯と歯茎の表面を分離するよう試みる動的輪郭セグメンテーション法を採用している。しかしながら、記載された手法は、トポロジー非依存性方法ではなく、特に顎のメッシュに欠けている歯がある場合には失敗することがある。
（ｉｉ）Ｐａｇｅ，Ｄ．Ｌ．らによる「Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ」（Ｐｒｏｃ． ＣＶＰＩ ｖｏｌ ＩＩ ２００３年）と題した記事は、メッシュセグメンテーションに高速マーチングウォーターシェッド（Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ）法を使用することを記載している。記載された高速マーチングウォーターシェッド法は、ユーザに手動でシードポイントを入力することを要求する。シードポイントは、セグメンテーション中の領域の輪郭の両側に配置されなければならない。その後、この方法では、シード情報を用いて、１つのステップで全ての領域をセグメンテーションすることを試みる。顎メッシュセグメンテーションについて、この種類の方法では、各歯と同様に歯茎も同時にセグメンテーションする。これにより、この方法はあまり望ましくないものになるが、それは、歯を歯肉領域からセグメンテーションすることが、典型的には、歯同士を互いからセグメンテーションするタスクに必要となるものとは異なるパラメータおよび処理を必要とするためである。別のセグメンテーション要件をもつ異なる種類の歯列構成要素について別々のセグメンテーション戦略を使用することで、パフォーマンスが向上することになるだろう。
（ｉｉｉ）Ｊ．Ｍ．Ｍｏｏｎは、自身の論文「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｄ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｄｅｎｔａｌ ｍｏｄｅｌｓ」を裏付けるために、セグメンテーションプロセスを２つのステップ、すなわち、歯肉構造から歯を分離することと、アーチ構造全体を個々の歯物体へセグメンテーションすることとに分解するソフトウェアツールを使用した。Ｍｏｏｎの論文で使用されたソフトウェアツールは、メッシュの最大曲率を見つけ出し、歯をセグメンテーションするために使用するマージン頂点を得るために、ユーザに曲率閾値を手動で選択することを要求する。このソフトウェアはまた、誤ったセグメンテーション結果を除去するために、ユーザに手動でマージンを編集することを要求する。このソフトウェアは、形状および位置特性の分析を目的とし、歯肉領域からの歯領域の分離に色情報を採用することについては検討していない。
（ｉｖ）Ｊｏｎｅｓ，Ｔ．Ｎ．らによる「Ｍａｎｉｐｕｌａｔｉｏｎ ａ ｄｉｇｉｔａｌ ｄｅｎｔｉｔｉｏｎ ｍｏｄｅｌ ｔｏ ｆｏｒｍ ｍｏｄｅｌｓ ｏｆ ｉｎｄｉｖｉｄｕａｌ ｄｅｎｔｉｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ」と題した米国特許出願第２００３００３９３８９Ａ１号は、隣接し合う歯同士を表す歯列モデルの一部を分離する方法を開示している。
（ｉ）Ｔｈｏｍａｓ Ｋｒｏｎｆｅｌｄらによる記事「Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ」（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ ａｐｐｌｉｃａｔｉｏｎｓ、７（ａ）、２０１０年）に記載された方法は、１つの処理反復で各歯と歯茎の表面を分離するよう試みる動的輪郭セグメンテーション法を採用している。しかしながら、記載された手法は、トポロジー非依存性方法ではなく、特に顎のメッシュに欠けている歯がある場合には失敗することがある。
（ｉｉ）Ｐａｇｅ，Ｄ．Ｌ．らによる「Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ」（Ｐｒｏｃ． ＣＶＰＩ ｖｏｌ ＩＩ ２００３年）と題した記事は、メッシュセグメンテーションに高速マーチングウォーターシェッド（Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ）法を使用することを記載している。記載された高速マーチングウォーターシェッド法は、ユーザに手動でシードポイントを入力することを要求する。シードポイントは、セグメンテーション中の領域の輪郭の両側に配置されなければならない。その後、この方法では、シード情報を用いて、１つのステップで全ての領域をセグメンテーションすることを試みる。顎メッシュセグメンテーションについて、この種類の方法では、各歯と同様に歯茎も同時にセグメンテーションする。これにより、この方法はあまり望ましくないものになるが、それは、歯を歯肉領域からセグメンテーションすることが、典型的には、歯同士を互いからセグメンテーションするタスクに必要となるものとは異なるパラメータおよび処理を必要とするためである。別のセグメンテーション要件をもつ異なる種類の歯列構成要素について別々のセグメンテーション戦略を使用することで、パフォーマンスが向上することになるだろう。
（ｉｉｉ）Ｊ．Ｍ．Ｍｏｏｎは、自身の論文「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｄ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｄｅｎｔａｌ ｍｏｄｅｌｓ」を裏付けるために、セグメンテーションプロセスを２つのステップ、すなわち、歯肉構造から歯を分離することと、アーチ構造全体を個々の歯物体へセグメンテーションすることとに分解するソフトウェアツールを使用した。Ｍｏｏｎの論文で使用されたソフトウェアツールは、メッシュの最大曲率を見つけ出し、歯をセグメンテーションするために使用するマージン頂点を得るために、ユーザに曲率閾値を手動で選択することを要求する。このソフトウェアはまた、誤ったセグメンテーション結果を除去するために、ユーザに手動でマージンを編集することを要求する。このソフトウェアは、形状および位置特性の分析を目的とし、歯肉領域からの歯領域の分離に色情報を採用することについては検討していない。
（ｉｖ）Ｊｏｎｅｓ，Ｔ．Ｎ．らによる「Ｍａｎｉｐｕｌａｔｉｏｎ ａ ｄｉｇｉｔａｌ ｄｅｎｔｉｔｉｏｎ ｍｏｄｅｌ ｔｏ ｆｏｒｍ ｍｏｄｅｌｓ ｏｆ ｉｎｄｉｖｉｄｕａｌ ｄｅｎｔｉｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ」と題した米国特許出願第２００３００３９３８９Ａ１号は、隣接し合う歯同士を表す歯列モデルの一部を分離する方法を開示している。
【0009】
従来の各方法は、限られたテストケースではある程度の成功を示しているが、これらの方法はいずれもロバストで商業的に実行可能なものではないと思われる。さらに、従来の各方法は、走査された歯列メッシュモデル内にたびたび存在するブラケット／矯正具を処理する能力を全く備えていない。
【0010】
治療（例えば、歯科矯正）中の経過評価（例えば、数回）用に歯のメッシュモデルの鮮明な３Ｄビューを得るためには、口腔内走査を実行する前に歯から物理的ブラケット矯正具を取り外すことが望ましい。しかし、歯のエナメル質は、矯正具を取り外すことによって損傷（例えば、剥離、着色、粗面への害物の蓄積など）を受ける可能性がある。ブラケットの取り外し中に失われるエナメル質の厚さは約１５０ミクロンと推定される。１つの解決策としては、歯から物理的矯正具を取り外さずに歯列／歯列弓を走査し、メッシュ操作によって歯列弓メッシュ（の画像）を整えることがある。
【0011】
「Ｍｅｔｈｏｄｓ ｏｆ ｐｒｅｐａｒｉｎｇ ａ ｖｉｒｔｕａｌ ｄｅｎｔｉｔｉｏｎ ｍｏｄｅｌ ａｎｄ ｆａｂｒｉｃａｔｉｎｇ ａ ｄｅｎｔａｌ ｒｅｔａｉｎｅｒ ｔｈｅｒｅｆｒｏｍ」と題した、米国特許第８，７３８，１６５号には、歯科患者の歯列の仮想モデルは、当該患者の歯およびその歯に接続された歯科矯正装具のデジタルデータファイルを得て、その後そのデータファイルからのデータをその装具の下にある歯の表面を表す他のデータと組み合わせることによって提供されることが開示されている。米国特許第８，７３８，１６５号において、この仮想モデルは、患者の現在の歯列の物理的モデルの準備の際に使用され、この物理的モデルを使用して歯科用リテーナを作製することができる。米国特許第８，７３８，１６５号にはまた、画像操作ソフトウェアの編集ツールを使用して歯科矯正装具を表すデータを除去することができることも開示されている。米国特許第８，７３８，１６５号で使用される画像操作ソフトウェアは、「Ｇｅｏｍａｇｉｃ Ｓｔｕｄｉｏ」（ノースカロライナ州、Ｒｅｓｅａｒｃｈ Ｔｒｉａｎｇｌｅ ＰａｒｋのＧｅｏｍａｇｉｃ，Ｉｎｃ．製）として知られており、このソフトウェアでは、画像の一部を技術者がコンピュータマウスまたは他の入力装置を使用して識別し削除する必要がある。米国特許第８，７３８，１６５号には、「ＺＢｒｕｓｈ」（カリフォルニア州ロサンゼルスのＰｉｘｏｌｏｇｉｃ，Ｉｎｃ．製）として知られているソフトウェアを使用して、上記組み合わされたデータをデジタル的に／手動で微調整およびスカルプティングすることがさらに開示されている。
【0012】
その結果、好ましくは人間の介入のない、またはほとんど人間の支援のない、歯／歯冠面再構成を伴うブラケット除去を含む歯および歯茎構造のメッシュ表現のセグメンテーションのための改善された方法および／または装置が必要とされている。
【先行技術文献】
【特許文献】
【0013】
【文献】米国特許第８７３８１６５号明細書
【文献】米国特許出願公開第２００３／００３９３８９号明細書
【文献】米国特許出願公開第２０１４／０６７３３４号明細書
【文献】米国特許出願公開第２００８／２４８４４３号明細書
【文献】米国特許出願公開第２０１６／００４８１１号明細書
【非特許文献】
【0014】
【文献】トーマス・クロンフェルド等（Ｔｈｏｍａｓ Ｋｒｏｎｆｅｌｄ）、「仮想歯模型のスネークベースセグメンテーション（Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ」、コンピューター－エイディド デザイン アンド アプリケーションズ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ ａｐｐｌｉｃａｔｉｏｎｓ、第７（ａ）巻、２０１０年
【文献】ページ，ディー．エル．等（Ｐａｇｅ，Ｄ．Ｌ．）、「高速マーチング分水界を用いた知覚ベースの３Ｄトライアングルメッシュセグメンテーション（Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ）」（コンピュータヴィジョン及びパターン認識会議議事録（Ｐｒｏｃ． ＣＶＰＩ）、第ＩＩ巻、２００３年
【文献】ジェイ．エム．ムーン（Ｊ．Ｍ．Ｍｏｏｎ）、「デジタル歯モデルの自動セグメンテーションのために開発されたソフトウェアの評価（Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｄ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｄｅｎｔａｌ ｍｏｄｅｌｓ」、歯科研究国際協会（ＩＡＤＲ）ジェネラルセッション、２０１１年
【発明の概要】
【課題を解決するための手段】
【0015】
本願の一態様は、医療用途および歯科用途で使用されるボリューム撮像および可視化に関して、歯のセグメンテーションおよび／または操作の技術を進歩させることである。
【0016】
本願の別の態様は、関連技術における少なくとも前述の欠陥および他の欠陥の全部または一部に対処することである。
【0017】
本願の別の態様は、少なくとも本明細書に記載された利点の全部または一部を提供することである。
【0018】
本開示による方法および／または装置の実施形態は、矯正具表現が除去または縮小され、分かりやすいように歯の表面が追加または復元された３Ｄ歯列モデルの視覚化および評価の改善に対する特定のニーズに対処することができる。復元された３Ｄ歯列モデルは、ＣＢＣＴおよび他のＸ線ボリューム撮像法を使用して得られた内部構造と共に使用することができるか、または患者から得られた反射率画像データと対応付けることができる。
【0019】
これらの目的は例示的な例としてのみ与えられており、このような目的は、本願の１つまたは複数の実施形態の代表的な例であり得る。例示的な方法および／または装置の実施形態によって本質的に達成される他の望ましい目的および利点は、当業者に想起され得るか、または明らかになり得る。本発明は、添付の特許請求の範囲によって定義される。
【0020】
本開示の一態様によれば、再構成された歯列のデジタルモデルを生成するための方法が提供され、この方法は、矯正具、歯、および歯肉を含む患者の歯列の３Ｄデジタルメッシュモデルを取得することと、３Ｄデジタルメッシュ歯列モデルから矯正具のワイヤ部分を除去することによって３Ｄデジタルメッシュ歯列モデルを修正することと、３Ｄデジタルメッシュ歯列モデルから矯正具のブラケット部分を除去することによって３Ｄデジタルメッシュ歯列モデルを修正することと、矯正具のワイヤ部分およびブラケット部分によって以前に覆われていた、修正された３Ｄデジタルメッシュ歯列モデルの歯表面を再構成することと、再構成された３Ｄデジタルメッシュ歯列モデルを表示、格納、またはネットワークを通じて別のコンピュータに送信することとを含み得る。
【0021】
前述のおよび他の、本発明の、目的、特徴、および利点は、添付の図面において図示されるように、以下の本発明の実施形態のより具体的な説明から明白となろう。図面の要素は、互いに対して必ずしも縮尺通りではない。
【図面の簡単な説明】
【0022】
【図1】患者の歯および関連する構造物の表面輪郭撮像のための撮像装置の構成要素を示す概略図である。
【図2】手持ちカメラまたは他の携帯撮像装置を使用して表面輪郭情報を得るためにパターン化光がどのように使用されるかを示す概略図である。
【図3】複数の光線を有するパターンを使用した表面撮像の例を示す図である。
【図5】単純な三角メッシュの形態のポリゴンメッシュを示す図である。
【図6A】本開示の一実施形態による、メッシュセグメンテーションのための混合シーケンスを示す論理流れ図である。
【図6B】本開示の一実施形態による、歯のハイブリッドセグメンテーションのためのワークフローシーケンスを示す論理流れ図である。
【図7A】セグメンテーションが不十分な歯の一例を示す図である。
【図7B】セグメンテーションが改善された一例を示す図である。
【図8A】シードライントレースパターンの一例を示す図である。
【図8B】ブロックライントレースパターンの一例を示す図である。
【図9A】本開示の特定の実施形態による、歯のメッシュセグメンテーション処理を精緻化するためのマークアップ命令の見直しおよび入力のためのオペレータインターフェース画面を示す図である。
【図9B】本開示の特定の実施形態による、歯のメッシュセグメンテーション処理を精緻化するためのマークアップ命令の見直しおよび入力のためのオペレータインターフェース画面を示す図である。
【図9C】本開示の特定の実施形態による、歯のメッシュセグメンテーション処理を精緻化するためのマークアップ命令の見直しおよび入力のためのオペレータインターフェース画面を示す図である。
【図10】本願の一例示的な実施形態による、歯のメッシュ表面からブラケットを除去するためのシーケンスを示す論理流れ図である。
【図11】歯、ブラケット、および歯肉を含む歯列メッシュの例を示す図である。
【図12】本願の一例示的な実施形態による、３Ｄ歯列メッシュから分離された例示的な結果の歯を示す図である。
【図13A】３Ｄ歯列メッシュの歯表面からブラケットを除去し、その後歯表面を再構成する例を示す図である。
【図13B】３Ｄ歯列メッシュの歯表面からブラケットを除去し、その後歯表面を再構成する例を示す図である。
【図13C】３Ｄ歯列メッシュの歯表面からブラケットを除去し、その後歯表面を再構成する例を示す図である。
【図13D】ブラケットが除去された歯メッシュ表面の穴と、その穴を充填するための初期パッチとを示す図である。
【図13E】ブラケットが除去された歯メッシュ表面の穴と、その穴を充填するための初期パッチとを示す図である。
【図13F】歯表面メッシュパッチにおける三角形の初期配置、および歯表面メッシュパッチための三角形の修正配置を示す図である。
【図14】本願の別の例示的な実施形態による、歯のメッシュ表面からブラケットを除去するためのシーケンスを示す論理流れ図である。
【図15】本願の一例示的な実施形態による、歯メッシュからブラケットを分離するための画成（ｄｅｌｉｎｅａｔｉｏｎ）命令の見直しおよび入力のためのオペレータインターフェース画面実施形態を示し、ブラケットを囲んでいる閉輪郭またはスネークの例を示す図である。
【図16】閉輪郭内で強調表示されたメッシュ頂点の例を示す図である。
【図17】ブラケットが除去された後の再構成された歯表面の例を示す図である。
【図18】本願の一例示的な実施形態による、ブラケットを有する歯列モデルの例を示す図である。
【図19】本願の一例示的な実施形態による、ブラケットが識別された状態の同じ歯列モデルの例を示す図である。
【図20】本願の一例示的な実施形態による、ブラケットが除去された後の再構成された歯の例を示す図である。
【図21A】歯、ブリッジ接続された（ｂｒｉｄｇｅｄ）ブラケット、および歯肉を含む歯列メッシュの例を示す図である。
【図21B】本願の例示的な実施形態による、切断されたブラケット間ブリッジ（例えば、ワイヤ）を有する歯列メッシュの例を示す図である。
【図21C】ブリッジ（例えば、ワイヤ）の検出を示す歯列メッシュの例を示す図である。
【図22】本願の例示的な実施形態による、ブリッジワイヤを切断した後のブラケット除去および表面再構成の結果例を示す図である。
【図23】本開示の一実施形態による、歯メッシュ表面からブリッジ接続されたブラケットを除去するためのシーケンスを示す論理流れ図である。
【図24】本開示の別の実施形態による、歯メッシュ表面からブリッジ接続されたブラケットを除去するためのシーケンスを示す論理流れ図である。
【発明を実施するための形態】
【0023】
以下は、例示的な実施形態の詳細な説明であり、図面について参照がなされ、図面では、同一の参照番号は複数の図の各々における同一の構造要素を特定する。
【0024】
用語「第１の」、「第２の」などは、使用される場合、任意の順序関係または優先関係を必ずしも表すものではないが、ある要素または時間間隔と別の要素または時間間隔とをより明確に区別するために使用される場合がある。
【0025】
用語「例示的な」は、その記載が理想的であることを暗示するのではなく、例として使用されることを示す。
【0026】
本願で使用される場合、用語「信号通信で」は、２つ以上の装置および／または構成要素が、いくつかの種類の信号経路を伝わる信号によって相互に通信可能であることを意味する。信号通信は有線であってもよく、または無線であってもよい。信号は、通信信号、電力信号、データ信号、またはエネルギー信号であってもよく、これらの信号は、情報、電力、および／またはエネルギーを、第１の装置および／または構成要素から第２の装置および／または構成要素に、第１の装置および／または構成要素と第２の装置および／または構成要素との間の信号経路に沿って伝達し得る。信号経路は、第１の装置および／または構成要素と第２の装置および／または構成要素との間の物理的接続、電気的接続、磁気的接続、電磁的接続、光学的接続、有線接続および／または無線接続を含み得る。信号経路は、また、第１の装置および／または構成要素と第２の装置および／または構成要素との間に、追加の装置および／または構成要素を含み得る。
【0027】
本開示の文脈において、用語「画素」および「ボクセル」は、個々のデジタル画像データ要素、すなわち、測定された画像信号の強度を表す単一の値を記載するために同義的に使用することができる。従来、個々のデジタル画像データ要素は、三次元画像またはボリューム画像の場合にはボクセルと呼ばれ、二次元（２Ｄ）画像の場合には画素と呼ばれる。本明細書では説明のために、ボクセルおよび画素という用語は、概ね同等であるとみなすことができ、数値の範囲をとることが可能な、画像の基本データを表す。ボクセルおよび画素は、空間的位置および画像データのコード値の両方の属性を有する。
【0028】
「パターン化光」は、所定の空間パターンを有する光を指すのに使用され、パターン化光は、１つまたは複数の識別可能な平行線、曲線、格子、もしくは市松模様パターンなどの１つまたは複数の形状、または照射されない領域によって隔てられた光の領域を有する他の形状を有するようになされる。本開示の文脈において、語句「パターン化光」および「構造化光」は、同等であるとみなされ、いずれも、輪郭画像データを得るために、患者の頭部に投影された光を特定するために使用される。
【0029】
本開示の文脈において、用語「観察者」、「オペレータ」および「ユーザ」は、同等であるとみなされ、観察中の歯科医、技師または他の人物を指し、これらの人物は、複数の構造化光画像の組み合わせから形成された輪郭画像をディスプレイモニタ上で観察および操作する。
【0030】
「観察者命令」、「オペレータ命令」、または「オペレータコマンド」は、観察者によって入力された明示的なコマンドから得ることが可能であるか、または、例えば、機器の設定を作成するなどのいくつかの他のユーザの行為に基づいて暗黙的に取得または導出されてもよい。例えば、ディスプレイモニタおよびキーボードを用いたインターフェースなどのオペレータインターフェース上で入力されたエントリに関して、用語「コマンド」および「命令」は、オペレータの入力を指すように同義的に使用することができる。
【0031】
本開示の文脈において、１本の投影された光線は、「一次元」パターンとみなされ、これは、この線が、ラインレーザから投影されたときなどには、幅がほぼ無視できるものであり、長さがその主な寸法であるためである。同時にまたは走査配置のいずれかで並んで投影された２本以上のこうした線は、二次元パターンをもたらす。例示的な実施形態において、光線は、直線、曲線、または三次元とすることができる。
【0032】
用語「３Ｄモデル」、「点群」、「３Ｄ表面」、および「メッシュ」は、本開示の文脈において同義的に使用することができる。高密度点群は、点群を形成するためのボリューム撮像技術分野の当業者にとってよく知られた技術を使用して形成され、表面形状に対応する最高点（ｖｅｒｔｅｘ ｐｏｉｎｔｓ）をこの点群から識別する方法に概して関連する。高密度点群は、したがって、１つまたは複数の反射率画像から再構成された輪郭データを使用して作成される。高密度点群情報は、歯および歯茎の表面についての高密度のポリゴンモデルの基礎としての役割を果たす。
【0033】
本開示によれば、語句「幾何プリミティブ」は、画像の各領域を示すために、オペレータが入力することができる基本的な２Ｄ幾何学形状を指す。限定ではなく例として、幾何プリミティブには、線、曲線、点、および他の開いた形状と同様に、オペレータが形成することができる閉じた形状、例えば、円、閉じた曲線、矩形、および正方形、多角形なども含むことができる。
【0034】
本開示の実施形態は、歯および顎の構造の視覚化のために複数のＣＢＣＴ走査の必要性を排除する助けとなることができる例示的な方法および／または装置を提供する。例示的な方法および／または装置の実施形態を使用して、１つのＣＢＣＴボリュームを、例えば、歯科矯正治療の様々な段階での歯根位置を追跡する能力を有する光学口腔内走査と組み合わせることができる。これを達成するために、口腔内走査による露出部分、例えば、個々の歯冠が、ＣＢＣＴボリュームからセグメンテーションされた個々の歯構造および歯根構造と整列することができるように、口腔内走査がセグメンテーションされる。
【0035】
図１は、構造化光パターン４６を用いて投影および撮像するための撮像装置７０を示す概略図である。撮像装置７０は、本開示の一実施形態による画像取得のために手持ちカメラ２４を使用する。制御論理プロセッサ８０、またはカメラ２４の一部でもよい他の種類のコンピュータが、構造化光を生成し撮像センサアレイ３０の動作を制御する照明アレイ１０の動作を制御する。歯２２からなどの表面２０からの画像データは、画像センサアレイ３０から得られ、メモリ７２に格納される。画像を取得するカメラ２４構成要素と信号通信状態にある制御論理プロセッサ８０が、受信した画像データを処理し、そのマッピングをメモリ７２に格納する。結果として得られたメモリ７２からの画像が、その後、任意選択でレンダリングされ、ディスプレイ７４に表示される。メモリ７２はまた、ディスプレイ７４の画像内容を一時的に格納するための表示バッファを含んでもよい。
【0036】
表面の縞投影撮像では、線からなるパターンが照明アレイ１０から物体の表面に向かって所与の角度から投影される。次いで、表面からの投影パターンは、輪郭線の外観に基づいて表面情報を分析するために、三角測量を利用して、別の角度から輪郭画像として見られる。新しい位置での追加の測定値を得るために投影パターンを空間的に漸増的にシフトする位相シフトが、縞投影撮像の一部として通常は適用され、表面の輪郭マッピングを完了して輪郭画像内の全体的な解像度を増加させるために使用される。
【0037】
図２の概略図は、一本の光線Ｌの例を用いて、手持ちカメラまたは他の携帯撮像装置を使用して表面輪郭情報を得るためにパターン化光がどのように使用されるかを示している。照明アレイ１０が光のパターンを表面２０上に向けるとマッピングが得られ、線Ｌ'からなる対応する画像が撮像センサアレイ３０上に形成される。撮像センサアレイ３０上の各画素３２は、表面２０による変調に従い、照明アレイ１０上の対応する画素１２にマッピングする。図２に表されるように、画素位置のシフトは、表面２０の輪郭についての有用な情報を生じる。図２に示す基本パターンは、様々な照明源およびシーケンスを使用し、また１つまたは複数の異なる種類のセンサアレイ３０を使用して、多くの方法で実装できることが理解されよう。照明アレイ１０は、光変調に使用される多くの種類のアレイのうちのいずれかを利用することができ、例えば、テキサス州、ダラスのＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＤｉｇｉｔａｌ Ｌｉｇｈｔ ＰｒｏｃｅｓｓｏｒまたはＤＬＰ装置を使用して提供されるアレイなどの液晶アレイまたはデジタルマイクロミラーアレイなどを利用することができる。この種類の空間光変調器は、照明経路で使用され、マッピングシーケンスに対して必要に応じて光パターンを変更する。
【0038】
図１および図２に示された配置を複製する構造化光パターンを示す画像を複数回投影および取り込みすることによって、カメラ上の輪郭線からなる画像が、撮像された物体の多数の表面点の位置を同時に示す。このことは、物体の外面の一部または全部を光の面で「ペイント」するために光の面（および、通常は受光するカメラも）を横方向に動かしながら、多数のサンプル点を集めるプロセスを加速することを可能にする。
【0039】
図３は、複数の光線を有するパターンを使用した表面撮像を示す。線パターンの漸増シフトおよび他の技術は、各投影線に対応するセグメントを明確に識別することを困難にし得る、表面に沿った急激な遷移から生じ得る不正確さおよび混乱を補償するのに役立つ。図３では、例えば、線分１６が線分１８と同じ照明線からのものであるのか、または隣接する線分１９と同じ照明線からのものであるのかを判断することが困難となり得る。
【0040】
画像が取得されたときのカメラの瞬間的な位置および物体相対座標系内での光線の瞬間的な位置を知ることによって、コンピュータおよびソフトウェアは、三角測量法を使用して多数の照明された表面点の座標を計算することができる。光の面が最終的に物体の表面の一部または全部と交差するように動かされるにつれて、ますます多くの数の点の座標が蓄積される。この画像取得の結果として、最高点または頂点からなる点群を識別し、体積内の表面の範囲を表すために使用することができる。一例として、図４は、図３に示したようなパターン化照明の結果を使用して、米国、ニューヨーク州、ロチェスターのＣａｒｅｓｔｒｅａｍ Ｈｅａｔｈ，Ｉｎｃ．によって製造された構造化光撮像装置ＣＳ ３５００ ３Ｄカメラで生成された高密度点群５０を示す。点群５０は、歯表面および他の口腔内の表面上の、または、より一般的には実世界物体の表面上の、サンプル点の物理的位置をモデル化している。可変分解能を得ることが可能である。図４の例は、例示的な１００ミクロンの解像度を示す。点群内の点は、物体の三次元表面上の実際の測定された点を表す。
【0041】
表面構造は、隣接する頂点同士が線分によって接続されているポリゴンメッシュを形成することによって点群表現から近似することができる。ある頂点について、その隣接する頂点はユークリッド距離で当該頂点に最も近い頂点である。
【0042】
例として、図５は、単純な三角メッシュの形態の３Ｄポリゴンメッシュモデル６０を示す。三角メッシュは基本的メッシュ構造を形成し、この基本的メッシュ構造は、点群から生成されており、隣接する境界を共有する三角平面セグメントの形態で、３Ｄ物体をその３Ｄ物体の近似表面形状によって表すためのデジタルモデルとして使用することができる。三角メッシュまたはより複雑なメッシュ構造などのポリゴンメッシュモデルを形成するための方法／装置は、輪郭撮像技術分野の当業者には周知である。メッシュモデルのポリゴン単位および隣接するポリゴン同士間の関係を本開示の実施形態において使用して、歯の境界での特徴（例えば、曲率、最小曲率、エッジ、空間的関係など）を抽出することができる。
【0043】
口腔内撮像において、デジタルモデルからの画像内容の個々の構成要素をセグメンテーションすることは、歯科矯正治療ならびに歯冠、インプラント、および他の補綴装置の準備などを含む様々な処置の際に歯科医にとって価値のあることであり得る。歯茎から歯を、および歯同士を互いから、メッシュベースでセグメンテーションするための様々な方法が提案され実証されてきた。しかしながら、従来のセグメンテーション解決法の欠点として、かなりのレベルのオペレータスキルおよび高度な計算複雑性が要求されることが挙げられる。歯構成要素および他の歯列形状をセグメンテーションする問題に対する従来の手法は、多くの場合において期待外れの結果を生じてきた。本開示による例示的な方法および／または装置の実施形態は、ソースデジタルモデルの１種としてポリゴンメッシュデータを利用することができ、２つ以上の段階で動作することができるセグメンテーションを用いて、このような問題に対処し、２つ以上の段階とは、例えば、第一に、デジタルモデルの必要なセグメンテーションの少なくとも近い近似または粗い近似を提供することができる自動セグメンテーションアルゴリズム／手順を実行し、第二に、オペレータ対話（ｏｐｅｒａｔｏｒ ｉｎｔｅｒａｃｔｉｏｎｓ）が、自動結果の中で観察されたエラーおよび矛盾を改善し、補正し、かつ／または除去することを可能にすることであり、これは、自動化されただけでは達成することが困難である非常に正確な結果をもたらすことができるが、オペレータの時間もしくはスキルレベルに対して、および／または必要なコンピューターリソースに対して大きな要求を課すことはない。例示的な方法および／または装置の実施形態におけるこのハイブリッド手法は、計算能力および画像処理能力をオペレータの知覚と組み合わせて、自動処理の結果を確認、補正、精緻化するのに役立つことができる。
【0044】
図６Ａの論理流れ図は、本開示の一例示的な実施形態による、個々の形状または歯などの口腔内構成要素を口内から識別するための歯のメッシュセグメンテーションおよびデジタルモデルの生成のためのハイブリッドシーケンスを示す。画像取得ステップＳ１００において、患者の歯列の複数の構造化光画像を取り込み、処理のために一組の輪郭画像を提供する。次いで、点群生成ステップＳ１１０では、この一組の輪郭画像を使用して患者の歯列の点群を生成する。ポリゴンメッシュ生成ステップＳ１２０では、点群結果から、隣接する点同士を接続することによってポリゴンメッシュを形成する。三角メッシュは、表面輪郭を近似するために容易に生成することができる一種のポリゴンメッシュを提供する。より複雑なポリゴンメッシュ形状を代替的に使用することも可能である。
【0045】
図６Ａのシーケンスを進めると、上記ポリゴンメッシュを前提として、セグメンテーションステップＳ１３０を実行することができる。例えば、歯の輪郭画像の場合、セグメンテーションステップＳ１３０では、歯と歯茎組織とを区別すると同様に、１つの歯と別の歯とを区別することもできる。次いで、セグメンテーション結果を表示して、この最初の自動セグメンテーション処理の結果を示すことができる。自動セグメンテーションステップＳ１３０は、中間画像を提供することができる。したがって、自動ステップＳ１３０は、大部分のセグメンテーション処理を実行することができるが、オペレータによる結果の見直しおよび精緻化からさらに利点を得ることができる。その自動処理について、セグメンテーションステップＳ１３０では、前述のように、高速マーチングウォーターシェッドアルゴリズム（ｆａｓｔ－ｍａｒｃｈｉｎｇ ｗａｔｅｒｓｈｅｄ ａｌｇｏｒｉｔｈｍｓ）、いわゆるスネークベースセグメンテーション、および撮像技術分野の当業者に知られている他の方法など、多数の既知のセグメンテーション技術のうちのいずれかを使用することができる。
【0046】
図６Ａはまた、例えば、図１に示した基本装置を使用して自動セグメンテーション処理の結果を精緻化するために、中間画像との観察者対話を可能にすることができる任意選択の繰り返しループを示す。オペレータ命令受付ステップＳ１４０を実行することができ、このステップの間に観察者は、表示された結果上で、シードポイント、シードライン、ブロックライン、境界形状、またはセグメンテーション結果の１つまたは複数のはっきりとした形状を識別する他のマークを示して、さらなるセグメンテーションの精緻化および処理を可能にする。観察者マークアップ命令は、セグメンテーションステップＳ１３０を少なくとも２度実行させ、この２度目では入力された観察者命令からの入力マークアップを使用する。自動処理または手動処理の様々な段階で別々のセグメンテーションアルゴリズムを適用できることが理解される。セグメンテーション処理の最終結果は、表示、格納、および、例えば、有線または無線ネットワークを通じてなどしてコンピュータ同士間で送信することができる。
【0047】
図６Ａに示されるプロセスは、こうして、例えば歯茎組織からの歯のセグメンテーションなど、より容易に成し遂げることができる粗いセグメンテーション（例えば、第１のセグメンテーション）を自動セグメンテーションが実行することを可能にすることができる。したがって、例えば、歯および歯茎のパーティショニングは、自動化することができる。一実施形態では、歯と歯茎とのパーティショニングは、自動化された曲率ベースの方法を使用することができ、この方法は、メッシュ内の頂点の曲率を計算し、次いで、閾値アルゴリズムを使用して大きな負曲率を有するマージン頂点を識別する。あるいは、歯茎からの歯のセグメンテーションのためにカラーベースのセグメンテーションを使用することができる。この種の方法は、当該画像の各領域から平均色相値を得て、画像内容をパーティショニングする閾値を計算することができる。
【0048】
ハイブリッド歯セグメンテーションシステムのワークフローの例示的な実施形態が、図６Ｂの論理流れ図に描かれている。制御論理プロセッサ８０（図１）は、ステップＳ１２０において説明され図４および図５に示したような歯列メッシュを受け取ると、自動セグメンテーションステップＳ２０２を開始する。このステップでは、完全自動歯セグメンテーションツールを呼び出して、歯領域と歯茎領域とを画成し（つまり境界を定め）、さらに個々の歯領域を画成する。完全自動歯セグメンテーションツールは、文献に掲載されているか、そうでなければ画像処理技術分野の当業者に周知である動的輪郭モデルなどの例示的なアルゴリズムを採用する。歯の画成は、個々にセグメンテーションされた歯を効果的に生じるが、これらの生成された歯は、セグメンテーションが不十分な口腔内構成要素を含み得る。次いで、第１の確認ステップＳ２０４では、セグメンテーションが不十分な口腔内構成要素を確認する。ステップＳ２０４において不正確または不完全なセグメンテーションを確認することは、セグメンテーション結果に学習済み人工知能アルゴリズムを適用することなどによって、計算的に、または、その後の観察者による目視検査など、観察者対話によってのいずれかで成し遂げることができる。例として、図７Ａは、セグメンテーションが不十分である、またはセグメンテーションに誤りがある歯３０２を示す。図７Ａに示すように、セグメンテーションされた歯の境界３０６は、実際の歯境界３０８と整列していない。
【0049】
図６Ｂのワークフロープロセスをさらに参照する。確認ステップＳ２０４が１つまたは複数のセグメンテーションが不十分な歯を計算的にまたは視覚的に識別すると、一次支援セグメンテーションステップＳ２０６が実行され、これも自動だがある程度のオペレータ調整を可能にするセグメンテーション手順を起動する。一次支援セグメンテーションステップＳ２０６は、セグメンテーションのためのアルゴリズムを適用し、このアルゴリズムは、パラメータ調整ステップＳ２１０において１つまたは複数のパラメータのオペレータ調整を可能にする。別の確認ステップＳ２０８が実行され、追加のセグメンテーション処理が必要かどうかを判定する。調整可能パラメータは、ステップＳ２１０において、計算的にまたはオペレータ命令によって明示的に変更することができる。この後の各図は、パラメータ調整のための例示的なオペレータインターフェースを示す。
【0050】
一次支援セグメンテーションステップＳ２０６で採用される例示的なアルゴリズムは、メッシュ最小曲率ベースのセグメンテーション方法など、周知の技術とすることができる。調整可能なパラメータは、曲率の閾値とすることができる。ステップＳ２１０でのパラメータ調整を利用して、セグメンテーションが不十分な歯の補正を行うことができる。図７Ｂは歯３１２の画像を示しており、この画像は、図７Ａと比較して、実際の境界と良好に整列したセグメンテーションされた歯の境界３１６を示す。
【0051】
しかしながら、図６Ｂに示す例示的なワークフローの実施形態から明らかであるように、ステップＳ２０６において実行される歯の画成が、なおもセグメンテーションが不十分な口腔内構成要素または形状を生成することがあるので、セグメンテーションプロセスの繰り返しは有用である。ステップＳ２０８において不十分なセグメンテーションを確認することは、セグメンテーション結果に人工知能アルゴリズムを適用することなどによって計算的に、またはユーザが行う目視検査によってより直接的に、成し遂げることができる。ステップＳ２１０で調整された調整可能パラメータに加えて、ハイブリッド歯セグメンテーションシステムは、任意選択で、ユーザが、歯領域上にシードラインなどの例示的な幾何プリミティブを追加し、歯同士の間または歯と歯茎との間にブロックラインを追加して、歯のセグメンテーションプロセスを補助することを可能にする。図８Ａは、メッシュ画像６２に追加された、歯に印を付けるための例示的なシードライン４０６を示す。図８Ｂは、メッシュ画像６２に追加された、２つの歯の間の空間を示すための例示的なブロックライン４０８を示す。
【0052】
図６Ｂのシーケンスにおける３つの基本ステップ、ステップＳ２０６、ステップＳ２０８、およびステップＳ２１０は、ステップＳ２０２の完全自動セグメンテーションおよび確認ステップＳ２０４に続く例示的な一次セグメンテーションループ５４を構成している。この例示的な一次セグメンテーションループ５４は、ステップＳ２０４で識別されるような、自動化されたセグメンテーションステップＳ２０２の完全自動セグメンテーションからのセグメンテーションエラーを、補正することを意図している。例示的な一次セグメンテーションループ５４は、必要に応じて、１回または複数回実行することができる。例示的な一次セグメンテーションループ５４が好結果であれば、セグメンテーションを完了することができる。
【0053】
しかしながら、場合によっては、一次セグメンテーションループ５４によって提供されるセグメンテーション処理を超える追加のセグメンテーション処理が必要となる。セグメンテーション処理は、とりわけ、不正咬合、不規則な歯の形状、走査によるアーチファクト、不明瞭な歯の輪郭、区別不可能な隙間などの様々な要因によって複雑になり得る。追加のセグメンテーションが必要な場合、例示的な二次セグメンテーションループ５６を使用してより対話型のセグメンテーション手法を提供することができる。二次セグメンテーションループ５６は、対話型セグメンテーションステップＳ２１２、別の確認ステップＳ２１４、およびオペレータマークアップステップＳ２１６を含むことができる。対話型セグメンテーションステップＳ２１２は、セグメンテーションプロセスを起動することができ、このセグメンテーションプロセスは、画像のうち他の領域からセグメンテーションされることになるある領域を示すためにオペレータと協働する。対話型セグメンテーションステップＳ２１２は、画像セグメンテーション技術分野の当業者に知られている「高速マーチング」法などの例示的なアルゴリズムによって実施される自動シーケンスを有することができる。ステップＳ２１２は、起動前または処理中にオペレータが入力したシードもしくはシードラインまたは他の種類の幾何プリミティブによる歯領域画像の数を要求することがある。特定の例示的な実施形態では、歯列メッシュが任意選択のオペレータ調整（例えば、二次セグメンテーションループ５６またはステップ２１２などの後続の動作）のためにシステムに入力されると、ステップＳ１００、Ｓ１１０、およびＳ１２０においてシードラインまたは他の形状を自動的に生成することができる。さらに、これらの形状、シード、またはシードラインは、ユーザによるオペレータマークアップステップＳ２１６においてセグメンテーションプロセスへ追加することができる。ステップＳ２１２の結果は、ステップＳ２１６においてユーザによる検査を受ける。次いで、ハイブリッド自動／対話型セグメンテーション処理の結果を、表示ステップＳ２２０で表示すると同様に、格納したり別のコンピュータに送信したりすることもできる。
【0054】
本開示のいくつかの例示的な方法／装置は、図６Ｂのシーケンスの後に、ヒューマンマシンシナジーを伴う対話型セグメンテーションの利点をもたらすハイブリッド歯セグメンテーションを提供する。
【0055】
図９Ａ～図９Ｃは、本開示の特定の例示的な実施形態による、メッシュセグメンテーション処理を精緻化するための見直しおよびマークアップ命令の入力のためのシーケンスの一部のオペレータインターフェース画面５２を示す。暫定的なメッシュセグメンテーション結果が、画面５２の表示領域８６に示される。セグメンテーションプロセスを調整するための多数の制御部９０が利用可能であり、例えば、全体的な積極性についてのレベルまたはセグメンテーション処理アルゴリズムの他のパラメータもしくは特性を設定するための調整制御部８４などが利用可能である。任意選択制御部８８は、観察者が、適用対象である１つまたは複数のセグメンテーションアルゴリズムを指定することを可能にする。これは、所与のメッシュデジタルモデルについてセグメンテーションタスクを実行する際に、ある特定の種類のセグメンテーションアルゴリズムまたは別の種類のセグメンテーションアルゴリズムのいずれがより好結果であると思われるかを評価する機会をオペレータに与える。オペレータは、結果を原物と比較しパラメータを調整して、オペレータによるマークアップの有り無し両方で、連続的セグメンテーション試行の結果を見ることができる。
【0056】
図９Ａはまた、図８Ａに関して前に示したように、セグメンテーション処理を補正または精緻化するためのオペレータシードライン命令として入力されたトレースパターン９６を示す。本開示の一実施形態によれば、トレースパターン９６または他の任意の印／幾何学的形状の形態のオペレータマークを使用して、セグメンテーションのための特定の形状、例えば、従来のセグメンテーションルーチンでは処理が困難な場合がある臼歯または他の歯の形状などを示すシードポイントを提供することができる。次いで、シードマークは、前述のように、高速マーチングアルゴリズムまたは他の種類のアルゴリズムへの入力として使用することができる。場合によっては、例えば、隣接する歯同士が互いに対して正確にセグメンテーションされていないことがあり、オペレータマークアップは、標準的セグメンテーションロジックがうまく働かないセグメンテーション処理について有用な誘導を提供することができる。図９Ａが示すように、オペレータは、入力したマークアップを消去するかまたはセグメンテーションプロセッサへ提供することを可能にする制御部９０を、利用可能にすることができる。図９Ｂが示すように、カラーまたは濃淡を使用して、セグメンテーションによって識別された様々な歯または他の構造体を区別することができる。追加の制御部９０を使用して、例えば、個々の歯などの個々のセグメンテーションされた要素を表示することもできる。図９Ｃで強調表示しているように、いくつかの例示的な実施形態では、個々の制御部９０を個別にまたは組み合わせて使用することができる。
【0057】
一実施形態において、個々の歯の互いからのセグメンテーションは、曲率閾値を使用してマージン頂点および境界頂点を計算し、次いで、様々な成長法を使用してマージン検出に関する各歯の範囲を定義することができる。
【0058】
いくつかの例示的な実施形態では、制御部９０は、シードまたは境界形状の入力／調整、選択されたセグメンテーション手順の入力／調整、セグメンテーションする物体の数の入力／調整、選択された物体の小分け、セグメンテーションされた物体表示の修正などを含むことができるが、これらに限定されない。
【0059】
図１０の論理流れ図は、本願による歯列３Ｄメッシュからのブラケット除去のためのワークフローの例示的な実施形態を示す。図１０に示すように、ステップ１００２で仮想またはデジタル３Ｄ歯列メッシュモデルを得る。例えば、口腔内スキャナを使用することによってデジタル３Ｄ歯列メッシュモデルを得ることができる。図１１は、ステップ１００２で取得することができる例示的な３Ｄ歯列メッシュを示す図である。図１１に示すように、３Ｄ歯列メッシュ１１００は、ブラケット１１０２、歯肉１１０４、および歯１１０６を含むことができる。好ましくは、図１０の例示的なワークフロープロセスの結果は、３Ｄ歯列メッシュ１１００からの歯１１０６および歯肉１１０４を含むが、ブラケット１１０２および正確に再構成されたブラケット１１０２によって前もって覆われる歯表面を含まない３Ｄ歯列メッシュとなる。
【0060】
図１０に示すように、ステップ１００４および１００６は、得られた歯列３Ｄメッシュのための歯セグメンテーション方法／システムを構成している。本明細書において説明されるように、一実施形態では、ステップ１００４および１００６は、図６Ａに示した歯のメッシュセグメンテーションのためのハイブリッドシーケンスと同様のステップによって実施することができる。あるいは、別の実施形態では、ステップ１００４および１００６は、図６Ｂに示したハイブリッド歯セグメンテーション方法／システムと同様のステップによって実施することができる。
【0061】
図１０のワークフローを進めると、ステップ１００８でブラケット１１０２が３Ｄ歯列メッシュ１１００（例えば、歯の表面）から自動的に除去される。一例示的な実施形態では、ステップ１００６の結果生じる分離された（またはセグメンテーションされた）歯は、以下に説明するブラケット除去および表面再構成を個別に受けることができる。図１２は、３Ｄ歯列メッシュ１１００内に含まれる、例示的な結果として生じる分離された歯１２０２を示す図である。
【0062】
ステップ１００８では、分離された歯１２０２の表面からブラケットを自動的に除去するために、それぞれ個別にセグメンテーションされた歯（または歯冠）を検査し、処理する。除去対象であるブラケット１３０２を有する例示的なセグメンテーションされた歯１２０２を、図１３Ａに示す。一例示的な実施形態では、自動ブラケット除去アルゴリズムが、まず、ブラケット１３０２の境界を検出する。撮像技術分野の当業者に知られている様々な手法を使用して、３Ｄ歯列メッシュ１１００のブラケット境界を検出することができる。一例示的な実施形態において、ブラケット境界の検出は、自動曲率ベースアルゴリズムを使用することができ、このアルゴリズムは、歯表面のメッシュ内の各頂点の曲率を計算し、次いで、閾値アルゴリズムを使用して大きな負曲率を有するマージン頂点を識別する。図１３Ａに示すように、これらの識別されたマージン頂点は、ブラケット１３０２を囲む閉じた３Ｄ曲線またはブラケット境界１３０３（またはブラケットの境界頂点）を形成する。次いで、３Ｄ歯列メッシュ１１００において、その閉じた３Ｄ境界内のメッシュ頂点が除去され、その結果、歯の表面に穴１３０４が生じる。図１３Ｂは、ブラケット１３０２が除去された状態の例示的なセグメンテーションされた歯１２０２を示す図である。図１３Ｂに示すように、ブラケット穴１３０４内には小さい白いパッチが存在することがあり、これらの白いパッチはブラケット１３０２自体に属するものではなく、元々存在したブラケットの背後にある別のアーチファクトの可能性がある。これらのアーチファクトは、ブラケット１３０２が自動ブラケット除去アルゴリズムによって３Ｄ歯列メッシュ１００から除去された後に見えるようになることがある。
【0063】
ステップ１０１０では、ブラケットが除去されたセグメンテーションされた歯１２０２の歯表面が、自動的に再構成される。撮像技術分野の当業者に知られている様々な手法を使用して、３Ｄ歯列メッシュ１１００の穴を充填することができる。自動的に再構成された歯表面１３０６を有する例示的なセグメンテーションされた歯１２０２を、図１３Ｃに示す。例示的な実施形態において、穴充填手順（例えば、歯または歯冠表面の再構成）は、穴を充填するための初期パッチを生成する第１のステップと、再構成されたメッシュを平滑化し、その内側により高品質のポリゴン（例えば、三角形）を得るための第２のステップとを含み得る。
【0064】
図１３Ｄは、ブラケットを表すメッシュ部分が除去された後に３Ｄ歯冠メッシュ表面を形成する３Ｄ歯列メッシュ１１００の一部を示す。閉じたポリゴン１３０３’は、（除去された）ブラケットの境界を表す。閉じたポリゴン１３０３’で囲まれた領域１３０８は、ブラケット除去によって残った穴である。まず、ステップ１０１０では、（例えば、閉じたポリゴン１３０３’内の）歯表面または穴１３０８を充填するように初期パッチが生成される。一実施形態では、この初期パッチは、例示的な所定のパターンで配置される複数の三角形１３１０を含み、例えば、閉じたポリゴン１３０３’内の頂点同士を接続することによって形成され図１３Ｅに示すパターンを形成する複数の三角形などを含む。次いで、ステップ１０１０において、初期パッチの三角形／ポリゴン１３１０をさらに修正または最適化することができる。三角形１３１０を修正または最適配置する一例示的な手順を図１３Ｆに示し、ここでは、４つの点Ａ、Ｂ、Ｃ、およびＤは、三角形１３１０では２つの三角形ＡＢＤおよびＣＤＢを形成しており、これらの三角形は、改善された一組の三角形１３１０’では三角形ＡＢＣおよびＣＤＡになるように再配置されている。改善された三角形配置は、長くて細い三角形を減少させるかまたは回避することができる。
【0065】
ステップ１０１０の第２の部分では、より良い品質を得るために、初期パッチを有する３Ｄメッシュを平滑化することができる。一実施形態において、ステップ１０１０の第２の部分では、局所情報を全体的に使用して、初期パッチ内に作成された点の位置を補正することができる。したがって、初期パッチ（例えば、穴１３０３’内の三角形１３１０、１３１０’）および、例えば、図１３Ｄの穴１３０８’を囲む（または近くにある）三角形１３１２などの周囲領域を含む３Ｄメッシュは、各メッシュ頂点の位置をそれに隣接する頂点の幾何学的中心に調整するラプラシアンスムージング法（Ｌａｐｌａｃｉａｎ ｓｍｏｏｔｈｉｎｇ ｍｅｔｈｏｄ）を使用して平滑化することができる。
【0066】
例えば、メッシュ平滑化の実施は、Ｗｅｉ Ｚｈａｏらによる「Ａ ｒｏｂｕｓｔ ｈｏｌｅ－ｆｉｌｌｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｒｉａｎｇｕｌａｒ ｍｅｓｈ」において、ポアソン方程式をディリクレ（Ｄｉｒｉｃｈｌｅｔ）境界条件と共に使用してパッチ精緻化アルゴリズムを実装することができると記載されている。ポアソン方程式は、
Δｆ＝ｄｉｖ（ｈ） ｆ｜∂Ω＝ｆ＊｜∂Ω
と式化され、ここで、ｆは未知のスカラー関数であり、
はラプラス演算子、ｈは指標ベクトル場（ｇｕｉｄａｎｃｅ ｖｅｃｔｏｒ ｆｉｅｌｄ）、ｄｉｖ（ｈ）はｈの発散、ｆ＊は境界条件を提供する既知のスカラー関数である。Ｗｅｉ Ｚｈａｏの論文の離散三角メッシュの指標ベクトル場は、その領域が当該メッシュ表面上のすべての点の集合である区分的定数ベクトル関数（ｐｉｅｃｅｗｉｓｅ ｃｏｎｓｔａｎｔ ｖｅｃｔｏｒ ｆｕｎｃｔｉｏｎ）として定義される。定数ベクトルは三角形ごとに定義され、このベクトルは当該三角形と共面である。
Δｆ＝ｄｉｖ（ｈ） ｆ｜∂Ω＝ｆ＊｜∂Ω
と式化され、ここで、ｆは未知のスカラー関数であり、
【数1】
【0067】
ステップ１０１２では、自動的に再構成された歯表面１３０６（図１３Ｃ参照）を有する例示的なセグメンテーションされた歯１２０２を表示することができる。一例示的なセグメンテーションされた歯１２０２について説明したが、ステップ１００８、１０１０、および１０１２は、すべてのブラケットが３Ｄ歯列メッシュ１１００から除去されるまで、繰り返し実行することができる。このようにして、追加のセグメンテーションされた歯の表面がそれぞれ補正された後に、結果として生じる補正後の３Ｄ歯列メッシュ１１００をステップ１０１２で表示することができる。あるいは、結果として生じる補正済み３Ｄ歯列メッシュ１１００をステップ１０１２で表示する前に、ステップ１００８および１０１０を３Ｄ歯列メッシュ１１００内の全部の歯に対して実行することができる。図２０は、結果として生じる例示的な補正済み３Ｄ歯列メッシュ全体を示す。
【0068】
特定の例示的な方法および／または装置の実施形態は、歯の表面を再構成するために代替的手順を使用することができる。例えば、一例示的な実施形態では、矯正具が取り付けられる前の歯列の口腔内走査に基づく３Ｄ歯列メッシュを、歯表面の再構成に使用することができる。他の例示的な実施形態では、患者の年齢、歯列弓サイズ、民族性、性別を多様化するために複数組の完全な口歯モデルから得た具体的な歯のモデルを、歯表面の再構成に使用することができる。別の例示的な実施形態では、患者から取られた、対応する「ミラー」歯を使用することができる。
【0069】
図１４は、３Ｄ歯列メッシュ上のブラケットを除去する、本発明の別の例示的な実施形態のワークフローを示す図である。図１０に示すワークフローと図１４に示すワークフローとの主な違いは、図１４に示すワークフローでは歯のセグメンテーションが必要ないことである。ここでも、歯、ブラケット、および歯肉を含む３Ｄ歯列メッシュを、ステップ１４０２において受け取る。次いで、ステップ１４０４において、３Ｄ歯列メッシュ内のブラケットに関する命令をオペレータから受け取る。
【0070】
図１５は、例示的なＧＵＩインターフェースを表示する図であり、このインターフェースは、３Ｄ歯列メッシュ内のブラケットを識別するためにユーザが情報を入力することを可能にする。図１５に示すように、一例示的なＧＵＩインターフェース１５００は、「スネーク」操作のためにユーザによってノードが配置されることを可能にし、この操作は、入力されたノードに基づいて自動的にブラケット１５０２の境界を囲むものである。「スネーク」操作によって生成された例示的なブラケット境界１５０３を図１５に示す。この「スネーク」は、例えば、ノイズが多い可能性のある２Ｄ画像から物体の輪郭を画成することによる画像処理において自動物体セグメンテーションに頻繁に使用される動的形状モデルである。このスネーク動的形状モデルは、物体追跡、形状認識、セグメンテーション、エッジ検出、ステレオマッチングなどの用途で使用される。スネーク動的形状モデルまたは動的輪郭モデルは、撮像技術分野の当業者には既知である。
【0071】
図１６は、ユーザが図１５の「実行」ボタン１５０４を押した後に３Ｄ歯列メッシュ内で境界１５０３が強調表示されることによって囲まれた頂点１６０２を示す。識別された頂点１６０２は、元の３Ｄ歯列メッシュから除去されることになる。一例示的な実施形態では、ＧＵＩシステム１５００はユーザにこの中間結果１６０２を検査させることができ、ユーザは、満足した場合、「カット」ボタン１５０６を押す。次いで、頂点１６０２は、それらの頂点の強調表示（例えば、カラー、テクスチャなど）を、これらの頂点が元の３Ｄ歯列メッシュからの除去対象であることを示すように変更する。一例示的な実施形態では、ステップ１４０６におけるオペレータ命令に基づく歯表面からのブラケットの自動除去は、オペレータが「カット」ボタン１５０６を押すことによって実行することができる。
【0072】
次いで、ステップ１４０８で歯表面が充填または再構成される。一例示的な実施形態では、ステップ１４０８は、ユーザが、歯表面を再構成するために、図１５の「充填」ボタン１５０８を押すときに実行される。ステップ１４０８は、図１０に関して本明細書において説明したような既知のアルゴリズムを使用して実行することができる。次いで、その結果をステップ１４１０で検査のために表示することができる。図１７は、ブラケットが除去された後の再構成された歯の表面１７０２の例を示す。代替的に、ステップ１４０８の結果を格納する、または使用のためにネットワークを通じて遠隔コンピュータに送信することができる。
【0073】
ここでも、図１４において、これらの操作は、３Ｄ歯列メッシュに関して、複数の歯またはすべての歯に対して、歯ごとに、同時に一斉に実行することができる。図１８～図２０は、３Ｄ顎メッシュから同時に全てのブラケットを完全に除去することを示す図である。図１８は、歯、ブラケット、および歯肉を有する３Ｄ歯列メッシュ１８００を示す図である。図１９は、除去対象の頂点１８０２が強調表示されている、「スネーク」カット操作の中間結果を示す図である。図２０は、すべてのブラケットが除去され、かつすべての充填操作が完了した後の最終的な再構成された歯表面１８０６のそれぞれを示す図である。
【0074】
「カット」ボタンを押す、「充填」ボタンを押す、および「実行」ボタンを押すなどの上述のユーザ動作は例示的であることに留意されたい。実際には、これらの動作は必要ではなく、コンピュータソフトウェアによって自動的に成し遂げることができる。
【0075】
場合によっては、口腔内スキャナによって生成された３Ｄ歯列モデルが、隣接する２つのブラケットをブリッジ接続するワイヤを含むことがある。この状況では、先述の実施形態はブラケットおよびワイヤの除去には不十分である。図２１Ａは、別の例示的な歯列モデルを示す図である。図２１Ａに示すように、歯列モデル２１００は、ブラケット２１０２、歯肉２１０４、歯２１０６、およびブリッジ接続されたブラケットを含み、ブリッジ接続されたブラケットでは、ワイヤ２１０８が少なくともブラケット２１１０とブラケット２１１２とを接続している。一般的に、ワイヤ２１０８は全てのブラケット２１０２を接続することになる。図２１Ｂに示すように、ワイヤ２１０８は、本願の特定の例示的な方法および／または装置の実施形態に従って、自動的にまたは対話形式のいずれかで消去することができる。
【0076】
図２３は、本願の一実施形態による、歯メッシュ表面からブリッジ接続されたブラケットを除去するための例示的なシーケンスを示す論理流れ図である。図２３に示されるように、ブリッジ接続されたブラケットを有する歯列モデルがステップ２３０２で得られ、その直後に「自動的にブリッジを切断する」ことを含むステップ２３０４が続く。ブリッジ（またはワイヤ）を自動的に切断するために使用することができる一例示的な検出実施形態を以下に説明する。
【0077】
歯列メッシュモデルにおいて頂点Ｖを仮定し、例示的な半径５ｍｍで最近傍探索を実行して、一組の近隣頂点ＶＮを得る。ＶＮの各頂点の法線を確認する。Ｖの法線の反対方向を指す法線をもつ少なくとも１つの頂点がＶＮ内にあることが判明した場合（例えば、これら２つの法線ベクトルのドット積が、＜－０．９の場合）、Ｖはワイヤ（またはブリッジ）上の候補頂点である。この手順はメッシュ全体に適用され、複数の候補頂点が得られる。これらの候補頂点は、複数の接続された領域を計算するために使用される。これらの接続領域はそれぞれ、形状（例えば、ワイヤ）検出のために当業者によってよく使用される主成分分析のアルゴリズムを使用して分析される。ステップ２３０６による例示的なブリッジ（ワイヤ）検出結果２１１８を図２１Ｃに示す。ステップ２３０６で検出された（例えば、ワイヤ２１０８に関連付けられた）３Ｄ歯列メッシュのこれらの頂点は、後続のステップ２３０６～２３０８において３Ｄ歯列メッシュから除外または除去される。
【0078】
ステップ２３０６は、切断されたブラケットを除去するために例示的な自動的または対話式のいずれかの方法を採用する。ブラケット除去済み歯表面がステップ２３０８で自動的に再構成され、その結果がステップ２３１０で検査のために表示される。例えば、ステップ２３０６および２３０８はそれぞれ、図１０および図１４について上述したように実行することができる。
【0079】
図２２では、ブリッジ接続されたブラケットの除去の実際の結果２２０４が示されている。図２２において表面が再構成された歯２２１０および歯２２１２は、ブラケットおよびワイヤ２１０８が除去される前の図２１Ａのブラケット２１１０およびブラケット２１１２に対応している。
【0080】
図２４は、ブリッジ接続されたブラケットの除去を扱う、別の例示的な方法の実施形態を示す論理フローチャートである。図２４に示されるように、ブリッジ接続されたブラケットを有する歯列モデルがステップ２４０２で取得され、その直後に「対話形式でこのブリッジを切断する」ステップ２４０４が続く。一例示的な実施形態では、対話型操作は、人間の支援を得て、細いワイヤを、ステップ２４０４においてこの細いワイヤに属するメッシュ頂点を選択し削除することによって効果的に消去する。一例示的な実施形態では、ステップ２４０４は、選択可能なオペレータ動作を有するＧＵＩを使用して、「クリア」、「ペイント」（例えば、オペレータがワイヤを示す画素を識別する）、「自動ペイント」、「承認」（例えば、ペイントまたはオートペイントを）、および「クリア」して、オペレータ命令に基づいて対話形式でブリッジを切断するか、または３Ｄ歯列メッシュからワイヤを除去することができる。次いで、ステップ２４０６では、切断されたブラケットを除去するために自動的または対話式のいずれかの方法を採用する。ブラケット除去済み歯表面は、前述のようにステップ２４０８で自動的に再構成することができる。次いで、その結果がステップ２４１０で検査のために表示される。
【0081】
本明細書において説明されるように、３Ｄ歯列モデルにおいてブリッジ接続されたブラケットを除去し、歯表面を復元するための例示的な方法および／または装置の実施形態は、例示的な例であり、本願はそのように限定されることはない。例えば、一例示的な実施形態では、得られた３Ｄ歯列モデルにおいてブラケットおよび／またはワイヤの一部を人間の介入なく自動的に識別することによってブリッジ接続されたブラケットを除去することができ、歯表面が復元されるが、これは、識別された当該一部をブラケットおよび／またはワイヤを完全に覆っている領域内へ（また、例えば、好ましくは、ブラケットおよび／またはワイヤの境界をわずかに超えて）成長させ、３Ｄ歯列モデルの表面から当該領域を除去し、穴充填技術を使用して除去された領域表面を復元することによってなされる。いくつかの例示的な実施形態では、穴充填は、歯肉の一部を充填することができる。
【0082】
本開示は、一実施形態と整合的に、格納された命令を有するコンピュータプログラムを使用することができ、この命令は、画像取得のための、および格納され電子メモリからアクセスされる画像データの画像データ処理のためのシステム機能を制御する。画像処理技術分野の当業者には理解することができるように、本発明の実施形態のコンピュータプログラムは、画像プロセッサとして機能するパソコンまたはワークステーションなどの適切な汎用コンピュータシステムによって、本明細書に記載されるように、当該プロセッサがデータを取得、処理、送信、格納、および表示するように適切なソフトウェアプログラムを備える場合に、利用されることができる。ネットワーク化されたプロセッサ配置などを含む、他の多くの種類のコンピュータシステムアーキテクチャを使用して、本発明のコンピュータプログラムを実行することができる。
【0083】
本発明の方法を実施するためのコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてもよい。この媒体は、例えば、ハードドライブもしくは取り外し可能なデバイスもしくは磁気テープなどの磁気ディスクなどの磁気記憶媒体、光ディスク、光テープ、もしくは機械可読光コード化などの光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、もしくは読み出し専用メモリ（ＲＯＭ）などのソリッドステート電子記憶デバイス、またはコンピュータプログラムを格納するために採用された任意の他の物理的デバイスもしくは媒体を含み得る。本発明の方法を実施するためのコンピュータプログラムはまた、インターネットもしくは他のネットワークまたは通信媒体によって画像プロセッサに接続されたコンピュータ可読記憶媒体に格納されてもよい。このようなコンピュータプログラム製品の同等物をハードウェアに構築してもよいことが、画像データ処理技術分野の当業者にはさらに容易に認識されるであろう。
【0084】
用語「メモリ」は、本開示の文脈では、「コンピュータアクセス可能メモリ」と同等であり、画像データを格納し、画像データに操作を施すために使用され、データベースを含むコンピュータシステムにアクセス可能である、任意の種類の一時的またはより永続的なデータ格納ワークスペースを指すことができることに留意するべきである。メモリは、例えば、磁気記憶装置または光学記憶装置などの長期記憶媒体を使用する不揮発性のものであってもよい。あるいは、メモリは、マイクロプロセッサまたは他の制御論理プロセッサデバイスによって一時バッファまたはワークスペースとして使用されるランダムアクセスメモリ（ＲＡＭ）などの電子回路を使用した、より揮発性な性質のものであってもよい。表示データは、例えば、通常、表示装置に直接的に付随する一時記憶バッファに格納され、データを表示するために、必要に応じて、定期的にリフレッシュされる。この一時記憶バッファは、本開示で使用されているように、メモリであるとみなすこともできる。メモリは、処理を実行して計算および他の処理の中間および最終結果を格納するためのデータワークスペースとしても使用される。コンピュータアクセス可能メモリは、揮発性、不揮発性または揮発性タイプと不揮発性タイプとを組み合わせたハイブリッドとすることができる。
【0085】
本開示のコンピュータプログラム製品がよく知られた様々な画像操作アルゴリズムおよびプロセスを利用できることが理解されよう。本発明のコンピュータプログラム製品の実施形態が、本明細書に具体的には示さないまたは記載しない、実装に有用なアルゴリズムおよびプロセスを組み入れることができることがさらに理解されよう。このようなアルゴリズムおよびプロセスは、画像処理技術分野の通常の技術の範囲内の従来の有用物を含み得る。このようなアルゴリズムおよびシステムの追加の態様、並びに画像を生成するかでなければ処理するための、もしくは本発明のコンピュータプログラム製品と協働するためのハードウェアおよび／またはソフトウェアは、本明細書では具体的には示さずまたは記載せず、当技術分野において既知のそのようなアルゴリズム、システム、ハードウェア、コンポーネントおよび要素から選択してよい。
【0086】
本書において、用語「１つ（ａまたはａｎ）」は、特許文献で一般的であるように、他の事例または「少なくとも１つ」もしくは「１つまたは複数の」の用法とは無関係に、１つまたは１つ以上を含むように用いられる。本書において、用語「または」は、別段の指示がない限り、非排他性を指すように、または、「ＡまたはＢ」が「ＡであるがＢではない」、「ＢであるがＡではない」、および「ＡおよびＢ」を含むように用いられる。本書において、用語「含む（ｉｎｃｌｕｄｉｎｇ）」および「そこで（ｉｎ ｗｈｉｃｈ）」はそれぞれ、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」および「そこで（ｗｈｅｒｅｉｎ）」の平易な英語の同義語として用いられる。また、以下の特許請求の範囲において、用語「含む（ｉｎｃｌｕｄｉｎｇ）」および「備える（ｃｏｍｐｒｉｓｉｎｇ）」は、非制限的であり、すなわち、特許請求の範囲においてこのような用語の後に列挙されるものに加えて、要素を含むシステム、装置、物品、またはプロセスが、依然として当該特許請求の範囲内に含まれるとみなされる。
【0087】
本願による例示的な実施形態は、本明細書に記載した様々な特徴を（単独でまたは組み合わせて）含み得る。
【0088】
本発明を、１つまたは複数の実装に関して例示してきたが、添付の特許請求の範囲の趣旨および範囲から逸脱せずに、例示した例に対して変更および／または修正を行うことができる。したがって、今回開示された実施形態はすべての点で例示的であって制限的ではないとみなされる。さらに、本発明の特定の特徴を、いくつかの実装のうちの１つについて開示したが、このような特徴は、任意の所与のまたは特定の機能について所望され好都合となり得るように、他の実装のうちの１つまたは複数の他の特徴と組み合わせることができる。用語「少なくとも１つの」は、選択できる列挙された項目のうちの１つまたは複数を意味するために用いられる。用語「約」は、変更が、例示された実施形態のプロセスまたは構造との不適合にならない限り、列挙された値が幾分変更されてもよいことを示す。本発明の他の実施形態は、本明細書および本明細書に開示された本発明の実施を考慮することから当業者に明らかになるであろう。本明細書および実施例は例示としてのみみなされることが意図され、本発明の真の範囲および趣旨は、以下の特許請求の範囲により示され、その均等物の意味および範囲に入る全ての変更は特許請求の範囲内に包含されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図13F】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【図21C】
【図22】
【図23】
【図24】
