ホーム > 特許ランキング > トロフィー エスアーエス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-28
(54)【発明の名称】歯の位置合わせを用いた歯のセグメンテーション
(51)【国際特許分類】
A61C 7/00 20060101AFI20220218BHJP
A61B 6/14 20060101ALI20220218BHJP
A61B 6/03 20060101ALI20220218BHJP
【ＦＩ】
A61C7/00
A61B6/14
A61B6/03 360J
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021537957
(86)(22)【出願日】2019-12-27
(85)【翻訳文提出日】2021-08-26
(86)【国際出願番号】 EP2019087083
(87)【国際公開番号】W WO2020136243
(87)【国際公開日】2020-07-02
(31)【優先権主張番号】18306870.9
(32)【優先日】2018-12-28
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】508143775
【氏名又は名称】トロフィー エスアーエス
(74)【代理人】
【識別番号】110001210
【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】レイナード デルフィン
(72)【発明者】
【氏名】リポッシュ グザヴィエ
(72)【発明者】
【氏名】グリネック ヤニック
(72)【発明者】
【氏名】ヤコブ ジャン パスカル
(72)【発明者】
【氏名】ナルシス パスカル
(72)【発明者】
【氏名】キャプロン－リシャール サブリナ
(72)【発明者】
【氏名】ラガルデール オード
【テーマコード（参考）】
4C052
4C093
【Ｆターム（参考）】
4C052AA06
4C052AA20
4C052JJ10
4C052NN02
4C052NN04
4C052NN15
4C093AA22
4C093AA26
4C093CA15
4C093DA05
4C093FF16
4C093FF37
4C093FF42
(57)【要約】
患者の歯列の３Ｄモデル画像をセグメント化する方法は、患者の歯列の第１の３Ｄモデル画像を取得し、第１の３Ｄモデル画像の第１のセグメンテーションを取得し、ここで第１のセグメンテーションは、第１の３Ｄモデルの１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベルを供給する。患者の歯列の第２の３Ｄモデル画像が取得される。第１の３Ｄモデルの各セグメント化された歯の表面輪郭は、第２の３Ｄモデルの対応する歯の表面輪郭に位置合わせされる。第２の３Ｄモデル画像の第２のセグメンテーションは、位置合わせされた歯の表面輪郭に従って取得され、ここで第２のセグメンテーションは同様に、第２の３Ｄモデル画像の１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベル付けを供給する。セグメント化された第２の３Ｄモデル画像は、表示され、送信され、又は記憶される。
【特許請求の範囲】
【請求項1】
患者の歯列の３Ｄモデル画像をセグメント化する方法であって、ａ）前記患者の歯列の第１の３Ｄモデル画像を取得し、前記第１の３Ｄモデル画像のセグメンテーションである第１のセグメンテーションを取得することであって、ここで前記第１のセグメンテーションは、前記第１の３Ｄモデル画像の１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベルを供給することと、
ｂ）前記患者の歯列の第２の３Ｄモデル画像を取得することであって、前記第２の３Ｄモデル画像は表面を有することと、
ｃ）前記第１の３Ｄモデル画像の少なくとも１つのセグメント化された歯の表面輪郭を前記第２の３Ｄモデル画像の前記表面に位置合わせすることと、
ｄ）前記第２の３Ｄモデル画像の第２のセグメンテーションを前記位置合わせされた歯の表面輪郭に従って取得することであって、ここで前記第２のセグメンテーションは、前記第２の３Ｄモデル画像の１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベル付けを供給することと、
e）前記セグメント化された第２の３Ｄモデル画像を記憶することと、を含む、
方法。
【請求項2】
ｆ）前記第１の３Ｄモデル画像の少なくとも１つの歯について歯の特徴を識別し、前記第２の３Ｄモデル画像の対応する歯の特徴を前記第１の３Ｄモデル画像の前記識別された少なくとも１つの歯の特徴に基づいて識別することを更に含む、請求項１に記載の方法。
【請求項3】
前記第１の３Ｄモデル画像の少なくとも１つの歯について前記識別された歯の特徴は、軸、咬頭、又は窩のうちの少なくとも１つを含む、請求項２に記載の方法。
【請求項4】
前記第１の３Ｄモデル画像を取得することは、口腔内スキャナ又はコーンビームコンピュータ断層撮影法のうちの少なくとも１つから複数の画像を取得することを含む、請求項１に記載の方法。
【請求項5】
前記第２の３Ｄモデル画像を取得することは、口腔内スキャナ又はコーンビームコンピュータ断層撮影法のうちの少なくとも１つから複数の画像を取得することを含む、請求項１に記載の方法。
【請求項6】
前記第１のセグメンテーションを取得することは、前記少なくとも１つの歯の頚部限界を識別することを含む、請求項１に記載の方法。
【請求項7】
前記第２のセグメンテーションを取得することは、（i）前記第１の３Ｄモデル画像の少なくとも１つの歯の頚部限界を前記第２の３Ｄモデル画像に投影すること、及び、
（ｉｉ）前記第２の３Ｄモデル画像の前記対応する歯の表面輪郭を、前記投影された頚部限界を使用して抽出すること、を更に含む、
請求項６に記載の方法。
【請求項8】
前記投影された頚部限界を曲率検出を使用してリファインメント処理した後に、前記抽出ステップを行うことを更に含む、請求項７に記載の方法。
【請求項9】
前記第１の３Ｄモデル画像の各セグメント化された歯の輪郭を前記第２の３Ｄモデル画像の対応する輪郭に位置合わせすることは、特徴マッチングアルゴリズムを使用することを含む、請求項１に記載の方法。
【請求項10】
前記第１の３Ｄモデル画像のセグメント化された歯を前記第２の３Ｄモデル画像の対応する輪郭に位置合わせすることは、前記特徴マッチングアルゴリズムが適用される前記第２の３Ｄモデル画像の領域を定義することを含む、請求項９に記載の方法。
【請求項11】
前記第１の３Ｄモデル画像の各セグメント化された歯の輪郭を前記第２の３Ｄモデル画像の対応する輪郭に位置合わせすることは、前記第１の３Ｄモデル画像の少なくとも１つの臼歯を前記第２の３Ｄモデル画像の対応する特徴に位置合わせすることを更に含む、請求項９に記載の方法。
【請求項12】
歯の位置合わせを、反復最接近点アルゴリズムを使用してリファインメント処理することを更に含む、請求項１１に記載の方法。
【請求項13】
患者の歯列の３Ｄモデル画像をセグメント化する方法であって、ａ）前記患者の歯列の第１の３Ｄモデル画像を、口腔内スキャナを使用して取得し、前記第１の３Ｄモデル画像のセグメンテーションを生成することであって、ここで前記セグメンテーションは、前記第１の３Ｄモデルの複数の歯に少なくとも歯の表面輪郭及び歯のラベルを供給することと、
ｂ）前記患者の歯列の第２の３Ｄモデル画像を取得することであって、前記第２の３Ｄモデル画像は表面を有することと、
ｃ）前記第１の３Ｄモデル画像の各セグメント化された歯の表面輪郭を前記第２の３Ｄモデル画像の前記表面に位置合わせすることと、
ｄ）前記第２の３Ｄモデル画像の第２のセグメンテーションを前記位置合わせされた歯の表面輪郭に従って取得することであって、ここで前記第２のセグメンテーションは同様に、前記第２の３Ｄモデル画像の複数の歯に少なくとも歯の表面輪郭及び歯のラベル付けを供給することと、
e）前記第１の３Ｄモデル画像の少なくとも１つの歯について歯の特徴を識別し、前記第２の３Ｄモデル画像の対応する歯の特徴を前記第１の３Ｄモデル画像の前記識別された少なくとも１つの歯の特徴に基づいて識別することと、
ｆ）前記セグメント化された第２の３Ｄモデル画像を記憶することと、を含む、
方法。
【請求項14】
前記第２のセグメンテーションを取得することは、前記第２の３Ｄモデル画像の１つ以上の歯の軸の向きを取得することを更に含む、請求項１３に記載の方法。
【請求項15】
患者の歯列の３Ｄモデル画像を生成するための装置であって、ａ）患者の歯列の複数の画像を取得するように構成された口腔内スキャナと、
ｂ）前記口腔内スキャナと信号通信状態にあり、プログラムされた命令を実行して、
（ｉ）前記患者の歯列の第１の３Ｄモデル画像を取得し、前記第１の３Ｄモデル画像のセグメンテーションを取得し、ここで前記セグメンテーションは、前記第１の３Ｄモデル画像の少なくとも１つの歯に少なくとも歯の表面輪郭及び歯のラベルを供給し、
（ｉｉ）前記患者の歯列の第２の３Ｄモデル画像を取得し、前記第２の３Ｄモデル画像は表面を有し、
（ｉｉｉ）前記第１の３Ｄモデル画像の各セグメント化された歯の表面輪郭を前記第２の３Ｄモデル画像の前記表面に位置合わせし、
（ｉｖ）前記第２の３Ｄモデル画像の第２のセグメンテーションを前記位置合わせされた歯の表面輪郭に従って取得し、ここで前記第２のセグメンテーションは同様に、前記第２の３Ｄモデル画像の少なくとも１つの歯に少なくとも歯の表面輪郭及び歯のラベル付けを供給する、ように構成可能なプロセッサと、
ｃ）前記セグメント化された第２の３Ｄモデル画像を表示するために前記プロセッサと信号通信にあるディスプレイと、を含む、
装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般的には歯科撮像に関し、特に口腔内特徴のセグメンテーションのための方法及び装置に関する。
【背景技術】
【0002】
光学的口腔内スキャンは、歯列物体の輪郭を生成し、歯、歯茎、及びその他の口腔内構造の視覚化を改善するのに役立っている。表面輪郭情報は、歯の状態の評価に特に役立ち得て、修復歯科などの様々なタイプの歯科手順に対する価値が認識されている。これは、歯科医が様々な問題を特定し、患者の歯と支持構造に関連する別の測定値と観察を検証するのを支援する価値あるツールを提供し得る。表面輪郭情報を使用して、個々の歯などの歯列構成要素の３Ｄモデルを生成することもでき、次に、個々の歯に関連する位置と向きの情報を使用して、歯科矯正治療の進行状況を評価し得る。
【0003】
歯科矯正及び別の修復手順では、患者歯列のモデルは、最初に様々なプロセスの段階で、口腔内スキャナから取得され得る表面輪郭情報を使用して生成される。モデルは、表面輪郭を示すスキャンされた画像コンテンツから形成された点群又はメッシュとして形成され得る。次に、いくつかの標準化されたメトリックは、比較のためにモデルに適用され得て、治療レジメンの全体的な進捗状況を追跡し得る。
【0004】
モデルを分析して使用するプロセスの一部は、歯のセグメンテーションである。セグメンテーションにより、モデルとその特徴の中から個々の歯が識別され得て、その向きを治療評価の一部として正確に分析することを可能とする。少なくとも、セグメンテーションは、点群又はメッシュに沿ったものなど、モデルの各位置で歯を定義し、歯のラベルを識別する。セグメンテーションはまた、歯頚部限界、歯の咬頭及び窩などの特徴を識別し得る。セグメンテーションは更に、歯の軸（近遠心及び主軸）を決定するために必要な情報を提供し得る。例えば、セグメンテーションにより、施術者は歯冠を識別して分離し、歯の別の可視部分を歯茎及び関連する支持構造から区別するのを可能にする。
【0005】
従来のセグメンテーション手法は時間がかかる場合があり、エラーを修正し、又は結果の曖昧さを解決するために、手動介入を必要とする場合が多い。モデルが患者に対して生成される度に、例えば、手順が進行している間の様々な間隔で、セグメンテーション処理を繰り返す必要があり、プロセス全体に時間とコストがかかり、治療の進行状況を適切に評価することが困難になる場合がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第８６７０５２１号明細書
【特許文献2】米国特許第５９９９５８７号明細書
【特許文献3】米国特許第５２７０９２６号明細書
【特許文献4】米国特許出願公開第２０１３／０１２０５３２号明細書
【特許文献5】米国特許出願公開第２０１３／０１２０５３３号明細書
【特許文献6】米国特許出願公開第２００３／００３９３８９号明細書
【非特許文献】
【0007】
【非特許文献1】トーマス クロンフェルド（Ｔｈｏｍａｓ Ｋｒｏｎｆｅｌｄ）ら著、「仮想的歯鋳型に基づくスネークベースの歯のセグメンテーション（Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ）」、コンピュータ支援設計と応用（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ＆ａｐｐｌｉｃａｔｉｏｎｓ、第７（ａ）巻、２０１０年
【非特許文献2】ページ（Ｐａｇｅ，Ｄ．Ｌ．）ら著、「高速マシンウォーターシェドを用いた知覚ベースの３Ｄ三角メッシュセグメンテーション（Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ）」、コンピュータヴィジョンとパターン認識についてのコンピュータソサエティカンファレンス会議録（Ｐｒｏｃ．ＣＶＰＩ）、米国電気電子学会（ＩＥＥＥ）、２００３年、第３巻
【非特許文献3】ムーン（Ｍ．Ｊ．Ｍｏｏｎ）著、「歯のデジタルモデルに対する自動セグメンテーションのソフトウェア開発評価（Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｄ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｄｅｎｔａｌ ｍｏｄｅｌｓ」、ＩＡＤＲ ジェネラルセッション、２０１１年
【非特許文献4】アクフーンダリ（Ａｋｈｏｏｎｄａｌｉ）著、「高速自動セグメンテーションとＣＴ－スキャンデータにおける歯列の視覚化（Ｒａｐｉｄ Ａｕｔｏｍａｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｉｎ ＣＴ－Ｓｃａｎ Ｄａｔａ）」、応用科学ジャーナル（Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ）、２００９年、ｐｐ２０３１－２０４４
【非特許文献5】ガオ（Ｇａｏ）著、「歯のＣＴスキャン画像のための歯領域分割（Ｔｏｏｔｈ Ｒｅｇｉｏｎ Ｓｅｐａｒａｔｉｏｎ ｆｏｒ Ｄｅｎｔａｌ ＣＴ Ｉｍａｇｅｓ）」、２００８年第３回 収束及び合成情報技術（Ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ Ｈｙｂｒｉｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）の国際会議の議事録、２００８年、ｐｐ８９７－９０１
【非特許文献6】ｐｏｉｎｔｃｌｏｕｄｓ．ｏｒｇのＷｅｂサイトのｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｓ／ｎｏｒｍａｌ＿ｅｓｔｉｍａｔｉｏｎ．ｐｈｐ
【非特許文献7】ルス（Ｒｕｓｕ，Ｒ．Ｂ．）著、「人間住環境における日課操作のための意味論的３Ｄオブジェクトマップ（Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｂｊｅｃｔ Ｍａｐｓ ｆｏｒ Ｅｖｅｒｙｄａｙ Ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｈｕｍａｎ Ｌｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、人工知能（Kunstl Intell）、２００９年８月１７日
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示の目的は、修復及び歯科矯正撮像における改善された歯のセグメンテーション及びワークフローの必要性に対処することである。本開示の実施形態は、全体的な治療計画及び以前のセグメンテーション結果から利用可能な追加のレバレッジを用いてセグメンテーション処理を支持する。
【0009】
これらの目的は、例示的な例としてのみ所与され、そのような目的は、本発明の１つ以上の実施形態の例示であり得る。開示された方法によって本質的に達成される別の望ましい目的及び利点が生じてもよく、又は当業者に明らかになってもよい。本発明は、添付の請求項によって定義される。
【課題を解決するための手段】
【0010】
本開示の１つの態様によると、患者の歯列の３Ｄモデル画像をセグメント化する方法が提供され、
ａ）患者の歯列の第１の３Ｄモデル画像を取得し、第１の３Ｄモデル画像のセグメンテーションを取得することであって、ここで第１のセグメンテーションは、第１の３Ｄモデル画像の１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベルを供給すること、
ｂ）患者の歯列の第２の３Ｄモデル画像を取得することであって、第２の３Ｄモデル画像は表面を有すること、
ｃ）第１の３Ｄモデル画像の１つ以上のセグメント化された歯の表面輪郭を第２の３Ｄモデル画像の表面に位置合わせすること、
ｄ）第２の３Ｄモデル画像の第２のセグメンテーションを、位置合わせされた歯の表面輪郭に従って取得することであって、ここで第２のセグメンテーションは同様に、第２の３Ｄモデル画像の１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベル付けを供給すること、そして、
e）セグメント化された第２の３Ｄモデル画像を記憶すること、を含む。
ａ）患者の歯列の第１の３Ｄモデル画像を取得し、第１の３Ｄモデル画像のセグメンテーションを取得することであって、ここで第１のセグメンテーションは、第１の３Ｄモデル画像の１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベルを供給すること、
ｂ）患者の歯列の第２の３Ｄモデル画像を取得することであって、第２の３Ｄモデル画像は表面を有すること、
ｃ）第１の３Ｄモデル画像の１つ以上のセグメント化された歯の表面輪郭を第２の３Ｄモデル画像の表面に位置合わせすること、
ｄ）第２の３Ｄモデル画像の第２のセグメンテーションを、位置合わせされた歯の表面輪郭に従って取得することであって、ここで第２のセグメンテーションは同様に、第２の３Ｄモデル画像の１つ以上の歯に少なくとも歯の表面輪郭及び歯のラベル付けを供給すること、そして、
e）セグメント化された第２の３Ｄモデル画像を記憶すること、を含む。
【図面の簡単な説明】
【0011】
本発明の前述の及びその他の目的、特徴、及び利点は、添付の図面に描かれているような本発明の実施形態の以下のより具体的な記述から明らかになるであろう。
【0012】
図面の要素は、必ずしも互いに一定の縮尺ではない。
【0013】
【図1】本開示の一実施形態による、一連の反射率画像から３Ｄビューを取得するための表面輪郭撮像装置を示す概略図である。
【図2】多色反射率画像データキャプチャ用のビデオカメラとして、また関連する投影及び撮像機能を実行するためのスキャナとして動作し得る撮像装置を示す概略図である。
【図3】一連の構造化された光画像から生成された点群画像を示す。
【図4】一連の構造化された光画像から生成された点群画像を示す。
【図5】本開示の一実施形態による、全体的なワークフローシーケンスの概要を与える論理フロー図である。
【図7】下顎の第１のモデルからの歯のセグメンテーションの例を示す。
【図9】第１のモデルを第２のモデルに位置合わせするための特徴マッチングの結果を示す。
【図10】本開示の一実施形態による歯の例を使用する処理ステップを示す。
【発明を実施するための形態】
【0014】
以下は、好ましい実施形態の詳細な説明であり、図面が参照され、図面において同じ参照番号はいくつかの図面のそれぞれにおいて構造の同じ要素を識別する。
【0015】
本開示の文脈で使用される場合、「第１」「第２」などの用語は、必ずしも何らかの順序、連続性、又は優先的な関係を示すものではなく、そうではないと明示されない限り、単純に１つのステップ、要素、又は要素のセットを他のものからより明確に区別するために使用される。
【0016】
本開示の文脈において、「観察者」、「オペレータ」、及び「ユーザ」という用語は同等であると見なされ、観察医、技術者、又は歯科画像などの画像をディスプレイモニタ上で観察し操作する別の人物を指す。「オペレータ命令」又は「観察者命令」は、観察者によって、例えば、スキャナのボタンをクリックするか、コンピュータマウスを使用するか、タッチスクリーン又はキーボード入力などによって入力された明示的なコマンドから取得される。
【0017】
本開示の文脈において、用語「対象(subject)」は、一般に、光学システムの「物体(object)」として撮像される患者を示すために使用される。したがって、用語「対象」及び「物体」は、撮像された患者を指すときに交換可能に使用され得る。対象又は物体は、代替的に、歯科印象又は歯科印象から得られたキャスト又は別のモデルであり得る。
【0018】
本開示の文脈において、「信号通信状態」という句は、２つ以上のデバイス及び／又は構成要素が、あるタイプの信号経路上を移動する信号を介して互いに通信することができることを示す。信号通信は有線又は無線であり得る。信号は、通信、パワー、データ、又はエネルギー信号であり得る。信号経路は、第１のデバイス及び／又は構成要素と第２のデバイス及び／又は構成要素との間の物理的、電気的、磁気的、電磁的、光学的、有線、及び／又は無線接続を含んでもよい。信号経路はまた、第１のデバイス及び／又は構成要素と第２のデバイス及び／又は構成要素との間に追加のデバイス及び／又は構成要素を含んでもよい。
【0019】
メッシュ表現は、ＣＢＣＴ又は構造化された光などの３Ｄボリューム放射線撮影法、及び口腔内スキャナを使用した別の反射率撮像を使用し、又は放射線撮影と反射撮像の組み合わせを使用して供給され得る。
【0020】
「３Ｄモデル」、「モデル」、「モデル画像」、「３Ｄモデル画像」、「点群」、「３Ｄメッシュ」、及び「メッシュ」という用語は、撮像された歯の３Ｄ表面輪郭を視覚的に表す画像構造について、本開示の文脈において同義語として使用されてもよい。密な点群は、表面輪郭表現のためのボリューム撮像技術分野の当業者に既知の手法を使用して形成され、一般に、表面特徴に対応する空間内の点を識別する方法に関連する。密な点群は、例えば、１つ以上の反射率画像から再構成された輪郭データを使用して生成され得る。メッシュは取得した同じ表面輪郭を使用して生成され、歯と歯茎の表面のポリゴンモデルの基礎として機能する頂点を特定できる。３Ｄ表面のメッシュと点群の表現は、倍率に応じて同じ視覚的外観を有し得て、しかしながら、メッシュの頂点と点群内の特定の点の計算された座標は、同一である必要はない。
【0021】
ＣＢＣＴ装置を使用して、患者の歯列の３Ｄモデル画像を生成するために使用可能な３Ｄボリュームコンテンツを取得し得る。撮像技術分野の当業者によく知られているように、ＣＢＣＴ装置は、Ｘ線源及び検出器を対象の周りで回転させ、一連の放射線２Ｄ投影画像を有するセットを対象の周りの異なる角度で取得する。次に、再構成プロセスを使用して、対象又は物体の再構成された３Ｄボリューム画像を２Ｄ投影画像のセットを用いて形成する。
【0022】
本発明の譲受人に譲渡された、Ｂｏｔｈｏｒｅｌらによる「Ｍｅｔｈｏｄ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ ａｎ Ｉｎｔｒａｏｒａｌ Ｖｏｌｕｍｅ Ｉｍａｇｅ」と題する米国特許第８６７０５２１号を、ＣＢＣＴ装置の動作の詳細情報に関して参照する。本開示の一実施形態によるモデルを形成するために、ＣＢＣＴ装置は、典型的には、患者の歯列の歯型又はインプリントをスキャンするために用いられる。
【0023】
ＣＢＣＴ撮像装置及びそのようなシステムを使用して３Ｄボリューム画像を取得するために用いられる撮像アルゴリズムは、診断撮像技術分野で周知であり、したがって、本出願では詳細に説明されていない。ＣＢＣＴ撮像装置の動作で得られる２Ｄ投影画像から３Ｄボリューム画像を形成するためのいくつかの例示的なアルゴリズム及びアプローチは、例えば、Ｎｉｎｇらの「Ｍｅｔｈｏｄ ｏｆ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｅ－Ｂｅａｍ Ｔｏｍｏｇｒａｐｈｙ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」と題された米国特許第５，９９９，５８７号の開示において、かつＴａｍの「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ａ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｔｏｍｏｇｒａｐｈｙ（ＣＴ）Ｉｍａｇｅ ｏｆ ａｎ Ｏｂｊｅｃｔ ｆｒｏｍ Ｉｎｃｏｍｐｌｅｔｅ Ｃｏｎｅ Ｂｅａｍ Ｄａｔａ」と題された米国特許第５，２７０，９２６号の開示において判明され得る。
【0024】
典型的な用途では、コンピュータ又は別のタイプの専用論理プロセッサは、画像結果を観察するための１つ以上のディスプレイとともに、ＣＢＣＴシステムの一部として、画像データを取得し、処理し、かつ記憶するための制御論理プロセッサとして機能し得る。前述のように、ＣＢＣＴシステムから取得された３Ｄボリュームは、患者の歯列のモデルを生成するために使用することができ、これは、後でより詳細に説明するように、メッシュ又は点群の形であり得る。
【0025】
図１の概略図は、本開示の一実施形態による、一連の反射率画像からモデル生成用の３Ｄコンテンツを取得するために使用され得る表面輪郭撮像装置９０を示す。撮像装置１６、典型的には手持ちデジタルカメラ、色深度カメラ、手持ち３Ｄスキャナ、又は口腔内３Ｄスキャナは、患者１２の口を通してスキャンされ、複数の反射率画像及び関連する深度情報を有するセットを取得する。制御論理プロセッサ８０は、プログラムされた命令を実行するように構成可能で、撮像装置１６及びディスプレイ８４と信号通信状態にある。プロセッサ８０は、撮像装置１６から画像データを取得し、この画像データを深度情報とともに処理して、個々の３Ｄビュー９２を生成する。次に、制御論理プロセッサ８０は、スキャンされた３Ｄビューを組み合わせて、ディスプレイ８４上に、複合３Ｄモデル表面９４を生成し、記憶し、必要に応じてレンダリングする。
【0026】
図２は、撮像装置７０を示す概略図であり、多色反射率画像データキャプチャ用のビデオカメラ２４、ならびに構造化された光パターン４６を用いて表面輪郭を特徴付けるために使用される関連する投影及び撮像機能を実行するスキャナ２８として動作し得る。手持ち撮像装置７０は、本開示の一実施形態による、輪郭スキャン及び画像キャプチャ機能の両方のための画像取得用のビデオカメラ２４を使用する。制御論理プロセッサ８０、又はカメラ２４の一部であり得る別のタイプのコンピュータは、構造化された光を生成する照明アレイ１０の動作を制御し、光を表面位置に向け、撮像センサアレイ３０の動作を制御する。表面２０から、例えば歯２２からの画像データは、撮像センサアレイ３０から取得され、ビデオ画像データとしてメモリ７２に記憶される。撮像センサアレイ３０は、対物レンズ３４を含む感知装置４０の一部であり、ビデオ画像コンテンツを取得するための要素と関連付けられる。制御論理プロセッサ８０は、画像を取得するカメラ２４構成要素との信号通信状態において、受信された画像データを処理し、マッピングをメモリ７２に記憶する。次に、メモリ７２から得られた画像は、必要に応じてレンダリングされ、ディスプレイ７４に表示され、ディスプレイ７４は、本明細書に記載の処理の一部分に使用される別のコンピュータ７５の一部であってもよい。メモリ７２はまた、表示バッファを含み得る。運動センサなどの１つ以上のセンサ４２もまた、スキャナ２８回路の一部として設けられ得る。
【0027】
構造化された光撮像では、線又は別の形状のパターンが、照明アレイ１０から物体の表面に向かって、所定の角度から投影される。次に、照らされた表面位置から投影されたパターンは、別の角度から、三角測量を利用して、輪郭画像として観察され、輪郭線の外観に基づき表面情報を分析する。位相シフトは、そこでは投影されたパターンが新しい場所で追加の測定値を取得するために空間的に段階的シフトされ、通常、構造化された光撮像の一部として適用され、表面の輪郭マッピングを完了し、輪郭画像の全体的な解像度を向上させるために使用される。限定ではなく例として、表面輪郭の特徴付けのための構造化された光パターンの使用は、本発明の譲受人に譲渡された、米国特許出願公開第２０１３／０１２０５３２号及び米国特許出願公開第２０１３／０１２０５３３号に記載され、両方とも「３Ｄ ＩＮＴＲＡＯＲＡＬ ＭＥＡＳＵＲＥＭＥＮＴＳ ＵＳＩＮＧ ＯＰＴＩＣＡＬ ＭＵＬＴＩＬＩＮＥ ＭＥＴＨＯＤ」と題されて、その全体は本明細書に組み込まれる。
【0028】
メッシュ／点群としての３Ｄ表面画像の生成
物体相対座標系内のカメラの瞬間位置と光線の瞬間位置を画像が取得されたときに知ることにより、コンピュータ及びソフトウェアは三角測量法を使用して、平面に対する多数の照らされた表面点の座標を計算し得る。平面が移動して最終的に物体の表面の一部又はすべてと交差すると、増加する複数の点の座標が累積される。この画像取得の結果として、頂上点又は頂点の点群が識別され、ボリューム内の３Ｄ表面の範囲を表すために使用され得る。次に点群内の点は、物体の３次元表面上の実際の測定点を表す。メッシュは、例えば、点群上の点を、表面形状を特徴付ける個々の合同なポリゴン面（通常は三角形の面）を定義する頂点として連結することによって代わりに構築され得る。次に、完全な３Ｄ表面画像モデルは、メッシュによって供給される表面輪郭情報をカメラ、例えば図２のカメラ２４から得られる単色又は多色画像コンテンツと組み合わせることによって形成され得る。
物体相対座標系内のカメラの瞬間位置と光線の瞬間位置を画像が取得されたときに知ることにより、コンピュータ及びソフトウェアは三角測量法を使用して、平面に対する多数の照らされた表面点の座標を計算し得る。平面が移動して最終的に物体の表面の一部又はすべてと交差すると、増加する複数の点の座標が累積される。この画像取得の結果として、頂上点又は頂点の点群が識別され、ボリューム内の３Ｄ表面の範囲を表すために使用され得る。次に点群内の点は、物体の３次元表面上の実際の測定点を表す。メッシュは、例えば、点群上の点を、表面形状を特徴付ける個々の合同なポリゴン面（通常は三角形の面）を定義する頂点として連結することによって代わりに構築され得る。次に、完全な３Ｄ表面画像モデルは、メッシュによって供給される表面輪郭情報をカメラ、例えば図２のカメラ２４から得られる単色又は多色画像コンテンツと組み合わせることによって形成され得る。
【0029】
多色画像コンテンツは、多くの方法で供給され得て、例えば、異なる原色の照明を一度に１色ずつ使用して得られた一連の画像を備えた単一のモノクロ撮像センサの使用を含む。代替的に、カラー撮像センサが使用され得る。
【0030】
制御論理プロセッサ８０での画像処理は、構造化された光撮像からの線スキャンデータを使用して、あるいは点群又はメッシュデータ又はＣＢＣＴボリューム画像データを使用して、３Ｄ輪郭表面モデルを生成し得る。例として、図３と図４は、一連の構造化された光画像から生成された点群又はメッシュ１５０を示す。点群コンテンツの更なる処理を使用して、代替の輪郭表面モデルとしてメッシュを生成し得る。
【0031】
別のタイプの反射率撮像を用いて、３Ｄ表面モデルを生成するのに使用される口腔内表面輪郭データを取得し得ることに留意する必要がある。表面輪郭情報は、飛行時間型撮像又は範囲撮像方法、例えば、多視点画像からの３次元形状復元(structure-from-motion)処理を用いて取得され得る。
【0032】
セグメンテーション方法
メッシュ画像又は別のタイプの３Ｄ表面画像のセグメンテーション問題に対処するための様々なアプローチが、例えば、以下のように提案される。
（ｉ）Ｔｈｏｍａｓ Ｋｒｏｎｆｅｌｄらによる記事「Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ」（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ＆ａｐｐｌｉｃａｔｉｏｎｓ、７（ａ）、２０１０年）に記載された方法は、１回の処理反復ですべての歯と歯茎の表面を分離しようとする動的輪郭セグメンテーション方法を採用する。しかしながら、説明されるアプローチは、トポロジ非依存性方法ではなく、特に顎のメッシュに欠けている歯がある場合には失敗する場合がある。
（ｉｉ）Ｐａｇｅ，Ｄ．Ｌ．らによる「Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ」（Ｐｒｏｃ．ＣＶＰＩ ｖｏｌＩＩ ２００３年）と題した記事は、メッシュセグメンテーションに高速マーチングウォータシェッド（Fast Marching Watershed）法を使用することを記載している。記載された高速マーチングウォータシェッド法は、ユーザに手動でシード点を入力することを要求する。シード点は、セグメンテーション下の領域の輪郭の両側に配置されなければならない。その後、この方法は、シード情報を用いて、１つのステップですべての領域をセグメント化することを試みる。顎メッシュセグメンテーションについて、このタイプの方法では、各歯と同様に歯茎も同時にセグメント化する。これにより、この方法はあまり望ましくないとされるが、それは、歯を歯茎領域からセグメント化することが、通常、歯同士を互いからセグメント化するタスクに必要となるものとは異なるパラメータ及び処理を必要とするためである。別のセグメンテーション要件を備える異なるタイプの歯列構成要素について異なるセグメンテーション戦略を用いることで、パフォーマンスがより良くなり得る。
（ｉｉｉ）Ｍ．Ｊ．Ｍｏｏｎは、自身の論文「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｄ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｄｅｎｔａｌ ｍｏｄｅｌｓ」を裏付けるために、セグメンテーションプロセスを２つのステップ、すなわち、歯茎構造から歯を分離することと、アーチ構造全体を個々の歯物体へセグメンテーションすることとに分解するソフトウェアツールを使用した。Ｍｏｏｎの論文で使用されたソフトウェアツールは、メッシュの最大曲率を見つけ出し、歯をセグメント化するために使用するマージン頂点を得るために、ユーザに曲率閾値を手動で選択することを要求する。ソフトウェアはまた、誤ったセグメンテーション結果を除去するために、ユーザに手動でマージンを編集するよう要求する。このソフトウェアは、形状および位置特徴付けの分析を目的とし、歯茎領域からの歯領域の分離にカラー情報を採用することは検討していない。
（ｉｖ）Ｊｏｎｅｓ，Ｔ．Ｎ．らによる「Ｍａｎｉｐｕｌａｔｉｏｎ ａ ｄｉｇｉｔａｌ ｄｅｎｔｉｔｉｏｎ ｍｏｄｅｌ ｔｏ ｆｏｒｍ ｍｏｄｅｌｓ ｏｆ ｉｎｄｉｖｉｄｕａｌ ｄｅｎｔｉｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ」と題した、米国特許出願第２００３００３９３８９Ａ１号は、隣接する歯を表す歯列モデルの一部分を分離する方法を開示する。
メッシュ画像又は別のタイプの３Ｄ表面画像のセグメンテーション問題に対処するための様々なアプローチが、例えば、以下のように提案される。
（ｉ）Ｔｈｏｍａｓ Ｋｒｏｎｆｅｌｄらによる記事「Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ」（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ＆ａｐｐｌｉｃａｔｉｏｎｓ、７（ａ）、２０１０年）に記載された方法は、１回の処理反復ですべての歯と歯茎の表面を分離しようとする動的輪郭セグメンテーション方法を採用する。しかしながら、説明されるアプローチは、トポロジ非依存性方法ではなく、特に顎のメッシュに欠けている歯がある場合には失敗する場合がある。
（ｉｉ）Ｐａｇｅ，Ｄ．Ｌ．らによる「Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ」（Ｐｒｏｃ．ＣＶＰＩ ｖｏｌＩＩ ２００３年）と題した記事は、メッシュセグメンテーションに高速マーチングウォータシェッド（Fast Marching Watershed）法を使用することを記載している。記載された高速マーチングウォータシェッド法は、ユーザに手動でシード点を入力することを要求する。シード点は、セグメンテーション下の領域の輪郭の両側に配置されなければならない。その後、この方法は、シード情報を用いて、１つのステップですべての領域をセグメント化することを試みる。顎メッシュセグメンテーションについて、このタイプの方法では、各歯と同様に歯茎も同時にセグメント化する。これにより、この方法はあまり望ましくないとされるが、それは、歯を歯茎領域からセグメント化することが、通常、歯同士を互いからセグメント化するタスクに必要となるものとは異なるパラメータ及び処理を必要とするためである。別のセグメンテーション要件を備える異なるタイプの歯列構成要素について異なるセグメンテーション戦略を用いることで、パフォーマンスがより良くなり得る。
（ｉｉｉ）Ｍ．Ｊ．Ｍｏｏｎは、自身の論文「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｄ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｄｉｇｉｔａｌ ｄｅｎｔａｌ ｍｏｄｅｌｓ」を裏付けるために、セグメンテーションプロセスを２つのステップ、すなわち、歯茎構造から歯を分離することと、アーチ構造全体を個々の歯物体へセグメンテーションすることとに分解するソフトウェアツールを使用した。Ｍｏｏｎの論文で使用されたソフトウェアツールは、メッシュの最大曲率を見つけ出し、歯をセグメント化するために使用するマージン頂点を得るために、ユーザに曲率閾値を手動で選択することを要求する。ソフトウェアはまた、誤ったセグメンテーション結果を除去するために、ユーザに手動でマージンを編集するよう要求する。このソフトウェアは、形状および位置特徴付けの分析を目的とし、歯茎領域からの歯領域の分離にカラー情報を採用することは検討していない。
（ｉｖ）Ｊｏｎｅｓ，Ｔ．Ｎ．らによる「Ｍａｎｉｐｕｌａｔｉｏｎ ａ ｄｉｇｉｔａｌ ｄｅｎｔｉｔｉｏｎ ｍｏｄｅｌ ｔｏ ｆｏｒｍ ｍｏｄｅｌｓ ｏｆ ｉｎｄｉｖｉｄｕａｌ ｄｅｎｔｉｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ」と題した、米国特許出願第２００３００３９３８９Ａ１号は、隣接する歯を表す歯列モデルの一部分を分離する方法を開示する。
【0033】
セグメンテーションワークフロー
本開示の一実施形態は、歯のセグメンテーションのための改善されたワークフローを提供し、それは以前の歯のセグメンテーションデータを利用して、セグメンテーションプロセスを前進及び効率化する。
本開示の一実施形態は、歯のセグメンテーションのための改善されたワークフローを提供し、それは以前の歯のセグメンテーションデータを利用して、セグメンテーションプロセスを前進及び効率化する。
【0034】
図５の簡略化されたワークフロー論理図は、歯の位置合わせを使用して３Ｄ表面モデルのセグメンテーションを取得するための全体的なワークフローシーケンスの概要を示す。最初の取得ステップＳ８１０において、患者の歯列の第１の３Ｄ表面モデル画像が取得される。例えば、第１のモデルは、患者の治療を開始する前に最初に形成された３Ｄメッシュ仮想モデルであり得る。取得される表面輪郭の特徴付けは、口腔内スキャナからのものであり得るか、又は患者の歯列のインプリント又は歯型のＣＢＣＴスキャンから計算され得る。代替的に、口腔内スキャナとＣＢＣＴ情報を組み合わせて、３Ｄモデル画像の表面輪郭を取得し得る。
【0035】
最初のセグメンテーションステップＳ８２０は、第１の３Ｄモデル画像に対して実行され、結果として生じるセグメンテーションデータは、その後の使用のために記憶される。最初のセグメンテーションステップＳ８２０は、第１の３Ｄモデル画像からの個々の歯のセグメンテーションを、歯冠から決定された歯のラベル付け及び軸情報とともに提供する。３Ｄメッシュ又は別の表面輪郭モデルを使用して、かなりの数の特徴がセグメンテーションの一部として、各歯について識別され得て、例えば、軸（近遠心、前庭舌側、主軸）、咬頭、窩、最大輪郭、歯頚部限界などが挙げられる。
【0036】
歯のセグメンテーションに関する別の参照は、これによって以下でなされる。
Ａｋｈｏｏｎｄａｌｉらの「Ｒａｐｉｄ Ａｕｔｏｍａｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｉｎ ＣＴ－Ｓｃａｎ Ｄａｔａ」、Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ、ｐｐ２０３１－２０４４、（２００９）、及び、
Ｇａｏらの「Ｔｏｏｔｈ Ｒｅｇｉｏｎ Ｓｅｐａｒａｔｉｏｎ ｆｏｒ Ｄｅｎｔａｌ ＣＴ Ｉｍａｇｅｓ」、２００８年第３回Ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ Ｈｙｂｒｉｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙの国際会議の議事録、ｐｐ８９７－９０１、（２００８）
Ａｋｈｏｏｎｄａｌｉらの「Ｒａｐｉｄ Ａｕｔｏｍａｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｉｎ ＣＴ－Ｓｃａｎ Ｄａｔａ」、Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ、ｐｐ２０３１－２０４４、（２００９）、及び、
Ｇａｏらの「Ｔｏｏｔｈ Ｒｅｇｉｏｎ Ｓｅｐａｒａｔｉｏｎ ｆｏｒ Ｄｅｎｔａｌ ＣＴ Ｉｍａｇｅｓ」、２００８年第３回Ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ Ｈｙｂｒｉｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙの国際会議の議事録、ｐｐ８９７－９０１、（２００８）
【0037】
後続の取得ステップＳ８３０が実行され、第２の３Ｄモデル画像、患者の更新された表面輪郭特徴付けを備えたメッシュ又は点群として表面を示す３Ｄ仮想モデルを取得する。次に、位置合わせプロセスＳ８４０は、効率化されたセグメンテーション処理のために、ステップＳ８２０の最初の歯のセグメンテーション及びステップＳ８３０からの第２の３Ｄモデルデータを入力として受け取る。モデル内位置合わせステップＳ８５０が実行され、第１の３Ｄモデル画像の主要な特徴が第２の３Ｄモデル画像に粗く位置合わせされ、次に第１の３Ｄモデル画像の各歯が第２の３Ｄモデル画像の表面に位置合わせされる。次に、レバレッジセグメンテーションステップＳ８６０は、ステップＳ８５０から位置合わせ情報を取得し、セグメンテーションを実行して、第１の３Ｄモデル画像の各セグメント化された歯に対応する第２のモデル３Ｄ画像の各歯に関するラベル付け及び軸情報を提供する。必要に応じて、次に表示ステップＳ８７０は、セグメント化されたコンテンツを表示する。セグメント化されたコンテンツは、更に、又は代替的に送信され得る。
【0038】
図６の論理フロー図は、図５からの位置合わせプロセスＳ８４０のシーケンスを拡張し、補足する。最初のセグメンテーションステップＳ８２０の結果と取得ステップＳ８３０からの第２の３Ｄモデル画像を取得して、最初の特徴位置合わせステップＳ８４２は、第２のモデルの特定の特徴を最初のセグメンテーション結果に位置合わせする。例えば、第１の３Ｄモデル画像からのセグメント化された臼歯は、第２のモデルからの臼歯と位置合わせされ得る。第１のセグメント化されたモデルから第２のスキャンで取得されたボリュームへの臼歯の位置合わせは、一般的に簡単であり、それは臼歯の位置が、通常、歯科矯正治療では変わらないためである。位置合わせは、ＩＣＰ（反復最接近点）手法など、様々な画像マッチング方法のいずれかを使用できる。
【0039】
図６の最初の特徴位置合わせステップＳ８４２に続いて、歯の位置ステップＳ８４４は、追加の歯の配置を実行して、第２の３Ｄモデル画像上に歯の最良の位置を見つける。
【0040】
特徴マッチングアルゴリズムは、この機能に使用され得る。本開示の一実施形態によると、特徴マッチングは臼歯から始まり、歯ごとに進み、個々の特徴を、撮像技術分野の当業者によく知られている適切な特徴マッチングアルゴリズムを使用してマッチングする。
【0041】
特徴マッチングアルゴリズム
表面輪郭の各点の法線情報は、コンピュータグラフィックスのよく知られた手法を使用して推定され得て、例えばｐｏｉｎｔｃｌｏｕｄｓ．ｏｒｇのＷｅｂサイトのｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｓ／ｎｏｒｍａｌ＿ｅｓｔｉｍａｔｉｏｎ．ｐｈｐで説明される。探索点では、点の局所近傍が定義される。共分散行列は、点の局所近傍を使用して計算される。共分散行列Ｃは次の形式で行う。
表面輪郭の各点の法線情報は、コンピュータグラフィックスのよく知られた手法を使用して推定され得て、例えばｐｏｉｎｔｃｌｏｕｄｓ．ｏｒｇのＷｅｂサイトのｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｓ／ｎｏｒｍａｌ＿ｅｓｔｉｍａｔｉｏｎ．ｐｈｐで説明される。探索点では、点の局所近傍が定義される。共分散行列は、点の局所近傍を使用して計算される。共分散行列Ｃは次の形式で行う。
【数1】
【0042】
ここで、ｋは局所近傍内の点の数であり、ｐｉ値は点座標であり、バーｐは局所近傍内の点からの平均点位置である。上付き文字「Ｔ」は、行列の転置を示す。
【0043】
この正方、対称３×３共分散行列は、特徴マッチング計算のための固有ベクトルと関連する固有値を提供し得る。点の局所近傍の最小二乗当てはめを、楕円を使用して実行する場合、楕円軸は固有ベクトルであり、軸の長さは対応する固有値に関連する。共分散行列の最小の固有値は最短の楕円軸を表し、関連する固有ベクトルは局所法線の方向を示す。次に局所法線の向きは、必要に応じてフリップされ、スキャナからの観察方向に一致され得る。次に、この局所法線は探索点に割り当てられ得て、これにより、法線とカラーを使用した表面輪郭の計算が可能になる。
【0044】
画像データから成長表面輪郭への法線とカラーを使用した表面輪郭のステッチ手順は、次の一般的なステップを有する。
（ｉ）１セットの特徴記述子を、画像データからの法線とカラーを使用して、表面輪郭ごとに、及び成長表面輪郭について推定する。表面輪郭の特徴記述子は、剛体変換（回転／並行移動）に対して不変である局所表面記述を表す。例えば、高速点特徴ヒストグラム(Fast Point Feature Histogram)（ＦＰＦＨ）は、表面輪郭の探索点ごとに法線を使用して計算され得る。これは、例えば、Ｒｕｓｕ，Ｒ．Ｂ．による、「Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｂｊｅｃｔ Ｍａｐｓ ｆｏｒ Ｅｖｅｒｙｄａｙ Ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｈｕｍａｎ Ｌｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ」（２００９年８月１７日）によって記述される。点群からのカラー情報を含む別の記述子もまた使用され得る。
（ｉｉ）特徴記述子の両方のセットを使用して、特徴マッチングを実行し、相対配置とスコアを生成する。法線を有する移動表面輪郭からの特徴記述子のセットと、法線を有するターゲット表面輪郭からの特徴記述子のセットとの間の特徴マッチングは、特徴記述子間の対応の生成を伴う。ＦＰＦＨ特徴記述子はヒストグラムであり、距離は２つの特徴記述子間のヒストグラム差のノルムとして定義され得る。対応は、１つの特徴記述子から別の特徴記述子のセットまでの最小距離として定義される。次に、特徴マッチングは、対応のグループの選択を含み、相対配置を生成する。このステップは通常、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを使用して実行され、このアルゴリズムは、３つの対応をランダムに選択して候補相対変換を計算し、この候補相対変換と一致する対応の数を計数することからなる。対応は、２つの特徴記述子で形成され、１つは移動体からのもので、もう１つは法線を有するターゲット点群からのものである。各特徴記述子は探索点に対応する。対応は、候補相対変換を使用して移動された移動探索点が、ターゲット探索点から事前定義された距離内にある場合に候補相対変換に一致する。一致した対応の数が最も多い候補相対変換が、最終的な相対配置になる。スコアは、最終的な相対配置の品質を示し、対応する一致した対応の数になり得る。
（ｉｉｉ）スコアに基づき相対配置を受け入れ、又は拒否する。相対配置は、スコアが所定の閾値を下回っている場合に拒否される場合がある。この場合、スティッチング処理は不可能であり、画像データは破棄される。
（ｉｖ）反復最接近点アルゴリズムを使用して相対配置をリファインメント処理(refine)し、距離測定値を生成する。反復最接近点（ＩＣＰ）アルゴリズムを使用した相対配置のリファインメントは、移動表面輪郭とターゲット表面輪郭の間の点対応を、相対配置が移動表面輪郭に適用されたときに最接近の一致を見つけることにより定義する。一致間の最小二乗距離の最小化により、相対配置が更新される。次に、点対応の選択と相対配置の更新は、コンバージェンスまで、又は事前定義された反復回数に達するまで反復される。距離の測定は、最終的に更新された相対配置に対応する、最小二乗距離の最小化に使用されるコスト関数の値にし得る。
（ｖ）生成された距離測定に基づいて、相対配置を受け入れ、又は拒否する。更新された相対配置は、距離測定が所定の閾値を下回っている場合に拒否され得る。この場合、スティッチング処理は不可能であり、画像データは破棄される。それ以外の場合、スティッチング処理は成功する。
（ｉ）１セットの特徴記述子を、画像データからの法線とカラーを使用して、表面輪郭ごとに、及び成長表面輪郭について推定する。表面輪郭の特徴記述子は、剛体変換（回転／並行移動）に対して不変である局所表面記述を表す。例えば、高速点特徴ヒストグラム(Fast Point Feature Histogram)（ＦＰＦＨ）は、表面輪郭の探索点ごとに法線を使用して計算され得る。これは、例えば、Ｒｕｓｕ，Ｒ．Ｂ．による、「Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｂｊｅｃｔ Ｍａｐｓ ｆｏｒ Ｅｖｅｒｙｄａｙ Ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｈｕｍａｎ Ｌｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ」（２００９年８月１７日）によって記述される。点群からのカラー情報を含む別の記述子もまた使用され得る。
（ｉｉ）特徴記述子の両方のセットを使用して、特徴マッチングを実行し、相対配置とスコアを生成する。法線を有する移動表面輪郭からの特徴記述子のセットと、法線を有するターゲット表面輪郭からの特徴記述子のセットとの間の特徴マッチングは、特徴記述子間の対応の生成を伴う。ＦＰＦＨ特徴記述子はヒストグラムであり、距離は２つの特徴記述子間のヒストグラム差のノルムとして定義され得る。対応は、１つの特徴記述子から別の特徴記述子のセットまでの最小距離として定義される。次に、特徴マッチングは、対応のグループの選択を含み、相対配置を生成する。このステップは通常、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを使用して実行され、このアルゴリズムは、３つの対応をランダムに選択して候補相対変換を計算し、この候補相対変換と一致する対応の数を計数することからなる。対応は、２つの特徴記述子で形成され、１つは移動体からのもので、もう１つは法線を有するターゲット点群からのものである。各特徴記述子は探索点に対応する。対応は、候補相対変換を使用して移動された移動探索点が、ターゲット探索点から事前定義された距離内にある場合に候補相対変換に一致する。一致した対応の数が最も多い候補相対変換が、最終的な相対配置になる。スコアは、最終的な相対配置の品質を示し、対応する一致した対応の数になり得る。
（ｉｉｉ）スコアに基づき相対配置を受け入れ、又は拒否する。相対配置は、スコアが所定の閾値を下回っている場合に拒否される場合がある。この場合、スティッチング処理は不可能であり、画像データは破棄される。
（ｉｖ）反復最接近点アルゴリズムを使用して相対配置をリファインメント処理(refine)し、距離測定値を生成する。反復最接近点（ＩＣＰ）アルゴリズムを使用した相対配置のリファインメントは、移動表面輪郭とターゲット表面輪郭の間の点対応を、相対配置が移動表面輪郭に適用されたときに最接近の一致を見つけることにより定義する。一致間の最小二乗距離の最小化により、相対配置が更新される。次に、点対応の選択と相対配置の更新は、コンバージェンスまで、又は事前定義された反復回数に達するまで反復される。距離の測定は、最終的に更新された相対配置に対応する、最小二乗距離の最小化に使用されるコスト関数の値にし得る。
（ｖ）生成された距離測定に基づいて、相対配置を受け入れ、又は拒否する。更新された相対配置は、距離測定が所定の閾値を下回っている場合に拒否され得る。この場合、スティッチング処理は不可能であり、画像データは破棄される。それ以外の場合、スティッチング処理は成功する。
【0045】
検証ステップＳ８４５は、位置合わせステップＳ８４２からの一致した構造との形状及び関係の測定値を使用して、位置の妥当性の可能性を検査する。必要な調整は、必要に応じて行うことができる。検証ステップＳ８４５が精度に対する所定の条件を満たさない場合、探索領域は、面積縮小ステップＳ８４６で縮小され、歯の位置ステップＳ８４４は繰り返し、縮小された領域上で再配置を試みる。例えば、探索領域は、ステップＳ８４４でのその後の再処理のために、顎構造の左又は右の部分に制限され得る。検証ステップＳ８４５が成功すると、位置合わせ保存ステップＳ８４８が実行され、歯の位置合わせ結果が保存される。位置合わせ結果は、位置合わせ行列を含むことができ、それは歯を第１の３Ｄモデル画像から第２の３Ｄモデル画像に変換する。処理のこの段階で、第２の３Ｄ取得からの各歯は、第１のモデルからの対応する歯に位置合わせされる。次に、その後の処理は、歯の位置と形状の情報をリファインメント処理し、第１のモデルに対して確立されたセグメンテーションを使用して第２のモデルのセグメンテーションを供給する。
【0046】
位置合わせプロセスＳ８４０の段階が完了すると、セグメント化されていない第２の３Ｄモデル画像の構造は、第１のモデルの対応するセグメント化された構造に関連付けられ、又は相関される。次に、後続の処理での歯の形状と軸の向きの更なるリファインメントは、第２のモデルのセグメンテーションを完了するのに役立つ。
【0047】
図６のプロセスに続き、配置定義ステップＳ８５２は、歯の配置結果を使用して、第２のモデルの歯の形状を更に定義する。頚部限界リファインメントステップＳ８５４は、第２の３Ｄモデル画像における各歯の歯の形状をより正確に定義する。第２のモデルの位置合わせされた歯ごとに、ステップＳ８５２及びＳ８５４の手順は、第１の３Ｄモデル画像の歯の頸部限界を第２の３Ｄモデル画像に投影し、必要に応じて、頚部限界の定義を、画像処理技術分野の当業者によく知られている多くの曲率検出手法のいずれかを使用してリファインする。次に、第２の３Ｄモデル画像の対応する歯の表面輪郭は、投影された頚部限界又はリファインされた頚部限界を使用して抽出され得る。
【0048】
図６のセグメンテーション処理を完了するために、ラベル付け及び軸定義ステップＳ８６２は、第２のモデルからの歯に番号又は別のラベルを割り当て、第１のモデルの歯の軸及び別の特徴（咬頭など）に位置合わせ行列を適用して、第２のモデルの歯の軸及び別の特徴を識別する。このステップは、第２のモデルの各歯のセグメンテーションに使用される、位置、軸、及び頚部限界を含むデータを取得して保存する。完全なセグメンテーションステップＳ８６６は、第２のモデルの最終的なセグメンテーション処理を実行し、セグメント化されたモデルを生成する。次に、表示ステップＳ８７０は、第２のモデルセグメンテーションの表示レンダリング、記憶、又は送信を提供する。
【0049】
図７は、下顎の第１の３Ｄモデル画像からの歯のセグメンテーションの一例を示す。図８は、その後に得られた、同じ歯列の第２の３Ｄモデル画像の歯のセグメンテーションを示す。特徴マッチングアルゴリズムの結果として、第１のモデルの各歯は第２のモデルに位置合わせされ得る。
【0050】
図９は、第１のモデルを第２のモデルに位置合わせするための特徴マッチングの結果を示す。
【0051】
図１０は、処理ステップを単一の歯（歯４７）の一例を使用して示す。図１１０１は、第１の３Ｄモデル画像でセグメント化された歯４７を示す。図１１０２は、第２のモデルに位置合わせされた第１のモデルの歯４７を示す。図１１０３は、歯４７（ＩＳＯ番号付け）の第１と第２の３Ｄモデル画像でそれぞれ検出された頚部限界Ｃ１とＣ２を示す。頚部限界Ｃ２曲率は、第２の３Ｄモデル画像に対して計算される。図１１０４は、第２のモデルのリファインされた頚部限界Ｃ２’を示し、歯４７をセグメント化可能にする。
【0052】
本発明は、現在好ましい実施形態を特に参照して詳細に記載されているが、様々な変更及び修正は、本発明の趣旨及び範囲内で実施され得ることが理解されるであろう。
【0053】
したがって、現在開示されている実施形態は、すべてにおいて例示的であり、限定的ではないと見なされる。本発明の範囲は、添付の特許請求によって示され、その等価の意味及び範囲内にあるすべての変更は、そこに含有されることが意図されている。
【0054】
本発明は、１つ以上の実装に関して説明されているが、変更及び／又は修正は、添付の特許請求の範囲の趣旨及び範囲から逸脱することなく、説明された実施例に対して行うことができる。更に、本発明の特定の特徴は、いくつかの実装のうちの１つに関して開示されているが、そのような特徴は、任意の所与の又は特定の機能にとって望ましく、有利であり得るように、別の実装の１つ以上の別の特徴と組み合わされ得る。用語「少なくとも１つ」を使用して、列挙された項目の１つ以上を選択し得ることを意味する。用語「約」は、列挙されている値が、その変更により、説明された実施形態に対してプロセス又は構造の不一致をもたらさない限り、少し変更され得ることを示す。最後に、「例示的な」は、それが理想であることを暗示するというよりも、その記述が一つの例として使われていることを示す。本発明の別の実施形態は、本明細書に開示された本発明の仕様及び実行の考慮から、当業者には明かであろう。仕様及び例が例示的なものとしてのみ解釈され、本発明の真の範囲及び趣旨は以下の請求項によって示されており、その等価物の意味及び範囲内に入るすべての変化がそこに包含されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】