知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-01
(45)【発行日】2023-06-09
(54)【発明の名称】ハイブリッドメッシュセグメンテーションのための方法及び装置
(51)【国際特許分類】
A61C 9/00 20060101AFI20230602BHJP
A61C 7/00 20060101ALI20230602BHJP
【ＦＩ】
A61C9/00 Z
A61C7/00
【請求項の数】
12
(21)【出願番号】P 2021174002
(22)【出願日】2021-10-25
(62)【分割の表示】P 2019510805の分割
【原出願日】2016-09-12
(65)【公開番号】P2022002823
(43)【公開日】2022-01-11
【審査請求日】2021-10-25
(31)【優先権主張番号】62/378,916
(32)【優先日】2016-08-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521154774
【氏名又は名称】ケアストリーム デンタル エルエルシー
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】チェン ショウプ
(72)【発明者】
【氏名】イエ ウェイ
(72)【発明者】
【氏名】レイナード ダルフィン
(72)【発明者】
【氏名】リポチェ ザビエル
(72)【発明者】
【氏名】ウェソロウスキ カール アール
【審査官】小林 睦
(56)【参考文献】
【文献】国際公開第０１／０７４２６８（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０２１４７９３５（ＣＮ，Ａ）
【文献】特表２００２－５２６１５３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０００４８１１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｃ ９／００
Ａ６１Ｃ ７／００
(57)【特許請求の範囲】
【請求項1】
セグメンテーション手順のシーケンスを用いて１つ以上のセグメント化された３－Ｄ歯モデルを生成するためのコンピュータ実行型のハイブリッド方法であって、デジタル接続された歯と歯肉組織とのセットを含む患者の歯列の３－Ｄメッシュモデルを取得するステップと、
取得した前記３－Ｄメッシュモデルに最初の自動化されたセグメンテーション手順を実行して前記デジタル接続された歯の輪郭をデジタル接続されない歯に対して描写し、セグメンテーションの結果を表示するステップと、
訓練された人工知能アルゴリズム又は操作者相互作用を適用することによって不十分にセグメント化された歯と良好にセグメントされた歯を識別するステップと、
良好にセグメント化された歯を記録するステップと、
前記記録された良好にセグメントされた歯を前記３－Ｄメッシュモデルから取り除き、修正された３－Ｄメッシュモデルを形成するステップであって、前記修正された３－Ｄメッシュモデルが前記不十分にセグメント化された歯に対応する残存するデジタル接続された歯と前記歯肉組織とを含む、ステップと、
（ｉ）前記修正された３－Ｄメッシュモデルを修正する後続セグメンテーション手順を識別すること、
（ｉｉ）前記後続セグメンテーション手順を前記修正された３－Ｄメッシュモデルに実行し、前記修正された３－Ｄメッシュモデルから１つ以上の良好にセグメント化された歯を表示すること、
（ｉｉｉ）１つ以上の良好にセグメント化された歯を記録し、前記記録した良好にセグメント化された歯を前記修正された３－Ｄメッシュモデルから取り除くこと、
を含む、前記後続セグメンテーション手順のシーケンスを１回以上実行するステップと、
記録したセグメンテーション結果を表示、記憶、又は伝達するステップと、
を含むことを特徴とする方法。
【請求項2】
請求項１に記載の方法であって、前記最初の自動化された歯セグメンテーション手順の前記セグメンテーション結果が１つ以上の歯を歯肉組織から識別する、
ことを特徴とする方法。
【請求項3】
請求項１に記載の方法であって、前記操作者相互作用が、前記不十分にセグメント化された歯と良好にセグメント化された歯とを、タッチスクリーン又はコンピュータマウスの選択に従って識別する、
ことを特徴とする方法。
【請求項4】
請求項１に記載の方法であって、前記後続セグメンテーション手順のシーケンスを実行するステップが、他の操作者相互作用によって終了される、
ことを特徴とする方法。
【請求項5】
請求項１に記載の方法であって、前記取り除かれた、記録したセグメント化された歯のうちの１つ以上を、前記修正された３－Ｄメッシュモデルに復帰させるステップをさらに含む、
ことを特徴とする方法。
【請求項6】
請求項１に記載の方法であって、前記３－Ｄメッシュモデルを取得するステップが、複数の構造化光画像を手持ち式口腔内カメラから獲得することを含む、
ことを特徴とする方法。
【請求項7】
請求項１に記載の方法であって、前記表示されたセグメンテーション結果がカラーで現われる、
ことを特徴とする方法。
【請求項8】
請求項１から７のいずれか１項に記載の方法であって、インタラクティブセグメンテーションに関係する、少なくとも第２の操作者相互作用を受け付けるステップと、
をさらに含むことを特徴とする方法。
【請求項9】
請求項８に記載の方法であって、前記少なくとも第２の操作者相互作用が、前記セグメンテーション結果にエラーを識別することを含む、
ことを特徴とする方法。
【請求項10】
請求項８に記載の方法であって、前記少なくとも第２の操作者相互作用が、歯セグメンテーションのために１つ以上の幾何学的プリミティブを追加することを含む、
ことを特徴とする方法。
【請求項11】
患者の歯列の３－Ｄメッシュモデルを獲得するように構成される構造化光画像化カメラと、前記構造化光画像化カメラ及びディスプレイと信号通信し、命令によってプログラムされるコンピュータプロセッサと、
を含む、口腔内画像化のための装置であって、
前記命令は、
取得した前記３－Ｄメッシュモデルに最初の自動化されたセグメンテーション手順を実行して、デジタル接続された歯の輪郭をデジタル接続されない歯に対して描写することと、
良好にセグメント化された歯を記録することと、
前記３－Ｄメッシュモデルから前記良好にセグメント化された歯を取り除き修正された３－Ｄメッシュモデルを形成することであって、前記修正された３－Ｄメッシュモデルは、不十分にセグメントされた歯に対応する残存するデジタル接続された歯と歯肉組織とを含む、ことと、
（ｉ）前記修正された３－Ｄメッシュモデルを修正する後続セグメンテーション手順のシーケンスからセグメンテーション手順を選択し、
（ｉｉ）前記選択したセグメンテーション手順を前記修正された３－Ｄメッシュモデルに実行し、
（ｉｉｉ）１つ以上の良好にセグメント化された歯を記録し、前記記録した良好にセグメント化された歯を前記修正された３－Ｄメッシュモデルから取り除く、
前記後続セグメンテーション手順のシーケンスを１回以上実行することと、
記録されたセグメンテーション結果を表示することと、
のためのものである、
ことを特徴とする装置。
【請求項12】
請求項１１に記載の装置であって、前記１つ以上の良好にセグメント化された歯は、セグメント化信頼度が規定の閾値を超えるときに、記録されて前記修正された３－Ｄメッシュモデルから取り除かれる、
ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に３次元メッシュによって表現される要素のセグメンテーションに関し、より詳細には、輪郭画像における自動化された歯のセグメンテーションのための方法及び装置に関する。
【背景技術】
【0002】
３次元（３－Ｄ）画像化及び３－Ｄ画像処理は、コンピュータ支援の診断及び改善された患者のケア全体のために歯科／歯科矯正の医師にとって興味の高まりつつある領域である。頭蓋計測分析の分野では、３－Ｄ画像化及び３－Ｄ画像処理は、柔軟性、正確性、及び再現性の観点から著しい利点を提供する。３－Ｄ頭蓋計測分析は、例えば、透視投影、拡大、及び投影におけるヘッドポジショニングの２－Ｄ幾何学的エラーなど、２次元（２－Ｄ）頭蓋計測分析のような従来の方法に関連する幾つかの欠点を克服する。３－Ｄ頭蓋計測分析は、より正確な客観的なデータをもたらすことが示されているが、その理由は、それが、２－Ｄ頭蓋計測分析のように離散的な測定値に大きく依存するのではなく、計算に基づくからである。
【0003】
３－Ｄ頭蓋計測分析方法を用いる初期の研究は、患者の頭部のコーンビームコンピュータ断層撮影（ＣＢＣＴ）を用いる顎顔面の解剖学的構造の３－Ｄ画像化及びパラメトリック分析を採用した。ＣＢＣＴ方法を用いる、３－Ｄ頭蓋計測分析の重要な役割は、上顎及び顎弓の数学的モデルを定義することであり、そのために慣性軸が各歯又は歯のグループについて計算された。これは、次には、患者の獲得したＣＢＣＴ頭部ボリュームから個別の歯のセグメンテーションすることを必要とした。
【0004】
従来、歯科矯正の処置の手順の間、複数回の２－Ｄエックス線セファログラム捕捉が、処置の進展を評価するために使用される。従来の３－Ｄ頭蓋計測分析もこの目的のために使用される場合があり、これは複数のＣＢＣＴスキャンを必要とする。しかしながら、２－Ｄ及び３－ＤのＸ線画像化方法は両方とも患者をイオン化放射線に晒す。放射線に対する患者の全体的な曝露を減らすことは、特に若い患者にとって望ましい。
【0005】
光学的な口腔内スキャンは、一般に、歯列オブジェクトの輪郭を作り出して、歯、歯肉、及び他の口腔内構造の視覚化の改善に役立ってきた。表面輪郭情報は、歯の状態の評価のために特に有益である場合があり、修復歯科学のためなどの様々なタイプの歯科手順のために公認の価値を有する。それは、患者の歯及び支持構造に関する、様々な問題を識別することにおいて、また、他の測定及び観察を有効化することにおいて、歯科医師を支援するために価値のあるツールを提供する場合がある。表面輪郭情報は、個別の歯などの歯列構成要素の３－Ｄモデルを生成するために使用される場合もある。個別の歯に関する位置及び配向の情報は、後に歯科矯正処置の進展を評価する際に使用される場合がある。表面輪郭画像化を適切に使用すると、患者の歯列の複数回の２－Ｄ又は３－Ｄエックス線捕捉の必要性は回避される場合がある。
【0006】
幾つかの技術は、表面輪郭情報を、医療、産業、及び他の用途における様々なタイプのオブジェクトから、取得するために開発されてきた。光学的な３次元（３－Ｄ）測定方法は、様々なやり方で表面上に方向付けされる光を用いる形状及び空間の情報を提供する。画像化のタイプのうちで、輪郭画像化のために使用される方法は、フリンジ投影デバイスである。フリンジ投影画像化は、パターン化もしくは構造化光、及び、カメラ／センサ三角測量を使用して、様々なタイプの構造についての表面輪郭情報を取得する。フリンジ投影画像が処理されると、点群を生成することができる。その後、表面に対する少なくとも平面的な近似値を再構成する目的で、点群又は複数の点群からメッシュを形成することができる。
【0007】
メッシュ表現は、歯及び歯茎の表面構造を示すために特に役立つ場合があり、また、手持ち式カメラを用いて、有害な放射能レベルを必要とせずに、取得される場合がある。しかしながら、従来の画像処理アプローチを用いるとき、メッシュ表現は、コーンビームコンピュータ断層撮影（ＣＢＣＴ）又は患者を放射線に晒す他の技術を用いて得ることのできる固有の汎用性及び有用性の幾らかを欠くことが分かっている。メッシュ表現が満足の行かない結果だけをもたらした１つのエリアは、セグメンテーションに関係するものである。セグメンテーションは、医師が歯の歯冠及び他の可視部分を歯肉及び関係のある支持構造から識別して隔離するのを可能にする。メッシュ画像のセグメンテーションのための従来の方法は、しばしば不正確である場合があり、歯構造を支持組織から区別できないことがある。
【0008】
メッシュ画像に関するセグメンテーション問題に対処するための様々なアプローチは、次のものなどが提案されてきた。
【0009】
（ｉ）トーマス・クロンフェルド（Ｔｈｏｍａｓ Ｋｒｏｎｆｅｌｄ）らによる記事「Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ」（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ ａｐｐｌｉｃａｔｉｏｎｓ、７（ａ）、２０１０）に説明される方法は、あらゆる歯及び歯肉表面を単一の処理反復で分離することを試みる能動的な輪郭セグメンテーション方法を採用している。しかしながら、説明されるアプローチは、トポロジ独立型の方法ではなく、特に、顎メッシュに欠落した歯がある場合は失敗する場合がある。
【0010】
（ｉｉ）ページ，Ｄ．Ｌ．（Ｐａｇｅ， Ｄ．Ｌ．）らによる「Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ」（Ｐｒｏｃ． ＣＶＰＩ ｖｏｌ ＩＩ ２００３）という題名の記事は、メッシュセグメンテーションのための高速マーチング分水嶺（Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ）方法を用いて説明している。説明されている高速マーチング分水嶺方法は、使用者が手動でシード点を入力することを必要とする。シード点は、セグメンテーションされる領域の輪郭の両方の側に配置されなければならない。方法は、その後に、シード情報を用いて、１ステップで、すべての領域をセグメント化することを試みる。顎メッシュセグメンテーションのため、このタイプの方法は、各歯並びに歯肉を同時にセグメント化する。これは、方法をより魅力が少ないものにするが、その理由は、歯を歯肉領域からセグメント化することは一般に、歯を相互にセグメント化するタスクに必要とされるものとは異なるパラメータ及び処理を必要とするからである。代替のセグメンテーションの要件を有する異なったタイプの歯列構成要素に異なるセグメンテーション戦略を使用することは、より良い性能を提供するであろう。
【0011】
（ｉｉｉ）自身の論文「ソフトウエアの評価はデジタル歯科モデルの自動化されたセグメンテーションを発達させた」の裏づけのために、Ｊ．Ｍ．ムーン（Ｊ．Ｍ． Ｍｏｏｎ）は、セグメンテーション処理を、歯肉構造からの歯の分離と、個別の歯オブジェクトへの全体弓構造のセグメンテーションと、の２つのステップに分解したソフトウエアツールを使用した。ムーンの論文で使用されたソフトウエアは、メッシュの最大の曲率を発見し、使用者が手動で曲率閾値を選んで、歯をセグメント化するために使用されるマージン頂点を取得することを要求する。ソフトウエアは、誤ったセグメンテーション結果を除去するために、使用者が手動でマージンを編集することも要求する。形状及び位置的特徴の分析を対象とするこのソフトウエアツールは、歯肉領域からの歯領域の分離においてカラー情報を採用することを考慮しない。
【0012】
（ｉｖ）ジョーンズ，Ｔ．Ｎ．（Ｊｏｎｅｓ， Ｔ． Ｎ．）らによる「Ｍａｎｉｐｕｌａｔｉｏｎ ａ ｄｉｇｉｔａｌ ｄｅｎｔｉｔｉｏｎ ｍｏｄｅｌ ｔｏ ｆｏｒｍ ｍｏｄｅｌｓ ｏｆ ｉｎｄｉｖｉｄｕａｌ ｄｅｎｔｉｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ」と題された米国特許出願第２００３／００３９３８９号は、隣接する歯を表現する歯列モデルの部分を分離する方法を開示する。
【先行技術文献】
【特許文献】
【0013】
【文献】米国特許出願第２００３／００３９３８９号
【非特許文献】
【0014】
【文献】トーマス・クロンフェルドら、「Ｓｎａｋｅ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｆｒｏｍ Ｖｉｒｔｕａｌ Ｄｅｎｔａｌ Ｃａｓｔｓ」（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ ＆ ａｐｐｌｉｃａｔｉｏｎｓ、７（ａ）、２０１０）
【文献】ページ，Ｄ．Ｌ．（Ｐａｇｅ， Ｄ．Ｌ．）ら、「Ｐｅｒｃｅｐｔｉｏｎ－ｂａｓｅｄ ３Ｄ Ｔｒｉａｎｇｌｅ Ｍｅｓｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｗａｔｅｒｓｈｅｄ」（Ｐｒｏｃ． ＣＶＰＩ ｖｏｌ ＩＩ ２００３）
【発明の概要】
【発明が解決しようとする課題】
【0015】
これらのセグメンテーションアプローチの個々は、セグメンテーション処理を自動化することについて強み及び脆弱性を有する。幾つかの歯は、容易に識別されて、例えば、スネークベースのセグメンテーションを用いて高精度にセグメント化することができる。しかしながら、この同じセグメンテーションのルーチンは、異なった形状の又は同一歯列弓内の異なった位置にある歯には、不十分な性能になることがある。
【0016】
種々のセグメンテーションのルーチンは、うまく働くが、歯の形状、寸法、位置、及び他の特徴に基づいて性能が様々であることから、すべての歯について又はすべての状況について１つのセグメンテーションアプローチを最適化することはできない。このように、歯のセグメンテーションを適用するための柔軟なアプローチに優位性があることが理解できよう。それ故、歯列のメッシュの表現のセグメンテーションのための改善された方法の必要性がある。
【課題を解決するための手段】
【0017】
本出願の態様は、医学及び歯学の用途で使用されるボリューム画像化及び視覚化に関連して歯セグメンテーションの技術を進歩させることである。
【0018】
本出願の他の態様は、関連する技術の少なくとも先の及び他の欠陥に、完全に又は部分的に、対処することである。
【0019】
本出願の別の態様は、本明細書で説明する少なくとも利点を、完全に又は部分的に、提供することである。
【0020】
本開示に係る方法及び／又は装置の実施形態は、累進的に改善される結果を提供するのを助けるために、自動化されたセグメンテーション、並びに、部分的に自動化された又は手動のセグメンテーション処理に相互作用する能力の利点を観察者が持てるようにすることができる。
【0021】
これらの目的は、単に例証的な例として与えられ、そのような目的は、本発明の１つ以上の実施形態の例示である場合もある。本開示で本質的に達成される他の望ましい目的及び利点は、当技術の当業者にとって想到できあるいは明らかになる。本発明は、添付の特許請求の範囲によって規定される。
【0022】
本開示の１つの態様によれば、１つ以上のセグメント化された３－Ｄ歯モデルを生成するためのコンピュータ実行型の方法が提供され、この方法は、患者の歯列の３－Ｄメッシュモデルを取得することと、取得した３－Ｄメッシュモデルに第１のセグメンテーション手順を実行し、３－Ｄメッシュモデルから１つ以上のセグメント化された歯を表示することと、１つ以上のセグメント化された歯のうちの少なくとも１つを操作者指示に従って記録し、修正済み３－Ｄメッシュモデルを形成するために記録された少なくとも１つの歯を３－Ｄメッシュモデルから取り除くことと、（ｉ）修正済みセグメンテーション手順を識別し、（ｉｉ）修正済みセグメンテーション手順を修正済み３－Ｄメッシュモデルに実行し、修正済み３－Ｄメッシュモデルから１つ以上のセグメント化された歯を表示し、（ｉｉｉ）１つ以上のセグメント化された歯のうちの少なくとも１つを記録し、記録した少なくとも１つの歯を修正済み３－Ｄメッシュモデルから取り除く、シーケンスを１回以上繰り返すことと、記録したセグメンテーション結果を表示、記憶、又は伝達することと、を含むことができる。
【0023】
本発明の先の及び他の目的、特徴、及び利点については、添付の図面に例証されるように、次の本発明の実施形態のより具体的な説明から明らかになろう。図面の要素は、互いに対して必ずしも一定の縮尺ではない。
【図面の簡単な説明】
【0024】
【図1】患者の歯及び関係する構造の表面輪郭画像化のための画像化装置の構成要素を示す概略図である。
【図2】手持ち式カメラや他の携帯用の画像化デバイスを用いて表面輪郭情報を取得するためにどのようにパターン化光が使用されるかを示す概略図である。
【図3】光の線を多数備えたパターンを用いる表面画像化の例を示す図である。
【図5】三角形メッシュの単純な形のポリゴンメッシュ６０を示す図である。
【図6A】本開示の実施形態に係るメッシュセグメンテーションのためのハイブリッドシーケンスを示す論理流れ図である。
【図6B】本開示の実施形態に係る歯のハイブリッドセグメンテーションのためのワークフローシーケンスを示す論理流れ図である。
【図7A】不十分にセグメント化された歯の例を示す図である。
【図7B】改善されたセグメンテーションの例を示す図である。
【図8A】シード線トレースパターンの例を示す図である。
【図8B】ブロック線トレースパターンの例を示す図である。
【図9A】本開示のある種の実施形態に係る歯メッシュセグメンテーション処理を洗練化するための検討及びマークアップ指示を入力するための操作者インターフェーススクリーンを示す図である。
【図9B】本開示のある種の実施形態に係る歯メッシュセグメンテーション処理を洗練化するための検討及びマークアップ指示を入力するための操作者インターフェーススクリーンを示す図である。
【図9C】本開示のある種の実施形態に係る歯メッシュセグメンテーション処理を洗練化するための検討及びマークアップ指示を入力するための操作者インターフェーススクリーンを示す図である。
【図10】セグメンテーションの反復実行におけるステップを示す論理流れ図である。
【図11】歯列弓の部分の可能なセグメンテーションを示すディスプレイの図である。
【図13】観察している医師によるパラメータ調整に従うセグメンテーション結果を示す図である。
【図14】本明細書で説明する処理を用いて取得される完全な歯列弓についての完全なセグメンテーション結果を示す図である。
【図15A】本開示のある種の実施形態に係る自動セグメンテーション方法／装置で連続的に使用される逐次的なセグメンテーションのための順序を事前設定及び／又は変更するためのコントロールを備えた例示的な使用者インターフェースを示す図である。
【図15B】本開示のある種の実施形態に係る自動セグメンテーション方法／装置で連続的に使用される逐次的なセグメンテーションのための順序を事前設定及び／又は変更するためのコントロールを備えた例示的な使用者インターフェースを示す図である。
【発明を実施するための形態】
【0025】
本出願は、「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＨＹＢＲＩＤ ＭＥＳＨ ＳＥＧＭＥＮＴＡＴＩＯＮ」の名称でショウプ・チェン（Ｓｈｏｕｐｕ Ｃｈｅｎ）らの名前において２０１６年８月２４日に仮出願した米国仮出願シリアル番号６２／３７８，９１６号の利益を主張し、参照によってその全体を本明細書に組み込む。
【0026】
以下は、例示的な実施形態の詳細な説明であり、図面が参照され、同じ参照符号は、幾つかの図面の個々において同じ構造要素を識別する。
【0027】
それらが使用される場合、用語「第１」、「第２」、等々は、任意の順序や優先度の関係を必ずしも意味せず、１つの要素又は時間間隔を他からより明瞭に区別するために使用されることがある。
【0028】
用語「例示的」は、それが理想的であることを暗示するのではなく、説明が例として用いられることを意味する。
【0029】
本出願で使用される場合の用語「信号通信」とは、２つ以上のデバイス及び／又は構成要素が、ある種の信号経路を全体的に進行する信号を介して相互に通信できることを意味する。信号通信は、有線又は無線であってよい。信号は、第１のデバイス及び／又は構成要素と、第２のデバイス及び／又は構成要素と、の間の信号経路に沿った、第１のデバイス及び／又は構成要素から第２のデバイス及び／又は構成要素への、情報、パワー、及び／又はエネルギを通信し得る、通信信号、電力信号、データ信号、又はエネルギ信号であることがある。信号経路は、第１のデバイス及び／又は構成要素と、第２のデバイス及び／又は構成要素と、の間の物理的、電気的、磁気的、電磁気的、光学的、有線、及び／又は、無線の接続を含むことがある。信号経路は、第１のデバイス及び／又は構成要素と、第２のデバイス及び／又は構成要素との間の追加のデバイス及び／又は構成要素を含むこともある。
【0030】
本開示の文脈において、用語「ピクセル」及び「ボクセル」は、個別のデジタル画像データ要素、すなわち、測定した画像信号の強さを表す単一の値、を説明するために、互換的に使用されることがある。従来、個別のデジタル画像データ要素は、３次元もしくはボリューム画像の場合はボクセル、２次元（２－Ｄ）画像の場合はピクセル、と呼ばれている。本明細書での説明の目的で、ボクセル、ピクセルという用語は、一般に同義であるとみなすことができ、数値の範囲を有することのできる画像要素データを説明している。ボクセル及びピクセルは、空間的位置及び画像データコード値の両方の属性を有する。
【0031】
「パターン化光」は、光が、１つ以上の認識できる平行線、曲線、グリッドもしくはチェッカー盤パターン、又は、照明なしでエリアによって分離される光のエリアを有する他の特徴、などの特徴を１つ以上有するように、所定の空間的パターンを有する光を示すために使用される。本開示の文脈において、語句「パターン化光」及び「構造化光」は、同義とみなされ、両方共に、輪郭画像データを導き出す目的で対象物に向けて投影される光を識別するために使用される。
【0032】
本開示の文脈において、用語「観察者」、「操作者」、及び「使用者」は、同義とみなされ、観察している医師、技術者、あるいは、表示モニタ上の多重構成された光画像の組合せから形成される輪郭画像を観察して操作することのできる他の人間を指す。例えば、セグメンテーションの処理の場合、観察者は、おそらく歯科医師である。
【0033】
「観察者指示」、「操作者指示」、又は、「操作者指令」は、観察者の入力する明示的な指令から取得される場合も、又は、例えば、機器の設定を行うことなどの何か他の使用者の動きに基づいて暗黙的に取得又は導き出されることもある。例えば、表示モニタやキーボードを使用するインターフェースなどの操作者インターフェース上に入力されるエントリに関して、用語「指令」及び「指示」は、操作者の入力を指すために互換的に使用されることがある。
【0034】
本開示の文脈において、単一の投影された光の線は、「１次元」のパターンとみなされ、その理由は、線が、ラインレーザからの投影時などにおいて殆ど無視できる幅を有し、また、その支配的な次元である長さを有するからである。同時又はスキャン型配置のいずれかで、並んで投影される、２つ以上のそのような線は、単純な２次元のパターンを提供する。例示的な実施形態では、光の線は、直線的、湾曲、又は３次元である場合がある。この投影パターンは、歯又は他の解剖学的構造の表面特徴部を特徴付けるために使用される場合がある。
【0035】
用語「３－Ｄモデル」、「点群」、「３－Ｄ表面」、及び、「メッシュ」は、本開示の文脈において、同意語として使用されることがある。密集した点群は、点群を形成するためのボリューム画像化技術における当業者によく知られた技術を用いて形成され、また、点群から表面特徴部に対応する頂点を識別する方法に一般に関連する。このように、密集した点群は、１つ以上の反射画像からの再構成される輪郭データを用いて生成される。密集した点群の情報は、歯及び歯肉の表面についての高密度のポリゴンモデル又はメッシュの基礎の役目を果たす。
【0036】
本開示によれば、語句「幾何学的プリミティブ」は、画像のエリアを示す目的で操作者によって入力され得る基礎の２－Ｄ幾何学的形状を指す。一例として、限定ではなく、幾何学的プリミティブは、線、曲線、点、及び他の開いた形状、並びに、円、閉じた曲線、矩形、及び正方形、ポリゴン等々などの操作者によって形成され得る閉じた形状を含む場合がある。
【0037】
本開示の実施形態は、歯及び顎構造を視覚化するための複数回のＣＢＣＴスキャンの必要性を排除するのに役立つ場合のある例示的な方法及び／又は装置を提供する。例示的な方法及び／又は装置の実施形態は、単一のＣＢＣＴボリュームを、例えば、歯科矯正処置の様々な段階で根元位置をトラッキングする能力を有する光学的口腔内スキャンと組み合わせるために使用される場合がある。これを達成するために、口腔内スキャンは、口腔内スキャンで得られた個別の歯冠などの露出する部分を、ＣＢＣＴボリュームからセグメント化された個別の歯及び根元構造と位置合わせすることができるように、セグメント化される。
【0038】
図１は、構造化光パターン４６を用いて投影及び画像化するための画像化装置７０を示す概略図である。画像化装置７０は、本開示の実施形態によれば画像取得のための手持ち式カメラ２４を使用する。制御論理プロセッサ８０、あるいは、カメラ２４の一部であってもよい他のタイプのコンピュータが、構造化光を生成して画像化センサアレイ３０の動作を制御する照明アレイ１０の動作を制御する。歯２２からなどの表面２０からの画像データは、画像センサアレイ３０から取得されてメモリ７２に記憶される。画像を獲得するカメラ２４構成要素と信号通信する制御論理プロセッサ８０は、受け取った画像データを処理してマッピングをメモリ７２に記憶する。メモリ７２からの得られる画像は、次いで、任意選択でレンダリングされて表示器７４上に表示される。メモリ７２は、表示器７４の画像内容を一時的に記憶するための表示バッファを含むこともある。
【0039】
表面のフリンジ投影画像化において、線のパターンが、照明アレイ１０からオブジェクトの表面に向けて所与の角度から投影される。表面からの投影パターンは、次いで、輪郭線の外観に基づいて表面情報を分析する目的で三角測量を活用して、輪郭画像として他の角度から観察される。新たな場所での追加の測定値を取得するために投影パターンが空間的に漸増的にシフトされる位相シフトは、一般に、表面の輪郭マッピングを完了する目的及び輪郭画像における解像度全体を高める目的で使用されるフリンジ投影画像化の一部として適用される。
【0040】
図２の概略図は、単一の光の線Ｌを例に、手持ち式カメラや他の携帯用の画像化デバイスを用いて、表面輪郭情報を取得するために、どのようにパターン化光が使用されるかを示す。照明アレイ１０が光のパターンを表面２０上に方向付け、線Ｌ’の対応する画像が画像化センサアレイ３０上に形成される時に、マッピングが取得される。画像化センサアレイ３０上の各ピクセル３２は、表面２０による変調に従って照明アレイ１０上の対応するピクセル１２にマッピングする。ピクセル位置のシフトは、図２に示すように、表面２０の輪郭についての有益な情報をもたらす。理解され得るように、図２に示す基礎のパターンは、様々な照明源及びシーケンスを用いて、また、１つ以上の異なったタイプのセンサアレイ３０を用いて、幾つかのやり方で履行され得る。照明アレイ１０は、液晶アレイなどの光変調に使用される任意の幾つかのタイプのアレイや、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ， Ｄａｌｌａｓ， ＴＸからのデジタル光プロセッサすなわちＤＬＰデバイスを用いて提供されるものなどのデジタルマイクロミラーアレイ、を利用する場合がある。このタイプの空間光変調器は、マッピングシーケンスのために必要に応じて光パターンを変更するために照明経路に使用される。
【0041】
図１及び図２に示すアレンジメントを複数回繰り返す構造化光パターンを示す画像を投影及び捕捉することによって、カメラ上の輪郭線の画像は、画像化オブジェクトの幾つかの表面点を同時に位置させる。これは、多数の標本点を収集するプロセスを容易にする場合があり、その一方、光の平面（通常は受けるカメラも）は、光の平面を備えたオブジェクトの外部表面の幾らか又は全部を「ペイント」する目的で、横方向に移動する。
【0042】
図３は、光の線を多数備えたパターンを用いた表面画像化を示す。線のパターンの漸増的なシフト及び他の技術は、表面に沿った不意の転移から生じる場合のある不正確及び混乱を補償するのに役立ち、それによって、各投影線に対応するセグメントを積極的に識別することが困難な場合がある。例えば、図３では、線セグメント１６が線セグメント１８と同じ照明の線からのものであるか、それとも隣接する線セグメント１９からのものであるかを決定することが困難であり得る。
【0043】
画像が獲得されるときのオブジェクト相対座標系の内部のカメラの瞬時的位置及び光の線の瞬時的位置を知ることによって、コンピュータ及びソフトウエアは、多数の照明された表面点の座標を計算するために、三角測量の方法を使用することができる。平面が移動して結果的にオブジェクトの表面の幾らか又は全部と交差するので、増加する数の点の座標が累積される。この画像獲得の結果として、頂点の点群は、ボリュームの内部の表面の範囲を表すために識別及び使用される場合がある。一例として、図４は、図３に示されたものなどのパターン化照明から得た結果を用いて、Ｃａｒｅｓｔｒｅａｍ Ｈｅａｌｔｈ， Ｉｎｃ．， Ｒｏｃｈｅｓｔｅｒ ＮＹ， ＵＳＡ，によって製造された構造化光画像化装置ＣＳ ３５００ ３－Ｄカメラから生成される密集した点群５０を示す。点群５０は、歯表面及び他の口腔内の表面上、より一般的には現実の世界のオブジェクトの表面における、サンプリングした点の物理的位置をモデリングする。変動する解像度が取得される場合がある。図４の例は、例示的な１００ミクロンの解像度を示す。点群の中の点は、オブジェクトの３次元表面上の実際の測定点を示す。
【0044】
表面構造は、線セグメントによって隣接する頂点が連結されるポリゴンメッシュを形成することによって、点群の表現から近似することができる。ある頂点について、それに隣接する頂点は、ユークリッド距離で当該頂点に最も近い頂点である。
【0045】
一例として、図５は、三角形メッシュの単純な形の３Ｄポリゴンメッシュモデル６０を示す。三角形メッシュは、隣接する境界線を共有する三角形平面セグメントの形のその近似表面形状によって３Ｄオブジェクトを表現するために点群から生成されてデジタルモデルとして使用される場合のある基礎のメッシュ構造を形成する。三角形メッシュ又はより複雑なメッシュ構造などのポリゴンメッシュモデルを形成するための方法／装置は、輪郭画像化における当業者によく知られている。メッシュモデルのポリゴンユニット及び隣接するポリゴン間の関係は、歯の境界で特徴（例えば、曲率、最小曲率、エッジ、空間関係、等々）を抽出するために、本開示の実施形態で使用される場合がある。
【0046】
口腔内画像化では、デジタルモデルからの画像コンテンツの個別の構成要素のセグメンテーションは、歯科矯正処置や、例えば、歯冠、インプラント、及び他の補綴デバイスの準備を含む、様々の手順において、歯科医師にとって価値がある場合がある。歯肉からの歯の、及び歯同士からの歯の、メッシュベースのセグメンテーションのために、様々な方法が提案され、実証されてきた。しかしながら、従来のセグメンテーション解決策の欠点は、かなりのレベルの操作者スキルと高度な計算上の複雑さとに関する要求を含む。歯構成要素及び他の歯列特徴部をセグメント化する問題に対する従来のアプローチは、多くのケースで満足の行かない結果をもたらしてきた。本開示に係る例示的な方法及び／又は装置の実施形態は、ポリゴンメッシュデータをソースデジタルモデルのタイプとして利用することができ、２つ以上のステージで動作できるセグメンテーションを用いて、そのような問題に対処する。例えば、第１に、デジタルモデルの必要なセグメンテーションについての少なくとも近いか粗い近似を提供することができる、自動化したセグメンテーションアルゴリズム／手順を実行する。第２に、操作者の相互作用により、観察エラー及び自動化結果の不一致を改善、訂正、及び／又は解消するのを可能にする。これは、純粋に自動化された方法では達成することが難しい非常に正確な結果をもたらすことができ、しかも、操作者時間やスキルレベルに対して、及び／又は、必要なコンピュータリソースに対して、著しい要件を課すことがない。例示的な方法及び／又は装置の実施形態におけるこのハイブリッド型のアプローチは、自動化処理の結果をチェック、訂正、及び洗練化するために、計算及び画像処置の能力を操作者の知覚と結合するのを助けることができる。
【0047】
図６Ａの論理流れ図は、本開示の例示的な実施形態に係る口腔内部から歯などの個別の特徴すなわち口腔内の構成要素を識別するためのデジタルモデルの歯メッシュセグメンテーション及び生成のためのハイブリッドシーケンスを示す。画像獲得ステップＳ１００では、患者の歯列の複数の構造化光画像が捕捉され、処理対象となる輪郭画像のセットが提供される。点群生成ステップＳ１１０は、次いで、輪郭画像のセットを用いて、患者の歯列の点群を生成する。ポリゴンメッシュ生成ステップＳ１２０は、点群の結果から隣接する点を連結することによってポリゴンメッシュを形成する。三角形メッシュは、表面輪郭を近似するために容易に生成できる１つのタイプのポリゴンメッシュを提供し、より複雑なポリゴンメッシュ構成が代替で使用されてもよい。
【0048】
図６Ａのシーケンスを続けると、ポリゴンメッシュがあれば、セグメンテーションステップＳ１３０を実行することができる。例えば、歯科の輪郭画像の場合、セグメンテーションステップＳ１３０は、歯を歯肉組織から区別することができ、並びに、１つの歯を他から区別することができる。セグメンテーションの結果は、次いで、表示される場合があり、この最初の自動化されたセグメンテーション処理の結果を示す。自動化されたセグメンテーションステップＳ１３０は、中間画像を提供する場合がある。こうして、自動化されたステップＳ１３０は、大量のセグメンテーション処理を実行する場合があるが、操作者の検討及び結果の純化から更に利益を得る場合がある。その自動処理のため、セグメンテーションステップＳ１３０は、先に述べたように、ファーストマーチングウォータシェッドアルゴリズム、いわゆるスネークベースのセグメンテーション、及び、画像化技術における当業者に知られている他の方法、などの任意の幾つかの公知のセグメンテーション技術を使用する場合がある。
【0049】
図６Ａは、任意選択の反復ループも示しており、図１に示す基礎の装置を用いて、例えば、自動化されたセグメンテーション処理の結果を洗練化するために中間画像との観察者の相互作用を可能にする場合がある。操作者指示受け付けステップＳ１４０を実行することができ、このステップの間、観察者は、表示された結果上で、シード点、シード線、ブロック線、境界特徴部、又は、セグメンテーションの結果の１つ以上の明確な特徴部を識別する他のマーキングを指示して、更なるセグメンテーションの洗練化及び処理を可能にする。観察者マークアップ指示は、セグメンテーションステップＳ１３０を少なくとも２回実行させ、この第２回目は、入力された観察者の指示からの入力マークアップを使用する。異なったセグメンテーションアルゴリズムが、自動化された又は手動の処理の様々な段階で適用され得ることが理解できよう。セグメンテーション処理の最終結果は、表示、記憶、及び、例えば、有線又は無線のネットワークを介するなどしてコンピュータ間で伝達される場合がある。
【0050】
図６Ａに示す処理は、このように自動化されたセグメンテーションを可能にする場合があり、例えば、歯肉組織からの歯のセグメンテーションなどのより容易に実現され得る粗いセグメンテーション（例えば、第１のセグメンテーション）を実行する。このように、例えば、歯と歯肉を区分することは、自動化される場合がある。１つの実施形態では、歯と歯肉を区分することは、自動化された曲率ベースの方法を使用する場合があり、メッシュの頂点の曲率を計算し、次いで、限界アルゴリズムを用いて、大きな負の曲率を有するマージンの頂点を識別する。代替的に、カラーベースのセグメンテーションが、歯肉からの歯のセグメンテーションのために使用される場合がある。このタイプの方法は、平均的な色相値を画像の領域から取得して、画像内容を区分する閾値を計算することができる。
【0051】
ハイブリッド歯セグメンテーションシステムのための例示的な実施形態のワークフローが、図６Ｂの論理流れ図に示される。ステップＳ１２０で説明され図４及び図５に示されるものなどの歯列メッシュを受け取ると、制御論理プロセッサ８０（図１）は、自動化セグメンテーションステップＳ２０２を開始し、全自動歯セグメンテーションツールが呼び出されて、歯及び歯肉領域の輪郭を描写し、個別の歯領域の輪郭を描写する。全自動歯セグメンテーションツールは、文献に発表されるか、その他の形で画像処理技術の当業者によく知られている能動輪郭モデルなどの例示的なアルゴリズムを採用する。歯の輪郭描写は、個別にセグメント化された歯を効果的に作り出す。しかしながら、それらの生成された歯は、不十分にセグメント化された口腔内の構成要素を包含することがある。第１のチェックステップＳ２０４は、次いで不十分にセグメント化された口腔内の構成要素がないかどうかチェックする。ステップＳ２０４の不正確又は不完全なセグメンテーションのチェックは、訓練された人工知能アルゴリズムをセグメンテーション結果に適用することによるなど計算的に、又は、観察者による後続外観検査などの観察者相互作用によって、のいずれかで実現することができる。一例として、図７Ａは、例示的な不十分にセグメント化され又は誤ってセグメント化された歯３０２を示す。図７Ａに示すように、セグメント化された歯境界３０６は、実際の歯境界３０８と整合しない。
【0052】
依然として図６Ｂのワークフローを参照すると、チェックステップＳ２０４が、計算的又は視覚的のどちらかで、１つ以上の不十分にセグメント化された歯を識別する場合、１次補助セグメンテーションステップＳ２０６が実行されて、同じく自動化されるが多少のレベルの操作者の調整を可能にするセグメンテーション手順を活動化する。１次補助セグメンテーションステップＳ２０６は、パラメータ調整ステップＳ２１０の１つ以上のパラメータを操作者が調整するのを可能にするセグメンテーションのアルゴリズムを適用する。新たなチェックステップＳ２０８を実行して、追加のセグメンテーション処理が必要であるかどうかを決定する。調整可能なパラメータは、操作者の指示によってステップＳ２１０で計算的又は明示的に変更される場合がある。次に続く図面は、パラメータ調整のための例示的な操作者インターフェースを示す。
【0053】
１次補助セグメンテーションステップＳ２０６で採用される例示的なアルゴリズムは、メッシュ最小曲率ベースのセグメンテーション方法などのよく知られた技術である場合がある。調整可能なパラメータは、曲率の閾値である場合がある。ステップＳ２１０で、パラメータ調整の助けにより、不十分なセグメント化歯の訂正が行われる場合がある。図７Ｂは、図７Ａと比べて実際の境界と良好に整列するようになったセグメント化歯境界３１６を示す歯３１２の画像を示す。
【0054】
しかしながら、図６Ｂに示す例示的なワークフローの実施形態から明らかであるように、ステップＳ２０６で実行される歯の輪郭描写は、不十分にセグメント化された口腔内の構成要素又は特徴部を依然として生成することがあり、したがって、反復されるセグメンテーション処理が有用である。ステップＳ２０８の不十分なセグメンテーションのチェックは、人工知能アルゴリズムをセグメンテーション結果に適用することによるなど計算的に、又は、使用者によって実行される外観検査によってより直接に、のいずれかで実現することができる。ステップＳ２１０で調整される調整可能なパラメータに加えて、ハイブリッド歯セグメンテーションシステムは、使用者が、歯領域のシード線などの例示的な幾何学的プリミティブを追加すること、及び、歯セグメンテーション処理を支援するためにブロック線を歯間に又は歯と歯肉の間に追加すること、を任意選択で可能にする。図８Ａは、メッシュ画像６２に追加された、歯をマーキングするための例示的なシード線４０６を示す。図８Ｂは、メッシュ画像６２に追加された、２つの歯間の空間を示すための例示的なブロック線４０８を示す。
【0055】
図６Ｂのシーケンスの３つの基本ステップ、すなわち、ステップＳ２０６、ステップＳ２０８、及び、ステップＳ２１０は、完全自動セグメンテーションのステップＳ２０２及びチェックステップＳ２０４に続く例示的な１次セグメンテーションループ５４を構成する。この例示的な１次セグメンテーションループ５４は、ステップＳ２０４で識別されるように、自動化セグメンテーションステップＳ２０２の完全自動化セグメンテーションで生じたセグメンテーションエラーを訂正することが意図される。例示的な１次セグメンテーションループ５４は、必要に応じて１回以上実行される場合がある。例示的な１次セグメンテーションループ５４が成功しているとき、セグメンテーションは完全である場合がある。
【0056】
しかしながら、幾つかのケースでは、主たるセグメンテーションループ５４によって提供されるものを超える追加のセグメンテーション処理が必要とされる。セグメンテーション処理は、歯の密集、不規則な歯形状、スキャニングによるアーチファクト、不明瞭な歯の輪郭、とりわけ、紛らわしい割れ目、などの様々な因子によって複雑化する場合がある。追加のセグメンテーションが必要とされる場合は、例示的な第２のセグメンテーションループ５６が、よりインタラクティブなセグメンテーションアプローチを提供するために使用される場合がある。第２のセグメンテーションループ５６は、インタラクティブセグメンテーションステップＳ２１２、他のチェックステップＳ２１４、及び、操作者マークアップステップＳ２１６を含む場合がある。インタラクティブセグメンテーションステップＳ２１２は、他のエリアからセグメント化されるべき画像のエリアを示すために操作者と共に働くセグメンテーション処理を活動化させる場合がある。インタラクティブセグメンテーションステップＳ２１２は、画像セグメンテーション技術の当業者に知られている「高速マーチ（ｆａｓｔ ｍａｒｃｈ）」方法などの例示的なアルゴリズムによって実行される、自動化されたシーケンスを有する場合がある。ステップＳ２１２は、活動化前又は処理中に操作者によって入力されるシード又はシード線あるいは他のタイプの幾何学的プリミティブを、歯の領域の画像に入れることを要求することがある。ある種の例示的な実施形態では、シード線又は他の特徴部は、ステップＳ１００、Ｓ１１０、及びＳ１２０で自動的に生成される場合があり、そのとき、歯列メッシュは、任意選択の操作者調整（例えば、第２のセグメンテーションループ５６又はステップ２１２などの後続の動作）のためにシステムに入力される。加えて、特徴部、シード、又はシード線は、使用者による操作者マークアップステップＳ２１６のセグメンテーション処理に追加される場合がある。ステップＳ２１２で得られた結果は、ステップＳ２１６の使用者による検査を受ける。ハイブリッド自動化／インタラクティブセグメンテーション処理で得られた結果は、その後、表示ステップＳ２２０で表示されるとともに、他のコンピュータに記憶及び伝達される場合がある。
【0057】
図６Ｂのシーケンスに従って、本開示の幾つかの例示的な方法／装置は、人と機械の相乗効果によるインタラクティブセグメンテーションの利益を提供するハイブリッド歯セグメンテーションを提供する。
【0058】
図９Ａ～９Ｃは、本開示のある種の例示的な実施形態に係る、メッシュセグメンテーション処理を洗練化するための検討及びマークアップ指示を入力するためのシーケンスの部分に対応する操作者インターフェーススクリーン５２を示す。暫定のメッシュセグメンテーション結果が、スクリーン５２上の表示エリア８６に示されている。全体的な積極性あるいはセグメンテーション処理アルゴリズムの他のパラメータ又は特徴のレベルを設定するための調整コントロール８４など、セグメンテーション処理の調整のための幾つかのコントロール９０が利用可能である。任意選択の選択コントロール８８は、観察者が適用されるべき１つ以上のセグメンテーションアルゴリズムを指定するのを可能にする。これは、操作者に、１つの特定のタイプのセグメンテーションアルゴリズム等が、所与のメッシュデジタルモデルに対してセグメンテーションタスクを実行するのに成功していると思われるかどうかを評価する機会を与える。操作者は、結果をオリジナルと比較し、操作者のマークアップ有りでまた無しで、連続的なセグメンテーションの試みの結果を見るためのパラメータを調整することができる。
【0059】
図９Ａは、図８Ａに関して以前に示したように、セグメンテーション処理を訂正又は洗練化するために操作者シード線指示として入力されるトレースパターン９６も示している。本開示の実施形態によれば、トレースパターン９６の形式の操作者マーク又は他の任意のマーキング／幾何学は、従来のセグメンテーションルーチンに関して処理が困難であり得る臼歯や他の歯の特徴部などのセグメンテーションのための特定の特徴部を示すシード点を提供するために使用される場合がある。シードマークは、以前に説明したように、高速マーチングアルゴリズム又は他のアルゴリズムタイプへの入力として、その後に使用される場合がある。幾つかのケースでは、例えば、隣接する歯は、相互に対して正確にセグメント化されないことがある。操作者マークアップは、標準のセグメンテーション論理が良好に実行されないセグメンテーション処理に関する有益なガイダンスを提供する場合がある。図９Ａが示しているように、操作者は、入力されたマークアップがクリアされるか又はセグメンテーションプロセッサに提供されるのを可能にする、利用可能なコントロール９０を有する場合がある。図９Ｂが示すように、セグメンテーションによって識別される様々な歯や他の構造を差別化するために、色又はシェーディングが使用される場合がある。追加のコントロール９０は、例えば、個別の歯などの個別のセグメント化された要素を表示するために使用される場合もある。図９Ｃが強調しているように、幾つかの例示的な実施形態では、個別のコントロール９０は、個別に又は組み合わせて使用される場合がある。
【0060】
１つの実施形態では、個別の歯の互いのセグメンテーションは、曲率閾値を使用する場合があり、マージン及びボーダー頂点を計算し、次いで、マージン検出に対する各歯の限界を定義するために様々な成長技術を使用する。
【0061】
例示的な実施形態では、制御装置９０は、それらに限定されないが、セグメント化、選択されたオブジェクトを細分化、セグメント化されたオブジェクト表示を修正等々するために、シード又は境界ジオメトリを入力／調整すること、選択されたセグメンテーション手順を入力／調整すること、オブジェクトの数を入力／調整すること、を含む場合がある。
【0062】
構造化光の照明及び検出を用いて提供されるセグメンテーションは、ＣＢＣＴあるいはボリューム画像再構成のための他のＸ線撮影方法から取得される３Ｄ画像結果と相互関係する場合がある。歯構造の可視部分についての歯構造データを再構成したＣＢＣＴボリュームデータと結合することにより、電離放射線への患者の更なる露出を必要とすることなく、解剖学的構造の正確な特徴付けを取得することができる。
【0063】
本開示のある種の例示的な方法及び／又は装置の実施形態は、医師が異なったセグメンテーション方法／アルゴリズムを効率的なやり方で利用するのを可能にする反復セグメンテーションを提供する場合がある。先に述べたように、異なったセグメンテーション方法が利用可能であり、各方法が可視歯構造の有効な特徴付けに関する強み及び欠点を有する。図１０の論理流れ図は、完全な歯列弓が効率的に特徴付けされ得るように、良好にセグメント化された歯のセットを構築するときに、医師が連続セグメンテーション技術を利用するのを可能にする例示的な画像化方法の実施形態を示す。異なった方法が実行されるときに成功したセグメンテーション結果を識別することによって、医師は、適切にセグメント化された個別の歯を記録でき、そうしない場合に成功した結果を損ない、セグメンテーションタスクを複雑にする可能性のある更なるセグメンテーション処理から、それらを除外できる。
【0064】
１つの例示的な方法及び／又は装置の実施形態では、第１の例示的なセグメンテーションの後で、適切にセグメント化（例えば、セグメンテーション要因又はセグメンテーション特性（例えば、プロセッサによって決定される）は十分である）される個別の歯は、更なる／後続のセグメンテーション、すなわち、３Ｄメッシュ（例えば、歯）の残りの部分に適用される第２のセグメンテーションから自動的に除去又は排除される場合がある。
【0065】
図１０のシーケンスを参照すると、セグメンテーション処理のタスクは、反復するインタラクティブなやり方で、１つの記録されたセット１００の良好にセグメント化された歯を、患者の歯列の３－Ｄデジタルメッシュモデルから、構築することである。それは、次の例に示すように、完全な歯列弓を含む場合がある。代替的に、完全に記録されたセット１００は、特定の患者について関心がもたれる歯列弓の局部的な部分だけを含む場合がある。次の説明で使用される用語において、論理フローは、良好にセグメント化された歯を反復式に識別して「記録」し、したがって、能動的に処理されている「３－Ｄデジタルメッシュモデル」からそれらを「除去」する。このように、後続のセグメンテーションの処理は、セグメント化されてない構造の縮小されたセットを用い、処理が継続するときの計算の数及び／又はセグメンテーション問題全体の複雑さをそれに応じて減少させる。
【0066】
図１０に示すセグメンテーション手順は、初期設定ステップＳ１０１０で開始し、このステップは、取得した３－Ｄメッシュモデルと、セグメント化された歯を適切にリスト化するため及びそれらの適切にセグメント化された歯を別のセグメンテーション処理から取り除くための最初は空のセット｛｝である１つの記録されたセット１００と、で始まる。セグメンテーションステップＳ１０２０で、医師は、口腔内カメラ２４（図１）を用いるスキャンシーケンスの実施後に、３－Ｄメッシュの初期セグメンテーションのための第１のセグメンテーションアルゴリズムを選択する。例示的な第１のセグメンテーションは、図６ＢのステップＳ２０２によって例証されるように自動セグメンテーションである。
【0067】
図１０のステップＳ１０２０から生じるセグメンテーション結果は、図１１のスクリーン例に示されるように、医師に表示される場合がある。歯のセグメント化されるエリアは、メッシュ内のセグメント化された歯のエリアを強調するカラー値又はグレースケール値で表示される場合がある。歯列弓の幾つかの歯は、この例では良好にセグメント化され、それらの良好にセグメント化された歯は、記録され、別の処理を必要とする３－Ｄメッシュモデルから取り除かれる場合がある。他の歯は、知覚できるギャップ及び他のエラーを有して示されているものなど、良好にセグメント化されていないことがある。記録ステップＳ１０３０の一部として、医師は、良好にセグメント化された歯を強調するかその他の形で示すために、タッチスクリーン、マウス、又は他のポインタもしくはキーボードエントリを使用する。１つ以上の歯が選択され強調された状態で、医師は次いで、先に説明したように、設定指示１１０、又は、良好にセグメント化された歯を記録されたセット１００に追加する他の操作者指示を入力する。それは、例えば、特定のセグメンテーションを設定及び設定解除するための指令を含む場合がある。図１０の処理シーケンスに関して、設定指示１１０は、セット１００の特定のセグメント化された歯の個々を記録して、記録された歯を３－Ｄメッシュモデルから効果的に取り除き、それによって、修正済み３－Ｄメッシュモデルを形成する。記録されたセット１００の歯は、良好にセグメント化されているとみなされ、したがって更なるセグメンテーション処理から取り除かれる。
【0068】
そして、後続の反復処理は、３－Ｄメッシュモデルに残って初期のセグメンテーションアルゴリズムによってうまくセグメント化されなかった歯の小さいグループに的を絞ることができる。３－Ｄメッシュモデル内の不十分にセグメント化されたデータの寸法を反復して減らすことは、処理時間及び複雑さを減らすのに役立ち、また、セグメンテーション方法の調整又は変更を可能にするとともに、処理を依然必要とするより小さいサブセットの歯に使用されるべきより専門化した又はよりインタラクティブなセグメンテーション技術の使用を可能にする。各反復で、修正された３－Ｄメッシュモデルに残るものを処理するのに用いるために、修正されたセグメンテーション手順が識別され、又は定義される。続いてより詳細に説明するように、セグメンテーション手順は、異なったアルゴリズムを利用する場合があり、あるいは、例えば、変更した閾値などの調整したパラメータを備えた類似のアルゴリズムを使用することがある。
【0069】
図１１の例では、歯列弓の幾つかの歯が、ステップＳ１０３０（図１０）で記録されたセット１００に追加され、したがって更なる３－Ｄメッシュ処理から排除することができる。他の歯は、いまだ十分にセグメント化されておらず、適切なセグメンテーションのための追加の処理を必要とする。幾つかの不十分にセグメント化された歯は、図１１の例では丸で囲んでいる。図１１の不十分にセグメント化された歯は、不正確なマージン線などのエラーを有する。
【0070】
インタラクティブ処理は、記録ステップＳ１０３０で記録されたセット１００に追加される場合のある良好にセグメント化された歯を識別するために使用される場合がある。図１１の例では、医師は、セグメンテーション結果を歯毎に検査すると、タッチスクリーンや他のポインタを用いるなどして、許容できるセグメンテーションを示す歯を選択して強調する。医師は、次いで、各好結果のセグメント化された歯を記録する設定指示１１０を入力し、こうして、図１０を参照して示すように、記録されたセット１００に歯を追加して、処理されている能動的な３－Ｄメッシュから歯を排除する。不十分にセグメント化された歯の後続の処理のために、医師は、システムプロンプトに対応することがあり、図６ＢのステップＳ２１６を参照して説明するように、シード点や他のマーキングを入力して、より良好なセグメンテーションを支援する。
【0071】
図１０のシーケンスを続けると、テストステップＳ１０４０は、適用されてきたセグメンテーション戦略が成功したか又は失敗かに応じて、残っている歯のための幾つかの選択肢を医師に提供する。１つの選択肢は、パラメータ調整ステップＳ１０５０を実行すること、修正したセグメンテーション手順を取得すること、そして、ステップＳ２０６に示された例示的な１次補助セグメンテーションアルゴリズムを備える調整されたパラメータ設定を用いていまだ記録されていない歯にセグメンテーションを再試行すること、である。こうして、例えば、医師は、多かれ少なかれ「積極的な」セグメンテーション処理のために、調整レベルを異なった値に設定する場合があり、あるいは、特徴の分類を決定する閾値を調整する場合がある。他の選択肢は、代替実行ステップＳ１０６０である。ステップＳ１０６０に関して、医師は、いまだ適切にセグメント化されていない歯のために異なったセグメンテーション技術を選択する。これは、操作者の追加的な相互作用を必要とするセグメンテーション方法を含む場合があり、したがって、自動化された処理Ｓ２０２を使用して歯の大部分をセグメント化し、自動化されたセグメンテーション処理にも反応しない歯を処理するために、専門化された処理Ｓ２０６及び医師によるマークアップＳ２１６を用いる。図１０に示すように、表示ステップＳ１０７０は、セグメンテーション処理の最後に実行され、医師が、表示画像をビューすること、及び、必要に応じて処理結果を記憶又は伝達することを可能にする。
【0072】
また、セグメント化されている１つ以上の歯が、クリア指示１１２（図１１）を用いて「クリア」されて、３－Ｄメッシュモデルに回復又は復帰できることにも留意すべきである。こうして、例えば、観察者は、特定の歯についての結果が十分でないか又は改善できることを決定することができ、追加のセグメンテーション手順が役立つであろうことを決定することができる。特定の歯を修正された３－Ｄメッシュモデルに回復することは、異なったセグメンテーションアルゴリズムを用いるか又は異なった値をセグメンテーション変数に適用するかのいずれかにより、その歯を後続のセグメンテーション動作で更に処理することを可能にする。
【0073】
一例として、図１２は、図１１のセグメンテーション例からの良好にセグメント化された歯のセット（例えば、更なるセグメンテーションの反復／処理から排除される）を示す。図１３は、ステップＳ１０５０を参照して先に説明した、図１１の４つの不十分にセグメント化された歯のパラメータ調整及び後続のセグメンテーション後のセグメンテーション結果を示し、この段階ではより正確にセグメント化されている。例えば、図１３では、マージン線がより正確である。図１４は、図１０を参照して説明する処理を用いて取得された、完全な歯列弓についての完全なセグメンテーション結果を示す。この例では、図１４は、第１のセグメンテーション（例えば、図１１）から良好にセグメント化されて記録された歯を、第２のセグメンテーション（例えば、図１３）から良好にセグメント化されて記録された歯と共に示す。
【0074】
ある種の例示的な方法及び／又は装置の実施形態では、十分にセグメント化された歯は、メッシュセグメンテーション結果（例えば、表示エリア８６に示される暫定的なメッシュセグメンテーション結果又は最終のセグメンテーション結果）が使用者に表示される前に実行される追加のセグメンテーションから自動的に排除される場合がある。そのような例示的な実施形態では、第１のセグメンテーションが３Ｄメッシュに実行された後で適切にセグメント化された個別の歯は、更なる／後続のセグメンテーション、又は、３Ｄメッシュの残りの部分（例えば、歯）に適用される第２のセグメンテーションから自動的に除去ないし排除される場合がある。１つの例示的な実施形態では、信頼度閾値は、セグメント化された歯（例えば、部分）を３Ｄメッシュから除去するために使用される場合がある。そのような信頼度閾値は、事前設定され、可変にされ、及び／又は、使用者によって設定される場合がある。例示的な信頼度は、それに限定されないが、セグメント化された歯の表面常態の確率密度関数（ＰＤＦ）、及び／又は、セグメント化された歯の境界の例示的な形態記述子などの１つ以上の技術的メトリクスに基づいて計算される場合がある。表面常態のＰＤＦは、例示的な技術として通常のヒストグラムのように実際に計算される場合がある。境界の形態記述子は、チェーン符号化と称される例示的なコンピュータビジョン技術を用いて計算される場合がある。歯科画像処理技術で知られている他の技術的なメトリクスは、使用される場合がある。代替の信頼度は、そのような技術的メトリクスの重み付けした組合せであるか、及び／又は、０～１の範囲などの定めた範囲にスケーリングされる場合がある。
【0075】
図１５Ａ～１５Ｂは、自動セグメンテーション処理で連続的に使用される逐次的なセグメンテーションのための順序を事前設定及び／又は変更するためのコントロールを備えた、例示的な使用者インターフェースを示す図である。ある種の例示的な自動セグメンテーションの実施形態の各連続セグメンテーションは、閾値を超える信頼度でセグメント化された歯を記録し、次いで更なるセグメンテーションから取り除くことができる。完全な歯列弓（又はその部分）についての完全なセグメンテーション結果は、すべての個別の歯が記録されるときに表示される場合がある。代替的に、完全な歯列弓（又はその部分）についての完全なセグメンテーション結果は、全部のセグメンテーションが実行されて、記録（及び取り除き）されなかった歯が医師に対して指示され得るときに、表示される場合がある。
【0076】
図１５Ａに示すように、セグメンテーションタイプの事前設定シーケンス１５０２が選択される場合があり、又は、医師が、ライブラリ又は複数のセグメンテーションタイプ１５０６から選択されたセグメンテーションタイプの所望の順序１５０４を設定する場合がある。ここでも、調整コントロール８４は、全体的な積極性、又はセグメンテーションタイプ１５０６のうちの特定のセグメンテーション処理アルゴリズムタイプの他のパラメータ又は特徴のレベルを設定するために使用される場合がある。１つの例示的な実施形態では、信頼度１５１０は、任意選択である場合があり、医師によって調整することができる。１つの例示的な実施形態では、操作者コントロール９０は、医師に対して完全なセグメンテーション結果を表示するために使用される場合がある。任意選択のウィンドウ１５０８は、オリジナルの３Ｄメッシュ、あるいは、セグメント化の結果又はセグメンテーションタイプが実際に使用されたセグメント化の結果を表示するために使用される場合がある。例えば、操作者コントロール１５１２は、図１５Ｂに示すようにすべてのセグメンテーションが実行されてセグメンテーションタイプ１５１４が記録された各歯について強調されているときに、医師に対して完全な歯列弓（又はその部分）についての完全なセグメンテーション結果を表示するために使用される場合がある。
【0077】
本明細書の例示的な実施形態に従って、コンピュータプログラムは、電子メモリからアクセスされる画像データについて実行する記憶された命令を使用する場合がある。画像処理技術の当業者によって理解され得るように、画像化システム及びプローブを動作させて本出願の例示的な実施形態の画像データを獲得するためのコンピュータプログラムは、パーソナルコンピュータ又はワークステーションなどの、本明細書で説明するように、制御論理プロセッサとして動作する適切な汎用コンピュータによって利用される場合がある。しかしながら、多くの他のタイプのコンピュータシステムは、例えば、ネットワーク型プロセッサの配置構成を含む本発明のコンピュータプログラムを実行するために使用される場合がある。例示的な方法の実施形態を実施するためのコンピュータプログラムは、コンピュータ可読記憶媒体に記憶されることがある。この媒体は、例えば、ハードドライブもしくは取り外し式デバイスなどの磁気ディスクや磁気テープなどの磁気記憶媒体；光学ディスク、光学テープ、又は機械可読光学エンコーディングなどの光学記憶媒体；ランダムアクセスメモリ（ＲＡＭ）やリードオンリーメモリ（ＲＯＭ）などの固体電子記憶デバイス；又は、コンピュータプログラムを記憶するために採用される任意の他の物理的なデバイスや媒体、を含むことがある。例示的な方法の実施形態を実施するためのコンピュータプログラムは、インターネット又は他のネットワークあるいは通信媒体を経由して画像プロセッサに接続されるコンピュータ可読記憶媒体に記憶されることもある。当技術の当業者には、そのようなコンピュータプログラム製品の等価物もハードウエアで構築され得ることが更に容易に理解されよう。
【0078】
本出願の文脈における「コンピュータアクセス可能メモリ」に等価な用語「メモリ」は、画像データの記憶及び画像データへの作用のために使用され、例えばデータベースを含む、コンピュータシステムからアクセス可能な、任意のタイプの一時的又はより永続するデータ記憶の作業空間を指す場合があることに留意されたい。メモリは、例えば、磁気又は光学記憶などの長期記憶媒体を用いる不揮発性である場合がある。代替的に、メモリは、マイクロプロセッサや他の制御論理プロセッサデバイスによって一時的バッファ又は作業空間として使用されるランダムアクセスメモリ（ＲＡＭ）などの電子回路を用いる、より揮発的な性質を有する場合がある。例えば、ディスプレイデータは一般に、表示データを提供する目的で、表示デバイスと直接関連付けられ、必要に応じて定期的にリフレッシュされる一時的記憶バッファに記憶される。この一時的記憶バッファは、本出願でこの用語が使用される場合、メモリの１つのタイプであるとみなされる。メモリは、計算及び他の処理の中間及び最終の結果を実行して記憶するためのデータ作業空間としても使用される。コンピュータアクセス可能メモリは、揮発性、不揮発性、又は、揮発性と不揮発性のタイプのハイブリッドな組合せである場合がある。
【0079】
本出願のコンピュータプログラム製品が、よく知られている様々の画像操作アルゴリズム及び処理を利用し得ることが理解されよう。更に、本出願のコンピュータプログラム製品の例示的な実施形態が、実施に有効である本明細書に具体的に示されず、説明されないアルゴリズム及び処理を具体化することがあることが理解されよう。そのようなアルゴリズム及び処理は、画像処理技術の通常のスキルの範囲内にある従来の有用物を含むことがある。そのようなアルゴリズム及びシステムの追加の態様、並びに、画像を生成し、その他の方法で処理し、又は、本出願のコンピュータプログラム製品の例示的な実施形態と連携するためのハードウエア及び／又はソフトウエアは、本明細書に具体的には示されず説明されておらず、そのようなアルゴリズム、システム、ハードウエア、構成要素、及び、当技術で知られた要素から選択されることがある。
【0080】
本出願に係るある種の例示的な方法及び／又は装置の実施形態は、歯列３Ｄメッシュモデルから良好にセグメント化された歯のセットを構築するときに、セグメント化された歯列を後続の異なったセグメンテーションの試みから適切に取り除くために、医師が連続セグメンテーション技術を利用できるようにする。１つの例示的な実施形態では、各歯を自動セグメンテーション結果全部に記録した医師セグメンテーションタイプに表示するために、操作者コントロールが使用される場合がある。本開示の実施形態は、歯科画像化装置を用いて例証されるが、他のタイプの診断画像化及び他の解剖学的構造のために、類似の原理が適用される場合がある。本出願に係る例示的な実施形態は、本明細書で説明する様々な特徴を（個別に、又は組み合わせて）含む場合がある。
【0081】
１つの例示的な実施形態では、口腔内画像化のための装置は、患者の歯列の３－Ｄメッシュモデルを獲得するように構成される構造化光画像化カメラと、画像化カメラ及びディスプレイと信号通信し、命令でプログラムされるコンピュータプロセッサと、を含み、命令は：取得した３－Ｄメッシュモデルに第１のセグメンテーション手順を実行し、３－Ｄメッシュモデルから１つ以上のセグメント化された歯を表示することと、１つ以上のセグメント化された歯のうちの少なくとも１つを操作者指示に従って記録し、修正済み３－Ｄメッシュモデルを形成するために記録された少なくとも１つの歯を３－Ｄメッシュモデルから取り除くことと、（ｉ）修正済みセグメンテーション手順を識別し、（ｉｉ）修正済みセグメンテーション手順を修正済み３－Ｄメッシュモデルに実行し、修正済み３－Ｄメッシュモデルから１つ以上のセグメント化された歯を表示し、（ｉｉｉ）１つ以上のセグメント化された歯のうちの少なくとも１つを記録し、記録した少なくとも１つの歯を修正済み３－Ｄメッシュモデルから取り除く、シーケンスを１回以上繰り返すことと、記録したセグメンテーション結果を表示、記憶、又は伝達することと、を含む。
【0082】
本発明について、１つ以上の実装形態に関して例証してきたが、添付した特許請求の範囲の精神及び範囲から逸脱することなく、例証した例に対して変更及び／又は修正を行うことができる。加えて、本発明の特定の特徴は、幾つかの履行／実施形態のうちのたった１つに関して開示されたことがあるが、そのような特徴は、任意の所与又は特定の機能について所望されて有利であり得るように、他の履行／実施形態のうちの１つ以上の他の特徴と結合することができる。用語「の少なくとも１つ」は、列挙した項目の１つ以上が選択される場合のあることを意味するために使用される。用語「約」は、変更が、例証する実施形態に対してプロセス又は構造の不整合をもたらさない限り、列挙した値が多少変更されてよいことを指す。最後に、「例示的」は、それが理想的であることを暗示するのではなく、説明が例として用いられることを意味する。本発明の他の実施形態は、本明細書及び本明細書に開示した本発明の実施の考察から、当技術の当業者には明らかになるであろう。本明細書及び例が単なる例示とみなされるべきであり、本発明の真の範囲及び精神が少なくとも次の特許請求の範囲によって示されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
