(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-11
(54)【発明の名称】複数の解剖学的領域についての歯科シェードマッチング
(51)【国際特許分類】
A61B 1/24 20060101AFI20220428BHJP
G06T 7/00 20170101ALI20220428BHJP
A61B 1/045 20060101ALI20220428BHJP
A61C 13/08 20060101ALI20220428BHJP
A61C 19/04 20060101ALI20220428BHJP
【ＦＩ】
A61B1/24
G06T7/00 612
A61B1/045 641
A61C13/08 Z
A61C19/04 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021554602
(86)(22)【出願日】2020-03-10
(85)【翻訳文提出日】2021-11-10
(86)【国際出願番号】 US2020021804
(87)【国際公開番号】W WO2020185733
(87)【国際公開日】2020-09-17
(31)【優先権主張番号】62/816,199
(32)【優先日】2019-03-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521154774
【氏名又は名称】ケアストリーム デンタル エルエルシー
(74)【代理人】
【識別番号】110001210
【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】グリネク ヤニック
(72)【発明者】
【氏名】ウォン ビクター シー
【テーマコード（参考）】
4C052
4C161
5L096
【Ｆターム（参考）】
4C052AA06
4C052NN02
4C052NN03
4C052NN04
4C052NN05
4C052NN15
4C161AA08
4C161CC06
4C161HH54
4C161WW02
4C161WW08
4C161WW13
4C161WW18
5L096AA02
5L096AA06
5L096AA09
5L096BA06
5L096BA18
5L096CA18
5L096DA01
5L096FA06
5L096FA15
5L096FA66
5L096FA69
5L096GA38
5L096GA40
5L096GA41
(57)【要約】
歯についてシェードマッチング方法が、複数のデジタル化された歯シェード基準を取得し、歯の３次元（３Ｄ）表面表現及び３次元（３Ｄ）表面に規定された関連する色情報を取得し、歯の３次元（３Ｄ）表面表現上の領域を選択し、全ての歯シェード基準の共通の歯形状との複数の対応を決定し、複数の歯シェード基準から歯シェード基準のそれぞれについての色差を計算し、最小差を有するシェード基準に対応するラベルを記録する。
【特許請求の範囲】
【請求項1】
歯についてのシェードマッチング方法であって、（ａａ）複数のデジタル化された歯シェード基準を取得するステップであって、それぞれの歯シェード基準は、共通の歯形状に対応し、ラベルを有し、前記歯形状に色情報を含む、ステップと、
（ａ）歯の３Ｄ表面表現及び前記３Ｄ表面に規定された関連する色情報を取得するステップと、
（ｂ）前記歯の前記３Ｄ表面表現上の領域を選択するステップと、
（ｃ）全ての前記歯シェード基準の前記共通の歯形状との複数の対応を決定するステップであって、前記複数の対応は、前記歯の３Ｄ表面表現上の前記選択された領域と前記共通の歯形状との間の同じ解剖学的領域からの点を接続する、ステップと、
（ｄ）前記複数の歯シェード基準から前記歯シェード基準のそれぞれについての色差を計算するステップであって、それぞれの色差は、前記歯シェード基準からの色情報を、前記歯の前記３Ｄ表面表現上の前記選択された領域からの前記関連する色情報と比較することによって計算され、前記色情報の比較は、前記複数の対応を用いる、ステップと、
（ｅ）最小差を有する前記シェード基準に対応する前記ラベルを記録するステップと、
を備える、方法。
【請求項2】
（ａａ）複数のデジタル化された歯シェード基準を取得するステップが、（ａ）歯の３Ｄ表面表現及び前記３Ｄ表面に規定された関連する色情報を取得するステップの前又は後に操作される、請求項１に記載の方法。
【請求項3】
前記歯の３Ｄ表面表現及び前記３Ｄ表面に規定された関連する色情報を取得するステップが、口腔内スキャナを用いて実行される、請求項１に記載の方法。
【請求項4】
前記３Ｄ表面に規定された前記関連する色情報は、赤、緑、及び青の色データ値を含む、請求項１に記載の方法。
【請求項5】
前記３Ｄ表面に規定された前記関連する色情報は、ＣＩＥＬＡＢ色データ値を含む、請求項１に記載の方法。
【請求項6】
前記３Ｄ表面に規定された前記関連する色情報は、可視波長を網羅する波長を有するスペクトルを含む、請求項１に記載の方法。
【請求項7】
（ｂ）前記歯の前記３Ｄ表面表現上の領域を選択するステップは、区分化処理を備え、前記区分化処理は、手動、半自動、又は自動である、請求項１に記載の方法。
【請求項8】
複数の対応を決定するステップは、手動処理、自動処理、又は半自動処理であり、前記手動処理は、ユーザがコンピュータマウス又はタッチスクリーンを用いて前記共通の歯形状の上の前記同じ解剖学的領域を決定及び選択するステップを備え、
前記自動処理は、
（ａ）前記歯の前記３Ｄ表面表現は、色及び形態上の操作を用いて歯肉から区分化されるステップ、及び／又は
（ｂ）単射変換が、前記歯の前記３Ｄ表面表現上の前記選択された領域から前記共通の歯形状の上の前記領域にマッピングするために用いられるステップ、
を含む随意のステップを備え、前記変換は、前記歯の前記３Ｄ表面表現及び前記シェード基準の表面によって決定され、
前記半自動処理は、ユーザが、前記自動処理によって提供された前記領域の更なる調整を操作するステップを備え、前記調整は、前記自動処理によって提供された前記領域の位置、縮尺、又は向きへの更なる修正を施すステップを含む、請求項１に記載の方法。
【請求項9】
前記シェード基準のそれぞれは、シェードガイドからのシェードタブである、請求項１に記載の方法。
【請求項10】
前記色情報は、前記歯又は歯シェード基準の色ベクトルの空間分解された角度分布を備える、請求項１に記載の方法。
【請求項11】
前記色情報は、前記歯又は歯シェード基準の表面テクスチャ情報を備える、請求項１に記載の方法。
【請求項12】
前記角度分布は、前記歯表面上での入射照明方向、反射光方向、面法線、及び位置のうちの少なくとも１つを備える、請求項２に記載の方法。
【請求項13】
色ベクトルの基準角度分布及び関連するシェード情報は、歯科シェードタブの集合についての測定から取得される、請求項２に記載の方法。
【請求項14】
色ベクトルの角度分布は、双方向反射率分布関数（ＢＲＤＦ）値を備える、請求項２に記載の方法。
【請求項15】
色ベクトルの角度分布は、空間的に変動する双方向反射率分布関数（ＢＲＤＦ）値を含む、請求項２に記載の方法。
【請求項16】
色ベクトルの角度分布は、双方向散乱面反射率分布関数（ＢＳＳＲＤＦ）、又は双方向散乱分布関数（ＢＳＤＦ）値を含む、請求項２に記載の方法。
【請求項17】
前記３Ｄ表面表現は、点群、又は三角形メッシュ、又は表面スプラインを含む、請求項１に記載の方法。
【請求項18】
前記ラベルは、テキストラベル、又は色コード型ラベル、又は前記３Ｄ表面表現にわたる色変動の空間プロファイルである、請求項１に記載の方法。
【請求項19】
前記歯のシェード情報は、前記歯表面の上側、中部、又は下側３分の１のうちの少なくとも１つに対応する、請求項１に記載の方法。
【請求項20】
歯についてのシェードマッチング方法であって、ａ）歯を選択して前記歯の頬側面上にグリッドを規定するステップと、
ｂ）前記頬側面から共通の歯形状の上の表面へ前記グリッドのマッピングを規定するステップと、
ｃ）請求項１～１４に記載の方法に従って前記グリッドのそれぞれのセルについてシェードラベルを計算するステップと、
ｄ）前記グリッドのセルについてのシェードラベルを記憶するステップと、
を備える、方法。
【請求項21】
口腔内撮像装置であって、複数のデジタル化された歯シェード基準を取得する画像キャプチャ装置であって、それぞれの歯シェード基準は、共通の歯形状に対応し、ラベルを有し、前記歯形状の上に色情報を含む、画像キャプチャ装置と、
歯の３Ｄ表面表現及び前記３Ｄ表面に規定された関連する色情報を取得する別の画像キャプチャ装置と、
処理論理命令によってプログラミングされるプロセッサと、
を備え、前記処理論理命令とは、
（ａ）前記歯の前記３Ｄ表面表現上の領域を選択するステップと、
（ｂ）全ての前記歯シェード基準の前記共通の歯形状との複数の対応を決定するステップであって、前記複数の対応は、前記歯の前記３Ｄ表面表現上の前記選択された領域と前記共通の歯形状との間の同じ解剖学的領域からの点を接続する、ステップと、
（ｃ）前記複数の歯シェード基準から前記歯シェード基準のそれぞれについての色差を計算するステップであって、それぞれの色差は、前記歯シェード基準からの色情報を、前記歯の前記３Ｄ表面表現上の前記選択された領域からの前記関連する色情報と比較することによって計算され、前記色情報の比較は、前記複数の対応を用いる、ステップと、
（ｄ）最小差を有する前記シェード基準に対応する前記ラベルを記録するステップと、
である、口腔内撮像装置。
【請求項22】
口腔内撮像装置であって、複数のデジタル化された歯シェード基準を取得する画像キャプチャ装置であって、それぞれの歯シェード基準は、共通の歯形状に対応し、ラベルを有し、前記歯形状に色情報を含み、前記画像キャプチャ装置は、歯の３Ｄ表面表現及び前記３Ｄ表面上に規定された関連する色情報を取得する、画像キャプチャ装置と、
処理論理命令によってプログラミングされるプロセッサと、
を備え、前記処理論理命令とは、
（ａ）前記歯の前記３Ｄ表面表現上の領域を選択するステップと、
（ｂ）全ての前記歯シェード基準の前記共通の歯形状との複数の対応を決定するステップであって、前記複数の対応は、前記歯の前記３Ｄ表面表現上の選択された領域と前記共通の歯形状との間の同じ解剖学的領域からの点を接続する、ステップと、
（ｃ）前記複数の歯シェード基準から前記歯シェード基準のそれぞれについて色差を計算するステップであって、それぞれの色差は、前記歯シェード基準からの色情報を、前記歯の前記３Ｄ表面表現上の前記選択された領域からの前記関連する色情報と比較することによって計算され、前記色情報の比較は、前記複数の対応を用いる、ステップと、
（ｄ）最小差を有する前記シェード基準に対応する前記ラベルを記録するステップと、
である、口腔内撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、３次元（３Ｄ）歯科口腔内走査における方法及び装置に関し、より具体的には、３次元（３Ｄ）歯科口腔内走査における複数の解剖学的領域についてのシェードマッチング方法及び装置に関する。
【背景技術】
【0002】
歯の色シェードを正確にモデル化することは、修復歯科における患者の外観及び満足感について特に評価される。従来の実施において、歯科技工士又は従事者は、シェードタブの集合を用いて手動で歯の色及び全体的な外観を推定する。歯の色についてのシェードタブが、しばしば、修復材料の供給元によって提供され、そして、充填物、歯冠、インプラント、ブリッジ、又は別の修復特徴に対して入手可能である利用可能な色合い又は色範囲を表す。しかし、品揃え豊富な歯科シェードタブの集合を用いてさえ、色のシェード決定は、実行が困難で、人為ミスを被ることがある。歯科シェード決定の全体的な精度は、しばしば、従事者の関連する経験及び美的感覚に依存する。
【0003】
近年において、シェード値マッチングに用いられるデジタル形式のシェードタブが作成されてきた。デジタル形式のシェードタブは、歯シェードを決定する処理を自動化する様々な手法において、患者の歯のデジタルモデルと共に用いられてきた。また、ＳｐｅｃｔｒｏＳｈａｄｅ Ｍｉｃｒｏ ＩＩ及びＶＩＴＡ Ｅａｓｙｓｈａｄｅ分光光度計を含む分光光度計が、歯科シェード値測定値を取得するために利用可能になった。ＳｐｅｃｔｒｏＳｈａｄｅ Ｍｉｃｒｏ ＩＩ分光光度計等のいくつかのデバイスを用いて、シェード情報が、２次元（２Ｄ）画像に基づいて取られて、解析される。ＶＩＴＡ Ｅａｓｙｓｈａｄｅ分光光度計等の別のデバイスを用いて、シェード情報は、歯の上のデバイスの位置によって画定された領域内で取られる。
【0004】
３次元（３Ｄ）歯科スキャナ等の別のデバイスが、歯科シェードを測定する能力によって利用可能になった。これらのデバイスが用いられるとき、デバイスが狙っている患者の歯表面上の領域とデジタル化されたシェード情報との間の比較ステップが、コンピュータソフトウェアによって実行される。デジタル化されたシェード情報は、ＶＩＴＡシェードガイド等のシェードタブから取られてもよい。シェードタブは、通常、歯表面にわたって変化する色プロファイルを有することにより、象牙質とエナメル質の領域の間の自然な色のグラデーションを表す。一般に、１つのシェード値が、象牙質の色を表す中央領域等のシェードタブの特定領域によって表されてもよい。その例として、Ｖｉｔａ Ｃｌａｓｓｉｃａｌシェードタブについて、所望の位置が、通常、図９の例に示すような「Ｘ」印１１５付近にあれば、それは、異なるシェード値の領域を有するシェードタブを表す。図９の「Ｘ」印１１５付近においては、シェード値が、このＡ２シェードタブに対してＡ２として正しく識別される。しかし、この「Ｘ」印から更に遠く離れると、エナメル質は、より少ない有色顔料を含み、それでシェードタブＤ２における「Ｘ」印により類似するように見えるので、シェードはＤ２として検出されてもよい。この例では、１つのシェード値がシェードタブの特定領域だけよって表され、そしてシェードタブが一様ではないので、異なる領域についてのシェード値は同一でなくなる。これが、Ｄ２シェードタブについて「Ｘ」印付近のシェード外観を見て、異なる場所であるエナメル質にそれを適用しなければならない技術者にとっての混乱の原因である。このように、検出する装置及び方法は、例えば、このＡ２シェードタブについて、全ての異なる領域が、Ａ２として検出されることが必要である。これは、「単にＡ２シェードタブの色グラデーションを再現する必要がある」という明瞭な命令を技術者に与えるであろう。
【0005】
図１４は、象牙質からエナメル質に向かうシェード変動を有する１つのシェードタブにおけるシェード分布を表す概略図である。中間部分／歯頚部／歯肉部分の近心／遠心／中央部分が、通常、異なる外観を有するので、経験豊かな歯科医は、患者の歯とシェードタブとの間の対応する解剖学的領域を測定することがある。
【0006】
図１０Ａ及び１０Ｂは、患者の歯の領域とシェードタブとの間の様々な解剖学的マッピングを表す概略図である。図１０Ａに示すように、患者の歯の近心切端部は、上記説明のように、Ａ２シェードタブからデジタル化されたシェード情報の中央領域と比較される。図１０Ｂは、歯と、均等な解剖学的領域と比較するシェードタブとの間の別の対応を表し、これは、対応を規定するより自然な方法である。
【0007】
そのため、歯の解剖学的領域について、歯のデジタル３次元表現とシェードタブとの間の対応を考慮する歯シェードマッチング方法及び装置に対する、産業における必要性が存在し、本方法及び装置についてのこの及び別の問題、難点、欠陥、及び短所を解決する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許第９２９５５３２号明細書
【特許文献2】米国特許第９３４９１８２号明細書
【非特許文献】
【0009】
【非特許文献1】ルス（Ｒｕｓｕ，Ｒ．Ｂ．）「人間の生活環境における日常操作のための意味論的３Ｄオブジェクトマップ（Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｂｊｅｃｔ Ｍａｐｓ ｆｏｒ Ｅｖｅｒｙｄａｙ Ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｈｕｍａｎ Ｌｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ）」、人工知能、ドイツ計算機科学学会、２００９年８月１７日、ｐｐ．５７－６１
【非特許文献2】モンテス（Ｒ．Ｍｏｎｔｅｓ）及びウレナ（Ｃ．Ｕｒｅｎａ）、「ＢＲＤＦモデルの概観（Ａｎ Ｏｖｅｒｖｉｅｗ ｏｆ ＢＲＤＦ Ｍｏｄｅｌｓ）、テクニカルレポートＬＳＩ－２０１２－００１、グラナダ大学、２０１２年
【非特許文献3】ランゴヴォイ（Ｍ．Ｌａｎｇｏｖｏｙ）、「ＢＲＤＦデータの可視化、解釈及び解析のための新規な測定法（Ｎｏｖｅｌ ｍｅｔｒｉｃ ｆｏｒ ａｎａｌｙｓｉｓ，ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ａｎｄ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ＢＲＤＦ ｄａｔａ）」、空間アルゴリズム及びシステム会議（Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｓｐａｔｉａｌ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ｓｙｓｔｅｍｓ）、２０１４年
【発明の概要】
【課題を解決するための手段】
【0010】
本発明は、歯の解剖学的領域について、歯のデジタル３次元表現とシェードタブとの間の対応を考慮する歯シェードマッチング方法及び装置を備える。本発明の一例示的実施形態の１つの態様によると、歯についてのシェードマッチング方法が、複数のデジタル化された歯シェード基準を取得するステップであって、それぞれの歯シェード基準は、共通の歯形状に対応し、ラベルを有し、歯形状にわたって規定された色情報を含む、ステップと、歯の３次元表面表現及び３次元表面に規定された関連する色情報を取得するステップと、歯の３次元表面表現上の領域を選択するステップと、全ての歯シェード基準の共通の歯形状との複数の対応を決定するステップであって、複数の対応は、歯の３次元表面表現上の選択された領域と共通の歯形状との間の同じ解剖学的領域からの点を接続する、ステップと、複数の歯シェード基準からの歯シェード基準のそれぞれについての色差を計算するステップであって、それぞれの色差が、歯シェード基準からの色情報を歯の３次元表面表現上の選択された領域からの関連する色情報と比較することによって計算され、色情報の比較は、複数の対応を用いる、ステップと、最小差を有するシェード基準に対応するラベルを記録するステップと、を備える。
【0011】
本発明の一例示的実施形態の別の態様によると、口腔内撮像装置が、複数のデジタル化された歯シェード基準を取得する画像キャプチャ装置であって、それぞれの歯シェード基準は、共通の歯形状に対応し、ラベルを有し、歯形状に色情報を含む、画像キャプチャ装置と、歯の３次元表面表現及び３次元表面に規定された関連する色情報を取得する別の画像キャプチャ装置と、処理論理命令によってプログラミングされるプロセッサと、を備え、該処理論理命令とは、歯の３次元表面表現上の領域を選択することと、全ての歯シェード基準の共通の歯形状との複数の対応を決定することであって、複数の対応は、歯の３次元表面表現上の選択された領域と共通の歯形状との間の同じ解剖学的領域からの点を接続する、ことと、複数の歯シェード基準からの歯シェード基準のそれぞれについての色差を計算することであって、それぞれの色差は、歯シェード基準からの色情報を歯の３次元表面表現上の選択された領域からの関連する色情報と比較することによって計算され、色情報の比較は、複数の対応を用いる、ことと、最小差を有するシェード基準に対応するラベルを記録することと、である。
【0012】
本発明の一例示的実施形態の更に別の態様によると、口腔内撮像装置は、複数のデジタル化された歯シェード基準を取得する画像キャプチャ装置であって、それぞれの歯シェード基準は、共通の歯形状に対応し、ラベルを有し、歯形状に色情報を含み、画像キャプチャ装置は、歯の３次元表面表現及び３次元表面に規定された関連する色情報を取得する、画像キャプチャ装置と、処理論理命令によってプログラミングされるプロセッサと、を備え、該処理論理命令は、歯の３次元表面表現上の領域を選択することと、全ての歯シェード基準の共通の歯形状との複数の対応を決定することであって、複数の対応は、歯の３次元表面表現上の選択された領域と共通の歯形状との間の同じ解剖学的領域からの点を接続する、ことと、複数の歯シェード基準からの歯シェード基準のそれぞれについての色差を計算することであって、それぞれの色差は、歯シェード基準からの色情報を歯の３次元表面表現上の選択された領域からの関連する色情報と比較することによって計算され、色情報の比較は、複数の対応を用いる、ことと、最小差を有するシェード基準に対応するラベルを記録することと、である。
【図面の簡単な説明】
【0013】
【図1】本発明の一例示的実施形態に従うシェードマッチングのための撮像装置を表す概略図である。
【図2】一様な光学輝度を有するランバート球を表す図である。
【図3】歯に対して異なる位置にある口腔内撮像プローブを表す概略図である。
【図4A】双方向反射率分布関数（ＢＲＤＦ）変数についての基本幾何構造を表す概略図である。
【図4B】極角の定義、及び表面部分について測定された反射データが概略的に表される態様を表す概略図である。
【図5】本発明の一例示的実施形態に従う、改善された色シェーディング識別及び表示のためにＢＲＤＦデータを取得及び使用するための方法についてのフローチャートである。
【図7】対応するＢＲＤＦスナップショットとともにシェードタブの集合を表す線図である。
【図8】同じ座標系内のＢＲＤＦグリッド、ＢＲＤＦスナップショット、及び成長３次元表面輪郭を表す概略図である。
【図9】ＢＲＤＦによって規定された異なるシェード値の領域を有するシェードタブを表す概略図である。
【図10A】様々な方策における患者の歯とシェードタブとの間の対応する解剖学的領域を表す概略図である。
【図10B】様々な方策における患者の歯とシェードタブとの間の対応する解剖学的領域を表す概略図である。
【図11】本発明の一例示的実施形態に従うシェードマッチング方法のフローチャートである。
【図12】本発明の一例示的実施形態に従う複数の基準シェード分布についてのシェード距離を計算する方法についてのフローチャートである。
【図13】本発明の一例示的実施形態に従う解剖学的マッピングを用いて走査されたシェード分布と基準シェード分布との間の距離を計算する方法のフローチャートである。
【図14】象牙質からエナメル質に向かってシェード変動を有する１つのシェードタブにおけるシェード分布を表す概略図である。
【図15】シェードガイドからの全てのシェードタブを表す概略図であって、該全てのシェードガイドは、異なるシェード分布を有するけれども共通の歯シェードを有し、そして同じ座標系内に表されてもよい。
【図16】歯の上の３次元領域の様々な例を表す概略図である。
【図17】本発明の一例示的実施形態に従うシェード分布の粗い空間分解能について示された解剖学的マッピングを表す概略図である。
【図18】本発明の一例示的実施形態に従うシェード分布の細かい空間分解能について示された解剖学的マッピングを表す概略図である。
【図19】本発明の一例示的実施形態に従う歯基準表面について規定された解剖学的座標系を表す概略図である。
【図21】シェードマッチング方法のフローチャートである。
【発明を実施するための形態】
【0014】
本発明の例示的実施形態についての以下の詳細な説明において、図面への参照がなされ、図面において、いくつかの図を通して同様の参照番号が同様の要素又はステップを識別する。本開示に関連して用いられる場合、用語「第１」、「第２」等は、必ずしもなんらかの順序的、連続的、又は優先的関係を示すわけではなく、別段の指定がない限り、単に、１つのステップ、要素、又は要素の集合を別のものからより明瞭に識別するために用いられる。
【0015】
本開示に関して、用語「通電可能な」とは、電力を受け取るときに、及び随意に権能付与的な信号を受け取るときに示された機能を実行するデバイス又は構成要素の集合に関連する。
【0016】
本開示に関して、用語「観察者」、「操作者」、及び「ユーザ」は、同等であると考えられ、そして、ディスプレイ上の歯科画像等の画像を観察して処理する観察実施者、技術者、又は別のヒトを指す。「操作者命令」又は「観察者命令」は、例えば、カメラ上のボタンをクリックすることはコンピュータマウスを用いることによって、又はタッチスクリーン若しくはキーボード入力によって、観察者によって入力される明示的なコマンドから取得される。
【0017】
本開示に関して、句「信号通信している」とは、２つ以上のデバイス及び／又は構成要素が、なんらかのタイプの信号経路にわたって進行する信号を介して互いに通信することができることを示す。信号通信は、有線又は無線であってもよい。信号は、通信、電力、データ、制御、又はエネルギ信号であってもよい。信号経路は、第１デバイス及び／又は構成要素と第２デバイス及び／又は構成要素との間の物理的、電気的、磁気的、電磁的、光学的、有線の、及び／又は無線の接続を含んでもよい。信号経路は、また、第１デバイス及び／又は構成要素と第２デバイス及び／又は構成要素との間に追加的な装置及び／又は構成要素を含んでもよい。
【0018】
本開示に関して、用語「集合」は、構成要素の集まり又は要素の集合についての概念が基礎数学において広く理解されているように、空でない集合を指す。用語「部分集合」又は「一部の部分集合」とは、別途明示されなければ、空でない真部分集合、すなわち、１つ又は複数の要素を有するより大きい集合の部分集合を指すために本明細書において用いられる。集合Ｓについて、部分集合は、完全集合Ｓから構成されてもよい。しかし、集合Ｓの「真部分集合」は、厳密には集合Ｓ内に含まれて、集合Ｓの少なくとも１つの要素を除外する。
【0019】
本開示に関して、「表面データ」は、点群、多角形メッシュ、又は別の表面表現若しくは画像の形式の表面輪郭特性評価を含んでもよい。表面データは、データ収集中に撮像システムによって能動的にアセンブルされた動的に成長する表面輪郭等の表面輪郭の図を含んでもよく、そして、表面輪郭を表す低分解能画像を含んでもよい。表面データは、その代替として、改良ステップの部分、追加のデータ取得若しくは計算の結果として生成されてもよい。高分解能表面データが、修復装置の精密設計のために技術者によって典型的に必要とされる。本発明の一例示的実施形態によると、表面データは、取得された３次元（３Ｄ）走査データから抽出された２次元（２Ｄ）表面情報を含んでもよい。
【0020】
口腔内スキャナ
図１は、本発明の一例示的実施形態に従う３次元（３Ｄ）走査のための撮像装置９０を表す概略図である。カメラ１６、典型的には、手持ち式デジタルカメラ、カラーデプスカメラ、手持ち式３次元スキャナ、又は口腔内３次元スキャナが、反射画像及び関連する深度情報を含む画像データの集合を取得するために患者１４の口腔を通して走査される。カメラ１６と信号通信している制御論理プロセッサ８０は、カメラ１６から画像データを取得し、反射画像を処理して色を関連する深度情報に割り当て、そして、色と関連する深度情報の成長表面輪郭上への配置を計算する。配置がうまく計算され得るならば、制御論理プロセッサ８０が、更新された成長表面輪郭及びシェードラベル９２を生成する。制御論理プロセッサ８０は、典型的に点群として提供される成長表面を結合させ、そして、プロセッサ８０と信号通信しているディスプレイ８４上に、表面及びその結果として生じるシェードラベルを描画する。
図１は、本発明の一例示的実施形態に従う３次元（３Ｄ）走査のための撮像装置９０を表す概略図である。カメラ１６、典型的には、手持ち式デジタルカメラ、カラーデプスカメラ、手持ち式３次元スキャナ、又は口腔内３次元スキャナが、反射画像及び関連する深度情報を含む画像データの集合を取得するために患者１４の口腔を通して走査される。カメラ１６と信号通信している制御論理プロセッサ８０は、カメラ１６から画像データを取得し、反射画像を処理して色を関連する深度情報に割り当て、そして、色と関連する深度情報の成長表面輪郭上への配置を計算する。配置がうまく計算され得るならば、制御論理プロセッサ８０が、更新された成長表面輪郭及びシェードラベル９２を生成する。制御論理プロセッサ８０は、典型的に点群として提供される成長表面を結合させ、そして、プロセッサ８０と信号通信しているディスプレイ８４上に、表面及びその結果として生じるシェードラベルを描画する。
【0021】
表面データ及び色割当て
図１の撮像装置９０を参照すると、カメラ１６は、反射画像及び関連する深度情報を含む画像データの集合を取得する。制御論理プロセッサ８０が、画像データを処理して、表面輪郭に局所シェード指標を提供する。
図１の撮像装置９０を参照すると、カメラ１６は、反射画像及び関連する深度情報を含む画像データの集合を取得する。制御論理プロセッサ８０が、画像データを処理して、表面輪郭に局所シェード指標を提供する。
【0022】
一例示的実施形態では、反射画像が結合されて色画像を形成してもよく、ここに、色チャネルの数は３以上である。色チャネルの数に一致する次元の色ベクトルが用いられて、結合された色画像内に色値を記憶してもよい。一例示的実施形態では、センサは、モノクロームであって、異なる中央波長の照明による複数の露光を必要とする。別の例示的実施形態では、色値はＲＧＢ色ベクトル内に記憶される。別の同等の３次元（３Ｄ）色空間が、代替的に用いられてもよい。例えば、色距離について、ＣＩＥＬＡＢ３次元（３Ｄ）色空間を用いることが有利な場合があり、該色空間は、眼の感度に従って、知覚的に一様な色距離を提供するように設計されてきた。別の例示的実施形態では、４つ以上の中央波長を有する色チャネルのスペクトルが取得されたならば、対応する色値は、色ベクトル内に記憶される。
【0023】
一例示的実施形態では、関連する深度情報は、また、構造化照明を用いて反射画像を処理することによって取得され、該構造化照明は、本発明の譲受人に譲渡された、「３Ｄ Ｉｎｔｒａｏｒａｌ Ｍｅａｓｕｒｅｍｅｎｔｓ Ｕｓｉｎｇ Ｏｐｔｉｃａｌ Ｍｕｌｔｉｌｉｎｅ Ｍｅｔｈｏｄ」という名称の米国特許第９，２９５，５３２号及び「３Ｄ Ｉｎｔｒａｏｒａｌ Ｍｅａｓｕｒｅｍｅｎｔｓ Ｕｓｉｎｇ Ｏｐｔｉｃａｌ Ｍｕｌｔｉｌｉｎｅ Ｍｅｔｈｏｄ」という名称の米国特許第９，３４９，１８２号に記載されたようなものであり、その両方は、Ｍｉｌｃｈに発行され、この参照によって全体として本明細書に組み込まれる。別の例示的実施形態では、関連する深度情報は、次の技術のいずれかを含むがこれに限定されないものを用いて取得されてもよく、該技術とは、投影パターンを用いる三角測量、共焦点幾何構造を用いる焦点からの深度、又は能動的若しくは受動的立体写真計測法である。
【0024】
実際には、反射画像及び関連する深度情報が、可能な限り高速に取得されることにより、画像データが生成させられるとき、カメラ露光のシーケンス中にスキャナ変位を最小化する。この処理に続いて、関連する深度情報は、距離画像とも呼ばれる、反射画像から画素位置に関係付けられ、そして、色が距離画像に割り当てられてもよい。距離画像からの画素データが、３次元点座標に変換されてもよい。
【0025】
シェードマッチング方法（先行技術）
近年、シェード情報が、一般に２次元（２Ｄ）テクスチャ画像に基づいて取られて解析される。図２１は、シェードマッチング方法についてのフローチャートである。
近年、シェード情報が、一般に２次元（２Ｄ）テクスチャ画像に基づいて取られて解析される。図２１は、シェードマッチング方法についてのフローチャートである。
【0026】
ステップＳ２１１０において、テクスチャ画像が識別される。
【0027】
ステップＳ２１２０において、３次元（３Ｄ）表面からテクスチャ画像上へのマッピングが決定される。
【0028】
ステップＳ２１３０において、３次元（３Ｄ）表面上のそれぞれの三角形について、走査中に取得された関連する色情報を見出して、それに従ってテクスチャ画像上に対応する三角形を描く。
【0029】
ステップＳ２１４０において、３次元（３Ｄ）表面からテクスチャ座標へのマッピングは、それぞれの頂点についてメッシュ特性（ｕ，ｖ）テクスチャ座標内に保存される。
【0030】
３次元（３Ｄ）表面の頂点とテクスチャ座標との間の対応だけが記憶されるので、テクスチャ画像が保持されて、３次元（３Ｄ）表面又はシェード情報測定値を視覚化するためにアクセス可能でなければならない。
【0031】
複数の解剖学的領域についてのシェードマッチング
図１１は、本発明の実施形態に従うシェードマッチング方法を表すフローチャートである。
図１１は、本発明の実施形態に従うシェードマッチング方法を表すフローチャートである。
【0032】
ステップＳ１１１０
ステップＳ１１１０において、３次元表面に規定された、歯の３次元表面表現及び関連する色情報が取得される。これが、３次元（３Ｄ）表面及び表面にわたる関連するシェード分布を提供する。シェード分布は、表面にわたって空間的に分解される。分解能は、用いられるシェードデータのタイプに依存する。本発明の一例示的実施形態によると、シェード分布は、テクスチャデータである、すなわち約５０μｍの分解能を有する画像である。テクスチャは、歯表面のいずれかの位置における色値を提供する空間分布である。本発明の別の例示的実施形態によると、シェード分布は、０．５ｍｍから１ｍｍまでの間の分解能を有するＢＲＤＦクラウドである。
ステップＳ１１１０において、３次元表面に規定された、歯の３次元表面表現及び関連する色情報が取得される。これが、３次元（３Ｄ）表面及び表面にわたる関連するシェード分布を提供する。シェード分布は、表面にわたって空間的に分解される。分解能は、用いられるシェードデータのタイプに依存する。本発明の一例示的実施形態によると、シェード分布は、テクスチャデータである、すなわち約５０μｍの分解能を有する画像である。テクスチャは、歯表面のいずれかの位置における色値を提供する空間分布である。本発明の別の例示的実施形態によると、シェード分布は、０．５ｍｍから１ｍｍまでの間の分解能を有するＢＲＤＦクラウドである。
【0033】
歯の個々の３次元（３Ｄ）表面表現を取得するためだけならば、Ｃａｒｅｓｔｒｅａｍ Ｄｅｎｔａｌ ＬＬＣからのＣＳ３６００モデル等の多くの市販の口腔内３次元スキャナが用いられてもよい。このステップにおいて、３次元（３Ｄ）表面表現の他に、３次元（３Ｄ）表面上に画定された関連する色情報が、同様に取得される必要がある。関連する色情報は、表面の３次元（３Ｄ）幾何構造データをキャプチャするための同じ走査操作中に、同じ口腔内スキャナによって測定されてもよい。確かに、色情報は、別個に取得又は入力されて、そして、再構成された３次元（３Ｄ）歯表面の位置に連結されてもよい。例えば、ＳｐｅｃｔｒｏＳｈａｄｅ Ｍｉｃｒｏ ＩＩ及びＶＩＴＡ Ｅａｓｙｓｈａｄｅ分光光度計等のいくつかの分光光度計を用いて歯表面の色情報を取得し、次いで、それらのシェード値を手動で入力するか、又はそれらを３次元（３Ｄ）表面の個々の位置に連結させる。本発明の一例示的実施形態によると、歯科シェード値と３次元（３Ｄ）表面との間の連結処理は、歯科シェード値と連結された歯表面の２次元（２Ｄ）画像を、対応する３次元（３Ｄ）表面にマッピングすることによって同様に自動的に実行されてもよい。
【0034】
スキャナによって取得された基本色を意味する色情報が、異なる手段又はフォーマットで表現又は記録されてもよい。典型的な手段のうちの１つは、ＲＧＢ、ＣＩＥＬＡＢ ＸＹＺ（国際照明委員会によって画定された）、又は可視スペクトルの形式の、３次元（３Ｄ）表面位置に対応する２次元（２Ｄ）画像から取得された色値を用いている。
【0035】
本発明の一例示的実施形態によると、歯の３Ｄ表面表現及び３次元（３Ｄ）表面上に規定された関連する色情報を取得することが、口腔内スキャナを用いて実行される。本発明の一例示的実施形態によると、３次元（３Ｄ）表面上に画定された関連する色情報は、赤、緑、青の色データ値を含む。本発明の一実施形態によると、３次元（３Ｄ）表面上に規定された関連する色情報は、ＣＩＥＬＡＢ色データ値を含む。本発明の一例示的実施形態によると、３次元（３Ｄ）表面上に規定された関連する色情報は、可視波長を網羅する波長を有するスペクトルを含む。
【0036】
ステップＳ１１２０
ステップＳ１１２０において、歯の３次元（３Ｄ）表面表現上の領域が、選択される。これは、手動、半自動、又は自動であってもよい選択又は区分化タスクである。図１６は、歯の上の３次元（３Ｄ）領域についての様々な例を表す概略図である。
ステップＳ１１２０において、歯の３次元（３Ｄ）表面表現上の領域が、選択される。これは、手動、半自動、又は自動であってもよい選択又は区分化タスクである。図１６は、歯の上の３次元（３Ｄ）領域についての様々な例を表す概略図である。
【0037】
手動処理について、ユーザによって操作された選択は、多角形又は円形によって画定された領域であってもよい。
【0038】
半自動選択について、ユーザは、最初に３次元（３Ｄ）歯表面上の複数点を選択し、次いで、計算アルゴリズムが、初期の多角形を歯の外形上に適合させることを支援することになる。これは、小さい曲率半径の領域に向かって外形を誘引することによって最初に達成される。外形のこの最適化は、歯科アプリケーションに用いられる限界線検出に類似した方策に追従する。本発明の一例示的実施形態によると、アルゴリズムは、ユーザクリックが制御点である経路追跡であり、それは、最小曲率半径の経路に追従する。正則化が適用されて輪郭が過剰に変形することを防止し、維持してもよい。制御点が、追加又は除去されてもよく、そして輪郭がそれに従って更新される。閉じた輪郭内の表面が、選択された領域になる。
【0039】
自動選択について、対象の歯を規定するための単一クリック等の最少のユーザ作用だけが必要である。制御点は、次いで、表面の曲率半径が既定の閾値に到達したとき、又は表面法線がスクリーン法線に対して既定の閾値を越えた角度をなすとき、自動的に半径方向に置かれてもよい。次いで、経路追従アルゴリズムは、閉じた輪郭を決定して、選択された領域を画定してもよい。本発明の一例示的実施形態によると、閉じた輪郭は、自動的に複数の３次元（３Ｄ）領域内にカットされてもよく、それは、閉じた輪郭内に含まれた表面の区画を生成する。複数の３次元（３Ｄ）領域は、頸部３分の１、中部３分の１、及びエナメル質３分の１であってもよい。本発明の別の例示的実施形態によると、複数の３次元（３Ｄ）領域は、歯表面上の３×３グリッドによって画定されてもよい。複数の３次元（３Ｄ）領域からのそれぞれの３次元（３Ｄ）領域が、次いで処理される。
【0040】
本発明の実施形態によると、歯の３次元（３Ｄ）表面表現上の領域を選択することは、区分化処理を含み、そして、区分化処理は、手動、半自動、又は自動であってもよい。
【0041】
ステップＳ１１３０
ステップＳ１１３０において、全ての歯シェード基準の共通の歯形状との複数の対応が決定される。複数の対応は、歯の３次元（３Ｄ）表面表現上の選択された領域と共通の歯形状との間の同じ解剖学的領域からの点を接続する。つまり、対応のそれぞれは、歯の３次元（３Ｄ）表面表現上の選択された領域から、シェード基準の共通の歯形状上の同じ解剖学的領域へのマッピングである。本発明の一例示的実施形態によると、シェード基準のそれぞれは、シェードガイドからのシェードタブであり、それで、全ての歯シェード基準は共通の歯形状を有しなければならない。図１５は、シェードガイドからの全てのシェードタブが共通の歯形状を有するけれども、異なるシェード分布を有し、そして同じ座標系内に表されてもよいことを示す概略図である。
ステップＳ１１３０において、全ての歯シェード基準の共通の歯形状との複数の対応が決定される。複数の対応は、歯の３次元（３Ｄ）表面表現上の選択された領域と共通の歯形状との間の同じ解剖学的領域からの点を接続する。つまり、対応のそれぞれは、歯の３次元（３Ｄ）表面表現上の選択された領域から、シェード基準の共通の歯形状上の同じ解剖学的領域へのマッピングである。本発明の一例示的実施形態によると、シェード基準のそれぞれは、シェードガイドからのシェードタブであり、それで、全ての歯シェード基準は共通の歯形状を有しなければならない。図１５は、シェードガイドからの全てのシェードタブが共通の歯形状を有するけれども、異なるシェード分布を有し、そして同じ座標系内に表されてもよいことを示す概略図である。
【0042】
通常、デジタル化された歯シェード基準は、前もって、すなわち、患者の歯における走査操作の前に取得されてもよい。もちろん、デジタル化された歯シェード基準は、また、患者の歯における走査操作の後に実行されてもよい。本発明の一例示的実施形態によると、複数のデジタル化された歯シェード基準を取得することは、歯の３次元（３Ｄ）表面表現、及び３次元表面に規定された関連する色情報を取得するというステップＳ１１１０の前又は後に、操作される。
【0043】
それぞれの歯シェード基準、すなわちデジタル化されたシェードガイドからのそれぞれのシェードタブが、共通の歯形状に対応し、ラベルを有し、そして、歯形状にわたって規定された色情報を含む。典型的には、全てのシェードタブは、ヒトの切歯に似ている同じ形状を有し、それについての正しいシェード値が最も重要であり、その理由は、微笑むときにそれらが露わにされるからである。この共通の歯形状は、３次元（３Ｄ）歯科歯とシェード基準の共通の歯形状との間で複数の対応する解剖学的領域を決定するための方法を補助する。同じ解剖学的領域は、歯茎、頸部、中部、切端、近心、遠心、歯間、冠状、エナメル質、象牙質、歯髄、半透明部分、舌側、頬側、咬合面等の共通の歯科用語を用いて記述されてもよい。
【0044】
図１７は、本発明の一例示的実施形態に従う、シェード分布の粗い空間分解能について示された解剖学的マッピングを表す概略図である。対応の密度は、３次元（３Ｄ）領域によって網羅された粗いシェード分布の領域の数にほぼ等しい。ユーザは、それらの対応を容易に描いてもよい。対応についての粗い数は、通常、１から２０までの間の範囲であることになる。
【0045】
図１８は、本発明の一実施形態に従うシェード分布の細かい空間分解能について示された解剖学的マッピングを表す概略図である。画素同士の間の対応は、数個の制御点だけによって規定された座標系から外挿されてもよい。この場合、アルゴリズムのユーザは、数個の制御点（十字によって表示されたような）を設置して、それぞれの表面上に類似の座標系を規定することになる。対応は、次いで、制御点同士の間での内挿を用いてそれらの座標系からサンプリングされることになる。図１８は、図示目的のための一系列の対応を単に表す。別の対応が、この系列を横に動かすことによって生成されて、制御点によって画定された３次元領域全体を網羅する。密な対応は、自動マッピングを必要とし、そして、通常、２０超の対応を有する集合に対応することになる。対応の数は、１０，０００と同じ、又はそれよりも大きくてもよい。
【0046】
座標系が、また、シェード基準表面について規定され、歯表面上にマッピングされてもよい。図１９は、本発明の一例示的実施形態に従う、シェード基準表面について規定された例示的な解剖学的座標系を表す概略図である。図２０は、本発明の一例示的実施形態に従う、図１９に示す歯基準表面から歯の上にマッピングされた例示的な解剖学的座標系を表す概略図である。この例に用いられる射影変換は、図１９からの元の長方形を図２０の多角形に変形させる。射影変換は、２つの座標系の間のマッピングである。より一般的には、座標系同士の間のマッピングは、単射関数であり、該単射関数は、３次元（３Ｄ）座標をとり、そして、３次元（３Ｄ）領域内部の全ての所に対応する３次元（３Ｄ）座標を提供する。ときには、シェードタブの表面上の３次元（３Ｄ）点が、歯表面上の中身のない空間上にマッピングされることがあり、その理由は、幾何構造が正確に同じではないからである。この場合、それらの対応は、保持されない。
【0047】
本発明の一例示的実施形態によると、ＢＲＤＦライブラリは、基準ＢＲＤＦ及びそれらの関連するシェードラベルの集まりを表す（ＢＲＤＦライブラリの詳細が、別の節で紹介されることになる）。ＢＲＤＦライブラリは、製造において直接記録されて、患者の歯の走査中に再利用されてもよい。ＢＲＤＦライブラリは、また、好ましいシェードタブを用いて実践者によって生成させられてもよい。ＢＲＤＦライブラリは、シェードラベルの集まりであり、それぞれのシェードラベルは、それの関連するシェード分布を有し、該シェード分布は、空間的に分解されたＢＲＤＦ分布によって表される。２つのＢＲＤＦ分布の間の距離、又は本書の別の節において更に詳細に説明される。
【0048】
本発明の一例示的実施形態によると、複数の対応を決定することは、手動処理、自動処理、又は半自動処理である。手動処理については、ユーザは、コンピュータマウス又はタッチスクリーンを用いて、共通の歯形状の上の同じ解剖学的領域を決定して選択する。自動処理については、いくつかの随意のステップが存在し、該ステップは、（ａ）歯の３次元（３Ｄ）表面表現が、色及び形態上の操作を用いて歯肉から区分化されるステップ、及び／又は（ｂ）単射変換が、歯の３次元（３Ｄ）表面表現上の選択された領域から共通の歯形状の上の領域にマッピングするために用いられるステップを含む。変換は、歯の３次元（３Ｄ）表面表現及びシェード基準の表面によって決定され、そして、通常、全単射空間変換が適することになり、内挿が必要に応じて用いられてもよい。
【0049】
半自動処理については、ユーザが、自動処理によって提供された領域の更なる調整を操作し、そして、調整は、自動処理によって提供された領域の位置、縮尺、又は向きに更なる修正を施すことを含む。例えば、コンピュータマウスホイールのスクロールが、縮尺調整を提供してもよく、そして、コンピュータマウスクリック及び動作の組合せが、向き、位置、又は回転の変更を提供してもよい。本発明の一例示的実施形態によると、ユーザは、マウスを用いて、なんらかの透過を利用して又はスクリーン上のオーバーレイを利用してのいずれかで、全てのシェードタブに共通の表面を選択された３次元（３Ｄ）領域へと拡張することになる。透過又はオーバーレイは、ユーザが、拡張が満足なものになった時点を推定するのを補助するために存在する。又は、逆に、３次元（３Ｄ）歯表面から選択された３次元（３Ｄ）領域を、全てのシェードタブに共通の表面内に拡張する。対応は、次いで、それをサンプリングすることによって単射変換を用いて生成されてもよい。いくつかのサンプルが、歯表面上にない場合があり、それで対応として記録されない。本発明の一例示的実施形態によると、このステップにおいて決定された対応は、選択された３次元（３Ｄ）領域のデータ内に規定／記憶される。
【0050】
ステップＳ１１４０
複数の歯シェード基準からの歯シェード基準のそれぞれについての色差を計算するステップＳ１１４０において、それぞれの色差は、歯シェード基準からの色情報を、歯の３次元（３Ｄ）表面表現上の選択された領域からの関連する色情報と比較することによって計算され、ステップＳ１１３０から得られた複数の対応は、色情報についてのこの比較において用いられる。
複数の歯シェード基準からの歯シェード基準のそれぞれについての色差を計算するステップＳ１１４０において、それぞれの色差は、歯シェード基準からの色情報を、歯の３次元（３Ｄ）表面表現上の選択された領域からの関連する色情報と比較することによって計算され、ステップＳ１１３０から得られた複数の対応は、色情報についてのこの比較において用いられる。
【0051】
ステップＳ１１４０についてのより多くの詳細が、図１２を参照して更に説明される。図１２は、本発明の一例示的実施形態に従う複数の基準シェード分布についてシェード距離を計算する処理を表すフローチャートである。
【0052】
ステップＳ１２１０において、関連するラベルを有する歯シェード基準が選出される。基準歯表面にわたって、シェード分布が規定される。歯シェード基準は、シェードガイドからデジタル化されたシェードタブであり、典型的には、シェードガイド内の全てのシェードタブは、共通の歯形状を有し、それで、同じ基準歯表面が、一般性を失わずに用いられてもよい。ラベルは、典型的には、Ｖｉｔａ Ｃｌａｓｓｉｃ ｓｅｔについては「Ａ１」、「Ｂ３」等であり、又は、Ｖｉｔａ ３ＤＭａｓｔｅｒについては「２Ｌ１．５」、「３Ｍ１」等である。
【0053】
ステップＳ１２２０において、解剖学的マッピングに従って、走査されたシェード分布と対応する基準シェード分布との間の距離が計算される。ステップＳ１２２０の更なる詳細が図１３を参照して更に説明される。
【0054】
図１３は、本発明の一例示的実施形態に従う解剖学的マッピングを用いて、走査されたシェード分布と基準シェード分布との間の距離を計算する処理を表すフローチャートである。
【0055】
ステップＳ１３１０において、対応及び関連する重みの群を有する解剖学的マッピングが記述される。３次元（３Ｄ）領域における対応の密度は、シェード分布の分解能と同等でなければならない。テクスチャについては、それは、典型的にはテクスチャ画像の１つの画素のサイズであることになる。ＢＲＤＦについては、それは、表面にわたって規定された様々なＢＲＤＦを保持する構造のほぼ空間分解能である。重みは、一様であってもよく、または、解剖学的マッピングにおいて表現された領域に基づいて変化してもよい。重みの合計は、理想的には１に正規化されることにより、以下において平均を単純化する。
【0056】
ステップＳ１３２０において、それぞれの対応について、シェード色距離が計算される。色差は、好ましくはＣＩＥＬＡＢ色空間において表示され、それは、色変動についてのヒトの知覚に適合する距離を提供する。対応は、シェード分布が評価される２つの点を規定する。距離は、３次元（３Ｄ）歯表面からサンプリングされたシェード分布と歯シェード基準との間の差のノルムとして規定される。
【0057】
ステップＳ１３３０において、シェード色距離の加重平均が計算される。重みが正規化されているならば、それは単に加重和である。
【0058】
ステップＳ１３４０において、加重平均が返される。ＣＩＥＬＡＢ空間が用いられたならば、返された距離は、ＤｅｌｔａＥ（ΔＥ）単位、すなわち色差についての視覚認知である。
【0059】
図１２に戻って参照し、ステップＳ１２２０の後に続いて、ステップＳ１２３０において、距離が取得された最小のものであるならば、関連するラベルが記録される。
【0060】
ステップＳ１２４０において、集合の中に別のラベルが残っているか否かの決定がなされる。「はい」ならば、方法は、ステップＳ１２１０に戻り、「いいえ」ならば、方法は、ステップ１２５０、すなわち終了に進み、それは、ステップ１１４０における色差の計算が実行されたことを意味する。
【0061】
ステップＳ１１５０
ステップＳ１１５０において、最小差を有するシェード基準に対応するラベルが記録される。このステップまで、方法は、主に１つの選択された領域に集中する。これは、簡潔で明瞭な説明だけを目的とすることを理解すべきである。本発明の別の例示的実施形態によると、複数の領域が選択されてもよく、そして異なる領域についてのシェードラベルがそれに従って決定される。更に、グリッドが、歯の頬側面上に画定されてもよい。例えば、３×３グリッド又は１×３グリッドが歯科医によって考慮されてもよい。より高密度のグリッドが、必要に応じて用いられてもよい。したがって、本発明の別の例示的実施形態によると、歯についてのシェードマッチング方法は、（ａ）歯を選択して、歯の頬側面上にグリッドを画定することと、（ｂ）グリッドのマッピングを頬側面から共通の歯形状の上の表面まで画定することと、（ｃ）本発明において以前に導入された処理に従ってグリッドのそれぞれのセルについてのシェードラベルを計算することであって、それぞれのセルが、選択された３次元領域を画定する、ことと、（ｄ）グリッドのセルについてのシェードラベルを記憶することと、を含む。
ステップＳ１１５０において、最小差を有するシェード基準に対応するラベルが記録される。このステップまで、方法は、主に１つの選択された領域に集中する。これは、簡潔で明瞭な説明だけを目的とすることを理解すべきである。本発明の別の例示的実施形態によると、複数の領域が選択されてもよく、そして異なる領域についてのシェードラベルがそれに従って決定される。更に、グリッドが、歯の頬側面上に画定されてもよい。例えば、３×３グリッド又は１×３グリッドが歯科医によって考慮されてもよい。より高密度のグリッドが、必要に応じて用いられてもよい。したがって、本発明の別の例示的実施形態によると、歯についてのシェードマッチング方法は、（ａ）歯を選択して、歯の頬側面上にグリッドを画定することと、（ｂ）グリッドのマッピングを頬側面から共通の歯形状の上の表面まで画定することと、（ｃ）本発明において以前に導入された処理に従ってグリッドのそれぞれのセルについてのシェードラベルを計算することであって、それぞれのセルが、選択された３次元領域を画定する、ことと、（ｄ）グリッドのセルについてのシェードラベルを記憶することと、を含む。
【0062】
色ベクトルの角度分布を用いるための刺激
テクスチャ特性評価は、歯の真の色シェーディングの正確なモデル化に及ばない。このことは、わずかに異なる照明を有する同じ歯又はシェードタブについての異なる図の対照比較において容易に判ることがある。
テクスチャ特性評価は、歯の真の色シェーディングの正確なモデル化に及ばない。このことは、わずかに異なる照明を有する同じ歯又はシェードタブについての異なる図の対照比較において容易に判ることがある。
【0063】
それの欠点の１つとして、テクスチャ特性評価が、照明及び検出因子を本質的に考慮することができない。歯又は別の口腔内特徴についての正確な色シェード特性評価は、表面幾何構造及び歯に入射する照明の角度についての考慮を含む。形状に関連する影響を示すために、図２は、一様なアルベド、つまり一様な光学輝度応答を有するランバート球を示し、この場合、入射対反射エネルギの比は一定である。しかし、外観上、輝度の強度プロファイルは、検出に対して面法線のコサインとして減少する。輝度が減少するとき、それに応じてキャプチャされる色テクスチャは変化する。しかし、色シェードは、走査されている物体の材料の特性であり、それの測定は、照明／観測幾何構造から独立しているはずである。
【0064】
本発明の例示的実施形態は、口腔内撮像装置の能力を利用することにより、口腔内撮像カメラ１６から、図３に示すように、異なる角度からの歯の同じ表面等の同じ特徴についての複数の反射画像を取得する。結合された角度照明及び異なる画像から抽出されたリフレクタンス情報は、次いで、それぞれの撮像された歯又は別の表面特徴の色シェードをより厳密に特徴付けるために用いられてもよい。
【0065】
色ベクトルの角度分布は、角度座標を対応する色ベクトルに関連付けるマッピングの特徴を表し、角度座標は、照明方向、観測方向及び面法線に依存し、色ベクトルは、ＲＧＢ、ＣＩＥＬＡＢ ＸＹＺ（国際照明委員会によって規定される）、又は可視スペクトル等の標準色空間における値を表す。本発明の一例示的実施形態によると、色ベクトルの角度分布は、ＢＲＤＦ（双方向反射率分布関数）構造又はＢＲＤＦスナップショットによって表されてもよい。
【0066】
本開示に関して、句「色ベクトルの空間分解された角度分布」は、空間変動を有する色ベクトルの角度分布を説明する。空間変動が用いられて、歯の表面にわたって歯の光学応答の変動をパラメータで表記する。色ベクトルの空間分解された角度分布は、空間座標を色ベクトルの対応する角度分布に関連付ける関数である。この関数が用いられて、表面データからの１つ又は複数の点の空間座標を色ベクトルの対応する角度分布と関連付ける。色ベクトルの空間分解された角度分布は、色ベクトルの対応する角度分布の連続した又は離散した変動に、空間座標の変動を提供してもよい。
【0067】
双方向反射率分布関数（ＢＲＤＦ）
双方向反射率分布関数（ＢＲＤＦ）は、様々な角度での照明及び観測の色シェードに及ぼす影響をより正確に特徴付ける方法を提供する。この関数の使用は、照明及び検出角度の寄与から生じる混乱を低減しながら、材料自体の色シェードを特徴付けてもよい。単色に関して、スキャナによる材料の表面特性評価のためのＢＲＤＦは、関連する変数の関数として次式のように表現される。
Ｌが放射輝度、すなわち単位垂直面積あたりで単位立体角あたりのパワーであり、
下付き記号ｒが反射光に関連し、
下付き記号ｉが入射照明に関連し、
Ｅが放射照度、すなわち単位面積あたりのパワーであり、
ωｉが入射光方向であり、
ωｒが反射光方向であり、
ｎが所定の点における局所面法線である。
双方向反射率分布関数（ＢＲＤＦ）は、様々な角度での照明及び観測の色シェードに及ぼす影響をより正確に特徴付ける方法を提供する。この関数の使用は、照明及び検出角度の寄与から生じる混乱を低減しながら、材料自体の色シェードを特徴付けてもよい。単色に関して、スキャナによる材料の表面特性評価のためのＢＲＤＦは、関連する変数の関数として次式のように表現される。
【数1】
下付き記号ｒが反射光に関連し、
下付き記号ｉが入射照明に関連し、
Ｅが放射照度、すなわち単位面積あたりのパワーであり、
ωｉが入射光方向であり、
ωｒが反射光方向であり、
ｎが所定の点における局所面法線である。
【0068】
ＢＲＤＦは、逆ステラジアンｓｒ－１の単位で表現される。表面上の点についてＢＲＤＦ変数を取得するための測定に関する基本的な幾何構造が、図４Ａに概略的に表されている。線ｈは、ωｉとωｒとの間の半分方向であり、続けて更に詳細に説明される。
【0069】
単色表面データについての包括的ＢＲＤＦは、４次元、すなわち、入射及び反射光角度のそれぞれにつき２つ（方位及び天頂）を有する。口腔内撮像のための出願人のシステムについて、２つの制約条件、（ｉ）固定照明及び検出角度が口腔内カメラ１６の設計によって指示されること、及び（ｉｉ）表面点についてのＢＲＤＦデータが、法線周りの回転に対して不変であるとみなされること、が適用される。
【0070】
単色表面データについてのＢＲＤＦデータは、色表面データからのそれぞれの色チャネルを別個に考慮することによって、色表面データについてのＢＲＤＦ色データに拡張されてもよい。一例示的実施形態では、色ベクトルの角度分布がＢＲＤＦ色データとして表現され、ここに、ＢＲＤＦ色データが、一方における照明方向、反射方向、及び面法線と、他方における取得された色ベクトルとの間の対応を記録する。本発明の一例示的実施形態では、ＢＲＤＦデータは、２次元ＲＧＢ画像によって表現される。
【0071】
図４Ｂは、左側に角度幾何構造、右側に本開示でＢＲＤＦ構造と呼ばれる図式形式のＢＲＤＦ２次元「断面」の内容を表す。２次元（２Ｄ）構造は、４次元を有する一般的ＢＲＤＦの区画についての公知の表現である。本開示に関して、出願人の口腔内撮像システムの固定照明／センサ対称性に起因して、ＢＲＤＦ構造は、色シェードに対応するＢＲＤＦ情報を表す。
【0072】
図４Ｂの左側における角度の定義は、半方向ｈと面法線ｎとから取得される。天頂角θ及び方位角φは、半方向ｈに対する面法線ｎの極座標を提供する。原点及び角φの方向は、入力方向（ωｉ，ωｒ）に対して、任意に選ばれてもよいけれども、走査全体にわたってスキャナ座標系と整合しなければならない。
【0073】
２次元（２Ｄ）ＢＲＤＦ構造は、図４Ａに示すように、入射光方向ωｉについての照明光軸と反射光方向ωｒについての検出光軸との間の中間ベクトルを表現する半方向又は半角ｈについて規定される。図４Ｂのグラフ表示において、水平軸は、０～９０度の範囲にわたる、面法線ｎと半方向ｈとの間の天頂角θを表し、最も左が０度の向きである。垂直軸は、０～３６０度の範囲にわたる、面法線ｎと半方向ｈとの間の方位角を表す。このタイプのマッピング配列は、鏡面反射ピーク、再帰反射、及び散乱光等の描画における標準寄与の位置を含む。
【0074】
鏡面反射とは、典型的には、観察者が面法線について照明の反対側にあるとき、金属表面で観察される強く明るい反射である。鏡面反射応答は、主として表面研摩に依存するけれども、フライス加工に用いられるブロックシェードの選択に影響を与えない。鏡面反射応答は、しばしば検出器を飽和させて、２次元（２Ｄ）断面のその領域におけるシェード測定値を棄損する。この鏡面反射ピークは、図４Ｂの２ＤのＢＲＤＦマッピングの左側に沿って表されるように、法線方向ｎと半方向ｈとがほぼ整列したときに生じる。
【0075】
拡散応答が、断面の大部分にわたって天頂角θ及び方位角φの広範囲にわたって測定される。微小角再帰反射は、角の狭い範囲にわたって測定され、ここに、入射ωｉ、反射ωｒ、及び半方向ｈは、ハンドピース幾何構造制約条件によって設計されるとき、アラインメント近傍にあるけれども、面法線ｎは、それらに対して９０°だけ傾斜している。物理的特性をモデル化するとき、微小角再帰反射は、通常、マイクロファセット分布のタイプ、すなわち顕微鏡レベルの表面粗度を決定する。これは、外観を特徴付ける様々な物理的効果の角分離を示す。微小角再帰反射は、法線方向に対する微小角入射の下での特性を表し、それは患者の歯を観察する本来の方法でない。更に、深度情報、したがって面法線は、かかる幾何構造において識別及び測定することがより困難である。
【0076】
口腔内シェードマッチングについて、図４Ｂのマッピングの拡散領域は、最も関心が高いものである。鏡面反射光及び微小角再帰反射光は、ちょうど説明された理由のために、ずっとより小さい値のものである。図４Ｂに示すＢＲＤＦ構造内の単一の点Ｐ１は、それぞれの色についてのＢＲＤＦ値ｆｒ（ωｉ，ωｒ，ｎ）を表し、該ＢＲＤＦ値は、表面輪郭に沿った対応する点において、法線ｎに対する所与の関係について、所定の検出器方向ωｒで所定の照明方向ωｉにおける照明から生じる。
【0077】
割り当てられた色と関連する深度情報は、スキャナ座標系内のカメラによって測定され、それは、共通の座標系内のスキャナの配置から独立している。スキャナ座標系において、入射及び反射光方向は一定であり、それにより、方向ωｉ、ωｒ、ｈは、一定であり、そして、局所面法線ｎだけが、関連する深度情報に依存する。スキャナ座標系において、関連する深度情報は、所与の点に局所面法線ｎを提供する。局所面法線ｎ及び割り当てられた色が用いられて、その点についてのＢＲＤＦ値を計算する。以下の節は、カメラによって取得されたＢＲＤＦ値が、成長表面輪郭がその中で画定される共通の座標系内に編成され得る方法を説明する。
【0078】
成長表面輪郭を更新するためのスキャナ方向
画像データから抽出された色と関連する深度情報が用いられて、連続して強化される又は成長する表面輪郭を作成する。法線及び色を有する点群が、取得（高速点挿入、削除）中の点群発達に好適な柔軟性を提供するけれども、色付き／テクスチャ付き表面メッシュが、概してディスプレイ８４（図１）上でユーザに示される。
画像データから抽出された色と関連する深度情報が用いられて、連続して強化される又は成長する表面輪郭を作成する。法線及び色を有する点群が、取得（高速点挿入、削除）中の点群発達に好適な柔軟性を提供するけれども、色付き／テクスチャ付き表面メッシュが、概してディスプレイ８４（図１）上でユーザに示される。
【0079】
点群又はメッシュデータ構造が同等に用いられて、３次元（３Ｄ）表面を表してもよい。法線及び色を有する点群は、メッシュからの頂点並びにそれらの平均三角形法線及び頂点色を用いること、三角形データを廃棄すること等によって、色付き／テクスチャメッシュから抽出されていてもよい。色を有するメッシュは、Ｋａｚｈｄａｎ，Ｍ．，＆ Ｈｏｐｐｅによる「Ｓｃｒｅｅｎｅｄ Ｐｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、３２（３）、１－１３、（２０１３）に記載されている等のアルゴリズムを用いて、又は、元のアルゴリズムからの範囲画像の代わりに、法線及び色データを有する点群を入力として取るように適合された、Ｂｒｉａｎ Ｃｕｒｌｅｓｓ及びＭａｒｃ Ｌｅｖｏｙによる「Ａ Ｖｏｌｕｍｅｔｒｉｃ Ｍｅｔｈｏｄ ｆｏｒ Ｂｕｉｌｄｉｎｇ Ｃｏｍｐｌｅｘ Ｍｏｄｅｌｓ ｆｒｏｍ Ｒａｎｇｅ Ｉｍａｇｅｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ９６に記載されているようなＶｒｉｐの変形を用いて、法線及び色を有する点群から生成させられてもよい。一般性を失わずに、用語「表面輪郭」は、「表面メッシュ」又は「表面点群」を用いて同等に表現されてもよい。点群とメッシュとの間の変換は、表面輪郭撮像技術における当業者に公知である。
【0080】
一実施形態によると、メッシュ及び点群構造の両方が用いられて、ディスプレイ上に示される表面輪郭を生成してもよい。法線及び色を有する点群は、全ての入力ステッチ型画像データから情報を結合する動的構造である。色メッシュは、表示のための一時的構造として低分解能での点群から生成されてもよい。色メッシュは、それぞれの最新情報によって再生されて、色及び法線を有する正確な点群と同期されてもよい。
【0081】
色と関連する深度情報は、色を有する表面輪郭に変換されてもよい。表面輪郭のそれぞれの点についての法線情報は、例えば、ｔｈｅ ｐｏｉｎｔｃｌｏｕｄｓ．ｏｒｇ ｗｅｂｓｉｔｅ ｕｎｄｅｒ ｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｓ／ｎｏｒｍａｌ＿ｅｓｔｉｍａｔｉｏｎ．ｐｈｐに記載されたもの等のコンピュータグラフィックスにおける周知の技術を用いて評価されてもよい。クエリ点において、点の局所近傍が画定される。共分散マトリックスは、点の局所近傍を用いて計算される。
共分散マトリックスＣは、次の形式を有する。
ここに、ｋは局所近傍内の点の数であり、ｐｉ値は点座標であり、Ｐバーは局所近傍内の点からの平均点位置である。この正方対称３×３マトリクスは、固有ベクトル及び関連する固有値を与え得る。点の局所近傍の最小自乗適合が楕円体を用いて実行されるならば、楕円軸は、固有ベクトルであり、軸線長は、対応する固有値に関連していることになる。共分散マトリックスの最小固有値は、最短楕円軸を表し、関連する固有ベクトルは、局所法線の方向を与える。局所法線の方向は、スキャナからの観測方向をマッチングさせるのに必要ならば、反転させられてもよい。この局所法線は、次いで、クエリ点に割り当てられ、それは、法線及び色を有する表面輪郭の計算を可能にする。
共分散マトリックスＣは、次の形式を有する。
【数2】
【0082】
ステッチング手順
取得された画像データから可動型表面輪郭上への法線及び色を有する表面輪郭のステッチング手順は、以下の一般的ステップ、すなわち、（ａ）画像データからの法線及び色を有する表面輪郭について、及び成長表面輪郭について特徴記述子の１つの集合を推定するステップと、（ｂ）相対配置及びスコアを生成するために特徴記述子の両方の集合を用いて特徴マッチングを実行するステップと、（ｃ）スコアに基づいて相対配置を認容又は拒絶するステップと、（ｄ）反復最近点アルゴリズムを用いて相対配置を改善して、距離測度を生成するステップと、（ｅ）生成された距離測度に基づいて相対配置を認容又は拒絶するステップと、を含む。これらのステップについての詳細は、以下のとおりである。
（ａ）表面輪郭についての特徴記述子が、剛性変換（回転／並進）に対して不変である局所表面記述を表わす。例えば、高速点特徴ヒストグラム（ＦＰＦＨ）は、法線を有する表面輪郭のそれぞれのクエリ点について計算されてもよい。これは、例えば、Ｒｕｓｕ，Ｒ．Ｂ．の論文「Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｂｊｅｃｔ Ｍａｐｓ ｆｏｒ Ｅｖｅｒｙｄａｙ Ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｈｕｍａｎ Ｌｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、ｐｐ．５７－６１、（２００９，Ａｕｇｕｓｔ １７）に記載されている。点群からの色情報をまた含む別の記述子が用いられてもよい。
（ｂ）法線を有する可動表面輪郭からの特徴記述子の１つの集合と、法線を有する目標表面輪郭からの特徴記述子の１つの集合との間の特徴マッチングは、特徴記述子同士の間の対応の生成を含む。ＦＰＦＨ特徴記述子は、ヒストグラムであり、距離は、２つの特徴記述子の間のヒストグラム差のノルムとして規定されてもよい。対応は、１つの特徴記述子から特徴記述子の別の集合までの最小距離として規定される。特徴マッチングは、次いで、相対配置を生成するための対応の群の選択を含む。このステップは、通常、候補相対変換を計算するための３つの対応のランダム選択を構成するランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを用いて実行され、次いで、この候補相対変換と整合した対応の数を計数する。対応は、２つの特徴記述子から形成され、１つは、可動点群からのものであり、１つは、法線を有する目標点群からのものである。それぞれの特徴記述子は、クエリ点に対応する。対応は、候補相対変換を用いて動かされる可動クエリ点が、目標クエリ点から既定の距離の範囲内にあるならば、候補相対変換と整合している。最大数の整合対応を有する候補相対変換は、最終相対配置になる。スコアは、最終相対配置の品質を示し、そして、整合した対応の対応する数であってもよい。
（ｃ）相対配置は、スコアが予定閾値以下である場合には、拒絶されることがある。
この場合、ステッチングは不可であり、画像データは廃棄される。
（ｄ）反復最近点（ＩＣＰ）アルゴリズムを用いる相対配置の改良は、相対配置が可動表面輪郭上に適用されるとき、最近適合を見つけることによって可動表面輪郭と目標表面輪郭との間の点対応を規定する。適合間の最小自乗距離最小化は、相対配置の更新を提供する。点対応の選択及び相対配置の更新が、次いで収束まで又は既定の反復回数に到達するまで、繰り返される。距離測度は、最終の更新相対配置に対応する、最小自乗距離最小化に用いられる費用関数の値であってもよい。
（ｅ）更新された相対配置は、距離測度が予定閾値以下であるならば、拒絶されてもよい。この場合、ステッチングは不可であり、画像データは廃棄される。さもなければ、ステッチングは合格である。ステッチングが合格ならば、画像データからの法線及び色を有する表面輪郭の、成長表面輪郭上への最終相対配置は、既知である。このことは、法線及び色を有する全ての計算された表面輪郭についての共通座標系を生じさせ、それに、点が、追加され、更新され、結合され、又は削除されて成長表面輪郭を生成する。スキャナについての元の座標系が、また存在し、それは、ステッチングが実行される前に元来取得されたような画像データの軸線に対応する。共通の座標系は、通常、第１画像データの取得中にスキャナの任意の向きに対して規定される。
取得された画像データから可動型表面輪郭上への法線及び色を有する表面輪郭のステッチング手順は、以下の一般的ステップ、すなわち、（ａ）画像データからの法線及び色を有する表面輪郭について、及び成長表面輪郭について特徴記述子の１つの集合を推定するステップと、（ｂ）相対配置及びスコアを生成するために特徴記述子の両方の集合を用いて特徴マッチングを実行するステップと、（ｃ）スコアに基づいて相対配置を認容又は拒絶するステップと、（ｄ）反復最近点アルゴリズムを用いて相対配置を改善して、距離測度を生成するステップと、（ｅ）生成された距離測度に基づいて相対配置を認容又は拒絶するステップと、を含む。これらのステップについての詳細は、以下のとおりである。
（ａ）表面輪郭についての特徴記述子が、剛性変換（回転／並進）に対して不変である局所表面記述を表わす。例えば、高速点特徴ヒストグラム（ＦＰＦＨ）は、法線を有する表面輪郭のそれぞれのクエリ点について計算されてもよい。これは、例えば、Ｒｕｓｕ，Ｒ．Ｂ．の論文「Ｓｅｍａｎｔｉｃ ３Ｄ Ｏｂｊｅｃｔ Ｍａｐｓ ｆｏｒ Ｅｖｅｒｙｄａｙ Ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｈｕｍａｎ Ｌｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、ｐｐ．５７－６１、（２００９，Ａｕｇｕｓｔ １７）に記載されている。点群からの色情報をまた含む別の記述子が用いられてもよい。
（ｂ）法線を有する可動表面輪郭からの特徴記述子の１つの集合と、法線を有する目標表面輪郭からの特徴記述子の１つの集合との間の特徴マッチングは、特徴記述子同士の間の対応の生成を含む。ＦＰＦＨ特徴記述子は、ヒストグラムであり、距離は、２つの特徴記述子の間のヒストグラム差のノルムとして規定されてもよい。対応は、１つの特徴記述子から特徴記述子の別の集合までの最小距離として規定される。特徴マッチングは、次いで、相対配置を生成するための対応の群の選択を含む。このステップは、通常、候補相対変換を計算するための３つの対応のランダム選択を構成するランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを用いて実行され、次いで、この候補相対変換と整合した対応の数を計数する。対応は、２つの特徴記述子から形成され、１つは、可動点群からのものであり、１つは、法線を有する目標点群からのものである。それぞれの特徴記述子は、クエリ点に対応する。対応は、候補相対変換を用いて動かされる可動クエリ点が、目標クエリ点から既定の距離の範囲内にあるならば、候補相対変換と整合している。最大数の整合対応を有する候補相対変換は、最終相対配置になる。スコアは、最終相対配置の品質を示し、そして、整合した対応の対応する数であってもよい。
（ｃ）相対配置は、スコアが予定閾値以下である場合には、拒絶されることがある。
この場合、ステッチングは不可であり、画像データは廃棄される。
（ｄ）反復最近点（ＩＣＰ）アルゴリズムを用いる相対配置の改良は、相対配置が可動表面輪郭上に適用されるとき、最近適合を見つけることによって可動表面輪郭と目標表面輪郭との間の点対応を規定する。適合間の最小自乗距離最小化は、相対配置の更新を提供する。点対応の選択及び相対配置の更新が、次いで収束まで又は既定の反復回数に到達するまで、繰り返される。距離測度は、最終の更新相対配置に対応する、最小自乗距離最小化に用いられる費用関数の値であってもよい。
（ｅ）更新された相対配置は、距離測度が予定閾値以下であるならば、拒絶されてもよい。この場合、ステッチングは不可であり、画像データは廃棄される。さもなければ、ステッチングは合格である。ステッチングが合格ならば、画像データからの法線及び色を有する表面輪郭の、成長表面輪郭上への最終相対配置は、既知である。このことは、法線及び色を有する全ての計算された表面輪郭についての共通座標系を生じさせ、それに、点が、追加され、更新され、結合され、又は削除されて成長表面輪郭を生成する。スキャナについての元の座標系が、また存在し、それは、ステッチングが実行される前に元来取得されたような画像データの軸線に対応する。共通の座標系は、通常、第１画像データの取得中にスキャナの任意の向きに対して規定される。
【0083】
口腔内撮像のためのＢＲＤＦを取得及び使用するためのシーケンス
図５のフローチャートは、改善された色シェード識別のためのＢＲＤＦ構造を取得して用いるためのシーケンスを表し、そして、本発明の実施形態に従って表示される。取得及び処理ステップＳ５１０において、表面輪郭画像が、取得された画像データからの法線及び色情報を有する点群又はメッシュとして取得される。色補正ステップＳ５２０は、（ステッチングの前の）画像データの取得中に、それぞれの色チャネルについてのｆｒ（ωｉ，ωｒ，ｎ）を用いて、及びスキャナの座標系内の照明方向ωｉ及び検出器方向ωｒを用いて点群からの色をＢＲＤＦ色データに変換する。ステップＳ５２０は、後のステージまで延期されてもよいけれども、ＢＲＤＦ値を生成するための直接色補正が、パイプライン処理の初期においてより良好な色の正規化を可能にすることにより、補正された色が、歯材料のより正確な表現となり、照明／検出幾何構造により依存しなくなる。この方法を用いて、生成される全ての後続のデータ構造は、補正された色値から利益を得る。
図５のフローチャートは、改善された色シェード識別のためのＢＲＤＦ構造を取得して用いるためのシーケンスを表し、そして、本発明の実施形態に従って表示される。取得及び処理ステップＳ５１０において、表面輪郭画像が、取得された画像データからの法線及び色情報を有する点群又はメッシュとして取得される。色補正ステップＳ５２０は、（ステッチングの前の）画像データの取得中に、それぞれの色チャネルについてのｆｒ（ωｉ，ωｒ，ｎ）を用いて、及びスキャナの座標系内の照明方向ωｉ及び検出器方向ωｒを用いて点群からの色をＢＲＤＦ色データに変換する。ステップＳ５２０は、後のステージまで延期されてもよいけれども、ＢＲＤＦ値を生成するための直接色補正が、パイプライン処理の初期においてより良好な色の正規化を可能にすることにより、補正された色が、歯材料のより正確な表現となり、照明／検出幾何構造により依存しなくなる。この方法を用いて、生成される全ての後続のデータ構造は、補正された色値から利益を得る。
【0084】
表面輪郭からのそれぞれの識別された点は、少なくとも空間３次元位置、法線ベクトル、及び色ベクトル（典型的にはＲＧＢ色）を含む。ステッチングステップＳ５３０は、取得された画像データから「成長」表面輪郭の座標系への表面輪郭の相対位置を画定する、つまり、表面輪郭が能動的に生成される。ステッチングが合格すると、成長表面輪郭の座標系内の空間点位置が取得されてもよい。
【0085】
空間変動ＢＲＤＦ（ＳＶＢＲＤＦ）は、点位置情報を分布関数に追加する空間分解されたＢＲＤＦを用いる。ＳＶＢＲＤＦは、成長表面輪郭と同じ座標系内で規定された通常のＢＲＤＦグリッド構造を用いることによって表現されてもよい。グリッドセルサイズ（ボクセルサイズ）は、典型的には、所望の空間シェード分解能であり、口腔内スキャナを用いるとき、典型的には１ｍｍから２０ｍｍまでの間で変化する。歯科技工士又は実施者は、概して歯を１から３つまでのシェードに分離し、それで、この空間分解能に到達するように５ｍｍの典型的なグリッドセルサイズを用いる。ステッチング後の点位置は、ＢＲＤＦグリッド構造内の座標を提供する。対応するＢＲＤＦグリッドセルは、更新されるべきＢＲＤＦ構造を含む。
【0086】
上記で導入された一般的ＢＲＤＦ関数ｆｒ（ωｉ，ωｒ，ｎ）は、法線方向ｎを有する所定の点の周りで、様々な観測／測定幾何構造の下で、走査中にサンプリングされる。それぞれのサンプルは、上記で導入されたＢＲＤＦ値のうちの１つであり、それらの値は、ＢＲＤＦ関数と同じ次元のＢＲＤＦ構造内に記憶されてもよい。出願人のシステムについて、ＢＲＤＦ構造は、以前に注記したような２次元画像である。点から生じる、ＢＲＤＦへの更新は、以下のようにしてなされる。すなわち、スキャナ座標系内の点位置及び点法線が用いられて、ＢＲＤＦ構造内の角度座標を計算する。対応する画素は、その画素についての全重みと共に補正された色の加重和を記憶する。その画素についての平均ＢＲＤＦ色は、補正された色の加重和を全重みで除することによっていつでも取得されてもよい。１つの画素は、ＢＲＤＦ関数の角度範囲を表す。
【0087】
点に対応する重みは、測定の相対信頼度を表す。デフォルトの重みは、１であってもよく、例えば、点位置の相対誤差、点法線方向の不確実性、又はマッチング基準からの不確実性に従って減少させられてもよい。例えば、法線方向の不確実性は、最小固有値と２番目に小さい固有値との比から計算されてもよい。比が１に近いならば、両方の固有値は類似しており、法線の選択は紛らわしい。既定の閾値を超えて、例えば０．５に、その点についての対応する重みが、減少させられてもよい。同様に、ステッチングは、距離測度の推定で完了し、それは、既定の閾値と比較されることにより、その断面内の全ての点についての重みを最終的に減少させてもよい。
【0088】
画素サイズは、角度範囲が、点群の法線の推定における角度ノイズに類似するように選ばれる。典型的には、それぞれの画素は、各軸に沿って５～２０度の角度変動を表す。この２次元（２Ｄ）画像において、水平軸及び垂直軸は、それぞれ、面法線と半方向との間の天頂角及び方位角を表す。
【0089】
双方向散乱面反射率分布関数（ＢＳＳＲＤＦ）、又は双方向テクスチャ関数（ＢＴＦ）、又は双方向散乱分布関数（ＢＳＤＦ）等のより複雑なモデルが存在する。これらのモデルのそれぞれは、走査された物体の様々な特性を表す。それらの関数によってモデル化された物理的特性は、反射、散乱及び／又はシャドーイング、あるいはマスキングを表してもよい。これらの分布関数は、入射及び反射光方向の関数と同じ、色ベクトルの角度分解能の共通原理を共有する。本明細書で用いられる用語「ＢＲＤＦ」は、表面に沿った異なる点における光相互作用を特徴付ける、これらの類似の角度分解双方向分布関数を指すことがある。
【0090】
図４Ｂの右側に概略的に表された２次元（２Ｄ）ＢＲＤＦデータ構造は、ＢＲＤＦについての色データを記憶する。その代替として、対応する表面特性のモデルが、反射だけでなく、透過、散乱、及びシャドーイングについての値分布とともに記憶されてもよい。これらの代替のデータ構造は、所定の入射及び出力角度における光について観測された色に適合するように調節されてもよいパラメータを表示してもよい。
【0091】
特定のＢＲＤＦ関数を表すための代替表現は、データ点同士の間のＢＲＤＦ距離が測定基準として規定されてもよい場合に、用いられてもよい。デフォルト距離は、本明細書において規定された画素位置でのＢＲＤＦ関数をサンプリングするＢＲＤＦ構造について、下記のＢＲＤＦ距離を用いることによって取得されてもよい。例えば、ＢＲＤＦについての代替表現は、Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗ ＢＲＤＦ、Ｃｏｏｋ－Ｔｏｒｒａｎｃｅ ＢＲＤＦ、Ｐｈｏｎｇ ＢＲＤＦ等の解析的表現であってもよく、これらは、コンピュータ描画アプリケーションにおいて普及している。ＢＲＤＦモデルのより詳細なリストが、参照によって本明細書に組み込まれるＧｒａｎａｄａ大学からの技術レポートＬＳＩ－２０１２－００１内のＲ．Ｍｏｎｔｅｓ及びＣ．Ｕｒｅｎａによる「Ａｎ Ｏｖｅｒｖｉｅｗ ｏｆ ＢＲＤＦ Ｍｏｄｅｌｓ」内に見出されてもよい。このレポートは、自由パラメータを有する解析モデルを説明し、それは、本開示内で説明されたＢＲＤＦ値の観測値に適合するように調節される。典型的な調整方法は、スキャナから測定されたＢＲＤＦ値と解析モデルから計算されたＢＲＤＦ値との間の残余距離の最小自乗最小化を含む。
【0092】
図５シーケンスについて続けると、輪郭形成ステップＳ５４０は、関連する色シェードの指標を含む成長表面輪郭の表示を形成する。それぞれのＢＲＤＦ構造について、関連する色シェードは、別個のＢＲＤＦライブラリを用いて計算される。ＢＲＤＦライブラリは、色シェード値及び関連するＢＲＤＦ構造を含む集合である。ＢＲＤＦライブラリの作成は、以下で更に詳細に説明される。
【0093】
ＢＲＤＦ距離
図４Ｂに示すような、１つの点Ｐ１における２つのＢＲＤＦ関数の評価は、２つのＢＲＤＦ値を与える。本開示に関して、ＢＲＤＦ値は、また、色ベクトルと呼ばれる。２つのＢＲＤＦ値の間の距離の概念は、以下で規定される。２つのＢＲＤＦ関数の間のＢＲＤＦ距離は、点Ｐ１の全ての許容される位置にわたる色距離の積分であると定義されてもよい。言い換えると、積分領域は、入力変数ωｉ及びωｒの角度範囲を網羅する。
図４Ｂに示すような、１つの点Ｐ１における２つのＢＲＤＦ関数の評価は、２つのＢＲＤＦ値を与える。本開示に関して、ＢＲＤＦ値は、また、色ベクトルと呼ばれる。２つのＢＲＤＦ値の間の距離の概念は、以下で規定される。２つのＢＲＤＦ関数の間のＢＲＤＦ距離は、点Ｐ１の全ての許容される位置にわたる色距離の積分であると定義されてもよい。言い換えると、積分領域は、入力変数ωｉ及びωｒの角度範囲を網羅する。
【0094】
ＢＲＤＦデータ構造が、２次元（２Ｄ）画像（図４Ｂに示すＢＲＤＦ構造に類似している）であり、それぞれの画素が、色の加重和及び全重みを記憶する場合、ＢＲＤＦスナップショットは、（それぞれの画素値を全重みで除すことによって取得された）平均色ベクトルを有する２次元（２Ｄ）画像として規定されてもよい。全重みがゼロ、又は既定の閾値未満であるならば、色の加重和は、信頼性がないとみなされてもよい。この場合、平均色ベクトルは、ＲＧＢ＝（－１．０，－１．０，－１．０）等の無効な色ベクトルと置換されてもよい。
【0095】
ＢＲＤＦ構造は、走査期間全体にわたって情報を蓄積する。記憶された情報は、それぞれの画素への寄与の合計を表す。ＢＲＤＦスナップショットが、平均算出（元のＢＲＤＦ構造を不変状態に保持）を実行し、短い寿命を有する。そのデータは、ＢＲＤＦ距離計算中に、それが生成される時にだけ有効である。後続の画像データからの新たな３次元（３Ｄ）点がＢＲＤＦ構造に作用するとすぐに、ＢＲＤＦスナップショットについての平均が、一新されてもよい。
【0096】
一般の場合、いずれかの次元での色差は、色差の計算されたノルム等による、ベクトル差として表されてもよい。２つの色ベクトルのうちの１つが無効ならば、信頼できないと考えられる値について上記されたように、色距離は、予定距離値に設定されてもよい。２つのＢＲＤＦスナップショットの間のＢＲＤＦ距離が、全ての対応する画素についての色距離の加重和である。
【0097】
この加重和からの重みは、積分領域にわたる色距離の積分の離散化から誘導される。出願人のシステムについて、ＢＲＤＦ構造及びＢＲＤＦスナップショットに用いられる極座標によって、積分要素（重みに対する）は、それぞれの画素の中央での角度座標について評価された形式ｓｉｎθｄθｄφのものである。
【0098】
ＢＲＤＦスナップショットが、また用いられて、元のＢＲＤＦ構造（ＲＧＢ値等）から、色距離（撮像技術における当業者に精通されている標準ＣＩＥＬＡＢ色空間等）を評価するのにより適している色空間に色を変換する。所定のＢＲＤＦ構造について、ＢＲＤＦライブラリからの関連する色シェードは、所定のＢＲＤＦ構造からのＢＲＤＦスナップショットと、ＢＲＤＦライブラリ内の関連するＢＲＤＦ構造からのＢＲＤＦスナップショットとの間の最小距離に対応するシェード値である。関連する色シェードは、ＢＲＤＦグリッドからのＢＲＤＦ構造のそれぞれについてのＢＲＤＦライブラリからのシェード値である。
【0099】
関連する色シェードの指標は、関連する色シェードに対応するラベルであってもよい。例えば、ラベルは、対応するテキスト、又はＢＲＤＦライブラリからの関連する色シェードを表す任意の色であってもよい。一般に、「シェード値の指標」は、シェード値を識別するラベル付けである。このタイプのラベル付けが、例えば、いくつかのテキストラベル又は色ラベルを組み合わせることによって、複数のシェード値について提供されてもよい。
【0100】
一例として、歯についての色シェード処方は、「Ｄ２－Ａ２－Ａ３」等の２つ以上のシェードを含んでもよく、それらは、特定の実施に従う歯の上側３分の１、中部３分の１、及び下側３分の１を表してもよい。その代替として、歯についてのシェード値は、表面データに表示されるテキストラベルを用いて示されてもよく、この場合、それぞれのシェード値は、テキストラベルを提供し、それは、シェード値を決定するために用いられた色ベクトルの角度分布に対応する表面データから点において表される。代替の一例示的実施形態によると、１つ又は複数のシェード値の指標は、表面データ上に表示される１つ又は複数の色ラベルを含んでもよく、それぞれのシェード値は、色ラベルに関連付けられ、該色ラベルは、シェード値を決定するために用いられた色ベクトルの角度分布に対応する表面データから点において表される。
【0101】
成長表面輪郭及びＢＲＤＦグリッドは、同じ座標系内にある。このため、関連する色シェードは、対応する表面位置に従って表示されてもよい。色がラベルに用いられるならば、成長表面輪郭からのそれぞれの点は、ＢＲＤＦグリッド内に対応する座標を有し、そして、その座標におけるＢＲＤＦ構造と関連するＢＲＤＦライブラリから色シェードのラベルの色を割り当てられてもよい。このように、１つのＢＲＤＦセル内に含まれる表示された表面の全ては、同じ色ラベルによって描画されてもよい。言い換えると、成長表面輪郭の２つの隣接点は、ＢＲＤＦグリッド（後述される）内の同じセルに対応する可能性が大きい。２つの点は、そのため、同じ色ラベルを割り当てられてもよい。更に進めると、ＢＲＤＦ構造によってクリップされた表面領域は、同じ色ラベルによって描画されてもよい。テキストがラベルに用いられるならば、成長表面輪郭に対するテキストラベルの位置は、同じ座標空間内のＢＲＤＦセルの中心であってもよい。それは、また、操作者によって選択された領域の中心であってもよい。
【0102】
次の位置ステップＳ５５０は、ステップＳ５１０において処理するためにカメラから画像データの次の集合まで動く処理を繰り返す。代替の一例示的実施形態によると、表面輪郭生成は、当初に取得されたような歯色を用いて、最初に完了されてもよい。ＢＲＤＦデータが取得されるが、初期の表面輪郭生成中には適用されない。表面輪郭ステッチングに次いで、取得されたＢＲＤＦデータを用いるシェードマッチング処理が続けられてもよい。この代替方法について、ステップＳ５４０が、次の位置ステップＳ５５０及びそれの対応する処理ループの後に事実上実行される。
【0103】
代替の一例示的実施形態によると、シェードマッチングは、従来の３次元（３Ｄ）走査処理後に実行され、それにより、シェードデータが、既存の３次元（３Ｄ）表面データに追加される。角度情報を用いるシェードマッチングが、次いで、従来の３次元（３Ｄ）走査に続いて開始するか、又は、患者についての読み込まれた３次元（３Ｄ）走査データを用いてもよい。角度情報を用いるシェードマッチングのためのステッチングが、次いで既存の表面輪郭に対して実行される。このシーケンスによって、操作者は、治療されるべき特定の１つ又は複数の歯に集中してもよい。この手順は、例えば、ＢＲＤＦデータ取得及びシェードラベル表示が、修復についての関心領域だけに提供されることを可能にする。実際には、同じシェード取得シーケンスが後に続く。初期のＢＲＤＦデータ構造は、空であるけれども、表面輪郭は、空ではない。
【0104】
別の代替の一例示的実施形態によると、操作者は、例えば、治療方針等に基づいて、シェードラベルがそのためのものである関心対象の患者の歯列の限られた領域を選択してもよい。かかる場合に、表示された表面上でのシェードラベルの描画は、選択された領域に限定されるか、又は選択領域からの既定の距離範囲内に限定される。選択は、コンピュータマウス等のポインタを用いて、タブレットからの入力を用いて、又はいくつかの別のデジタル入力インタフェースを用いて実行されてもよい。選択は、３次元（３Ｄ）走査の前又は後になされてもよい。後者について、３次元（３Ｄ）走査処理中には、シェードデータが生成させられるけれども、ステッチングされた表面輪郭上に表示されない。シェードマッチングされた結果は、操作者が関心領域を選択した後に、モニタ画面上の選択された領域又は別個の領域のいずれかに、シェード指標とともに表示されてもよい。代替の一例示的実施形態によると、シェードラベルは、シェードライブラリからのシェードタブに対応するいくつかのテキストである。
【0105】
スキャナからの画像データの流れは、有効な情報が、タイムアウト期間後にもはや検出されないとき等に、自動的に停止させられてもよい。画像データは、また、スキャナを保持器内に戻して再配置すること等によって、操作者によって停止させられてもよい。これらの又は類似の事象が、検知されて走査を停止させてもよい。ユーザは、次いで、表示された表面と相互作用することにより、アプリケーションは、最終のシェードマッチングされた画像を表示する、記憶する、又は伝達する。色シェードされた画像であってもよい、最終のシェードマッチングされた画像は、例えば、表示ステップＳ５６０において、表示された表面及び関連する色シェードの指標を含む。
【0106】
ＢＲＤＦライブラリを形成する
図６の論理フローは、図５の方法に用いられるＢＲＤＦライブラリを形成するためのステップを表す。歯科材料の供給元から商業的に入手可能な従来のシェードタブの集まりが用いられて、図５の方法のステップＳ５４０において値をマッチングするために用いられるべきＢＲＤＦライブラリを生成させてもよい。共通のシェード値は、例えば、Ｖｉｔａ Ｃｌａｓｓｉｃａｌ（登録商標）シェードタブ（「Ａ１」「Ａ３．５」「Ｄ２」等）又はＶｉｔａ Ｌｉｎｅａｒｇｕｉｄｅ ３Ｄ－ＭＡＳＴＥＲ（登録商標）（「２Ｌ１．５」又は「３Ｍ２」等）から取得されてもよい。
図６の論理フローは、図５の方法に用いられるＢＲＤＦライブラリを形成するためのステップを表す。歯科材料の供給元から商業的に入手可能な従来のシェードタブの集まりが用いられて、図５の方法のステップＳ５４０において値をマッチングするために用いられるべきＢＲＤＦライブラリを生成させてもよい。共通のシェード値は、例えば、Ｖｉｔａ Ｃｌａｓｓｉｃａｌ（登録商標）シェードタブ（「Ａ１」「Ａ３．５」「Ｄ２」等）又はＶｉｔａ Ｌｉｎｅａｒｇｕｉｄｅ ３Ｄ－ＭＡＳＴＥＲ（登録商標）（「２Ｌ１．５」又は「３Ｍ２」等）から取得されてもよい。
【0107】
選択ステップＳ６１０において、シェードタブのうちの１つが、後続する処理に対して選択される。色シェード関連ステップＳ６２０は、図５のステップＳ５１０、Ｓ５２０、Ｓ５３０、及びＳ５５０を組み合わせ、これらは、シェードタブの表面走査中に反復される。走査の完成において、計算基準ＢＲＤＦステップＳ６３０が、走査からのいくつかのＢＲＤＦ構造を一意的な基準ＢＲＤＦに自動的に結合する。ステップＳ６３０は、シェードタブを、基準シェードタブの全てに共通である基準座標系と整列させる。ステップＳ６３０は、更にセルの群を自動的に選択し、ＢＲＤＦ構造を、そのシェードタブについての基準ＢＲＤＦとして指定された単一のＢＲＤＦ構造にまとめる。
【0108】
ＢＲＤＦライブラリは、基準ＢＲＤＦの集まり及びそれらの関連するシェードラベルを表す。ＢＲＤＦライブラリは、製作において直接再記録されてもよく、そして、患者の歯の走査中に再利用されてもよい。ＢＲＤＦライブラリは、また、好ましいシェードタブを用いて、実施者によって生成されてもよい。実施者は、単に３次元（３Ｄ）走査デバイスを用いて、ここで外形線を描かれたモデルに追従する必要がある。これは、また、歯科医が単にそれらを走査することによってシェードの集まりを作成することを可能にする。測定システムの光学特徴は、同じ状態のままである。ＢＲＤＦライブラリ内に記憶された基準ＢＲＤＦは、元のＢＲＤＦデータ、ＢＲＤＦ構造、又は適合モデルの集まりであってもよい。基準ＢＲＤＦは、ＢＲＤＦ関数を含むセルの一部の結合であってもよい。
【0109】
表面輪郭は、全てのシェードタブに共通する類似の座標系内で優先的に整列させられる。整列は、成長表面輪郭をシェードタブのうちの１つの固定された基準表面上にステッチングすることによって実行される。集合からの全てのシェードタブは、通常、類似の表面状態を有するけれども、それらの外観は勾配を表す。選択されたシェードは、工業記法に基づいている。そのため、全ての成長表面輪郭を類似の座標系に整列させることが重要である。このように、既定の領域内の対応するＢＲＤＦセルは、ＢＲＤＦライブラリにわたって選択されて、整合した意味を有してもよい。
【0110】
図９は、ＢＲＤＦによって規定された異なるシェード値の領域を有するシェードタブを表す。中央領域は、Ａ２として識別されるけれども、切端縁は、Ｄ２又は別のシェード値である。本発明は、同等な解剖学的領域を比較することによって、より正確なシェード測定を目指す。図１０Ｂからの方策が用いられるならば、そのＡ２シェードタブについてＡ２として全体的に検出された３次元（３Ｄ）表面を予想することができてもよい。
【0111】
基準ＢＲＤＦは、既定の領域内で選択されたＢＲＤＦセルからの全てのＢＲＤＦ構造の合計として定義される。合計は、個々に全ての色の加重和及び全重みのピクセル単位の累積によって実行される。
【0112】
統計における大数の法則は、より多くの観測値を収集することは、より正確な平均値、すなわちより小さい標準偏差に至ることを含む。既定の領域内におけるＢＲＤＦ構造のピクセル単位の累積の目的は、ＢＲＤＦ距離測定中に基準ＢＲＤＦのＢＲＤＦスナップショットを計算するときに、より正確な平均推定値を取得するためである。
【0113】
既定の領域は、基準表面上の既定の位置付近の中心に集中した約２ｍｍの半径の球であってもよい。既定の位置は、例えば、基準表面と（Ｏｚ）軸の交線であってもよい。記憶ステップＳ６４０は、シェードライブラリ内にそれぞれのＢＲＤＦ基準及び関連するラベルを記憶する。決定ステップＳ６５０は、集合からのシェードタブのアレイ全体の系統的処理について、ループ操作を制御する。測定の終結において、ＢＲＤＦライブラリが生成されて記憶される。それは、次いで口腔内走査の開始の前にロードされてもよい。
【0114】
球半径は、ＢＲＤＦ情報の累積についての境界を画定するのに役立つ。既定の領域についての球半径は、シェードタブにわたるシェード外観の局所変動性に基づいて決定される。最小において、単一のＢＲＤＦ構造が、既定の位置を含むセルから選ばれる。シェード決定のための従来の方法は、通常、帯域内に表された犬歯について、多くとも３つのシェードを規定し、半径は、概して、シェードの均一性を保証するために５ｍｍ未満である。
【0115】
図７は、ＢＲＤＦライブラリ１００内に含まれる対応するＢＲＤＦ基準構造を有するシェードタブ９４の集合を表す。それぞれのＢＲＤＦ基準構造は、シェードラベル１０４（Ｄ２、Ｄ３、Ｄ４、Ｃ１、Ｃ２、Ｃ３、その他）とも呼ばれるテキストラベル、及び／又は色ラベル１１２と、関連付けられている。それらのシェードラベルは、また、シェードタブ９４の金属性支持体上にスタンプされるか、又は別の方法で記録されてもよい。
【0116】
ＣＩＥＬＡＢ値への変換について、９０％反射率を有する表面として規定された白色標準からの信号が取得される。同じく、検出器の飽和を回避するために、１８％反射率標準（Ｎ５灰色カード）からの信号が、また用いられてもよい。１８％反射率標準からの信号が、次いで、白色標準の同等物を提供するために５を掛けられる。反射率標準の取得は、（ステップＳ６１０の前に、図６のステップのシーケンスにおいて）シェードライブラリについての基準表面及びシェードタブの取得前に実行されてもよい。反射率標準からの信号は、シェードライブラリ内に記憶されてもよい。反射率標準からのデータが、それで、シェードライブラリがコンピュータメモリ内にロードされているので、シェード取得のために、また実際の歯の走査中にも利用可能である。
【0117】
実際には、反射率標準についてデータが、また、反射率標準の表面を走査することによって、３次元（３Ｄ）スキャナを用いて取得される。ステップＳ５１０からＳ５６０までが完了された後には、ＢＲＤＦグリッドが作成されている。ＢＲＤＦグリッドからの全てのＢＲＤＦ構造が、累積されたＢＲＤＦ構造に結合されてもよく、それは、次いでＢＲＤＦスナップショットに変換される。このＢＲＤＦスナップショットからの平均色ベクトルは、平均反射率標準色ベクトルを提供し、それは、ＣＩＥＬＡＢ色空間への変換に用いられてもよい。色ベクトルは、可視波長を包含する波長を有するスペクトルを含んでもよい。本開示に関して、可視波長は、３６０ｎｍから８３０ｎｍまでの間の範囲内にある。
【0118】
反射率標準色ベクトルを用いる、ＣＩＥＬＡＢ値への色ベクトルの変換は、公知の手順であり、それは、（１）反射率標準色ベクトルの色成分によって補正された色ベクトルからそれぞれの色成分を分離すること、（２）この正規化色ベクトルを三刺激ＸＹＺ値に変換すること、及び（３）三刺激ＸＹＺ値をＣＩＥＬＡＢ色に変換すること、に要約されてもよい。
【0119】
反射率標準の走査は、より複雑な反射率標準データを提供してもよい。一例示的実施形態において、反射率標準の平均ＢＲＤＦ構造が、単一の平均反射率標準色ベクトルの代わりに、直接記録される。これが実行されるとき、ＢＲＤＦスナップショットからＣＩＥＬＡＢ色に色ベクトルを変換するときに、反射率標準のＢＲＤＦスナップショットから対応する画素が、色ベクトル正規化に用いられてもよい。この技術は、反射率標準の反射率の角度変動の原因を示すのを助けてもよい。実際には、スキャナの伸長式光源、非理想的な照明スペクトル（照明がＤ６５でないので）は、わずかな角度変動を導入してもよい。
【0120】
別の一例示的実施形態では、反射率標準の走査は、空間分解された色データを提供する。特に、空間分解能は、スキャナの座標系内に表示されてもよい。これは、視野にわたる照明及び検出の変動の測定を可能にする。それは、スキャナの座標系と整列した３次元グリッドとして表されてもよく、この場合、Ｘ／Ｙ軸は、撮像平面を表し、Ｚ軸は、スキャナの主光軸を表す。反射率標準色ベクトルの空間分解されたプロファイルを用いることは、視野にわたる色ベクトルのより正しい正規化を可能にする。これは、視野内の表面の位置から独立することになるＣＩＥＬＡＢ色をよりよく生成するのを助ける。
【0121】
ＢＲＤＦグリッド構造
図８は、同じ座標系内に複数の要素を表す線図である。セル７２から成る３次元（３Ｄ）ＢＲＤＦグリッド３０は、シェードタブ９４によって表される３次元（３Ｄ）成長表面輪郭を包含する空間区画を画定する。それぞれのセル７２は、走査中のその時点での関連するＢＲＤＦスナップショットによって表されるＢＲＤＦ構造７０を含む。それぞれのセル７２は、単一の１ｍｍ３部分によって区切られた表面等の、歯表面の小さい部分に対応する。ステッチングステップＳ５３０（図５）中に、法線及び色を有する点群は、３次元（３Ｄ）成長表面輪郭上にステッチングされるので、ＢＲＤＦセル７２に対応する点群からの色及び法線を有するそれらの点は、そのセル内でＢＲＤＦデータ構造７０と結合される。必要に応じて、ＢＲＤＦグリッド３０は、全てのステッチングされた点が有効なＢＲＤＦセル７２内にあるように拡張される。次いで、点群からの全ての点は、成長表面輪郭内に結合され、それは、ディスプレイ上で更新される。
図８は、同じ座標系内に複数の要素を表す線図である。セル７２から成る３次元（３Ｄ）ＢＲＤＦグリッド３０は、シェードタブ９４によって表される３次元（３Ｄ）成長表面輪郭を包含する空間区画を画定する。それぞれのセル７２は、走査中のその時点での関連するＢＲＤＦスナップショットによって表されるＢＲＤＦ構造７０を含む。それぞれのセル７２は、単一の１ｍｍ３部分によって区切られた表面等の、歯表面の小さい部分に対応する。ステッチングステップＳ５３０（図５）中に、法線及び色を有する点群は、３次元（３Ｄ）成長表面輪郭上にステッチングされるので、ＢＲＤＦセル７２に対応する点群からの色及び法線を有するそれらの点は、そのセル内でＢＲＤＦデータ構造７０と結合される。必要に応じて、ＢＲＤＦグリッド３０は、全てのステッチングされた点が有効なＢＲＤＦセル７２内にあるように拡張される。次いで、点群からの全ての点は、成長表面輪郭内に結合され、それは、ディスプレイ上で更新される。
【0122】
それぞれのセル７２内でのＢＲＤＦ構造への更新情報は、次の、（ｉ）区画に対応する歯領域に対する法線のパラメータ、（ｉｉ）照明の入射方向ωｉ、（ｉｉｉ）検出光の反射方向ωｒ、及び（ｉｖ）ＲＧＢ、ＣＩＥＬＡＢ、又は別の好適な色空間等の周知の色空間内の色ベクトル、を含む。色チャネル数は、４つ以上であってもよい。
【0123】
照明の入射方向ωｉ、検出光の反射方向ωｒ、及び局所面法線ｎからなる所定の幾何構造について、ＢＲＤＦ構造は、角度分布を記憶し、ここに、角度分布のそれぞれの要素（画素）は、全ての色ベクトルの加重和及び対応する全重みを記憶する。したがって、所定の幾何構造について、ＢＲＤＦ構造が用いられて平均色ベクトルを計算してもよく、それは、ＢＲＤＦスナップショット内に記憶される。
【0124】
色ベクトルの加重和及び対応する全重みに用いられる重みは、以前に説明されたように取得された３次元（３Ｄ）点の信頼（又は品質）レベルに関連してもよく、それは、３次元（３Ｄ）点位置、面法線、又は色の正確度における可変信頼レベルを表す。それに加えて、重みは、また（１）正確な点位置が不正確になるので、飽和領域（鏡面反射円錐形）が減少すること、（２）局所法線が入射光又は測定角から離れる方に傾斜するにつれて減少すること、及び（３）法線が局所近傍内で整合しているならば増加することを含む要因によって変化することがある。
【0125】
照明方向ωｉ、反射方向ωｒ、及び法線ｎについての幾何構造は、セル７２内のＢＲＤＦ構造における２次元（２Ｄ）角度座標内でコード化されてもよい。２次元（２Ｄ）画像構造が用いられて、ＢＲＤＦ構造の角度範囲を表す。それぞれの画素は、色ベクトルの加重和及び関連する全重みを含む。
【0126】
歯の領域について結果として生じるデータ構造は、測定シーケンスにおけるスキャナの位置が、全ての様々な角度組合せを調べないことがあるので、不完全である可能性がある。取得シーケンスの初めに、ＢＲＤＦ距離は、最初にデフォルトの色距離によって駆動される。追加データが走査中にＢＲＤＦ構造内に累積されるとき、ＢＲＤＦスナップショットは、より妥当な色値を含み、シェードライブラリからのシェードの識別は、ますます正確になる。計算が最小閾値距離を用いてもよく、それ以下では、ステップＳ５４０からの関連する色シェードは無効であってもよい。かかる場合、シェードラベルは、表面のその領域について表示されない。このことは、走査の初めにおいて関連する色シェードの非常に速い変化を防止する。シェードは、十分な向きが、意味があるべきＢＲＤＦ構造の画素内に累積されたときに現れる。一実施形態によると、ＢＲＤＦ距離は、ＤｅｌｔａＥ単位で、ＣＩＥＬＡＢ色空間内の色距離についての標準測定基準で表示されてもよい。歯科医の５０％が、３ＤｅｌｔａＥ（３ΔＥ）の差を視覚的に検出し得ると仮定される。関連する色シェードがそれ以下であると無効である、最大距離についての閾値は、それで、３ＤｅｌｔａＥ又はそれに類似する値（典型的には、約１ＤｅｌｔａＥから８ＤｅｌｔａＥまでの間）に設定されてもよい。
【0127】
ＢＲＤＦデータは、メモリに記憶されてもよく、又は必要に応じて口腔内カメラ及び走査装置から生成されてもよい。図８は、ステップＳ５４０から生じる歯について取得されたＢＲＤＦデータを累積及び編成するために用いられてもよい、データ構造についての１つの可視化を提供する。かかるデータ構造自体が操作者に可視的である必要がないことが認識されてもよい。
【0128】
しばしば、鏡面反射は、画像データからの値を飽和状態にし、これは、関連する深度情報が鏡面反射に対応する領域について有効データを有しないことを意味する。表面輪郭の残りのステッチングの後に、対応するＢＲＤＦ構造内の座標を計算するための点が存在せず、そのため、法線が存在しない。関連する深度情報が、それでも、鏡面反射の領域の外側限界の近くで入手可能な場合、深度情報は、その領域内でしばしば誤って推定される。このことは、法線が、非常にノイズが多い場合があることを意味する。たとえ深度情報が有効であっても、画像データからの反射画像が飽和させられることが、また起こることがある。飽和は、センサの動作範囲が十分でないので起こる。それらの誤った測定値をＢＲＤＦ構造内に記憶するよりもそれらを拒絶するほうがよい。拒絶は、点法線と半方向とのコサインにおける拒絶閾値を設定する（例えば、０．９８超であるならば拒絶される）ことによって実装されてもよい。別の実装は、色及び法線を有する点群からの点の色がカメラの飽和値に近いならば（例えば、最大２５５までになるカメラの範囲について、全ての色チャネルが値２５０超であるならば）、ＢＲＤＦ構造内での記憶を拒絶することになる。シェードタブ９０から取得された基準ＢＲＤＦが、図６のフローチャートを参照して以前に説明されたように、例えば、ＢＲＤＦライブラリの要素として記憶されてもよい。
【0129】
本発明の一例示的実施形態は、ステップＳ５２０における標準ＢＲＤＦ関係を次式に対して調節する。
照明が一定であり、スキャナ幾何構造が一定のままであるならば、ｋは定数項であり、
値Ｅｐｉｘは測定された放射照度（すなわち、カメラピクセル値、特定の色チャネルについて観測された色に比例する）であり、
ωｉとｎとの点乗積は、局所法線と照明方向との間の角度のコサインを与え、
ｒ２項は、スキャナ構成要素から表面位置までの２次距離である。
元の点群色を補正された色に変換するときに、上記の式が用いられてもよい。式は、本開示において以前に与えられた一般的定義ｆｒ（ωｉ，ωｒ，ｎ）から誘導される。２次距離項は、距離による立体角の変動のための補正である。点乗積からのコサイン補正は、ｆｒ（ωｉ，ωｒ，ｎ）についての元の定義における分母から生じる。この色補正は、それぞれの色チャネルに個々に適用されてもよい。
【数3】
値Ｅｐｉｘは測定された放射照度（すなわち、カメラピクセル値、特定の色チャネルについて観測された色に比例する）であり、
ωｉとｎとの点乗積は、局所法線と照明方向との間の角度のコサインを与え、
ｒ２項は、スキャナ構成要素から表面位置までの２次距離である。
元の点群色を補正された色に変換するときに、上記の式が用いられてもよい。式は、本開示において以前に与えられた一般的定義ｆｒ（ωｉ，ωｒ，ｎ）から誘導される。２次距離項は、距離による立体角の変動のための補正である。点乗積からのコサイン補正は、ｆｒ（ωｉ，ωｒ，ｎ）についての元の定義における分母から生じる。この色補正は、それぞれの色チャネルに個々に適用されてもよい。
【0130】
２つのＢＲＤＦ構造の間の距離の測定の改善は、固定された数のパラメータによって規定された基礎的モデルを用いてもよい。Ｍ．Ｌａｎｇｏｖｏｙらによる論文「Ｎｏｖｅｌ ｍｅｔｒｉｃ ｆｏｒ ａｎａｌｙｓｉｓ，ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ａｎｄ ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ＢＲＤＦ ｄａｔａ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｓｐａｔｉａｌ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ｓｙｓｔｅｍｓ（２０１４）が、可能な実装を与える。（測定基準の例として式（８）又は（１５）を参照）。これは、パラメータを最適化し、次いでそれらのモデルの間の距離を計算することによって、記録された２次元（２Ｄ）ＢＲＤＦ構造をモデルに適合させることを意味する。
【0131】
本開示の実施形態は、そのため、あらゆる点で例示的であって限定的ではないと考えられる。本発明の範囲は、添付の特許請求の範囲によって示され、その均等物の趣意及び範囲に及ぶ全ての変更は、その中に含まれることが意図されている。
【0132】
図９は、シェード指標を有する表面輪郭を表し、この場合、表面輪郭がシェードタブに対応する。ＢＲＤＦライブラリを作成するための基準位置１１５の典型的な位置は、検出されるシェードに対するテキストラベル１１６及び色ラベル１１２を用いて、シェード指標の例と共に表される。成長表面輪郭１１４の一部分が、表されている。図９は、ステップＳ５４０からの識別された色シェードについてのラベルと共に３次元（３Ｄ）表面輪郭の可能な表現１１０を表す。ＢＲＤＦグリッドのそれぞれのセルに対して、それぞれのＢＲＤＦ構造は、１つのシェード値を提供してもよい。シェード値がうまく識別されたならば、空間の対応する領域内の表面は、そのシェード値と関連するラベル１１２と共に描画される。例えば、Ｖｉｔａ Ｃｌａｓｓｉｃａｌ（登録商標）シェードタブからのＡ２シェードは、淡緑色を用いて描画されてもよく、これは、それの任意の既定の色ラベルである。
【0133】
ＢＲＤＦグリッドは、ラベルを有する３次元（３Ｄ）表面の表現上のラベルの空間変動につながる。最小のＢＲＤＦ距離が予定距離閾値よりも大きいためにシェード値の決定が成功しないならば、色又はテクスチャは、ＢＲＤＦシェードライブラリから独立しているので、表面は、ラベルによって描画されず、そのため、色付きメッシュ又はテクスチャ付きメッシュ１１４の元の外観を維持する。この例では、色付きメッシュ１１４の元の外観は、この金属性表面がＢＲＤＦライブラリ内に存在する類似材料に対応しないという事実から生じる。
【0134】
本発明の一例示的実施形態によると、図１の口腔内撮像装置９０は、３次元（３Ｄ）歯表面表現を取得し、そして色ベクトルの空間分解された角度分布を取得し、色ベクトルの空間分解された角度分布は、表面データからの１つ又は複数の点位置を、色ベクトルの対応する角度分布に関連付ける。プロセッサ８０は、歯表面表現を取得し、そして、１つ又は複数のシェード値を識別するための処理論理命令によってプログラミングされ、それぞれのシェード値が、色ベクトルの角度分布を色ベクトルの基準角度分布の集合と比較することによって、色ベクトルの空間分解された角度分布からの色ベクトルの１つの角度分布と関連付けられ、その集合内のそれぞれの基準角度分布は、対応するシェード値と関連付けられる。ディスプレイ８４は、次いで３次元歯表面表現を表示し、そして、識別されたシェード値の指標を表示する。
【0135】
本発明の１つの例示的実施形態と整合して、画像取得のためのシステム関数及び画像データのための画像データ処理を制御する記憶された命令を有するコンピュータプログラムが、電子メモリに記憶され、それからアクセスされる。画像処理技術における当業者によって理解され得るように、本発明の一実施形態のコンピュータプログラムは、本明細書で説明したようにプロセッサがデータを取得し、処理し、伝送し、記憶し、表示するように動作する好適なソフトウェアプログラムを備えているとき、画像プロセッサとして作用するパーソナルコンピュータ又はワークステーション等の好適な多目的コンピュータシステムによって利用されてもよい。例えば、ネットワーク化プロセッサの配列を含む多くの別のタイプのコンピュータシステム構成が用いられて、本発明のコンピュータプログラムを実行してもよい。
【0136】
本発明の方法を実行するためのコンピュータプログラムは、コンピュータ読取り可能記憶媒体内に記憶されてもよい。この媒体は、例えば、ハードディスク若しくは取外し可能デバイス等の磁気ディスク又は磁気テープ等の磁気記録媒体、光ディスク、光学テープ、又は機械可読光学符号化等の光記憶装置メディア、ランダムアクセスメモリ（ＲＡＭ）又は読出し専用メモリ（ＲＯＭ）等のソリッドステート電子式記憶デバイス、あるいはコンピュータプログラムを記憶するために利用される別の物理デバイス又は媒体を備えてもよい。本発明の方法を実行するためのコンピュータプログラムは、また、インターネット若しくは別のネットワーク又は通信媒体によって画像プロセッサに接続されるコンピュータ読取り可能記憶媒体に記憶されてもよい。画像データ処理技術における当業者であれば、かかるコンピュータプログラム製品の均等物が、また、ハードウェア内に構成されてもよいことを更に容易に認識するであろう。
【0137】
本開示に関連する「コンピュータアクセス可能なメモリ」に均等な用語「メモリ」は、データベースを含む、画像データを記憶する及びそれにおいて動作するために用いられる、及び計算機システムにアクセス可能ないずれかのタイプの一時的な又はより永続的なデータ記憶作業領域を指す場合がある。例えば、メモリは、不揮発性であってもよく、該メモリは、磁気又は光学記憶装置等の長期記憶媒体を用いる。その代替として、メモリは、より揮発性の性質のものであってもよく、該メモリは、マイクロプロセッサ又は別の制御論理プロセッサデバイスによって一時的バッファ又は作業領域として用いられるランダムアクセスメモリ（ＲＡＭ）等の電子回路を用いる。表示データは、例えば、一時的記憶バッファ内に典型的に記憶され、該一時的記憶バッファは、ディスプレイ装置と直接関連付けられ、そして、表示データを提供するために必要に応じて定期的に一新される。この一時的記憶バッファは、また、その用語が本開示において用いられるとき、メモリであると考えられてもよい。メモリは、また、計算及び別の処理の中間及び最終結果を実行及び記憶するためのデータ作業領域として用いられる。コンピュータアクセス可能なメモリは、揮発性、不揮発性、又は揮発性タイプと不揮発性タイプとのハイブリッド結合であってもよい。
【0138】
本発明のコンピュータプログラム製品は、周知である様々な画像処理アルゴリズム及び処理を利用してもよいことがわかる。本発明のコンピュータプログラム製品実施形態が、実装に有用である、本明細書に具体的に表されない又は説明されないアルゴリズム及び処理を具現化してもよいことが更にわかるであろう。かかるアルゴリズム及び処理は、画像処理技術についての通常知識内にある従来のユーティリティを含んでもよい。かかるアルゴリズム及びシステム、並びに画像を生成及び別途処理する、又は本発明のコンピュータプログラム製品と協力するためのハードウェア及び／又はソフトウェアについての追加の態様は、本明細書には具体的に表されておらず、又は記載されておらず、そして、当該技術分野で公知のかかるアルゴリズム、システム、ハードウェア、構成要素、及び要素から選択されてもよい。
【0139】
以上、本発明を、詳細かつ、好適な又は現在のところ好ましい例示的実施形態を特に参照して説明したが、変形及び修正が、本発明の趣旨及び範囲内で作用させられてもよい。現在開示されている実施形態は、そのため、すべての点で例示的だが、限定的でないと考えられる。本発明の範囲は、添付の特許請求の範囲によって示され、そして、その均等物の趣意及び範囲内にある全ての変化は、その中に包含されることが意図されている。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【国際調査報告】