【文献】
GAO J,3D FINITE ELEMENT MESH GENERATION OF COMPLICATED TOOTH MODEL BASED ON CT SLICES,COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE,NL,ELSEVIER,2006年 5月,VOL:82, NR:2,PAGE(S):97 - 105,URL,http://dx.doi.org/10.1016/j.cmpb.2006.02.008
【文献】
RENGIER F,3D PRINTING BASED ON IMAGING DATA: REVIEW OF MEDICAL APPLICATIONS,INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY,2010年 5月15日,VOL:5, NR:4,PAGE(S):335 - 341,http://dx.doi.org/10.1007/s11548-010-0476-x,URL,https://www.researchgate.net/publication/225474179_3D_printing_based_on_imaging_data_Review_of_medical_applications
(58)【調査した分野】(Int.Cl.,DB名)
第2の口腔内部位の第2の口腔内画像のセットを受信するステップであって、前記第2の口腔内画像のセットの1つ又は複数の部分もまた、前記第1の口腔内部位を描画する、ステップ;及び
前記モデルを生成する際に、前記第2の口腔内画像のセットの前記1つ又は複数の部分を無視するステップ
を更に含み、
前記第1の口腔内画像のセットがロックされていることにより、前記第2の口腔内画像のセットは、前記モデルの前記第1の領域を変化させない、又は前記第1の領域にノイズを付加しない、請求項2に記載の方法。
前記異常は、前記第1の口腔内画像内のボイド、前記第1の口腔内画像内のノイズ、又は前記第1の口腔内画像内の非現実的なデータのうちの少なくとも1つを含む、請求項12に記載の方法。
前記第1の口腔内部位のためのデータが不完全であることを決定するステップ及び前記第1の口腔内部位の縁部の境界を特定するステップは、歯が切り取られたように見える位置における前記モデルの前記第1の口腔内部位の前記縁部をアルゴリズム的に決定するステップ
を含む、請求項17に記載の方法。
前記第1の口腔内画像の前記一部分がロックされていることにより、前記第2の口腔内画像は、前記モデルの前記第1の領域を変化させない、又は前記第1の領域にノイズを付加しない、請求項24に記載の記録媒体。
【発明を実施するための形態】
【0005】
ここで説明されるのは、患者に関して口腔内部位(例えば歯の部位)から取られた口腔内スキャン等のスキャンの品質を改善するための方法及び装置である。スキャンセッション中、スキャナのユーザ(例えば歯科医師)は、口腔内部位、口腔内部位のモデル又は他の対象の複数の異なる画像(スキャンとも呼ぶ)を生成してよい。上記画像は、別個の複数の画像(例えば自動露出画像)、又はビデオ(例えば連続的なスキャン)からの複数のフレームであってよい。医師は、スキャニングのために第1の歯の準備をした後、上記第1の歯の第1の口腔内画像のセットを撮影できる。例えば、上記第1の歯がプレパレーション歯(プレパレーションとも呼ぶ)である場合、第1の口腔内画像のセットの生成前に、上記第1の口腔内画像のセットの品質が高いことを保証するために、1つ又は複数の操作を実施してよい。一例では、これらの操作により、上記プレパレーション歯のフィニッシュラインを一時的に露出させることによって、上記フィニッシュラインが第1の口腔内画像のセットにおいてはっきり見えることを保証する。
【0006】
上記第1の口腔内画像のセットの完成後、医師は、1つ又は複数の隣接する歯の、追加の口腔内画像のセットを撮影してよい。上記追加の口腔内画像のセットは、上記第1の口腔内画像のセットの焦点であった第1の歯の複数の部分に関するデータを含んでよい。いくつかの例では、上記口腔内画像を用いた3Dモデルの生成中、上記追加の口腔内画像のセットからのデータを、上記第1の口腔内画像のセットからの上記第1の歯に関するデータと組み合わせる(例えば平均する)ことによって、上記3Dモデルにおける上記第1の歯の品質が低下してしまう。
【0007】
実施形態では、上記追加の口腔内画像のセットからのデータが、上記3Dモデルにおける上記第1の歯の品質を低下させるのを防止するために、上記第1の口腔内画像のセットの生成後に、上記第1の画像のセットを自動的にロックする。更に、上記第1の歯を描画する上記第1の口腔内画像のセットの複数の部分のみを、上記第1の歯の上記3Dモデルの生成のために使用できる。従って上記第1の口腔内画像のセットがロックされた結果として、上記追加の口腔内画像のセットは、上記第1の歯を描画する上記3Dモデルの領域を変化させたり、又は上記領域にノイズを付加したりしない。一実施形態では、上記第1の歯の固有特徴を決定し、上記第1の口腔内画像のセットの第1の部分を、上記第1の歯の固有特徴に少なくとも部分的に基づいて選択する。このようにして、上記第1の歯の上記3Dモデルを生成する際、上記第1の歯を描画する上記追加の口腔内画像のセットからの比較的低品質のデータを適用しないものとすることができる。これにより、口腔内部位の(例えば顎の一部分の)3Dモデル中の上記第1の歯の画像品質を改善できる。
【0008】
ここで記載される実施形態では、口腔内スキャナ、口腔内画像、口腔内スキャンセッション等について議論する。しかしながら、実施形態は、口腔内スキャナ以外のタイプのスキャナにも適用されることを理解されたい。実施形態は、複数の画像を撮影してこれらの画像を1つにスティッチし、複合画像又は仮想モデルを形成する、いずれのタイプのスキャナに適用できる。例えば実施形態は、デスクトップモデルスキャナ、コンピュータ断層撮影(CT)スキャナ等に適用できる。更に、上記口腔内スキャナ又は他のスキャナを用いて、口腔内の口腔内部位以外の対象をスキャンできることを理解されたい。例えば実施形態は、口腔内部位の物理モデル又は他のいずれの対象に対して実施されるスキャンに適用できる。従って、口腔内画像をについて記載する実施形態は、スキャナが生成するいずれのタイプの画像に広く適用可能であるものと理解されるものとし、口腔内スキャンセッションについて記載する実施形態は、いずれのタイプの対象に関するスキャンセッションに適用可能であるものと理解されるものとし、また口腔内スキャナについて記載する実施形態は、多数のタイプのスキャナに広く適用可能であるものと理解されるものとする。
【0009】
図1は、口腔内スキャニングを実施する、及び/又は口腔内部位の3次元モデルを生成するための、システム100の一実施形態を示す。一実施形態では、システム100は、
図2〜6を参照して以下に説明される1つ又は複数の操作を実施する。
【0010】
システム100は、スキャナ150及び/又はデータストア110に連結できる、計算デバイス105を含む。計算デバイス105は、処理デバイス、メモリ、二次ストレージ、1つ若しくは複数の入力デバイス(例えばキーボード、マウス、タブレット等)、1つ若しくは複数の出力デバイス(例えばディスプレイ、プリンタ等)、及び/又は他のハードウェアコンポーネントを含んでよい。いくつかの実施形態では、計算デバイス105は、性能及び/又は携帯性を改善するために、スキャナ150に組み込むことができる。
【0011】
計算デバイス105は、データストア110に直接、又はネットワークを介して接続してよい。上記ネットワークは、ローカルエリアネットワーク(LAN)、公衆広域ネットワーク(WAN)(例えばインターネット)、プライベートWAN(例えばイントラネット)、又はこれらの組み合わせであってよい。或いは、データストア110は、内部データストアであってよい。ネットワークデータストアの例としては、ストレージエリアネットワーク(SAN)、ネットワーク接続ストレージ(NAS)、及びクラウドコンピューティングサービスプロバイダが提供するストレージサービスが挙げられる。データストア110は、ファイルシステム、データベース、又は他のデータ・ストレージ構成を含んでよい。
【0012】
いくつかの実施形態では、患者の口腔内の口腔内部位の3次元(3D)データを取得するためのスキャナ150は、計算デバイス105に動作可能に接続される。スキャナ150は、3次元構造を(例えば複数の光線のアレイの共焦点集束によって)光学的にキャプチャするためのプローブ(例えばハンドヘルド型プローブ)を含んでよい。このようなスキャナ150の一例は、アライン・テクノロジー社(Align Technology, inc)製のiTero(登録商標)口腔内デジタルスキャナである。口腔内スキャナの他の例としては、3M(商標)トゥルー・デフィニション(True Definition)スキャナ、並びにシロナ(登録商標)製アポロDI(Apollo DI)口腔内スキャナ及びCEREC AC口腔内スキャナが挙げられる。
【0013】
スキャナ150を用いて、患者の口腔の口腔内スキャンを実施できる。計算デバイス105上で実行される口腔内スキャンアプリケーション108は、スキャナ150と通信して、上記口腔内スキャンを実施できる。この口腔内スキャンの結果は、(例えば、各画像のために上記スキャナの「画像を生成(generate image)」ボタンを押すことによって)別個に生成された複数の口腔内画像の1つ又は複数のセットであってよい。或いは、上記口腔内スキャンの結果は、患者の口腔の1つ又は複数のビデオであってよい。オペレータは、口腔内の第1の位置において、スキャナ150を用いたビデオの記録を開始し、ビデオを撮影しながらスキャナ150を口腔内で第2の位置へと移動させ、続いてビデオの記録を停止してよい。スキャナ150は、上記別個の複数の口腔内画像又は口腔内ビデオ(まとめて口腔内画像データセット135A〜135Nと呼ぶ)を、計算デバイス105に送信してよい。計算デバイス105は、口腔内画像データセット135A〜135Nをデータストア110に記憶してよい。或いはスキャナ150は、口腔内画像データセット135A〜135Nをデータストア110に記憶する別のシステムに接続されていてよい。このような実施形態では、スキャナ150を計算デバイス105に接続しなくてよい。
【0014】
一実施形態では、口腔内スキャンアプリケーション108は、異常識別モジュール115、フラグ設定モジュール118、モデル生成モジュール125、画像ロックモジュール128、消しゴムモジュール132及び拡張モジュール134を含む。或いは、異常識別モジュール115、フラグ設定モジュール118、モデル生成モジュール125、画像ロックモジュール128、消しゴムモジュール132及び/又は拡張モジュール134のうちの1つ又は複数の動作を、単一のモジュールに組み合わせてよく、又は更なる複数のモジュールへと分割してよい。
【0015】
ある例では、ユーザ(例えば医師)は、患者を口腔内スキャニングに供してよい。これを行うにあたり、ユーザはスキャナ150を、1つ又は複数の患者の口腔内位置に適用してよい。スキャニングは、1つ又は複数のセグメントに分割してよい。一例として、上記セグメントは、上記患者の頬下部領域、上記患者の舌下部領域、上記患者の頬上部領域、上記患者の舌上部領域、上記患者の1つ若しくは複数のプレパレーション歯(例えば上記患者の、クラウン若しくは他の歯科補綴物等の歯科デバイスが適用された歯)、プレパレーション歯に接触する1つ若しくは複数の歯(例えば、それ自体は歯科デバイスを適用されていないものの、1つ若しくは複数のそのような歯の隣に位置する、若しくは口を閉じた場合に1つ若しくは複数のそのような歯に接する、歯)、並びに/又は患者の噛合部(例えば、スキャンを患者の上歯及び下歯の境界領域に向かって配向して、患者の口を閉鎖して実施されるスキャニング)が挙げられる。このようなスキャナアプリケーションにより、スキャナ150は、画像データ(スキャンデータとも呼ばれる)を計算デバイス105に提供できる。上記画像データは、口腔内画像データセット135A〜135Nの形態で提供してよく、これらはそれぞれ、口腔内部位の特定の歯及び/又は領域の、2D口腔内画像及び/又は3D口腔内画像を含んでよい。一実施形態では、別個の複数の画像データセットを、上顎弓、下顎弓、患者の噛合部、及びプレパレーション歯それぞれに関して生成する。このような画像は、1つ又は複数の点(例えば1つ又は複数の画素及び/又は画素の群)の形態で、上記スキャナから計算デバイス105に提供してよい。例えばスキャナ150はこのような3D画像を、1つ又は複数の点群として提供してよい。
【0016】
患者の口腔をスキャンする方法は、適用される処置に左右され得る。例えば上又は下の義歯を形成する場合、下顎又は上顎無歯弓の全体的なスキャンを実施してよい。対照的に、ブリッジを形成する場合、歯が欠損した領域、隣接するプレパレーション歯(例えば支台歯)、並びに対向する歯弓及び歯列を含む、全歯弓の一部分のみをスキャンしてよい。よって歯科医師は、実施しようとする処置の固有特徴を、口腔内スキャンアプリケーション108に入力してよい。この目的のために、歯科医師は、ドロップダウンメニュー等の多数のプリセットオプションから、アイコンから、又は他のいずれの好適なグラフィカルユーザインタフェースを介して、処置を選択してよい。或いは、処置の固有特徴を、他のいずれの好適な方法で、例えばプリセットコード、表記又は他のいずれの好適な方法を用いて、入力してよく、口腔内スキャンアプリケーション108は、ユーザが行った選択を認識するよう、好適にプログラムされ得る。
【0017】
非限定的な例として、歯科処置は補綴(修復)処置と歯科矯正処置とに大別でき、更にこれらの処置の具体的形態に細分化できる。更に歯科処置は、歯肉疾患、睡眠時無呼吸及び口腔内状態の識別及び治療を含んでよい。用語「補綴処置(prosthodontic procedure)」は特に、口腔に関わり、かつ歯科補綴物の設計、製造、又は口腔若しくはその現実の若しくは仮想モデル内の歯科的部位(口腔内部位)の歯科的部位における設置を対象とする、或いはこのような補綴物を受承するための上記口腔内部位の設計及び準備を対象とする、いずれの処置を指す。補綴物は、例えばクラウン、ベニヤ、インレー、オンレー、インプラント及びブリッジ、並びに他のいずれの人工的な部分義歯又は総義歯といった、いずれの修復を含んでよい。用語「歯科矯正処置(orthodontic procedure)」は特に、口腔に関わり、かつ歯科矯正要素の設計、製造又は口腔若しくはその現実の若しくは仮想モデル内の口腔内部位における設置を対象とする、或いはこのような歯科矯正要素を受承するための上記口腔内部位の設計及び準備を対象とする、いずれの処置を指す。これらの要素は、ブラケット及びワイヤ、リテーナ、透明整列器具、又は機能性器具を含むがこれらに限定されない器具であってよい。
【0018】
(例えばクラウン、ブリッジ、ベニヤ等を形成するための)多くの補綴処置のために、患者の既存の歯を歯根まで削る。この削った歯を、本明細書中では、プレパレーション歯又は単にプレパレーションと呼ぶ。プレパレーション歯は、フィニッシュライン(マージンラインとも呼ばれる)を有し、これは、プレパレーション歯の天然の(削られていない)部分と、プレパレーション歯の準備済みの(削られた)部分との間の境界線である。プレパレーション歯は典型的には、クラウン又は他の補綴物を、プレパレーション歯の上に設置又は静置できるように形成される。多くの例では、プレパレーション歯のフィニッシュラインは、歯肉線より下である。用語「プレパレーション」は典型的には、フィニッシュラインと、歯の残存する肩部とを含む、プレパレーション歯の歯根を指し、また本明細書では、用語「プレパレーション」は、人工歯根、ピボット、コア及びポスト、又はクラウン若しくは他の補綴物を受承するために口腔内に埋入できる他のデバイスも含む。プレパレーション歯に関連して本明細書に記載される実施形態はまた、上述の人工歯根、ピボット等の他のタイプのプレパレーションにも当てはまる。
【0019】
プレパレーション歯の形成後、医師は、そのプレパレーション歯をスキャニングのために準備するための操作を実施する。プレパレーション歯をスキャニングのために準備するステップは、血液、唾液等を上記プレパレーション歯から拭き取るステップ、及び/又は患者の歯肉を上記プレパレーション歯から分離させてフィニッシュラインを露出させるステップを含むことができる。いくつかの例では、医師は、プレパレーション歯と患者の歯肉との間の、プレパレーション歯の周囲に、コードを挿入する。続いて医師は、プレパレーション歯の口腔内スキャンのセットを生成する前に、コードを除去する。歯肉の軟質組織は、短い期間の後に、その自然な位置へと戻り、多くの場合はフィニッシュラインを覆うように収縮する。それに応じて医師は、上記軟質組織がその自然な位置に戻る前に、スキャナ150を用いて準備されたプレパレーション歯をスキャンし、上記プレパレーション歯の口腔内画像のセット(例えば口腔内画像データセット135A)を生成する。
【0020】
プレパレーション歯の口腔内画像のセットの生成後、医師は、口腔内画像のセット(又はそれから生成した3Dモデル)をプレビューして、上記口腔内画像のセットが満足できる品質を有するかどうかを決定する。次に医師は上記品質が満足できるものでなければ、上記プレパレーション歯(若しくはその一部分)を再スキャンしてよく、又は上記品質が満足できるものであれば、隣接する歯及び上記プレパレーション歯の周囲の他の領域に関する追加の口腔内画像のセット(例えば口腔内画像セット135B〜135N)の生成に進んでよい。隣接する領域に関するこれらの追加の口腔内画像のセットを撮影することにより、例えば、歯科補綴物が患者の口内にフィットすることを保証できる。上記追加の口腔内画像のセットはまた、歯肉がフィニッシュラインを覆うように収縮した後、並びに/又は上記プレパレーション歯に血液及び/若しくは唾液が蓄積された後に、上記プレパレーション歯の複数の部分をキャプチャしてよい。
【0021】
従って一実施形態では、(例えばプレパレーション歯の)第1の口腔内画像のセット(例えば口腔内画像データセット135A)の撮影後、画像ロックモジュール128はこの第1の口腔内画像のセットを自動的にロックする。ロック済みの第1の口腔内画像のセットは、患者のプレパレーション歯に関連付けることができる。一実施形態では、画像ロックモジュール128は、複数のプレパレーション歯に関連付けられた画像データセットを自動的にロックするが、他の画像データセットを自動的にロックしない。従って画像ロックモジュール128は、新規の画像データセットがプレパレーション歯に関連するかどうか、及び関連する場合はその画像データセットをロックすることを決定できる。
【0022】
画像ロックモジュール128はプレパレーション歯の固有特徴を用いて、3Dモデル内で上記プレパレーション歯に適用されることになる、ロック済みの第1の口腔内画像のセットの部分を自動的に選択する。或いは、医師が、グラフィカルユーザインタフェース(GUI)を用いて、3Dモデル内で上記プレパレーション歯に適用されることになる、上記ロック済みの口腔内画像のセットの上記部分に印を付けてよい。いずれの場合においても、画像ロックモジュール128は、上記プレパレーション歯を描画する上記ロック済みの画像データセット部分のみがロックされ、歯肉、他の歯等を描画する上記画像データセットの部分はロックされないように、上記ロック済みの画像データセットを更新してよい。一実施形態では、画像ロックモジュール128は、画像処理を実施して、上記プレパレーション歯の輪郭及びフィニッシュラインを決定する。上記フィニッシュラインの内側の上記プレパレーション歯を表す全てのデータをロックしてよく、その一方で、上記フィニッシュラインの外側の他の口腔内特徴部分を表す全てのデータをロックされない状態としてよい。一実施形態では、バッファを適用し、上記フィニッシュライン内の全てのデータに上記バッファを加えたものをロックする。上記バッファは例えば、上記フィニッシュラインからの1〜3mmのオフセットであってよい。このようにして、画像ロックモジュール128は、上記ロック済みの画像データセット内でどのデータを維持するかを、アルゴリズムによって決定できる。或いは、上記ロック済みの画像データセット内でどのデータを維持するかを、ユーザが手動で決定してよい。例えばユーザは、上記ユーザが維持したい領域の輪郭を、グラフィカルユーザインタフェースを介して描画してよい。このロック済みの画像データセットは、後にユーザがいずれの時点においてロック解除できる。
【0023】
上記プレパレーション歯の比較的低品質の描画も含み得る、追加の口腔内画像のセットからのデータは、3Dモデル内での上記プレパレーション歯の生成中は、モデル生成モジュール125によって無視できる。従って、上記第1の画像データセットにおいてキャプチャされたフィニッシュラインは、更なる画像データによって劣化しない。
【0024】
更なる実施形態では、追加のプレパレーション歯、及び/又はスキャンされたプレパレーション歯に隣接する歯等の他の歯に関して、追加の口腔内画像データセットを生成してよい。画像ロックモジュール128は、上記画像データセットの生成後、かつ追加の口腔内画像の撮影前に、いくつかの又は全ての画像データセットを自動的に(例えばアルゴリズム的に及び/又はユーザ入力を用いずに)ロックしてよい。画像ロックモジュール128は、各ロック済みの口腔内画像データセット135A〜135Nに、別個のレイヤー又はグループ識別子を割り当ててよい。これらのレイヤーは、画像データセット全体を参照するために使用でき、また、画像データセットを表示する若しくは隠すため、及び/又はこれらの画像データセットを1つにスティッチするために画像データセットからのデータに優先権を与えるために、使用できる。
【0025】
ある例では、第1の画像データセットは、第1の歯に関連してよく、第2の画像データセットは、隣接する第2の歯に関連してよい。上記第1の画像データセットからのデータは、上記第2の画像データセットからのデータと重複してよく、また上記第2の画像データセットからのデータから離れていてよい。これらの画像データセットを1つにスティッチするために、これら2つの画像データセットに描画される口腔内部位の重複する領域間の相違を矯正しなければならない。上記不一致を矯正する1つの技法は、上記重複する領域に関して、上記第1の画像データセットのデータを上記第2の画像データセットのデータと平均することである。レイヤーの使用により、各画像データセットに重みを割り当てることができ、上記画像データセットの平均は、重み付け平均とすることができる。例えばユーザが、ある特定の重複する領域に関する、上記第1の画像データセットからのデータが、上記特定の重複する領域に関する上記第2の画像データセットからのデータより高品質であることを把握している場合、上記ユーザは、上記第1の画像データセットを、高い優先度を有するものとして選択してよい。続いてモデル生成モジュール125は、これらの画像データセット間の相違を平均する際に、上記第1の画像データセットに、上記第2の画像データセットよりも強く重み付けしてよい。
【0026】
画像ロックモジュール128は、各口腔内画像データセット135A〜135Nを特定の歯と関連付けてよく、及び/又はそうでない場合は、各口腔内画像データセット135A〜135Nに関連付けられた口腔内部位を識別してよい。一実施形態では、ユーザは、画像データセットの生成前に、どの歯をスキャンしているかを指示する。或いはユーザはまず、ある画像データセットを取得し、続いて上記画像データセットにおいて撮像された歯を指示してよい。別の実装形態では、口腔内スキャンアプリケーション108は、ユーザに、ある特定の歯をスキャンするよう命令してよく、また上記特定の歯の固有特徴を上記画像データセットと関連付けてよい。このように、各ロック済みの口腔内画像データセット135A〜135Nをある特定の歯と関連付けることができ、上記特定の歯は、プレパレーション歯であってもなくてもよい。
【0027】
スキャンセッションが完了すると(例えば口腔内部位の全ての画像をキャプチャすると)、モデル生成モジュール125は、スキャンされた口腔内部位の仮想3Dモデルを生成してよい。上記仮想3Dモデルを生成するために、モデル生成モジュール125は、上記口腔内スキャンセッションから生成した上記口腔内画像を位置合わせ(即ち、1つに「スティッチ(stitch)」)してよい。一実施形態では、画像レジストレーションの実施は、複数の画像(1つのカメラからの複数の図)において、ある表面の様々な点の3Dデータをキャプチャするステップ、及びこれらの画像間の変換を計算することによって、これらの画像を位置合わせするステップを含む。次に、位置合わせされた各画像の点に対して適切な変換を適用することによって、これらの画像を、共通の基準フレーム内へと統合してよい。
【0028】
一実施形態では、画像レジストレーションは、隣接する又は重複する口腔内画像の各ペア(例えば口腔内ビデオの連続する各フレーム)に関して実施される。画像レジストレーションアルゴリズムを実施することにより、2つの隣接する口腔内画像を位置合わせし、これは、一方の画像を他方の画像と整列させる変換の決定を本質的に伴う。画像レジストレーションは、ある画像ペアの各画像内で複数の点(例えば点群)を識別するステップ、各画像の上記点に対する表面フィッティング、及びこれらの点の周りでの局所的探索を用いて、上記2つの隣接する画像の複数の点を一致させるステップを伴う。例えば、モデル生成モジュール125は、一方の画像の複数の点を、他方の画像の表面に補間された最も近い複数の点と一致させて、一致させた点間の距離を反復的に最小化できる。モデル生成モジュール125はまた、ある画像の複数の点における曲率特徴と、他方の画像の表面上に補間された複数の点における曲率特徴との最良の一致を、反復なしに発見できる。モデル生成モジュール125はまた、一方の画像の複数の点におけるスピン画像点特徴と、他方の画像の表面上に補間された複数の点におけるスピン画像点特徴との最良の一致を、反復なしに発見できる。画像レジストレーションのために使用できる他の技法としては例えば、他の特徴を用いた点間対応に基づく技法、及び点‐表面間距離の最小化が挙げられる。他の画像レジストレーション技法も使用してよい。
【0029】
多数の画像レジストレーションアルゴリズムは、隣接する複数の画像において、複数の点に対する表面のフィッティングを実施し、これは多数の方法で実施できる。ベジェ及びB‐スプライン表面等のパラメトリック面が最も一般的であるが、他のものを用いてもよい。単一の表面パッチを、ある画像の全ての点に対してフィットさせてよく、或いは別個の複数の表面パッチを、上記画像の複数の点の、いずれの個数のサブセットに対してフィットさせてよい。別個の複数の表面パッチは、共通の境界を有するようにフィットさせてよく、又はこれらは、重複するようにフィットさせてよい。フィットさせる複数の点の格子と同数の点を有する制御点ネットを用いて、表面若しくは表面パッチをフィットさせることにより、複数の点を補間してよく、又はフィットさせる複数の点の格子よりも少ない数の点を有する制御点ネットを用いて、上記表面を上記複数の点に近似させてよい。画像レジストレーションアルゴリズムによって様々なマッチング技法を採用してもよい。
【0030】
一実施形態では、モデル生成モジュール125は、2次元(2D)曲率アレイの形態を取ることができる複数の画像間の点の一致を決定してよい。隣接する画像の対応する表面パッチ内の一致する点特徴の局所探索は、パラメータ的に類似した点を取り囲む領域内でサンプリングされた複数の点における特徴を計算することによって実施できる。2つの画像の表面パッチ間で対応する点のセットが決定されると、2つの座標フレーム内の2つの対応する点のセットの間の変換の決定を解くことができる。本質的に、画像レジストレーションアルゴリズムは、一方の表面上の複数の点と、基準として使用される他方の画像表面上の補間領域内に見られる、上記複数の点に最も近い点との間の距離を最小にする、2つの隣接する画像間の変換を計算してよい。
【0031】
モデル生成モジュール125は、口腔内画像のシーケンスの、全ての隣接する画像のペアに関して、画像レジストレーションを繰り返して、各画像のペアの間の変換を取得することにより、各画像を1つ前の画像と位置合わせする。次にモデル生成モジュール125は、決定された適切な変換を各画像に対して適用することによって、全ての画像を単一の仮想3Dモデルに統合する。各変換は、1〜3個の軸の周りでの回転、及び1〜3個の平面内での並進を含んでよい。
【0032】
多くの例では、1つの口腔内画像のセットからのデータは、別の口腔内画像からのセットに完璧に対応しない。各口腔内画像データセット135A〜135Nに関して、画像ロックモジュール128は、関連する歯の固有特徴を用いて、当該画像データセットのどの部分だけを用いて、3Dモデルのある特定の領域を生成できる(例えば上記3Dモデル内での関連する歯を生成できる)かを決定できる。画像ロックモジュール128は、各口腔内画像データセット内の画像データを分析してよい。各画像データセットに関して、画像ロックモジュール128は、関連する歯に関する記憶された情報を用いて、上記分析から、当該画像データセットのどの部分又は領域が当該歯を表し、当該画像データセットのどの部分又は領域が、歯肉及び他の歯といった他の口腔内の対象を表すかを決定してよい。次に選択モジュール130は、上記画像データセット内で当該歯の輪郭を生成してよい。生成された輪郭は、境界線として機能し得る。上記輪郭内にある、上記画像データセットからのデータのみを、モデル生成モジュール125が用いて、上記特定の関連する歯を3Dモデル内で生成できる。上記輪郭の外側の、上記画像データセットからのデータは、3Dモデル内で追加の特徴又は対象を生成するために使用される場合があり、又は使用されない場合もある。更に、上記輪郭の外側のデータを、他の画像データセットからのデータと組み合わせて、3Dモデル内で追加の特徴又は対象を生成してよい。
【0033】
一実施形態では、ロック済みの画像データセット内で上記歯の輪郭を描画する操作は、(上述のように)画像ロックモジュールによって実施される。次に画像ロックモジュール128は、上記ロック済みの画像データセットを更新して、上記輪郭内にある上記画像データセットの部分をロックし、上記輪郭の外側の上記画像データセットの部分をロックされない状態とすることができる。
【0034】
異常識別モジュール115は、口腔内スキャンデータ(例えば口腔内画像データセット中の口腔内画像)及び/又は口腔内スキャンデータから生成された仮想3Dモデルから、異常及び/又は他の関心対象領域(AOI)を識別する役割を果たす。このような異常としては、ボイド(例えばスキャンデータが欠落した領域)、対立した又は欠陥のあるスキャンデータの領域(例えば複数の口腔内画像の重複する表面が一致しない領域)、異物(例えばスタッド、ブリッジ等)を示す領域、不明瞭なマージンライン(例えば1つ又は複数のプレパレーション歯のマージンライン)、ノイズ情報等が挙げられる。識別されるボイドは、画像の表面にあるボイドであってよい。表面の対立の例としては、二重の切歯縁部及び/又は他の生理学的に発生しそうにない歯の縁部、噛合線のずれ、血液、唾液及び/又は異物の混入又は欠如、マージンラインの描画の差異等が挙げられる。異常識別モジュール115は、異常を識別すると、患者画像データ(例えば3D画像の点群)並びに/又は患者のみの、及び/若しくは基準データ138に関する、1つ若しくは複数の仮想3Dモデルを分析してよい。この分析は、直接分析(例えばピクセルベースの及び/若しくは他の点ベースの分析)、機械学習の適用、並びに/又は画像認識の適用を伴ってよい。このような基準データ138としては、診察中の患者に関する過去のデータ(例えば口腔内画像及び/若しくは仮想3Dモデル)、プールされている患者データ、並びに/又は教育用患者データを含んでよく、これらの一部又は全ては、データストア110に記憶されていてよい。
【0035】
異常識別モジュール115は、予期せぬ形状、明瞭度の低い領域、データが欠落した領域、色の相違等を識別するための画像処理を実施することによって、異常を識別する。異なるクラスの異常を識別するために、異なる基準を用いてよい。一実施形態では、欠落した画像データの領域を用いて、ボイドであり得る異常を識別する。例えば、口腔内画像がキャプチャしていない領域のボクセルを識別してよい。一実施形態では、異常識別モジュールは、上記異常の形状を、上記異常を取り囲む幾何学的特徴に基づいて、及び/又は上記異常の幾何学的特徴(このような特徴が存在する場合には)に基づいて、補間する。このような幾何学的特徴は、エッジ検出、コーナー検出、ブロブ検出、リッジ検出、ハフ変換、構造テンソル及び/又は他の画像処理技法を用いることによって決定してよい。
【0036】
診察中の患者に関するデータは、患者の来院(この間にスキャニングが行われる)に対応する、X線、2D口腔内画像、3D口腔内画像、2Dモデル及び/又は仮想3Dモデルを含んでよい。診察中の患者に関するデータは更に、(例えば患者の過去の来院及び/又は患者の歯科的記録に対応する)患者の過去のX線、2D口腔内画像、3D口腔内画像、2Dモデル及び/又は仮想3Dモデルを含んでよい。
【0037】
上記プールされた患者データは、多数の患者に関するX線、2D口腔内画像、3D口腔内画像、2Dモデル及び/又は仮想3Dモデルを含んでよい。このような多数の患者は、診察中の患者を含んでも含まなくてもよい。上記プールされた患者データは、匿名化され、及び/又は地域の医療記録プライバシー規定(例えば「医療保険の携行性と責任に関する法律(Health Insurance Portability and Accountability Act(HIPAA)」)に従って採用され得る。上記プールされた患者データは、本明細書中で議論される種類のスキャニングに対応するデータ、及び/又は他のデータを含んでよい。上記教育用患者データは、教育的な文脈で使用される、X線、2D口腔内画像、3D口腔内画像、2Dモデル、仮想3Dモデル並びに/又は医療用の図示(例えば医療用のイラスト及び/若しくは他の画像)を含んでよい。上記教育用患者データは、ボランティアによるデータ及び/又は死体によるデータを含んでよい。
【0038】
異常識別モジュール115は、スキャニングが行われる患者の来院の後期からの患者スキャンデータ(例えば患者の1つ若しくは複数の来院後期3D画像の点群及び/又は1つ若しくは複数の来院後期仮想3Dモデル)を、当該患者の来院の早期からのデータの形態の、追加の患者スキャンデータ(例えば患者の1つ若しくは複数の来院早期3D画像の点群及び/又は1つ若しくは複数の来院早期仮想3Dモデル)に対して、分析してよい。更に、又は或いは、異常識別モジュール115は、患者スキャンデータを、上記患者の歯科的記録データ、並びに/又は上記患者の来院の前からの上記患者のデータ(例えば患者の1つ若しくは複数の来院前3D画像の点群及び/若しくは1つ若しくは複数の来院前仮想3Dモデル)の形態の基準データに対して、分析してよい。更に、又は或いは、異常識別モジュール115は、患者スキャンデータを、プールされた患者データ及び/又は教育用患者データに対して分析してよい。
【0039】
欠落した及び/又は欠陥のあるスキャンデータに関連する異常を識別するステップは、異常識別モジュール115が直接分析を実施するステップ、例えば1つ又は複数のピクセル又は他の点が、患者スキャンデータ及び/又は患者の1つ若しくは複数の仮想3Dモデルから欠落していることを決定するステップを伴ってよい。更に、又は或いは、欠落した及び/又は欠陥のあるスキャンデータに関連する異常の識別は、プールされた患者データ及び/又は教育用患者データを使用して、患者スキャンデータ及び/又は仮想3Dモデルが、上記プールされた患者データ及び/又は教育用患者データが示すものに対して不完全である(例えば不連続を有する)ことを確定するステップを伴ってよい。
【0040】
フラグ設定モジュール118は、識別した異常を提示する及び/又は呼び出す方法を決定する役割を果たす。フラグ設定モジュール118は、異常の指標又はインジケータを提供してよい。上記指標は、患者の歯及び/若しくは歯肉の1つ若しくは複数の描画に関連して(例えば患者の1つ若しくは複数のX線、2D口腔内画像、3D口腔内画像、2Dモデル及び/若しくは仮想3Dモデルに関連して)、並びに/又はこれとは別個に、(例えばユーザインタフェースを介して)ユーザ(例えば医師)に提示してよい。患者の歯及び/又は歯肉の描画に関連した指標の提示は、指標を上記歯及び/又は歯肉の対応する部分と相関させるように、上記指標を配置するステップを伴ってよい。
【0041】
上記指標は、フラグ、印、輪郭、テキスト、画像及び/又は(例えば発話の形態の)音声の形態で提供してよい。このような輪郭は、(例えば境界として)現存している歯の輪郭及び/又は歯肉の輪郭を辿るように、(例えば輪郭フィッティングによって)配置してよい。図のように、ボイドに対応する輪郭は、欠落したデータの輪郭を辿るように配置してよい。このような輪郭は、欠落した歯の輪郭及び/又は歯肉の輪郭に対して、上記欠落した輪郭の、投射された経路を辿るように、(例えば輪郭の推定によって)配置してよい。図のように、欠落した歯のスキャンデータに対応する輪郭は、欠落している歯の部分の投射された経路を辿るように配置してよく、又は欠落した歯肉のスキャンデータに対応する輪郭は、欠落している歯肉の部分の投射された経路を辿るように配置してよい。
【0042】
輪郭が描画された上記異常の内側の、口腔内画像データセットの部分に関するデータは、ロック解除するか、又はロック済みの口腔内画像データセットから除去してよい。上記異常は、ユーザに対して識別されてよく、そしてユーザは、上記口腔内部位の上記異常の領域をキャプチャした新規の画像を生成してよい。次に、上記新規の口腔内画像の、上記異常の上記輪郭の内側に対応する部分を用いて、上記口腔内画像データセットからのオリジナルのデータを、上記異常に関して置換する。そしてこのデータを、上記ロック済みの画像データセットに追加してよい。このようにして、上記異常を口腔内画像のセット内で自動的に検出でき、追加の口腔内画像を撮影して、上記口腔内画像データセットの残りの部分に影響を及ぼすことなく、上記異常を上書きできる。
【0043】
一実施形態では、異常識別モジュール115が異常を識別した後、異常識別モジュール115は続いて、上記異常が識別された領域をカバーするデータを含むいずれの追加の画像データセットが存在するかどうかを決定してよい。異常識別モジュール115は、1つ又は複数の追加の画像データセットからのこの領域を、上記ロック済みの画像データセットのデータと比較してよい。この比較に基づいて、異常識別モジュール115は、上記輪郭をカバーする、上記ロック済みの画像データセットのデータを、別の画像データセットからのデータで置換できることを決定してよい。次に、上記異常の輪郭の内側に対応する、上記他の画像データセットの部分を用いて、上記口腔内画像データセットからのオリジナルのデータを、上記異常に関して置換してよい。次にこのデータを、上記ロック済みの画像データセットに追加してよい。
【0044】
一実施形態では、各追加の画像データセットに関して、異なる置換オプションがユーザに提示される。よって、各追加の画像データセットに関して、異常識別モジュール115は、当該追加の画像データセットからの、上記異常の輪郭をカバーする画像データで、上記異常を置換してよい。置換オプションのそれぞれをユーザに提示してよく、ユーザはその後、どの置換オプションを適用するかを選択してよい。ユーザの選択を受信すると、上記ユーザの選択に関連付けられた上記追加の画像データセットからのデータを用いて、ロック済みの画像データセット内の上記異常を置換してよい。
【0045】
モデル生成モジュール125によって生成された3Dモデルは、口腔内スキャンアプリケーションのユーザインタフェースを介して、ユーザに対して表示できる。続いてユーザは、3Dモデルを視覚的に検査できる。ユーザは、3Dモデルをいずれの所望の方向から視認できる好適なユーザ制御(ハードウェア及び/又はバーチャル)を用いて、ユーザインタフェースを介して、最大6の自由度に関して上記3Dモデルを仮想的に操作してよい(即ち3つの相互に直交する軸のうちの1つ又は複数に関して並進及び/又は回転させてよい)。異常識別モジュール115が再スキャンのために異常をアルゴリズム的に識別するのに加えて、ユーザは、生成された口腔内部位の3Dモデルを吟味し(例えば目視で観察し)、上記3Dモデルの1つ又は複数の領域が許容できないものであることを決定してよい。
【0046】
上記観察に基づいて、ユーザは、上記3Dモデルの一部が好適でない、又は望ましくないこと、及び上記3Dはモデルの残りの部分が許容可能であることを決定してよい。上記3Dモデルの許容できない部分は例えば、上記3Dモデル内で十分にはっきりと定義されなかった、スキャンされた口腔内部位の現実の歯科的表面に対応し得る。例えば、第1の3D仮想モデルの生成をもたらす、例えばスキャニングによる初期3Dデータ収集ステップ中、上記物理的な歯科的表面の上記対応する部分は、唾液、血液又はデブリといった異物で被覆されている場合がある。また、上記物理的な歯科的表面の上記対応する部分は、歯肉の一部、頬、舌、歯科器具、アーティファクト等によって不明瞭となっている場合がある。或いは、例えば、第1の3D仮想モデルの生成をもたらす(例えばスキャニングによる)初期3Dデータ収集ステップ中、上記許容できない部分は、歪んでいるか又はその他の欠陥を有する場合があり、また(例えば実際のスキャニングプロセスにおける何らかの欠陥によって)物理的な歯科的表面に適切に対応しない場合がある。
【0047】
ユーザインタフェースを介して、ユーザは、上記3Dモデルの上記許容できない部分に印を付けるか、又はその他の方法で上記許容できない部分を区別してよい。続いて消しゴムモジュール132は、上記3Dモデルから、印を付けられた部分(並びにロック済みの画像データセット、及び/又は上記許容できない部分を生成するために使用された他の画像データセットの、関連する部分)を削除するか又はその他の方法で除去してよい。例えば、関心対象となる歯科処置は、歯科補綴物を提供するものであってよく、上記3Dモデルの削除又は除去される部分は、現実の歯科的表面に存在するものの上記3Dモデルにおいて(又は上記3Dモデルを生成するために使用された口腔内画像データセット135A〜135Nにおいて明瞭に示されなかった)プレパレーション歯のフィニッシュラインの一部であってよい。
【0048】
口腔内スキャンアプリケーション108は、上記3Dモデル(及び対応する口腔内画像の1つ又は複数のセット)の、削除又は除去された上記一部分に対応する、歯科的部位の1つ又は複数の追加の口腔内画像を生成させてよい。次にユーザは、スキャナ150を用いて、過去に生成された口腔内画像と少なくとも部分的に重複する、1つ又は複数の追加の口腔内画像を生成してよい。上記1つ又は複数の追加の口腔内画像を、上記3Dモデル(及び/又は上記3Dモデルを生成するために使用された上記口腔内画像データセット)と位置合わせすることによって、上記3Dモデルと上記1つ又は複数の追加の口腔内画像との複合体を提供してよい。上記複合体では、上記3Dモデルの、過去に削除/除去された上記部分は、上記1つ又は複数の追加の口腔内画像の対応する部分によって、少なくとも部分的に置換される。しかしながら、上記1つ又は複数の追加の画像の、上記3Dモデルの削除又は除去された部分の外側の部分は、上記複合体又は更新された3Dモデルには適用されない。一実施形態では、新規の口腔内画像の、ロック済みの画像データセットの消去された部分に対応する部分を、上記ロック済みの画像データセットに追加する。
【0049】
拡張モジュール134は、異常識別モジュール115及び/又は消しゴムモジュール132の動作と同様の動作を実施してよい。しかしながら、3Dモデル内の異常又は許容できない部分を識別及び補正するのではなく、拡張モジュール134は、3Dモデルの縁部において、3Dモデルの複数の部分を識別及び/又は補正してよい。例えば、口腔内画像データセット135Aは、歯の一部分を欠落させる場合があり、これにより上記歯は、3Dモデル内では切除される(例えば上記歯の一部分は上記3Dモデルに示されない)。拡張モジュール134は、歯が切り取られたように見える上記3Dモデルの縁部を、アルゴリズム的に検出してよい。或いは、ユーザは、ユーザインタフェースを介して、上記歯の一部分が上記3Dモデルに示されていないことを指示してよい。ユーザは、上記3Dモデルの縁部の、上記モデルが不完全となっている部分に、印を付けても付けなくてもよい。
【0050】
次にユーザはスキャナ150を用いて、上記3Dモデルのデータが欠落した領域に対応する口腔内部位(例えば歯)の、1つ又は複数の追加の口腔内画像を生成してよい。上記1つ又は複数の追加の口腔内画像を、上記3Dモデルに対して位置合わせしてよい。次に拡張モジュール134は、上記1つ又は複数の追加の口腔内画像の一部分が、上記初期3Dモデルから欠落している上記口腔内部位(例えば歯)の領域を表すことを決定してよい。続いて、上記1つ又は複数の追加の口腔内画像のこの部分を、上記3Dモデルに追加することによって、上記3Dモデルを上記口腔内部位(例えば歯)に関して拡張してよい。更に、上記1つ又は複数の追加の口腔内画像の上記部分を、ロック済みの画像データセットに付加してよい。
【0051】
一実施形態では、医師は、患者の1つ又は複数の歯列弓の完全な又は部分的なスキャンを生成していてよい。上記スキャンが完了してからある程度後に、患者は、歯科的健康状態の変化を経験する場合があり、以前は健康な歯であった箇所に、ブリッジ又は他の補綴物を適用する必要を生じる場合がある。このような例では、上記歯科医師は、過去に完了したスキャンを活用してよい。特に上記医師は、プレパレーション歯を形成してよく、続いて当該プレパレーション歯をスキャンして、上記プレパレーション歯のロック済みの口腔内画像データセットを生成してよい。次にこのロック済みの口腔内画像データセットを、過去に生成したスキャンデータと組み合わせて、患者の歯列弓の新規の3Dモデルを生成してよい。上記新規の3Dモデル中の歯弓の大半は、オリジナルのスキャンからのデータに基づくものとなるが、上記プレパレーション歯に関するデータは、上記ロック済みの画像データセットに基づくものとなる。
【0052】
図2〜6は、口腔内画像のセットを処理し、口腔内画像のセットから仮想3Dモデルを生成する方法に関する、フローチャートを示す。これらの方法は、ハードウェア(例えば回路構成、専用の論理、プログラマブル論理、マイクロコード等)、ソフトウェア(処理デバイス上で実行される命令等)、又はこれらの組み合わせからなる、処理論理によって実施してよい。一実施形態では、処理論理は、
図1の計算デバイス105に対応する(例えばこれにより、計算デバイス105に口腔内スキャンアプリケーション108を実行させる)。
【0053】
図2は、本発明の実施形態による、口腔内部位の画像セットを自動的にロックする方法200に関するフローチャートを示す。方法200のブロック205では、口腔内スキャンセッションが開始される。上記口腔内スキャンセッション中、歯科医師は口腔内スキャナを用いて、特定の口腔内部位に焦点を合わせた(例えば特定の歯に焦点を合わせた)口腔内画像のセットを生成する。処理論理は、上記歯科医師に、どの口腔内部位(例えばどの歯)をスキャンするべきかについて指示してよく、又は上記歯科医師が、どの口腔内部位をスキャンするべきか若しくはスキャンしたかを指示してよい。或いは、処理論理は、上記口腔内画像のセットからのデータに基づいて、及び/又は(例えば他の口腔内部位に焦点を合わせた)1つ若しくは複数の追加の口腔内画像のセットに基づいて、上記口腔内部位を自動的に(例えばアルゴリズム的に)識別してよい。ブロック210では、処理論理は、上記口腔内部位の口腔内画像のセットを受信する。ブロック215では、処理論理は、上記口腔内画像データセットをロックする。これにより、上記口腔内画像データセットの、上記口腔内部位の特定の領域を描画する(例えば特定のプレパレーション歯を、そのマージンラインを含んで描画する)部分が、追加の口腔内画像によって後で修正されない又は劣化させられないことが保証される。
【0054】
図7Aを参照すると、口腔内スキャンセッション中の、例示的な歯列弓700の一部分が図示されている。上記歯列弓は、2つのプレパレーション歯708、710、及び隣接する歯704、706、712、並びに患者の歯肉702を含む。図示されているように、プレパレーション歯708、710は、接合点として作用してブリッジを受承するために、歯根まで削られている。プレパレーション歯708はフィニッシュライン709を含み、プレパレーション歯710はフィニッシュライン711を含む。図示されているフィニッシュライン709、711は、この例の見やすさを改善するために、歯肉線より上にある。しかしながら多くの例では、上記フィニッシュラインは歯肉線より下にある。一例では、コードを、プレパレーション歯708とこれを取り囲む歯肉との間に詰めた後、取り除くことによって、フィニッシュライン709をスキャニングのために短時間露出させてよい。
【0055】
口腔内画像714、口腔内画像716及び口腔内画像718を含む、口腔内画像データセット713が示されている。各口腔内画像714〜718は、撮像される歯科的表面から特定の距離を有する口腔内スキャナによって生成してよい。上記特定の距離において、口腔内画像714〜718は、特定のスキャン領域及びスキャン深度を有する。上記スキャン領域の形状及びサイズは一般にスキャナに依存し、本明細書では長方形で表される。各画像は固有の基準座標系及び原点を有してよい。各口腔内画像は、ある特定の位置(スキャニングステーション)にあるスキャナによって生成してよい。スキャニングステーションの位置及び配向は、上記口腔内画像が一体として、標的ゾーン全体を十分にカバーするように選択してよい。好ましくは、スキャニングステーションは、図示されているように、口腔内画像714〜718間に重複が存在するように選択される。典型的には、選択されるスキャニングステーションは、同一の標的領域に関して異なる複数のスキャナを使用する場合、使用されるスキャナのキャプチャ特性に応じて異なる。従って、各スキャンによって比較的大きな歯科的領域をスキャンできる(例えば比較的大きな視野を有する)スキャナは、比較的小さな歯科的表面の3Dデータしかキャプチャできないスキャナよりも、少数のスキャニングステーションを使用することになる。同様に、長方形のスキャニング格子を有する(従って対応する長方形の形状の、投射されたスキャニング領域を提供する)スキャナに関する、スキャニングステーションの個数及び配置は、典型的には、円形又は三角形のスキャニング格子を有するスキャナ(これはそれぞれ対応する円形又は三角形の形状の、投射されたスキャニング領域を提供する)に関するものとは異なることになる。口腔内画像データセット713は自動的にロックされ、また、第1のレイヤーに割り当てられてよい。
【0056】
再び
図2を参照すると、方法200のブロック220では、上記第1の口腔内画像のセットの複数の部分が、処理論理によって自動的に選択される。選択された部分は、上記口腔内部位の歯又は他の特徴部分の輪郭に対応してよい。上記選択された部分は、画像分析の実施、及びエッジ検出、エッジマッチング、グレースケールマッチング、勾配マッチング、バグ・オブ・ワーズ(bag of words)モデル等といった対象認識技法の適用に基づいて決定してよい。基準データを用いて処理論理を訓練することにより、歯等の特定の対象を検出できる。一実施形態では、対象検出プロセスの支援、及び上記口腔内画像の複数の部分の選択のために、上記歯又は口腔内部位の既知の固有特徴を使用する。
【0057】
例えば、
図7Aの例示的な口腔内画像データセット713では、プレパレーション歯708の輪郭を生成してよい。口腔内画像データセット713の口腔内画像714‐718の、上記輪郭の内側にある全ての部分は、更なる変更に対して保護されていてよい。一実施形態では、上記ロック済みの画像データセットを更新して、上記輪郭の内側の領域を上記画像データセット内でロックし、上記輪郭の外側の領域をロックされていない状態とする。
【0058】
方法200のブロック225では、処理論理は、口腔内部位を描画する(例えば上記ロック済みの口腔内画像のセットの焦点であった歯を描画する)1つ又は複数の追加の口腔内画像を受信する。これらの追加の口腔内画像は、例えば1つ又は複数の追加の歯に関する、1つ又は複数の追加の口腔内画像データセットの一部であってよい。ブロック230では、処理論理は、上記口腔内部位を含む仮想3Dモデルを生成する。上記ロック済みの口腔内画像の(例えば決定された上記輪郭の内側の)上記選択された部分を用いて、上記モデルの第1の領域を生成する。例えば、上記選択された部分を用いて、上記3Dモデル内で特定のプレパレーション歯を生成してよい。上記追加の口腔内画像からのデータは、上記3Dモデルの領域の生成には使用されない。
【0059】
ここで
図7Bを参照すると、プレパレーション歯708に隣接する歯706に関して第2の口腔内画像データセット721が生成された後の、上記口腔内スキャンセッション中の
図7Aの例示的な歯列弓が示されている。口腔内画像データセット721は、口腔内画像722〜728を含み、これらは隣接する歯706に焦点を合わせている。しかしながら、図示されているように、第2の口腔内画像データセット721内の口腔内画像726のある領域もまた、プレパレーション歯708及びフィニッシュライン709を描画している。しかしながら、第1の口腔内画像データセット713はロックされているため、3Dモデル内でプレパレーション歯708の仮想表現を生成する際、第2の口腔内画像データセット721からのデータは使用されない。
【0060】
図3は、本発明の実施形態による、1つ又は複数の口腔内部位の複数の画像セットをロックする方法300に関するフローチャートを示す。方法300のブロック302では、処理論理は口腔内スキャンセッションを開始する。ブロック304では、処理論理は、プレパレーション歯の第1の口腔内画像のセットを受信する。ブロック306では、処理論理は、上記プレパレーション歯の固有特徴を決定する。ブロック308では、処理論理は、上記第1の口腔内画像のセットを第1のレイヤーとしてロックする。
【0061】
ブロック310では、処理論理は、プレパレーション歯に隣接する別の歯の第2の口腔内画像のセットを受信する。上記隣接する歯は、別のプレパレーション歯であってもなくてもよい。ブロック312では、処理論理は、上記隣接する歯の固有特徴を決定する。ブロック314では、処理論理は、上記第2の口腔内画像のセットを第2のレイヤーとしてロックする。
【0062】
ブロック316では、処理論理は、上記第1の口腔内画像のセットの複数の部分を選択する。この選択は、上記プレパレーション歯の上記固有特徴に少なくとも部分的に基づいて行ってよい。上記部分を選択するステップは、上記第1の口腔内画像のセット内で上記プレパレーション歯の輪郭を描画するステップ、及び上記輪郭内にある部分を選択するステップを含んでよい。ブロック318では、処理論理は、上記第2の口腔内画像のセットの複数の部分を選択する。この選択は、上記隣接する歯の上記固有特徴に少なくとも部分的に基づいて行ってよい。上記部分を選択するステップは、上記第2の口腔内画像のセット内で上記隣接する歯の輪郭を描画するステップ、及び上記輪郭内にある部分を選択するステップを含んでよい。
【0063】
ブロック320では、処理論理は、上記プレパレーション歯、上記隣接する歯及び周囲の組織を含む、口腔内部位の仮想3Dモデルを生成する。
【0064】
再び
図7A〜7Bを参照すると、口腔内画像データセット713は、方法300における、上記プレパレーション歯の上記第1の口腔内画像のセットに対応してよい。同様に、口腔内画像データセット721は、方法300における、上記隣接する歯の上記第2の口腔内画像のセットに対応してよい。従って、口腔内画像データセット713の、隣接する歯706を描画する部分は、上記3Dモデル内で上記隣接する歯を再生成するために使用されず、口腔内画像データセット721の、プレパレーション歯708を描画する部分は、上記3Dモデル内で上記プレパレーション歯を再生成するために使用されない。
【0065】
図4は、本発明の実施形態による、1つ又は複数の口腔内部位の複数の画像セットを1つにスティッチする方法400に関するフローチャートを示す。処理論理は、(例えばプレパレーション歯に焦点を合わせた)第1の口腔内画像のセットと、(例えば隣接する歯又は歯列弓の全体若しくは一部に焦点を合わせた)第2の口腔内画像のセットとを受信してよい。方法400のブロック405では、処理論理は、上記第1の口腔内画像のセットと上記第2の口腔内画像のセットとの間の重複するデータの1つ又は複数の相違を識別する。例えば、上記第1の口腔内画像のセット及び上記第2の口腔内画像のセットはそれぞれ、上記プレパレーション歯と上記隣接する歯との間の歯肉を図示してよい。しかしながら、これらの口腔内画像データセットにおける上記歯肉の図示は、完璧に構成されていない場合がある。例えば、血液及び/又は唾液が、上記第1の口腔内画像データセットの生成と上記第2の口腔内画像データセットの生成との間に、上記歯肉上に蓄積している場合があり、又は上記歯肉の位置が、これら2つの口腔内画像データセットにおいて僅かに異なる場合がある。上記プレパレーション歯及び上記隣接する歯の両方を含む3Dモデルを生成するために、これら2つの口腔内画像データセットからのデータをマージし、これらのデータにおける対立を矯正する必要がある。
【0066】
ブロック410では、処理論理は、上記第1の画像のセット及び上記第2の画像のセットのプロパティの指標を受信する。例えば、上記第1の画像のセットは、より高い品質を有すること、又はより重要であることが分かっている場合があり、従ってより高い優先度を上記第1の画像のセットに割り当ててよい。ブロック415では、処理論理は、受信した優先度の指標を用いて、上記画像データセットに優先権を与える。ブロック420では、処理論理は、上記第1の画像のセットと上記第2の画像のセットとの間の重複するデータの重み付け平均を適用して、上記重複するデータをマージする。上記画像データセットに適用される重みは、それらの優先度に基づくものであってよい。例えば、より高い優先度を割り当てられた上記第1の画像データセットには、70%の重みを割り当ててよく、上記第2の口腔内画像のセットには30%の重みを割り当ててよい。これにより、上記データを平均すると、マージした結果は、上記第1の画像データセットからの描画に比較的近く、かつ上記第2の画像データセットからの描画から比較的離れたものに見える。
【0067】
一実施形態では、処理論理は、上記3Dモデルの異なる複数のバージョンをレンダリングしてよく、各バージョンは、上記口腔内画像データセットの異なる優先権付与及び/又は異なる重み付けを示す。ユーザは、これらの異なるレンダリングを目視で観察し、どのレンダリングが最も正確に見えるかを選択してよい。次に処理論理は、これに従って上記画像データセットに優先権を与えた後、ユーザの選択に関連する適切な重み付け平均を適用して、上記3Dモデルを生成してよい。
【0068】
図5は、本発明の実施形態による、ある口腔内画像データセットにおける、及び/又はこのような口腔内画像データセットから生成された仮想3Dモデル内における、異常を補正する方法500に関するフローチャートを示す。上記口腔内画像データセットは、(例えば自動露出モードで撮影された)別個の画像のセット、又は(連続スキャニング若しくはビデオモードで撮影された)口腔内ビデオの複数のフレームであってよい。上記口腔内画像データセットは、患者の特定の歯科的部位(例えば歯)に関するものであってよく、上記口腔内画像データセットを保存するためにロック済みであってよい。
【0069】
方法500のブロック505では、処理論理は、上記ロック済みの口腔内画像のセット内の、及び/又は上記ロック済みの口腔内画像のセットから生成された3Dモデルにおける、異常を識別する。上記異常は、上記口腔内画像データセットに対して画像処理を実施し、上記口腔内画像データセットに対して基準のセットを適用することによって、識別できる。一実施形態では、処理論理は、上記口腔内画像又は3Dモデル内のいずれのボクセル又はボクセルのセットが上記1つ又は複数の基準を満たすかどうかを決定する。異なる複数の基準を用いて、異なるクラスの異常を識別してよい。一実施形態では、欠落した画像データを用いて、ボイドであり得る異常を識別する。例えば、上記口腔内画像によってキャプチャされなかった領域のボクセルを識別できる。
【0070】
ブロック510では、処理論理は、上記異常の輪郭を生成すること等によって、上記異常の境界線を決定する。一実施形態では、処理論理は、上記異常の形状を、上記異常を取り囲む幾何学的特徴に基づいて、及び/又は上記異常の幾何学的特徴(このような特徴が存在する場合には)に基づいて、補間する。例えば、上記異常がボイドである場合、上記ボイドの周囲の領域を用いて、上記ボイドの表面形状を補間してよい。次に上記異常の形状を用いて、上記輪郭を生成してよい。上記輪郭の外側の全てのデータは、ロック済みかつ変更不可能のままであってよく、上記輪郭の内側のデータは、新規の口腔内画像からのデータで置換できる。
【0071】
処理論理は、ユーザインタフェースを介して、上記異常の指標を提供してよい。上記異常の輪郭は、上記異常を周囲の像と対比するような方法で、表示できる。例えば歯を白色で示してよく、その一方で上記異常を、赤色、黒色、青色、緑色又は別の色で示してよい。更に、又は或いは、フラグ等のインジケータを、上記異常の指標として使用してよい。上記インジケータは、上記異常から離間しながら、上記異常に対するポインタを含んでよい。上記異常は、上記口腔内部位の多数の図において隠れているか又は排除されていてよい。しかしながら上記インジケータは、このような図の全て又は多くにおいて視認可能であってよい。
【0072】
図7Cを参照すると、フィニッシュライン709及び異常732を有するプレパレーション歯708を含む、口腔内画像のセット730が示されている。図示されているように、異常732は、輪郭が描画されており、(この例では楕円形である)特定の形状を有する。口腔内画像のセット730は、口腔内画像714〜718を含む。
【0073】
再び
図5を参照すると、ブロック515では、処理論理は、上記口腔内部位の追加の画像を受信する。上記追加の画像は、上記3Dモデル又は初期口腔内画像のセットの、上記異常が検出された領域に関するデータを含んでよい。ブロック520では、処理論理は、上記境界線又は輪郭内の上記オリジナルの口腔内画像のセットの上記データを、上記口腔内部位の上記追加の画像からの追加のデータで置換することに基づいて、上記仮想3Dモデルを更新する。これにより、上記異常を、上記仮想3Dモデルの残りの部分に影響を及ぼすことなく補正できる。
【0074】
図7Dを参照すると、口腔内画像のセット730と、追加の口腔内画像709からのデータとから生成された、仮想3Dモデル740が生成される。異常742の輪郭の外側のプレパレーション歯708のレンダリングは、追加の口腔内画像741からの画像データによって影響されない。しかしながら、プレパレーション歯708の、異常742の輪郭の内側の部分は、追加の口腔内画像741からのデータに基づいてレンダリングされる。
【0075】
図6は、本発明の実施形態による、不完全な歯又は他の対象が検出される口腔内部位のモデルを拡張する方法600に関するフローチャートを示す。方法600のブロック605では、処理論理は、3Dモデル内のプレパレーション歯(又は他の口腔内部位)に関するデータが不完全であることを検出する。例えば、処理論理は、上記プレパレーション歯の縁部が切除されていることを検出してよい。この決定は例えば、上記プレパレーション歯又は他の歯の予想される輪郭を、計算された3Dモデル内の上記プレパレーション歯又は他の歯の輪郭と比較することに基づいて行うことができる。上記計算された輪郭が、上記予想される輪郭と、ある閾値量を超えて異なる場合、処理論理は、上記モデルにおいて上記プレパレーション歯又は他の歯が切除されていることを決定してよい。一実施形態では、このような決定は、上記3Dモデル内の上記プレパレーション歯又は他の歯が不完全であることのユーザによる指示に応答して行われる。例えばユーザは上記3Dモデルを吟味し、歯の一部分が切除されていることを決定して、手動で拡張モードを入力することによって、切除された領域に関するデータを追加してよい。或いはこのような決定は、最初にユーザ入力を受信することなく(例えば画像処理を実施することに基づいて)、アルゴリズム的に行ってよい。
【0076】
図7Eを参照すると、口腔内画像のセット750は、口腔内画像714及び752を含む。口腔内画像のセット750は、フィニッシュライン709を有するプレパレーション歯708を描画する。しかしながら、プレパレーション歯708の縁部754は切除されている。
【0077】
ブロック610では、処理論理は、上記プレパレーション歯(又は他の歯)の追加の口腔内画像を受信する。ブロック615では、処理論理は、上記プレパレーション歯の上記縁部に関する境界線を識別してよい。一実施形態では、これは、上記境界線において上記プレパレーション歯の輪郭を生成するステップを含む。いくつかの例では、これはブロック605において既に実施されていてよい。上記縁部の形状を用いて、上記輪郭又は境界線を生成してよい。上記輪郭の内側の全てのデータは、ロック済みかつ変更不可能のままであってよい。
【0078】
ブロック620では、処理論理は、上記境界線の外側のデータを、上記追加の口腔内画像からの追加のデータで置換することに基づいて、上記モデルを更新する。処理論理は、上記プレパレーション歯の上記追加の口腔内画像のどの部分が、(例えばデータが切除された上記縁部の上記境界線の外側の)上記初期の口腔内画像のセットでは切除されていた上記プレパレーション歯の部分を描画するかを決定する。次に、上記追加の口腔内画像の、識別された部分を、上記初期の口腔内画像のセットに付与し、これを使用して上記モデル内の上記プレパレーション歯(又は他の歯)を拡張してよい。
【0079】
図7Fを参照すると、追加の口腔内画像762からのデータを用いて、
図7Eの口腔内画像のセット750から生成された、仮想3Dモデル760が示されている。プレパレーション歯708の輪郭の内側の上記プレパレーション歯708のレンダリングは、追加の口腔内画像762からの画像データによって影響されない。しかしながら、縁部754の外側の切除領域を示す、口腔内画像762の一部分を用いて、3Dモデル760内のプレパレーション歯708を拡張する。
【0080】
図8は、計算デバイス800という例示的形態である機械の模式図を示し、この計算デバイス800内では、上記機械に、本明細書において議論される方法論のうちのいずれの1つ又は複数を実施させるための、命令のセットを実行できる。代替実施形態では、上記機械は、ローカルエリアネットワーク(LAN)、イントラネット、エクストラネット又はインターネット内の他の機械に接続(例えばネットワーク接続)してよい。上記機械は、クライアント‐サーバ・ネットワーク環境内のサーバ若しくはクライアントマシンの能力内で動作してよく、又はピア・ツー・ピア(若しくは分散型)ネットワーク環境内のピアマシンとして動作してよい。上記機械は、パーソナルコンピュータ(PC)、タブレットコンピュータ、セットトップボックス(STB)、パーソナルデジタルアシスタント(PDA)、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチ若しくはブリッジ、又は、当該機械が実行する動作を指定する命令の(順次的な若しくはその他の)セットを実行できるいずれの機械であってよい。更に、単一の機械のみが図示されているものの、用語「機械(machine)」は、個々に又は連携して命令のセット(又は複数のセット)を実行することにより、本明細書において議論される方法論のうちのいずれの1つ又は複数を実施する、いずれの複数の機械(例えばコンピュータ)の集合を含むものとも解釈されるものとする。用語「機械」はまた、口腔内スキャナ及び計算デバイス(例えば
図1のスキャナ150及び計算デバイス105)を含む、集積型オールインワンデバイスも指すものとする。
【0081】
例示的な計算デバイス800としては、処理デバイス802、メインメモリ804(例えば読み出し専用メモリ(ROM)、フラッシュメモリ、同期型DRAM(SDRAM)といったダイナミックランダムアクセスメモリ(DRAM)等)、スタティックメモリ806(例えばフラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)等)、及び二次メモリ(例えばデータストレージデバイス828)が挙げられ、これらはバス808を介して互いに通信する。
【0082】
処理デバイス802は、マイクロプロセッサ、中央処理装置等といった、1つ又は複数の汎用プロセッサを表す。より詳細には、処理デバイス802は、複雑命令セット演算(CISC)マイクロプロセッサ、縮小命令セット演算(RISC)マイクロプロセッサ、超冗長命令語(VLIW)マイクロプロセッサ、他の命令セットを実装するプロセッサ、又は複数の命令セットの組み合わせを実装するマイクロプロセッサであってよい。処理デバイス802はまた、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、ネットワークプロセッサ等の、1つ又は複数の特別な目的の処理デバイスであってもよい。処理デバイス802は、本明細書において議論される操作及びステップを実施するために処理論理(命令826)を実行するよう構成される。
【0083】
計算デバイス800は更に、ネットワーク864と通信するためのネットワークインタフェースデバイス822を含んでよい。計算デバイス800はまた、ビデオ表示ユニット810(例えば液晶ディスプレイ(LCD)又は陰極線管(CRT))、英数字入力デバイス812(例えばキーボード)、カーソル制御デバイス814(例えばマウス)、及び信号生成デバイス820(例えばスピーカ)も含んでよい。
【0084】
データストレージデバイス828は、本明細書に記載の方法論又は機能のうちのいずれの1つ又は複数を具現化する1つ又は複数の命令826のセットが記憶された、機械可読記憶媒体(又はより具体的には、非一時的コンピュータ可読記憶媒体)824を含んでよい。非一時的記憶媒体は、搬送波以外の記憶媒体を指す。命令826はまた、コンピュータデバイス800によるその実行中に、全体的に又は少なくとも部分的に、メインメモリ804内及び/又は処理デバイス802内にあってよく、メインメモリ804及び処理デバイス802もまた、コンピュータ可読記憶媒体を構成する。
【0085】
コンピュータ可読記憶媒体824はまた、口腔内スキャンアプリケーション850(これは
図1の同様の名称のコンポーネントに対応し得る)の記憶に使用してもよい。コンピュータ可読記憶媒体824はまた、口腔内スキャンアプリケーション850のための方法を内包するソフトウェアライブラリを記憶してもよい。例示的実施形態では、コンピュータ可読記憶媒体824を単一の媒体として示しているが、用語「コンピュータ可読記憶媒体(computer‐readable storage medium)」は、1つ又は複数の命令のセットを記憶する、単一の媒体又は複数の媒体(例えば集中型若しくは分散型データベース、並びに/若しくは関連するキャッシュ及びサーバ)を含むと解釈されるものとする。用語「コンピュータ可読記憶媒体」はまた、機械による実行のための命令のセットを記憶又はエンコードでき、かつ上記機械に、本発明の方法論のうちのいずれの1つ又は複数を実施させる、搬送波以外のいずれの媒体を含むと解釈されるものとする。従って用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ、並びに光学及び磁気媒体を含むがこれらに限定されないと解釈されるものとする。
【0086】
以上の説明は例示を意図したものであり、限定的なものではないことを理解されたい。以上の説明を読み、理解すれば、多数の他の実施形態が明らかになるだろう。本発明の実施形態を、特定の例示的実施形態を参照して説明したが、本発明は記載されている実施形態に限定されず、添付の請求項の精神及び範囲内の修正及び変更を行って実施できることが認識されるだろう。従って、本明細書及び図面は、限定的な趣旨ではなく例示的な趣旨であるものと見做されるものとする。従って本発明の範囲は、添付の請求項と、これらの請求項によって権利を付与される均等物の全ての範囲とを参照して、決定されるものとする。