(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】3次元画像化のための方法およびシステム
(51)【国際特許分類】
A61B 1/24 20060101AFI20241202BHJP
A61C 19/04 20060101ALI20241202BHJP
A61B 1/06 20060101ALI20241202BHJP
A61B 1/00 20060101ALI20241202BHJP
A61B 1/045 20060101ALI20241202BHJP
【FI】
A61B1/24
A61C19/04 Z
A61B1/06 530
A61B1/06 610
A61B1/00 550
A61B1/045 622
(21)【出願番号】P 2021539038
(86)(22)【出願日】2020-01-22
(86)【国際出願番号】 EP2020051456
(87)【国際公開番号】W WO2020156893
(87)【国際公開日】2020-08-06
【審査請求日】2023-01-20
(32)【優先日】2019-01-30
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】515304558
【氏名又は名称】デンツプライ・シロナ・インコーポレイテッド
(73)【特許権者】
【識別番号】519410367
【氏名又は名称】シロナ・デンタル・システムズ・ゲーエムベーハー
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100219542
【氏名又は名称】大宅 郁治
(74)【代理人】
【識別番号】100153051
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】クハルチク、ロニー
(72)【発明者】
【氏名】フォス、ビョルン
【審査官】渡▲辺▼ 純也
(56)【参考文献】
【文献】特開2019-097851(JP,A)
【文献】特表2017-533000(JP,A)
【文献】特表2016-508754(JP,A)
【文献】特開2009-078133(JP,A)
【文献】特開2012-055695(JP,A)
【文献】特表2003-532485(JP,A)
【文献】特表2014-521163(JP,A)
【文献】特表2008-504049(JP,A)
【文献】特表2009-523547(JP,A)
【文献】特表2014-522249(JP,A)
【文献】米国特許出願公開第2018/0318051(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 ~ 1/32
A61C 1/00 ~ 5/00
A61C 5/40 ~ 5/68
A61C 5/90 ~ 7/36
A61C 19/00 ~ 19/10
A61G 15/14 ~ 15/18
(57)【特許請求の範囲】
【請求項1】
口内スキャンの間に収集されたスキャンデータについての視覚フィードバックを動的に提供するためのシステムを制御する方法であって、
前記視覚フィードバックは、口内スキャン部位またはその近傍に提供され、
前記システム(101)は、
少なくとも1つのプロセッサと、
前記プロセッサ(122)と通信する、少なくとも1つのプロジェクタ(10)および少なくとも1つの画像センサ(18)とを備え、
前記方法は、
口腔(52)の複数の測定表面(54、56)の複数の個々の光学3D測定値を提供するステップと、
前記複数の個々の光学3D測定値および/または蓄積された複数の光学3D測定値のうちの少なくとも1つが予め定められた記録基準を満たすかどうかを決定するステップと、
前記決定するステップに基づいて、前記個々の光学3D測定値に対応する前記口腔(52)の表面上に前記視覚フィードバックを投影するステップと、を含み、
前記視覚フィードバックが、3D測定のための投影光線に対応する第1の領域と、前記視覚フィードバックに対応する第2の領域とを含む、投影画像(48)の一部として投影され、
前記視覚フィードバックは、照明ビームの内側光線(24)から前記投影画像(48)の内側領域(44)として前記第1の領域を生成し、前記照明ビームの外側光線(22)を使用して前記投影画像(48)の外側領域(42)として前記第2の領域を生成する、前記照明ビーム(20)を使用して投影され、逆もまた同様である、方法。
【請求項2】
3D測定のための投影光線に対応する前記第1の領域と、前記視覚フィードバックに対応する前記第2の領域とが、少なくとも部分的に重複する、請求項1に記載の方法。
【請求項3】
前記内側光線と前記外側光線との間で前記照明ビームを交互にすることをさらに含む、請求項1または2に記載の方法。
【請求項4】
前記視覚フィードバックをリアルタイムで提供することをさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記口腔(52)の対応する領域が以前にスキャンされているかどうかを決定するために、前記複数の個々の光学3D測定値のそれぞれの3D座標を抽出することをさらに含む、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記複数の個々の光学3D測定値のそれぞれは、重複するエリアを形成するように、別の個々の光学3D測定値と重複する、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記予め定められた記録基準は、(i)前記重複するエリアの十分なサイズ、(ii)前記重複するエリアにおける物体表面の十分なうねり、(iii)前記重複するエリアにおける前記物体表面の十分な粗さ、(iv)前記重複するエリアにおける十分な数の特徴的ジオメトリ、(v)前記重複するエリアにおける十分な3D点密度および/または蓄積データセットに含まれない口腔の領域からなる群から選択される、請求項
6に記載の方法。
【請求項8】
前記視覚フィードバックは、成功した登録についてのフィードバック、成功していない登録についてのフィードバック、口腔のスキャンされていないエリアについてのフィードバック、ユーザワークフローについてのフィードバック、口内カメラの温度についてのフィードバック、または警告についてのフィードバックを含む、請求項1から7のいずれか一項に記載の方法。
【請求項9】
口内スキャンの間に収集されたスキャンデータについての視覚フィードバックを動的に提供するシステムであって、前記視覚フィードバックは口内スキャン部位またはその近傍に提供され、
前記システム(101)は、
請求項1から8のいずれか一項に記載の方法を実行する
ために、命令をメモリにロードし、ロードされた命令を実行するように構成された少なくとも1つのプロセッサと、
前記プロセッサ(122)と通信する、少なくとも1つのプロジェクタ(10)および少なくとも1つの画像センサ(18)とを備える、システム。
【請求項10】
前記プロジェクタが口内カメラ(32)の内部に収容される、請求項9に記載のシステム。
【請求項11】
前記プロジェクタは、前記少なくとも1つの画像センサを有する口内カメラ(32)から分離される、請求項9に記載のシステム。
【請求項12】
前記プロジェクタ(10)は、デジタル光処理プロジェクタ、発光ダイオードプロジェクタ、レーザプロジェクタ、シリコン上液晶プロジェクタ、および液晶ディスプレイプロジェクタからなる群から選択される、請求項9から11のいずれか一項に記載のシステム。
【発明の詳細な説明】
【発明の分野】
【0001】
本出願は、概して、3次元(3D)画像化のための方法およびシステムに関し、より詳細には、口内スキャンの間に収集されているデータの品質についてのリアルタイムフィードバックを動的に提供するための方法およびシステムに関し、前記リアルタイムフィードバックは、口内スキャン部位において提供される。
【発明の背景】
【0002】
修復物または歯列矯正アライナを設計することなどによって、歯の欠陥を治療するために利用可能な様々なオプションが存在する。このような治療の間に、臨床医は、患者の口腔内の3次元モデルを作成するために患者の口腔をスキャンしてもよい。高品質3Dデータの収集は、物体の3次元画像を再構築するときに重要であるかもしれない。口内スキャンの間、臨床医は、例えば、(i)データ獲得が進行中であり中断されていないことを保証するために、(ii)スキャン体または口腔の登録が成功したかどうかをチェックするために、(iii)口腔内のどの領域が既にスキャンされており、どの領域がまだスキャンされていないかをチェックするために、および/または(iv)獲得された3Dデータが臨床目的に十分であることおよび/または仮想歯の正確な再構築のために十分な個々の光学3D測定値が獲得されていることを保証するために、3Dデータ獲得のために患者の口中でカメラの向きを合わせると共にディスプレイからのスキャンプロセスを制御することによって、患者の口腔とディスプレイとの間で彼/彼女のビューを定期的に変更することができる。
【0003】
この手動プロセスの主な欠点は、冗長であり、時間がかかり、ユーザが患者の口とスクリーンとの間を前後に見るときに向きを失う可能性があることである。さらに、現在のシステムは、獲得されたデータが十分であるかどうか、またはいくつかの口内部位が再びスキャンされるべきかどうかを示さないかもしれない。さらに、単にディスプレイを見ることによって、臨床医は、訓練されていない眼によって検出され得ない再構築の不正確さを見逃すかもしれない。
【0004】
米国特許第9,838,670B2号は、「ポイントアンドクリック」カメラについて、カメラの現在位置が第1の画像の第1の位置に基づいて第2の画像を捕捉するのに十分であるかどうかを開示している。この発明は、物体の第1の3次元ビューがスキャンデバイスによって捕捉される第1の位置におけるスキャンデバイスの視野の第1の2次元画像を記憶することと、スキャンデバイスが第1の位置から第2の位置に移動されている間に第1の画像に対する第2の位置におけるスキャンデバイスの視野の第2の2次元画像のロケーションメトリックを推定することと、ロケーションメトリックに基づいてユーザにフィードバックを提供することに関する命令を生成することとを含む3次元画像化のための方法を提供し、前記フィードバックは、前記第2の位置が第2の3次元ビューを捕捉するのに十分であるかどうかを示すために提供される。
【0005】
米国特許第7,940,260B2号は、リアルタイムで成功した増分適合を試験し、以前に獲得したデータに対して新たに獲得したデータの関係に応じて様々な視覚的ユーザキューおよびプロセス修正を提供することによって、適合された3次元データセットの増分シリーズとして3次元画像を獲得することができるスキャンシステムを開示している。
【0006】
米国特許第4,837,732A号は、スキャンヘッドからのライブ画像をビデオディスプレイ上に表示することと、前記ビデオディスプレイ上の歯の画像を観察しながらスキャンヘッドを準備された歯に対して手動で向きを合せることと、その後、選択された向きにおいて前記スキャンヘッドによって生成されたデータから対応する深さ画像およびコントラスト画像を生成することと、その後、前記コントラスト画像に基づいて前記深さ画像を処理することとを含む、準備された歯およびそれらのすぐ近くの3次元形状を定義するデータの獲得を容易にする方法を開示する。
【発明の概要】
【0007】
口内スキャンの間に収集されたデータの品質についての視覚フィードバックを動的に提供するための請求項1に記載の方法および請求項11に記載のシステムによって、上記に関係付けられた既存の制限ならびに他の制限を克服することができる。画像または光パターンは、3D測定のために、および3D測定の品質についてのフィードバックをユーザに中継するために、歯のような物体上に投影されてもよい。ここでは、失敗した登録および穴/隙間(すなわち、スキャンされなかった表面領域)は、口腔中の対応するロケーションでスキャンを繰り返すようにユーザに通知することによって補正することができる。
【0008】
ここでの態様では、本発明は、口内スキャンの間に収集されたスキャンデータの品質および/または他の予め定められた特性についての視覚フィードバックを動的に提供する方法を提供し、前記視覚フィードバックが口内スキャン部位またはその近傍で提供され、方法は、口腔の表面の複数の個々の光学3D測定値を提供するステップと、複数の個々の光学3D測定値ならびに蓄積された複数の3D測定値のそれぞれが予め定められた記録基準を満たすかどうかを決定するステップと、決定するステップに基づいて、個々の光学3D測定値に対応する口腔の表面上に成功した登録のフィードバックおよび/または成功していない登録のフィードバックを含む前記視覚フィードバックを投影するステップとを含む。
【0009】
本発明の別の態様にしたがって、方法は、以下の1つ以上の組み合わせを含んで提供される:(i)前記成功した登録のフィードバックおよび/または成功していない登録のフィードバックは、3D測定のための投影光線に対応する第1の領域と、成功した登録のフィードバックおよび/または成功していない登録のフィードバックに対応する第2の領域とを含む投影画像の一部として投影される、(ii)前記視覚フィードバックをリアルタイムで提供することをさらに含む、(iii)光学3D測定値が以前にスキャンされているかどうかを決定するために、複数の個々の光学3D測定値のそれぞれの3D座標を抽出することをさらに含む、(iv)複数の個々の光学3D測定値のそれぞれは、重複するエリアを形成するように、別の個々の光学3D測定値と重複する、(v)予め定められた記録基準は、(a)重複するエリアの十分なサイズ、(b)重複するエリアにおける物体表面の十分なうねり、(c)重複するエリアにおける物体表面の十分な粗さ、(d)重複するエリアにおける十分な数の特徴的ジオメトリ、(e)重複するエリアにおける十分な画像品質/解像度、および/または(f)蓄積データセット中に含まれない口腔の領域からなる群から選択される。
【0010】
本発明の別の態様では、口内スキャンの間に収集されたデータの品質についての視覚フィードバックを動的に提供するシステムであって、口内スキャン部位またはその近傍で提供される前記視覚フィードバックが提供され、システムは、口腔の複数の測定面の複数の個々の光学3D測定値を提供し、複数の個々の光学3D測定値のそれぞれが予め定められた記録基準を満たすかどうかを決定し、決定ステップに基づいて、個々の光学3D測定値に対応する口腔の表面上に、成功した登録のフィードバックおよび/または成功していない登録のフィードバックを含む前記視覚フィードバックを投影するように構成された少なくとも1つのプロセッサを備える。
【0011】
本発明の別の態様にしたがうと、以下の1つ以上の組み合わせを含むシステムが提供される:(i)プロセッサは、3D測定のための投影光線に対応する第1の領域と、成功した登録のフィードバックおよび/または成功していない登録のフィードバックに対応する第2の領域とを含む投影画像の一部として、前記成功した登録のフィードバックおよび/または成功していない登録のフィードバック投影するようにさらに構成される、(ii)プロセッサは、前記視覚フィードバックをリアルタイムで提供するようにさらに構成される、(iii)プロセッサは、光学3D測定値が以前にスキャンされているかどうかを決定するために、複数の個々の光学3D測定値のそれぞれの3D座標を抽出するようにさらに構成される、(iv)プロセッサと通信する少なくとも1つのプロジェクタおよび少なくとも1つの画像センサをさらに備える、(v)プロジェクタが口内カメラの内部に収容される、(vi)プロジェクタは、口内カメラから分離される、(vii)プロジェクタは、デジタル光処理プロジェクタ、発光ダイオードプロジェクタ、レーザプロジェクタ、シリコン上液晶プロジェクタ、および液晶ディスプレイプロジェクタからなる群から選択される。
【0012】
さらなる特徴および利点、ならびにここにおける様々な実施形態の構造および動作が、添付の図面を参照して以下で詳細に説明される。
【0013】
例示的な実施形態は、ここにおいて以下に与えられる詳細な説明および添付の図面からより完全に理解されるようになるであろう。
【図面の簡単な説明】
【0014】
【
図1】
図1は、本発明の実施形態にしたがうシステムを図示するブロックダイヤグラムである。
【
図2】
図2は、本発明の例示的な実施形態にしたがう内側光線および外側光線を図示するダイヤグラムである。
【
図3】
図3は、本発明の例示的な実施形態にしたがう測定体積を図示するダイヤグラムである。
【
図4】
図4は、本発明の例示的な実施形態にしたがうカメラによる投影を示す斜視図である。
【
図5】
図5は、本発明例示的な実施形態にしたがう投影画像を図示する上面図である。
【
図6】
図6は、本発明の例示的な実施形態にしたがう方法を示すフローチャートである。
【
図7】
図7は、本発明の実例的な実施形態にしたがうコンピュータシステムを示すブロックダイヤグラムである。
【発明の詳細な説明】
【0015】
ここに記載される例示的な態様にしたがうと、口内スキャンの間に収集されているデータの品質についてのフィードバック、並びに口腔のどのエリアが既に獲得されているかについてのフィードバックを動的に提供するための方法およびシステムであって、前記フィードバックは、口内スキャン部位またはその近傍に提供される。しかしながら、ここに開示される発明概念は、このような用途に限定されなくてもよく、様々な画像化用途において有用に用いられてもよいことが理解されてもよい。例えば、ここに記載されるシステムおよび方法は、非口内用途、非歯科用途、または画像化がリアルタイムフィードバックによって向上されてもよい、または3次元における物体表面の生成が、ユーザの自由制御下でスキャンデバイスを用いて物体に対して任意の向きで捕捉されたいくつかの3Dビューのスティッチングに基づいてもよい、他の用途において有用に用いられてもよい。当業者に明らかであるようなすべてのこのようなバリエーションおよび代替実施形態は、本発明の範囲内に入ることが意図される。
【0016】
本発明は、歯のような物体上に投影された画像または光パターンによって口内スキャンの間にフィードバックを提供するための方法およびシステムを提供することができる。したがって、本発明は、表示/監視スクリーンを必要としないかもしれない口内スキャンを可能にすることができ、失敗した登録隙間/穴は、口腔中の対応するロケーションでスキャンを繰り返すようにユーザに通知することによって補正することができる。
【0017】
歯科ソリューションをモデル化し視覚化するためのシステム
図1は、光源12を有する少なくとも1つのプロジェクタ10と、少なくとも1つの画像センサ18(例えば、3D画像センサ)と、少なくとも1つのコンピュータプロセッサ122(
図7)を有するコンピュータシステム100とを備える光誘導システム101のブロックダイヤグラムを図示している。プロジェクタ10および画像センサ18は、コンピュータシステム100と通信することができる。プロジェクタ10は、口内カメラ32のようなカメラ内に収容されたプロジェクタであってもよい。あるいは、プロジェクタ10は、口内カメラ32の外側にあるデジタル光プロジェクタのような別個のプロジェクタであってもよい。プロジェクタ10は、表示されるべき画像に基づいて光源12をフィルタリングする原理で動作することができる。次いで、レンズ(図示せず)を使用して、画像を表示することができる表面に画像を転写することができる。デジタルマイクロミラーデバイス(DMD)テクノロジーに基づいてもよいデジタル光処理(DLP)プロジェクタを含む異なる種類のプロジェクタが使用されてもよく、微小ミラーのアレイは、投影面上に明るいまたは暗い画素を生成するために、プロジェクタ10中の光源12に向かって、またはそこから離れて、傾斜するように構成されてもよい。他の種類のプロジェクタは、発光ダイオード(LED)プロジェクタ、レーザプロジェクタ、シリコン上液晶(LCoS)プロジェクタ、および液晶ディスプレイ(LCD)プロジェクタを含んでいてもよい。1つ以上のプロジェクタ10は、1つ以上の投影画像48(
図5)を歯表面28(
図4)のような表面上に投影するために使用されてもよく、ここでの少なくとも1つの例示的実施形態にしたがって構築および動作されてもよい。プロジェクタは、3D測定フィールドおよび測定フィールドの外側の表面を照明することができる。ここで、既に獲得/スキャンされた表面についての情報、まだ獲得されていない表面、ならびに他の3D測定情報(スキャンボディ登録など)は、測定フィールドの外側の表面上に投影されたパターンまたは色を使用することによって視覚的に重ね合わされてもよい。このようにして、ユーザは、患者の口中を見ながらスキャンプロセスを制御することができる。前記投影は動的であってもよく、プロジェクタ10からの照明ビーム20は、好ましくは予め定められた時間間隔で前記1つ以上の投影画像48を生成するように制御されてもよく、照明ビーム20の少なくとも一部は、3D測定のための監視ビーム50に反射されてもよい。
【0018】
図4に示されるように、各投影画像48は、3D測定のための投影光線に対応する第1/内側領域44および/またはユーザに視覚フィードバックを提供するための投影光線に対応する第2/外側領域42を含んでもよく、逆もまた同様である。内側領域44および/または外側領域42の形状は、例えば、正方形、長方形、円形など、予め定められてもよい。
図2に示される本発明の例示的な実施形態では、口内カメラ32は、別個のプロジェクタ10aと電気的に対にされてもよく、プロジェクタ10aは、ユーザフィードバックのために歯表面28上に投影画像48の少なくとも一部を投影する。口内カメラ32自体は、3D測定のために投影画像48の少なくとも別の部分を投影するためのプロジェクタ10を有することもできる。前記ペアリングは、コンピュータプロセッサ122のような共通コントローラを使用して、プロジェクタ10aおよび口内カメラ32からの照明ビーム20による歯表面28の照明と、反射監視ビーム50の記録とを同時に制御することによって達成することができる。
【0019】
図3に示されるような本発明の別の例示的な実施形態では、口内カメラ32のプロジェクタ10bは、3D測定およびユーザフィードバックの両方のために歯表面28上に投影画像48を投影するように構成されてもよい。ここで、照明ビーム20の内側光線24は、3D測定のために投影画像48の内側領域44を生成するように構成されてもよく、および/または照明ビーム20の外側光線22は、ユーザフィードバックのために投影画像48の外側領域42を生成するように構成されてもよく、その逆も同様である。
【0020】
したがって、口内カメラ32のプロジェクタ10bは、3D測定光線およびユーザフィードバック光線の両方を含む照明ビーム20を投影するように構成することができる。
【0021】
さらなる実施形態では、プロジェクタ10は、3D測定光線を投影することとユーザフィードバック光線を投影することとを交互に行うように構成されてもよい。
【0022】
さらなる実施形態では、口内カメラ32は、3D測定用の反射監視ビーム50が、3D測定用に構成された照明ビーム20の全てまたは実質的に全ての部分を含むように構成することができる。3D測定のために構成された照明ビーム20のさらなる部分(照明ビーム24の内側光線)は、構造化照明パターンであるように構成されてもよく、および/または照明前に変調されてもよい。様々な構造化照明パターンを使用することによって、歯表面28の3D表面プロファイルを測定することができる。さらに、予め定められた周波数で変調することによって、その周波数に対応する信号のみが、さらなる処理のために画像センサ18によって検出されてもよい。
【0023】
歯科ソリューションをモデル化し、視覚化する方法
図1の光誘導システム101を説明してきたが、口内スキャンの間に収集されているデータの品質についてのフィードバックを動的に提供する方法を、
図6に関連してさらに説明する。
【0024】
本発明は、ユーザが口内カメラヘッド30をあるロケーション(例えば、歯表面28)上で移動させることによるスキャンプロセスを通じて3Dモデルを生成および更新することを含んでいてもよい。スキャンは、ステップS100に示されるように開始してもよく、コンピュータシステム100のメモリは、スキャンが進行すると後に更新されてもよい空の体積として、口腔52の体積を記憶してもよい。ステップS200において口内カメラヘッド30を歯表面上に配置した後、口内カメラ32のプロジェクタ10は、初期デフォルト投影画像を口腔52の領域上に投影して、処理のための画像データがまだ獲得されていないことを示すことができる。
【0025】
ここでの例示的な実施形態では、プロジェクタ10は、現在の測定表面54の成功した登録を示す成功した登録のフィードバックと、現在の測定表面54の成功していない登録を示す成功していない登録のフィードバックとを提供するように構成されてもよく、例えば、3D測定のための青色の長方形または縞パターン(
図5の投影画像48の内側領域44、これは現在の測定表面54にも対応する)は、より大きな赤色の長方形(空洞の他の表面56に対応する投影画像48の外側領域42)の内側にあってもよく、赤色の長方形は、前記フィードバックが投影される口内表面の成功していない登録を示す。登録が成功すると、外側領域42中の成功した登録の対応する表面46は、前記成功した登録の対応する表面46が登録の成功したことを示す、成功した登録のフィードバック、例えば緑色の光を受信することができる。ここでの実施形態では、外側領域42は、スキャンが開始されていないことを示す初期の成功していない登録のフィードバックを受信することができる。もちろん、投影画像48の異なるコンポーネントの形状および/または色の他のインプリメンテーションが、本発明の範囲から逸脱することなく実現されてもよい。
【0026】
好ましくは、投影画像48の内側領域44を形成するように構成されてもよい、
図3に示されるような照明ビーム20の内側光線24(または
図2に示されるようなユーザフィードバックのための別個のプロジェクタ10aを有する光誘導システム101内の口内カメラ32からの光線)は、現在の測定体積26(すなわち、口内カメラヘッド30の下の体積)を通過して、測定されるべき歯表面28の少なくとも一部分上に到達してもよく、歯表面28の前記部分は、現在の測定表面54である(ステップS300)。照明ビーム20の外側光線22は、予め規定された境界58内の空洞の他の表面56上で一致することができ、その境界内で、前記他の表面56上の対応する点が以前にスキャンされたか否かについてのフィードバックをユーザに視覚的に中継することができる。スキャンの開始時に、デフォルトのフィードバックをユーザに中継して、前記他の表面56が以前にスキャンされていないことを示すことができる。
【0027】
ステップ300に示されるように、照明ビームの内側光線24は、さらなる処理のために口内カメラ32の画像センサ18に向かって現在の測定表面54から実質的に反射されてもよい。ここで、ステップS400において現在の測定表面54の3次元座標を抽出し、現在の測定表面54のすべてまたは一部が以前に登録されているか否かを決定してもよい(ステップS500)。現在の測定表面54または現在の測定表面の任意の部分が以前に獲得されていない場合、登録されていない部分の対応する新しい3Dデータ(例えばxyz座標)は、新しい3Dデータおよび/または蓄積された3Dデータが十分であるかどうかを1つ以上の予め定められた記録基準/条件にしたがって決定することによって記憶されてもよく(ステップS600)、前記予め定められた記録基準は、例えば、新しい3Dデータおよび/または蓄積された3Dデータが所望の予め定められた解像度、予め定められたノイズレベル、予め定められた3D点密度、および/または個々の光学3D測定値間の不一致を有するかどうかを含む。予め定められた記録基準が満たされる場合、ステップS800に示されるように、新しい3Dデータは、後処理のために画像スタックに記憶されてもよく、または3Dデータは、口腔のリアルタイム3D再構築を作成するために使用されてもよい。新しい3Dデータに対応する投影画像48の外側領域42は、次いで、ステップS1000において更新されて、口内カメラ32のカメラ位置が新しい測定表面に変化したときに、以前の測定表面が予め定められた記録基準にしたがって十分に記録されていることをユーザに中継することができる。ここでは、進行中の口内スキャンの進行を追跡し、必要な調整を行うためにモニタを常に見る必要性は、ユーザに対する視覚フィードバックがスキャンされている口内表面の近傍に示されてもよいので、排除されてもよいか、または実質的に排除されてもよい。
【0028】
あるいは、現在の測定表面54が以前にスキャンされている場合、次の獲得がトリガされて(ステップS700、S1200)、他の表面を記録することを継続してもよい。
【0029】
さらに、ステップS600において取得された新たなデータが予め定められた記録基準に従って不十分である場合、現在の測定表面54がスキャン/登録されていないことを示すユーザに対するデフォルトフィードバックは、変更されないままであってもよく、または現在の測定表面54がスキャンされていないことを示すように予め定められた方法で変更されてもよい。
【0030】
本発明の例示的実施形態では、ステップS600に示されるように、新しいデータが十分であるかどうかを決定することは、以下のように達成されてもよい。複数の3次元光学測定値がプロセッサ122によって受信されてもよく、前記複数の3次元光学測定値はそれぞれ、1つ以上の記録シーケンスにしたがって口内カメラ32によって生成された1つ以上の歯科物体の複数の現在の測定表面54に対応する。各光学測定値/画像は、複数の重複するエリア(図示せず)を形成するために別の光学測定値と重複してもよく、各重複するエリアは、後の光学画像および前の光学画像を含んでいてもよく、後の光学画像は、前の光学画像よりも記録シーケンスにおける後の画像化位置で生成される。ここで、各重複するエリアについて、重複するエリアが1つ以上の予め定められた記録基準を満たすか否かが決定されてもよい。予め定められた記録基準は、例えば、(i)重複するエリアの十分なサイズ、(ii)重複するエリアにおける物体表面の十分なうねり、(iii)重複するエリアにおける物体表面の十分な粗さ、(iv)重複するエリアにおける十分な数の特徴的ジオメトリ、(v)重複エリアにおける十分な画像品質/解像度、および/または(vi)蓄積データセットに含まれない口腔の領域を含むことができる。
【0031】
予め定められた記録基準が満たされる場合、後の光学3D測定値は、前の光学3D測定値を含む画像シーケンスに追加/登録されてもよく、および/またはシーケンスの対応するグローバル3D画像がリアルタイムまたは後の時間で再構築されてもよい(ステップ800)。当業者であれば、本発明の本質的な属性から逸脱することなく、他の登録ステップをここで用いることができることを理解するであろう。
【0032】
測定されている表面からのカメラヘッド30の相対位置、シーケンス中の画像の「x,y,z」座標、および/または再構築されたグローバル3D画像に基づいて、プロジェクタ10は、口腔内のどの対応する部分が十分に記録されており、どの領域が十分に記録されていないかを示すフィードバックをユーザに投影するように構成されてもよく(ステップS1000)、例えば、十分に記録された口腔の部分に緑色光が投影されてもよく、記録されていないまたはまだ十分に記録されていない口腔の部分に赤色光が投影されてもよい。これは、ステップS1100、S1300に示されるように、全ての他の表面および記録シーケンスについてリアルタイムで繰り返されてもよい。したがって、スキャンの間の登録の質を進行中のユーザに提供することができ、そのようなものとして、失敗した登録を口腔中の対応するロケーションでスキャンを繰り返すことによって補正することができるので、ユーザは、スキャン手順の進行を調べるためにモニタを常に見る必要がないかもしれない。
【0033】
別のワークフローでは、現在の測定表面54をスキャンし、対応する光学画像を獲得することができる。対応する光学画像は、3D点群、3D点群に対する口内カメラ32の位置についての情報を含んでもよい。対応する光学画像は、以前の測定からの蓄積された3Dデータセットに登録され、重複がある場合(例えば、反復最近接点(Iterative Closest Point)(ICP)アルゴリズムに従って適合する場合)、蓄積されたデータセットに追加されてもよい。蓄積されたデータセットに対する口内カメラ32についての位置情報は既知であってもよい。重複がない場合(一致しない場合)、口内カメラ32は、その位置を見失うかもしれず、新しい測定値が登録され、3Dデータセットに追加されてもよい位置に、ユーザは口内カメラ32を移動させてもよい。次いで、蓄積されたデータセットは、データ中の穴/隙間、低い点密度および/または不一致について分析されてもよい。さらに、分析は、口内カメラ32の温度が予め定められた値を超えるかどうかの決定を含むか、または決定であってもよい。分析の結果および蓄積されたデータセットに対する口内カメラ32の位置に基づいて、プロジェクタ10に対する投影画像48は、以下のように生成されてもよい。(i)蓄積されたデータセットが表されていないカメラの下の領域は、投影画像48において第1の色(例えば赤色)によって示されてもよく、(ii)穴/隙間のような領域、低密度領域、および不整合は、第2の色(例えば青色)によって投影画像48において示されてもよく、および/または(iii)有効なデータを含む領域(蓄積されたデータが表される領域)は、第3の色(例えば緑色)によって示される。ここで、口内カメラ32は、移動しており、現在の獲得が処理されると、次の獲得を直接トリガしてもよい。ここでの実施形態では、口内カメラ32は、蓄積されたデータセットに対する以前の3D測定値の相対変換から光線の投影方向を決定することができる。ここでは、口内カメラ32は、蓄積された3Dデータセットに対するその位置についての情報を有することができる。この情報に基づいて、口内カメラ32は、十分に記録されなかった領域(フィードバック投影における赤色領域)の(カメラウィンドウに対する)位置を決定し、対応する光線を前記領域に投影することができる。また、例示的な実施形態において、決定された位置情報に基づいて、スキャンワークフローについての情報が投影されてもよい。例えば、視覚フィードバックは、獲得のための口腔52の次の領域についての情報、口内カメラ32の決定された温度に基づく口内カメラの窓の曇り、前記曇りに基づいて口腔52からカメラを除去する指示などを含んでいてもよい。温度表示の後に、口内カメラ32がすぐにシャットダウンするかもしれないことを示すもののような警告が続いてもよい。さらに、曇りの表示の後に、カメラを加熱または吹き払う命令のような命令が続いてもよい。
【0034】
さらに、フィードバックを提供するための投影光線と3D測定のための投影光線とを交互に行うことができる照明を使用することによって、フィードバックを提供するための投影光線と3D測定のための投影光線との干渉を低減または排除することができる。
【0035】
当然ながら、歯科ソリューションをモデル化および視覚化するためのここで説明される方法に類似する別の方法が、提供される説明に照らして実現されてもよい。
【0036】
前述の説明を考慮すると、ここに記載の例示的な実施形態は、口内スキャンの間に収集されているデータの品質についてのフィードバックを動的に提供する方法を提供することが理解されよう。
【0037】
歯科ソリューションをモデル化および視覚化するためのコンピュータシステム
光誘導システム101および方法を説明してきたが、ここで
図7を参照すると、
図7は、ここで説明される例示的な実施形態の少なくともいくつかにしたがって用いられてもよいコンピュータシステム100のブロックダイヤグラムを示す。さまざまな実施形態がこの例示的なコンピュータシステム100に関してここで説明されてもよいが、この説明を読んだ後、他のコンピュータシステムおよび/またはアーキテクチャを使用して本開示をどのように実現するかが当業者には明らかになるかもしれない。
【0038】
ここでの実施形態では、コンピュータシステム100は、光誘導システム101の一部を形成することができる。ここでの別の実施形態では、コンピュータシステムは、光誘導システム101から分離されてもよい。様々な実施形態をこの例示的なコンピュータシステム100に関してここで説明するが、この説明を読んだ後、他のコンピュータシステムおよび/またはアーキテクチャを使用して本開示をどのように実現するかが当業者には明らかになるかもしれない。
【0039】
コンピュータシステム100は、1つ以上のプロセッサ122を含んでいてもよい。コンピュータプロセッサ122は、例えば、中央処理ユニット、多重処理ユニット、特定用途向け集積回路(「ASIC」)、フィールドプログラマブルゲートアレイ(「FPGA」)、またはこれらに類するものを含んでいてもよい。プロセッサ122は、通信インフラストラクチャ124(たとえば、通信バスまたはネットワーク)に接続されてもよい。ここでの実施形態では、プロセッサ122は、口内カメラ32の信号前処理ユニットから画像スタックまたは画像シーケンスを取得するCPUを含む。スタックは、メモリ中に一時的に記憶され、次いで、ここで論じられる方法で説明されるように、画像が予め定められた記録基準を満たすかどうかを決定するために分析されてもよい。次いで、プロセッサ122は、プロジェクタ10および/または光源12を動作させて、照明ビーム20を制御することができる。
【0040】
コンピュータシステム100は、ディスプレイインターフェース(または他の出力インターフェース)126をオプション的に含んでもよく、ディスプレイインターフェース126および/またはディスプレイユニット128は必要とされなくてもよいが、(一例示的実施形態では、
図1のディスプレイユニット128を形成してもよく、またはそれに含まれてもよい)ディスプレイユニット128上に表示するために、これは、通信インフラストラクチャ124から(またはフレームバッファ(図示せず)から)ビデオグラフィックス、テキスト、および他のデータを転送してもよい。
【0041】
コンピュータシステム100はまた、情報をコンピュータプロセッサ122に送るためにコンピュータシステム100のユーザによって使用されてもよい入力ユニット130を含んでもよい。入力ユニット130は、キーボードおよび/またはタッチスクリーンモニタのようなトラックボールまたは他の入力デバイスを含んでいてもよい。
【0042】
一例では、ディスプレイユニット128、入力ユニット130、およびコンピュータプロセッサ122は、集合的にユーザインターフェースを形成してもよい。
【0043】
3D画像およびユーザに対するフィードバックを生成するようにシステム101を制御することを生成する1つ以上のステップは、コンピュータ読取可能プログラム命令の形態で非一時的記憶デバイスに記憶されてもよい。手順を実行するために、プロセッサ122は、記憶デバイスに記憶されたような適切な命令をメモリにロードし、ロードされた命令を実行する。
【0044】
図6のコンピュータシステム100は、ランダムアクセスメモリ(「RAM」)であってもよいメインメモリ132を備えてもよく、二次メモリ134も含んでもよい。二次メモリ134は、例えば、ハードディスクドライブ136および/またはリムーバブルストレージドライブ138(例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブ、およびこれらに類するもの)を含んでいてもよい。リムーバブルストレージドライブ138は、周知の方法で取外し可能ストレージユニット140から読み取り、および/またはそれに書き込むことができる。リムーバブルストレージユニット140は、例えば、リムーバブルストレージドライブ138によって読み取り、およびそれから書き込みされてもよいフロッピー(登録商標)ディスク、磁気テープ、光ディスク、フラッシュメモリデバイス、およびこれらに類するものであってもよい。取り外し可能記憶ユニット140は、コンピュータ実行可能ソフトウェア命令および/またはデータを記憶する非一時的コンピュータ読取可能記憶媒体を含んでいてもよい。
【0045】
さらなる代替実施形態では、二次メモリ134は、コンピュータシステム100にロードされるコンピュータ実行可能プログラムまたは他の命令を記憶する他のコンピュータ読取可能媒体を含むことができる。そのようなデバイスは、リムーバブル記憶ユニット144およびインターフェース142(たとえば、プログラムカートリッジおよびカートリッジインターフェース)と、リムーバブルメモリチップ(たとえば、消去可能プログラマブルリードオンリーメモリ(「EPROM」)またはプログラマブルリードオンリーメモリ(「PROM」))および関係付けられたメモリソケットと、ソフトウェアおよびデータがリムーバブル記憶ユニット144からコンピュータシステム100の他の部分に転送されることを可能にする他のリムーバブル記憶ユニット144およびインターフェース142とを含むことができる。
【0046】
コンピュータシステム100はまた、ソフトウェアおよびデータがコンピュータシステム100と外部デバイスとの間で転送されることを可能にする通信インターフェース146を含んでいてもよい。そのようなインターフェースは、モデム、ネットワークインターフェース(たとえば、イーサネット(登録商標)カードまたはIEEE802.11無線LANインターフェース)、通信ポート(たとえば、ユニバーサルシリアルバス(「USB」)ポートまたはFireWire(登録商標)ポート)、パーソナルコンピュータメモリカード国際協会(「PCMCIA」)インターフェース、Bluetooth(登録商標)、およびこれらに類するものを含んでいてもよい。通信インターフェース146を介して転送されるソフトウェアおよびデータは、信号の形態であってもよく、これは、通信インターフェース146によって送信および/または受信されることが可能であってもよい電子信号、電磁信号、光信号または別のタイプの信号であってもよい。信号は、通信経路148(たとえば、チャネル)を介して通信インターフェース146に提供されてもよい。通信経路148は、信号を搬送することができ、ワイヤまたはケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数(「RF」)リンク、またはこれらに類するものを使用して実現されてもよい。通信インターフェース146は、コンピュータシステム100とリモートサーバまたはクラウドベースの記憶装置(図示せず)との間でソフトウェアまたはデータまたは他の情報を転送するために使用されてもよい。
【0047】
1つ以上のコンピュータプログラムまたはコンピュータ制御論理は、メインメモリ132および/または二次メモリ134に記憶されてもよい。コンピュータプログラムはまた、通信インタフェース146を介して受信されてもよい。コンピュータプログラムは、コンピュータプロセッサ122によって実行されたときに、コンピュータシステム100に説明した方法を実行させるコンピュータ実行可能命令を含んでいてもよい。したがって、コンピュータプログラムは、コンピュータシステム100および光誘導システム101の他のコンポーネントを制御することができる。
【0048】
別の実施形態では、ソフトウェアは、非一時的コンピュータ読取可能記憶媒体に記憶され、リムーバブルストレージドライブ138、ハードディスクドライブ136、および/または通信インターフェース146を使用して、コンピュータシステム100のメインメモリ132および/または二次メモリ134にロードされてもよい。制御論理(ソフトウェア)は、プロセッサ122によって実行されるとき、コンピュータシステム100に、より一般的には、いくつかの実施形態における光誘導システム101に、ここに説明される方法のすべてまたは一部を行わせてもよい。
【0049】
最後に、別の例示的な実施形態では、ASIC、FPGA、およびこれらに類するもののようなハードウェアコンポーネントを使用して、ここで説明する機能性を実行することができる。ここで説明された機能を実行するためのこのようなハードウェア構成のインプリメンテーションは、本説明を考慮すれば当業者には明らかであろう。
【0050】
そうでないと定義されていない限り、ここで使用されるすべての技術上のおよび科学上の言葉は、この発明に属する当業者のうちの1つによって一般に理解されるのと同じ意味を有する。ここに記載されるものと類似または均等の方法および材料を本開示の実施または試験において使用することができるが、適切な方法および材料は上に記載されている。ここで言及される全ての刊行物、特許出願、特許、および他の参考文献は、適用可能な法律および規制によって許容される程度まで、その全体が参考としてここに組み込まれる。本開示は、その精神または本質的属性から逸脱することなく、他の特定の形態で具現化されてもよく、したがって、本実施形態は、あらゆる点で例示的であり、限定的ではないと見なされることが望ましいかもしれない。説明内で利用される見出しはいずれも、便宜上のものにすぎず、法的または限定的な効果を有さない。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[1] 口内スキャンの間に収集されたスキャンデータについての視覚フィードバックを動的に提供するためのシステムを制御する方法であって、
前記視覚フィードバックは、口内スキャン部位またはその近傍に提供され、
前記システム(101)は、
少なくとも1つのプロセッサと、
前記プロセッサ(122)と通信する、少なくとも1つのプロジェクタ(10)および少なくとも1つの画像センサ(18)とを備え、
前記方法は、
口腔(52)の複数の測定表面(54、56)の複数の個々の光学3D測定値を提供するステップと、
前記複数の個々の光学3D測定値および/または蓄積された複数の光学3D測定値のうちの少なくとも1つが予め定められた記録基準を満たすかどうかを決定するステップと、 前記決定するステップに基づいて、前記個々の光学3D測定値に対応する前記口腔(52)の表面上に前記視覚フィードバックを投影するステップとを含む、方法。
[2] 前記視覚フィードバックが、3D測定のための投影光線に対応する第1の領域と、前記視覚フィードバックに対応する第2の領域とを含む、投影画像(48)の一部として投影される、[1]に記載の方法。
[3] 3D測定のための投影光線に対応する前記第1の領域と、前記視覚フィードバックに対応する前記第2の領域とが、少なくとも部分的に重複する、[2]に記載の方法。
[4] 前記視覚フィードバックは、照明ビームの内側光線(24)から前記投影画像(48)の内側領域(44)として前記第1の領域を生成し、前記照明ビームの外側光線(22)を使用して前記投影画像(48)の外側領域(42)として前記第2の領域を生成する、前記照明ビーム(20)を使用して投影され、逆もまた同様である、[2]または[3]に記載の方法。
[5] 前記内側光線と前記外側光線との間で前記照明ビームを交互にすることをさらに含む、[4]に記載の方法。
[6] 前記視覚フィードバックをリアルタイムで提供することをさらに含む、[1]から[5]のいずれか一項に記載の方法。
[7] 前記口腔(52)の対応する領域が以前にスキャンされているかどうかを決定するために、前記複数の個々の光学3D測定値のそれぞれの3D座標を抽出することをさらに含む、[1]から[6]のいずれか一項に記載の方法。
[8] 前記複数の個々の光学3D測定値のそれぞれは、重複するエリアを形成するように、別の個々の光学3D測定値と重複する、[1]から[7]のいずれか一項に記載の方法。
[9] 前記予め定められた記録基準は、(i)前記重複するエリアの十分なサイズ、(ii)前記重複するエリアにおける物体表面の十分なうねり、(iii)前記重複するエリアにおける前記物体表面の十分な粗さ、(iv)前記重複するエリアにおける十分な数の特徴的ジオメトリ、(v)前記重複するエリアにおける十分な3D点密度および/または蓄積データセットに含まれない口腔の領域からなる群から選択される、[1]から[8]のいずれか一項に記載の方法。
[10] 前記視覚フィードバックは、成功した登録についてのフィードバック、成功していない登録についてのフィードバック、口腔のスキャンされていないエリアについてのフィードバック、ユーザワークフローについてのフィードバック、口内カメラの温度についてのフィードバック、または警告についてのフィードバックを含む、[1]から[9]のいずれか一項に記載の方法。
[11] 口内スキャンの間に収集されたスキャンデータについての視覚フィードバックを動的に提供するシステムであって、前記視覚フィードバックは口内スキャン部位またはその近傍に提供され、
前記システム(101)は、
[1]から[10]のいずれか一項に記載の方法を実行するように構成された少なくとも1つのプロセッサと、
前記プロセッサ(122)と通信する、少なくとも1つのプロジェクタ(10)および少なくとも1つの画像センサ(18)とを備える、システム。
[12] 前記プロジェクタが口内カメラ(32)の内部に収容される、[11]に記載のシステム。
[13] 前記プロジェクタは、前記少なくとも1つの画像センサを有する口内カメラ(32)から分離される、[11]に記載のシステム。
[14] 前記プロジェクタ(10)は、デジタル光処理プロジェクタ、発光ダイオードプロジェクタ、レーザプロジェクタ、シリコン上液晶プロジェクタ、および液晶ディスプレイプロジェクタからなる群から選択される、[11]から[13]のいずれか一項に記載のシステム。