(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-04
(45)【発行日】2024-10-15
(54)【発明の名称】光学的測定方法及び光学的測定装置
(51)【国際特許分類】
G01B 11/24 20060101AFI20241007BHJP
A61C 19/04 20060101ALI20241007BHJP
G02B 21/36 20060101ALI20241007BHJP
G02B 23/24 20060101ALI20241007BHJP
【FI】
G01B11/24 K
A61C19/04
G02B21/36
G02B23/24 B
(21)【出願番号】P 2021500743
(86)(22)【出願日】2019-06-14
(86)【国際出願番号】 EP2019065650
(87)【国際公開番号】W WO2020011483
(87)【国際公開日】2020-01-16
【審査請求日】2022-06-13
【審判番号】
【審判請求日】2023-09-15
(31)【優先権主張番号】102018211371.8
(32)【優先日】2018-07-10
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】519410367
【氏名又は名称】シロナ・デンタル・システムズ・ゲーエムベーハー
(73)【特許権者】
【識別番号】515304558
【氏名又は名称】デンツプライ・シロナ・インコーポレイテッド
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】クレイン、コンラッド
(72)【発明者】
【氏名】フリッツ、ペーター
(72)【発明者】
【氏名】アンダーソン、アンダース
【合議体】
【審判長】濱野 隆
【審判官】中塚 直樹
【審判官】素川 慎司
(56)【参考文献】
【文献】特表2017-513597(JP,A)
【文献】特開2006-133051(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
A61B 1/24
(57)【特許請求の範囲】
【請求項1】
第1測定タイムインターバル(T1)中に、光学的撮像ユニット(3)が対象物(1)に相対して動かされ、
前記第1測定タイムインターバル(T1)中に、前記光学的撮像ユニット(3)によって
前記対象物(1)の3次元情報を含む画像(b
i)が撮像頻度(f
A)で順次取得され、
前記第1測定タイムインターバル(T1)中に、取得された前記
対象物(1)の3次元情報を含む画像(b
i)の少なくとも一部がそれぞれ全
体画像(b
tot)に付加され、かつ前記全
体画像(b
tot)が表示される、
前記光学的撮像ユニット(3)を用いて
前記対象物(1)の表面を3次元取得する光学的測定方法において、
前記撮像頻度(f
A)が前記第1測定タイムインターバル(T1)中に制御信号(S)によって制御され、
前記制御信号(S)は、前記第1測定タイムインターバル(T1)中に時間間隔をおいて生成され、
各制御信号(S)を生成するために、
前記対象物(1)の3次元情報を含む画像(b
i)の品質の測度数(M
i)がそれぞれ最後に取得された
前記対象物(1)の3次元情報を含む画像(b
i)について決定され、前記測度数(M
i)が前記制御信号を生成するために使用され、
前記測度数(Mi)は、全体強度及び/若しくは最大強度及び/若しくはコントラスト、並びに/又は抽出されるデータポイントの数及び/若しくは抽出されるデータポイントの品質、並びに/又は信号/雑音比、並びに/又は追加的に生成されるカラー画像のコントラストであり、
前記第1測定タイムインターバル(T1)中に取得された
前記対象物(1)の3次元情報を含む画像(b
i)の品質を
、前記対象物(1)の3次元情報を含む画像(b
i
)について決定された一つ以上の品質の測度数(M
i
)に基づいて決定することによって、前記全
体画像(b
tot)の所定の品質が保証され得、他方で、可能な限り低い前記撮像頻度(f
A)を保証可能であるように、前記撮像頻度(f
A)が調整され得
ること、
を特徴とする、光学的測定方法。
【請求項2】
前記追加的に生成されるカラー画像は、カラー画像カメラによって生成されることを特徴とする、請求項1に記載の光学的測定方法。
【請求項3】
前記第1測定タイムインターバル(T1)中に前記対象物(1)が前記光学的撮像ユニット(3)によって光強度(I)を有する照明光(5’)で照明され、前記光強度(I)は、前記第1測定タイムインターバル(T1)中に前記制御信号(S)によって制御されることを特徴とする、請求項1又は請求項2に記載の光学的測定方法。
【請求項4】
各制御信号を生成するために、追加的に少なくとも1つのセンサ(9)からの少なくとも1つのセンサ信号(10)が使用されることを特徴とする、請求項1~請求項3のいずれか1項に記載の光学的測定方法。
【請求項5】
前記第1測定タイムインターバル(T1)中に生成される制御信号(S)の間の前記時間間隔が、予め定められた頻度により予め定められることを特徴とする、請求項1~請求項4のいずれか1項に記載の光学的測定方法。
【請求項6】
各取得された
前記対象物(1)の3次元情報を含む画像(b
i)に対して1つの制御信号(S)が決定され、前記第1測定タイムインターバル(T1)中に生成される制御信号(S)の間の前記時間間隔が、前記撮像頻度(f
A)によ
り定められることを特徴とする、請求項1~請求項4のいずれか1項に記載の光学的測定方法。
【請求項7】
前記全
体画像(b
tot)へ
前記対象物(1)の3次元情報を含む画像(b
i)を付加する前に、前記付加するための記録方法が前記撮像頻度(f
A)に依存して選択されることを特徴とする、請求項1~請求項6のいずれか1項に記載の光学的測定方法。
【請求項8】
光学的撮像ユニットとコンピュータ可読記憶ユニットと計算ユニットと表示ユニットとを有する光学的測定システムにおいて、請求項1~請求項7のいずれか1項に記載の光学的測定方法を実行するように設計されていることを特徴とする、光学的測定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、第1測定タイムインターバル中に、光学的撮像ユニットが対象物に相対して動かされ、撮像ユニットによって高画像が撮像頻度で順次検出され、検出された高画像がその測定タイムインターバルのうちに全体高画像に付加され、かつ全体高画像が表示される、光学的撮像ユニットを用いて対象物の表面を3次元検出する光学的測定方法に関する。
【背景技術】
【0002】
欧州特許出願公開第2172799号明細書から、共焦点結像システムによって対象物の3次元の光学的検出を可能にする光学的測定装置が知られている。国際公開第2015/036467号から知られる光学的測定装置も同様に共焦点で、及び追加的に、対象物上に投影される可動のパターンを用いて動作する。
【0003】
測定装置の撮像領域の大きさを上回る大きさの対象物を測定するために複数の個々の撮像写真が生成され、1つの全体画像へとつなぎ合わせられる。測定装置と対象物とが相対して動かされる間、個々の撮像写真が時間的に順次生成される。個々の撮像写真をつなぎ合わせるためには、個々の撮像写真の相対する方位を決定する必要がある。このステップは記録と呼ばれる。画像データを記録するためのアルゴリズムは、例えばBeslらによる「A Method for Registration of 3-D Shapes」,IEEE Transactions on pattern analysis and machine intelligence,Vol.14,No.2,1992、又はPulliによる「Multiview Registration of Large Data Sets」,Proceedings,Second International Conference on 3D Digital Imaging and Modeling,Ottawa 1999,pp.160-168から知られている。
【0004】
投影パターン又は対象物を照明するための光の生成一般のみならず、個々のデータセットの記録及び伝送もエネルギーを必要とし、エネルギー消費によって生じる廃熱は、特に口腔内用に使用される測定装置、例えば口腔内カメラにとって望ましくない。
【0005】
熱の発生を低減する、又は不必要な熱の発生を阻止する1つの可能性は、不必要な画像データセット、すなわち全体画像のために必要とされない画像データセットの生成を回避することである。
【0006】
不必要な撮像を防ぐために、例えば撮像タイムインターバル中にフィードバックによって利用者を案内することが知られている。例えば独国特許出願公開第102014207667号明細書から、撮像中、すでに検出された対象物の領域を利用者に標準モデルで表示することが知られている。利用者は、これに対応して反応することができ、すでに十分に測定された領域をもう一度測定することはない。
【先行技術文献】
【特許文献】
【0007】
【文献】欧州特許出願公開第2172799号明細書
【文献】国際公開第2015/036467号
【文献】独国特許出願公開第2014207667号明細書
【非特許文献】
【0008】
【文献】Besl et al.,「A Method for Registration of 3-D Shapes」,IEEE Transactions on pattern analysis and machine intelligence,Vol.14,No.2,1992
【文献】Pulli,「Multiview Registration of Large Data Sets」,Proceedings,Second International Conference on 3D Digital Imaging and Modeling,Ottawa 1999,pp.160-168
【発明の概要】
【0009】
上記を背景として、本願の課題は、公知の測定装置及び測定方法を改善すること、並びに特にエネルギー消費量及び計算労力を信頼できる、かつ可能な限り利用者及び利用者の能力に依存しない仕方で低減することである。
【0010】
上記課題は、請求項1に記載の光学的測定方法及び請求項8に記載の光学的測定システムにより解決される。有利な展開形態は従属請求項に記載されている。
【0011】
本発明の主題は、光学的撮像ユニットを用いて対象物の表面を3次元検出する光学的測定方法、及び光学的測定方法を実施するように設計された、光学的撮像ユニットとコンピュータ可読記憶ユニットと計算ユニットと表示ユニットとを有する光学的測定システムである。
【0012】
第1測定タイムインターバル中に、光学的撮像ユニットが対象物に相対して動かされ、撮像ユニットによって高画像が撮像頻度で順次検出される。測定タイムインターバル中に、検出された高画像の少なくとも一部が全体高画像に付加及び表示される。
【0013】
撮像頻度は、測定タイムインターバル中に制御信号によって制御され、制御信号は、測定タイムインターバル中に時間間隔をおいて生成される。それぞれ最後に検出された高画像のための各制御信号を生成するべく、高画像の品質の測度数が少なくとも1つ決定され、かつ制御信号を生成するために使用され、測度数は、全体強度及び/若しくは最大強度及び/若しくはコントラスト、並びに/又は抽出されるデータポイントの数及び/若しくは抽出されるデータポイントの品質、並びに/又は信号/雑音比、並びに/又は、例えばカラー画像カメラによって追加的に生成されるカラー画像のコントラストである。
【0014】
当然のことながら、制御信号は例えば全体強度などの品質の各測度数にのみもとづくか、あるいはこれに代えて、制御信号は上記の品質測度数から任意に選択したもの、例えば全体強度及び最大強度などを考慮して、又は上記のすべての測度数を考慮して生成される。
【0015】
抽出されるデータポイントと呼ばれるのは、撮像ユニットによって検出され、高画像のために使用されるすべてのピクセル又は画素である。
【0016】
高画像と呼ばれるのは、ピクセルマトリックス又は画像マトリックスであり、各ピクセル又は画素は3次元情報、すなわち撮像領域におけるそれぞれの画素ごとの対象物表面の3次元位置、又は対象物表面の高さを含む。3次元情報は、例えば位相シフト三角法によって例えば画像シーケンスから抽出される。全体高画像は、測定タイムインターバル中に撮像された複数の高画像から構成され、それにより撮像ユニットの撮像領域の大きさを上回る大きさの対象物も測定することができる。
【0017】
検出された高画像、又は高画像からつなぎ合わせた全体高画像は様々に表示可能である。例えば、ボリュームデータセット内の対象物表面を三角形メッシュとして識別又は表示することが有利である。表面は、例えばW.E.Lorensen及びH.E.Clineによる「Marching Cubes:A High Resolution 3D Surface Construction Algorithm」,ACM SIGGRAPH Computer Graphics,Vol.21,No.4,pp.163-169,August 1987、に記載される方法で表示されてもよい。
【0018】
第1測定タイムインターバルと呼ばれるのは、光学的撮像ユニットのオンと光学的撮像ユニットのオフとの間の期間である。
【0019】
当然のことながら、撮像頻度は基本的に任意の値をとることができる。したがって、測定タイムインターバル中に撮像頻度がゼロである規則的なデッドタイムがあってもよい。
【0020】
エネルギー及び/又は計算労力を節約するために、撮像頻度を可能な限り少なく抑えることが有利である。その一方で、撮像領域を検出するため、及び全体高画像のある程度の品質を得るためにはある程度の撮像頻度が必要である。エネルギーを節約するために、撮像ユニットから計算ユニットへの撮像データの伝送が一時的に中止されてもよい。
【0021】
測定中に検出されたデータの品質を検知することによって、撮像頻度を迅速に、特に測定タイムインターバルのうちに現在状態に適合させること、そしてこれによって十分な品質と、可能な限り少ないエネルギー消費量及び/又は計算労力とを確保することが可能である。
【0022】
最後の高画像から抽出される、又は高画像のために決定された品質の測度数のうちの1つ又は複数をもとにして、それぞれ最後に撮像された画像の品質を判定すること、及びそれに伴い利用中に今現在撮像されている画像データの品質を評価することが可能である。
【0023】
高い全体強度、高い最大強度、高コントラスト、多数の抽出されるデータポイント、抽出されるデータポイントの高品質、高い信号/雑音比、及び追加的に生成されるカラー画像の高コントラストはそれぞれ、検出された画像データが高品質であることのしるしである。したがって、検出された画像データの品質を客観的に、かつ利用者に依存することなしに判定するために、上記の量が単独で考慮に入れられてもよいし、又は上記の量の複数若しくはすべてが考慮に入れられてもよい。このために、例えば、それぞれ検知された測度数が相応の限界値と比較される。
【0024】
検出された画像データ、すなわち個々の高画像の品質が高い場合、全体高画像を良好な品質で生成するのに少数の高画像で十分である。
【0025】
これに対して個々の高画像の品質が悪い場合、全体高画像のこの品質は、格段に多い数の高画像が生成のために使用される場合にしか達成されない。
【0026】
当然のことながら、上記の測度数の各々は、画像データの品質を判定するためにのみ用いられ、上記の測度数の複数又はすべてを考慮に入れることによって、品質をより包括的及び/又はより高い信頼性で判断することが可能である。
【0027】
本発明によれば、撮像頻度及び/又は照明強度は、検知された状態、すなわち検出された画像データの品質に適合される。
【0028】
制御信号を生成するために、例えば光学的撮像ユニットとケーブルを介して、又はケーブルなしで通信する計算ユニットが利用可能である。これに代えて、計算ユニットは、光学的撮像ユニットに組み込まれていてもよい。
【0029】
制御信号は、固定の時間間隔で、すなわち固定の頻度で生成される。これに代えて、制御信号は、例えばトリガ信号にもとづいて違う時間間隔で生成される。別の代替的実施形態では、各検出された高画像に対して1つの少なくとも時間的に関連する制御信号が生成され、それにより制御信号を生成する時間間隔が高画像の撮像頻度に合わせられる。
【0030】
撮像の現在状態に依存して撮像頻度を制御することは、データの品質が良好な場合にエネルギー消費量を少なくすることを可能にする。
【0031】
したがって、本発明による方法及び本発明による装置の利点は、低減されるエネルギー消費量であり、それにより特に撮像ユニットの加熱も低減される。それと同時に撮像写真又は全体高画像の品質が低下しないことが確保される。
【0032】
第1測定タイムインターバル中に対象物が撮像ユニットによって光強度を有する照明光で照明され、光強度が、測定タイムインターバル中に制御信号によって制御されることが有利である。撮像ユニットの現在状態に依存して光強度を制御することによって、いつでも可能な時に光強度を低減することができ、データの十分な品質が確保される。
【0033】
各制御信号を生成するために、追加的に少なくとも1つのセンサの少なくとも1つのセンサ信号が使用される。例えば、温度が温度センサによって監視されてもよい。これに代えて、又はこれに加えて、例えば運動センサによって、光学的撮像ユニットが静止位置(運動しない)にあるかどうか、撮像のために位置決めされる(静止位置から撮像される対象物へ比較的早く動く)かどうか、又は撮像頻度を相応に適合させるために対象物が測定される(ゆっくりと動く)かどうかが検知されてもよい。
【0034】
全体高画像に高画像を付加する前に、付加するための記録方法が撮像頻度に依存して選択されることが有利である。
【0035】
本発明による光学的測定システムは、光学的撮像ユニットとコンピュータ可読記憶ユニットと計算ユニットと表示ユニットとを有し、かつ上記の光学的測定方法を実施するように設計されている。
【0036】
本発明の実施例が図面に示されている。
【図面の簡単な説明】
【0037】
【
図1】本発明による撮像方法の第1実施形態の模式図を示す。
【発明を実施するための形態】
【0038】
図1において、本発明による撮像方法の第1実施形態が模式的に示されている。
【0039】
この実施例では、対象物として歯2を有する下顎1が光学的撮像ユニット3によって測定される。光学的撮像ユニット3は口腔内カメラとして形成されており、光源4と光検出器6とを備え、かつ表示手段8を有する計算ユニット7と接続されている。
【0040】
測定はタイムインターバルT1中に行われ、下顎1の歯2上、及び/又は下顎1における欠損箇所上を口腔内カメラ3が移動させられる。光源4は照明光5を提供し、光検出器6は反射光を検出する。
【0041】
反射光の検出は撮像頻度fAで行われ、時間間隔dt=1/fAでそれぞれ1つのデータセットが光検出器6によって検出されて計算ユニットに伝送される。計算ユニットは、各データセットに対してそれぞれ高画像bi、i=1...Nを算出し、これを計算ユニット7の記憶媒体に記憶する。撮像頻度fAは可変であり、それにより連続的に撮像される高画像bi、bi+1間の時間間隔dtiは必ずしも同じではない。
【0042】
生成された高画像biは、すでに測定タイムインターバルT1中に全体高画像bgesへと順次つなぎ合わせられ、全体高画像bgesは、すでにその生起中に表示手段8によって表示される。
【0043】
当然のことながら、場合によっては、生成されたすべての高画像biが全体高画像のために使用されるのではなく、個々の高画像biが例えば不十分な品質ゆえに選別される。
【0044】
まず、第1高画像b1が全体高画像bgesとして記憶及び表示される。続いて継続的に、撮像された他の高画像bi、i=2...Nが全体高画像bgesに付加され、他の各高画像の付加後に更新された形で新全体高画像bgesが表示される。全体高画像bgesに相対する高画像biの向き(Ausrichtung)は、例えば高画像biと全体高画像bgesとの、すなわちこれまでに撮像された高画像bi、特に直前に撮像された高画像bi-1とのオーバーラップ(ハッチングで示す)をもとにして検知される。
【0045】
さらに、図示された実施例では、各高画像biに対して高画像biの品質の測度数Miが少なくとも1つ決定され、検知された品質をもとにして撮像頻度fAが制御される。
【0046】
品質測度数Miは、全体強度及び/若しくは最大強度及び/若しくはコントラスト、並びに/又は抽出されるデータポイントの数及び/若しくは抽出されるデータポイントの品質、並びに/又は信号/雑音比、並びに/又は追加的に生成されるカラー画像のコントラストである。
【0047】
第1測度数Miをもとにして、撮像頻度fAを制御するための第1制御信号S=Si(Mi)が生成される。続いて、図示された実施例では光学的撮像ユニット3の一部である制御ユニット10によって、光検出器6の撮像頻度fAが制御信号Sにより制御され、すなわち場合によっては変化させられる。これに対応して、次の高画像bi+1が時間間隔dti+1=1/fAで検出され、この場合、fAは制御される撮像頻度を示す。
【0048】
これに加えて、代替的実施形態では、制御信号Sを算出するためにセンサ9(破線で示す)のセンサ信号が考慮に入れられる。例えば、口腔内カメラ3の運動が組み込まれた慣性測定システムによって追跡され、カメラ4の運動から個々の高画像biの相互の向きが推論されてもよい。
【符号の説明】
【0049】
1 対象物
2 歯
3 撮像ユニット
4 光源
5 照明光
6 光検出器
7 計算ユニット
8 表示ユニット
9 センサ
10 制御ユニット
b
tot
全体高さ画像
bi 高さ画像
fA 撮像頻度
dt 時間間隔
Mi 高さ画像biの品質の測度数
S 制御信号
T1 撮像タイムインターバル
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
[1] 第1測定タイムインターバル(T1)中に、光学的撮像ユニット(3)が対象物(1)に相対して動かされ、
前記第1測定タイムインターバル(T1)中に、前記光学的撮像ユニット(3)によって高画像(bi)が撮像頻度(f
A
)で順次検出され、
前記第1測定タイムインターバル(T1)中に、検出された前記高画像(b
i
)の少なくとも一部がそれぞれ全体高画像(b
ges
)に付加され、かつ前記全体高画像(b
ges
)が表示される、光学的撮像ユニット(3)を用いて対象物(1)の表面を3次元検出する光学的測定方法において、
前記第1測定タイムインターバル(T1)中に前記撮像頻度(f
A
)が制御信号(S)によって制御され、
前記制御信号(S)は、前記第1測定タイムインターバル(T1)中に時間間隔をおいて生成され、
それぞれ最後に検出された高画像(b
i
)のための各制御信号(S)を生成するべく、前記高画像(b
i
)の品質の測度数(M
i
)が決定され、かつ前記制御信号を生成するために使用され、
前記測度数(Mi)は、全体強度及び/若しくは最大強度及び/若しくはコントラスト、並びに/又は抽出されるデータポイントの数及び/若しくは抽出されるデータポイントの品質、並びに/又は信号/雑音比、並びに/又は追加的に生成されるカラー画像のコントラストであることを特徴とする、光学的測定方法。
[2] 前記追加的に生成されるカラー画像は、カラー画像カメラによって生成されることを特徴とする、[1]に記載の光学的測定方法。
[3] 前記第1測定タイムインターバル(T1)中に前記対象物(1)が前記光学的撮像ユニット(3)によって光強度(I)を有する照明光(5’)で照明され、前記光強度(I)は、前記測定タイムインターバル(T1)中に前記制御信号(S)によって制御されることを特徴とする、[1]又は[2]に記載の光学的測定方法。
[4] 各制御信号を生成するために、追加的に少なくとも1つのセンサ(9)によって少なくとも1つのセンサ信号(10)が使用されることを特徴とする、[1]~[3]のいずれか1項に記載の光学的測定方法。
[5] 前記第1測定タイムインターバル(T1)中の制御信号(S)の生成との間の前記時間間隔が予め定められた頻度により予め定められることを特徴とする、[1]~[4]のいずれか1項に記載の光学的測定方法。
[6] 各検出された高画像(b
i
)に対して1つの制御信号(S)が決定され、前記第1測定タイムインターバル(T1)中の制御信号(S)の生成との間の前記時間間隔が前記撮像頻度(f
A
)により予め定められることを特徴とする、[1]~[4]のいずれか1項に記載の光学的測定方法。
[7] 前記全体高画像(b
ges
)へ高画像(b
i
)を付加する前に、前記付加するための記録方法が前記撮像頻度(f
A
)に依存して選択されることを特徴とする、[1]~[6]のいずれか1項に記載の光学的測定方法。
[8] 光学的撮像ユニットとコンピュータ可読記憶ユニットと計算ユニットと表示ユニットとを有する光学的測定システムにおいて、[1]~[7]のいずれか1項に記載の光学的測定方法を実行するように設計されていることを特徴とする、光学的測定システム。