特表 2025-501873 口腔内スキャナ、口腔内スキャニングシステム、口腔内スキャン方法及びコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-24

(54)【発明の名称】口腔内スキャナ、口腔内スキャニングシステム、口腔内スキャン方法及びコンピュータプログラム製品

(51)【国際特許分類】

   G01B 11/245 20060101AFI20250117BHJP

   A61C 9/00 20060101ALI20250117BHJP

   G06T 7/593 20170101ALI20250117BHJP

   G03B 35/08 20210101ALI20250117BHJP

【ＦＩ】

G01B11/245 H

A61C9/00 Z

G06T7/593

G03B35/08

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024534120

(86)(22)【出願日】2022-12-07

(85)【翻訳文提出日】2024-06-06

(86)【国際出願番号】 EP2022084873

(87)【国際公開番号】W WO2023104929

(87)【国際公開日】2023-06-15

(31)【優先権主張番号】21212940.7

(32)【優先日】2021-12-07

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】506030918

【氏名又は名称】ソプロ エスエー

【住所又は居所原語表記】ＺＡＣ Ａｔｈ▲ｅ▼ｌｉａ ＩＶ，Ａｖｅｎｕｅ ｄｅｓＧｅｎ▲ｅ▼ｖｒｉｅｒｓ，Ｆ－１３７０５ Ｌａ Ｃｉｏｔａｔ Ｃｅｄｅｘ ＦＲＡＮＣＥ

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】ジアーニ クラウディオ

(72)【発明者】

【氏名】ピナレロ ジョルダーノ

(72)【発明者】

【氏名】バイリニ アレッサンドロ

(72)【発明者】

【氏名】ナソン フランチェスカ

(72)【発明者】

【氏名】セザラット アンナ

【テーマコード（参考）】

2F065

2H059

5L096

【Ｆターム（参考）】

2F065AA53

2F065BB05

2F065CC16

2F065FF05

2F065FF09

2F065GG04

2F065GG12

2F065JJ03

2F065JJ05

2F065JJ09

2F065JJ26

2F065LL08

2F065LL10

2H059AA08

2H059AA24

2H059AB13

2H059CA04

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096CA05

5L096CA17

5L096DA01

5L096FA66

5L096GA55

5L096HA11

5L096MA07

(57)【要約】

【課題】口腔内スキャナ、口腔内スキャニングシステム、口腔内スキャン方法及びコンピュータプログラム製品を提供すること。
【解決手段】口腔内ステレオビジョンのための口腔内スキャナ（３）が提案されている。口腔内スキャナ（３）は、ドットパターン（６）を撮像対象に投影するためのプロジェクタ（４）であって、放射光源と、前記放射光線源から放射される放射光からドットパターン（６）を生成する光学系とを有するプロジェクタ（４）と、撮像対象（２）上に投影されたパターン（６）を撮像するための少なくとも２台のカメラ（７，８）であって、前記撮像対象上で重複する視野を有するように配置されるカメラ（７，８）と、を備える。ドットパターン（６）は基板上に非周期的に配置された２次元マイクロレンズアレイによって生成される非周期的なドットパターンであり、前記マイクロレンズアレイは、放射方向についての前記撮像対象の前の最終のビーム整形光学素子である。口腔内スキャナ（３）は、口腔内スキャニングシステム及び口腔内スキャンに基づいて歯列（２）の３次元モデルを生成する方法に使用できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

構造化パターンを撮像対象に投影するためのプロジェクタであって、放射光源と、前記放射光線源から放射される放射光から前記構造化パターンを生成する光学系とを有するプロジェクタと、
前記撮像対象上に投影されたパターンを撮像するための少なくとも２台のカメラであって、前記撮像対象上で重複する視野を有するように配置されるカメラと、
を備え、
前記パターンは基板上に非周期的に配置された２次元マイクロレンズアレイによって生成される非周期的なドットパターンであり、
前記マイクロレンズアレイは、放射方向についての前記撮像対象の前の最終のビーム整形光学素子である、
口腔内スキャナ。

【請求項2】

マイクロレンズに到達するビームの光線はコリメートされていない、
請求項１に記載の口腔内スキャナ。

【請求項3】

ビームはマイクロレンズにより形成されたサブビームを含み、前記サブビームは前記マイクロレンズアレイの前記撮像対象側に収束する、
請求項１又は２に記載の口腔内スキャナ。

【請求項4】

ドットのサイズが最小となる作動距離はマイクロレンズの焦点距離よりも大きく、ここで、前記作動距離と前記焦点距離はそれぞれ、放射方向について、基板の表面における前記マイクロレンズの底面から測定される、
請求項１～３のいずれか１項に記載の口腔内スキャナ。

【請求項5】

サブビームは、放射方向に関して、前記マイクロレンズアレイの前及び／又は後に配置された少なくとも１つのミラーによって横方向に偏向される、
請求項１～４のいずれか１項に記載の口腔内スキャナ。

【請求項6】

前記ミラーは、入射光を前記カメラに向かって偏向する、
請求項５に記載の口腔内スキャナ。

【請求項7】

マイクロレンズはハニカム構造に配置され、各マイクロレンズの中心は、ランダムに選択された距離及び方向だけ、対応するハニカムセルの中心からずらされる、
請求項１～６のいずれか１項に記載の口腔内スキャナ。

【請求項8】

前記放射光源はレーザダイオードであり、前記レーザダイオードから出射されるビームの発散は、前記レーザダイオードと前記マイクロレンズアレイの間に配置された光学素子によって均一化（ホモジナイズ）される、
請求項１～７のいずれか１項に記載の口腔内スキャナ。

【請求項9】

前記カメラが同じ方向を向いている、
請求項１～８のいずれか１項に記載の口腔内スキャナ。

【請求項10】

前記マイクロレンズアレイの中心は前記カメラ間のベースラインから離れた位置に配置される、
請求項１～９のいずれか１項に記載の口腔内スキャナ。

【請求項11】

前記マイクロレンズアレイは、ビームのビーム軸に対して垂直な軸に向かって角度αだけ傾けられた、
請求項１～１０のいずれか１項に記載の口腔内スキャナ。

【請求項12】

前記角度αは、一般に、マイクロレンズの底面を形成する基板の前面に沿って見た場合、ビーム軸と前記カメラの視野の軸との間の角度βの半分より大きい、
請求項１１に記載の口腔内スキャナ。

【請求項13】

請求項１～１２のいずれか１項に記載の口腔内スキャナであって、前記カメラの各々が歯列上に投影されるパターンの一連の画像を生成する、口腔内スキャナと、
各カメラによって生成された同期した前記一連の画像を用いて生成された視差マップに基づいて前記歯列の３次元モデルを生成するための前記口腔内スキャナに接続されたデータ処理ユニットと、
を備えたアクティブステレオビジョンに基づいて歯列の３次元モデルを生成する口腔内スキャニングシステム。

【請求項14】

前記データ処理ユニットは、次の動作：
少なくとも２台のカメラを用いて一連の同期画像を取得すること、
同期された画像のペアであって、各画像が異なるカメラから撮影されたものである、画像のペアに基づいて視差マップを生成すること、
前記視差マップに基づいて深度マップを生成すること、
前記深度マップを登録すること、
撮像された歯列の表面を定める点のメッシュを生成すること、
を実行するように構成された、
請求項１３に記載の口腔内スキャニングシステム。

【請求項15】

請求項１～１２のいずれか１項に記載の口腔内スキャナから歯列の一連の画像を取得すること、
各カメラによって生成された前記一連の画像を用いて生成された視差マップに基づいて歯列の３次元モデルを生成するために、前記口腔内スキャナに接続されたデータ処理ユニットを使用すること、
を備えたアクティブステレオビジョンに基づいて歯列の３次元モデルを生成する方法。

【請求項16】

請求項１５に記載の方法を実装するためのプログラムコードを含む、
コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、口腔内スキャナであって、構造化パターンを撮像対象に投影するためのプロジェクタであって、放射光源と、前記放射光線源から放射される放射光から前記構造化パターンを生成する光学系とを有するプロジェクタと、前記撮像対象上に投影されたパターンを撮像するための少なくとも２台のカメラであって、前記撮像対象上で重複する視野を有するように配置されるカメラと、を備える口腔内スキャナに関する。

【0002】

本発明はさらに、口腔内スキャニングシステム、口腔内スキャン方法、及びコンピュータプログラム製品に関する。

【背景技術】

【0003】

特許文献１は、パターンを生成するためにマイクロレンズアレイを使用する口腔内スキャナを開示しており、当該パターンはさらなる光学系によって歯列上に結像される。当該口腔内スキャニングシステムは、三角測量によって歯列の３次元モデルを生成するように構成される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１９／２３６９３４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

既知の口腔内スキャナの欠点は、口腔内スキャナを製造するために多数の部品を組み立てなければならない複雑さである。

【0006】

この関連技術に基づいて、本発明は、少なくとも従来の口腔内スキャナと同等の精度で歯列の３次元モデルを生成できる、複雑さを軽減した口腔内スキャナ及び関連する口腔内スキャニングシステムを提供することを目的とする。本発明はさらに、対応する方法及びコンピュータプログラム製品を提供することを目的とする。

【課題を解決するための手段】

【0007】

この目的は、独立請求項に係る特徴を備えた口腔内スキャナ、口腔内スキャニングシステム、方法、及びコンピュータプログラム製品によって達成される。有利な実施形態及び改良点は、従属請求項に特定されている。

【0008】

当該口腔内スキャナにおいて、パターンは基板上に非周期的に配置された２次元マイクロレンズアレイによって生成される非周期的なドットパターンであり、このマイクロレンズアレイは、放射方向についての撮像対象の前の最終のビーム整形光学素子である。このような不規則なマイクロレンズの配列は、放射光源により放射される放射光がドットパターンの生成に全て使用されるため、口腔内の組織の表面を測定するのに特に有用である。そのため、カメラで撮影した画像において、パターンのドットが明瞭に視認できる。マイクロレンズが高密度に配列されているため、ドットパターンも非常に密になり、歯列の形状を高精度に決定することができる。マイクロレンズの横方向の広がりが小さいため、マイクロレンズアレイによって、深さ方向の高解像度が得られる。したがって、マイクロレンズアレイと撮像対象との間にさらなるビーム整形光学系は必要なく、口腔内スキャナの複雑さは従来の口腔内スキャナと比較して大幅に軽減される。

【0009】

本出願の文脈では、ミラー又は平板窓はビーム整形光学素子とはみなされないことに留意されたい。

【0010】

マイクロレンズに到達するビームの光線は一般にコリメートされていないため、ドットのサイズが最小になる作動距離はマイクロレンズの焦点距離よりも大きくなる。ここで、作動距離と焦点距離はそれぞれ、放射方向について、基板の表面におけるマイクロレンズの底面から測定される。

【0011】

サブビームは、撮像対象上のドットパターンのサイズについての要求に応じて、放射方向に関して、マイクロレンズアレイの前及び／又は後に配置された少なくとも１つのミラーによって横方向に偏向され得る。ミラーがマイクロレンズアレイの後に配置されている場合、ドットパターンは、ミラーがマイクロレンズアレイの前に配置されている場合に得られるドットパターンよりも大きくなり得るが、後者の場合、口腔内スキャナはよりコンパクトになる。

【0012】

ミラーは、ドットパターンの拡大されたサイズに応じて視野が拡大されるように、入射光をカメラに向かって偏向することもできる。

【0013】

一実施形態では、マイクロレンズはハニカム構造に配置され、各マイクロレンズの中心は、ランダムに選択された距離及び方向だけ、対応するハニカムセルの中心からずらされる。これにより、外形がほぼ円形のマイクロレンズの密度を最大化することができる。

【0014】

放射光源は一般にレーザダイオードであり、レーザダイオードから出射されるビームの発散は、レーザダイオードとマイクロレンズアレイの間に配置された光学素子によって均一化（ホモジナイズ）される。

【0015】

カメラは同じ回路基板上に容易に並べて取り付けることができるため、通常は同じ方向を向いている。カメラが同じ方向を向いている場合、深さ方向の解像度も最大になる。

【0016】

カメラの視野が十分に重なり合うように、カメラは互いに隣り合って配置され、マイクロレンズアレイの中心はカメラ間のベースラインから離れた位置、通常はカメラの下方に配置される。

【0017】

マイクロレンズアレイは、マイクロレンズと撮像対象の表面との間の距離を等しくするために、ビームのビーム軸に対して垂直な軸に向かって角度αだけ傾けることができる。

【0018】

角度αは、一般に、マイクロレンズの底面を形成する基板の前面に沿って見た場合、ビーム軸とカメラの視野の軸との間の角度βの半分より大きい。

【0019】

アクティブステレオビジョンを使用して歯列の３次元モデルを生成する口腔内スキャニングシステムは、上述のような口腔内スキャナを備え、各カメラが歯列上に投影される一連の画像パターンを生成する。口腔内スキャニングシステムは、各カメラによって生成された同期した一連の画像を用いて生成された視差マップに基づいて歯列の３次元モデルを生成するための口腔内スキャナに接続されたデータ処理ユニットをさらに備える。

【0020】

口腔内スキャニングシステムのデータ処理ユニットは、特に次の動作を実行するように構成される：
－少なくとも２台のカメラを用いて一連の同期画像を取得すること、
－同期された画像のペアであって、各画像が異なるカメラから撮影されたものである、画像のペアに基づいて視差マップを生成すること、
－視差マップに基づいて深度マップを生成すること、
－深度マップを登録すること、
－撮像された歯列の表面を定める点のメッシュを生成すること。

【0021】

アクティブステレオビジョンに基づいて歯列の３次元モデルを生成するための対応する方法は、以下の動作を含むことができる：
－上述の口腔内スキャナから歯列の一連の画像を取得すること、
－口腔内スキャナの各カメラによって生成された一連の画像を用いて生成された視差マップに基づいて歯列の３次元モデルを生成するために、口腔内スキャナに接続されたデータ処理ユニットを使用すること。

【0022】

コンピュータプログラム製品には、データ処理装置上で実行する際に当該方法を実装するためのプログラムコードが含まれている。

【0023】

本発明のさらなる利点及び特性は、本発明の例示的な実施形態が図面に基づいて詳細に説明される以下の説明で明らかにされる。

【図面の簡単な説明】

【0024】

【図1】口腔内スキャンシステムを示す図である。

【図2】図１の口腔内スキャナのいくつかの内部構成要素の斜視図である。

【図3】口腔内スキャナのプロジェクタ及びカメラの正面斜視図である。

【図4】プロジェクタのレーザダイオードによって照射される放射光ビームのビーム経路の斜視図である。

【図5】ビーム形成マイクロレンズアレイに入射する光線のビーム経路を示す図であり、ビーム経路はレーザダイオードの放射光放射領域の面内に示されている。

【図6】ビーム形成マイクロレンズアレイに入射する光線のビーム経路を示す図であり、ビーム経路はレーザダイオードの放射光放射領域の面に対して垂直な面内に示されている。

【図7】ビーム形成マイクロレンズの外形と空間配置を示す図である。

【図8】口腔内スキャナのカメラシステムの上面図である。

【図9】口腔内スキャナのプロジェクタ及びカメラシステムの側面図である。

【図10】ステレオビジョンの基本原理を示す図である。

【図11】作動距離８ｍｍでのステレオビジョンを示す図である。

【図12】作動距離１０ｍｍでのステレオビジョンを示す図である。

【図13】作動距離１２ｍｍでのステレオビジョンを示す図である。

【図14】作動距離１４ｍｍでのステレオビジョンを示す図である。

【図15】作動距離１６ｍｍでのステレオビジョンを示す図である。

【図16】作動距離１８ｍｍでのステレオビジョンを示す図である。

【図17】口腔内スキャナのデータ処理ユニットによって実行されるデータ処理の流れ図を示す。

【図18】前処理の詳細を示す図である。

【図19】コアデータ処理の詳細を示す図である。

【図20】データ処理中に実行されるモデル生成の詳細を示す図である。

【図21】口腔内スキャナによって得られた表面解像度を実証する図である。

【図22】実施形態の変形例の先端領域の斜視図である。

【図23】実施形態の更なる変形例の先端領域の斜視図である。

【発明を実施するための形態】

【0025】

図１は、歯列２の３次元モデルを生成するために使用できる口腔内スキャニングシステム１を示す。口腔内スキャニングシステム１は、長手方向軸Ｌに沿って延びる口腔内スキャナ３を備える。スキャナ３内に配置されたプロジェクタ４は放射光５を放射し、歯列２上にドットパターン６を投影する。ドットパターン６は、第１のカメラ７と第２のカメラ８によって同期して撮像される。プロジェクタ４、第１のカメラ７、及び第２のカメラ８の動作は、スキャナ３のハンドル１０内に配置され得る制御ユニット９によって制御され得る。第１のカメラ７及び第２のカメラ８によって生成されたデジタル画像は、データ処理ユニット１１に転送される。データ処理ユニット１１は、データバス１２、プロセッサ１３、およびデジタル画像および本明細書で説明するデジタル画像の処理に使用されるであろうコンピュータプログラムなどのデータを記憶する記憶手段１４を備える。データ処理装置１１には、キーボードやマウスなどの通常の入力手段１５や、ディスプレイ１６などの通常の出力手段が設けられていてもよい。

【0026】

図２は、口腔内スキャナ３のいくつかの内部構成要素の斜視図である。口腔内スキャナ３の先端には、プロジェクタ４が配置されている。プロジェクタ４には、口腔内スキャナ３の先端に向かって長手方向に放射光５を放射するレーザダイオード１７からなる放射光源が設けられる。放射光５はミラー１８によって横方向に偏向される。偏向された放射光は、マイクロレンズアレイ１９に入射する。当該マイクロレンズアレイ１は、ドットパターン６のための放射光５が通過して口腔内スキャナ３から出る窓を形作るものであってよい。

【0027】

レーザダイオード１７は、典型的には２０～１００ｍＷの出力範囲で動作し、４００～５００ｎｍの波長範囲の放射光を放射するものであってよい。波長が短いほど空間精度が向上することが知られている。レーザダイオード１７は、４５０ｎｍ±５ｎｍ又は４０５ｎｍ±５ｎｍの範囲の波長、又は好ましくは約４５０ｎｍ若しくは４０５ｎｍの波長で放射光５を放射するものであってよい。カメラ７及び８の感度を考慮すると、４５０ｎｍ±５ｎｍ、特に４５０ｎｍの波長を使用することが有利であり得る。これは、カメラ７および８がこれらの波長でより感度が高くなる傾向があり、空間精度ごとの信号対雑音比は、この波長で最大になるからである。

【0028】

プロジェクタ４には、追加の放射光を歯列２に照射するための二次放射光源をさらに設けてもよい。この二次放射光源は図１と２には示されていない。二次放射光源は、歯列２のカラー写真を撮るため、または虫歯を検出するため、特に米国特許出願公開第２００６／０２２７２１６Ａ１号に記載されているようにして虫歯を検出するために使用することができ、キセノンランプは近紫外線範囲内の放射光を放射するＬＥＤに置き換えてもよい。

【0029】

口腔内スキャナ３はさらにベースプレート２０を備え、その上に第１のカメラ７及び第２のカメラ８が取り付けられる。ベースプレートには制御ユニット９が搭載されていてもよい。ベースプレート２０には、口腔内スキャナ３をデータ処理ユニット１１に接続するためのコネクタ２１が搭載される。

【0030】

図３は、プロジェクタ４と２つのカメラ７及び８の正面斜視図である。プロジェクタ４は、レーザダイオード１７を備えている。また、プロジェクタ４には、後述するようにビーム整形光学系として用いられるロッドレンズ２２が設けられている。ミラー１８および最終マイクロレンズアレイ１９は、放射光５の経路に沿ってロッドレンズ２２の後ろに設けられる。

【0031】

図４は、レーザダイオード１７からドットパターン６が投影される撮像対象２４の表面２３までの放射光５の経路を示す。放射光５は、楕円形の断面を有する放射光ビーム２５としてレーザダイオード１７から出射する。ロッドレンズ２２は、ビーム発散が全方向についてより均一になるように、放射光ビーム２５のビーム発散を一方向に広げる。ロッドレンズ２２によって整形された放射光ビーム２５はミラー１８に入射し、ミラー１８は放射光ビーム２５をマイクロレンズアレイ１９に向かって横方向に偏向させる。

【0032】

マイクロレンズアレイ１９は、口腔内スキャナ３の長手方向軸Ｌと平行に位置決めされている。したがって、ドットパターン６は、第１のカメラ７の視野２７と第２のカメラ８の視野２８の重複領域によって画定される走査領域２６内に位置するように、スキャナ３の長手方向軸Ｌに関して横方向に投影され、走査領域２６がドットパターン６の少なくとも一部をカバーするように、視野２７および視野２８も横方向に位置決めされている。

【0033】

図４では、放射光ビーム２５がビーム軸２９に沿って進むように示されている。図５は、レーザダイオード１７の放射光放射領域３０の面におけるビーム軸２９に沿った放射光ビーム２５の断面図である。この放射光放射領域３０は、レーザダイオード１７のｐｎ接合面であってもよい。

【0034】

簡略化のため、図５ではミラー１８を省略している。

【0035】

図５から分かるように、放射光ビーム２５は、マイクロレンズアレイ１９のマイクロレンズ３２によって形成される多数のサブビーム３１を含む。マイクロレンズ３２は、レーザダイオード１７によって放射される放射光５に対して透明な基板３３上に配置される。マイクロレンズ３２は基板３３の前面３４上に形成され、前面３４は撮像対象２４に面する側の面である。マイクロレンズアレイ１９のマイクロレンズ３２は平凸レンズであり、その平坦な底面が基板３３の前面３４上に配置され、その湾曲面が撮像対象２４に面している。曲率半径は典型的には２～３ｍｍの範囲で、これは焦点距離４～６ｍｍに相当する。曲率半径は例えば２．５ｍｍであってよく、これは５ｍｍの焦点距離に相当する。マイクロレンズアレイ１９は、その総面積が２０～７０ｍｍ^２であってよい。マイクロレンズ３２の密度は、１ｃｍ^２当たり１２００個から６０００個の範囲であってよい。

【0036】

マイクロレンズ３２は、ポリメチルメタクリレート（ＰＭＭＡ）又はポリカーボネート（ＰＣ）製であってよい。なぜなら、両方とも適切な成形性を示すからである。曲率半径は、必要な焦点距離およびマイクロレンズ３２の形成に使用される材料の種類に依存する。曲率半径の範囲２～３ｍｍについても、材料に応じて変化する。

【0037】

各マイクロレンズ３２は、レーザダイオード１７の射出瞳を撮像対象２４の表面２３上で分離した領域に結像し、これにより、撮像対象２４の表面２３上にドットパターン６を生成する。ドットパターン６の投影像は、各サブビーム３１が収束してドット３６となる場所として定義される投影面３５に結像する。これは、それぞれのサブビーム３１の断面の横方向の広がりが最小となっていることを意味する。すべてのマイクロレンズ３２が同じ焦点距離を有する場合、投影面３５は一般に平面である。

【0038】

投影面３５上のドットパターン６の各ドット３６は、レーザダイオード１７の射出瞳の像である。各サブビーム３１においてマイクロレンズ３２に入射する光線は平行ではなく発散しているため、マイクロレンズ３２の焦点距離は物体距離Ｄよりも短い。ここで、物体距離Ｄは、ビーム軸２９に沿った、投影面３７の基板３３の前面３４からの距離である。。

【0039】

マイクロレンズ３２以外の唯一のビーム整形光学素子は、マイクロレンズアレイ１９とレーザダイオード１７との間に配置されたロッドレンズ２２である。放射光放射領域３０の面内では、ロッドレンズ２２はサブビーム３１を変化させずそのままにする。したがって、放射光放射領域３０の面内において、ロッドレンズ２２は平板窓としての効果のみを有する。

【0040】

本出願の文脈では、ミラーまたは平板窓はビーム整形光学素子とはみなされないことに留意されたい。したがって、実施形態の変形例では、マイクロレンズアレイ１９は、マイクロレンズアレイ１９と撮像対象２４との間に位置する出射窓によって保護され得る。実施形態の更なる変形例では、放射光ビーム２５は、放射光５の方向についてマイクロレンズアレイ１９の後ろに配置されたミラーによって横方向に偏向されてよい。このミラーは、ミラー１８とは異なる追加のミラーであってもよいし、ミラー１８を置き換えるものであってもよい。

【0041】

マイクロレンズ３２の横方向の広がりが小さいため、マイクロレンズアレイ１９の撮像対象側のサブビーム３１の形状を定めるエッジ光線３７の方向は、小さな角度で収束するものとなる。したがって、サブビーム３１の断面はビーム軸２９に沿って緩やかに変化する。その結果、ドットパターン６は大きな深さ方向の解像度を備え、これは、口腔内スキャナ３が歯列から常に所定の距離に保持されるわけではなく、投影面３５は一般に撮像対象２４の表面２３と一致しないという事実に対して有利に働く。さらに、撮像対象２４の表面２３は一般に平面を構成しない。

【0042】

マイクロレンズアレイ１９はさらに、ドットパターン６を生成するために放射光を吸収し止めるマスクが必要ないため、レーザダイオード１７によって照射された放射光５がドットパターン６の生成に全て使用されるという利点を有する。

【0043】

図６は、放射光放射領域の面に対して垂直な面内の個々のマイクロレンズ３２に関連付けられたサブビーム３１のビーム経路を示す。図５と同様に、簡略化のためにミラー１８は省略されている。

【0044】

図６から、ロッドレンズ３０は、レーザダイオード１７から放射される放射光ビーム２５の発散を増加させ、ビーム２５がマイクロレンズアレイ１９を完全に照らすことが分かる。

【0045】

上述したように、レーザダイオード１７のビーム２５は、楕円形の断面を有する。これは、レーザダイオード１７の放射光放射領域３０の面内でのビーム発散が、放射光放射領域３０の面に対して垂直な方向におけるビーム発散よりも大きいためである。ロッドレンズ２２は、放射光放射領域３０の面に対して垂直な方向におけるビーム発散を増加させ、ビーム２５の発散を均一化する。したがって、ロッドレンズ２２の長手方向軸は、レーザダイオード１７の放射光放射領域３０の面内に位置する。

【0046】

マイクロレンズ３２は必ずしも基板３３の前面３４に配置される必要はないことに留意されたい。代わりに、マイクロレンズ３２は、レーザダイオード１７に面する基板３３の反対側の後面３８に配置されてもよい。この場合、マイクロレンズ３２の焦点距離は、基板３３の表面と投影面３５に結像されるレーザダイオード１７の射出瞳との間の距離よりも短くなければならない。

【0047】

図７は、マイクロレンズアレイ１９を上から見た図である。マイクロレンズ３２は、ハニカム構造３９を形成する六角形のグリッド上に配置されており、六角形のハニカム境界４０がハニカムセル４１を画定している。

【0048】

ドットパターン６内の投影パターンのサブパターンを識別できるようにするために、マイクロレンズ３２は非周期的に配置されている。各マイクロレンズ３２の中心は、ランダムに選択された方向にランダムに選択された量だけ直線的にシフトされ、シフトの量は、選択された方向におけるハニカム中心４２からハニカム境界４０までの距離よりも小さい。シフトの量は通常、ハニカム中心４２からハニカム境界４０までの距離の１０～２０％の範囲である。シフトの方向および量は、変位矢印４３によって例示的に示されている。したがって、デジタル画像データと、検索されたドットパターン６のサブパターンとの相関関数を計算することにより、デジタル画像におけるドットパターン６のサブパターンの位置を特定することができる。検索されたサブパターンの位置が特定された後は、個々のドット３６の位置さえも決定することができる。

【0049】

マイクロレンズ３２の寸法、特にその厚さおよび曲率半径は、マイクロレンズ３２が互いに当接し、マイクロレンズ３２間に隙間が残らないように選択される。したがって、ハニカム構造３９内では、マイクロレンズアレイ１９の外面におけるマイクロレンズ３２の輪郭は、通常、基板３３の前面３４から離れている。

【0050】

マイクロレンズ３２をハニカム構造３９に配置する利点は、マイクロレンズ３２のハニカム境界４０がほぼ円形であることである。長方形の格子上に配置されたマイクロレンズを有するマイクロレンズアレイと比較して、マイクロレンズの中心から離れた位置、特に輪郭の角付近、で最も顕著となるレンズ誤差が減少する。さらに、ハニカム構造３９により、ドットパターン６におけるドット３６の密度を最大化することができる。

【0051】

図８は、カメラ７および８とそれぞれの視野２７及び２８を上から見た図である。カメラ７及び８は両方とも、視野２７および２８のそれぞれの軸４４および４５が同じ方向を向くようにベースプレート２０上に実装されてよい。両方のカメラ７および８には、ドットパターン６を含む撮像対象２４をセンサ４７上に撮像するカメラ光学系４６が設けられており、センサ４７は、一般に、撮像対象２４およびドットパターン６のデジタル画像を生成するセンサチップである。

【0052】

両方のカメラ７及び８の視野２７及び２８は、両方の視野２７および２８の長辺が、２つのカメラ７及び８のセンサ４７の中心間に延びる長さｂのベースライン４８に沿って延びる長方形の形状を有する。ベースライン４８の長さｂは、両方のカメラ７および８の視野２７および２８が重なるように選択される。両方の視野２７及び２８の重なり合う領域は走査領域２６であり、典型的には幅が９～２０ｍｍであり、高さが７．５～１６ｍｍである。

【0053】

カメラ７および８には、撮像対象２４から来てセンサ４７に入射する放射光の光路に配置された波長フィルタ４９がさらに設けられてもよい。波長フィルタ４９は、例えば、カメラ光学系４６の前に配置され得る。かかる波長フィルタは、米国特許出願公開第２００６／０２２７２１６号明細書に詳細に記載されているように、虫歯又はう蝕を検出するのに有用であり得る。

【0054】

口腔内スキャナ３は２つの別個の動作モードで動作できることに留意されたい。上述の二次放射光源がオンになり、レーザダイオード１７がオフになる第１の動作モードでは、歯列２のカラー画像を撮影することができる。この動作モードは、歯列２の虫歯またはう蝕を検出するために使用することもできる。第２の動作モードでは、歯列２の３次元モデルを生成するためにレーザダイオード１７が使用される。

【0055】

以下、３次元モデルを生成する第２の動作モードについて説明する。

【0056】

マイクロレンズアレイ１９は、カメラ７及び８とプロジェクタ４のマイクロレンズアレイ１９の側面図を示す図９に示すように、２台のカメラ７および８の下方で２台のカメラ７及び８の間に配置される。マイクロレンズアレイ１９は、投影されたドットパターン６が、作動距離ＷＤの広い範囲にわたって、カメラ７及び８の走査領域２６内に少なくとも部分的に入るように配置される。作動距離ＷＤは、カメラ７及び８のうちの１つの入射瞳と、カメラ７又は８の視野２７又は２８の軸４４又は４５に沿って測定された走査領域２６との間の距離である。マイクロレンズアレイ１９は、マイクロレンズ３２と撮像対象２４の表面２３との間の距離を均等にするために、ビーム２５のビーム軸２９に対して垂直方向の軸に向かって２０°から３０°の範囲の角度αだけ傾けられる。角度αは、一般に、マイクロレンズ３２の底面を形成する基板３３の前面３４に沿って見た場合、ビーム軸２９と視野４４および４５の軸のうちの１つとの間の角度βの半分より大きい。

【0057】

図１０は、コンピュータステレオビジョンの基本原理を示す。撮像対象２４の表面２３上の点は、位置ｘ１で第１のカメラ７のセンサ４７上に結像され、位置ｘ２で第２のカメラ８のセンサ４７上に結像される。これらの画像上の点は、両方のデジタル画像においてホモローグ点と呼ばれることもある。両方のセンサ４７の中心は、ベースラインｂだけ離れている。カメラ光学系４６によって形成される入射瞳の中心も、長さｂの距離だけ離れている。入射瞳とセンサ表面との間の距離がｆに等しい場合、ドット３６の位置と入射瞳との間の距離ｄは、中心投影の原理に基づいて次のように計算できる。

【数1】

【0058】

ｘ_１＋ｘ_２の合計がいわゆる視差である。したがって、視差はドット３６の距離ｄに反比例する。走査領域２６内で、走査領域２６内の各画像上の点の視差を示す、いわゆる視差マップを生成することができる。視差マップのグラフィック表現は通常、グレースケールでエンコードされ、グレーレベルは視差に反比例する。これは、より小さい作動距離ＷＤにおける撮像対象２４の表面２３上の点は、より大きな作動距離ＷＤにおける物体２４の表面２３上の点よりも明るく見えることを意味する。

【0059】

図１１は、作動距離８ｍｍにおけるプロジェクタ４とカメラ７及び８の間の空間的な関係を示す。上の図には、第１のカメラ７で撮影されたドットパターン６の左のデジタル画像と、第２のカメラ８で撮影された右のデジタル画像が含まれている。

【0060】

下の図は、左のデジタル画像と右のデジタル画像が重複する走査領域２６に基づいて計算された結果として得られる視差マップを示す。

【0061】

続く図１２から１６は図１１に対応する図であり、その作動距離は１０ｍｍ、１２ｍｍ、１４ｍｍ、１６ｍｍ、及び１８ｍｍである。視差マップでは、視差はより暗くなり、作動距離の増加に応じて視差の値がより小さくなることが示されている。作動距離が大きくなると視差は減少するが、十分な精度で距離を決定するにあたっては依然として十分に大きい。

【0062】

２台のカメラ７および８によって撮影されたデジタル画像は、アクティブステレオビジョン（ＡＳＶ）の原理に従って処理され、それ自体は当技術分野で周知の方法である。この方法では、構造化光が撮像対象２４上に投影され、３次元の撮像対象２４は、異なる位置に配置された少なくとも１対のカメラによって撮影されたデジタル画像の対に基づいて、重複する走査領域２６内の視差を決定することによって再構成される。

【0063】

図１７は、第１のカメラ７及び第２のカメラ８によって撮影されたデジタル画像に基づいて３次元画像を再構成する方法の主なステップを示している。この方法は、カメラ７及び８によって記録されたデジタル画像に基づいてデータ処理ユニット１１のプロセッサ１３によって実行されてよい。以降では、これらのデジタル画像はフレームとも呼ばれる。この方法は、カメラ７及び８によって生成された高密度画質のトゥルーカラーの一連のデジタル画像を取得する方法ステップである画像取り込み５０で始まる。デジタル画像またはフレームは、第１のカメラ７及び第２のカメラ８によって同期して撮影される。フレームレートは典型的には、５０～８０フレーム／秒の範囲である。

【0064】

後続の前処理ステップ６０では、フレームが前処理される。例えば、撮像された組織が自動的に分類されてよい。軟組織に関連する画像領域はフレームから削除され、さまざまな撮像対象間の余白（マージン）が自動的に検出される。これらのタスクは、ニューラルネットワークまたは他の形式の人工知能によって実行されてよい。

【0065】

コア方法７０では、スキャンされた歯列２の３次元形状に関する情報が画像から抽出される。例えば、視差マップに基づいて深度マップが生成され、口腔内スキャナ３の異なる位置に関する個々の深度マップが結合され、歯列２の表面を定めるメッシュが形成される。

【0066】

さらなるモデル生成ステップ８０において、歯列２の３次元モデルが生成される。

【0067】

視覚化ステップ９０では、構築された３次元モデルを最終的にデータ処理ユニット１１のディスプレイ１６上に視覚化することができる。

【0068】

オプションの後処理ステップ１００では、オペレータによって３次元モデルが編集され、仕上げがなされる。

【0069】

図１８は、前処理６０のさらなる詳細を示す。

【0070】

前処理はフレーム検証６１から始まる。このステップでは、フレームが口腔を示していることを確認するために、フレームが分析されて、期待される情報内容が含まれているかどうかが検証される。

【0071】

フレーム検証６１の後に、フレーム調整６２が続く。このステップでは、次の処理ステップに向けてフレームが整えられる。フレームは解像度変更（リスケール）、切抜き（クロップ）、傾き補正（デスキュー）又は平準化（イコライズ）される。

【0072】

フレーム調整６２の後、セグメンテーションステップ６３でフレーム内に撮影された組織の種類がセグメント化される。

【0073】

図１９は、この方法のコアをさらに示している。

【0074】

最初のステップとして、修正７１が実行される。修正７１は、同じ時点に第１のカメラ７と第２のカメラ８によって生成された対応するフレームに適用される。２つのフレーム内のホモローグ点が水平線上に位置するように、両方のフレームは再マッピングされる。後続の深度マップ生成７２では、２つのフレーム内のホモローグ点が照合され、それらの間の視差が視差マップに格納される。視差マップから、図１０に関連して上述したステレオビジョンの原理に従って、当該シーンの深度マップが得られる。

【0075】

新しいフレームのペアごとに、新しく生成された深度マップが、深度マップのホモローグな３次元点のマッチングに基づく登録アルゴリズムを使用して、登録７３において以前のものに追加され、グローバル点群が形成される。

【0076】

結果として得られる点群には、プログレッシブメッシング７４が適用される。プログレッシブメッシング７４により、徐々に成長する３次元シーンをディスプレイ１６上でリアルタイムに視覚化することができる。

【0077】

図２０は、後続のモデル生成８０の詳細を示している。

【0078】

外れ値の除去８１では、最終メッシュ上のノイズを低減するために、シーンの表面に属さない孤立した無関係な点が点群から除去される。

【0079】

セグメンテーションおよびクラスタの除去８２によって、表面３２に属さないクラスタを表す点のグループが認識され、最終メッシュから突き出すことを避けるために点群から除去される。

【0080】

点群内の点の数は引き続き削減される。重複の除去８２では、ユークリッド距離がゼロとなる点群内の頂点同士が統合される。

【0081】

必要に応じて、さらなるフィルタが適用される。空間フィルタ８４を適用することができ、これは元の点群と同じトポロジを維持するが、元の点のごく一部のみを含む。

【0082】

次に、フィルタリングされ数を大幅に減らされた点群は、３Ｄメッシュ再構成８５で使用され、点の位置および表面法線に基づいて、いわゆる防水メッシュ表面が得られる。

【0083】

次いで、メッシュクロッピング８６が防水メッシュ表面上で実行され、元の点群の拡がりを制限するとともに、最終的に孤立したポリゴンを除去する。

【0084】

カラーマッピング８７により、シーンのカラー画像に含まれるカラー情報をメッシュ全体のメッシュ表面に再割り当てしてよい。

【0085】

最後に、メッシュ平滑化８８を使用して、表面を正規化し、ポリゴンノイズを低減してよい。

【0086】

図２１は、本明細書に記載の口腔内スキャニングシステムを用いて実施した試験の結果を示す。口腔内スキャニングシステムは、合計１８００個のマイクロレンズ３２を有するマイクロレンズアレイ１９を使用して、１０ｍｍの作動距離で歯の表面を走査することによって、試験された。

【0087】

灰色の陰影は、再構成された３次元モデルの精度を示している。平均精度は１４μｍの範囲にある。３次元モデル全体の精度は、１３μｍの範囲の分散σを持つ分布に従って異なる値を示した。

【0088】

本明細書で説明されるシステム及び方法は、アクティブステレオビジョン（ＡＳＶ）の原理に基づいている。ただし、画像は構造化光ステレオ（ＳＬＳ）の原理に基づいて評価することもできることに注意すべきである。この方法では、本明細書で説明したように、アクティブステレオビジョンの原理に従って画像のペアの差が評価される。さらに、各カメラの画像は、基準距離における基準画像からの偏差に基づいて評価される。これらの差から深度マップが計算できる。当技術分野では、この追加的な評価方法は三角測量とも呼される。しかしながら、三角測量の１つの問題は、参照画像のキャリブレーションである。したがって、三角測量によって追加的な深度情報を取得するには、相当程度の労力が必要とされる。

【0089】

図２２は、口腔内スキャナ３の実施形態の変形例の一部を示す。図２２は、特に、ハンドル１０の先端部分２０３を示しており、先端部分２０３は、ミラー１８が省略されていることを除き、プロジェクタ４と同じ構成要素を備える変形型プロジェクタ２０４を備えている。これにより、プロジェクタ２０４は、長手方向軸Ｌに沿ってドットパターン６を投影する。先端部分２０３には、プロジェクタ２０４の周囲に配置されるとともに、カラー画像及び／又はグレースケール画像を撮影できる第１のカメラ２０７、第２のカメラ２０８、及び第３のカメラ２０９がさらに設けられる。先端部分２０３には、例えばＵＶ光で歯列２を照明するためのＬＥＤ２１０がさらに設けられてもよい。プロジェクタ２０４、第１のカメラ２０７、第２のカメラ２０８、及び第３のカメラ２０９は、上述したようなアクティブステレオビジョンを、パッシブステレオビジョン又は三角測量と同様に使用することができる。先端部分２０３には、中空のチップ２１１が設けられてもよい。チップ２１１の遠位端２１２には、ビーム２５を横方向に偏向するミラー２１８が設けられている。チップ２１１は、ハンドル１０から取り外し可能であってもよい。チップ２１１はさらにオートクレーブ可能であり、ミラー２１８の曇りを抑制するための加熱素子及び／又は適切なコーティングを備えていてもよい。

【0090】

図１～１６の実施形態よりも光路が長く、ビーム軸２９に対して垂直方向のドットパターン６の横方向の広がりが大きいため、チップ２１１によってドットパターン６のサイズを拡大することができる。プロジェクタ２０４に使用されるマイクロレンズ３２の焦点距離は、対応して、図１～１６に示される実施形態よりも長くなければならず、マイクロレンズ３２の曲率半径は大きくなければならない。図２２の実施形態は、光路長および作動距離ＷＤを５０ｍｍにまで延長可能である。

【0091】

図２３は、口腔内スキャナ３の実施形態の更なる変形例を示す。図２３には、ハンドル１０の先端部分２０３が再度示されている。先端部分２０３は、ハンドル１０の先端部分２０３から取り外すことができるスリーブ状のチップ２１９によって覆われている。図２２に示される実施形態と比較して、図２３の実施形態は、より短い光路および２０ｍｍを超える作動距離ＷＤを可能にする。

【0092】

歯列２のカラー画像を生成するために、レーザダイオード１７および二次放射光源を交互に作動させてもよく、対応する画像をカメラ７及び８によって撮影してもよい。次に、二次放射光源による照明の下で撮影された画像は、歯列２の表面が着色された三次元モデルを生成するためのカラーマッピング８７に使用され得る。

【0093】

データ処理ユニット１１は、少なくとも１つの物理プロセッサまたは論理プロセッサ１３を有するコンピュータであり得る。データ処理ユニット１１は、複数の物理コンピュータ上に実装することもできるし、ディスプレイ１６を含む統合デバイスとすることもできる。

【0094】

コードがデータ処理ユニット１１又は何らかの他の装置内のプロセッサによって実行される場合、本方法は、本明細書に記載の方法を実装するためのコードを含むコンピュータプログラム製品によって実装できることにも留意されたい。実施形態によっては、コンピュータプログラム製品は、ディスク、コンパクトディスク、又はデジタル多用途ディスク（ＤＶＤ）などのコンピュータ可読データ記憶媒体に格納されたコードであってもよい。他の実施形態では、コンピュータプログラム製品は、サーバ又はサーバアレイ上のデータ記憶ユニットに記憶されたコードであってもよい。かかるデータ記憶ユニットは、ハードディスクまたはハードディスクアレイなどであってもよい。さらなる実施形態では、データキャリアは、サーバからコードを転送するために使用できる電気搬送信号であってもよく、プログラムコードをクライアントにダウンロードするために使用できる。

【0095】

本明細書の記載および特許請求の範囲を通じ、文脈上特に必要がない限り、単数形は複数形を包含する。特に、不定冠詞が使用される場合、文脈上特に必要がない限り、明細書は単数だけでなく複数も考慮しているものとして理解されるべきである。

【0096】

本発明の特定の側面、実施形態、又は実施例に関連して説明される構成、整数、構造、化合物又は基は、矛盾のない限り、本明細書に記載される任意の他の側面、実施形態、又は実施例に適用可能であると理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【国際調査報告】