(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-29
(54)【発明の名称】スキャナー及びスキャン方法
(51)【国際特許分類】
A61C 19/04 20060101AFI20241022BHJP
G01B 11/00 20060101ALI20241022BHJP
G06T 17/00 20060101ALI20241022BHJP
【FI】
A61C19/04 Z
G01B11/00 H
G06T17/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024519007
(86)(22)【出願日】2022-09-20
(85)【翻訳文提出日】2024-04-16
(86)【国際出願番号】 CN2022119956
(87)【国際公開番号】W WO2023051323
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】202111144855.8
(32)【優先日】2021-09-28
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518283252
【氏名又は名称】先臨三維科技股▲ふん▼有限公司
【氏名又は名称原語表記】SHINING 3D TECH CO., LTD.
【住所又は居所原語表記】No.1398 Xiangbin Road,Wenyan Street,Xiaoshan District,Hangzhou,Zhejiang 311258 (CN)
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】陳 暁軍
(72)【発明者】
【氏名】趙 暁波
(72)【発明者】
【氏名】江 騰飛
(72)【発明者】
【氏名】銭 偉
(72)【発明者】
【氏名】傅 暁鵬
【テーマコード(参考)】
2F065
4C052
【Fターム(参考)】
2F065AA53
2F065CC16
2F065FF04
2F065GG04
2F065GG07
2F065GG13
2F065GG23
2F065HH07
2F065JJ05
2F065JJ19
2F065JJ26
2F065LL04
2F065LL22
2F065QQ24
2F065SS02
4C052AA01
4C052NN02
4C052NN15
(57)【要約】
本開示はスキャナー及びスキャン方法に関し、該スキャナーは、投影光学系、第1収集光学系、第2収集光学系、及びデータ処理システムを含み、投影光学系は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射することに用いられ、第1収集光学系は、赤外光に基づき、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集することに用いられ、第2収集光学系は、可視光に基づき、カラーテクスチャ画像である第2画像を収集することに用いられ、データ処理システムは、第1画像及び第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得することに用いられる。これにより、新たなスキャナー及びスキャン方法を提供し、ストライプパターンを有する赤外光に基づき、顔情報及び歯情報を含む第1画像を収集し、それをもとに、第2画像を直接利用して第1画像に色を付けることができ、カラースキャンを実現することができる。
【特許請求の範囲】
【請求項1】
スキャナーであって、投影光学系、第1収集光学系、第2収集光学系、及びデータ処理システムを含み、
前記投影光学系は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射するように構成され、
前記第1収集光学系は、前記赤外光に基づき、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集するように構成され、
前記第2収集光学系は、前記可視光に基づき、カラーテクスチャ画像である第2画像を収集するように構成され、
前記データ処理システムは、前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを得るように構成される、スキャナー。
【請求項2】
前記投影光学系は、三次元再構成投影光学系及びテクスチャ光源投影光学系を含み、
前記スキャナーは制御システムを更に含み、前記制御システムは、前記三次元再構成投影光学系と前記テクスチャ光源投影光学系を同期してトリガーし、前記投影光学系に前記可視光と前記赤外光とを目標領域に同期して投射させるように構成され、
前記三次元再構成投影光学系は、前記赤外光を目標領域に投射するように構成され、前記テクスチャ光源投影光学系は、前記可視光を目標領域に投射するように構成される、請求項1に記載のスキャナー。
【請求項3】
前記第1収集光学系は白黒カメラ及び第1フィルタリングコンポーネントを含み、前記第1フィルタリングコンポーネントは、予め設定された波長帯域の光線をフィルタリングして赤外光のみを前記白黒カメラに入らせるように構成され、
及び/又は
前記第2収集光学系はカラーカメラ及び第2フィルタリングコンポーネントを含み、前記第2フィルタリングコンポーネントは赤外光を遮断し可視光を前記カラーカメラに入らせるように構成される、請求項2に記載のスキャナー。
【請求項4】
支持板及び支持板の両側に設置される支持柱を更に含み、
前記三次元再構成投影光学系、前記第1収集光学系及び前記第2収集光学系は全て支持板に固定され、前記テクスチャ光源投影光学系は前記支持柱に固定される、請求項2に記載のスキャナー。
【請求項5】
放熱システムを更に含み、
前記放熱システムは少なくとも前記三次元再構成投影光学系を放熱するように構成される、請求項2に記載のスキャナー。
【請求項6】
前記テクスチャ光源投影光学系はLEDアレイ及び拡散板を含み、
前記拡散板は前記LEDアレイの光出射側に設置され、前記拡散板は、前記LEDアレイから発した光線を拡散し、前記目標領域に投射するように構成される、請求項2に記載のスキャナー。
【請求項7】
前記三次元再構成投影光学系は、赤外線レーザー、ストライプパターンを有する透過板、及び結像レンズを含み、前記赤外線レーザーから発した光は前記透過板を透過した後に、前記結像レンズを介してストライプパターンを有する赤外光を目標領域に投射し、
又は、前記三次元再構成投影光学系はデジタル光処理プロジェクターを含む、請求項2に記載のスキャナー。
【請求項8】
前記ストライプパターンは、明暗が互い違いになった複数のストライプを含み、
ストライプデューティサイクルの値の範囲は10%~50%である、請求項1~7のいずれか1項に記載のスキャナー。
【請求項9】
スキャン方法であって、請求項1~8のいずれか1項に記載のスキャナーに実行され、前記スキャン方法は、
前記投影光学系が、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射するステップと、
前記第1収集光学系が、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集するステップと、
前記第2収集光学系が、カラーテクスチャ画像である第2画像を収集するステップと、
前記データ処理システムが、前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得するステップと、を含む、ことを特徴とするスキャン方法。
【請求項10】
前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得する前記ステップは、
前記第1画像に基づき、ストライプシーケンスを決定し、且つスプライシングして融合し前記測定対象物のカラー三次元データを構築するステップと、
前記第2画像に基づき、前記測定対象物に対するカラーテクスチャ付きのテクスチャマップを決定するステップと、
前記テクスチャマップを前記三次元データにマッピングし、前記測定対象物のカラー三次元モデルデータを決定するステップと、を含む、請求項9に記載のスキャン方法。
【発明の詳細な説明】
【技術分野】
【0001】
<関連出願の相互参照>
本開示は、2021年9月28日に中国特許庁に提出された、出願番号が202111144855.8であり、発明の名称が「スキャナー及びスキャン方法」である中国特許出願の優先権を主張しており、その全内容は援用により本開示に組み込まれている。
【0002】
本開示はスキャンの技術分野に関し、例えば、スキャナー及びスキャン方法である。
【背景技術】
【0003】
デジタルスマイルデザイン(Digital Smile Design、DSD)は、歯科美学を口腔治療に統合する歯美化技術であり、口腔スキャンデータ及び顔データを組み合わせるプロセスを含む。
【0004】
DSDに用いられるスキャン方式は3D方式であってもよく、口腔スキャンデータと顔のスキャンによって取得された顔データとを同じ座標系に位置合わせる必要があり、座標を位置合わせるプロセスで一般的に3つのデータがあり、この3つのデータは、口腔スキャンデータ及び顔データに加えて、スプライシングされたデータを更に含む。そのうち、口腔スキャンデータは口腔内スキャナーで取得でき、顔データは顔スキャナーで取得でき、スプライシングされたデータは上記口腔内スキャナーと顔スキャナーのいずれかで取得でき、口腔スキャンデータと顔データをスプライシングすることに用いられる。
【0005】
既存の3D方式で、スプライシングされたデータの取得方法は可視光モードを含んでもよく、可視光モードで、比較的明瞭な顔データと一部の歯データ(スプライシングされたデータとして使用される)を取得することができる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示が解決しようとする技術的課題は、スキャン中にちらつく可視光が存在するため、ユーザの目を大きく刺激し、スキャン中にユーザの目に不快感を与え、ユーザ体験が悪いという従来の問題を解決することである。
【課題を解決するための手段】
【0007】
以下は、本明細書で詳細に説明された主題の概要である。この概要は、請求項の保護範囲を制限するためのものではない。
【0008】
本開示は、スキャナー及びスキャン方法を提供する。
【0009】
本開示は、
投影光学系、第1収集光学系、第2収集光学系、及びデータ処理システムを含み、
前記投影光学系は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射するように構成され、
前記第1収集光学系は、前記赤外光に基づき、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集するように構成され、
前記第2収集光学系は、前記可視光に基づき、カラーテクスチャ画像である第2画像を収集するように構成され、
前記データ処理システムは、前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを得るように構成されるスキャナーを提供する。
【0010】
いくつかの実施例では、前記投影光学系は、三次元再構成投影光学系及びテクスチャ光源投影光学系を含み、
前記スキャナーは制御システムを更に含み、前記制御システムは、前記三次元再構成投影光学系と前記テクスチャ光源投影光学系を同期してトリガーし、前記投影光学系に前記可視光と前記赤外光とを目標領域に同期して投射させるように構成され、
前記三次元再構成投影光学系は前記赤外光を目標領域に投射するように構成され、前記テクスチャ光源投影光学系は前記可視光を目標領域に投射するように構成される。
【0011】
いくつかの実施例では、前記第1収集光学系は白黒カメラ及び第1フィルタリングコンポーネントを含み、前記第1フィルタリングコンポーネントは、予め設定された波長帯域の光線をフィルタリングして赤外光のみを前記白黒カメラに入らせるように構成され、
及び/又は
前記第2収集光学系はカラーカメラ及び第2フィルタリングコンポーネントを含み、前記第2フィルタリングコンポーネントは赤外光を遮断し可視光を前記カラーカメラに入らせるように構成される。
【0012】
いくつかの実施例では、前記スキャナーは支持板及び支持板の両側に設置される支持柱を更に含み、
前記三次元再構成投影光学系、前記第1収集光学系及び前記第2収集光学系は全て支持板に固定され、前記テクスチャ光源投影光学系は前記支持柱に固定される。
【0013】
いくつかの実施例では、前記スキャナーは放熱システムを更に含み、
前記放熱システムは少なくとも前記三次元再構成投影光学系を放熱するように構成される。
【0014】
いくつかの実施例では、前記テクスチャ光源投影光学系はLEDアレイ及び拡散板を含み、
前記拡散板は前記LEDアレイの光出射側に設置され、前記拡散板は、前記LEDアレイから発した光線を拡散し、前記目標領域に投射するように構成される。
【0015】
いくつかの実施例では、前記三次元再構成投影光学系は、赤外線レーザー、ストライプパターンを有する透過板、及び結像レンズを含み、前記赤外線レーザーから発した光は前記透過板を透過した後に、前記結像レンズを介してストライプパターンを有する赤外光を目標領域に投射し、
又は前記三次元再構成投影光学系はデジタル光処理プロジェクターを含む。
いくつかの実施例では、前記ストライプパターンは明暗が互い違いになった複数のストライプを含み、
ストライプデューティサイクルの値の範囲は10%~50%である。
【0016】
本開示は、
上記スキャナーのいずれかに実行され、
前記投影光学系が、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射するステップと、
前記第1収集光学系が、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集するステップと、
前記第2収集光学系が、カラーテクスチャ画像である第2画像を収集するステップと、
前記データ処理システムが、前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得するステップと、を含む、スキャン方法を更に提供する。
【0017】
いくつかの実施例では、前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得する前記ステップは、
前記第1画像に基づき、ストライプシーケンスを決定し、且つスプライシングして融合し前記測定対象物のカラー三次元データを構築するステップと、
前記第2画像に基づき、前記測定対象物に対するカラーテクスチャ付きのテクスチャマップを決定するステップと、
前記テクスチャマップを前記三次元データにマッピングし、前記測定対象物を決定するステップと、を含む。
【0018】
図面及び詳細な説明を読んで理解した後に、他の態様を理解することができる。
【発明の効果】
【0019】
従来技術に比べて、本開示の実施例により提供される上記技術的解決手段は以下の利点を有する。
【0020】
本開示の実施例により提供される該スキャナー及びスキャン方法では、スキャナーは、投影光学系、第1収集光学系、第2収集光学系、及びデータ処理システムを含み、投影光学系は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射するように構成され、第1収集光学系は、赤外光に基づき、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集するように構成され、第2収集光学系は、可視光に基づき、カラーテクスチャ画像である第2画像を収集するように構成され、データ処理システムは、第1画像及び第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを得るように構成される。これにより、投影光学系を設置することにより、可視光と赤外光とをユーザの顔領域等の目標領域に同期して投射することができ、スキャン中に、赤外光と可視光を切り替える必要がなくなり、すなわち可視光と赤外光の両方が常にオンにされ、可視光のちらつきの問題が回避され、ユーザの目への刺激が軽減され、スキャン中のユーザ体験の向上に有利であり、それと同時に、赤外光はストライプパターンを有する赤外光であり、目標領域に投射され、この場合、第1収集光学系は、ストライプパターンを有する赤外光に基づき第1画像を取得し、赤外光がストライプ状であるため、歯の表面に拡散されても抽出でき、それにより第1画像は顔情報及び歯情報を同時に含むことができ、赤外光に基づきスプライシングされたデータと顔データを同時に収集できることに等しく、且つ、第2収集光学系は、可視光に基づきカラーテクスチャ画像を取得することができ、これに基づいて、データ処理システムでは、第1画像及び第2画像に基づいて、再構成、スプライシング、融合等のステップを含むデータ処理が直接的に行われ、色データを第1画像に補充することができ、それにより、測定対象物のカラー三次元モデルデータを取得し、測定対象物のスキャンを実現することができる。
【0021】
上記の一般的な説明及び以下の詳細の説明は例示的及び解釈的なものに過ぎず、本開示を制限するものではないことを理解されたい。
【図面の簡単な説明】
【0022】
添付の図面は、明細書に組み込まれて本明細書の一部を構成し、本開示と一致する実施例を示し、明細書とともに本開示の原理を解釈することに用いられる。
【0023】
本開示の実施例又は従来技術における技術的解決手段をより明瞭に説明するために、以下、実施例又は従来技術の説明に使用される必要のある図面を簡単に説明し、明らかなように、当業者であれば、創造的な労働を必要とせずにこれらの図面に基づいて他の図面を取得することもできる。
【
図1】本開示の実施例のスキャナーの構造概略図である。
【
図2】本開示の実施例のストライプパターンの配置模式図である。
【
図3】本開示の実施例の別のスキャナーの構造概略図である。
【
図4】本開示の実施例の別のスキャナーの構造概略図である。
【
図5】
図4に示出されるスキャナーの正面構造の概略図である。
【
図6】
図4に示出されるスキャナーの上から見た構造概略図である。
【
図7】本開示の実施例の更に別のスキャナーの構造概略図である。
【
図8】本開示の実施例のスキャン方法の概略的なフローチャートである。
【発明を実施するための形態】
【0024】
本開示の上記目的、特徴及び利点を明瞭に理解できるために、以下、本開示の解決手段を説明する。なお、矛盾しない限り、本開示の実施例及び実施例における特徴は相互に組み合わせることができる。
【0025】
以下の説明では、本開示を完全に理解するために、多くの具体的な細部が提案されるが、本開示は、ここで説明される態様と異なる他の態様で実施できる。明らかなように、明細書における実施例は本開示の実施例の一部に過ぎず、全ての実施例ではない。
【0026】
本開示の実施例は、ストライプパターンを有する赤外光に基づきスプライシングされたデータを取得するスキャナー及びスキャン方法を提供し、ストライプパターンを有する赤外光が歯に拡散されても抽出できるため、歯情報を含む第1データを収集することができ、すなわち、顔データの取得とデータのスプライシングを同じステップに簡略化でき、該スプライシングされたデータは歯データであってもよく、また、可視光と赤外光が同期してトリガーされ、両者を切り替える必要がなくなり、可視光のちらつきが回避され、ユーザの目への刺激が軽減され、ユーザ体験が向上する。
【0027】
以下、
図1~
図8を参照しながら、本開示の実施例のスキャナー及びスキャン方法を例示的に説明する。
【0028】
いくつかの実施例では、
図1に示されるように、それは本開示の実施例のスキャナーの構造概略図である。
図1を参照すると、該スキャナー10は、投影光学系110、第1収集光学系120、第2収集光学系130、及びデータ処理システム140を含んでもよく、投影光学系110は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射することに用いられ、第1収集光学系120は、赤外光に基づき、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集することに用いられ、第2収集光学系130は、可視光に基づき、カラーテクスチャ画像である第2画像を収集することに用いられ、データ処理システム140は、第1画像及び第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得することに用いられる。
【0029】
投影光学系110は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射することができ、可視光と赤外光の切り替えがなくなり、それにより、可視光のちらつきによるユーザの目への刺激を回避し、ユーザの目の不快感を改善し、ユーザ体験を向上させることができる。それと同時に、目標領域はユーザの顔領域であってもよく、ユーザの歯領域を含んでもよく、ストライプパターンを有する赤外光はユーザの顔に投射され、一部がユーザの歯領域に投射され、赤外光を線状に投射することに等しく、これにより、歯が赤外光を拡散しても、拡散された後の赤外光は依然として抽出でき、歯の形態を還元できる歯の情報を、スプライシングされたデータとして取得することができ、それと同時に、第1画像内の顔情報は顔データに対応し、これにより、再構成、融合、スプライシング等のステップを含む第1画像及び第2画像の後続処理を行うことで、第2画像を利用して第1画像に色を付け、カラースキャンを実現することができる。
【0030】
理解できるように、目標領域は、更に、スキャンされる測定対象物の領域一部の又は全部であってもよく、ここでは限定されない。
【0031】
第1収集光学系120は、ストライプパターンを有する赤外光に基づき、歯情報及び顔情報を含む第1画像を収集することができ、スプライシングされたデータと顔データの同期収集を実現できる。
【0032】
第2収集光学系130は、可視光に基づき第2画像、すなわち、第1画像に色を付けるためのテクスチャデータに対応するカラーテクスチャ画像を収集することができる。
【0033】
データ処理システム140は、ソフトウェアアルゴリズムシステムと呼ばれてもよく、第1画像及び第2画像に基づき、データを抽出し、且つ再構成、融合スプライシング及びテクスチュアマッピング等のプロセスを含むデータ処理を行うことができ、このようにして、測定対象物のカラー三次元モデルデータを決定し、すなわち測定対象物のカラースキャンを実現することができる。
【0034】
本開示の実施例のスキャナー10は、投影光学系110、第1収集光学系120、第2収集光学系130、及びデータ処理システム140を含み、投影光学系110は、可視光と赤外光とを、ユーザの顔領域等の目標領域に同期して投射し、これにより、スキャン中に、赤外光と可視光を切り替える必要がなくなり、すなわち、可視光と赤外光の両方が常にオンにされ、可視光のちらつきの問題が回避され、ユーザの目への刺激が軽減され、スキャン中のユーザ体験の向上に有利であり、それと同時に、赤外光はストライプパターンを有する赤外光であり、目標領域に投射され、この場合、第1収集光学系120は、ストライプパターンを有する赤外光に基づき第1画像を取得し、赤外光がストライプ状であるため、歯の表面に拡散されても抽出でき、それにより第1画像は顔情報及び歯情報を同時に含むことができ、赤外光に基づきスプライシングされたデータと顔データを同時に収集できることに等しく、且つ、第2収集光学系130は、可視光に基づきカラーテクスチャ画像を取得することができ、これに基づいて、データ処理システム140において、第1画像及び第2画像に基づきデータ処理を直接的に行い、テクスチャデータと顔データのスプライシングを実現し、測定対象物のカラー三次元モデルデータを取得することができる。
【0035】
いくつかの実施例では、ストライプパターンは明暗が互い違いになった複数のストライプを含み、ストライプデューティサイクルの値の範囲は10%~50%である。
選択的に、ストライプの線幅の値の範囲は10μm~20μmである。
【0036】
ストライプデューティサイクルは、明るいストライプの幅と、隣接する明るいストライプと暗いストライプの幅の合計との比として理解でき、ストライプの線幅は明るいストライプの線幅である。
【0037】
このような設定により、第1に、ストライプパターンを符号化パターンとすることができ、それにより、第1画像に基づくカラー三次元再構成のプロセスを実現し、測定対象物のカラー三次元形態、例えば、ユーザの顔のカラー三次元形態を構築することができ、第2に、ストライプの線幅の値の範囲を10μm~20μmに設定することにより、ユーザの顔に投射されるストライプパターンにおいて、明るいストライプは、単一の歯を完全に覆うことなく、歯の隙間に落ち込むことなく、歯に当たることができ、第1画像に正確な歯情報を書き込むことができるのを確保し、且つ正確な顔情報を運び、正確なカラー三次元再構成のプロセスを実現でき、第3に、ストライプデューティサイクルの設定と組み合わせると、具体的なストライプデューティサイクルの値の範囲は10%~50%であり、ストライプの数を適切にし、正確なスキャンを実現すると同時に、スキャン効率を向上させることができる。
【0038】
例示的に、
図2に示されるように、ストライプパターンは、101010101…の複数のストライプを等間隔に配置したものであり、ストライプデューティサイクルが20%であってもよく、ストライプの線幅は15μmであってもよく、0は黒を表し、1は白を表す。例示的に、ストライプパターン内のストライプの数は100本又は他の数であってもよく、スキャナーの要件に応じて設定できる。
【0039】
例示的に、ストライプデューティサイクルは10%、20%、25%、30%、45%、50%又は他のパーセント値であってもよく、ストライプの線幅は10μm、15μm、18μm、20μm又は他の幅値であってもよく、スキャナーの要件に応じて設定でき、ここでは限定されない。
【0040】
例示的に、ストライプデューティサイクル及びストライプの線幅はスキャナーに組み込まれた固定値であってもよく、又は調整可能な値であってもよく、例えば、ユーザはユーザの入力を識別することで調節し、又はスキャナーはスキャン結果の精度に基づいてフィードバックして調節し、ここでは限定されない。
【0041】
理解できるように、ストライプパターンは更に当業者に知られている他のタイプの符号化パターンとして設定されてもよく、ここでは限定されない。
【0042】
いくつかの実施例では、
図3に示されるように、それは本開示の実施例の別のスキャナーの構造概略図である。
図1と
図3を参照すると、該スキャナー10において、投影光学系110は、三次元再構成投影光学系111及びテクスチャ光源投影光学系112を含み、スキャナー10は制御システム150を更に含み、制御システム150は、三次元再構成投影光学系111とテクスチャ光源投影光学系112を同期してトリガーし、投影光学系110に可視光と赤外光とを目標領域に同期して投射させることに用いられ、三次元再構成投影光学系111は、赤外光を目標領域に投射することに用いられ、テクスチャ光源投影光学系112は、可視光を目標領域に投射することに用いられる。
【0043】
制御システム150は、三次元再構成投影光学系111とテクスチャ光源投影光学系112を同期してトリガーし、それらに光線を同時に投射させることができ、それにより、投影光学系110は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射することに用いられることを実現する。
【0044】
例示的に、制御システム150はタイミング制御回路であってもよく、タイミング回路の出力端子はそれぞれ三次元再構成投影光学系111及びテクスチャ光源投影光学系112に接続され、同期トリガーを実現して、赤外光と可視光とを目標領域に同期して投射する。
【0045】
いくつかの実施例では、引き続き
図3を参照すると、第1収集光学系120は白黒カメラ121及び第1フィルタリングコンポーネント122を含み、第1フィルタリングコンポーネント122は、予め設定された波長帯域の光線をフィルタリングして赤外光のみを白黒カメラ121に入らせることに用いられ、及び/又は、第2収集光学系130はカラーカメラ131及び第2フィルタリングコンポーネント132を含み、第2フィルタリングコンポーネント132は、赤外光を遮断し可視光をカラーカメラ131に入らせることに用いられる。
【0046】
予め設定された波長帯域の光線は赤外光を除く他の波長帯域の光線であり、第1フィルタリングコンポーネント122は、赤外光のみが白黒カメラ121に入ることを可能にし、それと同時に、第2フィルタリングコンポーネント132は、赤外光を遮断することに用いられ、第2フィルタリングコンポーネント132は、赤外光をフィルタリングして可視光をカラーカメラ131に入らせることができる。これにより、第1フィルタリングコンポーネント122と第2フィルタリングコンポーネント132を設置することにより、赤外光と可視光が分離され、それぞれ白黒カメラ121及びカラーカメラ131に入ることができる。更に、これに基づいて、赤外光と可視光の分離が空間的で実現されることに等しく、両者を時間的に分離する必要がなくなり、すなわち、赤外光と可視光を切り替える必要がなくなり、それにより、可視光のちらつきが回避され、ユーザの目への刺激が回避され、ユーザ体験が向上する。
【0047】
例示的に、白黒カメラ121の数は3つであってもよく、三次元カメラと呼ばれてもよく、カラーカメラ131はテクスチャカメラと呼ばれてもよく、白黒カメラ121とカラーカメラ131の両方は、相補型金属酸化物半導体(Complementary Metal Oxide Semiconductor、CMOS)カメラであってもよく、ここでは限定されず、第1フィルタリングコンポーネント122は光学フィルター、他の光学部品又は光学コンポーネントを含んでもよく、第2フィルタリングコンポーネント132は遮断板、他の光学部品又は光学コンポーネントであってもよく、ここでは限定されない。
【0048】
いくつかの実施例では、引き続き
図3を参照すると(引き続き
図3を参照すると)、制御システム150は更に第1収集光学系120と第2収集光学系130とを接続する。これにより、シングルフレームの三次元データは、1つの時点のトリガー信号を必要とするだけで、第1画像と第2画像を同時に収集することができ、第1画像は再構成画像に対応し、第2画像はテクスチャマップに対応し、再構成画像とテクスチャマップに時間差がなく、手持ち式三次元スキャナーに必要なカラーテクスチャ付きのカラー三次元再構成の条件を満たすことができる。
【0049】
例示的に、制御システム150は、投影光学系110をトリガーし、その内のカラー三次元再構成投影光学系111にストライプパターンを有する赤外光を測定対象物(顔及び歯)に投射させると同時に、テクスチャ光源投影光学系112は、可視光を測定対象物(顔及び歯)に投射する。それと同時に、制御システム150は、更に、第1収集光学系120及び第2収集光学系130を制御して、それぞれ赤外光及び可視光に基づき第2画像を収集させ、例示的に、白黒カメラ121の感光波長帯域は三次元再構成投影光学系111の赤外光の波長帯域に対応し、白黒カメラ121のレンズの前に赤外光学フィルターが設置され、赤外光のみを通過させ、且つ、カラーカメラ131の感光波長帯域はテクスチャ光源投影光学系112の可視光の波長帯域に対応し、カラーカメラ131のレンズの前に赤外光遮断板が設置され、赤外光をフィルタリングして可視光のみを通過させる。これにより、第1収集光学系120と第2収集光学系130は同じ時点でそれぞれストライプパターン付きの測定対象物の画像(すなわち第1画像)とカラーテクスチャ画像付きの測定対象物の画像(すなわち第2画像)を迅速に取得することができ、第1画像と第2画像はそれぞれデータ処理システム140に伝送され、データ処理システム140は、第1画像及び第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得し、具体的なスプライシングのプロセスを、以下で、方法と組み合わせて例示的に説明する。
【0050】
理解できるように、白黒カメラ121及びカラーカメラ131は、テクスチャマップと三次元データを対応付けるために、スキャンの前に位置を校正する必要があり、具体的な位置校正方法は、当業者に知られている任意の方法であってもよく、ここでは詳細に説明又は限定されない。
【0051】
いくつかの実施例では、三次元再構成投影光学系111は、赤外線レーザー、ストライプパターンを有する透過板、及び結像レンズを含み、赤外線レーザーから発した光は透過板を透過した後に、結像レンズを介してストライプパターンを有する赤外光を目標領域に投射する。
【0052】
三次元再構成投影光学系111は透過投影の方式を用いることができ、赤外線レーザーが光源とされ、該赤外線レーザーから発した光線はストライプパターンを透過し、結像レンズを介して投射され、例えば、目標領域に投射される。このようにして、三次元再構成投影光学系111がストライプパターンを有する赤外光を目標領域に投射することを実現できる。
【0053】
いくつかの実施例では、三次元再構成投影光学系111はデジタル光処理(Digital Light Processing、DLP)プロジェクターを含む。
【0054】
このような設置により、赤外DLPプロジェクターを用いて、ストライプパターンを有する赤外光の投射を実現することができる。
【0055】
他の実施形態では、当業者に知られている他の方法で、ストライプパターンを有する赤外光の投射を実現することができ、ここでは限定されない。
【0056】
いくつかの実施例では、テクスチャ光源投影光学系112はLEDアレイ及び拡散板を含み、拡散板は、LEDアレイの光出射側に設置され、LEDアレイから発した光線を拡散し、目標領域に投射することに用いられ。
【0057】
テクスチャ光源の投影光学系は、LEDアレイと拡散板を用いて、白色光(すなわち可視光)を顔領域に投射する。
【0058】
他の実施形態では、当業者に知られている他の方法で可視光を目標領域に均一に投射することができ、ここでは限定されない。
【0059】
いくつかの実施例では、
図4は本開示の実施例の別のスキャナーの構造概略図、
図5は
図4に示出されるスキャナーの正面構造の概略図、
図6は
図4に示出されるスキャナーの上から見た構造概略図である。
図4~
図6を参照すると、スキャナー10は放熱システム160を更に含み、放熱システム160は少なくとも三次元再構成投影光学系111を放熱することに用いられる。
【0060】
スキャナー10の動作中に、三次元再構成投影光学系111は赤外光を投射する際に、多くの熱を発し、放熱システム160を利用して放熱することにより、三次元再構成投影光学系111を適切な温度で動作させることができ、それにより性能が良好であり、スキャナーのスキャン精度が高いことを確保できる。
【0061】
例示的に、放熱システム160は三次元再構成投影光学系111の背面側に設置され、該背面側は光出射側とは反対側であると理解できる。他の実施形態では、放熱システム160は更に、三次元再構成投影光学系111の側面の周りに設置でき、又は当業者に知られている他の方法で設置されてもよく、ここでは限定されない。
【0062】
例示的に、放熱システム160はアレイ状に配置された放熱フィン構造を含んでもよく、又は放熱システム160は当業者に知られている他の放熱構造を用いてもよく、ここでは限定されない。
【0063】
他の実施形態では、放熱システム160は更に制御システム150、第1収集光学系120及び第2収集光学系130を放熱することに用いられてもよく、又は放熱システム160は三次元再構成投影光学系111、テクスチャ光源投影光学系112、第1収集光学系120、第2収集光学系130、データ処理システム140及び制御システム150の少なくとも1つを放熱することに用いられてもよく、スキャナーの性能要件及び構造要件に応じて設定でき、ここでは限定されない。
【0064】
いくつかの実施例では、
図7は本開示の実施例の更に別のスキャナーの構造概略図である。
図7を参照すると、スキャナー10は、支持板101及び支持板101の両側に設置される支持柱102を更に含み、三次元再構成投影光学系111、第1収集光学系120及び第2収集光学系130は全て支持板101に固定され、テクスチャ光源投影光学系112は支持柱102に固定される。
【0065】
三次元再構成投影光学系111、第1収集光学系120、第2収集光学系130は全て支持板101に設置され、テクスチャ光源投影光学系112は支持柱102に設置され、一方では、スキャナー10の各構造部材の合理的な設置を実現でき、他方では、良好なスキャン効果を実現できると同時に、スキャナー10の構造をコンパクトにすることができ、スキャナー10の小型化の設計が容易になる。
【0066】
例示的に、
図7は、テクスチャ光源投影光学系112が、対向する両側から照明するために、2つの全体的に方形の照明灯を含むことを例示的に示しており、それにより片側照明中の影の干渉を低減し、第2収集光学系130が目標領域の測定対象物に対応する第2画像を取得することを容易にする。しかしながら、これは本開示の実施例のスキャナー10を限定するものではない。他の実施形態では、テクスチャ光源投影光学系112内の照明灯の数、形状及び空間位置は、当業者に知られている他の方法で設置されてもよく、ここでは限定されない。
【0067】
例示的に、
図3と
図7を参照すると、第1収集光学系120は3つの白黒カメラ121を含んでもよく、各白黒カメラ121のために対応する第1フィルタリングコンポーネント122が配置され、第2収集光学系130は1つのカラーカメラ131を含んでもよく、該カラーカメラ131のために第2フィルタリングコンポーネント132が対応して配置され、且つ、支持板101には5つの貫通孔が長さ方向に沿って順に設置され、三次元再構成投影光学系111は中央の貫通孔によって固定され、カラーカメラ131は中央の貫通孔に隣接する貫通孔によって固定され、白黒カメラ121はそれぞれ残りの3つの貫通孔によって一対一対応して固定され、三次元再構成の要件を満たすことができる限り、全ての白黒カメラ121の固定角度はスキャンの要件に応じて設定できる。
【0068】
他の実施形態では、支持板101上の各構造部材は更に当業者に知られている他の空間レイアウトで設置でき、ここでは限定されない。
【0069】
上記の実施形態に基づいて、本開示の実施例は、上記任意のスキャナーに実行されて、対応する有益な効果を実現できるスキャン方法を更に提供する。
【0070】
いくつかの実施例では、
図8に示されるように、それは本開示の実施例のスキャン方法の概略的なフローチャートである。
図8を参照すると、該スキャン方法は下記のステップを含んでもよい。
【0071】
S601、投影光学系は可視光とストライプパターンを有する赤外光とを目標領域に同期して投射する。
【0072】
上記の内容と組み合わせて、投影光学系は、三次元再構成投影光学系及びテクスチャ光源投影光学系を含んでもよく、それらは制御システムによって同期的にトリガーされて、赤外光と可視光とを同期して投射することができ、これにより投影光学系は可視光と赤外光とを同期して投射することができる。
【0073】
例示的に、ストライプパターンを有する赤外光は符号化パターンを有する赤外光と呼ばれてもよく、後続の三次元再構成のプロセスに適用して、顔データと歯データの抽出の実現を容易にする。
【0074】
例示的に、可視光は、第2画像を収集する要件を満たすことができる限り、白色光又は他の単一波長帯域の可視光であってもよく、ここでは限定されない。
【0075】
例示的に、該スキャナーがDSDシーンに適用されることを例とすると、目標領域はユーザの顔領域を含む領域であってもよい。他のシーンでは、目標領域は、更に測定対象物を取得する要件を満たす他の領域であってもよく、ここでは限定されない。
【0076】
S602、第1収集光学系は第1画像を収集する。
【0077】
第1画像はストライプパターンを有する画像であり、第1画像は顔情報及び歯情報を含む。
【0078】
これにより、DSDシーンに対応して、第1画像は顔データ及びスプライシングされたデータを含んでもよい。
【0079】
S603、第2収集光学系は第2画像を収集する。
【0080】
第2画像はカラーテクスチャ画像である。
【0081】
これにより、DSDシーンに対応して、第2画像はテクスチャデータを含んでもよい。
【0082】
S604、データ処理システムは、第1画像及び第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得する。
【0083】
これにより、第1画像及び第2画像に基づくデータ処理により、スプライシングされたデータに基づいて、顔データとテクスチャデータのスプライシングを実現することができ、それにより、第2画像を利用して第1画像に色を付け、測定対象物のカラー三次元モデルデータを決定することができ、例えば、DSDシーンでのユーザの顔と歯の完全なデータを取得することができる。
【0084】
本開示の実施例のスキャン方法では、投影光学系を設置することにより、可視光と赤外光とをユーザの顔領域等の目標領域に同期して投射することができ、スキャン中に、赤外光と可視光を切り替える必要がなくなり、すなわち可視光と赤外光の両方が常にオンにされ、可視光のちらつきの問題が回避され、ユーザの目への刺激が軽減され、スキャン中のユーザ体験の向上に有利であり、それと同時に、赤外光はストライプパターンを有する赤外光であり、目標領域に投射され、この場合、第1収集光学系は、ストライプパターンを有する赤外光に基づき第1画像を取得し、赤外光がストライプ状であるため、歯の表面に拡散されても抽出でき、それにより第1画像は顔情報及び歯情報を同時に含むことができ、赤外光に基づきスプライシングされたデータと顔データを同時に収集できることに等しく、且つ、第2収集光学系は、可視光に基づきカラーテクスチャ画像を取得することができ、これに基づいて、データ処理システムでは、第1画像及び第2画像に基づいて、データ処理が直接的に行われ、テクスチャデータと顔データのスプライシングを実現することができる。
【0085】
いくつかの実施例では、第1画像及び第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得するステップは、
第1画像に基づき、ストライプシーケンスを決定し、且つスプライシングして融合し測定対象物のカラー三次元データを構築するステップと、
第2画像に基づき、測定対象物に対するカラーテクスチャ付きのテクスチャマップを決定するステップと、
テクスチャマップを三次元データにマッピングし、測定対象物のカラー三次元モデルデータを決定するステップと、を含む。
【0086】
本開示の実施例では、データ処理システムに組み込まれたソフトウェアアルゴリズムに基づいて、第2収集光学系(例えば1つのCMOSカラーカメラ)が収集した第2画像を処理し、測定対象物のカラーテクスチャ付きのカラー三次元データを取得する一方で、第1収集光学系(例えば3つのCMOS白黒カメラ)が取得した第1画像を処理し、ストライプシーケンスを決定し、次にストライプ三次元再構成アルゴリズム及びスプライシング融合アルゴリズムを利用して測定対象物のカラー三次元データを構築し、測定対象物のカラー三次元形態を決定し、最終的に、予め校正された白黒カメラとカラーカメラの位置関係を利用して、テクスチャマップを三次元データにマッピングし、測定対象物を決定する。
【0087】
理解できるように、上記アルゴリズムは、対応するカラー三次元再構成又はスプライシング融合のプロセスを実現するために、当業者に知られている任意のアルゴリズムを用いてもよく、ここでは詳細に説明又は限定されない。それと同時に、上記のカメラの位置を予め校正する方法は、当業者に知られている位置校正方法で実現でき、ここでは限定されない。
【0088】
なお、本明細書において、「第1」及び「第2」等の関係用語は、1つのエンティティ又は操作を別のエンティティ又は操作と区別することに用いられるだけであり、必ずしも、これらのエンティティ又は操作の間にこのような実際の関係又は順序があることを要求又は示唆するものではない。且つ、「備える」、「含む」又はそれらの任意の他の変形は、非排他的な包含物をカバーすることを意図し、それにより、一連の要素を含むプロセス、方法、製品又は機器は、明瞭に示される要素を含むだけでなく、明瞭に示されない他の要素を更に含み、又はこのプロセス、方法、製品又は機器に固有の要素を含んでもよい。更に制限することなく、「1つの…を含む」という文で限定される要素は、前記要素を含むプロセス、方法、製品又は機器に他の同じ要素が存在することを排除するものではない。
【0089】
上記の内容は本開示の具体的な実施形態に過ぎず、当業者が本開示を理解又は実現できるようにするためのものである。これらの実施例の様々な修正は当業者にとって自明なものであり、本明細書に定義される一般的な原理は、本開示の精神又は範囲を逸脱することなく、他の実施例で実現できる。従って、本開示は本明細書に記載のこれらの実施例に制限されず、本明細書に開示されている原理及び新規な特徴に合致する最も広い範囲に認められるべきである。
【産業上の利用可能性】
【0090】
本開示の実施例のスキャナー及びスキャン方法では、投影光学系を設置することにより、可視光と赤外光とをユーザの顔領域等の目標領域に同期して投射することができ、スキャン中に、赤外光と可視光を切り替える必要がなくなり、すなわち可視光と赤外光の両方が常にオンにされ、可視光のちらつきの問題が回避され、ユーザの目への刺激が軽減され、スキャン中のユーザ体験の向上に有利であり、それと同時に、赤外光はストライプパターンを有する赤外光であり、目標領域に投射され、この場合、第1収集光学系は、ストライプパターンを有する赤外光に基づき第1画像を取得し、赤外光がストライプ状であるため、歯の表面に拡散されても抽出でき、それにより第1画像は顔情報及び歯情報を同時に含むことができ、赤外光に基づきスプライシングされたデータと顔データを同時に収集できることに等しく、且つ、第2収集光学系は、可視光に基づきカラーテクスチャ画像を取得することができ、これに基づいて、データ処理システムでは、第1画像及び第2画像に基づいて、再構成、スプライシング、融合等のステップを含むデータ処理が直接的に行われ、色データを第1画像に補充することができ、それにより、測定対象物のカラー三次元モデルデータを取得し、測定対象物のスキャンを実現することができる。
【符号の説明】
【0091】
10、スキャナー
101、支持板
102、支持柱
110、投影光学系
111、三次元再構成投影光学系
112、テクスチャ光源投影光学系
120、第1収集光学系
121、白黒カメラ
122、第1フィルタリングコンポーネント
130、第2収集光学系
131、カラーカメラ
132、第2フィルタリングコンポーネント
140、データ処理システム
150、制御システム
160、放熱システム
【手続補正書】
【提出日】2024-04-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
スキャナーであって、投影光学系、第1収集光学系、第2収集光学系、及びデータ処理システムを含み、
前記投影光学系は、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射するように構成され、
前記第1収集光学系は、前記赤外光に基づき、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集するように構成され、
前記第2収集光学系は、前記可視光に基づき、カラーテクスチャ画像である第2画像を収集するように構成され、
前記データ処理システムは、前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを得るように構成される、スキャナー。
【請求項2】
前記投影光学系は、三次元再構成投影光学系及びテクスチャ光源投影光学系を含み、
前記スキャナーは制御システムを更に含み、前記制御システムは、前記三次元再構成投影光学系と前記テクスチャ光源投影光学系を同期してトリガーし、前記投影光学系に前記可視光と前記赤外光とを目標領域に同期して投射させるように構成され、
前記三次元再構成投影光学系は、前記赤外光を目標領域に投射するように構成され、前記テクスチャ光源投影光学系は、前記可視光を目標領域に投射するように構成される、請求項1に記載のスキャナー。
【請求項3】
前記第1収集光学系は白黒カメラ及び第1フィルタリングコンポーネントを含み、前記第1フィルタリングコンポーネントは、予め設定された波長帯域の光線をフィルタリングして赤外光のみを前記白黒カメラに入らせるように構成され、
及び/又は
前記第2収集光学系はカラーカメラ及び第2フィルタリングコンポーネントを含み、前記第2フィルタリングコンポーネントは赤外光を遮断し可視光を前記カラーカメラに入らせるように構成される、請求項2に記載のスキャナー。
【請求項4】
支持板及び支持板の両側に設置される支持柱を更に含み、
前記三次元再構成投影光学系、前記第1収集光学系及び前記第2収集光学系は全て支持板に固定され、前記テクスチャ光源投影光学系は前記支持柱に固定される、請求項2に記載のスキャナー。
【請求項5】
放熱システムを更に含み、
前記放熱システムは少なくとも前記三次元再構成投影光学系を放熱するように構成される、請求項2に記載のスキャナー。
【請求項6】
前記テクスチャ光源投影光学系はLEDアレイ及び拡散板を含み、
前記拡散板は前記LEDアレイの光出射側に設置され、前記拡散板は、前記LEDアレイから発した光線を拡散し、前記目標領域に投射するように構成される、請求項2に記載のスキャナー。
【請求項7】
前記三次元再構成投影光学系は、赤外線レーザー、ストライプパターンを有する透過板、及び結像レンズを含み、前記赤外線レーザーから発した光は前記透過板を透過した後に、前記結像レンズを介してストライプパターンを有する赤外光を目標領域に投射し、
又は、前記三次元再構成投影光学系はデジタル光処理プロジェクターを含む、請求項2に記載のスキャナー。
【請求項8】
前記ストライプパターンは、明暗が互い違いになった複数のストライプを含み、
ストライプデューティサイクルの値の範囲は10%~50%である、請求項
1に記載のスキャナー。
【請求項9】
スキャン方法であって、請求項1~8のいずれか1項に記載のスキャナーに実行され、前記スキャン方法は、
前記投影光学系が、可視光とストライプパターンを有する赤外光とを目標領域に同期して投射するステップと、
前記第1収集光学系が、ストライプパターン付きの、顔情報及び歯情報を含む第1画像を収集するステップと、
前記第2収集光学系が、カラーテクスチャ画像である第2画像を収集するステップと、
前記データ処理システムが、前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得するステップと、を含む、ことを特徴とするスキャン方法。
【請求項10】
前記第1画像及び前記第2画像に基づきデータ処理を行い、測定対象物のカラー三次元モデルデータを取得する前記ステップは、
前記第1画像に基づき、ストライプシーケンスを決定し、且つスプライシングして融合し前記測定対象物のカラー三次元データを構築するステップと、
前記第2画像に基づき、前記測定対象物に対するカラーテクスチャ付きのテクスチャマップを決定するステップと、
前記テクスチャマップを前記三次元データにマッピングし、前記測定対象物のカラー三次元モデルデータを決定するステップと、を含む、請求項9に記載のスキャン方法。
【国際調査報告】