(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-28
(54)【発明の名称】3次元スキャナ、システム及び3次元再構成法
(51)【国際特許分類】
G01B 11/25 20060101AFI20240321BHJP
【FI】
G01B11/25 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023563117
(86)(22)【出願日】2022-04-13
(85)【翻訳文提出日】2023-10-13
(86)【国際出願番号】 CN2022086670
(87)【国際公開番号】W WO2022218355
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】202110393190.8
(32)【優先日】2021-04-13
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518283252
【氏名又は名称】先臨三維科技股▲ふん▼有限公司
【氏名又は名称原語表記】SHINING 3D TECH CO., LTD.
【住所又は居所原語表記】No.1398 Xiangbin Road,Wenyan Street,Xiaoshan District,Hangzhou,Zhejiang 311258 (CN)
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】馬 超
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA53
2F065GG04
2F065GG23
2F065HH03
2F065HH07
2F065HH12
2F065JJ03
2F065JJ08
2F065JJ26
2F065LL00
2F065LL08
2F065LL47
(57)【要約】
本開示は3次元スキャナ、システム及び3次元再構成法に関する。3次元スキャナの放射装置は少なくとも2種類の単色光線を含む所定の光線を放射することに用いられ、平行光化装置は所定の光線を均一化処理することに用いられ、パターン成形装置は均一化処理された所定の光線を構造化光パターンで投射することに用いられ、光路調整装置は、構造化光パターンの伝送路を変更して構造化光パターンをターゲットオブジェクトに投射させ、ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置に投射することに用いられ、画像収集装置は、ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集して3次元再構成に用いる。3次元再構成法に必要なハードウェアコストを削減することを実現し、単一の時刻で取得された2次元画像だけで3次元再構成を行うことができ、画像の再構成効率を大幅に向上させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
3次元スキャナであって、
投影装置と、画像収集装置と、光路調整装置とを含み、
前記投影装置は放射装置と、平行光化装置と、パターン成形装置とを含み、
前記放射装置は少なくとも2種類の単色光線を含む所定の光線を放射することに用いられ、
前記平行光化装置は前記所定の光線を均一化処理することに用いられ、
前記パターン成形装置は均一化処理された所定の光線を構造化光パターンで投射することに用いられ、
前記光路調整装置は、構造化光パターンの伝送路を変更して前記構造化光パターンをターゲットオブジェクトに投射させ、前記ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置に投射することに用いられ、
前記画像収集装置は、前記ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集して3次元再構成に用いることを特徴とする3次元スキャナ。
【請求項2】
前記放射装置は少なくとも2組の光源モジュールと、少なくとも1つの色合成装置とを含み、
各組の前記光源モジュールは1種類の単色光線を放射することに用いられ、
前記色合成装置は少なくとも2組の光源モジュールから放射された光線を1つの光路に合成することに用いられることを特徴とする請求項1に記載の3次元スキャナ。
【請求項3】
前記平行光化装置は少なくとも1つの複眼レンズを含み、
前記複眼レンズは前記所定の光線を均一化処理し、均一化処理された所定の光線を前記パターン成形装置に投射することを特徴とする請求項1に記載の3次元スキャナ。
【請求項4】
前記パターン成形装置はカラーグレーティングフィルムであり、
前記カラーグレーティングフィルムは前記均一化処理された所定の光線を透過して、ストライプ状に投射された構造化光パターンを生成することに用いられることを特徴とする請求項1に記載の3次元スキャナ。
【請求項5】
前記画像収集装置はダイクロイックプリズムと、カラーカメラと、白黒カメラとを含み、
前記ダイクロイックプリズムは構造化光パターンを分光し、分光された一方の光線は単色光線であり、前記白黒カメラによって収集され、分光された他方の光線は前記カラーカメラによって収集されることを特徴とする請求項1に記載の3次元スキャナ。
【請求項6】
前記3次元スキャナは照明装置をさらに含み、
前記照明装置は前記ターゲットオブジェクトに白色光を投射することに用いられ、
前記光路調整装置はさらに、前記白色光の伝送路を変更して前記白色光を前記ターゲットオブジェクトに反射させることに用いられることを特徴とする請求項5に記載の3次元スキャナ。
【請求項7】
前記ダイクロイックプリズムはさらに、前記ターゲットオブジェクトによって変調された白色光を分光することに用いられ、分光された一方の光線は単色テクスチャマップであり、前記白黒カメラによって収集され、分光された他方の光線は前記カラーカメラによって収集され、白色光が分光された2つのテクスチャマップはテクスチャ再構成に用いられることを特徴とする請求項6に記載の3次元スキャナ。
【請求項8】
3次元スキャンシステムであって、
3次元スキャナと、前記3次元スキャナと通信接続された画像処理機器とを含み、
前記3次元スキャナは投影装置と、画像収集装置と、光路調整装置とを含み、前記投影装置は放射装置と、平行光化装置と、パターン成形装置とを含み、
前記3次元スキャナは、放射装置によって所定の光線を放射し、平行光化によって前記所定の光線を均一化処理し、均一化処理された所定の光線を前記パターン成形装置によって構造化光パターンで投射し、前記光路調整装置によって構造化光パターンの伝送路を変更して前記構造化光パターンをターゲットオブジェクトに投射させ、前記ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置に投射し、画像収集装置によって、前記ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集して3次元再構成に用い、前記所定の光線は少なくとも2種類の単色光線を含み、
画像処理機器は、前記3次元スキャナによってスキャンされた分光された複数の構造化光パターンを受信し、前記分光された複数の構造化光パターンに基づいて3次元再構成を行うことを特徴とする3次元スキャンシステム。
【請求項9】
前記3次元スキャナは照明装置をさらに含み、
前記照明装置は前記ターゲットオブジェクトに白色光を投射し、
前記光路調整装置はさらに、前記白色光の伝送路を変更して前記白色光を前記ターゲットオブジェクトに反射させることに用いられ、
前記画像収集装置はさらに、前記ターゲットオブジェクトによって変調された白色光を分光し、白色光が分光された2つの光線をマルチカメラによって収集することに用いられ、
これに応じて、前記画像処理機器はさらに、白色光が分光された前記2つの光線に基づいてテクスチャ再構成を行うことに用いられることを特徴とする請求項8に記載の3次元スキャンシステム。
【請求項10】
前記画像処理機器はさらに、3次元再構成された3次元再構成画像をスティッチングして、ターゲットオブジェクトのターゲット再構成画像を得て、テクスチャ再構成されたテクスチャ再構成画像をマッピングして、ターゲットオブジェクトのターゲットテクスチャ画像を得ることに用いられることを特徴とする請求項9に記載の3次元スキャンシステム。
【請求項11】
3次元再構成法であって、請求項9~10のいずれか1項に記載の画像処理機器に適用され、前記方法は、
3次元スキャナによってスキャンされた分光された複数の構造化光パターンを取得するステップと、
所定の符号化規則、所定の構造化光ストライプマップの符号化テーブル及び前記分光された複数の構造化光パターンに基づいて、3次元再構成を行うステップとを含むことを特徴とする3次元再構成法。
【請求項12】
所定の符号化規則、所定の構造化光ストライプマップの符号化テーブル及び前記分光された複数の構造化光パターンに基づいて、3次元再構成を行う前記ステップは、
前記所定の符号化規則に基づいて構造化光パターンが分光された各光線に対応するコードを決定して、各光線に対応する符号化テーブルを得るステップと、
各光線に対応する符号化テーブルのうちの同じ画素座標でのコードを組み合わせて、組み合わせた符号化テーブルを得るステップと、
組み合わせた符号化テーブルと前記所定の構造化光ストライプマップの符号化テーブルとをマッチングして、各光線に対応する光面を決定するステップと、
前記各光線に対応する光面に基づいて3次元再構成を行うステップとを含むことを特徴とする請求項11に記載の方法。
【請求項13】
3次元スキャナによってスキャンされた、白色光が分光された2つの光線を取得するステップと、
白色光が分光された前記2つの光線及び前記分光された複数の構造化光パターンに基づいて、テクスチャ再構成を行うステップとをさらに含むことを特徴とする請求項11に記載の方法。
【請求項14】
白色光が分光された前記2つの光線及び前記分光された複数の構造化光パターンに基づいて、テクスチャ再構成を行う前記ステップは、
白色光が分光された2つの光線に対応するテクスチャマップ内の画素間の対応関係に基づいて、第1テクスチャ再構成画像を生成するステップと、
構造化光パターンが分光された各光線及び前記第1テクスチャ再構成画像に基づいて、テクスチャ情報を有する第2テクスチャ再構成画像を生成するステップとを含むことを特徴とする請求項13に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施例は、3次元スキャンの技術分野に関し、特に3次元スキャナ、システム及び3次元再構成法に関する。
【0002】
本開示は、2021年4月13日に中国特許庁に提出された、出願番号が2021103931908であり、発明の名称が「3次元スキャナ、システム及び3次元再構成法」である中国特許出願の優先権を主張し、その全内容は引用によって本開示に組み込まれている。
【背景技術】
【0003】
現在、国際的には、歯科診断・治療分野における歯科模型データの取得手段は、印象3次元スキャンから口腔内3次元スキャンへと徐々に移行している。口腔内スキャン技術は主に、侵襲式光学スキャンヘッドを用いて患者の口腔内部を直接スキャンして、口腔内の歯、歯肉、粘膜などの軟・硬組織表面の3次元形態及びカラーテクスチャ情報を取得する機器である3次元スキャナ(口腔デジタル印象機ともいう)を用いる。
【0004】
口腔内スキャン技術は、アクティブ構造化光三角測定イメージング原理を用い、デジタル投影システムを用いてアクティブ光パターンを投射し、カメラ収集システムがパターンを取得した後にアルゴリズム処理によって3次元再構成及びスティッチングを行って、患者の歯画像を得る。しかしながら、従来技術では、時間符号化復号に基づく3次元再構成方式が用いられ、すなわち複数の時刻で歯画像を収集し、異なる時系列で符号化復号及び再構成を行う必要があり、この方式は小型のハンドヘルドスキャンを実現するのが難しく、さらに口腔内部の3次元スキャン分野に適用することができない。また、時間符号化に基づく3次元再構成法はさらに高フレームレートカメラ及び高速アルゴリズムのサポートが必要であるため、さらに3次元スキャン機器の製造コストが高くなり、普及使用に不利である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記技術的課題を解決するか、又は上記技術的課題を少なくとも部分的に解決するために、本開示の実施例は3次元スキャナ、システム及び3次元再構成法を提供し、3次元再構成法に必要なハードウェアコストを削減することを実現し、単一の時刻で取得された2次元画像だけで3次元再構成を行うことができ、画像の再構成効率を大幅に向上させる。
【課題を解決するための手段】
【0006】
本開示は3次元スキャナを提供し、該3次元スキャナは投影装置と、画像収集装置と、光路調整装置とを含み、
前記投影装置は放射装置と、平行光化装置と、パターン成形装置とを含み、
前記放射装置は少なくとも2種類の単色光線を含む所定の光線を放射することに用いられ、
前記平行光化装置は前記所定の光線を均一化処理することに用いられ、
前記パターン成形装置は均一化処理された所定の光線を構造化光パターンで投射することに用いられ、
前記光路調整装置は、構造化光パターンの伝送路を変更して前記構造化光パターンをターゲットオブジェクトに投射させ、前記ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置に投射することに用いられ、
前記画像収集装置は、前記ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集して3次元再構成に用いる。
【0007】
本開示は3次元スキャンシステムを提供し、該3次元スキャンシステムは3次元スキャナと、前記3次元スキャナと通信接続された画像処理機器とを含み、
前記3次元スキャナは投影装置と、画像収集装置と、光路調整装置とを含み、前記投影装置は放射装置と、平行光化装置と、パターン成形装置とを含み、
前記3次元スキャナは、放射装置によって所定の光線を放射し、平行光化によって前記所定の光線を均一化処理し、均一化処理された所定の光線を前記パターン成形装置によって構造化光パターンで投射し、前記光路調整装置によって構造化光パターンの伝送路を変更して前記構造化光パターンをターゲットオブジェクトに投射させ、前記ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置に投射し、画像収集装置によって、前記ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集して3次元再構成に用い、前記所定の光線は少なくとも2種類の単色光線を含み、
画像処理機器は、前記3次元スキャナによってスキャンされた分光された複数の構造化光パターンを受信し、前記分光された複数の構造化光パターンに基づいて3次元再構成を行う。
【0008】
本開示の実施例は3次元再構成法をさらに提供し、上記した画像処理機器に適用され、前記方法は、
3次元スキャナによってスキャンされた分光された複数の構造化光パターンを取得するステップと、
所定の符号化規則、所定の構造化光ストライプマップの符号化テーブル及び前記分光された複数の構造化光パターンに基づいて、3次元再構成を行うステップとを含む。
【発明の効果】
【0009】
本開示の実施例に係る上記技術的解決手段は従来技術に比べて以下の利点を有する。
【0010】
本開示の実施例では、収集された分光された複数の構造化光パターンは空間符号化形式に基づくため、単一の時刻で取得された2次元画像だけでターゲットオブジェクトの3次元再構成を実現することができ、動的投影の必要性がなくなり、3次元スキャナにおけるカメラのフレームレート及びアルゴリズム演算コストを大幅に低減させ、口腔内部の動的スキャンの速度を向上させ、3次元スキャナに必要なカメラのサイズも小さくさせ、口腔をスキャンして歯画像を取得することに適用でき、また、単一の時刻で取得された2次元画像だけでターゲットオブジェクトの3次元再構成を実現することができるため、3次元スキャナの再構成マップとテクスチャマップとの間の取得時間の差を短縮し、ターゲットオブジェクトの3次元再構成時に投影、撮影に必要な時間を短縮し、3次元スキャナは空間符号化情報として色を用いるため、色形式の空間符号化情報が認識されやすくなり、認識精度が向上する。また、生成された分光された複数の構造化光パターン内の単色光線(例えば青色ストライプ)、及び白色光が分光された単色光線(例えば青色テクスチャマップ)の色特徴が顕著になるため、青緑色ストライプ及び前記カラーストライプに基づいて3次元再構成を行い、及び、青色テクスチャマップ及び赤緑色テクスチャマップに基づいて3次元再構成を行い、再構成画像の画像品質を向上させることができ、歯の表面にエナメル質がある場合、3次元スキャナはエナメル質の反射光を分離して、エナメル質の反射光及び散乱光が再構成画像の品質に影響することを回避することもできる。
【0011】
上記一般的な説明及び後述の詳細な説明は、例示的かつ解釈的なものに過ぎず、本開示を制限するものではないことを理解されたい。
【0012】
本明細書に組み込まれて本明細書の一部を構成する添付の図面は、本開示に適合する実施例を示し、明細書とともに本開示の原理を説明するためのものである。
【0013】
本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に使用される必要がある図面を簡単に説明し、明らかに、当業者であれば、創造的な労働を必要とせずに、これらの図面に基づいて他の図面を取得することもできる。
【図面の簡単な説明】
【0014】
【
図1】
図1は本開示の1つ又は複数の実施例に係る3次元スキャナの構造模式図である。
【
図2】
図2は本開示の1つ又は複数の実施例に係る別の3次元スキャナの構造模式図である。
【
図3】
図3は本開示の1つ又は複数の実施例に係る3次元スキャンシステムの構造模式図である。
【
図4】
図4は本開示の1つ又は複数の実施例に係る3次元再構成法のフローチャートである。
【発明を実施するための形態】
【0015】
本開示の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本開示の実施例における技術的解決手段を明確、かつ完全に説明し、明らかに、説明される実施例は本開示の実施例の一部であり、実施例の全部ではない。本開示の実施例に基づき、当業者が創造的な労働を必要とせずに取得した全ての他の実施例は、いずれも本開示の保護範囲に属するものとなる。
【0016】
関連技術では、3次元スキャナを用いて口腔内の画像を収集するときに、3次元スキャン技術を用いて3次元スキャナの侵襲式光学スキャンヘッドを口腔に挿入し、患者の口腔を直接スキャンして、口腔内の歯、歯肉、粘膜などの軟・硬組織表面の3次元形態及びカラーテクスチャ情報を取得する。口腔内部が狭く、侵襲式光学スキャンヘッドのサイズが限られるため、一般的には、侵襲式スキャンヘッドのサイズが30mm以内に制御され、侵襲式光学スキャンヘッドが一度に最大2歯以内の歯画像しか取得できない。しかしながら、歯科業界では、歯を設計して作製する過程で、ほとんどは口腔内部の全ての歯及び歯肉データを取得する必要があり、一度に取得された歯画像をスティッチングして口腔内の全ての歯と一致する3次元空間データを形成する必要がある。
【0017】
シングルスキャン速度及び歯画像のスティッチング速度を向上させるために、一方では、シングルスキャン効率を向上させる必要があり、他方では、スティッチング成功率及びスティッチング効率を向上させる必要がある。シングルスキャン時間を決定する要因は構造化光符号化復号アルゴリズムの実行時間に関連することが多く、構造化光符号化パターンを設計するときに、通常、画像全体を復号することが考慮され、例えば、時間位相展開及び空間位相展開などの方法を用いて、折り畳み位相を取得した上で位相展開を行って真の絶対位相を得て、折り畳み位相の周期性問題を解決する必要がある。位相をグローバルに展開するためには、複数の画像シーケンスを考慮するか、又は複雑な空間符号化過程に基づく必要がある。しかしながら、上記符号化及び復号を行うとシングルスキャン時間を大幅に増加させるため、シングルスキャン時間を短縮しようとする場合、シーケンス画像のデータ量を低減させ、及び復号アルゴリズムの時間を短縮する必要があるが、このようにして画像品質が低下してしまう。上記スキャン方式はスキャン時間が短く、スキャンされた画像品質が高いことを確保するという利点を良好に両立させることができないことが分かる。
【0018】
また、上記構造化光符号化復号アルゴリズムを用いて収集された画像を符号化復号する過程で、単一画素の符号化値を求めるときに近傍画素情報を考慮する必要があり、考慮した近傍画素が多いほど、復号精度が高くなるため、近傍画素内に十分な符号化情報が必要である。しかしながら、歯の表面には歯肉溝、歯の隙間、隣接歯の遮断、及び歯の狭い空間などを含む輪郭情報が豊かに存在し、これらの輪郭情報に起因して、取得された歯画像内に大量の不連続な表面情報及び構造化光パターンが存在し、近傍画素情報が失われてさらに該画素位置の復号に失敗し、すなわち該領域データの完全性が低下する。
【0019】
上記欠陥に加えて、3次元スキャナを用いて口腔内の画像をスキャンするときに、歯の表面に固有のエナメル質は光学測定方法に大きなチャレンジをもたらしている。該エナメル質は反射率が高く、光を透過可能、及び光を拡散可能である。高反射率及び光拡散は、物体イメージングの全体的な信号対雑音比を深刻に低下させ、及び光の強度を低下させ、光の入射点を変更してさらに3次元再構成の深さ情報に影響する。上記問題を解決するために、実際の操作では、歯及び歯肉に固形粉末をスプレーしたり、液体コーティングを施したりして、粉末又はコーティングを用いて入射光を遮断し、該粉末又はコーティングの厚さを制御して粉末層の下の歯の表面の3次元情報を還元することができることが試みられている。しかしながら、粉末及びコーティングには、例えば、患者がアレルギーを持ち、又はこれらを受け入れるのが難しく、スキャン全体の時間を延ばし、粉末又はコーティングの厚さ値も3次元データの精度に直接影響し、歯の表面の欠陥を隠して、真の歯の色を取得できないなどの不都合がある。明らかに、3次元スキャナが歯をスキャンするときに、高反射特性を有するエナメル質は歯画像の品質に影響する。
【0020】
以上より、上記3次元スキャナを用いて口腔をスキャンして歯画像を取得する過程では、スキャンにかかる時間コストが高く、小型のハンドヘルドスキャンを実現するのが難しく、そして、高フレームレートカメラ及び高速アルゴリズムのサポートが必要であり、必要なコストが高く、普及使用に不利であり、また、共焦点顕微鏡3次元イメージング原理に基づいて画像を取得する方法には、レンズの数が多く、精度が高く、移動部材があるため、ハードウェアの加工コストが高くなる。
【0021】
上記問題を解決するために、本開示の実施例は3次元スキャナ、システム及び3次元再構成法を提供する。3次元再構成法に必要なハードウェアコストを削減することを実現でき、単一の時刻で取得された2次元画像だけで3次元再構成を行うことができ、画像の再構成効率を大幅に向上させ、及び必要なコストを削減する。
【0022】
<実施例1>
図1は3次元スキャナの構造模式図を示す。
図1に示すように、該3次元スキャナは投影装置10と、光路調整装置20と、画像収集装置30とを含み、
投影装置10は放射装置100と、平行光化装置200と、パターン成形装置300とを含む。
【0023】
放射装置100は少なくとも2種類の単色光線を含む所定の光線を放射することに用いられ、
平行光化装置200は所定の光線を均一化処理することに用いられ、
パターン成形装置300は均一化処理された所定の光線を構造化光パターンで投射することに用いられ、
光路調整装置20は、構造化光パターンの伝送路を変更して構造化光パターンをターゲットオブジェクトに投射させ、ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置30に投射することに用いられ、
画像収集装置30は、ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集して3次元再構成に用いる。
【0024】
本開示の実施例では、放射装置100を用いて所定の光線を放射するときに、放射のニーズに応じて対応する色の放射装置を配置することができる。例えば、青色光線を放射する場合は、青色光線を放射する放射装置が配置され、緑色光線を放射する場合は、緑色光線を放射する放射装置が配置される。本開示の実施例における所定の光線は少なくとも2種類の単色光線を含み、所定の光線が少なくとも青色光線及び緑色光線を含むことを例として、本開示の実施例の解決手段について具体的に説明する。
【0025】
選択可能な実施例では、放射装置100は少なくとも2組の光源モジュールと、少なくとも1つの色合成装置とを含み、各組の光源モジュールは1種類の単色光線を放射することに用いられ、
色合成装置は少なくとも2組の光源モジュールから放射された光線を1つの光路に合成することに用いられる。
【0026】
具体的には、各組の光源モジュールは、レーザーエミッタとシリンドリカルレンズとを組み合わせて形成されてもよく、デジタル光処理(Digital Light Processing、DLPと略称する)とシリンドリカルレンズとを組み合わせて形成されてもよく、液晶オンシリコン(Liquid Crystal on Silicon、LCOSと略称する)とシリンドリカルレンズとを組み合わせて形成されてもよい。色合成装置は色合成ミラーであってもよく、色合成機能を有する他の装置であってもよい。
【0027】
図2に示される3次元スキャナの別の構造模式図を参照して具体的に説明する。放射装置100の各組の光源モジュールはレーザーエミッタと、シリンドリカルレンズとを含み、色合成装置は色合成ミラーである。第1レーザーエミッタ101は第1シリンドリカルレンズ102の下方に設けられ、第1レーザーエミッタ101によって第1光線を放射し、第1シリンドリカルレンズ102によって該光線を集光処理し、第2レーザーエミッタ103は第2シリンドリカルレンズ104の左側に設けられ、第2レーザーエミッタ103によって第2光線を放射し、第2シリンドリカルレンズ104によって該第2光線を集光処理し、続いて、集光処理された第1光線及び第2光線を色合成ミラー105によって1つの光路に合成して、所定の光線を形成する。第1光線及び第2光線のうちの一方は青色光線であり、他方は緑色光線である。
【0028】
なお、レーザーエミッタから放射されたレーザー光は、指向性に優れ、輝度が非常に高く、非常に純粋な色で、コヒーレンス性に優れるという利点を有し、高品質の歯画像を得るのに役立つ。シリンドリカルレンズを用いて光線を集光処理する利点は、レーザーエミッタから放射された光線の分散を回避して、レーザー光の利用率を向上させることである。また、レーザー放射装置、シリンドリカルレンズ及び色合成装置で構成される放射装置は、DLP及びLCOSよりもコストが低くなるため、3次元スキャナのハードウェアコストを削減する。
【0029】
別の選択可能な実施例では、放射装置100は3組及び3組以上の光源モジュールをさらに含んでもよく、且つ少なくとも1つの色合成装置を含む。具体的には、各組の光源モジュールは対応して設けられ、用途は上記説明を参照すればよく、各色合成装置は2種類又は2種類以上の光線を合成し、合成された光線を所定の光線とする。
【0030】
レーザー光自体のコヒーレンス性に起因して投影パターンに回折スポットが発生しやすくなるため、デコヒーレンス均一照明システムを用いる必要があり、放射装置100に小型モータを配置して位相変調素子、ビーム結合システム及びライトロッドを駆動する。具体的には、小型モータによって位相変調素子を駆動して回転軸を中心に一定の速度で回転させて、レーザー位相をリアルタイムに変調させ、変調された所定の光線をビーム結合システムによってライトロッドに入射し、入射ビームをライトロッドの内面で複数回反射及び混合し、ライトロッドの出力端に強度の均一なライトフィールドを出力して、所定の光線を均一に投射する。
【0031】
本開示の実施例では、平行光化装置200は少なくとも1つの複眼レンズを含み、複眼レンズは所定の光線を均一化処理し、均一化処理された所定の光線をパターン成形装置に投射する。
【0032】
図2に示される3次元スキャナの別の構造模式図についての具体的な説明を参照すると、平行光化装置200は第1複眼レンズ201と、第2複眼レンズ202とを含む。第1複眼レンズ201及び第2複眼レンズ202は放射装置100とパターン成形装置300との間に並列に設けられる。平行光化装置200によって所定の光線を均一化処理し、所定の光線をエネルギーの面で均一化することができ、それにより高い光エネルギー利用率及び広い面積の均一照明が得られ、均一な所定の光線を投射し、回折スポットの発生を回避するのに役立ち、光線の利用率を向上させる。
【0033】
本開示の実施例では、パターン成形装置300はカラーグレーティングフィルムであり、
カラーグレーティングフィルムは、前記均一化処理された所定の光線を透過して、ストライプ状に投射された構造化光パターンを生成することに用いられる。
【0034】
本開示の実施例では、投影装置10はストライプ状に投射された所定の光線を透過する投影レンズ400をさらに含んでもよい。
【0035】
本開示の実施例では、光路調整装置20は、投影レンズから投射された、ストライプ状に投射された所定の光線をターゲットオブジェクトに反射させる反射装置を含んでもよい。反射装置は反射ミラーであってもよく、具体的に反射機能を有する他の装置であってもよい。ターゲットオブジェクトは歯、歯肉などを含んでもよい。
【0036】
図2に示される3次元スキャナの別の構造模式図を参照すると、放射装置100から平行光化装置200までの光路伝送路に沿って、平行光化装置200の右側にカラーグレーティングフィルム300、投影レンズ400及び反射ミラー210が順次設けられる。
【0037】
具体的には、カラーグレーティングフィルム300にMASKパターンが設けられ、カラーグレーティングフィルム300のMASKパターンに含まれる色の種類は、透過された光線に含まれる波長域の種類に1対1に対応することができ、すなわちカラーグレーティングフィルム300のMASKパターンは少なくとも青色及び緑色を含んでもよく、透過された所定の光線に基づいてストライプ状に投射された所定の光線を生成し、さらに、ストライプ状に投射された所定の光線を投影レンズ400によって透過し、及びストライプ状に投射された所定の光線を集光し、それにより透過された所定の光線を反射ミラー210に投射し、反射ミラー210によって所定の光線の伝送路を変更し、伝送路が変更された所定の光線をターゲットオブジェクトに投射する。
【0038】
本開示の実施例では、画像収集装置30はダイクロイックプリズムと、白黒カメラと、カラーカメラとを含む。
【0039】
ダイクロイックプリズムは構造化光パターンを分光し、分光された一方の光線は単色光線であり、前記白黒カメラによって収集され、分光された他方の光線は前記カラーカメラによって収集される。具体的には、白黒カメラによって収集された単色光線は青色ストライプマップであってもよく、カラーカメラによって収集された他方の光線は緑色ストライプマップであってもよい。ダイクロイックプリズムは直角デュアルチャネルのダイクロイックプリズムであってもよく、ダイクロイック機能を有する他の形状のダイクロイックプリズムであってもよい。
【0040】
選択可能に、画像収集装置30はイメージングレンズをさらに含んでもよい。
【0041】
図2に示される3次元スキャナの別の構造模式図についての具体的な説明を参照すると、画像収集装置30は光路調整装置20の斜め下に設けられる。画像収集装置30はイメージングレンズ304と、ダイクロイックプリズム303と、白黒カメラ301と、カラーカメラ302とを含む。具体的には、ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置30のイメージングレンズ304に投射し、透過された構造化光パターンをダイクロイックプリズム303によって2つの光線に分割し、その一方の光線は青色ストライプマップであり、白黒カメラ301によって収集され、他方の光線は緑色ストライプマップであり、カラーカメラ302によって収集される。
【0042】
さらに、3次元スキャナは、構造化光パターンが分光された単色光線を収集した後に、分光された単色光線に基づいて3次元再構成を行う。具体的には、分光された青色ストライプマップ及び緑色ストライプマップに基づいて3次元再構成を行うことができる。
【0043】
本開示の実施例では、3次元スキャナは照明装置をさらに含んでもよい。照明装置はターゲットオブジェクトに白色光を投射することに用いられ、光路調整装置はさらに、白色光の伝送路を変更して白色光をターゲットオブジェクトに反射させることに用いられる。
【0044】
具体的には、照明装置は白色光光源と、集光レンズとを含んでもよい。白色光光源は白色光を放射することに用いられ、集光レンズは白色光を集光し、集光された白色光を光路調整装置に投射することに用いられる。
【0045】
さらに、ダイクロイックプリズムはさらに、ターゲットオブジェクトによって変調された白色光を分光することに用いられ、分光された一方の光線は単色テクスチャマップであり、白黒カメラによって収集され、分光された他方の光線はカラーカメラによって収集され、白色光が分光された2つのテクスチャマップはテクスチャ再構成に用いられる。具体的には、白色光が分光された2つのテクスチャマップは青色テクスチャマップ及び赤緑色テクスチャマップを含んでもよい。
【0046】
図2に示される3次元スキャナの別の構造模式図についての具体的な説明を参照すると、照明装置40は光路調整装置20の左下に設けられ、白色光光源401と、集光レンズ402とを含む。白色光光源401は白色光を放射することに用いられ、集光レンズ402は白色光を集光し、集光された白色光を光路調整装置20に投射することに用いられ、光路調整装置20によって白色光の伝送路を変更して白色光をターゲットオブジェクトに反射させる。さらに、ターゲットオブジェクトによって変調された露光を画像収集装置30のイメージングレンズ304に投射し、透過された構造化光パターンをダイクロイックプリズム303によって2つの光線に分割し、一方の光線は青色テクスチャマップであり、白黒カメラ301によって収集され、他方の光線は赤緑色テクスチャマップであり、カラーカメラ302によって収集される。
【0047】
さらに、3次元スキャナは、白色光が分光された単色光線を収集した後に、分光された2つのテクスチャマップに基づいてテクスチャ再構成を行う。具体的には、分光された青色テクスチャマップ及び赤緑色テクスチャマップに基づいてテクスチャ再構成を行うことができる。
【0048】
なお、3次元スキャナは、投影装置が所定の光線を放射するように制御し、照明装置が白色光を放射するように制御するタイミング制御回路をさらに含んでもよい。所定の光線及び白色光は同時に放射されてもよく、順次放射されてもよく、本実施例では、所定の光線を放射してから白色光を放射することが好ましい。
【0049】
本開示の実施例に係る3次元スキャナでは、収集された分光された複数の構造化光パターンは空間符号化形式に基づくため、単一の時刻で取得された2次元画像だけでターゲットオブジェクトの3次元再構成を実現することができ、動的投影の必要性がなくなり、3次元スキャナにおけるカメラのフレームレート及びアルゴリズム演算コストを大幅に低減させ、口腔内部の動的スキャンの速度を向上させ、3次元スキャナに必要なカメラのサイズも小さくさせ、口腔をスキャンして歯画像を取得することに適用でき、また、単一の時刻で取得された2次元画像だけでターゲットオブジェクトの3次元再構成を実現することができるため、3次元スキャナの再構成マップとテクスチャマップとの間の取得時間の差を短縮し、ターゲットオブジェクトの3次元再構成時に投影、撮影に必要な時間を短縮し、3次元スキャナは空間符号化情報として色を用いるため、色形式の空間符号化情報が認識されやすくなり、認識精度が向上する。また、生成された分光された複数の構造化光パターン内の単色光線(例えば青色ストライプ)、及び白色光が分光された単色光線(例えば青色テクスチャマップ)の色特徴が顕著になるため、青緑色ストライプ及び前記カラーストライプに基づいて3次元再構成を行い、及び、青色テクスチャマップ及び赤緑色テクスチャマップに基づいて3次元再構成を行い、再構成画像の画像品質を向上させることができ、歯の表面にエナメル質がある場合、3次元スキャナはエナメル質の反射光を分離して、エナメル質の反射光及び散乱光が再構成画像の品質に影響することを回避することもできる。
【0050】
<実施例2>
図3は3次元スキャンシステムの構造模式図を示す。
図3に示すように、該3次元スキャンシステムは3次元スキャナ1と、3次元スキャナ1と通信接続された画像処理機器2とを含む。
【0051】
3次元スキャナ1は投影装置と、画像収集装置と、光路調整装置とを含み、前記投影装置は放射装置と、平行光化装置と、パターン成形装置とを含む。
【0052】
3次元スキャナ1は、放射装置によって所定の光線を放射し、平行光化によって所定の光線を均一化処理し、均一化処理された所定の光線をパターン成形装置によって構造化光パターンで投射し、光路調整装置によって構造化光パターンの伝送路を変更して構造化光パターンをターゲットオブジェクトに投射させ、ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置に投射し、画像収集装置によって、ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集して3次元再構成に用い、所定の光線は少なくとも2種類の単色光線を含み、
画像処理機器2は、3次元スキャナによってスキャンされた分光された複数の構造化光パターンを受信し、分光された複数の構造化光パターンに基づいて3次元再構成を行う。
【0053】
選択可能に、3次元スキャナ1の放射装置は少なくとも2組の光源モジュールと、少なくとも1つの色合成装置とを含み、
各組の光源モジュールは1種類の単色光線を放射することに用いられ、
色合成装置は少なくとも2組の光源モジュールから放射された光線を1つの光路に合成することに用いられる。
【0054】
選択可能に、3次元スキャナ1の平行光化装置は少なくとも1つの複眼レンズを含み、
複眼レンズは所定の光線を均一化処理し、均一化処理された所定の光線を前記パターン成形装置に投射する。
【0055】
選択可能に、3次元スキャナ1のパターン成形装置はカラーグレーティングフィルムであり、
カラーグレーティングフィルムは、均一化処理された所定の光線を透過して、ストライプ状に投射された構造化光パターンを生成することに用いられる。
【0056】
選択可能に、3次元スキャナ1の画像収集装置はダイクロイックプリズムと、カラーカメラと、白黒カメラとを含み、
ダイクロイックプリズムは構造化光パターンを分光し、分光された一方の光線は単色光線であり、前記白黒カメラによって収集され、分光された他方の光線は前記カラーカメラによって収集される。
【0057】
選択可能に、3次元スキャナは照明装置をさらに含み、
照明装置はターゲットオブジェクトに白色光を投射し、
光路調整装置はさらに、白色光の伝送路を変更して白色光を前記ターゲットオブジェクトに反射させることに用いられ、
画像収集装置はさらに、ターゲットオブジェクトによって変調された白色光を分光し、白色光が分光された2つの光線をマルチカメラによって収集することに用いられ、
これに応じて、画像処理機器2はさらに、白色光が分光された2つの光線に基づいてテクスチャ再構成を行うことに用いられる。
【0058】
さらに、口腔内部の全ての歯及び歯肉データを取得するために、決定された各フレームの3次元再構成マップ及び各フレームのテクスチャ再構成マップをスティッチングする必要がある。これにより、画像処理機器2はさらに、3次元再構成された3次元再構成画像をスティッチングして、ターゲットオブジェクトのターゲット再構成画像を得て、テクスチャ再構成されたテクスチャ再構成画像をマッピングして、ターゲットオブジェクトのターゲットテクスチャ画像を得ることに用いられる。
【0059】
具体的には、3次元再構成マップの画像情報に基づいて、3次元再構成マップをスティッチングして、ターゲットオブジェクトの3次元再構成画像を得て、テクスチャ再構成マップのテクスチャ情報に基づいて、テクスチャ再構成マップをマッピングして、ターゲットに対応するテクスチャ再構成マップを得る。画像情報は、3次元再構成マップ又はテクスチャ再構成マップの階調値、及び形態特徴を含むが、これらに限定されない。
【0060】
本実施例に係る技術的解決手段では、3次元スキャナは空間符号化情報として色を用いるため、色形式の空間符号化情報が認識されやすくなり、認識精度が向上し、単一の時刻での2次元画像だけでターゲットオブジェクトの3次元再構成及びテクスチャ再構成を実現することができ、3次元再構成及びテクスチャ再構成の再構成効率、及び再構成画像の画像品質を向上させることができる。生成された3次元再構成マップ及びテクスチャ再構成マップの画像品質が高く、生成速度が速いため、画像スティッチング及びテクスチャスティッチングの効率、及びスティッチング精度を向上させることができる。
【0061】
図2に示される3次元スキャナの構造模式図を参照して、上記記述を例示的に説明する。
図2に示すように、該3次元スキャナ1は投影装置と、照明装置と、画像収集装置と、光路調整装置とを含み、前記投影装置は放射装置と、平行光化装置と、パターン成形装置と、投影レンズとを含む。
【0062】
放射装置は2つの光源モジュールと、1つの色合成装置とを含む。2つの光源モジュールのうちの一方は青色光を投射するための青色光源モジュールであり、他方は緑色光を投射するための緑色光源モジュールであり、青色光源モジュールは青色光源と、シリンドリカルレンズとを含み、緑色光源モジュールは緑色光源と、シリンドリカルレンズとを含む。色合成装置は色合成ミラーであり、青色光源モジュールは色合成ミラーの一方の面に向けられ、緑色光源モジュールは色合成ミラーの他方の面に向けられ、緑色光源モジュールから投射された緑色光線及び青色光源モジュールから投射された青色光線が色合成ミラーに伝送され、色合成ミラーによって1つの光路に合成され、すなわち青緑色光線が合成される。平行光化装置は第1複眼レンズと、第2複眼レンズとを含む。パターン成形装置はカラーグレーティングフィルムである。
【0063】
照明装置は白色光光源と、集光レンズとを含む。
【0064】
画像収集装置はイメージングレンズと、ダイクロイックプリズムと、カラーカメラと、白黒カメラとを含む。ダイクロイックプリズムは直角デュアルチャネルのダイクロイックプリズムであり、その一方のチャネルは青色光チャネルであり、他方のチャネルは赤緑色光チャネルである。カラーカメラは、直角デュアルチャネルのダイクロイックプリズムの赤緑色光チャネルに対応する面に向けられ、白黒カメラは、直角デュアルチャネルのダイクロイックプリズムの青色光チャネルに対応する面に向けられる。
【0065】
光路調整装置は反射ミラーである。投影装置、照明装置及び画像収集装置はいずれも光路調整装置に向けられる。
【0066】
青色光源モジュールと緑色光源モジュールは同期して動作して投射し、青色光源モジュールから投射された青色光線、及び緑色光源モジュールから投射された緑色光線の2つの光線は、色合成ミラーによって1つの青緑色光線に合成され、該青緑色光線は第1複眼レンズ、第2複眼レンズ、カラーグレーティングフィルム、投影レンズ及び反射ミラーに順次伝送されて、青緑色ストライプ構造化光パターンの形で外部に投射される。すなわち放射装置は青緑色ストライプ構造化光パターンを投射する。
【0067】
放射装置は青緑色ストライプ構造化光パターンを投射し、青緑色ストライプ構造化光パターンは反射ミラーによってターゲットオブジェクトに反射され、ターゲットオブジェクトによって変調変形される。ターゲットオブジェクトの表面画像は、反射ミラーによって反射されて画像収集装置に伝送される。
【0068】
ターゲットオブジェクトの表面画像は、イメージングレンズ及び直角デュアルチャネルのダイクロイックプリズムに順次伝送され、直角デュアルチャネルのダイクロイックプリズムはターゲットオブジェクトの表面画像を分光し、青色光線は青色光チャネルを通って白黒カメラに伝送され、白黒カメラは変形された青色ストライプ構造化光パターンを取得し、緑色光線は赤緑色光チャネルを通ってカラーカメラに伝送され、カラーカメラは変形された緑色ストライプ構造化光パターンを取得する。
【0069】
白色光光源は動作して投射し、反射ミラーによってターゲットオブジェクトに反射する。ターゲットオブジェクトの表面画像は反射ミラーによって反射されて画像収集装置に伝送される。
【0070】
ターゲットオブジェクトの表面画像は、イメージングレンズ及び直角デュアルチャネルのダイクロイックプリズムに順次伝送され、直角デュアルチャネルのダイクロイックプリズムはターゲットオブジェクトの表面画像を分光し、青色光線は青色光チャネルを通って白黒カメラに伝送され、白黒カメラは青色テクスチャマップを取得し、赤緑色光線は赤緑色光チャネルを通ってカラーカメラに伝送され、カラーカメラは赤緑色テクスチャマップを取得する。
【0071】
放射装置と照明装置は交互に動作して投射し、画像収集装置と放射装置は同期して動作し、画像収集装置と照明装置は同期して動作する。
【0072】
3次元スキャンシステムは、3次元スキャナと、前記3次元スキャナと通信接続された画像処理機器とを含む。画像処理機器は、3次元スキャナによって収集された青色ストライプ構造化光パターン及び緑色ストライプ構造化光パターンを取得して3次元再構成を行い、画像処理機器は、3次元スキャナによって収集された青色テクスチャマップ及び赤緑色テクスチャマップを取得してテクスチャ再構成を行う。
【0073】
画像処理機器には、3次元スキャナの校正パラメータ、符号化規則及び青緑色ストライプ構造化光パターンの符号化テーブルが予め設定される。校正パラメータには、放射装置及び画像収集装置の内部パラメータと外部パラメータ、青緑色ストライプ構造化光パターン内の各ストライプの光面などが含まれる。
【0074】
画像処理機器はターゲットオブジェクトのトゥルーカラー3次元再構成を行うために以下の方法を実行する。
【0075】
3次元スキャナによって収集された青色ストライプ構造化光パターン及び緑色ストライプ構造化光パターンを取得し、
所定の符号化規則を取得し、
所定の符号化規則に従って青色ストライプ構造化光パターンの符号化テーブルを決定し、
所定の符号化規則に従って緑色ストライプ構造化光パターンの符号化テーブルを決定し、
青色ストライプ構造化光パターンの符号化テーブル及び緑色ストライプ構造化光パターンの符号化テーブルを同じ位置の画素に基づいて組み合わせて、組み合わせた符号化テーブルを決定し、
所定の青緑色ストライプ構造化光パターンの符号化テーブルを取得し、
組み合わせた符号化テーブルと所定の青緑色ストライプ構造化光パターンの符号化テーブルとをマッチングして、青色ストライプ構造化光パターン内の各ストライプに対応する光面を決定し、
放射装置及び画像収集装置の内部パラメータと外部パラメータを取得し、
青色ストライプ構造化光パターン、青色ストライプ構造化光パターン内の各ストライプに対応する光面、及び放射装置及び画像収集装置の内部パラメータと外部パラメータによってターゲットオブジェクトの点群を3次元再構成し、
3次元スキャナによって収集された青色テクスチャマップ及び赤緑色テクスチャマップを取得し、
同じ位置の画素に基づいて青色テクスチャマップ及び赤緑色テクスチャマップを組み合わせて、トゥルーカラーテクスチャマップを決定し、
青色ストライプ構造化光パターン及びテクスチャマップの同じ位置の画素に基づいて点群及びトゥルーカラーテクスチャマップに対してテクスチャマッピングを行って、ターゲットオブジェクトのトゥルーカラー3次元モデルを取得する。
【0076】
<実施例3>
図4は3次元再構成法のフローチャートを示す。該3次元再構成法は上記実施例に記載の画像処理機器に適用される。画像処理機器は、デスクトップコンピュータ、携帯電話、ノートパソコンなどの端末機器であってもよい。
図4に示すように、該3次元再構成法は以下のステップを含む。
【0077】
S310、3次元スキャナによってスキャンされた分光された複数の構造化光パターンを取得する。
【0078】
上記実施例に記載されるように、3次元スキャナは投影装置と、画像収集装置と、光路調整装置とを含み、投影装置は放射装置と、平行光化装置と、パターン成形装置とを含み、放射装置は少なくとも2種類の単色光線を含む所定の光線を放射することに用いられ、平行光化装置は所定の光線を均一化処理することに用いられ、パターン成形装置は均一化処理された所定の光線を構造化光パターンで投射することに用いられ、光路調整装置は、構造化光パターンの伝送路を変更して構造化光パターンをターゲットオブジェクトに投射させ、ターゲットオブジェクトによって変調された構造化光パターンを画像収集装置に投射することに用いられ、画像収集装置は、ターゲットオブジェクトによって変調された構造化光パターンを分光し、分光された複数の構造化光パターンを異なるカメラによって収集する。
【0079】
さらに、3次元スキャナは、カメラによって収集された分光された複数の構造化光パターンを画像処理機器に送信し、画像処理機器は分光された複数の構造化光パターンを処理して、3次元再構成を行う。
【0080】
S320、所定の符号化規則、所定の構造化光ストライプマップの符号化テーブル及び分光された複数の構造化光パターンに基づいて、3次元再構成を行う。
【0081】
本開示の実施例では、3次元再構成方法は、前記所定の符号化規則に基づいて構造化光パターンが分光された各光線に対応するコードを決定して、各光線に対応する符号化テーブルを得るステップと、各光線に対応する符号化テーブルのうちの同じ画素座標でのコードを組み合わせて、組み合わせた符号化テーブルを得るステップと、組み合わせた符号化テーブルと前記所定の構造化光ストライプマップの符号化テーブルとをマッチングして、各光線に対応する光面を決定するステップと、前記各光線に対応する光面に基づいて3次元再構成を行うステップとを含む。
【0082】
本開示の実施例では、分光された2つの光線がそれぞれ青色ストライプマップ及び緑色ストライプマップである場合、上記3次元再構成過程の具体的なステップは、所定の符号化規則に基づいて青色ストライプマップのストライプ中心線での各画素に対応するコードを決定して、青色ストライプマップの符号化テーブルを取得し、所定の符号化規則に基づいて緑色ストライプマップのストライプ中心線での各画素に対応するコードを決定して、緑色ストライプマップの符号化テーブルを取得することと、青色ストライプマップの符号化テーブル及び緑色ストライプマップの符号化テーブルのうちの同じ画素座標でのコードを組み合わせて、組み合わせた符号化テーブルを得て、組み合わせた符号化テーブルと所定の構造化光ストライプマップの符号化テーブルとをマッチングして、青色ストライプマップ内の各ストライプに対応する光面及び緑色ストライプマップ内の各ストライプに対応する光面を決定することと、青色ストライプマップ内の各ストライプ及び対応する光面、及び緑色ストライプマップ内の各ストライプに対応する光面に基づいて3次元再構成を行うことと、である。
【0083】
例示的には、所定の符号化規則はR=0、G=1、B=2であってもよく、赤、赤、赤、緑、赤、青、青、赤、緑、緑、赤、緑、青、赤、青、緑、赤、青、青、緑、緑、緑、青、赤、青、青、緑の順に配置された27個のストライプについて、符号化シーケンスは、{0,0,0,1,0,2,2,0,1,1,0,1,2,0,2,1,0,2,2,1,1,1,2,0,2,2,1}である。該符号化シーケンスでは、任意の連続する3つのコードで構成されるシーケンスはいずれも一意である。例えば、1番目の3桁のシーケンス{0,0,0}、2番目の3桁のシーケンス{0,0,1}、…、最後の3桁のシーケンス{2,2,1}であり、これにより、各3桁のシーケンスは、符号化シーケンス全体で1回しか発生しない。各コードは1種類の色のストライプに対応することができ、各3桁のシーケンスは基礎シーケンスのうちの1つのストライプに対応することができ、すなわち1つのストライプの符号化値であり、該ストライプの認識位置決めに用いられ、該シーケンスは27個のストライプに対応する。
【0084】
本開示の実施例では、該シーケンスにおける3桁のシーケンスはそのうちの1つのストライプに対応し、該ストライプの符号化値とされている。{0,0,0}は上記ストライプシーケンスのうちの1番目のストライプの符号化値であり、{0,0,1}は上記ストライプシーケンスのうちの2番目のストライプの符号化値であり、このように、連続する3桁の符号化値を1番目の符号化値に対応するストライプの番号とする。現在、連続する3桁の符号化値を2番目の符号化値又は3番目の符号化値に対応するストライプの番号とすることもでき、すなわち、{0,0,0}は上記ストライプシーケンスのうちの2番目のストライプの符号化値又は3番目のストライプの符号化値である。
【0085】
なお、青色ストライプマップの符号化テーブル及び所定の緑色ストライプマップの符号化テーブルはそれぞれ1つの標準的な光面に対応し、標準的な光面は予め決定され得る。これにより、得られた青色ストライプのストライプ中心線での各画素に対応するコードと青色ストライプマップの符号化テーブルとをマッチングした後に、マッチング結果及び標準的な光面に基づいて、青色ストライプに対応する光面を決定し、同様に、得られた緑色ストライプのストライプ中心線での各画素に対応するコードと緑色ストライプマップの符号化テーブルとをマッチングした後に、マッチング結果及び標準的な光面に基づいて、緑色ストライプに対応する光面を決定する。
【0086】
なお、上記したのは、3次元スキャナの画像収集装置が単眼装置であるときの再構成法である。3次元スキャナの画像収集装置が両眼装置である場合、3次元スキャナによって左右画像を取得し、左右画像内の各ストライプの番号に基づいて対応するストライプを決定し、左右画像内の各ストライプ及び校正カメラパラメータに基づいて、青色ストライプ及び緑色ストライプに対して3次元再構成をそれぞれ行う。具体的には、左右カメラの光学的中心、青色ストライプマップ内のストライプ中心線での各画素に対応するコード及び校正カメラパラメータに基づいて、青色ストライプマップに対応する光面を決定し、青色ストライプに対応する光面に基づいて3次元再構成を行い、同様に、左右カメラの光学的中心、緑色ストライプマップ内のストライプ中心線での各画素に対応するコード及び校正カメラパラメータに基づいて、緑色ストライプマップに対応する光面を決定し、緑色ストライプに対応する光面に基づいて3次元再構成を行う。
【0087】
さらに、該方法は、3次元スキャナによってスキャンされた、白色光が分光された2つの光線を取得するステップと、白色光が分光された前記2つの光線及び前記分光された複数の構造化光パターンに基づいて、テクスチャ再構成を行うステップとをさらに含む。
【0088】
本開示の実施例では、白色光が分光された前記2つの光線及び前記分光された複数の構造化光パターンに基づいて、テクスチャ再構成を行うステップは、白色光が分光された2つの光線に対応するテクスチャマップ内の画素間の対応関係に基づいて、第1テクスチャ再構成画像を生成するステップと、構造化光パターンが分光された各光線及び前記第1テクスチャ再構成画像に基づいて、テクスチャ情報を有する第2テクスチャ再構成画像を生成するステップとを含んでもよい。
【0089】
本開示の実施例では、白色光が分光された2つの光線がそれぞれ青色テクスチャマップ及び赤緑色テクスチャマップである場合、上記テクスチャ再構成過程の具体的なステップは、青色テクスチャマップと赤緑色テクスチャマップの画素対応関係に基づいて、白色光テクスチャマップの各画素に対応するテクスチャを合成することと、青色ストライプ、緑色ストライプと白色光テクスチャマップの画素対応関係に基づいて、テクスチャ情報を有する3次元データを合成することと、である。
【0090】
本実施例の技術的解決手段では、3次元スキャナは空間符号化情報として色を用いるため、色形式の空間符号化情報が認識されやすくなり、認識精度が向上し、1フレームの2次元画像だけでターゲットオブジェクトの3次元再構成及びテクスチャ再構成を実現することができ、3次元再構成及びテクスチャ再構成の再構成効率及び再構成画像の画像品質を向上させることができる。そして、所定の符号化規則及び所定の構造化光ストライプマップの符号化テーブルに基づいて3次元再構成を行い、及び、白色光が分光された2つの光線に対応するテクスチャマップ内の画素間の対応関係及び構造化光パターンが分光された各光線に基づいて、テクスチャ再構成を行い、高品質の3次元再構成マップ及びテクスチャ再構成マップを迅速に生成することができ、また、生成された3次元再構成マップ及びテクスチャ再構成マップの画像品質が高く、生成速度が速いため、画像スティッチング及びテクスチャスティッチングの効率、及びスティッチング精度を向上させることができる。
【0091】
<実施例4>
本実施例はコンピュータ実行可能命令を含む記憶媒体を提供し、コンピュータ実行可能命令はコンピュータプロセッサによって実行されるときに、3次元再構成法を実行することに用いられ、該方法は、
3次元スキャナによってスキャンされた分光された複数の構造化光パターンを取得するステップと、
所定の符号化規則、所定の構造化光ストライプマップの符号化テーブル及び前記分光された複数の構造化光パターンに基づいて、3次元再構成を行うステップとを含む。
【0092】
もちろん、本開示の実施例に係るコンピュータ実行可能命令を含む記憶媒体では、そのコンピュータ実行可能命令は上記方法操作に限定されず、本開示の任意の実施例に係る3次元再構成法の関連操作を実行することもできる。
【0093】
上記実施形態についての説明により、当業者は、本開示がソフトウェア及び必要な汎用ハードウェアによって実現でき、もちろんハードウェアによっても実現できるが、多くの場合には前者がより好ましい実施形態であることを明確に理解できる。このような理解に基づき、本開示の技術的解決手段は本質的に、又は従来技術に貢献する部分は、ソフトウェア製品の形態で具現化され得る。該コンピュータソフトウェア製品は、例えばコンピュータのフロッピーディスク、読み取り専用メモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、フラッシュメモリ(FLASH)、ハードディスク又は光ディスクなどのコンピュータ可読記憶媒体に記憶することができ、1台のコンピュータ機器(パーソナルコンピュータ、サーバ、又はネットワーク機器など)に本開示の各実施例に係る3次元再構成法を実行させるための複数の命令を含む。
【0094】
なお、上記は、本開示の好ましい実施例及び使用される技術原理に過ぎない。当業者は、本開示が本明細書に記載される特定の実施例に限定されず、本開示の保護範囲から逸脱することなく、当業者において様々な明らかな変化、再調整及び置換が可能であることを理解できる。従って、本開示は上記実施例によって詳細に説明されたが、本開示は上記実施例に限定されるものではなく、本開示の構想から逸脱することなく、より多くの他の同等の実施例も含むことができ、本開示の範囲は添付の特許請求の範囲によって決定される。
【産業上の利用可能性】
【0095】
本開示に係る3次元スキャナは、3次元再構成法に必要なハードウェアコストを削減することを実現し、単一の時刻で取得された2次元画像だけで3次元再構成を行うことができ、画像の再構成効率を大幅に向上させ、工業実用性が高い。
【国際調査報告】