知財求人 - 知財ポータルサイト「IP Force」
特表2024-502064投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-17
(54)【発明の名称】投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステム
(51)【国際特許分類】
G01B 11/25 20060101AFI20240110BHJP
【ＦＩ】
G01B11/25 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023540478
(86)(22)【出願日】2021-12-17
(85)【翻訳文提出日】2023-08-30
(86)【国際出願番号】 CN2021139304
(87)【国際公開番号】W WO2022143232
(87)【国際公開日】2022-07-07
(31)【優先権主張番号】202011626487.6
(32)【優先日】2020-12-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518283252
【氏名又は名称】先臨三維科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＳＨＩＮＩＮＧ ３Ｄ ＴＥＣＨ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． １３９８，Ｘｉａｎｇｂｉｎ Ｒｏａｄ，Ｗｅｎｙａｎ Ｓｕｂｄｉｓｔｒｉｃｔ，Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ ３１１２５８ （ＣＮ）
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】陳 瀚
(72)【発明者】
【氏名】趙 暁波
(72)【発明者】
【氏名】黄 磊杰
(72)【発明者】
【氏名】馬 超
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA04
2F065AA53
2F065DD03
2F065FF04
2F065FF51
2F065HH07
2F065JJ26
2F065QQ23
(57)【要約】
本開示は、カラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムに関する。該カラー投影モジュールは、測定対象物の表面にカラーストライプパターンを投影するように構成される。ここで、カラーストライプパターンは、周期的に繰り返されるｍ個のベースストライプシーケンスを含み、ｍは正整数であり、ベースストライプシーケンスは、ｋ種類の異なる色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数である。その結果、周期的に繰り返されるカラーストライプを用いてストライプのコード化および対応する復号を達成し、これによりストライプの色の数および復号に必要なストライプの数を低減し、復号安定性の向上、構造の簡素化、走査効率の向上に役立つ。
【特許請求の範囲】
【請求項1】
測定対象物の表面にカラーストライプパターンを投影するように構成される投影モジュールであって、前記カラーストライプパターンは、周期的に繰り返されるｍ個（ｍは正整数）のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、ｋ種類の色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数である、投影モジュール。
【請求項2】
前記ベースストライプシーケンスは、デブルーインシーケンスに基づいて配列される、請求項１に記載のカラー投影モジュール。
【請求項3】
２つの隣接する前記サイクルでは、ストライプ間隔の少なくとも一部が異なる、請求項１に記載のカラー投影モジュール。
【請求項4】
同一の前記サイクルでは、ストライプ間隔の少なくとも一部が異なる、請求項１に記載のカラー投影モジュール。
【請求項5】
ｋの値が３とされ、またはｎの値が３とされ、またはｋの値およびｎの値がいずれも３とされる、請求項１に記載のカラー投影モジュール。
【請求項6】
３つの互いに異なる色は、それぞれ赤、緑および青である、請求項５に記載のカラー投影モジュール。
【請求項7】
請求項１～６のいずれか１項に記載のカラー投影モジュールによって測定対象物の表面に投影された後にカメラモジュールによって撮影されたストライプパターンを復号するカラーストライプの復号方法であって、測定対象物の表面におけるストライプパターンを取得するステップと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するステップと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップと、
各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定するステップと、を含む、復号方法。
【請求項8】
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップは、プリセットカラーコード、前記ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定するステップと、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とするステップと、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定するステップと、
各サイクルのプリセットピクセル座標範囲を取得するステップと、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定するステップと、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するステップと、を含む、請求項７に記載の復号方法。
【請求項9】
前記三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを決定するステップと、復号がずれている場合に、対応する三次元点座標を修正して更新するステップと、をさらに含む、請求項８に記載の復号方法。
【請求項10】
各ストライプの番号に基づいて各ストライプを三次元的に再構成する前記ステップは、前記番号に基づいて、対応する光平面を決定するステップと、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む、請求項７に記載の復号方法。
【請求項11】
請求項７～１０のいずれか１項に記載の復号方法を実行するように構成されるカラーストライプの復号装置であって、測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュールと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュールと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュールと、
前記各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュールと、を備える、復号装置。
【請求項12】
前記番号決定モジュールは、プリセットカラーコード、前記ピクセル座標および前記対応する色に基づいて、各ストライプに対応するカラーコードを決定し、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とし、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定し、
各サイクルのプリセットピクセル座標範囲を取得し、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するように構成される、請求項１１に記載の復号装置。
【請求項13】
プロセッサによって実行されると、プロセッサに請求項７～１０のいずれか１項に記載の復号方法を実施させるコンピュータプログラムが記憶されている、コンピュータ可読記憶媒体。
【請求項14】
電子デバイスであって、プロセッサと、
実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して請求項７～１０のいずれか１項に記載の復号方法を実行するように構成される電子デバイス。
【請求項15】
プリセット角度をなすカラー投影モジュールおよびカメラモジュールを備える、カラーストライプコード化構造光に基づく三次元測定システムであって、前記カラー投影モジュールは、請求項１～６のいずれか１項に記載のカラー投影モジュールを用いて、測定対象物の表面にカラーストライプパターンを投影するように構成され、
前記カメラモジュールは、前記測定対象物の表面によって変調されたストライプパターンを取得するように構成され、
前記ストライプパターンでは、各サイクル間にストライプの重複領域が現れない、カラーストライプコード化構造光に基づく三次元測定システム。
【請求項16】
前記カラー投影モジュールおよび前記カメラモジュールは、同一の口腔内スキャナー内に配置される、請求項１５に記載のシステム。
【請求項17】
前記ストライプパターンを受信し、請求項７～１０のいずれか１項に記載の復号方法を実行するように構成されるデータ処理モジュールをさらに備える、請求項１５に記載のシステム。
【請求項18】
前記カラー投影モジュールは、ＤＬＰ、ＬＣＯＳまたは透過投影などの手段によって実現され、前記カメラモジュールは、
１つのカラー画像センサーを備えるか、または、
分光システムおよび少なくとも２つの画像取得センサーを備える、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
＜関連出願の相互参照＞
本開示は、２０２０年１２月３１日に中国特許庁に出願された中国特許出願第２０２０１１６２６４８７．６号の「カラー投影モジュール、ストライプ復号方法、装置、媒体、デバイスおよびシステム」の優先権を主張し、その内容全体は参照によって本開示に援用される。
本開示は、２０２０年１２月３１日に中国特許庁に出願された中国特許出願第２０２０１１６２６４８７．６号の「カラー投影モジュール、ストライプ復号方法、装置、媒体、デバイスおよびシステム」の優先権を主張し、その内容全体は参照によって本開示に援用される。
【0002】
本開示は、三次元測定の技術分野に関し、特に、カラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムに関する。
【背景技術】
【0003】
近年、構造光三次元測定技術は、急速に発展し、非接触、高精度、高効率などの測定特性に依存して、工業検査、補助医療、電子デバイス、文化財の修復などの分野で広く利用されている。構造光三次元測定技術は、コード化パターンを測定対象物の表面に投影し、物体の表面形状によって変調されたコード化パターンを収集および解析することによって、物体の実際の三次元形状を取得する三次元再構成技術である。構造光三次元測定技術は、投影されるコード化パターンの数によって、シングルフレーム構造光とマルチフレーム構造光に分けることができる。ここで、マルチフレーム構造光技術は、複数フレームのコード化パターンを連続的に投影する必要があり、物体の移動速度または走査速度に一定の要件があり、リアルタイムで高いフレームレートを実現できず、対応する構造も複雑で、投影デバイスも高価である。シングルフレーム構造光技術は、測定対象物の表面に１枚のコード化パターンを投影すればよく、高速でコード化パターンを変更する必要がなく、構造がシンプルで価格が低く、広く研究されている。
【0004】
シングルフレーム構造光技術として、カラーストライプコード化構造光技術は、優れた耐干渉性と高精度などの利点により、複雑な物体の高精度測定によく利用されている。該技術の特徴は、複数のカラー色のコード化ストライプを物体に投影し、隣接する複数のストライプの色情報から現在のストライプの番号情報を一意に復号し、最終的にそれらを正しく照合することで物体表面の三次元点座標を算出することである。単一画像上の各ストライプのコード化一意性を確保するために、ストライプの色の数ｋと、単一ストライプを復号するために設定されるストライプの数ｎ（以下、単に復号幅という）には、単一画像上のストライプ総数がｋｎ未満を満たす必要があるという厳しい条件がある。従来のカラーストライプコード化技術では、画像全体におけるストライプコード化の一意性を確保するために、より多くのストライプ色が使用されるか、復号に多くのストライプが必要である（少なくとも５つのストライプ色、または復号には少なくとも４本のストライプが必要である）。しかしながら、ストライプの色の種類が多いほど、物体の表面テクスチャによる干渉が大きくなり、復号が不安定になり、また、単一ストライプを復号するのに必要なストライプの数が多いほど、物体表面の不連続面からの干渉が大きくなり、復号のエラー率が高くなり、小さな物体を再構成することが困難になる。したがって、従来のカラーストライプコード化技術は、ほとんどが単一画像上の各ストライプコード化の一意性に制限され、その結果、ストライプの色が多いか、復号幅が大きく、復号が不安定で再構成の完全性が低いため、走査効率が大幅に制限される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示が解決しようとする課題は、従来のカラーストライプコード化技術では、ストライプの色の種類が多いか、または復号幅が大きく、復号が不安定で、再構成の完全性が低いため、走査効率が大きく制限されるという問題を解決することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示の実施例は、単一画像でのコード化が周期的に繰り返し可能なカラーストライプコード化構造光三次元測定技術を提案し、ストライプの色の数および復号幅を大幅に低減させ、走査効率を向上させるカラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムを提供する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるｍ個（ｍは正整数）のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、ｋ種類の異なる色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数であるカラー投影モジュールを提供する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるｍ個（ｍは正整数）のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、ｋ種類の異なる色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数であるカラー投影モジュールを提供する。
【0007】
いくつかの実施例において、前記ベースストライプシーケンスは、ｋ要素のｎ次デブルーインシーケンスに基づいて配列される。
【0008】
いくつかの実施例において、２つの隣接する前記サイクル（周期）では、ストライプ間隔の少なくとも一部が異なる。
【0009】
いくつかの実施例において、同一の前記サイクルでは、ストライプ間隔の少なくとも一部が異なる。
【0010】
いくつかの実施例において、ｋの値が３とされ、またはｎの値が３とされ、またはｋの値およびｎの値がいずれも３とされる。
【0011】
いくつかの実施例において、３つの互いに異なる色は、それぞれ赤、緑および青である。
【0012】
いくつかの実施例において、前記モジュールは、３色光源、ミラーアレイ、および制御システムを備える。
【0013】
前記制御システムは、ミラーが対応する色の光を反射して前記プリセットカラーストライプパターンを投影するように、前記ミラーアレイ内の各ミラーの角度を調整するように構成される。
【0014】
いくつかの実施例において、前記モジュールは、３色光源およびＭＲＳＫコードを含む。
【0015】
前記３色光源からの光は、ＭＲＳＫコードを介して前記プリセットカラーストライプパターンを投影する。
【0016】
本開示は、上記いずれかのカラー投影モジュールによって測定対象物の表面に投影された後にカメラモジュールによって取得されたストライプパターンを復号するカラーストライプの復号方法であって、
測定対象物の表面におけるストライプパターンを取得するステップと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するステップと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップと、
各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定するステップと、を含む復号方法を提供する。
測定対象物の表面におけるストライプパターンを取得するステップと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するステップと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップと、
各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定するステップと、を含む復号方法を提供する。
【0017】
いくつかの実施例において、前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップは、
プリセットカラーコード、前記ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定するステップと、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とするステップと、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定するステップと、
各サイクルのプリセットピクセル座標範囲を取得するステップと、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定するステップと、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するステップと、を含む。
プリセットカラーコード、前記ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定するステップと、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とするステップと、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定するステップと、
各サイクルのプリセットピクセル座標範囲を取得するステップと、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定するステップと、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するステップと、を含む。
【0018】
いくつかの実施例において、該復号方法は、
前記三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを決定するステップと、
復号がずれている場合、対応する三次元点座標を修正して更新するステップと、をさらに含む。
前記三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを決定するステップと、
復号がずれている場合、対応する三次元点座標を修正して更新するステップと、をさらに含む。
【0019】
いくつかの実施例において、各ストライプの番号に基づいて各ストライプを三次元的に再構成する前記ステップは、
前記番号に基づいて、対応する光平面を決定するステップと、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
前記番号に基づいて、対応する光平面を決定するステップと、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
【0020】
本開示は、上記復号方法のいずれかを実行するように構成されたカラーストライプの復号装置であって、
測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュールと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュールと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュールと、
各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュールと、を備える復号装置を提供する。
測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュールと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュールと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュールと、
各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュールと、を備える復号装置を提供する。
【0021】
いくつかの実施例において、前記番号決定モジュールは、
プリセットカラーコード、前記ピクセル座標および前記対応する色に基づいて、各ストライプに対応するカラーコードを決定し、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とし、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定し、
各サイクルのプリセットピクセル座標範囲を取得し、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
プリセットカラーコード、前記ピクセル座標および前記対応する色に基づいて、各ストライプに対応するカラーコードを決定し、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とし、
各ストライプの前記コード化値に基づいて、単一の前記ベースコード化シーケンスにおける各ストライプの番号を決定し、
各サイクルのプリセットピクセル座標範囲を取得し、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、
単一の前記ベースコード化シーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
【0022】
いくつかの実施例において、前記三次元点座標決定モジュールは、
前記番号に基づいて、対応する光平面を決定し、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
前記番号に基づいて、対応する光平面を決定し、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
【0023】
いくつかの実施例において、該復号装置は、
前記三次元点の連続性に基づいて、現在のストライプに対する復号がずれているか否かを決定するように構成される復号エラー識別モジュールと、
復号がずれている場合に、対応する三次元点座標を修正して更新するように構成される復号エラー補正モジュールと、をさらに備える。
前記三次元点の連続性に基づいて、現在のストライプに対する復号がずれているか否かを決定するように構成される復号エラー識別モジュールと、
復号がずれている場合に、対応する三次元点座標を修正して更新するように構成される復号エラー補正モジュールと、をさらに備える。
【0024】
本開示は、プロセッサによって実行されると、プロセッサに上記いずれかの復号方法を実施させるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。
【0025】
本開示は、プロセッサと、
実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して上記復号方法のいずれかを実行するように構成される電子デバイスをさらに提供する。
実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して上記復号方法のいずれかを実行するように構成される電子デバイスをさらに提供する。
【0026】
本開示は、プリセット角度をなすカラー投影モジュール、およびカメラモジュールを備える、カラーストライプコード化構造光に基づく三次元測定システムであって、
前記カラー投影モジュールは、上記カラー投影モジュールのいずれかを用いて、測定対象物の表面にカラーストライプパターンを投影するように構成され、
前記カメラモジュールは、前記測定対象物の表面によって変調されたストライプパターンを取得するように構成され、前記ストライプパターンでは、各サイクル間にストライプの重複領域が現れないカラーストライプコード化構造光に基づく三次元測定システムをさらに提供する。
前記カラー投影モジュールは、上記カラー投影モジュールのいずれかを用いて、測定対象物の表面にカラーストライプパターンを投影するように構成され、
前記カメラモジュールは、前記測定対象物の表面によって変調されたストライプパターンを取得するように構成され、前記ストライプパターンでは、各サイクル間にストライプの重複領域が現れないカラーストライプコード化構造光に基づく三次元測定システムをさらに提供する。
【0027】
いくつかの実施例において、前記カラー投影モジュールおよび前記カメラモジュールは、同一の口腔内スキャナー内に配置される。
【0028】
いくつかの実施例において、該システムは、
前記ストライプパターンを受信し、上記復号方法のいずれかを実行するように構成されるデータ処理モジュールをさらに備える。
前記ストライプパターンを受信し、上記復号方法のいずれかを実行するように構成されるデータ処理モジュールをさらに備える。
【0029】
いくつかの実施例において、前記カラー投影モジュールは、ＤＬＰ、ＬＣＯＳまたは透過投影などの手段によって実現され、
前記カメラモジュールは、１つのカラー画像センサーを備えるか、または、
分光システムおよび少なくとも２つの画像取得センサーを備える。
前記カメラモジュールは、１つのカラー画像センサーを備えるか、または、
分光システムおよび少なくとも２つの画像取得センサーを備える。
【発明の効果】
【0030】
本開示の実施例による上記技術的解決手段は、従来技術に対して以下の利点を有する、
【0031】
本開示の実施例による該カラー投影モジュールは、カラーストライプパターンを測定対象物の表面に投影するように構成され、カラーストライプパターンは、ｍ個（ｍは正整数）の周期的に繰り返されるベースストライプシーケンスを含み、ベースストライプシーケンスはｋ種類の異なる色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数である。したがって、周期的に繰り返されるカラーストライプコード化方式によりカラーストライプパターンを形成することにより、カラーストライプの色の数が低減され、復号に必要なストライプの数も低減され、ストライプの数が少ないほど、物体表面の不連続性による干渉が少なくなり、復号エラー率が低くなり、小さな物体の再構築が容易になる。その結果、該カラーストライプパターンにおける色の種類が少なくなり、かつ、その復号幅が狭くなるため、復号の安定性が高くなり、再構成の完全性を向上させ、構造の簡素化と走査効率の向上に有利である。
【0032】
上記の一般的な説明およびそれに続く詳細な説明は、例示的および説明的なものに過ぎず、本開示を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0033】
ここでの添付図面は、本明細書に組み込まれ、かつ、その一部を構成し、本開示と一致する実施例を例示し、本開示の原理を説明するために明細書とともに説明される。
【0034】
以下、本開示の実施例または従来技術における技術的解決手段をより明確に説明するために、実施例または従来技術の説明において必要な添付図面を簡単に説明するが、当業者にとって、これらの添付図面に基づいて他の添付図面を創造的労力なしに取得できることは明らかである。
【図1】本開示の実施例におけるカラーストライプパターンの概略図である。
【図2】本開示の実施例におけるカラーストライプの復号方法のフローチャートである。
【図3】本開示の実施例におけるカラーストライプの復号装置の構造概略図である。
【図4】本開示の実施例における電子デバイスの構造概略図である。
【図5】本開示の実施例における三次元測定システムの構造概略図である。
【図6】本開示の実施例における別の三次元測定システムの構造概略図である。
【図7】本開示の実施例における三次元測定システムのパラメータ関連付けの関係を示す原理図である。
【発明を実施するための形態】
【0035】
以下、本開示の実施例の目的、技術的解決手段および利点をより明確にするために、本開示の実施例における技術的解決手段を明確かつ完全に説明し、説明された実施例は本開示の一部の実施例であり、そのすべてではないことは明らかである。本開示の実施例に基づいて、当業者によって創造的な労力を要することなく得られる他のすべての実施例は、本開示の保護範囲に属する。
【0036】
上記の背景技術における内容を組み合わせると、従来のカラーストライプコード化構造光三次元測定技術は、単一画像上のカラーコード化の一意性を確保するために、必要なストライプの色の数が多く、単一ストライプを復号するのに必要なストライプの数（すなわち、個数）が多く、小さくて複雑な形状の物体（例えば、口腔内歯、歯型）を走査する場合、コード化パターンは深度変調によるコードの欠落または破損が起こりやすく、その結果、復号不能または復号エラーが発生し、単一フレームの再構成データの整合性が低く、走査の品質と効率が大幅に低減する。
【0037】
上記問題に対して、本開示の実施例は、カラー投影モジュール、復号方法、復号装置、メディア、電子デバイス（例えば、コンピュータ）および三次元測定システムを含む、周期的に繰り返し可能なカラーストライプコード化構造光三次元測定技術を提供する。該技術的解決手段では、周期的に繰り返されるストライプ配列方法を用いることにより、ストライプの色の数および復号に必要なストライプの数を大幅に低減させるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小さくて複雑な形状の物体を高速、高精度かつ完全に測定することができる。
【0038】
【0039】
本開示の実施例において、カラー投影モジュールは、カラーストライプパターン（「カラーストライプ」または「ストライプパターン」とも呼ばれる）を測定対象物の表面に投影するように構成され、カラーストライプパターンは、ｍ個（ｍは正整数）の周期的に繰り返されるベースストライプシーケンスを含み、ベースストライプシーケンスはｋ種類の異なる色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数である。
【0040】
ここで、ｌ０＝ｋｎ、ｋとｎはいずれも２以上の正整数であり、ｋ個のカラーストライプのうちの１つまたは複数のカラーストライプは、個数がｎのストライプシーケンスに配列され、カラー配列が異なるｋｎ種類のストライプシーケンスを形成することができ、例えば、赤と緑という２種類のカラーストライプを個数が２のストライプシーケンスに配列すると、異なる配列で２２個のストライプシーケンスを形成し、すなわち（赤－赤）、（赤－緑）、（緑－赤）、（緑－緑）という４つのストライプシーケンスであり、また、赤、緑、青という３種類のカラーストライプのうちの２種類を個数が２のストライプシーケンスに配列すると、異なる配列で３２個のストライプシーケンスを形成でき、さらに、赤、緑、青という３種類のカラーストライプを個数が３のストライプシーケンスに配列すると、異なる配列で３３個のストライプシーケンスを形成できる。ベースストライプシーケンスでは、任意の連続するn本のストライプからなるn個のストライプシーケンスは一意であり、すなわちベースストライプシーケンスには、任意に連続するn個のストライプからなるnビットのカラーベースのｌ個のストライプシーケンスが形成され、かつ、任意に連続するn個のストライプからなるnビットのカラーベースのｌ個のストライプシーケンスは、ｋｎ個の異なるカラー配列のnビットのストライプシーケンスのうちのｌ種とする。これにより、より少ない色の種類とより狭い復号幅で、周期的に繰り返されるストライプ配列に基づいてカラーストライプパターンを形成することができる。
【0041】
ここで、ｋおよびｎの値は、測定対象物の表面の大きさ、カラー投影モジュールの性能パラメータおよびカメラの性能パラメータに基づいて決定することができ、本開示の実施例において限定されない。なお、ベースストライプシーケンスには、任意に連続するn個のストライプからなるnビットのカラーベースのｌ個のストライプシーケンスが形成され、それは、ベースストライプシーケンスをエンドツーエンド接続して形成されるサイクリックストライプシーケンスに基づいて決定される。
【0042】
例示的に、ｋの値は、２、３または他のより大きな値であってもよく、すなわち、該カラーストライプコードにおけるストライプの色は２、３またはそれ以上であってもよく、同様に、ｎの値は、２、３または他のより大きな値であってもよく、すなわち、単一ストライプを復号するのに必要なストライプ数は２、３またはそれ以上であり、ｋおよびｎの値は同じであっても異なってもよく、本開示の実施例において限定されない。
【0043】
例示的に、ｋおよびｎはいずれも３をとり、ｌ０＝ｋｎ＝２７、ｌ≦２７となるようにする。
【0044】
例示的に、図１は、本開示の実施例におけるカラーストライプパターンの概略図である。図１に示すとおり、ｋ、ｎおよびｍの値はいずれも３をとり、ｌ＝ｌ０＝２７であるため、ストライプの総数は８１であり、３つの繰り返しサイクル、３つの異なる色、復号幅が３のカラーストライプパターンを含む。
【0045】
本実施例によるカラー投影モジュールは、周期的に繰り返されるカラーストライプコード化方式に基づいてカラーストライプパターンを形成することができ、カラーストライプの色の数が低減され、復号に必要なストライプの数も低減され、ストライプの数が少ないほど、物体表面の不連続性による干渉が少なくなり、復号エラー率が低くなり、小さな物体の再構築が容易になる。その結果、該カラーストライプパターンにおける色の種類が少なくなり、かつ、その復号幅が狭くなるため、復号の安定性が高くなり、再構成の完全性を向上させ、構造の簡素化と走査効率の向上に有利である。
【0046】
ここで、ベースストライプシーケンスにおける任意の連続するｎ本のストライプはいずれもｋ個のカラーストライプにおけるカラーストライプであり、かつ、ベースストライプシーケンスにおける任意の連続するｎ本のストライプによって形成されるストライプシーケンスは、互いに違う。ｋ種類の色をそれぞれコード０、１．．．．．．（ｋ－１）で表すと、ベースストライプシーケンスに基づいて決定されるコードシーケンスは、ＤｅＢｒｕｉｊｎシーケンスを満たす。
【0047】
ｋ要素ｎ次のＤｅＢｒｕｉｊｎシーケンス、すなわちＢ（ｋ，ｎ）は、ｋ要素で構成されるサイクリックシーケンスであり、長さｎのすべてのｋ要素からなるシーケンスはすべて（循環形式で）そのサブシーケンスに含まれ、そして一度だけ現れる。ここで、色のコードはＤｅＢｒｕｉｊｎシーケンスの要素に対応し、色の種類ｋはＤｅＢｒｕｉｊｎシーケンスの要素の種類に対応し、任意の連続するｎ本のストライプで形成されるストライプシーケンスはＤｅＢｒｕｉｊｎシーケンスのサブシーケンスに対応する。
【0048】
ベースストライプシーケンスのストライプの総数ｌはｋｎ以下である。ベースストライプシーケンスのストライプの総数がｋｎに等しい場合、ベースストライプシーケンスに形成される任意の連続するｎ本のストライプに基づいて形成されるｌｎ個のストライプシーケンスは、配列が異なるｋｎ種類のストライプシーケンスの全てのストライプシーケンスを含み、ベースストライプシーケンスのストライプの総数がｋｎ未満の場合、ベースストライプシーケンスに形成される任意の連続するｎ本のストライプに基づいて形成されるｌｎ個のストライプシーケンスは、配列が異なるｋｎ種類のストライプシーケンスの一部である。
【0049】
例示的に、ベースストライプシーケンスｋ＝３、ｎ＝３の場合、３つの色を０、１、２の数字で表され、例えば、赤は０、緑は１、青は２で表され、赤－赤－赤－緑－赤－赤－青－赤－緑－緑－赤－緑－青－赤－青－緑－赤－青－青－緑－緑－緑－青－緑－青－青－青のように配列された２７本のストライプのコード化シーケンスは、｛０，０，０，１，０，０，２，０，１，１，０，１，２，０，２，１，０，２，２，１，１，１，２，１，２，２，２｝である。
【0050】
該コード化シーケンスにおいて、任意の連続する３つのコードからなるシーケンスは一意であり、例えば、最初の３ビットシーケンス｛０，０，０｝、２番目の３ビットシーケンス｛０，０，１｝．．．．．．最後の３ビットシーケンス｛２，２，２｝とし、このように、各３ビットシーケンスは、コード化シーケンス全体で１回しか出現しない。各コードは１種類の色のストライプに対応し、各３ビットシーケンスはベースシーケンスのうちの１つのストライプに対応し、すなわち１つのストライプのコード化値になり、該ストライプの識別位置として設定され、該シーケンスは２７本のストライプに対応する。
【0051】
該シーケンスにおける３ビットシーケンスはそのうちの１つのストライプに対応し、該ストライプのコード化値として、好ましくは、連続するｎビットコードによって形成されるｎビットシーケンスは、ｎビットコードのうちの１ビットコードに対応するストライプのコード化値として使用され、例えば、｛０，０，０｝はベースストライプシーケンスのうちの１番目のストライプのコード化値とし、｛０，０，１｝はベースストライプシーケンスのうちの２番目のストライプのコード化値とし、このようにして、連続する３ビットコードによって形成される３ビットシーケンスは、３ビットコードのうちの第１ビットコードに対応するストライプのコード化シーケンスとして使用され、もちろん、｛０，０，０｝はベースストライプシーケンスのうちの2番目のストライプのコード化値とし、｛０，０，１｝はベースストライプシーケンスのうちの3番目のストライプのコード化値とすることもでき、このようにして、連続する３ビットコードによって形成される３ビットシーケンスは、３ビットコードのうちの第１ビットコードに対応するストライプのコード化シーケンスとして使用される。
【0052】
他の実施形態では、他のコード化原理でコード化でき、任意の連続するn個のコードからなるnビットシーケンスが一意であることを満たせば十分である。
【0053】
いくつかの実施例において、ストライプの間隔の少なくとも一部は、２つの隣接するサイクルで異なる。
【0054】
ここで、隣接する２つのサイクルにおけるストライプの一部または全部を異なる間隔に設定することにより、隣接する２つのサイクル間の間隔差分設計を達成でき、復号プロセスにおける復号エラーチェックを実現し、復号精度を確保することに有益である。
【0055】
例示的に、奇数番目のサイクルの奇数番目のストライプ間隔は、偶数番目のサイクルに対応するストライプ間隔よりも小さく、奇数番目のサイクルの偶数番目のストライプ間隔は、偶数番目のサイクルに対応するストライプ間隔よりも大きいように設定でき、または、他のストライプ間隔の差分設定方法を採用できるが、ここでは限定しない。
【0056】
例示的に、ストライプ間隔は、２つの隣接するストライプの中心線間の距離、または２つの隣接するストライプの対向する側線間の距離、または他の基準点によって定義されてもよく、同一のカラーストライプパターンで同じ基準点によって定義することができるが、ここでは限定しない。
【0057】
いくつかの実施例において、２つの隣接するサイクルでは、ストライプ間隔の大きさは、逆に設定される。
【0058】
例示的に、任意の２つの隣接するサイクルにおいて、一方のサイクルでは、各ストライプ間隔がｄｄＤＤｄｄＤＤｄｄ．．．．．．の順に配列され、他方のサイクルでは、各ストライプ間隔がＤＤｄｄＤＤｄｄＤＤ．．．．．．の順に配列され、Ｄ≠ｄである。例えば、Ｄ＞ｄの場合、一方のサイクルでは、各ストライプの間隔が小小大大小小大大小小．．．．．．の順に配列され、他方のサイクルでは、各ストライプの間隔が大大小小大大小小大大．．．．．．の順に配列される。このように、隣接する２つのサイクルでは、対応する位置のストライプ間隔の大きさは、大小が逆になる。
【0059】
他の実施形態では、他のストライプ間隔配列方法を選択することもでき、本開示の実施例では限定しない。
【0060】
いくつかの実施例において、ストライプ間隔は、各サイクルで全部異なる。
【0061】
いくつかの実施例において、ストライプ間隔の少なくとも一部は、同一のサイクルで異なる。
【0062】
ここで、同一のサイクルでは、ストライプ間隔の一部または全部が異なるが、カラー投影モジュールの要件に従って設定されてもよく、本開示の実施例では限定しない。
【0063】
いくつかの実施例において、ｋの値は３である。
【0064】
このようにすると、ストライプの色の種類が少なくなる。他の実施形態では、ｋの値は、２、４または他の値であることもできるが、ここでは限定しない。
【0065】
いくつかの実施例において、３つの互いに異なる色は、赤、緑、および青である。
【0066】
このように、３つの互いに異なる色として３原色のみが使用され、カラーストライプの色に対するさらなる合成または分解は必要なく、ストライプのコード化および復号方法を簡略化するのに役立つ。
【0067】
いくつかの実施例において、カラー投影モジュールは、３色光源、ミラーアレイおよび制御システムを備え、制御システムは、ミラーが対応する色の光を反射してプリセットカラーストライプパターンを投影するように、ミラーアレイ内の各ミラーの角度を調整するように構成される。
【0068】
ここで、カラー投影モジュールの実施形態は、デジタル光処理（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ，ＤＬＰ）プロジェクタを含むことができる。該ＤＬＰプロジェクタは、主に、ＲＧＢ３色光源と、デジタルマイクロミラーデバイス（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅｓ，ＤＭＤ）などのミラーアレイと、制御システムとを備える。ここで、制御システムによって、各ミラーが対応する色の光を反射してカラーストライプパターンを投影するように、ミラーアレイ内の各ミラーの角度を調整する。
【0069】
ここで、カラーストライプパターンは、カラーストライプコード化方法に基づいて決定されたカラーストライプパターンとして、上記カラーストライプの配列ルールを満たす。
【0070】
いくつかの実施例において、カラー投影モジュールは、３色光源およびＭＲＳＫコードを含み、３色光源からの光はＭＲＳＫコードを通過して、プリセットカラーストライプパターンを投影する。
【0071】
ここで、カラー投影モジュールの実施形態は、透視投影の原理に基づく光学機械をさらに含むことができる。該光学機械は主に、ＲＧＢ３色光源およびＭＲＳＫコードを含み、ＭＲＳＫコードをカスタマイズすることで、三色光源が通過した後、所望のパターン、すなわちプリセットカラーストライプパターンを投影できるようにする。
他の実施形態では、カラー投影モジュールは、他の原理を用いた光学機械をさらに含んでもよいが、本開示の実施例では説明を省略し限定しない。
他の実施形態では、カラー投影モジュールは、他の原理を用いた光学機械をさらに含んでもよいが、本開示の実施例では説明を省略し限定しない。
【0072】
本開示の実施例によるカラー投影モジュールは、三次元測定システムにおけるプロジェクタ、または、他の測定システムにおける投影機とすることができるが、本開示の実施例では限定しない。
【0073】
上記実施形態では、カラーストライプパターン内のベースコード化シーケンスがｍサイクル繰り返され、全長ｍｌのサイクル繰り返しコード化シーケンスが形成される。
【0074】
ここで、ｍは正整数であり、各サイクル間のストライプは、画像において重複する領域は出現されない。例示的に、ｍは、１、２、３または他のより大きな値であってもよいが、本開示の実施例によって限定されない。
【0075】
ベースコード化シーケンスを１つのサイクル単位としてｍサイクル繰り返し、全長ｍｌのサイクル繰り返しコード化シーケンスを形成する。かつ、サイクル数ｍは、各サイクル間のストライプが該システムの測定された被写界深度内で重ならないように構成される。このようにすることで、復号が容易になる。
【0076】
【0077】
例示的に、上記と合わせると、ベースコード化シーケンスが２７ビットで、ｍの値が３である場合、該サイクル繰り返しコード化シーケンスは、｛０，０，０，１，０，０，２，０，１，１，０，１，２，０，２，１，０，２，２，１，１，１，２，１，２，２，２，｜０，０，０，１，０，０，２，０，１，１，０，１，２，０，２，１，０，２，２，１，１，１，２，１，２，２，２，｜０，０，０，１，０，０，２，０，１，１，０，１，２，０，２，１，０，２，２，１，１，１，２，１，２，２，２｝のように表すことができる。
【0078】
その全長は３×２７＝８１、すなわちｍｌ＝８１であり、以下の三次元測定システムの解像度要件を満たすことができる。
【0079】
該カラーストライプコードは、１つのサイクル単位内の各コード化値が一意であるが、コード化シーケンス全体では複数のサイクルで繰り返される。その結果、より少ないストライプの色と、より小さな復号幅で、サイクルでコード化を繰り返すことにより、高解像度のコード化シーケンスを達成することができ、同時に、より少ないコード化の色と小さな復号幅で、カラーストライプコード化は高い解像度を持ち、復号エラー率が低く、それは、小型の測定対象物を速く、正確に、完全に測定できるようになる。
【0080】
同じ発明概念に基づいて、本開示は、カラーストライプの復号方法をさらに提供する。上記のいずれかのカラー投影モジュールが測定対象物の表面に投影された後にカメラモジュールによって取得されたストライプパターンを復号する。上記サイクル繰り返しコード化方法で復号することにより、復号に必要なストライプの数を大幅に減らすことができるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小型で複雑な形状の物体に対する高速、高精度かつ完全な測定が可能になる。
【0081】
【0082】
Ｓ３０１では、測定対象物の表面におけるストライプパターンを取得する。
【0083】
例示的に、カメラモジュールによって測定対象物の表面画像を取得でき、該画像は、ストライプパターンを含む。
【0084】
Ｓ３０２では、ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定する。
【0085】
例示的に、該ステップは、ストライプ画像に対して画像解析を行い、ストライプの中心線を抽出し、ストライプの中心が位置するピクセル座標xを取得することを含み得る。
【0086】
Ｓ３０３では、ピクセル座標および対応する色に基づいて、各ストライプの番号を決定する。
【0087】
ここで、番号は、ストライプが位置するカラーストライプコード全体における相対位置を表す。
【0088】
いくつかの実施例において、該ステップは、以下を含むことができる。
【0089】
ステップ１：プリセットカラーコード、ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコード（すなわち、コードネーム）を決定する。
【0090】
ここで、色は、カラーコードに対応するように構成され、各色に対して１つのカラーコードが予め設定され、すなわち、各色は１つのカラーコードに対応する。例えば、カラーコードは数字で表すことができ、赤は０、緑は１、青は２で表すことができ、または、カラーコードは文字などの形で表すことができ、ここでは限定しない。
【0091】
このように、ピクセル座標およびそれに対応する色に基づいて対応するプリセットカラーコードを検索すると、各ストライプに対応するカラーコードを決定することができる。
【0092】
ステップ２：ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプのカラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とする。
【0093】
ここで、上記と併せて、ｎ個の連続するストライプに対応するｎ個の連続するカラーコードを用いて、各ストライプを対応して区別し、ｎ個の連続するカラーコードをｉ番目のストライプのコード値として用いることにより、復号を容易に達成することができる。
【0094】
ステップ３：各ストライプのコード化値に基づいて、単一ベースコード化シーケンスにおける各ストライプの番号を決定する。
【0095】
すなわち、各ストライプについて、該ストライプが位置するｎ個の連続するストライプカラーシーケンス（すなわちコードネーム）に基づいて、１つのベースコードシーケンスにおける該ストライプの番号が決定される。
【0096】
これにより、各サイクルセル単位における各ストライプの番号を決定することができる。具体的には、現在のストライプが位置するｎ個の連続するストライプカラーシーケンスに基づいて、該ストライプに対応するコード値ｐを決定することにより、ベースコードシーケンスにおける該ストライプの番号Ｉｐが得られ、このとき、コード値がｐのストライプは合計ｍ本存在する。
【0097】
例示的に、図１に示すとおり、第１サイクルにおける第１ストライプの連続する３ビットの番号は｛０，０，０｝であり、該コードは、ストライプパターン全体で３つあり、すなわち、第１サイクルの１番目、第２サイクルの１番目、および第３サイクルの１番目である。
【0098】
ステップ４：各サイクルのプリセットピクセル座標範囲を取得する。
【0099】
該ステップでは、各サイクルのプリセットピクセル座標範囲は、後続のステップでストライプが位置するサイクルを決定するためのデータサポートを提供するように、投影モジュールとカメラモジュールのハードウェア構成に従って決定される。
【0100】
ステップ５：プリセットピクセル座標範囲およびピクセル座標に基づいて、各ストライプが位置するサイクルを決定する。
【0101】
これにより、各ストライプが位置するサイクルを決定することができる。
【0102】
ここで、上記カメラモジュールによって取得されたカラーストライプは、被写界深度の制限を考慮するため、異なるサイクルでは、同じコード化値を有するストライプは、重複しない画像領域にのみ現れる。これに基づいて、各ストライプのピクセル座標ｘとコード化値ｐに従って、該ストライプが位置するサイクルｍｉを決定することができる。すなわち、三次元測定装置の構造によって被写界深度が決まり、測定対象物が三次元測定装置の被写界深度内にある場合、投影モジュールによって投影されたストライプパターンが測定対象物によって変調され、カメラモジュールによって取得され、ストライプパターン内の各サイクルのストライプは、カメラモジュールの対応する撮影領域でのみ撮影されるため、各サイクルのストライプが位置する撮像範囲が決定される。投影モジュールによって投影されるストライプパターンおよびカメラモジュールによって撮影されるストライプパターンのマッピング関係は、投影モジュールの被写界深度と倍率、カメラモジュールの被写界深度と倍率、投影モジュールの光軸およびカメラモジュールの光軸の角度によって決定される。
【0103】
例えば、第１サイクルの1番目のストライプが現れる画像範囲はｘ１＝［５，１００］、第２サイクルの1番目のストライプが現れる画像範囲はｘ２＝［２７５，３７０］、第３サイクルの1番目のストライプが現れる画像範囲はｘ３＝［５４５，６４０］であり、これに基づいて、対応するストライプは、｛０，０，０｝としてコード化したストライプのピクセル座標ｘおよび上記ストライプが位置する範囲に応じて決定することができる。
【0104】
ステップ６：単一ベースコード化シーケンスにおける各ストライプの番号およびサイクルに基づいて、カラーストライプパターン全体における該ストライプの番号が決定される。
【0105】
前のステップに基づいて、各ストライプによって単一サイクル内の番号ｐおよびそれが位置するサイクルｍｉが計算され、これに基づいて、シーケンス全体における各ストライプの番号Ｉを計算でき、すなわち、Ｉ＝Ｉｐ＋ｍｉ×ｌである。
【0106】
Ｓ３０４では、各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点座標を決定する。
【0107】
該ステップでは、三次元測定システムにおけるカメラモジュールの具現形態に基づいて、ストライプのコード化に従って双眼または単眼の再構成を行い、測定対象物の三次元点座標を得ることで、測定対象物の表面の三次元再構成を達成することができる。
【0108】
いくつかの実施例において、該ステップにおける各ストライプの番号に基づく各ストライプに対する三次元再構成は、
番号に基づいて、対応する光平面を決定するステップと、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
番号に基づいて、対応する光平面を決定するステップと、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む。
【0109】
具体的には、三次元測定システムのコンピュータ（データ記憶およびデータ処理システム）には、光学機械（すなわちカラー投影モジュール）およびカメラ（すなわちカメラモジュール）の内部と外部パラメータが事前に設定され、例えば光学機械およびカメラの内部と外部パラメータは、キャリブレーションによって決定することができる。
【0110】
コンピュータには、カラーストライプパターンのコード化ルール、例えばＲ＝０、Ｇ＝１、Ｂ＝２、かつ、連続する３ビットのコードが第１ビット（または第２ビット、または第３ビット）のコード化値に対応するストライプの番号として事前に設定される。
【0111】
コンピュータには、カラーストライプパターンの各ストライプに対応する光平面番号が事前に設定され、例えば、１番目のストライプに対応する光平面番号は（０，０，０）、２番目のストライプに対応する光平面番号は（０，０，１）であり、例示的に、各ストライプに対応する光平面番号はキャリブレーションによって決定することができる。
【0112】
コンピュータには、ストライプサイクルの範囲が事前に設定され、すなわちピクセル座標の範囲が事前に設定され、三次元空間Ｘ、Ｙ、Ｚの範囲を含む。
【0113】
これに基づいて、光学機械が測定対象物の表面にカラーストライプパターンを投影し、カメラが測定対象物の表面で変調されたストライプ画像を取得してコンピュータに送信し、コンピュータが取得したストライプ画像に基づいて各ストライプの中心線を抽出し、かつ、各ストライプの中心線に基づいてピクセル座標およびピクセル座標に対応するＲＧＢ値を決定し、ピクセル座標とそのＲＧＢ値、コンピュータに事前に設定されたコード化ルール（Ｒ＝０、Ｇ＝１、Ｂ＝２）に基づいて対応するコード化値を決定し、「連続する３ビットのコード化値を第１ビット（または第２ビット、または第３ビット）に対応するストライプの番号とする」というコード化ルールに基づいて各ストライプの番号を決定する。
【0114】
次に、単眼システムの場合、ストライプの番号に基づいて対応する光平面を決定し、光平面方程式、ターゲットストライプの中心座標、およびカメラの内部と外部パラメータに従って三次元点座標を再構築する。双眼システムの場合、光平面はキャリブレーションされないが、左右の画像における各ストライプの番号に基づいて対応するストライプを決定し、対応するストライプおよびカメラの内部と外部パラメータに基づいて三次元点座標を再構成し、このようにして、測定対象物の三次元点座標を決定することができる。
【0115】
いくつかの実施例において、図２に基づいて、該復号方法は、サイクルエラーの復号を識別し修正するステップをさらに含み、具体的には、以下のステップを含み得る。
ステップ１：三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを判断する。
ステップ１：三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを判断する。
【0116】
ステップ２：復号がずれている場合、対応する三次元点座標を修正し更新する。
【0117】
該ステップ１およびステップ２は、ストライクエラーおよびサイクルエラーのうちの少なくとも一方の復号を識別して補正する。
【0118】
例示的に、上記と組み合わせて、カラーストライプコード化方法では、奇数サイクルと偶数サイクルの奇数ストライプに対してオフセット動作を行い、奇数サイクルのストライプが間違って偶数サイクルに復号される場合、対応する奇数ストライプの間に非常に大きな深度差が発生する。これに基づいて、特定の深度差閾値を通じて、現在のストライプの復号サイクルがずれているか否かを判断することができ、サイクルが間違っている場合、サイクル数を隣接するサイクルに向けて調整することにより、サイクル数に対する補正を達成し、復号精度を向上させる。
【0119】
ここで、深度差閾値の大きさは、被写界深度およびサイクル数に基づいて設定されてもよく、本開示の実施例では、その具体的な値を限定しない。
【0120】
例示的に、サイクルずれが発生し、更新された三次元点座標を修正するために正しいサイクルを再マッチングする（すなわち、サイクルを補正する）必要がある場合、複数（少なくともｎ本）の連続するストライプが誤って復号されるケース１と、隣接するサイクルのストライプ番号に誤って復号されるケース２と、を含み得る。
【0121】
また、１本または２本のストライプが誤って復号された場合、識別が容易であるため削除することができ、その後の補正を必要とせず、すなわち、三次元点座標は、対応する誤った点を削除して更新する。
【0122】
サイクルに対する補正が必要な場合、本開示の実施例による復号方法において、以下の２つのステップで認識することができる。
【0123】
ステップ１：復号がずれている場合、ストライプの深さがジャンプし、場合によっては、ずれたストライプの深さがカメラの（事前にキャリブレーションされた）被写界深度を超え、そのように識別または削除され、すなわち、被写界深度を超える三次元点座標を識別した場合、対応する三次元点座標を削除する。
【0124】
ステップ２：該ストライプの深さが被写界深度を超えない場合、隣接するサイクルのストライプに対して異なる方向にオフセットされるため、隣接するサイクルのストライプ間の間隔に差が生じる。これに基づいて、ストライプの復号がずれている場合、連続するｎ本のストライプ間の深さが波打つように見える。例えば、第１サイクルのストライプ１、２、３が復号ミスで第２サイクルの１、２、３と誤認された場合、第１、第３ストライプの対応する再構成された三次元点座標は、周囲の隣接する座標に対して大きなジャンプを生じ、これら３つのストライプに対応する深さが「Ｖ」字型になることにより識別され、すなわち三次元点の波紋状分布が識別されれば、対応するストライプにサイクルずれが生じていると識別することができる。
【0125】
さらに、ストライプにサイクルずれが識別された場合、そのサイクルを修正する（すなわち、補正する）。修正ステップは、以下のステップを含み得る。
【0126】
サイクルがずれたストライプの深さを再計算し、隣接するサイクルの光平面を用いて複数の深さの場合を計算し（例えば、第２サイクルの１番目のストライプが誤って復号された場合、第１サイクルの１番目の光平面と第３サイクルの１番目の光平面を用いてその深さを計算する）、波紋状が最も小さなサイクルを該ストライプの正しいサイクルとする。
【0127】
このようにして、ストライプのサイクルエラーを識別および修正し、復号精度を向上させ、三次元点座標を修正して更新する。
【0128】
いくつかの実施例において、上記コード化方法に対する復号方法は、ストライプパターンに基づいてストライプの中心線を抽出し、ストライプの中心が位置するピクセル座標ｘを取得する。その後、各ストライプのコード化値を決定し、すなわち、現在のストライプが位置するｎ個の連続するストライプカラーシーケンスに基づいて、該ストライプに対応するコード値ｐを決定することにより、ベースコードシーケンスにおける該ストライプの番号Ｉｐが得られ、このとき、コード値がｐのストライプは合計ｍ本存在する。次に、各ストライプが位置するサイクルを決定する。ここで、カラーストライプコード化が生成される場合、被写界深度の制限を考慮して、異なるサイクルでは、同じコード化値を持つストライプは、非重複画像領域にのみ現れ、これに基づいて、各ストライプのピクセル座標ｘおよび番号Ｉｐに基づいて該ストライプが位置するサイクルｍｉを決定することができる。続いて、各ストライプによって計算されたコード化値ｐ、番号Ｉｐ、およびそれが位置するサイクルｍｉに基づいて、シーケンス全体における各ストライプの番号Ｉ＝Ｉｐ＋ｍｉ×ｌを算出する。次に、ストライプのコード化に従って双眼または単眼の再構成を行い、各ストライプの三次元点座標を取得し、これにより測定対象物の表面に対する三次元再構成が達成される。好ましくは、該復号方法はまた、間違ったサイクルの復号を識別し、すなわち、隣接するサイクルのストライプに対する上記差分設計に基づいて、奇数サイクルのストライプが偶数サイクルに誤って復号される場合、対応する奇数ストライプの間に非常に大きな深度差が生じるため、特定の深度差閾値によって、現在のストライプの復号サイクルがずれているか否かを判断でき、そして被写界深度と組み合わせてサイクルを補正する。上記サイクル繰り返しコード化方法で復号することにより、復号に必要なストライプの数を大幅に減らすことができるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小型で複雑な形状の物体に対する高速、高精度かつ完全な測定が可能になる。
【0129】
上述実施例に基づいて、本開示の実施例はまた、上記復号方法のいずれかを実行するように構成されたカラーストライプの復号装置を提供する。したがって、該復号装置も、上記いずれかの復号方法の有益な効果を有する。同じことは、上記を参照して理解することができ、ここでは説明を省略する。
【0130】
例示的に、図３は、本開示の実施例におけるカラーストライプの復号装置の構造概略図である。図３に示すとおり、該復号装置は、測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュール５０１と、ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュール５０２と、ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュール５０３と、各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュール５０４と、を備える。
【0131】
これにより、カラーストライプの復号装置は、上記サイクル繰り返しを用いたカラーストライプパターンに対して復号することができ、復号に必要なストライプの数を大幅に減らすことができるため、復号の安定性を向上させ、システム構造が簡素化され、走査効率を向上させ、小型で複雑な形状の物体に対する高速、高精度かつ完全な測定が可能になる。
【0132】
いくつかの実施例において、番号決定モジュール５０３は、
プリセットカラーコード、ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定し、ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とし、各ストライプのコード化値に基づいて、単一のベースコード化シーケンスにおける各ストライプの番号を決定し、各サイクルのプリセットピクセル座標範囲を取得し、プリセットピクセル座標範囲およびピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、単一のベースコード化シーケンスにおける各ストライプの番号およびサイクルに基づいて、カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
プリセットカラーコード、ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定し、ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とし、各ストライプのコード化値に基づいて、単一のベースコード化シーケンスにおける各ストライプの番号を決定し、各サイクルのプリセットピクセル座標範囲を取得し、プリセットピクセル座標範囲およびピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、単一のベースコード化シーケンスにおける各ストライプの番号およびサイクルに基づいて、カラーストライプパターンにおける各ストライプの番号を決定するように構成される。
【0133】
このようにして、ストライプパターンにおける各ストライプが１つのサイクル単位での番号およびそれが位置するサイクル数を決定することができるため、カラーストライプコード全体におけるその番号を決定することができる。
【0134】
いくつかの実施例において、三次元点座標決定モジュール５０４は、
番号に基づいて、対応する光平面を決定し、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
番号に基づいて、対応する光平面を決定し、
光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定し、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するように構成される。
【0135】
このように、単眼システムまたは双眼システムに基づいて、測定対象物に対する三次元再構成を達成することができる。
【0136】
いくつかの実施例において、該復号装置は、三次元点の連続性に基づいて、現在のストライプに対する復号がずれているか否かを決定するように構成される復号エラー識別モジュールと、復号がずれている場合に、対応する三次元点座標を修正して更新するように構成される復号エラー補正モジュールと、をさらに備える。
【0137】
このように、三次元点の連続性を判断することで、現在のストライプの復号サイクルがずれているか否かを判断でき、サイクルずれが生じた場合、隣接するサイクルに向けてサイクルを調整することで、サイクル数を補正し、復号精度を向上させる。
【0138】
上記実施形態に基づいて、本開示の実施例はまた、上記いずれかの復号方法を実施するように設定できる電子デバイス（すなわち、復号デバイス）を提供する。
【0139】
例示的に、図４は、本開示の実施例における電子デバイスの構造概略図である。図４に示すとおり、該電子デバイス７０は、プロセッサ７０１と、コンピュータプログラム命令（すな実行可能命令）を記憶するように構成されるメモリ７０２と、を備え、前記プロセッサは、前記メモリから前記実行可能命令を読み出し、実行して上記復号方法のいずれかを実行するように構成される。
【0140】
具体的には、上記プロセッサ７０１は、中央処理装置（ＣＰＵ）、または特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）を含むことができ、または、本願の実施例の１つまたは複数の集積回路を実装するよう構成されてもよい。
【0141】
メモリ７０２は、情報または命令として構成された大容量メモリを含み得る。例として、限定ではなく、メモリ７０２は、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ，ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープまたはユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，ＵＳＢ）ドライブまたはこれらの２以上の組合せを含み得る。適切な場合、メモリ７０２は、取り外し可能または取り外し不可能な（または固定された）メディアを含み得る。適切な場合、メモリ７０２は、統合ゲートウェイ装置の内部または外部であってもよい。特定の実施例において、メモリ７０２は不揮発性ソリッドステートメモリである。特定の実施例において、メモリ７０２は、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）を含む。適切な場合、該ＲＯＭは、マスクプログラマブルＲＯＭ、プログラマブルＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ，ＰＲＯＭ）、消去可能ＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ，ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ，ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ａｌｔｅｒａｂｌｅ ＲＯＭ，ＥＡＲＯＭ）またはフラッシュメモリ、またはこれらの２つ以上の組合せであってよい。
【0142】
プロセッサ７０１は、メモリ７０２に記憶されたコンピュータプログラム命令を読み出して実行することによって、本開示の実施例による復号方法のステップを実行する。
【0143】
一例では、該電子デバイス７０は、トランシーバ７０３およびバス７０４をさらに備えることができる。ここで、図４に示すとおり、プロセッサ７０１、メモリ７０２およびトランシーバ７０３は、バス７０４を介して接続されて通信する。
【0144】
バス７０４は、ハードウェア、ソフトウェア、またはその両方を含む。例として、限定ではなく、バスは、加速グラフィックスポート（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ，ＡＧＰ）または他のグラフィックスバス、強化された業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＥＩＳＡ）バス、フロントサイドバス（Ｆｒｏｎｔ Ｓｉｄｅ ＢＵＳ，ＦＳＢ）、ハイパートランスポート（Ｈｙｐｅｒ Ｔｒａｎｓｐｏｒｔ，ＨＴ）インターコネクト、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＩＳＡ）バス、無制限帯域幅インターコネクト、ローピンカウント（Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ，ＬＰＮ）インターコネクト、メモリバス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＭＣＡ）バス、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ，ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩ－Ｘ）バス、シリアルアドバンスドテクノロジーアタッチメント（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ，ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ Ｌｏｃａｌ Ｂｕｓ，ＶＬＢ）バス、またはその他の適切なバス、またはこれらの２つ以上の組合せを含む。適切な場合、バス７０４は、１つまたは複数のバスを含み得る。本願の実施例では特定のバスが説明および図示されるが、本願は任意の適切なバスまたはインターコネクトを企図する。
【0145】
上記の実施形態に基づいて、本開示の実施例は、プロセッサによって実行されると、プロセッサに上記いずれかの復号方法を実行させるコンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供する。
【0146】
例示的に、図４に示すとおり、命令を含む記憶媒体であって、例えば命令を含むメモリ３０２であって、上記命令はプロセッサ３０１によって実行され、本開示の実施例による復号方法を完了することができる。
【0147】
好ましくは、記憶媒体は、非一時的なコンピュータ可読記憶媒体であってもよく、例えば、非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ，ＣＤ－ＲＯＭ）、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。
【0148】
上記実施形態に基づいて、本開示の実施例は、上記いずれのカラー投影モジュールおよび復号方法を採用して測定対象物に対する三次元測定を達成できるカラーストライプコード化構造光に基づく三次元測定システムをさらに提供する。したがって、上記実施例のいずれかの有益な効果も有し、上記を参照すれば理解できるため、ここでは説明を省略する。
【0149】
例示的に、図５は、本開示の実施例における三次元測定システムの構造概略図であり、図６は、本開示の実施例における別の三次元測定システムの構造概略図である。図５および図６に示すとおり、該システムは、プリセット角度をなすカラー投影モジュール６０１、およびカメラモジュール６０２を備え、カラー投影モジュール６０１は、上記カラー投影モジュールのいずれかを用いて、測定対象物６００の表面にカラーストライプパターンを投影するように構成され、カメラモジュール６０２は、測定対象物６００の表面によって変調されたストライプパターンを取得するように構成され、ストライプパターンでは、各サイクル間にストライプの重複領域が現れない。
【0150】
ここで、上記カメラモジュールによって取得されたカラーストライプは、被写界深度の制限を考慮するため、異なるサイクルでは、同じコード化値を有するストライプは、重複しない画像領域にのみ現れる。これに基づいて、各ストライプのピクセル座標ｘとコード化値ｐに従って、該ストライプが位置するサイクルｍｉを決定することができる。すなわち、三次元測定装置の構造によって被写界深度が決まり、測定対象物が三次元測定装置の被写界深度内にある場合、投影モジュールによって投影されたストライプパターンが測定対象物によって変調され、カメラモジュールによって撮影され、ストライプパターン内の各サイクルのストライプは、カメラモジュールの対応する撮影領域でのみ撮影されるため、各サイクルのストライプが位置する撮像範囲が決定される。投影モジュールによって投影されるストライプパターンおよびカメラモジュールによって撮影されるストライプパターンのマッピング関係は、投影モジュールの被写界深度と倍率、カメラモジュールの被写界深度と倍率、投影モジュールの光軸およびカメラモジュールの光軸の角度によって決定される。以下、図７に示すとおり、プリセット角度（投影モジュールの光軸とカメラモジュールの光軸との間の角度）と被写界深度およびサイクル数との関係を例示的に説明する。例示的に、図７は、本開示の実施例における三次元測定システムのパラメータ関連付けの関係を示す原理図である。図７に示すとおり、６０２１はカメラレンズを表し、カラー投影モジュール６０１とカメラモジュール６０２との間のプリセット角度はαであり、△Ｌ１および△Ｌ２はそれぞれ前景深度と背景深度を表し、その和が被写界深度であり、該被写界深度に対応するカメラ画像上の固定投影光の移動範囲を（ａ＋ｂ）／ｖ、すなわち単一サイクル範囲（ａ＋ｂ）／ｖ＝（△Ｌ１＋△Ｌ２）×ｔａｎα÷ｖとなり、該単一サイクル範囲では、各サイクル間のストライプが重ならないように、多くとも１つのサイクル単位が設定される。ここで、ｖはスケールファクターを表し、一般的にはカメラ倍率であり、システム構造に基づいて設定できるが、ここで限定されない。
【0151】
例示的に、カラー投影モジュール６０１とカメラモジュール６０２は、両者が同一の口腔内スキャナーに設けられる場合のように、同一のスキャナーに統合することができ、または、両者を別々に設けてもよく、本開示の実施例では限定しない。
【0152】
例示的に、コード化方法は、カラー投影モジュール６０１でローカルに実行されてもよく、またはリモートサーバで実行されてもよく、復号方法は、カメラモジュール６０２でローカルに実行されてもよく、または電子デバイス（例えば、コンピュータ）で実行されてもよく、またはリモートサーバで実行されてもよく、本開示の実施例では限定しない。
【0153】
いくつかの実施例において、該システムは、データ処理モジュールは、ストライプパターンを受信し、上記復号方法のいずれかを実行するように構成されるデータ処理モジュールをさらに含むことができ、これにより測定対象物に対する走査プロセスが達成される。ここで、データ処理モジュールは、上記いずれかの復号装置における各機能モジュールなど、電子デバイスに組み込まれた機能モジュールであってもよい。
【0154】
いくつかの実施例において、カラー投影モジュール６０１は、デジタル光処理（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ，ＤＬＰ）、液晶オンシリコン（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ，ＬＣＯＳ）または透過投影などの手段によって実装される。
【0155】
ここで、ＤＬＰ技術は、偏光を必要とせず、光の利用効率が高く、また、ピクセルピッチが小さいため、ほぼシームレスなカラーストライプコード化画像が得られ、ストライプがより細かくなる。ＬＣＯＳ技術は、単結晶シリコンにより実現され、より細かいラインが可能となるため、高解像度の投影構造が達成しやすく、製品構造がシンプルである。透過投影技術は、透視投影技術とも呼ばれ、プリセット光が光透過部に設けられたカラーストライプパターンに対応するプリセットパターンを通過した後、カラーストライプの形態で測定対象物６００の表面に投影されるターゲット光を生成するため、光コード化方法はシンプルである。
【0156】
他の実施形態では、カラー投影モジュール６０１が上記コード化方法を実施できるように、当業者に知られている他の手段を使用することができ、本開示の実施例では限定しない。
【0157】
いくつかの実施例において、カメラモジュール６０２は、１つのカラー画像センサーを備えるか、または、分光システムおよび少なくとも２つの画像取得センサーを備える。
【0158】
例示的に、図５に示すとおり、該カメラモジュール６０２は、１つのカラー画像センサー６２０を備え、すなわち、カメラモジュール６０２は、カラーカメラを採用することができる。該カラーカメラは、カラーストライプパターンとテクスチャマップを直接的に取得し、上記復号方法を用いて復号することができる。
【0159】
例示的に、図６に示すとおり、該カメラモジュール６０２は、分光システム６２２、および少なくとも２つ（図６では２つが示される）の画像取得センサー（またはカメラ）６２１を備え、例示的に、分光システム６２２は、分光ミラーを備えることができ、分光ミラーを用いて異なるスペクトル色を分離でき、複数のカメラで取得でき、それぞれのカメラは１つまたは複数の色を取得する。
【0160】
例示的に、上記３つのカラーコード化方法に対応して、カメラモジュール６０２の１つの実装形態は、３つの画像取得センサーを設け、そのすべてが白黒画像取得センサーを採用し、それぞれ１つの色を取得すること、または２つの白黒画像取得センサー（すなわち白黒カメラ）および１つのカラー画像取得センサー（すなわちカラーカメラ）を設け、２つの白黒カメラがそれぞれ青色光と緑色光などの３色のうちの２色を取得し、カラーカメラが赤色光と３チャンネルテクスチャパターンなどの３番目の色を取得することである。
【0161】
他の実施形態では、カメラモジュール６０２はまた他の方法で実施でき、本開示の実施例では限定しない。
【0162】
上記に基づいて、該カラーストライプコード化構造光に基づく三次元測定システムは主に、１つのカラー投影モジュール６０１および１つのカメラモジュール６０２からなり、カラー投影モジュール６０１とカメラモジュール６０２は一定の角度を形成し、カラー投影モジュール６０１はカラーコード化ストライプパターンを投影するように構成され、カメラモジュール６０２は測定対象物６００の表面により変調されたストライプパターンを取得するように構成される。ここで、カラー投影モジュール６０１は、ＤＬＰ、ＬＣＯＳまたは透過投影などの手段を含むが、これらに限定されない。カメラモジュール６０２は、１つのカラー画像センサー、２つの画像センサーと分光システム、３つの画像センサーと分光システムなどを含むが、これらに限定されない。
【0163】
したがって、上記三次元測定システムの構造設計、コード化方法、復号方法に基づいて、シンプルで効率的、安定した低コストなカラーストライプコード化構造光三次元測定方法を達成し、小型で複雑な物体を高速かつ高精度に測定するように設定することができる。具体的には、本開示の実施例は、周期的に繰り返されるカラーストライプコード化構造光技術を使用することにより、使用されるストライプカラーの数を大幅に低減し、これにより、スペクトルの数を低減し、カラーストライプ投影構造を簡素化し、ハードウェアコストを低減させ、また、復号のために設定されるストライプの数を減らし、復号の安定性と効率を向上させ、可解性が高く、エラー率が低く、少ない数のストライプ色およびより小さな復号幅に基づいて、周期的繰り返しコード化を用いることによって、高い分解能が達成され、三次元測定システムの構造がよりシンプルになり、そして走査効率が高くなる。
【0164】
なお、本明細書において、「第１」と「第２」などの関係用語は、あるエンティティまたは動作を他のエンティティまたは動作から区別するためにのみ使用され、これらのエンティティまたは動作の間に必ずしもそのような実際の関係または順序を必要として示唆するものではない。また、「備える」、「含む」またはその他の変形という用語は、様々な要素を含むプロセス、方法、物品または装置が、それらの要素だけでなく、明示的にリストされていない他の要素、またはそのようなプロセス、方法、物品またはデバイスに固有の要素も含むように、非排他的に含めることを意図する。さらなる制限なしに、「１つの......を含む」という記述によって定義される要素は、前記要素を含むプロセス、方法、物品またはデバイスにおける追加の同一要素の存在を排除するものではない。
【0165】
以上は、当業者が本開示を理解または実施できるようにするための本開示の具体的な実施形態に過ぎない。これらの実施例に対する様々な変更が当業者には明らかであり、本開示の精神または範囲から逸脱することなく、本明細書に定義された一般原理を他の実施例において実施することができる。したがって、本開示は、本明細書に示されるこれらの実施例に限定されるものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲が与えられるべきである。
【産業上の利用可能性】
【0166】
本開示は、周期的に繰り返されるカラーストライプを用いてストライプのコード化および復号を達成し、これによりストライプの色の数および復号に必要なストライプの数を低減し、復号安定性の向上、構造の簡素化、走査効率の向上に役立ち、産業上の利用可能性が高い。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-08-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
測定対象物の表面にカラーストライプパターンを投影するように構成される投影モジュールであって、前記カラーストライプパターンは、周期的に繰り返されるｍ個（ｍは正整数）のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、ｋ種類の色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数である、投影モジュール。
【請求項2】
前記ベースストライプシーケンスは、デブルーインシーケンスに基づいて配列される、請求項１に記載の投影モジュール。
【請求項3】
周期的に繰り返されるｍ個の前記ベースストライプシーケンスのサイクルのうち、２つの隣接する前記サイクルでは、ストライプ間隔の少なくとも一部が異なる、請求項１に記載の投影モジュール。
【請求項4】
周期的に繰り返されるｍ個の前記ベースストライプシーケンスのサイクルのうち、同一の前記サイクルでは、ストライプ間隔の少なくとも一部が異なる、請求項１に記載の投影モジュール。
【請求項5】
ｋの値が３とされ、またはｎの値が３とされ、またはｋの値およびｎの値がいずれも３とされる、請求項１に記載の投影モジュール。
【請求項6】
３つの互いに異なる色は、それぞれ赤、緑および青である、請求項５に記載の投影モジュール。
【請求項7】
請求項１～６のいずれか１項に記載の投影モジュールによって測定対象物の表面に投影された後にカメラモジュールによって撮影されたストライプパターンを復号するカラーストライプの復号方法であって、測定対象物の表面におけるストライプパターンを取得するステップと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するステップと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップと、
各ストライプの番号に基づいて各ストライプを三次元的に再構成し、測定対象物の三次元点の座標である三次元点座標を決定するステップと、を含む、復号方法。
【請求項8】
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するステップは、プリセットカラーコード、前記ピクセル座標および対応する色に基づいて、各ストライプに対応するカラーコードを決定するステップと、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とするステップと、
各ストライプの前記コード化値に基づいて、単一の前記ベースストライプシーケンスにおける各ストライプの番号を決定するステップと、
各サイクルのプリセットピクセル座標範囲を取得するステップと、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定するステップと、
単一の前記ベースストライプシーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するステップと、を含む、請求項７に記載の復号方法。
【請求項9】
前記三次元点の連続性に基づいて、現在のストライプの復号がずれているか否かを決定するステップと、復号がずれている場合に、対応する三次元点座標を修正して更新するステップと、をさらに含む、請求項８に記載の復号方法。
【請求項10】
各ストライプの番号に基づいて各ストライプを三次元的に再構成する前記ステップは、前記番号に基づいて、対応する光平面を決定するステップと、
前記光平面の光平面方程式、ターゲットストライプの中心が位置するピクセル座標およびカメラモジュールのプリセットパラメータに基づいて三次元点座標を再構築するステップと、を含むか、または、
カメラモジュールが双眼システムである場合、双眼システムの左カメラ画像および右カメラ画像における各ストライプの前記番号に基づいて、対応するストライプを決定するステップと、
対応するストライプおよびカメラモジュールのプリセットパラメータに基づいて、三次元点座標を再構築するステップと、を含む、請求項７に記載の復号方法。
【請求項11】
請求項７～１０のいずれか１項に記載の復号方法を実行するように構成されるカラーストライプの復号装置であって、測定対象物の表面のストライプパターンを取得するように構成されるストライプパターン取得モジュールと、
前記ストライプパターンに基づいて、各ストライプの中心が位置するピクセル座標を決定するように構成されるピクセル座標決定モジュールと、
前記ピクセル座標および対応する色に基づいて、各ストライプの番号を決定するように構成される番号決定モジュールと、
前記各ストライプの番号に基づいて、各ストライプに対して三次元再構成を行い、測定対象物の三次元点座標を決定するように構成される三次元点座標決定モジュールと、を備える、復号装置。
【請求項12】
前記番号決定モジュールは、プリセットカラーコード、前記ピクセル座標および前記対応する色に基づいて、各ストライプに対応するカラーコードを決定し、
ｉ番目（ｉはｌ以下の正整数）のストライプの場合、各ストライプの前記カラーコードに基づいて、ｉ番目のストライプが位置するｎ個の連続するストライプに対応するｎ個の連続するカラーコードを決定し、それをｉ番目のストライプのコード化値とし、
各ストライプの前記コード化値に基づいて、単一の前記ベースストライプシーケンスにおける各ストライプの番号を決定し、
各サイクルのプリセットピクセル座標範囲を取得し、
前記プリセットピクセル座標範囲および前記ピクセル座標に基づいて、各ストライプが位置するサイクルを決定し、
単一の前記ベースストライプシーケンスにおける前記各ストライプの番号および前記サイクルに基づいて、前記カラーストライプパターンにおける各ストライプの番号を決定するように構成される、請求項１１に記載の復号装置。
【請求項13】
プロセッサによって実行されると、プロセッサに請求項７～１０のいずれか１項に記載の復号方法を実施させるコンピュータプログラムが記憶されている、コンピュータ可読記憶媒体。
【請求項14】
プリセット角度をなす投影モジュールおよびカメラモジュールを備える、カラーストライプコード化構造光に基づく三次元測定システムであって、前記投影モジュールは、請求項１～６のいずれか１項に記載の投影モジュールを用いて、測定対象物の表面にカラーストライプパターンを投影するように構成され、
前記カメラモジュールは、前記測定対象物の表面によって変調されたストライプパターンを取得するように構成され、
前記ストライプパターンでは、各サイクル間にストライプの重複領域が現れない、三次元測定システム。
【請求項15】
前記投影モジュールおよび前記カメラモジュールは、同一の口腔内スキャナー内に配置される、請求項１４に記載の三次元測定システム。
【請求項16】
前記ストライプパターンを受信し、請求項７～１０のいずれか１項に記載の復号方法を実行するように構成されるデータ処理モジュールをさらに備える、請求項１４に記載の三次元測定システム。
【請求項17】
前記投影モジュールは、ＤＬＰ、ＬＣＯＳまたは透過投影などの手段によって実現され、前記カメラモジュールは、
１つのカラー画像センサーを備えるか、または、
分光システムおよび少なくとも２つの画像取得センサーを備える、請求項１４に記載の三次元測定システム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
上記課題を解決するために、本開示の実施例は、単一画像でのコード化が周期的に繰り返し可能なカラーストライプコード化構造光三次元測定技術を提案し、ストライプの色の数および復号幅を大幅に低減させ、走査効率を向上させるカラー投影モジュール、ストライプ復号方法、装置、メディア、デバイスおよびシステムを提供する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるｍ個（ｍは正整数）のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、ｋ種類の異なる色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数であるカラー投影モジュールを提供する。
前記ベースストライプシーケンスは、コード化シーケンスで表すものとして、ベースコード化シーケンスとも称する。
本開示は、測定対象物の表面にカラーストライプパターンを投影するように構成されたカラー投影モジュールであって、
前記カラーストライプパターンは、周期的に繰り返されるｍ個（ｍは正整数）のベースストライプシーケンスを含み、
前記ベースストライプシーケンスは、ｋ種類の異なる色のストライプを含み、かつ、任意の連続するｎ個のストライプからなるｎビットのストライプシーケンスは一意であり、前記ベースストライプシーケンスのストライプの総数ｌは、ｌ≦ｌ０、ｌ０＝ｋｎを満たし、ｋおよびｎはいずれも２以上の正整数であるカラー投影モジュールを提供する。
前記ベースストライプシーケンスは、コード化シーケンスで表すものとして、ベースコード化シーケンスとも称する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【0141】
メモリ７０２は、情報または命令として構成された大容量メモリを含み得る。例として、限定ではなく、メモリ７０２は、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ，ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープまたはユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，ＵＳＢ）ドライブまたはこれらの２以上の組合せを含み得る。適切な場合、メモリ７０２は、取り外し可能または取り外し不可能な（または固定された）メディアを含み得る。適切な場合、メモリ７０２は、統合ゲートウェイ装置の内部または外部であってもよい。特定の実施例において、メモリ７０２は不揮発性ソリッドステートメモリである。特定の実施例において、メモリ７０２は、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）を含む。適切な場合、該ＲＯＭは、マスクプログラマブルＲＯＭ、プログラマブルＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ，ＰＲＯＭ）、消去可能ＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ，ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ，ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ａｌｔｅｒａｂｌｅ ＲＯＭ，ＥＡＲＯＭ）またはフラッシュメモリ、またはこれらの２つ以上の組合せであってよい。
【国際調査報告】