(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-19
(54)【発明の名称】3次元情報を再構成するための構造化光の符号化の方法及びシステム
(51)【国際特許分類】
G01B 11/25 20060101AFI20241212BHJP
H04N 5/74 20060101ALI20241212BHJP
【FI】
G01B11/25 H
H04N5/74 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024527111
(86)(22)【出願日】2022-09-09
(85)【翻訳文提出日】2024-05-02
(86)【国際出願番号】 CN2022118053
(87)【国際公開番号】W WO2023082816
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】202111350080.X
(32)【優先日】2021-11-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】324011113
【氏名又は名称】アライドスター メディカル イクイップメント カンパニー リミテッド
(74)【代理人】
【識別番号】100131842
【氏名又は名称】加島 広基
(72)【発明者】
【氏名】▲呉▼厚航
【テーマコード(参考)】
2F065
5C058
【Fターム(参考)】
2F065AA52
2F065FF01
2F065FF09
2F065FF42
2F065HH07
2F065JJ03
2F065JJ26
2F065QQ01
2F065QQ24
2F065QQ38
5C058BA35
(57)【要約】
3次元情報を再構成するための構造化光の符号化の方法及びシステムを提供する。当該方法は、少なくとも3枚の投影画像を形成することを含み、すべての投影画像が位置合わせされて構成された符号化パターンは、第1種類のサブパターンと第2種類のサブパターンとを含み、第1種類のサブパターンと第2種類のサブパターンとが交互に現れ、第1種類のサブパターンは1枚の投影画像のみに縞が現れ、第2種類のサブパターンは少なくとも2枚の投影画像に縞が現れ、任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れる(S100)。当該方法は、高解像度でより少ない数の投影画像で結像位置と投影位置との対応関係を決定することができ、システムの計測効率を向上させ、大きな被写界深度の3次元点に対して正確に結像位置及び投影位置をマッチングさせ、且つマッチングのロバスト性が良い。
【特許請求の範囲】
【請求項1】
3次元情報を再構成するための構造化光の符号化の方法であって、
少なくとも3枚の投影画像を形成することを含み、
すべての投影画像が位置合わせされて構成された符号化パターンは、第1種類のサブパターンと第2種類のサブパターンとを含み、前記サブパターンは、すべての投影画像が同一の投影位置に形成されたパターンであり、
前記第1種類のサブパターンと前記第2種類のサブパターンとは交互に現れ、前記第1種類のサブパターンは1枚の投影画像のみに縞が現れ、前記第2種類のサブパターンは少なくとも2枚の投影画像に縞が現れ、
任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れることを特徴とする
3次元情報を再構成するための構造化光の符号化の方法。
【請求項2】
前記の任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れることは、
前記符号化パターンにおいて、前記第1種類のサブパターンが順番に全ての投影画像に縞が現れることを含むことを特徴とする請求項1に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項3】
任意の2つの隣接する第2種類のサブパターンのパターンが異なることを特徴とする請求項1に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項4】
前記の任意の2つの隣接する第2種類のサブパターンのパターンが異なることは、
隣接する第2種類のサブパターンのパターンにおいて、縞が投影画像に現れる位置が異なること、又は縞が投影画像に現れる数が異なることを含むことを特徴とする請求項3に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項5】
前記第2種類のサブパターンに第3種類のサブパターンが設けられ、前記第3種類のサブパターンは、すべての投影画像に縞が現れることを特徴とする請求項4に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項6】
第1ピースのサブパターンを前記第3種類のサブパターンに設定することを特徴とする請求項5に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項7】
基本パターンを決定し、前記基本パターンにおける各サブパターンのパターンはいずれも同じではなく、
前記基本パターンの各サブパターンを同じ所定周期で繰り返し出現させることを特徴とする請求項5に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項8】
前記符号化パターンはさらに第4種類のサブパターンを含み、隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入することを特徴とする請求項1~請求項7のいずれか一項に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項9】
3次元情報を再構成するためのシステムであって、
請求項1~請求項8のいずれか一項に記載の3次元情報を再構成するための構造化光の符号化の方法に従って複数の投影画像を生成し、時系列順に前記投影画像を被測定物体の表面に順次投射する投影装置と、
前記被測定物体の表面に投射された前記投影画像を結像して、結像画像を取得する画像センサと、
前記結像画像を復号化して、各結像位置と投影位置との対応関係を決定し、該対応関係に基づいて、前記被測定物体の表面の3次元情報を再構成する再構成ユニットと、
を含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元情報を再構成する分野に関し、特に3次元情報を再構成するための構造化光の符号化の方法及びシステムに関する。
【背景技術】
【0002】
工業制御、医療などの分野において、物体表面の3次元情報の再構成に多くの技術が存在している。そのうち、構造化光に基づく格子縞投影法は、その高精度、高効率、高ロバスト性などの利点により幅広く研究され、応用されている。
【0003】
このような方法は、主に、投影装置によって、特定の符号化の格子縞を構造化光の投影画像として被測定物体の表面に投影し、その後、画像センサ、例えばカメラによって、物体表面により変調して反射された構造化光を捕捉して、結像画像を得て、結像画像を復号化し、復号化パターンにおける各結像位置と投影位置との対応関係を見つけるものである。符号化パターンが物体に投影された位置が既知であるため、前記対応関係に基づいて、三角法により物体の表面の3次元情報を取得することができる。
【0004】
よく使われる構造化光の符号化の方法は、時間符号化である。時間符号化方法は時系列順に被測定空間に複数のパターンを投影し、投影ごとにカメラで結像する。
図3に示すように、4枚の画像を想定し、網掛けで覆われている部分の符号値を1、覆われていない部分の符号値を0とする。毎回の投影が各結像点に対して1つの符号値を生成し、4回の投影を経て、各結像点と一対一で対応するコードワード(
図3では長さが4であるバイナリコードワード)を生成し、結像点のバイナリコードワードに基づいて結像点と投影点との対応関係を決定することができる。
【0005】
グレイコードはバイナリコードの改良であり、バイナリコードよりもっと高いロバスト性を有する。解像度を上げるためには、投影位置数が比較的多くなる。グレイコードであってもバイナリコードであっても、投影位置数が2N個であれば、結像画像の復号化を確保するために、少なくともN枚の投影画像が必要となる。
【0006】
投影画像の数が多いことは、システムの計測精度を改善することに寄与するが、投影画像の数が多くなると、システムの計測効率に影響を与え、3次元再構成プロセスが複雑になってしまう。そのため、計測精度を確保しつつ、取得すべき画像数を減らす必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的の一つは、現在採用されている符号化方式に必要な投影画像の数が多いという問題を解決することができる3次元情報を再構成するための構造化光の符号化の方法及びシステムを提供することである。
【課題を解決するための手段】
【0008】
本発明に係る技術案は以下の通りである。
【0009】
3次元情報を再構成するための構造化光の符号化の方法であって、
少なくとも3枚の投影画像を形成することを含み、すべての投影画像が位置合わせされて構成された符号化パターンは、第1種類のサブパターンと第2種類のサブパターンとを含み、前記サブパターンは、すべての投影画像が同一の投影位置に形成されたパターンであり、
前記第1種類のサブパターンと前記第2種類のサブパターンとは交互に現れ、前記第1種類のサブパターンは1枚の投影画像のみに縞が現れ、前記第2種類のサブパターンは少なくとも2枚の投影画像に縞が現れ、任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れる、
3次元情報を再構成するための構造化光の符号化の方法。
【0010】
いくつかの実施例において、前記の任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れることは、前記符号化パターンにおいて、前記第1種類のサブパターンが順番に全ての投影画像に縞が現れることを含む。
【0011】
いくつかの実施例において、任意の2つの隣接する第2種類のサブパターンのパターンが異なる。
【0012】
いくつかの実施例において、前記の任意の2つの隣接する第2種類のサブパターンのパターンが異なることは、隣接する第2種類のサブパターンのパターンにおいて、縞が投影画像に現れる位置が異なること、又は縞が投影画像に現れる数が異なることを含む。
【0013】
いくつかの実施例において、前記第2種類のサブパターンに第3種類のサブパターンが設けられ、前記第3種類のサブパターンは、すべての投影画像に縞が現れる。
【0014】
いくつかの実施例において、第1ピースのサブパターンを前記第3種類のサブパターンに設定する。
【0015】
いくつかの実施例において、基本パターンを決定し、前記基本パターンにおける各サブパターンのパターンはいずれも同じではなく、前記基本パターンの各サブパターンを同じ所定周期で繰り返し出現させる。
【0016】
いくつかの実施例において、前記符号化パターンはさらに第4種類のサブパターンを含み、隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入する。
【0017】
本発明は、3次元情報を再構成するためのシステムであって、3次元情報を再構成するための上記の構造化光の符号化の方法に従って複数の投影画像を生成し、時系列順に前記投影画像を被測定物体の表面に投射する投影装置と、前記被測定物体の表面に投射された前記投影画像を結像して、結像画像を取得する画像センサと、前記結像画像を復号化して、各結像位置と投影位置との対応関係を決定し、該対応関係に基づいて、前記被測定物体の表面の3次元情報を再構成する再構成ユニットと、を含むシステムを更に提供する。
【発明の効果】
【0018】
本発明によって提供される3次元情報を再構成するための構造化光の符号化の方法及びシステムは、少なくとも以下の有益な効果をもたらす。
【0019】
1、本発明は、符号化パターンに第1種類のサブパターンと第2種類のサブパターンを設け、且つこれら2種類のサブパターンを交互に出現させることにより、従来のバイナリコード符号化/グレイコード符号化方式に比べて、高解像度でより少ない数の投影画像で結像位置と投影位置との対応関係を決定し、システムの計測効率を向上させる。
【0020】
2、本発明は、第1種類のサブパターンを順番に全ての投影画像に縞を出現させ、及び/又は第4種類のサブパターンを導入し、及び/又は投影画像の数を適宜増加させることにより、より大きな被写界深度を得ることができ、大きな被写界深度の3次元点に対して正確に結像位置及び投影位置をマッチングさせることができ、且つマッチングのロバスト性が良い。
【図面の簡単な説明】
【0021】
以下、図面を参照して好ましい実施形態を明瞭に且つ理解しやすくように説明し、3次元情報を再構成するための構造化光の符号化の方法及びシステムの上記特性、技術的特徴、利点及びその実施するための形態についてさらに説明する。
【0022】
【
図1】本発明の3次元情報を再構成するための構造化光の符号化の方法の一実施例のフローチャートである。
【
図2】本発明の3次元情報を再構成するためのシステムの構造模式図である。
【
図3】従来のバイナリコード符号化パターンのロジック模式図である。
【
図4】本発明の構造化光の符号化のパターンのロジック模式図である。
【
図5】本発明の構造化光の符号化のパターンの別のロジック模式図である。
【
図6】本発明の構造化光の符号化のパターンの別のロジック模式図である。
【
図7】本発明の構造化光の符号化のパターンの別のロジック模式図である。
【
図8】本発明の構造化光の符号化のパターンの模式図である。
【発明を実施するための形態】
【0023】
本発明の実施例又は従来技術における技術案をより明瞭に説明するために、以下、図面を参照して本発明の具体的な実施形態を説明する。明らかなように、以下の説明における図面は、本発明のいくつかの実施例に過ぎず、当業者にとって、創造的な労力を伴わずに、これらの図面に基づいて他の図面を取得し、他の実施形態を得ることができる。
【0024】
図面を簡潔にするために、各図には本発明に関連する部分のみが模式的に示されており、それらは製品の実際の構造として示されていない。なお、図面を簡潔に且つ理解しやすくするために、図面において同一の構成又は機能を有する部材には、そのうちの1つのみが模式的に描かれているか、又はそのうちの1つのみが記されている。本文において、「1つ」は、「1つだけ」だけでなく、「1つよりも多い」場合を表すこともできる。
【0025】
本発明の一実施例は、
図1に示すように、3次元情報を再構成するための構造化光の符号化の方法であって、
N枚の投影画像を形成することを含み、N≧3であり、
すべての投影画像が位置合わせされて構成された符号化パターンは、第1種類のサブパターンAと第2種類のサブパターンBとを含み、サブパターンは、全ての投影画像が同一の投影位置に形成されたパターンであり、
第1種類のサブパターンAと第2種類のサブパターンBとは交互に現れ、第1種類のサブパターンAは1枚の投影画像のみに縞が現れ、第2種類のサブパターンBは少なくとも2枚の投影画像に縞が現れ、且つ任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れるステップS100を含む、3次元情報を再構成するための構造化光の符号化の方法。
【0026】
具体的には、本実施例は、構造化光の時間符号化方法である。時間符号化方法は、被測定物体の表面に複数のパターンを時系列順に投影することである。各パターンは、投影画像とも呼ばれ、一列の明暗の異なる構造化光で構成される。
【0027】
投影装置は、一般に光源と格子(グレーティング)とを含む。格子は、多数の等幅の平行スリットからなる光学デバイスである。スリットがある箇所において、光源をスリットに通して一つの明色の光線を形成し、この明色の光線を縞と呼ぶ。スリットが存在しない箇所では、光源を通すことなく、暗色が形成される。格子に投影画像を記録し、光源が格子上の投影画像を物体表面に投影する。
【0028】
全ての投影画像を位置合わせて符号化パターンを構成し、符号化パターンを投影位置毎に分割し、全ての投影画像が同じ投影位置の要素において形成されたパターンをサブパターンと呼ぶ。つまり、サブパターンは、同一の投影位置における符号化パターンのパターンである。
図8に示すように、3枚の投影画像からなる符号化パターンは、横方向の各列が投影画像であり、縦方向の各列がサブパターンである。
【0029】
サブパターンは、1枚の投影画像のみに縞が現れるサブパターンである第1種類のサブパターンAと、少なくとも2枚の投影画像に縞が現れるサブパターンである第2種類のサブパターンBとを含む。
【0030】
符号化パターンにおいて、第1種類のサブパターンAと第2種類のサブパターンBとは、交互に出現する。
【0031】
例えば、
図4に示すように、6つの投影点(即ち投影位置)と3枚の投影画像があり、そのうち灰色セルは縞を表す。投影画像1のように、投影点1-3に縞が現れ、他の投影点に縞が現れない。
【0032】
3枚の投影画像は、いずれも投影点1において縞が現れているため、投影点1のサブパターンは第2種類のサブパターンBであり、投影画像1のみは、投影点2において縞が現れているため、投影点2のサブパターンは第1種類のサブパターンAであり、投影画像1及び2は、投影点3において縞が現れているため、投影点3のサブパターンは第2種類のサブパターンBであり、順次類推する。投影画像1-3からなる符号化パターンは、第2種類のサブパターンB、Aが交互に出現するパターンであり、実際には、第1種類のサブパターンA、Bが交互に出現することによって符号化パターンを構成してもよく、本実施例はこれを限定しない。
【0033】
隣接する第1種類のサブパターンは、異なる投影画像において縞が現れる。
図4に示すように、投影点2、4、6のサブパターンはいずれも第1種類のサブパターンAであり、投影点2と4、又は投影点4と6のサブパターンは隣接する第1種類のサブパターンであり、任意の2つの隣接する第1種類のサブパターンのパターンが異なり、縞は異なる投影画像に現れることがわかる。
【0034】
上記の符号化パターンを復号化する場合、一実施形態では、第1種類のサブパターンAと第2種類のサブパターンBとの差異に基づいて、第1種類のサブパターンAと第2種類のサブパターンBとを区別し、さらに、隣接する第1種類のサブパターンAの違い及び第1種類のサブパターンAの出現規則に基づいて、全ての第1種類のサブパターンAにおける結像点(即ち、結像位置)と投影点(即ち、投影位置)との対応関係を決定し、そして、さらに第2種類のサブパターンBを識別し、結像点と投影点との対応関係を決定する。
【0035】
隣接する第2種類のサブパターンのパターンは同一であってもよく、異なっていてもよい。異なることは、第2の種類のサブパターンの位置をよりよく決定することに役立つ。例えば、
図4を例として、投影点2の第1種類のサブパターンを決定した後、その前後が第2種類のサブパターンであることがわかり、両者のパターンが同じであれば、その番号が1であるか3であるかを特定することは容易ではなく、両者のパターンが異なれば、その番号をよりやすく特定することができる。
【0036】
隣接する第2種類のサブパターンのパターンが異なることは、隣接する第2種類のサブパターンのパターンにおいて、縞が投影画像に現れる位置が異なること、又は縞が投影画像に現れる数が異なること、と表現されることができる。要するに、両者のパターンの差異が大きいほど、識別に有利である。
【0037】
第2種類のサブパターンをさらに細分化し、第3種類のサブパターンと非第3種類のサブパターンに分けることができる。全ての投影画像に縞が現れるサブパターンを第3種類のサブパターンとする。第3種類のサブパターンは、すべての投影画像において縞が現れているため、復号化の時により識別しやすい。
【0038】
上記方法で得られた符号化パターンを基本パターンとする。復号化を容易にするために、基本パターンに制約を追加して、基本パターンにおける各サブパターンのパターンが異なることを要求することができる。
【0039】
縞がある結像点の画素値が1であり、縞のない結像点の画素値が0であると仮定すると、
図4における各サブパターンに対応するコードワードは異なるため、通常の方法に従って復号化することができ、例えば、結像点のコードワードにより結像点と投影点との対応関係を決定することができる。もちろん、他の復号化方法を採用してもよく、本実施例にはこれを限定しない。
【0040】
高解像度要求により、必要なサブパターンの数が多い場合がある。基本パターンを繰り返し周期で出現させて新たな符号化パターンを形成し、即ち、基本パターンの各サブパターンが同じ所定周期で繰り返し出現する。こうすると、新たな投影画像を増やす必要がない。2N本のサブパターンに対して、3枚の投影画像を採用しても復号化要求を満たすことができる。
【0041】
一実施例において、基本パターンの第1ピースのサブパターンを第3種類のサブパターンCとする。第3種類のサブパターンCが識別しやすいため、基本パターンの境界をより容易に特定することができる。
【0042】
図5に示すように、
図5は、
図4のパターンをベースに
図4のパターンを繰り返し出現させて形成されたパターンである。このような符号化方式に対して、復号化の際に、基本パターンの境界を先に決定し、さらに前記方法を用いて基本パターンを復号化することができる。基本パターンの境界は、サブパターンの繰り返し出現規則によって特定されてもよい。例えば、
図5に示すように、投影点1のサブパターンの繰り返し出現規則に基づいて基本パターンの境界を特定する。
【0043】
一実施例において、隣接する第1種類のサブパターンは異なる投影画像に縞が現れることは、全ての投影画像が位置合わせされて構成された符号化パターンにおいて、第1種類のサブパターンが全ての投影画像において順番に縞が現れることを含む。ここでの順番に縞が現れるとは、全ての投影画像の1つの並び順に縞が現れたり、全ての投影画像の1つの並び順を周期として縞が繰り返し現れることを意味する。
【0044】
図5に示すように、第1種類のサブパターンは、投影画像1、2、3の順に投影点2、4、6に縞を出現させ、その後、これを周期として、投影点8、10、12において前記パターンを繰り返し、順次類推する。もちろん、第1種類のサブパターンは、投影画像1、3、2の順、又は2、3、1などの他の並び順に、各投影点に縞を順次出現させてもよい。
【0045】
このように、同一の投影画像において隣接する第1種類のサブパターンの間隔をより大きくすることができ、これにより、第1種類のサブパターンの復号化の正確性を向上させ、より大きな被写界深度を取得し、表面深度の変化が大きい物体表面の3次元情報の再構成に適用することができる。そうでなければ、被写界深度が小さい応用シーンのみに適用される。被写界深度は物体表面の深度変化に対応し、物体表面の深度変化が大きくない場合、被写界深度の要求が低く、逆に、物体表面の深度変化が大きい場合、被写界深度の要求が高い。
【0046】
被写界深度をさらに大きくするために、前記実施例のほかに、符号化パターンに第4種類のサブパターンDを導入してもよい。第4種類のサブパターンDは、全ての投影画像に縞が現れていない。隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入すると良い。
【0047】
図6に示すように、投影点1、5、9、13のサブパターンは第2種類のサブパターンであり、投影点2、4、6、8、10、12、14、16のサブパターンは第4種類のサブパターンであり、投影点3、7、11、15のサブパターンは第1種類のサブパターンである。隣接する第2種類のサブパターンと第1種類のサブパターンとの間には、1つの第4種類のサブパターンがある。
【0048】
図6に示す符号化方式に対して、前記復号化方式により第2種類のサブパターンを決定した後、「隣接する第2種類のサブパターンと第1種類のサブパターンとの間に1つの第4種類のサブパターンがある」ことに基づいて、すべての第4種類のサブパターンを決定することができる。
【0049】
図5において、同一の投影画像における隣接する第1種類のサブパターンの間隔は6である。
図6において、同一の投影画像における隣接する第1種類のサブパターンの間隔は12であり、
図5の場合よりはるかに大きいため、より大きな被写界深度の応用シーンに適用できる。
【0050】
より大きな被写界深度の要求を満たすために、投影画像の数を増加させてもよい。
図7に示すように、4つの投影画像を採用すると、同一の投影画像における隣接する第1種類のサブパターンの間隔は8であり、
図5の場合より大きいことが分かる。投影画像の数を増加させる上に、「隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入する」ことをさらに増加させると、間隔をさらに増大させ、より大きな被写界深度の要求を満たすことができる。
【0051】
本実施例において、符号化方式において第1種類のサブパターン及び第2種類のサブパターンを設け、且つこれら2種類のサブパターンを交互に出現させることにより、バイナリコード符号化/グレイコード符号化方式に比べて、高解像度でより少ない数の投影画像で結像点と投影点との対応関係を決定することができ、システムの計測効率を向上させる。第1種類のサブパターンを順番に全ての投影画像に縞を出現させ、かつ第4種類のサブパターンを導入することにより、大きな被写界深度の3次元点に比べて正確に結像点及び投影点をマッチングさせることができ、且つマッチングのロバスト性が良い。
【0052】
本発明の一実施例は、
図2に示すように、3次元情報を再構成するためのシステムを提供し、当該システムは、
上記実施例に記載の3次元情報を再構成するための構造化光の符号化の方法に従って複数の投影画像を生成し、時系列順に前記投影画像を被測定物体の表面に投射する投影装置100と、
被測定物体の表面に投射された投影画像を結像して、結像画像を取得する画像センサ200と、
結像画像を復号化して、各結像位置と投影位置との対応関係を決定し、該対応関係に基づいて、被測定物体の表面の3次元情報を再構成する再構成ユニット300と、を含む。
【0053】
具体的には、投影装置100は、上記実施例に記載の3次元情報を再構成するための構造化光の符号化の方法に従って複数の投影画像を生成する。再構成ユニット300は、上記実施例に記載の3次元情報を再構成するための構造化光復号化方法に従って、結像画像を復号化し、各結像位置と投影位置との対応関係を決定する。
【0054】
符号化パターンは複数の投影画像から構成され、復号化パターンは複数の結像画像から構成される。
【0055】
なお、上記実施例は、いずれも必要に応じて自由に組み合わせることができる。以上は、本発明の好適な実施形態に過ぎず、当業者にとって、本発明の原理から逸脱することなく、いくつかの改良及び修飾を行うことができ、これらの改良及び修飾も本発明の保護範囲に属することとみなされるべきである。
【手続補正書】
【提出日】2024-10-31
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元情報を再構成する分野に関し、特に3次元情報を再構成するための構造化光の符号化の方法及びシステムに関する。
【背景技術】
【0002】
工業制御、医療などの分野において、物体表面の3次元情報の再構成に多くの技術が存在している。そのうち、構造化光に基づく格子縞投影法は、その高精度、高効率、高ロバスト性などの利点により幅広く研究され、応用されている。
【0003】
このような方法は、主に、投影装置によって、特定の符号化の格子縞を構造化光の投影画像として被測定物体の表面に投影し、その後、画像センサ、例えばカメラによって、物体表面により変調して反射された構造化光を捕捉して、結像画像を得て、結像画像を復号化し、復号化パターンにおける各結像位置と投影位置との対応関係を見つけるものである。符号化パターンが物体に投影された位置が既知であるため、前記対応関係に基づいて、三角法により物体の表面の3次元情報を取得することができる。
【0004】
よく使われる構造化光の符号化の方法は、時間符号化である。時間符号化方法は時系列順に被測定空間に複数のパターンを投影し、投影ごとにカメラで結像する。
図3に示すように、4枚の画像を想定し、網掛けで覆われている部分の符号値を1、覆われていない部分の符号値を0とする。毎回の投影が各結像点に対して1つの符号値を生成し、4回の投影を経て、各結像点と一対一で対応するコードワード(
図3では長さが4であるバイナリコードワード)を生成し、結像点のバイナリコードワードに基づいて結像点と投影点との対応関係を決定することができる。
【0005】
グレイコードはバイナリコードの改良であり、バイナリコードよりもっと高いロバスト性を有する。解像度を上げるためには、投影位置数が比較的多くなる。グレイコードであってもバイナリコードであっても、投影位置数が2N個であれば、結像画像の復号化を確保するために、少なくともN枚の投影画像が必要となる。
【0006】
投影画像の数が多いことは、システムの計測精度を改善することに寄与するが、投影画像の数が多くなると、システムの計測効率に影響を与え、3次元再構成プロセスが複雑になってしまう。そのため、計測精度を確保しつつ、取得すべき画像数を減らす必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的の一つは、現在採用されている符号化方式に必要な投影画像の数が多いという問題を解決することができる3次元情報を再構成するための構造化光の符号化の方法及びシステムを提供することである。
【課題を解決するための手段】
【0008】
本発明に係る技術案は以下の通りである。
【0009】
3次元情報を再構成するための構造化光の符号化の方法であって、
少なくとも3枚の投影画像を形成することを含み、すべての投影画像が位置合わせされて構成された符号化パターンは、第1種類のサブパターンと第2種類のサブパターンとを含み、前記サブパターンは、すべての投影画像が同一の投影位置に形成されたパターンであり、
前記第1種類のサブパターンと前記第2種類のサブパターンとは交互に現れ、前記第1種類のサブパターンは1枚の投影画像のみに縞が現れ、前記第2種類のサブパターンは少なくとも2枚の投影画像に縞が現れ、任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れる、
3次元情報を再構成するための構造化光の符号化の方法。
【0010】
いくつかの実施例において、前記の任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れることは、前記符号化パターンにおいて、前記第1種類のサブパターンが順番に全ての投影画像に縞が現れることを含む。
【0011】
いくつかの実施例において、任意の2つの隣接する第2種類のサブパターンのパターンが異なる。
【0012】
いくつかの実施例において、前記の任意の2つの隣接する第2種類のサブパターンのパターンが異なることは、隣接する第2種類のサブパターンのパターンにおいて、縞が投影画像に現れる位置が異なること、又は縞が投影画像に現れる数が異なることを含む。
【0013】
いくつかの実施例において、前記第2種類のサブパターンに第3種類のサブパターンが設けられ、前記第3種類のサブパターンは、すべての投影画像に縞が現れる。
【0014】
いくつかの実施例において、第1ピースのサブパターンを前記第3種類のサブパターンに設定する。
【0015】
いくつかの実施例において、基本パターンを決定し、前記基本パターンにおける各サブパターンのパターンはいずれも同じではなく、前記基本パターンの各サブパターンを同じ所定周期で繰り返し出現させる。
【0016】
いくつかの実施例において、前記符号化パターンはさらに第4種類のサブパターンを含み、隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入する。
【0017】
本発明は、3次元情報を再構成するためのシステムであって、3次元情報を再構成するための上記の構造化光の符号化の方法に従って複数の投影画像を生成し、時系列順に前記投影画像を被測定物体の表面に投射する投影装置と、前記被測定物体の表面に投射された前記投影画像を結像して、結像画像を取得する画像センサと、前記結像画像を復号化して、各結像位置と投影位置との対応関係を決定し、該対応関係に基づいて、前記被測定物体の表面の3次元情報を再構成する再構成ユニットと、を含むシステムを更に提供する。
【発明の効果】
【0018】
本発明によって提供される3次元情報を再構成するための構造化光の符号化の方法及びシステムは、少なくとも以下の有益な効果をもたらす。
【0019】
1、本発明は、符号化パターンに第1種類のサブパターンと第2種類のサブパターンを設け、且つこれら2種類のサブパターンを交互に出現させることにより、従来のバイナリコード符号化/グレイコード符号化方式に比べて、高解像度でより少ない数の投影画像で結像位置と投影位置との対応関係を決定し、システムの計測効率を向上させる。
【0020】
2、本発明は、第1種類のサブパターンを順番に全ての投影画像に縞を出現させ、及び/又は第4種類のサブパターンを導入し、及び/又は投影画像の数を適宜増加させることにより、より大きな被写界深度を得ることができ、大きな被写界深度の3次元点に対して正確に結像位置及び投影位置をマッチングさせることができ、且つマッチングのロバスト性が良い。
【図面の簡単な説明】
【0021】
以下、図面を参照して好ましい実施形態を明瞭に且つ理解しやすくように説明し、3次元情報を再構成するための構造化光の符号化の方法及びシステムの上記特性、技術的特徴、利点及びその実施するための形態についてさらに説明する。
【0022】
【
図1】本発明の3次元情報を再構成するための構造化光の符号化の方法の一実施例のフローチャートである。
【0023】
【
図2】本発明の3次元情報を再構成するためのシステムの構造模式図である。
【0024】
【
図3】従来のバイナリコード符号化パターンのロジック模式図である。
【0025】
【
図4】本発明の構造化光の符号化のパターンのロジック模式図である。
【0026】
【
図5】本発明の構造化光の符号化のパターンの別のロジック模式図である。
【0027】
【
図6】本発明の構造化光の符号化のパターンの別のロジック模式図である。
【0028】
【
図7】本発明の構造化光の符号化のパターンの別のロジック模式図である。
【0029】
【
図8】本発明の構造化光の符号化のパターンの模式図である。
【発明を実施するための形態】
【0030】
本発明の実施例又は従来技術における技術案をより明瞭に説明するために、以下、図面を参照して本発明の具体的な実施形態を説明する。明らかなように、以下の説明における図面は、本発明のいくつかの実施例に過ぎず、当業者にとって、創造的な労力を伴わずに、これらの図面に基づいて他の図面を取得し、他の実施形態を得ることができる。
【0031】
図面を簡潔にするために、各図には本発明に関連する部分のみが模式的に示されており、それらは製品の実際の構造として示されていない。なお、図面を簡潔に且つ理解しやすくするために、図面において同一の構成又は機能を有する部材には、そのうちの1つのみが模式的に描かれているか、又はそのうちの1つのみが記されている。本文において、「1つ」は、「1つだけ」だけでなく、「1つよりも多い」場合を表すこともできる。
【0032】
本発明の一実施例は、
図1に示すように、3次元情報を再構成するための構造化光の符号化の方法であって、
N枚の投影画像を形成することを含み、N≧3であり、
すべての投影画像が位置合わせされて構成された符号化パターンは、第1種類のサブパターンAと第2種類のサブパターンBとを含み、サブパターンは、全ての投影画像が同一の投影位置に形成されたパターンであり、
第1種類のサブパターンAと第2種類のサブパターンBとは交互に現れ、第1種類のサブパターンAは1枚の投影画像のみに縞が現れ、第2種類のサブパターンBは少なくとも2枚の投影画像に縞が現れ、且つ任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れるステップS100を含む、3次元情報を再構成するための構造化光の符号化の方法。
【0033】
具体的には、本実施例は、構造化光の時間符号化方法である。時間符号化方法は、被測定物体の表面に複数のパターンを時系列順に投影することである。各パターンは、投影画像とも呼ばれ、一列の明暗の異なる構造化光で構成される。
【0034】
投影装置は、一般に光源と格子(グレーティング)とを含む。格子は、多数の等幅の平行スリットからなる光学デバイスである。スリットがある箇所において、光源をスリットに通して一つの明色の光線を形成し、この明色の光線を縞と呼ぶ。スリットが存在しない箇所では、光源を通すことなく、暗色が形成される。格子に投影画像を記録し、光源が格子上の投影画像を物体表面に投影する。
【0035】
全ての投影画像を位置合わせて符号化パターンを構成し、符号化パターンを投影位置毎に分割し、全ての投影画像が同じ投影位置の要素において形成されたパターンをサブパターンと呼ぶ。つまり、サブパターンは、同一の投影位置における符号化パターンのパターンである。
図8に示すように、3枚の投影画像からなる符号化パターンは、横方向の各列が投影画像であり、縦方向の各列がサブパターンである。
【0036】
サブパターンは、1枚の投影画像のみに縞が現れるサブパターンである第1種類のサブパターンAと、少なくとも2枚の投影画像に縞が現れるサブパターンである第2種類のサブパターンBとを含む。
【0037】
符号化パターンにおいて、第1種類のサブパターンAと第2種類のサブパターンBとは、交互に出現する。
【0038】
例えば、
図4に示すように、6つの投影点(即ち投影位置)と3枚の投影画像があり、そのうち灰色セルは縞を表す。投影画像1のように、投影点1-3に縞が現れ、他の投影点に縞が現れない。
【0039】
3枚の投影画像は、いずれも投影点1において縞が現れているため、投影点1のサブパターンは第2種類のサブパターンBであり、投影画像1のみは、投影点2において縞が現れているため、投影点2のサブパターンは第1種類のサブパターンAであり、投影画像1及び2は、投影点3において縞が現れているため、投影点3のサブパターンは第2種類のサブパターンBであり、順次類推する。投影画像1-3からなる符号化パターンは、第2種類のサブパターンB、Aが交互に出現するパターンであり、実際には、第1種類のサブパターンA、Bが交互に出現することによって符号化パターンを構成してもよく、本実施例はこれを限定しない。
【0040】
隣接する第1種類のサブパターンは、異なる投影画像において縞が現れる。
図4に示すように、投影点2、4、6のサブパターンはいずれも第1種類のサブパターンAであり、投影点2と4、又は投影点4と6のサブパターンは隣接する第1種類のサブパターンであり、任意の2つの隣接する第1種類のサブパターンのパターンが異なり、縞は異なる投影画像に現れることがわかる。
【0041】
上記の符号化パターンを復号化する場合、一実施形態では、第1種類のサブパターンAと第2種類のサブパターンBとの差異に基づいて、第1種類のサブパターンAと第2種類のサブパターンBとを区別し、さらに、隣接する第1種類のサブパターンAの違い及び第1種類のサブパターンAの出現規則に基づいて、全ての第1種類のサブパターンAにおける結像点(即ち、結像位置)と投影点(即ち、投影位置)との対応関係を決定し、そして、さらに第2種類のサブパターンBを識別し、結像点と投影点との対応関係を決定する。
【0042】
隣接する第2種類のサブパターンのパターンは同一であってもよく、異なっていてもよい。異なることは、第2の種類のサブパターンの位置をよりよく決定することに役立つ。例えば、
図4を例として、投影点2の第1種類のサブパターンを決定した後、その前後が第2種類のサブパターンであることがわかり、両者のパターンが同じであれば、その番号が1であるか3であるかを特定することは容易ではなく、両者のパターンが異なれば、その番号をよりやすく特定することができる。
【0043】
隣接する第2種類のサブパターンのパターンが異なることは、隣接する第2種類のサブパターンのパターンにおいて、縞が投影画像に現れる位置が異なること、又は縞が投影画像に現れる数が異なること、と表現されることができる。要するに、両者のパターンの差異が大きいほど、識別に有利である。
【0044】
第2種類のサブパターンをさらに細分化し、第3種類のサブパターンと非第3種類のサブパターンに分けることができる。全ての投影画像に縞が現れるサブパターンを第3種類のサブパターンとする。第3種類のサブパターンは、すべての投影画像において縞が現れているため、復号化の時により識別しやすい。
【0045】
上記方法で得られた符号化パターンを基本パターンとする。復号化を容易にするために、基本パターンに制約を追加して、基本パターンにおける各サブパターンのパターンが異なることを要求することができる。
【0046】
縞がある結像点の画素値が1であり、縞のない結像点の画素値が0であると仮定すると、
図4における各サブパターンに対応するコードワードは異なるため、通常の方法に従って復号化することができ、例えば、結像点のコードワードにより結像点と投影点との対応関係を決定することができる。もちろん、他の復号化方法を採用してもよく、本実施例にはこれを限定しない。
【0047】
高解像度要求により、必要なサブパターンの数が多い場合がある。基本パターンを繰り返し周期で出現させて新たな符号化パターンを形成し、即ち、基本パターンの各サブパターンが同じ所定周期で繰り返し出現する。こうすると、新たな投影画像を増やす必要がない。2N本のサブパターンに対して、3枚の投影画像を採用しても復号化要求を満たすことができる。
【0048】
一実施例において、基本パターンの第1ピースのサブパターンを第3種類のサブパターンCとする。第3種類のサブパターンCが識別しやすいため、基本パターンの境界をより容易に特定することができる。
【0049】
図5に示すように、
図5は、
図4のパターンをベースに
図4のパターンを繰り返し出現させて形成されたパターンである。このような符号化方式に対して、復号化の際に、基本パターンの境界を先に決定し、さらに前記方法を用いて基本パターンを復号化することができる。基本パターンの境界は、サブパターンの繰り返し出現規則によって特定されてもよい。例えば、
図5に示すように、投影点1のサブパターンの繰り返し出現規則に基づいて基本パターンの境界を特定する。
【0050】
一実施例において、隣接する第1種類のサブパターンは異なる投影画像に縞が現れることは、全ての投影画像が位置合わせされて構成された符号化パターンにおいて、第1種類のサブパターンが全ての投影画像において順番に縞が現れることを含む。ここでの順番に縞が現れるとは、全ての投影画像の1つの並び順に縞が現れたり、全ての投影画像の1つの並び順を周期として縞が繰り返し現れることを意味する。
【0051】
図5に示すように、第1種類のサブパターンは、投影画像1、2、3の順に投影点2、4、6に縞を出現させ、その後、これを周期として、投影点8、10、12において前記パターンを繰り返し、順次類推する。もちろん、第1種類のサブパターンは、投影画像1、3、2の順、又は2、3、1などの他の並び順に、各投影点に縞を順次出現させてもよい。
【0052】
このように、同一の投影画像において隣接する第1種類のサブパターンの間隔をより大きくすることができ、これにより、第1種類のサブパターンの復号化の正確性を向上させ、より大きな被写界深度を取得し、表面深度の変化が大きい物体表面の3次元情報の再構成に適用することができる。そうでなければ、被写界深度が小さい応用シーンのみに適用される。被写界深度は物体表面の深度変化に対応し、物体表面の深度変化が大きくない場合、被写界深度の要求が低く、逆に、物体表面の深度変化が大きい場合、被写界深度の要求が高い。
【0053】
被写界深度をさらに大きくするために、前記実施例のほかに、符号化パターンに第4種類のサブパターンDを導入してもよい。第4種類のサブパターンDは、全ての投影画像に縞が現れていない。隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入すると良い。
【0054】
図6に示すように、投影点1、5、9、13のサブパターンは第2種類のサブパターンであり、投影点2、4、6、8、10、12、14、16のサブパターンは第4種類のサブパターンであり、投影点3、7、11、15のサブパターンは第1種類のサブパターンである。隣接する第2種類のサブパターンと第1種類のサブパターンとの間には、1つの第4種類のサブパターンがある。
【0055】
図6に示す符号化方式に対して、前記復号化方式により第2種類のサブパターンを決定した後、「隣接する第2種類のサブパターンと第1種類のサブパターンとの間に1つの第4種類のサブパターンがある」ことに基づいて、すべての第4種類のサブパターンを決定することができる。
【0056】
図5において、同一の投影画像における隣接する第1種類のサブパターンの間隔は6である。
図6において、同一の投影画像における隣接する第1種類のサブパターンの間隔は12であり、
図5の場合よりはるかに大きいため、より大きな被写界深度の応用シーンに適用できる。
【0057】
より大きな被写界深度の要求を満たすために、投影画像の数を増加させてもよい。
図7に示すように、4つの投影画像を採用すると、同一の投影画像における隣接する第1種類のサブパターンの間隔は8であり、
図5の場合より大きいことが分かる。投影画像の数を増加させる上に、「隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入する」ことをさらに増加させると、間隔をさらに増大させ、より大きな被写界深度の要求を満たすことができる。
【0058】
本実施例において、符号化方式において第1種類のサブパターン及び第2種類のサブパターンを設け、且つこれら2種類のサブパターンを交互に出現させることにより、バイナリコード符号化/グレイコード符号化方式に比べて、高解像度でより少ない数の投影画像で結像点と投影点との対応関係を決定することができ、システムの計測効率を向上させる。第1種類のサブパターンを順番に全ての投影画像に縞を出現させ、かつ第4種類のサブパターンを導入することにより、大きな被写界深度の3次元点に比べて正確に結像点及び投影点をマッチングさせることができ、且つマッチングのロバスト性が良い。
【0059】
本発明の一実施例は、
図2に示すように、3次元情報を再構成するためのシステムを提供し、当該システムは、
上記実施例に記載の3次元情報を再構成するための構造化光の符号化の方法に従って複数の投影画像を生成し、時系列順に前記投影画像を被測定物体の表面に投射する投影装置100と、
被測定物体の表面に投射された投影画像を結像して、結像画像を取得する画像センサ200と、
結像画像を復号化して、各結像位置と投影位置との対応関係を決定し、該対応関係に基づいて、被測定物体の表面の3次元情報を再構成する再構成ユニット300と、を含む。
【0060】
具体的には、投影装置100は、上記実施例に記載の3次元情報を再構成するための構造化光の符号化の方法に従って複数の投影画像を生成する。再構成ユニット300は、上記実施例に記載の3次元情報を再構成するための構造化光復号化方法に従って、結像画像を復号化し、各結像位置と投影位置との対応関係を決定する。
【0061】
符号化パターンは複数の投影画像から構成され、復号化パターンは複数の結像画像から構成される。
【0062】
なお、上記実施例は、いずれも必要に応じて自由に組み合わせることができる。以上は、本発明の好適な実施形態に過ぎず、当業者にとって、本発明の原理から逸脱することなく、いくつかの改良及び修飾を行うことができ、これらの改良及び修飾も本発明の保護範囲に属することとみなされるべきである。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
3次元情報を再構成するための構造化光の符号化の方法であって、
少なくとも3枚の投影画像を形成することを含み、
すべての投影画像が位置合わせされて構成された符号化パターンは、第1種類のサブパターンと第2種類のサブパターンとを含み、前記サブパターンは、すべての投影画像が同一の投影位置に形成されたパターンであり、
前記第1種類のサブパターンと前記第2種類のサブパターンとは交互に現れ、前記第1種類のサブパターンは1枚の投影画像のみに縞が現れ、前記第2種類のサブパターンは少なくとも2枚の投影画像に縞が現れ、
任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れることを特徴とする
3次元情報を再構成するための構造化光の符号化の方法。
【請求項2】
前記の任意の2つの隣接する第1種類のサブパターンは異なる投影画像に縞が現れることは、
前記符号化パターンにおいて、前記第1種類のサブパターンが順番に全ての投影画像に縞が現れることを含むことを特徴とする請求項1に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項3】
任意の2つの隣接する第2種類のサブパターンのパターンが異なることを特徴とする請求項1に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項4】
前記の任意の2つの隣接する第2種類のサブパターンのパターンが異なることは、
隣接する第2種類のサブパターンのパターンにおいて、縞が投影画像に現れる位置が異なること、又は縞が投影画像に現れる数が異なることを含むことを特徴とする請求項3に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項5】
前記第2種類のサブパターンに第3種類のサブパターンが設けられ、前記第3種類のサブパターンは、すべての投影画像に縞が現れることを特徴とする請求項4に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項6】
第1ピースのサブパターンを前記第3種類のサブパターンに設定することを特徴とする請求項5に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項7】
基本パターンを決定し、前記基本パターンにおける各サブパターンのパターンはいずれも同じではなく、
前記基本パターンの各サブパターンを同じ所定周期で繰り返し出現させることを特徴とする請求項5に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項8】
前記符号化パターンはさらに第4種類のサブパターンを含み、隣接する第1種類のサブパターンと第2種類のサブパターンとの間に1つの第4種類のサブパターンを挿入することを特徴とする請求項1~請求項7のいずれか一項に記載の3次元情報を再構成するための構造化光の符号化の方法。
【請求項9】
3次元情報を再構成するためのシステムであって、
請求項1~請求項7のいずれか一項に記載の3次元情報を再構成するための構造化光の符号化の方法に従って複数の投影画像を生成し、時系列順に前記投影画像を被測定物体の表面に順次投射する投影装置と、
前記被測定物体の表面に投射された前記投影画像を結像して、結像画像を取得する画像センサと、
前記結像画像を復号化して、各結像位置と投影位置との対応関係を決定し、該対応関係に基づいて、前記被測定物体の表面の3次元情報を再構成する再構成ユニットと、
を含むことを特徴とするシステム。
【国際調査報告】