特許 7369780 縞模様ミスマッチ検出及び三次元再構成の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-18

(45)【発行日】2023-10-26

(54)【発明の名称】縞模様ミスマッチ検出及び三次元再構成の方法及び装置

(51)【国際特許分類】

   G06T 7/521 20170101AFI20231019BHJP

   G01B 11/25 20060101ALI20231019BHJP

【ＦＩ】

G06T7/521

G01B11/25

【請求項の数】 15

(21)【出願番号】P 2021544323

(86)(22)【出願日】2020-02-03

(65)【公表番号】

(43)【公表日】2022-04-27

(86)【国際出願番号】 CN2020074224

(87)【国際公開番号】W WO2020156578

(87)【国際公開日】2020-08-06

【審査請求日】2021-10-07

(31)【優先権主張番号】201910101224.4

(32)【優先日】2019-01-31

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】518283252

【氏名又は名称】先臨三維科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＳＨＩＮＩＮＧ ３Ｄ ＴＥＣＨ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １３９８，Ｘｉａｎｇｂｉｎ Ｒｏａｄ，Ｗｅｎｙａｎ Ｓｕｂｄｉｓｔｒｉｃｔ，Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ ３１１２５８ （ＣＮ）

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】張 健

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１７－０５３８１２（ＪＰ，Ａ）

【文献】荒井 隆広，外２名，色スリットを用いた両眼ステレオによる時系列三次元顔面形状計測，電子情報通信学会技術研究報告 Ｖｏｌ．１０５ Ｎｏ．３０２，日本，社団法人電子情報通信学会，2005年，第105巻

【文献】Min Young Kim, et al.，An active trinocular vision system for sensing mobile robot navigation environments，2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)，米国，2004年，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1389640

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０１Ｂ １１／２５

(57)【特許請求の範囲】

【請求項1】

三次元再構成方法であって、
第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するステップであって、前記第１の画像は、少なくとも第１の縞模様と第２の縞模様を含み、前記第２の画像は、少なくとも第３の縞模様と第４の縞模様を含み、前記第１の縞模様と前記第２の縞模様が隣接し、前記第３の縞模様と前記第４の縞模様が隣接するステップと、
前記第１の縞模様と前記第３の縞模様とをマッチングさせて、前記第１の縞模様と前記第３の縞模様との間の第１の測定距離を特定し、前記第２の縞模様と前記第４の縞模様とをマッチングさせて、前記第２の縞模様と前記第４の縞模様との間の第２の測定距離を特定するステップと、
前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様にミスマッチが発生していない場合、前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様のマッチング結果に従って、３次元走査モデルを構築し、前記第１の測定距離と前記第２の測定距離に基づいて、前記縞模様にミスマッチが発生したか否かを特定するステップとを含む、三次元再構成方法。

【請求項2】

第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様及び第４の縞模様を取得する前に、
前記縞模様を走査対象物体の表面に投射するステップであって、前記縞模様は、第１の縞模様周期と第２の縞模様周期を含み、前記第１の縞模様周期内の第１の位置での縞模様と前記第２の縞模様周期内の前記第１の位置での縞模様との間の距離が第１の所定距離であり、前記第１の縞模様周期内の第２の位置での縞模様と前記第２の縞模様周期内の前記第２の位置での縞模様との間の距離が第２の所定距離であり、前記第１の所定距離と前記第２の所定距離が異なり、同一縞模様周期のうち前記第１の位置での縞模様と前記第２の位置での縞模様が隣接するステップと、
前記第１のカメラと前記第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するステップとをさらに含む、請求項１に記載の方法。

【請求項3】

前記第１の縞模様は前記第１の縞模様周期内の前記第１の位置での縞模様であり、
前記第２の縞模様は前記第１の縞模様周期内の前記第２の位置での縞模様であり、
前記第３の縞模様は前記第２の縞模様周期内の前記第１の位置での縞模様であり、
前記第４の縞模様は前記第２の縞模様周期内の前記第２の位置での縞模様であり、
前記第１の縞模様と前記第３の縞模様との間の距離が第１の所定距離であり、
前記第２の縞模様と前記第４の縞模様との間の距離が第２の所定距離である、請求項２に記載の方法。

【請求項4】

第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様及び第４の縞模様を取得する前に、
前記縞模様を走査対象物体の表面に投射するステップであって、複数の前記縞模様のうち隣接する縞模様の間の隣接距離が異なるステップと、
前記第１のカメラと前記第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するステップとをさらに含む、請求項１に記載の方法。

【請求項5】

前記第１の測定距離と前記第２の測定距離に基づいて、前記縞模様にミスマッチが発生したか否かを特定する前記ステップは、
前記第１の測定距離と前記第２の測定距離との間の距離の差を特定するステップと、
前記距離の差が所定距離閾値よりも大きいか否かを判断するステップと、
前記距離の差が所定距離閾値よりも大きい場合、前記縞模様にミスマッチが発生したと特定するステップと、
前記距離の差が所定距離閾値以下である場合、縞模様にミスマッチが発生していないと特定するステップとを含む、請求項１に記載の方法。

【請求項6】

前記第１の測定距離と前記第２の測定距離に基づいて、前記縞模様にミスマッチが発生したか否かを特定する前記ステップは、
前記第１の測定距離に基づいて、前記第１の縞模様と前記第３の縞模様との間の第１の視差を特定するステップと、
前記第２の測定距離に基づいて、前記第２の縞模様と前記第４の縞模様との間の第２の視差を特定するステップと、
前記第１の視差と前記第２の視差に基づいて、前記縞模様にミスマッチが発生したか否かを特定するステップとを含む、請求項１に記載の方法。

【請求項7】

前記第１の視差と前記第２の視差に基づいて、前記縞模様にミスマッチが発生したか否かを特定するステップは、
前記第１の視差と前記第２の視差との視差の差を特定するステップと、
前記視差の差が所定視差閾値よりも大きいか否かを判断するステップと、
前記視差の差が所定視差閾値よりも大きい場合、前記縞模様にミスマッチが発生したと特定するステップと、
前記視差の差が前記所定視差閾値以下である場合、前記縞模様にミスマッチが発生していないと特定するステップとを含む、請求項６に記載の方法。

【請求項8】

前記第１の視差と前記第２の視差に基づいて、前記縞模様にミスマッチが発生したか否かを特定するステップは、
前記第１の視差に対応する第１の深さ値と、前記第２の視差に対応する第２の深さ値を特定するステップと、
前記第１の深さ値と前記第２の深さ値に基づいて、前記縞模様にミスマッチが発生した否かを特定するステップとを含む、請求項６に記載の方法。

【請求項9】

前記第１の深さ値と前記第２の深さ値に基づいて、前記縞模様にミスマッチが発生した否かを特定するステップは、
前記第１の深さ値と前記第２の深さ値との深さの差を特定するステップと、
前記深さの差が所定深さ閾値よりも大きいか否かを判断するステップと、
前記深さの差が所定深さ閾値よりも大きい場合、前記縞模様にミスマッチが発生したと特定するステップと、
前記深さの差が所定深さ閾値以下である場合、前記縞模様にミスマッチが発生していないと特定するステップとを含む、請求項８に記載の方法。

【請求項10】

前記縞模様は、間隔可変の縞模様である、請求項４に記載の方法。

【請求項11】

前記第１の縞模様周期と前記第２の縞模様周期は隣接する、請求項２に記載の方法。

【請求項12】

同一縞模様周期においては、隣接する縞模様の間の距離は等和数列として分布しており、
等和数列とは、数列において第２の項から各項とその前の項との和が１つの定数となるものである、請求項２に記載の方法。

【請求項13】

三次元再構成装置であって、
第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するように構成される第１の取得ユニットであって、前記第１の画像は、少なくとも第１の縞模様と第２の縞模様を含み、前記第２の画像は、少なくとも第３の縞模様と第４の縞模様を含み、前記第１の縞模様と前記第２の縞模様が隣接し、前記第３の縞模様と前記第４の縞模様が隣接する第１の取得ユニットと、
前記第１の縞模様と前記第３の縞模様とをマッチングさせて、前記第１の縞模様と前記第３の縞模様との間の第１の測定距離を特定し、前記第２の縞模様と前記第４の縞模様とをマッチングさせて、前記第２の縞模様と前記第４の縞模様との間の第２の測定距離を特定するように構成される第１の特定ユニットと、
前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様にミスマッチが発生していない場合、前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様のマッチング結果に従って、３次元走査モデルを構築し、前記第１の測定距離と前記第２の測定距離に基づいて、前記縞模様にミスマッチが発生したか否かを特定するように構成される三次元再構成ユニットとを含む、三次元再構成装置。

【請求項14】

記憶されているプログラムを含み、前記プログラムは、請求項１～１２のいずれか１項に記載の三次元再構成方法を実現する記憶媒体。

【請求項15】

プログラムを実行するように構成され、前記プログラムは、実行されると、請求項１～１２のいずれか１項に記載の三次元再構成方法を実現する、プロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１９年０１月３１日に中国特許庁に提出された、出願番号が２０１９１０１０１２２４．４であり、発明の名称が「縞模様ミスマッチ検出及び三次元再構成の方法及び装置」である中国特許出願の優先権を主張しており、その全内容は引用により本出願に組み込まれている。

【0002】

本発明は３次元走査の分野に関し、具体的には、縞模様ミスマッチ検出及び三次元再構成の方法及び装置に関する。

【背景技術】

【0003】

構造化光双眼再構成システムでは、プロジェクタ（又はレーザージェネレータ）は設計されたパターンを物体の表面に投射し、次に、双眼再構成システムにおける双眼カメラによって物体のピクチャを同時に収集し、次に、双眼カメラによって収集された２枚のピクチャにおいて物体上のある点に対応する点を特定し、２枚のピクチャ内の対応する点の視差に基づいてこの点の深さ値を算出し、物体の３次元モデルを構築する。

【0004】

なお、視差は、双眼カメラによって撮影されたピクチャのうち対応点の水平位置での差のことであり、視差は深さ値に負の相関を示す。

【0005】

構造化光双眼再構成システムでは、プロジェクタが複数本の等間隔の垂直縞模様を投射し、これらのうち、隣接する複数の縞模様は１つの周期を構成し、投射された全ての縞模様は複数の周期に分けられ、ｌ_ｉ，ｊはｉ番目の周期内のｊ番目の縞模様である。

【0006】

適用シナリオによる制限のため、三次元再構成において、各縞模様の周期内の番号だけを取得でき、各縞模様の周期番号を取得できない。この結果、隣接する周期では縞模様ミスマッチが生じやすく、間違った三次元再構成結果をもたらし、例えば、縞模様ｌ_ｉ，ｊと縞模様ｌ_{ｉ＋１，ｊ}がミスマッチする。

【0007】

出縞模様にミスマッチが発生したか否かを検出できないという上述の課題に対しては、現在、有効な解決手段が提案されていない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の実施例は、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を少なくとも解決するために、縞模様ミスマッチ検出方法、三次元再構成方法、及び装置を提供する。

【課題を解決するための手段】

【0009】

本発明の実施例の一態様によれば、第１のカメラによって収集された前記縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するステップであって、前記第１の画像は、少なくとも第１の縞模様と第２の縞模様を含み、前記第２の画像は、少なくとも第３の縞模様と第４の縞模様を含み、前記第１の縞模様と前記第２の縞模様が隣接し、前記第３の縞模様と前記第４の縞模様が隣接するステップと、前記第１の縞模様と前記第３の縞模様をマッチングさせて、前記第１の縞模様と前記第３の縞模様との間の第１の測定距離を特定し、前記第２の縞模様と前記第４の縞模様をマッチングさせて、前記第２の縞模様と前記第４の縞模様との間の第２の測定距離を特定するステップと、前記第１の測定距離と前記第２の測定距離に基づいて、前記縞模様にミスマッチが発生したか否かを特定するステップとを含む、縞模様ミスマッチ検出方法を提供する。

【0010】

任意選択的に、第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様及び第４の縞模様を取得する前に、前記方法は、前記縞模様を走査対象物体の表面に投射するステップであって、前記縞模様は、第１の縞模様周期と第２の縞模様周期を含み、前記第１の縞模様周期内の第１の位置での縞模様と前記第２の縞模様周期内の前記第１の位置での縞模様との間の距離が第１の所定距離であり、前記第１の縞模様周期内の第２の位置での縞模様と前記第２の縞模様周期内の前記第２の位置での縞模様との間の距離が第２の所定距離であり、前記第１の所定距離と前記第２の所定距離が異なり、同一縞模様周期のうち前記第１の位置での縞模様と前記第２の位置での縞模様が隣接するステップと、前記第１のカメラと前記第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するステップとをさらに含む。

【0011】

任意選択的に、第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様と第４の縞模様を取得する前に、前記方法は、前記縞模様を走査対象物体の表面に投射するステップであって、前記縞模様は複数の縞模様を含み、複数の前記縞模様のうち隣接する縞模様の間の距離が異なるステップと、前記第１のカメラと前記第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するステップとをさらに含む。

【0012】

本発明の実施例の別の態様によれば、前記縞模様を走査対象物体の表面に投射するステップであって、前記縞模様は、第１の縞模様周期と第２の縞模様周期を含み、前記第１の縞模様周期内の第１の位置での縞模様と前記第２の縞模様周期内の前記第１の位置での縞模様との間の距離が第１の所定距離であり、前記第１の縞模様周期内の第２の位置での縞模様と前記第２の縞模様周期内の前記第２の位置での縞模様との間の距離が第２の所定距離であり、前記第１の所定距離と前記第２の所定距離が異なり、同一縞模様周期のうち前記第１の位置での縞模様と前記第２の位置での縞模様が隣接し、周期距離は、前記第１の所定距離と前記第２の所定距離を含むステップと、第１のカメラと第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するステップと、前記周期距離に基づいて、前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出するステップとを含む、縞模様ミスマッチ検出方法をさらに提供する。

【0013】

本発明の実施例の別の態様によれば、前記縞模様を走査対象物体の表面に投射するステップであって、複数の前記縞模様のうち隣接する縞模様の間の隣接距離が異なるステップと、第１のカメラと第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するステップと、前記隣接距離に基づいて、前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出するステップとを含む、縞模様ミスマッチ検出方法をさらに提供する。

【0014】

本発明の実施例の別の態様によれば、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するステップであって、前記縞模様は、第１の縞模様周期と第２の縞模様周期を含み、前記第１の縞模様周期内の第１の位置での縞模様と前記第２の縞模様周期内の前記第１の位置での縞模様との間の距離が第１の所定距離であり、前記第１の縞模様周期内の第２の位置での縞模様と前記第２の縞模様周期内の前記第２の位置での縞模様との間の距離が第２の所定距離であり、前記第１の所定距離と前記第２の所定距離が異なり、同一縞模様周期のうち前記第１の位置での縞模様と前記第２の位置での縞模様が隣接するステップと、前記第１の画像及び前記第２の画像内の縞模様に基づいて、三次元再構成を行うステップとを含む、三次元再構成方法をさらに提供する。

【0015】

本発明の実施例の別の態様によれば、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するステップであって、複数の縞模様のうち隣接する縞模様の間の隣接距離が異なるステップと、前記第１の画像及び前記第２の画像内の縞模様に基づいて、三次元再構成を行うステップとを含む、三次元再構成方法をさらに提供する。

【0016】

本発明の実施例の別の態様によれば、第１のカメラによって収集された前記縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するように構成される第１の取得ユニットであって、前記第１の画像は、少なくとも第１の縞模様と第２の縞模様を含み、前記第２の画像は、少なくとも第３の縞模様と第４の縞模様を含み、前記第１の縞模様と前記第２の縞模様が隣接し、前記第３の縞模様と前記第４の縞模様が隣接する第１の取得ユニットと、前記第１の縞模様と前記第３の縞模様をマッチングさせて、前記第１の縞模様と前記第３の縞模様との間の第１の測定距離を特定し、前記第２の縞模様と前記第４の縞模様をマッチングさせて、前記第２の縞模様と前記第４の縞模様との間の第２の測定距離を特定するように構成される第１の特定ユニットと、前記第１の測定距離と前記第２の測定距離に基づいて、前記縞模様にミスマッチが発生したか否かを特定するように構成される第２の特定ユニットとを含む、縞模様ミスマッチ検出装置をさらに提供する。

【0017】

本発明の実施例の別の態様によれば、前記縞模様を走査対象物体の表面に投射するように構成される第１の投射ユニットであって、前記縞模様は、第１の縞模様周期と第２の縞模様周期を含み、前記第１の縞模様周期内の第１の位置での縞模様と前記第２の縞模様周期内の前記第１の位置での縞模様との間の距離が第１の所定距離であり、前記第１の縞模様周期内の第２の位置での縞模様と前記第２の縞模様周期内の前記第２の位置での縞模様との間の距離が第２の所定距離であり、前記第１の所定距離と前記第２の所定距離が異なり、同一縞模様周期のうち前記第１の位置での縞模様と前記第２の位置での縞模様が隣接し、周期距離は、前記第１の所定距離と前記第２の所定距離を含む第１の投射ユニットと、第１のカメラと第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するように構成される第１の収集ユニットと、前記周期距離に基づいて、前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出するように構成される第１の検出ユニットとを含む、縞模様ミスマッチ検出装置をさらに提供する。

【0018】

本発明の実施例の別の態様によれば、前記縞模様を走査対象物体の表面に投射するように構成される第２の投射ユニットであって、複数の前記縞模様のうち隣接する縞模様の間の隣接距離が異なる第２の投射ユニットと、第１のカメラと第２のカメラによって、前記走査対象物体の表面の前記縞模様を収集するように構成される第２の収集ユニットと、前記隣接距離に基づいて、前記第１のカメラによって収集された縞模様と前記第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出するように構成される第２の検出ユニットとを含む、縞模様ミスマッチ検出装置をさらに提供する。

【0019】

本発明の実施例の別の態様によれば、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するように構成される第２の取得ユニットであって、前記縞模様は、第１の縞模様周期と第２の縞模様周期を含み、前記第１の縞模様周期内の第１の位置での縞模様と前記第２の縞模様周期内の前記第１の位置での縞模様との間の距離が第１の所定距離であり、前記第１の縞模様周期内の第２の位置での縞模様と前記第２の縞模様周期内の前記第２の位置での縞模様との間の距離が第２の所定距離であり、前記第１の所定距離と前記第２の所定距離が異なり、同一縞模様周期のうち前記第１の位置での縞模様と前記第２の位置での縞模様が隣接する第２の取得ユニットと、前記第１の画像及び前記第２の画像内の縞模様に基づいて、三次元再構成を行うように構成される第１の再構成ユニットとを含む、三次元再構成装置をさらに提供する。

【0020】

本発明の実施例の別の態様によれば、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された前記縞模様の第２の画像とを取得するように構成される第３の取得ユニットであって、複数の縞模様のうち隣接する縞模様の間の隣接距離が異なる第３の取得ユニットと、前記第１の画像及び前記第２の画像内の縞模様に基づいて、三次元再構成を行うように構成される第２の再構成ユニットとを含む、三次元再構成装置をさらに提供する。

【0021】

本発明の実施例の別の態様によれば、記憶されているプログラムを含み、前記プログラムは、実行されると、前記記憶媒体を含む機器を制御して前記縞模様ミスマッチ検出方法、又は前記三次元再構成方法を実現させる記憶媒体をさらに提供する。

【0022】

本発明の実施例の別の態様によれば、プログラムを実行するように構成され、前記プログラムは、実行されると、前記縞模様ミスマッチ検出方法、又は前記三次元再構成方法を実現するプロセッサをさらに提供する。

【0023】

本発明の上述実施例では、３次元モデリングにおいて、第１のカメラによって隣接する第１の縞模様と第２の縞模様を取得し、第２のカメラによって隣接する第３の縞模様と第４の縞模様を取得し、第１の縞模様と第３の縞模様をマッチングさせて、第２の縞模様と第４の縞模様をマッチングさせ、次に、第１の縞模様と第３の縞模様との間の第１の測定距離と、第２の縞模様と第４の縞模様との間の第２の測定距離を算出し、第１の測定距離と第２の測定距離に基づいて、第１の縞模様と第３の縞模様、第２の縞模様と第４の縞模様にミスマッチが発生したか否かを特定し、それによって、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させ、出縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【図面の簡単な説明】

【0024】

ここで説明する図面は本発明をさらに理解するために提供され、本出願の一部を構成し、本発明の模式的な実施例及びその説明は本発明を解釈するためのものであり、本発明を不適に限定するものではない。

【図1】本発明の実施例に係る縞模様ミスマッチ検出方法のフローチャートである。

【図2】本発明の実施例に係る縞模様の一例の模式図である。

【図3】本発明の実施例に係る縞模様の別の模式図である。

【図4】本発明の実施例に係る縞模様ミスマッチ検出方法のフローチャートである。

【図5】本発明の実施例に係る縞模様ミスマッチ検出方法のフローチャートである。

【図6】本発明の実施例に係る三次元再構成方法のフローチャートである。

【図7】本発明の実施例に係る三次元再構成方法のフローチャートである。

【図8】本発明の実施例に係る縞模様ミスマッチ検出装置の模式図である。

【図9】本発明の実施例に係る縞模様ミスマッチ検出装置の模式図である。

【図10】本発明の実施例に係る縞模様ミスマッチ検出装置の模式図である。

【図11】本発明の実施例に係る三次元再構成装置の模式図である。

【図12】本発明の実施例に係る三次元再構成装置の模式図である。

【発明を実施するための形態】

【0025】

当業者が本発明の解決手段をよりよく理解できるように、以下、本発明の実施例の図面を参照しながら、本発明の実施例の技術案をより明確かつ完全に説明するが、明らかに、説明する実施例は本発明の実施例の一部に過ぎず、全ての実施例ではない。当業者が本発明の実施例に基づいて創造的な努力を必要とせずに得る他の全ての実施例は本発明の特許範囲に属する。

【0026】

なお、本発明の明細書、特許請求の範囲及び上述図面における用語「第１の」、「第２の」などは類似する対象を区別するものであり、必ずしも特定の順序又は優先順位を記述するわけではない。記載される本発明の実施例が図示又は記載の順序以外の順序で実施できるように、このように使用される数字は適切な場合に交換可能であることを理解できる。さらに、「含む」、「有する」という用語及びこれらの任意の変形は、不排他的な包含をカバーすることを意図しており、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は機器は、明確に挙げられたステップ又はユニットに制限されず、明確に挙げられていない又はこのような過程、方法、製品又は機器に固有の他のステップ又はユニットを含んでもよい。

【0027】

本発明の実施例によれば、縞模様ミスマッチ検出方法の実施例を提供し、なお、図面のフローチャートに示されるステップは、例えば１群のコンピュータにより実行可能な命令を含むコンピュータシステムにおいて実行されてもよく、そして、フローチャートに論理的な順序が示されているが、場合によっては、ここでのものと異なる順序で示される又は記述されるステップを実行してもよい。

【0028】

図１は本発明の実施例に係る縞模様ミスマッチ検出方法のフローチャートであり、図１に示すように、該方法は、ステップＳ１０２、ステップＳ１０４、及びステップＳ１０６を含む。

【0029】

ステップＳ１０２、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された縞模様の第２の画像とを取得し、第１の画像は、少なくとも第１の縞模様と第２の縞模様を含み、第２の画像は、少なくとも第３の縞模様と第４の縞模様を含み、第１の縞模様と第２の縞模様が隣接し、第３の縞模様と第４の縞模様が隣接する。

【0030】

ステップＳ１０４、第１の縞模様と第３の縞模様をマッチングさせて、第１の縞模様と第３の縞模様との間の第１の測定距離を特定し、第２の縞模様と第４の縞模様をマッチングさせて、第２の縞模様と第４の縞模様との間の第２の測定距離を特定する。

【0031】

ステップＳ１０６、第１の測定距離と第２の測定距離に基づいて、縞模様にミスマッチが発生した否かを特定する。

【0032】

上述ステップによれば、３次元モデリングにおいて、第１のカメラによって隣接する第１の縞模様と第２の縞模様を取得し、第２のカメラによって隣接する第３の縞模様と第４の縞模様を取得し、第１の縞模様と第３の縞模様をマッチングさせて、第２の縞模様と第４の縞模様をマッチングさせ、次に、第１の縞模様と第３の縞模様との間の第１の測定距離と、第２の縞模様と第４の縞模様との間の第２の測定距離を算出し、第１の測定距離と第２の測定距離に基づいて、第１の縞模様と第３の縞模様、第２の縞模様と第４の縞模様にミスマッチが発生したか否かを特定し、それによって、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させ、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【0033】

なお、３次元モデリングにおいて、走査対象物体に縞模様を投射し、双眼立体ビジョンシステムでは、走査対象物体で変調した縞模様の画像を第１のカメラと第２のカメラによって同期して収集し、第１のカメラによって第１の画像を収集し、第２のカメラによって第２の画像を収集し、ここで、第１の画像は、第１の縞模様と第２の縞模様を含み、前記第２の画像は、第３の縞模様と第４の縞模様を含む。

【0034】

なお、第１の画像と第２の画像内の縞模様のマッチングにおいて、マッチング中にミスマッチ検出を行い、ミスマッチが発生した場合、マッチングを改めて行うようにしてもよいし、マッチングが終了した後にミスマッチ検出を行い、ミスマッチが発生した場合、ミスマッチに関するデータ、例えばミスマッチが発生した縞模様のデータを削除するようにしてもよい。

【0035】

なお、走査対象とする物体が連続的な曲面であるとすれば、隣接する縞模様の周期のうち縞模様の物体の表面での深さ値の変化が小さく、そして、視差が深さ値と負の相関を有し、したがって、縞模様にミスマッチが発生したか否かを判断する過程において、第１の画像内の各縞模様と第２の画像内の各縞模様との間の距離を算出し、第１の画像内の各縞模様と第２の画像内の各縞模様との間の視差、及び各縞模様の視差に対応する深さ値を特定し、次に、隣接する縞模様の深さ値に大きな変化が生じたか否かを判断し、それにより、縞模様にミスマッチが発生したか否かを判断する。

【0036】

なお、縞模様の間の距離は視差に関連し、視差は深さ値に関連し、このため、隣接する縞模様の視差に大きな変化が生じたか否か、又は隣接する縞模様の距離に大きな変化が生じたか否かを判断することにより、縞模様にミスマッチが発生したか否かを判断することができる。

【0037】

任意選択的に、第１の測定距離と第２の測定距離に基づいて、縞模様にミスマッチが発生した否かを特定するステップは、第１の測定距離と第２の測定距離との間の距離の差を特定するステップと、距離の差が所定距離閾値よりも大きいか否かを判断するステップと、距離の差が所定距離閾値よりも大きい場合、縞模様にミスマッチが発生したと特定するステップと、距離の差が所定距離閾値以下である場合、縞模様にミスマッチが発生していないと特定するステップとを含む。

【0038】

任意選択的に、第１の測定距離と第２の測定距離に基づいて、縞模様にミスマッチが発生した否かを特定するステップは、第１の測定距離に基づいて、第１の縞模様と第３の縞模様との間の第１の視差を特定するステップと、第２の測定距離に基づいて、第２の縞模様と第４の縞模様との間の第２の視差を特定するステップと、第１の視差と第２の視差に基づいて、縞模様にミスマッチが発生した否かを特定するステップとを含む。

【0039】

任意選択的に、第１の視差と第２の視差に基づいて、縞模様にミスマッチが発生した否かを特定するステップは、第１の視差と第２の視差との視差の差を特定するステップと、視差の差が所定視差閾値よりも大きいか否かを判断するステップと、視差の差が所定視差閾値よりも大きい場合、縞模様にミスマッチが発生したと特定するステップと、視差の差が所定視差閾値以下である場合、縞模様にミスマッチが発生していないと特定するステップとを含む。

【0040】

任意選択的に、第１の視差と第２の視差に基づいて、縞模様にミスマッチが発生した否かを特定するステップは、第１の視差に対応する第１の深さ値と、第２の視差に対応する第２の深さ値を特定するステップと、第１の深さ値と第２の深さ値に従って、縞模様にミスマッチが発生した否かを特定するステップとを含む。

【0041】

任意選択的に、第１の深さ値と第２の深さ値に従って、縞模様にミスマッチが発生した否かを特定するステップは、第１の深さ値と第２の深さ値との深さの差を特定するステップと、深さの差が所定深さ閾値よりも大きいか否かを判断するステップと、深さの差が所定深さ閾値よりも大きい場合、縞模様にミスマッチが発生したと特定するステップと、深さの差が所定深さ閾値以下である場合、縞模様にミスマッチが発生していないと特定するステップとを含む。

【0042】

任意選択的に、３次元モデリングにおいて、第１の画像内の縞模様と第２の画像内の縞模様に従ってマッチングを行い、各縞模様に対応する深さ値を特定し、さらに各縞模様に対応する深さ値に従って、３次元走査モデルを構築する。

【0043】

なお、第１の画像内の縞模様と第２の画像内の縞模様のマッチングにおいて、各縞模様の対応する縞模様周期における位置を特定できるが、各縞の周期の番号を特定することができないことにより、第１の縞模様周期における縞模様と第２の縞模様周期における縞模様がマッチングしてしまい、縞模様ミスマッチを引き起こす恐れがある。

【0044】

なお、縞模様の間の距離により縞模様の視差及び深さ値が决定されてもよく、縞模様は間隔可変の縞模様として構成される。

【0045】

好ましい実施例として、第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様及び第４の縞模様を取得する前に、方法は、縞模様を走査対象物体の表面に投射するステップであって、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接し、周期距離は、前記第１の所定距離と前記第２の所定距離を含むステップと、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集するステップとを含む。

【0046】

任意選択的に、縞模様には、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、且つ第１の所定距離と第２の所定距離が異なる。

【0047】

本発明の上述実施例では、上述方式により縞模様を設定し、走査対象物体の表面に投射し、第１のカメラと第２のカメラによって縞模様の第１の画像と第２の画像を収集し、次に、第１の画像内の縞模様と第２の画像内の縞模様をマッチングさせ、さらにマッチング結果に従って、縞模様にミスマッチが発生したか否かを判断する。

【0048】

任意選択的に、第１の縞模様周期と第２の縞模様周期をマッチングさせると、第１の縞模様は第１の縞模様周期内の第１の位置での縞模様であり、第２の縞模様は第１の縞模様周期内の第２の位置での縞模様であり、第３の縞模様は第２の縞模様周期内の第１の位置での縞模様であり、第４の縞模様は第２の縞模様周期内の第２の位置での縞模様であり、このため、第１の縞模様と第３の縞模様との間の距離が第１の所定距離であり、第２の縞模様と第４の縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なるので、縞模様にミスマッチが生じたことが認められ得る。

【0049】

任意選択的に、第１の所定距離に従って第１の視差と第１の深さ値を特定し、第２の所定距離に従って第２の視差と第２の深さ値を特定することができ、第１の所定距離と第２の所定距離が異なるので、第１の視差と第２の視差が異なり、さらに第１の深さ値と第２の深さ値も異なる。

【0050】

なお、ミスマッチは、通常、隣接する縞模様周期内の縞模様に発生したミスマッチである。

【0051】

好ましい実施例として、第１の縞模様周期と第２の縞模様周期が隣接する。

【0052】

本発明の上述実施例では、縞模様ミスマッチは、通常、隣接する縞模様周期の間で発生し、このため、第１の縞模様周期と第２の縞模様周期を隣接する縞模様周期としてもよい。

【0053】

好ましい実施例として、同一縞模様周期においては、隣接する縞模様の間の距離は等和数列として分布している。

【0054】

本発明の上述実施例では、等和数列とは、数列において第２の項から各項とその前の項との和が１つの定数となるものである。

【0055】

任意選択的に、プロジェクタは複数本の間隔可変の垂直縞模様を投射し、ここで、隣接する複数の縞模様は１つの縞模様周期を構成し、全ての縞模様は複数の縞模様周期に分けられ、ｌ_ｉ，ｊをｉ番目の周期におけるｊ番目の縞模様とする。適用シナリオによる制限のため、各縞模様の周期内の番号だけを取得でき、周期番号を取得できない。

【0056】

次に、２つの縞模様周期であって、各縞模様周期に６個の縞模様が含まれる場合を例にして説明する。

【0057】

図２は本発明の実施例に係る縞模様の一例の模式図であり、図２に示すように、第１の縞模様周期と第２の縞模様周期を含み、これらのうち、第１の縞模様周期と第２の縞模様周期は隣接し、第１の縞模様周期は、００、０１、０２、０３、０４及び０５、合計６つの縞模様を含み、第２の縞模様周期は、１０、１１、１２、１３、１４、及び１５、合計６つの縞模様を含み、縞模様００と０１との間の距離はＤ－１、縞模様０１と０２との間の距離はＤ＋１、縞模様０２と０３との間の距離はＤ－１、縞模様０３と０４との間の距離はＤ＋１、縞模様０４と０５との間の距離はＤ－１、縞模様０５と１０との間の距離はＤ、縞模様１０と１１との間の距離はＤ＋１、縞模様１１と１２との間の距離はＤ－１、縞模様１２と１３との間の距離はＤ＋１、縞模様１３と１４との間の距離はＤ－１、縞模様１４と１５との間の距離はＤ＋１である。

【0058】

なお、δ_ｉ，ｊは第ｉ周期内の第ｊ縞模様の視差である。例えば、δ_０，０は左右カメラにおける縞模様００の視差である。走査対象とする物体が連続的な曲面であり、隣接する周期のうち縞模様の物体の表面での深さ値の変化が小さいとすれば視差値がほぼ等しく、統一してδで近似して表される。左カメラの０番目の周期（即ち第１の縞模様周期）と右カメラの１番目の周期（即ち第２の縞模様周期）がミスマッチを発生させると、左カメラの縞模様００と右カメラの縞模様１０との視差≒δ－６Ｄ＋１であり、左カメラの縞模様０１と右カメラの縞模様１１の視差≒δ－６Ｄ－１であり、このように、隣接する縞模様の再構成深さに急激な変化が発生し、それにより、縞模様にミスマッチが生じたことが検出された。

【0059】

好ましい実施例として、第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様及び第４の縞模様を取得する前に、方法は、縞模様を走査対象物体の表面に投射するステップであって、複数の縞模様のうち隣接する縞模様の間の隣接距離が異なるステップと、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集するステップとをさらに含む。

【0060】

任意選択的に、プロジェクタが複数本の間隔可変の垂直縞模様を投射し、次に、図３に示す縞模様を例にして詳細に説明する。

【0061】

図３は本発明の実施例に係る縞模様の別の模式図であり、図３に示すように、複数の縞模様は、少なくとも、縞模様００、０１、０２、０３、０４、及び０５を含み、これらのうち、縞模様００と０１との間の距離はＤ－１、縞模様０１と０２との間の距離はＤ＋１、縞模様０２と０３との間の距離はＤ－１、縞模様０３と０４との間の距離はＤ＋１、縞模様０４と０５との間の距離はＤ－１、縞模様０５と１０との間の距離はＤ、縞模様１０と１１との間の距離はＤ＋１、縞模様１１と１２との間の距離はＤ－１、縞模様１２と１３との間の距離はＤ＋１、縞模様１３と１４との間の距離はＤ－１、縞模様１４と１５との間の距離はＤ＋１である。

【0062】

本発明の上述実施例では、上述方式により縞模様を設定し、走査対象物体の表面に投射し、第１のカメラと第２のカメラによって縞模様の第１の画像と第２の画像を収集し、次に、第１の画像内の縞模様と第２の画像内の縞模様をマッチングさせ、さらにマッチング結果に従って縞模様にミスマッチが発生したか否かを判断する。

【0063】

任意選択的に、第１の縞模様が縞模様００であり、第２の縞模様が縞模様０１であり、第３の縞模様が縞模様１０であり、第４の縞模様が縞模様１１である場合、第１の画像内の縞００と第２の画像内の縞模様１０をマッチングさせ、第１の画像内の縞０１と第２の画像内の縞模様１１とをマッチングさせる。

【0064】

なお、δは左右カメラにおける縞模様００の視差であり、走査対象とする物体が連続的な曲面であり、隣接する周期のうち縞模様の物体の表面での深さ値の変化が小さいとすれば、視差値がほぼ等しく、統一してδで近似して表され、左カメラの縞模様００と縞模様１０にミスマッチが発生すれば、左カメラの縞模様００と右カメラの縞模様１０の視差≒δ－６Ｄ＋１であり、左カメラの縞模様０１と右カメラの縞模様１１の視差≒δ－６Ｄ－１であり、このように、隣接する縞模様の再構成深さに急激な変化が発生し、それにより、縞模様にミスマッチが生じたことが検出された。

【0065】

好ましい実施例として、複数の縞模様のうち、隣接する縞模様の間の距離は等和数列として分布している。

【0066】

図４は本発明の実施例に係る縞模様ミスマッチ検出方法のフローチャートであり、図４に示すように、該方法は、ステップＳ４０２、ステップＳ４０４、及びステップＳ４０６を含む。

【0067】

ステップＳ４０２、縞模様を走査対象物体の表面に投射し、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接し、周期距離は、第１の所定距離と第２の所定距離を含む。

【0068】

ステップＳ４０４、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集する。

【0069】

ステップＳ４０６、周期距離に基づいて、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出する。

【0070】

本発明の上述実施例では、上述方式により縞模様を設定し、走査対象物体の表面に投射し、第１のカメラと第２のカメラによって縞模様の第１の画像と第２の画像を収集し、次に、第１の画像内の縞模様と第２の画像内の縞模様をマッチングさせ、さらに、異なる縞模様周期のうち同じ位置にある縞模様の間の距離に基づいて、縞模様にミスマッチが発生したか否かを判断し、それによって、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させ、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【0071】

上述ステップＳ４０６による解決手段では、縞模様のマッチングにおいて、第１のカメラによって収集された縞模様が第１の縞模様周期内の縞模様であり、第２のカメラによって収集された縞模様が第２の縞模様周期の縞模様であると、縞模様マッチングにおいて、第１の縞模様周期内の縞模様と第２の縞模様周期内の縞模様をマッチングさせる。

【0072】

説明の便宜上、第１のカメラによって収集された縞模様が第１の縞模様と第２の縞模様を含み、第２のカメラによって収集された縞模様が第３の縞模様と第４の縞模様を含むとすれば、第１の縞模様は第１の縞模様周期内の第１の位置での縞模様であり、第２の縞模様は第１の縞模様周期内の第２の位置での縞模様であり、第３の縞模様は第２の縞模様周期内の第１の位置での縞模様であり、第４の縞模様は第２の縞模様周期内の第２の位置での縞模様であり、したがって、第１の縞模様と第３の縞模様との間の距離が第１の所定距離であり、第２の縞模様と第４の縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なるので、縞模様にミスマッチが発生したことを検出できる。

【0073】

任意選択的に、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様にミスマッチが発生していない場合、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様のマッチング結果に従って、三次元再構成を行う。

【0074】

図５は本発明の実施例に係る縞模様ミスマッチ検出方法のフローチャートであり、図５に示すように、該方法は、ステップＳ５０２、ステップＳ５０４、及びステップＳ５０６を含む。

【0075】

ステップＳ５０２、縞模様を走査対象物体の表面に投射し、縞模様は複数の縞模様を含み、複数の縞模様のうち隣接する縞模様の間の距離が異なる。

【0076】

ステップＳ５０４、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集する。

【0077】

ステップＳ５０６、隣接する縞模様の間の距離に基づいて、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出する。

【0078】

本発明の上述実施例では、上述方式により縞模様を設定し、走査対象物体の表面に投射し、第１のカメラと第２のカメラによって縞模様の第１の画像と第２の画像を収集し、次に、第１の画像内の縞模様と第２の画像内の縞模様をマッチングさせ、隣接する縞模様の間の隣接距離に基づいて、縞模様にミスマッチが発生したか否かを判断し、それによって、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させ、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【0079】

上述ステップＳ５０６による解決手段では、第１のカメラによって収集された縞模様は第１の縞模様と第２の縞模様を含み、第２のカメラによって収集された縞模様は第３の縞模様と第４の縞模様を含むとし、ここで、第１の縞模様と第２の縞模様が隣接し、第３の縞模様と第４の縞模様が隣接し、第１の縞模様と第２の縞模様との間の隣接距離が第１の隣接距離であり、第３の縞模様と第４の縞模様との間の隣接距離が第２の隣接距離であり、且つ第１の隣接距離と第２の隣接距離が異なるとする。

【0080】

縞模様のマッチングにおいて、縞模様にミスマッチが発生した場合、第１の縞模様と第３の縞模様をマッチングさせ、第２の縞模様と第４の縞模様をマッチングさせ、第１の隣接距離と第２の隣接距離が異なるので、隣接距離に基づいて、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出することができる。

【0081】

任意選択的に、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様にミスマッチが発生していない場合、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様のマッチング結果に従って、三次元再構成を行う。
図６は本発明の実施例に係る三次元再構成方法のフローチャートであり、図６に示すように、該方法は、ステップＳ６０２とステップＳ６０４を含む。

【0082】

ステップＳ６０２、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された縞模様の第２の画像とを取得し、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接する。

【0083】

ステップＳ６０４、第１の画像と第２の画像内の縞模様に従って、三次元再構成を行う。

【0084】

本発明の上述実施例では、ターゲット物体に対して三次元再構成を行う過程において、縞模様をターゲット物体に投影しておき、次に第１のカメラと第２のカメラのそれぞれによって縞模様の第１の画像と第２の画像を収集し、第１の画像と第２の画像内の縞模様をマッチングさせ、マッチング結果に従って三次元再構成を行うようにしてもよく、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接し、このように、異なる縞模様周期のうち同一位置での縞模様の間の距離が異なるので、異なる縞模様周期の縞模様にミスマッチが発生することを回避し、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決できる。

【0085】

任意選択的に、第１の画像と第２の画像内の縞模様に従って三次元再構成を行うステップは、第１の画像と第２の画像のうち同一周期且つ同一位置での縞模様をマッチングさせて、マッチング結果を得るステップと、マッチング結果に従って、第１の画像と第２の画像のうち同一周期且つ同一位置での縞模様の間の視差を特定するステップと、視差に従って、第１の画像と第２の画像のうち同一周期且つ同一位置での縞模様の間の深さ値を特定するステップと、深さ値に従って三次元再構成を行うステップとを含む。

【0086】

例えば、第１の画像は、少なくとも第１の縞模様を含み、第１の縞模様は第１の縞模様周期内の第１の位置での縞模様であってもよく、第２の画像は、少なくとも第３の縞模様を含み、第３の縞模様は第１の縞模様周期内の第１の位置での縞模様であってもよく、第１の画像内の第１の縞模様と第２の画像内の第３の縞模様をマッチングさせ、第１の縞模様と第３の縞模様との間の視差を算出し、該視差に従って、第１の縞模様と第３の縞模様との間の深さ値を特定し、該深さ値に従って三次元再構成を行う。

【0087】

図７は本発明の実施例に係る三次元再構成方法のフローチャートであり、図７に示すように、該方法は、ステップＳ７０２とステップＳ７０４を含む。

【0088】

ステップＳ７０２、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された縞模様の第２の画像とを取得し、複数の縞模様のうち隣接する縞模様の間の隣接距離が異なる。

【0089】

ステップＳ７０４、第１の画像と第２の画像内の縞模様に従って三次元再構成を行う。

【0090】

本発明の上述実施例では、ターゲット物体に対して三次元再構成を行う過程において、縞模様をターゲット物体に投影しておき、次に、第１のカメラと第２のカメラのそれぞれによって縞模様の第１の画像と第２の画像を収集し、第１の画像と第２の画像内の縞模様をマッチングさせ、マッチング結果に従って三次元再構成を行うようにしてもよく、複数の縞模様のうち隣接する縞模様の間の距離が異なり、このため、縞模様との間の隣接距離が異なるので、異なる縞模様周期の縞模様にミスマッチが発生することを回避し、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決できる。

【0091】

本発明のさらなる実施例によれば、記憶されているプログラムを含み、プログラムは実行されると、上述のいずれか１つの縞模様ミスマッチ検出方法を実現する記憶媒体をさらに提供する。

【0092】

本発明のさらなる実施例によれば、プログラムを実行するものであり、プログラムは実行されると上述のいずれか１つの縞模様ミスマッチ検出方法を実現するプロセッサをさらに提供する。

【0093】

本発明の実施例によれば、縞模様ミスマッチ検出装置の実施例をさらに提供し、なお、該縞模様ミスマッチ検出装置は、本発明の実施例における縞模様ミスマッチ検出方法を実現することができ、本発明の実施例における縞模様ミスマッチ検出方法は該縞模様ミスマッチ検出装置にて実行されてもよい。

【0094】

図８は本発明の実施例に係る縞模様ミスマッチ検出装置の模式図であり、図８に示すように、該装置は、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された縞模様の第２の画像とを取得するように構成される第１の取得ユニット８１であって、第１の画像は、少なくとも第１の縞模様と第２の縞模様を含み、第２の画像は、少なくとも第３の縞模様と第４の縞模様を含み、第１の縞模様と第２の縞模様が隣接し、第３の縞模様と第４の縞模様が隣接する第１の取得ユニット８１と、第１の縞模様と第３の縞模様をマッチングさせて、第１の縞模様と第３の縞模様との間の第１の測定距離を特定し、第２の縞模様と第４の縞模様をマッチングさせて、第２の縞模様と第４の縞模様との間の第２の測定距離を特定するように構成される第１の特定ユニット８３と、第１の測定距離と第２の測定距離に基づいて、縞模様にミスマッチが発生した否かを特定するように構成される第２の特定ユニット８５とを含んでもよい。

【0095】

なお、該実施例の第１の取得ユニット８１は、本出願の実施例のステップＳ１０２を実行するように構成されてもよく、該実施例の第１の特定ユニット８３は、本出願の実施例のステップＳ１０４を実行するように構成されてもよく、該実施例の第２の特定ユニット８５は、本出願の実施例のステップＳ１０６を実行するように構成されてもよい。上述ユニットは、対応するステップとは実現する例及び適用シナリオが同じであるが、上述実施例で開示された内容に制限されない。

【0096】

本発明の上述実施例では、３次元モデリングにおいて、第１のカメラによって隣接する第１の縞模様と第２の縞模様を取得し、第２のカメラによって隣接する第３の縞模様と第４の縞模様を取得し、第１の縞模様と第３の縞模様をマッチングさせて、第２の縞模様と第４の縞模様をマッチングさせ、次に、第１の縞模様と第３の縞模様との間の第１の測定距離と、第２の縞模様と第４の縞模様との間の第２の測定距離を算出し、第１の測定距離と第２の測定距離に基づいて、第１の縞模様と第３の縞模様、第２の縞模様と第４の縞模様にミスマッチが発生したか否かを特定し、それによって、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させ、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【0097】

好ましい実施例として、装置は、第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様及び第４の縞模様を取得する前に、縞模様を走査対象物体の表面に投射するように構成される第１の投射モジュールであって、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接する第１の投射モジュールと、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集するように構成される第１の収集モジュールとをさらに含む。

【0098】

好ましい実施例として、装置は、第１のカメラによって収集された第１の縞模様及び第２の縞模様、第２のカメラによって収集された第３の縞模様及び第４の縞模様を取得する前に、縞模様を走査対象物体の表面に投射するように構成される第２の投射モジュールであって、複数の縞模様のうち隣接する縞模様の間の距離が異なる第２の投射モジュールと、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集するように構成される第２の収集モジュールとをさらに含む。

【0099】

図９は是本発明の実施例に係る縞模様ミスマッチ検出装置の模式図であり、図９に示すように、該装置は、縞模様を走査対象物体の表面に投射するように構成される第１の投射ユニット９１であって、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接し、周期距離は第１の所定距離と第２の所定距離を含む第１の投射ユニット９１と、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集するように構成される第１の収集ユニット９３と、周期距離に基づいて、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出するように構成される第１の検出ユニット９５とを含んでもよい。

【0100】

なお、該実施例の第１の投射ユニット９１は、本出願の実施例のステップＳ４０２を実行するように構成されてもよく、該実施例の第１の収集ユニット９３は、本出願の実施例のステップＳ４０４を実行するように構成されてもよく、該実施例の第１の検出ユニット９５は、本出願の実施例のステップＳ４０６を実行するように構成されてもよい。上述ユニットは、対応するステップとは実現する例及び適用シナリオと同じであるが、上述実施例で開示された内容に制限されない。

【0101】

本発明の上述実施例では、上述方式により縞模様を設定し、走査対象物体の表面に投射し、第１のカメラと第２のカメラによって縞模様の第１の画像と第２の画像を収集し、次に、第１の画像内の縞模様と第２の画像内の縞模様をマッチングさせ、異なる縞模様周期のうち同じ位置にある縞模様の間の距離に基づいて、縞模様にミスマッチが発生したか否かを判断し、それによって、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させ、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【0102】

図１０は本発明の実施例に係る縞模様ミスマッチ検出装置の模式図であり、図１０に示すように、該装置は、縞模様を走査対象物体の表面に投射するように構成される第２の投射ユニット１０１であって、複数の縞模様のうち隣接する縞模様の間の隣接距離が異なる第２の投射ユニット１０１と、第１のカメラと第２のカメラによって、走査対象物体の表面の縞模様を収集するように構成される第２の収集ユニット１０３と、隣接距離に応じて、第１のカメラによって収集された縞模様と第２のカメラによって収集された縞模様にミスマッチが発生したか否かを検出するように構成される第２の検出ユニット１０５とを含んでもよい。

【0103】

なお、該実施例の第２の投射ユニット１０１は、本出願の実施例のステップＳ５０２を実行するように構成されてもよく、該実施例の第２の収集ユニット１０３は、本出願の実施例のステップＳ５０４を実行するように構成されてもよく、該実施例の第２の検出ユニット１０５は、本出願の実施例のステップＳ５０６を実行するように構成されてもよい。上述ユニットは、対応するステップとは実現する例及び適応シナリオが同じであるが、上述実施例で開示された内容に制限されない。

【0104】

本発明の上述実施例では、上述方式により縞模様を設定し、走査対象物体の表面に投射し、第１のカメラと第２のカメラによって縞模様の第１の画像と第２の画像を収集し、次に、第１の画像内の縞模様と第２の画像内の縞模様をマッチングさせ、隣接する縞模様の間の隣接距離に基づいて、縞模様にミスマッチが発生したか否かを判断し、それによって、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させ、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【0105】

図１１は本発明の実施例に係る三次元再構成装置の模式図であり、図１１に示すように、該装置は、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された縞模様の第２の画像とを取得するように構成される第２の取得ユニット１１０１であって、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接する第２の取得ユニット１１０１と、第１の画像と第２の画像内の縞模様に従って三次元再構成を行うように構成される第１の再構成ユニット１１０３とを含んでもよい。

【0106】

なお、該実施例の第２の取得ユニット１１０１は、本出願の実施例のステップＳ６０２を実行するように構成されてもよく、該実施例の第１の再構成ユニット１１０３は、本出願の実施例のステップＳ６０４を実行するように構成されてもよい。上述ユニットは、対応するステップとは実現する例及び適用シナリオが同じであるが、上述実施例で開示された内容に制限されない。

【0107】

本発明の上述実施例では、ターゲット物体に対して三次元再構成を行う過程において、縞模様をターゲット物体に投影しておき、次に、第１のカメラと第２のカメラのそれぞれによって縞模様の第１の画像と第２の画像を収集し、第１の画像と第２の画像内の縞模様をマッチングさせ、マッチング結果に従って三次元再構成を行うようにしてもよく、縞模様は、第１の縞模様周期と第２の縞模様周期を含み、第１の縞模様周期内の第１の位置での縞模様と第２の縞模様周期内の第１の位置での縞模様との間の距離が第１の所定距離であり、第１の縞模様周期内の第２の位置での縞模様と第２の縞模様周期内の第２の位置での縞模様との間の距離が第２の所定距離であり、第１の所定距離と第２の所定距離が異なり、同一縞模様周期のうち第１の位置での縞模様と第２の位置での縞模様が隣接し、それによって、異なる縞模様周期において同じ位置での縞模様の間の距離が異なるので、異なる縞模様周期の縞模様にミスマッチが発生することを回避し、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決できる。

【0108】

図１２は本発明の実施例に係る三次元再構成装置の模式図であり、図１２に示すように、該装置は、第１のカメラによって収集された縞模様の第１の画像と、第２のカメラによって収集された縞模様の第２の画像とを取得するように構成される第３の取得ユニット１２０１であって、複数の縞模様のうち隣接する縞模様の間の距離が異なる第３の取得ユニット１２０１と、第１の画像と第２の画像内の縞模様に従って三次元再構成を行うように構成される第２の再構成ユニット１２０３とを含んでもよい。

【0109】

なお、該実施例の第３の取得ユニット１２０１は、本出願の実施例のステップＳ７０２を実行することに用いられてもよく、該実施例の第２の再構成ユニット１２０３は、本出願の実施例のステップＳ７０４を実行することに用いられてもよい。上述ユニットは、対応するステップとは実現する例及び適用シナリオが同じであるが、上述実施例で開示された内容に制限されない。

【0110】

本発明の上述実施例では、ターゲット物体に対して三次元再構成を行う過程において、縞模様をターゲット物体に投影しておき、次に、第１のカメラと第２のカメラのそれぞれによって縞模様の第１の画像と第２の画像を収集し、第１の画像と第２の画像内の縞模様をマッチングさせ、マッチング結果に従って三次元再構成を行うようにしてもよく、複数の縞模様のうち隣接する縞模様の間の距離が異なり、それによって、縞模様の間の隣接距離が異なるので、異なる縞模様周期の縞模様にミスマッチが発生することを回避し、縞模様にミスマッチが発生したか否かを検出できないという上述の技術的課題を解決する。

【0111】

上述本発明の実施例の番号は説明の目的にのみ使用され、実施例の優劣を表すものではない。

【0112】

本発明の上述実施例では、各実施例についてそれなりの重点を説明しており、特定の実施例において詳しく説明しない部分については、他の実施例の関連説明を参照すればよい。

【0113】

なお、本出願によるいくつかの実施例では、開示された技術内容は他の形態を通じて実現されてもよい。ここで、上述した装置の実施例は例示的なものに過ぎず、例えば前記ユニットの区分は、ロジック機能による区分であるが、実際に実現する際には別の区分形態を取ってもよく、例えば複数のユニット又はコンポーネントは別のシステムに結合又は集積されてもよく、いくつかの特徴は無視されたり実行されなかったりする。また、記載又は検討の相互結合、直接結合又は通信可能な接続は、いくつかの接口、ユニットやモジュールを介した間接結合又は通信可能な接続であってもよく、電気的形態又は他の形態であってもよい。

【0114】

前記分離部材として説明されたユニットは、物理的に分離してもよいし、分離しなくてもよく、ユニットとして示される部材は物理ユニットであってもよいし、物理ユニットでなくてもよく、即ち、１つの場所に配置されてもよいし、複数のユニットに分散してもよい。実際のニーズに応じてこれらの一部又は全部のユニットを選択して本実施例の解決手段の目的を達成させてもよい。

【0115】

また、本発明の各実施例の各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットは単独して物理的に存在してもよいし、２つ以上のユニットは１つのユニットに集積されてもよい。上述の集積されたユニットは、ハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。

【0116】

前記の集積されたユニットがソフトウェア機能ユニットの形態として実現され、独立した製品として販売又は使用される場合、コンピュータ読み取り可能な取記憶媒体に記憶されてもよい。このような知見に基づいて、本発明の技術案は、本質的に又は従来技術に貢献する部分又は該技術案の全部又は一部がソフトウェア製品の形態として具現化してもよく、このコンピュータソフトウェア製品は記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバー、ネットワーク機器などであってもよい）に本発明の各実施例に記載の方法の全部又は一部のステップを実行させ得る複数の命令を含む。前述した記憶媒体は、Ｕメモリ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードドライブ、磁気ディスクや光ディスクなど、プログラムコードを記憶し得る様々な媒体であってもよい。

【0117】

なお、以上は本発明の好適な実施形態に過ぎず、当業者であれば、本発明の原理を逸脱することなく、複数の改良や修飾を行ってもよく、これらの改良や修飾は本発明の特許範囲とみなすべきである。

【産業上の利用可能性】

【0118】

本発明の実施例による解決手段は３次元モデリングに適用できる。本発明の実施例によれば、縞模様にミスマッチが発生したか否かを検出できないという技術的課題を解決し、縞模様にミスマッチが発生したか否かを検出するという技術的効果を達成させる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】