特許 6564537 単眼３次元走査システムによる３次元再構成法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6564537

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】単眼３次元走査システムによる３次元再構成法および装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20190808BHJP

【ＦＩ】

   G01B11/25 H

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2018-560102(P2018-560102)

(86)(22)【出願日】2017年10月24日

(86)【国際出願番号】CN2017107506

(87)【国際公開番号】WO2019015154

(87)【国際公開日】20190124

【審査請求日】2018年11月14日

(31)【優先権主張番号】201710581213.1

(32)【優先日】2017年7月17日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】518283252

【氏名又は名称】先臨三維科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＳＨＩＮＩＮＧ ３Ｄ ＴＥＣＨ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】劉 増芸

(72)【発明者】

【氏名】王 文斌

(72)【発明者】

【氏名】趙 暁波

【審査官】 齋藤 卓司

(56)【参考文献】

【文献】 特表２０１６−５１４３８４（ＪＰ，Ａ）

【文献】 特開２０１１−０２２９９２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／００６７４６１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／２５

(57)【特許請求の範囲】

【請求項1】

不可視構造の光走査モジュールと、カメラと、投影装置とを含む単眼３次元走査システムによる３次元再構成方法であって、
前記不可視構造の光走査モジュールを使用して測定対象物の深度マップを収集し、かつ前記深度マップを、複数の３次元ポイントを含む３次元データポイントセットに変換することと、
前記複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定することと、
前記ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、前記変調後のマルチラインのストライプ画像内の前記ターゲット光平面方程式に対応するターゲットストライプを決定することと、ここで、前記変調後のマルチラインのストライプ画像は、前記投影装置を用いてマルチラインのストライプ画像を測定対象物上に投影した後に前記カメラにより収集された画像であり、
前記ターゲット光平面方程式および前記ターゲットストライプの中心座標に従って、前記ターゲットストライプが前記カメラの座標系に再構成された３次元ポイントを取得すること、
を含むことを特徴とする単眼３次元走査システムによる３次元再構成方法。

【請求項2】

前記不可視構造の光走査モジュールを用いて前記測定対象物の深度マップを収集し、かつ前記深度マップを３次元データポイントセットに変換する前に、前記３次元再構成方法はさらに、
前記単眼３次元走査システムを較正し、前記単眼３次元走査システムの構造パラメータを取得すること
を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記単眼３次元走査システムを較正し、前記単眼３次元走査システムの構造パラメータを取得することは、
前記カメラを較正し、前記カメラの内部および外部のパラメータを取得することと、
前記不可視構造の光走査モジュールと前記カメラとの間の相対位置関係に対応する回転平行移動行列を取得することと、
前記マルチラインのストライプ画像における各ストライプに対応する光平面方程式を較正し、複数の較正後の光平面方程式を取得すること、
を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定することは、
前記ターゲットの３次元ポイントから前記複数の較正後の光平面方程式へのユークリッド距離を取得し、かつ前記複数の較正後の光平面方程式から最短ユークリッド距離を有する光平面方程式を決定することと、
前記ターゲットの３次元ポイントから前記最短ユークリッド距離の光平面方程式へのユークリッド距離が所定の距離よりも短い場合に、前記最短ユークリッド距離の光平面方程式を前記ターゲット光平面方程式と決定すること、
を含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、前記変調後のマルチラインのストライプ画像内の前記ターゲット光平面方程式に対応するターゲットストライプを決定することは、
前記ターゲットの３次元ポイントが前記変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有するか否かを判断することと、ここで、前記ストライプセグメントは前記変調後のマルチラインのストライプ画像に対して中心線を抽出した後に前記中心線の連通領域を分割して形成されたセグメントであり、
前記ターゲットの３次元ポイントが前記変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有する場合に、前記ストライプセグメントを前記ターゲット光平面方程式に対応する前記ターゲットストライプと決定すること、
を含むことを特徴とする請求項１に記載の方法。

【請求項6】

前記ターゲット光平面方程式および前記ターゲットストライプの中心座標に従って、前記ターゲットストライプが前記カメラの座標系に再構成された３次元ポイントを取得することは、
AX_i + BY_i + CZ_i + D = 0
(u - c_x) / f_x = X_i / Z_i
(v - c_y) / f_y = Y_i / Z_i
の方程式に従って前記３次元ポイントの座標を決定するステップを含み、
ここで、（X_i、Y_i、Z_i）は前記３次元ポイントの座標であり、A、B、C、Dは前記ターゲット光平面方程式の係数であり、（u、v）は前記ターゲットストライプの中心座標であり、（c_x、c_y）は前記カメラのメインポイント座標であり、f_x、f_yは前記カメラの等価焦点距離であることを特徴とする請求項１に記載の方法。

【請求項7】

不可視構造の光走査モジュールとカメラと投影装置とを含む単眼３次元走査システムによる３次元再構成装置であって、
前記不可視構造光の走査モジュールを使用して測定対象物の深度マップを収集し、かつ前記深度マップを３次元データポイントセット（ここで、前記３次元データポイントセットは複数の３次元ポイントを含む）に変換するように設定された収集ユニットと、
前記複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定するように設定された決定ユニットと、
前記ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、前記変調後のマルチラインのストライプ画像（ここで、前記変調後のマルチラインのストライプ画像は前記投影装置を用いてマルチラインのストライプ画像を測定対象物上に投影した後に前記カメラにより収集された画像である）内の前記ターゲット光平面方程式に対応するターゲットストライプを決定するように設定された投影ユニットと、
前記ターゲット光平面方程式および前記ターゲットストライプの中心座標に従って、前記ターゲットストライプが前記カメラの座標系に再構成された３次元ポイントを取得するように設定された取得ユニットと、
を含むことを特徴とする単眼３次元走査システムによる３次元再構成装置。

【請求項8】

前記３次元再構成装置は、さらに、
前記不可視構造の光走査モジュールを用いて前記測定対象物の深度マップを収集し、かつ前記深度マップを３次元データポイントセットに変換する前に、前記単眼３次元走査システムを較正し、前記単眼３次元走査システムの構造パラメータを取得するように設定された較正モジュール、
を含むことを特徴とする請求項７に記載の装置。

【請求項9】

記憶されたプログラムを含み、前記プログラムが実行されるときに、記憶媒体が配置された装置に請求項１〜６のいずれか１項に記載の方法を実行させるように制御する、
ことを特徴とする記憶媒体。

【請求項10】

プログラムを実行するように設定され、前記プログラムが実行されるとき、請求項１〜６のいずれかに記載の方法を実行する、
ことを特徴とするプロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元走査領域に関し、具体的には、単眼３次元走査システムによる３次元再構成法および装置に関する。

【背景技術】

【0002】

近年、３次元デジタル技術は、国際的に活発な新学際的研究分野であり、リバースエンジニアリング、文化遺産保護、工業検査およびバーチャルリアリティなどの多くの分野で広く利用されている。ハンドヘルドポータブル３次元スキャナは、その利便性および柔軟性という利点により３次元走査の分野で広く使用されている。既存のハンドヘルド３次元スキャナの原理は、主として、構造光の能動立体視覚方式に基づく。構造光には様々なモードがあり、例えば、赤外線レーザスペックル、ＤＬＰ投影スペックル、ＤＬＰ投影のアナログレーザストライプ、レーザストライプなどである。これらの構造光モードのうち、ＤＬＰ投影のアナログレーザストライプ、レーザストライプを構造光とするハンドヘルド３次元スキャナの精度が最も高く、走査詳細が最もよい。ＤＬＰ投影のアナログレーザストライプ、レーザストライプを構造光とする例の基本的なワークフローは以下のとおりである：
（１）投影されたストライプに対して平面フィッティングを行い、
（２）収集されたストライプパターンに従ってマーカポイント抽出およびストライプ中心抽出を行い、
（３）ストライプ中心に対して連通領域分割を実行し、平面方程式に従って左右のカメラ画像上のストライプに対して対応するポイントのマッチングを行い、
（４）２つのカメラの極限制約関係を使用して左右のカメラ画像上の対応するマーカポイントの中心を見つけ、
（５）走査システムの較正パラメータに従って、３次元再構成アルゴリズムを使用してマッチングした対応するストライプおよび対応するマーカポイントの中心に対して３次元再構成を行い、
（６）マーカポイントのスプライシングおよびストライプ３次元ポイント回転によってハンドヘルドハンドヘルド３次元走査を実現する。

【0003】

上記走査プロセスにおける左右のカメラ画像上の対応するストライプのマッチングは、主に光平面またはストライププレーン方程式のガイダンスに基づき、ストライプの数が１５より大きい場合、カメラ画像上の対応するストライプのマッチングエラー率が大幅に改善され、さらにノイズを増加させ、走査データの精度を低減させる。ストライプの数が１５より小さい場合、走査効率は効果的には向上しない。したがって、固有の走査フレームレート限界の下で走査効率を向上させる有効な方法は、ストライプの数を増加させると共にストライプマッチングの精度を向上させることである。

【0004】

しかし、既存のハンドヘルドマルチストライプ両眼３次元スキャン技術では、走査プロセス中に、ストライプ数が増加すると、対応するポイントのマッチングエラー率が増加し、走査データノイズが増加する。さらに、走査前に、光平面を較正する必要があり、システム装置の取り付け精度および安定性に対する要求がより厳しい。また、ストライプの数が増加すると、左右の画像の対応するストライプの探索の複雑さが急速に増加する。そして、ストライプの数は限られ、カメラ視野の全範囲を完全に利用することができず、走査効率は改善されない。両眼遮断が原因となって、測定対象物の一部が遮断されて３次元再構成を行うことができなくなる。両眼立体視覚を採用するため、測定対象物の表面に段差があると、視差が不連続となり、ミスマッチングが生じる。

【0005】

両眼立体視覚３次元再構成に遮断が存在し得るという問題に対して、効果的な解決策はまだ提案されていない。

【発明の概要】

【0006】

本発明の少なくともいくつかの実施例は、両眼立体視覚３次元再構成における遮断という技術的課題を少なくとも解決するために、単眼３次元走査システムによる３次元再構成方法および装置を提供する。

【0007】

本発明の一実施例によれば、単眼３次元走査システムによる３次元再構成方法を提供し、前記単眼３次元走査システムは、不可視構造の光走査モジュール、カメラ、投影装置を含む。前記方法は、前記不可視構造の光走査モジュールを使用して測定対象物の深度マップを収集し、かつ前記深度マップを、複数の３次元ポイントを含む３次元データポイントセットに変換することと、前記複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定することと、前記ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、前記変調後のマルチラインのストライプ画像内の前記ターゲット光平面方程式に対応するターゲットストライプを決定することと、前記ターゲット光平面方程式および前記ターゲットストライプの中心座標に従って、前記ターゲットストライプが前記カメラ座標系に再構成された３次元ポイントを取得することと、を含む。ここで、前記変調後のマルチラインのストライプ画像は前記投影装置を用いてマルチラインのストライプ画像を測定対象物上に投影した後に前記カメラにより収集された画像である。

【0008】

好ましくは、前記不可視構造の光走査モジュールを用いて前記測定対象物の深度マップを収集し、かつ前記深度マップを３次元データポイントセットに変換する前に、前記方法はさらに、前記単眼３次元走査システムを較正し、前記単眼３次元走査システムの構造パラメータを取得することを含む。

【0009】

好ましくは、前記単眼３次元走査システムを較正し、前記単眼３次元走査システムの構造パラメータを取得することは、前記カメラを較正し、前記カメラの内部および外部のパラメータを取得することと、前記不可視構造の光走査モジュールと前記カメラとの間の相対位置関係に対応する回転平行移動行列を取得することと、前記マルチラインのストライプ画像における各ストライプに対応する光平面方程式を較正し、複数の較正後の光平面方程式を取得することと、を含む。

【0010】

好ましくは、複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定することは、前記ターゲットの３次元ポイントから前記複数の較正後の光平面方程式へのユークリッド距離を取得し、かつ前記複数の較正後の光平面方程式から最短ユークリッド距離を有する光平面方程式を決定することと、前記ターゲットの３次元ポイントから前記最短ユークリッド距離の光平面方程式へのユークリッド距離が所定の距離よりも短い場合に、前記最短ユークリッド距離光平面方程式を前記ターゲット光平面方程式と決定することと、を含む。

【0011】

好ましくは、前記ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、前記変調後のマルチラインのストライプ画像内の前記ターゲット光平面方程式に対応するターゲットストライプを決定することは、前記ターゲットの３次元ポイントが前記変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有するか否かを判断することと、前記ターゲットの３次元ポイントが前記変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有する場合に、前記ストライプセグメントを前記ターゲット光平面方程式に対応する前記ターゲットストライプと決定することと、を含む。ここで、前記ストライプセグメントは前記変調後のマルチラインのストライプ画像に対して中心線を抽出した後に前記中心線連通領域を分割して形成されたセグメントである。

【0012】

好ましくは、前記ターゲット光平面方程式および前記ターゲットストライプの中心座標に従って、前記ターゲットストライプが前記カメラ座標系に再構成された３次元ポイントを取得することは、AX_i + BY_i + CZ_i + D = 0、(u - c_x) / f_x = X_i / Z_i、(v - c_y) / f_y = Y_i / Z_iの方程式に従って前記３次元ポイントの座標を決定することを含む。ここで、（X_i、Y_i、Z_i）は前記３次元ポイントの座標であり、A、B、C、Dは前記ターゲット光平面方程式の係数であり、（u、v）は前記ターゲットストライプの中心座標であり、（c_x、c_y）は前記カメラのメインポイント座標であり、f_x、f_yは前記カメラの等価焦点距離である。

【0013】

本発明の一実施例によれば、さらに、記憶媒体を提供し、前記記憶媒体は、記憶されたプログラムを含む。ここで、前記プログラムが実行されるとき、上記のいずれかの前記方法を実行する。

【0014】

本発明の一実施例によれば、さらに、プロセッサを提供し、前記プロセッサは、プログラムを実行するように設定される。ここで、前記プログラムが実行されるとき、上記のいずれかの前記方法を実行する。

【0015】

本発明の一実施例によれば、さらに、単眼３次元走査システムによる３次元再構成装置を提供し、前記単眼３次元走査システムは、不可視構造の光走査モジュール、カメラ、投影装置を含む。ここで、前記装置は、前記不可視構造の光走査モジュールを使用して測定対象物の深度マップを収集し、かつ前記深度マップを３次元データポイントセット（ここで、前記３次元データポイントセットは複数の３次元ポイントを含む）に変換するように設定された収集ユニットと、前記複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定するように設定された決定ユニットと、前記ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、前記変調後のマルチラインのストライプ画像（ここで、前記変調後のマルチラインのストライプ画像は前記投影装置を用いてマルチラインのストライプ画像を測定対象物上に投影した後に前記カメラにより収集された画像である）内の前記ターゲット光平面方程式に対応するターゲットストライプを決定するように設定された投影ユニットと、前記ターゲット光平面方程式および前記ターゲットストライプの中心座標に従って、前記ターゲットストライプが前記カメラ座標系に再構成された３次元ポイントを取得するように設定された取得ユニットと、を含む。

【0016】

好ましくは、前記装置は、さらに、前記不可視構造の光走査モジュールを用いて前記測定対象物の深度マップを収集し、かつ前記深度マップを３次元データポイントセットに変換する前に、前記単眼３次元走査システムを較正し、前記単眼３次元走査システムの構造パラメータを取得するように設定された較正モジュールを含む。

【0017】

本発明の少なくともいくつかの実施例では、不可視構造の光走査モジュールにより収集された深度マップに従って、深度マップ変換の３次元データポイントセット内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定し、続いて、単一のカメラによって取得された変調後のマルチラインのストライプ画像内のターゲット光平面方程式に対応するターゲットストライプを決定し、さらに、ターゲット光平面方程式およびターゲットストライプの中心座標に従ってカメラ座標系におけるターゲットストライプによって再構成された３次元ポイントを取得し、単眼３次元走査システムを用いて３次元ポイントの正確な再構成を実現し、３次元走査を完了し、両眼３次元走査システムが両眼立体視覚を採用し、測定対象物の表面に段差がある場合に視差が不連続となるという問題を回避し、かつ、測定対象物の一部が遮蔽され、両眼走査システムのデュアルカメラが遮蔽部分の画像を捕捉することができず、したがって遮蔽部分を３次元再構成することができず、両眼立体視覚３次元再構成に遮断が存在し得るという技術的課題を解決する。

【図面の簡単な説明】

【0018】

ここで説明される図面は、本発明のさらなる理解を提供するために用いられ、本出願の一部を構成し、本発明の例示的な実施例およびその説明は、本発明を説明するために用いられ、本発明の過度の制限を構成するものではない。

【図1】図１は本発明の実施例による任意の単眼３次元走査システムによる３次元再構成方法のフローチャートである。

【図2】図２は本発明の実施例による任意のマルチラインストライプ復調パターンの概略図である。

【図3】図３は本発明の実施例による任意のストライプセグメント分割および３Ｄモジュールポイントクラウド逆投影の概略図である。

【図4】図４は本発明の実施例による任意の３次元ハンドヘルド赤外線構造光３次元モジュールと単眼マルチストライプを組み合わせた３次元走査システムの構造の概略図である。

【図5】図５は本発明の実施例による任意の単眼３次元走査システムによる３次元再構成装置の概略図である。

【発明を実施するための形態】

【0019】

当業者が本発明の解決手段をよりよく理解できるようにするために、以下、本発明の実施例における図面を参照し、本発明の実施例における技術的解決手段を明確かつ完全に記載する。当然のことながら、記載された実施例は、本発明の実施例の一部であり、実施例の全てではない。本発明の範囲から逸脱することなく、本発明の実施例に基づいて当業者によって得られる他のすべての実施例は、いずれも本発明の保護範囲内に含まれるべきである。

【0020】

本発明の明細書および特許請求の範囲および上記図面における「第一」、「第二」などの用語は、類似のオブジェクトを区別するために用いられ、必ずしも特定の順序または前後順序を記述するために使用されるものではないことに留意されたい。そのように使用されるデータは、本明細書に記載された本発明の実施例が本明細書に図示または記載された順序以外の順序で実施され得るように、必要に応じて交換可能であることを理解されたい。さらに、用語「含む」および「有する」およびその任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のことまたはユニットを含むプロセス、方法、システム、製品または装置は、明確に列挙されたことまたはユニットに必ずしも限定されず、明確に列挙されないかまたはそのようなプロセス、方法、製品または装置固有の他のことまたはユニットを含むことができる。

【0021】

本発明の実施例によれば、単眼３次元走査システムによる３次元再構成方法の実施例を提供し、添付図面のフローチャートに示されることは、コンピュータ実行可能命令のセットなどのコンピュータシステムで実行されてもよく、かつ、論理順序はフローチャートに示されるが、場合によっては、本明細書とは異なる順序で図示または記載されたことを実行してもよいことに留意されたい。

【0022】

本発明の実施例における単眼３次元走査システムによる３次元再構成方法における単眼３次元走査システムは、不可視構造の光走査モジュール、カメラ、投影装置を含むことができ、図１は本発明の実施例による任意の単眼３次元走査システムによる３次元再構成方法のフローチャートであり、図１に示すとおり、該方法は以下のことを含む。

【0023】

ステップＳ１０２において、不可視構造の光走査モジュールを使用して測定対象物の深度マップを収集し、かつ深度マップを３次元データポイントセットに変換する。ここで、３次元データポイントセットは複数の３次元ポイントを含む。
ステップＳ１０４において、複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定する。

【0024】

ステップＳ１０６において、ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、変調後のマルチラインのストライプ画像内のターゲット光平面方程式に対応するターゲットストライプを決定する。ここで、変調後のマルチラインのストライプ画像は投影装置を用いてマルチラインのストライプ画像を測定対象物上に投影した後にカメラにより収集された画像である。

【0025】

ステップＳ１０８において、ターゲット光平面方程式およびターゲットストライプの中心座標に従って、ターゲットストライプがカメラ座標系に再構成された３次元ポイントを取得する。

【0026】

上記ステップにより、不可視構造の光走査モジュールにより収集された測定対象物の深度マップに従って、深度マップ変換の３次元データポイントセット内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定し、続いて、単一のカメラによって取得された変調後のマルチラインのストライプ画像内のターゲット光平面方程式に対応するターゲットストライプを決定し、さらに、ターゲット光平面方程式およびターゲットストライプの中心座標に従ってカメラ座標系におけるターゲットストライプによって再構成された３次元ポイントを取得し、単眼３次元走査システムを用いて３次元ポイントの正確な再構成を実現し、３次元走査を完了し、両眼３次元走査システムが両眼立体視覚を採用することで測定対象物の表面に段差がある場合に視差が不連続となるという問題を回避し、かつ、測定対象物の一部が遮蔽されて両眼走査システムのデュアルカメラが遮蔽部分の画像を捕捉することができなくなり、遮蔽部分を３次元再構成することができなかったが、両眼立体視覚３次元再構成が遮断され得るという技術的課題を解決する。

【0027】

好ましくは、投影装置は、デジタルプロジェクタであってもよく、対応する投影されたマルチラインのストライプ画像は、デジタルアナログレーザマルチラインのストライプ画像であってもよい。ここで、該デジタルアナログレーザマルチラインのストライプ画像は、単眼３次元走査システムのコンピュータによって生成され、かつデジタルプロジェクタによって測定対象物に投影することができる。好ましくは、投影装置はまた、レーザ投影装置であってもよく、対応する投影されたマルチラインのストライプ画像は、レーザマルチラインのストライプ画像であってもよく、該レーザマルチラインのストライプ画像はレーザ投影装置によって測定対象物上に直接投影することができる。なお、本発明の実施例では、投影装置はデジタルプロジェクタであり、投影されたマルチラインのストライプ画像はデジタルマルチラインのストライプ画像であることを例として説明したが、投影装置はデジタルプロジェクタのみに限定されず、投影されたマルチラインのストライプ画像はデジタルマルチラインのストライプ画像のみに限定されないことに留意されたい。

【0028】

任意の実施例として、不可視構造の光走査モジュールを用いて測定対象物の深度マップを収集し、かつ深度マップを３次元データポイントセットに変換する前に、該実施はさらに、単眼３次元走査システムを較正し、単眼３次元走査システムの構造パラメータを取得することを含むことができる。

【0029】

好ましくは、不可視構造の光走査モジュールは、赤外線構造光走査モジュールであってもよい。

【0030】

本発明の上記実施例を採用し、まず単眼３次元走査システムを較正し、単眼３次元走査システムの構造パラメータを取得し、それにより、較正後に取得された正確な構造パラメータに従って、３次元ポイントを正確に再構成することができる。

【0031】

任意の実施例として、単眼３次元走査システムを較正し、単眼３次元走査システムの構造パラメータを取得することは、カメラを較正し、カメラの内部および外部のパラメータを取得することと、不可視構造の光走査モジュールとカメラとの間の相対位置関係に対応する回転平行移動行列を取得することと、マルチラインのストライプ画像における各ストライプに対応する光平面方程式を較正し、複数の較正後の光平面方程式を取得することと、を含むことができる。

【0032】

本発明の上記実施例を採用し、単眼３次元走査システムを較正するプロセス中に、カメラを較正することによって、カメラの内部および外部のパラメータを取得することができる。不可視構造の光走査モジュールとカメラとの間の相対位置関係を較正することによって、不可視構造の光走査モジュールとカメラとの間の相対位置関係に対応する回転平行移動行列を取得することができる。さらにマルチラインのストライプ画像における各ストライプに対応する光平面方程式を較正することによって、複数の較正後の光平面方程式を取得することができ、それにより、カメラの内部および外部のパラメータ、回転平行移動行列、光平面方程式に従って、３次元ポイントを正確に再構成することができる。

【0033】

任意の実施例として、複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定することは、ターゲットの３次元ポイントから複数の較正後の光平面方程式へのユークリッド距離を取得し、かつ複数の較正後の光平面方程式から最短ユークリッド距離を有する光平面方程式を決定することと、ターゲットの３次元ポイントから最短ユークリッド距離の光平面方程式へのユークリッド距離が所定の距離よりも短い場合に、最短ユークリッド距離光平面方程式をターゲット光平面方程式と決定することと、を含むことができる。

【0034】

本発明の上記実施例を採用し、ターゲットの３次元ポイントから複数の較正後の光平面方程式へのユークリッド距離、および複数の較正後の光平面方程式から最短ユークリッド距離を有する光平面方程式を取得することによって、ターゲットの３次元ポイントから最短ユークリッド距離の光平面方程式へのユークリッド距離が所定の距離よりも短い場合に、最短ユークリッド距離光平面方程式をターゲット光平面方程式と決定することができ、それにより、ターゲット光平面方程式に従って、３次元ポイントを正確に再構成することができる。

【0035】

任意の実施例として、ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、変調後のマルチラインのストライプ画像内のターゲット光平面方程式に対応するターゲットストライプを決定することは、ターゲットの３次元ポイントが変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有するか否かを判断することと、ターゲットの３次元ポイントが変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有する場合に、ストライプセグメントをターゲット光平面方程式に対応するターゲットストライプと決定することと、を含むことができる。ここで、ストライプセグメントは変調後のマルチラインのストライプ画像に対して中心線を抽出した後に中心線連通領域を分割して形成されたセグメントである。

【0036】

本発明の上記実施例を採用し、ターゲットの３次元ポイントが変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内に変調後のマルチラインのストライプ画像に対して中心線を抽出した後に中心線連通領域を分割して形成されたセグメントを有するか否かを判断し、かつターゲットの３次元ポイントが変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有する場合に、ストライプセグメントをターゲット光平面方程式に対応するターゲットストライプと決定し、それにより、ストライプセグメント内のターゲット光平面方程式に対応するターゲットストライプを決定することができ、かつターゲット光平面方程式を用いて対応するターゲットストライプを計算し、３次元ポイントを正確に再構成する。

【0037】

任意の実施例として、ターゲット光平面方程式およびターゲットストライプの中心座標に従って、ターゲットストライプがカメラ座標系に再構成された３次元ポイントを取得することは、AX_i + BY_i + CZ_i + D = 0、(u - c_x) / f_x = X_i / Z_i、(v - c_y) / f_y = Y_i / Z_iの方程式に従って３次元ポイントの座標を決定するステップを含むことができる。ここで、（X_i、Y_i、Z_i）は３次元ポイントの座標であり、A、B、C、Dはターゲット光平面方程式の係数であり、（u、v）はターゲットストライプの中心座標であり、（c_x、c_y）はカメラのメインポイント座標であり、f_x、f_yはカメラの等価焦点距離である。

【0038】

本発明の上記実施例を採用し、ターゲット光平面方程式の係数によれば、（u、v）はターゲットストライプの中心座標であり、（c_x、c_y）はカメラのメインポイント座標であり、f_x、f_yはカメラの等価焦点距離であり、（X_i、Y_i、Z_i）の３次元ポイントの座標を正確に取得し、３次元ポイントを正確に再構成することができる。

【0039】

本発明はさらに、好ましい実施例を提供し、該好ましい実施例は、異なる帯域構造光を組み合わせた単眼マルチライン３次元走査方法を提供する。

【0040】

本発明は、主に不可視光帯域（赤外線構造光）３次元モジュールと単眼可視光マルチラインストライプとの組み合わせの技術的改善を例とする。本発明の目的は、赤外線構造光３次元モジュールで再構成された３次元データを用いて単眼マルチラインストライプの３次元再構成をガイドすることであるが、重要なことは、赤外線構造光３次元モジュールの３次元再構成データが単眼マルチラインストライプと光平面方程式の正確なマッチングをガイドし、マルチストライプのマッチング正確度を向上させ、マッチングしたストライプ数を増加することによりハンドヘルド３次元走査システムの走査効率を向上させることである。解像度が１３０万画素のカメラに対して、１００ストライプが達成され、同じフレームレートとカメラ解像度で、従来技術と比較して走査効率が１０倍以上向上する。同時に、マーカポイントを使用せずに、特徴に応じてマルチストライプ走査のリアルタイムスプライシングを実現することができる。

【0041】

本発明の提供する技術的解決手段は、装置構成、システム較正、デジタル投影および画像取得、ポイントラインＰｔＳ相関光平面方程式のシリアル番号の決定、マルチラインのストライプ画像内の対応するストライプのマッチングおよび３次元再構成のガイドを含む。

【0042】

好ましくは、赤外線構造光３次元走査モジュールと１つのカメラとデジタルプロジェクタとからなる３次元デジタルイメージングセンサを構成し、かつ装置モジュール間の相対位置を固定することによって、測定対象物を測定範囲内に配置することができる。

【0043】

好ましくは、システム較正部分は、カメラを較正することにより、カメラの内部および外部のパラメータ、内部パラメータＡ、外部パラメータＲ、Ｔを取得し、同時に赤外線構造光３次元走査モジュールとカメラとの間の相対位置関係に対応する回転平行移動行列Ｍｓを較正するステップを含む。

【0044】

好ましくは、システム較正部分は、マルチラインストライプの光平面較正を行い、各ストライプに対応する光平面方程式plane(i) = {AX_i + BY_i + CZ_i + D = 0}を較正することをさらに含む。ここで、（X_i、Y_i、Z_i）はストライプセグメントがカメラ座標系で再構成された３次元ポイントである。

【0045】

図２は本発明の実施例による任意のマルチラインストライプ復調パターンの概略図であり、図２に示すとおり、コンピュータによりストライプ数が１５を超えるデジタルマルチラインストライプパターン（ストライプの数は最大１００またはそれ以上にすることができる）を生成し、デジタルプロジェクタで測定対象物に投影すると、測定対象物の高さ変調によってデジタルレーザパターンが変形され、変調後のデジタルマルチラインストライプパターンを生成し、カメラは同時に変調後のマルチラインストライプパターンを取得する。

【0046】

好ましくは、ポイントセットＰｔＳ関連光平面方程式のシリアル番号を決定し、赤外線構造光の３次元走査モードの３次元データＰｔＳを取得した後、順にＰｔＳ３次元ポイントセット中の各３次元ポイントｐｔ（ｉ）（ターゲットの３次元ポイント）から各光平面方程式へのユークリッド距離を計算し、距離閾値ｖＴＨを０．５ｍｍに設定する。ｐｔ（ｉ）からｎ番目の光平面方程式への距離が最も短く、かつｖＴＨの閾値範囲内にあると仮定し、３次元ポイントｐｔ（ｉ）に対応するｎ番目の光平面方程式を保持および記録する。ｐｔ（ｉ）が光平面方程式に関連付けられない場合、このポイントを除去する。このときのポイントセットＰｔＳの各３次元ポイントは、いずれも対応する光平面方程式に対応する。

【0047】

図３は、本発明の実施例による任意のストライプセグメント分割および３Ｄモジュールポイントクラウド逆投影の概略図であり、図３に示すとおり、中心線は、変調後のマルチラインストライプパターンに対して中心線抽出を行い、続いて各中心線の連通領域フィールドを分割することによって複数本の独立セグメントを形成する。続いて赤外線構造光３次元モジュールの３次元データＰｔＳ内のＰｔ（ｉ）を、カメラの較正内部パラメータに従って復調後のマルチラインのストライプ画像上に順次投影し、ｐｔ（ｉ）の投影ポイントが８近傍のマルチラインストライプの独立セグメントを有する場合に、該マルチラインストライプの独立セグメント（ターゲットストライプ）はｎ番目の光平面方程式（ターゲット光平面方程式）に対応して決定される。

【0048】

好ましくは、AX_i + BY_i + CZ_i + D = 0、(u - c_x) / f_x = X_i / Z_i、(v - c_y) / f_y = Y_i / Z_iの３つの方程式を連立して解くことによってカメラ座標系におけるマルチラインストライプの３次元ポイント（X_i、Y_i、Z_i）を解くことができる。ここで、既知量について、（Ａ、Ｂ、Ｃ、Ｄ）は光平面方程式の係数であり、（u、v）はストライプの中心座標であり、（c_x、c_y）はカメラのメインポイント座標であり、f_x、f_yは等価焦点距離である。

【0049】

図４は、本発明の実施例による任意の３次元ハンドヘルド赤外線構造光３次元モジュールと単眼マルチストライプを組み合わせた３次元走査システムの構造の概略図であり、図４に示すとおり、該システムは、デジタルプロジェクタ１０１、カメラ１０２、赤外線構造光三次元モジュール１０３、コンピュータ１０４、および測定対象サンプル１０５を含む。

【0050】

好ましくは、カメラの内部パラメータは、
K1 = [ 2271.084 0 645.632
0 2265.112 511.553
0 0 1] である。

【0051】

好ましくは、カメラの外部パラメータは、
R = [ -0.0917752 -0.942911 -0.32015
0.879959 0.0736946 -0.469298
0.4661 -0.324789 0.82296]、
T = [-1.77 -5.5 450] である。

【0052】

好ましくは、赤外線構造光３次元モジュールの内部パラメータは、
Ks = [ 476.927, 0 , 312.208,
0 , 475.927, 245.949,
0, 0 , 1 ] である。

【0053】

好ましくは、赤外線構造光３次元モジュールとカメラとの間のシステム構造パラメータは、
Rs = [ 0.9989 0.0445 -0.0113
-0.0454 0.9928 -0.1109
0.0063 0.1113 0.9938]、
Ts = [ 91.3387 28.1183 1.7905] である。

【0054】

上記各部分により、マルチラインストライプの光平面方程式plane(i) = {AX_i + BY_i + CZ_i + D = 0}を事前に較正し、ＤＬＰは、測定対象サンプルに可視光帯域のマルチラインストライプを投影し、赤外線構造光３次元モジュールを同期的にトリガして測定対象物の３次元データを収集し、かつカメラはマルチラインストライプを収集し、収集された復調マルチラインストライプパターンに対して中心線抽出および連通領域分割を行う。赤外線３次元モジュールの３次元データから光平面方程式への距離を計算し、距離閾値内に光平面方程式のシリアル番号を保持および記録する。該３次元データをカメラ画像平面に逆投影し、例えばマルチラインストライプセグメントと交差点があれば、該セグメントに対応する光平面方程式を決定する。マルチラインのストライプ画像座標および対応する光平面方程式から較正されたカメラパラメータに従ってマルチラインストライプの３次元データを計算する。

【0055】

本発明の提供する技術的解決手段は、不可視構造光帯域３次元再構成データを用いて可視光帯域構造光の単眼３次元再構成をガイドすることができる。可視光単眼マルチラインストライプと対応する光平面方程式との正確なマッチングを実現することができる。また、マーカポイントを使用せずに、特徴に応じて単眼マルチストライプ走査のリアルタイムスプライシングを実現することができる。

【0056】

本発明の提供する技術的解決手段は、単眼マルチストライプと対応する光平面方程式とのマッチング難易度を単純化し、マッチング精度を改善できる。同時に従来技術における投影されたストライプの数の制限が除去され、走査速度は同じ条件下で１０倍以上に増加することができる。両眼立体視覚遮断の問題は、単眼３次元再構成方式によって解決される。異なる帯域構造光は協調走査する。

【0057】

本発明の他の態様によれば、本発明の実施例はさらに、記憶媒体を提供し、記憶媒体は、記憶されたプログラムを含む。ここで、プログラムが実行されるときに、記憶媒体が配置された装置に、上記した単眼３次元走査システムによる３次元再構成方法を実行させるように制御する。

【0058】

本発明の他の態様によれば、本発明の実施例はさらに、プロセッサを提供し、プロセッサは、プログラムを実行するように設定される。ここで、プログラムが実行されるとき、上記した単眼３次元走査システムによる３次元再構成方法を実行する。

【0059】

本発明の実施例によれば、さらに、単眼３次元走査システムによる３次元再構成装置の実施例を提供し、該単眼３次元走査システムによる３次元再構成装置は、本発明の実施例における単眼３次元走査システムによる３次元再構成方法を実行するように設定され、本発明の実施例における単眼３次元走査システムによる３次元再構成方法は、該単眼３次元走査システムによる３次元再構成装置で実行することができる。

【0060】

本発明の実施例における単眼３次元走査システムによる３次元再構成装置中の単眼３次元走査システムは、不可視構造の光走査モジュール、カメラ、投影装置を含むことができ、図５は本発明の実施例による任意の単眼３次元走査システムによる３次元再構成装置の概略図であり、図５に示すとおり、該装置は、収集ユニット６１と、決定ユニット６３と、投影ユニット６５と、取得ユニット６７と、を含むことができる。

【0061】

収集ユニット６１は、不可視構造の光走査モジュールを使用して測定対象物の深度マップを収集し、かつ深度マップを３次元データポイントセットに変換するように設定される。ここで、３次元データポイントセットは複数の３次元ポイントを含む。決定ユニット６３は、複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定するように設定される。投影ユニット６５は、ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、変調後のマルチラインのストライプ画像内のターゲット光平面方程式に対応するターゲットストライプを決定するように設定される。ここで、変調後のマルチラインのストライプ画像は、投影装置を用いてマルチラインのストライプ画像を測定対象物上に投影した後に前記カメラにより収集された画像である。取得ユニット６７は、ターゲット光平面方程式およびターゲットストライプの中心座標に従って、ターゲットストライプがカメラ座標系に再構成された３次元ポイントを取得するように設定される。

【0062】

なお、該実施例における収集ユニット６１は、本出願の実施例におけるステップＳ１０２を実行するように設定され、該実施例における決定ユニット６３は、本出願の実施例におけるステップＳ１０４を実行するように設定され、該実施例における投影ユニット６５は、本出願の実施例におけるステップＳ１０６を実行するように設定され、該実施例における取得ユニット６７は、本出願の実施例におけるステップＳ１０８を実行するように設定されることに留意されたい。上記モジュールは、対応するステップによって実現された例および適用シナリオと同じであるが、上記実施例に開示された内容に限定されない。

【0063】

本発明の上記実施例は、不可視構造の光走査モジュールにより収集された深度マップに従って、深度マップ変換の３次元データポイントセット内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定し、続いて、単一のカメラによって取得された変調後のマルチラインのストライプ画像内のターゲット光平面方程式に対応するターゲットストライプを決定し、さらに、ターゲット光平面方程式およびターゲットストライプの中心座標に従ってカメラ座標系におけるターゲットストライプによって再構成された３次元ポイントを取得し、単眼３次元走査システムを用いて３次元ポイントの正確な再構成を実現し、３次元走査を完了し、両眼３次元走査システムが両眼立体視覚を採用し、測定対象物の表面に段差がある場合に視差が不連続となるという問題を回避し、かつ、測定対象物の一部が遮蔽され、両眼走査システムのデュアルカメラが遮蔽部分の画像を捕捉することができず、したがって遮蔽部分を３次元再構成することができず、両眼立体視覚３次元再構成に遮断が存在し得るという技術的課題を解決する。

【0064】

任意の実施例として、上記装置は、さらに、不可視構造の光走査モジュールを用いて測定対象物の深度マップを収集し、かつ深度マップを３次元データポイントセットに変換する前に、単眼３次元走査システムを較正し、単眼３次元走査システムの構造パラメータを取得するように設定された較正モジュールを含む。

【0065】

任意の実施例として、較正モジュールは、第一較正サブモジュールと、第一取得モジュールと、第二較正サブモジュールと、を含む。第一較正サブモジュールは、カメラを較正し、カメラの内部および外部のパラメータを取得するように設定される。第一取得モジュールは、不可視構造の光走査モジュールとカメラとの間の相対位置関係に対応する回転平行移動行列を取得するように設定される。第二較正サブモジュールは、マルチラインのストライプ画像における各ストライプに対応する光平面方程式を較正し、複数の較正後の光平面方程式を取得するように設定された

【0066】

任意の実施例として、決定ユニットは、第二取得モジュールと第一決定ユニットとを含む。第二取得モジュールは、ターゲットの３次元ポイントから複数の較正後の光平面方程式へのユークリッド距離を取得し、かつ複数の較正後の光平面方程式から最短ユークリッド距離を有する光平面方程式を決定するように設定される。第一決定ユニットは、ターゲットの３次元ポイントから最短ユークリッド距離の光平面方程式へのユークリッド距離が所定の距離よりも短い場合に、最短ユークリッド距離光平面方程式をターゲット光平面方程式と決定するように設定された

【0067】

任意の実施例として、投影ユニットは、ターゲットの３次元ポイントが変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有するか否かを判断する。ここで、ストライプセグメントは、判断モジュールと第二決定モジュールとを含む。判断モジュールは、変調後のマルチラインのストライプ画像に対して中心線を抽出した後に中心線連通領域を分割して形成されたセグメントであるように設定される。第二決定モジュールは、ターゲットの３次元ポイントが変調後のマルチラインのストライプ画像内の投影ポイントのプリセット範囲内にストライプセグメントを有する場合に、ストライプセグメントをターゲット光平面方程式に対応するターゲットストライプと決定するように設定される。

【0068】

任意の実施例として、取得ユニットは、AX_i + BY_i + CZ_i + D = 0、(u - c_x) / f_x = X_i / Z_i、(v - c_y) / f_y = Y_i / Z_iの方程式に従って３次元ポイントの座標を決定するように設定された計算モジュールを含む。ここで、（X_i、Y_i、Z_i）は前記３次元ポイントの座標であり、A、B、C、Dは前記ターゲット光平面方程式の係数であり、（u、v）は前記ターゲットストライプの中心座標であり、（c_x、c_y）は前記カメラのメインポイント座標であり、f_x、f_yは前記カメラの等価焦点距離である。

【0069】

上記本発明の実施例における番号は、単に説明のためのものであり、実施例の長所と短所を表すものではない。

【0070】

本発明の上記実施例で、様々な実施例に対する説明が異なり、ある実施例において詳述されない部分は、他の実施例の関連する説明を参照することができる。

【0071】

本出願によって提供されるいくつかの実施例では、開示された技術内容が他の方法で実施されてもよいことを理解されたい。ここで、上述した実施例は単なる例示に過ぎず、例えば、前記ユニットの分割は、論理的な機能分割であってもよく、実際に実現するときに別の分割方式を有してもよく、例えば、複数のユニットまたはモジュールは、結合してもよく、または別のシステムに統合してもよく、または一部の機能を無視してもよく、または実行しなくてもよい。さらに、図示または説明した相互結合または直接結合または通信接続は、いくつかのインタフェース、ユニットまたはモジュールを介した間接結合または通信接続であってもよく、電気的または他の形式であってもよい。

【0072】

前記分離部材として説明したユニットは、物理的に分離してもいなくてもよく、ユニットとして表示した部材は、物理ユニットであってもなくてもよく、すなわち、同じ場所に位置してもよく、または複数のユニットに分割してもよい。実際のニーズに応じてユニットの一部または全部を選択して本実施例の解決策の目的を実現することができる。

【0073】

また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよいし、物理的に別々に存在してもよいし、２つ以上のユニットを１つのユニットに統合してもよい。上記統合されたユニットは、ハードウェアの形態で実現することができ、またソフトウェア機能ユニットの形態で実現することができる。

【0074】

前記統合されたユニットは、ソフトウェア機能ユニットの形態で実現され、かつ独立した製品として販売または使用されるとき、１つのコンピュータ可読記憶媒体に記憶することができる。このような理解に基づいて、本発明の技術的解決手段は、本質的に、または従来技術に寄与する部分または該技術的解決手段の全部または一部は、ソフトウェア製品の形態で具体化することができ、該コンピュータソフトウェア製品は１つの記憶媒体に記憶され、コンピュータ装置（パーソナルコンピュータ、サーバまたはネットワーク装置などであってもよい）に、本発明の様々な実施形態に記載された前記方法のステップの全部または一部を実行させるための複数の命令を含む。前記記憶媒体は、Ｕディスク、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、モバイルハードディスク、ディスクまたは光ディスクなどのプログラムコードを格納することができる他の媒体を含む。

【0075】

上記は本発明の好ましい実施例に過ぎず、当業者は本発明の原理から逸脱することなくいくつかの改良および修飾を行うことができ、これらの改良および修飾は本発明の保護範囲とみなされるべきであることに留意されたい。

【産業上の利用可能性】

【0076】

前記のように、本発明の実施例が提供する単眼３次元走査システムによる３次元再構成方法および装置は、単眼３次元走査システムの使用によって３次元ポイントを正確に再構成して３次元走査を完成し、さらに両眼立体視覚３次元再構成での遮断を回避する有益な効果を有する。

【要約】

本発明は、単眼３次元走査システムによる３次元再構成方法および装置を開示する。単眼３次元走査システムは、不可視構造の光走査モジュールと、カメラと、投影装置とを含み、該方法は、不可視構造の光走査モジュールを使用して測定対象物の深度マップを収集し、かつ深度マップを３次元データポイントセットに変換し、３次元データポイントセットは複数の３次元ポイントを含むことと、複数の３次元ポイント内のターゲットの３次元ポイントに対応するターゲット光平面方程式を決定することと、ターゲットの３次元ポイントを変調後のマルチラインのストライプ画像上に投影し、変調後のマルチラインのストライプ画像内のターゲット光平面方程式に対応するターゲットストライプを決定することと、ターゲット光平面方程式およびターゲットストライプの中心座標に従って、ターゲットストライプが前記カメラ座標系に再構成された３次元ポイントを取得すること、を含む。本発明は両眼立体視覚３次元再構成に遮断が存在し得るという技術的課題を解決する。

【図1】

【図2】

【図3】

【図4】

【図5】