特表2024-543683 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 先臨三維科技股▲ふん▼有限公司の特許一覧

特表2024-543683３次元走査の処理方法、装置及び３次元走査機器

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-21

(54)【発明の名称】３次元走査の処理方法、装置及び３次元走査機器

(51)【国際特許分類】

G06T 7/557 20170101AFI20241114BHJP

G01B 11/00 20060101ALI20241114BHJP

【ＦＩ】

G06T7/557

G01B11/00 H

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024535326

(86)(22)【出願日】2022-12-16

(85)【翻訳文提出日】2024-06-12

(86)【国際出願番号】 CN2022139716

(87)【国際公開番号】W WO2023109960

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】202111556738.2

(32)【優先日】2021-12-17

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518283252

【氏名又は名称】先臨三維科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＳＨＩＮＩＮＧ３ＤＴＥＣＨＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１３９８ＸｉａｎｇｂｉｎＲｏａｄ，ＷｅｎｙａｎＳｔｒｅｅｔ，ＸｉａｏｓｈａｎＤｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ３１１２５８（ＣＮ）

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】劉増芸

(72)【発明者】

【氏名】趙暁波

(72)【発明者】

【氏名】江騰飛

(72)【発明者】

【氏名】張健

(72)【発明者】

【氏名】黄磊杰

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065DD03

2F065DD06

2F065FF05

2F065GG04

2F065HH06

2F065HH07

2F065JJ05

2F065JJ26

2F065MM06

2F065QQ24

2F065QQ31

5L096AA09

5L096CA05

5L096CA17

5L096FA52

(57)【要約】

本開示は、３次元走査の処理方法、装置及び３次元走査機器を開示する。当該方法は、パターン投射器を介して複数のラインを被測定物の表面に投射することと、３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、前記マッチング点ペアの間のマッチング一貫性を検証することと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得することと、を含む。本開示により、関連技術における両眼レーザーによる走査の走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができず、走査効率を向上させる方法は走査線数を増加させることであるが、両眼走査システムにおいて走査線数を増加させると、マッチングの正確性が急速に低下することを引き起こすという問題を解決する。

【特許請求の範囲】

【請求項1】

３次元走査の処理方法であって、
パターン投射器を介して複数のラインを被測定物の表面に投射することと、
３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、
前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、
前記マッチング点ペアの間のマッチング一貫性を検証することと、
マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得することと、を含む、ことを特徴とする３次元走査の処理方法。

【請求項2】

前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することは、
前記３フレームの２次元画像における複数のラインを取得することであって、ここで、前記ラインは複数の画素点で構成されるものと、
１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における前記選定点にマッチングする複数の候補マッチング点を決定することと、
三角法に基づいて前記選定点と前記複数の候補マッチング点に対する３次元再構成を行い、複数の第１候補３次元点を取得することと、
プリセット条件を満たす第１候補３次元点を第２候補３次元点に決定することであって、ここで、前記第２候補３次元点が複数あるものと、
前記第２候補３次元点に対応する前記候補マッチング点と前記選定点を前記マッチング点ペアに構成することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記３組のマッチング点ペアの間のマッチング一貫性を検証する前、前記方法は、
前記第２候補３次元点に対応する複数の光平面を取得することであって、ここで、前記光平面は前記選定点に対応する光平面であるものと、
前記複数の光平面から前記選定点に対応するターゲット光平面を決定することと、を更に含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記複数の光平面から前記選定点に対応するターゲット光平面を決定することは、
前記選定点と同じラインにある複数の画素点に対応する複数の光平面を取得することと、
各光平面の出現回数を算出し、出現回数が最も多い光平面をターゲット光平面とすることと、を含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記３組のマッチング点ペアの間のマッチング一貫性を検証することは、
前記ターゲット光平面に対応するマッチング点をターゲットマッチング点とすることと、
前記選定点と前記ターゲットマッチング点をターゲットマッチング点ペアに構成し、３組のターゲットマッチング点ペアを取得することと、
前記３組のターゲットマッチング点ペアの間の一貫性を検証することと、を含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記３フレームの２次元画像は、それぞれ、第１フレームの２次元画像と、第２フレームの２次元画像と、第３フレームの２次元画像であり、前記３組のターゲットマッチング点ペアの間のマッチング一貫性を検証することは、
前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第２フレームの２次元画像によりマッチングして決定された第１のターゲット光平面を取得することと、
前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第２のターゲット光平面を取得することと、
前記第１フレームの２次元画像における選定点の前記第２フレームの２次元画像におけるターゲットマッチング点を取得することと、
前記第２フレームの２次元画像における前記ターゲットマッチング点が前記第２フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第３のターゲット光平面を取得することと、
前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるか否かを判断することと、を含み、
前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるときに、前記３組のターゲットマッチング点ペアはマッチング一貫性を有することと、ことを特徴とする請求項５に記載の方法。

【請求項7】

１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における前記選定点にマッチングする複数の候補マッチング点を決定することは、
前記選定点の前記他のフレームの２次元画像に対応する極線方程式を取得することと、
前記極線方程式と前記他のフレームの２次元画像における複数のラインの交点を前記複数の候補マッチング点とすることと、を含む、ことを特徴とする請求項２に記載の方法。

【請求項8】

３次元走査機器であって、３つのカメラを含み、前記３つのカメラを２つずつ組み合わせ、３つの両眼システムを取得し、ここで、前記３つの両眼システムは被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得するために用いられ、ここで、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得し、前記マッチング点ペアの間のマッチング一貫性を検証し、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得する、ことを特徴とする３次元走査機器。

【請求項9】

３次元走査の処理装置であって、
パターン投射器を介して複数のラインを被測定物の表面に投射するように構成される投射ユニットと、
３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得するように構成される収集ユニットと、
前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得するように構成される第１決定ユニットと、
前記マッチング点ペアの間のマッチング一貫性を検証するように構成される検証ユニットと、
マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得するように構成される再構成ユニットと、を含む、ことを特徴とする３次元走査の処理装置。

【請求項10】

コンピュータ可読記憶媒体であって、記憶されたプログラムを含み、ここで、前記プログラムは請求項１から７のいずれか一項に記載の３次元走査の処理方法を実行する、ことを特徴とするコンピュータ可読記憶媒体。

【請求項11】

プロセッサであって、プログラムを実行するために用いられ、ここで、前記プログラムが作動するときに請求項１から７のいずれか一項に記載の３次元走査の処理方法を実行する、ことを特徴とするプロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本開示は、２０２１年１２月１７日に中国国家知識産権局に提出された、出願番号２０２１１１５５６７３８．２、出願名称「３次元走査の処理方法、装置及び３次元走査機器」の中国特許出願の優先権を主張し、その出願の全体が参照によって本明細書に組み込まれる。

【0002】

本開示は、３次元走査技術分野に関し、具体的に、３次元走査の処理方法、装置及び３次元走査機器に関する。

【背景技術】

【0003】

ハンドヘルド型３次元走査技術が益々成熟することに伴い、３次元走査技術の工業上の応用は益々広くなっている。実際の走査シーンにおいて、いくつかの検査される工業物体は、時々体積が大きな工業品であり、走査効率が高く要求されている。従来の最も一般的な走査手段は、両眼レーザーによる走査であり、両眼レーザーによる走査のレーザの線数は２０線以下であり、当該走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができない。走査効率を向上させるために走査線数を増加させる必要があるが、両眼立体視覚システムにおいて走査線数を増加させると、マッチングの正確性が低下することを引き起こす。

【0004】

関連技術における両眼レーザーによる走査の走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができず、走査効率を向上させる方法は走査線数を増加させることであるが、両眼走査システムにおいて走査線数を増加させると、マッチングの正確性が急速に低下することを引き起こし、現在、有効な解決手段が提案されていない。

【発明の概要】

【0005】

本開示の主な目的は、３次元走査の処理方法、装置及び３次元走査機器を提供し、関連技術における両眼レーザーによる走査の走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができず、走査効率を向上させる方法は走査線数を増加させることであるが、両眼走査システムにおいて走査線数を増加させると、マッチングの正確性が急速に低下することを引き起こすという問題を解決することである。

【0006】

上記目的を実現するために、本開示の一態様によれば、３次元走査の処理方法を提供する。当該方法は、パターン投射器を介して複数のラインを被測定物の表面に投射することと、３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、前記マッチング点ペアの間のマッチング一貫性を検証することと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得することと、を含む。

【0007】

更に、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することは、前記３フレームの２次元画像における複数のラインを取得することであって、ここで、前記ラインは複数の画素点で構成されるものと、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における前記選定点にマッチングする複数の候補マッチング点を決定することと、三角法に基づいて前記選定点と前記複数の候補マッチング点に対する３次元再構成を行い、複数の第１候補３次元点を取得することと、プリセット条件を満たす第１候補３次元点を第２候補３次元点に決定することであって、ここで、前記第２候補３次元点が複数あるものと、前記第２候補３次元点に対応する前記候補マッチング点と前記選定点を前記マッチング点ペアに構成することと、を含む。

【0008】

更に、前記３組のマッチング点ペアの間のマッチング一貫性を検証する前、前記方法は、前記第２候補３次元点に対応する複数の光平面を取得することであって、ここで、前記光平面は前記選定点に対応する光平面であるものと、前記複数の光平面から前記選定点に対応するターゲット光平面を決定することと、を更に含む。

【0009】

更に、前記複数の光平面から前記選定点に対応するターゲット光平面を決定することは、前記選定点と同じラインにある複数の画素点に対応する複数の光平面を取得することと、各光平面の出現回数を算出し、出現回数が最も多い光平面をターゲット光平面とすることと、を含む。

【0010】

更に、前記３組のマッチング点ペアの間のマッチング一貫性を検証することは、前記ターゲット光平面に対応するマッチング点をターゲットマッチング点とすることと、前記選定点と前記ターゲットマッチング点をターゲットマッチング点ペアに構成し、３組のターゲットマッチング点ペアを取得することと、前記３組のターゲットマッチング点ペアの間の一貫性を検証することと、を含む。

【0011】

更に、前記３フレームの２次元画像は、それぞれ、第１フレームの２次元画像と、第２フレームの２次元画像と、第３フレームの２次元画像であり、前記３組のターゲットマッチング点ペアの間のマッチング一貫性を検証することは、前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第２フレームの２次元画像によりマッチングして決定された第１のターゲット光平面を取得することと、前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第２のターゲット光平面を取得することと、前記第１フレームの２次元画像における選定点の前記第２フレームの２次元画像におけるターゲットマッチング点を取得することと、前記第２フレームの２次元画像における前記ターゲットマッチング点が前記第２フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第３のターゲット光平面を取得することと、前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるか否かを判断することと、を含み、前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるときに、前記３組のターゲットマッチング点ペアはマッチング一貫性を有する。

【0012】

更に、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における前記選定点にマッチングする複数の候補マッチング点を決定することは、前記選定点の前記他のフレームの２次元画像に対応する極線方程式を取得することと、前記極線方程式と前記他のフレームの２次元画像における複数のラインの交点を前記複数の候補マッチング点とすることと、を含む。

【0013】

上記目的を実現するために、本開示の別の態様によれば、３次元走査機器を提供する。当該機器は３つのカメラを含み、前記３つのカメラを２つずつ組み合わせ、３つの両眼システムを取得し、ここで、前記３つの両眼システムは被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得するために用いられ、ここで、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得し、前記マッチング点ペアの間のマッチング一貫性を検証し、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得する。

【0014】

上記目的を実現するために、本開示の別の態様によれば、３次元走査の処理装置を提供する。当該装置は、パターン投射器を介して複数のラインを被測定物の表面に投射するように構成される投射ユニットと、３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得するように構成される収集ユニットと、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得するように構成される第１決定ユニットと、前記マッチング点ペアの間のマッチング一貫性を検証するように構成される検証ユニットと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得するように構成される再構成ユニットと、を含む。

【0015】

更に、前記決定ユニットは、前記３フレームの２次元画像における複数のラインを取得するように構成される第１取得サブユニットであって、ここで、前記ラインは複数の画素点で構成されるものと、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における前記選定点にマッチングする複数の候補マッチング点を決定するように構成される第１決定サブユニットと、三角法に基づいて前記選定点と前記複数の候補マッチング点に対する３次元再構成を行い、複数の第１候補３次元点を取得するように構成される再構成サブユニットと、プリセット条件を満たす第１候補３次元点を第２候補３次元点に決定するように構成される第２決定サブユニットであって、ここで、前記第２候補３次元点が複数あるものと、前記第２候補３次元点に対応する前記候補マッチング点と前記選定点を前記マッチング点ペアに構成するように構成される第１構成サブユニットと、を含む。

【0016】

更に、前記装置は、前記３組のマッチング点ペアの間のマッチング一貫性を検証する前、前記第２候補３次元点に対応する複数の光平面を取得するように構成される取得ユニットであって、ここで、前記光平面は前記選定点に対応する光平面であるものと、前記複数の光平面から前記選定点に対応するターゲット光平面を決定するように構成される第２決定ユニットと、を更に含む。

【0017】

更に、前記第２決定ユニットは、前記選定点と同じラインにある複数の画素点に対応する複数の光平面を取得するように構成される第２取得サブユニットと、各光平面の出現回数を算出し、出現回数が最も多い光平面をターゲット光平面とするように構成される計算サブユニットと、を含む。

【0018】

更に、前記検証ユニットは、前記ターゲット光平面に対応するマッチング点をターゲットマッチング点とすることと、前記選定点と前記ターゲットマッチング点をターゲットマッチング点ペアに構成し、３組のターゲットマッチング点ペアを取得するように構成される第２構成サブユニットと、前記３組のターゲットマッチング点ペアの間の一貫性を検証するように構成される検証サブユニットと、を含む。

【0019】

更に、前記３フレームの２次元画像は、それぞれ、第１フレームの２次元画像と、第２フレームの２次元画像と、第３フレームの２次元画像であり、前記検証サブユニットは、前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第２フレームの２次元画像によりマッチングして決定された第１のターゲット光平面を取得するように構成される第１取得モジュールと、前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第２のターゲット光平面を取得するように構成される第２取得モジュールと、前記第１フレームの２次元画像における選定点の前記第２フレームの２次元画像におけるターゲットマッチング点を取得するように構成される第３取得モジュールと、前記第２フレームの２次元画像における前記ターゲットマッチング点が前記第２フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第３のターゲット光平面を取得するように構成される第４取得モジュールと、前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるか否かを判断するように構成される判断モジュールと、を含み、前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるときに、前記３組のターゲットマッチング点ペアはマッチング一貫性を有する。

【0020】

更に、前記第１決定サブユニットは、前記選定点の前記他のフレームの２次元画像に対応する極線方程式を取得し、前記極線方程式と前記他のフレームの２次元画像における複数のラインの交点を前記複数の候補マッチング点とするように構成される第５取得ユニットと、を含む。

【0021】

上記目的を実現するために、本開示の別の態様によれば、コンピュータ可読記憶媒体を提供し、前記記憶媒体は記憶されたプログラムを含み、ここで、前記プログラムは上記いずれか１項に記載の３次元走査の処理方法を実行する。

【0022】

上記目的を実現するために、本開示の別の態様によれば、プロセッサを提供し、前記プロセッサはプログラムを実行するために用いられ、ここで、前記プログラムが作動するときに上記いずれか１項に記載の３次元走査の処理方法を実行する。

【0023】

本開示により、パターン投射器を介して複数のラインを被測定物の表面に投射することと、３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、前記マッチング点ペアの間のマッチング一貫性を検証することと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得することと、などのステップを用いて、関連技術における両眼レーザーによる走査の走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができず、走査効率を向上させる方法は走査線数を増加させることであるが、両眼走査システムにおいて走査線数を増加させると、マッチングの正確性が急速に低下することを引き起こすという問題を解決する。３つのカメラを介して被測定物の表面の２次元画像を収集し、３フレームの２次元画像を取得し、３フレームの２次元画像を２つずつマッチングし、３組のマッチング点ペアを取得し、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物体表面の３次元点を取得し、更にマッチングの正確性を向上させるという効果を達成する。

【図面の簡単な説明】

【0024】

本開示の一部を構成する図面は本開示を更に理解するためのものであり、本開示の概略的な実施例及びその説明は,本開示を説明するためのものであり、本開示を限定するものではない。図面において、

【図1】本開示の実施例により提供される３次元走査の処理方法のフローチャートである。

【図2】本開示の実施例により提供される選択可能な３フレームの２次元画像を示す図である。

【図3】本開示の実施例により提供される選択可能な３次元走査機器を示す図である。

【図4】本開示の実施例により提供される３次元走査の処理装置を示す図である。

【発明を実施するための形態】

【0025】

説明すべきことは、矛盾しない限り、本開示の実施例及び実施例における特徴は、相互に組み合わせることができることである。以下、図面を参照して実施例に合わせて本開示を詳細に説明する。

【0026】

当業者が本開示の技術的解決手段を更に良く理解するために、以下、本開示の実施例における図面に合わせ、本開示の実施例における技術的解決手段を明確、全体的に説明する。当然ながら、記述の実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではない。本開示の実施例に基づき、当業者は、創造的な労働を要することなく取得された全ての別の実施例は、いずれも本開示の請求の範囲に含まれるべきである。

【0027】

説明すべきことは、本開示の明細書と特許請求の範囲及び上記図面における「第１」、「第２」などの技術用語は類似する対象を区別するためのものであり、特定の順序又は前後順序を説明するためのものではないことである。理解すべきことは、このように使用されるデータは適切な場合に互いに交換でき、よって、これらの説明の本開示の実施例である。更に、「含む」と「備える」という技術用語及びそれらのいかなる変形は、非排他的に含むことをカバーすることを意図し、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は機器は、明確に挙げられたそれらのステップ又はユニットに限定される必要はなく、明確に挙げられない、或いは、これらの過程、方法、製品又は機器に固有のその他のステップ又はユニットを含んでもよい。

【0028】

以下、好ましい実行ステップに合わせて本発明を説明し、図１は、本開示の実施例により提供される３次元走査の処理方法のフローチャートであり、図１に示すように、当該方法は下記ステップを含む。

【0029】

ステップＳ１０１において、パターン投射器を介して複数のラインを被測定物の表面に投射する。

【0030】

例えば、３次元走査機器のパターン投射器を介して複数の走査線（例えば、レーザー走査線を使用することができる）を、３次元モデルを構築する必要がある物体の表面に投射する。

【0031】

ステップＳ１０２において、３つのカメラを介して被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得する。

【0032】

３次元走査機器の３つのカメラ（例えば、３つのカメラは、それぞれ、ＣａｍＬ、ＣａｍＭとＣａｍＲである）を介して、３次元モデルを構築する必要がある物体表面の２次元画像を収集し、対応して３フレームの２次元画像（例えば、図２に示すような３フレームの２次元画像）を取得する。３フレームの２次元画像は、それぞれ、第１フレームの２次元画像と、第２フレームの２次元画像と、第３フレームの２次元画像である。本開示の実施例では、３次元走査機器は、ハンドヘルド型３次元スキャナであり、被測定物に対し、移動して走査することができる。好ましくは、３つのカメラは同期に収集でき、すなわち、３つのカメラは、第１時間に同期に収集し、第２時間に同期に収集し、走査を完了するまで実行し、３つのカメラで取得された画像の対応性を確保する。３つのカメラは同期に動作しなくてもよいが、収集時間の間隔を極めて小さくし、３次元走査機器の被測定物に対する位置がほぼ変化しないように確保する必要がある。３次元走査機器は毎回に被測定物を収集するときに固定して使用され、すなわち、３次元走査機器を第１位置に固定されて被測定物の１つの箇所を収集し、更に第２位置に固定されて被測定物の他の箇所を収集し、被測定物に対する走査を完了するまで実行する場合、３つのカメラが同期に収集するか否かを限定しなくてもよい。

【0033】

ステップＳ１０３において、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得する。

【0034】

３フレームの２次元画像を２つずつマッチングし、対応する３組のマッチング点ペアを取得する。例えば、図２に示すように、第１フレームの２次元画像上の１つ点Ａ（１，２）であって、Ａ（１，２）の第２フレームの２次元画像においてマッチングして得られたマッチング点の座標はＢ_１（２，３）であるとすれば、第１フレームの２次元画像と第２フレームの２次元画像のマッチング点ペアはＡ（１，２）とＢ_１（２，３）であり、Ａ（１，２）の第３フレームの２次元画像においてマッチングして得られたマッチング点の座標はＣ（１，３）であるとすれば、第１フレームの２次元画像と第３フレームの２次元画像のマッチング点ペアはＡ（１，２）とＣ（１，３）であり、第２フレームの２次元画像におけるＢ_１（２，３）の第３フレームの２次元画像においてマッチングして得られたマッチング点はＣ（１，３）であるとすれば、第２フレームの２次元画像と第３フレームの２次元画像のマッチング点ペアはＢ_１（２，３）とＣ（１，３）である。

【0035】

ステップＳ１０４において、マッチング点ペアの間のマッチング一貫性を検証する。

【0036】

得られた３組のマッチング点ペアがマッチング一貫性を有するか否かを検証する。

【0037】

ステップＳ１０５において、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物の表面の３次元点を取得する。

【0038】

３組のマッチング点ペアはマッチング一貫性を有するとき、当該点に対する３次元再構成を行い、３次元モデルを構築する必要がある物体の３次元点を取得し、この３次元点で物体の３次元モデルを構築する。

【0039】

上記ステップにより、３つのカメラを介して物体の２次元画像を収集し、３フレームの２次元画像を取得し、３フレームの２次元画像を２つずつマッチングし、マッチング点ペアを取得し、マッチング一貫性を有するマッチング点ペアに対して３次元再構成を行うことによって、物体の３次元モデルを取得し、３次元再構成のマッチングの正確性を向上させる。

【0040】

任意選択的に、本開示の実施例により提供される３次元走査の処理方法において、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することは、３フレームの２次元画像における複数のラインを取得することであって、ここで、ラインは複数の画素点で構成されるものと、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における選定点にマッチングする複数の候補マッチング点を決定することと、三角法に基づいて選定点と複数の候補マッチング点に対する３次元再構成を行い、複数の第１候補３次元点を取得することと、プリセット条件を満たす第１候補３次元点を第２候補３次元点に決定することであって、ここで、第２候補３次元点が複数あるものと、第２候補３次元点に対応する候補マッチング点と選定点をマッチング点ペアに構成することと、を含む。

【0041】

例えば、図２に示すように、３フレームの２次元画像は複数のライン（すなわち、パターン投射器により投射された複数の走査ライン）を含み、ラインは複数の画素点で構成され、図２においてＣａｍＬに対応する画像は第１フレームの２次元画像であり、ＣａｍＭに対応する画像は第２フレームの２次元画像であり、ＣａｍＨに対応する画像は第３フレームの２次元画像である。第１フレームの２次元画像におけるＡ点を選定点とし、第２フレームの２次元画像においてＡにマッチングする複数の候補マッチング点を見つけ出す。例えば、第２フレームの２次元画像における候補マッチング点はＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、及びＢ６である。三角法によってＡ点と候補マッチング点Ｂ_１、Ｂ_２、Ｂ_３、Ｂ_４、Ｂ_５、及びＢ_６に対する３次元再構成を行い、複数の第１候補３次元点Ｏ_１、Ｏ_２、Ｏ_３、Ｏ_４、Ｏ_５、及びＯ_６を取得する。第１候補３次元点に対する予備選別を行い、プリセット条件を満たすものを第２候補３次元点とする。選別方法は第１候補３次元点から全ての走査線に対応する光平面Ｐｌａｎｅ（ｋ）までの距離Ｄｉｓｔａｎｃｅ（ｋ）を算出することである。ある第１候補３次元点の距離値は所定の距離閾値内にある場合、すなわち、Ｄｉｓｔａｎｃｅ（ｋ）＜ｄｉｓｔＴＨであれば、当該第１候補３次元点は第ｋ番の光平面（第ｋ本の投射線）に位置し、すなわち、当該第１候補３次元点は所定の要求を満たしていることが分かる。第２候補３次元点がＯ_１、Ｏ_２、及びＯ_３であると仮定すれば、Ｏ_１、Ｏ_２、及びＯ_３に対応する候補マッチング点Ｂ_１、Ｂ_２、及びＢ_３はＡ点とマッチング点ペアを構成する。上記方法により、第１フレームの２次元画像におけるそれぞれの画素点の、第２フレームの２次元画像におけるマッチング点を取得する。同様に、同じ方法により、第１フレームの２次元画像と第３フレームの２次元画像のマッチング点ペアと、第２フレームの２次元画像と第３フレームの２次元画像のマッチング点ペアを取得する。

【0042】

３フレームの２次元画像における複数のラインを取得することにより、３フレームの２次元画像における各画素点の座標を容易に決定することができる。３フレームの２次元画像を２つずつマッチングすることによって、３組のマッチング点ペアを取得し、マッチングの正確性を効果的に向上させることができる。

【0043】

任意選択的に、本開示の実施例により提供される３次元走査の処理方法において、３組のマッチング点ペアの間のマッチング一貫性を検証する前、当該方法は、第２候補３次元点に対応する複数の光平面を取得することであって、ここで、光平面は選定点に対応する光平面であるものと、複数の光平面から選定点に対応するターゲット光平面を決定することと、を更に含む。

【0044】

３組のマッチング点ペアを検証する前、最適マッチング点ペアを決定する必要があり、理論上は、２つのフレームの２次元画像でマッチングし、得られた複数のマッチング点ペアのうち、１つのペアのみが正確なものであるため、最適なマッチング点ペアを決定する必要がある。まず、第２候補３次元点は、当該点から全ての走査線に対応する光平面Ｐｌａｎｅ（ｋ）までの距離Ｄｉｓｔａｎｃｅ（ｋ）を算出することにより決定される。ある第２候補３次元点の距離値は所定の距離閾値内にある場合、すなわち、Ｄｉｓｔａｎｃｅ（ｋ）＜ｄｉｓｔＴＨであれば、当該点は第ｋ番の光平面（第ｋ本の投射線）に位置することが分かる。すなわち、１つの第２候補３次元点は１つの光平面に対応する。例えば、第２候補３次元点Ｏ_１、Ｏ_２、及びＯ_３に対応する光平面は、それぞれ、Ｋ_１、Ｋ_２、及びＫ_３である。これらの光平面から最適光平面（すなわち、上記ターゲット光平面）を選択する。

【0045】

得られた３組のマッチング点ペアに対する更なる選別を行い、物体表面の再構成３次元点をより正確に得ることができる。

【0046】

任意選択的に、本開示の実施例により提供される３次元走査の処理方法において、複数の光平面から選定点に対応するターゲット光平面を決定することは、選定点と同じラインにある複数の画素点に対応する複数の光平面を取得することと、各光平面の出現回数を算出し、出現回数が最も多い光平面をターゲット光平面とすることと、を含む。

【0047】

例えば、光平面Ｋ_１、Ｋ_２、及びＫ_３から最適光平面を選択する方法は、まず、選定点と同じラインにある複数の画素点に対応する複数の光平面を取得する。図２に示すように、Ａ点と同じラインにある複数の画素点はＡ_１、Ａ_２、Ａ_３とＡ_４である。Ａ_１に対応する複数の光平面はＫ_１とＫ_２であり、Ａ_２に対応する複数の光平面はＫ_１とＫ_４であり、Ａ_３に対応する複数の光平面はＫ_１、Ｋ_２、及びＫ_３であり、Ａ_４に対応する複数の光平面はＫ_１とＫ_２であり、各光平面の出現回数を算出し、出現回数が最も多い光平面を最適光平面とし、すなわち、Ａ点に対応する最適光平面はＫ_１である。実際の使用過程に、３フレームの２次元画像におけるラインは不連続なラインであってもよく、ライン上の選定点の隣接領域内における複数の画素点に対応する複数の光平面を取得することで、選定点に対応する最適光平面を決定する。

【0048】

選定点と同じラインにある複数の画素点に対応する複数の光平面を介して選定点に対応する最適光平面を決定し、画素点に対応する光平面の正確性を向上させる。

【0049】

任意選択的に、本開示の実施例により提供される３次元走査の処理方法において、３組のマッチング点ペアの間のマッチング一貫性を検証することは、ターゲット光平面に対応するマッチング点をターゲットマッチング点とすることと、選定点とターゲットマッチング点をターゲットマッチング点ペアに構成し、３組のターゲットマッチング点ペアを取得することと、３組のターゲットマッチング点ペアの間の一貫性を検証することと、を含む。

【0050】

３組のマッチング点ペアの間のマッチング一貫性を検証する際、最適マッチング点ペア（すなわち、上記ターゲットマッチング点ペア）の間の一貫性を検証するだけでよい。最適光平面に対応するマッチング点は最適マッチング点である。例えば、第１フレームの２次元画像と第２フレームの２次元画像の最適マッチング点ペアはＡ（１，２）とＢ_１（２，３）であり、対応する最適光平面はＫ_１であり、第１フレームの２次元画像と第３フレームの２次元画像の最適マッチング点ペアはＡ（１，２）とＣ（１，３）であり、対応する最適光平面はＫ_１であり、第２フレームの２次元画像と第３フレームの２次元画像の最適マッチング点ペアはＢ_１（２，３）とＣ（１，３）であり、対応する最適光平面はＫ_１であり、
３次元モデルを構築する必要がある物体表面の３次元点は、最適マッチング点ペアにより再構成された３次元点のみしかありえないため、最適マッチング点ペアの間の一貫性を検証する必要がある。

【0051】

任意選択的に、本開示の実施例により提供される３次元走査の処理方法において、前記３フレームの２次元画像は、それぞれ、第１フレームの２次元画像と、第２フレームの２次元画像と、第３フレームの２次元画像であり、前記３組のターゲットマッチング点ペアの間のマッチング一貫性を検証することは、前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第２フレームの２次元画像によりマッチングして決定された第１のターゲット光平面を取得することと、前記第１フレームの２次元画像における選定点と、前記選定点が前記第１フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第２のターゲット光平面を取得することと、前記第１フレームの２次元画像における選定点の前記第２フレームの２次元画像におけるターゲットマッチング点を取得することと、前記第２フレームの２次元画像における前記ターゲットマッチング点が前記第２フレームの２次元画像と前記第３フレームの２次元画像によりマッチングして決定された第３のターゲット光平面を取得することと、前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるか否かを判断することと、を含み、前記第１のターゲット光平面と、前記第２のターゲット光平面と、前記第３のターゲット光平面は同じ光平面であるときに、前記３組のターゲットマッチング点ペアはマッチング一貫性を有する。

【0052】

例えば、第１フレームの２次元画像上の１つ点Ａ（１，２）であって、Ａ（１，２）の第２フレームの２次元画像においてマッチングして得られた最適マッチング点の座標はＢ_１（２，３）であるとすれば、第１フレームの２次元画像と第２フレームの２次元画像の最適マッチング点ペアはＡ（１，２）とＢ_１（２，３）であり、対応する最適光平面はＫ_１である。Ａ（１，２）の第３フレームの２次元画像においてマッチングして得られた最適マッチング点の座標はＣ（１，３）であるとすれば、第１フレームの２次元画像と第３フレームの２次元画像の最適マッチング点ペアはＡ（１，２）とＣ（１，３）であり、対応する最適光平面はＫ_１である。第２フレームの２次元画像におけるＢ_１（２，３）の第３フレームの２次元画像においてマッチングして得られた最適マッチング点はＣ（１，３）であるとすれば、第２フレームの２次元画像と第３フレームの２次元画像の最適マッチング点ペアはＢ_１（２，３）とＣ（１，３）であり、対応する最適光平面はＫ_１である。上記実例に従い、２つずつマッチングして得られた最適光平面は同じもの、すなわち、Ｋ_１であれば、３組の最適マッチング点ペアがマッチング一貫性を有することが分かる。

【0053】

マッチング点ペアに対応する光平面を検証することでマッチング一貫性を有するか否かを決定し、なぜなら光平面は同じものであるからこそマッチング点ペアは３次元において同じ３次元点であるためであり、上記ステップによりマッチングの正確性を更に向上させる。

【0054】

任意選択的に、本開示の実施例により提供される３次元走査の処理方法において、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における選定点にマッチングする複数の候補マッチング点を決定することは、選定点の他のフレームの２次元画像に対応する極線方程式を取得することと、極線方程式と他のフレームの２次元画像における複数のラインの交点を複数の候補マッチング点とすることと、を含む。

【0055】

例えば、第２フレームの２次元画像において、第１フレームの２次元画像におけるＡ点の複数の候補マッチング点を決定するとき、極線方程式によって実現する必要があり、まず、ＣａｍＬとＣａｍＭの相対位置に基づいて計算して極線方程式を取得し、例えば、図２において付記した模式的な極線方程式と他のフレームの２次元画像における複数のラインの交点を複数の候補マッチング点とする。

【0056】

本開示の実施例により提供される３次元走査の処理方法は、パターン投射器を介して複数のラインを被測定物の表面に投射することと、３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、前記マッチング点ペアの間のマッチング一貫性を検証することと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得することと、を含み、関連技術における両眼レーザーによる走査の走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができず、走査効率を向上させる方法は走査線数を増加させることであるが、両眼走査システムにおいて走査線数を増加させると、マッチングの正確性が急速に低下することを引き起こすという問題を解決する。３つのカメラを介して被測定物の表面の２次元画像を収集し、３フレームの２次元画像を取得し、３フレームの２次元画像を２つずつマッチングし、３組のマッチング点ペアを取得し、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物体表面の３次元点を取得し、更にマッチングの正確性を向上させるという効果を達成する。

【0057】

本開示の実施例は、３次元走査機器を更に提供し、３次元走査機器は３つのカメラを含み、３つのカメラを２つずつ組み合わせ、３つの両眼システムを取得し、ここで、３つの両眼システムは被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得するために用いられ、ここで、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得し、マッチング点ペアの間のマッチング一貫性を検証し、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物の表面の３次元点を取得する。

【0058】

図３に示すように、本開示の実施例により提供される選択可能な３次元走査機器を示す図であり、ここで、ＣａｍＬ、ＣａｍＭとＣａｍＲは３つのカメラであり、３つのカメラは、２つずつにより３つの両眼システムを構成する。Ｐｒｏｊｅｃｔｏｒはパターン投射器である。

【0059】

説明すべきことは、図面のフローチャートに示されたステップは、例えば、１組のコンピュータで実行可能なコマンドのコンピュータシステムにおいて実行することができ、また、フローチャートにおいて論理的な順序を示すが、ある場合によって、これらと異なる順序で示され又は説明されたステップを実行することができることである。

【0060】

本開示の実施例は、３次元走査の処理装置を更に提供し、説明すべきことは、本開示の実施例の３次元走査の処理装置は本開示の実施例により提供される３次元走査ための処理方法を実行することができることである。以下、本開示の実施例により提供される３次元走査の処理装置を説明する。

【0061】

図４は、本開示の実施例による３次元走査の処理装置を示す図である。図４に示すように、当該装置は、投射ユニット４０１、収集ユニット４０２、第１決定ユニット４０３、検証ユニット４０４、再構成ユニット４０５を含む。

【0062】

投射ユニット４０１は、パターン投射器を介して複数のラインを被測定物の表面に投射するように構成される。

【0063】

収集ユニット４０２は、３つのカメラを介して被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得するように構成される。

【0064】

第１決定ユニット４０３は、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得するように構成される。

【0065】

検証ユニット４０４は、マッチング点ペアの間のマッチング一貫性を検証するように構成される。

【0066】

再構成ユニット４０５は、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物の表面の３次元点を取得するように構成される。

【0067】

本開示の実施例により提供される３次元走査の処理装置では、投射ユニット４０１はパターン投射器を介して複数のラインを被測定物の表面に投射し、収集ユニット４０２は３つのカメラを介して被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得し、第１決定ユニット４０３は３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得し、検証ユニット４０４はマッチング点ペアの間のマッチング一貫性を検証し、再構成ユニット４０５はマッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物の表面の３次元点を取得し、よって、関連技術における両眼レーザーによる走査の走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができず、走査効率を向上させる方法は走査線数を増加させることであるが、両眼走査システムにおいて走査線数を増加させると、マッチングの正確性が急速に低下することを引き起こすという問題を解決し、３つのカメラを介して被測定物の表面の２次元画像を収集し、３フレームの２次元画像を取得し、３フレームの２次元画像を２つずつマッチングし、３組のマッチング点ペアを取得し、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物体表面の３次元点を取得し、更にマッチングの正確性を向上させるという効果を達成する。

【0068】

任意選択的に、本開示の実施例により提供される３次元走査の処理装置において、決定ユニットは、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得する前、３フレームの２次元画像における複数のラインを取得するように構成される第１取得サブユニットであって、ここで、ラインは複数の画素点で構成されるものと、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における選定点にマッチングする複数の候補マッチング点を決定するように構成される第１決定サブユニットと、三角法に基づいて選定点と複数の候補マッチング点に対する３次元再構成を行い、複数の第１候補３次元点を取得するように構成される再構成サブユニットと、プリセット条件を満たす第１候補３次元点を第２候補３次元点に決定するように構成される第２決定サブユニットであって、ここで、第２候補３次元点が複数あるものと、第２候補３次元点に対応する候補マッチング点と選定点をマッチング点ペアに構成するように構成される第１構成サブユニットと、を含む。

【0069】

任意選択的に、本開示の実施例により提供される３次元走査の処理装置において、当該装置は、３組のマッチング点ペアの間のマッチング一貫性を検証する前、第２候補３次元点に対応する複数の光平面を取得するように構成される取得ユニットであって、ここで、光平面は選定点に対応する光平面であるものと、複数の光平面から選定点に対応するターゲット光平面を決定するように構成される第２決定ユニットと、を更に含む。

【0070】

任意選択的に、本開示の実施例により提供される３次元走査の処理装置において、第２決定ユニットは、選定点と同じラインにある複数の画素点に対応する複数の光平面を取得するように構成される第２取得サブユニットと、各光平面の出現回数を算出し、出現回数が最も多い光平面をターゲット光平面とするように構成される計算サブユニットと、を含む。

【0071】

任意選択的に、本開示の実施例により提供される３次元走査の処理装置において、検証ユニットは、ターゲット光平面に対応するマッチング点をターゲットマッチング点とすることと、選定点とターゲットマッチング点をターゲットマッチング点ペアに構成し、３組のターゲットマッチング点ペアを取得するように構成される第２構成サブユニットと、３組のターゲットマッチング点ペアの間の一貫性を検証するように構成される検証サブユニットと、を含む。

【0072】

任意選択的に、本開示の実施例により提供される３次元走査の処理装置において、３フレームの２次元画像は、それぞれ、第１フレームの２次元画像と、第２フレームの２次元画像と、第３フレームの２次元画像であり、検証サブユニットは、第１フレームの２次元画像における選定点と、選定点が第１フレームの２次元画像と第２フレームの２次元画像によりマッチングして決定された第１のターゲット光平面を取得するように構成される第１取得モジュールと、第１フレームの２次元画像における選定点と、選定点が第１フレームの２次元画像と第３フレームの２次元画像によりマッチングして決定された第２のターゲット光平面を取得するように構成される第２取得モジュールと、第１フレームの２次元画像における選定点の第２フレームの２次元画像におけるターゲットマッチング点を取得するように構成される第３取得モジュールと、第２フレームの２次元画像におけるターゲットマッチング点が第２フレームの２次元画像と第３フレームの２次元画像によりマッチングして決定された第３のターゲット光平面を取得するように構成される第４取得モジュールと、第１のターゲット光平面と、第２のターゲット光平面と、第３のターゲット光平面は同じ光平面であるか否かを判断するように構成される判断モジュールと、を含み、第１のターゲット光平面と、第２のターゲット光平面と、第３のターゲット光平面は同じ光平面であるときに、３組のターゲットマッチング点ペアはマッチング一貫性を有する。

【0073】

任意選択的に、本開示の実施例により提供される３次元走査の処理装置において、第１決定サブユニットは、選定点の他のフレームの２次元画像に対応する極線方程式を取得し、極線方程式と他のフレームの２次元画像における複数のラインの交点を複数の候補マッチング点とするように構成される第５取得ユニットと、を含む。

【0074】

前記３次元走査の処理装置はプロセッサとメモリを含み、上記投射ユニット、収集ユニット、第１決定ユニット、検証ユニット、再構成ユニットなどはいずれもプログラムユニットとしてメモリに記憶され、プロセッサによりメモリに記憶される上記プログラムユニットを実行することで対応する機能を実現する。

【0075】

プロセッサはカーネルを含み、カーネルによりメモリから対応するプログラムユニットを呼び出す。カーネルは１つ以上設置されてよく、カーネルパラメータを調整することで被測定物３次元点の再構成を実現する。

【0076】

メモリは、コンピュータ可読媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、及び／又は、例えば、リードオンリーメモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈＲＡＭ）の不揮発性メモリなどの形態を含んでもよく、メモリは、少なくとも一つのメモリチップを含む。

【0077】

本発明の実施例は、コンピュータ可読記憶媒体を提供し、プログラムが記憶され、当該プログラムはプロセッサによって実行されるときに３次元走査の処理方法を実現する。

【0078】

本発明の実施例は、プロセッサを提供し、プロセッサはプログラムを実行するために用いられ、ここで、プログラムが作動するときに３次元走査の処理方法を実行する。

【0079】

本発明の実施例は、機器を提供し、機器はプロセッサ、メモリ及びメモリに記憶されてプロセッサにより実行する可能なプログラムを含み、プロセッサはプログラムを実行するときに、パターン投射器を介して複数のラインを被測定物の表面に投射することと、３つのカメラを介して被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、マッチング点ペアの間のマッチング一貫性を検証することと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物の表面の３次元点を取得することと、などのステップを実現する。

【0080】

任意選択的に、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することは、３フレームの２次元画像における複数のラインを取得することであって、ここで、ラインは複数の画素点で構成されるものと、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における選定点にマッチングする複数の候補マッチング点を決定することと、三角法に基づいて選定点と複数の候補マッチング点に対する３次元再構成を行い、複数の第１候補３次元点を取得することと、プリセット条件を満たす第１候補３次元点を第２候補３次元点に決定することであって、ここで、第２候補３次元点が複数あるものと、第２候補３次元点に対応する候補マッチング点と選定点をマッチング点ペアに構成することと、を含む。

【0081】

任意選択的に、３組のマッチング点ペアの間のマッチング一貫性を検証する前、当該方法は、第２候補３次元点に対応する複数の光平面を取得することであって、ここで、光平面は選定点に対応する光平面であるものと、複数の光平面から選定点に対応するターゲット光平面を決定することと、を更に含む。

【0082】

任意選択的に、複数の光平面から選定点に対応するターゲット光平面を決定することは、選定点と同じラインにある複数の画素点に対応する複数の光平面を取得することと、各光平面の出現回数を算出し、出現回数が最も多い光平面をターゲット光平面とすることと、を含む。

【0083】

任意選択的に、３組のマッチング点ペアの間のマッチング一貫性を検証することは、ターゲット光平面に対応するマッチング点をターゲットマッチング点とすることと、選定点とターゲットマッチング点をターゲットマッチング点ペアに構成し、３組のターゲットマッチング点ペアを取得することと、３組のターゲットマッチング点ペアの間の一貫性を検証することと、を含む。

【0084】

任意選択的に、３フレームの２次元画像は、それぞれ、第１フレームの２次元画像と、第２フレームの２次元画像と、第３フレームの２次元画像であり、３組のターゲットマッチング点ペアの間のマッチング一貫性を検証することは、第１フレームの２次元画像における選定点と、選定点が第１フレームの２次元画像と第２フレームの２次元画像によりマッチングして決定された第１のターゲット光平面を取得することと、第１フレームの２次元画像における選定点と、選定点が第１フレームの２次元画像と第３フレームの２次元画像によりマッチングして決定された第２のターゲット光平面を取得することと、第１フレームの２次元画像における選定点の第２フレームの２次元画像におけるターゲットマッチング点を取得することと、第２フレームの２次元画像におけるターゲットマッチング点が第２フレームの２次元画像と第３フレームの２次元画像によりマッチングして決定された第３のターゲット光平面を取得することと、第１のターゲット光平面と、第２のターゲット光平面と、第３のターゲット光平面は同じ光平面であるか否かを判断することと、を含み、第１のターゲット光平面と、第２のターゲット光平面と、第３のターゲット光平面は同じ光平面であるときに、３組のターゲットマッチング点ペアはマッチング一貫性を有する。

【0085】

【0086】

本開示は、コンピュータプログラム製品を更に提供し、データ処理装置を実行するとき、パターン投射器を介して複数のラインを被測定物の表面に投射することと、３つのカメラを介して被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、マッチング点ペアの間のマッチング一貫性を検証することと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物の表面の３次元点を取得することと、などのステップを含むプログラムの初期化を実行する。

【0087】

【0088】

【0089】

【0090】

【0091】

【0092】

任意選択的に、１フレームの２次元画像におけるライン上の１つの画素点を選定点とし、他のフレームの２次元画像における選定点にマッチングする複数の候補マッチング点を決定することは、選定点の他のフレームの２次元画像に対応する極線方程式を取得することと、極線方程式と他のフレームの２次元画像における複数のラインの交点を複数の候補マッチング点とすることと、を含む。
当業者にとって理解すべきことは、本願の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよいことである。そのため、本願は、完全なハードウェアの実施例、完全なソフトウェアの実施例又はソフトウェアとハードウェアを結合した実施例の形態を用いることができる。且つ、本願は、コンピュータ利用可能なプログラムコードを含む一つ又は複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ‐ＲＯＭ、光学メモリなどを含むが、これらに限定されない）で実施されるコンピュータプログラム製品の形態を用いることができる。

【0093】

本願は、本願の実施例による方法、機器（システム）と、コンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明するものである。コンピュータプログラム命令により、フローチャート及び／又はブロック図における各プロセス及び／又はブロック、及び、フローチャート及び／又はブロック図におけるプロセス及び／又はブロックの結合を実現できることを理解すべきである。これらのコンピュータプログラム命令を、汎用コンピュータ、特殊目的のコンピュータ、組み込みプロセッサ又は他のプログラマブルデータ処理装置のプロセッサに提供し、１つの機器を構成することで、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに実行される命令によって、フローチャートにおける１つのプロセス又は複数のプロセス、及び／又は、ブロック図における１つのブロック又は複数のブロックに所定の機能を実現するために用いられる装置を構成することができる。

【0094】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置が特定の方法で動作するように案内することできるコンピュータ読み取り可能なメモリに記憶されてもよく、よって、当該コンピュータ読み取り可能なメモリに記憶される命令は命令装置を含む製品を構成し、当該命令装置は、フローチャートにおける１つのプロセス又は複数のプロセス、及び／又は、ブロック図における１つのブロック又は複数のブロックに所定の機能を実現する。

【0095】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置にインストールされてもよく、コンピュータ又は他のプログラマブル機器に一連の操作ステップを実行させることでコンピュータにより実現される処理を生成することによって、コンピュータ又は他のプログラマブル機器に実行される命令は、フローチャートにおける１つのプロセス又は複数のプロセス、及び／又は、ブロック図における１つのブロック又は複数のブロックに所定の機能を実現するためのステップを提供する。

【0096】

１つの典型的な構成において、計算装置は一つ又は複数の処理装置（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース、メモリを含む。

【0097】

メモリは、コンピュータ可読媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、及び／又は、例えば、リードオンリーメモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈＲＡＭ）の不揮発性メモリなどの形態を含んでもよい。メモリはコンピュータ可読媒体の実例である。

【0098】

コンピュータ可読媒体は不揮発性と揮発性、可搬型と据え置き型媒体を含み、いかなる方法又は技術により情報の記憶を実現することができる。情報はコンピュータ可読命令、データ構造、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体の実例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ‐ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）又は光学記憶装置、カセットテープ、磁気ディスク又は他の磁気記憶装置又はいかなる他の非伝送媒体を含むが、それらに限定されず、計算装置によりアクセスすることが可能な情報を記憶するために用いられてよい。本明細書における限定によれば、コンピュータ可読媒体は一時的記憶コンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙｍｅｄｉａ）、例えば、変調のデータ信号とキャリアを含まない。

【0099】

更に説明すべきことは、「含む」、「包含する」という技術用語又はそのいかなる他の変形は非排他的な「含む」をカバーすることを意図することよって、一連の要素を含む過程、方法、商品又は機器はそれらの要素を含むのみならず、また、明白に挙げていない他の要素を更に含み、又は、このような過程、方法、商品又は機器が特有である要素を更に含むことである。更なる限定のない場合、「１つの……を含む」という文により限定された要素は、要素を含む過程、方法、商品又は機器に更に他の同じ要素が存在することを排除しない。

【0100】

当業者にとって理解すべきことは、本願の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよいことである。そのため、本願は、完全なハードウェアの実施例、完全なソフトウェアの実施例又はソフトウェアとハードウェアを結合した実施例の形態を用いることができる。且つ、本願は、コンピュータ利用可能なプログラムコードを含む一つ又は複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ‐ＲＯＭ、光学メモリなどを含むが、これらに限定されない）で実施されるコンピュータプログラム製品の形態を用いることができる。

【0101】

以上は、本願の実施例に過ぎず、本願を限定するためのものではない。当業者にとって、本願は、種々の変形や変更が可能である。本願の趣旨と原理を逸脱しない限り、なされたいかなる修正、等価変更、改善などは、いずれも本願の請求項範囲に含まれるべきである。

【産業上の利用可能性】

【0102】

本開示の実施例により提供される３次元走査の処理方法、装置及び３次元走査機器は、パターン投射器を介して複数のラインを被測定物の表面に投射することと、３つのカメラを介して前記被測定物の表面の２次元画像を収集し、対応して３フレームの２次元画像を取得することと、前記３フレームの２次元画像において２つずつの間のマッチング点ペアを決定し、対応して３組のマッチング点ペアを取得することと、前記マッチング点ペアの間のマッチング一貫性を検証することと、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、前記被測定物の表面の３次元点を取得することと、などのステップを用いて、関連技術における両眼レーザーによる走査の走査効率はいくつかの走査効率が高く要求されているシーンを満たすことができず、走査効率を向上させる方法は走査線数を増加させることであるが、両眼走査システムにおいて走査線数を増加させると、マッチングの正確性が急速に低下することを引き起こすという問題を解決する。３つのカメラを介して被測定物の表面の２次元画像を収集し、３フレームの２次元画像を取得し、３フレームの２次元画像を２つずつマッチングし、３組のマッチング点ペアを取得し、マッチング一貫性を有するマッチング点ペアに対する３次元再構成を行い、被測定物体表面の３次元点を取得し、更にマッチングの正確性を向上させるという効果を達成する。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-06-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

【請求項2】

【請求項3】

【請求項4】

【請求項5】

【請求項6】

【請求項7】

【請求項8】

【請求項9】

【請求項10】

請求項１から７のいずれか一項に記載の３次元走査の処理方法を実行させる、ことを特徴とするコンピュータプログラム。

【請求項11】

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】変更

【補正の内容】

【0027】

説明すべきことは、本開示の明細書と特許請求の範囲及び上記図面における「第１」、「第２」などの技術用語は類似する対象を区別するためのものであり、特定の順序又は前後順序を説明するためのものではないことである。理解すべきことは、このように使用されるデータは適切な場合に互いに交換でき、よって、これらの説明の本開示の実施例は本明細書に図示又は記載する順序以外の順序で実施してもよいことである。更に、「含む」と「備える」という技術用語及びそれらのいかなる変形は、非排他的に含むことをカバーすることを意図し、例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は機器は、明確に挙げられたそれらのステップ又はユニットに限定される必要はなく、明確に挙げられない、或いは、これらの過程、方法、製品又は機器に固有のその他のステップ又はユニットを含んでもよい。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４１

【補正方法】変更

【補正の内容】

【0041】

例えば、図２に示すように、３フレームの２次元画像は複数のライン（すなわち、パターン投射器により投射された複数の走査ライン）を含み、ラインは複数の画素点で構成され、図２においてＣａｍＬに対応する画像は第１フレームの２次元画像であり、ＣａｍＭに対応する画像は第２フレームの２次元画像であり、ＣａｍＨに対応する画像は第３フレームの２次元画像である。第１フレームの２次元画像におけるＡ点を選定点とし、第２フレームの２次元画像においてＡにマッチングする複数の候補マッチング点を見つけ出す。例えば、第２フレームの２次元画像における候補マッチング点はＢ _１、Ｂ _２、Ｂ _３、Ｂ _４、Ｂ _５、及びＢ _６である。三角法によってＡ点と候補マッチング点Ｂ_１、Ｂ_２、Ｂ_３、Ｂ_４、Ｂ_５、及びＢ_６に対する３次元再構成を行い、複数の第１候補３次元点Ｏ_１、Ｏ_２、Ｏ_３、Ｏ_４、Ｏ_５、及びＯ_６を取得する。第１候補３次元点に対する予備選別を行い、プリセット条件を満たすものを第２候補３次元点とする。選別方法は第１候補３次元点から全ての走査線に対応する光平面Ｐｌａｎｅ（ｋ）までの距離Ｄｉｓｔａｎｃｅ（ｋ）を算出することである。ある第１候補３次元点の距離値は所定の距離閾値内にある場合、すなわち、Ｄｉｓｔａｎｃｅ（ｋ）＜ｄｉｓｔＴＨであれば、当該第１候補３次元点は第ｋ番の光平面（第ｋ本の投射線）に位置し、すなわち、当該第１候補３次元点は所定の要求を満たしていることが分かる。第２候補３次元点がＯ_１、Ｏ_２、及びＯ_３であると仮定すれば、Ｏ_１、Ｏ_２、及びＯ_３に対応する候補マッチング点Ｂ_１、Ｂ_２、及びＢ_３はＡ点とマッチング点ペアを構成する。上記方法により、第１フレームの２次元画像におけるそれぞれの画素点の、第２フレームの２次元画像におけるマッチング点を取得する。同様に、同じ方法により、第１フレームの２次元画像と第３フレームの２次元画像のマッチング点ペアと、第２フレームの２次元画像と第３フレームの２次元画像のマッチング点ペアを取得する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００９２

【補正方法】変更

【補正の内容】

【0092】

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００９６

【補正方法】変更

【補正の内容】

【0096】