IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サン ヤト-セン ユニバーシティーの特許一覧

特表2023-549658物体表面の高精度な位置決め方法およびシステム
<>
  • 特表-物体表面の高精度な位置決め方法およびシステム 図1
  • 特表-物体表面の高精度な位置決め方法およびシステム 図2
  • 特表-物体表面の高精度な位置決め方法およびシステム 図3
  • 特表-物体表面の高精度な位置決め方法およびシステム 図4
  • 特表-物体表面の高精度な位置決め方法およびシステム 図5
  • 特表-物体表面の高精度な位置決め方法およびシステム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-29
(54)【発明の名称】物体表面の高精度な位置決め方法およびシステム
(51)【国際特許分類】
   G01B 11/00 20060101AFI20231121BHJP
   G01B 11/26 20060101ALI20231121BHJP
   G06T 7/00 20170101ALI20231121BHJP
   G06V 10/77 20220101ALI20231121BHJP
   G06T 7/70 20170101ALI20231121BHJP
【FI】
G01B11/00 H
G01B11/26 H
G06T7/00 300F
G06V10/77
G06T7/70 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023524731
(86)(22)【出願日】2021-11-25
(85)【翻訳文提出日】2023-04-14
(86)【国際出願番号】 CN2021133252
(87)【国際公開番号】W WO2023060717
(87)【国際公開日】2023-04-20
(31)【優先権主張番号】202111193896.6
(32)【優先日】2021-10-13
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】523142283
【氏名又は名称】サン ヤト-セン ユニバーシティー
【氏名又は名称原語表記】Sun Yat-Sen University
(74)【代理人】
【識別番号】100088904
【弁理士】
【氏名又は名称】庄司 隆
(74)【代理人】
【識別番号】100124453
【弁理士】
【氏名又は名称】資延 由利子
(74)【代理人】
【識別番号】100135208
【弁理士】
【氏名又は名称】大杉 卓也
(74)【代理人】
【識別番号】100183656
【弁理士】
【氏名又は名称】庄司 晃
(74)【代理人】
【識別番号】100224786
【弁理士】
【氏名又は名称】大島 卓之
(74)【代理人】
【識別番号】100225015
【弁理士】
【氏名又は名称】中島 彩夏
(72)【発明者】
【氏名】ヤン,シア
(72)【発明者】
【氏名】キン,ジュンユウ
(72)【発明者】
【氏名】グォ,グイソン
(72)【発明者】
【氏名】ザン,シアオゥ
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA04
2F065AA09
2F065AA39
2F065BB28
2F065FF04
2F065TT02
5L096AA06
5L096AA09
5L096BA05
5L096CA04
5L096DA02
5L096EA27
5L096EA43
5L096FA69
5L096HA02
5L096JA11
5L096JA22
(57)【要約】
本発明は、物体表面の高精度な位置決め方法およびシステムを開示し、該方法は、物体表面に所定の分布密度を有するマークを付けるステップと、マーク付き物体を撮影し、画像中のマークに番号を付けるステップと、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出するステップと、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含む。該システムは、マーク作成モジュール、番号付けモジュール、マーク位置関係モジュール、測定対象画像モジュール、および物理量計算モジュールを備える。本発明により、1台のカメラで物体表面の特徴または作成されたテクスチャ特徴を捉えることができ、物体の2次元並進、3次元並進、2次元回転角度などのパラメータを高精度に測定することが可能になる。本発明は、測定技術の分野で広く適用することができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
物体表面の高精度な位置決め方法であって、
物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得するステップと、
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するステップと、
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得するステップと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含むことを特徴とする物体表面の高精度な位置決め方法。
【請求項2】
物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得する前記ステップは、具体的には、
所定スタイルのマークを使用して、マーク作成方法によって表面にマーキングしてマーク付き物体を取得するステップを含む、
前記所定スタイルのマークには、線分、点、円、四角、十字、およびそれらを組み合わせた形状を含む、
前記マーク作成方法は、レーザー彫刻、印刷、およびエッチングを含む、
前記マークの彫刻間隔は、画像フレームの半分以下である、ことを特徴とする請求項1に記載の物体表面の高精度な位置決め方法。
【請求項3】
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得する前記ステップは、具体的には、
マーク付き物体表面を撮像し、表面画像を取得するステップと、
閾値分割によって表面画像を処理し、表面画像内のすべてのマークのターゲット中心を検出するステップと、
ターゲット中心を基準として、予め設定されたピクセルサイズの画像を、対応するマークのマーク特徴画像として切り取るステップと、
主成分分析法を用いてマーク特徴画像とマーク番号との対応関係を確立し、マーク特徴画像を低次元にダウンスケールし、主成分行列の最初の10主成分を、該マークを表す1次元ベクトルとし、固有番号を決定するステップと、
番号付きマークを有する表面画像を取得するステップと、を含むことを特徴とする請求項2に記載の物体表面の高精度な位置決め方法。
【請求項4】
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立する前記ステップは、具体的には、
画像スティッチング方法によって番号付きマークを持つ画像に対して画像スティッチングを行い、完全な表面画像を取得するステップと、
完全な表面画像を参照画像とし、参照画像の画像ピクセル座標と実際の物体表面座標との間の関係を確立するステップと、
参照画像上のマークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面の座標との間の関係に基づいて、各マークと物体表面の座標との間の対応関係を決定するステップと、を含むことを特徴とする請求項3に記載の物体表面の高精度な位置決め方法。
【請求項5】
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する前記ステップは、具体的には、
変換式に従って、物体表面上の各マークの中心点の正確な位置を決定するステップと、
物体表面のリアルタイムイメージングを行い、測定対象のリアルタイム画像を取得するステップと、
測定対象のリアルタイム画像に対してマーク検出を行い、ベクトル比較に基づいて測定対象のリアルタイム画像内のマークに対応するマーク番号を確認するステップと、を含むことを特徴とする請求項4に記載の物体表面の高精度な位置決め方法。
【請求項6】
前記変換式は、以下のとおりである、
【化1】
式中、sはカメラ座標系における中心点のz座標、(u,v)は中心画像座標、(f,f)はカメラの等価焦点距離、(c,c)は画像主点、rij(i,j=1,2,3)は回転行列R要素、t(i=1,2,3)は並進ベクトル、(x,y,z)はマーク中心に対応する物体表面の3次元点座標を表す、ことを特徴とする請求項5に記載の物体表面の高精度な位置決め方法。
【請求項7】
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、
前記マーク番号に従って、参照画像上のリアルタイム画像中心に対応する座標を取得するステップと、
参照画像のピクセル座標と物体表面パラメータとの対応関係、および参照画像上のリアルタイム画像の中心の座標に従って、リアルタイム画像の中心に対応する物体表面点を決定するステップと、
リアルタイム画像の中心に対応する物体表面点に基づいて、測定対象の現在のリアルタイム画像に対応する物体表面の位置を取得するステップと、を含み、
測定対象の現在のリアルタイム画像に対応する前記物体表面の位置は、1次元座標、2次元座標、3次元座標、1次元回転角度、および2次元回転角度を含む、ことを特徴とする請求項6に記載の物体表面の高精度な位置決め方法。
【請求項8】
前記1次元回転角度の計算式は、以下のとおりである、
【化2】
式中、θは測定対象となる回転体の回転角度、yは回転体の外面の周方向原点、yは回転体の外面のマーク中心座標点、Lは回転体の外面の周方向長さである、ことを特徴とする請求項7に記載の物体表面の高精度な位置決め方法。
【請求項9】
前記2次元回転角度の計算式は、以下のとおりである、
【化3】
式中、画像中心の座標は(u,v)で、測定対象球面に対応するワールド座標は(x,y,z)であり、αは測定対象球の経度、βは測定対象球の緯度である、ことを特徴とする請求項8に記載の物体表面の高精度な位置決め方法。
【請求項10】
物体表面の高精度な位置決めシステムであって、
物体表面に所定の分布密度を有するマークを作成し、マーク付き物体を取得するためのマーク作成モジュールと、
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するための番号付けモジュールと、
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するためのマーク位置関係モジュールと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する測定対象画像モジュールと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するための物理量計算モジュールと、備えることを特徴とする物体表面の高精度な位置決めシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定技術の分野に関し、特に物体表面の高精度な位置決め方法およびシステムに関する。
【背景技術】
【0002】
測定の分野では、物体表面を高精度に位置決めすることが重要なコンテンツである。物体表面を高精度に位置決めすることで、該物体の変位または回転を高精度に直接測定することができ、そして、精密機器、精密装置、または高精度兵器などに高精度の変位または回転角度データを提供することができる。このような技術は、ロボット、航空宇宙機器、光電セオドライト、レーダー、CNC工作機械、様々な産業用自動化装置などの分野で広く利用でき、防衛、航空宇宙、精密製造、自動化産業などの産業にとって非常に重要である。
【0003】
現在、物体表面を高精度に位置決めする主な方法の多くは、グレーティングに依存する必要がある。グレーティング測定技術は、モアレ縞を利用して精密な測定を行う技術である。その測定原理は、2つの回折格子が重なるとモアレ縞が発生し、モアレ縞により2つの回折格子の相対的な微小変位が増幅され、そのモアレ縞に関わる情報を測定することで、回折格子に対する高精度な位置決めが可能になり、それによって変位または角度に対する高精度な測定を達成することである。エンコーダ測定技術は、小型、高精度、強い干渉防止能力という利点があるが、材料とプロセスに対する要求が非常に高く、製造しにくい。高精度エンコーダの製造を行った後でも、実際の適用では、グレーティング測定技術は依然として多くの要因によって制限され、マザーボードエラーとコードディスクのラインエラーなどのエンコーダ光学部の影響、ベアリングと構造などの機械部の影響、発光源と受信ユニットなどの電気部の影響、エンコーダ使用時の信号遅延の影響など様々な要因で実際の測定精度に大きな影響がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記技術的課題を解決するために、本発明の目的は、物体表面を高精度に位置決めする方法およびシステムを提供することであり、このアルゴリズムは半教師あり学習方法であり、1台のカメラによって物体表面の特徴または生成されたテクスチャ特徴を捉えることができ、物体の2次元移動、3次元移動、2次元回転角度などのパラメータを高精度に測定することが可能になる。
【課題を解決するための手段】
【0005】
本発明で用いられる第一技術的解決手段は、物体表面の高精度な位置決め方法であって、それは、
物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得するステップと、
そのマークは、以下の設定に従う必要がある、
1、物体表面をイメージングした後、画像内の異なるマークの背景画像が、画像からマークを迅速かつ確実に検出および識別することができる程度の識別度があることを保証する、
2、マークは、物体表面に特定の分布密度を達成する必要があり、それにより、カメラが測定される表面の任意の部分を撮像する際に、イメージング視野内に少なくとも1つの完全なマークが存在することが確保される。
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するステップと、
3つの異なる命名方法があり、実際の状況に応じて選択することができる、
1、マーク自体の画像特徴情報に基づいて命名と番号付けを行う、
2、マーク周辺のランダムなテクスチャ画像情報に基づいて命名と番号付けを行う、
3、マーク自体の情報とその周辺のテクスチャ画像情報を合わせた情報に基づいて命名と番号付けを行う。
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得するステップと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含む。
【0006】
さらに、物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得する前記ステップは、具体的には、
所定スタイルのマークを使用して、マーク作成方法によって表面にマーキングしてマーク付き物体を取得するステップを含む、
所定スタイルのマークには、線分、点、円、四角、十字、およびそれらを組み合わせた形状を含む、
前記マーク作成方法は、レーザー彫刻、印刷、およびエッチングを含む、
前記マークの彫刻間隔は、画像フレームの半分以下である。
【0007】
さらに、マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得する前記ステップは、具体的には、
マーク付き物体表面を撮像し、表面画像を取得するステップと、
閾値分割によって表面画像を処理し、表面画像内のすべてのマークのターゲット中心を検出するステップと、
ターゲット中心を基準として、予め設定されたピクセルサイズの画像を、対応するマークのマーク特徴画像として切り取るステップと、
主成分分析法を用いてマーク特徴画像とマーク番号との対応関係を確立し、マーク特徴画像を低次元にダウンスケールし、主成分行列の最初の10主成分を、該マークを表す1次元ベクトルとし、固有番号を決定するステップと、
番号付きマークを有する表面画像を取得するステップと、を含む。
【0008】
さらに、番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立する前記ステップは、具体的には、
画像スティッチング方法によって番号付きマークを持つ画像に対して画像スティッチングを行い、完全な表面画像を取得するステップと、
完全な表面画像を参照画像とし、参照画像の画像ピクセル座標と実際の物体表面座標との間の関係を確立するステップと、
参照画像上のマークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面の座標との間の関係に基づいて、各マークと物体表面の座標との間の対応関係を決定するステップと、を含む。
【0009】
さらに、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する前記ステップは、具体的には、
変換式に従って、物体表面上の各マークの中心点の正確な位置を決定するステップと、
物体表面のリアルタイム撮像を行い、測定対象のリアルタイム画像を取得するステップと、
測定対象のリアルタイム画像に対してマーク検出を行い、ベクトル比較に基づいて測定対象のリアルタイム画像内のマークに対応するマーク番号を確認するステップと、を含む。
【0010】
さらに、前記変換式は、以下のとおりである、
【化1】
式中、sはカメラ座標系における中心点のz座標、(u,v)は中心画像座標、(f,f)はカメラの等価焦点距離、(c,c)は画像主点、rij(i,j=1,2,3)は回転行列R要素、t(i=1,2,3)は並進ベクトル、(x,y,z)はマーク中心に対応する物体表面の3次元点座標を表す。
【0011】
さらに、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、
前記マーク番号に従って、参照画像上のリアルタイム画像中心に対応する座標を取得するステップと、
参照画像のピクセル座標と物体表面パラメータとの対応関係、および参照画像上のリアルタイム画像の中心の座標に従って、リアルタイム画像の中心に対応する物体表面点を決定するステップと、
リアルタイム画像の中心に対応する物体表面点に基づいて、測定対象の現在のリアルタイム画像に対応する物体表面の位置を取得するステップと、を含み、
測定対象の現在のリアルタイム画像に対応する前記物体表面の位置は、1次元座標、2次元座標、3次元座標、1次元回転角度、および2次元回転角度を含む。
【0012】
さらに、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、以下を含む、
【化2】
式中、θは測定対象となる回転体の回転角度、yは回転体の外面の周方向原点、yは回転体の外面のマーク中心座標点、Lは回転体の外面の周方向長さである。
【0013】
さらに、前記2次元回転角度の計算式は、以下のとおりである、
【化3】
式中、画像中心の座標は(u,v)で、測定対象球面に対応するワールド座標は(x,y,z)であり、αは測定対象球の経度、βは測定対象球の緯度である。
【0014】
本発明で用いられる第二技術的解決手段は、物体表面の高精度な位置決めシステムであって、
物体表面に所定の分布密度を有するマークを作成し、マーク付き物体を取得するためのマーク作成モジュールと、
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するための番号付けモジュールと、
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するためのマーク位置関係モジュールと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する測定対象画像モジュールと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するための物理量計算モジュールと、備える。
【発明の効果】
【0015】
本発明の方法およびシステムの有益な効果は以下のとおりである、
本発明は、1台のカメラによって物体表面の特徴または作成されたテクスチャ特徴を捉えることができ、物体の2次元並進、3次元並進、2次元回転角度などのパラメータを高精度に測定することが可能になる。完成したマークを測定することにより、各マークの測定対象物体に対する実際の位置を高精度で求め、そしてマークの実際の位置(理論位置ではなく)に従って物体表面の位置決めおよび測定を行うことにより、マークの加工誤差、取り付け誤差などの要因が測定精度に影響することが回避され、また、本発明では情報リングを作成および設置する必要がなく、コード化マークの高精度加工と作成を必要とせず、方法はより簡単で経済的である。
【図面の簡単な説明】
【0016】
図1】本発明における物体表面の高精度な位置決め方法のステップを示すフローチャートである。
【0017】
図2】本発明における物体表面の高精度な位置決めシステムの構造ブロック図である。
【0018】
図3】本発明の具体的な実施例によるカメライメージングの概略図である。
【0019】
図4】本発明の具体的な実施例によるマーク作成の概略図である。
【0020】
図5】本発明の具体的な実施例による命名および番号付けの概略図である。
【0021】
図6】本発明の具体的な実施例による物理量計算の概略図である。
【発明を実施するための形態】
【0022】
以下は、添付の図面および特定の実施例を参照して本発明をさらに詳細に説明する。以下の実施例におけるステップの番号については、説明を容易にするために設定され、ステップ間の順序を限定するものではなく、実施例において各ステップが実行される順序は、すべて当業者の理解に従って適応的に調整することができる。
【0023】
本発明は、シングルラインアレイカメラで円形テーブルの側面を走査してイメージングし、円形テーブルの表面に明らかかつランダムな自然テクスチャがないことを例として、本発明の実施形態をさらに詳細に説明する。
【0024】
図1に示すとおり、本発明は、物体表面の高精度な位置決め方法を提供し、該方法は、
S1、物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得するステップと、
具体的には、図4に示すとおり、レーザー彫刻の技術により、ランダムなテクスチャで作成された物体表面に線分形式のマークを彫刻し、線分の間隔は画像フレームの半分以下であるため、測定対象表面をイメージングする際に画像内に少なくとも1つの完全なマークが存在することを保証する。
S2、マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するステップと、
具体的には、物体表面の全てのマークをイメージングし、次に全ての画像を閾値分割によってマークを検出し、重心法を用いてマーク画像の座標を決定する。マークの中心を参照点として特定の範囲(例えば200×200ピクセル)の画像を該マークに対応する特徴画像として切り取る(テクスチャ情報のランダム性のため、各マークの特徴画像は異なる)。最後に、主成分分析法(PCA)でマークの特徴画像を区別して番号を付け、番号の概略図は図5に示すとおりである。
S3、番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、
具体的には、図3に示すとおり、表面に明らかかつランダムな自然テクスチャがない円形テーブルの場合、まず、測定対象の円形テーブルの表面に金属塗料をスプレーし、金属粒子の大きさは画像ピクセルの物理解像度に従って決定し、物体表面がイメージングされた後に散乱した形状のランダムパターンを生成するようにする。その後、円形テーブルの側面の各部分に対してある程度重ね合わせてイメージングし、かつ、画像スティッチング技術を使用して円形テーブルの全体画像を得て、これを参照画像とする。そして、参照画像の画像ピクセル座標と円形テーブル表面の局所領域の2次元座標との対応関係を確定する。
物体表面上の各マークの座標は、3座標測定器またはステレオビジョン測定技術を使用して直接測定でき、各マークと物体表面の座標との対応関係を決定する。
S4、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得するステップと、
S5、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含む。
【0025】
具体的には、物理量計算について図6を参照する。
【0026】
さらに、本方法の好ましい実施例として、マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得する前記ステップS2は、具体的には、
S21、マーク付き物体表面を撮像し、表面画像を取得するステップと、
S22、閾値分割によって表面画像を処理し、表面画像内のすべてのマークのターゲット中心を検出するステップと、
具体的には、閾値によって画像を二値化する、
【化4】
式中、f(x,y)は画像のグレースケール値、x,yはピクセル座標、Thは閾値である。続いて、グレースケール値が255のピクセルに対して領域成長を実行し、かつ、ターゲットの面積に応じてターゲットを確認し、現在のピクセル周囲にあるピクセル値が255の点の数が閾値Tsより小さければ、現在の点はターゲットでない。逆にピクセル値が255の点の数が閾値Tsより大きければ、現在の点がターゲットとして確定する、
【化5】
確認されたターゲットの重心を位置決めしてターゲット中心を取得し、重心はピクセル値が255の各点の座標の中心である、
【化6】
式中、nは現在のターゲットにおけるピクセル値が255の点の数、(x,y)は各点の画像座標である。
S23、ターゲット中心を基準として、予め設定されたピクセルサイズの画像を、対応するマークのマーク特徴画像として切り取るステップと、
具体的には、ターゲットの中心を参照点として、200×200ピクセルの大きさの画像を該マークの特徴画像として切り取り、特徴画像によって異なるマークを識別することができる。
S24、主成分分析法を用いてマーク特徴画像とマーク番号との対応関係を確立し、マーク特徴画像を低次元にダウンスケールし、主成分行列の最初の10主成分を、該マークを表す1次元ベクトルとし、固有番号を決定するステップと、
具体的には、主成分分析法により、マーク特徴画像とマーク番号との間の対応関係を確立し、200×200ピクセルサイズのマーク特徴画像を10成分で表される1次元ベクトルにダウンスケールし、該1次元ベクトルをマークの変位番号とする。
S25、番号付きマークを有する表面画像を取得するステップと、を含む。
【0027】
さらに、本方法の好ましい実施例として、前記ステップS24は、具体的には、
S241、200×200行列の各行ベクトル(各変数)から該行ベクトルの平均値を減算することにより、新しい行ベクトルの平均値が0になり、新しいデータセット行列Xを取得するステップと、
S242、Xの共分散行列を求め、かつ、共分散行列の固有値λと単位固有ベクトルeを求めるステップと、
S243、単位固有ベクトルを固有値の降順で行列に並べて変換行列Pを得て、PXにより主成分行列を計算するステップと、
S244、特徴画像を特定の10次元にダウンスケールし、主成分行列の最初の10個の主成分を直接取得する。画像を表示する対象次元に一定の要件がない場合、特徴値を用いて分散寄与率と分散の累積寄与率を計算し、分散の累積寄与率が最も大きい上位10主成分を、該マークを表す1次元ベクトルとし、このベクトルをマークの特徴情報として固有番号を決定することができる。
【0028】
さらに、本方法の好ましい実施例として、番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立する前記ステップは、具体的には、
S31、画像スティッチング方法によって番号付きマークを持つ画像に対して画像スティッチングを行い、完全な表面画像を取得するステップと、
S32、完全な表面画像を参照画像とし、参照画像の画像ピクセル座標と実際の物体表面座標との間の関係を確立するステップと、
S33、参照画像上のマークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面の座標との間の関係に基づいて、各マークと物体表面の座標との間の対応関係を決定するステップと、を含む。
【0029】
具体的には、円形テーブルの表面の局所領域がほぼ平面であると仮定すると、像面点と物体表面の局所領域上の2次元点との関係は、次のように表すことができる、
【化7】
式中、a、b、c、d、e、fは2つの平面間の変形を表す6つのパラメータであり、(u,v)は画像のピクセル座標、(x,y)は円形テーブルの表面の近似平面上の座標である。変形パラメータは、物体表面の制御点(u,v)を画像対応点(x,y)と組み合わせることによって以下の方程式で計算することができる、
【化8】
参照画像vの方向を回転体の回転高さ方向に対応させ、参照画像uの方向を回転体の回転角度に対応させ、円形テーブルの表面点を対応する回転高さと回転角度で表すと(θ,h)となり、画像座標(u,v)と円柱側面座標(θ,h)の対応関係は、以下のとおりである、
【化9】
式中、a,bはスケールパラメータであり、カメラキャリブレーションによって取得することができ、または物体表面の制御点(θ,h)と画像の対応点(u,v)を組み合わせて次の式によって計算して取得することができる、
【化10】
参照画像上の各マークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面座標の関係に基づいて、各マークと物体表面座標との対応関係を決定する。
【0030】
さらに、本方法の好ましい実施例として、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する前記ステップは、具体的には、
S41、変換式に従って、物体表面上の各マークの中心点の正確な位置を決定するステップと、
具体的には、各マークの中心点に対応する円形テーブルの表面の正確な位置、例えば2次元または3次元座標を測定によって取得する。ここで、円形テーブル座標系におけるマーク中心の2次元座標(x,y)および3次元座標(x,y,z)は、2次元または3次元座標測定器によって直接測定することができる。また3次元スキャナーを使用して、マーク点および円形テーブル表面の他の部分の3次元点群をスキャンして、円形テーブル座標系に対するマーク点の3次元座標(x,y,z)を取得する。
画像測定技術を使用して、マーク中心点に対応する円形テーブル表面の位置をイメージングパラメータに従って決定することができ、マーク中心の画像座標を(u,v)とすると、ワールド座標(x,y,z)との変換式は、以下のとおりである、
【化11】
上式に示すとおり、右側の第一行列はカメラ内部パラメータ行列であり、第二行列はカメラ外部パラメータ行列である。カメラの内部パラメータ行列と外部パラメータ行列は、張正友キャリブレーション方法などのカメラキャリブレーション方法によって取得することができる。上式の(x,y,z)を使用して、マーク中心に対応する円形テーブル表面の3次元点座標を表す。sはカメラ座標系における中心点のZ座標、(u,v)は中心画像座標、(f,f)はカメラの等価焦点距離、(c,c)は画像主点、rij(i,j=1,2,3)は回転行列R要素、t(i=1,2,3)は並進ベクトル、(x,y,z)はマーク中心に対応する物体表面の3次元点座標を表す。
S42、物体表面のリアルタイム撮像を行い、測定対象のリアルタイム画像を取得するステップと、
S43、測定対象のリアルタイム画像に対してマーク検出を行い、ベクトル比較に基づいて測定対象のリアルタイム画像内のマークに対応するマーク番号を確認するステップと、を含む。
【0031】
具体的には、円形テーブルの表面をリアルタイムでイメージングし、リアルタイム画像上でマークを検出および位置決めし(検出処理はS3と同じ)、現在のマークに対応するマーク番号を確認し、かつ、参照画像上のリアルタイム画像の中心に対応する座標を計算する。具体的なステップは以下のとおりである、
マークの検出と確認:現在マークの特徴画像をPCAダウンスケール基準に従ってダウンスケールし、10成分の1次元ベクトルを取得し、該ベクトルを参照画像内の全てのマークの1次元ベクトルと個別に比較し、参照画像で最も類似度が高いマーク番号を現在のマーク番号とする。2つのベクトル{a},{b}の類似度Cは、次式で表される、
【化12】
マークの位置決めに従って参照画像上のリアルタイム画像の中心の位置を決定し、リアルタイム画像上で検出されたマークの座標をリアルタイム画像上の(u,v)とし、マークベクトルの類似度により参照画像上のn番目のマークと判定し、参照画像上のn番目のマーク(中心)の座標を(x,y)とすると、該マークに従って参照画像上のリアルタイム画像の中心の座標(u,v)を取得する、
【化13】
式中、widthとheightは、それぞれリアルタイム画像のピクセル幅と高さである。
【0032】
さらに、本方法の好ましい実施例として、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、
S51、前記マーク番号に従って、参照画像上のリアルタイム画像中心に対応する座標を取得するステップと、
S52、参照画像のピクセル座標と物体表面パラメータとの対応関係、および参照画像上のリアルタイム画像の中心の座標に従って、リアルタイム画像の中心に対応する物体表面点を決定するステップと、
S53、リアルタイム画像の中心に対応する物体表面点に基づいて、測定対象の現在のリアルタイム画像に対応する物体表面の位置を取得するステップと、を含む、
具体的には、参照画像上のリアルタイム画像の中心の座標(u,v)を取得した後、参照画像のピクセル座標と物体表面パラメータとの対応関係に従って、リアルタイム画像の中心に対応する物体表面点を決定することができる。
【0033】
物体表面が平面の場合、リアルタイム画像の中心(u,v)に対応する物体表面の2次元座標(x,y)は、次のように表すことができる、
【化14】
物体表面の2次元座標(x,y)に従って、リアルタイム画像の中心に対応する点の変位などのパラメータを直接計算することができる。
【0034】
円形テーブルの場合、参照画像vの方向は円形テーブルの回転軸の高さ方向に対応し、参照画像uの方向は円形テーブルの回転角度に対応し、リアルタイム画像の中心(u,v)に対応する物体表面点(θ,h)は、次のように表される、
【化15】
測定対象となる現在のリアルタイム画像に対応する前記物体表面の位置は、1次元座標、2次元座標、3次元座標、1次元回転角度、および2次元回転角度を含む。
【0035】
リアルタイム画像の中心(u,v)に対応する物体表面点(θ,h)に従って、1次元角度と2次元角度の変化を計算することができる、
画像位置と物体の1次元回転角度との対応関係:円形テーブルの円周をL、円形テーブルの軸方向をx方向、円形テーブルの円周方向をy方向とし、画像中心のピクセル座標を(u,v)、それに対応する物体表面の2次元座標を(x,y)とすると、この点に対応する回転角度は、次のように表される、
【化16】
式中、θは測定対象となる回転体の回転角度、yは回転体の外面の周方向原点、yは回転体の外面のマーク中心座標点、Lは回転体の外面の周方向長さである。
【0036】
画像位置と球面の2次元回転角度(緯度経度)との対応関係:画像中心座標を(u、v)とし、それに対応する球面上のワールド座標を(x,y,z)とし、世界座標系が球体の中心を原点とすると仮定すると、緯度と経度は、次のようになる、
【化17】
式中、画像中心座標(u,v)は、測定対象となる球面上のワールド座標(x,y,z)に対応し、αは測定対象となる球の経度、βは測定対象となる球の緯度である。
【0037】
1次元角度変化:2回のリアルタイムイメージング中の画像中心に対応する物体の1次元角度変化は、以下のように計算される、
【化18】
2次元角度変化:2回のリアルタイムイメージング中の画像中心に対応する球面の2次元角度変化は(原点が球体の中心にあり、球体の半径がrであると仮定)、以下のように計算される、
【化19】
【0038】
本発明は、以下の利点を有する、
1、スケールとマークの理論的な位置に基づいて測定するグレーティング技術とイメージングエンコーダ技術に比べ、本発明の測定基準は、測定対象物体表面におけるマークの実際の位置である。本発明は、加工後のランダムテクスチャ情報とマークを測定することにより、測定対象物体に対する各マークの実際の位置を高精度に求め、続いて、マークの実際の位置(理論位置ではなく)に従って物体表面の位置決めと測定を行い、それによってマークの加工誤差、取り付け誤差などの要因が測定精度に与える影響が回避される。この測定は、高精度と優れた信頼性を備えるだけでなく、加工技術とデバイス材料への要求を大幅に低減させる。
2、情報リング識別の技術に比べ、本発明は、情報リングの作成と設置を必要とせず、高精度な加工とコード化マークの作成を必要とせず、物体表面に直接ランダムな散乱情報とマーク(スプレー、貼り付け)を行うことができ、この方法はよりシンプルで経済的である。
3、円柱の測定にしか使えない情報リングに比べ、円柱側面の1次元変位を測定することによって回転角度を測定する。本発明は、円形テーブル(両側面および上下面)、円錐、円板、およびあらゆる不規則な回転体の表面変位と回転角度の測定に直接適用することができる。
4、情報リング認識とデュアルカメラの測定技術に比べ、それが採用するトラバーサル探索型の画像位置決め方法の効率が低く、リアルタイムの迅速な測定に使用しにくい。本発明は、画像位置決め時に参照画像の全てのピクセルをトラバースする必要がなく、マークを直接検出および識別して画像を位置決めする方法を提供し、その実行効率が高く、リアルタイム性能がよく、シンプルで信頼性が高いという利点を有する。
5、イメージング式エンコーダと情報リングマークに用いられる単一マークのコーディング測定方法に比べ、本発明は、コードのない単純なパターン(ドット、ライン、クロスなど)を使用し、コード化マーキングとも互換性があり、このようにしてマークの加工と作成をより簡単かつ便利にして高精度な処理要求から完全に解放するだけでなく、カメラの撮影範囲が狭くなり、より高い測定精度が得られる。
6、デュアルカメラに比べ、本発明は、1台のカメラで物体表面上のマークポイントに対する識別および位置決めを達成でき、測定プロセス全体をよりシンプルかつ効率的になる。
7、1次元並進と1次元回転角度しか高精度に測定できない従来技術に対して、本発明はこれを前提に、2次元並進、3次元並進、2次元回転角度などのパラメータの測定にも利用できる。
【0039】
図2に示すとおり、物体表面の高精度な位置決めシステムであって、
物体表面に所定の分布密度を有するマークを作成し、マーク付き物体を取得するためのマーク作成モジュールと、
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するための番号付けモジュールと、
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するためのマーク位置関係モジュールと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する測定対象モジュールと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するための物理量計算モジュールと、備える。
【0040】
上記方法の実施例における内容は、すべて本システムの実施例に適用可能であり、本システムの実施例において具体的に達成される機能は、上記方法の実施例と同様であり、かつ、達成される有益な効果も上記方法の実施例において達成されるものと同じである。
【0041】
以上、本発明の好ましい実施例を具体的に説明したが、本発明の創作は前記実施例に限定されるものではなく、当業者にとって、本発明の精神に違反することなく、様々な同等の変形または置換が可能であり、これらの同等の変形または置換は全て本出願の特許請求の範囲に含まれる。

図1
図2
図3
図4
図5
図6
【国際調査報告】