知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-16
(54)【発明の名称】撮影測定方法、装置、機器及び記憶媒体
(51)【国際特許分類】
G06T 7/70 20170101AFI20241008BHJP
【ＦＩ】
G06T7/70 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024519572
(86)(22)【出願日】2022-09-27
(85)【翻訳文提出日】2024-04-16
(86)【国際出願番号】 CN2022121930
(87)【国際公開番号】W WO2023046211
(87)【国際公開日】2023-03-30
(31)【優先権主張番号】202111133068.3
(32)【優先日】2021-09-27
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】524118384
【氏名又は名称】天遠三維（天津）科技有限公司
【氏名又は名称原語表記】ＴＩＡＮＹＵＡＮ ３Ｄ （ＴＩＡＮＪＩＮ） ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ． ２１００， Ｂｕｉｌｄｉｎｇ ７， Ｎｏ． ９， Ｊｕｘｉｎｇ Ｒｏａｄ， Ｈａｉｈｅ Ｉｎｄｕｓｔｒｉａｌ Ｚｏｎｅ， Ｊｉｎｎａｎ Ｄｉｓｔｒｉｃｔ Ｔｉａｎｊｉｎ ３００１３１， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】李 洲強
(72)【発明者】
【氏名】趙 暁波
(72)【発明者】
【氏名】徐 玉凱
(72)【発明者】
【氏名】牛 涛
(72)【発明者】
【氏名】李 仁挙
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096CA04
5L096CA05
5L096FA06
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA05
5L096JA03
(57)【要約】
本開示の実施例は、撮影測定方法、装置、機器及び記憶媒体に関し、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像を取得し、各組の同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得し、複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成し、符号化点を設けず、又は極めて少ない符号化点を設けるだけで、撮影測定を実現することができ、人工の作業負荷を減少させ、測定効率と正確性を向上させる。
【特許請求の範囲】
【請求項1】
撮影測定方法であって、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、前記複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するステップと、
各組の同期画像に対して、前記同期画像における前記マーカ点に対応する画像点の座標を抽出し、前記複眼カメラの校正データ及び前記画像点の座標に基づき、前記画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するステップと、
前記複数組の３次元マーカ点に基づき、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得するステップと、を含む、ことを特徴とする撮影測定方法。
【請求項2】
前記複数組の３次元マーカ点に基づき、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得する前記ステップは、前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理と組間重複除去処理を行い、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得するステップを含む、ことを特徴とする請求項１に記載の撮影測定方法。
【請求項3】
前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理と組間重複除去処理を行い、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得する前記ステップは、前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、前記被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点の前記オリジナルフレームワークにおける番号を取得するステップと、
各組の３次元マーカ点の前記オリジナルフレームワークにおける番号に対する組間重複除去処理を行い、前記グローバルフレームワーク及び各組の３次元マーカ点の前記グローバルフレームワークにおける唯一の番号を取得するステップと、を含む、ことを特徴とする請求項２に記載の撮影測定方法。
【請求項4】
前記同期画像における前記マーカ点に対応する画像点の座標を抽出する前記ステップは、前記同期画像に対する境界抽出処理を行い、前記同期画像における前記画像点を取得するステップと、
前記画像点の前記同期画像における位置に基づき、前記画像点の前記同期画像の座標系における座標を決定するステップと、を含む、ことを特徴とする請求項１に記載の撮影測定方法。
【請求項5】
前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行う前記ステップは、各組の３次元マーカ点の特徴を抽出するステップと、
各組の３次元マーカ点の特徴に基づき、特徴類似度が予め設定された閾値以上である３次元マーカ点を同一の３次元マーカ点として決定し、特徴類似度が前記予め設定された閾値未満の３次元マーカ点を異なる３次元マーカ点として決定するステップと、
同一の番号で前記同一の３次元マーカ点に対する番号付けを行い、異なる番号で前記異なる３次元マーカ点に対する番号付けを行うステップと、を含む、ことを特徴とする請求項３に記載の撮影測定方法。
【請求項6】
各組の３次元マーカ点の前記グローバルフレームワークにおける唯一の番号を取得する前記ステップの後に、前記グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、前記複眼カメラの内部パラメータと外部パラメータに基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第２の３次元座標を取得するステップを更に含む、ことを特徴とする請求項３に記載の撮影測定方法。
【請求項7】
前記グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、前記複眼カメラの内部パラメータと外部パラメータに基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第２の３次元座標を取得する前記ステップは、各組の同期画像に対応する内部標定要素と外部標定要素を共線方程式にそれぞれ入力し、各組の同期画像に対応する解くべき共線方程式を取得するステップと、
バンドル調整アルゴリズムに基づき、前記グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標及び前記各番号の３次元マーカ点の第１の３次元座標を初期値とし、全ての前記解くべき共線方程式に対する反復計算を順に行い、前記各番号の３次元マーカ点に対応する第２の３次元座標を取得するステップと、を含む、ことを特徴とする請求項６に記載の撮影測定方法。
【請求項8】
前記各番号の３次元マーカ点に対応する第２の３次元座標を取得する前記ステップの後に、前記被測定物に対応する少なくとも１つのスケールの測定寸法及び前記測定寸法に対応する物理寸法を取得するステップと、
前記測定寸法と物理寸法との割合を計算するステップと、
前記割合に基づき、前記グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するステップと、を更に含む、ことを特徴とする請求項６に記載の撮影測定方法。
【請求項9】
前記被測定物に対応する少なくとも１つのスケールの測定寸法及び前記測定寸法に対応する物理寸法を取得する前記ステップは、前記スケールにおける任意の２つの符号化マーカ点の符号化情報に基づき、前記符号化情報に対応する符号化マーカ点の第２の３次元座標を取得するステップと、
前記符号化情報に対応する符号化マーカ点の第２の３次元座標に基づき、前記任意の２つの符号化マーカ点の間の距離を計算し、前記スケールに対応する測定寸法を取得するステップと、
前記測定寸法に対応する符号化マーカ点の符号化情報に基づき、前記測定寸法に対応する物理寸法を決定するステップと、を含む、ことを特徴とする請求項８に記載の撮影測定方法。
【請求項10】
前記割合に基づき、前記グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得する前記ステップは、前記スケールの数と前記割合に基づき、前記被測定物に対応するスケールの平均割合を計算するステップと、
前記平均割合に基づき、前記グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するステップと、を含む、ことを特徴とする請求項８に記載の撮影測定方法。
【請求項11】
各組の３次元マーカ点の前記グローバルフレームワークにおける唯一の番号を取得する前記ステップの後に、前記複眼カメラのうちのいずれかの単眼カメラに対して、前記各組の同期画像における前記単眼カメラに対応する画像を抽出するステップと、
前記グローバルフレームワークにおける各番号の３次元マーカ点の前記単眼カメラに対応する画像における画像点の座標を第１の画像点座標として決定するステップと、
前記グローバルフレームワークにおける各番号の３次元マーカ点の前記単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、前記単眼カメラの内部パラメータと外部標定要素に基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第３の３次元座標を取得するステップと、を更に含む、ことを特徴とする請求項３に記載の撮影測定方法。
【請求項12】
前記グローバルフレームワークにおける各番号の３次元マーカ点の前記単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、前記単眼カメラの内部パラメータと外部標定要素に基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第３の３次元座標を取得する前記ステップは、各番号の３次元マーカ点の第１の３次元座標に対する射影変換を行い、前記第１の３次元座標の前記単眼カメラに対応する画像における画像点の第２の画像点座標を取得するステップと、
前記各番号の３次元マーカ点に対応する第１の画像点座標及び第２の画像点座標に基づき、各番号の３次元マーカ点に対応する残差方程式を立てるステップと、
バンドル調整アルゴリズムに基づき、前記グローバルフレームワークにおける各番号の３次元マーカ点の第１の３次元座標及び前記単眼カメラの内部パラメータと外部標定要素を初期値とし、全ての前記残差方程式に対する反復計算を順に行い、前記各番号の３次元マーカ点に対応する第３の３次元座標を取得するステップと、を含む、ことを特徴とする請求項１１に記載の撮影測定方法。
【請求項13】
撮影測定装置であって、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、前記複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するために用いられる取得モジュールと、
各組の同期画像に対して、前記同期画像における前記マーカ点に対応する画像点の座標を抽出し、前記複眼カメラの校正データ及び前記画像点の座標に基づき、前記画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するために用いられる処理モジュールと、
複数組の３次元マーカ点に基づき、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するために用いられる構成モジュールと、を含む、ことを特徴とする撮影測定装置。
【請求項14】
メモリとプロセッサを含む撮影測定機器であって、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されると、請求項１～１２のいずれか１項に記載の撮影測定方法を実現する、ことを特徴とする撮影測定機器。
【請求項15】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～１２のいずれか１項に記載の方法を実現する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、２０２１年９月２７日に中国特許庁に提出された、出願番号が２０２１１１１３３０６８．３で、発明の名称が「撮影測定方法、装置、機器及び記憶媒体」である中国特許出願についての優先権を主張し、その全ての内容は参照により本開示に組み込まれる。
本開示の実施例は、撮影測定技術分野に関し、特に、撮影測定方法、装置、機器及び記憶媒体に関する。
本開示の実施例は、撮影測定技術分野に関し、特に、撮影測定方法、装置、機器及び記憶媒体に関する。
【背景技術】
【0002】
現在、単眼カメラによって実現される撮影測定において、一般的に手動で被測定物の表面に大量の符号化点を設ける必要があり、また、設置の過程には、例えば、設置の密度分布、空間位置関係などの何らかの経験を要する。撮影測定を完了した後に、これらの符号化点を回収する必要があり、設置や回収の過程は非常に時間が掛かり、また、撮影過程に符号化点の位置が移動されてしまうと測定失敗や測定精度低下を引き起こす。そのため、上記問題を解決するために、新な撮影測定方法が強く求められる。
【発明の概要】
【0003】
本開示の実施例は、上記課題の全て又は少なくとも一部を解決するための撮影測定方法、装置、機器及び記憶媒体を提供する。
【0004】
本開示の実施例の第１の態様は、
複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するステップと、
各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するステップと、
複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するステップと、を含む撮影測定方法を提供する。
複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するステップと、
各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するステップと、
複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するステップと、を含む撮影測定方法を提供する。
【0005】
本開示の実施例の第２の態様は、
複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するために用いられる取得モジュールと、
各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するために用いられる処理モジュールと、
複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するために用いられる構成モジュールと、を含む撮影測定装置を提供する。
複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するために用いられる取得モジュールと、
各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するために用いられる処理モジュールと、
複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するために用いられる構成モジュールと、を含む撮影測定装置を提供する。
【0006】
本開示の実施例の第３の態様は、メモリとプロセッサを含む撮影測定機器であって、メモリにはコンピュータプログラムが記憶されえおり、当該コンピュータプログラムがプロセッサによって実行されると、上記第１の態様の方法を実現することができる撮影測定機器を提供する。
【0007】
本開示の実施例の第４の態様は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行されると、上記第１の態様の方法を実現することができるコンピュータ読み取り可能な記憶媒体を提供する。
【0008】
本開示の実施例による技術的解決手段は従来技術に比べて以下の利点を有する。
【0009】
本開示の実施例は、表面に複数のマーカ点が設けられた被測定物を、複眼カメラにより連続して撮影された、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得し、各組の同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得し、複数組の３次元マーカ点により、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成する。本開示の実施例による技術的解決手段は、複眼測定技術により、符号化点がないか、又は、極めて少ない場合、同じマーカ点のマッチングを実現することができ、これにより、符号化点がないか、又は、極めて少ない場合における撮影測定を実現し、測定者による符号化点の設置作業を減少させ、測定効率を向上させ、また、符号化点がない場合においても被測定物に対する撮影測定を実現することができるため、符号化点が移動されることで測定が不正確になることがなく、測定の正確性を向上させる。
【図面の簡単な説明】
【0010】
添付の図面は、明細書に組み入れられ、本明細書の一部を構成し、本開示を満たす実施例を示し、明細書と共に本開示の原理を説明するために用いられる。
以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術に関する記述に用いられる図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な労働を要することなく、更にこれらの図面に基づいて他の図面を取得することもできる。
添付の図面は、明細書に組み入れられ、本明細書の一部を構成し、本開示を満たす実施例を示し、明細書と共に本開示の原理を説明するために用いられる。
以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術に関する記述に用いられる図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な労働を要することなく、更にこれらの図面に基づいて他の図面を取得することもできる。
以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術に関する記述に用いられる図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な労働を要することなく、更にこれらの図面に基づいて他の図面を取得することもできる。
添付の図面は、明細書に組み入れられ、本明細書の一部を構成し、本開示を満たす実施例を示し、明細書と共に本開示の原理を説明するために用いられる。
以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術に関する記述に用いられる図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な労働を要することなく、更にこれらの図面に基づいて他の図面を取得することもできる。
【図1】本開示の実施例による撮影測定方法のフローチャートである。
【図2】本開示の実施例による極線マッチング方法に基づいて３次元座標を再構成する方法を示す図である。
【図3】本開示の実施例による別の撮影測定方法のフローチャートである。
【図4】本開示の実施例によるさらに別の撮影測定方法のフローチャートである。
【図5】本開示の実施例によるまたさらに別の撮影測定方法のフローチャートである。
【図6】本開示の実施例によるまたさらに別の撮影測定方法のフローチャートである。
【図7】本開示の実施例による撮影測定装置の構成を示す図である。
【発明を実施するための形態】
【0011】
以下、本開示の上記目的、特徴及び利点をより明確に理解できるように、本開示の解決手段を更に説明する。なお、矛盾しない限り、本開示の実施例及び実施例における特徴は、相互に組み合わせることができる。
【0012】
本開示を十分に理解できるように、以下の説明において多くの詳細内容を説明するが、本開示は、これらの説明の以外の方式を用いて実施してもよく、当然ながら、明細書における実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではない。
【0013】
図１は、本開示の実施例による撮影測定方法のフローチャートであり、当該方法は撮影測定機器により実行されることができる。当該撮影測定機器は、いずれかの画像処理能力と計算能力を有する機器と理解されてよい。図１に示すように、本実施例による方法はステップ１０１～ステップ１０３を含む。
【0014】
ステップ１０１において、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得する。
【0015】
本開示の実施例に言及される複眼カメラは、２台或いはそれ以上のカメラを含むカメラの組み合わせと理解されてよい。撮影する前、まず関連技術による校正方法に基づいて複眼カメラを校正し、複眼カメラにおける各カメラの内部パラメータと各カメラの間の相対的な外部パラメータを取得することができる。例えば、実現可能な校正方式において、以下の方法により複眼カメラを校正することができる。
【0016】
キャリブレーションプレートにおけるマーカ点の３次元座標と実際番号が知られている場合、異なる位置と異なる角度で複数組の画像を収集し、バンドル調整アルゴリズムを利用して、反復最適化によりマーカ点の画像における画像点の座標と当該マーカ点の３次元座標の画像における射影点との座標誤差を最も小さくして、更に複眼カメラにおける各カメラの内部パラメータと、各カメラの各撮影位置におけるキャリブレーションプレートに対する外部のパラメータ（すなわち、外部パラメータ）を取得し、各カメラの各撮影位置におけるキャリブレーションプレートに対する外部パラメータに基づき、各カメラの間の相対的な外部パラメータを決定し、カメラの校正を完了することができる。
【0017】
本開示の実施例に言及されるマーカ点は、再帰反射材料により製造された標示作用がある図形（例えば、特定のサイズを有するドットであるが、ドットに限定されない）を指し、本開示の実施例では、異なるマーカ点は異なる特徴、例えば、直径や色などを有してもよいが、直径と色に限定されない。
【0018】
本開示の実施例に言及される各組の同期画像は、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像を含み、ｎ台のカメラが同一トリガ信号により同一時刻に撮影したｎ枚の画像と理解されてよく、その中の各カメラは一枚の画像に対応し、ｎは２以上の正の整数である。双眼カメラを例として、双眼カメラは、第１の時刻で、第１のカメラにより第１の時刻で取得された第１の画像１１と第２のカメラにより第１の時刻で取得された第２の画像１２を含む第１組の同期画像を取得し、第２の時刻で、第１のカメラにより第２の時刻で取得された第１の画像２１と第２のカメラにより第２の時刻で取得された第２の画像２２を含む第２組の同期画像を取得する。当然ながら、ここでは双眼カメラを例として例示的に説明するものに過ぎず、本開示の実施例を１つに制限するものではない。
【0019】
本開示の実施例の一実施形態において、予め被測定物の表面に複数のマーカ点を設け、複眼工業用カメラ、例えば、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤと略称する）カメラで撮影することができる。複眼工業用カメラは、マシンビジョンシステムにおけるキーコンポーネントであり、その最も本質的な機能として、光信号を規則的な電気信号に変換する。複眼工業用カメラを移動させて被測定物を連続して撮影することで、被測定物の複数組の同期画像を取得することができる。
【0020】
ステップ１０２において、各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び抽出された画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得する。
【0021】
ここで、本開示の実施例に言及される「第１の３次元座標」は、３次元再構成法に基づいて得られた３次元座標と他の方式に基づいて得られた３次元座標を区別するためのものに過ぎず、他の意味を有しない。
【0022】
マーカ点の第１の３次元座標はマーカ点のワールド座標系における座標と理解されてよい。ここで、ワールド座標系は、カメラと被測定物との３次元空間内における位置関係を説明するために、３次元空間において確立した座標系と理解されてよく、当該座標系はＯｗＸｗＹｗＺｗで示すことができ、Ｏｗは座標系の原点であり、Ｘｗは座標系のｘ軸成分であり、Ｙｗは座標系のｙ軸成分であり、Ｚｗは座標系のｚ軸成分である。ワールド座標系の原点は実際のニーズに基づいて設定することができる。（Ｘｗ、Ｙｗ、Ｚｗ）で３次元空間におけるマーカ点の座標を示すことができる。
【0023】
空間における１つのシーンは、ピンホールモデルにより射影されてＣＣＤにイメージングされた後、収集されて画像として記憶され、画像を容易に説明するために、画像座標系を定義する必要があり、前記画像座標系は１つの２次元座標系であり、当該座標系の原点は画像の左上隅に設けられ、ｘ軸、ｙ軸は同期画像と面一である。マーカ点の画像における画像点座標は、マーカ点に対応する画像点の画像座標系における２次元座標を指す。画像座標系において画像点の座標は、画素を単位とし、各画素は画像のグレースケール値を記憶することができる。
【0024】
撮影測定では、更にカメラの座標系と画像平面の座標系を用いる必要があり、カメラの座標系は主にワールド座標系から画像平面の座標系への変換、すなわち、３次元座標から２次元画像への射影のために用いられ、画像平面の座標系はマーカ点が射影された２次元情報を記録し、２次元情報から同期画像の座標系への変換を完了することができる。
【0025】
カメラの座標系ＯｃＸｃＹｃＺｃは、カメラの光学中心を原点とし、カメラの光軸をＺｃ軸とし、カメラの座標系のＸｃ軸とＹｃ軸で構成される平面は画像平面（すなわち、同期画像）の表面と平行である。
【0026】
画像平面の座標系が存在する平面は画像平面と面一であり、画像平面の座標系はｏｘｙに定義される。画像平面の座標系の原点ｏは光軸と画像平面との交点とされる。カメラの実効的な焦点距離ｆは光学中心から画像平面までの距離と定義され、画像平面の座標系のｘ軸とｙ軸の方向はそれぞれカメラの撮像素子の画素方向と一致する。
【0027】
本実施例では、同期画像におけるマーカ点に対応する画像点の同期画像における座標を抽出することにより、予め得られた複眼カメラの校正データ（各カメラの内部パラメータと各カメラの間の相対的な外部パラメータを含む）及びマーカ点の画像点の同期画像における座標に基づき、極線マッチング（ｐｏｌａｒ ｌｉｎｅ ｍａｔｃｈｉｎｇ）の方法によって、同期画像に含まれるマーカ点のワールド座標系における第１の３次元座標を再構成することができる。例えば、図２は、極線マッチング方法に基づいて３次元座標を再構成する方法を示す図であり、図２においてＣ１とＣ２は複眼カメラにおける２台のカメラと理解されてよく、２台のカメラは事前にデータ校正が行われ、２台のカメラのそれぞれの内部パラメータと２台のカメラの間の相対的な外部パラメータはいずれも既に決定され、Ｏ１はＣ１カメラの光学中心と理解されてよく、Ｏ２はＣ２カメラの光学中心と理解されてよく、Ｐ点は空間における被測定物の表面におけるいずれかのマーカ点と理解されてよく、Ｃ１とＣ２のカメラで同時に被測定物の表面におけるＰ点を撮影する場合、Ｐ点のＣ１カメラによる同期画像における画像点がＰ１に位置することが分かり、Ｐ１の同期画像における２次元座標を抽出し、Ｏ１Ｐの連結線上のいずれの点Ｐ´の同期画像における全ての画像点はいずれもＰ１となり、単にＰ１点のみでＰ点のワールド座標系における３次元座標を取得することができないことが理解できる。さらに、Ｐ点のＣ２カメラによる同期画像における画像点はＰ２に位置することが分かり、Ｐ２の同期画像における２次元座標を抽出し、Ｏ２Ｐの連結線上のいずれの点の同期画像における全ての画像点はいずれもＰ２となり、Ｏ１ＰとＯ２Ｐの位置する２本の直線の交点は、被測定物の表面におけるマーカ点Ｐの所在する空間位置となり、Ｐ点の３次元座標は一意に決定され、このようにして被測定物の表面におけるマーカ点Ｐのワールド座標系における３次元座標（すなわち、本開示の実施例に言及される第１の３次元座標）を再構成すると理解してもよい。当然ながら、ここでの図２は、極線マッチング方法に基づいて３次元座標を再構成する方法に関する例示的な説明に過ぎず、制限するものではない。
【0028】
なお、本開示の実施例の一実施形態において、マーカ点の同期画像における画像点の座標を抽出する時、エッジ抽出の方法を用いてよく、例えば、まず同期画像に対する境界抽出処理を行い、マーカ点の同期画像における画像点を取得した後、マーカ点の画像点の同期画像における位置に基づき、画像点の同期画像の座標系における座標を決定してもよい。当然ながら、上記方法はマーカ点の画像点の座標を抽出するための１つの方法に過ぎず、唯一の方法ではない。
【0029】
本開示の実施例に言及される複数組の３次元マーカ点は、複数組の同期画像内の各組の同期画像に基づいて処理して得られた３次元マーカ点を指す。
【0030】
本開示の実施例では、各組の同期画像におけるいずれの画像点に基づいて計算しても、１つの対応する３次元マーカ点を取得することができ、異なる同期画像における画像点に基づいて算出された３次元マーカ点は同じである可能性がある。
【0031】
ステップ１０３において、複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成する。
【0032】
本開示の実施例では、取得された複数組の３次元マーカ点に基づき、一定の順に応じて複数組の３次元マーカ点をスティッチングし、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成することができる。
【0033】
本開示の実施例は、表面に複数のマーカ点が設けられた被測定物を、複眼カメラにより連続して撮影された、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得し、各組の同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得し、複数組の３次元マーカ点により、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成し、符号化点がないか、又は、極めて少ない場合、同じマーカ点のマッチングを実現することができ、これにより、符号化点がないか、又は、極めて少ない場合における撮影測定を実現し、測定者による符号化点の設置作業を減少させ、測定効率を向上させ、また、符号化点がない場合においても被測定物に対する撮影測定を実現することができるため、符号化点が移動されることで測定が不正確になることがなく、測定の正確性を向上させる。
【0034】
本開示のいくつかの実施例では、複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成し、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理と組間重複除去処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得することができる。
【0035】
いくつかの実施例では、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理と組間重複除去処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得することは、図３による撮影測定方法のフローチャートを実行し、図３に示すように、本実施例による方法はステップ３０１～ステップ３０５を含んでもよい。
【0036】
ステップ３０１において、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得する。
【0037】
ステップ３０２において、各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得する。
【0038】
ステップ３０３において、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点のオリジナルフレームワークにおける番号を取得する。
【0039】
本開示の実施例では、各組の同期画像における３次元マーカ点に基づいて空間三角形をそれぞれ確立した後、組間の三角形に対する合同な三角形マッチングを行い、２つの合同な三角形となる３次元マーカ点を同一の３次元マーカ点として決定し、また、組間の合同な三角形の間の対応関係に基づき、２つの同期画像をスティッチングし、特に、組間マッチングの対応関係を見つけ出すことができなかった場合、その組に対してグローバルフレームワークにおいて対応関係を検索する。このようにして、複数組の３次元マーカ点に対するトラッキングとスティッチングを行い、マーカ点オリジナルフレームワークを取得することが実現できる。
【0040】
ここで、３次元マーカ点をトラッキングする時、異なる３次元マーカ点の特徴が異なることに基づき、まず各組の３次元マーカ点の特徴、例えば、３次元マーカ点の間で形成された三角形などを抽出した後、各組の３次元マーカ点の特徴に基づき、特徴類似度が予め設定された閾値以上である３次元マーカ点を同一の３次元マーカ点として決定し、特徴類似度が予め設定された閾値未満の３次元マーカ点を異なる３次元マーカ点として決定することによって、同一の番号で各組の同一の３次元マーカ点に対する番号付けを行い、異なる番号で各組の異なる３次元マーカ点に対する番号付けを行い、各組の３次元マーカ点のマーカ点オリジナルフレームワークにおける番号を取得することができる。例えば、第１組の同期画像はカメラにより１回目に連続して撮影された画像であり、第２組の同期画像はカメラにより２回目に連続して撮影された画像であり、第１組の同期画像において特徴が異なる３次元マーカ点が５つあり、それぞれ１、２、３、４、５と番号付け、第２組の同期画像において特徴が異なる３次元マーカ点が６つあり、そのうちの５つの３次元マーカ点はそれぞれ第１組の同期画像における５つの３次元マーカ点と同じであれば、第２組の同期画像におけるこの５つの３次元マーカ点は対応する１、２、３、４、５と番号付け、すなわち、同一の番号で同一の３次元マーカ点に対する番号付けを行い、残された他の３次元マーカ点を６と番号付け、すなわち、異なる番号で異なる３次元マーカ点に対する番号付けを行う。
【0041】
ステップ３０４において、各組の３次元マーカ点のオリジナルフレームワークにおける番号に対する組間重複除去処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワーク及び各組の３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得する。
【0042】
本開示の実施例では、各組の同期画像はスティッチングする前に異なる座標系にあり、各組の同期画像に対するスティッチング処理を行う時、各組の同期画像をそれぞれ所在する異なる座標系から同じ座標系に変換してスティッチングする必要があり、異なる座標系の変換を行う時にシステム誤差が生じ、またスティッチング過程に誤差が累積することを引き起こす。そのため、本開示の実施例は、各３次元マーカ点のオリジナルフレームワークにおける番号、各３次元マーカ点の３次元座標、及び、各３次元マーカ点の各同期画像における画像点の位置に基づき、組間重複除去処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワーク及び各組の３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得し、各３次元マーカ点のグローバルフレームワークにおける番号の一意性と一貫性を確保することによって、スティッチングする時の各組の同期画像の座標系の変換を行う時の累積誤差を除去又は減少し、複数組の同期画像をスティッチングする時の正確性を保証し、各組の３次元マーカ点のグローバルフレームワークにおける番号の一意性を保証する。ここで、組間重複除去処理はフレーム間重複除去処理と称されてもよく、本開示の実施例では組間重複除去処理を行う方法は関連技術に類似し、ここでは詳細な説明を省略する。
【0043】
本開示の実施例による技術的解決手段は従来技術に比べて以下の利点を有する。
【0044】
本開示の実施例は、表面に複数のマーカ点が設けられた被測定物を、複眼カメラにより連続して撮影された、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得し、各組の同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得し、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点の前記オリジナルフレームワークにおける番号を取得し、各組の３次元マーカ点のオリジナルフレームワークにおける番号に対する組間重複除去処理を行い、グローバルフレームワーク及び各組の３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得する。本開示の実施例による技術的解決手段は、複眼測定技術をトラッキング・スティッチング技術及び組間重複除去技術に組み合わせることにより、符号化点がないか、又は、極めて少ない場合、同じマーカ点のマッチングを実現することができ、これにより、符号化点がないか、又は、極めて少ない場合における撮影測定を実現し、測定者による符号化点の設置作業を減少させ、測定効率を向上させ、また、符号化点がない場合においても被測定物に対する撮影測定を実現することができるため、符号化点が移動されることで測定が不正確になることがなく、測定の正確性を向上させる。
【0045】
【0046】
ステップ４０１において、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得する。
【0047】
ステップ４０２において、各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び抽出された画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得する。
【0048】
ステップ４０３において、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点のオリジナルフレームワークにおける番号を取得する。
【0049】
ステップ４０４において、各組の３次元マーカ点のオリジナルフレームワークにおける番号に対する組間重複除去処理を行い、グローバルフレームワーク及び各組の３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得する。
【0050】
ステップ４０５において、グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、複眼カメラの内部パラメータと外部パラメータに基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第２の３次元座標を取得する。
【0051】
具体的に、上記のマーカ点の第１の３次元座標の再構成、トラッキング及びスティッチング処理、組間重複除去処理のステップを終了した後、得られたフレームワークにおける全ての３次元マーカ点は既に決定された唯一の番号を有すると共に、各同期画像に含まれるマーカ点とグローバルフレームワークにおける３次元マーカ点に一対一に対応する関係が存在し、また、予め得られた複眼カメラの内部パラメータと外部パラメータ、各番号の３次元マーカ点の各組の同期画像における画像点の座標と、各番号の３次元マーカ点の第１の３次元座標を更に加えて、バンドル調整に必要な条件が全て揃っている。
【0052】
いくつかの実施例では、グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、複眼カメラの内部パラメータと外部パラメータに基づき、各番号の３次元マーカ点の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第２の３次元座標を取得することは、ステップ４０５０１～ステップ４０５０２を含んでもよい。
【0053】
ステップ４０５０１において、各組の同期画像の内部標定要素と外部標定要素を共線方程式にそれぞれ入力し、各組の同期画像に対応する解くべき共線方程式を取得する。
【0054】
実際において、カメラの内部パラメータは、内部標定要素、ひずみ係数、縦横方向ピクセルサイズ、及び縦横方向ピクセルサイズ比率を含み、内部標定要素は画像平面の座標系の原点ｏ（カメラの光軸と画像平面の交点）から同期画像中心までの水平方向における並進距離ｘ０、画像平面の座標系の原点ｏから同期画像中心までの垂直方向における並進距離ｙ０、カメラ光学中心から画像平面までの距離であるカメラの実効的な焦点距離ｆを含み、すなわち、内部標定要素は、カメラの光学中心の、同期画像の中心に対する空間位置を示す。カメラの内部パラメータはカメラの校正によって取得されてもよく、内部標定要素は上記カメラの校正において既に決定されたと考えられてもよい。
【0055】
本開示の実施例では、複眼カメラの内部パラメータと外部パラメータを利用して、撮影する瞬間の撮影光束の空間位置と姿勢のパラメータを決定することができ、撮影する瞬間の撮影光束の空間位置と姿勢のパラメータは外部標定要素と称され、撮影する瞬間の撮影光束の空間位置を示すために用いられる。外部標定要素は６つのパラメータを含み、そのうちの３つは、撮影中心の空間座標値を説明するために用いられる線要素であり、他の３つは、画像の空間姿勢を説明するために用いられる角要素である。
【0056】
具体的に、共線方程式は、物点、画像点、及び射影中心（画像にとって通常はレンズの中心である）という３つの点が１本の直線に位置することを示す数学条件式である。
【0057】
本開示のいくつかの実施例では、各組の同期画像に対応する内部標定要素と外部標定要素を共線方程式に入力し、各組の同期画像に対応する解くべき共線方程式を取得することができ、共線方程式は以下の式により示される。
ここで、ｘ、ｙはマーカ点の画像点の座標である。
ｘ０、ｙ０、ｆは画像の内部標定要素である。
Ｘｓ、Ｙｓ、Ｚｓは画像の外部標定の線要素である。
ＸＡ、ＹＡ、ＺＡはマーカ点の３次元座標である。
ａｉ、ｂｉ、ｃｉ（ｉ＝１、２、３）は画像の３つの外部標定の角要素で構成された９つの方向余弦である。
ｘ０、ｙ０、ｆは画像の内部標定要素である。
Ｘｓ、Ｙｓ、Ｚｓは画像の外部標定の線要素である。
ＸＡ、ＹＡ、ＺＡはマーカ点の３次元座標である。
ａｉ、ｂｉ、ｃｉ（ｉ＝１、２、３）は画像の３つの外部標定の角要素で構成された９つの方向余弦である。
【0058】
ステップ４０５０２において、バンドル調整アルゴリズムに基づき、グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標及び各番号の３次元マーカ点の第１の３次元座標を初期値とし、全ての解くべき共線方程式に対する反復計算を順に行い、各番号の３次元マーカ点に対応する第２の３次元座標を取得する。
【0059】
具体的に、まずグローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標及び各番号の３次元マーカ点の第１の３次元座標を初期値として各組の同期画像に対応する解くべき共線方程式に入力し、反復計算を行うと共に、３次元マーカ点、複眼カメラの内部パラメータ、外部パラメータに対する連携最適化を行い、残差が最も小さくなる時の３次元マーカ点の最適な座標、すなわち、３次元マーカ点の第２の３次元座標を取得する。本開示の実施例に係るバンドル調整アルゴリズムの処理過程は関連技術に類似し、具体的に、関連技術によるバンドル調整アルゴリズムを参照することができ、ここでは詳細な説明を省略する。
【0060】
本実施例では、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行うことで、各組の３次元マーカ点の特徴を抽出して３次元マーカ点に対する番号付けを行い、各組の３次元マーカ点のフレームワークにおける番号に対する組間重複除去処理を行い、各組の３次元マーカ点のフレームワークにおける番号の一意性と一貫性を保証し、フレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、複眼カメラの内部パラメータと外部パラメータに基づき、各番号の３次元マーカ点の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第２の３次元座標、すなわち、最適化された３次元座標を取得することによって、複眼測定された３次元画像をより正確にし、温度などの環境要因による複眼カメラの測定結果に与える悪影響を回避し、また、リアルタイムで再構成の結果を確認し、マーカ点の画像点の座標を直接処理し、マーカ点の３次元座標を決定することができ、計算量が少なく、測定効率を向上させることができる。
【0061】
本開示のいくつかの実施例では、被測定物の表面又は被測定物の周辺にスケールが設けられてもよく、複眼カメラにより連続して撮影された被測定物の複数組の同期画像は被測定物とスケールを含み、すなわち、スケールと被測定物が複眼カメラにより同時に撮影され、各組における３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得した後、撮影測定機器は更に、図５による撮影測定方法のフローチャートを実行してもよく、図５に示すように、当該方法はステップ５０１～ステップ５０３を含む。
【0062】
ステップ５０１において、被測定物に対応する少なくとも１つのスケールの測定寸法及び測定寸法に対応する物理寸法を取得する。
【0063】
本開示の実施例におけるスケールは物理寸法が既知されたスケールと理解されてよく、撮影測定の参考として用いられてよく、物理寸法は実際の寸法と理解されてよく、例えば、物理寸法はスケールの実際の長さなどを含んでもよい。各スケールは被測定物の表面又は被測定物の周辺に設けられた少なくとも２つの符号化マーカ点で構成されてよく、符号化マーカ点は符号化情報が既知された特殊なマーカ点と理解されてよく、スケールの物理寸法は符号化マーカ点の間の距離によって取得されてよい。被測定物に対応するスケールは少なくとも１つある。いくつかの実施例では、スケールはスケールキャリアを含んでもよく、符号化マーカ点はスケールキャリアに設けられてもよい。
【0064】
本開示の実施例では、被測定物に対応する少なくとも１つのスケールの測定寸法及び測定寸法に対応する物理寸法を取得することができる。
【0065】
いくつかの実施例では、被測定物に対応する少なくとも１つのスケールの測定寸法及び測定寸法に対応する物理寸法を取得する前記ステップは、ステップ５０１０１～ステップ５０１０３を含んでもよい。
【0066】
ステップ５０１０１において、スケールにおける任意の２つの符号化マーカ点の符号化情報に基づき、符号化情報に対応する符号化マーカ点の第２の３次元座標を取得する。
【0067】
本開示の実施例では、複数組の同期画像に基づいて被測定物の表面におけるマーカ点の第１の３次元座標及び被測定物に対応するスケールにおける符号化マーカ点の第１の３次元座標を再構成し、複数組の３次元マーカ点を取得し、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理、組間重複除去処理、及び、バンドル調整処理を行い、各３次元マーカ点の第２の３次元座標を取得することができ、第２の３次元座標は被測定物の表面におけるマーカ点の第２の３次元座標及び被測定物に対応するスケールにおける符号化マーカ点の第２の３次元座標を含み、スケールにおける任意の２つの符号化マーカ点の符号化情報に基づき、符号化情報に対応する符号化マーカ点の第２の３次元座標を取得する。
【0068】
ステップ５０１０２において、符号化情報に対応する符号化マーカ点の第２の３次元座標に基づき、任意の２つの符号化マーカ点の間の距離を計算し、スケールに対応する測定寸法を取得する。
【0069】
本開示の実施例では、符号化情報に対応する符号化マーカ点の第２の３次元座標に基づき、任意の２つの符号化マーカ点の間の距離を計算し、当該距離をスケールに対応する測定寸法として決定することができる。
【0070】
ステップ５０１０３において、測定寸法に対応する符号化マーカ点の符号化情報に基づき、測定寸法に対応する物理寸法を決定する。
【0071】
本開示の実施例では、スケールの識別情報と、スケールの識別情報に対応するスケールにおける任意の２つの符号化マーカ点により決定される物理寸法と、を予め記憶することができ、スケールの識別情報はスケールにおける各符号化マーカ点の符号化情報を含む。
【0072】
本開示の実施例では、測定寸法に対応する符号化マーカ点の符号化情報に基づき、符号化情報に対応する識別情報を決定し、当該識別情報に対応するスケールの物理寸法から当該測定寸法に対応する物理寸法を取得することができる。
【0073】
ステップ５０２において、スケールの測定寸法と物理寸法との割合を計算する。
【0074】
本開示の実施例では、スケールの測定寸法と物理寸法を取得した後、各スケールの測定寸法と物理寸法との割合を計算することができる。
【0075】
ステップ５０３において、割合に基づき、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたグローバルフレームワークを取得する。
【0076】
本開示の実施例では、被測定物に対応するスケールの割合を取得した後、１つのスケールの割合を選択することができ、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標と当該割合を乗算することで、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたグローバルフレームワークを取得する。
【0077】
いくつかの実施例では、割合に基づき、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたグローバルフレームワークを取得する前記ステップは、ステップ５０３０１～ステップ５０３０２を含んでもよい。
【0078】
ステップ５０３０１において、スケールの数と割合に基づき、被測定物に対応するスケールの平均割合を計算する。
【0079】
本開示の実施例では、スケールの数と各スケールの測定寸法と物理寸法との割合に基づき、割合と数の商を計算し、被測定物に対応するスケールの平均割合を取得することができる。
【0080】
ステップ５０３０２において、平均割合に基づき、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得する。
【0081】
本開示の実施例では、被測定物に対応するスケールの平均割合を取得した後、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標と当該平均割合を乗算することで、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたグローバルフレームワークを取得することができる。
【0082】
例えば、被測定物の表面には３本のスケールａ、ｂ、ｃが設けられ、スケールａの物理長さは１００．１ｍｍであり、スケールｂの物理長さは１００．２ｍｍであり、スケールｃの物理長さは１００．３ｍｍであり、各スケールに対し、スケールにおける符号化マーカ点に対応する第２の３次元座標に基づき算出し、その結果、スケールａの測定寸法は９９．９ｍｍであり、スケールｂの測定寸法は１００．０ｍｍであり、スケールｃの測定寸法は１００．１ｍｍであり、３本のスケールの平均割合を（１００．１／９９．９＋１００．２／１００．０＋１００．３／１００．１）／３で計算した後、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標と当該平均割合を乗算することで、グローバルフレームワークにおける３次元マーカ点の第２の３次元座標を調整し、調整されたグローバルフレームワークを取得する。
【0083】
これにより、被測定物に対応するスケールに基づき、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、グローバルフレームワークを最適化し、撮影測定の正確度を向上させることができる。
【0084】
【0085】
ステップ６０１において、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得する。
【0086】
ステップ６０２において、各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得する。
【0087】
ステップ６０３において、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点のオリジナルフレームワークにおける番号を取得する。
【0088】
ステップ６０４において、各組の３次元マーカ点のオリジナルフレームワークにおける番号に対する組間重複除去処理を行い、グローバルフレームワーク及び各組の３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得する。
【0089】
ステップ６０５において、複眼カメラのうちのいずれかの単眼カメラに対して、各組の同期画像における単眼カメラに対応する画像を抽出する。
【0090】
本開示の実施例では、複眼カメラは少なくとも２つの単眼カメラを含む。被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワーク及び各組における３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得した後、複眼カメラのうちのいずれかの単眼カメラに対して、各組の同期画像における単眼カメラに対応する画像を抽出することができる。
【0091】
ステップ６０６において、グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における画像点の座標を第１の画像点座標として決定する。
【0092】
本開示の実施例では、まずグローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における画像点の座標を決定した後、グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における画像点の座標を第１の画像点座標として決定することができる。
【0093】
ステップ６０７において、グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、単眼カメラの内部パラメータと外部標定要素に基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得する。
【0094】
本開示の実施例では、単眼カメラの内部パラメータは校正によって取得されてもよく、単眼カメラの内部パラメータを利用して、撮影する瞬間の撮影光束の空間位置と姿勢のパラメータを決定することができ、撮影する瞬間の撮影光束の空間位置と姿勢のパラメータは外部標定要素と称され、撮影する瞬間の撮影光束の空間位置を示すために用いられる。外部標定要素は６つのパラメータを含み、そのうちの３つは、撮影中心の空間座標値を説明するために用いられる線要素であり、他の３つは、画像の空間姿勢を説明するために用いられる角要素である。
【0095】
本開示の実施例では、グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、単眼カメラの内部パラメータと外部標定要素に基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得することができる。
【0096】
ここで、本開示の実施例に言及される「第３の３次元座標」は、３次元再構成法に基づいて得られた３次元座標と他の方式に基づいて得られた３次元座標を区別するためのものに過ぎず、他の意味を有しない。
【0097】
いくつかの実施例では、グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、単眼カメラの内部パラメータと外部標定要素に基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得する前記ステップは、ステップ６０７０１～ステップ６０７０３を含んでもよい。
【0098】
ステップ６０７０１において、各番号の３次元マーカ点の第１の３次元座標に対する射影変換を行い、第１の３次元座標の単眼カメラに対応する画像における画像点の第２の画像点座標を取得する。
【0099】
本開示の実施例では、各番号の３次元マーカ点の第１の３次元座標に対する射影変換を行い、第１の３次元座標の単眼カメラに対応する画像における画像点の座標である第２の画像点座標を取得することができる。
【0100】
ステップ６０７０２において、各番号の３次元マーカ点に対応する第１の画像点座標及び第２の画像点座標に基づき、各番号の３次元マーカ点に対応する残差方程式を立てる。
【0101】
本開示の実施例では、各番号の３次元マーカ点の第１の３次元座標に対応する第１の画像点座標と第２の画像点座標を取得した後、各番号の３次元マーカ点に対応する第１の画像点座標及び第２の画像点座標に基づき、各番号の３次元マーカ点に対応する残差方程式を立てることができる。
【0102】
ステップ６０７０３において、バンドル調整アルゴリズムに基づき、グローバルフレームワークにおける各番号の３次元マーカ点の第１の３次元座標及び単眼カメラの内部パラメータと外部標定要素を初期値とし、全ての残差方程式に対する反復計算を順に行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得する。
【0103】
本開示の実施例では、グローバルフレームワークにおける各番号の３次元マーカ点の第１の３次元座標及び単眼カメラの内部パラメータと外部標定要素を初期値とし、各番号の３次元マーカ点に対応する全ての残差方程式に対する反復計算を順に行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得することができる。本開示の実施例に係るバンドル調整アルゴリズムの処理過程は関連技術に類似し、具体的に、関連技術によるバンドル調整アルゴリズムを参照することができ、ここでは詳細な説明を省略する。
【0104】
これにより、グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、単眼カメラの内部パラメータと外部標定要素に基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得することができるため、複眼カメラの間に発生しうる構造的な不安定要因による複眼カメラの測定結果に与える悪影響を回避し、最適化された３次元座標を取得することによって、複眼測定された３次元画像をより正確にすることができる。
【0105】
図７は、本開示の実施例による撮影測定装置の構成図であり、当該撮影測定機器は上記撮影測定機器又は撮影測定機器の一部の機能モジュールと理解されてよい。図７に示すように、撮影測定装置７００は、
複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するために用いられる取得モジュール７０１と、
各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するために用いられる処理モジュール７０２と、
複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するために用いられる構成モジュール７０３と、を含む。
複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するために用いられる取得モジュール７０１と、
各組の同期画像に対して、同期画像におけるマーカ点に対応する画像点の座標を抽出し、複眼カメラの校正データ及び画像点の座標に基づき、画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するために用いられる処理モジュール７０２と、
複数組の３次元マーカ点に基づき、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するために用いられる構成モジュール７０３と、を含む。
【0106】
任意選択的に、上記構成モジュール７０３は、
【0107】
複数組の３次元マーカ点に対するトラッキング及びスティッチング処理と組間重複除去処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得するために用いられる処理サブモジュール、を含む。
【0108】
任意選択的に、上記処理サブモジュールは、
複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点のオリジナルフレームワークにおける番号を取得するために用いられるトラッキング及びスティッチングユニットと、
各組の３次元マーカ点のオリジナルフレームワークにおける番号に対する組間重複除去処理を行い、グローバルフレームワーク及び各組の３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得するために用いられる組間重複除去ユニットと、を含む。
複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点のオリジナルフレームワークにおける番号を取得するために用いられるトラッキング及びスティッチングユニットと、
各組の３次元マーカ点のオリジナルフレームワークにおける番号に対する組間重複除去処理を行い、グローバルフレームワーク及び各組の３次元マーカ点のグローバルフレームワークにおける唯一の番号を取得するために用いられる組間重複除去ユニットと、を含む。
【0109】
任意選択的に、処理モジュール７０２は、
同期画像に対する境界抽出処理を行い、同期画像における画像点を取得するために用いられる抽出サブモジュールと、
画像点の同期画像における位置に基づき、画像点の同期画像の座標系における座標を決定するために用いられる決定サブモジュールと、を含む。
同期画像に対する境界抽出処理を行い、同期画像における画像点を取得するために用いられる抽出サブモジュールと、
画像点の同期画像における位置に基づき、画像点の同期画像の座標系における座標を決定するために用いられる決定サブモジュールと、を含む。
【0110】
任意選択的に、上記トラッキング及びスティッチングユニットは、
各組の３次元マーカ点の特徴を抽出するために用いられる抽出サブユニットと、
各組の３次元マーカ点の特徴に基づき、特徴類似度が予め設定された閾値以上である３次元マーカ点を同一の３次元マーカ点として決定し、特徴類似度が予め設定された閾値未満の３次元マーカ点を異なる３次元マーカ点として決定するために用いられる第１の決定サブユニットと、
同一の番号で同一の３次元マーカ点に対する番号付けを行い、異なる番号で異なる３次元マーカ点に対する番号付けを行うために用いられる番号付けサブユニットと、を含む。
各組の３次元マーカ点の特徴を抽出するために用いられる抽出サブユニットと、
各組の３次元マーカ点の特徴に基づき、特徴類似度が予め設定された閾値以上である３次元マーカ点を同一の３次元マーカ点として決定し、特徴類似度が予め設定された閾値未満の３次元マーカ点を異なる３次元マーカ点として決定するために用いられる第１の決定サブユニットと、
同一の番号で同一の３次元マーカ点に対する番号付けを行い、異なる番号で異なる３次元マーカ点に対する番号付けを行うために用いられる番号付けサブユニットと、を含む。
【0111】
任意選択的に、上記処理サブモジュールは、
グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、複眼カメラの内部パラメータと外部パラメータに基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第２の３次元座標を取得するために用いられる第１のバンドル調整ユニット、を更に含む。
グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、複眼カメラの内部パラメータと外部パラメータに基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第２の３次元座標を取得するために用いられる第１のバンドル調整ユニット、を更に含む。
【0112】
任意選択的に、上記第１のバンドル調整ユニットは、
各組の同期画像に対応する内部標定要素と外部標定要素を共線方程式にそれぞれ入力し、各組の同期画像に対応する解くべき共線方程式を取得するために用いられる第１の計算サブユニットと、
バンドル調整アルゴリズムに基づき、グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標及び各番号の３次元マーカ点の第１の３次元座標を初期値とし、全ての解くべき共線方程式に対する反復計算を順に行い、各番号の３次元マーカ点の第２の３次元座標を取得するために用いられる第２の計算サブユニットと、を含む。
各組の同期画像に対応する内部標定要素と外部標定要素を共線方程式にそれぞれ入力し、各組の同期画像に対応する解くべき共線方程式を取得するために用いられる第１の計算サブユニットと、
バンドル調整アルゴリズムに基づき、グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標及び各番号の３次元マーカ点の第１の３次元座標を初期値とし、全ての解くべき共線方程式に対する反復計算を順に行い、各番号の３次元マーカ点の第２の３次元座標を取得するために用いられる第２の計算サブユニットと、を含む。
【0113】
任意選択的に、上記処理サブモジュールは、
被測定物に対応する少なくとも１つのスケールの測定寸法及び測定寸法に対応する物理寸法を取得するために用いられる取得ユニットと、
測定寸法と物理寸法との割合を計算するために用いられる第１の計算ユニットと、
割合に基づき、フレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するために用いられる調整ユニットと、を更に含む。
被測定物に対応する少なくとも１つのスケールの測定寸法及び測定寸法に対応する物理寸法を取得するために用いられる取得ユニットと、
測定寸法と物理寸法との割合を計算するために用いられる第１の計算ユニットと、
割合に基づき、フレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するために用いられる調整ユニットと、を更に含む。
【0114】
任意選択的に、上記取得ユニットは、
スケールにおける任意の２つの符号化マーカ点の符号化情報に基づき、符号化情報に対応する符号化マーカ点の第２の３次元座標を取得するために用いられる取得サブユニットと、
符号化情報に対応する符号化マーカ点の第２の３次元座標に基づき、任意の２つの符号化マーカ点の間の距離を計算し、スケールに対応する測定寸法を取得するために用いられる第３の計算サブユニットと、
測定寸法に対応する符号化マーカ点の符号化情報に基づき、測定寸法に対応する物理寸法を決定するために用いられる第２の決定サブユニットと、を含む。
スケールにおける任意の２つの符号化マーカ点の符号化情報に基づき、符号化情報に対応する符号化マーカ点の第２の３次元座標を取得するために用いられる取得サブユニットと、
符号化情報に対応する符号化マーカ点の第２の３次元座標に基づき、任意の２つの符号化マーカ点の間の距離を計算し、スケールに対応する測定寸法を取得するために用いられる第３の計算サブユニットと、
測定寸法に対応する符号化マーカ点の符号化情報に基づき、測定寸法に対応する物理寸法を決定するために用いられる第２の決定サブユニットと、を含む。
【0115】
任意選択的に、上記調整ユニットは、
スケールの数と割合に基づき、被測定物に対応するスケールの平均割合を計算するために用いられる第４の計算サブユニットと、
平均割合に基づき、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するために用いられる調整サブユニットと、を含む。
スケールの数と割合に基づき、被測定物に対応するスケールの平均割合を計算するために用いられる第４の計算サブユニットと、
平均割合に基づき、グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するために用いられる調整サブユニットと、を含む。
【0116】
任意選択的に、上記処理サブモジュールは、
複眼カメラのうちのいずれかの単眼カメラに対して、各組の同期画像における単眼カメラに対応する画像を抽出するために用いられる抽出ユニットと、
グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における画像点の座標を第１の画像点座標として決定するために用いられる決定ユニットと、
グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、単眼カメラの内部パラメータと外部標定要素に基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得するために用いられる第２のバンドル調整ユニット、を更に含む。
複眼カメラのうちのいずれかの単眼カメラに対して、各組の同期画像における単眼カメラに対応する画像を抽出するために用いられる抽出ユニットと、
グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における画像点の座標を第１の画像点座標として決定するために用いられる決定ユニットと、
グローバルフレームワークにおける各番号の３次元マーカ点の単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、単眼カメラの内部パラメータと外部標定要素に基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得するために用いられる第２のバンドル調整ユニット、を更に含む。
【0117】
任意選択的に、上記第２のバンドル調整ユニットは、
各番号の３次元マーカ点の第１の３次元座標に対する射影変換を行い、第１の３次元座標の単眼カメラに対応する画像における画像点の第２の画像点座標を取得するために用いられる射影変換サブユニットと、
各番号の３次元マーカ点に対応する第１の画像点座標及び第２の画像点座標に基づき、各番号の３次元マーカ点に対応する残差方程式を立てるために用いられる確立サブユニットと、
バンドル調整アルゴリズムに基づき、グローバルフレームワークにおける各番号の３次元マーカ点の第１の３次元座標及び単眼カメラの内部パラメータと外部標定要素を初期値とし、全ての残差方程式に対する反復計算を順に行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得するために用いられる第４の計算サブユニットと、を含む。
各番号の３次元マーカ点の第１の３次元座標に対する射影変換を行い、第１の３次元座標の単眼カメラに対応する画像における画像点の第２の画像点座標を取得するために用いられる射影変換サブユニットと、
各番号の３次元マーカ点に対応する第１の画像点座標及び第２の画像点座標に基づき、各番号の３次元マーカ点に対応する残差方程式を立てるために用いられる確立サブユニットと、
バンドル調整アルゴリズムに基づき、グローバルフレームワークにおける各番号の３次元マーカ点の第１の３次元座標及び単眼カメラの内部パラメータと外部標定要素を初期値とし、全ての残差方程式に対する反復計算を順に行い、各番号の３次元マーカ点に対応する第３の３次元座標を取得するために用いられる第４の計算サブユニットと、を含む。
【0118】
本開示の実施例による撮影測定装置は上記いずれか１つの実施例の方法を実現することができ、その方法の実行形態と好適な効果は同様であり、ここでは詳細な説明を省略する。
【0119】
本開示の実施例は、撮影測定機器を提供し、
メモリとプロセッサを含み、メモリにはコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されると、上記のような撮影測定方法を実現することができる。その方法の実行形態と好適な効果は同様であり、ここでは詳細な説明を省略する。
メモリとプロセッサを含み、メモリにはコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されると、上記のような撮影測定方法を実現することができる。その方法の実行形態と好適な効果は同様であり、ここでは詳細な説明を省略する。
【0120】
本開示の実施例は、コンピュータ読み取り可能な記憶媒体を提供し、
記憶媒体にはコンピュータプログラムが記憶されており、コンピュータプログラムはプロセッサによって実行されると、上記のような撮影測定方法を実現することができる。その方法の実行形態と好適な効果は同様であり、ここでは詳細な説明を省略する。
記憶媒体にはコンピュータプログラムが記憶されており、コンピュータプログラムはプロセッサによって実行されると、上記のような撮影測定方法を実現することができる。その方法の実行形態と好適な効果は同様であり、ここでは詳細な説明を省略する。
【0121】
上記コンピュータ読み取り可能な記憶媒体は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを用いてもよい。読み取り可能な媒体は読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの任意の組み合わせを含んでもよいが、これらに限定されない。読み取り可能な記憶媒体のより具体的な実例（非網羅的なリスト）は、１つ又は複数の導線を有する電気接続、携帯ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又はこれらの任意の組み合わせを含む。
【0122】
上記コンピュータプログラムは、１つ又は複数のプログラミング言語の任意の組み合わせにより、本開示の実施例の操作を実行するためのプログラムコードを作成してもよく、プログラミング言語はオブジェクト指向のプログラミング言語、例えば、Ｊａｖａ、Ｃ＋＋などを含み、一般的な過程式プログラミング言語、例えば、「Ｃ」言語又はそれに類似するプログラミング言語を更に含む。プログラムコードは、全部がユーザのコンピュータで実行されてもよく、一部がユーザのコンピュータで実行されてもよく、１つの独立のソフトウェアパッケージとして実行されてもよく、一部がユーザのコンピュータで一部が遠隔コンピュータで実行されてもよく、全部が遠隔コンピュータ又はサーバで実行されてもよい。
【0123】
なお、本明細書では、例えば、「第１」と「第２」などのような関係用語は、１つの実体又は操作と他の実体又は操作を区別するためのものに過ぎず、必ずしもこれらの実体又は操作の間にいかなるこのような実際の関係又は順序が存在することを要求又は示唆するわけではない。そして、「含む」、「有する」という用語又はそのいかなる他の変形は、非排他的な含むことをカバーすることを意図し、一連の要素を含む過程、方法、物品又は機器はそれらの要素を含むだけではなく、明確に列挙していない他の要素も更に含み、又はこのような過程、方法、物品又は機器に固有の要素も含む。更なる限定がないかぎり、「１つの……を含む」という文により限定された要素は、前記要素を含む過程、方法、物品又は機器に更に他の同じ要素が存在することを排除しない。
【0124】
上記内容は本開示の実施形態に過ぎず、当業者に、本開示を理解又は実現させることができる。これらの実施例に対する複数の修正は、当業者にとって自明なものであり、本明細書で定義された一般的な原理は、本開示の趣旨又は範囲から逸脱しない限り、別の実施例で実現することができる。そのため、本開示は、本明細書に記載のこれらの実施例に限定されるものではなく、本明細書に開示された原理と新規性特徴と一致する最も広い範囲に適すべきである。
【産業上の利用可能性】
【0125】
本開示による撮影測定方法は、複眼測定技術により、符号化点がないか、又は、極めて少ない場合、同じマーカ点のマッチングを実現することができ、これにより、符号化点がないか、又は、極めて少ない場合における撮影測定を実現し、測定者による符号化点の設置作業を減少させ、測定効率を向上させ、また、符号化点がない場合においても被測定物に対する撮影測定を実現することができるため、符号化点が移動されることで測定が不正確になることがなく、測定の正確性を向上させ、非常に広い産業上の利用可能性を有する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2024-04-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮影測定方法であって、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、前記複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するステップと、
各組の同期画像に対して、前記同期画像における前記マーカ点に対応する画像点の座標を抽出し、前記複眼カメラの校正データ及び前記画像点の座標に基づき、前記画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するステップと、
前記複数組の３次元マーカ点に基づき、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得するステップと、を含む、ことを特徴とする撮影測定方法。
【請求項2】
前記複数組の３次元マーカ点に基づき、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得する前記ステップは、前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理と組間重複除去処理を行い、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得するステップを含む、ことを特徴とする請求項１に記載の撮影測定方法。
【請求項3】
前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理と組間重複除去処理を行い、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを取得する前記ステップは、前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行い、前記被測定物の表面におけるマーカ点に対応するマーカ点オリジナルフレームワーク及び各組の３次元マーカ点の前記オリジナルフレームワークにおける番号を取得するステップと、
各組の３次元マーカ点の前記オリジナルフレームワークにおける番号に対する組間重複除去処理を行い、前記グローバルフレームワーク及び各組の３次元マーカ点の前記グローバルフレームワークにおける唯一の番号を取得するステップと、を含む、ことを特徴とする請求項２に記載の撮影測定方法。
【請求項4】
前記同期画像における前記マーカ点に対応する画像点の座標を抽出する前記ステップは、前記同期画像に対するエッジ抽出処理を行い、前記同期画像における前記画像点を取得するステップと、
前記画像点の前記同期画像における位置に基づき、前記画像点の前記同期画像の座標系における座標を決定するステップと、を含む、ことを特徴とする請求項１に記載の撮影測定方法。
【請求項5】
前記複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行う前記ステップは、各組の３次元マーカ点の特徴を抽出するステップと、
各組の３次元マーカ点の特徴に基づき、特徴類似度が予め設定された閾値以上である３次元マーカ点を同一の３次元マーカ点として決定し、特徴類似度が前記予め設定された閾値未満の３次元マーカ点を異なる３次元マーカ点として決定するステップと、
同一の番号で前記同一の３次元マーカ点に対する番号付けを行い、異なる番号で前記異なる３次元マーカ点に対する番号付けを行うステップと、を含む、ことを特徴とする請求項３に記載の撮影測定方法。
【請求項6】
各組の３次元マーカ点の前記グローバルフレームワークにおける唯一の番号を取得する前記ステップの後に、前記グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、前記複眼カメラの内部パラメータと外部パラメータに基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第２の３次元座標を取得するステップを更に含む、ことを特徴とする請求項３に記載の撮影測定方法。
【請求項7】
前記グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、前記複眼カメラの内部パラメータと外部パラメータに基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第２の３次元座標を取得する前記ステップは、各組の同期画像に対応する内部標定要素と外部標定要素を共線方程式にそれぞれ入力し、各組の同期画像に対応する解くべき共線方程式を取得するステップと、
バンドル調整アルゴリズムに基づき、前記グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標及び前記各番号の３次元マーカ点の第１の３次元座標を初期値とし、全ての前記解くべき共線方程式に対する反復計算を順に行い、前記各番号の３次元マーカ点に対応する第２の３次元座標を取得するステップと、を含む、ことを特徴とする請求項６に記載の撮影測定方法。
【請求項8】
前記各番号の３次元マーカ点に対応する第２の３次元座標を取得する前記ステップの後に、前記被測定物に対応する少なくとも１つのスケールの測定寸法及び前記測定寸法に対応する物理寸法を取得するステップと、
前記測定寸法と物理寸法との割合を計算するステップと、
前記割合に基づき、前記グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するステップと、を更に含む、ことを特徴とする請求項６に記載の撮影測定方法。
【請求項9】
前記被測定物に対応する少なくとも１つのスケールの測定寸法及び前記測定寸法に対応する物理寸法を取得する前記ステップは、前記スケールにおける任意の２つの符号化マーカ点の符号化情報に基づき、前記符号化情報に対応する符号化マーカ点の第２の３次元座標を取得するステップと、
前記符号化情報に対応する符号化マーカ点の第２の３次元座標に基づき、前記任意の２つの符号化マーカ点の間の距離を計算し、前記スケールに対応する測定寸法を取得するステップと、
前記測定寸法に対応する符号化マーカ点の符号化情報に基づき、前記測定寸法に対応する物理寸法を決定するステップと、を含む、ことを特徴とする請求項８に記載の撮影測定方法。
【請求項10】
前記割合に基づき、前記グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得する前記ステップは、前記スケールの数と前記割合に基づき、前記被測定物に対応するスケールの平均割合を計算するステップと、
前記平均割合に基づき、前記グローバルフレームワークにおける各３次元マーカ点の第２の３次元座標を調整し、調整されたフレームワークを取得するステップと、を含む、ことを特徴とする請求項８に記載の撮影測定方法。
【請求項11】
各組の３次元マーカ点の前記グローバルフレームワークにおける唯一の番号を取得する前記ステップの後に、前記複眼カメラのうちのいずれかの単眼カメラに対して、前記各組の同期画像における前記単眼カメラに対応する画像を抽出するステップと、
前記グローバルフレームワークにおける各番号の３次元マーカ点の前記単眼カメラに対応する画像における画像点の座標を第１の画像点座標として決定するステップと、
前記グローバルフレームワークにおける各番号の３次元マーカ点の前記単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、前記単眼カメラの内部パラメータと外部標定要素に基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第３の３次元座標を取得するステップと、を更に含む、ことを特徴とする請求項３に記載の撮影測定方法。
【請求項12】
前記グローバルフレームワークにおける各番号の３次元マーカ点の前記単眼カメラに対応する画像における第１の画像点座標、各番号の３次元マーカ点の第１の３次元座標、及び、前記単眼カメラの内部パラメータと外部標定要素に基づき、前記各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、前記各番号の３次元マーカ点に対応する第３の３次元座標を取得する前記ステップは、各番号の３次元マーカ点の第１の３次元座標に対する射影変換を行い、前記第１の３次元座標の前記単眼カメラに対応する画像における画像点の第２の画像点座標を取得するステップと、
前記各番号の３次元マーカ点に対応する第１の画像点座標及び第２の画像点座標に基づき、各番号の３次元マーカ点に対応する残差方程式を立てるステップと、
バンドル調整アルゴリズムに基づき、前記グローバルフレームワークにおける各番号の３次元マーカ点の第１の３次元座標及び前記単眼カメラの内部パラメータと外部標定要素を初期値とし、全ての前記残差方程式に対する反復計算を順に行い、前記各番号の３次元マーカ点に対応する第３の３次元座標を取得するステップと、を含む、ことを特徴とする請求項１１に記載の撮影測定方法。
【請求項13】
撮影測定装置であって、複眼カメラにより連続して撮影された、表面に複数のマーカ点が設けられた被測定物の複数組の同期画像であって、前記複眼カメラにおける複数のカメラが同一時刻に撮影した複数枚の画像をそれぞれ含む複数組の同期画像を取得するために用いられる取得モジュールと、
各組の同期画像に対して、前記同期画像における前記マーカ点に対応する画像点の座標を抽出し、前記複眼カメラの校正データ及び前記画像点の座標に基づき、前記画像点に対応するマーカ点の第１の３次元座標を再構成することで、複数組の３次元マーカ点を取得するために用いられる処理モジュールと、
複数組の３次元マーカ点に基づき、前記被測定物の表面におけるマーカ点に対応するマーカ点グローバルフレームワークを構成するために用いられる構成モジュールと、を含む、ことを特徴とする撮影測定装置。
【請求項14】
メモリとプロセッサを含む撮影測定機器であって、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されると、請求項１～１２のいずれか１項に記載の撮影測定方法を実現する、ことを特徴とする撮影測定機器。
【請求項15】
プロセッサによって実行されると、請求項１～１２のいずれか１項に記載の方法を実現する、ことを特徴とするコンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
添付の図面は、明細書に組み入れられ、本明細書の一部を構成し、本開示を満たす実施例を示し、明細書と共に本開示の原理を説明するために用いられる。
以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術に関する記述に用いられる図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な労働を要することなく、更にこれらの図面に基づいて他の図面を取得することもできる。
以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術に関する記述に用いられる図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な労働を要することなく、更にこれらの図面に基づいて他の図面を取得することもできる。
【図1】本開示の実施例による撮影測定方法のフローチャートである。
【図2】本開示の実施例による極線マッチング方法に基づいて３次元座標を再構成する方法を示す図である。
【図3】本開示の実施例による別の撮影測定方法のフローチャートである。
【図4】本開示の実施例によるさらに別の撮影測定方法のフローチャートである。
【図5】本開示の実施例によるまたさらに別の撮影測定方法のフローチャートである。
【図6】本開示の実施例によるまたさらに別の撮影測定方法のフローチャートである。
【図7】本開示の実施例による撮影測定装置の構成を示す図である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【0028】
なお、本開示の実施例の一実施形態において、マーカ点の同期画像における画像点の座標を抽出する時、エッジ抽出の方法を用いてよく、例えば、まず同期画像に対するエッジ抽出処理を行い、マーカ点の同期画像における画像点を取得した後、マーカ点の画像点の同期画像における位置に基づき、画像点の同期画像の座標系における座標を決定してもよい。当然ながら、上記方法はマーカ点の画像点の座標を抽出するための１つの方法に過ぎず、唯一の方法ではない。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【0052】
いくつかの実施例では、グローバルフレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、複眼カメラの内部パラメータと外部パラメータに基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第２の３次元座標を取得することは、ステップ４０５０１～ステップ４０５０２を含んでもよい。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【0060】
本実施例では、複数組の３次元マーカ点に対するトラッキング及びスティッチング処理を行うことで、各組の３次元マーカ点の特徴を抽出して３次元マーカ点に対する番号付けを行い、各組の３次元マーカ点のフレームワークにおける番号に対する組間重複除去処理を行い、各組の３次元マーカ点のフレームワークにおける番号の一意性と一貫性を保証し、フレームワークにおける各番号の３次元マーカ点の各組の同期画像における画像点の座標、第１の３次元座標、及び、複眼カメラの内部パラメータと外部パラメータに基づき、各番号の３次元マーカ点の第１の３次元座標に対するバンドル調整処理を行い、各番号の３次元マーカ点に対応する第２の３次元座標、すなわち、最適化された３次元座標を取得することによって、複眼測定された３次元画像をより正確にし、温度などの環境要因による複眼カメラの測定結果に与える悪影響を回避し、また、リアルタイムで再構成の結果を確認し、マーカ点の画像点の座標を直接処理し、マーカ点の３次元座標を決定することができ、計算量が少なく、測定効率を向上させることができる。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【0109】
任意選択的に、処理モジュール７０２は、
同期画像に対するエッジ抽出処理を行い、同期画像における画像点を取得するために用いられる抽出サブモジュールと、
画像点の同期画像における位置に基づき、画像点の同期画像の座標系における座標を決定するために用いられる決定サブモジュールと、を含む。
同期画像に対するエッジ抽出処理を行い、同期画像における画像点を取得するために用いられる抽出サブモジュールと、
画像点の同期画像における位置に基づき、画像点の同期画像の座標系における座標を決定するために用いられる決定サブモジュールと、を含む。
【国際調査報告】