特許 7308597 対象物の３－Ｄ計測を実施するための解像度適応型メッシュ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-06

(45)【発行日】2023-07-14

(54)【発明の名称】対象物の３－Ｄ計測を実施するための解像度適応型メッシュ

(51)【国際特許分類】

   G01B 11/24 20060101AFI20230707BHJP

   G06T 17/20 20060101ALI20230707BHJP

【ＦＩ】

G01B11/24 A

G06T17/20

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2018136440

(22)【出願日】2018-07-20

(65)【公開番号】P2019049533

(43)【公開日】2019-03-28

【審査請求日】2021-07-13

(31)【優先権主張番号】15/663,190

(32)【優先日】2017-07-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】オウェッコ， ユリ

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開平０８－２９３０４２（ＪＰ，Ａ）

【文献】特開２００５－２９３３５０（ＪＰ，Ａ）

【文献】特開２００４－２９５２５５（ＪＰ，Ａ）

【文献】特開２０１５－１５６１０８（ＪＰ，Ａ）

【文献】国際公開第２００７／０８３６０２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０００４６４９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００－１／４０

３／００－５／５０

７／００－７／９０

１１／００－１１／４０

１５／００－１７／００

１７／１０－１７／３０

Ｇ０６Ｖ １０／００－２０／９０

３０／４１８

４０／１６、４０／２０

(57)【特許請求の範囲】

【請求項1】

対象物（１０４）の３－Ｄ計測用の解像度適応型メッシュ（１０２）を生成するための方法（２００、２００’）であって、
複数のセンサ（１０６ａ～１０６ｎ）から点群データを受信すること（２０２）であって、各センサからの前記点群データは、前記対象物（１０４）を表現する点群を画定し、各点群は多数の点（１１４）を含み、各点は、少なくとも、前記対象物上での点（１１５）の位置情報を含む、点群データを受信することと、
前記対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定すること（２０２）と、
各センサの前記解像度を使用して、前記点群から前記対象物の面表現（１３０）を生成すること（２１８）であって、前記面表現を生成することは、前記点群中の点の予想精度に応じて、前記面表現に対する各点の寄与度を重み付けして、三角メッシュ（６００）を前記点群にフィッティングさせること（２０６）を含む、面表現を生成することとを含む、方法。

【請求項2】

前記面表現の生成における前記点群中の各点の寄与度は、各点の精度又は解像度に基づく、請求項１に記載の方法。

【請求項3】

前記面表現を生成することが、前記三角メッシュ（６００）から各点までの距離（ｄ_ｉ）を、各点から前記三角メッシュに向かう方向（ｒ_ｉ）の、予想される誤差標準偏差（σｉ）の逆数で重み付けすることによって、前記三角メッシュを前記点群にフィッティングさせること（２０６）を含む、請求項１に記載の方法。

【請求項4】

種々の視認方向及び距離での各センサの複数の解像度モデル（１３４）を使用して、各点から前記三角メッシュに向かう方向の、前記予想される標準偏差（σｉ）を推定すること（２１０）を更に含み、前記解像度モデルは、センサの物理モデルから解析によって、又は、測定領域全体をカバーするよう補間されるいくつかの異なる位置において解像度ターゲットを測定することから経験的に、決定される、請求項３に記載の方法。

【請求項5】

前記点群データを受信することが、各センサからの前記点群と、各点の不確定性楕円体（４０４ａ～４０４ｃ）とを受信することを含み、前記不確定性楕円体は、前記対象物（１０４）に対する前記センサの位置に基づいて、各センサの解像度を決定するために使用される、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記対象物（１０４）の面（６０４）を表現する初期化された三角メッシュ（５００）を提供するために、面補間法を使用して前記三角メッシュ（６００）を初期化すること（２０４）を更に含む、請求項５に記載の方法。

【請求項7】

各点を、前記三角メッシュ（６００）の最も近いメッシュ三角形（６０２ａ）に割り当てること（２０８）を更に含み、前記三角メッシュは、集合的に前記対象物（１０４）の面（６０４）を表現する多数のメッシュ三角形（６０２ａ～６０２ｎ）を含む、請求項５に記載の方法。

【請求項8】

各点から、割り当てられたメッシュ三角形（６０２ａ）上の最も近い点（６０８）までの距離を測定すること（２１０）と、
各点に関して、前記割り当てられたメッシュ三角形上の前記最も近い点に向かう方向における、前記点に関連付けられた前記不確定性楕円体の半径を決定すること（２１０）とを更に含む、請求項７に記載の方法。

【請求項9】

前記点群から最良の点群データを自動的に選択し、使用する、前記三角メッシュを前記点群にフィッティングさせるための目的関数であって、重み付けされたフィッティング誤差項、及び三角メッシュ表面積項を含む目的関数を、形成すること（２１２）と、
前記目的関数を最小化する各メッシュ三角形の頂点の位置を見出すことによって、前記三角メッシュを前記点群にフィッティングさせること（２０６、２０６’）とを更に含む、請求項８に記載の方法。

【請求項10】

前記点群同士を重ね合わせて複合点群を形成するために、回転工程及び並進工程を実施すること（２１２’）、
前記目的関数に回転パラメータ及び並進パラメータを付加すること（２１２’）、及び、
前記複合点群になるように前記点群同士を重ね合わせること（２１２’）と、前記目的関数を最小化する各メッシュ三角形の頂点の位置を見出すことによって前記三角メッシュを前記複合点群にフィッティングさせることとを、同時に行うことを更に含む、請求項９に記載の方法。

【請求項11】

各メッシュ三角形の前記頂点が制約を受けない（２１２、２１２’）、請求項９に記載の方法。

【請求項12】

各メッシュ三角形の前記頂点が、１つの方向だけが変動可能であり、それ以外の２つの方向はグリッド上に確定されるように、制約を受ける（２１２、２１２’）、請求項９に記載の方法。

【請求項13】

多重解像度メッシュフィッティング（８００）を使用することによって、前記三角メッシュを前記点群にフィッティングさせることであって、現時点の解像度レベルの出力三角メッシュは、細分化され、かつ、次の解像度レベルの最適化のための初期三角メッシュとして使用される、前記三角メッシュを前記点群にフィッティングさせることと、
細分化された三角メッシュと共に使用するための各解像度レベル向けに前記点群をアップサンプリングすること（８１０）とを更に含む、請求項７に記載の方法。

【請求項14】

対象物（１０４）の３－Ｄ計測用の解像度適応型メッシュ（１０２）を生成するためのシステム（１００）であって、
前記対象物の３－Ｄの点群データを含む前記対象物の電子画像（１０８）を収集するための、複数のセンサ（１０６ａ～１０６ｎ）と、
プロセッサ（１１８）と、
前記プロセッサで動作する解像度適応型メッシュモジュール（１２０）であって、
前記複数のセンサから前記点群データを受信すること（２０２）であって、各センサからの前記点群データは、前記対象物（１０４）を表現する点群を画定し、各点群は多数の点（１１４）を含み、各点は、少なくとも、前記対象物上での点（１１５）の位置情報を含む、前記点群データを受信することと、
前記対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定すること（２０２）と、
各センサの前記解像度を使用して、前記点群から前記対象物の面表現（１３０）を生成すること（２１８）であって、前記面表現を生成することは、前記点群中の点の予想精度に応じて、前記面表現に対する各点の寄与度を重み付けして、三角メッシュ（６００）を前記点群にフィッティングさせること（２０６）を含む、面表現を生成することとを含む、一連の機能を実施するよう設定されている、解像度適応型メッシュモジュールとを備える、システム。

【請求項15】

対象物（１０４）の３－Ｄ計測用の解像度適応型メッシュ（１０２）を生成するためのコンピュータプログラム製品（１３６）であって、それによって具現化されるプログラム指令（１３８）を有するコンピュータ可読記憶媒体を備え、前記コンピュータ可読記憶媒体は、それ自体、一過性の媒体ではなく、
複数のセンサ（１０６ａ～１０６ｎ）から点群データを受信すること（２０２）であって、各センサからの前記点群データは、前記対象物を表現する点群を画定し、各点群は多数の点（１１４）を含み、各点は、少なくとも、前記対象物上での点（１１５）の位置情報を含む、点群データを受信することと、
前記対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定すること（２０２）と、
各センサの前記解像度を使用して、前記点群から前記対象物の面表現（１３０）を生成すること（２１８）であって、前記面表現を生成することは、前記点群中の点の予想精度に応じて、前記面表現に対する各点の寄与度を重み付けして、三角メッシュ（６００）を前記点群にフィッティングさせること（２０６）を含む、面表現を生成することとを含む方法を、デバイスに実施させるよう、前記プログラム指令は前記デバイスによって実行可能である、コンピュータプログラム製品。

【発明の詳細な説明】

【背景技術】

【0001】

本開示は、工場での組み立て又は製造されている対象物に対するその他のプロセスにおいて、測定を実施することに関し、より詳細には、組み立て中又は製造中の対象物の三次元（３－Ｄ）計測のための解像度適応型メッシュを生成することに関する。

【0002】

計測（ｍｅｔｒｏｌｏｇｙ）とは、工場での組み立て若しくはその他のプロセスにおいて、又は、正確な測定が必要とされる別の目的のために、対象物の形状を正確に測定することである。計測に使用される、３－Ｄセンサからの生データは、一般的には、点群、又は測定点の３－Ｄ座標のリストという形態である。点群は、解釈すること又は操作することが難しいため、通常は、コンピュータ生成オブジェクトを表現するためにコンピュータグラフィックスにおいて使用されるものに類似した、対象物のメッシュ面表現に変換されて、表示される。点群から面を生成するために、スプライン又は正則化最小二乗法のフィッティングアルゴリズムなどの、多くの方法が開発されてきたが、これらの技法はいずれも、視認方向における場所によってセンサの精度がどのように変動するかという、従来知識を包含していない。３－Ｄセンサは、典型的には、視線ベクトルに沿った方向及び視線ベクトルを横切る方向において、更に、測定される対象物からの距離が異なる場合には、異なる精度を有する。このような精度の変動は、航空機などの大型で複雑な対象物の組み立てにおいて、時間と人手の増大をもたらしうる。したがって、上記の不正確性を考慮に入れて、対象物のメッシュ面表現を正確に作成するための、システム及び方法が必要とされている。

【発明の概要】

【0003】

一例によると、対象物の３－Ｄ計測用の解像度適応型メッシュを生成するための方法は、複数のセンサから点群データを受信することを含む。各センサからの点群データは、対象物を表現する点群を画定する。各点群は多数の点を含み、各点は、少なくとも、対象物上でのその点の位置情報を含む。方法は、対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定することも含む。方法は、各センサの解像度を使用して、点群から対象物の面表現を生成することを更に含む。対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む。

【0004】

別の例によると、対象物の３－Ｄ計測用の解像度適応型メッシュを生成するためのシステムは、対象物の電子画像を収集するための複数のセンサを含む。電子画像は、対象物の３－Ｄ点群データを含む。システムは、プロセッサ、及び、プロセッサで動作する解像度適応型メッシュモジュールも含む。解像度適応型メッシュモジュールは、複数のセンサの各々から点群データを受信することを含む、一連の機能を実施するよう設定される。各センサからの点群データは、対象物を表現する点群を画定する。各点群は多数の点を含み、各点は、少なくとも、対象物上でのその点の位置情報を含む。一連の機能は、対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定することも含む。一連の機能は、各センサの解像度を使用して、点群から対象物の面表現を生成することを更に含む。対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む。

【0005】

更なる例によると、対象物の３－Ｄ計測用の解像度適応型メッシュを生成するためのコンピュータプログラム製品は、それによって具現化されるプログラム指令を有する、コンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は、それ自体、一過性の媒体ではない。プログラム指令は、複数のセンサから点群データを受信することを含む方法をデバイスに実施させるよう、このデバイスによって実行可能である。各センサからの点群データは、対象物を表現する点群を画定する。各点群は多数の点を含み、各点は、少なくとも、対象物上でのその点の位置情報を含む。方法は、対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定することも含む。方法は、各センサの解像度を使用して、点群から対象物の面表現を生成することを更に含む。対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む。

【0006】

別の例、又は前述の例のうちのいずれかによると、面表現を生成することは、三角メッシュを点群にフィッティングさせることを含む。面表現の生成における点群中の各点の寄与度（ｃｏｎｔｒｉｂｕｔｉｏｎ）は、各点の精度又は解像度に基づく。

【0007】

別の例、又は前述の例のうちのいずれかによると、面表現を生成することは、三角メッシュから各点までの距離を、各点から三角メッシュに向かう方向の、予想される誤差標準偏差の逆数で重み付けすることによって、三角メッシュを点群にフィッティングさせることを含む。

【0008】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、種々の視認方向及び距離での各センサの複数の解像度モデルを使用して、各点から三角メッシュに向かう方向の、予想される標準偏差を推定することを更に含む。解像度モデルは、センサの物理モデルから解析によって、又は、測定領域全体をカバーするよう補間されるいくつかの異なる位置において解像度ターゲットを測定することから経験的に、決定される。

【0009】

別の例、又は前述の例のうちのいずれかによると、点群データを受信することは、各センサからの点群、及び、各点の不確定性楕円体（ｕｎｃｅｒｔａｉｎｔｙ ｅｌｌｉｐｓｏｉｄ）を受信することを含む。不確定性楕円体は、対象物に対するセンサの位置に基づいて各センサの解像度を決定するために、使用される。

【0010】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、対象物の面を表現する初期化された三角メッシュを提供するために、面補間法を使用して三角メッシュを初期化することを更に含む。

【0011】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、各点を、三角メッシュの最も近いメッシュ三角形に割り当てることを更に含む。三角メッシュは、集合的に対象物の面を表現する多数のメッシュ三角形を含む。

【0012】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、各点から、割り当てられたメッシュ三角形上の最も近い点までの距離を測定すること、及び、各点に関して、割り当てられたメッシュ三角形上の最も近い点に向かう方向において、点に関連付けられた不確定性楕円体の半径を決定することを、更に含む。

【0013】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、点群から最良の点群データを自動的に選択し、使用する、三角メッシュを点群にフィッティングさせるための目的関数であって、重み付けされたフィッティング誤差項、及び三角メッシュ表面積項を含む目的関数を、形成することを更に含む。

【0014】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、目的関数を最小化する各メッシュ三角形の頂点の位置を見出すことによって、三角メッシュを点群にフィッティングさせることを更に含む。

【0015】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、点群同士を重ね合わせ（ｒｅｇｉｓｔｅｒ）て複合点群を形成するために、回転工程及び並進工程を実施することを更に含む。方法又は一連の機能は、回転パラメータ及び並進パラメータを目的関数に付加すること、及び、複合点群になるように点群同士を重ね合わせることと、目的関数を最小化する各メッシュ三角形の頂点の位置を見出すことによって三角メッシュを複合点群にフィッティングさせることとを同時に行うことも、含む。

【0016】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、目的関数を最小化するために、粒子群最適化（ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ）を使用することを更に含む。

【0017】

別の例、又は前述のいずれかの例によると、各メッシュ三角形の頂点は、制約を受けない。

【0018】

別の例、又は前述の例のうちのいずれかによると、各メッシュ三角形の頂点は、１つの方向だけが変動可能であり、それ以外の２つの方向はグリッド上に確定されるように、制約を受ける。

【0019】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、多重解像度メッシュフィッティングを使用することによって、三角メッシュを点群にフィッティングさせることを更に含む。当該時点の解像度レベルの出力三角メッシュは、細分化され、かつ、次の解像度レベルの最適化のための初期三角メッシュとして使用される。

【0020】

別の例、又は前述の例のうちのいずれかによると、方法又は一連の機能は、細分化された三角メッシュと共に使用するための各解像度レベル向けに点群をアップサンプリングすることを更に含む。

【0021】

前述の特徴、機能、及び利点は、様々な例において個別に実現可能であるか、又は、以下の説明及び図面を参照することで更なる詳細事項が理解可能な、更に別の例に組み込まれうる。

【図面の簡単な説明】

【0022】

【図1】本開示の一例による、対象物の３－Ｄ計測用の解像度適応型メッシュを生成するためのシステムの一例の概略ブロック図である。

【図2A】本開示の一例による、対象物の３－Ｄ計測用の解像度適応型メッシュを生成するための方法の一例のフロー図である。

【図2B】本開示の別の例による、対象物の３－Ｄ計測用の解像度適応型メッシュを生成するための方法の一例のフロー図である。

【図3】本開示の一例による、複数の点群の一例である。

【図4】本開示の一例による、点群中の測定点及び関連する不確定性楕円体の一例である。

【図5】本開示の一例による、対象物の面を表現する初期化された三角メッシュを提供するために、面補間法を使用して三角メッシュを初期化することの一例である。

【図6】本開示の一例による、三角メッシュを点群にフィッティングさせることの一例を示す図である。

【図7】本開示の一例による、三角メッシュを複合点群にフィッティングさせるために、複数の点群の融合と重ね合わせを同時に行うことの一例を示す図である。

【図8】本開示の一例による、多重解像度フィッティングを使用して３－Ｄ計測用の解像度適応型メッシュを生成するための方法の一例のフロー図である。

【発明を実施するための形態】

【0023】

例についての下記の詳細説明は、本開示の具体例を示す添付図面に言及している。種々の構造及び工程を有する他の例も、本開示の範囲から逸脱するものではない。同様の参照番号は、種々の図面において同一の要素又は構成要素を表していることがある。

【0024】

本開示は、システム、方法、及び／又はコンピュータプログラム製品でありうる。コンピュータプログラム製品は、本開示の態様をプロセッサに実行させるためのコンピュータ可読プログラム指令が格納されている、コンピュータ可読記憶媒体（複数可）を含みうる。

【0025】

コンピュータ可読記憶媒体は、指令実行デバイスによって使用される指令を保持し、記憶することが可能な、有形デバイスでありうる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は、それらの任意の好適な組み合わせでありうるが、それらに限定されるわけではない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的にエンコードされたデバイス（パンチカードや、指令が記録されている溝内隆起構造など）、及び、それらの任意の好適な組み合わせを、含む。本書において、コンピュータ可読記憶媒体は、それ自体、電波若しくはその他の自由に伝播する電磁波、導波路若しくは別の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）などの一時的信号であるとも、ワイヤを通って伝送される電気信号であるとも、解釈すべきではない。

【0026】

本書に記載のコンピュータ可読プログラム指令は、コンピュータ可読記憶媒体からそれぞれの演算／処理デバイスに、又は、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／若しくは無線ネットワーク）を介して外部コンピュータ又は外部記憶デバイスに、ダウンロードされうる。ネットワークは、銅製伝送ケーブル、光伝導ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを備えうる。演算／処理デバイスの各々におけるネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム指令を受信し、このコンピュータ可読プログラム指令を、それぞれの演算／処理デバイスの中のコンピュータ可読記憶媒体に記憶させるために転送する。

【0027】

本開示の工程を実行するためのコンピュータ可読プログラム指令は、アセンブラ指令、指令セットアーキテクチャ（ＩＳＡ）指令、機械指令、機械依存指令、マイクロコード、ファームウェア指令、状態設定データであってよく、又は、一又は複数のプログラミング言語（スマートトークやＣ^＋＋などといったオブジェクト指向型プログラミング言語、及び、「Ｃ」プログラミング言語や類似のプログラミング言語などの従来型の手続き型プログラミング言語を含む）の任意の組み合わせで書かれた、ソースコードとオブジェクトコードのいずれかでありうる。コンピュータ可読プログラム指令は、専らユーザのコンピュータで、部分的にユーザのコンピュータで、スタンドアローン型のソフトウェアパッケージとして、部分的にユーザのコンピュータでかつ部分的にリモートコンピュータで、又は、専らリモートのコンピュータ若しくはサーバで、実行されうる。最後の例の場合、リモートコンピュータが任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む）を通じてユーザのコンピュータに接続されうるか、又は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータへの接続がなされうる。一部の例においては、電子回路（例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む）は、本開示の態様を実施する目的でこの電子回路をカスタマイズするために、コンピュータ可読プログラム指令の状態情報を利用することによって、コンピュータ可読プログラム指令を実行しうる。

【0028】

本書では、本開示の例による方法、装置（システム）、及びコンピュータプログラム製品のフロー図及び／又はブロック図に言及しつつ、本開示の態様について説明している。フロー図及び／又はブロック図の各ブロック、並びに、フロー図及び／またはブロック図における複数のブロックの組み合わせは、コンピュータ可読プログラム指令によって実装可能であると、理解されよう。

【0029】

上記のコンピュータ可読プログラム指令は、機械を製造するために、汎用コンピュータ、特殊用途コンピュータ、又は、その他のプログラマブルデータ処理装置のプロセッサに提供されてよく、これにより、コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの指令が、フロー図及び／又はブロック図の一又は複数のブロック内に特定されている機能／作用を実装するための手段を創出する。上記のコンピュータ可読プログラム指令は更に、特定の様態で機能するために、コンピュータ、プログラマブルデータ処理装置、及び／又はその他のデバイスに命令を下すことが可能なコンピュータ可読記憶媒体に記憶されてよく、これにより、指令が記憶されているコンピュータ可読記憶媒体は製造品（ａｒｔｉｃｌｅ ｏｆ ｍａｎｕｆａｃｔｕｒｅ）を含み、この製造品が、フロー図及び／又はブロック図の一又は複数のブロック内に特定されている機能／作用の態様を実装する指令を含む。

【0030】

コンピュータ可読プログラム指令は更に、一連の工程ステップがコンピュータ、他のプログラマブル装置、又はその他の、コンピュータ実装されるプロセスを発生させるデバイスで実施されるよう、コンピュータ、他のプログラマブルデータ処理装置、又はその他のデバイスにローディングされてよく、これにより、コンピュータ、他のプログラマブル装置、又はその他のデバイスで実行されるこれらの指令が、フロー図及び／又はブロック図の一又は複数のブロック内に特定されている機能／作用を実装する。

【0031】

一例によると、３－Ｄスキャンシステムによって生成された３－Ｄ点群データを表現し、かつ最適に組み合わせるため、及び、広い空間（例えば、航空機などの対象物の製造プロセス又は組み立てプロセスが行われている工場など）において対象物を測定し、追跡するための、方法及びシステムが提供される。典型的な一例によると、３－Ｄスキャンシステムは、複数のセンサ又は３－Ｄスキャンセンサを含む。３－Ｄスキャンセンサの各々は、任意の種類の３－Ｄスキャンセンサでありうる。３－Ｄスキャンセンサの例は、３－Ｄステレオカメラ、光検出測距（ｌｉｄａｒ）用のデバイス若しくはシステム、又はその他の３ーＤスキャン用のデバイス又はシステムを含むが、それらに限定されるわけではない。方法は、同一の対象物を観測している複数の３－Ｄスキャンセンサの方向が異なると、空間解像度が変動することを考慮に入れつつ、点群を、計測に役立つ面表現に変換する。方法は、点群中の点の予想精度にそれぞれ応じて、面表現に対する各点の寄与度を重み付けすることによって、これを行う。このことは、全ての点を等しく重み付けし、かつ、センサ解像度モデルも、視認方向及び対象物からの距離の関数として予想されるセンサの解像度についての従来知識も包含しない、既存の面再構成法とは対照的である。方法は、同一の対象物を（ただし、別々の方向及び距離から）観測している複数の３－Ｄスキャンセンサからの点群を融合することにより導かれる、対象物の３－Ｄ面表現を最適化する。

【0032】

図１は、本開示の一例による、対象物１０４の３－Ｄ計測用の解像度適応型メッシュ１０２を生成するためのシステム１００の一例の概略ブロック図である。システム１００は複数のセンサを含む。一例によると、センサは、対象物１０４の３－Ｄ電子画像１０８を収集するための３－Ｄスキャンセンサ１０６ａ～１０６ｎである。センサ又は３－Ｄスキャンセンサ１０６ａ～１０６ｎの例は、デジタルカメラ、光検出測距（ｌｉｄａｒ）デバイス、３－Ｄレーザスキャンデバイス、３－Ｄ飛行時間（ＴｏＦ）カメラ、又は類似の撮像デバイスを含むが、それらに限定されるわけではない。３－Ｄ電子画像１０８は、対象物１０４の３－Ｄ点群データ１１０を含む。３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々からの点群データ１１０は、対象物１０４を表現する点群１１２を画定する。各点群１１２は多数の点１１４を含み、各点は、少なくとも、対象物１０４の表面１１６上の対応点１１５に関する位置情報を含む。３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々からの３－Ｄ点群データ１１０又は点群１１２は、データベース１１７又はその他のデータ記憶デバイスに記憶される。一例によると、対象物１０４は航空機又は航空機の一部分であり、本書に記載の解像度適応型メッシュ１０２は、組み立て若しくは製造における、又は他の何らかの目的のための、航空機又は航空機の一部分の３－Ｄ計測に必要になる。他の例では、対象物１０４は、任意の製品若しくはアイテム、又は製品若しくはアイテムの一部分であり、本書に記載の解像度適応型メッシュ１０２は、組み立て、製造、又はその他の工程においてデバイス又は設備上で３－Ｄ計測を実施するために、必要になる。

【0033】

３－Ｄスキャンセンサ１０６ａ～１０６ｎは、対象物１０４に対して種々の位置に配置され、ゆえに、対象物１０４の種々の視認方向を有することになる。３－Ｄスキャンセンサ１０６ａ～１０６ｎは、対象物１０４に対する視線ベクトルに沿った方向、及び、この視線ベクトルを横切る方向において、また、対象物１０４からの距離が異なる場合には、種々の測定精度及び解像度を有することになる。

【0034】

システム１００はプロセッサ１１８も含む。プロセッサ１１８では、対象物１０４の解像度適応型メッシュ１０２の面表現を生成するための、解像度適応型メッシュモジュール１２０が動作可能である。一例によると、解像度適応型メッシュモジュール１２０は、点群ノイズ除去素子１２２と、複数の点群１１２を組み合わせるための点群融合素子１２４と、点群１１２同士を重ね合わせるための重ね合わせ素子１２６と、対象物１０４の３－Ｄ計測に使用可能な解像度適応型メッシュ１０２を含む対象物１０４の面表現１３０を生成するための面再構成素子１２８とを、含む。本書に記載の一例によると、点群１１２のノイズ除去１２２、融合１２４、及び重ね合わせ１２６、並びに面再構成１２８は、対象物１０４の面表現１３０の作成中に、同時に実装される。対象物１０４の面表現１３０を生成するための面再構成１２８は、組み立て中又は製造中の対象物１０４の３－Ｄ計測に使用可能な動的計測モデル１３２である。なぜなら、本書でより詳細に説明するように、動的計測モデル１３２は、複数の３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々の解像度が空間的に変動する要因となる解像度適応型メッシュ１０２で形成されるか、又はかかる解像度適応型メッシュ１０２を含み、かつ、３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々からの、最適又は最良の解像度の３－Ｄ点群データ１１０を自動的に使用するからである。

【0035】

解像度適応型メッシュモジュール１２０は、複数の３－Ｄスキャンセンサ１０６ａ～１０６ｎから３－Ｄ点群データ１１０を受信することを含む、一連の機能を実施するよう設定される。前述したように、３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々からの点群データ１１０は、対象物１０４を表現する点群１１２を画定する。各点群１１２は多数の点１１４を含み、各点１１４は、少なくとも、対象物１０４上の対応点１１５に関する位置情報を含む。一連の機能は、対象物１０４に対する３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々の位置、及び、３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々の物理的特性に基づいて、３つの直交次元の各々における３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々の解像度を決定することも含む。センサの物理的特性により、３つの直交次元の各々における各センサの解像度が決定される。ステレオカメラセンサの物理的特性の例は、カメラ間の分離、カメラの焦点距離、及び撮像センサのサイズを含む。ｌｉｄａｒセンサの物理的特性の例は、光パルス持続時間、光パルスサイズ、光パルス繰り返し率、及びｌｉｄａｒ回転速度を含む。一連の機能は、３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々の解像度を使用して、点群１１２から対象物１０４の面表現１３０を生成することを更に含む。前述したように、対象物１０４の面表現１３０は、対象物１０４の３－Ｄ計測のための、対象物１０４に対応する解像度適応型メッシュ１０２を含む。

【0036】

図２Ａは、本開示の一例による、対象物の３－Ｄ計測用の解像度適応型メッシュを生成するための方法２００の一例のフロー図である。一例によると、方法２００は、図１の解像度適応型メッシュモジュール１２０において具現化され、かつ、かかる解像度適応型メッシュモジュール１２０によって実施される。ブロック２０２において、複数の３－Ｄスキャンセンサ（例えば、図１の３－Ｄスキャンセンサ１０６ａ～１０６ｎ）から、点群データが受信される。各３－Ｄスキャンセンサからの点群データは、対象物を表現する点群を画定する。各点群は多数の点を含み、各点は、少なくとも、対象物上での対応点の位置情報を含む。位置情報は、少なくとも、対象物上でのこの点の３－Ｄ座標情報（ｘ、ｙ、ｚ）を含む。点群データを受信することは、各３－Ｄスキャンセンサからの点群と、各点の不確定性楕円体とを受信することを含む。不確定性楕円体は、対象物に対する３－Ｄスキャンセンサの位置に基づいて、各３－Ｄスキャンセンサの解像度を決定するために使用される。更に図３及び図４を参照するに、図３は、本開示の一例による、例示的な対象物３０２の複数の点群３００の一例である。例示的な対象物３０２が、図３に破線で示されている。図４は、本開示の一例による、点群（ＰＣ）４０２中の測定点Ｐ_ｉ（Ｐに下付きのｉ）４００ａ～４００ｃと関連する不確定性楕円体４０４ａ～４０４ｃの一例である。点群４０２は、図３の点群３００と同じものである。測定点４００ａ～４００ｃは、３－Ｄ軸ｘ、ｙ、ｚ（ｙ軸はページから飛び出している）に関連して図示されている。

【0037】

各３－Ｄスキャンセンサの解像度は、対象物に対する各３－Ｄスキャンセンサの位置、及び、各３－Ｄスキャンセンサの物理的特性に基づいて、３つの直交次元（ｘ、ｙ、ｚ）の各々において決定される。対象物に対する種々の視認方向及び距離での各３－Ｄスキャンセンサの解像度が、図１の解像度モデル１３４によって提供される。解像度モデルは、センサの物理モデルから解析によって、又は、測定領域全体をカバーするよう補間されるいくつかの異なる位置において解像度ターゲットを測定することから経験的に、決定される。解像度又は測定不確実性の値は、点群４０２中の測定点（Ｐ_ｉ）４００ａ～４００ｃの各々に関連付けられる。

【0038】

点群４０２中の測定点（Ｐ_ｉ）４００ａ～４００ｃの各々は、その位置又は座標、及び、関連する位置依存型不確定性楕円体４０４ａ～４００ｃによって、以下のように規定される。

【0039】

不確定性楕円体の軸は、範囲内の、点（Ｐ_ｉ）４００ａ～４００ｃを測定した３－Ｄスキャンセンサから見て対象物上の測定点（Ｐ_ｉ）４００ａ～４００ｃを横切る２つの方向の、解像度又は標準偏差σ_ｘ、σ_ｙ、σ_ｚ（σに下付きのｘ、ｙ、又はｚ）に対応する。不確定性楕円体４０４ａの配向は、２つの角度θとφによって表現される。

【0040】

ブロック２０４において、対象物の面を表現する初期化された三角メッシュを提供するために、面補間法を使用して三角メッシュＶ６００（図４）が初期化される。一例によると、面補間法の一例はグリッドフィッティング（Ｇｒｉｄｆｉｔ）である。グリッドフィッティングは、オープンソースのＭａｔｌａｂプログラムであり、マサチューセッツ州ＮａｔｉｃｋのＴｈｅ ＭａｔｈＷｏｒｋｓ，Ｉｎｃ．から入手可能である。更に図５を参照するに、図５は、対象物の面５０２を表現する初期化された三角メッシュ５００を提供するために、面補間法を使用して三角メッシュＶ６００を初期化することの一例である。対象物の面５０２が、図５に破線で示されている。三角メッシュＶ６００は、図６に関連して説明するように、多数のメッシュ三角形で形成される。

【0041】

ブロック２０６において、３－Ｄスキャンセンサ１０６ａ～１０６ｎの各々によって生成される各点群からの最良のデータを自動的に使用するセンサ解像度を使用して、三角メッシュを点群にフィッティングさせる。各点群からの最良のデータは、他の点群中の他の近傍の測定点と比較して所与の方向において最高解像度を有する、点群中の測定点に対応する。一例によると、ブロック２０８～２１６はブロック２０６の要素である。更に図６を参照するに、図６は、本開示の一例による、三角メッシュＶ６００又は初期化された三角メッシュ５００を点群４０２にフィッティングさせることの一例を示す図である。点群４０２は、図３の点群３００のうちの１つと同じものである。図４には、三角メッシュ６００又は初期化された三角メッシュ５００の側面図も示されている。

【0042】

図２Ａのブロック２０８において、点群４０２中の各測定点Ｐ_ｉ４００ａは、最も近いメッシュ三角形６０２ａに割り当てられる。三角メッシュＶ６００は、集合的に対象物の面６０４（図４）を表現する多数のメッシュ三角形６０２ａ～６０２ｎを含む。メッシュ三角形６０２ａ～６０２ｎの各々は、３つの頂点６０６ａ～６０６ｃ（図６）によって画定される。

【0043】

ブロック２１０において、各点Ｐ_ｉ４００ａから、点群４０２中の各点Ｐ_ｉ４００ａに割り当てられたメッシュ三角形６０２ａ上の最も近い点６０８に向かう、距離ｄ_ｉ（ｄに下付きのｉ）が測定される。各点Ｐ_ｉ４００ａと、割り当てられたメッシュ三角形６０２ａ上の最も近い点６０８との間の方向ｒ_ｉ（ｒに下付きのｉであり、矢印６１０で示されている）も、決定される。三角メッシュＶ６００の最も近いメッシュ三角形６０２ａに向かう方向ｒ_ｉにおける、点Ｐ_ｉ４００ａに関連付けられた不確定性楕円体４０４ａの半径σ_ｉ（σに下付きのｉ）（ｒ_ｉ）が、決定又は推定される。割り当てられたメッシュ三角形６０２ａ～６０２ｎ上の最も近い点６０８に向かう方向６１０において位置依存型センサ解像度の逆二乗で重み付けされた、点群４０２中の点４００ａに最も近いメッシュ三角形６０２ａ～６０２ｎからこの点４００ａまでの平均距離ｄ_ｉを最小化するために、割り当てられたメッシュ三角形６０２ａ～６０２ｎの各々のメッシュ頂点６０６ａ～６０６ｃを調整することによって、三角メッシュＶ６００を点群４０２にフィッティングさせるということが、基本理念である。このことは、メッシュ頂点６０６の位置全て、つまり３Ｎ次元空間６１２全体で、目的関数Ｅ（Ｖ、ＰＣ）を最小化することによって行われ、ここでＮは、三角メッシュＶ６００を形成する頂点６０６の数である。

【0044】

ブロック２１２において、三角メッシュＶ６００を複数の点群３００又は各点群４０２からの点群データにフィッティングさせるための目的関数Ｅ（Ｖ、ＰＣ）が決定され、形成され、又は算出される。目的関数は、方程式１によって表わされる。

【0045】

目的関数は、測定点Ｐ_ｉ４００ａから三角メッシュ６００までのノルム（距離ｄ_ｉ）を決定することに関連するものであり、距離ｄ_ｉは、各測定点Ｐ_ｉ４００ａに関して１／σ_ｉで重み付けされる。Ｍは、点群ＰＣ４０２中の測定点Ｐｉの数である。目的関数は、三角メッシュＶ６００がそれ自体に折れ重なるか、又は点群ＰＣ４０２を超えて延在することになる、望ましくない解を防ぐために、メッシュ面誤差に比例する正則化項又は罰則項も含む。正則化項又は罰則項は、重み付けされたフィッティング誤差項（λ）、及び、三角メッシュ表面積項（Ａ_ｍｅｓｈ）（Ａに下付きのｍｅｓｈ）を含む。

【0046】

一例によると、メッシュ三角形６０２ａ～６０２ｎの３－Ｄ頂点６０６ａ～６０６ｃは制約を受けない。つまり、これらの頂点の各々の場所又は位置は確定されない。別の例では、メッシュ三角形６０２ａ～６０２ｎの３－Ｄ頂点６０６ａ～６０６ｃは制約を受ける。例えば、ｘとｙの座標における頂点６０６ａ～６０６ｃの場所又は位置は、確定されているグリッド４０６に確定又は制約され、各頂点６０６ａ～６０６ｃのｚ座標の場所又は位置のみが、変動可能である。

【0047】

ブロック２１４において、目的関数Ｅ（Ｖ、ＰＣ）を低減又は最小化するよう、三角メッシュＶ６００を調整することによって、各３－Ｄスキャンセンサによる点群４０２又は３００からの最良のデータを自動的に使用するセンサ解像度を使用して、三角メッシュＶ６００を点群４０２にフィッティングさせる。一例によると、目的関数Ｅ（Ｖ、ＰＣ）は、粒子群最適化（Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ：ＰＳＯ）又はその他の最適化機能を使用して、低減又は最小化される。粒子群最適化については、「Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ＩＶ」（１９９５）のＰ１９４２～１９４８、Ｋｅｎｎｅｄｙ，Ｊ．とＥｂｅｒｈａｒｔ，Ｒの「Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ」において、説明されている。他の例によると、目的関数Ｅ（Ｖ、ＰＣ）は、「Ｔｈｅ Ｔｈｉｒｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｒａｌｌｅｌ Ｐｒｏｂｌｅｍ Ｓｏｌｖｉｎｇ ｆｒｏｍ Ｎａｔｕｒｅ」（１９９４）のＰ７８～８７、「ＰＰＳＮ ＩＩＩ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔａｔｉｏｎ」のＥｉｂｅｎ、Ａ．Ｅ．等による「Ｇｅｎｅｒｉｃ Ａｌｇｏｒｉｔｈｍｓ ｗｉｔｈ Ｍｕｌｔｉ－Ｐａｒｅｎｔ Ｒｅｃｏｍｂｉｎａｔｉｏｎ」のような汎用アルゴリズム、又は、「Ｃｏｍｐｕｔｅｒ Ｊｏｕｒｎａｌ ７ （２）」（１９６４）のＰ１５５～１６２、Ｐｏｗｅｌｌ，Ｍ．Ｊ．Ｄ．による「Ａｎ ｅｆｆｉｃｉｅｎｔ Ｍｅｔｈｏｄ ｆｏｒ Ｆｉｎｄｉｎｇ ｔｈｅ Ｍｉｎｉｍｕｍ ｏｆ ａ Ｆｕｎｃｔｉｏｎ ｆｏｒ Ｓｅｖｅｒａｌ Ｖａｒｉａｂｌｅｓ ｗｉｔｈｏｕｔ Ｃａｌｃｕｌａｔｉｎｇ Ｄｅｒｉｖａｔｉｖｅｓ」のパウエル法を使用することによって、低減又は最小化される。

【0048】

ブロック２１６において、目的関数Ｅ（Ｖ、ＰＣ）が、が予め設定された最小値Ｅ_ｍｉｎ（Ｅに下付きのｍｉｎ）を下回っているか（又は直近の数回の繰り返しにおいて変化していないか）否かの、判定が行われる。目的関数Ｅ（Ｖ、ＰＣ）予め設定された最小値を下回っていない場合、方法２００はブロック２１２に戻り、目的関数Ｅ（Ｖ、ＰＣ）を更に低減又は最小化するために、更なる繰り返しが実施される。目的関数Ｅ（Ｖ、ＰＣ）が予め設定された最小値Ｅ_ｍｉｎを下回っているか、又は、直近の数回の繰り返しにわたって変化していない場合、方法２００はブロック２１８に進む。

【0049】

ブロック２１８において、対象物の３－Ｄ計測のために、対象物の面表現が生成又は提供される。上述したように、対象物の面表現は、各３－Ｄスキャンセンサの解像度を使用して、点群から生成される。対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む。一例によると、解像度適応型メッシュを含む対象物の面表現を使用して、製造工程などの工程が、対象物に対して実施される。したがって、面表現は、三角メッシュを点群にフィッティングさせることを含み、面表現の生成における点群中の各測定点の寄与度は、各測定点の精度又は解像度に基づく。面表現を生成するための目的関数Ｅ（Ｖ、ＰＣ）を最小化又は低減することは、三角メッシュＶから各測定点Ｐ_ｉまでの距離ｄ_ｉを、各点Ｐ_ｉから三角メッシュＶに向かう方向ｒ_ｉの、予想される誤差標準偏差の逆数（１／σ_ｉ）で重み付けすることによって、三角メッシュＶを点群にフィッティングさせることを含む。目的関数Ｅ（Ｖ、ＰＣ）を最小化する、メッシュ三角形６０２ａ～６０２ｎの各々の頂点６０６ａ～６０６ｃの位置を見出すことによって、三角メッシュＶを点群にフィッティングさせる。

【0050】

図２Ｂは、本開示の別の例によると、３－Ｄ計測用の解像度適応型メッシュを生成するための方法２００’の一例のフロー図である。方法２００’は、ブロック２１２における、目的関数（Ｅ（Ｖ、Ｐ１、…、Ｐｎ、Ｒ、Ｔ）を算出又は決定することが、複数の点群を重ね合わせて複合点群を形成するために回転工程及び並進工程を実施することを含む点を除いて、方法２００に類似している。回転パラメータ及び並進パラメータが、目的関数に付加される。複数の点群が同時に重ね合わされて、複合点群になる。前述の記載のように、目的関数を最小化する各メッシュ三角形の頂点の位置を見出すことによって、三角メッシュを複合点群にフィッティングさせる。ブロック２１４’において、目的関数を低減又は最小化するよう、三角メッシュが調整され、かつ、回転工程及び並進工程が実施される。一例によると、前述の記載のように、目的関数を最小化するために粒子群最適化が使用される。

【0051】

更に図７を参照するに、図７は、本開示の一例によると、三角メッシュ６００を複合点群にフィッティングさせる（図６のブロック２０６’）ために、複数の点群４０２ａ～４０２ｎの融合と重ね合わせを同時に行うことの一例を示す図である。１つの点群座標系の別の点群座標系に対する回転及び並進に対応する解空間に、追加の６つの次元を付加することによって、複数の点群４０２ａ～４０２ｎが、共通の一座標系において重ね合わされる。同一の対象物を観測する別々の３－Ｄスキャンセンサからのからの２つの点群で構成されている複合点群に関する三角メッシュの残余モデリング誤差は、この２つの点群が重ね合わされた時に最小化される。したがって、本書に記載の解像度適応型メッシュプロセスは、上記に記載しているように、複数の点群を重ね合わせることと、組み合わされた点群又は複合点群のための解像度適応型メッシュを生成することの、両方のために使用される。解空間の次元数は、３Ｎから３Ｎ＋６に増大する。ここでＮは、三角メッシュＶ６００における頂点６０６ａ～６０６ｃの数であり、追加される６つの次元は、座標の回転パラメータ及び並進パラメータである。したがって、点群が２つの一例では、その目的関数は、

となる。パラメータα、β、及びθは、点群Ｐ１の別の点群Ｐ２に対する（又はその逆の）回転の角度である。

【0052】

Ｎ個の点の点群の座標行列は：

である。

【0053】

３つの軸の周りでこの点群を回転させる行列演算子は：

である。

【0054】

点群を並進させる３×Ｎ行列は：

である。

【0055】

次いで、回転及び並進の後の点群が、
Ｐ’＝ＲＰ＋Ｔ
によって決定される。

【0056】

一例によると、複数の点群の各点群を回転及び並進させて、組み合わされた点群又は複合点群を形成し、次いで、この組み合わされた点群又は複合点群を、前述の記載のように、三角メッシュにフィッティングさせる。

【0057】

ブロック２１８’において、対象物の３－Ｄ計測のために、対象物の面表現が生成又は提供される。対象物の面表現は、組み合わされた点群又は複合点群から、かつ、前述の記載のように各３－Ｄスキャンセンサの解像度を使用して、生成される。対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む。

【0058】

図８は、本開示の一例による、多重解像度フィッティングを使用して３－Ｄ計測用の解像度適応型メッシュを生成するための方法８００の一例のフロー図である。一例によると、方法８００は、図１の解像度適応型メッシュモジュール１２０によって具現化され、かつ実施される。方法８００は、多重解像度メッシュフィッティングを使用することによって三角メッシュを点群にフィッティングさせることを含み、当該時点の解像度レベルの出力三角メッシュは、細分化され、かつ、次の解像度レベルの最適化のための初期三角メッシュとして使用される。

【0059】

ブロック８０２において、複数の３－Ｄスキャンセンサから点群データが受信される。各３－Ｄスキャンセンサからの点群データは、対象物（図１の対象物１０４など）を表現する点群を画定する。各点群は多数の点を含み、各点は、少なくとも、対象物上でのその点の位置情報を含む。位置情報は、少なくとも、対象物上でのこの点の３－Ｄ座標情報（ｘ、ｙ、ｚ）を含む。点群データを受信することは、各３－Ｄスキャンセンサからの点群と、各点の不確定性楕円体とを受信することを含む。不確定性楕円体は、対象物に対する各３－Ｄスキャンセンサの位置、及び各３－Ｄスキャンセンサの物理的特性に基づいて、各３－Ｄスキャンセンサの解像度を決定するために使用される。

【0060】

ブロック８０４において、各点群内の点のグループを選択することによって、各点群は最低の解像度レベルにダウンサンプリングされる。一例によると、点のこのグループはランダムに選択される。別の例によると、適応型アプローチが使用され、このアプローチにおいては、ある特定の点の周りに集中している点の点密度又は数が、この点群中の他の点を下回っている場合に、この特定の点を選択する可能性が高くなる。なぜなら、この特定の点は、対象物の解像度適応型メッシュ表現を生成するための位置情報を提供する上で、点群の高密度領域内の点よりも「価値がある（ｖａｌｕａｂｌｅ）」からである。

【0061】

ブロック８０６において、低解像度の三角メッシュが、非解像度適応型メッシュ（ＲＡＭ）法を使用して初期化される。典型的な一例によると、低解像度の三角メッシュを初期化するためにグリッドフィッティングが使用される。

【0062】

ブロック８０８において、ダウンサンプリングされた各点が、初期化された三角メッシュ内の最も近いメッシュ三角形に割り当てられる。ブロック８１０において、当該時点の解像度レベル向けに最適化されたメッシュ８１２を生成するための、三角メッシュは、アップサンプリングされた点群、及び、初期化のための過去の低解像度レベルのメッシュを使用して、最適化される。ブロック８１４において、アップサンプリングされた点群が、細分化されたメッシュを使用して生成される。アップサンプリングされた点が生成されて、細分化されたメッシュ内の、より小さな三角形上に配置される。

【0063】

ブロック８１４において、三角メッシュは細分化され、点群は、次の解像度レベル向けにアップサンプリングされる。方法８００は、次いでブロック８０８に戻り、前述の記載のように、８１０において望ましい解像度レベルが得られるまで続く。望ましい解像度レベルが得られると、方法８００はブロック８１６に進む。

【0064】

ブロック８１６において、対象物の面表現である解像度適応型メッシュが、生成又は提供される。解像度適応型メッシュは、対象物の３－Ｄ計測に使用される。一例によると、解像度適応型メッシュを使用して、製造工程などの工程が、対象物に対して実施されうる。

【0065】

一例によると、方法２００、２００’、８００のいずれかが、図１のコンピュータプログラム製品１３６などのコンピュータプログラム製品で具現化される。コンピュータプログラム製品１３６は、それによって具現化されるコンピュータプログラム指令１３８を有する、前述の記載のようなコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は、それ自体、一過性の媒体ではない。プログラム指令は、デバイス（図１のプロセッサ１１８など）に方法２００、２００’又は８００を実施させるために、このデバイスによって実行可能である。一例によると、コンピュータプログラム指令１３８は、プロセッサ１１８に関連付けられた記憶デバイスに記憶され、かつ、コンピュータプログラム製品１３６からダウンロード可能な、解像度適応型メッシュモジュール１２０を規定する。

【0066】

図中のフロー図及びブロック図は、本開示の様々な例によるシステム、方法、及びコンピュータプログラム製品の、実現可能な実行形態のアーキテクチャ、機能、及び動作を示している。そのため、フロー図及びブロック図における各ブロックは、特定の論理機能（複数可）を実装するための一又は複数の実行可能指令を含む、指令のモジュール、指令のセグメント、又は指令の一部分を表わしうる。一部の代替的な実行形態では、ブロック内に記載された機能は、図に記載されている順序を逸脱して発現しうる。例えば、連続して示されている２つのブロックは、実際には、関連機能に応じて、実質的に同時に実行されうるか、また時には、逆順に実行されうる。ブロック図及び／又はフロー図の各ブロック、並びに、ブロック図及び／又はフロー図のブロックの組み合わせは、特定の機能又は作用を実施する特殊用途ハードウェアベースのシステムによって実装されうるか、又は、特殊用途ハードウェアとコンピュータ指令との組み合わせを実行しうることにも、留意されたい。

【0067】

本書で使用している用語は、単に特定の例を説明することを目的としており、本開示の例を限定することは意図していない。本書において、単数形「１つの（ａ、ａｎ）」及び「この、その、前記（ｔｈｅ）」は、複数形も含むことを（文脈が明らかにそうでないことを示さない限り）意図している。更に、「備える・含む（ｃｏｍｐｒｉｓｅｓ及び／又はｃｏｍｐｒｉｓｉｎｇ）」という語は、この明細書中で使用される場合、記載されている特徴、実体、ステップ、動作、要素、及び／又は構成要素の存在を特定するが、それら以外の一又は複数の特徴、実体、ステップ、動作、要素、構成要素、及び／又はこれらの群の、存在又は追加を排除するものではないことが、理解されよう。

【0068】

全ての手段又はステップの対応している構造、材料、作用、及び均等物、それに加えて、以下の特許請求の範囲における機能要素は、具体的に請求されている、その他の請求されている要素と組み合わされて機能を実施するための、いかなる構造、材料、又は作用をも含むことが、意図されている。本書の例についての説明は、例示及び説明を目的として提示されており、網羅的であること、又は、例を開示されている形態に限定することを、意図するものではない。当業者には、例の範囲及び本質から逸脱することなく、多くの修正例及び変更例が自明となろう。

【0069】

更に、本開示は以下の条項による例を含む。

【0070】

条項１．対象物の３－Ｄ計測用の解像度適応型メッシュを生成するための方法であって、
複数のセンサから点群データを受信することであって、各センサからの点群データは、対象物を表現する点群を画定し、
各点群は多数の点を含み、各点は、少なくとも、対象物上でのその点の位置情報を含む、点群データを受信することと、
対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定することと、
各センサの解像度を使用して、点群から対象物の面表現を生成することであって、対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む、面表現を生成することとを含む、方法。

【0071】

条項２．面表現を生成することが、三角メッシュを点群にフィッティングさせることを含み、面表現の生成における点群中の各点の寄与度は、各点の精度又は解像度に基づく、条項１に記載の方法。

【0072】

条項３．面表現を生成することが、三角メッシュから各点までの距離を、各点から三角メッシュに向かう方向の、予想される誤差標準偏差の逆数で重み付けすることによって、三角メッシュを点群にフィッティングさせることを含む、条項１に記載の方法。

【0073】

条項４．種々の視認方向及び距離での各センサの複数の解像度モデルを使用して、各点から三角メッシュに向かう方向の、予想される標準偏差を推定することを更に含み、解像度モデルは、センサの物理モデルから解析によって、又は、測定領域全体をカバーするよう補間されるいくつかの異なる位置において解像度ターゲットを測定することから経験的に、決定される、条項３に記載の方法。

【0074】

条項５．点群データを受信することは、各センサからの点群と、各点の不確定性楕円体とを受信することを含み、不確定性楕円体は、対象物に対するセンサの位置に基づいて、各センサの解像度を決定するために使用される、条項１に記載の方法。

【0075】

条項６．対象物の面を表現する初期化された三角メッシュを提供するために、面補間法を使用して三角メッシュを初期化することを更に含む、条項５に記載の方法。

【0076】

条項７．各点を、三角メッシュの最も近いメッシュ三角形に割り当てることを更に含み、三角メッシュは、集合的に対象物の面を表現する多数のメッシュ三角形を含む、条項５に記載の方法。

【0077】

条項８．
各点から、割り当てられたメッシュ三角形上の最も近い点までの距離を測定することと、
各点に関して、割り当てられたメッシュ三角形上の最も近い点に向かう方向における、点に関連付けられた不確定性楕円体の半径を決定することとを更に含む、条項７に記載の方法。

【0078】

条項９．点群から最良の点群データを自動的に選択し、使用する、三角メッシュを点群にフィッティングさせるための目的関数であって、重み付けされたフィッティング誤差項、及び三角メッシュ表面積項を含む目的関数を、形成することを更に含む、条項８に記載の方法。

【0079】

条項１０．目的関数を最小化する各メッシュ三角形の頂点の位置を見出すことによって、三角メッシュを点群にフィッティングさせることを更に含む、条項９に記載の方法。

【0080】

条項１１．
点群同士を重ね合わせて複合点群を形成するために、回転工程及び並進工程を実施すること、
目的関数に回転パラメータ及び並進パラメータを付加すること、及び、
複合点群になるように点群同士を重ね合わせることと、目的関数を最小化する各メッシュ三角形の頂点の位置を見出すことによって三角メッシュを複合点群にフィッティングさせることとを、同時に行うことを更に含む、条項１０に記載の方法。

【0081】

条項１２．目的関数を最小化するために粒子群最適化を使用することを更に含む、条項１０に記載の方法。

【0082】

条項１３．各メッシュ三角形の頂点が制約を受けない、条項１０に記載の方法。

【0083】

条項１４．各メッシュ三角形の頂点は、１つの方向だけが変動可能であり、それ以外の２つの方向はグリッド上に確定されるように、制約を受ける、条項１０に記載の方法。

【0084】

条項１５．多重解像度メッシュフィッティングを使用することによって三角メッシュを点群にフィッティングさせることを更に含み、当該時点の解像度レベルの出力三角メッシュは、細分化され、かつ、次の解像度レベルの最適化のための初期三角メッシュとして使用される、条項７に記載の方法。

【0085】

条項１６．細分化された三角メッシュと共に使用するための各解像度レベル向けに点群をアップサンプリングすることを更に含む、条項１５に記載の方法。

【0086】

条項１７．対象物の３－Ｄ計測用の解像度適応型メッシュを生成するためのシステムであって、
対象物の３－Ｄ点群データを含む対象物の電子画像を収集するための、複数のセンサと、
プロセッサと、
プロセッサで動作する解像度適応型メッシュモジュールであって、
複数のセンサから点群データを受信することであって、各センサからの点群データは、対象物を表現する点群を画定し、各点群は多数の点を含み、各点は、少なくとも、対象物上でのその点の位置情報を含む、点群データを受信することと、
対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定することと、
各センサの解像度を使用して、点群から対象物の面表現を生成することであって、対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む、面表現を生成することとを含む、一連の機能を実施するよう設定されている、解像度適応型メッシュモジュールとを備える、システム。

【0087】

条項１８．一連の機能が、三角メッシュを点群にフィッティングさせることを含む、面表現を生成することを更に含み、面表現の生成における点群中の各点の寄与度は、各点の精度又は解像度に基づく、条項１７に記載のシステム。

【0088】

条項１９．対象物の３－Ｄ計測用の解像度適応型メッシュを生成するためのコンピュータプログラム製品であって、それによって具現化されるプログラム指令を有するコンピュータ可読記憶媒体を備え、コンピュータ可読記憶媒体は、それ自体、一過性の媒体ではなく、
複数のセンサから点群データを受信することであって、各センサからの点群データは、対象物を表現する点群を画定し、各点群は多数の点を含み、各点は、少なくとも、対象物上でのその点の位置情報を含む、点群データを受信することと、
対象物に対する各センサの位置、及び各センサの物理的特性に基づいて、３つの直交次元の各々における各センサの解像度を決定することと、
各センサの解像度を使用して、点群から対象物の面表現を生成することであって、対象物の面表現は、対象物の３－Ｄ計測のための、対象物に対応する解像度適応型メッシュを含む、面表現を生成することとを含む方法を、デバイスに実施させるよう、プログラム指令はこのデバイスによって実行可能である、コンピュータプログラム製品。

【0089】

条項２０．方法が、三角メッシュを点群にフィッティングさせることを含む、面表現を生成することを更に含み、面表現の生成における点群中の各点の寄与度は、各点の精度又は解像度に基づく、条項１９に記載のコンピュータプログラム製品。

【0090】

本書では具体例を例示し、説明しているが、当業者は、示されている具体例が、同じ目的を果たすよう計算されているいかなる構成をも代替しうること、及び、これらの例が、他の環境における他の応用を有することを、認識しよう。この出願は、いかなる適応例又は変形例をも対象とすることが、意図されている。以下の特許請求の範囲は、本開示の例の範囲を本書に記載の具体例に限定することを、全く意図するものではない。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】