特開 2023-122951 ワーク計測方法、ワーク計測システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023122951

(43)【公開日】2023-09-05

(54)【発明の名称】ワーク計測方法、ワーク計測システム、およびプログラム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20230829BHJP

   G01B 11/245 20060101ALI20230829BHJP

【ＦＩ】

G01B11/24 Z

G01B11/245 H

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022026733

(22)【出願日】2022-02-24

(71)【出願人】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】吉本 達也

(72)【発明者】

【氏名】岡本 陽

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA21

2F065AA31

2F065AA52

2F065AA53

2F065BB05

2F065FF01

2F065FF04

2F065FF05

2F065FF09

2F065FF11

2F065FF31

2F065GG04

2F065GG12

2F065HH04

2F065JJ03

2F065JJ05

2F065JJ26

2F065MM13

2F065MM16

2F065MM23

2F065MM26

2F065PP25

2F065QQ21

2F065QQ31

2F065QQ38

(57)【要約】

【課題】３次元ＣＡＤデータなどの事前の準備を要することなく、ワークの形状や位置を測定する。
【解決手段】複数の部材から構成されるワークの形状および位置の計測を行うワーク計測方法は、前記ワークの３次元の点群データを取得する取得ステップと、計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定ステップと、前記概形推定ステップにて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化ステップと、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の部材から構成されるワークの形状および位置の計測を行うワーク計測方法であって、
前記ワークの３次元の点群データを取得する取得ステップと、
計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定ステップと、
前記概形推定ステップにて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化ステップと、
を有するワーク計測方法。

【請求項2】

前記条件は、前記ワークに対応する境界枠の形状、サイズ、個数、および制約のいずれかを含む、請求項１に記載のワーク計測方法。

【請求項3】

前記評価関数は、前記境界枠に含まれる点群の点数と点群密度による重み付き線形和である、請求項１または２に記載のワーク計測方法。

【請求項4】

前記最適化ステップにおいて、前記境界枠の寸法、位置、角度の少なくともいずれかのパラメータを最適化する、請求項１から３のいずれか一項に記載のワーク計測方法。

【請求項5】

前記概形推定ステップにおいて、前記点群データを複数の方向から走査することにより、前記境界枠を推定する、請求項１から４のいずれか一項に記載のワーク計測方法。

【請求項6】

前記概形推定ステップにおいて、前記点群データを２次元平面に投影して概形を推定する、請求項１から５のいずれか一項に記載のワーク計測方法。

【請求項7】

前記複数の部材に対応する、前記２次元平面に直交する軸方向の位置を導出する導出ステップを更に有する、請求項６に記載のワーク計測方法。

【請求項8】

前記境界枠は、直線または曲線を含んで構成される、請求項１から７のいずれか一項に記載のワーク計測方法。

【請求項9】

前記境界枠は、２次元または３次元にて示される、請求項１から８のいずれか一項に記載のワーク計測方法。

【請求項10】

前記ワークに対するタッチセンシングの測定結果を用いて、前記最適化ステップにて最適化された前記１または複数の境界枠を補正する補正ステップを更に有する、請求項１から９のいずれか一項に記載のワーク計測方法。

【請求項11】

複数の部材から構成されるワークの形状および位置の計測を行うワーク計測システムであって、
前記ワークの３次元の点群データを取得する取得手段と、
計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定手段と、
前記概形推定手段にて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化手段と、
を有するワーク計測システム。

【請求項12】

コンピュータに、
複数の部材から構成されるワークの３次元の点群データを取得する取得ステップと、
計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定ステップと、
前記概形推定ステップにて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワーク計測方法、ワーク計測システム、およびプログラムに関する。

【背景技術】

【0002】

従来、溶接ロボットを用いて、予め定めた位置に被溶接部材（以下、ワークとも称する）を準備し、ワークの溶接が行われている。このような場合に、ワークの自動溶接などを目的として、ワークの設置状態の把握を容易にし、省力化することが求められている。ワークの位置を把握する際には、例えば、３次元センサを用いて取得される３次元データが用いられている。

【0003】

３次元データを用いる例として、特許文献１では、３次元ＣＡＤデータから２つの部材を特定し、その共有エッジを抽出して溶接線を特定することが開示されている。また、特許文献２では、事前に計測された基準対象物の基準３次元モデルデータと、作業時の実際の対象物の３次元データとから差分値を求める構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１５６５６６号公報

【特許文献2】特許第６９１７０９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、特許文献１では、３次元ＣＡＤデータを利用することが前提となっており、このようなデータが無い場合には、溶接線を特定することができない。また、特許文献２では、部材のずれ量を補正することを主たる目的としており、事前に３次元モデルデータを取得する必要がある。そのため、対象物の大きさや形状の変化には対応できないという課題がある。

【0006】

本発明は、３次元ＣＡＤデータなどの事前の準備を要することなく、ワークの形状や位置を測定することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために本発明は以下の構成を有する。すなわち、複数の部材から構成されるワークの形状および位置の計測を行うワーク計測方法は、前記ワークの３次元の点群データを取得する取得ステップと、計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定ステップと、前記概形推定ステップにて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化ステップと、を有する。

【0008】

また、本発明の別の形態は以下の構成を有する。すなわち、複数の部材から構成されるワークの形状および位置の計測を行うワーク計測システムは、前記ワークの３次元の点群データを取得する取得手段と、計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定手段と、前記概形推定手段にて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化手段と、を有する。

【0009】

また、本発明の別の形態は以下の構成を有する。すなわち、プログラムは、コンピュータに、複数の部材から構成されるワークの３次元の点群データを取得する取得ステップと、計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定ステップと、前記概形推定ステップにて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化ステップと、を実行させる。

【発明の効果】

【0010】

本発明により、３次元ＣＡＤデータなどの事前の準備を要することなく、ワークの形状や位置を測定することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係るワーク計測システムの全体概要を示すブロック図。

【図2】本発明の一実施形態に係る情報処理装置の機能構成の例を示すブロック図。

【図3】本発明の一実施形態に係る点群データの例を示す例図。

【図4】本発明の一実施形態に係るワークの例を示す概略図。

【図5】本発明の一実施形態に係る全体処理のフローチャート。

【図6】本発明の一実施形態に係る概形推定処理のフローチャート。

【図7】本発明の一実施形態に係る概形推定処理を説明するための説明図。

【図8】本発明の一実施形態に係る概形推定処理を説明するためのグラフ図。

【図9】本発明の一実施形態に係る最適化処理のフローチャート。

【図10】本発明の一実施形態に係る計測結果を説明するための説明図。

【図11】本発明の一実施形態に係る計測結果を説明するための説明図。

【図12】本発明の一実施形態に係る計測結果を説明するための説明図。

【図13】本発明の一実施形態に係る補足情報の算出を説明するための説明図。

【発明を実施するための形態】

【0012】

以下、本発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本発明を説明するための一実施形態であり、本発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。

【0013】

＜第１の実施形態＞
以下、本発明に係る一実施形態について図面を参照しつつ説明する。なお、以下の説明に用いる各図にてｘ軸、ｙ軸、ｚ軸により示す３次元座標軸はそれぞれ対応しているものとする。以下の説明では、ｘ軸方向とｙ軸方向からなる平面を水平面とし、これに直交するｚ軸方向を高さ方向とする。

【0014】

［計測システムの構成］
図１は、本実施形態に係るワーク計測システム１の全体概要を示す。ワーク計測システム１は、本実施形態に係るワーク計測方法を実装可能なシステムであり、情報処理装置１００、および、３次元センサ２００を含んで構成される。また、ワーク計測システム１の周囲には、計測対象であるワーク３００が配置される。本実施形態では、ワーク３００は１または複数の部材から構成されてよい。ワーク計測システム１は、例えばタッチセンシング可能な溶接ロボットを含んで構成される溶接システムと一体となった構成または接続された構成として用いられてよい。タッチセンシング機能は、ワーク３００の位置や形状を把握するための機能である。本実施形態では、ワーク計測システム１が、タッチセンシング機能を有する溶接システム４００に接続されて連携可能な構成を例に挙げて説明する。

【0015】

情報処理装置１００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などから構成される。なお、本実施形態に係るワーク計測システム１が、溶接システム４００と一体となった構成である場合には、情報処理装置１００は不図示の溶接ロボットを制御するための制御装置と一体であってもよい。情報処理装置１００は、制御部１０１、記憶部１０２、通信部１０３、およびＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部１０４を含んで構成される。

【0016】

制御部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、あるいはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうち少なくとも１つを用いて構成されてよい。また、記憶部１０２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性や不揮発性の記憶装置により構成される。制御部１０１が、記憶部１０２に記憶された各種プログラムを読み出して実行することにより、後述の各種機能を実現する。

【0017】

通信部１０３は、外部装置や各種センサとの通信を行うための部位である。通信部１０３による通信は有線／無線は問わず、また、その通信規格を限定するものでもない。ＵＩ部１０４は、ユーザからの操作を受け付けたり、計測結果を表示したりする。ＵＩ部１０４は、例えば、マウスやキーボードなどを含んでもよいし、表示部と操作部が一体となったタッチパネルディスプレイなどで構成されてもよい。情報処理装置１００内の各部位は、不図示の内部バス等により通信可能に接続される。

【0018】

３次元センサ２００は、３次元データとしての点群データを取得するためのセンサである。３次元センサ２００としては、例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、または、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）などが利用可能である。上記各センサは、それぞれ異なる特性を有するため、計測環境や計測対象であるワーク３００に応じて使い分けてよい。

【0019】

ＴｏＦカメラは、レーザ光を計測対象に照射し、その反射したレーザ光を撮像素子で計測することで画素ごとに距離を算出する。ＴｏＦカメラの計測可能距離は、数十ｃｍ～数ｍ程度となる。ステレオカメラは、複数（例えば、２台）のカメラにて撮影された複数の画像を用いてそれらの視差から距離を算出する。ステレオカメラの計測可能距離は、数十ｃｍ～数ｍ程度となる。ＬｉＤＡＲは、レーザ光を周囲に照射し、反射したレーザ光を計測することで距離を算出する。ＬｉＤＡＲの計測可能距離は、数十ｃｍ～数十ｍ程度となる。

【0020】

本実施形態では、３次元センサ２００としてＴｏＦカメラを用いた例を説明する。本実施形態において、３次元センサ２００は、ワーク３００の上方に設置され、下方側に位置するワーク３００を撮影可能である。なお、３次元センサ２００は固定されていてもよいし、撮影に応じて上下左右の位置や撮影角度、撮影条件を調整可能に構成されていてもよい。

【0021】

［機能構成］
図２は、本実施形態に係るワーク計測方法に係る処理を実行する情報処理装置１００の機能構成の例を示す図である。図２に示す各部位は、情報処理装置１００の制御部１０１が記憶部１０２に記憶されたプログラムを読み出して、実行することにより実現されてよい。情報処理装置１００は、点群データ取得部１５１、前処理部１５２、概形推定処理部１５３、バウンディングボックス最適化部１５４、補足情報導出部１５５、補正処理部１５６、センシング情報取得部１５７、およびデータ管理部１５８を含んで構成される。

【0022】

点群データ取得部１５１は、３次元センサ２００により撮影されたワーク３００の３次元データである点群データを取得する。前処理部１５２は、取得した点群データに対して前処理を行う。ここでの前処理は、利用する点群データに応じて異なっていてよく、例えば、フィルタ処理、外れ値除去処理、クラスタリング処理、座標変換処理などが挙げられる。

【0023】

概形推定処理部１５３は、点群データにて示されるワーク３００の概形を、バウンディングボックスを用いて推定する処理を行う。ここでの概形とは、点群データに基づいて近似されたワーク３００の形状に相当する。バウンディングボックス最適化部１５４は、概形推定処理部１５３にて推定されたワーク３００の概形を示すバウンディングボックスに基づいて、ワーク３００の形状をより精度良く特定するために最適化する。本実施形態に係るバウンディングボックスの具体例については後述するが、ワーク３００を構成する１または複数の部材の形状を表すための１または複数の矩形や円形などの境界枠を示す。バウンディングボックスは、２次元すなわち平面形状で示されてもよいし、３次元すなわち立体形状で示されてもよい。したがって、バウンディングボックスは、直線から構成される矩形形状に限定されるものではなく、その一部に曲線が含まれてもよい。また、バウンディングボックスとワーク３００を構成する部材とは、必ずしも１対１の関係となるものではなく、ワーク３００の形状や点群データの撮影方向などに応じて、１対多の関係もあり得る。補足情報導出部１５５は、３次元座標におけるワーク３００の位置座標を特定するための補足情報を導出する。補足情報の例については後述する。

【0024】

補正処理部１５６は、バウンディングボックス最適化部１５４にて得られたバウンディングボックスに対し、溶接システム４００により提供されるタッチセンシング機能にて取得された情報に基づいて、計測精度をより向上させるための補正処理を行う。センシング情報取得部１５７は、補正処理部１５６にて利用するための計測情報を、溶接システム４００により提供されるタッチセンシング機能を介して取得する。センシング情報取得部１５７は、溶接システム４００に対してタッチセンシング機能による計測を行わせるような構成であってよい。データ管理部１５８は、３次元センサ２００やタッチセンシング機能を介して取得した各種データや計測動作の中で生成したデータを保持、管理する。本実施形態のワーク計測方法によってワークの形状および位置を把握した後に、タッチセンシングを行うことにより、ワークの位置をより精度よく把握できるため、精度の高い溶接線の位置を把握し、ロボット溶接をすることが可能となる。

【0025】

［点群データ］
図３は、３次元センサ２００により、ワーク３００を撮影することで得られる点群データの例を示す。ここでは、ワーク３００に対して、上方向から撮影した例を斜め方向から見た図として示している。本例のワーク３００は、上方から見た場合、中心に位置する１つのダイヤフラムと、その四方に延びる４つの梁フランジからなる十字形状のワークである。ワーク３００としては、鉄骨仕口ワークを例に挙げている。

【0026】

ワーク３００の形状、構成、寸法等は特に限定するものでは無い。例えば、ダイヤフラムと梁フランジからなる構成の例としては、１つのダイヤフラムと３つの梁フランジからなるＴ字、１つのダイヤフラムと２つの梁フランジからなるＬ字やＩ字がある。また、ダイヤフラムと梁フランジの接続位置での段差の有無や、ダイヤフラムと梁フランジの接続位置におけるオフセットなどが構成上の要素として挙げられる。

【0027】

図４は、本実施形態に係るワーク計測方法において、ワーク３００の計測対象となる要素を説明するための図である。ここでは、１つのダイヤフラム３０１と２つの梁フランジ３０２、３０３からなるＬ字のワークの例を示す。中心点３０１ａは、ダイヤフラム３０１の中心を示す。中心線３０１ｂは、ダイヤフラム３０１の中心点３０１ａを通るｘ軸方向に沿った中心線である。中心線３０１ｃは、ダイヤフラム３０１の中心点３０１ａを通るｙ軸方向に沿った中心線である。中心線３０２ａは、梁フランジ３０２のｘ軸方向に沿った中心線であり、梁フランジ３０２の短手の中心位置に相当する。中心線３０３ａは、梁フランジ３０３のｙ軸方向に沿った中心線であり、梁フランジ３０３の短手の中心線に相当する。中心線３０２ａと中心線３０１ｂとは平行であるものとし、その差分をオフセットＯＦＦ１として示す。中心線３０３ａと中心線３０１ｃとは平行であるものとし、その差分をオフセットＯＦＦ２として示す。以下の説明では、梁フランジの短手を幅とも称し、長手を長さとも称する。

【0028】

以下の説明では、上述したような点群データやワークの形状を例に挙げて説明する。しかし、このような形状のワークに限定するものではなく、そのほかの形状のワークを対象として本発明を適用することが可能である。

【0029】

［処理フロー］
以下、本実施形態に係るワーク計測処理の流れを説明する。図５は、本実施形態に係るワーク計測処理の処理全体の流れを示すフローチャートである。各工程は、図２に示す情報処理装置１００の各部位が連携することで実現される。ここでは、説明を簡略化するために、処理主体を情報処理装置１００としてまとめて記載する。本処理フローが開始される前に、ワーク３００が、３次元センサ２００にて撮影可能な位置に配置されているものとする。

【0030】

ステップＳ５０１にて、情報処理装置１００は、３次元センサ２００を用いて撮影された３次元データである点群データを取得する。ワーク３００が所定の寸法よりも小さい場合には、１回の撮影動作にて点群データが取得されてよい。また、ワーク３００が所定の寸法よりも大きい場合には、複数回の撮影動作により複数の点群データを取得し、それらを統合してもよい。また、ワーク３００が鉄骨仕口などの所定の形状を有する場合には、死角を極力生じさせないように、ワーク３００の真上から撮影することが好ましい。本工程において、撮影の際には、情報処理装置１００が撮影位置や撮影角度を調整するような構成であってもよいし、ワーク計測システム１の利用者が指定するような構成であってもよい。

【0031】

ステップＳ５０２にて、情報処理装置１００は、ステップＳ５０１にて取得した点群データに対して前処理を行う。前処理としては、例えば、フィルタ処理、外れ値除去処理、クラスタリング処理、座標変換処理などが挙げられる。なお、本工程における前処理は、ステップＳ５０１にて取得した点群データの構成に応じて必要な処理が実行されればよく、前処理が省略されてもよい。

【0032】

フィルタ処理は、例えば、公知のＶｏｘｅｌ Ｇｒｉｄフィルタなどを用いて、点群データに含まれる点群を一定の間隔にてリサンプリングすることで、所定体積当たりの点群密度を一定にする処理であってよい。外れ値除去処理は、計測精度を低下させうる外れ値を除去する処理であってよい。外れ値は、例えば、隣接点群の平均と分散等の統計情報から特定してもよいし、所定半径内に存在する隣接点群の数から特定されてもよい。クラスタリング処理は、例えば、点群データに含まれる点群を距離等に基づいて複数のグループに分割し、属する点群の数が所定の閾値以下のグループを削除することで、ワーク３００の形状を示す点群以外の点群を除去する処理であってよい。座標変換処理は、３次元センサ２００の撮影位置や撮影角度に基づいて、３次元センサ２００の座標系から所定の座標系へ変換する。所定の座標系は、例えば、タッチセンシング機能にて利用する座標系であってもよいし、図１に示すようなワーク３００を設置した面をｘｙ平面として原点や座標軸が規定された座標系であってもよい。座標系の変換に要するパラメータは、事前のキャリブレーション処理などで導出しておいてよい。

【0033】

ステップＳ５０３にて、情報処理装置１００は、ステップＳ５０２にて処理された点群データを用いて概形推定処理を行う。本工程の詳細については、図６～図８を用いて後述する。本工程の結果、ワーク３００の概形を示す１または複数のバウンディングボックスが得られる。

【0034】

ステップＳ５０４にて、情報処理装置１００は、ステップＳ５０３にて得られたバウンディングボックスに対して、最適化処理により、補正を行う。本工程の詳細については、図９を用いて後述する。

【0035】

ステップＳ５０５にて、情報処理装置１００は、３次元座標におけるワーク３００の位置座標を特定するための補足情報を導出する。補足情報は、例えば、ワーク３００を構成する各部位の高さ情報が含まれる。例えば、図３に示すように、ワーク３００を構成するダイヤフラムや梁フランジの上面は必ずしも水平であるとは限らず、その位置によっては高さが異なり得る。そのため、ワーク３００の形状をより正確に測定するために、補足情報として高さ情報を含めてよい。そのほか、各部位の面と、水平面とがなす角度などを補足情報として含めてもよい。

【0036】

図１３は、補足情報として、ｚ軸方向におけるパラメータ、すなわち、高さの算出を説明するための説明図である。本例では、図３と同様、ワーク３００が１のダイヤフラムと４つの梁フランジから構成される十字形状のワークである例を示している。ダイヤフラムについては、周辺部は点群データの計測精度が低いものとして、境界から所定の範囲に位置する周辺部の点群データを除いた領域１３０１内の高さ情報を用いて、ダイヤフラムの高さを算出する。梁フランジについても周辺部は点群データの計測精度が低いものとして扱う。更に、ダイヤフラムと近接した位置の高さ情報を用いる。したがって、梁フランジそれぞれの高さを算出する場合、領域１３０２の点群データの高さ情報を用いる。

【0037】

ステップＳ５０６にて、情報処理装置１００は、タッチセンシング機能にて取得された情報に基づいて補正処理を行う。本工程における動作は、ここまでの処理により得られた計測結果に基づいて、情報処理装置１００がタッチセンシング機能によるタッチセンシング動作および補正処理を行うか否かを判定した上で実行してもよい。または、ワーク計測システム１の利用者が、本工程を行うか否かを指定するような構成であってもよい。したがって、本工程は、省略されてもよい。そして、本処理フローを終了する。

【0038】

（概形推定処理）
図６は、本実施形態に係る概形推定処理のフローチャートであり、図５のステップＳ５０３の工程に対応する。まず、概形推定処理の全体概要を、図７および図８を用いて説明する。

【0039】

図７は、ワーク３００を３次元センサ２００にて直上から撮影した場合の点群データを示す。つまり、図３に示すような点群データを、２次元平面上に投影するように変換した状態である。本例では、ワーク３００は十字形状を有する。概形推定処理では、計測対象であるワーク３００の形状に応じて規定される複数の方向から順に概形推定を行う。例えば、ワーク３００が十字形状である場合には、ｘ軸方向に沿って右から左、左から右、ｙ軸方向に沿って上から下、下から上の４方向による動作を行う。図７の場合、ｘ軸に沿って左から右の例を示している。また、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）７０１を設定し、ＲＯＩ７０１をずらしながら概形推定を行う。図７では、ワーク３００を構成する４つの梁フランジのうち、図中左側の梁フランジの幅がｘ軸方向に沿って、左から右に向かって概形として推定されていく例を示している。

【0040】

図８は、図７に示す概形推定処理を説明するための図であり、図７の概形推定の結果例を示すグラフ図である。図８において、横軸は第１の軸方向（図７の例では、ｘ軸方向）における検出結果を示し、縦軸は第２の軸方向（図７の例では、ｙ軸方向）における検出結果を示す。図７の計測の例では、横軸が梁フランジの長さに対応し、縦軸が梁フランジの幅に対応する。また、横軸においては、ＲＯＩ７０１を移動させる中で、点群を検出し始めた位置を「０」として示している。各軸の数値は一例であり、計測対象のワーク３００のサイズ等に応じて変動し得る。図７に示すように梁フランジに相当する点群データを特定することで、ワーク３００を構成する梁フランジの幅、すなわち、ワーク３００の概形を推定することができる。本例の場合、梁フランジの幅は「２００」として推定することができる。更に、推定処理を継続すると、長さが「５００」の位置で急激に幅の値が上昇している。これにより、梁フランジの長さは「５００」として推定することができる。

【0041】

上述したように、図７の例では４つの方向から点群データを走査することで概形推定を行う。このとき、図８のように計測値が急激に変化したタイミングで概形推定の方向を切り替えてもよい。または、すべての点群データに対して、すべての方向から概形推定処理を行うように構成されてもよい。以下の説明では、計測値が閾値以上に変化した場合に概形推定の方向を切り替える形態について説明する。

【0042】

概形推定により得られるバウンディングボックスの情報としては、例えば、以下のような項目が挙げられる。なお、計測対象のワーク３００の形状などによっては、以下に示す情報の一部をユーザが指定するような構成であってもよい。
形状：長方形、円、立方体など
サイズ：形状が長方形の場合、長辺の長さ、短辺の長さ、中心座標、角度など
個数：形状ごとのバウンディングボックスの個数
制約：バウンディングボックス間の接続関係や位置関係など

【0043】

図６へ戻り、図７の処理に対応するフローチャートの説明を行う。本処理フローの前提として、上記のようなバウンディングボックスの情報を取得するためのワーク３００の概形推定を行う上で、ワーク３００の形状に応じた条件が規定される。例えば、ワーク３００が図３に示すような十字形状であり、鉄骨仕口ワークである場合、概形推定の際の条件は、以下のようなものが挙げられる。

【0044】

形状：長方形
サイズ：部材に応じて異なる
個数：ダイヤフラム１個＋梁フランジ２～４個
制約：梁フランジの短辺はダイヤフラムの一辺と接し、異なる梁フランジ同士は接しない

【0045】

上記のような推定条件下において、ワーク３００の概形推定が行われる。なお、概形推定の際の推定条件は、ワーク３００の形状に応じて予め規定されている。また、上記の推定条件に限定するものではなく、任意の推定条件が規定可能である。上記のような概形推定を行うための条件は、計測対象となるワーク３００の種類に応じて予め規定されていてよい。

【0046】

また、ワーク３００を構成する各部材の仕口の概形を推定するためには、ワーク３００の上方、すなわち、図１等のｚ軸方向に沿った方向から観察する必要がある。そのため、図３に示すような点群データを利用する場合には、点群データを回転させ、図７に示すような上方から俯瞰した状態となるように変換を行う。この変換は、図５のステップＳ５０２における前処理にて行われてよい。

【0047】

ステップＳ６０１～ステップＳ６１１のループ処理が、点群データに対して、図１等に示すｘｙ平面上のｚ軸周りにおける所定の角度ごとに繰り返される。ここでの所定の角度および開始角度は予め規定されているものとし、例えば、所定の角度を５度とし、開始角度をｘｙ平面上のｘ軸に沿った方向を基準とした角度（０度）としてよい。

【0048】

ステップＳ６０２にて、概形推定処理部１５３は、点群データのｘｙ平面上にてＲＯＩ７０１を設定する。ここで設定するＲＯＩ７０１は、概形推定の開始位置に相当し、走査方向すなわち、点群データのスキャン方向の数に応じて複数が設定されてよい。また、ＲＯＩ７０１のサイズは特に限定するものではなく、例えば、固定のサイズが用いられてもよいし、点群データの画像サイズに応じて規定されていてもよい。

【0049】

続いて、ステップＳ６０３～ステップＳ６０９のループ処理が、点群データに対して、ｘｙ平面上の所定の方向ごとに繰り返される。ここでは、ｘ軸の正方向、ｙ軸の正方向、ｘ軸の負方向、ｙ軸の負方向の４つのスキャン方向にて点群データに対するスキャンが行われるものとする。スキャン方向は、上記の推定条件に基づいてその方向や数が規定されていてよい。

【0050】

ステップＳ６０４にて、概形推定処理部１５３は、設定したＲＯＩ７０１における点群の幅を算出する。

【0051】

ステップＳ６０５にて、概形推定処理部１５３は、ステップＳ６０４にて算出した点群の幅と、前回のＲＯＩ７０１の位置にて算出した幅からとの差分、すなわち、変化量が閾値以上か否かを判定する。ここでの閾値は予め規定されているものとする。なお、変化量に代えて、変化率を用いて判定してもよい。変化量が閾値以上である場合（ステップＳ６０５にてＹＥＳ）、概形推定処理部１５３の処理はステップＳ６０７へ進む。一方、変化量が閾値未満である場合（ステップＳ６０５にてＮＯ）、概形推定処理部１５３の処理はステップＳ６０６へ進む。

【0052】

ステップＳ６０６にて、概形推定処理部１５３は、ＲＯＩ７０１をスキャン方向に平行移動させる。ここでのＲＯＩ７０１の移動量は、ＲＯＩ７０１のサイズ等によって予め規定されているものとする。そして、概形推定処理部１５３の処理はステップＳ６０４へ戻り、処理を繰り返す。

【0053】

ステップＳ６０７にて、概形推定処理部１５３は、変化量が閾値以上となった位置の直前の値を梁フランジの幅とし、点群を検出した位置から変化量が閾値以上となった位置までの長さを梁フランジの長さとして設定する。

【0054】

ステップＳ６０８にて、概形推定処理部１５３は、ステップＳ６０７にて設定した梁フランジの長さが閾値以下である場合、当該方向における梁フランジは無いものとして設定する。つまり、梁フランジの個数の設定を行う。

【0055】

ステップＳ６０９にて、概形推定処理部１５３は、すべてのスキャン方向からのスキャンが完了したか否かを判定する。すべてのスキャン方向からのスキャンが完了していない場合には未処理のスキャン方向に切り替え、ステップＳ６０４以降の処理を繰り返す。一方、すべてのスキャン方向からのスキャンが完了した場合、概形推定処理部１５３の処理はステップＳ６１０へ進む。

【0056】

ステップＳ６１０にて、概形推定処理部１５３は、各梁フランジの中心線と、ｘｙ平面上におけるｘ軸またはｙ軸とがなす角を計算する。

【0057】

ステップＳ６１１にて、概形推定処理部１５３は、すべての回転角度の計算処理が完了したか否かを判定する。すべての回転角度の計算処理が完了していない場合には、次の角度に回転させて、ステップＳ６０２以降の処理を繰り返す。一方、すべての回転角度の計算処理が完了した場合には、概形推定処理部１５３の処理はステップＳ６１２へ進む。

【0058】

ステップＳ６１２にて、概形推定処理部１５３は、ワーク３００を構成する各梁フランジの中心線とｘ軸またはｙ軸がなす角の平均が最小となる角度の回転位置をワークの設置角度とする。すなわち、ｘｙ平面上において、ｘ軸およびｙ軸と、各梁フランジとが平行な位置関係となるように、ｚ軸周りの点群データの回転角を決定する。

【0059】

ステップＳ６１３にて、概形推定処理部１５３は、点群全体の幅および長さと、算出した各梁フランジの長さから、ワーク３００を構成するダイヤフラムの寸法を算出する。ダイヤフラムの寸法の算出は、上記の推定条件に基づいて算出することができる。これにより、ワーク３００全体の概形を示す１または複数のバウンディングボックスを生成することができる。例えば、図７の形状を有するワーク３００の場合、１つのダイヤフラムおよび４つの梁フランジそれぞれに対応した、計５つのバウンディングボックスを生成することができる。言い換えると、バウンディングボックスのパラメータにより、ワーク３００を構成する各部材の概形が特定される。そして、本処理フローを終了する。

【0060】

（バウンディングボックス最適化処理）
図９は、本実施形態に係るバウンディングボックス最適化処理のフローチャートであり、図５のステップＳ５０４の工程に対応する。

【0061】

ステップＳ９０１にて、バウンディングボックス最適化部１５４は、図５のステップＳ５０３における概形推定処理により得られた各バウンディングボックスのパラメータを初期値として設定する。つまり、概形推定処理により得られたパラメータを基準とし、最適化処理により、その計測精度を向上させる。

【0062】

ステップＳ９０２にて、バウンディングボックス最適化部１５４は、評価関数を用いて評価値を計算する。本実施形態では、評価関数として、点群の点数と点群密度による重み付き線形和を示す以下の式（１）を用いる。
Ｆ（ｘ）＝Ｗ_ＮＮ（ｘ）＋Ｗ_ＤＤ（ｘ） ・・・（１）
Ｗ_Ｎ，Ｗ_Ｄ：重み係数
ｘ：最適化パラメータ
Ｎ（ｘ）：バウンディングボックス内に存在する点数
Ｄ（ｘ）：バウンディングボックス内の点群密度
最適化パラメータｘは、例えば、バウンディングボックスの位置、角度、幅、長さなどが用いられてよい。より具体的には、図４に示すような構成のワーク３００の例の場合、ワーク３００のｚ軸周りの角度、ダイヤフラムの中心座標、梁フランジの幅、長さ、オフセットなどが最適化パラメータとして用いられてよい。

【0063】

ステップＳ９０３にて、バウンディングボックス最適化部１５４は、ステップＳ９０１にて設定した初期値と、ステップＳ９０２にて算出した評価値とに基づき、評価値の変化量を算出する。本実施形態では、初期値から各最適化パラメータを所定間隔にて変化させながら、評価値の変化量を算出する。

【0064】

ステップＳ９０４にて、バウンディングボックス最適化部１５４は、ステップＳ９０３にて算出した勾配ベクトルに基づいて、パラメータを更新する。ここでは、例えば、公知の最急降下法などの手法を用いてパラメータを更新してよい。

【0065】

ステップＳ９０５にて、バウンディングボックス最適化部１５４は、パラメータを更新した結果、その変化量が所定の範囲にて収束、または、更新回数が所定の閾値に達したか否かを判定する。所定の範囲にて収束、または、更新回数が所定の閾値に達した場合（ステップＳ９０５にてＹＥＳ）、本処理フローを終了する。それ以外の場合は（ステップＳ９０５にてＮＯ）、バウンディングボックス最適化部１５４の処理はステップＳ９０２へ戻り、処理を繰り返す。

【0066】

［処理結果説明］
図１０～図１２は、本実施形態に係るワーク計測方法による計測結果を示す図である。ここでは、本実施形態に係るワーク計測方法と比較する従来方法として、公知のＯＢＢ（Ｏｒｉｅｎｔｅｄ Ｂｏｕｎｄｉｎｇ Ｂｏｘ）による手法を例に挙げて説明する。

【0067】

図１０は、あるワークの点群データ１０００を用いた計測結果としてのバウンディングボックスの例を示す。点群データ１０００には、周辺に一定のノイズが含まれている。バウンディングボックス１００１は従来方法により得られた計測結果を示し、バウンディングボックス１００２は本実施形態に係るワーク計測方法により得られた計測結果を示す。従来方法では、ノイズに影響された結果、実際のワークを示す点群よりも大きな範囲を示している。一方、本実施形態に係るワーク計測方法では、より実際のワークの形状に近いバウンディングボックス１００２が得られている。

【0068】

図１１は、あるワークの点群データ１１００を用いた測定結果としてのバウンディングボックスの例を示す。点群データ１１００では、３次元カメラによるワークの撮影が正しく行われず、一部に欠損１１０１が生じている。バウンディングボックス１１０２は従来方法により得られた計測結果を示し、バウンディングボックス１１０３は本実施形態に係るワーク計測方法により得られた計測結果を示す。従来方法では、欠損１１０１に影響された結果、主軸が正しく特定できず、実際のワークを示す点群に対し角度やサイズに誤差が生じている。一方、本実施形態に係るワーク計測方法では、欠損１１０１の影響を抑制し、より実際のワークの角度やサイズに近いバウンディングボックス１１０３が得られている。

【0069】

図１２は、あるワークの点群データ１２００を用いた測定結果としてのバウンディングボックスの例を示す。点群データ１２００では、ワークの２カ所に付属品が備えられており、その付属品に対応する点群１２０１が含まれている。バウンディングボックス１２０２は従来方法により得られた計測結果を示し、バウンディングボックス１２０３は本実施形態に係るワーク計測方法により得られた計測結果を示す。従来方法では、点群１２０１に影響された結果、実際のワークを示す点群よりも大きな範囲を示している。一方、本実施形態に係るワーク計測方法では、所定のサイズよりも小さい点群１２０１は除去してその影響を抑制し、より実際のワークの形状に近いバウンディングボックス１２０３が得られている。

【0070】

以上、本実施形態により、３次元ＣＡＤデータなどの事前の準備を要することなく、ワークの形状や位置を測定することが可能となる。また、従来の方法よりも、より精度良くワークの形状を把握することが可能となる。

【0071】

＜その他の実施形態＞
上記の実施形態に示したようなワーク計測方法を、溶接ロボットを含む溶接システムに適用することが可能である。これにより、例えば、バウンディングボックスの情報に基づいて、対象ワークに応じて自動的に溶接線を抽出することが可能となる。

【0072】

また、上記の実施形態では、ワークの上方からの視点に基づいて形状を測定した例を示したが、これを多方向から計測するような構成であってもよい。これにより、死角等の影響を抑制して、より精度良く計測が可能となる。

【0073】

本実施形態は、上述した１以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

【0074】

また、本実施形態は、１以上の機能を実現する回路によって実現してもよい。なお、１以上の機能を実現する回路としては、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。

【0075】

以上の通り、本明細書には次の事項が開示されている。
（１） 複数の部材から構成されるワークの形状および位置の計測を行うワーク計測方法であって、
前記ワークの３次元の点群データを取得する取得ステップと、
計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定ステップと、
前記概形推定ステップにて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化ステップと、
を有するワーク計測方法。
この構成によれば、３次元ＣＡＤデータなどの事前の準備を要することなく、ワークの形状や位置を測定することが可能となる。

【0076】

（２） 前記条件は、前記ワークに対応する境界枠の形状、サイズ、個数、および制約のいずれかを含む、（１）に記載のワーク計測方法。
この構成によれば、ワークに対応する条件として、形状、サイズ、個数、および制約のいずれかに基づいて、当該ワークのバウンディングボックスを推定することが可能となる。

【0077】

（３） 前記評価関数は、前記境界枠に含まれる点群の点数と点群密度による重み付き線形和である、（１）または（２）に記載のワーク計測方法。
この構成によれば、バウンディングボックス内の点群の点数と点群密度による重み付き線形和に基づいて、バウンディングボックスを最適化することが可能となる。

【0078】

（４） 前記最適化ステップにおいて、前記境界枠の寸法、位置、角度の少なくともいずれかのパラメータを最適化する、（１）から（３）のいずれかに記載のワーク計測方法。
この構成によれば、バウンディングボックスの寸法、位置、角度の少なくともいずれかの最適化を行うことが可能となる。

【0079】

（５） 前記概形推定ステップにおいて、前記点群データを複数の方向から走査することにより、前記境界枠を推定する、（１）から（４）のいずれかに記載のワーク計測方法。
この構成によれば、より精度良く、ワークの概形を推定することが可能となる。

【0080】

（６） 前記概形推定ステップにおいて、前記点群データを２次元平面に投影して概形を推定する、（１）から（５）のいずれかに記載のワーク計測方法。
この構成によれば、点群データを２次元平面に投影した所望の方向からの形状を精度良く推定することが可能となる。

【0081】

（７） 前記複数の部材に対応する、前記２次元平面に直交する軸方向の位置を導出する導出ステップを更に有する、（６）に記載のワーク計測方法。
この構成によれば、ワークを構成する各部材における、２次元平面に対する高さ方向の情報を更に導出することが可能となる。

【0082】

（８） 前記境界枠は、直線または曲線を含んで構成される、（１）から（７）のいずれかに記載のワーク計測方法。
この構成によれば、任意の形状のバウンディングボックスを用いてワークの形状を特定することが可能となる。

【0083】

（９） 前記境界枠は、２次元または３次元にて示される、（１）から（８）のいずれかに記載のワーク計測方法。
この構成によれば、２次元または３次元のバウンディングボックスを用いてワークの形状を特定することが可能となる。

【0084】

（１０） 前記ワークに対するタッチセンシングの測定結果を用いて、前記最適化ステップにて最適化された前記１または複数の境界枠を補正する補正ステップを更に有する、（１）から（９）のいずれかに記載のワーク計測方法。
この構成によれば、タッチセンシングの結果を用いて、測定精度を更に向上させることが可能となる。

【0085】

（１１） 複数の部材から構成されるワークの形状および位置の計測を行うワーク計測システムであって、
前記ワークの３次元の点群データを取得する取得手段と、
計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定手段と、
前記概形推定手段にて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化手段と、
を有するワーク計測システム。
この構成によれば、３次元ＣＡＤデータなどの事前の準備を要することなく、ワークの形状や位置を測定することが可能となる。

【0086】

（１２） コンピュータに、
複数の部材から構成されるワークの３次元の点群データを取得する取得ステップと、
計測対象のワークの形状に対応して規定された条件および前記点群データを用いて、前記複数の部材に対応する概形を示す１または複数の境界枠を推定する概形推定ステップと、
前記概形推定ステップにて推定された前記１または複数の境界枠を評価関数によるパラメータの調整により最適化し、前記複数の部材の形状を特定する最適化ステップと、
を実行させるためのプログラム。
この構成によれば、３次元ＣＡＤデータなどの事前の準備を要することなく、ワークの形状や位置を測定することが可能となる。

【符号の説明】

【0087】

１…ワーク計測システム
１００…情報処理装置
１０１…制御部
１０２…記憶部
１０３…通信部
１０４…ＵＩ部
１５１…点群データ取得部
１５２…前処理部
１５３…概形推定処理部
１５４…バウンディングボックス最適化部
１５５…補足情報導出部
１５６…補正処理部
１５７…センシング情報取得部
１５８…データ管理部
２００…３次元カメラ
３００…ワーク
４００…溶接システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】