特開 2024-13673 形状測定装置および形状測定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024013673

(43)【公開日】2024-02-01

(54)【発明の名称】形状測定装置および形状測定方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20240125BHJP

【ＦＩ】

G01B11/24 K

G01B11/24 B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022115941

(22)【出願日】2022-07-20

(71)【出願人】

【識別番号】507250427

【氏名又は名称】日立ＧＥニュークリア・エナジー株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】弁理士法人開知

(72)【発明者】

【氏名】川上 達彦

(72)【発明者】

【氏名】多羅沢 湘

(72)【発明者】

【氏名】曽我 幸弘

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB08

2F065CC14

2F065CC15

2F065DD03

2F065FF05

2F065GG07

2F065HH02

2F065JJ03

2F065MM06

2F065MM16

2F065QQ03

2F065QQ17

2F065QQ21

2F065QQ24

2F065QQ28

2F065QQ31

2F065QQ38

2F065QQ41

2F065UU05

(57)【要約】

【課題】複雑形状を有する狭隘部における溶接部の形状寸法を安定して測定することができる形状測定装置を提供すること。
【解決手段】溶接部の溶接ビードに光を照射する照明部と、溶接ビードの画像を撮影する撮影部と、溶接ビードと照明部の相対位置、及び、溶接ビードと撮影部の相対位置を変更する駆動部と、撮影部で溶接ビードに対する相対位置を異ならせて撮影した２枚以上の画像における特徴点の座標を抽出し、撮影部の位置姿勢および溶接ビードの三次元座標を算出する演算部と、演算部の演算結果に応じて駆動部を制御する制御部とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

溶接部の溶接ビードに光を照射する照明部と、
前記溶接ビードの画像を撮影する撮影部と、
前記溶接ビードと前記照明部の相対位置、及び、前記溶接ビードと前記撮影部の相対位置を変更する駆動部と、
前記撮影部で前記溶接ビードに対する相対位置を異ならせて撮影した２枚以上の画像における特徴点の座標を抽出し、前記撮影部の位置姿勢および前記溶接ビードの三次元座標を算出する演算部と、
前記演算部の演算結果に応じて前記駆動部を制御する制御部と
を備えることを特徴とする溶接部の形状測定装置。

【請求項2】

請求項１記載の形状測定装置において、
前記演算部は、
前記溶接ビードの三次元座標から前記溶接ビードの表面に対する法線方向を算出し、
前記法線方向に基づいて前記照明部または前記撮影部の位置姿勢を算出する
ことを特徴とする形状測定装置。

【請求項3】

請求項２記載の形状測定装置において、
前記演算部は、
前記照明部の位置と前記溶接ビードの表面に対する法線方向から前記溶接ビードの画像の輝度を算出し、
前記輝度に基づいて前記照明部の位置姿勢を算出する
ことを特徴とする形状測定装置。

【請求項4】

溶接部の溶接ビードに照明部から光を照射しつつ、前記溶接ビードの画像を撮影部で撮影するステップと、
前記溶接ビードに対する相対位置を異ならせて撮影した２枚以上の画像における特徴点の座標を抽出し、前記撮影部の位置姿勢および前記溶接ビードの三次元座標を算出するステップと、
算出した前記溶接ビードの三次元座標に応じて、前記溶接ビードと前記照明部の相対位置、及び、前記溶接ビードと前記撮影部の相対位置を変更するステップと
を有することを特徴とする溶接部の形状測定方法。

【請求項5】

請求項４記載の形状測定方法において、
前記溶接ビードの三次元座標から前記溶接ビードの表面に対する法線方向を算出するステップと、
前記法線方向に基づいて前記照明部または前記撮影部の位置姿勢を算出するステップと
を有することを特徴とする形状測定方法。

【請求項6】

請求項５記載の形状測定方法において、
前記照明部の位置と前記溶接ビードの表面に対する法線方向から前記溶接ビードの画像の輝度を算出するステップと、
前記輝度に基づいて前記照明部の位置姿勢を算出するステップと
を有することを特徴とする形状測定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、形状測定装置および形状測定方法に関する。

【背景技術】

【0002】

アーク溶接では、アークが母材に与える熱量を管理し、適正なビード形状を形成することが重要である。すなわち、溶接ビードの形状を確認することによって、母材が受けた熱量が適正（予想範囲内）であることを確認し、アーク溶接の品質を担保している。溶接ビードの形状を測定する従来技術としては、例えば、特許文献１および特許文献２に記載のものが知られている。

【0003】

特許文献１には、光源と、光源からの光を対象体に照射する照射体と、照射体から対象体に照射された光に基いて、対象体を撮像する撮像体と、照射体と撮像体とを対象体に沿って移動させる移動機構と、対象体の画像に基いて、対象体の形状を計測するためのデータ処理を実行する処理ユニットと、を備え、撮像体は、対象体に沿って移動する際に、所定タイミング毎に対象体の画像を取り込み、処理ユニットは、対象体の画像に基いて、対象体の断面形状と移動機構の移動態様とを決定し、断面形状と移動態様とに基いて、対象体の形状を計測する形状計測システムが開示されている。

【0004】

特許文献２には、被測定配管内を撮影する２台のテレビカメラと該テレビカメラで撮影する際の照明を行う投光装置とを備えた検出ヘッドを、被測定配管内に挿入して被測定配管内の内面形状を測定する管内面形状測定装置であって、２台のテレビカメラからの映像信号を同一タイミングでデジタル化して記録する画像記録装置と、画像記録装置に記録された画像データを読み出してステレオ法により被測定配管の内面形状を求めるステレオ法処理手段を有するデータ処理装置とを備えた管内面形状測定装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１７９９１８号公報

【特許文献2】特開２００６－６４５８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の従来技術においては、レーザ光を計測対象物に照射して取得した画像から計測対象物の断面形状を決定している。しかしながら、計測にレーザ光を用いているため、光ファイバ等の導波路を用いて計測対象部にアクセスする必要があり、許容曲げ半径の小さい導波路を用いたとしても、曲がりのある配管など複雑形状の計測対象物の計測には適用が困難であった。

【0007】

また、特許文献２に記載の従来技術においては、ステレオ法で配管の内面形状を求めており、２台のテレビカメラで計測対象物の特徴点を同時に撮影できるように、カメラ姿勢や照明位置を調整する必要がある。しかしながら、表面凹凸のある溶接ビードを２第のテレビカメラで同時に撮影しようとしても、一方のカメラで特徴点が撮影されるように調整した場合にもう一方のカメラで特徴点が撮影されるとは限らず、安定した形状測定が困難である。

【0008】

本発明は上記に鑑みてなされたものであり、複雑形状を有する狭隘部における溶接部の形状寸法を安定して測定することができる形状測定装置および形状測定方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、溶接部の溶接ビードに光を照射する照明部と、前記溶接ビードの画像を撮影する撮影部と、前記溶接ビードと前記照明部の相対位置、及び、前記溶接ビードと前記撮影部の相対位置を変更する駆動部と、前記撮影部で前記溶接ビードに対する相対位置を異ならせて撮影した２枚以上の画像における特徴点の座標を抽出し、前記撮影部の位置姿勢および前記溶接ビードの三次元座標を算出する演算部と、前記演算部の演算結果に応じて前記駆動部を制御する制御部とを備えるものとする。

【発明の効果】

【0010】

本発明によれば、複雑形状を有する狭隘部における溶接部の形状寸法を安定して測定することができる。

【図面の簡単な説明】

【0011】

【図1】形状測定装置の全体構成を概略的に示す図である。

【図2】照明部及び撮影部の測定対象に対する位置姿勢を調整する様子の一例を示す図である。

【図3】形状測定処理の内容を示すフローチャートである。

【図4】溶接ビードを様々な方向から撮影する様子を示す図である。

【図5】ＳｆＭについて説明する図である。

【図6】溶接ビードの三次元座標の具体的な計算の様子を示す図である。

【図7】第２の実施の形態における形状測定処理を示すフローチャートである。

【図8】三次元点群と法線ベクトルとに基づいて撮影部の位置姿勢を決定する様子を示す図である。

【図9】第３の実施の形態における形状測定処理を示すフローチャートである。

【図10】Ｐｈｏｎｇの反射モデルについて説明する図である。

【図11】第４の実施の形態における形状測定処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態を図面を参照しつつ説明する。なお、以下の説明においては、同一の構成要素が複数存在する場合、同一の符号（数字）の末尾にアルファベットを付して区別することがあるが、当該アルファベットを省略して当該複数の構成要素をまとめて表記することがある。すなわち、例えば、３つの法線ベクトル１５ａ，１５ｂ，１５ｃが存在するとき、これらをまとめて法線ベクトル１５と表記することがある。また、説明により接続関係が明らかな信号線等については簡単のために図示を省略することがある。

【0013】

＜第１の実施の形態＞
本発明の第１の実施の形態を図１～図６を参照しつつ説明する。

【0014】

図１は、本実施の形態に係る形状測定装置の全体構成を概略的に示す図である。

【0015】

図１において、形状測定装置１００は、照明部３と、撮影部４と、制御部５と、演算部６とから概略構成されている。

【0016】

本実施の形態においては、測定対象として配管１の溶接ビード２を例示して説明する。配管１は、同半径の２つの筒形状の部材を軸方向に溶接して形成されており、配管１の周方向に亘る溶接部分に溶接ビード２が形成されているものとする。図１における座標系７としては、配管１の長手方向にｘ軸を、ｘ軸と垂直な平面に沿う方向に互いに垂直なｙ軸およびｚ軸を設定し、特に、撮影部４の撮影方向をｚ軸方向としている。

【0017】

照明部３は、計測対象である配管１の溶接ビード２に対して光を照射するものであり、例えば、ＬＥＤ照明である。ＬＥＤ照明は、図示しない電源に接続されており、制御部５からの指令信号に応じて電源から照明部３に供給される電圧を変更することで照射する光の強度を調整することができる。

【0018】

撮影部４は、例えば、ビデオスコープ、ファイバスコープなどのカメラである。本実施の形態で撮影部４の一例として示すビデオスコープは、スコープ先端に対物レンズとイメージセンサとが設置されており、対物レンズを通してイメージセンサで受光した光の信号を画像として取得し、制御部５に送信することができる。ビデオスコープの直径は、例えば、数ｍｍと極細であり、狭隘な空間にある測定対象物であっても観察が可能である。

【0019】

照明部３及び撮影部４は、例えば、配管１の中心軸に沿ってｘ軸方向に延在するように配置され、照明部３及び撮影部４の配管１の軸方向（ｘ軸方向）の位置を調整する移動機構１０ａと、移動機構１０ａを軸周り方向に回転させることで照明部３及び撮影部４のｘ軸に対する周方向の位置（ｘ軸から見た方向）を調整する回転機構１０ｂとにより支持されている。

【0020】

また、照明部３は、照明部３のｘ軸からの距離（図１では移動機構１０ａからの距離）を調整する位置調整機構８ａと、照明部３による光の照射角度を調整する角度調整機構８ｂとを有している。同様に、撮影部４は、撮影部４のｘ軸からの距離（図１では移動機構１０ａからの距離）を調整する位置調整機構９ａと、撮影部４による撮影角度を調整する角度調整機構９ｂとを有している。なお、撮影部４の先端の角度を３６０°可変できるような先端可動機構を備えていてもよい。

【0021】

位置調整機構８ａ，９ａ及び移動機構１０ａは、例えば、ステッピングモータやサーボモータによってステージの位置を並進移動する自動ステージである。また、角度調整機構８ｂ，９ｂ及び回転機構１０ｂは、例えば、ステッピングモータやサーボモータによってステージの位置を回転移動する自動ステージである。

【0022】

照明部３及び撮影部４の位置・方向は、位置調整機構８ａ，９ａ、移動機構１０ａ、角度調整機構８ｂ，９ｂ及び回転機構１０ｂによって自由に調整することができる。

【0023】

照明部３および撮影部４は、移動機構１０ａによってｘ軸方向（配管１の軸方向）に移動され、位置調整機構８ａ，９ａによって、配管１の内面までの距離を調整されることで、配管１の溶接ビード２の近傍に位置を調整される。そして、回転機構１０ｂによる移動機構１０ａの軸周り方向の回転によって、ｘ軸の周方向に移動されることにより、照明部３および撮影部４が配管１の全周にわたる溶接ビード２に沿ってｘ軸の軸周り方向に移動し、溶接ビード２を撮影することができる。また、このとき、照明部３および撮影部４は、角度調整機構８ｂ，９ｂによって溶接ビード２に対する光の照射角度および撮影角度を調整しつつ、溶接ビード２を撮影することができる。

【0024】

制御部５は、コントローラおよび一般的なコンピュータによって実行されるプログラムによりその機能を実現するものであり、演算部６からの指令信号に基づいて、照明部３、撮影部４、位置調整機構８ａ，９ａ、移動機構１０ａ、角度調整機構８ｂ，９ｂ及び回転機構１０ｂの動作を制御する。

【0025】

演算部６は、一般的なコンピュータによって実行されるプログラムによりその機能を実現するものである。演算部６は、撮影部４によって撮影された２枚以上の溶接ビード２の画像から、溶接ビード２の特徴点の座標を抽出し、撮影部４の位置姿勢および溶接ビード２の三次元点群（後述）を算出する。

【0026】

なお、制御部５および演算部６を制御するコンピュータは、図示しないが、中央制御装置、マウス、キーボード等の入力部、ディスプレイ等の表示部、メモリ、ハードディスク等の記憶部および通信部を備えている。そして、記憶部に読み込んだプログラムを実行することにより、制御部５および演算部６の機能を実現する。

【0027】

図２は、照明部及び撮影部の測定対象に対する位置姿勢を調整する様子の一例を示す図である。図２においては、図１のｘ軸方向（配管１の軸方向）から見た配管１、溶接ビード２、及び形状測定装置１００を抜き出して示している。

【0028】

図２に示すように、撮影部４は、配管１の溶接ビード２の画像を取得する。このとき、撮影部４は、位置調整機構９aによってｙｚ平面に沿う方向の位置（撮影範囲１１の溶接ビード２との距離）を調整し、角度調整機構９ｂによってｘ軸周り方向の角度（撮影範囲１１の溶接ビード２に対する角度）を調整する。これにより、撮影部４は、溶接ビード２を撮影するのに好適な撮影倍率を保ちながら、様々な角度から溶接ビード２の画像を取得することができる。

【0029】

また、照明部３は、撮影部４の撮影範囲１１の近傍に光を照射する。このとき、照明部３は、位置調整機構８aによってｙｚ平面に沿う方向の位置（撮影範囲１１の溶接ビード２に対する位置）を調整し、角度調整機構８ｂによってｘ軸周り方向の角度（撮影範囲１１の溶接ビード２に対する角度）を調整する。これにより、溶接ビード２を撮影するのに好適な明るさとなるように照明部３の位置姿勢に設定することができる。

【0030】

図３は、形状測定処理の内容を示すフローチャートである。

【0031】

図３において、形状測定装置１００は、まず、照明部３および撮影部４を計測対象である配管１の溶接ビード２の計測位置まで移動させる（ステップＳ１０１）。

【0032】

計測位置では、撮影部４によって取得した画像を確認しながら、溶接ビード２が明瞭に観察されるように照明部３の位置姿勢を調整する。溶接ビード２は基本的に凸形状をしていて、金属光沢があるため、照明部３の強度、位置姿勢によって敏感に画像の見え方が変化する。そのため、照明部３の強度、位置姿勢を、溶接ビード２の模様が的確に見えるように、すなわち、撮影部４で所望の画像が撮影できるように調整する。

【0033】

なお、照明部３および撮影部４の計測位置までの移動、及び位置姿勢の調整は、予めプログラムによって特定の位置を指定することで行っても良いし、撮影部４によって取得した画像を確認しながら手動で行っても良い。

【0034】

続いて、撮影部４によって溶接ビード２の撮影範囲１１の画像を取得する（ステップＳ１０２）。撮影部４で撮影した画像は、撮影部４に接続されたコンピュータに転送され、図示しない記憶装置に保存される。

【0035】

ステップＳ１０１，Ｓ１０２の処理を、溶接ビード２に対する撮影部４の位置・角度を変更しながら繰り返し、溶接ビード２を様々な角度から撮影した画像を取得する。

【0036】

図４は、溶接ビードを様々な方向から撮影する様子を示す図である。

【0037】

溶接ビード２は基本的に凸形状をしているため、図４に示すように、凸形状の表面と撮影部４とが正対するように、すなわち、溶接ビード２の表面における法線側から撮影部４で撮影するように撮影部４の位置姿勢を調整する。撮影部４を溶接ビード２の表面に対して正対するように配置し、撮影部４と溶接ビード２の距離を一定に保った状態で複数の画像を取得することにより、撮影される画像の歪みが小さくなるとともに、撮影した複数の画像の倍率がほぼ等しくなり、後述する特徴点同士の対応付けにおいて誤差を抑制できるため、溶接ビード２の形状測定を高精度に行うことができる。

【0038】

ステップＳ１０２の処理が終了すると、続いて、ステップ１０２で取得した溶接ビード２の複数画像について特徴点の抽出を行う（ステップＳ１０３）。抽出する特徴量は、例えばＳＩＦＴ（Scale-Invariant Feature Transform）である。ＳＩＦＴは、拡大・縮小によるスケール変化に対して不変なことから、ロバスト性の高い特徴量として知られている。

【0039】

続いて、ステップＳ１０３で抽出した特徴量と、溶接ビード２に対する撮影部４の位置姿勢を異ならせて取得した複数の画像から抽出した特徴点とを比較し、複数の画像における特徴点同士を対応づける（ステップＳ１０４）。複数の画像のペアは、特徴量が十分な点数で類似していれば、対応しているとみなすことができる。

【0040】

続いて、ステップＳ１０４で対応付けした特徴点同士の関係に基づいて、バンドル調整により、撮影部４の姿勢および溶接ビード２の三次元座標を算出する（ステップＳ１０５）。バンドル調整には、例えば、ＳｆＭ（Structure from Motion）アルゴリズムを用いる。

【0041】

図５は、ＳｆＭについて説明する図である。

【0042】

図５に示すように、ＳｆＭにおいては、計測対象物に対してカメラの姿勢を変更して撮影したｍ枚の画像から、計測対象物の三次元座標Ｘを推定する。ここで、ｉ番目の画像（ｉ＝１，・・・，ｍ）に投影される三次元座標Ｘの座標は下記（式１）を満たすと推定される。

【0043】

【数1】

【0044】

ここで、上記（式１）において、λはスケーリングファクターであり、画像のピクセル単位を長さ単位に換算する係数である。λは、特定の２点のカメラ間距離や、特定の２点の三次元座標の距離が既知であれば一意に定めることができる。

【0045】

さらに、上記（式１）のＰはカメラ行列であり、下記（式２）で表される。

【0046】

【数2】

【0047】

上記（式２）のように、カメラ行列Ｋは、カメラの焦点距離ｆ、光学的中心の位置（ｃｘ、ｃｙ）、画像歪みの大きさを表すせん断係数ｓ、及び、異方性定数aで構成されており、これらは内部パラメータと呼ばれる。また、Ｒ，Ｔは、カメラの姿勢を表す回転行列および並進ベクトルであり、これらは外部パラメータと呼ばれる。

【0048】

図５に示すように、上記（式１）により推定したｉ番目の画像への三次元座標Ｘの投影座標（推定座標）と、ｉ番目の画像上で観測された計測対象物の三次元座標Ｘの投影座標（観測座標）との間には、誤差ｅｉが存在する。バンドル調整では、誤差ｅｉを最小化することにより、カメラ行列Ｐおよび三次元座標Ｘを決定する。誤差の尺度としてｅｉの２乗距離の和を用いて、再投影誤差Ｅを下記（式３）のように定義する。

【0049】

【数3】

【0050】

このとき、バンドル調整は、上記（式３）で示す再投影誤差Ｅの最小化問題に帰着される。再投影誤差Ｅの最小化には、一般的に、ガウス・ニュートン法やレベンバーグ・マカート法のような最小自乗アルゴリズムが用いられる。すなわち、最小自乗アルゴリズムにより解を更新し、再投影誤差Ｅの変化量あるいは三次元座標Ｘの変化量が収束するまで計算を行うことで、結果として計測対象物の三次元座標Ｘを得ることができる。

【0051】

図６は、溶接ビードの三次元座標の具体的な計算の様子を示す図である。

【0052】

図６に示すように、溶接ビード２の凸形状に対して、撮影部４の角度（姿勢）を変えて撮影した画像４０ａ，４０ｂ，４０ｃの３枚の画像を用いてバンドル調整を行うと、撮影部４の撮影時の実際の姿勢４ａ，４ｂ，４ｃの情報と、溶接ビード２の三次元点群情報とを得ることができる。

【0053】

以上のように構成した本実施の形態における効果を説明する。

【0054】

一般に、バンドル調整に用いたアルゴリズムのＳｆＭには、精度よく三次元座標を推定するために下記（１）～（３）の条件が必要である。
（１）計測対象物を撮影した画像から特徴点を多数抽出できる。
（２）画像中に明るさが大きく変化する部分が少ない。
（３）カメラの位置姿勢を少しずつ変えた画像を用いる。

【0055】

溶接ビードには、溶融金属が凝固する際に特徴的な模様や表面の凹凸が形成されるため、上記（１）の条件は満たされる。本発明においては、上記のような溶接ビードの特徴に着目し、ＳｆＭを適用することを想起した。

【0056】

一方、表面凹凸と金属光沢のある溶接ビードにおいて上記（２）の条件を満たすためには、照明条件の調整が必要である。そこで、本発明の形状測定装置においては、溶接ビードと照明部の相対位置姿勢、または、溶接ビードと撮影部の相対位置姿勢を変更可能とし、表面凹凸のある溶接ビードでも特徴点を安定して撮影できるものとした。これにより上記（２）の条件だけではなく上記（３）の条件も満たすことができ、ＳｆＭによる溶接ビードの形状測定を安定して高精度行うことができる。

【0057】

また、本実施の形態においては、溶接ビードに光を照射する照明部および溶接ビードの画像を撮影する撮影部の溶接ビードに対する相対位置を変更する駆動部を設け、ＳｆＭによる溶接ビードの形状測定を行うように構成したので、複雑形状を有する狭隘部における溶接部の形状寸法を安定して測定することができる。すなわち、ビデオスコープなどの許容曲げ半径の大きいカメラを使用するため、曲がりのある配管など複雑形状を有する狭隘部の溶接部にも適用することができる。さらに、２枚以上の画像を用いて再構成誤差を最小とするようなバンドル調整を行うため、溶接ビードの三次元座標を高精度に算出することができる。

【0058】

＜第２の実施の形態＞
本発明の第２の実施の形態を図７及び図８を参照しつつ説明する。

【0059】

本実施の形態は、第１の実施の形態の処理に加え、撮影部の位置姿勢の決定を行うものである。本実施の形態において、第１の実施の形態と同様のものには同じ符号を用い、説明を省略する。

【0060】

図７は、本実施の形態における形状測定処理を示すフローチャートである。また、図８は、三次元点群と法線ベクトルとに基づいて撮影部の位置姿勢を決定する様子を示す図である。

【0061】

図７において、形状測定装置１００は、まず、ステップＳ１０１～Ｓ１０５の処理を行う。ステップＳ１０１～Ｓ１０５の処理は、第１の実施の形態の図３で説明した処理内容と同様であり、説明を省略する。

【0062】

形状測定装置１００は、ステップＳ１０５の処理が終了すると、続いて、三次元点群１４から法線ベクトル１５を算出する（ステップＳ１０６）。法線ベクトル１５の計算方法としては、例えば、ベクトルの外積、或いは、主成分分析を利用する方法などが知られている。

【0063】

ベクトルの外積を利用する方法では、三次元点群１４から三角形メッシュを生成し、メッシュの３つの頂点同士を結ぶベクトルの外積を計算することで法線ベクトル１５を算出することができる。

【0064】

また、主成分分析を利用する方法では、三次元点群１４のある点ｐｉから距離が近い順に選択したｋ個の点の集合（ｋ－近傍）を抽出し、下記（式４）で定義される共分散行列Ｃを計算する。

【0065】

【数4】

【0066】

ここで、上記（式４）において、ｐｃは近傍点郡の重心座標を表す。

【0067】

次に、共分散行列Ｃを対角化し、下記（式５）の関係で表される固有値、固有ベクトルを得る。

【0068】

【数5】

【0069】

ここで、上記（式５）において、ｖｊはｊ次の固有ベクトル、λｊはｊ次の固有値である。次数ｊは、固有値の大きい順に１次、２次、３次と定義する。

【0070】

このとき、１次、２次の固有ベクトルの方向は、１番目に点が多い方向と２番目に点が多い方向とみなすことが出来るので、その２方向がつくる平面は、ｋ－近傍に最もよくフィットする平面と考えられる。したがって、３次の固有ベクトルが、点ｐｉにおける法線ベクトルと推定される。

【0071】

ステップＳ１０６での処理が終了すると、続いて、ステップＳ１０６の処理で算出した法線ベクトル１５に基づいて、撮影部４の位置姿勢を決定する（ステップＳ１０７）。

【0072】

図８に示すように、三次元点群１４の法線ベクトル１５ａ～１５ｃに基づいて撮影部４の位置姿勢を決定する場合、例えば、三次元点群１４の点ｘｉを法線ベクトル１５ａ（ｎ（ｘｉ））の方向に一定距離ｈだけ移動した点に仮想撮影部１６ａを配置し、法線ベクトル１５ａ（ｎ（ｘｉ））のマイナス方向に仮想撮影部１６を向ける。そして、この仮想撮影部１６ａの位置姿勢を、撮影部４の位置姿勢として決定する。また、同様の手順により三次元点群１４の他の点ｘｊ，ｘｋのそれぞれについて、仮想撮影部１６ｂ，１６ｃの位置姿勢を撮影部４の位置姿勢として決定する。

【0073】

その他の構成は第１の実施の形態と同様である。

【0074】

以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

【0075】

また、三次元点群１４に基づいて撮影部４の位置姿勢が自動で決定されるので、撮影部４で取得した画像を確認しながら手動で調整する手間を省略することができ、測定時間を短縮できる。

【0076】

また、溶接ビード２に対して撮影部４を正対するように配置でき、かつ、溶接ビード２と撮影部の距離を一定に保つことができる。これにより、特徴点同士の対応付けでよい結果が得られやすくなるため、三次元再構成における精度が向上し、より高精度に溶接ビードの形状を測定することができる。

【0077】

＜第３の実施の形態＞
本発明の第３の実施の形態を図９及び図１０を参照しつつ説明する。

【0078】

本実施の形態は、第２の実施の形態の処理に加え、画像の輝度の算出及び照明条件の決定を行うものである。本実施の形態において、第１及び第２の実施の形態と同様のものには同じ符号を用い、説明を省略する。

【0079】

図９は、本実施の形態における形状測定処理を示すフローチャートである。

【0080】

図９において、形状測定装置１００は、まず、ステップＳ１０１～Ｓ１０７の処理を行う。ステップＳ１０１～Ｓ１０７の処理は、第１の実施の形態の図３で説明した処理内容、及び、第２の実施の形態の図７で説明した処理内容と同様であり、説明を省略する。

【0081】

形状測定装置１００は、ステップＳ１０７の処理が終了すると、続いて、ステップＳ１０６の処理で算出した三次元点群１４の法線ベクトル１５を用いて、画像の輝度を算出する（ステップＳ１０８）。画像の輝度は、例えば、Ｐｈｏｎｇの反射モデルを用いて算出する。

【0082】

図１０は、Ｐｈｏｎｇの反射モデルについて説明する図である。

【0083】

Ｐｈｏｎｇの反射モデルでは、物体の表面で反射する光の成分を、環境反射成分ｉａ、拡散反射成分ｉｄ、鏡面反射成分ｉｓに分けて考える。仮想照明部１７を仮定すると、仮想照明部１７から三次元点群１４の点ｘｉに入射する光は、拡散反射成分i_dと鏡面反射成分i_sとして観測される。環境光がある場合は、環境反射成分i_aも重畳される。仮想撮影部１６で検出される拡散反射成分ｉｄの強度は、仮想照明部１７から点ｘｉに向かう方向と点ｘｉにおける法線ベクトル１５のなす角αに依存して変化する。一方、仮想撮影部１０６で検出される鏡面反射成分ｉｓの強度は、仮想照明部１７から点ｘｉで完全反射した光線１８と視線方向１９のなす角βに依存して変化する。仮想撮影部１６で観測される光の強度Ｉｐ（ｘｉ）は、下記（式６）で表される。

【0084】

【数6】

【0085】

ここで、上記（式６）において、ｋａは環境反射係数、ｋｄは拡散反射係数、ｋｓは鏡面反射係数、ｎは光沢度であり、材質によって決まる定数である。

【0086】

上記（式６）を用いて、三次元点群１４に対して、仮想照明部１７の位置姿勢を変えたときに仮想撮影部１６で観測される画像の輝度を計算する。

【0087】

ステップＳ１０８の処理が終了すると、続いて、ステップＳ１０８で計算した画像の輝度に基づいて、照明部３の強度または位置姿勢を決定する（ステップＳ１０９）。溶接ビード２は、基本的に凸形状をしており、金属光沢があるため、照明部３の強度、位置姿勢によって敏感に画像の見え方が変化する。また、照明部３の強度が大きすぎると、溶接ビード２の金属光沢によってハレーションが起こり、画像の輝度が飽和してしまう。一方で、照明部３の強度が小さい場合、画像全体が暗くなり、溶接ビード２の模様を検出することが困難となる。そこで、ステップＳ１０８の処理のように、仮想照明部１７の位置姿勢を変えて計算した画像の輝度に基づいて好適な仮想照明部１７の位置姿勢を選択し、照明部３の位置姿勢として決定する。例えば、画像のすべての画素において、輝度がある一定の範囲内にあり、輝度の平均値が最も大きい仮想照明部１７の位置姿勢を照明部３の位置姿勢として選択する。これにより、仮想撮影部１６の位置において撮影部４により撮影される画像が適切な明るさを有し、かつ全体的に観察しやすいように、照明部３の位置姿勢を決定することができる。

【0088】

その他の構成は第１及び第２の実施の形態と同様である。

【0089】

以上のように構成した本実施の形態においても第１及び第２の実施の形態と同様の効果を得ることができる。

【0090】

また、算出した画像の輝度に基づいて、照明部３の位置姿勢を自動で決定することができるため、撮影部４の画像を確認しながら手動で照明部３の位置姿勢を調整する工程を省略することができ、測定時間を短縮することができる。また、適切な照明条件を設定することで、三次元再構成における点の密度や精度も向上することができ、より緻密で高精度に溶接ビードの形状を測定することができる。

【0091】

＜第４の実施の形態＞
本発明の第４の実施の形態を図１１を参照しつつ説明する。

【0092】

本実施の形態は、第１の実施の形態の処理に加え、第３の実施の形態で説明した画像の輝度の算出及び照明条件の決定を行うものである。本実施の形態において、第１及び第３の実施の形態と同様のものには同じ符号を用い、説明を省略する。

【0093】

図１１は、本実施の形態における形状測定処理を示すフローチャートである。

【0094】

図１１において、形状測定装置１００は、まず、ステップＳ１０１～Ｓ１０５の処理を行う。ステップＳ１０１～Ｓ１０５の処理は、第１の実施の形態の図３で説明した処理内容と同様であり、説明を省略する。

【0095】

形状測定装置１００は、ステップＳ１０５の処理が終了すると、続いて、三次元点群１４の法線ベクトル１５を算出し、この法線ベクトル１５を用いて、画像の輝度を算出する（ステップＳ１０８）。法線ベクトル１５の計算方法としては、例えば、ベクトルの外積、或いは、主成分分析を利用する方法（第２の実施の形態を参照）などを用いることができる。

【0096】

ステップＳ１０８の処理が終了すると、続いて、ステップＳ１０８で計算した画像の輝度に基づいて、照明部３の強度または位置姿勢を決定する（ステップＳ１０９）。

【0097】

その他の構成は第１及び第３の実施の形態と同様である。

【0098】

以上のように構成した本実施の形態においても第１及び第２の実施の形態と同様の効果を得ることができる。

【0099】

＜付記＞
なお、本発明は前記した実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0100】

また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。

【0101】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えられる。

【符号の説明】

【0102】

１…配管、２…溶接ビード、３…照明部、４…撮影部、５…制御部、６…演算部、７…座標系、８ａ，９ａ…位置調整機構、８ｂ，９ｂ…角度調整機構、１０ａ…移動機構、１０ｂ…回転機構、１１…撮影範囲、１４…三次元点群、１５…法線ベクトル、１６…仮想撮影部、１７…仮想照明部、１８…光線、１９…視線方向、１００…形状測定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】