特開 2024-50228 表面状態判定装置、表面状態判定方法、及び表面状態判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024050228

(43)【公開日】2024-04-10

(54)【発明の名称】表面状態判定装置、表面状態判定方法、及び表面状態判定プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240403BHJP

   B23K 31/00 20060101ALI20240403BHJP

【ＦＩ】

G01N21/88 Z

B23K31/00 K

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022156954

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】515086908

【氏名又は名称】株式会社トヨタプロダクションエンジニアリング

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】椛島 治樹

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA07

2G051AB20

2G051AC19

2G051BA04

2G051BB15

2G051CA03

2G051CA04

2G051CB01

(57)【要約】

【課題】 溶接時の周辺部材に付着した凹凸を伴うスパッタの数をより正確に特定することができる。
【解決手段】 表面状態判定装置は、対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、照射光の照射に伴って対象物により反射される反射光を撮像する撮像部と、反射光の画像を含む画像情報を撮像部から取得する処理部と、を備える表面状態判定装置であって、処理部は、画像情報より反射光の反射率が所定量以下の低反射領域の有無を判定する判定部と、低反射領域が存在する場合、低反射領域の対象物における位置を特定する特定部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、
前記照射光の照射に伴って前記対象物により反射される反射光を撮像する撮像部と、
前記反射光の画像を含む画像情報を前記撮像部から取得する処理部と、
を備える表面状態判定装置であって、
前記処理部は、
前記画像情報より前記反射光の反射率が所定量以下の低反射領域の有無を判定する判定部と、
前記低反射領域が存在する場合、前記低反射領域の前記対象物における位置を特定する特定部と、
を備えることを特徴とする表面状態判定装置。

【請求項2】

前記処理部は、
前記光源部が照射する照射光の波長を決定する波長決定部を備えることを特徴とする請求項１に記載の表面状態判定装置。

【請求項3】

前記対象物に対する溶接はアーク溶接であって、前記低反射領域はアーク溶接後に前記対象物の表面に生じたスパッタに起因することを特徴とする請求項１に記載の表面状態判定装置。

【請求項4】

前記判定部における前記低反射領域の有無の判定に際し、前記反射光の反射率に閾値が設定されることを特徴とする請求項１に記載の表面状態判定装置。

【請求項5】

前記判定部における前記低反射領域の有無の判定に際し、前記画像情報をグレースケールに変換する処理が行われることを特徴とする請求項１に記載の表面状態判定装置。

【請求項6】

前記撮像部は、ロボットに装着されている請求項１に記載の表面状態判定装置。

【請求項7】

前記ロボットは多関節ロボットであって、前記低反射領域を除去する際に、前記多関節ロボットの所定位置に装着されている前記撮像部に替えて爪部が装着されることを特徴とする請求項６に記載の表面状態判定装置。

【請求項8】

前記処理部は、
前記多関節ロボットにおける前記撮像部及び前記爪部の動作を制御する動作制御部を備えることを特徴とする請求項７に記載の表面状態判定装置。

【請求項9】

対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、
前記照射光の照射に伴って前記対象物により反射される反射光を撮像する撮像部と、
前記反射光の画像を含む画像情報を前記撮像部から取得する処理部と、
を備える表面状態判定装置における表面状態判定方法であって、
前記処理部が、
前記画像情報より前記反射光の反射率が所定量以下の低反射領域の有無を判定する判定ステップと、
前記低反射領域が存在する場合、前記低反射領域の前記対象物における位置を特定する特定ステップと、
を実行することを特徴とする表面状態判定方法。

【請求項10】

対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、
前記照射光の照射に伴って前記対象物により反射される反射光を撮像する撮像部と、
前記反射光の画像を含む画像情報を前記撮像部から取得する処理部と、
を備える表面状態判定装置における表面状態判定プログラムであって、
前記処理部に、
前記画像情報より前記反射光の反射率が所定量以下の低反射領域の有無を判定する判定機能と、
前記低反射領域が存在する場合、前記低反射領域の前記対象物における位置を特定する特定機能と、
を実現させることを特徴とする表面状態判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、溶接時に生じたスパッタの溶接母材などの周辺部材の表面への付着の有無を判定する表面状態判定装置、表面状態判定方法、及び表面状態判定プログラムに関する。

【背景技術】

【0002】

アーク溶接、ガス溶接などの溶接時に発生するスパッタは、溶融金属の微粒子であり高温状態で飛散し溶接母材などの周辺部材に付着することがある。このようなスパッタは、周辺部材の表面に凹凸として残り、除去が困難な場合があり溶接製品の品質を低下させる。

【0003】

スパッタの除去作業にはスパッタの付着の有無の確認作業などがあり、昨今では自働化が進められている。例えば、アーク溶接時にワーク全体を含むスパッタの飛散領域全体の動画を撮影し、当該動画を分割して得る静止画の中のスパッタの数を特定することができるとする溶接条件設定支援装置が提案されている（特許文献１参照）。

【0004】

一方で、溶接時の周辺部材には、飛散したスパッタが付着しないまでも接触によって焦げて変色している部分、或いは、付着したスパッタを除去した後に残った焦げにより変色した部分もあり、これらの部分は周辺部材の表面に凹凸を生じさせないため、凹凸を伴うスパッタとは対処方法が異なる場合があった。

【0005】

従って、溶接時の周辺部材の表面に付着した痕跡が凹凸を伴うスパッタであるか、凹凸を伴わない単なる焦げにより変色している部分であるかの識別の正確性が求められていた。

【0006】

しかし、周辺部材の表面に付着したスパッタの有無を画像に基づいて判定する場合、凹凸を伴わない単に焦げた部分と、スパッタが付着して凹凸を伴う部分とを識別することは困難であった。例えば、特許文献１に開示の技術では、この点は考慮されておらず、凹凸を伴わない単に焦げた部分が凹凸を伴うスパッタとして計数され、凹凸を伴うスパッタの数を正確に特定することができないという懸念があった。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】ＷＯ２０２１－２３００７８号

【発明の概要】

【発明が解決しようとする課題】

【0008】

そこで、本開示は、溶接時の周辺部材に付着した凹凸を伴うスパッタの数をより正確に特定することができる表面状態判定装置、表面状態判定方法、及び表面状態判定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

すなわち、第１の態様に係る表面状態判定装置は、対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、照射光の照射に伴って対象物により反射される反射光を撮像する撮像部と、反射光の画像を含む画像情報を撮像部から取得する処理部と、を備える表面状態判定装置であって、処理部は、画像情報より反射光の反射率が所定量以下の低反射領域の有無を判定する判定部と、低反射領域が存在する場合、低反射領域の対象物における位置を特定する特定部と、を備える。

【0010】

第２の態様は、第１の態様に係る表面状態判定装置において、処理部は、光源部が照射する照射光の波長を決定する波長決定部を備えることとしてもよい。

【0011】

第３の態様は、第１の態様に係る表面状態判定装置において、対象物に対する溶接はアーク溶接であって、低反射領域はアーク溶接後に対象物の表面に生じたスパッタに起因することとしてもよい。

【0012】

第４の態様は、第１の態様に係る表面状態判定装置において、判定部における低反射領域の有無の判定に際し、反射光の反射率に閾値が設定されることとしてもよい。

【0013】

第５の態様は、第１の態様に係る表面状態判定装置において、判定部における低反射領域の有無の判定に際し、画像情報をグレースケールに変換する処理が行われることとしてもよい。

【0014】

第６の態様は、第１の態様に係る表面状態判定装置において、撮像部は、ロボットに装着されていることとしてもよい。

【0015】

第７の態様は、第６の態様に係る表面状態判定装置において、ロボットは多関節ロボットであって、低反射領域を除去する際に、多関節ロボットの所定位置に装着されている撮像部に替えて爪部が装着されることとしてもよい。

【0016】

第８の態様は、第７の態様に係る表面状態判定装置において、処理部は、多関節ロボットにおける撮像部及び爪部の動作を制御する動作制御部を備えることとしてもよい。

【0017】

第９の態様に係る表面状態判定方法は、対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、照射光の照射に伴って対象物により反射される反射光を撮像する撮像部と、反射光の画像を含む画像情報を撮像部から取得する処理部と、を備える表面状態判定装置における表面状態判定方法であって、処理部が、画像情報より反射光の反射率が所定量以下の低反射領域の有無を判定する判定ステップと、低反射領域が存在する場合、低反射領域の対象物における位置を特定する特定ステップと、を実行する。

【0018】

第１０の態様に係る表面状態判定プログラムは、対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、照射光の照射に伴って対象物により反射される反射光を撮像する撮像部と、反射光の画像を含む画像情報を撮像部から取得する処理部と、を備える表面状態判定装置における表面状態判定プログラムであって、処理部に、画像情報より反射光の反射率が所定量以下の低反射領域の有無を判定する判定機能と、低反射領域が存在する場合、低反射領域の対象物における位置を特定する特定機能と、を実現させる。

【発明の効果】

【0019】

本開示に係る表面状態判定装置等は、対象物の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光を照射する光源部と、照射光の照射に伴って対象物により反射される反射光を撮像する撮像部と、反射光の画像を含む画像情報を撮像部から取得する処理部と、を備える表面状態判定装置であって、処理部は、画像情報より反射光の反射率が所定量以下の低反射領域の有無を判定する判定部と、低反射領域が存在する場合、低反射領域の対象物における位置を特定する特定部と、を備えるので、溶接時の周辺部材に付着した凹凸を伴うスパッタの数をより正確に特定することができる。

【図面の簡単な説明】

【0020】

【図1】本実施形態に係る表面状態判定装置の対象物について説明するための図である。

【図2】本実施形態に係る表面状態判定装置の概要について説明するための図である。

【図3】本実施形態に係る表面状態判定装置の機能を説明するためのブロック図である。

【図4】本実施形態に係る表面状態判定装置の対象物の表面状態を判定する原理について説明するための図である。

【図5】本実施形態に係る表面状態判定装置の対象物の表面状態を判定する原理について説明するための図である。

【図6】本実施形態に係る表面状態判定装置の対象物の表面状態を判定する原理について説明するための図である。

【図7】本実施形態に係る表面状態判定装置の照射光の波長と相対反射率の相関関係を示すグラフである。

【図8】本実施形態に係る表面状態判定装置の対象物を各種波長で撮像した画像情報のサンプルである。

【図9】本実施形態に係る低反射領域について説明するための図である。

【図10】本実施形態に係る画像情報における低反射領域の一例を示す図である。

【図11】本実施形態に係るロボットの動作を説明するための図である。

【図12】本実施形態に係る表面状態判定プログラムのフローチャートである。

【発明を実施するための形態】

【0021】

（表面状態判定装置１０の判定の対象物１）
図１を参照して表面状態判定装置１０の判定の対象物１について説明する。図１は本実施形態に係る表面状態判定装置１０の対象物１について説明するための図である。

【0022】

対象物１は、溶接母材１ａに溶接部材１ｂをアーク溶接、ガス溶接などの溶接により溶接して形成されたものである。スパッタ３は溶接時に溶融された金属の微粒子であり飛散する（図１（ａ）参照）。溶接母材１ａの表面に飛来したスパッタ３は、冷却とともに溶接母材１ａの表面に付着する。特に経験上、溶接によって生じるビード２付近にスパッタ３が付着することが分かっている（図１（ｂ）参照）。溶接後の工程において、スパッタ３が付着した溶接母材１ａなどの周辺部材の表面に他部品４を取り付ける際、スパッタ３の凹凸が干渉し精度よく周辺部材に取り付けられない等の問題が生じる（図１（ｃ）参照）。このような問題を解消するために、表面状態判定装置１０は凹凸を伴うスパッタ３が周辺部材の表面に有るか否かの判定を行う。

【0023】

（表面状態判定装置１０の概要）
図２を参照して本実施形態に係る表面状態判定装置１０の概要について説明する。図２は本実施形態に係る表面状態判定装置１０の概要について説明するための図である。
表面状態判定装置１０は、図２に示す様に、本体９、キーボード１６、ディスプレイ１７、マウス１８、ツールチェンジボックス１９、光源部２５、ロボット２６、撮像部２７、及び爪部２８などを備える。ロボット２６は、有線若しくは無線により表面状態判定装置１０に接続され、表面状態判定装置１０により操作などの制御が行われる。

【0024】

本体９は、パーソナルコンピュータ（以下、ＰＣ）、ノートＰＣ、タブレットＰＣなどに代表される情報処理装置であり、汎用の情報処理装置に後述する表面状態判定プログラムを追加して使用可能にすることができる。また、本体９は、表面状態判定プログラムを実行可能とし表面状態判定装置１０の機能に特化した専用の情報処理装置としてもよい。
撮像部２７は、ロボット２６に装着されている。

【0025】

ロボット２６は多関節ロボットであって、後述の低反射領域３１（前出のスパッタ３）を除去する際に、多関節ロボットの所定位置に装着されている撮像部２７に替えて爪部２８が装着される（図１１参照）。

【0026】

なお、ロボット２６は、多関節ロボットに限定されるものではなく、パラレルリンクロボット、スカラロボット、及び直交ロボットを含む各種産業用ロボットを用いてもよい。

【0027】

ロボット２６の先端部２９は、撮像部２７と爪部２８とが択一的に装着される。撮像部２７と爪部２８とはツールチェンジボックス１９に載置されており、ロボット２６はツールチェンジボックス１９に先端部２９を移動させ、撮像部２７及び爪部２８の何れか一方を選択して先端部２９に装着する。

【0028】

ロボット２６は、先端部２９に撮像部２７と爪部２８の何れか一方を装着しており他方に換装する場合、先端部２９をツールチェンジボックス１９の所定位置に移動させて行う。むろん、先端部２９に撮像部２７と爪部２８の両方が常時装着されていても良い。

【0029】

光源部２５は、所定の波長の照射光６を対象物１に対して照射する。照射光６の波長は、後述の波長決定部２１により決定される。
光源部２５は、対象物１の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長の照射光６を照射する。

【0030】

撮像部２７は、照射光６の照射に伴って対象物１により反射される反射光７を撮像する。
対象物１に対する溶接はアーク溶接であって、低反射領域３１はアーク溶接後に対象物１の表面に生じたスパッタに起因する。

【0031】

（表面状態判定装置１０の機能）
図３を参照して、本実施形態に係る表面状態判定装置１０の機能について説明する。図３は本実施形態に係る表面状態判定装置１０の機能を説明するためのブロック図である。

【0032】

表面状態判定装置１０は、図３に示す様に、本体９、処理部１１、Read Only Memory（ＲＯＭ）１２、Random Access Memory（ＲＡＭ）１３、記憶部１４、入出力インターフェース１５等を備えて構成されている。また、処理部１１、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、入出力インターフェース１５等は、バス２０によって相互に接続され、データの双方向の伝送を可能にしている。

【0033】

処理部１１は、Central Processing Unit（ＣＰＵ）などで構成され、後述の表面状態判定プログラムを実行することで、内蔵する構成部位の機能を制御し、構成部位のそれぞれの機能を実現させる。

【0034】

ＲＯＭ１２及び記憶部１４は、記憶装置として利用でき、表面状態判定プログラム、及び表面状態判定プログラムを利用するための各種データ並びにアプリケーションなどが記憶される。

【0035】

表面状態判定装置１０は、表面状態判定プログラムをＲＯＭ１２若しくは記憶部１４に保存し、ＲＡＭ１３などで構成されるメインメモリに表面状態判定プログラムを取り込む。そして、処理部１１は、表面状態判定プログラムを取り込んだメインメモリにアクセスして、表面状態判定プログラムを実行する。
表面状態判定装置１０は、入出力インターフェース１５を介してキーボード１６、ディスプレイ１７、マウス１８、光源部２５、ロボット２６、撮像部２７、爪部２８などに接続される。

【0036】

光源部２５は、波長可変光源を用い、照射光６の波長を１ｎｍごとに変えることができる。光源部２５の照射光の波長を変化させる方式としては、固定波長の光源の光から回折格子を用いて特定の波長の光のみを照射光として出力する方式、若しくは光源の光そのものの波長を変化させる方式があるが、何れの方式を用いてもよい。

【0037】

撮像部２７は、光源部２５から照射された照射光６の対象物１の表面からの反射光７を撮像する。撮像部２７はＲＧＢカメラであり、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子を用いて、光を電気信号に変換しデータを取得する。
爪部２８は、対象物１の表面に付着したスパッタ３を削り、こそげとる刃状、へら状の器具のことを言い、ロボット２６の先端部２９に装着して用いられる。

【0038】

処理部１１は、反射光７の画像を含む画像情報を撮像部２７から取得する。
反射光７の画像とは、照射光６が対象物１の表面において反射されて反射光７となり、当該反射光７を撮像部２７で撮像して得た像のことである。
画像情報とは、撮像部２７が撮像する度に得る画像データのことであり、当該画像データの中に対象物１の表面及び当該表面に写る反射光７の画像が含まれる。

【0039】

表面状態判定装置１０は、波長決定部２１、判定部２２、特定部２３、及び動作制御部２４などを処理部１１に備える。そして、表面状態判定装置１０は表面状態判定プログラムを実行する。
波長決定部２１は、光源部２５が照射する照射光６の波長を決定する。
照射光６は、対象物１の溶接後の表面に、溶接に伴って変色した部分と変色しなかった部分とで反射率の差が少ない波長が選択される。
光源部２５が照射する照射光６の波長の決定方法について図４乃至図７を参照して以下に説明する。波長決定部２１は、当該決定方法に基づいて光源部２５が照射する照射光６の波長を決定する。

【0040】

図４乃至図６は、本実施形態に係る表面状態判定装置１０の対象物１の表面状態を判定する原理について説明するための図である。図７は、本実施形態に係る表面状態判定装置１０の照射光６の波長と相対反射率の相関関係を示すグラフである。
図４に示す様に、ここでの説明に用いる対象物１の表面には凹凸を伴わない焦げ５が４か所と凹凸を伴うスパッタ３が２か所に存在している。撮像部２７は、上方から対象物１の表面を撮像する。

【0041】

図５を参照して、光源部２５から照射する照射光６の波長を適切に選んだ場合について説明する。図５（ａ）の左側図は、適切に選択された波長の照射光６を対象物１に照射し、当該対象物１を撮像部２７で撮像して得た分光画像であり、図５（ａ）の右側図は、当該分光画像をグレースケール化したものである。

【0042】

図５（ａ）の左側図が示す様に、焦げ５の部分は見えなくなり、スパッタ３の部分のみ表示される。図５（ａ）の左側図が示す様に焦げ５の部分が見えなくなるのは、図５（ｂ）に示す様に、焦げ５の無い部分（図５（ｂ）の（１））と焦げ５の部分（図５（ｂ）の（２））とでは適切に選択された波長の照射光６の反射率は同じであり（図５（ｂ）において１００と表示する。この数値は反射率の相対的な値を示す。）、当該分光画像においてはどちらも違いが無く、焦げ５の部分がその周囲に同化するからである。

【0043】

図５（ａ）の左側図が示す様にスパッタ３の部分のみ表示されるのは、図５（ｂ）に示す様に、焦げ５の無い部分（図５（ｂ）の（１））及び焦げ５の有る部分（図５（ｂ）の（２））とスパッタ３の部分（図５（ｂ）の（３））とでは適切に選択された波長の照射光６の反射率は異なり、（図５（ｂ）において１００と５０とで表示する）、当該分光画像においてはスパッタ３の部分（図５（ｂ）の（３））のみ表示される。

【0044】

適切に選択された波長の照射光６は、対象物１の表面の焦げ５の有無などによる色味の違いによって照射光６の反射率は変化せず、対象物１の表面の凹凸の有無の違いによって照射光６の反射率が変化するという特性を有する。

【0045】

図５（ａ）の右側図は、図５（ａ）の左側図の分光画像をグレースケール化した画像であり、照射光６の反射率の低いスパッタ３の付着した部分（図５（ｂ）の（３））が低反射領域３１として黒く表示される。

【0046】

図６を参照して、光源部２５から照射する照射光６の波長が不適切だった場合について説明する。図６（ａ）の左側図は、不適切に選択された波長の照射光６を対象物１に照射し、当該対象物１を撮像部２７で撮像して得た分光画像であり、図６（ａ）の右側図は、当該分光画像をグレースケール化したものである。

【0047】

図６（ａ）の左側図が示す様に、焦げ５の部分及びスパッタ３の部分の両方が表示される。図６（ａ）の左側図が示す様に、焦げ５の部分が見えるのは、図６（ｂ）に示す様に、焦げ５の無い部分（図６（ｂ）の（１））と焦げ５の部分（図６（ｂ）の（２））とでは不適切に選択された波長の照射光６の反射率は異なるため（図６（ｂ）において１００と５０とで表示する。この数値は反射率の相対的な値を示す。以下同様。）、当該分光画像においては焦げ５の部分（図６（ｂ）の（２））はその周囲に対して顕在化される。

【0048】

図６（ａ）の左側図が示す様にスパッタ３の部分が見えるのは、図６（ｂ）に示す様に、焦げ５の無い部分（図６（ｂ）の（１））とスパッタ３の部分（図６（ｂ）の（３））とでは不適切に選択された波長の照射光６の反射率は異なるため、（図６（ｂ）において１００と５０とで表示する）、当該分光画像においてはスパッタ３の部分（図６（ｂ）の（３））はその周囲に対して顕在化される。
従って、焦げ５の部分とスパッタ３の付着した部分とはその周囲に対して照射光６の反射率が異なるので顕在化される。

【0049】

さらに、焦げ５の部分とスパッタ３の付着した部分とは、照射光６の反射率が同程度（図６の（ｂ）において５０と表示する）であるため、不適切に決定された波長の照射光６の対象物１における反射光７を撮像部２７で撮像した分光画像をグレースケール化した場合、図６（ａ）の右側図に示す様に焦げ５の部分とスパッタ３の付着した部分の白比（グレースケール化した場合の白色の割合）が同程度であるため、両者を識別することができない。

【0050】

次に図７を参照して、光源部２５から照射される照射光６の適切な波長について説明する。図７のグラフは、対象物１に自然光又は蛍光灯などの通常の室内光を照射した状態の表面において、溶接により変色しなかった部分（グラフ線１：通常）、スパッタが付着した部分（グラフ線２、３：スパッタ）、及び、溶接により焼き色が付着した部分（グラフ線４：焼き色焦げ）のそれぞれにおける、反射光の波長ごとの相対反射率の測定結果である。相対反射率の測定はハイパースペクトルカメラを用いて行った。図７のグラフの横軸は対象物１からの反射光の波長（ｎｍ）であり、図７のグラフの縦軸は対象物１からの反射光の相対反射率である。

【0051】

図７のグラフに示す通り、対象物１に自然光又は室内光を照射した状態における表面からの反射光は、波長が長くなるほどグラフ線１～４の間の相対反射率の値の差が小さくなることが分かり、当該反射光の波長が９５０ｎｍの時にグラフ線１～４の間の相対反射率の値の差（矢印３０）が最も小さくなることが分かった。この測定結果から光源部２５から照射される照射光の波長は９５０ｎｍと決定される。

【0052】

次に図８を参照して、対象物１に自然光又は室内光を照射した状態における表面からの反射光の所定波長の分光画像を示す。
図８の（ａ）～（ｅ）の画像は、自然光又は室内光を照射した状態における対象物１の反射光から各種波長の反射光を抽出して得た分光画像をグレースケール化した画像であり、図８（ａ）は５４０ｎｍの波長の反射光、図８（ｂ）は７００ｎｍの波長の反射光、図８（ｃ）は７８０ｎｍの波長の反射光、図８（ｄ）は８５０ｎｍの波長の反射光、図８（ｅ）は９５０ｎｍの波長の反射光である。

【0053】

図８の各波長の分光画像から分かるように、反射光の波長が長くなるにつれて、対象物１の表面に付着した色味は薄れていき、対象物１の形状に起因する白黒の濃淡のみになることが分かる。従って、波長の長い照射光は、対象物１の表面の色味に起因して反射率が変化することは少なく、対象物１の表面形状に起因して反射率が変化することが分かる。
波長決定部２１は、対象物１の表面の色味には反応せず、対象物１の表面形状にのみ起因して反射率が変化する波長を選択し決定する。
具体的には、波長決定部２１は、以下の手順により光源部２５から照射する照射光の波長を決定する。

【0054】

第１に波長決定部２１は、自然光又は室内光を照射した状態における対象物１の表面をハイパースペクトルカメラによって撮像した画像を取得する。なお、撮像部２７にハイパースペクトルカメラを採用した場合は、撮像部２７が自然光又は室内光を照射した状態における対象物１の表面を撮像し、波長決定部２１は撮像部２７から画像を取得してもよい。
第２に波長決定部２１は、第１で取得した画像を分光解析することで波長ごとの分光画像を取得する。
第３に波長決定部２１は、第２で取得した分光画像をグレースケール化し分光画像のグレースケール画像を取得する。

【0055】

第４に波長決定部２１は、第３で取得した波長ごとのグレースケール画像における、溶接により変色しなかった部分（グラフ線１：通常）、スパッタが付着した部分（グラフ線２、３：スパッタ）、及び、溶接により焼き色が付着した部分（グラフ線４：焼き色焦げ）のそれぞれの相対反射率を測定する。

【0056】

第５に波長決定部２１は、第４で測定した波長ごとの相対反射率において、変色しなかった部分（グラフ線１：通常）、スパッタが付着した部分（グラフ線２、３：スパッタ）、及び、溶接により焼き色が付着した部分（グラフ線４：焼き色焦げ）のそれぞれの相対反射率の間の差が最も小さい波長を選択し、光源部２５が照射する照射光の波長として決定する。

【0057】

判定部２２は、画像情報より反射光の反射率が所定量以下の低反射領域３１の有無を判定する。
本実施形態において、反射光の反射率は相対反射率を採用する。なお、反射光の反射率は、相対反射率に替えてグレースケール化した画像における白比（グレースケール化した場合の白色の割合）の大きさによって表してもよい。白比は０から２５５の整数によって表され、数値が大きいほど反射率が高いことを示す。
判定部２２における低反射領域３１の有無の判定に際し、反射光の反射率に閾値が設定される。閾値は本開示の実施者などの試行錯誤により予め設定される。
判定部２２における低反射領域３１の有無の判定に際し、画像情報をグレースケールに変換する処理が行われる。

【0058】

判定部２２は、撮像部２７が撮像した反射光の画像を含む画像情報をグレースケール化して得られたグレースケール画像に基づいて低反射領域３１の有無が判定される。

【0059】

本実施形態において、反射光の反射率の閾値は相対反射率によって設定される。なお、反射光の反射率の閾値は、相対反射率に替えてグレースケール化した画像における白比（グレースケール化した場合の白色の割合）の大きさによって表してもよい。

【0060】

特定部２３は、低反射領域３１が存在する場合、低反射領域３１の対象物１における位置を特定する。
本実施形態では、特定部２３は、判定部２２が低反射領域３１が有ると判定した場合に、対象物１の表面をｘとｙとの２次元の直交座標系によって低反射領域３１の位置を特定する。

【0061】

図９を参照して、判定部２２及び特定部２３の機能について説明する。図９は本実施形態に係る低反射領域３１について説明するための図である。図９のグラフの横軸は撮像部２７が撮像した反射光の画像を含む画像情報をグレースケール化したグレースケール画像の位置を表し単位はピクセルである。図９のグラフの縦軸は相対反射率を表す。

【0062】

図９に示す様に、低反射領域３１はグレースケール画像の位置ごとの相対反射率が閾値より下回った範囲（グラフ中のＮＧとして示される領域）のことをいう。判定部２２は低反射領域３１が１か所でもある場合に低反射領域３１が有ると判定し、低反射領域３１が一つもない場合に低反射領域３１が無いと判定する。

【0063】

特定部２３は、図９に示す様に、グレースケール画像の位置ごとの相対反射率が閾値より下回った範囲を特定する。図９のグラフの横軸は、対象物１の表面を２次元の直交座標系によって表した場合の１軸（ｘ軸又はｙ軸の何れか一方）を表している。特定部２３は、対象物１の表面を２次元の直交座標系によって表した場合の２軸（すなわちｘ軸とｙ軸）のそれぞれを横軸とする図９のグラフを用いて対象物１における低反射領域３１の位置を特定する。従って、本実施形態に係る低反射領域３１は、その範囲を２次元の直交座標系によって表される。低反射領域３１は対象物１の表面に付着したスパッタ３に相当するため、特定部２３は低反射領域３１の範囲を特定することでスパッタ３の対象物１の表面における範囲を特定するものである。

【0064】

図１０を参照して、画像情報における低反射領域３１について説明する。図１０は本実施形態に係る画像情報における低反射領域の一例を示す。図１０に示す輪郭３３は、撮像部２７が撮像した反射光の画像を含む画像情報をグレースケール化したグレースケール画像における相対反射率の閾値に相当し、輪郭３３の内側が低反射領域３１となり対象物１の表面に付着した凹凸を伴うスパッタ３に相当する。

【0065】

動作制御部２４は、多関節ロボット２６における撮像部２７及び爪部２８の動作を制御する。
動作制御部２４は、特定部２３によって特定された低反射領域３１の対象物１における位置を通る移動経路３２に沿ってロボット２６の先端部２９に装着された爪部２８を移動させる。爪部２８は、ロボット２６によって移動経路３２を移動する途中で凹凸を伴うスパッタ３を除去する。

【0066】

図１１を参照して多関節ロボット２６の動作について説明する。図１１は本実施形態に係るロボット２６の動作を説明するための図である。
先ず図１１（ａ）を参照して、表面状態判定装置１０の対象物１の表面状態の判定時のロボット２６の動作について説明する。ロボット２６は先端部２９に撮像部２７を装着して対象物１の表面を撮像し、取得した画像に基づいて凹凸を伴うスパッタ３の有無を判定する。

【0067】

次に図１１（ｂ）を参照して、ロボット２６のスパッタ３の除去時の動作について説明する。ロボット２６は、動作制御部２４の制御指令に基づき、撮像部２７に替えてツールチェンジボックス１９に有る爪部２８を装着する、いわゆるツールチェンジを行う。ロボット２６の先端部２９から着脱された撮像部２７は爪部２８の代わりにツールチェンジボックス１９に載置される。ロボット２６は、動作制御部２４の制御に基づき、爪部２８を移動経路３２に沿って移動させて凹凸を伴うスパッタ３を除去する。

【0068】

次に図１１（ｃ）を参照して、スパッタ３の除去後の確認動作について説明する。ロボット２６は、動作制御部２４の制御指令に基づき、爪部２８に替えてツールチェンジボックス１９に有る撮像部２７を装着する。ロボット２６の先端部２９から着脱された爪部２８は撮像部２７の代わりにツールチェンジボックス１９に載置される。ロボット２６は、動作制御部２４の制御に基づき、撮像部２７を用いてスパッタ３の除去後の対象物１の表面を撮像し、再度、凹凸を伴うスパッタ３の有無の判定を行う。

【0069】

次に図１２を参照して、本実施形態の表面状態判定装置１０における表面状態判定方法について、表面状態判定装置１０によって実行される表面状態判定プログラムとともに説明する。図１２は本実施形態に係る表面状態判定プログラムのフローチャートである。表面状態判定プログラムは、波長決定ステップＳ２１、判定ステップＳ２２、特定ステップＳ２３、及び動作制御ステップＳ２４などを含む。

【0070】

表面状態判定プログラムは、ＲＡＭ１３などで構成されるメインメモリに取り込まれて、当該メインメモリにアクセスする処理部１１によって実行される。表面状態判定プログラムは、処理部１１に対して、波長決定機能、判定機能、特定機能、及び動作制御機能など実現させる。

【0071】

これらの機能は図１２に示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて表面状態判定プログラムを実行しても良い。なお、上記した各機能は、前述の表面状態判定装置１０の波長決定部２１、判定部２２、特定部２３、及び動作制御部２４の説明と重複するため、その詳細な説明は省略する。
波長決定機能は、光源部２５が照射する照射光６の波長を決定する（Ｓ２１：波長決定ステップ）。
判定機能は、画像情報より反射光７の反射率が所定量以下の低反射領域３１の有無を判定する（Ｓ２２：判定ステップ）。
特定機能は、低反射領域３１が存在する場合、低反射領域３１の対象物１における位置を特定する（Ｓ２３：特定ステップ）。
動作制御機能は、多関節ロボット２６における撮像部２７及び爪部２８の動作を制御する（Ｓ２４：動作制御ステップ）。

【0072】

上記した本実施形態によれば、表面状態判定装置１０は、凹凸を伴わない焦げ５の部分を、凹凸を伴うスパッタ３が付着した部分として誤認することが無いので、凹凸を伴うスパッタ３の有無をより正確に判定することができ、さらには凹凸を伴うスパッタ３の位置をより正確に特定することができる。

【0073】

さらに、上記した本実施形態によれば、表面状態判定装置１０は、ロボット２６を用いて凹凸を伴うスパッタ３を除去することができるので、作業員が手作業でスパッタ３を除去する場合と比較してより安全に作業を行うことができる。

【0074】

さらに、上記した本実施形態によれば、ロボット２６は、ツールチェンジにより先端部２９に装着する撮像部２７と爪部２８とを使い分けるので、ロボット２６に求められる機能を抑えることができ経済性を優位にすることができる。

【0075】

本開示は上記した実施形態に係る表面状態判定装置１０、表面状態判定方法、及び表面状態判定プログラムに限定されるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。

【符号の説明】

【0076】

１ 対象物
１ａ 溶接母材
１ｂ 溶接部材
２ ビード
３ スパッタ
４ 他部品
５ 焦げ
６ 照射光
７ 反射光
８ 拡散光
９ 本体
１０ 表面状態判定装置
１１ 処理部
１２ ＲＯＭ
１３ ＲＡＭ
１４ 記憶部
１５ 入出力インターフェース
１６ キーボード
１７ ディスプレイ
１８ マウス
１９ ツールチェンジボックス
２０ バス
２１ 波長決定部
２２ 判定部
２３ 特定部
２４ 動作制御部
２５ 光源部
２６ ロボット
２７ 撮像部
２８ 爪部
２９ 先端部
３０ 矢印
３１ 低反射領域
３２ 移動経路
３３ 輪郭

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】