特開 2024-109386 表面状態判定装置、表面状態判定方法、及び表面状態判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109386

(43)【公開日】2024-08-14

(54)【発明の名称】表面状態判定装置、表面状態判定方法、及び表面状態判定プログラム

(51)【国際特許分類】

   B23K 31/00 20060101AFI20240806BHJP

   B23K 37/08 20060101ALI20240806BHJP

   G06T 7/00 20170101ALI20240806BHJP

【ＦＩ】

B23K31/00 L

B23K37/08 D

G06T7/00 610

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023014145

(22)【出願日】2023-02-01

(71)【出願人】

【識別番号】515086908

【氏名又は名称】株式会社トヨタプロダクションエンジニアリング

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】椛島 治樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096BA05

5L096CA02

5L096DA03

5L096FA69

5L096GA51

5L096JA11

(57)【要約】

【課題】 スパッタが付着するなどの異常部位と単に変色しただけの変色部位とをより正確に識別することができる。
【解決手段】 表面状態判定装置は、照射光を照射する光源部と、対象物の表面を撮像して撮像画像を取得する撮像部と、撮像画像から撮像画像情報を生成して異常部位の判定の処理を行う処理部とを備え、処理部は、撮像画像情報を生成して第１波長の照射光に係る撮像画像情報から第１波長の照射光による反射光の画素毎の第１反射率と、第２波長の照射光に係る撮像画像情報から第２波長の照射光による反射光の画素毎の第２反射率を取得する取得部と、撮像画像情報において画素毎に第１反射率と第２反射率との差分量を算出する差分量算出部と、差分量算出部によって算出された差分量を画素毎の反射率とする判定画像情報を生成する生成部と、判定画像情報に基づいて異常部位の存在を判定する判定部とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

異なる波長の照射光を溶接後の対象物の表面に照射する光源部と、
照射光の照射の元で、前記対象物の表面を撮像して撮像画像を取得する撮像部と、
前記撮像画像から撮像画像情報を生成して前記対象物の表面に生じた異常部位の判定の処理を行う処理部と、
を備え、
前記処理部は、
前記撮像画像から前記撮像画像情報を生成して、前記異なる波長における一の波長である第１波長の照射光に係る前記撮像画像情報から前記第１波長の照射光による反射光の画素毎の第１反射率と、前記第１波長と異なる第２波長の照射光に係る前記撮像画像情報から前記第２波長の照射光による反射光の画素毎の第２反射率を取得する取得部と、
前記撮像画像情報において画素毎に前記第１反射率と前記第２反射率との差分量を算出する差分量算出部と、
前記差分量算出部によって算出された差分量を画素毎の反射率とする判定画像情報を生成する生成部と、
前記判定画像情報に基づいて前記異常部位の存在を判定する判定部と、
を備えることを特徴とする表面状態判定装置。

【請求項2】

溶接に伴って変色した変色部位において反射される、前記第１波長の照射光の反射光の反射率値と前記第２波長の照射光の反射光の反射率値との差分量を、第１反射率差とし、
溶接に伴って変色しなかった非変色部位において反射される、前記第１波長の照射光の反射光の反射率値と前記第２波長の照射光の反射光の反射率値との差分量を、第２反射率差とし、
前記処理部は、
前記第１反射率差と前記第２反射率差との差分量が所定値以下となるように、前記第１波長と前記第２波長とを予め決定する波長決定部を備えることを特徴とする請求項１に記載の表面状態判定装置。

【請求項3】

前記処理部は、
前記生成部が生成した前記判定画像情報に基づいて、前記判定画像情報における前記異常部位の位置を特定する位置特定部を備えることを特徴とする請求項１に記載の表面状態判定装置。

【請求項4】

前記判定部は、前記異常部位の存在と前記判定画像情報との対応関係を予め学習した判定学習モデルを用いて、前記生成部が生成した前記判定画像情報に基づいて、前記異常部位の存在を判定することを特徴とする請求項１に記載の表面状態判定装置。

【請求項5】

前記位置特定部は、前記異常部位の位置と前記判定画像情報との対応関係を予め学習した位置学習モデルを用いて、前記生成部が生成した前記判定画像情報に基づいて、前記異常部位の位置を特定することを特徴とする請求項３に記載の表面状態判定装置。

【請求項6】

前記溶接は、アーク溶接であって、
前記異常部位は、前記アーク溶接によって生じたスパッタが前記対象物の表面に付着した部位であることを特徴とする請求項１に記載の表面状態判定装置。

【請求項7】

前記処理部は、
先端部に前記異常部位を除去するための爪部を備えたロボットの動作を制御する動作制御部を備え、
前記動作制御部は、前記位置特定部によって特定された前記異常部位の位置に係る位置情報を取得して、前記異常部位を除去する際に前記位置情報に基づいて前記ロボットの動作を制御することを特徴とする請求項３に記載の表面状態判定装置。

【請求項8】

異なる波長の照射光を溶接後の対象物の表面に照射する光源部と、
照射光の照射の元で、前記対象物の表面を撮像して撮像画像を取得する撮像部と、
前記撮像画像から撮像画像情報を生成して前記対象物の表面に生じた異常部位の判定の処理を行う処理部と、
を備えた表面状態判定装置に用いられる表面状態判定方法であって、
前記処理部は、
前記撮像画像から前記撮像画像情報を生成して、前記異なる波長における一の波長である第１波長の照射光に係る前記撮像画像情報から前記第１波長の照射光による反射光の画素毎の第１反射率と、前記第１波長と異なる第２波長の照射光に係る前記撮像画像情報から前記第２波長の照射光による反射光の画素毎の第２反射率を取得する取得ステップと、
前記撮像画像情報において画素毎に前記第１反射率と前記第２反射率との差分量を算出する差分量算出ステップと、
前記差分量算出ステップにおいて算出された差分量を画素毎の反射率とする判定画像情報を生成する生成ステップと、
前記判定画像情報に基づいて前記異常部位の存在を判定する判定ステップと、
を実施することを特徴とする表面状態判定方法。

【請求項9】

異なる波長の照射光を溶接後の対象物の表面に照射する光源部と、
照射光の照射の元で、前記対象物の表面を撮像して撮像画像を取得する撮像部と、
前記撮像画像から撮像画像情報を生成して前記対象物の表面に生じた異常部位の判定の処理を行う処理部と、
を備えた表面状態判定装置に用いられる表面状態判定プログラムであって、
前記処理部は、
前記撮像画像から前記撮像画像情報を生成して、前記異なる波長における一の波長である第１波長の照射光に係る前記撮像画像情報から前記第１波長の照射光による反射光の画素毎の第１反射率と、前記第１波長と異なる第２波長の照射光に係る前記撮像画像情報から前記第２波長の照射光による反射光の画素毎の第２反射率を取得する取得機能と、
前記撮像画像情報において画素毎に前記第１反射率と前記第２反射率との差分量を算出する差分量算出機能と、
前記差分量算出機能において算出された差分量を画素毎の反射率とする判定画像情報を生成する生成機能と、
前記判定画像情報に基づいて前記異常部位の存在を判定する判定機能と、
を発揮することを特徴とする表面状態判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、溶接時に生じるスパッタの付着などの異常の有無を判定する表面状態判定装置、表面状態判定方法、及び表面状態判定プログラムに関する。

【背景技術】

【0002】

アーク溶接、ガス溶接などの溶接時に発生するスパッタは、溶融金属の微粒子であり高温状態で飛散し周囲の部材に付着する場合が有り、当該付着の位置によっては後の工程で問題を引き起こす虞がある。

【0003】

一方で、溶接時に発生するスパッタなどの飛散により、周囲の部材の表面が焦げるなど変色する場合がある。表面にスパッタが付着することなく、単に表面が変色する場合は、後の工程で問題となる虞はスパッタの付着ほどではなかった。

【0004】

従来、溶接後の表面状態の異常の有無を、溶接個所の画像データを画像解析することにより判定することが行われてきた（例えば、特許文献１参照）。このような画像解析では、スパッタが付着した部位と、スパッタの付着には至らず単に表面が溶接に伴って変色しただけの部位とを識別することが困難な場合があった。その要因の一つとして、スパッタが付着した部位と溶接に伴って変色した部位とでは色味がよく似ていることが挙げられる。スパッタが付着するなどの異常部位と単に変色しただけの変色部位とを正確に識別することは、溶接工程の自働化を進めるうえでの課題となっていた。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】ＷＯ２０２０－１２９６１７号

【発明の概要】

【発明が解決しようとする課題】

【0006】

スパッタが付着するなどの異常部位と単に変色しただけの変色部位とをより正確に識別することができる表面状態判定装置、表面状態判定方法、及び表面状態判定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

すなわち、第１の態様に係る表面状態判定装置は、異なる波長の照射光を溶接後の対象物の表面に照射する光源部と、照射光の照射の元で、対象物の表面を撮像して撮像画像を取得する撮像部と、撮像画像から撮像画像情報を生成して対象物の表面に生じた異常部位の判定の処理を行う処理部と、を備え、処理部は、撮像画像から撮像画像情報を生成して、異なる波長における一の波長である第１波長の照射光に係る撮像画像情報から第１波長の照射光による反射光の画素毎の第１反射率と、第１波長と異なる第２波長の照射光に係る撮像画像情報から第２波長の照射光による反射光の画素毎の第２反射率を取得する取得部と、撮像画像情報において画素毎に第１反射率と第２反射率との差分量を算出する差分量算出部と、差分量算出部によって算出された差分量を画素毎の反射率とする判定画像情報を生成する生成部と、判定画像情報に基づいて異常部位の存在を判定する判定部と、を備えることを特徴とする。

【0008】

第２の態様は、第１の態様に係る表面状態判定装置において、溶接に伴って変色した変色部位において反射される、第１波長の照射光の反射光の反射率値と第２波長の照射光の反射光の反射率値との差分量を、第１反射率差とし、溶接に伴って変色しなかった非変色部位において反射される、第１波長の照射光の反射光の反射率値と第２波長の照射光の反射光の反射率値との差分量を、第２反射率差とし、処理部は、第１反射率差と第２反射率差との差分量が所定値以下となるように、第１波長と第２波長とを予め決定する波長決定部を備えることとしてもよい。

【0009】

第３の態様は、第１の態様に係る表面状態判定装置において、処理部は、生成部が生成した判定画像情報に基づいて、判定画像情報における異常部位の位置を特定する位置特定部を備えることとしてもよい。

【0010】

第４の態様は、第１の態様に係る表面状態判定装置において、判定部は、異常部位の存在と判定画像情報との対応関係を予め学習した判定学習モデルを用いて、生成部が生成した判定画像情報に基づいて、異常部位の存在を判定することとしてもよい。

【0011】

第５の態様は、第３の態様に係る表面状態判定装置において、位置特定部は、異常部位の位置と判定画像情報との対応関係を予め学習した位置学習モデルを用いて、生成部が生成した判定画像情報に基づいて、異常部位の位置を特定することとしてもよい。

【0012】

第６の態様は、第１の態様に係る表面状態判定装置において、溶接は、アーク溶接であって、異常部位は、アーク溶接によって生じたスパッタが対象物の表面に付着した部位であることとしてもよい。

【0013】

第７の態様は、第３の態様に係る表面状態判定装置において、処理部は、先端部に異常部位を除去するための爪部を備えたロボットの動作を制御する動作制御部を備え、動作制御部は、位置特定部によって特定された異常部位の位置に係る位置情報を取得して、異常部位を除去する際に位置情報に基づいてロボットの動作を制御することとしてもよい。

【0014】

第８の態様に係る表面状態判定方法は、異なる波長の照射光を溶接後の対象物の表面に照射する光源部と、照射光の照射の元で、対象物の表面を撮像して撮像画像を取得する撮像部と、撮像画像から撮像画像情報を生成して対象物の表面に生じた異常部位の判定の処理を行う処理部と、を備えた表面状態判定装置に用いられる表面状態判定方法であって、処理部は、撮像画像から撮像画像情報を生成して、異なる波長における一の波長である第１波長の照射光に係る撮像画像情報から第１波長の照射光による反射光の画素毎の第１反射率と、第１波長と異なる第２波長の照射光に係る撮像画像情報から第２波長の照射光による反射光の画素毎の第２反射率を取得する取得ステップと、撮像画像情報において画素毎に第１反射率と第２反射率との差分量を算出する差分量算出ステップと、差分量算出ステップにおいて算出された差分量を画素毎の反射率とする判定画像情報を生成する生成ステップと、判定画像情報に基づいて異常部位の存在を判定する判定ステップと、を実施することを特徴とする。

【0015】

第９の態様に係る表面状態判定プログラムは、異なる波長の照射光を溶接後の対象物の表面に照射する光源部と、照射光の照射の元で、対象物の表面を撮像して撮像画像を取得する撮像部と、撮像画像から撮像画像情報を生成して対象物の表面に生じた異常部位の判定の処理を行う処理部と、を備えた表面状態判定装置に用いられる表面状態判定プログラムであって、処理部は、撮像画像から撮像画像情報を生成して、異なる波長における一の波長である第１波長の照射光に係る撮像画像情報から第１波長の照射光による反射光の画素毎の第１反射率と、第１波長と異なる第２波長の照射光に係る撮像画像情報から第２波長の照射光による反射光の画素毎の第２反射率を取得する取得機能と、撮像画像情報において画素毎に第１反射率と第２反射率との差分量を算出する差分量算出機能と、差分量算出機能において算出された差分量を画素毎の反射率とする判定画像情報を生成する生成機能と、判定画像情報に基づいて異常部位の存在を判定する判定機能と、を発揮することを特徴とする。

【発明の効果】

【0016】

本開示に係る表面状態判定装置等は、異なる波長の照射光を溶接後の対象物の表面に照射する光源部と、照射光の照射の元で、対象物の表面を撮像して撮像画像を取得する撮像部と、撮像画像から撮像画像情報を生成して対象物の表面に生じた異常部位の判定の処理を行う処理部と、を備え、処理部は、撮像画像から撮像画像情報を生成して、異なる波長における一の波長である第１波長の照射光に係る撮像画像情報から第１波長の照射光による反射光の画素毎の第１反射率と、第１波長と異なる第２波長の照射光に係る撮像画像情報から第２波長の照射光による反射光の画素毎の第２反射率を取得する取得部と、撮像画像情報において画素毎に第１反射率と第２反射率との差分量を算出する差分量算出部と、差分量算出部によって算出された差分量を画素毎の反射率とする判定画像情報を生成する生成部と、判定画像情報に基づいて異常部位の存在を判定する判定部と、を備えることを特徴とするので、スパッタが付着するなどの異常部位と単に変色しただけの変色部位とを正確に識別することができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態に係る表面状態判定装置の対象物について説明するための図である。

【図2】本実施形態に係る表面状態判定装置の概要について説明するための図である。

【図3】本実施形態に係る表面状態判定装置の機能を説明するためのブロック図である。

【図4】本実施形態に係る表面状態判定装置の対象物の表面状態別における、照射光の波長と相対反射率との相関関係を比較するためのグラフである。

【図5】本実施形態に係る表面状態判定装置の対象物の表面の非変色部位における、第１波長の相対反射率と第２波長の相対反射率との差分量について説明するためのグラフである。

【図6】本実施形態に係る表面状態判定装置の対象物の表面の変色部位における、第１波長の相対反射率と第２波長の相対反射率との差分量について説明するためのグラフである。

【図7】本実施形態に係る表面状態判定装置の対象物の表面の異常部位における、第１波長の相対反射率と第２波長の相対反射率との差分量について説明するためのグラフである。

【図8】本実施形態に係る表面状態判定装置の対象物の表面の画像のサンプルである。

【図9】本実施形態に係る表面状態判定装置の対象物の表面を第１波長の照射光の照射のもと撮像した画像のサンプルである。

【図10】本実施形態に係る表面状態判定装置の対象物の表面を第２波長の照射光の照射のもと撮像した画像のサンプルである。

【図11】本実施形態に係る表面状態判定装置の対象物の表面に係る判定画像情報のサンプルである。

【図12】本実施形態に係る表面状態判定プログラムのフローチャートである。

【発明を実施するための形態】

【0018】

（表面状態判定装置１０の判定の対象物１）
図１を参照して表面状態判定装置１０の判定の対象物１について説明する。
対象物１は、溶接母材１ａに溶接部材１ｂをアーク溶接、ガス溶接などの溶接により溶接して形成されたものである。スパッタ３は溶接時に溶融された金属の微粒子であり飛散する（図１（ａ）参照）。溶接母材１ａの表面に飛来したスパッタ３は、冷却とともに溶接母材１ａの表面に付着する。特に経験上、溶接によって生じるビード２付近にスパッタ３が付着することが分かっている（図１（ｂ）参照）。溶接後の工程において、スパッタ３が付着した溶接母材１ａなどの周辺部材の表面に他部品４を取り付ける際、スパッタ３の凹凸が干渉し精度よく周辺部材に取り付けられない等の問題が生じる（図１（ｃ）参照）。このような問題を解消するために、表面状態判定装置１０は凹凸を伴うスパッタ３が周辺部材の表面に有るか否かの判定を行う。

【0019】

（表面状態判定装置１０の概要）
図２、図３を参照して本実施形態に係る表面状態判定装置１０の概要について説明する。
表面状態判定装置１０は、図２、図３に示す様に、本体９、キーボード１６、ディスプレイ１７、マウス１８、光源部２５、ロボット２６、撮像部２７、及び爪部２８などを備える。光源部２５、ロボット２６、撮像部２７は、有線若しくは無線により表面状態判定装置１０に接続され、表面状態判定装置１０により操作などの制御が行われる。

【0020】

本体９は、パーソナルコンピュータ（以下、ＰＣ）、ノートＰＣ、タブレットＰＣなどに代表される情報処理装置であり、汎用の情報処理装置に後述する表面状態判定プログラムを追加して使用可能にすることができる。また、本体９は、表面状態判定プログラムを実行可能とし表面状態判定装置１０の機能に特化した専用の情報処理装置としてもよい。

【0021】

光源部２５は、異なる波長の照射光６を溶接後の対象物１の表面に照射する。
照射光６の波長は、後述の波長決定部３１により決定される。光源部２５は、波長決定部３１によって決定された２種類の波長（以下、第１波長、及び第２波長）の照射光６をそれぞれ異なるタイミングで対象物１の溶接後の表面に照射する。

【0022】

撮像部２７は、照射光６の照射の元で、対象物１の表面を撮像して撮像画像を取得する。
撮像部２７は、第１波長の照射光６の照射の元で、対象物１の表面を撮像して取得する撮像画像を第１撮像画像として取得する。

【0023】

撮像部２７は、第２波長の照射光６の照射の元で、対象物１の表面を撮像して取得する撮像画像を第２撮像画像として取得する。

【0024】

ロボット２６は、多関節ロボットである。ロボット２６は、表面状態判定装置１０によって位置が特定された異常部位であるスパッタ３の付着した部位からスパッタ３を除去する際に、先端部２９に爪部２８が装着される（図２参照）。なお、ロボット２６は、多関節ロボットに限定されるものではなく、パラレルリンクロボット、スカラロボット、及び直交ロボットを含む各種産業用ロボットを用いてもよい。
実施形態における異常部位４２は、アーク溶接によって生じたスパッタ３が対象物１の表面に付着した部位である。以降、スパッタ３を例に説明する。なお、他に加傷に伴う突出した部位も含まれる。

【0025】

（表面状態判定装置１０の機能）
図３を参照して、本実施形態に係る表面状態判定装置１０の機能について説明する。図３は本実施形態に係る表面状態判定装置１０の機能を説明するためのブロック図である。

【0026】

表面状態判定装置１０の本体９は、図３に示す様に、処理部１１、Read Only Memory（ＲＯＭ）１２、Random Access Memory（ＲＡＭ）１３、記憶部１４、入出力インターフェース１５等を備えて構成されている。本体９の内部において、処理部１１、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、入出力インターフェース１５等は、バス２０によって相互に接続され、データの双方向の伝送を可能にしている。

【0027】

処理部１１は、Micro Processing Unit（ＭＰＵ）、Central Processing Unit（ＣＰＵ）などで構成され、後述の表面状態判定プログラムを実行することで、内蔵する各種機能部の機能を制御し、各種機能部のそれぞれの機能を実現させる。

【0028】

ＲＯＭ１２及び記憶部１４は、記憶装置として利用でき、表面状態判定プログラム、及び表面状態判定プログラムを利用するための各種データ並びにアプリケーションなどが記憶される。

【0029】

表面状態判定装置１０は、表面状態判定プログラムをＲＯＭ１２若しくは記憶部１４に保存し、ＲＡＭ１３などで構成されるメインメモリに表面状態判定プログラムを取り込む。そして、処理部１１は、表面状態判定プログラムを取り込んだメインメモリにアクセスして、表面状態判定プログラムを実行する。

【0030】

表面状態判定装置１０は、入出力インターフェース１５を介してキーボード１６、ディスプレイ１７、マウス１８、光源部２５、ロボット２６、撮像部２７、爪部２８などに接続される。

【0031】

光源部２５は、波長可変光源を用い、照射光６の波長を１ｎｍごとに変えることができる。光源部２５の照射光の波長を変化させる方式としては、固定波長の光源の光から回折格子を用いて特定の波長の光のみを照射光として出力する方式、若しくは光源の光そのものの波長を変化させる方式があるが、何れの方式を用いてもよい。

【0032】

撮像部２７は、光源部２５から照射された照射光６の対象物１の表面からの反射光を撮像する。撮像部２７はＲＧＢカメラであり、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子を用いて、光を電気信号に変換しデータを取得する。

【0033】

爪部２８は、対象物１の表面に付着したスパッタ３を削り、こそげとる刃状、へら状の器具のことを言い、スクレーパー（scraper）とも呼ばれ、ロボット２６の先端部２９に装着して用いられる。

【0034】

処理部１１は、撮像画像から撮像画像情報を生成して対象物１の表面に生じた異常部位４２（図８参照）の判定の処理を行う。
第１撮像画像から生成された撮像画像情報を第１撮像画像情報とし、第２撮像画像から生成された撮像画像情報を第２撮像画像情報として説明する。

【0035】

反射光の画像は、光源部２５から照射された照射光６が対象物１の表面において反射されて反射光となり、当該反射光を撮像部２７で撮像して得た像のことである。
撮像画像情報は、撮像部２７が撮像した撮像画像から処理部１１が生成する画像データのことであり、少なくとも画素毎の、光源部２５の照射光６の対象物１の表面において反射された反射光の反射率を含む。

【0036】

表面状態判定装置１０は、処理部１１によって表面状態判定プログラムを実行することにより、処理部１１に波長決定部３１、取得部３２、差分量算出部３３、生成部３４、判定部３５、位置特定部３６、及び動作制御部３７などを機能部として備える。

【0037】

波長決定部３１は、第１反射率差と第２反射率差との差分量が所定値以下となるように、第１波長と第２波長とを予め決定する。

【0038】

（第１波長４３と第２波長４４の決定方法）
図４乃至図７を参照して、第１波長４３と第２波長４４の決定方法について説明する。
図４は表面状態判定装置１０の対象物１の表面状態別（非変色部位４０、変色部位４１、異常部位４２）における照射光６の波長と相対反射率との相関関係を比較するためのグラフであり、図５は表面状態判定装置１０の対象物１の表面の非変色部位４０（図８参照）における第１波長４３の相対反射率と第２波長４４の相対反射率との差分量について説明するためのグラフである。

【0039】

図４は、対象物１の表面の何れの状態においても、即ち、非変色部位４０、変色部位４１、異常部位４２の何れの部位で反射した反射光であっても、照射光６の波長が４５０ｎｍから９５０ｎｍの範囲において、照射光６の波長が長くなるほど反射光の相対反射率は増加傾向にあることを示す。

【0040】

さらに、図４は、非変色部位４０における反射光の相対反射率（図４の符号４０参照）は、照射光６の波長の４５０ｎｍから９５０ｎｍまでの全範囲において、変色部位４１及び異常部位４２における反射光の相対反射率（図４の符号４１及び４２参照）より大きい値をとることを示す。

【0041】

さらに、図４は、変色部位４１における反射光の相対反射率（図４の符号４１参照）は、照射光６の波長の４５０ｎｍから８４０ｎｍ付近までにおいて、異常部位４２における反射光の相対反射率（図４の符号４２）より大きく、照射光６の波長の８４０ｎｍ付近から９５０ｎｍまでにおいて、異常部位４２における反射光の相対反射率（図４の符号４２）より小さいことを示す。

【0042】

図６は表面状態判定装置１０の対象物１の表面の変色部位４１（図８参照）における第１波長４３の相対反射率と第２波長４４の相対反射率との差分量について説明するためのグラフであり、図７は表面状態判定装置１０の対象物１の表面の異常部位４２（図８参照）における第１波長４３の相対反射率と第２波長４４の相対反射率との差分量について説明するためのグラフである。
本実施形態において、反射率に相対反射率を用いる例を示すが、これに限定されるものではなく反射率の例として絶対反射率を用いてもよい。

【0043】

溶接に伴って変色した変色部位４１（図８参照）において反射される、第１波長４３の照射光６の反射光の反射率値５３と第２波長４４の照射光６の反射光の反射率値５４との差分量を第１反射率差４６とする（図６参照）。

【0044】

溶接に伴って変色しなかった非変色部位４０（図８参照）において反射される、第１波長４３の照射光６の反射光の反射率値５１と第２波長４４の照射光６の反射光の反射率値５２との差分量を第２反射率差４５とする（図５参照）。

【0045】

異常部位４２（図８参照）において反射される、第１波長４３の照射光６の反射光の反射率値５５と第２波長４４の照射光６の反射光の反射率値５６との差分量を第３反射率差４７とする（図７参照）。

【0046】

波長決定部３１は、第１反射率差４６と第２反射率差４５とがほぼ等しくなるように（双方の反射率差が所定の範囲内となるように）、第１波長４３と第２波長４４とを予め決定する。第１反射率差４６と第２反射率差４５とは、実際に測定した結果得られた値（実測値）であるため、第１反射率差４６と第２反射率差４５とが完全に一致することはなく、第１反射率差４６と第２反射率差４５との差分量が０に近ければ近いほど良い。なぜなら、当該差分量が０に近いほど、後述する生成部３４が生成する判定画像情報において、変色部位４１は非変色部位４０に同化し埋没することで、非変色部位４０の中にあって変色部位４１が目立たなくなるからである。

【0047】

さらに好ましくは、波長決定部３１は、第１反射率差４６と第２反射率差４５とがほぼ等しくなり、且つ、第３反射率差４７が第１反射率差４６及び第２反射率差４５に対してより大きくなるように第１波長４３と第２波長４４とを予め決定する。なぜなら、第３反射率差４７が第１反射率差４６及び第２反射率差４５に対して大きければ大きいほど、後述する生成部３４が生成する判定画像情報において、異常部位４２は非変色部位４０に対して顕在化し、非変色部位４０の中にあって異常部位４２が目立つようになるからである。

【0048】

波長決定部３１の第１波長４３及び第２波長４４の具体的な決定方法について以下に述べる。第１波長４３と第２波長４４は、４５０ｎｍから９５０ｎｍまでの５ｎｍ間隔の値をとることが出来る。第１波長４３と第２波長４４のとり得る値の全ての組み合わせの第１波長４３と第２波長４４において、第１反射率差４６、第２反射率差４５、及び第３反射率差４７を図４のグラフに基づいて導出し、第１反射率差４６と第２反射率差４５とがほぼ等しくなるように、より好ましくは、第１反射率差４６と第２反射率差４５とがほぼ等しくなり、且つ、第３反射率差４７が第１反射率差４６及び第２反射率差４５に対してより大きくなるような第１波長４３と第２波長４４との組み合わせを選択して、第１波長４３と第２波長４４とを決定する。

【0049】

取得部３２は、撮像画像から撮像画像情報を生成して、異なる波長における一の波長である第１波長４３の照射光６に係る撮像画像情報から第１波長４３の照射光６による反射光の画素毎の第１反射率と、第１波長４３と異なる第２波長４４の照射光に係る撮像画像情報から第２波長４４の照射光による反射光の画素毎の第２反射率を取得する。

【0050】

取得部３２は、撮像部２７が対象物１の表面を撮像して取得した第１撮像画像及び第２撮像画像を取得する。取得部３２は、第１撮像画像から第１撮像画像情報を生成し、画素毎の第１波長４３の照射光６の反射光の相対反射率を第１反射率として取得する。取得部３２は、第２撮像画像から第２撮像画像情報を生成し、画素毎の第２波長４４の照射光６の反射光の相対反射率を第２反射率として取得する。

【0051】

差分量算出部３３は、撮像画像情報において画素毎に第１反射率と第２反射率との差分量を算出する。
差分量算出部３３は、第１撮像画像情報の画素毎の第１反射率と第２撮像画像情報の画素毎の第２反射率とに基づいて、画素毎の第１反射率と第２反射率との差分量を算出する。
差分量算出部３３は、第１波長４３の照射光６の反射光と第２波長４４の照射光６の反射光との反射率差を数値化する。

【0052】

生成部３４は、差分量算出部３３によって算出された差分量を画素毎の反射率とする判定画像情報を生成する。
生成部３４は、差分量算出部３３によって数値化された第１波長４３の照射光６の反射光と第２波長４４の照射光６の反射光との画素毎の反射率差に基づいて、判定画像情報を生成することで第１反射率と第２反射率との差分量を画像化するものである。
判定画像情報は、変色部位４１を非変色部位４０の中で目立たなくして異常部位４２を検出しやすくするものである。

【0053】

判定部３５は、判定画像情報に基づいて異常部位の存在を判定する。
判定部３５は、判定画像情報の中に異常部位が有るか否かの判定を行う。
判定部３５は、異常部位４２の存在と判定画像情報との対応関係を予め学習した判定学習モデルを用いて、生成部３４が生成した判定画像情報に基づいて、異常部位４２の存在を判定することとしてもよい。

【0054】

判定部３５は、生成部３４が生成した判定画像情報を判定学習モデルに入力することで、判定画像情報の中に異常部位４２が有るか否かの判定を行うこととしてもよい。

【0055】

判定部３５は、変色部位４１を非変色部位４０の中で目立たなくされた判定画像情報に基づいて異常部位４２の有無の判定を行うので、変色部位４１を異常部位４２と認識してしまう誤検出を抑制することができて、精度よく異常部位４２の有無の判定を行うことができる。

【0056】

さらに、第１波長４３と第２波長４４とが、第１反射率差４６と第２反射率差４５とがほぼ等しくなり、且つ、第３反射率差４７が第１反射率差４６及び第２反射率差４５に対してより大きくなるように決定された場合では、変色部位４１が目立たなくなるとともに異常部位４２を顕在化した判定画像情報を判定学習モデルに入力することで、変色部位４１を異常部位４２と認識してしまう誤検出をさらに抑制することができるので、より精度よく異常部位４２の有無の判定を行うことができる。

【0057】

判定学習モデルの学習には機械学習が用いられ、その機械学習の手法として、サポートベクター（Support Vector Machine：ＳＶＭ）、モデルツリー、決定ツリー、ニューラルネットワーク、多重線形回帰、局部的重み付け回帰、確立サーチ方法等が用いられる。

【0058】

位置特定部３６は、生成部３４が生成した判定画像情報に基づいて、判定画像情報における異常部位４２の位置を特定する。
位置特定部３６は、異常部位４２の位置と判定画像情報との対応関係を予め学習した位置学習モデルを用いて、生成部３４が生成した判定画像情報に基づいて、異常部位４２の位置を特定することとしてもよい。

【0059】

位置特定部３６は、生成部３４が生成した判定画像情報を位置学習モデルに入力することで、判定画像情報の中の異常部位４２の位置の特定を行うこととしてもよい。
位置特定部３６は、変色部位４１を非変色部位４０の中で目立たなくされた判定画像情報に基づいて異常部位４２の位置の特定を行うので、変色部位４１を異常部位４２と認識してしまう誤検出を抑制することができて、精度よく異常部位４２の位置の特定を行うことができる。

【0060】

さらに、第１波長４３と第２波長４４とが、第１反射率差４６と第２反射率差４５とがほぼ等しくなり、且つ、第３反射率差４７が第１反射率差４６及び第２反射率差４５に対してより大きくなるように決定された場合では、変色部位４１が目立たなくなるとともに異常部位４２を顕在化した判定画像情報を判定学習モデルに入力することで、変色部位４１を異常部位４２と認識してしまう誤検出をさらに抑制することができるので、より精度よく異常部位４２の位置の特定を行うことができる。

【0061】

位置学習モデルの学習には、判定学習モデルの学習の場合と同様に、機械学習が用いられ、その機械学習の手法として、サポートベクター（Support Vector Machine：ＳＶＭ）、モデルツリー、決定ツリー、ニューラルネットワーク、多重線形回帰、局部的重み付け回帰、確立サーチ方法等が用いられる。

【0062】

動作制御部３７は、先端部２９に異常部位４２を除去するための爪部２８を備えたロボット２６の動作を制御する。
動作制御部３７は、位置特定部３６によって特定された異常部位４２の位置に係る位置情報を取得して、異常部位４２を除去する際に位置情報に基づいてロボット２６の動作を制御する。

【0063】

図８乃至図１１を参照して、本実施形態の表面状態判定装置１０の一実施例について説明する。
図８は表面状態判定装置１０の対象物１の表面の画像のサンプルであり、図９は表面状態判定装置１０の対象物１の表面を第１波長４３の照射光６の照射のもと撮像した画像のサンプルであり、図１０は表面状態判定装置１０の対象物１の表面を第２波長４４の照射光６の照射のもと撮像した画像のサンプルであり、図１１は表面状態判定装置１０の対象物１の表面に係る判定画像情報のサンプルである。

【0064】

本実施例では、第１波長４３を５４０ｎｍとし、第２波長を９５０ｎｍとした。図８乃至図１１の符号４０は非変色部位を示し、符号４１は変色部位を示し、符号４２は異常部位４２を示す。

【0065】

図８は通常の室内光若しくは自然光の照射の元、撮像部２７が対象物１の表面を撮像した撮像画像であり、変色部位４１において変色した表面状態が視認でき、異常部位４２において表面へのスパッタ３の付着が視認でき、非変色部位４０において対象物１の表面状態が素地のままであることが視認できる。

【0066】

図９は５４０ｎｍの波長の照射光６の照射の元、撮像部２７が対象物１の表面を撮像した撮像画像であり、変色部位４１において変色した表面状態が視認でき、異常部位４２において表面へのスパッタ３の付着が視認でき、非変色部位４０において対象物１の表面状態が素地のままであることが視認できる。

【0067】

図１０は９５０ｎｍの波長の照射光６の照射の元、撮像部２７が対象物１の表面を撮像した撮像画像であり、変色部位４１において変色した表面状態が視認でき、異常部位４２において表面へのスパッタ３の付着が視認でき、非変色部位４０において対象物１の表面状態が素地のままであることが視認できる。

【0068】

図１１は、生成部３４が５４０ｎｍの波長の照射光６の反射光と９５０ｎｍの波長の照射光６の反射光との画素毎の反射率差に基づいて生成した判定画像情報であり、変色部位４１において変色した表面状態が目立たなくなっていることが視認できる。なお、図１１に示すように、異常部位４２において表面へのスパッタ３の付着は、図８乃至図１０と同様に視認することができ、非変色部位４０において対象物１の表面状態が素地のままであることが、図８乃至図１０と同様に視認することができる。

【0069】

図１１に示す様に、判定画像情報においては、異常部位４２と変色部位４１とで対象物１の表面の表面状態が異なることが明確となり、変色部位４１を異常部位４２と認識してしまう誤認を抑制することができる。

【0070】

さらには、図１１に示す様に、判定画像情報においては、変色部位４１と非変色部位４０とでは、対象物１の表面の表面状態は同じ様に視認されるので、非変色部位４０の中で異常部位４２はより目立つ存在となり異常部位４２の検出の精度を向上させることができる。

【0071】

本実施例に示す様に、判定画像情報では異常部位４２を顕在化することができるので、当該判定画像情報を用いてＡＩ（人工知能）などの画像解析を行うことで、異常部位４２の存在の判定、及び異常部位４２の位置の特定をより正確に行うことができる。

【0072】

（表面状態判定方法及び表面状態判定プログラム）
次に図１２を参照して、本実施形態の表面状態判定装置１０における表面状態判定方法について、表面状態判定装置１０によって実行される表面状態判定プログラムとともに説明する。図１２は本実施形態に係る表面状態判定プログラムのフローチャートである。

【0073】

表面状態判定プログラムは、波長決定ステップＳ３１、取得ステップＳ３２、差分量算出ステップＳ３３、生成ステップＳ３４、判定ステップＳ３５、位置特定ステップＳ３６、動作制御ステップＳ３７などを含む。

【0074】

表面状態判定プログラムは、ＲＡＭ１３などで構成されるメインメモリに取り込まれて、当該メインメモリにアクセスする処理部１１によって実行される。表面状態判定プログラムは、処理部１１に対して、波長決定機能、取得機能、差分量算出機能、生成機能、判定機能、位置特定機能、動作制御機能など実現させる。

【0075】

これらの機能は図１２に示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて表面状態判定プログラムを実行しても良い。なお、上記した各機能は、前述の表面状態判定装置１０の波長決定部３１、取得部３２、差分量算出部３３、生成部３４、判定部３５、位置特定部３６、及び動作制御部３７の説明と重複するため、その詳細な説明は省略する。

【0076】

波長決定機能は、第１反射率差と第２反射率差との差分量が所定値以下となるように、第１波長４３と第２波長４４とを予め決定する（Ｓ３１：波長決定ステップ）。

【0077】

取得機能は、撮像画像から撮像画像情報を生成して、異なる波長における一の波長である第１波長４３の照射光６に係る撮像画像情報から第１波長４３の照射光６による反射光の画素毎の第１反射率と、第１波長４３と異なる第２波長４４の照射光に係る撮像画像情報から第２波長４４の照射光６による反射光の画素毎の第２反射率を取得する（Ｓ３２：取得ステップ）。

【0078】

差分量算出機能は、撮像画像情報において画素毎に第１反射率と第２反射率との差分量を算出する（Ｓ３３：差分量算出ステップ）。

【0079】

生成機能は、差分量算機能によって算出された差分量を画素毎の反射率とする判定画像情報を生成する（Ｓ３４：生成ステップ）。

【0080】

判定機能は、判定画像情報に基づいて異常部位４２の存在を判定する（Ｓ３５：判定ステップ）。

【0081】

位置特定機能は、生成機能において生成した判定画像情報に基づいて、判定画像情報における異常部位４２の位置を特定する（Ｓ３６：位置特定ステップ）。

【0082】

動作制御機能は、先端部２９に異常部位４２を除去するための爪部２８を備えたロボット２６の動作を制御する（Ｓ３７：動作制御ステップ）。

【0083】

上記した本実施形態によれば、判定部３５は、変色部位４１を非変色部位４０の中で目立たなくされた判定画像情報に基づいて異常部位４２の有無の判定を行うので、変色部位４１を異常部位４２と認識してしまう誤検出を抑制することができて、精度よく異常部位４２の有無の判定を行うことができる。

【0084】

さらに、上記した本実施形態によれば、第１波長４３と第２波長４４とが、第１反射率差４６と第２反射率差４５とがほぼ等しくなり、且つ、第３反射率差４７が第１反射率差４６及び第２反射率差４５に対してより大きくなるように決定された場合では、判定部３５は、変色部位４１が目立たなくなるとともに異常部位４２を顕在化した判定画像情報に基づいて異常部位４２の有無の判定を行うので、変色部位４１を異常部位４２と認識してしまう誤検出をさらに抑制することができるので、より精度よく異常部位４２の有無の判定を行うことができる。

【0085】

さらに、上記した本実施形態によれば、位置特定部３６は、変色部位４１を非変色部位４０の中で目立たなくされた判定画像情報に基づいて異常部位４２の位置の特定を行うので、変色部位４１を異常部位４２と認識してしまう誤検出を抑制することができて、精度よく異常部位４２の位置の特定を行うことができる。

【0086】

さらに、上記した本実施形態によれば、第１波長４３と第２波長４４とが、第１反射率差４６と第２反射率差４５とがほぼ等しくなり、且つ、第３反射率差４７が第１反射率差４６及び第２反射率差４５に対してより大きくなるように決定された場合では、位置特定部３６は、変色部位４１が目立たなくなるとともに異常部位４２を顕在化した判定画像情報に基づいて異常部位４２の位置を特定するので、変色部位４１を異常部位４２と認識してしまう誤検出をさらに抑制することができるので、より精度よく異常部位４２の位置の特定を行うことができる。

【0087】

本開示は上記した実施形態に係る表面状態判定装置１０、表面状態判定方法、及び表面状態判定プログラムに限定されるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。

【符号の説明】

【0088】

１ 対象物
１ａ 溶接母材
１ｂ 溶接部材
２ ビード
３ スパッタ
４ 他部品
６ 照射光
９ 本体
１０ 表面状態判定装置
１１ 処理部
１２ ＲＯＭ
１３ ＲＡＭ
１４ 記憶部
１５ 入出力インターフェース
１６ キーボード
１７ ディスプレイ
１８ マウス
２０ バス
２５ 光源部
２６ ロボット
２７ 撮像部
２８ 爪部
２９ 先端部
３１ 波長決定部
３２ 取得部
３３ 差分量算出部
３４ 生成部
３５ 判定部
３６ 位置特定部
３７ 動作制御部
４０ 非変色部位
４１ 変色部位
４２ 異常部位
４３ 第１波長
４４ 第２波長
４５ 矢印（第１反射率差）
４６ 矢印（第２反射率差）
４７ 矢印（第３反射率差）
５１～５６ 反射率値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】