特許 6954792 接合工程ライン監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6954792

(24)【登録日】2021年10月4日

(45)【発行日】2021年10月27日

(54)【発明の名称】接合工程ライン監視システム

(51)【国際特許分類】

   G01N 25/72 20060101AFI20211018BHJP

   B23K 31/00 20060101ALI20211018BHJP

   G01N 21/892 20060101ALI20211018BHJP

   B23K 1/00 20060101ALN20211018BHJP

【ＦＩ】

   G01N25/72 E

   B23K31/00 N

   B23K31/00 K

   G01N21/892 Z

   !B23K1/00 G

   !B23K1/00 A

【請求項の数】4

【全頁数】28

(21)【出願番号】特願2017-181041(P2017-181041)

(22)【出願日】2017年9月21日

(65)【公開番号】特開2019-56622(P2019-56622A)

(43)【公開日】2019年4月11日

【審査請求日】2020年5月18日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】遠藤 久

(72)【発明者】

【氏名】宮城 雅徳

(72)【発明者】

【氏名】吉川 裕

(72)【発明者】

【氏名】山田 敏広

(72)【発明者】

【氏名】掛布 修弘

(72)【発明者】

【氏名】▲浜▼ 靖典

【審査官】 野田 華代

(56)【参考文献】

【文献】 特開２００１−０７１１４０（ＪＰ，Ａ）

【文献】 特開２００６−１７１１８４（ＪＰ，Ａ）

【文献】 特開平１１−１５１５７３（ＪＰ，Ａ）

【文献】 特開平１０−１３７９２９（ＪＰ，Ａ）

【文献】 特開２００３−０８０３９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２５／００−２５／７２

Ｂ２３Ｋ ３１／００

Ｇ０１Ｎ ２１／８９２

Ｂ２３Ｋ １／００

(57)【特許請求の範囲】

【請求項1】

接合工程の製造ラインを監視する、データ処理装置を有して構成される接合工程ライン監視システムであって、
前記接合工程における接合対象部材に対する作業者による接合ツールおよび溶金材を操作する接合作業に関して、
前記接合対象部材の接合現象を現象データとして取得する接合現象データ取得手段と、
前記接合対象部材の接合作業状態を作業状態データとして取得する作業状態データ取得手段と、
取得した前記現象データと前記作業状態データとを時刻同期し、かつ、接合作業箇所毎に紐付けて、評価データを算出する評価データ算出手段と、
あらかじめ準備された基準となる接合作業に対して、前記接合現象データ取得手段、前記作業状態データ取得手段および前記評価データ算出手段を用いて、接合作業箇所毎に紐付けられた、かつ作業者の熟練度に応じた、基準データを格納する基準データ格納手段と、
前記評価データと前記基準データとの相違を相違データとして抽出する相違データ抽出手段と、
前記相違データをもとに、相違度と閾値との比較によって、前記接合部の異常箇所を判定する異常箇所判定手段と、
前記異常箇所を前記作業者に対し提示する提示手段と、
を備え、
前記接合現象データ取得手段は、前記接合対象部材の接合部を撮影するカメラと、前記接合部の温度分布を計測するサーモカメラと、を備え、前記カメラの動画像から前記接合部の変化を計測し、前記サーモカメラの動画像から前記接合部の温度分布の変化を計測し、前記接合部での前記溶金材の流動の状況を含む、前記接合現象データとし、
前記作業状態データ取得手段は、前記接合作業の際の前記作業者の身体の各部までの距離を計測する距離センサと、前記接合ツールの動きを計測する慣性センサと、を備え、前記作業者の位置および動き、前記接合部と前記接合ツールとの位置関係を計測して、前記作業状態データとし、
前記相違データ抽出手段は、前記接合部の前記溶金材の流動箇所の相違を含む前記相違データを抽出し、
前記作業者の熟練度に応じて、前記接合部の前記異常箇所の補修にかかる時間を算出し、この補修のための割り当て時間である補修作業可能時間とし、
前記提示手段は、前記接合部の異常箇所を提示する場合に、前記接合部に前記異常箇所を示す光を投影し、前記補修作業可能時間を前記作業者に対し提示し、
前記作業者の熟練度では前記補修にかかる時間内には補修が完了しないと判断した場合には、他の人に知らせる、
接合工程ライン監視システム。

【請求項2】

請求項１に記載の接合工程ライン監視システムにおいて、
前記接合現象データおよび前記作業状態データをもとに、前記接合部での前記溶金材の先端の接合開始点の位置を抽出し、前記接合部での前記溶金材の流動の軌跡を抽出し、前記接合部での前記溶金材の流動箇所を含む前記接合対象部材の温度分布を評価し、前記流動箇所を含む前記接合対象部材の温度分布と前記接合ツールの動作との対応関係を分析し、分析したデータと、温度条件を含む基準の条件とを比較して、比較結果を出力する、
接合工程ライン監視システム。

【請求項3】

請求項１に記載の接合工程ライン監視システムにおいて、
前記作業状態データをもとに、前記作業者の位置および動き、前記接合部と前記接合ツールとの位置関係を用いて、前記作業者による前記接合工程の製造ライン上の複数の接合対象部材に対する作業手順について、時系列上で前記作業者がどの接合対象部材に対する作業中かを評価して記録する、
接合工程ライン監視システム。

【請求項4】

請求項１に記載の接合工程ライン監視システムにおいて、
前記接合工程は、バーナーおよびろう付けを用いて部材間を溶接する工程である、接合工程ライン監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、接合工程ライン監視システムに関する。

【背景技術】

【0002】

ろう付けや溶接などの接合作業は、大物構造体や複雑形状を有する部材のモノづくりにおいて、重要な工程の一つである。特に、接合箇所に応力がかかる構造体や、内圧からの応力がかかる密閉容器においては、接合出来具合が、安全性に関わるため、作業後その品質を確認する工程が設けられる。一般的には、抜き取りによる破壊検査や、Ｘ線像、超音波探傷による非破壊検査で、接合の不良を検出し、品質を管理する。また、不良や、未完了部を検出すると、手直しの工程が追加されるため、工程遅延が発生する。

【0003】

接合作業の可／不可の判断は、検出された接合の不良から推定することになる。接合は、金属の流動が伴うため、同じ作業内容で実施されても、同じ出来栄えにすることは、極めて困難である。したがって、不良や、未完了部が発生する。

【0004】

近年、物質の移動が伴う現象を時間方向に詳細に撮影できるカメラや、各種現象を数値データ化することができるセンサ類が多く開発されている。このような接合の状態をセンサ類でとらえ、不良、未完了部箇所発生の防止や、品質を管理することが考えられる。

【0005】

特許文献１には、接合部の温度変化を計測し、計測データの特徴量から接合部の適合、不適合を判定して管理するはんだ接合部の品質管理方法および品質管理装置が開示されている。

【0006】

特許文献２には、ビジョンセンサによって温度計測を行い、自動装置の加熱手段にフィードバックする自動ろう付け方法が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１５−１５５１０３号公報

【特許文献2】特開平６−２６２３４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に記載のはんだ接合部の品質管理方法は、温度変化と、溶金材（ろう、はんだ、溶接材など）が接合箇所に供給されているか不明であるため、未完了部を作ってしまうという課題がある。

【0009】

また、特許文献２に記載の自動ろう付け方法は、人作業が伴う大物構造体や複雑形状に対する接合作業では、自動化することができないという課題がある。

【0010】

本発明は、このような事情に鑑みてなされたものであり、接合品質の低下と作業遅延を防止することができる接合工程ライン監視システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決するために、本発明の接合工程ライン監視システムは、接合対象部材の接合現象を現象データとして取得する接合現象データ取得手段と、前記接合対象部材の接合作業状態を作業状態データとして取得する作業状態データ取得手段と、取得した前記現象データと前記作業状態データとを時刻同期し、かつ、接合作業箇所毎に紐付けて、評価データを算出する評価データ算出手段と、前記評価データとあらかじめ設定された基準データとの相違を相違データとして抽出する相違データ抽出手段と、前記相違データをもとに、前記接合対象部材の接合部の異常箇所を提示する提示手段と、を備えることを特徴とする。

【発明の効果】

【0012】

本発明によれば、接合品質の低下と作業遅延を防止することができる接合工程ライン監視システムを提供する。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態に係る接合工程ライン監視システムの利用形態の一例を示す図である。

【図2】上記第１の実施形態に係る接合工程ライン監視システムの構成を示すブロック図である。

【図3】上記第１の実施形態に係る接合工程ライン監視システムのガスろう付けを用いた２つの管部品（接合対象の部材）の接合を示す図である。

【図4】上記第１の実施形態に係る接合工程ライン監視システムの正常品の場合の管部品（接合対象の部材）の接合部を高速カメラで撮影した一例を示す図であり、（ａ）は管部品の加熱が十分に行われた後、溶金材を接合部に当てる様子を示し、（ｂ）は管部品の接合部において、溶金材が溶け、溶けた溶金材が隙間に流動した様子を示し、（ｃ）は最終的な出来栄えとして、管部品の接合部の隙間全体に凝固した溶金材の形状を示し、（ｄ）は、（ｃ）の破線で囲んだ部分の要部断面図を示す。

【図5】上記第１の実施形態に係る接合工程ライン監視システムの異常品の場合の管部品（接合対象の部材）の接合部を高速カメラで撮影した一例を示す図であり、（ａ）は管部品の加熱が十分に行われた後、溶金材を接合部に当てる様子を示し、（ｂ）は溶金材をさす場所が、接合部に対して適切でない様子を示し、（ｃ）は最終的な出来栄えとして、管部品の接合部の隙間に凝固した溶金材の形状を示し、（ｄ）は、（ｃ）の破線で囲んだ部分の要部断面図を示す。

【図6】上記第１の実施形態に係る接合工程ライン監視システムの正常品の場合の管部品（接合対象の部材）の接合部をサーモカメラで撮影した一例を示す図であり、（ａ）は管部品をガスバーナーなどで加熱する例を示し、（ｂ）はサーモカメラが管部品（接合対象の部材）の温度上昇や温度分布を映像としてとらえる例を示し、（ｃ）は溶接後には管部品の温度は共に下がっている例を示す。

【図7】上記第１の実施形態に係る接合工程ライン監視システムの異常品の場合の管部品（接合対象の部材）の接合部をサーモカメラで撮影した一例を示す図であり、（ａ）は管部品をガスバーナーなどで加熱する例を示し、（ｂ）は加熱の箇所が偏っている温度分布を映像としてとらえる例を示し、（ｃ）は溶金材が、接合部に十分に入り込んでいない例を示す。

【図8】上記第１の実施形態に係る接合工程ライン監視システムの距離センサを用いて人の動作を捉えた一例を示す図であり、（ａ）は人の骨格の推定例、（ｂ）は、（ａ）の数値化例、（ｃ）は、（ｂ）の判定例を示す。

【図9】上記第１の実施形態に係る接合工程ライン監視システムの距離センサを用いて人の動作を捉えた図８とは別の他例を示す図であり、（ａ）は人の骨格の推定例、（ｂ）は、（ａ）の数値化例、（ｃ）は、（ｂ）の判定例を示す。

【図10】上記第１の実施形態に係る接合工程ライン監視システムの慣性センサを用いて熟練接合作業員が使うガスバーナーの動きを捉えた一例を示す図であり、（ａ）は熟練接合作業員が使うガスバーナー２の動きを示す図、（ｂ）はガスバーナーの動きをデータ化した図を示す。

【図11】上記第１の実施形態に係る接合工程ライン監視システムの慣性センサを用いて図１０とは違い非熟練接合作業員が使うガスバーナーの動きを捉えた一例を示す図であり、図１１（ａ）は非熟練接合作業員が使うガスバーナーの動きを示す図、図１１（ｂ）はこのガスバーナーの動きをデータ化した図である。

【図12】上記第１の実施形態に係る接合工程ライン監視システムの三軸方式の慣性センサを用いた接合ツールの先端位置の動きのデータの一例を示す図であり、（ａ）−(ｃ)は熟練接合作業員が使う接合ツールの先端位置の動きを示す図、（ｄ）はガスバーナーのトーチ先端位置の動きをデータ化した図である。

【図13】上記第１の実施形態に係る接合工程ライン監視システムの三軸方式の慣性センサを用いた図１２とは違い接合ツールの先端位置の動きのデータの一例を示す図であり、（ａ）−(ｃ)は非熟練接合作業員が使う接合ツールの先端位置の動きを示す図、（ｄ）はガスバーナーのトーチ先端位置の動きをデータ化した図である。

【図14】上記第１の実施形態に係る接合工程ライン監視システムの接合作業の基準となるデータ（基準データ）を収録する基準データ収録処理を示すフローチャートである。

【図15】上記第１の実施形態に係る接合工程ライン監視システムの接合対象部材の接合部の異常箇所を提示する異常箇所提示処理を示すフローチャートである。

【図16】本発明の第２の実施形態に係る接合工程ライン監視システムの構成を示すブロック図である。

【図17】上記第２の実施形態に係る接合工程ライン監視システムの接合現象データ評価部の流動箇所抽出部の流動箇所の抽出の一例を示す図であり、（ａ）は接合対象の管部品の接合部に、溶金材によるさしろうを施して接合する例を示し、（ｂ）−（ｇ）は（ａ）の破線囲んだ部分の要部拡大図を示す。

【図18】上記第２の実施形態に係る接合工程ライン監視システムの接合現象データ評価部の温度分布評価部の温度分布の一例を示す図であり、（ａ）は２つの管部品の温度がいずれも低く、加熱が不十分な温度分布を示し、（ｂ）は、一方の管部品の温度が他方の管部品の温度より高く、適度な加熱が行われている温度分布を示し、（ｃ）−（ｅ）は、（ｂ）の破線囲んだ部分の要部拡大図を示す。

【図19】上記第２の実施形態に係る接合工程ライン監視システムの作業状態データ評価部の作業手順抽出部の一例を示す図であり、（ａ）は接合作業者の管部品（接合対象の部材）の作業箇所を表し、（ｂ）は（ａ）の接合箇所（作業箇所）を模式的に示し、（ｃ）は接合作業者が移動した場合の管部品（接合対象の部材）の作業箇所を表し、（ｄ）は（ｃ）の接合箇所を模式的に示し、（ｅ）は接合作業者の移動後の、管部品（接合対象の部材）の接合箇所の接合作業を表し、（ｆ）は（ｅ）の接合箇所を模式的に示す。

【図20】上記第２の実施形態に係る接合工程ライン監視システムの三軸方式の慣性センサを用いた接合ツールの先端位置の動きのデータの一例を示す図であり、（ａ）は、図１９（ｂ）に対応し、（ｂ）は接合作業者の体が、どの接合箇所にも属しないと認識された場合を示し、（ｃ）は図１９（ｄ）に対応し、（ｄ）は接合作業者の体が、どの接合箇所にも属しないと認識された場合を示し、（ｅ）は、図１９（ｆ）に対応し、（ｆ）は、図１９（ｆ）に示す接合箇所で作業中と認識された場合の接合作業員が使う接合ツールの先端位置の動きを示す。

【発明を実施するための形態】

【0014】

以下、本発明を実施するための形態（以下「実施形態」という）について、図面を参照しながら詳細に説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る接合工程ライン監視システムの利用形態の一例を示す図である。本実施形態は、ろう付けや溶接などの接合工程の製造ライン監視システムに適用した例である。

【0015】

本実施形態では、ガスろう付けを例に説明するが、ガスろう付けに限定するものではない。

【0016】

図１（ａ）に示すように、ろう付け作業エリア１０には、接合対象の部材１と、接合ツールを保持した接合作業者Ｘがおり、この接合作業者Ｘが接合作業を行う。例えば、ガスろう付けの場合、接合ツールは、ガスバーナー２のトーチ（バーナ炎）２ａである。接合作業者Ａは、このガスバーナー２を用いて、接合対象の部材１を加熱し、溶金材３によるさしろうを施して、接合する。

【0017】

このとき、接合工程ライン監視システム１００は、ろうの流れを撮影する。撮影には、例えば、動画が収録できるデジタルカメラや高速カメラ４（接合現象データ取得手段）を用いることができる。また、接合対象の部材１の温度は、サーモカメラ５（接合現象データ取得手段）で計測する。接合対象の部材１の温度の計測には、サーモカメラ５のほか、赤外線カメラ、赤外線センサ、熱電対を用いることができる。温度の計測に熱電対を用いた場合、接合対象の部材１の温度を精確に測定することができる。ただし、熱電対を用いた場合、設置個所は制限される。本実施形態では、接合に影響を与えない非接触のサーモカメラ５を用いている。

【0018】

さらに、ろう付けの作業において、接合作業者Ｘのろう持ち手までの距離を測定する距離センサ６（作業状態データ取得手段）と、接合作業者Ｘのトーチ持ち手の動きを測定する慣性センサ７（作業状態データ取得手段）を備え、距離センサ６および慣性センサ７の測定値をデータ化する。距離センサ６は、接合作業者Ｘの身体の部位をとらえ、姿勢、手の動き、身体の位置を計測する。また、慣性センサ７は、接合ツール（トーチ２ａなど）に設置され、接合ツールの細かな動きをとらえることができる。

【0019】

図１（ａ）に示すように、接合工程ライン監視システム１００は、接合工程ライン監視プログラムを実行するデータ処理装置として例えばサーバ２０を用いることができる。

【0020】

接合工程ライン監視システム１００は、高速カメラ４、サーモカメラ５、距離センサ６および慣性センサ７の各計測データを処理し、接合作業者Ｘに異常や、作業の状況を報知する。例えば、図１（ｂ）に示すように、サーバ２０の表示部２０ａ（提示手段）に、接合現象の基準データ（後記）との差異が大きい部分をエラーとして表示する。また、サーバ２０は、補修にかかる時間を算出し、表示部２０ａに、この補修作業可能時間（ここでは、１０：００秒）を表示する。なお、図１（ｂ）中の符号ａ，ｂについては後記する。

【0021】

図２は、上記第１の実施形態に係る接合工程ライン監視システムの構成を示すブロック図である。

【0022】

図２に示すように、接合工程ライン監視システム１００は、データ取得手段１１０と、データ評価手段１２０（評価データ算出手段）と、相違データ抽出手段１３０と、異常箇所判定手段１４０と、提示手段１５０と、を備える。

【0023】

接合工程ライン監視システム１００は、ろう付けや溶接などの接合工程の製造ラインにおいて、接合作業を実行するろう付け作業エリア１０を備える。

【0024】

ろう付け作業エリア１０には、接合対象の部材１と、データ取得手段１１０（接合現象データ取得手段，作業状態データ取得手段）と、提示手段１５０と、が配置される。また、接合対象の部材１の近で、接合作業者が作業を行う。

【0025】

<データ取得手段１１０>
データ取得手段１１０は、接合現象データ（後記）および作業状態データ（後記）を取得する。

【0026】

データ取得手段１１０は、接合現象データ取得部１１１と、作業状態データ取得部１１２と、時刻同期部１１３と、を備える。

【0027】

接合現象データ取得部１１１は、図２では省略しているが、ろうの流れ映像を撮影する高速カメラ４と、接合対象の部材１の接合部の温度分布映像を取得するサーモカメラ５と、接続されている。接合現象データ取得部１１１は、高速カメラ４およびサーモカメラ５が撮影したデータを接合現象データとして取得する。接合現象データは、ろうの流れ映像と接合部の温度分布映像である。

【0028】

作業状態データ取得部１１２は、図２では省略しているが、ろう持ち手などまでの距離を計測する距離センサ６と、接合ツール（ガスバーナー２）に設置され、ガスバーナー２のトーチ２ａ先端位置の動きを計測する慣性センサ７と、接続されている。作業状態データ取得部１１２は、距離センサ６および慣性センサ７が測定したデータを、接合作業（ろう付け作業）の作業状態データとして取得する。

【0029】

時刻同期部１１３は、接合現象データ取得部１１１の接合現象データと、作業状態データ取得部１１２の作業状態データの取得タイミングと時間的に対応させる時刻同期を行う。これにより、ろう付け作業（ろうの流れ映像、接合部の温度分布映像）計測時点における、人の手の動きおよびガスバーナー２のトーチ２ａの動きが対応付けられる。

【0030】

<データ評価手段１２０>
データ評価手段１２０は、取得した接合現象データと作業状態データとを時刻同期し、かつ、接合作業箇所毎に紐付けて、評価データを算出する。

【0031】

データ評価手段１２０は、接合現象データ評価部１２１と、作業状態データ評価部１２２と、接合現象作業状態分析部１２３と、を備える。

【0032】

接合現象データ評価部１２１は、接合現象データ取得部１１１が取得した接合現象データをもとに、接合対象部材の接合現象を評価する。接合現象データ評価部１２１は、接合対象部材の接合現象を評価できる（有意な接合現象データとして評価対象となる）場合、接合現象評価結果を接合現象作業状態分析部１２３に出力する。

【0033】

作業状態データ評価部１２２は、作業状態データ取得部１１２が取得した作業状態データをもとに、接合対象部材の接合作業状態を評価する。作業状態データ評価部１２２は、接合対象部材の接合作業状態を評価できる（有意な接合作業状態データとして評価対象となる）場合、接合作業状態評価結果を接合現象作業状態分析部１２３に出力する。

【0034】

接合現象作業状態分析部１２３は、接合現象評価結果と接合作業状態評価結果を時刻同期し、かつ、接合作業箇所毎に紐付けて接合現象作業状態を分析し、評価データを算出する。

【0035】

<相違データ抽出手段１３０>
相違データ抽出手段１３０は、評価データとあらかじめ収録された基準データとの相違データを抽出する。

【0036】

相違データ抽出手段１３０は、作業箇所決定部１３１と、データ範囲抽出部１３２と、基準データ格納部１３３（基準データ格納手段）と、相違度算出部１３４と、を備える。

【0037】

作業箇所決定部１３１は、あらかじめ設定されている作業手順抽出データをもとに、作業箇所を決定する。

【0038】

データ範囲抽出部１３２は、決定した作業箇所に紐付いた時刻に基づき、評価データに対応する時刻におけるデータ範囲を抽出する。

【0039】

基準データ格納部１３３は、あらかじめ準備された基準となる接合作業に対して、熟練接合作業者による理想のながれ動作や基準となる接合作業などを、基準データとしてあらかじめ収録する。また、基準データ格納部１３３は、異常箇所を判定するときの閾値を格納する。基準データ格納部１３３は、作業者の熟練度に応じた基準データを格納することが好ましい。

【0040】

相違度算出部１３４は、評価データと基準データ格納部１３３にあらかじめ収録された基準データとの相違を抽出する。具体的には、相違度算出部１３４は、基準データの収録時には、あらかじめ用意された基準となる接合作業に対して、決定した作業箇所に対応する時刻を取り出すことで、作業箇所毎に紐付けられた基準データを生成する。

【0041】

一方、相違度算出部１３４は、異常箇所提示時には、データ範囲抽出部１３２により取り出されたデータと、上記基準データとの相違度を算出し、相違データとして異常箇所判定手段１４０に出力する。

【0042】

<異常箇所判定手段１４０>
異常箇所判定手段１４０は、相違データに基づき、接合部の異常箇所を判定する。具体的には、異常箇所判定手段１４０は、相違データ抽出手段１３０で得られる相違度に対してあらかじめ設定した閾値に基づき異常箇所を判定する。異常箇所判定手段１４０は、接合現象の基準データとの差異が大きい部分を異常箇所であると判定する。異常箇所判定手段１４０は、作業箇所毎に異常判定を行って、各作業箇所の異常箇所を判定する。上記異常箇所は、接合箇所の見直し箇所に該当する。

【0043】

また、異常箇所判定手段１４０は、異常箇所（接合箇所の見直し箇所）を補修するために与えられる猶予時間である補修作業可能時間（作業割り当て時間）を算出する。すなわち、接合工程ライン監視システム１００では、製造中に、接合対象の部材１がラインで流れる。上記補修作業可能時間（作業割り当て時間）が接合作業者に指示されると、接合作業者はその時間内で補修を行えばよいことが分かる。

【0044】

<提示手段１５０>
提示手段１５０は、異常箇所判定手段１４０の判定結果に基づいて、接合作業者Ｘに異常箇所を提示（通知）する。提示方法は限定されないが、例えば、提示手段１５０は、表示部１５０ａ（図１（ｂ）のサーバ２０の表示部２０ａに対応する）に異常箇所をエラー（図１（ｂ）の符号ａ参照）として表示する。また、提示手段１５０は、投光部１５０ｂ（図２参照）を用いて、実物の接合対象の部材１の異常箇所にレーザ光等の光を投影し、投影された光により異常箇所を接合作業者Ｘへ通知する。これにより、接合作業者Ｘは、補修箇所を迅速に把握することができる。

【0045】

提示手段１５０は、異常箇所判定手段１４０の判定結果に基づいて、異常箇所を補修するための補修作業可能時間（作業割り当て時間）（図１（ｂ）の符号ｂ参照）を提示（表示）する。これにより、接合作業者は、表示（通知）された補修作業可能時間内で補修を行えばよいことが分かるので、その時間に合わせて補修を行うことができる。逆に、補修作業可能時間内では、補修が完了しないという目途も立てることができる。接合工程ライン監視システム１００に接合作業者の熟練度のレベルを登録しておけば、作業可能時間内では、補修が完了しないという目途も立てを熟練度のレベルで判定する。補修作業可能時間に補修が完了しないと判断した場合には、アラームを上げることで、補修が完了していないことを他の作業者や管理者等に知らせる。補修作業可能時間を大幅に超える補修作業を行ってしまい、ライン全体に影響を与えるような事態を避けることができる。その結果、工程持ち時間を調整でき、生産遅延を低減することができる。

【0046】

なお、上記データ評価手段１２０、相違データ抽出手段１３０、および異常箇所判定手段１４０は、例えば、図１（ａ）に示すＰＣ２０などの汎用または専用処理サーバにより構成される。データ評価手段１２０、相違データ抽出手段１３０、および異常箇所判定手段１４０は、このサーバの記憶部（図示省略）に格納されたプログラムをＣＰＵ（Central Processing Unit）がＲＡＭに展開し実行することにより実現される。また、上記提示手段１５０は、例えば上記サーバ等の表示部である。

【0047】

以下、上述のように構成された接合工程ライン監視システム１００の接合工程ライン監視方法について説明する。

【0048】

図３は、ガスろう付けを用いた２つの管部品（接合対象の部材１）の接合を例に説明する図である。

【0049】

図３（ａ）に示すように、ガスろう付けを用いる接合対象の部材１は、２つの円柱状の管部品１ａと管部品１ｂである。管部品１ａと管部品１ｂは、さしこみ組み立てができるようにするため、接合部の管内径が異なる。管部品１ｂは、管部品１ａよりも大径であり、管部品１ｂの上端には外縁部１ｂ１が形成されている。図３（ａ）の矢印に示すように、管部品１ａの底部を、管部品１ｂの外縁部１ｂ１の内側に差し込む。

【0050】

図３（ｂ）に示すように、管部品１ａの底部が、管部品１ｂの上端の外縁部１ｂ１に組み合わされる。

【0051】

図３（ｃ）に示すように、管部品１ａと管部品１ｂの接合部を、斜め上からガスバーナー２のトーチ２ａで加熱する。このとき、ガスバーナー２が、管部品１ａと管部品１ｂの接合部全体を均等に熱するようにする。このため、ガスバーナー２のトーチ２ａの方向を上下に少しずつずらしながら外周方向に回して加熱する。

【0052】

図３（ｄ）に示すように、接合対象の管部品１ａと管部品１ｂとが十分に温まった場合、溶金材３としてさしろうを施す。溶金材３がとけ、毛細管現象に従い管部品１ａと管部品１ｂとの間の隙間に入り込み、管部品１ａと管部品１ｂとが接合される。なお、接合対象が圧力容器などのように、密閉性の確保が重要である場合、この溶金材が、全体を塞いでいるかどうかが品質の良否に関わってくる。

【0053】

次に、図４〜図１３を参照して接合作業をデータ化するデータ取得手段１１０について説明する。
［高速カメラ撮影例］
まず、高速カメラ４（図１参照）の撮影例について説明する。
<正常品>
図４は、正常品の場合の管部品（接合対象の部材１）の接合部を高速カメラ４で撮影した一例を示す図である。

【0054】

図４（ａ）では、管部品１ａと管部品１ｂの加熱が十分に行われた後、溶金材３を接合部に当てる様子を撮影している。

【0055】

図４（ｂ）に示すように、管部品１ａと管部品１ｂの接合部において、溶金材３が溶け、溶けた溶金材３ａが隙間に流動した様子を撮影している。

【0056】

図４（ｃ）に示すように、最終的な出来栄えとして、管部品１ａと管部品１ｂの接合部の隙間全体に凝固した溶金材３ａの形状を撮影している。

【0057】

図４（ｄ）は、図４（ｃ）の破線で囲んだ部分の要部断面図である。図４（ｄ）に示すように、溶金材３ａが、接合部を十分に塞いでいる。このような曲面形状は、フィレット（fillet）と呼ばれ、このフィレット形状の溶金材３ａが接合部の接合線Ｌ全体（全周）に得られる。

【0058】

<異常品>
図５は、異常品の場合の管部品（接合対象の部材１）の接合部を高速カメラ４で撮影した一例を示す図である。

【0059】

図５（ａ）では、管部品１ａと管部品１ｂの加熱が十分に行われた後、溶金材３を接合部に当てる様子を撮影している。

【0060】

図５（ｂ）に示すように、溶金材３をさす場所が、接合部に対して適切でない。このため、ろう（溶金材３ｂ）が管部品１ａと管部品１ｂとの隙間に入り込めない様子を撮影している。

【0061】

図５（ｃ）に示すように、最終的な出来栄えとして、管部品１ａと管部品１ｂの接合部の隙間に凝固した溶金材３ｂの形状を撮影している。

【0062】

図５（ｄ）は、図５（ｃ）の破線で囲んだ部分の要部断面図である。図５（ｄ）に示すように、溶金材３ｂが、接合部に十分に入り込んでいないため、フィレット形状が接合線全体（全周）に得られない。図５（ｄ）に示すように、溶金材３ｂが、不足するため、管部品１ａと管部品１ｂとが重なる入り口で、へこんだ形状になる。

【0063】

このように、管部品（接合対象の部材１）の接合部を高速カメラ４（図１参照）で撮影することによって下記の計測データを得ることができる。すなわち、高速カメラ４（図１参照）の撮影により、溶金材３が管部品（接合対象の部材１）に接触する接触位置と、ろうが流れる位置とを撮影し、溶金材３のフィレット形状の仕上がりをデータ化することができる。ろう流れをデータ化することによって、不良や未完了部につながる現象を把握することができる。

【0064】

［サーモカメラ撮影例］
次に、サーモカメラ５（図１参照）の撮影例について説明する。
<正常品>
図６は、正常品の場合の管部品（接合対象の部材１）の接合部をサーモカメラ５で撮影した一例を示す図である。図６において、接合対象部材の温度を、図６の網掛けの粗密で表記している。温度が高い場合は、網掛けを密に、温度が低くなるほど網掛けを粗で表している（以下同様の表記方法を採る）。

【0065】

図６（ａ）では、管部品１ａと管部品１ｂをガスバーナー２（図示省略）などで加熱する。加熱が十分に行われた後、溶金材３を接合部に当てる。サーモカメラ５は、管部品（接合対象の部材１）の温度上昇や温度分布を映像としてとらえる。

【0066】

図６（ｂ）に示すように、サーモカメラ５は、管部品（接合対象の部材１）の温度上昇や温度分布を映像としてとらえる。図６（ｂ）の場合、管部品１ｂの温度が管部品１ａの温度より高く、管部品１ｂの外縁部１ｂ１の全周にわたって十分に加熱されるとともに、管部品１ａにも適度な加熱が行われている温度分布を映像としてとらえる。

【0067】

図６（ｃ）に示すように、溶接後には管部品１ａと管部品１ｂの温度は共に下がっている。溶金材３が、ろう付けされた時の温度変動や温度分布を映像としてとらえる。図６（ｃ）の場合、溶金材３ａが、接合部を十分に塞いでいる。

【0068】

溶金材３が、ろう付けされた時の温度変動や温度分布を映像としてとらえることができるため、ろう流れと温度のデータを収録することができる。

【0069】

ここで、溶金材３が、接合部を十分に塞ぐには、管部品（接合対象の部材１）の温度は、部材自体の融点より低く、溶金材３の融点より高い条件を作り、さらに溶金材３が流れ込む時間保持する。

【0070】

<異常品>
図７は、異常品の場合の管部品（接合対象の部材１）の接合部をサーモカメラ５で撮影した一例を示す図である。

【0071】

図７（ａ）では、管部品１ａと管部品１ｂをガスバーナー２（図示省略）などで加熱する。加熱が十分に行われた後、溶金材３を接合部に当てる。サーモカメラ５は、管部品（接合対象の部材１）の温度上昇や温度分布を映像としてとらえる。

【0072】

図７（ｂ）に示すように、加熱の箇所が偏っている温度分布を映像としてとらえる。図７（ｂ）の場合、管部品１ｂの一部が十分に加熱されていない、すなわち温度が低い部分ができる。このように、温度の低い部分ができると、溶金材３ｂは、温度の低い部分に流れにくくなるため、接合部へ適切にろうが入らない。

【0073】

図７（ｃ）に示すように、溶金材３ｂが、接合部に十分に入り込んでいないため、フィレット形状が接合線全体（全周）に得られない。溶金材３が、ろう付けされた時の温度変動や温度分布を映像としてとらえることができるため、ろう流れと温度のデータを収録することができる。

【0074】

このように、管部品（接合対象の部材１）の接合部をサーモカメラ５（図１参照）で撮影することによって下記の計測データを得ることができる。すなわち、サーモメラ５では、管部品（接合対象の部材１）と溶金材３の温度、管部品（接合対象の部材１）の温度分布、温度の保持時間をデータ化することができる。ろう流れに対する温度をデータ化することによって、不良や未完了部につながる現象を把握することができる。

【0075】

［距離センサ計測例］
次に、距離センサ６（図１参照）の計測例について説明する。
<例１>
図８は、距離センサ６を用いて人の動作を捉えた一例を示す図であり、図８（ａ）は人の骨格の推定例、図８（ｂ）は、（ａ）の数値化例、図８（ｃ）は、（ｂ）の判定例をそれぞれ示す。

【0076】

距離センサ６（図１参照）を用いて人の手、足、体などの距離を測定し、映像に映し出す。測定した距離データをもとに、手、足、体などを認識して、これらの点をつないで動作をデータ化する。

【0077】

図８（ａ）に示すように、距離センサ６のデータに基づいて、人の骨格（ハッチング部参照）を推定し、データ化する。各骨格は、相対的な距離で数値化することができる。

【0078】

図８（ｂ）に示すように、右腕(1)と左腕(2)の相対的な距離を数値化した例について述べる。

【0079】

図８（ｃ）は、時間軸（横軸）に対して、図８（ｂ）に示す右腕(1)と左腕(2)の位置をグラフ化した図である。図８（ｃ）の例では、両腕は下方向に向いており、右腕(1)が右腕(1)基準値に、また左腕(2)が左腕(2)基準値に対して、いずれも値が下回っている状況が時刻Ｔ１まで続いていることを示している。

【0080】

<例２>
図９は、距離センサ６を用いて人の動作を捉えた図８とは別の他例を示す図であり、図９（ａ）は人の骨格の推定例、図９（ｂ）は、（ａ）の数値化例、図９（ｃ）は、（ｂ）の判定例をそれぞれ示す。図９は、図８の表記に対応している。

【0081】

図９（ａ）に示すように、距離センサ６（図１参照）のデータに基づいて、人の骨格（ハッチング部参照）を推定し、データ化する。図９（ａ）では、左腕(2)を上に挙げている。

【0082】

図９（ｂ）は、右腕(1)と左腕(2)の相対的な距離を数値化した例である。ある時刻で左腕(2)を上に挙げている。

【0083】

図９（ｃ）は、時間軸（横軸）に対して、図９（ｂ）に示す右腕(1)と左腕(2)の位置をグラフ化した図である。図９（ｃ）の例では、時刻Ｔ１までは両腕を下方向に向いていたが、時刻Ｔ１後に左腕(2)を上に挙げたときのデータである。右腕(1)は、右腕(1)基準値を下回ったままである。一方、左腕(2)は、左腕(2)基準値に対して、値が上回る推移を取得している。

【0084】

このように、人の手、足、体などの距離を距離センサ６（図１参照）で撮影することによって人の骨格情報を推定し、人の動作、位置を時系列でデータ化することができる。これによって、接合対象との位置関係、作業の手順を数値化し、把握することができる。

【0085】

［慣性センサ計測例］
次に、図１０〜図１３を参照して慣性センサ７（図１参照）の計測例について説明する。
<熟練接合作業員>
図１０は、慣性センサ７を用いて熟練接合作業員が使うガスバーナー２の動きを捉えた一例を示す図であり、図１０（ａ）は熟練接合作業員が使うガスバーナー２の動きを示す図、図１０（ｂ）はこのガスバーナー２の動きをデータ化した図である。

【0086】

慣性センサ７（図１参照）は、接合ツール（ここではガスバーナー２）に取り付けられている。慣性センサ７は、ジャイロセンサ、地磁気センサ、加速度センサなどを用いることができる。特に、三方向に感度を有する三軸方式の加速度センサを利用すれば、直交座標系のｘ、ｙ、ｚ方向の動きを捉えることができる。

【0087】

図１０（ａ）に示すように、熟練接合作業員は、管部品（接合対象の部材１）の温度を広く均一に保つために、ガスバーナー２を左右に振ってトーチ２ａを管部品（接合対象の部材１）の接合部に均一にあてる。

【0088】

図１０（ｂ）は、慣性センサ７の計測データをもとにガスバーナー２を左右に振っている様子をデータ化して示す。図１０（ｂ）に示すように、慣性センサ７の計測データは、時間軸（横軸）に対して、ガスバーナー２の左右の動きの数値が正弦波状に推移している。より詳細には、ガスバーナー２の左右の動きは、作業開始時には、振幅とピッチ（時間幅）はいずれも大きく、作業時間に経過に従って、振幅およびピッチはいずれも小さくなり、基準値近傍で収束する傾向にある。また、図１０（ｂ）に示す基準値に対して、左右の振幅はほぼ均等である。

【0089】

<非熟練接合作業員>
図１１は、慣性センサ７を用いて図１０とは違い非熟練接合作業員が使うガスバーナー２の動きを捉えた一例を示す図であり、図１１（ａ）は非熟練接合作業員が使うガスバーナー２の動きを示す図、図１１（ｂ）はこのガスバーナー２の動きをデータ化した図である。

【0090】

上記熟練接合作業員では、ガスバーナー２を左右に振って管部品（接合対象の部材１）の温度分布を広く均一に保っていた。また、作業開始時には、振幅およびピッチ（時間幅）を大きく、作業時間に経過に従って、振幅およびピッチを小さくしていた。これに対し、図１１（ａ）に示すように、非熟練作業員のガスバーナー２の動きは、左右いずれか（ここでは左側）に偏っている。しかも、左右の振りも小さく、また時間軸（横軸）に対して、不均一である。最後には、右側の加熱不足を考慮してか右側に大きく振っている。図１１（ｂ）では、慣性センサ７の計測データは、時間軸に対して、左側の動きを示す数値に偏り、細かいばらつきも多いことを示している。

【0091】

このように、接合ツール（ガスバーナー２）の動きを慣性センサ７（図１参照）で計測することによって、接合ツール（ガスバーナー２）の動作を時系列でデータ化することができる。これによって、管部品（接合対象の部材１）に応じた接合ツール（ガスバーナー２）の取扱いがなされているか否かを把握することができる。

【0092】

<三軸方式の慣性センサ（熟練作業員）>
図１２は、三軸方式の慣性センサ７を用いた接合ツールの先端位置（ガスバーナー２のトーチ２ａ先端位置）の動きのデータの一例を示す図であり、図１０で示した熟練接合作業者のデータの例である。図１２（ａ）−（ｃ）は熟練接合作業員が使う接合ツールの先端位置（ガスバーナー２のトーチ２ａ先端位置）の動きを示す図、図１２（ｄ）はこのガスバーナー２のトーチ２ａ先端位置の動きをデータ化した図である。図１２（ｂ），(ｆ)の符号ｃは、ガスバーナー２のトーチ２ａの上方向を示す。

【0093】

前記図１（ｂ）に示すサーバ２０が、三軸方式の慣性センサ７により計測したｘ、ｙ、ｚのデータをもとに、三次元空間に仮想的に上記トーチ２ａ先端位置の動きを再現する。また、サーバ２０は、表示画面２０ａ（図１（ｂ）参照）に、ガスバーナー２のトーチ２ａ先端位置の動きの軌跡を、ろう付け作業エリア１０（図１（ａ）参照）に対応させて表示する。これにより、ガスバーナー２のトーチ２ａ先端位置の動きの軌跡を、ろう付け作業エリア１０に対応させてして分析することができる。

【0094】

図１２（ａ）−（ｃ）は、図１０で示した熟練接合作業者がガスバーナー２のトーチ２ａを左右に大きく振っている様子を三次元空間に再現している。図１２（ｂ）(ｃ)の破線に示すように、トーチ２ａ先端位置の履歴を軌跡として表示する。ガスバーナー２のトーチ２ａ先端位置の履歴を軌跡として表示することで、熟練作業者がトーチ２ａをどのように動かしたのか可視化することができる。

【0095】

図１２(ｄ)は、ガスバーナー２のトーチ２ａ先端位置のｘ、ｙ、ｚデータを、横軸時間として、推移をプロットしたグラフである。図１２(ｄ)に示すように、三軸方式の慣性センサ７の計測データは、時間軸（横軸）に対して、ｘデータの数値が正弦波状に均等に推移している。ｙ、ｚデータの数値は、時間経過に従って基準値に収束している。

【0096】

<三軸方式の慣性センサ（非熟練作業員）>
図１３は、三軸方式の慣性センサ７を用いた図１２とは違い接合ツールの先端位置（ガスバーナー２のトーチ２ａ先端位置）の動きのデータの一例を示す図であり、図１１で示した非熟練作業者のデータの例である。図１３（ａ）−(ｃ)は非熟練接合作業員が使う接合ツールの先端位置（ガスバーナー２のトーチ２ａ先端位置）の動きを示す図、図１３（ｄ）はこのガスバーナー２のトーチ２ａ先端位置の動きをデータ化した図である。

【0097】

図１３（ａ）−(ｃ) は、図１１で示した非熟練作業者がガスバーナー２のトーチ２ａを左側に偏って振っている様子を三次元空間に再現している。図１３（ｂ）(ｃ)の破線に示すように、ガスバーナー２のトーチ２ａ先端位置の履歴を軌跡として表示する。

【0098】

図１３(ｄ)は、トーチ２ａ先端位置のｘ、ｙ、ｚデータを、横軸時間として、推移をプロットしたグラフである。図１３(ｄ)に示すように、三軸方式の慣性センサ７の計測データは、時間軸（横軸）に対して、左側の動きを示す数値に偏り、細かいばらつきも多いことを示している。なお、ｙ、ｚデータの数値は、時間経過に従って基準値に収束している。

【0099】

このように、接合ツール（ガスバーナー２のトーチ２ａ）の動きを三軸方式の慣性センサ７（図１参照）で計測することによって、接合ツール（ガスバーナー２のトーチ２ａ）の動作を時系列でデータ化することができる。これによって、管部品（接合対象の部材１）の三次元的な位置に応じた接合ツール（ガスバーナー２のトーチ２ａ）の取扱いがなされているか否かを把握することができる。

【0100】

以上、図４〜図１３を参照して接合作業をデータ化するデータ取得手段１１０について説明した。

【0101】

［基準データの収録時］
図１４は、接合作業の基準となるデータ（基準データ）を収録する基準データ収録処理を示すフローチャートである。本フローは、例えば上記データ評価手段１２０、相違データ抽出手段１３０、および異常箇所判定手段１４０を構成するサーバなどのＣＰＵにより実行される。

【0102】

まず、ステップＳ１で練接合作業者の接合作業において、高速カメラ４（図１参照）を用いて接合対象の部材の接合部を撮影する。すなわち、高速カメラ４により、接合部のろう流れ映像が撮影される。

【0103】

ステップＳ２では、練接合作業者の接合作業において、サーモカメラ５（図１参照）を用いて接合対象の部材の接合部の温度分布映像を取得する。

【0104】

ステップＳ３では、データ取得手段１１０の作業状態データ取得部１１２は、距離センサ６（図１参照）を用いてろう持ち手などまでの距離を計測する。

【0105】

ステップＳ４では、データ取得手段１１０の作業状態データ取得部１１２は、慣性センサ７（図１参照）を用いて接合ツール（ガスバーナー２のトーチ２ａ）先端位置の動きを計測する。

【0106】

ステップＳ５では、データ取得手段１１０の接合現象データ取得部１１１（図２参照）は、撮影した接合部撮影映像（ろうの流れ映像）および接合部の温度分布映像をろう付け現象データ（接合現象データ）として取得する。

【0107】

ステップＳ６では、データ取得手段１１０の作業状態データ取得部１１２（図２参照）は、距離センサ６および慣性センサ７が測定したデータを、熟練接合作業者の接合作業における接合作業（ろう付け作業）の作業状態データとして取得する。

【0108】

ステップＳ７では、データ取得手段１１０の時刻同期部１１３（図２参照）は、接合現象データ取得部１１１の接合現象データと、作業状態データ取得部１１２の作業状態データの取得タイミングと時間的に対応させる時刻同期を行う。これにより、ろう付け作業（ろうの流れ映像、接合部の温度分布映像）計測時点における、人の手の動きおよびガスバーナー２のトーチ２ａの動きが対応付けられる。

【0109】

ステップＳ８では、データ評価手段１２０は、データ取得手段１１０により取得した接合現象データおよび作業状態データをもとに、接合現象および接合作業状態を評価し、接合現象作業を分析する。具体的には、データ評価手段１２０は、取得した接合現象データと作業状態データとを時刻同期し、かつ、接合作業箇所毎に紐付けて、評価データを算出する。

【0110】

ステップＳ９では、相違データ抽出手段１３０のデータ範囲抽出部１３２（図２参照）は、作業箇所に紐付いた時刻に基づき、評価データに対応する時刻におけるデータ範囲を抽出する。

【0111】

ステップＳ１０では、相違データ抽出手段１３０の相違度算出部１３４（図２参照）は、抽出したデータ範囲毎に、熟練接合作業者による理想的な流れ動作や基準となる接合動作などを基準データとして収録する。具体的には、相違度算出部１３４は、基準データの収録時には、あらかじめ用意された基準となる接合作業に対して、決定した作業箇所に対し、対応する時刻を取り出すことで、作業箇所毎に紐付けられた基準データを生成する。

【0112】

上記フローを実行することにより、相違データ抽出手段１３０の基準データ格納部１３３（図１参照）には、ある接合対象の部材の作業箇所毎に、熟練接合作業者による理想のながれ動作や基準となる接合作業などの基準データが蓄積される。

【0113】

なお、本登録処理は、後記異常箇所提示処理に先立ってあらかじめ実行され、基準データとして基準データ格納部１３３に格納される。

【0114】

また、被溶接品の形状・種類、溶接機（抵抗溶接、レーザ溶接、摩擦攪拌溶接）、加工機器（プレス機）などの使用条件に応じて、各被溶接品について基準データが蓄積されている。

【0115】

［異常箇所提示処理］
図１５は、接合対象部材の接合部の異常箇所を提示する異常箇所提示処理を示すフローチャートである。

【0116】

まず、ステップＳ１１で接合作業者の接合作業において、高速カメラ４（図１参照）を用いて接合対象の部材の接合部を撮影する。すなわち、高速カメラ４により、接合部のろう流れ映像が撮影される。

【0117】

ステップＳ１２では、接合作業者の接合作業において、サーモカメラ５（図１参照）を用いて接合対象の部材の接合部の温度分布映像を取得する。

【0118】

ステップＳ１３では、データ取得手段１１０の作業状態データ取得部１１２は、距離センサ６（図１参照）を用いてろう持ち手などまでの距離を計測する。

【0119】

ステップＳ１４では、データ取得手段１１０の作業状態データ取得部１１２は、慣性センサ７（図１参照）を用いて接合ツール（ガスバーナー２のトーチ２ａ）先端位置の動きを計測する。

【0120】

ステップＳ１５では、データ取得手段１１０の接合現象データ取得部１１１（図２参照）は、撮影した接合部撮影映像（ろうの流れ映像）および接合部の温度分布映像をろう付け現象データ（接合現象データ）として取得する。

【0121】

ステップＳ１６では、データ取得手段１１０の作業状態データ取得部１１２（図２参照）は、距離センサ６および慣性センサ７が測定したデータを、接合作業者の接合作業における接合作業（ろう付け作業）の作業状態データとして取得する。

【0122】

ステップＳ１７では、データ取得手段１１０の時刻同期部１１３（図２参照）は、接合現象データ取得部１１１の接合現象データと、作業状態データ取得部１１２の作業状態データの取得タイミングと時間的に対応させる時刻同期を行う。これにより、ろう付け作業（ろうの流れ映像、接合部の温度分布映像）計測時点における、人の手の動きおよびガスバーナー２のトーチ２ａの動きが対応付けられる。

【0123】

ステップＳ１８では、データ評価手段１２０は、データ取得手段１１０により取得した接合現象データおよび作業状態データをもとに、接合現象および接合作業状態を評価し、接合現象作業を分析する。具体的には、データ評価手段１２０は、取得した接合現象データと作業状態データとを時刻同期し、かつ、接合作業箇所毎に紐付けて、評価データを算出する。

【0124】

ステップＳ１９では、相違データ抽出手段１３０のデータ範囲抽出部１３２（図２参照）は、作業箇所に紐づいた時刻に基づき、評価データに対応する時刻におけるデータ範囲を抽出する。

【0125】

ステップＳ２０では、相違データ抽出手段１３０の相違度算出部１３４（図２参照）は、データ範囲抽出部１３２により取り出されたデータと、基準データ格納部１３３に収録された基準データとの相違度を算出し、相違データとして異常箇所判定手段１４０に出力する。

【0126】

ステップＳ２１では、異常箇所判定手段１４０（図１参照）は、相違データをもとに接合部の異常箇所を判定する。具体的には、異常箇所判定手段１４０は、相違データ抽出手段１３０で得られる相違度に対してあらかじめ設定した閾値に基づき、接合現象の差異が大きい部分を異常箇所であると判定する。

【0127】

ステップＳ２２では、提示手段１５０（図２参照）は、判定結果をもとに接合作業者に異常箇所、および／または、補修作業可能時間を提示する。例えば、提示手段１５０は、表示部１５０ａに異常箇所をエラー（図１（ｂ）の符号ａ参照）として表示する。また、提示手段１５０は、表示部１５０ａに補修作業可能時間（作業割り当て時間）（図１（ｂ）の符号ｂ参照）を表示する。さらに、提示手段１５０は、投光部１５０ｂ（図２参照）を用いて、実物の接合対象の部材１の異常箇所にレーザ光等の光を投影し、投影された光により異常箇所を接合作業者へ通知する。これにより、接合作業者は、補修箇所を迅速に把握することができる。

【0128】

上述したように、接合現象の差異が大きい箇所を異常箇所をエラー（図１（ｂ）の符号ａ参照）として表示することで、接合作業員が補修箇所を迅速に把握することができる。また、補修作業可能時間を提示することで、補修作業可能時間内に補修を完了できるか否かの目途を立てることができる。補修作業可能時間内に補修が完了できる場合は、現工程において補修を完了する。また、補修作業可能時間内に補修が完了できない場合は、例えば次工程において、補修を完了させる。いずれにしても、作業割り当て時間が提示されるので、工程持ち時間を調整することができ、生産遅延を低減できる。

【0129】

ここで、作業者の熟練度に応じて、補修の指示（例えば補修作業可能時間）を変えることが好ましい。

【0130】

以上説明したように、本実施形態の接合工程ライン監視システム１００（図２参照）は、接合対象部材の接合現象を現象データとして取得する接合現象データ取得部１１１と、接合対象部材の接合作業状態を作業状態データとして取得する作業状態データ取得部１１２と、取得した現象データと作業状態データとを時刻同期し、かつ、接合作業箇所毎に紐付けて、評価データを算出するデータ評価手段１２０と、評価データとあらかじめ設定された基準データとの相違を相違データとして抽出する相違データ抽出手段１３０と、接合現象の差異が大きい部分を異常箇所であると判定する異常箇所判定手段１４０と、相違データをもとに、接合対象部材の接合部の異常箇所を提示する提示手段１５０と、を備える。また、相違データ抽出手段１３０は、あらかじめ準備された基準となる接合作業に対して、接合作業箇所毎に紐付けられた基準データを格納する。

【0131】

提示手段１５０は、前記のように、判定結果をもとに接合作業者に異常箇所をエラー表示する（図１（ｂ）の符号ａ参照）。また、提示手段１５０は、表示部１５０ａに補修作業可能時間（作業割り当て時間）（図１（ｂ）の符号ｂ参照）を表示する。

【0132】

従来技術では、接合した結果に対して、破壊検査、非破壊検査で調査するが、検査の工程と、不良や、未完了部が判明した後の手直し工程に時間を要する。また、度重なる加熱、冷却によって品質が下がってしまう。

【0133】

これに対して、本実施形態では、接合作業中に、未完了箇所を検知し、接合作業者に通知し、その作業を監視することで、接合品質の低下と、作業遅延を防止することができる。

【0134】

また、異常箇所を特定後、接合作業者に異常箇所を提示し、その作業時間を計算することで効率のよいシステムを実現することができる。すなわち、データ取得手段１１０で得られるデータに基づき、不良や不完全部の候補を提示して、熟練度が高くない作業員を配置した接合工程ラインでも、品質の低下を防止することができる。

【0135】

例えば、提示手段１５０は、接合現象の差異が大きい箇所を異常箇所をエラー（図１（ｂ）の符号ａ参照）として表示することで、接合作業員が補修箇所を迅速に把握することができる。また、補修作業可能時間を提示することで、補修作業可能時間内に補修を完了できるか否かの目途を立てることができる。作業割り当て時間が提示されるので、工程持ち時間を調整することができ、生産遅延を低減できる。これによって、不良や未完了部を迅速に認識させることができ、品質の低下や作業の遅れを防止することができる。

【0136】

また、提示手段１５０は、投光部１５０ｂ（図２参照）を用いて、異常箇所に光を投影し、投影された光により異常箇所を接合作業者へ通知することで、接合作業者は、補修箇所を迅速に把握することができる。

【0137】

（第２の実施形態）
図１６は、本発明の第２の実施形態に係る接合工程ライン監視システムの構成を示すブロック図である。図２と同一構成部分には同一符号を付して重複箇所の説明を省略する。

【0138】

図１６に示すように、接合工程ライン監視システム２００は、データ取得手段１１０と、データ評価手段２２０（評価データ算出手段）と、接合現象作業状態分析部２３０と、相違データ抽出部１３０と、を備える。

【0139】

<データ評価手段２２０>
データ評価手段２２０は、接合現象データ評価部２２１と、作業状態データ評価部２２２と、を備える。

【0140】

接合現象データ評価部２２１は、動画像データ時刻評価部２２１１と、流動箇所抽出部２２１２と、温度分布評価部２２１３と、を備える。

【0141】

動画像データ時刻評価部２２１１は、高速カメラ４の動画像データと、サーモカメラ５の動画像データとの、時刻の対応づけを行う。

【0142】

流動箇所抽出部２２１２は、高速カメラ４の動画像データから、接合部の動画像データに基づき、溶金材の流動箇所を抽出する。

【0143】

温度分布評価部２２１３は、サーモカメラ５の動画像データと、流動箇所抽出部２２１２に基づき、接合部の温度分布を評価する。すなわち、取得した温度分布が有意な現象データとして評価対象となるか否かを評価する。

【0144】

作業状態データ評価部２２２は、トレンドデータ時刻評価部２２２１と、作業手順抽出部２２２２と、接合ツール動作抽出部２２２３と、を備える。

【0145】

トレンドデータ時刻評価部２２２１は、距離センサ６（図１参照）の計測データの過渡特性であるトレンドデータと、慣性センサ７（図１参照）の計測データの過渡特性であるトレンドデータとの、時刻の対応付けを行う。

【0146】

作業手順抽出部２２２２は、距離センサ６のトレンドデータから、接合部に対する作業手順を抽出した作業手順抽出データを生成する。

【0147】

接合ツール動作抽出部２２２３は、慣性センサ７のトレンドデータより、接合ツールの動作を抽出した接合ツール動作抽出データを生成する。

【0148】

本実施形態では、データ取得手段１１０の接合現象データ取得部１１１が、接合部の変化の動画像を撮影する高速カメラ４（図１参照）と、上記動画像に対応する温度分布変化を計測するサーモカメラ５（図１参照）とを備えている場合、相違データ抽出部１３０は、上記動画像およびその温度分布変化をもとに、接合部の溶金材の流動箇所の相違データを抽出することが可能である。

【0149】

<接合現象作業状態分析部２３０>
接合現象作業状態分析部２３０は、接合現象データ評価部２２１の接合現象の評価データと、作業状態データ評価部２２２の評価データを合成することによって、現象と作業プロセスを時間軸で対応させた分析を行う。

【0150】

時間軸で対応させる分析は、接合ツール（バーナー）の位置、動作方向および動作速度と、温度分布との対応関係がある。また、時間軸で対応させる分析の他の分析は、接合ツール（バーナー）の位置、動作方向および動作速度と、ろう流れの状況の対応関係など、が対象である。

【0151】

接合現象作業状態分析部２３０は、接合現象データ作業状態対応データ生成部２２３１と、接合条件記憶部２２３２と、比較部２２３３と、を備える。

【0152】

接合現象データ作業状態対応データ生成部２２３１は、接合現象データ評価部２２１の接合現象の評価データと、作業状態データ評価部２２２の評価データとを合成し、接合現象データ作業状態対応データを生成する。

【0153】

接合条件記憶部２２３２は、接合現象データ作業状態対応データに対応する基準の接合条件を記憶する。

【0154】

比較部２２３３は、生成した接合現象データ作業状態対応データと接合条件とを比較し、比較結果を相違データ抽出手段１３０に出力する。

【0155】

以下、上述のように構成された接合工程ライン監視システム２００の接合工程ライン監視方法について説明する。

【0156】

接合工程ライン監視システム２００の基本動作は、第１の実施形態の接合工程ライン監視システム１００と同様である。

【0157】

データ評価手段２２０の動作に特徴がある。

【0158】

図１７および図１８は、データ評価手段２２０の接合現象データ評価部２２１について説明する図である。

【0159】

図１７は、接合現象データ評価部２２１の流動箇所抽出部２２１２の流動箇所の抽出の一例を示す図である。図１７（ａ）は、接合対象の管部品１ａと管部品１ｂの接合部に、溶金材３によるさしろうを施して接合することを示している。図１７（ｂ）−（ｇ）は、図１７（ａ）の破線囲んだ部分の要部拡大図であり、高速カメラ４（図１参照）により撮影された各画像（コマ）に対して、ろうの流れの軌跡を抽出している様子を示す。

【0160】

図１７（ｂ）−（ｇ）に示すように、ろう流れは、接合部の各画像において、変化部分として映像が収録される。この例では、図１７（ｂ）に示すろう付け作業の開始の計測時点では、溶金材３は溶けていない。図１７（ｃ）に示す計測時点では、接合部に溶けた溶金材３ａがろう付けされ、図１７（ｄ）に示す計測時点では、接合部に溶けた溶金材３ａが全周にわたってろう付けされている。流動箇所抽出部２２１２は、あらかじめ時間的に少なくとも１コマ以上前の画像との差分をすることで、変化部分を抽出する。

【0161】

流動箇所抽出部２２１２は、上記変化部分の閾値検出や、パターン画像を用いた画像認識により位置を特定する。

【0162】

図１７（ｅ）は、図１７（ｂ）に、図１７（ｆ）は、図１７（ｃ）に、図１７（ｇ）は、図１７（ｄ）にそれぞれ対応する。図１７（ｅ）−（ｇ）の破線囲んだ部分は、溶金材３の先端をそれぞれ示している。

【0163】

図１７（ｅ）−（ｇ）に示すように、流動箇所抽出部２２１２は、溶金材３の変化部分を抽出することで、ろうの流れの軌跡をデータ化する。また、溶金材３の先端を抽出することで、溶金材３の先端が、接合開始点となる位置の情報を習得することができる。溶金材３の先端の接合開始点の位置情報を得ることで、次に説明する溶金材先端部での温度状況を評価するのに有効になる。なお、図１７（ｄ）（ｅ）に示すように、フィレット形状の溶金材３ａが接合部の接合線Ｌ全体（全周）に得られている。

【0164】

図１８は、接合現象データ評価部２２１の温度分布評価部２２１３（図１６参照）の温度分布の一例を示す図である。図１８（ａ）は、管部品１ｂの温度と管部品１ａの温度とがいずれも低く、加熱が不十分な温度分布を示し、図１８（ｂ）は、管部品１ｂの温度が管部品１ａの温度より高く、管部品１ｂの外縁部１ｂ１の全周にわたって十分に加熱されるとともに、管部品１ａにも適度な加熱が行われている温度分布を示す。図１８（ｃ）−（ｅ）は、ろう付け作業の各時間における図１８（ｂ）の破線囲んだ部分の要部拡大図である。

【0165】

図１８（ａ）に示すように、温度分布評価部２２１３（図１６参照）は、部材全体の温度を把握するとともに、(b)溶金材周辺の温度変化を評価する（図１８（ｂ）参照）。このとき、図１８（ｃ）に示すように、流動箇所抽出部２２１２（図１６参照）では、抽出した溶金材先端周辺の位置情報を用いて、温度が適切な条件か否かを評価する。

【0166】

このように、接合現象データ評価部２２１では、ろう流れについて、流動現象および温度条件を分析するデータを生成する。

【0167】

図１９は、作業状態データ評価部２２２の作業手順抽出部２２２２（図１６参照）の一例を示す図である。図１９は、作業手順抽出部２２２２が、距離センサ６（図１参照）を用いて、作業エリア内の位置と姿勢を評価し、作業箇所とその順番をデータ化する様子を示している。図１９（ａ）は、接合作業者の、管部品（接合対象の部材１）の作業箇所ＡおよびＢの接合作業を表す図、（ｂ）は、（ａ）の接合箇所（作業箇所）を模式的に示す図である。また、図１９（ｃ）は、接合作業者が移動した場合の管部品（接合対象の部材１）の作業箇所ＡおよびＢを表す図、（ｄ）は、（ｃ）の接合箇所を模式的に示す図である。また、図１９（ｅ）は、接合作業者の移動後の、管部品（接合対象の部材１）の接合箇所ＡまたはＢの接合作業を表す図、（ｆ）は、（ｅ）の接合箇所を模式的に示す図である。

【0168】

図１９において、接合作業者は、接合対象の部材１に対して、接合ツール（ガスバーナー２）を右手に保持し、左手に溶金材３を保持してさしろうを施す状態を示している。

【0169】

図１９（ａ）では、接合作業者の体は、管部品（接合対象の部材１）の作業箇所Ａに近い位置にある。上述したように、データ取得手段１１０の作業状態データ取得部１１２（図２参照）は、距離センサ６（図１参照）の骨格情報から、接合作業者の体の動き（姿勢）をデータ化する。データ評価手段２２０は、接合作業者の姿勢が、接合作業中と評価する。ここでは、現在、図１９（ｂ）に示す接合箇所Ａで作業中と認識される。

【0170】

図１９（ｃ）に示すように、接合作業者が、作業箇所Ａのろう付け作業を終え、作業箇所Ｂに移動しながら体を開いている場合、作業中とは評価されず、図１９（ｄ）に示すように、接合作業者の体は、どの接合箇所にも属しないと認識される。

【0171】

図１９（ｅ）に示すように、接合作業者の体が、管部品（接合対象の部材１）の次の作業箇所Ｂに近い位置にある場合、作業状態データ取得部１１２は、距離センサ６（図１参照）の骨格情報より、接合作業者の体の動き（姿勢）をデータ化する。データ評価手段２２０は、接合作業者の姿勢が、接合作業中と評価する。ここでは、現在、図１９（ｆ）に示す接合箇所Ｂで作業中と認識される。このとき、作業箇所の順番は、接合箇所Ａの作業時刻と、接合箇所Ｂの作業時刻より、整理され、接合箇所の作業記録として管理する。

【0172】

図２０は、三軸方式の慣性センサ７を用いた接合ツールの先端位置（ガスバーナー２のトーチ２ａ先端位置）の動きのデータの一例を示す図であり、図１９で示した接合作業者のデータの例である。図２０（ｂ），(ｆ)の符号ｃは、ガスバーナー２のトーチ２ａの上方向を示す。

【0173】

図２０（ａ）は、図１９（ｂ）に対応し、図２０（ｂ）は、図１９（ｂ）に示す作業箇所Ａで作業中と認識された場合を示す。また、図２０（ｅ）は、図１９（ｆ）に対応し、図２０（ｆ）は、図１９（ｆ）に示す接合箇所Ｂで作業中と認識された場合の接合作業員が使う接合ツールの先端位置（ガスバーナー２のトーチ２ａ先端位置）の動きを示す図である。

【0174】

また、図２０（ｃ）は、図１９（ｄ）に対応し、図２０（ｄ）は、図１９（ｄ）に示すように接合作業者の体が、どの接合箇所にも属しないと認識された場合を示す。また、図２０（ｅ）は、図１９（ｆ）に対応し、図２０（ｆ）は、図１９（ｅ）に示す接合箇所Ｂで作業中と認識された場合の接合作業員が使う接合ツールの先端位置（ガスバーナー２のトーチ２ａ先端位置）の動きを示す図である。

【0175】

図１６に示す作業手順抽出部２２２２は、作業中と評価された接合箇所に対して、バーナー（トーチ）の三次元的な軌跡を表すことができる。これによって、各接合箇所に対する作業プロセスを整理することができる。

【0176】

［応用例］
接合工程ライン監視システム１００（２００）は、ＰＬＣ（Programmable Logic Controller：プログラマブル論理制御装置）を介して製造実行システム（ＭＥＳ：Manufacturing Execution System）に連携することも可能である。製造実行システム（ＭＥＳ）は、生産計画に従って、各ＰＬＣを介して接続された部品加工工程、部品組立工程、本接合工程ライン監視システム１００（２００）、検査工程など生産システム全体を制御する。製造実行システム（ＭＥＳ）は、工場のサブ工程との情報を連携し、生産計画を評価する。本接合工程ライン監視システム１００（２００）を接合作業工程に適用することで、接合ラインの作業状況・不良情報をより的確かつ、迅速に把握することができる。製造実行システム（ＭＥＳ）は、本接合工程ライン監視システム１００（２００）からの情報提供を受けることで、生産ラインの稼働状況を制御することができ、生産遅延や品質低下を未然に抑制することができる。また、生産計画を評価・見直すことも可能になる。例えば、接合ラインの作業状況・不良情報に応じて、後工程へ遅延や、手直しの情報を渡し、作業指示する。特に、後工程の検査工程では、検査の重点項目を指示し、検査員が効率よく検査を実施することを可能とする。また、接合ラインの作業状況・不良情報に応じて、設備の保守の指示や計画の要否を提示することができる。さらに、作業状況・不良情報を利用して、作業者の熟練度のレベルを評価し、データとして蓄積することでＭＥＳにて、生産計画、内容に応じた作業者の配置を割り当てることができる。

【0177】

本発明は上記各実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。例えば、接合工程は、ろう付けには限定されない。

【0178】

また、例えば、ある実施形態例の構成の一部を他の実施形態例の構成に置き換えることが可能であり、また、ある実施形態例の構成に他の実施形態例の構成を加えることも可能である。また、各実施形態例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0179】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0180】

１００，２００ 接合工程ライン監視システム
１ 接合対象の部材
１ａ，１ｂ 管部品（接合対象の部材）
２ ガスバーナー（接合ツール）
２ａ トーチ（バーナ炎）（接合ツール）
４ 高速カメラ（接合現象データ取得手段）
５ サーモカメラ（接合現象データ取得手段）
６ 距離センサ（作業状態データ取得手段）
７ 慣性センサ（作業状態データ取得手段）
２０ サーバ
２０ａ，１５０ａ 表示部（提示手段）
１００ 接合工程ライン監視システム
１１０ データ取得手段
１１１ 接合現象データ取得部
１１２ 作業状態データ取得部
１１３ 時刻同期部
１２０，２２０ データ評価手段（評価データ算出手段）
１２１ 接合現象データ評価部
１２２ 作業状態データ評価部
１２３ 接合現象作業状態分析部
１３０ 相違データ抽出手段
１３１ 作業箇所決定部
１３２ データ範囲抽出部
１３３ 基準データ格納部（基準データ格納手段）
１３４ 相違度算出部
１４０ 異常箇所判定手段
１５０ 提示手段
１５０ｂ 投光部（提示手段）
２２１ 接合現象データ評価部
２２１１ 動画像データ時刻評価部
２２１２ 流動箇所抽出部
２２１３ 温度分布評価部
２２２ 作業状態データ評価部
２２２１ トレンドデータ時刻評価部
２２２２ 作業手順抽出部
２２２３ 接合ツール動作抽出部
２３０ 接合現象作業状態分析部
２２３１ 接合現象データ作業状態対応データ生成部
２２３２ 接合条件記憶部
２２３３ 比較部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】