特許 6557225 プロセス品質を保証し向上させるためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6557225

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】プロセス品質を保証し向上させるためのシステム及び方法

(51)【国際特許分類】

   G05B 19/418 20060101AFI20190729BHJP

   G05B 23/02 20060101ALI20190729BHJP

   B23Q 17/24 20060101ALI20190729BHJP

   B23K 26/00 20140101ALI20190729BHJP

   B23K 26/21 20140101ALI20190729BHJP

【ＦＩ】

   G05B19/418 Z

   G05B23/02 302S

   G05B23/02 301N

   B23Q17/24 A

   B23K26/00 P

   B23K26/21 A

【請求項の数】17

【全頁数】26

(21)【出願番号】特願2016-526455(P2016-526455)

(86)(22)【出願日】2013年7月18日

(65)【公表番号】特表2016-530611(P2016-530611A)

(43)【公表日】2016年9月29日

(86)【国際出願番号】EP2013065237

(87)【国際公開番号】WO2015007322

(87)【国際公開日】20150122

【審査請求日】2016年7月6日

(73)【特許権者】

【識別番号】511312997

【氏名又は名称】トヨタ モーター ヨーロッパ

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100102819

【弁理士】

【氏名又は名称】島田 哲郎

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】アンドリュー ウィレット

(72)【発明者】

【氏名】岡崎 朋也

(72)【発明者】

【氏名】岩谷 信吾

【審査官】 牧 初

(56)【参考文献】

【文献】 特開平６−１２６４７５（ＪＰ，Ａ）

【文献】 特開２００４−６６３４０（ＪＰ，Ａ）

【文献】 米国特許第６７９１０５７（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｂ １９／４１８

Ｇ０５Ｂ ２３／０２

Ｂ２３Ｑ １７／２４

Ｂ２３Ｋ ２６／００，２６／２１

(57)【特許請求の範囲】

【請求項1】

ワークピースの組み立てプロセスの少なくとも１つの状態を評価するためのシステムであって、
前記組み立てプロセスを複数のプロセスセグメントに、空間的にセグメント化するための手段と、
前記組み立てプロセス中にかつ所定の時間周波数で、前記セグメント化するための手段によって生成された前記複数のプロセスセグメントの各プロセスセグメントに関する複数のサンプルを取り込むように構成された１つ以上のセンサと、
処理手段であって、
各サンプルに関連する数値データが生成されるように、前記複数のセグメントの各プロセスセグメントに関する前記複数のサンプルを処理し、
前記数値データに対し静的分析を行って、複数のプロセス値であって、各プロセス値が前記サンプルのうちの１つに関連する複数のプロセス値を生成し、
プロセス値が閾値を上回った時点を決定することにより、前記組み立てプロセスの結果としての前記ワークピース内の１つ以上の物理的欠陥を決定し、
１つ以上の物理的欠陥を決定したことに応じて、決定された前記１つ以上の物理的欠陥に基づいて、前記組み立てプロセスを失敗したとして前記ワークピースに廃棄についてのラベルを付する、
ように構成された処理手段と
を備えるシステム。

【請求項2】

前記プロセスをセグメント化するための手段は、前記複数のプロセスセグメントのプロセスセグメント毎にサブセグメントを生成するようにさらに構成される請求項１に記載のシステム。

【請求項3】

１つ以上の所定の異常に関連する異常データを備えるデータベースをさらに備える請求項１又は２に記載のシステム。

【請求項4】

前記処理手段は、各セグメントに関連する前記複数のサンプルを分析し、セグメント状態を判定するために前記分析の出力と前記異常データとを比較するように構成される請求項３に記載のシステム。

【請求項5】

前記１つ以上のセンサは、放射データを取り込むための手段を備える請求項１〜４のいずれか１項に記載のシステム。

【請求項6】

前記複数のサンプルは、画像及び音声のうちの少なくとも１つを備える請求項１〜５のいずれか１項に記載のシステム。

【請求項7】

所定の波長又は波長のグループ内の放射データを選択的に伝送し、前記所定波長外の放射データの伝送を阻止するように構成された帯域通過フィルタをさらに備える請求項１〜６のいずれか１項に記載のシステム。

【請求項8】

ユーザインタフェースをさらに備え、前記ユーザインタフェースは、前記複数のセグメント、前記サンプル、及び前記プロセスのうちの少なくとも１つを定義する１セットのパラメータのカスタマイズを可能にするように構成される請求項１〜７のいずれか１項に記載のシステム。

【請求項9】

前記ユーザインタフェースは、各プロセスセグメント及び／又はサブセグメントのために取り込まれるいくつかのサンプルを選択することを可能にする請求項８に記載のシステム。

【請求項10】

前記１つ以上のセンサは、３次元の画像を取り込むように構成される請求項１〜９のいずれか１項に記載のシステム。

【請求項11】

前記１つ以上のセンサは、前記プロセスの対象であるワークピースと、プロセスを実行する設備との両方に関連する情報を取り込むように構成される請求項１〜１０のいずれか１項に記載のシステム。

【請求項12】

前記プロセスは、溶接プロセスを含む請求項１〜１１のいずれか１項に記載のシステム。

【請求項13】

組み立てプロセスの少なくとも１つの状態を評価する方法であって、
前記組み立てプロセスを複数のプロセスセグメントに、空間的にセグメント化することと、
所定の時間周波数で、前記複数のプロセスセグメントの各プロセスセグメントに関する複数のサンプルを取り込むことと、
各サンプルに関連する数値データが生成されるように、前記複数のプロセスセグメントの各セグメントに関する前記複数のサンプルを処理することと、
前記数値データに対し静的分析を行って、複数のプロセス値であって、各プロセス値が前記サンプルのうちの１つに関連する複数のプロセス値を生成することと、
前記処理に基づいて、１つ以上のプロセス値が閾値を上回ったときに、前記組み立てプロセスの結果としての前記ワークピース内の１つ以上の物理的欠陥を決定することと、
決定された前記１つ以上の物理的欠陥に基づいて、前記組み立てプロセスを失敗したとして前記ワークピースに廃棄についてのラベルを付することと
を有する方法。

【請求項14】

前記複数のプロセスセグメントの各々を複数のサブセグメントにサブセグメント化することをさらに有する請求項１３に記載の方法。

【請求項15】

前記複数のセグメント、前記サンプル、及び前記プロセスのうちの少なくとも１つを定義する１セットのパラメータを指定することをさらに有する請求項１３又は１４に記載の方法。

【請求項16】

ユーザ構成ステップをさらに備え、ユーザは、セグメントの数、及び物理的な欠陥に関する統計的な状態のうちの少なくとも１つを構成することができる請求項１３〜１５のいずれか１項に記載の方法。

【請求項17】

前記組み立てプロセスは、溶接プロセスである請求項１３〜１６のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、製造の間の品質を保証するためのシステム及び方法に関し、特に、プロセスデータに基づいて、状態をセグメント化し、取り込み、分析し、判定するための自動システムに関する。

【背景技術】

【0002】

製造プロセスの間に、多数のオペレーションが生じることがあり、これらのオペレーションの各々は、最終生産物の品質に影響を与える。このような製造プロセスの間の品質を保証するために、処理をモニタリングし、且つ一定の品質閾値を満たした若しくは満たすかを判定するために、このようなモニタリングの間に取得されたデータが分析されることを可能にする技術が開発されてきた。

【0003】

例えば、プロセスから発光は、プロセスの品質状況に関するデータを提供するために、電磁スペクトルの個別の波長領域（例えば、可視光、近赤外光、赤外光）に対して感度を有する感光装置を用いることによって、取り込まれることができる。代替的に若しくはさらに、フィルタは、分析用の一定の他の波長がセンシング装置を通過することを可能にするとともに、一定の波長を選択的にブロックするために、装置の前に配置されることができる。例えば、これは、特定の現象が特定の波長において可視である場合に行われ得る。さらに、センシング装置に損害を与え得る波長をブロックすることが望ましいかもしれない。

【0004】

センサによって検出された発光は、個別の品質特徴に対してリンクされることができる個別の現象及びアーティファクトを明らかにすることができる。

【0005】

レーザ溶接において、例えば、高温計は、経時的にポイントデータを取り込むために用いられることができ、例えば、市場に出ている商業化されたソリューションを現在有するプレシテック社、プラズモ社、及び４Ｄ社から市販で入手可能である。さらに、ＣＭＯＳ及びＣＣＤカメラなどの画像取り込み装置は、例えば、商業化されたソリューションを現在提供するプレシテック社（Precitec）及びプロメテック社（Prometec）により、溶融池及びプロセスゾーンの幾可学的な形状及び特徴に関する２次元データを採集するために一般的に用いられる。

【0006】

レーザ又は発光ダイオードによるアクティブ照明は、画像キャプチャ能力を向上させる、低露光時間及び高速フレームレートを可能にする、などの理由のために画像取り込み装置の他にも用いられ得る。例えば、Ｌｅｓｓｍｕｅｌｌｅｒ社（Lessmueller）及びキャビター社（Cavitar）は、このような用途に適しているソリューションを提供する。

【0007】

最近になって、マルチセンサ、単一センサの多波長技術、及び概して特定の波長においてのみ確実に検出することができる現象を取り込む特定の波長／帯域幅のモニタリングが成長してきた。

【0008】

取り込まれる画像及び用いられる技術に関係なく、画像におけるアーティファクトの識別及び定量化のいくつかの形式は、品質管理を実施するために必要である。プレシテック社によるシステムは、例えば、２つの標準パッケージ、ＲＯＩ（関心領域）、及びＱｕａｌａｓ（閾値化に基づく）を付属する。

【0009】

ポストプロセス検査は、また、超音波、渦電流、及びサーモグラフィ分析などの方法を用いて実行することができる。但し、追加的なポストプロセッシング検査の排除を可能にする堅牢なその場／インラインモニタリング方法の必要性が残る。

【0010】

さらに、既存の現場／インラインモニタリング技術は、典型的には、プロセスにおける所定の時間にプロセスの品質を主観的に判定するために単一の画像及びその処理を用い、この判定は、その後、プロセスの品質を評価するために、及び／又はプロセスを制御するために用いられてもよい。

【0011】

宮地のUS7129438 は、当時の市販のシステムが充分な画像処理能力を提供しなかったということに言及して、パルスレーザ溶接プロセスの２次元画像から単一の可変出力を抽出するアルゴリズムの利用を開示する。

【0012】

WO2011/120672は、画像アーティファクト、特に完全溶け込みキーホール、の欠如の有無に基づく意思決定によって、溶接プロセスにおけるレーザパワーの制御のために、プロセスイメージを用いることができる、ということを教示する。

【発明の概要】

【発明が解決しようとする課題】

【0013】

しかしながら、このようなアプローチには問題がある。例えば、いくつかの動的プロセスにおいて、生産物に欠陥を引き起こす可能性があるのは、必ずしもプロセスにおける単一の欠陥状態の発生ではなく、むしろプロセスが欠陥状態で動作する期間である。言いかえれば、プロセスの内部、又はプロセスの所定の部品の内部の欠陥状態の時間的及び空間的分布の分析は、生産物の品質を一層良く定義することができる。

【0014】

さらに、プロセスの間に生じる他の現象（例えば、プロセス現象の視点をブロックするガス放出、ガス放出によって照射された光）、及び状態間の動的なランダムな振動又は周期的な振動までもが、実際のプロセス状態の確実な画像処理及び公平な判断を低下又はブロックするかもしれず、そのため、画像ベースによる画像の困難さを招くかもしれない。

【0015】

このような状況において、さらには特に敏感なオペレーション又は部品に対しては、閉ループシステムに対して電源制御を渡さないことが好ましいかもしれないし、むしろ、画像のバッチの処理に基づいたモニタリング、補正、及び制御アプローチのための高度に堅牢な統計分析を実装することが好ましい。

【0016】

従って、プロセス分析の時間的離散化を用いることによって現在利用可能なシステム及び方法の欠如を克服するためのシステム及び方法を提供することが、本開示の主な目的である。

【課題を解決するための手段】

【0017】

時間的離散化は、プロセスの特定の部品又はセグメントに対して、時間的なベースで所定のセンサからの画像を割り当てることによって実現することができる。そのため、本開示の実施形態によれば、少なくとも１つのプロセスの状態を評価するためのシステムが提供される。システムは、プロセスを複数のプロセスセグメントにセグメント化するための手段と、セグメント化手段によって生成された複数のプロセスセグメントの各プロセスセグメントに関する情報であって、複数のサンプルを備える情報を取り込むように構成された１つ以上のセンサと、複数のセグメントの各プロセスセグメントに関連する複数のサンプルを処理し、処理に基づいて、プロセスの少なくとも１つの状態に関係する表示を提供するように構成された処理手段とを含む。

【0018】

特に、１つ以上のセンサの各々は、異なるセグメント戦略（segment strategy）を有していてもよいし、及び／又は、単一のセンサは、プロセスにおける複数の異常を検出するために用いられることができ、その場合には、セグメント戦略は、各々の異常のタイプ毎に異なってもよい。

【0019】

プロセスをセグメント化するための手段は、複数のプロセスセグメントのプロセスセグメント毎にサブセグメントを生成するようにさらに構成されることができる。

【0020】

１つ以上のセンサによって受信された波長及び帯域幅は、シーンにおいて生じる特定の特徴又は異常の画像であるが一定の波長領域においてのみ可視の画像を与えるために、さらには反射されたレーザ光、危険な発光又は高輝度の発光からセンサの一定の領域までセンサを保護するために、帯域通過フィルタにより選択的に遮られてもよい。

【0021】

システムは、１つ以上の所定の異常に関連する異常データを備えるデータベースを含むことができる。

【0022】

１つ以上のセンサは、放射データを取り込むことための手段、好ましくはカメラ、を含んでもよい。カメラは、分析されているプロセスに基づいて一定の光の波長を取り込むように構成されてもよい。

【0023】

各カメラは、各波長においてそれ自身の応答特性を有してもよい。そのため、カメラの選択は、所定の分析の適した特性を有するカメラプロファイルをもたらすように行われてもよい。いくつかのケースにおいて、所定の波長又は波長の範囲における、センサ又はその感度のさらなる構成が可能であってもよい。

【0024】

特に、当業者は、用語「カメラ（camera）」は広く解釈されるべきであり、あらゆる２Ｄ及び３Ｄ画像装置を含んでもよい、ということを理解することになる。

【0025】

サンプルは、画像及び音声のうちの少なくとも１つを備えてもよい。本開示の実施形態によれば、処理手段は、各セグメントに関連した複数のサンプルを分析し、セグメント状態を判定するために、分析された情報を異常データと比較するように構成されることができる。

【0026】

システムは、ユーザインタフェースを含んでもよく、ユーザインタフェースは、複数のセグメント、サンプル、及びプロセスのうちの少なくとも１つを定義する１セットのパラメータのカスタマイズを可能にするように構成される。

【0027】

ユーザインタフェースは、プロセスセグメント及び／又はサブセグメント毎、すなわちサンプリングレート毎に取り込まれるいくつかのサンプルを選択することを可能にすることができる。

【0028】

１つ以上のセンサは、３次元（３Ｄ）の画像を取り込むように構成されてもよい。

【0029】

例えば、紫外、可視、赤外（近赤外及び遠赤外）の２次元又は３次元画像を空間的にキャプチャする少なくとも１つのセンサが提供されてもよい。

【0030】

２次元画像は、プレーナの２次元シーンの表現、又は３次元シーンの２次元的表現であってもよい。

【0031】

３次元画像は、光学系によって支援された単一のセンサ、又は同じ波長において動作する複数のセンサによって作成されてもよい。

【0032】

処理手段は、１つ以上のアルゴリズムに基づいて複数のサンプルに関する比較データを生成し、データベースに比較データを保存するように構成されることができる。

【0033】

１つ以上のセンサは、また、プロセスの対象であるワークピースと、その部品のプロセスを実行する設備との両方に関連する情報を取り込むように構成されることができる。

【0034】

プロセスは、例えば溶接プロセスなどの組み立てプロセスになり得る。プロセスは、また、特に、複合硬化プロセス、複合固結プロセス、粉末クラッディングプロセス、粉末噴霧プロセス、噴霧プロセス、鑞付プロセス、複合テープ敷設プロセス、複合混合繊維配置プロセス、及び加熱及び乾燥プロセスを含んでもよい。

【0035】

１つ以上のセンサによって観察されたシーンは、いくつかの実施形態によれば、シーンの周囲温度若しくは環境的照明、プロセス発光（プロセス励起に対する部品の応答）、選択された波長若しくは波長のグループにおける付加的な外部照明又は外部励起（若しくはこのようなファクタの組み合わせ）のために、放射（例えば光）を発してもよい。

【0036】

１つ以上のセンサのサンプリング周波数は、観察されるプロセスにおいて定義される波長及び帯域幅にて生じる、既定の特徴又は異常の特徴の発生に関する一組の連続的な画像（すなわちセグメント）にわたって統計的測定を行なうために充分に高い。

【0037】

１つ以上のセンサは、プロセスに対して同軸方向に設置されてもよい。１つ以上のセンサは、また、前、後、左、右、又はそのいずれかの実際的な組み合わせから、プロセスゾーンを観察してもよい。１つ以上のセンサは、また、プロセスのために用いられるリモートレーザスキャナを通じて画像を取り込んでもよい。

【0038】

１つ以上のセンサは、プロセスゾーン又はプロセス監視のために適切な他の表示ゾーンにおいて、全体的又は局所的に加工されたワークピースを観察してもよい。

【0039】

１つ以上のセンサは、ワークピースそれ自体ではなく、設備の一部（例えばツール、取付具）又はワークピースと設備との間の界面を観察してもよい。

【0040】

１つ以上のセンサは、同じシーンの全体的に異なる部品を観察してもよい。同じシーンを観察するセンサは、同じ視点を共有してもよいし、共有しなくてもよい。

【0041】

システムは、１つ以上のセンサに加えて、又はその代わりとして、現場Ｘ線、中性子ラジオグラフィ、及びテラヘルツ分光法などの技術を使用してもよい。超音波アレイなどのアレイ検出器、又は動的プロセスの２次元の表現が複数の単一のポイント測定値の組み合わせによって形成されるアレイ検出器も、また、実装されてもよい。

【0042】

開示の実施形態によれば、少なくとも１つのプロセスの状態を評価するための方法が提供される。方法は、プロセスを複数のプロセスセグメントにセグメント化することと、複数のプロセスセグメントの各プロセスセグメントに関する情報であって、複数のサンプルを備える情報をキャプチャすることと、複数のプロセスセグメントの各セグメントに関する複数のサンプルを処理することと、処理に基づいて、プロセスの少なくとも１つの状態に関連する表示を提供することとを含む。

【0043】

本方法は、複数のプロセスセグメントの各々を複数のサブセグメントにサブセグメント化することをさらに含んでもよい。

【0044】

本方法は、複数のセグメント、サンプル、及びプロセスのうちの少なくとも１つを定義する１セットのパラメータを指定することをさらに含んでもよい。

【0045】

処理は、データポイントをもたらすために、複数のサンプルに対して１つ以上のアルゴリズムを適用することを含んでもよい。

【0046】

１つ以上のアルゴリズムは、特に、最大値判定アルゴリズム、最小値判定アルゴリズム、平均値判定アルゴリズム、勾配判定アルゴリズム、積分アルゴリズム、総和アルゴリズム、論理動作、マスキング機能、局所的閾値化、大域的閾値化、適応的閾値化、画像の反転、画像部分の充填（filling parts of the image）、画像部分の開放（opening parts of the image）、及びノイズスポット除去のうちの少なくとも１つから選択されてもよい。

【0047】

セグメント化は、空間的、時間的、又は時空間的であってもよい。

【0048】

複数のセグメントを備えるいくつかのセグメントは、統計的に有意な結果が取得され得るように、プロセスに基づいて構成されることができる。

【0049】

本方法は、ユーザ構成ステップをさらに備えてもよく、ユーザは、セグメントの数、及び物理的な欠陥にする統計的な状態のうちの少なくとも１つを構成することができる。

【0050】

プロセスは、例えば溶接プロセスなどの組み立てプロセスである。プロセスは、また、特に、複合硬化プロセス、複合固結プロセス、粉末クラッディングプロセス、粉末噴霧プロセス、噴霧プロセス、鑞付プロセス、複合テープ敷設プロセス、複合混合繊維配置プロセス、及び加熱及び乾燥プロセスを含んでもよい。

【0051】

重要なことには、サンプル（例えば画像）の完全なコレクションは、システム精度のユーザの参照及び／又は監査のためにメモリ（例えば、ＲＡＭ又はプロセッサに関連づけられた永続メモリ）内に一時的又は永続的に保存されてもよい。例えば、サンプルのコレクションは、特に、局所的なハードディスクドライブ、ネットワークドライブ、及び／又はクラウドドライブに保存されてもよい。これは、所望の場合、異なるパラメータによる分析をユーザが再実行することを可能にすることができる。

【0052】

検出された画像特徴は、ユーザの参照、システム精度の監査、所望の場合異なるパラメータによるリランニング分析、及びシステム継続改善のために画像において強調されてもよい。

【0053】

各画像において検出された画像特徴は、参照及び事後分析のための数値データ、リスト、スプレッドシート、及び／又はデータベースの形式で保存されてもよい。

【0054】

セグメントデータ概要は、統計的検定及び／又は故障判定基準の視覚化も含んでもよい、数値データ（例えばリスト、スプレッドシート、データベース）から生成することができ、チャート及びグラフにおいて視覚化することができる。チャート及びグラフに寄与するセグメントデータ及び画像は、即座に検索、表示、レポートへのエクスポートをすることができる。

【0055】

画像（強調表示の有無に関わらず）は、画像スタック又はムービーとして再生することができる。ユーザ及び開発者は、画像と数値データ（例えば、リスト、スプレッドシート、データベース）との間を即座に相互参照することができる。

【0056】

ユーザ又は開発者は、異なる品質状態間の統計的有意性検定のための最適なセッティングを取得するために、セグメントの数、各セグメントに寄与する画像の数、画像キャプチャ頻度、各セグメントのためのパラメータ及び画像処理アルゴリズム（及びそのパラメータ）の観点から部品、生産物、又はプロセスのセグメント化を再定義することができる。

【0057】

開示の実施形態によれば、少なくとも１つのプロセスの状態を評価するためのシステムが提供される。システムは、プロセスを複数のプロセスセグメントにセグメント化するように構成されたプロセッサと、セグメント化手段によって生成された複数のプロセスセグメントの各プロセスセグメントに関する情報であって、複数のサンプルを備える情報を取り込み、その情報をプロセッサに提供するように構成された１つ以上のセンサとを含む。プロセッサは、複数のセグメントの各プロセスセグメントに関する複数のサンプルを処理し、処理に基づいて、プロセスの少なくとも１つの状態に関連する表示を提供するようにさらに構成される。

【0058】

複数のサンプルの各サンプルの処理に関連する出力が、単一の数値を備える一方で、複数のプロセスセグメントの各セグメントの処理に関連する出力は、単一の数値の関数である。

【0059】

システムは、１つ以上の所定の異常に関連する異常データを収納するデータベースをさらに備えることができる。

【0060】

１つ以上のセンサは、放射データ及び／又は音響データを取り込むように構成されたカメラ及び／又は音響トランスデューサアレイ（例えばマイクロホン）を含んでもよく、複数のサンプルは、画像及び音声のうちの少なくとも１つを含むことができる。

【0061】

システムは、所定波長内の放射データ又は波長のグループを選択的に伝送し、所定波長外の放射データの伝送を阻止するように構成された帯域通過フィルタをさらに含んでもよい。

【0062】

システムは、ユーザインタフェースを含むことができ、ユーザインタフェースは、複数のセグメント、サンプル、及びプロセスのうちの少なくとも１つを定義する１セットのパラメータのカスタマイズを可能にするように構成される。

【0063】

１つ以上のセンサは、３次元の画像を取り込むように構成されてもよい。

【0064】

データベースは、１つ以上のアルゴリズムに基づく複数のサンプルに関する比較データをさらに含むことができる。

【0065】

システムは、プロセスの間に取り込まれた複数のサンプルの１つ以上を記憶するように構成され、人間のユーザに対して可視及び／又は可聴の形式で複数のサンプルの１つ以上を出力するための記憶装置を含んでもよい。

【0066】

上記要素及び明細書内の要素の組み合わせが、矛盾する場合を除いて行われてもよい、ということが意図される。

【0067】

本開示の目的のために、用語「セグメント（segment）」、「セグメント化（segmentation）」、「セグメント化（segmenting）」、及びそのバリエーションは、プロセス及び／又は情報を「セグメント（segments）」と呼ばれる有意味のエレメンタリ部分に分割する処理を意味するものとする。

【0068】

用語「空間セグメント化（spatial segmentation）」は、画像、例えば静止画像又はフレーム、を任意の形状の多数の領域に分割することを意味し、それらの各々は、典型的には、画像の意味のある部分を構成すること、すなわち、そこに表現されたオブジェクトの１つ、又は１つのこのようなオブジェクトの一部に対応することが想定される。用語「大域的な空間セグメント化（global spatial segmentation）」は、１つ以上のセンサの初期視点外のエリアを含む全プロセスエリアの空間セグメント化を意味する。いくつかの実施形態によれば、大域的な空間セグメント化が実現されてもよく、視野が特定の空間位置に移動するように、分析が契機となってもよい。

【0069】

さらに、用語「時間セグメント化（temporal segmentation）」は、時間依存の一連の画像（例えばビデオ画像）からの画像を特定のセグメントに対して割り当てることを意味する。

【図面の簡単な説明】

【0070】

【図1】本開示の実施形態による好ましいハードウェア構成のブロック図である。

【図2】本開示の実施形態によるプロセスのセグメント化を示す好ましい図である。

【図3】プロセスの少なくとも１つの状態を評価するための好ましい画像処理のための方法を強調表示する好ましいフローチャートである。

【図4A】画像処理に関連する好ましいアルゴリズムを表現する好ましいフローチャートである。

【図4B】スパッタ検出のための好ましい画像処理アプローチである。

【図4C】スパッタ検出のための好ましいプロセス出力である。

【図4D】特定のサンプリングレートにおける閾値に基づいてスパッタ分析を表現する好ましいグラフである。

【図4E】特定のサンプリングレートにおける閾値に基づいてスパッタ分析を表現する好ましいグラフである。

【図4F】特定のサンプリングレートにおける閾値に基づいてスパッタ分析を表現する好ましいグラフである。

【図5A】溶接におけるキーホール発生を識別し、オリジナルの画像においてその出現をマークするステージを表現する好ましい画像系列である。

【図5B】アーティファクトサイズに基づいて等級分けするアーティファクトを示す好ましい一連の画像である。

【図5C】アーティファクトのサイズ及び位置に基づいて複数のアーティファクトの排除を示す好ましい一連の画像である。

【図5D】オリジナルの画像と分析された画像との間の好ましい「非検出」ケースである。

【図6】ノイズ／誤り検出のための典型的なサイズプロファイル及び完全溶け込みキーホールを強調表示する好ましいグラフである。

【図7】レーザパワーが故意にサイクル動作された場合のセグメント上のキーホールの面積分布を表現する好ましいグラフである。

【図8】３０画素のキーホールサイズ閾値に基づいた図７のブール分析からの２進出力を示す。

【図9】１セグメント当たりの異なるサンプリングレートでのセグメントサンプルにわたる溶け込みイベントを示す好ましいグラフである。

【図10】１セグメント当たりの異なるサンプリングレートでのセグメントサンプルにわたる溶け込みイベントを示す好ましいグラフである。

【発明を実施するための形態】

【0071】

図１は、本開示の実施形態によるプロセスの少なくとも１つの状態をモニタリングするための好ましいハードウェア構成のブロック図である。この好ましい記述がレーザ溶接プロセスのモニタリングに関する一方で、これは、限定するようには意図されず、システム及び方法は、プロセスの任意の数の状態をモニタリングし判定するために実装されてもよい、ということに留意する。

【0072】

図１に示されるように、システムは、プロセッサ５と、ユーザインタフェース１０と、１つ以上のセンサ２０、２１と、光伝達装置２５（例えばファイバ、ミラーなど）と、コリメータ４０を含む１つ以上のレンズ４０と、ミラー３２、４１とを含んでもよい。図１に図示しないのは、光供給装置（例えばレーザ）である。

【0073】

プロセッサ５は、特に、データの収集、処理、及び保存に適している任意のタイプのハードウェア及びソフトウェアを備えてもよい。例えば、プロセッサ５は、ランダムアクセスメモリ（ＲＡＭ）、永続的メモリ（例えばハードディスク、ＳＤメモリ、など）、数値演算プロセッサ（例えばインテルコアプロセッサ、ＡＭＤオプテロンプロセッサ）、及びプロセッサ５内のデータを伝送するように構成されたデータバスなどの様々なコンポーネントを含んでもよい。プロセッサ５は、永続的メモリに保存され、且つプロセッサ５が動作しユーザとのインタフェースを確立することを可能にするように構成された命令（すなわちオペレーティングシステム）をさらに備えてもよい。

【0074】

プロセッサ５は、また、１つ以上のセンサ２０、２１との間でデータの送信及び受信を可能にする１つ以上のインタフェースを含んでもよい。このようなインタフェースは、例えば、ＵＳＢ、ファイヤーワイヤ、ライトニング、サンダーボルト、シリアル、ＰＣＩ、及び他のデータの受信及び送信に適しているインタフェースを備えてもよい。例えば、ＷｉＦｉ又は有線ネットワークの性能（ＬＡＮ）を備えるセンサは、ＷｉＦｉ又は有線ネットワークのインタフェースを介してプロセッサ５とのインタフェースを確立してもよい。

【0075】

１つ以上のセンサ２０、２１は、特に、例えば、カメラ（例えば、ＣＣＤ、ＣＭＯＳ、ＳＭＡＲＴ、など）、赤外（ＩＲ）センサ、紫外（ＵＶ）センサ、音響トランスデューサ、及び、例えば１つ以上のセンサ２０、２１とプロセッサ５との間の通信を可能にするように構成された１つ以上のインタフェースを備えてもよい。当業者は、例えば、ＳＭＡＲＴカメラが用いられる場合、所望のとおり、処理するある部品がＳＭＡＲＴカメラによって実行されてもよいが、他の部品がプロセッサ５によって実行されていてもよいということを認識することになる。

【0076】

１つ以上のセンサ２０、２１は、同様の装置（例えば、カメラ）であってもよいし、又は任意の数の多様なセンサ（例えば、カメラ、マイクロホン、及びＵＶセンサ）の集合であってもよい。いくつかの実施形態によれば、単一のカメラが備えられ、その一方で、他の実施形態によれば、２つ以上のカメラが備えられる。

【0077】

１つ以上のセンサ２０、２１が１つ以上のカメラを備える場合、このようなカメラは、モニタリングされるシステム及びプロセスの構成に依存して、異なる発光波長を取り込みように構成及び／又は最適化されてもよい。このような構成を実現するために、光学部品、フィルタ、及びキャプチャ素子は、カメラ毎に変更されてもよい。さらに、システム及び／又は１つ以上のセンサ２０、２１は、所望の構成に基づいたある波長の光の通過を可能にする若しくは拒否するように構成された１つ以上の帯域通過フィルタを備えてもよい。当業者は、音声及び他の放射エネルギー源に関して、このような帯域通過フィルタもまた実装されてもよい、ということを理解することになる。

【0078】

ビーム伝達装置２５は、光線を供給し方向づけることに適した任意の素子を備えてもよい。例えば、ビーム伝達装置２５は、光ファイバケーブル、導光路、及び／又は光放射発生器（例えばレーザ）を備えてもよい。

【0079】

ミラー３２（例えばマジックミラー）は、ビーム伝達装置２５とワークピース１００との間に配置されてもよい。矢印によって図１に示されるように、ビーム伝達装置２５によって発せられた光は、このような構成によってワークピース１００までの途中でマジックミラー３２を通り抜けることができてもよく、その一方で、ワークピース１００から発せられた（例えば、反射された）光は、１つ以上のセンサ２０、２１に向かってミラー３２によって反射されていてもよい。

【0080】

このプロセスを容易にするために、１つ以上のレンズ４０、４１がシステム内に実装されてもよい。例えば、コリメータ４０は、マジックミラー３２とワークピース１００との間に配置された焦点レンズ４１とともに、ビーム伝達装置２５とマジックミラー３２との間に配置されてもよい。そのようにすると、１つ以上のレンズ４０、４１は、プロセスビーム（すなわち、ワークピース１００上で動作する光線）と、反射された光線（すなわち、動作の結果としてワークピース００上に反射された光）との両方を増強することができる。

【0081】

図１に示されるように、１つ以上のセンサ２０、２１のうちの少なくとも１つは、マジックミラー３２によって反射された光を取り込むように配置されてもよい。さらに、別のセンサ２１は、ワークピース１００から鋭く反射された光を取り込むように、ワークピース１００上のワーク位置Ｘからオフセットされる角度に配置されてもよい。１つ以上のセンサ２１は、所望のデータを取り込むのに適した任意の所望の位置に配置されてもよい。

【0082】

ユーザインタフェース１０は、例えば、ディスプレイ、ポインティングデバイス、及びキーボードなどの入出力装置（ハードウェア及び／又は仮想）を備えてもよい。当業者は、大量の処理装置が利用可能であり（例えば、タブレット、ＰＣ、ラップトップ、スマートフォン、など）、このようなあらゆる装置も、また、ユーザインタフェース１０を提供するプロセッサ５として実装されてもよい、ということを認識する。このような構成要素は、プロセッサ５によって実行されるオペレーティングシステムにより動作するように構成されてもよい。

【0083】

さらに、ユーザインタフェース１０は、システム２００とのインタフェースを確立するように構成された１つ以上のプログラムとの対話を可能にしてもよい。例えば、このようなプログラムは、分析プログラム、キャプチャプログラム、セットアッププログラムなどを備えてもよい。重要なことには、このようなプログラムは、１つのアプリケーション内にすべて含まれてもよいし、又は、ユーザによって実行される個々のアプリケーションであってもよい。

【0084】

本開示によれば、少なくとも１つのアプリケーションは、ユーザがシステム２００を用いて、ワークピース１００に関するプロセスに関する状態判定の態様を定義するために備えられてもよい。例えば、ユーザは、特に、処理されるプロセス、どのようにプロセスをセグメント化するべきか（例えば、セグメントの数、セグメント間隔、セグメント毎の画像の数など）、プロセスのセグメント化に関連するアルゴリズムを定義してもよい。

【0085】

さらに、ユーザインタフェース１０は、ユーザが既定の画像解析アルゴリズム及びその調整パラメータの選択から選ぶことを、又は、セグメントＳに対して割り当てられる各センサ２０、２１、サンプルＮに対して適用される新たな画像処理アルゴリズム（及びそのパラメータ）をプログラミング／定義し、そのパラメータを設定することを可能にしてもよい。このような選択は、各センサ２０、２１、各サンプルＮ、及び各セグメントＳに対して、あるいは、すべてのセンサ２０、２１、サンプルＮ、及びセグメントＳ、又はその任意の組み合わせにわたって適用するデフォルト設定に対して行われてもよい。

【0086】

ユーザインタフェース１０は、また、各センサ２０、２１、サンプルＮ、セグメントＳ、及び画像処理アルゴリズムに対して、そのパラメータのセッティングだけでなく、既定の統計的検定方法の選択及び／又は適用される新たな統計的検定方法の定義を可能にしてもよい。このような統計的検定の例は、セグメント内の仮説検証、流通分析、分散分析、クラスタリング分析、パス及びフェール状態のパターニングなどを含んでもよい。

【0087】

開発／設定段階の間、ユーザインタフェース１０は、先に取得されたセグメントデータ（例えばセグメント概要）が、ワークピース１００及び／又はプロセスの各セグメントＳに対する既定の統計的品質管理基準を生成するための開発段階部品における実際の物理的（機械的、材料的、冶金学的、化学的）な特性と比較されることを可能にしてもよい。このようなセグメント概要は、生産部品のためのこれらの既定の品質管理基準に対して統計的な有意性の検定を行なうために用いることができる。

【0088】

ユーザ又は開発者は、また、プロセスの結果として生じる欠陥を用いることによって、又は事前にプログラミングされた欠陥シナリオを用いることによって、物理的欠陥に対応する統計的な状態が何なのかを、システム２００に「教示」してもよい。その後、プロセッサ５は、改善された統計的有意性を実現するためのセグメント化戦略を最適化するために、このような情報を通じて反復してもよい。さらに、ユーザ又は開発者によって、このプロセスを手動的に実行することができるかもしれない。

【0089】

重要なことには、サンプルＮ及びセグメントＳは、ワークピース上の特定位置、又はプロセス内のタイムスタンプまでトレースされてもよく、ユーザインタフェース１０、設備によってワークピース（又はその表現）上の物理的に又は図解的に特定位置がマークされるべきであるか否かをユーザが特定することを可能にしてもよい。

【0090】

さらに、ワークピース及びセグメントの位置を起動し同期させるために、プロセスの始動／停止とデータ収集の始動／停止との間のトリガがあってもよい。例えば、時間又は位置を用いることができるかもしれないし、及び／又は、センサによって検出されるその部品の特定の特性若しくはマーカが用いられてもよい。

【0091】

本開示の実施形態が光を取り込む技術に関して概して記述される一方で、当業者は、本明細書に記述されたこれらの技術を、オーディオキャプチャ、Ｘ線のキャプチャなどに対しても同様に適用することができる、ということを理解することになる。

【0092】

図２は、本開示の実施形態によるプロセスのセグメント化を示す好ましい図である。図示されるように、プロセスは、１つ以上の仮想セグメント１、２、…、Ｋ、及び所望の場合にはそのサブセグメントに分離されてもよい。セグメントの数は、例えば、プロセスの長さ、ワークピース１００の長さ、所望のセグメントサイズ、各セグメントを分析するために用いられる統計的方法などに依存してもよい。

【0093】

各セグメント、及び実装された場合にはサブセグメントは、例えば、１、２、…、Ｎ個のサンプルなど、既定の数のサンプル（例えば、画像サンプル、音声サンプルなど）を収納してもよい。このようなサンプルは、ワークピース００の処理（例えば、溶接、製造、組み立てなど）の間に、プロセッサ５に対してデータを提供する１つ以上のセンサ２０、２１によって取り込まれてもよい。

【0094】

セグメント及び／又はサブセグメントのための既定の数のサンプルを定義するために、プロセスを開発するオペレータ及び／又はエンジニアは、例えば、物理的な欠陥発生又はその欠如の間の統計的有意差を与えるために所望のサンプル数に基づいて適切な数を決定してもよい。例えば、１つ以上のセンサのサンプリング周波数は、充分に高くあるべきであり、これは、観察されるプロセスにおいて定義される波長及び帯域幅で生じる既定の画像の特性又は異常の特徴の発生に関して、セグメント内の一組の連続的な画像にわたって統計的判定を行なうためである。

【0095】

そして、プロセスの実行の間、この情報は各セグメント及び／又はサブセグメント内のサンプルに対して「サンプリングレート」を判定するために用いられてもよい。例えば、画像処理アルゴリズムが用いられ、且つ（例えば、統計的に有効な結果をもたらすために）画像の所定の数が１０であると判定された場合、カメラを備える１つ以上のセンサ２０、２１、赤外線センサ、ＵＶセンサなどは、プロセスの間に１セグメント当たり４０の画像を取り込んでもよい。１つ以上のセンサ２０、２１の各々は、異なるセグメント戦略を有していてもよいし、及び／又は、単一のセンサは、プロセスにおける複数の異常を検出するために用いられることができ、その場合には、セグメント戦略は、各々の異常のタイプ毎に異なってもよい。

【0096】

プロセッサ５は、ワークピース１００の処理の間にサンプル（例えば、画像サンプル、オーディオサンプルなど）のキャプチャを引き起こして制御するだけでなく、そのキャプチャに追随するこのようなサンプルを処理するように構成されてもよい。例えば、画像処理キャプチャシステムが実装される場合、プロセッサ５は、ワークピース１００の処理の間に、上記のように、１つ以上のセンサ２０、２１による、各々の定義されたセグメント及び／又はサブセグメントのための所定数の画像（すなわちサンプル）のキャプチャを引き起こしてもよい。このような画像は、静止画像、ビデオ画像、及びその任意の組み合わせであってもよい。

【0097】

サンプルのキャプチャの間に、フィルタ、レンズ、及び他の装置は、１つ以上のセンサ２０、２１及び／又はプロセッサ５によって受信される信号を、保持及び／又は修正するために利用されてもよい。例えば、溶接プロセスの間に、スパッタの発生に対してワーク位置Ｘにてワークピース１００をモニタリングすることが望ましいかもしれない。そのため、オペレータは、１セグメント当たり５０のサンプルを事前に定義してもよく、サンプルは、１つ以上のセンサ２０、２１によって取得され、且つプロセッサ５に対して提供される、ワーク位置Ｘにおける画像である。スパッタは、ある波長において特に明らかになり得るので、このような波長は、１つ以上のセンサ２０、２１によるキャプチャのためのターゲットとされてもよい。

【0098】

この情報に基づいて、及び溶接線Ｗに沿って進行する溶接プロセスとして図２に示されるように、１つ以上のセンサ２０、２１は、既定のセグメントの間で５０の画像を取り込ませる。その後、これらの画像の各々は、（より詳細に以下に記述される）後の処理のために、プロセッサ５に関連するメモリ内に保存される。

【0099】

サンプルのキャプチャに追随して、各画像は、画像内の重要な特徴に関する数値データを抽出するために、１つ以上の画像処理アルゴリズムを適用することにより、プロセッサ５によって処理されてもよい。例えば、このような特性は、既定の画像アーティファクト、幾何学的な測定値、強度値、及び／又は、各セグメントの各画像内の形状及びサイズを変更する単一若しくは複数の関心領域内の強度値の分布又は概要に関する１セットの統計的データの存在又は欠如に関する単一の数値的出力（例えば、ブール／２進法）を備えてもよい。ブール若しくは２進法の単一の数値的出力は、例えば、超えた場合に第１の結果とし、超えなかった場合に第２の結果とする閾値を用いることによって、生成されてもよい。さらに、必要に応じて、閾値に等しい場合に第３の結果が得られる三次システムが実装されてもよい。当業者は、結果出力（例えば、４つの値、５つの値など）の変更が、本開示の範囲から逸脱せずに実施されてもよい、ということを認識することになる。

【0100】

取得された値及び／又はセグメント内の各画像のデータは、その後、考慮中のセグメントのための概要又は表現を提供するために適切なアルゴリズム（より詳細に以下に記述される）に基づいて、組み合わされてもよい。その後、統計的検定は、統計的検定の結果に基づいて、そのセグメントのための特定の基準及びセグメントの品質評価について、各セグメントに対して実行されることができる。このような処理も、以下により詳細に記述されることになる。

【0101】

セグメント、サブセグメント、及びサンプルが、ドキュメント化され、（すなわち、一時的にセグメント化された）プロセスの時間的及び／又は空間的様相に関連づけられるので、プロセスの間の任意の故障又は欠陥の位置は、ワークピース１００上の特定位置及びプロセス内の特定の時点までトレースされることができる。

【0102】

当業者は、（例えば、ブローホール、スパッタなどの）検出のためにターゲットとされる欠陥の実際の物理的挙動に各々基づいた、個別のセグメント化戦略、画像処理、及び統計分析とともに、１つ以上のセンサ２０、２１を実装することができる、ということを認識することになる。

【0103】

図３は、例えば、単一のセンサが用いられる場合に、少なくとも１つのプロセスの状態を評価する方法の一部のためのアルゴリズムを記述する好ましいフローチャート３００である。当業者は、付加的なセンサが同様の方式で処理され得る、ということを理解することになる。

【0104】

上記のように、ユーザは、まず、プロセスに関連するいくつかのセグメント又はサブセグメントを定義してもよい。さらに、ユーザは、各セグメント及び／又はサブセグメントに関して取得されるいくつかのサンプル（例えば、画像、音声など）を定義してもよい。

【0105】

図３において、Ｓで示すセグメント、及びＮで示すサンプルは、本開示によるアルゴリズムに従って取り込まれ、処理される。重要なことには、図３は画像サンプリングプロセスとの関連で記述されるが、当業者は、任意のサンプルが、図３に関して記述されるような画像と同様に処理され得る、ということを理解することになる。

【0106】

初期ステップとして、プロセスの間にモニタリングされた第１のセグメントから開始するために、セグメントカウンタ及びサンプルカウンタの両方は、０又は１に設定されてもよい（ステップ３１０及び３２０）。セグメント内で、画像は、例えば、１つ以上のセンサ２０、２１を用いて、及びそこからプロセッサ５に対してデータを提供して、サンプリングされてもよい（ステップ３３０）。

【0107】

本開示のいくつかの実施形態によれば、サンプリングされた画像Ｎは、キャプチャ時に処理されてもよく（ステップ３４０）、処理されたデータは、セグメントＳに対して割り当てられる（ステップ３５０）。その代わりに、サンプルは、すべてのサンプル及びセグメントが完了すると行われる処理により、セグメントＳに対して直ちに割り当てられてもよい（ステップ３５０）。

【0108】

その後、プロセッサ５は、取り込まれたサンプルに基づいて、セグメントに対して既定の数のサンプルが完了したか否かを判定してもよい（ステップ３６０）。セグメントに対して取り込まれたサンプルの数が、サンプルの既定の数に未だ到達していない場合（ステップ３６０：No）、サンプルカウンタを増加してもよく（ステップ３６５）、そして、次のサンプルが取り込まれる（ステップ３３０）。プロセッサ５が、セグメントに対して既定の数のサンプルが取り込まれたことを判定すると（ステップ３６０：Ｙｅｓ）、統計分析は、その後、いくつかの実施形態に従って、セグメント内のサンプル上で実行されてもよい（ステップ３６５）。その代わりに、このような統計分析は、モニタリングの完了に続くプロセスの終了において行われてもよく、プロセッサ５は、完了したセグメント数がセグメントの所定数に到達しているか否かを、その代りに判定してもよい（ステップ３７５）。完了したセグメントの数がセグメントの所定数に未だ到達していない場合（ステップ３７５：No）、セグメントカウンタを増加してもよく（ステップ３８０）、プロセスは、サンプルカウンタが１にリセットされるステップ３２０に戻され、画像のキャプチャは、現在のセグメントに対して再開する。セグメントの数がセグメントの所定数を満たしたとき（ステップ３７５：Ｙｅｓ）及び／又はプロセスが完了したときに、アルゴリズムは終了する。

【0109】

図４Ａは、図３の画像処理ステップ３４０に関連する好ましいアルゴリズムを表現する好ましいフローチャートである。図４Ａは、さらなる説明のために図４Ｂ〜図４Ｃの支援を用いて記載されることになる。図４Ｂはスパッタ検出のための好ましい画像処理アプローチであり、その一方で、図４Ｃは、スパッタ検出に関して処理するための好ましい数値的出力である。上述のように、スパッタ検出は、単に１つの好ましい欠陥であり、当業者は、他の欠陥が同様の方式で処理されてもよい、ということを理解することになる。

【0110】

好ましいアルゴリズムによれば、及び、各サンプルのキャプチャの後に、セグメントの完了に続いて、及び／又はすべてのサンプルのキャプチャに続いて、処理が行われるか否かによって、サンプルは、例えば、図４Ｂの構成要素４５０において示されたサンプルＮなどのサンプル番号Ｎとして処理するために選択される（ステップ３４１）。

【0111】

一旦特定のサンプルが選択されれば、プロセッサ５は、例えば、セットアップの間にユーザによって提供された情報、又はワークピース１００の処理の間に取得された情報に基づいて、プロセスゾーンＡを識別してもよい（ステップ３４２）。図４Ｂに示されるように、構成要素４５０において、プロセスゾーンＡは、サンプルＮにおいて識別されてもよい。さらに、プロセッサ５は、プロセスゾーンＡから直接放射されたスパッタ又はカメラの前に吹き戻されたスパッタのいずれかを備えるゾーンＢ、Ｃを識別してもよい。プロセッサ５は、その後、この情報に基づいて、これらのエリアの境界を定めるためにマスクを確立してもよい（ステップ３４３）。このようなマスク構成の例は、図４Ｂの構成要素４６０に示される。

【0112】

上述のように、システム２００のセットアップの間に、ユーザは、欠陥の識別に関するある閾値を設定してもよいし、及び／又は、このような閾値は、様々な方法によってプロセッサ５に対して提供された欠陥に関するデータを通じた反復に基づいて、プロセッサ５によって判定されてもよい。図４Ｂの構成要素４７０に示されるように、このような閾値は、その後、マスク４６０においてサンプルＮを比較するための用いられてもよい（例えば、特定の値未満の画素は黒にされる一方で、特定の値以上の画素は白くされる）。ユーザが、例えば、関心領域の分析を選択すれば、（ステップ３４４：Ｙｅｓ）プロセッサ５は、図４Ｂの構成要素４７５に示されるように、先に判定された閾値に基づいて関心領域を識別してもよい（ステップ３４５）。

【0113】

サンプルＮのための数値を判定するために、及び、演算判定は、サンプルＮにおける黒領域に対する白領域の比率を計算して、行われてもよい（ステップ３４６）。図４Ｃは、このような比率計算に基づいた数値結果を表現しており、好ましいオリジナルのサンプル及びその関連するマスクされた閾値を含む。例えば、スパッタが判定されないケースは、１の数値が割り当てられてもよい（ステップ３５５）。

【0114】

好ましい分析に基づいた好ましい数値は、図４Ｃに示される。例えば、黒領域に対する白領域の比率の計算によって計算されたスパッタのレベルの数値は、スパッタのない判定にはＮ_v＝１、小型のスパッタイベントにはＮ_v＝２、大型のスパッタイベントにはＮ_v＝３、及び大量のスパッタイベントにはＮ_v＝４であってもよい。当業者は、各サンプルＮに関連する数値を判定するために、付加的な方法が用いられてもよい、ということを理解することになる。

【0115】

例えば、小塊検出は、関心領域の分析の代わりに、又は関心領域の分析とともに使用されてもよい。プロセッサ５は、そのため、図４Ｂの構成要素４８０に示されるようなサンプルＮ内の小塊を識別する（ステップ３５０）。サンプルＮにおける小塊の識別に続いて、プロセッサ５は、例えば、小塊の数、小塊のサイズ、及び小塊のサイズ比を判定して、小塊に関する演算分析を実行してもよい（ステップ３５１）。プロセッサ５は、その後、同様に、以上に記載された関心領域分析に関して、サンプルＮに対する数値を割り当ててもよい（ステップ３５５）。さらに、画像間の比較は、また、例えば、速度（速度及び方向）及びトラッキング性能などの小塊に関する情報を提供することができる。

【0116】

ステップ３４０において画像処理が完了して、すべてのサンプル１…Ｎの値がセグメント１…Ｓにそれぞれ割り当てられた後、統計処理は、少なくとも１つのプロセス状態を判定するために行われてもよい。

【0117】

例えば、図４Ｄ〜図４Ｆに示されるように、セグメントＳに対して割り当てられた各サンプルＮに関連する値は、セグメントに関連する単一の値（例えば、溶接のパーセントエリア）を判定する目的のために平均化アルゴリズムを用いて組み合わせられてもよい。代替的に、セグメントの単一の値に到達するために、特にセグメント内のパッシブな故障状態の仮説検証、流通分析、分散分析、クラスタ分析、及びパターニングなどの別のプロセスが適用されてもよい。

【0118】

その後、これらの値は、プロセスの成功又は故障状態（例えば、例えばスパッタの量及びスパッタイベントの時間的な永続性によって判定されるような、良好な溶接若しくはスパッタの過量による不良な溶接）を示す閾値に対してグラフ上にプロットされてもよい。図４Ｄに示されるように、例えばエリアによる９０パーセントの閾値は、プロセスゾーンのために設定されてもよい。

【0119】

さらに、現在の統計分析が考慮中のプロセスの目的のために充分に正確であるか否かを判定するために、結果は、高サンプリングレートと低サンプリングレートとの間で比較されてもよい。

【0120】

このような分析の結果に基づいて、プロセッサ５は、プロセスの状態の判定、及びそれに関連する品質を提供してもよい。このような判定は、例えば、スパッタ発生の最大量のための閾値及び／又は他の適切な基準に基づいてもよい。例えば、プロセスエリアの１０パーセント以上に影響を与えるスパッタが存在する溶接が、１セグメント当たり５０サンプルのサンプルレート上に基づいて２００サンプル以上の溶接の部分に生じる場合、プロセッサ５は、ワークピース１００の特定の部分が容認できない程度で組み立てられており、プロセス状態が失敗である（例えば不良な溶接）と見なされることを示すプロセスの状態を判定してもよい。その後、時間的セグメント化及び記録画像に基づいて、ユーザは、ワークピース１００を検査し、例えば、このようなスパッタを将来回避するためにプロセスを向上させる方法を判定してもよい。図４Ｅは、図解の形式でこのような判定の視覚化を表現し、その一方で、図４Ｆは、容認できない溶接品質の閾値レベルが、若干の欠陥の存在にもかかわらず不成功であるとしてプロセス状態のラベリング（例えば許容できる溶接）を是認することができない状況を表現する。

【0121】

実施例：完全溶け込みキーホールの検出

【0122】

スパッタ検出に関して用いられるものと同様のアプローチも、溶接プロセスにおける完全溶け込みキーホールを隔離するために用いることができる。この例において、画像サンプル内の暗いキーホールは、ユーザが検出されたものを観察するように、そのサイズを測定し、オリジナルの画像内のそれをマークする目的のために隔離される（図５Ａ、図５Ｂ、図５Ｃ、及び図５Ｄ）。

【0123】

図５Ａは、溶接内のキーホール発生を識別し、オリジナルの画像内のその出現をマークする段階を表現する好ましい画像系列であり、その一方で、図５Ｂは、アーティファクトサイズに基づいて等級分けするアーティファクトを示す好ましい一連の画像である。

【0124】

図５Ｃは、アーティファクトのサイズ及びキーホールアーティファクトの予想される若しくは統計的に見込みのある位置に対する位置（中央点）に基づいて、複数のアーティファクトの排除を示す好ましい一連の画像を示す。これは、少なくともこのようなアーティファクトが画像のマスクされた領域の内部でさえも存在することができる理由のために望ましい。

【0125】

図５Ｄは、オリジナルの画像と分析された画像との間の例示的な「非検出」ケースである。

【0126】

まず、画像処理アルゴリズムが、ノイズ／誤りの検出及び完全溶け込みキーホールのための典型的なサイズプロファイルを判定する、多くの完全溶け込み溶接及び多くの部分的な溶け込み溶接をサンプリングするために用いられた。

【0127】

明確な結果は、光学的な設定及び用いられるセンサに依存したが、概して、有意な差異（例えば図６に示されるものなど）を示すグラフを生成することができる。この差異は、完全溶け込みキーホールのその存在又は欠如のための２進出力を作成するために、閾値として用いられた（例えば、３０又は４０を超える異常の画素は、キーホールである高い統計的可能性を有する）。

【0128】

しかしながら、この適した閾値でさえも、結果として生じる溶接が完全溶け込み溶接であるときに、非溶け込みキーホール状態の検出がさらに生じる場合がある。実際、状態間の振動が観察される場合がある。そのため、明らかな完全溶け込み状態を有する画像が画像群内にいくつあるのかを考慮することによるセグメント化アプローチを用いることは有用である。

【0129】

この問題を図示するために、図７は、既知の時間間隔において溶接を部分的にのみ浸透させた意図的なレーザパワー変動によりプログラミングされたプロセスにおけるキーホールサイズに対する画像解析による画像を示す。本溶接の実査は、図７の十字形によってマークされた３つの位置において部分的な溶け込みが生じたことを示した。

【0130】

図８は、３０画素のキーホールサイズ閾値に基づいた、この分析からの２進出力を示す。図８において、非溶け込み状態は、溶接の完全溶け込み領域を持続するように見てとれる。

【0131】

溶接の状態を明確にするために、図９（１セグメント当たり２０画像）及び図１０（１セグメント当たり５０画像）に示されるように、本発明による画像セグメント化が適用された。

【0132】

この明確な接合部、プロセス条件、画像キャプチャ、及び処理戦略のために、１セグメント当たり５０画像が、物理的な溶接における非溶け込み状態の検出を可能にした。１セグメント当たり２０画像において、図９に示された（図１０には存在しない）２つの付加的な最低値に対応する、顕著な物理的影響は、溶接それ自体には確認されなかった。

【0133】

このアプローチは、接合部の幾可学的形状に応じて、完全溶け込み溶接が溶接継ぎ目に沿って連続して形成されており、且つ静的及び動的なローディング下の応力集中及び障害部位として作用し得る部分的な溶接部位がない、ということを保証するために用いることができ、このアプローチは、溶接継ぎ目に沿った全面的な接合強度を保証するために特に有用である。

【0134】

アプローチは、接合部の幾可学的形状に応じて、部分溶け込み状態が溶接継ぎ目に沿って意図的に連続して形成されることを保証するのに有用になり得る。これは、例えば、コンテナの内部のレーザの溶け込み及び溶解の排出が望ましくない敏感な内容物をもつコンテナの封止において、重要になり得る。

【0135】

アプローチは、検出の自動化だけでなく、接合部の内面に対する視覚的なアクセスが可能でない場合に、溶け込み状態の検出を可能にすることにも特に有用である。

【0136】

上述のように、当業者は、本明細書に記載されたシステム及び方法が他のサンプルに対しても同様に適用可能になり得る、ということを理解することになる。例えば、ある組み立てプロセスにおける欠陥の検出のために超音波システムを利用することは望ましいかもしれない。そのため、本明細書におけるシステム及び方法は、超音波放射をサンプリングし、プロセス状態の判定に到るためのアルゴリズムを、それに適用してもよい。

【0137】

特許請求の範囲を含む記述全体を通じて、用語「（単数のもの）を備える（comprising a）」は、特に断りがない限り「少なくとも１つを備える（comprising at least one）」ことと同義であるとして理解されるべきである。さらに、特許請求の範囲を含む記述において明記された任意の範囲もまた、特に断りがない限り、その終値（複数可）を含むものとして理解されるべきである。「実質的に（substantially）」及び／又は「約（approximately）」及び／又は「概して（generally）」のいずれかの用語の使用は、このような容認された許容範囲内にあることを意味することを理解するべきである。

【0138】

国家的、国際的、又は他の標準化団体の任意の標準が参照される場合（例えばＩＳＯなど）、このような参照は、本明細書の優先権主張日時点での国家的標準化団体又は国際的標準化団体によって定義されたような標準を参照するように意図される。このような標準に対するあらゆる後続の本質的な変更も、本開示及び／又は特許請求の範囲の範囲及び／又は定義を修正するようには意図されない。

【0139】

本明細書における本開示は、特定の実施形態を参照して記載されたが、これらの実施形態は本開示の原理及び応用の単なる実例である、ということを理解するべきである。

【0140】

明細書及び具体例が、以下の特許請求の範囲によって示される本開示の真の範囲とともに、例示的なものとしてのみ考慮されるように意図される。
［構成１］
少なくとも１つのプロセスの状態を評価するためのシステムであって、
前記プロセスを複数のプロセスセグメントにセグメント化するための手段と、
前記セグメント化手段によって生成された前記複数のプロセスセグメントの各プロセスセグメントに関する情報であって、複数のサンプルを備える前記情報を取り込むように構成された１つ以上のセンサと、
前記複数のセグメントの各プロセスセグメントに関する前記複数のサンプルを処理し、前記処理に基づいて、前記プロセスの少なくとも１つの状態に関連する表示を提供するように構成された処理手段と
を備えるシステム。
［構成２］
前記プロセスをセグメント化するための前記手段は、前記複数のプロセスセグメントのプロセスセグメント毎にサブセグメントを生成するようにさらに構成される構成１に記載のシステム。
［構成３］
１つ以上の所定の異常に関連する異常データを備えるデータベースをさらに備える構成１又は２に記載のシステム。
［構成４］
前記１つ以上のセンサは、放射データを取り込むことための手段、好ましくはカメラ、を備える構成１〜３のいずれか１に記載のシステム。
［構成５］
前記複数のサンプルは、画像及び音声のうちの少なくとも１つを備える構成１〜４のいずれか１に記載のシステム。
［構成６］
所定波長内の放射データ又は波長のグループを選択的に伝送し、前記所定波長外の放射データの伝送を阻止するように構成された帯域通過フィルタをさらに備える構成１〜５のいずれか１に記載のシステム。
［構成７］
前記処理手段は、各セグメントに関連する前記複数のサンプルを分析し、セグメント状態を判定するために前記分析の出力と前記異常データとを比較するように構成される構成１〜６のいずれか１に記載のシステム。
［構成８］
ユーザインタフェースをさらに備え、前記ユーザインタフェースは、前記複数のセグメント、前記サンプル、及び前記プロセスのうちの少なくとも１つを定義する１セットのパラメータのカスタマイズを可能にするように構成される構成１〜７のいずれか１に記載のシステム。
［構成９］
前記ユーザインタフェースは、各プロセスセグメント及び／又はサブセグメントのために取り込まれるいくつかのサンプルを選択することを可能にする構成８に記載のシステム。
［構成１０］
前記１つ以上のセンサは、３次元の画像を取り込むように構成される構成１〜９のいずれか１に記載のシステム。
［構成１１］
前記処理手段は、１つ以上のアルゴリズムに基づいて前記複数のサンプルに関する比較データを生成し、前記データベースに前記比較データを保存するようにさらに構成される構成１〜１０のいずれか１に記載のシステム。
［構成１２］
前記１つ以上のセンサは、前記プロセスの対象であるワークピースと、その部品のプロセスを実行する設備との両方に関連する情報を取り込むように構成される構成１〜１１のいずれか１に記載のシステム。
［構成１３］
前記プロセスは、組み立てプロセス、複合硬化プロセス、複合固結プロセス、粉末クラッディングプロセス、粉末噴霧プロセス、噴霧プロセス、鑞付プロセス、複合テープ敷設プロセス、複合混合繊維配置プロセス、及び加熱及び乾燥プロセスのうちの少なくとも１つを含む構成１〜１２のいずれか１に記載のシステム。
［構成１４］
前記プロセスは、溶接プロセスを含む構成１〜１３のいずれか１に記載のシステム。
［構成１５］
少なくとも１つのプロセスの状態を評価する方法であって、
前記プロセスを複数のプロセスセグメントにセグメント化することと、
前記複数のプロセスセグメントの各プロセスセグメントに関する情報であって、複数のサンプルを備える前記情報をキャプチャすることと、
前記複数のプロセスセグメントの各セグメントに関する前記複数のサンプルを処理することと、
前記処理に基づいて、前記プロセスの前記少なくとも１つの状態に関連する表示を提供することと
を有する方法。
［構成１６］
前記複数のプロセスセグメントの各々を複数のサブセグメントにサブセグメント化することをさらに有する構成１５に記載の方法。
［構成１７］
前記複数のセグメント、前記サンプル、及び前記プロセスのうちの少なくとも１つを定義する１セットのパラメータを指定することをさらに有する構成１５又は１６に記載の方法。
［構成１８］
前記処理は、データポイントをもたらすために、前記複数のサンプルに対して１つ以上のアルゴリズムを適用することを有する構成１５〜１７のいずれか１に記載の方法。
［構成１９］
前記１つ以上のアルゴリズムは、最大値判定アルゴリズム、最小値判定アルゴリズム、平均値判定アルゴリズム、勾配判定アルゴリズム、積分アルゴリズム、総和アルゴリズム、論理動作、マスキング機能、局所的閾値化、大域的閾値化、適応的閾値化、画像の反転、画像部分の充填、画像部分の開放、及びノイズスポット除去のうちの少なくとも１つから選択される構成１８に記載の方法。
［構成２０］
いくつかのセグメントは分析されるプロセスに基づいて構成される前記複数のセグメントを備える構成１５〜１９のいずれか１に記載の方法。
［構成２１］
ユーザ構成ステップをさらに備え、ユーザは、セグメントの数、及び物理的な欠陥にする統計的な状態のうちの少なくとも１つを構成することができる構成１５〜２０のいずれか１に記載の方法。
［構成２２］
前記プロセスは、組み立てプロセス、複合硬化プロセス、複合固結プロセス、粉末クラッディングプロセス、粉末噴霧プロセス、噴霧プロセス、鑞付プロセス、複合テープ敷設プロセス、複合混合繊維配置プロセス、及び加熱及び乾燥プロセスのうちの少なくとも１つを含む構成１５〜２１のいずれか１に記載の方法。
［構成２３］
前記プロセスは、溶接プロセスである構成１５−２２のいずれか１に記載の方法。
［構成２４］
少なくとも１つのプロセスの状態を評価するシステムであって、
前記プロセスを複数のプロセスセグメントにセグメント化するように構成されたプロセッサと、
前記セグメント化手段によって生成された前記複数のプロセスセグメントの各プロセスセグメントに関する情報であって、複数のサンプルを備える前記情報を取り込み、前記情報を前記プロセッサに提供するように構成された１つ以上のセンサと
を備え、
前記プロセッサは、前記複数のセグメントの各プロセスセグメントに関する前記複数のサンプルを処理し、前記処理に基づいて、前記プロセスの少なくとも１つの状態に関連する表示を提供するようにさらに構成されるシステム。
［構成２５］
前記複数のサンプルの各サンプルの処理に関連する出力は、単一の数値を備える構成２４に記載のシステム。
［構成２６］
前記複数のプロセスセグメントの各セグメントの前記処理に関連する出力は、単一の数値の関数である構成２５に記載のシステム。
［構成２７］
１つ以上の所定の異常に関連する異常データを備えるデータベースをさらに備える構成２４〜２６のいずれか１に記載のシステム。
［構成２８］
前記１つ以上のセンサは、放射データを取り込むように構成されたカメラ及び／又はマイクロホンを備える構成２４〜２７のいずれか１に記載のシステム。
［構成２９］
前記複数のサンプルは、画像及び音声のうちの少なくとも１つを備える構成２４〜２８のいずれか１に記載のシステム。
［構成３０］
所定波長内の放射データ又は波長のグループを選択的に伝送し、前記所定波長外の放射データの伝送を阻止するように構成された帯域通過フィルタをさらに備える構成２４〜２９のいずれか１に記載のシステム。
［構成３１］
ユーザインタフェースをさらに備え、前記ユーザインタフェースは、前記複数のセグメント、前記サンプル、及び前記プロセスのうちの少なくとも１つを定義する１セットのパラメータのカスタマイズを可能にするように構成される構成２４〜３０のいずれか１に記載のシステム。
［構成３２］
前記１つ以上のセンサは、３次元の画像を取り込むように構成される構成２４〜３１のいずれか１に記載のシステム。
［構成３３］
前記データベースは、１つ以上のアルゴリズムに基づく前記複数のサンプルに関する比較データをさらに備える構成２７〜３２のいずれか１に記載のシステム。
［構成３４］
前記プロセスの間に取り込まれた前記複数のサンプルの１つ以上を記憶するように構成され、人間のユーザに対して可視及び／又は可聴の形式で前記複数のサンプルの１つ以上を出力するための記憶装置をさらに備える構成２４〜３３のいずれか１に記載のシステム。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】