特許 7437054 組立てラインにおけるワークフローを最適化するための方法、デバイス及び非一時的コンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-14

(45)【発行日】2024-02-22

(54)【発明の名称】組立てラインにおけるワークフローを最適化するための方法、デバイス及び非一時的コンピュータ可読媒体

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240215BHJP

   G06T 7/20 20170101ALI20240215BHJP

【ＦＩ】

G06Q50/04

G06T7/20 300

【請求項の数】 14

(21)【出願番号】P 2021549835

(86)(22)【出願日】2019-09-30

(65)【公表番号】

(43)【公表日】2022-04-19

(86)【国際出願番号】 US2019053746

(87)【国際公開番号】W WO2020176137

(87)【国際公開日】2020-09-03

【審査請求日】2021-08-25

(31)【優先権主張番号】16/289,422

(32)【優先日】2019-02-28

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】511289471

【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド

【氏名又は名称原語表記】ＮＡＮＯＴＲＯＮＩＣＳ ＩＭＡＧＩＮＧ，ＩＮＣ．

【住所又は居所原語表記】２２５１ ＦＲＯＮＴ ＳＴＲＥＥＴ，ＳＵＩＴＥ １１０，Ｐ．Ｏ．ＢＯＸ ３０６，ＣＵＹＡＨＯＧＡ ＦＡＬＬＳ，ＯＨＩＯ ４４２２３，Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110002321

【氏名又は名称】弁理士法人永井国際特許事務所

(72)【発明者】

【氏名】プットマン，マシュー シー

(72)【発明者】

【氏名】ピンスキー，バディム

(72)【発明者】

【氏名】キム，ウンソル

(72)【発明者】

【氏名】サンドストローム，アンドリュー

【審査官】平井 嗣人

(56)【参考文献】

【文献】特開２００７－２８０３６６（ＪＰ，Ａ）

【文献】特開２００１－１００８３８（ＪＰ，Ａ）

【文献】特開２００２－２３０３３７（ＪＰ，Ａ）

【文献】特開２００９－１３４６２３（ＪＰ，Ａ）

【文献】特開２０１５－１８１０２４（ＪＰ，Ａ）

【文献】特開２００５－２１１１０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０１９８４６４（ＵＳ，Ａ１）

【文献】特開２００３－１６７６１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／２０－ ７／２９２

(57)【特許請求の範囲】

【請求項1】

組立てラインにおけるワークフローを最適化するための方法であって、
深層学習プロセッサを含むコンピュータシステムにより、前記組立てラインにおける第１のステーションに配置された第１の画像キャプチャデバイスから第１のモーションデータを受け取るステップであって、前記第１のモーションデータは、組立てプロセスの第１のステップを実行する第１の作業者が製造物品と相互作用している間に、前記第１のステーションにおいて前記第１の作業者によって実施されるモーションを含む、ステップと、
前記コンピュータシステムにより、前記第１の画像キャプチャデバイスから前記製造物品の画像データを受け取るステップと、
前記コンピュータシステムにより、前記第１の作業者によって実行された前記モーションに対する理想化されたモーションプロファイルと前記第１のモーションデータ間のエラー分散を計算するステップと、
前記深層学習プロセッサにより、及び前記画像データに基づいて、理想化された製造物品の第２の画像から、前記製造物品に偏差があることを決定するステップと、
前記深層学習プロセッサにより、前記製造物品の前記偏差に基づいて、前記エラー分散の影響を決定するステップと、
前記コンピュータシステムにより、前記エラー分散に基づいて、前記第１のステーションから下流側の前記組立てラインにおける第２のステーションへ、調整された組立て指示を生成するステップであり、前記調整された組立て指示は製造物品と前記理想化された製造物品間の前記偏差を小さくし又は除去するよう構成されたステップと、
を含む方法。

【請求項2】

第２の作業者は前記第２のステーションと関連している、請求項１に記載の方法。

【請求項3】

第２の作業者は前記第２のステーションと関連しており、第３の作業者は第３のステーションと関連しており、
前記第３のステーションが前記組立てラインにおける前記第２のステーションから下流側である、請求項１に記載の方法。

【請求項4】

前記第２のステーションに配置された第２の画像キャプチャデバイスから第２のモーションデータを受け取るステップであって、前記第２のモーションデータは、第２の作業者が前記製造物品と相互作用している間に、関連する第２の作業者によって実施される第２のモーションを含む、ステップ
をさらに含み、
前記エラー分散を計算するステップが前記第２の作業者によって実施される前記第２のモーションにさらに基づく、請求項１に記載の方法。

【請求項5】

前記製造物品における前記偏差が１つまたは複数の機械学習モデルを使用して決定される、請求項１に記載の方法。

【請求項6】

組立てラインにおけるワークフローを最適化するためのシステムであって、
複数の画像キャプチャデバイスであって、前記複数の画像キャプチャデバイスの各々が、組立てラインにおける複数のステーションのうちの１つまたは複数に配置される、複数の画像キャプチャデバイスと、
前記複数のステーションのうちの１つまたは複数に提供された手引きおよび指示を自動的に修正するように構成された組立て指示モジュールと、を備え、
前記組立て指示モジュールが前記複数の画像キャプチャデバイスに結合され、前記組立て指示モジュールが、
前記複数の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスから第１のモーションデータを受け取ることであり、前記第１の画像キャプチャデバイスが前記組立てラインにおける第１のステーションに配置され、前記第１のモーションデータが、組立てプロセスの第１のステップを実施する第１の作業者が製造物品と相互作用している間に、前記第１のステーションにおいて前記第１の作業者によって実施されるモーションを含む受け取ることと、
前記第１の画像キャプチャデバイスから前記第１のステーションにおいて、前記製造物品の画像データを受け取ることと、
前記第１の作業者によって実行された前記モーションに対する理想化されたモーションプロファイルと前記第１のモーションデータ間のエラー分散を計算することと、
深層学習プロセッサにより、及び前記画像データに基づいて、理想化された製造物品の第２の画像から、前記製造物品に偏差があることを決定することと、
前記深層学習プロセッサにより、前記製造物品の前記決定された偏差に基づいて、前記エラー分散の影響を決定することと、
前記エラー分散に基づいて、前記第１のステーションから下流側の前記組立てラインにおける第２のステーションへ、調整された組立て指示を生成することであり、前記調整された組立て指示は前記製造物品と前記理想化された製造物品間の前記偏差を小さくし又は除去するよう構成されていることと、
を含む操作を実施するように構成された、
システム。

【請求項7】

第２の作業者は前記第２のステーションと関連している、請求項６に記載のシステム。

【請求項8】

第２の作業者は前記第２のステーションと関連しており、第３の作業者は第３のステーションと関連しており、
前記第３のステーションが前記組立てラインにおける前記第２のステーションから下流側である、請求項６に記載のシステム。

【請求項9】

前記第２のステーションに配置された第２の画像キャプチャデバイスから第２のモーションデータを受け取ることであって、前記第２のモーションデータは、第２の作業者が前記製造物品と相互作用している間に、関連する第２の作業者によって実施される第２のモーションを含む、
ことをさらに含み、
前記エラー分散を計算することが前記第２の作業者によって実施される前記第２のモーションにさらに基づく、請求項６に記載のシステム。

【請求項10】

前記製造物品における前記偏差が１つまたは複数の機械学習モデルを使用して決定される、請求項６に記載のシステム。

【請求項11】

その上に記憶された命令を含む非一時的コンピュータ可読媒体であって、
前記命令が、１つまたは複数のプロセッサによって実行されると、
深層学習プロセッサを含むコンピュータシステムにより、組立てラインにおける第１のステーションに配置された第１の画像キャプチャデバイスから第１のモーションデータを受け取ることであり、前記第１のモーションデータが、組立てプロセスの第１のステップを実施する第１の作業者が製造物品と相互作用している間に、前記第１のステーションにおいて、前記第１の作業者によって実施されるモーションを含む受け取ることと、
前記コンピュータシステムにより、前記第１の画像キャプチャデバイスから前記第１のステーションにおいて、前記製造物品の画像データを受け取ることと、
前記コンピュータシステムにより、前記第１の作業者によって実行された前記モーションに対する理想化されたモーションプロファイルと前記第１のモーションデータ間のエラー分散を計算することと、
前記深層学習プロセッサにより、及び前記画像データに基づいて、理想化された製造物品の第２の画像から、前記製造物品に偏差があることを決定することと、
前記深層学習プロセッサにより、前記製造物品の前記決定された偏差に基づいて、前記エラー分散の影響を決定することと、
前記コンピュータシステムにより、前記エラー分散に基づいて、前記第１のステーションから下流側の前記組立てラインにおける第２のステーションへ、調整された組立て指示を生成することであり、前記調整された組立て指示は前記製造物品と前記理想化された製造物品間の前記偏差を小さくし又は除去するよう構成されていることと、
を含む命令を前記複数のプロセッサが実行することになるように構成される、非一時的コンピュータ可読媒体。

【請求項12】

第２の作業者は前記第２のステーションと関連している、請求項１１に記載の非一時的コンピュータ可読媒体。

【請求項13】

第２の作業者は前記第２のステーションと関連しており、第３の作業者は第３のステーションと関連しており、
前記第３のステーションが前記組立てラインにおける前記第２のステーションから下流側である、
請求項１１に記載の非一時的コンピュータ可読媒体。

【請求項14】

前記第２のステーションに配置された第２の画像キャプチャデバイスから第２のモーションデータを受け取ることであって、前記第２のモーションデータが、第２の作業者が前記製造物品と相互作用している間に、関連する第２の作業者によって実施される第２のモーションを含む、
のための操作を前記複数のプロセッサが実施することになるように構成された命令をさらに含み、
前記エラー分散を計算することが前記第２の作業者によって実行される前記第２のモーションにさらに基づく、
請求項１１に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年２月２８日に出願した米国特許出願第１６／２８９，４２２号の優先権を主張したものであり、その内容全体は、参照により本明細書に組み込まれている。

【0002】

主題技術は、組立てラインワークフローに対する改善を提供し、詳細には、機械学習モデルを使用してなされるフィードバックおよびフィードフォワードエラー伝搬予測に基づいて組立てライン作業者指示を適応的に更新するためのシステムおよび方法を包含している。以下でさらに詳細に考察されるように、技術のいくつかの態様は、製造偏差または組立て偏差に関してなされる推測に基づいて、１つまたは複数の作業者ステーションで提供される手引きビデオを自動的に適合させるためのシステムおよび方法を包含している。

【背景技術】

【0003】

従来の組立てラインワークフローでは、製造エラーを検出するためには、また、下流側プロセスにおける修正を介してエラーを除去することができる方法を決定するためには、人間（作業者）監視および専門的技術が必要である。組立てと製造、ならびに、組立てラインと生産ラインは、本明細書において交換可能に使用されていることに留意されたい。組立てエラーの検出を人間に依存しているため、エラーが見落とされ（あるいは報告されず）、また、そのまま組立てプロセスにおける下流側に伝搬される高い可能性が存在している。さらに、多くの組立て作業者は、狭い範囲の一組のタスクを実施するように訓練されているにすぎず、したがって組立てワークフローにおける上流側で生じたエラーを最も良好に訂正するための作業者自身のワークフローの修正方法を認識していないことがあり得る。

【0004】

従来の製造ワークフローでは、手動検査プロセスの一部における人間のエラーの修復は、しばしば、その人間ノード上で修正行為を取ることによって処理されている。その人間にかかわる継続する問題が存在している場合、その人は、しばしば、すべての人間がそうであるように、多くの同じ限界に対して傷つき易い他の人に代えられる。ある行為を、エラーを犯すことなく、何年にもわたって絶えず繰り返すことは困難であり、また、修正行為を取ることは、ほとんどの組立て作業者の権利外である。これらの権利が与えられたとしても、そこには矛盾が存在し、また、その単一のプロセスノードのアプリケーションにおいて、その人間が有している経験によってのみ告げられることになる。さらに、何らかの間違いから、さらには何らかの積極的な修正行為から学習するための機構は存在していない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

さらに、組立てラインの電子監視には限界があり、また、上流側のステップで生じたエラーを補償するための、組立てラインにおける下流側のステップに対する臨機応変な調整を提供するための頑丈な機構を含んでいない。さらに、作業者モーションの変化および／または組立てパターンの変化が、結果として得られる製造製品に如何に影響を及ぼすかを評価し、かつ、製造製品の性能および／または特性を改善するための修正行為を提供するための新しい機構が必要である。

【課題を解決するための手段】

【0006】

いくつかの態様では、開示される技術は、組立てラインにおけるワークフローを最適化するための方法に関し、方法は、組立てラインにおける第１のステーションに配置された第１の画像キャプチャデバイスから第１のモーションデータを受け取るステップであって、第１のモーションデータは、製造物品と相互作用している間に、第１のステーションと関連する第１の作業者（一人（１つ）または複数の作業者の中から選択される）によって実行されるモーションに対応する、ステップと、第１のモーションデータに基づいて、第１の作業者によって実行されたモーションに対するエラー分散を計算するステップと、エラー分散に基づいて製造物品の偏差を識別するステップとを含む。いくつかの態様では、方法は、計算されたエラー分散に基づいて、一人（１つ）または複数の作業者のうちの少なくとも一人（１つ）に提供される組立て指示を自動的に調整し、それにより修正された組立て指示を生成するステップをさらに含むことができる。

【0007】

別の態様では、開示される技術は、組立てラインにおけるワークフローを最適化するためのシステムを包含し、システムは、複数の画像キャプチャデバイスであって、画像キャプチャデバイスの各々は、組立てラインにおける複数のステーションのうちの１つまたは複数に配置される、複数の画像キャプチャデバイスと、複数のステーションのうちの１つまたは複数に提供された手引きおよび指示を自動的に修正するように構成された組立て指示モジュールであって、上記複数の画像キャプチャデバイスに結合される、組立て指示モジュールとを含む。組立て指示モジュールは、複数の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスから第１のモーションデータを受け取るステップであって、第１の画像キャプチャデバイスは、組立てラインにおける第１のステーションに配置され、第１のモーションデータは、製造物品と相互作用している間の第１のステーションと関連する第１の作業者によって実行されたモーションに対応する、ステップと、第１のモーションデータに基づいて、第１の作業者によって実行されたモーションに対するエラー分散を計算するステップとを含む操作を実施するように構成することができる。いくつかの実施態様では、組立て指示モジュールは、エラー分散に基づいて製造物品の偏差を識別し、また、計算されたエラー分散に基づいて、一人（１つ）または複数の作業者のうちの少なくとも一人（１つ）に提供される組立て指示を自動的に調整し、それにより修正された組立て指示を生成する操作を実施するようにさらに構成することができる。

【0008】

さらに別の態様では、開示される技術は、その上に記憶された命令を含む非一時的コンピュータ可読媒体に関しており、命令は、１つまたは複数のプロセッサによって実行されると、組立てラインにおける第１のステーションに配置された第１の画像キャプチャデバイスから第１のモーションデータを受け取るステップであって、第１のモーションデータは、製造物品と相互作用している間に、第１のステーションと関連する一人（１つ）または複数の作業者の中から選択される第１の作業者によって実行されるモーションに対応する、ステップと、第１のモーションデータに基づいて、第１の作業者によって実行されたモーションに対するエラー分散を計算するステップと、エラー分散に基づいて、製造物品の偏差を識別するステップとを実施することを含む命令をプロセッサが実行することになるように構成される。いくつかの実施態様では、命令は、計算されたエラー分散に基づいて、一人（１つ）または複数の作業者のうちの少なくとも一人（１つ）に提供される組立て指示を自動的に調整し、それにより修正された組立て指示を生成する操作をプロセッサが実施することになるようにさらに構成することができる。

【0009】

主題技術の特定の特徴は、添付の特許請求の範囲に示されている。しかしながらさらなる理解を提供するために含まれている添付の図面は、開示される態様を図解したものであり、説明と相俟って主題技術の原理を説明する働きをしている。

【図面の簡単な説明】

【0010】

【図1】開示される技術のいくつかの態様による、例示的生産ライン展開のフローチャートを概念的に示す図である。

【0011】

【図2】開示される技術のいくつかの態様による、所与の作業者ステーションで組立てエラー修正を実施するためのプロセスの例を示す図である。

【0012】

【図3】主題技術のいくつかの態様を実現するために使用することができる電子システムの例を示す図である。

【発明を実施するための形態】

【0013】

以下に示されている詳細な説明には、主題技術の様々な構成についての説明であることが意図されており、主題技術を実践することができる構成のみを表すことは意図されていない。添付の図面は本明細書に組み込まれており、詳細な説明の一部を構成している。詳細な説明は、主題技術についてのより完全な理解を提供するために特定の詳細を含む。しかしながら主題技術は、本明細書において示されている特定の詳細に限定されないこと、また、これらの詳細がなくても実践することができることは明確で、かつ、明らかであろう。いくつかの実例では、主題技術の概念を曖昧にすることを回避するために、構造および構成要素はブロック図の形態で示されている。

【0014】

開示される技術の態様は、生産ラインの組立ておよび結果として得られる製造製品を追跡し、訓練し、かつ、漸進的に改善するための方法を提供することにより、従来の組立てラインプロセスフローの上記限界に対処する。改善は、動的視覚フィードバックおよび指示を個々の組立て作業者に提供することによって実現され、また、いくつかの実施態様では、作業者フィードバックはエラーに基づいており、エラーは、それらに限定されないが、組立てエラー、役に立たないプロセスおよび／またはモーション、生産ラインにおける１つまたは複数のポイントで検出された粗悪な製品を含むことができる。

【0015】

開示される技術を実現することにより、例えば準実時間エラー検出に基づいて、個々のステーション（またはすべてのステーション）で提供される参照／指示情報を速やかに改定および変更することにより、手動実施態様方法のエラー修正の速度に対して、その速度を著しく改善することができる。本明細書において説明されているいくつかの実施形態は、ビデオの形態の参照／指示情報の使用を考察しているが、他のフォーマットも企図されている。例えば組立て／製造指示は、組立て作業者に提供される聴覚、視覚および／または触覚キューとして提供することができる。一例として、聴覚指示情報は、口頭の指示または他の聴覚インジケータを含むことができる。視覚組立て指示情報は、拡張現実感（Ａ／Ｒ）または仮想現実感（Ｖ／Ｒ）システムの使用などのビデオまたは動画化フォーマットを含むことができる。いくつかの態様では、視覚組立て指示は、組立てラインの所与のステーションにおける、作業者によるワークピース（またはツール）の取扱い方法に関する例を提供する動画として提供することができる。さらに、いくつかの態様では、組立て／製造指示は、例えば、ロボット組立て作業者または機械組立て作業者が受け取り、かつ、実現することができる機械命令を含むことができる。本明細書において使用されている作業者という用語は、製造製品を組み立てるモーションを使用する人間、ロボットまたは機械を意味することができる。さらに、作業者という用語は、人間の作業者がロボットまたは機械器具と共に作業し、あるいは人間作業者がロボットまたは機械器具によって支援される実例の場合のように、人間支援製造実施態様を包含している。

【0016】

組立て／製造指示が参照／指示ビデオとして提供される実例では、このようなビデオは、時によっては標準作業プロトコル（ＳＯＰ）と呼ばれることがある。開示される技術のシステムは、最小限のハードウェア要求事項、例えば個々の作業者のためのビデオカメラおよびディスプレイの使用などのため、効果的に展開することができ、一方、機械学習訓練、更新およびエラー伝搬は、例えば計算クラスターまたはクラウド環境におけるような集中型計算資源で実施することができる。

【0017】

いくつかの態様では、ビデオ指示情報は、拡張現実感表示の一部として、一人（１つ）または複数の作業者に提供することができる。すなわち指示、または標準組立て／製造方法からの偏差は、拡張現実感を使用して作業者に伝えることができ、表示は、強化されたビデオ、動画化された図形、および／または記録されたシナリオを表すビデオデータの混合として提供される。一例として、拡張現実感表示は、組み立てられているワークピース、および／または組立て／製造プロセスで使用されているツールの実時間フィードに対する動画化または図形オーバーレイとして提供される指示または手引きを提供することができる。

【0018】

いくつかの実施態様では、開示される技術のシステムは、生産ラインの様々な作業者ステーションに配置された１つまたは複数のビデオキャプチャデバイスまたはモーションキャプチャデバイスを含む。キャプチャデバイスは、その特定のステーションにおける作業者のモーション／部品、デバイス、材料または他のツール（「コンポーネント」）との相互作用を記録するように構成される。いくつかの態様では、作業者モーションはビデオ記録を使用してキャプチャできるが、他のモーションキャプチャフォーマット、例えば作業者モーションおよび／またはツールまたは製造製品との作業者の相互作用を表す３－Ｄポイントクラウドの使用も企図されている。さらに、特定のステーションに対する一人または複数人の熟練者のモーション、およびそのステーションにおけるコンポーネントとのその熟練者の相互作用を記録することにより、ステーション毎の参照ビデオを作り出すことも可能である。熟練者毎のモーション経路を引き出すことができ、また、何人かの熟練者が使用される実施形態では、引き出されたモーション経路のセット（例えば平均）に対する計算を実施して、特定のステーションのための参照ビデオを作り出すことができる。参照ビデオは、その特定のステーションで実施されるべきモーション経路のデジタルまたは動画化表現の形態であってもよい。熟練者とは、特殊技術を有する誰か、または手引きが提供されている特定の組立てステップに関して知識がある誰かを意味することができることに留意されたい。

【0019】

いくつかの実施形態では、生産ラインの様々な作業者ステーションに配置されたビデオキャプチャデバイスまたはモーションキャプチャデバイスは、組立てエラーを計算するために使用することができる、それぞれのステーションにおけるワークピース／コンポーネント／ツールの属性（例えば品質、引張り強さ、欠陥の数）もキャプチャできる。

【0020】

作業者のそれぞれのステーションにおけるその相互作用をキャプチャすることにより、理想／熟練作業者相互作用／ワークフローを表すベースライン（グラウンドトルース）モデルとのキャプチャされた相互作用を比較することによって作業者エラーを検出することができる。すなわち理想化された相互作用モデルからの作業者偏差を使用して、例えば異なるステーションに提供された作業者指示／手引きを改定することにより、組立てチェーンにおける様々な場所で修復することができる組立てエラーを計算することができる。さらに、個々のステーションにおけるコンポーネントの品質をキャプチャし、かつ、そのステーションのためのベースラインコンポーネントに対して比較することも可能である。またベースラインコンポーネントからのコンポーネントの偏差を使用して、特定のステーションにおけるコンポーネントに品質等級を割り当て、あるいは様々なステーションに提供された作業者指示／手引きを改定することによって修復することができる作業者／組立てエラーを計算することも可能である。

【0021】

組立て修正は、所望の実施態様に応じて様々な方法で実施することができる。いくつかの態様では、作業者変化／エラーを使用して、例えば部品を品質等級（例えばＡ、Ｂ、Ｃ、等々）に分類し、引き続いてこれらの部品を適切な生産ラインへ導くことによって分類を実施することができる。別の態様では、検出された組立てエラーを使用して所与のステーションにおけるプロセスを改定し、それにより品質を改善し、かつ、変化を小さくすることができる。すなわち検出された組立てエラーを使用して、指示または手引きを同じステーションに自動的に提供することができ、それにより例えばそのステーションでもたらされたエラーを訂正することができる（例えばイン－ステーションリワーク）。

【0022】

例えば組立てエラー検出を使用して、エラーが生じることが分かっている所与のステーションに提供された作業者指示またはビデオに対する更新／変更を駆動することができる。一例として、エラー／偏差が第１のステーションで作業している第１の作業者によるものであることが識別されると、例えば第１のステーションの表示デバイスを介してその第１の作業者に提供された組立て指示を改定し、それにより第１のステーションを離れる製造物品に関連するエラー分散を小さくすることができる。

【0023】

別の態様では、検出された組立てエラーを使用して、後続するステーション組立てを改定することができ、それによりステーション分散を克服することができる。すなわちエラー検出を使用して、上流側の作業者に起因するエラーに基づいて、新しい／更新された組立て手引きの下流側伝搬を自動的にトリガすることができる。例えば第１の作業者によって実行されたモーションに対するエラー分散を使用して、第１のステーションから下流側の第２のステーションと関連する第２の作業者に提供される組立て指示を調整することができる。

【0024】

さらに別の態様では、すべてのステーションにわたって検出されたエラー分散を前方へ伝搬させることができ、それにより残りの下流側組立てチェーン全体の進行にわたって、全体または部分的なリワークを実施することができることを保証することができる。すなわち一人（１つ）または複数の下流側作業者に提供された組立て指示を調整することにより、１つまたは複数のステーションにわたって生成されるエラーを修復し／低減することができる。一例では、第２のステーションの第２の作業者によって、また、第３のステーションの第３の作業者によって引き続いて実行される作業を介して、すなわち第２および第３のステーションに提供される組立て指示を調整することにより、第１のステーションの第１の作業者に起因する製造物品のエラー分散を修復することができる。

【0025】

別の例では、複数のステーションにわたって累積されたエラー分散を１つまたは複数の後続するステーションによって小さくすることができる。例えば第３のステーションおよび第４のステーション（例えばそれぞれ第３の作業者および第４の作業者）に提供される組立て指示を調整することにより、第１のステーションおよび第２のステーションにわたって累積された製造物品のエラー分散を引き続いて修復することができる。

【0026】

組立てフローにおける個々の作業者／作業者ステーションをネットワークノードとして取り扱うことにより、機械学習モデルを使用して、個々のノード（ステーション）における組立て分散の低減を介してエラーを最小化することによって組立てプロセスを最適化することができる。個別のノード（作業者）分散を最小化し、また、実時間更新を実施して、前方エラー伝搬を軽減することにより、開示される技術のシステムは、最終製品に対する製造分散を著しく低減することができる。さらに、組立てワークフローにおける特定のセグメントからのエラー寄与を正確に定量化し、かつ、追跡することにより、製品品質または偏差量によって製品に等級を付け、かつ、分類することができる。したがって例えば製品品質に応じて、特定の品質分類の製品を異なる製造プロセスへ導き、あるいは異なる顧客へ導くことができる。

【0027】

機械学習／人工知能（ＡＩ）モデルを使用してエラー検出を実施することができ、および／またはステーション組立て変化を最適化するために必要な修正を実施することができる。一例として、機械学習モデルは、それらに限定されないが、最終製品定格、最終製品変化統計量、所望の最終製品特性（例えば組立て時間、使用された材料の量、物理特性、欠陥の数、等々）、ステーション特化コンポーネント定格、ステーション特化コンポーネント変化、所望のステーションコンポーネント特性を含む訓練データの複数のソースを使用して訓練することができる。さらに、展開された機械学習モデルは、エラー検出およびエラー定量化計算を実施するために使用される理想化モデルの中に正規の知識が表現され得るよう、熟練者または「マスター設計者」から提供される入力に基づいて訓練し、あるいは初期化することができる。

【0028】

当業者には理解されるように、機械学習に基づく分類技法は、開示される技術から偏差することなく、所望の実施態様に応じて変更することができる。例えば機械学習分類スキームは、隠れマルコフモデル、回帰型ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、深層学習、ベイズ記号モデル、敵対的生成ネットワーク（ＧＡＮ）、サポートベクターマシン、画像登録法、および適用可能規則ベースシステムを、単独で、あるいは組み合わせて利用することができる。回帰アルゴリズムが使用される場合、それらは、それらに限定されないが、Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ Ｒｅｇｒｅｓｓｏｒおよび／またはＰａｓｓｉｖｅ Ａｇｇｒｅｓｓｉｖｅ Ｒｅｇｒｅｓｓｏｒ、等々を含むことができる。

【0029】

機械学習分類モデルは、クラスター化アルゴリズム（例えばＭｉｎｉ－バッチＫ－平均クラスター化アルゴリズム）、推奨アルゴリズム（例えばＭｉｎｉｗｉｓｅ ＨａｓｈｉｎｇアルゴリズムまたはＥｕｃｌｉｄｅａｎ Ｌｏｃａｌｉｔｙ－Ｓｅｎｓｉｔｉｖｅ Ｈａｓｈｉｎｇ（ＬＳＨ）アルゴリズム）、および／または局所外れ値因子法などの異常検出アルゴリズムに基づくことも可能である。さらに、機械学習モデルは、Ｍｉｎｉ－ｂａｔｃｈ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇアルゴリズム、Ｉｎｃｒｅｍｅｎｔａｌ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ＰＣＡ）アルゴリズム、Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎアルゴリズムおよび／またはＭｉｎｉ－バッチＫ－平均アルゴリズム、等々のうちの１つまたは複数などの次元削減手法を使用することも可能である。

【0030】

いくつかの実施態様では、複数の異なるタイプの機械学習訓練／人工知能モデルを展開することができる。一例として、製造製品を最適化するべく、組立てラインプロセスを動的に調整するために、機械学習の一般的な形態を使用することができる。当業者には認識されるように、選択された機械化学習／人工知能モデルは、一組の組立て／製造指示を単純に含んでいるのではなく、組立てラインプロセス全体に関するフィードバック、および結果として得られる製造製品に対するその影響を提供し、また、組立てラインにおける下流側作業者ステーションに対する動的調整を提供し、それにより上流側作業者ステーションで生じる行為を補償するための方法である。このタイプの人工知能ベースフィードバックおよびフィードフォワードモデルは、本明細書においてはＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｐｒｏｃｅｓｓ Ｃｏｎｔｒｏｌ（ＡＩＰＣ）と呼ばれている。

【0031】

いくつかの実施形態では、最適な／所望の製造製品のための設計を選択することができ、また、熟練作業者を展開して、選択された設計に従って製造製品を組み立てるために個々の作業者ステーションで実施される個々のステップを実施することができる。最適とは、結果として得られる製造製品におけるエラー、または何らかの他の基準を最小化する、結果として得られる製品の所望の性能および／または特性に基づくことができる（例えば製造製品が紙飛行機である場合、最適な紙飛行機は、所望の飛行目標を達成する紙飛行機であろう）。複数の画像化デバイスを使用して、作業者のモーションおよび作業者が組み立てている製造製品との作業者の相互作用をキャプチャし、それによりビデオ、画像および／または３Ｄポイントクラウドデータを生成することができる。キャプチャされたデータは、組み立てられている際の製造製品に対する関係における作業者の手座標、一方の手ともう一方の手の関係、および組み立てられている際の製造製品に対する指（およびいくつかの実施形態では指の関節）の関係などの詳細な情報を提供することができる。熟練作業者から収集されたデータは、最適な／所望の製造製品を組み立てるためのグラウンドトルースとして使用することができる。さらに、作業者のモーションの変化またはエラーが、結果として得られる製造製品に対して如何に影響を及ぼし得るかを理解するために、多くの作業者を展開して、最適な製造製品を組み立てる１つまたは複数のステップを実施することができる。これは、組立てラインにおける作業者ステーション毎に実施することができる。結果として得られる最終製品およびそれらのそれぞれの組立てプロセスの両方を、互いに対して、また、グラウンドトルースに対して比較し、それによりエラーおよび／または作業者のモーションの変化が製造製品の特性および／または性能に如何に影響を及ぼし得るかを決定することができる（例えば作業者の速度は、品質がより劣る飛行機をもたらし得る）。実際の組立てプロセス（すなわち人間、ロボットまたは機械が１つまたは複数のステーションでモーションを実施しているプロセス）の間に、作業者に基づいて収集されたデータは、本明細書においては「実際の訓練データ」と呼ばれることになる。実際の訓練データは、模擬されたデータで補足することができ、それにより、より豊富なデータセットを得ることができ、また、最適な製造製品を達成するための追加変形形態を提供することができる。「最適な」および「所望の」という用語は、本明細書においては交換可能に使用されることになることに留意されたい。

【0032】

いくつかの実施形態では、本明細書において考察されている異なるＡＩ／機械学習／深層学習モデルは、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｐｒｏｃｅｓｓ Ｃｏｎｔｒｏｌ（ＡＩＰＣ）を達成して製造物品の組立てを最適化するために、以下で説明される特定の順序で展開することができる。ＡＩＰＣ深層学習モデルを実現することができる例示的プロセスは、図１に関連して（例えばＡＩＰＣ深層学習モデル１１２に関連して）、また、図２に関連してさらに詳細に考察される。ＡＩＰＣ深層学習モデルを実現するために使用することができるハードウェアシステムおよび／またはデバイスの例は図３に提供されており、また、対応する説明も以下に提供されている。

【0033】

第１に、ＣＮＮを組立てラインプロセスに使用して、個々の作業者ステーションにおいて、作業者の手の特徴および異なる構成の製造物品の特徴を分類することができる。

【0034】

第２に、いずれもＣＮＮ分類からの所望の結果を達成するために、また、定義済みの望ましい結果のために、強化学習（ＲＬ）およびＲＬエージェントを使用し、かつ、報酬を与えることができる。ＲＬエージェントは、監視しても、あるいは監視しなくてもよい。

【0035】

第３に、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ（ＧＡＮ）を使用して、対立するＲＬエージェント間で選ぶことができる。ＧＡＮは、ノードとしてＧＡＮに入力するＲＬエージェントの選択を人間にのみ頼る最小の人間監視を含むことができる。

【0036】

第４に、ＲＮＮは、フィードバックおよびフィードフォワードシステムを作り出すための入力ノードとして勝利ＲＬを取ることができ、したがって学習を連続的なものにすることができ、また、学習を監視しなくてもよい。

【0037】

これらの４つのＡＩ／機械学習モデルの実施態様は、以下でより詳細に考察される。

【0038】

いくつかの実施形態では、実際の訓練データは、組立てプロセスにおける関連するデータを分類し、例えば作業者ステーション毎の個々の組立てステップで使用された指／手、組み立てられている製品のうちの、作業者の指が任意の時間点および空間で触れた部分、および任意の時間点および空間における、組み立てられている製造製品の形状または構成を分類するためにＣＮＮに入力することができる。

【0039】

さらに他の実施形態では、手のモーションは追跡しないが、製造製品の組立てパターンの様々な変化を表すデータを収集することも可能である（例えば製造製品が折り畳まれた紙飛行機である場合、折畳み順序を変更すること、折畳み変化を実現すること、および／または潜在的エラーを導入することに基づいてデータを収集することができ、製造製品が衣類物品である場合、例えば縫合せ順序、縫合せ変化を実現すること、および／または潜在的エラーを導入することに基づいてデータを収集することができる）。このデータは模擬することができ、および／または実際の訓練データから収集することができる。結果として得られる製造製品およびそれらのそれぞれの組立てプロセスを比較し、それによりエラーまたは組立てパターンの変化が製造製品の特性および／または性能に如何に影響を及ぼすかを決定することができる。

【0040】

いくつかの態様では、機械学習モデルを生成するために使用される訓練データは、模擬されたデータからのもの、および／または実際の訓練データからのものであってもよく、それらは、組み合わせたものであっても、あるいは個別であってもよい。いくつかの実施形態では、模擬されたデータ結果を使用して機械学習モデル、例えば（それには限定されないが）Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ（ＲＬ）エージェントを構築することができる。他の実施形態では、実際の訓練データを使用して機械学習モデル、例えば（それには限定されないが）Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ（ＲＬ）エージェントを構築することができる。ＲＬエージェントは、良好な／所望の結果を達成すると報酬が支払われ、また、悪い結果に対しては処罰される。

【0041】

いくつかの実例では、多くのＲＬエージェント（そのうちのいくつかは実際の訓練データに基づき、また、いくつかは模擬されたデータに基づく）は、縦列をなして働くように展開することができ、また、累積授与を最大化するように構成することができ、例えば理想モデル／例からの最も小さい偏差を有する製造製品を組み立てる。ＲＬエージェントに報酬を支払うことができる例示的結果は、可能な限り少ないステップで完全な製造製品を完成すること、製造製品を達成するために必要な材料の量または時間を低減することを含む。模擬されたデータに基づくＲＬエージェントおよび実際の訓練データに基づくＲＬエージェントを使用して、最適な／所望の製造物品をもたらす最適モーションパターンおよび／または最適組立てパターンを決定することができる。

【0042】

これらの２つのグループのＲＬエージェント（例えば実際の訓練データに基づいて作り出されたＲＬエージェント、および模擬されたデータに基づいて作り出されたＲＬエージェント）は、それらはいずれも最適な／所望の製造製品を作る行為に対して報酬が支払われているため、ここでは共同して働くことができ、さらには競合することができる。いくつかの実施形態では、最適な製造製品のための最適な組立てパターンをもたらした模擬ベースのＲＬエージェントから得られたデータを使用して、実際の訓練データセットのための可能性空間を小さくすることができる。例えば模擬されたＲＬエージェントを使用して最適な組立てパターンを決定することができ、次に、最適ではない組立てパターンに対してではなく、最適な組立てパターンに対してのみ実際の訓練データを収集することができる。実際の訓練データの収集にのみ、あるいは最適な組立てパターンにのみ的を絞ることにより、より少ない訓練データを収集することができ、および／またはより多くの実際の訓練データを収集するためのより大きい容量を達成することができるが、それは最適な組立てパターンに対してのみである。

【0043】

報酬は時によっては対立することがあるため、強化学習のみに頼って組立てラインを最適化することには限界がある。例えば製品の組立てにおいては、偽りの動き（例えば折畳んで、直ちにその折畳みを元に戻す、あるいは縫い目を追加して、直ちにその縫い目を取り除く）が最も少ない場合に対して、いくつかのＲＬエージェントに報酬を支払うことができ、一方、速度に対して、他のＲＬエージェントに報酬を支払うことができる。速度に対して報酬が支払われているＲＬエージェントは、組立てプロセスにおける下流側で必要な修正がより少ないため、より多くの偽りの動きがより速い組立て時間をもたらすことを決定することができる。このような実施態様トレードオフ決定をなすことは、人間が容易に判断することができるようなものではない。経験および大量の例を有している場合であっても、人間には、異なる方法で作業する異なる作業者による最終結果を把握することは如何に微妙なものであるかを理解する計算能力が依然として欠けている。

【0044】

これらの対立するＲＬエージェント最適化を解決するために、ＧＡＮを展開して決定者として作用させることができる。対立は、実際の訓練データに基づくＲＬエージェント同士の間、模擬されたデータに基づくＲＬエージェント同士の間、および／または実際の訓練データに基づくＲＬエージェントと模擬されたデータに基づくＲＬエージェントとの間であってもよい。

【0045】

いくつかの実施形態では、ＧＡＮは、さらに多くの頑丈なニューラルネットワークを作り出すために、ＲＬエージェントの各々を試験し、かつ、その結果を記憶することができる。ＧＡＮは、ＲＬエージェントを取り、また、ゼロ－サムゲームにおける勝者および敗者をもたらすモデルを使用することによって動作する。ＧＡＮには「ジェネレータ」および「ディスクリミネータ」が存在している。ジェネレータは、この場合、対立するＲＬエージェントからの報酬データを記憶することになり、また、ディスクリミネータは、これらのうちのどちらが所望の製造製品を作り出すタスクに対して最も関連しているかを評価することになる。ＧＡＮは、ノード（またはニューロン）の深層ネットワークを使用して、ノードに重みを付ける方法を決定する。個々のＲＬエージェントは、個々のＲＬエージェントが既に最適決定を下していることを信じているため、対立しているＲＬエージェントのうちのどちらが実際に最も関連する選択をなすかを決定することはＧＡＮの役割であり、また、ディスクリミネータは、それに応じて重みを調整する。対立するＲＬエージェント同士の間でゼロ－サムゲームが開始されると、対立するＲＬエージェント同士の間で勝者のグループが生成され、これらの勝者のみが、組立てラインにおけるワークフローを最適化するために使用される機械学習モデルのために使用されることになる。勝利ＲＬエージェントを決定するために大量のデータが生成されることになる可能性があるが、結果は、入力ノードとして使用される、これらの勝者を作り出し、かつ、見出すために使用されるものよりもはるかに貧弱である。

【0046】

ＧＡＮ戦争に生き残り、かつ、適切に報酬が支払われたＲＬエージェントが決定されると、いくつかの実施形態では、それらをＲｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）と呼ばれる別のＡＩシステムに入力することができる。ＲＮＮは、それがＤｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋであり、入力データの様々な形態の重み付けを介して最終結果が最適化される点で、ＣＮＮに対して多くの類似性を有している。１つの相違は、入力から出力まで線形プロセスであるＣＮＮとは異なり、ＲＮＮは、結果として得られる出力、さらには内部ノードを新しい訓練情報としてフィードバックするループであることである。ＲＮＮは、フィードバックシステムおよびフィードフォワードシステムの両方である。

【0047】

Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｐｒｏｃｅｓｓ Ｃｏｎｔｒｏｌ（ＡＩＰＣ）のリアルワールドアプリケーションは、組立てラインにおける、既に自分のタスクを完了した作業者へのフィードバックの提供（例えばビデオ指示を自動的に修正することによって）、ならびに組立てラインにおける下流側の、未だ自分のタスクを完了していない作業者への指示の提供（これも例えばビデオ指示を自動的に修正することによって）を含む（「フィードフォワード」）。このフィードバック－フィードフォワードシステム、すなわちＡＩＰＣは、本明細書において説明されているＡＩ手法を、いくつかの実施形態では、本明細書において説明されている特定の順序で使用して達成することができ、したがって組立てライン上の作業者は、追加人間監視を必要とすることなく、結果として得られる製造製品を最適化する選択をなすことができる。

【0048】

いくつかの実施形態では、これは、単にＲＮＮへの上記システムの圧縮、および１つまたは複数の製造製品を作り出すプロセスの間、成功または失敗の２つの方法におけるあらゆる動きの観察を含む。個々の動きは訓練として働く。ＲＮＮの出力ノードが最適ではない場合、ネットワークは、異なる選択をなすよう、組立てラインにおける実際の個人にフィードバックすることができ、また、ＲＮＮの多くのノードおよび層を通る経路では、重みは、重み付けし直すことができ、また、出力には、成功または失敗のいずれかのラベルが振られることになる。プロセスが反復すると、重みは、自身でその精度を改善する。さらに、ネットワークは、組立てを実施する個人が働いていない場合であっても、何が働いていて、何が働いていないかを学習することができる。これは、訓練セットを増加させる。また、それは、組立てプロセスの異なる段階における調整の実施を許容する。いくつかの事例では、任意の所与の瞬間に、特定の特性を有する製造物品を製造する最良の方法は、開始点に戻ることではなく、プロセスの進行に応じて指示を調整することであることが見出され得る。この場合、ＲＮＮは、最適な製造製品のために常に最適化しており、また、生産ラインの作業者ステーションにおける、既に自分のタスクを実施した個々の作業者にフィードバックを提供し、また、生産ラインの作業者ステーションにおける、未だ自分のタスクを実施していない作業者に情報をフィードフォワードするべく学習する。

【0049】

図１は、開示される技術のいくつかの態様による、生産ライン展開を実現するための例示的プロセス１００のフローチャートを概念的に図解したものである。図１のプロセスはステップ１０２で開始され、生産展開が開始される。例示的生産ラインのワークフローは、典型的には、ワークピース（製品）が組み立てられ、あるいは製造される複数の作業者ステーション（ノード）を含む。先行するノードにおける作業が完了した後にのみ、個々の後続するノードの作業が開始されるよう、様々なノードを逐次方式で編成することができる。

【0050】

ステップ１０４で、１つまたは複数の参照ビデオが生成され、および／または更新される。上で説明したビデオを使用して、特定のノード（本明細書においては作業者ステーションとも呼ばれる）に製造／組立て指示を提供することができる。すなわちワークフローにおける個々のノードは、その特定のノードに対応する製造ワークフローにおけるステップを完了する方法の手引きを引き渡す参照ビデオを備えることができる。

【0051】

ステップ１０６で、ステップ１０４で生成されたビデオの各々がそれぞれのステーション／ノードに展開される。一例として、所与のワークフローは１０個のノードを含むことができ、その各々は、それぞれの異なる／独自の参照ビデオを有している。他の実施態様では、ビデオの数は、ノードの総数より少なくてもよい。実施態様に応じて、様々なステーション／ノードに展開される参照ビデオは固有であってもよく、あるいは同様の手引き／指示を提供することができる。以下でさらに詳細に考察されるように、参照ビデオの内容は動的であってもよく、また、常に更新／増補することができる。

【0052】

ステップ１０８で、モーションの連続記録が個々のステーション／ノードでキャプチャされる。モーション記録から得られるモーションデータは、ワークフローにおけるそれらのノード／ステーションにおけるワークピース／コンポーネント／ツールとの作業者の相互作用を記述することができる。すなわち個々のノードでキャプチャされるモーションデータは、製品組立てまたは製造の特定の部分に対応する１つまたは複数の作業者行為を表すことができ、また、そのノードと関連する参照ビデオによって提供される指示に対応し得る。いくつかの実例では、モーションキャプチャは、ビデオデータのキャプチャ、すなわちそのステーションにおける作業者の行為のすべてまたは一部の記録を含むことができる。他の実施形態では、モーションキャプチャは、例えば３Ｄポイントクラウドの記録を含むことができ、モーションは、画像キャプチャデバイスの視野における１つまたは複数の特定のポイントに対して記録される。作業者の行為ならびにコンポーネントの属性（例えばコンポーネント品質、引張り強さ、欠陥の数）の両方を、ワークフローにおける個々のノード／ステーションでキャプチャすることができる。

【0053】

ステップ１１０で、プロセス方法解析偏差を計算することができ、ステップ１０８におけるステーションのうちの１つまたは複数に対してキャプチャされたモーションデータを解析して、例えば対応するステーションの理想化されたモーションプロファイルを含む（または表す）比較モデルからのあらゆる偏差を識別することができる。図１に図解されているように、ステップ１１０は、例えば比較モデルからのモーション偏差を識別／分類し、かつ、組立てまたは製造プロセスが影響を及ぼされ得た程度に関する推測を実施するように構成することができるＡＩＰＣ深層学習モデルを利用することができる（ステップ１１２）。比較は、ステーションレベル毎に、および／または総合プロセスレベルで実施することができる。また、解析は、個々のステーションにおけるコンポーネントの属性、またはベースラインからのコンポーネントの偏差、およびステーションのモーション偏差がコンポーネントの品質に及ぼす影響の程度を考慮することも可能である。

【0054】

ステップ１１２で呼ばれるＡＩＰＣ深層学習モデルは、例えば所与のステーション／ノードに対する理想的な、または品質が制御された組立て／製造相互作用の例を含むことができる様々なタイプの訓練データの収集に基づくことができる。また、ＡＩＰＣ深層学習モデルは、プロセス１００（ステップ１１１）を使用して製造された特定の製品に関する顧客からのフィードバックによって、また、プロセス１００（ステップ１１３）を使用して製造された特定の製品の品質管理検査からのフィードバックによって、ドメイン／産業情報１１５によって提供されるデータを使用して増補する（または調整する）ことができる。ＡＩＰＣ深層学習モデルは、分散ハードウェアモジュールおよび／またはソフトウェアモジュールを含む様々な計算システムを使用して実現することができることを理解されたい。一例として、ＡＩＰＣ深層学習モデルは、組立てラインに展開され、かつ、様々なＡＩ／機械学習モデルおよび／または分類子を実現するように構成された１つまたは複数のシステムに結合される複数の画像キャプチャデバイスおよび表示デバイスを含む分散システムを使用して実現することができる。

【0055】

ステップ１１０で比較モデルからの偏差が検出され／識別されると、ステップ１１４で、ＡＩＰＣ深層学習モデル１１２を使用して自動調整を生成することができる。上で考察したように、ビデオ調整は、ワークフローの１つまたは複数のステーションにおける製造／組立て品質を改善することを目的とすることができる。例えば作業者に提供される指示または手引きを、エラーを低減し、あるいはエラーが発生した時点で修復する方法で変更するために、例えばエラーが発生することが分かっている（または予測される）所与のノード／ステーションにビデオ調整を適用することができる。他の実施態様では、例えば製造ワークフローが完了する前にエラーを修正するために、エラーが発生したステーションから下流側にビデオ調整を適用することができる。さらに他の実施態様では、ワークフローが完了すると、ワークフロー全体を解析することができ、また、ワークフローにおける１つまたは複数のステーションに対して調整を実施することができる。

【0056】

いくつかの実施形態では、調整は、エラーが検出された直後に実時間で実施される。他の実施形態では、調整は、一定のインターバルで、またはワークフローが完了した後に実施される。

【0057】

いくつかの態様では、ステップ１１４で決定された自動調整は、ステップ１１７で要約し、および／または製品品質レポートとして提供することができる。例えばモーション偏差の解析（ステップ１１０）によってもたらされる調整を使用して、組立て／製造プロセスの理想化されたモデルから識別された偏差に基づいて、ワークピースの様々な品質態様を記述する１つまたは複数の品質レポートを作成することができる。

【0058】

図２は、本技術のいくつかの態様による、組立てエラー修正を容易にするために使用することができるエラー検出解析を実施するための例示的プロセス２００を図解したものである。

【0059】

ステップ２１０で開始され、理想化されたビデオ手引きを使用して製造／組立てを改善するプロセスを実現することができる。ステップ２１５で、１つまたは複数の組立てステーションのビデオ追跡が実施される。ビデオ追跡は、所与のステーション／ノードにおける人間作業者の記録を含むことができる。いくつかの実施形態では、ビデオ追跡は、所与のステーション／ノードにおけるコンポーネント属性のキャプチャをさらに含むことができる。

【0060】

ステップ２２０～２２４で、組立てステーションから記録されたビデオを解析する処理が実施される。例えばいくつかの実施形態では、背景抽出を実施して、記録されたビデオ中の動き／コンポーネントを隔離することができる。いくつかの態様では、背景抽出が完了すると、処理されたビデオは、組立て作業者に関連するモーション／ビデオデータのみを含み（ステップ２２４）、また、含まれているコンポーネントは、対応する組立てステップ（ステップ２２０）に使用される。ステップ２２０で、追加処理を実施して、部品／コンポーネントを隔離することができる。プロセス２００の線図によって図解されているように、ステップ２２０は、異常検出（ステップ２２１）、表面変化の検出（２２２）および部品分類および／または品質スコアリング（ステップ２２３）を含む追加処理操作を含むことができる。それには限定されないが、１つまたは複数のＡＩ／機械学習アルゴリズムおよび／または分類子の使用を含む、様々な信号および／または画像処理技法を使用して、任意のビデオ処理ステップを実施し、それにより例えば異常検出（２２１）、表面変化の検出（２２２）を実施し、および／またはスコアリング／分類（ステップ２２３）を実施することができることを理解されたい。

【0061】

処理ステップ２２０～２２４が完了した後、プロセス２００は、モーション比較が実施されるステップ２２６へ進行することができる。モーション比較（ステップ２２６）は、対応する理想化されたビデオ／モーションデータとの、１つまたは複数のステーション／ノードにおける一人（１つ）または複数のステーション作業者を含むプロセス組立てステーションビデオデータの比較を含むことができる。複数のステーション／ノードにわたって実施されるモーション比較を使用して、結果として得られる部品／コンポーネント品質の変化を推測／予測することができる。

【0062】

ステップ２２８で、様々な部品／コンポーネントに対する分散／品質分類を実施することができる。一例として、部品／コンポーネントは異なる品質層に分類することができ、および／またはそれらの関連する分類／相違に応じて、除去または修理のために識別することができる。

【0063】

分類／相違が決定された後、プロセス２００はステップ２３０へ進行することができ、ステップ２３０で、プロセス／ワークフロー全体の解析が、例えばステップ２２６および２２８で決定されたステーション／ノード毎の分類／相違に基づいて実施される。ワークフロー全体を解析することにより、ビデオに対する自動調整を実施することができ、それにより、上で考察したように、検出された偏差／欠陥に対処することができる。

【0064】

図３は、開示される技術のシステムを実現するために使用することができる例示的処理デバイスを図解したものである。処理デバイス３００は、マスター中央処理装置（ＣＰＵ）３６２、インタフェース３６８およびバス３１５（例えばＰＣＩバス）を含む。適切なソフトウェアまたはファームウェアの制御の下で動作すると、ＣＰＵ３６２は、様々なエラー検出監視および開示される技術のプロセス調整ステップを実施する責任を負う。ＣＰＵ３６２は、オペレーティングシステムおよび任意の適切なアプリケーションソフトウェアを含むソフトウェアの制御の下ですべてのこれらの機能を成し遂げることが好ましい。ＣＰＵ３６２は、マイクロプロセッサのＭｏｔｏｒｏｌａファミリーからの、あるいはマイクロプロセッサのＭＩＰＳファミリーからのプロセッサなどの１つまたは複数のプロセッサ３６３を含むことができる。代替実施形態では、プロセッサ３６３は、ＡＩＰＣシステム３１０の操作を制御するために特別に設計されたハードウェアである。特定の実施形態では、メモリ３６１（不揮発性ＲＡＭおよび／またはＲＯＭなど）もＣＰＵ４６２の一部を形成している。しかしながらメモリをシステムに結合することができる多くの異なる方法が存在している。

【0065】

いくつかの態様では、処理デバイス３１０は、画像処理システム３７０を含むことができ、あるいは画像処理システム３７０と結合することができる。画像処理システム３７０は、作業者の動きを監視し、また、モーションデータを生成することができるビデオカメラなどの様々な画像キャプチャデバイスを含むことができる。一例として、画像処理システム３７０は、ビデオデータをキャプチャし、および／または３Ｄポイントクラウドを出力し／生成するように構成することができる。

【0066】

インタフェース３６８は、典型的にはインタフェースカード（時によっては「ラインカード」と呼ばれることもある）として提供される。一般に、それらは、ネットワークを介したデータパケットの送信および受信を制御し、また、時によっては、ルータと共に使用される他の周辺装置をサポートする。提供され得るインタフェースは、とりわけ、Ｅｔｈｅｒｎｅｔインタフェース、フレーム中継インタフェース、ケーブルインタフェース、ＤＳＬインタフェース、トークンリングインタフェース、等々である。さらに、高速トークンリングインタフェース、無線インタフェース、Ｅｔｈｅｒｎｅｔインタフェース、Ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔインタフェース、ＡＴＭインタフェース、ＨＳＳＩインタフェース、ＰＯＳインタフェース、ＦＤＤＩインタフェース、等々などの様々な極めて高速のインタフェースを提供することも可能である。一般に、これらのインタフェースは、適切な媒体との通信に適したポートを含むことができる。いくつかの事例では、それらは独立プロセッサをも含むことができ、また、いくつかの実例では揮発性ＲＡＭを含むことができる。独立プロセッサは、このような通信集約タスクをパケット交換、媒体制御および管理として制御することができる。通信集約タスクのための個別のプロセッサを提供することにより、これらのインタフェースは、マスターマイクロプロセッサ３６２による、経路指定計算、ネットワーク診断、安全保護機能、等々の効果的な実施を許容することができる。

【0067】

図３に示されているシステムは、本発明の１つの特定の処理デバイスであるが、本発明を実現することができる唯一のネットワークデバイスアーキテクチャでは決してない。例えば通信ならびに経路指定計算、等々を取り扱う単一のプロセッサを有するアーキテクチャがしばしば使用される。さらに、他のタイプのインタフェースおよび媒体をも使用することも可能である。

【0068】

ネットワークデバイスの構成に無関係に、ネットワークデバイスは、汎用ネットワーク操作のためのプログラム命令を記憶するように構成された１つまたは複数のメモリまたはメモリモジュール（メモリ３６１を含む）、および本明細書において説明されているローミング、経路最適化および経路指定機能のための機構を使用することができる。プログラム命令は、例えばオペレーティングシステムおよび／または１つまたは複数のアプリケーションの操作を制御することができる。移動度結合、登録および関連表、等々などの表を記憶するように１つまたは複数のメモリを構成することも可能である。

【0069】

様々な実施形態の論理演算は、（１）汎用コンピュータ内のプログラム可能回路上で走る一連のコンピュータ実現ステップ、操作または手順、（２）特定用途プログラム可能回路上で走る一連のコンピュータ実現ステップ、操作または手順、および／または（３）相互接続機械モジュールまたはプログラム可能回路内のプログラムエンジンとして実現される。システム３００は、記載されている方法のすべてまたは一部を実践することができ、記載されているシステムの一部であってもよく、および／または記載されている非一時的コンピュータ可読記憶媒体中の命令に従って動作することができる。このような論理演算は、プロセッサ３６３を制御するように構成されたモジュールとして実現することができ、それによりそのモジュールのプログラミングに従って特定の機能を実施する。

【0070】

開示されているプロセスにおけるステップの任意の特定の順序または階層は、例示的手法の例証であることを理解されたい。設計の好みに基づいて、プロセスにおけるステップの特定の順序または階層を再配置することができること、または図解されているステップの一部のみを実施することができることを理解されたい。ステップのうちのいくつかは同時に実施することができる。例えば特定の状況では、多重タスキングおよび並列処理が有利であり得る。さらに、上で説明した実施形態における様々なシステムコンポーネントの分離は、このような分離がすべての実施形態に必要であるものとして理解してはならず、また、説明されているプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品の中で一体に統合することができ、あるいは複数のソフトウェア製品にパッケージ化することができることを理解すべきである。

【0071】

上記の説明は、すべての当業者による、本明細書において説明されている様々な態様の実践を可能にするために提供されたものである。これらの態様に対する様々な修正は当業者には容易に明らかであり、また、本明細書において定義されている一般原理は、他の態様にも適用することができる。したがって特許請求の範囲には、それが本明細書において示されている態様に限定されることは意図されておらず、特許請求の範囲は、言語請求項と無矛盾の全範囲と一致し、単数形の要素に対する参照には、そうであることが明確に言及されていない限り、「１つであり、また、唯一である」ことを意味するのではなく、「１つまたは複数である」ことが意図されている。

【0072】

「態様」などの語句は、このような態様が主題技術に必須であること、またはこのような態様を主題技術のすべての構成に適用することを暗に意味していない。態様に関連する開示は、すべての構成に適用することができ、あるいは１つまたは複数の構成に適用することができる。一態様などの語句は、１つまたは複数の態様を意味することができ、また、１つまたは複数の態様は、一態様を意味することができる。「構成」などの語句は、このような構成が主題技術に必須であること、またはこのような構成を主題技術のすべての構成に適用することを暗に意味していない。構成に関連する開示は、すべての構成に適用することができ、あるいは１つまたは複数の構成に適用することができる。一構成などの語句は、１つまたは複数の構成を意味することができ、また、１つまたは複数の構成は、一構成を意味することができる。

【0073】

「例示的」という語は、本明細書においては、「例または例証として働く」ことを意味するべく使用されている。「例示的」として本明細書において説明されているすべての態様または設計は、他の態様または設計に勝る、好ましい、または有利なものとして必ずしも解釈されるべきではない。

【図1】

【図2】

【図3】