▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2024-86700製造用センサデータのシーケンスモデリングを行うシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024086700
(43)【公開日】2024-06-27
(54)【発明の名称】製造用センサデータのシーケンスモデリングを行うシステム及び方法
(51)【国際特許分類】
G06N 3/0455 20230101AFI20240620BHJP
G06Q 50/04 20120101ALI20240620BHJP
G06N 20/00 20190101ALI20240620BHJP
G06N 3/09 20230101ALI20240620BHJP
G06F 18/213 20230101ALI20240620BHJP
【ＦＩ】
G06N3/0455
G06Q50/04
G06N20/00 130
G06N3/09
G06F18/213
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023212409
(22)【出願日】2023-12-15
(31)【優先権主張番号】18/067,410
(32)【優先日】2022-12-16
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】フィリペ カブリタ コンデッサ
(72)【発明者】
【氏名】バハレ アザリー
(72)【発明者】
【氏名】デビン ウィルモット
(72)【発明者】
【氏名】アイヴァン バタロヴ
(72)【発明者】
【氏名】ジョアン セメド
(72)【発明者】
【氏名】ワン－イー リン
(72)【発明者】
【氏名】チーフン フアン
(57)【要約】 （修正有）
【課題】予測的測定監視のためのコンピュータ実装された方法及びシステムを提供する。
【解決手段】所与の部品が移動するステーションシーケンスを確立する方法であって、履歴測定値埋め込み、履歴部品識別子埋め込み及び履歴ステーション識別子埋め込みを含む履歴埋め込みシーケンスを生成することと、各ステーションにおける所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、所与の部品の部品識別子に基づく部品識別子埋め込み及び観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む入力埋め込みシーケンスを生成することと、履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して中間履歴特徴を生成することと、中間履歴特徴及び入力埋め込みシーケンスに基づいて、復号ネットワークを介して予測される測定値データを生成することと、を含む。
【選択図】なし
【解決手段】所与の部品が移動するステーションシーケンスを確立する方法であって、履歴測定値埋め込み、履歴部品識別子埋め込み及び履歴ステーション識別子埋め込みを含む履歴埋め込みシーケンスを生成することと、各ステーションにおける所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、所与の部品の部品識別子に基づく部品識別子埋め込み及び観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む入力埋め込みシーケンスを生成することと、履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して中間履歴特徴を生成することと、中間履歴特徴及び入力埋め込みシーケンスに基づいて、復号ネットワークを介して予測される測定値データを生成することと、を含む。
【選択図】なし
【特許請求の範囲】
【請求項1】
予測的測定監視のためのコンピュータ実装された方法であって、前記方法は、
所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することと、
第１の埋め込みのセットを生成することであって、前記第１の埋め込みのセットは、（ａ）前記所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）前記１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）前記履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む、ことと、
第２の埋め込みのセットを生成することであって、前記第２の埋め込みのセットは、（ａ）前記ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された前記所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）前記所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）前記観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む、ことと、
前記第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することと、
前記第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することと、
前記履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することと、
前記中間履歴特徴及び前記入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することと、
を含み、
前記予測される測定値データは、前記ステーションシーケンス内の前記ステーションサブシーケンス後の次のステーションにおける前記所与の部品の次の測定値データを含む、
コンピュータ実装された方法。
所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することと、
第１の埋め込みのセットを生成することであって、前記第１の埋め込みのセットは、（ａ）前記所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）前記１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）前記履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む、ことと、
第２の埋め込みのセットを生成することであって、前記第２の埋め込みのセットは、（ａ）前記ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された前記所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）前記所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）前記観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む、ことと、
前記第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することと、
前記第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することと、
前記履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することと、
前記中間履歴特徴及び前記入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することと、
を含み、
前記予測される測定値データは、前記ステーションシーケンス内の前記ステーションサブシーケンス後の次のステーションにおける前記所与の部品の次の測定値データを含む、
コンピュータ実装された方法。
【請求項2】
前記履歴測定値データは、マルチモーダルセンサデータに基づいており、
前記観察された測定値データは、マルチモーダルセンサデータに基づいており、
前記予測される測定値データは、マルチモーダルセンサデータに基づいている、
請求項１に記載のコンピュータ実装された方法。
前記観察された測定値データは、マルチモーダルセンサデータに基づいており、
前記予測される測定値データは、マルチモーダルセンサデータに基づいている、
請求項１に記載のコンピュータ実装された方法。
【請求項3】
変換器モデルが、前記符号化ネットワーク及び前記復号ネットワークを含む、請求項１に記載のコンピュータ実装された方法。
【請求項4】
前記方法は、さらに、
グラウンドトゥルース測定値データと前記予測される測定値データとに基づいて損失関数を評価することにより、損失データを生成することと、
前記損失データに基づいて前記変換器モデルのパラメータを更新することと、
を含み、
前記グラウンドトゥルース測定値データは、前記次のステーションにおける前記所与の部品の次の観察された測定値データを含む、
請求項３に記載のコンピュータ実装された方法。
グラウンドトゥルース測定値データと前記予測される測定値データとに基づいて損失関数を評価することにより、損失データを生成することと、
前記損失データに基づいて前記変換器モデルのパラメータを更新することと、
を含み、
前記グラウンドトゥルース測定値データは、前記次のステーションにおける前記所与の部品の次の観察された測定値データを含む、
請求項３に記載のコンピュータ実装された方法。
【請求項5】
前記方法は、さらに、
前記復号ネットワークに、クエリ、キー及び値を適用すること
を含み、
前記クエリは、前記入力埋め込みシーケンスに基づいて計算され、
前記キーは、前記中間履歴特徴に基づいて計算され、
前記値は、前記中間履歴特徴に基づいて計算される、
請求項３に記載のコンピュータ実装された方法。
前記復号ネットワークに、クエリ、キー及び値を適用すること
を含み、
前記クエリは、前記入力埋め込みシーケンスに基づいて計算され、
前記キーは、前記中間履歴特徴に基づいて計算され、
前記値は、前記中間履歴特徴に基づいて計算される、
請求項３に記載のコンピュータ実装された方法。
【請求項6】
前記方法は、さらに、
前記履歴埋め込みシーケンスと位置埋め込みとを結合して、中間埋め込みデータを生成することと、
前記中間埋め込みデータに１つ又は複数の自己アテンションネットワークを適用することによって前記中間履歴特徴を生成するステップと、
を含み、
前記位置埋め込みは、前記履歴埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の自己アテンションネットワークは、前記中間埋め込みデータを符号化して、前記中間履歴特徴を生成する、
請求項１に記載のコンピュータ実装された方法。
前記履歴埋め込みシーケンスと位置埋め込みとを結合して、中間埋め込みデータを生成することと、
前記中間埋め込みデータに１つ又は複数の自己アテンションネットワークを適用することによって前記中間履歴特徴を生成するステップと、
を含み、
前記位置埋め込みは、前記履歴埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の自己アテンションネットワークは、前記中間埋め込みデータを符号化して、前記中間履歴特徴を生成する、
請求項１に記載のコンピュータ実装された方法。
【請求項7】
前記方法は、さらに、
前記入力埋め込みシーケンスと位置埋め込みとを結合して、予測される埋め込みデータを生成することと、
前記履歴特徴と共に前記予測される埋め込みデータに１つ又は複数の相互アテンションネットワークを適用することによって前記予測される測定値データを生成することと、
を含み、
前記位置埋め込みは、前記入力埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の相互アテンションネットワークは、前記履歴特徴と共に前記予測される埋め込みデータを復号して、前記予測される測定値データを生成する、
請求項１に記載のコンピュータ実装された方法。
前記入力埋め込みシーケンスと位置埋め込みとを結合して、予測される埋め込みデータを生成することと、
前記履歴特徴と共に前記予測される埋め込みデータに１つ又は複数の相互アテンションネットワークを適用することによって前記予測される測定値データを生成することと、
を含み、
前記位置埋め込みは、前記入力埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の相互アテンションネットワークは、前記履歴特徴と共に前記予測される埋め込みデータを復号して、前記予測される測定値データを生成する、
請求項１に記載のコンピュータ実装された方法。
【請求項8】
プロセッサと、
前記プロセッサとデータ通信し、前記プロセッサによって実行されるときに、前記プロセッサに予測的測定監視のための方法を実施させるための命令を記憶したコンピュータ可読データを有するメモリと、
を備えるシステムであって、前記方法は、
所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することと、
第１の埋め込みのセットを生成することであって、前記第１の埋め込みのセットは、（ａ）前記所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）前記１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）前記履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む、ことと、
第２の埋め込みのセットを生成することであって、前記第２の埋め込みのセットは、（ａ）前記ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された前記所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）前記所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）前記観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む、ことと、
前記第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することと、
前記第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することと、
前記履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することと、
前記中間履歴特徴及び前記入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することと、
を含み、
前記予測される測定値データは、前記ステーションシーケンス内の前記ステーションサブシーケンス後の次のステーションにおける前記所与の部品の次の測定値データを含む、
システム。
前記プロセッサとデータ通信し、前記プロセッサによって実行されるときに、前記プロセッサに予測的測定監視のための方法を実施させるための命令を記憶したコンピュータ可読データを有するメモリと、
を備えるシステムであって、前記方法は、
所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することと、
第１の埋め込みのセットを生成することであって、前記第１の埋め込みのセットは、（ａ）前記所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）前記１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）前記履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む、ことと、
第２の埋め込みのセットを生成することであって、前記第２の埋め込みのセットは、（ａ）前記ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された前記所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）前記所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）前記観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む、ことと、
前記第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することと、
前記第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することと、
前記履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することと、
前記中間履歴特徴及び前記入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することと、
を含み、
前記予測される測定値データは、前記ステーションシーケンス内の前記ステーションサブシーケンス後の次のステーションにおける前記所与の部品の次の測定値データを含む、
システム。
【請求項9】
前記履歴測定値データは、マルチモーダルセンサデータに基づいており、
前記観察された測定値データは、マルチモーダルセンサデータに基づいており、
前記予測される測定値データは、マルチモーダルセンサデータに基づいている、
請求項８に記載のシステム。
前記観察された測定値データは、マルチモーダルセンサデータに基づいており、
前記予測される測定値データは、マルチモーダルセンサデータに基づいている、
請求項８に記載のシステム。
【請求項10】
変換器モデルが、前記符号化ネットワーク及び前記復号ネットワークを含む、
請求項８に記載のシステム。
請求項８に記載のシステム。
【請求項11】
前記方法は、さらに、
グラウンドトゥルース測定値データと前記予測される測定値データとに基づいて損失関数を評価することにより、損失データを生成することと、
前記損失データに基づいて前記変換器モデルのパラメータを更新することと、
を含み、
前記グラウンドトゥルース測定値データは、前記次のステーションにおける前記所与の部品の次の観察された測定値データを含む、
請求項１０に記載のシステム。
グラウンドトゥルース測定値データと前記予測される測定値データとに基づいて損失関数を評価することにより、損失データを生成することと、
前記損失データに基づいて前記変換器モデルのパラメータを更新することと、
を含み、
前記グラウンドトゥルース測定値データは、前記次のステーションにおける前記所与の部品の次の観察された測定値データを含む、
請求項１０に記載のシステム。
【請求項12】
前記方法は、さらに、
前記復号ネットワークに、クエリ、キー及び値を適用すること
を含み、
前記クエリは、前記入力埋め込みシーケンスに基づいて計算され、
前記キーは、前記中間履歴特徴に基づいて計算され、
前記値は、前記中間履歴特徴に基づいて計算される、
請求項１０に記載のシステム。
前記復号ネットワークに、クエリ、キー及び値を適用すること
を含み、
前記クエリは、前記入力埋め込みシーケンスに基づいて計算され、
前記キーは、前記中間履歴特徴に基づいて計算され、
前記値は、前記中間履歴特徴に基づいて計算される、
請求項１０に記載のシステム。
【請求項13】
前記方法は、さらに、
前記履歴埋め込みシーケンスと位置埋め込みとを結合して、中間埋め込みデータを生成することと、
前記中間埋め込みデータに１つ又は複数の自己アテンションネットワークを適用することによって前記中間履歴特徴を生成するステップと、
を含み、
前記位置埋め込みは、前記履歴埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の自己アテンションネットワークは、前記中間埋め込みデータを符号化して、前記中間履歴特徴を生成する、
請求項８に記載のシステム。
前記履歴埋め込みシーケンスと位置埋め込みとを結合して、中間埋め込みデータを生成することと、
前記中間埋め込みデータに１つ又は複数の自己アテンションネットワークを適用することによって前記中間履歴特徴を生成するステップと、
を含み、
前記位置埋め込みは、前記履歴埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の自己アテンションネットワークは、前記中間埋め込みデータを符号化して、前記中間履歴特徴を生成する、
請求項８に記載のシステム。
【請求項14】
前記方法は、さらに、
前記入力埋め込みシーケンスと位置埋め込みとを結合して、予測される埋め込みデータを生成することと、
前記履歴特徴と共に前記予測される埋め込みデータに１つ又は複数の相互アテンションネットワークを適用することによって前記予測される測定値データを生成することと、
を含み、
前記位置埋め込みは、前記入力埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の相互アテンションネットワークは、前記履歴特徴と共に前記予測される埋め込みデータを復号して、前記予測される測定値データを生成する、
請求項８に記載のシステム。
前記入力埋め込みシーケンスと位置埋め込みとを結合して、予測される埋め込みデータを生成することと、
前記履歴特徴と共に前記予測される埋め込みデータに１つ又は複数の相互アテンションネットワークを適用することによって前記予測される測定値データを生成することと、
を含み、
前記位置埋め込みは、前記入力埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の相互アテンションネットワークは、前記履歴特徴と共に前記予測される埋め込みデータを復号して、前記予測される測定値データを生成する、
請求項８に記載のシステム。
【請求項15】
プロセッサによって実行されるときに、前記プロセッサに予測的測定監視のための方法を実施させるための命令を含むコンピュータ可読データが格納された非一時的コンピュータ可読媒体であって、前記方法は、
所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することと、
第１の埋め込みのセットを生成することであって、前記第１の埋め込みのセットは、（ａ）前記所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）前記１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）前記履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む、ことと、
第２の埋め込みのセットを生成することであって、前記第２の埋め込みのセットは、（ａ）前記ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された前記所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）前記所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）前記観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む、ことと、
前記第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することと、
前記第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することと、
前記履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することと、
前記中間履歴特徴及び前記入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することと、
を含み、
前記予測される測定値データは、前記ステーションシーケンス内の前記ステーションサブシーケンス後の次のステーションにおける前記所与の部品の次の測定値データを含む、
非一時的コンピュータ可読媒体。
所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することと、
第１の埋め込みのセットを生成することであって、前記第１の埋め込みのセットは、（ａ）前記所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）前記１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）前記履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む、ことと、
第２の埋め込みのセットを生成することであって、前記第２の埋め込みのセットは、（ａ）前記ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された前記所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）前記所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）前記観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む、ことと、
前記第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することと、
前記第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することと、
前記履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することと、
前記中間履歴特徴及び前記入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することと、
を含み、
前記予測される測定値データは、前記ステーションシーケンス内の前記ステーションサブシーケンス後の次のステーションにおける前記所与の部品の次の測定値データを含む、
非一時的コンピュータ可読媒体。
【請求項16】
変換器モデルが、前記符号化ネットワーク及び前記復号ネットワークを含む、請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記方法は、さらに、
グラウンドトゥルース測定値データと前記予測される測定値データとに基づいて損失関数を評価することにより、損失データを生成することと、
前記損失データに基づいて前記変換器モデルのパラメータを更新することと、
を含み、
前記グラウンドトゥルース測定値データは、前記次のステーションにおける前記所与の部品の次の観察された測定値データを含む、
請求項１６に記載の非一時的コンピュータ可読媒体。
グラウンドトゥルース測定値データと前記予測される測定値データとに基づいて損失関数を評価することにより、損失データを生成することと、
前記損失データに基づいて前記変換器モデルのパラメータを更新することと、
を含み、
前記グラウンドトゥルース測定値データは、前記次のステーションにおける前記所与の部品の次の観察された測定値データを含む、
請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記方法は、さらに、
前記復号ネットワークに、クエリ、キー及び値を適用すること
を含み、
前記クエリは、前記入力埋め込みシーケンスに基づいて計算され、
前記キーは、前記中間履歴特徴に基づいて計算され、
前記値は、前記中間履歴特徴に基づいて計算される、
請求項１６に記載の非一時的コンピュータ可読媒体。
前記復号ネットワークに、クエリ、キー及び値を適用すること
を含み、
前記クエリは、前記入力埋め込みシーケンスに基づいて計算され、
前記キーは、前記中間履歴特徴に基づいて計算され、
前記値は、前記中間履歴特徴に基づいて計算される、
請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記方法は、さらに、
前記履歴埋め込みシーケンスと位置埋め込みとを結合して、中間埋め込みデータを生成することと、
前記中間埋め込みデータに１つ又は複数の自己アテンションネットワークを適用することによって前記中間履歴特徴を生成するステップと、
を含み、
前記位置埋め込みは、前記履歴埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の自己アテンションネットワークが、前記中間埋め込みデータを符号化して、前記中間履歴特徴を生成する、
請求項１５に記載の非一時的コンピュータ可読媒体。
前記履歴埋め込みシーケンスと位置埋め込みとを結合して、中間埋め込みデータを生成することと、
前記中間埋め込みデータに１つ又は複数の自己アテンションネットワークを適用することによって前記中間履歴特徴を生成するステップと、
を含み、
前記位置埋め込みは、前記履歴埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の自己アテンションネットワークが、前記中間埋め込みデータを符号化して、前記中間履歴特徴を生成する、
請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記方法は、さらに、
前記入力埋め込みシーケンスと位置埋め込みとを結合して、予測される埋め込みデータを生成することと、
前記履歴特徴と共に前記予測される埋め込みデータに１つ又は複数の相互アテンションネットワークを適用することによって前記予測される測定値データを生成することと、
を含み、
前記位置埋め込みは、前記入力埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の相互アテンションネットワークは、前記履歴特徴と共に前記予測される埋め込みデータを復号して、前記予測される測定値データを生成する、
請求項１６に記載の非一時的コンピュータ可読媒体。
前記入力埋め込みシーケンスと位置埋め込みとを結合して、予測される埋め込みデータを生成することと、
前記履歴特徴と共に前記予測される埋め込みデータに１つ又は複数の相互アテンションネットワークを適用することによって前記予測される測定値データを生成することと、
を含み、
前記位置埋め込みは、前記入力埋め込みシーケンスの順位付け及び位置依存性に関しており、
前記１つ又は複数の相互アテンションネットワークは、前記履歴特徴と共に前記予測される埋め込みデータを復号して、前記予測される測定値データを生成する、
請求項１６に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、全体的には予測的保守に関し、より具体的には産業用機械及び／又は製品部品の予測的監視のためのシーケンスモデリングを行う機械学習システムに関する。
【背景技術】
【0002】
背景
産業製造プロセスは、特定の製品を生産するために特定の順序で使用される、産業機械を備えた複数のワークステーションを含み得る。例えば、このような産業製造プロセスは、典型的には組み立て工場において使用されている。望ましくないことに、１つ又は複数の産業用機械が満足のいくレベルで動作し得ない事例、又は、完全に故障し得る事例が存在する。このような機械の故障は、低グレードの製品、不完全な製品及び／又は産業製造プロセスにおける混乱、並びに、リソース、時間などにおける大きい損失を生じさせる可能性がある。
産業製造プロセスは、特定の製品を生産するために特定の順序で使用される、産業機械を備えた複数のワークステーションを含み得る。例えば、このような産業製造プロセスは、典型的には組み立て工場において使用されている。望ましくないことに、１つ又は複数の産業用機械が満足のいくレベルで動作し得ない事例、又は、完全に故障し得る事例が存在する。このような機械の故障は、低グレードの製品、不完全な製品及び／又は産業製造プロセスにおける混乱、並びに、リソース、時間などにおける大きい損失を生じさせる可能性がある。
【発明の概要】
【課題を解決するための手段】
【0003】
概要
以下は、詳細に後述する特定の実施形態の概要である。説明する態様は、単にこれらの特定の実施形態の簡単な概要を読者に提供するために提示するものにすぎず、これらの態様の説明は本開示の範囲の限定を意図するものではない。実際に、本開示は、下記に明示されていない可能性のある様々な態様を包含し得る。
以下は、詳細に後述する特定の実施形態の概要である。説明する態様は、単にこれらの特定の実施形態の簡単な概要を読者に提供するために提示するものにすぎず、これらの態様の説明は本開示の範囲の限定を意図するものではない。実際に、本開示は、下記に明示されていない可能性のある様々な態様を包含し得る。
【0004】
少なくとも１つの態様によれば、コンピュータ実装された方法は、所与の部品が移動（traverse）する複数のステーションを含むステーションシーケンスを確立することを含む。方法は、第１の埋め込みのセットを生成することを含む。第１の埋め込みのセットは、（ａ）所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む。方法は、第２の埋め込みのセットを生成することを含む。第２の埋め込みのセットは、（ａ）ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む。方法は、第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することを含む。方法は、第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することを含む。方法は、履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することを含む。方法は、中間履歴特徴及び入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することを含む。予測される測定値データは、ステーションシーケンス内のステーションサブシーケンス後の次のステーションにおける所与の部品の次の測定値データを含む。
【0005】
少なくとも１つの態様によれば、システムは、プロセッサとメモリとを含む。メモリは、プロセッサとデータ通信する。メモリは、プロセッサによって実行されるときに、当該プロセッサに方法を実施させるための命令を記憶したコンピュータ可読データを有する。方法は、所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することを含む。方法は、第１の埋め込みのセットを生成することを含む。第１の埋め込みのセットは、（ａ）所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む。方法は、第２の埋め込みのセットを生成することを含む。第２の埋め込みのセットは、（ａ）ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む。方法は、第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することを含む。方法は、第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することを含む。方法は、履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することを含む。方法は、中間履歴特徴及び入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することを含む。予測される測定値データは、ステーションシーケンス内のステーションサブシーケンス後の次のステーションにおける所与の部品の次の測定値データを含む。
【0006】
少なくとも１つの態様によれば、プロセッサによって実行されるときに、当該プロセッサに方法を実施させるための命令を含むコンピュータ可読データを、非一時的コンピュータ可読媒体が格納している。当該方法は、所与の部品が移動する複数のステーションを含むステーションシーケンスを確立することを含む。当該方法は、第１の埋め込みのセットを生成することを含む。第１の埋め込みのセットは、（ａ）所与の部品の前に複数のステーションを移動した１つ又は複数の他の部品の属性に関する履歴測定値データに基づく履歴測定値埋め込み、（ｂ）１つ又は複数の他の部品の１つ又は複数の履歴部品識別子に基づく履歴部品識別子埋め込み、及び、（ｃ）履歴測定値データに対応する履歴ステーション識別子に基づく履歴ステーション識別子埋め込みを含む。当該方法は、第２の埋め込みのセットを生成することを含む。第２の埋め込みのセットは、（ａ）ステーションシーケンスのステーションサブシーケンスの各ステーションにおける１つ又は複数のセンサによって取得された所与の部品の属性に関する観察された測定値データに基づく測定値埋め込み、（ｂ）所与の部品の部品識別子に基づく部品識別子埋め込み、及び、（ｃ）観察された測定値データに対応するステーション識別子に基づくステーション識別子埋め込みを含む。当該方法は、第１の埋め込みのセットを連結することによって、履歴埋め込みシーケンスを生成することを含む。当該方法は、第２の埋め込みのセットを連結することによって、入力埋め込みシーケンスを生成することを含む。当該方法は、履歴埋め込みシーケンスに基づいて、符号化ネットワークを介して、中間履歴特徴を生成することを含む。当該方法は、中間履歴特徴及び入力埋め込みシーケンスに基づいて、復号ネットワークを介して、予測される測定値データを生成することを含む。予測される測定値データは、ステーションシーケンス内のステーションサブシーケンス後の次のステーションにおける所与の部品の次の測定値データを含む。
【0007】
本発明の上記の特徴及び他の特徴、態様及び利点を添付の図面に即した以下の詳細な説明において論じるが、その全体を通して、同様の符号は、同様の又は類似の部品を表すものとする。
【図面の簡単な説明】
【0008】
【図1】本開示の例示的な一実施形態による、予測的測定監視のためのシステムの一例を示す図である。
【発明を実施するための形態】
【0009】
詳細な説明
本明細書において図示し例を用いて説明する実施形態及びその利点の多くは、前述の説明によって理解され、開示の主題から逸脱することなく、又は、その利点の１つ又は複数を犠牲にすることなく、各構成要素の形態、構成及び配置に様々な変更を加えることができることが明らかである。実際には、これらの実施形態のうちの記載の形態は、単なる説明にすぎない。これらの実施形態は、様々な修正形態及び代替形態が可能であり、添付の特許請求の範囲はこうした変更を包含及び含有し、開示の特定の形態に限定されるものではなく、むしろ、本開示の趣旨及び範囲に含まれる全ての修正形態、等価形態及び代替形態を包含することを意図している。
本明細書において図示し例を用いて説明する実施形態及びその利点の多くは、前述の説明によって理解され、開示の主題から逸脱することなく、又は、その利点の１つ又は複数を犠牲にすることなく、各構成要素の形態、構成及び配置に様々な変更を加えることができることが明らかである。実際には、これらの実施形態のうちの記載の形態は、単なる説明にすぎない。これらの実施形態は、様々な修正形態及び代替形態が可能であり、添付の特許請求の範囲はこうした変更を包含及び含有し、開示の特定の形態に限定されるものではなく、むしろ、本開示の趣旨及び範囲に含まれる全ての修正形態、等価形態及び代替形態を包含することを意図している。
【0010】
図１は、製造時系列のダイナミクスを学習するシステム１００の非限定的な一例を示す図である。さらに、システム１００は、所与のステーションにおける特定の部品の未来の測定値を予測するように構成されている。システム１００は、少なくとも１つの処理装置を有する少なくとも１つの処理システム１１０を含む。例えば、処理システム１１０は、少なくとも、電子プロセッサ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、任意の適当な処理技術、又は、これらのうちの任意の複数及び任意の組合せを含む。処理システム１１０は、本明細書において説明する機能を提供するように動作可能である。
【0011】
システム１００は、処理システム１１０に実効的に接続されたメモリシステム１２０を含む。例示的な実施形態においては、メモリシステム１２０は、少なくとも１つの非一時的なコンピュータ可読記憶媒体を含み、当該非一時的なコンピュータ可読記憶媒体は、本明細書において開示しているとおり、少なくとも処理システム１１０の動作及び機能の実行を可能にするための様々なデータを記憶し、これらのデータへのアクセスを提供するように構成されている。例示的な実施形態においては、メモリシステム１２０は、単一のメモリデバイス又は複数のメモリデバイスを含む。メモリシステム１２０は、電気的、電子的、磁気的、光学的、半導体、電磁的、又は、システム１００と共に動作可能な任意の適当なストレージ技術を含み得る。例えば、例示的な実施形態においては、メモリシステム１２０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、メモリカード、光学記憶装置、磁気記憶装置、メモリモジュール、任意の適当なタイプのメモリデバイス、又は、これらの任意の複数及びこれらの任意の組合せを含む。処理システム１１０及び／又はシステム１００の他のコンポーネントに関して、メモリシステム１２０は、ローカル、リモート又はこれらの組合せ（例えば、一部がローカルで、一部がリモートのもの）である。例えば、メモリシステム１２０は、処理システム１１０及び／又はシステム１００の他のコンポーネントから遠隔の、少なくともクラウドに基づくストレージシステム（例えば、クラウドに基づくデータベースシステム）を含み得る。
【0012】
メモリシステム１２０は、少なくとも、このメモリシステム１２０に記憶された、予測的測定プログラム１３０、機械学習システム１４０、機械学習データ１５０及び他の関連データ１６０を含む。予測的測定プログラム１３０は、命令を含むコンピュータ可読データを含み、この命令は、処理システム１１０によって実行されるときに、予測される測定値データとも称され得る未来の測定値データの生成が学習されるように、機械学習システム１４０をトレーニング及び／又は使用するように構成されている。コンピュータ可読データは、命令、コード、ルーチン、様々な関連データ、任意のソフトウェア技術、又は、これらのうちの任意の複数及び任意の組合せを含み得る。例示的な実施形態においては、機械学習システム１４０は、変換器（transformer）モデルを含む。また、機械学習データ１５０は、機械学習システム１４０に関する様々なデータを含む。機械学習データ１５０は、トレーニング及び／又は機械学習システム１４０の使用に関連付けられた様々なデータを含む。例えば、機械学習データ１５０は、トレーニングデータ、様々な埋め込みデータ、様々なパラメータデータ、様々な損失データなどを含み得る。その一方で、他の関連データ１６０は、システム１００が本明細書において論じている機能の実行を可能にする様々なデータ（例えば、オペレーティングシステムなど）を提供する。
【0013】
システム１００は、１つ又は複数のセンサシステム１７０を含むように構成されている。センサシステム１７０は、１つ又は複数のセンサを含む。例えば、センサシステム１７０は、イメージセンサ、カメラ、レーダセンサ、光検出及び測距（ＬｉＤＡＲ）センサ、ストラクチャードライトセンサ、熱センサ、深度センサ、超音波センサ、赤外線センサ、モーションセンサ、オーディオセンサ（例えば、マイクロフォン）、重量センサ、圧力センサ、任意の適用可能なセンサ、又は、これらのうちの任意の複数及び任意の組合せを含み得る。センサシステム１７０は、システム１００の１つ又は複数の他のコンポーネント（例えば、処理システム１１０及びメモリシステム１２０）と通信するように動作可能である。例えば、センサシステム１７０からセンサデータが受信されると、センサシステム１７０及び／又は処理システム１１０は、センサフュージョンデータを生成することができる。必要に応じて、処理システム１１０は、センサデータ及び／又はセンサフュージョンデータに対して１つ又は複数のデータ準備操作を実行して、機械学習システム１４０に適した形式（例えば、数値データ）の入力データ（例えば、観察された測定値データ）を提供することができる。センサシステム１７０は、ローカル、リモート又はこれらの組合せ（例えば、一部がローカルで、一部がリモートのもの）である。センサシステム１７０は、所与の部品が移動（traverse）する所与のステーションシーケンスの１つ又は複数のステーションにおける１つ又は複数のセンサを含み得る。付加的に又は代替的に、所与の部品が移動するステーションシーケンスの各ステーションに１つ又は複数のセンサシステム１７０が設けられるものとしてもよい。処理システム１１０は、センサデータを受信すると、予測的測定プログラム１３０、機械学習システム１４０、機械学習データ１５０、他の関連データ１６０又はこれらのうちの任意の複数及び任意の組合せに関連して、当該センサデータを処理するように構成されている。
【0014】
さらに、システム１００は、少なくとも１つの他のシステムコンポーネントを含み得る。例えば、図１に示されているように、メモリシステム１２０はまた、１つ又は複数のシステムコンポーネント（例えば、センサシステム１７０、Ｉ／Ｏデバイス１８０、及び、他の機能モジュール１９０）に関連したシステム１００の動作に関する他の関連データ１６０を記憶するようにも構成されている。さらに、システム１００は、このシステム１００に関連する１つ又は複数のＩ／Ｏデバイス１８０（例えば、ディスプレイデバイス、キーボードデバイス、スピーカデバイスなど）を含むように構成されている。また、システム１００は、システム１００の機能を支援する又はシステム１００の機能に寄与する任意の適当なハードウェア、ソフトウェア又はこれらの組合せなどの他の機能モジュール１９０を含む。例えば、他の機能モジュール１９０は、本明細書において説明しているように、システム１００のシステムコンポーネントが相互に通信することを可能にする通信技術（例えば、有線通信技術、無線通信技術又はこれらの組合せ）を含む。
【0015】
図２は、時間的な順位付けに従った有向グラフモデルのグラフィック表現２００の非限定的な例である。より具体的には、当該グラフィック表現２００では、各黒丸が、特定のステーションに関連する特定の部品に関連付けられたマルチモーダル測定値データ又はマルチモーダル記録を記述している。各黒丸には、特定の部品が特定のステーションにおいてセンサシステム１７０ｉによって測定された時点を示すタイムスタンプも付与されており、ここで、ｉは、１より大きい整数値を表している。例えば、ここでのグラフィック表現２００は、次のような測定イベントを捕捉している。すなわち、部品１は、９：００にステーション２のセンサシステム１７０２の１つ又は複数のセンサによって測定され、９：０５にステーション３のセンサシステム１７０３の１つ又は複数のセンサによって測定されており、部品２は、９：１０にステーション２のセンサシステム１７０２の１つ又は複数のセンサによって測定されており、９：３０にステーション４のセンサシステム１７０４の１つ又は複数のセンサによって測定されており、部品３は、９：００にセンサシステム１７０１の１つ又は複数のセンサによって測定されており、９：１５にステーション３のセンサシステム１７０３の１つ又は複数のセンサによって測定されており、９：３５にステーション４のセンサシステム１７０４の１つ又は複数のセンサによって測定されており、部品４は、９：３０にステーション２のセンサシステム１７０２の１つ又は複数のセンサによって測定されており、９：４０にステーション４のセンサシステム１７０４の１つ又は複数のセンサによって測定されており、部品５は、９：０５にステーション１のセンサシステム１７０１の１つ又は複数のセンサによって測定されており、９：２０にステーション３のセンサシステム１７０３の１つ又は複数のセンサによって測定されている。この点に関して、部品５は、ステーション１及びステーション３のステーションサブシーケンスを通過しており、ステーション１、ステーション３及びステーション４の確立されたステーションシーケンスを完了するためにはさらにステーション４を通過する必要がある。
【0016】
図２には、グラフィック表現２００により、組み立て工場における測定値データ収集の非限定的な例が示されている。他の非限定的な例においては、５つよりも多い若しくは少ない部品及び／又は４つよりも多い若しくは少ないステーションが含まれることもある。グラフ内の矢印は、各部品の時間進行（上方から下方へ）、及び、各ステーションの時間進行（左方から右方へ）を示している。さらに、グラフィック表現２００は、ここでの所与のインスタンスに先行してシステム１００によって捕捉された既知の情報及び／又は観察された測定値を示すために、先行の測定イベントの周囲の不規則な形状を含む。また、グラフィック表現２００は、部品５とステーション４との交点の黒丸の周囲の長方形の形状も含み、これは、ここでの所与のインスタンスにおける欠落情報又は利用不可情報の一例を記述している。
【0017】
図２に示されているように、部品５に関連付けられた製造プロセスは、ステーション１、ステーション３及びステーション４のステーションシーケンスを含む。より具体的には、システム１００は、所与のインスタンスにおいてステーション４における部品５の実際の測定を直接に実行する必要なしに、目標データ２０２（例えば、測定値データ若しくは記録）の比較的正確な予測又は推定を提供するように構成されている。また、システム１００は、部品５がステーション３にある場合に（すなわち、部品５がステーション４に到着する前に）、目標データ２０２のこうした予測又は推定を生成するように構成されている。システム１００は、過去の表現が与えられた場合に、ステーション４に関する部品５の測定又は記録を予測するように構成されている。例えば、機械学習システム１４０は、ステーション１において取得された部品５の観察された測定値データ、ステーション３において取得された部品５の観察された測定値データ、ステーション１において取得された部品３の履歴測定値データ、ステーション３における部品３の履歴測定値データ、ステーション３における部品１の履歴測定値データ、ステーション４における部品４の履歴測定値データ、ステーション４における部品３の履歴測定値、及び、Ｍ個［この場合においては、Ｍ＝４］の先行するステップの場合におけるステーション４での部品２の履歴測定値に基づいて、ステーション４における部品５についての予測データ（１つ又は複数の測定値データ）を生成するように構成されている。このことは、不満足なレベルにあるとみなされる予測される測定値データをシステム１００が生成した場合に、部品５がステーション４へ前進することを防止することができるので、有利である。こうした予測される測定値データを生成するために、システム１００は、以下において論じる機械学習システム１４０を含む。
【0018】
図３は、例示的な実施形態による、トレーニング中の機械学習システム１４０の一例を示す図である。機械学習システム１４０は、所与のステーションにおける特定の部品に関する未来の測定値を予測するように構成されたニューラルネットワークモデルを含む。未来の測定値は、予測的測定値と称されることもある。所与のステーションにおける特定の部品に関する予測される測定値を生成するために、機械学習システム１４０は、先行のステーションにおける部品の測定値と、当該所与のステーションにおいて実行された測定の履歴とを使用する。より具体的には、図３に示されている例においては、機械学習システム１４０は、少なくとも１つの変換器モデルと複数のエンベッダ（embedder）とを含む。変換器モデルは、エンコーダ３００及びデコーダ３０２を含む。複数のエンベッダは、エンコーダに接続された第１のエンベッダのセット３０４と、デコーダ３０２に接続された第２のエンベッダのセット３０６とを含む。こうした構成により、図３に示されているように、変換器モデルが、自己アテンション機構を使用して、所与のステーションのセットにおいて処理された特定の部品に関する測定値表現及び測定値表現間の関係を学習する。さらに、相互アテンション機構を使用して、各ステーションにおける先行の測定からの情報も組み込まれる。
【0019】
機械学習システム１４０のために、システム１００は、様々なデータを部品ビュー軌道／経路（τｋ）ｋ∈Ｋの集合として配置する。各経路τｋは、所定のステーションでの履歴測定値と共に、特定の部品について所定の時間にわたって収集されたスパースマルチモーダル構造測定値のシーケンスであり、すなわち、
である。スパース部品測定値
は、特定のステーションで収集された測定値のタイプに対応する特定のインデクスにおいてのみ評価することができるベクトルである。スパース履歴測定値
は、各ステーションにおけるＭ個の先行の測定値の連続である。Ｄは、全てのステーションにおいて収集することができる全ての可能な測定値の数である。
【数1】
【数2】
【数3】
【0020】
測定値及び／又は測定値データは、バイナリ値、強度値、時系列値（例えば、圧力に対する応答の測定値）、浮動精度数、数列、整数、ブール値、統計の集約、又は、部品の属性情報を提供するデータなどであり得る。測定値データは、ステーションにおける１つ又は複数のセンサからのローセンサデータ、ステーションにおけるセンサからのセンサフュージョンデータ、又は、これらのうちの任意の複数及び任意の組合せに基づくものであってよい。ローセンサデータは、画像データ、ビデオデータ、オーディオデータ、テキストデータ、英数字データ又はこれらのうちの任意の複数及びこれらの任意の組合せを含み得る。処理システム１１０は、ローセンサデータに対して１つ又は複数のデータ準備動作を実行して、機械学習システム１４０への入力としての測定値データを提供するように構成されている。
【0021】
機械学習システム１４０は、未来の測定値の予測／推定に使用される過去の測定値が与えられた場合に未来の測定値の確率分布を学習するためのものである。部品ビュー測定値間の１次マルコフ依存性を仮定すると、測定の同時確率、すなわち、各ステーションにおける所与の履歴測定値
は、部品（ｘ）及び履歴（ｈ）の測定値に関する因数分解の分布として、次の式１で表現されるように表すことができる。これに関して、機械学習システム１４０は、１次仮定を拡張し、変換器モデルを使用して、より高次の時間依存性を展開する。すなわち、
となる。
【数4】
【数5】
【0022】
機械学習システム１４０は、部品ビューシーケンスのセットに関する入力データを含む複数の入力に関与している。１つの部品ビューシーケンスは、ステーションの軌道
に沿って移動している１つの部品を表現している。入力データは、長さ
の各シーケンス
に対するＤ次元の測定値のリスト
を含む。入力データは、各シーケンス
に関連付けられた部品ＩＤのリスト
を含む。入力データは、各シーケンス
に関連付けられたステーションＩＤのリスト
を含む。入力データは、シーケンス内の各ステーションに対するＭ個の過去のステップについての履歴情報を含む。当該履歴情報は、シーケンス
内の各ステーションに対するＭ個の過去の履歴測定値
と、対応する履歴部品ＩＤ
と、対応する履歴ステーションＩＤ
とを含む。
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【数14】
【数15】
【数16】
【数17】
【0023】
第１のエンベッダのセット３０４は、１つ又は複数のエンベッダを含む。第１のエンベッダのセット３０４は、連結されてエンコーダへの入力として供給される対応する埋め込みを生成するように構成されている。例えば、図３においては、第１のエンベッダのセット３０４は、第１のエンベッダ３０４Ａ、第２のエンベッダ３０４Ｂ及び第３のエンベッダ３０４Ｃを含み、これらは、履歴情報を受信してこれを任意の順位付けで配置することができる。履歴部品識別子
が受信されると、第１のエンベッダ３０４Ａが、当該履歴部品識別子
に基づいて履歴部品識別子埋め込みを生成する。履歴ステーション識別子
が受信されると、第２のエンベッダ３０４Ｂが、当該履歴ステーション識別子
に基づいて１つ又は複数の履歴ステーション識別子埋め込みを生成する。履歴測定値
が受信されると、第３のエンベッダ３０４Ｃが、当該履歴測定値
に基づいて履歴測定値埋め込みを生成する。上述した埋め込みのそれぞれが生成された後、システム１００は、履歴測定値埋め込み、履歴部品識別子埋め込み及び履歴ステーション識別子埋め込みを連結することによって、履歴埋め込みシーケンス３０８を生成する。履歴埋め込みシーケンス３０８は、エンコーダ３００のための入力として提供される。
【数18】
【数19】
【数20】
【数21】
【数22】
【数23】
【0024】
第２のエンベッダのセット３０６は、１つ又は複数のエンベッダを含む。第２のエンベッダのセット３０６は、連結されてエンコーダ３００への入力として供給される対応する埋め込みを生成するように構成されている。例えば、図３においては、第２のエンベッダのセット３０６は、第１のエンベッダ３０６Ａ、第２のエンベッダ３０６Ｂ及び第３のエンベッダ３０６Ｃを含み、これらは、履歴情報を受信してこれを任意の順位付けで配置することができる。部品識別子
が受信されると、第１のエンベッダ３０６Ａが、当該部品識別子
に基づいて部品識別子埋め込みを生成する。ステーション識別子
が受信されると、第２のエンベッダ３０６Ｂが、当該ステーション識別子
に基づいて１つ又は複数のステーション識別子埋め込みを生成する。測定値
が受信されると、第３のエンベッダ３０６Ｃが、当該測定値
に基づいて測定値埋め込みを生成する。上述した埋め込みのそれぞれが生成された後、システム１００は、測定値埋め込み、部品識別子埋め込み及びステーション識別子埋め込みを連結することによって、入力埋め込みシーケンス３１０を生成する。入力埋め込みシーケンス３１０は、デコーダ３０２のための入力データとして提供される。
【数24】
【数25】
【数26】
【数27】
【数28】
【数29】
【0025】
エンコーダ３００は、履歴埋め込みシーケンス３０８を入力データとして受信するように構成された符号化ネットワークを含む。エンコーダ３００は、履歴埋め込みシーケンス３０８を入力として受信すると、履歴埋め込みシーケンス３０８と位置埋め込みとを結合する。位置埋め込みによって、変換器モデルは、履歴情報（又は部品ＩＤ、ステーションＩＤ及び観察された測定値データを含む第１の入力ベクトルのセット）の順位付け及び位置依存性を理解することができる。エンコーダ３００は中間埋め込みデータを生成し、この中間埋め込みデータを、自己アテンション層、ドロップアウト層及び線形層を含む自己アテンションネットワークの複数の層へと通過させる。自己アテンション層は、微分可能なニューラルネットワーク層であり、これは、履歴埋め込みシーケンス３０８につきソフトキー値検索を実行して、それぞれ対応するクエリとキーとの類似性によって重み付けされた値の重み付け和と同一次元の出力シーケンスを構築する。例えば、入力埋め込みシーケンス３０８が与えられると、３つのマトリクスであるクエリ（Ｑ）、キー（Ｋ）及び値（Ｖ）への入力の別個の射影が形成される。この場合、自己アテンション層の当該出力シーケンスは値の重み付け和であり、ここでの重みは、それぞれＹ＝ｓｏｆｔｍａｘ（ＱＫＴ）Ｖとしてクエリ及びキーのマトリクスの行列間のソフトな類似性検索である。また、自己アテンションは、出力を残余の接続部に追加して正規化することを伴う。これに関して、エンコーダ３００は、履歴埋め込みシーケンス３０８に基づいて中間履歴特徴３１２を生成するように構成されている。エンコーダ３００は、デコーダ３０２に接続されている。中間履歴特徴３１２は、エンコーダ３００からデコーダ３０２へ送信される。
【0026】
デコーダ３０２は、中間履歴特徴３１２及び入力埋め込みシーケンス３１０を入力データとして受信するように構成された復号ネットワークを含む。デコーダ３０２は、入力埋め込みシーケンス３１０を受信すると、当該入力埋め込みシーケンス３１０と位置埋め込みとを結合する。位置埋め込みによって、変換器モデルは、観察情報（又は部品ＩＤ、ステーションＩＤ及び観察された測定値データを含む第２の入力ベクトルのセット）の順位付け及び位置依存性を理解することができる。デコーダ３０２は、予測される埋め込みデータを生成し、この予測される埋め込みデータを、中間履歴特徴３１２と共に、相互アテンションネットワークの複数の層へと通過させる。この点に関して、相互アテンションとは、同一次元の２つの異なる埋め込みシーケンスを統合するアテンション機構を指す。当該２つの埋め込みシーケンスは、それぞれ異なるモダリティの埋め込みシーケンス、例えば、画像及びテキストであるものとしてよい。２つの埋め込みシーケンスＸ１（例えば、中間履歴特徴３１２）及びＸ２（例えば、入力埋め込みシーケンス３１０）が与えられると、それぞれ異なる射影行列を使用してＸ１（例えば、中間履歴特徴３１２）からキー及び値が計算され、一方、Ｘ２（例えば、入力埋め込みシーケンス３１０）からクエリが計算される。次いで、出力シーケンスが自己アテンション機構と同様のステップに従って計算され、ここで、初期出力は、式２、すなわち、
で表される。
【数30】
【0027】
デコーダ３０２は、ドロップアウト層及び線形層も含む。復号ネットワークにおいては、キー及び値は、中間履歴特徴３１２に基づいて計算され、一方、クエリは、入力埋め込みシーケンス３１０に基づいて計算される。デコーダ３０２は、次の時点の予測を模倣した入力によって、デコーダの入力（例えば、観察された測定値、部品識別子及びステーション識別子を含む、観察された入力ベクトル）のシフトされたバージョンを生成するように構成されている。デコーダ３０２は、所与のステーション（例えば、特定の部品が移動するステーションシーケンスの次のステーション）における特定の部品に関する少なくとも１つの予測される測定値を含む少なくとも１つの出力データを生成するように構成されている。予測される測定値は、１つ又は複数の測定値データを含むベクトルである。
【0028】
まとめると、上述したように、機械学習システム１４０は、部品ビューシーケンスのために構成されており、少なくとも、（ｉ）変換（transformer）エンコーダ３００と（ｉｉ）変換（transformer）デコーダ３０２とを含む。エンコーダ３００は、履歴埋め込みシーケンス３０８に適用されて、中間履歴特徴３１２を生成する。エンコーダ３００は、線形ネットワーク及びこれに続く因果（causal）変換器（transformer）ブロックの複数の層を使用して、自己アテンションを履歴埋め込みシーケンス３０８に適用する。デコーダネットワークにおいては、入力埋め込みシーケンス３１０と中間履歴特徴３１２とが相互アテンション機構を使用して結合される。入力埋め込みシーケンス３１０は、一連の因果（causal）自己アテンション層を通って、相互アテンション層に対するクエリを生成する。同時に、中間履歴特徴３１２は、キー及び値の双方として、相互アテンション層に供給される。相互アテンション層の出力は、さらなる処理、例えば、残余の接続部との結合、完全接続型のネットワークの通過及びこれによる最終出力（すなわち、予測される測定値データ）への変換などにかけられる。シーケンス中に予測される未来値を隠蔽する因果（causal）マスクを相互アテンション層に導入することにより、デコーダ３０２の因果律が誘導される。エンコーダ３００及びデコーダ３０２には、正則化のためにネットワークの種々のレベルにおいてドロップアウト層が設けられている。加えて、変換器モデルはさらに少なくとも１つのマルチヘッドアテンション層を含むものとしてよく、ここで、各キー、値及びクエリは、付加的な射影重み行列で乗算される。得られる埋め込みは、特徴次元に沿ってそれぞれ異なるヘッドへ分解される。全てのヘッドは一意のアテンション機構を並列に通過し、得られた出力が連結されて共に戻される。
【0029】
さらに、トレーニング中、図３に示されているように、処理システム１１０は、グラウンドトゥルースデータ（例えば、対応する観察された測定値データ）と予測される測定値データとの間の比較（又は距離）に基づいて損失データを生成する。損失データは、損失関数によって生成される。より具体的には、この例においては、損失関数は、平均二乗誤差（ＭＳＥ）損失関数３１４、又は、グラウンドトゥルース測定値とこれに対応する予測される測定値とを比較する任意の適用可能な損失関数である。処理システム１１０は、損失データに基づいて変換器モデルのパラメータを更新する。一度トレーニングされると、機械学習システム１４０は、出力、使用、デプロイ又はこれらのうちの任意の複数及び任意の組合せのために構成される。
【0030】
本開示において説明したように、システム１００は、いくつかの利点及び利益を提供する。例えば、システム１００は、１次仮定を拡張し、変換器（transformer）に基づくモデルを使用して、より高次の時間依存性を展開する。変換器モデルは、自己アテンション機構を使用して、所与のステーションのセットにおいて処理される特定の部品に関する測定値表現及び測定値表現間の関係を学習する。さらに、相互アテンション機構を使用して、各ステーションの先行の測定値からの情報が組み込まれる。システム１００は、製造時系列のダイナミクスを学習するために変換器モデルをトレーニングする。一度トレーニングされると、変換器モデルは、製造時系列に関する測定値予測を生成するように構成されている。
【0031】
また、システム１００は、製造センサデータをモデリングし、製造プロセスへの有意な洞察を提供する。また、機械学習システム１４０は、予想のためのセンサ時系列データに基づいており、所与のインスタンスにおいて高価であって時間のかかる測定を実行する必要性を軽減することができる、ロバストな予測モデルである。機械学習システム１４０は、データパターンに関する仮定を行わない。機械学習システム１４０は、いくつかの、マルコフに基づくモデルと比較して、データ及びタスクの特性に関連付けられた誘導性バイアスを減少させることができる。
【0032】
すなわち、上記の説明は例示であって限定を意図しておらず、特定の用途及びその要件のコンテキストにおいて提供されるものである。当業者であれば、上記の説明から、本発明が様々な形態で実施可能であること、及び、様々な実施形態が単独で又は組み合わせて実施可能であることを理解できよう。したがって、本発明の実施形態をその特定の例に即して説明してきたが、本明細書において規定した全般的な方式は、説明した実施形態の趣旨及び範囲から逸脱することなく、他の実施形態及び他の用途にも適用することができ、本発明の実施形態及び／又は方法の真の範囲は、図示及び説明の実施形態に限定されるものではない。なぜなら、図面、明細書及び以下の特許請求の範囲を検討すれば、当業者に様々な修正形態が明らかとなるからである。付加的に又は代替的に、構成要素及び機能を、説明した様々な実施形態とは異なる形式で分離又は結合することができ、また、異なる用語を使用して説明することもできる。これらの及び他の変形、変更、追加及び改良も、以下の特許請求の範囲に規定される本開示の範囲内に含まれ得る。
【図1】
【図2】
【図3】
【外国語明細書】