▶ アクセンチュア グローバル ソリューションズ リミテッドの特許一覧
特開2022-162994製造システムにおける多変量時系列データの予測方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162994
(43)【公開日】2022-10-25
(54)【発明の名称】製造システムにおける多変量時系列データの予測方法およびシステム
(51)【国際特許分類】
G05B 19/418 20060101AFI20221018BHJP
G06N 20/00 20190101ALI20221018BHJP
G05B 23/02 20060101ALI20221018BHJP
【ＦＩ】
G05B19/418 Z
G06N20/00
G05B23/02 R
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022065251
(22)【出願日】2022-04-11
(31)【優先権主張番号】17/229,306
(32)【優先日】2021-04-13
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516172237
【氏名又は名称】アクセンチュア グローバル ソリューションズ リミテッド
(74)【代理人】
【識別番号】100102406
【弁理士】
【氏名又は名称】黒田 健二
(74)【代理人】
【識別番号】100100240
【弁理士】
【氏名又は名称】松本 孝
(72)【発明者】
【氏名】村井 誠
(72)【発明者】
【氏名】森賀 新
(72)【発明者】
【氏名】須山 敦志
(72)【発明者】
【氏名】林 素明
(72)【発明者】
【氏名】工藤 卓哉
(57)【要約】 （修正有）
【課題】多変量時系列を使用して製造システムを制御する方法について記載する。
【解決手段】製造システム内のデバイスからのデータを記録するステップと、記録済みのデータを記憶するステップと、第１の時間ウィンドウ内で欠測値をベイズモデルを使用して補間するステップと、補間された値を予測データとして記憶するステップと、第２の時間ウィンドウ内に入るデータを読み込むステップと、第２の時間ウィンドウ内に入る予測データが利用可能でない予測データを読み込むステップと、読み込まれたデータおよび予測データを使用してベイズモデルのパラメータを最適化するステップと、読み込まれたデータおよび予測データが利用可能でない値をベイズモデルを使用して予測するステップと、予測された値を予測データとして記憶するステップと、記録済みのデータを生成しているデバイスの１つ以上を第２の時間ウィンドウ内の予測データに基づき調整する。
【選択図】図５
【解決手段】製造システム内のデバイスからのデータを記録するステップと、記録済みのデータを記憶するステップと、第１の時間ウィンドウ内で欠測値をベイズモデルを使用して補間するステップと、補間された値を予測データとして記憶するステップと、第２の時間ウィンドウ内に入るデータを読み込むステップと、第２の時間ウィンドウ内に入る予測データが利用可能でない予測データを読み込むステップと、読み込まれたデータおよび予測データを使用してベイズモデルのパラメータを最適化するステップと、読み込まれたデータおよび予測データが利用可能でない値をベイズモデルを使用して予測するステップと、予測された値を予測データとして記憶するステップと、記録済みのデータを生成しているデバイスの１つ以上を第２の時間ウィンドウ内の予測データに基づき調整する。
【選択図】図５
【特許請求の範囲】
【請求項1】
多変量時系列を使用して製造システムを制御する方法であって、
前記製造システム内の１つ以上のデバイスからのデータを記録するステップと、
前記記録済みのデータを複数の時系列としてデータストレージに記憶するステップであって、各時系列は、第１の時間に対応する第１の記録済みの値および前記時系列の最後に対応する最終の記録済みの値を有する、前記データストレージに記憶するステップと、
第１の時間ウィンドウ内で、前記複数の時系列内の欠測値をベイズモデルを使用して補間するステップであって、前記欠測値は、個々の前記時系列の前記第１から最後の時間の間に入る、前記補間するステップと、
前記補間された値を予測データとして予測ストレージに記憶するステップであって、前記補間された値は、補間された各値の不確実性を含む、前記補間された値を予測データとして予測ストレージに記憶するステップと、
第２の時間ウィンドウ内に入る前記記録済みのデータを前記データストレージから読み込むステップと、
前記第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、前記予測ストレージから読み込むステップと、
前記読み込まれた記録済みのデータおよび前記予測データを使用して前記ベイズモデルのパラメータを最適化するステップと、
それぞれの前記時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない前記値を、前記ベイズモデルを使用して予測するステップと、
前記予測された値を予測データとして前記予測ストレージに記憶するステップであって、前記予測値は、各予測値の不確実性を含む、前記予測された値を予測データとして前記予測ストレージに記憶するステップと、
前記記録済みのデータを生成している前記デバイスのうちの１つ以上を、前記第２の時間ウィンドウ内の前記予測データに基づき調整するステップと
を含む、方法。
前記製造システム内の１つ以上のデバイスからのデータを記録するステップと、
前記記録済みのデータを複数の時系列としてデータストレージに記憶するステップであって、各時系列は、第１の時間に対応する第１の記録済みの値および前記時系列の最後に対応する最終の記録済みの値を有する、前記データストレージに記憶するステップと、
第１の時間ウィンドウ内で、前記複数の時系列内の欠測値をベイズモデルを使用して補間するステップであって、前記欠測値は、個々の前記時系列の前記第１から最後の時間の間に入る、前記補間するステップと、
前記補間された値を予測データとして予測ストレージに記憶するステップであって、前記補間された値は、補間された各値の不確実性を含む、前記補間された値を予測データとして予測ストレージに記憶するステップと、
第２の時間ウィンドウ内に入る前記記録済みのデータを前記データストレージから読み込むステップと、
前記第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、前記予測ストレージから読み込むステップと、
前記読み込まれた記録済みのデータおよび前記予測データを使用して前記ベイズモデルのパラメータを最適化するステップと、
それぞれの前記時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない前記値を、前記ベイズモデルを使用して予測するステップと、
前記予測された値を予測データとして前記予測ストレージに記憶するステップであって、前記予測値は、各予測値の不確実性を含む、前記予測された値を予測データとして前記予測ストレージに記憶するステップと、
前記記録済みのデータを生成している前記デバイスのうちの１つ以上を、前記第２の時間ウィンドウ内の前記予測データに基づき調整するステップと
を含む、方法。
【請求項2】
前記予測データは、統計的分布または密度関数として記憶される、請求項１に記載の方法。
【請求項3】
前記予測データは、確率的サンプルとして記憶され、前記予測データを読み込むステップは、前記確率的サンプルのランダムサンプルを選択するステップを含む、請求項１に記載の方法。
【請求項4】
前記読み込まれた記録済みのデータおよび予測データの周辺尤度が取扱い可能であれば、前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度を演算するステップと、
前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度が取扱い可能でなければ、前記読み込まれた記録済みのデータおよび予測データの条件付き密度を演算するステップと
をさらに含む、請求項１に記載の方法。
前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度が取扱い可能でなければ、前記読み込まれた記録済みのデータおよび予測データの条件付き密度を演算するステップと
をさらに含む、請求項１に記載の方法。
【請求項5】
前記第２の時間ウィンドウ内の前記読み込まれた記録済みのデータ点それぞれについて条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）を演算するステップ
をさらに含む、請求項１に記載の方法。
をさらに含む、請求項１に記載の方法。
【請求項6】
一連のパラメータ値に関して条件付き密度および演算コストを含むコスト関数を演算するステップと、
前記コスト関数の最低値に対応するように前記パラメータを調整するステップと
をさらに含む、請求項１に記載の方法。
前記コスト関数の最低値に対応するように前記パラメータを調整するステップと
をさらに含む、請求項１に記載の方法。
【請求項7】
前記１つ以上のデバイスを調整するステップは、前記１つ以上のデバイスのメンテナンスを実行またはスケジュールするステップを含む、請求項１に記載の方法。
【請求項8】
前記１つ以上のデバイスを調整するステップは、前記１つ以上のデバイスの動作設定を調整するステップを含む、請求項１に記載の方法。
【請求項9】
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合され命令が記憶されたコンピュータ可読ストレージデバイスと
を含むシステムであって、前記命令は、前記１つ以上のプロセッサにより実行されると前記１つ以上のプロセッサに動作を実行させ、前記動作は、
製造システム内の１つ以上のデバイスからのデータを記録することと、
前記記録済みのデータを複数の時系列としてデータストレージに記憶することであって、各時系列は、第１の時間に対応する第１の記録済みの値および前記時系列の最後に対応する最終の記録済みの値を有する、前記データストレージに記憶することと、
第１の時間ウィンドウ内で、前記複数の時系列内の欠測値をベイズモデルを使用して補間することであって、前記欠測値は、個々の前記時系列の前記第１から最後の時間の間に入る、前記補間することと、
前記補間された値を予測データとして予測ストレージに記憶することであって、前記補間された値は、補間された各値の不確実性を含む、前記補間された値を予測データとして予測ストレージに記憶することと、
第２の時間ウィンドウ内に入る前記記録済みのデータを前記データストレージから読み込むことと、
前記第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、前記予測ストレージから読み込むことと、
前記読み込まれた記録済みのデータおよび前記予測データを使用して前記ベイズモデルのパラメータを最適化することと、
それぞれの前記時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない前記値を、前記ベイズモデルを使用して予測することと、
前記予測された値を予測データとして前記予測ストレージに記憶することであって、前記予測値は、各予測値の不確実性を含む、前記予測された値を予測データとして前記予測ストレージに記憶することと、
前記記録済みのデータを生成している前記デバイスのうちの１つ以上を、前記第２の時間ウィンドウ内の前記予測データに基づき調整することと
を含む、システム。
前記１つ以上のプロセッサに結合され命令が記憶されたコンピュータ可読ストレージデバイスと
を含むシステムであって、前記命令は、前記１つ以上のプロセッサにより実行されると前記１つ以上のプロセッサに動作を実行させ、前記動作は、
製造システム内の１つ以上のデバイスからのデータを記録することと、
前記記録済みのデータを複数の時系列としてデータストレージに記憶することであって、各時系列は、第１の時間に対応する第１の記録済みの値および前記時系列の最後に対応する最終の記録済みの値を有する、前記データストレージに記憶することと、
第１の時間ウィンドウ内で、前記複数の時系列内の欠測値をベイズモデルを使用して補間することであって、前記欠測値は、個々の前記時系列の前記第１から最後の時間の間に入る、前記補間することと、
前記補間された値を予測データとして予測ストレージに記憶することであって、前記補間された値は、補間された各値の不確実性を含む、前記補間された値を予測データとして予測ストレージに記憶することと、
第２の時間ウィンドウ内に入る前記記録済みのデータを前記データストレージから読み込むことと、
前記第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、前記予測ストレージから読み込むことと、
前記読み込まれた記録済みのデータおよび前記予測データを使用して前記ベイズモデルのパラメータを最適化することと、
それぞれの前記時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない前記値を、前記ベイズモデルを使用して予測することと、
前記予測された値を予測データとして前記予測ストレージに記憶することであって、前記予測値は、各予測値の不確実性を含む、前記予測された値を予測データとして前記予測ストレージに記憶することと、
前記記録済みのデータを生成している前記デバイスのうちの１つ以上を、前記第２の時間ウィンドウ内の前記予測データに基づき調整することと
を含む、システム。
【請求項10】
前記動作は、
前記予測データを、統計的分布または密度関数として記憶すること
をさらに含む、請求項９に記載のシステム。
前記予測データを、統計的分布または密度関数として記憶すること
をさらに含む、請求項９に記載のシステム。
【請求項11】
前記動作は、
確率的サンプルとして記憶された前記予測データを記憶することと、
前記確率的サンプルのランダムサンプルを選択することにより前記予測データを読み込むことと
をさらに含む、請求項９に記載のシステム。
確率的サンプルとして記憶された前記予測データを記憶することと、
前記確率的サンプルのランダムサンプルを選択することにより前記予測データを読み込むことと
をさらに含む、請求項９に記載のシステム。
【請求項12】
前記動作は、
前記読み込まれた記録済みのデータおよび予測データの周辺尤度が取扱い可能であれば、前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度を演算することと、
前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度が取扱い可能でなければ、前記読み込まれた記録済みのデータおよび予測データの条件付き密度を演算することと
をさらに含む、請求項９に記載のシステム。
前記読み込まれた記録済みのデータおよび予測データの周辺尤度が取扱い可能であれば、前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度を演算することと、
前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度が取扱い可能でなければ、前記読み込まれた記録済みのデータおよび予測データの条件付き密度を演算することと
をさらに含む、請求項９に記載のシステム。
【請求項13】
前記動作は、
前記第２の時間ウィンドウ内の前記読み込まれた記録済みのデータ点それぞれについて条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）を演算すること
をさらに含む、請求項９に記載のシステム。
前記第２の時間ウィンドウ内の前記読み込まれた記録済みのデータ点それぞれについて条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）を演算すること
をさらに含む、請求項９に記載のシステム。
【請求項14】
前記動作は、
一連のパラメータ値に関して条件付き密度および演算コストを含むコスト関数を演算することと、
前記コスト関数の最低値に対応するように前記パラメータを調整することと
をさらに含む、請求項９に記載のシステム。
一連のパラメータ値に関して条件付き密度および演算コストを含むコスト関数を演算することと、
前記コスト関数の最低値に対応するように前記パラメータを調整することと
をさらに含む、請求項９に記載のシステム。
【請求項15】
前記動作は、
前記１つ以上のデバイスのメンテナンスを実行またはスケジュールすること
をさらに含む、請求項９に記載のシステム。
前記１つ以上のデバイスのメンテナンスを実行またはスケジュールすること
をさらに含む、請求項９に記載のシステム。
【請求項16】
前記動作は、
前記１つ以上のデバイスの動作設定を調整すること
をさらに含む、請求項９に記載のシステム。
前記１つ以上のデバイスの動作設定を調整すること
をさらに含む、請求項９に記載のシステム。
【請求項17】
１つ以上のプロセッサに結合され命令が記憶されたコンピュータ可読ストレージ媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると前記１つ以上のプロセッサに動作を実行させ、前記動作は、
製造システム内の１つ以上のデバイスからのデータを記録することと、
前記記録済みのデータを複数の時系列としてデータストレージに記憶することであって、各時系列は、第１の時間に対応する第１の記録済みの値および前記時系列の最後に対応する最終の記録済みの値を有する、前記データストレージに記憶することと、
第１の時間ウィンドウ内で、前記複数の時系列内の欠測値をベイズモデルを使用して補間することであって、前記欠測値は、個々の前記時系列の前記第１から最後の時間の間に入る、前記補間することと、
前記補間された値を予測データとして予測ストレージに記憶することであって、前記補間された値は、補間された各値の不確実性を含む、前記補間された値を予測データとして予測ストレージに記憶することと、
第２の時間ウィンドウ内に入る前記記録済みのデータを前記データストレージから読み込むことと、
前記第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、前記予測ストレージから読み込むことと、
前記読み込まれた記録済みのデータおよび前記予測データを使用して前記ベイズモデルのパラメータを最適化することと、
それぞれの前記時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない前記値を、前記ベイズモデルを使用して予測することと、
前記予測された値を予測データとして前記予測ストレージに記憶することであって、前記予測値は、各予測値の不確実性を含む、前記予測された値を予測データとして前記予測ストレージに記憶することと、
前記記録済みのデータを生成している前記デバイスのうちの１つ以上を、前記第２の時間ウィンドウ内の前記予測データに基づき調整することと
を含む、ストレージ媒体。
製造システム内の１つ以上のデバイスからのデータを記録することと、
前記記録済みのデータを複数の時系列としてデータストレージに記憶することであって、各時系列は、第１の時間に対応する第１の記録済みの値および前記時系列の最後に対応する最終の記録済みの値を有する、前記データストレージに記憶することと、
第１の時間ウィンドウ内で、前記複数の時系列内の欠測値をベイズモデルを使用して補間することであって、前記欠測値は、個々の前記時系列の前記第１から最後の時間の間に入る、前記補間することと、
前記補間された値を予測データとして予測ストレージに記憶することであって、前記補間された値は、補間された各値の不確実性を含む、前記補間された値を予測データとして予測ストレージに記憶することと、
第２の時間ウィンドウ内に入る前記記録済みのデータを前記データストレージから読み込むことと、
前記第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、前記予測ストレージから読み込むことと、
前記読み込まれた記録済みのデータおよび前記予測データを使用して前記ベイズモデルのパラメータを最適化することと、
それぞれの前記時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない前記値を、前記ベイズモデルを使用して予測することと、
前記予測された値を予測データとして前記予測ストレージに記憶することであって、前記予測値は、各予測値の不確実性を含む、前記予測された値を予測データとして前記予測ストレージに記憶することと、
前記記録済みのデータを生成している前記デバイスのうちの１つ以上を、前記第２の時間ウィンドウ内の前記予測データに基づき調整することと
を含む、ストレージ媒体。
【請求項18】
前記動作は、
前記予測データを、統計的分布または密度関数として記憶すること
をさらに含む、請求項１７に記載のストレージ媒体。
前記予測データを、統計的分布または密度関数として記憶すること
をさらに含む、請求項１７に記載のストレージ媒体。
【請求項19】
前記動作は、
確率的サンプルとして記憶された前記予測データを記憶することと、
前記確率的サンプルのランダムサンプルを選択することにより前記予測データを読み込むことと
をさらに含む、請求項１７に記載のストレージ媒体。
確率的サンプルとして記憶された前記予測データを記憶することと、
前記確率的サンプルのランダムサンプルを選択することにより前記予測データを読み込むことと
をさらに含む、請求項１７に記載のストレージ媒体。
【請求項20】
前記動作は、
前記読み込まれた記録済みのデータおよび予測データの周辺尤度が取扱い可能であれば、前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度を演算することと、
前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度が取扱い可能でなければ、前記読み込まれた記録済みのデータおよび予測データの条件付き密度を演算することと
をさらに含む、請求項１７に記載のストレージ媒体。
前記読み込まれた記録済みのデータおよび予測データの周辺尤度が取扱い可能であれば、前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度を演算することと、
前記読み込まれた記録済みのデータおよび予測データの前記周辺尤度が取扱い可能でなければ、前記読み込まれた記録済みのデータおよび予測データの条件付き密度を演算することと
をさらに含む、請求項１７に記載のストレージ媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、製造システムにおける多変量時系列データの予測方法およびシステムに関する。
【背景技術】
【0002】
時系列とは、時間順のデータ点のシーケンスである。製造環境において、時系列は、製造機器の経時的な内部状態を表現することができる。あるいは時系列は、連続するワークピースにわたる特定のパラメータまたは特性を追跡することができる。例として、特定の物理的測定値が、いくつかのワークピースについて記録され、経時的な測定値を記録する時系列を形成することができる。一部の時系列は多変量であり、つまり時系列は時間依存変数を２つ以上有する。多変量時系列において、変数は、それ自体の過去の値、さらに少なくとも部分的に他の変数に依存する。例として、特定の製造パラメータは、それ自体の過去の値、ならびに製造プロセスの上流工程からのパラメータの両方に依存し得る。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示の実装は、全般的に、多変量時系列を使用して製造システムを制御する方法を対象とする。特に、本開示の実装は、製造システムにおいて多変量時系列データを予測し、予測された時系列データを使用して製造システムにおけるパラメータに調整を加える方法およびシステムを対象とする。
【0004】
一部の実装において、アクションは、製造システム内の１つ以上のデバイスからのデータを記録することと、記録済みのデータを複数の時系列としてデータストレージに記憶することであって、各時系列は、第１の時間に対応する第１の記録済みの値および時系列の最後に対応する最終の記録済みの値を有する、データストレージに記憶することと、第１の時間ウィンドウ内で、複数の時系列内の欠測値をベイズモデルを使用して補間することであって、欠測値は、個々の時系列の第１から最後の時間の間に入る、補間することと、補間された値を予測データとして予測ストレージに記憶することであって、補間された値は、補間された各値の不確実性を含む、補間された値を予測データとして予測ストレージに記憶することと、第２の時間ウィンドウ内に入る記録済みのデータをデータストレージから読み込むことと、第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、予測ストレージから読み込むことと、読み込まれた記録済みのデータおよび予測データを使用してベイズモデルのパラメータを最適化することと、それぞれの時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない値を、ベイズモデルを使用して予測することと、予測された値を予測データとして予測ストレージに記憶することであって、予測値は、各予測値の不確実性を含む、予測された値を予測データとして予測ストレージに記憶することと、記録済みのデータを生成しているデバイスのうちの１つ以上を、第２の時間ウィンドウ内の予測データに基づき調整することとを含む。この側面の他の実装は、対応するシステムと、装置と、本方法のアクションを実行するように構成されコンピュータストレージデバイス上にエンコーディングされたコンピュータプログラムとを含む。
【0005】
これらの実装および他の実装はそれぞれ、次の特徴のうちの１つ以上を任意選択で含むことができる。一部の実装において、予測データは、統計的分布または密度関数として記憶される。一部の実装において、予測データは、確率的サンプルとして記憶され、予測データを読み込むことは、確率的サンプルのランダムサンプルを選択することを含む。一部の実装は、読み込まれた記録済みのデータおよび予測データの周辺尤度が取扱い可能であれば、読み込まれた記録済みのデータおよび予測データの周辺尤度を演算することと、読み込まれた記録済みのデータおよび予測データの周辺尤度が取扱い可能でなければ、読み込まれた記録済みのデータおよび予測データの条件付き密度を演算することとを含む。一部の実装は、第２の時間ウィンドウ内の読み込まれた記録済みのデータ点それぞれについて条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）を演算することを含む。一部の実装は、一連のパラメータ値に関して条件付き密度および演算コストを含むコスト関数を演算することと、コスト関数の最低値に対応するようにパラメータを調整することとを含む。一部の実装において、１つ以上のデバイスを調整することは、１つ以上のデバイスのメンテナンスを実行またはスケジュールすることを含む。一部の実装において、１つ以上のデバイスを調整することは、１つ以上のデバイスの動作設定を調整することを含む。
【0006】
当然のことながら、本開示による方法は、本願明細書に記載される側面および特徴の任意の組み合わせを含むことができる。つまり、例として、本開示による装置および方法は、本願明細書に具体的に記載される側面および特徴の組み合わせに限定されず、示される側面および特徴の任意の組み合わせも含むことができる。
【0007】
本開示の１つ以上の実装の詳細が、添付の図面および下記の説明の中に記載されている。本開示の他の特徴および利点が、その説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0008】
【図1】本開示の実装を実行することができる例示のシステムを示す。
【図2】本開示による、多変量時系列データのための例示の予測システムを示す。
【図3】本開示による予測システムを組み込んだ例示の製造システムを示す。
【図4】当初の時点における３つの時系列の略図である。
【図11】本開示の予測システムを組み込んだ製造システムのさらなる例を示す。
【図12】本開示の予測システムを組み込んだ製造システムのさらなる例を示す。
【発明を実施するための形態】
【0009】
別々の図面内の同じ参照番号および名称は、同じ構成要素を示す。
【0010】
本開示の実装は、全般的に、多変量時系列を使用して製造システムを制御する方法を対象とする。特に、本開示の実装は、製造システムにおいて多変量時系列データを予測し、予測された時系列データを使用して製造システムにおけるパラメータに調整を加える方法およびシステムを対象とする。
【0011】
一部の実装において、アクションは、製造システム内の１つ以上のデバイスからのデータを記録することと、記録済みのデータを複数の時系列としてデータストレージに記憶することであって、各時系列は、第１の時間に対応する第１の記録済みの値および時系列の最後に対応する最終の記録済みの値を有する、データストレージに記憶することと、第１の時間ウィンドウ内で、複数の時系列内の欠測値をベイズモデルを使用して補間することであって、欠測値は、個々の時系列の第１から最後の時間の間に入る、補間することと、補間された値を予測データとして予測ストレージに記憶することであって、補間された値は、補間された各値の不確実性を含む、補間された値を予測データとして予測ストレージに記憶することと、第２の時間ウィンドウ内に入る記録済みのデータをデータストレージから読み込むことと、第２の時間ウィンドウ内に入る予測データであって、それに代わる記録済みのデータが利用可能でない予測データを、予測ストレージから読み込むことと、読み込まれた記録済みのデータおよび予測データを使用してベイズモデルのパラメータを最適化することと、それぞれの時系列の値であって、読み込まれた記録済みのデータおよび予測データが利用可能でない値を、ベイズモデルを使用して予測することと、予測された値を予測データとして予測ストレージに記憶することであって、予測値は、各予測値の不確実性を含む、予測された値を予測データとして予測ストレージに記憶することと、記録済みのデータを生成しているデバイスのうちの１つ以上を、第２の時間ウィンドウ内の予測データに基づき調整することとを含む。この側面の他の実装は、対応するシステムと、装置と、本方法のアクションを実行するように構成されコンピュータストレージデバイス上にエンコーディングされたコンピュータプログラムとを含む。
【0012】
例示の製造システムを参照して、本開示の各実装について本願明細書にさらに詳細に記載する。例示の製造システムは、半導体デバイスの製作に使用されるウェーハを加工するために使用される。半導体デバイス製作プロセスは、例として、単体の半導体デバイスおよび集積回路チップを製造するために使用される。製作プロセスは、半導体ウェーハ上に電子回路を徐々に形成していく自動化された工程のシーケンスを含む。工程の数が原因で、製作プロセスは、開始から終了までに数週間かかる場合もある。なお、本開示の実装は、任意の適切な自動化システムを用いて実現可能であると考えられる。
【0013】
図１は、本開示の実装を実行することができる例示のシステム１００を示す。例示のシステム１００は、コンピューティングデバイス１０２、バックエンドシステム１０８、およびネットワーク１０６を含む。一部の例では、ネットワーク１０６は、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネット、またはそれらの組み合わせを含み、ウェブサイト、デバイス（例えばコンピューティングデバイス１０２）、およびバックエンドシステム（例えばバックエンドシステム１０８）を接続する。一部の例において、ネットワーク１０６には、有線および／またはワイヤレスの通信リンク上でアクセスできる。
【0014】
一部の例において、コンピューティングデバイス１０２は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯電話、ネットワークアプライアンス、カメラ、スマートフォン、拡張汎用パケット無線サービス（ＥＧＰＲＳ：ｅｎｈａｎｃｅｄ ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ）モバイル電話、メディアプレーヤ、ナビゲーションデバイス、電子メールデバイス、ゲーム機、またはこれらのデバイスもしくは他のデータ処理デバイスのいずれか２つ以上の適切な組み合わせなど、任意の適切なタイプのコンピューティングデバイスを含むことができる。
【0015】
示されている例において、バックエンドシステム１０８は、少なくとも１つのサーバシステム１１２およびデータストア１１４（例えばデータベースおよび知識グラフ構造）を含む。一部の例において、少なくとも１つのサーバシステム１１２は、ユーザがコンピューティングデバイスを使用して相互作用できる、コンピュータに実装された１つ以上のサービスをホストする。例としてサーバシステム１１２は、本開示の実装による多変量時系列の予測システムの一部として提供される１つ以上のアプリケーションをホストすることができる。
【0016】
一部の例においてバックエンドシステム１０８は、本開示の実装による、製造システムにおける異常を検出する異常検出システムをホストする。例としてユーザ１２０（例えば半導体製作工場のオペレータ）は、コンピューティングデバイス１０２を使用して予測システムと相互作用することができる。
【0017】
図２は、多変量時系列データのための例示の予測システム２００を示す。システム２００は、ストレージモジュール２０２と、訓練および予測モジュール２０４と、モデルメンテナンスモジュール２０６とを含む。ストレージモジュール２０２は、製造システム（図示せず）から記録された時系列データ用のデータストレージと、訓練および生産モジュール２０４により予測されたデータ用の予測ストレージとを含む。以下の開示において、「記録済みのデータ」は、製造システムから得られる時系列データを指す。記録済みのデータは、製造機器内のセンサにより生成されたものとすることができる。記録済みのデータは、製造機器自体の内部状態、または製造機器により加工されるワークピースの特性もしくはパラメータに対応することができる。ストレージモジュール２０２は、それに向かう矢印により示されているように、訓練および予測モジュール２０２ならびにモデルメンテナンスモジュール２０６からデータのリクエストを受容する。ストレージモジュール２０２は、外に向かう矢印により示されているように、記録済みのデータおよび予測データを訓練および予測モジュール２０２ならびにモデルメンテナンスモジュール２０６に提供する。訓練および予測モジュール２０４は、ストレージモジュール２０２からの最新データに基づき、予測データを生成するためのモデルパラメータを継続的に最適化する。訓練および生産モジュール２０４からの予測結果は、後の予測において使用するためにストレージモジュール２０２に記憶される。モデルメンテナンスモジュール２０６は、ストレージモジュール２０２からの最新のデータに基づき、訓練および予測モジュール２０４の予測性能を評価する。モデルメンテナンスモジュール２０６は、現在のデータに基づく予測データを正確に予測するのが難しいボトルネックを特定することもできる。以下、モジュール２０２、２０４、２０６の動作について、いくつかの例を参照しながら記載する。
【0018】
図３は、製造工程３０２ａ～３０４ｃのシーケンスを含む例示の製造システム３００を示す。製造工程３０２ａ～３０４ｃは、概して２つのカテゴリに分類される。第１のカテゴリは、製造中のワークピース（例えばウェーハ）に変更を加える加工工程３０２ａ～ｃを含む。第２のカテゴリは、加工工程３０２ａ～ｃのうちの１つの結果を測定する測定工程３０４ａ～ｃを含む。例として、測定工程は、前の加工工程の間に変化した測定値（例えばワークピースの寸法または物理的性質）を記録することができる。システムは、交互に配列された同数の加工工程および測定工程３０２ａ～３０４ｃを含む。ただし、必ずしもこの通りであるとは限らない。他のシステムは、２つの測定工程の間に２つ以上の加工工程を含むことができる。簡潔にするために、システム３００は、３つの加工工程３０２ａ～ｃとともに示されている。しかしながら、本開示の実装は、より多くの数の加工工程および測定工程を含む複雑な製造システムにも応用可能である。
【0019】
各測定工程３０４ａ～ｃは、測定工程３０４ａ～ｃにおいて得られた値を時系列として記憶する対応するデータストレージ３０６ａ～ｃに接続されている。各測定工程３０４ａ～ｃのためのデータストレージ３０６ａ～ｃは、以下でさらに詳細に説明されるように、データストレージ３０６ａ～ｃに記憶された時系列の欠測データを補う予測器３０８ａ～ｃに接続されている。各予測器３０８ａ～ｃは、予測器３０８ａ～ｃにより生成された値を記憶する対応する予測ストレージ３１０ａ～ｃに接続されている。図３は、個々の測定工程３０４ａ～ｃに対する関係を示すために、データストレージ３０６ａ～ｃ、予測器３０８ａ～ｃ、および予測ストレージ３１０ａ～ｃを別々の存在として示す。しかしながら、一部の実装において、データストレージ３０６ａ～ｃおよび予測ストレージ３１０ａ～ｃはすべて図２のストレージモジュール２０２に含まれ、予測器３０８ａ～ｃはすべて図２の訓練および予測モジュール２０４の一部である。例として、データストレージ３０６ａ～ｃおよび予測ストレージ３１０ａ～ｃはすべて、図１のバックエンドシステム１０８内の１つ以上のサーバ１１４上に格納可能である。
【0020】
図４は、当初の時点における３つの時系列４０２、４０４、４０６の略図である。例として、時系列４０２、４０４、４０６は、図３内の測定工程３０４ａ ｃから得られる記録済みのデータを含む。各時系列４０２、４０４、４０６は、例えば各測定工程３０４ａ～ｃについて個々のデータストレージ３０６ａ～ｃなどに記憶された、複数の離散データ点を含む。各時系列４０２、４０４、４０６は、記録済みのデータ点を複数含むが、時系列４０２、４０４、４０６は、特定の時間枠（例えばｔ＝５から３７）にわたるウィンドウＷに関連して画定された空所Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１も含む。図６Ａおよび図６Ｂを参照して記載されるように、ウィンドウＷは、サイズまたは位置が変化することで、時系列データの中の異なる時間枠にわたることができる。一部のケースでは、時系列４０２、４０４、４０６内の空所は、機器または通信の停止に起因する。空所Ａ１、Ｂ１については、空所Ａ１、Ｂ１の前後両方のデータ点が利用可能である。例として、センサが測定値を得られなかったこと、またはセンサが得た測定値が通信システムにおける乱れによりデータストレージ３０６ａ、３０６ｂに保存されなかったことが考えられる。
【0021】
製造用途では、データは、ワークピースが個々の測定工程３０４ａ～ｃを通るときに、測定工程３０４ａ～ｃから得られる。ロット内の第１のワークピースは、既に３つの測定工程３０４ａ～ｃをすべてクリアしていてもよく、第１のワークピースに対応するデータが、３つの時系列４０２、４０４、４０６すべてにおいて利用可能である。これに対し、第２のワークピースは、考察中の時点では第１の測定工程３０４ａのみをクリアしていてもよい。このケースでは、時系列４０４、４０６は第２のワークピースに対応するデータをまだ含まない。言い換えれば、データの獲得は同時に発生しなくてもよい。例として、図４内の空所Ａ２、Ｂ２、Ｃ１は、データ獲得が同時に発生しないことに起因してもよい。
【0022】
予測器３０８ａ～３０８ｃは、ベイズ統計を使用して、時系列４０２、４０４、４０６内の空所Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１の欠測値のインピュテーションを行う。システム３００が初期化されたとき、予測ストレージ３１０ａ～ｃは、空所Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１内の値に対する以前の予測を有しない。このケースでは、予測器３０８ａ～３０８ｃは初めに、履歴データと、データストレージ３０６ａ～ｃ内の利用可能なデータとを使用して、各時系列内の第１のデータ点と最終のデータ点との間にある空所Ａ１およびＢ１の欠測値を補間する。時系列の最終の値に続く空所Ａ２、Ｂ２、Ｃ１は、同じモデルを使用して予測される。例として、空所Ａ１およびＢ１の欠測値は、事後分布ｐ（ｘ｜ｙ）を計算することにより補間可能であり、ｘは欠測値のセットであり、ｙは観測値のセットである。この手法は、システムの状態空間モデルなどの確率的時系列モデルを要求するが、欠測値を補間するための特殊なアルゴリズムは要求しない。
【0023】
予測器３０８ａ～３０８ｃまたは訓練および予測モジュール２０４は、ラグ付きデータに対して、単一のモデルのみを使用して欠測データのインピュテーションを行う。言い換えれば、予測器３０８ａ～３０８ｃは、時系列内の欠測値を補間するために専用の方法を要求しない。単一のモデル（例えば状態空間モデル）は、時系列データを表現し、予測と欠測値の補間との両方に使用可能である。すべての時系列モデルは、ベイズモデルとして数学的に解釈可能であるため、欠測値を補間し、不確実性を表現するために使用可能である。訓練および予測モジュールは、ガウス過程モデル、状態空間モデル、ＡＲＩＭＡモデル、再帰型ニューラルネットワークモデル、およびそれらの変形など、任意の時系列予測モデルを使用することができる。欠測値は、その不確実性値とともに、予測ストレージ３１０ａ～３１０ｃに予測値として記憶される。予測値は、統計として、密度関数として、または確率的サンプルとして記憶可能である。
【0024】
図５は、図２の訓練および予測モジュール２０４ならびに図３内の予測器３０８ａ～ｃにより実行可能な例示のプロセス５００を示す。５０２にて訓練および予測モジュール２０４は、予測のための目的関数および勾配を計算する。プロセス５００において、時間および演算リソースを節約するために、目的関数の勾配はシステム２００の初期化時にのみ計算される。訓練および予測モジュール２０４は、時系列に対して相対的にウィンドウＷ（図４）の位置が変化したかどうかを区別する。変化していれば、スライディングウィンドウの更新された位置が５０４にて得られ、ウィンドウＷの位置は、５０６にてストレージモジュール２０２にデータをリクエストするために使用される。ウィンドウＷの位置が変化していなければ、訓練および予測モジュール２０４は、ウィンドウＷに関する新たなデータが利用可能であるかどうかを、データのリクエストをストレージモジュール２０２に送信すること（図示せず）により判断する。新たなデータが実際に利用可能であれば、ウィンドウの位置が変化した場合と同様に、５０６にてストレージモジュール２０２にデータがリクエストされる。ストレージモジュール２０２からデータを取得した後、読み込まれたデータを使用して、５０８ではモデルパラメータの最適化、５１０では予測の演算が、それぞれ行われる。５１０にて得られた予測データは、５１２にて予測ストレージでの記憶のためにストレージモジュール２０２に送信される。
【0025】
概して、任意の適切な最適化手法を応用可能である。ベイズ統計の原理に従い、例として、マルコフ連鎖モンテカルロ（ＭＣＭＣ：Ｍａｒｋｏｖ ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）および変分推論などのアルゴリズムを、モデルパラメータを計算するために使用可能である。マルコフ連鎖モンテカルロ法は、直接計算できないパラメータの事後分布を、ランダムサンプルを使用して近似する。例として、この方法は、パラメータのもっともらしい開始値により始まる。提案分布から生成されたランダムノイズをもっともらしい開始値に加算することにより、新たな提案が生成される。もっともらしい開始値および新たな提案の両方について事後分布が計算される。新たな提案がより高い事後値をもたらせば、新たな提案と引き換えに開始値が破棄される。新たな提案がより低い値をもたらせば、両方の事後値の高さに相当する確率を使用して、新たな提案が受容されるかまたは棄却されるかが決定される。いずれのケースにおいても、新たな提案が受容されれば、新たな提案が開始点となり、プロセスが繰り返される。新たな提案が棄却された場合は、前の開始点からプロセスが再び開始される。ＭＣＭＣ法は、このプロセスを繰り返すことにより、比較的少数のサンプルを使用して、パラメータの実際の分布に近いサンプルの分布を生成することができる。
【0026】
予測の演算もベイズ統計の原理に従い、例として、学習されたモデルパラメータの分布を使用して予測分布を計算する。
【0027】
図６Ａおよび図６Ｂは、図５に示された２つのシナリオに対応する時系列の例を示す。対応する構成要素を示すために、図４におけるのと同じ参照番号が使用されている。時間的に進行した類似の構成要素は、参照番号の後に一重引用符および二重引用符を使用することにより示されている。
【0028】
図６Ａは、図４に示された当初の時間からいくらかの時間が経過した後の時系列４０２’、４０４’、４０６’を示す。ただし、ウィンドウＷの位置は図４におけるのと同じである。例として、以前は時系列４０２内の空所Ａ２であったものが、時系列４０２’では記録済みのデータを用いて埋められている。同様に、時系列４０４、４０６内の空所Ｂ２、Ｃ１の一部を、時系列４０４’、４０６’内の新たに利用可能なデータが埋めている。しかしながら、一部の空所Ａ１、Ｂ１は、時間が進行しても同じままである。同じままである空所Ａ１、Ｂ１に対しては、予測ストレージに以前保存された予測（補間された値）を再度使用して、欠測データのインピュテーションを行うことができる。変化している空所Ｂ２、Ｃ１に対しては、訓練および予測モジュール２０４が、新たに追加されたデータをストレージモジュール２０２から読み込み、モデルを訓練し、時系列４０４’、４０６’内の空所Ｂ２’、Ｃ１’のための新たな予測値を生成する（図５内の５０６～５１０参照）。当初の工程におけるのとは異なり、目的関数およびその勾配は再度計算されない。代わりに、さらなる訓練および予測のために、勾配関数に対する入力として最新のデータおよび予測結果が供給される。
【0029】
図６Ｂは、図４内のウィンドウＷとは異なる位置にある、シフトしたウィンドウＷ’を伴う時系列４０２’、４０４’、４０６’を示す。時系列４０２’、４０４’、４０６’内の記録済みのデータは、図６Ａにおけるものと同じであるが、ウィンドウＷ’の新たな位置により、インピュテーションが行われる必要のあるデータの領域が少なくとも一部、変化している。例として、図４および図６Ａの空所Ｂ１は、新たなウィンドウＷ’にはもはや入らず、空所Ｂ１”、Ｃ１”は、図６Ａにおけるそれらの等価物よりもサイズが大きい。一方、例えば時系列４０２’内の空所Ａ１などの一部の空所は、同じままである。図４から直接図６Ｂに進行すると、図６Ａについて記載されたのと同様の、欠測データのインピュテーションを行うためのプロセス。図６Ａから図６Ｂに進行すると、時系列４０２’、４０４’、４０６’自体に、利用可能な新たな記録済みのデータはない。したがって、訓練および予測モジュール２０４は、同じデータを使用してさらなる予測を生成し、空所Ｂ１”、Ｃ１”の値のインピュテーションを行う。
【0030】
図６Ａおよび図６Ｂ内のウィンドウＷ、Ｗ’は同じサイズであるが、ウィンドウのサイズは、反復ごとに変化する場合もある。ウィンドウのサイズが可変である実装では、勾配関数も可変とすることができる。このケースでは、勾配関数を再計算する必要はない。そうではなく、ウィンドウのサイズが増大するときに勾配関数を追加で演算すれば足りる。
【0031】
このように、訓練および予測モジュールは、過去の訓練結果を引き継ぎ、当該の結果を少量の新たなデータを用いて補う。訓練とデータの読み込みとは並行して発生するため、各ウィンドウ位置のための訓練に必要な計算時間を短縮可能である。このようにして、時系列の予測に要求される演算時間を短縮可能である。さらに、データが高頻度で記憶されるため、十分に訓練されたモデルが、最新のデータを使用して迅速に予測結果をもたらすことができる。
【0032】
図７は、図２のストレージモジュール２０２により実行可能な例示のプロセス７００を示す。７０２にてストレージモジュール２０２は、訓練および予測モジュール２０４またはモデルメンテナンスモジュール２０６からデータのリクエストを受信する（図２）。例としてリクエストは、プロセス５００の５０６に対応することができる。ストレージモジュール２０２は初めに、リクエストされたデータおよびウィンドウに対応する記録済みのデータがデータストレージ（例えば図３内の３０６ａ～３０６ｃ）に記憶されているかどうかの問い合わせを行う。記憶されていれば、７０４にてデータストレージから記録済みのデータが読み込まれる。言い換えれば、以前は予測されたのみであった値について記録済みのデータがデータストレージ内で利用可能であれば、ストレージモジュール２０２は、予測された値ではなく記録済みの値を読み込む。記録済みのデータがデータストレージから読み込まれた後、時系列が空所を含む場合、７０６にてストレージモジュール２０２は、欠測データに対する値が予測ストレージ（例えば図３内の３１０ａ～３１０ｃ）に保存されているかどうかの問い合わせを行う。予測ストレージは以前に予測された値のみを含むため、システムの初期化後、特定の時系列についてデータおよび予測データの完全なセットが利用可能でない場合がある。システムは、そのような利用可能でない値について、７０８にて不明フラグを返し、これらは所定の高バリアンス値として処理され、別の値を予測するための入力として使用される。ストレージモジュール２０２は、データストレージおよび予測ストレージの両方からデータを読み込むので、欠測時系列データが理由で訓練および予測モジュール２０４が動作できない可能性は低下する。
【0033】
前述のように、予測値は、統計として、密度関数として、または確率的サンプルとして記憶可能であり、これにより、予測値の不確実性に関する情報を維持できる。これに対し、点推定は、不確実性の情報を含まない。一部の複雑な予測分布は、単一の密度関数または少数の統計では表現できない。分布が複雑すぎる場合は、サンプルサイズを増大させた確率的サンプル、または密度の混合などのより豊かな表現法も使用可能である。予測分布のデータサイズを縮小するために、確率的サンプルが予測値の表現法として使用されてもよく、読み込まれるサンプル１つがランダムに選択されてもよい。
【0034】
【0035】
図８Ａは、訓練および予測モジュール２０４により使用される現在の予測モデルの性能を評価する例示のプロセス８００を示す。８０２にてモデルメンテナンスモジュール２０６は、評価のリクエストを受信する。リクエストは、ユーザ（例えば図１内のユーザ１０２）によりトリガ可能であり、またはシステムが所定のスケジュールに従ってリクエストをトリガすることができる。いずれのケースでも、モデルメンテナンスモジュール２０６は、訓練および予測モジュール２０４と並行して動作する。８０４にて、最新の利用可能なデータがストレージモジュール２０２から読み込まれる。最新の利用可能なデータは、予測ストレージに記憶された値により補われ特定のウィンドウＷについてデータストレージ内で利用可能なすべてのデータを含む。読み込まれたデータに基づき、モデルメンテナンスモジュール２０６は、読み込まれたデータの周辺尤度ｐ（Ｘ）が取扱い可能であるかどうかを判断する。取扱い可能である場合、８０６にて周辺尤度ｐ（Ｘ）が演算される。取扱い可能でない場合、８０８にて条件付き密度ｑ（Ｘ）が計算される。いずれのケースでも、８１０にてレポートが返される。多くのケースにおいて、各時系列は異なるスケールを有するため、複数の時系列の予測精度のアセスメントを定量的に行うのは難しい。そのようなスケールの差は、周辺尤度を使用して予測性能を評価することにより自然に解決可能である。
【0036】
図８Ｂは、８１０にて生成されたレポートの例示のグラフ表現８１２である。グラフ８１２は、９日間の期間にわたる周辺尤度ｐ（Ｘ）８１４を示す。９日間の期間のうち最終の３日間に周辺尤度ｐ（Ｘ）が著しく低下しており、これは、そのタイムスパンにモデルの性能が劣化していることを示す。これに対応して、ユーザは必要に応じ、モデルに変更を加えること、またはハイパーパラメータを調節することができる。自動性能調節メカニズムが、ユーザ入力に基づき、または所定のスケジュールに従い、ハイパーパラメータを調節することもできる。
【0037】
図９Ａは、各時系列内の特定のデータ点の予測精度を判断する例示のプロセス９００を示す。９０２にてモデルメンテナンスモジュール２０６は、プロセス８００におけるのと同様にリクエストを受信する。９０４にてモデルメンテナンスモジュール２０６は、プロセス８００におけるのと同様に最新の利用可能なデータを読み込む。９０６および９０８にてモデルメンテナンスモジュール２０６は、訓練および予測モジュール２０４が、後に記録された実際のデータ点に近い値を予測したかどうか、すなわち予測精度を判断するために、データ系列におけるｎの点それぞれについて条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）を演算する。Ｐ（ｘｉ｜Ｘｊ≠ｉ）を得るために、観測データおよび未観測データの両方が考慮に入れられる。未観測データは、分布としてストレージモジュール２０２に記憶される。数学的には、そのような値のＰ（ｘｉ｜Ｘｊ≠ｉ）は、記憶された分布を積分（平均）することにより計算可能である。特定のウィンドウ内の値のみが評価される場合、モデルメンテナンスモジュール２０６は、ウィンドウ内のｎの点それぞれについて条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）を演算する。演算が完了すると、９１０にてモデルメンテナンスモジュール２０６は、レポートを生成する。
【0038】
図９Ｂは、９１０にて生成されたレポートの例示のグラフ表現８１２である。グラフ９１０は、時系列の個別のデータ点が丸で記された３つの時系列を含む。データ点には、各データ点における条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）を表現する線が重ねられている。条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）の値が小さいほど、訓練および予測モジュール２０４によって生成された予測の精度は低くなる。例としてモデルメンテナンスモジュール２０６は、条件付き確率Ｐ（ｘｉ｜Ｘｊ≠ｉ）の値に基づき、予測が難しかったデータ点を示す。これは、そのデータ点が予測分布の外れ値であったことを意味する。ユーザは、このような示唆に基づき、データおよびモデルを検討することができる。予測システム２００自体は、条件付き確率の値が低いデータ点を削除するなどのデータ自体に対する操作を実行しない。
【0039】
図１０Ａは、最も低いコストでパラメータ（例えば最適化ステップサイズ）を自動的に発見する例示のプロセス１０００を示す。１００２にてモデルメンテナンスモジュール２０６は、プロセス８００、９００におけるのと同様にリクエストを受信する。１００４にて、リクエストに基づきパラメータセットが決定される。例として、パラメータが最適化ステップサイズであれば、パラメータセットは異なる一連のステップサイズを含むことができる。１００６にて、条件付き密度ｑ（Ｘ）がそれぞれのパラメータについて計算される。ｑ（Ｘ）がそれぞれのパラメータについて計算された後、１００８にてレポートが生成される。
【0040】
図１０Ｂは、１００８にて生成されたレポートの例示のグラフ表現１０１０である。グラフ１０１０の横軸は、パラメータセット、すなわち最適化ステップサイズを含む。曲線１０１２は、１００６にて各ステップサイズについて計算されたｑ（Ｘ）に対応し、モデルの性能の低下を表現する。曲線１０１４は、演算コストを表現し、これはステップサイズとともに増加する。曲線１０１６は、－ｑ（Ｘ）および演算コストに基づく総コスト関数である。例として、訓練および予測モジュール２０４が点線１０１８により示される６のステップサイズを現在使用している場合、モデルメンテナンスモジュール２０６は、総コスト関数１０１６の最低値に対応する１０２０のステップサイズを推奨する。例としてモデルメンテナンスモジュール２０６は、推奨をユーザに表示することができる。あるいは、またはさらに、モデルメンテナンスモジュールの推奨に基づき１つ以上のパラメータを自動的に更新するように訓練および予測モジュール２０４を構成可能である。
【0041】
図１１および図１２はそれぞれ、本開示の予測システムを組み込んだ製造システム１１００、１２００の例を示す。例として製造システム１１００、１２００は、半導体ウェーハを製作するために使用可能である。ウェーハ製作は、成膜、除去、パターン形成、および電気的性質の調節という４つのカテゴリに大別される加工工程を含む。これらの加工工程は、ウェーハ上の特定の領域に対して実行され、数百回繰り返されて、完成した回路が形成される。ウェーハ製作は、加工工程に加えて、加工工程の合間に挿入される測定工程を含む。各測定工程にて得られたデータは、インライン品質管理に使用可能である。例として、データは、所定の上限および下限と比較可能である。この限界から測定データが外れていれば、そのウェーハを不良とみなすことができる。ウェーハ製作は、一般的に、テストパターンのシーケンスに従ってウェーハ上の回路に機能不良がないかどうかをテストするウェーハテスト工程で終了する。ウェーハテストの後、ウェーハは、ダイ準備などのさらなる製作工程に進むことができる。
【0042】
半導体製造において収集されるデータは、次の特性を有する。複数のプロセスからのセンサデータおよび品質管理データが、多変量データを構成する。製造機器の内部状態は、時間とともに変化し、時系列データに適する。同様に、ウェーハ自体の状態は加工時間に依存する。製作プロセスは順次的であるため、データの利用可能性はシーケンス中のウェーハの進行に依存し、すなわちデータは同時に発生しない。最後に、品質管理データは通常、サブサンプリングされ、つまりあらゆるウェーハについてすべての品質管理データが利用可能というわけではない。
【0043】
図１１および図１２において、加工工程は、加工工程１１０２、１２０２により表現され、ウェーハテストは、最終テスト１１０４ｃ、１２１２により表現されている。測定工程１１０４、１２０４からのデータは、上述したインライン品質データ、または加工機器の状態を示すセンサデータを含むことができる。図１１のシステム１１００において、最終テスト１１０４ｃからのデータは、テスト工程１１０４ａ、１１０４ｂからのデータと同じ形で処理される。言い換えれば、最終テスト１１０４ｃからのデータは、いくつかの時系列のうちの１つとして予測システム２００により処理される。本開示による予測システムは、測定工程１１０４ａ、１１０４ｂからの時系列データとともに最終テスト１１０４ｃからのデータを表現し、個々の時系列におけるデータ間の相関を捕捉することができる。
【0044】
もう１つの選択肢として、図１２は、本開示に従いモデリングされた時系列が、別の最終テスト１２１２の結果を予測する別のテスト予測器１２１４（例えば機械学習モデル）に入力可能であることを示す。本例では、アプリケーションモジュール１２１６が、最終テスト１２１２において測定されたデータの結果を、テスト予測器１２１４により生成されたデータと比較することができる。
【0045】
システム１１００、１２００のどちらにおいても、アプリケーションモジュール１１１４、１２１６は、次の追加機能のうちの１つ以上を含むことができる。アプリケーションモジュール１１１４、１２１６は、予測を視覚化し、定量的なリスクアセスメントを提供する。アプリケーションモジュール１１１４、１２１６は、測定された最終テストデータと予測された最終テストデータとを比較して予測精度を監視することもできる。アプリケーションモジュール１１１４、１２１６は、例えばモデル精度が著しく劣化した場合または予測が所定の限界から逸脱した場合など、所定のシナリオに基づきユーザに警告するアラームマネジメントシステムも含むことができる。
【0046】
記載された技術は、ウェーハ製作およびその他製造システムとの関連で、製造機器または製造された部品の異常を早期段階で検出することができる。例として、異常の検出は、モデルメンテナンスモジュールを使用することにより実現可能であり、モデルメンテナンスモジュールは、予測が難しかったデータ点を示すことができる。そのようなデータ点を使用して、異常を検出可能である。同様に、予測データを使用して、製造機器のメンテナンスを予測可能である。例として、機器の出力が経時的に変化することが既知であれば、時系列予測を使用して機器の将来の状態を推論可能である。機器の状態の大きな変化が予測されれば、出力パラメータを許容範囲に戻すために、早期メンテナンスなどの処置を講じることが可能である。例として、特定の機械がエッチングまたは機械加工の動作を実行してもよく、その測定が動作後に行われる。特定の時点にて測定値が許容範囲から外れるであろうことを時系列予測が示せば、実際の測定値が許容できない点に到達する前に、機械の運転パラメータが（例えばメンテナンス処置により）調整されてもよい。最後に、この技術は、バーチャルメトロロジーのために、つまりコストのかかるウェーハの物理的測定の代わりに、使用可能である。
【0047】
前述した実装のいくつかは、製造システムに関するものであるが、本開示において記載された技術は、他の状況にも応用可能である。
【0048】
例として、自律型ロボットおよび自律走行車は、複数のタイプのセンサを備え、そのアクチュエータを、例えば障害物との衝突を回避するために、高周波センサデータに基づき制御する。そのような多数のセンサがあることで、マルチモーダルセンサには、入力データを様々なタイミングで受信する傾向があると考えられる。さらに、通信条件が原因でデータの一部が喪失されることもある。自律型ロボットまたは自律走行車のアクティビティを監視するためには、その予測機能が適切に作動しているかどうかを定量的に評価する必要がある。これは、各センサが異なるスケールおよび／または周波数を有することが理由で難しいこともある。本開示において記載された技術は、遅延したデータを処理し、欠測データを推論することができる。予測システムにおいて使用される並列処理は、迅速なデータ獲得および予測を可能にする。モデルメンテナンスモジュールは、全体的な予測性能を定量化し、処理が難しいデータを生成する個別のセンサを特定することができる。
【0049】
この技術は、自動取引にも応用可能である。自動取引は、高速な取引スピードと、複数の市場からのデータに基づく高い予想精度とを要求する。そのようなシステムは、限られた時間内に多数の売買を処理しなければならない。異なる市場からのデータは、時間粒度が異なる可能性が高い。利益が減少すると、予測モデルにおいてその原因を特定する必要がある。本開示において記載された技術は、演算コストの削減が可能であるため、大量のデータに関する予測を迅速に実行することができる。欠測データの推論と、未観測の遅延した値の予測とが可能である。モデルメンテナンスモジュールは、データの予測が難しい特定の市場を特定し、予測性能を向上させるためにモデルを自動的に調節することができる。
【0050】
概して、本開示において記載された技術は、同時に発生しない値および欠測値を含む多変量時系列を処理するための一貫したフレームワークを提供する。異なるプロセスからの多変量時系列データを使用することで、各プロセスを独立して分析するよりも高い予測性能につながる。データ獲得、学習、および予測の並列ルーチンは、効率的な演算につながる。最後に、予測システムは、予測モデルを正確に監視し、改善することができる。
【0051】
本明細書に記載された実装およびすべての機能動作は、デジタル電子回路構成において、または本明細書で開示された構造およびその構造上の等価物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの１つ以上の組み合わせにおいて実現され得る。実装は、１つ以上のコンピュータプログラム製品として、すなわちデータ処理装置により実行されまたはデータ処理装置の動作を制御するようコンピュータ可読媒体上にエンコーディングされたコンピュータプログラム命令の１つ以上のモジュールとして実現されてもよい。コンピュータ可読媒体は、機械可読ストレージデバイス、機械可読ストレージ基板、メモリデバイス、機械可読伝播信号をもたらす物質の構成、またはそれらのうちの１つ以上の組み合わせとされてもよい。「コンピューティングシステム」という用語は、データを処理するすべての装置、デバイス、および機械を含み、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む。装置は、ハードウェアに加えて、対象のコンピュータプログラムの実行環境を作り出すコード（例えばプロセッサファームウェア、プロトコルスタック、データベースマネジメントシステム、オペレーティングシステム、またはそれらのうち１つ以上の任意の適切な組み合わせなどを構成するコード）を含んでもよい。伝播信号とは、適切な受信機装置に送信される情報をエンコーディングするために生成される人工的に生成された信号（例えば機械生成された電気信号、光信号、または電磁信号）である。
【0052】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイル型またはインタープリタ型言語を含む任意の適切な形態のプログラミング言語で書かれてもよく、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとしてを含め、任意の適切な形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えばマークアップ言語ドキュメントに格納される１つ以上のスクリプト）、対象のプログラム専用の単一ファイル、または複数の連携ファイル（例えば１つ以上のモジュール、サブプログラム、またはコードの一部を格納する複数ファイル）に格納されてもよい。コンピュータプログラムは、１つのコンピュータ上で実行されるように、または１つの場所に位置するかもしくは複数の場所に分散し通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように、展開されてもよい。
【0053】
本明細書に記載されたプロセスおよび論理フローは、入力データに作用し出力を生成することにより機能を実行する１つ以上のコンピュータプログラムを実行する、１つ以上のプログラマブルプロセッサにより実行されてもよい。プロセスおよび論理フローは、専用論理回路構成（例えばＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：特定用途向け集積回路））によっても実行でき、装置は該専用論理回路構成としても実装できる。
【0054】
コンピュータプログラムの実行に適したプロセッサには、例として、汎用および専用両方のマイクロプロセッサ、ならびに任意の適切な種類のデジタルコンピュータの任意の１つ以上のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受信する。コンピュータの構成要素は、命令を実行するプロセッサならびに命令およびデータを記憶する１つ以上のメモリデバイスを含むことができる。一般に、コンピュータはさらに、データを記憶する１つ以上の大容量ストレージデバイス（例えば磁気、光磁気ディスク、もしくは光ディスク）を含むか、またはそれからデータを受信するよう、もしくはそれにデータを転送するよう動作可能に結合されるか、またはその両方である。なお、コンピュータがそのようなデバイスを有することは要求されない。さらにコンピュータは、別のデバイス（例えばモバイル電話、携帯情報端末（ＰＤＡ）、モバイルオーディオプレーヤ、グローバルポジショニングシステム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機）に内蔵されてもよい。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体には、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスが含まれ、例として、半導体メモリデバイス（例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク（例えば内蔵ハードディスクまたはリムーバブルディスク）、光磁気ディスク、ならびにＣＤ ＲＯＭおよびＤＶＤ－ＲＯＭディスクが含まれる。プロセッサおよびメモリは、専用論理回路構成により補完されてもよく、またはそれに組み込まれてもよい。
【0055】
ユーザとの相互作用を提供するために、情報をユーザに表示するディスプレイデバイス（例えばＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ：陰極線管）、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ：液晶ディスプレイ）モニタ）、ならびにユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス（例えばマウス、トラックボール、タッチパッド）を有するコンピュータ上で各実装が実現されてもよい。他の種類のデバイスが、同じくユーザとの相互作用を提供するために使用されてもよい。例として、ユーザに提供されるフィードバックは、任意の適切な形態の感覚フィードバック（例えば視覚フィードバック、聴覚フィードバック、触覚フィードバック）であってもよく、ユーザからの入力は、音響、音声、または触覚入力を含め、任意の適切な形態で受信されてもよい。
【0056】
実装は、バックエンドコンポーネントを含むコンピューティングシステム（例えばデータサーバとして）、ミドルウェアコンポーネントを含むコンピューティングシステム（例えばアプリケーションサーバ）、および／またはフロントエンドコンポーネントを含むコンピューティングシステム（例えばユーザが実装と相互作用するのに用いることができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ）、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネント１つ以上の任意の適切な組み合わせにおいて実現されてもよい。システムのコンポーネントは、任意の適切な形態または媒体のデジタルデータ通信（例えば通信ネットワーク）により相互接続されてもよい。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、および例えばインターネットなどのワイドエリアネットワーク（「ＷＡＮ」）が含まれる。
【0057】
コンピューティングシステムは、クライアントおよびサーバを含んでもよい。クライアントおよびサーバは、一般に、互いに遠隔にあり、典型的には通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、個々のコンピュータ上で実行され相互にクライアント－サーバ関係を有するコンピュータプログラムにより生じる。
【0058】
本明細書は多数の詳述を含むが、これらは、本開示の範囲または特許請求の範囲に対する限定として解釈されるべきではなく、むしろ特定の実装に特有の特徴の記載として解釈されるべきである。別々の実装との関連で本明細書に記載されている特定の特徴は、単一の実装に組み合わせても実装可能である。逆に、単一の実装との関連で記載されている様々な特徴が、複数の実装において別々に実装されることも、または任意の適切な組み合わせの構成要素において実装されることも可能である。さらに、各特徴は、特定の組み合わせで動作するよう上述されていることもあり、当初そのように請求されていることさえもあるが、一部のケースでは、請求されている組み合わせの特徴１つ以上をその組み合わせから削除可能であり、請求されている組み合わせは、組み合わせの構成要素または組み合わせの構成要素の変形を対象とし得る。
【0059】
同じく、各動作は図面内に特定の順序で示されているが、これは、望ましい結果を達成するために、当該の動作が示されている特定の順序もしくは順番で実行されること、または示されているすべての動作が実行されることを要求するものと理解されてはならない。特定の状況では、マルチタスクおよび並列処理が有利なこともある。さらに、上述の実装における様々なシステムコンポーネントの分離は、すべての実装においてそのような分離を要求するものと理解されてはならず、当然のことながら、記載されているプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に統合されても、または複数のソフトウェア製品にパッケージ化されてもよい。
【0060】
いくつかの実装が記載された。しかし、当然のことながら、本開示の意図および範囲から逸脱することなく様々な変更が加えられ得る。例として、工程が並べ替え、追加、または削除された、上記で示されたフローの様々な形態が使用されてもよい。したがって、他の実装は、添付の特許請求の範囲に記載の範囲内にある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12】
【外国語明細書】