特許 7535649 バッチプロセスモデリング、監視、および制御におけるアクティブ学習を有するバッチデータアライメントのためのコンピューターシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-07

(45)【発行日】2024-08-16

(54)【発明の名称】バッチプロセスモデリング、監視、および制御におけるアクティブ学習を有するバッチデータアライメントのためのコンピューターシステムおよび方法

(51)【国際特許分類】

   G05B 13/04 20060101AFI20240808BHJP

   G05B 23/02 20060101ALI20240808BHJP

【ＦＩ】

G05B13/04

G05B23/02 Z

【請求項の数】 27

(21)【出願番号】P 2023506130

(86)(22)【出願日】2021-07-01

(65)【公表番号】

(43)【公表日】2023-08-23

(86)【国際出願番号】 US2021040070

(87)【国際公開番号】W WO2022026114

(87)【国際公開日】2022-02-03

【審査請求日】2023-03-23

(31)【優先権主張番号】16/943,312

(32)【優先日】2020-07-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500204511

【氏名又は名称】アスペンテック・コーポレーション

【氏名又は名称原語表記】ＡｓｐｅｎＴｅｃｈ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100087941

【弁理士】

【氏名又は名称】杉本 修司

(74)【代理人】

【識別番号】100112829

【弁理士】

【氏名又は名称】堤 健郎

(74)【代理人】

【識別番号】100142608

【弁理士】

【氏名又は名称】小林 由佳

(74)【代理人】

【識別番号】100155963

【弁理士】

【氏名又は名称】金子 大輔

(74)【代理人】

【識別番号】100150566

【弁理士】

【氏名又は名称】谷口 洋樹

(74)【代理人】

【識別番号】100213470

【弁理士】

【氏名又は名称】中尾 真二

(74)【代理人】

【識別番号】100220489

【弁理士】

【氏名又は名称】笹沼 崇

(74)【代理人】

【識別番号】100187469

【弁理士】

【氏名又は名称】藤原 由子

(74)【代理人】

【識別番号】100225026

【弁理士】

【氏名又は名称】古後 亜紀

(72)【発明者】

【氏名】マ・ジアン

(72)【発明者】

【氏名】ヤン・チェン

(72)【発明者】

【氏名】ツァオ・ホン

(72)【発明者】

【氏名】ブルワー・マーク－ジョン

(72)【発明者】

【氏名】リム・ティモシー

【審査官】岩▲崎▼ 優

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３３２１０１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／００５７９５８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／００６１８３３（ＵＳ，Ａ１）

【文献】特開平０８－３２８６４０（ＪＰ，Ａ）

【文献】特表２０１１－５０７０９９（ＪＰ，Ａ）

【文献】特開２０１９－０５２９９７（ＪＰ，Ａ）

【文献】特開２０２０－０６４４７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １３／００－１３／０４

Ｇ０５Ｂ ２３／００－２３／０２

(57)【特許請求の範囲】

【請求項1】

バッチ生産工業プロセスに対して自動バッチデータアライメントを実施するためのコンピューター実行方法であって、
工業プロセス用のバッチデータから基準バッチを選択することと、
バッチアライメント設定を構成することと、
一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルを構築することと、
前記選択された基準バッチ、前記構成されたバッチアライメント設定、前記構築されたシードモデル、および前記工業プロセスに対する前記バッチデータを表す、代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定することと、
前記一つまたは複数のアライメントハイパーパラメーターおよび前記構成されたバッチアライメント設定に対する前記決定された設定を使用して、前記工業プロセスに対する前記バッチデータから、バッチにバッチアライメントを実施することであって、前記実施することが、前記工業プロセスの改善されたモデリングを可能にする方法で前記工業プロセスのバッチデータのアライメントをもたらすように、実施することと、を含む、方法。

【請求項2】

バッチアライメント設定を構成することが、
前記バッチアライメントを実施するためのバッチアライメント方法を選択すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するために、前記一つまたは複数のアライメントハイパーパラメーター、および前記一つまたは複数のアライメントハイパーパラメーターに対し対応する設定範囲を選択すること、
前記一つまたは複数のアライメントハイパーパラメーターの少なくとも一つのハイパーパラメーターの値を設定すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するための制約および設定を選択すること、
アライメント実験中に、前記代表的なバッチのセットの少なくとも一つのバッチについてアライメント結果を評価するための性能指標を選択およびカスタマイズすること、
選択された性能指標に基づく前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つについて、許容基準を設定すること、および
許容基準を満たすと、前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習のうちの少なくとも一つを実施することの早期終了を有効または無効にすることを選択すること、のうちの少なくとも一つを含む、請求項１に記載の方法。

【請求項3】

前記バッチに前記バッチアライメントを実施するためのバッチアライメント方法を選択することが、
ベースバッチアライメント方法を選択することを含む、請求項２に記載の方法。

【請求項4】

（ｉ）前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンス擬似変数を選択すること、（ｉｉ）前記一つまたは複数のアライメントガイダンス擬似変数に対して、一つまたは複数のアライメントガイダンス擬似変数時系列を生成するために一つまたは複数の発生器関数を選択すること、および（ｉｉｉ）一つまたは複数の発生器関数について一つまたは複数のカスタマイズ（カスタマイズするものがある場合）を選択することの少なくとも一つを実施することにより、前記一つまたは複数のアライメントガイダンス擬似変数を用いて、前記選択されたベースバッチアライメント方法を拡張すること、および
前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンスのみのプロセス変数を選択することによって、前記一つまたは複数のアライメントガイダンスのみのプロセス変数を用いて前記選択されたベースバッチアライメント方法を拡張すること、のうちの少なくとも一つをさらに含む、請求項３に記載の方法。

【請求項5】

前記シードモデルを構築することが、
（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数を選択することと、
前記選択された（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数に基づき実施する、アライメント実験のセットを決定することと、
前記決定されたアライメント実験のセットで各実験を実施して、前記代表的なバッチのセットに対してそれぞれのアライメント結果を生成することと、
各実験に対して選択された性能指標を用いて前記それぞれのアライメント結果を定量化することと、
前記定量化されたそれぞれのアライメント結果および前記選択されたハイパーパラメーターに対する前記それぞれの設定に基づき、前記シードモデルを構築することと、を含む、請求項１に記載の方法。

【請求項6】

前記アライメント実験のセットが、
低不一致配列処理、
実験処理の設計、
ランダム生成実験条件、および
均一生成実験条件の少なくとも一つを使用して決定される、請求項５に記載の方法。

【請求項7】

前記決定されたアライメント実験のセットで各実験を実施することが、
前記決定されたセットで各実験を連続的に実施すること、または
前記決定されたセットで各実験を並列に実施することを含む、請求項５に記載の方法。

【請求項8】

自動アクティブ学習を実施することが、
前記自動アクティブ学習を実施するための制約およびアライメント品質設定を構成することと、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記構築されたシードモデルによって予測されるときアライメント品質スコアを最大化する、前記一つまたは複数のアライメントハイパーパラメーターに対する所与設定を自動的に決定することと、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施することと、
前記実験バッチアライメントを実施した結果が基準を満たす場合、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持することと、前記結果が前記基準を満たさない場合、前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）所与設定を前記自動的に決定すること、および（ｉｉｉ）実験バッチアライメントを前記実施すること、を繰り返すことと、を含む、請求項１に記載の方法。

【請求項9】

前記対話型アクティブ学習を実施することが、
前記対話型アクティブ学習を実施するための制約およびアライメント品質設定を構成することと、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記一つまたは複数のアライメントハイパーパラメーターに対して所与設定を対話的に推奨することと、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施することと、
前記実験バッチアライメントを実施した結果が、基準を満たすか、またはユーザー入力に基づき、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持すること、または
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実施すること、を繰り返すことと、
前記実験バッチアライメントを実施した結果が、基準を満たさないか、またはユーザー入力に基づき、
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実施すること、を繰り返すことと、を含む、請求項１に記載の方法。

【請求項10】

前記ガイド付き学習プロセスを実施することが、
ユーザー入力および前記構築されたシードモデルに基づき、
前記一つまたは複数のアライメントハイパーパラメーターの重要性、および前記一つまたは複数のアライメントハイパーパラメーターが、前記構築されたシードモデルによって予測されるアライメント品質に与える影響を分析すること、
アライメント品質性能指標および許容基準をカスタマイズすること、
アライメントガイダンス疑似時系列発生器関数をカスタマイズすること、
前記一つまたは複数のアライメントハイパーパラメーターの範囲、オプション、または制約を調整すること、および
前記一つまたは複数のアライメントハイパーパラメーターの探索的設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチにバッチアライメント実験を実施して、前記一つまたは複数のアライメントハイパーパラメーターのアライメント品質への影響を確認すること、のうちの少なくとも一つを実施することを含む、請求項１に記載の方法。

【請求項11】

前記バッチにバッチアライメントを実施した後、
前記実施されたバッチアライメントが許容基準を満たすかを判定することと、
前記実施されたバッチアライメントが、前記許容基準を満たさない場合、前記実施されたバッチアライメントが前記許容基準を満たすまで、
前記構築されたシードモデルを更新または再構築すること、
前記更新または再構築された構築シードモデル、前記選択された基準バッチ、前記構成されたバッチアライメント設定、および前記代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習のうちの少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定すること、
前記更新または再構築された構築シードモデルおよび前記構成されたバッチアライメント設定を使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して、前記バッチに前記バッチアライメントを実施すること、および
前記更新または再構築された構築シードモデルを使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して実施される前記バッチアライメントが、前記許容基準を満たすかどうかを決定することを、繰り返し実施することと、をさらに含む、請求項１に記載の方法。

【請求項12】

アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターに対する前記決定された設定を保存し、および管理することをさらに含む、請求項１に記載の方法。

【請求項13】

前記アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターについて前記決定された設定を保存しおよび管理することが、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、前記工業プロセスのための前記バッチデータと関連付けることと、
工業プロセス、プラント、および転送学習のための動作条件のうちの少なくとも一つに基づき、前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を分類しおよび整理することと、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、新しいバッチデータセットの出発点として適用することと、を含む、請求項１２に記載の方法。

【請求項14】

バッチ生産工業プロセスに対して自動バッチデータアライメントを実施するためのシステムであって、
プロセッサーと、
コンピューターコード命令が格納されるメモリーと、を備え、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
工業プロセス用のバッチデータから基準バッチを選択させ、
バッチアライメント設定を構成させ、
一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルを構築させ、
前記選択された基準バッチ、前記構成されたバッチアライメント設定、前記構築されたシードモデル、および前記工業プロセスに対する前記バッチデータを表す、代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定させ、および
前記一つまたは複数のアライメントハイパーパラメーターおよび前記構成されたバッチアライメント設定に対する前記決定された設定を使用して、前記工業プロセスに対する前記バッチデータから、バッチにバッチアライメントを実施することであって、前記実施することが、前記工業プロセスの改善されたモデリングを可能にする方法で前記工業プロセスのバッチデータのアライメントをもたらすように、実施すること、を行わせるように構成される、システム。

【請求項15】

バッチアライメント設定を構成する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記バッチアライメントを実施するためのバッチアライメント方法を選択すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するために、前記一つまたは複数のアライメントハイパーパラメーター、および前記一つまたは複数のアライメントハイパーパラメーターに対し対応する設定範囲を選択すること、
前記一つまたは複数のアライメントハイパーパラメーターの少なくとも一つのハイパーパラメーターの値を設定すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するための制約および設定を選択すること、
アライメント実験中に、前記代表的なバッチのセットの少なくとも一つのバッチについてアライメント結果を評価するための性能指標を選択およびカスタマイズすること、
選択された性能指標に基づく前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つについて、許容基準を設定すること、および
許容基準を満たすと、前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習のうちの少なくとも一つを実施することの早期終了を有効または無効にすることを選択すること、のうちの少なくとも一つを実施させるようにさらに構成される、請求項１４に記載のシステム。

【請求項16】

前記バッチに前記バッチアライメントを実施するためのバッチアライメント方法を選択する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
ベースバッチアライメント方法を選択させるようさらに構成される、請求項１５に記載のシステム。

【請求項17】

前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
（ｉ）前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンス擬似変数を選択すること、（ｉｉ）前記一つまたは複数のアライメントガイダンス擬似変数に対して、一つまたは複数のアライメントガイダンス擬似変数時系列を生成するために一つまたは複数の発生器関数を選択すること、および（ｉｉｉ）一つまたは複数の発生器関数について一つまたは複数のカスタマイズ（カスタマイズするものがある場合）を選択することの少なくとも一つを実施することにより、前記一つまたは複数のアライメントガイダンス擬似変数を用いて、前記選択されたベースバッチアライメント方法を拡張すること、および
前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンスのみのプロセス変数を選択することによって、前記一つまたは複数のアライメントガイダンスのみのプロセス変数を用いて前記選択されたベースバッチアライメント方法を拡張すること、のうちの少なくとも一つを実施させるようさらに構成される、請求項１６に記載のシステム。

【請求項18】

前記シードモデルを構築する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数を選択させ、
前記選択された（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数に基づき実施する、アライメント実験のセットを決定させ、
前記決定されたアライメント実験のセットで各実験を実施して、前記代表的なバッチのセットに対してそれぞれのアライメント結果を生成させ、
各実験に対して選択された性能指標を用いて前記それぞれのアライメント結果を定量化させ、および
前記定量化されたそれぞれのアライメント結果および前記選択されたハイパーパラメーターに対する前記それぞれの設定に基づき、前記シードモデルを構築させるようさらに構成される、請求項１５に記載のシステム。

【請求項19】

前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
低不一致配列処理、
実験処理の設計、
ランダム生成実験条件、および
均一生成実験条件の少なくとも一つを使用して、前記アライメント実験のセットを決定させるようさらに構成される、請求項１８に記載のシステム。

【請求項20】

前記決定されたアライメント実験のセット内の各実験を実施する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記決定されたセットで各実験を連続的に実施させる、または
前記決定されたセットで各実験を並列に実施させるようさらに構成される、請求項１８に記載のシステム。

【請求項21】

自動アクティブ学習を実施する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記自動アクティブ学習を実施するための制約およびアライメント品質設定を構成させ、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記構築されたシードモデルによって予測されるときアライメント品質スコアを最大化する、前記一つまたは複数のアライメントハイパーパラメーターに対する所与設定を自動的に決定させ、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施させ、および
前記実験バッチアライメントを実施した結果が基準を満たす場合、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持し、および前記結果が前記基準を満たさない場合、前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記自動的に決定すること、および（ｉｉｉ）実験バッチアライメントを前記実施すること、を繰り返させるようにさらに構成される、請求項１４に記載のシステム。

【請求項22】

前記対話型アクティブ学習を実施する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記対話型アクティブ学習を実施するための制約およびアライメント品質設定を構成させ、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記一つまたは複数のアライメントハイパーパラメーターに対して所与設定を対話的に推奨させ、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施させ、
前記実験バッチアライメントを実施した結果が、基準を満たすか、またはユーザー入力に基づき、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持させ、または
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実施すること、を繰り返させ、および
前記実験バッチアライメントを実施した結果が、基準を満たさないか、またはユーザー入力に基づき、
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実施すること、を繰り返させるようさらに構成される、請求項１４に記載のシステム。

【請求項23】

前記ガイド付き学習プロセスを実施する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
ユーザー入力および前記構築されたシードモデルに基づき、
前記一つまたは複数のアライメントハイパーパラメーターの重要性、および前記一つまたは複数のアライメントハイパーパラメーターが、前記構築されたシードモデルによって予測されるアライメント品質に与える影響を分析すること、
アライメント品質性能指標および許容基準をカスタマイズすること、
アライメントガイダンス疑似時系列発生器関数をカスタマイズすること、
前記一つまたは複数のアライメントハイパーパラメーターの範囲、オプション、または制約を調整すること、および
前記一つまたは複数のアライメントハイパーパラメーターの探索的設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチにバッチアライメント実験を実施して、前記一つまたは複数のアライメントハイパーパラメーターのアライメント品質への影響を確認すること、のうちの少なくとも一つを実施させるようにさらに構成される、請求項１４に記載のシステム。

【請求項24】

前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、前記バッチにバッチアライメントを実施した後、
前記実施されたバッチアライメントが許容基準を満たすかを判定させ、
前記実施されたバッチアライメントが、前記許容基準を満たさない場合、前記実施されたバッチアライメントが前記許容基準を満たすまで、
前記構築されたシードモデルを更新または再構築すること、
前記更新または再構築された構築シードモデル、前記選択された基準バッチ、前記構成されたバッチアライメント設定、および前記代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習のうちの少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定すること、
前記更新または再構築された構築シードモデルおよび前記構成されたバッチアライメント設定を使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して、前記バッチに前記バッチアライメントを実施すること、および
前記更新または再構築された構築シードモデルを使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して実施される前記バッチアライメントが、前記許容基準を満たすかどうかを決定することを、繰り返し実施させるようにさらに構成される、請求項１４に記載のシステム。

【請求項25】

前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターに対する前記決定された設定を保存させ、および管理させるようさらに構成される、請求項１４に記載のシステム。

【請求項26】

前記アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を保存しおよび管理する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、前記工業プロセスのための前記バッチデータと関連付けさせ、
工業プロセス、プラント、および転送学習のための動作条件のうちの少なくとも一つに基づき、前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を分類しおよび整理させ、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、新しいバッチデータセットの出発点として適用させるようさらに構成される、請求項２５に記載のシステム。

【請求項27】

バッチ生産工業プロセスの自動バッチデータアライメントを実施するためのコンピュータープログラムであって、前記コンピュータープログラムが、コンピューターコード命令を備え、前記コンピューターコード命令が、プロセッサーによって実行されると、前記プロセッサーに関連付けられた装置に、
工業プロセス用のバッチデータから基準バッチを選択させ、
バッチアライメント設定を構成させ、
一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルを構築させ、
前記選択された基準バッチ、前記構成されたバッチアライメント設定、前記構築されたシードモデル、および前記工業プロセスに対する前記バッチデータを表す、代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定させ、および
前記一つまたは複数のアライメントハイパーパラメーターおよび前記構成されたバッチアライメント設定に対する前記決定された設定を使用して、前記工業プロセスに対する前記バッチデータから、バッチにバッチアライメントを実施することであって、前記実施することが、前記工業プロセスの改善されたモデリングを可能にする方法で前記工業プロセスのバッチデータのアライメントをもたらすように、実施すること、を行わせるように構成される、コンピュータープログラム。

【発明の詳細な説明】

【背景技術】

【0001】

関連出願の相互参照
本出願は、２０２０年７月３０日に出願された米国出願第１６／９４３，３１２号の継続出願である。上記出願全体の教示は、参照により本明細書に組み込まれる。

【0002】

プロセス業界では、多変量予測制御（ＭＰＣ）やリアルタイム最適化（ＲＴ－ＯＰＴ）などの高度なプロセス制御が、過去三十年間にわたって進歩し、実践されている。何千ものＭＰＣシステムが精製所、化学プラント、石油化学処理装置、およびその他の製造環境で稼働しており、プロセスの安全な運用、例えば、製造プロセスを維持すると同時に、プロセスの利益率、すなわち効率を最大化している。しかし、ＭＰＣシステムの成功した使用のほとんどは、連続的な製造プロセスに集中している。プロセス業界でよく見られる別のタイプの重要な生産プロセス、バッチプロセスでは、最先端技術が遅れている。多くのバッチプロセスは、従来的な比例積分誘導体（ＰＩＤ）制御または手動制御でまだ実行される。

【0003】

バッチプロセスは、特殊化学品、医薬品、食品、生物由来製品、ポリマー加工、半導体製造、金属製造などの多くの業界で重要な役割を果たしている。そのため、バッチ生産プロセスにおいて高度なモデリング、監視、および制御システムを開発および導入することが望ましく、多くの製造業者にとって非常に有益である。高度なモデリング監視および制御の使用は、特殊化学品、医薬品、従来型のエネルギー、および石油化学業界におけるプロセスに特に有利である。

【発明の概要】

【0004】

バッチプロセスは、定義された開始条件および終了条件、ならびにその間の挙動の一時的な進化（測定される変数によって捕捉される）を伴うプロセスである。典型的なバッチプロセスの例は、特に、特殊化学品、医薬品、ブレンドおよび混合、ポリマー加工、半導体製造、および食品の加工の製造業界でしばしば見られる。バッチ生産プロセスには、プロセス監視、制御、および連続プロセスの最適化に使用される既存のモデリング手法の多くを単純に適用することが困難になる、多くの特殊特性がある。代わりに、バッチプロセスのための一連の特別なモデリングおよび制御技術が典型的には利用される。例えば、バッチ特異的主成分分析（ＰＣＡ）および潜在構造に対する投影（ＰＬＳ）多変量統計モデル構造が提案され、バッチプロセスを監視および制御するために使用される（Ｐａｕｌ Ｎｏｍｉｋｏｓ，Ｊｏｈｎ Ｆ．ＭａｃＧｒｅｇｏｒ，“Ｍｏｎｉｔｏｒｉｎｇ Ｂａｔｃｈ Ｐｒｏｃｅｓｓｅｓ Ｕｓｉｎｇ Ｍｕｌｔｉｗａｙ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ，ＡＩＣｈＥ Ｊｏｕｒｎａｌ，”４０（８），１３６１－１３７５（Ａｕｇｕｓｔ １９９４）を参照）。

【0005】

データ駆動型バッチモデリングの問題は、各バッチ完了の持続時間が一貫しえないことである。Ａこれにより、過去のバッチデータのモデリングまたは分析の前に、「バッチデータアライメント」が重要になる。同様に、リアルタイムバッチ監視およびライブバッチデータの制御の前に、「バッチデータアライメント」が重要である。「バッチデータアライメント」は、再サンプリングされたデータが選択された代表的な基準バッチと正確に同じ数のサンプリング値を有するように、未処理のバッチ時系列データを再サンプリングする機能を指す。サンプリング時点は、再サンプリングされたデータパターンが、全ての再サンプリングされた変数（例えば、温度、圧力、レベルなどの時系列変数）について、可能な限り、基準バッチ内のパターンと合致するように、未処理のバッチデータの持続時間に沿って等しいまたは等しくないサンプル間隔で選択される。バッチデータアライメント問題に関する学術研究とケーススタディが報告されているが（以下を参照のこと。Ｇｏｎｚａｌｅｚ－Ｍａｒｔｉｎｅｚ，Ｊ．Ｍ．，Ｆｅｒｒｅｒ，Ａ．，＆ Ｗｅｓｔｅｒｈｕｉｓ，Ｊ．Ａ．，、「Ｒｅａｌ－ｔｉｍｅ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｏｆ ｂａｔｃｈ ｔｒａｊｅｃｔｏｒｉｅｓ ｆｏｒ ｏｎ－ｌｉｎｅ ｍｕｌｔｉｖａｒｉａｔｅ ｓｔａｔｉｓｔｉｃａｌ ｐｒｏｃｅｓｓ ｃｏｎｔｒｏｌ ｕｓｉｎｇ Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ」Ｃｈｅｍｏｍｅｔｒｉｃｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｌａｂｏｒａｔｏｒｙ Ｓｙｓｔｅｍｓ，１０５（２），１９５－２０６、（２０１１年１月）、Ｄａｉ，Ｃ．，Ｗａｎｇ，Ｋ．，＆ Ｊｉｎ，Ｒ．、「Ｍｏｎｉｔｏｒｉｎｇ Ｐｒｏｆｉｌｅ Ｔｒａｊｅｃｔｏｒｉｅｓ ｗｉｔｈ Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ Ａｌｉｇｎｍｅｎｔ」、Ｑｕａｌｉｔｙ ａｎｄ Ｒｅｌｉａｂｉｌｉｔｙ Ｅｎｇｉｎｅｅｒｉｎｇ Ｉｎｔｅｒｎａｔｉｏｎａｌ，３０（６），８１５－８２７、（２０１４年６月）、Ｇｏｎｚａｌｅｚ Ｍａｒｔｉｎｅｚ，Ｊ．Ｍ．，Ｄｅ Ｎｏｏｒｄ，Ｏ．，＆ Ｆｅｒｒｅｒ，Ａ．「Ｍｕｌｔｉ－ｓｙｎｃｈｒｏ： ａ ｎｏｖｅｌ ａｐｐｒｏａｃｈ ｆｏｒ ｂａｔｃｈ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｉｎ ｓｃｅｎａｒｉｏｓ ｏｆ ｍｕｌｔｉｐｌｅ ａｓｙｎｃｈｒｏｎｉｓｍｓ」、Ｊｏｕｒｎａｌ ｏｆ Ｃｈｅｍｏｍｅｔｒｉｃｓ、２８（５）：４６２－４７５（２０１４年１０月）、Ｒａｍａｋｅｒ，Ｈ．Ｊ．，ｖａｎ Ｓｐｒａｎｇ，Ｅ．Ｎ．，Ｗｅｓｔｅｒｈｕｉｓ，Ｊ．Ａ．，＆ Ｓｍｉｌｄｅ，Ａ．Ｋ．、「Ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ ｏｆ ｓｐｅｃｔｒｏｓｃｏｐｉｃ ＢＡＴＣＨ ｄａｔａ」、Ａｎａｌｙｔｉｃａ Ｃｈｉｍｉｃａ Ａｃｔａ、４９８（１）、１３３－１５３（２００３年８月）、Ｚｈａｎｇ，Ｙ．，＆ Ｅｄｇａｒ，Ｔ．Ｆ．、「Ａ Ｒｏｂｕｓｔ Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｂａｔｃｈ Ｔｒａｊｅｃｔｏｒｙ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ」、Ａｍｅｒｉｃａｎ Ｃｏｎｔｒｏｌ Ｃｏｎｆｅｒｅｎｃｅ，ｐｐ．２８６４－２８６９（２００８年６月））、既存のアプローチでは提案されるアプローチは、Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ（ＤＴＷ）アルゴリズムに基づく。しかしながら、これは、ＤＴＷアプローチが、一部の事例において望ましくないアライメント結果をもたらし得るため、問題である（Ｚｈａｎｇ，Ｙ．，＆ Ｅｄｇａｒ，Ｔ．Ｆ．，「Ａ Ｒｏｂｕｓｔ Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｂａｔｃｈ Ｔｒａｊｅｃｔｏｒｙ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ，」 Ａｍｅｒｉｃａｎ Ｃｏｎｔｒｏｌ Ｃｏｎｆｅｒｅｎｃｅ，ｐｐ．２８６４－２８６９（２００８年６月））。また、ＤＴＷアプローチは、産業慣行には十分成熟しておらず、すなわち、ＤＴＷアプローチは、現実世界の処理を監視、制御、および最適化するために用いることができない。

【0006】

出願人が開発した最近の研究は、系統的な方法および改善された効率を用いて、バッチプロセスモデリングおよびバッチデータアライメント問題に対処した。米国特許出願第１５／９６７，０９９号、題名「Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ａｕｔｏｍａｔｅｄ Ｂａｔｃｈ Ｄａｔａ Ａｌｉｇｎｍｅｎｔ Ｉｎ Ｂａｔｃｈ Ｐｒｏｃｅｓｓ Ｍｏｄｅｌｉｎｇ，Ｍｏｎｉｔｏｒｉｎｇ Ａｎｄ Ｃｏｎｔｒｏｌ」を参照のこと。その内容は参照によりその全体が本明細書に組み込まれる。この以前の機能は、バッチデータアライメントの多くのステップに対応し、モデリングのためのオフラインバッチデータアライメントと、プロセス監視および制御のためのオンラインバッチデータアライメントの両方に適した自動化されたワークフローを提供する、包括的な方法（およびシステム）を使用する。

【0007】

バッチ軌道データをほぼリアルタイムで基準バッチに適切に整列させることは非常に有用であるが、非常に困難である。米国特許出願第１５／９６７，０９９号に詳述される先行研究は、本明細書では「オンライン動的方法」と呼ばれ、既存のバッチデータアライメント技術よりも大幅な改善をもたらす。しかしながら、オンライン動的方法の産業用途に関する最近の実践において、いくつかの問題が観察される。オンライン動的アライメント方法は、アライメントハイパーパラメーターのデフォルト設定のある一部の産業バッチプロセスに対して機能するが、オンライン動的方法は、他のプロセスに対してバッチデータをアライメントするのが困難である。観察された誤差には、ａ）誤差を伴うフェーズ同一性予測、ｂ）バッチ成熟度予測が、滑らかに前進するのではなく、前方または後方にジャンプすること、およびｃ）場合により、バッチ成熟度が１００％に到達し得ないこと、ことが含まれる。さらに、オンライン動的方法では、デフォルトパラメーターを有するバッチアライメントモデルは、より高い変動性を有する産業バッチデータに対して、必ずしも堅牢ではない。一部のアプリケーションでは、これらの問題は、正確なバッチモデリング、監視、および制御のためにオンライン動的方法を使用する能力を制限する。これは、米国特許出願第１５／９６７，０９９号のアライメント方法に依存する方法によって決定された結果に基づき制御されるバッチプロセスの生産速度および利益率にマイナスの影響を与える可能性がある。

【0008】

さらに、オンライン動的アライメント方法に対するデフォルトのハイパーパラメーター設定がうまく機能しない場合、特に経験の少ない新規ユーザーでは、ガイダンスなしにこれらのハイパーパラメーターを手動で調整することは、非常に難しく、退屈である。ユーザーは、所望の品質を有するアライメント結果を生成するために、多くの反復について試行錯誤のアプローチを繰り返し経る必要があり得る。これが発生した場合、各反復は、選択されたアライメント方法を用いて、所与のデータセットに対して特定の条件下でアライメント実験を実行する。アライメント実験の実行にかかる時間は、バッチデータセットのサイズおよび選択されたアライメント方法に応じて、数秒から数時間まで変化し得る。ユーザーによるいくつかのアライメント実験からのアライメント結果を視覚的に比較することは、非常に時間がかかり、オンライン動的方法を使用する場合、アライメント品質を向上させるためのハイパーパラメーターの調整方法についての知見を抽出することは困難であった。アライメント実験の結果に対する定量化された測定値がなければ、ヒトの介入なしに、いくつかのアライメント実験からのアライメント結果を体系的に比較することはできない。従って、産業バッチプロセスシミュレーションおよび制御の実践では、アライメント結果の定量化された測定、およびアライメントパラメーターの選択および設定の体系的なガイダンスの提供が緊急に必要とされる。

【0009】

最近では、人工知能（ＡＩ）と機械学習（ＭＬ）の急速な開発と応用が、産業実務家に新しい機会を提供している。アクティブ学習（ＡＬ）は、データ認識とラベリングのプロセスを加速させる効果的な戦略である。アクティブ学習の典型的なワークフローは、ラベル付けされないデータのプールから始まり、ヒューリスティックな学習者で数点を取り出し、これらの数点のラベルを決定する。次に、（ｉ）分類器をこれまでのところ見られるラベルに当てはめること、および（ｉｉ）境界に最も近い（または最も不確かである、または全体的な不確かさを減少させる可能性が最も高い）ラベル付けされない点を問い合わせることを含むプロセスが反復される。教師付き機械学習の特別な事例として、アクティブ学習は、多くの現代の機械学習問題においてよく動機付けされており、ラベル付けされない観察のラベルを作成するのに時間がかかるか、または費用がかかる。アクティブ学習の学習者は、次にラベル付けされる最も有益な観察を積極的に選択するので、対象に対する洞察を確立するためにラベル付する必要のある観察の総数は、通常、無識別教師付き機械学習方法で必要とされる観察の数よりもはるかに小さい。

【0010】

バッチアライメントシナリオでは、ラベル付けされない観察は、ある条件下でのアライメント実験であり、観察のためのラベルは、アライメント実験のアライメント結果で評価される定量化された性能指標である。そのため、バッチアライメントラベリングの場合、アライメント問題に対する観察を決定することは、アライメント実験、すなわち特定の条件でアライメントを実施する必要があるため、高価な作業である。従って、アクティブ学習は、アライメントパラメーター選択の体系的なガイダンス、すなわち、アライメント結果の定量化された測定値が提供され得る場合、バッチアライメントに対する、アライメント条件のガイダンスを提供するのに適切なアプローチである。言い換えれば、アライメントの質が定量化され得る場合、アクティブ学習は、使用するためのアライメントパラメーター、すなわち、ハイパーパラメーター、およびアライメントパラメーターの値に関するガイダンスを提供するために使用するのに好適なアプローチである。

【0011】

アクティブ学習は、分類問題に対処するために使用されている。例えば、学術研究は、ラベル付けされるインスタンスの数を最小化する方法と、そのラベル付方法を模索してきた。大半の研究は、一度にラベル付けされる単一の最も有益なラベル付けされないインスタンスを選択することに重点を置いている。これは大きな不確実性を伴う偏った決定を引き起こす可能性があるため、問題である。一部のバッチモードのアクティブ学習手法は、潜在的な偏った決定を克服するために、それらの単一インスタンス選択戦略を拡張するように提案されるが、偏った決定は依然として問題である。詳細は、以下に記述される。Ｓｉｍｏｎ Ｔｏｎｇ，Ｄａｐｈｎｅ Ｋｏｌｌｅｒ，「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ Ａｃｔｉｖｅ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｔｅｘｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」，Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ（２００１），４５－６６（２００１年１１月）、Ｙｕｈｏｎｇ Ｇｕｏ，Ｄａｌｅ Ｓｃｈｕｕｒｍａｎｓ，「Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ Ｂａｔｃｈ Ｍｏｄｅ Ａｃｔｉｖｅ Ｌｅａｒｎｉｎｇ」Ｐｒｏｃｅｅｄｉｎｇ ＮＩＰＳ’０７ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，Ｐａｇｅｓ ５９３－６００，Ｄｅｃｅｍｂｅｒ ０３－０６，２００７，ＩＳＢＮ： ９７８－１－６０５６０－３５２－０．アクティブ学習は、分類問題ではない、バッチデータアライメント問題に対処することは知られていない。

【0012】

実施形態は、米国特許出願第１５／９６７，０９９号に記載されるオンライン動的アライメント方法など、既存のアライメント方法の産業用途において観察されるいくつかのアライメント問題に対処するための包括的なシステムおよび方法を提供する。例えば、実施形態は、フェーズＩＤ予測に対するエラー、および／またはバッチ成熟度の不均一な進捗、またはプロセスにおいて１００％の成熟度に達しないバッチに対処する。実施形態はまた、既存の方法が、より高い変動性を有する産業バッチデータに対して必ずしも堅牢ではないという問題にも対処し、実施形態は、デフォルト設定がうまく機能しない場合にアライメントハイパーパラメーターおよび設定を選択する難しさに対処する。実施形態はまた、デフォルトアライメント環境、すなわち、デフォルトバッチアライメント設定、および環境ライブラリ、すなわち、アライメント設定を格納するデータベースを含み、アライメント環境（設定）の設定、カスタマイズ、および切り替えを容易にし、一貫したアライメント結果を生成する。

【0013】

実施形態は、バッチアライメント中にアライメントガイダンス変数として生成され、暗黙的に使用される、中間導出された疑似時系列変数を使用することで、これらの問題を解決する。実施形態はまた、バッチアライメントプロセスを支援するために、プロセスドメイン知識および専門知識に基づき明示的に提供される、アライメントガイダンスのみのプロセス変数を利用することもできる。実施形態はまた、専用性能指標を利用して、バッチ軌道アライメント品質を測定することができる。性能指標を使用することで、実施形態は学習ワークフローを採用することも可能になる。実施形態は、自動アクティブ学習ワークフローを利用して、所与の制約内で予測されるバッチ軌道アライメント品質を最大化するアライメントハイパーパラメーターの設定を推奨することができる。さらに、実施形態は、ユーザーがハイパーパラメーターの設定を選択するため、ハイパーパラメーターの一般的な範囲の内部および／または外部の潜在的な設定、および予測アライメント品質指標間のトレードオフを探索することを可能にする、対話型アクティブ学習ワークフローを採用することができる。さらに、さらなる探索的実験が必要な場合、ガイド付き学習を使用して、機械学習の別の実行を準備し得る。さらに、実施形態は、アライメント環境のセットアップを容易にし、一貫したアライメント結果を生成するために、アクティブ学習およびガイド付き学習ワークフローに対するハイパーパラメーターの設定を管理するアライメント環境ライブラリを実装できる。

【0014】

専用性能指標とアライメントの許容基準

【0015】

実施形態は、実行されたアライメント実験のバッチアライメント品質を客観的かつ体系的に測定するための、専用性能指標を提供する。対照的に、既存の方法は、ドメイン知識を有する専門家による目視検査によってのみアライメント品質を評価する。さらに、実施形態は、異なるアライメント方法に対する性能指標を変化させることを可能にする。例えば、拡張オンライン動的アライメント方法については、指標は、バッチ成熟度スコア（成熟度進行の滑らかさ）、フェーズＩＤスコア（バッチフェーズＩＤ予測に関するエラー）、および総品質スコア（バッチ成熟度スコアとフェーズＩＤスコアとの組み合わせ）を評価し得る。こうした実施形態はまた、アライメントプロセスを実行するのにかかる時間を考慮し得る。

【0016】

実施形態はまた、同じ基礎となるバッチデータセットに対して異なるアライメント実験で生成されたアライメント結果間のヒトの介入なしの比較を可能にする、定量化された性能指標を提供する。定量化された性能指標を使用することで、自動化も可能になる。一実施形態では、アライメント許容基準は、所与のアライメント方法の一部または全ての性能指標の設定または閾値で定義される。こうした実施形態では、性能指標が許容基準を満たすとき、アライメント実験の結果は許容可能であり、こうした実施形態は、アライメントされたバッチデータセットを用いてバッチモデルを構築することに進むことができる。異なるアライメント方法は、異なる性能指標を有することができるため、異なるアライメント方法に対応する許容基準を変化させることができる。例えば、拡張オンライン動的アライメント方法の例では、デフォルトの許容基準は、１）総品質スコアが最小閾値よりも高いこと、および２）アライメントの完了にかかった総時間が、最大許容アライメント時間よりも短くなければならないことである。一実施形態では、設定または閾値は、許容基準を締めるか、または緩和するように調整することができる。各性能指標について、所与のアライメント方法について、実施形態は、ユーザーを介して、アライメント方法の定義をカスタマイズし、方法の閾値を調整して、許容基準に影響を与えることもできる。

【0017】

アライメントメタデータデータシート上に構築された教師付き機械学習モデル

【0018】

任意の所与のアライメント方法について、計算リソースおよび時間に大きな投資をすることなく、可能な限り最良のアライメント結果を達成するために、ハイパーパラメーター設定の全ての可能な組み合わせを実行することは、実用的ではない（または可能ではない）場合がある。拡張オンライン動的方法の例では、五つのハイパーパラメーターおよび各ハイパーパラメーターの典型的なオプション、設定、および範囲のリストを用いて生成できる、数千もの反復されていないアライメント実験条件がある。これらのさまざまな設定を使用して何千ものアライメントを実行することは、実用的ではない。

【0019】

設定を決定するために何千ものアライメント実験を実施するか、または試行錯誤のアプローチを使用するのではなく、実施形態は、所定のアライメント方法に対してバッチデータセットに対して、限定量（Ｎ）のラベル付けされた観察を有する、アライメントメタデータデータシートに基づき、教師付き機械学習モデルを自動的に構築する。こうした実施形態では、各ラベル付けされた観察は、実行されたアライメント実験に対応する。一実施形態では、予測アライメント品質を最大化するためのアライメント設定を提案するモデルを、ラベル付けされた観察を使用して構築することができる。実施形態は、回帰のために異なる教師付き機械学習アルゴリズムを採用して、潜在構造に対する投影（ＰＬＳ）多変量統計モデルなどのモデルを構築できる。ハイパーパラメーターの設定を調整するために時間のかかる試行錯誤のアプローチに依存する代わりに、モデルは、アライメントの洞察を抽出するために異なるワークフローによって使用することができ、アライメント実験、すなわち、アライメントを実施するための設定は、モデル予測アライメント品質に基づき提案することができる。この提案アライメント実験は、その性能指標が許容基準を満たすかどうかを確認するために実施することができる。これにより、アライメントハイパーパラメーター設定の選択がガイドされる。

【0020】

モデルの作成に使用されるラベル付けされた観察の数が増加するにつれて、教師付き機械学習モデルの予測品質が改善する。しかしながら、ラベル付けされた観察を作成することは、この場合、アライメント実験の実行を必要とする、時間と費用のかかるプロセスである。必要な実験数を最小化するために、実施形態は、使用される教師付き機械学習シードモデルを作成する。用語「シードモデル」は、モデルが、最初に、限定された量のＮ個のラベル付けされた観察を用いて構築されてジャンプスタートし、その後、シードモデルが、さまざまなワークフローで実行されるアライメント実験からのラベル付けされた観察を用いて、シードモデルの予測品質を改善するために、自動的に更新または再構築されることを意味する。一部の実施形態では、シードモデルは、開始時に大量のＮ個のラベル付けされた観察で構築され、モデルはモデルの更新または再構築をサポートしない。

【0021】

早期終了の有無に関わらず、アライメントメタデータデータシートの準備

【0022】

実施形態によれば、アライメント実験のセット、すなわち、Ｎ個のアライメント実験は、バッチアライメントの方法の挙動を駆動する、アライメント調整可能なパラメーター（ハイパーパラメーター）の設定の選択を容易にするために作成される。Ｎの適切なサイズは、所与のアライメント方法に対して変化するハイパーパラメーターの数に依存する。一実施形態では、変化するハイパーパラメーターの数は、アライメント環境（アライメント設定および構成の収集）で構成され得る。より大きなＮは、捕捉されるバリエーションの寸法が増加するにつれて、モデルを通してより有意義な洞察を提供する。特定の状況では、十分なコンピューティングリソースを用いて総当たりアプローチを取る場合、Ｎは非常に大きくなってもよい。例えば、データセット例ＤＳ０８および拡張オンライン動的アライメント方法のアライメント洞察を抽出するためにシードＰＬＳモデルを構築するために、Ｎをわずか５０とすることができる。モデル構築に使用されるラベル付けされた観察の数が増加するにつれてモデル予測品質が増加することが一般的に見出され、ＤＳ０８アライメント実験は通常、拡張オンライン動的アライメント方法で１～２分で終了するため、拡張オンライン動的アライメント方法を使用する場合、ユーザーは、アライメント環境でＮを１００に設定して、予測性能に優れたシードモデルを作成し得る。

【0023】

所与のバッチデータセットおよび選択されたアライメント方法について、Ｎ個のアライメント実験は、いくつかの異なる方法で準備することができる。一つのアプローチは、Ｓｏｂｏｌ配列または他の類似の方法などの低不一致配列（ＬＤＳ）アプローチを使用することである（詳細については、以下を参照https://en.wikipedia.org/wiki/Low-discrepancy_ sequence)。あるいは、実験のセットは、Ｄ－最適設計または他の類似の方法などの実験設計（ＤＯＥ）アプローチを使用して決定することができる（詳細については、以下を参照https://en.wikipedia.org/wiki/Optimal_ design)。特定の状況では、総当たりアプローチを使用して、Ｎ個のアライメント実験のアライメント条件をランダムまたは均一に生成することもできる。

【0024】

アライメント実験が、バッチデータセット上で所定のアライメント方法を使用して（順次または並行して）実行された後、各アライメント実験の結果は、対応する性能指標および許容基準を用いて評価される。これらのアライメント関連メタデータは、データシートに収集される。データシートでは、各観察は、実行されたアライメント実験に対応し、観察のアライメント条件はＸ変数であり、観察の性能指標はＹ変数である。そのＹ変数に利用可能な値を有する観察は、本明細書ではラベル付けされた観察と呼称され、そのＹ変数に対する値を有しない観察は、本明細書ではラベル付けされない観察と呼称される。

【0025】

異なるアライメント方法は、異なるアライメントハイパーパラメーターおよび性能指標を有し得る。そのため、異なるアライメント方法に対するメタデータデータシート内のＸ／Ｙ変数リストは、異なってもよい。拡張オンライン動的アライメント方法の場合、Ｘ変数リストには、時間平滑性、スライディングウィンドウサイズ、差分ペナルティ、検索間隔、およびアライメントガイダンス擬似変数に対する異なる時系列発生器関数を含めることができる。拡張オンライン動的アライメント方法については、Ｙ変数リストには、バッチ成熟度スコア、フェーズＩＤスコア、総品質スコア、およびアライメントを実施するための時間（総量）が含まれ得る。以下でさらに詳細に説明される図１５は、ＤＳ０８データセット上の拡張オンライン動的アライメント方法を使用した、実施形態に対して１００のラベル付けされた観察を有するアライメントメタデータデータシート１５００の例を示し、そのアライメント条件は、Ｓｏｂｏｌ配列法によって準備される。

【0026】

早期終了オプションを有する実施形態では、任意の実行された実験の性能指標が許容基準を満たす場合、実験の対応するアライメント条件は、使用するアライメント条件として推奨されてもよく、さらなるアライメント実験は実行されない。早期終了オプションのない実施形態では、全ての準備されたアライメント実験が最終的に実行され、評価される。一実施形態では、メタデータデータシートは、各実験に対して一つのエントリー（行）を有する。

【0027】

教師付き機械学習モデルを用いた、自動化および対話型アクティブ学習ワークフロー

【0028】

アクティブ学習は、教師付き機械学習の特別な事例であり、多くの現代の機械学習問題においてよく動機付けられる。ここでは、ラベルは非常に時間がかかるか、または高価である。すなわち、ラベル付けされない観察を準備するために、計算的に高価である。アクティブ学習では、アクティブ学習者は次にラベル付けされる（実行する）最も有益な観察（最も予測されたアライメント品質を有するアライメント実験条件）を選択する。従って、最良の予測結果を有する条件を使用してアライメント実験を実施することによって、アライメント条件を識別するために実行する必要のあるアライメント実験の総数は、通常、無識別教師付き機械学習ワークフローで必要とされる数よりもはるかに小さい。

【0029】

通常、アクティブ学習では、大きな不確実性を伴う偏った決定を行うリスクがある。実施形態では、このリスクを克服するために、学習者（自動化または対話型に関係なく）は、次に実行される最も望ましい予測アライメント品質を有するアライメント実験条件を推奨するために、教師付き機械学習モデルに対して構成された制約を有するオプティマイザーまたはアナライザーに依存する。次に、その性能指標が許容基準を満たすかを確認するために、推奨されるアライメント実験を実施する。

【0030】

自動学習者を有するアクティブ学習ワークフローは、本明細書では、自動アクティブ学習ワークフローと呼ばれる。一実施形態では、自動アクティブ学習ワークフローは、（ｉ）アライメント条件が所望のアライメント品質を生成するとき、または（ｉｉ）最大学習反復数に到達したときに停止する。一実施形態では、アライメント実験を実施する各反復に対して、同じ制約および許容基準が適用される。一実施形態では、これらの設定は、アライメント環境で構成される。

【0031】

対話型学習者を有するアクティブ学習ワークフローは、本明細書では、対話型アクティブ学習ワークフローと呼ばれる。一実施形態では、対話型アクティブ学習ワークフローは、ユーザーが停止することを決定するたびに停止することができ、停止すると、これまでで最適のアライメント条件およびそのアライメントされたデータセットは、他のプロセスによって消費される準備ができている。他のプロセスには、現実世界の工業プロセスを制御するために使用できるシミュレーションまたは制御システムが含まれ得る。例えば、アライメントされたデータを使用してシミュレーションを実施することができ、シミュレーションの結果を使用して、現実世界のプロセスの動作条件を修正することができる。対話型の反復は、ユーザーが望むだけ何回でも実行できる。さらに、制約および許容基準は、対話型ワークフローの間に調整可能であるため、ユーザーは、実験の全体的な品質が理想的ではないとしても、アライメント条件下でアライメント結果を受けいれるためにトレードオフを行い得る。

【0032】

教師付き機械学習モデルによるガイド付き学習プロセス

【0033】

実施形態は、ガイド付き学習プロセスを使用して、教師付き機械学習モデルから洞察を抽出することができる。実施形態は、当該技術分野で公知の任意のガイド付き学習方法を使用できる。例えば、特に他のオプションの中で、非有意なハイパーパラメーターに対する変動を排除し、性能指標およびアライメント許容基準をカスタマイズし、変更された性能指標および許容基準を用いて実行されたアライメント実験を再スキャンし、アライメントガイダンス擬似変数発生器関数定義をカスタマイズし、さまざまなモデルアナライザーによって識別された洞察を用いて、アライメントハイパーパラメーター範囲、オプション、または制約を調整する。実施形態では、その場のアライメント実験を繰り返し実施して、その場の実験の影響の方向、すなわち、アライメント品質に対する改善または低下を確認するためにすることができる。

【0034】

学習プロセスは、ユーザーが望むだけ多くの反復を実装できる。ユーザーが停止することを決定すると、これまでで最適のアライメント条件およびそのアライメントされたデータセットは、他のプロセスによって消費される準備ができている。実施形態は、変更されたアライメント環境とアライメントメタデータデータシートを準備して、教師付き機械学習モデルを再構築することができる。

【0035】

アライメントガイダンス擬似変数およびアライメントガイダンスのみの変数

【0036】

一実施形態では、既存のプロセス変数が、各フェーズにおけるバッチアライメントのための十分なガイダンスを提供することができない場合、アライメント品質を改善するために、強力なアライメントガイダンスを有する一つまたは複数の中間導出された疑似時系列および／またはプロセス非有意変数をバッチデータセットに含めることができる。これらの拡張は、異なるアライメント方法に適用できる。言い換えれば、こうした実施形態は、別の変数（擬似変数またはアライメントガイダンスのみの変数）をバッチデータに組み込み、この他の変数はアライメントプロセスに参加し、未処理のバッチの各観察が、基準バッチのどの観察にマッピングされるべきかの決定に影響を与える。これにより、アライメントの質が改善される。

【0037】

実施形態によれば、対応するバッチフェーズ情報に基づき、専用単調関数を使用して、中間導出された疑似時系列を、また「アライメントガイダンス擬似変数」とも呼ぶが、自動的に生成することができる。実施形態は、使用するために選択することができる、フェーズ時系列ごとに組み込まれた発生器関数を採用することができる。これらの組み込み関数には、他のオプションの中でも特に、「ステップ」、多項式関数（「のこぎり歯」、「矩形」など）、対数関数、および指数関数が含まれ得る。

【0038】

一実施形態では、アライメントガイダンスのみの変数は、測定可能なプロセス変数ではなくてもよいが、他の例の中でも特に、ユーザーの履歴データベースおよび分散制御システムのバッチフェーズ情報に基づき、類似した時系列関数を用いて、このシステムの外部で明示的に生成される。別の実施形態では、明確なアライメントガイダンス情報を有するプロセス非有意変数は、アライメントを誘導するためにユーザーによって含まれ得る。これらのプロセス非有意変数は、本明細書ではアライメントガイダンスのみの変数とも呼ばれている。

【0039】

別の例示的実施形態では、アライメント後、アライメントガイダンス擬似変数およびアライメントガイダンスのみの変数は、バッチモデルの構築、分析、および予測に適用する前に、アライメントされたデータセットから任意に除外することができる。これにより、不必要な計算作業が低減される。しかしながら、アライメントガイダンス擬似変数およびアライメントガイダンスのみの変数を除外しなかった場合でも、アライメントされたデータセット上に構築されたバッチモデルが必ずしも劣化することはない。

【0040】

アライメント環境設定と環境ライブラリ

【0041】

実施形態は、とりわけ所与のバッチデータセットについて、アライメントハイパーパラメーターおよびその値、アライメント性能指標、アライメント許容基準、アライメントガイダンス擬似変数、および可変発生器関数の管理を容易にするために使用されるアライメント環境設定のセットを含む。環境設定は、さまざまなアライメント設定、例えば、パラメーターおよび値を格納するデータベースを使用して実施することができる。

【0042】

異なるバッチプロセスまたは同じプロセスからの異なるバッチデータセット、ただし異なる製造プラントでは、異なるアライメント環境設定が必要となってもよい。このように、一実施形態では、ユーザーは、性能指標を含むアライメント設定をカスタマイズし、許容基準を調整し、アライメントガイダンス擬似変数発生器関数としてユーザー定義関数を提供することができる。また、ユーザーは、異なるアライメント方法を選択し、特定のニーズを満たすようにアライメント方法をカスタマイズし、選択された設定をこれらのアライメント環境、すなわち、構成される設定に維持することができる。

【0043】

別の実施形態は、アライメント環境設定、すなわち、実行されたアライメントに使用される設定のリストを管理する環境ライブラリを実装する。これにより、ユーザーは、環境を迅速にセットアップしたり、ある環境から別の環境に切り替えることができる。アライメント設定のデータベースを持つことで、同じアライメント環境を同じバッチデータセットに適用することが容易になる。これにより、実施形態は、一貫したアライメント結果を提供することができる。

【0044】

例示的実施形態は、バッチ生産工業プロセスに対して自動バッチデータアライメントを実施するためのコンピューター実行方法を対象とする。こうした例示的実施形態は、工業プロセス用のバッチデータから基準バッチを選択し、バッチアライメント設定を構成することから始まる。次いで、一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルが構築される。続いて、選択された基準バッチ、構成されたバッチアライメント設定、構築されたシードモデル、および工業プロセスを表すバッチデータのセットを使用して、学習を実施する。学習は、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習（例えば、専門家またはユーザーガイド付き学習）のうちの少なくとも一つを実行することによって、一つまたは複数のアライメントハイパーパラメーターの設定を決定する。こうした実施形態は、一つまたは複数のアライメントハイパーパラメーターに対する決定された設定および構成されたバッチアライメント設定を使用して、工業プロセス用のバッチデータからのバッチに対してバッチアライメントを実行する。バッチアライメントを実行すると、工業プロセスのバッチデータが、工業プロセスのモデル化が改善される方法でアライメントされる。

【0045】

実施形態では、バッチアライメント設定の構成は、例えば、コンピューターメモリーに、実施形態の実行に使用される任意のパラメーターおよび変数の値および設定を構成、例えば格納することを含み得る。一実施形態によれば、バッチアライメント設定を構成することは、（１）バッチアライメントを実行するためのバッチアライメント方法を選択すること、（２）自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習、のうちの少なくとも一つを実行するために、一つまたは複数のアライメントハイパーパラメーターおよび一つまたは複数のアライメントハイパーパラメーターの対応する設定範囲を選択すること、（３）一つまたは複数のアライメントハイパーパラメーターの少なくとも一つのハイパーパラメーターの値を設定すること、（４）自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習の少なくとも一つの実施するために、制約および設定を選択すること、（５）アライメント実験中に代表的なバッチのセットの少なくとも一つのバッチのアライメント結果を評価するための性能指標を選択およびカスタマイズすること、（６）選択した性能指標に基づく自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習のうちの少なくとも一つの許容基準を設定すること、および（７）許容基準を満たした場合の自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習のうちの少なくとも一つを実行することの早期終了を有効または無効にすることを選択すること、のうちの少なくとも一つを含む。

【0046】

例示的実施形態では、バッチ上でバッチアライメントを実施するためのバッチアライメント方法の選択は、ベースバッチアライメント方法の選択を含む。こうした実施形態はまた、選択されたベースバッチアライメント方法を拡張することを含み得る。一実施形態では、拡張が、（ｉ）バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンス擬似変数を選択すること、（ｉｉ）一つまたは複数のアライメントガイダンス擬似変数に対して、一つまたは複数のアライメントガイダンス擬似変数時系列を生成するために一つまたは複数の発生器関数を選択すること、および（ｉｉｉ）一つまたは複数の発生器関数について一つまたは複数のカスタマイズ（カスタマイズするものがある場合）を選択することの少なくとも一つを実施することにより、一つまたは複数のアライメントガイダンス擬似変数を用いて、選択されたベースバッチアライメント方法を拡張することを含む。別の実施形態では、選択されたベースバッチアライメント方法の拡張は、バッチのプロセス変数として含まれる、一つまたは複数のアライメントガイダンスのみのプロセス変数を選択することによって、一つまたは複数のアライメントガイダンスのみのプロセス変数でベースバッチアライメント方法を拡張することを含む。

【0047】

実施形態によれば、シードモデルの構築は、（ｉ）アライメント方法、（ｉｉ）選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）シードモデルを構築するための観察の最小数の選択を含む。こうした実施形態では、シードモデルの構築はまた、選択された（ｉ）アライメント方法、（ｉｉ）選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）シードモデルを構築するための観察の最小数に基づき、実行するアライメント実験のセットを決定することを含む。本実施形態は、決定されたアライメント実験のセットで各実験を実行し、代表的なバッチのセットに対してそれぞれのアライメント結果を生成する。こうした実施形態はまた、各実験に対して選択された性能指標を用いてそれぞれのアライメント結果を定量化し、定量化されたそれぞれのアライメント結果および選択されたハイパーパラメーターに対するそれぞれの設定に基づきシードモデルを構築する。

【0048】

実施形態は、アライメント実験のセットを決定するために、さまざまな異なる技術を使用し得る。一実施形態では、アライメント実験のセットは、低不一致配列処理、実験処理の設計、ランダム生成実験条件、および均一生成実験条件のうちの少なくとも一つを使用して決定される。実施形態によれば、アライメント実験の決定されたセットにおける各実験の実施は、決定されたセットにおける各実験を順次実施すること、または決定されたセットにおける各実験を並行して実施することを含む。

【0049】

別の例示的実施形態によれば、自動アクティブ学習を実施することは、自動アクティブ学習を実施するための制約およびアライメント品質設定を構成することを含む。こうした実施形態は、構築されたシードモデル、構成された制約、および構成されたアライメント品質設定を使用して、構築されたシードモデルによって予測されるときアライメント品質スコアを最大化する、一つまたは複数のアライメントハイパーパラメーターに対する所与設定を自動的に決定する。実施形態は、一つまたは複数のアライメントハイパーパラメーターに対して所与設定を使用して、代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施する。次いで、実験バッチアライメントを実施した結果が基準を満たす場合、一つまたは複数のアライメントハイパーパラメーターに対する所与設定が維持され、結果が基準を満たさない場合、構築されたシードモデルが更新または再構築される。シードモデルを更新または再構築した後、こうした実施形態は、（ｉ）制約およびアライメント品質設定の構成、（ｉｉ）所与設定の自動決定、および（ｉｉｉ）実験バッチアライメントの実行を反復し得る。

【0050】

一実施形態では、対話型アクティブ学習を実施することは、対話型アクティブ学習を実施するための制約およびアライメント品質設定を構成することを含む。対話型アクティブ学習を実施することは、構築されたシードモデル、構成された制約、および構成されたアライメント品質設定を使用して、一つまたは複数のアライメントハイパーパラメーターに対して所与設定を対話的に推奨する。こうした実施形態では、実験バッチアライメントが、一つまたは複数のアライメントハイパーパラメーターに対して、所与設定を使用して、代表的なバッチのセットの少なくとも一つのバッチに対して実施される。実験バッチアライメントを実施した結果が、基準を満たすか、またはユーザー入力に基づく場合、一つまたは複数のアライメントハイパーパラメーターに対する所与設定が維持されるか、または構築されたシードモデルが更新または再構築される。こうした実施形態はまた、制約およびアライメント品質設定の構成、所与設定の対話的な推奨、および実験バッチアライメントの実行を反復し得る。実験バッチアライメントを実施した結果が、基準を満たさないし、ユーザー入力にも基づかない場合、構築されたシードモデルは、更新または再構築され、（ｉ）制約およびアライメント品質設定を構成すること、（ｉｉ）所与設定を対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを実施することが反復される、すなわち、基準が満たされるか、またはユーザーがもはや継続することを望まないまで実施される。

【0051】

一実施形態では、ガイド付き学習プロセスを実施することは、ユーザー入力および構築されたシードモデルに基づき、さまざまな異なるタスクを実行することを含む。一つのそのような実施形態は、（１）一つまたは複数のアライメントハイパーパラメーターの重要性、および構築されたシードモデルによって予測されたアライメント品質に対する一つまたは複数のアライメントハイパーパラメーターの影響を分析すること、（２）アライメントの品質性能指標と許容基準をカスタマイズすること、（３）アライメントガイダンス疑似時系列発生器関数のカスタマイズすること、（４）一つまたは複数のアライメントハイパーパラメーターの範囲、オプション、または制約を調整すること、および（５）一つまたは複数のアライメントハイパーパラメーターの探索的設定を使用して、代表的なバッチのセットの少なくとも一つのバッチに対してバッチアライメント実験を実行し、一つまたは複数のアライメントハイパーパラメーターのアライメント品質への影響を確認すること、のうちの少なくとも一つを実行する。

【0052】

別の実施形態は、実施されたバッチアライメントが許容基準を満たすかどうかを決定する。こうした実施形態は、実施されたバッチアライメントが許容基準を満たすまで、機能を繰り返し実施する。この機能には、（１）構築されたシードモデルの更新または再構築すること、（２）更新または再構築された構築シードモデル、選択された基準バッチ、構成されたバッチアライメント設定、および代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実行し、一つまたは複数のアライメントハイパーパラメーターの設定を決定すること、（３）更新または再構築された構築シードモデルおよび構成されたバッチアライメント設定を使用して決定された一つまたは複数のアライメントハイパーパラメーターの設定を使用して、バッチに対してバッチアライメントを実行すること、（４）更新または再構築された構築シードモデルを使用して決定された一つまたは複数のアライメントハイパーパラメーターの設定を使用して実施されたバッチアライメントが許容基準を満たすかどうかを決定すること、の反復が含まれる。

【0053】

さらに別の実施形態は、アライメント環境ライブラリ内の一つまたは複数のアライメントハイパーパラメーターについて、決定された設定を保存および管理する。実施形態による、アライメント環境ライブラリ内の一つまたは複数のアライメントハイパーパラメーターの決定された設定を保存および管理することは、一つまたは複数のアライメントハイパーパラメーターの決定された設定と、工業プロセスのためのバッチデータを関連付けることを含む。こうした実施形態はまた、工業プロセス、プラント、および転送学習のための動作条件のうちの少なくとも一つに基づき、一つまたは複数のアライメントハイパーパラメーターについて決定された設定を分類および整理し得る。さらに、こうした実施形態は、一つまたは複数のアライメントハイパーパラメーターに対して、決定された設定を、新しいバッチデータセットの出発点として、適用し得る。

【0054】

本発明の別の実施形態は、プロセッサーおよびコンピューターコード命令がその上に格納されるメモリーを含むシステムを対象とする。こうした実施形態では、プロセッサーおよびメモリーが、コンピューターコード命令により、システムに本明細書に記載される任意の実施形態を実施させるように構成される。

【0055】

さらに別の実施形態は、バッチ生産工業プロセスに対して自動バッチデータ時間アライメントを実施するためのクラウドコンピューティング実装を対象とする。かかる実施形態は、ネットワークを介して一つまたは複数のクライアントと通信しているサーバーによって実行されるコンピュータープログラム製品を対象とする。本実施形態では、コンピュータープログラム製品は、プロセッサーによって実行されるとき、プロセッサーに本明細書に記載される任意の実施形態を実施させる命令を含む。

【図面の簡単な説明】

【0056】

特許または出願ファイルは、カラーで作成された少なくとも一つの図面を含む。カラー図面を含めた本特許または特許出願公報の写しは、要請に応じて、必要な料金の支払いがあった時点で、事務局から提供される。

【0057】

前述のことは、添付の図面に示されるように、例示的実施形態の以下のより具体的な説明から明らかであり、同様の参照文字は、異なるビュー全体にわたって同じ部分を参照している。図面は必ずしも原寸に比例しておらず、代わりに実施形態を説明することに重点が置かれている。

【0058】

【図1】図１は、バッチ生産工業プロセスに対して自動バッチデータ時間アライメントを実施するための例示的実施形態のフローチャートである。

【図2】図２は、実施形態を使用してシミュレーションおよび制御され得る、産業マルチフェーズバッチ反応器／乾燥機プロセスの簡略化図である。

【図3-1】図３Ａ～Ｄは、実施形態を使用してアライメントされ得る工業プロセスからのプロセス変数のプロットである。

【図3-2】図３Ｅ～Ｈは、実施形態を使用してアライメントされ得る工業プロセスからのプロセス変数のプロットである。

【図3-3】図３Ｉ～Ｊは、実施形態を使用してアライメントされ得る工業プロセスからのプロセス変数のプロットである。

【図4】図４は、一実施形態によるアライメントプロセスのためのこのような例示的なシステムワークフローを示す。

【図5】図５Ａ～Ｂは、実施形態で用いられ得る工業プロセスからのプロセス変数を示すプロットである。

【図6】図６Ａ～Ｅは、実施形態のアライメントガイダンス擬似変数時系列を示すグラフである。

【図7】図７は、一実施形態による、プロセス変数とマージされた擬似変数を示すグラフである。

【図8】図８は、実施形態で利用され得るアライメントガイダンスのみの変数を示すプロットである。

【図9】図９は、実施形態で用いられる拡張バッチデータのプロットである。

【図10】図１０は、本発明の実施形態によるアライメントを実施する方法のフローチャートである。

【図11】図１１Ａおよび１１Ｂは、一実施形態で提供されるフェーズ情報を示すプロットである。

【図12】図１２は、一実施形態によるバッチデータとマージされた擬似変数を示すグラフである。

【図13】図１３は、一実施形態によるシードモデルを構築するための方法のフローチャートである。

【図14A】図１４Ａは、図１３に示すシードモデルを構築する方法の一部として実験を実行するためのプロセスのフローチャートである。

【図14B】図１４Ｂは、図１３に示すシードモデルを構築する方法の一部として実験を実行するためのプロセスのフローチャートである。

【図15】図１５は、モデルを構築するために実施形態で用いられ得る例示的なデータシートである。

【図16A】図１６Ａは、アライメント設定を決定するために実施形態で用いられ得る学習方法を示すフローチャートである。

【図16B】図１６Ｂは、アライメント設定を決定するために実施形態で用いられ得る学習方法を示すフローチャートである。

【図16C】図１６Ｃは、アライメント設定を決定するために実施形態で用いられ得る学習方法を示すフローチャートである。

【図16D】図１６Ｄは、アライメント設定を決定するために実施形態で用いられ得る学習方法を示すフローチャートである。

【図17】図１７は、実施形態で使用され得る可変の重要性を示すプロットである。

【図18】図１８は、一実施形態で用いられ得るモデルアナライザーからの結果の例を示す。

【図19】図１９は、実施形態で利用されるモデルアナライザーの結果を示すプロットである。

【図20】図２０Ａ～Ｂは、既存のオンライン動的アライメント方法におけるデフォルトのアライメント設定を使用して実行されたアライメントのアライメント品質インジケーターを示すグラフである。

【図21】図２１は、実施形態を利用してアライメントされ得るサンプルバッチデータである。

【図22】図２２Ａ～Ｂは、それぞれ、本発明の実施形態を使用して開発された、デフォルトのアライメント設定およびアライメント設定を使用して実施される、アライメントに対するアライメント品質インジケーターを示すグラフである。

【図23】図２３Ａ～Ｂは、それぞれ、本発明の実施形態を使用して開発された、デフォルトのアライメント設定およびアライメント設定を使用して実施される、アライメントに対するアライメント品質インジケーターを示すグラフである。

【図24】図２４は、一実施形態による、自動バッチデータ時間アライメントを実行するためのコンピューターシステムの簡略化されたブロック図である。

【図25】図２５は、本発明の一実施形態が実施され得る、コンピューターネットワーク環境の簡略図である。

【発明を実施するための形態】

【0059】

例示的実施形態の説明は、以下の通りである。

【0060】

本明細書に引用される全ての特許、公開された出願、および参考文献の教示は、その全体が参照により援用される。

【0061】

実施形態は、バッチ生産工業プロセスに対して自動バッチデータアライメントを実施するための機能を提供する。図１は、バッチ生産工業プロセスに対して自動バッチデータアライメントを実施するための、コンピューター実行方法の実施形態１００の例のフローチャートである。方法１００は、工業プロセス用のバッチデータからの基準バッチを選択し１０１、バッチアライメント設定を構成する１０２ことで始まる。続いて、シードモデルが、一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成される構築される１０３。次に、ステップ１０１で選択された基準バッチ、ステップ１０２で構成されるバッチアライメント設定、ステップ１０３で構成されるシードモデル、および代表的なバッチのセットを使用して、学習が実施される１０４。こうした実施形態では、代表的なバッチのセットは、対象の工業プロセスのためのバッチデータを表す。学習１０４は、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習のうちの少なくとも一つを実行して、一つまたは複数のアライメントハイパーパラメーターの設定を決定することを含む。最後に、バッチアライメントは、ステップ１０４で決定された一つまたは複数のアライメントハイパーパラメーターの設定、およびステップ１０２で構成されるバッチアライメント設定を使用して、対象の工業プロセスのためのバッチデータからのバッチに対して実行される１０５。

【0062】

実施形態では、ステップ１０１での基準バッチの選択は、ユーザー入力に基づき、および／またはバッチデータの分析に基づき実施することができる。実施形態では、ステップ１０１でユーザーによって選択することにより、ユーザーは、方法１００を実施するシステムと相互作用して、ユーザーのドメイン知識に基づき、ユーザーの入力または選択を利用することができる。別の実施形態は、バッチデータ解析に基づき決定される候補バッチのリストを提供し、ユーザーは、候補バッチのリストからバッチを選択することができ、または最良の候補バッチが分析に基づきを自動的に選択され得る。例えば、米国特許出願１５／９６７，０９９号に記載される技術「基準バッチを選択する」を使用して、基準バッチの候補リストを推奨することができる。

【0063】

一実施形態では、ステップ１０３で構築されたシードモデルを使用して、アライメント条件と対応する性能指標との間の関係を探索し、ステップ１０４での自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習におけるアライメント条件の選択を容易にすることができる。さまざまな学習ワークフローの間、シードモデルを、新たに利用可能なアライメント実験結果で更新または再構築して、予測品質を向上させることもできる。

【0064】

自動アクティブ学習ワークフロー（ステップ１０４で実施）の例示的実施では、モデルオプティマイザーが、自動学習者のコアとして使用され、予測される総アライメント品質スコアを最大にし、一方で、アライメントの実行するために最大許容時間の内で実行できるアライメントをもたらす、次のアライメント実験条件を推奨する。こうした実施形態では、推奨アライメント実験条件が一度も実行されたことがないが、最適化標的を満たすためにモデルオプティマイザーを有するシードモデルによって純粋に予測される場合、アライメント実験は、その条件下で実行され、そのアライメント結果は、許容基準に対して評価される。自動アクティブ学習は、最適化標的によって決定されるアライメント品質を改善するために、繰り返し自動的に反復することができ、ユーザー干渉を必要としない。自動アクティブ学習は、許容基準を満たすアライメント条件が発見されたか、または学習反復の最大数が実行されたときのいずれかがに停止することができる。次に、対応するアライメント結果および性能指標での、これまでで最適のまたは基準適合のアライメント条件が、下流ワークフローで利用可能である。

【0065】

（ステップ１０４で）対話型アクティブ学習ワークフローの例示的実施で、ユーザーとモデルオプティマイザーは協働して、対話型学習者のコアを形成する。こうした実施形態では、モデルオプティマイザーは、予測される総アライメント品質スコアを最大化しながら、アライメントを実施するために最大許容時間の内で実行できるアライメントをもたらす、次のアライメント実験条件を提案する。しかしながら、こうした実施形態では、実行される予定の提案されたアライメント条件を承認または却下するかどうかは、ユーザー次第である。ユーザーインターフェイス（ＵＩ）を利用して、ユーザーは、オプティマイザー設定、すなわち、最適化標的を直接調整して、最適化を所望の方向に移動させることができる。さらに、ユーザーは、実行されるアライメント実験を承認する前に、何回でも所望のように最適化を繰り返し実施できる。対話型アクティブ学習の反復は、ユーザーが望むだけ何回でも繰り返すことができる。対話型アクティブ学習が完了すると、対応するアライメント結果と性能指標でのこれまでで最適のアライメント条件が下流ワークフローで利用可能になる。

【0066】

ガイド付き学習ワークフロー（ステップ１０４で実施される）の例示的実施において、ユーザー（例えば、エキスパートユーザー）、さまざまなモデルアナライザー、およびモデルオプティマイザーは協働して、ステップ１０３で構成されるシードモデルから洞察を抽出する。ガイド付き学習は、一つまたは複数のアライメントハイパーパラメーターの重要性、および一つまたは複数のアライメントハイパーパラメーターが、構築されたシードモデルによって予測されるアライメント品質に与える影響を分析することを含み得る。この重要度と影響の決定は、ハイパーパラメーター選択の調整、選択されたハイパーパラメーターの範囲／オプションの調整、アライメント品質性能指標と許容基準のカスタマイズ、およびアライメントガイダンス疑似時系列発生器関数のカスタマイズに使用することができる。さらに、ガイド付き学習は、一つまたは複数のアライメントハイパーパラメーターの探索的設定を使用して、代表的なバッチのセットの少なくとも一つのバッチにバッチアライメント実験を実施して、一つまたは複数のアライメントハイパーパラメーターのアライメント品質への影響を確認することを含むことができる。

【0067】

方法１００の実施形態では、バッチアライメント設定を構成することは１０２、例えば、コンピューターメモリーに、実施実施形態の実行で使用される任意のパラメーターおよび変数の値および設定を構成、例えば格納することを含み得る。一実施形態によれば、バッチアライメント設定を構成することは１０２、（１）バッチアライメントを実行するためのバッチアライメント方法を選択すること、（２）自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習のうちの少なくとも一つを実行するために、一つまたは複数のアライメントハイパーパラメーターおよび一つまたは複数のアライメントハイパーパラメーターの対応する設定範囲を選択すること、（３）例えばハイパーパラメーターの設定が固定されていることが期待される、一つまたは複数のアライメントハイパーパラメーターの少なくとも一つのハイパーパラメーターの値を設定すること、（４）自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習のうちの少なくとも一つを実行するための制約および設定を選択すること、（５）アライメント実験中に代表的なバッチのセットの少なくとも一つのバッチのアライメント結果を評価するための性能指標を選択およびカスタマイズすること、（６）選択された性能指標に基づいて、自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習の少なくとも一つの許容基準を設定すること、（７）許容基準を満たすと、自動アクティブ学習、対話型アクティブ学習、およびガイド付き学習のうちの少なくとも一つを実行することの早期終了を有効または無効にすることを選択すること、のうちの少なくとも一つを含む。

【0068】

米国特許出願第１５／９６７，０９９号に記載されるオンライン動的アライメント方法を利用する代替として、実施形態は、ベースアライメント方法として他の方法も使用することができる。例えば、ユーザーは、線形ワーピングアライメントまたはオフライン動的ワーピングアライメント方法を、ベースアライメント方法として選択することができる。オンラインの動的アライメント方法の場合、ハイパーパラメーターには、時間平滑性、スライディングウィンドウサイズ、差分ペナルティ、および検索間隔が含まれる。線形ワーピングアライメントでは、バッチデータは、ユーザーが選択するインジケーター変数に従ってワーピングされ、インジケーター変数自体は単調であるべきである。線形アライメント方法については、ハイパーパラメーターには、インジケーター変数が含まれ、ここで、インジケーター変数は、バッチフェーズの進捗を決定し、異なるインジケーター変数は、各バッチフェーズに対して設定され得る。オフラインの動的ワーピングアライメントでは、データは各変数の重み付けに従ってワーピングされる。オフラインの動的アライメント方法の場合、ハイパーパラメーターには、時間平滑性、および時間平滑性が曲線の平滑性に重みを置く可変アライメントの重みが含まれる（この値が高いほど、アライメント中に作成される時間使用変数に適用される平滑化が大きい）。オフラインの動的アライメント方法では、各フェーズのバッチ成熟度がチェックされると、そのフェーズは１００％完了に達したものとみなされる。このように、各フェーズは、基準バッチフェーズ全体に対してアライメントされる。バッチ成熟度がチェックされていない場合、そのような実施形態は、各バッチの各フェーズの完了パーセンテージを推測し、基準バッチの対応する部分に対してのみ整列する。さらに、各変数がアライメントプロセス中に有する重みおよび変数は、互いに対してのみ重み付けされる。この例では、拡張オンライン動的アライメント方法は、バッチアライメントのためにユーザーによって選択され得る。ユーザーは、時間平滑性ハイパーパラメーター値を１に固定し、８０より大きい総アライメントスコア、および他の例のユーザーが選択した設定の中でも、許容基準として１０分よりも短いアライメントの合計時間を使用して、５０のアライメント実験を準備するために、スライディングウィンドウサイズ、差分ペナルティ、およびデフォルト範囲の検索間隔を変化させるために、Ｓｏｂｏｌ配列技術を適用することを選択し得る。

【0069】

方法１００の実施形態は、ステップ１０３でアライメントメタデータデータシートを準備するためにアライメント実験を実行する際に使用され得るバッチアライメント方法の選択、および／またはステップ１０４で学習の実行、および／またはステップ１０５でバッチアライメントの実行を含み得る。バッチアライメント方法は、バッチアライメント設定の構成の一部として、ステップ１０２で選択され得る。実施形態は、当該技術分野で公知の任意のアライメント方法を利用し得る。さらに、実施形態は、米国特許出願第１５，９６７，０９９号に記載されるオンライン動的アライメント方法を利用するものとして本明細書に記述されるが、実施形態は限定されず、当該技術分野で公知の任意のアライメント方法を採用し得る。

【0070】

実施形態はまた、選択されたベースバッチアライメント方法の拡張を含んでもよい。一実施形態では、これは、一つまたは複数のアライメントガイダンス擬似変数を用いて、選択されたベースバッチアライメント方法を拡張することを含み得る。一実施形態によると、アライメントガイダンス擬似変数を用いてアライメント方法を拡張することは、（ｉ）バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンス擬似変数を選択すること、（ｉｉ）一つまたは複数のアライメントガイダンス擬似変数に対して、一つまたは複数のアライメントガイダンス擬似変数時系列を生成するために、一つまたは複数の発生器関数、例えば、ステップ、のこぎり歯、矩形、などを選択すること、および（ｉｉｉ）一つまたは複数の発生器関数に対する一つまたは複数のカスタマイズ（カスタマイズするものがある場合）を選択すること、の少なくとも一つを含み得る。例えば、組み込みの対数時系列発生器関数の場合、ユーザーは、（ｔ～ｔ０）項にスケーリング係数を前置し、および／またはユーザーのドメイン知識に基づき、デフォルトの定数項を１から１００に変更して、異なる時系列プロファイルを生成できる。別の実施形態では、選択されたベースバッチアライメント方法の拡張は、バッチのプロセス変数として含まれる、一つまたは複数のアライメントガイダンスのみのプロセス変数を選択することによって、一つまたは複数のアライメントガイダンスのみのプロセス変数でベースバッチアライメント方法を拡張することを含む。

【0071】

方法１００の実施形態は、図１３に関連して以下に説明される方法１３００を使用して、ステップ１０３でシードモデルを構築する。さらに、別の実施形態によると、ステップ１０３でシードモデルを構築することは、（ｉ）アライメント方法、（ｉｉ）選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）シードモデルを構築するための観察の最小数の選択を含む。こうした実施形態では、ステップ１０３でシードモデルを構築することは、選択された（ｉ）アライメント方法、（ｉｉ）選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）シードモデルを構築するための観察の最小数に基づき、実行されるアライメント実験のセットを決定することも含む。こうした実施形態は、決定されたアライメント実験のセットで各実験を実行し、代表的なバッチのセットに対してそれぞれのアライメント結果を生成する。次いで、それぞれのアライメント結果は、各実験に対して選択された性能指標で定量化され、シードモデルは、定量化されたそれぞれのアライメント結果および選択されたハイパーパラメーターに対するそれぞれの設定に基づき構築される。

【0072】

以下に記載するこれらの専用「アライメント性能指標」を用いてそれぞれのアライメント結果を定量化することは、機械学習をバッチアライメントに適用することを可能にする。定量化プロセスにより、バッチ成熟度運動の平滑性の程度（以下、「バッチ成熟度スコア」）、バッチフェーズの誤予測比（以下、「フェーズＩＤスコア」）、包括的アライメント品質評価スコア（以下、「総品質スコア」）、および／またはアライメント完了にかかる時間が決定される。ユーザーは、自身のドメイン知識を組み込むために、「バッチ成熟度スコア」および／または「フェーズＩＤスコア」の定義をカスタマイズできるだけでなく、ユーザーは、一方の要因を他方よりも強調したいというユーザーの希望を反映するように、「総品質スコア」の定義を変更できる。実施形態は、ステップ１０３でシードモデルを構築するために、さまざまな技術を利用し得る。例えば、実施形態は、他の例の中でも特に、潜在構造に対する投影（ＰＬＳ）またはニューラルネットワークを利用し得る。

【0073】

方法１００の実施形態は、ステップ１０３でシードモデルを構築するためのアライメント実験のセットを決定するために、さまざまな異なる技術を使用し得る。一実施形態では、アライメント実験のセットは、低不一致配列処理、実験処理の設計、ランダム生成実験条件、および均一生成実験条件のうちの少なくとも一つを使用して決定される。実施形態によれば、アライメント実験の決定されたセットにおける各実験の実施は、決定されたセットにおける各実験を順次実施すること、または決定されたセットにおける各実験を並行して実施することを含む。

【0074】

方法１００の一実施形態は、ステップ１０４で学習を実施するために、図１６Ａに関して以下に説明する方法１６を実施する。より具体的には、アクティブ学習を実施することは、図１６Ｂに関連して以下で説明される方法１６００を使用することができる。対話型アクティブ学習を実施することは、図１６Ｃに関して以下で説明される方法１６０１を使用することができる。ガイド付き学習の実行は、図１６Ｄに関連して以下に説明する方法１６０２を使用することができる。

【0075】

方法１００の例示的実施形態によれば、ステップ１０４で自動アクティブ学習を実施することは、自動アクティブ学習を実施するための制約およびアライメント品質設定を構成し、構築されたシードモデル、構成された制約、および構成されたアライメント品質設定を使用して、一つまたは複数のアライメントハイパーパラメーターに対して、所与設定を自動的に決定することを含む。こうした実施形態では、所与設定は、構築されたシードモデルによって予測されるアライメント品質スコアを最大化する。こうした実施形態は、一つまたは複数のアライメントハイパーパラメーターに対して、所与設定を使用して、代表的なバッチのセットの少なくとも一つのバッチに対して実験バッチアライメントを実施する。次いで、実験バッチアライメントを実施した結果が基準を満たす場合、一つまたは複数のアライメントハイパーパラメーターに対する所与設定が維持され、結果が基準を満たさない場合、構築されたシードモデルが更新または再構築される。モデルの更新または再構築はまた、新たに完了したアライメント実験からのアライメント条件および対応する性能指標の更新を含んでもよい。シードモデルを更新または再構築した後、こうした実施形態は、（ｉ）制約およびアライメント品質設定の構成、（ｉｉ）所与設定の自動決定、および（ｉｉｉ）実験バッチアライメントの実行を反復し得る。

【0076】

一実施形態では、ステップ１０４で対話型アクティブ学習を実施することは、対話型アクティブ学習を実施するための制約およびアライメント品質設定を構成することを含む。こうした実施形態は、構築されたシードモデル、構成された制約、および構成されたアライメント品質設定を使用して、一つまたは複数のアライメントハイパーパラメーターに対して所与設定を対話的に推奨する。次に、このような実施形態では、実験バッチアライメントは、一つまたは複数のアライメントハイパーパラメーターに対して、所与設定を使用して、代表的なバッチのセットの少なくとも一つのバッチに対して実施される。実験バッチアライメントを実施した結果が、基準を満たすか、またはユーザー入力に基づく場合には、一つまたは複数のアライメントハイパーパラメーターに対する所与設定が維持されるか、または構築されたシードモデルが更新または再構築される。構築されたシードモデルが更新または再構築される場合、方法は、（ｉ）制約およびアライメント品質設定を構成すること、（ｉｉ）所与設定の対話的推奨すること、および（ｉｉｉ）実験バッチアライメントを実行することを反復することによって続行される。実験バッチアライメントを実施した結果が基準を満たさないし、ユーザー入力にも基づかない場合、構築されたシードモデルが更新または再構築され、方法は、（ｉ）制約およびアライメント品質設定を構成すること、（ｉｉ）所与設定の対話型推奨すること、および（ｉｉｉ）実験バッチアライメントを実行すること、を繰り返す。モデルの更新または再構築は、新たに完了したアライメント実験からのアライメント条件および対応する性能指標の更新を含み得る。

【0077】

一実施形態では、ステップ１０４でガイド付き学習プロセスを実施することは、ユーザー入力および構築されたシードモデルに基づき、さまざまな異なるタスクを実行することを含む。ガイド付き学習プロセスには、一つまたは複数のアライメントハイパーパラメーターの重要性と、一つまたは複数のアライメントハイパーパラメーターが、構築されたシードモデルによって予測されるアライメント品質に与える影響の分析が含まれ得る。さらに、ガイド付き学習プロセスには、アライメント品質性能指標および許容基準のカスタマイズ、アライメントガイダンス疑似時系列発生器関数のカスタマイズ、および／または一つまたは複数のアライメントハイパーパラメーターの範囲、オプション、または制約の調整が含まれ得る。さらに、ガイド付き学習を実施することは、一つまたは複数のアライメントハイパーパラメーターに対する探索的設定を使用して、代表的なバッチのセットの少なくとも一つのバッチで、バッチアライメント実験を実行し、一つまたは複数のアライメントハイパーパラメーターがアライメント品質に与える影響を確認することを含んでもよい。

【0078】

方法１００の別の実施形態は、ステップ１０５で実施されたバッチアライメントが、許容基準を満たすかどうかを決定する。実施されたバッチアライメントが許容基準を満たしていない場合、方法１００のこうした実施形態は、バッチアライメントが許容基準を満たすまで、繰り返し機能を実行する。このような実施形態は、（１）ステップ１０３の構築されたシードモデルを更新または再構築すること、（２）更新または再構築された構築シードモデル、選択された基準バッチ、構成されたバッチアライメント設定、および代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実行して、ステップ１０４の一つまたは複数のアライメントハイパーパラメーターの設定を決定すること、（３）ステップ１０２の更新または再構築された構築シードモデルおよび構成されたバッチアライメント設定を使用して決定された一つまたは複数のアライメントハイパーパラメーターの設定を使用して、バッチに対してステップ１０５のバッチアライメントを実行すること、（４）更新または再構築された構築シードモデルを使用して決定された一つまたは複数のアライメントハイパーパラメーターの設定を使用して実施されたバッチアライメントが許容基準を満たすかどうかを決定すること、を繰り返す。

【0079】

方法１００のさらに別の実施形態は、アライメント環境ライブラリ内の一つまたは複数のアライメントハイパーパラメーターについて、ステップ１０４で決定された設定を保存および管理する。こうした実施形態は、ステップ１０２で構成されるバッチアライメント設定も、アライメント環境ライブラリに保存し得る。実施形態による、アライメント環境ライブラリ内の一つまたは複数のアライメントハイパーパラメーターの決定された設定を保存および管理することは、一つまたは複数のアライメントハイパーパラメーターの決定された設定と、工業プロセスのためのバッチデータを関連付けることを含む。こうした実施形態はまた、工業プロセス、プラント／施設、および動作条件のうちの少なくとも一つに基づき、一つまたは複数のアライメントハイパーパラメーターについて決定された設定を分類および整理し得る。これらのカテゴリーを、バッチデータが生成された工業プロセス、プラント、および動作条件の表示とともに保存すると、転送学習が促進される。さらに、こうした実施形態は、一つまたは複数のアライメントハイパーパラメーターに対して、決定された設定を、新しいバッチデータセットの出発点として、適用し得る。一実施形態では、設定は、同じまたは類似の工業プロセス、プラント、または類似の動作条件を有するプロセスからのバッチデータのバッチデータの出発点として使用され得る。これにより、一般的なデフォルト設定から新たに開始する必要がなくなる。

【0080】

本明細書では、以下の実施形態のための機能性が概説され、これには、専用性能指標、アライメントの許容基準、アライメントメタデータデータシートに基づき自動的にシード教師付き機械学習モデルの構築、自動的かつ対話型アクティブ学習ワークフロー、ガイド付き学習プロセス、アライメントガイダンス擬似変数拡張、アライメントガイダンスのみの変数拡張、およびアライメントライブラリが含まれる。実施形態は、産業用途での最近の実践において、オンライン動的アライメント方法で観察されたいくつかの問題に対処するものとして、以下に記述される。しかしながら、本明細書に記載の実施形態は、米国特許出願第１５，９６７，０９９号、に記載されるオンライン動的アライメント方法と併せて使用されることに限定されるものではない。実施形態は、任意のアライメント方法に用いられてもよい。

【0081】

以下の説明では、（１）例示的なアライメント方法（略して、エンハンスドアライメントと称する）としての拡張オンライン動的アライメント方法、（２）Ｓｏｂｏｌ配列アプローチで準備されたアライメントメタデータデータシート（ラベル付けされた観察）に対して実行されるアライメント実験、（３）シードモデルを構築するための、教師付き機械学習アルゴリズムの例としての潜在構造に対する投影（ＰＬＳ）多変量統計モデル、（４）アライメント洞察を抽出するために何ができるかを実証するために、ガイド付き学習プロセスで使用される、自動または対話型学習者およびマルチＰＬＳベースのアナライザーのための例示コアオプティマイザーとして制約のあるＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶ（登録商標）ＰＬＳモデルオプティマイザー、を使用して、システム例について説明する。しかしながら、実施形態は、本明細書に記載される特定の実装に限定されず、形態および詳細は、本発明の範囲から逸脱することなく、さまざまな変更がなされ得ることに留意されたい。

【0082】

図２に示す産業マルチフェーズバッチ反応器／乾燥機プロセス２２０のパブリックドメインの小さなデータセット（ＤＳ０８）を、本明細書の例として使用し、本発明の実施形態を使用してバッチデータを整列させる方法を実証する。システム２２０は、バッチプロセスを実施する例示的なシステムである。システム２２０からのデータは、本発明の実施形態を使用して（サンプリングされた値の数に関して）アライメントされ得る。さらに、アライメントされたデータを使用して、システム２２０をシミュレートし、現実世界のシステムの動作を制御することができる。同様に、本発明の実施形態は、プロセス設定を決定するために使用することができ、これらの設定を使用して、製造および他のバッチプロセスを制御することができる。

【0083】

ＤＳ０８データセットには７１個のバッチがあり各バッチには１０個のプロセス変数がありこれらは、図３Ａ～Ｊに（元の工学単位で）示されている。図３Ａ～Ｊは、収集タンクレベル３３０ａ（図２の１項）、差圧３３０ｂ（図２の２項）、乾燥機圧力３３０ｃ（図２の３項）、攪拌器電力３３０ｄ（図２の４項）、攪拌器のトルク抵抗３３０ｅ（図２の５項）、攪拌器速度３３０ｆ（図２の６項）、ジャケット温度ＯＰ３３０ｇ（図２の７項）、ジャケット温度３３０ｈ（図２の８項）、乾燥機温度ＯＰ３３０ｉ（図２の９項）、および乾燥機温度３３０ｊ（図２の１０項）を示す。図３Ａ～Ｊのｘ軸は、プロセスの所与のバッチのサンプリング点であり、ｙ軸は、各サンプリング点における軌道変数の測定値である。各軌道は、バッチの可変プロファイルを表す。ＤＳ０８のバッチ長は、５０未満のサンプリング点から２００を超えるサンプリング点までさまざまである。ＤＳ０８のバッチデータについては、全ハイパーパラメーターのデフォルト設定でオンライン動的アライメント方法を使用して、指定された基準バッチに対する全未処理データバッチのエンドツーエンドのアライメントを、合計で、数分間で完了することができる。

【0084】

より複雑なマルチフェーズ産業バッチプロセスからの別のバッチデータセット（ＤＳ０４）を使用して、産業用途でオンライン動的アライメント方法の最近の実践において時々観察される課題が本発明の実施形態によって、解決されることを示す。ＤＳ０４にはＤＳ０８よりも多くの軌道変数、サンプリング点、バッチがあるため、エンドツーエンドのアライメントの実行には、実行にかかる時間が長くなり、より強力な計算リソースが不足した場合、または実装が非効率である場合、さらに時間がかかることが期待される。

【0085】

実施形態については、幅広い種類の実装バリエーションがある。一部の実施形態は、アライメント環境およびアライメントライブラリを有しなくてもよい。こうした実施形態では、カスタマイズまたは設定は、各ワークフローに直接適用される。異なるアライメント方法は、本明細書に記載されるアライメントガイダンス擬似変数拡張および／またはアライメントガイダンスのみの変数拡張によって拡張され得る。実施形態は、異なる組み込みの擬似変数発生器関数を含んでもよく、ユーザーが発生器関数をカスタマイズすることを可能にするか、またはさせないことができる。実施形態はまた、ユーザーが独自の発生器関数定義を提供することを可能にすることもできる。実施形態は、アライメントガイダンスのみの変数をそのように明示的に確保することはできないが、必要に応じてアライメントガイダンスを提供する目的でのみ、他のプロセス変数と一緒に含むことができる。実施形態は、アライメントガイダンスのみの変数を除去してもよく、または下流プロセスに対してアライメントされたバッチデータセット内のアライメントガイダンスのみの変数を保持し得る。実施形態は、性能指標の定義および対応する許容基準に変動を持ち得る。実施形態では、アライメントメタデータデータシート（ラベル付けされた観察）に対して実行されるアライメント実験は、Ｓｏｂｏｌ配列もしくは他の類似の方法などの低不一致配列（ＬＤＳ）アプローチ、またはＤ最適設計もしくは他の類似の方法などの実験設計（ＤＯＥ）アプローチのいずれかを用いて準備され得る。特定の状況では、総当たりアプローチを使用して、アライメント実験のアライメント条件をランダムまたは均一に生成することもできる。実施形態では、シードモデルは、潜在構造に対する投影（ＰＬＳ）、ニューラルネットワークなど、さまざまな異なる教師付き機械学習アルゴリズムを使用して構築され得る。さらに、さまざまなモデルアナライザーおよびオプティマイザーを使用して、自動または対話型学習者を構築してもよく、さまざまなモデルアナライザーを、アライメントの洞察を抽出するためのガイド付き学習プロセスに使用し得る。

【0086】

システムワークフロー

【0087】

図４は、一実施形態によるバッチアライメントプロセス４４０（非限定的な実施例については、図１のプロセス１００の実施に使用するための）を示す。プロセス４４０は、アライメント条件を推奨するアクティブ学習ワークフロー（自動および対話型）およびガイド付き学習プロセスを含む。プロセス４４０は、これらのアライメント拡張をアライメント方法自体に適用して、アライメント品質を高レベルから改善することができる。

【0088】

プロセス４４０は、ステップ４００で、バッチデータのロード、クレンジング、および／またはスケーリングで始まる。この例では、これらの手順がＤＳ０８に適用される。例示的実施形態では、ＤＳ０８データセットがステップ４００でロードされた後、未処理データが前処理される。これは、他の例の中でも特に、各変数の分布に基づき外れ値観察を除去すること、センタリング（例えば、平均センタリング（ＭＣ））を適用すること、およびスケーリング（例えば、単位バリアント（ＵＶ）スケーリング、別名、ユニティスケーリング）を適用することを含む。センタリングは、（観察間の変動である）変数の関連する変動にのみ分析を集中させるのに役立つ。各変数を一つの係数でスケールすると、各変数で異なる可能性が高く、相関に基づきデータを分析するのに役立つ。

【0089】

次に、ステップ４０１でプロセス４４０は、基準バッチを選択する。これは、ユーザーが基準バッチを直接選択することを可能にするか、または開示されたシステムに基準バッチの候補リストを提供するように要求し、その後、リストから基準バッチを選択することによって、実施され得る。一実施形態では、基準バッチの候補リストは、米国特許出願１５／９６７，０９９号に記載されるオンライン動的アライメント方法によって推奨される。例示の目的で、ＤＳ０８からのバッチ１を基準バッチとして選択して、他の７０個のバッチと整合させる。

【0090】

図５Ａは、１０のユニティスケールプロセス変数を示す（図３Ａ～Ｊ）を、ステップ４０１で選択された基準バッチ（バッチ１）に対してプロット５５０ａで示す。図５Ａのプロット５５０ａでは、二本の垂直線が基準バッチを３つのバッチフェーズに分割し、１、２、および３とマークされる。データアライメントの目的上、変数によっては他の変数よりも重要な役割を果たすものもある。図５Ｂは、プロット５５０ｂにおいて、オンライン動的アライメント方法によって推奨されるプロセス変数、すなわち、収集タンクレベル、乾燥機温度、および攪拌器速度を示す。これらはアライメントガイダンスに推奨されるプロセス変数である。実施形態では、アライメント変数は、米国特許出願１５／９６７，０９９号に記載されるオンライン動的アライメント方法において推奨される。

【0091】

図４に戻ると、ステップ４０２でプロセス４４０によって、ユーザーは、所与のバッチデータセット（例えば、ＤＳ０８）を整列させるために、拡張アライメント環境をセットアップすることができる。こうした機能には、バッチアライメント設定の構成が含まれる。プロセス４４０のステップ４０２で実施される機能は、図１に関連して上述した方法１００のステップ１０２で実施することができる。一実施形態では、ステップ４０２で、新しい環境ライブラリは、拡張アライメント方法のハイパーパラメーターに対するデフォルト設定を有する、デフォルトの拡張アライメント環境から開始される。さらに、一実施形態では、ステップ４０２で、ユーザーは、異なる製造現場で実施される異なるプロセスまたは同一のプロセスに対して、設定を調整またはカスタマイズすることができる。これらの変更は、異なるアライメント環境に対して保持することができる。実施形態によれば、本明細書に記載のアライメントプロセスが、拡張オンライン動的アライメント方法を用いて実施されるとき、デフォルトの拡張アライメント環境は、少なくとも一つの組み込まれた時系列発生器関数（例えば、ステップ）で有効化されたアライメントガイダンス擬似変数オプションを有する。使用され得る他のデフォルト設定は、総品質スコアおよびアライメントを実施する時間の両方に焦点を当てた、デフォルトの定義およびデフォルトの許容基準を有するアライメント性能指標を含む。さらに、一実施形態では、バッチデータセットの特性を考えると、異なるアライメント環境を、ステップ４０２でライブラリから選択し、ライブラリで選択された環境からアライメント条件を採用することによって、アライメント条件を迅速にセットアップすることができる。この機能に関するさらなる詳細は、「アライメント環境および環境ライブラリ」の見出しで以下に記載される。

【0092】

アライメント環境がステップ４０２（ライブラリに保持されたアライメント環境から事前構成される設定を使用して行うことができる）でセットアップされた後、ステップ４０３で、ユーザーは、実施例のシステム内のオンライン動的アライメント方法のための時間平滑性、スライディングウィンドウサイズ、差分ペナルティ、および検索間隔などのこれらのハイパーパラメーターの設定／オプションに対して、オプションのその場の調整またはカスタマイズを行うことができる。これは、現在のアライメント環境で一時的に利用可能なアライメントガイダンス擬似変数を有効または無効にすることを含み得る。プロセス４４０の実装にアライメント環境の概念がない場合、ステップ４０３でのカスタマイズまたは調整は、アライメントの設定およびオプション、例えば、ハイパーパラメーター、許容基準などに直接行うことができる。

【0093】

次に、ステップ４０４で、現在のアライメント環境を有する所与の軌道データセットに対する拡張アライメントのパイロットランが実行される。ステップ４０４でのアライメントは、図１０に関して以下に説明する方法１０２０を使用して実施することができる。この機能のさらなる詳細は、「拡張アライメントワークフロー」の見出しで以下に説明される。ステップ４０４で実行されたパイロットランからのアライメント結果は、例えば、「バッチ成熟度スコア」、「フェーズＩＤスコア」、「総品質スコア」、および「アライメント所要時間」などの性能指標で自動的に評価される。アライメント性能指標の定義に関するさらなる詳細は、「アライメント性能指標」という見出しで以下に記載されている。

【0094】

プロセス４４０を続行して、ステップ４０５で、アライメント性能指標を、現在のアライメント環境内で構成されたアライメント許容基準と比較する。アライメント許容定義のさらなる詳細は、「アライメント許容基準」という見出しで以下に記載される。現在のアライメント環境が、所与のタイプの産業バッチデータセットのためにカスタム構築される場合、ステップ４０４で実行されるパイロットランは、合理的な性能指標を用いてアライメント結果を生成する可能性が高い。このように、ステップ４０４でのアライメントの結果は、ステップ４０５で評価した許容基準を満たし得る。さらに、ステップ４０５で、性能指標が許容基準を満たすのに十分でない場合、ユーザーは、アライメントされたデータセットを停止して、そのままの状態で受けいれることができる。両方の場合（許容基準を満たすか、またはアライメントされたデータをそのまま受けいれる）で、プロセス４４０はステップ４０６に進む。

【0095】

ステップ４０６で、アライメントプロセス全体を完了する。受けいれられたアライメントされたデータセットおよびその対応するアライメント条件は、プロセス４４０を実施するシステムの外側で利用可能になるように保存され得る。さらに、他のアライメント結果、性能指標、およびそれらに対応するアライメント条件はもはや必要とされず、ステップ４０６で削除することができる。

【0096】

現在のアライメント環境が、ライブラリ内の元の環境とは異なる設定／オプション／定義を有する場合、プロセス４４０は、現在のアライメント環境全体を真新しい環境として維持する、すなわち、コンピューターメモリー内に格納する、またはライブラリ内の元の環境を更新／置換する選択肢を提供する。この機能は、ステップ４０７で実施される。ステップ４０７で設定（アライメント条件、変数およびパラメーターの値など）を保存すると、アライメントプロセスが再実行される。これにより、一貫したアライメント結果を生成できる。あるいは、ステップ４０７で、ユーザーは、これらの一時的な変更を破棄し、ライブラリに変更を加えない選択をすることができる。

【0097】

ステップ４０５に戻ると、許容基準が満たされていない場合、または基準が満たされるにもかかわらずユーザーがアライメントを受けいれない場合、プロセス４４０はステップ４０８に移動する。ステップ４０８で、プロセス４４０は、一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルを構築する。方法４４０は、ステップ４０８でシードモデルを構築するために、図１３に関連して以下に説明する方法１３００を実装し得る。プロセス４４０の実施形態は、ステップ４０８でシード教師付き機械学習モデルを構築するためのアライメントメタデータデータシートを準備する。こうした実施形態では、最大Ｎ（５０など）個のアライメント実験は、バッチデータセット上のステップ４０８の初期実施中に、拡張アライメント方法を使用して早期終了で実施される。早期終了オプションは、実験のアライメント結果が許容基準を満たす場合、メタデータデータシート調製中にステップ４０８を終了する。そうでない場合、教師付き機械学習モデルが、メタデータデータシートに基づき自動的に構築され、アライメント品質に対するアライメントハイパーパラメーターの設定／オプションの影響に関する洞察が抽出される。実施形態では、ＰＬＳ、ニューラルネットワークなどのさまざまな異なる教師付き機械学習方法を使用して、ステップ４０８でシードモデルを構築することができる。以下で説明する例示的実施では、ＰＬＳアルゴリズムを使用してシードモデルが構築される。ステップ４０８で機械学習モデルを構築するためのさらなる詳細は、「シード教師付機械学習モデルの構築」という見出しで以下に記述される。さらに、機械学習モデルは、ステップ４０８で、図１３に関連して以下に説明する方法１３００を使用して構築することができる。

【0098】

次に、ステップ４０９で、プロセス４４０は、これらのＮ個のアライメント実験のいずれか（機械学習モデルを構築するためにステップ４０８で実施される）からアライメント結果が許容基準を満たすかどうかをチェックする。基準を満たす場合、プロセス４４０は、前述したステップ４０６に移動する。同様に、ステップ４４０は、ステップ４０８で実施されたアライメント実験からのアライメント結果が、許容基準を満たすには十分ではないとしても、ステップ４０６に移動するが、ユーザーは、アライメントされたデータセットを「現状のまま」で停止し、受けいれることを選択した。ステップ４０９で、許容基準が満たされていないと判定された場合、プロセス４４０はステップ４１０に移動する。

【0099】

ステップ４１０で、プロセス４４０は、シード教師付き機械学習モデル（ステップ４０８に構築）を利用して、三つの組み込みワークフローのうちの少なくとも一つを実施して、所定のバッチデータセットに対するそのアライメント結果および性能指標での実用的なアライメント条件を推奨する。ステップ４１０で、プロセス４４０は、（１）自動アクティブ学習ワークフロー、（２）対話型アクティブ学習ワークフロー、および（３）ガイド付き学習プロセスのうちの少なくとも一つを実施する。これら三つのワークフローは、ステップ４１０で並行して実装することができ、ユーザーは、どのワークフローに従うか、これらのワークフローを進める順序、およびワークフローを行った後にワークフローを繰り返すかどうかを選択することができる。例えば、シードモデルを使用して、経験のあるユーザーは、アライメントハイパーパラメーター設定とアライメント指標との間の関係を対話的に検討し、対話型アクティブ学習ワークフローおよび／またはガイド付き学習プロセスを通してトレードオフを行なうことを選択し得る。別の例では、新規ユーザーは、推奨されるアライメント条件、およびそのアライメント結果、および基礎となるバッチデータセットに対する性能指標を得るために、自動アクティブ学習ワークフローに依存し得る。ステップ４１０で実施され得るワークフローのさらなる詳細は、「アライメント条件を推奨する自動アクティブ学習ワークフロー」、「アライメント条件を推奨する対話型アクティブ学習ワークフロー」、および「アライメント条件を推奨するガイド付き学習プロセス」という見出しで以下に記述される。さらに、図１６Ａ～Ｄに関連して以下に説明する機能は、ステップ４１０で実施することができる。

【0100】

次に、ステップ４１１で、プロセス４４０は、そのアライメント結果および性能指標とのアライメント条件が、ステップ４１０で実装されたアクティブ学習ワークフローまたはガイド付き学習プロセスによって推奨されるかどうかをチェックする。アライメント条件が推奨される場合、プロセス４４０はステップ４０６に進む。ステップ４１０から推奨されるアライメント条件がない場合、ステップ４１１で、プロセス４４０はステップ４１２へ進む。

【0101】

ステップ４１２で、プロセス４４０は、ユーザーが所与のバッチデータセットの学習を停止したいかどうかをチェックする。ステップ４１２で、ユーザーが停止したいという表示を提供する場合、プロセス４４０はステップ４０６に進み、そのアライメント結果および性能指標でのこれまでで最適のアライメント条件が利用可能になる（プロセス４４０からの出力）。ステップ４１２で、ユーザーが停止したくないという表示を提供する場合、プロセス４４０はステップ４１３に進む。

【0102】

（ａ）アライメント実験の実行、すなわち、観察のラベリングは、計算的に高価であり、および（ｂ）一般的に、実行したアライメント実験（ラベル付けされた観察）がより利用可能であると、アライメント品質のモデル予測はより良好であることを考えると、ステップ４１３で、プロセス４４０は、パイロットラン中の同じバッチデータセット、以前のアクティブ学習ワークフロー、およびガイド付き学習プロセスに対して以前にラベル付けされた全ての互換性のある観察を収集する。ステップ４１３で再利用可能なラベル付けされた観察を収集した後、プロセス４４０はステップ４０８に戻り、ステップ４０９、４１０、４１１、および４１２を繰り返す。ステップ４０８で、これらの既存の互換性のある観察を、新たにラベル付けされた観察とマージして、アライメント品質のより良い予測を提供するシードモデルを構築／更新することができる。

【0103】

アライメント環境および環境ライブラリ

【0104】

実施形態は、アライメントハイパーパラメーターおよびその設定、アライメント性能指標、アライメント許容基準、アライメントガイダンス擬似変数発生器関数、および所与のバッチデータセットに対する任意の他のアライメント関連データの管理を容易にするために、アライメント環境を採用し得る。実施形態によれば、アライメント環境ライブラリは、関連するデータを格納するコンピューターメモリー領域である。一実施形態では、環境ライブラリを利用して、アライメント環境のリストを管理する。環境ライブラリの使用により、ユーザーは、一つの環境、すなわちアライメント設定の収集から別の環境への迅速な切り替えが可能になるだけでなく、同じアライメント環境が同じバッチデータセットに適用されるときに、一貫したアライメント結果を確実に得ることができる。

【0105】

実施形態は、ライブラリ内のデフォルトアライメント環境を利用する。例示的実施によれば、デフォルト環境は、（１）アライメント方法の候補リストから選択された拡張アライメント方法の表示、（２）アライメントハイパーパラメーターのデフォルト設定、（３）デフォルト性能指標定義、および（４）任意の他の関連するデフォルト設定および構成とともにデフォルト許容基準を含む。バッチモデルがオンライン分析、監視、および制御に使用される実施形態では、拡張オンライン動的アライメント方法は、全ての組み込みアライメント環境でシステムデフォルトとして設定される。さらに、一実施形態では、デフォルト環境は、一つの組み込みの時系列発生器関数（例えば、「ステップ」）で有効化されたアライメントガイダンス擬似変数拡張を有する。デフォルト環境はまた、総品質スコアおよびアライメントの実行にかかる時間に基づき、組み込まれたデフォルト定義およびデフォルト許容基準を有する、デフォルト性能指標（例えば、バッチ成熟度スコア、フェーズＩＤスコア、総品質スコア、およびアライメント所要時間）を含んでもよい。

【0106】

異なるバッチプロセスまたは異なる製造プラントで実行される同じバッチプロセスからの異なるバッチデータセットは、異なるアライメント環境を必要とし得る。そのため、一実施形態では、ユーザーは、特定のバッチプロセスの設定および構成をカスタマイズできる。構成可能な設定には、他の例の中でも特に、アライメントガイダンス擬似変数発生器関数としての性能指標、許容基準、およびユーザー定義関数が含まれる。さらに、ユーザーは、異なるアライメント方法を選択し、特定のニーズを満たすために選択されたアライメント方法をカスタマイズし、これらの選択された構成をアライメント環境に維持することができる。バッチデータセットの特徴を考えると、アライメント環境をライブラリから選択して、アライメント条件を迅速に設定することができる。

【0107】

新しいバッチデータセットについては、バッチデータを生成するプロセスに関する事前の知見またはドメイン知識がないユーザーは、デフォルトのアライメント環境から始めることができる。さらに、ユーザーは、アライメント環境、すなわち、バッチアライメントを実施するための設定を調整またはカスタマイズすることができる。ユーザーは、変更された条件を新しいアライメント環境としてライブラリに保存して再利用することもできる。

【0108】

本明細書に記載する拡張オンライン動的アライメント方法を用いて構築されたアライメント環境の例では、多種多様な異なるアライメント設定および構成を含み得る。アライメント環境には、ハイパーパラメーターおよびハイパーパラメーターの設定範囲を含めることができる。ハイパーパラメーターの例には、特に、時間平滑性、スライドウィンドウサイズ、差分ペナルティ、および検索間隔が含まれる。実施形態で採用され得る追加のハイパーパラメーターが、米国特許出願第１５／９６７，０９９号に記載され、その内容は参照により本明細書に組み込まれる。

【0109】

アライメント環境は、アライメントガイダンス擬似変数拡張に関連するオプションおよび設定を格納できる。このデータは、それらの有効／無効フラグおよび調整可能な設定（可変アライメント重量など）を有するアライメントガイダンス擬似変数時間系列単調発生器関数（組み込みおよびユーザー定義を含む）のリストを含み得る。これらの関数は、アライメント結果に影響を与えるために、バッチフェーズ情報を有するオンザフライでアライメントガイダンス擬似変数時系列を自動的に生成するために、実施形態によって使用され得る。この機能に関するさらなる詳細は、本明細書では、「アライメントガイダンス擬似変数およびそれらの発生器関数」という見出しの下で提供される。

【0110】

実施形態はまた、アライメントガイダンスのみの可変拡張に関連するオプションおよび設定を保存し得る。このデータは、（ｉ）ユーザー履歴データベースおよび分散制御システムなどのバッチフェーズ情報を有する類似の単調な時系列発生器関数を用いて明示的に生成される、または（ｂ）モデリング目的のためにプロセス非有意プロセス変数としてユーザーによって明示的に含まれるが、明確なアライメントガイダンス情報を有する、アライメントガイダンスのみの時系列変数のリストを含み得る。これらのアライメントガイダンスのみの変数は、アライメント実装に対して他のプロセス変数と一緒に提供され得る。この機能に関するさらなる詳細は、本明細書では「アライメントガイダンスのみのプロセス変数」セクションの下に提供される。

【0111】

環境は、アライメント性能指標（組み込みおよび／またはユーザー定義の定義を含む）および対応するアライメント品質許容基準（デフォルトまたはカスタマイズ）のリストを含み得る。指標および許容基準に関する詳細は、「アライメント性能指標」および「アライメント許容基準」の見出しの下に以下に記載されている。

【0112】

実施形態はまた、シード教師付き機械学習モデルを構築するための設定およびオプションを格納し得る。この情報には、（１）妥当な精度でモデルを構築するために必要な実行アライメント実験（ラベル付けされた観察）の数、（２）シード学習モデルを構築するための他の設定とともに、機械学習モデル技術（例えば、とりわけ、潜在構造に対する投影（ＰＬＳ）多変量統計モデルおよびニューラルネットワーク）の最良の選択が含まれる。

【0113】

別の実施形態は、自動アクティブ学習ワークフローの設定およびオプションを保存する。これらの設定およびオプションの例として、自動学習の許容反復の最大数、自動学習者のコアとして使用されるモデルアナライザーまたはオプティマイザーの表示、ハイパーパラメーターおよび性能指標の設定に課せられる制約の表示、および自動学習者がどの観察が選択される次の最も有益な観察であるかをどのように決定するかの表示が挙げられる。

【0114】

対話型アクティブ学習ワークフローの設定およびオプションも、環境ライブラリに保存され得る。このデータには、対話型学習者のコアとしてどのモデルアナライザーまたはオプティマイザーを使用するか、ハイパーパラメーターおよび性能指標の設定に課せられる制約、および対話型学習者がどの観察が、とりわけ、選択される次の最も有益な観察であるかをどのように決定するかが含まれ得る。

【0115】

同様に、ガイド付き学習プロセスの設定およびオプションは、環境に格納され得る。これには、洞察を抽出するためにどのモデルアナライザー（例えば、予測における可変重要度（ＶＩＰ）アナライザー）を使用するかが含まれ得る。

【0116】

実施形態は、前述のデータの一部または全て、ならびに当業者に公知の任意の他のデータを含み得る。さらに、実施形態は、アライメント環境および環境ライブラリの使用を必要とせず、こうした実施形態では、ハイパーパラメーター、性能指標、許容基準、および他のアライメント基準の設定は、実施中に直接適用および構成することができる。

【0117】

アライメントガイダンス擬似変数とその発生器関数

【0118】

明確なアライメントガイダンスを有する十分なプロセス変数がない場合、アライメントガイダンスを提供するために、一つまたは複数の中間導出された疑似時系列を、基礎となるバッチデータセットとともに含めることができる。本明細書では、中間導出された時系列は、「アライメントガイダンス擬似変数」と呼ばれる。実施形態では、専用時系列発生器関数またはユーザー提供の発生器関数は、ユーザーが構成またはカスタマイズして、所望のアライメントガイダンス擬似変数時系列を生成することができる。

【0119】

実施形態によれば、時系列発生器関数は、アライメントプロセスに明確な方向を提供するために、フェーズ毎であり、単調である。バッチプロセスの各フェーズの性質を考えると、ドメイン知識を有するユーザーは、異なる時間系列形状がアライメント品質に異なる効果を有し得るため、異なるフェーズ毎の時系列発生器関数を適用して、各フェーズに対してアライメントガイダンスの軌道を生成することができる。例えば、水処理のためのバイオリアクター内の細菌の対数成長フェーズの間に、既存のプロセス変数からの明確なアライメントガイダンスがない場合、対数ベースの単調な時系列発生器関数を選択して、そのフェーズに対する対数特性を有する時系列を自動的に生成することができる。

【0120】

例証するために、さまざまな重合プロセスは、ステップ成長機構または鎖成長機構に従ってもよく、ここで、１）ステップ成長機構については、大量の単量体が反応の初期段階で消費され、２）鎖成長機構については、単量体の濃度が経時的に着実に減少する。関与する二重結合タイプおよび適用された触媒に応じて、シクロオレフィンのメタセシス重合は、ステップ成長機構または鎖成長機構のいずれかに続いてもよい。既存のプロセス変数からの明確なアライメントガイダンスがない場合、ステップ成長を有する重合反応フェーズについて、「ステップワイズ」または「ステップ」時系列発生器関数を選択して、そのフェーズに対してステップ特性を有する時系列を自動的に生成することができ、一方で、鎖成長を有する重合反応フェーズについては、「のこぎり歯」ベースの時系列発生器関数を選択して、そのフェーズに対するのこぎり歯特性を有する時系列を自動的に生成することができる。新規ユーザーは、一つまたは複数の擬似変数発生器関数を選択し、自動アクティブ学習ワークフローを適用して、所与のバッチデータセットのアライメント品質に対する発生器関数の影響を見つけることができる。さらに、この機能の詳細は、「アライメント条件を推奨する自動アクティブ学習ワークフロー」セクションで以下に説明されている。

【0121】

実施形態では、組み込みフェーズ当たり時間系列発生器関数は、他の例の中でも、多項式関数（例えば、「ステップ」、「のこぎり歯」、「矩形」など）、対数関数、および指数関数を含み得るが、これに限定されるものではない。所与の時系列発生器への入力「ｔ」は、バッチ内の現在の観察のインデックスであり、「ｔ０」は、あるフェーズに対するバッチ内の初期観察のインデックスであり、故に、「ｔ～ｔ０」は、「ｔ」と「ｔ０」の両方が同じフェーズにある場合、その特定のフェーズにおける観察の０に基づく相対インデックスである。言い換えれば、各アライメントガイダンス擬似変数に対して生成されたバッチ軌道は、各バッチフェーズでそれぞれ単調である。例示的実施形態では、組み込みの「のこぎり歯」時系列発生器は、新しい観察のためにフェーズＩＤ情報を繰り返し読み、新しい観察を、最後の観察のフェーズＩＤ情報と比較して、新しいフェーズが始まったばかりかどうかを判定する。新しいフェーズが開始すると、カウンターは０にリセットされ、新しい観察のためのフェーズが最後の観察のものと同じ場合、カウンターは１だけ増加する。このようにして、カウントは、現在のバッチフェーズに対し０に基づく相対インデックスとなる。図７のプロット７７０は、ＤＳ０８のバッチ１の他の１０個のプロセス変数とマージされたＤＳ０８のバッチ１に対するのこぎり歯で生成された擬似変数を示す。以下は、これらの公式のいくつかの典型的な形態であり、ほとんどの場合、それらは現状のままで機能するが、必要に応じて、さらにカスタマイズすることができる。

【0122】

ステップ時系列発生器関数：
ｙ（ｔ）＝３フェーズバッチプロセスの数値フェーズＩＤ、例：１、２、および３（１）

【0123】

のこぎり歯の時系列発生器関数：
ｙ（ｔ）＝ｔ－ｔ０ （２）

【0124】

矩形時系列発生器関数：
ｙ（ｔ）＝（ｔ－ｔ０）＾２ （３）

【0125】

対数時系列発生器関数：
y（t）＝log（t-t０＋１） （４）

【0126】

指数時系列発生器関数：

【数1】

【0127】

図６Ａ～Ｅは、ＤＳ０８のバッチ１の組み込みの擬似変数発生器関数、およびフェーズ情報に対する上記方程式（１）から（５）で生成されたアライメントガイダンス擬似変数を示すプロット６６０ａ～ｅである。ＤＳ０８のバッチ１は、インデックスが０～１４８、第一のフェーズが０～６２、第二のフェーズが６３～１０６、第三のフェーズが１０７～１４８の１４９のサンプリング点を有している。デモを簡略化するために、疑似発生器関数は、バッチの時系列生成中に異なるフェーズに対して切り替えられない。具体的には、図６Ａにおいて、時系列は「ステップ」発生器関数によって生成され、図６Ｂにおいて、時系列は「のこぎり歯」発生器関数によって生成され、図６Ｃにおいて、時系列は「矩形」発生器関数によって生成され、図６Ｄにおいて、時系列は「対数」発生器関数によって生成され、図６Ｅにおいて、時系列は「指数」発生器関数によって生成される。

【0128】

一例として、図７のプロット７７０は、ＤＳ０８のバッチ１の他の１０個のプロセス変数とマージされた、ＤＳ０８のバッチ１に対するのこぎり歯生成擬似変数を示す。一実施形態では、ＤＳ０８の他の７０個のバッチに同様に「のこぎり歯」発生器関数を適用して、それらのそれぞれに対して擬似変数を生成する。従って、こうした実装では、更新されたデータセット（各バッチに対して１０個のプロセス変数および１個の「のこぎり歯」擬似変数）は、「アライメントガイダンス擬似変数」で拡張され、アライメントの準備ができている。このように、実施形態は、他のプロセス変数のデータとともに、のこぎり歯のデータを基準バッチに整列させる。

【0129】

アライメントガイダンスのみのプロセス変数

【0130】

バッチアライメント品質が十分でない場合、実施形態は、ドメイン知識およびプロセス洞察を有するユーザーなどのユーザーからの指示を通して、バッチプロセス自体に取るに足らないが、バッチアライメントに関する有意義なガイダンスを提供することができる、追加のプロセス変数をもたらし得る。別の方法として、アライメントガイダンスのみの時系列は、バッチフェーズ情報に基づく時系列発生器関数を使用して、（例えば、開示されたアライメントシステムの外側で）その履歴、分散制御システムなどにおいてユーザーによって明示的に生成され得る。この機能は、とりわけ、上述の時系列発生器関数、例えば「ステップ」および「のこぎり歯」を利用し得る。どちらの場合も、これらの変数を取り込む目的は、アライメントガイダンスを提供することである。従って、こうした変数は、「アライメントガイダンスのみのプロセス変数」と呼ばれる。これらの変数の性質をアライメントガイダンスのみとして考慮すると、計算オーバーヘッドを低減するために、これらの変数は初期検討から除外され得るが、後にアライメント品質を改善するためにバッチデータセットに含まれる。

【0131】

図８のプロット８８０は、ＤＳ０８バッチのバッチフェーズＩＤ変数時系列を示す。バッチプロセスレシピの実行中に、バッチフェーズＩＤの時系列を、履歴にリアルタイムで記録し得る。フェーズＩＤ変数は、ほとんどの時間、多くの変動なしに「ステップ」であるため、それはプロセスの洞察を抽出するために、検討に最初に含まれえない。ただし、ステップ変数は、フェーズ境界にアライメントガイダンスを提供する。他の事例では、フェーズＩＤの時系列は、各バッチに対して、履歴システム、分散制御システムなどにおいて、「ステップ」時系列発生器関数を適用するユーザーによって明示的に生成することができる。例えば、３フェーズバッチ反応器／乾燥機プロセスについて、履歴において「ステップ」時系列を生成するために、ユーザーは、タイマーによって毎分１回実行されるスクリプトを展開して、現在のバッチがどのフェーズで動作するかをチェックすることができる。次に、スクリプトはバッチが調製フェーズ内にある場合、０を履歴に挿入し、バッチが第１フェーズにある場合、１を履歴に挿入し、バッチが第２フェーズにある場合、２を履歴に挿入し、バッチが第３フェーズにある場合、３を履歴に挿入することができる。履歴に格納された「ステップ」時系列は、図８のプロット８８０と同様に見える。履歴に保存される他の実プロセス変数とは異なり、これらの時系列は、バッチフェーズ情報および擬似変数発生器関数を利用して、アライメントガイダンス純粋を提供することによって生成される。ステップ変数が生成されると、それは任意のアライメントシステムのアライメントガイダンスのみの変数として使用することができる。

【0132】

一例として、図９のプロット９９０は、ＤＳ０８のバッチに対する他の１０個のプロセス変数とともに、「ステップ」アライメントガイダンスのみの変数を示す。ＤＳ０８の他の全てのバッチに対して同じメカニズムを配置できる。従って、精密データセット（各バッチに対して１０個のプロセス変数および１個の「ステップ」アライメントガイダンスのみの変数）は、「アライメントガイダンスのみの変数」で拡張され、アライメントの準備ができている。

【0133】

拡張アライメントワークフロー

【0134】

一実施形態による拡張アライメントワークフロー１０２０が図１０に示される。この方法１０２０を使用して、図１のステップ１０３でシードモデルを構築するために使用されるアライメントメタデータデータシートを作成し、ステップ１０４でさまざまな学習中にアライメントを実行するか、またはステップ１０５でアライメントを実行することができる。ワークフロー１０２０は、多数のアライメント問題に対処する。例えば、ワークフロー１０２０は、フェーズＩＤ予測およびバッチ成熟度の非単調な進行に関するエラーを処理する。ワークフロー１０２０はまた、バッチ成熟度が１００％のバッチ成熟度に決して達せず、データが高度に変動し、結果が堅牢でない場合を防止する。ワークフロー１０２０は、アライメント前にアライメントガイダンス擬似変数拡張および／またはアライメントガイダンスのみのプロセス変数拡張を基礎となるバッチデータセットに適用することによって、これらの問題に対処する。これらの拡張に関する詳細は、本明細書では、「アライメントガイダンス擬似変数およびそれらの発生器関数」の見出しおよび「アライメントガイダンスのみのプロセス変数」の見出しの下に記述される。

【0135】

この例示的なワークフロー１０２０では、オンライン動的アライメント方法がステップ１００９で提供され、ステップ１００３で例として「のこぎり歯」発生器関数が選択され、アライメントガイダンス擬似変数が生成されて、ワークフローが実証される。これは一例にすぎないが、他の実施形態については、異なるアライメント方法が、組み込みまたは顧客提供の擬似変数発生器関数とともに使用され得ることに留意されたい。

【0136】

拡張アライメントワークフロー１０２０は、アライメント環境から設定をロードすることによって、ステップ１０００で開始する。ステップ１０００でロードされ得る設定には、（１）オンライン動的アライメント方法に対するハイパーパラメーターおよびハイパーパラメーター設定範囲、（２）アライメントガイダンス擬似変数拡張に対するオプションおよび設定、（３）アライメントガイダンスのみの時系列変数のリスト、および（４）アライメント性能指標および対応するアライメント許容基準が含まれる。さらに、本明細書に記載の任意の変数は、ステップ１０００でロードされ得る。ステップ１０００でロードされ得る設定のさらなる詳細は、本明細書では「アライメント環境および環境ライブラリ」という見出しの下に記述される。

【0137】

次に、ステップ１００１は、アライメント環境で任意のアライメントガイダンス擬似変数が有効化されるかどうかを判断する。はいの場合、ワークフロー１０２０はステップ１００２に進む。そうでなければ、ワークフロー１０２０はステップ１００９に進む。

【0138】

ステップ１００２で、プロセス１０２０は、データセット中のアライメントされる各バッチおよび基準バッチをスキャンして、各バッチのフェーズＩＤ情報を記録する。図１１Ａ～Ｂは、ステップ１００２で決定され得る二つのＤＳ０８バッチのフェーズＩＤ情報を示す。オンライン動的アライメント方法を使用してバッチをアラインする場合、アライメントプロセス１０２０は、アライメントサンプリング時間まで情報を消費することができる。しかしながら、例示の目的で、図１１Ａ～Ｂのプロット１１０１ａ～ｂは、全バッチ用である。図１１Ａのプロット１１０１は、０～１４８までのインデックスを有する１４９のサンプリング点を有する基準バッチ１のフェーズＩＤ情報を示し、ここで、第一のフェーズは０～６２であり、第二のフェーズは６３から１０６であり、第三のフェーズは１０７から１４８である。図１１Ｂのプロット１１０１は、０～１２５までのインデックスを有する１２６のサンプリング点を有する未処理のバッチ３２のフェーズＩＤ情報を示し、ここで、第一のフェーズは０～５０までであり、第二のフェーズは５１から７３までであり、第三のフェーズは７４から１２５までである。

【0139】

図１０に戻ると、ステップ１００３で、プロセス１０２０は、アライメントガイダンス擬似変数用の時系列発生器関数をロードする。ステップ１００３では、アライメント環境、すなわち、アライメント設定／構成で有効化された任意の時系列発生器関数定義がロードされる。ロードされた関数は、組み込み関数または顧客提供関数であり得る。本明細書に記述された例では、ステップ１００３で「のこぎり歯」発生器関数定義がロードされる。

【0140】

次に、ステップ１００４で、ステップ１００３でロードされた発生器関数およびステップ１００２で決定されたフェーズＩＤ情報を使用して、擬似変数時系列を生成する。プロセス１０２０は、指定されたアライメントガイダンス擬似変数発生器関数（例えば、「のこぎり歯」関数）およびフェーズＩＤ情報を使用して、アライメントされる各バッチのアライメントガイダンス擬似変数時系列を生成する。この例はオンライン動的アライメント方法に基づいているため、プロセス１０２０は、現在のサンプリング時間までフェーズＩＤ情報を有する。この機能のさらなる詳細は、「アライメントガイダンス擬似変数およびそれらの発生器関数」の見出しで以下に記載される。

【0141】

次に、ステップ１００５で、プロセス１０２０は、生成されたアライメントガイダンス擬似変数が各フェーズにおいて単調であるかどうかを決定する。生成されたアライメントガイダンス擬似変数が単調である場合、プロセス１０２０はステップ１００６に移動するが、そうでない場合、プロセス１０２０はステップ１００７に移動する。例示的実施において、組み込み型時系列発生器は単調である。しかしながら、ユーザーが提供した発生器関数によって生成されるアライメントガイダンス擬似変数が単調ではない（ステップ１００５で決定される）場合、生成された時系列は使用できず、ステップ１００７で破棄され、プロセス１０２０はステップ１００８に移動する。ステップ１００８で、プロセス１０２０は、生成された時系列が単調ではないことをユーザーに通知するエラーを発行し、その後、アライメントプロセス１０２０は終了する。

【0142】

上述の通り、ステップ１００５に戻ると、生成されたアライメントガイダンス擬似変数が単調である場合、プロセスはステップ１００６に移動する。この例では、単調である「のこぎり歯」は、アライメントガイダンス擬似変数を生成するように選択され、そのため、のこぎり歯で生成される時系列は、ステップ１００５で単調であると決定され、プロセスはステップ１００６に進む。ステップ１００６で、各バッチに対して生成されたアライメントガイダンス擬似変数は、基礎となるバッチデータセット（例えば、ＤＳ０８）とマージされる。図示の目的のために、図１２のプロットのグラフ１２００は、ステップ１００６で実施されるマージの結果を示す。グラフ１２００では、ＤＳ０８のバッチ３２全体の１０個のプロセス変数と１つの擬似変数（ユニティスケールで）が全て示される。

【0143】

図１０に戻ると、ステップ１００６でマージした後、プロセス１０２０は、バッチアライメントが実行されるステップ１００９に進む。プロセス１０２０では、基礎となるオリジナルのバッチデータセットは、ドメイン知識またはプロセスの洞察を持つユーザーによって、一つまたは複数のアライメントガイダンスのみの変数ですでに拡張され得る。このような機能は、「アライメントガイダンスのみのプロセス変数」セクションで説明されている。さらに、ステップ１００９で、アライメントのための全体的なデータセットは、プロセス有意変数、アライメントガイダンスのみのプロセス変数（すなわち、プロセス非有意変数）、およびアライメントガイダンス擬似変数を含み得る。プロセス変数（有意または非有意に関係なく）は、履歴、分散制御システムなど、アライメントシステムの外部からの変数である。言い換えれば、プロセス変数は、アライメントプロセス１０２０の一部として決定されない。一方で、アライメントガイダンス擬似変数は、アライメントプロセス１０２０の一部として暗黙的にかつ自動的に生成される。ステップ１００９で、オンライン動的アライメント方法を使用して、全体的なバッチデータセットをアライメントし、プロセス１０２０をステップ１０１０に進める。

【0144】

ステップ１０１０で、アライメント結果を、性能指標を用いて評価する。この機能は、「アライメント性能指標」セクションで詳述されている。

【0145】

プロセス１０２０の設定に応じて、ステップ１００９でアライメントを実行し、ステップ１０１０で性能指標を評価した後、アライメントガイダンス擬似変数は、ステップ１０１１でアライメントされたバッチデータセットから自動的に除外される。別の方法として、アライメントガイダンス擬似変数は、モデルの構築、分析、または予測のために、アライメントされたバッチデータセット内に保持することができる。アライメントされたバッチデータセット内のアライメントガイダンス擬似変数を保持しても、アライメントされたバッチデータセット上に構築されたバッチモデルが必ずしも劣化するわけではないが、こうしたバッチモデルを構築するには、より多くのコンピューティングリソースが必要である。

【0146】

ステップ１００９でアライメント、ステップ１０１０で性能指標を評価し、ステップ１０１１でアライメントガイダンス擬似変数を除外した後、アライメントガイダンスのみのプロセス変数は、ステップ１０１２でアライメントされたバッチデータセットから自動的に除外される。アライメントガイダンスのみのプロセス変数は、モデルの構築、分析、予測のためにバッチを利用する前に自動的に除外して、不必要な計算作業を減らすことができる。一実施形態では、アライメントガイダンスのみのプロセス変数は、アライメント環境でアライメントガイダンスのみの変数として確保される場合、ステップ１０１２で自動的に除外される。実施形態では、バッチ内のアライメントガイダンスのみの変数を維持することは、アライメントされた軌道データセット上に構築されたバッチモデルを必ずしも劣化させるものではないが、より多くのコンピューティングリソースが必要となる。そのため、ステップ１０１２でアライメントガイダンスのみのプロセス変数を除外することは、計算上有利であり得る。さらに、実施形態では、ステップ１０１１および１０１２は、同時に、または図１０に示される順序とは異なる順序で実行され得ることに留意されたい。

【0147】

アライメント性能指標

【0148】

実施形態は、バッチアライメント品質を定量化するために、専用性能指標を採用する。性能指標を活用することで、アライメント結果を客観的かつ体系的に評価することができる。実施形態では、ユーザーは、これらの性能指標を選択し、カスタマイズすることができる。さらに、ユーザーは、アライメント構成中に、性能指標に対する独自の定義を含めることができる。実施形態は、組み込み性能指標関数を利用して、アライメント結果を定量化することができる。性能指標の例には、バッチ成熟度スコア、フェーズＩＤスコア、および総アライメントスコアが含まれる。実施形態はまた、アライメントプロセスを実行するのにかかる時間を考慮することができる。性能指標の例は、性能指標関数がどのようにアライメント結果をバッチ成熟度スコア、フェーズＩＤスコア、および総アライメントスコアに定量化するかを示す例として、拡張オンライン動的アライメント方法を使用して以下に示される。しかしながら、実施形態は、以下の例に限定されず、他の実施では、アライメント品質を評価するために使用される性能指標は、理論上は類似し得るが、以下に示されるものとは異なる形態を用いる。詳細は以下のとおりである。

【0149】

バッチ成熟度スコア

【0150】

バッチのバッチ成熟度スコアは、現在の未処理のバッチを基準バッチと比較することによって、現在のアライメントに対する完了パーセンテージと、基準バッチに対する未処理のバッチ成熟度の進行の滑らかさの両方を測定する。バッチ成熟度スコア

【数2】

バッチに対して以下に定義される。

【数3】

【0151】

バッチ成熟度スコアは、－∞から１００まで実行する。自然対数項には二つの部分が含まれる、および反復数によって正規化されたバッチ成熟度の差分項

【数4】

終了バッチ成熟度は、基準バッチに対するアライメントのパーセンテージを示す、０～１００までの数字である。例えば、終了バッチ成熟度値が９５であるということは、アライメントが、基準バッチの９５％にアラインされた未処理の軌道で終わることを意味する。指数関数的形態は、未成熟なアライメントに対して大きくペナルティを課している。Ｍｅｔｒｉｃ_ｉ式（７）で定義され、

【数5】

は、バッチ成熟度に対する反復ｉでの１次差分を表す。差分項は、アライメントの進捗中にバッチ成熟度に対する急激な変化と変化の数の両方に対して大きくペナルティを課す。

【0152】

フェーズＩＤスコア

【0153】

バッチのフェーズＩＤスコアは、バッチフェーズＩＤ予測における誤差を測定し、以下のように定義される。

【数6】

フェーズＩＤスコア関数（１１）は、対応する未処理データを使用して、アライメントされたデータ点のフェーズ同一性を定義する。方程式（１０）では、アライメントされないフェーズＩＤのカウントは、バッチ長を使用して正規化され、これは、アライメントプロセスにおいて１回の反復に対してミスアライメントスコアをもたらす。方程式（９）は、全ての反復のミスアライメントスコアを考慮に入れ、０～１００の間のスケールされた単一の数値をもたらす。フェーズＩＤが正しく識別されるほとんどの場合、このスコアは１００に近いと予想される。

【0154】

総品質スコア

【0155】

ある実施形態によれば、総アライメント品質指標は、Ｑ_{ｔｏｔａｌ}からなりＱ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}およびＱ_{ｐｈａｓｅ ｉｄ}それぞれバッチ成熟度の滑らかさおよびフェーズＩＤの誤分類情報を捕捉する。合計品質測定基準評価スコアは、対応するバッチ成熟度スコアおよびフェーズＩＤスコアの両方が完全である場合のみ１００（完全）となる。Ｑ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}およびＱ_{ｐｈａｓｅ ｉｄ}の一つが低い場合、他のスコアが高値であっても、得られた総スコアはまだ低い値であり、未処理のバッチと基準バッチとの間に有意差の存在を示す。バッチの合計アライメント品質評価関数は、以下のように定義される。

【数7】

【0156】

Ｑ_{ｔｏｔａｌ}は－∞から１００までの範囲であり、１００が完全アライメントであるのに対し、０未満の値は、未処理のバッチが基準バッチと効果的にアラインできないことを示す。Ｑ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}はバッチ成熟度の品質指標を示す。Ｑ_{ｐｈａｓｅ ｉｄ}は、アライメントが進行するにつれて、フェーズＩＤ精度の品質指標を表す。二つのサブメトリクスは、同様に１００で囲まれている。両方の項が自然対数に上昇し、その結果、のどちらかの１００からの有意偏差がＱ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}またはＱ_{ｐｈａｓｅ ｉｄ}の低総品質スコアとなる。この設計は、深層ニューラルネットワークでよく使用されるｓｏｆｔｍａｘ関数に類似しており、これは、さまざまな深層学習アプリケーションで効果的であることが証明される関数である。本明細書に記載されるバッチアライメント機能について、このアプローチは、アライメントの成功と失敗の効果的な分離をもたらす。

【0157】

複数のバッチを含むデータセットについて、各バッチは、上記のスコア値のうちの三つと、アライメントの完了にかかる時間の記録を生成することになる。各スコアの期待値は、データセット内の全てのバッチにわたるスコア値の平均として計算することができる。次に、期待値性能指標は、このデータセットに対するアライメントの動作を表す。データセット内の全てのバッチをアラインするのにかかった合計時間は、ハードウェア要件に関する洞察を提供し、ユーザーは必要なリソースと生成された精度の間のトレードオフを評価することができる。

【0158】

アライメント許容基準

【0159】

定量化された性能指標は、人間の介入なしに異なるアライメント条件で生成されたアライメント結果間の比較を可能にし、自動化を可能にする。本明細書に記述された実施例は、拡張オンライン動的アライメント方法、例えば、米国特許出願第１５／９６７，０９９号に記載される基本的な方法（オンライン動的アライメント方法）を、例えば、バッチ成熟度スコア、フェーズＩＤスコア、および総アライメントスコアなどの選択された性能指標に基づき、アライメント環境でアライメントの許容基準をどのように設定できるかを例示する例として、専用性能指標とともに利用する。実施形態では、アライメントプロセスを実行するのにかかる時間も同様に考慮することができる。

【0160】

この例では、デフォルト許容基準には以下が含まれる。１）Ｑ_{ｔｏｔａｌ}＞＝最小閾値、および２）アライメント完了にかかった総時間＜最大許容時間。両方の許容基準は、例えば、方法１００のステップ１０２で、アライメント設定を構成する際にカスタマイズすることができる。異なるバッチデータセットは、これらの許容基準に対して異なる閾値を有し得る。アライメントガイダンスが明確でないデータセットは、アライメントガイダンスのある別のデータセットよりも総スコアの閾値が低い可能性がある。しかしながら、実施形態は、アクティブ学習フレームワークを使用して、各バッチに対してエンドツーエンドのアライメントを実行する前に、適切なアライメント設定のアイデアを得ることができる。データセット全体でバッチアライメントを実施するのにかかる時間は、サンプリング点の数、変数の数、およびデータセット内のバッチの数に応じて、数秒から数時間の間で変化し得る。例えば、ＤＳ０８では、１０個中３個のプロセス変数が合理的なアライメントガイダンスをすでに提供し、総品質スコア基準を、として設定できる。Ｑ_{ｔｏｔａｌ}＞＝ ７５．実験を実行すると、アライメントにかかる時間について、新規ユーザーにいくらかのアイデアを与えることになる。この例では、Ｉｎｔｅｌ（登録商標）Ｘｅｏｎ（登録商標）ＣＰＵ Ｅ３－１２４５ ｖ５ ＠３．５ＧＨｚおよび３２Ｇ ＲＡＭ搭載の６４ビットＷｉｎｄｏｗｓ １０ ＰＣ上の拡張オンライン動的アライメント方法のアライメントハイパーパラメーターのデフォルト設定を使用してＤＳ０８でのアライメント実験を実行するのに約１、２分かかる。従って、ユーザーは、１０分を、こうした実施例に対する最大許容アライメント時間として設定し得る。

【0161】

さらに、ドメイン知識およびプロセスに関する知見を有するユーザーは、基準として総品質スコアの有無に関わらず、バッチ成熟度スコアおよびフェーズＩＤスコアに基づき、デフォルトの許容閾値を修正できる。例えば、所与のバッチプロセスでは、フェーズＩＤスコアは、バッチ成熟度スコアよりもはるかに重要であるため、ユーザーは、総アライメントスコアの定義を修正して、バッチ成熟度スコアよりもフェーズＩＤスコアを優先させることができる。しかしながら、こうした実施形態は、総品質スコアをアライメントプロセスの主要な許容基準として使用し、それに応じて許容閾値を調整できる。さらに、ユーザーは、次のような異なる許容基準を各期間で設定することができる。（１）Ｑ_{ｔｏｔａｌ}＞＝６０；（２）Ｑ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}＞＝５０；（３）Ｑ_{ｐｈａｓｅ ｉｄ}＞＝９０、および（４）他の例の中でも特に、所要時間＜１０分。

【0162】

他の実施形態では、性能指標との照合に使用される許容基準は、本明細書に記載される実施例とは異なってもよいことに留意されたい。別のアライメント方法を使用する場合、対応する性能指標を使用してアライメント結果を評価し、これらのアライメント結果を適切な許容基準と比較することができる。アライメント環境概念を有しない、すなわち、保存されたアライメント設定および構成を有しない実施形態では、受容設定は、対応するワークフローで直接適用され得る。

【0163】

シード教師付き機械学習モデルの構築

【0164】

上述のように、実施形態は、シードモデルを例えば、方法１００のステップ１０３で構築し、例えば、方法１００のステップ１０４で、採用することができる。一実施形態では、教師付き機械学習モデルは、シードモデルとして構築される。シードモデルは、所定のアライメント方法のアライメント品質に対する、アライメントハイパーパラメーターの異なる設定の影響に関する洞察を提供する。言い換えれば、シードモデルは、アライメント品質がハイパーパラメーター設定によってどのように影響されるかを示す。

【0165】

図１３は、一実施形態によるシードモデルを構築するためのプロセス１３００のフローチャートである。シードモデル造形プロセス１３００は、アライメントのための構成情報をロードするステップ１３０１で開始する。このデータは、ステップ１３０１で、プロセス１３００を実施するコンピューターデバイスに通信可能に結合された任意のコンピューターメモリーからロードされ得る。例えば、このデータは、アライメント環境、すなわち、メモリー内に格納されるアライメント構成および設定を表すデータの集合からロードされ得る。ステップ１３０１でロードされるデータは、とりわけ、選択されたアライメント方法、アライメント方法のハイパーパラメーター、ハイパーパラメーターの設定、シードモデルの構築に必要ないくつかの新しいラベル付けされた観察の表示、シードモデル、性能指標、および許容基準の構築に使用する教師付き機械学習アルゴリズムの表示を含み得る。

【0166】

本明細書に記載されるＤＳ０８データセットを使用した例示的実施について、ステップ１３０１でロードされたデータは、以下を含む。（１）アライメント方法としての拡張オンライン動的アライメント方法と、（２）拡張オンライン動的アライメント方法に対するハイパーパラメーターの完全リスト（例えば、時間平滑性、スライドウィンドウサイズ、差分ペナルティ、検索間隔、アライメントガイダンスの擬似変数用の組み込み時系列発生器関数）と、（３）１００のラベル付けされた観察を準備するために実行されるアライメント実験の最大数として１００と、（４）教師付き機械学習シードモデルを構築するためのＰＬＳアルゴリズムと、（５）拡張オンラインの動的アライメントに対するデフォルトの性能指標の定義と、（６）として既定の許容基準、Ｑ_{ｔｏｔａｌ}＞＝７５、および＜１０分としてアライメントの実行にかかる時間。

【0167】

次に、最大Ｎ個のアライメント実験のアライメント条件は、ステップ１３０２で準備される。ステップ１３０２でＮ実験を準備するには、いくつかの異なる方法がある。一つのアプローチは、Ｓｏｂｏｌ配列または他の類似の方法などの低不一致配列（ＬＤＳ）アプローチを使用することである。この機能には、https://en.wikipedia.org/wiki/Low-discrepancy_ sequenceで記述された方法を含んでもよい。さらに、実験のセットは、Ｄ－最適計画またはhttps://en.wikipedia.org/wiki/Optimal_designで説明されている他の同様の方法などの実験計画法（ＤＯＥ）アプローチを使用して決定できる。総当たりアプローチと比較して、ＬＤＳまたはＤＯＥアプローチを使用することで、より多くの実験をすることなく、より高い次元に対してより優れた均一性を生み出すことができる。一実施形態では、ステップ１３０２で、ステップ１３０２でこれらのＮ回の実験のために準備されたアライメント条件は、アライメントメタデータデータシートにＸ変数として列挙され、これはシードモデルを構築するために使用される。例示的なデータシート１５００が図１５に示されており、アライメントハイパーパラメーター（すなわち、アライメント条件）は、教師付き機械学習モデリング目的のためにＸ変数とも呼称されるアライメントガイダンス擬似変数に対する時間平滑性、スライディングウィンドウサイズ、差分ペナルティ、検索間隔、および異なる時系列発生器関数である。

【0168】

ステップ１３０３で、プロセス１３００は、所与の実装に対して利用可能なコンピューティングリソースに応じて、アライメント実験を順次または並列で実行する。一実施形態では、実験は、図１４Ａに関連して以下に説明する方法１４００ａを実施することによって、ステップ１３０３で順次実行される。別の実施形態では、実験は、図１４Ｂに関して以下で説明する方法１４００ｂを実施することによって並行して実行される。

【0169】

各アライメント実験の終了時に、実験からのアライメント結果は、性能指標で評価され、測定基準は、そのアライメント条件のＹ変数としてアライメントメタデータデータシートに追加される。例示的なデータシート１５００が図１５に示されており、アライメント実験結果から評価された性能指標（すなわち、アライメント品質インジケーター）は、バッチ成熟度スコア、フェーズＩＤスコア、総品質スコア、およびアライメントを実施する時間であり、これはまた、教師付き機械学習モデリング目的のためにＹ変数とも呼ばれる。このプロセスはまた、アライメント実験に対応するデータシートにおいて観察にラベル付けると称される。アライメントの実行または観察にラベル付することは、計算上高価な動作であり、そのため、一実施形態では、早期終了がデータシート作成ワークフローに含まれる。こうした実施形態では、任意のアライメント実験（観察）の性能指標が許容基準を満たす場合、アライメントプロセス全体は終了し、そのアライメント結果およびその性能指標が、アライメントプロセス外で利用可能となる。図１５は、ＤＳ０８に対する拡張オンライン動的アライメント方法を使用してラベル付けされた観察を有する、アライメントメタデータデータシート１５００の例を示す。

【0170】

図１３に戻ると、プロセス１３００はステップ１３０４で継続し、メタデータデータシートの任意の観察が許容基準を満たすかどうかをチェックする。観察が許容基準を満たす場合、プロセス１３００は終了し、アライメント結果およびアライメントの性能指標は、アライメントプロセスの外側、例えば、アライメントを実装するコンピューティングプロセスまたはコンピューティングプロセス以外のデバイスに対して利用可能となる。ステップ１３０４で、観察が許容基準を満たすと決定された場合、方法１３００は、ステップ１３０５へ進む。

【0171】

方法１３００は、ステップ１３０５で、ステップ１３０３前の任意の以前の学習で以前にラベル付けされた、再利用可能な観察があるかどうかをチェックする。再利用可能な観察がない場合、方法１３００はステップ１３０７に移動する。再利用可能な観察がある場合、方法１３００はステップ１３０６に進む。ステップ１３０６で、ステップ１３０３からの新たにラベル付けされたＮ個の観察が、以前にラベル付けされた再利用可能な観察とマージされて、アライメントメタデータデータシート、例えば、図１５に示されるシート１５００を形成する。ステップ１３０６でマージした後、方法１３００はステップ１３０７に進む。

【0172】

ステップ１３０７で、プロセス１３００は、アライメント環境（ＰＬＳなど）で選択されたアルゴリズムと、自動的に準備されたアライメントメタデータデータシート、例えば、図１５に示されるデータシート１５００とを使用して、シード教師付き機械学習モデルを自動的に構築する。一部の事例では、シードモデル造形プロセスは、ユーザーのドメイン知識および入力を利用するために、自動的または対話型であり得る。自動または対話型にかかわらず、シードモデル構築に関与する基本的なステップには、１）まだロードされていない場合にステップ１３０７で利用可能であるアライメントメタデータデータシートをロードすることと、２）アライメントメタデータデータシートを、訓練データセットおよび検証データセットに分割することと、３）アライメントガイダンス擬似変数拡張が有効化される場合、アライメントガイダンス擬似変数のセンタリング、スケーリング、カテゴリー処理し、外れ値を排除するなど、訓練メタデータを前処理することと、４）選択された教師付き機械学習アルゴリズムを使い、訓練データセットでシードモデルを構築することと、５）検証データセットでシードモデルを検証し、モデル予測品質を評価することと、が含まれる。

【0173】

方法１３００の実施形態は、多種多様な異なる方法で実施することができる。例えば、ステップ１３０３でアライメント実験を実施するために異なるアライメント方法を使用することができ、アライメントハイパーパラメーターに異なる設定を使用することができる。さらに、アライメントメタデータデータシート内のアライメント実験条件に合致する観察にラベル付のためのアライメント結果を評価するために、異なる性能指標を使用できる。実施形態はまた、使用される許容基準を変化させてもよく、方法１３００の実施形態は、早期終了オプションの有無に関わらず、例えば、実験の結果が許容基準を満たす場合、ステップ１３０３で実験の実行を停止するなどして、実行することができる。さらに、ステップ１３０７でシードモデルを自動的に構築するために、異なる教師付き機械学習方法を実装することができる。特定の状況では、総当たりアプローチを使用して、ステップ１３０３で実施されるアライメント実験のアライメント条件をランダムまたは均一に生成することができ、実施形態は、選択されたアライメント方法を用いてステップ１３０３で実験を実施することができる。

【0174】

上述のように、方法１３００のステップ１３０３で、実験を順次または並列に実行する。図１４Ａは、ステップ１３０３で実施して、実験を順次実行することができる方法１４００ａのフローチャートである。方法１４００ａは、例えば、利用可能なコンピューティングリソースが限定され、アライメント実験が、リソースを節約するために一度に一つずつ実行される場合、使用され得る。

【0175】

プロセス１４００ａは、実行するアライメント実験があるかどうかをチェックすることによりステップ１４２０で始まる。実行するための実験がない場合、アライメントメタデータデータシートの調製が行われ、方法１４００ａが終了する。実行するアライメント実験がある場合、プロセス１４００ａはステップ１４２１に進む。ステップ１４２１で、プロセス１４００ａは、次のアライメント実験を選択し、ステップ１４２２に移動する。プロセス１４００ａは、ステップ１４２２で、（１）拡張オンライン動的アライメント方法を用いて選択された実験を実行し、（２）アライメント結果を性能指標で評価し、（３）メタデータデータシート内の観察に、実行された実験と一致する性能指標値でラベル付けする。次に、ステップ１４２３で、プロセス１４００ａは、実験のアライメント結果が許容基準を満たすかどうかをチェックする。アライメント結果が許容基準を満たしていない場合、方法１４００ａはステップ１４２０に戻る。結果が許容基準を満たす場合、アライメントプロセスは終了し、アライメント結果およびアライメント性能指標が保存され、アライメントプロセス外で利用可能になる。

【0176】

方法１４００ａのように実験を順次実行する代わりに、方法１３００のステップ１３０３で、実験を並列に実行できる。図１４Ｂは、ステップ１３０３で実施して、実験を並列に実行できる方法１４００ｂのフローチャートである。方法１４００ｂでは、アライメント実験が実施され、観察が並列にラベル付けされる。方法１４００ｂは、十分な利用可能なコンピューティングリソースがある場合に選択され得る。その後、実験の実行速度を早めるために、実験は独立して並列に実行される。

【0177】

方法１４００ｂは、実行準備ができているアライメント実験のキューを用いる。個々のアライメントサブシステム、すなわち、実験の個々の実行について、実験は、ステップ１４４０でキュー解除され、実験を実施するサブシステム内に押し込まれる。方法１４００ｂの実施形態では、サブシステムは互いに独立して動作する。

【0178】

ステップ１４４１ａで、アライメントサブシステム（１）は、拡張オンライン動的アライメント方法を用いて選択された実験を実行し、（２）アライメント結果を性能指標で評価し、（３）メタデータデータシート中の観察に性能指標値でラベル付けする。次に、個々のサブシステムは、ステップ１４４２へ進む。ステップ１４４１ａが実装される間、例えば、他の計算インスタンスなどの一つまたは複数の他のサブシステムは、同じ機能性、例えば、ステップ１４４０でキューから除去される異なるアライメント実験で、ステップ１４４１ｎを並列で実行し得る。

【0179】

ステップ１４４２で方法１４００ｂは、新たに実行されたアライメント実験の性能指標が、許容基準を満たすかどうかをチェックする。そうでない場合、システムはステップ１４４０へ進む。いずれかの実験が基準を満たす場合、アライメントプロセスは終了し、基準を満たす、その実験からのアライメント結果および性能指標が保存される。

【0180】

教師付き機械学習モデルベースのプロセス

【0181】

本明細書に記載されるように、実施形態は、一つまたは複数の学習プロセスを利用し得る。例えば、こうしたプロセスは、他の例の中でも特に、図１のステップ１０４または図４のステップ４１０で実施され得る。図１６Ａは、実施形態で実施され得る学習プロセス１６のフローチャートである。例えば、プロセス１６は、図１のステップ１０４または図４のステップ４１０で実施され得る。

【0182】

図１６Ａの方法１６は、自動学習ワークフロー１６００、対話型アクティブ学習ワークフロー１６０１、および／またはガイド付き学習ワークフロー１６０２の教師付き機械学習モデルを利用して、所与の制約内で許容可能なアライメント品質でアライメント条件を推奨する。ワークフロー１６００～１６０２は、並行して実行することができる。さらに、ユーザーは、（コマンド、メニューオプションなどにより）どのワークフローをフォロウすべきか（１６００～１６０２）、どのシーケンスでワークフローを実施すべきか（１６００～１６０２）、および一つまたは複数のワークフロー（１６００～１６０２）を実装した後に、いくつかのワークフロー（１６００～１６０２）を繰り返すかスキップするかを選択することができる。

【0183】

ワークフロー１６００、１６０１、および１６０２のさらなる詳細を以下に説明する。「アライメント条件を推奨する自動アクティブ学習ワークフロー」という見出しの元、図１６Ｂの以下の記述は、自動アクティブ学習ワークフロー１６００の詳細を提供する。「アライメント条件を推奨する対話型アクティブ学習ワークフロー」という見出しの元、図１６Ｃの以下の記述は、対話型アクティブ学習ワークフロー１６０１のさらなる詳細を提供する。「アライメント条件を推奨するガイド付き学習プロセス」の見出しの元、図１６Ｄの以下の記述は、ガイド付き学習ワークフロー１６０２のさらなる詳細を提供する。

【0184】

アライメント条件を推奨する自動アクティブ学習ワークフロー

【0185】

図１６Ｂは、自動学習者によるアクティブ学習ワークフロー１６００の例示的実施を示す。図１６Ｂは、ＰＬＳアルゴリズムを用いてシードモデルを構築する。さらに、ＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶ（登録商標）オプティマイザーは、自動学習者のコアとして使用され、予測される総アライメント品質スコアを最大化し、アライメントを実施するために最大許容時間の内で実行できるアライメントをもたらす、次の最も有益な観察（アライメント実験条件）を特定する。さらに、方法１６００では、拡張オンライン動的アライメント方法を使用して、条件を用いてアライメント実験を実行し、アライメント結果を性能指標で評価して、許容基準が満たされるかどうかを確認する。実施形態では、この機能は、推奨されるアライメント実験条件が一度も実行されたことがないが、予測総アライメント品質スコアを最大化すると同時に、アライメントの実行に最大許容時間の内で実施され得るアライメントをもたらすように、最適化標的を満たすために、モデルオプティマイザーを有するシードモデルによって純粋に予測される場合、実行される。

【0186】

ステップ１６１０で、制約および設定がロードされる。一実施形態では、これらの設定および制約は、アライメント環境からロードされる。ロードされた設定とオプションは、拡張オンライン動的アライメント、性能指標、および許容基準を実行するために必要な設定とオプションである。プロセス１６００はまた、特に自動アクティブ学習ワークフローに対する設定およびオプションを読み込んでもよい。例えば、ＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶ（登録商標）ＰＬＳオプティマイザーが自動学習者のコアとして構成される場合、この学習に対する制約はステップ１６１０でロードされる。ステップ１６１０でロードされる制約の例には、以下が含まれる。（１）予測される総品質スコアの最大化、アライメント所要時間が最大許容アライメント時間よりも短いことの確認などの最適化標的、（２）差分ペナルティが、０～１の間でなければならないこと、検索間隔が１～１．０３の間であることが好ましい、バッチ成熟度スコアなどのアライメントハイパーパラメーターおよび性能指標のソフトバウンドおよびハードバウンド、Ｑ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}＞＝６０など、および（３）他の例の中でも特に、許容可能なアライメント条件が見つかるまで、自動学習者が学習する最大反復回数。

【0187】

プロセス１６００は、ステップ１６１１で、シード教師付き機械学習モデルをロードする。実施形態によれば、ステップ１６１１でロードされたモデルは、所与のバッチデータセットのアライメントメタデータデータシートに基づき自動的に構築される。この例では、シードモデルはＰＬＳアルゴリズムで構築されている。他の例示的実施形態では、シードモデルは、他の例の中でも特に、ニューラルネットワークなどの別の教師付き機械学習方法を用いて構築することができる。さらに、ステップ１６１１でロードされたモデルは、実行されたアライメント実験（ラベル付けされた観察）の任意の数、例えば、何百もの数に基づき構築することができる。

【0188】

ステップ１６１１でロードされたシード教師付き機械学習モデルと、ステップ１６１０でロードされた自動学習者のコアオプティマイザーに対する構成された制約とで、ステップ１６１２でプロセス１６００は、ロードされたソフトおよびハード制約でシードモデル上にモデルオプティマイザーをセットアップし、次にオプティマイザーを実行して、ユーザーが指定した最適化標的にアプローチし得る。最適化標的の例には、他の例の中でも特に予測される総品質スコアを最大化すること、アライメント完了までの合計時間を、１０分未満に維持することが含まれる。一実施形態では、ハード制約は最適化中に強制されるが、ソフト制約は必ずしも満たされ得ない。最終的に、モデルオプティマイザーによって最適化されたアライメント実験条件が推奨される、すなわち、ステップ１６１３で利用可能である。この例では、シードモデルはＤＳ０８の１００のラベル付けされた観察で構築され、ＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶ（登録商標）ＰＬＳオプティマイザーは、自動学習者のコアオプティマイザーとして設定される。自動学習者は、下記の制約で構成される。（１）予測される総品質スコアの最大化、（２）時間平滑性＞＝１、（３）差分ペナルティが０～１であること、（４）ウィンドウサイズ＞＝１、（５）検索間隔が１～１．０３の間で好ましいこと、（６）最大許容アライメント時間＜１０分。こうした例示的実施では、ステップ１６１２で、自動学習者は、時間平滑性＝２、ウィンドウサイズ＝２８、差分ペナルティ＝１、検索間隔＝１．０２６、および有効化される「ステップ」擬似変数のアライメント条件の提案を行う。こうした例では、予測される総アライメントスコアは７９であり、アライメントを実施する予測時間は１４３秒である。

【0189】

次に、ステップ１６１３で、システムは、推奨条件でのこうしたアライメント実験が以前に実行されたかどうかをチェックする。推奨条件を用いたアライメント実験が以前に実施された場合、同じ条件下で再びアライメント実験を実施する必要はなく、プロセス１６００はステップ１６１５に直接進む。そうでなければ、プロセス１６００はステップ１６１４に進む。

【0190】

続いて、ステップ１６１４で、推奨される条件でのアライメント実験が実行される。アライメントの結果は、性能指標を計算することによってステップ１６１４で評価される。次いで、性能指標は、ステップ１６１４でアライメントを実施するために使用されるアライメント条件に対応する観察にラベル付けするために使用される。この例では、システムは、ステップ１６１４で拡張オンライン動的アライメント方法を使用してアライメントを実行する。

【0191】

プロセス１６００は、ステップ１６１５で、ステップ１６１４でアライメントを実施するためにアライメント条件を使用して判定されたアライメント結果を使用して評価される、またはシードモデルを構築するために使用されるメタデータデータシート内に存在する性能指標が許容基準を満たすかをチェックする。許容基準を満たす場合、アライメントプロセスは終了の準備ができている。アライメント結果が基準を満足せず、最大自動学習反復数にまだ達していない場合、ステップ１６１４でラベル付けされた観察を使用して、該当する場合、ステップ１６１６～１６１９を実施することによって、教師付き機械学習モデルを更新または再構築する。ステップ１６１９の後、プロセスはステップ１６１１に戻り、そこでモデルがロードされ、その後、プロセス１６００はステップ１６１２に進み、自動学習者は、許容基準が満たされるか、または最大自動学習反復数に達するまで、アライメント条件に関する推奨を継続して行う。いずれの場合も（基準を満たすか、または反復の最大数が実行されたため停止する）、自動アクティブ学習ワークフローがステップ１６１５で停止すると、対応するアライメント結果および性能指標でのこれまでで最適のまたは基準適合アライメント条件が下流ワークフローで利用可能になる。一実施形態では、ステップ１６１５の後にプロセス１６００が停止する前に、自動アクティブ学習は、最適化標的によって決定されるアライメント品質を改善するために、繰り返し自動的に反復され、追加のユーザー干渉は予期されない。プロセス１６００が停止したときのみ、これまでで最適のまたは基準適合のアライメント条件でアライメントしたバッチ軌道データセットが、ユーザーに利用可能である。

【0192】

方法１６００のモデル更新または再構築プロセスは、ステップ１６１６で始まる。本明細書に記載のモデル再構築は、アライメントメタデータを使用して、所与の基礎となるバッチデータセットに対して、再びゼロから機械学習モデルを構築することを指すが、ここで、以前のモデルの情報または特性は、新しいモデルでは役に立たない。対照的に、本明細書に記載のモデルの更新は、新しいラベル付けされた観察に適応するように、既存の機械学習モデルを段階的に調整することを指す。アルゴリズムの更新の複雑さおよびモデルを再構築または更新するのにかかった時間に応じて、学習のためにシードモデルを構築するためにユーザーが選択する教師付き機械学習アルゴリズムは、「更新」オプションをサポートせずに「構築」または「再構築」オプションを提供し得る。例証として、ＰＬＳなどのシンプルな教師付き機械学習アルゴリズムでは、モデルを構築するのにほとんどのコンピューター上で数秒かかるだけである。「更新」オプションをサポートする実装は、それほど計算的に安価ではない場合がある。そのため、実装を簡略化して、更新オプションではなく、「構築」または「再構築」オプションのみをサポートするのは理にかなっている。ニューラルネットワークなど、より複雑な教師付き機械学習アルゴリズムでは、同じアライメントメタデータのモデルを構築するのに、より多くの時間がかかる。従って、「更新」オプションの実装が高価であり、このようなモデルを再構築するのにかかる時間が許容範囲である場合、システムは「更新」オプションなしで実装されてもよく、すなわち「構築」または「再構築」オプションのみをサポートし得る。「更新」オプションの実装が単純で安価であり、モデルの更新にかかる時間がモデルを再構築する場合よりも大幅に短い場合、このような実装が「更新」オプションを採用するのが理想である。しかしながら、このような実装は、新しい観察によって運ばれる変動が他のものから有意すぎる場合、再構築オプションが必要となり得るために、なおも「構築」または「再構築」オプションを可能にする。新しい観察によって導入される変動が、それなしでのデータセットから大きすぎる（例えば、データセットからの３標準偏差などの、あらかじめ設定された条件よりも大きい）場合、こうした教師付き機械学習モデルをゼロから再構築することは、こうした実施形態が「更新」オプションを実装するか否かにかかわらず、必要であり得る。教師付き機械学習の「更新」オプションをサポートするシステム実装では、ユーザーは、アライメント設定を構成する際に、新たにラベル付けされた観察が利用できるようになると、常に「再構築」を適用することができる。

【0193】

ステップ１６１６で、プロセス１６００は、シード教師付き機械学習モデルが再構築されるべきかどうかをチェックする。この例では、ＰＬＳアルゴリズムは、アライメント環境を設定する、すなわち、設定の際にシードモデルを構築するために選択され、デフォルト実装は、「更新」オプションをサポートしない。このため、新たにラベル付けされた観察があるときはいつでも、新しいＰＬＳモデルが再構築される。モデルを再構築する場合、プロセス１６００はステップ１６１９に進む。モデルを再構築しない場合、プロセス１６００はステップ１６１７に移動する。

【0194】

例示的実施形態では、シードモデルを再構築するステップは、シードモデルを最初に構築するステップと類似している。例えば実施形態では、モデルを再構築することは、（１）まだロードされていない場合に、ステップ１６１９で入手可能な更新されたアライメントメタデータをロードすることと、（２）ロードされたアライメントメタデータを、訓練データセットおよび検証データセットに分割することと、（３）アライメントガイダンス擬似変数拡張が有効化される場合、アライメントガイダンス擬似変数のセンタリング、スケーリング、カテゴリー処理し、外れ値を排除するなど、訓練メタデータを前処理することと、（４）ＰＬＳ、ニューラルネットワーク等選択された教師付き機械学習アルゴリズムを用いて、訓練データセットでシードモデルを構築することと、（５）検証データセットを用いて、シードモデルを検証し、モデル予測品質を評価することと、を含み、訓練データセットと同じ設定で前処理される。

【0195】

ステップ１６１７で、プロセス１６００は、シード教師付き機械学習モデルを更新する必要があるかどうかをチェックする。この例示的実施では、シードモデルを構築するためにＰＬＳアルゴリズムが使用されており、また、ＰＬＳの「更新」オプションがシステム例でサポートされていないため、新たにラベル付けされた観察が利用可能となった時点でモデルが再構築される。方法１６００の他の例示的実施の実施では、基礎となるシステムが「更新」オプションを実装し、新たにラベル付けされた観察によって導入された変動が大きすぎない場合（それなしでのデータセットからの３標準偏差など、あらかじめ設定された条件よりも小さい）、シードモデルは、新しいデータに対応するために更新され得る。モデルを更新する場合、プロセス１６００はステップ１６１８に進む。モデルを更新しない場合、プロセス１６００はステップ１６１２に移動し、自動学習者は、次に最も有益なアライメント条件について別の推奨を行う。

【0196】

プロセス１６００は、ステップ１６１８で、シード教師付き機械学習モデルを新たにラベル付けされた観察で更新し、次いでステップ１６１２に進む。しかしながら、ステップ１６１６でモデルを再構築すべきであると決定された場合、方法１６００は、ステップ１６１９で、新たにラベル付けされた観察を用いてシード教師付き機械学習モデルを自動的に再構築し、その後、ステップ１６１１に進み、新しいモデルを自動アクティブ学習ワークフロー１６００にロードする。

【0197】

本明細書で説明される例示的実施の実施では、ＰＬＳが、所与のバッチデータセットのアライメントメタデータデータシートからシードモデルを構築するように選択され、新たにラベル付けされた観察がある場合、シードモデルが再構築される。一実施形態では、ステップ１６１９でモデルを再構築することは、（１）まだロードされていない場合に、ステップ１６１９で入手可能な、更新されたアライメントメタデータデータシートをロードすることと、（２）ロードされたメタデータデータシートを、訓練データセットおよび検証データセットに分割することと、（３）アライメントガイダンス擬似変数拡張が有効化される場合、アライメントガイダンス擬似変数のセンタリング、スケーリング、カテゴリー処理し、外れ値を排除するなど、訓練データセットを前処理することと、（４）ＰＬＳアルゴリズムを用いて訓練データセットでシードモデルを構築することと、（５）検証データセットでシードモデルを検証し、モデル予測品質を評価することと、を含み、訓練データセットと同じ設定で前処理される。別の例示的実施形態では、所与のバッチデータセットのアライメントメタデータデータシートからシードモデルを構築するためにニューラルネットワークが選択され、対応する「更新」オプションが実装されるが、新しくラベル付けされた観察が過去の観察からの変動（それなしでのデータセットからの３標準偏差など、あらかじめ設定された条件よりも小さい）をあまり大きく伴わない場合、シードモデルは、別の「適合」を実行することによって更新することができる。別の適合を実行すると、全ての履歴観察と新しい観察でモデルをゼロから再構築または再訓練するのではなく、新しいデータに対応するように、重みと係数が調整される。

【0198】

アライメント条件を推奨する対話型アクティブ学習ワークフロー

【0199】

図１６Ｃは、対話型学習者を有するアクティブ学習ワークフロー１６０１の例示的実施を示す。本明細書に記載の方法１６０１の例示的実施について、シードモデルは、ＰＬＳアルゴリズムを用いて構築される。ＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶ（登録商標）オプティマイザーは、対話型学習者のコアとして使用され、この対話型学習者は、予想されるアライメント総品質スコアを最大化しながら、許容される最大アライメント時間内に実行できるアライメントの条件を提供する、次の最も有益な観察（アライメント実験条件）を特定する。図１６Ｂの方法１６００で実行される自動アクティブ学習とは対照的に、ユーザーは対話型アクティブ学習プロセス１６０１の中心であり、オプティマイザーによって提案されたアライメント条件の下でアライメント品質を確認するためにアライメント実験を実行する時／するかどうかを決定する責任がある。一実施形態では、グラフィカルユーザーインターフェイス（ＧＵＩ）を介して、ユーザーは、オプティマイザー設定、すなわち、最適化標的を直接調整して、最適化を所望の方向に移動させ、アライメント実験の実施を承認する前に、ユーザーが望むだけ多くの最適化を繰り返し実施できる。ユーザーがオプティマイザーから提案されたアライメント実験条件を承認した後（これらの条件とのアライメントが以前に実行されなかったと仮定）、拡張オンライン動的アライメント方法を使用して、提案された条件でアライメント実験を実行する。次に、アライメント結果を、性能指標を用いて評価し、許容基準が満たされるかどうかを確認する。方法１６０１の実施形態では、対話型学習者は、グラフィカルユーザーインターフェイス（ＧＵＩ）を利用して、これまでで最適のアライメント条件、アライメント結果、および以前に実行されたアライメント実験からの性能指標を表示する。ＧＵＩはまた、アライメント条件下でアライメントされた軌道を、そのオリジナルの軌道と並列して表示して、所与のバッチデータセットのアライメント品質の目視検査を可能にすることができる。

【0200】

プロセス１６０１は、アライメントのための負荷制約および設定を用いてステップ１６３０で開始する。ロードされたデータは、拡張オンライン動的アライメントを実行するために必要な設定およびオプションを含み得る。対話型アクティブ学習ワークフローのための性能指標、許容基準、および設定およびオプションも、ステップ１６３０でロードされ得る。例証として、ＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶ（登録商標）ＰＬＳオプティマイザーが対話型学習者のコアとして構成される場合、ステップ１６３０で対話型アクティブ学習ワークフロー１６０１にロードされる制約の例には、以下が含まれる。（１）デフォルト最適化標的、（２）最適化オプション（例えば、予測総品質スコアの最大化、アライメント完了の最大許容時間の制限）、（２）バッチ成熟度スコアなどの個々の指標に設定できる最適化標的、Ｑ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}、他のオプションの中でも、（３）差分ペナルティが０～１の間でなければならない、検索間隔は、１～１．０３の間であることが好ましい、バッチ成熟度スコア などのアライメントハイパーパラメーターおよび、性能指標に対するソフトバウンドおよびハードバウンドＱ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}＞＝６０など、およびハードバウンドが強制され、ソフトバウンドが可能な限り満たされる。

【0201】

ステップ１６３１で、プロセス１６０１は、シード教師付き機械学習モデルをロードする。ある実施形態によれば、ステップ１６３２でロードされたモデルは、所与のバッチデータセットのアライメントメタデータデータシートに基づき自動的に構築される。本明細書に記載されるこの例示的実施形態では、ステップ１６３１でロードされたシードモデルは、ＰＬＳアルゴリズムで構築される。他の実施形態では、シードモデルは、当該技術分野で既知の任意の他の教師付き機械学習方法を用いて構築され得ることに留意されたい。

【0202】

ステップ１６３１でロードされたシード教師付き機械学習モデルと、ステップ１６３０でロードされた対話型学習者のコアオプティマイザーに対する構成された制約とで、プロセス１６０１は、ステップ１６３２でアライメント条件を対話的に推奨する。方法１６０１の実施形態では、ステップ１６３２で、ユーザーは、グラフィカルユーザーインターフェイス（ＧＵＩ）を提示され、ユーザーは、オプティマイザー設定、すなわち、最適化標的を直接調整して、最適化を所望の方向に移動させ、ユーザーが実行予定のアライメント実験を承認する前に、ユーザーが望むだけ多くの最適化を繰り返し実施できる。ステップ１６３２でオプティマイザーによって提案されるアライメント実験条件が、実行のためにユーザーによって承認されると、対話型推奨ステップ１６３２が完了し、ユーザーが承認したアライメント条件は、プロセス１６０１の将来のステップで使用される推奨である。実施形態では、最適化標的は、他の選択肢の中でも特に、予測される性能指標または指標の一部を最大化し、アライメントにかかる時間を、所与の最大許容時間よりも短くすることを含むことができる。本明細書に記載の例示的実施形態では、シードモデルは、ＤＳ０８の１００のラベル付けされた観察で構築され、ＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶ（登録商標）ＰＬＳオプティマイザーは、対話型学習者のコアとして構成される。さらに、対話型学習者は、下記の制約で構成される。（１）予測される総品質スコアの最大化、（２）時間平滑性＞＝１、（３）差分ペナルティが０～１であること、（４）ウィンドウサイズ＞＝１、（５）検索間隔が１～１．０３の間で好ましいこと、（６）最大許容アライメント時間＜１０分。

【0203】

続いてステップ１６３３でプロセス１６０１は、ステップ１６３３で推奨される条件を使用してアライメント実験が実行されたかどうかをチェックする。アライメントが以前に実行された場合、同じ条件下でアライメント実験を再度実行する必要はなく、プロセスはステップ１６３５に直接進む。アライメントが推奨されるアライメント条件で以前に実行されなかった場合、プロセス１６０１はステップ１６３４に移動する。

【0204】

ステップ１６０１は、ステップ１６３４で、推奨される条件を用いてアライメント実験を実施する。ステップ１６３４で、アライメント結果が、性能指標を用いて評価され得る。本明細書に記述された例示的実施の実施では、ステップ１６３４でプロセス１６０１は、拡張オンライン動的アライメント方法によるアライメントを実行する。

【0205】

次に、ステップ１６３５で、ステップ１６３４で推奨されるアライメント条件を使用して決定されたアライメント結果に基づき評価された性能指標を分析し、結果が許容基準を満たすか、またはユーザーが対話型学習を停止したいかを決定する。結果が許容基準を満たす場合、またはユーザーが対話型学習を停止したい場合、プロセス１６０１は終了する。プロセス１６０１が終了すると、推奨されるアライメント条件、または最良の結果を達成したアライメント条件、アライメント結果自体、および性能指標が格納され、任意の下流プロセスで利用できるようになる。ステップ１６３５で、アライメント結果が許容基準を満たしておらず、かつユーザーがプロセス１６０１を終了したくないと決定された場合、ステップ１６３４でラベル付けされた観察は、該当する場合、ステップ１６３６から１６３９を実施することによって、シードモデルを更新または再構築するために使用され、対話型学習者は、アライメント条件に関する推奨事項を引き続き行うことができる。

【0206】

ステップ１６３６で、プロセス１６０１は、教師付き機械学習モデルが再構築されるべきかどうかをチェックする。対話型アクティブ学習のためにモデルを再構築または更新する必要があるかどうかを決定するために使用される原則が、図１６Ｂに関して上で説明した自動アクティブ学習の場合と同じである。例えば、教師付き機械学習アルゴリズムの更新の複雑さ、このようなモデルの再構築または更新にかかる時間、および新たにラベル付けされた観察がもたらす変動の量を、モデルを更新または再構築するかどうかを決定する際に、考慮することができる。この例では、ＰＬＳアルゴリズムは、アライメント環境をセットアップするときにシードモデルを構築するために選択され、そのため、新しいラベル付けされた観察がある場合、新しいＰＬＳモデルが再構築される。ステップ１６３６で、機械学習モデルを再構築すべきであると決定された場合、プロセス１６０１はステップ１６３９に進む。モデルを再構築しない場合、プロセス１６０１はステップ１６３７に移動する。ステップ１６０１は、ステップ１６３７で、教師付き機械学習モデルを更新すべきかどうかをチェックする。別の実施例では、ニューラルネットワークを使用してシードモデルを構築し、新たにラベル付けされた観察によって導入された変動が大きすぎない（それなしでのデータセットからの３標準偏差など、あらかじめ設定された条件よりも小さい）場合、シードモデルを更新し得る。モデルの更新には、既存のモデルの係数および重みを調整して新しいデータに適合する、「モデル適合」の別のランを実行することが含まれ得る。モデルを更新する場合、プロセス１６０１はステップ１６３８に進み、そうでない場合、方法１６０１はステップ１６３２に移動する。

【0207】

続いて、ステップ１６３８で、教師付き機械学習モデルが、新たにラベル付けされた観察で更新され、その後、プロセス１６０１がステップ１６３２に進む。ステップ１６３６で、モデルを再構築する必要があると決定した場合、プロセスはステップ１６３９に進み、ここで、新しくラベル付けされた観察を用いて、教師付き機械学習モデルを自動的に再構築する。ステップ１６３９でモデルを再構築した後、プロセスはステップ１６３１に進み、そこで新たに再構築されたモデルがロードされ、プロセス１６０１は対話型アクティブ学習ワークフロー１６０１で新しいモデルで継続する。

【0208】

アライメント条件を推奨するためのガイド付き学習プロセス

【0209】

図１６Ｄは、実施形態で実施され得るガイド付き学習プロセス１６０２の例示的実施を示す。図１６Ｄに記述の例示的実施形態では、シードモデルは、所与のバッチデータセットのアライメントメタデータデータシート上のＰＬＳアルゴリズムを用いて構築される。方法１６０２については、さまざまな異なるＰＬＳベースのモデルアナライザー、エクスプローラー、および／またはオプティマイザーを使用して、洞察を抽出し、その場のアライメント実験を繰り返し実施して、アライメント結果に対する可変調整またはカスタマイズの影響方向を決定することができる。ガイド付き学習プロセス１６０２は、バッチデータセットに対して以前に実行されたアライメント実験（ラベル付けされた観察）から利用可能な最良のアライメント結果を含む、以前に実行されたアライメントの結果にアクセスできる。利用可能な結果には、各観察、アライメント条件、および性能指標が含まれる。これにより、ユーザーは、実用的なアライメント結果とのアライメント条件を選択するために、指標の中でトレードオフを行うことができる。ガイド付き学習プロセス１６０２の間、ユーザーは、異なる経路を何回でも所望のように繰り返し横断することができる。方法１６０２に実装され得る経路および機能性のさらなる詳細を、以下に説明する。

【0210】

プロセス１６０２は、ステップ１６６０で、ガイド付き学習プロセスのためのロード設定で開始する。ステップ１６６０でロードされたデータは、ガイド付き学習プロセス１６０２を実施するために必要な任意の設定およびオプションを含み得る。ロードされたデータは、他の例の中でも特に、モデルエクスプローラー、モデルアナライザーおよびモデルオプティマイザーに対する制約および／または設定、拡張オンライン動的アライメントを実行するために必要な設定およびオプション、性能指標、および許容基準を含み得る。ステップ１６６０でロードされる制約の例には、以下が含まれる。（１）予測される総品質スコアの最大化、アライメント所要時間が最大許容アライメント時間よりも短いことの確認などの最適化標的、（２）差分ペナルティが、０～１の間でなければならないこと、検索間隔が１～１．０３の間であることが好ましい、バッチ成熟度スコアなどのアライメントハイパーパラメーターおよび性能指標のソフトバウンドおよびハードバウンド、Ｑ_{ｂａｔｃｈ ｍａｔｕｒｉｔｙ}＞＝６０など、および（３）他の例の中でも特に、許容可能なアライメント条件が見つかるまで、自動学習者が学習する最大反復回数。

【0211】

続いて、ステップ１６６１で、プロセス１６０２は、シード教師付き機械学習モデルをロードする。この例では、モデルはＰＬＳアルゴリズムで構築されている。ステップ１６６１でモデルがガイド付き学習プロセス１６０２にロードされた後、ユーザーは、さまざまなＰＬＳベースのモデルアナライザー、モデルエクスプローラー、およびモデルオプティマイザーを適用して、所与のアライメント方法に対して、基礎となるバッチデータセットのアライメントプロセス洞察を抽出することができる。いくつかのガイドされたオプション１６６２～１６６５がプロセス１６０２に含まれ（他の利用可能な例の中で）、ユーザーは次のステップ１６６２～１６６５を選択して実装することができる。

【0212】

例えば、ユーザーがステップ１６６２に進む場合、変数、例えば、ハイパーパラメーターのアライメント品質に対する重要性、およびシードモデル品質に対する性能指標の影響が評価される。図１７は、プロット１７７０の例を示し、ここで、ＰＬＳ ＶＩＰ（投影に対する可変の重要性）分析が、ＤＳ０８のために構築されたシードモデル上で実行される。プロット１７７０では、例えば、ハイパーパラメーターの「時間平滑性」１７７１は、アライメント品質にほとんど影響を与えないように見える。性能指標の評価は、例えば、性能指標の変更を含むか除外するかによって、アライメント結果にどのように影響するかを決定する。別の例では、シード教師付き機械学習モデルから性能指標、「バッチ成熟度スコア」および「フェーズＩＤスコア」を除外した後、ＤＳ０８のモデルのＱ^２値が０．１７２増加したことを例証する。Ｑ^２は、パラメーターが将来のデータ（モデルの訓練に使用されるデータを超えて）でどの程度予測できるかの尺度であり、その値範囲は０～１の間である。そのため、この例では、改善が重要である。

【0213】

図１６Ｄにもどり、ステップ１６６２で分析した後、プロセス１６０２はステップ１６６６へ進む。ステップ１６６６では、非有意なハイパーパラメーターおよび性能指標に対する変動を排除することができる。こうした実施形態では、非有意なハイパーパラメーターおよび性能指標は、ユーザーの指示に応答して除去され得る。非有意なハイパーパラメーターが除去された場合、将来のアライメント実験を調製する際にもはや使用されない。例示するために、非有意なハイパーパラメーターの「時間平滑性」が除去される場合、時間平滑性は、そのデフォルト値を有するように設定され、時間平滑性の値は変化しない。これにより、全てのハイパーパラメーターが変化した場合に、準備しなければならないアライメント実験の総数が減少し得る。ユーザーはまた、モデルの予測品質を改善するために、望ましくない性能指標をシードモデルから除外することもできる。例えば、ユーザーは、モデルから「バッチ成熟度スコア」および「フェーズＩＤスコア」が除外されることを示すことができる。ステップ１６６６は任意であり、非有意なハイパーパラメーターおよび性能指標を排除する必要はないことに留意されたい。

【0214】

続いて、ステップ１６６６の後、方法１６０２はステップ１６７０へ進む。ステップ１６７０で、プロセス１６０２は、アライメント環境、すなわち、設定を更新する。これらの設定には、ステップ１６６６で更新された包含および除外されたハイパーパラメーターリストおよび性能指標リスト、ステップ１６６３で行った性能指標および許容基準へのカスタマイズ、ステップ１６６４で行ったアライメントガイダンスの擬似変数時系列生成関数へのカスタマイズ、およびステップ１６６５で行ったハイパーパラメーター範囲、オプションまたは制約への調整が含まれ得る。ステップ１６７０では、前のステップは、ステップ１６６６またはステップ１６６９のいずれかである（許容基準が満たされていない）。ステップ１６７０でアライメント環境を更新した後、プロセス１６０２はステップ１６７１へ進む。

【0215】

ステップ１６７１で、プロセス１６０２は、ユーザーがガイド付き学習プロセスを停止したいかどうかをチェックする。はいの場合、ガイド付き学習プロセスは終了する。ユーザーがプロセス１６０２を終了することを望まない場合、方法はステップ１６７２に進む。ステップ１６７２で、プロセス１６０２は、シード教師付き機械学習モデルを再構築すべきかどうかをチェックする。機械学習モデルを再構築する場合、方法１６０２はステップ１６７５に進む。モデルを再構築しない場合、方法１６０２はステップ１６７３に移動する。ガイド付き学習（方法１６０２）のためにモデルを再構築または更新するかどうかを決定するために使用される原理は、アクティブ学習に対して上述の記述（図１６Ｂに関して記述された方法１６００）と同じであり得る。例えば、モデルの更新または再構築を決定する際に考慮され得る条件には、アルゴリズムの更新の複雑さ、モデルの再構築または更新にかかる時間、および新たにラベル付けされた観察がもたらす変動の量が含まれる。この例では、ＰＬＳアルゴリズムは、アライメント環境をセットアップするときにシードモデルを構築するために選択され、従って、新たにラベル付けされた観察がある場合、新しいＰＬＳモデルが再構築される。

【0216】

ステップ１６７３は、シード教師付き機械学習モデルを更新する必要があるかどうかをチェックする。モデルを更新する場合、方法はステップ１６７４へ進む。モデルを更新する必要がない場合、ユーザーは、四つのアクション、１６６２、１６６３、１６６４、または１６６５のうちの一つを選択することができる。ステップ１６７３で、モデルが更新されるべきであると決定される場合、ステップ１６７４で、モデルが更新され、その後、プロセス１６０２がステップ１６６２、１６６３、１６６４、または１６６５に進む。

【0217】

ステップ１６７５で、プロセス１６０２は、教師付き機械学習モデルを自動的に再構築し、ステップ１６６１に進み、新しく再構築されたモデルをロードして、ガイド付きプロセス１６０２を継続する。

【0218】

ステップ１６６１のすぐ後に戻り、複数のオプションのうちの一つが選択され、ユーザーはステップ１６６３を選択することができる。ステップ１６６３で、ユーザーはまた、さまざまなモデルアナライザーを用いてシードモデルを探索した後に、性能指標およびアライメント許容基準を調整またはカスタマイズすることができる。例えば、総品質スコア（１２）のデフォルト定義では、バッチ成熟度スコアおよびフェーズＩＤスコアは等しく扱われる。しかしながら、これらの因子が所与のバッチプロセスに対して異なる重みを有するべきである場合、ユーザーは、ステップ１６６３で許容基準を変更し、バッチ成熟度スコアおよびフェーズＩＤスコアを独立して測定することができる。さらに、ユーザーは、総品質スコアの定義を修正して、異なる係数を適用できるが、許容基準として「総品質スコア」を使用することができる。ユーザーはまた、ステップ１６６３で、ユーザーのドメインの専門知識およびプロセスの洞察に従って、各性能指標のデフォルト定義を変更できる。

【0219】

ステップ１６６３で性能指標および／または許容基準をカスタマイズした後、プロセス１６０２はステップ１６６７に移動する。ユーザーがステップ１６６３で性能指標定義または許容基準定義のいずれかを変更した場合、変更された定義に従って、所与のバッチデータセットに対して実行された全てのアライメント実験について、以前のアライメント結果を再評価する必要があり得る。これらの結果はまだ利用可能であり、従って、これらの条件下でアライメント実験を再実行する必要はない。代わりに、性能指標を評価することは速いため、ステップ１６６７でプロセス１６０２は、以前にラベル付けされた全ての観察を再評価し、再評価に基づき、これまでで最適の許容ベース基準に基づく観察を特定する。次いで、プロセス１６０２は、ステップ１６６９に移動する。

【0220】

ステップ１６６９で、プロセス１６０２は、観察（ステップ１６６７からのこれまでで最適の許容基準、またはステップ１６６８でその場のアライメントによって新たにラベル付けされた基準のいずれか）が現在の許容ベース基準を満たすかをチェックする。許容基準を満たさない場合、プロセス１６０２はステップ１６７０に移動する。許容基準を満たす場合、プロセス１６０２はステップ１６７６へ進む。ステップ１６７０および１６７６の両方で、アライメント環境、すなわち、アライメントを実施するための保存された設定および条件が更新される。方法１６０２が、ステップ１６７６でアライメント環境を更新する場合（許容基準が満たされた後）、プロセス１６０２は、アライメント条件が推奨されるステップ１６７７に進み、その後、プロセス１６０２は終了する。こうしたシナリオでは、アライメント結果および関連する性能指標が保存され、従って、任意の下流プロセスで利用できる。

【0221】

ステップ１６６１のすぐ後に戻り、複数のオプションのうちの一つが選択され、ユーザーはステップ１６６４を選ぶことができる。ステップ１６６４で、ユーザーは、アライメントガイダンス擬似変数発生器関数定義をカスタマイズするか、または１フェーズ毎の相対インデックスに基づき単調な時系列を生成する関数に対して、独自の定義を提供することができる。ステップ１６６４でのカスタマイズの後、プロセスはステップ１６６８へ進む。

【0222】

ステップ１６６８で、プロセス１６０２は、（１）変更された発生器関数および／または新しくユーザーが提供した発生器関数のアライメント結果への影響を確認するために、またはまたは（２）ステップ１６６５（以下に説明）で実施されるハイパーパラメーター範囲、オプション、または制約への調整によって引き起こされるアライメント結果への影響に関して得られた洞察を確認するために、アライメント実験を実行する。一実施形態では、このアライメントに使用される方法は、プロセス４４０のステップ４０８でシードモデルを構築するために使用される方法と同じである。ステップ１６６８でのアライメント実験の実施に加えて、アライメント結果は、ステップ１６６８での性能指標によって評価される。次に、プロセス１６０２はステップ１６６９に進み、結果を許容基準と比較する。

【0223】

ステップ１６６１のすぐ後に戻り、複数のオプションのうちの一つが選択されると、ユーザーはステップ１６６５を選ぶことができる。ステップ１６６５で、ユーザーは、さまざまなモデルアナライザーから得られた洞察を用いて、アライメントハイパーパラメーターの範囲、オプション、または制約を調整できる。図１８は、ステップ１６６５で考慮され得る、モデルアナライザーによって生成される例示的なプロット１８８０を示す。例示的なプロット１８８０では、ユーザーは、ＰＬＳシードモデル上でＴ１対Ｔ２のスコアプロット分析を適用する。プロット１８８０では、各三角形は、ラベル付けされた観察（実行されたアライメント実験）を表し、色は、ＤＳ０８に対するその条件下でのアライメント結果について評価された総品質スコアを表す。プロット１８８０では、寄与分析を実施するために、二つのクラスタ１８８１ａおよび１８８１ｂが選択された。１）理想性能の低いクラスタ１８８１ａ、例えば、約６６の総品質スコアを有する観察８４、および（２）より理想性能を有するクラスタ１８８１ｂ、例えば、約８０の総品質スコアを有する観察６４、８３、および９８。

【0224】

図１９のプロット１９９０は、図１６Ｄのステップ１６６５でも考慮することができる寄与分析の結果を示す。プロット１９９０は、例えば、とりわけ、ウィンドウサイズを１９９１年に縮小し、差分ペナルティ１９９２を増加させ、および検索間隔１９９３を増加させる洞察が総品質スコアを改善し得ることを明らかにする。

【0225】

図１６Ｄにもどり、ステップ１６６５で、こうした分析、例えば、プロット１８８０および１９９０の結果は、ハイパーパラメーターの設定範囲および将来のアライメント実験のためのそれらのオプションまたは制約を調整するために、ユーザーによって使用され得る。ステップ１６６５でハイパーパラメーター範囲、オプション、または制約を調整した後、プロセス１６０２はステップ１６６８へ進む。

【0226】

産業マルチフェーズバッチプロセスにおける例示的アライメント品質改善

【0227】

ＤＳ０８バッチは比較的単純なバッチであり、オンライン動的アライメント方法のアライメントハイパーパラメーターのデフォルト設定は、本発明の実施形態によって提供される拡張なしに、合理的に良好に機能する。プロット２０２０ａの図２０Ａは、バッチ成熟の進化を示し、プロット２０２０ｂの図２０Ｂは、オンライン動的アライメント方法のハイパーパラメーターのデフォルト設定で実行されるＤＳ０８アライメント実験のフレームグラフとして、アライメントされないフェーズ比の進化を示す。図２０Ａ～Ｂにおいて、ｘ軸は０～７０までのバッチインデックスを示し、ｙ軸はバッチのサンプリング点インデックスを示し、色は、図２０Ａのバッチ成熟度パーセンテージ、および図２０ＢのフェーズＩＤ予測ミスマッチ比の程度を示す。

【0228】

図２０Ａは、これらの７１個のバッチのそれぞれについて、各サンプリング点におけるバッチ成熟度パーセンテージを示す。プロット２０２０ａは、色の滑らかなグラデーションを示し、これらのバッチのアライメントプロセスが滑らかに進行することを示す。図２０Ｂは、これらの７１個のバッチのそれぞれについて、各サンプリング点におけるフェーズＩＤ予測ミスマッチ比を示す。プロット２０２０ｂでは、一つを除いて全てのバッチは、ほとんどの場所で濃い青色を示し、これらのバッチのほとんどのサンプリング点について、フェーズＩＤ予測のミスマッチはほとんどないことを示す。

【0229】

９１個のバッチを含むＤＳ０４は、別の４フェーズ産業バッチプロセスからのもので、ＤＳ０８よりも複雑である。図２１のプロット２１００は、ＤＳ０４の典型的なバッチを示しており、各バッチは５４の軌道変数を有し、そのフェーズＩＤタグ時系列は、トレンドの線２１２０であり、フェーズ１、２、３、および４を示す。デフォルトのハイパーパラメーター設定およびオンライン動的アライメント方法を用いてＤＳ０４バッチデータに対してアライメントを実施すると、他の産業用途で最近観察された問題に見舞われる。これらのエラーには、バッチ成熟度予測のジャンプと、平滑でない進行が含まれる。図２２Ａのプロット２２２０ａは、バッチ成熟度進行の問題を示し、および図２３Ａのプロット２３３０ａは、デフォルト設定でＤＳ０４バッチにアライメントを実行する際に発生するフェーズＩＤ予測のエラーを示す。しかしながら、ＤＳ０４アライメント結果は、本発明の実施形態を使用して著しく改善される。具体的には、アライメントが、アクティブ学習ワークフローによって推奨されるハイパーパラメーター設定を使用して実行されるとき、および本明細書に記載されるガイド付き学習プロセスが、オンライン動的アライメント方法に適用され、アライメントガイダンス擬似変数で拡張されるときである。図２２Ｂのプロット２２２０ｂ、および図２３Ｂのプロット２３３０ｂは、バッチ成熟度およびフェーズＩＤ予測に対するこれらの改善をそれぞれ示している。

【0230】

図２２Ａ～Ｂは、ＤＳ０４の９１個のバッチの各バッチについて、各サンプリング点におけるバッチ成熟度パーセンテージを示す。ｘ軸は、０～９０までのバッチインデックスを提供し、ｙ軸は、バッチのサンプリング点インデックスであり、色は、バッチ成熟度パーセンテージを示す。バッチ成熟度については、色合いのグラデーションが滑らかであればあるほど、アライメントはより良好に進行する。色の急激な変化は、バッチ成熟度の劇的な変化を示し、しばしば、より低いバッチ成熟度スコアをもたらす。図２２Ａは、プロット２２２０ａにおいて、オンライン動的アライメント方法をハイパーパラメーターのデフォルト値で使用する場合、９１個のバッチの各バッチのサンプリング点におけるバッチ成熟度パーセンテージを示す。これらの９１個のバッチの半分近くは、色の急激な変化を示す。これは、これらのバッチのアライメントプロセスがあまりスムーズに進行しないことを意味する。また、これらの９１個のバッチのほぼ３分の１の成熟度パーセンテージ（色）は、６５未満～ほぼ１００にジャンプする。これは、バッチアライメントが進行中のため、これらのバッチのアライメントプロセスが、成熟度予測に大きくジャンプすることを意味する。図２２Ｂは、プロット２２２０ｂにおいて、実施形態、すなわち、本明細書に説明される機能を用いて決定されたハイパーパラメーター設定を用いたアライメントガイダンス擬似変数拡張オンライン動的アライメント方法を使用するとき、これらの９１個のバッチのそれぞれのサンプリング点におけるバッチ成熟度パーセンテージを示す。９１個のバッチの大部分は、色が滑らかに進行していることを示しており、これは、これらのバッチのリアルタイムアライメントプロセスが滑らかに進行していることを意味する。

【0231】

図２３Ａ～Ｂは、ＤＳ０４の９１個のバッチのそれぞれに対する、各サンプリング点におけるフェーズＩＤ予測ミスマッチ比を示す。ｘ軸は、０～９０までのバッチインデックスを与え、ｙ軸は、バッチのサンプリング点インデックスを与え、色は、フェーズＩＤ予測ミスマッチ比の程度を示す。フェーズのミスマッチ比については、濃い青色はエラーが観察されなかったことを示し、一方、より暖かい色はバッチの進化中にエラーが存在したことを示す。

【0232】

図２３Ａは、プロット２３３０ａにおいて、ハイパーパラメーターのデフォルト設定でオンライン動的アライメント方法を使用した場合、９１個のバッチのそれぞれのサンプリング点におけるフェーズＩＤ予測ミスマッチ比を示す。より暖かい色バーがバッチの真ん中近くに、最後に青に近く、示される３つのバッチがある。これは、バッチの真ん中に近くで、より重度のフェーズＩＤ予測ミスマッチを意味し、その後、バッチの後半で重度が低くなる。他のいくつかのバッチは、より明るい青色によって示される、ある程度のフェーズＩＤ予測のミスマッチを示す。図２３Ｂは、プロット２３３０ｂにおいて、本発明の実施形態を使用する場合に、これらの９１個のバッチのそれぞれについて、各サンプリング点におけるフェーズＩＤ予測ミスマッチ比を示す。より早くにはより暖かい色を有する図２３Ａからのバッチは、バッチ進化中により暖かい色がもはや存在しないという事実によって示されるように、フェーズＩＤ予測のミスマッチの問題がもはやない。全体的に、図２３Ｂにおいて、三つを除く全てのバッチは、ほとんどの場所で濃い青色を示し、これらのバッチのほとんどのサンプリング点について、フェーズＩＤ予測のミスマッチはほとんどないことを示す。

【0233】

実施形態は、産業用途での最近の実践において、オンライン動的バッチアライメント方法を使用して観察されたいくつかの問題に対処するための包括的なシステムを提供する。実施形態が解決するエラーとしては、フェーズＩＤ予測のエラー、バッチ成熟度推定の非平滑化の進捗、バッチが１００％成熟度に到達しないこと、ノイズ度が高い産業バッチデータに対する頑健性の欠如、およびデフォルトのハイパーパラメーター設定がうまく機能しない場合のアライメントハイパーパラメーターおよび設定の選択の困難さが挙げられる。本明細書に記載される実施形態は、アライメント実験結果を定量化するため、専用性能指標を提供する。実施形態は、アライメント結果を定量化する結果を使用して、アライメント許容基準を指定する。これにより、実施形態は、これらのアライメント性能指標に対するアライメントハイパーパラメーター設定の効果を探索するために、教師付き機械学習を採用することができる。

【0234】

実施形態では、アライメントメタデータデータシート（ラベル付けされた観察）に対して実行されるアライメント実験は、Ｓｏｂｏｌ配列もしくは他の類似の方法などの低不一致配列（ＬＤＳ）アプローチ、またはＤ最適設計もしくは他の類似の方法などの実験設計（ＤＯＥ）アプローチのいずれかを用いて効率的に準備することができる。特定の状況では、総当たりアプローチを使用して、アライメント実験のアライメント条件をランダムまたは均一に生成することもできる。所与のバッチデータセットのメタデータデータシートに基づき自動的に構築されたシード教師付き機械学習モデルを使用することにより、任意の所与のアライメント方法に対して許容可能なアライメント結果を有するアライメント実験条件を推奨するために、自動的かつ対話型アクティブ学習ワークフローおよびガイド付き学習プロセスを実施形態で使用することができる。また、アライメントガイダンス擬似変数およびアライメントガイダンスのみの変数をバッチデータに含めて、アライメントの不確かさを低減することによって任意の所与のアライメント方法を拡張し、それによってアライメント品質を向上させることができる。実施形態はまた、現在のアライメント環境を設定、カスタマイズ、および変更することを容易にし、一貫したアライメント結果を生成するためのアライメント環境ライブラリを含み得る。

【0235】

本発明の実施形態は、オンライン動的アライメント方法のみで以前に観察されたアライメント問題を修正するために、アライメントガイダンス擬似変数および明示的に指定されたアライメントガイダンスのみのプロセス変数に対して暗黙的に生成された時系列で、「Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ａｕｔｏｍａｔｅｄ Ｂａｔｃｈ Ｄａｔａ Ａｌｉｇｎｍｅｎｔ Ｉｎ Ｂａｔｃｈ Ｐｒｏｃｅｓｓ Ｍｏｄｅｌｉｎｇ，Ｍｏｎｉｔｏｒｉｎｇ Ａｎｄ Ｃｏｎｔｒｏｌ」と題する、米国特許出願第１５／９６７，０９９号の機能性を拡張する。専用性能指標は、バッチ軌道アライメント品質を測定するために実施形態で採用される。これにより、あらゆる機械学習ワークフローが可能となる。

【0236】

実施形態によれば、拡張アライメント方法のためのハイパーパラメーター選択を容易にするために、手動の試行錯誤のアプローチを使用する代わりに、二つのアクティブ学習ワークフローが、実施形態、自動アクティブ学習ワークフロー、および対話型アクティブ学習ワークフローで使用される。ガイド付き学習は、機械学習の別のランを準備するために使用できる。アライメント環境ライブラリは、アクティブ学習ワークフローのためのハイパーパラメーターの設定を管理し、アライメント環境セットアップを容易にし、一貫したアライメント結果を生成するために含めることができる。

【0237】

米国特許出願第１５／９６７，０９９号の機能性は、アライメントガイダンス擬似変数および／または明示的に指定されたアライメントガイダンスのみのプロセス変数に対して暗黙的に生成された時系列を使用する実施形態によって改善される。これらの変数の使用には、オンラインの動的アライメント方法における問題を修正するための、高度なバッチアライメント研究および／または主題専門家（ＳＭＥ）のドメイン知識に関する専門知識が組み込まれている。実施形態は、フェーズＩＤ予測およびバッチ成熟度の進捗に関するエラーを解決する。

【0238】

擬似変数を、実バッチ軌道アライメントのためのアライメントガイダンスを提供するために、施形態に含めることができる。実施形態によれば、専用時系列発生器関数は、ユーザーがアライメント環境で構成またはカスタマイズできる、擬似変数のバッチ軌道を生成する。実施形態で利用され得る発生器関数は、任意の単調関数、例えば、「ステップ」、「のこぎり歯」、「シグモイド」、または任意のユーザー提供の単調関数を含む。発生器関数への入力は、各バッチフェーズにおける現在の観察の相対インデックスである。言い換えれば、各アライメントガイダンス擬似変数に対して生成されたバッチ軌道は、各バッチフェーズにおいて単調である。実施形態では、擬似変数に対して自動的に生成される軌道は、オンライン動的アライメントが適用される、アライメントされるバッチプロセス変数の軌道と一緒にマージされる。異なる機能によって生成される軌道は、アライメント品質に対して異なる効果を有し得る。アライメント後、モデルの構築、分析、および予測のためにデータセットを適用する前に、擬似変数の軌道を、アライメントされた軌道データセットから自動的に除外することができる。

【0239】

バッチ軌道アライメント品質が満足できない場合、ユーザーは、そのドメイン知識を利用して、バッチプロセス自体には非有意であるが、バッチ軌道アライメントに関する有意義なガイダンスを提供することができる、追加のプロセス変数を取り込むことができる。これらの変数は、「アライメントガイダンスのみのプロセス変数」と呼ばれる。アライメント後、アライメントガイダンスのみと明示的に指定されるプロセス変数の軌道は、モデル構築、分析、および予測のためのデータセットを適用する前に、アライメントされた軌道データセットから自動的に除外され得る。これにより、不必要なコンピューティング作業を削減できる。非有意なプロセス変数をアライメントガイダンスのみとして明示的に指定しなかった場合でも、アライメントされた軌道データセット上に構築されたモデルは劣化しない。

【0240】

実施形態は、バッチ軌道アライメント品質を測定するために、専用性能指標を採用することができる。これらの指標は、アクティブ学習ワークフローを可能にする。指標は、バッチ成熟度スコア（成熟度進行の滑らかさ）、フェーズＩＤスコア（バッチフェーズＩＤ予測のエラー）、および総品質スコア（複合品質測定）を評価する。アライメントプロセスを実行するのにかかる時間が、実施形態で考慮することができる。

【0241】

上述したように、アクティブ学習は、教師付き機械学習の特別なケースであり、ラベル付けされないデータが容易に入手可能であるが、ラベルは準備に非常に時間がかかるか、または費用がかかる、多くの現代の機械学習問題においてよく動機付けられる。実施形態におけるアクティブ学習ワークフローは、貴重な観察データ点を積極的に選択することによって、より小さなサイズの訓練データセットで作業を試みる。バッチ軌道アライメント品質が満足のいくものでない場合に、面倒で時間のかかる手動の試行錯誤のアプローチを使用してこれらの設定を調整するのではなく、実施形態は、二つのアクティブ学習ワークフロー、すなわち、（１）自動アクティブ学習、および（２）対話型アクティブ学習を使用して、設定を決定する。

【0242】

一実施形態では、自動アクティブ学習ワークフローは、（１）選択したアライメントハイパーパラメーター、最大シーケンスなどをアライメント環境からロードすること、（２）これらのハイパーパラメーターに低不一致配列方法（ＬＤＳ）を適用して、Ｘ変数の観察値として設定のより小さなセットを生成することで、ハイパーパラメーターのバリエーションのより大きなセットなしで、より高い次元のよりよい均一性を提供すること、（３）アライメントハイパーパラメーター設定のセットごとに、拡張オンライン動的アライメントを実行し、そのアライメントされた軌道品質指標にＹ変数の観察としてラベル付けすること、（４）Ｘ／Ｙ観察セットを準備して、アライメント環境で構成できる、教師付き機械学習アルゴリズムのモデル（潜在構造に対する投影（ＰＬＳ）多変量統計モデルなど）を構築すること、（５）アライメント環境で構成され、予測されるバッチ軌道のアライメント品質を最大化するためアライメントハイパーパラメーターの設定を推奨する、制約を有するモデルアナライザーを適用すること（ハードバウンドまたはソフトバウンドを持つＰＬＳモデルオプティマイザーなど）、の自動化されたステップのいくつかを含む。

【0243】

実施形態によれば、自動ワークフローを使用した後、バッチ軌道アライメント品質が満足のいくものでない場合、対話型アクティブ学習ワークフローを実施することができる。対話型アクティブ学習ワークフローは、自動アクティブ学習中に構築された教師付き機械学習モデルに基づく。対話型アクティブ学習ワークフローには、以下の自動化ステップのいくつかを含めることができる。（１）アライメント環境から設定、制約または参照をロードすること、（２）ハイパーパラメーター設定（一般的な範囲またはオプションの内側／外側）が予測されるアライメント品質に与える潜在的影響を活用すること、（３）品質指標間のトレードオフにより、アライメントハイパーパラメーターの設定を選択すること、および（４）ハイパーパラメーターのトレードオフ設定の下で、拡張オンライン動的アライメントをオプションで実行すること。

【0244】

一実施形態では、さらなる探索的実験が必要な場合、主題専門家などのユーザーは、以前のワークフロー中に構築、再構築、または更新された教師付き機械学習モデルを対話的に利用して、ハイパーパラメーターとバッチ軌道アライメント品質指標の設定に関する洞察を得ることができる。ユーザーは、ハイパーパラメーターリストをトリミングおよび／または変更し、ハイパーパラメーター範囲またはオプションを調整して、機械学習の別の実行を準備することができる。

【0245】

アライメント環境ライブラリは、拡張オンライン動的アライメントプロセスにおけるアクティブ学習ワークフローに対するハイパーパラメーターの設定を管理するために、実施形態に実装され得る。アライメント環境は、実施形態を実施するために使用される任意のさまざまな設定および構成情報を含み得る。例えば環境ライブラリには、他の例の中でも特に、（１）時間平滑性、スライドウィンドウサイズ、差分ペナルティ、検索間隔、等、拡張オンライン動的アライメント方法のためのハイパーパラメーターと、（２）擬似変数オプションがユーザーによって有効になっている場合に、選択されたアライメントガイダンス擬似変数時系列単調発生器関数（ユーザー定義を含む）のリストと、（３）明示的に指定されたアライメントガイダンスのみのプロセス変数の任意のリストと、（４）各拡張されたバッチ軌道アライメント実行後に評価される、優先順位付けされたバッチ軌道アライメント品質指標（ユーザー定義を含む）のリストと、（５）アライメント品質指標の許容基準と、（６）自動または対話型アクティブ学習またはガイド付き学習ワークフローで利用されるハイパーパラメーター、およびその値範囲／オプションのリストと、（７）配列最大値と、（８）選択された教師付き機械学習方法（潜在構造に対する投影（ＰＬＳ）多変量統計モデルなど）のリストと、（９）機械学習方法のためのモデルアナライザー（ＡｓｐｅｎＴｅｃｈ ＰｒｏＭＶモデルオプティマイザーなど）と、（１０）機械学習方法のための自動アクティブ学習ワークフローで使用される設定と、（１１）対話型アクティブ学習のための選択されたモデルアナライザーおよびその設定のリストと、（１２）ガイド付き学習のために選択されたモデルアナライザーおよびその設定のリストと、を含むことができる。

【0246】

実施形態は、デフォルト設定を有する汎用アライメント環境を有する。これらには、アライメントハイパーパラメーターのデフォルト設定、組み込みの時系列発生器関数（ステップなど）で有効化された擬似変数オプション、バッチ軌道アライメント品質指標（デフォルト定義）の全リスト、およびアライメント品質指標のデフォルトの許容基準が含まれ得る。実施形態により、ユーザーは、異なるバッチプロセス、または異なる製造プラントで実行されるのと同じプロセスについてさえも、設定をカスタマイズすることができる。ユーザーは、全ての調整可能な設定をカスタマイズし、ユーザー定義関数を提供し、これらの設定を別のアライメント環境に保持することができる。これにより、ユーザーは、例えば、アライメント設定の収集など、一つのアライメント環境から別のアライメント環境へ迅速に切り替えることが可能になり、同じアライメント環境が同じバッチ軌道のセットに適用されるときに、一貫したアライメント結果を得ることも可能になる。

【0247】

実施形態は、既存のアライメント方法よりも顕著な利点を提供する。第一に、実施形態は、米国特許出願第１５／９６７，０９９号に記載されるオンライン動的アライメント方法、例えば、オンラインまたはオフラインの適用について、バッチ軌道をオンライン様式でアラインするための、これまでで初めての方法の全ての利点を提供する。

【0248】

さらに、実施形態は、産業バッチプロセスのアライメント問題を修正する。他の実施例の中でも特に、実施形態は、フェーズＩＤ予測に対するエラー、バッチ成熟度に対する不均一な進捗、および１００％成熟度に達しないバッチを修正する。

【0249】

実施形態は、アライメント結果を客観的かつ体系的に評価するため、バッチ軌道アライメント品質を測定し、性能指標を実施する。これにより、機械学習ワークフロー（自動的かつ対話型アクティブ学習およびガイド付き学習）が可能となる。これより前に、アライメント品質は、ドメイン知識を持つ専門家によってのみ視覚的に評価されることができた。

【0250】

実施形態はまた、既存の方法が要求する時間のかかる面倒な手動の試行錯誤のアプローチに代わりに、学習ワークフローを通してアライメントハイパーパラメーター設定の選択を容易にする。実施形態のアクティブ学習ワークフローは、貴重な観察データ点を積極的に選択することによって、より小さなサイズの訓練データセットと協働する。学習ワークフローは、所与の制約内で予測されるバッチ軌道アライメント品質を最大化するために、アライメントハイパーパラメーターの設定を推奨できる。対話型のワークフローにより、ユーザーはハイパーパラメーターの典型的な範囲内および範囲外の可能性を探索し、予測アライメント品質指標の間でトレードオフして、ハイパーパラメーターの設定を選択できる。さらなる探索的実験が必要な場合、ガイド付き学習を使用して、機械学習の別の実行を準備することができる。

【0251】

図２４は、本明細書に記載の本発明の実施形態の任意の種類に従って、自動バッチデータの時間アライメントを実行するために使用できるコンピューターベースのシステム２４４０の簡略化されたブロック図である。システム２４４０は、バス２４４３を含む。バス２４４３は、システム２４４０のさまざまな構成要素間の相互接続として機能する。バス２４４３に接続されるのは、キーボード、マウス、ディスプレイ、スピーカなどのさまざまな入力および出力デバイスをシステム２４４０に接続するための、入力／出力デバイスインターフェイス２４４６である。中央処理装置（ＣＰＵ）２４４２は、バス２４４３に接続され、コンピューター命令の実行を提供する。メモリー２４４５は、コンピューター命令を実行するために使用されるデータの揮発性記憶装置を提供する。記憶装置２４４４は、オペレーティングシステム（図示せず）など、ソフトウェア命令のための不揮発性記憶装置を提供する。システム２４４０はまた、ワイドエリアネットワーク（ＷＡＮ）およびローカルエリアネットワーク（ＬＡＮ）を含む、当該技術分野で知られる任意のさまざまなネットワークに接続するためのネットワークインターフェイス２４４１を含む。

【0252】

本明細書に記載の例示的実施形態は、多くの異なる方法で実装され得ることを理解するべきである。いくつかの例では、本明細書に記載のさまざまな方法および機械は、各々、コンピューターシステム２４４０など、物理的、仮想的、もしくはハイブリッドな汎用コンピューター、または図２５に関連して本明細書の以下に記載する、コンピューター環境２５５０などのコンピューターネットワーク環境によって実装され得る。コンピューターシステム２４４０は、例えば、ＣＰＵ２４４２による実行のために、メモリー２４４５または不揮発性記憶装置２４４４のいずれかにソフトウェア命令をロードすることによって、本明細書に記載の方法１００、４４０、１０２０、１３００、１４００ａ、１４００ｂ、１６、１６００、１６０１、１６０２を実行する機械に変換され得る。当業者は、システム２４４０およびそのさまざまな構成要素が、本明細書に記載される本発明の任意の実施形態または実施形態の組み合わせを実行するように構成され得ることをさらに理解するべきである。さらに、システム２４４０は、動作可能に内部的または外部的にシステム２４４０へ連結される、ハードウェア、ソフトウェア、およびファームウェアモジュールの任意の組み合わせを利用して、本明細書に記載のさまざまな実施形態を実装し得る。

【0253】

図２５は、本発明の一実施形態を実施し得る、コンピューターネットワーク環境２５５０を示す。コンピューターネットワーク環境２５５０では、サーバー２５５１は、通信ネットワーク２５５２を介して、クライアント２５５３ａ～ｎにリンクされる。環境２５５０は、クライアント２５５３ａ～ｎが、単独で、またはサーバー２５５１と組み合わせて、システム２４４０および実施形態および方法１００、４４０、１０２０、１３００、１４００ａ、１４００ｂ、１６、１６００、１６０１、１６０２のいずれかに相当するネットワークを実装することを可能にするために使用され得る。非限定的な実施例では、コンピューターネットワーク環境２５５０によって、クラウドコンピューティング実施形態、サービスとしてのソフトウェア（ＳＡＡＳ）実施形態などを提供する。

【0254】

実施形態またはその態様は、ハードウェア、ファームウェア、またはソフトウェアの形態で実装することができる。ソフトウェアで実装された場合、ソフトウェアは、プロセッサーが、ソフトウェアまたはその命令のサブセットをロードすることが可能になるように構成される、任意の非一時的コンピューター可読媒体上に格納され得る。次いで、プロセッサーは、命令を実行して、本明細書に記載された様態で動作する、または装置を動作させるように構成される。

【0255】

さらに、ファームウェア、ソフトウェア、ルーチン、または命令は、データプロセッサーの特定の動作および／または機能を実行するものとして、本明細書に記載され得る。しかし、当然のことながら、本明細書に含まれるこうした記載は、単に便宜のためであり、かつ、実際には、こうした動作は、ファームウェア、ソフトウェア、ルーチン、命令などを実行するコンピューターデバイス、プロセッサー、コントローラー、または他のデバイスからもたらされる。

【0256】

フロー図、ブロック図、およびネットワーク図は、より多いもしくは少ない要素を含んでもよく、異なって配置されてもよく、または異なって表現され得ることを理解するべきである。しかし、さらに当然のことながら、特定の実装形態は、実施形態の実行を例解する、ブロック図およびネットワーク図、ならびに数枚のブロック図およびネットワーク図が、特定の方法で実装されることを、指示し得る。

【0257】

それに応じて、さらなる実施形態はまた、さまざまなコンピューターアーキテクチャー、物理的、仮想的、クラウドコンピューター、および／またはそれらのいくつかの組み合わせに実装されてもよく、従って、本明細書に記載のデータプロセッサーは、例解の目的で意図されるに過ぎず、実施形態の限定として意図されるものではない。

【0258】

本明細書にて言及する全ての特許、公表された出願および参考文献の教授は、参照することによってその全体が援用される。

【0259】

例示的実施形態が特に示され、説明されるが、当業者には、添付の特許請求の範囲に含まれる実施形態の範囲から逸脱することなく、形態および詳細のさまざまな変更を行うことができることが理解される。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
バッチ生産工業プロセスに対して自動バッチデータアライメントを実施するためのコンピューター実行方法であって、
工業プロセス用のバッチデータから基準バッチを選択することと、
バッチアライメント設定を構成することと、
一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルを構築することと、
前記選択された基準バッチ、前記構成されたバッチアライメント設定、前記構築されたシードモデル、および前記工業プロセスに対する前記バッチデータを表す、代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定することと、
前記一つまたは複数のアライメントハイパーパラメーターおよび前記構成されたバッチアライメント設定に対する前記決定された設定を使用して、前記工業プロセスに対する前記バッチデータから、バッチにバッチアライメントを実施することであって、前記実施することが、前記工業プロセスの改善されたモデリングを可能にする方法で前記工業プロセスのバッチデータのアライメントをもたらすように、実施することと、を含む、方法。
〔態様２〕
バッチアライメント設定を構成することが、
前記バッチアライメントを実施するためのバッチアライメント方法を選択すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するために、前記一つまたは複数のアライメントハイパーパラメーター、および前記一つまたは複数のアライメントハイパーパラメーターに対し対応する設定範囲を選択すること、
前記一つまたは複数のアライメントハイパーパラメーターの少なくとも一つのハイパーパラメーターの値を設定すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するための制約および設定を選択すること、
アライメント実験中に、前記代表的なバッチのセットの少なくとも一つのバッチについてアライメント結果を評価するための性能指標を選択およびカスタマイズすること、
選択された性能指標に基づく前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つについて、許容基準を設定すること、および
許容基準を満たすと、前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習のうちの少なくとも一つを実行することの早期終了を有効または無効にすることを選択すること、のうちの少なくとも一つを含む、態様１に記載の方法。
〔態様３〕
前記バッチに前記バッチアライメントを実施するためのバッチアライメント方法を選択することが、
ベースバッチアライメント方法を選択することを含む、態様２に記載の方法。
〔態様４〕
（ｉ）前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンス擬似変数を選択すること、（ｉｉ）前記一つまたは複数のアライメントガイダンス擬似変数に対して、一つまたは複数のアライメントガイダンス擬似変数時系列を生成するために一つまたは複数の発生器関数を選択すること、および（ｉｉｉ）一つまたは複数の発生器関数について一つまたは複数のカスタマイズ（カスタマイズするものがある場合）を選択することの少なくとも一つを実施することにより、前記一つまたは複数のアライメントガイダンス擬似変数を用いて、前記選択されたベースバッチアライメント方法を拡張すること、および
前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンスのみのプロセス変数を選択することによって、前記一つまたは複数のアライメントガイダンスのみのプロセス変数を用いて前記選択されたベースバッチアライメント方法を拡張すること、のうちの少なくとも一つをさらに含む、態様３に記載の方法。
〔態様５〕
前記シードモデルを構築することが、
（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数を選択することと、
前記選択された（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数に基づき実施する、アライメント実験のセットを決定することと、
前記決定されたアライメント実験のセットで各実験を実施して、前記代表的なバッチのセットに対してそれぞれのアライメント結果を生成することと、
各実験に対して選択された性能指標を用いて前記それぞれのアライメント結果を定量化することと、
前記定量化されたそれぞれのアライメント結果および前記選択されたハイパーパラメーターに対する前記それぞれの設定に基づき、前記シードモデルを構築することと、を含む、態様１に記載の方法。
〔態様６〕
前記アライメント実験のセットが、
低不一致配列処理、
実験処理の設計、
ランダム生成実験条件、および
均一生成実験条件の少なくとも一つを使用して決定される、態様５に記載の方法。
〔態様７〕
前記決定されたアライメント実験のセットで各実験を実行することが、
前記決定されたセットで各実験を連続的に実行すること、または
前記決定されたセットで各実験を並列に実行することを含む、態様５に記載の方法。
〔態様８〕
自動アクティブ学習を実施することが、
前記自動アクティブ学習を実施するための制約およびアライメント品質設定を構成することと、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記構築されたシードモデルによって予測されるときアライメント品質スコアを最大化する、前記一つまたは複数のアライメントハイパーパラメーターに対する所与設定を自動的に決定することと、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施することと、
前記実験バッチアライメントを実施した結果が基準を満たす場合、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持することと、前記結果が前記基準を満たさない場合、前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）所与設定を前記自動的に決定すること、および（ｉｉｉ）実験バッチアライメントを前記実行すること、を繰り返すことと、を含む、態様１に記載の方法。
〔態様９〕
前記対話型アクティブ学習を実施することが、
前記対話型アクティブ学習を実施するための制約およびアライメント品質設定を構成することと、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記一つまたは複数のアライメントハイパーパラメーターに対して所与設定を対話的に推奨することと、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施することと、
前記実験バッチアライメントを実施した結果が、基準を満たすか、またはユーザー入力に基づき、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持すること、または
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実行すること、を繰り返すことと、
前記実験バッチアライメントを実施した結果が、基準を満たさないか、またはユーザー入力に基づき、
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実行すること、を繰り返すことと、を含む、態様１に記載の方法。
〔態様１０〕
前記ガイド付き学習プロセスを実施することが、
ユーザー入力および前記構築されたシードモデルに基づき、
前記一つまたは複数のアライメントハイパーパラメーターの重要性、および前記一つまたは複数のアライメントハイパーパラメーターが、前記構築されたシードモデルによって予測されるアライメント品質に与える影響を分析すること、
アライメント品質性能指標および許容基準をカスタマイズすること、
アライメントガイダンス疑似時系列発生器関数をカスタマイズすること、
前記一つまたは複数のアライメントハイパーパラメーターの範囲、オプション、または制約を調整すること、および
前記一つまたは複数のアライメントハイパーパラメーターの探索的設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチにバッチアライメント実験を実施して、前記一つまたは複数のアライメントハイパーパラメーターのアライメント品質への影響を確認すること、のうちの少なくとも一つを実施することを含む、態様１に記載の方法。
〔態様１１〕
前記バッチにバッチアライメントを実施した後、
前記実施されたバッチアライメントが許容基準を満たすかを判定することと、
前記実施されたバッチアライメントが、前記許容基準を満たさない場合、前記実施されたバッチアライメントが前記許容基準を満たすまで、
前記構築されたシードモデルを更新または再構築すること、
前記更新または再構築された構築シードモデル、前記選択された基準バッチ、前記構成されたバッチアライメント設定、および前記代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習のうちの少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定すること、
前記更新または再構築された構築シードモデルおよび前記構成されたバッチアライメント設定を使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して、前記バッチに前記バッチアライメントを実施すること、および
前記更新または再構築された構築シードモデルを使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して実施される前記バッチアライメントが、前記許容基準を満たすかどうかを決定することを、繰り返し実施することと、をさらに含む、態様１に記載の方法。
〔態様１２〕
アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターに対する前記決定された設定を保存し、および管理することをさらに含む、態様１に記載の方法。
〔態様１３〕
前記アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターについて前記決定された設定を保存しおよび管理することが、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、前記工業プロセスのための前記バッチデータと関連付けることと、
工業プロセス、プラント、および転送学習のための動作条件のうちの少なくとも一つに基づき、前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を分類しおよび整理することと、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、新しいバッチデータセットの出発点として適用することと、を含む、態様１２に記載の方法。
〔態様１４〕
バッチ生産工業プロセスに対して自動バッチデータアライメントを実施するためのシステムであって、
プロセッサーと、
コンピューターコード命令が格納されるメモリーと、を備え、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
工業プロセス用のバッチデータから基準バッチを選択させ、
バッチアライメント設定を構成させ、
一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルを構築させ、
前記選択された基準バッチ、前記構成されたバッチアライメント設定、前記構築されたシードモデル、および前記工業プロセスに対する前記バッチデータを表す、代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定させ、および
前記一つまたは複数のアライメントハイパーパラメーターおよび前記構成されたバッチアライメント設定に対する前記決定された設定を使用して、前記工業プロセスに対する前記バッチデータから、バッチにバッチアライメントを実施することであって、前記実施することが、前記工業プロセスの改善されたモデリングを可能にする方法で前記工業プロセスのバッチデータのアライメントもたらすように、実施すること、を行わせるように構成される、システム。
〔態様１５〕
バッチアライメント設定を構成する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記バッチアライメントを実施するためのバッチアライメント方法を選択すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するために、前記一つまたは複数のアライメントハイパーパラメーター、および前記一つまたは複数のアライメントハイパーパラメーターに対し対応する設定範囲を選択すること、
前記一つまたは複数のアライメントハイパーパラメーターの少なくとも一つのハイパーパラメーターの値を設定すること、
前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つを実施するための制約および設定を選択すること、
アライメント実験中に、前記代表的なバッチのセットの少なくとも一つのバッチについてアライメント結果を評価するための性能指標を選択およびカスタマイズすること、
選択された性能指標に基づく前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習の少なくとも一つについて、許容基準を設定すること、および
許容基準を満たすと、前記自動アクティブ学習、前記対話型アクティブ学習、および前記ガイド付き学習のうちの少なくとも一つを実行することの早期終了を有効または無効にすることを選択すること、のうちの少なくとも一つを実行させるようにさらに構成される、態様１４に記載のシステム。
〔態様１６〕
前記バッチに前記バッチアライメントを実行するためのバッチアライメント方法を選択する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
ベースバッチアライメント方法を選択させるようさらに構成される、態様１５に記載のシステム。
〔態様１７〕
前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
（ｉ）前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンス擬似変数を選択すること、（ｉｉ）前記一つまたは複数のアライメントガイダンス擬似変数に対して、一つまたは複数のアライメントガイダンス擬似変数時系列を生成するために一つまたは複数の発生器関数を選択すること、および（ｉｉｉ）一つまたは複数の発生器関数について一つまたは複数のカスタマイズ（カスタマイズするものがある場合）を選択することの少なくとも一つを実施することにより、前記一つまたは複数のアライメントガイダンス擬似変数を用いて、前記選択されたベースバッチアライメント方法を拡張すること、および
前記バッチのプロセス変数として含まれる一つまたは複数のアライメントガイダンスのみのプロセス変数を選択することによって、前記一つまたは複数のアライメントガイダンスのみのプロセス変数を用いて前記選択されたベースバッチアライメント方法を拡張すること、のうちの少なくとも一つを実行させるようさらに構成される、態様１６に記載のシステム。
〔態様１８〕
前記シードモデルを構築する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター、（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数を選択させ、
前記選択された（ｉ）アライメント方法、（ｉｉ）前記選択されたアライメント方法に関連付けられるハイパーパラメーター（ｉｉｉ）前記選択されたハイパーパラメーターに対するそれぞれの設定、および（ｉｖ）前記シードモデルを構築するための観察の最小数に基づき実施する、アライメント実験のセットを決定させ、
前記決定されたアライメント実験のセットで各実験を実施して、前記代表的なバッチのセットに対してそれぞれのアライメント結果を生成させ、
各実験に対して選択された性能指標を用いて前記それぞれのアライメント結果を定量化させ、および
前記定量化されたそれぞれのアライメント結果および前記選択されたハイパーパラメーターに対する前記それぞれの設定に基づき、前記シードモデルを構築させるようさらに構成される、態様１５に記載のシステム。
〔態様１９〕
前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
低不一致配列処理、
実験処理の設計、
ランダム生成実験条件、および
均一生成実験条件の少なくとも一つを使用して、前記アライメント実験のセットを決定させるようさらに構成される、態様１８に記載のシステム。
〔態様２０〕
前記決定されたアライメント実験のセット内の各実験を実行する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記決定されたセットで各実験を連続的に実行させる、または
前記決定されたセットで各実験を並列に実行させるようさらに構成される、態様１８に記載のシステム。
〔態様２１〕
自動アクティブ学習を実施する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記自動アクティブ学習を実施するための制約およびアライメント品質設定を構成させ、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記構築されたシードモデルによって予測されるときアライメント品質スコアを最大化する、前記一つまたは複数のアライメントハイパーパラメーターに対する所与設定を自動的に決定させ、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施させ、および
前記実験バッチアライメントを実施した結果が基準を満たす場合、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持し、および前記結果が前記基準を満たさない場合、前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記自動的に決定すること、および（ｉｉｉ）実験バッチアライメントを前記実行すること、を繰り返させるようにさらに構成される、態様１４に記載のシステム。
〔態様２２〕
前記対話型アクティブ学習を実施する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記対話型アクティブ学習を実施するための制約およびアライメント品質設定を構成させ、
前記構築されたシードモデル、前記構成された制約、および前記構成されたアライメント品質設定を使用して、前記一つまたは複数のアライメントハイパーパラメーターに対して所与設定を対話的に推奨させ、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチに実験バッチアライメントを実施させ、
前記実験バッチアライメントを実施した結果が、基準を満たすか、またはユーザー入力に基づき、
前記一つまたは複数のアライメントハイパーパラメーターに対して前記所与設定を維持させ、または
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実行すること、を繰り返させ、および
前記実験バッチアライメントを実施した結果が、基準を満たさないか、またはユーザー入力に基づき、
前記構築されたシードモデルを更新または再構築し、および（ｉ）制約および前記アライメント品質設定を前記構成すること、（ｉｉ）前記所与設定を前記対話的に推奨すること、および（ｉｉｉ）実験バッチアライメントを前記実行すること、を繰り返させるようさらに構成される、態様１４に記載のシステム。
〔態様２３〕
前記ガイド付き学習プロセスを実行する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
ユーザー入力および前記構築されたシードモデルに基づき、
前記一つまたは複数のアライメントハイパーパラメーターの重要性、および前記一つまたは複数のアライメントハイパーパラメーターが、前記構築されたシードモデルによって予測されるアライメント品質に与える影響を分析すること、
アライメント品質性能指標および許容基準をカスタマイズすること、
アライメントガイダンス疑似時系列発生器関数をカスタマイズすること、
前記一つまたは複数のアライメントハイパーパラメーターの範囲、オプション、または制約を調整すること、および
前記一つまたは複数のアライメントハイパーパラメーターの探索的設定を使用して、前記代表的なバッチのセットの少なくとも一つのバッチにバッチアライメント実験を実施して、前記一つまたは複数のアライメントハイパーパラメーターのアライメント品質への影響を確認すること、のうちの少なくとも一つを実施させるようにさらに構成される、態様１４に記載のシステム。
〔態様２４〕
前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、前記バッチにバッチアライメントを実行した後、
前記実施されたバッチアライメントが許容基準を満たすかを判定させ、
前記実施されたバッチアライメントが、前記許容基準を満たさない場合、前記実施されたバッチアライメントが前記許容基準を満たすまで、
前記構築されたシードモデルを更新または再構築すること、
前記更新または再構築された構築シードモデル、前記選択された基準バッチ、前記構成されたバッチアライメント設定、および前記代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習のうちの少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定すること、
前記更新または再構築された構築シードモデルおよび前記構成されたバッチアライメント設定を使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して、前記バッチに前記バッチアライメントを実施すること、および
前記更新または再構築された構築シードモデルを使用して決定された前記一つまたは複数のアライメントハイパーパラメーターに対する前記設定を使用して実施される前記バッチアライメントが、前記許容基準を満たすかどうかを決定することを、繰り返し実施させるようにさらに構成される、態様１４に記載のシステム。
〔態様２５〕
前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターに対する前記決定された設定を保存させ、および管理させるようさらに構成される、態様１４に記載のシステム。
〔態様２６〕
前記アライメント環境ライブラリ内の前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を保存しおよび管理する際に、前記プロセッサーおよび前記メモリーが、前記コンピューターコード命令により、前記システムに、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、前記工業プロセスのための前記バッチデータと関連付けさせ、
工業プロセス、プラント、および転送学習のための動作条件のうちの少なくとも一つに基づき、前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を分類しおよび整理させ、
前記一つまたは複数のアライメントハイパーパラメーターの前記決定された設定を、新しいバッチデータセットの出発点として適用させるようさらに構成される、態様１４に記載のシステム。
〔態様２７〕
バッチ生産工業プロセスの自動バッチデータアライメントを実行するための非一時的なコンピュータープログラム製品であって、前記コンピュータープログラム製品が、コンピューターコード命令が格納されたコンピューター可読媒体を備え、前記コンピューターコード命令が、プロセッサーによって実行されると、前記プロセッサーに関連付けられた装置に、
工業プロセス用のバッチデータから基準バッチを選択させ、
バッチアライメント設定を構成させ、
一つまたは複数のアライメントハイパーパラメーターに対するアライメント品質所与設定を予測するように構成されるシードモデルを構築させ、
前記選択された基準バッチ、前記構成されたバッチアライメント設定、前記構築されたシードモデル、および前記工業プロセスに対する前記バッチデータを表す、代表的なバッチのセットを使用して、（ｉ）自動アクティブ学習、（ｉｉ）対話型アクティブ学習、および（ｉｉｉ）ガイド付き学習の少なくとも一つを実施して、前記一つまたは複数のアライメントハイパーパラメーターの設定を決定させ、および
前記一つまたは複数のアライメントハイパーパラメーターおよび前記構成されたバッチアライメント設定に対する前記決定された設定を使用して、前記工業プロセスに対する前記バッチデータから、バッチにバッチアライメントを実施することであって、前記実施することが、前記工業プロセスの改善されたモデリングを可能にする方法で前記工業プロセスのバッチデータのアライメントもたらすように、実施すること、を行わせるように構成される、非一時的なコンピュータープログラム製品。

【図1】

【図2】

【図3-1】

【図3-2】

【図3-3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】

【図16A】

【図16B】

【図16C】

【図16D】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】