IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ダウ グローバル テクノロジーズ エルエルシーの特許一覧

特表2023-507082分析データに基づく特徴付けのための機械視覚
<>
  • 特表-分析データに基づく特徴付けのための機械視覚 図1A
  • 特表-分析データに基づく特徴付けのための機械視覚 図1B
  • 特表-分析データに基づく特徴付けのための機械視覚 図1C
  • 特表-分析データに基づく特徴付けのための機械視覚 図1D
  • 特表-分析データに基づく特徴付けのための機械視覚 図2
  • 特表-分析データに基づく特徴付けのための機械視覚 図3
  • 特表-分析データに基づく特徴付けのための機械視覚 図4A
  • 特表-分析データに基づく特徴付けのための機械視覚 図4B
  • 特表-分析データに基づく特徴付けのための機械視覚 図5A
  • 特表-分析データに基づく特徴付けのための機械視覚 図5B
  • 特表-分析データに基づく特徴付けのための機械視覚 図6
  • 特表-分析データに基づく特徴付けのための機械視覚 図7
  • 特表-分析データに基づく特徴付けのための機械視覚 図8
  • 特表-分析データに基づく特徴付けのための機械視覚 図9
  • 特表-分析データに基づく特徴付けのための機械視覚 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-21
(54)【発明の名称】分析データに基づく特徴付けのための機械視覚
(51)【国際特許分類】
   G16C 20/30 20190101AFI20230214BHJP
   G06N 3/08 20230101ALI20230214BHJP
   G06T 7/00 20170101ALI20230214BHJP
   G06V 10/82 20220101ALI20230214BHJP
【FI】
G16C20/30
G06N3/08
G06T7/00 350C
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022534280
(86)(22)【出願日】2020-12-01
(85)【翻訳文提出日】2022-06-06
(86)【国際出願番号】 US2020062683
(87)【国際公開番号】W WO2021126515
(87)【国際公開日】2021-06-24
(31)【優先権主張番号】62/949,909
(32)【優先日】2019-12-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502141050
【氏名又は名称】ダウ グローバル テクノロジーズ エルエルシー
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100128495
【弁理士】
【氏名又は名称】出野 知
(74)【代理人】
【識別番号】100208225
【弁理士】
【氏名又は名称】青木 修二郎
(74)【代理人】
【識別番号】100144417
【弁理士】
【氏名又は名称】堂垣 泰雄
(74)【代理人】
【識別番号】100147212
【弁理士】
【氏名又は名称】小林 直樹
(72)【発明者】
【氏名】ウェイド、ジェイムズ
(72)【発明者】
【氏名】シュミット、アリックス
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA03
5L096AA06
5L096BA03
5L096BA18
5L096DA02
5L096HA11
5L096KA04
(57)【要約】
機械視覚技術は、化学プロセスによって生成された製品の特性を予測するために使用することができる。予測は、化学プロセス、又は系列データを生成する検出器を用いる化学プロセスによって生成された製品の分析的特徴付けに基づくことができる。系列データは、画像に変換され、画像に基づいて製品の特性を予測するように訓練された人工ニューラルネットワーク(ANN)に入力することができる。製品の特性の予測は、ANNから受信され、化学プロセスを調整するために、又は製品を拒絶するかどうかを判定するために使用することができる。
【選択図】図1A図1B図1C図1D

【特許請求の範囲】
【請求項1】
方法であって、
化学プロセス、又は分析器を用いる前記化学プロセスによって生成された製品を分析的に特徴付け、それにより、系列データを生成することと、
前記系列データを画像に変換することと、
前記画像を、前記画像に基づいて前記製品の特性を予測するように訓練された人工ニューラルネットワーク(ANN)に入力することと、
前記ANNから前記製品の前記特性の前記予測を受信することと、
前記製品の前記特性の前記予測に基づいて、前記化学プロセスを調整するか、又は前記製品を拒絶することと、を含む、方法。
【請求項2】
前記製品の前記特性の前記予測に基づいて、前記化学プロセスを調整することと、前記製品を拒絶することと、を更に含む、請求項1に記載の方法。
【請求項3】
前記ANNが、任意の画像内の特徴を同定するように事前訓練され、
前記方法は、前記特徴が前記製品の前記特性を含むように、前記化学プロセスによって生成された先行製品からの変換された系列データの複数の画像を用いて、転移学習を介して前記ANNを訓練することを更に含む、請求項1に記載の方法。
【請求項4】
前記製品の前記特性の前記予測を受信することが、分子量、密度、品質、性能、及び同定を含む特性の群のうちの1つの前記予測を受信することを含む、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記製品を分析的に特徴付けることが、液体クロマトグラフィ、ガスクロマトグラフィ、熱勾配クロマトグラフィ、サイズ排除クロマトグラフィ、熱量測定、レオロジ、光学分光法、質量分析、粘度測定、粒度測定、及び核磁気共鳴分光法を含む分析的特徴付けの群のうちの1つを含む、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記系列データを前記画像に変換することが、前記系列データを二次元線プロットに変換することを含む、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記系列データを前記画像に変換することが、前記系列データをグラミアン角和フィールドに変換することを含む、請求項1~6のいずれか一項に記載の方法。
【請求項8】
前記系列データを前記画像に変換することが、前記系列データを前処理することなく、前記系列データを変換することを含む、請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記画像を前記ANNに入力することが、前記画像を二次元画像入力ネットワークに入力することを含む、請求項1~8のいずれか一項に記載の方法。
【請求項10】
システムであって、
検出器であって、
化学プロセスによって生成された製品を分析的に特徴付けることと、
前記分析的特徴付けから系列データを生成することと、を行うように構成された検出器と、
前記系列データから変換された画像に基づいて前記製品の特性を予測するために、前記化学プロセスによって生成された先行製品からの変換された系列データの複数の画像を用いて訓練された人工ニューラルネットワーク(ANN)と、
前記検出器及び前記ANNに結合されたコントローラであって、前記コントローラが、
前記系列データを前記画像に変換することと、
前記画像を前記ANNに入力することと、
前記ANNから前記製品の前記特性の前記予測を受信することと、
前記化学プロセスを調整するか、又は前記製品を拒絶することと、を行うように構成されているコントローラと、を備える、システム。
【請求項11】
前記システムが、複数の検出器を備え、前記系列データが、前記複数の検出器に対応する多変量データを含む、請求項10に記載のシステム。
【請求項12】
前記検出器が、濃度感度検出器、分子量感度検出器、組成物感度検出器、及びそれらの組み合わせを含む、検出器の群のうちの1つを含む、請求項10又は11に記載のシステム。
【請求項13】
前記コントローラが、前記化学プロセスを調整し、前記製品を拒絶するように構成されている、請求項10~12のいずれか一項に記載のシステム。
【請求項14】
前記コントローラが、前記系列データを前処理することなく、前記系列データを前記画像に変換するように構成されている、請求項10~13のいずれか一項に記載のシステム。
【請求項15】
前記ANNが、二次元画像入力ネットワークである、請求項10~14のいずれか一項に記載のシステム。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、分析データに基づく特徴付けのための機械視覚に関する。そのような技術は、製品を作産するために使用される化学プロセスを調整するために、又は製品を拒絶するかどうかを判定するために、製品の特性を予測するのに特に有用であり得る。
【背景技術】
【0002】
人工ニューラルネットワーク(Artificial neural network、ANN)は、特定の環境で感知されている情報(例えば、刺激)を処理するために、人間の脳内のニューロンなどのニューロンのネットワークをモデル化することによって情報を処理することができるネットワークである。人間の脳と同様に、ニューラルネットワークは、典型的には、複数のニューロントポロジ(例えば、人工ニューロンと称され得る)を含む。ANN演算とは、人工ニューロンを使用して所与のタスクを実施するための入力を処理する演算を指す。ANN演算は、入力を処理するために、様々な機械学習アルゴリズムを実施することを含み得る。ANN演算を実施することによって処理することができる例示的なタスクは、機械視覚、音声認識、機械翻訳、ソーシャルネットワークフィルタリング、及び/又は医療診断を含むことができる。
【0003】
クロマトグラフィ、分光法、及び多くの他の分析的特徴付け方法では、時系列又は対になったx-y系列のデータ型などの系列データを作成することができる。分離は、材料の特徴付けに有用であり得る。例えば、ゲル浸透クロマトグラフィ(gel permeation chromatography、GPC)などのサイズ排除クロマトグラフィは、分子量標準を用いる注意深い較正、又はレーザ光散乱などの分子量感度検出器と組み合わせて、ポリマー試料の定量的分子量分布を提供することができる。分子量分布は、ポリマー材料の多くの物理的特性を予測することができる。分子量分布を調整することは、ポリマー製造において有益である。例えば、GPCデータ分析の改善は、プロセス制御又は構造解明を改善することができる。
【発明の概要】
【0004】
本開示は、化学プロセスによって生成された製品の特性を予測するための機械視覚技術における改善を使用することを対象とする。予測は、化学プロセス、又は系列データを生成する検出器を用いる化学プロセスによって生成された製品の分析的特徴付けに基づくことができる。系列データは、画像に変換され、画像に基づいて製品の特性を予測するように訓練された人工ニューラルネットワーク(ANN)に入力することができる。製品の特性の予測は、ANNから受信され、化学プロセスを調整するために、又は製品を拒絶するかどうかを判定するために使用することができる。
【0005】
特定の例として、プロセス計量化学及び分析化学における用途のための機械視覚モデルの有効性が本明細書に記載されている。化学製品から収集されたGPCデータの画像は、分類問題(例えば、良好と不良の化学製品)に、及び/又は製品の特性を予測するために使用することができる。本開示は、GPCデータ(例えば、数平均分子量及び重量平均分子量)からの要約統計量の使用と比較して、改善されたモデル性能を提供する。
【0006】
本開示の上記の概要は、各開示された実施形態を説明するようにも、本開示のすべての実装態様を説明するようにも意図されていない。より具体的に示す本明細書は、例示的な実施形態を例示するものである。本出願全体にわたるいくつかの場所では、例のリストを通じて指針が提供され、これらの例は、様々な組み合わせで使用することができる。どの場合も、列挙されたリストは、代表的なグループとしてのみ機能し、排他的なリストとして解釈されるべきではない。
【図面の簡単な説明】
【0007】
図1A】検出器応答を別個のパネルでプロットする1つの例示的なアプローチを示し、スケールが各検出器に対して調整されている。
【0008】
図1B】3つの検出器からの検出器応答を単一のプロットに重ね合わせる1つの例示的なアプローチを示す。
【0009】
図1C】グラミアン角和フィールド(Gramian angular summation field、GASF)変換後の図1Aからのデータを示す。
【0010】
図1D】GASF変換後の図1Bからのデータを示す。
【0011】
図2】データのGASF変換の一例を示す。
【0012】
図3】本開示の少なくとも一実施形態に従って使用されるネットワークの概略図を示す。
【0013】
図4A】溶媒ピークに整列することなく、数年にわたる一組の100GPC実行を示す。
【0014】
図4B】溶媒ピークに整列する、数年にわたる一組の100GPC実行を示す。
【0015】
図5A】不良であることが知られているいくつかのバッチを含む化学製品バッチの重量平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。
【0016】
図5B】不良であることが知られているいくつかのバッチを含む化学製品バッチの数平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。
【0017】
図6】化学製品の品質によって示されるクロマトグラムの主成分分析クラスタリングを示す。
【0018】
図7】クロマトグラフィのための機械視覚のワークフローの概略図を示す。
【0019】
図8】本開示の少なくとも一実施形態による、機械学習アーキテクチャで訓練されたクロマトグラムの重ね合わせ画像を使用して、予測と実際との化学製品の特性の重量パーセントレベルの比較を示す。
【0020】
図9】分析データに基づく特徴付けのための機械視覚のためのシステムの一例を示す。
【0021】
図10】本明細書で考察される様々な方法論を機械に実施させるための一組の命令が実行され得る例示的な機械を示す。
【発明を実施するための形態】
【0022】
深層学習は、計算能力、データの有用性、及びソフトウェアツールの改善によって有効にされている機械学習のタイプである。深層学習は、ANNを適用して、これまでコンピュータには実施することが不可能であると考えられていたタスクを達成することができる。深層学習の「深層」は、ANNにおける複数の層の使用を指す。これらの層は、生の入力から連続的に高次の特徴を抽出する。機械視覚の場合、入力画像の低次の特徴の例には、縁又は色が含まれる。ネットワーク内のより深い層で学習されたより高次の特徴は、顔又は手書きの数字のような物体であり得る。
【0023】
オープンソース、十分に訓練されたネットワークは、何百万もの画像を含むデータベース上に構築されている。これらのネットワークは、転移学習を介して新しいデータと連携することができ、これは、最初のネットワークを構築するために数百万個のデータ点が必要であったが、ネットワークを新しい使用に適合させるには、より少ないデータで済むことを意味する。本開示の少なくとも一実施形態によれば、二次元画像入力ネットワークなどの事前訓練された深層学習ネットワークを、分析的特徴付け方法によって作成された対のx-yデータに使用することができる。GPCクロマトグラムの画像への変換は、96%超の予測精度を有するANNによって分類を可能にすることができる。画像への分析データ(GPCデータなど)の変換は、例えば、x-y対になったデータの配列画像によって、線プロットに行うことができる。別の例は、分析データ(例えば、検出器応答又はy値)の二次元行列へのGASF変換であり、次いで、各行列エントリの値によって色付けされる。本明細書で使用するとき、画像は、何かしらの視覚的又は光学的表現(例えば、データの視覚的表現)を指すことができる。また、画像は、画像を定義するデータを指すことができる。(例えば、画像が有形の機械可読媒体に記憶されているとき)。例えば、画像は、コンピュータ画面上に表示される視覚的表現、又は画面上に表示された画像を定義するデータを含む電子ファイルを指すことができる。データの画像への変換は、データが非画像形式から、画像に基づいて製品の特性を予測するように訓練されたANNを用いる使用に好適な画像形式に変換されることを意味する。
【0024】
本開示の実施形態は、クロマトグラフィのスペクトルのプロセスと、必要とされる主題の専門的技術が非常に少ない他のデータとの組み合わせに拡張することができる。これは、利用可能なすべてのデータを使用するために、はるかに速く、より容易に活用される方法を提示する。化学的及び物理的特徴付け技術など、本開示の様々な実施形態に適用可能とすることができるデータソースの範囲が存在する。GPCは、本明細書の様々な例に関して説明されているが、実施形態は、そのように限定されるものではない。他の化学的及び物理的特徴付け技術を使用することができる。そのような技術の例としては、サイズ排除クロマトグラフィ(例えば、GPC)、液体クロマトグラフィ、ガスクロマトグラフィ、熱勾配クロマトグラフィ、熱量測定、レオロジ、光学分光法、質量分析、粘度測定、粒度測定、又は核磁気共鳴分光法が挙げられる。このリストは、網羅的ではない。むしろ、本開示の実施形態は、本明細書に記載の分析データ及び/又は系列データに一致する任意の測定方法に適用することができる。
【0025】
本明細書で使用するとき、単数形「a」、「an」、及び「the」は、内容により明白に別段の指示がない限り、単数形及び複数形の指示対象を含む。更に、「may」という単語は、本出願全体を通して、義務的な意味(すなわち、しなければならない)ではなく、許容の意味(すなわち、可能性がある、することができる)で使用される。「含む」という用語、及びその派生語は、「含むが、これらに限定されるものではない」という意味である。「結合された」という用語は、特に明記しない限り、直接的又は間接的に接続されることを意味し、無線接続を含むことができる。
【0026】
理解されるように、本明細書の様々な実施形態に示される要素は、本開示のいくつかの追加の実施形態を提供するように、追加される、交換される、及び/又は排除され得る。加えて、理解されるように、図に提供される要素の比率及び相対スケールは、本発明のある特定の実施形態を例示することを意図しており、限定的な意味で解釈されるべきではない。
【0027】
GPCデータ構造は、x-yデータの配列である。x軸は、時間(通常は分)又は容量(通常は、ミリリットル「mL」)のいずれかである。y軸は、検出器応答であり、これは、複数の検出器から構成され得る。時間(又は容量)の関数としての検出器応答の変化は、所与の試料の分子量分布を決定するために必要な情報を提供する。このデータ構造は、データが溶出時間によって順序付けられるため、時系列のタイプである。時系列データ分析の一例は、時系列予測であり、これは、一組の変数の履歴データを経時的に使用して、将来の設定期間にわたるそれらの変数の将来の値を予測する。後の保持容量において将来の値を予測することは、GPCには有用ではない場合がある。本開示の少なくとも一実施形態は、時系列分類又は時系列回帰を含む。時系列分類は、ロット品質判別(例えば、良好と不良の材料)など、一組の所定のカテゴリへのGPCデータの分類を伴い、これは、化学プロセスによって作産された製品を拒絶するかどうかを判定するために使用することができる。時系列回帰は、同じ基礎となるタスクを実施するが、予測出力は、粘度又はメルトインデックスの予測などの連続変数である。
【0028】
単変量時系列X=[x,x,...,x]は、実数値の順序付き集合である。Xの長さは、実数値Tの数に等しい。多変量時系列は、X=[X,X,...,X]と定義され、X∈Rを有するM個の異なる単変量時系列から構成されている。データセットD=(X,Y),(X,Y),...,(X,Y)は、(X、Y)の対の集合であり、Xは、単変量時系列又は多変量時系列のいずれかであり得る。このタイプのデータの例は、GPCであり、ここで、Xは、保持容量であり、Yは、検出器応答である。
【0029】
従来、これらの高次元のデータをまとめて管理可能なサイズにするために、様々な統計学が使用されている。GPCデータを分析するための従来のアプローチは、分子量分布(例えば、数平均分子量M、重量平均分子量M、分散度
【数1】
分光分析データのピーク下の面積、又は動的機械分析データからの弾性率)を説明するための要約統計量に依存する。しかしながら、いくつかの場合では、これらの要約統計量は、フルデータセットが含む材料の詳細レベルをキャプチャするための正確さ及び/又は精度を有さない。一例は、ピークショルダーなどの小さい微細な特徴である。これらの場合では、要約統計量ではなく多変量分析で利用可能なすべての分析データを使用することが有利である。分析計量化学の分野では、これまで、近赤外線分光法又はフーリエ変換赤外線分光法において、スペクトル全体を利用するために主成分分析法又は部分的最小二乗回帰などの方法を使用してきたが、この多変量アプローチを他の分析試験に拡張することはなかった。加えて、複数の分析手法からの、又はプロセスデータなど他のソースと分析データを組み合わせる方法も十分に開発されていない。データバランスに関する課題は、より小さい変数セットからの貴重な相関関係を隠す可能性があることである。
【0030】
本開示の少なくとも一実施形態は、要約統計量又はデジタル化された時間強度配列の代わりに、画像を入力として使用するクロマトグラフデータを分析するための新しいアプローチを含む。機械視覚アプリケーションの成功を活用すると、深層ニューラルネットワークなどのANNは、分類タスク及び回帰タスクの両方についてGPCデータの画像で訓練することができる。従来のGPCデータ分析と比較して、これは、実装を成功させるために、著しくより多くの計算資源及びより大きいデータセットを必要とする。
【0031】
複雑なポリマー構造を有するシリコーン材料の幅広い配列が存在する。クロマトグラフィ、主にGPCを使用して、これらの材料の品質を特徴付けることができる。シリコーン材料は、他の製品を作製するための原材料として使用することができる。しかしながら、GPC要約統計量を介して異常な特性を示さない原材料ロット(例えば、M、M)、又は他のロット合格要件(例えば、シラノール)は、それにもかかわらず、下流側で問題を引き起こすということがあった。
【0032】
先端材料の組成及び性能を適切に特徴付ける問題は、シリコーンにおける多くの用途にわたって蔓延している。品質管理上のギャップは、プロダクトバイプロセスのアプローチと、材料のロットを特定することができる定量的な特性メトリックの取得との間に生じる。分析的特徴付けの専門家は、ターゲット材料及びその特性をより良好に理解することによって、プロセスの改善を可能にすることができる。
【0033】
数年にわたるシリコーン材料のプロセス内分析のために収集されたGPCデータを一例として使用する。ANNを使用して、既知の製造アプセットによって判断されるシリコーンポリマー原材料の品質を予測し、最終製品の特性、すなわちビニル及びシラノールの割合を予測することができる。GPCデータを要約統計量に低減することを含む以前のアプローチでは、ポリマー又は下流側の製品の品質の分類をうまくモデル化することはできなかった。
【0034】
様々なアプローチを使用して、試料について画像を生成することができる。図2Aは、検出器応答を別個のパネルでプロットする1つの例示的なアプローチを示し、スケールが各検出器に調整されている。これは、ファセットプロットと称される。図1Bは、3つの検出器からの検出器応答を単一のプロットに重ね合わせる1つの例示的なアプローチを示す。図1Cは、GASF変換後の図1Aからのデータを示す。図1Dは、GASF変換後の図1Bからのデータを示す。GASF変換は、データの代替符号化である。
【0035】
図2は、データのGASF変換の一例を示す。GASF変換は、データ拡大の3つのステップを含むことができる。第1に、n個の観測値の時系列X={x,x,...,x}が与えられた場合、すべての値が区間[0、1]に入るようにXのスケールを変更する。
【数2】
第2に、スケールを変更された時系列
【数3】
を、値
【数4】
を角度余弦として、時間を半径として使用し、極座標に変換する。下記の式では、Nは、極座標のスパンを正則化する定数である。
【数5】
第3に、GASFをとる。
【数6】
【0036】
上記の式では、Iは、単位行ベクトルである。極座標は、絶対的な時間関係を保存するが、デカルト座標はこれを保存しない。極座標では、角度余弦は値(例えば、検出器応答)であり、半径は時間ステップ(例えば、保持容量)である。極座標の1つの利点は、絶対的な時間関係の保存である。グラミアン変換は、デカルト時系列プロットと比較して、ネットワークに供給される画像のスパース性を低減する。この場合、スパース性は、クロマトグラムの画像におけるホワイトスペースの比率を指す。信号の重ね合わせ画像(図1B)の場合、画素の93%超が白色である。グラミアン変換は、白色画素の数をほぼゼロまで低減する。インピュテーションは、生の時系列データと比較して、本方法によって改善され得る。
【0037】
図3は、本開示の少なくとも一実施形態に従って使用されるネットワークの概略図を示す。ネットワークは、3つの畳み込みブロックを備える全体として11の層である。各ブロックは3つの畳み込み層を含み、合計で9つの畳み込み層がある。しかしながら、実施形態は、任意の特定の数の層又は畳み込みブロックに限定されるものではない。各畳み込み後、バッチ正規化及び活性化ステップが存在し得る。バッチ正規化ステップでは、ゼロに近い平均及び1に近い標準偏差を有するように層出力を正規化することができる。正規化方法は、過剰適合を制限するために脱落させる代替手段として使用することができる。活性化ステップは、整流型線形ユニットを活性化関数として使用することができる。最後から2番目の層は、グローバル平均プーリング演算を実施することができる。最後の層は、予測ステップである。ネットワーク概略図に示されているショートカットは、残留ネットワーク接続を指す。残留ネットワーク迂回畳み込みブロックは、ネットワーク最適化中に勾配を消失させる問題を解くことによって、深層ネットワークの訓練時間を著しく改善することが示されている。例えば、これらのショートカットは、ネットワーク最適化及び誤差低減が深層ニューラルネットワークの多くの層を通過することを可能にした。
【0038】
モデルのためのハイパーパラメータは、本開示の所与の実施形態のモデル精度を改善するように調整することができる。非限定的な例として、CNN層フィルタは、それぞれ、コードブロック1、2、及び3内の層に対して32、64、及び64とすることができる。8×8、3×3、及び1×1のカーネルサイズは、それぞれ、所与の畳み込みブロック内の層1、2、及び3に使用することができる。データ分析は、利用可能なツールを使用して実施することができる。
【0039】
図4Aは、溶媒ピークに整列することなく、数年にわたる一組の100GPC実行を示す。17.5~18.5mLの保持容量において現れるピークは、一貫したサイズを有する既知のモノマー種に対応する。モノマーは、すべての試料にわたって構造的に同様であるため、GPCにおいて対応するピークは、同じ方法で分析されたすべての実験にわたって重複するべきである。図4Aでは、ピークは十分に整列しておらず、GPCの結果が数ヶ月又は数年にわたっていくらかのドリフトを有することを示している。図4Bは、溶媒ピークに整列する、数年にわたる一組の100GPC実行を示す。この溶媒ピークに整列させることにより、モノマーピークによって観察される全体的な実験の整列がはるかに改善される。整列されたGPCの結果を、その後の分析に使用した。図4A図4Bに提示されているデータは、整列されたクロマトグラムの結果を示しているが、実施形態は、正確な機械学習モデルを生成するためのそのような整列に限定されるものではない。分類モデルの精度は、モデル精度に関して整列されたデータと整列されていないデータとの間で区別ができない場合がある。
【0040】
要約統計量の分析におけるこれまでの努力では、これらのバッチにおいて良好503と不良501の化学製品とを識別することができるGPCの特徴を同定することができなかった。図5Aは、性能が低いことが知られているいくつかのバッチを含む、化学製品バッチの重量平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。図5A図5Bの破線は、そのカテゴリの平均を表す。良好503及び不良501は、ほぼ同一の分布を有するように見える。重複部分は、505とラベル付けされている。図5Aでは、破線は、良好503と不良501の化学製品バッチの平均間の重複部分505を表している。図5Bでは、良好503及び不良501のカテゴリの平均について、別個の破線が示されている。化学製品を作製するときのこれら特性の制御は、製品全体が数平均分子量値の分布の同様の気密性を有することを意味するものではない。
【0041】
図5Bは、不良501であることが知られているいくつかのバッチを含む化学製品バッチの数平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。化学製品の数平均分子量の分布は、重量平均分子量よりも良好503と不良501との間のより大きい差を示す。不良501の試料分布は、平均でより多くの数平均分子量を有し、これは、一貫した重量平均分子量にもかかわらず、製品分布がバッチからバッチへと依然としてドリフトしていることを意味する。数平均分子量は、良好503と不良501の材料についてより多くの差を示すが、分布間の大きい重複により、数平均分子量がバッチ品質の正確な弁別器となることはできない。
【0042】
教師なし学習は、組み立てられたデータに適用されて、様々な化学製品ロットにわたるGPCデータの違いを見分けることができる。教師なし学習タスクは、各試料について明示的なラベル(Yデータ)なしでデータの基礎となる構造をモデル化するものである。そのような方法は、データ内のこれまで知られていないパターン又は特徴を同定することができる。この例では、教師なし学習タスクは、クロマトグラムのパターンを同定し、次いで、それらのパターンを使用して試料のクラスタを分離することができる。これらのクラスタは、良好及び不良の化学製品ロットを表すべきであるが、ラベルは、分析に含まれていない。教師なし学習のための方法の一例は、データ相違を強調する次元低減技術である主成分分析(principal component analysis、PCA)である。図6は、化学製品の品質によって示されるクロマトグラムの主成分分析クラスタリングを示す。図6では、異なる化学製品の品質は、印刷された特許公開の制限に起因して、塗りつぶされた丸及び中が白い丸によって示される。しかしながら、実際のクロマトグラムは、典型的には、色によってそのような区別を行う。図6では、PCAベースの視覚化が、平均的な良好と不良とのロットにおける差を示すことはできるが、目に見えないGPCデータ(新しいロットの品質を予測するために)について良好と不良とを識別するのに十分な有意分離を示さないことを示している。
【0043】
深層ニューラルネットワークなどのANNを用いる画像分類は、機械学習の成功した適用である。本開示によれば、クロマトグラフデータの生成画像を入力画像として使用して、化学製品の分類タスクを実施することができる。図7は、クロマトグラフィのための機械視覚のワークフローの概略図を示す。ロット分類のためのネットワークアーキテクチャは、例えば、勾配を消失させることによってANN(「深層ニューラルネットワーク」)を訓練することができる。ネットワーク最適化は、定義された損失関数を最小化するために、バックプロパゲーション及び勾配降下を使用して行うことができる。ANNを通じて伝播すると、ほとんど消失しそうな小さい勾配、モデル性能の飽和又は劣化を引き起こす可能性がある。ショートカット接続は、ネットワーク内の層をスキップするために統合することができ、これにより、多くの層(例えば、100層を超える層)による勾配伝播を可能にする。
【0044】
ANNの各層は、ノードの列として図7の簡略化された画像で表される。人工ニューロンに対応することができるノードは、様々な入力を受信することができる。相互接続領域は、図7のノードを結合する線によって示されるように、異なる層間のノードを結合することができる。ノードは、相互接続領域を介して他のノードからの入力を受信することができる。少なくとも一実施形態では、相互接続領域は、第1の層の各ノードを第2の層の各ノードと結合することができるが、実施形態はそのように限定されるものではない。ANNは、相互接続領域内の様々な接続が重み値を割り当てられるか、又はノードにおける演算又は計算に使用される新しい重み値で更新される訓練プロセスで構成することができる。訓練プロセスは、ANNの特定の用途又は使用に応じて異なり得る。例えば、ANNは、本明細書に記載の画像認識、又は別の処理若しくは計算タスクのために訓練され得る。
【0045】
ANNは、画像の右側のノードの最後の列によって表される出力層を含むことができる。ノードの最後の列は、出力ノードと称され得る。出力ノードの各々は、ノードの以前の層のノードから入力を受信するように結合することができる(左側に)。第1の層(図7に示される左端の層)のノードに供給される入力の結果として、出力ノードの出力層で使用可能な出力を受信するプロセスは、推論又は順方向伝播と称され得る。すなわち、いくつかの実世界現象又は用途を表す入力信号は、訓練されたANNに供給され、様々なノード及び相互接続によって有効にされた計算の結果として発生する推論を通じて、結果が出力され得る。画像認識のために訓練されたANNの場合、入力は、クロマトグラムを表す信号であり得、出力は、クロマトグラムによって示される化学製品の品質を表す信号であり得る。
【0046】
試験を実施し、化学製品の分類の結果を良好又は不良のいずれかとして以下のように入力画像タイプに従って要約する。各事例では、画像をトリミングし、正規化した。トリミングは、保持容量の範囲を狭めることを指し、関連するbの内容領域専門家とみなされるクロマトグラムの領域のみを含む。正規化は、0~1の値を含むようにプロットをスケーリングすることによって実施された。別個のGPC曲線が入力されたとき、各象限は、単一のGPCクロマトグラムを有した。データ前処理は、モデル化タスクに必要ではないが、場合によっては、無益なデータを廃棄することによってモデル性能を改善することができる。試験設定の精度は、98.9%であった。重ね合わされたGPC曲線が入力されたとき、各画像にGPC曲線を重ね合わせた。試験設定の精度は、99.2%であった。別個のGASF変換が入力されたとき、各象限は、単一のGASF変換されたGPC信号を有した。試験設定の精度は、99.2%であった。単一のGASF変換画像が入力されたとき、画像は、GPC信号の線形拡張のGASF変換であった。試験設定の精度は、98.7%であった。各画像カテゴリの性能は、99.0±0.2%の精度で優れていた。画像入力タイプ全体を比較すると、入力のいずれもで有意な性能差があるようには見えない。この分類課題に適用された最新技術の分析的特徴付け方法でさえ、化学製品を評価するための明らかなスタンドアロン方法が公開されていない。
【0047】
回帰のためのネットワークアーキテクチャ及びハイパーパラメータは、分類モデルと同じとすることができる。分類モデルから回帰に変換するために、ニューラルネットワークの最後の層を、単一ノードを有するシグモイド活性化から、活性化が少しもない2つの出力ノードを有する層に変化させることができる。例えば、図7に関して、出力は、ロット品質ではなく製品の特性である。具体的には、シリコーン材料を作製する化学プロセスに関して、ノードのうちの1つは、ビニル含有量に対応し、他方はシラノール含有量に対応する。複数の出力ノードは、それらの変数を同時に予測するか、又は異なるモデルを各予測(出力ノード)に使用することができる。
【0048】
図8は、本開示の少なくとも一実施形態による、機械学習アーキテクチャで訓練されたクロマトグラムの重ね合わせ画像を使用した、予測と実際との化学製品の特性値の比較を示す。予測プロットは、GPC画像データ単独からの定量的予測を使用して、0.7%の相対誤差で化学製品の特性値を予測することができることを実証する。これは、化学プロセスによって作産された化学製品の機械学習方法の実用化を実証している。
【0049】
図9は、分析データに基づく特徴付けのための機械視覚のためのシステムの一例を示す。システムは、化学プロセス924によって生成された製品922を分析的に特徴付けるように構成された検出器920を含むことができる。検出器920の例としては、濃度感度検出器、分子量感度検出器、組成物感度検出器、又はそれらの組み合わせが挙げられる。濃度感度検出器の例としては、紫外線吸収剤、示差屈折計又は屈折率検出器、赤外線吸収剤、及び密度検出器が挙げられる。分子量感度検出器の例としては、低角度光散乱検出器及び多角度光散乱検出器が挙げられる。分析的特徴付け方法の例としては、サイズ排除クロマトグラフィ、液体クロマトグラフィ、ガスクロマトグラフィ、熱勾配クロマトグラフィ、熱量測定、レオロジ、光学分光法、質量分析、粘度測定、粒度測定、及び核磁気共鳴分光法が挙げられる。検出器920は、分析的特徴付けから系列データ926を生成するように構成することができる。例えば、系列データ926は、多変量データとすることができる。系列データ926は、例えば、複数の検出器を有する器具を含む実施形態(例えば、屈折率及び光散乱を有するGPC)、又は各々が少なくとも1つの検出器を有する複数の器具を含む実施形態(例えば、同じ製品の複数の別個の特徴付けのために)では、多変数とすることができる。製品922は、化学プロセス924によって生成されたポリマー材料とすることができる。
【0050】
システムは、系列データ926から変換された画像928に基づいて製品922の特性932を予測するために、化学プロセス924によって生成された先行製品からの変換された系列データの複数の画像を用いて訓練されたANN930を含むことができる。ANN930は、画像内の特徴を同定するために事前訓練され、ANN930がここで同定するように訓練された特徴が、製品922の特性932であるように、化学プロセス924によって生成された先行製品からの変換された系列データの複数の画像を用いて、転移学習を介して更に訓練され得る。製品922の特性932の例としては、分子量、密度、品質、性能、及び同定が挙げられる。少なくとも一実施形態では、ANN930は、二次元画像入力ネットワークとすることができる。コントローラ900とは別個のものとして示されているが、少なくとも一実施形態では、ANN930は、コントローラ900によって実装することができる。ANN930は、上記でより詳細に説明される。
【0051】
システムは、検出器920に結合され、ANN930に結合されたコントローラ900を含むことができる。具体的には図示されていないが、コントローラ900は、本明細書に記載の機能を実施するためにコントローラ900によって実行可能な命令を記憶するプロセッサ及びメモリリソースを含むことができる。コントローラ900の一例は、図10に関してより詳細に説明される。コントローラ900は、系列データ926を画像928に変換し、画像928をANN930に入力するように構成することができる。少なくとも一実施形態では、コントローラ920は、系列データ926を前処理することなく、系列データ926を画像928に変換するように構成することができる。本明細書に記載されるように、画像928への時系列データ926(GPCデータなど)の変換は、他の変換方法の中でも、例えば、x-y対になったデータの二次元線プロットへの配列画像によって、又はGASF変換によって行うことができる。コントローラ900は、ANN930から製品922の特性932の予測を受信するように構成することができる。
【0052】
コントローラ900は、特性932の予測に基づいて(例えば、特性932が特性932の事前定義された仕様を満たさない場合)、出力934を提供するように構成することができる。出力934の一例は、化学プロセス924に対する調整である。したがって、少なくとも一実施形態では、コントローラ900は、化学プロセス924を制御するか、又は化学プロセス924を制御する他の制御回路に結合されるように構成することができる。そのような一例では、コントローラ900は、化学プロセス924によってその後に作産された化学製品の特性が、事前定義された仕様内にある可能性が高くなるように、化学プロセスの1つ以上のパラメータを調整させることができる。別の例として、コントローラ900からの出力934は、人間の介入によって化学プロセス924を調整するために使用することができる(例えば、化学プロセス924によってその後に作産された化学製品の特性が、事前定義された仕様内にある可能性が高くなるように、人間が化学プロセス924の1つ以上のパラメータを調整する場合)。出力934は、化学プロセス924の制御信号、製品922の受容性を示すデータ、又は製品922の受容性を示す光若しくは音などの指標とすることができる。別の例として、出力934は、製品922の拒絶とすることができる。例えば、コントローラ900は、製品922が拒絶されるべきである指標をオペレータに提供することができるか、又はコントローラ900は、拒絶のために製品922を自動的にフラグ付けすることができる。少なくとも一実施形態では、コントローラ900は、製品の特性932に基づいて、化学プロセス924を調整し、製品922を拒絶することの両方を行うように構成することができる。
【0053】
図10は、本明細書で考察される様々な方法論を機械1000に実施させるための一組の命令が実行され得る例示的な機械1000を示す。様々な実施形態では、機械1000は、図9に関して説明されたコントローラ900と類似することができる。代替の実施形態では、機械1000は、LAN、イントラネット、エクストラネット、及び/又はインターネット内の他の機械に接続(例えば、ネットワーク化)することができる。機械1000は、ピアツーピア方式(又は分散)ネットワーク環境内のピア機械として、又はクラウドコンピューティングインフラストラクチャ若しくは環境内のサーバあるいはクライアント機械として、クライアントサーバネットワーク環境内のサーバ又はクライアント機械として動作することができる。
【0054】
機械1000は、パーソナルコンピュータ(personal computer、PC)、タブレットPC、セットトップボックス(set-top box、STB)、パーソナルデジタルアシスタント(Personal Digital Assistant、PDA)、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチ若しくはブリッジ、又はその機械がとる動作を指定する一組の命令(順次的、あるいはその他の方法)を実行することができる任意の機械とすることができる。更に、単一の機械1000が図示されているが、「機械」という用語はまた、本明細書で考察される方法論のうちのいずれか1つ以上を実施するために、一組(又は複数組)の命令を個々に又は共同的に実行する機械の任意の集合を含むようにも解釈されるべきである。
【0055】
例示的な機械1000は、処理デバイス1002、メインメモリ1004(例えば、読み取り専用メモリ(read-only memory、ROM)、フラッシュメモリ、同期DRAM(synchronous DRAM、SDRAM)若しくはラムバスDRAM(Rambus DRAM、RDRAM)などの動的ランダムアクセスメモリ(dynamic random access memory、DRAM))、静的メモリ1006(例えば、フラッシュメモリ、静的ランダムアクセスメモリ(static random access memory、SRAM)など)、及びバス1010を介して互いに通信するデータ記憶システム1008を含む。
【0056】
処理デバイス1002は、マイクロプロセッサ、中央処理ユニット(central processing unit、CPU)などの1つ以上の汎用処理デバイスを表す。より具体的には、処理デバイスは、複合命令セットコンピューティング(complex instruction set computing、CISC)マイクロプロセッサ、縮小命令セットコンピューティング(reduced instruction set computing、RISC)マイクロプロセッサ、超長命令語(very long instruction word、VLIW)マイクロプロセッサ、又は他の組の命令を実装するプロセッサ、あるいは複数組の命令の組み合わせを実装するプロセッサとすることができる。処理デバイス1002はまた、特定用途向け集積回路(application specific integrated circuit、ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate array、FPGA)、デジタル信号プロセッサ(digital signal processor、DSP)、ネットワークプロセッサなどの1つ以上の専用処理デバイスとすることができる。処理デバイス1002は、本明細書で考察される動作及びステップを実施するための命令1018を実行するように構成されている。機械1000は、ネットワーク1014を介して通信するためのネットワークインターフェースデバイス1012を更に含むことができる。
【0057】
データ記憶システム1008は、本明細書に記載の方法論又は機能のうちの任意の1つ以上を具現化する一組以上の命令1018又はソフトウェアを記憶する機械可読記憶媒体1016(コンピュータ可読媒体としても知られている)を含むことができる。命令1018はまた、機械1000によるその実行中に、メインメモリ1004内及び/又は処理デバイス1002内に完全に、又は少なくとも部分的に存在することができ、メインメモリ1004及び処理デバイス1002もまた、機械可読媒体を構成する。
【0058】
一実施形態では、命令1018は、本明細書に記載のANNに対応する機能を実装するための命令を含む。機械可読記憶媒体1016は、例示的な一実施形態では単一の媒体であるように示されているが、「機械可読記憶媒体」という用語は、1つ以上の組の命令を記憶する単一の媒体又は複数の媒体を含むように解釈されるべきである。「機械可読記憶媒体」という用語はまた、機械による実行のための一組の命令を記憶又は符号化することができ、機械に、本開示の方法論のうちのいずれか1つ以上を実施させる任意の媒体を含むように解釈されるものとする。したがって、「機械可読記憶媒体」という用語は、これらに限定されるものではないが、ソリッドステートメモリ、光学式媒体、及び磁気媒体を含むように解釈されるものとする。
【0059】
特定の実施形態が上述されてきたが、これらの実施形態は、単一の実施形態のみが特定の特徴に関して説明されている場合でも、本開示の範囲を限定することを意図するものではない。本開示で提供される特徴の例は、特に明記しない限り、限定的ではなく例示的であることが意図される。上記の説明は、本開示の利益を有する当業者には明らかであるように、そのような代替案、修正案、及び等価物を網羅することを意図している。
【0060】
本開示の範囲は、本明細書で対処される問題のいずれか又はすべてを軽減するか否かにかかわらず、本明細書に開示される任意の特徴又は特徴の組み合わせ(明示的若しくは暗黙的のいずれかで)、又はそれらの任意の一般化を含む。本開示の様々な利点が本明細書で説明されてきたが、実施形態は、そのような利点のうちのいくつか、すべてを提供し得るか、若しくは全く提供し得ないか、又は他の利点を提供し得る。
【0061】
前述の詳細は説明では、いくつかの特徴は、本開示を合理化する目的で、単一の実施形態で一緒にグループ化される。本開示方法は、本開示の開示された実施形態が、各特許請求項に明示的に列挙されているよりも多くの特徴を使用する必要があるという意図を反映するものとして解釈されるものではない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、単一の開示された実施形態のすべての特徴よりも少ない特徴に存在する。したがって、以下の特許請求の範囲は、発明を実施するための形態に本明細書に組み込まれ、各特許請求項は、別個の実施形態として独立している。

図1A
図1B
図1C
図1D
図2
図3
図4A
図4B
図5A
図5B
図6
図7
図8
図9
図10
【手続補正書】
【提出日】2022-06-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、
化学プロセス、又は分析器を用いる前記化学プロセスによって生成された製品を分析的に特徴付け、それにより、系列データを生成することと、
前記系列データを画像に変換することと、
前記画像を、前記画像に基づいて前記製品の特性を予測するように訓練された人工ニューラルネットワーク(ANN)に入力することと、
前記ANNから前記製品の前記特性の前記予測を受信することと、
前記製品の前記特性の前記予測に基づいて、前記化学プロセスを調整するか、又は前記製品を拒絶することと、を含む、方法。
【請求項2】
前記製品の前記特性の前記予測に基づいて、前記化学プロセスを調整することと、前記製品を拒絶することと、を更に含む、請求項1に記載の方法。
【請求項3】
前記ANNが、任意の画像内の特徴を同定するように事前訓練され、
前記方法は、前記特徴が前記製品の前記特性を含むように、前記化学プロセスによって生成された先行製品からの変換された系列データの複数の画像を用いて、転移学習を介して前記ANNを訓練することを更に含む、請求項1に記載の方法。
【請求項4】
前記製品の前記特性の前記予測を受信することが、分子量、密度、品質、性能、及び同定を含む特性の群のうちの1つの前記予測を受信することを含む、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記製品を分析的に特徴付けることが、液体クロマトグラフィ、ガスクロマトグラフィ、熱勾配クロマトグラフィ、サイズ排除クロマトグラフィ、熱量測定、レオロジ、光学分光法、質量分析、粘度測定、粒度測定、及び核磁気共鳴分光法を含む分析的特徴付けの群のうちの1つを含む、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記系列データを前記画像に変換することが、前記系列データを二次元線プロットに変換することを含むか、又は
前記系列データを前記画像に変換することが、前記系列データをグラミアン角和フィールドに変換することを含むか、又は
前記系列データを前記画像に変換することが、前記系列データを前処理することなく、前記系列データを変換することを含むか、又は
前記画像を前記ANNに入力することが、前記画像を二次元画像入力ネットワークに入力することを含む、請求項1~5のいずれか一項に記載の方法。
【請求項7】
システムであって、
検出器であって、
化学プロセスによって生成された製品を分析的に特徴付けることと、
前記分析的特徴付けから系列データを生成することと、を行うように構成された検出器と、
前記系列データから変換された画像に基づいて前記製品の特性を予測するために、前記化学プロセスによって生成された先行製品からの変換された系列データの複数の画像を用いて訓練された人工ニューラルネットワーク(ANN)と、
前記検出器及び前記ANNに結合されたコントローラであって、前記コントローラが、
前記系列データを前記画像に変換することと、
前記画像を前記ANNに入力することと、
前記ANNから前記製品の前記特性の前記予測を受信することと、
前記化学プロセスを調整するか、又は前記製品を拒絶することと、を行うように構成されているコントローラと、を備える、システム。
【請求項8】
前記システムが、複数の検出器を備え、前記系列データが、前記複数の検出器に対応する多変量データを含むか、又は
前記検出器が、濃度感度検出器、分子量感度検出器、組成物感度検出器、及びそれらの組み合わせを含む、検出器の群のうちの1つを含む、請求項7に記載のシステム。
【請求項9】
前記コントローラが、前記化学プロセスを調整し、前記製品を拒絶するように構成されているか、又は
前記コントローラが、前記系列データを前処理することなく、前記系列データを前記画像に変換するように構成されている、請求項7又は8に記載のシステム。
【請求項10】
前記ANNが、二次元画像入力ネットワークである、請求項7~9のいずれか一項に記載のシステム。

【国際調査報告】