特開 2024-20154 試験測定システム、機械学習システムのためのデータを収集及び使用する方法、並びにシステム内で収集されたデータを監視する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020154

(43)【公開日】2024-02-14

(54)【発明の名称】試験測定システム、機械学習システムのためのデータを収集及び使用する方法、並びにシステム内で収集されたデータを監視する方法

(51)【国際特許分類】

   G01R 13/20 20060101AFI20240206BHJP

   G01R 13/02 20060101ALI20240206BHJP

【ＦＩ】

G01R13/20 L

G01R13/02

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023118755

(22)【出願日】2023-07-21

(31)【優先権主張番号】63/391,269

(32)【優先日】2022-07-21

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/406,644

(32)【優先日】2022-09-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/353,844

(32)【優先日】2023-07-17

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】391002340

【氏名又は名称】テクトロニクス・インコーポレイテッド

【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】ウェンジェン・サン

(72)【発明者】

【氏名】エヴァン・ダグラス・スミス

(72)【発明者】

【氏名】ジョン・ジェイ・ピカード

(57)【要約】      （修正有）

【課題】深層学習ネットワークをトレーニングするための大量の波形データ及びメタデータを収集する。
【解決手段】試験測定システムは、製造ライン上の被試験デバイス（ＤＵＴ）２０から波形データを受け取るように構成されたオシロスコープ２４と、オシロスコープ２４に接続された機械学習システムと、プログラムを実行するように構成された１つ以上のプロセッサとを含み、プログラムは、ＤＵＴ２０から最適なチューニング・パラメータ・データ・セットを収集する処理と、最適なチューニング・パラメータ・データから１つ以上のパラメータ・データ・セットを決定する処理と、ＤＵＴ２０から１つ以上のパラメータ・データ・セットの波形データをトレーニング・データ・セットとして収集する処理と、トレーニング・データ・セットを使用して機械学習システムをトレーニングする処理とを１つ以上のプロセッサに行わせる。
【選択図】図３

【特許請求の範囲】

【請求項1】

試験測定システムであって、
製造ライン上の被試験デバイス（ＤＵＴ）から波形データを受け取るように構成された試験測定装置と、
上記試験測定装置に接続された機械学習システムと、
プログラムを実行するように構成された１つ以上のプロセッサと
を具え、上記プログラムが、
上記ＤＵＴが上記製造ライン上でチューニングされた後、上記ＤＵＴから最適なチューニング・パラメータ・データ・セットを収集する処理と、
上記最適なチューニング・パラメータ・データから１つ以上のパラメータ・データ・セットを決定する処理と、
上記１つ以上のパラメータ・データ・セットを上記ＤＵＴにロードする処理と、
上記ＤＵＴから上記１つ以上のパラメータ・データ・セットの波形データをトレーニング・データ・セットとして収集する処理と、
上記トレーニング・データ・セットを使用して上記機械学習システムをトレーニングする処理と、
トレーニング後に上記機械学習システムを使用して、上記ＤＵＴに関連する出力を生成する処理と
を上記１つ以上のプロセッサに行わせる試験測定システム。

【請求項2】

上記ＤＵＴが上記製造ラインによってチューニングされる処理と、上記ＤＵＴが上記機械学習システムによってチューニングされる処理と、上記ＤＵＴが検証される処理との間で選択するように構成されたスイッチを更に具える、請求項１に記載の試験測定システム。

【請求項3】

１つ以上のパラメータ・データ・セットを決定する処理とを上記１つ以上のプロセッサに行わせる上記プログラムが、平均パラメータ・セットを決定する処理と、及び上記平均パラメータ・データ・セットから少なくとも１つの追加のパラメータ・データ・セットを導出する処理とを上記１つ以上のプロセッサに行わせるプログラムを含む、請求項１に記載の試験測定システム。

【請求項4】

上記ＤＵＴに関連する上記出力が、検証測定値又は予測された最適なチューニング・パラメータ・セットのうちの１つを含む、請求項１に記載の試験測定システム。

【請求項5】

上記１つ以上のプロセッサが、上記ＤＵＴからの上記最適なチューニング・パラメータ・データ・セット及び上記波形データのうちの少なくとも１つのデータ収集を監視する処理を上記１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される、請求項１に記載の試験測定システム。

【請求項6】

データ収集を監視する処理を上記１つ以上のプロセッサに行わせる上記プログラムが、上記最適なチューニング・パラメータ・セット内の各チューニング・パラメータのヒストグラムを生成する処理を上記１つ以上のプロセッサに行わせる、請求項５に記載の試験測定システム。

【請求項7】

各チューニング・パラメータのヒストグラムを生成する処理を上記１つ以上のプロセッサに行わせる上記プログラムが、上記ヒストグラムを分析して、上記機械学習システムが更なるトレーニングを必要とするかどうかを判定する処理を上記１つ以上のプロセッサに行わせるプログラムを含む、請求項６に記載の試験測定システム。

【請求項8】

上記１つ以上のプロセッサが、
上記データが記憶されている場所を照会する処理と、
上記場所に記憶されている最も新しいデータを分析する処理と、
上記最も新しい最適なチューニング・パラメータ・データが１つ以上の基準を満たしている場合にデータの収集を続行する処理と
を上記１つ以上のプロセッサに行わせるプログラムを実行することによって、データ収集を監視するように更に構成される請求項１に記載の試験測定システム。

【請求項9】

上記１つ以上のプロセッサが、
上記データが上記１つ以上の基準を満たさない原因を診断する処理と、
上記データの上記収集を更新するためにユーザに更新を提供する処理と
を上記１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される、請求項８に記載の試験測定システム。

【請求項10】

機械学習システムのためのデータを収集及び使用する方法であって、
被試験デバイス（ＤＵＴ）が製造ライン上でチューニングされた後、上記ＤＵＴから最適なチューニング・パラメータ・データ・セットを収集するステップと、
上記最適なチューニング・パラメータ・データから１つ以上のパラメータ・データ・セットを決定するステップと、
上記１つ以上のパラメータ・データ・セットを上記ＤＵＴにロードするステップと、
上記ＤＵＴから上記１つ以上のパラメータ・データ・セットの波形データをトレーニング・データ・セットとして収集するステップと、
上記トレーニング・データ・セットを使用して上記機械学習システムをトレーニングするステップと、
トレーニング後に上記機械学習システムを使用して、上記ＤＵＴに関連する出力を生成するステップと
を含む、機械学習システムのためのデータを収集及び使用する方法。

【請求項11】

上記１つ以上のパラメータ・データ・セットを決定するステップが、平均パラメータ・セットを決定するステップと、上記平均パラメータ・データ・セットから少なくとも１つの追加のパラメータ・データ・セットを導出するステップとを含む、請求項１０に記載の機械学習システムのためのデータを収集及び使用する方法。

【請求項12】

上記ＤＵＴに関連する上記出力が、検証測定値又は予測された最適なチューニング・パラメータ・セットのうちの１つを含む、請求項１０に記載の機械学習システムのためのデータを収集及び使用する方法。

【請求項13】

上記ＤＵＴからの上記最適なチューニング・パラメータ・データ・セット及び上記波形データのうちの少なくとも１つのデータ収集を監視するステップを更に含む、請求項１０に記載の機械学習システムのためのデータを収集及び使用する方法。

【請求項14】

システム内で収集されたデータを監視する方法であって、
被試験デバイス（ＤＵＴ）を試験するために使用されるシステム内のデータ・ソースを定期的に照会するステップと、
上記データ・ソースにおいて新たに追加されたデータに対して統計分析を実行するステップと、
上記データに関する問題を特定する出力を生成するステップと
を含む、データを監視する方法。

【請求項15】

上記データ・ソースが、データ・ストア及び試験測定装置のうちの少なくとも１つを含む、請求項１４に記載のデータを監視する方法。

【請求項16】

上記データ・ソースが、機械学習システムにおいてトレーニング・データとして使用するための波形データを収集するために使用されるストアである、請求項１４に記載のデータを監視する方法。

【請求項17】

上記出力が、機械学習システムをトレーニングするのに十分なデータを有すること、試験における複数のＤＵＴの不合格を示す最近のデータを有すること、及び特定の性能測定範囲内の更なるデータが必要であることのうちの少なくとも１つを特定する、請求項１４に記載のデータを監視する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、試験測定システムに関し、より詳細には、試験測定システムで使用するための機械学習モジュール及び機械学習アルゴリズムに関する。

【背景技術】

【0002】

機械学習（ＭＬ）アルゴリズムは、アルゴリズム／ネットワークをトレーニング及び検証するために大量のデータの取得を必要とする。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１７９４５９号公報

【特許文献2】米国特許出願公開第２０２２／０２４７６４８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

必要とされるデータの量は、多くの場合、顧客にとって収集することが負担になるほど膨大であり、顧客から取得できるデータはどれも、多くの場合、堅牢なＭＬアルゴリズムをトレーニングするには、十分に包括的ではない。加えて、顧客に正しいデータを収集するよう指示するという物理的な作業は、フラストレーション及び遅延を引き起こす可能性がある。データ収集を実行するオペレータは、外部企業向けに正確なデータを取得するために日常作業から離れていることが一般的であり、これは、つまり、できるだけ早く通常の業務に戻らなければならないというプレッシャーが常にあることになる。

【課題を解決するための手段】

【0005】

ここでの実施形態は、被試験デバイス（ＤＵＴ：device under test）のチューニング及び検証のために深層学習ネットワークをトレーニングするための波形データ並びにメタデータの収集を実行する。以下で説明する例は、光トランスミッタのチューニング及び検証に関するものであるが、他のタイプの電子デバイスにも適用される。実施形態は、既存の製造ラインの速度低下を最小限にして波形データの収集を達成し、ラインを完全に停止せざるを得ない状況を回避する。実施形態は、機械学習システムが最適なチューニング・パラメータ及び性能測定値の検証を予測できるように、機械学習システムのトレーニングを可能にするのに十分なデータをシステムが収集したときにユーザに通知しても良い。実施形態はまた、追加のトレーニング・データ又は他の問題を収集するためにシステムが従来のチューニング・プロセスに戻ることを可能にする。実施形態はまた、システム性能を監視するために、予測された最適なチューニング・パラメータ及び検証結果の統計並びにヒストグラムを収集及び算出しても良い。

【0006】

加えて、データ収集を監視するための実施形態は、光トランスミッタ用の機械学習データを超えて拡張することができ、データの収集及び品質を監視する「ライブ・リスナ（Live Listener）」コンポーネントの形式をとることができる。ライブ・リスナ・コンポーネントは、機械学習データ収集と同様に、収集されたデータを受動的に監視し、製造システムの遅延又は停止を回避する。以下の説明では、最初に機械学習を目的としたデータ収集について説明するが、後で説明するように、ライブ・リスナは、異なるタイプのデータに関与しても良い。

【図面の簡単な説明】

【0007】

【図1】図１は、被試験デバイス（ＤＵＴ）チューニング・ソフトウェア・アプリケーション用のユーザ・インターフェースの一実施形態を示す。

【図2】図２は、データを収集して機械学習システムをトレーニングする方法の一実施形態の状態図である。

【図3】図３は、製造ラインを停止することなく製造サイクル中にニューラル・ネットワーク・トレーニング・データを収集するシステムの一実施形態を示す図である。

【図4】図４は、データ収集を制御する方法の一実施形態のフロー図である。

【図5】図５は、ライブ・リスナ・ツール方法の一実施形態を示す図である。

【図6】図６は、性能測定のための機械学習トレーニング波形を収集する方法におけるライブ・リスナのためのワークフローの一実施形態を示す図である。

【図7】図７は、ライブ・リスナ・ツール用のユーザ・インターフェースの一実施形態を示す図である。

【図8】図８は、ライブ・リスナを使用して機械学習システムを再トレーニングする方法の一実施形態を示す図である。

【発明を実施するための形態】

【0008】

図１は、製造システムと機械学習システムとを含む試験測定システム内の試験測定装置上のユーザ・インターフェースの一例を示す。ユーザ・インターフェースは、機械学習光トランスミッタ（送信機）チューニング・ソフトウェアの名称であるＯｐｔａＭＬ Ｐｒｏを指す。本願で使用される「製造システム」という用語は、光トランスミッタなどの電子デバイス用の製造システムを含み、「製造ライン」と呼ばれることもある。本願で使用される「機械学習システム」という用語は、ニューラル・ネットワークを含む機械学習モデルの多くの様々なアーキテクチャを含む。以下の説明は、深層学習ネットワークを採用する実施形態に焦点を当てており、深層学習ネットワークは、典型的には、入力層と、いくつかの隠れ層と、出力層とを有するネットワークを意味するが、他のアーキテクチャが使用されても良い。

【0009】

上述したように、実施形態を実証するために使用される例は、光トランスミッタの試験に焦点を当てている。図１では、システムというタブ・メニューが、光チューニング・システム全体の大まかな概要を描写している。この大まかな概要は、ユーザ試験自動化ＳＷ、ＴＸ、スコープ、及びＯｐｔａＭＬ Ｐｒｏからなる４つのブロックに簡素化されている。この例でのユーザ試験自動化ＳＷは、ユーザの製造ラインを制御する製造システム・ソフトウェアを指す。これは、オーブン、光スイッチ、装置、機械学習システムを制御する。ＴＸは、チューニングされるトランスミッタ（送信機）を指し、スコープは、波形を捕捉するために使用されるオシロスコープを指す。試験測定装置は、この例のようにオシロスコープであっても良く、又は、他の例における異なるタイプの試験機器であっても良いことに留意されたい。

【0010】

機械学習システムは、トレーニング期間を必要とし、トレーニング期間中、顧客、及び場合によってはエンジニア、又は顧客のシステムは、トランスミッタからの入力波形に基づいてチューニング・パラメータを予測するようにニューラル・ネットワークをトレーニングするために必要なデータを収集し、フォーマットし、記憶する。

【0011】

光トランスミッタを含む実施形態におけるシステムの概要では、ニューラル・ネットワークがトレーニングされると、ユーザ自動化ＳＷは、チューニングされるトランスミッタにおいて３セットの基準パラメータを記憶し、チューニングごとに１つずつ、３つの波形を収集することが必要となる。これらの３つの波形は、図３で説明されるテンソル・ビルダ・ブロックに入り、テンソル・ビルダ・ブロックは、取得した波形内のプルーニング（パラメータ剪定処理）されたデータのＲＧＢ画像表現を作成する。これはニューラル・ネットワークに入力され、ニューラル・ネットワークから、トランスミッタの最適なチューニング・パラメータのセットが出力される。

【0012】

ユーザ自動化ＳＷは、予測されたチューニング・パラメータをトランスミッタにロードし、スコープを制御して１つの波形を取得する。次いで、システムは、ＴＤＥＣＱ（transmitter dispersion eye closure quaternary）、ＯＭＡ（光変調振幅）などの測定値を用いて波形を試験し、合格か不合格か判定する。説明ではこれを「検証」と呼ぶことがある。

【0013】

ＭＬ予測が不合格となる場合、つまり予測チューニング・パラメータを用いて動作している光トランスミッタが合格しない場合、システムは、ユーザが「従来の」チューニング・アルゴリズムを実行して、チューニングを試みるのを容易に行えるようにする。もしそれで不合格となる場合には、そのデバイスは、廃棄される。

【0014】

図２は、システム内の様々な状態の状態図を示す。状態は、光トランスミッタの出荷を準備するために光トランスミッタをチューニングするときにユーザの製造ラインで発生する状態を表す。状態遷移図内の初期（デフォルト）状態は、ユーザ自身のチューニング・アルゴリズムがトランスミッタをチューニングしている状態を表す。機械学習アプリケーションが使用されていない場合、システムはこのプロセスを使用することになる。灰色の状態は、ユーザ・チューニングを維持するために必要な様々な状態であるが、同時にチューニング用のデータを収集及びセットアップするといういくつかの状態を経る。点模様のＭＬチューニング状態は、ユーザ・チューニング状態を置き換えてチューニング・プロセスを公称で７５倍高速化するために使用される。ここに示されているように、製造システムは、波形及びメタデータのチューニング・データが収集されている間も、依然としてユーザ・チューニング・アルゴリズムを使用する。システム・ロジックは、ユーザ自動化ＳＷが、この状態でのみ動作することを、いつでも選択できるように設計される。

【0015】

ユーザ・チューニング＆最適にチューニングされたメタデータの配列を収集する状態では、ユーザ・チューニング・アルゴリズムがトランスミッタをチューニングするたびに、システムは、最適なチューニング・パラメータを光チューニング・パラメータ構造の配列の中に収集する。

【0016】

上記の前の状態が十分な最適なチューニング・サンプルを収集したとき、システムは、基準パラメータを作成する状態に入る。最適なチューニング・データの配列が平均化され、ｍｅａｎＰａｒ基準パラメータ・セットが取得される。システムは、ｍｅａｎＰａｒから別のセットを導出し、これは、あるデルタ（差分）だけｍｅａｎＰａｒを変更することによって、ｄｅｌｔａＰａｒ１基準パラメータ・セットを取得し、そして、もう１つ別のデルタ（これは、最初のデルタの反対（＋／－）としても良い）だけｍｅａｎＰａｒを変更することによって、ｄｅｌｔａＰａｒ２基準パラメータ・セットを取得する。これらの基準パラメータが決定されると、システムは次の状態に遷移して、トレーニングの波形データ及びメタデータを収集する。

【0017】

ユーザ・チューニング＆波形＆メタデータ・トレーニング・データを収集する状態では、ユーザのチューニング・アルゴリズムを使用して各トランスミッタをチューニングする。トランスミッタをチューニングすると、システムは最適なチューニング・セットを保存する。加えて、製造システムは、３つの基準パラメータ・セットのそれぞれをトランスミッタにロードし、各セットに関して５つ程度の波形を収集する。このプロセスは、全体の製造スループットを約４％低下させるだけであり、完了までに約６．２５日かかる場合がある。このプロセスは、製造ラインの完全な停止を回避する。

【0018】

ＭＬトレーニング状態は、データ収集の完了、及びユーザ又はシステム・エンジニアがＭＬアプリケーションにおいて収集されたデータを使用してシステム内の複数のニューラル・ネットワークをトレーニングできる時点を表す。このトレーニングが完了すると、システムは、トレーニング済みモデルのセットアップを保存し、この時点で、最適なチューニング・パラメータ及びＴＤＥＣＱ測定値を予測するためにそのトレーニング済みモデルを使用できるようになる。

【0019】

ＭＬチューニングは、トレーニング済みモデルを使用し、トランスミッタの最適なチューニング・パラメータを予測する。ユーザ試験自動化ＳＷが３つの基準パラメータ・セットをトランスミッタにロードし、それぞれに対して１つの波形を取得することが必要である。次いで、ユーザ試験自動化ＳＷは、図３に示すテンソル・ビルダ・ブロックを通じてこれらの波形を処理し、ニューラル・ネットワークの入力として使用する。ニューラル・ネットワークの出力は、システムが、そのポイントにある場合は最適なチューニング・パラメータのセットであるとしても良く、又は、システムがプロセスのその部分にある場合は、ＴＤＥＣＱ若しくは他の測定値であっても良い。上述したように、この状態は、公称では、ユーザの初期（デフォルト）状態よりも７５倍高速に実行される。

【0020】

チューニング済みトランスミッタを出力する状態は、検証試験に合格したチューニング済みトランスミッタを出力及び処理するために必要とされるタスクを表す。完了すると、状態は、様々な送信経路及び返信経路における１０などの楕円で示されるようにトランスミッタが合格した状態に再び遷移する。

【0021】

不合格のトランスミッタを破棄する状態は、チューニングに失敗した（failed：不合格となる）トランスミッタを処理するために必要とされるタスクを表す。これは一時的な状態であり、終了すると、フローはトランスミッタが不合格となった状態に戻る。

【0022】

図３は、実施形態のシステムのより詳細な例を示す。図３は、状態フローの遷移を制御するために必要な論理を提供する条件付きブロックによって、図２に示すシステムの様々な主要な状態を表す。従って、各条件付きブロックは、状態遷移を引き起こす条件を表すだけでなく、条件を試験する必要なアルゴリズム及びコード（プログラム）を含むことも意図している。これらの状態の制御は、システム全体が動作して製造ライン上のプロセスを制御できるようにユーザ自動化ＳＷにある。

【0023】

従って、図３のシステム図は、図２に示す状態フロー図の実装を容易にする。これを実現するには、状態遷移を発生させるために必要なシステム・フロー図内の条件付きブロックをユーザ自動化ＳＷがプログラムする必要がある。これらの条件付きブロックは、ユーザのチューニング・アプリケーション又はＭＬチューニング・アプリケーションのみを使用することを容易にする。これらは、トランスミッタをチューニングすることにより、製造ラインを停止することなくデータを収集することも容易にする。トレーニング・データを収集するとき、公称４％の速度低下が予想される。データを収集してトレーニングするために、公称で１４日かかる。

【0024】

光トランスミッタの実施形態では、データ収集の第１の状態又は段階において、システムは、３セットの基準チューニング・パラメータ・セットを作成することができる。他の実施形態の場合、システムは、１セットの基準チューニング・パラメータのみ又は別の個数の基準チューニング・パラメータ・セットを使用しても良い。データを収集する第２の状態又は段階において、システムは、基準パラメータ・セットをロードして、トレーニングで使用する波形の収集を可能にする。データ収集が完了すると、次の段階は、深層学習ネットワークをトレーニングすることに関与する。トレーニングされると、システムは、ユーザのデフォルトのチューニング・アルゴリズムを使用するのではなく、より高速にトランスミッタをチューニングする方法としてＭＬチューニング状態に移行する。上述したように、システムは、ユーザがＭＬチューニング手法を選択すること又はそのデフォルト状態に戻ることを可能にする何らかのタイプのスイッチを含む。

【0025】

図３は、全体のシステム及びプロセスのいくつかのコンポーネントを示す。新しいＴＸ２０は、チューニングされるそれぞれの新しいトランスミッタを表す。新しいトランスミッタは、様々な状態からのチューニング・パラメータを入力として受け取る。例えば、新しいトランスミッタは、ユーザのチューニング・アルゴリズムを実行する状態のうちの１つでシステムが動作するときに掃引されるチューニング・パラメータを受け取っても良い。システムがトレーニング状態であるとき又はシステムがＭＬチューニング状態であるとき、トランスミッタは、入力として基準パラメータを受け取っても良い。トランスミッタは、ＭＬチューニング状態にある間に検証を実行するときに使用する、予測された最適なパラメータ・セットを受け取っても良い。

【0026】

光電変換器（Ｏ／Ｅ）２２は、オプションのコンポーネントから構成され、光トランスミッタのチューニングを扱うときにのみ使用される。

【0027】

スコープ２４は、電気信号をメモリにデータとして取得（アクイジション）し、処理する。上述したように、オシロスコープは、ここで使用可能な試験測定装置の１つを表しているにすぎない。装置／スコープ２４と通信するスイッチ２６は、受け取った波形の流れを適切な状態の適切なプロセスに導く。スイッチは、ソフトウェア・スイッチ又はハードウェア・スイッチの形式をとっても良い。

【0028】

灰色の条件付きブロックは、状態遷移の条件を表し、条件を判定するために必要なコード及びアルゴリズムを表す。ユーザ自動化ＳＷアプリケーションは、これらのブロックをセットアップ及び制御する。

【0029】

３つの基準チューニングごとに１つの波形（ＷＦＭ）を収集するブロック２８は、３つの基準パラメータ・チューニング設定のそれぞれを使用して３つの波形が取得されなければならないことを明確にしている。これらのチューニング・パラメータ・セットは、ユーザ自動化アプリケーションによってＴＸにロードされる。上述したように、３つの基準セットは、実施形態の光チューニング・トランスミッタの例に適用される。他の例では、システムはより多くの、又はより少ない基準パラメータ・セットを使用しても良い。

【0030】

ＲＧＢ画像テンソル・ビルダ・ブロック３０は、３つの波形を受け取り、それぞれを処理して、ＲＧＢ画像の異なるカラー・チャネルにする。２０２２年５月１８日に出願された米国特許出願第１７／７４７，９５４号及び２０２２年２月３日に出願された米国特許出願第１７／５９２，４３７号は、テンソル・ビルダについて説明しており、それら全体が参照により本願に組み込まれる。

【0031】

全体が参照により本願に組み込まれる２０２３年６月１２日に出願された米国特許出願第１８／２０８，５６２号で説明されているように、テンソル・ビルダ３０は、また、モノクロ画像を作成しても良く、ノイズ及び温度などのパラメータ入力から棒グラフを組み込んでも良い。結果として得られる画像は、チューニング・パラメータを予測するとき又はＴＤＥＣＱなどの性能測定が実行されているときに、トレーニング済みニューラル・ネットワークへの入力として使用される。これらの画像の配列はトレーニング・データから生成され、深層学習ネットワークのトレーニング・プロセス中に入力として使用される。

【0032】

深層学習ネットワーク３２は、ＭＬシステムを構成する１つ以上の深層学習ネットワークを表す。これらは、波形のＲＧＢカラー画像又はモノクロ画像を最適なチューニング・パラメータに又は測定値に関連付けるようにトレーニングされる。

【0033】

ユーザＴＤＥＣＱ及び検証ブロック３４は、ＭＬシステムからの予測されたチューニング・パラメータ・セットの検証を表す。システムは、セットをトランスミッタにロードし、１つの波形を取得する。その波形に対してＴＤＥＣＱや他の性能測定を実行することにより、トランスミッタのチューニングが合格であるか不合格であるかを判定する。このブロックの出力は、ＭＬチューニングを使用してチューニングされたトランスミッタである。

【0034】

ユーザ１チューニング手順プラス検証ブロック３６は、ユーザ・チューニング・デフォルト状態で、機械学習なしに顧客のチューニング・アルゴリズム及び検証アルゴリズムを使用することを表す。この状態の出力は、顧客のチューニング・アルゴリズムを使用してチューニングされたトランスミッタである。同様に、ユーザ２チューニング手順プラス検証ブロック３８は、顧客のチューニング・アルゴリズム及び検証アルゴリズムのみを使用することを表す。これは、ユーザ・チューニング・デフォルト状態と同じチューニング・アルゴリズムを使用する。この状態の出力の１つは、顧客のチューニング・アルゴリズムを使用してチューニングされたトランスミッタである。この状態の第２の出力は、最適にチューニングされたパラメータであり、これらパラメータを収集して後で深層学習ネットワークをトレーニングする際に使用するため、これらパラメータは配列の中に入れられる。

【0035】

図２に示すユーザ・チューニング＆最適にチューニングされたメタデータ配列を収集する状態からトレーニングの第１の段階が完了すると、３つの基準チューニングを決定するブロック４０が実行される。ユーザは、保存された配列内の収集された全てのチューニング・パラメータを平均して、第１の基準パラメータ・セットｍｅａｎＰａｒを作成する必要がある。一実施形態において、システム又はユーザは、ｍｅａｎＰａｒのパラメータに、あるデルタ量（差分量）を加算し、ｄｅｌｔａ１Ｐａｒを得る。異なるデルタをｍｅａｎＰａｒに加算すると、ｄｅｌｔａ２Ｐａｒになる。

【0036】

基準チューニング毎に３つの波形のＭ個のセットを収集するブロック４２では、Ｍの値は、通常５に等しい。これは、システムが、チューニングされるトランスミッタ毎に３つの波形を５セット収集しなければならないことを意味する。３つの波形は、３つの基準パラメータ・セットをトランスミッタに配置し、３つの基準パラメータ・セット夫々について１つの波形を収集することによって得られる。その結果、各トランスミッタから合計１５個の波形がトレーニング・データとして保存される。

【0037】

エンジニア又はユーザにトレーニングを実行するよう通知するブロック４４において、システムは、システムを実行しているユーザ又はシステム・エンジニアに、システムがトレーニングの準備ができていることを示す通知を提供する。これは、波形データ収集及びメタデータの配列が深層学習ネットワーク・ブロックのトレーニング入力に入力されることを意味する。トレーニングに必要なハイパ・パラメータ値を加えたコマンドが深層学習ネットワークに送られる。トレーニング後、ネットワークは、最適なチューニング・パラメータの予測のために製造ライン上で使用できる状態となる。

【0038】

最適なチューニング・パラメータのヒストグラム＆統計（Statistics：統計データ）を作成するブロック４６は、トランスミッタがトレーニングされるときに各トランスミッタについて取得された最適なチューニング・パラメータ・セット内の各チューニング・パラメータのヒストグラムを作る。このデータは、ＭＬチューニング用のためだけであっても良く、ユーザ・チューニング用であっても良く、両方の組み合わせ用であっても良く、又は両方が別個のデータとして保持されても良い。このデータは、性能を監視するために、アプリケーションのＵＩで表示するのに利用可能であっても良い。このデータは、製造されたコンポーネントの特性が変化しており、システムを再トレーニングするためにトレーニング・データの新しいセットを収集して使用する必要があることをユーザに知らせる傾向を探すために使用されても良い。

【0039】

更なるチューニングが必要かどうかを判定するブロック４８は、前のブロックからの統計を分析し、次いでシステムに再トレーニングが必要かどうかを判定するために使用されるアルゴリズムを含む。更なるチューニングが必要であると判定された場合、ユーザにアクティブなトレーニング・データ収集をリセットするよう通知するブロック５０は、更なるトレーニング・データの収集を開始するためにシステム状態を変更しなければならないことを示す通知をユーザ自動化ＳＷに送る。これは、収集された統計データを調査して、ユーザの製造ライン上で何が変化したかを評価すべきであることをユーザに伝える。ユーザは、そのラインを４％減速して、更なるトレーニング・データの収集を開始するとの決定を下すことができる。

【0040】

図４は、図２に示す状態遷移図の一部に必要な論理を示すフロー図の一例を示す。プロセスは、２つの部分を有する。９０で開始し、試験されるトランスミッタが中に入ったオーブンが、第１の温度に設定される。変数ｋは、温度設定の個数を定義する。一実施形態では、温度の個数は５に等しく、従ってｋ＝５である。９４において、顧客の従来のチューニング・システムを使用して、トランスミッタｎ又はトランスミッタの何らかの第１のセットがチューニングを受ける。チューニングされると、９４において、システムはトランスミッタの最適なパラメータを記憶する。次いで、９６において、トランスミッタ・カウントｎが１つ増加される。このプロセスは、９８において、トランスミッタ・カウントｎがトランスミッタの総数Ｎと等しくなるまで続く。次いで、温度カウントｋが１つ増加され、プロセスは、内部ループとして機能するトランスミッタの数を用いて新しい温度で繰り返される。１００において、全てのトランスミッタが最新の温度でチューニングされると、１０２において、システムは最適なパラメータを使用して平均パラメータ・セットｍｅａｎＰａｒ並びに２つのデルタ・パラメータ・セットｄｅｌｔａＰａｒ１及びｄｅｌｔａＰａｒ２を決定する。１０４において、全てのトランスミッタが全ての温度に合わせてチューニングされると、プロセスのこの部分は終了する。基準パラメータ・セットを作成するプロセスのこの部分には、１５０時間、すなわち６．２５日かかる場合がある。

【0041】

プロセスが基準パラメータ・セットの開発を完了すると、システムは、トランスミッタのセットの各パラメータ・セットの波形を集めてトレーニング・データ・セットを構築することができる。１００において、システムは、温度カウントｋに対応する温度を設定する。１１２において、トランスミッタは従来のチューニングを受け、１１４において、システムは最適なパラメータを記憶する。１１６から始めて、プロセスは、１１６においてトランスミッタに異なる基準セットをロードすること、１１８において波形を取得すること、次いで１２０において全ての基準セットについて全ての波形の取得を繰り返すことをループする。そのＤＵＴについて全てのセットが完了すると、１２２においてＤＵＴカウントが１つ増加し、１２４において波形が記憶される。１２６において全てのＤＵＴがトレーニングされると、システムは温度を次のカウントｋに対応する温度に設定する。このプロセスは、１３０において全てのＤＵＴが全ての温度で全てのパラメータ・セットの波形を作成するまで繰り返される。この時点で、システムは、１３２においてトレーニングするのに十分なデータを有する。このプロセスには１５０時間プラス５時間、すなわち６．５日かかると推定される。このプロセス中、ラインはその能力の９６％で機能し続ける。

【0042】

全体として、ユーザ・プロセスを使用したＤＵＴのトレーニングには、２７００秒、すなわち４５分かかる。一旦、トレーニングされると、モデルは、平均４０秒かかる。

【0043】

上記の実施形態は、テクトロニクス社が特許出願中の光トランスミッタに関する３つの基準パラメータ・セットを提供する方法を使用して、他の被試験デバイス（ＤＵＴ）にも拡張可能な、システムをチューニングするための波形及びメタデータを収集する新規な方法を提示する。実施形態は、必要なデータを収集している間、動作中の製造ラインを４％だけ減速させ、次いで約１４日間の収集時間後にトレーニング・サイクルを始動することを可能にする。トレーニングが完了すると、このシステムはまた、図２に示す状態フロー図を実装するために必要な条件付き論理ブロックを指定し、図３はシステム内のデータ・フローを示す。これにより、ユーザは、状態を制御でき、その結果、ユーザは、ユーザのオリジナルのチューニング・アルゴリズムのみを使用してチューニングすることを選択しても良いし、又は、ユーザは、ユーザのオリジナルのアルゴリズムを使用してチューニングすると同時に、機械学習システムの深層学習ネットワークをトレーニングするためのデータを収集することを選択しても良い。トレーニングが完了した後、ユーザは、深層学習ネットワークを使用してチューニングすることを選択しても良い。機械学習のチューニングが不合格である場合、システムは、顧客のチューニング・アルゴリズムを使用してトランスミッタのチューニングを最後に試みることを容易にする。このシステムはまた、チューニング統計の収集を表すブロックと、統計を調べて、製造されたデバイスの特性に、新しいトレーニング・サイクルの開始が必要な程度に変化が生じているかどうかを判定するアルゴリズムとを含む。

【0044】

上記で説明した様々なブロック及びアルゴリズムは、１つ以上のプロセッサ上で実行される実行可能コード（プログラム）の形式をとっても良い。プロセッサは、ユーザの製造システム、オシロスコープなどの試験測定装置、又は、機械学習システムを含む別個のコンピューティング・デバイスの中において、これら３つのうちの２つの間で分散されて、又は、３つ全てに存在しても良い。

【0045】

上述したように、データ収集システムを監視及び分析するモジュールは、上記で説明したチューニング・システムのためのデータ収集を超えて拡張することができる。以下の説明では、これを「ライブ・リスナ（live listener）」と呼ぶ。実施形態は、既存のプロセスにおける中断を最小限又はゼロに抑えてプロセスを自動化することによって、データ収集の負担を軽減する。実施形態は、十分なデータの収集を確実にし、データが高品質であることを確実にする。ライブ・リスナ・モジュールは、時間照会（time query）モジュールと、進捗モニタと、統計分析モジュールと、統計分析に基づく自動化されたフィードバック・モジュールとを備える。

【0046】

本開示の例示的な実施形態によるそのような「ライブ・リスナ」のためのコア設計を図５で以下に示す。収集目標、タイマ間隔、及び所望の統計分析は、ユーザの所望の結果に基づいて決定される。１４０において、タイマが、データ保存場所を定期的に照会して、最後の分析以降に新たに到着したデータを取得する。１４２において、収集されたデータが統計的基準を満たしている場合、ループは、１４４において所定の収集目標に到達するまで継続し、次いで、１４６において、収集を停止するようユーザに促す。データが所望の基準を満たしていない場合、ループは、１４６において、分析に基づいて自動的に診断し、ライブ・セッション・セットアップを更新するようにユーザに促す。

【0047】

本開示の様々な実施形態によれば、このようなライブ・リスナ・モジュールの使用事例のいくつかの非限定的な例として、以下のものがある。第１の例では、上記の実施形態で説明したように、信頼性の高い機械学習アルゴリズムを構築するには、多くの場合、実際の被試験デバイス（ＤＵＴ）から大規模なデータ・セットを収集することが前提条件である。これは、多くの場合、顧客にとって大きな負担となる。顧客は、自分の生産ラインを停止しなければならない可能性があり、顧客は、自分が収集したトレーニング・データが高品質であるかどうかを理解できない可能性がある。本開示のいくつかの実施形態は、この顧客の問題を解決することができる。図６は、本開示のいくつかの実施形態による、機械学習を使用して光トランシーバ又はトランスミッタのＴＤＥＣＱ（transmitter dispersion eye closure quaternary）を測定する例を使用したワークフローを示す。他のタイプのＤＵＴについての他のタイプの性能測定も、このシステムを使用できることに留意されたい。

【0048】

ユーザは、データ保存場所１５０を提供し、１５２において、リスナは、そのデータ保存場所１５０をタイマで照会することができ、波形が新たに追加されるたびに、進捗モニタ１５４がＮ個のトレーニング波形ファイルを受け取るという目標に徐々に到達する。目標に到達した後、１５６において、システムは、ランダムにサンプリングされたサブセットのＴＤＥＣＱ又は他の性能指標を測定し、統計分布を構築する。１５８において、リスナは、分布に基づいて、ＴＤＥＣＱの特定の範囲内で更なるデータを収集するようにユーザに促すか、又は分布が満足できる場合には完了を促す。

【0049】

図７は、ライブ・リスナ・モジュールの例示的なユーザ・インターフェースを示す。なお、この例では、Ｍａｔｌａｂ（登録商標）で実装されたが、他のプログラムを使用することもできる。

【0050】

上記のワークフローは、限定的な修正を加えることにより、他の多くの機械学習トレーニング・データ収集プロセスに適合させることができる。これは、将来のＭＬプロジェクトのためのトレーニング・データを収集する、目立たず、中断の少ない方法の構想を提供する。

【0051】

他の実施形態によれば、上記の能力は、より長期の監視の使用事例に拡張することができる。データ収集の特定の事象に対してリスナを使用する代わりに、顧客は、リスナを自分の長期データ・ストア又はライブ試験装置にリンクすることができる。データ・ストア又はライブ試験装置は、本願ではデータ・ソースと呼ばれる。リスナは、頻度を減らして受動的に照会し、履歴データ及び／又はライブ・データの品質尺度統計分析を提供する。リスナは、ユーザ／企業の長期的な製造健全性レポートを生成することができる。リスナは、図６と同様に、製品の何らかの不良バッチ又はステーションの長期劣化を検出したとき、警告を自動的に生成することもできる。図８は、このプロセスの一例を示しており、この例は、１６０において図６のタイマ１５２が長期の低頻度の時間になることを除いて、図６と同様である。

【0052】

典型的なサポート事例では、アプリケーション／システム・エンジニア（ＡＥ）又は他のメンバーが、問題を再現するために、又は提案されたソリューションが機能しており効果的であることを確認するために、データを要求する。双方の当事者が問題を発見した当事者とは異なり得るので、両方の事例について正しいデータを取得することが困難である可能性がある。いくつかの実施形態によれば、ライブ・リスナを同様のリモート支援ツールと組み合わせて使用することにより、エンジニアは問題の根本原因をより深く理解できるようになる。可能性の１つは、エンジニアを顧客のシステムにリモートで関与させ、ライブ・リスナを、影響を受けるエリアに向ける。これにより、エンジニアは、作成されるデータの品質を判定することが可能になる。次いで、エンジニアは、過去の標準、シミュレートされた予想される結果、又は他の何らかの重要な基準を比較して、問題をより迅速に診断することができる。

【0053】

本開示の更に他の実施形態によれば、ＧＰＤＲ、ＥＵＬＡ、及び他の規制を順守してライブ・リスナから保存されたメタデータのいくつかは、被試験デバイスのタイプ、データの品質（ＴＤＥＣＱ又は他の尺度）、試験されたデータの量、データ・セット及び他の統計モデルの最高値及び最低値、並びにセットアップの構成（試験機器のベンダ／モデル／シリアル番号など、ケーブル、プローブなど）も含むことができる。このデータは、予測相互運用性モデリングを生成／強化するために使用することができ、予測相互運用性モデリングでは、既知の良好な状態又は不良な状態のいずれかを顧客に示して、セットアップに信頼性を与えること及び互換性に関する問題を先制的に回避することができる。例えば、両方が同様のタスクを実行する２つ以上の製造ライン上にライブ・リスナが展開される場合、両方のラインの利点について構成及び試験の品質を比較することが可能である。

【0054】

本開示技術の態様は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作できる。本願における「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ＡＳＩＣ及び専用ハードウェア・コントローラ等を意図する。本開示技術の態様は、１つ又は複数のコンピュータ（モニタリング・モジュールを含む）その他のデバイスによって実行される、１つ又は複数のプログラム・モジュールなどのコンピュータ利用可能なデータ及びコンピュータ実行可能な命令で実現できる。概して、プログラム・モジュールとしては、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、コンピュータその他のデバイス内のプロセッサによって実行されると、特定のタスクを実行するか、又は、特定の抽象データ形式を実現する。コンピュータ実行可能命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、ＲＡＭなどのコンピュータ可読記憶媒体に記憶しても良い。当業者には理解されるように、プログラム・モジュールの機能は、様々な実施例において必要に応じて組み合わせられるか又は分散されても良い。更に、こうした機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのようなファームウェア又はハードウェア同等物において全体又は一部を具体化できる。特定のデータ構造を使用して、本開示技術の１つ以上の態様をより効果的に実施することができ、そのようなデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内と考えられる。

【0055】

開示された態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせで実現されても良い。開示された態様は、１つ以上のプロセッサによって読み取られ、実行され得る１つ又は複数のコンピュータ可読媒体によって運搬されるか又は記憶される命令として実現されても良い。そのような命令は、コンピュータ・プログラム・プロダクトと呼ぶことができる。本願で説明するコンピュータ可読媒体は、コンピューティング装置によってアクセス可能な任意の媒体を意味する。限定するものではないが、一例としては、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでいても良い。

【0056】

コンピュータ記憶媒体とは、コンピュータ読み取り可能な情報を記憶するために使用することができる任意の媒体を意味する。限定するものではないが、例としては、コンピュータ記憶媒体としては、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリやその他のメモリ技術、コンパクト・ディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、ＤＶＤ（Digital Video Disc）やその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置やその他の磁気記憶装置、及び任意の技術で実装された任意の他の揮発性又は不揮発性の取り外し可能又は取り外し不能の媒体を含んでいても良い。コンピュータ記憶媒体としては、信号そのもの及び信号伝送の一時的な形態は除外される。

【0057】

通信媒体とは、コンピュータ可読情報の通信に利用できる任意の媒体を意味する。限定するものではないが、例としては、通信媒体には、電気、光、無線周波数（ＲＦ）、赤外線、音又はその他の形式の信号の通信に適した同軸ケーブル、光ファイバ・ケーブル、空気又は任意の他の媒体を含んでも良い。

【0058】

加えて、本願の説明は、特定の特徴に言及している。本願における開示には、これらの特定の特徴の全ての可能な組み合わせが含まれると理解すべきである。ある特定の特徴が特定の態様又は実施例に関連して開示される場合、その特徴は、可能である限り、他の態様との関連においても利用できる。

【0059】

また、本願において、２つ以上の定義されたステップ又は工程を有する方法に言及する場合、これら定義されたステップ又は工程は、状況的にそれらの可能性を排除しない限り、任意の順序で又は同時に実行しても良い。

【0060】

開示された本件の上述のバージョンは、記述したか又は当業者には明らかであろう多くの効果を有する。それでも、開示された装置、システム又は方法のすべてのバージョンにおいて、これらの効果又は特徴のすべてが要求されるわけではない。

【0061】

明細書、特許請求の範囲、要約書及び図面に開示される全ての機能、並びに開示される任意の方法又はプロセスにおける全てのステップは、そのような機能やステップの少なくとも一部が相互に排他的な組み合わせである場合を除いて、任意の組み合わせで組み合わせることができる。明細書、要約書、特許請求の範囲及び図面に開示される機能の夫々は、特に明記されない限り、同じ、等価、又は類似の目的を果たす代替の機能によって置き換えることができる。

実施例

【0062】

以下では、本願で開示される技術の理解に有益な実施例が提示される。この技術の実施形態は、以下で記述する実施例の１つ以上及び任意の組み合わせを含んでいても良い。

【0063】

実施例１は、試験測定システムであって、製造ライン上の被試験デバイス（ＤＵＴ）から波形データを受け取るように構成された試験測定装置と、試験測定装置に接続された機械学習システムと、プログラムを実行するように構成された１つ以上のプロセッサとを具え、プログラムが、ＤＵＴが製造ライン上でチューニングされた後、ＤＵＴから最適なチューニング・パラメータ・データ・セットを収集する処理と、最適なチューニング・パラメータ・データから１つ以上のパラメータ・データ・セットを決定する処理と、１つ以上のパラメータ・データ・セットをＤＵＴにロードする処理と、ＤＵＴから１つ以上のパラメータ・データ・セットの波形データをトレーニング・データ・セットとして収集する処理と、トレーニング・データ・セットを使用して機械学習システムをトレーニングする処理と、及びトレーニング後に機械学習システムを使用して、ＤＵＴに関連する出力を生成する処理とを１つ以上のプロセッサに行わせる、試験測定システムである。

【0064】

実施例２は、請求項１に記載の試験測定システムであり、ＤＵＴが製造ラインによってチューニングされる処理と、ＤＵＴが機械学習システムによってチューニングされる処理と、ＤＵＴが検証される処理との間で選択するように構成されたスイッチを更に具える。

【0065】

実施例３は、実施例１又は２のいずれかの試験測定システムであり、１つ以上のパラメータ・データ・セットを決定する処理を１つ以上のプロセッサに行わせるプログラムは、平均パラメータ・セットを決定する処理と、及び平均パラメータ・データ・セットから少なくとも１つの追加のパラメータ・データ・セットを導出する処理とを１つ以上のプロセッサに行わせるプログラムを含む。

【0066】

実施例４は、実施例１から３の試験測定システムであり、ＤＵＴに関連する出力は、検証測定値又は予測された最適なチューニング・パラメータ・セットのうちの１つを含む。

【0067】

実施例５は、実施例１から４の試験測定システムであり、１つ以上のプロセッサは、ＤＵＴからの最適なチューニング・パラメータ・データ・セット及び波形データのうちの少なくとも１つのデータ収集を監視する処理を１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される。

【0068】

実施例６は、実施例５の試験測定システムであり、データ収集を監視する処理を１つ以上のプロセッサに行わせるプログラムは、最適なチューニング・パラメータ・セット内の各チューニング・パラメータのヒストグラムを生成する処理を１つ以上のプロセッサに行わせる。

【0069】

実施例７は、実施例６の試験測定システムであり、各チューニング・パラメータのヒストグラムを生成する処理を１つ以上のプロセッサに行わせるプログラムは、ヒストグラムを分析して、機械学習システムが更なるトレーニングを必要とするかどうかを判定する処理を１つ以上のプロセッサに行わせるプログラムを含む。

【0070】

実施例８は、実施例１から７の試験測定システムであり、１つ以上のプロセッサは、データが記憶されている場所を照会する処理と、その場所に記憶されている最も新しいデータを分析する処理と、及び最も新しい最適なチューニング・パラメータ・データが１つ以上の基準を満たしている場合にデータの収集を続行する処理とを１つ以上のプロセッサに行わせるプログラムを実行する処理とによって、データ収集を監視するように更に構成される。

【0071】

実施例９は、実施例８の試験測定システムであり、１つ以上のプロセッサは、データが１つ以上の基準を満たさない原因を診断する処理と、及びデータの収集を更新するためにユーザに更新を提供する処理とを１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される。

【0072】

実施例１０は、実施例９の試験測定システムであり、１つ以上のプロセッサは、機械学習システムが更なるトレーニングを必要とするときにユーザに通知するように更に構成される。

【0073】

実施例１１は、実施例１から９の試験測定システムであり、ＤＵＴから波形データを収集する処理を１つ以上のプロセッサに行わせるプログラムは、機械学習システムのトレーニングを可能にするのに十分な波形データが収集されたときにユーザに通知する処理を１つ以上のプロセッサに行わせるプログラムを含む。

【0074】

実施例１２は、実施例１から１１の試験測定システムであり、１つ以上のプロセッサは、試験測定装置、製造ライン上のコンピューティング・デバイス、機械学習システム、又はそれらの任意の組み合わせの中に存在する。

【0075】

実施例１３は、機械学習システムのためのデータを収集及び使用する方法であり、被試験デバイス（ＤＵＴ）が製造ライン上でチューニングされた後、ＤＵＴから最適なチューニング・パラメータ・データ・セットを収集するステップと、最適なチューニング・パラメータ・データから１つ以上のパラメータ・データ・セットを決定するステップと、１つ以上のパラメータ・データ・セットをＤＵＴにロードするステップと、ＤＵＴから１つ以上のパラメータ・データ・セットの波形データをトレーニング・データ・セットとして収集するステップと、トレーニング・データ・セットを使用して機械学習システムをトレーニングするステップと、トレーニング後に機械学習システムを使用して、ＤＵＴに関連する出力を生成するステップとを含む。

【0076】

実施例１４は、実施例１３の方法であり、１つ以上のパラメータ・データ・セットを決定するステップは、平均パラメータ・セットを決定するステップと、平均パラメータ・データ・セットから少なくとも１つの追加のパラメータ・データ・セットを導出するステップとを含む。

【0077】

実施例１５は、実施例１３又は１４のいずれかの方法であり、ＤＵＴに関連する出力は、検証測定値又は予測された最適なチューニング・パラメータ・セットのうちの１つを含む。

【0078】

実施例１６は、請求項１３の方法であり、ＤＵＴからの最適なチューニング・パラメータ・データ・セット及び波形データのうちの少なくとも１つのデータ収集を監視するステップを更に含む。

【0079】

実施例１７は、システム内で収集されたデータを監視する方法であり、被試験デバイス（ＤＵＴ）を試験するために使用されるシステム内のデータ・ソースを定期的に照会するステップと、データ・ソースにおいて新たに追加されたデータに対して統計分析を実行するステップと、データに関する問題を特定する出力を生成するステップとを含む。

【0080】

実施例１８は、実施例１７の方法であり、データ・ソースは、データ・ストア及び試験測定装置のうちの少なくとも１つを含む。

【0081】

実施例１９は、実施例１７又は１８のいずれかの方法であり、データ・ソースは、機械学習システムにおいてトレーニング・データとして使用するための波形データを収集するために使用されるストアである。

【0082】

実施例２０は、実施例１７から１９のいずれかの方法であり、出力は、機械学習システムをトレーニングするのに十分なデータを有すること、試験における複数のＤＵＴの不合格を示す最近のデータを有すること、及び特定の性能測定範囲内の更なるデータが必要であることのうちの少なくとも１つを特定する。

【0083】

説明の都合上、本発明の具体的な実施例を図示し、説明してきたが、本発明の要旨と範囲から離れることなく、種々の変更が可能なことが理解できよう。従って、本発明は、添付の請求項以外では、限定されるべきではない。

【符号の説明】

【0084】

２０ 新しいトランスミッタ（被試験デバイス：ＤＵＴ）
２２ 光電変換器（Ｏ／Ｅ）
２４ オシロスコープ
２６ スイッチ
３０ テンソル・ビルダ
３２ 深層学習ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】