特開 2023-101400 機械学習モデルを開発及び試験するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023101400

(43)【公開日】2023-07-20

(54)【発明の名称】機械学習モデルを開発及び試験するシステム及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230712BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023000490

(22)【出願日】2023-01-05

(31)【優先権主張番号】63/297,382

(32)【優先日】2022-01-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/081,616

(32)【優先日】2022-12-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】391002340

【氏名又は名称】テクトロニクス・インコーポレイテッド

【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】ウェンジャン・サン

(72)【発明者】

【氏名】シャオラン・ワン

(72)【発明者】

【氏名】ジャスティン・イー・パターソン

(57)【要約】

【課題】大量のトレーニング・データ・セットを効率良く作成し、機械学習モデルをトレーニングすると共に試験できるようにする。
【解決手段】波形パラメータを設定し、その値を掃引して（２０）波形エミュレータに提供し、多数のトレーニング用波形データを生成する（２２）ことで、大量のトレーニング・データ・セット（波形信号）を生成し（２４）、被開発機械学習モデルをトレーニングする（２６）。得られる結果は、予測できるので、２８で予測通りか否か検証し、エラー測定基準に合格すれば最適な機械学習モデルが得られた（３０）とし、不合格ならモデルを再設計しても良い。
【選択図】図２

【特許請求の範囲】

【請求項1】

機械学習モデルを開発及び試験するシステムであって、
波形エミュレータ機械学習システムと、
該波形エミュレータ機械学習システム用の１つ以上の設計パラメータをユーザが入力できるようにするユーザ・インタフェースと、
１つ以上のプロセッサと
を具え、該１つ以上のプロセッサが、
上記１つ以上の設計パラメータを上記波形エミュレータ機械学習システムに送信する処理と、
上記波形エミュレータ機械学習システムからの上記１つ以上の設計パラメータに基づく１つ以上のデータ・セットを開発中の機械学習モデルで受ける処理と、
上記１つ以上のデータ・セットのうちの少なくとも１つを使用して上記開発中の機械学習モデルをトレーニングしてトレーニングされた機械学習モデルを得る処理と、
上記１つ以上のデータ・セットの以前に未使用の１つを使用して、上記トレーニングされた機械学習モデルを検証する処理と、
必要に応じて上記トレーニングされた機械学習モデルを調整する処理と、
上記トレーニングされた機械学習モデルが最適な機械学習モデルにトレーニングされるまで、上記トレーニングする処理、上記検証する処理及び上記調整する処理を繰り返する処理と
を上記１つ以上のプロセッサに行わせるプログラムを実行するよう構成される機械学習モデルを開発及び試験するシステム。

【請求項2】

上記１つ以上の設計パラメータは、１つ以上の設計パラメータの夫々について掃引した値を有する設計パラメータを含む請求項１の機械学習モデルを開発及び試験するシステム。

【請求項3】

上記１つ以上の設計パラメータは、被試験デバイスから導出されたデータ・セットから抽出された１つ以上の設計パラメータを含む請求項１の機械学習モデルを開発及び試験するシステム。

【請求項4】

上記１つ以上のプロセッサは、ランタイム環境において上記最適な機械学習モデルを動作させる処理と、上記最適な機械学習モデルのエラー測定基準を定期的にチェックする処理とを上記１つ以上のプロセッサに行わせるプログラムを実行するよう更に構成される請求項１の機械学習モデルを開発及び試験するシステム。

【請求項5】

上記１つ以上のプロセッサは、上記エラー測定基準に不合格の場合に、必要に応じて上記最適な機械学習モデルの再トレーニングを要求する処理を上記１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される請求項１の機械学習モデルを開発及び試験するシステム。

【請求項6】

上記１つ以上のプロセッサは、上記最適な機械学習モデルを再トレーニング又は調整して新しい機械学習モデル設計を開発するために、上記エラー測定基準に不合格となった上記１つ以上のデータ・セットの中から上記被試験デバイスのデータを使用する処理を上記１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される請求項５の機械学習モデルを開発及び試験するシステム。

【請求項7】

機械学習モデルを開発及び試験する方法であって、
波形エミュレータ機械学習システムに１つ以上の設計パラメータを提供する処理と、
上記波形エミュレータ機械学習システムからの１つ以上のデータ・セットを開発中の機械学習モデルで受ける処理と、
上記１つ以上のデータ・セットのうちの少なくとも１つを使用して上記開発中の機械学習モデルをトレーニングして、トレーニングされた機械学習モデルを得る処理と、
上記１つ以上のデータ・セットのうちの以前に未使用の１つを使用して、上記トレーニングされた機械学習モデルを検証する処理と、
必要に応じて上記トレーニングされた機械学習モデルを調整する処理と、
上記トレーニングされた機械学習モデルが最適な機械学習モデルにトレーニングされるまで、上記トレーニングする処理、上記検証する処理及び上記調整する処理を繰り返する処理と
を具える機械学習モデルを開発及び試験する方法。

【請求項8】

上記１つ以上の設計パラメータを提供する処理が、１つ以上の所望の測定結果に関する波形パラメータから決定される１つ以上の設計パラメータを提供する処理を含む請求項７の機械学習モデルを開発及び試験する方法。

【請求項9】

上記１つ以上の設計パラメータを提供する処理が、１つ以上の設計パラメータの夫々の掃引された値を有する設計パラメータを提供する処理を含む請求項７の機械学習モデルを開発及び試験する方法。

【請求項10】

上記１つ以上の設計パラメータを提供する処理が、被試験デバイスから導出されたデータ・セットから抽出された１つ以上の設計パラメータを受ける処理を含む請求項７の機械学習モデルを開発及び試験する方法。

【請求項11】

ランタイム環境において上記最適な機械学習モデルを動作させる処理と、上記最適な機械学習モデルをエラー測定基準に対して定期的にチェックする処理とを更に具える請求項７の機械学習モデルを開発及び試験する方法。

【請求項12】

上記エラー測定基準に対して不合格の場合に、必要に応じて上記最適な機械学習モデルの再トレーニングを要求する処理を更に具える請求項７の機械学習モデルを開発及び試験する方法。

【請求項13】

上記最適な機械学習モデルを再トレーニング又は調整して新しい開発中の機械学習モデル設計を再設計するために、上記エラー測定基準に不合格となった上記１つ以上のデータ・セットの中から上記被試験デバイスのデータを使用する処理を更に含む請求項７の機械学習モデルを開発及び試験する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習モデルを用いた試験システムに関し、より詳細には、試験システムで使用される機械学習モデルを開発及び試験するシステム及び方法に関する。

【背景技術】

【0002】

機械学習（machine learning：ＭＬ）のモデル、アルゴリズム又はシステム（本願では、これらを「モデル」と呼ぶ）は、トレーニングと検証のために大量のデータを必要とする。これらのモデルには、教師あり学習、教師なし学習、半教師あり及び強化学習モデルが含まれる。ラベル付きトレーニング・データの使用は、典型的には、教師あり及び半教師あり学習モデルに存在し、モデルは、既知の結果を有する既知のデータでトレーニングされ、モデルが新しいデータを受信すると、モデルはそのトレーニングに基づいて、新しいデータから結果、パラメータなどを特定又は予測できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０２２－５４９１５８号公報

【特許文献2】特開２０１８－０５９９１２号公報

【非特許文献】

【0004】

【非特許文献1】「任意波形発生器（任意波形ジェネレータ）」の紹介サイト、特に、ＡＷＧシリーズ任意波形ジェネレータを紹介、テクトロニクス、［online］、［２０２３年１月２日検索］、インターネット<https://www.tek.com/ja/products/arbitrary-waveform-generators>

【発明の概要】

【発明が解決しようとする課題】

【0005】

試験システムの開発者が、被試験デバイス（ＤＵＴ）の特性を試験や測定するような試験測定アプリケーションを、機械学習を利用して開発しようとする場合、この試験測定アプリケーションの機械学習でトレーニングを行うのに必要な大量のデータをユーザから取得するのは、多くの場合、非現実的である。ここで、ユーザとは、ＤＵＴの製造元であっても良い。ユーザから得られるデータは、ＤＵＴの設計や動作などの試験と検証の結果であるため、ＭＬモデルをトレーニングして堅牢なＭＬモデルとなるようにするには、十分には包括的ではないことがよくある。このため、多くの場合、データのパラメータの範囲や状況が狭くなり、これは、データの範囲が限定される結果となり、そのために、そのデータでトレーニングされるシステムの能力も制限されることになる。

【課題を解決するための手段】

【0006】

以下では、本願で開示される技術の理解に有益な実施例が提示される。この技術の実施形態は、以下で記述する実施例の１つ以上及び任意の組み合わせを含んでいても良い。

【0007】

実施例１は、機械学習モデルを開発及び試験するシステムであって、波形エミュレータ機械学習システムと、該波形エミュレータ機械学習システム用の１つ以上の設計パラメータをユーザが入力できるようにするユーザ・インタフェースと、１つ以上のプロセッサとを具え、該１つ以上のプロセッサが、上記１つ以上の設計パラメータを上記波形エミュレータ機械学習システムに送信する処理と、上記波形エミュレータ機械学習システムからの上記１つ以上の設計パラメータに基づく１つ以上のデータ・セットを開発中の機械学習モデルで受ける処理と、上記１つ以上のデータ・セットのうちの少なくとも１つを使用して上記開発中の機械学習モデルをトレーニングしてトレーニングされた機械学習モデルを得る処理と、上記１つ以上のデータ・セットの以前に未使用の１つを使用して、上記トレーニングされた機械学習モデルを検証する処理と、必要に応じて上記トレーニングされた機械学習モデルを調整する処理と、上記トレーニングされた機械学習モデルが最適な機械学習モデルにトレーニングされるまで、上記トレーニングする処理、上記検証する処理及び上記調整する処理を繰り返する処理とを上記１つ以上のプロセッサに行わせるプログラムを実行するよう構成される。

【0008】

実施例２は、実施例１のシステムであって、上記１つ以上の設計パラメータは、１つ以上の所望の測定結果のための波形パラメータから決定される１つ以上の設計パラメータを含む。

【0009】

実施例３は、実施例１又は２のいずれかのシステムであって、上記１つ以上の設計パラメータは、１つ以上の設計パラメータの夫々について掃引した値を有する設計パラメータを含む。

【0010】

実施例４は、実施例１から３のいずれかのシステムであって、上記１つ以上の設計パラメータは、被試験デバイスから導出されたデータ・セットから抽出された１つ以上の設計パラメータを含む。

【0011】

実施例５は、実施例４のシステムであって、上記被試験デバイスから導出された上記データ・セットは、上記被試験デバイスの設計パラメータの値の範囲及びステップ・サイズで掃引した値の設計パラメータを含む。

【0012】

実施例６は、実施例１から５のいずれかのシステムであって、上記１つ以上のプロセッサは、ランタイム環境において上記最適な機械学習モデルを動作させる処理と、上記最適な機械学習モデルのエラー測定基準を定期的にチェックする処理とを上記１つ以上のプロセッサに行わせるプログラムを実行するよう更に構成される。

【0013】

実施例７は、実施例６のシステムであって、上記１つ以上のプロセッサは、上記エラー測定基準に不合格の場合に、必要に応じて上記最適な機械学習モデルの再トレーニングを要求する処理を上記１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される。

【0014】

実施例８は、実施例７のシステムであって、上記１つ以上のプロセッサは、上記最適な機械学習モデルを再トレーニング又は調整して新しい機械学習モデル設計を開発するために、上記エラー測定基準に不合格となった上記１つ以上のデータ・セットの中から上記被試験デバイスのデータを使用する処理を上記１つ以上のプロセッサに行わせるプログラムを実行するように更に構成されている。

【0015】

実施例９は、実施例６のシステムであって、上記１つ以上のプロセッサは、上記エラー測定基準に合格したときに、上記ランタイム環境で上記最適な機械学習モデルを動作させ続ける処理を上記１つ以上のプロセッサに行わせるプログラムを実行するように更に構成される。

【0016】

実施例１０は、機械学習モデルを開発及び試験する方法であって、波形エミュレータ機械学習システムに１つ以上の設計パラメータを提供する処理と、上記波形エミュレータ機械学習システムからの１つ以上のデータ・セットを開発中の機械学習モデルで受ける処理と、上記１つ以上のデータ・セットのうちの少なくとも１つを使用して上記開発中の機械学習モデルをトレーニングして、トレーニングされた機械学習モデルを得る処理と、上記１つ以上のデータ・セットのうちの以前に未使用の１つを使用して、上記トレーニングされた機械学習モデルを検証する処理と、必要に応じて上記トレーニングされた機械学習モデルを調整する処理と、上記トレーニングされた機械学習モデルが最適な機械学習モデルにトレーニングされるまで、上記トレーニングする処理、上記検証する処理及び上記調整する処理を繰り返する処理とを具える。

【0017】

実施例１１は、実施例１０の方法であって、上記１つ以上の設計パラメータを提供する処理が、１つ以上の所望の測定結果に関する波形パラメータから決定される１つ以上の設計パラメータを提供する処理を含む。

【0018】

実施例１２は、実施例１１の方法であって、上記１つ以上の所望の測定結果が、ＴＤＥＣＱ値の範囲を含む。

【0019】

実施例１３は、実施例１０から１２のいずれかの方法であって、上記１つ以上の設計パラメータを提供する処理が、１つ以上の設計パラメータの夫々の掃引された値を有する設計パラメータを提供する処理を含む。

【0020】

実施例１４は、実施例１０から１３のいずれかの方法であって、上記１つ以上の設計パラメータを提供する処理が、被試験デバイスから導出されたデータ・セットから抽出された１つ以上の設計パラメータを受ける処理を含む。

【0021】

実施例１５は、実施例１４の方法であって、被試験デバイスから導出されたデータ・セットが、被試験デバイスのパラメータの値の範囲及びステップ・サイズで掃引された値のパラメータを含む。

【0022】

実施例１６は、実施例１０から１５のいずれかの方法であって、ランタイム環境において上記最適な機械学習モデルを動作させる処理と、上記最適な機械学習モデルをエラー測定基準に対して定期的にチェックする処理とを更に具える。

【0023】

実施例１７は、実施例１６の方法であって、上記エラー測定基準に対して不合格の場合に、必要に応じて上記最適な機械学習モデルの再トレーニングを要求する処理を更に具える。

【0024】

実施例１８は、実施例１７の方法であって、上記最適な機械学習モデルを再トレーニング又は調整して新しい開発中の機械学習モデル設計を再設計するために、上記エラー測定基準に不合格となった上記１つ以上のデータ・セットの中から上記被試験デバイスのデータを使用する処理を更に含む。

【0025】

実施例１９は、実施例１６の方法であって、上記エラー測定基準に合格した場合、上記ランタイム環境において、上記最適な機械学習モデルを動作させ続ける処理を更に具える。

【0026】

実施例２０は、実施例１０から１９のいずれかの方法であって、上記開発中の機械学習モデルが、ニューラル・ネットワークから構成される。

【図面の簡単な説明】

【0027】

【図1】図１は、機械学習システムの実施形態を示す。

【図2】図２は、機械学習ニューラル・ネットワーク開発プロセスの実施形態のフローチャートを示す。

【図3】図３は、既存のＤＵＴデータも用いて、機械学習ニューラル・ネットワークを再トレーニングする処理の一実施形態のフローチャートを示す。

【図4】図４は、機械学習ニューラル・ネットワークの再トレーニング及び調整プロセスの実施形態のフローチャートを示す。

【発明を実施するための形態】

【0028】

本実施形態は、２０２２年８月２２日に出願された米国特許出願第１７/８９３,０７３号「被試験デバイスのエミュレーションのためのパラメータ制御を含む機械学習波形生成を備えたデジタル・ツイン」に開示されているような、波形エミュレータを利用する汎用機械学習プロセスを包含する。以下の説明では、エミュレータを、この特許出願に記載されたシステムのものであるとの前提で説明することもあるが、機械学習を使用して波形のデータ・セットを生成する他の形式の波形エミュレータが使用されても良い。

【0029】

図１は、トレーニングされた機械学習（machine learning：ＭＬ）モデルを含む波形エミュレータ１０のシステム・ブロック図を示す。本願で使用される用語「モデル」は、予測などの望ましい結果を生成するためにデータを処理する機械学習アルゴリズム/ネットワーク/モデルを指す。波形エミュレータ１０内の機械学習モデル１２は、ユーザ入力に基づいて、ＤＵＴの出力波形信号から得られるであろうエミュレートされた波形データを生成できる。機械学習モデル１２は、機械学習ニューラル・ネットワークをトレーニングすることによって、機械学習ニューラル・ネットワーク中に形成されても良い。図１は、動作モード（ランタイム・モード）中の波形エミュレータを示しており、機械学習（ＭＬ）モデルは、既にトレーニングを受けた状態にある。機械学習モデル１２は、エミュレートされた波形データを任意波形発生部（Arbitrary Waveform Generator：ＡＷＧ）１６に供給し、ＡＷＧ１６は、エミュレートされた波形データに対応するアナログ電気波形信号を生成する。任意波形発生部１６の機能ブロックは、テクトロニクス社のＡＷＧシリーズ波形ジェネレータ（任意波形発生器）を利用して代用することもできる（非特許文献１）。別の例では、機械学習モデル１２とＡＷＧ１６の機能が一体に形成されて、機械学習モデル１２からアナログ電気波形信号を生成するようにしても良い。更に別の例では、波形エミュレータ１２が、任意波形発生器上で、ソフトウェアとして動作するものであっても良い。

【0030】

ユーザ・インタフェース１４には、ＤＵＴモデル・パラメータ・パネルがあり、これを通して、ユーザは、所望の波形を生成するためのパラメータに関する特定の値を選択できる。ＤＵＴモデル・パラメータ・パネルは、グラフィカル・ユーザ・インタフェースを有していても良いし、プログラムによるコマンドによって制御するようにしても良い。図示される特定のパラメータは、機械学習（machine learning：ＭＬ）モデル１２をトレーニングするために使用される典型的なパラメータを表す。ＭＬモデル１２のトレーニングは、典型的には、特定の波形を特定のパラメータのセットに関連付けるようにＭＬモデル１２をトレーニングする。動作モード（ランタイム・モード）では、ユーザは、ユーザ・インタフェース１４を使用してパラメータを選択する。「デジタル・ツイン（デジタル的に双子を作る、デジタル的なコピーを作る）」の実施形態では、ＭＬモデル１２は、ＭＬモデル１２からの出力として、最良の波形データ又は波形を示すアナログ信号を生成する。この出力は、ユーザ・インタフェース１４のＤＵＴモデル・パラメータ・パネルにおける正確なパラメータ設定から生じる。こうしたパラメータ設定を予め設定することで、パラメータの値が自動的に掃引されるようにしても良い。ＭＬモデル１２からの出力（波形データの場合）により、任意波形発生部（ＡＷＧ）１６は、アナログ電気波形信号を生成する。

【0031】

トレーニング中、ＭＬモデル１２は、特定の波形を、その波形の生成に使用されるパラメータに関連付けることを「学習」し、これらパラメータをメタデータとしてリンクする。ランタイム・モードでは、ＭＬモデル１２は、逆に機能し、波形の作成に使用されたパラメータに基づいて波形を生成する。動作中、ユーザがユーザ・インタフェース１４上のＤＵＴモデル・パラメータ・パネルで個々のパラメータを調整すると、ＭＬモデル１２は、選択されたパラメータに最も近い波形を生成する。波形エミュレータ１０及びそのＭＬモデル１２は、例えば、１つ以上の汎用プロセッサ又は専用プロセッサ上で動作するソフトウェア・アプリケーションの形態をとっても良い。

【0032】

本願の実施形態は、このタイプの波形エミュレータ１０を使用して、別のＭＬモデル（機械学習試験システム）１８のトレーニング及び検証のための１つ以上のトレーニング・データ・セットとして使用する多数の波形信号を生成できる。エミュレータを使用してパラメータ基準を満たす１つの波形を生成するのではなく、試験システムの開発者は、所望の測定結果に関連する多数の波形パラメータ（電圧レベル、ノイズ・レベルなど）を設計して、これら波形パラメータの値を広い範囲に渡って次々に変化（sweep：掃引、スイープ）させる。次に、システムは、これらの波形パラメータを波形エミュレータ１０のＭＬモデル１２への入力として使用して、通常は、数千のエミュレートされた多数の波形データを生成する。

【0033】

設計されたパラメータの掃引（sweep：値をある範囲に渡って次々に変化させる）は、できるだけ多くのシナリオを包括することを目標とする必要がある。例えば、ＴＤＥＣＱ（Transmitter Dispersion and Eye Closure Quaternary）値と波形を予測するＭＬモデルでは、エミュレータを使用して、広範囲のＴＤＥＣＱ値を持つ１つ以上のトレーニング・データ・セット（波形信号のセット）を生成できる。その後、開発者は、所望のＭＬモデルに到達するまで、トレーニングと検証のサイクルを通じて被開発ＭＬモデル１８を改善する反復プロセスを実行できる。検証のチェックで不合格になったら、開発者は、被開発ＭＬモデル１８を調整又は再プログラミングしても良い。これにより、試験システムの開発者は、例えば、ニューラル・ネットワークのレイヤーの接続やノードを変更して、ＭＬモデルの性能（パフォーマンス）を向上させても良い。

【0034】

開発中の機械学習（ＭＬ）モデル１８は、１つ以上の汎用プロセッサ又は専用プロセッサを有するコンピューティング装置を有していても良く、試験システムの開発者は、これに対して開発中のＭＬモデル１８を実現するようにプログラムできる。以下では、開発中のＭＬモデル１８を「被開発ＭＬモデル（developed ML model）」と呼ぶ。被開発ＭＬモデル１８及び波形エミュレータ１０は、１つ以上のコンピューティング装置（試験測定装置を含む）上でソフトウェアとして動作しても良い。波形エミュレータ１０は、被開発ＭＬモデル１８とは別のコンピューティング装置に存在しても良いし、被開発ＭＬモデル１８と同じコンピューティング装置に存在していても良い。波形エミュレータ１０と機械学習試験システム（即ち、被開発機械学習モデル）１８との間の接続部１７は、２つ以上のプロセッサ間の物理的接続又はポートを介した物理的接続の形態をとっても良いし、又は、ソフトウェアによる２つのシステム間の接続の形態をとっても良い。多種多様なタイプのＤＵＴの性能とパラメータを試験するために使用されるものを含む多数のタイプの被開発機械学習モデルがある中でも、上述の被開発機械学習モデル１８は、特に、上記ＴＤＥＣＱなどの特定の試験測定プロセスに合わせて調整されたものであっても良い。

【0035】

図２は、被開発機械学習モデル１８をトレーニングし検証するためのプロセスの実施形態のフローチャートを示す。どのような機械学習測定アルゴリズムでも、開発初期段階では、被開発機械学習モデルをトレーニング及び最適化するための大規模又は包括的なトレーニング・データ・セットを得ることは、非常に困難である。図２の実施形態では、試験システムの開発者は、工程２０において、波形パラメータの値の範囲と、この値の範囲内で、パラメータの値が変化するステップの大きさ（ステップ・サイズ）を選択することで、波形パラメータを設計（design：デザイン）することになる。次に、開発者は、所望の測定結果に関連する波形パラメータ（電圧レベルやノイズなど）を「掃引（sweep）」する。パラメータを掃引する処理には、パラメータの値の範囲内の各ステップに、各パラメータの値をステップさせる処理が含まれる。通常、一度に１つのパラメータが、その値の範囲を掃引する。望ましい測定結果は、試験とＤＵＴの特性によって異なるので、ＭＬモデル１２は、こうした特性に合わせて開発される。

【0036】

トレーニング用の多数の波形信号（トレーニング・データ・セット）を生成するために、開発者は、各パラメータについて、所望の測定結果に関連する波形パラメータを掃引することになろう。次いで、波形エミュレータは、工程２２において、これら掃引されたパラメータの値を使用して、多数の波形データ・セットを生成する。これにより、工程２４において、多数のアナログ波形信号から構成されるトレーニング・データ・セット（通常は、数千）が得られる。また、設計されたパラメータの掃引では、できるだけ多くのシナリオを包括する必要がある。例えば、ＴＤＥＣＱ値と波形を予測するアルゴリズムのトレーニング波形を生成する場合、エミュレートされる波形には、広範囲のＴＤＥＣＱ値を持つ波形を含める必要がある。

【0037】

次いで、開発者は、これらの大規模なトレーニング・データ・セットを使用することで、工程３０で所望の最適なＭＬモデルが得られるまで、トレーニングと検証のサイクルを通じて被開発ＭＬモデル１８を改善する反復プロセスを実行できる。工程２６での被開発ＭＬモデル１８のトレーニングでは、トレーニング・データ・セットの一部を使用して、パラメータと波形信号を関連付けるように被開発ＭＬモデル１８をトレーニングし、これによって、ランタイム時にＭＬモデル１８が動作すると、ＭＬモデル１８が、波形信号をそのパラメータに関連付けるようにする。この関連付けは、通常、工程２８での予測につながる。検証の段階では、トレーニング・データ・セットから「答え」がわかっているため、システムは、予測された答えに対してＭＬモデル１８の予測を試験して、その精度を確認する。精度には、信頼度又は精度レベルが関連付けられていても良く、ＭＬモデル１８の予測が、所定の何パーセントか正確であれば、精度チェックに合格とし、開発者は、工程３０で、正確なモデルを開発しているとする。精度チェックが、工程２８で不合格の場合には、機械学習モデル１８について、モデルの再設計や更なるトレーニングを必要とする可能性がある。

【0038】

場合によっては、開発者は、実際のＤＵＴデータを得ることできる場合もあるが、通常は、必要な数よりも少数の波形しか得られない。図３は、実際のＤＵＴデータ（ＤＵＴからの実際のアナログ波形信号又は実際のアナログ波形信号に対応する波形データ）も使用するように、プロセスを調整する方法を示す。このＤＵＴの波形データは、ＤＵＴからの実際のアナログ波形信号をオシロスコープで受けて、オシロスコープでアナログ波形信号に対応する波形データを生成しても良い。また、オシロスコープで過去に取得した波形データを記憶手段に記憶しておいたものであっても良い。提供されたＤＵＴデータ・セットは、通常は、開発者によって分析されるが、この分析は自動化することもできる。このプロセスでは、工程３２において、実際のＤＵＴデータを測定して評価し、波形エミュレータに必要なパラメータを抽出する。これにより、パラメータの掃引がガイドされ、掃引の範囲とステップ・サイズを使用して掃引が設計される。次いで、波形エミュレータは、工程２２において、機械学習アルゴリズムの開発とトレーニング検証サイクルのために、多数のトレーニング用の波形データ・セットを生成する。残りの処理は、図２と同様に続く。

【0039】

プロセスが最適なＭＬモデルを提供すると、ＭＬモデルは、ランタイム環境で使用するように展開（deploy：配置）される。波形エミュレータは、ＭＬモデル１８の継続的なチェックと改善を提供するために、このランタイム環境においても動作していても良い。図４は、機械学習モデルの継続的な改善のための閉ループによる再トレーニング・プロセスを示す。

【0040】

このループは、図３の実施形態のようにＤＵＴデータを使用するもので、ユーザのＤＵＴ４０から生じる少数のＤＵＴデータを使用し、次いで、オシロスコープなどの試験測定装置４２が波形エミュレータ２２に送信するパラメータを抽出する。その後、このプロセスは、上記と同様のプロセスに従って、トレーニングされる機械学習モデルの開発を続行する。機械学習モデルがランタイム環境に展開されると、ワークフローは、工程２８で、測定のエラー測定基準を定期的にチェックする。

【0041】

このエラー・チェックで不合格の場合は、ＭＬモデル１８の再トレーニングが自動的に開始される。一実施形態では、再トレーニングは、不合格となったトレーニング・データ・セットから選択されたＤＵＴデータを使用し、工程４２において、オシロスコープなどの試験測定装置を使用して特徴パラメータ抽出を行い、工程２２で波形エミュレーションを行い、工程２４でトレーニング・データ・セットを生成し、工程２６でトレーニングを行って、新しい機械学習モデルを作り出す。このプロセスは、理論的には無期限に継続できる。ユーザは、各反復においてエラー許容度を調整し、再トレーニングの入力として必要なＤＵＴの数を調整し、許容される最大反復数を制限することによって、高レベルの柔軟性が得られる。

【0042】

このように、試験システムの開発者には、ＭＬモデルのトレーニングと最適化を自動的に反復処理するための有益なプロセスが得られる。本発明のユーザは、「ハンズフリー（手を煩わすことなく）」で再トレーニングを実行して、ユーザのＤＵＴや装置に合わせてＭＬアルゴリズムを調整することもできる。もう１つの利点としては、ＭＬモデルの開発のために何千もの波形を取得する必要性がなくなり、この試験システムの開発者と、この試験システムを利用する顧客の両方にとって、時間とリソースを大幅に節約できることがある。

【0043】

このプロセスから構築されたＭＬモデルは、波形エミュレータを介してトレーニング・データ・セットをより細かく制御できるため、より包括的で汎用的に適用可能になる。また、このプロセスによれば、自動化された継続的な改善プロセスも可能になる。トレーニング・モジュールと予測モジュールがセグメント化されているので、開発及び改善プロセスを並行して行える。

【0044】

本開示技術の態様は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作できる。本願における「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ＡＳＩＣ及び専用ハードウェア・コントローラ等を意図する。本開示技術の態様は、１つ又は複数のコンピュータ（モニタリング・モジュールを含む）その他のデバイスによって実行される、１つ又は複数のプログラム・モジュールなどのコンピュータ利用可能なデータ及びコンピュータ実行可能な命令で実現できる。概して、プログラム・モジュールとしては、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、コンピュータその他のデバイス内のプロセッサによって実行されると、特定のタスクを実行するか、又は、特定の抽象データ形式を実現する。コンピュータ実行可能命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、ＲＡＭなどのコンピュータ可読記憶媒体に記憶しても良い。当業者には理解されるように、プログラム・モジュールの機能は、様々な実施例において必要に応じて組み合わせられるか又は分散されても良い。更に、こうした機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのようなファームウェア又はハードウェア同等物において全体又は一部を具体化できる。特定のデータ構造を使用して、本開示技術の１つ以上の態様をより効果的に実施することができ、そのようなデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内と考えられる。

【0045】

開示された態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせで実現されても良い。開示された態様は、１つ以上のプロセッサによって読み取られ、実行され得る１つ又は複数のコンピュータ可読媒体によって運搬されるか又は記憶される命令として実現されても良い。そのような命令は、コンピュータ・プログラム・プロダクトと呼ぶことができる。本願で説明するコンピュータ可読媒体は、コンピューティング装置によってアクセス可能な任意の媒体を意味する。限定するものではないが、一例としては、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでいても良い。

【0046】

コンピュータ記憶媒体とは、コンピュータ読み取り可能な情報を記憶するために使用することができる任意の媒体を意味する。限定するものではないが、例としては、コンピュータ記憶媒体としては、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリやその他のメモリ技術、コンパクト・ディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、ＤＶＤ（Digital Video Disc）やその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置やその他の磁気記憶装置、及び任意の技術で実装された任意の他の揮発性又は不揮発性の取り外し可能又は取り外し不能の媒体を含んでいても良い。コンピュータ記憶媒体としては、信号そのもの及び信号伝送の一時的な形態は除外される。

【0047】

通信媒体とは、コンピュータ可読情報の通信に利用できる任意の媒体を意味する。限定するものではないが、例としては、通信媒体には、電気、光、無線周波数（ＲＦ）、赤外線、音又はその他の形式の信号の通信に適した同軸ケーブル、光ファイバ・ケーブル、空気又は任意の他の媒体を含んでも良い。

実施例

【0048】

開示された主題の上述のバージョンは、記述したか又は当業者には明らかであろう多くの効果を有する。それでも、開示された装置、システム又は方法のすべてのバージョンにおいて、これらの効果又は特徴のすべてが要求されるわけではない。

【0049】

加えて、本願の説明は、特定の特徴に言及している。本明細書における開示には、これらの特定の特徴の全ての可能な組み合わせが含まれると理解すべきである。ある特定の特徴が特定の態様又は実施例に関連して開示される場合、その特徴は、可能である限り、他の態様及び実施例との関連においても利用できる。

【0050】

また、本願において、２つ以上の定義されたステップ又は工程を有する方法に言及する場合、これら定義されたステップ又は工程は、状況的にそれらの可能性を排除しない限り、任意の順序で又は同時に実行しても良い。

【0051】

説明の都合上、本発明の具体的な実施例を図示し、説明してきたが、本発明の要旨と範囲から離れることなく、種々の変更が可能なことが理解できよう。従って、本発明は、添付の請求項以外では、限定されるべきではない。

【符号の説明】

【0052】

１０ 波形エミュレータ
１２ 機械学習モデル
１４ ユーザ・インタフェース
１６ 任意波形発生部（ＡＷＧ）
１７ 接続部
１８ 機械学習試験システム（被開発機械学習モデル）

【図1】

【図2】

【図3】

【図4】