特開 2022-186677 試験測定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186677

(43)【公開日】2022-12-15

(54)【発明の名称】試験測定システム

(51)【国際特許分類】

   G01R 13/00 20060101AFI20221208BHJP

【ＦＩ】

G01R13/00 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022091832

(22)【出願日】2022-06-06

(31)【優先権主張番号】63/197,282

(32)【優先日】2021-06-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/831,181

(32)【優先日】2022-06-02

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】391002340

【氏名又は名称】テクトロニクス・インコーポレイテッド

【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】ジョン・ジェイ・ピカード

(72)【発明者】

【氏名】マーク・アンダーソン・スミス

(72)【発明者】

【氏名】カン・タン

(72)【発明者】

【氏名】エヴァン・ダグラス・スミス

(72)【発明者】

【氏名】ジャスティン・イー・パターソン

(72)【発明者】

【氏名】ヘイケ・トリッチュラー

(57)【要約】      （修正有）

【課題】複数の形式のコンポーネントを柔軟に試験できる柔軟性を備え、顧客の試験システムに一体化できる機械学習プラットフォームは存在しない。
【解決手段】試験測定システムは、試験自動化システム１６と通信する機械学習システム２２と、ユーザが１つ以上のユーザ入力を提供し、結果をユーザに提供することを可能にするユーザ・インタフェース１４と、プロセッサ１０とを有する。プロセッサ１０は、機械学習システム２２を設定するのに使用する機械学習システム設定を特定するユーザ入力をユーザ・インタフェース１４を介して受け、被試験デバイス１８の動作によって作成された波形を受信し、設定された機械学習システム２２を利用して波形を分析し、波形に関する予測メタデータの出力を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

試験測定システムであって、
試験自動化システムと通信するように構成された機械学習システムと、
ユーザが１つ以上のユーザ入力を与えることができると共に、結果をユーザに提供できるように構成されたユーザ・インタフェースと、
１つ以上のプロセッサと
を具え、
上記１つ以上のプロセッサに、
機械学習システムを設定するために使用される選択された機械学習システム設定を少なくとも特定する１つ以上のユーザ入力をユーザ・インタフェースを介して受ける処理と、
被試験デバイスの動作によって作成された波形を受ける処理と、
設定された上記機械学習システムを利用して波形を分析する処理と、
上記波形についての予想メタデータの出力を提供する処理と
を行わせるプログラムを実行するように上記１つ以上のプロセッサが構成される試験自動化システム。

【請求項2】

選択された上記機械学習システム設定を特定する１つ以上のユーザ入力が、光トランシーバ試験システムの設定又はバイスペクトル分析システムの設定のうちの１つを特定するユーザ入力を含む請求項１の試験自動化システム。

【請求項3】

上記１つ以上のプロセッサは、上記機械学習システムで使用する波形データを準備するために、上記１つ以上のプロセッサに上記波形を変換する処理を行わせるプログラムを実行するように更に構成される請求項１の試験自動化システム。

【請求項4】

上記１つ以上のプロセッサに波形を変換する処理を行わせるプログラムは、上記１つ以上のプロセッサに、上記波形への等化処理を適用する処理、ベッセル・トンプソン・フィルタを適用する処理、バイスペクトル分析を実行する処理、高次統計量データの生成する処理及びクロック・リカバリ・オプションを提供する処理の中の少なくとも１つを行わせるプログラムを含む請求項３の試験自動化システム。

【請求項5】

上記１つ以上のプロセッサに波形を変換する処理を行わせるプログラムは、上記１つ以上のプロセッサに、循環ループ画像テンソル、アイ・ダイアグラムの１つ以上のサブセット、波形セグメント画像テンソル配列、ショート・パターン波形、バイスペクトル画像、バイコヒーレンス画像及び高次統計量画像の中の１つの波形画像を生成する処理を行わせるプログラムを含む請求項３の試験自動化システム。

【請求項6】

上記１つ以上のプロセッサは、該１つ以上のプロセッサに、
波形管理メニューをユーザに表示する処理と、
上記ユーザ・インタフェースを介してユーザ選択を受ける処理と、
ユーザ選択に従って入力波形及び波形メタデータを構造化する処理と
を行わせるプログラムを実行するように更に構成される請求項１の試験自動化システム。

【請求項7】

上記１つ以上のプロセッサは、該１つ以上のプロセッサに、波形に関する波形入力メタデータを受ける処理と、上記波形及び上記波形入力メタデータをトレーニングのために機械学習システムに提供する処理とによって、上記機械学習システムをトレーニングする処理を行わせるプログラムを実行するように更に構成される請求項１の試験自動化システム。

【請求項8】

上記１つ以上のプロセッサに上記機械学習システムをトレーニングする処理を行わせるプログラムは、上記１つ以上のプロセッサにシミュレーション試験波形を生成する処理を行わせるプログラムを含み、上記シミュレーション試験波形が、パラメータを掃引したものであるか又は信号に関する障害を有する請求項７の試験自動化システム。

【請求項9】

上記１つ以上のプロセッサに上記機械学習システムをトレーニングする処理を行わせるプログラムは、上記１つ以上のプロセッサに、入力試験データのセットから得られる選択された上記機械学習システム設定の精度を表示する処理を行わせるプログラムを含む請求項７の試験自動化システム。

【請求項10】

上記１つ以上のプロセッサは、該１つ以上のプロセッサに、出力メタデータの平均値を生成する処理と、上記平均値をドリフト閾値と比較する処理と、上記平均値が上記ドリフト閾値を超えた場合に通知を提供する処理とを行わせるプログラムを実行するように更に構成される請求項１の試験自動化システム。

【請求項11】

上記１つ以上のプロセッサは、該１つ以上のプロセッサに、
ユーザが上記機械学習システムの実行又はトレーニングを開始、中止又は一時停止することを可能にするユーザ入力を有するメイン・メニューを表示する処理と、
上記機械学習システムの動作経過に関連する情報を含むステータスの出力を表示する処理と
を行わせるプログラムを実行するように更に構成される請求項１の試験自動化システム。

【請求項12】

上記１つ以上のプロセッサは、該１つ以上のプロセッサに、上記試験測定システム用のアプリケーション・セットアップを保存及び読出し処理を行わせるプログラムを実行するように更に構成される請求項１の試験自動化システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示技術は、試験測定システムに関し、特に機械学習を試験測定システムに組み入れるための機械学習プラットフォームを有する試験測定システムに関する。

【背景技術】

【0002】

あらゆる種類の電気及び光学部品の製造業者は、顧客に送付する前に部品を試験する必要がある。製造ラインでの光学部品及び電気部品の試験では、通常、コンポーネントの動作パラメータを設定し、試験して出力データを収集してから、出力データを評価してコンポーネントが合格又は不合格かどうかを確認する。このプロセスは、コンポーネントごとに複数回発生する可能性がある。これにより、各コンポーネントの製造コストが上昇し、これにコンポーネントの数が掛け算される。この数は、数十万のコンポーネントに達することがある。

【0003】

一部のメーカーは、最悪の場合、１つのコンポーネントの試験に最大２００回の反復処理が必要になる可能性があることを示すデータを提供している。最良の例では、３～５回の反復処理の場合もある。これらの反復処理を減らすと、スループットが向上し、コストが削減される。

【0004】

機械学習アプローチを実装すると、このプロセスを改善できる。機械学習システムは、動作パラメータの選択をスピードアップし、結果として得られた測定値を試験システムに提供できることを示している。更に、機械学習は、校正、特性評価、試験、チューニング（調整）などの他の環境でも有益である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２０２１／００８１６３０号明細書

【特許文献2】特開２０２１－５６２１５号公報

【特許文献3】米国特許出願公開第２０２１／０３８９３７３号明細書

【特許文献4】米国特許出願第１７/５９２,４３７号明細書

【特許文献5】米国特許出願第１７/７４７,９５４号明細書

【非特許文献】

【0006】

【非特許文献1】「DPOJETデータ・シート」、テクトロニクス、［online］、［２０２２年６月５日検索］、インターネット<https://www.tek.com/ja/datasheet/jitter-noise-and-eye-diagram-analysis-solution>

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、現在、複数の形式のコンポーネントを柔軟に試験できる柔軟性を備え、顧客の試験システムに一体化できる機械学習プラットフォームは存在しない。

【課題を解決するための手段】

【0008】

機械学習と人工知能のアプリケーションは、時代の潮流となっており、試験測定用の装置やシステムを含む、多くの技術分野で応用されている。本発明の実施形態には、機械学習のトレーニング及び実行時をサポートするソフトウェア・アプリケーション・プラットフォームを含む試験測定システムがある。このプラットフォームは、波形に関連する問題や測定のデバッグをサポートし、波形を機械学習に適した形式にするために必要な多くのデジタル信号処理（ＤＳＰ）変換手法を提供する。本発明の実施形態は、ユーザ試験自動化ソフトウェアと組み合わせた利用が可能である。このプラットフォームのアプリケーションの１例では、例えば、光送信機（トランスミッタ）又は光送受信機（トランシーバ）のチューニング・プロセスにおいて、製造ライン上での校正、特性評価又は試験プロセスに、機械学習を組み入れることができる。他にも多くのアプリケーションが可能である。

【図面の簡単な説明】

【0009】

【図1】図１は、試験測定システムの一実施形態例を示す。

【図2】図２は、光トランシーバ（送受信機）チューニング・システムのためのユーザ・インタフェースの実施形態例を示す。

【図3】図３は、バイスペクトル分析システムのためのユーザ・インタフェースの実施形態例を示す。

【図4】図４は、バイスペクトル分析システムのための別のユーザ・インタフェースの実施形態例を示す。

【図5】図５は、バイスペクトル分析システムのための更に別のユーザ・インタフェースの実施形態例を示す。

【図6】図６は、波形管理メニューの一実施形態例を示す。

【図7】図７は、連続時間線形イコライザ（CTLE）/クロック・リカバリ・メニューの一実施形態例を示す。

【図8】図８は、高速フーリエ変換（ＦＦＴ）制御メニューの一実施形態例を示す。

【図9】図９は、バイスペクトル及びバイコヒーレンス制御メニューの一実施形態例を示す。

【図10】図１０は、機械学習トレーニング・メニューの一実施形態例を示す。

【図11】図１１は、機械学習の実行時（ランタイム）メニューの一実施形態例を示す。

【図12】図１２は、表示用のプロットを選択するためのメニューの一実施形態例を示す。

【図13】図１３は、結果メニューの一実施形態例を示す。

【図14】図１４は、シミュレーション波形生成メニューの一実施形態例を示す。

【図15】図１５は、シミュレーション波形生成におけるパラメータ掃引用のメニューの一実施形態例を示す。

【図16A】図１６Ａは、ＰＡＭ４でのパラメータ掃引による信号生成のシミュレーション出力信号の例の波形を示す。

【図16B】図１６Ｂは、ＰＡＭ４でのパラメータ掃引による信号生成のシミュレーション出力信号の例のアイ・ダイアグラムを示す。

【図17】図１７は、保存及び読出しメニューの実施形態例を示す。

【図18】図１８は、ヘルプ・メニューの実施形態例を示す。

【発明を実施するための形態】

【0010】

図１は、ソフトウェア・アプリケーション・プラットフォームを含む試験測定システムの一実施形態のブロック図を示す。

【0011】

いくつかの実施形態では、機械学習トレーニングを実行し、機械学習のランタイム動作を実行するための閉ループシステムの一部として、顧客のソフトウェア・アプリケーションが、製造又は試験プロセスを制御する。顧客アプリケーション（図１の「顧客の試験自動化ソフトウェア（SW）アプリケーション」、本願では「顧客アプリ」又は「試験自動化システム」とも呼ぶ）１６は、温度、光又は電気スイッチ、スペクトラム・アナライザ、オシロスコープ、ＢＥＲＴ（ビット・エラー・レート・テスタ）などの試験測定装置や、他の項目を制御する。

【0012】

本発明の実施形態には、機械学習（Machine Learning：ＭＬ）を利用するであろう多くのタイプのシステムにとって有益な柔軟性がある。

【0013】

以下では、製造ライン上の光トランシーバ内の光送信機（トランスミッタ：Ｔｘ）のパラメータをチューニング（調整）する例により、閉ループの動作を説明する。顧客の試験自動化アプリ１６は、被試験デバイス（ＤＵＴ）１８からの信号の波形データ（又は単に「波形」と呼ぶ）を取り込むようにシステムを設定する。その後、メタデータのセットを記憶する。この例では、メタデータは送信機にロードされた送信機のチューニング・パラメータで構成される。トレーニング・サイクルの間、顧客アプリ１６は、取り込んだ波形及び関連するメタデータを収集し、それを本開示に記載するプラットフォーム、図１の「汎用機械学習制御アプリケーション」２２に転送する。これは、構成変更が可能（configurable）で、トレーニングすることができる機械学習システム（例えば、ニューラル・ネットワーク）を有している。この説明では、これを「ＭＬ制御アプリ」とも呼ぶ。顧客アプリ１６は、様々なパラメータを掃引（sweep：広いレンジに渡りくまなく）設定し、機械学習システムのニューラル・ネットワーク（単に「ニューラル・ネット」とも呼ぶ）をトレーニングするのに十分なデータを取得するまでトレーニング手順を反復する。

【0014】

製造ラインでの実行時、顧客アプリ又は試験自動化システム１６には、送信機をチューニングするタスクがある。送信機のパラメータを設定し、送信機からのｎ個の出力波形を収集する。顧客アプリは、波形のみをＭＬ制御アプリに送信する。次いで、機械学習システムは、波形を観察し、顧客がチューニング・パラメータを設定する次の反復処理の時に、何を使用すべきかを決定する。この閉ループ動作は、以前に採用されていた従来の方法よりも短時間で送信機のチューニングを最適化する。

【0015】

図１において、試験測定システムには、プロセッサ１０で表す１つ以上のプロセッサと、メモリ１２とがあり、メモリ１２は、１つ以上のプロセッサによって実行されて、顧客の試験自動化ＳＷアプリケーション（又は試験自動化システム）１６及びＭＬアプリ（又はＭＬシステム）２２を動作させるプログラムを記憶しても良い。試験測定システムには、大まかに言って、上述した光トランシーバ又は光送信機のような被試験デバイス（ＤＵＴ）１８と、オシロスコープ（又は単に「スコープ」とも呼ぶ）のような試験測定装置２０とがある。図１では、オシロスコープを示しているが、試験測定システムには、他のタイプの試験測定装置があっても良い。試験自動化ＳＷアプリケーション１６は、トレーニング中に波形、パラメータ又は測定値を機械学習システム２２に渡すが、パラメータや測定値はメタデータ内に含まれている。実行時、波形は、機械学習システム２２に送信され、その結果が試験自動化システム１６に返される。

【0016】

顧客アプリ１６とＭＬアプリ２２を実行する１つ以上のプロセッサは、同じコンピューティング装置上に存在しても良いし、顧客アプリ１６用と機械学習アプリ２２用で、２つの異なるコンピューティング装置に夫々存在しても良い。これらのコンピューティング装置のいずれかが、試験測定装置を備えていても良い。プロセッサを有するいずれのコンピューティング装置も、これらアプリケーションの一方又は両方のプログラムを実行できるように構成され、実行できる能力を有している。

【0017】

以下では、ユーザ・インタフェース１４上でユーザに表示されるメニューを図を参照して説明する。これらメニューは、アプリケーションの組み合わせによって実行されるシステムの様々な機能とオプションの実際的な例である。この説明では、メニューに焦点を当てているが、メニューに用意されているオプションは、プロセッサによって実行されたときに、そのオプションによって特定されるタスク又は機能をシステムに実行させるプログラムを表すことに注意してください。

【0018】

試験測定システムの主要な機能は、波形のアクイジション（取り込み）機能である。試験測定システムは、通常、試験測定装置２０から波形を取得するが、メモリ１２、試験測定装置２０上のローカル・メモリ、ネットワーク経由、又は、フォルダのような指定した場所から取り込むこともできる。更に、試験自動化システム１６は、各波形に関連付けられた実際のメタデータをトレーニング中の入力情報として提供する。この入力メタデータは、波形を何らかの方法で分類するのに有益なものから構成されていても良い。この入力メタデータは、様々な種類の情報から構成されていても良い。例えば、入力メタデータが、送信機のチューニング・パラメータ、波形の送信に使用する送信機のレジスタ中の様々なパラメータ、などを有していても良い。数十から数百のパラメータが存在しても良い。メタデータの他の例としては、限定するものではないが、波形を送信する装置の温度、湿度、波形について行われた任意の形式の測定値、波形データの応答の帯域幅、波形が送信された媒体の伝達関数の推定値、波形上のノイズ、波形を作成又は取り込むのに使用された試験測定装置のノイズ、平均光パワー、ジッタなど、であっても良い。

【0019】

図１は、機械学習制御アプリケーション２２のシステム設定選択メニューを示す。このメニューを使用すると、ユーザは、現在の試験環境又は試験プロセスのための特定の形式の機械学習システムの設定を選択できる。例えば、ユーザは、図２に示すような光トランシーバ・チューニング・システムを選択しても良い。図２に示すように、上部には、いくつかのタブがあり、これらは、このシステムのいくつかのオプションを示している。実施形態によっては、ユーザ・インタフェース１４は、図２～５に示すように、選択されたシステム構成のブロック図を表示しても良く、これによれば、ユーザは、システムの動作やデータの流れを容易に理解できる。

【0020】

図３～５は、異なる形式のバイコヒーレンス・システムを選択した状態を夫々示している。このシステム設定選択メニューには、使用する多数の形式のシステムを追加できる。このメニュー・ブロックにより、幅広い用途にシステムを利用できる。システム設定は、システム・テンプレート（ひな型）とある程度似ているものとするのも良い。例えば、特定のシステム形式のユーザの選択では、主要なもの以外のシステム内の項目については、予め選択又は予め設定されていても良く、例えば、入力波形に適用する特定のＤＳＰ変換として、図１のＤＳＰ変換メニューに示すものが予め選択されていても良い。

【0021】

これにより、ユーザは、波形に適用する様々な変換を選択して、機械学習トレーニング・プロセスへの入力として使用するデータを準備できる。これらには、限定するものではないが、例えば、フィード・フォワード型イコライザ（Feed Forward Equalizer：ＦＦＥ）、判定帰還型イコライザ（Decision Feedback Equalizer：ＤＦＥ）その他のフィルタの適用、ベッセル・トンプソン・フィルタの適用、及びバイスペクトル分析の実行、などが含まれても良い。米国特許出願公開第２０２１／００８１６３０号明細書は、バイスペクトル分析について説明しており、その全体が、参照することにより本願に組み込まれる。その他の変換としては、波形作成形式の選択を有するものでも良い。これは、限定されるものではないが、米国特許出願公開第２０２１／０３８９３７３号明細書に開示される循環ループ画像テンソルの作成（cyclic loops image tensor creation）、２０２２年２月３日出願の米国特許出願第１７/５９２,４３７号明細書に開示されるアイ・ダイアグラムの分類手法、２０２２年５月１８日出願の米国特許出願第１７/７４７,９５４号明細書に開示される波形画像テンソル・データベースなどが含まれても良い。更に、上述のように、米国特許出願公開第２０２１／００８１６３０号明細書では、バイスペクトル画像、バイコヒーレンス画像、高次統計量画像、高次統計量データについて説明している。これらの特許出願は、参照することにより、その全体が本願に組み込まれる。

【0022】

クロック（CLK）リカバリは、波形変換のもう１つ別のオプションを構成する。このクロック・リカバリのアプリケーションは、一般的なものなので、ＤＳＰ処理ブロックを必要とする別のシステムの機能ブロックを追加しても良い（本願では開示しない）。また、将来出現するであろうＤＳＰアルゴリズムを、アプリケーションに追加される将来のシステムをサポートするために追加しても良い。

【0023】

図６は、ユーザ・インタフェースの２番目のタブにある波形管理メニューの一実施形態例を示す。図７は、連続時間線形イコライザ（continuous time linear equalizer：CTLE）及びクロック・リカバリ・メニューの実施形態例を示し、図８は、高速フーリエ変換（ＦＦＴ）メニューの実施形態例を示し、図９は、バイスペクトル分析の設定の実施形態例を示す。

【0024】

図１に戻ると、システムは、ユーザに、ＭＬトレーニング及び実行時（ランタイム）のオプションの選択肢も提供する。図１０は、ＭＬトレーニング・メニューの一実施形態例を示す。なお、ユーザ・インタフェースでは、ユーザが、ＭＬシステムをトレーニングするか又は実行するかを選択でき、また、進行状態メーターを使用して、そのプロセスを一時停止（図２～図１３で「中止」ボタンの左隣に「||」で示すボタン）するか又は中止するかも選択できる。システムのこの部分によれば、ユーザは、機械学習ネットワークの形式、現在のタスクのためにネットワークから必要な入力データと出力データの構造（organization）を設定できる。これによれば、ユーザの試験自動化ソフトウェア（SW）アプリケーション１６が、波形データを取り込み、チューニング・プロセスの各ステップで、メタデータとともにＭＬブロックに波形データを供給する必要がある。システムは、各ステップで波形を取り込む、つまり、波形及びメタデータの大きなデータ・セットを記憶し、波形及びメタデータをＭＬブロックへと渡すことによって、これを順次実行しても良い。メニューには、トレーニング・プロットがあっても良く、これは、トレーニング・プロセス中にアップデートされて、トレーニングの進行状態と精度を示す。また、メニューには、ネットワーク層の構成を示して、ユーザが、ネットワーク層の構成を操作し、機械学習のニューラル・ネットワーク・アルゴリズムをいつでも選択できるようにするためのブロック図の画像があっても良い。メニューには、ニューラル・ネットワーク以外のＭＬシステムのための他のサポート・メニューがあっても良い。

【0025】

図１１は、ＭＬ実行時（ランタイム）メニューの一実施形態例を示す。システムのこの部分では、ユーザは、機械学習システムの実行時の利用方法をセットアップ及び制御できる。上述のように、これは、顧客の製造ラインに存在する可能性があるが、この用途に限定されるものではない。実行時に、試験自動化システム１６は、波形データを取り込んで、メタデータ無しで機械学習システムに送信し、次いで、機械学習ブロックからの出力として、予想メタデータを受ける。この予想メタデータは、トレーニング中に使用された入力波形に関連付けられた入力メタデータとは異なる。機械学習システム２２は、試験自動化システム１６がアクセスできるように、出力するメタデータを所定の場所に記憶しても良い。

【0026】

加えて、システムは、評価メニューを含んでも良い。これにより、ユーザは、機械学習の結果を評価することができ、ユーザが最良のパスを選択できるようにし、ブロックは、入力試験データのセットを使用して選択されたＭＬ手法の各々についての試験結果の精度を表示する。これにより、ユーザは、様々なモデルの精度結果を確認し、ＭＬアルゴリズムと機能選択の最適な組み合わせを選択できる。

【0027】

図１２は、プロット・タブのメニューの一実施形態例を示す。このメニューにより、波形データとメタデータを任意の形式でプロット及び視覚化できる。これは、システムのデバッグと検証に使用されることがある。これらのプロットに加えて、システムは、図１３に示すような他の形態で結果を見る機能をユーザに提供しても良い。

【0028】

先に説明したどのメニューでもわかるように、ユーザ・インタフェースの上部には、先に説明した全てのタブの上に、図１４に示す波形生成に関するメニューがある。これにより、ユーザは、シミュレーション波形ツールを管理して、実際のライブ・データではなく、シミュレートされたデータを使用してＭＬシステムをトレーニングする目的で試験波形を生成できる。これにより、波形の形状に影響を与える様々なパラメータを掃引して（sweep：幅広く、くまなく）設定したり、トレーニング・モデルのチューニングのために信号に障害を導入したりすることができる。図１５は、パラメータ掃引メニューの実施形態を示し、図１６Ａは、パラメータを掃引したときのＰＡＭ４（パルス振幅変調４レベル）のシミュレーション波形の例を示し、図１６Ｂは、そのアイ・ダイアグラムを示す。

【0029】

機械学習システムの別の側面としては、ユーザが、波形をアニメーション化することを可能にする。これにより、ユーザは、各波形やその変換画像をメタデータとともに、パラメータを掃引した値の夫々について、単一の画像ムービー・フレームに入れることができる。

【0030】

図１に戻ると、波形データに関して、他の機能が存在することがわかる。波形管理メニューを使用すると、波形データとメタデータを構造化（organize：オーガナイズ）し、管理する様々な態様を簡単に設定できる。システムは、トレーニングに必要な数千の波形を保有していても良い。

【0031】

上述のように、システムは、１つ以上の試験測定装置を有していても良い。波形変換メニューを使用すると、サポートされている任意の形式の試験測定装置からの波形を、機械学習システムに適した形式に変換するようにシステムに指示できる。同様に、システムは、波形データを表示、測定若しくは分析するために、又は、波形データについて別の変換を実施するために、サポートしている全ての試験測定装置に波形データを転送できる能力を有していても良い。これは、プログラマチック・インタフェース（ＰＩ）コマンドを使用して、図１に示す装置接続メニューで、サポートしている試験測定装置に接続することを含んでも良い。ＰＩコマンドは、自動化制御にも使用できる。

【0032】

ＭＬシステムは、他の装置への接続に加えて、ＭＬシステムが他のソフトウェア・アプリケーションを制御及びセットアップするのを可能にするメニューを有していても良い。例えば、ＭＬシステムは、出願人であるテクトロニクスが開発したリアルタイムの周期、周波数、ジッタ、タイミング解析ツールであるＤＰＯＪＥＴなどのジッタ解析ソフトウェアをセットアップして実行しても良い（非特許文献１参照）。ＭＬシステムには、試験測定装置に波形を転送するためのＰＩコマンドが組み込まれており、ジッタ解析アプリケーションをセットアップしてアイ・ダイアグラムを表示させ、ジッタやその他の測定を行わせることができる。次いで、ＭＬシステムは、アプリケーションから測定値を受け取り、測定値をメタデータとして使用して波形を分類する。

【0033】

また、ＭＬシステムは、図１７に示すように、ユーザがシステムの特定の構成で使用されるセットアップをまず保存し、次いで後で読み出すことを可能にするメニューのような一般的なサポート・メニューを有している。更に、ＭＬシステムは、図１８に示すヘルプ・メニューを有していても良い。ヘルプ・メニューは、このアプリケーションを使用する際にユーザを支援するのに役立つ文書や、参照論文又は研究論文へのリンクを提供しても良い。

【0034】

ＭＬシステムの別の部分によって、ユーザは、システム動作中のイベントの通知を設定できる。例えば、システムが、プロセス中に変動（想定以上の大きな変化）を通知するようにしてもよい。このとき、システムは、ＭＬ分析が出力の各予想メタデータの平均値を決定する。平均値が一定期間にわたってドリフトし始めると、イベントを通知するために電子メール又は他の形式の警告を送信するトリガが発生する。なお、これは、このメニューによって提供される動作形式の１つの例にすぎない。

【0035】

上述したように、このＭＬシステムは、被試験デバイスの分析を実行して、実行時に送信される波形に基づいてチューニング結果や測定値などの結果を得るための様々な形式の機械学習プロセスに関するプラットフォームを提供する。このＭＬシステムは、柔軟に変更可能で、拡張可能な機能を備え、将来の多数のアプリケーションのためのフレームワークを提供する。

【0036】

本開示技術の態様は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作できる。本願における「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ＡＳＩＣ及び専用ハードウェア・コントローラ等を意図する。本開示技術の態様は、１つ又は複数のコンピュータ（モニタリング・モジュールを含む）その他のデバイスによって実行される、１つ又は複数のプログラム・モジュールなどのコンピュータ利用可能なデータ及びコンピュータ実行可能な命令で実現できる。概して、プログラム・モジュールとしては、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、コンピュータその他のデバイス内のプロセッサによって実行されると、特定のタスクを実行するか、又は、特定の抽象データ形式を実現する。コンピュータ実行可能命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、ＲＡＭなどのコンピュータ可読記憶媒体に記憶しても良い。当業者には理解されるように、プログラム・モジュールの機能は、様々な実施例において必要に応じて組み合わせられるか又は分散されても良い。更に、こうした機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのようなファームウェア又はハードウェア同等物において全体又は一部を具体化できる。特定のデータ構造を使用して、本開示技術の１つ以上の態様をより効果的に実施することができ、そのようなデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内と考えられる。

【0037】

開示された態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせで実現されても良い。開示された態様は、１つ以上のプロセッサによって読み取られ、実行され得る１つ又は複数のコンピュータ可読媒体によって運搬されるか又は記憶される命令として実現されても良い。そのような命令は、コンピュータ・プログラム・プロダクトと呼ぶことができる。本願で説明するコンピュータ可読媒体は、コンピューティング装置によってアクセス可能な任意の媒体を意味する。限定するものではないが、一例としては、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでいても良い。

【0038】

コンピュータ記憶媒体とは、コンピュータ読み取り可能な情報を記憶するために使用することができる任意の媒体を意味する。限定するものではないが、例としては、コンピュータ記憶媒体としては、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリやその他のメモリ技術、コンパクト・ディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、ＤＶＤ（Digital Video Disc）やその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置やその他の磁気記憶装置、及び任意の技術で実装された任意の他の揮発性又は不揮発性の取り外し可能又は取り外し不能の媒体を含んでいても良い。コンピュータ記憶媒体としては、信号そのもの及び信号伝送の一時的な形態は除外される。

【0039】

通信媒体とは、コンピュータ可読情報の通信に利用できる任意の媒体を意味する。限定するものではないが、例としては、通信媒体には、電気、光、無線周波数（ＲＦ）、赤外線、音又はその他の形式の信号の通信に適した同軸ケーブル、光ファイバ・ケーブル、空気又は任意の他の媒体を含んでも良い。

【0040】

加えて、本願の記述は、特定の特徴に言及している。本明細書における開示には、これらの特定の特徴の全ての可能な組み合わせが含まれると理解すべきである。ある特定の特徴が特定の態様又は実施例に関連して開示される場合、その特徴は、可能である限り、他の態様及び実施例との関連においても利用できる。

【0041】

また、本願において、２つ以上の定義されたステップ又は工程を有する方法に言及する場合、これら定義されたステップ又は工程は、状況的にそれらの可能性を排除しない限り、任意の順序で又は同時に実行しても良い。

実施例

【0042】

以下では、本願で開示される技術の理解に有益な実施例が提示される。この技術の実施形態は、以下で記述する実施例の１つ以上及び任意の組み合わせを含んでいても良い。

【0043】

実施例１は、試験測定システムであって、試験自動化システムと通信するように構成された機械学習システムと、ユーザが１つ以上のユーザ入力を与えることができると共に結果をユーザに提供できるように構成されたユーザ・インタフェースと、１つ以上のプロセッサとを具え、
１つ以上のプロセッサに、
機械学習システムを設定するために使用される選択された機械学習システム設定を少なくとも特定する１つ以上のユーザ入力をユーザ・インタフェースを介して受ける処理と、
被試験デバイスの動作によって作成された波形を受ける処理と、
設定された機械学習システムを利用して波形を分析する処理と、
上記波形についての予想メタデータの出力を提供する処理と
を行わせるプログラムを実行するように１つ以上のプロセッサが構成される。

【0044】

実施例２は、実施例１の試験測定システムであって、１つ以上のプロセッサに波形を受ける処理を行わせるプログラムは、１つ以上のプロセッサに、試験自動化システムから波形を受ける処理か、又は、メモリから波形を取り出す処理を行わせるプログラムを含む。

【0045】

実施例３は、実施例２の試験測定システムであって、１つ以上のプロセッサにメモリから波形を取り出す処理を行わせるプログラムは、１つ以上のプロセッサに、試験測定デバイス上のメモリ、ローカル・メモリ又はリモート・メモリのうちの１つから波形を取り出す処理を行わせるプログラムを含む。

【0046】

実施例４は、実施例１～３のいずれかの試験測定システムであって、選択された機械学習システム設定を特定する１つ以上のユーザ入力は、光トランシーバ（送受信機）試験システムの設定又はバイスペクトル分析システムの設定のうちの１つを特定するユーザ入力を含む。

【0047】

実施例５は、任意の実施例１～４の試験測定システムであって、１つ以上のプロセッサは、機械学習システムで使用する波形データを準備するために、１つ以上のプロセッサに波形データを変換する処理を行わせるプログラムを実行するように更に構成される。

【0048】

実施例６は、実施例５の試験測定システムであって、１つ以上のプロセッサに波形を変換する処理を行わせるプログラムは、１つ以上のプロセッサに、上記波形への等化処理を適用する処理、ベッセル・トンプソン・フィルタを適用する処理、バイスペクトル分析を実行する処理、高次統計量データの生成する処理及びクロック・リカバリ・オプションを提供する処理の中の少なくとも１つを行わせるプログラムを含む。

【0049】

実施例７は、実施例５の試験測定システムであって、上記１つ以上のプロセッサに波形を変換する処理を行わせるプログラムは、上記１つ以上のプロセッサに、循環ループ画像テンソル、古典的なアイ・ダイアグラムの１つ以上のサブセット、波形セグメント画像テンソル配列、ショート・パターン波形、バイスペクトル画像、バイコヒーレンス画像及び高次統計量画像の中の１つの波形画像を生成する処理を行わせるプログラムを含む。

【0050】

実施例８は、実施例１～７のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、波形管理メニューをユーザに表示する処理と、ユーザ・インタフェースを介してユーザ選択を受ける処理と、ユーザ選択に従って入力波形及び波形メタデータを構造化する（organize：オーガナイズする）処理とを行わせるプログラムを実行するように更に構成される。

【0051】

実施例９は、実施例１～８のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、試験測定デバイスから波形を変換する処理を行わせるか、又は、波形を試験測定デバイスに送信する処理を行わせるプログラムを実行するように更に構成される。

【0052】

実施例１０は、実施例１～９のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、波形に関する波形入力メタデータを受ける処理と、上記波形及び上記波形入力メタデータをトレーニングのために機械学習システムに提供する処理とによって、機械学習システムをトレーニングする処理を行わせるプログラムを実行するように更に構成される。

【0053】

実施例１１は、実施例１０の試験測定システムであって、１つ以上のプロセッサに機械学習システムをトレーニングする処理を行わせるプログラムは、１つ以上のプロセッサに、波形の取り込み（アクイジション）の各ステップで機械学習システムを順次トレーニングするか、又は、波形及び波形入力メタデータのセットを記憶し、波形及び波形入力メタデータのセットをトレーニングのために機械学習システムに提供するかのいずれかを行わせるプログラムを含む。

【0054】

実施例１２は、実施例１０の試験測定システムであって、１つ以上のプロセッサに機械学習システムをトレーニングする処理を行わせるプログラムは、１つ以上のプロセッサに、トレーニングの進行状態及び精度を示すプロットを表示及びアップデートする処理を行わせるプログラムを含む。

【0055】

実施例１３は、実施例１０の試験測定システムであって、１つ以上のプロセッサに機械学習システムをトレーニングする処理を行わせるプログラムは、１つ以上のプロセッサにシミュレーション試験波形を生成する処理を行わせるプログラムを含み、シミュレーション試験波形は、パラメータを掃引（幅広く、くまなく設定変更）したものであるか又は信号に関する障害を有する。

【0056】

実施例１４は、実施例１０の試験測定システムであって、１つ以上のプロセッサに機械学習システムをトレーニングする処理を行わせるプログラムは、１つ以上のプロセッサに、入力試験データのセットから得られる選択された機械学習システム設定の精度を表示する処理を行わせるプログラムを含む。

【0057】

実施例１５は、実施例１～１４のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、プロット、波形及び出力メタデータを表示する処理を行わせるプログラムを実行するように更に構成されている。

【0058】

実施例１６は、実施例１～１５のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、出力メタデータの平均値を生成する処理と、平均値をドリフト閾値と比較する処理と、平均値がドリフト閾値を超えた場合に通知を提供する処理とを行わせるプログラムを実行するように更に構成される。

【0059】

実施例１７は、実施例１～１６のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、
ユーザが機械学習システムの実行又はトレーニングを開始、中止又は一時停止することを可能にするユーザ入力を有するメイン・メニューを表示する処理と、
機械学習システムの動作経過に関連する情報を含むステータス（状態）出力を表示する処理とを行わせるプログラムを実行するように更に構成される。

【0060】

実施例１８は、実施例１～１７のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、ユーザによって選択された試験測定装置への接続を確立する処理と、波形を試験測定装置に転送する処理とを行わせるプログラムを実行するように更に構成される。

【0061】

実施例１９は、実施例１８の試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、自動化制御を可能にするプログラム命令（programmatic instructions）を実行する処理を行わせるプログラムを実行するように更に構成される。

【0062】

実施例２０は、実施例１～１９のいずれかの試験測定システムであって、１つ以上のプロセッサは、波形に関するジッタ分析を行う処理を１つ以上のプロセッサに行わせる別のプログラムを、１つ以上のプロセッサに実行及び制御させるプログラムを実行するように更に構成される。

【0063】

実施例２１は、実施例１～２０のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、試験測定システム用のアプリケーション・セットアップを保存及び読出し処理を行わせるプログラムを実行するように更に構成される。

【0064】

実施例２２は、実施例１～２１のいずれかの試験測定システムであって、１つ以上のプロセッサは、１つ以上のプロセッサに、結果レポートを作成する処理を行わせるプログラムを実行するように更に構成される。

【0065】

説明の都合上、本発明の具体的な実施例を図示し、説明してきたが、本発明の要旨と範囲から離れることなく、種々の変更が可能なことが理解できよう。従って、本発明は、添付の請求項以外では、限定されるべきではない。

【符号の説明】

【0066】

１０ プロセッサ
１２ メモリ
１４ ユーザ・インタフェース
１６ 試験自動化システム（試験自動化ＳＷアプリケーション）
１８ 被試験デバイス（ＤＵＴ）
２０ 試験測定装置（オシロスコープ）
２２ 機械学習システム（汎用機械学習制御アプリケーション）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16A】

【図16B】

【図17】

【図18】