IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テクトロニクス・インコーポレイテッドの特許一覧

特許7096653試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法
<>
  • 特許-試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法 図1
  • 特許-試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法 図2
  • 特許-試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法 図3
  • 特許-試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法 図4
  • 特許-試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法 図5
  • 特許-試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-28
(45)【発行日】2022-07-06
(54)【発明の名称】試験測定装置及び測定を提案するための試験測定装置をトレーニングする方法
(51)【国際特許分類】
   G01R 13/20 20060101AFI20220629BHJP
   G01R 31/28 20060101ALI20220629BHJP
   G06N 99/00 20190101ALI20220629BHJP
   G06N 20/00 20190101ALI20220629BHJP
【FI】
G01R13/20 L
G01R31/28 H
G06N99/00
G06N20/00
【請求項の数】 5
【外国語出願】
(21)【出願番号】P 2017173708
(22)【出願日】2017-09-11
(65)【公開番号】P2018059912
(43)【公開日】2018-04-12
【審査請求日】2020-09-03
(31)【優先権主張番号】15/262406
(32)【優先日】2016-09-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】391002340
【氏名又は名称】テクトロニクス・インコーポレイテッド
【氏名又は名称原語表記】TEKTRONIX,INC.
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(74)【代理人】
【識別番号】110001209
【氏名又は名称】特許業務法人山口国際特許事務所
(72)【発明者】
【氏名】イアン・アール・アブシャー
(72)【発明者】
【氏名】クレイグ・エム・ストロング
【審査官】田口 孝明
(56)【参考文献】
【文献】特開2002-162419(JP,A)
【文献】特開2000-314750(JP,A)
【文献】米国特許出願公開第2016/0125218(US,A1)
【文献】米国特許出願公開第2009/0281981(US,A1)
【文献】特開2000-321307(JP,A)
【文献】特開2016-050830(JP,A)
【文献】特開平05-126859(JP,A)
【文献】米国特許出願公開第2016/0341766(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
IPC G01R 13/00-13/42、
31/28、
31/30、
31/302、
31/316、
31/317、
31/3183、
31/3185、
31/319、
G06N 3/00-3/12、
7/08-99/00
(57)【特許請求の範囲】
【請求項1】
波形及び対応する既知の分類を含むトレーニング・データを受けるよう構成された入力ポートと、
該入力ポートと結合され、
分類子の夫々を上記トレーニング・データの上記波形の夫々に繰り返し適用して、対応する予測波形分類を取得する処理と、
上記予測波形分類を上記既知の分類と比較する処理と、
対応する上記波形に関する上記既知の分類と一致しない予測波形分類を出力する上記分類子の夫々について修正する処理とにより、上記トレーニング・データについて複数の上記分類子をトレーニングする処理と
を実行するよう構成されるプロセッサと
を具える試験測定装置。
【請求項2】
上記入力ポートが、波形を含む測定データを受けるよう更に構成され、
上記プロセッサが、
トレーニングされた複数の分類子を上記測定データに適用する処理と、
上記測定データに関する分類を決定する処理と
上記分類に対応し、1つ以上の提案される測定に対応するモデルを選択する処理と
上記入力ポートを通じて受ける上記波形を捕捉するときに、選択された上記モデルに対応する提案される上記測定を使用するように上記試験測定装置を設定する処理と
を更に実行するよう構成される請求項1の試験測定装置。
【請求項3】
試験測定装置であって、
波形を含む測定データを受けるよう構成された入力ポートと、
該入力ポートと結合され、
トレーニングされた複数の分類子を上記測定データに適用して、トレーニングされた複数の上記分類子夫々の信頼値を生成する処理と
トレーニングされた複数の上記分類子夫々の上記信頼値が信頼しきい値を超えたか判断する処理と、
上記信頼しきい値を超える上記信頼値を生成した上記分類子が1つだけの場合に、上記信頼しきい値を超える上記信頼値を生成した上記分類子に対応する分類を上記測定データに関する分類として決定する処理と
上記分類に対応し、1つ以上の提案される測定に対応するモデルを選択する処理と
上記入力ポートを通じて受ける上記波形を捕捉するときに、選択された上記モデルに対応する提案される上記測定を使用するように上記試験測定装置を設定する処理と
を実行するよう構成されるプロセッサと
を具える試験測定装置。
【請求項4】
測定を提案するよう試験測定装置をトレーニングする方法であって、
波形及び対応する既知の分類を含むトレーニング・データを入力ポートを介して受ける処理と、
プロセッサにより、
分類子の夫々を上記トレーニング・データの上記波形の夫々に繰り返し適用して、対応する予測波形分類を取得する処理と、
上記予測波形分類を上記既知の分類と比較する処理と、
対応する上記波形に関する上記既知の分類と一致しない予測波形分類を出力する上記分類子の夫々について修正する処理とにより、上記トレーニング・データについて複数の上記分類子をトレーニングする処理と
を具える試験測定装置をトレーニングする方法。
【請求項5】
測定される波形又はバス入力に対応する測定データを受ける処理と、
上記分類子の夫々を上記測定データに適用して、測定された上記波形の分類を決定する処理と、
決定された上記分類を返答する上記分類子に対応するとともに、上記分類子に関する1つ以上の提案される測定に対応するモデルを選択する処理と、
測定される上記波形を捕捉するときに、選択された上記モデルに対応する提案された上記測定を利用するように上記試験測定装置を設定する処理と
更に具える請求項4の試験測定装置をトレーニングする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試験測定装置の操作のためのシステム及び方法に関し、特に、試験測定装置について、入力波形の形式を検出し、対応する測定設定を提案するシステム及び方法に関する。
【背景技術】
【0002】
試験測定システムは、信号入力を受けて、これら信号をサンプルし、その結果を波形として表示するよう設計されている。サンプリングの仕方、取得するサンプルの特性、そして、波形を表示する仕方を制御するのに、様々な設定が利用できる。いくつかの高度な試験測定システムには、あり得る制御設定が多数あり、多くのこうした設定は、特定の入力信号形式にのみ有用である。従って、高度なモデルでは、ユーザには、選択肢があり過ぎることがあり、適切な設定の仕方を見つけ出すのが、非常に困難なことがある。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第2876499号公報
【文献】特許第4637988号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複雑な操作インタフェースに固有の操作性の問題に対処するために、様々なアプローチが採用されてきた。例えば、広く使用される測定を、より簡単にアクセスするために、表示の上位に配置しても良い。しかし、このアプローチは、状況に応じたものではなく、一部のユーザにとって広く使用される測定も、他のユーザには広く使用されない可能性がある。別のアプローチでは、可能性のある測定を表示画面に自動的に追加することを含むが、そのようなアプローチは、受けた波形に合わせられず、過度に一般的な情報又は無関係な情報を含む可能性がある。更に別のアプローチでは、測定された波形のスナップショット・ウィンドウをユーザが選択でき、そのウィンドウに関連する全ての測定が、関連データと無関連データの両方を含めて表示される。このような手法では、入力波形に対して有用な測定オプションを見つけるために、ユーザが依然として無関係な情報を調べなければならない。
【0005】
本発明の実施形態は、これら及び他の問題に取り組むものである。
【課題を解決するための手段】
【0006】
本発明の実施形態としては、機械学習を使用して、入力波形や接続されたバスを分類し、この分類に基づいて測定又は他のアクション(動作)を提案するように構成されたオシロスコープがある。オシロスコープは、学習段階を経験し、ここでは、複数の分類子が、既知の分類に沿って特定の波形やバスを表すトーニング・データを受ける。分類子は、トレーニング・データに適用され、既知の分類に照らして、分類子によって出力された分類が正しくないときには修正される。また、信頼しきい値が、各分類子について記憶されても良い。各分類子(classifier)について対応するモデルが生成され、提案された測定やアクションが各モデルに加えられる。更に、対応する分類に有用ではない入力を除去することによって、分類子の入力のセットを減少させるように、各分類子について、特徴選択(feature selection)を利用してもよい。また、分類子の精度を向上させるために、相互検証(Cross validation)を利用しても良い。こうした機械学習は、製造されたオシロスコープ毎に行われても良いし、又は、マスター・オシロスコープに対して行われて、その結果が製造時に複数のオシロスコープにロードされるようにしても良い。実行時には、オシロスコープは入ってくる波形を受け、各分類子を入力波形に適用する。各分類子は、対応する分類について信頼値を返答する。もし単一の分類子が、その分類子の信頼しきい値を超える信頼値を返答する場合、波形は適切に分類されている。その分類はレコメンダに送られ、これは、分類に関連付けられたモデルを取得し、提案された測定又はアクションを実施する。
【0007】
従って、少なくともいくつかの態様では、試験測定装置は、測定データを受け取るように構成された入力ポートと、入力ポートに結合されたプロセッサとを含む。プロセッサは、複数の分類子を測定データに適用して、測定データの分類を決定するように構成される。プロセッサは、分類に対応するモデルも選択するが、ここでモデルは提案された測定に対応する。更に、プロセッサは、入力ポートを通じて受ける波形を取り込む際に、選択したモデルに対応する提案された測定を使用するように試験測定装置を設定する。
【0008】
別の態様では、測定を提案するように試験測定装置をトレーニングする方法が開示される。この方法は、入力ポートを介して、波形と対応する既知の分類を含むトレーニング・データを受ける処理を含む。複数の分類子は、プロセッサによって、対応する予測された分類を得るために、トレーニング・データの各波形に各分類子を反復的に適用することによって、トレーニング・データについてトレーニングされる。トレーニングは、予測された波形の分類を既知の分類と比較し、対応する波形に関する既知の分類に一致しない予測された波形分類を出力する各分類子を修正する処理を更に含む。
【0009】
これら及び他の態様は、以下で更に詳細に説明される。
【図面の簡単な説明】
【0010】
図1図1は、試験デバイス(DUT)からの複数の入力信号を受けるよう構成されたオシロスコープを含む試験システムの実施形態のブロック図である。
図2図2は、オシロスコープの実施形態のブロック図である。
図3図3は、波形を分類し、対応する測定及び動作(アクション)を提案するために機械学習を利用するよう構成された試験測定システムの実施形態のブロック図である。
図4図4は、分類子及びモデル・データ・オブジェクトを含む機械学習オブジェクトの実施形態を示すブロック図である。
図5図5は、試験測定システムにおいて学習段階を実現する方法の実施形態を説明するブロック図である。
図6図6は、試験測定システムにおいて評価段階を実現する方法の実施形態を説明するブロック図である。
【発明を実施するための形態】
【0011】
本開示の態様は、様々な変更及び代替形態が可能である。特定の態様は、図面に例として示されており、以下で詳細に説明する。しかしながら、本願に開示された実施例は、説明を明瞭にする目的で提示されており、明示的に限定されない限り、開示された全体的な概念の範囲を本願に記載の特定の実施形態に限定することを意図しない。このように、本開示は、添付の図面及び特許請求の範囲に照らして記載された態様のすべての改変、均等物及び代替物をカバーすることを意図している。
【0012】
実施形態、態様、実施例などの明細書における言及では、記載された項目が特定の特徴、構造又は特性を含んでも良いことを示す。しかしながら、開示される全ての態様は、その特定の特徴、構造又は特性を含んでも良いし、必ずしも含んでいなくても良い。更に、このような言い回しは、特に明記しない限り、必ずしも同じ態様を指しているとは限らない。更に、特定の態様に関連して特定の特徴、構造又は特性が記載されている場合、そのような特徴、構造又は特性は、そのような特徴が他の開示された態様と共に明示的に記載されていてもいなくても、そのような他の開示された態様と共に利用されても良い。
【0013】
開示される態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせで実現されてもよい。開示された態様は、また、1つ又は複数のプロセッサによって読み取られ実行できる、1つ又は複数の一時的又は非一時的な機械可読(例えば、コンピュータ可読)記憶媒体によって搬送されるか又は記憶される命令として実現されてもよい。機械可読記憶媒体は、機械によって読み取り可能な形式で情報を記憶又は送信するための任意の記憶デバイス、メカニズム又は他の他の物理的構造(例えば、揮発性又は不揮発性メモリ、媒体ディスク又は他の媒体デバイスなど)として具体化されてもよい。
【0014】
図1は、例えば、被試験デバイス(DUT)121からの信号を試験するために、1つ以上の入力信号を測定データ125として受けるように構成されたオシロスコープ110を含む試験システム100の実施形態のブロック図である。DUT121は、電気的又は光学的な信号による伝達を行うよう構成された任意の信号源であっても良い。例えば、DUT121としては、任意の形態の送信機、又は、1つ以上の信号プローブによって結合された信号送信媒体を含んでも良い。DUT121は、オシロスコープ110によって測定データ125として測定できる多種多様な波形を入力信号として送信し、これは、以下で更に十分に説明される。例えば、波形は、正弦波、パルス振幅変調信号、立ち上がりエッジ信号、立ち下がりエッジ信号、ランプ(ramp)信号、直流(DC)信号、ノイズ信号、sin(x)/x信号(ここでxは、変数)、ガウス(Gaussian)信号、ローレンツ(Lorentz)信号、指数関数的立ち上がり信号、指数関数的減衰信号、ハーバーサイン(haversine:半正矢)信号、心臓(cardiac)信号などの形で送信されても良い。DUT121は、オプションで、バス123を介してオシロスコープ110に接続されても良い。バス123は、2点間で信号又はデータを伝送する任意の通信システムである。バス123の多くの形式は、特定の通信プロトコルを採用している。例えば、バス123は、パラレル・バス、SPI(Serial Peripheral Interface )バス、I2C(Inter-Integrated Circuit)バス、USB(Universal Serial Bus)、LIN(Local Interconnect Network)バス、CAN(Controller Area Network)バス、オーディオ・バス、ARINC429(Aeronautical Radio Inc. data transfer standard 429)バス、RS232(Radio Sector standard232)バス、イーサネット・バス、FlexRayバスなど、として構成されても良い。いくつかの態様では、DUT121が、波形/バスを分類するようオシロスコープ110をトレーニング(訓練)するのに利用されても良い。別の態様では、DUT121は、オシロスコープによって試験されるデバイスであっても良い。
【0015】
オシロスコープ110は、測定データ125を受け、測定データ125を分類して、どの形式の波形を受けたか又はどの形式のバス123がオシロスコープに接続されているかを決定し、上記分類に基づいて、行うべき測定又は動作を提案し、最終的に1つ以上の表示領域を有する表示部111上に関連するデータを表示するよう構成された試験測定装置である。オシロスコープ110には、測定データ125を受けて、信号/データを、調整、サンプリング、分類などのために、ローカルのハードウェアに送るためのポート115がある。オシロスコープ110には、例えば、交流(AC)又はDC結合の制御、トリガ・レベル制御、トリガ・レベル・ヒステレシスしきい値及びマージンを変更するためのトリガ・レベル・ヒステレシス制御、ユーザ選択、ユーザ・オーバーライドなどのユーザの入力を受けるための操作部113もある。操作部103を利用することによって、ユーザは、波形又はバスを分類するようオシロスコープをトレーニング又は利用でき、そして、こうした分類の結果として、表示部111上に表示される提案された測定又は動作を受け入れるか又は拒否できる。オシロスコープ100は、説明を明確にする都合上の例として提示されているが、多数の形式のオシロスコープとして限定していると考えるべきではなく、本開示から逸脱することなく、試験測定システム及び他の試験セットアップを利用しても良い。
【0016】
図2は、試験システム100のような試験システムにおいて利用できるオシロスコープ200の実施形態のブロック図である。例えば、オシロスコープ200は、オシロスコープ100とほぼ同様であっても良く、同様にしてDUT又は他のトレーニング・デバイスと接続されても良い。オシロスコープ200は、図1~6で夫々示されるような本願で開示される、試験測定システム300を実現し、機械学習オブジェクト400を記憶して相互作用し、方法500、600や他の方法を実現するのに利用されても良い。オシロスコープ200には、測定又はトレーニング・データを含む入力信号を受けるよう構成された入力ポート215があり、これは、ポート115とほぼ同様であっても良く、また、電気的又は光学的なポート、受信機などを含んでも良い。入力ポート215としては、チャンネル入力端子、位相基準入力端子、クロック入力端子や任意の他の信号入力端子があっても良い。信号入力ポート215は、信号分析回路214に結合され、これは、入力ポート215を介して受けた入力信号から測定又はトレーニング・データを取得するのに利用できる調整回路、増幅回路、サンプラ、アナログ・デジタル・コンバータ、位相基準回路、クロック回路や任意のコンポーネントを含んでも良い。信号分析回路214は、入力ポート215からの入力信号を受けて、この信号を調整し、信号サンプリングを実行したり、信号をデジタル化し、その結果を分析のためにメモリ217又はプロセッサ212へと送る。信号分析回路214は、特定用途向け集積回路(ASIC)、デジタル・シグナル・プロセッサ(DSP)又は他の処理回路として実現されても良い。信号分析回路214は、プロセッサ212に結合されており、これは汎用プロセッサとして実現されても良い。プロセッサ212は、メモリ217からの命令を実行し、命令によって示される任意の方法や関連するステップを実行するように構成される。メモリ217は、プロセッサ・キャッシュ、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、ソリッド・ステート・メモリ、ハードディスク・ドライブ又はその他のメモリ形式として実現されても良い。メモリ217は、以下で説明するように、コンピュータ・プログラム・プロダクトや他の命令を記憶し、波形サンプルを記憶したり、分類子(classifier)及びモデルなどの他のデータ・オブジェクトを記憶するための非一時的媒体として機能する。メモリ217は、そのような記憶された情報を、必要に応じて計算のためにプロセッサ212に提供する。
【0017】
プロセッサ212は、機械学習モジュール216を含んでも良い。機械学習モジュール216は、処理回路や、機械学習モジュール333のような機械学習アルゴリズムを動かすように構成された実行命令のセットである。例えば、プロセッサ212及び機械学習モジュール216は、分類子335及び435、モデル336及び436のようなデータ・オブジェクトをトレーニングする学習段階において利用されても良い。こうしたトレーニングは、トレーニング・データ331のようなトレーニング・データを利用しても良い。また、機械学習モジュール216は、評価やアクション段階において、機械学習アルゴリズムと、レコメンダ(Recommender)338のようなレコメンダを動かすように構成されている。このように、機械学習モジュール216は、本願で説明する方法500、600やその他の方法を実行するよう構成される。いくつかの態様では、機械学習モジュール216は、一部が、オシロスコープ200中のメモリ217や他のコンポーネントにおいて実現されても良い。
【0018】
ユーザ操作部213は、少なくともプロセッサ212及び信号分析回路214には結合される。ユーザ操作部213には、表示部211上に入力信号を表示するためにユーザが利用できる、ストローブ入力部、利得調整部、トリガ部、表示調整部、パワー調整部又はその他調整部があっても良い。また、ユーザ操作部213によって、ユーザが信号を分析するときに行う特定の測定又はアクションを選択できるようにしても良い。そこで、機械学習モジュール216は、表示部211を用いて、測定やアクションを提案しても良く、また、ユーザ操作部213は、ユーザが提案されたアクション又は測定を受け入れるか又は無効にできるように構成されても良い。いくつかの態様では、ユーザ操作部213が、全体又は一部が表示部211中に統合される。表示部211は、デジタル・スクリーン又は陰極線ベースの表示装置でも良い。表示部211には、例えば、アイ・ダイアグラム、ヒストグラム、ヒート・マップ(heat maps)、時間領域信号、周波数領域信号などのような、複数の入力信号を表示するために対応する複数の表示領域がある。こうして、オシロスコープ200は、後述のように、分類子及びモデルをトレーニングして、トレーニング・データを分類し、入力波形やバスに関する分類を決定するように構成されても良い。オシロスコープ200は、また、後述のように、分類子及びモデルを利用して、測定データを分類し、測定及びアクションを提案するよう構成されても良い。更に、オシロスコープ200は、ユーザが直接手ほどき又は承認することなしに、提案された測定や提案されたアクションで指示されるように、動作(アクション)を行っても良い。
【0019】
図3は、機械学習を利用して波形を分類し、対応する測定及びアクションを提案するよう構成される試験測定システム300の実施形態のブロック図である。試験測定システム300は、オシロスコープ100や200のようなオシロスコープにおいて実現されても良く、DUT121のようなDUTや他のトレーニング・ハードウェアからの信号を受けるよう構成されても良い。試験測定システム300には、機械学習モジュール333、分類子(分類子s)335、レコメンダ338及びモデル(モデルs)336があり、これらは、汎用プロセッサ、特定用途プロセッサ、メモリ又はこれらの組み合わせ(例えば、プロセッサ212、機械学習モジュール216及びメモリ217)によって実現できる。試験測定システム300は、後述のように、トレーニング・データ331及び捕捉波形測定値/デバイス状態337を入力として受け取り、出力339を生成する。
【0020】
機械学習モジュール333(例えば、機械学習アルゴリズム)は、タスクを実行し、このタスクのパフォーマンス(できばえ)を測定し、測定値に基づいてタスクのパフォーマンスを変更して経験に基づいてパフォーマンスを改善するように構成される命令のセットである。機械学習モジュール333は、分析的学習、人工ニューラル・ネットワーク、誤差逆伝播法(backpropagation)、ブースティング、ベイズ統計学、事例に基づく推論、決定木学習(decision tree learning)、帰納論理プログラミング、ガウス過程回帰(Gaussian process regression)、GMDHアルゴリズム(group method of data handling)、カーネル推定、学習のオートマトン、最小メッセージ長(決定木、決定グラフなど)、多重線形部分空間学習(multilinear subspace learning)、単純ベイズ分類子(naive Bayes 分類子)、最大エントロピー分類子(maximum entropy 分類子)、条件付き確率場(conditional random field)、最近傍(nearest neighbor)アルゴリズム、確率近似(PAC:Probably Approximately Correct)学習、リップル・ダウン・ルール法(ripple down rules)、記号的(symbolic)機械学習、準記号的(sub-symbolic)機械学習、サポート・ベクトル・マシーン(support vector machines)、最小複雑度マシーン(Minimum Complexity Machine:MCM)、ランダム・フォレスト(random forest)、分類子のアンサンブル(ensemble:連携)、順序分類(ordinal classification)、データ前処理、アンバランス・データセット処理(handling imbalanced datasets)、統計的関係学習(statistical relational learning)やProaftnを含む教師付き学習(supervised learning)アルゴリズムに従って実現されても良い。明確にする都合上、機械学習モジュール333は、本願では判断フォレスト(決定フォレスト)と呼ぶランダム・フォレストの観点から説明されるが、複数の教師付き学習アルゴリズムの複数の組み合わせを利用しても良い。更に、ディープ・ラーニング・アルゴリズムも、機械学習モジュール333の一部として利用しても良い。
【0021】
学習段階において、機械学習モジュール333は、トレーニング・データ331を受ける。トレーニング・データ331は、複数波形のセット(グループ)と、対応する既知の複数の分類(classifications)である。機械学習モジュール333は、トレーニング・データ331を分類する複数の分類子335を生成してトレーニングする。分類子335は、予め設定されたルールに基づいて入力データの分類を提供するとともに、こうしたルールを、トレーニングを通じて変更するよう構成される任意のコンポーネントである。例えば、分類子335が、複数の決定木を用いるランダム決定フォレスト(random 決定フォレスト)を含んでいても良い。各分類子335は、正弦波、矩形波、パルス幅変調、立ち上がりエッジ、立ち下がりエッジ、ランプ、DC、ノイズ、sin(x)/x、ガウス、ローレンツ、指数関数的立ち上がり、指数関数的減衰、ハーバーサイン(半正矢)、心臓、パラレル・バス、SPIバス、I2Cバス、USB、LINバス、CANバス、オーディオ・バス、ARINC429バス、RS232バス、イーサネット・バス、FlexRayバスなどのような特定の分類に対応する。機械学習モジュール333は、トレーニング・データ331中の波形セット(波形グループ)の夫々を各分類子335に適用し、そして、各分類子335は結果を返答する。例えば、正弦波と一致するトーニング・データ331が各分類子335に送られる場合、正弦波の分類子335は一致すると返答するべきであるし、他の全ての分類子は一致すると返答すべきではない。そこで、機械学習モジュール333は、既知の分類を利用して、間違った結果を返答する分類子のルールを修正する。例えば、ガウス波形が適用されたときに、USBの分類子335が一致すると返答する(例えば、間違った一致)と、機械学習モジュール333は、USBの分類子335のルールを修正する。
【0022】
分類子335は、トレーニング・データ331及び測定データ(例えば、捕捉波形測定値/デバイス状態337)を分類するのに、様々な信号特性を利用しても良い。例えば、分類子335は、振幅、最大振幅、最小振幅、ピーク・トゥ・ピーク、正のオーバーシュート、負のオーバーシュート、平均振幅、信号実効値(Root Mean Square:RMS)、交流RMS、直流コモン・モード、交流コモン・モード(例えば、ピーク・トゥ・ピーク)、信号エリア、差動クロスオーバ、信号トップ(signal top)、信号ベース(signal base)、ビット・ハイ(bit high)、ビット・ロー(bit low)、ビット振幅、伝達/ネットワーク伝達(T/nT)比などのような信号振幅特性を利用しても良い。また、分類子335は、周期、周波数、データ・レート、正パルス幅、負パルス幅、スキュー、立ち上がり時間、立ち下がり時間、遅延時間、立ち上がりスルー・レート、立ち下がりスルー・レート、位相、正のデューティ・サイクル、負のデューティ・サイクル、バースト幅、セットアップ時間、ホールド時間、レベル外の時間、ハイ時間、ロー時間、Nを可変の周期の数としてN周期の持続時間、スペクトラム拡散クロック(SSC)周波数偏差、SSC変調レート、正エッジ数、負エッジ数、パルス数、バーストなどのような時間に関係する特性を利用しても良い。更に、分類子335は、タイム・インターバル・エラー(TIE)、位相ノイズ、ランダム・ジッタ(RJ)、RJアンチ・エイリアシング(RJ-aa)、非周期ジッタ(NPJ)、特定ビット・エラー・レートにおけるトータル・ジッタ(TJ@BER)、ディターミニスティック・ジッタ(DJJ)、DJアンチ・エイリアシング(DJ-aa)、周期ジッタ(PJ)、データ依存ジッタ(DDJ)、デューティ・サイクル歪み(DCD)、10-2を除く全てのインターバルのジッタ分布(J2)、10-9を除く全てのインターバルのジッタ分布(J9)、サブレート・ジッタ(SRJ)、周波数(F)/2、F/4、F/8などのようなジッタに関係する特性を利用しても良い。また、分類子335は、電力特性の電力微分(power quality power derivative)、変調、電力高調波、スイッチング損失、リップルなどのような電力に関係する特性を利用しても良い。従って、分類子335は、信号の振幅、時間特性、ジッタや電力を調べることによって、トレーニング・データ及び測定データに関する分類を決定するよう構成されている。トレーニング・データ331は、生のポイント・データ、波形画像、垂直ヒストグラム、デバイス設定又は情報(例えば、デバイス状態)、ヒート・マップに合成された複数の取り込みデータの集合、波形測定値などを含む様々な形態で、分類子335へと送付されて良い。多種多様なトレーニング・データ及び分類形式を分類子335で利用できるので、複数の分類子335は、特定の波形形式を分類するよう選択された特定の機械学習アルゴリズムを有する複数の機械学習アルゴリズムを利用して良い。言い換えると、いくつかの機械学習アルゴリズムは、第1波形セットを分類するのに適したものであり、これは、他の機械学習アルゴリズムは、第2波形セットを分類するのに適したものであるということである。このように、いくつかの分類子335は、同じシステム中の他の分類子335と異なる機械学習アルゴリズムを利用しても良い。
【0023】
モデル336は、学習段階において、各分類子335(よって、ここでは各分類)に対応して(例えば、機械学習モジュール333によって)構築される。いくつかのモデル336は、入力ポート(例えば、ポート115/215)を通じて入ってくる波形に対応して構築される一方で、他のものは、入力ポートに接続されるバス(例えば、バス123)に対応している。よって、いくつの分類に関しては、高い決定力のある測定値も、他の分類に関しては有用でないことがある。そこで、不必要な測定値を各分類子335から除去し、関連するデータのみから対応するモデル336を生成するために、機械学習モジュール333は、特徴選択を利用する。従って、各モデル336は、対応する分類子335が入力として受け入れできる測定値を記述している。更に、各モデル336は、入力データが対応する分類を示す場合に、ユーザが行いたい特定の測定又はアクションを含む。
【0024】
トレーニング・データ331を完全に処理すると、機械学習モジュール333により、分類子335がトレーニングされ、モデル336生成される。機械学習モジュール333の状態が生成及びトレーニングされたとなったら、分類子335及びモデル336が、オシロスコープでの実行時での利用のために、メモリに記憶されても良い。例えば、マスター試験測定装置が、機械学習モジュール333、分類子335及びモデル336をトレーニングするとともに、複数のオシロスコープが製造されたときに、そうしたオシロスコープにロードされるメモリ読み出し可能形式で結果を記憶しても良い。別の態様では、各オシロスコープが、製造過程においてトレーニングされても良い。
【0025】
エンド・ユーザは、評価段階の一部として実行時に試験測定システム300を使用する。評価段階の間に、捕捉された波形測定値/デバイス状態337は、例えば、波形の場合は入力ポート/信号分析回路を介して、又は、デバイス状態の場合は信号解析回路やメモリを介して、機械学習モジュール333が受ける。各分類子335は、測定値/状態337に適用される。分類子335は、夫々一致又は不一致を示す。いくつかの態様では、分類子335は、信頼値も返す。評価段階の間に受けた測定値/状態337は、事実上あらゆる形式のデータを含むことができ、分類は未知である。従って、もし1つの分類子335だけが一致を返答すれば、分類が決定される。分類子335が一致を返答しない場合又は複数の分類子335が一致を返答する場合、システム300は入力信号を分類できない。測定値/状態337が単一の分類子335に一致する場合、分類(例えば、波形又はバス形式)がレコメンダ(recommender)339に送られる。
【0026】
レコメンダ339は、特定のアクション(動作)又は測定をユーザに推奨するように構成されたコンポーネントである。レコメンダ338は分類を受け、対応するモデル336を取得する。レコメンダ338は、返答されたモデル336に基づいて、分類された波形又はバスに関連する有用なトリガ・ポイント、特定の変換などのような分類をユーザが見つけるに役立つであろう特定の測定を推奨できる。更に、レコメンダ338は、バス構成の選択、表示範囲の変更などのような、ユーザが分類に基づいて行いたいと望むかもしれない特定のアクションを推奨できる。加えて、レコメンダ338は、特定の分類について最も関連するアクション/測定が最初にリストされるように、提案されたアクション/測定のリストを並べ替えることができる。また、レコメンダ338は、特定の分類に適さないアクション/測定を灰色表示(grey out)、つまり、除去しても良い。レコメンダ338は、表示部111/211のような表示装置を含むことがある出力339を介して、そのような示唆をユーザに送る。ユーザは、操作部(例えば、操作部113/213)を利用して、提案を受け入れるか又は拒否できる。いくつかの態様では、レコメンダ338は、直接的なユーザの手ほどき、承認又はやりとりを必要とせずに、直ちに、提案されたアクションを行ったり、提案された測定を開始しても良い。
【0027】
図4は、分類子435及びモデル・データ436のオブジェクトを含む機械学習オブジェクト400の実施形態を示すブロック図である。分類子435及びモデル436は、それぞれ分類子335及びモデル336と実質的に同様である。分類子435は、ランダム・フォレスト機械学習アルゴリズムを実現するように構成された分類子335の一例である。分類子435は、決定フォレスト441を含み、これは、複数の決定木443を更に含む。具体的には、決定フォレスト441が各分類(例えば、分類子335に関して議論されたように)ごとに作成される。トレーニング中に、トーニング・データに基づいて、決定フォレスト441において、複数の決定木443が成長する。具体的には、決定フォレスト441が各分類(例えば、分類子335に関して議論されたように)ごとに作成される。トレーニング中に、トーニング・データに基づいて、決定フォレスト441において、複数の決定木443が成長する。上述のように、トレーニング・データを分類するのに、決定木443によって、様々な信号特性が利用され、間違った結果(例えば、不適切な一致又は不適切な不一致)が返答されると、決定木443が修正される。いくつかの態様では、100個の決定木443が、決定フォレスト441において利用される。トーニング・データ・セットに対する決定木43の過剰適合(overfitting)の発生を低減するため、ランダム化が利用される。学習段階が完了すると、各分類子435に対する信頼しきい値445が記憶されても良い。信頼しきい値445は、対応する決定フォレスト441及び対応する分類子435に関して肯定的な分類を生じるように、肯定的な分類を出力する(例えば、一致と返答する)であろう決定フォレスト441中の決定木443の最小パーセンテージを示す。例えば、実際に一致が見つかったとシステムが確信する前において、80%の信頼しきい値445は、決定木443の80%が一致を示すべきであることを示すのに利用できる。更に、トレーニング・データ・セットに関する決定フォレスト(決定フォレスト)441の精度を評価するのに、相互検証(cross-validation)を利用しても良い。トレーニング・データに関する決定フォレストの出力を更に修正するのに相互検証の結果を利用しても良い。
【0028】
評価段階において、入力ポートを介して測定データを受けて、プロセッサへと送られる。プロセッサは、分類子435の夫々を測定データに適用して、その測定データに関する分類を決定する。選択された分類子435が適用されると、決定フォレスト443は、各決定木443を適用し、出力を受ける。分類子435は、一致と報告する決定木443の出力のパーセンテージを、信頼値447として利用する。決定フォレスト441によって出力された信頼値447が、分類子435の信頼しきい値445を超えると、決定木441、従って分類子435は、一致を返答したと見なされる。
【0029】
図示のように、各分類子435は、分類子435の分類に関連する示唆された測定444及び示唆されたアクション446を示すモデル436に対応する。信頼しきい値445を超える信頼値447によって示されるように、分類子435が一致を返答する場合、レコメンダは、分類に対応するモデル436を選択して、対応する提案された測定444や提案されたアクション446を取得する。次いで、レコメンダは、入力ポートを通じて受けた波形を捕捉するときに、選択されたモデル436に対応する提案された測定444や提案されたアクション446を利用するように、試験測定装置を設定できる。上述のように、提案された測定444や提案されたアクション446は、ユーザに直感的なアクションを示唆するために、学習段階中に設定される。提案された測定444には、表示上で、分類子335に関してリストされた測定をソートする処理、イネーブルする処理、ハイライトする処理や隠す処理を含んでも良い。提案されたアクション446は、表示上で、分類子335に関してリストされたバスのカテゴリをソートする処理、イネーブルする処理、ハイライトする処理や隠す処理を含んでも良い。
【0030】
図5は、試験測定システムにおいて学習段階を実施する方法500の一実施形態を示すブロック図である。方法500は、機械学習オブジェクト400のようなデータ構造を有するシステム300のような試験測定システムを動かすオシロスコープ100/200のようなオシロスコープによって使用されてもよい。ブロック501では、トレーニング・データ331のようなトレーニング・データを、例えば、入力ポートを介して受ける。トレーニング・データは、波形やバスを表し、また、対応する既知の分類も含んでも良い。ブロック503では、プロセッサは、機械学習アルゴリズムを使用して、既知の分類に基づいて、トレーニング・データについての分類子をトレーニングする。具体的には、各分類子がトレーニング・データの各波形に反復的に適用されて、対応する予測された波形を得る。予測された波形の分類は、既知の分類と比較される。更に、対応する波形の既知の分類と一致しない予測された波形分類を出力する各分類子は、修正される。予測された波形の分類は、既知の分類と比較される。更に、対応する波形の既知の分類と一致しない予測された波形分類を出力する各分類子は、修正される。反復的に各分類子を試験し、修正することによって、新しい入力データの分類を試みるときに、分類子は徐々に一層正確になる。ブロック505では、信頼しきい値が、オプションで、分類子に関して記憶されても良い。例えば、決定フォレストに基づく分類子は、信頼しきい値を利用する一方で、他の学習アルゴリズムでは信頼しきい値を利用せず、代わりに、各分類子に関して、一致(例えば、分類)か又は不一致(分類なし)を返答するのみとしても良い。モデル436のようなモデルは、ブロック507で生成される。提案された測定や提案されたアクションのセットが、各モデルに加えられる。提案された測定/アクションには、モデルに対応する分類子の分類と測定データが一致すると、試験測定システムによって実行される命令が含まれる。例えば、波形分類に関連する提案された測定は、波形分類に対応する分類子に対して記憶され、バス分類に関連する提案されたアクションは、バス分類に対応する分類子に対して記憶される。ブロック509では、トーニング・データの相互検証を用いて、分類子の精度を評価したり、分類子を更に修正する。相互検証は、波形に基づくトレーニング・データ及びバスに基づくトレーニング・データの両方で行っても良い。
【0031】
図6は、試験測定システムにおいて評価段階を実施する方法600の一実施形態を示すブロック図である。方法600は、機械学習オブジェクト400などのデータ構造を有するシステム300のような試験測定システムを動かすオシロスコープ100/200のようなオシロスコープによって使用されてもよい。具体的には、方法600は、方法500のトレーニングが完了した後に、利用しても良い。ブロック601では、例えば、入力ポートを介して測定データを受ける。受けた測定データは、測定される波形又はバス入力に対応し、分類のために受信される。ブロック602では、各分類子が測定データに適用されて、例えば、測定されたデータ又はバス入力に関して、分類が決定される。上述のように、分類子はそれぞれ、信号の振幅、時間特性、ジッタ、電力(パワー)などを調べることによって分類を返答する。ブロック603では、分類の決定をサポートするために、分類子のいくつか又は全てに関して信頼値が生成される。ブロック605では、分類子の信頼値が、それら夫々の信頼しきい値と比較され、単一の分類子が、対応する記憶された信頼しきい値を超える信頼値を生成するか否かが決定される。2つの分類子が一致を返答する場合、分類は不明である。分類子が一致を返答しない場合、分類はできない。どちらの場合も、方法600は、ブロック609に進む。こうした場合、分類は、不成功である。この結果は、試験測定システムの表示部上に表示しても良く、アクションは行われない。もし単一の分類子が、対応する信頼しきい値を超える信頼値を返答したら、波形形式又はバス形式の分類は成功であり、すると、方法600は、ブロック607に進む。決定された分類を返答する分類子に対応するモデルが、例えば、レコメンダによって選択される。上述のように、このモデルは、分類子に関して提案される測定やアクションに対応する。レコメンダは、例えば、操作部を介したユーザの承認に基づき、測定された波形をキャプチャするときに、選択されたモデルに対応する提案された測定/アクションを利用するように、試験測定装置を設定することによって、提案された測定やアクションを実施する。レコメンダは、その提案を強調又は非強調表示したり、決定分類に無関係なアクション/測定を表示から除去したり、又は、ユーザからの承認を受けたらアクションを実行するよう試験測定システムを準備するかのどれかによって、表示上でユーザに対して、提案されたアクション/測定を表示しても良い。対応する分類に関して有用ではない入力を取り除くことによって、モデル中の対応する分類セットの入力を減らすことにより、各分類子の分類について、特徴の選択(Feature selection)を利用しても良い。従って、方法500~600によって、データ・オブジェクト400を有する試験測定システム300を動かすオシロスコープ100/200は、オシロスコープが、オシロスコープへの入力信号を分類し、それに応じてユーザに関連する装置の機能を強調又は非強調するようオシロスコープの表示を変更できるようにすることによって、オシロスコープの機能を改善する。よって、本願で開示される装置、システム及び方法は、他のシステムよりも大幅に簡単にわかりやすく、ユーザが関連する機能にアクセスできるようにする。
【0032】
本発明の実施形態は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータで動作できる。本願で使用する「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ASIC、及び専用ハードウェア・コントローラを含むことを意図している。本発明の1つ又は複数の態様は、1つ又は複数のコンピュータ(モニタリング・モジュールを含む)又は他のデバイスによって実行される、1つ又は複数のプログラム・モジュールのようなコンピュータ利用可能データ及びコンピュータ実行可能命令で実施できる。概して、プログラム・モジュールは、コンピュータ又は他のデバイス中のプロセッサによって実行されたときに、特定のタスクを実行するか又は特定の抽象データ型を実現するルーチン又はプログラム、オブジェクト、コンポーネント、データ構造などを含む。コンピュータ実行可能な命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、RAM等のような非一時的なコンピュータ可読媒体に記憶されてもよい。当業者には理解されるように、複数のプログラム・モジュールの機能は、組み合わせても良いし、必要に応じて、様々な実施形態に分散させても良い。加えて、これら機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)などのようなファームウェア又はハードウェア等価物において全体又は部分的に実現されても良い。本発明の1つ以上の態様をより効果的に実現するのに、特定のデータ構造を利用しても良く、こうしたデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ利用可能データの範囲内と考えられる。
【0033】
開示された主題の上述のバージョンは、記載されているか又は当業者には明らかであろう多くの利点を有する。そうだとしても、開示された装置、システム又は方法の全てのバージョンにおいて、これらの利点又は特徴の全てが要求されるわけではない。
【0034】
加えて、この記載の説明では、特定の特徴に言及している。この明細書における開示は、これら特定の特徴の可能な全ての組み合わせを含むと理解されるべきである。例えば、特定の特徴が、特定の態様又は実施形態という状況で開示されている場合、その特徴は、可能な限り、他の態様及び実施形態の状況においても利用できる。
【0035】
また、本願において、2つ以上の定義されたステップ又は動作を有する方法に言及する場合、定義されたステップ又は動作は、状況がそれらの可能性を排除しない限り、任意の順序で又は同時に実行できる。
【0036】
説明の都合上、本発明の特定の実施形態を図示し、説明してきたが、本発明の趣旨及び範囲から逸脱することなく様々な変更がなされ得ることが理解できよう。従って、本発明は、添付の特許請求の範囲を除いて限定されるべきではない。
【0037】
以下の概念は、明確にするために提示されており、本発明の範囲を限定するものと考えるべきではない。
【0038】
本発明の概念1は、試験測定装置であって、
測定データを受けるよう構成された入力ポートと、
該入力ポートと結合され、
複数の分類子を上記測定データに適用して、上記測定データに関する分類を決定し、
上記分類に対応し、1つ以上の提案される測定に対応するモデルを選択し、
上記入力ポートを通じて受ける波形を捕捉するときに、選択された上記モデルに対応する提案される上記測定を使用するように上記試験測定装置を設定する
よう構成されるプロセッサと
を具えている。
【0039】
本発明の概念2は、上記概念1の試験測定装置であって、このとき、複数の上記分類子が、少なくとも1つの決定フォレストを含み、ここで、該決定フォレストは、上記分類子の信頼しきい値を上記決定フォレストが出力する信頼値が超える場合に、上記測定データの分類を決定する。
【0040】
本発明の概念3は、上記概念1の試験測定装置であって、このとき、複数の上記分類子は、特定の波形形式を分類するように選択された特定の機械学習アルゴリズムを有する複数の機械学習アルゴリズムを利用する。
【0041】
本発明の概念4は、上記概念1の試験測定装置であって、このとき、上記分類子は、信号の振幅、時間特性、ジッタ又は電力を調べることによって、上記測定データの分類を決定する。
【0042】
本発明の概念5は、上記概念1の試験測定装置であって、このとき、上記分類に対応する上記モデルは、上記入力ポートを通じて入ってくる波形の形式を示す。
【0043】
本発明の概念6は、上記概念1の試験測定装置であって、このとき、上記分類に対応する上記モデルは、上記入力ポートに接続されるバスを示す。
【0044】
本発明の概念7は、上記概念1の試験測定装置であって、表示部を更に具え、このとき、上記プロセッサは、更に、ユーザの選択を可能又は不可能にするように表示を変更することによって、選択された上記モデルに対応するアクションを提案するよう構成される。
【0045】
本発明の概念8は、上記概念1の試験測定装置であって、このとき、上記プロセッサは、直接的なユーザのやりとりなしに、提案されたアクションを開始するよう更に構成される。
【0046】
本発明の概念9は、測定を提案するよう試験測定装置をトレーニングする方法であって、この方法は、
波形及び対応する既知の分類を含むトレーニング・データを入力ポートを介して受ける処理と、
プロセッサにより、
分類子の夫々を上記トレーニング・データの上記波形の夫々に繰り返し適用して、対応する予測波形分類を取得する処理と、
上記予測波形分類を上記既知の分類と比較する処理と、
対応する上記波形に関する上記既知の分類と一致しない予測波形分類を出力する上記分類子の夫々について修正する処理とにより、上記トレーニング・データについての複数の分類子をトレーニングする処理と
を具えている。
【0047】
本発明の概念10は、上記概念9の方法であって、このとき、上記分類子は、決定フォレストを含み、ここで、上記分類子をトレーニングする処理が、上記決定フォレスト中の決定木を成長させる処理を含んでいる。
【0048】
本発明の概念11は、上記概念10の方法であって、上記分類子の夫々に対する信頼しきい値を記憶する処理を更に具え、上記信頼しきい値は、対応する上記分類子に関して肯定的な分類を生じるように、肯定的な分類を出力する上記決定フォレスト中の決定木の最小パーセンテージを示す。
【0049】
本発明の概念12は、上記概念9の方法であって、上記分類子を更に修正するために、上記トレーニング・データの相互検証を利用する処理を更に具えている。
【0050】
本発明の概念13 は、上記概念9の方法であって、対応する上記分類に有用でない入力を除去することによって、対応する分類子のセットの入力を低減するように、上記分類子の夫々についての特徴選択を利用する処理を更に具えている。
【0051】
本発明の概念14は、上記概念13の方法であって、上記モデル夫々に対する1つ以上の提案されたアクションのセットを記憶する処理を更に具え、上記提案されたアクションが、上記モデルに対応する分類子の分類と測定データが一致すると、上記試験測定システムによって実行される命令を含む。
【0052】
本発明の概念15は、上記概念9の方法であって、
測定される波形又はバス入力に対応する測定データを受ける処理と、
上記分類子の夫々を上記測定データに適用して、測定された上記波形の分類を決定する処理と、
決定された上記分類を返答する上記分類子に対応するとともに、上記分類子に関する1つ以上の提案される測定に対応するモデルを選択する処理と、
測定される上記波形を捕捉するときに、選択された上記モデルに対応する提案された上記測定を利用するように上記試験測定装置を設定する処理と
を具えている。
【0053】
本発明の概念16は、上記概念15の方法であって、このとき、測定される上記波形に関する上記分類を決定する処理が、上記分類子の夫々に関する信頼値を生成する処理を含み、このとき、単一の分類子が、記憶された信頼しきい値を超える信頼値を生成する場合に、上記分類が決定される。
【符号の説明】
【0054】
100 試験システム
110 オシロスコープ
111 表示部
113 操作部
115 ポート
121 被試験デバイス(DUT)1
123 バス
125 測定データ
200 オシロスコープ
211 表示部
212 プロセッサ
213 ユーザ操作部
214 信号分析回路
215 入力ポート
216 機械学習モジュール
217 メモリ
300 試験測定システム
331 トレーニング・データ
333 機械学習モジュール
335 分類子
336 モデル
337 捕捉された波形測定値/デバイス状態
338 レコメンダ
339 出力部
400 機械学習オブジェクトs
435 分類子
436 モデル
441 決定フォレスト
443 決定木
444 決定フォレスト
445 信頼しきい値
446 提案されたアクション
447 信頼値
図1
図2
図3
図4
図5
図6