(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-24
(45)【発行日】2024-02-01
(54)【発明の名称】拡張現実に関連する試験測定装置、システム及び方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240125BHJP
G06F 3/0484 20220101ALI20240125BHJP
G06F 3/01 20060101ALI20240125BHJP
G01R 1/02 20060101ALI20240125BHJP
【FI】
G06T19/00 600
G06F3/0484
G06F3/01 510
G01R1/02
(21)【出願番号】P 2019569823
(86)(22)【出願日】2018-06-18
(86)【国際出願番号】 US2018038093
(87)【国際公開番号】W WO2018232404
(87)【国際公開日】2018-12-20
【審査請求日】2021-06-09
(32)【優先日】2017-06-16
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2017-06-16
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】391002340
【氏名又は名称】テクトロニクス・インコーポレイテッド
【氏名又は名称原語表記】TEKTRONIX,INC.
(74)【代理人】
【識別番号】100090033
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】ニールズ・テイラー・ビー
(72)【発明者】
【氏名】ニーリム・ダニエル・ジー
(72)【発明者】
【氏名】ワッジータ・マイケル・ジェイ
(72)【発明者】
【氏名】オブライエン・ジョシュア
【審査官】村松 貴士
(56)【参考文献】
【文献】特開2012-220477(JP,A)
【文献】特開2015-119236(JP,A)
【文献】特開2002-303640(JP,A)
【文献】特開2014-123193(JP,A)
【文献】特開2016-099638(JP,A)
【文献】特開2005-227876(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
G06F 3/048 - 3/04895
G01R 1/00 - 1/44
G01R 13/00 - 13/42
(57)【特許請求の範囲】
【請求項1】
被試験デバイスを含む物理的試験環境をダイナミックに拡張するための拡張設定を記憶するように構成されたデータ記憶装置と、
上記データ記憶装置に結合されたコンピューティング装置と、
ユーザからのユーザ入力を受ける入力装置と、
上記被試験デバイスからの入力信号に対応する波形データを生成する試験測定装置と、
上記ユーザが装着するヘッド・マウント・ディスプレイ装置であって、上記コンピューティング装置からの画像信号を受けて、該画像信号から生じる画像を上記物理的試験環境にオーバーレイして上記ユーザに対して拡張画像として表示可能な上記ヘッド・マウント・ディスプレイ装置と
を具え、
該コンピューティング装置が、
上記物理的試験環境からの入力素材として上記波形データを受けて、
上記拡張設定と上記波形データとに基づいて上記拡張画像を作成し、
上記物理的試験環境にオーバーレイされる上記拡張画像の画像信号を上記ヘッド・マウント・ディスプレイ装置に出力して、上記ユーザの上記物理的試験環境の表示を拡張し、上記ユーザに対して上記波形データを
3次元オブジェクトとして上記物理的試験環境の3次元空間において表示
し、上記波形データの上記3次元オブジェクトを仮想的に操作する上記ユーザ入力に応じて、上記波形データの表示を回転させて、上記波形データを任意の方向から観察可能とするよう構成される
試験測定システム。
【請求項2】
上記入力素材
として上記物理的試験環境の画像をキャプチャして上記コンピューティング装置に提供するように構成されたカメラを更に具え
、
上記コンピューティング装置が、上記物理的試験環境の画像が含む物理的目印に基づいて、上記拡張画像を上記物理的試験環境にオーバーレイする位置を特定する請求項1による試験測定システム。
【請求項3】
上記ユーザが行うジェスチャを認識するジェスチャ・キャプチャ・メカニズムと、
該ジェスチャ・キャプチャ・メカニズムが提供するデータからジェスチャを特定し、コマンドに変換するジェスチャ解釈モジュールと
を有
する入力装置を更に具え、
上記コマンドに応じて上記試験測定装置の設定を変更することによって上記コンピューティング装置が上記拡張画像を変更するように構成されている請求項
1による試験測定システム。
【請求項4】
データ記憶装置を使用して、被試験デバイスを含む物理的試験環境をダイナミックに拡張するための拡張設定を記憶する処理と、
試験測定装置が上記被試験デバイスから入力素材として入力信号を受けて波形データを生成する処理と、
コンピューティング装置を使用して、上記拡張設定及び上記波形データに基づいて拡張画像を作成する処理と、
上記波形データを上記拡張画像として上記物理的試験環境にオーバーレイすることによって上記波形データを
3次元オブジェクトとして上記物理的試験環境の3次元空間において表示し、
上記波形データの上記3次元オブジェクトをユーザが仮想的に操作することによって、上記波形データの表示を回転させて、上記波形データを任意の方向から観察可能とすることで、上記物理的試験環境の
上記ユーザの視界を拡張する処理と
を具える機械で制御される方法。
【請求項5】
プロセッサによって実行されると、該プロセッサが、
データ記憶装置から物理的試験環境をダイナミックに拡張するための拡張設定を受ける処理と、
上記物理的試験環境中の被試験デバイスから入力素材として入力信号を受けて波形データを生成する処理と、
上記拡張設定及び上記波形データに基づいて拡張画像を生成する処理と、
上記拡張画像を上記物理的試験環境にオーバーレイして上記波形データを
3次元オブジェクトとして上記物理的試験環境の3次元空間において表示し、
上記波形データの上記3次元オブジェクトに対するユーザの仮想的に操作に応じて、上記波形データの表示を回転させて、上記波形データを任意の方向から観察可能とすることで、上記物理的試験環境の
上記ユーザの視界を拡張する処理と
を実行する命令を含む1つ以上のコンピュータ・プログラム。
【請求項6】
被試験デバイス(DUT)と、
物理的試験環境をダイナミックに拡張するための拡張設定を記憶するように構成されたデータ記憶装置と、
ユーザが着用するよう構成されたヘッド・マウント・ディスプレイ装置と、
上記DUTと相互作用するように構成された測定プローブと、
該測定プローブを介して上記DUTからの入力信号を受けて波形データを生成する試験測定装置と、
上記測定プローブに結合されたプローブ・カメラと、
ユーザからのユーザ入力を受ける入力装置と、
上記データ記憶装置に結合されたコンピューティング装置と
を具え、
該コンピューティング装置が、
上記物理的試験環境からの入力素材として上記波形データを受け、
上記測定プローブに結合された上記カメラでキャプチャされた画像を受け、
上記拡張設定、上記波形データ及び上記プローブ・カメラでキャプチャされた上記画像に基づいて拡張画像を作成し、
上記ヘッド・マウント・ディスプレイ装置に上記物理的試験環境にオーバーレイされた上記拡張画像を上記ユーザに対して視覚的に提示
させることで、上記波形データ
を3次元オブジェクトとして上記物理的試験環境の3次元空間において表示さ
せ、
上記波形データの上記3次元オブジェクトを仮想的に操作する上記ユーザ入力に応じて、上記波形データの表示を回転させて、上記3次元空間において上記波形データを任意の方向から観察可能とするよう構成される
試験測定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、米国仮出願第62/520,755号、発明の名称「拡張現実(AUGMENTED REALITY)に関連する試験測定装置、システム及び方法」、並びに、米国仮出願第62/520,882号、発明の名称「装置操作のためのジェスチャ・ベースのインタフェース」、両方共に出願日は2017年6月16日の利益を主張するものであり、これらの内容は、参照することにより、本願に完全に組み入れられる。
【0002】
開示技術の実施形態は、大まかに言って、電気的試験測定装置に関し、特に、それを用いた仮想現実や拡張現実の実施に関する。
【背景技術】
【0003】
電気的試験測定環境は、ますます複雑な信号を扱うようになってきており、これは、エンド・ユーザに対して直感的なやり方で波形を表示するように試験測定装置の能力の限界を拡大させている。同様に、様々な被試験デバイス(DUT)の設計及び物理的な実現手法の両方の複雑さも増大している。DUTの増加する複雑さは、DUTを分析する試験測定環境においてユーザに要求されるであろう多数のタスクを実行する上での複雑さも増大させている。
【0004】
例えば、試験測定環境にいるユーザは、DUTの関心のある1つ以上の信号を取り込むことができる、DUTの構造上の信号取り込み領域を特定することが必要となることがある。これは、例えば、DUTのブロック図のようなDUTの構造を分析し、関心のある1つ以上の信号を取り込むことができ、その構造中の領域又はポイントを特定することで実現できることがある。次いで、ユーザは、DUTから関心のある1つ以上の信号をサンプルできるようにするため、DUT自身の信号取り込み領域に関連するプロービング・ポイントの物理的な位置を特定することが必要となるであろう。
【0005】
これは、例えば、1つ以上のプローブを、対応する個数のプロービング・ポイントに接触させて、プローブが1つ以上の関心のある信号をサンプルできるようにすることで実現できる。プローブを接触させたら、ユーザは、試験測定装置のディスプレイ上で、それらの信号を見ることができる。しかし、DUTの構造、DUTの物理的な実現手法及びそのDUTで生成される信号の複雑さが増大しているため、これらタスクの夫々は、実行するのが、益々より困難で、より時間のかかるものとなり続けている。
【0006】
また、特定のコンタクトが、(例えば、典型的には、プローブからの)グラウンド・クリップ又はワイヤを接続するのに、受け入れ可能な場所であるか否かを判断するのが、顧客にとって困難なことがある。というのは、グラウンドを受け入れ不可の場所に接続すると、DUTを破損する可能性と共に、潜在的に操作者や装置に危険なものとなり得るからである。
【0007】
よって、電気的試験測定装置に係るユーザ体験に関する装置、システム及び方法を改善するニーズが残っている。
【図面の簡単な説明】
【0008】
【
図1】
図1は、開示技術のいくつかの実施形態による拡張現実システムが組み込まれた電子試験測定環境の例を示すブロック図である。
【
図2A】
図2Aは、開示技術のいくつかの実施形態による物理的試験環境の物理的視界の第1の例を示す。
【
図2B】
図2Bは、開示技術のいくつかの実施形態による拡張画像の第1例を示す。
【
図2C】
図2Cは、開示技術のいくつかの実施形態による拡張された視界の第1の例を示す。
【
図2D】
図2Dは、開示技術のいくつかの実施形態による拡張画像の第2の例を示す。
【
図2E】
図2Eは、開示技術のいくつかの実施形態による拡張された視界の第2の例を示す。
【
図2F】
図2Fは、開示技術のいくつかの実施形態による拡張された視界の第3の例を示す。
【
図3A】
図3Aは、開示技術のいくつかの実施形態による物理的試験環境の物理的視界の第2の例を示す。
【
図3B】
図3Bは、開示技術のいくつかの実施形態による拡張された視界の第1の例を示す。
【
図3C】
図3Cは、開示技術のいくつかの実施形態による拡張された視界の第2の例を示す。
【
図3D】
図3Dは、開示技術のいくつかの実施形態による拡張された視界の第3の例を示す。
【
図3E】
図3Eは、開示技術のいくつかの実施形態による拡張された視界の第4例を示す。
【
図4】
図4は、開示技術のいくつかの実施形態による電子試験測定システムのためのプロセッサで制御された方法の例を示すフロー図である。
【
図5】
図5は、本開示の様々な実施形態によるスミス・チャート図の例を示す。
【
図6】
図6は、本開示の様々な実施形態による
図5のスミス・チャート図に由来する例示的なデータを示す。
【
図7】
図7は、本開示の様々な実施形態による拡張現実(AR)環境の例を示す。
【
図8】
図8は、本開示の様々な実施形態による、DUTを含む物理的環境上にオシロスコープ前面パネルの仮想操作装置及び波形表示の両方をオーバーレイした例を示す。
【
図9】
図9は、本開示の様々な実施形態に従って、ユーザが複雑な測定をより容易に実行できるように、複数の視覚的なヒント(cue)を伴う波形表示を物理的環境上にオーバーレイした例を示す。
【
図10】
図10は、本開示の様々な実施形態によって、ユーザが物理的なDUTを同時に見ながらCADの設計を参照できるように、関連するDUTの隣にオーバーレイされた設計文書の第1の例を示す。
【
図11】
図11は、本開示の様々な実施形態によって、ユーザが物理的なDUTを同時に見ながらCADの設計を参照できるように、関連するDUTの隣にオーバーレイされた設計文書の第2の例を示す。
【
図12】
図12は、本開示の様々な実施形態に従って、物理的なDUTを同時に見ながら、試験サイクルにおいてユーザをガイドする(例えば、過去の試験サイクルを再現する)ための仮想オーバーレイの例を示す。
【
図13】
図13は、本開示の様々な実施形態によるAR環境で表示された仮想的なオシロスコープ及び仮想的に無限の画面の例を示す。
【
図14】
図14は、本開示の様々な実施形態によるDUTにオーバーレイされた温度測定値の仮想的な描写の例を示す。
【
図15A】
図15Aは、様々なアイ・ダイアグラム及び様々なバスタブ・プロットによって、ジッタを示そうとする現在の試みを示す。
【
図15B】
図15Bは、様々なアイ・ダイアグラム及び様々なバスタブ・プロットによって、ジッタを示そうとする現在の試みを示す。
【
図15C】
図15Cは、様々なアイ・ダイアグラム及び様々なバスタブ・プロットによって、ジッタを示そうとする現在の試みを示す。
【
図15D】
図15Dは、様々なアイ・ダイアグラム及び様々なバスタブ・プロットによって、ジッタを示そうとする現在の試みを示す。
【
図15E】
図15Eは、様々なアイ・ダイアグラム及び様々なバスタブ・プロットによって、ジッタを示そうとする現在の試みを示す。
【
図16A】
図16Aは、本開示の様々な実施形態によるAR環境における例示的なジッタ・プロットを示す。
【
図16B】
図16Bは、本開示の様々な実施形態によるAR環境における例示的なジッタ・プロットを示す。
【
図17】
図17は、本開示の様々な実施形態による物理的な環境の上にオーバーレイされた複数の試験測定装置からの複数の出力信号の集合の例を示す。
【
図18】
図18は、本開示の様々な実施形態による物理的なDUT上にオーバーレイされた仮想的な波形の例を示す。
【
図20】
図20は、本開示の様々な実施形態による、物理的なDUTを見ながら同時にDUTをプロービングして生成されるRF測定値の仮想的なオーバーレイの例を示す。
【
図21A】
図21Aは、本開示の様々な実施形態によるAR環境で表示された仮想データの操作(例えば、ジェスチャによる)の例を示す。
【
図21B】
図21Bは、本開示の様々な実施形態によるAR環境で表示された仮想データの操作(例えば、ジェスチャによる)の例を示す。
【
図21C】
図21Cは、本開示の様々な実施形態によるAR環境で表示された仮想データの操作(例えば、ジェスチャによる)の例を示す。
【
図21D】
図21Dは、本開示の様々な実施形態によるAR環境で表示された仮想データの操作(例えば、ジェスチャによる)の例を示す。
【
図21E】
図21Eは、本開示の様々な実施形態によるAR環境で表示された仮想データの操作(例えば、ジェスチャによる)の例を示す。
【
図21F】
図21Fは、本開示の様々な実施形態によるAR環境で表示された仮想データの操作(例えば、ジェスチャによる)の例を示す。
【
図22】
図22は、本開示の様々な実施形態による高度没入型表示を生じるアナログ/デジタル/RF波形を表す仮想3次元オブジェクトの例を示す。
【
図23】
図23は、ジェスチャに基づいてインタラクティブに試験測定装置を操作するためのシステムのブロック図である。
【発明を実施するための形態】
【0009】
開示技術の実施形態は、大まかに言えば、ユーザが電気的試験測定環境内に視覚的に没入する体験を得られるように、電気的試験測定環境を組み入れる設定が可能な拡張現実(augmented reality)システムに関する。より詳細には、後述するように、試験測定環境内にユーザが視覚的に没入することにより、ユーザが実行しているタスク間のより効率的な移行が可能になる。
【0010】
加えて、このシステムは、本願に記載される拡張現実の実施形態よりも以前では単純に不可能であった情報及びガイダンスをユーザに提示できる。更に、ユーザが試験測定環境に視覚的に没入することにより、ユーザが新しくユニークな方法で信号、波形及び様々な種類の情報やデータをインタラクティブに扱うことが可能になる。
【0011】
この視覚的な没入は、仮想コンテンツや拡張(augmented)コンテンツを、物理的環境の画像やビデオ画像の上に重ねる(オーバーレイする)ことで実現できる。いくつかの構成では、物理的環境の画像又はビデオ画像は、物理的環境内の、例えば、ヘッド・マウント・ディスプレイ(HMD)、タブレットなどに設けられた1つ以上のカメラでキャプチャされても良い。別の構成では、仮想コンテンツや拡張コンテンツを透過ディスプレイにオーバーレイし、これによって、ユーザが仮想又は拡張画像を物理的環境と一体化した状態で、物理的環境を直接見ることが可能な仮想又は拡張現実システムを構成できる。
【0012】
いずれの構成でも、物理的環境内の仮想/拡張コンテンツの位置は、物理的環境内に配置された1つ以上のマーカー又は他の物理的目印に基づいて決定できる。このようなマーカーとして、DUT自身の特徴(例えば、ボールグリッド配列、プローブ・ポイントなど)、プローブ若しくはその特徴、物理的環境内のポインタ(例えば、手、スタイラスなど)、又は、物理的環境内の他の適切な人工物(artifact)が含まれても良く、これらは、仮想/拡張コンテンツを配置する場所を特定したり、仮想/拡張コンテンツの生成を開始させるのに利用できる。
【0013】
仮想/拡張コンテンツは、ディスプレイ内(例えば、ピクセル座標によって決定される)又は環境内の事前に決定された位置に従って配置することもできることが理解できよう。このような事前に決定された位置は、自動的に選択されても良いし、又は、ユーザが設定/変更しても良い。そのような機能は、仮想コンテンツの位置を決定するのに利用されるメカニズムに基づいては制限されることはないことが理解できよう。また、マーカー・ベース又はマーカー・レス(マーカーなし)ベースの仮想若しくは拡張現実メカニズム又はその任意の組み合わせが、いつ又はどこに様々な仮想/拡張コンテンツを表示するかを決定する際に利用できることも理解できよう。
【0014】
様々な構成においては、物理的環境内におけるユーザ又は拡張現実システムの動きを反映させるために、仮想/拡張コンテンツの幾何学的配置(例えば、視点)を更新しても良い。例えば、ユーザは3次元空間で、波形又はその測定値を見ることができる。このような例では、拡張現実システムは、ユーザが3次元空間をあちこちに移動して、異なる視点から波形又はその測定結果を見ることを可能にする。
【0015】
代替の構成又は追加の構成では、ユーザは、まるでユーザが3次元の測定結果を保持しているかのように、仮想/拡張コンテンツの視点を操作できる。このような構成では、ユーザの手の動きを(例えば、手の動き/ジェスチャを追跡するためのカメラ、赤外線、レーザその他の適切なメカニズムによって)追跡でき、仮想/拡張されたコンテンツは、それらの動きを反映するように更新できる。
【0016】
いくつかの実施形態では、AR環境は、グラウンド警告システムを用いて、グラウンド・クリップ又はワイヤによる短絡(ショート)を許容できない1つ以上の領域を視覚的に強調(ハイライト)するように構成でき、これに代えて、又は、これに加えて、このシステムは、接地(グラウンド接続)が許されるコンタクトを視覚的に強調しても良い。これは、ユーザがプローブ・グラウンドを的確な位置に接続し、推測やユーザ・エラーを排除するための視覚的なガイダンスを提供する。
【0017】
図1は、開示技術のいくつかの実施形態に従って、拡張現実システムが組み込まれた電子試験測定環境100の例を示すブロック図である。この例では、環境100には、オシロスコープなどの試験測定装置108があり、これは、被試験デバイス(DUT)104と相互に交信するように設定可能なプローブ106と結合される。DUT104は、波形を処理(例えば、デジタル化、トリガ、測定など)するためにプローブ106を介して試験測定装置108に送ることができ、波形から波形データ(例えば、波形のデジタル表現、波形の測定値など)を生成できる。
【0018】
この波形データは、次に、コンピューティング装置(デバイス)110に送られても良く、これは、ヘッド・マウント・ディスプレイ、タブレット・デバイス、画像表示スクリーン又は携帯電話のディスプレイなどの表示装置112を介してユーザに表示するために、波形データをフォーマットするよう構成されていても良い。例えば、背面カメラを備えたタブレットによって物理的環境の画像をキャプチャし、これの上に拡張コンテンツを重ねる(オーバーレイ)ことで、より効果的にデータを表示できることが理解できよう。本願で記述する、物理的環境上にオーバーレイされた仮想/拡張コンテンツを表示できるあらゆるデバイスは、本開示の範囲内であると考えられる。従って、本願でのヘッド・マウント・ディスプレイへの言及は、他の任意の適切な表示装置に言及するのと等しいものであり得る。また、いくつかの実施形態では、表示装置112は、少なくとも部分的に透過性である。
【0019】
実施例によっては、試験測定環境100に、1つ以上のデータ記憶装置114があっても良い。データ記憶装置114は、描写された他のコンポーネントとは別個にあっても良いし(例えば、1つ以上のサーバー上又は他のコンピューティング装置上にある)、又は、描写された1つ以上のコンポーネント内にあっても良い。実施例によっては、データ記憶装置114が、DUT104に関する情報(例えば、設計図、プロービング・ポイント、基準波形など)又は他の適切な情報を、ヘッド・マウント・ディスプレイ112を介してユーザに表示するために、コンピューティング装置110に供給しても良い。こうして、ユーザは、DUT104やDUT104に関連する波形データを見ながら、拡張コンテンツを見ることができる。
【0020】
複数の個別のコンポーネントとして示されているが、試験測定環境100の一部又は全てのコンポーネントは、もっと少数のコンポーネントに統合しても良いし(例えば、コンピューティング装置110とヘッド・マウント・ディスプレイ装置112は、単一のコンポーネントに一体化できる)、又は、もっと多数のコンポーネントに増加させても良い。単一のDUT104及び試験測定装置108は、単一のコンポーネントとして描かれているが、本開示の範囲から逸脱することなく、複数のDUTや複数の試験測定装置が試験測定環境100内にあっても良い。
【0021】
いくつかの実施形態において、ヘッド・マウント・ディスプレイ装置112は、これと一体化された1台以上のカメラ116を有していても良い。これらのカメラ116は、物理的環境の画像をキャプチャできる。物理的環境の画像は、(例えば、ヘッド・マウント・ディスプレイ装置112又はコンピューティング装置110によって)処理され、例えば、物理的環境の物理的な視界内に拡張コンテンツを配置するためのオーバーレイ位置の特定に利用可能な位置の目印の特定を可能にする。カメラ116には、プローブ106やDUT104と一体化したカメラが含まれていても良く、これは、拡張コンテンツ(例えば、
図2Bの拡張画像220)のソース(画像生成源)として利用できる。
【0022】
本願で使用されるように、拡張コンテンツは、物理的な視野の外側にあるものを含むことができるが、その物理的な視野を拡張するために処理される。このような拡張コンテンツとしては、例えば、プローブ106と一体化されたカメラからのビデオ画像、DUTの図、プローブ106で捕捉された波形データなどがあっても良い。拡張現実(AR)環境でこの拡張コンテンツを表示すると、いくつかの確かな効果を提供できる。例えば、拡張現実(AR)環境で波形データが描写されると、ユーザは、3次元(3D)の物理空間内で、ユーザの前において、3次元形式のコンテンツを検査し、インタラクティブに扱うことができる。例えば、AR環境は、ユーザが3D形式でコンテンツを見て、コンテンツを回転させ、コンテンツの周りを歩き回り、コンテンツを拡大表示(ズーム・イン)及び縮小表示(ズーム・アウト)し、コンテンツを圧縮及び拡張できるように構成できる。ヘッド・マウント・ディスプレイ装置112に結合された操作装置は、ユーザがコンピューティング装置110やオシロスコープ108に記憶された波形データ(又は、オシロスコープ108でリアルタイムにサンプリングされた波形データ)をインタラクティブに扱って、そのような波形データの表示を変更できるようにしてもよい。
【0023】
いくつかの実施形態において、データ記憶装置114は、物理的な試験環境をダイナミックに拡張するために、拡張設定を記憶するよう構成されても良い。このような拡張設定は、拡張画像に関する表示装置112内の配置、位置、方位、又はこれらの組み合わせを含むが、これらに限定されない。コンピューティング装置110は、拡張設定と、物理的な試験環境から受けた、例えば、プローブ106又はカメラ116による入力素材(feed)とに基づいて、拡張画像を作成できる。コンピューティング装置110は、次に、物理的な試験環境にオーバーレイされる(重ね合われる)拡張画像を出力し、例えば、表示装置112に物理的試験環境にオーバーレイされた拡張画像をユーザに対して視覚的に提示することによって、ユーザの物理的試験環境の眺め(View:ビュー)を拡張できる。表示装置の少なくとも一部分が半透明である場合、物理的な試験環境の光景は、半透明の表示を通して見ることができ、物理的な環境上に拡張画像のオーバーレイを生じさせることで、拡張画像は、物理的な試験環境の光景と一致するように表示できることが理解できよう。このような場合、物理的試験環境の画像をキャプチャして利用することで、物理的環境の特徴を求めて、拡張画像内で拡張コンテンツを配置できる。
【0024】
一般に、ARアプローチはコンテンツを仮想的に手で触ることが可能な(tangible:有体の)ものとし、従来の固定ディスプレイでは利用できなかった新しい探査モードを切り開く。例えば、ARアプローチは、ネットワーク(有線、無線又はこれらの任意の組み合わせ)を介して1つ以上のコンピューティング装置に結合された複数のヘッド・マウント・ディスプレイを利用することにより、共有された現実世界の物理的空間内で、複数のユーザが見ることを可能にできる。
【0025】
オシロスコープ108や他の試験測定装置によって生成される波形データは、AR環境での拡張コンテンツとして機能する。例えば、操作装置により、ユーザは、波形を仮想的に表現したものを、回路基板又はDUT104上の、その対応する信号が物理的に存在する物理的な位置に、仮想的に配置可能にできる。例えば、波形の仮想的表現は、更なる分析のためにユーザの机の上や、複数のユーザが同時に観察するために会議テーブルの上、などに仮想的に配置しても良い。
【0026】
ARアプローチを用いて静止波形データやストリーミングのダイナミック/ライブ波形データを表示することにより、ユーザは、まるで波形データがユーザの周りの物理的環境内の実質のある物理的オブジェクトであるかのように、ヘッド・マウント・ディスプレイ装置112を利用して本当の3D形式で波形を見ることができる。これは、波形データの探索におけるかつてないレベルの自由を意味し、これにより、一人のユーザ又は複数のユーザが、仮想的な波形を、物理的空間において、下から、後ろから、上から、又は波形内からというように、複数の視点から同時に見ることを可能にする。これにより、ユーザは、例えば、複雑なデバイスや回路をデバッグしたり、修正したりできる。また、ユーザは、プローブされた物理的領域を直接見て、波形をキャプチャしているプローブの上に浮かぶ仮想の波形を見ることもできる。
【0027】
図2Aは、開示技術のいくつかの実施形態による物理的試験環境200の物理的視界の第1の例を示す。この例では、DUT210は物理的試験環境200内に見ることができる。カメラ214は、プローブ/プローブ・チップ212と一体化され、このカメラからの画像又はビデオをAR環境にストリーミングして、ユーザがプローブ領域を拡大表示したヘッド・アップ・ディスプレイ(HUD)を効果的に体験しながら、引き続き、DUT210、プローブ位置、又は試験測定装置を見ることができる。これにより、ユーザはプローブ・チップを所望のプローブ・ポイントに、より正確に配置でき、これによって、プローブ・チップとプローブポイント間の電気的接続がより良いものとなる。
【0028】
図2Bは、開示技術のいくつかの実施形態による拡張画像220の第1例を示す。この例では、拡張画像(augmentation image)220は、プローブ領域の拡大表示であり、例えば、ユーザが、現在、DUT210上でプローブを配置している領域である。いくつかの実施形態において、拡張画像としては、物理的な試験環境200においてDUT210に関連する生成された波形であっても良い。
【0029】
図2Cは、開示技術のいくつかの実施形態による拡張された視界200の第1の例を示す。この例では、ユーザは、ヘッド・マウント・ディスプレイ装置などの表示装置を使用して、DUT210、プローブ212を含む物理的な試験環境と、拡張画像220(例えば、DUT210のプローブ又はプローブ領域の拡大表示)とを同時に見ることができる。ユーザは、拡張画像の配置、位置、方位などを選択又は変更するのに、拡張設定を使用しても良い。
【0030】
図2Dは、開示技術のいくつかの実施形態による拡張画像230の第2の例を示す。この例では、拡張画像230は、DUT210上のプローブ212又はプローブ位置に関連する波形である。
【0031】
図2Eは、開示技術のいくつかの実施形態による拡張された視界200の第2の例を示す。この例では、ユーザは、DUT210を含む物理的試験環境と、拡張画像230、例えば、DUT210のプローブ又はプローブ領域に関連する波形とを同時に見るために表示装置を利用できる。ユーザは、波形の配置、位置、方位などを選択又は変更するのに、拡張設定を使用しても良い。
【0032】
図2Fは、開示技術のいくつかの実施形態による拡張された視界200の第3の例を示す。この例では、プローブ領域220と波形230の拡大表示は、単一の没入型表示の形で、DUT210を含む物理的環境上に両方ともオーバーレイされている。このような没入型表示により、ユーザは、着目点が明確になり、効率も効果的に向上させることができる。この実施形態は、また、ベンチトップ顕微鏡(マイクロ・エレクトロニクスを扱う作業の際に、ますます必要となってきている)が不要になり、これによって、コストを節約できると共にプロセス改善をもたらし、これらの両方ともに、顧客にも直接もたらされる利点を提供できる。
【0033】
いくつかの実施形態において、システムが、DUT上の特定のポイントをプローブするようにユーザを選択的にガイド(指導)するように構成されても良い。これは複雑な回路基板に特に有益で、試験における生産性を大幅に高めると共にエラーを減らすことができ、同時に、試験の再現を容易にする。このような実施形態では、仮想的なオーバーレイは、例えば、ユーザ入力(CADファイルや試験ポイント(Test Point)選択データなど)から生成でき、仮想的なガイダンスを物理的なDUT上にオーバーレイ(重ね合わせ)することで、ユーザが正確な位置をプローブでき、特定の試験に関する正確な試験ポイントの位置を特定するときに推測又はユーザ・エラーを排除できる。ユーザは、ソフトウェア形式の適切なデータ・ファイルをアップロードでき、すると、単一の試験ポイントを選択するか、又は、以下で例を参照して説明するように、仮想的にオーバーレイされたカラー・ドット(色付きの点)又はカラー記号(色付きのシンボル)の視覚的な指示により、一連の複数の試験ポイント(複数の試験ポイントのシーケンス)をガイドしてもらうことができる。
【0034】
場合によっては、エンジニアや技術者が自分の作業を文書化したいと思うかもしれない。本願で設定されたようなAR環境でこれら作業が行われると、彼ら/彼女らは、その進行状況を見ることができ、また、周りの物理的環境と関連した結果を見ることができるが、更に、それらの結果を他の人と共有したり、将来の参照用に保存できるように、これらのビジュアル(視覚要素)を文書化する方法を希望するかもしれない。
【0035】
このような場合、本願で説明するAR環境は、仮想ARスクリーン・ダンプ(記憶内容を外部に出力する)ユーティリティ又はARスクリーン・レコーディングを実行するように構成でき、これは、ある時点又は一定期間に、AR環境(仮想及び物理的)内でユーザが見ているもの全ての複製を記録できる。透明な表示を利用する実施形態では、物理的な環境のキャプチャを、配置された仮想コンテンツと共に含ませることができ、これによって、AR環境を文書内に正しく取り込むことができる。
【0036】
図3Aは、開示技術のいくつかの実施形態による物理的試験環境300の物理的視界の第2の例を示す。この例では、DUT350が、物理的試験環境300内に見える。DUT350には、例えば、352、354及び356を含む様々な潜在的なプロービング・ポイントと、それら間の結線がある。
【0037】
図3Bは、開示技術のいくつかの実施形態による拡張された視界300の第1の例を示す。ここで、拡張画像には、複数の仮想操作部を有する仮想操作パネルのような第1情報部330及び第2情報部320のような複数の部分を有する仮想ユーザ・インタフェースがある。第1情報部330には、選択コンポーネント310があり、これは、試験対象とする(被試験)領域又は回避すべき領域を指定できる。第1情報部330は、更に、例えば、被試験領域に関連する波形を表示するように構成された波形部340を含むこともある。第2情報部320は、ユーザが選択できる複数の機能(Action)を含んでいても良い。
【0038】
この例では、仮想オーバーレイには、更に、物理的環境上のプローブ・ポイントも含み、例えば、ユーザが誤って試験測定システムを接地するのを防ぐのに役立つ。この例では、「+」のドットは、プローブのグラウンド・クリップ又はワイヤで使用できるグラウンド・コンタクトを示す。この例では、仮想オーバーレイには、更に、アクティブなポイントや試験に適したポイントを示すドットもある。他の記号(シンボル)、アイコン、色等は、そのような接触ポイントを示すために使用されてもよいことが理解できよう。
【0039】
このようなグラウンド警報システムは、DUT350上のコンタクトに関する位置(例えば、座標位置)、物理的な目印(indicia)、又はその他の適切な位置情報を記憶することによって実現できる。この位置情報は、次いで、その位置が受け入れ可能な(acceptable)グラウンドであるかどうかを示す指標と相関させても良い。位置情報と相関に基づいて、オーバーレイ画像300を生成してDUTにオーバーレイし、操作者が、これらの位置がグラウンド接続として受け入れ可能であるか、受け入れ不可であるかをすぐに特定できるようにする。このような画像又はオーバーレイされた位置は、例えば、ユーザがDUT350に関連する物理的な環境内で移動することがあっても、リアルタイムで更新されて、指標を適切な位置に維持できる。
【0040】
図3Cは、開示技術のいくつかの実施形態による拡張された視界300の第2の例を示す。この例では、ユーザが、選択コンポーネント310をインタラクティブに操作して、特定のプローブ・ポイントを選択する。仮想ラベル360は、DUT350上のプローブ・ポイントの物理的位置を視覚的に示し、例えば、ユーザがプローブ・ポイントを容易に見つけ、プローブ・チップを通して接続することを可能にする。波形部340は、ユーザが接続を確立した後に、プローブ・ポイントに対応する波形を視覚的に提示できる。
【0041】
図3Dは、開示技術のいくつかの実施形態による拡張された視界300の第3の例を示す。この例では、ユーザは選択コンポーネント310をインタラクティブに操作して、別のプローブ・ポイントを選択する。仮想ラベル360は、DUT350上のプローブ・ポイントの物理的位置を視覚的に示し、例えば、ユーザがプローブ・ポイントを容易に見つけ、プローブ・チップを通してそれに接続することを可能にする。波形部340は、ユーザが接続を確立した後、新たに選択されたプローブ・ポイントに対応する波形を視覚的に提示するようにダイナミックに変更/更新できる。
【0042】
いくつかの実施形態では、ユーザが測定プローブを物理的な試験環境内の特定の部分と物理的に接触させるのに応答して、拡張画像内に仮想マーカを配置しても良い。
図3Eは、開示技術のいくつかの実施形態による拡張された視界300の第4例を示す。この例では、仮想マーカとしては、接続(例えば、プローブとの)が維持されているプローブ・ポイントの周りに配置されるボックス399がある。即ち、仮想マーカは、ある部分の特定された位置に対応する。これにより、ユーザが、その物理的な試験環境とは別の物理的な場所で、1つ以上の別の動作を行っていても、ユーザは、DUT350上の特定のポイントにプローブが接続されたままであることを容易に視覚的に確認できるという効果があろう。
【0043】
図4は、開示技術のいくつかの実施形態による、
図1に示す電子試験測定システムのような電子試験測定システムのためのプロセッサで制御された方法400の例を示すフロー図である。
【0044】
402では、拡張設定が、例えば、1つ以上のデータ記憶装置で記憶される。拡張設定は、システムが物理的な試験環境をダイナミックに拡張するために使用されてもよい。拡張設定は、表示装置などによってユーザに視覚的に提示される拡張コンテンツの位置、配置、方位又はその組み合わせを示しても良い。いくつかの実施形態において、拡張設定は、ユーザが表示装置内の拡張画像の配置上の位置を選択できるように変更可能であっても良い。これらの拡張設定の一部又はすべてをユーザが編集しても良く、場合によっては、ダイナミックに編集しても良い。
【0045】
404では、物理的な試験環境からの入力素材(feed)を、例えば、コンピューティング装置で受ける。入力素材としては、例えば、プローブで捕捉されたデータ素材、プローブに取り付けられたカメラによってキャプチャされた映像素材(video feed)又は物理的環境の表示(例えば、記憶された表示)があっても良い。いくつかの実施形態では、カメラが、表示装置に一体化されていても良い。
【0046】
406では、拡張画像が、例えば、コンピューティング装置によって作成される。拡張画像としては、物理的環境に対する仮想又は拡張コンテンツの仮想的なオーバーレイがあっても良く、物理的試験環境のユーザの視界(View)を拡張する。拡張画像は、拡張設定と入力素材のどちらか又は両方に基づいて作成されても良い。
【0047】
408では、406で作成された拡張画像を、例えば、コンピューティング装置が出力する。コンピューティング装置は、例えば、複数の適切な表示装置のいずれにも拡張画像を出力できる。これに代えて、又は、これに加えて、コンピューティング装置は、例えば、ユーザ又は他のユーザが後で使用するために、拡張画像を1つ以上の記憶装置に出力しても良い。
【0048】
410で、拡張画像は、例えば、ヘッド・マウント・ディスプレイ、タブレット・デバイス、画像表示スクリーン、携帯電話のディスプレイなどの表示装置によって、ユーザに視覚的に提示される。表示装置は、少なくとも部分的に透明であってもよい。いくつかの実施形態では、拡張画像が、複数の表示装置によって、複数のユーザに視覚的に提示されても良い。例えば、第1のユーザは、ヘッド・マウント・ディスプレイ装置を使ってインタラクティブな操作を行う一方で、第2のユーザは、従来のデスクトップ・コンピュータ又はタブレット・デバイスによって、第1のユーザのインタラクティブな操作を見ていても良い。
【0049】
いくつかの実施形態では、物理的な試験環境をインタラクティブに扱うために、ユーザが操作可能な測定プローブが含まれていても良く、このとき、カメラが測定プローブに結合されている。このような実施形態では、コンピューティング装置が、ユーザに指示を出し、更に、測定プローブを通してユーザから受けた入力に応答して、その指示を変更してもよい。
【0050】
いくつかの実施形態では、タイム・ドメイン・リフレクトメータ(time domain reflectometer:TDR)と共に本願に記載されるシステム又は技術を使用しても良い。例えば、このシステムよれば、ユーザが、表示装置を使用して、回路基板上のTDRトレースを拡張画像と共に視覚化でき、この拡張画像は、TDRトレースに関連する計算されたインピーダンスやその他の適切な測定結果を含んでいる。
【0051】
図5及び6に関し、スミス・チャートは、RFの測定及び分析のために、周波数対インピーダンスを表示する一般的な方法である(
図5を参照)。一般的な使用法としては、所与のDUTについての複素平面におけるインピーダンス測定がある。試験パラメータを何ら変更しないと、その後の測定結果は、周波数スイープ分析の夫々について、同じスミス・チャート・インピーダンス・トレースを示す。しかし、一般的に試験パラメータの調整は、RF電力レベルについてであり、これは、DUTのインピーダンスと、得られるスミス・チャートのプロットとを変更する。通常、RFエンジニアは、このデータを、複数の個別のデータ・セットから構成された1セットとして分析し、このとき、1セットは、周波数対インピーダンス分析に対応するDUTの電力レベルの各ステップに関するものである。
【0052】
しかし、これら同じスミス・チャートの測定値を(例えば、試験測定装置によって)Z軸に積み重ねた場合、図
6に示すように、AR環境で表示/操作できる3D表現を生成できる。これは、周波数対インピーダンスがパワー・レベルでどのように変化するかの視覚化を補助する、その種の最初の視覚的ツールをRFエンジニアに提供する。この3D表現は、次いで、回転、パン/ズーム、(例えば、1つ以上の軸を拡大することによって)分離させることができ、RFマーカを使用して3D空間で探索できる。簡単な例として、得られる3D表現をその軸上で90度回転した場合、データ・セット間のカーブを容易に見分けられ、電力調整分析がはかどるであろう(
図6を参照)。更に、データ・セット間の関係として3D空間で観測できる現象は、より容易に認識でき、次いで、より容易に探索できるであろう。そうではなくて、もしユーザが個々のデータ・セットを分析するだけに制約されているなら、これは、困難な作業である。
【0053】
現代のオシロスコープでは、ユーザは、固定された2次元(2D)画面でデータを見るように制限される。通常、これは、表示されるデータを2D形式に制限する。即ち、簡単に利用できる3次元(3D)表示のオプションは存在していない。例えば、ヒストグラム(例えば、ヒット数、つまり、所与のヒストグラム「ビン」内におけるデータ・ポイントの積み上げ)は、波形データに関して、一種の「第3次元」を伝えようと試みるものであるが、固定された2Dスクリーンによって制限される。既存のMATLAB(登録商標)ベースのソリューションは、MATLAB(登録商標)で生成された3D形式の波形データを提供するが、同様に、固定の2D表示に制限される。拡張現実感(AR)アプローチは、現実世界の環境において、コンテンツのユニークで斬新な3D表示と、コンテンツのインタラクティブな取り扱いへの扉を開く。
【0054】
AR環境によれば、ユーザは、物理的な場所を仮想コンテンツで埋めるように構成できる。これによれば、表示技術を装置上の固定2Dディスプレイから拡張し、高度にカスタマイズ可能なAR仮想環境を生み出す(
図7を参照)。これにより、ユーザは、複数の波形又はGUI(グラフィカル・ユーザ・インタフェース)を、物理的な画面を超えて、机の上に移動したり、ユーザ、計器、DUTなどを取り囲む空中に移動することによって、物理的なオシロスコープの画面スペース、又は別の試験測定デバイスの画面スペースを最大化できる。
【0055】
ARを使用することで、仮想的環境が物理的なスペースによって必ずしも制限されないため、サイズに加えて、固定サイズや固定位置など、固定2Dディスプレイの従来の制限はすべて取り除かれる。つまり、ユーザの周囲の部屋やスペースが、装置の出力(それが波形又は計測データであっても)のディスプレイになる。ARは、最新のディスプレイ技術(それがモバイル・デバイス(電話やタブレットなど)、コンピュータ・モニター、プロジェクター、ヘッド・マウント・ディスプレイ(Oculus Rift(オキュラス・リフト)、HTC Vive、Microsoft Hololensなど)のいずれであっても)を通して見ることができる。
【0056】
いくつかの実施形態では、AR環境は、更に、装置の操作装置を仮想表現に仮想化するように構成することもできる。
図8は、オシロスコープの前面パネル若しくはその一部分又はソリューション(解決手法)のアプリケーション(例えば、80SJNB型)の操作装置のARでのヘッド・アップ・ディスプレイを描いており、ユーザは、試験測定装置の設定を操作しながらDUTを引き続き見ることができる。これには、ユーザの動きをトラッキング(追跡)する処理(例えば、カメラ、赤外線、レーザ、アイ(瞳)のトラッキングなど)を含めて、ARで表示される前面パネルでのユーザの入力を選択可能としたり、何らかの表示領域の制限により仮想操作パネルが切り捨てられる場合に、操作パネルを別の領域に移動可能としても良い。この仮想前面パネルは、どのオーバーレイでも同様に、様々な度合いで不透明度又は透明度を変えることができる。この機能は、生産性向上への道を開き、また、デスクから研究室まで、又は、オフィスから現場までを問わず、オシロスコープの遠隔での操作性を強化する。こうした構成において、仮想操作装置への設定の変更によって制御される試験測定装置は、AR環境から仮想操作装置に行われた変更を示す信号を受けて、そうした変更を試験測定装置が実行可能なように構成される。
【0057】
実施例によっては、意図した測定結果を得るために、ユーザの入力によって、3Dプロットが生成され、また、その他の複雑な操作が行われる。これらの例の多くは、視覚的な3D入力が必要な操作であり、現在は、顧客が2D入力に制限されていて、これが、物事を複雑にしているかもしれないものである。複雑さに関して、テクトロニクス(登録商標)が販売するオシロスコープにおける視覚的なトリガについて検討する。視覚的なトリガによれば、ユーザには、指定した波形の視覚要素(波形内の特定のポイントなど)に基づいて、トリガを効率的に作成できるという選択肢が与えられる。所望の結果を実現するために、複雑なトリガ設定に没頭したり、その他の検討をすることなく、ユーザは、表示された要素中のポイントを単に指し示すだけで、複雑なトリガ設定を導き出すことができる。AR環境では、これが既に3Dの結果を表示するのに、より適したものである。ARの視覚的な測定設定機能は、複雑な測定設定を容易に(例えば、
図9で識別されたポイントを利用)できるであろう。更に、視覚的トリガは、このようなAR環境において、3Dの領域にまで拡張できるであろう。
【0058】
ある実施例において、DUTを物理的に評価又はデバッグする場合、エンジニアは、DUTの背景にある情報(contextual information:回路図、ブロック図など)を参照する必要が良くある。従来の設定では、これは、物理的なDUTと、コンピュータ・ディスプレイ又はハードコピー(例えば、CADの印刷物)との間を往復して見る必要がある。本願で説明するAR環境では、背景情報(contextual information)がDUTにオーバーレイされて、ユーザは、環境に没入でき、あちこちを見る必要はない(
図10参照)。このとき、背景情報は、2D又は3Dのフローティング(浮遊)の仮想表示として、物理的なDUTと並んで表示される。透過性オーバーレイの色を変更する機能により、背景色を変更することで、視認性の問題をなくすことができ、更に、オプションで、不透明の背景を使用して、この問題を完全に回避することもできる(
図11参照)。図示のように、ユーザを補佐(アシスト)するのに加えて、他の情報を仮想的にオーバーレイすることができる。
【0059】
電磁干渉(EMI)の放射を試験し、設計サイクルのデバッグ又は検証段階で試験データを収集する場合、こうした試験の一般的な課題は、再現性である。いくつかの構成では、本願で説明するAR環境を、将来の参照用に、こうした試験を追跡(トラック)して記録するように構成できる。これには、DUTに対するプローブの複数の位置(例えば、DUT内の特定された位置的目印やプローブ内の移動センサを利用する)を含んでも良い。(例えば、ユーザ・インタフェースによってユーザが試験を選択することによって)試験の記録が後で参照される場合、AR環境は、1つ以上の以前の試験に基づいて仮想パスを生成するよう構成できる。次いで、AR環境は、位置的目印に基づいて、DUT上に仮想パスをオーバーレイするよう構成できる。これにより、AR環境は、試験を再現するときに、ユーザを効果的にガイドできる。
【0060】
このような視覚化(見える化)は、例えば、以前の試験を、より近い形で再現するために、近接場プローブ(near-field probe)をどこに移動させるかをガイドして、ユーザを補佐できる(
図12参照)。これにより、ユーザは、以前は確認できなかったもの、以前の試験パス(例えば、EMI試験パス)、を確認できる。これによる収集データは、検証データとして提出することもでき、このため、標準化/承認団体は、より厳密な合格/失敗の仕様及びデータを再現し、標準化/承認団体を通じてDUTの認証を試みる企業と共有できる。図示のように、ユーザを補佐(アシスト)するのに加えて、他の情報を仮想的にオーバーレイすることもできる。これは、更に、環境室(environmental chamber)でも使用でき、収集されたデータは、オフライン分析で見るためにも使用できる(例えば、2つ以上の試験を比較するため)。
【0061】
AR環境に波形データを送ることにより、オシロスコープの画面サイズの制限が実際上ほぼない。これは、波形データの「拡張表示」又は「仮想メモリ」若しくは「無限メモリ」表示と考えられる。つまり、特定のデータ・セットを考えると、画面上に表示される波形を、そこで止める必要はなく、波形が、オシロスコープの画面と同じ視覚的平面へと進み続け、左側への移動を維持しても良い。同様に、入ってくる波形データ(レコード中の時間的により早いもの)も、同じ視覚的平面の右側に表示できる(
図13参照)。これも、パン/ズームやテクトロニクス(登録商標)のMagniVuなどの機能のAR表示オプションを強化する道を開くものである。
【0062】
仮想のオシロスコープ上に表示されるとして描画されているが、そのような波形データは、オシロスコープを可視化することなく表示できることが理解できよう。波形の異なる部分を詳しく検討するために、ユーザは、たくさんのタスクを実行でき、それは、例えば、ある1方向又は他の方向に手をスワイプし、スワイプの方向に従って波形を移動させたり、仮想的に波形の一部をつかみ、仮想的につかんだ部分を使っていずれかの方向に波形を移動させたり、1方向又は別の方向に回転させたり、1方向又は別の方向に少しずつ移動させたり、その他の多数のインタラクティブな操作をしたり、である。
【0063】
いくつかの実施形態では、AR環境が、温度データ・コンテンツ(センサから収集)を生成し、このコンテンツを関連するDUT上にリアルタイムでオーバーレイして即時に見られるように構成できる(
図14参照)。更に、このデータをオフライン分析のために収集でき、これは、その後、将来の試験用の基準値(baseline)を提供するのに利用できる。これにより、設計変更やその他の変更が行われたときに、DUTの回帰試験(regression testing)が可能になる。ユーザを補佐するのに加えて、他の情報を仮想的にオーバーレイすることもできる。また、この技術は、環境室や多種多様な他の試験場所で使用できる。
【0064】
いくつかの実施形態では、ジッタ測定を深く洞察するのために、ユーザはバスタブ(浴槽型)プロット又はアイ漏斗(eye funnel)などの3D表示を見ることができる。現在、これらの方法は、固定の2D表示に限定されている。場合によっては、ユーザが、インタラクティブな3D環境中のこれらのビジュアル(visuals:視覚要素)に視覚的に「飛び込んで」、更に詳しく調べられるようにAR環境を構成しても良い。これには、ユーザがバスタブ・プロットの仮想オブジェクトを操作し、物理的空間内のカーソルの仮想的な移動(例えば、手のジェスチャ、HMI、その他の操作入力による)を通して、より正確な位置に視覚的にカーソルを配置できるようにすることによって、3Dバスタブ・プロット上でのカーソルの使用をもっと便利にするという、更なる利便性がある。AR環境によって本当の3D表示を提供することで、最終的には、ユーザが自分の分析に必要な3Dデータのもっと直感的な表示を提供する。
図15A~Dは、様々なアイ・ダイアグラム及び様々なバスタブ・プロットによってジッタを示そうとする現在の試みを示し、
図16A~Bは、本開示の様々な実施形態によるAR環境における例示的なジッタ・プロットを示す。
【0065】
従来のオシロスコープは、また、同時に表示できるチャンネル数の観点からも制限されることがある。即ち、現在のところ、一緒に接続された他のオシロスコープから追加のチャンネルが得られた場合でも、現代のオシロスコープの単一のディスプレイ上では、典型的な2~8チャンネルよりも多くを表示する方法はない。これを解決するために、AR環境は、複数のオシロスコープからのチャンネルを単一の仮想表示に集約するように構成できる。これは純粋に表示を集約することであるため、これを実現するために、複数のオシロスコープを一緒に同期する必要はない。別の構成では、複数のオシロスコープを同期する任意の従来の方法を使用して、複数のオシロスコープからの信号を時間的に整合させても良い。実施形態では、AR環境は、追加の背景情報(例えば、波形を生成したDUTの位置)を提供するように構成できる。
【0066】
1つの例示的なアプリケーションは、多数のセンサと多数の電気試験ポイントが存在する組み込み自動車市場である(
図17参照)。図のように、各波形は、波形を生成したDUT、つまり、プローブ・ポイントに近い位置に配置される。これは、各オシロスコープ・チャンネル、波形又はDUTを、物理的な目印又は他の位置情報と関連付けることによって実現され、物理的な環境内での波形のオーバーレイについて、適切な位置を示すことができる。例えば、描写されたエンジン・ベイ内の場合など、実施例によっては、表示される複数の波形が近接して、適切な表示サイズでは、重ねることなしには、複数波形の全てが収まらないことがある。このような実施形態では、AR環境が、物理的な目印という特定された位置から関連する波形まで引かれた吹き出し線を生成するように構成されても良い。
【0067】
このアプローチでは、ARを活用して、顧客が、顧客の既存の設備基盤(install base)を活用したり、又は、複数の次世代オシスコープを購入し、顧客のアプリケーション用に全体でもっと多数のチャンネル数に統合したりできる。重要なことは、複数のオシスコープの出力(複数の波形)が、共にAR環境へ別々のルートで送られ、そして、ユーザが一体となった状態で見ることが可能ということである(
図17参照)。何らかのチャンネルの差別化手法(例えば、色の差別化、パターンの差別化など)を実施して、複数の(しかし異なる)チャンネルが区別できない方法で表示されるのを回避しても良い。例えば、各オシロスコープ・チャンネルに、利用可能な異なる色を割り当て、複数のチャンネルが同じ表示色となるのを回避し、AR環境で混乱しないようにしても良い。
【0068】
いくつかの実施形態では、AR環境は、波形データをプローブに仮想的にペアリングするように構成できる(例えば、プローブの物理的な目印によって)。例えば、AR環境は、
図18に示すように、信号が物理的に存在する物理的な位置に近接する回路基板又は被試験デバイス上に、波形の仮想表示をオーバーレイするよう構成できる。場合によっては、AR環境は、ユーザが、波形をDUTから、例えば、更なる分析のためにユーザの机に移動させるか、又は複数のユーザが同時に観察するために会議テーブルに移動させることができるように構成できる。
【0069】
このようなAR環境では、ユーザは、ヘッド・マウント・ディスプレイを利用して、まるでユーザの前に本当の物理的なオブジェクトがあるかの如く、真の3Dで波形を見ることができる。これは、波形データの探索における前例のないレベルの自由度を表し、一人のユーザ又は複数のユーザが同時に、波形の下から、後ろから、上から、又は、波形自体の中からさえも、物理的な空間において仮想波形を見ることを可能にする。複雑なデバイスや回路をデバッグ又は適正なものに修正し、プローブされた物理領域を直接見ることができ、ユーザの手の中のプローブの上に浮遊する仮想波形を見ることができることを想像してみよう。
【0070】
図19A~Cに関しては、試験測定装置によって生成された波形データを遠隔で見られるようにAR環境を構成できる。この文脈で使用されているように、波形データを「遠隔で表示」するということは、DUTや試験測定装置の物理的な位置から移動させることを意味し、これは、波形が、以前に保存された波形データ(基準波形、保存された波形ファイルなど)のようなオフラインの場合、又は、波形データが、ライブで供給される現実の波形からのリアルタイム波形データの場合を含む。
【0071】
例えば、AR環境は、ユーザが更なる分析のために、ユーザの机の上に仮想表示を置くことを可能にするか、又は、複数のユーザがコラボレーションのために同時に観察するように、会議テーブルに仮想表示を置くことができるように構成できる(例えば、複数のヘッド・マウント・ディスプレイを介して、各ユーザが波形データに関してユーザの位置から波形データを見ることができる)。目盛り格子線(graticule)やその他の表示情報のようなグラフィカル要素は、オプションで、ユーザが選択できる(例えば、AR環境のメニューを介して)。また、この遠隔(リモート)アプローチは、ライブのローカル波形と組み合わせて、保存/基準波形とライブ・ローカル波形との比較機能も実現できる。
【0072】
ARアプローチを使用して、波形データを表示する(静的)か又はストリーミング(ダイナミック/ライブ)することにより、ユーザは、ヘッド・マウント・ディスプレイを利用して、まるで物理的空間においてユーザの前にある実際の物理的なオブジェクトであるかのように、真の3Dで波形を表示できる。これは、波形データの探索における前例のないレベルの自由度を表し、一人のユーザ又は複数のユーザが、物理的な空間において、波形の下から、後ろから、上から、又は波形自体の中からさえ、仮想波形を同時に見ることを可能にする。
【0073】
特定の状況では、無線周波数(RF)ドメインで動作するDUTを試験する際、設計者は、スプレッドシートで測定値を集計する古風で退屈なプロセスをやむなく用いることがある。これには、通常、コンポーネント番号、ネット参照事項などのような物理的な位置情報を意味のある方法でログ記録する処理が含まれる。そのため、設計者は、測定値を取ることと、測定値をスプレッドシートに記録することとの間を絶えず切り替えることになる。これを解決するために、RFデータ収集試験を追跡し、DUT上の物理的な位置と相関させ、直ちに表示するためにリアルタイムでプロットするか又は将来の参照用のオフラインのためにプロットすることが可能なようにAR環境を構成しても良い。
【0074】
設計者又は試験者が、試験を開始して、DUTを横断してRFプローブをガイドすると、AR環境は、DUTを参照してRFプローブの位置情報を(例えば、物理的な目印(indicia)又はその他の適切な位置追跡情報によって)追跡し、RFスペクトル測定値の3Dプロットを記録するように構成できる。次いで、RFスペクトル測定値をDUT上でオーバーレイとしてプロットするようにAR環境を設定できる(
図20参照)。RFスペクトルの測定値をDUT上にオーバーレイすることによって、スペクトルの測定値は、従来の試験測定環境では不可能な状況で表示される。
【0075】
手作業による退屈なログ記録と比較すると、この高度に自動化されたアプリケーションは、従来はできなかった、出力されるRF測定値のDUTに密接した物理的な位置に忠実なプロットをユーザが確認可能とし、技術的なギャップを埋めている。更に、このデータは、オフライン分析のために収集することができ、これは、将来の試験の基準値(ベースライン)を提供するために使用できる。これにより、設計変更やその他の変更が行われたときに、DUTの回帰試験(regression testing)が可能になる。ユーザを補佐(アシスト)するのに加えて、他の情報を仮想的にオーバーレイすることもできる。この手法は、環境室や、多種多様な他の試験場所で利用することもできる。
【0076】
AR環境の1つの側面は、2D又は3D仮想コンテンツの表示を操作する機能である。そのため、AR環境は、ヒューマン・マシン・インタフェース(HMI、リモート入力や他の操作装置の入力など)を使用するか、又は、経験則(heuristics)又はジェスチャに基づいて直接手で波形データを仮想的に操作できるように構成できる。これには、仮想環境におけるオーバーレイのスケーリング(拡大縮小)、回転、横滑り(roll)、左右への振り子動作(yaw:ヨーイング)、縦揺れ(pitch:ピッチ)、仮想的な移動/配置などの動作が含まれる(
図21A~Dを参照)が、これらに限定されない。そのため、AR環境の表示能力は、従来の試験測定装置の固定2D表示に限定された場合に波形データから観測できるものを、はるかに超えるものにできる(
図21E~F参照)。目盛り格子線(graticule)やその他の表示情報などのグラフィカル要素は、AR環境ではオプションであり、AR環境のメニューを通してユーザが選択できる。
【0077】
ARを使用して波形データを表示する(この例では、静的表示を参照)か又はストリーミング(ダイナミック/ライブ表示を参照)することにより、ユーザは、ヘッド・マウント・ディスプレイを利用して、まるでユーザの前にある本当の3次元の物理オブジェクトであるかのように、真の3Dで波形データを見ることができる。これは、波形データの探索における前例のないレベルの自由度を表し、一人のユーザ又は複数ユーザが、物理的な空間で、波形の下から、後ろから、上から、又は波形自体の中から波形データの仮想表示を見ることを可能にする。
【0078】
固定2Dディスプレイによって制限されるオシロスコープは、過去には、データの付加的な側面を伝達しようと試みてきている。例えば、RFスペクトラム・アナライザ及びミックスド・ドメイン(RF対応)オシロスコープには、RFトレースを時間の経過とともに積み重ねることができる表示(例えば、テクトロニクス(登録商標)のスペクトラム表示)があるが、スペクトラム表示でも、表示、従ってデータは、依然として2次元に制限される。アナログ、デジタル及びRF信号を3D空間に取り込むことで、試験測定に洞察を加える新たな機会が開かれる。
【0079】
AR環境は、波形の時間変動情報を第3次元に積み上げる(
図22参照)ように構成でき、これにより、信号データの改良された表示を見ることができる。これには、位相、ジッタ、虚数ポイント対実数ポイント、コンスタレーション・データなどの特性が含まれる。更に、AR環境は、3Dヒストグラム又は3DのX-Yグラフを生成するように構成でき、これによれば、3Dの物理的空間で、これらの3Dヒストグラム又は3DのX-Yグラフをインタラクティブに扱う(例えば、ジェスチャによる)ことにより、更なる洞察を引き出すことができる。加えて、AR環境は、信号の立体地図を生成し、3Dで波形の残像(persistence)の探索を可能にするように構成できる。
【0080】
更なる実施形態において、AR環境は、他の多くのタスクを達成するように構成できる。例えば、複数の波形やグラフィカル・ユーザ・インタフェース(GUI)ウィンドウを、オシロスコープの物理的な画面からオシロスコープの外の空間へ移動することで、物理的なオシロスコープの画面スペースを最大化できる。もう1つの例は、3Dヒストグラムの本当の3D表示であり、この表示では、時間の経過とともに全て3次元で波形が生じて、シフトする。もう1つの例は、仮想3D空間でのみアプローチ可能な個別のサンプル又はサンプルのグループに分類された、真の3D波形データに基づく測定結果の分類である。
【0081】
試験測定装置のインタラクティブな操作を可能にするために、試験測定装置に対する2次元又は3次元のジェスチャに基づく入力をモニタできる視覚的なインタフェースも本願で開示される。このような入力は、1つ以上のカメラ、赤外線センサ、レーザ・センサ、接触(コンタクト)モーション・センサ(例えば、動作センサ付きグローブ)又は非接触モーション・センサを含むモーション(motion:運動)センサのような多数のデバイス又は複数デバイスの組み合わせによってキャプチャ(捕捉)されても良い。本願で開示される実施形態は、ジェスチャがキャプチャされる方法によって制限されることはないし、任意のジェスチャ・キャプチャ・メカニズムが考えられることが理解できよう。試験測定装置のユーザが、試験測定装置から離れて、試験測定装置を少しの時間でインタラクティブに操作できるようにすることで、本開示では、試験測定装置を物理的にその機械から離れた状態で制御する機能を可能にする。いくつかの例において、これによれば、高電圧の場合などの危険性が高い状況や、試験測定装置とユーザの相互作用が試験の結果に影響を与える可能性がある状況で、試験測定装置の制御を可能にできる。いくつかの例において、本開示によれば、ユーザは、隔離室(isolation chamber)又は温度制御室(thermal chamber)の窓のような透明なアイソレーション(分離部)を通して試験測定装置を制御することも可能にする。このように、ユーザは、人にとって不快又は危険な環境で、試験測定装置を制御できる。他の例において、本開示の態様は、拡張現実環境で実施でき、本願に記載のように、ユーザは、拡張現実の体験に没入しながら試験測定装置を制御することが可能になる。
【0082】
ジェスチャを使用することで、インタフェースをサポートするために使用されるデバイスのサイズに制限はなく、インタフェースをサポートするために使用されるデバイスは、ジェスチャ解釈モジュールに加えて、上述の例のようなジェスチャ・キャプチャ・メカニズムを実装する必要があるだけである。ジェスチャ解釈モジュールは、ジェスチャ・キャプチャ・メカニズムによって提供されるデータからジェスチャを検出して解釈し、そのジェスチャとコマンド信号を関連づけて試験測定装置に供給し、ジェスチャに関連付けられたコマンドを有効にするよう構成できる。場合によっては、これは、非常に単純なエッジ検出に基づくジェスチャ認識と、試験測定装置のインタフェースへのアクセスを含んでいても良い。場合によっては、ジェスチャ・キャプチャ・メカニズム及びジェスチャ解釈モジュールを試験測定装置と統合しても良く、他の例では、ジェスチャ・キャプチャ・メカニズムやジェスチャ解釈モジュールが、試験測定装置の外部又は試験測定装置から遠隔にあっても良い。
【0083】
ユニークなジェスチャ又はジェスチャのシーケンスは、様々なサブシステムにアクセスして操作するために利用できる。例えば、開始ジェスチャを使用してサブシステムを特定し、次いで、そのサブシステム内でタスクを実行するために、他のジェスチャを使用しても良い。従って、異なるサブシステムのタスクは、同じジェスチャに関連付けても良いが、状況(例えば、サブシステム)が異なるので、同じジェスチャで、異なるタスクを有効にできる。更なる詳細については、以下で詳しく説明する。
【0084】
ジェスチャ・ベースのインタフェースを使用することで、物理的又は電気的な接続を使用せずに、試験測定装置を制御できる。これにより、危険な環境での機器の制御だけでなく、より高感度な測定への可能性の道を開くことになる。加えて、新しい形式のインタフェースを使用することで、可能となる制御も拡大し、これは現在利用可能な制御を超えるものである。
【0085】
ジェスチャ・ベースのインタフェースを使用することで、試験測定装置又は遠隔の入力装置への物理的なアクセスの制約を回避できる。ユーザがインタラクティブに計測器を制御できるようにすることで、装置をプログラムで遠隔制御するための事前知識の必要性が低くなる。加えて、視覚的方法を用いる実施形態では、試験環境内のノイズからの干渉が軽減される。
【0086】
いくつかの構成において、本開示は、物理的なジェスチャ、ジェスチャ・キャプチャ・メカニズム、ジェスチャ解釈モジュール及びコマンド・インタフェースを含む試験測定装置を組み合わせ、試験測定装置を制御するための非接触ベースの方法を提供する。
図23は、このようなシステムに関する例示的な構成要素を示す。
【0087】
本開示で提供されるシステムは、ジェスチャ解釈モジュールと接続されたジェスチャ・キャプチャ・メカニズムによって観測されるジェスチャを使用し、ジェスチャを特定のコマンドとして解釈し、次いで、これら特定のコマンドは、試験測定装置のコマンド・インタフェースを介して試験測定装置に伝えられる。ジェスチャの解釈は、いくつかの実施形態において、単純なエッジ検出及びトラッキング機構によるか、又は、より洗練された方法によって達成されても良い。
【0088】
ジェスチャ解釈モジュールは、ジェスチャを特定し、これをコマンド・ステップ要求に変換する。これらのコマンド・ステップは、内部又は外部インタフェースを介して試験測定装置の機器の一部分へ送信できる。試験測定装置又はその他のコンポーネントは、次いで、ジェスチャが認識されたことをユーザにフィードバックできる。別の実施形態では、ジェスチャ解釈モジュールは、コマンド・シーケンスのグラフィカル又は英数字表示を構築でき、これにより、ユーザは、コマンド・シーケンスを確認し、次いで、コマンドを開始するための別のジェスチャを使用し、それを試験測定装置の操作インタフェースに送ることができる。
【0089】
ジェスチャは、例えば、ジェスチャ・キャプチャ・メカニズムによって追跡できる、例えば、直線又は円形の動きの組み合わせなどのような多数の方法で実現できる。複数のジェスチャは、試験測定装置に完全なコマンドを提供するために、シーケンス(ある一連の順序)で解釈されても良い。大まかには、ジェスチャとしては、片手の直線的な形式(水平、垂直、又は斜め)の動き、片手の円形(時計回り、反時計回り)の動き、複数の手の互いに相対的な動き(離すか、又は、垂直、水平又は斜めの線上で、広げた手を合わせる)、個々の指の動き又は指を組み合わせた動き、身体の他の部分の動き、又はジェスチャと関連した無生物の動きがあって良い(しかし、これらに限定するものではない)。
【0090】
コマンド体系は、最初にユニークな(独特の)開始ジェスチャを使用して、アクセスする所望の複数コマンドからなるグループを特定し、その後に、そのコマンド・シーケンス中の次のステップを示す複数のジェスチャからなるグループ中の1つのジェスチャを続けることで実現される。コマンド・ジェスチャを繰り返して、このコマンド・シーケンスを構築するようにしても良い。必要に応じて入れ子型コマンドをサポートするため、メニュー選択のように、コマンド・シーケンスが強力に再帰的(recursive)であっても良い。
【0091】
以下は、ジェスチャの基本的なグループ(set:セット)であり、これらから1つのコマンド・グループを構成できる。
・片手を左から右へ水平方向に動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を右から左へ水平方向に動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を下に垂直に動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を上に垂直に動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を右上から左下へと斜めに動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を右下から左上へと斜めに動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を左上から右下へと斜めに動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を左下から右上へと斜めに動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・片手を時計回りに円形に動かす。
・片手を反時計回りに円形に動かす。
・両手(2つの手)を水平方向に離すように動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・両手を垂直方向に離すように動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・両手を左上方向へと右下方向へ斜めに離すように動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・両手を左下方向へと右上方向へ斜めに離すように動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・両手を水平方向に互いの方向へと動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・両手を垂直方向に互いの方向へと動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・両手を左上からと右下から斜めに互いの方向へと動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
・両手を左下からと右上から斜めに互いの方向へと動かす - 検出を最大限容易にするため、手を動く方向に対して垂直に向ける。
【0092】
これらを単一のジェスチャに組み合わせて定型的なアルファベット文字を形成するために、他の可能性もある。
【0093】
以下に、ジェスチャ・シーケンスの例と、それらが試験装置の一部に関して何を表すかを挙げる。これは、網羅的又は完全であることを意図したものではない。
・水平タイム・ベース(時間基準)操作に入る - 片手を左から右へ動かす(又は他の適切なジェスチャ)
タイム・ベース操作がアクティブ:
o 両手を水平方向に離すように動かす - タイム・ベースを拡大し、1目盛り(division)当たりの時間を減らす。
o 両手を水平方向に1つにするように動かす - タイム・ベースを縮小し、1目盛り当たりの時間を増やす。
o 片手を左から右へ動かす - トレースの表示において、時間的に遅い方へ表示ウィンドウをスクロールする。
o 片手を右から左へ動かす - トレースの表示において、時間的に早い方へ表示ウィンドウをスクロールする。
o 片手を上に垂直に動かす - タイム・ベース操作モードを終了する(Exit)。
・アクティブなチャンネルの垂直感度に入る - 片手を上に垂直に動かす(又は他の適切なジェスチャ)。
垂直チャンネル操作がアクティブ:
o 両手を垂直方向に離すように動かす - チャンネル感度を高め、1目盛り当たりの電圧を小さくする。
o 両手を垂直方向に1つにするように動かす - チャンネル感度を低下させ、1目盛り当たりの電圧を大きくする。
o 片手を上に垂直に動かす - ディスプレイ上でグラウンド基準を上に移動させる。
o 片手を下に垂直に動かす - ディスプレイ上でグラウンド基準を下に移動させる。
o 片手を左から右へ動かす - 垂直チャンネル操作モードを終了する。
・トリガ操作モードに入る - 片手を左下から右上へ斜めに動かす(又は他の適切なジェスチャ)。
トリガ操作モードがアクティブ:
o 片手を上に垂直に動かす - トリガ・レベルを上げる。
o 片手を下に垂直に動かす - トリガ・レベルを下げる。
o 片手を左から右に水平に動かす - トレース中のトリガ・ポイントを時間的に遅い方へ動かす。
o 片手を右から左に水平に動かす - トレース中のトリガ・ポイントを時間的に早い方へ動かす。
o 片手を左上から右下に斜めに動かす - トリガ・モードを切り替える。
o 片手を反時計回りに円形に動かす - チャンネル選択モードに入る。このモードでは、チャンネルを選択すると、以前のトリガのチャンネルの選択は、自動的に解除されることになる。このモードでの動作中は、以下のルールを使用する。
o 片手を右上から左下に斜めに動かす - トリガ・モードを終了する。
・チャンネル選択モードに入る - 片手を時計回りに円形に動かす(又は他の適切なジェスチャ)。
チャンネル選択モードがアクティブ:
o 片手を下に垂直に動かす - 装置の次のチャンネルへ変える。
o 片手を上に垂直に動かす - 装置の前のチャンネルへ変える。
o 片手を左から右に水平に動かす - 選択したチャンネルをオンにする。
o 片手を右から左に水平に動かす - 選択したチャンネルをオフにする。
o 片手を反時計回りに円形に動かす - チャンネル選択モードを終了する。
・カーソル操作モードに入る - 片手を左上から右下に斜めに動かす(又は他の適切なジェスチャ)。
カーソル操作モードがアクティブ:
o 片手を時計回りに円形に動かす - チャンネル選択モードに入る。このモードでの動作中は、カーソルを適用するチャンネルを選択するのに、以下のルールを使用する。
o 片手を左上から右下に斜めに動かす - 垂直モードと水平モードの間でカーソルを切り替える(トグルする)。
o 片手を左下から右上に斜めに動かす - アクティブなカーソルを切り替える(トグルする)。
o 片手を左から右に水平に動かす - 波形上でアクティブなカーソルを時間的に遅い方へ動かす。
o 片手を右から左に水平に動かす - 波形上でアクティブなカーソルを時間的に早い方へ動かす。
o 片手を上に垂直に動かす - 波形上でアクティブなカーソルを正の方向に動かす。
o 片手を下に垂直に動かす - 波形上でアクティブなカーソルを負の方向に動かす。
o 片手を右下から左上に斜めに動かす - カーソル操作モードを終了する。
・汎用メニュー・モードに入る - 片手を反時計回りに円形に動かす。
メニューがアクティブ:
o 片手を垂直に上下に動かす - メニューを上下にスクロール。
o 片手を左から右に水平に動かす - 現在選択しているメニューを選択して、その選択をアクティブにするか又はサブメニューを開く。
o 片手を右から左に水平に動かす - メニュー又はアクティブなサブメニューを終了する。
【0094】
統合的なソリューション(解決策)では、ジェスチャ・キャプチャ・メカニズム、ジェスチャ解釈モジュール、試験測定装置とその関連は、すべて単一のユニットであっても良い。リモート・ユニットは、スマートフォンのような単純なもので実現されても良く、これは、カメラと共に、ジェスチャを解釈し、装置にコマンドを発行するアプリケーションを利用する。アプリケーションは、また、ユーザに画面上でフィードバックを提供しても良い(例えば、コマンドの識別子、コマンドのシーケンスなど)。
【0095】
実施例
【0096】
以下では、本願で開示される技術の理解に有益な実施例が提示される。この技術の実施形態は、以下で記述する実施例の1つ以上及び任意の組み合わせを含んでいても良い。
【0097】
実施例1は、試験測定システムに関し、物理的試験環境をダイナミックに拡張するための拡張設定を記憶するように構成されたデータ記憶装置と、データ記憶装置に結合されたコンピューティング装置とを具え、該コンピューティング装置が、上記物理的試験環境から入力素材を受けて、上記拡張設定と上記入力素材とに基づいて拡張画像を作成し、上記物理的試験環境にオーバーレイされる上記拡張画像を出力して、ユーザの上記物理的試験環境の表示を拡張するよう構成される。
【0098】
実施例2としては、実施例1の主題があり、上記物理的試験環境にオーバーレイされた上記拡張画像をユーザに視覚的に提示するように構成される表示装置を更に具える。
【0099】
実施例3としては、実施例2の主題があり、このとき、上記表示装置は、ヘッド・マウント・ディスプレイ、タブレット・デバイス、画像表示スクリーン又は携帯電話の表示装置である。
【0100】
実施例4としては、実施例1~3のいずれかの主題があり、入力素材(feed:フィード)を提供するように構成されたカメラを更に具える。
【0101】
実施例5としては、実施例4の主題があり、このとき、上記カメラは、上記表示装置に統合される。
【0102】
実施例6としては、実施例2の主題があり、このとき、上記表示装置は少なくとも部分的に透明である。
【0103】
実施例7としては、実施例1~6のいずれかの主題があり、このとき、上記拡張画像は、測定プローブと結合されたカメラによってキャプチャされたコンテンツを含む。
【0104】
実施例8としては、実施例1~7のいずれかの主題があり、このとき、上記拡張画像は、被試験デバイスに関連し、上記物理的試験環境中に生成される波形を含む。
【0105】
実施例9としては、実施例1~8のいずれかの主題があり、このとき、上記拡張画像は、仮想ユーザ・インタフェースを含んでいる。
【0106】
実施例10としては、実施例9の主題があり、このとき、上記仮想ユーザ・インタフェースは、ユーザに対するインストラクション(指示)を含む。
【0107】
実施例11としては、実施例10の主題があり、このとき、上記インストラクション(指示)は、被試験領域又は回避すべき領域の指示を含む。
【0108】
実施例12としては、実施例10~11のいずれかの主題があり、入力装置を更に具え、このとき、上記コンピューティング装置は、更に、上記入力装置を通じて上記ユーザから受ける入力に応じて上記インストラクションを変更するよう構成されている。
【0109】
実施例13としては、実施例1~12のいずれかの主題があり、入力装置を更に具え、このとき、上記コンピューティング装置は、更に、上記入力装置を通じて上記ユーザから受けた入力に応じて上記拡張画像を変更するように構成されている。
【0110】
実施例14としては、実施例7の主題があり、このとき、上記コンピューティング装置は、更に、上記ユーザが上記測定プローブを上記物理的試験環境内の特定部分と物理的に接触させるのに応じて、上記特定部分と特定される位置に対応した仮想マーカを上記拡張画像内に配置するよう構成されている。
【0111】
実施例15としては、実施例1~14のいずれかの主題があり、このとき、上記拡張設定は、上記ユーザが、上記表示装置内の上記拡張画像の配置位置を選択できるように設定可能である。
【0112】
実施例16は、機械で制御される方法に関し、データ記憶装置を使用して、物理的試験環境をダイナミックに拡張するための拡張設定を記憶する処理と、上記物理的試験環境から入力素材(feed)を受ける処理と、コンピューティング装置を使用して、上記拡張設定及び上記入力素材に基づいて拡張画像を作成する処理と、上記拡張画像を上記物理的試験環境にオーバーレイして出力し、上記物理的試験環境のユーザの視界を拡張する処理とを具えている。
【0113】
実施例17は、1つ以上のコンピュータ可読記録媒体に関し、プロセッサによって実行されると、該プロセッサが、データ記憶装置から物理的試験環境をダイナミックに拡張するための拡張設定を受け、上記物理的試験環境から入力素材を受け、上記拡張設定及び上記入力素材に基づいて拡張画像を生成し、該拡張画像を上記物理的試験環境にオーバーレイして出力し、上記物理的試験環境のユーザの視界を拡張する命令を含んでいる。
【0114】
実施例18としては、実施例17の主題があり、このとき、上記拡張画像は、測定プローブと結合されたカメラによってキャプチャ(捕捉)されたコンテンツと、被試験デバイスに関連し、上記物理的試験環境中に生成される波形を含んでいる。
【0115】
実施例19としては、実施例17~18のいずれかの主題があり、このとき、上記拡張画像は、ユーザへの指示を含む仮想ユーザ・インタフェースを含み、上記指示は、被試験領域又は回避すべき領域の指示を含んでいる。
【0116】
実施例20は、試験測定システムに関し、被試験デバイス(DUT)と、物理的試験環境をダイナミックに拡張するための拡張設定を記憶するように構成されたデータ記憶装置と、ユーザが着用するよう構成されたヘッド・マウント・ディスプレイ装置と、上記DUTと相互作用するように構成された測定プローブと、該測定プローブに結合されたプローブ・カメラと、上記データ記憶装置に結合されたコンピューティング装置とを具え、該コンピューティング装置は、上記物理的試験環境から入力素材を受け、上記測定プローブに結合された上記カメラでキャプチャされた画像を受け、上記拡張設定、上記入力素材及び上記プローブ・カメラでキャプチャされた上記画像に基づいて拡張画像を作成し、上記ヘッド・マウント・ディスプレイ装置に上記物理的試験環境にオーバーレイされた上記拡張画像を上記ユーザに対して視覚的に提示させるよう構成される。
【0117】
本発明の態様は、特別に作成されたハードウェア、ファームウェア、デジタル・シグナル・プロセッサ又はプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作できる。本願における「コントローラ」又は「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、ASIC及び専用ハードウェア・コントローラ等を意図する。本発明の態様は、1つ又は複数のコンピュータ(モニタリング・モジュールを含む)その他のデバイスによって実行される、1つ又は複数のプログラム・モジュールなどのコンピュータ利用可能なデータ及びコンピュータ実行可能な命令で実現できる。概して、プログラム・モジュールとしては、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、これらは、コンピュータその他のデバイス内のプロセッサによって実行されると、特定のタスクを実行するか、又は、特定の抽象データ形式を実現する。コンピュータ実行可能命令は、ハードディスク、光ディスク、リムーバブル記憶媒体、ソリッド・ステート・メモリ、RAMなどのコンピュータ可読記憶媒体に記憶しても良い。当業者には理解されるように、プログラム・モジュールの機能は、様々な態様において必要に応じて組み合わせられるか又は分散されても良い。更に、こうした機能は、集積回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)などのようなファームウェア又はハードウェア同等物において全体又は一部を具体化できる。特定のデータ構造を使用して、本発明の1つ以上の態様をより効果的に実施することができ、そのようなデータ構造は、本願に記載されたコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内と考えられる。
【0118】
本開示の態様は、様々な変更及び代替形態で動作する。特定の態様は、図面に例として示されており、先に詳細に説明した。しかしながら、本願に開示された実施例は、説明を明確にする目的で提示されており、明示的に限定されない限り、開示される一般的概念の範囲を本願に記載の具体例に限定することを意図していない。このように、本開示は、添付の図面に照らして、記載された態様のすべての変更、均等物及び代替物をカバーすることを意図している。
【0119】
明細書における実施形態、態様、実施例などへの言及は、記載された項目が特定の特徴、構造又は特性を含み得ることを示す。しかしながら、開示される各態様は、そうした特定の特徴、構造又は特性を含んでいても良いし、必ずしも含んでいなくても良い。更に、このような言い回しは、特に明記しない限り、必ずしも同じ態様を指しているとは限らない。更に、特定の態様に関連して特定の特徴、構造又は特性が記載されている場合、そのような特徴、構造又は特性は、そのような特徴が他の開示された態様と明示的に関連して記載されているか否かに関わらず、そうした他の開示された態様と関連して使用しても良い。
【0120】
開示された態様は、場合によっては、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせで実現されても良い。開示された態様は、1つ以上のプロセッサによって読み取られ、実行され得る1つ又は複数のコンピュータ可読媒体によって運搬されるか又は記憶される命令として実現されても良い。そのような命令は、コンピュータ・プログラム・プロダクトと呼ぶことができる。本願で説明するコンピュータ可読媒体は、コンピューティング装置によってアクセス可能な任意の媒体を意味する。限定するものではないが、一例としては、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読み取り可能な情報を記憶するために使用することができる任意の媒体を意味する。限定するものではないが、例としては、コンピュータ記憶媒体としては、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、電気消去可能プログラマブル読み出し専用メモリ(EEPROM)、フラッシュメモリやその他のメモリ技術、コンパクト・ディスク読み出し専用メモリ(CD-ROM)、DVD(Digital Video Disc)やその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置やその他の磁気記憶装置、及び任意の技術で実装された任意の他の揮発性又は不揮発性の取り外し可能又は取り外し不能の媒体を含んでいても良い。コンピュータ記憶媒体としては、信号そのもの及び信号伝送の一時的な形態は排除される。
【0121】
通信媒体は、コンピュータ可読情報の通信に利用できる任意の媒体を意味する。限定するものではないが、例としては、通信媒体には、電気、光、無線周波数(RF)、赤外線、音又はその他の形式の信号の通信に適した同軸ケーブル、光ファイバ・ケーブル、空気又は任意の他の媒体を含むことができる。
【0122】
説明に有益な実施形態を参照して本発明の原理を説明し、図示してきたが、説明した実施形態は、そのような原理から逸脱することなく構成及び詳細を変更し、所望のやり方に組み合わせても良いことが理解できよう。また、上述の説明は、特定の実施形態に焦点を当てているが、他の構成も考えられる。
【0123】
特に「本発明の実施形態による」などの表現が本願で使用される場合でも、これらの言い回しは、大まかに言って、基準となる実施形態の可能性を意味し、本発明を特定の実施形態の構成に限定することを意図するものではない。本願で使用されるように、これらの用語は、他の実施形態に組み合わせ可能な同じ又は異なる実施形態を言及することがある。
【0124】
従って、本願に記載された実施形態の多種多様な変更の観点から、この詳細な説明及び付随する資料は、説明の都合に過ぎず、本発明の範囲を限定するものとして解釈されるべきではない。従って、本発明として請求されるものは、請求項の範囲及び要旨並びにそれらの等価なものに該当する、こうした全ての変更である。