知財求人 - 知財ポータルサイト「IP Force」
▶ オステンド・テクノロジーズ・インコーポレーテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-17
(45)【発行日】2022-06-27
(54)【発明の名称】身体上ジェスチャ・インターフェース及び投影表示のための方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20220620BHJP
G06F 3/0346 20130101ALI20220620BHJP
A61B 8/00 20060101ALI20220620BHJP
【ＦＩ】
G06F3/01 570
G06F3/0346 424
G06F3/0346 425
G06F3/0346 426
A61B8/00
【請求項の数】
2
【外国語出願】
(21)【出願番号】P 2021132020
(22)【出願日】2021-08-13
(62)【分割の表示】P 2018522056の分割
【原出願日】2016-10-31
(65)【公開番号】P2021184297
(43)【公開日】2021-12-02
【審査請求日】2021-09-13
(31)【優先権主張番号】62/249,021
(32)【優先日】2015-10-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/338,189
(32)【優先日】2016-10-28
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】507349503
【氏名又は名称】オステンド・テクノロジーズ・インコーポレーテッド
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100153006
【弁理士】
【氏名又は名称】小池 勇三
(72)【発明者】
【氏名】ハズラ，シッダールト・エス
(72)【発明者】
【氏名】エル－ゴロウリー，フセイン・エス
【審査官】三吉 翔子
(56)【参考文献】
【文献】米国特許出願公開第２００４／００２４３１２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０２９３５９０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３
Ａ６１Ｂ ８／００
(57)【特許請求の範囲】
【請求項1】
ヒューマン－コンピュータ・インターフェース・システムにおいて装着可能ジェスチャ認識デバイスを使用してジェスチャ指令を生成する方法であって、
ユーザの解剖学的特徴の断面を構成する複数の内部と外部組織対象の数学的モデルを提供するステップ；
前記数学的モデルを用いて、前記ユーザの前記解剖学的特徴の断面を構成する前記複数の内部と外部組織対象の任意の構成から超音波測定値をシミュレートするステップ；
前記ユーザの前記解剖学的特徴の前記複数の内部と外部組織対象の時空間断面のマッピングを示す、超音波信号データセットを得るステップ；
前記超音波信号データセットと前記数学的モデルを用いて得られた前記シミュレートした超音波測定値とを相関させることによって、前記ユーザの前記解剖学的特徴の断面を構成する１つ又は複数の前記内部と外部組織対象の特性を識別するステップ；
前記解剖学的特徴の断面を構成する前記１つ又は複数の前記内部と外部組織対象の前記識別した特性に基づき、前記ユーザの前記解剖学的特徴の姿勢を推定するステップ、並びに
前記推定した姿勢に基づき、ジェスチャ指令を生成するステップ
を備える方法。
【請求項2】
解剖学的特徴の特性を遠隔監視する方法であって、
ユーザの解剖学的特徴の複数の内部と外部組織対象の生物学的基準セットに基づき、前記ユーザの前記解剖学的特徴の断面を構成する前記複数の内部と外部組織対象の数学的モデルを提供するステップを備え、
前記生物学的基準は、前記ユーザの前記解剖学的特徴の断面を構成する前記複数の内部と外部組織対象の任意の構成に対応する、シミュレートした超音波測定値を生成する数学的モデルのための、前記解剖学的特徴の断面を構成する前記複数の内部と外部組織対象の、前記ユーザに特定の生体力学的特性を有し、
前記数学的モデルに基づき、前記ユーザの前記解剖学的特徴の断面を構成する前記複数の内部と外部組織対象の時空間断面のマッピングを示す、超音波信号データセットを得るステップ；
前記超音波信号データセットと前記数学的モデルに基づき生成された前記シミュレートした超音波測定値とを相関させることによって、前記ユーザの前記解剖学的特徴の断面を構成する前記複数の内部と外部組織対象の特性を識別するステップ；並びに
前記複数の内部と外部組織対象の前記識別した特性を、コンピュータ可読情報の形態で遠隔場所にネットワークを通じて伝送するステップ
を備える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１５年１０月３０日出願の米国仮特許出願第６２／２４９，０２１号の利益を主張するものであり、この文献の全体が、参照により本明細書に組み込まれる。
【0002】
本明細書の開示は、装着可能技術、ジェスチャ認識、拡張現実、人間コンピュータ・インターフェース、人間入力デバイス、ピコ又はマイクロ表示投影、生物医学撮像、超音波（本明細書ではＵＳとも呼ぶ）及び超音波検査の分野に関する。より詳細には、本明細書の開示は、身体上ジェスチャ・インターフェース及び投影表示のためのシステム及び方法、並びに人間の解剖学的特徴の姿勢及びジェスチャを使用して、コンピュータ、表示又は他のデバイスを制御するジェスチャ指令を生成する装着可能デバイスに関する。姿勢及びジェスチャは、特徴を超音波でマッピングした時空間断面を使用して得られ、この時空間断面は、特徴を含む組織対象の所定のユーザの生物学的基準に基づく数学的モデルと相関されている。
【背景技術】
【0003】
ヒューマン－コンピュータ・インターフェース又は対話（「ＨＣＩ」）チャンネル（「ヒューマン－マシン・インターフェース」又は「ＨＭＩ」と呼ばれることもある）は、帯域幅が制限されていることは公知である。現在のＨＣＩシステムにおいて、ユーザは、典型的には、「人間が受信する」チャンネルである表示器、画面又はモニタを通して情報を受信し、「人間が送信する」チャンネルとして説明されるキーボード／マウス／他の入力デバイスを使用してコンピュータに情報を送り返す。
【0004】
受信チャンネルは、関連する表示解像度及び色空間に比例すると見なすことができる帯域幅を有する。送信チャンネルは、人間ユーザの物理的及び数学的熟練さと相まって、関連する入力デバイスのアルファベットのサイズによって制限された帯域幅を有する。従来の表示技術は、嵩のある明視野（３Ｄ）表示等の新たな表示技術の出現と共に、解像度が増大し、受信チャンネル帯域幅を数千倍増大させている。これらの進化にもかかわらず、送信帯域幅は、熟練を発展させるには訓練を必要とする非直観的機械インターフェース又はアルファベット・ジェスチャ・インターフェースの制限の結果として、依然として制限されている。
【0005】
従来の解決策におけるこれらの問題は、モバイル（スマートフォン）表示器の状況で考えてみると深刻化する。モバイル・デバイス表示器の概して高い解像度にもかかわらず、人間の視覚系の表示空間及び視覚の鋭敏さの制限により、ユーザ及び設計者の両方は、人間／機械対話に対する新たな対応策を強いられている。このことは、多数の画面の使用を、非常にわずかな触知仮想ボタンを用いてアプリケーションに誘導するということが例となる。また、装着可能技術における人間工学的制約も最大表示サイズを制限するものである。このことは、大きな表示に慣れているユーザが、かなり小さな表示器を使用するか又はこれと対話する便利さが分からないという問題を生じさせ、低送信及び低受信帯域幅の両方を有する装着可能デバイスをもたらすことになる。
【0006】
本明細書に記載する実施形態は、装着可能画像投影及びジェスチャ認識インターフェースを可能にするシステム及び方法を提供するものであり、同様の従来のデバイスと比較して、中核となるユーザ・エクスペリエンスの著しい改良をもたらす一方で、上記したチャンネル帯域幅の問題に対処する。
【0007】
計算デバイスは、ユーザが計算機械の内部状態から情報を抽出することを可能にすることによって、及びユーザが指令を入力して機械を制御することを可能にすることによって、有用に作製されている。電子表示器は、情報出力のために一般に使用されている一方で、電気機械キー、タッチ・スクリーン又はキーボードは、情報をそのような計算デバイスに入力するために一般に使用されている。
【0008】
デバイスが、より小さい、より薄い可搬式装着可能デバイスとなるにつれて、情報の表示及びユーザが情報を入力するのに快適なインターフェースをもたらすのに利用可能な空間及びサイズは、低減している。
【0009】
このことは、多数の新たなインターフェース技術の開発を余儀なくさせている。例えば、コンピュータは、現在、一般に、触知（振動又は電気）、音響及び／又は同様に温度フィードバック出力をもたらす。コンピュータ及びモバイル・デバイスは、機械視覚支援ジェスチャ認識、音声認識、慣性運動感知、電気筋運動記録信号感知、生体力学的歪みセンサ、生物学的媒体に対する触覚－音響信号感知、脳深部刺激感知技法（皮質脳波記録又は頭蓋内脳波記録）、及び非侵襲性生物学的撮像感知技法（超音波検査、磁気共鳴撮像、Ｘ線撮像のための撮像様式等、様々な非従来的入力技術も、ユーザの意図を理解する小型電気機械スイッチと共に供給することができる。
【0010】
装着可能計算システムの利点の１つは、一般に、即時の使用が常に利用可能であることである。したがって、有用なコンテンツを抽出する前に多数のボタン又は接触要素との対話を必要とする装着可能システムは、そのような親密さが与える利点を伝えるものではない。装着可能計算機械で利用可能な表示空間も依然として制限されている。装着可能デバイスとして使用可能であるように十分に表示器を大きく構成することに関する審美性の課題は、既存の表示手法の使用によっては解決することができない。
【0011】
入力技術に関し、本明細書に記載する実施形態のシステム及び方法は、超音波送信器及び受信器（組み合わせた場合、「トランスデューサ」又は「送受信器」として一般に公知である）を利用するものであり、超音波送信器及び受信器は、手首又は頭部等のユーザの解剖学的特徴の上に装着し、この特徴の時空間断面をマッピングすることができる。手首は、手の多数の筋骨格機械要素の合流点を含むため、親指及び手指（即ち、屈筋／伸筋／外転筋／外転筋及び腱）、これらの屈曲／伸長運動、及び組織の変形は、開示する超音波送受信器又は送受信器アレイを使用して容易に検出することができる。本明細書に記載の実施形態の、取得した時空間信号マップは、手首又は選択した解剖学的特徴の３次元（３Ｄ）数学的モデル化機械的姿勢と直接相関させ、既存のデバイスよりも精度を増大させる。手首のモデル化３Ｄ機械的姿勢は、計算システムの多数の離散状態又はレシオメトリック入力として入手した超音波断面マップと共に使用する。
【0012】
本明細書に記載の実施形態の出力は、「ピコ投影器」とも呼ぶ１つ又は複数の小型光投影明視野表示器を備えることができる。こうしたピコ投影器要素は、本明細書に記載の実施形態の入力センサ及びデバイスからの入力を使用し、光学的に正確な明視野をレンダリングし、平面及び非平面表示表面上に表示するように構成する。多数のピコ投影器を使用することにより、システムが１つ又は複数の身体表面（例えば手の平）、又は表示画像を投影する外部表面上を使用することが可能になる。
【0013】
従来の出力技術の場合、視覚表示は、一般に、他の様式（聴覚又は触知）と比較して、最大の情報帯域幅を有する。したがって、表示器は、ユーザにとって好ましい情報受信チャンネルである。それにもかかわらず、関連する情報帯域幅は、画面サイズ及び解像度に比例し、小さな画面サイズ及び人間の視覚の鋭敏さに対する制約により、従来の装着可能技術が伝達できる総情報を制限している。
【0014】
入力技術は、同様の制約及び課題に直面している。電気機械スイッチベースの入力技術は、依然として、計算デバイス及び良好なユーザ・エクスペリエンスに最も高い情報入力帯域幅を供給している。残念ながら、ユーザの（手指からの）平均的な利用可能触知領域は、一定のままであり、触知キーの小型化は、制限範囲外では可能ではない。様々な電子モダリティに基づくタッチ・スクリーンは、空間を占有しないため、普及しつつあるが、接触入力モダリティは、電気機械キーと比較するとより低い帯域幅を有する。接触機能は、装着可能デバイスで使用する画面サイズがますます小さくなるにつれて、実装が困難にもなる。他の入力技術は、様々な成長状態にあるが、大部分は、統計的技法を使用してユーザの意図を推定するものであり、概して、ユーザ・エクスペリエンスを劣化させることになる。
【0015】
以下、様々な商業技術におけるジェスチャ認識及び制御に対する特定の従来の手法に対するいくつかの制限を説明する。
【0016】
機械視覚ベースのジェスチャ認識に対し多くの注目が向けられている。このことは、電磁スペクトラム内の様々な周波数、パターン化又は形状化電磁波、多数の透視画像捕捉、空気結合超音波放出器及び受信器、無線周波数アンテナ・アレイ等の使用による、多数の撮像モダリティの使用を含む。そのようなデバイスは、環境の２Ｄ画像又は嵩のある画像を生成し、次に、信号処理技法を使用して、背景からユーザを分離し、ユーザのジェスチャを認識する。そのような手法は、以下を含む多数の欠点がある：
１．これらの従来の手法は、ユーザ画像情報を背景情報と共に捕捉し、２つを区別するには著しいハードウェア及びソフトウェア／処理作業を必要とする傾向がある。差異は、統計的想定を使用して頻繁に行われるが、この統計的想定は、大きな差異を示す。
２．これらの同じ手法は、解剖学的特徴の姿勢の推定に必要な入力データの全てを捕捉しないことが多い。というのは、重要な情報が、不随意的に塞がれているか又は画像デバイスが感知しないためである。
３．これらの手法は、ユーザの衣類を制限する状態にし（例えばグローブの非着用、袖のない衣類、指輪の非着用）、こうした手法は、ユーザの手の中の物体によって攪乱されることがあり、手を切断したユーザ又は特定の医療的障害を有する人が使用することはできない。
４．外部感知方式を組み込む従来の適用例において、そのようなシステムは、容易に持ち運ぶことができず、関連するセンサは、かなり特定された位置でユーザに対し固着しなければならない。
５．多くの従来の解決策は、「ゴリラ腕」として一般に公知である反復性緊張外傷をもたらし、ユーザに物理的に多くを要求することがある。
６．従来のジェスチャ認識解決策は、センサが正確に作動するためには、ユーザ環境を制限する状態にし（夾雑さ、背景照明、床に対するセンサの位置）、多くのシステムは、ユーザの動きを特定の位置又は境界内に制限するものである。
７．従来の機械視野手法は、一般に、センサの実際の視野がどのようなものであるかという点で、ユーザへのフィードバックをほとんどもたらさないか、又は全くもたらさない。このことは、ユーザが意図せずに、検知カメラがアクセス可能な領域から離れた場合に、混乱をもたらすことが多い。
８．従来の機械視野システムは、多数のカメラ設定を使用し、冗長なデータセットを捕捉することがある。このことは、データの大部分が最終的に背景として廃棄されるにもかかわらず、ハードウェアに対する要件及びレイテンシを増大させ、センサ効率を低下させ、処理能力を浪費するものである。
９．従来の光学ジェスチャ認識システムは、アーチファクトを受けることも多く、このアーチファクトは、個々に処理しなければならない（例えば、アーチファクトは動きのぶれ、レンズ歪み、シャドーイング及び照明に由来する）。
１．これらの従来の手法は、ユーザ画像情報を背景情報と共に捕捉し、２つを区別するには著しいハードウェア及びソフトウェア／処理作業を必要とする傾向がある。差異は、統計的想定を使用して頻繁に行われるが、この統計的想定は、大きな差異を示す。
２．これらの同じ手法は、解剖学的特徴の姿勢の推定に必要な入力データの全てを捕捉しないことが多い。というのは、重要な情報が、不随意的に塞がれているか又は画像デバイスが感知しないためである。
３．これらの手法は、ユーザの衣類を制限する状態にし（例えばグローブの非着用、袖のない衣類、指輪の非着用）、こうした手法は、ユーザの手の中の物体によって攪乱されることがあり、手を切断したユーザ又は特定の医療的障害を有する人が使用することはできない。
４．外部感知方式を組み込む従来の適用例において、そのようなシステムは、容易に持ち運ぶことができず、関連するセンサは、かなり特定された位置でユーザに対し固着しなければならない。
５．多くの従来の解決策は、「ゴリラ腕」として一般に公知である反復性緊張外傷をもたらし、ユーザに物理的に多くを要求することがある。
６．従来のジェスチャ認識解決策は、センサが正確に作動するためには、ユーザ環境を制限する状態にし（夾雑さ、背景照明、床に対するセンサの位置）、多くのシステムは、ユーザの動きを特定の位置又は境界内に制限するものである。
７．従来の機械視野手法は、一般に、センサの実際の視野がどのようなものであるかという点で、ユーザへのフィードバックをほとんどもたらさないか、又は全くもたらさない。このことは、ユーザが意図せずに、検知カメラがアクセス可能な領域から離れた場合に、混乱をもたらすことが多い。
８．従来の機械視野システムは、多数のカメラ設定を使用し、冗長なデータセットを捕捉することがある。このことは、データの大部分が最終的に背景として廃棄されるにもかかわらず、ハードウェアに対する要件及びレイテンシを増大させ、センサ効率を低下させ、処理能力を浪費するものである。
９．従来の光学ジェスチャ認識システムは、アーチファクトを受けることも多く、このアーチファクトは、個々に処理しなければならない（例えば、アーチファクトは動きのぶれ、レンズ歪み、シャドーイング及び照明に由来する）。
【0017】
ジェスチャ認識に対する別の従来の手法は、グローブ状筐体内に埋め込んだセンサに基づく。この従来の手法のセンサは、典型的には、肢関節の変形を測定して、姿勢を推定するものである。そのようなシステムによる主な制限は、快適ではなく、邪魔なグローブ状システムの装着に対する要件であり、グローブ設計に使用する織物の弾性が、解剖学的特徴の姿勢の推定に悪影響を及ぼす場合がある。
【0018】
より最近の従来の入力技術は、生物音響感知として記載される。この手法は、一般に、振動センサを必要とし、振動センサは、人間の手の特定の場所に置かれ、ユーザが身体の特定の場所に触れるか又は軽くたたいた際に振動伝送情報を測定する。そのような生物音響システムのいくつかの主な制限は、以下のとおりである：
１．そのような方法は、弁別的にしか使用することができない。新たなジェスチャの位置又は軽くたたく位置は、区別することができないため、そのようなシステムが認識できるジェスチャの解像度及び利用可能な数を制限している。
２．振動伝送要件のために、この手法は、ユーザがそのようなシステムを使用する際に着用し得る衣服を制限するものである。
３．生物音響システムは両方の手の使用を必要とする。
４．生物音響システムで使用するセンサは、組織密度に基づき、特定の身体位置にのみ置くことができる。
１．そのような方法は、弁別的にしか使用することができない。新たなジェスチャの位置又は軽くたたく位置は、区別することができないため、そのようなシステムが認識できるジェスチャの解像度及び利用可能な数を制限している。
２．振動伝送要件のために、この手法は、ユーザがそのようなシステムを使用する際に着用し得る衣服を制限するものである。
３．生物音響システムは両方の手の使用を必要とする。
４．生物音響システムで使用するセンサは、組織密度に基づき、特定の身体位置にのみ置くことができる。
【0019】
いくつかの他の従来のジェスチャ認識技術は、人体から抽出した電気生理学信号に基づく。いくつかの一般的な例は、筋肉の電気的活動に基づく電気筋運動記録（ＥＭＧ）信号、及び脳波（ＥＥＧ）信号に基づく技術であり、脳波（ＥＥＧ）信号は、神経系及び人間の脳の電気的活動に基づく。これらの信号を抽出する侵襲性技法は、マイクロ皮質脳波記録で使用されるように、実用的ではない。というのは、これらの技法は、配置のために手術又は針電極の挿入を必要とし、生命の状態を改善する最終手段のオプションとしてのみ使用されるためである。
【0020】
ＥＥＧ又はＥＭＧに対する従来の非侵襲性手法は、（ＥＥＧの目的で）頭部周囲又は（ＥＭＧの目的で）特定の筋肉に置く表面電極を使用することがある。そのようなジェスチャ認識手法に対する実用的な問題は、こうした信号生成の背後にある科学が、いまだ良く理解されておらず、多くのジェスチャ認識アルゴリズムが弁別的に動作することである。非侵襲性ＥＥＧ／ＥＭＧシステムにおいて、新たなジェスチャごとに、特定の認識可能な電気信号を検出し、そのために訓練する必要がある。このことは、そのようなシステムが記録し得るジェスチャの総数を制限するものである。これらの従来の手法における別の欠点は、関連する信号の信号対ノイズ比が非常に悪く、不十分な姿勢推定につながることである。必要な表面電極は、ＥＥＧ／ＥＭＧの異なる場所の多数の組織から平均化した入力を拾い上げるため、これらのシステムは、ジェスチャ弁別精度を低減させる傾向を有し、センサを多量の電気的活動を有する領域に配置する必要もある。これらのシステムの精度及びジェスチャ弁別機能の限度に関する全体的な問題は、商業適用例での使用を制限する傾向がある。
【0021】
最後に、従来の慣性測定並びに姿勢及び向首基準をベースとする姿勢感知システムが試みられているが、上記で説明した、ジェスチャを認識する従来の試みにおける多く又は全ての問題がある。
【0022】
上記で説明したジェスチャ認識技術に加えて、ジェスチャを認識する装着可能超音波送受信器及び装着可能小型ピコ投影システムの使用に関し公開された文献が存在する。従来の装着可能超音波ジェスチャ制御及び投影手法の欠点を以下で説明する。
【0023】
次に、装着可能超音波デバイスに関連する以下の文献を説明する。１９９６年１０月１０日出願、Ｋ．Ｂｅａｃｈによる米国特許第５，８１８，３５９号（特許文献１）、２００２年８月１日出願、Ｙ．Ｚｈｅｎｇによる米国特許第６，９８４，２０８号（特許文献２）、２０１０年７月２１日出願、Ｙ．Ｓｏｎによる米国特許第８，２９２，８３３号（特許文献３）、２０１２年８月１日出願、Ｓ．Ｓｉｋｄａｒ等による米国特許公開第２０１３／００４１４７７号（特許文献４）、及び「Ｄｙｎａｍｉｃ Ｍｏｎｉｔｏｒｉｎｇ
Ｏｆ Ｆｏｒｅａｒｍ Ｍｕｓｃｌｅｓ Ｕｓｉｎｇ Ｏｎｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｓｏｎｏｍｙｏｇｒａｐｈｙ Ｓｙｓｔｅｍ」、ＪＲＲＤ、４５（１）、２００８年、Ｇｕｏ，ＪＹ等による）（非特許文献１）。これらの開示のいずれも、デバイスを装着している間に機械的固定又は外部接触により加えられる圧力を考慮していない。人体の解剖学的特徴上又はその特徴に沿って装着可能デバイスが滑らないようにする固定は、例外なく、かなりの圧力を身体部分自体に加える（例えば、腕時計のストラップ、タイ、帽子、パンツ用ベルト、半ズボンで使用する弾性バンド）。この圧力は、皮下組織の構成、及び内部解剖学的対象の構造を著しく変更し、位置を移動させ、変形させるものであり、例えば、血管は、中程度の圧力でへこむことが公知であり、又は腱は、圧力を加えると、近位背側手首表面領域においてそれ自体の位置が移動する。
Ｏｆ Ｆｏｒｅａｒｍ Ｍｕｓｃｌｅｓ Ｕｓｉｎｇ Ｏｎｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｓｏｎｏｍｙｏｇｒａｐｈｙ Ｓｙｓｔｅｍ」、ＪＲＲＤ、４５（１）、２００８年、Ｇｕｏ，ＪＹ等による）（非特許文献１）。これらの開示のいずれも、デバイスを装着している間に機械的固定又は外部接触により加えられる圧力を考慮していない。人体の解剖学的特徴上又はその特徴に沿って装着可能デバイスが滑らないようにする固定は、例外なく、かなりの圧力を身体部分自体に加える（例えば、腕時計のストラップ、タイ、帽子、パンツ用ベルト、半ズボンで使用する弾性バンド）。この圧力は、皮下組織の構成、及び内部解剖学的対象の構造を著しく変更し、位置を移動させ、変形させるものであり、例えば、血管は、中程度の圧力でへこむことが公知であり、又は腱は、圧力を加えると、近位背側手首表面領域においてそれ自体の位置が移動する。
【0024】
そのような組織の再配置は、多数の装着－取外しサイクルの間で一貫性なく生じ、したがって、解剖学的特徴から受信する超音波信号特性に影響を与える。上記の引用文献で開示した試みは、そのような固定が発生させる、体内対象及び組織に対する機械的応力の影響を制御又は軽減する方法を一切教示するものではない。これらの引用文献は、例えば、ユーザの前腕及び手が静止状態にある場合、又は外部表面に接して支持若しくは接触している場合に導入される信号摂動についても議論されていない。ひじ領域の上の上腕に対する圧力は、皮膚を通して信号に著しく影響を与え、特徴内の対象組織を変形させる。
【0025】
人間の組織は、高度に異方性で不均質な音響散乱特性を有する。したがって、送受信器の滑り又は再配置の不一致に由来する超音波送受信器アレイのわずかな回転関節運動により、非常に大きな信号変動が望ましくなくもたらされ得る。
【0026】
ジェスチャ認識適用例における別の組織は、身体組織において慣性により引き起こされる動きである（静的及び振動による偏向を含む）。人間の末端部の通常の日々の動き及び関節運動は、超音波送受信器又はアレイに対する組織の相対内部の慣性運動をもたらす。送受信器自体が表す慣性質量は、直接近接する組織内の慣性応答に影響を及ぼし、慣性がかかる際の組織の機械的変形のために、信号の質を劣化させる可能性がある。
【0027】
関節（例えば手首）を含む解剖学的特徴が回転を受けた場合、関節周囲のひだで変形があり、腱が関節軸に直交する変位を受けると共に、隣接する皮膚にしわを寄せる傾向がある。このしわの寄った皮膚／移動する腱の構造は、時計、バンド、ストラップ又はほかの装着可能デバイス等の外部に装着した物体に対し外方に圧力を加える。この構造は、音響凸レンズを利用する装着可能超音波プローブを手首で使用する際に特に問題である。というのは、この構造により、プローブを対象断面から離して回転させるか、又は場所内で移動させることができるためである。このことは、組織の異方性のために帰還超音波信号の質を劣化させる。この問題に対する解決策は、確認した上記の文献のいずれにおいても対処されていない。
【0028】
従来の手法が対処していない更なる考慮事項は、重力自体の影響である。人間の手指及び身体部分は、かなりの質量を有し、これらの組織は、重力の影響下、不随意の変形に抗するほど十分に堅いものではない。そのような不随意の変形は、全てのモダリティにおいて正確なジェスチャ認識の際に問題をもたらす。
【0029】
超音波は、現在利用可能な、最も安全な撮像モダリティの１つと見なされている。しかし、安全性に関するこの評判は、線量時間及び強度を制限することによって、ＵＳへの露出の危険性を軽減すること、並びに特定のＵＳ性能指数を詳細に追跡することを想定している。組織に対する長期の照射を必要とする超音波デバイスは、安全性に対する注意を払い、フェイル・セーフ設計を設けなければならないが、本明細書で説明する従来の手法では、安全第一設計に関する考慮事項に直接的に対処していない。
【0030】
装着可能デバイス適用例において、ほとんどの市販の超音波送受信器は、関連する伝送媒体（即ち生物学的組織）とインピーダンスが不整合である。いくつかの、例えば、１－３又は２－２複合圧電材料が存在し、これらは、改善されたインピーダンス整合をもたらすが、そのようなデバイスは、空気－皮膚の輪郭境界及びこれによる漏れに対処していない。従来のＵＳ送受信器の実際的な実装形態は、ゲル／油に依存する（特許文献２）か、又はＵＳ結合媒体に全く言及していないため（特許文献４）、ゲル、油若しくは特定のインピーダンス整合媒体の使用が仮定されるかのいずれかである。上述のＵＳゲル塗布は、送受信器を使用する前、及びあらゆる信号伝送の前に、使用ごとに必要であると思われる。明らかに、ゲル又は油の使用は、極めて不便であり、実際的な使用に適していない。
【0031】
アルゴリズムの観点からは、ジェスチャ認識における従来の試みは、スペックル・トラッキング、正規化相互相関及び重み付き平均オプティカル・フロー基準等の弁別モデルを、ルックアップ・テーブル（「ＬＵＴ」）内に保存したもの等の基準セット又は事前定義ジェスチャ表現に対し使用し、基準セット又は事前定義ジェスチャ表現は、全域画像（又はローカル副画像）にわたるジェスチャを認識する訓練セッションにより得られ、全域画像（又はローカル副画像）は、パルスエコー／遅延和データのＵＳ走査変換の後に得られる。ジェスチャ認識は、周知の事前に訓練した分類アルゴリズムがある場合、これらを使用して実施する。それ以外の場合は、単に最も高い相関スコアを報告する。
【0032】
これらの従来の手法の重大な欠陥は、ユーザが「分類する」又は例えば、人差し指を完全に曲げたときに意味するものを定義する場合、標示された事前訓練データセットを必要とすることである。ユーザは、ジェスチャを正確に再現できることはめったになく、偏りが次第に増加する。このことは、ユーザにソフトウェアを再度訓練し、ユーザを特定の事前定義ジェスチャに制限することを要求する。コンピュータが親指から人差し指を自然に認識しない、そのような統計的に定義したジェスチャは、ユーザ・インターフェース対話を苛立たしいものにする。
【0033】
そのような手法の別の問題は、これらの手法が「参照的」又は弁別的であり、生成的ではないことである。したがって、これらの手法は、アルファベット・サイズ（即ち、ユーザが実際に生成し得るジェスチャの全セット及び姿勢の間でアルゴリズムの実施を区別することができるジェスチャの総数）が非常に限られており、アルファベット・サイズは、訓練の間に使用するジェスチャによって正確に定義される。これらのジェスチャは、他のジェスチャの組合せから得た新たなジェスチャを認識するように組み合わせることができない。
【0034】
例えば、人差し指を動かす、親指を動かす、親指と人差し指を一緒に動かすことは、超音波時空間信号空間においてそれぞれ一義的な表現を有する。こうした表現は、基本ジェスチャの線形関数ではない。したがって、人差し指及び親指を個々に動かすことによって得た訓練は、親指と人差し指の両方を同時に動かす条件を識別する線形方法をもたらさない。したがって、従来の手法の方法は、訓練中に定義した個々のジェスチャの数を増大させることによってのみ、そのようなシステム内でアルファベット・サイズを増大することができる。例えば、人差し指を動かす、親指を動かす、親指と人差し指を一緒に動かすことは、３つの一義的なジェスチャを表し、個々に訓練する必要がある。このことは、以下
の２つの問題につながる：１．画像フレームごとのジェスチャの検出に、全訓練コーパスにわたる計算スコアを必要とし、これにより、計算複雑さをより多くし、フレーム率を低減し、レイテンシを増大させる。２．大きな訓練データセットは、ユーザに、より長時間のアルゴリズム訓練を費やさせることにもなり、退屈で、商業製品では許容することができない。例えば、単に、人差し指を動かす、及び親指を動かす訓練ではなく、２つのジェスチャを表し、その情報を使用して両方の指がいつ同時に動いたのを推定するためには、従来の技術は、３つの個々のジェスチャの訓練を必要とする。
の２つの問題につながる：１．画像フレームごとのジェスチャの検出に、全訓練コーパスにわたる計算スコアを必要とし、これにより、計算複雑さをより多くし、フレーム率を低減し、レイテンシを増大させる。２．大きな訓練データセットは、ユーザに、より長時間のアルゴリズム訓練を費やさせることにもなり、退屈で、商業製品では許容することができない。例えば、単に、人差し指を動かす、及び親指を動かす訓練ではなく、２つのジェスチャを表し、その情報を使用して両方の指がいつ同時に動いたのを推定するためには、従来の技術は、３つの個々のジェスチャの訓練を必要とする。
【0035】
特許文献４は、組織及び腱の位置を事前に標的化する骨等の目印として、ユーザの解剖学的特徴のエコー輝度の使用を開示している。この開示された手法の重大な問題は、解剖学的構成要素の特定の場所が、母集団にわたる目印に対して一貫して参照可能ではなく、測定工程全体を通して見ることができないことである。例えば、長母指伸筋はほとんどのユーザに存在するが、ユーザの尺骨又橈骨は等の目印に対して特定の場所にないことがある。したがって、静的目印に基づく事前標的化は、ジェスチャ認識のアルゴリズムにはうまく機能しない。
【0036】
最新技術ＵＳジェスチャ認識文献において使用されるアルゴリズムは、画像処理に依存する。このことは、従来の画像ベースのパターン照合で使用される正規化相互相関基準の広範な使用によって明示される。画像処理は、バックエンドでのＵＳ後処理において「走査変換」と呼ばれる処理の間に行われる２Ｄ ＵＳ画像形成の使用を必要とし、このことは望ましくない。この方法は、空間的及び時間的補間並びにエイリアシング・アーチファクトを導入し、超音波検査から得た生ＵＳデータを直接表さず、生ＵＳデータを利用せず、非撮像適用例でさえ必要とする走査変換である。そのような画像形成／走査変換は、望ましくないハードウェア及びレイテンシの費用、例えば、フレームを保存するためのメモリ・バッファ、及びバッファを保存、抽出又はアクセスするための時間をもたらす。
【0037】
従来のジェスチャ認識は、一般に、実際では静的ではない場合に人間の生理機能が静的であることを仮定する。この仮定は、従来のアルゴリズムで得た、静的な１回限りの訓練基準の頻繁な使用によって示される。したがって、老化（高齢化）、個体発生的（発育上）及び生活様式に関連する変化は、従来の手法では考慮されていない。
【0038】
更に、上述のジェスチャ認識基準のいずれも、あらゆる診断又は一般的ヘルスケア・モダリティにおけるＸ線撮影技法の使用を教示していない。更に、いずれも、単純なメッセージ表示以外のジェスチャ認識アルゴリズムの明示的な一部であるインターフェース技術を提供していない。そのような方法は、中心周波数方法を使用し、こうした技法は、パルスエコー及び遅延和モダリティに基づく。更に、これらの方法は、アルゴリズムに対する非計装手法を使用し、これらの測定工程は、測定値の性質によって影響を受けない。
【0039】
特許文献３は、「手首」上のデバイスを位置特定し、「手根管」を撮像することを請求している。このデバイスは、手根管内の屈筋腱を撮像し、波形と、送受信器から得た帰還信号とを関連付けるものであると理解されたい。特許文献３のデバイスは、指の曲げと対応すると想定される、慣性測定ユニットからの信号を使用して、ユーザが指を動かしたかどうかを認識するものであると理解されたい。
【0040】
特許文献３の実装形態に固有の問題がいくつかある。腱は、手根管領域で一緒に圧縮される。全ての腱は、（封入された性質のために）手根管内で交感的に一緒に動く傾向がある。ピッチ、ロール又はヨー軸周りの手首又はひじ関節運動は、手根管での変形をもたらし、腱の明らかな動きも同様にもたらす。したがって、取得した信号は、この手法においてかなりの交感マスキング及びエイリアシングを受ける。更に、あらゆる指のあらゆる関節運動は、少なくとも２つの腱（屈筋及び伸筋）が拮抗的に作用することを必要とし、伸
張状態の指は、対応する屈筋の歪みをほとんどもたらさず、その逆もまた同様である。伸筋腱は、通常手根管を通らず、筋肉群は、短母指外転筋又は虫様筋等の指関節運動で係合されているため、実際には、このことは、そのような手法で感知できる実際の姿勢をひどく制限するものである。
張状態の指は、対応する屈筋の歪みをほとんどもたらさず、その逆もまた同様である。伸筋腱は、通常手根管を通らず、筋肉群は、短母指外転筋又は虫様筋等の指関節運動で係合されているため、実際には、このことは、そのような手法で感知できる実際の姿勢をひどく制限するものである。
【0041】
上記で引用した引用文献における、手首上に付けるジェスチャ認識システムで使用する慣性測定センサは、手首の位置に特定の絶対回転、向き又は加速度を検出するように構成されている。したがって、捉えた慣性応答は、個々の指からの応答に加えて、手首関節運動及び前腕の動きの両方からのものである。引用文献は、そのような不随意の活動状態を区別する解決策を一切提示しておらず、公知である関連する汎用アルゴリズムも文献内に存在しない。一般に、そのようなシステムの劣決定性質のために、慣性測定単独では、そのような問題を解決することができない。
【0042】
装着可能投影システムは、以下の文献においても論じられている：２０１１年３月３１日出願、Ａ．Ｔｏｎｙ等による米国特許第２０１２／０２４９４０９号（特許文献５）、２０１１年５月１７日出願、Ｃ．Ｈａｒｒｉｓｏｎ等による米国特許第８，６１９，０４９号（特許文献６）、２０１０年２月３日出願、Ｐ．Ｍｉｓｔｒｙ等による米国特許公開第２０１０／０１９９２３２号（特許文献７）。これらのいずれも、使用する投影技術の有意義な詳細を論じていない。最新技術の装着可能又は小型「ピコ投影」手法は、４つの技術、即ち、レーザー走査、反射型液晶（エルコス、ＬＣｏＳ）、デジタル光源投影（ＤＬＰ）又はマイクロ発光ＯＬＥＤ技術に基づくことができる。
【0043】
マイクロ発光ＯＬＥＤ技術は、ピコ投影では有用なモダリティとはみなされていない。というのは、この技術は、実際の投影を行うのに十分な光出力又は輝度を生成しないためである。ＤＬＰ／ＬＣｏＳは両方共に、照明ＬＥＤの組合せ、コリメーション光学部品、組合せ光学部品、ホモジナイザ、ビームスプリッタ、偏光再循環システムを、空間光変調器ユニット、投影光学部品組立体、動力伝導集積回路及び画素変調集積回路に加えて必要とし、これらは、そのような光エンジンが有し得る最小占有面積に制約をもたらす。
【0044】
レーザー走査技術は、スペックルに関する問題を有し、投影画像内でのスペックルの制約を低減するために、光学的及びフォトニクス的多様性の使用を必要とし、更なるハードウェアの使用を必要とする。そのようなシステム内で照明源として使用するＬＥＤ及びレーザー・ダイオードは、体積を占有し、広範な熱管理サブシステムを必要とする。そのようなデバイスのサイズは、そのようなシステムの合計光出力の縮小によってのみ管理することができ、この場合でさえ、システム体積は、実際的には、それほど低減することはできず、装着可能技術システムの採用を制限する。
【0045】
明らかであるように、従来の装着可能ジェスチャ認識・投影システムは、装着可能デバイス形状因子に十分に適合していない技術に基づくか、又は許容可能な設計を非常に制限するものである。このことは、多数の埋め込みピコ投影要素を有するシステムの設計、及び単一表面上への投影画像の表示を目的とする設計も制限する。
【0046】
従来の試みは、多くの投影表面（例えば人間の皮膚）が一貫性のない光学特性を有することを考慮していない。ユーザの皮膚表面上に投影される光は、皮膚表面の光学特性、部屋の周囲照明、及び手の姿勢／ジェスチャに基づき、非線形利得関数によって変換する。画面利得及び周囲照明は、壁掛け投影表示器にとって既に著しい困難であり、一般に、高強度ランプの使用によって解決し、身体上投影に関する制約は、そのような表示の質をより一層困難なものにする。
【0047】
従来技術ピコ投影手法は、装着可能デバイスの投影表面の形状が、平面ではないことが
あり、経時的に変化する３Ｄ変形を伴う２Ｄ皮膚表面上にあることを考慮していない。皮膚表面下の腱のあらゆる動き及びあらゆる軟組織変形は、多くの方向に投影光の反射を生じさせ、コントラストの損失並びに効率及び輝度の損失をもたらす。問題は、表示を投影する身体部が、表示中に姿勢変化を受ける場合、より困難になる。
あり、経時的に変化する３Ｄ変形を伴う２Ｄ皮膚表面上にあることを考慮していない。皮膚表面下の腱のあらゆる動き及びあらゆる軟組織変形は、多くの方向に投影光の反射を生じさせ、コントラストの損失並びに効率及び輝度の損失をもたらす。問題は、表示を投影する身体部が、表示中に姿勢変化を受ける場合、より困難になる。
【0048】
ピコ投影技術で行われる一般的な仮定は、意図する投影表面は、投影光に対して直交しているか、直交することになる、というものである。投影表面が面内で回転した場合、投影表面は、一致する角度値だけ回転する。このことは、要となる補正で使用される。しかし、身体上表面は、多数の非線形湾曲を有する可能性があり、従来の手法のいずれもこのことを考慮していない。そのような非線形湾曲を考慮するには、線形から非線形への画像解像度の変換を必要とし、表示技術において、又はそのような表示器内で使用する有効な解像度を低減することが公知であるソフトウェア・ワーピング・アルゴリズムの使用によって物理的に考慮しなければならない。
【0049】
いくつかの従来の手法は、実際の組織変形についての情報を戻さないジェスチャ認識技術の使用を請求している。例えば、特許文献６は、生物音響感知の使用を論じており、その欠陥は、既に述べたとおりである。特許文献５は、あらゆる忠実度で、実際の姿勢認識をもたらさない低解像度技術の使用について推測している。したがって、これらの従来の解決策は、姿勢が引き起こす軟組織変形を考慮する高解像度手段をもたらすものではない。
【先行技術文献】
【特許文献】
【0050】
【文献】米国特許第５，８１８，３５９号
【文献】米国特許第６，９８４，２０８号
【文献】米国特許第８，２９２，８３３号
【文献】米国特許公開第２０１３／００４１４７７号
【文献】米国特許公開第２０１２／０２４９４０９号
【文献】米国特許第８，６１９，０４９号
【文献】米国特許公開第２０１０／０１９９２３２号
【非特許文献】
【0051】
【文献】「Ｄｙｎａｍｉｃ Ｍｏｎｉｔｏｒｉｎｇ Ｏｆ Ｆｏｒｅａｒｍ Ｍｕｓｃｌｅｓ Ｕｓｉｎｇ Ｏｎｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｓｏｎｏｍｙｏｇｒａｐｈｙ Ｓｙｓｔｅｍ」、ＪＲＲＤ、４５（１）、２００８年、Ｇｕｏ，ＪＹ等
【発明の概要】
【発明が解決しようとする課題】
【0052】
上記のように、上述した従来の手法は、生成モデルの使用とは対照的に、ジェスチャの識別に弁別手法を使用するものである。例えば、特許文献５は、事前に定義した起動位置の使用を必要とし、特許文献６は、弁別ベースの従来の訓練データを使用する。このことは、こうした手法の対話モダリティ及び投影機能を大幅に制限する。
【課題を解決するための手段】
【0053】
必要とされるのは、従来の手法の上記の欠点に対処し、高解像度ジェスチャ認識を提供するジェスチャ認識及びピコ投影システム及び方法であり、高解像度ジェスチャ認識は、人間の手及び手首又は他の解剖学的特徴の大きなジェスチャ・アルファベットを利用する。
【図面の簡単な説明】
【0054】
【図1A】本明細書で説明する実施形態による方法ステップのセットを示すフロー・チャートである。
【図1B】複数の人体部分（本明細書では人間の手、手首、ひじ、頭部等の「人体特徴」）上に一実施形態によるシステムを装着しているユーザの図である。
【図2A-2B】図２Ａは、開放位置における例示的システムの一実施形態の図であり、システムは、ユーザの手首又は前腕に装着することができる。図２Ｂは、閉鎖位置における例示的システムの一実施形態の図であり、システムは、ユーザの手首又は前腕に装着することができる。
【図3】システムの例示的実施形態を含み得る様々なサブシステムの図である。
【図4】一実施形態による、システムの例示的システム・アーキテクチャである。
【図5A-5D】システムの一実施形態による、表示投影を同時に又は各自に行うことができる身体表面の図である。
【図6】一例示的実施形態による、システムのサブユニットの超音波送受信器アレイの図である。
【図7A】一例示的実施形態による、人間の手の部分の３Ｄ運動を表すのに使用する解剖学的参照図である。
【図7B】一例示的実施形態による、人間の手の部分の３Ｄ運動を表すのに使用する解剖学的参照図である。
【図7C】一例示的実施形態による、人間の手の部分の３Ｄ運動を表すのに使用する解剖学的参照図である。
【図8A-8F】一例示的実施形態による、人間の５本の手指を使用して、人間の手の平又は手の甲の表面上に投影した表示内容と対話させる代表的ジェスチャの図である。
【図10A-10B】一例示的実施形態による、近位及び中間指骨のヨー関節運動（ａｒｔｉｃｕｌａｔｉｏｎ）を伴う代表的「握りしめ」動作ジェスチャの図であり、手指は、手の平表面と接触する。
【図11A-11B】一例示的実施形態による、近位及び中間指骨のヨー関節運動を伴う代表的ジェスチャの図であり、手指は、手の平表面と接触しない。
【図12A-12B】一例示的実施形態による、手首の向きにおける親指の代表的「上下動」動作の図である。
【図13A-13K】一例示的実施形態による、システムによって認識可能な前腕の向きを含む手指と手首の姿勢の例示的組合せの図である。
【図14A-14C】一例示的実施形態による、例示的複合ジェスチャの図であり、例示的複合ジェスチャは、手首を一定の姿勢及び向きで維持しながら手指及び指節間皮線及び指先に親指の先端を向けることによって、システムによって認識可能である。
【図15A-15C】一例示的実施形態による、ジェスチャ対話モダリティの図であり、ユーザの手指を使用して、反対側の腕の表面上に投影される表示器と対話する。
【図16A-16B】一例示的実施形態による、システムの表示画像の投影表面として使用される外部表示表面の図である。
【図17】完全身体姿勢を再構成する際にシステムの一実施形態で使用される運動モデルの図である。
【図18A】一例示的実施形態による、超音波送受信器ベースの身体上ジェスチャ認識システムの構成の図である。
【図18B】一例示的実施形態による、工程ステップのフロー・チャートである。
【図19A-19B】一例示的実施形態による、方法の生物測定数学的モデルで使用される手首の混合要素モデルを減少させた図である。
【図20】一例示的実施形態による、オンラインネットワーク化ソフトウェアを使用する、方法の例示的ソフトウェア構成の図である。
【図21】一例示的実施形態による、方法の信号認識数学的モデルで使用される人間の手の混合要素モデルの代表図である。
【図22A-22C】図２２Ａは、一例示的実施形態による、手首及び手の関節標示の図である。図２２Ｂ、図２２Ｃは、一例示的実施形態による、指関節の図であり、ジェスチャの間、指の関節図がどのように変形するかを示す。
【図23】一例示的実施形態による、指関節の図であり、様々な関節測定は、異なる解像度を有する。
【図24】一例示的実施形態による、方法を使用してジェスチャ認識から構成したネットワーク・グラフの図である。
【図25】一例示的実施形態による、方法においてレンダリングで使用するモデル構成及び軟組織変形シミュレーションの図である。
【図26】一例示的実施形態による、ゲームを制御するために使用するシステムの例示的実施形態の図であり、ゲームは、手の平表面上に投影される。
【図27】本明細書の一実施形態による、システムの起動期間の間に実施される例示的ジェスチャ認識工程を説明する流れ図である。
【図28】本明細書の一実施形態による、例示的ジェスチャ認識工程を説明する流れ図である。
【図29】本明細書の一実施形態による、統計的生体測定データに従った人体の表現の図である。
【図30】本明細書の一実施形態による、ユーザが装着するシステムの識別した場所の表現の図である。
【図31】本明細書の一実施形態による、分離されているデータ・クラスタの境界の識別を説明する表現の図である。
【図32】本明細書の一実施形態による、解剖学的特徴により検出した境界の整合を説明する表現の図である。
【図33】本明細書の一実施形態による、侵食又は膨張を通して整合された境界の簡略化を説明する表現の図である。
【図34】本明細書の一実施形態による、超音波データ内で検出された境界の簡略化を説明する表現の図である。
【図35】本明細書の一実施形態による、簡略化境界情報から生成したメッシュの図である。
【発明を実施するための形態】
【0055】
上記の制限を克服するために、本明細書に記載の実施形態のシステム及び方法は、装着可能可搬式ジェスチャ認識システムを可能にするものであり、このシステムは、従来の複数の投影表示システムから構成される一方で、複数の超音波送受信器及びセンサ要素の使用により高忠実度のユーザ・ジェスチャ入力が得られる。
【0056】
一実施形態では、システムは、手首上に装着することができる一方で、表示投影表面は、手の甲又は手の平の面によって供給する。本実施形態では、ユーザ・ジェスチャ入力は、手首、手、手指及び親指の姿勢を関節運動させることによって受信し、手首を含む解剖学的対象のＵＳ時空間断面マップを取得し、姿勢を推定し、実行可能なコンピュータ命令に変換する。実行可能なコンピュータ命令は、数学モデル化した、シミュレーションベースのジェスチャ認識システム方法を使用して得られ、システム及び方法は、ユーザ規定の機械センサ及び電子センサ１つ又は複数から入力を受信することもできる。
【0057】
本出願の目的で、用語「姿勢」とは、人間の解剖学的特徴の１つ若しくはセットの静的若しくは瞬間的な動的位置、向き又はこれら両方を指す。限定ではなく例として、姿勢は、人間の手、手首、親指及び手指の位置又は姿勢又はこれら両方を含むことができ、人差し指を実質的に水平に延在させ、親指及び残りの手指を手の平に閉じた状態で「指差し」位置で保持する、等である。これらの姿勢は、図７に示す各関節の状態の組合せ又は自由
度（ＤＯＦ）値によって一義に識別される。
度（ＤＯＦ）値によって一義に識別される。
【0058】
姿勢の別の例は、手指及び親指を上方に、互いに接する状態で保持し、平らにした手の平が垂直に外側に面する向きを含むことができ、この向きは、「停止」又は「休止」する命令として呈するようにする。
【0059】
本出願の目的で、用語「ジェスチャ」は、上記で定義した個々の姿勢を指すことができる。更に、用語「ジェスチャ」は、運動経路に沿って静的又は瞬間的な点のいずれかで連続的に仮定した個々の姿勢のセット、即ち、瞬間姿勢のセットを指すことができ、この瞬間姿勢のセットは、運動経路に沿ってある角度の手首位置から１つ又は複数の異なる角度手首位置に手を振ること等の人間の解剖学的特徴の運動経路を含む。ジェスチャの更なる例は、最初の手の平を開いた位置から閉じた位置に至るといった、閉じること又は握ることを含むことができる。一義のジェスチャは、関節の状態又は自由度値、即ち姿勢の多数のセットの間で、多数の一義の移行を含むことができる。
【0060】
想定できるように、動的ジェスチャ（即ち動き）は、ジェスチャを含む個々の姿勢を識別し得る場合に認識することができる。人間の手首、手指及び親指の数及び多くの自由度のために、手、手指及び親指が取ることができる可能な静的又は瞬間的な動的姿勢及びジェスチャが多くあることは容易に明らかになる。
【0061】
姿勢及びジェスチャに対し本明細書で記載した例は、人間の手、手指、親指及び手首に関するものであり、用語「姿勢」及び「ジェスチャ」は、人間及び非人間動物の解剖学的構造の全ての態様に適用可能なものとしてみなされ、人間及び非人間動物の解剖学的構造の全ての態様には、限定はしないが、人間又は動物の顔、首、頭、腕、ひじ、肩、脊椎、腰、脚、ひざ又は足首を含むことは明確に留意されよう。
【0062】
本明細書で開示する一実施形態は、部分的に、所定の「対象」データセットを含む、選択した人間の解剖学的特徴の新規の数学的モデルを用い、所定の「対象」データセットは、人間の内部及び外部の組織要素（本明細書の「対象」）を数学的に表現するものであり、人間の内部及び外部の組織要素は、数学的モデルを生成するベースライン・データ・セットとして解剖学的特徴を構成する。所定の対象データセットは、「クラウド」又は他の外部データ記憶媒体又は供給源からシステムにデータセットをダウンロードすることによってもたらすことができる。
【0063】
対象データセットは、複数のユーザ既定の生物学的若しくは生体力学的特性、又は関連する解剖学的特徴の所定の内部及び外部組織対象の基準（総称して「生物学的基準」）を表し、変数に対する初期セットとして使用し、解剖学的特徴を含む対象モデルを発展させる。
【0064】
一実施形態では、生物学的基準の対象データセット、及び生物学的基準、したがって対象の間の多数の数学的関係を確立する方程式を使用して、解剖学的特徴及びその組織対象を数学的に記述するモデルを供給する。モデルは、数学的モデル分野の当業者には公知である支配方程式、構成方程式又はキネマティックス方程式及び拘束条件のあらゆる組合せを含むことができる。
【0065】
対象データセットは、重量、身長、性別、年齢、民族性等による人間母集団の選択サブセット、又は人間母集団のあらゆるユーザ既定のサブセットに対する、平均若しくは典型的な生物学的解剖学的特徴基準の１つ又はセットを表すことができる。対象データセットは、ユーザ既定生物学的基準のあらゆる組合せを含むことができる。限定ではなく例として、対象データセットは、複数の内部若しくは外部身体構造、組織又は要素に対する生物
学的基準（例えば、物理的、生理的又は生体力学的）のセットを含むことができる。対象は、例えば、限定はしないが、筋肉、腱及び靭帯、骨、血管、表皮若しくは真皮、又はそのような対象のあらゆる組合せを含むことができる。
学的基準（例えば、物理的、生理的又は生体力学的）のセットを含むことができる。対象は、例えば、限定はしないが、筋肉、腱及び靭帯、骨、血管、表皮若しくは真皮、又はそのような対象のあらゆる組合せを含むことができる。
【0066】
対象データセットは、対象の生物学的基準のユーザ既定セットを含むことができ、これらの基準は、例えば、対象位置、解剖学的特徴の別の対象に対する相対的位置、対象の最大予想変位又は変形、対象の運動範囲、解剖学的特徴の他の対象に対する相対的運動範囲及び角度、対象の自由度、半径、円周、エコー輝度（即ち超音波）特性、弾性、形状、長さ、厚さ、幅、断面形状、又は密度、又は骨の過程、及び他の生体力学的特性、又は有限要素分析（ＦＥＡ）又は変形可能動的メッシュ分析等を含めることによって数学的にモデル化することができる特性のいずれか１つ又は組合せを含むことができる。
【0067】
図１Ａに示す方法の一態様では、コンピューティング・デバイス、又はヒューマン－コンピュータ・インターフェース・システムの処理要素に対するジェスチャ指令を生成する方法を開示する。ブロック１０１において、ユーザの解剖学的特徴の複数の所定の内部又は外部対象の数学的モデルを準備する。図示の実施形態では、解剖学的特徴は人間の手首である。数学的モデルは、人体のそのような対象のあらゆる任意の構成から超音波測定値をシミュレートし、シミュレートした測定値と、ブロック１０２から得た、実際に測定した超音波データとを比較し、モデルの健康状態、及び対象の実際の構成を予測する際の任意の構成を評価する技術をもたらす。
【0068】
ブロック１０２において、ユーザの解剖学的特徴の時空間断面を超音波でマッピングすることにより、ユーザの複数の内部及び外部生物学的要素、構造、特徴のユーザの解剖学的特徴、即ち、「対象」（例えば骨、筋肉、腱等）から超音波信号データセットを得る。
【0069】
ブロック１０３において、超音波信号データと、対象の構成の数学的モデルから得たシミュレーション結果とを相関させることによって、ユーザの解剖学的特徴の１つ又は複数の対象の少なくとも１つの所定の特性（例えば、とりわけ、変形、速度、形状、位置）を識別する。次に、ブロック１０４において、１つ又は複数の対象の識別した特性に少なくとも部分的に基づいて、ユーザの解剖学的特徴の姿勢を推定する。
【0070】
方法の姿勢推定は、更に、センサ要素からのセンサ出力の受信に基づくことができ、センサ要素は、ユーザの所定の事象、環境若しくは物理的変化又は状態の少なくとも１つを測定するように構成する。
【0071】
方法のセンサ要素は、加速度計、ジャイロスコープ、圧力センサ、ＧＰＳセンサ、マイクロフォン、電磁撮像センサ、周辺光センサ、色センサ、角度センサ、電気生理センサ、ＥＭＧセンサ、生物音響センサ、ＲＦＩＤアンテナ、超音波測距センサ、高周波送受信器アレイ、電磁場及び近接センサの群の１つ又は複数から構成することができる。
【0072】
図１Ａの実施形態では、方法は、ブロック１０５で推定した１つ又は複数の姿勢及び識別した姿勢に基づき、所定の実行可能コンピュータ命令又は指令を更に生成することができる。
【0073】
方法のコンピュータ命令は、コンピュータ画面上の表示情報を修正するか、又は表面上に投影した表示情報を修正するように構成することができ、表面とは、人間解剖学的特徴の非線形表面（即ち皮膚又は衣類）とすることができる。
【0074】
更なる実施形態では、システムを装着せずに使用することができ、壁又はテーブル等のあらゆる利用可能な表面を投影表示表面として使用することができる。そのような場合、
ユーザ入力は、システムのバンド要素内に埋め込んだ電気機械式スイッチ及び電磁／機械振動センサの選択を通して受信することができる。別の実施形態では、システムは、コンピュータ・ネットワーク上で、又は内蔵システムの使用により、コンピュータ・ネットワーク上で対象の識別した特性を遠隔場所に送信し、医療専門家が分析することによって、解剖学的特徴の生体及び健康データを監視するために使用することができる。
ユーザ入力は、システムのバンド要素内に埋め込んだ電気機械式スイッチ及び電磁／機械振動センサの選択を通して受信することができる。別の実施形態では、システムは、コンピュータ・ネットワーク上で、又は内蔵システムの使用により、コンピュータ・ネットワーク上で対象の識別した特性を遠隔場所に送信し、医療専門家が分析することによって、解剖学的特徴の生体及び健康データを監視するために使用することができる。
【0075】
図１Ｂは、装着可能システム１の特定の実施形態の非限定例であり、装着可能システム１は、例えば、左腕若しくは右腕のいずれかで、人間の手首、前腕、上腕、又は首の周囲に装着するか、又は目の付近若しくは胴上のあらゆる領域に固着することができる。システム１は、左脚（足）又は右脚（足）のいずれかで、大腿、ひざ、足首の周りに装着することができる。本明細書に記載の実施形態のいくつかの実施形態又は適用例では、医療適用例で使用するもの等では、システム１は、画像表示又は投影要素を含む必要はない。
【0076】
他の実施形態は、スマートフォン若しくはモバイル・デバイスを使用して、又は有線若しくはワイヤレス・ネットワーク上で、データを送受信するように構成することができる。別の様式では、システムは、ピコ投影モジュールを備えることができ、１つ又は複数の固定表示器、例えばＬＣＤを有することができる。図１Ｂに示すように、いくつかの実施形態では、１つ又は複数のシステム１は組合せで使用することができる。これらの実施形態では、システム１は、情報を共有するように互いに通信している。
【0077】
図２Ａ～図２Ｂは、システム（図１Ｂに示すシステム１等）を手首の周りに装着する一実施形態を示す。システム１は、手首周りに装着する際、手首の周囲周りに装着するバンド要素５、並びにヒンジ１０及びラッチ１５を図示のように備えることができる。システム１は、１つ又は複数の超音波（ＵＳ）送受信器２５、及び電子ＬＣＤ表示器２０’も含むことができる。
【0078】
バンド要素５は、例示のために説明したが、バンド要素５ではなく、全体的に平面の構造体を、胴体等の人間の解剖学的特徴の表面に固着することができ、そのような構造体は、本発明の特許請求の範囲内に入るものとして企図されることに留意されたい。
【0079】
図３は、システム１を構成することができるハードウェア・サブシステムを表す典型を示す。第１の投影表示構成要素は、本明細書では「ピコ投影器」２０と呼ぶ小型表示投影モジュールとすることができる。典型例として、図３は、バンド要素５の外周面の表面周りに空間的に離間した所定位置で配設した、多数のピコ投影器２０及び電子ＬＣＤ表示器２０’を示す。
【0080】
１つ又は多数の超音波（「ＵＳ」）受信器／送信器又はＵＳ送受信器２５（ＵＳ送受信器サブユニット・アレイから構成したＵＳ送受信器アレイの形態とすることができる）は、バンド要素５の内周面の表面周りに空間的に離間した所定位置で配設されている。送受信器２５は、電子処理回路に結合しており、電子処理回路は、超音波エネルギーの送受信を可能にし、対象の解剖学的特徴の時空間断面をマッピングするように構成する。
【0081】
システム１は、システム１に入力するためのボタン、スイッチ、ホイール及び接触表面要素２７等の一般的な電気機械入力システム要素を更に備えることができる。システム１は、電子制御可変張力をバンド要素５に導入するために、可変張力ラッチ１５及びヒンジ１０を備えることができる。ラッチ１５及びヒンジ１０は、圧力ベースの触覚フィードバックを感知し、これをユーザに供給するように構成することができる。
【0082】
システム１は、１つ又は複数のポリマー音響層３０を備えることができ、１つ又は複数のポリマー音響層３０は、インターフェースとして機能し、バンド要素５とユーザの皮膚
との間に配設する。音響層３０は、ユーザ既定の音響減衰、熱分離を供給し、ユーザの皮膚に穏やかで連続的な接触をもたらし、皮膚組織とシステム１との間に柔軟な界面を促進するように設計されている。
との間に配設する。音響層３０は、ユーザ既定の音響減衰、熱分離を供給し、ユーザの皮膚に穏やかで連続的な接触をもたらし、皮膚組織とシステム１との間に柔軟な界面を促進するように設計されている。
【0083】
システム１は、１つ又は複数の色ＲＧＢカメラ３５を備えることができ、１つ又は複数の色ＲＧＢカメラ３５は、ユーザの皮膚組織の色調及び／又は色及び／又はユーザの周りの周囲照明を捕捉するように構成した画素アレイを備える。システム１は、ユーザ既定のデジタル画像取得の目的で更なるカメラ及び光学サブアセンブリ３５’を備えることができる。バンド要素５の１つ又は複数の部分は、システム１のワイヤレス・アンテナ通信３７のＩ／Ｏのために使用することができる。
【0084】
システム１は、１つ又は複数のスピーカ／マイクロフォン・サブシステム４０を備えることができ、１つ又は複数のスピーカ／マイクロフォン・サブシステム４０は、音声出力、ユーザの発話を捕捉する目的、又はユーザの頭部位置を推定する目的でユーザ既定のパターンで配置する。システム１は、アレイ又は格子で配置した１つ又は複数の振動フィードバック・システム（図示せず）を備え、振動触知フィードバックをユーザに与えることができる。
【0085】
図３に示すように、システムは、１つ又は複数の温度センサ・メッシュ・アレイ４５を備えることができ、１つ又は複数の温度センサ・メッシュ・アレイ４５は、ユーザの皮膚、又はユーザの体温内部システムに結合されている。温度センサ４５は、ユーザの体温、又はフェイル・セーフ熱監視の目的で組織温度を監視するために、メッシュ・アレイとして設けることができる。
【0086】
図４は、システム構成４００を示し、ユーザの適用例に応じて実現し得る、システム１等のシステムの例示的サブシステムのセットを説明し、システム・コア要素４１０のセットを示す。
【0087】
構成は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線、ＲＦＩＤ又は短距離通信等の１つ又は複数の通信インターフェース４２０を備えることができる。システム１の出力要素４３０は、発光及び非発光２Ｄ表示器、明視野又は３Ｄ表示器、スピーカ、又は触知システム等の電子表示要素を備えることができる。一実施形態では、明視野表示システムは、拡張現表示システム又は仮想現実法事システムを備える目元装着可能表示システム、である。本明細書に記載の実施形態と共に使用するのに好適な、視野角が拡張された例示的３Ｄ表示器、超高解像度２Ｄ表示器、又は２Ｄ／３Ｄ切替え可能表示器には、限定はしないが、２０１４年１０月７日、Ｈｕｓｓｅｉｎ Ｓ． Ｅｌ－Ｇｈｏｒｏｕｒｙ等に発光された米国特許第８，８５４，７２４号、名称 「Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｄｉｒｅｃｔｉｏｎａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ」に開示されているものを含み、これらの文献のそれぞれの内容全体は、参照により本明細書に組み込まれる。システム１の入力４４０は、加速度計、ジャイロスコープ、圧力センサ、位置データのためのＧＰＳセンサ及び送受信器、マイクロフォン、電磁撮像センサ、周辺光センサ、色センサ、角度センサ、電気生理センサ、ＥＭＧセンサ、生物音響センサ、ＲＦＩＤアンテナ、超音波距離センサ、高周波送受信器アレイ、電磁場近接センサ等の慣性測定センサを備えることができる。
【0088】
図４に示す例示的サブシステムは、１つ又は複数のプロセッサ、グラフィックス・プロセッサ、特定適用例向けプロセッサ、メモリ、インターフェース制御器、可搬式電源ユニット及び電力管理サブユニットを更に備えることができる。システム１は、ローカル及び広域通信ハードウェア及びソフトウェアを備え、低電力で短距離の通信を可能すると共に、アンテナ３７を使用して規格のワイヤレス・ネットワーキング・ハードウェアへのアク
セスをもたらすことができる。図４の例示的通信サブシステムは、システム１と、システム１と同一又は同様のデバイスを含む多数の他の電子デバイス又はコンピューティング・デバイスとを接続するように構成することができる。本明細書で参照するピコ投影器２０及び従来の表示器２０’に加えて、システム１は、ＬＥＤ及び電気光学ユニットを備え、視覚フィードバックをユーザに与えることができる。
セスをもたらすことができる。図４の例示的通信サブシステムは、システム１と、システム１と同一又は同様のデバイスを含む多数の他の電子デバイス又はコンピューティング・デバイスとを接続するように構成することができる。本明細書で参照するピコ投影器２０及び従来の表示器２０’に加えて、システム１は、ＬＥＤ及び電気光学ユニットを備え、視覚フィードバックをユーザに与えることができる。
【0089】
図４に示すように、超音波送受信器２５に加えて、システム１は、慣性及び／又は磁気測定又は１つ又は姿勢の向きセンサ及び参照サブシステム４４５の複数、例えば、マイクロ電気機械式加速度計、ジャイロスコープ及び磁力計に基づくもの等を備えることができる。システム１は、電磁場センサ、電気機械近接又は歪みセンサ、電気生理センサ及び振動センサを更に備えることができる。
【0090】
システム１は、空間コロケーション・システム４５０からの入力を受信するように構成することができ、空間コロケーション・システム４５０は、空中音響測距送受信器又は電磁アンテナベースのセンサを使用する。そのような空間コロケーション・システムは、ユーザの体に対するシステム１の位置を決定するために使用することができる。図４に示すように、システム１は、ジェスチャ・システム・フェイルセーフ・スイッチ４５５も含むことができる。ジェスチャ・システム・フェイルセーフ・スイッチ４５５は、１つ又は複数の温度センサ・メッシュ・アレイ４５を備えることができ、１つ又は複数の温度センサ・メッシュ・アレイ４５は、ユーザの皮膚、又はユーザの体温内部システムに結合されている。温度センサは、ユーザの体温、又はフェイル・セーフ熱監視の目的で組織温度を監視するために、メッシュ・アレイとして設けることができる。
【0091】
図５Ａ～図５Ｄは、システム１のピコ投影器２０を使用することができる例示的な身体上の投影表面を示す。図示の多重ピコ投影器２０システムは、少なくとも１つのピコ投影器２０と共に使用することができ、１から４の身体表面上に投影することができる。表示投影は、図５Ａ～図５Ｄに示す１つ又は２つ以上の身体表面で同時に行うことができる。例えば、システム１は、図示のように、手の平表面及び前腕の腹側表面上に投影することができる。代替実施形態では、ユーザがバンド要素５を外した場合、あらゆる外部表面を投影画面として作用するように使用することができる。
【0092】
図５Ａ～図５Ｄに示す身体上の投影表面は、前腕が目と投影表面との間で比較的安定性を維持し得ることに鑑みて選択される。一実施形態では、厳密な腕の姿勢を維持しようとすることによる反復性緊張外傷（ＲＳＩ）を防止するために、ピコ投影器２０は、ジェスチャ及び腕の姿勢の間の移行に基づき、手の甲及び前腕の腹側表面と、手及び前腕の背側表面との間で自動的に切り替えるように構成することができる。
【0093】
既に説明した従来のピコ投影は、ＤＬＰ、ＬＣｏＳ又はレーザー・ビーム走査ベースの技術を使用する。しかし、システム１の一実施形態の投影技術及びピコ投影器２０は、Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒ、即ち「ＱＰＩ（登録商標）」撮像器に基づいており（「ＱＰＩ（登録商標）」は、Ｏｓｔｅｎｄｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｉｎｃ．の登録商標である。Ｈ．Ｅｌ－Ｇｈｏｒｏｕｒｙ等による２０１０年３月１９日出願の米国特許第８，０４９，２３１号を参照）、この撮像器は、マイクロ発光固体発光構造技術であり、高解像度ＧａＮ－ＧａＡｓ層状画素アレイのバックプレーン内に統合した電力及び論理回路、及び画素積層体の上部に直接統合したマイクロ光学層を有する。ピコ投影器２０のこの形態により、占有体積が非常にわずかである、電力効率的なピコ投影表示器がもたらされる。
【0094】
本明細書に記載の実施形態の使用に適した例示的ＱＰＩ撮像器（マイクロ発光固体発光表示要素）は、限定はしないが、それぞれが「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍ
ａｇｅｒｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」という名称であって、本明細書の出願人に譲渡された米国特許第７，６２３，５６０号、同第７，８２９，９０２号、同第８，５６７，９６０号、同第７，７６７，４７９号、同第８，０４９，２３１号及び同第８，２４３，７７０号に開示されているものを含み、これらの文献のそれぞれの内容全体は、参照により本明細書に組み込まれる。
ａｇｅｒｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」という名称であって、本明細書の出願人に譲渡された米国特許第７，６２３，５６０号、同第７，８２９，９０２号、同第８，５６７，９６０号、同第７，７６７，４７９号、同第８，０４９，２３１号及び同第８，２４３，７７０号に開示されているものを含み、これらの文献のそれぞれの内容全体は、参照により本明細書に組み込まれる。
【0095】
上記で参照したＱＰＩ撮像器は、全て必要な表示駆動回路を含む単一の発光表示デバイスにおいて高輝度、超高速多色光強度及び空間変調機能を特徴とする。本明細書に記載の実施形態の文脈において、用語「ピコ投影器」は、発光マイクロ規模固体光（ＳＳＬ）発光画素アレイを備えるオプトエレクトロニクス・デバイスを包含することを意図する。以下、単にピコ投影器と呼ぶそのようなデバイスのＳＳＬ発光画素は、発光ダイオード（ＬＥＤ）若しくはレーザー・ダイオード（ＬＤ）のいずれか、又はＣＭＯＳ回路内に含まれるデバイス回路によってオン・オフ状態を制御するあらゆる固体発光構造とすることができ、ＣＭＯＳ回路上に、発光マイクロ規模画素アレイを形成又は結合する。
【0096】
ＱＰＩ撮像器の発光マイクロ規模画素アレイ内の画素は、駆動ＣＭＯＳ回路を通じて空間的、色彩的、時間的に個々に対処可能であり、空間的、色彩的、時間的に変調したＱＰＩ撮像器の発光を可能にする。ＱＰＩ撮像器によって放出した多数の色は、同じ画素開口を有利に共有する。ＱＰＩ撮像器の画素は、±５°から±４５°までの範囲の広がり角を伴う平行化された（又は非ランバート）光を放出する。ＱＰＩ撮像器の発光アレイを含む画素サイズは、典型的には、約５～２０ミクロンの範囲内にあり、デバイスの典型的な発光表面積は、約１５～１５０平方ミリメートルの範囲内にある。ＱＰＩ撮像器は、撮像器の発光画素アレイと物理的縁部との間が最小の間隙である状態で設計することができ、並べたＱＰＩ撮像器の多様性により、あらゆる任意のサイズの表示領域をもたらすことを可能にする。
【0097】
投影に伴う距離（照射距離）がより小さいことにより、ＱＰＩ撮像器を使用する投影表示は、著しい電力を必要とせずに非常に明るくすることができる。上記で列挙した米国特許のＱＰＩ撮像器のマイクロ光学・合焦モジュールは、明確に、非線形投影表面及び照射距離を考慮して設計されている。当然、ＱＰＩ撮像器は、本発明のピコ投影器として又はこの中での使用で理想的であるが、本発明は、そのように限定するものではなく、必要に応じて、他の撮像器を本発明のピコ投影器として又はこの中で使用することができる。
【0098】
人間の解剖学的特徴の投影表面（即ち皮膚又は表皮）自体は、ジェスチャ機能として変形する柔軟で変形可能な組織である。皮膚表面は、一定の中間色ではなく、ユーザ間で変化し、色の破損の一因となり、様々な反射率及び無毛度を有し、様々な反射率及び無毛度の全ては、身体位置に依存する（例えば、手の甲の表面は、手の平表面よりも色が濃く、異なる反射率を有する）。最終的な投影表示の質は、投影表面の環境内の周囲の照明に強力に依存する。向上した身体上表示経験をユーザにもたらすために、そのような問題を考慮しなければならない。
【0099】
投影システムのソフトウェア構成要素は、本明細書では「皮膚エンジン」と呼ぶアルゴリズムを含み、このアルゴリズムは、人間の皮膚投影表面の変動する性質を考慮するために、ピコ投影器２０からの投影表示出力を補償し、調節する。皮膚エンジンは、カメラ３５から受信した皮膚投影表面の画像データを取得し、組織変形、手の姿勢、投影表面、反射率、周囲照明、皮膚の色、及びユーザの頭部／目の位置に基づき、投影表示出力を修正する。表示画像は、皮膚表面上への表示に先立って、画像を投影システム・フレーム・バッファに送信する前に、静的及び動的コントラスト強調、色補正、ガンマ、縦横比、画像歪み及び変形較正を使用して修正される。
【0100】
本明細書で説明する方法は、非侵襲性ＵＳ感知様式を利用するものであり、非侵襲性ＵＳ感知様式は、内部対象からの生体力学信号のために、身体深部、及び人間の解剖学的特徴姿勢の変化に必然的に付随する構造を見る。身体の全ての随意的及び不随意的ジェスチャ及び姿勢には、生体力学的な組織変形が常に付随する。そのような生態力学的変形信号を抽出し、デジタル化することにより、高度に圧縮され、冗長性が最も少ない関連データセットを捕捉することが可能になり、この関連データセットは、姿勢及びジェスチャの情報を表す。こうしたデジタル表現の数学的モデル化及び分析により、人間の解剖学的特徴の個々の姿勢とジェスチャとの間で、高解像度で区別することを可能にする。
【0101】
ＵＳ送受信器２５は、非電離音圧波を組織内に放出する電気機械送信器を備える。放出された圧力波は、解剖学的特徴の対象を構成する組織の一義のエコー輝度特性に基づき、約音速で組織内に伝播し、内部対象の動的組織構造と対話し、反射し、屈折し、回折し、減衰する。波面のそのような音の伝達成分は、ＵＳ撮像組織領域の周囲に置いた電気機械受信器を使用して検出する。トランスデューサから受信した信号を「Ｖ」と呼ぶ。受信信号の特性により、元の放出された波面と対話した内部対象組織の時空間分布及び特性を符号化する。送受信器２５は、所定の符号化した指向性波面を送信するように構成することもできる、この指向性波面は、ユーザ既定の特定のフィルタ処理済みＵＳ情報を戻す。
【0102】
高周波音波又は超音波は、「超音波診断」と呼ばれる分野で、生体力学的組織構造についての情報を収集するために一般に使用されている。そのような超音波診断技法は、通常、アレイベースのＵＳ送受信器及び画像情報／走査変換ハードウェア及び／又はソフトウェアと結合し、観察、分析するために人間の体内断面を表す２次元画像を生成する。そのような断面画像は、医療分野において有用であり、組織構造情報により、組織内部の状態を明らかにすることができる。超音波診断では、送信要素及び受信要素の両方として、同じ電気機械要素を使用することが慣例であり、ＵＳ送受信器と呼ばれる。
【0103】
超音波撮像機は、大型で煩雑であり、液体又はゲルベースの伝達結合を使用して、人間の身体全体にわたる多数の位置で、手動で操作することを意味する。これらの機械は、必然的に大型である。というのは、部分的には、製造業者が、１）市販の回路を使用し、２）少し手を加えて再利用するために様式が増大し、３）同じハードウェアを使用して、高解像度で再構成可能な特徴セットを支持する傾向があるためである。
【0104】
図１Ａ～図５Ｄに示すシステム１の手首装着実施形態は、人間の手首の時空間断面をほぼリアルタイムでマッピングすることを可能にし、走査変換に対し集約的な工程ステップを必要としない。手首は、手の筋骨格機械要素の全ての合流点を含むため、親指及び手指（屈筋／伸筋／外転筋／外転筋の腱、近傍靭帯及び骨）、これらの屈曲／伸長運動、および周囲及び背後の組織の変形は、本明細書で開示する小型超音波送受信器２５を使用して検出することができる。取得した時空間信号マップは、手首の生体ベースの数学的モデルを使用して、手首の３次元機械的姿勢及びジェスチャと、他の市販のヒューマン・インターフェース・デバイスを超える精度で直接的に相関させる。
【0105】
システム１を手首上及び手首周囲に直接装着し、生体力学的信号を体内から得る一実施形態では、ユーザに対する視野の制限がなく、有用なＵＳ信号を閉塞する部分がない。手のジェスチャのために入手したＵＳエコー輝度対象信号データは、前腕又は上腕の残りの向き及び姿勢とは無関係である。したがって、ユーザは、他の活動に従事しながらデバイスの操作を選択することができる。例えば、ユーザは、ユーザの手が衣服のポケットの中にある状態でジェスチャをすることができる。システム１の柔軟性により、外部のカメラベースの機械視覚ジェスチャ・システムを悩ますゴリラ腕症候群又はＲＳＩに関する問題が回避される。
【0106】
本明細書で開示する方法は、（特許文献３又は特許文献１のように）単に腱の運動力学を見るものではなく、それぞれの肢の断面に位置する組織及び対象の全変形及び多数の生体力学的変形特性を考慮するものであり、組織及び対象には、限定はしないが、深筋、血管系及び骨を含む。このことは重要な特徴である。というのは、腱が変形する際、それらのエコー輝度特性は激しく変化し、従来の手法のように事前に配置したセンサを使用して検出することが可能ではない場合があるためである。腱からの明確なＵＳ信号がないために、腱のみを姿勢検出で使用する場合の姿勢の正確な認識を防止する。
【0107】
人間の筋骨格系は、正確な随意空間運動技能を取得する際、顕著な可塑性を示す。このことは、ユーザが物理的ボタンの付いた電気機械キーボードを好む理由であり、触知入力が全てのほかの入力様式の中で最も高い帯域幅を有する理由でもある。したがって、手指付近で光インターフェースを投影することによって実現する感覚運動フィードバック・ループの閉鎖は、大きな利点であり、手の姿勢は、本明細書で開示するジェスチャ認識方法及びデバイスを使用して感知される。直接的なフィードバックにより、人間の感覚運動複合体の強化学習及び訓練を可能にし、高度に直観的なユーザ・インターフェースをもたらす。このループ閉鎖の効果は、ユーザが容易にジェスチャ技能を取得できることである。
【0108】
図６は、図３に示す超音波送受信器２５アレイの例示的実施形態を示す。送受信器２５アレイの配置設計は、考慮中の領域内で組織変形を撮像する構成能力を考慮すべきであり、（骨のような）無響石化組織により送信波のシャドーイングを回避する一方で、人間の解剖学的構造の統計的変動性を考慮する。例えば、手首領域の腹側に置いた単一の送受信器２５は、一般に手首の背面のより近くで表面的に通過する伸筋腱からの信号を抽出できないことがある。
【0109】
したがって、システム（システム１等）の実施形態では、送受信器２５は、四分円に従って置くか、又は特定適用例の対象領域に基づいて非対称に置き、組織の可視性を最大化することができる。送受信器２５は、望ましくは、様々な信号受信様式を可能にするように、他の送受信器２５と直交して配置することができる。特定の実施形態では、全ての送受信器２５を連続的又は周期的に使用する必要はなく、選択した送受信器２５を特に起動し、内部向けの又はユーザ既定の感知目的を可能にすることができる。
【0110】
図６に関して、システム（システム１等）の超音波送受信器２５は、硬質又は可撓性の基板１００上に作製することができ、基体１００上に、特定適用例向け集積回路（ＡＳＩＣ）１１０又はデジタル信号プロセッサ（ＤＳＰ）を組み付けることができる。基板１００は、システム１からＡＳＩＣ１１０まで電力及びデジタル信号線を接続する貫通孔相互接続層として機能することができる。送受信器２５アレイを支持する高電圧パルス生成器回路１２０は、ＡＳＩＣ１１０の一部として設けることができるか、又はＡＳＩＣ１１０と共にパッケージ化した別個のダイとすることができる。
【0111】
図６に示すように、一実施形態では、基板１００は、ＵＳ撮像の支持に使用する同様の電子処理回路の中でも、送受信ビーム形成器回路、デジタイザ回路、デジタル・アナログ変換器回路、利得制御回路、メモリ、スイッチ、マルチプレクサ／デマルチプレクサ、及びプログラム可能なアナログ又はデジタル・フィルタを備えることができる。音響伝達遮断層１３０は、ＡＳＩＣ１１０及び高電圧パルス生成器１２０回路の表面上に配設することができる。遮断層１３０は、逆音響伝達を能動的又は受動的に遮断するために使用することができ、特定の音響インピーダンスを与えるように設計することができる。遮断層１３０は、半導体材料を含むことができる。更に、ＡＳＩＣ１１０は、スペクトル・ドプラ信号処理に特定の回路を備えることもできる。
【0112】
送受信器２５は、能動的電気機械ＵＳ送受信器下部構造１４０アレイ（又は「小区分」
）を備えることができ、遮断層１３０の上部に位置することができ、ＵＳ送信器又はＵＳ受信器又はこれら２つの組合せとして使用することができる。送受信器２５のアレイを構成する超音波送受信器下部構造１４０は、例えば、マイクロ電気機械要素（ＭＥＭＳ）を備えることができるか、又は複合セラミック層から構成することができる。複数の送受信器下部構造要素１４０は、支持基板１００上で線形の２次元長方形又は楕円形格子内に配置することができる。複数の下部構造１４０のピッチ及び形状は、所望の空間信号解像度及びビーム・ステアリング・パラメータに基づき決定される。形状パラメータは、毛髪又は皮膚が超音波伝達又は受信を干渉しないように選択することもできる。個々の送受信器２５下部構造要素１４０は、より高い解像度のＵＳ信号伝送を得るために、サイズを低減させることができ、取得は、必要な解像度レベル（例えばより小さい血管特徴の撮像）に依存する。
）を備えることができ、遮断層１３０の上部に位置することができ、ＵＳ送信器又はＵＳ受信器又はこれら２つの組合せとして使用することができる。送受信器２５のアレイを構成する超音波送受信器下部構造１４０は、例えば、マイクロ電気機械要素（ＭＥＭＳ）を備えることができるか、又は複合セラミック層から構成することができる。複数の送受信器下部構造要素１４０は、支持基板１００上で線形の２次元長方形又は楕円形格子内に配置することができる。複数の下部構造１４０のピッチ及び形状は、所望の空間信号解像度及びビーム・ステアリング・パラメータに基づき決定される。形状パラメータは、毛髪又は皮膚が超音波伝達又は受信を干渉しないように選択することもできる。個々の送受信器２５下部構造要素１４０は、より高い解像度のＵＳ信号伝送を得るために、サイズを低減させることができ、取得は、必要な解像度レベル（例えばより小さい血管特徴の撮像）に依存する。
【0113】
送受信アレイ２５の代替実施形態は、容量性マイクロ機械超音波送受信器アレイを備えることができ、容量性マイクロ機械超音波送受信器アレイは、半導体ウエハ及びフォトリソグラフィ又は表面微細加工プロセスから作製する。そのような実施形態は、３Ｄ集積回路相互接続・パッケージ化技術で使用される、定評のある作製方法を使用することにより、高密度の統合を可能にする。そのような実施形態では、ＡＳＩＣ１１０は、送受信器２５と共にモノリシックに作製することができ、送受信器２５層のバックプレーンを形成することができる。他の実施形態では、容量性要素は、窒化アルミニウム等の圧電能動材料層と取り替えることができ、圧電能動材料層は、マイクロ機械膜構造の表面上に蒸着プロセスにより蒸着させることができる。
【0114】
送受信器要素２５は、能動的又は受動的マトリックス電極下部構造１４０を備えることができ、能動的又は受動的マトリックス電極下部構造１４０は、個々の送受信器２５又は送受信器アレイと、ＡＳＩＣ１１０及び電力回路とを接続する。送受信器２５アレイ自体は、マイクロ電気機械変換段上に組み付けることができ、マイクロ電気機械変換段は、周期的に振動させるか、又は圧電、電磁又は静電気作動方策に依存する変換方法をもたらし、３Ｄ体積走査を生じさせることができる。送受信器２５アレイ内のサブユニット１４０は、選択した波長／周波数ダイバーシティ方式で動作するように構成することができ、混合周波数又は多数の周波数送受信器を使用して焦点深度を増大させる。
【0115】
送受信器２５は、他の送受信機要素の表面上に堆積した１つ又は複数の音響整合層１５０を更に備え、送受信器２５と組織媒体との間の音響インピーダンスの不一致を低下させることができる。音響整合層１５０は、ポリマー音響レンズ層１６０を備え、ＵＳ送信波面を合焦させることができる。音響レンズ層１６０は、高接着性で柔軟なポリマーベースの音響層３０によって封入することができる。
【0116】
システム１の代替実施形態は、適用様態によってアルゴリズム的に決定されるＵＳ信号ビーム形成タイプ及び性質に対する計装手法を使用する。多数の送受信器２５アレイの構成のために、個々の送受信器下部構造１４０又はアレイは、従来のパルスエコー信号伝送受信モードで動作し、ピッチキャッチ又は透過モードのために構成することができる。実施形態は、従来の基本周波数超音波が、人間個体群の約３０％には十分に許容されないことに照らして、帰還ＵＳ信号の高調波成分を使用することができる。
【0117】
超音波送受信器アレイは、従来の超音波診断において走査モードで一般に使用されている。ＵＳ撮像の目的では十分である一方、走査モードは、ＵＳシステムからデータを収集できる速度、及び応答度を低減させる。この欠点を克服するために、走査アレイモードに加えて、実施形態は、平面波ビーム形成手法を用い、より高速でより安全な信号様式を可能にすることができる。本明細書で開示する実施形態の標的適用例は、本質的に非撮像であるため、実施形態は、多数の異なる様式を使用して、手首の断面領域の組織変化を監視
することができる。この手法は、計装手法であり、多数の周波数及び多数の走査タイプを撮像アルゴリズム内で使用し、手首の組織対象における変化及び変形についての最大情報を抽出する。ＵＳデータセットを生成するために、積分及び移行保持の方法を使用することができる。ビーム・ステアリング・アルゴリズムは、（送受信器面及び立面の両方における）軸外し領域に合焦するか、又はより高精度の読取りのために特定の特徴に合焦するために使用することができる。
することができる。この手法は、計装手法であり、多数の周波数及び多数の走査タイプを撮像アルゴリズム内で使用し、手首の組織対象における変化及び変形についての最大情報を抽出する。ＵＳデータセットを生成するために、積分及び移行保持の方法を使用することができる。ビーム・ステアリング・アルゴリズムは、（送受信器面及び立面の両方における）軸外し領域に合焦するか、又はより高精度の読取りのために特定の特徴に合焦するために使用することができる。
【0118】
また別の代替実施形態では、アレイの個々の送受信器２５下部構造１４０は、圧電、静電気、電磁、磁気、電気若しくは機械相転移、又は光子圧誘起発振を使用して、せん断モード又は長手方向振動モードのいずれかで起動させることができる。送受信器２５下部構造１４０は、少なくとも１つの音響インピーダンス整合層１５０と結合することができる。
【0119】
基板１００は、標的位置とは反対の信号伝送を機械的又は電子的に防止又は妨害するように設計することができる。各下部構造１４０は、送信器及び受信器の両方、即ち送受信器２５として作用するように構成することができる。このようにして、空間的及び時間的にグループ化したＵＳ発振シーケンスを発生器として使用することができ、空間的及び時間的にグループ化した発振シーケンスは、パルスエコー、ピッチキャッチ又は透過モードのいずれかにおいて使用し、波面が生物学的組織物体と相互作用し、帰還した後、波面を受信することができる。このことにより、わずかな摂動が、特定の重み付け関数を使用する多焦点及び多走査の平均化の使用によって取得したＵＳ信号に影響しないことを保証する。
【0120】
多くの従来の手法は、超音波パルスエコー・データから画像を生成するために走査変換の使用に依存している。走査変換方法は、基本的に、送受信器が捕捉したＵＳデータを、表示に適したデカルト座標に変換するものである。超音波システムにおいて、走査変換器への入力は、取得したエコー・データであり、出力は、モニタ上に表示するデータである。しかし、本明細書で開示する方法は、ハードウェア自体に対し走査変換技法を使用するのではなく、受信したＵＳ応答信号に対し直接動作し、ハードウェア、ソフトウェア及び複雑さに関する費用を最小化することに留意されたい。走査変換は、更なる較正を必要とし、除去すべき画像アーチファクトを導入するため、望ましくない。走査変換の別の欠陥は、径方向受信器からの画像が、径方向のビーム拡散及び合焦の性質のために、影領域を導入し、この影領域は、エントロピーがほとんどないにもかかわらず、バッファのメモリを占有することである。それにもかかわらず、特に同じ領域からの超音波エコー信号は、エントロピーがほとんどない。本明細書で開示する実施形態では、そのような冗長性を活用して、フレーム率及び走査標的取得を改善する。高フレーム率は、本明細書で開示する実施形態のビーム形成方法の閉ループ内での使用を可能にし、特定組織の追跡も可能にする。
【0121】
例えば、人体の組織及び血管及び腱の統計的に保存した空間分布のために、本明細書で開示する方法は、辞書ベースの符号化方法を利用して、より大きい圧縮を達成し、ネットワーク上にデータを送信することができる。本明細書で開示する方法は、より効率的な計算アルゴリズムを利用し、これらの計算アルゴリズムは、圧縮データ上で直接動作し、信号の疎の性質を利用し、費用を低減する。ウェーブレット変換を変換符号化のために使用することができ、次に、この符号化は、特定の信号生成特性に基づき量子化し、受信モダリティを除去し、次に、最後に、辞書符号化する。この方法は、走査変換ベースの２Ｄ画像が形成するアーチファクトの可能性をなくす。
【0122】
しかし、本明細書で開示する方法は、代替実施形態では、クラウド・サーバ又はネットワーク上に走査変換ルーチンを組み込み、要求時に、デバイスからストリーミングしたデ
ータを使用して画像を生成することができる。超音波データに対する不正アクセスを防止するために、走査変換アルゴリズムへのアクセスは、暗号化する、及び／又は認証時、認定された医療専門家のみに解放するように構成することができる。
ータを使用して画像を生成することができる。超音波データに対する不正アクセスを防止するために、走査変換アルゴリズムへのアクセスは、暗号化する、及び／又は認証時、認定された医療専門家のみに解放するように構成することができる。
【0123】
代替実施形態では、送受信器２５は、広い超音波ビームを送信するように構成した送受信器下部構造要素１４０の２Ｄフェーズド・アレイから構成され、超音波ビームは、送受信器２５から発散し、ピラミッド体積状で外に広がる。帰還エコーは、送受信器２５の２Ｄアレイによって検出し、次に、この体積からリアルタイム多平面で表示するために処理する。これらの平面は、調査中、ユーザが所望の領域を見ることができるように対話で選択することができる。
【0124】
超音波による健康上の危険性は、音波に長期間露出することによる組織の加熱、流体空洞化及び体液内音響流の危険に由来する。概して、組織の熱による加熱に由来する危険性は最小化される。というのは、オペレータの監督があり、プローブは、一般に、特定領域に対して静止しておらず、血液灌流は、典型的にあらゆる局所的な加熱を防止するためである。しかし、筋肉及び脂肪組織に対する灌流時定数が大きいほど、かなり遅くなる。
【0125】
製造業者は、一般に、ＵＳ線量測定データを機械指数及び温度指数と共に計算し、放射線技師に提示している。本明細書で開示する実施形態は、音響線量を決定してシステム・アルゴリズムが音響信号内に含まれる周波及び出力を制御する場合にアルゴリズム的に監視することを除いて、同様の手法を使用し、ビームステアリングを使用して、同じ領域に対する連続的な監視を防止する。本明細書で開示する実施形態は、一般に、高解像度撮像に依存しない非診断適用例で使用されるため、システム・アルゴリズムは、入射ＵＳ強度を平均にあるように制御する。このことは、多重周波数送受信器、合成合焦、及び操作可能アレイに基づく安全計装手法によって更に支援される。
【0126】
一実施形態では、上記で説明した温度センサ・メッシュ・アレイ４５は、多数の冗長な熱センサ要素を有する個々のフェイル・セーフ回路であり、熱センサ要素は、標的組織領域内部の温度を追跡、監視、推定し、閉制御ループ内の多数の組織較正係数を含む。任意の事前に決定した安全動作温度閾値に接近するか又はこれを超えた場合、回路は、ユーザに警告するか、送受信器回路への全ての電力を中断することができる。温度センサ・アレイ４５からのデータは、音響露出及び線量を制御するシステム・アルゴリズムにも供給される。
【0127】
体の姿勢を変えると、慣性運動は、人間の関連する解剖学的特徴の組織内、及びこうした解剖学的特徴のそれぞれの質量のために、システム１内で生じる。組織及び手指も、重力の存在のために変形する。例えば、回内の際の手の静止姿勢は、回外の際の手の静止姿勢とは実質的に異なる。そのような影響を考慮するために、加速度計、ジャイロスコープ及び磁力計等の慣性測定センサを本明細書の実施形態内に含めることができる。慣性測定センサは、特に有用である。というのは、身体部分は、重力の影響下、内部組織の構造に顕著な変化を伴わずに著しく変形し得るためである。システム１内に組み込んだ慣性測定センサは、重力、加速度及び角速度測定に対する、特徴及び体の向きの粗い推定を行うように構成することができる。これらの測定を以下で説明するシステム・アルゴリズムに供給し、これにより、組織及びデバイスの慣性運動をジェスチャ認識のために考慮する。
【0128】
慣性測定センサは、一般に、ユーザの体に装着して結合されるため、ユーザの体全体に対する低忠実度姿勢モデルを再構成するために使用することができる。そのような姿勢データは、ユーザの立位時、移動時、歩行時、座位時、又は横臥時の間を粗く弁別するために使用される。慣性測定センサの使用により、体が、例えば外部物体による衝撃又は接触により急激な動きを受けたときを認識することを可能にする。
【0129】
既に記したように、身体部上に取り付けたデバイスからの圧力により、近隣領域において組織の著しく不確かな変形及び再配置が生じることがある。装着可能ＵＳジェスチャ認識における従来の試みは、関連する送受信器をユーザの体にどのように取り付けるか、又はどのように接着材料の使用するかについて明らかにしていない。そうではなく、バンド要素５は、ユーザ上でわずかな圧縮負荷下にある。張力センサ及びアクチュエータの対（図示せず）は、バンド要素５の形状、張力及び変形を様々に制御するために使用することができる。この場合、そのような圧縮圧力を考慮し、能動的に制御することができる。既に説明した可変張力ラッチ１５及びヒンジ１０の使用は、こうした問題に有利に対処する。
【0130】
システム１の一実施形態は、形状記憶合金（ＳＭＡ）から作製した構造バンド要素５、ヒンジ１０及びラッチ１５を使用することができる。公知のように、ＳＭＡは、熱を加えると特定の温度で相転移を受け、形状を事前に記憶させた形状に変化させるように設計されている。熱は、一般に、電流をＳＭＡ部材に通すことによって、ＳＭＡ部材が抵抗可能な加熱により加える。そのような電気機械張力システムを使用し、バンド要素５上に加えられる圧力若しくは張力を調整し、バンド要素５構造の張力を締める若しくは緩めるか、又は超音波送受信器２５上に所望の位置で圧力を最適に分散させる、及びバンド要素５の実際の形状に対し何らかの制御可能性をもたらすことができる。圧縮負荷下のそのような変形外形は、各ユーザに一義的なものであり、最適な感知及び精度のためにアルゴリズムを調節することができる。開示する形状記憶合金バンド要素５又はヒンジ１０又はラッチ１５は、ユーザの手を優しく「握る」ことによる触覚フィードバックをもたらすために使用することもできる。
【0131】
医療超音波デバイスは、典型的には、液体、油及びゲルを使用し、ゴム音響レンズと皮膚との間の音響伝送を保証する。これらの手法は、湿式技術であり、家庭用電子機器空間では使用することができない。そのような湿式結合媒体を回避するために、実施形態は、図３及び図６に示すようなポリマーベースのポリマー音響層３０を利用する。
【0132】
特許文献４は、そのような結合材料として使用するためにＰＶＡ又はポリウレタンの使用を説明している一方で、かなり様々な機械特性、熱特性及び環境特性を有する、広範で非特定のクラスの材料を表している。本明細書で開示する実施形態は、音響態様にのみ焦点を当てるのではなく、構成成分構造の機械特性及び熱特性並びに製造の容易さに焦点を当てるものである。したがって、組織音響インピーダンスの照合に加えて、ポリマー音響層３０材料は、特に、発汗又は蒸散を通して生成される汗を利用することによって、皮膚と均一に固着するように、順応性があり、可撓性、粘着性があり、無毛又は非無毛（有毛）皮膚上に同等に封止部の形成し、空間を埋め、表皮内で折り曲げる、又は別の様式で機械的結合表面を生成することを可能にし、この機械的結合表面は、手首寸法の変動を通じた径方向圧縮の変動を考慮すると同時に、装着に快適なものである。音響層３０は、電子機器の断熱器、及び組織－ブレスレットの結合振動を止める機械的制動器として働く。この順応性は、ＳＭＡベースの構造、ラッチ１５及びヒンジ１０の使用によって支援することができる。
【0133】
いくつかの実施形態では、音響層３０は、柔軟粘着性熱可塑性エラストマ・ポリマー配合物、例えばイソプレンーポリマー、スチレンーブチレンブロックコポリマー又はポリ（スチレンーエチレンーブチレン）コポリマーで形成される配合物で構成され、これらは、接着特性を制御する特定の添加粘着剤樹脂、機械的粘稠度を制御する無残渣重合化油、並びに通常のデバイス動作及び環境温度での熱安定性、光学的な質、色及び親水コーティングを付与する様々な他の添加剤を有する。そのようなポリマー配合物の利点は、容易に射出成形又は圧縮成形し、通常の製造技法と共に設計できることである。製造中に用いられ
る特定の方法は、受動的及び電子的な成分をそのようなポリマーに添加することを可能にする。そのような材料の寸法は、ユーザの解剖学的寸法、デバイスの慣性運動、及びラッチを通して加えられる径方向圧縮負荷を補償するように調節可能である。
る特定の方法は、受動的及び電子的な成分をそのようなポリマーに添加することを可能にする。そのような材料の寸法は、ユーザの解剖学的寸法、デバイスの慣性運動、及びラッチを通して加えられる径方向圧縮負荷を補償するように調節可能である。
【0134】
音響層３０は、ユーザが取り替え可能に設計することができる。音響層３０内に含まれる能動又は受動回路は、音響層３０の特性を識別する一義的なデータをシステム１に伝送するために使用することができる。例えば、音響層３０の必要な特性は、とりわけ、機械的可撓性、製造日、連結性、抵抗性を含むことができる。
【0135】
滅菌適用例の場合、そのようなポリマー材料は、完全なグローブ、又は前腕と重なり合うグローブの腕部分のみを構築するために使用することができる。このことは、滅菌又はクリーンルーム衣服の使用が望ましい環境において、本明細書で記載する実施形態の使用を可能にする。
【0136】
音響層３０にアクセス不可能である又は音響層３０が不良である場合、単に水道水を使用して、身体とデバイスとの間に界面を確立することができる。この一時的な界面は、長時間にわたり、汗の毛管作用を通して維持されることが予期できる。
【0137】
前述のように、一実施形態は、ユーザが写真を撮ることを可能にする１つ又は複数のカメラ・デバイス３５及び３５’を含むことができる。カメラ３５及び３５’は、表示の質フィードバック・システムを実装し、限定はしないが、コントラスト、輝度、色域等の基準を使用して、ピコ投影器２０の質を改善するように構成することもできる。カメラ３５は、周囲光、皮膚の色、皮膚の光学特性の間の弁別に専用のものであってもよい。
【0138】
空間コロケーション・システム（ＳＣＳ）は、身体に対する手首の絶対空間座標を感知し、システムのアプリケーション・プロセッサへの報告を可能にする、システム１の構成におけるモダリティを指す。多重システム階層の場合、ＳＣＳは、多数のシステムの間で相対的な空間位置を提供することができる。この情報を用いて、多数のシナリオにおいて双方向サービスを提供することができる。そのようなシナリオの一例は、人体の正中矢状面、冠状面及び横断面の腕の相対的な伸張を、健康状態、医療又は対話式娯楽適用例で検出することである。一実施形態では、ＳＣＳは、空中超音波送受信器若しくは電磁場センサ、若しくは赤外線送受信器対、若しくは構造化発光センサ対、若しくは深度センサを使用して実装することができるか、又は頭部（話者）位置特定のためのマイクロフォン・アレイを使用することができる。ＳＣＳは、水平又は接地平面についての情報を推定するために使用することもできる。
【0139】
更に、システム１は、機械式薄膜歪みゲージ又は乾式電気生理センサ及び圧電振動センサ等、他のタイプのセンサ要素を備えることができる。そのようなセンサは、体外モダリティにおいて本明細書で記載する実施形態の使用を可能にする。システム１は、独自の電力管理回路を有する１つ又は複数の集中又は分散可搬電源システムを含むことができる。これらの電力システムは、リチウム・ポリマー・イオン技術を含むことができる。システム１は、ユーザのために触覚フィードバックを生成する１つ又は複数の振動アクチュエータを含むことができる。そのようなアクチュエータは、独占的に、又はＳＭＡ触知収縮フィードバック・アクチュエータと共に使用することができる。前に説明したマイクロフォン／スピーカ・アレイ４０は、通信目的で使用することができ、アレイ信号処理技術を使用してノイズから音声を分離する方法を提供する。
【0140】
本明細書で開示する実施形態は、分散又はクラウドベースのコンピューティング・システムと共に動作することができる。したがって、一実施形態は、ネットワーク又はピアツーピア接続性のためのアンテナ３７、例えば、限定はしないが、電話通信、Ｗｉ－Ｆｉ、
Ｂｌｕｅｔｏｏｔｈ、ワイヤレス無線、短距離通信（ＮＦＣ）等、１つ又は複数のハードウェア・インターフェースを含むことができる。多重システム１は、互いに通信するように構成し、互いの間でローカル・メッシュ・ネットワークを生成し、相対位置、向き、現在のジェスチャ・タイプ等の情報を伝送するために使用することができる。システム１は、コンピュータ及びクラウドにデータを送受信するため、実施形態の全ては、ローカル・マシン又は遠隔／仮想機械のいずれかとインターフェースするために使用することができる。
Ｂｌｕｅｔｏｏｔｈ、ワイヤレス無線、短距離通信（ＮＦＣ）等、１つ又は複数のハードウェア・インターフェースを含むことができる。多重システム１は、互いに通信するように構成し、互いの間でローカル・メッシュ・ネットワークを生成し、相対位置、向き、現在のジェスチャ・タイプ等の情報を伝送するために使用することができる。システム１は、コンピュータ及びクラウドにデータを送受信するため、実施形態の全ては、ローカル・マシン又は遠隔／仮想機械のいずれかとインターフェースするために使用することができる。
【0141】
図７Ａ～図７Ｃは、使用する解剖学的名称、及びシステム１が使用し得る自由度の定義を示す。基準枠は、手首に対して手根管位置周りに定義することができる。特定の軸周りの関節運動は、検出することが可能ではなく、単に超音波データからのわずかな誤差を伴う。というのは、活動筋肉群の一部は、虫様筋、短掌筋等の手の平領域、及び内外転筋群内に含まれ、超音波送受信器２５がアクセス可能ではないためである。システム１が、指のＰＩＰ（近位指節間）関節又はＤＩＰ（遠位指節間）関節運動のいずれかを正確に捕捉できない特定の条件が生じる。しかし、これらの軸は、手の運動力学の冗長性を利用する方法、及び手首の緊密に詰まった組織構造内で生成される交感神経緊張野を使用して推定する。
【0142】
図８Ａ～図８Ｆは、ユーザ・インターフェースと対話する代表的なジェスチャを示し、ユーザ・インターフェースは、皮膚エンジンによって仲介することができる。一実施形態では、皮膚エンジン・アルゴリズムは、指関節（姿勢）情報を皮膚エンジンに呈し、次に、皮膚エンジンは、指に対応する特定のアイコンを強調表示する。このことは、手の甲又は手の平表面のいずれかに投影するために行うことができる。特定のアイコンは、握る又は引っかく又は掴むジェスチャを使用して選択し、握る又は引っかく又は掴むジェスチャには、全五指の関節運動が関与する。ユーザは、典型的には、五指を有しているため、５つのアイコン又はタスク・メニューは、皮膚エンジンに対し特定の意味を有する。皮膚エンジンは、軟表面組織の変形及び照明を考慮するために、投影する明視野の変形及び修正を制御する。姿勢と指情報との間の実際の対話は、ユーザが物理的物体と対話する方法と全く同じである。図８Ａ～図８Ｆは、手の平又は手の甲表面への投影を示すが、同じユーザ・インターフェース概念を前腕投影に適用し、各手指からのジェスチャを使用して、前腕表面上で５つのアイコン・メニューを制御する。
【0143】
図９Ａ～図９Ｂは、直観的な頁めくり身体ジェスチャを使用してどのように投影明視野と対話できるかという一例を示す。この実施形態では、橈骨－尺骨偏位とも呼ばれる、（図７Ａ～図７Ｃで説明する）手根軸周りのピッチを使用して、頁めくりジェスチャ又はスクロール・スルー・ジェスチャを実施する。
【0144】
【0145】
【0146】
同様に、図１２Ａ～図１２Ｂは、母指球ピッチ・ジェスチャの検出によって実施する選択動作又はボタン押下動作を示す。この図では、カメラ・インターフェースを示し、母指球ピッチ・ジェスチャは、システム１に写真を撮るように指示する。各手指を、単一ボタン押下のような活動に基づかせることができる。
【0147】
【0148】
【0149】
外圧供給源は、超音波信号内で位置特定することができるが、解像度は限定される。そのような位置特定は、対話を実施するために使用することができる。図１５Ａ～図１５Ｃは、片手上に投影表示を生成する一方で、もう片方の手は、手の平又は前腕表面上に点圧力を加えるために使用する実施形態を示す。そのような位置特定を使用して、粗接触ジェスチャを認識することができ、粗接触ジェスチャは、２つの手の対話モダリティを示す。
【0150】
図１６Ａ～図１６Ｂは、身体表面上に表示を投影する代わりに、投影を外部画面に向ける一実施形態を示す。そのような外部投影表示は、手をベースとするジェスチャ入力、及びジッタ制御を使用することができ、ジッタ制御は、皮膚エンジン内の適切なソフトウェアの使用により管理する。
【0151】
一実施形態では、システム１は、目周辺の頭蓋眼窩領域内又はこの領域に隣接して装着されており（図１Ｂを参照）、接着パッチ又は同等の方法を使用して、頬骨、側頭骨、蝶形骨又は上顎骨のいずれかに配置することができる。この場合、送受信器２５は、６つの眼筋群（上直筋、下直筋、外側直筋及び内直筋（左／右）並びに上斜筋及び下斜筋（左／右））の活動を、上眼瞼挙筋、眼輪筋、大頬骨筋／小頬骨筋及び上唇挙筋と共に追跡するために使用することができる。ハードウェアの場所及びアプリケーションの目的に基づき、システム１は、適用例の中でも、眼瞼の活動、虹彩のサッケード、強膜領域の回転、頬の表情、口の開放構造、耳の変形を追跡することができる。この実施形態は、拡張及び仮想現実装着可能表示等において、目を追跡することが重要な適用例では重要である。
【0152】
同様に、システム１は、人間の咽頭上に装着することができる（図１Ｂを参照）。前の適用例と同様に、システム１は、人間の声道の急速な変動、及び関連する生体力学的構造変化を追跡するために使用することができる。これらの変動は、多数の適用例において使用することができる。例えば、ジェスチャを認識するために手の姿勢を使用する方法と同様に、特定の随意的構造変化を使用してジェスチャを定義することができる。
【0153】
上記で説明したように、ジェスチャは、身体又は手の姿勢又は位置の間の移行期の姿勢セットを含むことができる。姿勢は、手及び身体の関節の伸張又は圧縮変位及び角度のある関節運動、並びに対応する関節速度のような情報を含むことができる。そのような関節運動又は変位が周囲で起こり得る関節の総数をシステムの自由度（「ＤＯＦ」）と呼ぶ。これらのＤＯＦは、手首又は身体若しくは身体部の軸若しくは平面のいずれか等、身体又は身体部に対して定義することができる。姿勢の集合をジェスチャとして標示することができる。ジェスチャは、位置変位の大きさ又は角度のある関節運動情報、並びに時間及び速度情報の両方を含むことができ、ゆっくりと繰り返した同じジェスチャを別様に定義するか、又は異なるジェスチャを構成することができるようにする。
【0154】
手の自由度の姿勢は、システム１を使用して決定し、身体の静止姿勢は、慣性運動センサを使用して決定し、「Ｉ」データと呼ぶ。この姿勢情報を使用し、図１７に示すように、身体及び手の代表的な粗運動学的姿勢モデルを構築する。図１７は、システム（デバイス）を左手に装着している一実施形態を示す。この手の領域は、高解像度でモデル化する。人体の静止姿勢は、粗集中要素を使用してモデル化する。
【0155】
人体粗姿勢モデルは、慣性測定値「Ｉ」及び手首装着実施形態で含まれる他のセンサからのデータを使用して構成することができる。そのようなセンサからのデータは、モデル駆動適合技法及び非線形フィルタ処理技法（Ｙｕｎ，Ｘ．，Ｂａｃｈｍａｎｎ，ＥＲ．，Ｄｅｓｉｇｎ，Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ， Ａｎｄ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｒｅｓｕｌｔｓ Ｏｆ Ａ Ｑｕａｔｅｒｎｉｏｎ－Ｂａｓｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ Ｆｏｒ Ｈｕｍａｎ Ｂｏｄｙ Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ， ＩＥＥＥ
Ｔｒａｎｓ．Ｒｏｂｏｔｉｃｓ，２２（６），２００６年を参照）を使用して処理し、姿勢を入手、追跡することができる。別のシステム１を右手に装着しない限り、集中人体姿勢の一部の自由度は、自由度に関連するより高い誤差を有することが予想され、これらの誤差は、慣性測定センサからの距離に比例する。しかし、そのような身体姿勢モデルは、身体姿勢を、とりわけ、座位、立位、歩行、膝立ち及び前かがみ等の主要な身体姿勢分類に粗く分類するために使用するにすぎず、そのようなデータを「Ｂ」と呼ぶ。頭部のおおよその位置は、音源位置特定及びビーム形成アルゴリズム・フレームワークを使用する音響マイクロフォン・アレイを用いて推定することができる。Ｚｈａｎｇ，Ｃ．等、Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｂｅａｍｆｏｒｍｉｎｇ ｆｏｒ Ｄｉｒｅｃｔｉｏｎａｌ Ｍｉｃｒｏｐｈｏｎｅ Ａｒｒａｙｓ ｉｎ Ｄｉｓｔｒｉｂｕｔｅｄ Ｍｅｅｔｉｎｇｓ， ＩＥＥＥ Ｔｒａｎｓ．Ｍｕｌｔｉｍｅｄｉａ，１０（３），２００８年を参照。
Ｔｒａｎｓ．Ｒｏｂｏｔｉｃｓ，２２（６），２００６年を参照）を使用して処理し、姿勢を入手、追跡することができる。別のシステム１を右手に装着しない限り、集中人体姿勢の一部の自由度は、自由度に関連するより高い誤差を有することが予想され、これらの誤差は、慣性測定センサからの距離に比例する。しかし、そのような身体姿勢モデルは、身体姿勢を、とりわけ、座位、立位、歩行、膝立ち及び前かがみ等の主要な身体姿勢分類に粗く分類するために使用するにすぎず、そのようなデータを「Ｂ」と呼ぶ。頭部のおおよその位置は、音源位置特定及びビーム形成アルゴリズム・フレームワークを使用する音響マイクロフォン・アレイを用いて推定することができる。Ｚｈａｎｇ，Ｃ．等、Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｂｅａｍｆｏｒｍｉｎｇ ｆｏｒ Ｄｉｒｅｃｔｉｏｎａｌ Ｍｉｃｒｏｐｈｏｎｅ Ａｒｒａｙｓ ｉｎ Ｄｉｓｔｒｉｂｕｔｅｄ Ｍｅｅｔｉｎｇｓ， ＩＥＥＥ Ｔｒａｎｓ．Ｍｕｌｔｉｍｅｄｉａ，１０（３），２００８年を参照。
【0156】
一実施形態によるシステム及び方法を最初に使用する状況において、ユーザに、とりわけ、年齢、体重、身長、性別及び皮膚の色等、自身の識別情報の入力を求めることができる。この情報を使用し、説明したようなデータベースから初期の統計的生物学的基準を選択することができる。そのような生物学的基準は、とりわけ、様々な身体部の重量及び寸法、組織の厚さについての統計情報を自動的に母集団内に加えるように提供することができる。この評価は、システム・アルゴリズムの初期の条件を決定するために使用することができ、システム１の使用中、ユーザに特定のデータを蓄積し、生物学的基準データベースを更新するにつれて、この識別の影響は、徐々に除去される。この初回使用の実施形態の例示的工程を図２７に示す。図２７に示すように、ブロック２７０１において、ユーザに、年齢、性別、体型等の入力を促す。ブロック２７０２において、入力情報を使用してデータの特定サブセットを抽出する。統計的人体モデルは、ブロック２７０３で得られ、とりわけ、形状、音響情報、物質情報、電子特性、関節運動及び限界に関する運動学的モデル等のパラメータ値を伴う。これらのパラメータ値に対する信頼区間も得ることができる。
【0157】
初期条件に基づき、ブロック２７１２に示す初回使用状況では、Ａモード走査等の単純な超音波信号生成・取得モダリティを使用することができる。ブロック２７１２において、現在の断面から超音波測定値を得て、ブロック２７１３で、事前処理アルゴリズムに提供し、ユーザが装着するシステムの向き及び場所についての情報を得る。そのような走査から入手したデータは、他のセンサ又はアクチュエータ・モダリティと共に、とりわけ、システム１を装着している手首又は腕上のデバイスの場所、手首の円周長さ、及びバンド要素５の向き等、特定の生体測定パラメータの識別を可能にする。この初期情報を使用し、橈骨及び尺骨、並びに動脈及び静脈等の拍動組織、並びに腱及び他の組織のおおよその場所等、特定の慣性物体目印の場所を評価することができる。例えば、システム１は、無響骨領域の相対的なサイズ、及びこれらの領域がシステム１に対して左に出現するか右に出現するかを調べることによって、その初期の向きを検出することができる。
【0158】
一例示的実施形態によれば、ブロック２７０４において、既にダウンロードしてある統計的人体モデルを、ユーザに特有の有限要素モデルに変換する。いくつかの実施形態では、統計的人体モデルは、集中要素モデル又は混合要素モデルに変換する。一実施形態では、モデルは、動的変形可能メッシュから構成することができる。一実施形態では、モデル
は、運動学的制約条件を受けて動作する少なくとも１つの数値最適化ルーチンから構成することができる。一実施形態では、モデルは、少なくとも１つの教師なし統計学習モデルから構成することができる。一実施形態では、モデルは、少なくとも１つの教師あり学習統計学習モデルから構成することができる。一実施形態では、モデルは、少なくとも１つの確率的グラフィカル・モデルを含むことができる。この変換は、粗解剖学的特徴を識別してユーザに対するシステムの向き及び場所に関する情報を得るために事前処理を実施するブロック２７１３からの出力も考慮することができる。ブロック２７１４において、身体姿勢及び慣性センサ・データ（ＩＭＵセンサ・データ）を得て、ブロック２７０５で、システムの剛体運動の重力加速度の存在下でＩＭＵセンサからの入力をシミュレートするために使用する。
は、運動学的制約条件を受けて動作する少なくとも１つの数値最適化ルーチンから構成することができる。一実施形態では、モデルは、少なくとも１つの教師なし統計学習モデルから構成することができる。一実施形態では、モデルは、少なくとも１つの教師あり学習統計学習モデルから構成することができる。一実施形態では、モデルは、少なくとも１つの確率的グラフィカル・モデルを含むことができる。この変換は、粗解剖学的特徴を識別してユーザに対するシステムの向き及び場所に関する情報を得るために事前処理を実施するブロック２７１３からの出力も考慮することができる。ブロック２７１４において、身体姿勢及び慣性センサ・データ（ＩＭＵセンサ・データ）を得て、ブロック２７０５で、システムの剛体運動の重力加速度の存在下でＩＭＵセンサからの入力をシミュレートするために使用する。
【0159】
ブロック２７０６において、生成した有限要素メッシュ・モデルにわたる音波伝搬をシミュレートする。ブロック２７１５において、統計的に保存したジェスチャ・データセットを得て、ブロック２７０７で、ブロック２７０６で入手したシミュレートしたデータセットと比較する。ブロック２７０８において、初回使用の単純な姿勢を、比較を通して識別し、ブロック２７１６で、姿勢をジェスチャ認識システムに渡す。ブロック２７０９において、シミュレートした超音波モデルと実際の超音波データとの間の誤差を分析し、メモリ内に再構成可能な命令と共に常駐している制御プログラムであるプリプロセッサは、ブロック２７１０で標的誤差場所を更新し、誤差場所からより質の高いデータを得る。より質の高いデータは、とりわけ、調節可能音響合焦深度、走査要素の数、フィルタ・パラメータによって定義される。ブロック２７１１において、走査時に使用した揮発性又は不揮発性メモリ内に保存したハードウェア・パラメータを更新し、誤差領域又は不確定領域で対処する。例えば、ビーム形成器は、ジェスチャがシステムによって能動的に求められていない場合、ビームを標的場所に向けるように同調させることができる。
【0160】
人間の解剖学的構造の統計的に類似の性質のために、手首の関節運動又は手の平を握る運動からの性質等のいくつかの単純なジェスチャは、ブロック２７１６から入手したデータからの更なる入力又はシステム１による訓練を伴わずに、直接認識することができる。例えば、図７Ａ～図７Ｃに示す手首での回内、及び回外、又はロールにより、著しい相対的な骨の変位が生じ、容易に検出することができる。同様に、手根のヨーは、皮膚組織がバンド要素５の縁部で重なることにより、システム１の回転を生じさせることができ、この回転は、慣性センサを通して検出することができる。したがって、そのような単純なジェスチャは、デバイスを制御する際に直ぐに使用することができる一方で、そのようなジェスチャのより細かい態様は、システム１によって学習される。
【0161】
そのような初期化の後、システム１は、姿勢又はジェスチャの特定の事前決定シーケンスにユーザを導くことができ、このことは、生体力学運動に従事する内部組織の識別及び標的化を改善することを意味する。このことを「初期アルゴリズム適合」と呼ぶ。
【0162】
従来の手法は、データセットのための多くの「タグ」を生成することに依存し、このことは、ユーザに、タグと相関する特定のジェスチャの実施を要求し、次に、タグに関連するデータを保存することによる。この場合、これらのジェスチャ認識工程は、現在のデータと保存データとの間の最高の相関関係を測定し、タグをジェスチャの識別子として戻すことに相当するにすぎない。
【0163】
タグ付きデータセットに関する問題は、タグの一貫性を維持するために、専門家の監督を必要とすることである。例えば、人さし指の関節運動を求められた際に、ユーザが中指を動かした場合、このジェスチャは、人差し指のジェスチャとして識別されることになる。したがって、そのような訓練手法は、正確な応答を保証するために、ユーザにかなりの注意力を払うことを要求する。この従来の手法に関する別の問題は、指の動きの間に交感
結合があることである。人により１本の指を他の指とは無関係に繰り返し動かすには、能力が異なる。このことは、ユーザが１本の指のみを動かしていると考えている場合であっても、弁別アルゴリズムを混乱させる。
結合があることである。人により１本の指を他の指とは無関係に繰り返し動かすには、能力が異なる。このことは、ユーザが１本の指のみを動かしていると考えている場合であっても、弁別アルゴリズムを混乱させる。
【0164】
そうではなく、本明細書で開示する方法は、タグ又は標示ベースの訓練を使用しない。「初期アルゴリズム適合」工程の間、特定のジェスチャ又は動作をユーザに提案しない。特定のジェスチャ又は動作は、単に、ユーザが反応することを期待される手の平又は前腕上への光投影表示の使用、又はジェスチャ（好都合で直観的又は自然なジェスチャであれば何でも）の使用により、空間的な特徴又はアイコンを提供することであってもよい。更に、ユーザに、手指及び手首を最大及び最小の快適な限度まで伸張又は屈曲することを求め、ユーザに一義的な関節屈曲／伸張限度を決定することができる。これらの要求は、システム１によって、特定のシーケンス内で提示することができ、このシーケンスは、ユーザが運動を受ける際に特定の解剖学的特徴を強調するように選択される。例えば、ボタンを表すアイコンは、１本の指の屈曲を使用して、ユーザが対話し得ることを表示することができる。別の例では、ゲームを同じ目的に使用することができる。工程は、手の甲又は手の平／腹側表面のいずれかの上への投影を含めて、数度繰り返すことができる。この「初期アルゴリズム適合」工程の間、様々な統計アルゴリズム、機械学習アルゴリズム、及び最適化アルゴリズムを使用して、ユーザに特定の解剖学的内部構造に対しより高い忠実度のモデルを構築する。
【0165】
そのような対話の間、ローカルで又はネットワーク上のいずれかで組織対象ＵＳデータを収集、保存、処理する。筋肉、腱、血管系及び組織生体力学、並びに変形に関する情報を収集し、システム１の数学的モデルに通知する。
【0166】
図１８Ａは、本明細書の一実施形態による姿勢及びジェスチャ認識システム（システム１等）の例示的構成１８００を示す。システム１は、ソフトウェア又はハードウェアのアプリケーション制御器を備え、アプリケーション制御器は、超音波送受信器１８１２（例えばＵＳ送受信器２５のアレイ）、システム内の他のセンサ１８１４及び１８１６、並びにシステム１のオペレーティング・システム１８３８と通信する。システム１は、オペレーティング・システム１８３８を通してワイド・エリア・ネットワーク上でアクセス可能な外部ソフトウェア又はハードウェア機器に接続することができ、この外部ソフトウェア又はハードウェア機器をシステム１のクラウド構成要素１８１０と呼ぶ。
【0167】
図１８Ａに示すように、制御器１８２６は、ネットワーク通信周辺インターフェース１８３４、メモリ１８１８及びデジタル信号プロセッサ（ＤＳＰ）コア１８２０を備えることができる。ＤＳＰコアは、特定の機能を実施する専用の区分を有することができる。例えば、メッシュ格子熱温度センサ１８２８（温度センサ４５等）からのデータを、内部組織温度分布を追跡する熱力学監視区分１８２２に供給することができる。ＤＳＰ上の他の専用区分は、プリプロセッサ２７１０及びハードウェア設定２７１１に加えて、姿勢デジタイザ区分１８２４、音場シミュレータ（ＡＦＳ）区分１８３２及び物理ベースの変形可能メッシュ動力学モデル（ＤＭ２）シミュレータ１８３０とすることができる。これらの区分のそれぞれは、制御器１８２６が受信した、センサ格子からの入力センサ信号から利益を得ることができる。
【0168】
制御器１８２６は、超音波送受信器１８１２及びＡＳＩＣ（ＡＳＩＣ１１０等）から受信した信号を収集、処理し、計装信号生成・取得アルゴリズム及びプロトコルを決定し、プリプロセッサ２７１０を構成、維持、更新し、内部組織対象構造を分析、解読し、ユーザ・インターフェース制御器に基づき姿勢及びジェスチャを分析、解読し、シミュレータ区分又はルックアップ・テーブル（ＬＵＴ）を使用して姿勢データを検証、追跡し、姿勢データをピコ投影器２０インターフェースに転送するように機能する。制御器１８２６は
、機会主義的に、アルゴリズム・パラメータ・データを保存、分析し、システム・バス１８３６を介してこのアルゴリズム・パラメータ・データをシステム１のクラウド構成要素１８１０に渡す。クラウド構成要素は、計装信号生成及び取得アルゴリズムに関連するパラメータの一部又は全てを修正するように構成することができる。
、機会主義的に、アルゴリズム・パラメータ・データを保存、分析し、システム・バス１８３６を介してこのアルゴリズム・パラメータ・データをシステム１のクラウド構成要素１８１０に渡す。クラウド構成要素は、計装信号生成及び取得アルゴリズムに関連するパラメータの一部又は全てを修正するように構成することができる。
【0169】
図２７に提示するもの等の初回使用時、制御器は、クラウド構成要素等からユーザによって提供された入力に特定の組織対象のための生物学的基準データを抽出し、この基準データを使用してパラメータをローカルＡＦＳ及びＤＭ２モデル内に読み込む。初回使用時のアルゴリズム適合工程によって提供された対象データは、組織、骨、血管系及び液体区域、目印となる特徴を識別し、対象データと、生体数学的モデル内に含まれるデータとを相関させるために使用することができる。この相関工程は、生物学的基準データを修正し、ユーザに特定の生物学的対象データを反映させることができる。適合シーケンスからの更なる組織対象データは、関節の屈曲及び伸長の範囲を含む全てのそのような特徴に対する変形境界を識別する。パラメータを適合させた後、システム１のローカルＤＭ２シミュレータ及びクラウド構成要素にこの対象データを提出し、ローカルＤＭ２シミュレータは、解剖学的特徴の嵩のある有限要素ベースの記述又は数学的記述を生成する。
【0170】
腱等の体内のいくつかの組織は、姿勢が変化する間、又は腕が他の表面と接触した際など、又は前腕上の皮膚に圧力を加えた場合、３次元で変形、回転、屈曲することができる。このことは、慣性により生じるバンド要素５の手に対する回転若しくは滑り、又は内部組織構造の弾性変形と対応させることができる。腱及び筋肉は、高度な異方性ＵＳ音響特性を有することが公知である。したがって、そのような回転及び変形は、送受信器２５によって組織を観測可能ではなくさせることがある。また、腕が表面に接して静止している場合、超音波信号の質は、腕が自由にぶら下がっている場合に得られるものとは著しく異なる。したがって、デバイスのユーザ・エクスペリエンス及び使いやすさを改善するため、そのような条件を考慮することが望ましい。システム１のＤＭ２及びＡＦＳシミュレータは、そのような状況を考慮するように構成する。
【0171】
図１８Ｂの方法の一実施形態では、送受信器２５からの超音波信号電圧（「Ｖ」）の形態の入力１８５０、慣性測定センサ（「Ｉ」）及び身体向きの値（「Ｂ」）は、処理のためにシステム１メモリ内で受信する（図１８Ｂでは「データ」と総称する）。１つ又は複数のシステム１を含む実施形態では、このデータは、他のシステムからの超音波信号電圧、慣性測定センサ及び身体向きの値を含むこともできる。
【0172】
一例示的実施形態では、受信データは、ブロック１８５２で、再サンプリングし、ブロック１８５４で、周期的パルス状成分を識別するために分析し、次に、ブロック１８５６で、組織対象信号源の位置を方向付けるために分析し、受信データの出力は、ブロック１８５８で、エコー輝度パターンに基づき、組織対象領域の認識のために分析する。
【0173】
ブロック１８６０で、対象領域は、人間の組織／解剖学的構造の統計的エコー輝度データに基づきフィルタ処理することができ、ブロック１８６２に示すように、データ内の陰影領域は、区分化し、識別することができる。ブロック１８６４及び１８６６では、特定の組織対象形状及び位置は、以前のステップの出力を使用して識別することができ、次に、この出力を使用して、ＤＭ２数学的モデルのためのモデル初期化パラメータのセットを識別し、生成することができる。そのようなステップの集合及び繰返しは、まとめてブロック１８６８によって表す。
【0174】
生成したモデル初期化パラメータは、クラウド及びシステムの１のローカルの両方からの統計的解剖学的モデル・データベースを使用して、分析した組織対象データから識別し、最適化する。
【0175】
最適化モデル・パラメータを使用する際、ブロック１８７４で、近似化姿勢自由度（「ＤＯＦ」）に対応する運動学的制約の付いた組織変形を有する統計的解剖学的モデル、及び近似化モデル・パラメータはそれぞれ、システム１メモリから取り出される。ブロック１８７６において、剛体運動上の情報を慣性測定センサ（Ｉ）及び身体向き値（Ｂ）データから収集する。ブロック１８７８において、集中及び有限要素分析技法等の使用によって、解剖学的特徴の数学的モデルを構成する。
【0176】
ＩＭＵ入力「Ｉ」は、座標基準枠の並進移動及び回転加速度を定義するために使用し、並進移動及び回転加速度は、数学的有限要素モデルで使用する慣性反力（慣性緩和力）を設定し、数学的有限要素モデルは、全体システム・ハードウェア、人体の解剖学的特徴、及び人体とシステムとの間の全体インターフェースから構成される。有限要素表現の構築に使用する式の数学的モデルの一例は、
【0177】
【数1】
【0178】
であり、式中、Ｍは、構造質量行列であり、Ｃは、構造減衰行列であり、ｕ（ｔ）、
【0179】
【数2】
【0180】
は、節点変位、速度及び加速度ベクトルであり、Ｋは、合計剛性行列、
【0181】
【数3】
【0182】
であり、式中、Ｎは、要素の数であり、Ｋeは、要素剛性行列であり、ＦI（ｔ）及びＦa
（ｔ）は、内部ベクトル及び加えられた負荷ベクトルであり、Ｆnd、Ｆac、Ｆe th、及び
Ｆe prはそれぞれ、加えられた節点負荷ベクトル、加速度負荷ベクトル、要素熱負荷ベク
トル及び要素圧力負荷ベクトルであり、合計質量行列は、
（ｔ）は、内部ベクトル及び加えられた負荷ベクトルであり、Ｆnd、Ｆac、Ｆe th、及び
Ｆe prはそれぞれ、加えられた節点負荷ベクトル、加速度負荷ベクトル、要素熱負荷ベク
トル及び要素圧力負荷ベクトルであり、合計質量行列は、
【0183】
【数4】
【0184】
によって示され、式中、Ｍeは、要素質量行列である。また、ａc、ａt
d、ａt
I、ａt
r、ａr
I、及びａr
rはそれぞれ、合計加速度ベクトル、グローバル・デカルト座標系の加速度、慣性リリーフによる並進加速度、回転による並進加速度、慣性による回転加速度、入力回転加速度による角加速度を表す。図１９及び図３５は、本出願で使用する基本マトリックスのグラフィカル図を示す。ＩＭＵは、本明細書で提示する混合要素式内で使用するアクセレランス情報をもたらす。
【0185】
数学的モデルの有限要素式態様により、システム・ハードウェア全体を構成する物体、人体の解剖学的特徴、及び人体とシステムとの境界全体の機械的変形、並進、回転、振動及び弾性をシステムが考慮することが可能になる。骨等の一部の特定の組織は、筋肉又は血液等の周囲の組織と比較して圧縮可能ではないことがあるため、より単純に、関連する圧縮可能又は弾性自由度を伴わない集中要素としてモデル化することができる。今後、そのような集中要素と有限要素との組合せを「混合要素」と呼ぶ。そのような完全混合要素シミュレーションは、オフラインで、又は他の場所で事前に計算することができ、クラウド構成要素１８１０から、関連する係数又はＬＵＴのみをリアルタイムで直接入手できることが想到でき、制限された態様の単純な補間法のみをデバイス上でリアルタイムに行う。
【0186】
一例示的実施形態では、混合要素式によるシミュレーションを終了し、身体動力学及び重力の影響下における基本的変形及び変位を計算した後、次に、ブロック１８８０において、得られたシステムを音場シミュレーションのために提出する。このステップにおいて、超音波波面の生成及び伝送は、混合要素式内の式のシステムによって表す数値数学的モデルを通してシミュレーションする。次に、シミュレーションされた波面は、数学的モデル内の物体の周囲で反射、屈折及び散乱を受けることがあり、したがって、反射、屈折及び散乱信号は、シミュレーションからサンプリングし、システム１内のハードウェアが収集した実際に測定した超音波信号の質の推定を生成することができる。
【0187】
音場シミュレーション・モデルは、一般的に不均質なヘルムホルツ式の離散化バージョンを構成することができ、
【0188】
【数5】
【0189】
式中、ｃは、媒体中の音速であり、
【0190】
【数6】
【0191】
は、平均流体密度であり、Ｋは、媒体の体積弾性率であり、ｕは、動的粘度であり、ｐ（＝ｐ（ｘ，ｙ，ｚ，ｔ））は、音圧であり、Ｑは、定数としてモデル化した連続式内の質量供給源であり、ｔは時間であり、ｊは、ｓｑｒｔ（－１）であり、ω＝２πｆであり、ｆは、圧力の発振周波数であり、ｄｖは、音響領域ΩF内の差分積算体積であり、ｄｓは
、音響領域境界
、音響領域境界
【0192】
【数7】
【0193】
であり、
【0194】
【数8】
【0195】
【数9】
【0196】
に対する外向き単位法線ベクトル内の表面差分であり、ｑは、節点質量供給源ベクトルであり、
【0197】
【数10】
【0198】
は、節点質量供給源ベクトルの１次導関数であり、
【0199】
【数11】
【0200】
は、音響流体質量密度定数である。
【0201】
【数12】
【0202】
ＡＦＳ内で使用する基本的な記述は、ＬＵＴから入手したものの中でも、混合要素モデル化、圧力分布、及び音響インピーダンス値の結果から得られる。ブロック１８８０において、音場シミュレーションを実行し、ブロック１８８２において、シミュレーション・データと最適化データとの間で生成された誤差スコアを得る。そのような完全音場シミュレーションは、オフラインで、又は他の場所で事前に計算することができ、クラウド構成要素１８１０から、関連する係数又はＬＵＴのみをリアルタイムで直接入手できることが想到でき、制限された態様の単純な補間法のみをデバイス上でリアルタイムに行う。
【0203】
次に、ブロック１８８４において、パラメータ誤差勾配探索を実施し、モデル化パラメータと測定データ（「Ｖ」）との間の誤差を最小化することができる。次に、ブロック１
８７２において、最適化工程の出力をローカル統計モデル・データベースにフィードバックし、次に、ブロック１８７０において、対象の生物学的基準のグローバル統計対象モデル・データベースにフィードバックする。最適化ステップの出力は、ブロック１８８６において、ＤＯＦ位置のセットとして表される分類姿勢を戻すために使用するか、又はあまり一致していない場合、ブロック１８８８において未分類姿勢として更新する。
８７２において、最適化工程の出力をローカル統計モデル・データベースにフィードバックし、次に、ブロック１８７０において、対象の生物学的基準のグローバル統計対象モデル・データベースにフィードバックする。最適化ステップの出力は、ブロック１８８６において、ＤＯＦ位置のセットとして表される分類姿勢を戻すために使用するか、又はあまり一致していない場合、ブロック１８８８において未分類姿勢として更新する。
【0204】
次に、ブロック１８９０において、分類姿勢の出力は、姿勢グラフ・データベース又は確率的グラフ・モデル内で、限定はしないが、繰返し頻度等の情報と共に姿勢ＤＯＦデータをマッピングするために使用することができる。次に、ブロック１８９２において、この出力は、姿勢間の移行を分析してジェスチャを認識するために使用することができる。ブロック１８９４において、ソフトウェア・ユーザ・インターフェース（ＵＩ）又はアプリケーション・プログラム・インターフェースが定義した姿勢は、システム１によっても受信することができる。次に、ブロック１８９６において、ジェスチャを認識、出力し、姿勢ＤＯＦデータのマッピング及び姿勢処理の分析に基づき、コンピュータ実行可能命令の形態のジェスチャ指令を実施する。
【0205】
次に、図１８Ｂのブロック１８５０から１８８６を、図２８に関する一例示的実施形態に従って説明する。図２８を参照すると、ブロック２８０１において、超音波データをシステム（システム１等）から得る。一実施形態では、超音波データのセットは、疎であることがあり、リアルタイム・ボイス・オーバーＩＰプロトコルを使用して送信できるように結合することができる。超音波データは、シミュレーション・パラメータを設定するために使用することができる。しかし、基準線シミュレーション結果は、クラウド構成要素上にあってもよい。ブロック２８０２において、ブロック２８０１からの超音波データは、再度サンプリングし、ノイズ及び撮像アーチファクトのためにフィルタ処理することができる。一実施形態では、データは、時間平均化フィルタ技法を使用してフィルタ処理することができる。ブロック２８０３において、システム（デバイス）の向き及び場所は、人体の解剖学的構造に対して識別することができる。図３０は、解剖学的構造２９００に対して、デバイスが識別した例示的場所３０００を示す。ブロック２８０４において、身体姿勢情報及び手の向きデータは、身体モデル・データセットのクエリ・パラメータを識別するために得る（クエリ・パラメータは、クラウド１８１０等のクラウド構成要素から得ることができる）。この点について、慣性データは、データベース・クエリを構築するために使用することができ、データベース・クエリは、最も近い姿勢近似値に変換され、データベースは、統計人体データ及び事前シミュレーション・データセットから構成される。最も近い近似値に対応するデータセットをデバイスに戻すことができる。ブロック２８０５において、生体測定データを含む統計人体データが得られる（生体測定データは、クラウド１８１０等のクラウド構成要素から得ることができる）。図２９は、統計人体データの表現２９００の一例を示す。ブロック２８０６において、位置特定情報及び人体モデルを使用して、対象の解剖学的特徴を指定する。ブロック２８０７において、超音波データを処理し、特定の対象解剖学的特徴を強調表示する。多数の閾値及び形態学的特徴を調査する。この処理は、「事前処理」技法とみなすことができ、例えば、橈骨又は尺骨の形状、サイズ及び動脈領域に基づき、どちらの手にユーザがデバイスを装着しているのかを決定するために使用することができる。ブロック２８０７での処理により、超音波信号の背景データから対象領域を区分化する。ブロック２８０８において、個々のクラスタ・データを識別し、分離する。ブロック２８０９において、図３１の３１００によって示す、識別したクラスタ・データの境界を識別する。
【0206】
近似化領域の識別は、領域に関連する他の特徴の中でも、おおよその形状、直径、場所、幾可学的形状及び条線密度を決定するために使用することができる。次に、これらの基準を使用して、測定した超音波信号と、予期される解剖学的特徴とを相関させることができる。ブロック２８１０において、ブロック２８０９で識別した境界３１００を整合し、
図３２に示す統計的解剖学的構造に基づき、解剖学的特徴２９００を最適に一致させる。ブロック２８１１において、図３３に示すように、例えば、侵食若しくは膨張又は特徴点除去技法を通じて、整合した境界を簡略化し、ブロック２８１２において、図３４に示すように、簡略化した境界を超音波データ内で検出する。ブロック２８１３において、ブロック２８１２で検出した簡略化境界からメッシュを生成する。図３５は、簡略化境界情報から生成した例示的メッシュを示す。一実施形態では、システムの剛体運動は、慣性測定センサからの入力の受信によって考慮する。ブロック２８１４において、音場シミュレーション（ＡＦＳ）モデルを生成する。最後に、ブロック２８１５において、シミュレーション・データと測定データとの間の誤差を比較し、姿勢推定を生成する。図１８Ｂに示すように、この誤差情報は、確率グラフ／ネットワークに渡すことができる。
図３２に示す統計的解剖学的構造に基づき、解剖学的特徴２９００を最適に一致させる。ブロック２８１１において、図３３に示すように、例えば、侵食若しくは膨張又は特徴点除去技法を通じて、整合した境界を簡略化し、ブロック２８１２において、図３４に示すように、簡略化した境界を超音波データ内で検出する。ブロック２８１３において、ブロック２８１２で検出した簡略化境界からメッシュを生成する。図３５は、簡略化境界情報から生成した例示的メッシュを示す。一実施形態では、システムの剛体運動は、慣性測定センサからの入力の受信によって考慮する。ブロック２８１４において、音場シミュレーション（ＡＦＳ）モデルを生成する。最後に、ブロック２８１５において、シミュレーション・データと測定データとの間の誤差を比較し、姿勢推定を生成する。図１８Ｂに示すように、この誤差情報は、確率グラフ／ネットワークに渡すことができる。
【0207】
特定の画像処理動作への早期及び後期の基準にもかかわらず、疎数字アレイ上で動作を実行し、疎数字アレイは、他の特徴の中でも、走査線の空間分布ごとに配置したエコー・データの分析包絡線を符号化し、画像形成で使用する走査変換及び格子補間から入手した「画像」を符号化するものではないことを理解されたい。
【0208】
図１９Ａは、システム１のメモリ内に常駐する次数低減変形可能メッシュ動力学モデル又はＤＭ２有限要素人体モデルの構成要素の代表的な図を示す。この機能は、生物測定モデル内で選択した許容可能自由度の低減構成空間に基づき、システム１と組織対象との組合せの組織変形、可撓性、衝突、充填、慣性及び重力挙動をシミュレーションすることである。この構成空間は、手又は他の身体部が達成し得る原則姿勢を考慮する。図１９Ｂは、図１９Ａに対して手の姿勢モデル内で考慮される、代表的な運動力学的自由度を示す。
【0209】
例えば、図１９Ａは、システム１の真下の手首の断面を考慮する。個々の腱、骨、デバイス・ハードウェア、ポリマー層は、これらの端部に関連する節点を有する弾性的に変形可能な要素、又は剛性要素のいずれかとして、機械的にモデル化される。骨等の一部の組織は、非弾性構造要素として単純にモデル化することができ、静脈及び動脈等の他の組織は、弾性構造要素としてモデル化することができる。腱等の更に他の組織は、作動要素としてモデル化することができ、作動要素は、超音波送受信器２５から受信したデータとの相関において、自己緊張（例えば、屈曲中の伸筋）又は自己弛緩（伸張の間の屈筋）挙動を示す。縁部を表すモデル内の節点及び全ての組織の形状は、腕関節が生成する基礎励振下、３次元要素、非線形要素、異方性要素、時間依存要素、機械的要素、可撓性要素、及び放散要素を使用してモデル化する。そのような基礎励振加速度及び移動度情報は、システム１の慣性測定センサによって戻すことができる。更に、そのようなモデルは、自己接触モデル化のための自己衝突検出及び単純な形状貫入剛性に関する対策を含むことができる。
【0210】
そのような数学的モデルの生成に必要なパラメータは、上記で提示した初回使用アルゴリズム適合工程から部分的に得られ、パラメータの残りは、クラウド構成要素又は外部データベースから得られる。更に、超音波送受信器２５からの信号を使用し、条件付きラグランジュ動力学モデルを使用して、組織の内部状態を識別することができ、次に、信号は、わずかな変形仮定の下、条件付き順運動学モデルを解くことができ、わずかな変形仮定は、手の姿勢の推定を戻す。次に、当業者には明らかであるように、結果を、適合フィルタ、確率フィルタ、追跡フィルタ又は最適フィルタを使用して更にフィルタ処理するか、又は平滑化することができる。
【0211】
次に、１８８６、１８８８、２７１６又は２８１５から得た身体及び手の姿勢を使用して、腕が表面に対して静止している可能性があるかどうかを識別することができる。そのような場合、腕が静止状態にあることが疑われる場合、又は慣性運動に対応する信号の質に全体的なずれがある場合、音場シミュレータを使用して、実際の超音波データと比較す
る際、順運動学解決策により戻された姿勢データの信頼度の評価を支援し得るデータを生成する。音場シミュレータは、組織の温度を考慮することができる。というのは、組織内の音速は、温度と共にわずかに増大することができるためである。そのような温度測定は、特定の領域が推奨されるよりも多くの強度を受けた場合に線量又は自動遮断警報器を起動させるために使用することもできる。
る際、順運動学解決策により戻された姿勢データの信頼度の評価を支援し得るデータを生成する。音場シミュレータは、組織の温度を考慮することができる。というのは、組織内の音速は、温度と共にわずかに増大することができるためである。そのような温度測定は、特定の領域が推奨されるよりも多くの強度を受けた場合に線量又は自動遮断警報器を起動させるために使用することもできる。
【0212】
図１８Ａに示す制御器は、姿勢デジタイザ１８２４として記述する別の区分を有する。姿勢デジタイザは、ジェスチャの精細度及び識別を制御する。姿勢デジタイザは、１８８６、１８８８、２７１６又は２８１５で示すように、制御器の主ＤＳＰコア、音場シミュレータ、超音波送受信器、及びユーザ・インターフェース（ＵＩ）からの入力を受信することができ、ユーザ・インターフェース（ＵＩ）は、ＵＩが受信を予期するジェスチャの種類を識別する１８９４。姿勢デジタイザは、１８８８及び２７１０に示すように、主制御器からの誤った姿勢入力を検出することもでき、この情報を制御器に送り返すことができる。
【0213】
ＤＳＰコア１８２０は、運動学モデルの結合のそれぞれの関節値を計算し、結果をデジタイザに進める。ユーザ・インターフェースからの入力、及びオペレーティング・システム又はクラウド構成要素によって決定した基準に基づき、デジタイザは、値を２つの値の間にある積分表現に量子化する。そのような量子化の解像度は、ユーザ・インターフェース又はオペレーティング・システムによって決定することができ、２つの値の範囲は、結合のための関節の統計範囲に対応し得るか、又は初期アルゴリズム適合工程の間、極値、最大値及び最小値であるように決定した値から得ることができる。そのような値は、簡単にするために倍率変更し、丸めることができる。
【0214】
図２２Ａは、ＤＭ２モデルに接続することができる、手の例示的低減運動学モデルを示す。この図は、図７Ａ～図７Ｃに示す関節定義を使用し、合計１６の関節を示す。ＤＳＰコアは、運動学モデルの結合のそれぞれの関節運動値を計算し、結果をデジタイザに進める。ＵＩからの入力、及びオペレーティング・システム又はクラウド構成要素によって決定した基準に基づき、デジタイザは、値を２つの値の間にある積分表現に量子化する。そのような量子化の解像度は、ＵＩ １８９４又はオペレーティング・システムによって決定することができ、２つの値の範囲は、関節の関節運動の統計範囲に対応し得るか、又は初期アルゴリズム適合工程の間、極値、最大値及び最小値であるように決定した値から得ることができる。例示的実施形態では、そのような値は、簡単にするために倍率変更し、丸めることができる。
【0215】
例えば、１６の関節のそれぞれに対し－７から＋７の間で一様に可能である１５個のそのような離散値を、代表的なマトリックスを構築する図２２Ｂに示すように使用することができ、関節はマトリックスの列を形成し、関節運動は、行を形成する。べた塗りの黒の正方形は、関節運動する関節の指の値を表す。例えば、関節Ｐ１（指４、近位指関節ヨー）は、－２関節運動し、関節Ｗ１（手首／手根ヨー）は、－７関節運動する。そのようなマトリックスを姿勢マトリックスと呼ぶことができる。
【0216】
そのようなマトリックスの各列は、正確に単一の非ゼロ値のみを有することができ、そのようなマトリックスを使用して、連続測定ごとに制御器からのデータを表し得ること言える。そのような可能な姿勢マトリックスの総数は、
【0217】
【数13】
【0218】
であるように計算することができ、式中、Ｉは、関節の総数であり、ｎiはｉ番目の関節
の量子化の数である。図２２Ａ～図２２Ｃに示す例では、Ｎ＝１５16であり、この非常に大きな数は、ジェスチャを生成するのに理論的に使用することができる記号又はアルファベットの総数を表す。
の量子化の数である。図２２Ａ～図２２Ｃに示す例では、Ｎ＝１５16であり、この非常に大きな数は、ジェスチャを生成するのに理論的に使用することができる記号又はアルファベットの総数を表す。
【0219】
図２２Ｃは、図２２Ｂからの同じマトリックスを示すが、連続測定データは、次のフレームに対応する。灰色の正方形は、以前のフレームからの関節値を示し、黒の正方形は、新たな関節値を示す。新たな値は、左若しくは右のいずれかにずれるか、又は同じままである。例えば、関節Ｐ１は、現在、－３の値に関節運動し、Ｗ１は現在－６である。高速取得フレーム率及び十分な粗デジタル解像度は、各関節において、先行するフレームのすぐ近隣の位置内での唯一の移行に対し、関節運動値のために必要であることがわかる。例えば、マトリックスの（ｉ，ｊ）に位置する要素は、量子化ｊが１又は１５に等しくない場合、｛（ｉ，ｊ），（ｉ，ｊ－１），（ｉ，ｊ＋１）｝状態によって示す３つの状態の１つにのみ移動することができるか、又はｊ＝１５の場合、｛（ｉ，ｊ），（ｉ，ｊ－１）｝によって示す２つの状態の１つにのみ移動することができるか、又はｊ＝１の場合、｛（ｉ，ｊ），（ｉ，ｊ＋１）｝によって示す２つの状態の１つにのみ移動することができる。このことは、姿勢の最近隣の移行として記述され、構成空間における特異点を一切可能にしない関節モデルの制約ベースの運動学に従う。
【0220】
姿勢を測定する際、姿勢マトリックス内で示し得るモデルの不確実性、計算、整数値及び近似値に関連するノイズがある場合がある。このノイズの一部は、論理的に拒絶し、最近隣ではない移行を却下する一方で、フィルタから得た値を置換することができる。この方法は、一部の腱が大きな回転を示し、追跡できない場合であっても最適な検出を可能にする。弁別手法を使用して姿勢を識別する場合、この方法は、最近隣構成に限定することによって、探索効率を増大させるためにも使用することができる。
【0221】
最近隣構成は、そのような移行が起こり得る領域のみを走査するために、超音波送受信ビーム形成工程においても使用することができる。このことは、走査率を増大し、組織に対する実効照射を低減するために使用することができる。ユーザが姿勢の生成を開始し、姿勢が、ユーザ・インターフェースの予期するジェスチャと対応しない場合、最近隣移行を使用し、ユーザが誤ったジェスチャを終了する前に入力エラーを表明することができる。前述のノイズ除去適用例に加えて、この方法は、ノイズ、及び姿勢をしっかりと保持した際に得ることができる浮遊工程モデルを監視、較正するために使用することができる。そのようなノイズ及び浮遊モデルからの統計基準は、医療適用例で更に使用することができる。
【0222】
Ｎは、図２２Ａ～図２２Ｃで提示する状況では非常に大きな数であるように示されていることがわかる。単純なモダリティにおいて、関節の総数を低減し、量子化レベルを低減することができる。このことは、ユーザ・インターフェース１８９４によって決定することができる。例えば、そのようなシステムの一実施形態は、１本の指につき単一の自由度、及び手首では３つの自由度のみを可能にすることができる。１つの自由度又は関節ごとに定義した量子化レベルは３つのみであってもよい。そのようなシステムは、単純なアルファベットで使用することができ、アルファベット内で３^８使用可能な記号を有するこ
とになる。全ての関節の量子化レベルが同じではなくてもよい。
とになる。全ての関節の量子化レベルが同じではなくてもよい。
【0223】
例えば、図２３は、姿勢マトリックスにおいて各関節に対し異なる量子化レベルを有するマトリックスを示す。そのような可変量子化値は、有用であり得る。というのは、全ての自由度が高い関節運動を可能にするわけではなく、能力は人によって様々であるためである。例えば、遠位親指指骨は、２０度関節運動するにすぎないが、指１上の近位親指指
骨は、１１０度関節運動することができる。
骨は、１１０度関節運動することができる。
【0224】
姿勢マトリックス構成の理論数Ｎが非常に大きいにもかかわらず、全ての姿勢を全てのユーザが実現可能というわけではないことにも留意されたい。実際の構成空間は、交感指運動、障害、とりわけ、骨関節炎等の病気によって制限することができる。同様に、姿勢の間の全ての移行が可能ではないことがあり、多くの姿勢の全てが検出可能ではないことがある。したがって、そのような見解を考慮に入れるために、システムの確率ネットワーク・モデルを構築する。
【0225】
図２４は、ネットワーク・モデルを示し、節点及び頂点は、個々の組合せ姿勢（又は姿勢マトリックス）を表し、そのような最大Ｎ節点がネットワーク内に存在し得る。そのようなネットワーク・モデルは、クラウド構成要素からローカル・システムにダウンロードし、人間の母集団セットの統計生物学的基準に基づき事前に加えたグラフを含むことができる。図２４のネットワーク・グラフは、姿勢間の移行、移行時間、滞留時間、システム内で可能な全ての量子化姿勢状態の間の移行不確実性を記録することによって生成することができる。グラフの縁部は、指向性で、重み付けされ、姿勢節点の間の移行確率を表すことができ、姿勢節点は、統計生物測定データ又はシミュレーションから計算されている。図２４は視覚化のために平面グラフを示すが、そのようなグラフは、実際にはより高次の次元で表すことができる。したがって、節点の空間構成又はトポロジは、１つ又は複数の次元におけるトポロジ又は辞書ベースの基準に基づくことができる。ジェスチャは、そのようなグラフにおいて「道のり」又は運動経路又は接続節点セットの周期として定義することができる。
【0226】
節点は、演繹的又は後天的に計算する確率によって分類することもできる。例えば、自然な手首の姿勢で弛緩している手を発見する確率は、握った状態の手を発見する確率よりも高くすることができる。自然な手の姿勢は、重力が弛緩した姿勢に対し著しい影響を有するので、向きによっても影響を受けることがある。特定の姿勢は、ユーザにとって不快である場合があるため、高過渡性を示すことができ、高速移行率は、付随する低確率を有することができる。一部の姿勢は、不快であるが、１つの快適な姿勢から別の姿勢に移行する際に不可避である場合がある。したがって、図２４の各節点の色合い強度は、各姿勢の発生確率を表し、縁部は、一方から他方への移行を示す。図２４では、黒は、より高い確率を表し、より明るい色合いは、姿勢のより低い確率を示す。
【0227】
ジェスチャは、グラフの道のり、経路又は周期によって分類されるので、節点に付随するそのような確率及び指向縁部は、ジェスチャの確率を計算するために使用することができ、この確率を基準として使用し、ユーザの快適さ又は好みを決定することができる。一例では、より低い確率をもたらし得るジェスチャは、ユーザ・インターフェース・アルゴリズムによって、使用のために回避することができる。そのような基準及びトポロジ記述は、推定誤差を最小化し、一般的な音響生体力学モデル化を向上させるために更に使用することができる。
【0228】
そのようなネットワークは、周期及び強い連結成分を有することができるので、ネットワークは、タージャン・アルゴリズム又は検索アルゴリズム等の連結成分アルゴリズムを使用して検出することができ、検索アルゴリズムは、幅優先探索又は最適探索及びこれらの組合せ等である。特定の長さの道のりの数は、スペクトラル・グラフ理論を使用して計数することができる。全域木も、組合せラプラシアン手法を使用して計算することができる。そのような基準は、とりわけ、ローカル又はクラウド構成要素上のいずれかで計算する。これらの基準は、累積スコアも有することができ、累積スコアは、付随する移行確率から導出することができる。そのような基準を計算するアルゴリズムは、ルックアップ・テーブル及び辞書を使用して、計算又は探索時間を向上させることができる。
【0229】
次に、こうした基準を使用してシステム１の適合性を実施することができる。人間の感覚運動神経可塑性のために、ユーザが、タイピングの学習の仕方と同様の筋骨格訓練も受け得ることが予期される。例えば、初期のジェスチャは、アルゴリズム適合性のために、粗い又は大きな動きを要求することができ、ジェスチャを伝えるのに必要な実際の動きを実質的に低減することができる。言い換えれば、ジェスチャ感度は、次第に増大させることもできる。このことは、ユーザの疲労を低減するという利益を有することができる。適合性は、個人のジェスチャの好み、及び関節又は交感運動又は確率身体差の非独立性を通して導入される変動を考慮することができ、確率身体差は、より高い又はより低い確率周期として表すことができる。例えば、ユーザが快適と感じない、高速移行時間をもたらすジェスチャを除去することができる。この適合性は、高齢化、発育上又は成長に関係する変動性、又はユーザの肥満の減少等、生活様式に関連する変化を考慮することも可能にする。一時的であるか永続的であるかにかかわらず、身体的障害を考慮することもでき、これらには、とりわけ、多指症、合指症、欠指症、デュプイトラン拘縮に関連するものを含む。
【0230】
開示する実施形態の適合性の別の利益は、ジェスチャのわずかな又は全体の変動をユーザ・インターフェースによってアルゴリズム的に導入又は除去し、反復性緊張外傷を回避することができることである。例えば、姿勢は、ユーザが過剰な、不必要な剛性で姿勢を保持しているかどうかを確認するために監視することができる。そのような条件を検出した場合、誤差が発生することがあり、ジェスチャに対する単純な修正を導入することができる。
【0231】
他の同等の表現が可能であり、姿勢マトリックスの代わりに、多次元ベクトルを使用することができる。別の例では、ネットワークは、単純に、固定マトリックス又はメモリ・アドレスを使用して表すことができる。
【0232】
図２０は、システム１のクラウドベースの態様の一実施形態の図を更に示す。システム１のクラウド構成要素は、とりわけ、人体モデル上の物理的及び生物学的統計基準データ、機械的音響組織パラメータ、物質モデル、並びに較正又は検証データセットを含むことができる。内部生物学的構造に関するデータセットは、とりわけ、高解像度超音波診断法と共に、磁気共鳴撮像法（ＭＲＩ）又はコンピュータ断層（ＣＴ）撮像等、非超音波非侵襲性撮像モダリティから生成するか、又は解剖学的データベースから生成することもできる。
【0233】
そのようなデータ駆動データセットは、有利には、図２１に示す手の例等、完全量の構成要素モデルに事前にレンダリングすることができる。効率又は適用性の考慮事項に基づき、そのような完全量モデルからの構成要素を簡略化、選別、除去、又は追加するための更なるプロトコルがあってもよい。あらゆる使用の前に、これらのデータセットを選別、標示、カテゴリ化、分類する。統計生体測定モデルは、事前に群に分類することができる。初回使用ケースで説明したように、ユーザ入力をクラウド構成要素によって受信すると、クラウド構成要素は、ユーザに関連する最も近位の生体測定群を識別し、初回使用の間、このデータをローカル・デバイス・メモリに返すことができる。
【0234】
システム１のクラウド態様は、匿名化ユーザを固有に識別し、識別可能な情報へのあらゆる不正アクセスを防止するために、暗号化及び安全性特徴を含むこともできる。クラウド構成要素は、走査変換システムを含むこともでき、走査変換システムは、ユーザからの超音波診断データを取り込み、これらを良質の診断画像にレンダリングする。クラウド構成要素の走査変換態様も、診断画像の誤用を防止するために、アクセスを制御される。例えば、ユーザは、診断画像にアクセスすることができないが、免許をもつ又は登録された
開業医に対しアクセスを許可することができる。
開業医に対しアクセスを許可することができる。
【0235】
クラウド構成要素は、完全視野モデル化・シミュレーション・ツールを所有することができ、完全視野モデル化・シミュレーション・ツールは、生体測定有限要素人体モデルと結合した高解像度音場シミュレーションを実行する。クラウド上に常駐する変形可能メッシュ動力学モデル又はＤＭ２有限要素人体モデル（例えば図２１）の主な機能は、解剖学的特徴の数学的モデルにおいて許容可能な自由度の合計構成空間に基づき、組合せシステム及び組織システムの非線形異質組織変形、可撓性、衝突、充填、慣性及び重力挙動をシミュレーションすることであってもよい。この構成空間は、手又は他の身体部が達成し得る全ての姿勢を考慮する。
【0236】
クラウドに常駐する音場シミュレータの関数は、特定のビーム形成アルゴリズム及び計装プロトコルが生成した音場をシミュレーションするものであってもよく、計装プロトコルは、組織異方性及び回転変形を考慮する。これらの音場シミュレーションを使用して、組織に対するデバイス・ハードウェアの慣性運動により、又は滑り若しくは圧力若しくはいくつかの他のモードの外乱を通じて、超音波検査プロファイルの全体の変化のシステム・アルゴリズムを通知することができる。音場シミュレーションは、特定の伝送若しくは受信ビーム形成又は合成合焦アルゴリズムを最適化するために使用することもでき、個々のデバイスから最大の情報を取得できるようにする。
【0237】
この同じオブジェクト・データは、身体ベースの軟組織シミュレーション及び明視野モデルで使用することもできる。そのようなオブジェクト・モデル及びその変動は、とりわけ、システム１によって組織変形、明視野モデル、音場と変形組織との間の相互作用を事前にレンダリングするために使用することができる。これらのシミュレーションは、そのようなシミュレーション結果を捕捉する統計ルックアップ・テーブル及び適合パラメータを生成するために使用することができる。次に、所定の生体測定群に従って結果を再度分類し、それぞれの生態測定群上の各ユーザ・アカウントに提出することができる。この場合、そのような群ベースのルックアップ・テーブル及びパラメータは、解像度が低減し、ユーザ一義的な生物測定を整合するように修正することができる。そのようなデータは、個々のシステム要求の前に生成することができ、要求時のそのような情報及び実際の工程は、情報の探索、抽出及び伝送に伴うレイテンシのみを導入することができる。更に、要求を完了できない場合、又はシミュレーションが存在しない場合、そのような要求をシミュレーション及び検証のために照会することができる。更に、ユーザ・データが質の点で基準に一致しない場合、新たなビーム形成プロトコルをそのような個々のシステム１にダウンロードすることができる。
【0238】
匿名化ユーザ・データは、クラウドベースのクラスタ化及び区分化アルゴリズムに通すことができ、クラスタ化及び区分化アルゴリズムは、事前レンダリング・モデル及びパラメータ・データをユーザに一致させるように構成する。ユーザの生理機能及び解剖学的構造が経時的に変化することが予期される。そのような手法は、ユーザの適合再分類を可能にし、経時的な更なる訓練又は調節要件を除去する。
【0239】
クラウドベースのアルゴリズムは、自動ヘルスケア基準を生成するために使用することができる。例えば、そのような基準は、とりわけ、心拍数、血圧、組織又は領域剛性、血流速度、姿勢動力学、構造変化、組織歪み場、及びこれらの履歴挙動を含むことができる。一部の生物学的基準は、専門サービス提供業者によって、手作業で収集又は分析することもできる。こうした基準を使用し、自動又は手動診断サービスを提供することができる。
【0240】
本明細書で開示する実施形態の適用例のかなりの区分は、本質的に予防、診断又は治療
健康に関連することができるため、デバイスのローカル及び遠隔クラウドの両方に更なる順応性、基準化及び性能プロトコルを含む。そのようなアルゴリズムは、アルゴリズム的に又は手動で検査、更新、監視することができる。審査インターフェースを設け、シミュレーション、ヘルスケア又は走査変換データを手動又はアルゴリズム的に検査することもできる。異常な基準は、専門家ユーザによって詳しく調査することができる。より高い解像度撮像モードは、任意の特定のデバイスからアルゴリズム的又は手動で予定し、基準内の偽陰性を詳しく調査することもできる。通常のスコアは、独自の／基準化／審査アルゴリズムによって、人間の監督を通してランダムに審査され、偽陰性を最小化する。各システム１のファームウェア及びフェイルセイフ・モードも、固定周期で詳しく調査することができる。音響層３０等の消耗品を更新するように、ユーザに自動的に喚起することができる。ヘルスケア・モード実施形態は、損傷又は期限切れ部品が検出された場合、自動又は遠隔で使用不能にすることができる。
健康に関連することができるため、デバイスのローカル及び遠隔クラウドの両方に更なる順応性、基準化及び性能プロトコルを含む。そのようなアルゴリズムは、アルゴリズム的に又は手動で検査、更新、監視することができる。審査インターフェースを設け、シミュレーション、ヘルスケア又は走査変換データを手動又はアルゴリズム的に検査することもできる。異常な基準は、専門家ユーザによって詳しく調査することができる。より高い解像度撮像モードは、任意の特定のデバイスからアルゴリズム的又は手動で予定し、基準内の偽陰性を詳しく調査することもできる。通常のスコアは、独自の／基準化／審査アルゴリズムによって、人間の監督を通してランダムに審査され、偽陰性を最小化する。各システム１のファームウェア及びフェイルセイフ・モードも、固定周期で詳しく調査することができる。音響層３０等の消耗品を更新するように、ユーザに自動的に喚起することができる。ヘルスケア・モード実施形態は、損傷又は期限切れ部品が検出された場合、自動又は遠隔で使用不能にすることができる。
【0241】
本明細書に記載の方法のための数学的モデルベースの手法は、従来技術で説明した弁別モデルとは反対に、適合生成モデルとして記述することができる。これは、従来の手法の場合のように固定姿勢の間で単に弁別するためにアルゴリズムを明示的に訓練するのではなく、本明細書で開示する実施形態によれば、あらゆる姿勢を選択し、姿勢に基づくジェスチャを識別するためである。したがって、この手法は、非常に大きなアルファベット及び大きな記号を有し、記号は、一義的なジェスチャとして定義する。弁別的な１回限りの参照信号訓練を使用しないため、この生成適合手法は、１回限りの訓練を通じて導入された誤差に影響を受けない。
【0242】
ジェスチャ及び姿勢データが制御器によって検出されると、ジェスチャ及び姿勢データは、皮膚エンジンに渡すことができる。用語「皮膚エンジン」は、２つの態様、投影表示を制御する１つの態様、及びユーザ・インターフェース、言語及び図柄を定義するもう１つの態様を指す。
【0243】
図２５は、一例示的実施形態による、皮膚エンジン２７０の構成の図である。皮膚エンジン２７０は、システム１の制御器及びセンサからの入力を、身体部２５８の姿勢の形態で受信し、ユーザの目の位置２５６、完全な身体又は手の構成２５４の姿勢及び向き、及びカメラ又は色周辺光センサ２５２からのデータ等のセンサ・データを推定する。皮膚エンジン２７０は、オペレーティング・システム２６２からの表示画像（例えば表示データ２６０）及びユーザ・インターフェース情報２６４を受信することもできる。
【0244】
皮膚エンジン２７０の表示態様は、入力情報を使用し、最初に、混合要素と態様を共有し得る浅い軟組織の運動力学及び変形シミュレーション２７４を実施し、次に、このシミュレーションを明視野及び照明レンダリング・エンジン２７２に渡す。この照明レンダリング工程は、表示の質を評価するために使用し、表示すべき画像を適切に修正し、手の表面等の非線形皮膚表面上に投影する際の光学的な質を向上させる。次に、修正した画像を使用し、ピコ投影器２０によって投影する前にフレーム・バッファを更新することができる。
【0245】
身体表面上への投影に関する主な問題は、投影器が、典型的には、平坦表面上に投影するように設計されているが、身体表面は平坦ではなく、均等な色及びきめではないことである。更に、ユーザが姿勢を変更すると、そのような身体表面は変形することが多い。これらの表面は、きめ、ひだ、様々なしわ、様々な色、反射率、毛髪の範囲、周囲照明への露出、及び他の問題も有し、これらは、単純な投影又は要となる補償計画がユーザ上で一貫した投影画像を生成すること妨げる。したがって、軟組織の運動学変形モデル２７４を使用し、投影表面変形モデルを生成し、次に、この投影表面変形モデルは、明視野又は照明レンダリング・モデルによって使用し、表示パラメータを最適化することができる。
【0246】
用語「浅い軟組織」は、外皮系（表皮及び真皮）の皮膚及び組織の軟層並びに皮下（皮下組織）層を記述するために使用する。体が動きを受けると、これらの層によって記述した表面は変形する。これらの層は、図７Ａ～図７Ｃに示す手の平のひだ等のしわ及びひだのような永続的な特徴も有する。ジェスチャに付随し得るような単純な伸張による変形に加えて、これらの層は、腱及び筋肉等の下にある組織の運動のために変形することもある。
【0247】
そのような軟組織変形は、コンピュータ・グラフィックスからデータ駆動モデル化と物理ベースのモデル化との組合せを使用してモデル化することができる。Ｓｕｅｄａ，Ｓ．，Ｋａｕｆｍａｎ，Ａ．，Ｐａｉ， ＤＫ．， Ｍｕｓｃｕｌｏｔｅｎｄｏｎ Ｓｉｍｕｌａｔｉｏｎ Ｆｏｒ Ｈａｎｄ Ａｎｉｍａｔｉｏｎ， ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ．，２７（３）、２００８年を参照。Ｂｉｃｋｅｌ，Ｂ．等、Ｃａｐｔｕｒｅ Ａｎｄ Ｍｏｄｅｌｉｎｇ Ｏｆ Ｎｏｎ－Ｌｉｎｅａｒ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｓｏｆｔ Ｔｉｓｓｕｅ， ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈｉｃｓ－Ｐｒｏｃ．ＡＣＭ ＳＩＧＧＲＡＰＨ ２００９ ＴＯＧ，２８（３），２００９年も参照。例えば、制御器から入手した姿勢データを使用して骨格の向きを決定することができる。組織形状は、システム１のクラウド構成要素が提供する統計的生物測定モデルから得られ、とりわけ、寸法、組織の厚さ及び脂質層の厚さ等の特性を反映させることができる。装着可能デバイスの組織形状情報及び位置を使用し、腱、筋肉及びほかの組織モデルに対する制約条件を、骨格姿勢測定値と共に設けることができ、次に、骨格姿勢測定値は、組織変形を計算するために解くことができる。代替的に、制御器からの有限要素シミュレーションは、組織変形情報を提供することができる。これらのシミュレーション態様は、システムのクラウド構成要素上で実行することもでき、ローカル・システム１のメモリは、ルックアップ・テーブル、及びとりわけ、スプライン又は非一様有理Ｂスプライン等の多項式補間関数をダウンロードし、姿勢の関数として浅い軟組織変形を表すことができる。
【0248】
変形表面情報を入手した後、変形表面情報は、図２５に示す明視野照明レンダリング・システム２７２に提出される。レンダリング・システムは、姿勢、投影する画像、投影のための身体上の位置、皮膚の色、きめ、投影表面の変形、皮膚反射率、周囲照明、ユーザの目の推定位置、投影を行う身体部の向き、並びに画素及びレンズ伝達関数、デューティ・サイクル及びリフレッシュ率を含む投影器の光学的、輝度及び色の特性等の入力を利用することができる。カメラは、ユーザの目の位置にあると仮定する。次に、照明レンダリング・システム２７２は、そのような情報を使用し、投影表示特性を最適化する制約条件下、レンダリング式の公式を使用して解かれるシーンを生成することができ、制約条件は、とりわけ、一貫した色コントラスト、静的及び動的制約条件、縦横比、並びに最小歪み及び電力消費量等である。最適化工程は、ラジオシティ・アルゴリズム、又はパス・トレーシングで使用されるもの等のモンテカルロベースのアルゴリズム等の方法を使用することができる。
【0249】
そのような照明最適化の入力パラメータの多くは、一般に定数であるか又は予測可能であるため（例えば、周囲照明は、一般に、使用過程にわたりユーザが予測可能な変化を受け、皮膚の色は変化しない）、そのようなレンダリングは、システム１のクラウド構成要素上で行うことができ、ユーザのために、係数及びルックアップ・テーブルをダウンロードするだけでよい。低解像度モデル又は低減モデルは、ローカル・システム１デバイス内で解くことができ、クラウド構成要素上でシミュレーションによって生成したルックアップ・テーブルからの修正係数を使用することができる。更に、ユーザは、表示出力を調節する単純な較正若しくは補償パラメータを使用して、表示アーチファクトを補償するか、又は色レベルを調節することができる。そのようなパラメータは、手で操作することができる。
【0250】
更なる画像補償は、人間視覚システムの時空間コントラスト応答、縁部探索モデル及び動き探索モデルを使用して実現し、最適な画素及び色、空間及び動的変調、デューティ・サイクル及び周波数を得ることができる。以下を参照：Ａｈｕｍａｄａ，ＡＪ．，Ｂｅａｒｄ， ＢＬ．， Ｅｒｉｋｓｓｏｎ， Ｒ．， Ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｍｏｄｅｌ ｐｒｅｄｉｃｔｓ ｔｅｍｐｏｒａｌ ｍａｓｋｉｎｇ ｆｕｎｃｔｉｏｎｓ， Ｐｒｏｃ．ＳＰＩＥ ３２９９， Ｈｕｍａｎ Ｖｉｓｉｏｎ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ ＩＩＩ、１９９８年； Ｗａｔｓｏｎ， ＡＢ．， Ａｈｕｍａｄａ， ＡＪ．， Ｍｏｄｅｌ ｏｆ ｈｕｍａｎ ｖｉｓｕａｌ ｍｏｔｉｏｎ ｓｅｅｋｉｎｇ， Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ，
２ （２）， １９８５年；Ｗａｔｓｏｎ， ＡＢ．， Ｓｏｌｏｍｏｎ， ＪＡ．，
Ｍｏｄｅｌ ｏｆ ｖｉｓｕａｌ ｃｏｎｔｒａｓｔ ｇａｉｎ ｃｏｎｔｒｏｌ ａｎｄ ｐａｔｔｅｒｎ ｍａｓｋｉｎｇ， Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ， １４ （９）， １９９７年； Ｗａｔｓｏｎ， ＡＢ．， Ｖｉｓｕａｌ ｄｅｔｅｃｔｉｏｎ
ｏｆ ｓｐａｔｉａｌ ｃｏｎｔｒａｓｔ ｐａｔｔｅｒｎｓ： Ｅｖａｌｕａｔｉｏｎ ｏｆ ｆｉｖｅ ｓｉｍｐｌｅ ｍｏｄｅｌｓ．， Ｏｐｔｉｃｓ ｅｘｐｒｅｓｓ， ６ （１）， ２０００年；Ｗａｔｓｏｎ， ＡＢ．， Ｔｈｅ ｓｅａｒｃｈ ｆｏｒ ｏｐｔｉｍａｌ ｖｉｓｕａｌ ｓｔｉｍｕｌｉ， Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ， ３８， ｐｐ．１６１９-１６２１，１９９８年；Ｌａｍｂｒｅｃｈｔ， ＣＪ
ＶＤＢ．， Ａ Ｗｏｒｋｉｎｇ Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｍｏｄｅｌ Ｏｆ
Ｔｈｅ Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ａｎｄ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｐｒｏｃ．ＩＣＡＳＳＰ－９６， ＩＥＥＥ， Ｍａｙ ７－１０， Ａｔｌａｎｔａ， ＧＡ， １９９６年；及びＷａｔｓｏｎ， ＡＢ．， Ｔｈｅ Ｓｐａｔｉａｌ Ｓｔａｎｄａｒｄ Ｏｂｓｅｒｖｅｒ： Ａ Ｈｕｍａｎ Ｖｉｓｉｏｎ Ｍｏｄｅｌ ｆｏｒ Ｄｉｓｐｌａｙ Ｉｎｓｐｅｃｔｉｏｎ， ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ ３１ （１），２００６年。例えば、アイコン又は表示物体の境界に近接する画素は、特定の周波数で最大輝度まで変調し、人間視覚システムの応答を飽和させ、アイコンの縁部を超える輝度を抑制することができる。とりわけ、格子縞陰影、コーンスイート、同時コントラスト、格子模様又はバザルリ錯視等の錯視で一般に使用される更なる効果を使用し、皮膚又は他の非直線投影表面上で知覚する表示画像のコントラストを増大させることもできる。図２５の実施形態では、皮膚エンジン２７０は、背景及び上述のレンダリング要素２７６も含む。皮膚エンジン２７０からの出力は、フレーム・バッファ２７８に渡され、フレーム・バッファ２７８の出力は、ピコ投影器２８０に渡される。
２ （２）， １９８５年；Ｗａｔｓｏｎ， ＡＢ．， Ｓｏｌｏｍｏｎ， ＪＡ．，
Ｍｏｄｅｌ ｏｆ ｖｉｓｕａｌ ｃｏｎｔｒａｓｔ ｇａｉｎ ｃｏｎｔｒｏｌ ａｎｄ ｐａｔｔｅｒｎ ｍａｓｋｉｎｇ， Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ， １４ （９）， １９９７年； Ｗａｔｓｏｎ， ＡＢ．， Ｖｉｓｕａｌ ｄｅｔｅｃｔｉｏｎ
ｏｆ ｓｐａｔｉａｌ ｃｏｎｔｒａｓｔ ｐａｔｔｅｒｎｓ： Ｅｖａｌｕａｔｉｏｎ ｏｆ ｆｉｖｅ ｓｉｍｐｌｅ ｍｏｄｅｌｓ．， Ｏｐｔｉｃｓ ｅｘｐｒｅｓｓ， ６ （１）， ２０００年；Ｗａｔｓｏｎ， ＡＢ．， Ｔｈｅ ｓｅａｒｃｈ ｆｏｒ ｏｐｔｉｍａｌ ｖｉｓｕａｌ ｓｔｉｍｕｌｉ， Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ， ３８， ｐｐ．１６１９-１６２１，１９９８年；Ｌａｍｂｒｅｃｈｔ， ＣＪ
ＶＤＢ．， Ａ Ｗｏｒｋｉｎｇ Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｍｏｄｅｌ Ｏｆ
Ｔｈｅ Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ａｎｄ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｐｒｏｃ．ＩＣＡＳＳＰ－９６， ＩＥＥＥ， Ｍａｙ ７－１０， Ａｔｌａｎｔａ， ＧＡ， １９９６年；及びＷａｔｓｏｎ， ＡＢ．， Ｔｈｅ Ｓｐａｔｉａｌ Ｓｔａｎｄａｒｄ Ｏｂｓｅｒｖｅｒ： Ａ Ｈｕｍａｎ Ｖｉｓｉｏｎ Ｍｏｄｅｌ ｆｏｒ Ｄｉｓｐｌａｙ Ｉｎｓｐｅｃｔｉｏｎ， ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ ３１ （１），２００６年。例えば、アイコン又は表示物体の境界に近接する画素は、特定の周波数で最大輝度まで変調し、人間視覚システムの応答を飽和させ、アイコンの縁部を超える輝度を抑制することができる。とりわけ、格子縞陰影、コーンスイート、同時コントラスト、格子模様又はバザルリ錯視等の錯視で一般に使用される更なる効果を使用し、皮膚又は他の非直線投影表面上で知覚する表示画像のコントラストを増大させることもできる。図２５の実施形態では、皮膚エンジン２７０は、背景及び上述のレンダリング要素２７６も含む。皮膚エンジン２７０からの出力は、フレーム・バッファ２７８に渡され、フレーム・バッファ２７８の出力は、ピコ投影器２８０に渡される。
【0251】
システム１のユーザ・インターフェース要素は、ユーザの視覚エクスペリエンスの同様の最適化のために使用することができる。ユーザ・インターフェースの重要な態様は、図８Ａ～図８Ｆに示す５つの動作メニューである。５つの動作は、ユーザが一般に有する５本の指に対応し、多くのインターフェース上でインターフェースのそれぞれに関連する一貫した動作を有することができる。ユーザは、ジェスチャの効果を記憶から思い出す必要はなく、身体表面上に投影される標示を検索するだけでよい。このことは、操作法則に基づく高い効率のインターフェースをもたらし、ヒック及びフィッツの法則の法則への著しい暗示を有する。
【0252】
システム１のユーザ・インターフェースの別の態様は、「弾性」インターフェースの使用である。そのような投影光インターフェースの弾性は、アイコン、又は軟組織変形若しくは手の姿勢に比例し得るアイコンのアニメーション間の相対運動として定義することができる。例えば、図８Ａ～図８Ｆの５つのアイコン・メニューは、伸ばすジェスチャ又は握るジェスチャそれぞれの間に、離れて広がる又は互いに近くになるアイコンを示すこと
ができる。これらのアニメーション・キューは、人間の視覚系の探索運動及び縁部識別挙動を利用するために使用することができる。図８Ａ～図８Ｆは、選択するアイコンを識別するために使用するそのようなアニメーション・キューの例を示す。
ができる。これらのアニメーション・キューは、人間の視覚系の探索運動及び縁部識別挙動を利用するために使用することができる。図８Ａ～図８Ｆは、選択するアイコンを識別するために使用するそのようなアニメーション・キューの例を示す。
【0253】
そのような弾性インターフェースは、矩形ではなく、枠がなくてもよく、インターフェースに関連する強固な境界又は格子又は縁部を有する必要がない。そのような境界は、一般に、画像の歪みを識別する視覚キューとして作用する。したがって、皮膚上に投影するアイコン・セットは、あらゆる矩形格子構造よりも、身体部の局所分布に対して多く整合することができる。
【0254】
システム１の手首装着実施形態上のユーザ・インターフェースは、例えば、４つの直接表示場所、即ち、２つの手の甲の場所－前腕上に１つ、手の上にもう１つ、及び２つの手の平の場所－前腕上に１つ、手の上（手の平）にもう１つへのアクセスをもたらすことができる。手の平又は手の甲表面を表示表面として使用する理由は、手首関節は、ユーザの目に対するフィードバック安定性があるが、前腕又は上腕を含む他の表面は、有用な時間期間にわたるそのような安定性がないためである。従来の手法が記載する他のモダリティのいずれも、この利点を認識していない。
【0255】
システム１の制御器がもたらす姿勢情報に基づき、インターフェースは、４つの表示表面をシームレスに切り替えるように構成することができる。全ての表面は、同時に又は単独で使用することができる。例えば、手首の単純な回内－回外運動により、手の甲表面又は手の平表面との間で切り替えることができる。そのような自動画面切り替え挙動は、状況から皮膚を読み取る挙動を実施するために使用することができ、システム１は、身体及び腕姿勢情報に基づき、ユーザの目を自動的に考慮し、唯一の標的表面を認識することができる。表示表面の存在は、システム１のセンサに基づき又は姿勢情報によって自動で検出される。使用可能な表面が一切ない場合、ユーザが明確に防止しない限り、全てのピコ投影器２０要素は、オフになる。
【0256】
提示する説明は、主に、手首装着実施形態を考慮する方法のモダリティに焦点を当てる。しかし、同様の手法を使用し、他の身体領域を監視することができる。例えば、目、顔又は首のために設計したモダリティの場合、生成モデルは、上顎及び頬骨周囲の組織構造を含み、首の場合、舌骨及び椎骨周囲の組織を含むと思われる。医療状態を評価、監視する高度な医療撮像モダリティは、システムのクラウド構成要素上に常駐し得る完全な身体生成音響モデルを含むことができる。
【0257】
ヘルスケアに焦点を当てることができる技術のモダリティにおいて、とりわけ、心拍数、血圧、血流速度、平均速度、拍動指数、収縮／拡張周期部分を、脈動動脈領域又は一般的な血管系領域の検査によって監視することができる。心拍数は、時間を関数とする、脈動領域における組織変形測定を通して直接識別することができるそのような領域は、心拍数と対応する周期的変動を示す。同様に、血圧は、脈動組織にわたる歪み場及び速度プロファイルの検査によって監視することができるＢｅｕｌｅｎ， ＢＷ．等、Ｔｏｗａｒｄ
ｎｏｎｉｎｖａｓｉｖｅ ｂｌｏｏｄ ｐｒｅｓｓｕｒｅ ａｓｓｅｓｓｍｅｎｔ ｉｎ ａｒｔｅｒｉｅｓ ｂｙ ｕｓｉｎｇ ｕｌｔｒａｓｏｕｎｄ， Ｕｌｔｒａｓｏｕｎｄ Ｍｅｄ．Ｂｉｏｌ．， ３７ （５）， ２０１１年を参照）。
ｎｏｎｉｎｖａｓｉｖｅ ｂｌｏｏｄ ｐｒｅｓｓｕｒｅ ａｓｓｅｓｓｍｅｎｔ ｉｎ ａｒｔｅｒｉｅｓ ｂｙ ｕｓｉｎｇ ｕｌｔｒａｓｏｕｎｄ， Ｕｌｔｒａｓｏｕｎｄ Ｍｅｄ．Ｂｉｏｌ．， ３７ （５）， ２０１１年を参照）。
【0258】
本明細書で開示する実施形態のシステム及び方法の全てのヘルスケア・モダリティは、ユーザがデバイスを正確に使用する訓練を条件とすることができる。例えば、ユーザは、首に近位である頚動脈領域から良質な信号を抽出する正確な手順を理解していない場合がある。したがって、ユーザは、販売代理店又は供給業者の店舗で、現在行われている救急蘇生訓練の仕方と同様に、訓練を受けることができる。単純な又は重大ではないモダリテ
ィについて、ユーザがオンライン・サービスを使用して訓練することができるか、又は自動プロトコル検証及び誤り訂正を提供することができる。例えば、信号抽出が容易である、重要ではない領域の訓練は、オンライン・ビデオ・サービス上で供給することができ、正確なプロトコルを使用すると、指紋センサのユーザ使用訓練の仕方と同様に、自動フィードバックを与えることができる。
ィについて、ユーザがオンライン・サービスを使用して訓練することができるか、又は自動プロトコル検証及び誤り訂正を提供することができる。例えば、信号抽出が容易である、重要ではない領域の訓練は、オンライン・ビデオ・サービス上で供給することができ、正確なプロトコルを使用すると、指紋センサのユーザ使用訓練の仕方と同様に、自動フィードバックを与えることができる。
【0259】
一部のヘルスケア・モダリティは、デバイス較正及び性能試験を時々必要とすることがある。そのような較正は、承認場所で行うことができるか、又はクラウド構成要素を使用してアルゴリズム的にオンラインで実施することができる。一実施形態では、ユーザは、そのような較正に特定の音響模型標的を購入することができる。
【0260】
キーボードは、ユーザが、入力の即時の視覚フィードバックを得られ、エラーにすぐに気づくので、直観的である。この機能は、提示する技術と共に再度生成することができる。例えば、指３の屈曲ジェスチャを検出すると、システム１の投影表示は、指３位置に近位である有色記号を投影し、検出したジェスチャが指３からであったことを識別するように構成することができる。この記号は、徐々に消失するアニメーション・スプライトとすることができる。
【0261】
システム１のモダリティにおいて、超音波送受信２５は、ユーザの活動を検出すると自動でオンにすることができる。送受信器２５は、慣性測定センサからのデータを使用してオンにするようにも構成することができ、例えば、前腕周りの手首の連続回転を使用して、システム１をオンにすることができる。
【0262】
システムの更なるモダリティにおいて、超音波送受信器２５からの受信信号が高インピーダンス媒体を示す場合、又は身体周囲へのデバイスの締結が不適切であることを示す場合、超音波送受信器２５は、即時に遮断するように構成することができる。
【0263】
また更なるモダリティにおいて、ソフトウェアベースのタイピング指示と同様に、ユーザは、投影アイコン又は標示を表示することによって、特定の対話ジェスチャの使用を訓練することができ、投影アイコン又は標示は、ユーザを特定の指を動かすか又は特定の姿勢を順次取るように誘導することができる。そのようなモダリティの利点は、ピコ投影器２０の表示が即時の視覚フィードバックをユーザに生成することである。
【0264】
本明細書で開示する実施形態で使用する一義的なユーザ・インターフェースのために、インターネットからの一般的なコンテンツは、アルゴリズム的に事前レンダリングし、設計インターフェースに一致させることができる。そのようなコンテンツ・レンダリングは、システム１のクラウド構成要素に位置するゲートウェイ・インターフェースを通して行うことができる。
【0265】
より高い正確性の計測を得るために、ユーザは、更なる生物学的基準データを入力することができるか、又はそのようなデータは、内蔵センサを使用して自動的に測定することができる。生物学的基準データは、例えば、肩から手首までの間の腕の長さ、指の寸法、手の弓形、ひじから手首の長さ、身長、胴寸法等によって例示される。このデータは、本明細書で開示する実施形態システム及び方法によって使用し、ユーザの数学的身体モデルを生成し、様々な目的で使用する。
【0266】
更なるモダリティにおいて、本明細書で開示する実施形態は、ジェスチャを通して行ったユーザ要求へのインターフェース応答事象を追跡することができる。ユーザは、不要な応答をもたらす誤りをすることが多い。不要な応答は、通常、ユーザに修正を行うことを生じさせる。例えば、通常のキーボードにおける不要なキー打ちの後、ユーザは、バック
スペース又はＣＴＲＬ＋Ｚを打ち、誤りを元に戻すか、又は意図しないクリックでリンクを訪れた後、ユーザは、そのようなリンクから速やかに離れる。そのような不要な応答は、追跡並びにその後の時間的修正入力によって識別することができる。このことは、システム１インターフェースの重要な要素である。というのは、ユーザは、そのような仮想インターフェースでは、機械式キーボードではあるような直接的な触知フィードバックを有さないことがあるためである。
スペース又はＣＴＲＬ＋Ｚを打ち、誤りを元に戻すか、又は意図しないクリックでリンクを訪れた後、ユーザは、そのようなリンクから速やかに離れる。そのような不要な応答は、追跡並びにその後の時間的修正入力によって識別することができる。このことは、システム１インターフェースの重要な要素である。というのは、ユーザは、そのような仮想インターフェースでは、機械式キーボードではあるような直接的な触知フィードバックを有さないことがあるためである。
【0267】
以下は、本明細書で開示する実施形態のいくつかの非限定的な可能な適用例の簡潔な説明である。適用例は、機能に基づき区分化する。これらの適用例は、システム１のローカル・リソースを使用して扱うことができるか、又はスマートフォン若しくは仮想クラウドベース機器のようなネットワーク化デバイス利用することができる。本明細書に記載の実施形態と共に使用するのに好適な、視野角が拡張された例示的３Ｄ表示器、超高解像度２Ｄ表示器、又は２Ｄ／３Ｄ切替え可能表示器には、限定はしないが、２０１４年１０月７日、Ｈｕｓｓｅｉｎ Ｓ．Ｅｌ－Ｇｈｏｒｏｕｒｙ等に発行された米国特許第８，８５４，７２４号、名称「Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｄｉｒｅｃｔｉｏｎａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ」、及び２０１５年１月６日、Ｚａｈｉｒ Ｙ．Ａｌｐａｓｌａｎ等に発行された米国特許第８，９２８，９６９号、名称「Ｓｐａｔｉｏ－Ｏｐｔｉｃａｌ Ｄｉｒｅｃｔｉｏｎａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ」に開示されているものを含む。本明細書に記載の実施形態での使用に適した例示的時空間明視野カメラは、限定はしないが、２０１５年１１月３日、Ｈｕｓｓｅｉｎ Ｓ．Ｅｌ－Ｇｈｏｒｏｕｒｙ
等に発行された米国特許第９，１７９，１２６号、名称「Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａｓ」を含む。上記文献のそれぞれの内容全体は、参照により本明細書に組み込まれる。
等に発行された米国特許第９，１７９，１２６号、名称「Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａｓ」を含む。上記文献のそれぞれの内容全体は、参照により本明細書に組み込まれる。
【0268】
２Ｄ表示制御上での３Ｄ：手首装着実施形態を使用して、コンピュータ支援設計プログラムによって生成したもの、又はアニメーション又はシミュレーション・プログラム等、３Ｄコンテンツを２Ｄ画面上に表示して対話することができる。次に、ジェスチャ・データをコンピューティング・デバイスに転送し、コンピューティング・デバイスは、入力を仮想制御パラメータに変換する。次に、こうした制御パラメータは、２Ｄレンダリングした３Ｄコンテンツと対話する。
【0269】
３Ｄ表示制御上での３Ｄ：嵩のある明視野レンダリングベース３Ｄ表示は、より一般的になってきている。しかし、奥行きのあるコンテンツと対話するのに有用なモダリティは利用可能ではない。一実施形態では、システム（デバイス）は、手首上に装着することができ、腕及び身体の姿勢及びジェスチャに基づき、奥行きのあるコンテンツと対話するように使用することができる。例示的適用例は、医療ホログラフィとの対話とすることができる。
【0270】
２Ｄマウス制御：システム（デバイス）の手首装着実施形態は、親指をタッチペンとして使用し、人差し指及び小指の上部及び底部を２Ｄ制御表面の角として作製した４つの角を画定することによって、２Ｄカーソル位置制御器（マウス）として使用することができる。親指が指した、この制御表面の内部の任意の位置は、カーソルによって画面上に再現される。したがって、手の平表面の使用により、親指をタッチペンとして使用し、２Ｄ座標情報を入力することを可能にする。システム１の一実施形態では、このことは、制御表面上に描いた、ユーザ識別に固有であるように使用し得る特定パターンを使用し、この特定パターンをパスワードとして使用することを可能にする。
【0271】
仮想キーボード：システム（デバイス）の手首装着実施形態は、装着せずに使用することができる。システム１は、平坦表面上にレンダリングするように投影光を自動的に調節することができる。１つ又は複数の明視野を使用して、タイリングされた大型表示表面を
生成することができる。一実施形態では、そのようなシステム１は、振動センサ、構造化光センサ、赤外線センサ、又はタップによる振動、若しくは構造化光への遮断を捕捉、位置特定する同様のデバイスの使用と対話することができる。
生成することができる。一実施形態では、そのようなシステム１は、振動センサ、構造化光センサ、赤外線センサ、又はタップによる振動、若しくは構造化光への遮断を捕捉、位置特定する同様のデバイスの使用と対話することができる。
【0272】
片手でのゲーム：図２６に示すように、システム（デバイス）の片手の手首装着実施形態をゲーム又は娯楽適用例に使用することができ、指は、いずれかの指で、又はレシオメトリック様式で、ゲーム制御器入力として使用し、表示コンテンツと対話する。投影表面は、手の平又は手の甲表面に制限する必要はなく、前腕表面及び体外の外部投影表面も含むことができる。この適用例は、前腕の回転のような更なるジェスチャ入力も使用することができる。
【0273】
両手でのゲーム面：システム（デバイス）の１対の手首装着実施形態は、ゲーム又は娯楽適用例のためにタイリングされた表示表面を生成するために、両手の上で使用することができるが、そのような適用例に制限するものではなく、多数の表示が、互いに対話し、多数の表示の間でコンテンツを共有する。そのような適用例は、デバイス間通信に関して前に説明した空間コロケーション・システムを使用することができる。そのような適用例は、手の甲、手の平及び前腕表面並びに外部の体外表面を含む多数の投影表面を使用することができる。
【0274】
両手でのゲーム：システム（デバイス）の１対の手首装着実施形態は、ゲーム又は娯楽適用例のために分散された表示表面を生成するために、両手の上で使用することができるが、そのような適用例に制限するものではなく、多数の表示が、互いに対話し、多数の表示の間でコンテンツを共有する。腕の姿勢から決定した手の空間分離は、更なる入力を適用例に追加するために使用することができる。そのような適用例は、デバイス間通信に関して前に説明した空間コロケーション・システムを使用することができる。そのような適用例は、手の甲、手の平及び前腕表面並びに外部の体外表面を含む多数の投影表面を使用することができる。
【0275】
画像ベースの探索：一実施形態では、システム１の内蔵カメラは、物体又は環境の写真を撮るように構成することができ、そのような画像を、検索エンジンを照会するのに使用することができる。ジェスチャは、正確な結果を閲覧し、選択するために使用することができる。検索エンジンは、正確な結果に対する情報を提供することができ、正確な結果は、ジオタギングし、このサイトを後に訪れるように他のユーザに推すことができる。検索パラメータもジェスチャを使用して制御することができる。例えば、手の姿勢は、サイズ及び関連性に関する概念を伝えるために使用することができる。
【0276】
産業機器：１つ又は複数の手首装着実施形態は、ネットワーク化インターフェースのみを有するが表示器又は入力機能を有さない産業デバイスと対話するために使用することができる。代表的な適用例は、産業機器から状況情報、及び産業機器の操作に必要なユーザ操作制御パラメータを受信するシステム１である。このことは、産業機器自体の入力又は出力機能はもはや必要ではないため、産業機器の製造費用を削減する利点を有する。
【0277】
テレプレゼンス：１つ又は複数の手首装着実施形態は、ネットワーク上でデバイス及び機器と遠隔で対話するために使用することができ、遠隔デバイスからの状況又はデータは、投影表示を使用して提示することができ、ジェスチャは、デバイスと遠隔で対話するために使用することができる。
【0278】
軍事作戦：片手の手首装着実施形態は、オペレータが、もう一方の手を用いて、他の機器の制御を保持する必要がある適用例で使用することができる。例えば、ＩＥＤ処理ロボットを操縦する兵士は、武器の作戦制御を完全に保ちながら、ジェスチャを使用すること
ができる。この適用例は、ジェスチャ・システムによる表示の統合によってもたらす片手対話機能を使用する。
ができる。この適用例は、ジェスチャ・システムによる表示の統合によってもたらす片手対話機能を使用する。
【0279】
ゲーム制御器：１つ又は複数の手首装着実施形態は、テレビ、ゲーム・コンソール等のデバイスを制御するために使用する従来の有線又はワイヤレス制御器に取って代わるために使用することができるが、そのような例に限定するものではない。
【0280】
ロボット制御器：人間の手の関節は、２０を超える自由度を有する。本明細書で開示する実施形態は、手の関節の姿勢をアナログ式に捕捉するので、情報は、ロボット関節の姿勢に容易に変換することができる。人間の関節と同様に、ロボットの関節も合計行程に制限を有する。本明細書で開示する実施形態は、ロボットを直接制御し、ロボットの内部状態を監視する、直観的なプログラミング・インターフェースを提供する。システムによって推定した手の姿勢は、記号に変換することができ、記号は、ロボット・プログラミング・インターフェースが理解するか又は制御器に直接中継される。制御器は、関節速度及び合否判定評価の観点から記号を解釈する。姿勢をリアルタイムで直接制御するのではなく、本明細書で開示する実施形態は、オフライン・プログラミング・インターフェースとして使用することもできる。一実施形態では、関節の運動軌道は、本明細書で開示する実施形態から計算した姿勢を使用して定義したキーフレームを使用する補間を介して推定することができる。
【0281】
別の実施形態では、（図１に示すもの等の）多数のモダリティを具現する多数の装着可能デバイスを直接装着するか、又は衣類と統合して装着することができる。これらのシステム１は、人体の主要関節の姿勢を捕捉するために使用することができる。次に、この姿勢情報を外骨格ロボット構造に中継することができる。このことは、そのような外骨格と人体との間に直接的な触覚リンクをもたらす。
【0282】
手の練習／モノのインターネット：１つ又は複数の手首装着実施形態は、ネットワーク化インターフェースのみを有するが表示器又は入力機能を有さない家庭用デバイスと有線又はワイヤレス・ネットワーク上で対話するために使用することができる。本明細書で開示する実施形態は、家庭用デバイスから状況情報及びデバイスの操作に必要な操作制御パラメータを受信するように構成することができる。このことは、そのような機器自体の入力又は出力機能はもはや必要ではないため、デバイスの製造費用を削減する利点を有する。この種の一例は、家庭用サーモスタットである。更に、粉砕器又は冷蔵庫のような多くのシステムは、電位差計ベースのダイアル又はスライダ又はスイッチを有する。そのような離散若しくは双極性スイッチ又はレシオメトリック制御器にも、本明細書で開示する実施形態を使用して取って代わることができる。
【0283】
言語障害／ＡＳＬ：装着可能実施形態は、記号による通信を生成するジェスチャ、姿勢及び軌道を解釈する汎用辞書又は特注辞書と共に使用することができる。一実施形態では、認識した記号を音源の周波数及び振幅変調に変換し、発話に類似した音を生成することができる。例えば、そのようなシステムは、アメリカ手話等の前記汎用辞書を習熟している言語障害を有するユーザを支援し、アメリカ手話を理解しない人のために、ジェスチャを音声フィードバックに翻訳することによって意思疎通するために使用することができる。
【0284】
別の実施形態では、聴覚障害のユーザに、ジェスチャの翻訳から得た記号を提示することができる。そのような提示は、ピコ投影器２０構成要素を使用して行うことができるか、スマートフォンのようなモバイル表示デバイスを使用して提示することができる。
【0285】
隠れたコミュニケーション：「黙ったまま自分に話しかける」又は「頭の中で話す」プ
ロセスは、声道内に筋肉活動をもたらす。この活動は、一般に、頭の中での発声（ｓｕｂ－ｖｏｃａｌｉｚａｔｉｏｎ）と記載される。研究は、首の声帯領域周囲からのＥＭＧ信号は、能動的発声及び頭の中での発声を拾い上げるために使用することができることを示している。従来の手法は、弁別方法を使用するそのようなＥＭＧ信号を使用し、発話及び自発的／非自発的発声／頭の中での発声ジェスチャを認識する。
ロセスは、声道内に筋肉活動をもたらす。この活動は、一般に、頭の中での発声（ｓｕｂ－ｖｏｃａｌｉｚａｔｉｏｎ）と記載される。研究は、首の声帯領域周囲からのＥＭＧ信号は、能動的発声及び頭の中での発声を拾い上げるために使用することができることを示している。従来の手法は、弁別方法を使用するそのようなＥＭＧ信号を使用し、発話及び自発的／非自発的発声／頭の中での発声ジェスチャを認識する。
【0286】
システム（デバイス）の一実施形態は、人間の咽喉領域に取り付けた際、人間の声道の急速な変動を撮像するように使用することができる。次に、これらの変動を使用して、電気信号を生成し、電気信号をローカルで処理するか又は異なるコンピューティング・デバイスに伝達することができる。そのような信号は、多数の適用例において使用することができる。例えば、これらの信号を言葉（具体的には音素）と相関させ、電気又はデジタル信号を生成することができる。そのような信号を更に処理し、発話又はテキスト又は意味のある記号に変換することができる。そのような技術の適用例は、安全な非発声コミュニケーションで使用することができる。別の実施形態では、既に述べたように、システムを手首の周囲に装着し、ジェスチャを記号に変換することができる。そのような記号は、発声又は生の音を使用せずにコミュニケーションを取るために使用することもできる。
【0287】
暗号化：一般的な超音波画像圧縮は、一般的なケースの撮像問題を解く従来の圧縮アルゴリズムに関連する。本明細書で開示する実施形態の性質のために、汎用ではなく、装着可能デバイスである制限領域内のみを走査する。このために、探査領域の相当に固定された性質を利用し、信号エントロピーが最大である領域からの情報のみを抽出することができる。使用する厳密な圧縮技法は、個人の履歴及び解剖学的構造からアルゴリズム的に決定し、システム１は、個人暗号化機構として機能することができ、個人暗号化機構は、個人を一義的に識別するために使用することができる。
【0288】
暗号：厳密な走査／ビーム形成プロトコルを含む圧縮プロトコル及び生物測定ファイル・ヘッダは、各ユーザに一義的なものであるため、アルゴリズムは、暗号化アルゴリズムとしても効果的に働く。例えば、一義的なジェスチャを使用して、一義的なジェスチャ通信記号を表すことができ、この記号を復号化するには、元の圧縮／生物測定技法を必要とする。これらの特徴は、デバイス圧縮を、公開鍵暗号化の同等物にする。秘密鍵（配列がアルゴリズム・パラメータを表す）は、システム内に常駐する、安全なデバイスのエンクレーブに保存することができる。
【0289】
非音響環境／海面下／宇宙：一実施形態は、音響又は言葉のコミュニケーションを支持しない環境内でのコミュニケーション目的のために使用することができる。そのような適用例は、ジェスチャベースの記号的方法を使用することができるか、発声活動の識別を使用し、コミュニケーションのための発声又は頭の中での発声音素を検出することができ、単純な指示を機械に伝達するために使用することができる。例えば、対潜戦技術は、高感度のソナー・アレイを頻繁に利用し、ソナー・アレイは、潜水艦からの音響通信又は音を拾い上げるほど十分な感度である。実施形態は、そのような環境内で検出を回避するために使用することができる。別の例は、ダイバーが使用する、水面下でのジェスチャベースの通信であり、一方で、そのような機能を可能にする現在の技術は、特殊な潜水機器の使用を必要とする。
【0290】
コミュニケーション否認環境：一実施形態は、音響又は言葉のコミュニケーションがないこと又は最小であることを必要とする環境内でのコミュニケーション目的のために使用することができる。そのようなコミュニケーションは、頭の中での発声検出、又は見通し外ジェスチャベースのコミュニケーションに基づくことができる。そのような技術の例示的適用例は、敵対環境内で行動する軍事又は民間戦術専門家のためのものであり、チームのメンバーは、見通し内物理的ジェスチャベースのコミュニケーション・モダリティが利
用可能ではない場合があるか、又は低見通し環境内で行動する場合があり、沈黙の維持は戦略的に重要である。
用可能ではない場合があるか、又は低見通し環境内で行動する場合があり、沈黙の維持は戦略的に重要である。
【0291】
救援通報９１１：一実施形態は、指定又は許可された相手からの救援を自動的に要求するために使用することができる。そのような適用例は、システムの生物測定計測機能を使用し、ユーザの身体状況を評価することができる。救援要求は、衝撃又は落下又は異常心臓挙動等の異常信号を検出した際に発することができる。
【0292】
非人間コミュニケーション：一実施形態は、従来又はオペラント条件付けを使用して訓練することができる非人間動物に関連する適用例のために設計することができる。そのような実施形態の例示的適用例において、この例に限定はしないが、ペットは、動物と人間の両方が閲覧可能な画像又は記号を投影させることによって、餌の種類に関する好みを伝達することができ、動物は、餌の種類と投影画像との相関的な理解を取得する。
【0293】
グループ同期：デバイスを身体領域の周りに装着し、同様のデバイスを装着する、付近の、又は離れたグループの人々とコミュニケーションを取ることができる実施形態を使用することができる。そのようなシステム１は、特定のジェスチャ又は姿勢によって起動されると、ユーザにフィードバック応答をもたらすことができる。そのようなフィードバック応答は、グループの人々の活動又はタスクを同期するために使用することができる。
【0294】
測定及び計測、重量：代替実施形態では、１つ又は複数の手首装着バージョンは、身体的、機械的寸法及び物体の速度又は他の静的又は動いている物体からのデバイスの距離を測定する目的で使用することができる。そのような一実施形態では、デバイスは、測距機として空中超音波送受信器を使用し、他の物体からの距離を測定することができる。別のそのような実施形態では、指先の分離を使用し、通常の握った手の中に入り得る、より小さな物体の寸法を測定することができる。そのような実施形態は、建築、土木工事、現場での検査における適用例では、及び一般的な作業場器具として有用であり得る。
【0295】
力／トルク測定：１つ又は複数の実施形態は、人体の関節の負荷反応を測定する目的で使用することができる。例えば、手首装着実施形態は、手が質量を持ち上げるために加えた反力を測定するために使用することができる。別の例は、足首と床との間の反力を測定することである。肢の寸法を使用して、反応に対する更なる情報、肢上のトルクも測定することができる。そのような実施形態の例示的使用は、物理的物体に加えられた負荷及びトルクを監視する必要がある現場又は産業土木工事におけるものである。
【0296】
目印のない姿勢の捕捉：本明細書で提示する実施形態から生成した身体及び肢の姿勢データは、ローカルに収集するか、又はコンピュータ・ネットワークを通じリアルタイムで送信することができる。そのような姿勢データの大きな概要は、通信モダリティの分析に使用することができる。そのようなデータは、仮想現実、アニメーション、コンピュータ生成メージ、ビデオ・ゲーム及びテレプレゼンスに関係する適用例においても使用することができるが、そのような適用例に限定するものではない。例えば、そのようなデータは、ゲーム内の仮想群衆をシミュレーション、又は仮想現実若しくはテレプレゼンスベースのスポーツ・イベントに使用することができる。データは、更なる基準を明らかにするために、更に処理することができる。
【0297】
運動学的ＣＧＩ方向：１つ又は複数の手首装着実施形態は、コンピュータ生成グラフィックス（ＣＧＩ）、モデル化及びアニメーションで使用されるもの等、制御点の仮想表現の方向を必要とする適用例において使用することができる。そのような点の軌道又は位置を手でプログラミングするのではなく、又はそのようなコンピュータ生成軌道又は点の位置を編集するために、実施形態は、ジェスチャ又は姿勢情報を、記号、又はそのような点
と対話する指令に変換するために使用することができる。例えば、指関節は、仮想運動学的結合の代理として使用することができ、手からの姿勢情報は、制御点を操作するために使用することができる。例示的適用例は、ビデオ・ゲーム、３Ｄモデル化適用例又はアニメーション生成の目的で見出すことができる。
と対話する指令に変換するために使用することができる。例えば、指関節は、仮想運動学的結合の代理として使用することができ、手からの姿勢情報は、制御点を操作するために使用することができる。例示的適用例は、ビデオ・ゲーム、３Ｄモデル化適用例又はアニメーション生成の目的で見出すことができる。
【0298】
スカルプティング：１つ又は複数の手首装着実施形態は、有線又はワイヤレス・ネットワーク上でデジタル・レンダリングした物体と対話するために使用することができる。手の姿勢を使用して、デジタル・レンダリングを変形させることができる。例えば、指先又は手の平表面の位置は、堅実なモデリングのための３Ｄメッシュ内の節点を生成、変形するために使用することができる。別の例は、指先の位置を使用し、そのような節点を画定し、仮想スカルプティング工程において新たなモデリングを生成することであり得る。
【0299】
触知走査／３Ｄ走査：１つ又は複数の手首装着実施形態は、デジタル・コンテンツを生成し、有線又はワイヤレス・ネットワーク上でこれらを中継するために使用することができ、デジタル・コンテンツは、指先の位置に関係する。指先は、固体物体の輪郭を辿るために使用することができる。デジタル・コンテンツは、点群の形態を取り得る。この例では、モダリティは、３Ｄ走査技術と同様の機能を有する。
【0300】
不随意的基準：実施形態は、不随意的生体力学データを取得するために使用することができ、不随意的生体力学データに基づき、更なる基準を推定することができる。いくつかの例示的適用例は、限定はしないが、ユーザの関与追跡及び広告最適化の分野であり得る。体温、身体活動を通じて決定する注意深さ、心拍数及び呼吸速度等のいくつかの生体力学信号を使用して基準を構築することができる。本明細書で開示する実施形態の使用による利点は、そのような信号は、ユーザの関与をだます又は捏造することはできず、ユーザの関与を表すということである。そのような基準は、従来のクリック・パー・ビュー、クリック・スルー及びタイム・スペント・ビューイング型基準を補うために使用することができる。
【0301】
パノラマ撮像：１つ又は複数の画像センサを含む手首装着実施形態は、デバイスを空間の周りで慎重に動かしながら、画像を連続的に取得するために使用することができる。取得した画像は、後に一緒に寄せ集め、嵩のある明視野データ又はパノラマ画像又はタイリングされた画像を生成することができる。そのような画像は、仮想現実若しくはヘッド・マウント・ディスプレイにより見ることができるか、又は拡張現実適用例を使用して見ることができる。
【0302】
視線及び目の追跡：顔装着実施形態は、眼筋の状態を監視するために使用することができる。例えば、そのような実施形態は、外眼取付け部材の形態であり得、図１に示すように、頬骨、側頭骨、蝶形骨又は上顎骨に位置することができる。図示の場所は、眼窩へのアクセスをもたらすので、選択され、頭蓋骨は音響伝送を大幅に妨害するため、他の顔の位置で撮像するのは困難である。実施形態は、６つの眼筋群（上直筋、下直筋、外側直筋及び内直筋（左／右）並びに上斜筋及び下斜筋（左／右））の状態を、上眼瞼挙筋、眼輪筋、大頬骨筋／小頬骨筋及び上唇挙筋と共に追跡するために使用することができる。装置が位置する骨に基づき、システム１は、眼瞼、虹彩のサッケード、強膜領域の回転、頬の拡張、口の構造及び状態、並びに唇の変形を追跡することができる。
【0303】
そのような頭部装着実施形態からの情報は、限定はしないが、視線追跡、表情及び目の追跡等の適用例のために使用することができる。従来の光学的目／視線追跡ハードウェアからのそのような実施形態の利益の１つは、非閉塞性（非封鎖又は非妨害性）であることである。直接的又は間接的に虹彩又は瞳孔を見る必要はない。本明細書で開示する実施形態は、眼科、治療分析又は監視目的で解釈データを提供することに加えて、デジタル及び
物理的なインターフェース及び物体を制御するために使用することができるが、これらに限定するものではない。同様に、本明細書で開示する実施形態は、アイウェア、ヘッド・マウント・ディスプレイ、ヘルメット又は顔マスクの一部とすることができ、これらは、非妨害手段を可能にし、目を追跡し、パラメータを推測し、フィードバック信号として供給し、フィードバック信号は、所与の刺激、画像又はビデオ・コンテンツに対する目の応答を検出する。そのような実施形態は、拡張現実（ＡＲ）表示適用例には有益であり、実施形態がもたらしたフィードバックを使用し、実施形態が検出した目パラメータのフィードバックに応じて、表示画像コンテンツの部分又は実質的に全てを修正、調節、圧縮、強調、又は強調表示することができる。
物理的なインターフェース及び物体を制御するために使用することができるが、これらに限定するものではない。同様に、本明細書で開示する実施形態は、アイウェア、ヘッド・マウント・ディスプレイ、ヘルメット又は顔マスクの一部とすることができ、これらは、非妨害手段を可能にし、目を追跡し、パラメータを推測し、フィードバック信号として供給し、フィードバック信号は、所与の刺激、画像又はビデオ・コンテンツに対する目の応答を検出する。そのような実施形態は、拡張現実（ＡＲ）表示適用例には有益であり、実施形態がもたらしたフィードバックを使用し、実施形態が検出した目パラメータのフィードバックに応じて、表示画像コンテンツの部分又は実質的に全てを修正、調節、圧縮、強調、又は強調表示することができる。
【0304】
表情追跡：顔装着実施形態は、上記で論じたのと同様に、顔面筋の状態を監視するために使用することができる。そのような実施形態から戻されたデータを使用し、人の顔の表情を解釈又は分析することができる。適用例は、アニメーション制御、不随意的基準の収集又は診療を含むことができる。
【0305】
弾性率計測：弾性率計測は、組織の機械的剛性のグラフ表現を構築する撮像モダリティである。そのような剛性グラフは、腫瘍の監視及び分析等の適用例において使用することができる。手首装着実施形態とすることができ、触知撮像に似ている一実施形態は、上記で開示した方法を使用して、組織の力の応答を測定するために使用することができる。測定データは、ユーザから早期に得た基準データと比較するか、又はオンラインで入手可能な測定概要に対して比較することができる。比較は、組織の機械的応答の異常を検出するために使用する。
【0306】
別の実施形態では、デバイスは、身体部の周囲に装着して分析するか、領域に緩く接して置くことができる。したがって、システム１のバンド要素５内に含まれるＳＭＡアクチュエータ又は振動モータを使用し、組織を周期的に励起又は刺激することができる一方で、励起の間、超音波信号を能動的に収集する。収集した信号は、アルゴリズム的に分析するか又は監視目的の実務家によって分析する。
【0307】
衝撃／衝突／震盪衝撃の監視：身体の多数の領域は、装着可能実施形態によって監視することができ、実施形態は、衣類、衣服、又は帽子、ブーツ、ひざ・ひじ防護服、及びグローブ等の防護服の一部とすることができ、実施形態から得た運動学的データ、慣性データ及び静的データを監視するために使用することができる。そのような実施形態を使用し、身体又は特定身体部が受けるおそれのある衝撃又は震盪衝撃又は落下に関する情報を提供することができる。適用例は、衝突又は震盪性のスポーツ活動を含み、こうしたスポーツ活動では、活動中の関節、頭部及び露出又は覆われている組織全体が、急激で異常な加速度及び減速を受け、骨格系に対し全体の慣性組織運動をもたらすことがある。そのような損傷は、すぐに病状が出現しないことがあるが、経時的に出現する場合がある。これらの実施形態を使用し、実際の組織運動を追跡し、蓄積した損傷を監視し、あらゆる起因する病気に対する理解及び治療を支援することができる。そのような実施形態は、スポーツ活動に限定しないが、とりわけ、建築、産業専門労働、警察及び消防、海上及び兵站サービス等の公務員等の活動を含むことができる。
【0308】
スポーツ医療：上記で論じた職場の安全に関連するモダリティに加えて、本明細書で開示する実施形態の態様は、スポーツ医療の全体的な現場で使用し、パフォーマンスを追跡、監視し、改善点を推奨することができ、改善点は、アルゴリズム的に又は人間参加型の専門家によって与えられる。ゴルフというスポーツは良好な例である。そのような使用からの情報は、実施形態によって収集し、とりわけ、ストローク衝撃、スイング効率、速度、活性筋肉群及び手首の姿勢等のゴルフに関連する姿勢情報及び生体力学から収集した基準を分析するために使用することができる。同様の実施形態は、他の身体部を監視し、衝
撃の影響、投入動作の効率を評価し、生体力学的フィードバックを提供し、身体動作又はジェスチャの効率及び効果を改善するために使用することができる。そのような実施形態の別の例示的な使用は、生体力学的同期を必要とするチーム・スポーツ活動の分析において使用することができる。
撃の影響、投入動作の効率を評価し、生体力学的フィードバックを提供し、身体動作又はジェスチャの効率及び効果を改善するために使用することができる。そのような実施形態の別の例示的な使用は、生体力学的同期を必要とするチーム・スポーツ活動の分析において使用することができる。
【0309】
クラウド上での撮像：１つ又は複数の実施形態は、クラウド上で取得、再処理し得る信号を提供することができる。説明したように、身体上装着可能システム１は、入力信号の走査変換を直接実施する手段を有する必要はない。したがって、未加工の圧縮又は暗号化形態のそのようなＵＳ信号を、走査変換モダリティが存在し２Ｄ画像の構築に使用し得るクラウド又はネットワーク・インフラストラクチャにアップロードすることができる。自動画像分析に基づき、特注の超音波信号生成又は受信プロトコルをシステム１にダウンロードし、再構成した画像の質又は性質を改善することができる。そのような特注信号生成機能は、他の信号処理モダリティの中でも、より高い周波数、より高い解像度、特別な走査周波数を含むことができる。
【0310】
クラウド上での監視：１つ又は複数の装着可能実施形態は、クラウド・インフラストラクチャ上で取得、再処理し得る信号を提供することができる。前に説明したように、信号は、画像フォーマットに走査変換し、次に、画像フォーマットを使用し、評価及び全体健康監視基準をアルゴリズム的に生成し、次に、評価及び全体健康監視基準をユーザに戻す。例えば、脈動血管組織からのドップラー又は通常の信号から心拍数を測定する方法は既に述べた。別の適用例では、血管組織／動脈の構造拡張を見ることによって、高血圧を推定することができる。他の実施形態では、ドップラー超音波は、肢の拍動点で動脈を通る血流を確認し、血圧評価を戻すために使用することができる。そのような実施形態は、末梢血管疾患の危険性、高血圧の人に共通する所見、動脈内でのプラーク発達、高血圧症、コレステロール若しくは甲状腺を識別する病状、関節の摩耗損耗タイプの問題等も評価するために使用することができるが、運動疾患に限定するものではない。自動画像分析に基づき、特注の超音波信号生成又は受信プロトコルをデバイスにダウンロードし、医療評価及び基準測定の質又は性質を改善することができる。そのような特注信号生成機能は、他の信号処理モダリティの中でも、より高い周波数、より高い解像度、特別な走査周波数を含むことができる。このようにして、クラウド・プラットフォームは、基準の統計的推定及び時間履歴の両方をユーザに提供し、生活様式の変化を実施するか、又は医療専門家に提供し、高度な医療監視及び評価をもたらすことができる。
【0311】
遠隔放射線診断：実施形態は、ネットワークベースの予防、監視、治療ヘルスケアを提供するために使用することができる。例えば、ユーザからの情報は、要求に応じて又は自動的にクラウドに伝達することができ、ユーザは、アルゴリズム的に又は専門家の技術的分析により決定した健康状態に自動更新を受信することができる。クラウドは、民間又は政府健康情報ネットワークから個人健康記録及び電子健康記録等の情報を要求し、アクセスすることができる。次に、クラウドは、データをアルゴリズム的に分析し、ユーザから基準を抽出する、及び／又は情報科学及び分析サービスを提供する訓練技師のローカル若しくは遠隔ネットワークにタスクを分散する最適な方法をアルゴリズム的に決定することができる。これらの報告及び基準は、クラウド・インフラストラクチャに戻され、次に、クラウド・インフラストラクチャは、ユーザに近接する医療専門家又は直接ユーザに結果を薦める。収集した基準及び示された結果に基づき、アルゴリズムは、関連する専門家とのユーザのアポイントメント又は更なる検査を自動的にスケジュールすることができる。ヘルスケア提供者、及び関連する支払い分析を管理する機関も、クラウドを使用して特定のモダリティをスケジュールし、ユーザに施行することができる。
【0312】
そのような実施形態の主な利点は、かなり大きな統計変動性を示す単一の費用のかかる検査とは反対に、ある時間期間にわたってデータを自動的に収集できることである。連続
監視に加えて、別の利点は、ユーザが、検査、スケジュール・サービスにアクセスするために、尽力する必要がないことである。
監視に加えて、別の利点は、ユーザが、検査、スケジュール・サービスにアクセスするために、尽力する必要がないことである。
【0313】
メカニカル・ターク／クラウドソーシングに対する洞察：一実施形態は、人間参加型ヘルスケア・オンデマンド・サービスを提供するために使用することができる。ユーザは、１回限りの又は定期サービスであり得る要求を発し、こうしたサービスは、ユーザの基準又は画像を手で検査する専門医療サービス提供者に接続されている。サービスは、専門審査官格付けの周囲で構造化することができる。ユーザは、そのような格付けに基づき、特定のサービスを選択し、サービスが、匿名化データ又は名前付きデータにアクセスすることを許可し、匿名化又は名前付き評価を受信することができる。多数のサービスを組み合わせ、統計的に関連する評価を得ることができる。そのような評価は、ユーザの個人健康記録に追加することができる。分析家サービスは、アルゴリズム的に又は手作業で正確さ及び規制上の検査を審査する。
【0314】
運動障害：１つ又は複数の装着可能実施形態は、神経筋及び筋骨格障害を連続的又は断続的に追跡、監視するために使用することができる。そのような実施形態は、とりわけ、一般的な病状、神経病理学、筋骨格腫瘍学、心拍動記録法、心筋症、整形外科、リウマチ学における様々な適用例を有することができ、病状は、生体力学的又は運動学的血管マーカによって顕在化し、血管マーカは、提示する技術が可能にする様々な走査モダリティを使用して検出、監視することができる。例えば、けいれんは、肢の不随意的なれん縮又は振盪によって示すことができ、高コレステロール、虚血、アテローム硬化症の場合、プラーク発達が指標であり、又は他の病状には、血管収縮を伴う。実施形態は、応力心エコーに特に有用であり得る。更に、そのようなモダリティのオンデマンドの利用可能性は、異常マーカ発達に対する統計的に有意なデータセットを生成することができる。
【0315】
そのような実施形態の他の例は、手首周囲又は身体周囲デバイスの形態を取ることができ、これらは、れん縮挙動、動作緩慢、静止時振戦、統計的にユーザの通常の姿勢及び運動履歴の一部ではない姿勢の不安定さ又は剛性を監視、識別又は特徴付ける。そのような監視又は手順は、ローカルに又は遠隔で管理することができ、ユーザは、自身のパフォーマンスに対するフィードバックをリアルタイムで受信することができる。
【0316】
手術／テレプレゼンス・ロボット：上記で述べたロボット適用例と同様に、一実施形態は、高度な手術器具を制御するために使用することができる。手術ロボットは、患者の統計的な解剖学的変動性のために、概して、事前プログラミングに依存することができないという特別な困難を提示している。訓練を受けた外科医は、現場で、非直観的電気機械インターフェースを使用して、ロボット機構をリアルタイムで操作する必要がある。一実施形態は、医療専門家が使用するジェスチャを、ロボット装置が実行できる動作に直接変換するために使用することができる。テレロボティクスへの適用例において、同様の実施形態を使用して手術を遠隔で実施することができる。そのような手術の間に得られたデータは、収集し、自動医療ロボットを更に訓練するために使用することができる。
【0317】
手の上での視覚化：手首装着実施形態は、滅菌又はクリーンルーム衣服と共に使用し、常に利用可能な情報の表示及びジェスチャベースの手段を生成し、情報を抽出及び／又は管理することができる。例えば、システムが、医療処置の使用中に身体上投影表示器を有する器具によって提供されるリアルタイム視覚化で使用される一実施形態を提供することができる。この実施形態は、システムを片手で操作することが可能である。
【0318】
治癒及び美容：身体装着／取り外し可能実施形態は、多数の治療又は対症治癒促進適用例及び美容適用例で使用することができる。例えば、撮像で使用する音圧を超える、パルス化指向性誘導超音波が生成する音圧は、血液灌流、組織への刺激及びリラクゼーション
を促進し、一般に、組織及び生物学的物質を機械的に撹乱し、局所的に与えた薬剤の送達又は表面下での吸収を改善すると考えられている。こうした効果は、新たな状態を治療し、既存の状態を管理するためにも使用することができる。例えば、いくつかの実施形態は、とりわけ、骨折治癒促進、指向性皮下脂肪除去、コラーゲン刺激、傷跡の組織破壊、炎症及び膨張の低減並びに光泳動適用例で使用することができる。そのような実施形態は、アルゴリズム的に又は実務家によって手動で制御することができ、撮像モダリティ又は組織追跡・標的化モダリティを同時に使用し、特定の領域に制御された音響エネルギーを送出することができる。そのような実施形態は、人が直接、又はクラウド上で遠隔に制御することもできる。
を促進し、一般に、組織及び生物学的物質を機械的に撹乱し、局所的に与えた薬剤の送達又は表面下での吸収を改善すると考えられている。こうした効果は、新たな状態を治療し、既存の状態を管理するためにも使用することができる。例えば、いくつかの実施形態は、とりわけ、骨折治癒促進、指向性皮下脂肪除去、コラーゲン刺激、傷跡の組織破壊、炎症及び膨張の低減並びに光泳動適用例で使用することができる。そのような実施形態は、アルゴリズム的に又は実務家によって手動で制御することができ、撮像モダリティ又は組織追跡・標的化モダリティを同時に使用し、特定の領域に制御された音響エネルギーを送出することができる。そのような実施形態は、人が直接、又はクラウド上で遠隔に制御することもできる。
【0319】
理学療法：１つ又は複数の装着可能実施形態は、神経筋及び筋骨格障害では一般的な処方治療の質及び性能を評価するために使用することができる。例えば、上記技術の一実施形態は、ひざ周りに装着し、膝領域内の組織及び靭帯の構造特性、動的特性、機械的特性、移動及び姿勢動力学の指標を戻すことができ、そのような情報を案内処置として使用することができる。
【0320】
運動障害：１つ又は複数の装着可能実施形態は、神経筋又は筋骨格障害を追跡、監視、フィードバックを提供するために使用することができる。フィードバックは、ユーザへの触覚、視覚又は聴覚刺激を通して提供する修正条件付け情報、及び専門家への更なる基準の通信の形態を取ることができる。そのような実施形態の例は、手首周囲又は身体周囲デバイスの形態を取ることができ、これらは、れん縮挙動、動作緩慢、静止時振戦、統計的にユーザの通常の姿勢及び運動履歴の一部ではない姿勢の不安定さ又は剛性を監視、識別する。組織剛性又は形状を識別する基準等、更なる整形外的、筋骨格の基準を専門家に提供し、治療効力を決定することができる。そのような監視又は手順は、ローカルに又は遠隔で管理することができ、ユーザは、自身のパフォーマンスに対するフィードバックをリアルタイムで受信することができる。
【0321】
補装具適用例：実施形態は、ユーザの身体的障害の様々なモダリティのためのリハビリテーション又は支援デバイスにおいて使用することができる。切断手術後の監督で最も重要な態様の１つは、患者の身体的リハビリテーションである。手術の準備及び計画には、手術成功後のリハビリテーションの方策が含まれる。
【0322】
例示的実施形態では、補装具ソケットは、システム１を含むことができ、システム１は、断端の皮膚の背後の組織の、随意的及び不随意的変形を監視するために使用することができる。断端領域は、大きなせん断応力を維持しているため、より深い単一のモダリティを使用し、身体深部組織ジェスチャ識別のための信号を抽出することが考えられる実施形態の適用例では、手術前計画は、術後の補装具設計に対する考慮を含むことができる一方で、切開術、切除、結紮、再取付け、再接続及び皮膚設計を決定し、生活の質及び使いやすさを最大にする。
【0323】
本明細書で開示する実施形態の別の適用例は、音声補装具適用例にある。喉頭摘出又は気管喉頭穿刺手術等の手術は、患者に、生の発話を生成する能力の損失をもたらすことがある。
【0324】
拡張現実本：手首装着実施形態は、投影明視野が、手に持っている物体と対話する拡張現実適用例で使用することができる。例示的実施形態は、手に持っている本の頁上に投影画像及び画像表示辞書情報を表示するものである。そのような実施形態は、光学文字認識アルゴリズム又は機械視覚手法と組み合わせ、システム内に埋め込んだセンサから情報を抽出することができ、センサからのデータは、投影画像又は他のモダリティを制御するために使用することができる。
【0325】
静的媒体との対話：印刷媒体の衰退に起因する大きな問題の１つは、コンテンツが静的で非対話型であることである。１つ又は複数の手首装着実施形態は、光学的に認識可能なコードの使用によって、静的又は印刷媒体に関するそのような問題を解決するために使用することができ、システム上のセンサは、投影光システムの挙動を認識し、誘導することができる。例示的実施形態は、静的ＱＲコード（登録商標）を走査することができ、静的ＱＲコードは、投影表示を誘導し、特定の画像又は映像、又はネットワーク化リソース上に配置できる他の対話型コンテンツを示す。そのようなシステムは、広告目的、又は生成したコンテンツを動的に表示するために使用することができる。
【0326】
情報キオスク：手首装着実施形態は、物理的物体への近接度、又はナビゲーション若しくは測位センサから決定した位置座標に基づき、ワイヤレス又は有線通信ネットワークを通じて供給した動的情報又はコンテンツを表示するために使用することができる。
【0327】
マップ：手首装着実施形態は、場所ベースの情報を表示するために使用することができ、場所は、ナビゲーション・センサから決定し、情報は、有線又はワイヤレス・ネットワークを使用してアクセスする。表示は、マップ等の情報を示すことができる。システム・カメラを利用することができる内蔵機械視覚システムは、表示コンテンツを更に較正又は成形するために使用することができる。
【0328】
ＱＲコード：クイック・レスポンス（ＱＲ）コード、又は汎用機械視覚ベースの物体認識等の符号化静的グラフィックスのより広範な適合を阻む大きな問題の１つは、符号化した指示を解釈し、表示するために使用するデバイスが、手元で常に利用可能ではなく、使用に準備がいるということがある。したがって、手首装着実施形態は、単純なジェスチャと組み合わせて使用し、そのような符号化した情報の画像又は全体シーンを取得し、投影表示を使用して復号化された情報又は認識した物体をレンダリングすることができる。そのような実施形態は、ショッピング適用例において、価格及び代替製品を照会するために使用することができる。そのような技術は、兵站及び在庫管理、又は工業設定では部品の選別でも使用することができることに留意されたい
【0329】
没入型表示／タイリング：１つ又は複数の手首装着実施形態は、同期状態で使用し、外部表面に投影し、大きなタイリングされた没入型３Ｄ表示を生成することができる。これらの表示は、内蔵慣性測定システムからのデータを使用することによって、ユーザの位置及び姿勢の浮遊に対して補償することができる。ユーザは、ジェスチャを使用して投影表示と対話することができる。
【0330】
別の拡張現実実施形態では、システム１は、身体上投影表面の１つに画像の一部のみを投影することができる。ユーザは姿勢又は向きを変化させるにつれて、表示画像は、向き又は姿勢変化を有するフィードバックにおいて、２次元以上の空間にわたりスクロールすることができる。
【0331】
没入型ゲーム：１つ又は複数の手首装着実施形態は、没入型対話娯楽エクスペリエンスのために使用することができる。そのような実施形態は、デバイス間通信モダリティを使用し、とりわけ、デバイス位置、ユーザの姿勢、ジェスチャについての情報を共有することができる。そのような情報は、表示情報を更新するために使用することができる。表示情報は、身体上表面及び外部表面にレンダリングすることができる。
【0332】
上述の開示の様々な場所において、様々な実施形態が医療分野での適用例を有する又は有し得ることを指摘した。概して、そのような使用は、医療上の注意及び診断を必要とする条件の発見、並びに診断を行った後の条件の評価及び監視に関連する。
【0333】
上述の開示は例として説明してきたが、開示はそれらに限定するものではないことは理解されよう。広範囲の修正及び同様の構成を含むことを意味する。本開示の特徴又は構成要素の修正は、本開示の核となる概念から逸脱せずに行うことができる。したがって、本開示の範囲は、上述の説明によって制限されるものではなく、本明細書で明示する、添付の特許請求の範囲によってのみ限定される。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図8F】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図13F】
【図13G】
【図13H】
【図13I】
【図13J】
【図13K】
【図14A】
【図14B】
【図14C】
【図15A】
【図15B】
【図15C】
【図16A】
【図16B】
【図17】
【図18A】
【図18B】
【図19A】
【図19B】
【図20】
【図21】
【図22A】
【図22B】
【図22C】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
