知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135632
(43)【公開日】2023-09-28
(54)【発明の名称】手のマルチモーダル生体測定装置からのユーザ入力の検出
(51)【国際特許分類】
G06F 3/01 20060101AFI20230921BHJP
G06F 3/0346 20130101ALI20230921BHJP
【ＦＩ】
G06F3/01 570
G06F3/0346 425
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023036208
(22)【出願日】2023-03-09
(31)【優先権主張番号】17/694,758
(32)【優先日】2022-03-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/110,979
(32)【優先日】2023-02-17
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】523086910
【氏名又は名称】ポート シックス オーイー
【氏名又は名称原語表記】Ｐｏｒｔ ６ Ｏｙ
(74)【代理人】
【識別番号】100107364
【弁理士】
【氏名又は名称】斉藤 達也
(72)【発明者】
【氏名】ジャミン ヒュー
(72)【発明者】
【氏名】ビラ クラー
(72)【発明者】
【氏名】エエミル ビサコルピ
(72)【発明者】
【氏名】ラウリ ツオミネン
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087AA07
5B087AA09
5B087BC06
5B087BC34
5E555AA10
5E555BA08
5E555BB08
5E555BC04
5E555CA41
5E555CA44
5E555CB21
5E555CB66
5E555CC01
5E555FA00
(57)【要約】 （修正有）
【課題】ユーザの手の通常の使用を妨げることなく、手のわずかな動き及びジェスチャをデジタイズしてユーザインタフェースコマンドに変換する生体測定装置及びコマンドを生成する方法を提供する。
【解決手段】マルチモーダル生体測定装置１００は、マウント用構成要素１０１と、コントローラ１０２と、それぞれ少なくとも１つの慣性測定装置１０３、手首輪郭センサ１０４、生体音響センサ１０５と、を備える。コントローラは、各センサから各々のセンサデータストリームを受信し、少なくともいずれかのセンサデータストリームに基づき、ユーザアクションの少なくとも１つの特徴を特定し、特徴に基づき少なくとも１つのユーザアクションを特定し、ユーザアクションに基づき少なくとも１つのユーザインタフェースコマンドを生成する。
【選択図】図１Ａ
【解決手段】マルチモーダル生体測定装置１００は、マウント用構成要素１０１と、コントローラ１０２と、それぞれ少なくとも１つの慣性測定装置１０３、手首輪郭センサ１０４、生体音響センサ１０５と、を備える。コントローラは、各センサから各々のセンサデータストリームを受信し、少なくともいずれかのセンサデータストリームに基づき、ユーザアクションの少なくとも１つの特徴を特定し、特徴に基づき少なくとも１つのユーザアクションを特定し、ユーザアクションに基づき少なくとも１つのユーザインタフェースコマンドを生成する。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
マルチモーダル生体測定装置であって、
ユーザが身に着けるように構成されたマウント用構成要素と、
少なくとも１つの手首輪郭センサと、
振動センサを含む少なくとも１つの生体音響センサと、
加速度計及びジャイロスコープを含む少なくとも１つの慣性測定装置（ＩＭＵ）と、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラであって、前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、少なくとも、
前記少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
前記少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
前記少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を前記コントローラに実施させるように構成されている、前記コントローラと、
を含む装置。
ユーザが身に着けるように構成されたマウント用構成要素と、
少なくとも１つの手首輪郭センサと、
振動センサを含む少なくとも１つの生体音響センサと、
加速度計及びジャイロスコープを含む少なくとも１つの慣性測定装置（ＩＭＵ）と、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラであって、前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、少なくとも、
前記少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
前記少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
前記少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を前記コントローラに実施させるように構成されている、前記コントローラと、
を含む装置。
【請求項2】
ユーザアクションの前記少なくとも１つの特徴を特定する前記ステップは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも１つの特徴を特定して出力とするようにトレーニングされた少なくとも１つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも１つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも１つの特徴の信頼値を含む、請求項１に記載の装置。
【請求項3】
前記少なくとも１つのユーザアクションを特定する前記ステップは、前記少なくとも１つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴及び受信されたコンテキスト情報に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、請求項２に記載の装置。
【請求項4】
前記コントローラは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに対して前処理を実施してから、前記少なくとも１つの前処理されたデータストリームを前記少なくとも１つのニューラルネットワークへの入力として供給するように構成されている、請求項２～３のいずれか一項に記載の装置。
【請求項5】
前記コントローラは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理されるように構成されている、請求項１～４のいずれか一項に記載の装置。
【請求項6】
前記コントローラは、少なくとも１つの前処理シーケンスが少なくとも１つの別の前処理シーケンスと通信するように構成されており、前記通信は、前記少なくとも１つの前処理シーケンスからのデータに基づいて、前記別の前処理シーケンスの前処理パラメータを調節することを含む、請求項４～５のいずれか一項に記載の装置。
【請求項7】
前記コントローラは更に、前記イベントインタプリタが推論エンジン、決定木の少なくとも一方を含むように構成されている、請求項１～６のいずれか一項に記載の装置。
【請求項8】
前記手首輪郭センサは、輪郭測定センサのアレイを含む、請求項１～７のいずれか一項に記載の装置。
【請求項9】
前記少なくとも１つの手首輪郭センサ、前記少なくとも１つの生体音響センサ、及び前記少なくとも１つの慣性測定装置は、単一ハウジング内に配置されており、例えば、前記装置はスマートウオッチを含む、請求項１～８のいずれか一項に記載の装置。
【請求項10】
前記手首輪郭センサは輪郭測定センサのアレイを含み、前記アレイは、前記少なくとも１つの生体音響センサとともに、前記単一ハウジングの表面上に環状に配列されている、又は、前記手首輪郭センサは、前記単一ハウジングの表面上に同心円環又は矩形環を構成する、輪郭測定センサのアレイを含み、前記アレイに含まれる円環の数は１～２５であり、好ましくは２～６であり、特に３である、請求項１～９のいずれか一項に記載の装置。
【請求項11】
前記装置はアドオンデバイスを含み、前記装置は、以下の構成の少なくともいずれかにより別のウェアラブルデバイスに取り付けられるように構成されている、即ち、
前記アドオン装置は、前記アドオン装置の前記センサが（例えば、前記センサが前記ユーザのほうを向くように）前記ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、前記マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素の一部であるか、前記マウント用構成要素に接続されるように構成されており（例えば、前記マウント用構成要素はストラップであり）、具体的には、前記アドオン装置の一方の側部が前記他のウェアラブルデバイスに接続され、他方の側部が前記ストラップに接続されるように構成されている、
請求項１～１０のいずれか一項に記載の装置。
前記アドオン装置は、前記アドオン装置の前記センサが（例えば、前記センサが前記ユーザのほうを向くように）前記ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、前記マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素の一部であるか、前記マウント用構成要素に接続されるように構成されており（例えば、前記マウント用構成要素はストラップであり）、具体的には、前記アドオン装置の一方の側部が前記他のウェアラブルデバイスに接続され、他方の側部が前記ストラップに接続されるように構成されている、
請求項１～１０のいずれか一項に記載の装置。
【請求項12】
ＵＩコマンドを生成する方法であって、
少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を含む方法。
少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を含む方法。
【請求項13】
ユーザアクションの前記少なくとも１つの特徴を特定する前記ステップは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも１つの特徴を特定して出力とするようにトレーニングされた少なくとも１つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも１つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも１つの特徴の信頼値を含む、請求項１２に記載の方法。
【請求項14】
前記少なくとも１つのユーザアクションを特定する前記ステップは、前記少なくとも１つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、請求項１２～１３のいずれか一項に記載の方法。
【請求項15】
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに対して前処理が実施されてから、前記少なくとも１つの前処理されたデータストリームが前記少なくとも１つのニューラルネットワークへの入力として供給され、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理され、少なくとも１つの前処理シーケンスが少なくとも１つの別の前処理シーケンスと通信し、前記通信は、前記別の前処理シーケンスの前処理パラメータを調節することを含む、請求項１２～１４のいずれか一項に記載の方法。
【請求項16】
請求項１２～１５のいずれか一項に記載の方法が実施されるように構成されたコンピュータプログラムであって、非一時的コンピュータ可読媒体に格納可能なコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の様々な例示的実施形態は、（特にコンピューティングアプリケーション及びエクステンデッドリアリティユーザインタフェースアプリケーションの分野において）デバイスを制御することに使用可能なウェアラブル装置及び方法に関する。エクステンデッドリアリティ（ＸＲ）は、拡張現実（ＡＲ）、仮想現実（ＶＲ）、及び複合現実（ＭＲ）を包含する。
【背景技術】
【0002】
デジタルデバイスの制御は、伝統的に専用の物理コントローラで行われてきた。例えば、コンピュータはキーボードとマウスで操作でき、ゲームコンソールは手持ち式コントローラで操作でき、スマートフォンはタッチスクリーンで操作できる。これらの物理コントローラは、通常、ユーザのアクションに基づく、ユーザからの入力を受け取るセンサ及び／又はボタンを含む。そのようなディスクリートコントローラは広く普及しているが、ユーザの手とコンピューティングデバイスとの間に冗長な技術レイヤが加わる為にヒューマンマシンインタラクションが遅くなる。更に、そのような専用デバイスは、典型的には、特定のデバイスを制御することにのみ適する。又、そのようなデバイスは、例えば、ユーザの手をわずらわせることになる為、ユーザは、その制御デバイスの使用中は、手を他の目的に使用することができない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、上記従来の技術における課題を解決するためになされたものである。
【課題を解決するための手段】
【0004】
上述の問題に鑑みて、ＸＲユーザインタフェースの分野での改善が必要とされる。本明細書に開示の発明のような適切な入力デバイスが、ユーザの手の通常の使用を妨げることなく、手のわずかな動き及びジェスチャを直接デジタイズしてマシンコマンドに変換する。本開示の実施形態は、例えば、複数のセンサから検出されたユーザアクション特徴に基づいてユーザアクションを検出することが可能であり、それらのセンサは、様々なタイプのセンサであることが好ましい。
【0005】
本発明は、独立請求項の特徴によって定義される。幾つかの特定実施形態が従属請求項において定義される。
【0006】
本発明の第１の態様によれば、マルチモーダル生体測定装置が提供され、本装置は、ユーザが身に着けるように構成されたマウント用構成要素と、少なくとも１つの手首輪郭センサと、振動センサを含む少なくとも１つの生体音響センサと、加速度計及びジャイロスコープを含む少なくとも１つの慣性測定装置（ＩＭＵ）と、少なくとも１つのプロセッサ、及びコンピュータプログラムコードを含む少なくとも１つのメモリを含むコントローラと、を含み、その少なくとも１つのメモリ及びコンピュータプログラムコードは、その少なくとも１つのプロセッサとともに、少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと（但し、第１、第２、及び第３のセンサデータストリームは並行して受信される）、第１、第２、及び第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、ユーザアクションの特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、をコントローラに少なくとも実施させるように構成されている。
【0007】
本発明の第２の態様によれば、ＵＩコマンドを生成する方法が提供され、本方法は、少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと（但し、第１、第２、及び第３のセンサデータストリームは並行して受信される）、第１、第２、及び第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、ユーザアクションの特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、を含む。
【0008】
本発明の第３の態様によれば、コンピュータ可読命令のセットを格納している非一時的コンピュータ可読媒体が提供され、この命令セットは、プロセッサで実行されたときに、第２の態様が実施されること、又はプロセッサを含む装置が第１の態様に従って構成されることを引き起こす。
【図面の簡単な説明】
【0009】
【図1A】乃至
【図1B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例１００の概略図を示す。
【図2A】乃至
【図2D】本発明の実施形態の少なくとも幾つかをサポートすることが可能な、ユーザが身に着ける装置の一例２００の概略図を示す。
【図2E】乃至
【図2G】ユーザが身に着けた装置例２００から出力される例示的データの概略図を示す。
【図3A】乃至
【図3B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例３００及び４００の概略図をそれぞれ示す。
【図4A】乃至
【図4B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例５００及び６００の概略図をそれぞれ示す。
【図5】本発明の実施形態の少なくとも幾つかをサポートすることが可能な一例示的プロセスを示すフローグラフである。
【図6】本発明の実施形態の少なくとも幾つかをサポートすることが可能な一例示的プロセスを示すフローグラフである。
【図7】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例７００の概略図を示す。
【図8A】乃至
【図8B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例８５０の概略図を示す。
【図9】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例９２０の概略図を示す。
【図10A】乃至
【図10B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例９４０の概略図を示す。
【図11】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例９７０の概略図を示す。
【図12】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例９５０の概略図を示す。
【発明を実施するための形態】
【0010】
本明細書では、マルチモーダル生体測定装置及び対応する方法について述べる。本装置及び／又は本方法は、（例えば）測定、検知、信号取得、分析、ユーザインタフェースタスクの少なくともいずれかに使用されてよい。そのような装置は、ユーザが身に着けることに適することが好ましい。ユーザは、本装置を使用して１つ以上のデバイスを制御することが可能である。制御は、ユーザインタフェース（ＵＩ）又はヒューマンマシンインターフェース（ＨＭＩ）の形式であってよい。本装置は、１つ以上のセンサを含んでよい。本装置は、その１つ以上のセンサからのデータに基づいてユーザインタフェースデータを生成するように構成されてよい。ユーザインタフェースデータは、ユーザが本装置又は少なくとも１つの第２の装置を制御することを少なくともある程度可能にする為に使用されてよい。第２の装置は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ、携帯電話、スマートフォン、タブレットデバイス、スマートウオッチ、又は任意のタイプの適切な電子デバイスのうちの少なくとも１つであってよい。制御される又は制御可能な装置は、アプリケーション、ゲーム、及び／又はオペレーティングシステムの少なくともいずれかを実施してよく、これらはいずれも、マルチモーダル装置で制御されてよい。
【0011】
ユーザは、少なくとも１つのユーザアクションを実施してよい。典型的には、ユーザは、制御可能装置に作用するアクションを実施する。ユーザアクションは、例えば、動き、ジェスチャ、オブジェクトとのインタラクション、ユーザの体の一部とのインタラクション、ヌルアクションの少なくともいずれかであってよい。ユーザアクションの一例として「ピンチ」ジェスチャがあり、これは、ユーザが人差し指の先端に親指の先端を接触させるしぐさである。別の例として「サムアップ」ジェスチャがあり、これは、ユーザが親指を伸ばし、他の指を曲げて、親指が上方を向くように手を回すしぐさである。本実施形態は、センサ入力に少なくともある程度基づいて、少なくとも１つのユーザアクションを識別（特定）するように構成されている。ユーザアクションの識別の信頼性が高ければ、アクションに基づく制御が可能になり、例えば、本明細書に開示の実施形態を使用する、アクションに基づく制御が可能になる。
【0012】
ヌルアクションは、ユーザアクションがないこと、及び／又は、ユーザアクションが制御対象の装置又はアプリケーションのアプリケーション状態に作用しないことのうちの少なくとも一方であると理解されてよい。言い換えると、ヌルアクションは、所定のユーザアクションのリスト、ユーザインタフェースコマンドのリスト、及び／又は分類されたジェスチャのセットのうちの少なくともいずれかにある「なし（ｎｏｎｅ）」というエントリに対応する。本装置は、可能性のセットが、セット内の各ジェスチャに対応する可能性／信頼値を有するだけではなく、「なし（ｎｏｎｅ）」に割り当てられた可能性を含むように構成されてよい。例えば、アプリケーションがユーザに「選択を受け入れる場合はピンチ」をするように促し、ユーザがピンチジェスチャを含まない通常の手の動きを実施した場合、本装置はこれらの動きをヌルアクションと見なす。本装置は、そのような状況では、例えば、アプリケーションに何も送信しないように構成されてよい。別の例では、ユーザがリストをスクロールしていて、そのリストに関係のないアクションを実施した場合、その実施されたアクションはヌルアクションと識別されてよい。本装置のイベントインタプリタは、ヌルアクションを識別及び／又は管理するように構成され、この識別及び／又は管理は、任意選択で、アプリケーションから受信されたコンテキスト情報に少なくともある程度基づいて行われる。
【0013】
ユーザアクションは、ユーザアクション特徴及び／又はイベントと呼ばれる少なくとも１つの特徴を含んでよい。そのような特徴は、例えば、時間、位置、空間、生理学、及び／又は運動のいずれかの特徴であってよい。特徴は、ユーザの体の一部（例えば、ユーザの指）のインジケーションを含んでよい。特徴は、ユーザの動きのインジケーションを含んでよい。例えば、特徴は、中指の動きであってよい。別の例では、特徴は、円形の動きであってよい。更に別の例では、特徴は、アクションまでの時間、及び／又はアクションからの時間であってよい。少なくとも幾つかの実施形態では、ユーザアクションの特徴は、例えば、ニューラルネットワークによって、センサデータに少なくともある程度基づいて決定される。
【0014】
少なくとも幾つかの実施形態では、ユーザインタフェース（ＵＩ）コマンドは、ユーザアクションに基づいて生成される。ＵＩコマンドは、例えば、ヒューマンマシンインターフェース（ＨＭＩ）コマンド、ユーザインタフェースインタラクション、及び／又はＨＭＩインタラクションと呼ばれてよい。そのようなコマンドは、ユーザインタフェースアクションを伝達することに使用可能である。例えば、あるユーザインタフェースアクションは、パーソナルコンピュータ上の「エンター」キーに対応してよい。少なくとも幾つかの実施形態では、出力ジェネレータ、例えば、ユーザインタフェースコマンドジェネレータにより、ユーザアクションが所定のユーザインタフェースアクションにマッピングされ、且つ／又は、所定のユーザインタフェースアクションに基づいてユーザインタフェースコマンドが生成される。従って、制御対象デバイスはユーザアクションを理解する必要がなく、ヒューマンインタフェースデバイス（ＨＩＤ）等の標準フォーマットで与えられうるＵＩコマンドがディスクリプタを報告するだけである。ＵＩコマンドは、例えば、ＵＩ命令を含むデータパケット及び／又はフレームを含んでよい。
【0015】
少なくとも幾つかの実施形態では、本装置は、ユーザが身に着けるように構成されたマウント用構成要素を含む。従って、マウント用構成要素はウェアラブル構成要素である。そのような構成要素は、ストラップ、バンド、リストバンド、ブレスレット、グローブのいずれかであってよい。マウント用構成要素は、スマートウオッチ等の別の装置に取り付けられてよく、且つ／又はそのような装置によって形成されてよく、或いは長手袋等のより大きな装置の一部を形成してよい。幾つかの実施形態では、ストラップ、バンド、及び／又はリストバンドは幅が２～５ｃｍであり、好ましくは３～４ｃｍであり、より好ましくは３ｃｍである。
【0016】
本実施形態では、少なくとも１つのセンサによって信号が測定される。このセンサはプロセッサ及びメモリを含んでよく、或いはプロセッサ及びメモリに接続されてよく、プロセッサは、測定が実施されるように構成されてよい。測定は、検知又は検出と呼ばれてよい。測定は、例えば、ユーザ、環境、物理的世界の少なくともいずれかにおける変化を検出することを含む。測定は更に、例えば、検知データに少なくとも１つのタイムスタンプを付けること、その検知データを（その少なくとも１つのタイムスタンプとともに、又はタイムスタンプなしで）送信することを含んでよい。
【0017】
少なくとも幾つかの実施形態は、ユーザの手首の輪郭を測定するように構成されている。手首の輪郭は、手首の周囲の３次元表面輪郭である。これは、橈骨手根関節、尺骨手根関節、及び遠位橈尺関節に隣接する、且つ／又はこれらの関節に近接する外側組織のトポロジのポイントクラウド、メッシュ、又は他の表面表現の少なくともいずれかで定義される。実際には、例えば、手首の輪郭は手首の外側形状である。手首の輪郭は、ユーザの手首領域から測定されてよい。手首領域は、例えば、ユーザの手のひらの下端から、ユーザの手のひらの下端より数センチメートル下までの領域を含んでよい。手首につながっている手でユーザがアクションを実施すると、そのアクションに必要な腱及び／又は筋肉の動きに応じて手首の表面が変形する。言い換えると、手首の輪郭は測定可能な形で変化し、手首の輪郭の状態はユーザアクション特徴に対応する。本実施形態で使用できるセンサデータを提供する為に測定値が（例えば、手首領域から）連続的に取得されてよい。手首の輪郭の測定は、例えば、センサのマトリックスを使用して行われてよく、測定は、例えば、光学式、静電容量式、又は圧電式の近接検知又は輪郭測定検知であってよい。そのようなマトリックスは、手首輪郭センサと呼ばれてよい。複数のセンサを、特にマトリックス形式で使用することには、ユーザの手首の正確な状態が十分な高分解能で分かるという利点がある。各センサは少なくとも１つのデータチャネルを提供でき、好ましい実施形態では手首輪郭センサは少なくとも３２チャネルを提供する。そのマトリックスは、ユーザの手首に置かれてよく、特に手首の手のひら側に置かれてよい。そのように置くことは、例えば、ストラップ、リストバンド、グローブを使用して実施されてよい。
【0018】
少なくとも幾つかの実施形態は、振動信号及び／又は音響信号を測定するように構成されている。そのような信号は、例えば、ユーザから、特にユーザの手首領域から測定されてよい。生体音響センサが、ユーザの内部波及び／又はユーザの皮膚の表面波等の振動を測定するように構成されてよい。そのような振動は、例えば、接触イベントの結果であってよい。接触イベントは、ユーザがオブジェクトに接触すること、及び／又は、ユーザが自分自身及び／又は別のユーザに接触することであってよい。生体音響センサとしては、接触マイクロホンセンサ（ピエゾ接触マイクロホン）、ＭＥＭＳ（微小電子機械システム）マイクロホン、及び／又は振動センサがあってよく、振動センサは、例えば、音響振動している構造物（例えば、ユーザ又はマウント用構成要素）が発生させる加速度を検出する加速度計である。
【0019】
少なくとも幾つかの実施形態は、慣性測定装置（ＩＭＵ）を使用してユーザの位置及び動きを測定するように構成されている。ＩＭＵは、装置の位置情報を提供するように構成されてよい。ＩＭＵは、慣性測定装置センサと呼ばれてよい。ＩＭＵは、多軸加速度計、ジャイロスコープ、磁力計、高度計、気圧計の少なくともいずれかであってよい。ＩＭＵは磁力計を含むことが好ましい。これは、磁力計がＩＭＵにとっての絶対基準を提供する為である。気圧計は、高度計として使用可能であり、ＩＭＵに自由度を追加することが可能である。
【0020】
慣性測定装置センサ、生体音響センサ、及び／又は手首輪郭センサ等のセンサは、センサデータストリームを出力するように構成されてよい。この出力は、装置内で、例えば、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、メモリに対して行われてよい。代替又は追加として、この出力は、外部装置に対して行われてよい。センサデータストリームは、センサで測定された１つ以上のロー信号を含んでよい。更に、センサデータストリームは、同期データ、構成データ、及び／又は識別データの少なくともいずれかを含んでよい。そのようなデータは、例えば、様々なセンサからのデータを比較する為にコントローラによって使用されてよい。
【0021】
実施形態の少なくとも幾つかでは、本装置は、運動感覚フィードバック及び／又は触覚フィードバックを提供する手段を含む。そのようなフィードバックは、例えば、振動を含んでよく、「ハプティックフィードバック」と呼ばれることもある。ハプティックフィードバックを提供する手段は、例えば、アクチュエータ、モータ、ハプティック出力デバイスの少なくともいずれかを含んでよい。全ての実施形態で使用可能な好ましいアクチュエータとして線形共振アクチュエータ（ＬＲＡ）がある。ハプティックフィードバックは、ユーザインタフェースからユーザにフィードバックを与えることによりユーザインタフェースの使い勝手を向上させることに有用でありうる。更に、ハプティックフィードバックは、ユーザインタフェースにおけるイベントや状況変化をユーザにアラートすることが可能である。
【0022】
図１Ａ及び１Ｂは、本発明の少なくとも幾つかの実施形態による装置１００を示す。装置１００は、ユーザの動き及び／又はアクションを検知すること、及び、ユーザインタフェースデバイス及び／又はＨＭＩデバイスとして動作することに適しうる。装置１００はマウント用構成要素１０１を含み、これは、図１Ａではストラップの形態で示されている。
【0023】
装置１００は更に、コントローラ１０２を含む。コントローラ１０２は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを含む。コントローラは、少なくとも、センサ１０３、１０４、及び１０５からの並行センサデータストリームを受信するように構成されてよい。コントローラは、それらのセンサデータストリームの少なくともいずれかに対する処理を実施するように構成されてよく、この処理は、本文書の別の場所に開示の前処理を含んでよい。コントローラは、センサから受信したセンサデータストリームを処理するように構成されてよい。コントローラは、処理されたセンサデータストリームの特性に基づいて、少なくとも１つのユーザインタフェース（ＵＩ）イベント及び／又はコマンドを生成するように構成されてよい。更に、コントローラはモデルを含んでよく、モデルは少なくとも１つのニューラルネットワークを含んでよい。
【0024】
装置１００は更に、慣性測定装置（ＩＭＵ）１０３を含む。ＩＭＵ１０３は、センサデータストリームを（例えば、コントローラ１０２に）送信するように構成されている。これらのセンサデータストリームは、例えば、多軸加速度計データ、ジャイロスコープデータ、及び／又は磁力計データの少なくともいずれかを含む。装置１００の構成要素のうちの１つ以上が一緒にされてよく、例えば、ＩＭＵ１０３とコントローラ１０２が同じＰＣＢ（プリント回路基板）上にあってよい。ＩＭＵデータの変化は、例えば、ユーザによる動き及び／又はアクションを反映し、従って、そのような動き及び／又はアクションは、ＩＭＵデータを使用して検出されることが可能である。
【0025】
装置１００は更に生体音響センサ１０５を含み、これは、図１Ａでは接触マイクロホンの形態で示されている。センサ１０５は、センサデータストリームを（例えば、コントローラ１０２に）送信するように構成されている。このセンサデータストリームは、例えば、単一チャネルオーディオ波形、又は多チャネルオーディオ波形を含む。マウント用構成要素に対するセンサ１０５の配置は、信号品質（音響インピーダンスの低減）及びユーザの着け心地に関して最適化されてよい。センサ１０５は、ユーザとの接触が安定するように構成されている。これは、接触が安定しないと信号中に大きなアーチファクトが発生する可能性がある為である。生体音響データの変化は、例えば、ユーザによる動き及び／又はアクションを反映し、従って、そのような動き及び／又はアクションは、生体音響データを使用して検出されることが可能である。
【0026】
少なくとも１つのマイクロホンは、マウント用構成要素１０１の背面にマウントされてよい。他のセンサ（ＩＭＵ等）は、マウント用構成要素１０１の、マイクロホンと反対側にマウントされてよい。例えば、マイクロホン１０５は、マウント用構成要素１０１の内側円周上にマウントされてよく、ＩＭＵは、マウント用構成要素１０１の外側円周上にマウントされてよい。更に、手首輪郭センサも、マウント用構成要素１０１の内側円周上にマウントされてよい。少なくとも１つのマイクロホンは、ユーザが本装置を身に着けたときに皮膚に接触するように構成されてよい。
【0027】
装置１００は更に手首輪郭センサ１０４を含み、これは、図１Ａでは輪郭測定センサのマトリックスを含む。それらのセンサは、例えば、近接センサ、光学センサであってよい。輪郭測定センサは、センサからユーザの皮膚までの距離を測定するように構成されてよい。言い換えると、各輪郭測定センサは、それぞれがユーザの手首の表面に近接しているかどうかを検出するように構成されている。ユーザが実施するアクションは、予測可能な形で手首輪郭に影響を及ぼし、これが、各輪郭測定センサとの間の距離に影響を及ぼす。従って、複数の輪郭測定センサからのデータを使用して、ユーザの手首輪郭を検知することが可能である。手首輪郭の状態はアクション（例えば、特定の指の動き）に対応する為、そのようなアクションを、手首輪郭センサデータに基づいて検出することが可能である。更に、手首輪郭の変化も検知可能である。センサ１０４は、センサデータストリームを（例えば、コントローラ１０２に）送信するように構成されている。このセンサデータストリームは、所与の時点での所与の輪郭に対応する輪郭測定の読み取り値のセットを含む。読み取り値のセットは、例えば、フォトトランジスタのベース電流の変化のセットを含んでよく、これらは、デジタルレオスタットにより電圧の読み取り値に変換される。この電圧は、ＡＤＣ（アナログデジタル変換器）チップによりサンプリングされてよい。適切なサンプリングレート（間隔）は１～１０００ｍｓ、好ましくは１０ｍｓである。
【0028】
図１Ｂは、装置１００の一例示的構成を示す。図は、マウント用構成要素１０１と、センサ１０６のマトリックスを含む手首輪郭センサ１０４とを示している。図では、センサ１０６は光学センサとして示されている。図１Ｂのマトリックスは、３行８列の一例示的３×８マトリックスである。マトリックスは、本装置での使用には１～１０行及び１～１０列が好適である。マトリックスの行間及び列間の間隔は、約２ミリメートルから約１０ミリメートルであってよい。好ましくは、４×８マトリックス等のマトリックスが使用されてよく、特に、手のひら側が４ミリメートル間隔の４×８マトリックスが使用されてよい。センサ１０６は、互いに対して直線状、放射状、又は非対称のパターンで分散していてよい。
【0029】
例えば、センサ１０６は、赤外線ベースの近接センサ、レーザベースの近接センサ、電子画像センサベースの近接センサ、超音波ベースの近接センサ、容量性近接センサ、レーダベースの近接センサ、加速度計ベースの近接センサ、圧電気ベースの近接センサ、及び／又は圧力ベースの近接センサのうちの１つ以上であってよい。一例として、赤外線ベースの近接センサは、赤外光放射器として動作する赤外線発光ダイオード（ＬＥＤ）と、赤外光受光器として動作するフォトトランジスタのペアを含んでよい。そのようなアクティブ赤外線ベースの近接センサは、数ミリメートル以内の近距離で前方にあるオブジェクトとの距離を間接的に検出することが可能であり、この検出は、ＬＥＤにより前方を赤外光で放射状に照らし、どれだけの光が反射して戻るかをフォトトランジスタで検知することによって行われる。実践上は、反射して戻る光が多いほど、フォトトランジスタが通す電流が多くなる。フォトトランジスタのこの性質が、抵抗器と直列に使用されてよく、それによって、例えば、フォトトランジスタの入射光を高精度で測定することに使用可能な分圧器回路が形成される。例えば、手首の皮膚の近接度の測定の分解能は、０．１ミリメートルもの細かさでありうる。少なくとも幾つかの実施形態では、手首輪郭センサは、赤外線ベースの近接センサに加えて他のタイプのセンサを含んでよく、これは、例えば、赤外線ベースの近接センサのロバストネス及び／又は正確さを高める為である。
【0030】
図２Ａは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置２００を示す。装置２００は、装置１００と同様である。図示の装置２００は、ユーザの手２９９に装着されている。装置２００は、マウント用構成要素２０１でユーザの手首に装着される。バンド２０１上に突起２９８が示されており、突起２９８は、装置２００の全ての構成要素を収容してよく、又はその全ての構成要素に取り付けられてよい。
【0031】
図２Ｂは、装置２００の例示的測定領域と本明細書に開示の他の装置とを示す。図２Ｂでは、生体音響測定領域２９５、ＩＭＵ２９６、及び手首輪郭測定領域２９７が、ユーザの手２９９との関連で示されている。手首輪郭測定領域２９７はグリッドの形態で示されており、グリッドの各点は、輪郭測定センサ（例えばセンサ１０６）の位置であり、グリッドの輪郭は、測定された手首輪郭である。
【0032】
図２Ｃ及び２Ｄは、ユーザの一例示的手首輪郭を示す。図の左側では、ユーザ２９９がデバイス２００を装着している様子が示されている。図の右側には、ユーザ２９９の手首輪郭２９４が示されている。図２Ｃでは、ユーザの手は第１の手ポーズをとっており、これはその図に示されている手首輪郭に対応する。図２Ｄでは、ユーザの手は第２の手ポーズをとっており、これはその図に示されている手首輪郭に対応する。これらのポーズの違いは、図２Ｃと図２Ｄの手首輪郭に見られる違いに対応する。
【0033】
図２Ｅは、測定された手首輪郭データに基づく、ユーザの人差し指の動きに対応する一例示的トポロジシーケンスを示す。この例示的シーケンスは、１秒おきに取得された測定データに基づく５つのトポロジを含み、これは、ユーザの指の動きに対応する輪郭の変化を反映している。この例示的シーケンスは、手首輪郭センサから得られたシーケンシャルデータセット、並びにそれらのデータセットから決定可能な手首輪郭の変化を示している。この図に見られるように、各輪郭測定センサからのデータは３次元座標で表される。これらのセンサは全体で座標のセットを表しており、これらをつなぎ合わせると輪郭になる。その輪郭を前の輪郭状態と比較することにより、輪郭の変形や変化が分かる。デルタ符号化により、前のデータセットからの変化だけを送信することが可能である。本実施形態では、トポロジは必ずしも計算されない。例えば、輪郭を表す測定されたデータ点（例えば、３２個の点）がセンサデータセットとして畳み込みニューラルネットワークに入力されてよく、畳み込みニューラルネットワークは、ユーアクション特徴を出力するようにトレーニングされている。
【0034】
図２Ｆは、生体音響測定の一例示的データセットを示す。一例示的信号の過渡的特徴が可視化されている。このグラフでは、Ｘ軸は経過時間を表し、Ｙ軸は大きさ（例えば電圧）を表す。図中の点線のボックスは、可視化の為にのみ示されており、関心領域をハイライトするものである。この例示的関心領域内で過渡的特徴が見られる。そのような特徴は、例えば、ユーザのピンチアクションに対応しうる。幾つかの実施形態では、図示の信号は前処理されてよく、例えば、高速フーリエ変換（ＦＦＴ）で前処理されてよい。
【0035】
図２Ｇは、典型的な手の動きの間のＩＭＵの一例示的データセットを示す。この例示的データセットでは、方位データが四元数として符号化されている。このデータ形式は、１つのスカラ成分と３つのベクトル成分とで構成される。スカラ成分は回転角度を符号化し、３つのベクトル成分は、基本四元数と呼ばれ、回転軸の方向を３次元空間に符号化する。信号８０１は、スカラ成分の係数に対応する。信号８０２、８０３、８０４は、３つの基本四元数の係数に対応する。このグラフでは、Ｘ軸は時間であり、Ｙ軸は係数の大きさである。幾つかの実施形態では、手首四元数を使用して、（例えば、ユーザの頭部にマウントされた）別のＩＭＵで測定された四元数に対して相対的な３次元回転を計算することが可能である。
【0036】
図３Ａ及び３Ｂは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置３００及び４００を示す。これらの装置は、特に断らない限り、装置１００及び２００と同じである。
【0037】
図３Ａには、装置３００の一例示的概略図が示されている。装置３００は、ＩＭＵ３０３、手首輪郭センサ３０４、生体音響センサ３０５、及びコントローラ３０２を含む。コントローラ３０２は、図中では点線で表されている。図示のように、コントローラ３０２は（例えば、コントローラのメモリ内に）少なくともモデル３５０、３３０、及び３７０を含んでよい。コントローラ３０２は、イベントインタプリタ３８０を含んでよい。コントローラ３０２は、出力ジェネレータ３９０を含んでよい。
【0038】
センサ３０３、３０４、及び３０５は、それぞれがセンサデータストリームを送信するように構成されており、例えば、センサデータストリーム３１３、３１４、及び３１５をそれぞれ送信するように構成されている。センサデータストリームはコントローラ３０２によって受信されてよい。
【0039】
コントローラ３０２内では、受信されたセンサデータストリームが少なくとも１つのモデル（例えば、モデル３５０、３３０、３７０）に送られる。モデル３５０、３３０、３７０等のモデルはニューラルネットワークを含んでよい。ニューラルネットワークは、例えば、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク、又はリカレントニューラルネットワーク、或いはグラフニューラルネットワークであってよい。ニューラルネットワークは、分類器及び／又は回帰を含んでよい。ニューラルネットワークは、教師あり学習アルゴリズムを適用してよい。教師あり学習では、既知の出力を伴う入力のサンプルが使用され、ネットワークは、これらを学習して一般化する。代替として、モデルは、教師なし学習アルゴリズム又は強化学習アルゴリズムを使用して構築されてよい。幾つかの実施形態では、ニューラルネットワークは、特定の信号特性が特定のユーザアクション特徴に対応するようにトレーニングされてきた。例えば、ニューラルネットワークは、特定の手首輪郭を、特定の指（例えば、図２Ｃ～２Ｅで例示された中指）に関連付けられたユーザアクション特徴に関連付けるようにトレーニングされてよい。ニューラルネットワークは、出力されるユーザアクション特徴の信頼水準を提示するようにトレーニングされてよい。
【0040】
モデルは、アルゴリズム、ヒューリスティクス、及び／又は数学モデルの少なくともいずれかを含んでよい。例えば、ＩＭＵモデル３３０は、方位を計算するアルゴリズムを含んでよい。ＩＭＵは、三軸加速度計、ジャイロスコープ、及び磁力計のデータを出力してよい。特定のセンサの固有の非理想的な挙動（例えば、ドリフトやノイズ）の影響を低減する為に、センサフュージョン方式が採用されてよい。センサフュージョンは、相補フィルタ、カルマンフィルタ、又はＭａｈｏｎｙ ＆ Ｍａｄｇｗｉｃｋ方位フィルタの使用を含んでよい。そのようなモデルは更に、本明細書に開示のニューラルネットワークを含んでよい。
【0041】
モデルは、例えば、入力データ（例えば、センサから受信された信号、及び／又は前処理されたデータ）に対して推論を実施する少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）を含んでよい。畳み込みは、空間又は時間の次元で実施されてよい。（ＣＮＮにフィードされたセンサデータから計算された）特徴が、アルゴリズム又は手動で選択されてよい。モデルは別のＲＮＮ（リカレントニューラルネットワーク）を含んでよく、これは、ユーザアクティビティを反映するセンサデータに基づくユーザアクション特徴の識別をサポートする為にニューラルネットワークと併用されてよい。
【0042】
本開示によれば、モデルのトレーニングは、例えば、複数の対象物からのマルチモーダル生体測定データを含むラベル付きデータセットを使用して実施されてよい。このデータセットは、合成されたデータを使用して増強及び拡張されてよい。モデルを構成するコンピュータ演算のシーケンスは、採用されるモデル構築手法に応じて、バックプロパゲーション、マルコフ決定過程、モンテカルロ法、又は他の統計的方法により導出されてよい。モデル構築は、次元削減手法及びクラスタリング手法を含んでよい。
【0043】
上述のモデル３３０、３５０、及び３７０は、それぞれが、受信されたセンサデータストリームに基づいてユーザアクション特徴の信頼水準を出力するように構成されている。信頼水準は、１つ以上の個々のユーザアクション特徴に関連付けられたパーセント値の形で示される１つ以上の可能性を含んでよい。信頼水準は、ニューラルネットワークの出力層を含んでよい。信頼水準は、ベクトル形式で表現されてよい。そのようなベクトルは、コントローラに知られている各ユーザアクション特徴の可能性の値で埋められた１×ｎベクトルを含んでよい。例えば、生体音響センサデータストリームを受信するモデル３１５は、短時間の大振幅部分を有する信号を含むデータストリームを受信しうる。モデル３１５は、信号のその部分を、「タップ」ユーザアクション特徴（ユーザが何かをタップした）であると、９０％の信頼水準で解釈しうる。
【0044】
それらのモデルのうちの少なくとも１つから出力された少なくとも１つのユーザアクション特徴及び／又は関連付けられた信頼水準は、イベントインタプリタ３８０によって受信される。イベントインタプリタは、その受信された少なくとも１つのユーザアクション特徴に少なくともある程度基づいて、その受信された少なくとも１つのユーザアクション特徴及び／又は関連付けられた信頼水準に対応するユーザアクション（特定されたユーザアクション）を特定するように構成されている。例えば、「タップ」ユーザアクション特徴が発生した可能性が高いことを１つのモデルが示していて、ユーザの人差し指が動いた可能性が高いことを別のモデルが示していれば、イベントインタプリタは、「人差し指でタップ」ユーザアクションが発生したと結論づける。
【0045】
イベントインタプリタは、ユーザアクション特徴とそれぞれの信頼水準のリスト及び／又はセットを含む。少なくともその必要な信頼水準に適合する可能性がモデルから受信された時点でユーザアクション特徴が特定される。競合が発生した場合には、例えば、示された可能性が最も高いユーザアクション特徴が、イベントインタプリタによって選択されてよい（ａｒｇｍａｘ関数）。イベントインタプリタ３８０は、例えば、ルールベースシステム、推論エンジン、ナレッジベース、ルックアップテーブル、予測アルゴリズム、決定木、ヒューリスティックの少なくともいずれかを含んでよい。例えば、イベントインタプリタは、推論エンジン及びナレッジベースを含んでよい。推論エンジンは可能性セットを出力する。これらのセットは、ＩＦ－ＴＨＥＮ文を含んでよいイベントインタプリタによって処理される。例えば、（ＩＦ）ユーザアクション特徴が特定の指に関係する場合、（ＴＨＥＮ）その指はユーザアクションの一部である。イベントインタプリタは又、コンテキスト情報を組み込んでよく、且つ／又は利用してよく、これは、例えば、別の装置又は別の装置のアプリケーションからのコンテキスト情報３０８（例えば、ゲームやメニューの状態）である。このタイプのインタプリタを使用することには、特定精度が高くなるという利点がある。これは、アプリケーションに与えられる入力（例えば、ユーザインタフェースコマンド）が手首センサ推論だけに基づくものではないからである。コンテキスト情報は、制御可能装置に対するユーザの状態にアクセスできることが重要でありうる、視線追跡のようなＸＲ技術において有用である。
【0046】
イベントインタプリタ３８０は、任意選択のコンテキスト情報３０８を受信するように構成されてよい。そのような情報として、アプリケーション状態、コンテキスト、及び／又は、インタラクションされているアプリケーション及び／又はデバイスのゲーム状態があってよい。コンテキスト情報３０８は、イベントインタプリタが、ユーザアクション又はユーザアクション特徴の可能性閾値を調節する為に使用してよい。例えば、アプリケーションがユーザに対して、確認の為に「ピンチ」を行うことを促す場合には、モデルが出力する、ピンチアクションが発生していることの信頼水準が低くてもピンチアクションが検出されるように、対応する「ピンチ」閾値が下げられてよい。そのような調節は、特定のアプリケーション状態、コンテキスト、及び／又は、インタラクションされているアプリケーション及び／又はデバイスのゲーム状態に関連付けられてよい。アプリケーション状態は、制御可能装置で動作しているアプリケーションの状態に対応し、例えば、変数、静的変数、オブジェクト、レジスタ、オープンファイルディスクリプタ、オープンネットワークソケット、及び／又はカーネルバッファのうちの少なくともいずれかを含んでよい。
【0047】
イベントインタプリタ３８０から出力される少なくとも１つのユーザアクションは、出力ジェネレータ３９０によって受信される。出力ジェネレータ３９０は、所定のユーザアクションのリスト及び／又はセット、ユーザインタフェースコマンドのリスト及び／又はセット、分類されたジェスチャのセット、及び／又は、少なくとも１つの所定のユーザアクションを少なくとも１つのユーザインタフェースコマンドにリンクする関係情報のうちの少なくともいずれかを含むマッピング情報を含む。そのようなリンクは、一対一、多対一、一対多、又は多対多であってよい。従って、所定のアクションである「サムアップ」は、例えば、ユーザインタフェースコマンドの「エンター」にリンクされてよい。別の例では、所定のアクションである「タップ」及び「ダブルタップ」はユーザインタフェースコマンドの「エスケープ」にリンクされてよい。出力ジェネレータ３９０は、ユーザアクションを所定のユーザインタフェースアクションにマッピングし、受信されたユーザアクションに少なくともある程度基づいてユーザインタフェースコマンド３０７を生成するように構成されている。このマッピングは、マッピング情報を使用して行われる。コントローラ３０２は、ユーザインタフェースコマンド３０７を装置に送信するように、且つ／又は、ユーザインタフェースコマンド３０７をコントローラ３０２のメモリに格納するように構成されてよい。
【0048】
装置３００の動作の一例を以下に示す。ユーザは、装置３００を手に載せて使用している。このユーザはアクションを実施し、アクションは、手首を外転させること、及び中指で親指を２回続けてタップすることを含む。装置３００のセンサは、アクション中にデータの出力を以下のように行う。
・ＩＭＵセンサ３０３は、ＩＭＵ（従って、装置３００）の方位、及び加速度データを反映するデータストリーム３１３を出力する。
・手首輪郭センサ３０４は、ユーザの手首領域内の腱及び／又は筋肉の動きを反映するデータストリーム３１４を出力する。
・生体音響センサ３０５は、ユーザの手首領域内の振動を反映するデータストリーム３１５を出力する。
データストリーム３１３、３１４、及び３１５は、それぞれ、モデル３３０、３５０、及び３７０によって受信される。モデル３３０では、ＩＭＵセンサデータがモデルによって使用されて、信頼水準が６８％のユーザアクション特徴「手首外転」がイベントインタプリタ３８０に渡される。モデル３０４では、手首輪郭データがモデルによって使用されて、信頼水準がそれぞれ６１％及び８２％である２つのユーザアクション特徴「中指の動き」がイベントインタプリタ３８０に渡される。モデル３０５では、生体音響データがモデルによって使用されて、信頼水準がそれぞれ９１％及び７７％である２つのユーザアクション特徴「タップ」がイベントインタプリタ３８０に渡される。
・ＩＭＵセンサ３０３は、ＩＭＵ（従って、装置３００）の方位、及び加速度データを反映するデータストリーム３１３を出力する。
・手首輪郭センサ３０４は、ユーザの手首領域内の腱及び／又は筋肉の動きを反映するデータストリーム３１４を出力する。
・生体音響センサ３０５は、ユーザの手首領域内の振動を反映するデータストリーム３１５を出力する。
データストリーム３１３、３１４、及び３１５は、それぞれ、モデル３３０、３５０、及び３７０によって受信される。モデル３３０では、ＩＭＵセンサデータがモデルによって使用されて、信頼水準が６８％のユーザアクション特徴「手首外転」がイベントインタプリタ３８０に渡される。モデル３０４では、手首輪郭データがモデルによって使用されて、信頼水準がそれぞれ６１％及び８２％である２つのユーザアクション特徴「中指の動き」がイベントインタプリタ３８０に渡される。モデル３０５では、生体音響データがモデルによって使用されて、信頼水準がそれぞれ９１％及び７７％である２つのユーザアクション特徴「タップ」がイベントインタプリタ３８０に渡される。
【0049】
従って、イベントインタプリタ３８０は、ユーザアクション特徴「手首外転」、「中指の動き」（２回）、及び「タップ」（２回）、並びにそれぞれの信頼水準を受信する。 イベントインタプリタは、それらのユーザアクション特徴の閾値が満たされたと判定する。この判定は、任意選択でコンテキストデータ３０８を処理に利用して（例えば、データ３０８に基づいて閾値を調節することによって）行われる。このようにして、イベントインタプリタ３８０は、イベントインタプリタ内のＩＦ－ＴＨＥＮ規則に基づいて、「手首を外転」及び「中指でダブルタップ」というユーザアクションを生成する。これらのユーザアクションは、出力ジェネレータ３９０によって受信される。出力ジェネレータは、マッピング情報を使用して、どのユーザアクションがどのコマンドにリンクするかを判断して、適切なユーザインタフェースコマンドを生成する。この例では、「手首外転」は「シフト」にマッピングされ、「中指でダブルタップ」は「ダブルクリック」にマッピングされる。このようにして、出力ジェネレータ３９０は、「シフト」＋「ダブルクリック」を含むユーザインタフェースコマンド３０７を生成し、このコマンドはパーソナルコンピュータ等の装置に送信される。この例では、パーソナルコンピュータコンピュータは、センサデータでもユーザアクションでもない標準的なユーザインタフェースコマンドを受信する為、装置３００は、パーソナルコンピュータを事前にプログラムすることなく使用可能である。
【0050】
図３Ｂには、装置４００の一例示的概略図が示されている。装置４００は装置３００と同様であるが、異なる点として、装置４００は、データストリーム４１３、４１４、及び４１５を１つのモデル４３５に送る。モデル４３５は、モデル３３０、３５０、３７０と同様に、少なくとも１つのニューラルネットワークを含んでよい。そのようなモデルは、入力データ（例えば、センサから受信された信号、及び／又は前処理されたデータ）に対して推論を実施するように構成されている。そのモデルは、入力データに基づいて、少なくとも１つの特定されたユーザアクション特徴及び／又はそれぞれの信頼水準を出力するように構成されている。使用するモデルが１つであることの利点は、必要な記憶装置が少なくなることである。
【0051】
図４Ａ及び４Ｂは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置５００及び６００を示す。これらの装置は、特に断らない限り、装置１００、２００、３００、及び４００と同じである。
【0052】
図４Ａには、装置５００の一例示的概略図が示されている。図示のように、コントローラ５０２は（例えば、コントローラのメモリ内に）前処理シーケンス５２０、５４０、及び５６０を含んでよい。前処理シーケンス５２０、５４０、及び５６０は、センサからの信号（例えば、信号５１３、５１４、及び５１５）を受信するように構成されている。前処理シーケンス５２０、５４０、及び５６０は、受信された信号に対して前処理を実施し、前処理済み信号をモデルに送るように構成されている。前処理済み信号は、準備済みデータ又は準備済み信号と呼ばれてよい。前処理は、例えば、データクレンジング、特徴量変換、特徴量エンジニアリング、及び特徴量選択の少なくともいずれかを含んでよい。
【0053】
前処理シーケンス５２０、５４０、及び５６０は、（例えば、本明細書で既に説明されたセンサフュージョンを実施する為に）互いに通信するように構成されてよい。この任意選択の通信は、図４ではシーケンス同士をつなぐ点線矢印で示されており、あるシーケンスの前処理パラメータを、別のシーケンス内にある情報に基づいて調節することを含んでよい。この情報は、例えば、パラメータ値、サンプリング値、及び／又は信号値の少なくともいずれかであってよい。更に、前処理パラメータは、コンテキスト情報５０８等のコンテキスト情報に基づいて調節されてよい。例えば、センサデータのサンプリングレートは、アプリケーション状態に応じて調節されてよい。別の例では、ＩＭＵデータが動きのないことを示している場合には、より精密な動きが検出されるように、手首輪郭のサンプリング範囲が狭められてよい。少なくとも１つのシーケンスが、別のシーケンスにデータを伝達するように構成されてよく、少なくとも１つのシーケンスが、別のシーケンスからデータを受信するように構成されてよい。例えば、あるシーケンスがフィルタを含む場合には、フィルタパラメータを調節する為に、別のシーケンスからのデータが使用されてよい。別の例では、ユーザによる装置の装着が緩いことをＩＭＵが示している場合には、この情報を使用して、手首輪郭センサの前処理シーケンスの調節が行われてよい。前処理シーケンス通信の利点は、モデルへの入力がより正確になることであり、これは、フィルタ特性が向上し、それが正確さの向上につながる為である。更に、通信によって、ユーザの生態及び動きへの適応の向上が可能になり、これもやはり、フィルタ特性の向上、並びにセンサ間の相互参照可能性の向上による。又、ユーザ間並びに動きアーチファクト間の人体測定学的ばらつきに関しても適応が向上する。
【0054】
図４Ｂには、装置６００の一例示的概略図が示されている。装置６００は、コントローラ６０２及び制御可能装置６６０を含む。装置６００では、信号６１３、６１４、及び６１５の前処理は、コントローラ６０２内のシーケンス６２５で行われる。装置６００では、シーケンス６２５から出力される前処理済みデータは、コントローラ６０２内でモデル６３５が使用する。シーケンス６２５は、シーケンス５２０、５４０、及び５６０と同様に機能するように構成されている。更に、シーケンス６２５では、（例えば、サブサンプリング、量子化、相補フィルタ、及び／又はカルマンフィルタによる）前処理の後にデータが結合されてよい。モデル６３５は、モデル４３５と同様である。シーケンス６２５及び／又はイベントインタプリタ６８０は、任意選択のコンテキストデータ６０８を使用するように構成されてよい。データ６０８は、データ３０８、４０８、及び５０８と同様である。コンテキストデータ６０８は双方向性でもある。即ち、このデータは、装置６６０のアプリケーション状態、前処理状態６２５のデータ、及び／又はイベントインタプリタ６８０のデータの少なくともいずれかに基づいて変化しうる。装置６００は、イベント解釈及びＵＩコマンド生成が装置６６０内で行われるように構成されている。
【0055】
少なくとも幾つかの実施形態では、例えば、モデル４３５、６３５と同様の単一モデルが、（シーケンス間通信を含む）５２０、５４０、５６０と同様の複数の前処理シーケンスとともに使用されるように、装置３００、４００、５００、６００と同様の装置が構成されてよい。少なくとも幾つかの実施形態では、例えば、シーケンス６２５と同様の単一前処理シーケンスが、モデル３３０、３５０、３７０と同様の複数のモデルとともに使用されてよいように、装置３００、４００、５００、６００と同様の装置が構成されてよい。
【0056】
図５は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な一例示的プロセスをフローチャート形式で示す。図５の上部には、（例えば、センサ１０４、３０４、４０４、５０４、６０４と同様の）手首輪郭センサ、（例えば、センサ１０５、３０５、４０５、５０５、６０５と同様の）生体音響センサ、及び（例えば、１０３、３０３、４０３、５０３、６０３と同様の）ＩＭＵが示されている。フローチャートの各アクション及び各ステップは、装置（例えば、コントローラ等の、本明細書に開示の装置）によって少なくともある程度実施されてよい。少なくとも幾つかのアクション（例えば、コンテキスト情報を出力するアクション）は、別の装置（例えば、制御可能システム等）によって実施されてよい。
【0057】
図５のフローチャートは、例示的であって非限定的なステップ９０１、９０２、９０３を含む。これらのステップは、図３Ａ、３Ｂ、及び４Ａ、４Ｂに示されたプロセスと同様のプロセスがフローチャートではどのように表されるかを示す為にのみ与えられている。図５に示すように、各アクションは必ずしも１つのステップに収まらなくてもよい。更に、ステップ９０１、９０２、９０３内の各アクションは、並行して実施されなくてもよい。
【0058】
ステップ９０１は、センサの調節を含む。そのような調節は自己参照式であってよい。例えば、センサは、記憶されている基準値又は既知の良好な値（例えば、ＩＭＵの場合の磁北）に従って調節又は較正される。追加又は代替として、調節はコンテキスト的であってよく、生体音響センサの利得は、周囲の騒音レベルに応じて調節される。
【0059】
生体音響センサの場合は、フローチャートに見られるように、任意選択で、バンドパスフィルタが実装されてよい。そのようなフィルタは、帯域幅を、関心対象アクティビティが発生する領域のみに狭めることに役立ちうる。このように帯域幅を狭めることにより、信号対ノイズ比が向上し、後続の処理ステップに対するデータペイロードのサイズが小さくなる。
【0060】
フローチャートに見られるように、サンプル（センサデータ）の取得後、取得されたセンサデータが前処理される。ステップ９０２は、前処理を含み、図４Ａのブロック５２０、５４０、及び５６０、並びに図４Ｂのブロック６２５に対応する。
【0061】
フローチャートに見られるように、前処理後、前処理されたデータはステップ９０３で各モデルに入力される。フローチャートでは、（図３Ａ及び４Ａと同様に）各センサはそれぞれのモデルを有するが、（図３Ｂ及び４Ｂと同様に）単一モデルによるソリューションも使用可能である。フローチャートのそれらのモデルは、モデル３３０、５３０、３５０、５５０、３７０、５７０と同様である。フローチャートでは、前処理済みＩＭＵデータは、ＩＭＵの方位（従って、ユーザの手の方位）を（例えば、ニューラルネットワークなしで）直接計算する為に使用される。そのような計算は、例えば、上述の四元数の議論に対応する。
【0062】
更に、ステップ９０３で、モデルは、ユーザアクション特徴に対応する正規化推論出力を出力する。「正規化」は、このコンテキストでは、所与の推論の信頼値の総和を合計で１にすることを意味する。ＩＭＵデータの場合、出力は、ＩＭＵセンサの方位を反映する四元数である。ユーザアクション特徴に対応する出力データが、（インタプリタ３８０、４８０、５８０、６８０と同様の）イベントインタプリタに渡される。
【0063】
アプリケーション状態を反映する任意選択のコンテキスト情報も同様に、イベントインタプリタに渡されてよい。このコンテキスト情報は、情報３０８、４０８、５０８、６０８と同様である。フローチャートに見られるように、このコンテキスト情報は、代替又は追加として、ステップ９０１及び／又は９０２の少なくとも一方にも渡されてよく、この渡すことは、任意選択であり、調節ブロック及び／又は前処理ブロックのうちの幾つかにのみ渡すことを含んでよく、例えば、調節ブロック及び／又は前処理ブロックのうちの少なくとも１つに渡すことを含んでよい。
【0064】
イベントインタプリタはユーザ入力を特定し、特定されたユーザ入力は、（例えば、ＵＩコマンド３０７、４０７、５０７、６０７のフォーマットに相当するフォーマットで）制御対象アプリケーションに渡される。そのアプリケーションは、別の装置又はネットワーク接続されたデバイスで実行されてよい。
【0065】
図６は、本明細書に開示の実施形態のうちの少なくとも幾つかを反映する簡略化されたフローチャートを示す。この図では、人工ニューラルネットワーク（ＡＮＮ）８６１及び８６２が、簡略化されたグラフィカル表現で示されている。例えば、モデル３３０、５３０、３５０、５５０、３７０、５７０はそのようなニューラルネットワークを含んでよい。そのようなモデルは、信頼範囲を、図示のようにベクトル形式で（ベクトル８６４、８６５）出力するように構成されてよい。そのようなベクトルは、コントローラに知られている各ユーザアクション特徴の可能性の値で埋められた１×ｎベクトルを含んでよい。例えば、モデル８６１は、指分類器モデルを含んでよい。例えば、モデル８６２は、過渡検出器モデルを含んでよい。
【0066】
図に見られるように、ＩＭＵデータに関しては、（要素８６４によってグラフィカルに表現されている）モデル内で四元数が計算されてよく、そのモデルから四元数方位データ（８６６）が出力されてよい。
【0067】
図６に見られるように、出力８６４、８６５、及び８６６は、イベントインタプリタ８６８（ここでは簡略化されたブロックで示されている）に渡される。イベントインタプリタ８６８は、インタプリタ３８０、４８０、５８０、６８０と同様であってよい。イベントインタプリタ８６８は、任意選択で、制御可能アプリケーション８７０からコンテキスト情報８６９を受信するように構成されてよい。コンテキスト情報８６９は、情報３０８、４０８、５０８、６０８と同様である。制御可能アプリケーション８７０は、ユーザ空間を含んでよい。
【0068】
図７は、本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置７００を示す。
【0069】
装置７００はコントローラ７０２を含む。コントローラは、少なくとも１つのプロセッサと、コンピュータプログラムコード及び任意選択でデータを含む少なくとも１つのメモリと、を含む。コントローラ７００は更に、通信装置又はインタフェースを含んでよい。そのような装置は、例えば、無線及び／又は有線の送受信器を含んでよい。装置７００は更に、コントローラに作用的に接続されたセンサ（例えば、センサ７０３、７０４、７０５）を含んでよい。これらのセンサは、例えば、ＩＭＵ、生体音響センサ、手首輪郭センサの少なくともいずれかを含んでよい。装置７００は又、図７に示されていない他の要素も含んでよい。
【0070】
装置７００は、１つのプロセッサを含むように示されているが、２つ以上のプロセッサを含んでもよい。一実施形態では、メモリは命令を格納することが可能であり、例えば、オペレーティングシステム、各種アプリケーション、モデル、ニューラルネットワーク、及び／又は前処理シーケンスの少なくともいずれかを格納することが可能である。更に、メモリは、（例えば、本開示の実施形態において使用される情報及びデータの少なくとも一部を格納することに使用されてよい）記憶装置を含んでよい。
【0071】
更に、プロセッサは、格納されている命令を実行することが可能である。一実施形態では、プロセッサは、マルチコアプロセッサとして、又はシングルコアプロセッサとして、又は１つ以上のマルチコアプロセッサと１つ以上のシングルコアプロセッサの組み合わせとして実施されてよい。例えば、プロセッサは、様々な処理デバイスのうちの１つ以上として実施されてよく、そのような処理デバイスとして、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、ＤＳＰを伴う又は伴わない処理回路、又は他の様々な処理デバイスがあり、他の様々な処理デバイスは、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロコントローラユニット（ＭＣＵ）、ハードウェアアクセラレータ、専用コンピュータチップ、その他の集積回路を含む。一実施形態では、プロセッサは、ハードコードされた機能を実行するように構成されてよい。一実施形態では、プロセッサは、ソフトウェア命令の実行器として実施され、それらの命令は、実行されたときに、プロセッサが本明細書に記載のモデル、シーケンス、アルゴリズム、及び／又は操作のうちの少なくともいずれかを実施するように、プロセッサを特に構成してよい。
【0072】
メモリは、１つ以上の揮発性メモリデバイスとして、且つ／又は１つ以上の不揮発性メモリデバイスとして、且つ／又は１つ以上の揮発性メモリデバイスと１つ以上の不揮発性メモリデバイスの組み合わせとして実施されてよい。例えば、メモリは、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（プログラム可能ＲＯＭ）、ＥＰＲＯＭ（消去可能ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）等）として実施されてよい。
【0073】
その少なくとも１つのメモリ及びコンピュータプログラムコードは、その少なくとも１つのプロセッサとともに、少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと（但し、第１、第２、及び第３のセンサデータストリームは並行して受信される）、第１、第２、及び第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、ユーザアクションの特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、を装置７００に少なくとも実施させるように構成されてよい。これらのアクションについては、既に図１～６に関して詳細に説明した。
【0074】
少なくとも幾つかの実施形態では、本発明をサポートすることが可能な装置は、装置のセンサが単一ハウジングに収まるように構成されている。そのような単一ハウジングの装置の例を以下に示す。センサ（例えば、ＩＭＵ８５３、手首輪郭センサ８５４、及び生体音響センサ８５５）を単一ハウジング内に配置すると、構造がロバストになる。
【0075】
図８Ａ及び８Ｂは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置８５０を示す。装置８５０は、装置１００、２００、３００、４００、５００、６００、及び／又は７００と全く同じであってよい。
【0076】
図８Ａは、装置８５０の側面図を示す。装置８５０は、コントローラ８５２、ＩＭＵ８５３、手首輪郭センサ８５４、及び／又は生体音響センサ８５５を含む。手首輪郭センサ８５４は、（例えば、アレイとして配列された）１つ以上の輪郭測定センサ８５６を含んでよい。一実施形態では、装置８５０は、センサ８５３、８５４、及び８５５を単一ハウジング８５８内に含む。図８Ａから分かるように、センサ８５４及び８５５は、ハウジング内でハウジングの外側からの信号を測定できるように位置しており、例えば、これらのセンサは、ハウジングのポートと接続されて、又はハウジングの表面近くに配置されてよい。即ち、手首輪郭センサ８５４及び生体音響センサ８５５で測定される信号は、ハウジングの外側からのものである。少なくとも幾つかの実施形態では、装置８５０はマウント用構成要素８０１を含んでよく、これは、例えば、ストラップであってよい。少なくとも幾つかの実施形態では、装置８５０はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置８５０は、例えば、ハプティックデバイス、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Ｂｌｕｅｔｏｏｔｈ通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【0077】
図８Ｂは、装置８５０の底面図を示す。手首輪郭センサ８５４は、輪郭測定センサ８５６のアレイを含み、これらはハウジング８５８の表面上に見られる。この表面は、凹面形状であってよい。輪郭測定センサ８５６のアレイは、ユーザがデバイス８５０を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ８５５も、ハウジング８５８の表面上に見られる。センサ８５５は、ユーザがデバイス８５０を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。装置８５０は、センサ８５３、８５４、及び８５５からの信号を並行して取得するように構成されてよい。
【0078】
図９は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置９２０を示す。装置９２０は、装置１００、２００、３００、４００、５００、６００、及び／又は７００と全く同じであってよい。
【0079】
図９は、装置９２０の等角底面図を示す。装置９２０は、ハウジング９２８内に、コントローラ、ＩＭＵ、輪郭測定センサ９２６を含む手首輪郭センサ、及び／又は生体音響センサ９２５を含む。輪郭測定センサ９２６のアレイは、ハウジング９２８の表面上に見られる。この表面は、凹面形状であってよい。輪郭測定センサ９２６のアレイは、ユーザがデバイス９２０を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ９２５も、ハウジング９２８の表面上に見られる。センサ９２５は、ユーザがデバイス９２０を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。
【0080】
図９から分かるように、センサ９２６のアレイ及び生体音響センサ９２５は、ハウジング９２８の表面上に環状に配列されてよい。そのような構成により、他の構成要素（例えば、センサ）をハウジング９２８の中心領域９２９に配置することが可能である。即ち、センサ９２６のアレイ及びセンサ９２５をハウジング９２８の周縁部に沿って（例えば、環状及び／又は矩形状に）配列することにより、それ以外のスペースに他のセンサを配置することが可能になる為、ハウジング９２８の同じ表面上に他のセンサを収容することが容易になる。更に、それらの他のセンサは、それらと輪郭測定センサとの間に間隔をとって、あらゆる潜在的干渉を最小限に抑えるように構成されてよい。例えば、心拍数センサは、中心領域９２９に都合よく配置されてよい。そのような配置により、輪郭測定センサからの起こりうる干渉（例えば、光学的干渉）が最小限に抑えられる。
【0081】
装置９２０は、ＩＭＵからの信号、並びにセンサ９２５及び９２６からの信号を並行して取得するように構成されてよい。少なくとも幾つかの実施形態では、装置９２０はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置９２０は、例えば、ハプティックデバイス、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Ｂｌｕｅｔｏｏｔｈ通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【0082】
図１０Ａ及び１０Ｂは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置９４０を示す。図１０Ａは、装置９４０の底面図を示す。図１０Ｂは、装置９４０の等角切り欠き上面図を示す。装置９４０は、コントローラ、ＩＭＵ９４３、手首輪郭センサ９４４、及び／又は生体音響センサ９４５を含む。手首輪郭センサ９４４は、（例えば、図１０Ａに見られるように、同心円状のアレイとして配列された）１つ以上の輪郭測定センサ９４６を含んでよく、又はそのような輪郭測定センサ９４６に接続されてよい。このアレイに含まれる円環の数は１～２４であってよく、好ましくは３～６であってよく、特に３であってよい。円環の数は、装置のフォームファクタに依存してよい。このコンテキストでは、円環は、例えば、開曲線又は閉曲線に沿って間隔を空けて配置された少なくとも１つのセンサの任意のジオメトリ配列を意味する。例えば、円環又は矩形環、楕円環、直線、又はＸ字形を含むループが好適である。例えば、最も内側のループが、そのループに沿って間隔を空けて配置された６個のセンサを含んでよく、２番目に内側のループが、そのループに沿って間隔を空けて配置された１２個のセンサを含んでよく、最も外側のループが、そのループに沿って間隔を空けて配置された１６個のセンサを含んでよい。ループは、円形、矩形、又は他の形状であってよい。装置９４０は、センサ９４３、９４４、及び９４５を単一ハウジング９４８内に含む。センサ９４６、９４５は、ハウジングの外側から来る信号を測定する為に、ハウジングの表面上に配置されている。この表面は、凹面形状であってよい。少なくとも幾つかの実施形態では、装置９４０はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置９４０は、例えば、ハプティックアクチュエータ、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Ｂｌｕｅｔｏｏｔｈ通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【0083】
図１０Ｂは、装置９４０の等角切り欠き上面図を示す。この図では、ハウジング９４８の内部が見えるようにする為に、スクリーン及び／又は上部ケーシング及び／又はベゼル等の構成要素を省略している。ハウジング９４８内には回路基板がマウントされている。この回路基板上に、ＩＭＵ９４３、プロセッサ９４９、及びメモリ９４９Ｂ等の構成要素がマウントされてよい。このプロセッサ及びこのメモリは、一緒に、装置９４０のコントローラを含んでよい。センサ９４３、９４４、９４６、及び９４５を含むセンサは、センサデータがコントローラに渡されるように、プロセッサ９４９Ａ及び／又はメモリ９４９Ｂに直接又は間接的に接続されてよい。
【0084】
図１１は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置９７０を示す。図１１は、装置９７０の底面図を示す。装置９７０は、ウェアラブルデバイス（例えば、スマートウオッチ）に取り付け可能である。つまり、装置９７０は、アドオン装置の一例である。アドオン装置は、単独で、又は別の装置との組み合わせで且つ／又はマウント用構成要素との組み合わせで使用されるように設計されている。アドオン装置は、少なくとも幾つかの実施形態では、マウント用構成要素及び／又はスクリーンを含まなくてよい。アドオン装置は、他のデバイス（例えば、ウェアラブルデバイス）と無線又はポート経由で通信してよい。アドオン装置は、少なくとも以下の方法で他のウェアラブルデバイスと使用されてよい。
・アドオン装置は、ユーザ又はユーザのジェスチャに関連する信号を測定できるように、（例えば、図１２に見られるように）別のウェアラブルデバイスのボディに直接取り付けられてよい。
・アドオン装置は、別のウェアラブルデバイスのマウント用構成要素に取り付けられてよく、この場合、マウント用構成要素は、ストラップ（例えば、別のウェアラブルデバイスのストラップと同じストラップ）又は（例えば、アクティビティブレスレットの場合には）ブレスレットである。
・アドオン装置は、ストラップ等のマウント用構成要素の一部であってよく、又はそのマウント用構成要素に接続されてよく、例えば、図１１に見られるように、アドオン装置の一方の側部が他のウェアラブルデバイスに接続され、他方の側部がストラップに接続されてよい。
・アドオン装置は、ユーザ又はユーザのジェスチャに関連する信号を測定できるように、（例えば、図１２に見られるように）別のウェアラブルデバイスのボディに直接取り付けられてよい。
・アドオン装置は、別のウェアラブルデバイスのマウント用構成要素に取り付けられてよく、この場合、マウント用構成要素は、ストラップ（例えば、別のウェアラブルデバイスのストラップと同じストラップ）又は（例えば、アクティビティブレスレットの場合には）ブレスレットである。
・アドオン装置は、ストラップ等のマウント用構成要素の一部であってよく、又はそのマウント用構成要素に接続されてよく、例えば、図１１に見られるように、アドオン装置の一方の側部が他のウェアラブルデバイスに接続され、他方の側部がストラップに接続されてよい。
【0085】
装置９７０は、単一ハウジング内に、コントローラ、ＩＭＵ、手首輪郭センサ、及び／又は生体音響センサ９７５を含む。手首輪郭センサは、輪郭測定センサのアレイを含んでよく、例えば、ハウジングの表面上に配列されたセンサ９７６を含んでよい。この表面は、凹面形状であってよい。輪郭測定センサのアレイは、ユーザがデバイス９７０を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ９７５も、ハウジングの表面上に配置されている。手首輪郭センサは、ユーザが装置９７０を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。図１１に見られるように、センサに対応する測定領域は、本開示の実施形態に応じて異なりうる。例えば、図９では、測定領域は、典型的には、ユーザの手首の中心部分にあり、一方、図１１の実施形態では、測定領域はユーザの手首の側部寄りになる。
【0086】
図１１に見られるように、装置９７０は、装置の左端部がマウント用構成要素（例えば、ストラップ）に接続されており、装置の右端部がウェアラブルデバイスに接続されている。マウント用構成要素との接続は任意の適切な手段で行われてよく、例えば、マウント用ブラケット及び／又は接着剤で行われてよい。ウェアラブルデバイスとの接続は、例えば、ウェアラブルデバイスと嵌合するピン９７９（例えば、時計ピン）で行われてよい。図１１から分かるように、センサ９７５及び９７６は、ハウジングの外側からの信号を測定できるように、ハウジングの表面上に位置する。
【0087】
一例示的実施形態では、センサ９７５及び９７６は、装置９２０のパターン、又は装置９４０のパターンと同様の環状パターンで配列されてよい。別の例示的実施形態では、図１１に見られるように、センサは、装置８５０のパターンと同様に、縦列と横列が直交するように配列されてよい。装置９７０は、ＩＭＵからの信号、並びにセンサ９７５及び９７６からの信号を並行して取得するように構成されてよい。装置９７０は、データ（例えば、ユーザアクション及び／又はユーザインタフェースフレーム）を無線で（例えば、Ｂｌｕｅｔｏｏｔｈを使用して）別のデバイスに送信するように構成されてよい。そのようなデータ送信の受信側は、取り付けられているウェアラブルデバイス、任意のウェアラブルデバイス、スマートフォンの少なくともいずれかであってよい。
【0088】
図１２は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置９５０を示す。図１２は、装置９５０の側面図を示す。装置９５０は、ウェアラブルデバイス（例えば、スマートウオッチ）に取り付け可能である。つまり、装置９５０は、アドオン装置の一例である。装置９５０は、任意の適切な手段でウェアラブルデバイスに取り付けられてよく、例えば、スナップフィット（プレスフィット）等の機械的摩擦及び／又はねじ留め、接着剤、磁力接続、熱膨張による嵌合の少なくともいずれかによって取り付けられてよい。
【0089】
装置９５０は、ハウジング９５８内に、コントローラ、ＩＭＵ、手首輪郭センサ、及び／又は生体音響センサ９５５を含む。輪郭測定センサ９５６のアレイは、ハウジング９５８の表面上に見られる。この表面は、凹面形状であってよい。輪郭測定センサ９５６のアレイは、ユーザがデバイス９５０を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ９５５も、ハウジング９５８の表面上に見られる。センサ９５５は、ユーザがデバイス９５０を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。
【0090】
図１２から分かるように、センサ９５５及び９５６は、ハウジングの外側からの信号を測定できるように、ハウジングの表面上に位置する。一例示的実施形態では、センサ９５５及び９５６は、装置９２０のパターン、又は装置９４０のパターンと同様の環状パターンで配列されてよい。別の例示的実施形態では、センサは、装置８５０のパターンと同様に、縦列と横列が直交するように配列されてよい。装置９５０は、ＩＭＵからの信号、並びにセンサ９５５及び９５６からの信号を並行して取得するように構成されてよい。装置９５０は、データ（例えば、ユーザアクション及び／又はユーザインタフェースフレーム）を無線で（例えば、Ｂｌｕｅｔｏｏｔｈを使用して）別のデバイスに送信するように構成されてよい。そのようなデータ送信の受信側は、取り付けられているウェアラブルデバイス、任意のウェアラブルデバイス、スマートフォンの少なくともいずれかであってよい。
【0091】
本開示は又、以下の条項によって利用されてよい。
【0092】
条項１。コンピュータ可読命令のセットを格納している非一時的コンピュータ可読媒体であって、この命令セットは、少なくとも１つのプロセッサで実行されたときに、少なくとも、
少なくとも１つの手首輪郭センサと、振動センサを含む少なくとも１つの生体音響センサと、ＩＭＵ等の少なくとも１つの動きセンサと、を使用して、ユーザの少なくとも１つの動きに対応する並行信号を測定するステップと、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラにおいて、それらの測定された並行信号を受信するステップと、
それらの受信された並行信号をコントローラによって結合するステップと、
それらの受信された信号を結合したものの特徴に少なくともある程度基づいて、ヒューマンインタフェースデータ（ＨＩＤ）データフレームをコントローラによって生成するステップと、
を装置に実施させる、非一時的コンピュータ可読媒体。
少なくとも１つの手首輪郭センサと、振動センサを含む少なくとも１つの生体音響センサと、ＩＭＵ等の少なくとも１つの動きセンサと、を使用して、ユーザの少なくとも１つの動きに対応する並行信号を測定するステップと、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラにおいて、それらの測定された並行信号を受信するステップと、
それらの受信された並行信号をコントローラによって結合するステップと、
それらの受信された信号を結合したものの特徴に少なくともある程度基づいて、ヒューマンインタフェースデータ（ＨＩＤ）データフレームをコントローラによって生成するステップと、
を装置に実施させる、非一時的コンピュータ可読媒体。
【0093】
条項２。マルチモーダル生体測定装置であって、
ストラップと、
少なくとも１つの手首輪郭センサと、
振動センサを含む少なくとも１つの生体音響センサと、
少なくとも１つの動きセンサと、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラであって、その少なくとも１つのメモリ及びそのコンピュータプログラムコードは、その少なくとも１つのプロセッサとともに、少なくとも、
手首輪郭センサ、生体音響センサ、及び動きセンサからの並行信号を受信するステップと、
その受信された信号を結合するステップと、
それらの受信された信号を結合したものの特徴に少なくともある程度基づいて、ヒューマンインタフェースデータ（ＨＩＤ）データフレームを生成するステップと、
をコントローラに実施させるように構成されている、コントローラと、
を含む装置。
ストラップと、
少なくとも１つの手首輪郭センサと、
振動センサを含む少なくとも１つの生体音響センサと、
少なくとも１つの動きセンサと、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラであって、その少なくとも１つのメモリ及びそのコンピュータプログラムコードは、その少なくとも１つのプロセッサとともに、少なくとも、
手首輪郭センサ、生体音響センサ、及び動きセンサからの並行信号を受信するステップと、
その受信された信号を結合するステップと、
それらの受信された信号を結合したものの特徴に少なくともある程度基づいて、ヒューマンインタフェースデータ（ＨＩＤ）データフレームを生成するステップと、
をコントローラに実施させるように構成されている、コントローラと、
を含む装置。
【0094】
条項３。少なくとも１つの手首輪郭センサ、少なくとも１つの生体音響センサ、及び少なくとも１つの動きセンサは、単一ハウジング内に配置されている、条項２に記載の装置。
【0095】
条項４。スマートウオッチを含む、条項２又は３に記載の装置。
【0096】
条項５。手首輪郭センサは輪郭測定センサのアレイを含み、このアレイは、少なくとも１つの生体音響センサとともに、単一ハウジングの表面上に環状に配列されており、この表面は凹面形状であることが好ましい、条項２～４のいずれか一項に記載の装置。
【0097】
条項６。手首輪郭センサは、単一ハウジングの表面上に同心円を構成する、輪郭測定センサのアレイを含み、このアレイに含まれる円環の数は１～２５であり、好ましくは２～６であり、特に３である、条項２～５のいずれか一項に記載の装置。
【0098】
条項７。装置はアドオンデバイスを含み、装置は、以下の構成の少なくともいずれかにより別のウェアラブルデバイスに取り付けられるように構成されている、即ち、
アドオン装置は、アドオン装置のセンサが（例えば、センサがユーザのほうを向くように）ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ／又は、
アドオン装置は、別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ／又は、
アドオン装置は、別のウェアラブルデバイスのマウント用構成要素の一部であるか、そのマウント用構成要素に接続されるように構成されており（ここではマウント用構成要素はストラップであり）、例えば、アドオン装置の一方の側部が他のウェアラブルデバイスに接続され、他方の側部がストラップに接続されるように構成されている、
条項２～６のいずれか一項に記載の装置。
アドオン装置は、アドオン装置のセンサが（例えば、センサがユーザのほうを向くように）ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ／又は、
アドオン装置は、別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ／又は、
アドオン装置は、別のウェアラブルデバイスのマウント用構成要素の一部であるか、そのマウント用構成要素に接続されるように構成されており（ここではマウント用構成要素はストラップであり）、例えば、アドオン装置の一方の側部が他のウェアラブルデバイスに接続され、他方の側部がストラップに接続されるように構成されている、
条項２～６のいずれか一項に記載の装置。
【0099】
条項８。コントローラは、単一ハウジング内に配置されている、条項２～７のいずれか一項に記載の装置。
【0100】
条項９。その生成することは、受信された信号を結合したものの特徴に基づいて、少なくとも１つのユーザアクション特徴を特定することを含み、その特定することは、その少なくとも１つのユーザアクション特徴を特定し、その少なくとも１つのユーザアクション特徴に対応する信頼水準を出力するようにトレーニングされた少なくとも１つのニューラルネットワークに、受信された信号を入力することを含む、条項１に記載の方法、又は、条項２～８のいずれか一項に記載の装置。
【0101】
条項１０。条項１又は条項９による方法が実施されるように構成されたコンピュータプログラムであって、非一時的コンピュータ可読媒体に格納可能なコンピュータプログラム。
【0102】
本開示には次の利点がある。即ち、マルチモーダル検知を用いると、ユーザアクションを検知するときの特定精度が高くなる。これは、検知されたアクションが、複数のセンサの出力に基づいて特定される為である。更に、この装置及び方法は、個々のユーザへの適合性が高い。それは、各センサを、ユーザ固有の生態及び癖をより考慮するように構成できる為である。
【0103】
当然のことながら、開示された本発明の実施形態は、本明細書で開示された特定の構造、処理手順、又は材料に限定されず、当業者であれば理解されるであろう、その等価物まで拡張される。更に、当然のことながら、本明細書で使用された術語は、特定の実施形態の説明の為にのみ使用されており、限定的であることを意図されていない。
【0104】
本明細書を通しての一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）又は一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）への参照は、その実施形態に関連して説明された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書全体の様々な場所での「一実施形態では（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」又は「一実施形態では（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」という語句の出現は、必ずしも全てが同じ実施形態を参照しているわけではない。例えば、約（ａｂｏｕｔ）又はほぼ（ｓｕｂｓｔａｎｔｉａｌｌｙ）等の語句を使用して数値が参照された場合は、厳密な数値も開示されている。
【0105】
本明細書で使用されている複数のアイテム、構造要素、組成要素、及び／又は材料は、便宜上、一般的なリストに存在してよい。しかしながら、これらのリストは、リストの各要素が別個且つ固有の要素として個別に識別されるかのように解釈されるべきである。従って、そのようなリストの個々の要素は、反対の意味で示されているのでない限り、それらが一般的なグループに存在することにのみ基づいて、同じリストの他の任意の要素の事実上の等価物として解釈されるべきである。更に、本明細書では、本発明の様々な実施形態及び実施例は、それらの様々な構成要素に関しては代替形態と併せて参照されてよい。当然のことながら、そのような実施形態、実施例、及び代替形態は、互いの事実上の等価物として解釈されるべきではなく、本発明の別個且つ独立の表現と見なされるべきである。
【0106】
更に、記載の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な様式で組み合わされてよい。この説明では、本発明の実施形態の十分な理解が得られるように、長さ、幅、形状等の例のような様々な具体的詳細が示されている。しかしながら、当業者であれば理解されるように、本発明は、これらの具体的詳細のうちの１つ以上がなくても、或いは、他の方法、構成要素、材料等でも実施可能である。他の例では、よく知られている構造、材料、又は動作が詳しく図示又は説明されてはいないが、これは、本発明の態様が曖昧にならないようにする為である。
【0107】
上述の各実施例は、本発明の原理を１つ以上の特定用途において例示したものであるが、当業者であれば明らかなように、発明的能力を行使することなく、且つ、本発明の原理及び概念から逸脱しない限り、実施態様の形式、用法、及び細部の様々な変更が行われてよい。従って、本発明は、後述の特許請求項によって限定される場合を除いて限定されないものとする。
【0108】
本文書では「含む（ｔｏ ｃｏｍｐｒｉｓｅ）」及び「含む（ｔｏ ｉｎｃｌｕｄｅ）」という動詞は、記載されていない特徴の存在を排除することも必要とすることもない開放的限定（ｏｐｅｎ ｌｉｍｉｔａｔｉｏｎｓ）として使用されている。従属請求項に記載された特徴は、特に別段に明記されない限りは、相互に自由に組み合わされてよい。更に、当然のことながら、「ａ」又は「ａｎ」、即ち、単数形の使用は、本文書全体を通して複数性を排除しない。
【産業上の利用可能性】
【0109】
本発明の少なくとも幾つかの実施形態は、制御可能装置（例えば、パーソナルコンピュータ）に（例えば、ＸＲに関連する）ユーザインタフェースを与えることに産業用途がある。
【符号の説明】
【0110】
１００、２００、３００、４００、５００、６００、７００、８５０、９２０、９４０、９５０、９７０ 装置
１０１、２０１、８５１、９２１ マウント用構成要素
１０２、３０２、４０２、５０２、６０２、７０２、８５２ コントローラ
１０３、３０３、４０３、５０３、６０３、７０３、８５３、９４３ 慣性測定装置（ＩＭＵ）
１０４、３０４、４０４、５０４、６０４、７０４、８５４、９４４ 手首輪郭センサ
１０５、３０５、４０５、５０５、６０５、７０５、８５５、９２５、９４５、９７５、９５５ 生体音響センサ
１０６、８５６、９２６、９４６、９７６、９５６ 輪郭測定センサ
２９４ 手首輪郭
２９５ 生体音響測定領域
２９６ ＩＭＵ
２９７ 手首輪郭測定領域
２９８ ハウジング突起
２９９ ユーザの手
３０７、４０７、５０７、６０７ ＵＩコマンド
３１３、４１３、５１３、６１３ センサデータストリーム
３１４、４１４、５１４、６１４ センサデータストリーム
３１５、４１５、５１５、６１５ センサデータストリーム
３３０、５３０、８６１ モデル
３５０、５５０、８６２ モデル
３７０、５７０、８６３ モデル
３８０、４８０、５８０、６８０、８６８ イベントインタプリタ
３９０、４９０、５９０、６９０ 出力ジェネレータ
６６０ 制御可能装置
４３５、６３５ モデル
５２０、５４０、５６０ 前処理シーケンス
６２５ 前処理シーケンス
３０８、４０８、５０８、６０８、８６９ コンテキスト情報
８５８、９２８、９４８ ハウジング
９２９ ハウジングの中心領域
８６４、８６５ 信頼水準ベクトル
８６６ 方位データ（四元数）
８７０ 制御可能装置
８０１、８０２、８０３、８０４ 信号
９０１、９０２、９０３ 方法のステップ
１０１、２０１、８５１、９２１ マウント用構成要素
１０２、３０２、４０２、５０２、６０２、７０２、８５２ コントローラ
１０３、３０３、４０３、５０３、６０３、７０３、８５３、９４３ 慣性測定装置（ＩＭＵ）
１０４、３０４、４０４、５０４、６０４、７０４、８５４、９４４ 手首輪郭センサ
１０５、３０５、４０５、５０５、６０５、７０５、８５５、９２５、９４５、９７５、９５５ 生体音響センサ
１０６、８５６、９２６、９４６、９７６、９５６ 輪郭測定センサ
２９４ 手首輪郭
２９５ 生体音響測定領域
２９６ ＩＭＵ
２９７ 手首輪郭測定領域
２９８ ハウジング突起
２９９ ユーザの手
３０７、４０７、５０７、６０７ ＵＩコマンド
３１３、４１３、５１３、６１３ センサデータストリーム
３１４、４１４、５１４、６１４ センサデータストリーム
３１５、４１５、５１５、６１５ センサデータストリーム
３３０、５３０、８６１ モデル
３５０、５５０、８６２ モデル
３７０、５７０、８６３ モデル
３８０、４８０、５８０、６８０、８６８ イベントインタプリタ
３９０、４９０、５９０、６９０ 出力ジェネレータ
６６０ 制御可能装置
４３５、６３５ モデル
５２０、５４０、５６０ 前処理シーケンス
６２５ 前処理シーケンス
３０８、４０８、５０８、６０８、８６９ コンテキスト情報
８５８、９２８、９４８ ハウジング
９２９ ハウジングの中心領域
８６４、８６５ 信頼水準ベクトル
８６６ 方位データ（四元数）
８７０ 制御可能装置
８０１、８０２、８０３、８０４ 信号
９０１、９０２、９０３ 方法のステップ
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【手続補正書】
【提出日】2023-07-13
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【0048】
装置３００の動作の一例を以下に示す。ユーザは、装置３００を手に載せて使用している。このユーザはアクションを実施し、アクションは、手首を外転させること、及び中指で親指を２回続けてタップすることを含む。装置３００のセンサは、アクション中にデータの出力を以下のように行う。
・ＩＭＵセンサ３０３は、ＩＭＵ（従って、装置３００）の方位、及び加速度データを反映するデータストリーム３１３を出力する。
・手首輪郭センサ３０４は、ユーザの手首領域内の腱及び／又は筋肉の動きを反映するデータストリーム３１４を出力する。
・生体音響センサ３０５は、ユーザの手首領域内の振動を反映するデータストリーム３１５を出力する。
データストリーム３１３、３１４、及び３１５は、それぞれ、モデル３３０、３５０、及び３７０によって受信される。モデル３３０では、ＩＭＵセンサデータがモデルによって使用されて、信頼水準が６８％のユーザアクション特徴「手首外転」がイベントインタプリタ３８０に渡される。モデル３５０では、手首輪郭データがモデルによって使用されて、信頼水準がそれぞれ６１％及び８２％である２つのユーザアクション特徴「中指の動き」がイベントインタプリタ３８０に渡される。モデル３７０では、生体音響データがモデルによって使用されて、信頼水準がそれぞれ９１％及び７７％である２つのユーザアクション特徴「タップ」がイベントインタプリタ３８０に渡される。
・ＩＭＵセンサ３０３は、ＩＭＵ（従って、装置３００）の方位、及び加速度データを反映するデータストリーム３１３を出力する。
・手首輪郭センサ３０４は、ユーザの手首領域内の腱及び／又は筋肉の動きを反映するデータストリーム３１４を出力する。
・生体音響センサ３０５は、ユーザの手首領域内の振動を反映するデータストリーム３１５を出力する。
データストリーム３１３、３１４、及び３１５は、それぞれ、モデル３３０、３５０、及び３７０によって受信される。モデル３３０では、ＩＭＵセンサデータがモデルによって使用されて、信頼水準が６８％のユーザアクション特徴「手首外転」がイベントインタプリタ３８０に渡される。モデル３５０では、手首輪郭データがモデルによって使用されて、信頼水準がそれぞれ６１％及び８２％である２つのユーザアクション特徴「中指の動き」がイベントインタプリタ３８０に渡される。モデル３７０では、生体音響データがモデルによって使用されて、信頼水準がそれぞれ９１％及び７７％である２つのユーザアクション特徴「タップ」がイベントインタプリタ３８０に渡される。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【0076】
図８Ａは、装置８５０の側面図を示す。装置８５０は、コントローラ８５２、ＩＭＵ８５３、手首輪郭センサ８５４、及び／又は生体音響センサ８５５を含む。手首輪郭センサ８５４は、（例えば、アレイとして配列された）１つ以上の輪郭測定センサ８５６を含んでよい。一実施形態では、装置８５０は、センサ８５３、８５４、及び８５５を単一ハウジング８５８内に含む。図８Ａから分かるように、センサ８５４及び８５５は、ハウジング内でハウジングの外側からの信号を測定できるように位置しており、例えば、これらのセンサは、ハウジングのポートと接続されて、又はハウジングの表面近くに配置されてよい。即ち、手首輪郭センサ８５４及び生体音響センサ８５５で測定される信号は、ハウジングの外側からのものである。少なくとも幾つかの実施形態では、装置８５０はマウント用構成要素８５１を含んでよく、これは、例えば、ストラップであってよい。少なくとも幾つかの実施形態では、装置８５０はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置８５０は、例えば、ハプティックデバイス、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Ｂｌｕｅｔｏｏｔｈ通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【0108】
本文書では「含む（ｔｏ ｃｏｍｐｒｉｓｅ）」及び「含む（ｔｏ ｉｎｃｌｕｄｅ）」という動詞は、記載されていない特徴の存在を排除することも必要とすることもない開放的限定（ｏｐｅｎ ｌｉｍｉｔａｔｉｏｎｓ）として使用されている。従属請求項に記載された特徴は、特に別段に明記されない限りは、相互に自由に組み合わされてよい。更に、当然のことながら、「ａ」又は「ａｎ」、即ち、単数形の使用は、本文書全体を通して複数性を排除しない。
〔付記１〕
マルチモーダル生体測定装置であって、
ユーザが身に着けるように構成されたマウント用構成要素と、
少なくとも１つの手首輪郭センサと、
振動センサを含む少なくとも１つの生体音響センサと、
加速度計及びジャイロスコープを含む少なくとも１つの慣性測定装置（ＩＭＵ）と、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラであって、前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、少なくとも、
前記少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
前記少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
前記少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を前記コントローラに実施させるように構成されている、前記コントローラと、
を含む装置。
〔付記２〕
ユーザアクションの前記少なくとも１つの特徴を特定する前記ステップは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも１つの特徴を特定して出力とするようにトレーニングされた少なくとも１つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも１つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも１つの特徴の信頼値を含む、付記１に記載の装置。
〔付記３〕
前記少なくとも１つのユーザアクションを特定する前記ステップは、前記少なくとも１つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴及び受信されたコンテキスト情報に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、付記２に記載の装置。
〔付記４〕
前記コントローラは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに対して前処理を実施してから、前記少なくとも１つの前処理されたデータストリームを前記少なくとも１つのニューラルネットワークへの入力として供給するように構成されている、付記２～３のいずれか一項に記載の装置。
〔付記５〕
前記コントローラは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理されるように構成されている、付記１～４のいずれか一項に記載の装置。
〔付記６〕
前記コントローラは、少なくとも１つの前処理シーケンスが少なくとも１つの別の前処理シーケンスと通信するように構成されており、前記通信は、前記少なくとも１つの前処理シーケンスからのデータに基づいて、前記別の前処理シーケンスの前処理パラメータを調節することを含む、付記４～５のいずれか一項に記載の装置。
〔付記７〕
前記コントローラは更に、前記イベントインタプリタが推論エンジン、決定木の少なくとも一方を含むように構成されている、付記１～６のいずれか一項に記載の装置。
〔付記８〕
前記手首輪郭センサは、輪郭測定センサのアレイを含む、付記１～７のいずれか一項に記載の装置。
〔付記９〕
前記少なくとも１つの手首輪郭センサ、前記少なくとも１つの生体音響センサ、及び前記少なくとも１つの慣性測定装置は、単一ハウジング内に配置されており、例えば、前記装置はスマートウオッチを含む、付記１～８のいずれか一項に記載の装置。
〔付記１０〕
前記手首輪郭センサは輪郭測定センサのアレイを含み、前記アレイは、前記少なくとも１つの生体音響センサとともに、前記単一ハウジングの表面上に環状に配列されている、又は、前記手首輪郭センサは、前記単一ハウジングの表面上に同心円環又は矩形環を構成する、輪郭測定センサのアレイを含み、前記アレイに含まれる円環の数は１～２５であり、好ましくは２～６であり、特に３である、付記１～９のいずれか一項に記載の装置。
〔付記１１〕
前記装置はアドオンデバイスを含み、前記装置は、以下の構成の少なくともいずれかにより別のウェアラブルデバイスに取り付けられるように構成されている、即ち、
前記アドオン装置は、前記アドオン装置の前記センサが（例えば、前記センサが前記ユーザのほうを向くように）前記ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、前記マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素の一部であるか、前記マウント用構成要素に接続されるように構成されており（例えば、前記マウント用構成要素はストラップであり）、具体的には、前記アドオン装置の一方の側部が前記他のウェアラブルデバイスに接続され、他方の側部が前記ストラップに接続されるように構成されている、
付記１～１０のいずれか一項に記載の装置。
〔付記１２〕
ＵＩコマンドを生成する方法であって、
少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を含む方法。
〔付記１３〕
ユーザアクションの前記少なくとも１つの特徴を特定する前記ステップは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも１つの特徴を特定して出力とするようにトレーニングされた少なくとも１つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも１つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも１つの特徴の信頼値を含む、付記１２に記載の方法。
〔付記１４〕
前記少なくとも１つのユーザアクションを特定する前記ステップは、前記少なくとも１つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、付記１２～１３のいずれか一項に記載の方法。
〔付記１５〕
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに対して前処理が実施されてから、前記少なくとも１つの前処理されたデータストリームが前記少なくとも１つのニューラルネットワークへの入力として供給され、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理され、少なくとも１つの前処理シーケンスが少なくとも１つの別の前処理シーケンスと通信し、前記通信は、前記別の前処理シーケンスの前処理パラメータを調節することを含む、付記１２～１４のいずれか一項に記載の方法。
〔付記１６〕
付記１２～１５のいずれか一項に記載の方法が実施されるように構成されたコンピュータプログラムであって、非一時的コンピュータ可読媒体に格納可能なコンピュータプログラム。
〔付記１〕
マルチモーダル生体測定装置であって、
ユーザが身に着けるように構成されたマウント用構成要素と、
少なくとも１つの手首輪郭センサと、
振動センサを含む少なくとも１つの生体音響センサと、
加速度計及びジャイロスコープを含む少なくとも１つの慣性測定装置（ＩＭＵ）と、
少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコントローラであって、前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、少なくとも、
前記少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
前記少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
前記少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を前記コントローラに実施させるように構成されている、前記コントローラと、
を含む装置。
〔付記２〕
ユーザアクションの前記少なくとも１つの特徴を特定する前記ステップは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも１つの特徴を特定して出力とするようにトレーニングされた少なくとも１つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも１つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも１つの特徴の信頼値を含む、付記１に記載の装置。
〔付記３〕
前記少なくとも１つのユーザアクションを特定する前記ステップは、前記少なくとも１つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴及び受信されたコンテキスト情報に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、付記２に記載の装置。
〔付記４〕
前記コントローラは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに対して前処理を実施してから、前記少なくとも１つの前処理されたデータストリームを前記少なくとも１つのニューラルネットワークへの入力として供給するように構成されている、付記２～３のいずれか一項に記載の装置。
〔付記５〕
前記コントローラは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理されるように構成されている、付記１～４のいずれか一項に記載の装置。
〔付記６〕
前記コントローラは、少なくとも１つの前処理シーケンスが少なくとも１つの別の前処理シーケンスと通信するように構成されており、前記通信は、前記少なくとも１つの前処理シーケンスからのデータに基づいて、前記別の前処理シーケンスの前処理パラメータを調節することを含む、付記４～５のいずれか一項に記載の装置。
〔付記７〕
前記コントローラは更に、前記イベントインタプリタが推論エンジン、決定木の少なくとも一方を含むように構成されている、付記１～６のいずれか一項に記載の装置。
〔付記８〕
前記手首輪郭センサは、輪郭測定センサのアレイを含む、付記１～７のいずれか一項に記載の装置。
〔付記９〕
前記少なくとも１つの手首輪郭センサ、前記少なくとも１つの生体音響センサ、及び前記少なくとも１つの慣性測定装置は、単一ハウジング内に配置されており、例えば、前記装置はスマートウオッチを含む、付記１～８のいずれか一項に記載の装置。
〔付記１０〕
前記手首輪郭センサは輪郭測定センサのアレイを含み、前記アレイは、前記少なくとも１つの生体音響センサとともに、前記単一ハウジングの表面上に環状に配列されている、又は、前記手首輪郭センサは、前記単一ハウジングの表面上に同心円環又は矩形環を構成する、輪郭測定センサのアレイを含み、前記アレイに含まれる円環の数は１～２５であり、好ましくは２～６であり、特に３である、付記１～９のいずれか一項に記載の装置。
〔付記１１〕
前記装置はアドオンデバイスを含み、前記装置は、以下の構成の少なくともいずれかにより別のウェアラブルデバイスに取り付けられるように構成されている、即ち、
前記アドオン装置は、前記アドオン装置の前記センサが（例えば、前記センサが前記ユーザのほうを向くように）前記ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、前記マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ／又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素の一部であるか、前記マウント用構成要素に接続されるように構成されており（例えば、前記マウント用構成要素はストラップであり）、具体的には、前記アドオン装置の一方の側部が前記他のウェアラブルデバイスに接続され、他方の側部が前記ストラップに接続されるように構成されている、
付記１～１０のいずれか一項に記載の装置。
〔付記１２〕
ＵＩコマンドを生成する方法であって、
少なくとも１つの手首輪郭センサから第１のセンサデータストリームを受信するステップと、
少なくとも１つの生体音響センサから第２のセンサデータストリームを受信するステップと、
少なくとも１つの慣性測定装置から第３のセンサデータストリームを受信するステップと
（但し、前記第１、前記第２、及び前記第３のセンサデータストリームは並行して受信される）、
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも１つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも１つの特徴に基づいて、少なくとも１つのユーザアクションを特定するステップと、
前記特定された少なくとも１つのユーザアクションに少なくともある程度基づいて、少なくとも１つのユーザインタフェース（ＵＩ）コマンドを生成するステップと、
を含む方法。
〔付記１３〕
ユーザアクションの前記少なくとも１つの特徴を特定する前記ステップは、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも１つの特徴を特定して出力とするようにトレーニングされた少なくとも１つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも１つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも１つの特徴の信頼値を含む、付記１２に記載の方法。
〔付記１４〕
前記少なくとも１つのユーザアクションを特定する前記ステップは、前記少なくとも１つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、付記１２～１３のいずれか一項に記載の方法。
〔付記１５〕
前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかに対して前処理が実施されてから、前記少なくとも１つの前処理されたデータストリームが前記少なくとも１つのニューラルネットワークへの入力として供給され、前記第１、前記第２、及び前記第３のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理され、少なくとも１つの前処理シーケンスが少なくとも１つの別の前処理シーケンスと通信し、前記通信は、前記別の前処理シーケンスの前処理パラメータを調節することを含む、付記１２～１４のいずれか一項に記載の方法。
〔付記１６〕
付記１２～１５のいずれか一項に記載の方法が実施されるように構成されたコンピュータプログラムであって、非一時的コンピュータ可読媒体に格納可能なコンピュータプログラム。
【外国語明細書】