IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ポート シックス オーイーの特許一覧

特開2023-135632手のマルチモーダル生体測定装置からのユーザ入力の検出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135632
(43)【公開日】2023-09-28
(54)【発明の名称】手のマルチモーダル生体測定装置からのユーザ入力の検出
(51)【国際特許分類】
   G06F 3/01 20060101AFI20230921BHJP
   G06F 3/0346 20130101ALI20230921BHJP
【FI】
G06F3/01 570
G06F3/0346 425
【審査請求】有
【請求項の数】16
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023036208
(22)【出願日】2023-03-09
(31)【優先権主張番号】17/694,758
(32)【優先日】2022-03-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/110,979
(32)【優先日】2023-02-17
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】523086910
【氏名又は名称】ポート シックス オーイー
【氏名又は名称原語表記】Port 6 Oy
(74)【代理人】
【識別番号】100107364
【弁理士】
【氏名又は名称】斉藤 達也
(72)【発明者】
【氏名】ジャミン ヒュー
(72)【発明者】
【氏名】ビラ クラー
(72)【発明者】
【氏名】エエミル ビサコルピ
(72)【発明者】
【氏名】ラウリ ツオミネン
【テーマコード(参考)】
5B087
5E555
【Fターム(参考)】
5B087AA07
5B087AA09
5B087BC06
5B087BC34
5E555AA10
5E555BA08
5E555BB08
5E555BC04
5E555CA41
5E555CA44
5E555CB21
5E555CB66
5E555CC01
5E555FA00
(57)【要約】      (修正有)
【課題】ユーザの手の通常の使用を妨げることなく、手のわずかな動き及びジェスチャをデジタイズしてユーザインタフェースコマンドに変換する生体測定装置及びコマンドを生成する方法を提供する。
【解決手段】マルチモーダル生体測定装置100は、マウント用構成要素101と、コントローラ102と、それぞれ少なくとも1つの慣性測定装置103、手首輪郭センサ104、生体音響センサ105と、を備える。コントローラは、各センサから各々のセンサデータストリームを受信し、少なくともいずれかのセンサデータストリームに基づき、ユーザアクションの少なくとも1つの特徴を特定し、特徴に基づき少なくとも1つのユーザアクションを特定し、ユーザアクションに基づき少なくとも1つのユーザインタフェースコマンドを生成する。
【選択図】図1A
【特許請求の範囲】
【請求項1】
マルチモーダル生体測定装置であって、
ユーザが身に着けるように構成されたマウント用構成要素と、
少なくとも1つの手首輪郭センサと、
振動センサを含む少なくとも1つの生体音響センサと、
加速度計及びジャイロスコープを含む少なくとも1つの慣性測定装置(IMU)と、
少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリと、を含むコントローラであって、前記少なくとも1つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサとともに、少なくとも、
前記少なくとも1つの手首輪郭センサから第1のセンサデータストリームを受信するステップと、
前記少なくとも1つの生体音響センサから第2のセンサデータストリームを受信するステップと、
前記少なくとも1つの慣性測定装置から第3のセンサデータストリームを受信するステップと
(但し、前記第1、前記第2、及び前記第3のセンサデータストリームは並行して受信される)、
前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも1つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも1つの特徴に基づいて、少なくとも1つのユーザアクションを特定するステップと、
前記特定された少なくとも1つのユーザアクションに少なくともある程度基づいて、少なくとも1つのユーザインタフェース(UI)コマンドを生成するステップと、
を前記コントローラに実施させるように構成されている、前記コントローラと、
を含む装置。
【請求項2】
ユーザアクションの前記少なくとも1つの特徴を特定する前記ステップは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも1つの特徴を特定して出力とするようにトレーニングされた少なくとも1つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも1つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも1つの特徴の信頼値を含む、請求項1に記載の装置。
【請求項3】
前記少なくとも1つのユーザアクションを特定する前記ステップは、前記少なくとも1つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴及び受信されたコンテキスト情報に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、請求項2に記載の装置。
【請求項4】
前記コントローラは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに対して前処理を実施してから、前記少なくとも1つの前処理されたデータストリームを前記少なくとも1つのニューラルネットワークへの入力として供給するように構成されている、請求項2~3のいずれか一項に記載の装置。
【請求項5】
前記コントローラは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理されるように構成されている、請求項1~4のいずれか一項に記載の装置。
【請求項6】
前記コントローラは、少なくとも1つの前処理シーケンスが少なくとも1つの別の前処理シーケンスと通信するように構成されており、前記通信は、前記少なくとも1つの前処理シーケンスからのデータに基づいて、前記別の前処理シーケンスの前処理パラメータを調節することを含む、請求項4~5のいずれか一項に記載の装置。
【請求項7】
前記コントローラは更に、前記イベントインタプリタが推論エンジン、決定木の少なくとも一方を含むように構成されている、請求項1~6のいずれか一項に記載の装置。
【請求項8】
前記手首輪郭センサは、輪郭測定センサのアレイを含む、請求項1~7のいずれか一項に記載の装置。
【請求項9】
前記少なくとも1つの手首輪郭センサ、前記少なくとも1つの生体音響センサ、及び前記少なくとも1つの慣性測定装置は、単一ハウジング内に配置されており、例えば、前記装置はスマートウオッチを含む、請求項1~8のいずれか一項に記載の装置。
【請求項10】
前記手首輪郭センサは輪郭測定センサのアレイを含み、前記アレイは、前記少なくとも1つの生体音響センサとともに、前記単一ハウジングの表面上に環状に配列されている、又は、前記手首輪郭センサは、前記単一ハウジングの表面上に同心円環又は矩形環を構成する、輪郭測定センサのアレイを含み、前記アレイに含まれる円環の数は1~25であり、好ましくは2~6であり、特に3である、請求項1~9のいずれか一項に記載の装置。
【請求項11】
前記装置はアドオンデバイスを含み、前記装置は、以下の構成の少なくともいずれかにより別のウェアラブルデバイスに取り付けられるように構成されている、即ち、
前記アドオン装置は、前記アドオン装置の前記センサが(例えば、前記センサが前記ユーザのほうを向くように)前記ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ/又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、前記マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ/又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素の一部であるか、前記マウント用構成要素に接続されるように構成されており(例えば、前記マウント用構成要素はストラップであり)、具体的には、前記アドオン装置の一方の側部が前記他のウェアラブルデバイスに接続され、他方の側部が前記ストラップに接続されるように構成されている、
請求項1~10のいずれか一項に記載の装置。
【請求項12】
UIコマンドを生成する方法であって、
少なくとも1つの手首輪郭センサから第1のセンサデータストリームを受信するステップと、
少なくとも1つの生体音響センサから第2のセンサデータストリームを受信するステップと、
少なくとも1つの慣性測定装置から第3のセンサデータストリームを受信するステップと
(但し、前記第1、前記第2、及び前記第3のセンサデータストリームは並行して受信される)、
前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも1つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも1つの特徴に基づいて、少なくとも1つのユーザアクションを特定するステップと、
前記特定された少なくとも1つのユーザアクションに少なくともある程度基づいて、少なくとも1つのユーザインタフェース(UI)コマンドを生成するステップと、
を含む方法。
【請求項13】
ユーザアクションの前記少なくとも1つの特徴を特定する前記ステップは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも1つの特徴を特定して出力とするようにトレーニングされた少なくとも1つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも1つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも1つの特徴の信頼値を含む、請求項12に記載の方法。
【請求項14】
前記少なくとも1つのユーザアクションを特定する前記ステップは、前記少なくとも1つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、請求項12~13のいずれか一項に記載の方法。
【請求項15】
前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに対して前処理が実施されてから、前記少なくとも1つの前処理されたデータストリームが前記少なくとも1つのニューラルネットワークへの入力として供給され、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理され、少なくとも1つの前処理シーケンスが少なくとも1つの別の前処理シーケンスと通信し、前記通信は、前記別の前処理シーケンスの前処理パラメータを調節することを含む、請求項12~14のいずれか一項に記載の方法。
【請求項16】
請求項12~15のいずれか一項に記載の方法が実施されるように構成されたコンピュータプログラムであって、非一時的コンピュータ可読媒体に格納可能なコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の様々な例示的実施形態は、(特にコンピューティングアプリケーション及びエクステンデッドリアリティユーザインタフェースアプリケーションの分野において)デバイスを制御することに使用可能なウェアラブル装置及び方法に関する。エクステンデッドリアリティ(XR)は、拡張現実(AR)、仮想現実(VR)、及び複合現実(MR)を包含する。
【背景技術】
【0002】
デジタルデバイスの制御は、伝統的に専用の物理コントローラで行われてきた。例えば、コンピュータはキーボードとマウスで操作でき、ゲームコンソールは手持ち式コントローラで操作でき、スマートフォンはタッチスクリーンで操作できる。これらの物理コントローラは、通常、ユーザのアクションに基づく、ユーザからの入力を受け取るセンサ及び/又はボタンを含む。そのようなディスクリートコントローラは広く普及しているが、ユーザの手とコンピューティングデバイスとの間に冗長な技術レイヤが加わる為にヒューマンマシンインタラクションが遅くなる。更に、そのような専用デバイスは、典型的には、特定のデバイスを制御することにのみ適する。又、そのようなデバイスは、例えば、ユーザの手をわずらわせることになる為、ユーザは、その制御デバイスの使用中は、手を他の目的に使用することができない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、上記従来の技術における課題を解決するためになされたものである。
【課題を解決するための手段】
【0004】
上述の問題に鑑みて、XRユーザインタフェースの分野での改善が必要とされる。本明細書に開示の発明のような適切な入力デバイスが、ユーザの手の通常の使用を妨げることなく、手のわずかな動き及びジェスチャを直接デジタイズしてマシンコマンドに変換する。本開示の実施形態は、例えば、複数のセンサから検出されたユーザアクション特徴に基づいてユーザアクションを検出することが可能であり、それらのセンサは、様々なタイプのセンサであることが好ましい。
【0005】
本発明は、独立請求項の特徴によって定義される。幾つかの特定実施形態が従属請求項において定義される。
【0006】
本発明の第1の態様によれば、マルチモーダル生体測定装置が提供され、本装置は、ユーザが身に着けるように構成されたマウント用構成要素と、少なくとも1つの手首輪郭センサと、振動センサを含む少なくとも1つの生体音響センサと、加速度計及びジャイロスコープを含む少なくとも1つの慣性測定装置(IMU)と、少なくとも1つのプロセッサ、及びコンピュータプログラムコードを含む少なくとも1つのメモリを含むコントローラと、を含み、その少なくとも1つのメモリ及びコンピュータプログラムコードは、その少なくとも1つのプロセッサとともに、少なくとも1つの手首輪郭センサから第1のセンサデータストリームを受信するステップと、少なくとも1つの生体音響センサから第2のセンサデータストリームを受信するステップと、少なくとも1つの慣性測定装置から第3のセンサデータストリームを受信するステップと(但し、第1、第2、及び第3のセンサデータストリームは並行して受信される)、第1、第2、及び第3のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも1つの特徴を特定するステップと、ユーザアクションの特定された少なくとも1つの特徴に基づいて、少なくとも1つのユーザアクションを特定するステップと、特定された少なくとも1つのユーザアクションに少なくともある程度基づいて、少なくとも1つのユーザインタフェース(UI)コマンドを生成するステップと、をコントローラに少なくとも実施させるように構成されている。
【0007】
本発明の第2の態様によれば、UIコマンドを生成する方法が提供され、本方法は、少なくとも1つの手首輪郭センサから第1のセンサデータストリームを受信するステップと、少なくとも1つの生体音響センサから第2のセンサデータストリームを受信するステップと、少なくとも1つの慣性測定装置から第3のセンサデータストリームを受信するステップと(但し、第1、第2、及び第3のセンサデータストリームは並行して受信される)、第1、第2、及び第3のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも1つの特徴を特定するステップと、ユーザアクションの特定された少なくとも1つの特徴に基づいて、少なくとも1つのユーザアクションを特定するステップと、特定された少なくとも1つのユーザアクションに少なくともある程度基づいて、少なくとも1つのユーザインタフェース(UI)コマンドを生成するステップと、を含む。
【0008】
本発明の第3の態様によれば、コンピュータ可読命令のセットを格納している非一時的コンピュータ可読媒体が提供され、この命令セットは、プロセッサで実行されたときに、第2の態様が実施されること、又はプロセッサを含む装置が第1の態様に従って構成されることを引き起こす。
【図面の簡単な説明】
【0009】
図1A】乃至
図1B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例100の概略図を示す。
図2A】乃至
図2D】本発明の実施形態の少なくとも幾つかをサポートすることが可能な、ユーザが身に着ける装置の一例200の概略図を示す。
図2E】乃至
図2G】ユーザが身に着けた装置例200から出力される例示的データの概略図を示す。
図3A】乃至
図3B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例300及び400の概略図をそれぞれ示す。
図4A】乃至
図4B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例500及び600の概略図をそれぞれ示す。
図5】本発明の実施形態の少なくとも幾つかをサポートすることが可能な一例示的プロセスを示すフローグラフである。
図6】本発明の実施形態の少なくとも幾つかをサポートすることが可能な一例示的プロセスを示すフローグラフである。
図7】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例700の概略図を示す。
図8A】乃至
図8B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例850の概略図を示す。
図9】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例920の概略図を示す。
図10A】乃至
図10B】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例940の概略図を示す。
図11】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例970の概略図を示す。
図12】本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置の一例950の概略図を示す。
【発明を実施するための形態】
【0010】
本明細書では、マルチモーダル生体測定装置及び対応する方法について述べる。本装置及び/又は本方法は、(例えば)測定、検知、信号取得、分析、ユーザインタフェースタスクの少なくともいずれかに使用されてよい。そのような装置は、ユーザが身に着けることに適することが好ましい。ユーザは、本装置を使用して1つ以上のデバイスを制御することが可能である。制御は、ユーザインタフェース(UI)又はヒューマンマシンインターフェース(HMI)の形式であってよい。本装置は、1つ以上のセンサを含んでよい。本装置は、その1つ以上のセンサからのデータに基づいてユーザインタフェースデータを生成するように構成されてよい。ユーザインタフェースデータは、ユーザが本装置又は少なくとも1つの第2の装置を制御することを少なくともある程度可能にする為に使用されてよい。第2の装置は、例えば、パーソナルコンピュータ(PC)、サーバ、携帯電話、スマートフォン、タブレットデバイス、スマートウオッチ、又は任意のタイプの適切な電子デバイスのうちの少なくとも1つであってよい。制御される又は制御可能な装置は、アプリケーション、ゲーム、及び/又はオペレーティングシステムの少なくともいずれかを実施してよく、これらはいずれも、マルチモーダル装置で制御されてよい。
【0011】
ユーザは、少なくとも1つのユーザアクションを実施してよい。典型的には、ユーザは、制御可能装置に作用するアクションを実施する。ユーザアクションは、例えば、動き、ジェスチャ、オブジェクトとのインタラクション、ユーザの体の一部とのインタラクション、ヌルアクションの少なくともいずれかであってよい。ユーザアクションの一例として「ピンチ」ジェスチャがあり、これは、ユーザが人差し指の先端に親指の先端を接触させるしぐさである。別の例として「サムアップ」ジェスチャがあり、これは、ユーザが親指を伸ばし、他の指を曲げて、親指が上方を向くように手を回すしぐさである。本実施形態は、センサ入力に少なくともある程度基づいて、少なくとも1つのユーザアクションを識別(特定)するように構成されている。ユーザアクションの識別の信頼性が高ければ、アクションに基づく制御が可能になり、例えば、本明細書に開示の実施形態を使用する、アクションに基づく制御が可能になる。
【0012】
ヌルアクションは、ユーザアクションがないこと、及び/又は、ユーザアクションが制御対象の装置又はアプリケーションのアプリケーション状態に作用しないことのうちの少なくとも一方であると理解されてよい。言い換えると、ヌルアクションは、所定のユーザアクションのリスト、ユーザインタフェースコマンドのリスト、及び/又は分類されたジェスチャのセットのうちの少なくともいずれかにある「なし(none)」というエントリに対応する。本装置は、可能性のセットが、セット内の各ジェスチャに対応する可能性/信頼値を有するだけではなく、「なし(none)」に割り当てられた可能性を含むように構成されてよい。例えば、アプリケーションがユーザに「選択を受け入れる場合はピンチ」をするように促し、ユーザがピンチジェスチャを含まない通常の手の動きを実施した場合、本装置はこれらの動きをヌルアクションと見なす。本装置は、そのような状況では、例えば、アプリケーションに何も送信しないように構成されてよい。別の例では、ユーザがリストをスクロールしていて、そのリストに関係のないアクションを実施した場合、その実施されたアクションはヌルアクションと識別されてよい。本装置のイベントインタプリタは、ヌルアクションを識別及び/又は管理するように構成され、この識別及び/又は管理は、任意選択で、アプリケーションから受信されたコンテキスト情報に少なくともある程度基づいて行われる。
【0013】
ユーザアクションは、ユーザアクション特徴及び/又はイベントと呼ばれる少なくとも1つの特徴を含んでよい。そのような特徴は、例えば、時間、位置、空間、生理学、及び/又は運動のいずれかの特徴であってよい。特徴は、ユーザの体の一部(例えば、ユーザの指)のインジケーションを含んでよい。特徴は、ユーザの動きのインジケーションを含んでよい。例えば、特徴は、中指の動きであってよい。別の例では、特徴は、円形の動きであってよい。更に別の例では、特徴は、アクションまでの時間、及び/又はアクションからの時間であってよい。少なくとも幾つかの実施形態では、ユーザアクションの特徴は、例えば、ニューラルネットワークによって、センサデータに少なくともある程度基づいて決定される。
【0014】
少なくとも幾つかの実施形態では、ユーザインタフェース(UI)コマンドは、ユーザアクションに基づいて生成される。UIコマンドは、例えば、ヒューマンマシンインターフェース(HMI)コマンド、ユーザインタフェースインタラクション、及び/又はHMIインタラクションと呼ばれてよい。そのようなコマンドは、ユーザインタフェースアクションを伝達することに使用可能である。例えば、あるユーザインタフェースアクションは、パーソナルコンピュータ上の「エンター」キーに対応してよい。少なくとも幾つかの実施形態では、出力ジェネレータ、例えば、ユーザインタフェースコマンドジェネレータにより、ユーザアクションが所定のユーザインタフェースアクションにマッピングされ、且つ/又は、所定のユーザインタフェースアクションに基づいてユーザインタフェースコマンドが生成される。従って、制御対象デバイスはユーザアクションを理解する必要がなく、ヒューマンインタフェースデバイス(HID)等の標準フォーマットで与えられうるUIコマンドがディスクリプタを報告するだけである。UIコマンドは、例えば、UI命令を含むデータパケット及び/又はフレームを含んでよい。
【0015】
少なくとも幾つかの実施形態では、本装置は、ユーザが身に着けるように構成されたマウント用構成要素を含む。従って、マウント用構成要素はウェアラブル構成要素である。そのような構成要素は、ストラップ、バンド、リストバンド、ブレスレット、グローブのいずれかであってよい。マウント用構成要素は、スマートウオッチ等の別の装置に取り付けられてよく、且つ/又はそのような装置によって形成されてよく、或いは長手袋等のより大きな装置の一部を形成してよい。幾つかの実施形態では、ストラップ、バンド、及び/又はリストバンドは幅が2~5cmであり、好ましくは3~4cmであり、より好ましくは3cmである。
【0016】
本実施形態では、少なくとも1つのセンサによって信号が測定される。このセンサはプロセッサ及びメモリを含んでよく、或いはプロセッサ及びメモリに接続されてよく、プロセッサは、測定が実施されるように構成されてよい。測定は、検知又は検出と呼ばれてよい。測定は、例えば、ユーザ、環境、物理的世界の少なくともいずれかにおける変化を検出することを含む。測定は更に、例えば、検知データに少なくとも1つのタイムスタンプを付けること、その検知データを(その少なくとも1つのタイムスタンプとともに、又はタイムスタンプなしで)送信することを含んでよい。
【0017】
少なくとも幾つかの実施形態は、ユーザの手首の輪郭を測定するように構成されている。手首の輪郭は、手首の周囲の3次元表面輪郭である。これは、橈骨手根関節、尺骨手根関節、及び遠位橈尺関節に隣接する、且つ/又はこれらの関節に近接する外側組織のトポロジのポイントクラウド、メッシュ、又は他の表面表現の少なくともいずれかで定義される。実際には、例えば、手首の輪郭は手首の外側形状である。手首の輪郭は、ユーザの手首領域から測定されてよい。手首領域は、例えば、ユーザの手のひらの下端から、ユーザの手のひらの下端より数センチメートル下までの領域を含んでよい。手首につながっている手でユーザがアクションを実施すると、そのアクションに必要な腱及び/又は筋肉の動きに応じて手首の表面が変形する。言い換えると、手首の輪郭は測定可能な形で変化し、手首の輪郭の状態はユーザアクション特徴に対応する。本実施形態で使用できるセンサデータを提供する為に測定値が(例えば、手首領域から)連続的に取得されてよい。手首の輪郭の測定は、例えば、センサのマトリックスを使用して行われてよく、測定は、例えば、光学式、静電容量式、又は圧電式の近接検知又は輪郭測定検知であってよい。そのようなマトリックスは、手首輪郭センサと呼ばれてよい。複数のセンサを、特にマトリックス形式で使用することには、ユーザの手首の正確な状態が十分な高分解能で分かるという利点がある。各センサは少なくとも1つのデータチャネルを提供でき、好ましい実施形態では手首輪郭センサは少なくとも32チャネルを提供する。そのマトリックスは、ユーザの手首に置かれてよく、特に手首の手のひら側に置かれてよい。そのように置くことは、例えば、ストラップ、リストバンド、グローブを使用して実施されてよい。
【0018】
少なくとも幾つかの実施形態は、振動信号及び/又は音響信号を測定するように構成されている。そのような信号は、例えば、ユーザから、特にユーザの手首領域から測定されてよい。生体音響センサが、ユーザの内部波及び/又はユーザの皮膚の表面波等の振動を測定するように構成されてよい。そのような振動は、例えば、接触イベントの結果であってよい。接触イベントは、ユーザがオブジェクトに接触すること、及び/又は、ユーザが自分自身及び/又は別のユーザに接触することであってよい。生体音響センサとしては、接触マイクロホンセンサ(ピエゾ接触マイクロホン)、MEMS(微小電子機械システム)マイクロホン、及び/又は振動センサがあってよく、振動センサは、例えば、音響振動している構造物(例えば、ユーザ又はマウント用構成要素)が発生させる加速度を検出する加速度計である。
【0019】
少なくとも幾つかの実施形態は、慣性測定装置(IMU)を使用してユーザの位置及び動きを測定するように構成されている。IMUは、装置の位置情報を提供するように構成されてよい。IMUは、慣性測定装置センサと呼ばれてよい。IMUは、多軸加速度計、ジャイロスコープ、磁力計、高度計、気圧計の少なくともいずれかであってよい。IMUは磁力計を含むことが好ましい。これは、磁力計がIMUにとっての絶対基準を提供する為である。気圧計は、高度計として使用可能であり、IMUに自由度を追加することが可能である。
【0020】
慣性測定装置センサ、生体音響センサ、及び/又は手首輪郭センサ等のセンサは、センサデータストリームを出力するように構成されてよい。この出力は、装置内で、例えば、コントローラ、デジタル信号プロセッサ(DSP)、メモリに対して行われてよい。代替又は追加として、この出力は、外部装置に対して行われてよい。センサデータストリームは、センサで測定された1つ以上のロー信号を含んでよい。更に、センサデータストリームは、同期データ、構成データ、及び/又は識別データの少なくともいずれかを含んでよい。そのようなデータは、例えば、様々なセンサからのデータを比較する為にコントローラによって使用されてよい。
【0021】
実施形態の少なくとも幾つかでは、本装置は、運動感覚フィードバック及び/又は触覚フィードバックを提供する手段を含む。そのようなフィードバックは、例えば、振動を含んでよく、「ハプティックフィードバック」と呼ばれることもある。ハプティックフィードバックを提供する手段は、例えば、アクチュエータ、モータ、ハプティック出力デバイスの少なくともいずれかを含んでよい。全ての実施形態で使用可能な好ましいアクチュエータとして線形共振アクチュエータ(LRA)がある。ハプティックフィードバックは、ユーザインタフェースからユーザにフィードバックを与えることによりユーザインタフェースの使い勝手を向上させることに有用でありうる。更に、ハプティックフィードバックは、ユーザインタフェースにおけるイベントや状況変化をユーザにアラートすることが可能である。
【0022】
図1A及び1Bは、本発明の少なくとも幾つかの実施形態による装置100を示す。装置100は、ユーザの動き及び/又はアクションを検知すること、及び、ユーザインタフェースデバイス及び/又はHMIデバイスとして動作することに適しうる。装置100はマウント用構成要素101を含み、これは、図1Aではストラップの形態で示されている。
【0023】
装置100は更に、コントローラ102を含む。コントローラ102は、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを含む。コントローラは、少なくとも、センサ103、104、及び105からの並行センサデータストリームを受信するように構成されてよい。コントローラは、それらのセンサデータストリームの少なくともいずれかに対する処理を実施するように構成されてよく、この処理は、本文書の別の場所に開示の前処理を含んでよい。コントローラは、センサから受信したセンサデータストリームを処理するように構成されてよい。コントローラは、処理されたセンサデータストリームの特性に基づいて、少なくとも1つのユーザインタフェース(UI)イベント及び/又はコマンドを生成するように構成されてよい。更に、コントローラはモデルを含んでよく、モデルは少なくとも1つのニューラルネットワークを含んでよい。
【0024】
装置100は更に、慣性測定装置(IMU)103を含む。IMU103は、センサデータストリームを(例えば、コントローラ102に)送信するように構成されている。これらのセンサデータストリームは、例えば、多軸加速度計データ、ジャイロスコープデータ、及び/又は磁力計データの少なくともいずれかを含む。装置100の構成要素のうちの1つ以上が一緒にされてよく、例えば、IMU103とコントローラ102が同じPCB(プリント回路基板)上にあってよい。IMUデータの変化は、例えば、ユーザによる動き及び/又はアクションを反映し、従って、そのような動き及び/又はアクションは、IMUデータを使用して検出されることが可能である。
【0025】
装置100は更に生体音響センサ105を含み、これは、図1Aでは接触マイクロホンの形態で示されている。センサ105は、センサデータストリームを(例えば、コントローラ102に)送信するように構成されている。このセンサデータストリームは、例えば、単一チャネルオーディオ波形、又は多チャネルオーディオ波形を含む。マウント用構成要素に対するセンサ105の配置は、信号品質(音響インピーダンスの低減)及びユーザの着け心地に関して最適化されてよい。センサ105は、ユーザとの接触が安定するように構成されている。これは、接触が安定しないと信号中に大きなアーチファクトが発生する可能性がある為である。生体音響データの変化は、例えば、ユーザによる動き及び/又はアクションを反映し、従って、そのような動き及び/又はアクションは、生体音響データを使用して検出されることが可能である。
【0026】
少なくとも1つのマイクロホンは、マウント用構成要素101の背面にマウントされてよい。他のセンサ(IMU等)は、マウント用構成要素101の、マイクロホンと反対側にマウントされてよい。例えば、マイクロホン105は、マウント用構成要素101の内側円周上にマウントされてよく、IMUは、マウント用構成要素101の外側円周上にマウントされてよい。更に、手首輪郭センサも、マウント用構成要素101の内側円周上にマウントされてよい。少なくとも1つのマイクロホンは、ユーザが本装置を身に着けたときに皮膚に接触するように構成されてよい。
【0027】
装置100は更に手首輪郭センサ104を含み、これは、図1Aでは輪郭測定センサのマトリックスを含む。それらのセンサは、例えば、近接センサ、光学センサであってよい。輪郭測定センサは、センサからユーザの皮膚までの距離を測定するように構成されてよい。言い換えると、各輪郭測定センサは、それぞれがユーザの手首の表面に近接しているかどうかを検出するように構成されている。ユーザが実施するアクションは、予測可能な形で手首輪郭に影響を及ぼし、これが、各輪郭測定センサとの間の距離に影響を及ぼす。従って、複数の輪郭測定センサからのデータを使用して、ユーザの手首輪郭を検知することが可能である。手首輪郭の状態はアクション(例えば、特定の指の動き)に対応する為、そのようなアクションを、手首輪郭センサデータに基づいて検出することが可能である。更に、手首輪郭の変化も検知可能である。センサ104は、センサデータストリームを(例えば、コントローラ102に)送信するように構成されている。このセンサデータストリームは、所与の時点での所与の輪郭に対応する輪郭測定の読み取り値のセットを含む。読み取り値のセットは、例えば、フォトトランジスタのベース電流の変化のセットを含んでよく、これらは、デジタルレオスタットにより電圧の読み取り値に変換される。この電圧は、ADC(アナログデジタル変換器)チップによりサンプリングされてよい。適切なサンプリングレート(間隔)は1~1000ms、好ましくは10msである。
【0028】
図1Bは、装置100の一例示的構成を示す。図は、マウント用構成要素101と、センサ106のマトリックスを含む手首輪郭センサ104とを示している。図では、センサ106は光学センサとして示されている。図1Bのマトリックスは、3行8列の一例示的3×8マトリックスである。マトリックスは、本装置での使用には1~10行及び1~10列が好適である。マトリックスの行間及び列間の間隔は、約2ミリメートルから約10ミリメートルであってよい。好ましくは、4×8マトリックス等のマトリックスが使用されてよく、特に、手のひら側が4ミリメートル間隔の4×8マトリックスが使用されてよい。センサ106は、互いに対して直線状、放射状、又は非対称のパターンで分散していてよい。
【0029】
例えば、センサ106は、赤外線ベースの近接センサ、レーザベースの近接センサ、電子画像センサベースの近接センサ、超音波ベースの近接センサ、容量性近接センサ、レーダベースの近接センサ、加速度計ベースの近接センサ、圧電気ベースの近接センサ、及び/又は圧力ベースの近接センサのうちの1つ以上であってよい。一例として、赤外線ベースの近接センサは、赤外光放射器として動作する赤外線発光ダイオード(LED)と、赤外光受光器として動作するフォトトランジスタのペアを含んでよい。そのようなアクティブ赤外線ベースの近接センサは、数ミリメートル以内の近距離で前方にあるオブジェクトとの距離を間接的に検出することが可能であり、この検出は、LEDにより前方を赤外光で放射状に照らし、どれだけの光が反射して戻るかをフォトトランジスタで検知することによって行われる。実践上は、反射して戻る光が多いほど、フォトトランジスタが通す電流が多くなる。フォトトランジスタのこの性質が、抵抗器と直列に使用されてよく、それによって、例えば、フォトトランジスタの入射光を高精度で測定することに使用可能な分圧器回路が形成される。例えば、手首の皮膚の近接度の測定の分解能は、0.1ミリメートルもの細かさでありうる。少なくとも幾つかの実施形態では、手首輪郭センサは、赤外線ベースの近接センサに加えて他のタイプのセンサを含んでよく、これは、例えば、赤外線ベースの近接センサのロバストネス及び/又は正確さを高める為である。
【0030】
図2Aは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置200を示す。装置200は、装置100と同様である。図示の装置200は、ユーザの手299に装着されている。装置200は、マウント用構成要素201でユーザの手首に装着される。バンド201上に突起298が示されており、突起298は、装置200の全ての構成要素を収容してよく、又はその全ての構成要素に取り付けられてよい。
【0031】
図2Bは、装置200の例示的測定領域と本明細書に開示の他の装置とを示す。図2Bでは、生体音響測定領域295、IMU296、及び手首輪郭測定領域297が、ユーザの手299との関連で示されている。手首輪郭測定領域297はグリッドの形態で示されており、グリッドの各点は、輪郭測定センサ(例えばセンサ106)の位置であり、グリッドの輪郭は、測定された手首輪郭である。
【0032】
図2C及び2Dは、ユーザの一例示的手首輪郭を示す。図の左側では、ユーザ299がデバイス200を装着している様子が示されている。図の右側には、ユーザ299の手首輪郭294が示されている。図2Cでは、ユーザの手は第1の手ポーズをとっており、これはその図に示されている手首輪郭に対応する。図2Dでは、ユーザの手は第2の手ポーズをとっており、これはその図に示されている手首輪郭に対応する。これらのポーズの違いは、図2C図2Dの手首輪郭に見られる違いに対応する。
【0033】
図2Eは、測定された手首輪郭データに基づく、ユーザの人差し指の動きに対応する一例示的トポロジシーケンスを示す。この例示的シーケンスは、1秒おきに取得された測定データに基づく5つのトポロジを含み、これは、ユーザの指の動きに対応する輪郭の変化を反映している。この例示的シーケンスは、手首輪郭センサから得られたシーケンシャルデータセット、並びにそれらのデータセットから決定可能な手首輪郭の変化を示している。この図に見られるように、各輪郭測定センサからのデータは3次元座標で表される。これらのセンサは全体で座標のセットを表しており、これらをつなぎ合わせると輪郭になる。その輪郭を前の輪郭状態と比較することにより、輪郭の変形や変化が分かる。デルタ符号化により、前のデータセットからの変化だけを送信することが可能である。本実施形態では、トポロジは必ずしも計算されない。例えば、輪郭を表す測定されたデータ点(例えば、32個の点)がセンサデータセットとして畳み込みニューラルネットワークに入力されてよく、畳み込みニューラルネットワークは、ユーアクション特徴を出力するようにトレーニングされている。
【0034】
図2Fは、生体音響測定の一例示的データセットを示す。一例示的信号の過渡的特徴が可視化されている。このグラフでは、X軸は経過時間を表し、Y軸は大きさ(例えば電圧)を表す。図中の点線のボックスは、可視化の為にのみ示されており、関心領域をハイライトするものである。この例示的関心領域内で過渡的特徴が見られる。そのような特徴は、例えば、ユーザのピンチアクションに対応しうる。幾つかの実施形態では、図示の信号は前処理されてよく、例えば、高速フーリエ変換(FFT)で前処理されてよい。
【0035】
図2Gは、典型的な手の動きの間のIMUの一例示的データセットを示す。この例示的データセットでは、方位データが四元数として符号化されている。このデータ形式は、1つのスカラ成分と3つのベクトル成分とで構成される。スカラ成分は回転角度を符号化し、3つのベクトル成分は、基本四元数と呼ばれ、回転軸の方向を3次元空間に符号化する。信号801は、スカラ成分の係数に対応する。信号802、803、804は、3つの基本四元数の係数に対応する。このグラフでは、X軸は時間であり、Y軸は係数の大きさである。幾つかの実施形態では、手首四元数を使用して、(例えば、ユーザの頭部にマウントされた)別のIMUで測定された四元数に対して相対的な3次元回転を計算することが可能である。
【0036】
図3A及び3Bは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置300及び400を示す。これらの装置は、特に断らない限り、装置100及び200と同じである。
【0037】
図3Aには、装置300の一例示的概略図が示されている。装置300は、IMU303、手首輪郭センサ304、生体音響センサ305、及びコントローラ302を含む。コントローラ302は、図中では点線で表されている。図示のように、コントローラ302は(例えば、コントローラのメモリ内に)少なくともモデル350、330、及び370を含んでよい。コントローラ302は、イベントインタプリタ380を含んでよい。コントローラ302は、出力ジェネレータ390を含んでよい。
【0038】
センサ303、304、及び305は、それぞれがセンサデータストリームを送信するように構成されており、例えば、センサデータストリーム313、314、及び315をそれぞれ送信するように構成されている。センサデータストリームはコントローラ302によって受信されてよい。
【0039】
コントローラ302内では、受信されたセンサデータストリームが少なくとも1つのモデル(例えば、モデル350、330、370)に送られる。モデル350、330、370等のモデルはニューラルネットワークを含んでよい。ニューラルネットワークは、例えば、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク、又はリカレントニューラルネットワーク、或いはグラフニューラルネットワークであってよい。ニューラルネットワークは、分類器及び/又は回帰を含んでよい。ニューラルネットワークは、教師あり学習アルゴリズムを適用してよい。教師あり学習では、既知の出力を伴う入力のサンプルが使用され、ネットワークは、これらを学習して一般化する。代替として、モデルは、教師なし学習アルゴリズム又は強化学習アルゴリズムを使用して構築されてよい。幾つかの実施形態では、ニューラルネットワークは、特定の信号特性が特定のユーザアクション特徴に対応するようにトレーニングされてきた。例えば、ニューラルネットワークは、特定の手首輪郭を、特定の指(例えば、図2C~2Eで例示された中指)に関連付けられたユーザアクション特徴に関連付けるようにトレーニングされてよい。ニューラルネットワークは、出力されるユーザアクション特徴の信頼水準を提示するようにトレーニングされてよい。
【0040】
モデルは、アルゴリズム、ヒューリスティクス、及び/又は数学モデルの少なくともいずれかを含んでよい。例えば、IMUモデル330は、方位を計算するアルゴリズムを含んでよい。IMUは、三軸加速度計、ジャイロスコープ、及び磁力計のデータを出力してよい。特定のセンサの固有の非理想的な挙動(例えば、ドリフトやノイズ)の影響を低減する為に、センサフュージョン方式が採用されてよい。センサフュージョンは、相補フィルタ、カルマンフィルタ、又はMahony & Madgwick方位フィルタの使用を含んでよい。そのようなモデルは更に、本明細書に開示のニューラルネットワークを含んでよい。
【0041】
モデルは、例えば、入力データ(例えば、センサから受信された信号、及び/又は前処理されたデータ)に対して推論を実施する少なくとも1つの畳み込みニューラルネットワーク(CNN)を含んでよい。畳み込みは、空間又は時間の次元で実施されてよい。(CNNにフィードされたセンサデータから計算された)特徴が、アルゴリズム又は手動で選択されてよい。モデルは別のRNN(リカレントニューラルネットワーク)を含んでよく、これは、ユーザアクティビティを反映するセンサデータに基づくユーザアクション特徴の識別をサポートする為にニューラルネットワークと併用されてよい。
【0042】
本開示によれば、モデルのトレーニングは、例えば、複数の対象物からのマルチモーダル生体測定データを含むラベル付きデータセットを使用して実施されてよい。このデータセットは、合成されたデータを使用して増強及び拡張されてよい。モデルを構成するコンピュータ演算のシーケンスは、採用されるモデル構築手法に応じて、バックプロパゲーション、マルコフ決定過程、モンテカルロ法、又は他の統計的方法により導出されてよい。モデル構築は、次元削減手法及びクラスタリング手法を含んでよい。
【0043】
上述のモデル330、350、及び370は、それぞれが、受信されたセンサデータストリームに基づいてユーザアクション特徴の信頼水準を出力するように構成されている。信頼水準は、1つ以上の個々のユーザアクション特徴に関連付けられたパーセント値の形で示される1つ以上の可能性を含んでよい。信頼水準は、ニューラルネットワークの出力層を含んでよい。信頼水準は、ベクトル形式で表現されてよい。そのようなベクトルは、コントローラに知られている各ユーザアクション特徴の可能性の値で埋められた1×nベクトルを含んでよい。例えば、生体音響センサデータストリームを受信するモデル315は、短時間の大振幅部分を有する信号を含むデータストリームを受信しうる。モデル315は、信号のその部分を、「タップ」ユーザアクション特徴(ユーザが何かをタップした)であると、90%の信頼水準で解釈しうる。
【0044】
それらのモデルのうちの少なくとも1つから出力された少なくとも1つのユーザアクション特徴及び/又は関連付けられた信頼水準は、イベントインタプリタ380によって受信される。イベントインタプリタは、その受信された少なくとも1つのユーザアクション特徴に少なくともある程度基づいて、その受信された少なくとも1つのユーザアクション特徴及び/又は関連付けられた信頼水準に対応するユーザアクション(特定されたユーザアクション)を特定するように構成されている。例えば、「タップ」ユーザアクション特徴が発生した可能性が高いことを1つのモデルが示していて、ユーザの人差し指が動いた可能性が高いことを別のモデルが示していれば、イベントインタプリタは、「人差し指でタップ」ユーザアクションが発生したと結論づける。
【0045】
イベントインタプリタは、ユーザアクション特徴とそれぞれの信頼水準のリスト及び/又はセットを含む。少なくともその必要な信頼水準に適合する可能性がモデルから受信された時点でユーザアクション特徴が特定される。競合が発生した場合には、例えば、示された可能性が最も高いユーザアクション特徴が、イベントインタプリタによって選択されてよい(argmax関数)。イベントインタプリタ380は、例えば、ルールベースシステム、推論エンジン、ナレッジベース、ルックアップテーブル、予測アルゴリズム、決定木、ヒューリスティックの少なくともいずれかを含んでよい。例えば、イベントインタプリタは、推論エンジン及びナレッジベースを含んでよい。推論エンジンは可能性セットを出力する。これらのセットは、IF-THEN文を含んでよいイベントインタプリタによって処理される。例えば、(IF)ユーザアクション特徴が特定の指に関係する場合、(THEN)その指はユーザアクションの一部である。イベントインタプリタは又、コンテキスト情報を組み込んでよく、且つ/又は利用してよく、これは、例えば、別の装置又は別の装置のアプリケーションからのコンテキスト情報308(例えば、ゲームやメニューの状態)である。このタイプのインタプリタを使用することには、特定精度が高くなるという利点がある。これは、アプリケーションに与えられる入力(例えば、ユーザインタフェースコマンド)が手首センサ推論だけに基づくものではないからである。コンテキスト情報は、制御可能装置に対するユーザの状態にアクセスできることが重要でありうる、視線追跡のようなXR技術において有用である。
【0046】
イベントインタプリタ380は、任意選択のコンテキスト情報308を受信するように構成されてよい。そのような情報として、アプリケーション状態、コンテキスト、及び/又は、インタラクションされているアプリケーション及び/又はデバイスのゲーム状態があってよい。コンテキスト情報308は、イベントインタプリタが、ユーザアクション又はユーザアクション特徴の可能性閾値を調節する為に使用してよい。例えば、アプリケーションがユーザに対して、確認の為に「ピンチ」を行うことを促す場合には、モデルが出力する、ピンチアクションが発生していることの信頼水準が低くてもピンチアクションが検出されるように、対応する「ピンチ」閾値が下げられてよい。そのような調節は、特定のアプリケーション状態、コンテキスト、及び/又は、インタラクションされているアプリケーション及び/又はデバイスのゲーム状態に関連付けられてよい。アプリケーション状態は、制御可能装置で動作しているアプリケーションの状態に対応し、例えば、変数、静的変数、オブジェクト、レジスタ、オープンファイルディスクリプタ、オープンネットワークソケット、及び/又はカーネルバッファのうちの少なくともいずれかを含んでよい。
【0047】
イベントインタプリタ380から出力される少なくとも1つのユーザアクションは、出力ジェネレータ390によって受信される。出力ジェネレータ390は、所定のユーザアクションのリスト及び/又はセット、ユーザインタフェースコマンドのリスト及び/又はセット、分類されたジェスチャのセット、及び/又は、少なくとも1つの所定のユーザアクションを少なくとも1つのユーザインタフェースコマンドにリンクする関係情報のうちの少なくともいずれかを含むマッピング情報を含む。そのようなリンクは、一対一、多対一、一対多、又は多対多であってよい。従って、所定のアクションである「サムアップ」は、例えば、ユーザインタフェースコマンドの「エンター」にリンクされてよい。別の例では、所定のアクションである「タップ」及び「ダブルタップ」はユーザインタフェースコマンドの「エスケープ」にリンクされてよい。出力ジェネレータ390は、ユーザアクションを所定のユーザインタフェースアクションにマッピングし、受信されたユーザアクションに少なくともある程度基づいてユーザインタフェースコマンド307を生成するように構成されている。このマッピングは、マッピング情報を使用して行われる。コントローラ302は、ユーザインタフェースコマンド307を装置に送信するように、且つ/又は、ユーザインタフェースコマンド307をコントローラ302のメモリに格納するように構成されてよい。
【0048】
装置300の動作の一例を以下に示す。ユーザは、装置300を手に載せて使用している。このユーザはアクションを実施し、アクションは、手首を外転させること、及び中指で親指を2回続けてタップすることを含む。装置300のセンサは、アクション中にデータの出力を以下のように行う。
・IMUセンサ303は、IMU(従って、装置300)の方位、及び加速度データを反映するデータストリーム313を出力する。
・手首輪郭センサ304は、ユーザの手首領域内の腱及び/又は筋肉の動きを反映するデータストリーム314を出力する。
・生体音響センサ305は、ユーザの手首領域内の振動を反映するデータストリーム315を出力する。
データストリーム313、314、及び315は、それぞれ、モデル330、350、及び370によって受信される。モデル330では、IMUセンサデータがモデルによって使用されて、信頼水準が68%のユーザアクション特徴「手首外転」がイベントインタプリタ380に渡される。モデル304では、手首輪郭データがモデルによって使用されて、信頼水準がそれぞれ61%及び82%である2つのユーザアクション特徴「中指の動き」がイベントインタプリタ380に渡される。モデル305では、生体音響データがモデルによって使用されて、信頼水準がそれぞれ91%及び77%である2つのユーザアクション特徴「タップ」がイベントインタプリタ380に渡される。
【0049】
従って、イベントインタプリタ380は、ユーザアクション特徴「手首外転」、「中指の動き」(2回)、及び「タップ」(2回)、並びにそれぞれの信頼水準を受信する。 イベントインタプリタは、それらのユーザアクション特徴の閾値が満たされたと判定する。この判定は、任意選択でコンテキストデータ308を処理に利用して(例えば、データ308に基づいて閾値を調節することによって)行われる。このようにして、イベントインタプリタ380は、イベントインタプリタ内のIF-THEN規則に基づいて、「手首を外転」及び「中指でダブルタップ」というユーザアクションを生成する。これらのユーザアクションは、出力ジェネレータ390によって受信される。出力ジェネレータは、マッピング情報を使用して、どのユーザアクションがどのコマンドにリンクするかを判断して、適切なユーザインタフェースコマンドを生成する。この例では、「手首外転」は「シフト」にマッピングされ、「中指でダブルタップ」は「ダブルクリック」にマッピングされる。このようにして、出力ジェネレータ390は、「シフト」+「ダブルクリック」を含むユーザインタフェースコマンド307を生成し、このコマンドはパーソナルコンピュータ等の装置に送信される。この例では、パーソナルコンピュータコンピュータは、センサデータでもユーザアクションでもない標準的なユーザインタフェースコマンドを受信する為、装置300は、パーソナルコンピュータを事前にプログラムすることなく使用可能である。
【0050】
図3Bには、装置400の一例示的概略図が示されている。装置400は装置300と同様であるが、異なる点として、装置400は、データストリーム413、414、及び415を1つのモデル435に送る。モデル435は、モデル330、350、370と同様に、少なくとも1つのニューラルネットワークを含んでよい。そのようなモデルは、入力データ(例えば、センサから受信された信号、及び/又は前処理されたデータ)に対して推論を実施するように構成されている。そのモデルは、入力データに基づいて、少なくとも1つの特定されたユーザアクション特徴及び/又はそれぞれの信頼水準を出力するように構成されている。使用するモデルが1つであることの利点は、必要な記憶装置が少なくなることである。
【0051】
図4A及び4Bは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置500及び600を示す。これらの装置は、特に断らない限り、装置100、200、300、及び400と同じである。
【0052】
図4Aには、装置500の一例示的概略図が示されている。図示のように、コントローラ502は(例えば、コントローラのメモリ内に)前処理シーケンス520、540、及び560を含んでよい。前処理シーケンス520、540、及び560は、センサからの信号(例えば、信号513、514、及び515)を受信するように構成されている。前処理シーケンス520、540、及び560は、受信された信号に対して前処理を実施し、前処理済み信号をモデルに送るように構成されている。前処理済み信号は、準備済みデータ又は準備済み信号と呼ばれてよい。前処理は、例えば、データクレンジング、特徴量変換、特徴量エンジニアリング、及び特徴量選択の少なくともいずれかを含んでよい。
【0053】
前処理シーケンス520、540、及び560は、(例えば、本明細書で既に説明されたセンサフュージョンを実施する為に)互いに通信するように構成されてよい。この任意選択の通信は、図4ではシーケンス同士をつなぐ点線矢印で示されており、あるシーケンスの前処理パラメータを、別のシーケンス内にある情報に基づいて調節することを含んでよい。この情報は、例えば、パラメータ値、サンプリング値、及び/又は信号値の少なくともいずれかであってよい。更に、前処理パラメータは、コンテキスト情報508等のコンテキスト情報に基づいて調節されてよい。例えば、センサデータのサンプリングレートは、アプリケーション状態に応じて調節されてよい。別の例では、IMUデータが動きのないことを示している場合には、より精密な動きが検出されるように、手首輪郭のサンプリング範囲が狭められてよい。少なくとも1つのシーケンスが、別のシーケンスにデータを伝達するように構成されてよく、少なくとも1つのシーケンスが、別のシーケンスからデータを受信するように構成されてよい。例えば、あるシーケンスがフィルタを含む場合には、フィルタパラメータを調節する為に、別のシーケンスからのデータが使用されてよい。別の例では、ユーザによる装置の装着が緩いことをIMUが示している場合には、この情報を使用して、手首輪郭センサの前処理シーケンスの調節が行われてよい。前処理シーケンス通信の利点は、モデルへの入力がより正確になることであり、これは、フィルタ特性が向上し、それが正確さの向上につながる為である。更に、通信によって、ユーザの生態及び動きへの適応の向上が可能になり、これもやはり、フィルタ特性の向上、並びにセンサ間の相互参照可能性の向上による。又、ユーザ間並びに動きアーチファクト間の人体測定学的ばらつきに関しても適応が向上する。
【0054】
図4Bには、装置600の一例示的概略図が示されている。装置600は、コントローラ602及び制御可能装置660を含む。装置600では、信号613、614、及び615の前処理は、コントローラ602内のシーケンス625で行われる。装置600では、シーケンス625から出力される前処理済みデータは、コントローラ602内でモデル635が使用する。シーケンス625は、シーケンス520、540、及び560と同様に機能するように構成されている。更に、シーケンス625では、(例えば、サブサンプリング、量子化、相補フィルタ、及び/又はカルマンフィルタによる)前処理の後にデータが結合されてよい。モデル635は、モデル435と同様である。シーケンス625及び/又はイベントインタプリタ680は、任意選択のコンテキストデータ608を使用するように構成されてよい。データ608は、データ308、408、及び508と同様である。コンテキストデータ608は双方向性でもある。即ち、このデータは、装置660のアプリケーション状態、前処理状態625のデータ、及び/又はイベントインタプリタ680のデータの少なくともいずれかに基づいて変化しうる。装置600は、イベント解釈及びUIコマンド生成が装置660内で行われるように構成されている。
【0055】
少なくとも幾つかの実施形態では、例えば、モデル435、635と同様の単一モデルが、(シーケンス間通信を含む)520、540、560と同様の複数の前処理シーケンスとともに使用されるように、装置300、400、500、600と同様の装置が構成されてよい。少なくとも幾つかの実施形態では、例えば、シーケンス625と同様の単一前処理シーケンスが、モデル330、350、370と同様の複数のモデルとともに使用されてよいように、装置300、400、500、600と同様の装置が構成されてよい。
【0056】
図5は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な一例示的プロセスをフローチャート形式で示す。図5の上部には、(例えば、センサ104、304、404、504、604と同様の)手首輪郭センサ、(例えば、センサ105、305、405、505、605と同様の)生体音響センサ、及び(例えば、103、303、403、503、603と同様の)IMUが示されている。フローチャートの各アクション及び各ステップは、装置(例えば、コントローラ等の、本明細書に開示の装置)によって少なくともある程度実施されてよい。少なくとも幾つかのアクション(例えば、コンテキスト情報を出力するアクション)は、別の装置(例えば、制御可能システム等)によって実施されてよい。
【0057】
図5のフローチャートは、例示的であって非限定的なステップ901、902、903を含む。これらのステップは、図3A、3B、及び4A、4Bに示されたプロセスと同様のプロセスがフローチャートではどのように表されるかを示す為にのみ与えられている。図5に示すように、各アクションは必ずしも1つのステップに収まらなくてもよい。更に、ステップ901、902、903内の各アクションは、並行して実施されなくてもよい。
【0058】
ステップ901は、センサの調節を含む。そのような調節は自己参照式であってよい。例えば、センサは、記憶されている基準値又は既知の良好な値(例えば、IMUの場合の磁北)に従って調節又は較正される。追加又は代替として、調節はコンテキスト的であってよく、生体音響センサの利得は、周囲の騒音レベルに応じて調節される。
【0059】
生体音響センサの場合は、フローチャートに見られるように、任意選択で、バンドパスフィルタが実装されてよい。そのようなフィルタは、帯域幅を、関心対象アクティビティが発生する領域のみに狭めることに役立ちうる。このように帯域幅を狭めることにより、信号対ノイズ比が向上し、後続の処理ステップに対するデータペイロードのサイズが小さくなる。
【0060】
フローチャートに見られるように、サンプル(センサデータ)の取得後、取得されたセンサデータが前処理される。ステップ902は、前処理を含み、図4Aのブロック520、540、及び560、並びに図4Bのブロック625に対応する。
【0061】
フローチャートに見られるように、前処理後、前処理されたデータはステップ903で各モデルに入力される。フローチャートでは、(図3A及び4Aと同様に)各センサはそれぞれのモデルを有するが、(図3B及び4Bと同様に)単一モデルによるソリューションも使用可能である。フローチャートのそれらのモデルは、モデル330、530、350、550、370、570と同様である。フローチャートでは、前処理済みIMUデータは、IMUの方位(従って、ユーザの手の方位)を(例えば、ニューラルネットワークなしで)直接計算する為に使用される。そのような計算は、例えば、上述の四元数の議論に対応する。
【0062】
更に、ステップ903で、モデルは、ユーザアクション特徴に対応する正規化推論出力を出力する。「正規化」は、このコンテキストでは、所与の推論の信頼値の総和を合計で1にすることを意味する。IMUデータの場合、出力は、IMUセンサの方位を反映する四元数である。ユーザアクション特徴に対応する出力データが、(インタプリタ380、480、580、680と同様の)イベントインタプリタに渡される。
【0063】
アプリケーション状態を反映する任意選択のコンテキスト情報も同様に、イベントインタプリタに渡されてよい。このコンテキスト情報は、情報308、408、508、608と同様である。フローチャートに見られるように、このコンテキスト情報は、代替又は追加として、ステップ901及び/又は902の少なくとも一方にも渡されてよく、この渡すことは、任意選択であり、調節ブロック及び/又は前処理ブロックのうちの幾つかにのみ渡すことを含んでよく、例えば、調節ブロック及び/又は前処理ブロックのうちの少なくとも1つに渡すことを含んでよい。
【0064】
イベントインタプリタはユーザ入力を特定し、特定されたユーザ入力は、(例えば、UIコマンド307、407、507、607のフォーマットに相当するフォーマットで)制御対象アプリケーションに渡される。そのアプリケーションは、別の装置又はネットワーク接続されたデバイスで実行されてよい。
【0065】
図6は、本明細書に開示の実施形態のうちの少なくとも幾つかを反映する簡略化されたフローチャートを示す。この図では、人工ニューラルネットワーク(ANN)861及び862が、簡略化されたグラフィカル表現で示されている。例えば、モデル330、530、350、550、370、570はそのようなニューラルネットワークを含んでよい。そのようなモデルは、信頼範囲を、図示のようにベクトル形式で(ベクトル864、865)出力するように構成されてよい。そのようなベクトルは、コントローラに知られている各ユーザアクション特徴の可能性の値で埋められた1×nベクトルを含んでよい。例えば、モデル861は、指分類器モデルを含んでよい。例えば、モデル862は、過渡検出器モデルを含んでよい。
【0066】
図に見られるように、IMUデータに関しては、(要素864によってグラフィカルに表現されている)モデル内で四元数が計算されてよく、そのモデルから四元数方位データ(866)が出力されてよい。
【0067】
図6に見られるように、出力864、865、及び866は、イベントインタプリタ868(ここでは簡略化されたブロックで示されている)に渡される。イベントインタプリタ868は、インタプリタ380、480、580、680と同様であってよい。イベントインタプリタ868は、任意選択で、制御可能アプリケーション870からコンテキスト情報869を受信するように構成されてよい。コンテキスト情報869は、情報308、408、508、608と同様である。制御可能アプリケーション870は、ユーザ空間を含んでよい。
【0068】
図7は、本発明の実施形態の少なくとも幾つかをサポートすることが可能な装置700を示す。
【0069】
装置700はコントローラ702を含む。コントローラは、少なくとも1つのプロセッサと、コンピュータプログラムコード及び任意選択でデータを含む少なくとも1つのメモリと、を含む。コントローラ700は更に、通信装置又はインタフェースを含んでよい。そのような装置は、例えば、無線及び/又は有線の送受信器を含んでよい。装置700は更に、コントローラに作用的に接続されたセンサ(例えば、センサ703、704、705)を含んでよい。これらのセンサは、例えば、IMU、生体音響センサ、手首輪郭センサの少なくともいずれかを含んでよい。装置700は又、図7に示されていない他の要素も含んでよい。
【0070】
装置700は、1つのプロセッサを含むように示されているが、2つ以上のプロセッサを含んでもよい。一実施形態では、メモリは命令を格納することが可能であり、例えば、オペレーティングシステム、各種アプリケーション、モデル、ニューラルネットワーク、及び/又は前処理シーケンスの少なくともいずれかを格納することが可能である。更に、メモリは、(例えば、本開示の実施形態において使用される情報及びデータの少なくとも一部を格納することに使用されてよい)記憶装置を含んでよい。
【0071】
更に、プロセッサは、格納されている命令を実行することが可能である。一実施形態では、プロセッサは、マルチコアプロセッサとして、又はシングルコアプロセッサとして、又は1つ以上のマルチコアプロセッサと1つ以上のシングルコアプロセッサの組み合わせとして実施されてよい。例えば、プロセッサは、様々な処理デバイスのうちの1つ以上として実施されてよく、そのような処理デバイスとして、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ(DSP)、DSPを伴う又は伴わない処理回路、又は他の様々な処理デバイスがあり、他の様々な処理デバイスは、例えば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、マイクロコントローラユニット(MCU)、ハードウェアアクセラレータ、専用コンピュータチップ、その他の集積回路を含む。一実施形態では、プロセッサは、ハードコードされた機能を実行するように構成されてよい。一実施形態では、プロセッサは、ソフトウェア命令の実行器として実施され、それらの命令は、実行されたときに、プロセッサが本明細書に記載のモデル、シーケンス、アルゴリズム、及び/又は操作のうちの少なくともいずれかを実施するように、プロセッサを特に構成してよい。
【0072】
メモリは、1つ以上の揮発性メモリデバイスとして、且つ/又は1つ以上の不揮発性メモリデバイスとして、且つ/又は1つ以上の揮発性メモリデバイスと1つ以上の不揮発性メモリデバイスの組み合わせとして実施されてよい。例えば、メモリは、半導体メモリ(例えば、マスクROM、PROM(プログラム可能ROM)、EPROM(消去可能PROM)、フラッシュROM、RAM(ランダムアクセスメモリ)等)として実施されてよい。
【0073】
その少なくとも1つのメモリ及びコンピュータプログラムコードは、その少なくとも1つのプロセッサとともに、少なくとも1つの手首輪郭センサから第1のセンサデータストリームを受信するステップと、少なくとも1つの生体音響センサから第2のセンサデータストリームを受信するステップと、少なくとも1つの慣性測定装置から第3のセンサデータストリームを受信するステップと(但し、第1、第2、及び第3のセンサデータストリームは並行して受信される)、第1、第2、及び第3のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも1つの特徴を特定するステップと、ユーザアクションの特定された少なくとも1つの特徴に基づいて、少なくとも1つのユーザアクションを特定するステップと、特定された少なくとも1つのユーザアクションに少なくともある程度基づいて、少なくとも1つのユーザインタフェース(UI)コマンドを生成するステップと、を装置700に少なくとも実施させるように構成されてよい。これらのアクションについては、既に図1~6に関して詳細に説明した。
【0074】
少なくとも幾つかの実施形態では、本発明をサポートすることが可能な装置は、装置のセンサが単一ハウジングに収まるように構成されている。そのような単一ハウジングの装置の例を以下に示す。センサ(例えば、IMU853、手首輪郭センサ854、及び生体音響センサ855)を単一ハウジング内に配置すると、構造がロバストになる。
【0075】
図8A及び8Bは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置850を示す。装置850は、装置100、200、300、400、500、600、及び/又は700と全く同じであってよい。
【0076】
図8Aは、装置850の側面図を示す。装置850は、コントローラ852、IMU853、手首輪郭センサ854、及び/又は生体音響センサ855を含む。手首輪郭センサ854は、(例えば、アレイとして配列された)1つ以上の輪郭測定センサ856を含んでよい。一実施形態では、装置850は、センサ853、854、及び855を単一ハウジング858内に含む。図8Aから分かるように、センサ854及び855は、ハウジング内でハウジングの外側からの信号を測定できるように位置しており、例えば、これらのセンサは、ハウジングのポートと接続されて、又はハウジングの表面近くに配置されてよい。即ち、手首輪郭センサ854及び生体音響センサ855で測定される信号は、ハウジングの外側からのものである。少なくとも幾つかの実施形態では、装置850はマウント用構成要素801を含んでよく、これは、例えば、ストラップであってよい。少なくとも幾つかの実施形態では、装置850はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置850は、例えば、ハプティックデバイス、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Bluetooth通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【0077】
図8Bは、装置850の底面図を示す。手首輪郭センサ854は、輪郭測定センサ856のアレイを含み、これらはハウジング858の表面上に見られる。この表面は、凹面形状であってよい。輪郭測定センサ856のアレイは、ユーザがデバイス850を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ855も、ハウジング858の表面上に見られる。センサ855は、ユーザがデバイス850を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。装置850は、センサ853、854、及び855からの信号を並行して取得するように構成されてよい。
【0078】
図9は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置920を示す。装置920は、装置100、200、300、400、500、600、及び/又は700と全く同じであってよい。
【0079】
図9は、装置920の等角底面図を示す。装置920は、ハウジング928内に、コントローラ、IMU、輪郭測定センサ926を含む手首輪郭センサ、及び/又は生体音響センサ925を含む。輪郭測定センサ926のアレイは、ハウジング928の表面上に見られる。この表面は、凹面形状であってよい。輪郭測定センサ926のアレイは、ユーザがデバイス920を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ925も、ハウジング928の表面上に見られる。センサ925は、ユーザがデバイス920を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。
【0080】
図9から分かるように、センサ926のアレイ及び生体音響センサ925は、ハウジング928の表面上に環状に配列されてよい。そのような構成により、他の構成要素(例えば、センサ)をハウジング928の中心領域929に配置することが可能である。即ち、センサ926のアレイ及びセンサ925をハウジング928の周縁部に沿って(例えば、環状及び/又は矩形状に)配列することにより、それ以外のスペースに他のセンサを配置することが可能になる為、ハウジング928の同じ表面上に他のセンサを収容することが容易になる。更に、それらの他のセンサは、それらと輪郭測定センサとの間に間隔をとって、あらゆる潜在的干渉を最小限に抑えるように構成されてよい。例えば、心拍数センサは、中心領域929に都合よく配置されてよい。そのような配置により、輪郭測定センサからの起こりうる干渉(例えば、光学的干渉)が最小限に抑えられる。
【0081】
装置920は、IMUからの信号、並びにセンサ925及び926からの信号を並行して取得するように構成されてよい。少なくとも幾つかの実施形態では、装置920はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置920は、例えば、ハプティックデバイス、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Bluetooth通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【0082】
図10A及び10Bは、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置940を示す。図10Aは、装置940の底面図を示す。図10Bは、装置940の等角切り欠き上面図を示す。装置940は、コントローラ、IMU943、手首輪郭センサ944、及び/又は生体音響センサ945を含む。手首輪郭センサ944は、(例えば、図10Aに見られるように、同心円状のアレイとして配列された)1つ以上の輪郭測定センサ946を含んでよく、又はそのような輪郭測定センサ946に接続されてよい。このアレイに含まれる円環の数は1~24であってよく、好ましくは3~6であってよく、特に3であってよい。円環の数は、装置のフォームファクタに依存してよい。このコンテキストでは、円環は、例えば、開曲線又は閉曲線に沿って間隔を空けて配置された少なくとも1つのセンサの任意のジオメトリ配列を意味する。例えば、円環又は矩形環、楕円環、直線、又はX字形を含むループが好適である。例えば、最も内側のループが、そのループに沿って間隔を空けて配置された6個のセンサを含んでよく、2番目に内側のループが、そのループに沿って間隔を空けて配置された12個のセンサを含んでよく、最も外側のループが、そのループに沿って間隔を空けて配置された16個のセンサを含んでよい。ループは、円形、矩形、又は他の形状であってよい。装置940は、センサ943、944、及び945を単一ハウジング948内に含む。センサ946、945は、ハウジングの外側から来る信号を測定する為に、ハウジングの表面上に配置されている。この表面は、凹面形状であってよい。少なくとも幾つかの実施形態では、装置940はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置940は、例えば、ハプティックアクチュエータ、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Bluetooth通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【0083】
図10Bは、装置940の等角切り欠き上面図を示す。この図では、ハウジング948の内部が見えるようにする為に、スクリーン及び/又は上部ケーシング及び/又はベゼル等の構成要素を省略している。ハウジング948内には回路基板がマウントされている。この回路基板上に、IMU943、プロセッサ949、及びメモリ949B等の構成要素がマウントされてよい。このプロセッサ及びこのメモリは、一緒に、装置940のコントローラを含んでよい。センサ943、944、946、及び945を含むセンサは、センサデータがコントローラに渡されるように、プロセッサ949A及び/又はメモリ949Bに直接又は間接的に接続されてよい。
【0084】
図11は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置970を示す。図11は、装置970の底面図を示す。装置970は、ウェアラブルデバイス(例えば、スマートウオッチ)に取り付け可能である。つまり、装置970は、アドオン装置の一例である。アドオン装置は、単独で、又は別の装置との組み合わせで且つ/又はマウント用構成要素との組み合わせで使用されるように設計されている。アドオン装置は、少なくとも幾つかの実施形態では、マウント用構成要素及び/又はスクリーンを含まなくてよい。アドオン装置は、他のデバイス(例えば、ウェアラブルデバイス)と無線又はポート経由で通信してよい。アドオン装置は、少なくとも以下の方法で他のウェアラブルデバイスと使用されてよい。
・アドオン装置は、ユーザ又はユーザのジェスチャに関連する信号を測定できるように、(例えば、図12に見られるように)別のウェアラブルデバイスのボディに直接取り付けられてよい。
・アドオン装置は、別のウェアラブルデバイスのマウント用構成要素に取り付けられてよく、この場合、マウント用構成要素は、ストラップ(例えば、別のウェアラブルデバイスのストラップと同じストラップ)又は(例えば、アクティビティブレスレットの場合には)ブレスレットである。
・アドオン装置は、ストラップ等のマウント用構成要素の一部であってよく、又はそのマウント用構成要素に接続されてよく、例えば、図11に見られるように、アドオン装置の一方の側部が他のウェアラブルデバイスに接続され、他方の側部がストラップに接続されてよい。
【0085】
装置970は、単一ハウジング内に、コントローラ、IMU、手首輪郭センサ、及び/又は生体音響センサ975を含む。手首輪郭センサは、輪郭測定センサのアレイを含んでよく、例えば、ハウジングの表面上に配列されたセンサ976を含んでよい。この表面は、凹面形状であってよい。輪郭測定センサのアレイは、ユーザがデバイス970を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ975も、ハウジングの表面上に配置されている。手首輪郭センサは、ユーザが装置970を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。図11に見られるように、センサに対応する測定領域は、本開示の実施形態に応じて異なりうる。例えば、図9では、測定領域は、典型的には、ユーザの手首の中心部分にあり、一方、図11の実施形態では、測定領域はユーザの手首の側部寄りになる。
【0086】
図11に見られるように、装置970は、装置の左端部がマウント用構成要素(例えば、ストラップ)に接続されており、装置の右端部がウェアラブルデバイスに接続されている。マウント用構成要素との接続は任意の適切な手段で行われてよく、例えば、マウント用ブラケット及び/又は接着剤で行われてよい。ウェアラブルデバイスとの接続は、例えば、ウェアラブルデバイスと嵌合するピン979(例えば、時計ピン)で行われてよい。図11から分かるように、センサ975及び976は、ハウジングの外側からの信号を測定できるように、ハウジングの表面上に位置する。
【0087】
一例示的実施形態では、センサ975及び976は、装置920のパターン、又は装置940のパターンと同様の環状パターンで配列されてよい。別の例示的実施形態では、図11に見られるように、センサは、装置850のパターンと同様に、縦列と横列が直交するように配列されてよい。装置970は、IMUからの信号、並びにセンサ975及び976からの信号を並行して取得するように構成されてよい。装置970は、データ(例えば、ユーザアクション及び/又はユーザインタフェースフレーム)を無線で(例えば、Bluetoothを使用して)別のデバイスに送信するように構成されてよい。そのようなデータ送信の受信側は、取り付けられているウェアラブルデバイス、任意のウェアラブルデバイス、スマートフォンの少なくともいずれかであってよい。
【0088】
図12は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置950を示す。図12は、装置950の側面図を示す。装置950は、ウェアラブルデバイス(例えば、スマートウオッチ)に取り付け可能である。つまり、装置950は、アドオン装置の一例である。装置950は、任意の適切な手段でウェアラブルデバイスに取り付けられてよく、例えば、スナップフィット(プレスフィット)等の機械的摩擦及び/又はねじ留め、接着剤、磁力接続、熱膨張による嵌合の少なくともいずれかによって取り付けられてよい。
【0089】
装置950は、ハウジング958内に、コントローラ、IMU、手首輪郭センサ、及び/又は生体音響センサ955を含む。輪郭測定センサ956のアレイは、ハウジング958の表面上に見られる。この表面は、凹面形状であってよい。輪郭測定センサ956のアレイは、ユーザがデバイス950を身に着けているときにユーザの手首輪郭測定値を検出するように構成されてよい。生体音響センサ955も、ハウジング958の表面上に見られる。センサ955は、ユーザがデバイス950を身に着けているときにユーザに関連する生体音響信号を測定するように構成されてよい。
【0090】
図12から分かるように、センサ955及び956は、ハウジングの外側からの信号を測定できるように、ハウジングの表面上に位置する。一例示的実施形態では、センサ955及び956は、装置920のパターン、又は装置940のパターンと同様の環状パターンで配列されてよい。別の例示的実施形態では、センサは、装置850のパターンと同様に、縦列と横列が直交するように配列されてよい。装置950は、IMUからの信号、並びにセンサ955及び956からの信号を並行して取得するように構成されてよい。装置950は、データ(例えば、ユーザアクション及び/又はユーザインタフェースフレーム)を無線で(例えば、Bluetoothを使用して)別のデバイスに送信するように構成されてよい。そのようなデータ送信の受信側は、取り付けられているウェアラブルデバイス、任意のウェアラブルデバイス、スマートフォンの少なくともいずれかであってよい。
【0091】
本開示は又、以下の条項によって利用されてよい。
【0092】
条項1。コンピュータ可読命令のセットを格納している非一時的コンピュータ可読媒体であって、この命令セットは、少なくとも1つのプロセッサで実行されたときに、少なくとも、
少なくとも1つの手首輪郭センサと、振動センサを含む少なくとも1つの生体音響センサと、IMU等の少なくとも1つの動きセンサと、を使用して、ユーザの少なくとも1つの動きに対応する並行信号を測定するステップと、
少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリと、を含むコントローラにおいて、それらの測定された並行信号を受信するステップと、
それらの受信された並行信号をコントローラによって結合するステップと、
それらの受信された信号を結合したものの特徴に少なくともある程度基づいて、ヒューマンインタフェースデータ(HID)データフレームをコントローラによって生成するステップと、
を装置に実施させる、非一時的コンピュータ可読媒体。
【0093】
条項2。マルチモーダル生体測定装置であって、
ストラップと、
少なくとも1つの手首輪郭センサと、
振動センサを含む少なくとも1つの生体音響センサと、
少なくとも1つの動きセンサと、
少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリと、を含むコントローラであって、その少なくとも1つのメモリ及びそのコンピュータプログラムコードは、その少なくとも1つのプロセッサとともに、少なくとも、
手首輪郭センサ、生体音響センサ、及び動きセンサからの並行信号を受信するステップと、
その受信された信号を結合するステップと、
それらの受信された信号を結合したものの特徴に少なくともある程度基づいて、ヒューマンインタフェースデータ(HID)データフレームを生成するステップと、
をコントローラに実施させるように構成されている、コントローラと、
を含む装置。
【0094】
条項3。少なくとも1つの手首輪郭センサ、少なくとも1つの生体音響センサ、及び少なくとも1つの動きセンサは、単一ハウジング内に配置されている、条項2に記載の装置。
【0095】
条項4。スマートウオッチを含む、条項2又は3に記載の装置。
【0096】
条項5。手首輪郭センサは輪郭測定センサのアレイを含み、このアレイは、少なくとも1つの生体音響センサとともに、単一ハウジングの表面上に環状に配列されており、この表面は凹面形状であることが好ましい、条項2~4のいずれか一項に記載の装置。
【0097】
条項6。手首輪郭センサは、単一ハウジングの表面上に同心円を構成する、輪郭測定センサのアレイを含み、このアレイに含まれる円環の数は1~25であり、好ましくは2~6であり、特に3である、条項2~5のいずれか一項に記載の装置。
【0098】
条項7。装置はアドオンデバイスを含み、装置は、以下の構成の少なくともいずれかにより別のウェアラブルデバイスに取り付けられるように構成されている、即ち、
アドオン装置は、アドオン装置のセンサが(例えば、センサがユーザのほうを向くように)ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ/又は、
アドオン装置は、別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ/又は、
アドオン装置は、別のウェアラブルデバイスのマウント用構成要素の一部であるか、そのマウント用構成要素に接続されるように構成されており(ここではマウント用構成要素はストラップであり)、例えば、アドオン装置の一方の側部が他のウェアラブルデバイスに接続され、他方の側部がストラップに接続されるように構成されている、
条項2~6のいずれか一項に記載の装置。
【0099】
条項8。コントローラは、単一ハウジング内に配置されている、条項2~7のいずれか一項に記載の装置。
【0100】
条項9。その生成することは、受信された信号を結合したものの特徴に基づいて、少なくとも1つのユーザアクション特徴を特定することを含み、その特定することは、その少なくとも1つのユーザアクション特徴を特定し、その少なくとも1つのユーザアクション特徴に対応する信頼水準を出力するようにトレーニングされた少なくとも1つのニューラルネットワークに、受信された信号を入力することを含む、条項1に記載の方法、又は、条項2~8のいずれか一項に記載の装置。
【0101】
条項10。条項1又は条項9による方法が実施されるように構成されたコンピュータプログラムであって、非一時的コンピュータ可読媒体に格納可能なコンピュータプログラム。
【0102】
本開示には次の利点がある。即ち、マルチモーダル検知を用いると、ユーザアクションを検知するときの特定精度が高くなる。これは、検知されたアクションが、複数のセンサの出力に基づいて特定される為である。更に、この装置及び方法は、個々のユーザへの適合性が高い。それは、各センサを、ユーザ固有の生態及び癖をより考慮するように構成できる為である。
【0103】
当然のことながら、開示された本発明の実施形態は、本明細書で開示された特定の構造、処理手順、又は材料に限定されず、当業者であれば理解されるであろう、その等価物まで拡張される。更に、当然のことながら、本明細書で使用された術語は、特定の実施形態の説明の為にのみ使用されており、限定的であることを意図されていない。
【0104】
本明細書を通しての一実施形態(one embodiment)又は一実施形態(an embodiment)への参照は、その実施形態に関連して説明された特定の特徴、構造、又は特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。従って、本明細書全体の様々な場所での「一実施形態では(in one embodiment)」又は「一実施形態では(in an embodiment)」という語句の出現は、必ずしも全てが同じ実施形態を参照しているわけではない。例えば、約(about)又はほぼ(substantially)等の語句を使用して数値が参照された場合は、厳密な数値も開示されている。
【0105】
本明細書で使用されている複数のアイテム、構造要素、組成要素、及び/又は材料は、便宜上、一般的なリストに存在してよい。しかしながら、これらのリストは、リストの各要素が別個且つ固有の要素として個別に識別されるかのように解釈されるべきである。従って、そのようなリストの個々の要素は、反対の意味で示されているのでない限り、それらが一般的なグループに存在することにのみ基づいて、同じリストの他の任意の要素の事実上の等価物として解釈されるべきである。更に、本明細書では、本発明の様々な実施形態及び実施例は、それらの様々な構成要素に関しては代替形態と併せて参照されてよい。当然のことながら、そのような実施形態、実施例、及び代替形態は、互いの事実上の等価物として解釈されるべきではなく、本発明の別個且つ独立の表現と見なされるべきである。
【0106】
更に、記載の特徴、構造、又は特性は、1つ以上の実施形態において任意の適切な様式で組み合わされてよい。この説明では、本発明の実施形態の十分な理解が得られるように、長さ、幅、形状等の例のような様々な具体的詳細が示されている。しかしながら、当業者であれば理解されるように、本発明は、これらの具体的詳細のうちの1つ以上がなくても、或いは、他の方法、構成要素、材料等でも実施可能である。他の例では、よく知られている構造、材料、又は動作が詳しく図示又は説明されてはいないが、これは、本発明の態様が曖昧にならないようにする為である。
【0107】
上述の各実施例は、本発明の原理を1つ以上の特定用途において例示したものであるが、当業者であれば明らかなように、発明的能力を行使することなく、且つ、本発明の原理及び概念から逸脱しない限り、実施態様の形式、用法、及び細部の様々な変更が行われてよい。従って、本発明は、後述の特許請求項によって限定される場合を除いて限定されないものとする。
【0108】
本文書では「含む(to comprise)」及び「含む(to include)」という動詞は、記載されていない特徴の存在を排除することも必要とすることもない開放的限定(open limitations)として使用されている。従属請求項に記載された特徴は、特に別段に明記されない限りは、相互に自由に組み合わされてよい。更に、当然のことながら、「a」又は「an」、即ち、単数形の使用は、本文書全体を通して複数性を排除しない。
【産業上の利用可能性】
【0109】
本発明の少なくとも幾つかの実施形態は、制御可能装置(例えば、パーソナルコンピュータ)に(例えば、XRに関連する)ユーザインタフェースを与えることに産業用途がある。
【符号の説明】
【0110】
100、200、300、400、500、600、700、850、920、940、950、970 装置
101、201、851、921 マウント用構成要素
102、302、402、502、602、702、852 コントローラ
103、303、403、503、603、703、853、943 慣性測定装置(IMU)
104、304、404、504、604、704、854、944 手首輪郭センサ
105、305、405、505、605、705、855、925、945、975、955 生体音響センサ
106、856、926、946、976、956 輪郭測定センサ
294 手首輪郭
295 生体音響測定領域
296 IMU
297 手首輪郭測定領域
298 ハウジング突起
299 ユーザの手
307、407、507、607 UIコマンド
313、413、513、613 センサデータストリーム
314、414、514、614 センサデータストリーム
315、415、515、615 センサデータストリーム
330、530、861 モデル
350、550、862 モデル
370、570、863 モデル
380、480、580、680、868 イベントインタプリタ
390、490、590、690 出力ジェネレータ
660 制御可能装置
435、635 モデル
520、540、560 前処理シーケンス
625 前処理シーケンス
308、408、508、608、869 コンテキスト情報
858、928、948 ハウジング
929 ハウジングの中心領域
864、865 信頼水準ベクトル
866 方位データ(四元数)
870 制御可能装置
801、802、803、804 信号
901、902、903 方法のステップ
図1A
図1B
図2A
図2B
図2C
図2D
図2E
図2F
図2G
図3A
図3B
図4A
図4B
図5
図6
図7
図8A
図8B
図9
図10A
図10B
図11
図12
【手続補正書】
【提出日】2023-07-13
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0048
【補正方法】変更
【補正の内容】
【0048】
装置300の動作の一例を以下に示す。ユーザは、装置300を手に載せて使用している。このユーザはアクションを実施し、アクションは、手首を外転させること、及び中指で親指を2回続けてタップすることを含む。装置300のセンサは、アクション中にデータの出力を以下のように行う。
・IMUセンサ303は、IMU(従って、装置300)の方位、及び加速度データを反映するデータストリーム313を出力する。
・手首輪郭センサ304は、ユーザの手首領域内の腱及び/又は筋肉の動きを反映するデータストリーム314を出力する。
・生体音響センサ305は、ユーザの手首領域内の振動を反映するデータストリーム315を出力する。
データストリーム313、314、及び315は、それぞれ、モデル330、350、及び370によって受信される。モデル330では、IMUセンサデータがモデルによって使用されて、信頼水準が68%のユーザアクション特徴「手首外転」がイベントインタプリタ380に渡される。モデル350では、手首輪郭データがモデルによって使用されて、信頼水準がそれぞれ61%及び82%である2つのユーザアクション特徴「中指の動き」がイベントインタプリタ380に渡される。モデル370では、生体音響データがモデルによって使用されて、信頼水準がそれぞれ91%及び77%である2つのユーザアクション特徴「タップ」がイベントインタプリタ380に渡される。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0076
【補正方法】変更
【補正の内容】
【0076】
図8Aは、装置850の側面図を示す。装置850は、コントローラ852、IMU853、手首輪郭センサ854、及び/又は生体音響センサ855を含む。手首輪郭センサ854は、(例えば、アレイとして配列された)1つ以上の輪郭測定センサ856を含んでよい。一実施形態では、装置850は、センサ853、854、及び855を単一ハウジング858内に含む。図8Aから分かるように、センサ854及び855は、ハウジング内でハウジングの外側からの信号を測定できるように位置しており、例えば、これらのセンサは、ハウジングのポートと接続されて、又はハウジングの表面近くに配置されてよい。即ち、手首輪郭センサ854及び生体音響センサ855で測定される信号は、ハウジングの外側からのものである。少なくとも幾つかの実施形態では、装置850はマウント用構成要素851を含んでよく、これは、例えば、ストラップであってよい。少なくとも幾つかの実施形態では、装置850はスマートウオッチを含んでよい。少なくとも幾つかの実施形態では、装置850は、例えば、ハプティックデバイス、スクリーン、タッチスクリーン、スピーカ、心拍数センサ、Bluetooth通信デバイス等の構成要素の少なくともいずれかを含んでよい。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0108
【補正方法】変更
【補正の内容】
【0108】
本文書では「含む(to comprise)」及び「含む(to include)」という動詞は、記載されていない特徴の存在を排除することも必要とすることもない開放的限定(open limitations)として使用されている。従属請求項に記載された特徴は、特に別段に明記されない限りは、相互に自由に組み合わされてよい。更に、当然のことながら、「a」又は「an」、即ち、単数形の使用は、本文書全体を通して複数性を排除しない。
〔付記1〕
マルチモーダル生体測定装置であって、
ユーザが身に着けるように構成されたマウント用構成要素と、
少なくとも1つの手首輪郭センサと、
振動センサを含む少なくとも1つの生体音響センサと、
加速度計及びジャイロスコープを含む少なくとも1つの慣性測定装置(IMU)と、
少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリと、を含むコントローラであって、前記少なくとも1つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサとともに、少なくとも、
前記少なくとも1つの手首輪郭センサから第1のセンサデータストリームを受信するステップと、
前記少なくとも1つの生体音響センサから第2のセンサデータストリームを受信するステップと、
前記少なくとも1つの慣性測定装置から第3のセンサデータストリームを受信するステップと
(但し、前記第1、前記第2、及び前記第3のセンサデータストリームは並行して受信される)、
前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも1つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも1つの特徴に基づいて、少なくとも1つのユーザアクションを特定するステップと、
前記特定された少なくとも1つのユーザアクションに少なくともある程度基づいて、少なくとも1つのユーザインタフェース(UI)コマンドを生成するステップと、
を前記コントローラに実施させるように構成されている、前記コントローラと、
を含む装置。
〔付記2〕
ユーザアクションの前記少なくとも1つの特徴を特定する前記ステップは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも1つの特徴を特定して出力とするようにトレーニングされた少なくとも1つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも1つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも1つの特徴の信頼値を含む、付記1に記載の装置。
〔付記3〕
前記少なくとも1つのユーザアクションを特定する前記ステップは、前記少なくとも1つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴及び受信されたコンテキスト情報に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、付記2に記載の装置。
〔付記4〕
前記コントローラは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに対して前処理を実施してから、前記少なくとも1つの前処理されたデータストリームを前記少なくとも1つのニューラルネットワークへの入力として供給するように構成されている、付記2~3のいずれか一項に記載の装置。
〔付記5〕
前記コントローラは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理されるように構成されている、付記1~4のいずれか一項に記載の装置。
〔付記6〕
前記コントローラは、少なくとも1つの前処理シーケンスが少なくとも1つの別の前処理シーケンスと通信するように構成されており、前記通信は、前記少なくとも1つの前処理シーケンスからのデータに基づいて、前記別の前処理シーケンスの前処理パラメータを調節することを含む、付記4~5のいずれか一項に記載の装置。
〔付記7〕
前記コントローラは更に、前記イベントインタプリタが推論エンジン、決定木の少なくとも一方を含むように構成されている、付記1~6のいずれか一項に記載の装置。
〔付記8〕
前記手首輪郭センサは、輪郭測定センサのアレイを含む、付記1~7のいずれか一項に記載の装置。
〔付記9〕
前記少なくとも1つの手首輪郭センサ、前記少なくとも1つの生体音響センサ、及び前記少なくとも1つの慣性測定装置は、単一ハウジング内に配置されており、例えば、前記装置はスマートウオッチを含む、付記1~8のいずれか一項に記載の装置。
〔付記10〕
前記手首輪郭センサは輪郭測定センサのアレイを含み、前記アレイは、前記少なくとも1つの生体音響センサとともに、前記単一ハウジングの表面上に環状に配列されている、又は、前記手首輪郭センサは、前記単一ハウジングの表面上に同心円環又は矩形環を構成する、輪郭測定センサのアレイを含み、前記アレイに含まれる円環の数は1~25であり、好ましくは2~6であり、特に3である、付記1~9のいずれか一項に記載の装置。
〔付記11〕
前記装置はアドオンデバイスを含み、前記装置は、以下の構成の少なくともいずれかにより別のウェアラブルデバイスに取り付けられるように構成されている、即ち、
前記アドオン装置は、前記アドオン装置の前記センサが(例えば、前記センサが前記ユーザのほうを向くように)前記ユーザを測定できるように、別のウェアラブルデバイスのボディに直接取り付けられるように構成されている、且つ/又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素に取り付けられるように構成されており、例えば、前記マウント用構成要素はストラップであり、特に、別のウェアラブルデバイスのストラップと同じストラップである、且つ/又は、
前記アドオン装置は、前記別のウェアラブルデバイスのマウント用構成要素の一部であるか、前記マウント用構成要素に接続されるように構成されており(例えば、前記マウント用構成要素はストラップであり)、具体的には、前記アドオン装置の一方の側部が前記他のウェアラブルデバイスに接続され、他方の側部が前記ストラップに接続されるように構成されている、
付記1~10のいずれか一項に記載の装置。
〔付記12〕
UIコマンドを生成する方法であって、
少なくとも1つの手首輪郭センサから第1のセンサデータストリームを受信するステップと、
少なくとも1つの生体音響センサから第2のセンサデータストリームを受信するステップと、
少なくとも1つの慣性測定装置から第3のセンサデータストリームを受信するステップと
(但し、前記第1、前記第2、及び前記第3のセンサデータストリームは並行して受信される)、
前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに基づいて、ユーザアクションの少なくとも1つの特徴を特定するステップと、
ユーザアクションの前記特定された少なくとも1つの特徴に基づいて、少なくとも1つのユーザアクションを特定するステップと、
前記特定された少なくとも1つのユーザアクションに少なくともある程度基づいて、少なくとも1つのユーザインタフェース(UI)コマンドを生成するステップと、
を含む方法。
〔付記13〕
ユーザアクションの前記少なくとも1つの特徴を特定する前記ステップは、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかを、ユーザアクションの少なくとも1つの特徴を特定して出力とするようにトレーニングされた少なくとも1つのニューラルネットワークへの入力として供給するステップを含み、前記少なくとも1つのニューラルネットワークの前記出力は、ユーザアクションの前記少なくとも1つの特徴の信頼値を含む、付記12に記載の方法。
〔付記14〕
前記少なくとも1つのユーザアクションを特定する前記ステップは、前記少なくとも1つのニューラルネットワークの前記出力を、前記特定されたユーザアクション特徴に基づいて前記ユーザアクションを特定するように構成されたイベントインタプリタに供給するステップを含む、付記12~13のいずれか一項に記載の方法。
〔付記15〕
前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかに対して前処理が実施されてから、前記少なくとも1つの前処理されたデータストリームが前記少なくとも1つのニューラルネットワークへの入力として供給され、前記第1、前記第2、及び前記第3のセンサデータストリームの少なくともいずれかがそれ以外のデータストリームとは別個の前処理シーケンスで前処理され、少なくとも1つの前処理シーケンスが少なくとも1つの別の前処理シーケンスと通信し、前記通信は、前記別の前処理シーケンスの前処理パラメータを調節することを含む、付記12~14のいずれか一項に記載の方法。
〔付記16〕
付記12~15のいずれか一項に記載の方法が実施されるように構成されたコンピュータプログラムであって、非一時的コンピュータ可読媒体に格納可能なコンピュータプログラム。
【外国語明細書】