特許 7419563 ウェアラブルデバイスのタッチ制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】ウェアラブルデバイスのタッチ制御

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240115BHJP

   G06F 3/0354 20130101ALI20240115BHJP

   G06T 7/20 20170101ALI20240115BHJP

   G06V 10/77 20220101ALI20240115BHJP

【ＦＩ】

G06F3/01 510

G06F3/0354 451

G06T7/20 300A

G06V10/77

【請求項の数】 25

(21)【出願番号】P 2022558552

(86)(22)【出願日】2021-09-27

(65)【公表番号】

(43)【公表日】2023-11-07

(86)【国際出願番号】 US2021071602

(87)【国際公開番号】W WO2023048753

(87)【国際公開日】2023-03-30

【審査請求日】2022-10-14

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】シン，ドンギク

【審査官】塚田 肇

(56)【参考文献】

【文献】特表２０１７－５３０４４３（ＪＰ，Ａ）

【文献】特開２０１９－３２８９１（ＪＰ，Ａ）

【文献】特開２０１６－１１５３１０（ＪＰ，Ａ）

【文献】米国特許第８６２４８３６（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３５４

Ｇ０６Ｔ ７／２０

Ｇ０６Ｖ １０／７７

(57)【特許請求の範囲】

【請求項1】

ウェアラブルデバイスを制御するための方法であって、前記方法は、
前記ウェアラブルデバイス上の検出器が光を受光することを含み、前記受光された光は、集束光成分と迷光成分とを含み、
前記受光された光をフィルタリングすることによって、前記迷光成分を分離することと、
前記迷光成分のウォーターフォール画像を生成することとを含み、前記ウォーターフォール画像は、時間ウィンドウの間に測定された前記迷光成分の振幅に対応するピクセル値を有し、
前記ウォーターフォール画像を分析することによって、タッチを検出することと、
前記タッチの検出に応答して、ジェスチャ分類器を用いて前記ウォーターフォール画像内のジェスチャを識別することと、
前記ジェスチャに基づいて前記ウェアラブルデバイスを制御することとを含む、方法。

【請求項2】

前記受光された光をフィルタリングすることによって前記迷光成分を分離することは、
前記受光された光に対して主成分分析を行うことによって、前記迷光成分を分離することを含む、請求項１に記載の方法。

【請求項3】

タッチが検出されなかった場合、前記方法は、
前記ウェアラブルデバイスの電力を節約するために、前記ジェスチャ分類器を用いて前記ウォーターフォール画像内の前記ジェスチャを識別しないことを含む、請求項１または請求項２に記載の方法。

【請求項4】

前記ウォーターフォール画像を分析することによって前記タッチを検出することは、
前記ウォーターフォール画像の順序統計値を決定することと、
前記順序統計値をタッチ分類器に適用することによって、タッチ確率を取得することと、
前記タッチ確率に基づいて、前記時間ウィンドウの間にタッチが発生したことまたは前記時間ウィンドウの間にタッチが発生しなかったことを判断することとを含む、請求項１～請求項３のいずれか一項に記載の方法。

【請求項5】

前記ウォーターフォール画像の前記順序統計値は、最大ピクセル値および最小ピクセル値を含み、
前記タッチ分類器は、前記最大ピクセル値および前記最小ピクセル値に基づいて前記タッチ確率を返すように構成されたサポートベクトルマシンを備える、請求項４に記載の方法。

【請求項6】

前記ジェスチャ分類器は、前記ジェスチャに対応する前記ウォーターフォール画像内のパターンを認識するように構成されている、請求項１～請求項５のいずれか一項に記載の方法。

【請求項7】

前記ジェスチャ分類器は、記憶された異なる種類のジェスチャに対応する異なる種類の参照パターンに基づいて、前記異なる種類のジェスチャを認識するように構成されている、請求項６に記載の方法。

【請求項8】

前記ジェスチャ分類器は、前記ジェスチャに対応する前記ウォーターフォール画像内のパターンを認識するように構成された２次元畳み込みニューラルネットワークを備える、請求項６または請求項７に記載の方法。

【請求項9】

前記ジェスチャ分類器は、前記ウォーターフォール画像内の単一の輝点をシングルクリックジェスチャとして認識するように構成されている、請求項６～請求項８のいずれか一項に記載の方法。

【請求項10】

前記ジェスチャ分類器は、前記ウォーターフォール画像内の２つの輝点をダブルクリックジェスチャとして認識するように構成されている、請求項６～請求項９のいずれか一項に記載の方法。

【請求項11】

前記ジェスチャ分類器は、前記ウォーターフォール画像のより高い振幅から前記ウォーターフォール画像のより低い振幅まで時間的に延在する明るいストライプをスクロールダウンジェスチャとして認識するように構成されている、請求項６～請求項１０のいずれか一項に記載の方法。

【請求項12】

前記ジェスチャ分類器は、前記ウォーターフォール画像のより低い振幅から前記ウォーターフォール画像のより高い振幅まで時間的に延在する明るいストライプをスクロールアップジェスチャとして認識するように構成されている、請求項６～請求項１１のいずれか一項に記載の方法。

【請求項13】

前記ウェアラブルデバイスは、スマートウォッチである、請求項１～請求項１２のいずれか一項に記載の方法。

【請求項14】

前記検出器は、ユーザの手首に向けられた光電式容積脈波記録センサの一部であり、
前記光電式容積脈波記録センサは、ユーザの手首に向けて光を投影するように構成された光源をさらに含む、請求項１～請求項１３のいずれか一項に記載の方法。

【請求項15】

ウェアラブルデバイスであって、
センサを備え、
前記センサは、
光源を含み、前記光源は、前記ウェアラブルデバイスの下方の手首の一部に向かって透過される集束光と、前記ウェアラブルデバイスの下方ではない前記手首の一部に向かって透過される迷光とを含む透過光を投影するように構成され、
検出器を含み、前記検出器は、前記ウェアラブルデバイスの下方の前記手首の前記一部から前記検出器に反射された集束光成分と、前記ウェアラブルデバイスの下方ではない前記手首の前記一部から前記検出器に反射された迷光成分とを含む逆反射光を受光するように構成され、
少なくとも１つのプロセッサを備え、
前記少なくとも１つのプロセッサは、ソフトウェア命令によって、以下の動作を実行するように構成され、前記動作は、
前記逆反射光をフィルタリングすることによって、前記迷光成分を分離することと、
前記迷光成分の第１のウォーターフォール画像を生成することとを含み、前記第１のウォーターフォール画像は、第１の時間ウィンドウの間に測定された前記迷光成分の振幅に対応するピクセル値を有し、
前記第１のウォーターフォール画像を分析することによって、前記第１のウォーターフォール画像内のタッチを検出することを含む、ウェアラブルデバイス。

【請求項16】

前記少なくとも１つのプロセッサは、前記第１のウォーターフォール画像からタッチが検出された場合、ソフトウェアによって以下の動作を実行するように構成され、前記動作は、
前記第１のウォーターフォール画像を、前記第１のウォーターフォール画像のパターンをジェスチャとして認識するように構成されたジェスチャ分類器にルーティングすることと、
前記ジェスチャに従って、前記ウェアラブルデバイスを制御することとを含む、請求項１５に記載のウェアラブルデバイス。

【請求項17】

前記ジェスチャ分類器は、異なる種類のジェスチャを認識するように構成されている、請求項１６に記載のウェアラブルデバイス。

【請求項18】

前記ジェスチャ分類器は、
前記第１のウォーターフォール画像内の単一の輝点をシングルクリックジェスチャとして認識し、
前記第１のウォーターフォール画像内の２つの輝点をダブルクリックジェスチャとして認識し、
前記第１のウォーターフォール画像のより高い振幅から前記第１のウォーターフォール画像のより低い振幅まで時間的に延在する明るいストライプをスクロールダウンジェスチャとして認識し、
前記第１のウォーターフォール画像のより低い振幅から前記第１のウォーターフォール画像のより高い振幅まで時間的に延在する明るいストライプをスクロールアップジェスチャとして認識するように構成されている、請求項１７に記載のウェアラブルデバイス。

【請求項19】

前記少なくとも１つのプロセッサは、ソフトウェアによって以下の動作を実行するように構成され、前記動作は、
第２の時間ウィンドウの間に測定された前記迷光成分の第２のウォーターフォール画像を生成することを含み、前記第２の時間ウィンドウと前記第１の時間ウィンドウとは、前記迷光成分に適用されるスライディングウィンドウの反復であり、
前記第１のウォーターフォール画像からタッチが検出されなかった場合、前記第１のウォーターフォール画像を廃棄することと、
前記第２のウォーターフォール画像を分析することによって、前記第２のウォーターフォール画像からタッチを検出することとを含む、請求項１５～請求項１８のいずれか一項に記載のウェアラブルデバイス。

【請求項20】

前記逆反射光をフィルタリングすることによって前記迷光成分を分離するために、
前記少なくとも１つのプロセッサは、
前記逆反射光に対して主成分分析を行うことによって、前記集束光成分を決定し、
前記逆反射光から前記集束光成分を減算することによって、前記迷光成分を分離するように構成されている、請求項１５～請求項１９のいずれか一項に記載のウェアラブルデバイス。

【請求項21】

前記第１のウォーターフォール画像を分析することによって前記第１のウォーターフォール画像からタッチを検出するために、
前記少なくとも１つのプロセッサは、前記第１のウォーターフォール画像の最大ピクセル値に基づいて、前記第１のウォーターフォール画像を、タッチを有するものまたはタッチを有しないものに分類するように構成されている、請求項１５～請求項２０のいずれか一項に記載のウェアラブルデバイス。

【請求項22】

ウェアラブルデバイスであって、
センサを備え、
前記センサは、
前記ウェアラブルデバイスに隣接する手首の一部に向かって透過光を投影するように構成された光源と、
前記ウェアラブルデバイスに隣接する前記手首の前記一部からの逆反射光を受光するように構成された検出器とを含み、
少なくとも１つのプロセッサを備え、
前記少なくとも１つのプロセッサは、ソフトウェア命令によって、以下の動作を実行するように構成され、前記動作は、
前記逆反射光のウォーターフォール画像を生成することを含み、前記ウォーターフォール画像は、第１の時間ウィンドウの間に測定された前記逆反射光の振幅に対応するピクセル値を有し、
前記ウォーターフォール画像を分析することによって、前記ウェアラブルデバイスの下方ではない前記手首の前記一部へのタッチを検出することを含み、
前記タッチが検出された場合、前記ウォーターフォール画像内のパターンをジェスチャとして識別することと、
前記ジェスチャに基づいて前記ウェアラブルデバイスを制御することとを含み、ウェアラブルデバイス。

【請求項23】

前記少なくとも１つのプロセッサは、前記逆反射光をフィルタリングすることによって前記ウォーターフォール画像内の前記タッチを可視するように、ソフトウェア命令によってさらに構成されている、請求項２２に記載のウェアラブルデバイス。

【請求項24】

前記ジェスチャに基づいて前記ウェアラブルデバイスを制御することは、前記ウェアラブルデバイスに連結されたデバイスを制御することを含む、請求項２２または請求項２３に記載のウェアラブルデバイス。

【請求項25】

ソフトウェア命令を含み、当該ソフトウェア命令はデバイスの１以上のプロセッサによって実行されることにより前記デバイスに請求項１～請求項１４のいずれか１項に記載の方法を実施させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の分野
本開示は、ウェアラブルデバイスに関し、より詳しくは、スマートウォッチに隣接する領域においてユーザへのタッチに応答することができるスマートウォッチに関する。

【背景技術】

【0002】

背景
スマートウォッチなどのウェアラブルデバイスは、ユーザがクリック、ダブルクリック、またはスクロールなどのタッチジェスチャを用いて当該デバイスと対話することを可能にするタッチスクリーンディスプレイを有し得る。多くの場合、タッチスクリーンは、ユーザの手首のサイズに匹敵するサイズを有し、２インチ未満（すなわち、５０ミリメートル未満）の寸法を有することが珍しくない。このサイズは、表示されるタッチ対話を制限することがある。例えば、各アイコンのサイズを、ユーザが便利にタッチするのに充分大きくするために、スマートウォッチのタッチスクリーン上に同時に表示されるアイコンの総数を制限する必要がある。タッチスクリーンを物理的に拡張することによってタッチ面積を増加することまたは特定の時間にスクリーン上に表示されるものを制限することは、ユーザにとって望ましくない場合がある。したがって、スマートウォッチの機能性は、タッチ対話のために提供される領域によって制限される可能性がある。

【発明の概要】

【0003】

概要
少なくとも１つの態様において、本開示は、一般的に、ウェアラブルデバイスを制御するための方法を記載する。方法は、ウェアラブルデバイス上の検出器が光を受光するステップを含み、受信した光は、集束光成分および迷光成分を含む。方法は、受信した光をフィルタリングすることによって、迷光成分を分離することと、迷光成分のウォーターフォール画像を生成することとをさらに含む。ウォーターフォール画像は、時間ウィンドウの間に（間隔を置いて）測定された迷光成分の振幅に対応するピクセル値を有する。方法は、ウォーターフォール画像を分析することによって、タッチを検出することと、タッチの検出に応答して、ジェスチャ分類器を用いてウォーターフォール画像内のジェスチャを識別することとをさらに含む。方法は、ジェスチャに基づいてウェアラブルデバイスを制御することをさらに含む。

【0004】

ウォーターフォール画像は、時間ウィンドウの間に間隔（すなわち、時間サンプル）を置いて測定された迷光成分の可能な振幅（すなわち、強度）を表す２次元画像であってもよい。したがって、ウォーターフォール画像のピクセルは、時間ウィンドウ内の各時間の迷光成分の振幅を表すピクセル値を有することができる。したがって、ウォーターフォール画像を生成するためのプロセスは、時間サンプルを連続的に収集することを含むことができ、スライディングウィンドウは、ウォーターフォール画像の時間サンプルセットを選択することができる。時間サンプリングされた振幅の集合（すなわち、セット）は、次いで、ウォーターフォール画像に変換される。有利には、検出器のデータをウォーターフォール画像に変換することによって、画像処理技術を用いて、タッチを決定することができる。ウォーターフォール画像に基づいてタッチを検出することは、生成されたウォーターフォール画像のピクセル値に基づいて、タッチイベントまたはタッチの指示を検出することに関連してもよい。この文脈におけるタッチは、例えば、身体部分、特に皮膚表面のタッチに関連してもよい。このようなタッチは、迷光成分の振幅に影響を与えることがある。迷光成分は、身体部分にタッチするユーザの指または手によって反射された集束光から由来する可能性がある。

【0005】

タッチの検出に応答してジェスチャを識別することは、一般的に、ウォーターフォール画像を分析することによって、ウォーターフォール画像に存在するジェスチャを示すピクセル値を識別することを含んでもよい。この文脈において、方法は、異なる種類のジェスチャおよび／または異なるジェスチャが、一種類のジェスチャまたは特定のジェスチャの特徴を各々表す異なるウォーターフォール画像をもたらすことを考慮し得る。ジェスチャ分類器は、例えば、ジェスチャに対応するウォーターフォール画像内のパターンを認識するように構成されてもよい。可能な実装形態において、ジェスチャ分類器は、格納された（および以前に学習された）異なる種類のジェスチャに対応する異なる種類の参照パターンに基づいて、異なる種類のジェスチャを認識するように構成されてもよい。

【0006】

方法の可能な実装形態において、受光された光をフィルタリングすることによって迷光成分を分離することは、受光された光に対して主成分分析を行うことによって、迷光成分を分離することを含む。

【0007】

方法の別の可能な実装形態において、ウォーターフォール画像を分析することによってタッチを検出することは、ウォーターフォール画像の順序統計値を決定することと、順序統計値をタッチ分類器に適用することによって、タッチ確率を取得することとを含む。順序統計値は、最大ピクセル値および最小ピクセル値を含むことができ、タッチ分類器に順序統計値を適用することは、生成されたウォーターフォール画像の最大ピクセル値および最小ピクセル値を用いて、確率関数の適用に基づいて、ウォーターフォール画像内にタッチ（イベント）が存在するか否かを判断することを含むことができる。

【0008】

可能な実装形態において、分析は、タッチ確率に基づいて、時間ウィンドウの間にタッチが発生したことまたは時間ウィンドウの間にタッチが発生しなかったことを判断することをさらに含むことができる。タッチ有りまたはタッチ無しの判断は、さらなるプロセスをトリガすることができる。例えば、タッチが発生しなかった場合（したがって、ウォーターフォール画像に基づいてタッチ（イベント）が検出されなかった場合）、電力を節約するために、ジェスチャ分類器を用いてウォーターフォール画像内のジェスチャを識別しない。

【0009】

方法の別の可能な実装形態において、ウォーターフォール画像の順序統計値は、最大ピクセル値および最小ピクセル値を含み、タッチ分類器は、最大ピクセル値および最小ピクセル値に基づいてタッチ確率を返すように構成されたサポートベクトルマシンを備える。

【0010】

方法の別の可能な実装形態において、ジェスチャ分類器は、２次元（２Ｄ）畳み込みニューラルネットワークを備え（特に２Ｄ畳み込みニューラルネットワークであり）、および／またはジェスチャに対応するウォーターフォール画像内のパターンを認識するように構成されている。特に、ジェスチャ分類器は、格納された異なる種類のジェスチャに対応する異なる種類の参照パターンに基づいて異なる種類のジェスチャを認識するように構成されてもよい。したがって、異なるタッチジェスチャの各々は、特徴的なウォーターフォール画像を有することができる。

【0011】

第１の可能な実装形態において、ジェスチャ分類器は、ウォーターフォール画像内の単一の輝点をシングルクリックジェスチャとして認識するように構成されている。

【0012】

第２の可能な実装形態において、ジェスチャ分類器は、ウォーターフォール画像内の２つの輝点をダブルクリックジェスチャとして認識するように構成されている。

【0013】

第３の可能な実装形態において、ジェスチャ分類器は、ウォーターフォール画像のより高い振幅からウォーターフォール画像のより低い振幅まで時間的に延在する明るいストライプをスクロールダウンジェスチャとして認識するように構成されている。

【0014】

第４の可能な実装形態において、ジェスチャ分類器は、ウォーターフォール画像のより低い振幅からウォーターフォール画像のより高い振幅まで時間的に延在する明るいストライプをスクロールアップジェスチャとして認識するように構成されている。

【0015】

方法の別の可能な実装形態において、ウェアラブルデバイスは、スマートウォッチである。

【0016】

方法の別の可能な実装形態において、検出器は、ユーザの手首に向けられた光電式容積脈波記録センサの一部であり、光電式容積脈波記録センサは、ユーザの手首に向かって光を投影するように構成された光源をさらに含む。

【0017】

方法の別の可能な実装形態において、光は、可視波長の光または赤外波長の光である。
別の側面において、本開示は、一般的に、スマートウォッチを記載する。スマートウォッチは、センサ、例えば光電式容積脈波記録センサを備え、センサは、光源と、検出器とを含む。光源は、スマートウォッチの下方の手首の一部に向かって透過される集束光と、スマートウォッチの下ではない手首の一部に向かって透過される迷光とを含む透過光を投影するように構成されている。検出器は、スマートウォッチの下方の手首の一部から検出器に反射された集束光成分と、スマートウォッチの下方ではない手首の一部から検出器に反射された迷光成分とを含む逆反射光を受光するように構成されている。スマートウォッチは、ソフトウェア命令によって構成された少なくとも１つのプロセッサをさらに含む（すなわち、ソフトウェア命令が少なくとも１つのプロセッサによって実行されるときに、少なくとも１つのプロセッサは、ソフトウェア命令に基づいて特定の動作を実行するように構成されている）。少なくとも１つのプロセッサは、逆反射光をフィルタリングすることによって、迷光成分を分離するように構成されている。少なくとも１つのプロセッサは、迷光成分の第１のウォーターフォール画像を生成するようにさらに構成され、第１のウォーターフォール画像は、第１の時間ウィンドウの間に測定された迷光成分の振幅に対応するピクセル値を有する。少なくとも１つのプロセッサは、第１のウォーターフォール画像を分析することによって、第１のウォーターフォール画像内のタッチを検出するようにさらに構成されている。

【0018】

スマートウォッチの可能な実装形態において、少なくとも１つのプロセッサは、第１のウォーターフォール画像からタッチが検出された場合、第１のウォーターフォール画像をジェスチャ分類器にルーティングするようにさらに構成されている。ジェスチャ分類器は、第１のウォーターフォール画像内のパターンを、スマートウォッチを制御するためのジェスチャとして認識するように構成されている。

【0019】

ジェスチャ分類器の実装形態において、ジェスチャ分類器は、異なる種類のジェスチャを認識するように構成されている。例えば、ジェスチャ分類器は、第１のウォーターフォール画像内の単一の輝点をシングルクリックジェスチャとして認識し、第１のウォーターフォール画像内の２つの輝点をダブルクリックジェスチャとして認識するように構成されてもよい。ジェスチャ分類器は、第１のウォーターフォール画像のより高い振幅から第１のウォーターフォール画像のより低い振幅まで時間的に延在する明るいストライプをスクロールダウンジェスチャとして認識し、第１のウォーターフォール画像のより低い振幅から第１のウォーターフォール画像のより高い振幅まで時間的に延在する明るいストライプをスクロールアップジェスチャとして認識するようにさらに構成されてもよい。

【0020】

スマートウォッチの別の可能な実装形態において、少なくとも１つのプロセッサは、ソフトウェアによって、第２の時間ウィンドウの間に測定された迷光成分の第２のウォーターフォール画像を生成し、第１のウォーターフォール画像からタッチが検出されなかった場合、第１のウォーターフォール画像を破棄するようにさらに構成されている。第２の時間ウィンドウおよび第１の時間ウィンドウは、迷光成分に適用されるスライディングウィンドウの反復である。少なくとも１つのプロセッサは、第２のウォーターフォール画像を分析することによって、第２のウォーターフォール画像からタッチを検出するようにさらに構成されてもよい。

【0021】

スマートウォッチの別の可能な実装形態において、逆反射光をフィルタリングすることによって迷光成分を分離することは、少なくとも１つのプロセッサが、逆反射光に対して主成分分析を行うことによって、集束光成分を決定し、逆反射光から集束光成分を減算することによって、迷光成分を分離するように構成されることを含む。

【0022】

スマートウォッチの別の可能な実装形態において、第１のウォーターフォール画像を分析することによって第１のウォーターフォール画像からタッチを検出することは、少なくとも１つのプロセッサが、第１のウォーターフォール画像の最大ピクセル値に基づいて、第１のウォーターフォール画像を、タッチを有するものまたはタッチを有しないものに分類するように構成されることを含む。

【0023】

別の態様において、本開示は、一般的に、センサと少なくとも１つのプロセッサとを含むスマートウォッチを記載する。センサは、スマートウォッチに隣接する手首の一部に向かって透過光を投影するように構成された光源と、スマートウォッチに隣接する手首の一部から逆反射光を受光するように構成された検出器とを含む。少なくとも１つのプロセッサは、ソフトウェア命令によって、逆反射光のウォーターフォール画像を生成するように構成され、ウォーターフォール画像は、第１の時間ウィンドウの間に測定された逆反射光の振幅に対応するピクセル値を有する。少なくとも１つのプロセッサは、ウォーターフォール画像を分析することによってスマートウォッチの下方ではない手首の一部へのタッチを検出するように、ソフトウェア命令によってさらに構成されている。少なくとも１つのプロセッサは、タッチが検出された場合、ウォーターフォール画像内のパターンをジェスチャとして識別し、ジェスチャに基づいてスマートウォッチを制御するようにさらに構成されている。

【0024】

スマートウォッチの可能な実装形態において、少なくとも１つのプロセッサは、逆反射光をフィルタリングすることによってウォーターフォール画像内のタッチ（イベント）を可視するように、ソフトウェア命令によってさらに構成されている。

【0025】

スマートウォッチの別の可能な実装形態において、ジェスチャに基づいてスマートウォッチを制御することは、スマートウォッチに連結されたデバイスを制御することを含む。

【0026】

上記の例示的な概要、本開示の他の例示的な目的および／または利点、ならびにそれらを達成するための方法は、以下の詳細な説明および添付図面を参照してさらに説明される。

【図面の簡単な説明】

【0027】

【図1】本開示の可能な実装形態に従って、スマートウォッチを示す上面図である。

【図2】図１のスマートウォッチを示す底面図である。

【図3】本開示の可能な実装形態に従って、ユーザの手首の光電式容積脈波記録を行うように構成されたスマートウォッチを示す断面側面図である。

【図4】図３のスマートウォッチを示す上面図である。

【図5】本開示の可能な実装形態に従って、スマートウォッチを装着しているユーザの手首へのタッチジェスチャを示す図である。

【図6】本開示の可能な実装形態に従って、逆反射光の迷光成分を分離するように構成されたフィルタリングブロックを示す図である。

【図7】本開示の可能な実装形態に従って、ウォーターフォール画像を生成するためのプロセスを示す図である。

【図8】本開示の可能な実装形態に従って、ジェスチャに対応する可能なウォーターフォール画像を示す図である。

【図9】本開示の可能な実装形態に従って、ウォーターフォール画像を分析することによってタッチを検出するためのプロセスを示す図である。

【図10】本開示の一実装形態に従って、タッチを検出するためのサポートベクトルマシン（ＳＶＭ）の訓令を示す図である。

【図11】本開示の可能な実装形態に従って、ウォーターフォール画像内のジェスチャを識別するためのプロセスを示す図である。

【図12】本開示の可能な実装形態に従って、ウェアラブルデバイスを制御するための方法を示すフローチャートである。

【図13】本開示の可能な実装形態に従って、スマートウォッチを示すブロック図である。

【発明を実施するための形態】

【0028】

図面中の要素は、互いに対して必ずしも縮尺通りに描かれていない。いくつかの図において、同様の参照番号は、対応する部分を示す。

【0029】

詳細な説明
ウェアラブルデバイス（例えば、スマートウォッチ、フィットネストラッカ）の機能は、タッチ対話に必要な画面領域によって制限される可能性がある。図１は、本開示の可能な実装形態に従って、スマートウォッチ１００の上面図を示す。図１に示すように、複数のアイコン１１０がタッチスクリーン１２０上に表示される場合、各アイコンのタッチ領域は、タッチスクリーン１２０の小さな一部であってもよい。したがって、タッチ対話が必要とされるときに、情報量および情報の表示方法が制約されることがある。情報量が多くなるときのタッチ機能を制限することは、スマートウォッチ１００などのウェアラブルデバイスに関する技術的課題である。タッチディスプレイのサイズを増加させることによってこの技術的課題に対処することは、ファッションおよび／または着用性の観点から望ましくないことがあり、新しいセンサ／電子機器を介してタッチ機能を追加することは、これらのデバイスの電力／処理予算を消耗させる可能性があり、これらのデバイスのコストを増加させる可能性がある。

【0030】

開示された回路および方法は、タッチ対話を行うための領域をユーザの手首に拡張することによって、この技術的課題に対処する。例えば、スマートウォッチ自体とのタッチ対話を必要とすることなく、スマートウォッチに隣接するユーザの皮膚上で（例えば、手首または手上で）スマートウォッチとのタッチ対話を開始および完了させることができる。開示された解決策は、有利には、スマートウォッチ上に既に存在し得るセンサ／電子機器を用いて、追加のタッチ機能を提供する。したがって、開示された技術によって提供された追加のタッチ機能は、必ずしも、既存のスマートウォッチの複雑さ、コスト、または電力消費を増加させるとは限らない。また、いくつかの実装形態において、開示された解決策は、既存のスマートウォッチが新しい種類のタッチ対話を利用できるように、ハードウェア変更なしに（例えば、ソフトウェア更新を介して）既存のスマートウォッチに提供されてもよい。新しい種類のタッチ対話は、スマートウォッチがより多くの情報を表示することを可能にするという技術的効果を有してもよく、ユーザがデバイスと対話する方法を変更することができる。これらの技術的効果は、スマートウォッチ上にどのような情報を表示するか／どのように情報を表示するかを容易にすることができ、新しいアプリケーションをスマートウォッチに提供することができる。

【0031】

図２は、図１のスマートウォッチの底面図を示す。スマートウォッチ１００は、スマートウォッチの底面をユーザの手首に保持するように構成可能なストラップ２０１を含む。スマートウォッチの底面は、ユーザ（すなわち、着用者）の心拍数を測定するように構成することができる光電式容積脈波記録（ＰＰＧ）センサを含む。ＰＰＧセンサは、１つ以上の発光体（例えば、ＬＥＤ２１０）と、１つ以上の検出器（例えば、フォトダイオード２２０）とを含む。ＬＥＤ２１０は、集束光をユーザの手首に向かって透過するように構成することができる。透過光は、分解能を増加するためにスペクトル内の可視部分の波長（すなわち、可視波長、例えば、５３０ｎｍ（緑色））、および／または皮膚貫通を増加するためにスペクトル内の赤外線部分の波長（すなわち、赤外線波長、例えば、７３０ｎｍ）を含んでもよい。例えば、波長は、スペクトルの近赤外（ＮＩＲ）部分にあってもよい。

【0032】

透過光は、ユーザの皮膚を貫通してユーザの血管を照らすことができる。血管内の血液は、フォトダイオード２２０に向かって光を反射（すなわち、逆反射）することができる。フォトダイオード２２０は、逆反射光の強度を測定するようにユーザの手首に向けられる。逆反射光の強度は、血管内の血液の体積の変化に従って変化する。したがって、フォトダイオード２２０からの信号を処理（例えば、フィルタリング）および分析（例えば、フーリエ変換）することによって、心拍数を決定することができる。処理は、逆反射光をローパスフィルタリングすることによって、比較的に低い周波数帯域（６０～１８０回／分）であり得る心拍数に対応する周波数を取得することを含んでもよい。

【0033】

図３は、本開示の可能な実装形態に従って、光電式容積脈波記録を行うように構成されたスマートウォッチの断面側面図を示す。スマートウォッチ３０１は、ユーザの手首３１０に近接している。スマートウォッチ３０１は、光源３２０と、血管３１５の血液量を測定するための検出器３３０とを含む。

【0034】

光源３２０（例えば、ＬＥＤ、ＬＤ、ＯＬＥＤ）は、集束光３２１をスマートウォッチ３０１の下方の手首の第１の領域３１１（すなわち、第１の部分）に向かって投影するように構成されている。検出器３３０（例えば、フォトダイオード）は、スマートウォッチ３０１の下方の手首３１０の第１の領域３１１に位置する血管３１５から検出器に反射された集束光成分３２２を含む逆反射光を受光するように構成されている。

【0035】

光源３２０は、全ての透過光をスマートウォッチの下方の領域に投影するように設計されてもよいが、一部の透過光は、スマートウォッチに隣接する（すなわち、スマートウォッチの下方ではない）手首の第２の領域３１２（すなわち、第２の部分）に透過されてもよい。第２の領域３１２がスマートウォッチに隣接することは、第２の領域３１２が集束光３２１の出射方向を横断する方向に沿って第１の領域に当接することを意味する。例えば、透過光の経路内の物体の反射および／または屈折によって、透過光の迷光成分３２３は、スマートウォッチ３０１の下方ではない手首の表面に向かって伝播する可能性がある。物体（例えば、指）が手首の第２の領域３１２に接触する場合、迷光成分は、検出器に逆反射される可能性がある。言い換えれば、検出器は、集束光成分３２２と迷光成分３２４とを含む逆反射光を受光する可能性がある。集束光成分３２２は、血流によって変更され得るが、迷光成分３２４は、スマートウォッチ３０１の下方ではない（すなわち、スマートウォッチに近接する）手首の第２の領域３１２へのタッチによって変更され得る。

【0036】

なお、図３に示された迷光成分３２３は、迷光が手首の第２の領域３１２に現れる１つの可能な経路であり、様々な散乱、反射、屈折、および他の光生成現象の組み合わせは、スマートウォッチの下方ではない手首の一部において迷光成分をもたらす可能性がある。また、手首の第２の領域３１２の迷光は、透過光と同様の波長を有する周囲光源（図示せず）から生じる可能性もある。例えば、室内光は、透過光の波長と同様の（例えば、同じ）波長で手首の第２の領域３１２を照らす可能性がある。

【0037】

スマートウォッチの下方の領域における血液量の増加が逆反射集束光の強度を変更できることと同様に、手首へのタッチは、逆反射迷光の強度を変更することができる。したがって、検出器は、両方の現象を同時に測定することができる。手首へのタッチは、タッチが存在する間に検出器によって検出される光の量を変更する（すなわち、増加する）ことができる。したがって、手首へのタップは、検出器によってパルスとして検出されてもよい。また、このパルスの強度は、手首上のタッチの位置に関する情報を提供することができる。

【0038】

図４は、図３のスマートウォッチの上面図を示す。スマートウォッチ３０１は、ユーザの手首３１０に装着される。説明したように、スマートウォッチ３０１のＰＰＧセンサは、透過光を手首３１０に向かって投影するように構成された光源を含む。透過光は、スマートウォッチの下方の第１の領域３１１に投影される集束光と、スマートウォッチの下方ではない第２の領域３１２または第３の領域３１３に投影される迷光とを含む。言い換えれば、迷光は、光源からスマートウォッチの縁部（例えば、手に面する縁部、前腕に面する縁部）に隣接するユーザの領域に漏れることがある。例えば、迷光は、ユーザの手首、前腕、および／または手（例えば、手の甲）に漏れることがある。少なくともＰＰＧセンサから第２の領域３１２または第３の領域３１３への光の漏れが意図されたものではないという理由で、第２の領域３１２または第３の領域３１３内の迷光の強度は、第１の領域３１１内の集束光に比べて低い可能性がある。第２の領域３１２または第３の領域３１３内の迷光の強度は、均一でなくてもよい。例えば、第２の領域３１２内の迷光の強度は、スマートウォッチ３０１から離れる方向（ｚ）に沿って低下してもよい。図４の挿絵４０１は、スマートウォッチ３０１から始まり、手首３１０に沿ってスマートウォッチ３０１から離れることにつれて迷光強度（Ｉ）の可能な低下を示す。検出器３３０がスマートウォッチ３０１から離れたタッチから反射された光よりも高い強度でスマートウォッチ３０１に近いタッチから反射された光を受光できるため、強度の低下を用いて、ジェスチャをさらに特徴付けることができる。なお、スマートウォッチを図示および説明したが、本開示は、身体の他の部分に着用される他のウェアラブルデバイスに適用されることができる。例えば、同じ技術を指に着用されるウェアラブルデバイスに適用することによって、指に着用されるウェアラブルデバイスに近接する（すなわち、その周りの）ユーザの表面（例えば、手）にタッチ対話を拡張することができる。

【0039】

図５は、本開示の可能な実装形態に従って、スマートウォッチを装着しているユーザの手首へのタッチジェスチャ（すなわち、ジェスチャ）を示す図である。ジェスチャは、スマートウォッチのＰＰＧセンサの検出器によって受光され得る反射光５０１を生成することができる。検出器によって受光された光は、（ｉ）心拍数に関する情報を含むように（例えば、血流によって）変更され得る集束光成分と、（ｉｉ）ジェスチャに関する情報を含むように（例えば、タッチによって）変更され得る迷光成分とを含むことができる。迷光成分は、集束光成分よりもはるかに小さくてもよい。ジェスチャに関する情報を得るために迷光成分を分離することは、受光された光をフィルタリングする必要がある。

【0040】

図６は、逆反射光の迷光成分を分離するように構成されたフィルタリングブロックを示す図である。図示のように、検出器によって検出された逆反射光に対応する第１の信号６１１は、フィルタリングブロック６０１（すなわち、フィルタリングモジュール）の入力６１０によって受信される。以下の式で示すように、第１の信号６１１は、検出器によって受光された全ての光（すなわち、ＲＸ（全体））に対応し、ユーザの心拍に対応する集束光成分（すなわち、ＲＸ（ＰＰＧ））と、ユーザのジェスチャ（例えば、シングルクリック）に対応する迷光成分（すなわち、ＲＸ（タッチ））とを含む。

【0041】

ＲＸ（全体）＝ＲＸ（ＰＰＧ）＋ＲＸ（タッチ） （１）
集束光成分は、迷光成分よりもはるかに大きくてもよい（すなわち、ＲＸ（ＰＰＧ）＞＞ＲＸ（タッチ））。したがって、第１の信号６１１からは、心拍を観察することができるが、タッチジェスチャを観察することができない。フィルタリングブロック６０１は、第１の信号６１１から、迷光成分に対応する第２の信号６１２を生成するように構成されている。第２の信号からは、タッチジェスチャを観察することができる。

【0042】

フィルタリングブロック６０１は、心拍信号およびタッチジェスチャの時間／周波数差を利用して、逆反射光をフィルタリングすることによって、迷光成分を分離することができる。例えば、典型的な心拍信号は、狭帯域周波数応答に対応する比較的に固定周波数（例えば、６０～１８０回／分）で時間的にゆっくりと変化する可能性がある。逆に、タッチジェスチャは、時間的により迅速に変化し、心拍信号よりも広い周波数応答を有し得る。これらの特性を用いて、信号を分離することができる。

【0043】

可能な実装形態において、フィルタリングブロック６０１は、主成分分析（ＰＣＡ）などの時間領域処理を含んでもよい。主成分分析は、受信された信号の主成分を決定するために、受光された光がより遅く変化する成分（例えば、心拍）と、より速く変化する成分（例えば、ジェスチャ）とを含むと仮定する。

【0044】

可能な実装形態において、逆反射光をフィルタリングすることによって迷光成分を分離することは、逆反射光に対して主成分分析を行うことによって集束光成分を決定することと、逆反射光から集束光成分を減算することによって迷光成分を分離することとを含んでもよい。

【0045】

別の可能な実装形態において、フィルタリングブロック６０１は、受光された全ての光から心拍信号によって生成される可能性が高い周波数を除去するための周波数領域処理、例えばノッチフィルタリングまたはローパスフィルタリングを含んでもよい。フィルタリングの後、迷光成分に対応する第２の信号６１２を処理することによって、ウォーターフォール画像を生成することができる。

【0046】

図７は、本開示の可能な実装形態に従って、ウォーターフォール画像を生成するためのプロセスを示す。ウォーターフォール画像７１０は、時間ウィンドウの間に間隔（すなわち、時間サンプル）を置いて測定された反射光の可能な振幅（すなわち、強度）を表す２次元画像である。したがって、ウォーターフォール画像のピクセルは、時間ウィンドウ内の各時間の迷光の振幅（例えば、振幅の尤度）を表すピクセル値を有することができる。ウォーターフォール画像を生成するプロセスは、フィルタリングブロック６０１の出力６２０の時間サンプル（ｔ_１、ｔ_２、ｔ_３、．．．、ｔ_Ｎ）を収集することを含むことができる。時間サンプルは、連続的に収集されてもよい。スライディングウィンドウ７２０は、ウォーターフォール画像の時間サンプルのセットを選択することができる。図示のように、時間的にサンプリングされた振幅の集合（すなわち、セット）は、ウォーターフォール画像７１０に変換される。有利には、検出器データをウォーターフォール画像に変換することは、画像処理技術を用いてタッチイベントを決定することを可能にする。

【0047】

図７に示すように、タッチイベント７３０（すなわち、タッチジェスチャ）は、ウォーターフォール画像７１０において明るいスポットとして現れ得る。ウォーターフォール画像７１０内のタッチイベントの時間長７３５（すなわち、タッチイベントがウォーターフォール画像７１０において広がる横軸上の時間間隔７３５）は、タッチイベントの持続時間に対応し得る。例えば、長い時間長を有するタッチイベントは、長時間タッチジェスチャ（例えば、タッチアンドホールド）であり、短い時間長を有するタッチイベントは、短時間タッチジェスチャ（例えば、クリック）である。振幅軸上のタッチイベントの位置は、手首上のタッチジェスチャの位置に対応し得る（図４を参照）。例えば、より大きい振幅を有するタッチイベントは、より小さい振幅を有するタッチイベントよりもスマートウォッチの近くで発生したものと考えられる。したがって、異なるタッチジェスチャは各々、特徴的なウォーターフォール画像を有することができる。

【0048】

図８は、ジェスチャに対応する可能なウォーターフォール画像を示す。第１のウォーターフォール画像８１０において、第１のタッチイベント（すなわち、明るいストライプ）は、（例えば、クリックよりも）長い時間長８１１を有し、時間と共により低い振幅からより高い振幅に増加する（すなわち、正の勾配を有する）。これらの特性を有する第１のタッチイベントは、指がスマートウォッチに向かって手首をスライドする動作を含む第１のタッチジェスチャ８１２に対応し得る。比較的に低い振幅（すなわち、低い振幅）から比較的に高い振幅（すなわち、高い振幅）まで時間的に延在する明るいストライプを有するこの第１のタッチジェスチャは、スクロールアップジェスチャ８１３として認識（例えば、分類）されてもよい。スクロールアップジェスチャは、スマートウォッチ上で動作するアプリケーションによって、第１のコマンド８１４として解釈されてもよい。このアプリケーションは、次に、スマートウォッチに通信可能に連結されたデバイスを制御することができる。例えば、スクロールアップジェスチャは、「スマートウォッチに連結されたイヤホンの音量を上げる」ように、スマートウォッチを制御することができる。

【0049】

第２のウォーターフォール画像８２０において、第２のタッチイベント（すなわち、明るいストライプ）は、（例えば、クリックよりも）長い時間長８２１を有し、時間と共により高い振幅からより低い振幅に減少する（すなわち、負の勾配を有する）。これらの特性を有する第２のタッチイベントは、指がスマートウォッチから離れて手首をスライドする動作を含む第２のタッチジェスチャ８２２に対応し得る。比較的に高い振幅（すなわち、高い振幅）から比較的に低い振幅（すなわち、低い振幅）まで時間的に延在する明るいストライプを有するこの第２のタッチジェスチャは、スクロールダウンジェスチャ８２３として認識（例えば、分類）されてもよい。スクロールダウンジェスチャは、スマートウォッチ上で動作するアプリケーションによって、第２のコマンド８２４として解釈されてもよい。例えば、スクロールダウンジェスチャは、「スマートウォッチに連結されたイヤホンの音量を下げる」ように、スマートウォッチを制御することができる。

【0050】

第３のウォーターフォール画像８３０において、第３のタッチイベント（すなわち、単一の輝点）は、（例えば、スクロールよりも）短い時間長８３１を有し、１つの振幅を有する（すなわち、ゼロ勾配を有する）。これらの特性を有する第３のタッチイベントは、スマートウォッチから一定の距離にある手首への指タップを含む第３のタッチジェスチャ８３２に対応し得る。ウォーターフォール画像内に単一の輝点を有するこの第３のタッチジェスチャは、単一のクリックジェスチャ８３３として認識（例えば、分類）されてもよい。シングルクリックジェスチャは、スマートウォッチ上で動作するアプリケーションによって、第３のコマンド８３４として解釈されてもよい。例えば、シングルクリックジェスチャは、「アプリにショートカットする」ように、スマートウォッチを制御することができる。

【0051】

第４のウォーターフォール画像８４０において、第４のタッチイベント（すなわち、２つの輝点）は、各々が（例えば、スクロールよりも短い）短い持続時間である第１の時間長８４１および第２の時間長８４５を有する。各輝点は、１つの振幅を有する（すなわち、ゼロ勾配を有する）。この例において、各輝点は、同じ振幅を有する。これらの特性を有する第４のタッチイベントは、スマートウォッチから一定の距離で手首への指ダブルタップを含む第４のタッチジェスチャ８４２に対応し得る。ウォーターフォール画像に２つの輝点を有する第４タッチジェスチャは、ダブルクリックジェスチャ８４３に分類されてもよい。ダブルクリックジェスチャは、スマートウォッチ上で動作するアプリケーションによって、第４のコマンド８４４として解釈されてもよい。例えば、ダブルタップジェスチャは、「アプリを中止する」ように、スマートウォッチを制御することができる。

【0052】

ＰＰＧセンサの検出器から受信した信号に適用されるスライディングウィンドウは、一組（すなわち、一シーケンス、一ストリーム）のウォーターフォール画像を生成することができる。言い換えれば、後続のウォーターフォール画像は、逆反射光の迷光成分に適用されるスライディングウィンドウの反復であってもよい。各ウォーターフォール画像を（例えば、順次に）分析することによって、タッチイベント（すなわち、タッチ）を検出することができる。ウォーターフォール画像からタッチを検出した場合、ウォーターフォール画像は、タッチに対応するジェスチャを識別するように構成されたジェスチャ分類器に適用（すなわち、ルーティング）されてもよい。ウォーターフォール画像からタッチを検出しなかった場合、ジェスチャの識別は、不要であってもよい。したがって、ウォーターフォール画像からタッチを検出しなかった場合、ウォーターフォール画像は、ジェスチャ分類器にルーティングされなくてもよい。すなわち、プロセスは、（タッチ無しの）ウォーターフォール画像を分類せず、シーケンス内の次のウォーターフォール画像に移行してもよい。この選択的分類は、処理リソースおよび／または電力消費（すなわち、出力）を有利に節約することができる。可能な実装形態において、タッチが検出されなかった画像は、（例えば、メモリを節約するために）破棄されてもよい。

【0053】

図９は、本開示の可能な実装形態に従って、ウォーターフォール画像を分析することによってタッチを検出するためのプロセスを示す。一組のウォーターフォール画像９２０からウォーターフォール画像９２１を選択する。次いで、ウォーターフォール画像９２１をタッチ検出ブロック９１０の処理に適用する。タッチ検出ブロック９１０は、ウォーターフォール画像９２１にタッチが存在するか否かを判断するように構成される。タッチ検出ブロック９１０は、ウォーターフォール画像（Ｗ）の順序統計値９１１を決定するように構成されてもよい。順序統計値は、最大ピクセル値（すなわち、最大値（Ｗ））および最小ピクセル値（すなわち、最小値（Ｗ））を含んでもよい。タッチ検出ブロックは、順序統計値をタッチ分類器（すなわち、線形分類器）に適用するようにさらに構成されてもよい。

【0054】

線形分類器は、サポートベクターマシン（ＳＶＭ）プロトコルに基づいて訓練されてもよい。図１０は、本開示の一実装形態に従って、タッチを検出するためのＳＶＭ訓練の詳細を示す。図示のように、ウォーターフォール画像の集合を分析し、最大寸法および最小寸法に従って各画像の最大値（Ｗ）および最小値（Ｗ）をプロットする。一組の訓練ウォーターフォール画像の順序統計値をプロットする場合、タッチが存在する訓練ウォーターフォール画像は、線の上方のグループを形成し、タッチが存在しない訓練ウォーターフォール画像は、線の下方のグループを形成する。線は、超平面１０１０として知られており、ウォーターフォール画像に存在するタッチの確率を決定するための基礎である。

【0055】

図９に戻って、以下のタッチ確率式に示すように、線形分類器９１２は、順序統計値から、ウォーターフォール画像に存在するタッチの確率（すなわち、ｐＳＶＭ）を推定することができる。

【0056】

ｐＳＶＭ＝σ（ａ_１・最大値（Ｗ）＋ａ_２・最小値（Ｗ）＋ｂ） （２）
上記の式において、ａ_１、ａ_２およびｂは、図１０に示すように、訓練ウォーターフォール画像に対する機械学習（訓練）から得られたＳＶＭ係数である。上記の式において、σは、無限振幅範囲を、確率に対応する固定範囲（例えば、０≦ｐＳＶＭ≦１）に適合させるシグモイド演算子である。確率（ｐＳＶＭ）を閾値と比較することによって、ウォーターフォール画像がタッチを含むか（ＹＥＳ）またはタッチを含まないか（ＮＯ）を判断することができる（９１３）。タッチが判断されると（すなわち、ＹＥＳ）、ウォーターフォール画像は、ウォーターフォール画像内のパターンをタッチジェスチャ（すなわち、タッチ）として認識するように構成されたジェスチャ分類器にルーティングされてもよい。そうでない場合（すなわち、ＮＯ）、プロセスは、一組のウォーターフォール画像９２０内の次のウォーターフォール画像を繰り返して処理することができる。

【0057】

図１１は、本開示の可能な実装形態に従って、ウォーターフォール画像内のジェスチャを識別するためのプロセスを示す。図示のように、タッチを有すると判断されたウォーターフォール画像１１０１は、ジェスチャ分類器１１１０に適用される。ジェスチャ分類器は、２Ｄ畳み込みニューラルネットワーク（すなわち、ＣｏｎｖＮｅｔ（Ｗ））を含んでもよい。２Ｄ畳み込みニューラルネットワーク１１２０は、２つの畳み込み層と、後続の２つの完全接続層とを有し、５つの対話クラス（そのうちの４つが重要な対話クラスである）を含むことができる。ウォーターフォール画像１１０１が入力されると、畳み込みニューラルネットワーク１１２０は、複数のジェスチャ１１３０に対応する複数の出力に対して、重み（例えば、確率）を生成することができる。言い換えれば、分類器は、ウォーターフォール画像内の特定のパターンを特定のジェスチャとして認識し、認識されたジェスチャに高い重みを割り当てるように構成されている。１つの可能な実装形態において、最も高い重みを有する出力は、ジェスチャとして認識されてもよい。別の可能な実装形態において、閾値を超える出力は、ジェスチャとして認識されてもよい。図１１に示すように、ジェスチャは、タッチ無し、スクロールアップ、スクロールダウン、クリック、およびダブルクリックを含んでもよい。図示の例において、ジェスチャ分類器は、ウォーターフォール画像１１０１に従ってクリックを出力する。このクリックは、アプリケーションを制御するためのコマンドとして使用されてもよい。

【0058】

図１２は、本開示の可能な実装形態に従って、ウェアラブルデバイスを制御するための方法を示すフローチャートである。方法１２００は、ウェアラブルデバイスの検出器が光を受光すること１２１０を含む。これまで説明してきた検出器は、ＰＰＧ検出器であった。この実装形態において、タッチを制御するために使用された検出器は、ＰＰＧ検出器に機能を追加することによってＰＰＧ検出器を二重目的検出器にしたものであるが、他の実装形態も可能である。例えば、検出器は、タッチを制御するために、ウェアラブルデバイスに追加された単一目的検出器であってもよい。同様に、検出器によって受光された光は、ＰＰＧ光源の一部であってもよく、またはタッチを制御する目的で使用される光源からのものであってもよい。これらの実装形態において、光源からの光は、ウェアラブルデバイスの下方の（すなわち、ウェアラブルデバイスの真下またはウェアラブルデバイスによって覆われる）身体領域に向けられるのではなく、タッチ制御に使用される身体領域（例えば、手首、前腕）に向けられてもよい。

【0059】

方法１２００は、検出器によって受光された光をフィルタリングすること１２２０をさらに含む。フィルタリングは、他の（例えば、より高い強度の）光が検出器によって受光されたときでさえ、タッチによって引き起こされた変化が観察可能であるように、受光された光を分離することができる。このフィルタリングは、主成分分析または周波数領域フィルタリングに基づくフィルタリングを含んでもよい。スマートウォッチの実装形態の場合、フィルタリングは、スマートウォッチのＰＰＧ検出器によって受光された光から迷光成分を分離する。

【0060】

方法１２００は、フィルタリングされた光のウォーターフォール画像を生成すること１２３０をさらに含む。ウォーターフォール画像は、第１の軸上のジェスチャの時間に関する情報と、第２の軸上のジェスチャの強度（すなわち、振幅）に関する情報とを含む２次元画像である。したがって、（例えば、時間ウィンドウの間の）タッチの数を決定（すなわち、検出）することができる。また、強度とタッチ位置とを関連付けることができるため、タッチ中の位置の変化を検出することもできる。

【0061】

方法１２００は、ウォーターフォール画像を分析すること１２４０をさらに含む。タッチを含むウォーターフォール画像は、より暗いピクセル領域の中により明るいピクセル領域を含む可能性がある。したがって、様々な画像解析技術を用いて、状況を決定することができる。１つの可能な技法は、ウォーターフォール画像の最大ピクセル値および最小ピクセル値に基づく線形分類器を含む。線形分類器は、タッチを含む様々な訓練画像およびタッチを含まない様々な訓練画像を用いて、（例えば、使用前におよび／または周期的に）訓練される。訓練は、サポートベクターマシンを利用して、ウォーターフォール画像をタッチを含むものまたはタッチを含まないものとして区別するための基準を決定することができる。

【0062】

方法１２００は、ウォーターフォール画像がタッチを含むか否かを判断すること１２５０をさらに含む。ウォーターフォール画像がタッチを含む場合（すなわち、タッチ？＝Ｙ）、方法１２００は、ウォーターフォール画像内のジェスチャを識別すること１２６０を含む。この識別は、ニューラルネットワーク（例えば、２Ｄ畳み込みニューラルネットワーク）を含むジェスチャ分類器を使用することができる。ニューラルネットワークは、入力でウォーターフォール画像を受信するように構成されてもよい。ニューラルネットワークは、各々がジェスチャに対応する複数の出力（例えば、ジェスチャがない場合を含む）を有するように構成されてもよい。動作時、特定のジェスチャを含むウォーターフォール画像は、特定のジェスチャに対応する特定の出力の振幅を変更する（例えば、振幅を増加する）ことによって、このジェスチャを識別することができる。ジェスチャを識別した後、方法１２００は、このジェスチャに基づいて、ウェアラブルデバイスを制御すること１２７０を含んでもよい。例えば、ジェスチャは、ウェアラブルデバイス上で実行されるアプリケーションを制御することができる。

【0063】

ウォーターフォール画像がタッチを含まない場合（すなわち、タッチ？＝Ｎ）、方法１２００は、新しいウォーターフォール画像を取得し、プロセスを繰り返すことを含む。新しいウォーターフォール画像は、スライディングウィンドウをフィルタリングされた光に適用すること１２５５によって生成されてもよい。動作中、フィルタリングされた光は、連続信号ストリームであってもよい。この連続信号ストリームにスライディングウィンドウを適用することによって、一連のウォーターフォール画像を生成することができる。ウォーターフォール画像を生成することは、一連のウォーターフォール画像内の次のウォーターフォール画像を使用することを含むことができる。可能な実装形態において、プロセスを繰り返すことは、タッチを含まないウォーターフォール画像を破棄すること１２５２を含む。

【0064】

図１３は、本開示の可能な実装形態に従って、スマートウォッチを示すブロック図である。スマートウォッチ１３００は、光電式容積脈波記録センサ１３１０を含み、光電式容積脈波記録センサ１３１０は、１つ以上の光源１３１２と、１つ以上の検出器１３１４とを含むことができる。各光源は、透過光を投影するように構成されてもよい。透過光は、スマートウォッチの下方の手首の一部に集束される光と、スマートウォッチの下方ではない手首の一部に漏れる光とを含むことができる。各検出器は、逆反射光を受光するように構成されてもよい。逆反射光は、スマートウォッチの下方の手首の一部からの逆反射光と、スマートウォッチの下方ではない手首の一部からの逆反射光とを含むことができる。

【0065】

スマートウォッチは、少なくとも１つのプロセッサ１３２０をさらに含む。プロセッサは、ソフトウェア命令によって、スマートウォッチの下方ではない手首の一部からの逆反射光からジェスチャを識別するための処理を実行するように構成されてもよい。ソフトウェア命令は、メモリ１３３０に格納されていてもよい（およびそこから呼び出されてもよい）。また、処理（例えば、ウォーターフォール画像、分類器、等）に関する情報は、メモリ１３３０に格納され、メモリ１３３０から呼び出されてもよい。メモリ１３３０は、ソリッドステートドライブ（ＳＳＤ）などの非一時的なコンピュータ可読メモリであってもよい。いくつかの実装形態において、処理および／または記憶は、リモートデバイスのプロセッサまたはメモリによって補足または置換されてもよい。したがって、スマートウォッチ１３００は、通信リンク（例えば、ＷｉＦｉ（登録商標）、ＣＤＭＡ）を介してリモートデバイスと情報を送受信するように構成された通信モジュール１３４０をさらに含んでもよい。可能な実装形態において、ジェスチャ検出および認識の格納および／または処理は、コンピュータ／メモリデバイスのリモートネットワーク（すなわち、クラウドコンピュータネットワーク１３６０）を介して実行されてもよい。別の可能な実装において、スマートウォッチは、デバイス１３７０（例えば、イヤホン）に（例えば、ブルートゥース（登録商標）、ＵＷＢを介して）接続されてもよく、タッチジェスチャは、このデバイスを制御してもよい。

【0066】

スマートウォッチ１３００は、情報を提示し、タッチジェスチャを受信するように構成されたディスプレイ１３５０（例えば、タッチディスプレイ）をさらに含んでもよい。これまで説明してきたジェスチャ検出および認識は、ディスプレイ１３５０のタッチ特徴を複製、補足、または置換することができる。ディスプレイによってまたは手首において認識されるジェスチャは、スマートウォッチ１３００を制御することができる。

【0067】

本明細書に記載されたように、実装形態のいくつかの特徴を例示したが、当業者は、多くの修正、置換、変更、および均等物を想到するであろう。例えば、スマートウォッチは、異なる構成で手首に装着されてもよい。これによって、タッチを適用するために使用することができる手首／前腕の部分を変更する。したがって、添付の特許請求の範囲は、このような修正および変更の全てを実装形態の範囲内のものとして網羅することを意図している。実装形態は、限定ではなく例示としてのみ提示されており、形態および詳細に対して様々な変更を行うことができる。本明細書に記載のデバイスおよび／または方法の任意の部分は、相互排他的組み合わせを除いて、任意の組み合わせで組み合わせられてもよい。本明細書に記載の実装形態は、記載された異なる実装形態の機能、構成要素および／または特徴の様々な組み合わせおよび／または部分的な組み合わせを含むことができる。

【0068】

特に定義しない限り、本開示に使用された全ての技術的用語および科学的用語は、当業者によって一般的理解される意味と同様の意味を有する。本明細書に記載のものと類似または同等の方法および材料を、本開示の実施または試験に使用することができる。単数形の用語は、本明細書および添付の特許請求の範囲に使用された場合、文脈で特に明記しない限り、複数の対象を含む。本明細書に使用された用語「含む（comprising）」およびその変形は、用語「含む（including）」およびその変形と同義に使用され、非限定的な開放型用語である。本明細書に使用された用語「任意の」（optional）または「任意に」（optionally）は、後で説明する特徴、イベントまたは状況が生じてもよく生じなくてもよいこと、およびその記載が、特徴、イベントまたは状況が生じる場合と生じない場合とを含むことを意味する。範囲は、本明細書において、「約」１つの特定の値から、および／または「約」別の特定の値までとして表されてもよい。このような範囲で表された場合、特性は、１つの特定の値からおよび／または他の特定の値までの値を含む。同様に、先行詞「約」を使用して値を近似値として表す場合、特定の値は、別の態様を形成することが理解されるであろう。各範囲の端点は、他方の端点に関連して、および他方の端点から独立しての両方で有意であることがさらに理解されるであろう。

【0069】

本明細書において単数の表現は、文脈で特に明記しない限り、複数の表現を含む。空間的に相対用語は、図面に示された方向に加えて、使用または動作中のデバイスの異なる方向を包含する。いくつかの実装形態において、上方および下方の相対的な用語は、それぞれ、垂直方向の上方および垂直方向の下方を含むことができる。いくつかの実装形態において、隣接するという用語は、横方向に隣接すること、または水平方向に隣接することを含むことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】