(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】無線信号に基づくジェスチャ認識
(51)【国際特許分類】
G06F 3/01 20060101AFI20231108BHJP
G06F 3/0346 20130101ALI20231108BHJP
【FI】
G06F3/01 570
G06F3/0346 421
(21)【出願番号】P 2020569199
(86)(22)【出願日】2019-06-14
(86)【国際出願番号】 CA2019050843
(87)【国際公開番号】W WO2019241877
(87)【国際公開日】2019-12-26
【審査請求日】2022-05-25
(32)【優先日】2018-06-18
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2019-05-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】318010214
【氏名又は名称】コグニティヴ システムズ コーポレイション
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】オマー モハンマド
(72)【発明者】
【氏名】セルヴァクマラシンガム アニス
(72)【発明者】
【氏名】スナイダー クリストファー
(72)【発明者】
【氏名】デヴィソン スティーブン アーノルド
【審査官】三田村 陽平
(56)【参考文献】
【文献】国際公開第2016/170011(WO,A1)
【文献】米国特許出願公開第2016/0259421(US,A1)
【文献】米国特許出願公開第2012/0283896(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048- 3/04895
G01S 7/00 - 7/64
G01S 13/00 -17/95
A61B 5/06 - 5/22
(57)【特許請求の範囲】
【請求項1】
1又は2以上の無線通信装置によって空間を通じて送信された無線信号に基づくチャネル情報を取得するステップと、
ジェスチャ認識エンジンの動作によって前記チャネル情報を分析して前記空間内のジェスチャを検出するステップであって、時間-周波数フィルタを使用して前記ジェスチャの時間-周波数特性を検出するステップを含む、ステップと、
前記検出されたジェスチャに応答して開始すべきアクションを識別するステップと、
前記アクションを実行するための命令を、前記空間に関連するネットワーク接続装置に送信するステップと、
を含
み、前記チャネル情報は、チャネル応答の時系列を含み、前記時間-周波数フィルタを使用することは最適化アルゴリズムを使用して重み付け係数を調整すること、及び、前記チャネル応答の周波数成分に前記重み付け係数を適用することを含むことを特徴とする方法。
【請求項2】
前記ジェスチャの位置を検出するステップと、
前記ジェスチャの前記位置に基づいて、前記開始すべきアクションを決定するステップと、
を含む、請求項1に記載の方法。
【請求項3】
前記ジェスチャを検出するステップは、一連のジェスチャを検出するステップを含み、前記一連のジェスチャを検出するステップは、ジェスチャタイムアウト期間内に第1のジェスチャ及び第2のジェスチャが行われたと判定するステップを含む、
請求項1又は2に記載の方法。
【請求項4】
前記一連のジェスチャを検出するステップは、
前記第1のジェスチャを検出したことに応答して、状態機械の状態を開始してジェスチャタイムアウトカウンタを始動するステップと、
前記ジェスチャタイムアウト期間内に前記第2のジェスチャを検出したことに応答して、前記状態機械の前記状態を進展させて前記ジェスチャタイムアウトカウンタを再始動するステップと、
前記ジェスチャタイムアウトカウンタを再始動した後に、前記ジェスチャタイムアウトカウンタに基づいてジェスチャタイムアウトを検出するステップと、
前記ジェスチャタイムアウト時の前記状態機械の前記状態に基づいて前記アクションを識別するステップと、
を含む、請求項3に記載の方法。
【請求項5】
前記チャネル情報は、チャネル応答の時系列を含み、前記時間-周波数フィルタを使用するステップは、前記チャネル応答の周波数成分に重み付け係数を適用するステップを含む、
請求項1に記載の方法。
【請求項6】
前記時間-周波数フィルタは、ジェスチャの時間-周波数特性を検出するように前記重み付け係数を調整する適応的時間-周波数フィルタを含む、
請求項5に記載の方法。
【請求項7】
前記適応的時間-周波数フィルタは、人間のジェスチャに対応する周波数範囲内の周波数における前記チャネル応答の強度を変調するジェスチャを検出するように前記重み付け係数を調整する、
請求項6に記載の方法。
【請求項8】
命令を含む非一時的コンピュータ可読媒体であって、前記命令は、データ処理装置によって実行された時に、
1又は2以上の無線通信装置によって空間を通じて送信された無線信号に基づくチャネル情報を取得するステップと、
ジェスチャ認識エンジンの動作によって前記チャネル情報を分析して前記空間内のジェスチャを検出するステップであって、時間-周波数フィルタを使用して前記ジェスチャの時間-周波数特性を検出するステップを含む、ステップと、
前記検出されたジェスチャに応答して開始すべきアクションを識別するステップと、
前記アクションを実行するための命令を、前記空間に関連するネットワーク接続装置に送信するステップと、
を含む動作を実行
し、
前記チャネル情報は、チャネル応答の時系列を含み、前記時間-周波数フィルタを使用することは最適化アルゴリズムを使用して重み付け係数を調整すること、及び、前記チャネル応答の周波数成分に前記重み付け係数を適用することを含む、ことを特徴とするコンピュータ可読媒体。
【請求項9】
前記動作は、
前記ジェスチャの位置を検出するステップと、
前記ジェスチャの前記位置に基づいて、前記開始すべきアクションを決定するステップと、
を含む、請求項8に記載のコンピュータ可読媒体。
【請求項10】
前記ジェスチャを検出するステップは、一連のジェスチャを検出するステップを含み、前記一連のジェスチャを検出するステップは、ジェスチャタイムアウト期間内に第1のジェスチャ及び第2のジェスチャが行われたと判定するステップを含む、
請求項8又は9に記載のコンピュータ可読媒体。
【請求項11】
前記一連のジェスチャを検出するステップは、
前記第1のジェスチャを検出したことに応答して、状態機械の状態を開始してジェスチャタイムアウトカウンタを始動するステップと、
前記ジェスチャタイムアウト期間内に前記第2のジェスチャを検出したことに応答して、前記状態機械の前記状態を進展させて前記ジェスチャタイムアウトカウンタを再始動するステップと、
前記ジェスチャタイムアウトカウンタを再始動した後に、前記ジェスチャタイムアウトカウンタに基づいてジェスチャタイムアウトを検出するステップと、
前記ジェスチャタイムアウト時の前記状態機械の前記状態に基づいて前記アクションを識別するステップと、
を含む、請求項10に記載のコンピュータ可読媒体。
【請求項12】
前記チャネル情報は、チャネル応答の時系列を含み、前記時間-周波数フィルタを使用するステップは、前記チャネル応答の周波数成分に重み付け係数を適用するステップを含む、
請求項8に記載のコンピュータ可読媒体。
【請求項13】
前記時間-周波数フィルタは、ジェスチャの時間-周波数特性を検出するように前記重み付け係数を調整する適応的時間-周波数フィルタを含む、
請求項12に記載のコンピュータ可読媒体。
【請求項14】
前記適応的時間-周波数フィルタは、人間のジェスチャに対応する周波数範囲内の周波数における前記チャネル応答の強度を変調するジェスチャを検出するように前記重み付け係数を調整する、
請求項13に記載のコンピュータ可読媒体。
【請求項15】
空間を通じて無線信号を送信する無線通信装置と、
前記空間に関連するネットワーク接続装置と、
1又は2以上のプロセッサを含むコンピュータ装置と、
を備えたシステムであって、前記1又は2以上のプロセッサは、
前記無線通信装置のうちの1つ又は2つ以上によって前記空間を通じて送信された無線信号に基づくチャネル情報を取得するステップと、
ジェスチャ認識エンジンの動作によって前記チャネル情報を分析して前記空間内のジェスチャを検出するステップであって、時間-周波数フィルタを使用して前記ジェスチャの時間-周波数特性を検出するステップを含む、ステップと、
前記検出されたジェスチャに応答して開始すべきアクションを識別するステップと、
前記アクションを実行するための命令を、前記空間に関連するネットワーク接続装置に送信するステップと、
を含む動作を実行
し、
前記チャネル情報は、チャネル応答の時系列を含み、前記時間-周波数フィルタを使用することは最適化アルゴリズムを使用して重み付け係数を調整すること、及び、前記チャネル応答の周波数成分に前記重み付け係数を適用することを含む、ことを特徴とするシステム。
【請求項16】
前記動作は、
前記ジェスチャの位置を検出するステップと、
前記ジェスチャの前記位置に基づいて、前記開始すべきアクションを決定するステップと、
請求項15に記載のシステム。
【請求項17】
前記ジェスチャを検出するステップは、一連のジェスチャを検出するステップを含み、前記一連のジェスチャを検出するステップは、ジェスチャタイムアウト期間内に第1のジェスチャ及び第2のジェスチャが行われたと判定するステップを含む、
請求項15又は16に記載のシステム。
【請求項18】
前記一連のジェスチャを検出するステップは、
前記第1のジェスチャを検出したことに応答して、状態機械の状態を開始してジェスチャタイムアウトカウンタを始動するステップと、
前記ジェスチャタイムアウト期間内に前記第2のジェスチャを検出したことに応答して、前記状態機械の前記状態を進展させて前記ジェスチャタイムアウトカウンタを再始動するステップと、
前記ジェスチャタイムアウトカウンタを再始動した後に、前記ジェスチャタイムアウトカウンタに基づいてジェスチャタイムアウトを検出するステップと、
前記ジェスチャタイムアウト時の前記状態機械の前記状態に基づいて前記アクションを識別するステップと、
を含む、請求項17に記載のシステム。
【請求項19】
前記チャネル情報は、チャネル応答の時系列を含み、前記時間-周波数フィルタを使用するステップは、前記チャネル応答の周波数成分に重み付け係数を適用するステップを含む、
請求項15に記載のシステム。
【請求項20】
前記時間-周波数フィルタは、ジェスチャの時間-周波数特性を検出するように前記重み付け係数を調整する適応的時間-周波数フィルタを含む、
請求項19に記載のシステム。
【請求項21】
前記適応的時間-周波数フィルタは、人間のジェスチャに対応する周波数範囲内の周波数における前記チャネル応答の強度を変調するジェスチャを検出するように前記重み付け係数を調整する、
請求項20に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照〕
本出願は、2018年6月18日に出願された「動的ビームフォーミング情報に基づく動き検出(Motion Detection Based on Beamforming Dynamic Information)」という名称の米国仮特許出願第62/686,446号に対する優先権を主張する、2019年5月29日に出願された「無線信号に基づくジェスチャ認識(Recognizing Gestures Based on Wireless Signals)」という名称の米国特許出願第16/425,310号に対する優先権を主張するものである。これらの優先出願は、引用により本明細書に組み入れられる。
【0002】
以下の説明は、無線信号に基づいてジェスチャ(例えば、人間のジェスチャ)を認識することに関する。
【背景技術】
【0003】
例えば、室内又は屋外領域における物体の動きを検出するために動き検出システムが使用される。動き検出システム例には、赤外線センサ又は光学センサを用いてセンサの視野内の物体の動きを検出するものもある。動き検出システムは、セキュリティシステム、自動制御システム及びその他のタイプのシステムで使用されている。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第9,523,760号明細書
【文献】米国特許第9,584,974号明細書
【文献】米国特許第10,051,414号明細書
【文献】米国特許第10,048,350号明細書
【文献】米国特許第10,108,903号明細書
【文献】米国特許第10,109,167号明細書
【文献】米国特許第10,109,168号明細書
【図面の簡単な説明】
【0005】
【
図2A】無線通信装置間で通信される無線信号例を示す図である。
【
図2B】無線通信装置間で通信される無線信号例を示す図である。
【
図3】状態機械例によって実行されるプロセスを示すフロー図である。
【
図4】ジェスチャ認識エンジン例によって実行されるプロセスを示すフロー図である。
【発明を実施するための形態】
【0006】
本明細書で説明する内容のいくつかの態様では、動き検出システムがジェスチャ(例えば、人間のジェスチャ)を検出し、このジェスチャに応答してアクションを開始する。例えば、無線チャネルスペクトル上で手続き的ジェスチャイベント(procedural gesture events)が生みだす時間及び周波数情報を利用してアクションを開始することができる。いくつかの例では、状態機械を使用して、特定の方法で無線チャネルを乱していた一連のジェスチャイベントを検出することができる。これらの無線チャネルの乱れは、無線信号から収集されたチャネル情報において明らかになることができ、これらを時間領域及び/又は周波数領域で分析して異なるジェスチャの区別及び認識を行うことができる。いくつかの実装では、一連のジェスチャの最後に、状態機械が、特定のアクションを実行するためのアクションコマンドを接続装置(例えば、IoT装置)に対してトリガする。
【0007】
いくつかの例では、本明細書で説明するシステム及び技法の態様が、既存のアプローチに勝る技術的改善及び利点をもたらす。例えば、本明細書で説明するシステム及び技法は、IoT装置又はその他のネットワーク接続装置とのジェスチャベースの(例えば、タッチフリーインタラクションを通じた)インターフェイスを提供して、無線カバレッジが存在するあらゆる位置においてサービスを有効化又は無効化することができる。これにより、オーディオ信号を利用してオーディオセンサ(例えば、マイク)との可聴的近接性(audible proximity)を必要とする技術(例えば、ボイスアシスタント)に勝る選択肢又は改善をもたらすことができる。無線周波数信号及びその他の無線信号は、壁を通じて長い距離を伝播することができるので、チャネル情報を収集する装置は、広範囲の位置におけるジェスチャから刷り込まれた(imprinted)時間及び周波数特性(time and frequency signature)を取得して分析することができる。従って、本明細書で説明するシステム及び技法は、ネットワーク接続装置及びその他のタイプのネットワークアクセスサービスとの改善されたユーザインタラクションを提供することができる。
【0008】
いくつかの例では、無線通信ネットワーク内の各無線通信装置において受け取られた無線信号を分析してチャネル情報を決定することができる。チャネル情報は、空間を横切る無線信号に伝達関数を適用する物理的媒体を表すことができる。いくつかの例では、チャネル情報がチャネル応答を含む。チャネル応答は、例えば送信機と受信機との間の空間内の散乱、フェージング及び電力減衰の複合効果を表す物理的通信経路を特徴付けることができる。いくつかの例では、チャネル情報が、ビームフォーミングシステムによって提供されるビームフォーミング状態情報(例えば、フィードバックマトリクス、ステアリングマトリクス、チャネル状態情報(CSI)など)を含む。ビームフォーミングは、マルチアンテナ(複数入力/複数出力(MIMO))無線システムにおいて指向性信号送信又は受信のためにしばしば使用される信号処理技術である。ビームフォーミングは、特定の角度の信号が建設的干渉を受けて他の信号が相殺的干渉を受けるようにアンテナアレイ内の素子を操作することによって達成することができる。
【0009】
(例えば、無線通信ネットワーク内のハブ装置又は他の装置、或いはネットワークに通信可能に結合された遠隔装置が)各通信リンクのチャネル情報を分析して、空間内で動き(例えば、ジェスチャ又は別のタイプの動き)が発生したかどうか、検出された動きの相対的位置、又はこれらの両方を検出することができる。いくつかの態様では、各通信リンクのチャネル情報を分析してジェスチャ又はジェスチャシーケンスを検出し、検出されたジェスチャ又はジェスチャシーケンスに基づいて二次アクションを開始することができる。
【0010】
無線信号に基づいて動きを検出するために使用できる動き検出システム及び位置特定プロセスの例としては、「反復無線送信に基づく動きの検出(Detecting Motion Based on Repeated Wireless Transmissions)」という名称の米国特許第9,523,760号、「基準信号送信に基づく動きの検出(Detecting Motion Based on Reference Signal Transmissions)」という名称の米国特許第9,584,974号、「チャネル応答変動の分解に基づく動き検出(Detecting Motion Based On Decompositions Of Channel Response Variations)」という名称の米国特許第10,051,414号、「統計的無線信号パラメータのグループ化に基づく動き検出(Motion Detection Based on Groupings of Statistical Parameters of Wireless Signals)」という名称の米国特許第10,048,350号、「無線信号特性の機械学習に基づく動き検出(Motion Detection Based on Machine Learning of Wireless Signal Properties)」という名称の米国特許第10,108,903号、「動きインジケータ値に基づく無線メッシュネットワーク内の動きの局所化(Motion Localization in a Wireless Mesh Network Based on Motion Indicator Values)」という名称の米国特許第10,109,167号、「チャネル応答特性に基づく動きの局所化(Motion Localization Based on Channel Response Characteristics)」という名称の米国特許第10,109,168号に記載される技術、及びその他の技術が挙げられる。
【0011】
図1に、無線通信システム例100を示す。無線通信システム例100は、3つの無線通信装置102A、102B、102Cと、2つのモノのインターネット(IoT)装置120A、120Bとを含む。無線通信システム例100は、さらなる装置及び/又は他のコンポーネント(例えば、1又は2以上のネットワークサーバ、ネットワークルータ、ネットワークスイッチ、ケーブル、又はその他の通信リンクなど)を含むこともできる。
【0012】
いくつかの例では、無線通信システム100が家庭、オフィス又は別のタイプの空間などの物理的環境内に配置され、無線通信システム100の1又は2以上のコンポーネントが動き検出システムのコンポーネントと協調して、又はこのようなコンポーネントとして動作することができる。例えば、無線通信装置102A、102B、102Cのうちの1つ又は2つ以上、又は物理的環境内の別のコンピュータ装置、リモートサーバ、クラウドベースのコンピュータシステムなどに動き検出システムに関連するソフトウェアをインストールして実行することができる。
【0013】
いくつかの例では、動き検出システムがジェスチャ認識を実行し、特定の人間のジェスチャ又は人間のジェスチャシーケンスを検出したことに応答して所定のアクションを開始する。従って、動き検出システムは、家庭又はオフィス空間内でWi-Fiベースのジェスチャ認識を提供することができ、これによってユーザは、予めプログラム又はトレーニングされたジェスチャを通じてあらゆるタイプのイベントを無線で作動又は停止することができる。ジェスチャは、シングルジェスチャ又はマルチジェスチャイベントとすることができる。シングルジェスチャは、例えば単一の連続動作とすることができるのに対し、マルチジェスチャイベントは、例えば連続して行われる(同様の又は異なるタイプの)複数のジェスチャとすることができる。マルチジェスチャイベントにおけるジェスチャは、ジェスチャ間に可変的中断(variable pause)を挟んで分離して、例えば異なるジェスチャシーケンスを形成することができる。一例として、連続して手を振って長い中断(例えば、2秒)を挟んで手を振るジェスチャは、手を振って短い中断(例えば、1秒)を挟んで手を振るジェスチャとは異なることができる。動き検出システムは、他のタイプのジェスチャイベントを検出することもできる。
【0014】
いくつかの実装では、ジェスチャを(例えば、いずれかのソースからの)定位情報と結び付けて、ユーザの位置に応じて異なるアクションを実行することができる。一例として、ユーザが居間で開いた掌を垂直に上げるシングルジェスチャを実行すると、居間のテレビの音量を大きくすることができ、居間で水平にスワイプする動きを行うと、居間のテレビのチャネルを変えることができるのに対し、同じジェスチャをキッチンで行うと、キッチンのテレビを同様に調整することができる。別の例として、ユーザが寝室内で2回続けて手を振るマルチジェスチャを実行すると、例えば寝室のアラームクロックのアラーム音を解除することができ、3回続けて手を振ると、寝室の照明をオン又はオフに切り替えることができるのに対し、同じジェスチャを別の寝室で行うと、その寝室内で同じ又は異なるアクションを引き起こすことができる。
【0015】
いくつかの実装では、ジェスチャ認識エンジンが、無線通信ネットワーク100の物理的環境を通じて送信された無線信号に基づくチャネル情報を収集する無線通信装置102A、102B、102Cのうちの1つ又は2つ以上からチャネル情報を受け取る。ジェスチャ認識エンジンは、一定時間をかけてチャネル情報の周波数成分の徹底調査(deep inspection)を行う。いくつかの例では、ジェスチャ認識エンジンによってジェスチャが認識されると、状態機械を呼び出すことができる。ジェスチャ又はジェスチャシーケンスの完了が検出された後に、状態機械の最終状態に応じて(例えば、IoT装置120A、120Bの一方にコマンドを送信することによって)アクションを開始することができる。
【0016】
無線通信装置例102A、102B、102C及びIoT装置120A、120Bは、例えば無線ネットワーク標準又は別のタイプの無線通信プロトコルに従って無線ネットワーク内で動作することができる。例えば、無線ネットワークは、無線ローカルエリアネットワーク(WLAN)、パーソナルエリアネットワーク(PAN)、メトロポリタンエリアネットワーク(MAN)、又は別のタイプの無線ネットワークとして動作するように構成することができる。WLANの例としては、IEEEによって開発された標準である802.11ファミリのうちの1つ又は2つ以上(例えば、Wi-Fiネットワーク)などに従って動作するように構成されたネットワークが挙げられる。PANの例としては、近距離通信標準(例えば、BLUETOOTH(登録商標)、近距離無線通信(NFC)、Zigbee)、及びミリ波通信などに従って動作するネットワークが挙げられる。
【0017】
いくつかの実装では、無線通信装置102A、102B、102Cを、例えばセルラネットワーク標準に従ってセルラネットワーク内で通信するように構成することができる。セルラネットワークの例としては、グローバル・システム・フォー・モバイル(GSM)及びGSM進化型高速データレート(EDGE)又はEGPRSなどの2G標準、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA)、ユニバーサル・モバイル・テレコミュニケーション・システム(UMTS)及び時分割同期符号分割多元接続(TD-SCDMA)などの3G標準、ロング・ターム・エボリューション(LTE)及びLTE-Advanced(LTE-A)などの4G標準、及び5G標準などに従って構成されたネットワークが挙げられる。
【0018】
いくつかの例では、無線通信装置102のうちの1つ又は2つ以上が、Wi-Fiアクセスポイント又は別のタイプの無線アクセスポイント(WAP)である。いくつかの例では、無線通信装置102のうちの1つ又は2つ以上が、例えば市販のメッシュネットワークシステム(例えば、GOOGLE Wi-Fi、EEROメッシュなど)などの無線メッシュネットワークのアクセスポイントである。いくつかの例では、無線通信装置102のうちの1つ又は2つ以上が、モバイル装置(例えば、スマートフォン、スマートウォッチ、タブレット、ラップトップコンピュータなど)、IoT装置(例えば、Wi-Fi対応サーモスタット、Wi-Fi対応照明コントロール、Wi-Fi対応カメラ、スマートTV、Wi-Fi対応ドアベル)、又は無線ネットワーク内で通信する別のタイプの装置である。
【0019】
IoT装置120A、120Bは、無線通信装置102のうちの1つ又は2つ以上と通信することができるネットワーク接続装置の例である。IoT装置120A、120Bは、例えばネットワーク接続サーモスタット、ネットワーク接続照明コントロール、ネットワーク接続カメラ、ネットワーク接続TV、ネットワーク接続ドアベルなどを含むことができる。一般に、ネットワーク接続装置は、有線接続(例えば、イーサネットケーブル)、無線接続(例えば、ローカルエリアネットワーク接続)、又はこれらの両方を使用して通信ネットワークを介して他の装置と通信することができる。
【0020】
図1に示す例では、IoT装置120A、120BがWi-Fiネットワークを介して通信するが、IoT装置は、アドホックネットワーク、パーソナルエリアネットワーク、セルラネットワーク、衛星ネットワーク及びその他を含む他のタイプの無線ネットワークを介して通信することもできる。
図1に示すように、IoT装置例120Aは無線通信装置102Aと通信し、IoT装置例120Bは無線通信装置102Bと通信する。例えば、無線通信装置102A、102Bは、無線ネットワーク内の無線ルータ(例えば、無線メッシュルータ)又は無線アクセスポイント(例えば、Wi-Fiアクセスポイント)とすることができ、IoT装置120A、120Bは、無線通信装置102A、102Bとのそれぞれの通信リンクを通じて無線ネットワークにアクセスすることができる。
【0021】
図1に示す例では、無線通信装置102が、無線通信リンクを介して互いに無線信号を送信し、装置間で通信される無線信号を動きプローブ(motion probe)として使用して装置間の信号経路内の物体の動き及びジェスチャ(例えば、人間のジェスチャ)を検出する。いくつかの実装では、標準信号(例えば、チャネルサウンディング信号、ビーコン信号)、非標準的基準信号、又はその他のタイプの無線信号を動きプローブとして使用することができる。
【0022】
図1に示す例では、無線通信装置102A、102C間の無線通信リンクを使用して第1の動き検出ゾーン110Aを探査し、無線通信装置102B、102C間の無線通信リンクを使用して第2の動き検出ゾーン110Bを探査し、無線通信装置102A、102B間の無線通信リンクを使用して第3の動き検出ゾーン110Cを探査することができる。いくつかの例では、動き検出ゾーン110が、例えば無線電磁信号を伝播できる空気、固形物、液体、又は別の媒体を含むことができる。
【0023】
図1に示す例では、動き検出ゾーン110のいずれかにおいて物体が動き、又はある人物がジェスチャを行うと、動き検出システムが、関連する動き検出ゾーン110を通じて送信された信号に基づいて動き又はジェスチャを検出することができる。一般に、物体は、あらゆるタイプの静的物体又は可動物体とすることができ、生物又は無生物とすることができる。例えば、物体は、人間(例えば、
図1に示す人物106)、動物、無機物、又は別のデバイス、装置又はアセンブリ、空間の境界の全部又は一部を定める物体(例えば、壁、ドア、窓など)、或いは別のタイプの物体とすることができる。
【0024】
いくつかの例では、無線信号が、移動物体と相互作用する前又は後に構造物(例えば、壁)を通じて伝播することができ、これによって移動物体と送信又は受信ハードウェアとの間の光学的見通し線を伴わずに移動物体の動きの検出を可能にすることができる。いくつかの例では、動き検出システムが、動き又はジェスチャ検出イベントをセキュリティシステム又はコントロールセンタなどの別の装置又はシステムに伝えることができる。
【0025】
いくつかの例では、無線通信装置102自体が、例えば無線通信装置上のコンピュータ可読命令(例えば、ソフトウェア又はファームウェア)を実行することによって、動き検出システムの1又は2以上の動作を実行するように構成される。例えば、各装置は、受け取った無線信号を処理して、通信チャネル内で検出された変化に基づいて動きを検出することができる。いくつかの例では、別の装置(例えば、リモートサーバ、ネットワーク接続装置など)が、動き検出システムの1又は2以上の動作を実行するように構成される。例えば、各無線通信装置102は、動き検出システムの動作を実行する中央装置又はシステムにチャネル情報を送信することができる。
【0026】
ある動作態様例では、無線通信装置102A、102Bが無線信号をブロードキャストし、又は他の無線通信装置102Cに無線信号をアドレス指定して、無線通信装置102C(及び潜在的に他の装置)が、無線通信装置102A、102Bによって送信された無線信号を受け取ることができる。次に、無線通信装置102C(又は別のシステム又は装置)は、受け取った無線信号を処理して、無線信号によってアクセスされた空間(例えば、ゾーン110A、110B)内の物体の動き、人間のジェスチャ又は人間のジェスチャシーケンスを検出する。いくつかの例では、無線通信装置102C(又は別のシステム又は装置)が、
図3及び
図4に関して説明するプロセス例300、400の1又は2以上の動作を実行することができる。
【0027】
いくつかの動作態様では、無線通信装置102A、102B、102Cのうちの1つ又は2つ以上が、空間を通じて(例えば、家庭、オフィス、屋外領域などの全部又は一部を通じて)送信された無線信号に基づくチャネル情報を取得する。ジェスチャ認識エンジンは、チャネル情報を分析して空間内のジェスチャを検出する。ジェスチャは、例えば手を振ること、手のスワイプ、腕の動き、脚の動き、頭の動き、又はその他のタイプの人間のジェスチャを含むことができる。いくつかの例では、ジェスチャ認識エンジンが一連のこのようなジェスチャを検出する。例えば、状態機械を使用して、
図3に関して説明するような一連のジェスチャを検出することができる。
【0028】
いくつかの動作態様では、検出されたジェスチャ又はジェスチャシーケンスに応答して開始すべきアクションが(例えば、ジェスチャ又はジェスチャシーケンスのタイプ、状態機械の状態、又はその他に基づいて)識別される。アクションは、例えば照明をオン又はオフにすること、テレビ又はその他の装置をオン又はオフにすること、スピーカ又はその他の装置の音量を調整すること、サーモスタットの設定を調整することなどとすることができる。その後、アクションを実行するネットワーク接続装置(例えば、IoT装置120A、120Bの一方又は両方)に、アクションを実行するための命令(例えば、コマンド)を送信することができる。一例として、IoT装置102Aは、チャネル変更コマンドを受け取るネットワーク接続TV、温度調整コマンドを受け取るネットワーク接続サーモスタット、音量調整コマンドを受け取るネットワーク接続スピーカ、照明切り替えコマンドを受け取るネットワーク接続照明システム、セキュリティシステムを装備又は解除するコマンドを受け取るネットワーク接続装置などとすることができる。その後、ネットワーク接続装置は、命令を受け取ったことに応答して対応するアクションを実行することができる。
【0029】
いくつかの例では、ジェスチャの位置を検出することができ、このジェスチャの位置に基づいて、開始すべきアクションを決定することができる。例えば、このジェスチャの位置(例えば、家庭又はオフィス環境の特定の部屋又はゾーン)を、実行すべきアクションのタイプ(例えば、セキュリティ装置の装備/解除)、実行すべきアクションの位置(例えば、照明をオン/オフすべき部屋)、又はアクションを実行すべき装置(例えば、特定のTV)に関連付けることができる。ジェスチャの位置は、動き検出システムによって(例えば、チャネル情報に基づいて)検出することも、又は別の方法で検出することもできる。例えば、別のタイプのセンサを使用して、ジェスチャを行ったユーザの位置を検出することもできる。
【0030】
いくつかの例では、時間-周波数フィルタを使用することによってジェスチャを検出して、ジェスチャの時間-周波数特性を検出する。例えば、チャネル情報は、チャネル応答の時系列を含むことができ、時間-周波数フィルタは、チャネル応答の周波数成分(サブキャリア)に重み付け係数を適用することができる。時間-周波数フィルタは、複数のジェスチャタイプの時間-周波数特性を検出するように(例えば、最適化アルゴリズム又はその他に従って)重み付け係数を調整する適応的時間-周波数フィルタを含むことができる。例えば、適応的時間-周波数フィルタは、人間のジェスチャに対応する周波数範囲(例えば、0~4ヘルツ、0.25~0.75ヘルツ、又は別の周波数範囲)のチャネル応答を変調するジェスチャを検出するように重み付け係数を調整することができる。適応的時間-周波数フィルタの例については、
図4に関して説明する。
【0031】
図2A及び
図2Bは、無線通信装置204A、204B、204C間で通信される無線信号例を示す図である。無線通信装置204A、204B、204Cは、例えば
図1に示す無線通信装置102A、102B、102Cとすることも、或いは他のタイプの無線通信装置とすることもできる。
図2A及び
図2Bに示すように、無線通信装置204A、204B、204Cは、ネットワーク接続装置220と共に空間200内に存在する。ネットワーク接続装置220は、例えば
図1に示すIoT装置120A、120Bのうちの1つ、又は別のタイプのネットワーク接続装置とすることができる。
【0032】
無線通信装置例204A、204B、204Cは、空間200を通じて無線信号を送信することができる。空間例200は、空間200の1又は2以上の境界が完全に又は部分的に取り囲まれたものとすることも、或いは開放されたものとすることもできる。空間200は、部屋、複数の部屋、建物、屋内領域又は屋外領域などの内部とすることができ、又はこれらを含むことができる。図示の例では、第1の壁202A、第2の壁202B及び第3の壁202Cが、空間200を少なくとも部分的に取り囲む。
【0033】
図示のように、ある人物が
図2Aの最初の時点(t0)に第1のジェスチャ214Aを行い、この人物が
図2Bのその後の時点(t1)に第2のジェスチャ214Bを行う。
図2A及び
図2Bでは、ジェスチャが腕の動きであり、この人物は、下向きに腕を振ることによって第1のジェスチャ214Aを行い、上向きに腕を振ることによって第2のジェスチャ214Bを行う。図示の例では、第1及び第2のジェスチャ214A、214B間に中断が存在する。例えば、この人物は、ジェスチャ214A、214B間に1又は2秒待機することができる。第1のジェスチャ214A及び第2のジェスチャ214Bは、ネットワーク接続装置220がアクションを開始するために使用できるジェスチャシーケンスの例を示すものである。これらの及びその他のタイプのジェスチャ及びジェスチャシーケンスは、無線通信装置204Aによって送信された動き探査信号に基づいて検出することができる。
【0034】
無線通信装置204A、204B、204Cのうちの1つ又は2つ以上は、動き検出システムの一部とすることができ、或いは動き検出システムによって使用することができる。
図2A及び
図2Bに示す例では、第1の無線通信装置204Aが無線動き探査信号を(例えば、周期的に、断続的に、計画的に、非計画的に、又は不定期に、など)繰り返し送信する。第2及び第3の無線通信装置204B、204Cは、無線通信装置204Aによって送信された動き探査信号に基づく信号を受信する。
【0035】
図2A及び
図2Bに示す無線信号例は、それぞれの経路を通じて減衰、周波数シフト、位相シフト又は他の効果を受けることがあり、例えば壁202A、202B及び202Cを通じて別の方向に伝播する部分を有することができる。送信信号は、1つの周波数帯域幅内に複数の周波数成分を有することができる。送信信号は、第1の無線通信装置204Aから全方向的に、指向的に、又は別様に送信することができる。図示の例では、無線信号が空間200内の複数のそれぞれの経路をたどり、各経路に沿った信号が経路損失、散乱又は反射などによって減衰し、位相又は周波数オフセットを有することができる。
【0036】
図2A及び
図2Bには、第1の無線通信装置204Aから送信された無線信号の複数の経路例を破線で示す。第1の信号経路216に沿った無線信号は、第1の無線通信装置204Aから送信され、第1の壁202Aから第2の無線通信装置204Bに向かって反射する。第2の信号経路218に沿った無線信号は、第1の無線通信装置204Aから送信され、第2の壁202B及び第1の壁202Aから第3の無線通信装置204Cに向かって反射する。第3の信号経路220に沿った無線信号は、第1の無線通信装置204Aから送信され、第2の壁202Bから第3の無線通信装置204Cに向って反射する。第4の信号経路220に沿った無線信号は、第1の無線通信装置204Aから送信され、第3の壁202Cから第2の無線通信装置204Bに向かって反射する。
【0037】
図2Aに示すように、無線信号は、第1の無線通信装置204Aと第3の無線通信装置204Cとの間の第5の信号経路224Aに沿って人物と相互作用する。
図2Bに示すように、無線信号は、第1の無線通信装置204Aと第3の無線通信装置204Cとの間の第6の信号経路224Bに沿って人物と相互作用する。第5の信号経路224A及び第6の信号経路224Bは、少なくとも部分的に異なるジェスチャ214A、214Bによって時間の経過と共に明確に変調される。例えば、第1のジェスチャ214Aは、ジェスチャ認識エンジンが検出できる第1の時間-周波数特性を有することができ、第2のジェスチャ214Aは、ジェスチャ認識エンジンが検出できる第2の(異なる)時間-周波数特性を有することができる。
【0038】
図2A及び
図2Bに示すように、様々な経路216、218、220、222、224A及び224Bからの信号は、第3の無線通信装置204C及び第2の無線通信装置204Bにおいて組み合わさって受信信号を形成する。空間200内の複数の経路が送信信号に影響するため、空間200は、送信信号が入力されて受信信号が出力される伝達関数(例えば、フィルタ)として表すことができる。空間200内で物体が動くと、信号経路内の信号に影響を与えていた減衰又は位相オフセットが変化し、従って空間200の伝達関数が変化することができる。第1の無線通信装置204Aから同じ無線信号が送信された場合、空間200の伝達関数が変化すれば、この伝達関数の出力、すなわち受信信号も変化する。この受信信号の変化を使用して物体の動きを検出することができる。これとは逆に、いくつかの例では、空間の伝達関数が変化しなければ、伝達関数の出力である受信信号も変化しない。
【0039】
数学的には、第1の無線通信装置204Aから送信される送信信号f(t)は以下の式(1)に従って表すことができ、
【数1】
ここでのω
nは、送信信号のn番目の周波数成分の周波数を表し、C
nは、n番目の周波数成分の複素係数を表し、tは時間を表す。送信信号f(t)が第1の無線通信装置204Aから送信されている場合、経路kからの出力信号r
k(t)は以下の式(2)に従って表すことができ、
【数2】
ここでのα
n,kは、経路kに沿ったn番目の周波数成分の減衰係数(例えば、散乱、反射及び経路損失などに起因するチャネル応答)を表し、φ
n,kは、経路kに沿ったn番目の周波数成分の信号の位相を表す。この時、無線通信装置における受信信号Rは、無線通信装置への全ての経路からの全ての出力信号r
k(t)の総和として以下の式(3)に示すように表すことができる。
【数3】
式(2)を式(3)に代入すると、以下の式(4)が得られる。
【数4】
【0040】
次に、無線通信装置における受信信号Rを分析して、後述するように動きを検出し、又はジェスチャを認識することができる。無線通信装置における受信信号Rは、例えば高速フーリエ変換(FFT)又は別のタイプのアルゴリズムを使用して周波数領域に変換することができる。この変換信号は、(n個の周波数ω
nにおける)それぞれの周波数成分の各々に1つの値が対応する一連のn個の複素数値としての受信信号Rを表すことができる。周波数ω
nにおける周波数成分については、複素数値Y
nを以下の式(5)のように表すことができる。
【数5】
【0041】
所与の周波数成分ωnの複素数値Ynは、その周波数成分ωnにおける受信信号の相対的大きさ及び位相オフセットを示す。物体が空間内で移動すると、空間変化のチャネル応答αn,kに起因して複素数値Ynが変化する。従って、検出されたチャネル応答の変化(従って複素数値Yn)は、通信チャネル内における物体の動きを示すことができる。これとは逆に、安定したチャネル応答は動きの欠如を示すことができる。従って、いくつかの実装では、無線ネットワーク内の複数の装置の各々の複素数値Ynを処理して、送信信号f(t)が横切った空間内で動きが発生したかどうかを検出することができる。
【0042】
図2A及び
図2Bの別の態様では、1又は複数の特定の方向への送信ビーム/信号を成形するために送信機装置によって適用される1又は2以上のステアリング特性(例えば、ステアリングマトリクス)を生成するために使用できる通信チャネルの何らかの知識に基づいて(例えば、受信機によって生成されたフィードバック特性を通じて)、装置間でビームフォーミングを実行することができる。従って、ビームフォーミングプロセスで使用されるステアリング又はフィードバック特性の変化は、無線通信システムによってアクセスされた空間内の移動物体に起因し得る変化を示す。例えば、チャネル応答、或いはステアリング又はフィードバック特性、又はこれらのいずれかの組み合わせなどによって一定期間にわたって示されるような通信チャネルの大きな変化によって動きを検出することができる。
【0043】
例えば、いくつかの実装では、チャネルサウンディングに基づいて受信機装置(ビームフォーミング受信側)が提供したフィードバックマトリクスに基づいて、送信機装置(ビームフォーミング送信側)においてステアリングマトリクスを生成することができる。ステアリング及びフィードバックマトリクスはチャネルの伝播特性に関連するので、チャネル内で物体が動くとこれらのマトリクスが変化する。従って、これらのマトリクスにチャンネル特性の変化が反映され、マトリクスを分析することによって動きを検出することができ、検出された動きの異なる特性を決定することができる。いくつかの実装では、1又は2以上のビームフォーミングマトリクスに基づいて空間マップを生成することができる。空間マップは、無線通信装置に対する空間内の物体の一般的方向を示すことができる。いくつかの例では、ビームフォーミングマトリクス(例えば、フィードバックマトリクス又はステアリングマトリクス)の「モード」を使用して空間マップを生成することができる。この空間マップを使用して空間内の動きの存在を検出し、又は検出された動きの位置を検出することができる。
【0044】
いくつかの動作態様では、動き検出システムが特定のジェスチャ(例えば、
図2A、2Bに示す第1及び第2のジェスチャ214A、214B又は他のタイプのジェスチャ)を検出することができる。例えば、動き検出システムは、特定のタイプのジェスチャ(例えば、腕振り又は呼吸)を空間内の他のタイプの動き(例えば、歩行又は走行)と区別することができる。ジェスチャは、無線通信ネットワークを介して通信するノード(例えば、無線通信装置204A、204B、204C)によって収集されたチャネル情報を分析することによって検出することができる。チャネル情報は、(例えば、Wi-Fiプロトコルに従う)チャネルサウンディング手順又は別のタイプのプロセスによって収集することができる。いくつかの例では、チャネルサウンディングを開始したノードにネットワークがフィードバックを提供することができ、このフィードバックがチャネルの測定値を含むことができる。チャネルサウンディングを開始したノードは、そのノードにおいてチャネル情報を分析し、或いは動き及び動きのタイプに関する決定を行う(例えば、ジェスチャ又は別のタイプの動きを識別する)別のノード(例えば、中心ハブ)にチャネル情報を提供することができる。いくつかの例では、チャネルを測定するノードがチャネル情報を分析して、動き及び動きのタイプに関する決定を行うことができる。いくつかの例では、ジェスチャが広範な動き又は小さな動きを含むことができる。例えば、手を振るジェスチャなどの広範な動きは、分析されたチャネル応答内に2つの異なるピークを有するチャネル応答によって検出することができる。別の例として、呼吸活動又は心拍などの小さな動きは、より小さな変化又は滑らかな周期的振動を有するチャネル応答によって検出することができる。
【0045】
いくつかの例では、ジェスチャ又は一連のジェスチャを、装置220が取るべきアクションに関連付けることができる。例えば、ジェスチャ214A、214Bによってネットワーク接続装置220を制御することができる。一例として、装置220を、Wi-Fi対応アラームクロック又は別のタイプのWi-Fi装置(例えば、アラームクロックアプリケーションを実行するスマートフォン)とすることができる。この例では、(例えば、特定の回数腕を振ることなどの)一連のジェスチャ214A、214Bを、Wi-Fi装置のアラームを停止することに関連付けることができる。別の例では、特定の呼吸数及び/又は心拍数のジェスチャが、ある人物が目を覚ましており、又はもはや眠っていないことを示すことができ、これらのジェスチャをアラームの停止に関連付けることができる。従って、ジェスチャ又は一連のジェスチャをネットワーク接続装置220のいずれかのアクションに関連付け、無線通信ネットワークを介してこれを制御することができる。いくつかの例としては、照明のオン及びオフ、セキュリティシステムの作動及び停止などが挙げられる。いくつかの例では、ユーザによるジェスチャの選択、及びジェスチャと装置を制御するアクションとの関連付けを可能にするインターフェイスを提供するユーザアプリケーションをWi-Fi接続装置内又はWi-Fi接続装置上に提供することができる。他の例では、動き検出システム、別の装置などがジェスチャの選択及び管理を行うこともできる。
【0046】
図3は、例えば動き検出システム内の状態機械例によって実行されるプロセス300を示すフロー図である。動き検出システムは、空間を通じて送信された無線信号に基づいて情報(例えば、チャネル情報)を処理してジェスチャ(例えば、人間のジェスチャ)を検出することができる。プロセス300の動作は、リモートコンピュータシステム(例えば、クラウド内のサーバ)、無線通信装置(例えば、無線通信装置のうちの1つ又は2つ以上)、又は別のタイプのシステムによって実行することができる。例えば、プロセス例300の動作は、
図1の無線通信装置例102A、102B、102Cのうちの1つ又は2つ以上によって実行することができる。
【0047】
プロセス例300は、さらなる又は異なる動作を含むこともでき、動作は、図示の順序又は別の順序で実行することができる。いくつかの例では、
図3に示す1又は2以上の動作を、複数の動作を含むプロセス、サブプロセス又は他のタイプのルーチンとして実装することができる。いくつかの例では、動作を組み合わせ、別の順序で実行し、並行して実行し、反復又は別様に繰り返し、或いは別の方法で実行することもできる。
【0048】
図3には、高水準において状態機械例が3つの異なる状態に入ることを示す。状態機械は、310において「状態1」に入り、320において「状態N-1」に入り、330において「無効状態」に入る。状態機械は、一般にあらゆる数の状態を定めることができ、例えば「状態1」と「状態N-1」との間で複数の他の状態を移行することもできる。状態間の移行は、ジェスチャを検出するジェスチャ認識エンジン、及び検出されたジェスチャ間の時間を測定するジェスチャタイムアウトカウンタによって制御される。ジェスチャ認識エンジンは、無線通信装置(例えば、
図1に示す無線通信装置102A、102B、102C)によって送信された無線信号に基づいてジェスチャを検出する。ジェスチャタイムアウトカウンタは、空間内で2つの異なるジェスチャ(例えば、
図2Aの時点t=0における第1のジェスチャ214A及び
図2Bの時点t=1における第2のジェスチャ214B)が互いのジェスチャタイムアウト期間内に行われたかどうかを判定するために使用される。例えば、状態機械は、1秒、2秒又は別の継続時間のジェスチャタイムアウト期間を定めることができる。
【0049】
図3に示す例では、状態機械が各有効状態にある間にジェスチャタイムアウトが検出された場合、この状態が、開始すべきアクションに関連付けられる。例えば、状態機械が「状態1」にある間にジェスチャタイムアウトが検出された場合、「状態1」は、開始される「アクション1」に関連付けられ、同様に、状態機械が「状態N-1」にある間にジェスチャタイムアウトが検出された場合、「状態N-1」は、開始される「アクションN-1」に関連付けられる。状態機械の状態に関連付けられるアクションは、異なるタイプのアクション、異なるタイプの装置によって実行されるべきアクションなどとすることができる。これらのアクションは、上述したアクションタイプ例のうちのいずれかを含むことができる。例えば、これらのアクションは、ネットワーク接続装置のためのいずれかのタイプのコマンド(例えば、
図1のIoT装置120A、120Bのいずれかのためのコマンド)を含むことができる。いくつかの例では、1又は2以上の有効状態がアクションに関連付けられない。例えば、状態機械は、複数の特定のジェスチャを検出した後にのみアクションを開始するように構成することができる。
【0050】
310において、(例えば、ジェスチャ認識エンジン又は動き検出システムの別のコンポーネントが)チャネル検査(channel inspection)を実行する。チャネル検査プロセスでは、チャネル情報を分析してジェスチャが行われたかどうかを判定する。例えば、チャネル検査プロセスは、
図4に示すプロセス例400又は別のタイプのジェスチャ認識プロセスを含むことができる。チャネル検査は、ジェスチャが検出されたかどうか、検出されたジェスチャのタイプ、検出されたジェスチャの位置などを示す出力データ(例えば、
図4に示すジェスチャデータ416)を生成することができる。ジェスチャが検出されない場合には、310において新たなチャネルデータに基づいてチャネル検査を継続する。
【0051】
310においてジェスチャが検出された場合には、状態機械が「状態1」に初期化されて、ジェスチャタイムアウトカウンタが初期化される。ジェスチャタイムアウトカウンタは、ジェスチャタイムアウトが発生するまでに状態機械が「状態1」に留まる最長時間を表すタイムアウト値に初期化することができる。ある例では、状態機械が毎秒10個のチャネル応答を処理することができ、ジェスチャタイムアウトカウンタは、ジェスチャタイムアウト期間が1秒の場合には10に、ジェスチャタイムアウト期間が2秒の場合には20に、その他も同様に初期化することができる。
【0052】
310においてジェスチャタイムアウトカウンタを初期化した後、プロセス300は320に進み、新たなチャネルデータに基づいてチャネル検査を実行する。320において、新たなチャネルデータのチャネル検査に基づいてジェスチャが検出されない場合には、ジェスチャタイムアウトカウンタが減分されてプロセス300は310に戻る。ジェスチャタイムアウトカウンタがゼロに達した場合には、310においてジェスチャタイムアウトが検出されて「アクション1」が開始される。
【0053】
従って、いくつかの例では、状態機械が、310におけるチャネル検査によって検出された第1のジェスチャのジェスチャタイムアウト期間内に第2のジェスチャが検出されなかったと判定し、310においてジェスチャタイムアウトを検出したことに応答して「アクション1」を開始する。
【0054】
320における新たなチャネルデータのチャネル検査に基づいてジェスチャが検出された場合には、状態機械が「状態N-1」に増分されてジェスチャタイムアウトカウンタが(例えば、310において初期化された値と同じ値又は別の値に)再初期化される。
【0055】
320においてジェスチャタイムアウトカウンタを再初期化した後に、プロセス300は330に進み、新たなチャネルデータに基づいてチャネル検査を実行する。330において、新たなチャネルデータのチャネル検査に基づいてジェスチャが検出されない場合には、ジェスチャタイムアウトカウンタが減分されてプロセス300は310に戻る。ジェスチャタイムアウトカウンタがゼロに達した場合には、320においてジェスチャタイムアウトが検出されて「アクションN-1」が開始される。
【0056】
従って、いくつかの例では、状態機械が、310及び320におけるチャネル検査によって一連のジェスチャが検出され、320においてジェスチャタイムアウトカウンタを再始動した後にジェスチャタイムアウトが発生したと判定し、320においてジェスチャタイムアウトを検出したことに応答して「アクションN-1」を開始する。
【0057】
図3に示す例では、「状態N-1」が状態機械の最終的な有効状態である。従って、330における新たなチャネルデータのチャネル検査に基づいてジェスチャが検出された場合、状態機械は「無効」状態に移行してプロセス300は310に戻り、新たなチャネルデータに基づいてチャネル検査を実行する。従って、
図3に示す例では、状態機械が「無効」状態に達するとアクションは何も開始されない。状態機械は、動き検出システムが作動している限り、所定の時間又は反復回数にわたって、或いは終了条件に達するまで動作し続けることができる。
【0058】
図4は、例えば動き検出システム内のジェスチャ認識エンジン例によって実行されるプロセスを示すフロー図である。動き検出システムは、空間を通じて送信された無線信号に基づく情報を処理してジェスチャ(例えば、人間のジェスチャ)を検出することができる。プロセス400の動作は、リモートコンピュータシステム(例えば、クラウド内のサーバ)、無線通信装置(例えば、無線通信装置のうちの1つ又は2つ以上)、又は別のタイプのシステムによって実行することができる。例えば、プロセス例400の動作は、
図1の無線通信装置例102A、102B、102Cのうちの1つ又は2つ以上によって実行することができる。
【0059】
プロセス例400は、さらなる又は異なる動作を含むこともでき、動作は、図示の順序又は別の順序で実行することができる。いくつかの例では、
図4に示す1又は2以上の動作を、複数の動作を含むプロセス、サブプロセス又は他のタイプのルーチンとして実装することができる。いくつかの例では、動作を組み合わせ、別の順序で実行し、並行して実行し、反復又は別様に繰り返し、或いは別の方法で実行することもできる。
【0060】
プロセス400は、高水準において以下のように進む。404において、チャネル応答402に重み付け係数412を適用する。406において、重み付きチャネル応答データにジェスチャ周波数帯域通過フィルタを適用する。次に、ジェスチャ周波数帯域通過フィルタ406によって生成されたフィルタ出力408を使用して重み付け係数412を調整する。次に、404において、この修正された重み付け係数412を再びチャネル応答に適用する。プロセスは、最適化条件に達するまで重み付け係数412を調整し続けることができる。一般に、重み付け係数412は、正の値又は負の値とすることができる。414において、例えば調整された重み付け係数412に基づく重み付きチャネル応答データにジェスチャ周波数検出を適用する。ジェスチャ周波数検出414は、重み付きチャネル応答データを分析して、空間内で行われたジェスチャを検出することができる。ジェスチャが検出されると、ジェスチャ周波数検出プロセスは、ジェスチャが検出されたことを示すジェスチャデータ416を生成することができる。いくつかの例では、ジェスチャデータ416が、ジェスチャのタイプ、ジェスチャの位置、又はジェスチャに関する他の情報を示す。
【0061】
無線信号が横切る空間内のジェスチャは、受信機における無線信号の強度を変調する。従って、プロセス400は、(無線信号から導出された)周波数領域チャネル応答402の時系列をこの強度変化のパターンについて分析する。例えば、素早い2回の手の振りは、約0.5ヘルツの周波数を有する正弦曲線として現れることができる。このパターンは、周波数領域チャネルデータの時系列に作用する周波数選択性フィルタ(frequency-selective filter)(ジェスチャ周波数帯域通過フィルタ406)を使用して検出することができる。ジェスチャは、場合によっては1つの特定の信号経路(例えば、1つの光線)にしか影響しないこともあるので、強度は、チャネル応答の周波数ビンにわたって特徴的となり得る。マルチパス信号の1つの特定の経路を変調すると、いくつかの周波数が押し上げられ、その他の周波数が押し下げられることによって、時間の経過と共に異なる周波数の負の相関係数が構築される可能性がある。従って、空間内のどこでジェスチャが発生したかに基づいて、無線信号の異なる周波数成分が別様に影響を受ける。従って、プロセス例400は、一定時間にわたるチャネル応答402の全ての周波数を検査することによってジェスチャ認識を実行することができる。
【0062】
図4に示す例では、404において重み付け係数412を適用すると、ジェスチャ認識のための周波数の組み合わせが生成される。受信機における無線信号強度の変調は、ジェスチャの速度/動特性の関数とすることができる。従って、ジェスチャ認識エンジンは、この時間-周波数特性として現れることができる強度変調を検出するように構成することができる。強度変調は、ジェスチャの物理的動特性に起因してチャネル応答402の時間領域に現れるとともに、ジェスチャの物理的位置が信号のマルチパス動特性の一部にしか影響しないことに起因してチャネル応答402の周波数領域にも現れる。この時間-周波数特性は、例えば
図4のように又は別様に展開された時間-周波数フィルタを使用して検出することができる。時間-周波数フィルタは、(例えば、異なる周波数サブキャリアに別様に重み付けする)周波数全体にわたる異なる利得と共に、(ジェスチャが生成できる時間フットプリントの範囲によって決定され得る)時間的に特定のパルス(例えば、ナイキスト(Nyquist)、メキシカンハット(Mexican-hat)又はその他)を含むことができる。時間-周波数は、従来の周波数領域フィルタに類似して通過帯域を定めることができる。従って、特定の時間-周波数特性の組は通過する一方で、他の時間-周波数特性の組は減衰する。
【0063】
いくつかの実装では、動き検出システムが、その動作中に、空間内のあらゆる場所で発生したジェスチャを捕捉できるように時間-周波数フィルタ(又は別のタイプのジェスチャ識別フィルタ)を適応的に調整する。(例えば、410において重み付け係数412を調整することによって)時間-周波数フィルタを適応的に調整する能力は、例えば異なる環境、及びジェスチャを実行できる異なる位置に伴う時間-周波数特性の変動性に起因して重要となり得る。このようなフィルタのバンクは、異なる人々及び異なる環境間の変動を組み込むために、わずかに異なる時間-周波数フットプリントで設計することができる。従って、(異なる周波数ビンに対応する)チャネル応答周波数成分の線形結合を形成して、人間のジェスチャに関連する特徴的な周波数を探す(例えば、406における)線スペクトル推測ブロック(line spectrum estimation block)にこれを供給することができる。プロセス400がこの特性を検出すると、(完全なジェスチャを形成する)シーケンスの他のメンバを検出することができる。さらなるジェスチャが検出されない時には、ジェスチャシーケンスを解釈することができる。
【0064】
従って、
図4のプロセス400には、適応的ジェスチャフィルタをいかにしてチャネル応答に適用できるかについての例を示す。いくつかの例では、ジェスチャの周波数帯域(例えば、0~4ヘルツ、0.25~0.75ヘルツ、又は別の周波数帯域)が決定される。この結果、404において差分サブキャリア(difference subcarriers)の線形結合が生成されることにより、各サブキャリアが複素指数関数(complex exponential)と乗算されて時系列内で位相前進又は位相遅延(phase advance or retard)するようになる。各サブキャリアに対する重みは、410において適応的に調整される。いくつかの例では、410における調整プロセスの目的が、考えられる最良の信号対雑音比(SNR)を有するジェスチャ時間パターンを検出できるように最もコヒーレントにサブキャリアを結合することである。例えば、ジェスチャが、位相ずれして振動する2つの周波数ビンを形成するように作用する場合、コヒーレントな結合によってこれらを整列させることができる。いくつかの例では、重みを調整する適応的フィルタを、人間のジェスチャに関連する通過帯域におけるエネルギーを最大化する基準を考慮して設計することができる。フィルタの重みが調整されると、調整されたフィルタに再びデータを通し、414において周波数弁別器(frequency discriminator)に供給してそれぞれのジェスチャの時間-周波数特性を認識することができる。
【0065】
図5は、無線通信装置例500を示すブロック図である。
図5に示すように、無線通信装置例500は、送受信インターフェイス530と、プロセッサ510と、メモリ520と、電源ユニット540とを含む。無線通信装置(例えば、
図1の無線通信装置102A、102B、102Cのうちのいずれか)は、さらなる又は異なるコンポーネントを含むこともでき、無線通信装置500は、上記の例に関して説明したように動作するよう構成することができる。いくつかの実装では、無線通信装置のインターフェイス530、プロセッサ510、メモリ520及び電源ユニット540が、共に共通ハウジング又は他のアセンブリに収容される。いくつかの実装では、無線通信装置の1又は2以上のコンポーネントを、例えば別個のハウジング又は他のアセンブリに別々に収容することができる。
【0066】
インターフェイス例530は、無線信号の通信(受信、送信、又はこれらの両方)を行うことができる。例えば、インターフェイス530は、無線通信標準(例えば、Wi-Fi、4G、5G、Bluetoothなど)に従ってフォーマットされた無線周波数(RF)信号を通信するように構成することができる。いくつかの実装では、インターフェイス例630が、無線サブシステム又はベースバンドサブシステムを含む。無線サブシステムは、例えば1又は2以上のアンテナ及び無線周波数回路を含むことができる。無線サブシステムは、無線通信チャネル上で無線周波数無線信号を通信するように構成することができる。一例として、無線サブシステムは、無線チップと、RFフロントエンドと、1又は2以上のアンテナとを含むことができる。ベースバンドサブシステムは、例えばデジタルベースバンドデータを処理するように構成されたデジタル電子機器を含むことができる。いくつかの例では、ベースバンドサブシステムが、デジタルシグナルプロセッサ(DSP)装置又は別のタイプのプロセッサ装置を含むことができる。いくつかの例では、ベースバンドシステムが、無線サブシステムを動作させ、無線サブシステムを介して無線ネットワークトラフィックを伝達し、又はその他のタイプの処理を実行するデジタル処理ロジックを含む。
【0067】
プロセッサ例510は、例えばデータ入力に基づいて出力データを生成するための命令を実行することができる。これらの命令は、メモリ520に記憶されたプログラム、コード、スクリプト、モジュール、又は他のタイプのデータを含むことができる。これに加えて、又はこれとは別に、これらの命令は、予めプログラムされた又は再プログラム可能な論理回路、論理ゲート、或いは他のタイプのハードウェアコンポーネント又はファームウェアコンポーネント又はモジュールとして符号化することもできる。プロセッサ510は、特殊なコプロセッサ又は別のタイプのデータ処理装置としての汎用マイクロプロセッサとすることができ、又はこのような汎用マイクロプロセッサを含むことができる。いくつかの例では、プロセッサ510が、無線通信装置500の高水準動作を実行する。例えば、プロセッサ510は、メモリ520に記憶されたソフトウェア、スクリプト、プログラム、関数、実行ファイル又はその他のモジュールを実行又は解釈するように構成することができる。いくつかの実装では、プロセッサ510を、インターフェイス530又は無線通信装置500の別のコンポーネントに含めることもできる。
【0068】
メモリ例520は、例えば揮発性メモリデバイス、不揮発性メモリデバイス又はこれらの両方などのコンピュータ可読記憶媒体を含むことができる。メモリ520は、1又は2以上のリードオンリメモリデバイス、ランダムアクセスメモリデバイス、バッファメモリデバイス、又はこれらの及びその他のタイプのメモリデバイスの組み合わせを含むことができる。いくつかの例では、メモリの1又は2以上のコンポーネントを無線通信装置500の別のコンポーネントと一体化し、又は別様に関連付けることができる。メモリ520は、プロセッサ510が実行できる命令を記憶することができる。例えば、これらの命令は、
図3及び
図4に示すプロセス例300、400の動作のうちの1つ又は2つ以上を実行するための命令を含むことができる。
【0069】
図5に示す例では、メモリ520が、プロセッサ510によって実行された時に動き検出システム550の動作を実行するための命令を記憶する。動き検出システム例550は、ジェスチャ認識エンジン552、状態機械554、ジェスチャデータベース556及びその他のコンポーネントを含む。いくつかの例では、動き検出システム550が、
図1、
図2A、
図2B、
図3及び
図4に関して上述した1又は2以上の動作を実行するように構成される。また、動き検出システム550は、空間内の物体の動きを検出する特異的動き検出エンジン(distinct motion detection engine)を含み、ジェスチャ認識エンジン552は、特異的プロセス(distinct process)を使用して空間内のジェスチャを検出する。
【0070】
ジェスチャ認識エンジン例552は、プロセッサ510によって実行された時に、無線信号から取得されたチャネル情報に基づいてジェスチャ(例えば、人間のジェスチャ)を検出することができる命令を含む。例えば、ジェスチャ認識エンジン552は、
図4に示すプロセス例400の1又は2以上の動作を実行することができる。いくつかの例では、ジェスチャ認識エンジン552が一連のジェスチャを検出して、ジェスチャデータを状態機械554に提供する。
【0071】
状態機械例554は、プロセッサ510によって実行された時に、検出されたジェスチャ又は一連のジェスチャに関連するアクションを開始することができる命令を含む。例えば、状態機械554は、
図3に示すプロセス例300の1又は2以上の動作を実行することができる。いくつかの例では、状態機械554がジェスチャデータベース556にアクセスして、状態機械556の状態、或いは検出されたジェスチャ又はジェスチャシーケンスに関連するアクションを識別する。
【0072】
ジェスチャデータベース例556は、ジェスチャに応答して動き検出システム550が開始すべきそれぞれのアクションにジェスチャ(例えば、個々のジェスチャ、ジェスチャシーケンスなど)を関連付けるデータを含む。いくつかの例では、ジェスチャデータベース556が、開始すべきそれぞれのアクションに特定のジェスチャ又はジェスチャシーケンスを直接関連付けるデータエントリを含む。いくつかの例では、ジェスチャデータベース556が、動き検出システム550が開始すべきそれぞれのアクションに状態機械554の特定の状態を直接関連付けるデータエントリを含む。ジェスチャデータベース556は、別の方法で構成することもできる。
【0073】
電源ユニット例540は、無線通信装置500の他のコンポーネントに電力を供給する。例えば、他のコンポーネントは、電源ユニット540が電圧バス又はその他の接続部を通じて供給する電力に基づいて動作することができる。いくつかの実装では、電源ユニット540が、例えば充電式バッテリなどのバッテリ又はバッテリシステムを含む。いくつかの実装では、電源ユニット540が、(外部信号源から)外部電力信号を受け取って無線通信装置500のコンポーネントのために調整された内部電力信号に変換するアダプタ(例えば、ACアダプタ)を含む。電源ユニット520は、他のコンポーネントを含むことも、又は別の形で動作することもできる。
【0074】
本明細書で説明した主題及び動作の一部は、デジタル電子回路で実装することも、或いは本明細書で開示した構造及びこれらの構造的同等物、或いはこれらの1又は2以上の組み合わせを含むコンピュータソフトウェア、ファームウェア又はハードウェアで実装することもできる。本明細書で説明した主題及び動作の一部は、1又は2以上のコンピュータプログラムとして、すなわちデータ処理装置によって実行される、又はデータ処理装置の動作を制御する、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1又は2以上のモジュールとして実装することができる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダム又はシリアルアクセスメモリアレイ又はデバイス、或いはこれらのうちの1つ又は2つ以上の組み合わせとすることができ、又はこれらに含めることができる。さらに、コンピュータ記憶媒体は伝搬信号ではなく、人工的に生成された伝搬信号の形で符号化されたコンピュータプログラム命令の発信元又は宛先とすることもできる。コンピュータ記憶媒体は、1又は2以上の別個の物理的コンポーネント又は媒体(例えば、複数のCD、ディスク又はその他の記憶装置)とすることができ、或いはこれらに含めることができる。
【0075】
本明細書で説明した動作の一部は、1又は2以上のコンピュータ可読記憶装置に記憶された、又は他のソースから受け取られたデータに対してデータ処理装置が実行する動作として実装することができる。
【0076】
「データ処理装置」という用語は、データを処理する全ての種類の装置、デバイス及び機械を含み、一例としてプログラマブルプロセッサ、コンピュータ、システムオンチップ、又は複数のシステムオンチップ、又はこれらの組み合わせを含む。この装置は、例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)などの専用論理回路を含むこともできる。この装置は、ハードウェアに加えて、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はこれらのうちの1つ又は2つ以上の組み合わせを構成するコードなどの、対象とするコンピュータプログラムの実行環境を形成するコードを含むこともできる。
【0077】
(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとしても知られている)コンピュータプログラムは、コンパイラ型言語又はインタープリタ型言語、宣言型言語又は手続き型言語を含むあらゆる形のプログラミング言語で書くことができ、スタンドアロンプログラム、又はモジュール、コンポーネント、サブルーチン、オブジェクト、又はコンピュータ環境で使用するのに適した他のユニットとしての形を含むあらゆる形で展開することができる。コンピュータプログラムは、必須ではないが、ファイルシステム内のファイルに対応することができる。プログラムは、プログラム専用の単一のファイル内の、又は複数の連動するファイル(例えば、1又は2以上のモジュール、サブプログラム、又はコードの一部を記憶するファイル)内の、他のプログラム又はデータ(例えば、マークアップ言語リソースに記憶された1又は2以上のスクリプト)を保持するファイルの一部に記憶することができる。コンピュータプログラムは、1つのコンピュータ上で実行されるように展開することも、或いは1つのサイトに位置する、又は複数のサイトに分散して通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することもできる。
【0078】
本明細書で説明したプロセス及びロジックフローの一部は、1又は2以上のコンピュータプログラムを実行する1又は2以上のプログラマブルプロセッサにより、入力データに作用して出力を生成することによって動作を行うように実行することができる。プロセス及びロジックフローは、例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)などの専用論理回路によって実行することもでき、また装置をこのような専用論理回路として実装することもできる。
【0079】
動作は、ユーザとの相互作用をもたらすために、ディスプレイ装置(例えば、モニタ、又は別のタイプのディスプレイ装置)と、ユーザがコンピュータに入力を提供できるようにするキーボード及びポインティングデバイス(例えば、マウス、トラックボール、タブレット、タッチセンサ式画面、又は別のタイプのポインティングデバイス)とを有するコンピュータ上で実行することができる。他の種類の装置を使用してユーザとの相互作用をもたらすこともでき、例えばユーザに提供されるフィードバックは、視覚的フィードバック、聴覚的フィードバック又は触覚的フィードバックなどのあらゆる形の感覚的フィードバックとすることができ、ユーザからの入力は、音響入力、音声入力又は触覚入力を含むあらゆる形で受け取ることができる。また、コンピュータは、例えばウェブブラウザから受け取られた要求に応答してユーザのクライアント装置上のウェブブラウザにウェブページを送信することなどの、ユーザが使用する装置との間で文書を送受信することによってユーザと相互作用することもできる。
【0080】
一般的態様では、動き検出システムがジェスチャ(例えば、人間のジェスチャ)を検出し、検出されたジェスチャに応答してアクションを開始する。
【0081】
第1の実施例では、1又は2以上の無線通信装置によって空間を通じて送信された無線信号に基づくチャネル情報が取得される。このチャネル情報をジェスチャ認識エンジンが分析して、空間内のジェスチャ(例えば、所定のジェスチャ又は所定のジェスチャシーケンス)を検出する。検出されたジェスチャに応答して開始すべきアクションが識別される。このアクションを実行する命令が、空間に関連するネットワーク接続装置に送信される。
【0082】
第1の実施例の実装は、以下の特徴のうちの1つ又は2つ以上を含むことができる。ジェスチャの位置を検出することができ、ジェスチャの位置に基づいて、開始すべきアクション(例えば、アクションのタイプ、アクションの位置、又はアクションを実行すべき装置)を決定することができる。ジェスチャを検出することは、一連のジェスチャを検出することを含むことができる。一連のジェスチャを検出することは、ジェスチャタイムアウト期間内に空間内で行われた第1のジェスチャ及び第2のジェスチャを決定することを含むことができる。一連のジェスチャを検出することは、第1のジェスチャを検出したことに応答して、状態機械の状態を開始してジェスチャタイムアウトカウンタを始動すること、ジェスチャタイムアウト期間内に第2のジェスチャを検出したことに応答して、状態機械の状態を進展させてジェスチャタイムアウトカウンタを始動すること、ジェスチャタイムアウトカウンタを再始動した後に、ジェスチャタイムアウトカウンタに基づいてジェスチャタイムアウトを検出すること、及びジェスチャタイムアウト時の状態機械の状態に基づいてアクションを識別することを含むことができる。
【0083】
第1の実施例の実装は、以下の特徴のうちの1つ又は2つ以上を含むことができる。ジェスチャを検出することは、時間-周波数フィルタを使用してジェスチャの時間-周波数特性を検出することを含むことができる。チャネル情報は、チャネル応答の時系列を含むことができ、時間-周波数フィルタを使用することは、チャネル応答の周波数成分に重み付け係数を適用することを含むことができる。時間-周波数フィルタは、ジェスチャの時間-周波数特性を検出するように重み付け係数を調整する適応的時間-周波数フィルタを含むことができる。適応的時間-周波数フィルタは、人間のジェスチャに対応する周波数範囲(例えば、0~4ヘルツ、0.25~0.75ヘルツ又は別の周波数範囲)内のチャネル応答の強度を変調するジェスチャを検出するように重み付け係数を調整することができる。
【0084】
第2の実施例では、非一時的コンピュータ記憶媒体が、データ処理装置によって実行された時に第1の実施例の1又は2以上の動作を実行するための命令を記憶する。第3の実施例では、システムが、無線通信装置、無線接続装置、及び第1の実施例の1又は2以上の動作を実行するように構成されたコンピュータ装置を含む。
【0085】
第3の実施例の実装は、以下の特徴のうちの1つ又は2つ以上を含むことができる。無線通信装置のうちの1つは、コンピュータ装置とすることができ、又はコンピュータ装置を含むことができる。無線通信装置のうちの1つは、ネットワーク接続装置とすることができ、又はネットワーク接続装置を含むことができる。コンピュータ装置は、無線通信装置及び/又はネットワーク接続装置から離れて位置することができる。
【0086】
本明細書は多くの詳細を含んでいるが、これらの詳細は、特許請求できる内容の範囲に対する限定ではなく、むしろ特定の例に固有の特徴の説明として理解されたい。本明細書において別個の実装の文脈で説明し又は図面に示したいくつかの特徴は、組み合わせることもできる。これとは逆に、単一の実装の文脈で説明又は図示した様々な特徴は、複数の実施形態において単独で実装することも、或いはあらゆる好適な部分的組み合わせで実装することもできる。
【0087】
同様に、図面には特定の順序で動作を示しているが、これについて、望ましい結果を達成するためにこのような動作を図示の特定の順序又は順番で実施し、又は図示の動作を全て実施する必要があると理解すべきではない。状況によっては、マルチタスク及び並行処理が有利な場合もある。さらに、上述した実装において様々なシステムコンポーネントを分離していても、このような分離が全ての実装において必要であると理解すべきではなく、説明したプログラムコンポーネント及びシステムを単一の製品に一般的に統合し、又は複数の製品にパッケージ化することもできると理解されたい。
【0088】
複数の実施形態について説明した。それでもなお、様々な修正を行うことができると理解されるであろう。従って、以下の特許請求の範囲には、他の実施形態も含まれる。
【符号の説明】
【0089】
400 プロセス
402 チャネル応答
404 重み付け係数を適用
406 ジェスチャ周波数帯域通過フィルタ
408 フィルタ出力
410 重み付け係数を調整
412 重み付け係数
414 ジェスチャ周波数検出
416 ジェスチャデータ