特表 2024-502723 精神状態及び入力コマンドを判断するためのバイオメトリックデータのモニタリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-23

(54)【発明の名称】精神状態及び入力コマンドを判断するためのバイオメトリックデータのモニタリング

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240116BHJP

   A61B 5/397 20210101ALI20240116BHJP

   A61B 5/291 20210101ALI20240116BHJP

   A61B 5/296 20210101ALI20240116BHJP

   A61B 5/395 20210101ALI20240116BHJP

   A61B 5/378 20210101ALI20240116BHJP

   A61B 5/372 20210101ALI20240116BHJP

   A61B 5/374 20210101ALI20240116BHJP

   A61B 5/256 20210101ALI20240116BHJP

【ＦＩ】

G06F3/01 515

A61B5/397

A61B5/291

A61B5/296

A61B5/395

A61B5/378

A61B5/372

A61B5/374

A61B5/256 110

G06F3/01 570

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023536184

(86)(22)【出願日】2021-12-13

(85)【翻訳文提出日】2023-08-10

(86)【国際出願番号】 US2021063170

(87)【国際公開番号】W WO2022132670

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】17/122,085

(32)【優先日】2020-12-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】520061723

【氏名又は名称】ニューラブル インコーポレイテッド

(74)【代理人】

【識別番号】100109896

【弁理士】

【氏名又は名称】森 友宏

(72)【発明者】

【氏名】アルカイディ，ラムセス エデュアルド

(72)【発明者】

【氏名】スタンレー，デビッド

(72)【発明者】

【氏名】パッデン，デレック

(72)【発明者】

【氏名】ハメット，ジェイムズ

(72)【発明者】

【氏名】モルナー，アダム

(72)【発明者】

【氏名】オルダース，ジェイミー

(72)【発明者】

【氏名】カンダサミー，ジェーガン

(72)【発明者】

【氏名】シェリーニバス，アルジュン ダニエル

【テーマコード（参考）】

4C127

5E555

【Ｆターム（参考）】

4C127AA03

4C127AA04

4C127GG01

4C127GG11

4C127GG15

5E555AA11

5E555AA12

5E555BA02

5E555BA38

5E555BB38

5E555BC01

5E555BC14

5E555BC16

5E555CA41

5E555CB67

5E555CB69

5E555EA19

5E555EA25

5E555FA00

(57)【要約】

本明細書に記載の装置、方法、システム及びコンピュータプログラム製品の様々な実施形態は、ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくユーザの神経信号データを含む１つ以上の信号ファイルを受信する分析エンジンに関する。この分析エンジンは、データを前処理し、受信されたデータから特徴量を抽出し、抽出された特徴量を１つ以上の機械学習モデルに供給して、ユーザの現在の精神状態と、ユーザによって行われる顔のジェスチャのタイプとのうちの少なくとも一方に対応する確定出力を生成する。分析エンジンは、確定出力に基づいて動作を実行するコンピューティングデバイスに確定出力を送信する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくデータの１つ以上の信号ファイルを受信することと、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態と、前記ユーザによって行われる１つ以上の顔のジェスチャのタイプとのうちの少なくとも一方に対応する確定出力を生成することと、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することと
を含む、コンピュータにより実施される方法。

【請求項2】

前記１つ以上の電極は、ＥＥＧ信号を検出する少なくとも１つの電極と、ＥＭＧ信号を検出する少なくとも１つの電極とを備え、前記ヘッドホンのセット上の前記電極のそれぞれは、前記ヘッドホンのセットのそれぞれのイヤーカフクッション上に位置している、請求項１に記載のコンピュータにより実施される方法。

【請求項3】

前記ＥＭＧ信号を検出する少なくとも１つの電極及び前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ヘッドホンのセットの導電性テキスタイルを介して前記ユーザに電気接触する、請求項２に記載のコンピュータにより実施される方法。

【請求項4】

前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ユーザの乳様突起部、側頭部、及び蝶形骨部のうちの少なくとも１つに対して前記ユーザの皮膚と電気接触し、前記ＥＭＧ信号を検出する少なくとも１つの電極は、前記ユーザの顎関節部に対して前記ユーザの皮膚と電気接触する、請求項２に記載のコンピュータにより実施される方法。

【請求項5】

前記確定出力は、
少なくとも１つの入力コマンドであって、（ｉ）通知のうちの少なくとも１つを開始する１つ以上の命令と、（ｉｉ）前記コンピューティングデバイス上での１つ以上の通知の提示の（ａ）削減、（ｂ）最小化、及び（ｃ）削除のうちの１つを行う１つ以上の命令とのうちの少なくとも一方を含む、入力コマンドと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項6】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態のうちの少なくとも１つに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＥＧ信号に基づく前記受信されたデータから１つ以上のＥＥＧ特徴量を抽出することと、
前記ユーザの現在の集中のレベルを求める第１の機械学習モデルと、前記ユーザの現在の注意深さのレベルを求める第２の機械学習モデルと、前記ユーザの現在の認知負荷のレベルを求める第３の機械学習モデルとのうちの少なくとも１つに前記抽出されたＥＥＧ特徴量のうちの少なくとも１つを供給することと
を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項7】

前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記特定のタイプの精神状態の閾値との間の関係を検出することと、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係に対応する少なくとも１つの入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項６に記載のコンピュータにより実施される方法。

【請求項8】

前記特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係は、前記ユーザの現在の集中のレベルが集中閾値よりも高いことを示す表示を含み、
前記入力コマンドは、前記ユーザが前記現在の高い集中のレベルを維持するのを助ける１つ以上の通知の提示の削減を前記コンピューティングデバイスにおいて開始するトリガを含む、請求項７に記載のコンピュータにより実施される方法。

【請求項9】

前記入力コマンドは、前記現在の高い集中のレベルの間前記ユーザの邪魔をしないように、前記ユーザの近くにいる可能性がある任意の個人に信号で通知する色の提示を、前記ヘッドホンのセットの一部分において開始するトリガをさらに含む、請求項８に記載のコンピュータにより実施される方法。

【請求項10】

前記特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係は、前記ユーザの現在の精神疲労のレベルが精神疲労閾値よりも高いことを示す表示を含み、
前記入力コマンドは、少なくとも１つの身体的動作を行うことを前記ユーザに促して、前記ユーザが前記現在の精神疲労のレベルを軽減することを助ける１つ以上の通知の提示を開始するトリガを含む、請求項７に記載のコンピュータにより実施される方法。

【請求項11】

前記少なくとも１つの身体的動作は、起立、歩行、及びストレッチのうちの少なくとも１つを含む、請求項１０に記載のコンピュータにより実施される方法。

【請求項12】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、１つ以上の顔のジェスチャに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＭＧ信号に基づいて前記受信されたデータからＥＭＧ特徴量を抽出することと、
顔のジェスチャのタイプを複数の顔のジェスチャのタイプから決定する顔ジェスチャ機械学習モデルに前記抽出されたＥＭＧ特徴量のうちの１つ以上を供給することと、
を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項13】

前記顔のジェスチャのタイプは、前記抽出されたＥＭＧ特徴量のうちの前記１つ以上で表される一連の顔のジェスチャを含み、該一連の顔のジェスチャは、パスコードと一致する試みを含み、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
前記一連の顔のジェスチャが前記パスコードと一致すると判断することと、
前記一連の顔のジェスチャが前記パスコードと一致することに基づいて、前記パスコードに関連付けられたアイデンティティの検証のインスタンスを示す出力を前記コンピューティングデバイスに送信することと
を含む、請求項１２に記載のコンピュータにより実施される方法。

【請求項14】

前記顔のジェスチャのタイプは、１つ以上の対応する追加の構成要素を有し、
１つ以上の信号ファイルを受信することは、１つ以上の追加のデータタイプ部分のデータの１つ以上の信号ファイルを受信することを含み、
前記受信されたデータからＥＭＧ特徴量を抽出することは、前記１つ以上の追加のデータタイプ部分から追加の特徴量を抽出することを含み、
前記抽出されたＥＭＧ特徴量のうちの１つ以上を顔ジェスチャ機械学習モデルに供給することは、前記抽出された追加の特徴量を前記顔ジェスチャ機械学習モデルに供給して、前記ユーザによって行われる前記顔のジェスチャのタイプに対応する確定出力を生成することを含む、請求項１２に記載のコンピュータにより実施される方法。

【請求項15】

前記１つ以上の追加のデータタイプ部分は、前記ヘッドホンに関連付けられた１つ以上のマイクロホンによって検出された音に基づくオーディオデータを含み、
前記追加の特徴量はオーディオ特徴量を含む、請求項１４に記載のコンピュータにより実施される方法。

【請求項16】

前記１つ以上の追加のデータタイプ部分は、前記ヘッドホンのセットに関連付けられたモーション検出器の物理的方位の少なくとも１つの変化に基づく運動データを含み、
前記追加の特徴量は、動き特徴量を含み、
前記確定出力は、前記顔のジェスチャのタイプ及び頭の動きのタイプに対応する、請求項１４に記載のコンピュータにより実施される方法。

【請求項17】

前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
前記決定された顔のジェスチャのタイプにマッピングするインタラクションを特定することと、
前記インタラクションに対応する入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項１２に記載のコンピュータにより実施される方法。

【請求項18】

前記インタラクションは、前記ユーザから前記コンピューティングデバイスへのプロンプトインタラクションを含み、
前記入力コマンドは、前記ユーザからの前記プロンプトインタラクションに応答したコンピューティングデバイスモードの開始のトリガを含む、請求項１７に記載のコンピュータにより実施される方法。

【請求項19】

前記プロンプトインタラクションは、ウェイクモードに入る要求と、スリープモードに入る要求とのうちの一方を含み、
前記入力コマンドは、前記コンピューティングデバイスが少なくとも１つのその後の入力コマンドの発生をモニタリングするアウェイクンドモードに入るトリガと、前記コンピューティングデバイスが前記スリープモードに入るトリガとのうちの一方を含む、請求項１８に記載のコンピュータにより実施される方法。

【請求項20】

それぞれのインタラクションが、それぞれの顔のジェスチャによって表されるユーザ入力のタイプを含み、前記ユーザ入力のタイプは、前記それぞれの顔のジェスチャの発生に基づいて前記コンピューティングデバイスによって処理される、請求項１７に記載のコンピュータにより実施される方法。

【請求項21】

前記ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくデータを受信することは、１つ以上の顎の動きの検出に応答して生成される電圧に基づくデータを受信することを含み、
特徴量を抽出することは、前記受信されたデータから特徴量を抽出し、前記１つ以上の顎の動きに対応する確定出力を生成することを含み、
前記確定出力を前記コンピューティングデバイスに送信することは、前記ユーザによって装着された前記ヘッドホンのセット上の前記１つ以上の電極によって検出された前記ユーザの前記１つ以上の顎の動きを介して選択されるものとして事前に定義された入力コマンドを実行する前記コンピューティングデバイスにコマンドを送信することを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項22】

前記受信されたデータから特徴量を抽出する前に、
それぞれの電極チャネルからのデータの１つ以上の信号ファイルが良好なチャネルデータを表しているのか又は不良なチャネルデータを表しているのかを少なくとも１つ以上のインピーダンス基準に基づいて検出することと、
前記判断に基づいて、前記不良なチャネルデータを除去し、該除去された不良なチャネルデータを良好なデータと取り替えて１つ以上の改善されたチャネルを生成することと
をさらに含み、
前記受信されたデータから特徴量を抽出することは、前記良好なチャネルのうちの少なくとも１つ及び前記改善されたチャネルのうちの少なくとも１つから特徴量を抽出することを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項23】

１つ以上のプロセッサと、
複数の命令を記憶する非一過性コンピュータ可読媒体と
を備え、
前記複数の命令は、実行されると、
ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくデータの１つ以上の信号ファイルを受信することと、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態と、前記ユーザによって行われる１つ以上の顔のジェスチャのタイプとのうちの少なくとも一方に対応する確定出力を生成することと、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することと
を前記１つ以上のプロセッサに行わせる、システム。

【請求項24】

前記１つ以上の電極は、ＥＥＧ信号を検出する少なくとも１つの電極と、ＥＭＧ信号を検出する少なくとも１つの電極とを備え、前記ヘッドホンのセット上の前記電極のそれぞれは、前記ヘッドホンのセットのそれぞれのイヤーカフクッション上に位置し、
前記ＥＭＧ信号を検出する少なくとも１つの電極及び前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ヘッドホンのセットの導電性テキスタイルを介して前記ユーザに電気接触し、
前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ユーザの乳様突起部、側頭部、及び蝶形骨部のうちの少なくとも１つに対して前記ユーザの皮膚と電気接触し、前記ＥＭＧ信号を検出する少なくとも１つの電極は、前記ユーザの顎関節部に対して前記ユーザの皮膚と電気接触する、請求項２３に記載のコンピュータにより実施される方法。

【請求項25】

前記確定出力は、
少なくとも１つの入力コマンドであって、（ｉ）通知のうちの少なくとも１つを開始する１つ以上の命令と、（ｉｉ）前記コンピューティングデバイス上での１つ以上の通知の提示の（ａ）削減、（ｂ）最小化、及び（ｃ）削除のうちの１つを行う１つ以上の命令とのうちの少なくとも一方を含む、入力コマンドと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項２３に記載のコンピュータにより実施される方法。

【請求項26】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態のうちの少なくとも１つに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＥＧ信号に基づく前記受信されたデータから１つ以上のＥＥＧ特徴量を抽出することと、
前記ユーザの現在の集中のレベルを求める第１の機械学習モデルと、前記ユーザの現在の注意深さのレベルを求める第２の機械学習モデルと、前記ユーザの現在の認知負荷のレベルを求める第３の機械学習モデルとのうちの少なくとも１つに前記抽出されたＥＥＧ特徴量のうちの少なくとも１つを供給することと
を含み、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記特定のタイプの精神状態の閾値との間の関係を検出することと、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係に対応する少なくとも１つの入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項２３に記載のコンピュータにより実施される方法。

【請求項27】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、１つ以上の顔のジェスチャに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＭＧ信号に基づく前記受信されたデータからＥＭＧ特徴量を抽出することと、
顔のジェスチャのタイプを複数の顔のジェスチャのタイプから決定する顔ジェスチャ機械学習モデルに前記抽出されたＥＭＧ特徴量のうちの１つ以上を供給することと
を含み、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
前記決定された顔のジェスチャのタイプにマッピングするインタラクションを特定することと、
前記インタラクションに対応する入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含み、
前記インタラクションは、前記ユーザから前記コンピューティングデバイスへのプロンプトインタラクションを含み、
前記入力コマンドは、前記ユーザからの前記プロンプトインタラクションに応答したコンピューティングデバイスモードの開始のトリガを含む、請求項２３に記載のコンピュータにより実施される方法。

【請求項28】

１つ以上のプロセッサによって実行されるコンピュータ可読プログラムコードが具現化された非一過性コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記プログラムコードは、
ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくデータの１つ以上の信号ファイルを受信することと、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態と、前記ユーザによって行われる１つ以上の顔のジェスチャのタイプとのうちの少なくとも一方に対応する確定出力を生成することと、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することと
を行う命令を含む、コンピュータプログラム製品。

【請求項29】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態のうちの少なくとも１つに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＥＧ信号に基づく前記受信されたデータから１つ以上のＥＥＧ特徴量を抽出することと、
前記ユーザの現在の集中のレベルを求める第１の機械学習モデルと、前記ユーザの現在の注意深さのレベルを求める第２の機械学習モデルと、前記ユーザの現在の認知負荷のレベルを求める第３の機械学習モデルとのうちの少なくとも１つに前記抽出されたＥＥＧ特徴量のうちの少なくとも１つを供給することと
を含み、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記特定のタイプの精神状態の閾値との間の関係を検出することと、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係に対応する少なくとも１つの入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項２８に記載のコンピュータプログラム製品。

【請求項30】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、１つ以上の顔のジェスチャに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＭＧ信号に基づく前記受信されたデータからＥＭＧ特徴量を抽出することと、
顔のジェスチャのタイプを複数の顔のジェスチャのタイプから決定する顔ジェスチャ機械学習モデルに前記抽出されたＥＭＧ特徴量のうちの１つ以上を供給することと
を含み、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
前記決定された顔のジェスチャのタイプにマッピングするインタラクションを特定することと、
前記インタラクションに対応する入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含み、
前記インタラクションは、前記ユーザから前記コンピューティングデバイスへのプロンプトインタラクションを含み、
前記入力コマンドは、前記ユーザからの前記プロンプトインタラクションに応答したコンピューティングデバイスモードの開始のトリガを含む、請求項２８に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０２０年１２月１５日付で出願された米国出願第１７／１２２，０８５号の利益を主張する。この米国出願は、その全体が引用することによって本明細書の一部をなす。

【背景技術】

【0002】

コンピュータサイエンスの分野では、ニューラルネットワーク及び深層学習ネットワーク等の人工知能（「Ａ．Ｉ．」：artificial intelligence）ネットワークが、様々なタスク及び困難な問題を解決するためにますます多く用いられている。そのようなＡ．Ｉ．ネットワークは、計算操作を表すノードとそれらの操作の間の接続とを有する計算グラフの層、及び／又は、入力データからの特徴量の抽出を表すフィルターを有する計算グラフの層からなることができる。各操作は、出力データ及び／又は次の層を生成するために入力データ及び／又は先行層から何らかのものを計算又は抽出する。ＡＩネットワーク内には、公正に事前定義された操作があり、例えば、数百又は数千のこれらの操作が存在することができる。そのような操作は、多くの場合に、ネットワーク内からの多くの入力データを使用して、そのような計算タスクを行列の乗算及び畳み込みとして表すことができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来のシステムは、特に研究室又は研究環境の外部における通常の状況において快適でユーザフレンドリーな方法で神経信号、脳信号、及び筋肉信号をモニタリングして、ユーザの精神状態を推論し及び／又は選択された入力コマンドを判断する機能を欠いている。本明細書に記載の装置、方法、システム、及びコンピュータプログラム製品の様々な実施形態は、ユーザによって装着されたヘッドホンのセットによって検出された信号に基づくデータを受信する分析エンジンを介したバイオメトリックデータ及びニューラルデータのパッシブモニタリングに関する。様々なタイプの信号が、ヘッドホンを装着しているユーザによって行われる様々なタイプの顔の動き又は頭の動きを表すことができ、それぞれの各顔の動き又は各頭の動きは、コンピューティングデバイス（複数の場合もある）の入力コマンドに対応することができる。様々なタイプの信号は、様々なタイプの精神状態又は様々なタイプの精神状態の強度レベルも表すことができる。

【課題を解決するための手段】

【0004】

様々な実施の形態によれば、分析エンジンは、ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくデータを受信する。分析エンジンは、受信されたデータから特徴量を抽出し、抽出された特徴量を１つ以上の機械学習モデルに供給して、ユーザの現在の精神状態と、ユーザによって行われる顔のジェスチャのタイプとのうちの少なくとも一方に対応する確定出力（determined output）を生成する。分析エンジンは、確定出力に基づいて動作を実行するコンピューティングデバイスに確定出力を送信する。例えば、分析エンジンは、ユーザによって装着されたヘッドホンから神経信号を受信し、ユーザが特定の顎の動き（jaw movement）（例えば、２回の顎の噛み締め（double jaw clench））を行ったときに、ユーザによって装着されたヘッドホン上の電極によって検出された神経信号に基づいて上記顎の動きに対応する確定出力を生成し、上記顎の動きを介して選択されるものとして事前に定義された入力コマンドを実行するユーザのヘッドホンに関連付けられたコンピューティングデバイスにコマンドを送信する。

【0005】

様々な実施の形態によれば、１つ以上の電極は、脳波図（ＥＥＧ：electroencephalogram）信号、筋電図（ＥＭＧ：electromyography）信号、及び／又は心電図（ＥＣＧ：Electrocardiogram）信号を検出する。ヘッドホンのセット上の電極のそれぞれは、ユーザの頭の耳部と接触するように設計されたヘッドホンの領域内又は領域の周囲に位置することができる。例えば、電極は、ヘッドホンのセットのそれぞれのイヤーカフクッション上に位置することができ、電極が導電性ファブリックを通じてユーザと電気接触するようにイヤーカフクッションの導電性ファブリックと係合することができる。

【0006】

様々な実施の形態によれば、分析エンジンは、関連付けられたヘッドホンのセットからデータを受信するコンピューティングデバイス、例えばユーザの携帯電話若しくはタブレット又はラップトップ上に存在することができる。様々な実施の形態によれば、分析エンジンは、ヘッドホンのセットに関連付けられたコンピュータデバイス（複数の場合もある）からデータを受信するクラウドベースのコンピューティングシステムであってもよい。様々な実施の形態によれば、分析エンジンは、例えば、一部はユーザのヘッドホンに基づき、一部はユーザの携帯電話に基づく、一部はクラウドベースのコンピューティングシステムに基づくコンピューティングシステムの結合体に存在してもよい。分析エンジンは、ＥＥＧ信号に基づく受信されたデータからＥＥＧ特徴量を抽出し、ＥＭＧ信号に基づく受信されたデータからＥＭＧ特徴量を抽出する。分析エンジンは、ＥＥＧ特徴量を様々な機械学習モデルに供給して、ユーザの現在の精神状態が、例えば、集中、注意、注意散漫、認知負荷、疲労、好奇心、確信、疑念、マインドワンダリング、眠気、感嘆、崇敬、審美、楽しみ、怒り、不安、畏敬、気まずさ、倦怠、平穏、混乱、渇望、嫌悪、共感的痛み、恍惚、興奮、恐怖、戦慄、幸福、興味、喜び、ノスタルジア、安心、ロマンス、悲しみ、満足、性欲、又は驚きの認知状態、感情状態、又は注意状態の程度又はレベルのうちのいずれか１つ以上を表しているか否かを判断する。例えば、分析エンジンは、上記集中のレベルをユーザに報告することができる。分析エンジンは、複数のタイプの顔のジェスチャ、例えば、顎の動き、顎の噛み締め（jaw clench）、歯のクリック（tooth click）、微笑（smile）、瞬き（blink）、ウィンク（wink）、及び／又は頭の動き（head movement）から顔のジェスチャのタイプを決定する顔ジェスチャ機械学習モデルにＥＭＧ特徴量を供給する。それぞれ異なる顔のジェスチャは或る入力コマンドにマッピングされる。

【0007】

様々な実施の形態によれば、分析エンジンは、ヘッドホンのセットを装着している間のユーザの頭の動きを検出するヘッドホンのセット内の１つ以上の加速度計（アクセル）及び／又は１つ以上のジャイロスコープ（ジャイロ）等のモーション検出器（複数の場合もある）からのデータも受信することができる。分析エンジンは、モーション検出器から受信するデータに基づいてアクセル特徴量又はジャイロ特徴量等の１つ以上の動き特徴量も抽出することができる。分析エンジンは、顔のジェスチャのタイプ及び／又は頭の動きのタイプを決定する様々な機械学習モデルにアクセル特徴量及び／又はジャイロ特徴量を供給し、及び／又はＥＭＧ特徴量のうちの１つ以上とともに供給する。各特徴量は、或るタイプ（複数の場合もある）のインタラクションにマッピングされる。例えば、顔のジェスチャ及び頭のジェスチャは、特定のインタラクションにマッピングすることができる頭のうなずき及び瞬きの組み合わせを同時に又は順次のいずれかで含むことができる。それぞれの各インタラクション（複数の場合もある）は、それによって、入力コマンド（複数の場合もある）のタイプ及び／又はコンピューティングデバイス（複数の場合もある）において１つ以上の入力コマンドを開始するトリガに対応する。

【0008】

様々な実施の形態によれば、分析エンジンは、確定出力における決定された顔のジェスチャのタイプにマッピングするインタラクションを特定する。それぞれのインタラクションは、それぞれの顔のジェスチャの発生に基づいてヘッドホンのセットに関連付けられたコンピューティングデバイスによって処理されるそれぞれの顔のジェスチャ及び／又は頭のジェスチャによって表されるユーザ入力のタイプを含む。

【0009】

本開示の更なる適用分野は、詳細な説明、特許請求の範囲及び図面から明らかになる。詳細な説明及び具体的な例は、単に例示を目的としたものにすぎず、本開示の範囲の限定を意図するものではない。

【0010】

【図面の簡単な説明】

【0011】

本開示は、詳細な説明及び図面からより良く理解される。

【0012】

【図1A】図１Ａは、いくつかの実施形態が動作することができる一例示的な環境を示す図である。

【0013】

【図1B】図１Ｂは、いくつかの実施形態が動作することができる一例示的な環境を示す図である。

【0014】

【図2A-2E】図２Ａ、図２Ｂ、図２Ｃ、図２Ｄ及び図２Ｅは、いくつかの実施形態が動作することができる一例示的な環境を示す図である。

【0015】

【図3A】図３Ａは、いくつかの実施形態において実行することができる一例示的な方法を示す図である。

【0016】

【図3B】図３Ｂは、いくつかの実施形態において実行することができる一例示的な方法を示す図である。

【0017】

【図4】図４は、いくつかの実施形態が動作することができる一例示的な環境を示す図である。

【0018】

【図5】図５は、いくつかの実施形態が動作することができる一例示的な環境を示す図である。

【0019】

【図6A】図６Ａは、いくつかの実施形態において実行することができる一例示的な方法を示す図である。

【0020】

【図6B】図６Ｂは、いくつかの実施形態が動作することができる一例示的な環境を示す図である。

【0021】

【図7】図７は、いくつかの実施形態が動作することができる一例示的な環境を示す図である。

【発明を実施するための形態】

【0022】

本明細書では、本発明の特定の実施形態が詳細に言及されている。実施形態又はそれらの態様のうちのいくつかが図面に示されている。

【0023】

説明を明瞭にするために、本発明は、特定の実施形態を参照して説明されているが、本発明は、説明されている実施形態に限定されるものではないことが理解されるべきである。それどころか、本発明は、いずれかの請求項によって画定される範囲内に含まれ得る代替形態、変更形態、及び均等形態を対象として含む。本発明の以下の実施形態は、請求項に記載の発明の一般性を失うことなく、且つ、請求項に記載の発明に制限を課すことなく述べられる。以下の説明では、本発明の徹底した理解を提供するために具体的な詳細が述べられる。本発明は、これらの具体的な詳細の一部又は全部がなくても実施することができる。加えて、よく知られた特徴は、本発明を不必要に分かりにくくすることを回避するために詳細に説明されていない場合がある。

【0024】

加えて、この例示的な特許で述べられている例示的な方法のステップは、本明細書に示された順序と異なる順序で実行することができることが理解されるべきである。さらに、例示的な方法のいくつかのステップは、逐次的に実行されるのではなく並列に実行されてもよい。また、例示的な方法のステップは、いくつかのステップがネットワーク環境内の異なるコンピュータによって実行される当該ネットワーク環境において実行されてもよい。

【0025】

いくつかの実施形態は、コンピュータシステムによって実施される。コンピュータシステムは、プロセッサと、メモリと、非一過性コンピュータ可読媒体とを含むことができる。これらのメモリ及び非一過性媒体は、本明細書に記載の方法及びステップを実行する命令を記憶することができる。

【0026】

実施形態が動作することができる例示的なネットワーク環境の図が図１Ａに示されている。例示的な環境１４０では、２つのクライアント１４１、１４２が、ローカル記憶装置１５１を有するサーバ１５０にネットワーク１４５を介して接続されている。この環境におけるクライアント及びサーバは、コンピュータとすることができる。サーバ１５０は、クライアントからの要求をハンドリングするように構成することができる。

【0027】

簡略にするために、例示的な環境１４０は、２つのクライアント及び１つのサーバのみを有するものとして示されているが、実際には、より多くの又はより少ないクライアント及びサーバが存在し得る。コンピュータは、クライアント及びサーバと呼ばれているが、クライアントはサーバの役割を果たすこともでき、サーバはクライアントの役割を果たすこともできる。いくつかの実施形態では、クライアント１４１、１４２は、サーバだけでなく互いに通信することもできる。また、サーバ１５０は、他のサーバと通信することもできる。

【0028】

ネットワーク１４５は、例えば、ローカルエリアネットワーク（ＬＡＮ：local area network）、ワイドエリアネットワーク（ＷＡＮ：wide area network）、電話ネットワーク、無線ネットワーク、イントラネット、インターネット、又はネットワークの結合体とすることができる。サーバ１５０は、接続媒体１６０を介して記憶装置１５２に接続することができ、接続媒体１６０は、バス、クロスバー、ネットワーク、又は他の相互接続体とすることができる。記憶装置１５２は、単一のエンティティとして示されているが、複数の記憶デバイスのネットワークとして実施することもできる。記憶装置１５２は、ファイルシステム、ディスク、データベース、又は他の記憶装置とすることができる。

【0029】

一実施形態では、クライアント１４１は、方法２００又は本明細書における他の方法を実行することができ、その結果として、ファイルを記憶装置１５２に記憶することができる。これは、クライアント１４１とサーバ１５０との間のネットワーク１４５を介した通信を経由して行うことができる。例えば、クライアントは、ファイルを指定された名称で記憶装置１５２に記憶する要求をサーバ１５０に通信することができる。サーバ１５０は、この要求に応答し、ファイルを指定された名称で記憶装置１５２に記憶することができる。保存対象のファイルは、クライアント１４１に存在する場合もあるし、サーバのローカル記憶装置１５１に既に存在する場合もある。

【0030】

別の実施形態では、クライアント１４１は、方法２００又は本明細書における他の方法の実行中に使用されるバイオメトリックデータ又はモーションセンサーデータを送信するヘッドホンのセットであってもよい。これは、クライアント１４１とサーバ１５０との間のネットワーク１４５を介した通信を経由して行うことができる。例えば、クライアントは、ファイルを指定されたファイル名で記憶装置１５１に記憶する要求をサーバ１５０に通信することができる。サーバ１５０は、この要求に応答し、ファイルを指定された名称で記憶装置１５１に記憶することができる。保存対象のファイルは、クライアント１４１に存在する場合もあるし、記憶装置１５２等のネットワークを介してアクセス可能な他の記憶装置に存在する場合もあるし、さらには（例えば、ピアツーピアシステムでは）クライアント１４２上の記憶装置に存在する場合もある。

【0031】

上記論述によれば、実施形態は、ディスク等のローカル記憶装置又はフラッシュドライブ、ＣＤ－Ｒ、若しくはＤＶＤ－Ｒのような着脱可能媒体にファイルを記憶するのに使用することができる。さらに、実施形態は、バス、クロスバー、ネットワーク、又は他の相互接続体等の接続媒体を介してコンピュータに接続された外部記憶デバイスにファイルを記憶するのに使用することができる。加えて、実施形態は、リモートサーバ又はリモートサーバにアクセス可能な記憶デバイスにファイルを記憶するのに使用することができる。

【0032】

さらに、ファイルが多くの場合にリモートサーバ又はリモート記憶システムに記憶される別の例は、クラウドコンピューティングである。クラウドコンピューティングは、容易なスケーラビリティを可能にするように素早くプロビジョニングすることができるプールされたネットワークリソースを指す。クラウドコンピューティングは、ソフトウェアアズアサービス、プラットフォームアズアサービス、インフラストラクチャアズアサービス、及び同様の特徴を提供するのに使用することができる。クラウドコンピューティング環境では、ユーザは、ファイルを「クラウド」に記憶することができ、これは、ファイルがリモートネットワークリソースに記憶されることを意味するが、ファイルを記憶する実際のハードウェアは、ユーザに不透明なものとすることができる。

【0033】

図１Ｂは、トレーニングモジュール１０４と、分析モジュール１０６と、特徴量抽出モジュール１０８と、機械学習モジュール１１０と、ユーザインタフェイス（Ｕ．Ｉ．：user interface）モジュール１１２と、前処理モジュール１１４とを含む一例示の分析エンジンプラットフォーム１００のブロック図を示している。プラットフォーム１００は、アプリケーションエンジン１４２によって生成される出力をユーザインタフェイス１４４を介して表示するユーザデバイス１４０と通信することができる。ユーザデバイス１４０は、ヘッドホン２０２と通信することもできる。

【0034】

システム１００のトレーニングモジュール１０４は、図２Ａ、図２Ｂ、図２Ｃ、図２Ｄ、図２Ｅ、図３Ａ、図３Ｂ、図４、図５、図６Ａ及び図６Ｂ（「図２Ａ～図６Ｂ」）に示すような機能を実行することができる。

【0035】

システム１００の分析モジュール１０６は、図２Ａ～図６Ｂに示す機能を実行することができる。

【0036】

システム１００の特徴量抽出モジュール１０８は、図２Ａ～図６Ｂに示す機能を実行することができる。

【0037】

システム１００の機械学習モジュール１１０は、図２Ａ～図６Ｂに示すような機能を実行することができる。

【0038】

システム１００のユーザインタフェイスモジュール１１２は、図２Ａ～図６Ｂに示すような機能に基づいて情報を表示することができる。

【0039】

システム１００の前処理モジュール１１４は、図２Ａ～図６Ｂに示すような機能を実行することができる。

【0040】

データベース１２０、１２２及び１２４は個別に表示されているが、これらのデータベース及びこれらのデータベースに保持された情報は、取り出し及び記憶の効率性及び／又はデータセキュリティを促進する形で、互いに組み合わせることもできるし、さらに分離することもできる。１つ以上の実施形態では、分析エンジンプラットフォーム１００、機械学習ネットワーク１３０及びデータ１２０、１２２、１２４は全て、１つ以上のコンピューティングデバイス内で実施することができる。

【0041】

様々な実施形態では、分析エンジンは、ユーザインタフェイスに表示するための確定出力を送信する。例えば、ユーザインタフェイスは、特定の時点における又は特定の期間にわたる集中、注意、認知負荷、疲労、好奇心、確信、疑念、マインドワンダリング、眠気、感嘆、崇敬、審美、楽しみ、怒り、不安、畏敬、気まずさ、倦怠、平穏、混乱、渇望、嫌悪、共感的痛み、恍惚、興奮、恐怖、戦慄、幸福、興味、喜び、ノスタルジア、安心、ロマンス、悲しみ、満足、性欲、及び／又は驚きの程度、又はレベルのユーザの変化のグラフ等の視覚表現を表示することができる。そのような視覚表現のデータ集約は、分析モジュール１０６を介して行うことができ、集約からの出力は、ユーザインタフェイスに表示するためにコンピューティングデバイスに返信することができる。様々な実施形態では、視覚表現は、種々のジャンルの音楽を聴いているユーザ、１日の種々の時間帯、ロケーション（例えば、自宅、オフィス、又はコーヒーショップ）、週の曜日、特定の活動に先行する別のイベントとの関係（例えば運動後）、及び／又はそれらの組み合わせに関するユーザの集中の変化のグラフ等の、ユーザの精神状態と特定の活動との間の関係を示すことができる。様々な実施形態では、視覚表現は、分析モジュールがヘッドホン又はいくつかの場合にはヘッドホンに関連付けられた他のデバイスから学習することができるヘッドホンからのデータに基づいて、特定の精神状態のグラフをユーザについてのアノテーションとともに表示することができる。様々な実施形態では、分析エンジンプラットフォームは、ユーザが或る顔のジェスチャを行っているか否か（例えば、ユーザが微笑しているか否か）を判断することができ、ユーザの或る精神状態（例えば幸福）のレベルは、ユーザの精神状態のグラフを表示するユーザインタフェイスに表示するための確定出力を与えることができる。この出力は、ユーザが微笑していた特定の時間又は時期を用いてアノテートもされる。別の例では、分析エンジンプラットフォーム１００は、ユーザの集中のレベルをモニタリングしていてもよく、ユーザが、集中又は集注に付随した眉間のしわのような或る顔のジェスチャを行っているか否かもモニタリングしていてもよく、分析モジュール１０６は、視覚表現用にそのようなデータを集約することができ、そのようなデータは、ユーザに表示することができ、高い集中又は集注の期間中に眉間のしわの割合が増加したことを示すことができる。特に、いくつかの顔のジェスチャが特定の精神状態に関連付けられているとき、これらのタイプの特徴量は特に役立つことができる（例えば、微笑／幸福、頭部の傾斜／疑問、頭部の下垂／悲しみ、瞬きすることなく目を大きく開いていること／注意、眉を上げること／驚き、唇のリフト／嫌悪）。分析エンジンは、ユーザの精神状態の変化を予想して又は変化を検出すると、通知をユーザのコンピューティングデバイスにいつ送信すべきかを判断することができる。例えば、通知は、ユーザが、集中力の喪失、集中力の獲得、より多くの／より少ない疲労の知覚又はより多くの／より少ない眠気の知覚を行う傾向がある１日の時間帯に入っていることをユーザに示すことができる。例えば、通知は、ユーザの集中レベルが近時に下がっており、ユーザの精神疲労レベルが高まっていることをユーザに示すことができ、休憩すること又は身体的活動（例えば、起立、ストレッチ、歩行、運動、ヨガの実行、美容体操の実行、及び／又は単純に積極的に休憩すること）を行うことをユーザに提案することができる。

【0042】

図２Ａの図表２００に示すように、分析マネージャーの１つ以上の実施形態は、ヘッドホン２０２を装着しているユーザが、ヘッドホン２０２上の電極からのデータに基づいてコンピュータデバイス（複数の場合もある）１４０とインタラクトする（又はコンピュータデバイスを制御する）ことができるヘッドホン２０２のセットを含むシステムを含むことができる。これらの電極は、電圧を絶えずモニタリングして検出し、信号は、サンプリングされ、（例えばＡ／Ｄ変換器を使用して）デジタル化され、ヘッドホン２０２にバッファリングされる時系列データの浮動小数点表現に変換される。この時系列データは集約され、その後、関連付けられたデバイスに送信する（例えば、接続されたスマートフォンにＢｌｕｅｔｏｏｔｈを介して送信する）ためのネットワーク互換フォーマットにパッケージ化される。様々な実施形態では、このデータは、記憶及び／又は分析のためにセキュアソケット接続（ＳＳＬ：secure socket connection）を介して、例えばＫａｆｋａを使用してこの関連付けられたデバイス（例えばスマートフォン）からクラウドにさらに送信することができる。ユーザは、ヘッドホン内に統合された１つ以上の電極によって検出することができる１つ以上の顔のジェスチャを行う場合がある。顔のジェスチャは、例えば、顎の動き、顎の噛み締め、左右への顎の小刻みの動き（jaw wiggle left and right）、顎の突き出し（jaw jutting）（例えば、前方及び後方への顎の突き出し）、顎の開放（jaw opening）、歯のクリック、微笑、頬膨らまし（cheek puff）、頬すぼめ（cheek suck）、瞬き、ウィンク、舌の動き（tongue movement）、鼻の動き（nose movement）、吸息（inhalation）又は呼息（exhalation）、眼の運き（eye movement）、眉をひそめること（frown）、眉を上げること（eyebrow raise）、眉を下げること（eyebrow lowering）、口の動き（mouth movement）、単語又はフレーズの囁き（whispered word or phrase）、無音有声化（silent vocalization）、及び任意のタイプの顔の筋肉の動き、頭の動き、及び任意のタイプの顎の動き、前者の非対称の変動、並びにそれらの組み合わせがあり得る。例えば、顔のジェスチャは、２回の顎の噛み締め（短い時間ウィンドウ内の２つの連続した顎の噛み締めからなる）又は左右に２回の顎の小刻みの動き（left-right-left-right jaw wiggle）（顎が短い時間ウィンドウ内で最初に左に動き、その後に右に動き、その後に左に動き、その後に右に動くことからなる）を含むことができる。例えば、ユーザは、左目だけ又は右目だけでウィンクする場合もあるし、ユーザは、左頬だけ又は右頬だけを膨らませる場合もある。顔のジェスチャは、非常に微妙ないくつかのタイプのジェスチャ、例えば、言葉を無音で有声化（silently vocalizing）する動作も含むことができる。いくつかのシナリオでは、ユーザは、自身の顔のジェスチャを他者に気付かれたくない場合もあるし、いくつかのコマンドを他者に聞かれたくない場合もある。この場合に、人は、特定の言葉を述べているかのように自身の口を無言で動かし、実際に声を出して言っていないようにすることができる。言葉を言っているかのように口を動かすことによって、口、舌、首、顔、及び唇の筋肉は動き、それらの筋肉の動きは、ヘッドホン上のセンサーによって検出することができる。様々な実施形態では、このタイプの無音有声化（ＳｉＶｏｘ：silent vocalization）は、ヘッドホン内に統合された１つ以上の電極によって検出することができる。

【0043】

電極からのデータは、定義されたインタラクションに対応する検出された顔のジェスチャを表すことができる。様々な実施形態では、電圧は、ユーザの神経によって、及び／又は筋肉の動きの結果として及び／又は脳波から及び／又は他の神経信号から生成することができる。定義されたインタラクションを動作のタイプにマッピングすることができる。システムは、マッピングされた動作を適切な電極データに基づいて実施することができる。様々な実施形態では、ユーザインタフェイスが、特定の顔のジェスチャに関連付けられたいくつかの動作をマッピング／確立するオプションをユーザに提示することができる。例えば、顔のジェスチャインタラクションのリストをユーザに提示することができ、ユーザは、その後、いくつかの動作を、各インタラクションに関連付けられるように選択することができ、例えば、２回の顎の噛み締め→マウスクリックにマッピングすることができ、瞬きを伴った頭のうなずき（head-nod-with-a-blink）→オーディオ／ビデオアプリケーションにおける再生／一時停止機能にマッピングすることができ、眉を２回上げること（double-eyebrow-raise）→新たなファイル又はアプリケーションを開くことにマッピングすることができる。ジェスチャの新たな組み合わせを作成するオプションをユーザに提示することができ、ユーザは、それらを異なる動作又は動作の組み合わせにマッピングすることができる。様々な実施形態では、ユーザインタフェイスは、精神状態のいくつかのレベルのいくつかの閾値を設定するオプションを、閾値を満たす場合又は超えている場合に行う動作とともにユーザに提示することができる。例えば、分析エンジンは、ユーザの集中レベルが、ユーザインタフェイスにおいてユーザによって設定された或る閾値を超えているか否かを判断することができ、ユーザの集中レベルがその閾値を超えている場合には、アプリケーションエンジンは、ユーザの気を散らすおそれがある通知を無効にする（例えば、ドゥーノットディスターブ（Do Not Disturb）モードに入る）命令をユーザデバイスに送信することができ、それによって、ユーザが高い集中レベルを維持することを助ける。

【0044】

様々な実施形態では、ヘッドホンは、種々の精神状態（例えば種々の色）、精神状態のレベル（例えば輝度ライト）、及び／又は精神状態のレベルのいくつかの閾値（例えばｏｎ／ｏｆｆ）に対応する仮想インジケーター（例えばライト）を有する。例えば、仮想インジケーターは、ユーザの精神状態に基づいて色を変化させる或るタイプの「ムードリング」として機能することができる。例えば、仮想インジケーターは、ユーザが或る集中閾値を上回っており、そのため、ヘッドホン上の仮想インジケーターが赤色に変わり、ユーザが邪魔されるべきでないことを示し、一方、ユーザが或る集中閾値を下回っている場合にはライトが緑色に変わる仮想通知として機能することができる。様々な実施形態では、ユーザが或る精神状態閾値を上回っている場合、及び／又は、或る精神状態レベルを或る時間レベルの間上回っている場合には、ユーザに通知をアラートする触覚フィードバックインジケーター（例えば振動感覚）もある。様々な実施形態では、仮想インジケーターは、社会的インタラクションのドライバーとして使用される。例えば、ユーザが或る精神疲労閾値を上回っている場合、又は、或る精神疲労レベルを或る時間レベルの間上回っている場合には、触覚通知をユーザに送信する（例えば、ヘッドホンが或るパターンに従って振動する）ことができ、ユーザが休憩を取るべきであることを示す通知（例えば、休憩を取るようにユーザに促すユーザのスマートフォン上の通知）をユーザのコンピューティングデバイスに送信することができ、及び／又は、ヘッドホン上の仮想インジケーターが点灯するか若しくは色を（例えば、ユーザが集中していたときのドゥーノットディスターブの赤色から、ユーザが精神的に疲労しているときの要休憩の青色に）変化させることができる。これは、ユーザが精神的に疲労しており、休憩を取る必要があることをユーザの周囲の他者に示し、そのため、それらの他者は、そのユーザに一緒に散歩に行くように割り込むことができ、おそらく割り込むべきであることを知る。様々な実施形態では、ユーザが或る精神状態閾値を上回っている場合、及び／又は、或る精神疲労レベルを或る時間レベルの間上回っている場合には、ユーザに通知をアラートする触覚フィードバックインジケーター（例えば振動感覚）もある。

【0045】

様々な実施形態では、ヘッドホンは、動きデータをコンピューティングデバイスに提供する加速度計及び／又はジャイロスコープも含む。動きデータは、ＥＭＧデータと組み合わせて、いくつかのタイプの頭の動き、又は顔のジェスチャと組み合わされた頭の動きを判断することができる。頭の動きは、頭の傾斜、頭のうなずき、頭の振り、頭の回転等を含むことができ、上記で論述した顔のジェスチャと順次又は同時に組み合わせて或る所望のインタラクションを示すことができる。インタラクションの定義された組み合わせ又はシーケンスは、動作のタイプにマッピングすることができる。

【0046】

ヘッドホン２０２は、前処理を実行し、データは、コンピュータデバイス（複数の場合もある）１４０に送信され、及び／又は、その後、特徴量抽出２０８及び機械学習ネットワーク１３０内への抽出された特徴量の供給を行うクラウドコンピューティング環境２０６に送信される。機械学習ネットワーク１３０からの出力は、コンピューティングデバイス１４０に送信することができ、実施又は実行される１つ以上のタイプの動作を表すことができる。機械学習ネットワーク１３０からの出力は、コンピュータデバイス（複数の場合もある）１４０及び／又はクラウドコンピューティング環境２０６を介してヘッドホン２０２に送信することができる。出力は、実施される１つ以上のタイプの動作を表すことができる。

【0047】

様々な実施形態によれば、ヘッドホン２０２にバッファリングされたデータは、ネットワークパケットに変換され、ネットワークパケットは、ヘッドホン２０２からコンピューティングデバイス（複数の場合もある）１４０に送信される。いくつかの実施形態では、コンピューティングデバイス１４０は、自立型の分析エンジンプラットフォーム１００を有する。コンピューティングデバイス１４０は、バッファリングされたデータの１つ以上の部分をクラウドコンピューティングプラットフォーム２０６に中継する。クラウドコンピューティングプラットフォーム２０６は、前処理技法と、信号処理技法と、分析技法と、機械学習技法とを実行して出力を生成する。出力は、クラウドコンピューティングプラットフォーム２０６からコンピューティングデバイス（複数の場合もある）１４０に返信される。コンピューティングデバイス（複数の場合もある）１４０は、受信された出力に基づいて１つ以上の動作を実行する。様々な実施形態では、バッファリングされたデータをクラウドコンピューティングプラットフォーム２０６に送信するコンピューティングデバイス１４０は、クラウドコンピューティングプラットフォーム２０６から返信されて受信された出力に基づいて１つ以上の動作を実行するデバイスとは異なることができる。いくつかの実施形態では、ヘッドホンは、ヘッドホンのハードウェアに内蔵された自立型コンピューティングデバイスを有する。いくつかの実施形態では、前処理プロセス、信号処理プロセス、分析プロセス、及び機械学習プロセスの異なる部分及び／又は全ては、１つ以上のコンピューティングデバイス及び／又はクラウドコンピューティングプラットフォーム上で実行することができる。

【0048】

様々な実施形態によれば、ヘッドホン２０２は、サーカムオーラルヘッドホン、スープラオーラルヘッドホン、ヘッドバンドヘッドホン、オーバーザイヤーヘッドホン、イヤホン型ヘッドホン、イヤピースヘッドホン、及び骨伝導ヘッドホンのうちの少なくとも１つとすることができる。

【0049】

様々な実施形態によれば、図２Ｂに示すように、ヘッドホン２０２は、１つ以上の脳領域内の活動を示すそれらの脳領域からの神経制御信号を捕捉、記録及び／又は送信するように構成される神経記録デバイスとすることができる（又は神経記録デバイスを含むことができる）。この神経記録デバイスは、任意の適した手法を使用して神経間の神経活動を記録するように構成される任意の適した記録デバイス又はシステムを含むことができる。神経記録デバイスは、１つ以上の脳領域又は１つ以上の筋肉からの神経信号を捕捉及び記録するように構成される１つ以上の電極２０４－１、２０４－２、２０４－３、２０４－４、２０４－５、２０４－６、２０４－７を含む。図２Ｂに示す電極２０４－１、２０４－２、２０４－３、２０４－４、２０４－５、２０４－６、２０４－７のサブセットには、対応する参照符号が付随することが分かる。電極２０４－１、２０４－２、２０４－３、２０４－４、２０４－５、２０４－６、２０４－７と外見が同様である図２Ｂに示す１つ以上の特徴部も、１つ以上の追加の電極を表していると解釈することができることがさらに分かる。いくつかの実施形態では、神経記録デバイスは、ポインティング制御特徴部を実施するのに使用することができるユーザの自発的な筋肉の動き（例えば、目の動き、姿勢の動き、ジェスチャ）を表す信号を含む神経信号を記録するように構成することができる。いくつかの実施形態では、ヘッドホンは、無意識の筋肉の動きも同様に記録するように構成されてもよい。いくつかの実施形態では、神経記録デバイスによって取得された信号は、ユーザの認知状態、感情状態、又は注意状態等の脳状態に対応する神経信号を含むことができる。いくつかの実施形態では、神経記録デバイスは、神経によって生成される１次イオン電流を電気的に記録することによって神経信号を直接捕捉するように構成することができる。なお、これらのイオン電流は、神経集合体内及び神経集合体間を流れる。いくつかの実施形態では、神経記録デバイスは、１次電流に付随又は起因する神経系の２次電流又は他の変化を記録することによって神経信号を間接的に捕捉するように構成することができる。いくつかの実施形態では、神経記録デバイスは、事象関連電位（ＥＲＰ：Event Related Potential）、誘発電位（「Ｅｐ」：Evoked Potential、例えば、視覚誘発電位（ＶＥＰ：visually evoked potential）、聴覚誘発電位（ＡＥＰ：auditory evoked potential）、運動誘発電位等の感覚誘発電位）、運動イメージ、脳状態依存信号、緩変動電位等の様々なシグネチャ脳信号（signature brain signal）、様々な認知タスク、注意タスク又は感覚運動タスクの基礎をなす未発見のシグネチャ活動電位（signature activity potential）を含む１つ以上の信号を記録するように特に適合することができる。いくつかの実施形態では、神経記録デバイスは、周波数領域において１つ以上の信号を記録するように特に適合することができる。中でもいくつかの例は、感覚運動リズム、事象関連スペクトル摂動（ＥＲＳＰ：Event Related Spectral Perturbation）、シータリズム、ガンマリズム又はミューリズムのような特定の信号周波数バンド等を含む。本明細書において説明するように、神経記録デバイスは、記録ステージを通じてニューラル活動信号を記録して、対象者（ユーザ等）の認知プロセスに関連した情報を収集することができる。この記録ステージは、脳活動を測定し、上記情報を、プロセッサ（複数の場合もある）によって分析することができるデータに変換することができる加工しやすい電気信号に変換する。上述したように、神経記録デバイスは、種々の脳領域から脳波記録信号を取得する電極２０４－１．．．２０４－７．．．のセットを含むことができる。これらの電極は、神経の樹状突起のシナプス興奮中の電流の流れによって引き起こされる電気信号を測定することができ、それによって、２次電流の効果を中継する。神経信号は、ユーザの耳及び顎の周辺に適切に配置された神経記録デバイスにおける電極を通じて記録することができる。上述したように、神経記録デバイスは、種々の筋肉から筋電図信号を取得するとともに心臓から心電図信号を取得する電極２０４－１．．．２０４－７．．．のセットを含むことができる。

【0050】

１つ以上の実施形態は、ヘッドホンクッション２０８の導電性ファブリック２０６－１、２０６－２、２０６－３、２０６－４（又は１つ以上の部分／導電性ファブリックのストリップ）と一体化した電極を有するヘッドホンのセット２０２を含むことができる。いくつかの実施形態では、電極は、ヘッドホンのイヤクッション又はイヤパッド内に統合された導電性ファブリックの背後に位置していてもよい。いくつかの実施形態では、イヤクッション上又はイヤクッション内には、イヤクッション２０８の非導電性部分に接続された導電性ファブリックストリップ２０６－１．．．２０６－４が存在するが、各導電性ファブリックストリップは別の隣接する導電性ファブリックストリップに接触しないようになっており、そのため、各導電性ファブリックストリップは互いに電気的に絶縁され、各導電性ファブリックストリップは、電極が互いに電気的に絶縁された状態にあるのでそれぞれの各電極からの信号を近傍の電極と区別することができるように異なるそれぞれの電極に接続される。いくつかの実施形態では、ＥＥＧ信号、ＥＭＧ信号、及び／又は他の信号を、ユーザの皮膚と導電性ファブリックとの間の接触を通じて電極によって検出することができるように、電極を導電性ファブリックに電気的に接続することができる。様々な実施形態では、電極は、ヘッドホンのイヤクッションの背後に統合され、それぞれの各電極は、イヤクッションのそれぞれの各導電性ファブリックと電気接触している。様々な実施形態では、電極は、ヘッドホンのイヤクッション内に統合され、それぞれの電極は、ユーザがヘッドホンを装着しているときに導電性テキスタイルがユーザの皮膚と接触するように位置決めされるヘッドホンのイヤカップ又はイヤクッションの外側材料内に統合された導電性テキスタイルのそれぞれのアイランド（例えば、導電性ファブリック部分が電気的な「アイランド」であり、近傍の導電性ファブリック部分と電気的に接触せず、センサー電極とのみ電気的に接触するのでアイランドである）と電気的に接触する。導電性ファブリックは、導電性テキスタイル、導電性クロス、導電性テキスタイル、導電性糸、導電性ファイバー、導電性フォーム、導電性膜、導電性可撓コンフォーマル材料、導電性ポリマー、及び／又は導電性ポリマー被覆ファブリック及び／又はそれらの組み合わせとすることができることが分かる。いくつかの実施形態では、ヘッドホンのイヤクッションは、シリコーン又は熱可塑性ウレタン（ＴＰＵ：thermoplastic urethane）のようなゴム引き型材料から作製され、この場合に、電極は、導電性ポリマー、又はシリコーン若しくはＴＰＵ材料内に統合された導電性ワイヤー若しくは導電性ファイバー、又は他のタイプの可撓導電性コンフォーマル材料を通じてユーザの皮膚と接触することができる。電極は、イヤカップ、イヤクッション、Ｅａｒ－Ｐａｄ、イヤパッド、イヤカナルプローブ、イヤバッド、又はユーザの耳の内部若しくは周囲のユーザの皮膚と接触するヘッドホンの他の部分内に統合することができることが分かる。様々な実施形態では、イヤカップの導電性ファブリック電極２０６－１、２０６－２、．．．２０６－４間には、イヤカップ２０８の非導電性部分がある。イヤカップ２０８の非導電性部分がイヤカップの各導電性部分２０６－１．．．２０６－４の間に間隔を空けて配置されることは、それぞれの各電極がその近傍電極から電気的に絶縁された状態を保つことを確保するのに役立つ。１つの実施形態によれば、１つ以上の電極は、ユーザがヘッドホン２０２を装着しているときに、これらの１つ以上の電極が、ユーザの顎骨がユーザの耳に実質的に近いロケーションとほぼ一致するヘッドホン２０２上のロケーションに配置される。ヘッドホン２０２上の１つ以上の電極の別の配置は、ユーザがヘッドホン２０２を装着しているときに、これらの１つ以上の電極がユーザの耳のすぐ後ろにある部位とほぼ一致するものであってもよい。ヘッドホン２０２上の１つ以上の電極の別の配置は、ユーザのこめかみと近似的に一致するものであってもよい。ヘッドホン２０２上の１つ以上の電極の別の配置は、ユーザの乳様突起と近似的に一致するものであってもよい。ヘッドホン２０２上の１つ以上の電極の別の配置は、これらの電極がユーザの顎関節部と近似的に一致するものであってもよい。様々な実施形態によれば、ヘッドホン２０２上の全ての電極センサー２０４－１．．．２０４－７．．．は、それぞれのイヤーカフクッション（複数の場合もある）２０８の１つ以上の部分を覆う導電性ファブリック２０６－１、２０６－２、２０６－３、２０６－４の背後に位置してもよく、イヤーカフクッションのそれぞれの導電性部分に電気的に接続される。様々な実施形態によれば、電極（複数の場合もある）は、イヤーカフクッション２０８の幅の少なくとも１０％、少なくとも２０％、少なくとも３０％、少なくとも４０％、少なくとも５０％、少なくとも６０％、少なくとも７０％、少なくとも８０％、少なくとも９０％、少なくとも１００％、又はそれ以上に及ぶことができる。

【0051】

図２Ｂに示す導電性ファブリック２０６－１、２０６－２、２０６－３、２０６－４のサブセットには、対応する参照符号が付随することが分かる。導電性ファブリック２０６－１、２０６－２、２０６－３、２０６－４と外見が同様である図２Ｂに示す１つ以上の特徴部も、追加の導電性ファブリック（又は導電性ファブリックの追加の部分）を表していると解釈することができることがさらに分かる。電極センサー２０４－１、．．．２０４－７は、導電性ファブリックと別個のものとすることができ、電気接触するように作製することができることが分かる。他の実施形態では、電極センサー２０４－１、．．．２０４－７は、導電性ファブリック部分２０６－１、．．．２０６－４とシームレスに一体化することができる。

【0052】

ＥＥＧ電極及びＥＭＧ電極がイヤクッション内に統合されたヘッドホン２０２を示す１つ以上の実施形態が、図２Ｅに示されている。ヘッドホンのヘッドバンド２２５が、ヘッドホンのケース２２８に接続している。ヘッドホンは、回路基板２３１を収容することができ、この回路基板は、メモリ及びプロセッサのような通常の回路基板アーキテクチャとともに、ケース２２８と適切に位置合わせ及び接続がなされる関連付けられたポート（例えば充電ポート）と、入力／出力ポート又はアンテナ（例えば、３．５ｍｍオーディオポート、マイクロホン、又はＢｌｕｅｔｏｏｔｈアンテナ、ＷｉＦｉアンテナ）と、ユーザインタフェイス／制御ボタン（例えば、音量ボタン、再生／一時停止ボタン）とを含むことができる。ヘッドホンは、スピーカー２３４又は音を放出するシステムも収容することができる。ヘッドホンは、統合された電極２４１－１、２４１－２、２４１－３、２４１－４、２４１－５を有するイヤクッション２３７も収容することができる。図２Ｄに示すイヤクッション内に統合される導電性ファブリック電極２４１－１、２４１－２、２４１－３、２４１－４、及び２４１－５のサブセットには、対応する参照符号が付随することが分かる。イヤクッション内に統合される導電性ファブリック電極２４１－１、２４１－２、２４１－３、２４１－４、及び２４１－５と外見が同様である図２Ｅに示す１つ以上の特徴部も、イヤクッション内に統合される追加の導電性ファブリック電極を表していると解釈することができることがさらに分かる。

【0053】

図２Ｃに示すように、非導電性テキスタイルカバー２１０は、イヤーカフクッションの最上層部分とすることができる。非導電性テキスタイルカバー２１０の一部分は、テキスタイルカバー２１０内にさらに統合することができる導電性ファブリック２１２とすることができ、導電性ファブリック２１２のこの部分は、イヤクッションの表面下又は内部にあるそれぞれの電極と整列している。図２Ｃに示すように、テキスタイルカバー２１０は、非導電性ファブリック又は非導電性材料であり、導電性ファブリック／材料２１２がその内部に統合されている。様々な実施形態では、導電性ファイバー又は導電性材料が、織り込み、裁縫、縫い合わせ、接着、押出加工、スナッピング、スライディング、クラスピング、ボタン、ファスナー、グロメット、アイレット、又は任意の数の他の方法を通じてイヤーカフクッション内に統合される。

【0054】

従来のシステムは、人の頭の上部の様々なロケーションに配置された電極に依拠しているが、本明細書に記載の様々な実施形態は、乳様突起部、耳の後ろの後頭部、耳の近くの頬骨部、側頭部、耳下腺咬筋部、耳介部、顎関節部、こめかみ部、蝶形骨部の実質的に近く、イヤカナル内、及び／又は耳の内部若しくは周囲の任意の定められた顔の領域又は頭の領域等の人の耳の近く、内部、及び／又は周囲、特にヘッドホンのペアが通常接触することができる部位にのみ配置された電極によって意味のあるデータの生成及び出力を提供することが分かる。口部若しくは頤部のような顔の他の部位、又は頭頂部若しくは後頭部に追加の電極を設けることは、分析用の追加のデータを得るのに役立つことができるが、それらの部位に電極を配置することは、ユーザに不快である場合があり、視覚的に魅力的でないそのようなデバイスの装着又は使用を抑制する場合があり、そのようなデバイスを公然で使用すると社会問題となり得る。様々な実施形態では、電極は、外部の観察者にほとんど見えず「通常の外見」のヘッドホンに見えるような方法でヘッドホン内に統合されるとともに、長期の装着に快適であるような方法でヘッドホン内に統合され、それによって、ユーザは、ヘッドホンを取り外す必要もなければ取り外したいと思うこともなく、ヘッドホンを長時間にわたって連続して快適に使用することが可能になる。図２Ｄに示すように、図表２１４は、１つ以上の電極ロケーション１、２、３、４、５、６、７、８、９及び１０を有する左耳ヘッドホン図表２１６を含む。図表２１４は、１つ以上の電極ロケーション１１、１２、１３、１４、１５、１６、１７、１８、１９及び２０を有する右耳ヘッドホン図表２１８をさらに含む。電極ロケーション１、２、３及び１８、１９、２０は、ユーザがヘッドホンを装着しているときに、対応する電極がユーザの左右の耳の背後で乳様突起部の近くにほぼ位置合わせされるように位置する。

【0055】

ヘッドホン２０２は、ＥＥＧ信号及び／又はＥＭＧ信号等の様々なタイプの信号を検出することができる１つ以上の電極を含むことができる。例えば、１つ以上の電極は、ＥＥＧ信号を検出することができる。加えて、１つ以上の電極は、ユーザがヘッドホンのセットを装着しているときに、ユーザの顔の筋肉（複数の場合もある）の動きを表すＥＭＧ信号を検出することができる。様々な実施形態では、同じ電極が、ＥＥＧ信号、ＥＭＧ信号、及びＥＣＧ信号を検出することが可能であってもよい。様々な実施形態では、ユーザは、いくつかの顔のジェスチャを使用して、コンピューティングデバイスとインタラクトすることができる。例えば、１つ以上の検出される顔の筋肉の動き、及び／又は、歯の動き及び／又は様々な歯の間の接触によって引き起こされる１つ以上の検出される可聴クリックの検出は、「インタラクション（複数の場合もある）」にマッピングすることができる。インタラクション（複数の場合もある）は、検出された動きを使用してコンピューティングデバイス（複数の場合もある）を制御又はコンピューティングデバイスの入力を定義することができるユーザ入力の構成単位（複数の場合もある）及び／又は発生を表すものとして処理することができる。例えば、インタラクション（複数の場合もある）は、或るタイプ及び／又はパターンの顔の筋肉の動き（複数の場合もある）にマッピングされるものとして定義することができ、１つ以上のコンピューティングデバイスの動作をトリガする１つ以上の入力コマンドに対応することができる。

【0056】

様々な実施形態によれば、インタラクション（複数の場合もある）は、周辺入力デバイスに適用されるユーザ動作（例えばマウスクリック）をエミュレーションすることができる。例えば微笑等の或る顔のジェスチャ（複数の場合もある）の場合に、先行するインタラクションは、持続時間内の微笑の前に発生する必要があるものとして定義することができる。したがって、先行するインタラクションは、その後のコマンドの受信を予想するようにコンピューティングデバイスに命令するウェイクコマンドの要求をエミュレーションすることができる。微笑の発生前に先行するウェイク要求インタラクションの要件を実施することによって、様々な実施形態は、微笑が偶然の身体動作であるのか、又は、コンピューティングデバイスの入力をエミュレーションするように意図されたウェイク要求インタラクションにマッピングされるユーザによって行われたジェスチャであるのかを見分けることができる。

【0057】

様々な実施形態によれば、検出されるインタラクション（複数の場合もある）は、一連の歯クリック（２回の歯のクリック（double tooth click）等）の発生及び／又は音に基づくことができる。例えば、一連の歯クリックは、その後に微笑が続く場合があるウェイク要求インタラクションを表すようにマッピングすることができる。ウェイク要求インタラクションは、それによって、定められた期間の間、少なくとも１つのその後の入力の発生をモニタリングするようにコンピューティングデバイスをトリガするウェイクコマンドに対応する。ウェイクコマンドは、その後のコマンドを予想するようにコンピューティングデバイスにアラートするので、検出された微笑は、偶然の一致ではなく、その後の入力コマンドにマッピングするインタラクションであると判断される。

【0058】

同様に、顎の噛み締めのようないくつかの顔のジェスチャは、分析エンジンが、ユーザが顎噛み締めインタラクションに基づいてインタラクションを行うことを意図しているのか、又は、ユーザが単に咀嚼しているのかを区別することが困難な場合がある。この問題に対処するために、様々な実施形態によれば、スリープ要求インタラクションが、その後に検出された顔のジェスチャを無視するようにコンピューティングデバイスをトリガするスリープコマンドに対応することができる。例えば、瞬きと同時の頭のうなずきに基づく検出されたインタラクションは、スリープコマンドを表すことができる。このインタラクションの後には、咀嚼が続く場合がある。スリープコマンドは、その後の顔のジェスチャを無視するようにコンピューティングデバイスにアラートするので、デバイスは、ユーザがインタラクションの実行を試みているか否かを判断しようとするのではなくユーザのその後の咀嚼を無視することができる。例えば、既定のタイプ又はパターンの顎の動きに基づいて検出されるインタラクションは、コマンドのタイプ及び／又はユーザ入力のタイプを表すことができる。

【0059】

図３Ａのフローチャート３００に示すように、分析エンジンは、ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくデータを含む１つ以上の信号ファイルを受信する（動作３０２）。様々な実施形態によれば、ＥＥＧ信号を検出する電極（複数の場合もある）は、ユーザの乳様突起部に対してユーザの皮膚と電気接触し、ＥＭＧ信号を検出する電極（複数の場合もある）は、ユーザの顎関節部に対してユーザの皮膚と電気接触し、ＥＥＧ信号を検出する別の電極（複数の場合もある）は、ユーザのこめかみ部に対してユーザの皮膚と電気接触し、別の電極（複数の場合もある）は、ユーザの耳介部に対してユーザの皮膚と電気接触する。信号ファイルは、オーディオ特徴量及び動き特徴量を抽出することができるオーディオデータ及び運動データをさらに含むことができる。例えば、信号ファイルは、電極のうちの少なくとも１つに関連付けられた１つ以上のマイクロホンによって検出された音に基づくオーディオデータを含むことができる。信号ファイルは、ヘッドホンのセットに関連付けられたモーション検出器の物理的方位の少なくとも１つの変化に基づく動きデータをさらに含むことができる。様々な実施形態では、オーディオ信号は、顔のジェスチャに関連付けることができ、例えば、歯のクリックは、可聴「クリック」音を生成するが、筋肉を使用して顎を動かし、それによって、電極によって捉えることができるＥＭＧ信号も生成する。この実施形態では、オーディオ信号を１つ以上のマイクロホンによって検出し、アナログオーディオ信号からデジタル信号に変換し、分析エンジンプラットフォーム１００に送信することができる。分析エンジンプラットフォーム１００では、特徴量抽出モジュール１０８が、オーディオ特徴量を抽出し、それらの特徴量を、顔のジェスチャに関連付けられた抽出されたＥＭＧ特徴量とともに機械学習ネットワーク１３０に送信することができる。他の様々な実施形態では、顔のジェスチャは、非常に静かな囁き言葉を含むことができる。この言葉は、囁きが静か過ぎるので別の人は聞くことができない場合があり（例えば、非可聴呟き、すなわちＮＡＭ（non-audible murmur））、非常に静かであるので、ユーザの声帯の振動がないか又は限られているが、マイクロホンは、特に非常に高感度のマイクロホン又はとりわけＮＡＭマイクロホン（例えば、聴診器と同様に動作する）である場合には、ユーザの皮膚／組織／骨を通じて伝わるいくつかの振動をピックアップすることができる。この実施形態では、ユーザが言葉を静かに囁くとき、マイクロホンからのオーディオ／振動データは、ＥＭＧデータとともに分析エンジンプラットフォームに送信され、特徴量抽出モジュールは、ＮＡＭ特徴量及びＥＭＧ特徴量を抽出し、それらの特徴量は、機械学習モジュール１１０に送信され、どの言葉が囁かれたのか、すなわち確定出力が決定される。この実施形態では、組み合わせ並びにＮＡＭ特徴量及びＥＭＧ特徴量によって、システムは、どの言葉（複数の場合もある）が囁かれたのかをより良好に判断することが可能になる。さらに、自然言語処理（ＮＬＰ：natural language processing）を使用して、どの言葉（複数の場合もある）が話されたのか、それらの意味／意図の判断を助けることができ、確定出力は、確定出力に基づいて動作を実行するコンピューティングデバイスに送信することができる。この実施形態では、マイクロホンは、非可聴の囁きによって生成されるユーザの組織の振動をＥＭＧ信号とともにピックアップすることができるので、システムは、特に雑音環境内で、ユーザの意図したインタラクション（例えば、囁かれたコマンド、又は囁かれた指令）の判断において標準的な音声認識マイクロホンシステムよりもロバストであることができる。

【0060】

分析エンジンは、受信されたデータから特徴量を抽出し、抽出された特徴量を１つ以上の機械学習モデルに供給して、ユーザの現在の精神状態及びユーザによって行われる顔のジェスチャのタイプに対応する確定出力を生成する（動作３０４）。分析エンジンは、１つ以上の電極によって検出されたＥＥＧ信号に基づく受信されたデータからＥＥＧ特徴量を抽出し、抽出されたＥＥＧ特徴量を１つ以上の異なる機械学習モデルに供給し、機械学習モデルは、集中、疲労、及び／又は眠気及び／又は任意の数の他の精神状態、認知状態、若しくは注意状態のユーザの現在のレベルを予測する。分析エンジンは、１つ以上の電極によって検出されたＥＭＧ信号に基づく受信されたデータからＥＭＧ特徴量を抽出する。分析エンジンは、複数の顔のジェスチャのタイプから顔のジェスチャのタイプを決定する顔ジェスチャ機械学習モデルに抽出されたＥＭＧ特徴量を供給する。

【0061】

分析エンジンは、確定出力に基づいて動作を実行するコンピューティングデバイスに確定出力を送信する（動作３０６）。様々な実施形態によれば、分析エンジンは、特定のタイプの精神状態のユーザの現在のレベルとこの特定のタイプの精神状態の閾値との間の関係を検出する。分析エンジンは、特定のタイプの精神状態のユーザの現在のレベルと閾値との間の検出された関係に対応する少なくとも１つの入力コマンドを特定する。例えば、入力コマンドは、（ｉ）通知のうちの少なくとも１つを開始する１つ以上の命令と、（ｉｉ）コンピューティングデバイス上での１つ以上の通知の提示の（ａ）削減、（ｂ）最小化及び（ｃ）削除のうちの１つを行う１つ以上の命令とのうちの少なくとも一方を含むことができる。分析エンジンは、入力コマンドをコンピューティングデバイスに送信する。

【0062】

様々な実施形態によれば、特定のタイプの精神状態のユーザの現在のレベルと閾値との間の検出された関係は、ユーザの現在の集中レベルが集中閾値よりも高い（又は、例えば注意が注意閾値よりも高い）ことを示す表示に基づくことができる。入力コマンドは、ユーザが現在の高い集中レベルを維持するのを助けるために、コンピューティングデバイス上での１つ以上の通知の提示の削減を開始するトリガとすることができる。入力コマンドは、現在の高い集中レベルの間ユーザの邪魔をしないように、ユーザの近くにいる可能性がある任意の個人に信号で通知する色及び／又はライトの提示をヘッドホンのセットの一部分において開始するトリガであってもよい（又はトリガをさらに含んでもよい）。様々な実施形態によれば、ヘッドホンは、その後、「ドゥーノットディスターブ」信号を表示することができ、この信号は、例えば赤色ライトとすることができる。同様に、様々な実施形態によれば、ユーザの現在の注意レベルとの間の検出された関係は、注意閾値よりも低い。入力コマンドは、ユーザが邪魔されることを受け入れていることを信号で示す色及び／又はライト、例えば緑色ライトの提示をヘッドホンのセットの一部分において開始するトリガとすることができる。

【0063】

様々な実施形態によれば、特定のタイプの精神状態のユーザの現在のレベルと閾値との間の検出された関係は、ユーザの現在の精神疲労レベルが精神疲労閾値よりも高いことを示す表示に基づくことができる。入力コマンドは、ユーザが現在の疲労レベルを軽減するのを助ける少なくとも１つの身体動作を行うようにユーザに促す１つ以上の通知（例えば「疲れているように見えるので、起き上がって歩き回るべきである」）の提示を開始するトリガとすることができる。身体動作は、起立及び／又は歩行及び／又はコーヒー／カフェインの摂取、ストレッチ、息抜き、ヨガを行うこと、作業の変更、及び／又は別のタイプの精神的休憩及び身体の動き／運動であってもよい。別の実施形態では、通知は、瞑想、マインドフルネス、昼寝、及び／又はユーザの元気を回復させることができる他の任意のタイプの精神活動等の少なくとも１つの精神活動を行うようにユーザに促すことができる。ユーザが潜在的に危険な作業（例えば、トラック若しくはフォークリフトの運転又は飛行機の操縦のような作業）を行っている場合に役立つことができる別の実施形態では、ユーザの現在の精神疲労レベルが精神疲労閾値よりも大幅に高い場合に、入力コマンドは、ユーザが現在職務に適していないおそれがあり、休憩を必要とすることを示す１つ以上の通知をユーザ又はユーザの同僚若しくは職長に提示することをトリガすることができる。

【0064】

様々な実施形態によれば、確定出力は、コンピューティングデバイスに返信される前に動的フィルター（カルマンフィルター等）を通して送信することができる。確定出力は、決定された顔のジェスチャに基づくことができる。分析エンジンは、決定された顔のジェスチャのタイプにマッピングするインタラクションを特定し、このインタラクションに対応する入力コマンドをさらに特定する。分析エンジンは、ヘッドホンに関連付けられたコンピューティングデバイスに入力コマンドを送信する。それぞれのインタラクションは、顔のジェスチャのそれぞれの発生によって表されるタイプのユーザ入力を含むことが分かる。

【0065】

様々な実施形態によれば、顔のジェスチャのタイプは、抽出されたＥＭＧ特徴量で表される一連の顔のジェスチャとすることができ、一連の顔のジェスチャは、パスコードとの一致を試みるインタラクションにマッピングすることができる。分析エンジンは、一連の顔のジェスチャが既定のパスコードと一致すると判断することができる。一連の顔のジェスチャがパスコードと一致することに基づいて、分析エンジンは、パスコードに関連付けられたアイデンティティの検証のインスタンスを示す出力をコンピューティングデバイスに送信する。いくつかのシナリオでは、スマートフォン、タブレット、ラップトップ、又はデスクトップコンピュータへのパスコードのタイプ又は入力が観察されることなくパスコードを入力することができることはユーザにとって好都合であり得る。そのようなシナリオでは、他者に見えないように又は気付かれないようにすることができるが、分析エンジンは或るパターンと一致すると判断することができる顔のジェスチャを使用することができることが、ユーザにとって好都合であり得る。さらに、各顔のジェスチャのシグネチャは、人ごとに僅かに異なる可能性があり、そのため、或るユーザの顎の噛み締めから受信される信号の変化は、別のユーザの顎の噛み締めと異なる場合があり、異なるユーザが正確な一連の顔のジェスチャを完了した場合であっても、分析エンジンが、それが正当なパスコードでないと判断するように、それらの変化も、一種の顔のジェスチャフィンガープリントを作成するのに使用することができる。

【0066】

図３Ｂのフローチャート３０８に示すように、分析エンジンは、１つ以上の顎の動きの検出に応答して生成される電圧に基づくデータを受信する（動作３１０）。分析エンジンは、受信されたデータから特徴量を抽出して、１つ以上の顎の動きに対応する確定出力を生成する（動作３１２）。

【0067】

分析エンジンは、ユーザの顎の動きの発生を介して選択されるものとして事前に定義された入力コマンドを実行するコンピューティングデバイスにコマンドを送信する（動作３１４）。このコンピューティングデバイスは、ユーザによって装着されたヘッドホンのセットに関連付けることができ、電極データを分析エンジンに送信した同じコンピューティングデバイスとすることができる。例えば、コンピューティングデバイスは、Ｂｌｕｅｔｏｏｔｈ接続を介してヘッドホンに接続されるユーザのスマートフォンとすることができ、顎の動き（例えば、左－右－左の顎の小刻みの動き）は、ユーザのスマートフォンに対する入力コマンド（例えば音楽の再生／一時停止）に関連付けることができる。他の実施形態では、コンピューティングデバイスは、電極データを分析エンジンに送信したデバイスと異なるデバイスであってもよい。例えば、電極データを分析エンジンに送信したコンピューティングデバイスは、ヘッドホンと通信するアプリケーションを実行するユーザのスマートフォンであってもよく、コマンドを受信するコンピューティングデバイスは、パーソナルコンピュータ又はコンピュータタブレットであってもよい。様々な実施形態では、スマートフォンが、分析エンジンからコマンドを受信し、このコマンドをパーソナルコンピュータ又はコンピュータタブレットに中継してもよい。例えば、コンピューティングデバイスは、Ｂｌｕｅｔｏｏｔｈ接続を介してヘッドホンに接続されるユーザのタブレットであってもよく、顎の動き（例えば前方への顎の突き出し）は、ユーザのデスクトップコンピュータ上での実行を意図した入力コマンド（例えばファイルの保存）に関連付けられてもよい。様々な実施形態では、スマートフォンが、分析エンジンからコマンドを受信し、このコマンドをヘッドホンに中継してもよい。例えば、分析エンジンからのコマンドが、ヘッドホンの音量を下げることである場合及び／又はドゥーノットディスターブライトを点灯する場合。

【0068】

図４の図表４００に示すように、機械学習ネットワーク１３０は、様々なタイプの機械学習モデルである、ユーザの現在の集中レベルを求める機械学習モデル１３０－１、現在の疲労レベルを求める機械学習モデル１３０－２、現在の眠気レベルを求める機械学習モデル１３０－３、及びユーザによって行われる顔のジェスチャのタイプを判断する機械学習モデル１３０－４を含むことができる。分析エンジンは、異なるユーザごとの各モデル１３０－１、１３０－２、１３０－３、１３０－４のインスタンスを展開することができる。様々な実施形態では、分析エンジンは、種々のユーザに対して機能するように一般化された各モデルのインスタンスも展開することができる。様々な実施形態では、分析エンジンは、異なるユーザ間で使用される一般化モデルと、特定のユーザ向けにモデルをカスタマイズする個人化モデルとの双方を含む各モデルのハイブリッドインスタンスも展開することができる。ヘッドホン上の電極は、ユーザがヘッドホンのセットを装着している間、ＥＥＧ信号を絶えず検出することができる。ＥＥＧ信号に基づくデータは、分析エンジンに絶えず送信され、分析エンジンは、これらのＥＥＧ信号に関連付けられたデータをそれぞれの集中モデル１３０－１、疲労モデル１３０－２、及び眠気モデル１３０－３に利用する。様々なタイプの機械学習モデル１３０－１、１３０－２、及び１３０－３は集中、疲労及び眠気の精神状態に限定されるものではないことが分かる。逆に、様々なタイプの機械学習モデルは、他の様々なタイプの精神状態、認知状態、注意状態、及び／又は覚醒状態、例えば、集中、注意、注意散漫、認知負荷、疲労、好奇心、確信、疑念、マインドワンダリング、眠気、感嘆、崇敬、審美、楽しみ、怒り、不安、畏敬、気まずさ、倦怠、平穏、混乱、渇望、嫌悪、共感的痛み、恍惚、興奮、恐怖、戦慄、幸福、興味、喜び、ノスタルジア、安心、ロマンス、悲しみ、満足、性欲、及び／又は驚きの機械学習モデルを含むことができる。電極は、ユーザがヘッドホンのセットを装着している間の電圧の変化を絶えず検出することができる。様々な実施形態では、電圧信号に基づくデータは、分析エンジンに絶えず送信され、分析エンジンは、これらの電圧信号に関連付けられたデータを使用し、それらの信号から特徴量を抽出し、ＥＥＧモデル（例えば集中１３０－１、１３０－２、１３０－３）、ＥＭＧモデル（例えば顔ジェスチャモデル１３０－４）、ＥＣＧモデル（例えば心拍）、呼吸モデル（例えば呼吸数）、及びそれらの組み合わせにそれらの特徴量を使用する。様々な実施形態では、検出される電圧は、ＥＥＧ信号又はＥＭＧ信号だけでなく、ＥＣＧ信号等の身体における他の電気プロセスからの信号を含むことができる。様々な実施形態では、種々のモデル（例えば１３０－１、１３０－２、１３０－３、及び１３０－４）は、他のデータ源からの入力を追加で取得することができる。様々な実施形態では、ヘッドホンは、当該ヘッドホン内に統合されるか又は当該ヘッドホンに関連付けられる他のタイプのセンサーを有することができ、それらのセンサーのデータは、分析エンジンが追加の特徴量を抽出し、それらを機械学習モデルに組み込み、モデルを改善するのに使用することができる。様々な実施形態では、人間の脳機能に関連した血液酸素化及び血液量の変化を検出することができる機能的近赤外（ｆＮＩＲ：functional near infrared）センサー、脳内で生成される小さな磁場を検出することができる脳磁図センサー、超音波トランスデューサーセンサーシステム、心拍若しくは心拍変動の変化を検出することができる心拍センサー、血中の変化を検出することができる血液オキシメーターセンサー、又は呼吸数若しくは呼吸数変動を検出することができる呼吸センサー等の他のセンサーをヘッドホンに関連付ける（例えば、ヘッドホン内に直接統合するか若しくはヘッドホンと同じコンピューティングデバイス（例えばスマートフォン又はタブレット）に接続するか、又はヘッドホン自体に接続する）ことができる。様々な実施形態では、異なるタイプのセンサーからの信号が、分析エンジンプラットフォームによってハイブリッド化される。例えば、顔ジェスチャモデル１３０－４は、ヘッドホンに関連付けられたジャイロスコープ及び／又は加速度計からの入力を追加で取得することができる。ジャイロスコープ及び／又は加速度計は、ヘッドホン自体に配置することもできるし、及び／又は、ユーザの携帯電話等のヘッドホンに関連付けられたデバイスに配置することもできる。

【0069】

様々な実施形態によれば、ＥＥＧ信号データからの特徴量抽出は、パワーバンド特徴量、コヒーレンス特徴量及びパワー比特徴量等の特徴量４０２を抽出することを含む。分析エンジンは、通常は平方ボルト毎ヘルツで表されるそれぞれの電極ごとのアルファ（８ｈｚ～１２ｈｚ）周波数バンド、ベータ（１２Ｈｚ～３０Ｈｚ）周波数バンド、シータ（４ｈｚ～８ｈｚ）周波数バンド、ガンマ（３０Ｈｚ～１００Ｈｚ）周波数バンド、及び／又はデルタ（１ｈｚ～４ｈｚ）周波数バンドのような異なる周波数バンドに信号を最初に分解することによるパワースペクトル密度分析を行うことによってパワーバンド特徴量を抽出する。この分解は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）等のフーリエ変換を用いて行うことができる。次に、分析は、ＦＦＴの大きさを二乗し、その結果、各周波数バンドのパワースペクトル密度を得る。分析エンジンは、次に、或るウィンドウにわたって識別されたアルファ波、ベータ波、シータ波及びガンマ波のパワー密度の合計又は平均を求める。

【0070】

分析エンジンは、異なる電極からのそれぞれの信号が互いにどのように対応するのかを表すコヒーレンス特徴量を抽出する。コヒーレンス特徴量は、それぞれの電極対からのパワーバンドデータの比較に基づいている。これらの比較は、各比較されるパワーバンド（例えば、アルファ、ベータ、シータ、デルタ、及び／又はガンマ）に関する対応する電極間の類似の程度を求めるために行われる。いくつかの実施形態では、対応する電極間のコヒーレンスのレベルがより高いことは、信号対雑音比がより高いことを示すことができる。加えて、分析エンジンは、パワーバンド特徴量間の比を表すパワー比特徴量を抽出する。分析エンジンは、抽出された特徴量をそれぞれの異なるタイプの精神状態モデル１３０－１、１３０－２、１３０－３のうちの１つ以上に供給し、各モデルからの確定出力をヘッドホンに関連付けられたコンピューティングデバイス（複数の場合もある）に返信する。

【0071】

１つ以上の実施形態によれば、ヘッドホン上の電極は、ユーザがヘッドホンのセットを装着している間様々な顔の筋肉の動きを行うときに生成されるＥＭＧ信号を絶えず検出することができる。ＥＭＧ信号に基づくデータは、分析エンジンに絶えず送信され、分析エンジンは、ＥＭＧ信号に関連したデータを顔ジェスチャモデル１３０－４に利用する。分析エンジンは、ＥＭＧ信号に関連したデータから顔ジェスチャモデル１３０－４の特徴量４０４を抽出する。様々な実施形態では、分析エンジンは、他のデータ源、例えば、ヘッドホンに関連付けられたジャイロスコープ及び／又は加速度計からも同様に特徴量４０４を抽出する。ジャイロスコープ及び／又は加速度計は、ヘッドホン自体に配置することもできるし、及び／又は、ユーザの携帯電話等のヘッドホンに関連付けられたデバイスに配置することもできる。したがって、顔ジェスチャモデルは、顔／頭／首の内部の筋肉の動きと頭又は身体の動きとの双方を含むいくつかのタイプの顔のジェスチャを見分けることが可能であり得る。例えば、頭の回転は、ＥＭＧ信号を発生させることができる胸鎖乳突筋等の首の筋肉を活動させることができ、このＥＭＧ信号は、ヘッドホンによって検出され、分析エンジンによって使用される。分析エンジンは、抽出されたＥＭＧ特徴量４０４及び顔ジェスチャモデル１３０－４を使用して、ユーザがそれらの頭を回転させたと判断する。ＥＭＧ特徴量４０４を、分析エンジン４０４によって抽出される加速度計特徴量及びジャイロスコープ特徴量と組み合わせ、顔ジェスチャモデル１３０－４においてそれらの特徴量を使用することによって、顔ジェスチャモデルの精度、一貫性、及び／又は速度を改善することができる。

【0072】

【0073】

図５の図表５００に示すように、定められた数のチャネル５０２をヘッドホンのセットの左部分に関連付けることができ、定められた数のチャネルをヘッドホンのセットの右部分に関連付けることができる。例えば、顔ジェスチャモデル１３０－４は、３つの特徴部セット５０４、５０６、５０８に基づくことができ、各特徴部セットは、ヘッドホン上の電極に関連付けられたチャネル５０２からデータを受信する。各チャネルは、特定の電極に関連付けることができる。例えば、１つの実施形態では、ヘッドホンの右部分における５つの電極を、対応する５つのチャネルの第１のセットに関連付けることができ、ヘッドホンの左部分における５つの電極も、対応する５つのチャネルの第２のセットに関連付けることができる。したがって、１０個のチャネル５０２のそれぞれ（すなわち、第１の特徴部セットの１０個のチャネル、第２の特徴部セットの１０個のチャネル、第３の特徴部セットの１０個のチャネル）に基づくデータは、３つの特徴部セット５０４、５０６、５０８における特徴部セットのそれぞれに供給することができる。

【0074】

様々な実施形態によれば、第１の特徴部セット５０４は、電極のそれぞれからの１秒ウィンドウにわたる電圧の平均振幅（例えばＤＣオフセット、すなわち信号の絶対値の平均が０からどれだけずれているか）の１０個のチャネルを含む。第２の特徴部セット５０６は、電極のそれぞれからの高周波数（例えば３０ｈｚ～５０ｈｚ）パワーバンドの１０個のチャネルを含み、第３の特徴部セット５０８は、電極のそれぞれからの低周波数（例えば９ｈｚ～１２ｈｚ）パワーバンドの１０個のチャネルを含む。電極データは、未処理の信号として最初に捕捉することができ、ヘッドホンにおける１つ以上の処理ユニットによって３００Ｈｚにおいてサンプリングすることができ、その後、２つの異なる周波数バンド（例えば、周波数バンド９ｈｚ～１２ｈｚ及び３０ｈｚ～５０ｈｚ）に分離することができる。様々な実施形態では、１個、２個、３個、４個、５個、６個、７個、８個、９個、１０個、１１個、１２個、１３個、１４個、１５個、又はそれ以上の周波数バンドを含む１つ以上の周波数バンドを使用することができる。周波数バンドは、より大きなウィンドウ又はより小さなウィンドウに及ぶこともでき、例えば、５ｈｚ～２０ｈｚ、６ｈｚ～１８ｈｚ、８ｈｚ～１６ｈｚ、１０ｈｚ～３０ｈｚ、１５ｈｚ～２５ｈｚ、２０ｈｚ～３０ｈｚ、２０ｈｚ～８０ｈｚ、２５ｈｚ～７５ｈｚ、３０ｈｚ～７０ｈｚ、３５ｈｚ～６５ｈｚ、４０ｈｚ～６０ｈｚ、４５ｈｚ～６５ｈｚ、１０ｈｚ～１００ｈｚ、及び多くの他の周波数バンドに及ぶこともできる。例えば、ヘッドホンから送信されるデータは、１０個のチャネルのそれぞれについて、１秒の１／３００ごとの電圧の変化を表す。各秒の未処理の信号データは、個々の信号ファイルに集約される。各信号ファイルは、３つの特徴部セット５０４、５０６、５０８の１０個のチャネル５０２のデータを含む。本明細書に記載の実施形態は、信号ファイルごとに１秒の時間ウィンドウに限定されるものではなく、そのため、時間ウィンドウは、正確に又は近似的に０．１秒、０．２秒、０．３秒、０．４秒、０．５秒、０．６秒、０．７秒、０．８秒、０．９秒、１秒、１．１秒、１．２秒、１．３秒、１．４秒、１．５秒、１．６秒、１．７秒、１．８秒、１．９秒、２秒、又はそれ以上であってもよい。データウィンドウは、連続的なものとすることもできるし、重なり合うものとすることもできる。さらに、サンプリングレートは、正確に又は近似的に２００ｈｚ、２２５ｈｚ、２５０ｈｚ、２７５ｈｚ、３００ｈｚ、３２５ｈｚ、３５０ｈｚ、３７５ｈｚ、４００ｈｚ、４２５ｈｚ、４５０ｈｚ、４７５ｈｚ、５００ｈｚ、５２５ｈｚ、５５０ｈｚ、５７５ｈｚ、６００ｈｚ、又はそれ以上とすることができる。

【0075】

様々な実施形態によれば、顔ジェスチャモデル１３０－４は、例えば３０次元モデル（１０個のチャネルにわたる３つの特徴部に基づく）を含むとともに３つの特徴部セットからの全ての点をｎ次元空間（ここで、ｎはクラスの数から１を引いた数を表す）に投影する線形判別分析（ＬＤＡ：linear discriminant analysis）に少なくとも部分的に基づくことができる。顔ジェスチャモデル１３０－４は、その後、ｋ近傍法（ＫＮＮ：k-nearest neighbor）アルゴリズムを実施して、特定の顔筋肉のジェスチャを識別する。例えば、或る点がｎ次元空間に投影され、新たな点の５つの最近傍点（例えばｋ＝５）が顎の噛み締めインタラクションとして以前に識別されていた場合には、その新たな点も同様に顎の噛み締めインタラクションとして識別される。ハイパーパラメーター「ｋ」は、数値５に限定されるものではなく、様々な実施形態では、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、又はそれ以上である。

【0076】

本明細書に記載の様々な実施形態はトレーニングフェーズを実行することができることが分かる。特定のユーザのモデルが存在しない場合には、この特定のユーザによって現在装着されているヘッドホンのセットに関連付けられたコンピューティングデバイス上のソフトウェアは、一連の１つ以上の異なるタイプの顔のジェスチャのトレーニングを行うようにこの特定のユーザに命令する。例えば、ユーザの顎を１０回連続して噛み締めるようにユーザに促すことができ、次に、ユーザの歯を１０回連続してクリックするようにユーザに促すことができ、次に、ユーザの頭を１０回連続してうなずくようにユーザに促すことができ、次に、１０回連続してウィンクするようにユーザに促すことができ、次に、「顔のジェスチャなし」を１０回連続して行うようにユーザに依頼することができる。ユーザは、これらのジェスチャのそれぞれを或る時点において行うように促されるので、ヘッドホンからのデータを自動的にラベル付けすることができ、ＬＤＡ＋ＫＮＮ顔ジェスチャモデル１３０－４をトレーニングすることができる。顔筋肉のジェスチャのトレーニングからの電極データは、既定のインタラクションにマッピングされ、分析エンジンは、この電極データのマッピングに基づいて各特定のユーザの各モデル１３０－４のインスタンスをトレーニングする。モデルがトレーニングされ及び／又は存在すると、システムは、ユーザがどの顔のジェスチャを行っているのかを判断する予測モードに入る。様々な実施形態によれば、特定のユーザは、どのタイプの顔のジェスチャが所望のインタラクションに対応するのかを選択することができる。様々な実施形態によれば、所望のインタラクションは、特定の顔のジェスチャに自動的に関連付けることもできるし、特定の顔のジェスチャに関連付けられるように事前に決定しておくこともできる。

【0077】

図６Ａのフローチャート６００に示すとともに、図６Ｂの図表６２０にさらに示すように、分析エンジンによって実施される顔ジェスチャアーキテクチャが、ヘッドホンからの１つ以上のＬＳＬ（ラボストリーミングレイヤ）送信機から電圧及びインピーダンスを表す着信データを受信する。電圧は、様々な周波数閾値を上回る電圧及び下回る電圧を除去するためにフィルタリングされる（動作６０２）。電圧は、６０ｈｚの雑音も除去するためにフィルタリングされる。

【0078】

分析エンジンは、フィルタリングされた電圧に対して不良チャネル検出アルゴリズムを実行する（動作６０４）。分析エンジンは、対応するチャネルにおける特定の電極からのデータを、そのデータが１つ以上のインピーダンス基準を満たすか否かに基づいて不良データとしてフラグ付けする。

【0079】

分析エンジンは、その後、各フラグ付けされた不良チャネルに対して補間アルゴリズムを実行する（動作６０６）。補間アルゴリズムは、不良チャネルデータを不良チャネル検出中にフラグ付けされなかったチャネルの加重平均と取り替えることによって、各フラグ付けされた不良チャネルを改善する。

【0080】

分析エンジンは、良好チャネル及び改善された不良チャネルからのデータから特徴量を抽出する（動作６０８）。分析エンジンは、各チャネルのスペクトルパワー推定値を計算する。例えば、分析エンジンは、ユーザがヘッドホンを装着し、特定の顔のジェスチャを行ったときにデータウィンドウが生成されていた可能性がある１秒のデータのスペクトルパワー推定値を計算する。ウィンドウは、正確に又は近似的に０．１秒、０．２秒、０．３秒、０．４秒、０．５秒、０．６秒、０．７秒、０．８秒、０．９秒、１秒、１．１秒、１．２秒、１．３秒、１．４秒、１．５秒、１．６秒、１．７秒、１．８秒、１．９秒、２秒、又はそれ以上とすることができる。データウィンドウは、連続的なものとすることもできるし、重なり合うものとすることもできる。加えて、分析エンジンは、各１秒ウィンドウからのデータの複数のセグメントへの分割も行う。チャネルデータの各セグメントは、５０ミリ秒の持続時間の間の信号に対応することができる。セグメントの持続時間は、正確に又は近似的に１０ミリ秒、２０ミリ秒、３０ミリ秒、４０ミリ秒、５０ミリ秒、６０ミリ秒、７０ミリ秒、８０ミリ秒、９０ミリ秒、１００ミリ秒、１１０ミリ秒、１２０ミリ秒、１３０ミリ秒、１４０ミリ秒、１５０ミリ秒、１６０ミリ秒、１７０ミリ秒、１８０ミリ秒、１９０ミリ秒、２００ミリ秒、２１０ミリ秒、２２０ミリ秒、２３０ミリ秒、２４０ミリ秒、２５０ミリ秒、又はそれ以上とすることができる。各セグメントは、連続的なものとすることもできるし、他の場合には先行セグメントと重なり合うものとすることもできる。分析エンジンは、信号パワーがジェスチャの間にどのように変化するのかの推定値を提供する各５０ミリ秒セグメントのチャネルデータにおける振動のパワーを推定する。個々のチャネル特徴量の線形結合又は非線形結合を使用して更なる特徴量を導出することができる。種々の顔のジェスチャは、１秒ウィンドウに関連付けられたスペクトルパワー特徴量と、顔ジェスチャモデル１３０－４によって学習された５０ミリ秒セグメント内に含まれるスペクトルパワーのジェスチャ固有のパターンとの双方によって特定することができる。様々な実施形態は、１秒時間ウィンドウ又は５０ミリ秒セグメントのみの実施に限定されるものではない。様々な実施形態では、顔ジェスチャモデル１３０－４の各特徴量は、スペクトログラム（すなわち時間周波数プロット）を横切る水平スライスに基づくことができる。スペクトログラムスライスは、それぞれのスペクトログラムからのピクセル列を含むことができる。各チャネルは、それ自体のスペクトログラムスライスを有することができ、チャネルのスペクトログラムスライス内の各ピクセルは、所与の時点での所与の周波数における信号の振動の振幅を表す。スペクトログラムスライスは、個々のチャネルからのスライスの線形結合又は非線形結合で再組み立てすることができる。

【0081】

分析エンジンは、その後、冗長である抽出された特徴量を主成分分析を介して削除することによって抽出された特徴量の数を削減するディム／リデュース（dim/reduce）アルゴリズムを実行することができる（動作６１０）。分析エンジンは、ディム／リデュースアルゴリズムからの出力を顔ジェスチャモデル１３０－４に供給する（動作６１２）。顔ジェスチャモデル１３０－４は、ランダムフォレストネットワーク及び／又はカーネルサポートベクターマシン等の１つ以上の非線形分類器に基づくことができる。

【0082】

図７は、コンピュータシステムの一例示の機械を示している。このコンピュータシステム内では、本明細書において論述した方法論のうちの任意の１つ以上をこの機械に実行させる一組の命令を実行することができる。代替の実施態様では、機械は、ＬＡＮ、イントラネット、エクストラネット、及び／又はインターネット内の他の機械に接続（例えば、ネットワーク接続）することができる。機械は、クライアントサーバネットワーク環境におけるサーバ機械若しくはクライアント機械の資格で、ピアツーピア（又は分散）ネットワーク環境におけるピア機械として、又はクラウドコンピューティングインフラストラクチャ若しくは環境におけるサーバ機械若しくはクライアント機械として動作することができる。

【0083】

機械は、パーソナルコンピュータ（ＰＣ：personal computer）、タブレットＰＣ、セットトップボックス（ＳＴＢ：set-top box）、パーソナルデジタルアシスタント（ＰＤＡ：Personal Digital Assistant）、携帯電話、ウェブアプライアンス、サーバ、ネットワークルーター、スイッチ若しくはブリッジ、又は機械が行う動作を指定する一組の命令を（逐次的に又は別の方法で）実行することが可能な任意の機械とすることができる。さらに、単一の機械が示されているが、用語「機械」は、一組（又は複数の組）の命令を個別に又は共同で実行して、本明細書に論述されている方法論のうちの任意の１つ以上を実行する機械の任意の集合体も含むと解釈されるものとする。

【0084】

例示のコンピュータシステム７００は、処理デバイス７０２と、メインメモリ７０４（例えば、リードオンリーメモリ（ＲＯＭ：read-only memory）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ：synchronous DRAM）又はラムバスＤＲＡＭ（ＲＤＲＡＭ：Rambus DRAM）等のダイナミックランダムアクセスメモリ（ＤＲＡＭ：dynamic random access memory）等）と、スタティックメモリ７０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ：static random access memory）等）と、データ記憶デバイス７１８とを含み、これらは、バス７３０を介して互いに通信する。

【0085】

処理デバイス７０２は、マイクロプロセッサ、中央処理ユニット等の１つ以上の汎用処理デバイスを表している。より詳細には、処理デバイスは、複合命令セットコンピューティング（ＣＩＳＣ：complex instruction set computing）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ：reduced instruction set computing）マイクロプロセッサ、超長命令語（ＶＬＩＷ：very long instruction word）マイクロプロセッサ、若しくは他の命令セットを実施するプロセッサ、又は命令セットの組み合わせを実施するプロセッサとすることができる。処理デバイス７０２は、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）、デジタル信号プロセッサ（ＤＳＰ：digital signal processor）、ネットワークプロセッサ等の１つ以上の専用処理デバイスとすることもできる。処理デバイス７０２は、本明細書に論述されている動作及びステップを実行する命令７２６を実行するように構成される。

【0086】

コンピュータシステム７００は、ネットワーク７２０を介して通信するネットワークインタフェイスデバイス７０８をさらに含むことができる。コンピュータシステム７００は、ビデオディスプレイユニット７１０（例えば、液晶ディスプレイ（ＬＣＤ：liquid crystal display）又は陰極線管（ＣＲＴ：cathode ray tube））と、英数字入力デバイス７１２（例えば、キーボード）と、カーソル制御デバイス７１４（例えば、マウス）と、グラフィックス処理ユニット７２２と、信号生成デバイス７１６（例えば、スピーカー）と、グラフィックス処理ユニット７２２と、ビデオ処理ユニット７２８と、オーディオ処理ユニット７３２とを含むこともできる。

【0087】

データ記憶デバイス７１８は、本明細書に記載の方法論又は機能のうちの任意の１つ以上を具現化する一組以上の命令又はソフトウェア７２６を記憶する機械可読記憶媒体７２４（コンピュータ可読媒体としても知られている）を含むことができる。命令７２６は、コンピュータシステム７００によるその実行中に、メインメモリ７０４及び／又は処理デバイス７０２内にも完全に又は少なくとも部分的に存在する場合があり、メインメモリ７０４及び処理デバイス７０２も機械可読記憶媒体を構成する。

【0088】

１つの実施態様では、命令７２６は、本明細書において本開示を実行するデバイスの構成要素に対応する機能を実施する命令を含む。機械可読記憶媒体７２４は、一例示の実施態様では単一の媒体として示されているが、用語「機械可読記憶媒体」は、一組以上の命令を記憶する単一の媒体又は複数の媒体（例えば、集中型データベース若しくは分散型データベース、及び／又は関連付けられたキャッシュ及びサーバ）を含むと解釈されるべきである。用語「機械可読記憶媒体」は、機械によって実行されて本開示の方法論のうちの任意の１つ以上を機械に実行させる一組の命令を記憶又はコード化することが可能な任意の媒体を含むものであるとも解釈されるものとする。用語「機械可読記憶媒体」は、それに応じて、限定されるものではないがソリッドステートメモリ、光媒体及び磁気媒体を含むと解釈されるものとする。

【0089】

上記詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作のアルゴリズム及びシンボル表現の点から提示されてきた。これらのアルゴリズムによる記載及び表現は、データ処理技術における当業者が自身の成果の内容を他の当業者に最も効果的に伝達するのに使用される方法である。アルゴリズムは、本明細書において及び一般的には、所望の結果をもたらす首尾一貫した動作シーケンスであると考えられる。これらの動作は、物理量の物理操作を必要とするものである。必ずではないが通常は、これらの量は、記憶、結合、比較、及び別の方法の操作が可能な電気信号又は磁気信号の形を取る。これらの信号はビット、値、要素、シンボル、文字、用語、数等と呼ぶことが、主として共通使用の理由から、時に便利であることが分かっている。

【0090】

ただし、これらの用語及び同様の用語の全ては、適切な物理量に関連付けられ、これらの量に適用される便利なラベルにすぎないことに留意すべきである。上記論述から明らかなように特に別段の規定がない限り、本明細書の全体を通して、「特定する（identifying）」又は「決定する／求める／判断する（determining）」又は「実行する（executing）」又は「行う／実行する（performing）」又は「収集する（collecting）」又は「作成する（creating）」又は「送信する（sending）」等の用語を利用する論述は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表されるデータを操作し、コンピュータシステムメモリ若しくはレジスタ又は他のそのような情報記憶デバイス内で物理量として同様に表される他のデータに変換するコンピュータシステム、又は同様の電子コンピューティングデバイスの動作及びプロセスを指すことが分かる。

【0091】

本開示は、本明細書における動作を実行する装置にも関する。この装置は、使用目的に特別に構築することもできるし、コンピュータに記憶されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピュータを備えることもできる。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶することができ、コンピュータ可読記憶媒体は、限定されるものではないが、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード若しくは光カード、又は電子命令を記憶するのに適した任意のタイプの媒体等であり、それぞれはコンピュータシステムバスに結合される。

【0092】

本明細書における教示に従ってプログラムとともに様々な汎用システムを使用することもできるし、より特殊化された装置を上記方法を実行するように構築することが便利であると分かる場合もある。様々なこれらのシステムの構造は、上記説明における記載のとおりである。加えて、本開示は、特定のプログラミング言語に関して説明されていない。本開示の教示を本明細書に説明されているように実施するために、様々なプログラミング言語を使用することができることが分かる。

【0093】

本開示は、本開示によるプロセスを実行するようにコンピュータシステム（又は他の電子デバイス）をプログラミングするのに使用することができる命令が記憶された機械可読媒体を含むことができるコンピュータプログラム製品、又はソフトウェアとして提供することができる。機械可読媒体は、機械（例えば、コンピュータ）によって可読な形態で情報を記憶する任意のメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、リードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス等の機械（例えば、コンピュータ）可読記憶媒体を含む。

【0094】

上記開示では、本開示の実施態様が、その特定の例示の実施態様を参照して説明されてきた。添付の特許請求の範囲に記載のように、本開示の実施態様のより広い趣旨及び範囲から逸脱することなく、それらの実施態様に対して様々な変更を行うことができることは明らかである。本開示及び図面は、したがって、限定の意味ではなく例示の意味で考慮されるべきである。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【手続補正書】

【提出日】2023-08-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザによって行われる１つ以上の顔のジェスチャに関連する１つ以上の人間身体電気プロセスの電圧であって、前記ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出される電圧に基づくデータの１つ以上の信号ファイルを受信することを含み、
前記受信されたデータの１つ以上の信号ファイルは、前記ヘッドホンのセット上の前記１つ以上の電極のそれぞれに対して電極データのチャネルを含み、それぞれの電極に対する電極データのチャネルは、前記それぞれの電極により検出される時間ウィンドウ内の電圧の平均振幅、前記それぞれの電極の高いパワーバンド周波数及び前記それぞれの電極の低いパワーバンド周波数を含み、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給することを含み、前記抽出された特徴量は、複数の電極からのチャネルデータに基づく少なくとも１つの特徴部セットを含み、前記抽出された特徴量を供給することは、
複数のタイプの顔のジェスチャから顔のジェスチャのタイプを決定するために前記抽出されたＥＭＧ特徴量のうち１つ以上を顔ジェスチャ機械学習モデルに供給することを含み、顔のジェスチャのそれぞれのタイプは、少なくとも１つの顎の噛み締めユーザフィンガープリントを含み、パスコードと一致する試みを表す一連の顔のジェスチャを含み、
前記抽出された特徴量を供給することを介して確定出力を生成することを含み、前記確定出力は、
（ｉ）前記抽出されたＥＭＧ特徴量により表されるそれぞれの一連の顔のジェスチャが無効なパスコードインスタンスを表すことを、前記それぞれの一連の顔のジェスチャにおいて検出された顎の噛み締めの顔のジェスチャが前記パスコードの有効なそれぞれの顎の噛み締めユーザフィンガープリントと異なることを少なくとも理由として識別すること、
（ｉｉ）前記抽出されたＥＭＧ特徴量により表される前記それぞれの一連の顔のジェスチャが有効なパスコードインスタンスを表すことを、前記それぞれの一連の顔のジェスチャにおいて前記検出された顎の噛み締めの顔のジェスチャが前記パスコードの前記それぞれの顎の噛み締めユーザフィンガープリントと一致することを少なくとも理由として識別すること
のうち１つを含み、
前記有効なパスコードインスタンスを識別することに基づいて、前記パスコードに関連付けられたアイデンティティの検証のインスタンスを示す出力をコンピューティングデバイスに送信することを含む、
コンピュータにより実施される方法。

【請求項2】

前記確定出力を生成することは、前記ユーザにより物理的に行われた前記１つ以上の検出された顔のジェスチャに関連付けられた前記ユーザの現在の精神状態のうち少なくとも１つに対応する出力を決定することと、
前記ユーザの前記識別された現在の精神状態に基づいて動作を行うようにコンピューティングデバイスをトリガすることと
をさらに含み、
前記１つ以上の電極は、ＥＥＧ信号を検出する少なくとも１つの電極と、ＥＭＧ信号を検出する少なくとも１つの電極とを備え、前記ヘッドホンのセット上の前記電極のそれぞれは、前記ヘッドホンのセットのそれぞれのイヤーカフクッション上に位置している、請求項１に記載のコンピュータにより実施される方法。

【請求項3】

前記ＥＭＧ信号を検出する少なくとも１つの電極及び前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ヘッドホンのセットの導電性テキスタイルを介して前記ユーザに電気接触する、請求項２に記載のコンピュータにより実施される方法。

【請求項4】

前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ユーザの乳様突起部、側頭部、及び蝶形骨部のうちの少なくとも１つに対して前記ユーザの皮膚と電気接触し、前記ＥＭＧ信号を検出する少なくとも１つの電極は、前記ユーザの顎関節部に対して前記ユーザの皮膚と電気接触する、請求項２に記載のコンピュータにより実施される方法。

【請求項5】

前記確定出力は、
少なくとも１つの入力コマンドであって、（ｉ）通知のうちの少なくとも１つを開始する１つ以上の命令と、（ｉｉ）前記コンピューティングデバイス上での１つ以上の通知の提示の（ａ）削減、（ｂ）最小化、及び（ｃ）削除のうちの１つを行う１つ以上の命令とのうちの少なくとも一方を含む、入力コマンドと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項6】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態のうちの少なくとも１つに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＥＧ信号に基づく前記受信されたデータから１つ以上のＥＥＧ特徴量を抽出することと、
前記ユーザの現在の集中のレベルを求める第１の機械学習モデルと、前記ユーザの現在の注意深さのレベルを求める第２の機械学習モデルと、前記ユーザの現在の認知負荷のレベルを求める第３の機械学習モデルとのうちの少なくとも１つに前記抽出されたＥＥＧ特徴量のうちの少なくとも１つを供給することと
を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項7】

前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記特定のタイプの精神状態の閾値との間の関係を検出することと、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係に対応する少なくとも１つの入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項６に記載のコンピュータにより実施される方法。

【請求項8】

前記特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係は、前記ユーザの現在の集中のレベルが集中閾値よりも高いことを示す表示を含み、
前記入力コマンドは、前記ユーザが前記現在の高い集中のレベルを維持するのを助ける１つ以上の通知の提示の削減を前記コンピューティングデバイスにおいて開始するトリガを含む、請求項７に記載のコンピュータにより実施される方法。

【請求項9】

前記入力コマンドは、前記現在の高い集中のレベルの間前記ユーザの邪魔をしないように、前記ユーザの近くにいる可能性がある任意の個人に信号で通知する色の提示を、前記ヘッドホンのセットの一部分において開始するトリガをさらに含む、請求項８に記載のコンピュータにより実施される方法。

【請求項10】

前記特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係は、前記ユーザの現在の精神疲労のレベルが精神疲労閾値よりも高いことを示す表示を含み、
前記入力コマンドは、少なくとも１つの身体的動作を行うことを前記ユーザに促して、前記ユーザが前記現在の精神疲労のレベルを軽減することを助ける１つ以上の通知の提示を開始するトリガを含む、請求項７に記載のコンピュータにより実施される方法。

【請求項11】

前記少なくとも１つの身体的動作は、起立、歩行、及びストレッチのうちの少なくとも１つを含む、請求項１０に記載のコンピュータにより実施される方法。

【請求項12】

前記確定出力を生成することは、前記ユーザにより物理的に行われた前記１つ以上の検出された顔のジェスチャに関連付けられた前記ユーザの現在の精神状態のうち少なくとも１つに対応する出力を決定することと、
前記ユーザの前記識別された現在の精神状態に基づいて動作を行うようにコンピューティングデバイスをトリガすることと
をさらに含み、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給することは、
前記１つ以上の電極によって検出されたＥＭＧ信号に基づいて前記受信されたデータからＥＭＧ特徴量を抽出することと、
顔のジェスチャのタイプを複数の顔のジェスチャのタイプから決定する顔ジェスチャ機械学習モデルに前記抽出されたＥＭＧ特徴量のうちの１つ以上を供給することと
を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項13】

前記顔のジェスチャのタイプは、１つ以上の対応する追加の構成要素を有し、
１つ以上の信号ファイルを受信することは、１つ以上の追加のデータタイプ部分のデータの１つ以上の信号ファイルを受信することを含み、
前記受信されたデータからＥＭＧ特徴量を抽出することは、前記１つ以上の追加のデータタイプ部分から追加の特徴量を抽出することを含み、
前記抽出されたＥＭＧ特徴量のうちの１つ以上を顔ジェスチャ機械学習モデルに供給することは、前記抽出された追加の特徴量を前記顔ジェスチャ機械学習モデルに供給して、前記ユーザによって行われる前記顔のジェスチャのタイプに対応する確定出力を生成することを含む、請求項１２に記載のコンピュータにより実施される方法。

【請求項14】

前記１つ以上の追加のデータタイプ部分は、前記ヘッドホンに関連付けられた１つ以上のマイクロホンによって検出された音に基づくオーディオデータを含み、
前記追加の特徴量はオーディオ特徴量を含む、請求項１３に記載のコンピュータにより実施される方法。

【請求項15】

前記１つ以上の追加のデータタイプ部分は、前記ヘッドホンのセットに関連付けられたモーション検出器の物理的方位の少なくとも１つの変化に基づく運動データを含み、
前記追加の特徴量は、動き特徴量を含み、
前記確定出力は、前記顔のジェスチャのタイプ及び頭の動きのタイプに対応する、請求項１３に記載のコンピュータにより実施される方法。

【請求項16】

前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
前記決定された顔のジェスチャのタイプにマッピングするインタラクションを特定することと、
前記インタラクションに対応する入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項１２に記載のコンピュータにより実施される方法。

【請求項17】

前記インタラクションは、前記ユーザから前記コンピューティングデバイスへのプロンプトインタラクションを含み、
前記入力コマンドは、前記ユーザからの前記プロンプトインタラクションに応答したコンピューティングデバイスモードの開始のトリガを含む、請求項１６に記載のコンピュータにより実施される方法。

【請求項18】

前記プロンプトインタラクションは、ウェイクモードに入る要求と、スリープモードに入る要求とのうちの一方を含み、
前記入力コマンドは、前記コンピューティングデバイスが少なくとも１つのその後の入力コマンドの発生をモニタリングするアウェイクンドモードに入るトリガと、前記コンピューティングデバイスが前記スリープモードに入るトリガとのうちの一方を含む、請求項１７に記載のコンピュータにより実施される方法。

【請求項19】

それぞれのインタラクションが、それぞれの顔のジェスチャによって表されるユーザ入力のタイプを含み、前記ユーザ入力のタイプは、前記それぞれの顔のジェスチャの発生に基づいて前記コンピューティングデバイスによって処理される、請求項１６に記載のコンピュータにより実施される方法。

【請求項20】

前記確定出力を生成することは、前記ユーザにより物理的に行われた前記１つ以上の検出された顔のジェスチャに関連付けられた前記ユーザの現在の精神状態のうち少なくとも１つに対応する出力を決定することと、
前記ユーザの前記識別された現在の精神状態に基づいて動作を行うようにコンピューティングデバイスをトリガすることと
をさらに含み、
前記ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出された電圧に基づくデータを受信することは、１つ以上の顎の動きの検出に応答して生成される電圧に基づくデータを受信することを含み、
特徴量を抽出することは、前記受信されたデータから特徴量を抽出し、前記１つ以上の顎の動きに対応する確定出力を生成することを含み、
前記確定出力を前記コンピューティングデバイスに送信することは、前記ユーザによって装着された前記ヘッドホンのセット上の前記１つ以上の電極によって検出された前記ユーザの前記１つ以上の顎の動きを介して選択されるものとして事前に定義された入力コマンドを実行する前記コンピューティングデバイスにコマンドを送信することを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項21】

前記確定出力を生成することは、前記ユーザにより物理的に行われた前記１つ以上の検出された顔のジェスチャに関連付けられた前記ユーザの現在の精神状態のうち少なくとも１つに対応する出力を決定することと、
前記ユーザの前記識別された現在の精神状態に基づいて動作を行うようにコンピューティングデバイスをトリガすることと
をさらに含み、
前記受信されたデータから特徴量を抽出する前に、
それぞれの電極チャネルからのデータの１つ以上の信号ファイルが良好なチャネルデータを表しているのか又は不良なチャネルデータを表しているのかを少なくとも１つ以上のインピーダンス基準に基づいて検出することと、
前記判断に基づいて、前記不良なチャネルデータを除去し、該除去された不良なチャネルデータを良好なデータと取り替えて１つ以上の改善されたチャネルを生成することと
をさらに含み、
前記受信されたデータから特徴量を抽出することは、前記良好なチャネルのうちの少なくとも１つ及び前記改善されたチャネルのうちの少なくとも１つから特徴量を抽出することを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項22】

１つ以上のプロセッサと、
複数の命令を記憶する非一過性コンピュータ可読媒体と
を備え、
前記複数の命令は、実行されると、
ユーザによって行われる１つ以上の顔のジェスチャに関連する１つ以上の人間身体電気プロセスの電圧であって、前記ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出される電圧に基づくデータの１つ以上の信号ファイルを受信することを前記１つ以上のプロセッサに行わせ、
前記受信されたデータの１つ以上の信号ファイルは、前記ヘッドホンのセット上の前記１つ以上の電極のそれぞれに対して電極データのチャネルを含み、それぞれの電極に対する電極データのチャネルは、前記それぞれの電極により検出される時間ウィンドウ内の電圧の平均振幅、前記それぞれの電極の高いパワーバンド周波数及び前記それぞれの電極の低いパワーバンド周波数を含み、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給することを前記１つ以上のプロセッサに行わせ、前記抽出された特徴量は、複数の電極からのチャネルデータに基づく少なくとも１つの特徴部セットを含み、前記抽出された特徴量を供給することは、
複数のタイプの顔のジェスチャから顔のジェスチャのタイプを決定するために前記抽出されたＥＭＧ特徴量のうち１つ以上を顔ジェスチャ機械学習モデルに供給することを含み、顔のジェスチャのそれぞれのタイプは、少なくとも１つの顎の噛み締めユーザフィンガープリントを含み、パスコードと一致する試みを表す一連の顔のジェスチャを含み、
前記抽出された特徴量を供給することを介して確定出力を生成することを前記１つ以上のプロセッサに行わせ、前記確定出力は、
（ｉ）前記抽出されたＥＭＧ特徴量により表されるそれぞれの一連の顔のジェスチャが無効なパスコードインスタンスを表すことを、前記それぞれの一連の顔のジェスチャにおいて検出された顎の噛み締めの顔のジェスチャが前記パスコードの有効なそれぞれの顎の噛み締めユーザフィンガープリントと異なることを少なくとも理由として識別すること、
（ｉｉ）前記抽出されたＥＭＧ特徴量により表される前記それぞれの一連の顔のジェスチャが有効なパスコードインスタンスを表すことを、前記それぞれの一連の顔のジェスチャにおいて前記検出された顎の噛み締めの顔のジェスチャが前記パスコードの前記それぞれの顎の噛み締めユーザフィンガープリントと一致することを少なくとも理由として識別すること
のうち１つを含み、
前記有効なパスコードインスタンスを識別することに基づいて、前記パスコードに関連付けられたアイデンティティの検証のインスタンスを示す出力をコンピューティングデバイスに送信することを前記１つ以上のプロセッサに行わせる、
システム。

【請求項23】

前記確定出力を生成することは、前記ユーザにより物理的に行われた前記１つ以上の検出された顔のジェスチャに関連付けられた前記ユーザの現在の精神状態のうち少なくとも１つに対応する出力を決定することと、
前記ユーザの前記識別された現在の精神状態に基づいて動作を行うようにコンピューティングデバイスをトリガすることと
をさらに含み、
前記１つ以上の電極は、ＥＥＧ信号を検出する少なくとも１つの電極と、ＥＭＧ信号を検出する少なくとも１つの電極とを備え、前記ヘッドホンのセット上の前記電極のそれぞれは、前記ヘッドホンのセットのそれぞれのイヤーカフクッション上に位置し、
前記ＥＭＧ信号を検出する少なくとも１つの電極及び前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ヘッドホンのセットの導電性テキスタイルを介して前記ユーザに電気接触し、
前記ＥＥＧ信号を検出する少なくとも１つの電極は、前記ユーザの乳様突起部、側頭部、及び蝶形骨部のうちの少なくとも１つに対して前記ユーザの皮膚と電気接触し、前記ＥＭＧ信号を検出する少なくとも１つの電極は、前記ユーザの顎関節部に対して前記ユーザの皮膚と電気接触する、請求項２２に記載のコンピュータにより実施される方法。

【請求項24】

前記確定出力は、
少なくとも１つの入力コマンドであって、（ｉ）通知のうちの少なくとも１つを開始する１つ以上の命令と、（ｉｉ）前記コンピューティングデバイス上での１つ以上の通知の提示の（ａ）削減、（ｂ）最小化、及び（ｃ）削除のうちの１つを行う１つ以上の命令とのうちの少なくとも一方を含む、入力コマンドと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項２２に記載のコンピュータにより実施される方法。

【請求項25】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態のうちの少なくとも１つに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＥＧ信号に基づく前記受信されたデータから１つ以上のＥＥＧ特徴量を抽出することと、
前記ユーザの現在の集中のレベルを求める第１の機械学習モデルと、前記ユーザの現在の注意深さのレベルを求める第２の機械学習モデルと、前記ユーザの現在の認知負荷のレベルを求める第３の機械学習モデルとのうちの少なくとも１つに前記抽出されたＥＥＧ特徴量のうちの少なくとも１つを供給することと
を含み、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記特定のタイプの精神状態の閾値との間の関係を検出することと、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係に対応する少なくとも１つの入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項２２に記載のコンピュータにより実施される方法。

【請求項26】

前記確定出力を生成することは、前記ユーザにより物理的に行われた前記１つ以上の検出された顔のジェスチャに関連付けられた前記ユーザの現在の精神状態のうち少なくとも１つに対応する出力を決定することと、
前記ユーザの前記識別された現在の精神状態に基づいて動作を行うようにコンピューティングデバイスをトリガすることと
をさらに含み、前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給することは、
前記１つ以上の電極によって検出されたＥＭＧ信号に基づく前記受信されたデータからＥＭＧ特徴量を抽出することと、
顔のジェスチャのタイプを複数の顔のジェスチャのタイプから決定する顔ジェスチャ機械学習モデルに前記抽出されたＥＭＧ特徴量のうちの１つ以上を供給することと
を含み、
前記確定出力に基づいて動作を実行する前記コンピューティングデバイスに前記確定出力を送信することは、
前記決定された顔のジェスチャのタイプにマッピングするインタラクションを特定することと、
前記インタラクションに対応する入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含み、
前記インタラクションは、前記ユーザから前記コンピューティングデバイスへのプロンプトインタラクションを含み、
前記入力コマンドは、前記ユーザからの前記プロンプトインタラクションに応答したコンピューティングデバイスモードの開始のトリガを含む、請求項２２に記載のコンピュータにより実施される方法。

【請求項27】

１つ以上のプロセッサによって実行されるコンピュータ可読プログラムコードが具現化された非一過性コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記プログラムコードは、
ユーザによって行われる１つ以上の顔のジェスチャに関連する１つ以上の人間身体電気プロセスの電圧であって、前記ユーザによって装着されたヘッドホンのセット上の１つ以上の電極によって検出される電圧に基づくデータの１つ以上の信号ファイルを受信する命令を含み、
前記受信されたデータの１つ以上の信号ファイルは、前記ヘッドホンのセット上の前記１つ以上の電極のそれぞれに対して電極データのチャネルを含み、それぞれの電極に対する電極データのチャネルは、前記それぞれの電極により検出される時間ウィンドウ内の電圧の平均振幅、前記それぞれの電極の高いパワーバンド周波数及び前記それぞれの電極の低いパワーバンド周波数を含み、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給する命令を含み、前記抽出された特徴量は、複数の電極からのチャネルデータに基づく少なくとも１つの特徴部セットを含み、前記抽出された特徴量を供給することは、
複数のタイプの顔のジェスチャから顔のジェスチャのタイプを決定するために前記抽出されたＥＭＧ特徴量のうち１つ以上を顔ジェスチャ機械学習モデルに供給することを含み、顔のジェスチャのそれぞれのタイプは、少なくとも１つの顎の噛み締めユーザフィンガープリントを含み、パスコードと一致する試みを表す一連の顔のジェスチャを含み、
前記抽出された特徴量を供給することを介して確定出力を生成する命令を含み、前記確定出力は、
（ｉ）前記抽出されたＥＭＧ特徴量により表されるそれぞれの一連の顔のジェスチャが無効なパスコードインスタンスを表すことを、前記それぞれの一連の顔のジェスチャにおいて検出された顎の噛み締めの顔のジェスチャが前記パスコードの有効なそれぞれの顎の噛み締めユーザフィンガープリントと異なることを少なくとも理由として識別すること、
（ｉｉ）前記抽出されたＥＭＧ特徴量により表される前記それぞれの一連の顔のジェスチャが有効なパスコードインスタンスを表すことを、前記それぞれの一連の顔のジェスチャにおいて前記検出された顎の噛み締めの顔のジェスチャが前記パスコードの前記それぞれの顎の噛み締めユーザフィンガープリントと一致することを少なくとも理由として識別すること
のうち１つを含み、
前記有効なパスコードインスタンスを識別することに基づいて、前記パスコードに関連付けられたアイデンティティの検証のインスタンスを示す出力をコンピューティングデバイスに送信する命令を含み、
前記それぞれの顎の噛み締めユーザフィンガープリントは、前記パスコードの特定のユーザアカウントに関連付けられた特定の個人により生成された１つ以上の属性を前記抽出されたＥＭＧ特徴量中に含む、
コンピュータプログラム製品。

【請求項28】

前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、前記ユーザの現在の精神状態のうちの少なくとも１つに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＥＧ信号に基づく前記受信されたデータから１つ以上のＥＥＧ特徴量を抽出することと、
前記ユーザの現在の集中のレベルを求める第１の機械学習モデルと、前記ユーザの現在の注意深さのレベルを求める第２の機械学習モデルと、前記ユーザの現在の認知負荷のレベルを求める第３の機械学習モデルとのうちの少なくとも１つに前記抽出されたＥＥＧ特徴量のうちの少なくとも１つを供給することと
を含み、
前記確定出力に基づいて動作を実行するコンピューティングデバイスに前記確定出力を送信することは、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記特定のタイプの精神状態の閾値との間の関係を検出することと、
特定のタイプの精神状態の前記ユーザの現在のレベルと前記閾値との間の前記検出された関係に対応する少なくとも１つの入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含む、請求項２７に記載のコンピュータプログラム製品。

【請求項29】

前記確定出力を生成することは、前記ユーザにより物理的に行われた前記１つ以上の検出された顔のジェスチャに関連付けられた前記ユーザの現在の精神状態のうち少なくとも１つに対応する出力を決定することと、
前記ユーザの前記識別された現在の精神状態に基づいて動作を行うようにコンピューティングデバイスをトリガすることと
をさらに含み、
前記受信されたデータから特徴量を抽出し、前記抽出された特徴量を１つ以上の機械学習モデルに供給して、１つ以上の顔のジェスチャに対応する確定出力を生成することは、
前記１つ以上の電極によって検出されたＥＭＧ信号に基づく前記受信されたデータからＥＭＧ特徴量を抽出することと、
顔のジェスチャのタイプを複数の顔のジェスチャのタイプから決定する顔ジェスチャ機械学習モデルに前記抽出されたＥＭＧ特徴量のうちの１つ以上を供給することと
を含み、
前記確定出力に基づいて動作を実行する前記コンピューティングデバイスに前記確定出力を送信することは、
前記決定された顔のジェスチャのタイプにマッピングするインタラクションを特定することと、
前記インタラクションに対応する入力コマンドを特定することと、
前記入力コマンドを前記コンピューティングデバイスに送信することと
を含み、
前記インタラクションは、前記ユーザから前記コンピューティングデバイスへのプロンプトインタラクションを含み、
前記入力コマンドは、前記ユーザからの前記プロンプトインタラクションに応答したコンピューティングデバイスモードの開始のトリガを含む、請求項２７に記載のコンピュータプログラム製品。

【国際調査報告】