特開 2024-177370 イヤホン、情報処理装置、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177370

(43)【公開日】2024-12-19

(54)【発明の名称】イヤホン、情報処理装置、及び情報処理方法

(51)【国際特許分類】

   A61B 5/256 20210101AFI20241212BHJP

   A61B 5/31 20210101ALI20241212BHJP

   A61B 5/16 20060101ALI20241212BHJP

   H04R 1/10 20060101ALI20241212BHJP

【ＦＩ】

A61B5/256 130

A61B5/31

A61B5/16 120

H04R1/10 104Z

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024174014

(22)【出願日】2024-10-03

(62)【分割の表示】P 2021550383の分割

【原出願日】2020-07-31

(31)【優先権主張番号】P 2019185473

(32)【優先日】2019-10-08

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】515059979

【氏名又は名称】ＶＩＥ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】今村 泰彦

(57)【要約】

【課題】装着時に脳波用電極がより密着しやすくなるイヤホンを提供する。
【解決手段】イヤホンであって、少なくとも一方の端部側外層に弾性を有するハウジングと、ハウジング内部に収容されるスピーカと、前記ハウジングの前記弾性を有する端部側に固定されるイヤーチップであって、前記スピーカからの音が通る音導部と、装着者の脳波をセンシングする弾性電極とを有するイヤーチップと、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

イヤホンであって、
少なくとも一方の端部側外層に弾性を有するハウジングと、
前記ハウジング内部に収容されるスピーカと、
前記ハウジングの前記弾性を有する端部側に装着されるイヤーチップであって、前記スピーカからの音が通る音導部と、装着者の脳波をセンシングする弾性電極とを有するイヤーチップと、
を備えるイヤホン。

【請求項2】

耳たぶを把持する把持部であって、各端部の周辺領域に電極を有する把持部を備える、請求項１に記載のイヤホン。

【請求項3】

前記把持部は、前記弾性電極に基づき取得される脳波信号をデジタル信号に変換する変換器を含む、請求項１又は２に記載のイヤホン。

【請求項4】

前記把持部の各端部は、磁石を有する、請求項１から３のいずれか一項に記載のイヤホン。

【請求項5】

前記把持部は、電源と通信部とを含む、請求項４に記載のイヤホン。

【請求項6】

前記把持部と前記ハウジングとを接続する接続部を備え、
前記接続部は、前記把持部の位置を調節可能にする調節機構を有する、請求項１から５のいずれか一項に記載のイヤホン。

【請求項7】

前記接続部は、前記ハウジングに固定された位置から所定方向に延伸し、
前記調節機構は、前記把持部を前記所定方向に沿って移動可能にする機構を有する、請求項６に記載のイヤホン。

【請求項8】

前記イヤホンと信号通信可能に接続される首掛け部を備え、
前記首掛け部は、中央部材と、前記中央部材の両側に設けられる棒状部材とを有し、
前記中央部材又は棒状部材は、前記装着者の首側の表面に電極を有する、請求項１に記載のイヤホン。

【請求項9】

前記スピーカにより出力される音信号を制御するプロセッサであって、前記音信号に対し、前記脳波の信号に対応する所定周波数以下をカットする前記プロセッサを含む、請求項１から８のいずれか一項に記載のイヤホン。

【請求項10】

請求項１から９のいずれか一項に記載のイヤホンから出力される脳波信号を取得する取得部と、
前記イヤホンの装着者の所定の脳波信号と、当該所定の脳波信号の取得時の前記装着者の状態とを学習したモデルを用いて、取得される脳波信号から前記装着者の状態を推定する推定部と、
推定された前記装着者の状態に基づいて処理を行う処理部と、
を備える情報処理装置。

【請求項11】

前記モデルは、他人の脳波信号と、当該脳波信号の取得時の前記他人の状態とが学習された所定モデルに対して、前記装着者の脳波信号と、当該脳波信号の取得時の前記装着者の状態とを追加して学習され、カスタマイズされたモデルである、請求項１０に記載の情報処理装置。

【請求項12】

前記処理部は、
現在の脳波信号に基づき推定された前記装着者の状態から、第１脳波信号により示される前記装着者の所定状態への遷移を誘導する誘導処理であって、前記現在の脳波信号に基づき前記装着者にフィードバックする誘導処理を行う、請求項１０又は１１に記載の情報処理装置。

【請求項13】

情報処理装置に含まれる１又は複数のプロセッサが、
請求項１から９のいずれか一項に記載のイヤホンから出力される脳波信号を取得すること、
前記イヤホンの装着者の所定の脳波信号と、当該所定の脳波信号の取得時の前記装着者の状態とを学習したモデルを用いて、取得される脳波信号から前記装着者の状態を推定すること、
推定された前記装着者の状態に基づいて処理を行うこと、
を実行する情報処理方法。

【請求項14】

情報処理装置に含まれる１又は複数のプロセッサが、
請求項８に記載の首掛け部に設けられる前記電極から出力される信号をリファレンス信号とし、前記イヤーチップの前記弾性電極から出力される信号に基づく脳波信号を取得すること、
前記脳波信号のピークとは逆位相に現れるピークに基づいて脈拍を検出すること、
を実行する情報処理方法。

【請求項15】

情報処理装置に含まれる１又は複数のプロセッサが、
請求項８に記載の首掛け部に設けられる前記電極から出力される信号をリファレンス信号とし、前記イヤーチップの前記弾性電極から出力される信号に基づく脳波信号を取得すること、
前記脳波信号に対してローパスフィルタ及びメディアンフィルタの処理を行い、フィルタ処理後の信号を周波数変換し、周波数変換後の時系列のパワースペクトル値を時間微分し、時間微分された差分値の周期性に基づいて、呼吸を検出すること、
を実行する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イヤホン、情報処理装置、及び情報処理方法に関する。

【背景技術】

【0002】

従来、脳波信号を取得するイヤホンが知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１５９９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

脳波信号を取得する際、精度よく脳波信号を取得するために、脳波用の電極をユーザに密着させることが重要である。しかしながら、従来のイヤホンでは、ユーザによって異なる耳や外耳道の形状に合わせて電極の位置が決められているわけではないため、様々な形状の耳や外耳道を有するユーザに対して、脳波用の電極がセンシング位置に密着するとは限られなかった。また、脳波信号から状態を評価する際に、予め不特定多数のユーザの脳波信号と状態とが学習され一般化されたモデルを用いて評価するのが通常であり、各ユーザによって異なる脳波信号がその状態を適切に推定されているとは言えなかった。

【0005】

そこで、本発明の一態様は、装着時に脳波用電極がより密着しやすくなるイヤホンを提供することを目的とする。また、本発明の他の態様は、装着者用にカスタマイズされて生成されたモデルを用いて脳波信号から装着者の状態を適切に推定することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様におけるイヤホンは、イヤホンであって、少なくとも一方の端部側外層に弾性を有するハウジングと、前記ハウジング内部に収容されるスピーカと、前記ハウジングの前記弾性を有する端部側に固定されるイヤーチップであって、前記スピーカからの音が通る音導部と、装着者の脳波をセンシングする弾性電極とを有するイヤーチップと、を備える。

【0007】

他の態様における情報処理装置は、脳波信号を取得する取得部と、前記イヤホンの装着者の所定の脳波信号と、当該所定の脳波信号の取得時の前記装着者の状態とを学習したモデルを用いて、取得される脳波信号から前記装着者の状態を推定する推定部と、推定された前記装着者の状態に基づいて処理を行う処理部と、を備える。

【発明の効果】

【0008】

本発明の一態様によれば、装着時に脳波用電極がより密着しやすくなるイヤホンを提供することができる。また、本発明の他の態様によれば、装着者用に生成されたモデルを用いて脳波信号から装着者の状態を適切に推定することが可能になる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態におけるイヤホンセットの全体の一例を示す図である。

【図2】第１実施形態におけるイヤホン部分の拡大例を示す図である。

【図3】第１実施形態におけるイヤホンの右部分の一例を示す図である。

【図4】実施形態１における把持部の構成の一例を示す図である。

【図5】実施形態１における把持部の構成の一例を示す図である。

【図6】第２実施形態における脳波信号処理システムの各構成例を示す図である。

【図7】第２実施形態に係るユーザ端末の一例を示すブロック図である。

【図8】第２実施形態に係るサーバの一例を示すブロック図である。

【図9】第２実施形態に係る良い状態の一例を示す図である。

【図10】第２実施形態におけるＩＡＰを基準とするトレーニング帯の一例を示す図である。

【図11】第２実施形態に係るトレーニング画面の一例を示す図である。

【図12】第２実施形態に係る誘導処理の一例を示すフローチャートである。

【図13】第２実施形態に係るトレーニング処理の一例を示すフローチャートである。

【図14】変形例に係るイヤホンの拡大例を示す図である。

【図15】変形例２におけるイヤホンセットの一例を示す図である。

【図16】変形例２におけるイヤホンの断面の概略の一例を示す図である。

【図17】変形例２における首掛け部の電極周辺の構造の一例を示す図である。

【図18】変形例２におけるイヤホンセットの略分解の一例を示す図である。

【図19A】集中のトレーニング中の表示画面の一例を示す図である。

【図19B】、一日単位でリラックス、集中、瞑想に関する測定結果を表示する画面の一例を示す図である。

【図20】瞑想時と、瞑想時以外の時との周波数波形の一例を示す図である。

【図21】午前中、昼食後の脳波信号の周波数波形の一例を示す図である。

【図22】変形例３においける首掛け部の各電極の位置の一例を示す図である。

【図23】頸動脈と左の電極１６２との位置関係を示す図である。

【図24】頸動脈の鼓動が混入したリファレンス信号の一例を示す図である。

【図25A】口呼吸時の信号の一例を示す図である。

【図25B】鼻呼吸時の信号の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0011】

［第１実施形態］
以下、第１実施形態におけるイヤホンの一例を、図面を用いて説明する。

【0012】

＜イヤホンの概要＞
まず、図１～３を用いて、第１実施形態におけるイヤホンの概要について説明する。図１は、第１実施形態におけるイヤホンセット１０の全体の一例を示す図である。図２は、第１実施形態におけるイヤホン１００部分の拡大例を示す図である。図３は、第１実施形態におけるイヤホン１００の右部分の一例を示す図である。イヤホンセットを、単にイヤホンと呼んでもよい。

【0013】

図１～３において、イヤホンセット１０は、一対のイヤホン１００Ｒ、１００Ｌ、一対のイヤホン１００Ｒ、１００Ｌそれぞれに接続されるケーブル１０２、ケーブル１０２の任意の位置に設けられる第１収容ケース１０４、及び第２収容ケース１０６を含む。第１収容ケース１０４、第２収容ケース１０６には、例えば、音信号を他の装置と通信する通信回路（通信インタフェース）や、イヤホン１０を操作する機能を有する操作部、電源（バッテリー）、マイクなどが含まれうる。ケーブル１０２には、例えば、第１収容ケース１０４、第２収容ケース１０６、イヤホン１００Ｒ（Ｌ）内の各回路等を接続する複数の信号線が含まれうる。

【0014】

なお、第１収容ケース１０４、第２収容ケース１０６は一つにまとめられてもよい。また、イヤホン１０は、後述するように、第１収容ケース１０４、及び第２収容ケース１０６内部に収容される回路等をイヤホン１０のハウジング１１２部分に収容し、ケーブル１０２が不要なワイヤレスタイプとして構成されてもよい。なお、各構成について右（Ｒ）、左（Ｌ）を特に区別しないときは、ＲＬの符号は省略する。

【0015】

図２～３に示すように、イヤホン１００は、イヤーチップ１１０、ハウジング１１２、ハウジング１１２内部に収容されるスピーカ１１３、ジョイント機構１１４、接続部１１６、ケーブル１１８、把持部１２０を有する。

【0016】

イヤーチップ１１０は、ハウジング１１２の一方の端部側に装着される。このとき、ハウジング１１２の一方の端部側は、柔軟性を有する素材、例えば弾性素材、ゴム素材等により形成される。これは、ハウジング１１２の振動が、イヤーチップ１１０に伝わらないようにするためである。また、イヤーチップ１１０は、ハウジング１１２内部に収容されるスピーカ１１３からの音が通る音導部１１５と、装着者の脳波をセンシングする弾性電極とを含む。弾性電極は、例えばイヤーチップ１１０全体又は一部により構成され、生体信号を取得可能なゴム電極などを用いることが可能である。これにより、弾性電極を含むイヤーチップ１１０は、外耳道の内壁に密着することで、装着者の脳波信号を取得することができる。

【0017】

また、イヤーチップ１１０は、ハウジング１１２の一方の端部から突出したノズルに対して着脱可能に取り付けられる。音導部１１５は、スピーカ１１３からの音が通る通路として機能する。また、ノズルは、その内部に、スピーカ１１３から出力される音を通す音導部を有し、このノズルの音導部に一部オーバーラップするイヤーチップ１１０の音導部１１５を音が通り、装着者の鼓膜に届く。また、イヤーチップ１１０に含まれる弾性電極及びハウジング１１２内の銅線（後述の第１信号線）は、音導部１１５からなるべく遠い部分に設けられるようにする。例えば、イヤーチップ１１０の外縁に弾性電極が設けられ、ハウジング１１２内の外縁に銅線が設けられる。これにより、弾性電極や脳波信号を伝える銅線が、音の振動による影響を受けにくくなる。

【0018】

ハウジング１１２は、少なくとも一方の端部側外層に弾性を有する。弾性を有する端部側にノズルが突出し、このノズルにイヤーチップ１１０が装着される。これにより、外耳道にイヤホン１０が挿入されるときに、イヤーチップ１１０及びハウジング１１２の弾性部分が、装着者の外耳道の形状に合わせて弾性変形して装着され、外耳道の内壁にイヤーチップ１１０及びハウジング１１２の弾性部分がフィットするようになっている。その結果、外耳道の内壁にフィットしたイヤーチップ１１０の弾性電極は、精度よく脳波信号を取得することができるようになる。

【0019】

ハウジング１１２の少なくとも一方の端部は、上述したとおり、弾性及び柔軟性を有している。このような特性を有する限り、ハウジング１１２を形成する材料は限定されるものではないが、一例としては、柔らかくて低反発で丈夫なもの、例えばシリコンゴムを挙げることができる。ハウジング１１２は、人の力によって弾性変形することができる。このハウジング１１２の弾性変形によって、ノズルは、その延在する方向の向きを外耳道に沿って調整可能に構成されている。

【0020】

例えば、ハウジング１１２の弾性を有する端部が、イヤホン１０の装着時にまず外耳と接触し、その接触圧を受けてへこむように変形する。イヤホン１０の装着時には、弾性電極を含むイヤーチップ１１０が外耳道に位置付けられ、外耳道の全周にわたって密着する。

【0021】

また、ハウジング１１２は、ノズルとは反対方向に収納空間を有し、この収納空間に音処理回路を含む基板やスピーカ１１３を有する。スピーカ１１３は、例えば、出力音の指向性が外耳道内の鼓膜に直接向かうように、スピーカ１１３の位置が考慮されてハウジング１１２内に配置されればよい。一例として、スピーカ１１３は、ハウジング１１２の中央部から音が出力されるように配置される。また、スピーカ１１３は、周縁部を発砲素材等の緩衝材で覆い、この緩衝材によりハウジング１１２とスピーカ１１３とが直接接触しないようにする。これにより、スピーカ１１３から音を出力するときの振動がハウジング１１２に伝わりにくくなり、ハウジング１１２経由でイヤーチップ１１０のセンサ（弾性電極）に振動が伝わりにくくなる。すなわち、脳波信号のセンシングの際に、音の出力に伴う振動による影響を小さくすることが可能になる。

【0022】

ジョイント機構１１４は、ハウジング１１２のノズルとは反対側の端部と、接続部１１６とを接続する機構である。例えば、ジョイント機構１１４は、少なくとも、ハウジング１１２を水平方向（ＸＹ平面の方向）に回転して調整することが可能なボールジョイント機構である。また、ジョイント機構１１４は、ハウジング１１２を３６０度回転可能にし、ハウジング１１２の位置を調整可能にしてもよい。

【0023】

これにより、各ユーザの異なる耳の形状に合わせて、ジョイント機構１１４によりハウジング１１２の位置を調整し、弾性電極を有するイヤーチップ１１０を外耳道の内壁に密着させ、脳波信号を適切に取得することができるようになる。

【0024】

接続部１１６は、ハウジング１１２と把持部１２０とを接続する機構である。例えば、接続部１１６は、剛性を有し、樹脂などで構成される。また、接続部１１６は、ハウジング１１２に固定された位置から所定方向、例えば鉛直下方向に沿って延伸する。延伸した部分は、イヤーチップ１１０側に近づくように湾曲した形状をしてもよい。

【0025】

ケーブル１１８は、イヤーチップ１１０の弾性電極からセンシングした信号を、把持部１２０内部の処理回路１４４（図４，５参照）に伝達する第１信号線と、ハウジング１１２内部の基板と、通信回路１５０（図４，５参照）とを接続し、音を伝達するための第２信号線とを内部に含む。なお、第２信号線は、複数の信号線であってもよい。

【0026】

把持部１２０は、装着者の耳たぶを把持し、各端部の周辺領域に電極を有する。例えば、把持部１２０は、一方の端部に第２電極１４０を有し、他方の端部に第３電極１４２を有する。第２電極１４０は、アース接続する電極であり、第３電極１４２は、リファレンス電極として機能する電極である。この場合、イヤーチップ１１０の弾性電極（第１電極）によりセンシングされた信号と、リファレンス電極の第３電極によりセンシングされた信号との差分を算出することで、脳波信号を精度よく取得することができるようになる。これは、耳たぶ部分から取得される信号には脳波信号がほとんど含まれていないからである。

【0027】

また、把持部１２０は、耳たぶを挟み込む構成を有し、例えばクリップのような構成を有する。また、耳たぶにやさしくフィットさせるために、把持部１２０は、ゴムのような弾性を有する素材で構成されるとよい。なお、把持部１２０は、必ずしも耳たぶを挟み込む構成である必要はなく、耳たぶ部分に適度に接触できる板状の構成を有していればよい。

【0028】

また、把持部１２０は、弾性電極（第１電極）に基づき取得される脳波信号をデジタル信号に変換する変換器を含んでもよい。変換器は、例えば、所定のサンプリングレートでセンシングされた脳波信号を処理し、デジタル信号に変換する。これにより、アナログの脳波信号を伝達させる信号線を短くすることで、ノイズが含まれにくくし、迅速に脳波信号をデジタル化することができ、ノイズ耐性を高めることができる。

【0029】

また、把持部１２０の各端部は、磁石を有してもよい。例えば、一方の端部にプラス極の磁石を設け、他方の端部にマイナス極の磁石を設ける。これにより、耳たぶに第２電極及び第３電極を接触させる際に、適度に耳たぶに圧接することができ、耳への負担を軽減することができる。

【0030】

また、接続部１１６は、把持部１２０の位置を調節可能にする調節機構を有してもよい。例えば、調節機構は、スライド機構であり、把持部１２０の位置をＺ方向（鉛直方向、又は顔の顎と頭頂部とを結ぶ方向）に上下するような機構を有する。また、調節機構は、接続部１１６の延伸する所定方向に沿って、把持部１２０を固定可能な機構を有してもよい。

【0031】

これにより、各ユーザで異なる耳たぶの形状やサイズに合わせて、把持部１２０の位置を調節することが可能になり、適切な位置でリファレンス電極を接触させることで、より適切にリファレンス電極からの信号を取得することが可能になる。

【0032】

なお、調節機構は、スライド機構に限らず、把持部１２０の位置を調節可能なものであればいずれの機構を採用してもよい。例えば、接続部１１６は、所定方向に複数の穴を有し、把持部１２０の突起部をその穴に嵌め込むことで、把持部１２０を固定するような構成でもよい。また、接続部１１６は、把持部１２０を移動させた後、接続部１１６に固定するための固定部材１２２を有してもよい。例えば、固定部材１２２は、回転させることで把持部１２０を接続部１１６に圧接し、把持部１２０を固定する。具体例としては、固定部材１２２は、把持部１２０方向に延伸するねじ部（ボルト）を有し、把持部１２０は、固定部材１２２のねじ部を受けるナットを有する。

【0033】

＜把持部の構成＞
図４及び５は、実施形態１における把持部１２０の構成の一例を示す図である。図４は、ワイヤレスタイプのイヤホン１０の場合の把持部１２０の構成を示し、図５は、ワイヤレスタイプのイヤホン１０の把持部１２０の構成を示す。

【0034】

図４に示すように、把持部１２０Ｒは、第２電極１４０Ｒ、第３電極１４２Ｒ、処理回路１４４Ｒと有する。上述したとおり、第２電極１４０Ｒは、アース接続用の電極であり、第３電極１４２Ｒは、リファレンス電極として機能する電極である。第２電極１４０Ｒ、第３電極１４２Ｒは、弾性電極でもよい。例えば、把持部１２０Ｒは、板状部材であり、板状部材の長手方向の中央付近で折れ曲がる構成を有し、少なくとも耳たぶ等の耳に接触する部分は弾性を有するとよい。把持部１２０は、中央付近で折れ曲がることで、耳たぶを挟み込むようにして耳たぶに接触する。

【0035】

処理回路１４４Ｒは、イヤーチップ１１０の弾性電極によりセンシングされた脳波信号をデジタル信号に変換する信号処理回路を含む。また、把持部１２０Ｌは、把持部１２０Ｒと同様の構成を有する。

【0036】

第１収容ケース１０４は、通信回路１５０と、操作部１５２とを含む。通信回路１５０は、無線通信を行うためのアンテナを含む。アンテナは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信の規格に対応している。したがって、イヤホン１０は、モバイル端末、ラップトップなどの機器と無線で接続され、これら機器と音のデータを通信する。操作部１５２は、ハウジング１１２内部の音処理回路に対し、音量や再生を制御するための操作機能を有する。

【0037】

第２収容ケース１０６は、電源１５４を有し、電源１５４は、各回路等に電力を供給する。また、第２収容ケース１０６は、例えば、充電用の開口を通して電源１５４への充電がなされる。ケーブル１０２は、信号線を有し、各回路に信号を伝達する。なお、図４に示す構成は一例であって、各部は、任意の収容ケースに収容するように構成されてもよい。

【0038】

図５は、ワイヤレスタイプのイヤホン１０を示し、図４に示す収容ケースに収容されていた構成が把持部１２０に収容される例を示す。図５に示すように、把持部１２０Ｒは、第２電極１４０Ｒ、第３電極１４２Ｒ、処理回路１４４Ｒ、通信回路１５０、電源１５４を有する。各部の機能は図４に示した内容と同様である。

【0039】

これにより、ワイヤレスタイプを実現することができ、ケーブル１０２、各収容ケースが不要になり、イヤホン１０を製造する際の部品点数を減らすことで製造コストを下げることができる。

【0040】

また、図５に示す例は一例であって、各部をハウジング１１２内部に設けてもよい。例えば、通信回路１５０や処理回路１４４は、ハウジング１１２に設けてもよい。また、耳への荷重を考慮して、ハウジング１１２内部の構成、把持部１２０内部の構成が決定されればよい。

【0041】

以上説明した第１実施形態に係るイヤホン１０によれば、装着者の装着時に、弾性を有するハウジング１１２が耳甲介の大きさや形状に合わせて変形することができるので、弾性電極を有するイヤーチップ１１０が外耳道に沿って入り込み、イヤーチップ１１０が外耳道の全周にわたって密着するようになる。その結果、弾性電極から適切に脳波信号をセンシングすることが可能になる。

【0042】

また、イヤホン１０は、イヤーチップ１１０だけでなく、肌に触れるすべての外装部分（ハウジング１１２）が弾性及び柔軟性を有する材料で形成してもよい。これにより、耳の形状等に個人差があっても、イヤホン１０を耳にフィットさせることが、高い装着感、高い遮音性、脱落のし難さを得ることができるとともに、脳波信号を適切に取得することが可能になる。

【0043】

［第２実施形態］
以下、第２実施形態における脳波信号処理システムの一例を、図面を用いて説明する。
＜システムの適用例＞
図６は、第２実施形態における脳波信号処理システム１の各構成例を示す図である。図６に示す例では、各ユーザが利用する各イヤホン１０Ａ、１０Ｂ、・・・、及び情報処理装置２０Ａ、２０Ｂ、・・・、脳波信号を処理するサーバ３０がネットワークＮを介して接続される。なお、個々の構成を区別しない場合は、Ａ及びＢなど英字符号を省略する。

【0044】

イヤホン１０は、第１実施形態により説明されたイヤホン１０であるが、必ずしもこれに限られない。イヤホン１０は、左右のイヤホン１０Ｒ、１０Ｌからそれぞれ少なくとも１点の脳波信号を取得し、合計２点の脳波信号を取得する。なお、脳波信号は２点である必要はない。また、イヤホン１０は、イヤホンに限られず、脳波をセンシングできるデバイスであればよい。

【0045】

情報処理装置２０は、例えば、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ、タブレット端末、ＰＤＡ（Personal Digital Assistant）などである。情報処理装置２０は、ユーザ端末２０とも表記する。

【0046】

情報処理装置３０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置３０は、脳波信号を処理し、例えば、人工知能（ＡＩ）の学習機能を用いて脳波信号からユーザの状態を解析する。情報処理装置３０は、サーバ３０とも表記する。

【0047】

図６に示す例では、ユーザ端末２０Ａを利用するユーザ（ユーザＡ）が、イヤホン１０Ａを装着し、イヤホン１０Ａは、ユーザＡの脳波信号を取得する。イヤホン１０Ａは、ユーザＡの脳波信号をユーザ端末２０に送信し、ユーザ端末２０のアプリケーションにおいて、脳波信号を処理する。このとき、アプリケーションは、エッジＡＩを用いて脳波信号を解析したり、サーバ３０に脳波信号を送信することで、サーバ３０による解析結果を取得したりしてもよい。アプリケーションは、脳波信号を用いて推定されたユーザＡの状態や、脳波信号に基づく現在の状態から所定の状態へ遷移するためのトレーニングなどをユーザＡに提供する。

【0048】

＜構成の一例＞
図７は、第２実施形態に係るユーザ端末２０の一例を示すブロック図である。ユーザ端末２０は、１つ又は複数の処理装置（制御部：ＣＰＵ）２１０、１つ又は複数のネットワーク通信インタフェース２２０、メモリ２３０、ユーザインタフェース２５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス２７０を含む。

【0049】

ユーザインタフェース２５０は、例えば、ディスプレイ装置２５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）２５２を備える。また、ユーザインタフェース２５０は、タッチパネルでもよい。

【0050】

メモリ２３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

【0051】

また、メモリ２３０の他の例として、ＣＰＵ２１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ２３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

【0052】

１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されているプログラムを実行することで、取得部２１２、推定部２１４、処理部２１６を構成してもよい。

【0053】

取得部２１２は、イヤホン１０から出力された脳波信号を、ネットワーク通信インタフェース２２０を介して取得する。

【0054】

推定部２１４は、イヤホン１０の装着者の所定の脳波信号と、この所定の脳波信号の取得時の装着者の状態とを学習したモデルを用いて、取得される脳波信号から装着者の状態を推定する。ここで用いられるモデルは、装着者自身の脳波信号を用いて装着者個人の脳の特性にカスタマイズされた学習済みモデルである。例えば、この学習済みモデルは、脳波信号取得時に、装着者自身が状態（例えば、感情価（Postivie/Negative）と興奮度（Arousal Level）とにより規定される状態など）を指示したものを正解ラベルとする教師データを用いて脳波信号を学習させ、脳波信号から装着者の状態を推論する推論プログラムを含むモデルである。また、学習済みモデルは、サーバ３０により学習されたモデルでもよい。

【0055】

処理部２１６は、推定部２１４により推定された装着者の状態に基づいて処理を行う。これにより、装着者用に学習されたモデルを使用して、装着者の脳波信号から推定された装着者の状態に応じた処理が可能になり、個人用にカスタマイズされた処理結果を出力すること等が可能になる。

【0056】

学習済みモデルは、他人の脳波信号と、この脳波信号の取得時の他人の状態とが学習された所定モデルに対して、装着者の脳波信号と、脳波信号の取得時の装着者の状態とが追加して学習され、カスタマイズされたモデルであってもよい。これにより、初期段階でもある程度の推定性能を有することができ、使用（学習）するにつれて個人用にカスタマイズすることが可能になる。

【0057】

処理部２１６は、現在の脳波信号に基づき推定された装着者の状態から、第１脳波信号により示される装着者の所定状態への遷移を誘導する誘導処理であって、現在の脳波信号に基づき、装着者にフィードバックする誘導処理を行ってもよい。例えば、処理部２１６は、イヤホン１０の使用時に、様々なコンテンツを装着者に見せたり、聞かせたりして、装着者により良い状態を指示してもらう。例えば、処理部２１６は、好ましい、集中できる、リラックスする、眠気を誘う、などの良い状態を装着者に指示してもらう。コンテンツは、例えば音楽、動画、ゲームなどである。指示の仕方として例えば、処理部２１６は、良い状態を示すＵＩ部品（アイコンやボタン等）をユーザ端末２０の画面に表示し、ユーザが、良い状態のときにそのＵＩ部品を操作する。なお、コンテンツには、ジャンルなどの特徴を表すラベルが付与されている。例えば、コンテンツが動画の場合、ラベルは、キッズ、ファミリー、ドキュメンタリー、コメディ、サスペンス、ロマンス、アクション等を含み、コンテンツが音楽の場合、ラベルとして、ロック、ポップ、バラード、クラシック等を含む。また、ラベルは、作品のタイプや雰囲気でもよい。作品のタイプは、知性に訴える作品、バイオレントな作品、誰もが楽しめる作品、議論を呼んだ作品、ダークな作品、幸せになる作品、ファミリー向けの作品、ウィットに富んだ作品などを含む。作品の雰囲気は、優しい作品、激しい作品などを含む。

【0058】

処理部２１６は、その装着者の良い状態を指示したときの脳波信号（第１脳波信号）の波形や特徴を、コンテンツの特徴に関連付け、これらを教師データとして、サーバ３０の学習部３１１（図８参照）に学習させる。処理部２１６は、装着者の良い状態のときの第１脳波信号に遷移する前後の脳波信号と、それぞれの脳波信号時の状態、及びコンテンツの特徴とを教師データとして、サーバ３０の学習部３１１に学習させることで、どういう動画を見たり、音楽を聴いたり、ゲームを行ったりすれば、良い状態に遷移するのかを学習させ、推論アルゴリズムを含む学習済みモデルを生成しておくことができる。

【0059】

処理部２１６は、この良い状態に遷移する前後の脳波信号や状態、コンテンツを学習しておくことで、装着者の現在の脳波信号から、その装着者にとって良い状態に遷移させるために、どんなコンテンツを装着者に見せればよいかを把握することができる。処理部２１６は、学習済みモデルを用いての解析結果を、フィードバック結果として装着者に知らせる。

【0060】

図８は、第２実施形態に係るサーバ３０の一例を示すブロック図である。サーバ３０は、１つ又は複数の処理装置（ＣＰＵ）３１０、１つ又は複数のネットワーク通信インタフェース３２０、メモリ３３０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス３７０を含む。

【0061】

サーバ３０は、場合によりユーザインタフェース３５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。

【0062】

メモリ３３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。

【0063】

また、メモリ３３０の他の例は、ＣＰＵ３１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施形態において、メモリ３３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。

【0064】

１つ又は複数の処理装置（ＣＰＵ）３１０は、メモリ３３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）３１０は、メモリ３３０に格納されているプログラムを実行することで、学習部３１１を構成してもよい。

【0065】

学習部３１１は、装着者の脳波信号を用いて、装着者の状態を解析し、モデル（第１モデル）を生成する。例えば、脳波信号から学習データを抽出する複数の手法のうちの任意の抽出方法と、複数の分類器のうちの任意の分類器とを組み合わせたモデルなどが用いられてもよい。抽出方法は、ウェーブレット変換、フーリエ変換等を含み、分類器は、例えば、ランダムフォレスト（Random Forest）、サポートベクタマシン（SVM：Support Vector Machine）、ニューラルネットワーク、決定木等を含む。

【0066】

＜フィードバックトレーニング＞
個人ごとの脳波の周波数帯および電位の傾向が異なることが分かっている。そこで、脳波を計測中のユーザ個人に、自身の任意の状態（例えば、第１状態）を、ユーザ端末２０に表示された記号や顔文字等を用いてアノテーションしてもらう。これにより、脳波信号とアノテーションとを学習部３１１が学習することで、第１状態に対応する第１脳波信号、任意の脳波信号から第１脳波信号への遷移を予測、可視化することができるようになる。また、任意の脳波信号から第１脳波信号に遷移するように、所定のトレーニングを行うことで、ユーザが任意の状態を再現できることを目指す。

【0067】

処理部２１６は、装着者個人ごとに、脳波トレーニングを行う周波数帯を算出する。例えば、処理部２１６は、脳波信号からＩｎｄｉｖｉｄｕａｌ Ａｌｐｈａ ｆｒｅｑｕｅｎｃｙ Ｐｅａｋ （ＩＡＰ）を検出する。次に、処理部２１６は、ＩＡＰを軸にし、個人ごとにｄｅｌｔａ（デルタ：０．５～３Ｈｚ）、ｔｈｅｔａ（シータ：４～７Ｈｚ）、ａｌｐｈａ（アルファ：８～１３Ｈｚ）、ｂｅｔａ（ベータ：１４～３０Ｈｚ）、及びｇａｍｍａ（ガンマ：３０Ｈｚ以上）の各周波数帯域を設定する。処理部２１６は、脳波信号の総合電位（例えば全周波数帯域の平均値）と、各周波数帯域の電位（例えば各周波数帯域の平均値）との比率を求める。アルファ波は、安静・覚醒・閉眼時に出現すると言われており、このアルファ波を基準として、シータ波やデルタ波などを設定する。

【0068】

また、処理部２１６は、装着者個人ごとに、所定比率（以下、「黄金比率」とも称す）を算出する。黄金比率の算出方法は、サーバ３０による人工知能（ＡＩ）の解析結果に基づき、装着者個人の任意の良い状態の脳波信号が算出され、ＩＡＰを軸にして、低周波方向に所定Ｈｚ、高周波方向に所定Ｈｚなどを用いて各周波数帯域に分割され、全周波数帯域の平均値と、各周波数帯域の平均値又は代表値との比率が算出される。各周波数帯域の代表値は、例えば各周波数帯域で最も値が高いピーク時の周波数などでもよい。また、黄金比率は、各周波数帯域の平均値又は代表値の比率でもよい。

【0069】

図９は、第２実施形態に係る良い状態の一例を示す図である。図９に示す例では、一装着者の良い状態を示すものであって、他のユーザの場合は、別の位置になる可能性がある。良い状態は、装着者からの指示により特定してもよい。装着者からの指示とは、例えば、脳波信号をセンシング中に、ユーザ端末２０の画面上で良い状態であることを示すＵＩ部品を押下することなどである。

【0070】

処理部２１６は、算出した良い状態における脳波信号の各周波数帯域での平均値又は代表値の比率に変換する。例えば、処理部２１６は、様々な装着者の脳波信号を用いて、性別、年齢、時間によりカテゴリ分類された脳波信号の比率の標準偏差を算出してもよく、算出した標準偏差と、個人の黄金比率とを考慮して、その個人に適した各帯域の黄金比率に変換してもよい。

【0071】

＜トレーニング方法＞
１：学習部３１１は、算出されたＩＡＰを基準として、個人の周波数特性を解析、電位の傾向を記録する。
２：学習部３１１は、装着者のアノテーションにより、任意の状態（良い状態だけでなく、集中している、リラックスしているなど様々な状態があり得る）における個人の脳波信号の特徴量を学習する。
３：学習部３１１におけるＡＩが十分に脳波信号の特徴量の学習を行うことで、脳波信号より個人の状態が推測可能になる。
４：処理部２１６は、推測可能になった脳波信号の特徴量を用いて、周波数又は電位に変換する。
５：処理部２１６は、学習された個人のある任意の状態に近づくように、例えば、変換された周波数又は電位の数値に近づくように、トレーニングを行う。
６：この場合、希望状態の選択は装着者の任意で行われることもあるが、システムが自動で選択してもよい。
７：その際トレーニングに使用する楽曲、オーディオ・ビジュアルは過去のトレーニング履歴よりシステムが自動選択もしくは推薦する。
８：処理部２１６は、トレーニング後、再度その効果については装着者に、アノテーションしてもらい検証する。

【0072】

図１０は、第２実施形態におけるＩＡＰを基準とするトレーニング帯の一例を示す図である。図１０に示す例は、一装着者のＩＡＰを示すものであって、他の装着者の場合、他の周波数にＩＡＰが位置しうる。したがって、個人ことに脳波信号を用いたトレーニングでは、個人ごとに図１０に示すようにトレーニング帯が設定されるとよい。

【0073】

＜フィードバック＞
処理部２１６は、フィードバックを与えながら、コンテンツと刺激を選定する。処理部２１６は、理想電位状態に導く最適な音楽・動画などを選定する。例えば、処理部２１６は、楽曲・動画の視聴履歴（個人・全体）からレコメンドを生成してもよい。

【0074】

また、処理部２１６は、最適な電位状態に導くオーディオ・ビデオの刺激を選定する。例えば、処理部２１６は、トレーニング履歴（個人・全体）からレコメンドを生成してもよい。図１１は、第２実施形態に係るトレーニング画面の一例を示す図である。図１１に示すように、装着者は音楽を聴きながら、その時の気分を示す顔マークを押下することで、装着者の状態を学習させることができる。

【0075】

＜動作＞
次に、脳波信号処理システム１の動作について説明する。図１２は、第２実施形態に係る誘導処理の一例を示すフローチャートである。図１２に示す例では、取得された脳波信号を用いて所定の状態に誘導する処理が行われる。

【0076】

ステップＳ１０２で、取得部２１２は、センサ（例えばイヤホン１０の弾性電極など）から出力される脳波信号を取得する。

【0077】

ステップＳ１０４で、推定部２１４は、センサを装着した装着者の所定の脳波信号と、この所定の脳波信号の取得時の装着者の状態とを学習したモデルを用いて、取得される脳波信号から装着者の状態を推定する。

【0078】

ステップＳ１０６で、処理部２１６は、推定された装着者の状態に基づいて、所定の処理を実行する。所定の処理は、例えば装着者に状態を報知する処理などである。

【0079】

図１３は、第２実施形態に係るトレーニング処理の一例を示すフローチャートである。図１３に示す例では、脳波信号をセンシングしながら所定の状態に遷移するようトレーニングを行う処理を示す。

【0080】

ステップＳ２０２で、取得部２１２は、センサ（例えばイヤホン１０の弾性電極など）から出力される脳波信号を取得する。

【0081】

ステップＳ２０４で、処理部２１６は、脳波信号からＩＡＰ（Individual Alpha frequency Peak ）を算出する。

【0082】

ステップＳ２０６で、処理部２１６は、算出したＩＡＰに基づいて、ＩＡＰを高電位に移動させるか低電位に移動させるかのフィードバックを行う。

【0083】

ステップＳ２０８で、処理部２１６は、装着者の操作に基づき、処理が終了するか否かを判定する。ユーザにより終了が操作されれば（ステップＳ２１６－ＹＥＳ）、処理は終了し、ユーザにより終了が操作されなければ（ステップＳ２１６－ＮＯ）、処理はステップＳ２０２に戻る。

【0084】

［変形例］
以上、本願の開示する技術の複数の実施形態について説明したが、本願の開示する技術は、上記に限定されるものではない。また、本発明の情報処理装置２０、３０のプログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の非一時的な記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

【0085】

図１４は、変形例１に係るイヤホンの拡大例を示す図である。図１４に示すイヤホンの例は、把持部１２０の設置向きが図２に示すイヤホンと異なり、その他の構成は、図２に示すイヤホンと同様である。図１４に示すように、把持部１２０ＲＡ、１２０ＬＡは、その長手方向が鉛直方向のＺ方向に沿って設けられる。また、接続部１１６に設けられた調節機構による移動方向に沿って、把持部１２０の長手方向が設けられる。耳たぶを挟み込む部分がＺ軸の上方向（ハウジング方向）を向いている。これにより、接続部１１６の顔側に把持部１２０の大部分が隠れることで、デザイン性を高めることができる。また、図１４に示す把持部１２０の構成を採用することにより、把持部１２０のサイズを小さくすることが可能になる。これは、一般的に耳たぶは水平方向に幅を持つため、図１４に示すように、耳たぶを下から把持することで、図１に示すように、水平方向から耳たぶを把持するよりも把持部１２０の折り畳み部分の長手方向の長さを短くすることができるからである。

【0086】

図１５は、変形例２におけるイヤホンセット５０の一例を示す図である。図１５に示すイヤホンセット５０は、図１や図１４に示すイヤホンの把持部１２０がなく、代わりに首掛け部１６０と、一対のイヤホン１７０Ｒ、１７０Ｌとを有する。各イヤホン１７０Ｒ、１７０Ｌは、首掛け部１６０と信号通信可能なケーブルを用いて接続されるが、無線通信を用いて接続されてもよい。

【0087】

首掛け部１６０は、首の後方に沿う中央部材と、首の両サイドに沿って湾曲した形状を有する棒状部材（アーム）１８２Ｒ、１８２Ｌとを有する。中央部材の背中側の首に接触する表面には、脳波信号をセンシングする電極１６２、１６４が設けられる。電極１６２、１６４それぞれは、アース接続される電極と、リファレンス電極とである。これにより、イヤホンのイヤーチップに設けられる弾性電極と距離を離すことができ、精度よく脳波信号を取得することが可能になる。また、首掛け部１６０の両サイドの棒状部材１８２Ｒ、１８２Ｌは、その先端側が、付け根側（中央部材側）よりも重くなっており、これにより電極１６２、１６４は、装着者の首に適切に圧着するようになる。例えば、棒状部材１８２Ｒ、１８２Ｌの先端側には重りが設けられる。

【0088】

図１６は、変形例２におけるイヤホン１７０の断面の概略の一例を示す図である。図１６に示すイヤホン１７０は、基本的にはイヤホン１００と同様であるが、スピーカ１１３とノズル１７２との間に弾性部材（例えばウレタン）１７４を設ける。この弾性部材１７４を設けるにより、スピーカ１１３の振動がイヤーチップ１７６の弾性電極に伝わりにくくなり、イヤーチップ１７６の弾性電極とスピーカ１１３とが音について干渉することを防ぐことができる。

【0089】

さらに、弾性電極を含むイヤーチップ１７６は、音導口に位置しているが、弾性電極自身の弾性により、音振動による干渉を防ぐことが可能である。また、ハウジングには弾性部材を採用しているため、この弾性部材により、音振動をイヤーチップ１７６の弾性電極に伝えにくく、音振動による干渉を防ぐことが可能である。

【0090】

イヤホン１７０は、オーディオ・サウンド・プロセッサを含み、このオーディオ・サウンド・プロセッサを使用して、脳波信号に相当する所定の周波数（例えば５０Ｈｚ）以下の音信号をカットする。特にオーディオ・サウンド・プロセッサは、脳波信号として特徴が出やすい周波数帯域の３０Ｈｚ以下の音信号をカットするが、ベース音を損なわないようにするため、７０Ｈｚ周辺の周波数の音信号を増幅する。これにより、音信号と脳波信号とが干渉することを防ぐことができる。また、オーディオ・サウンド・プロセッサは、脳波信号のセンシングがなされている場合にのみ、所定の周波数をカットするようにすればよい。なお、上述したオーディオ・サウンド・プロセッサは、実施形態におけるイヤホン１０にも適用可能である。

【0091】

図１７は、変形例２における首掛け部１６０の電極周辺の構造の一例を示す図である。図１７に示す例では、電極１６２、１６４それぞれの首掛け部１６０側に弾性部材１６６が設けられる。この弾性部材１６６は、例えばウレタン等であり、この弾性部材１６６の弾性により、電極１６２、１６４は位置変動が可能になる。

【0092】

具体例として、電極の形状は半球状のものを使用し、半球状の中心部分を覆うように弾性部材１６６を接着することで、弾性部材１６６の弾性を用いて電極が３６０度角度を変えることができる。また、装着者の首の形状に合わせて弾性部材１６６が変形し、装着者の首に各電極１６２、１６４が圧着しやすくなる。

【0093】

上述したとおり、首掛け部１６０の両サイドの棒状部材１８２Ｒ、１８２Ｌの先端側は重くなっているので、首掛け部１６０が首にかけられた場合、棒状部材１８２Ｒ、１８２Ｌの先端側の重みにより、各電極１６２、１６４は、装着者の首により圧着しやすくなる。

【0094】

図１８は、変形例２におけるイヤホンセット５０の略分解の一例を示す図である。図１８に示す例では、棒状部材１８２Ｒは、例えば外側に位置するアルミプレートの内側に蛇腹構造を有し、棒状部材１８２Ｒは、装着者の首の形状、太さ等に応じて変形可能である。また、棒状部材１８２Ｒの首の内側には、ゴムなどの弾性部材１８４Ｒが設けられ、弾性部材１８４Ｒが首に接触することで、首への接触の負担を軽減し、装着感を向上させることができる。

【0095】

また、首掛け部１６０の両側に位置する棒状部材１８２は、電極側に折り畳むことが可能である。例えば、棒状部材１８２Ｒは、折畳構造１８６Ｒにより電極側又は中央部材側に折り畳むことが可能である。なお、棒状部材１８２Ｌについても同様に折り畳み構造（例えばヒンジ）を有し、電極側に折り畳むことが可能である。これにより、首掛け部１６０をコンパクトに収納することができる。

【0096】

また、棒状部材１８２Ｒ、１８２Ｌは、装着者の鎖骨に沿いやすいように、棒状部材１８２Ｒ、１８２Ｌが鉛直方向の下方向に少し湾曲した形状であるとよい。

【0097】

＜脳波フィードバックトレーニングにおける具体例＞
次に、上述した個人ごとの脳波フィードバックトレーニングにおける具体例について説明する。この具体例では、脳波信号を学習しながら、集中時間、休憩時間を管理し、生産性を向上させることが可能なアプリケーションである。このアプリケーションでは、例えば、時間を区切り、各時間帯でユースケースを変更してトレーニングが行われる。例えば、最初の１０分間は、メディテーション（瞑想のユースケース）、次の２５分間は、タスク（集中のユースケース）、次の５分は、休憩（リラックスのユースケース）、このタスクと休憩とを４セット行う。なお、最後の休憩は２５分にしてもよい。この時間管理術は、生産性が向上すると言われているポモドーロ・テクニックの時間管理術を参考にする。

【0098】

具体例における時間管理中に、取得部２１２は、上述したイヤホン等を用いて脳波信号を取得し、推定部２１４は、学習部３１１により個人用にカスタマイズされた学習済みモデルを用いて、各ユースケースにおけるユーザの脳波信号による現在の状態を推定し、処理部２１６は、現在の状態から、このユーザの良い状態に遷移するよう誘導処理を行う。

【0099】

処理部２１６は、フィードバックの一例として、ユーザ端末２０の表示画面の所定領域、例えば背景に、脳波信号の各周波数帯域に予め割り当てられた色を用いてグラデーション表示するよう制御する。例えば、脳波信号が良い状態（黄金比率の状態）に遷移しているときは徐々に明るい色になるように所定領域の色が表示され、脳波信号が良い状態に遷移していないときは徐々に暗い色になるように処理領域の色が表示される。なお、脳波信号の良い状態は、ユーザに応じて異なるため、そのユーザの良い状態の脳波信号の周波数帯域を基準にしてグラデーションが決定される。これにより、脳波信号の変化に合わせて、所定領域に対してグラデーションを用いて表示することが可能になり、ユーザに対して現在の脳波信号の状態を視覚的に表現することが可能になる。

【0100】

図１９Ａは、集中のトレーニング中の表示画面の一例を示す図である。図１９Ａに示す画面は、時間管理におけるタスク中に表示される画面であり、現在のスコア値が「４２」であることを示し、「２５：００」はタスク時間のタイマーを示す。このように、処理部２１６は、各ユースケースの時間管理についてタイマーを使用して行う。また、処理部２１６は、各ユースケースに関連する脳波信号の周波数帯域の波形を表示してもよい。

【0101】

また、処理部２１６は、脳波信号の周波数帯域に予め設定された音をスピーカから出力するよう制御してもよい。予め設定された音は、例えば自然音であり、風、雨、波、森などの音であり、これらを適宜組み合わせた音でもよい。例えば、脳波信号が良い状態（黄金比率の状態）に遷移しているときは徐々に穏やかな音になるようにスピーカから音が出力され、脳波信号が良い状態に遷移していないときは徐々に荒れた音になるようにスピーカから音が出力される。脳波信号が良い状態に遷移するとは、現在の脳波信号の各周波数帯域における平均値又は代表値の比率と黄金比率との差分が小さくなることをいい、各周波数帯域は、黄金比率が求められる各周波数帯域と同じである。また、予め設定された音は、音声でもよい。なお、処理部２１６は、取得部２１２により取得された脳波信号が、上述した黄金比率に近づく場合、画面に絵文字を表示したり、音を出力したり、画面の色で表示したりしてもよい。

【0102】

また、具体例におけるアプリケーションは、所定期間、例えば月単位、週単位、日単位、セッション単位で、脳波信号から判定される集中、リラックス、緊張、疲労などをスコア化して可視化することが可能である。スコアについて、推定部２１４は、各ユースケースに合わせて、個々のユーザの脳波信号を用いて学習された黄金比率と、現在の脳波信号を各周波数帯域に分割した際の各周波数帯域の代表値の比率との距離に基づきスコア化し、処理部２１６は、スコア化されたスコア値を画面に表示する。

【0103】

図１９Ｂは、一日単位でリラックス（Ｒｅｌａｘ）、集中（Ｆｏｃｕｓ）、瞑想（ＣＡＬＭ）に関する測定結果を表示する画面の一例を示す図である。図１９Ｂに示す画面は、データの集計、可視化を行ういわゆるダッシュボードであり、１５日（Ｗｅｄ）に測定された脳波信号に基づいて、リラックスできていると判定された時間が「３３分」、集中できていると判定された時間が「２３分」、落ち着いている（瞑想できている）と判定された時間が「４２」分であることを示す。

【0104】

推定部２１４は、それぞれのユースケースにおいて、学習済みモデルを用いた推定処理でそれぞれのスコア値を求めてもよい。図１９Ｂに示す例では、リラックスのスコア値が「６８」を示し、集中のスコア値が「７２」を示す。なお、それぞれのユースケースのスコア値が、対応する所定値以上である場合に、処理部２１６は、リラックスできている、集中できている、又は落ち着いていると判定してもよい。以下、時間管理される各ユースケースにについて説明する。

【0105】

（瞑想）
瞑想（落ち着き）は、本アプリケーションにおける時間管理術の中で、例えば最初の時間帯に行われる。まず、処理部２１６は、音声と映像とを用いて瞑想ガイドを行う。取得部２１２は、瞑想ガイド後の脳波信号を取得し、推定部２１４は、取得される脳波信号と黄金比率とに基づいてスコア値を算出し、脳波信号が鎮まり、スコア値が高くなると（周波数が黄金比率に近づくと）、処理部２１６は、背景の色を変化させ、背景画像の中の風がやみ、及び／又は鳥の泣き声などが鳴るように制御する。

【0106】

他方、脳波信号が荒れて、スコア値が低くなると（周波数が黄金比率より遠のくと）、処理部２１６は、背景の色を変化させ、背景画像の中の風が吹き、及び／又は背景画像の風景が嵐になるように制御する。また、処理部２１６は、背景（自然な環境）やガイドの内容は、このアプリケーションが実行される時間（午前、午後など）や目的により変化させてもよい。

【0107】

図２０は、瞑想時と、瞑想時以外の時との周波数波形の一例を示す図である。図２０に示す例では、瞑想時（Focus）は、瞑想時以外の時（Tired）と比べて、デルタ波とシータ波との低周波が出現している。これらの個人の波形の特徴を用いてユーザ個人の黄金比率等が求められる。また、現在の周波数の値からデルタ波及びシータ波を出現させるために、上述したような音声と映像とが用いられて瞑想ガイドが行われる。

【0108】

（タスク）
タスク（集中、疲労）は、本アプリケーションにおける時間管理術の中で、瞑想の後に行われ、以後、休憩と交互に行われる。推定部２１４は、取得された脳波信号の周波数に基づき、ユーザの集中、疲労度を推定する。例えば、推定部２１４は、タスク中に、シータ波が増えてくると、疲労が増してきていると推定する。これは、覚醒状態において一般的にデルタ波やシータ波は出現しないと言われているからである。

【0109】

図２１は、午前中、昼食後の脳波信号の周波数波形の一例を示す図である。図２１に示す例では、午前中（Focus）は、シータ波の値は大きくないが、昼食後（Tired2）、ユーザが疲労や眠気を感じているときにシータ波の値が大きくなっている。処理部２１６は、シータ波の値が大きくなると、シータ波の値を下げるために、このユーザに対して集中を促す音等を流す。なお、集中状態では、各周波数帯での振幅が一定で揺れが少なくなり、黄金比率が適切に出現する。

【0110】

（休憩）
休憩（休憩、集中）は、本アプリケーションにおける時間管理術の中で、タスクの後に行われ、以後、タスクと交互に行われる。推定部２１４は、閉眼時にアルファ波が出現するといわれているため、アルファ波の値が大きくなると、閉眼していると推定することが可能である。また、推定部２１４は、瞑想状態に入るとデルタ波及びシータ波の低い周波数の値が高くなるため、これらの周波数帯の値が大きくなると、落ち着いてきていると推定する。また、処理部２１６は、休憩時にも、ユーザが覚醒していれば、学習済みモデルによって提示される、このユーザにとって落ち着くようなコンテンツを提供する。

【0111】

なお、各ユースケースにおける脳波信号の周波数は、時分割されて脳波信号が変換された周波数信号に対し、所定時間内の周波数信号の加算平均を取ることで求められる。また、所定時間は、ユースケースごとに異なってもよい。

【0112】

これにより、具体例におけるアプリケーションは、ユースケースごとに時分割された各時間帯を用いて、時間の使用の仕方の最適化を支援することができる。また、このアプリケーションは、時間管理の中の集中時間において、個人の趣向や特性に合わせた集中できるプレイリストを作成することができる。例えば、ユーザのアノテーション結果を学習した学習済みモデルを使用することで、良い状態（黄金比率の状態）に遷移するための楽曲を選択することができ、この楽曲に対して所定基準で順番を設けたプレイリストが生成される。また、このアプリケーションは、時間管理の中の休憩時間において、ユーザの脳波信号の特性に応じて、簡単な瞑想・ストレッチなどのガイドや脳を整えるゲームや動画などを、学習済みモデルを用いて推薦することが可能である。

【0113】

＜心拍又は呼吸の解析＞
変形例３では、変形例２における首掛け部１６０におけるリファレンス用の各電極の位置を変更することにより、頸動脈の脈拍に基づく心電図信号（ECG：Electrocardiogram）を計測する。図２２は、変形例３においける首掛け部１６０の各部の位置の一例を示す図である。図２２に示す例では、首掛け部１６０のＸＹ平面での断面図を表しており、各電極１６２、１６４は、装着者の首の両サイドに位置するように配置され、弾性電極により構成される。例えば、首掛け部１６０のうち、首の両サイドに位置する棒状部材や中央部材の両端部に各電極が配置されてもよく、首掛け部１６０の中央から左右に所定距離（例えば３～７ｃｍ）離れた位置に各電極１６２、１６４が配置されてもよい。また、首掛け部１６０内部の中央の位置にバッテリーＢＡ、処理部を搭載する基板ＳＴが設けられる。基板ＳＴを首に近い側に配置し、基板ＳＴよりＸ方向に短いバッテリーＢＡを、基板ＳＴから外側に配置することで、首掛け部１６０を、より首に沿うような曲線形状にすることができる。また、首掛け部１６０の内側に取り付け可能な弾性部材が設けられ、この弾性部材に各電極１６２、１６４が設けられてもよい。これにより運動時などの動きがある場合でも、装着者の首に弾性部材が密着することで、精度よくリファレンス信号を取得することが可能になる。

【0114】

図２３は、頸動脈と左の電極１６２との位置関係を示す図である。図２３に示す例では、電極１６２が頸動脈Ｂ１０周辺に位置することにより、電極１６２によりセンシングする信号に、頸動脈の脈拍に基づく信号が含まれるようになる。

【0115】

図２４は、頸動脈の鼓動が混入したリファレンス信号の一例を示す図である。図２４に示す例では、電極１６２又は１６４からセンシングされるデータの生データの一例である。図２４に示すグラフは、縦軸がセンシングされた信号の値を表し、横軸が時間を表す。図２４に示すように、リファレンス信号は、イヤーチップ１７６の弾性電極によりセンシングされる信号から減算される信号であるため、リファレンス信号に混入する心電図信号（ECG）は逆位相で計測される。例えば、図２４に示す丸で囲った下に凸のピークは、心電図信号を示す信号である。装着者の正常時の脈拍を示す信号は心電図信号と同義である。

【0116】

頸動脈の脈拍の混入を利用し、例えば、ＣＰＵ２１０は、変形例３に記載の首掛け部に設けられる各電極１６２、１６４から出力される信号をリファレンス信号として、イヤーチップ１７６の弾性電極から出力される信号に基づく脳波信号を取得する。次に、ＣＰＵ２１０は、取得された脳波信号のピークとは逆位相に現れるピークに基づいて脈拍を検出する。

【0117】

これにより、リファレンス信号を計測する電極の位置を装着者の首の両サイドに位置するように配置することで、脳波信号と心電図信号とを共通の信号を用いて計測することが可能になる。つまり、ＣＰＵ２１０は、脳波信号を解析しつつ、脈拍に基づく心電図信号を計測して心拍についても解析することが可能になる。

【0118】

次に、変形例３における首掛け部１６０を用いて呼吸を計測する例について説明する。呼吸を計測するために、脳波信号から所定のフィルタ処理を行う。所定のフィルタ処理は、以下の手順で行われる。
1: ローパスフィルタ
2: メディアンフィルタ
3: その後ＦＦＴ（高速フーリエ変換）からパワースペクトルの値を算出
4: 時系列パワースペクトルから時間微分（Ｐ_ｔ－Ｐ_ｔ－１）を示すエネルギー差分値を算出（Ｐ_ｔは時刻ｔでのパワースペクトル値）

【0119】

図２５Ａは、口呼吸時の信号の一例を示す図である。図２５Ｂは、鼻呼吸時の信号の一例を示す図である。図２５Ａ及びＢに示すグラフは、縦軸がフィルター処理後のエネルギー差分値を表し、横軸が時間を表す。図２５Ａ及びＢに示す信号において、下に凸部分は息を吸い込む（吸気）時に現れ、上に凸部分は息を吐く（呼気）時に現れる。これらの山谷ができる理由としては、呼吸時における顔の筋電位の変化がイヤーチップ１７６の各電極に混入することが一因であると考えられる。

【0120】

上述した筋電位の変化を利用し、例えば、ＣＰＵ２１０は、変形例３に記載の首掛け部に設けられる電極１６２、１６４から出力される信号をリファレンス信号として、イヤーチップ１７６の弾性電極から出力される信号に基づく脳波信号を取得する。次に、ＣＰＵ２１０は、取得された脳波信号に対してローバスフィルタ及びメディアンフィルタの処理を行い、フィルタ処理後の信号を周波数変換し、周波数変換後の時系列のパワースペクトル値を時間微分し、この時間微分の差分値の周期性に基づいて、呼吸を検出する。

【0121】

これにより、脳波信号に所定のフィルタ処理を実行することで、呼吸を表す信号を計測することが可能になる。つまり、ＣＰＵ２１０は、脳波信号を解析しつつ、呼吸を表す信号を計測して呼吸のペース、大きさ等についても解析することが可能になる。

【0122】

また、呼吸検出に用いる所定のフィルタ処理は、心拍を検出する際にも適用することで、ノイズを除去することができ、より適切に心拍を検出することが可能になる。つまり、ＣＰＵ２１０は、脳波信号のピークとは逆位相に現れる心電のピーク値を検出し、検出された信号に対して、ローパスフィルタ及びメディアンフィルタの処理を行い、フィルタ処理後の信号を周波数変換し、周波数変換後の時系列のパワースペクトル値を時間微分し、時間微分された差分値の周期性に基づいて、脈拍を検知すること、を実行する。これにより、ノイズが除去された脈拍を用いて心拍を検出することが可能になる。

【0123】

なお、上述した心拍、呼吸の解析は、ＣＰＵ２１０が、自己相関関数を用いて図２４又は図２５に示すデータ値から周期性を求めることで、心拍・呼吸を検出する。また、上述した心拍、呼吸を検出する処理は、各処理の命令を含むプログラムとして実装され、情報処理装置にインストールされることで、実行されてもよい。

【符号の説明】

【0124】

１０ イヤホン
２０、３０ 情報処理装置
１１０ イヤーチップ（弾性電極）
１１２ ハウジング
１１３ スピーカ
１１４ ジョイント機構
１１６ 接続部
１１８ ケーブル
１２０ 把持部
２１２ 取得部
２１４ 推定部
２１６ 処理部
３１１ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25A】

【図25B】

【手続補正書】

【提出日】2024-10-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザに装着される脳波測定デバイスから出力される脳波信号を取得する取得部と、
前記ユーザの所定の脳波信号と、当該所定の脳波信号の取得時の前記ユーザの状態とを学習したモデルを用いて、取得される脳波信号から前記ユーザの状態を推定する推定部と、
現在の脳波信号に基づき推定された前記ユーザの状態から、脳波トレーニングに用いられる第１脳波信号により示される前記ユーザの所定状態への遷移を誘導するようトレーニングする処理部であって、前記所定状態のトレーニング履歴に基づき選択されるコンテンツにより刺激された前記現在の脳波信号に基づいて、前記所定状態に近づいているか否かを前記ユーザにフィードバックしながらトレーニングする処理部と、
を備える情報処理装置。

【請求項2】

前記モデルは、他人の脳波信号と、当該脳波信号の取得時の前記他人の状態とが学習された所定モデルに対して、前記ユーザの脳波信号と、当該脳波信号の取得時の前記ユーザの状態とを追加して学習され、カスタマイズされたモデルである、請求項１に記載の情報処理装置。

【請求項3】

情報処理装置に含まれる１又は複数のプロセッサが、
ユーザに装着される脳波測定デバイスから出力される脳波信号を取得すること、
前記ユーザの所定の脳波信号と、当該所定の脳波信号の取得時の前記ユーザの状態とを学習したモデルを用いて、取得される脳波信号から前記ユーザの状態を推定すること、
現在の脳波信号に基づき推定された前記ユーザの状態から、脳波トレーニングに用いられる第１脳波信号により示される前記ユーザの所定状態への遷移を誘導するようトレーニングすることであって、前記所定状態のトレーニング履歴に基づき選択されるコンテンツにより刺激された前記現在の脳波信号に基づいて、前記所定状態に近づいているか否かを前記ユーザにフィードバックしながらトレーニングすること、
を実行する情報処理方法。

【請求項4】

情報処理装置に含まれる１又は複数のプロセッサに、
ユーザに装着される脳波測定デバイスから出力される脳波信号を取得すること、
前記ユーザの所定の脳波信号と、当該所定の脳波信号の取得時の前記ユーザの状態とを学習したモデルを用いて、取得される脳波信号から前記ユーザの状態を推定すること、
現在の脳波信号に基づき推定された前記ユーザの状態から、脳波トレーニングに用いられる第１脳波信号により示される前記ユーザの所定状態への遷移を誘導するようトレーニングすることであって、前記所定状態のトレーニング履歴に基づき選択されるコンテンツにより刺激された前記現在の脳波信号に基づいて、前記所定状態に近づいているか否かを前記ユーザにフィードバックしながらトレーニングすること、
を実行させるプログラム。