(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-15
(45)【発行日】2023-06-23
(54)【発明の名称】情報処理システム、情報処理装置及びプログラム
(51)【国際特許分類】
A61B 5/38 20210101AFI20230616BHJP
【FI】
A61B5/38
(21)【出願番号】P 2019068551
(22)【出願日】2019-03-29
【審査請求日】2021-12-20
(31)【優先権主張番号】P 2018090200
(32)【優先日】2018-05-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】521110943
【氏名又は名称】株式会社Agama-X
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】木村 努
(72)【発明者】
【氏名】井戸 聞多
(72)【発明者】
【氏名】岡野 真士
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特表2014-507889(JP,A)
【文献】特表2017-526406(JP,A)
【文献】特許第5579352(JP,B1)
【文献】米国特許出願公開第2012/0244917(US,A1)
【文献】特許第4861538(JP,B2)
【文献】特表2018-504719(JP,A)
【文献】特開2009-189398(JP,A)
【文献】米国特許出願公開第2016/0320840(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/24-5/398
(57)【特許請求の範囲】
【請求項1】
利用者の脳波を測定する測定手段と、
前記利用者に向けて音を出力する出力手段と、
前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段と
を備え、
前記出力手段によって出力される音の周波数が脳波の周波数の最大値以下になる回数が閾値に達した場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促す
情報処理システム。
【請求項2】
利用者の脳波を測定する測定手段と、
前記利用者に向けて音を出力する出力手段と、
前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段と
を備え、
前記出力手段によって脳波の周波数の最大値以下の周波数の音が出力される時間が閾値に達した場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする情報処理システム。
【請求項3】
利用者の脳波を測定する測定手段と、
前記利用者に向けて音を出力する出力手段と、
前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段と
を備え、
音を補正する指示を受け付けた場合に、前記出力手段によって出力される音を補正し、
音の補正は、前記出力手段が脳波の周波数の最大値以下の周波数の音を出力しないようにする処理であること
を特徴とする情報処理システム。
【請求項4】
前記処理は、前記脳波の周波数の最大値以下の周波数の音を削除した音を出力する処理であること
を特徴とする請求項
3に記載の情報処理システム。
【請求項5】
前記処理は、前記脳波の周波数の最大値以下の周波数の音を圧縮した音を出力する処理であること
を特徴とする請求項
3に記載の情報処理システム。
【請求項6】
前記処理は、前記脳波の周波数の最大値より高くなるように周波数をシフトした音を出力する処理であること
を特徴とする請求項
3に記載の情報処理システム。
【請求項7】
補正された音を保存する保存手段をさらに備え、
前記出力手段は、次に前記出力手段より出力される音の補正が行われる場合には、前記保存手段に保存された音を出力すること
を特徴とする請求項
3に記載の情報処理システム。
【請求項8】
前記出力手段によって出力される音の音圧に関する値が予め定められた条件を満たす場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
3~
6の何れか1項に記載の情報処理システム。
【請求項9】
前記出力手段によって出力される音の音圧の設定値が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
8に記載の情報処理システム。
【請求項10】
前記出力手段によって出力される音の音圧の設定値に対応する電圧の振幅が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
8に記載の情報処理システム。
【請求項11】
前記出力手段によって出力される音の音圧の設定値に対応する電力量が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
8に記載の情報処理システム。
【請求項12】
前記出力手段が外部から検知される音を打ち消す音を出力する際の当該音に関する値が、予め定められた条件を満たす場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
3~
6の何れか1項に記載の情報処理システム。
【請求項13】
前記出力手段が外部から検知される音を打ち消す音を出力するのに消費される電力量が予め定められた閾値以上の場合に、音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
12に記載の情報処理システム。
【請求項14】
利用者の脳波を測定する測定手段と、
前記利用者に向けて音を出力する出力手段と、
前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段と
を備え、
前記出力手段によって出力される音のうち、脳波の周波数の最大値以下の周波数の音の強度に関する値が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする情報処理システム。
【請求項15】
前記出力手段によって出力される音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合、次に当該音を出力する際に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
14に記載の情報処理システム。
【請求項16】
前記出力手段によって出力される音が外部から検知される音を打ち消す音であって、当該音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すこと
を特徴とする請求項
14に記載の情報処理システム。
【請求項17】
利用者の脳波を測定する測定手段と、
前記脳波を測定しつつ、補正された音を前記利用者に向けて出力する出力手段と
を備え、
前記出力手段によって出力される音の周波数が脳波の周波数の最大値以下になる回数が閾値に達した場合に、前記出力手段より出力される音を補正すること
を特徴とする情報処理装置。
【請求項18】
利用者の脳波を測定する測定手段と、
前記脳波を測定しつつ、補正された音を前記利用者に向けて出力する出力手段と
を備え、
前記出力手段によって脳波の周波数の最大値以下の周波数の音が出力される時間が閾値に達した場合に、前記出力手段より出力される音を補正すること
を特徴とする情報処理装置。
【請求項19】
利用者の脳波を測定する測定手段と、
前記脳波を測定しつつ、補正された音を前記利用者に向けて出力する出力手段と
を備え、
前記出力手段によって出力される音のうち、脳波の周波数の最大値以下の周波数の音の強度に関する値が予め定められた閾値以上の場合に、前記出力手段より出力される音を補正すること
を特徴とする情報処理装置。
【請求項20】
前記出力手段によって出力される音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合、次に当該音を出力する際に当該音を補正すること
を特徴とする請求項
19に記載の情報処理装置。
【請求項21】
前記出力手段によって出力される音が外部から検知される音を打ち消す音であって、当該音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合に、前記出力手段より出力される音を補正すること
を特徴とする請求項
19に記載の情報処理装置。
【請求項22】
コンピュータを、請求項1~
16の何れか1項に記載の情報処理システムの各手段として機能させるためのプログラム。
【請求項23】
コンピュータを、請求項
17~
21の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
例えば、特許文献1には、使用者の脳波を計測する脳波計側部と、使用者に音響信号を提示する電気音響変換機と、電気音響変換機から電極に混入した電気的ノイズを推定するノイズ推定部とを備えた脳波計測装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
利用者の脳波を測定する場合に、例えば音楽などの音を出力すると、出力された音の周波数が脳波の周波数と重なって脳波測定のノイズとなり、正確に脳波を測定できない場合がある。
本発明の目的は、音の影響を減らして脳波を測定することにある。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、利用者の脳波を測定する測定手段と、前記利用者に向けて音を出力する出力手段と、前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段とを備え、前記出力手段によって出力される音の周波数が脳波の周波数の最大値以下になる回数が閾値に達した場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促す情報処理システムである。
請求項2に記載の発明は、利用者の脳波を測定する測定手段と、前記利用者に向けて音を出力する出力手段と、前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段とを備え、前記出力手段によって脳波の周波数の最大値以下の周波数の音が出力される時間が閾値に達した場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする情報処理システムである。
請求項3に記載の発明は、利用者の脳波を測定する測定手段と、前記利用者に向けて音を出力する出力手段と、前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段とを備え、音を補正する指示を受け付けた場合に、前記出力手段によって出力される音を補正し、音の補正は、前記出力手段が脳波の周波数の最大値以下の周波数の音を出力しないようにする処理であることを特徴とする情報処理システムである。
請求項4に記載の発明は、前記処理は、前記脳波の周波数の最大値以下の周波数の音を削除した音を出力する処理であることを特徴とする請求項3に記載の情報処理システムである。
請求項5に記載の発明は、前記処理は、前記脳波の周波数の最大値以下の周波数の音を圧縮した音を出力する処理であることを特徴とする請求項3に記載の情報処理システムである。
請求項6に記載の発明は、前記処理は、前記脳波の周波数の最大値より高くなるように周波数をシフトした音を出力する処理であることを特徴とする請求項3に記載の情報処理システムである。
請求項7に記載の発明は、補正された音を保存する保存手段をさらに備え、前記出力手段は、次に前記出力手段より出力される音の補正が行われる場合には、前記保存手段に保存された音を出力することを特徴とする請求項3に記載の情報処理システムである。
請求項8に記載の発明は、前記出力手段によって出力される音の音圧に関する値が予め定められた条件を満たす場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする請求項3~6の何れか1項に記載の情報処理システムである。
請求項9に記載の発明は、前記出力手段によって出力される音の音圧の設定値が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする請求項8に記載の情報処理システムである。
請求項10に記載の発明は、前記出力手段によって出力される音の音圧の設定値に対応する電圧の振幅が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする請求項8に記載の情報処理システムである。
請求項11に記載の発明は、前記出力手段によって出力される音の音圧の設定値に対応する電力量が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする請求項8に記載の情報処理システムである。
請求項12に記載の発明は、前記出力手段が外部から検知される音を打ち消す音を出力する際の当該音に関する値が、予め定められた条件を満たす場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする請求項3~6の何れか1項に記載の情報処理システムである。
請求項13に記載の発明は、前記出力手段が外部から検知される音を打ち消す音を出力するのに消費される電力量が予め定められた閾値以上の場合に、音の補正を指示するように前記利用者に促すことを特徴とする請求項12に記載の情報処理システムである。
請求項14に記載の発明は、利用者の脳波を測定する測定手段と、前記利用者に向けて音を出力する出力手段と、前記脳波を測定しつつ前記音を出力する場合に当該音を補正する指示を受け付ける受付手段とを備え、前記出力手段によって出力される音のうち、脳波の周波数の最大値以下の周波数の音の強度に関する値が予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする情報処理システムである。
請求項15に記載の発明は、前記出力手段によって出力される音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合、次に当該音を出力する際に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする請求項14に記載の情報処理システムである。
請求項16に記載の発明は、前記出力手段によって出力される音が外部から検知される音を打ち消す音であって、当該音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合に、前記出力手段より出力される音の補正を指示するように前記利用者に促すことを特徴とする請求項14に記載の情報処理システムである。
請求項17に記載の発明は、利用者の脳波を測定する測定手段と、前記脳波を測定しつつ、補正された音を前記利用者に向けて出力する出力手段とを備え、前記出力手段によって出力される音の周波数が脳波の周波数の最大値以下になる回数が閾値に達した場合に、前記出力手段より出力される音を補正することを特徴とする情報処理装置である。
請求項18に記載の発明は、利用者の脳波を測定する測定手段と、前記脳波を測定しつつ、補正された音を前記利用者に向けて出力する出力手段とを備え、前記出力手段によって脳波の周波数の最大値以下の周波数の音が出力される時間が閾値に達した場合に、前記出力手段より出力される音を補正することを特徴とする情報処理装置である。
請求項19に記載の発明は、利用者の脳波を測定する測定手段と、前記脳波を測定しつつ、補正された音を前記利用者に向けて出力する出力手段とを備え、前記出力手段によって出力される音のうち、脳波の周波数の最大値以下の周波数の音の強度に関する値が予め定められた閾値以上の場合に、前記出力手段より出力される音を補正することを特徴とする情報処理装置である。
請求項20に記載の発明は、前記出力手段によって出力される音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合、次に当該音を出力する際に当該音を補正することを特徴とする請求項19に記載の情報処理装置である。
請求項21に記載の発明は、前記出力手段によって出力される音が外部から検知される音を打ち消す音であって、当該音のうち、前記脳波の周波数の最大値以下の周波数の音の強度に関する値が前記予め定められた閾値以上の場合に、前記出力手段より出力される音を補正することを特徴とする請求項19に記載の情報処理装置である。
請求項22に記載の発明は、コンピュータを、請求項1~16の何れか1項に記載の情報処理システムの各手段として機能させるためのプログラムである。
請求項23に記載の発明は、コンピュータを、請求項17~21の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラムである。
【発明の効果】
【0006】
請求項1記載の発明によれば、音の影響を減らして脳波を測定することができる。
また、音の補正を指示するように利用者に促すことなく音を出力する構成と比較して、補正せずに音を出力することが抑制される。
また、より確実に、補正せずに音を出力することが抑制される。
請求項2記載の発明によれば、より確実に、補正せずに音を出力することが抑制される。
請求項1又は請求項2記載の発明によれば、補正せずに音を出力することを選択できる。
請求項3記載の発明によれば、音の影響を減らして脳波を測定することができる。
また、より確実に、音の影響を減らして脳波を測定することができる。
請求項4記載の発明によれば、より確実に、音の影響を減らして脳波を測定することができる。
請求項5記載の発明によれば、音を削除する場合と比較して、音を削除することによる違和感を低減して、音の影響を減らして脳波を測定することができる。
請求項6記載の発明によれば、音を削除する場合と比較して、音を削除することによる違和感を低減して、音の影響を減らして脳波を測定することができる。
請求項7記載の発明によれば、過去に補正が行われた音を出力する際に再度補正を行う構成と比較して、補正による負荷を軽減することができる。
請求項8記載の発明によれば、音の補正を指示するように利用者に促すことなく音を出力する構成と比較して、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項9記載の発明によれば、音圧の設定値により、音の補正を指示するように利用者に促すことができる。
請求項10記載の発明によれば、音圧の設定値に対応する電圧の振幅により、音の補正を指示するように利用者に促すことができる。
請求項11記載の発明によれば、音圧の設定値に対応する電力量により、音の補正を指示するように利用者に促すことができる。
請求項12記載の発明によれば、外部から検知される音を打ち消す音を出力する場合に、音の補正を指示するように利用者に促すことなく音を出力する構成と比較して、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項13記載の発明によれば、消費される電力量により、音の補正を指示するように利用者に促すことができる。
請求項14記載の発明によれば、特定の周波数以下の周波数の音の強度に関する値が予め定められた閾値以上であっても、音の補正を指示するように利用者に促すことなく音を出力する構成と比較して、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項15記載の発明によれば、次に音を出力する際に、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項16記載の発明によれば、外部から検知される音を打ち消す音を出力する場合にも、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項17記載の発明によれば、音の影響を減らして脳波を測定することができる。
また、利用者が音を補正するように指示しない限り音を補正しない構成と比較して、補正せずに音を出力することが抑制される。
また、より確実に、補正せずに音を出力することが抑制される。
請求項18記載の発明によれば、より確実に、補正せずに音を出力することが抑制される。
請求項19記載の発明によれば、特定の周波数以下の周波数の音の強度に関する値が予め定められた閾値以上であっても、利用者が音を補正するように指示しない限り音を補正しない構成と比較して、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項20記載の発明によれば、次に音を出力する際に、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項21記載の発明によれば、外部から検知される音を打ち消す音を出力する場合にも、脳波の測定に影響を与える音を出力することが抑制されるとともに、出力する音の質を下げ過ぎずに済むことができる。
請求項22記載の発明によれば、音の影響を減らして脳波を測定することができる。
請求項23記載の発明によれば、音の影響を減らして脳波を測定することができる。
【図面の簡単な説明】
【0007】
【
図1】本実施の形態に係る脳波測定システムの全体構成例を示した図である。
【
図2】ヒアラブルデバイスのハードウェア構成例を示す図である。
【
図3】利用者端末のハードウェア構成例を示す図である。
【
図4】ヒアラブルデバイスのコンピュータの機能構成例を示したブロック図である。
【
図5】利用者端末の機能構成例を示したブロック図である。
【
図6-1】利用者端末による処理の手順の一例を示したフローチャートである。
【
図6-2】利用者端末による処理の手順の一例を示したフローチャートである。
【
図7】ヒアラブルデバイスによる処理の手順の一例を示したフローチャートである。
【
図8】(a)、(b)は、利用者端末のディスプレイに表示される画面の一例を示す図である。
【
図9】音楽の補正の一例を説明するための図である。
【
図10】(a)、(b)は、ヒアラブルデバイスに対して送信される音楽が予め定められた条件を満たす場合の一例を説明するための図である。
【
図11】高音質ボタンを設けた場合のホーム画面の一例を示す図である。
【
図12】高音質ボタンを設けた場合の利用者端末による処理の手順の一例を示したフローチャートである。
【
図13】(a)、(b)は、自動的に音楽の補正を開始する場合の画面の一例を示す図である。
【
図14】自動的に音楽の補正を開始する場合の利用者端末による処理の手順の一例を示したフローチャートである。
【
図15】(a)、(b)は、音楽の補正の他の例を説明するための図である。
【
図16】(a)、(b)は、音楽の補正の他の例を説明するための図である。
【
図17】ヒアラブルデバイスのスピーカの構成の一例を示す図である。
【
図18】(A)は、音を出力する際の電圧と脳波信号のノイズとの関係の一例を示す図である。(B)、(C)は、音を出力する際の電圧の一例を示す図である。
【
図19】音の強度と周波数との関係の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0009】
<システム全体の構成>
まず、本実施の形態に係る脳波測定システム1の全体構成について説明する。
図1は、本実施の形態に係る脳波測定システム1の全体構成例を示した図である。
図示するように、この脳波測定システム1は、利用者の脳波を測定(センシング)するヒアラブルデバイス2と、利用者からの操作を受け付ける利用者端末3とを有している。本実施の形態では、情報処理システムの一例として、脳波測定システム1が用いられる。また、情報処理装置の一例としてヒアラブルデバイス2が用いられる。
【0010】
なお、ヒアラブルデバイス2と利用者端末3との間は無線による通信が行われる。より具体的には、ヒアラブルデバイス2と利用者端末3との間でBluetooth(登録商標)にてペアリングされ、通信が行われる。ただし、ヒアラブルデバイス2と利用者端末3との間の通信の手法は、Bluetoothを用いた手法に限られず、他の無線技術を用いてもよい。また、ヒアラブルデバイス2と利用者端末3との間を有線で接続して通信を行ってもよい。
【0011】
ヒアラブルデバイス2は、イヤフォン型の形状を有し、脳波を測定する対象の利用者の耳に装着される。そして、ヒアラブルデバイス2は、利用者の脳波を測定し、測定した脳波の情報を利用者端末3に送信する。なお、脳波は、後述する脳波センサ24(
図2参照)によって検出される電位情報を基に測定される。
また、ヒアラブルデバイス2は、利用者端末3から音楽のデータを受信し、利用者に向けて音楽を出力する。ここで、ヒアラブルデバイス2は、例えば、利用者が、希望する状態(例えば、集中状態、リラックス状態など)を利用者端末3等で指定すると、その指定された状態になるように利用者の状態を遷移させるための音楽を出力する。
【0012】
このように、ヒアラブルデバイス2は、利用者の脳波を測定するとともに、利用者に向けて音楽を出力する。ここで、ヒアラブルデバイス2から出力された音楽の周波数が脳波の周波数と重なると、脳波測定のノイズとなり、利用者の脳波を正確に測定できないことが考えられる。そこで、本実施の形態では、利用者端末3が音楽の補正を行う。そして、ヒアラブルデバイス2は、補正された音楽を利用者端末3から受信して、利用者に向けて出力する。
【0013】
利用者端末3は、利用者からの操作を受け付ける端末装置であり、例えば、タブレット型のコンピュータやスマートフォンなどの携帯型の情報端末が例示される。ここで、利用者端末3は、ヒアラブルデバイス2から、利用者の脳波の情報を受信する。また、利用者端末3は、ヒアラブルデバイス2に音楽のデータを送信する。さらに、利用者端末3は、脳波を測定しつつ音楽を出力するにあたり、音楽を補正する設定がされた場合には、音楽を補正して、補正された音楽のデータをヒアラブルデバイス2に送信する。
【0014】
<ヒアラブルデバイスのハードウェア構成>
次に、ヒアラブルデバイス2のハードウェア構成について説明する。
図2は、ヒアラブルデバイス2のハードウェア構成例を示す図である。図示するように、ヒアラブルデバイス2は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、脳波センサ24、スピーカ25、無線通信部26を備える。
【0015】
CPU21は、プログラム(基本ソフトウェアを含む)の実行を通じてヒアラブルデバイス2全体を制御する。
ROM22は、BIOS(Basic Input Output System)や基本ソフトウェア等のプログラムを記憶する。ROM22は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
RAM23は、プログラムの実行領域として使用される。
CPU21、ROM22、RAM23は、コンピュータ20として機能する。例えば、CPU21が、ROM22に記憶された各種プログラム等をRAM23にロードして実行することにより、ヒアラブルデバイス2の各機能を実現する。
【0016】
測定手段の一例としての脳波センサ24は、利用者の脳波の電位情報を検出して、脳波の測定を行う。例えば、脳波センサ24には、脳波の電位情報を検出する複数の電極が設けられる。各電極は、利用者がヒアラブルデバイス2を装着したときに脳波を測定し易い位置に配置されている。そして、脳波センサ24は、例えば、2つの電極間の電位差を増幅し、脳波として測定する。ただし、本実施の形態では、脳波を測定する手法は限定されるものではなく、従来の手法を用いればよい。
【0017】
なお、脳波センサ24によって測定された脳波の情報は、無線通信部26を介して利用者端末3に送信される。利用者端末3に送信される前に、CPU21によって、例えば、脳波信号中に含まれるノイズを除去して波形を整形する処理や、脳波信号をさらに増幅する処理などの各種処理を行ってもよい。
【0018】
出力手段の一例としてのスピーカ25は、利用者端末3から受信した音楽のデータを基に、利用者に向けて音楽を出力する。ここで、脳波を測定するにあたり、音楽が補正される場合には、スピーカ25は、補正された音楽を利用者に向けて出力する。
【0019】
無線通信部26は、無線通信を行うためのアンテナを含み、外部と無線通信を行うインタフェースとして機能する。例えば、無線通信部26は、脳波センサ24によって測定された脳波の情報を利用者端末3に送信したり、利用者端末3から音楽のデータを受信したりする。なお、無線通信では、上述のように例えばBluetoothが用いられる。
【0020】
<利用者端末のハードウェア構成>
次に、利用者端末3のハードウェア構成について説明する。
図3は、利用者端末3のハードウェア構成例を示す図である。
【0021】
利用者端末3は、ファームウェアやアプリケーション・プログラムの実行を通じて各種の機能を提供するCPU31と、ファームウェアやBIOSを格納する記憶領域であるROM32と、プログラムの実行領域であるRAM33を有している。
また、利用者端末3は、ダウンロードしたアプリケーション・プログラムや、ヒアラブルデバイス2から受信した利用者の脳波の情報、ヒアラブルデバイス2に送信する音楽のデータ等を記憶する不揮発性の記憶装置34と、外部との通信に使用される通信インタフェース(通信IF)35と、タッチパネル等の入力デバイス36と、情報の表示に使用されるディスプレイ等を含む表示デバイス37と、撮像カメラ38とを有している。記憶装置34には、例えば半導体メモリが用いられる。
ここで、CPU31と各種のデバイスはバス39を通じて接続されている。
【0022】
<ヒアラブルデバイスのコンピュータの機能構成>
次に、ヒアラブルデバイス2のコンピュータ20の機能構成について説明する。
図4は、ヒアラブルデバイス2のコンピュータ20の機能構成例を示したブロック図である。図示するように、ヒアラブルデバイス2のコンピュータ20は、音楽受信部201、音楽再生部202、脳波センサ制御部203を備える。
【0023】
音楽受信部201は、無線通信部26(
図2参照)を介して、利用者端末3から音楽のデータを受信する。ここで、音楽を補正する場合には、音楽受信部201は、補正された音楽のデータを受信する。
【0024】
音楽再生部202は、音楽受信部201が受信した音楽のデータを基に、音楽を再生する。再生された音楽は、スピーカ25(
図2参照)から利用者に向けて出力される。
【0025】
脳波センサ制御部203は、脳波センサ24の動作を制御する。ここで、脳波センサ制御部203は、脳波センサ24が脳波の測定を開始するように制御したり、脳波の測定を終了するように制御したりする。また、脳波センサ制御部203は、無線通信部26を介して、脳波センサ24にて測定された脳波の情報を利用者端末3に送信する。
【0026】
そして、
図4に示すヒアラブルデバイス2を構成する各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、例えば、ヒアラブルデバイス2を
図2に示したハードウェア構成にて実現した場合、ROM22等に格納されているプログラム等が、RAM23に読み込まれてCPU21に実行されることにより、音楽受信部201、音楽再生部202、脳波センサ制御部203等の機能部が実現される。
【0027】
<利用者端末の機能構成>
次に、利用者端末3の機能構成について説明する。
図5は、利用者端末3の機能構成例を示したブロック図である。図示するように、利用者端末3は、表示制御部301、操作受付部302、補正前データ格納部303、補正後データ格納部304、音楽補正部305、補正指示通知部306、音楽データ出力部307、脳波測定指示部308、脳波情報取得部309を備える。
【0028】
表示制御部301は、表示デバイス37における表示を制御するための制御信号を生成し、表示デバイス37の表示を制御する。
【0029】
受付手段の一例としての操作受付部302は、利用者からの操作を受け付ける。ここで、操作受付部302は、例えば、表示デバイス37のディスプレイ等に表示された画面上で、集中状態などの希望する状態を選択する操作を受け付ける。また、操作受付部302は、例えば、音楽を補正することを指示する操作を受け付ける。
【0030】
補正前データ格納部303は、ヒアラブルデバイス2に送信される音楽のデータを格納する。補正前データ格納部303に格納される音楽のデータは、補正前の(補正が行われていない)音楽のデータである。
【0031】
保存手段の一例としての補正後データ格納部304は、補正後の音楽のデータを格納する。補正後データ格納部304に格納される音楽のデータは、補正前データ格納部303に格納されている音楽のデータに対して、音楽補正部305の補正が施されたデータである。ある音楽について補正が行われ、そのデータが補正後データ格納部304に格納されると、次にその音楽の補正が行われる場合には、補正後データ格納部304に格納済みのデータが用いられる。
【0032】
音楽補正部305は、音楽を補正する設定がされている場合に、ヒアラブルデバイス2のスピーカ25から出力される音楽を補正する。ここで、音楽を補正する設定は、例えば、利用者から、音楽を補正することを指示する操作を受け付けたことにより、行われる。また、利用者端末3の初期設定として、音楽を補正する設定がされていてもよい。この場合、初期設定の段階で、音楽を補正する指示を受け付けたものと捉えることができる。
【0033】
ここで、音楽の補正とは、脳波測定に影響を与えないようにする処理、言い換えると、脳波に対する音楽の影響を減らすための処理である。より具体的には、音楽の補正とは、スピーカ25が予め定められた周囲数以下の周波数(又は、予め定められた周波数を下回る周波数)の音楽を出力しないようにする処理である。言い換えると、スピーカ25が出力する音楽の周波数が脳波の周波数と重ならないようにするために、脳波の周波数帯域と同じ帯域の周波数の音楽を出力しないようにする処理である。以下、ここでの予め定められた周波数を「指定周波数」と称する場合がある。
【0034】
一般に、脳波の周波数に着目した場合、脳波は、γ波、β波、α波、θ波、δ波という5種類の成分に分類される。
γ波は30~80ヘルツ(Hz)の周波数を有する波形であり、強い不安や興奮した状態で現れるといわれている。
β波は30~13ヘルツの周波数を有する波形であり、緊張時やストレスがある状態で現れるといわれている。
α波は13~8ヘルツの周波数を有する波形であり、落ち着いた(リラックスした)状態や目を閉じている状態で現れるといわれている。
θ波は8~4ヘルツの周波数を有する波形であり、深いリラックスの状態や睡眠時に現れるといわれている。
δ波は4ヘルツ未満の周波数を有する波形であり、熟睡時や昏睡時に現れるといわれている。
【0035】
そこで、指定周波数を、例えば上述した一般的な脳波の周波数の最大値である80ヘルツとして、スピーカ25が80ヘルツ以下の周波数の音楽を出力しないように処理が行われる。
より具体的には、音楽補正部305は、例えば、補正前データ格納部303に格納された音楽のデータに対して、80ヘルツ以下の周波数の音楽のデータを削除(カット)する処理を行う。この処理により、80ヘルツ以下の周波数の音楽を削除した音楽(即ち、80ヘルツより高い周波数の音楽)がヒアラブルデバイス2に送信され、スピーカ25から出力される。
また、音楽補正部305の補正が施された補正後の音楽のデータは、補正後データ格納部304に格納される。
【0036】
補正指示通知部306は、ヒアラブルデバイス2のスピーカ25から出力される音楽、言い換えると、利用者端末3からヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たす場合に、音楽の補正を指示するように利用者に促す。
ここで、補正指示通知部306は、例えば、利用者端末3からヒアラブルデバイス2に対して送信される音楽の周波数が予め定められた周波数以下になる回数が閾値に達した場合に、音楽の補正を指示するように利用者に促す。また、補正指示通知部306は、例えば、予め定められた周波数以下の周波数の音楽がヒアラブルデバイス2のスピーカ25から出力される時間、言い換えると、利用者端末3からヒアラブルデバイス2に対して予め定められた周波数以下の周波数の音楽が送信される時間が閾値に達した場合に、音楽の補正を指示するように利用者に促す。
【0037】
なお、ここでの予め定められた周波数は、音楽の補正に適用される周波数ではなく、利用者への通知のための周波数である。そのため、予め定められた周波数として、上述した指定周波数の値を用いてもよいが、指定周波数とは異なる値を用いてもよい。例えば、予め定められた周波数は、指定周波数よりも高い周波数の値に設定される。
【0038】
また、音楽の補正を指示するように利用者に促す手法としては、例えば、スピーカ25から警告音を出力することが挙げられる。この場合、補正指示通知部306は、ヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たすと、ヒアラブルデバイス2に対して警告音を出力するように指示する。そして、スピーカ25から警告音が出力される。また、例えば、利用者端末3のディスプレイにメッセージや画面を表示してもよい。この場合、補正指示通知部306は、ヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たすと、音楽の補正を指示することを促すためのメッセージをディスプレイに表示するように、表示制御部301に指示する。そして、表示制御部301は、メッセージをディスプレイに表示する。
【0039】
音楽データ出力部307は、ヒアラブルデバイス2に対して音楽のデータを送信する。ここで、音楽の補正が行われない場合、音楽データ出力部307は、補正前データ格納部303に格納されている音楽のデータをヒアラブルデバイス2に送信する。
一方、音楽の補正が行われる場合、音楽データ出力部307は、補正前データ格納部303に格納されている音楽のデータに対して音楽補正部305の補正が施された補正後の音楽のデータを、ヒアラブルデバイス2に送信する。
なお、1度補正が行われて補正後データ格納部304にデータが格納済みの音楽について、次に音楽の補正が行われる場合には、音楽データ出力部307は、補正後データ格納部304に格納されている音楽のデータをヒアラブルデバイス2に送信する。
【0040】
脳波測定指示部308は、ヒアラブルデバイス2に対して、利用者の脳波を測定するように指示する。ここで、脳波測定指示部308は、例えば、操作受付部302が、集中状態などの希望する状態を選択する操作を受け付けた場合に、利用者の脳波を測定するように指示する。
【0041】
脳波情報取得部309は、ヒアラブルデバイス2から、ヒアラブルデバイス2にて測定された利用者の脳波の情報を取得する。
【0042】
そして、
図5に示す利用者端末3を構成する各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、例えば、利用者端末3を
図3に示したハードウェア構成にて実現した場合、ROM32や記憶装置34等に格納されているプログラム等が、RAM33に読み込まれてCPU31に実行されることにより、表示制御部301、操作受付部302、音楽補正部305、補正指示通知部306、音楽データ出力部307、脳波測定指示部308、脳波情報取得部309等の機能部が実現される。また、補正前データ格納部303、補正後データ格納部304は、例えば、記憶装置34により実現される。
【0043】
<利用者端末の処理手順>
次に、利用者端末3による処理の手順について説明する。
図6-1及び
図6-2は、利用者端末3による処理の手順の一例を示したフローチャートである。
【0044】
まず、利用者が希望する状態を選択することにより、利用者端末3の操作受付部302は、希望する状態を選択する操作を受け付ける(ステップ101)。この例では、利用者が「集中状態」を選択したものとする。
次に、脳波測定指示部308は、ヒアラブルデバイス2に対して、利用者の脳波を測定するように指示する(ステップ102)。この指示により、ヒアラブルデバイス2にて脳波の測定が開始される。次に、脳波測定指示部308は、操作受付部302が脳波の測定を終了する操作を受け付けたか否かを判定する(ステップ103)。
【0045】
ステップ103で否定の判断(NO)がされた場合、引き続き、ヒアラブルデバイス2にて脳波の測定が行われる。
一方、ステップ103で肯定の判断(YES)がされた場合、脳波測定指示部308は、ヒアラブルデバイス2に対して、脳波の測定を終了するように指示する(ステップ104)。この指示により、ヒアラブルデバイス2にて脳波の測定が終了する。
【0046】
また、ステップ101の後、脳波測定に関するステップ102~ステップ104の処理と並行して、音楽再生に関する処理が行われる。
ステップ101の後、音楽補正部305は、音楽を補正する設定がされているか否かを判定する(ステップ105)。
ステップ105で肯定の判断(YES)がされた場合、音楽補正部305は、補正前データ格納部303に格納された音楽のデータに対して、補正を実行する(ステップ106)。この例では、音楽補正部305は、利用者を集中状態に遷移させる音楽を補正前データ格納部303から取得し、取得した音楽に対して補正を実行する。
一方、ステップ105で否定の判断(NO)がされた場合、音楽補正部305は、音楽の補正を行わない。
【0047】
次に、音楽データ出力部307は、音楽のデータをヒアラブルデバイス2に送信する(ステップ107)。この処理により、ヒアラブルデバイス2のスピーカ25から利用者に向けて音楽が出力される。ここで、ステップ106の補正が行われた場合には、音楽データ出力部307は、補正後の音楽のデータをヒアラブルデバイス2に送信する。一方、補正が行われない場合には、音楽データ出力部307は、補正前データ格納部303に格納された音楽のデータを取得し、取得した音楽のデータをヒアラブルデバイス2に送信する。この例では、音楽データ出力部307は、利用者を集中状態に遷移させる音楽を補正前データ格納部303から取得し、取得した音楽のデータをヒアラブルデバイス2に送信する。
【0048】
次に、音楽データ出力部307は、操作受付部302が音楽の出力を終了する操作を受け付けたか否かを判定する(ステップ108)。ここでの操作は、ステップ103の脳波の測定を終了する操作と同じ操作であってもよいし、別の操作であってもよい。
ステップ108で否定の判断(NO)がされた場合、ステップ105に移行する。例えば、補正されていない音楽が利用者に向けて出力されている場合に、利用者が音楽を補正することを指示する操作を行うと、ステップ105で肯定の判断(YES)がされる。この場合には、途中から、補正された音楽が利用者に向けて出力されるようになる。
一方、ステップ108で肯定の判断(YES)がされた場合、音楽データ出力部307は、音楽のデータを出力するのを終了する(ステップ109)。そのため、ヒアラブルデバイス2での音楽の出力も終了する。そして、本処理フローは終了する。
【0049】
また、
図6-2に示す処理手順は、ヒアラブルデバイス2に対して送信される音楽(即ち、ヒアラブルデバイス2のスピーカ25から出力される音楽)が予め定められた条件を満たす場合に、音楽の補正を指示するように利用者に促す手順である。この処理は、
図6-1に示すステップ101の後、ステップ109で音楽のデータの出力が終了するまで、ステップ102~ステップ108の処理と並行して行われる。なお、この例では、利用者に促す手法として、スピーカ25から警告音を出力するものとして説明する。
【0050】
図6-1に示すステップ101の後、補正指示通知部306は、音楽を補正する設定がされているか否かを判定する(ステップ201)。ステップ201で肯定の判断(YES)がされた場合、本処理フローは終了する。一方、ステップ201で否定の判断(NO)がされた場合、補正指示通知部306は、ヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たすか否かを判定する(ステップ202)。
【0051】
ステップ202で否定の判断(NO)がされた場合、引き続き、ステップ202の判断が行われる。一方、ステップ202で肯定の判断(YES)がされた場合、補正指示通知部306は、ヒアラブルデバイス2に対して警告音を出力するように指示する(ステップ203)。この指示により、ヒアラブルデバイス2にて、利用者に向けて警告音が出力される。
【0052】
次に、補正指示通知部306は、操作受付部302が音楽を補正することを指示する操作を受け付けたか否かを判定する(ステップ204)。ステップ204で否定の判断(NO)がされた場合、引き続き、ヒアラブルデバイス2にて警告音が出力される。一方、ステップ204で肯定の判断(YES)がされた場合、補正指示通知部306は、ヒアラブルデバイス2に対して警告音の出力を終了するように指示する(ステップ205)。この指示により、ヒアラブルデバイス2の警告音が停止する。そして、本処理フローは終了する。
【0053】
<ヒアラブルデバイスの処理手順>
次に、ヒアラブルデバイス2による処理の手順について説明する。
図7は、ヒアラブルデバイス2による処理の手順の一例を示したフローチャートである。
【0054】
まず、脳波センサ制御部203は、利用者端末3から脳波を測定する指示を受け付けると、利用者の脳波の測定を開始するように脳波センサ24を制御する(ステップ301)。次に、脳波センサ制御部203は、利用者端末3から脳波の測定を終了する指示を受け付けたか否かを判定する(ステップ302)。ステップ302で否定の判断(NO)がされた場合、引き続き、脳波の測定が行われる。一方、ステップ302で肯定の判断(YES)がされた場合、脳波センサ制御部203は、脳波の測定を終了するように脳波センサ24を制御する(ステップ303)。
なお、脳波センサ制御部203は、脳波の測定を終了すると、脳波センサ24で測定された脳波の情報を利用者端末3に送信する。ただし、脳波センサ制御部203は、脳波センサ24が脳波を測定するのと並行して、測定された脳波の情報を利用者端末3に送信してもよい。
【0055】
また、脳波測定に関するステップ301~ステップ303の処理と並行して、音楽再生に関する処理が行われる。
音楽再生部202は、音楽受信部201が利用者端末3から受信した音楽のデータを基に、音楽を再生する(ステップ304)。再生された音楽は、スピーカ25から利用者に向けて出力される。次に、音楽再生部202は、音楽受信部201における音楽の受信が終了したか否かを判定する(ステップ305)。ステップ305で否定の判断(NO)がされた場合、引き続き、音楽が再生される。一方、ステップ305で肯定の判断(YES)がされた場合、音楽再生部202は、音楽の再生を終了する(ステップ306)。そして、本処理フローは終了する。
【0056】
<脳波測定システムの処理の具体例>
次に、脳波測定システム1による処理について、具体例を挙げて説明する。
図8(a)、(b)は、利用者端末3のディスプレイに表示される画面の一例を示す図である。
図8(a)にはホーム画面41を示しており、ホーム画面41には音楽を再生するための各種項目が設けられる。例えば、利用者が希望する状態を選択した後、項目42の「曲」を選択すると、補正前データ格納部303に格納されている曲のうち、希望する状態に遷移させるための曲が一覧で表示される。そして、例えば、利用者が、一覧で表示された曲から何れかの曲を選択し、さらに再生ボタン43を選択すると、選択された曲のデータがヒアラブルデバイス2に送信される。そして、選択された曲がスピーカ25から利用者に向けて出力される。
【0057】
ここで、
図8(a)に示すように、周波数補正ボタン44の設定がONの場合には、音楽補正部305は、利用者に選択された曲のデータを補正前データ格納部303から取得して、取得した曲のデータを補正する。そして、補正後の曲のデータがヒアラブルデバイス2に送信される。
一方、周波数補正ボタン44の設定がOFFの場合には、音楽データ出力部307が、利用者に選択された曲のデータを補正前データ格納部303から取得して、取得した曲のデータは補正されることなく、ヒアラブルデバイス2に送信される。
なお、周波数補正ボタン44の設定は、例えば音楽の出力前や出力中に利用者が周波数補正ボタン44を選択することにより、ONとOFFの切り替えが可能である。また、周波数補正ボタン44を、初期設定でONにしてもよい。この場合、初期設定の段階で、音楽を補正する指示を受け付けているものといえる。
【0058】
また、
図8(a)に示すように、補正データ保存ボタン45の設定がOFFの場合には、音楽補正部305による補正後のデータは、補正後データ格納部304に格納されない。一方、補正データ保存ボタン45の設定がONの場合には、音楽補正部305による補正後のデータは、補正後データ格納部304に格納される。
なお、補正データ保存ボタン45の設定は、利用者が補正データ保存ボタン45を選択することにより、ONとOFFの切り替えが可能である。
【0059】
さらに、利用者が周波数補正の設定ボタン46を選択すると、音楽の補正についての各種設定を受け付ける補正設定画面47が表示される。
図8(b)に示すように、補正設定画面47では、指定周波数の設定が行われる。指定周波数の値は画面上で変更可能であり、この例では、80ヘルツに設定されている。
【0060】
また、
図9は、音楽の補正の一例を説明するための図である。
図9に示す例では、指定周波数を80ヘルツに設定した場合に、80ヘルツ以下の周波数の音楽のデータを削除することを示している。
より具体的には、周波数補正ボタン44の設定がOFFの場合には、例えば、スピーカ25からは20ヘルツ~2万ヘルツ(20キロヘルツ)の音楽が出力される。一方、周波数補正ボタン44の設定がONの場合には、補正が行われ、80ヘルツ以下の周波数の音楽のデータが削除される。その結果、スピーカ25からは、80ヘルツより高く2万ヘルツ以下の音楽が出力される。よって、スピーカ25から出力される音楽の周波数と、脳波の周波数(80ヘルツ以下)とは重ならないため、音楽の影響を減らして、利用者の脳波の測定がより正確に行われる。
【0061】
次に、補正指示通知部306が利用者に促す場合の例について説明する。
周波数補正ボタン44の設定がOFFの場合、ヒアラブルデバイス2に対して送信される音楽(即ち、スピーカ25から出力される音楽)が予め定められた条件を満たすと、補正指示通知部306は、音楽の補正を指示するように利用者に促す。言い換えると、補正指示通知部306は、周波数補正ボタン44の設定をONにするように利用者に促す。
【0062】
図10(a)、(b)は、ヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たす場合の一例を説明するための図である。
図10(a)に示す例では、ヒアラブルデバイス2に対して送信される音楽の周波数が予め定められた周波数以下になる回数が閾値に達した場合に、音楽の補正を指示するように利用者に促すものである。この例では、閾値は「5回」である。また、予め定められた周波数は80ヘルツであり、指定周波数と同じ値である。即ち、ヒアラブルデバイス2に対して送信される音楽の周波数が80ヘルツ以下になる回数が5回に達した場合、補正指示通知部306は、音楽の補正を指示するように利用者に促す。
【0063】
また、
図10(b)に示す例では、ヒアラブルデバイス2に対して予め定められた周波数以下の周波数の音楽が送信される時間が閾値に達した場合に、音楽の補正を指示するように利用者に促すものである。この例では、閾値は「10秒」である。また、予め定められた周波数は、
図10(a)と同様に、80ヘルツである。即ち、80ヘルツ以下の音楽がヒアラブルデバイス2に対して送信される時間が10秒に達した場合、より具体的には、T1、T2、T3、T4の合計が10秒に達したことにより、補正指示通知部306は、音楽の補正を指示するように利用者に促す。
【0064】
なお、補正指示通知部306が音楽の補正を指示するように利用者に促した後、利用者が周波数補正ボタン44の設定をONにすると、利用者へ促す処理は終了する。例えば、スピーカ25からの警告音が停止したり、利用者端末3のディスプレイに表示されたメッセージや画面が消去されたりする。
【0065】
ここで、利用者は、脳波を測定する場合であっても、音楽を高音質で聴きたい場合も考えられる。そこで、利用者端末3は、音楽を補正しない指示を受け付けてもよい。
図11は、高音質ボタン48を設けた場合のホーム画面41の一例を示す図である。
図10で説明したように、例えば、ヒアラブルデバイス2に対して送信される音楽の周波数が予め定められた周波数以下になる回数が閾値に達した場合や、ヒアラブルデバイス2に対して予め定められた周波数以下の周波数の音楽が送信される時間が閾値に達した場合、補正指示通知部306は、音楽の補正を指示するように利用者に促す。ここで、利用者は、周波数補正ボタン44の設定をONにしてもよいし、高音質ボタン48を選択してもよい。利用者が高音質ボタン48を選択すると、音楽補正部305による補正は行われずに、ヒアラブルデバイス2に対して音楽のデータが送信される。
【0066】
なお、高音質ボタン48の付近には、警告のメッセージが表示される。このメッセージは、ヒアラブルデバイス2から出力される音楽の周波数が脳波の周波数と重なることを警告するものである。
図11に示す例では、「測定データにノイズが発生する恐れがあります。」というメッセージが表示されている。このメッセージは常時表示されていてもよいが、例えば、音楽の補正を指示するように利用者に促す際に表示したり、利用者が高音質ボタン48を選択した際に表示したりしてもよい。
【0067】
また、補正指示通知部306が音楽の補正を指示するように利用者に促した後、利用者が高音質ボタン48を選択すると、周波数補正ボタン44の設定をONにする場合と同様に、利用者へ促す処理は終了する。より具体的には、例えば、スピーカ25からの警告音が停止したり、利用者端末3のディスプレイに表示されたメッセージや画面が消去されたりする。
【0068】
図12は、高音質ボタン48を設けた場合の利用者端末3による処理の手順の一例を示したフローチャートである。
図12に示す手順は、
図6-2に示す手順と同様に、
図6-1に示すステップ101の後、ステップ109で音楽のデータの出力が終了するまで、ステップ102~ステップ108の処理と並行して行われる。なお、この例では、利用者に促す手法として、スピーカ25から警告音を出力するものとして説明する。
【0069】
図6-1に示すステップ101の後、ステップ401の処理が開始される。ステップ401~ステップ403の処理は、
図6-2に示すステップ201~ステップ203の処理と同じであるため、ここでは説明を省略する。
ステップ403でヒアラブルデバイス2に対して警告音を出力するように指示した後、補正指示通知部306は、操作受付部302が音楽を補正することを指示する操作を受け付けたか否かを判定する(ステップ404)。
【0070】
ステップ404で肯定の判断(YES)がされた場合、補正指示通知部306は、ヒアラブルデバイス2に対して警告音の出力を終了するように指示する(ステップ405)。この指示により、ヒアラブルデバイス2の警告音が停止する。また、この場合、ヒアラブルデバイス2から、補正された音楽が出力される。そして、本処理フローは終了する。
一方、ステップ404で否定の判断(NO)がされた場合、補正指示通知部306は、操作受付部302が高音質ボタン48を選択する操作を受け付けたか否かを判定する(ステップ406)。
【0071】
ステップ406で否定の判断(NO)がされた場合、引き続き、ヒアラブルデバイス2にて警告音が出力される。一方、ステップ406で肯定の判断(YES)がされた場合、ステップ405に移行し、補正指示通知部306は、ヒアラブルデバイス2に対して警告音の出力を終了するように指示する。この指示により、ヒアラブルデバイス2の警告音が停止する。また、この場合、ヒアラブルデバイス2から、補正されずに音楽が出力される。そして、本処理フローは終了する。
【0072】
さらに、ヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たす場合に、補正指示通知部306が音楽の補正を指示するように利用者に促すのではなく、自動的に(即ち、利用者の操作を契機とせずに)音楽の補正を開始してもよい。ここでの予め定められた条件は、例えば、ヒアラブルデバイス2に対して送信される音楽の周波数が指定周波数以下になる回数が閾値に達した場合や、ヒアラブルデバイス2に対して予め定められた周波数以下の周波数の音楽が送信される時間が閾値に達した場合である。
【0073】
図13(a)、(b)は、自動的に音楽の補正を開始する場合の画面の一例を示す図である。
図13(a)に示すホーム画面41には、
図8(a)の場合と異なり、周波数補正ボタン44は設けられていない。その一方で、補正設定画面47には、
図13(b)に示すように、自動補正ボタン49が設けられる。利用者が自動補正ボタン49の設定をONにすると、ヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たす場合に、音楽補正部305によって補正が開始される。
【0074】
なお、自動補正ボタン49の設定は、例えば音楽の出力前や出力中に利用者が自動補正ボタン49を選択することにより、ONとOFFの切り替えが可能である。自動補正ボタン49がONの場合には、音楽を補正する指示を受け付けたものといえる。また、自動補正ボタン49がOFFの場合には、
図8(a)のように周波数補正ボタン44を表示させて、音楽の補正を指示する操作を受け付けてもよい。
【0075】
図14は、自動的に音楽の補正を開始する場合の利用者端末3による処理の手順の一例を示したフローチャートである。この処理手順は、自動補正ボタン49の設定がONの場合の手順である。
【0076】
まず、ステップ501~ステップ504の処理は、
図6-1に示すステップ101~ステップ104の処理と同じであるため、ここでは説明を省略する。
ステップ501の後、脳波測定に関するステップ502~ステップ504の処理と並行して、音楽再生に関する処理が行われる。
ステップ501の後、音楽補正部305は、ヒアラブルデバイス2に対して送信される音楽が予め定められた条件を満たすか否かを判定する(ステップ505)。
【0077】
ステップ505で肯定の判断(YES)がされた場合、音楽補正部305は、補正前データ格納部303に格納された音楽のデータに対して、補正を実行する(ステップ506)。一方、ステップ505で否定の判断(NO)がされた場合、音楽補正部305は、音楽の補正を行わない。
次のステップ507~ステップ509の処理は、
図6-1に示すステップ107~109の処理と同じであるため、ここでは説明を省略する。
このようにして、音楽補正部305による補正が自動的に開始される。
【0078】
<音楽を補正する処理の他の例>
次に、音楽補正部305が音楽を補正する処理の他の例について説明する。
図15及び
図16は、音楽の補正の他の例を説明するための図である。
図9に示す例では、スピーカ25が指定周囲数以下の周波数の音楽を出力しないようにするための処理として、指定周波数以下の周波数の音楽のデータを削除する処理を行った。ただし、スピーカ25が指定周囲数以下の周波数の音楽を出力しないようにするための処理は、音楽のデータを削除する処理に限られない。
例えば、指定周波数以下の周波数の音楽のデータを削除すると、利用者には削除された音楽が聴こえなくなるため、利用者が違和感を抱く場合もある。そこで、
図15に示す例では、スピーカ25が指定周囲数以下の周波数の音楽を出力しないようにするための処理として、指定周波数以下の周波数の音楽を圧縮する処理を行う。
【0079】
圧縮の処理では、例えば指定周波数を80ヘルツに設定した場合、音楽補正部305は、補正前の音楽のデータに対して、80ヘルツ以下の周波数帯域の音楽を、80ヘルツよりも高い周波数帯域に押し込む処理を行う。この処理により、補正後の音楽のデータは、80ヘルツより高い周波数帯域のデータとなる。なお、圧縮の処理では、指定周波数以下の周波数の音楽が、指定周波数より高い周波数帯域に押し込まれるため、もともと指定周波数より高い周波数帯域にある音楽についても、周波数の変更が行われる。
【0080】
図15(a)に示す例では、指定周波数を80ヘルツに設定した場合に、80ヘルツ以下の周波数を、80ヘルツ~100ヘルツの周波数帯域に押し込む場合を示している。
より具体的には、周波数補正ボタン44の設定がOFFの場合には、スピーカ25からは20ヘルツ~2万ヘルツの音楽が出力される。一方、周波数補正ボタン44の設定がONの場合には、補正が行われ、80ヘルツ以下の周波数の音楽のデータが80ヘルツ~100ヘルツの範囲(80ヘルツより高く100ヘルツ以下の範囲)の周波数帯域に押し込まれる。
【0081】
この場合、補正前の80ヘルツ~100ヘルツの範囲の音楽は、補正により80ヘルツ以下の音楽が押し込まれると、押し込まれた音楽よりも周波数が高くなければならない。そのため、補正前の80ヘルツ~100ヘルツの範囲の音楽は、圧縮により80ヘルツ以下の音楽が押し込まれた分、周波数が高くなるように変更される。その結果、スピーカ25からは、80ヘルツより高く2万ヘルツ以下の音楽が出力される。よって、スピーカ25から出力される音楽の周波数と、脳波の周波数(80ヘルツ以下)とは重ならないため、音楽の影響を減らして、利用者の脳波の測定がより正確に行われる。
【0082】
また、音楽補正部305は、音楽を補正する方式として、
図9の削除の処理だけに対応したり、
図15の圧縮の処理だけに対応したりしてもよいが、削除及び圧縮の両方に対応してもよい。
両方に対応する場合、補正設定画面47では、例えば、
図15(b)に示すように、削除の処理か、圧縮の処理かの何れかを選択するように構成される。
図15(b)に示す例では、削除方式ボタン50がOFF、圧縮方式ボタン51がONであり、圧縮の処理が選択されている。なお、削除方式ボタン50、圧縮方式ボタン51の設定は、利用者の選択によってONとOFFの切り替えが可能であり、何れかのボタンがONに設定される。
【0083】
次に、
図16に示す例では、スピーカ25が指定周囲数以下の周波数の音楽を出力しないようにするための処理として、指定周波数より高くなるように周波数をシフトする処理を行う。
図16(a)に示す例では、指定周波数を80ヘルツに設定した場合に、ヒアラブルデバイス2に送信される補正前の音楽全体を対象として、80ヘルツより高くなるように周波数を移動させることを示している。ここで、周波数を移動させる処理は、音楽全体の周波数帯域を同じ周波数ずつずらすものである。
【0084】
より具体的には、周波数補正ボタン44の設定がOFFの場合には、スピーカ25からは20ヘルツ~2万ヘルツの音楽が出力される。一方、周波数補正ボタン44の設定がONの場合には、補正が行われ、80ヘルツ以下の周波数の音楽のデータが80ヘルツよりも高くなるように、全体の周波数がシフトされる。この例では、音楽全体の周波数を60ヘルツずらすことにより、80ヘルツ~2万60ヘルツになる。例えば、100ヘルツの音楽については、160ヘルツの音楽に変換される。また、例えば、1万ヘルツの音楽については、1万60ヘルツに変換される。その結果、スピーカ25からは、80ヘルツより高い周波数の音楽が出力される。よって、スピーカ25から出力される音楽の周波数と、脳波の周波数(80ヘルツ以下)とは重ならないため、音楽の影響を減らして、利用者の脳波の測定がより正確に行われる。
【0085】
なお、周波数をシフトする処理としては、
図16(a)のように周波数を移動させる処理の他に、例えば、周波数を切り替える処理も例示される。
周波数を切り替える処理は、音楽全体の周波数帯域を他の周波数帯域に変換するものである。例えば、音楽全体の周波数帯域を20ヘルツ~2万ヘルツとして、他の周波数帯域である100ヘルツ~1万ヘルツに切り替える。また、事前に音楽全体の周波数帯域がわかっており、その周波数帯域が20ヘルツ~1000ヘルツの場合に、これらの周波数帯域を4倍して、80ヘルツ~4000ヘルツに切り替える。
【0086】
また、音楽補正部305は、音楽を補正する方式として、
図9の削除の処理、
図15の圧縮の処理、
図16のシフトの処理のうち、何れか1つの処理だけに対応してもよいが、2つ又は3つの処理に対応してもよい。
3つの処理に対応する場合、補正設定画面47では、例えば、
図16(b)に示すように、削除の処理、圧縮の処理、シフトの処理の何れかを選択するように構成される。
図16(b)に示す例では、削除方式ボタン50がOFF、圧縮方式ボタン51がOFF、シフト方式ボタン52がONであり、シフトの処理が選択されている。なお、削除方式ボタン50、圧縮方式ボタン51、シフト方式ボタン52の設定は、利用者の選択によってONとOFFの切り替えが可能であり、3つのうちの何れかのボタンがONに設定される。
【0087】
以上説明したように、本実施の形態に係る脳波測定システム1において、利用者端末3は、脳波を測定しつつ音楽を出力するにあたり、音楽を補正し、補正された音楽がヒアラブルデバイス2から利用者に向けて出力される。音楽の補正では、指定周波数以下の周波数の音を出力しないように処理される。そのため、音楽の影響を減らして、脳波の測定が行われるようになる。よって、例えば、脳波に応じた補正を行わずに音楽を出力する構成と比較して、脳波測定のノイズが抑制され、脳波の測定がより正確に行われる。
【0088】
また、本実施の形態では、音楽補正部305は、脳波を測定する前に事前に補正を行って、補正後のデータを補正後データ格納部304に格納してもよい。また、この場合に、音楽補正部305は、音楽再生部202にて音楽を再生させずに補正してもよい。補正後データ格納部304に補正後の音楽のデータを格納することにより、例えば、その音楽を再生する初回の時点で、補正後データ格納部304に格納済みの音楽のデータを用いて、補正された音楽をスピーカ25から出力することができる。
【0089】
また、上述した例では、指定周波数を利用者の操作によって変更可能とした。そのため、利用者は、指定周波数の値を低くすることで、脳波測定のノイズが発生する可能性は高まるが、より高音質な音楽を楽しむことができる。
ここで、本実施の形態では、指定周波数の初期値を予め設定したり、指定周波数を固定値にして予め設定したりしてもよい。この場合、上述した例のように、一般的な脳波の周波数の最大値(例えば80ヘルツ)を指定周波数の値として設定してもよいが、このような構成には限られない。
【0090】
例えば、利用者の特性や、利用者の希望する状態(例えば、集中状態、リラックス状態など)に応じて、指定周波数の値を設定してもよい。
例えば、利用者がヒアラブルデバイス2を一定期間(例えば1か月間)利用した場合に、測定された脳波の最大値が70ヘルツであったとする。この場合、音楽の周波数が70ヘルツより高ければ、脳波の周波数と重なる可能性は低い。そこで、ヒアラブルデバイス2又は利用者端末3は、一定期間で測定された脳波の値を基に、指定周波数の値を70ヘルツに設定してもよい。この場合、70ヘルツ以下の周波数の音楽を出力しないように補正が行われる。
【0091】
また、例えば、利用者が集中状態を希望して指定した場合、ヒアラブルデバイス2からは、利用者を集中状態に遷移させるような音楽が出力される。ここで、集中状態にはα波が現れるといわれており、α波の周波数帯域は13~8ヘルツである。そこで、利用者が集中状態を希望した場合の指定周波数として、一般的なα波の最大値である13ヘルツを予め設定しておいてもよい。この場合、13ヘルツ以下の周波数の音楽を出力しないように補正が行われる。このような補正により、13ヘルツより高い周波数の音楽は出力されるため、例えば、指定周波数が80ヘルツである構成と比較して、脳波測定のノイズを抑制するとともに、高音質な音楽が出力されることになる。
【0092】
また、上述した例では、ヒアラブルデバイス2が音楽を出力するものとして説明したが、本実施の形態のヒアラブルデバイス2は音(音波)を出力すればよく、音楽を出力する構成に限られない。例えば、ヒアラブルデバイス2は、人の会話や動物の鳴き声、騒音、雑音などを出力してもよい。また、ヒアラブルデバイス2が出力する音には、人間の可聴域にない音も含まれる。このような音に対して、脳波の周波数と重ならないように、音楽補正部305にて補正が行われる。
【0093】
さらに、上述した例では、利用者が希望する状態を選択して、その状態に遷移させる音楽を利用者に出力するとともに脳波を測定することとしたが、このような構成に限られない。例えば、利用者が希望する状態を選択せずに、音楽を利用者に出力して、脳波を測定してもよい。付言すると、本実施の形態は、音の出力とともに脳波の測定を行う構成に対して適用可能である。
【0094】
<脳波測定システムの他の構成例>
上述した例では、ヒアラブルデバイス2は
図4に示す機能部を有し、利用者端末3は
図5に示す機能部を有することとして説明した。ただし、本実施の形態では、ヒアラブルデバイス2が、
図5に示す利用者端末3の機能部の一部又は全部を有してもよい。ヒアラブルデバイス2が利用者端末3の機能部の全部又は一部を有することにより、例えば、利用者端末3の負荷が軽減されたり、利用者による操作の手間が削減されたりする。
【0095】
具体的には、例えば、ヒアラブルデバイス2が、ボタンなどの受付手段を備え、音楽を補正する指示を受け付けてもよい。また、利用者が利用者端末3の画面上で各種操作をする代わりに、例えば、利用者の発した声がヒアラブルデバイス2に入力され、ヒアラブルデバイス2が補正の指示を受け付けてもよい。この場合、ヒアラブルデバイス2を、情報処理装置の一例として捉えることができる。
また、ヒアラブルデバイス2が、音楽の補正を行ったり、補正前の音楽のデータや補正後の音楽のデータを格納したりしてもよい。なお、ヒアラブルデバイス2が利用者端末3の機能部の一部又は全部を有する場合も、CPU31がプログラム等を実行することにより、各種の機能部が実現される。また、音楽のデータは、例えば、不揮発性の記憶部に記憶される。
【0096】
ここで、音楽の補正を指示するように利用者に促す例、及び、自動的に音楽の補正を開始する例について、上述した例以外のものを説明する。
なお、以下の例では、音楽を出力する構成に限定せず、音を出力するものとして説明する。
【0097】
補正指示通知部306は、ヒアラブルデバイス2のスピーカ25から出力される音(即ち、利用者端末3からヒアラブルデバイス2に対して送信される音)の音圧に関する値が予め定められた条件を満たす場合、音の補正を指示するように利用者に促す。
ここで、音圧とは、音の圧力であり、単位はパスカル(Pa)で表される。また、人間の最小可聴音圧を基準として、音圧をデシベル(dB)で表した量を音圧レベルという。この音圧レベルは、一般に、音量と呼ばれるため、音圧に関する値を、音量に関する値として捉えることも可能である。
【0098】
そして、音圧に関する値は、例えば、音圧の設定値である。この場合、コンピュータ20は、音圧の設定値が予め定められた閾値以上の場合に、音の補正を指示するように利用者に促す。付言すると、音圧の設定値が予め定められた閾値以上の場合、脳波に対する音の影響が大きいため、コンピュータ20は、音の補正を指示するように利用者に促す。一方、音圧の設定値が予め定められた閾値未満の場合、脳波に対する音の影響が小さいため、音の補正を指示するように利用者に促さない。
【0099】
さらに説明すると、音圧の設定値は、例えば、利用者端末3で設定される値である。
図8(a)の例では示していないが、例えば、利用者端末3のホーム画面41には、音圧を調整する音圧調整つまみが設けられる。利用者が、この音圧調整つまみを動かすことにより、音圧の設定値が調整される。例えば、音圧の設定値が16段階(例えば、1~16)で定められており、予め定められた閾値を「5」とする。ここで、音圧調整つまみにより、音圧の設定値が「5」以上に設定されている場合、補正指示通知部306は、音の補正を指示するように利用者に促す。
ただし、利用者が音圧を設定する手法はどのようなものでもよく、利用者端末3のホーム画面41の音圧調整つまみを動かす手法に限定されない。
【0100】
次に、音圧に関する値は、例えば、音圧の設定値に対応する電圧の振幅であってもよい。この場合、補正指示通知部306は、音圧の設定値に対応する電圧の振幅が予め定められた閾値以上の場合に、音の補正を指示するように利用者に促す。
付言すると、音圧の設定値に対応する電圧の振幅は、例えば、音圧の設定値を基にスピーカ25から音を出力する際に設定される電圧の振幅である。
具体的には、例えば、ヒアラブルデバイス2には、音圧の設定値と、その設定値で音を出力する際の電圧の振幅との関係が予め定められている。そして、ヒアラブルデバイス2のコンピュータ20は、利用者端末3から音圧の設定値を取得し、予め定められた関係に基づいて、取得した設定値を電圧の振幅に変換する。そして、電圧の振幅の値を利用者端末3に送信する。補正指示通知部306は、ヒアラブルデバイス2から取得した電圧の振幅の値を基に、音の補正を指示するように利用者に促すか否かを判定する。
【0101】
また、音圧の設定値と電圧の振幅との関係を、利用者端末3が保持してもよい。この場合、補正指示通知部306は、この関係に基づいて、音圧の設定値を電圧の振幅に変換する。
なお、音圧の設定値と電圧の振幅との関係は、例えば、スピーカ25のオーディオ用のチップに応じて定められている。そのため、例えば、音圧の設定値が同じであっても、オーディオ用のチップが異なれば、電圧の振幅も異なることが考えられる。
ただし、音圧の設定値に対応する電圧の振幅を計算する手法は、上述の手法に限定されない。
【0102】
さらに、電圧の振幅は、実測値であってもよい。例えば、音圧の設定値に基づいて、スピーカ25から音が出力される。その際の電圧の振幅をヒアラブルデバイス2で測定することにより、補正指示通知部306は、測定された実測値を用いて、音の補正を指示するように利用者に促すか否かを判定してもよい。
【0103】
次に、音圧に関する値は、例えば、音圧の設定値に対応する電力量であってもよい。この場合、補正指示通知部306は、音圧の設定値に対応する電力量が予め定められた閾値以上の場合に、音の補正を指示するように利用者に促す。
付言すると、音圧の設定値に対応する電力量は、例えば、音圧の設定値を基にスピーカ25から音を出力する際の電力量である。
具体的には、例えば、電圧の振幅の場合と同様に、ヒアラブルデバイス2には、音圧の設定値と、その設定値で音を出力する際の電力量との関係が予め定められている。そして、ヒアラブルデバイス2のコンピュータ20は、利用者端末3から音圧の設定値を取得し、予め定められた関係に基づいて、取得した設定値を電力量に変換する。そして、電力量の値を利用者端末3に送信する。補正指示通知部306は、ヒアラブルデバイス2から取得した電力量の値を基に、音の補正を指示するように利用者に促すか否かを判定する。
【0104】
なお、電圧の振幅の場合と同様に、音圧の設定値と電力量との関係を、利用者端末3が保持してもよい。
また、例えば、音圧の設定値と、その設定値で音を出力する際の電圧及び電流との関係を予め定めてもよい。この場合、この関係に基づいて、音圧の設定値を電圧及び電流に変換して、変換した電圧の値及び電流の値から電力量が計算される。
ただし、音圧の設定値に対応する電力量を計算する手法は、上述の手法に限定されない。
【0105】
さらに、電力量は、実測値であってもよい。例えば、音圧の設定値に基づいて、音が出力される。その際の電力量をヒアラブルデバイス2で測定することにより、補正指示通知部306は、測定された実測値を用いて、音の補正を指示するように利用者に促すか否かを判定してもよい。
【0106】
なお、音圧に関する値は、上述した例に限られない。例えば、音圧に関する値として、音圧の設定値に対応する音圧レベルや、音圧の設定値に対応する電流の振幅などの値を用いてもよい。
【0107】
次に、例えば、ヒアラブルデバイス2がノイズキャンセル機能を有する場合、補正指示通知部306は、ノイズキャンセル機能により出力される音に関する値が予め定められた条件を満たす場合に、音の補正を指示するように利用者に促してもよい。
ここで、ノイズキャンセル機能とは、マイク(不図示)等で外部の音(例えば、ヒアラブルデバイス2の周囲の騒音)を検知し、外部から検知される音を打ち消す音を出力することにより、外部の音を消去する機能である。
補正指示通知部306は、ノイズキャンセル機能により出力する音(即ち、外部から検知される音を打ち消す音)を出力する際の当該音に関する値が予め定められた条件を満たす場合に、音の補正を指示するように利用者に促す。
【0108】
ここで、ノイズキャンセル機能により出力する音に関する値は、例えば、ノイズキャンセル機能により音を出力するのに消費される電力量である。この場合、補正指示通知部306は、ノイズキャンセル機能により出力する音(即ち、外部から検知される音を打ち消す音)を出力するのに消費される電力量が予め定められた閾値以上の場合に、音の補正を指示するように利用者に促す。
【0109】
付言すると、ノイズキャンセル機能により音を出力するのに消費される電力量は、例えば、電圧の振幅の場合と同様に計算される。具体的には、例えば、音圧の設定値と、その設定値で音を出力する際の電力量との関係が予め定められており、この関係に基づいて、電力量が計算される。電力量の計算は、ヒアラブルデバイス2が行ってもよいし、利用者端末3が行ってもよい。また、ここでの音圧の設定値は、外部の音を打ち消すのに必要な音の音圧である。
【0110】
さらに説明すると、ノイズキャンセル機能で音を補正する場合、指定周波数を下回る周波数について、外部の音を打ち消す音が出力されないようになる。即ち、指定周波数を下回る周波数では、ノイズキャンセル機能が有効に働かないことになる。その結果、指定周波数を下回る周波数の外部の音は、打ち消されない。
また、ノイズキャンセル機能を実行するとともに、スピーカ25から音楽などの音を出力する際に、音の補正を行う場合には、ノイズキャンセル機能により出力する音とともに、音楽などの音も補正される。
【0111】
なお、ノイズキャンセル機能により出力する音に関する値は、電力量に限られない。例えば、ノイズキャンセル機能により出力する音に関する値として、ノイズキャンセル機能により出力する音の音圧や音圧レベル、電圧の振幅、電流の振幅などの値を用いてもよい。また、これらの値は、実測値であってもよい。
【0112】
ここで、
図17及び
図18を参照しながら、音を出力する際の電圧と脳波信号のノイズとの関係について説明する。
図17は、ヒアラブルデバイス2のスピーカ25の構成の一例を示す図である。
図18(A)は、音を出力する際の電圧と脳波信号のノイズとの関係の一例を示す図である。
図18(B)、(C)は、音を出力する際の電圧の一例を示す図である。
【0113】
図17に示すように、スピーカ25は、音信号増幅部25Aと音出力部25Bとを備える。そして、音信号増幅部25Aと音出力部25Bとは、音に関する電気信号である音信号が送信される音信号線25Cと、音の電圧の基準となる参照電圧に関する信号が送信される参照電圧信号線25Dとで接続される。
付言すると、例えば、音信号増幅部25Aには、コンピュータ20によって音圧の設定値から変換された電圧の振幅の信号が送信される。音信号増幅部25Aは、電圧の振幅の信号を増幅して、音信号線25Cを介して、増幅した電圧の信号を音出力部25Bに送信する。また、音信号増幅部25Aは、参照電圧信号線25Dを介して、参照電圧に関する信号を音出力部25Bに送信する。音出力部25Bは、受信した信号に基づく電圧によって音を出力する。
【0114】
また、
図18(A)のグラフで、横軸は音圧の設定値、左側の縦軸は電圧(mV)、右側の縦軸は脳波信号のノイズ振幅(μV)である。なお、左側の縦軸(即ち、電圧(mV))は、「CSR音R電圧」、「アンプ音R電圧」、「音GND電圧」に対応する。右側の縦軸(即ち、脳波信号のノイズ振幅(μV))は、「脳波ノイズ1回目」、「脳波ノイズ2回目」に対応する。そして、音の周波数を20Hzとして、音圧の設定値を0~16に変化された場合の各種パラメータの値を示している。
【0115】
ここで、「CSR音R電圧」は、コンピュータ20によって音圧の設定値から変換された電圧の値である。なお、この例では、右耳に出力する音の電圧を示している。
「アンプ音R電圧」は、音信号増幅部25Aが「CSR音R電圧」を増幅させた電圧の値である。なお、この例では、右耳に出力する音の電圧を示している。
「音GND電圧」は、音の電圧の基準となる参照電圧の値である。
ただし、
図18(A)のグラフでは、「CSR音R電圧」は、コンピュータ20によって音圧の設定値から変換された電圧の値から、「音GND電圧」の値を引いたものを示している。同様に、「アンプ音R電圧」は、音信号増幅部25Aが増幅させた電圧の値から、「音GND電圧」の値を引いたものを示している。
また、「脳波ノイズ1回目」、「脳波ノイズ2回目」は、スピーカ25から20Hzの音を出力した場合の脳波信号のノイズの振幅を示す。実験を2回行ったため、1回目の結果を「脳波ノイズ1回目」、2回目の結果を「脳波ノイズ2回目」としている。
【0116】
そして、
図18(A)に示すように、「CSR音R電圧」、「アンプ音R電圧」、「音GND電圧」といった音の電圧が増加するのに伴って、脳信号のノイズ振幅も大きくなることが確認された。また、「音GND電圧」、「脳波ノイズ1回目」、「脳波ノイズ2回目」は、例えば音圧の設定値が4以上になると急激に上昇しており、脳信号のノイズ振幅は、特に「音GND電圧」に従って変化する傾向にあることが確認された。
【0117】
次に、
図18(B)は、
図18(A)の「アンプ音R電圧」、「音GND電圧」を示している。また、
図18(B)において、「アンプ音R電圧」の値から「音GND電圧」の値を引いたものを、
図18(C)に示している。
図18(C)に示す「アンプ音R電圧」の値が、音出力部25Bが音を出力する際に用いられる電圧の値である。なお、「アンプ音R電圧」と「音GND電圧」との差分が小さくても、「音GND電圧」の振幅が大きいと、電力消費は大きくなる。
【0118】
付言すると、上述した例で、音の補正を指示するように利用者に促すために用いられた電圧の振幅は、「CSR音R電圧」、「アンプ音R電圧」、「音GND電圧」の値であってもよい。また、「CSR音R電圧」、「アンプ音R電圧」、「音GND電圧」の少なくとも何れか2つを基に計算される値であってもよい。
【0119】
次に、補正指示通知部306は、スピーカ25から出力される音のうち、指定周波数以下の周波数の音の特性値が予め定められた閾値以上の場合、音の補正を指示するように利用者に促してもよい。例えば、補正指示通知部306は、スピーカ25から音を出力している間、ヒアラブルデバイス2から、指定周波数以下の周波数の音の特性値を取得する。そして、取得した特性値が予め定められた閾値以上であるか否かを判定する。
ここで、指定周波数は、特定の周波数の一例として用いられる。
【0120】
付言すると、特性値とは、例えば、音の強度に関する値である。補正指示通知部306は、スピーカ25が出力する前の音の強度に関する値を取得してもよいし、スピーカ25が出力した後の音の強度に関する値を取得してもよい。スピーカ25が出力する前の音の強度に関する値は、例えば、スピーカ25が出力する前の音波を検知することにより測定される。また、スピーカ25が出力した後の音の強度に関する値は、例えばマイク等により、スピーカ25から出力された音波を検知することにより測定される。
【0121】
図19は、音の強度と周波数との関係の一例を示す図である。
図19に示すグラフは、スピーカ25から出力される音に対して、FFT(Fast Fourier Transform)処理(即ち、高速フーリエ変換の処理)を行ったものである。横軸は周波数(Hz)、縦軸は音の強度(dB)である。
例えば、指定周波数を80ヘルツ、予め定められた閾値を-70dBとする。この場合、補正指示通知部306は、80ヘルツ以下の周波数の音の強度について、-70dB以上であるか否かを判定する。図示の例では、80ヘルツ以下の周波数の音で、-70dB以上の強度を持つ音が存在する。そこで、補正指示通知部306は、音の補正を指示するように利用者に促す。
【0122】
なお、この例では、補正指示通知部306は、スピーカ25から音を出力している間、ヒアラブルデバイス2から、指定周波数以下の周波数の音の特性値を取得した。ただし、例えば、補正指示通知部306が、スピーカ25から音を出力している間、FFT処理を行って、音の特性値を計算してもよい。
【0123】
次に、補正指示通知部306は、スピーカ25から出力される音のうち、指定周波数以下の周波数の音の特性値が予め定められた閾値以上の場合、次に当該音を出力する際に、音の補正を指示するように利用者に促してもよい。
付言すると、例えば、補正指示通知部306は、スピーカ25から出力される音楽の波形(又は出力された音楽の波形)を記録しておき、
図19に示すように、記録した音楽に対してFFT処理を行って、音の強度を計算する。そして、記録した音楽のうち、指定周波数以下の周波数の音の強度が予め定められた閾値以上の場合、次に利用者が同じ音楽を出力するように指示した際に、音楽の補正を指示するように利用者に促す。
【0124】
また、ノイズキャンセル機能により出力する音についても、音の強度を計算して、音の補正を指示するように利用者に促してもよい。この場合、補正指示通知部306は、ノイズキャンセル機能により出力する音(即ち、外部から検知される音を打ち消す音)のうち、指定周波数以下の周波数の音の特性値が予め定められた閾値以上の場合、音の補正を指示するように利用者に促す。
【0125】
なお、音の強度を取得する手法はどのようなものでもよく、FFT処理に限定されない。
また、音の強度に関する値は、音の強度に限られない。音の強度は、例えば、音圧や音圧レベル、電圧の振幅、電力量と相関関係がある。そこで、音の強度に関する値として、例えば、音圧や音圧レベル、電圧の振幅、電力量などの値を用いてもよい。
【0126】
また、以上説明した例において、補正指示通知部306が音の補正を指示するように利用者に促すのではなく、音楽補正部305が自動的に音の補正を開始してもよい。即ち、音楽補正部305が、補正指示通知部306が行った処理と同様の処理を行ってもよい。
【0127】
例えば、音楽補正部305は、スピーカ25から出力される音の音圧に関する値が予め定められた条件を満たす場合に、音を補正してもよい。
また、例えば、音楽補正部305は、スピーカ25から出力される音の音圧の設定値が予め定められた閾値以上の場合に、音を補正してもよい。
さらに、例えば、音楽補正部305は、スピーカ25から出力される音の音圧の設定値に対応する電圧の振幅が予め定められた閾値以上の場合に、音を補正してもよい。
そして、例えば、音楽補正部305は、スピーカ25から出力される音の音圧の設定値に対応する電力量が予め定められた閾値以上の場合に、音を補正してもよい。
【0128】
また、例えば、音楽補正部305は、ノイズキャンセル機能により出力される音(即ち、外部から検知される音を打ち消す音)に関する値が予め定められた条件を満たす場合に、音を補正してもよい。
さらに、例えば、音楽補正部305は、ノイズキャンセル機能により出力される音を出力するのに消費される電力量が予め定められた閾値以上の場合に、音を補正してもよい。
【0129】
また、例えば、音楽補正部305は、スピーカ25から出力される音のうち、指定周波数以下の周波数の音の特性値が予め定められた閾値以上の場合に、音を補正してもよい。
さらに、例えば、音楽補正部305は、スピーカ25から出力される音のうち、指定周波数以下の周波数の音の特性値が予め定められた閾値以上の場合、次に当該音を出力する際に音を補正してもよい。
そして、例えば、音楽補正部305は、ノイズキャンセル機能により出力される音のうち、指定周波数以下の周波数の音の特性値が予め定められた閾値以上の場合に、音を補正してもよい。
【0130】
また、以上説明した例では、利用者端末3が、ヒアラブルデバイス2から受信した情報等を基に、音の補正を指示するように利用者に促したり、音の補正を開始したりした。しかし、ヒアラブルデバイス2が利用者端末3の機能部の一部又は全部を有することにより、ヒアラブルデバイス2が音の補正を指示するように利用者に促したり、音の補正を開始したりしてもよい。
【0131】
さらに、上述した例では、ヒアラブルデバイス2をイヤフォン型の形状としたが、ヒアラブルデバイス2は、このような形状のものに限られない。例えば、ヒアラブルデバイス2は、ヘッドフォン型でもよいし、利用者に非接触な状態で用いられる装置であってもよい。
【0132】
また、本発明の実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD-ROM等の記録媒体に格納して提供することも可能である。
【0133】
さらに、上記では種々の実施形態および変形例を説明したが、これらの実施形態や変形例どうしを組み合わせて構成してももちろんよい。
また、本開示は上記の実施形態に何ら限定されるものではなく、本開示の要旨を逸脱しない範囲で種々の形態で実施することができる。
【符号の説明】
【0134】
1…脳波測定システム、2…ヒアラブルデバイス、3…利用者端末、201…音楽受信部、202…音楽再生部、203…脳波センサ制御部、301…表示制御部、302…操作受付部、303…補正前データ格納部、304…補正後データ格納部、305…音楽補正部、306…補正指示通知部、307…音楽データ出力部、308…脳波測定指示部、309…脳波情報取得部