ホーム > 特許ランキング > 株式会社Ａｇａｍａ－Ｘ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-26
(45)【発行日】2024-01-10
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231227BHJP
G06F 3/16 20060101ALI20231227BHJP
【ＦＩ】
G06F3/01 515
G06F3/16 530
【請求項の数】
8
(21)【出願番号】P 2020017479
(22)【出願日】2020-02-04
(65)【公開番号】P2021124923
(43)【公開日】2021-08-30
【審査請求日】2023-01-30
(73)【特許権者】
【識別番号】521110943
【氏名又は名称】株式会社Ａｇａｍａ－Ｘ
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】佐藤 雅弘
(72)【発明者】
【氏名】得地 賢吾
【審査官】円子 英紀
(56)【参考文献】
【文献】特開２０１９－１５２８６１（ＪＰ，Ａ）
【文献】特開平０９－１３１４０３（ＪＰ，Ａ）
【文献】特開２００６－３４９７７２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０１９９５７０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／１６
(57)【特許請求の範囲】
【請求項1】
プロセッサを有し、前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する、
情報処理装置。
【請求項2】
コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する機能
を実現させるプログラム。
【請求項3】
コンピュータに、
対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力させる、
処理を実行させる情報処理方法。
【請求項4】
プロセッサを有し、
前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する、
情報処理装置。
【請求項5】
前記環境の変化は、電話における終話の検知である、請求項４に記載の情報処理装置。
【請求項6】
前記環境の変化は、対象者が参加している会議の終了の検知である、請求項４に記載の情報処理装置。
【請求項7】
コンピュータに、
対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する機能
を実現させるプログラム。
【請求項8】
コンピュータに、
対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力させる、
処理を実行させる情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
次世代のユーザインタフェースとして脳波などの生体情報の活用が期待されている。例えば身体についての特定の動作を想起した場合に生じる生体情報の条件である生体情報条件を予め格納する条件格納部と、生体からの情報に関する生体情報を取得し、取得した前記生体情報に含まれる情報が条件格納部に格納されている生体情報条件を満たすか否かを判断する条件判断部と、条件判断部により条件を満たすと判断された場合に、撮像装置が被写体を撮像する場合の条件である撮像条件を撮像装置に出力する条件出力部とを備える撮像制御装置がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－２２９０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
会話や会議に参加していても、他者が発言した内容を聞き逃すことがある。このような状況は、例えば集中力が緩慢になっているときや興奮した状態のときに起こり得る。
【0005】
本発明は、対象者の心理状態又は感情に関する情報が予め定めた条件を満たす場合、周囲の音を確認する機会を別に設けることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する、情報処理装置である。
請求項２に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する機能を実現させるプログラムである。
請求項３に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力させる、処理を実行させる情報処理方法である。
請求項４に記載の発明は、プロセッサを有し、前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する、
情報処理装置である。
請求項５に記載の発明は、前記環境の変化は、電話における終話の検知である、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記環境の変化は、対象者が参加している会議の終了の検知である、請求項４に記載の情報処理装置である。
請求項７に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する機能を実現させるプログラムである。
請求項８に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力させる、処理を実行させる情報処理方法である。
請求項２に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する機能を実現させるプログラムである。
請求項３に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記第１の条件を満たさないことを示す予め定めた第２の条件を満たす場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力させる、処理を実行させる情報処理方法である。
請求項４に記載の発明は、プロセッサを有し、前記プロセッサは、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する、
情報処理装置である。
請求項５に記載の発明は、前記環境の変化は、電話における終話の検知である、請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記環境の変化は、対象者が参加している会議の終了の検知である、請求項４に記載の情報処理装置である。
請求項７に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御し、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力する機能を実現させるプログラムである。
請求項８に記載の発明は、コンピュータに、対象者の心理状態又は感情に関する情報が予め定めた第１の条件を満たす場合、当該第１の条件を満たす期間中に集音された対象者の周囲の音の出力を制御させ、前記対象者の置かれた環境の変化を検知した場合、前記第１の条件を満たす期間中に集音された対象者の周囲の音を出力させる、処理を実行させる情報処理方法である。
【発明の効果】
【0007】
請求項１－３記載の発明によれば、対象者の心理状態又は感情に関する情報が予め定めた条件を満たす場合、周囲の音を確認する機会を別に設けることができる。
請求項１－４記載の発明によれば、予め定めた別の条件を満たすことを条件に集音された音の確認を開始できる。
請求項１－３記載の発明によれば、対象者の心理状態又は感情に関する情報の変化をきっかけに周囲の音を確認する機会を設けることができる。
請求項１１記載の発明によれば、対象者の希望により周囲の音を確認する機会を設けることができる。
請求項１２記載の発明によれば、周囲の音を確認する機会を対象者毎に設定できる。
請求項４、７－８記載の発明によれば、対象者の環境の変化をきっかけに周囲の音を確認する機会を設けることができる。
請求項５記載の発明によれば、電話による会話の終了後に会話中の周囲の音を確認する機会を設けることができる。
請求項６記載の発明によれば、参加している会議の終了後に会議中の周囲の音を確認する機会を設けることができる。
請求項１－４記載の発明によれば、予め定めた別の条件を満たすことを条件に集音された音の確認を開始できる。
請求項１－３記載の発明によれば、対象者の心理状態又は感情に関する情報の変化をきっかけに周囲の音を確認する機会を設けることができる。
請求項１１記載の発明によれば、対象者の希望により周囲の音を確認する機会を設けることができる。
請求項１２記載の発明によれば、周囲の音を確認する機会を対象者毎に設定できる。
請求項４、７－８記載の発明によれば、対象者の環境の変化をきっかけに周囲の音を確認する機会を設けることができる。
請求項５記載の発明によれば、電話による会話の終了後に会話中の周囲の音を確認する機会を設けることができる。
請求項６記載の発明によれば、参加している会議の終了後に会議中の周囲の音を確認する機会を設けることができる。
【図面の簡単な説明】
【0008】
【図1】イヤホン型端末の装着例を説明する図である。（Ａ）はイヤホン型端末を装着している人を斜め前方から見たイヤホン型端末の装着の様子であり、（Ｂ）は装着者を正面から見たイヤホン型端末の装着の様子を示す。
【図2】実施の形態１で使用するイヤホン型端末の外観構成の一例を説明する図である。（Ａ）は端末全体の外観を示し、（Ｂ）は左右のモジュールの外観を示す。
【図3】イヤホン型端末の内部構成の一例を説明する図である。
【図4】イヤホン型端末の機能構成の一例を示す図である。
【図5】実施の形態で使用するイヤホン型端末が実行する処理動作例を説明するフローチャートである。
【図6】イライラしている人が冷静さを取り戻すと音声の再生が開始される例を説明する図である。
【図7】興奮が収まった時点で自分の意思で会議中に発せられた音声の再生を指示する例を説明する図である。
【図8】イヤホン型端末を装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセットの測定点を説明する図である。
【図9】論文に掲載されている脳波の計測点を示す図である。
【図10】α波の出力評価を説明する図である。
【図11】MindWaveによる測定結果を説明する図である。（Ａ）は瞬きが弱い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬きが強い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
【図12】実施の形態で使用するイヤホン型端末による測定結果を説明する図である。（Ａ）は瞬きが弱い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬きが強い人で更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
【図13】MindWaveによる測定結果を説明する図である。（Ａ）は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
【図14】実施の形態で使用するイヤホン型端末による測定結果を説明する図である。（Ａ）は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
【図15】スペクトル強度の増加部の提示例を示す図である。（Ａ）はMindWaveの測定結果であり、（Ｂ）は実施の形態で使用するイヤホン型端末の測定結果である。
【図16】実施の形態２で使用するイヤホン型端末が実行する処理動作例を説明するフローチャートである。
【図17】外部装置がインターネット上のサーバである場合を示す図である。
【図18】片耳に装着するタイプのイヤホン型端末の外観例を説明する図である。
【図19】脳波の測定に使用する電極を配置したイヤリングの一例を説明する図である。
【図20】脳波の測定に使用する電極を配置した眼鏡の一例を説明する図である。
【図21】ユーザの周囲の環境に同化させた画像を表示させる機能を備えるヘッドセットを脳波の測定に使用する場合の電極の配置例を説明する図である。
【図22】近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセットの一例を示す図である。
【図23】脳磁計の一例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、イヤホン型端末１の装着例を説明する図である。（Ａ）はイヤホン型端末１を装着している人（以下「装着者」という）を斜め前方から見たイヤホン型端末１の装着の様子であり、（Ｂ）は装着者を正面から見たイヤホン型端末１の装着の様子を示す。
本実施の形態におけるイヤホン型端末１は、情報処理装置の一例であり、右耳に装着されるモジュール１Ｒと、左耳に装着されるモジュール１Ｌとを有している。
本実施の形態における装着者は、対象者の一例である。
＜実施の形態１＞
＜システム構成＞
図１は、イヤホン型端末１の装着例を説明する図である。（Ａ）はイヤホン型端末１を装着している人（以下「装着者」という）を斜め前方から見たイヤホン型端末１の装着の様子であり、（Ｂ）は装着者を正面から見たイヤホン型端末１の装着の様子を示す。
本実施の形態におけるイヤホン型端末１は、情報処理装置の一例であり、右耳に装着されるモジュール１Ｒと、左耳に装着されるモジュール１Ｌとを有している。
本実施の形態における装着者は、対象者の一例である。
【0010】
本実施の形態におけるイヤホン型端末１は、不図示のオーディオ機器やスマートフォンから受信される音を再生する回路に加え、脳の活動に起因する電気的な信号（以下「脳波」という）を測定する回路等を内蔵している。
本実施の形態で使用するイヤホン型端末１は、ワイヤレス型のデバイスである。このため、イヤホン型端末１は、無線通信により、外部装置と接続される。ここでの外部装置には、オーディオプレーヤ、スマートフォン、タブレット端末、ノート型のコンピュータ、ウェアラブルコンピュータ等を想定する。外部装置との通信には、例えばブルートゥース（登録商標）が使用される。もっとも、無線通信には、ＷｉＦｉ（登録商標）その他の通信規格を用いることも可能である。また、ケーブルを通じてイヤホン型端末１を外部装置と接続してもよい。
本実施の形態で使用するイヤホン型端末１は、ワイヤレス型のデバイスである。このため、イヤホン型端末１は、無線通信により、外部装置と接続される。ここでの外部装置には、オーディオプレーヤ、スマートフォン、タブレット端末、ノート型のコンピュータ、ウェアラブルコンピュータ等を想定する。外部装置との通信には、例えばブルートゥース（登録商標）が使用される。もっとも、無線通信には、ＷｉＦｉ（登録商標）その他の通信規格を用いることも可能である。また、ケーブルを通じてイヤホン型端末１を外部装置と接続してもよい。
【0011】
脳波の測定にイヤホン型端末１を用いるのは、脳波を用いるインタフェースの普及を考慮するためである。
脳波を用いるインタフェースの普及を考える場合、脳波を計測していることが明らかなデバイスの装着は、ユーザの支持を受けられない可能性がある。例えばヘルメット型のデバイスは、デザイン性の観点からも、身体への負担の観点からもユーザの支持を得られない可能性がある。
そこで、本実施の形態では、脳波を測定するデバイスとしてイヤホン型端末１に着目する。イヤホン自体は、いわゆるオーディオ機器として普及しているため、外観的にも、イヤホン型端末１を装着する心理的な抵抗は少ないと考えられる。
脳波を用いるインタフェースの普及を考える場合、脳波を計測していることが明らかなデバイスの装着は、ユーザの支持を受けられない可能性がある。例えばヘルメット型のデバイスは、デザイン性の観点からも、身体への負担の観点からもユーザの支持を得られない可能性がある。
そこで、本実施の形態では、脳波を測定するデバイスとしてイヤホン型端末１に着目する。イヤホン自体は、いわゆるオーディオ機器として普及しているため、外観的にも、イヤホン型端末１を装着する心理的な抵抗は少ないと考えられる。
【0012】
また、イヤホン型端末１が装着される外耳道は、脳に近いため、脳波の測定にも好都合である。イヤホン型端末１で脳波の測定が可能なことは、後述する実験結果の項で説明する。なお、外耳道は、耳部の一例である。本実施の形態の場合、耳部は、耳介と外耳道を含む。
この他、イヤホン型端末１には、不図示の軟骨伝導振動子が内蔵される。軟骨伝導振動子を用いた音の伝導は、軟骨伝導と呼ばれる。軟骨伝導では、外耳道を塞ぐ必要がない。このため、軟骨伝導による音と外界の音は同時に聞くことが可能である。
なお、軟骨伝導の経路は、気導経路や骨導経路とは異なる第３の聴覚経路と呼ばれる。
本実施の形態におけるイヤホン型端末１は、装着者の脳波を測定するための回路と、軟骨伝導により装着者に音を伝える回路の両方を含んでいる。
この他、イヤホン型端末１には、不図示の軟骨伝導振動子が内蔵される。軟骨伝導振動子を用いた音の伝導は、軟骨伝導と呼ばれる。軟骨伝導では、外耳道を塞ぐ必要がない。このため、軟骨伝導による音と外界の音は同時に聞くことが可能である。
なお、軟骨伝導の経路は、気導経路や骨導経路とは異なる第３の聴覚経路と呼ばれる。
本実施の形態におけるイヤホン型端末１は、装着者の脳波を測定するための回路と、軟骨伝導により装着者に音を伝える回路の両方を含んでいる。
【0013】
＜イヤホン型端末１の構成＞
図２は、実施の形態１で使用するイヤホン型端末１の外観構成の一例を説明する図である。（Ａ）は端末全体の外観を示し、（Ｂ）は左右のモジュール１Ｌ及び１Ｒの外観を示す。
本実施の形態におけるイヤホン型端末１は、左耳に装着されるモジュール１Ｌと、右耳に装着されるモジュール１Ｒと、モジュール１Ｌ及び１Ｒを接続する連結部１Ｃとを有している。連結部１Ｃは樹脂製であり、その内部には電力線や信号線が収容されている。
左耳に装着されるモジュール１Ｌは、バッテリ等が収容されるモジュール本体２Ｌと、耳部に装着される電極付き振動部３Ｌと、耳介と側頭との隙間に装着されるイヤーフック４Ｌとで構成される。
同じく、右耳に装着されるモジュール１Ｒは、電子回路等が収容されるモジュール本体２Ｒと、耳部に装着される電極付き振動部３Ｒと、耳介と側頭との隙間に装着されるイヤーフック４Ｒとで構成される。
図２は、実施の形態１で使用するイヤホン型端末１の外観構成の一例を説明する図である。（Ａ）は端末全体の外観を示し、（Ｂ）は左右のモジュール１Ｌ及び１Ｒの外観を示す。
本実施の形態におけるイヤホン型端末１は、左耳に装着されるモジュール１Ｌと、右耳に装着されるモジュール１Ｒと、モジュール１Ｌ及び１Ｒを接続する連結部１Ｃとを有している。連結部１Ｃは樹脂製であり、その内部には電力線や信号線が収容されている。
左耳に装着されるモジュール１Ｌは、バッテリ等が収容されるモジュール本体２Ｌと、耳部に装着される電極付き振動部３Ｌと、耳介と側頭との隙間に装着されるイヤーフック４Ｌとで構成される。
同じく、右耳に装着されるモジュール１Ｒは、電子回路等が収容されるモジュール本体２Ｒと、耳部に装着される電極付き振動部３Ｒと、耳介と側頭との隙間に装着されるイヤーフック４Ｒとで構成される。
【0014】
本実施の形態における電極付き振動部３Ｌ及び３Ｒは、外耳道の内壁に接触するリング状の電極部と、耳介と接触するリング状の軟骨伝導振動子３Ｌ３及び３Ｒ３とを有している。
左側のモジュール１Ｌの電極部は、中央に反対側まで貫通する開口を有するドーム状の電極３Ｌ１を有している。右側のモジュール１Ｒの電極部は、中央に反対側まで貫通する開口を有するドーム状の電極３Ｒ１と、耳甲介腔に接触するリング状の電極３Ｒ２を有している。
軟骨伝導振動子３Ｌ３及び３Ｒ３は、軟骨伝導に必要な振動を発生する素子である。本実施の形態における軟骨伝導振動子３Ｌ３及び３Ｒ３は、保護部材で覆われている。すなわち、軟骨伝導振動子３Ｌ３及び３Ｒ３は密閉型の振動子である。
本実施の形態の場合、電極付き振動部３Ｌ及び３Ｒには、耳の奥側から耳の外までつながる孔が設けられている。このため、電極付き振動部３Ｌ及び３Ｒを装着した状態の装着者は、外部の音を、気導経路を通じて聞き取ることが可能である。
左側のモジュール１Ｌの電極部は、中央に反対側まで貫通する開口を有するドーム状の電極３Ｌ１を有している。右側のモジュール１Ｒの電極部は、中央に反対側まで貫通する開口を有するドーム状の電極３Ｒ１と、耳甲介腔に接触するリング状の電極３Ｒ２を有している。
軟骨伝導振動子３Ｌ３及び３Ｒ３は、軟骨伝導に必要な振動を発生する素子である。本実施の形態における軟骨伝導振動子３Ｌ３及び３Ｒ３は、保護部材で覆われている。すなわち、軟骨伝導振動子３Ｌ３及び３Ｒ３は密閉型の振動子である。
本実施の形態の場合、電極付き振動部３Ｌ及び３Ｒには、耳の奥側から耳の外までつながる孔が設けられている。このため、電極付き振動部３Ｌ及び３Ｒを装着した状態の装着者は、外部の音を、気導経路を通じて聞き取ることが可能である。
【0015】
本実施の形態における電極３Ｌ１、３Ｒ１、３Ｒ２は、いずれも導電性ゴムで構成される。皮膚に現れる電気信号を測定するためである。なお、電極３Ｒ１と３Ｒ２は、絶縁体により電気的に分離されている。
本実施の形態の場合、電極３Ｒ１は、脳波（ＥＥＧ：ElectroEncephaloGram）の測定に用いられる端子（以下「ＥＥＧ測定用端子」という）である。なお、電極３Ｒ１で測定される電位の変動には、脳波だけでなく、他の生体情報に起因する電位の変動も含まれる。電極３Ｒ２は、接地電極（以下「ＧＮＤ端子」ともいう）である。
一方の電極３Ｌ１は、基準電位（ＲＥＦ：REFerence）の測定に用いられる端子（以下「ＲＥＦ端子」という）である。もっとも、本実施の形態の場合、電極３Ｒ２と電極３Ｌ１は絶縁体により電気的に分離されている。
本実施の形態の場合、脳波に起因する電位の変動は、電極３Ｒ１と電極３Ｌ１で測定された電気信号の差分信号として測定される。他の生体情報に起因する電位の変動についても同様である。
脳波と脳波以外の生体情報を含む電位変動を総称する場合、「脳波等の生体情報」ということがある。
本実施の形態の場合、電極３Ｒ１は、脳波（ＥＥＧ：ElectroEncephaloGram）の測定に用いられる端子（以下「ＥＥＧ測定用端子」という）である。なお、電極３Ｒ１で測定される電位の変動には、脳波だけでなく、他の生体情報に起因する電位の変動も含まれる。電極３Ｒ２は、接地電極（以下「ＧＮＤ端子」ともいう）である。
一方の電極３Ｌ１は、基準電位（ＲＥＦ：REFerence）の測定に用いられる端子（以下「ＲＥＦ端子」という）である。もっとも、本実施の形態の場合、電極３Ｒ２と電極３Ｌ１は絶縁体により電気的に分離されている。
本実施の形態の場合、脳波に起因する電位の変動は、電極３Ｒ１と電極３Ｌ１で測定された電気信号の差分信号として測定される。他の生体情報に起因する電位の変動についても同様である。
脳波と脳波以外の生体情報を含む電位変動を総称する場合、「脳波等の生体情報」ということがある。
【0016】
なお、脳科学の分野において、脳波以外に由来する全ての電位の変動は、アーチファクトと呼ばれる。脳科学の分野では、脳波を測定した電気信号には、アーチファクトが必ず含まれると考えられている。
アーチファクトに含まれる成分は、生体に由来する成分、電極等の測定系に由来する成分、外部の機会や環境に由来する成分に分類される。これら３つの成分のうち生体に由来する成分以外は、イヤホン型端末１で測定される雑音として測定することが可能である。雑音は、電極３Ｒ１と電極３Ｌ１を電気的に短絡した状態における電気信号として測定することが可能である。
アーチファクトに含まれる成分は、生体に由来する成分、電極等の測定系に由来する成分、外部の機会や環境に由来する成分に分類される。これら３つの成分のうち生体に由来する成分以外は、イヤホン型端末１で測定される雑音として測定することが可能である。雑音は、電極３Ｒ１と電極３Ｌ１を電気的に短絡した状態における電気信号として測定することが可能である。
【0017】
本実施の形態におけるモジュール１Ｒには、装着者の脳波等を測定する回路と、測定された脳波を分析して心理状態や感情（以下「心理状態等」という）に関する情報を特定する回路と、装着者の周囲の音の記録や再生を装着者の心理状態等に応じて制御する回路等が内蔵されている。一方、モジュール１Ｌには、バッテリが内蔵されている。
本実施の形態の場合、心理状態等に関する情報とは、言語上の分類に限らず、符号、記号、数値等で表現された情報も含む。
本実施の形態の場合、心理状態等に関する情報とは、言語上の分類に限らず、符号、記号、数値等で表現された情報も含む。
【0018】
図３は、イヤホン型端末１の内部構成の一例を説明する図である。
モジュール本体２Ｒは、マイク１１Ｒと、デジタル脳波計１２と、６軸センサ１３と、ブルートゥースモジュール１４と、半導体メモリ１５と、ＭＰＵ（＝Micro Processing Unit）１６を有している。
デジタル脳波計１２は、電極３Ｒ１と電極３Ｌ１に現れる電位変動を差動増幅する差動アンプと、差動アンプの出力をサンプリング処理するサンプリング回路と、サンプリング後のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路とを含んでいる。本実施の形態の場合、サンプリングレートは６００Ｈｚである。また、アナログ／デジタル変換回路の分解能は１６ビットである。
モジュール本体２Ｒは、マイク１１Ｒと、デジタル脳波計１２と、６軸センサ１３と、ブルートゥースモジュール１４と、半導体メモリ１５と、ＭＰＵ（＝Micro Processing Unit）１６を有している。
デジタル脳波計１２は、電極３Ｒ１と電極３Ｌ１に現れる電位変動を差動増幅する差動アンプと、差動アンプの出力をサンプリング処理するサンプリング回路と、サンプリング後のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路とを含んでいる。本実施の形態の場合、サンプリングレートは６００Ｈｚである。また、アナログ／デジタル変換回路の分解能は１６ビットである。
【0019】
６軸センサ１３は、３軸の加速度センサと３軸のジャイロセンサで構成される。６軸センサ１３は、ユーザの姿勢の検知に用いられる。
ブルートゥースモジュール１４は、不図示の外部装置との間でデータを送受信するために用いられる。ブルートゥースモジュール１４は、例えば外部装置からのオーディオデータの受信に用いられる。
半導体メモリ１５は、例えばＢＩＯＳ（＝Basic Input Output System）が記録されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、書き換えが可能な不揮発性のメモリ（以下「フラッシュメモリ」という）で構成される。
本実施の形態の場合、フラッシュメモリは、マイク１１Ｒで集音された音の記録、デジタル脳波計１２の出力であるデジタル信号の記録、脳波の分析により特定された心理状態等に関する情報の記録、外部装置から受信されたオーディオデータの記録等に用いられる。この他、フラッシュメモリには、ファームウェアやアプリケーションプログラムも記録される。
ブルートゥースモジュール１４は、不図示の外部装置との間でデータを送受信するために用いられる。ブルートゥースモジュール１４は、例えば外部装置からのオーディオデータの受信に用いられる。
半導体メモリ１５は、例えばＢＩＯＳ（＝Basic Input Output System）が記録されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、書き換えが可能な不揮発性のメモリ（以下「フラッシュメモリ」という）で構成される。
本実施の形態の場合、フラッシュメモリは、マイク１１Ｒで集音された音の記録、デジタル脳波計１２の出力であるデジタル信号の記録、脳波の分析により特定された心理状態等に関する情報の記録、外部装置から受信されたオーディオデータの記録等に用いられる。この他、フラッシュメモリには、ファームウェアやアプリケーションプログラムも記録される。
【0020】
ＭＰＵ１６は、デジタル脳波計１２で測定された脳波の分析、分析された心理状態等に応じた周囲の音の再生の制御等を実行する。脳波を分析する場合、ＭＰＵ１６は、デジタル脳波計１２が出力するデジタル信号に対するフーリエ変換等の処理を実行する。なお、ＭＰＵ１６と半導体メモリ１５はコンピュータとして動作する。
一方、モジュール本体２Ｌには、マイク１１Ｌと、リチウムイオンバッテリ１７が内蔵されている。
一方、モジュール本体２Ｌには、マイク１１Ｌと、リチウムイオンバッテリ１７が内蔵されている。
【0021】
＜イヤホン型端末１の機能構成＞
図４は、イヤホン型端末１の機能構成の一例を示す図である。図４に示す機能は、ＭＰＵ１６（図３参照）と各部の連携により実現される。
本実施の形態におけるイヤホン型端末１は、生体電位の情報から脳波情報を含む生体情報を取得する生体情報取得部１６１と、取得された生体情報を分析して装着者の心理状態等を推定する生体情報分析部１６２と、マイク１１Ｌ及び１１Ｒが出力する装着者の周囲の音のデータ（以下「音データ」という）を取得する音取得部１６３と、取得された音データの記録を生体情報等に関する情報に応じて制御する音記録制御部１６４と、記録された音データを音の要素に分解する音要素分解部１６５と、予め定めた優先順位に従って音の要素を抽出する優先音抽出部１６６と、音データの再生を予め定めた条件に基づいて制御する再生制御部１６７として機能する。
図４は、イヤホン型端末１の機能構成の一例を示す図である。図４に示す機能は、ＭＰＵ１６（図３参照）と各部の連携により実現される。
本実施の形態におけるイヤホン型端末１は、生体電位の情報から脳波情報を含む生体情報を取得する生体情報取得部１６１と、取得された生体情報を分析して装着者の心理状態等を推定する生体情報分析部１６２と、マイク１１Ｌ及び１１Ｒが出力する装着者の周囲の音のデータ（以下「音データ」という）を取得する音取得部１６３と、取得された音データの記録を生体情報等に関する情報に応じて制御する音記録制御部１６４と、記録された音データを音の要素に分解する音要素分解部１６５と、予め定めた優先順位に従って音の要素を抽出する優先音抽出部１６６と、音データの再生を予め定めた条件に基づいて制御する再生制御部１６７として機能する。
【0022】
生体情報取得部１６１と生体情報分析部１６２は、例えばデジタル脳波計１２（図３参照）の機能として実行してもよいし、ＭＰＵ１６（図３参照）の機能として実行してもよい。
本実施の形態における生体情報取得部１６１は、生体電位の情報から脳波の特徴を取得する。本実施の形態における生体情報分析部１６２は、脳波の特徴の取得に、独立成分分析法（Independent Component Analysis：ICA）その他の既知の技術を活用する。脳波情報の特徴には、例えば脳波に特有の波形成分、波形成分を構成する周波数成分別のスペクトル強度やその分布、波形成分を構成する特定の周波数成分のスペクトル強度、α波の増加率等がある。
本実施の形態における生体情報取得部１６１は、生体電位の情報から脳波の特徴を取得する。本実施の形態における生体情報分析部１６２は、脳波の特徴の取得に、独立成分分析法（Independent Component Analysis：ICA）その他の既知の技術を活用する。脳波情報の特徴には、例えば脳波に特有の波形成分、波形成分を構成する周波数成分別のスペクトル強度やその分布、波形成分を構成する特定の周波数成分のスペクトル強度、α波の増加率等がある。
【0023】
本実施の形態の場合、生体情報分析部１６２は、例えば高速フーリエ変換等を使用して脳波を周波数解析し、行が時間、列が周波数成分のｎ行×ｍ列のデータ行列を生成する。次に、生体情報分析部１６２は、ｎ行×ｍ列のデータ行列を正規化し、正規化したデータ行列から相関行列を求める。その後、生体情報分析部１６２は、相関行列を固有値ベクトルに分解した上で主因子法を用いて因子を抽出する。次に、生体情報分析部１６２は、抽出した因子のうち、寄与率が高い因子を用いてバリマックス回転を行い、最小二乗法により因子得点を求め、得られた因子得点を特徴値とする。本実施の形態の場合、このようにして得られる特徴値を、イヤホン型端末１の装着者の心理状態等を表す生体情報として扱う。なお、特徴値を求める方法は、前述の手法に限らず、他の手法を用いてもよい。
本実施の形態における生体情報分析部１６２は、生体情報を複数の心理状態等に分類する。本実施の形態の場合、複数の心理状態等は、例えば好き、嫌い、楽しい、悲しい、危険、興味、眠気、集中、リラックス、頭が冴える、ストレス、怒り、興奮、幸福に分類される。勿論、これらは一例であり、分類の数はより少なくても、より多くてもよい。これらは、言語上の分類の一例である。
本実施の形態における生体情報分析部１６２は、生体情報を複数の心理状態等に分類する。本実施の形態の場合、複数の心理状態等は、例えば好き、嫌い、楽しい、悲しい、危険、興味、眠気、集中、リラックス、頭が冴える、ストレス、怒り、興奮、幸福に分類される。勿論、これらは一例であり、分類の数はより少なくても、より多くてもよい。これらは、言語上の分類の一例である。
【0024】
音取得部１６３は、マイク１１Ｌ及び１１Ｒ（図３参照）が出力する音データを取得し、予め定めたデータ形式に変換する。
本実施の形態における音記録制御部１６４は、生体情報等に関する情報が予め定めた条件を満たす期間に取得された音データを半導体メモリ１５（図３参照）に記録し、条件を満たさない期間に取得された音データを記録しない。もっとも、生体情報等に関する情報の内容とは関係なく全ての音データを半導体メモリ１５に記録する設定とすることも可能である。ここでの予め定めた条件は、第１の条件の一例である。
本実施の形態における音記録制御部１６４は、装着者の集中力が低下しているとみなされる状態の場合、取得された音データを半導体メモリ１５に記録する。
本実施の形態における音記録制御部１６４は、生体情報等に関する情報が予め定めた条件を満たす期間に取得された音データを半導体メモリ１５（図３参照）に記録し、条件を満たさない期間に取得された音データを記録しない。もっとも、生体情報等に関する情報の内容とは関係なく全ての音データを半導体メモリ１５に記録する設定とすることも可能である。ここでの予め定めた条件は、第１の条件の一例である。
本実施の形態における音記録制御部１６４は、装着者の集中力が低下しているとみなされる状態の場合、取得された音データを半導体メモリ１５に記録する。
【0025】
装着者の集中力が低下しているとみなされる状態には、過度にリラックスしていると分析された場合、眠い又は寝ていると分析される場合、退屈していると分析された場合等がある。これらの場合、装着者が会話の内容を把握しきれない可能性がある。
なお、装着者の集中力が低下しているとみなされる状態は、例えば装着者から測定されたθ波のレベルが予め定めた閾値より高い場合やδ波のレベルが予め定めた閾値より高い場合に出現する可能性がある。θ波は、周波数が約４Ｈｚ～約８Ｈｚの周波数成分であり、δ波は、周波数が約４Ｈｚ以下の周波数成分である。
このため、装着者の集中力が低下しているとみなされる状態を、θ波のレベルが予め定めた閾値より高い場合、又は、δ波のレベルが予め定めた閾値より高い場合として検出する機能を音記録制御部１６４に設けてもよい。装着者の集中力が低下しているとみなされる状態は、第１の条件の一例である。
なお、装着者の集中力が低下しているとみなされる状態は、例えば装着者から測定されたθ波のレベルが予め定めた閾値より高い場合やδ波のレベルが予め定めた閾値より高い場合に出現する可能性がある。θ波は、周波数が約４Ｈｚ～約８Ｈｚの周波数成分であり、δ波は、周波数が約４Ｈｚ以下の周波数成分である。
このため、装着者の集中力が低下しているとみなされる状態を、θ波のレベルが予め定めた閾値より高い場合、又は、δ波のレベルが予め定めた閾値より高い場合として検出する機能を音記録制御部１６４に設けてもよい。装着者の集中力が低下しているとみなされる状態は、第１の条件の一例である。
【0026】
また、本実施の形態における音記録制御部１６４は、装着者が昂ぶっているとみなされる状態の場合、取得された音データを半導体メモリ１５に記録する。
装着者が昂ぶっているとみなされる状態には、イライラしていると分析された場合、興奮している又は興奮しすぎていると分析される場合等がある。これらの場合も、装着者が会話の内容を把握しきれない可能性がある。
なお、装着者が昂ぶっている状態は、例えば装着者から測定されたγ波のレベルが予め定めた閾値より高い場合やβ波のレベルが予め定めた閾値より高い場合に出現する可能性がある。γ波は、周波数が約４０Ｈｚ～約７０Ｈｚの周波数成分であり、β波は、周波数が約１３Ｈｚ～約４０Ｈｚの周波数成分である。
このため、装着者が昂ぶっているとみなされる状態を、γ波のレベルが予め定めた閾値より高い場合、又は、β波のレベルが予め定めた閾値より高い場として検出する機能を音記録制御部１６４に設けてもよい。装着者が昂ぶっているとみなされる状態は、第１の条件の一例である。なお、第１の条件は、アカウント毎に設定が可能である。
装着者が昂ぶっているとみなされる状態には、イライラしていると分析された場合、興奮している又は興奮しすぎていると分析される場合等がある。これらの場合も、装着者が会話の内容を把握しきれない可能性がある。
なお、装着者が昂ぶっている状態は、例えば装着者から測定されたγ波のレベルが予め定めた閾値より高い場合やβ波のレベルが予め定めた閾値より高い場合に出現する可能性がある。γ波は、周波数が約４０Ｈｚ～約７０Ｈｚの周波数成分であり、β波は、周波数が約１３Ｈｚ～約４０Ｈｚの周波数成分である。
このため、装着者が昂ぶっているとみなされる状態を、γ波のレベルが予め定めた閾値より高い場合、又は、β波のレベルが予め定めた閾値より高い場として検出する機能を音記録制御部１６４に設けてもよい。装着者が昂ぶっているとみなされる状態は、第１の条件の一例である。なお、第１の条件は、アカウント毎に設定が可能である。
【0027】
音要素分解部１６５は、半導体メモリ１５（図３参照）に記録された音データを音の要素に分解する処理を実行する。本実施の形態の場合、音要素分解部１６５は、複数の基準を使用して、音データを音の要素に分解する。基準には、例えば音の種類、音源又は話者の違い、言葉の単位、要約を使用する。
音の種類を基準とする場合、音データは、例えば人の声とそれ以外の音に分解される。勿論、音データを別の種類に分解することも可能である。また、種類の数は３つ以上でもよい。
音源又は話者の違いを基準とする場合、音データは、例えば話者別に分解される。例えばＡさんの声、Ｂさんの声という具合に分解される。なお、音データから話者を認識する技術は既に実用化されている。例えばMicrosoft社のSpeaker Recognition APIがある。
言葉の単位を基準とする場合、音データは、例えば文節や単語を単位に分解される。文節や単語の単位で分解されていると、出現頻度の高い文節や単語の抽出が可能になる。
要約を基準とする場合、既存技術を用いて音データから要約が生成される。例えば音データをテキストデータに変換し、テキストデータの要約を生成する技術が存在する。要約が生成されていると、会話の要約を抽出することも可能である。
音の種類を基準とする場合、音データは、例えば人の声とそれ以外の音に分解される。勿論、音データを別の種類に分解することも可能である。また、種類の数は３つ以上でもよい。
音源又は話者の違いを基準とする場合、音データは、例えば話者別に分解される。例えばＡさんの声、Ｂさんの声という具合に分解される。なお、音データから話者を認識する技術は既に実用化されている。例えばMicrosoft社のSpeaker Recognition APIがある。
言葉の単位を基準とする場合、音データは、例えば文節や単語を単位に分解される。文節や単語の単位で分解されていると、出現頻度の高い文節や単語の抽出が可能になる。
要約を基準とする場合、既存技術を用いて音データから要約が生成される。例えば音データをテキストデータに変換し、テキストデータの要約を生成する技術が存在する。要約が生成されていると、会話の要約を抽出することも可能である。
【0028】
優先音抽出部１６６は、予め定めた優先順位に従って音の要素を抽出する処理を実行する。優先順位は、装着者が設定する。本実施の形態の場合、優先順位は事前に設定される。優先順位は、再生される音の要素間の優先度の関係を定める。優先順位に基づいて再生される音の要素が決定される。
優先順位が上位の例には、例えば特定の話者がある。特定の話者の代表例は、上司やリーダである。具体的には、特定の話者の優先順位を高く設定しておく。
優先順位が上位の例には、発言数が多い特定の話者がある。上司やリーダとも重複する可能性があるが、発言回数が多い話者は重要な発言をしている可能性も高い。
優先順位が上位の例には、出現する頻度が高い文節や単語がある。繰り返し出現する文節や単語の内容を優先することで、短時間のうちに会話の要点の把握が可能になる。
優先順位が上位の例には、会話の要約がある。要約の再生により、短時間のうちに会話の要点の把握が可能になる。
なお、優先順位を設定しないことも可能である。この場合、記録された音声データの全てが再生の対象となる。ここでの優先順位は第３の条件の一例である。因みに、優先順位は装着者毎に設定が可能である。換言すると、優先順位は、アカウント毎に設定が可能である。
優先順位が上位の例には、例えば特定の話者がある。特定の話者の代表例は、上司やリーダである。具体的には、特定の話者の優先順位を高く設定しておく。
優先順位が上位の例には、発言数が多い特定の話者がある。上司やリーダとも重複する可能性があるが、発言回数が多い話者は重要な発言をしている可能性も高い。
優先順位が上位の例には、出現する頻度が高い文節や単語がある。繰り返し出現する文節や単語の内容を優先することで、短時間のうちに会話の要点の把握が可能になる。
優先順位が上位の例には、会話の要約がある。要約の再生により、短時間のうちに会話の要点の把握が可能になる。
なお、優先順位を設定しないことも可能である。この場合、記録された音声データの全てが再生の対象となる。ここでの優先順位は第３の条件の一例である。因みに、優先順位は装着者毎に設定が可能である。換言すると、優先順位は、アカウント毎に設定が可能である。
【0029】
再生制御部１６７は、予め定めた条件を満たす場合、半導体メモリ１５（図３参照）に記録されている音データ又は音の要素を再生する。
予め定めた条件には、例えば装着者の心理状態等に関する状態が、会話の内容を把握可能な状態に該当することがある。換言すると、装着者の集中力が低下しているとみなされなくなった場合や装着者が昂ぶっているとみなされなくなった場合である。すなわち、装着者の集中力が回復した場合や冷静さを取り戻した場合である。ここでの予め定めた条件は、第１の条件を満たさない場合と定義することも可能である。
この他、予め定めた条件には、装着者が明示の指示を与えた場合も含まれる。明示の指示は、不図示の操作子や操作ボタンに対する操作を通じて入力される。この場合、装着者が再生を開始するタイミングを自由に選択することが可能になる。換言すると、装着者に都合のよいタイミングで記録された音データの再生が可能になる。
予め定めた条件には、例えば装着者の心理状態等に関する状態が、会話の内容を把握可能な状態に該当することがある。換言すると、装着者の集中力が低下しているとみなされなくなった場合や装着者が昂ぶっているとみなされなくなった場合である。すなわち、装着者の集中力が回復した場合や冷静さを取り戻した場合である。ここでの予め定めた条件は、第１の条件を満たさない場合と定義することも可能である。
この他、予め定めた条件には、装着者が明示の指示を与えた場合も含まれる。明示の指示は、不図示の操作子や操作ボタンに対する操作を通じて入力される。この場合、装着者が再生を開始するタイミングを自由に選択することが可能になる。換言すると、装着者に都合のよいタイミングで記録された音データの再生が可能になる。
【0030】
また、予め定めた条件には、装着者の置かれた環境の変化が検知される場合も含まれる。環境の変化には、例えば会話の終了や参加している会議の終了がある。会話の終了は、例えば会話を終了する言葉の検知により判定される。また、会議の終了も、例えば会議の終了を知らせる言葉の検知や騒音の増加などにより判定される。
また、予め定めた条件には、リアルタイムが含まれてもよい。この場合は、会話の内容の把握が困難な状態でも強制的に集音された音が再生される。多くの場合、軟骨伝導による音の伝達は、直接耳に入る音よりも大きく聞こえることが知られている。このため、心理状態等が周囲の音を把握しきれない状態でも、注意を音に向けることが可能になる。本実施の形態におけるイヤホン型端末１は補聴器ではないので、リアルタイムでの音データ等の再生は、装着者の心理状態等が会話の内容の把握が困難な場合に限られる。
再生制御部１６７が用いる予め定めた条件は、第２の条件の一例である。第２の条件も装着者毎に設定される。換言すると、第２の条件は、アカウント毎に設定が可能である。
また、予め定めた条件には、リアルタイムが含まれてもよい。この場合は、会話の内容の把握が困難な状態でも強制的に集音された音が再生される。多くの場合、軟骨伝導による音の伝達は、直接耳に入る音よりも大きく聞こえることが知られている。このため、心理状態等が周囲の音を把握しきれない状態でも、注意を音に向けることが可能になる。本実施の形態におけるイヤホン型端末１は補聴器ではないので、リアルタイムでの音データ等の再生は、装着者の心理状態等が会話の内容の把握が困難な場合に限られる。
再生制御部１６７が用いる予め定めた条件は、第２の条件の一例である。第２の条件も装着者毎に設定される。換言すると、第２の条件は、アカウント毎に設定が可能である。
【0031】
＜処理動作＞
図５は、実施の形態１で使用するイヤホン型端末１が実行する処理動作例を説明するフローチャートである。図５においては、処理動作の各ステップを記号のＳで示している。
まず、イヤホン型端末１は、生体電位の情報を取得すると（ステップ１）、生体電位の情報を分析して心理状態等を特定する（ステップ２）。本実施の形態の場合、生体電位の情報は脳波を含む情報であり、予め用意された心理状態等の中から１つ又は複数が特定される。
次に、イヤホン型端末１は、周囲の音を記録する条件を満たすか否かを判定する（ステップ３）。ステップ３で否定結果が得られている間、イヤホン型端末１は、ステップ３の判定を繰り返す。この間、装着者の周囲の音は記録されない。また、周囲の音が軟骨伝導により伝達されることもない。
ステップ３で肯定結果が得られた場合、イヤホン型端末１は、周囲の音を記録する（ステップ４）。
図５は、実施の形態１で使用するイヤホン型端末１が実行する処理動作例を説明するフローチャートである。図５においては、処理動作の各ステップを記号のＳで示している。
まず、イヤホン型端末１は、生体電位の情報を取得すると（ステップ１）、生体電位の情報を分析して心理状態等を特定する（ステップ２）。本実施の形態の場合、生体電位の情報は脳波を含む情報であり、予め用意された心理状態等の中から１つ又は複数が特定される。
次に、イヤホン型端末１は、周囲の音を記録する条件を満たすか否かを判定する（ステップ３）。ステップ３で否定結果が得られている間、イヤホン型端末１は、ステップ３の判定を繰り返す。この間、装着者の周囲の音は記録されない。また、周囲の音が軟骨伝導により伝達されることもない。
ステップ３で肯定結果が得られた場合、イヤホン型端末１は、周囲の音を記録する（ステップ４）。
【0032】
続いて、イヤホン型端末１は、リアルタイムで再生の設定があるか否かを判定する（ステップ５）。
ステップ５で肯定結果が得られた場合、イヤホン型端末１は、記録又は抽出した音を再生する（ステップ１０）。ここでは、記録された音がリアルタイムで再生される。再生には、軟骨伝導振動子３Ｌ３及び３Ｒ３（図３参照）が用いられる。
一方、ステップ５で否定結果が得られた場合、イヤホン型端末１は、音を要素に分解し（ステップ６）、その後、分解後の音の要素を格納する（ステップ７）。前述したように、音の要素は半導体メモリ１５（図３参照）に格納される。
次に、イヤホン型端末１は、優先する音の要素を抽出する（ステップ８）。音の要素の抽出は、事前に設定された優先順位に基づいて実行される。
この後、イヤホン型端末１は、再生条件を満たすか否かを判定する（ステップ９）。
再生条件が満たされない間、イヤホン型端末１は、ステップ９で否定結果を得る。再生条件が満たされると、イヤホン型端末１は、ステップ９で肯定結果を得てステップ１０に移行し、抽出された音を再生する。
ステップ５で肯定結果が得られた場合、イヤホン型端末１は、記録又は抽出した音を再生する（ステップ１０）。ここでは、記録された音がリアルタイムで再生される。再生には、軟骨伝導振動子３Ｌ３及び３Ｒ３（図３参照）が用いられる。
一方、ステップ５で否定結果が得られた場合、イヤホン型端末１は、音を要素に分解し（ステップ６）、その後、分解後の音の要素を格納する（ステップ７）。前述したように、音の要素は半導体メモリ１５（図３参照）に格納される。
次に、イヤホン型端末１は、優先する音の要素を抽出する（ステップ８）。音の要素の抽出は、事前に設定された優先順位に基づいて実行される。
この後、イヤホン型端末１は、再生条件を満たすか否かを判定する（ステップ９）。
再生条件が満たされない間、イヤホン型端末１は、ステップ９で否定結果を得る。再生条件が満たされると、イヤホン型端末１は、ステップ９で肯定結果を得てステップ１０に移行し、抽出された音を再生する。
【0033】
以下では、図６及び図７を用いて、イヤホン型端末１の使用例を説明する。
図６は、イライラしている人が冷静さを取り戻すと音声の再生が開始される例を説明する図である。図６では、Ａさんが話者であり、イヤホン型端末１を装着しているＢさんが聞き手である。図６に示すように、Ａさんは「今回のプロジェクトは…」とＢさんに話しかけているが、Ｂさんはイライラしており、Ａさんの話す内容を把握しきれない状態である。なお、イヤホン型端末１には気導経路が確保されているので、ＢさんはＡさんが話す声が物理的には聞こえている。しかし、イライラしており、話の内容を把握するには不向きな状態である。
この場合、イヤホン型端末１は、Ｂさんの心理状態等が冷静になったことを検知すると、イライラしていた期間に記録されていた音声の再生をスタートする。再生される音声は、事前の設定による。例えば音声の全部が１倍速で再生される、又は、早送り再生される。また例えば音声の要約が選択的に再生される。
図６は、イライラしている人が冷静さを取り戻すと音声の再生が開始される例を説明する図である。図６では、Ａさんが話者であり、イヤホン型端末１を装着しているＢさんが聞き手である。図６に示すように、Ａさんは「今回のプロジェクトは…」とＢさんに話しかけているが、Ｂさんはイライラしており、Ａさんの話す内容を把握しきれない状態である。なお、イヤホン型端末１には気導経路が確保されているので、ＢさんはＡさんが話す声が物理的には聞こえている。しかし、イライラしており、話の内容を把握するには不向きな状態である。
この場合、イヤホン型端末１は、Ｂさんの心理状態等が冷静になったことを検知すると、イライラしていた期間に記録されていた音声の再生をスタートする。再生される音声は、事前の設定による。例えば音声の全部が１倍速で再生される、又は、早送り再生される。また例えば音声の要約が選択的に再生される。
【0034】
図７は、興奮が収まった時点で自分の意思で会議中に発せられた音声の再生を指示する例を説明する図である。図７の場合、会議にはＡさん、Ｂさん、Ｃさん、Ｄさんの４名が参加している。図７の場合、Ａさんがリーダであり、「今回の目標は…」と話している。この時点で、Ｂさん、Ｃさん、Ｄさんは聞き手である。このうち、Ｄさんは、イヤホン型端末１を装着している。なお、Ｄさんは、緊張のためか興奮した状態にある。このため、Ｄさんは、Ａさんの話す内容を把握しきれていない。
図７の例では、冷静さを取り戻したＤさんの指示により、リーダの声が抽出されて再生がスタートされる。図７の場合、Ｄさんは、リーダであるＡさんの音声の優先順位を高く設定している。このため、ＢさんやＣさんの発言があった場合でも、Ａさんの発言が選択的に再生される。この例では、Ｄさんの指示によりＡさんの発言が再生されるため、会議中でも、他の参加者に気づかれることなく、Ａさんの発言を確認することが可能になる。
図７の例では、冷静さを取り戻したＤさんの指示により、リーダの声が抽出されて再生がスタートされる。図７の場合、Ｄさんは、リーダであるＡさんの音声の優先順位を高く設定している。このため、ＢさんやＣさんの発言があった場合でも、Ａさんの発言が選択的に再生される。この例では、Ｄさんの指示によりＡさんの発言が再生されるため、会議中でも、他の参加者に気づかれることなく、Ａさんの発言を確認することが可能になる。
【0035】
＜実験結果等＞
以下では、イヤホン型端末１（図２参照）の使用により、装着者の脳波の取得が可能であることを、第三者による実験の結果や出願人による実験の結果を通じて説明する。
以下では、イヤホン型端末１（図２参照）の使用により、装着者の脳波の取得が可能であることを、第三者による実験の結果や出願人による実験の結果を通じて説明する。
【0036】
＜イヤホン型端末１との対比に使用するMindWave（NeuroSky社）の信頼性＞
図８は、イヤホン型端末１を装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセット２０の測定点を説明する図である。
今回の実験では、脳波センサ付きヘッドセット２０として、市場で入手が可能なNeuroSky社のMindWaveを使用した。
前述したように、イヤホン型端末１は外耳道を脳波の測定点として使用するのに対し、NeuroSky社のMindWaveは、額２０Ａを脳波の測定点とする。
図８に示す額２０Ａは、脳波の測定に使用する電極配置の国際標準として推奨されている１０－２０法で定める２１個の配置のうちのＦｐ１に相当する。
図８は、イヤホン型端末１を装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセット２０の測定点を説明する図である。
今回の実験では、脳波センサ付きヘッドセット２０として、市場で入手が可能なNeuroSky社のMindWaveを使用した。
前述したように、イヤホン型端末１は外耳道を脳波の測定点として使用するのに対し、NeuroSky社のMindWaveは、額２０Ａを脳波の測定点とする。
図８に示す額２０Ａは、脳波の測定に使用する電極配置の国際標準として推奨されている１０－２０法で定める２１個の配置のうちのＦｐ１に相当する。
【0037】
MindWaveによって測定される脳波は、医療認定されているＥＥＧシステムと同等であることが、Elena Ratti等の論文「Comparison of Medical and Consumer Wireless EEG Systems for Use in Clinical Trials」（https://www．frontiersin．org/articles/10．3389/fnhum．2017．00398/full）で検証されている。
なお、この論文は、ＵＳデューク大学のPh．DシニアサイエンティストDimiter Dimitrovと、イタリアミラノ工科大学Ph．Dイタリア国立研究評議会（CNR）のMarta Parazziniにより査読掲載されている。
図９は、論文に掲載されている脳波の計測点を示す図である。
図９に示すB-AlertとEnobioは、ヨーロッパと米国で医療認定を得ているＥＥＧシステムの名称である。また、MuseとMindWaveは、消費者向けのＥＥＧシステムの名称である。
なお、この論文は、ＵＳデューク大学のPh．DシニアサイエンティストDimiter Dimitrovと、イタリアミラノ工科大学Ph．Dイタリア国立研究評議会（CNR）のMarta Parazziniにより査読掲載されている。
図９は、論文に掲載されている脳波の計測点を示す図である。
図９に示すB-AlertとEnobioは、ヨーロッパと米国で医療認定を得ているＥＥＧシステムの名称である。また、MuseとMindWaveは、消費者向けのＥＥＧシステムの名称である。
【0038】
図９の場合、白丸で示す位置は、医療認定されているＥＥＧシステムでのみ使用する測定点である。これに対し、ＡＦ７、Ａｐ１、ＡＦ８、Ａ１、Ａ２で示す位置は、消費者向けのＥＥＧシステムであるＭｕｓｅでのみ使用する測定点である。そして、Ｆｐ１は、４つのＥＥＧシステムに共通する測定点である。すなわち、Ｆｐ１は、MindWaveの測定点である。なお、測定点のＡ１とＡ２は、耳介と側頭部とで挟まれた部分に当たり、外耳道ではない。
【0039】
論文の詳細については省略するが、安静時の脳波の測定を、５人の健康な被験者を対象として、日を改めて２回行っている。また、同実験では、額部のＦｐ１を共通の測定点とし、目を閉じた状態と目を開いた状態における脳波パターンとパワースペクトル密度が比較されている。この論文における評価は、閉眼時の脳波におけるα波の出力評価に当たる。
また、論文の結論の項には、MindWaveのＦｐ１で測定されるパワースペクトルは、医療認定されているＥＥＧシステムであるB-Alert及びEnobioと再現テストの結果も含めてほぼ同じであり、α波のピークも捉えられたことが記載されている。なお、MindWaveで測定される脳波には、瞬きと開眼中の動きがノイズとして乗ることも記載されている。ちなみに、Museの信頼性が低い理由として、アーチファクトの影響の可能性が指摘されている。
また、論文の結論の項には、MindWaveのＦｐ１で測定されるパワースペクトルは、医療認定されているＥＥＧシステムであるB-Alert及びEnobioと再現テストの結果も含めてほぼ同じであり、α波のピークも捉えられたことが記載されている。なお、MindWaveで測定される脳波には、瞬きと開眼中の動きがノイズとして乗ることも記載されている。ちなみに、Museの信頼性が低い理由として、アーチファクトの影響の可能性が指摘されている。
【0040】
＜イヤホン型端末１による測定結果とMindWaveによる測定結果の比較＞
以下では、被験者に、イヤホン型端末１（図２参照）とMindWaveの両方を装着し、脳波を測定する実験を行った結果について説明する。
図８に示したように、イヤホン型端末１は外耳道を測定点とし、MindWaveは額２０Ａを測定点とする。
以下では、被験者に、イヤホン型端末１（図２参照）とMindWaveの両方を装着し、脳波を測定する実験を行った結果について説明する。
図８に示したように、イヤホン型端末１は外耳道を測定点とし、MindWaveは額２０Ａを測定点とする。
【0041】
出願人の実験では、５８名を被験者とした。一人につき、同日中に、３回のアテンションの上昇テストとメディテーションの上昇テストを設計し、閉眼時におけるα波の出現を捉える実験を行った。
なお、実際の被験者は８３名であったが、２５名の測定の結果には開眼時のアーチファクトの影響が過大であったため除外した。
なお、実際の被験者は８３名であったが、２５名の測定の結果には開眼時のアーチファクトの影響が過大であったため除外した。
【0042】
アテンションの上昇テストでは、被験者に対し、開眼状態で１５０ｍｍ先のペン先を３０秒間見つめ続けてもらった。このテストは、集中状態を作ってα波の出現を抑止し、β波を増加させることを目的とする。
メディテーション上昇テストでは、被験者に対し、閉眼状態で３０秒間の瞑想をお願いした。このテストは、閉眼時のα波の出力評価に相当する。換言すると、リラックス状態におけるα波の増加比率を捉えることを目的とする。
メディテーション上昇テストでは、被験者に対し、閉眼状態で３０秒間の瞑想をお願いした。このテストは、閉眼時のα波の出力評価に相当する。換言すると、リラックス状態におけるα波の増加比率を捉えることを目的とする。
【0043】
実験時には、アテンションの上昇テストの後にメディテーションの上昇テストに移行し、α波の出力を評価した。
α波の出力の評価は、３０秒間の開眼状態の後に３０秒間の閉眼状態を２セット繰り返し、閉眼状態におけるα波の上昇を確認するのが一般的である。
ただし、今回の実験では、一度に多くのデータを収集するためにセットの回数を増やして行った。
α波の出力の評価は、３０秒間の開眼状態の後に３０秒間の閉眼状態を２セット繰り返し、閉眼状態におけるα波の上昇を確認するのが一般的である。
ただし、今回の実験では、一度に多くのデータを収集するためにセットの回数を増やして行った。
【0044】
まず、メディテーションの上昇テストを行った理由と、閉眼時におけるα波の出力の評価に用いた方法について説明する。
図１０は、α波の出力評価を説明する図である。図１０に示すように、脳波の生データは、主にδ波、θ波、α波、β波、γ波に分類が可能である。
脳波は、人の動作による再現性が小さく、臨床データによる取得性能の再現性の評価が難しいとされるが、その中でも、α波は、開眼と閉眼の差で出現され易いとされている。
いずれの波も、開眼状態においては一様に出現し易い一方、α波以外の波は閉眼状態において一様に減衰するといわれる。すなわち、α波は、閉眼状態においても比較的影響を受けることなく出現するといわれる。
図１０は、α波の出力評価を説明する図である。図１０に示すように、脳波の生データは、主にδ波、θ波、α波、β波、γ波に分類が可能である。
脳波は、人の動作による再現性が小さく、臨床データによる取得性能の再現性の評価が難しいとされるが、その中でも、α波は、開眼と閉眼の差で出現され易いとされている。
いずれの波も、開眼状態においては一様に出現し易い一方、α波以外の波は閉眼状態において一様に減衰するといわれる。すなわち、α波は、閉眼状態においても比較的影響を受けることなく出現するといわれる。
【0045】
この特徴を活かし、実験では、脳波の生データをフーリエ変換し、各波に対応する周波数帯のスペクトル強度Ｓｎを特性値とした。
実験では、α波強度比Ｔαを、全周波数帯のスペクトル強度の和（すなわちΣＳｎ）に対するα波帯のスペクトル強度Ｓαの比（＝Ｓα／ΣＳｎ）として定義し、開眼状態から閉眼状態への変化でα波強度比Ｔαが増加したか否かを確認した。
α波強度比Ｔαの増加が確認されれば、脳波の測定の証拠になる。
実験では、α波強度比Ｔαを、全周波数帯のスペクトル強度の和（すなわちΣＳｎ）に対するα波帯のスペクトル強度Ｓαの比（＝Ｓα／ΣＳｎ）として定義し、開眼状態から閉眼状態への変化でα波強度比Ｔαが増加したか否かを確認した。
α波強度比Ｔαの増加が確認されれば、脳波の測定の証拠になる。
【0046】
図１１及び図１２を用いて、イヤホン型端末１による測定結果とMindWaveによる測定結果の異同を説明する。
図１１は、MindWaveによる測定結果を説明する図である。（Ａ）は瞬きが弱い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬きが強い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
図１２は、実施の形態で使用するイヤホン型端末１（図２参照）による測定結果を説明する図である。（Ａ）は瞬きが弱い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬きが強い人で更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
図１１は、MindWaveによる測定結果を説明する図である。（Ａ）は瞬きが弱い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬きが強い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
図１２は、実施の形態で使用するイヤホン型端末１（図２参照）による測定結果を説明する図である。（Ａ）は瞬きが弱い人で開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬きが強い人で更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
【0047】
瞬きが弱い人の場合、イヤホン型端末１による測定結果とMindWaveによる測定結果との間には、高い類似性が認められた。
一方、瞬きが強い人の場合、MindWaveによる測定結果には、瞬きの影響を受けたアーチファクトが顕著に出現した。その理由は、MindWaveが測定に用いる額の位置が目に近く、開眼時における瞬きが大きなアーチファクトとして検出され易いためと考えられる。このことは、前述したElena Ratti等の論文でも指摘されている。
一方、瞬きが強い人の場合、MindWaveによる測定結果には、瞬きの影響を受けたアーチファクトが顕著に出現した。その理由は、MindWaveが測定に用いる額の位置が目に近く、開眼時における瞬きが大きなアーチファクトとして検出され易いためと考えられる。このことは、前述したElena Ratti等の論文でも指摘されている。
【0048】
ところで、瞬きの影響によるアーチファクトは、主にδ波帯に出現した。ただし、図１１に示すように大きなアーチファクトがあると、α波の増加が誤検出される可能性が高くなる。その理由は、開眼状態における全周波数帯のスペクトル強度の和が大きくなる結果、開眼状態におけるα波強度比Ｔαが小さくなり、閉眼状態におけるα波強度比Ｔαが相対的に大きく見えてしまうためである。前述した被験者の削減もこの理由による。
なお、瞬きに伴い検出されるアーチファクトには、瞼の動きに伴い発生する生体由来の電位の変動だけでなく、瞼を動かそうとする脳波由来の電位の変動が含まれている。
なお、瞬きに伴い検出されるアーチファクトには、瞼の動きに伴い発生する生体由来の電位の変動だけでなく、瞼を動かそうとする脳波由来の電位の変動が含まれている。
【0049】
一方、本実施の形態で使用するイヤホン型端末１（図２参照）による測定結果では、０秒から３０秒の期間に、瞬きに起因するアーチファクトは検知されなかった。
ただし、唾液を飲み込む顎の動きに起因するアーチファクトは、開眼状態か閉眼状態かを問わず、検出されることが確認された。唾液を飲み込む顎の動きに起因するアーチファクトは、主に、θ波帯に出現した。
一方で、唾液の飲み込みに伴い出現するアーチファクトのスペクトル強度は、MindWaveで検知された瞬きに対応するアーチファクトのスペクトル強度に比して格段に小さい。このため、MindWaveの場合のように、α波の増加への影響は認められなかった。
因みに、唾液の飲み込みに伴い出現するアーチファクトにも、顎の筋肉の動きに伴い発生する生体由来の電位の変動だけでなく、顎の筋肉を動かそうとする脳波由来の電位の変動が含まれている。
ただし、唾液を飲み込む顎の動きに起因するアーチファクトは、開眼状態か閉眼状態かを問わず、検出されることが確認された。唾液を飲み込む顎の動きに起因するアーチファクトは、主に、θ波帯に出現した。
一方で、唾液の飲み込みに伴い出現するアーチファクトのスペクトル強度は、MindWaveで検知された瞬きに対応するアーチファクトのスペクトル強度に比して格段に小さい。このため、MindWaveの場合のように、α波の増加への影響は認められなかった。
因みに、唾液の飲み込みに伴い出現するアーチファクトにも、顎の筋肉の動きに伴い発生する生体由来の電位の変動だけでなく、顎の筋肉を動かそうとする脳波由来の電位の変動が含まれている。
【0050】
続いて、図１３及び図１４を用いて、イヤホン型端末１による測定結果に現れるα波の増加とMindWaveによる測定結果に現れるα波の増加を説明する。
図１３は、MindWaveによる測定結果を説明する図である。（Ａ）は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
図１４は、実施の形態で使用するイヤホン型端末１（図２参照）による測定結果を説明する図である。（Ａ）は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
図１３は、MindWaveによる測定結果を説明する図である。（Ａ）は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
図１４は、実施の形態で使用するイヤホン型端末１（図２参照）による測定結果を説明する図である。（Ａ）は瞬きが強い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は瞬きが弱い開眼状態から閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
【0051】
図１３及び図１４の縦軸はスペクトル強度の割合であり、横軸は周波数帯域である。また、図１３の（Ａ）に対応する被験者と図１４の（Ａ）に対応する被験者は同じである。同様に、図１３の（Ｂ）に対応する被験者と図１４の（Ｂ）に対応する被験者は同じである。図１３の（Ｃ）に対応する被験者と図１４の（Ｃ）に対応する被験者も同じである。
MindWaveのスペクトル強度の分布（図１３参照）とイヤホン型端末１のスペクトル強度の分布（図１４参照）は、δ波～θ波の低周波帯で異なっているが、α波以上ではほぼ同じであった。
MindWaveのスペクトル強度の分布（図１３参照）とイヤホン型端末１のスペクトル強度の分布（図１４参照）は、δ波～θ波の低周波帯で異なっているが、α波以上ではほぼ同じであった。
【0052】
実験の結果、MindWaveとイヤホン型端末１の両方でα波の増加が確認された被験者は４６名であった。この割合は、５８名のうちの約８割弱に相当する。
因みに、イヤホン型端末１だけでα波の増加が確認された被験者は７名であった。換言すると、イヤホン型端末１では、α波の増加が計５３名で確認された。すなわち、イヤホン型端末１では、約９割強の被験者でα波の増加が確認された。
なお、MindWaveとイヤホン型端末１の両方でα波の増加が確認されなかった被験者は５名であった。図１３及び図１４の（Ｃ）に示す波形は、この５名の被験者の測定結果を表している。
因みに、イヤホン型端末１だけでα波の増加が確認された被験者は７名であった。換言すると、イヤホン型端末１では、α波の増加が計５３名で確認された。すなわち、イヤホン型端末１では、約９割強の被験者でα波の増加が確認された。
なお、MindWaveとイヤホン型端末１の両方でα波の増加が確認されなかった被験者は５名であった。図１３及び図１４の（Ｃ）に示す波形は、この５名の被験者の測定結果を表している。
【0053】
図１５は、スペクトル強度の増加部の提示例を示す図である。（Ａ）はMindWaveの測定結果であり、（Ｂ）は実施の形態で使用するイヤホン型端末１（図２参照）の測定結果である。縦軸はスペクトル強度の割合であり、横軸は周波数である。
図１５では、図１３及び図１４の場合とは異なり、横軸に実周波数を用いている。前述したElena Ratti等の論文では、横軸に実周波数を用いてα波の増加を説明している。図中の○印で示す部分が増加部分である。
図１５に示すように、いずれの測定方法でも、周波数が高くなるのに従ってスペクトル強度の割合が低下する傾向が表れている。この傾向は、Elena Ratti等の論文と同様である。
このように、本実施の形態で使用する外耳道で脳波を測定するイヤホン型端末１は、MindWaveと同等の測定能力を有していることが確かめられた。
図１５では、図１３及び図１４の場合とは異なり、横軸に実周波数を用いている。前述したElena Ratti等の論文では、横軸に実周波数を用いてα波の増加を説明している。図中の○印で示す部分が増加部分である。
図１５に示すように、いずれの測定方法でも、周波数が高くなるのに従ってスペクトル強度の割合が低下する傾向が表れている。この傾向は、Elena Ratti等の論文と同様である。
このように、本実施の形態で使用する外耳道で脳波を測定するイヤホン型端末１は、MindWaveと同等の測定能力を有していることが確かめられた。
【0054】
＜実施の形態２＞
本実施の形態では、対象者の集中力が低下しているとみなされる状態で電話の着信があった場合における処理動作について説明する。
なお、本実施の形態の場合にも、実施の形態１で説明したイヤホン型端末１を使用する。相違する処理の内容は、ＭＰＵ１６（図３参照）が実行するプログラムに起因する。
図１６は、実施の形態２で使用するイヤホン型端末１が実行する処理動作例を説明するフローチャートである。図１６には、図５との対応部分に対応する符号を付して示している。
本実施の形態の場合も、イヤホン型端末１は、生体電位の情報を取得すると（ステップ１）、生体電位の情報を分析して心理状態等を特定する（ステップ２）。
本実施の形態では、対象者の集中力が低下しているとみなされる状態で電話の着信があった場合における処理動作について説明する。
なお、本実施の形態の場合にも、実施の形態１で説明したイヤホン型端末１を使用する。相違する処理の内容は、ＭＰＵ１６（図３参照）が実行するプログラムに起因する。
図１６は、実施の形態２で使用するイヤホン型端末１が実行する処理動作例を説明するフローチャートである。図１６には、図５との対応部分に対応する符号を付して示している。
本実施の形態の場合も、イヤホン型端末１は、生体電位の情報を取得すると（ステップ１）、生体電位の情報を分析して心理状態等を特定する（ステップ２）。
【0055】
また、イヤホン型端末１は、周囲の音を記録する条件を満たすか否かを判定する（ステップ３）。ステップ３で否定結果が得られている間、イヤホン型端末１は、ステップ３の判定を繰り返す。
一方、ステップ３で肯定結果が得られた場合、イヤホン型端末１は、周囲の音を記録する（ステップ４）。
ここまでの処理は、実施の形態１と同じである。
続いて、イヤホン型端末１は、再生条件を満たす前に電話の着信があったか否かを判定する（ステップ１１）。本実施の形態の場合、ステップ１１で否定結果が得られている間、イヤホン型端末１は、ステップ１１の判定を繰り返す。もっとも、否定結果が得られている間も、実施の形態１で説明したステップ５～１０の処理が実行される。このため、ステップ１１で肯定結果が得られる前に、記録された周囲の音の再生が開始されることも起こり得る。
一方、ステップ３で肯定結果が得られた場合、イヤホン型端末１は、周囲の音を記録する（ステップ４）。
ここまでの処理は、実施の形態１と同じである。
続いて、イヤホン型端末１は、再生条件を満たす前に電話の着信があったか否かを判定する（ステップ１１）。本実施の形態の場合、ステップ１１で否定結果が得られている間、イヤホン型端末１は、ステップ１１の判定を繰り返す。もっとも、否定結果が得られている間も、実施の形態１で説明したステップ５～１０の処理が実行される。このため、ステップ１１で肯定結果が得られる前に、記録された周囲の音の再生が開始されることも起こり得る。
【0056】
ここでは、ステップ１１で肯定結果が得られる場合を考える。すなわち、再生条件を満たす前に電話の着信があった場合を考える。この場合、イヤホン型端末１は、電話を接続制御する（ステップ１２）。本実施の形態の場合、イヤホン型端末１は、装着者の電話機やスマートフォン等と連携している。
電話が接続されると、装着者は、電話の相手との会話を開始する。電話の相手との会話が開始されると、多くの場合、装着者の心理状態等は退屈な状態から集中した状態等に変化する。この変化は、前述の実施の形態１の場合であれば、周囲の音の記録を終了するイベントとして検知され、直前までに記録された音データの再生も開始される。
ただし、本実施の形態の場合、装着者は電話の相手と会話を行っているので、周囲の音の再生は好ましくない。そこで、本実施の形態におけるイヤホン型端末１は、心理状態等が変化しても、電話中である限り、周囲の音の記録を継続する。このため、実施の形態１で説明したステップ６～ステップ８の処理が、電話による会話の最中も継続的に実行される。
電話が接続されると、装着者は、電話の相手との会話を開始する。電話の相手との会話が開始されると、多くの場合、装着者の心理状態等は退屈な状態から集中した状態等に変化する。この変化は、前述の実施の形態１の場合であれば、周囲の音の記録を終了するイベントとして検知され、直前までに記録された音データの再生も開始される。
ただし、本実施の形態の場合、装着者は電話の相手と会話を行っているので、周囲の音の再生は好ましくない。そこで、本実施の形態におけるイヤホン型端末１は、心理状態等が変化しても、電話中である限り、周囲の音の記録を継続する。このため、実施の形態１で説明したステップ６～ステップ８の処理が、電話による会話の最中も継続的に実行される。
【0057】
この後、イヤホン型端末１は、終話を検知したか否かを判定する（ステップ１３）。終話は、電話機やスマートフォンからの通知により検知が可能である。ステップ１３で否定結果が得られている間、記録が継続されている周囲の音について、ステップ６～ステップ８の処理が継続される。
ステップ１３で肯定結果が得られると、イヤホン型端末１は、記録又は抽出した音を再生する（ステップ１０）。すなわち、電話中に発生していた周囲の音の再生が開始される。
本実施の形態の場合、ステップ３で肯定結果が得られる場合が実施の形態１と同様であるが、イライラした状態で電話に出るのはよろしくない。このため、ステップ３で肯定結果が得られるのは、退屈している状態と判定された場合等、予め定めた状態の場合に限定してもよい。
ステップ１３で肯定結果が得られると、イヤホン型端末１は、記録又は抽出した音を再生する（ステップ１０）。すなわち、電話中に発生していた周囲の音の再生が開始される。
本実施の形態の場合、ステップ３で肯定結果が得られる場合が実施の形態１と同様であるが、イライラした状態で電話に出るのはよろしくない。このため、ステップ３で肯定結果が得られるのは、退屈している状態と判定された場合等、予め定めた状態の場合に限定してもよい。
【0058】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0059】
例えば前述の実施の形態では、前述した処理の全てがイヤホン型端末１（図２参照）で実行されているが、それらの処理の一部又は全部を外部装置で実行してもよい。その場合、外部装置が単独で、又は、外部装置とイヤホン型端末１との両方が情報処理装置の一例となる。
図１７は、外部装置がインターネット３０上のサーバ３１である場合を示す図である。図１７の場合、イヤホン型端末１は、装着者から測定された脳波の情報をサーバ３１にアップロードし、処理の結果を受信するデバイスとして機能する。
図１７は、外部装置がインターネット３０上のサーバ３１である場合を示す図である。図１７の場合、イヤホン型端末１は、装着者から測定された脳波の情報をサーバ３１にアップロードし、処理の結果を受信するデバイスとして機能する。
【0060】
また、前述の実施の形態では、イヤホン型端末１（図１参照）で測定が可能な生体電位の情報の一例として脳波について説明したが、筋電、心拍、心電、脈拍、脈波等でもよい。
また、前述の実施の形態では、両耳の外耳道にイヤホン型端末１を装着して脳波を測定しているが、イヤホン型端末１は、片耳の外耳道に装着するタイプでもよい。
図１８は、片耳に装着するタイプのイヤホン型端末１Ａの外観例を説明する図である。図１８には、図２との対応部分に対応する符号を付して示している。図１８に示すイヤホン型端末１Ａは、右耳に装着されるモジュール１Ｒを基本構成とする。図１８の場合、モジュール本体２Ｒには、リチウムイオンバッテリ１７（図３参照）も内蔵されている。
また、図１８に示すイヤホン型端末１Ａの場合、耳部に装着される電極付き振動部３Ｒの先端部に、３つの電極３Ｒ１、３Ｌ１及び３Ｒ２が設けられる。ドーム状の電極３Ｒ１とリング状の電極３Ｌ１の間、リング状の電極３Ｌ１及びリング状の電極３Ｒ２の間は、それぞれ絶縁体により電気的に分離されている。
また、前述の実施の形態では、両耳の外耳道にイヤホン型端末１を装着して脳波を測定しているが、イヤホン型端末１は、片耳の外耳道に装着するタイプでもよい。
図１８は、片耳に装着するタイプのイヤホン型端末１Ａの外観例を説明する図である。図１８には、図２との対応部分に対応する符号を付して示している。図１８に示すイヤホン型端末１Ａは、右耳に装着されるモジュール１Ｒを基本構成とする。図１８の場合、モジュール本体２Ｒには、リチウムイオンバッテリ１７（図３参照）も内蔵されている。
また、図１８に示すイヤホン型端末１Ａの場合、耳部に装着される電極付き振動部３Ｒの先端部に、３つの電極３Ｒ１、３Ｌ１及び３Ｒ２が設けられる。ドーム状の電極３Ｒ１とリング状の電極３Ｌ１の間、リング状の電極３Ｌ１及びリング状の電極３Ｒ２の間は、それぞれ絶縁体により電気的に分離されている。
【0061】
また、前述の実施の形態では、脳波等に起因する電位変動を測定する電極をイヤホン型端末１に配置する例を説明したが、他の物品やデバイスに装着してもよい。以下、具体例を幾つか例示する。
例えば脳波等に起因する電位変動を測定する電極は耳介を覆うヘッドホンに配置してもよい。ヘッドホンの場合、電極は、イヤパッドのうち頭部と接触する部分に設けられる。この際、電極は、頭髪が少なく、皮膚と直に接触が可能な位置に配置される。
また、耳介に接触する物品には、イヤリング等のアクセサリや眼鏡型のデバイスでもよい。これらは、ウェアラブルデバイスの一例である。
図１９は、脳波の測定に使用する電極を配置したイヤリング４０の一例を説明する図である。図１９に示すイヤリング４０は、装飾が取り付けられる耳の表面側で耳朶に接触する電極３Ｒ１と、耳の裏面側で耳朶に接触する電極３Ｌ１と、Ｕ字部分のいずれかの位置で耳朶に接触する電極３Ｒ２を有している。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、装飾の内部、Ｕ字部分、電極３Ｌ１が配置される皿形状の部材を軸方向に移動させるネジの軸内等に内蔵される。
なお、軟骨伝導振動子３Ｒ３は、イヤリング４０の本体とケーブル４１で接続される。この場合、軟骨伝導振動子３Ｒ３は、単独で耳部に装着される。
例えば脳波等に起因する電位変動を測定する電極は耳介を覆うヘッドホンに配置してもよい。ヘッドホンの場合、電極は、イヤパッドのうち頭部と接触する部分に設けられる。この際、電極は、頭髪が少なく、皮膚と直に接触が可能な位置に配置される。
また、耳介に接触する物品には、イヤリング等のアクセサリや眼鏡型のデバイスでもよい。これらは、ウェアラブルデバイスの一例である。
図１９は、脳波の測定に使用する電極を配置したイヤリング４０の一例を説明する図である。図１９に示すイヤリング４０は、装飾が取り付けられる耳の表面側で耳朶に接触する電極３Ｒ１と、耳の裏面側で耳朶に接触する電極３Ｌ１と、Ｕ字部分のいずれかの位置で耳朶に接触する電極３Ｒ２を有している。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、装飾の内部、Ｕ字部分、電極３Ｌ１が配置される皿形状の部材を軸方向に移動させるネジの軸内等に内蔵される。
なお、軟骨伝導振動子３Ｒ３は、イヤリング４０の本体とケーブル４１で接続される。この場合、軟骨伝導振動子３Ｒ３は、単独で耳部に装着される。
【0062】
図２０は、脳波の測定に使用する電極を配置した眼鏡５０の一例を説明する図である。図２０に示す眼鏡５０は、右側のツル５１の先端部（以下「モダン」という）に電極３Ｒ１と電極３Ｒ２が配置され、左側のツル５１のモダンに電極３Ｌ１が配置されている。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、ツルやモダンに内蔵される。図２０の場合、軟骨伝導振動子３Ｒ３及び３Ｌ３は、ツルのモダンに連結されている。
この他、脳波の測定に使用する電極は、スマートグラスやヘッドマウントディスプレイと呼ばれる情報を表示するヘッドセットへの組み合わせも可能である。また、ユーザの周囲の環境を理解し、環境に同化させた画像を表示する機能を備えるヘッドセットへの搭載も可能である。
この他、脳波の測定に使用する電極は、スマートグラスやヘッドマウントディスプレイと呼ばれる情報を表示するヘッドセットへの組み合わせも可能である。また、ユーザの周囲の環境を理解し、環境に同化させた画像を表示する機能を備えるヘッドセットへの搭載も可能である。
【0063】
図２１は、ユーザの周囲の環境に同化させた画像を表示させる機能を備えるヘッドセット６０を脳波の測定に使用する場合の電極の配置例を説明する図である。図２１に示すヘッドセット６０は、マイクロソフト（登録商標）社のhololens（登録商標）に、脳波を測定する電極を配置した構成をイメージしている。ヘッドセット６０を装着したユーザが体験する仮想の環境は、拡張現実や複合現実と呼ばれる。
図２１に示すヘッドセット６０では、頭部に装着されるリング状の部材のうち耳部に接触する部位に、電極３Ｒ１、電極３Ｒ２、電極３Ｌ１が配置されている。図２１に示すヘッドセット２１の場合、電極３Ｒ１と電極３Ｒ２は右耳側に配置され、電極３Ｌ１は左耳側に配置される。なお、ヘッドセット６０に設けられている視線を追跡する機能を使用すれば、視線の先の物又は人と装着者の心理状態等との紐付けが容易になる。また、ヘッドセット６０には、右側の耳部に装着される軟骨伝導振動子３Ｒ３と、左側の耳部に装着される軟骨伝導振動子３Ｌ３とが本体に取り付けられている。
前述の実施の形態においては、ユーザの耳部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳波を含む生体情報を取得する位置は耳部に限らない。電極は、例えば額その他の頭部の位置に設けてもよい。
例えばヘッドセット６０（図２１参照）の場合、頭部に装着されるリング状の部材のいずれかの位置に電極を設けてもよい。
図２１に示すヘッドセット６０では、頭部に装着されるリング状の部材のうち耳部に接触する部位に、電極３Ｒ１、電極３Ｒ２、電極３Ｌ１が配置されている。図２１に示すヘッドセット２１の場合、電極３Ｒ１と電極３Ｒ２は右耳側に配置され、電極３Ｌ１は左耳側に配置される。なお、ヘッドセット６０に設けられている視線を追跡する機能を使用すれば、視線の先の物又は人と装着者の心理状態等との紐付けが容易になる。また、ヘッドセット６０には、右側の耳部に装着される軟骨伝導振動子３Ｒ３と、左側の耳部に装着される軟骨伝導振動子３Ｌ３とが本体に取り付けられている。
前述の実施の形態においては、ユーザの耳部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳波を含む生体情報を取得する位置は耳部に限らない。電極は、例えば額その他の頭部の位置に設けてもよい。
例えばヘッドセット６０（図２１参照）の場合、頭部に装着されるリング状の部材のいずれかの位置に電極を設けてもよい。
【0064】
前述の実施の形態においては、ユーザの耳部を含む頭部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳の活動を血流量の変化によって計測してもよい。
図２２は、近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセット７０の一例を示す図である。ヘッドセット７０は、頭部に装着されるリング状の本体を有している。この本体の内側には、頭皮に近赤外光を照射するプローブ７１と、反射光を受光する検出プローブ７２で構成される測定部が１又は複数配置されている。なお、ＭＰＵ７３は、プローブ７１による近赤外光の照射を制御し、検出プローブ７２から出力される信号を処理して、ユーザの脳波の特徴を検出する。
図２２は、近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセット７０の一例を示す図である。ヘッドセット７０は、頭部に装着されるリング状の本体を有している。この本体の内側には、頭皮に近赤外光を照射するプローブ７１と、反射光を受光する検出プローブ７２で構成される測定部が１又は複数配置されている。なお、ＭＰＵ７３は、プローブ７１による近赤外光の照射を制御し、検出プローブ７２から出力される信号を処理して、ユーザの脳波の特徴を検出する。
【0065】
この他、脳波を含む生体情報の取得には脳磁計を用いても良い。脳の神経細胞が生じる電気的活動によって生じる磁場の測定には、例えばＴＭＲ（＝Tunnel Magneto Resistance）センサを用いる。
図２３は、脳磁計８０の一例を説明する図である。図２３に示す脳磁計８０は、頭部に装着されるキャップ８１に複数のＴＭＲセンサ８２を配列した構造を有している。なお、ＴＭＲセンサ８２の出力は、不図示のＭＰＵに入力され、脳磁図が生成される。この場合、脳磁図における磁場の分布がユーザの脳波の特徴として用いられる。なお、図２３には、耳部に装着された軟骨伝導振動子３Ｌ３も描いている。
図２３は、脳磁計８０の一例を説明する図である。図２３に示す脳磁計８０は、頭部に装着されるキャップ８１に複数のＴＭＲセンサ８２を配列した構造を有している。なお、ＴＭＲセンサ８２の出力は、不図示のＭＰＵに入力され、脳磁図が生成される。この場合、脳磁図における磁場の分布がユーザの脳波の特徴として用いられる。なお、図２３には、耳部に装着された軟骨伝導振動子３Ｌ３も描いている。
【0066】
前述の実施の形態においては、他者に気づかれること無く装着者に音を伝達することを前提に軟骨伝導経路を想定しているが、骨伝導経路を用いてもよい。骨伝導経路を用いる場合、骨伝導振動子が装着者の側頭部に接する位置に配置される。また、軟骨伝導や骨伝導に代えて、音を出力する振動板を備えるイヤホンを用いてもよい。
【0067】
前述の実施の形態で説明したイヤホン型端末１におけるブルートゥースモジュール１４は、例えば「Bluetooth LE Audio」に準拠してもよい。「Bluetooth LE Audio」については、例えば「https://www.bluetooth.com/learn-about-bluetooth/bluetooth-technology/le-audio/」等に開示されている。ブルートゥースモジュール１４が同規格に準拠している場合、イヤホン型端末１の使用中に受信した緊急放送等を、再生中の音に重ねて出力することが可能になる。ここでの出力は、「Bluetooth LE Audio」の放送機能、又は、複数の機器を１つの機器に同時に接続する機能を活用する例である。イヤホン型端末１が複数の機器に相当する。
【0068】
なお、前述した各実施の形態におけるＭＰＵは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（＝Central Processing Unit）等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
【符号の説明】
【0069】
１、１Ａ…イヤホン型端末、３Ｌ、３Ｒ…電極付き振動部、３Ｌ３、３Ｒ３…軟骨伝導振動子、１６１…生体情報取得部、１６２…生体情報分析部、１６３…音取得部、１６４…音記録制御部、１６５…音要素分解部、１６６…優先音抽出部、１６７…再生制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
