IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023152840
(43)【公開日】2023-10-17
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20231005BHJP
【FI】
G06F3/01 515
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023044711
(22)【出願日】2023-03-20
(31)【優先権主張番号】17/707,999
(32)【優先日】2022-03-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521110943
【氏名又は名称】株式会社Agama-X
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】馬場 基文
(72)【発明者】
【氏名】得地 賢吾
(72)【発明者】
【氏名】有川 樹一郎
(72)【発明者】
【氏名】木村 努
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA48
5E555BA02
5E555BA05
5E555BA06
5E555BB02
5E555BB05
5E555BB06
5E555BC04
5E555CA41
5E555CB69
5E555CB70
5E555CC05
5E555DA23
5E555DA31
5E555DD01
5E555EA14
5E555FA00
(57)【要約】      (修正有)
【課題】少なくとも1人のユーザの生体情報に基づいて少なくとも1人のユーザの状態を判定する、情報処理装置及び情報処理方法を提供する。
【解決手段】情報処理システムは、情報処理装置と、1又は複数の生体情報測定装置と、を備える。生体情報測定装置は、各種のセンサを備え、ユーザの生体情報を測定し、情報処理装置に送信する。情報処理装置のプロセッサは、少なくとも1人のユーザの生体情報を取得し、ユーザの脳波を含む生体情報と、生体情報が測定された各時点におけるコンテキストを示すコンテキスト情報の時系列を含む履歴情報と、に基づいてユーザの状態を判定し、ユーザの状態を少なくとも1人のユーザに出力する。
【選択図】図1
【特許請求の範囲】
【請求項1】
プロセッサが、
少なくとも1人のユーザの生体情報を取得し、
前記少なくとも1人のユーザの脳波を少なくとも含む生体情報と、前記生体情報が測定された各時点におけるコンテキストを示すコンテキスト情報の少なくとも1つの時系列を含む履歴情報と、に基づいて前記少なくとも1人のユーザの状態を判定し、
前記少なくとも1人のユーザの状態を前記少なくとも1人のユーザに出力する、
情報処理方法。
【請求項2】
前記履歴情報は、複数の時系列に基づいて分類され、前記複数の時系列の各々について、前記生体情報と前記履歴情報を分析することで、前記少なくとも1人のユーザの少なくとも1つの状態が判定される、請求項1に記載の情報処理方法。
【請求項3】
前記複数の時系列の各々には、前記ユーザが置かれたコンテキストに応じた重みが割り当てられ、前記少なくとも1人のユーザについて判定された前記少なくとも1つの状態が、前記重みによって決定された優先順位で出力されるか、又は前記少なくとも1人のユーザについて判定された前記少なくとも1つの状態の部分集合が、前記重みに応じて出力される、請求項2に記載の情報処理方法。
【請求項4】
前記少なくとも1人のユーザの状態は、前記生体情報と、複数の時系列で収集された前記履歴情報との組み合わせに基づいて判定される、請求項1に記載の情報処理方法。
【請求項5】
前記少なくとも1人のユーザの状態を、少なくとも1人の他のユーザに出力する、請求項1に記載の情報処理方法。
【請求項6】
前記少なくとも1人のユーザ、又は前記少なくとも1人の他のユーザの状態若しくは履歴情報に基づいて提案された介入手段を決定し、前記提案された介入手段を前記少なくとも1人のユーザ、又は前記少なくとも1人の他のユーザに出力することをさらに含み、
前記提案された介入手段を出力するための少なくとも1つの介入装置が、前記少なくとも1人のユーザがいる環境から選択される、請求項5に記載の情報処理方法。
【請求項7】
前記少なくとも1人のユーザの状態又は履歴情報に基づいて、提案された介入手段を決定し、前記提案された介入手段を前記少なくとも1人のユーザに出力することをさらに含む、請求項1に記載の情報処理方法。
【請求項8】
前記少なくとも1人のユーザから測定された生体電位の周波数スペクトルに基づいて、前記少なくとも1人のユーザの状態を決定することをさらに含む、請求項1に記載の情報処理方法。
【請求項9】
前記プロセッサは、生体情報測定装置と、音声入出力装置と、メモリと、を備えたヒアラブルデバイスに含まれ、
前記プロセッサによって、前記提案された介入手段を、前記音声入出力装置を介して前記少なくとも1人のユーザに出力し、前記提案された介入手段に対する前記少なくとも1人のユーザの応答を取得し、前記応答を前記メモリに記憶する、
請求項7に記載の情報処理方法。
【請求項10】
前記提案された介入手段を実行する前に、前記少なくとも1人のユーザから前記応答を取得する第1のモード、又は前記提案された介入手段を人工知能によって自動的に実行する第2のモードのいずれかを選択することをさらに含む、請求項9に記載の情報処理方法。
【請求項11】
光、画像、映像、音声、音声、音楽、振動、温度変化、衝突、刺激、臭いのうちの少なくとも1つを伝達することで前記提案された介入手段を実行することをさらに含む、請求項7に記載の情報処理方法。
【請求項12】
プロセッサによって、
少なくとも1人のユーザの生体情報を取得し、
前記少なくとも1人のユーザの生体情報に基づいて前記少なくとも1人のユーザの状態を判定し、
前記少なくとも1人のユーザの状態に基づいて、前記少なくとも1人のユーザによる情報のコミュニケーションを支援する、
情報処理方法。
【請求項13】
前記少なくとも1人のユーザが複数のユーザを含み、
前記プロセッサは、一方のユーザから他方のユーザへの情報のコミュニケーションを支援する場合、前記一方のユーザの承認を得てから前記他方のユーザに前記情報を送信する、請求項12に記載の情報処理方法。
【請求項14】
前記一方のユーザが、前記他方のユーザに送信すべき前記情報を拒否した場合、前記一方のユーザに関連付けられたメモリに前記情報を記憶することをさらに含む、請求項13に記載の情報処理方法。
【請求項15】
前記一方のユーザが、前記他方のユーザに送信すべき前記情報を拒否した場合、前記一方のユーザに対して、少なくとも1つの代替アクションを含む選択肢を提案することをさらに含む、請求項13に記載の情報処理方法。
【請求項16】
前記一方のユーザが、前記他方のユーザへの前記情報の送信を確認した場合、判定された前記一方のユーザの状態に対応付けて前記情報を学習データとしてメモリに記憶し、判定された前記一方のユーザの状態に基づく前記情報の次回の判定に前記学習データを使用することをさらに含む、請求項13に記載の情報処理方法。
【請求項17】
前記一方のユーザが、前記他方のユーザへの前記情報の送信を承認した場合、前記他方のユーザへの前記情報の送信が成功したか否かを示すデータをメモリに記憶することをさらに含む、請求項13に記載の情報処理方法。
【請求項18】
前記少なくとも1人のユーザから測定された生体電位の周波数スペクトルに基づいて、前記少なくとも1人のユーザの状態を判定することをさらに含む、請求項12に記載の情報処理方法。
【請求項19】
少なくとも1人のユーザの生体情報を取得し、
前記少なくとも1人のユーザの脳波を少なくとも含む生体情報と、前記生体情報が測定された各時点におけるコンテキストを示すコンテキスト情報の少なくとも1つの時系列を含む履歴情報と、に基づいて前記少なくとも1人のユーザの状態を判定し、
前記少なくとも1人のユーザの状態を前記少なくとも1人のユーザに出力する、
ように構成されたプロセッサを備えた情報処理装置。
【請求項20】
少なくとも1人のユーザの生体情報を取得し、
前記少なくとも1人のユーザの生体情報に基づいて前記少なくとも1人のユーザの状態を判定し、
前記少なくとも1人のユーザの状態に基づいて、前記少なくとも1人のユーザによる情報のコミュニケーションを支援する、
ように構成されたプロセッサを備えた情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
脳波等の生体情報を用いて操作対象を操作することが考えられる。
【0003】
特許文献1には、定常視覚刺激誘発電位(SSVEP)を利用したBMI装置が記載されている。
【0004】
特許文献2には、使用者の脳波から脳波生体信号を検出し、使用者の表面筋電位から表面筋電位生体信号を検出し、両方の生体信号に基づいて制御信号を演算するBMI運動補助装置が記載されている。
【0005】
特許文献3には、身体についての特定の動作を想起した場合に生じる脳波の条件である脳波条件を予め格納し、脳波情報を取得し、取得した脳波情報に含まれる脳波が、格納されている脳波条件を満たす場合、撮像装置が被写体を撮像する場合の条件である撮像条件を当該撮像装置に出力する撮像制御装置が記載されている。
【0006】
特許文献4には、脳波信号と人の意思とを一致させる方法が記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2014-071825号公報
【特許文献2】特開2015-211705号公報
【特許文献3】特開2015-102650号公報
【特許文献4】特開2002-166050号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、少なくとも一人のユーザの生体情報に基づいて少なくとも一人のユーザの状態を判定することにある。
【課題を解決するための手段】
【0009】
第1の実施形態は、プロセッサが、少なくとも1人のユーザの生体情報を取得し、前記少なくとも1人のユーザの脳波を少なくとも含む生体情報と、前記生体情報が測定された各時点におけるコンテキストを示すコンテキスト情報の少なくとも1つの時系列を含む履歴情報と、に基づいて前記少なくとも1人のユーザの状態を判定し、前記少なくとも1人のユーザの状態を前記少なくとも1人のユーザに出力する、情報処理方法である。
【0010】
第2の実施形態は、第1の実施形態において、前記履歴情報は、複数の時系列に基づいて分類され、前記複数の時系列の各々について、前記生体情報と前記履歴情報を分析することで、前記少なくとも1人のユーザの少なくとも1つの状態が判定される。
【0011】
第3の実施形態は、第2の実施形態において、前記複数の時系列の各々には、前記ユーザが置かれたコンテキストに応じた重みが割り当てられ、前記少なくとも1人のユーザについて判定された前記少なくとも1つの状態が、前記重みによって決定された優先順位で出力されるか、又は前記少なくとも1人のユーザについて判定された前記少なくとも1つの状態の部分集合が、前記重みに応じて出力される。
【0012】
第4の実施形態は、第1の実施形態において、前記少なくとも1人のユーザの状態は、前記生体情報と、複数の時系列で収集された前記履歴情報との組み合わせに基づいて判定される。
【0013】
第5の実施形態は、第1の実施形態において、前記少なくとも1人のユーザの状態を、少なくとも1人の他のユーザに出力する。
【0014】
第6の実施形態は、第5の実施形態において、前記少なくとも1人のユーザ、又は前記少なくとも1人の他のユーザの状態若しくは履歴情報に基づいて提案された介入手段を決定し、前記提案された介入手段を前記少なくとも1人のユーザ、又は前記少なくとも1人の他のユーザに出力することをさらに含み、前記提案された介入手段を出力するための少なくとも1つの介入装置が、前記少なくとも1人のユーザがいる環境から選択される。
【0015】
第7の実施形態は、第1の実施形態において、前記少なくとも1人のユーザの状態又は履歴情報に基づいて、前記提案された介入手段を決定し、前記提案された介入手段を前記少なくとも1人のユーザに出力することをさらに含む。
【0016】
第8の実施形態は、第1の実施形態において、前記少なくとも1人のユーザから測定された生体電位の周波数スペクトルに基づいて、前記少なくとも1人のユーザの状態を決定することをさらに含む。
【0017】
第9の実施形態は、第7の実施形態において、前記プロセッサは、生体情報測定装置と、音声入出力装置と、メモリと、を備えたヒアラブルデバイスに含まれ、前記方法は、前記プロセッサによって、前記提案された介入手段を、前記音声入出力装置を介して前記少なくとも1人のユーザに出力し、前記提案された介入手段に対する前記少なくとも1人のユーザの応答を取得し、前記応答を前記メモリに記憶する。
【0018】
第10の実施形態は、第9の実施形態において、前記提案された介入手段を実行する前に、前記少なくとも1人のユーザから前記応答を取得する第1のモード、又は前記提案された介入手段を人工知能によって自動的に実行する第2のモードのいずれかを選択することをさらに含む。
【0019】
第11の実施形態は、第7の実施形態において、光、画像、映像、音声、音声、音楽、振動、温度変化、衝突、刺激、臭いのうちの少なくとも1つを伝達することで前記提案された介入手段を実行することをさらに含む。
【0020】
第12の実施形態は、プロセッサによって、少なくとも1人のユーザの生体情報を取得し、前記少なくとも1人のユーザの生体情報に基づいて前記少なくとも1人のユーザの状態を判定し、前記少なくとも1人のユーザの状態に基づいて、前記少なくとも1人のユーザによる情報のコミュニケーションを支援する、情報処理方法である。
【0021】
第13の実施形態は、第12の実施形態において、前記少なくとも1人のユーザが複数のユーザを含み、前記プロセッサは、一方のユーザから他方のユーザへの情報のコミュニケーションを支援する場合、前記一方のユーザの承認を得てから前記他方のユーザに前記情報を送信する。
【0022】
第14の実施形態は、第13の実施形態において、前記一方のユーザが、前記他方のユーザに送信すべき前記情報を拒否した場合、前記一方のユーザに関連付けられたメモリに前記情報を記憶することをさらに含む。
【0023】
第15の実施形態は、第13の実施形態において、前記一方のユーザが、前記他方のユーザに送信すべき前記情報を拒否した場合、前記一方のユーザに対して、少なくとも1つの代替アクションを含む選択肢を提案することをさらに含む。
【0024】
第16の実施形態は、第13の実施形態において、前記一方のユーザが、前記他方のユーザへの前記情報の送信を確認した場合、判定された前記一方のユーザの状態に対応付けて前記情報を学習データとしてメモリに記憶し、判定された前記一方のユーザの状態に基づく前記情報の次回の判定に前記学習データを使用することをさらに含む。
【0025】
第17の実施形態は、第13の実施形態において、前記一方のユーザが、前記他方のユーザへの前記情報の送信を承認した場合、前記他方のユーザへの前記情報の送信が成功したか否かを示すデータをメモリに記憶することをさらに含む。
【0026】
第18の実施形態は、第12の実施形態において、前記少なくとも1人のユーザから測定された生体電位の周波数スペクトルに基づいて、前記少なくとも1人のユーザの状態を判定することをさらに含む。
【0027】
第19の実施形態は、少なくとも1人のユーザの生体情報を取得し、前記少なくとも1人のユーザの脳波を少なくとも含む生体情報と、前記生体情報が測定された各時点におけるコンテキストを示すコンテキスト情報の少なくとも1つの時系列を含む履歴情報と、に基づいて前記少なくとも1人のユーザの状態を判定し、前記少なくとも1人のユーザの状態を前記少なくとも1人のユーザに出力する、ように構成されたプロセッサを備えた情報処理装置である。
【0028】
第20の実施形態は、少なくとも1人のユーザの生体情報を取得し、前記少なくとも1人のユーザの生体情報に基づいて前記少なくとも1人のユーザの状態を判定し、前記少なくとも1人のユーザの状態に基づいて、前記少なくとも1人のユーザによる情報のコミュニケーションを支援する、ように構成されたプロセッサを備えた情報処理装置である。
【発明の効果】
【0029】
第1~第20の実施形態によれば、少なくとも一人のユーザの生体情報に基づいて少なくとも一人のユーザの状態を判定することができる。
【図面の簡単な説明】
【0030】
図1】本実施形態に係る情報処理システムの構成を示すブロック図である。
図2】情報処理装置のハードウェアの構成を示すブロック図である。
図3】端末装置のハードウェアの構成を示すブロック図である。
図4】管理テーブルを示す図である。
図5】管理テーブルを示す図である。
図6】管理テーブルを示す図である。
図7】管理テーブルを示す図である。
図8】ある場所に存在する人及び機器を模式的に示す図である。
図9】ある場所に存在する人及び機器を模式的に示す図である。
図10】画面を示す図である。
図11】画面を示す図である。
図12】画面を示す図である。
図13】画面を示す図である。
図14】画面を示す図である。
図15】ある場所に存在する人及び機器を模式的に示す図である。
図16】画面を示す図である。
図17】画面を示す図である。
図18】脳の断層画像を模式的に示す図である。
図19】画面を示す図である。
図20】画面を示す図である。
図21】グラフの具体例を示す図である。
図22】グラフの具体例を示す図である。
図23】設定画面を示す図である。
図24】画面を示す図である。
図25】画面を示す図である。
図26】画面を示す図である。
図27】実施例20に係る処理の流れを示すフローチャートである。
図28】実施例20に係る処理の流れを示すフローチャートである。
図29】ヒアラブルデバイスの全体を示す斜視図である。
図30】生体情報測定装置を上方向から見たときの図である。
図31】左側イヤフォンを左方向から見たときの図である。
図32】右側イヤフォンを示す斜視図である。
図33】左側イヤフォンを示す斜視図である。
図34】右側イヤフォンを上方向から見たときの図である。
図35】右側イヤフォンを示す分解斜視図である。
図36】右側イヤフォンの断面図である。
図37】左側イヤフォンの内部を示す斜視図である。
図38】好き/嫌いの心理状態にある人物の脳波データを示す図である。
図39】驚きの心理状態にある人物の脳波データを示す図である。
図40】モンスター状の生物を含むVR画像を視聴している人物の脳波データを示す図である。
図41】ホワイトパズルを完成させるメンタルンタスクを行っている者の脳波データを示す図である。
図42】頭部マッサージを受けている人物の脳波データを示す図である。
図43】音楽を視聴したり、サプリメントを服用したりした人物の脳波データを示す図である。
図44】入眠時と入眠後睡眠のステージが進行した人物の脳波データを示す図である。
図45】ユーザがかゆみを感じた場合の脳波の変化を示す図である。
【発明を実施するための形態】
【0031】
図1を参照して、本実施形態に係る情報処理システムについて説明する。図1には、本実施形態に係る情報処理システムの構成の一例が示されている。
【0032】
本実施形態に係る情報処理システムは、情報処理装置10と、1又は複数の生体情報測定装置12と、1又は複数の環境情報測定装置14と、1又は複数の機器16と、1又は複数の端末装置18を含む。図1に示されている各装置の数は一例に過ぎず、各装置の数が、図1に示されている各装置の数に限定されるものではない。また、情報処理システムは、図1に示されている装置以外の他の装置(例えばサーバ等の外部装置)を含んでもよい。機器16が用いられない場合、機器16は情報処理システムに含まれなくてもよい。端末装置18が用いられない場合、端末装置18は情報処理システムに含まれてなくてもよい。
【0033】
情報処理システムに含まれている各装置は、他の装置と通信するように構成されている。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置は、他の装置とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やWi-Fi(登録商標)等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Bluetooth(登録商標)やRFID(Radio Frequency Identifier)やNFC等である。各装置は、LAN(Local Area Network)やインターネット等の通信経路を介して他の装置と通信してもよい。
【0034】
情報処理装置10は、例えば、パーソナルコンピュータ(以下、「PC」と称する)、タブレットPC、スマートフォン、携帯電話、又は、その他の装置(例えば、サーバやロボットやその他の機器等)である。情報処理装置10は、人が携帯することが可能な端末装置(例えば、タブレットPCやスマートフォンや携帯電話等)であってもよいし、テーブル等に設置されて使用される装置であってもよいし、移動可能な装置(例えば自走式の装置)であってもよいし、作業を行う装置であってもよいし、人と対話することが可能な装置であってもよい。例えば、情報処理装置10は、通信機能とマイクとスピーカとを有するスマートスピーカであってもよいし、人と対話し、作業するロボットであってもよい。情報処理装置10は、人工知能(AI)を搭載した装置であってもよい。
【0035】
生体情報測定装置12は、生物の生体情報を測定するように構成されている装置である。生物は、人、人以外の動物、又は、植物である。
【0036】
例えば、生体情報測定装置12は、各種のセンサや電極等を有し、生物の生体情報を測定する。複数の生体情報測定装置12が用いられる場合、各生体情報測定装置12は、異なる種類の生体情報を測定してもよい。複数の生体情報測定装置12の中の一部又は全部は、同じ種類の生体情報を測定してもよい。また、生体情報測定装置12は、1つの種類の生体情報を測定してもよいし、複数の種類の生体情報を測定してもよい。
【0037】
生体情報は、生物から発する様々な情報を含んでもよい。生体情報は、例えば、脳の活動を示す情報(例えば、脳波、脳の血流量、脳磁場信号等)、脈拍数を示す情報、筋電波形等の筋電情報、唾液に関する情報(例えば唾液量を示す情報)、脈波を示す情報、血圧を示す情報、血流量を示す情報、脈拍を示す情報、心拍数を示す情報、心電波形を示す情報、眼球運動を示す情報、体温を示す情報、発汗量を示す情報、視線を示す情報、音声情報、人の動きを示す情報、又は、体液(例えば血液等)から得られる情報等である。また、バイオマーカによって特定される情報が、生体情報として用いられてもよい。また、生体情報は、生物から検出される電位に起因する情報であってもよい。例えば、生体情報は、脳の活動に伴い発生する微小電流の測定結果である脳波、心臓の拍動に伴い発生する微小電流の測定結果である心電図、筋肉の活動に伴い発生する微小電流の測定結果である筋電図、又は、皮膚に生じる微小電流の測定結果である皮膚電位等であってもよい。これらは生体情報の一例に過ぎず、これら以外の生体情報が用いられてもよい。
【0038】
生体情報を解析することで、人の状態情報として感情情報、精神情報、又は、心理情報等が得られてもよい。例えば、人の生体情報を解析することで、当該人の感情を示す情報、当該人の精神状態を示す情報、又は、当該人の心理状態を示す情報等が得られてもよい。もちろん、人以外の動物や植物の生体情報を解析することで、人以外の動物や植物の状態を示す情報が得られてもよい。例えば人の状態情報として、三大欲求の食欲、睡眠欲、性欲を感じる状態や、気持ちを主とする意識等があるが、より具体的には、安心、不安、感謝、驚愕、興奮、性的興奮、好奇心、性的好奇心、冷静、焦燥(焦り)、不思議(困惑)、幸福、幸運、リラックス、緊張、名誉、責任、尊敬、親近感(親しみ)、憧憬(憧れ)、欲望(意欲)、恐怖、勇気、快、快感(善行・徳に関して)、後悔、満足、不満、無念、嫌悪、恥、軽蔑、嫉妬、罪悪感、殺意、シャーデンフロイデ、サウダージ、期待、優越感、劣等感、恨、怨み、苦しみ、悲しみ、切なさ、感動、怒り、悩み(苦悩、懊悩、煩悶)、諦念(諦め)、絶望、希望、憎悪(愛憎)、愛しさ、空虚といった情報である。その他にも、痒み、痛み、尿意、便意、空腹感、満腹感等もある。また、人から人へのコミュニケーション伝達情報として、人の考えや意思に関する情報がある。例えば、賛同、同意、反対、拒絶、迷い、混乱等である。特に、人の脳波情報は他の生体情報に対して上記情報を多く検出できる可能性が高く、主要な生体情報である。
【0039】
脳波は、一般に次のように分類される。デルタ(δ)波は、周波数範囲が1~4Hzであり、夢のない深い睡眠や、ノンレム睡眠の状態に対応し、睡眠が浅くなるにつれて減少し、無意識状態に対応する。シータ(θ)波の周波数範囲は4~8Hzであり、やすらぎ状態、まどろみ状態、浅い睡眠状態、直感的な状態、創造的な状態、記憶にアクセスしている状態、及びひらめきの状態などに対応する。低アルファ(α)波は、周波数範囲が8~10Hzであり、リラックス状態(平穏、意識的だが内向きな状態)に対応し、閉眼時に出現し、開眼時に減少する。高アルファ(α)波は、周波数範囲が10~12Hzであり、リラックス状態(集中がともなう、外に意識が向いている状態)に対応し、閉眼時に出現し、開眼時に減少する。SMR(sensorimotor rhythm)は、周波数範囲が12~15Hzであり、ゾーンに入った状態、リラックス状態と集中状態のバランスのとれた状態などに対応し、動く前、考える前に現れる。低ベータ(β)波は、周波数範囲が15~20Hzであり、思考したり、問題を解いたりしているときなどに対応する。高ベータ(β)波は、周波数範囲が20~30Hzであり、警戒状態、動揺している状態、緊張状態、及び不安状態などに対応する。低ガンマ(γ)波は、周波数範囲が31~40Hzであり、記憶形成、高次精神活動、高次認知活動、及び幸福状態などに対応する。また、中ガンマ(γ)波の周波数範囲は41~50Hzであり、視覚情報処理などに相当する。また、生体情報測定装置12は、上述した全ての脳波の一部又はすべてを測定してもよい。
【0040】
生体情報測定装置12は、被検体である生物に装着されて生体情報を測定する装置(例えばウェアラブルデバイス)であってもよいし、生物に装着されずに生体情報を測定する装置であってもよい。
【0041】
ウェアラブルデバイスは、例えば、動物の耳に装着されるヒアラブルデバイス、動物の頭部に装着されるデバイス、動物の手首や腕や指(以下、「手首等」と称する)に装着されるデバイス(例えば、スマートウォッチ等の腕時計型のデバイス)、動物の首に装着されるデバイス、動物の胴体(例えば胸部や腹部等)に装着されるデバイス、下肢(例えば、人の大腿、下腿、膝、足、足首等)に装着されるデバイス、メガネ型のデバイス、又は、コンタクトレンズ型のデバイス等である。生体情報測定装置12は、これら以外の部位に装着されるウェアラブルデバイスであってもよい。また、複数の部位に生体情報測定装置12が装着されてもよい。
【0042】
ヒアラブルデバイスは、例えば、イヤフォン、補聴器、ピアス型のデバイス、クリップ型のデバイス、又は、耳に巻き付けられるバンドやケーブルを含むデイバス等であってもよい。頭部に装着されるデバイスは、例えば、頭部に巻き付けられるバンドやケーブル等を含むヘッドセットであってもよい。手首等に装着されるデバイスは、例えば、手首等に巻き付けられるバンドやケーブル等を含むデバイスであってもよい。その他の部位に装着されるデバイスも、バンドやケーブル等を含んでもよい。特に脳波情報を測定する場合には、自然な見た目で測定可能なヒアラブルデバイスは好ましく、脳波を測定するデバイスとしては一般に普及しているイヤフォンのように汎用性の高い形態をしている点で優れる。一見脳波を計測していることを人から見てわからないような自然な見た目は重要な要素であり、頭部に電極を構成する医療用の脳波計等は、いかにも脳波を測定していることが顕在化しているため、例えば日常的に装着して測定する場合には大きな障害になり、装着をためらうという声が多い。また、ヒアラブルデバイスは、人の耳への音声による入力、口からの声の情報の出力ができる手段を利用できるため、脳波情報を検出しながら、その情報の解釈の結果を音声で確認したり、解釈に誤りがあった場合には解釈を修正したりすることができる点で優れる。さらに、脳波を主に利用するBMI/BCIにおいては、機器を操作したり人と人とのコミュニケーションを実行したりするシーンで使用される場合が多いが、いかに精度を高く機器を操作するか、伝えたいコミュニケーションの内容を正しく判断できるかが課題となる。ヒアラブルデバイスを活用したBMI/BCIは耳に装着されるため、先に示した音声による入力手段や口からの声の情報を活用したり、脳波以外に人が意図的に発現させることができる生体情報を活用したりすることで精度を高めることが可能になる(例えば意図的に顎を三回動かすと筋電情報として現れることや、意図的に眼球を強く動かしたときに現れる眼電情報等を、正しく判断できているかを確認し、操作の実施判断、コミュニケーションの伝達実施判断に利用すること等が可能である)。
【0043】
生体情報測定装置12は、生物に接触して当該生物の生体情報を測定する装置である接触型装置であってもよいし、生体情報測定装置12は、生物に接触せずに当該生物の生体情報を測定である非接触型装置であってもよい。生体情報測定装置12は、接触型装置と非接触型装置の両方を兼ね備えた装置であってもよい。つまり、生体情報測定装置12は、生物に接触して当該生物の生体情報を測定し、更に、生物に接触せずに当該生物の生体情報を測定してもよい。生物に接触して測定される生体情報と、生物に接触せずに測定される生体情報は、同じ種類の生体情報であってもよいし、異なる種類の生体情報であってもよい。
【0044】
生体情報測定装置12は、生体情報を測定するための電極や電極以外のセンサ等を含む。電極は、生体に接触して、生体情報の一例である電位を検出してもよいし、生体に接触せずに電位を検出してもよい。電極以外のセンサは、生体に接触して生体情報を測定してもよいし、生体に接触せずに生体情報を測定してもよい。例えば、電極は動物に接触して、当該動物の脳波を示す電位を検出する。また、センサは動物に接触せずに、当該動物の体温を示す生体情報を測定してもよい。もちろん、これらは一例に過ぎず、これ以外の生体情報が測定されてもよい。
【0045】
例えば、生体情報測定装置12は、1又は複数の電極を含む。例えば、複数の電極が生物に設けられて、当該複数の電極によって電位が検出される。検出された電位には、当該生物の生体情報の一例である生体電位が含まれており、検出された電位を処理することで、検出された電位から生体電位が抽出される。例えば、検出された電位には生体電位由来以外のノイズが含まれている場合があり、ノイズキャンセル処理等の処理を実行することで、ノイズが除去された生体電位が得られる。ノイズは、例えば、生物の動きに起因して発生する電位や、生物の外部から伝わる電位や、地球環境由来で発生する電位や、測定対象以外の生体情報を表す電位等である。PCやスマートフォン等の装置にて発生する電位等がノイズに含まれてもよい。電位の検出感度やノイズ等の測定状況に応じて、電位の検出に用いられる電極が切り換えられてもよい。また、様々な生体電位由来の電位が複合して測定される場合には、生体電位毎に測定された電位を周波数によって分ける処理をしたり、測定する時間の中で、複合している部分と複合が弱い部分に分ける処理をしたりすることにより、様々な生体電位由来の電位を推定して分離してもよい。例えば、前述のヒアラブルデバイスでは、脳の活動を示す情報、脈拍数を示す情報、筋肉等の動きに由来する筋電情報、脈波、心拍数などの血流に起因する情報等が複合的に計測される場合があるが、これらの情報は周波数や出力の絶対値が異なる場合が多く、測定信号の周波数分析や出力値レベルの違いによって分けて推定することができる。例えば脳波の場合にはその周波数によりα、β、θ、δ、γ波の帯域に分けられる。これとは別の方法として、同じ状態条件でそれぞれ、ヒアラブルデバイスによって測定し、更に、市販の脳波計や筋電計測装置や血流に関する測定装置で単独の測定信号を個別に複数回測定し、どの生体情報由来の情報であるかを、複合して測定されたヒアラブルデバイスの測定信号情報をフーリエ変換やウェーブレット変換等による周波数解析手法で分析した後に、統計処理を入れて推定的に分離する手段を導入してもよい。
【0046】
生体情報測定装置12は、測定された生体情報を情報処理装置10に送信する。生体情報測定装置12は、生体情報を測定する度に生体情報を情報処理装置10に送信してもよいし、生体情報を記憶し、予め定められた時間間隔毎に生体情報を情報処理装置10に送信してもよいし、人が指定したタイミングで生体情報を情報処理装置10に送信してもよい。また、生体情報測定装置12は、他の生体情報測定装置12が測定した生体情報を当該他の生体情報測定装置12から受信し、自身が測定した生体情報と当該他の生体情報測定装置12が測定した生体情報とを情報処理装置10に送信してもよい。
【0047】
生体情報測定装置12は、自装置又は他の生体情報測定装置が測定した生体情報を解析し、その解析の結果を示す情報を情報処理装置10に送信してもよい。例えば、生体情報測定装置12はプロセッサを含み、当該プロセッサが生体情報を解析してもよい。もちろん、その解析は情報処理装置10又は他の装置によって行われてもよい。
【0048】
生体情報測定装置12は、バッテリを含み、当該バッテリから供給される電力によって駆動してもよいし、他の装置(例えば情報処理装置10等)から電力の供給を受けて駆動してもよい。
【0049】
情報処理装置10は、生体情報測定装置12から生体情報を受け付けて、生体情報の解析、生体情報の記憶、生体情報の出力、生体情報の解析の結果を示す情報の記憶、及び、生体情報の解析の結果を示す情報の出力等を行う。もちろん、生体情報の解析は、生体情報測定装置12又は他の装置によって行われてもよい。生体情報を出力することは、例えば、生体情報を表示することや、生体情報を音声情報として出力すること等である。生体情報の解析の結果を示す情報を出力することは、例えば、解析の結果を示す情報を表示することや、解析の結果を音声情報として出力すること等である。情報処理装置10は、生体情報や解析の結果を示す情報を他の装置に送信してよい。
【0050】
情報処理装置10は、1又は複数の生体情報測定装置12を含んでもよい。つまり、1又は複数の生体情報測定装置12は、情報処理装置10に組み込まれて、1つの装置が構成されてもよい。1又は複数の生体情報測定装置12を含む情報処理装置10全体が、生物に装着されて生体情報を測定してもよい。つまり、情報処理装置10はウェアラブルデバイスであってもよい。例えば、情報処理装置10は、人の頭部(例えば額等)に装着される装置であってもよいし、人の耳に装着されるヒアラブルデバイス(例えば、イヤフォンやヘッドフォン等)であってもよいし、人の腕や手や手首や指等に装着される装置(例えば、スマートウォッチ等の腕時計型の装置等)であってもよいし、人の首に掛けられる装置であってもよいし、人の胴体(例えば腹部や胸部等)に装着される装置であってもよいし、人の下肢(例えば、大腿、下腿、膝、足、足首等)に装着される装置であってもよい。情報処理装置10は、人の腕や手や胴体や下肢に装着される健康器具等であってもよい。情報処理装置10は、これら以外の部位に装着されてもよい。
【0051】
情報処理装置10と生体情報測定装置12は、別々の装置であってもよい。例えば、情報処理装置10は、ロボットやスマートスピーカやサーバ等の装置であり、生体情報測定装置12は、生物に装着されるウェアラブルデイバスであってもよい。
【0052】
環境情報測定装置14は、生物や当該環境情報測定装置14の周囲の環境に関する環境情報を測定するように構成されている。例えば、環境情報測定装置14は、撮影装置であるカメラ、集音するマイク、温度を測定する温度センサ、湿度を測定する湿度センサ、匂いを測定する臭気センサ、明るさを測定する照度センサ、赤外線センサ、気圧センサ等の圧力センサ、対象物の動きを検知する位置センサ、又は、人感センサ等である。これらのセンサの中の1又は複数のセンサが、環境情報測定装置14として情報処理システムに含まれてもよい。
【0053】
例えば、情報処理装置10の周囲やその他の場所がカメラによって撮影されて、当該周囲を表す画像データやその他の場所を表す画像データが生成される。画像データは、動画像データであってもよいし、静止画像データであってもよい。カメラによって撮影された画像データは、カメラの撮影範囲に含まれている環境に関する環境情報の一例に相当する。また、カメラによって生物が撮影されることで生成された、当該生物を表す画像データは、当該生物の生体情報として用いられてもよい。例えば、当該画像データから検知される当該生物(例えば人)の動きや当該生物の体型等は、当該生物の生体情報の一例に相当する。その意味で、カメラは、当該生物の生体情報を測定する生体情報測定装置12の一例に相当する。
【0054】
また、マイクの周囲の音(例えば、人の音声やその他の音)がマイクに入力されて、マイクによって音データが生成される。マイクに入力された音を表す音データは、マイクの周囲の環境に関する環境情報の一例に相当する。また、マイクに入力された人の音声を表す音データは、当該人の生体情報として用いられてもよい。その意味で、マイクは、当該人の生体情報を測定する生体情報測定装置12の一例に相当する。また、マイクに入力された、人以外の動物の鳴き声等を表す音データは、当該動物の生体情報として用いられてもよい。
【0055】
また、温度センサ、湿度センサ、臭気センサ、照度センサ、赤外線センサ、圧力センサ、位置センサ、及び、人感センサ等によって測定されたデータは、環境情報の一例に相当する。また、これらのセンサによって生物から測定されたデータは、当該生物の生体情報として用いられてもよい。その意味で、これらのセンサは、当該生物の生体情報を測定する生体情報測定装置12の一例に相当する。
【0056】
環境情報は、生物がいる部屋の大きさを示す情報や、機器16が設置されている部屋の大きさを示す情報や、部屋に設けられている窓の数を示す情報等を含む情報であってもよい。また、環境情報は、環境情報測定装置14によって測定された情報に限らず、予め定められた情報や、予め測定された情報であってもよい。
【0057】
なお、1又は複数の環境情報測定装置14が、情報処理装置10に含まれてもよい。
【0058】
機器16は、操作対象の一例である。機器16は、例えば、PC、タブレットPC、スマートフォン、携帯電話、ロボット(例えば、人型ロボット、人以外の動物型ロボット、掃除ロボット、及び、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(例えばドローン))、ゲーム機、ガスレンジ、温水洗浄便座、換気扇、呼び鈴、玄関モニタ、エレベータ、ドア、窓、又は、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器16の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器16の範疇に含まれてもよい。
【0059】
機器16は、通信インターフェースである通信装置、情報を記憶するメモリ、及び、当該機器16の動作を制御するプロセッサを含む。機器16は、ディスプレイや操作装置等を含むユーザインターフェースを有してもよい。機器16は、自装置である機器16を識別するための機器識別情報を情報処理装置10に送信してもよい。機器識別情報は、例えば、機器16のID、名称、型番、又は、アドレス(例えばMACアドレスやIPアドレス等)等である。
【0060】
本実施形態においては、1又は複数の生物(例えば、1又は複数の人)の生体情報に基づいて操作対象が操作される。例えば、情報処理装置10は、生物の生体情報を生体情報測定装置12から取得し、その取得した生体情報に基づいて操作対象を操作する。例えば、情報処理装置10は、生物の生体情報を生体情報測定装置12から取得し、その取得した生体情報に基づいて操作対象の操作内容を特定し、その特定した操作内容に従って操作対象を操作する。操作内容を特定する処理は、生体情報測定装置12又は他の装置(例えばサーバや機器16や端末装置18等)によって行われてもよい。情報処理装置10以外の装置(例えばサーバや端末装置18等)が、操作対象を操作してもよい。例えば、情報処理装置10が生体情報に基づいて操作内容を特定し、情報処理装置10以外の装置が、情報処理装置10によって特定された操作内容に従って操作対象を操作してもよい。
【0061】
操作対象は、ハードウェアであってもよいし、ソフトウェアであってもよいし、ハードウェアとソフトウェアの両方であってもよい。
【0062】
操作対象のハードウェアは特に限定されるものではなく、例えば、機器16、又は、機器16以外の装置(例えば、情報処理装置10、生体情報測定装置12、環境情報測定装置14又はサーバ等)である。複数のハードウェアが操作対象であってもよい。
【0063】
操作対象のソフトウェアは特に限定されるものではなく、例えば、アプリケーションプログラムやOS(オペレーティングシステム)等である。操作対象のソフトウェアは、情報処理装置10にインストールされているソフトウェアであってもよいし、機器16にインストールされているソフトウェアであってもよいし、端末装置18にインストールされているソフトウェアであってもよし、その他の装置(例えば、生体情報測定装置12、環境情報測定装置14、サーバ又は他の装置)にインストールされているソフトウェアであってもよいし、インターネット等の通信経路を介して提供されるソフトウェアであってもよい。複数のソフトウェアが操作対象であってもよい。複数のソフトウェアが操作対象である場合、各ソフトウェアは、同じハードウェアにインストールされていてもよいし、異なるハードウェアにインストールされていてもよい。
【0064】
以下、図2を参照して、情報処理装置10の構成について詳しく説明する。図2には、情報処理装置10のハードウェアの構成の一例が示されている。
【0065】
情報処理装置10は、例えば、通信装置20と、UI22と、メモリ24と、プロセッサ26とを含む。情報処理装置10は、これら以外の構成を含んでもよい。
【0066】
通信装置20は、通信チップや通信回路等を有する通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信装置20は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置20は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、LANやインターネット等の通信経路を介して他の装置と通信してもよい。
【0067】
UI22はユーザインターフェースであり、ディスプレイ及び操作装置の中の少なくとも1つを含む。ディスプレイは、液晶ディスプレイやELディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。UI20は、ディスプレイと操作装置とを兼ね備えたタッチパネル等のUIであってもよい。UI20は、マイクやスピーカを含んでもよい。なお、情報処理装置10は、UI20を含まなくてもよい。
【0068】
メモリ24は、各種の情報を記憶する1又は複数の記憶領域を構成する装置である。メモリ24は、例えば、ハードディスクドライブ、各種のメモリ(例えばRAMやDRAMやROM等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。1又は複数のメモリ24が情報処理装置10に含まれている。
【0069】
メモリ24には、管理情報が記憶される。管理情報は、生体情報に基づいて操作対象の操作内容を特定するための情報である。
【0070】
プロセッサ26は、情報処理装置10の各部の動作を制御するように構成されている。プロセッサ26は、メモリを有してもよい。
【0071】
例えば、予め定められた基準生体情報と、操作対象の操作内容を示す操作情報とが、予め紐付けられて、上記の管理情報に登録されている。基準生体情報は、当該基準生体情報に紐付けられている操作を行う動物(例えば人やその他の動物)から発生すると推測される生体情報であってもよいし、当該操作の実行を要求したり欲したりする動物から発生すると推測される生体情報であってもよいし、植物から発生すると推定される生体情報であってもよい。基準生体情報は、操作対象の操作内容を示す生体情報であるともいえる。操作内容を示す操作情報は、当該操作内容に従って操作される操作対象を示す情報を含んでもよい。
【0072】
生物毎に、基準生体情報と操作情報とが紐付けられて管理情報に登録されてもよい。例えば、生物の種類毎に、基準生体情報と操作情報とが紐付けられて管理情報に登録されてもよい。例えば、人用の管理情報と、人以外の動物用の管理情報と、植物用の管理情報とが作成されて、各管理情報がメモリ24に記憶されてもよい。人用の管理情報には、人から測定されると推測される基準生体情報と操作情報とが紐付けられて登録されている。個々の人毎(例えば個々のユーザ毎)に、基準生体情報と操作情報とが紐付けられて管理情報に登録されてもよい。人以外の動物用の管理情報には、当該動物から測定されると推測される基準生体情報と操作情報とが紐付けられて登録される。人以外の動物の種類毎に管理情報が作成されてもよい。また、植物用の管理情報には、植物から測定されると推測される基準生体情報と操作情報とが紐付けられて登録される。植物の種類毎に管理情報が作成されてもよい。
【0073】
操作情報は、機器16の電源の操作内容を示す情報であってもよいし、機器16の機能レベルの操作内容を示す情報であってもよいし、電源の操作内容と機能レベルの操作内容の両方を示す情報であってもよい。
【0074】
機器16の電源の操作内容は、機器16の電源をオン又はオフする操作である。電源の操作内容に関する操作情報は、機器16の電源をオン又はオフする操作を示す情報である。電源の操作内容に関する操作情報に紐付けらえている生体情報は、機器16の電源のオン又はオフに対応する生体情報であるといえる。生物の種類毎や個々の生物毎に、機器16の電源の操作内容に関する操作情報と基準生体情報とが紐付けられて管理情報に登録されてもよい。
【0075】
機器16の機能レベルの操作内容は、機器16の機能レベルを設定する操作である。機能レベルの操作内容に関する操作情報は、機器16の機能レベルを設定する操作を示す情報である。機能レベルの操作内容に関する操作情報に紐付けられている生体情報は、機器16の機能レベルに対応する生体情報であるといえる。生物の種類毎や個々の生物毎に、機器16の機能レベルの操作内容に関する操作情報と基準生体情報とが紐付けられて管理情報に登録されてもよい。
【0076】
機能レベルは、例えば、機器16の性能や出力に関するレベルである。具体例を挙げて説明すると、空調機の設定温度、空調機の風量、空調機の風向き、空調機の除湿機能の有無、表示装置の輝度、照明装置の輝度、スピーカの音量、自走可能な装置(例えばロボットや自走式の掃除機等)の移動速度、撮影装置や記録装置や再生装置等の装置の設定値、冷蔵庫や炊飯器や電子レンジ等の装置の設定値、及び、各種のセンシング機器の設定値等が、機器レベルの一例に相当する。これらは一例に過ぎず、これら以外の設定値等が機能レベルであってもよい。
【0077】
なお、管理情報は、情報処理装置10に記憶されずに、又は、情報処理装置10に記憶されると共に、情報処理装置10以外の装置に記憶されてもよい。
【0078】
プロセッサ26は、生物の生体情報を取得し、当該生体情報に基づいて操作対象を操作するように構成されている。
【0079】
例えば、生体情報測定装置12によって生物から生体情報が測定されると、当該生体情報は生体情報測定装置12から情報処理装置10に送信される。プロセッサ26は、当該生体情報を受け付け、当該生体情報に基づいて操作対象の操作内容を特定する。プロセッサ26は、その特定した操作内容に従って操作対象を操作する。プロセッサ26は、生物の生体情報に基づいて、操作対象と当該操作対象の操作内容とを特定してもよい。別の例として、操作対象は予め定められていてもよい。例えば、人によって操作対象が指定されてもよい。この場合、プロセッサ26は、生物の生体情報に基づいて、その定められた操作対象の操作内容を特定する。
【0080】
操作対象が機器16である場合、プロセッサ26は、特定した操作内容を示す操作情報を含む制御情報を機器16に送信することで、当該機器16を操作する。操作対象である機器16は、当該制御情報に従って動作する。機器16以外のハードウェアが操作対象である場合も同様である。
【0081】
操作対象がソフトウェアである場合、プロセッサ26は、特定した操作内容に従ってソフトウェアを操作する。例えば、プロセッサ26は、ソフトウェアを起動したり、ソフトウェアを用いて処理を行ったりする。ソフトウェアが情報処理装置10にインストールされている場合、プロセッサ26は、情報処理装置10にインストールされているソフトウェアを操作する。ソフトウェアが情報処理装置10以外の装置にインストールされている場合、プロセッサ26は、操作内容を示す操作情報を含む制御情報を、ソフトウェアがインストールされている装置に送信することでソフトウェアを操作する。
【0082】
例えば、プロセッサ26は、生物から測定された生体情報と、上記の管理情報に登録されている各基準生体情報とを比較し、当該生体情報との差異が許容範囲内に含まれる基準生体情報を検索する。プロセッサ26は、その検索された基準生体情報に紐付けられている、操作対象に対する操作内容を特定する。これにより、操作対象と当該操作対象の操作内容とが特定される。許容範囲は予め定められている。許容範囲はユーザによって変更されてもよい。許容範囲は生物の種類毎や個々の生物毎に定められてもよい。
【0083】
生物から測定された生体情報との差異が許容範囲内に含まれる複数の基準生体情報が検索された場合、プロセッサ26は、当該複数の基準生体情報の中で、当該生体情報との差異が最小となる基準生体情報を特定し、特定した当該基準生体情報に紐付けられている操作内容を特定してもよいし、当該複数の基準生体情報のそれぞれに紐付けられている操作内容を特定してもよい。
【0084】
基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。この場合、プロセッサ26は、生物から測定された生体情報から特徴的な成分を抽出し、その抽出された成分との差異が許容範囲内に含まれる成分を有する基準生体情報を検索してもよい。例えば、生体情報として脳波が用いられる場合、プロセッサ26は、動物の脳波から特徴的な成分を抽出し、当該成分を解析することで、当該脳波が表す操作内容を推測してもよい。
【0085】
基準生体情報が閾値として用いられてもよい。例えば、基準生体情報が波形を示している場合、その波形中のピークの振幅が閾値として用いられる。この場合、プロセッサ26は、生物から測定された生体情報が示す波形に相似又は類似する波形を有する基準生体情報であって、測定された生体情報が閾値以上となる基準生体情報を検索し、検索した当該基準生体情報に紐付けられている操作内容を特定する。つまり、測定された生体情報が示す波形が、ある基準生体情報が示す波形に相似又は類似し、測定された生体情報が示す波形のピークの振幅が、当該基準生体情報が示す波形のピークの振幅である閾値以上である場合、プロセッサ26は、当該基準生体情報に紐付けられている操作内容を特定する。
【0086】
動物の脳の活動を示す情報を用いて操作対象を操作する場合、脳の活動を測定する生体情報測定装置12と情報処理装置10とによって、ブレイン・マシン・インターフェース(Brain-machine Interface : BMI)が構築されてもよい。一般的に、ブレイン・マシン・インターフェースとは、脳波等の検出、又は、逆に脳への刺激等といった手法により、脳とコンピュータ等とのインターフェースをとる機器等の総称である。接続先がコンピュータである場合にはブレイン・コンピュータ・インターフェース(Brain-computer Interface : BCI)とも呼ばれる。本実施形態では、脳波を含む生体情報を活用して、機器を操作したり、人と人とのコミュニケーション(人の考えや意思に関する情報や状態情報の相互伝達等)を行う等の利用例を示すが、これらはブレイン・マシン・インターフェースの一部であると捉え、以後表記する。ブレイン・マシン・インターフェースの方式は、侵襲式であってもよいし、非侵襲式であってもよい。この場合、プロセッサ26は、脳の活動(例えば脳波等)に基づいて操作対象を操作する。プロセッサ26は、操作対象を操作するために、脳波から特徴的な成分を抽出し、その抽出された成分に基づいて操作対象を操作してもよい。脳波から特徴的な成分を抽出するために、高速フーリエ変換(FFT:Fast Fourier Transform)や、ウェーブレット変換(WT:Wavelet Transform)、TFD(Time Frequency Distribution)、EM(Eigenvector Methods)、自己回帰モデル(ARM:Auto Regressive Method)等が用いられてもよい。また、特徴の抽出によって得られた特徴ベクトルを用いて、脳波と操作対象の操作内容とを結び付ける方法として、又は、人と人とのコミュニケーション伝達における伝達対象と伝達内容とを結び付ける方法として、例えば、独立成分分析(ICA:Independent Component Analysis)、k平均法、サポートベクターマシン(SVM:Support Vector Machine)、畳み込みニューラルネットワーク等が用いられてもよい。
【0087】
また、プロセッサ26は、操作対象から送信されてきた、当該操作対象の識別情報を受け付けて、当該操作対象を識別してもよい。例えば、プロセッサ26は、識別情報の取得の要求を操作対象に送信し、その要求に応じて操作対象から送信されてきた識別情報を取得する。また、情報処理装置10と接続される等して情報処理装置10と通信することが可能になったハードウェアから、当該ハードウェアの識別情報や、当該ハードウェアにインストールされているソフトウェアの識別情報が、情報処理装置10に送信されてもよい。プロセッサ26は、そのようにして送信されてきた識別情報を受け付ける。
【0088】
なお、プロセッサ26による処理は、情報処理装置10以外の装置(例えば、生体情報測定装置12、環境情報測定装置14、機器16、端末装置18又はその他の装置等)によって実行されてもよい。また、処理の一部が情報処理装置10によって実行され、処理の別の一部が情報処理装置10以外の装置によって実行されてもよい。例えば、生体情報の解析(例えば操作内容を特定する処理)が、情報処理装置10以外の装置によって実行され、操作対象の操作が、情報処理装置10によって実行されてもよい。
【0089】
以下、図3を参照して、端末装置18の構成について詳しく説明する。図3には、端末装置18のハードウェアの構成の一例が示されている。
【0090】
端末装置18は、例えば、通信装置28と、UI30と、メモリ32と、プロセッサ34とを含む。
【0091】
通信装置28は、通信チップや通信回路等を有する通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信装置28は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置28は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、LANやインターネット等の通信経路を介して他の装置と通信してもよい。
【0092】
UI30はユーザインターフェースであり、ディスプレイ及び操作装置の中の少なくとも1つを含む。ディスプレイは、液晶ディスプレイやELディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。UI30は、ディスプレイと操作装置とを兼ね備えたタッチパネル等のUIであってもよい。UI30は、マイクやスピーカを含んでもよい。
【0093】
メモリ32は、各種の情報を記憶する1又は複数の記憶領域を構成する装置である。メモリ32は、例えば、ハードディスクドライブ、各種のメモリ(例えばRAMやDRAMやROM等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。1又は複数のメモリ32が端末装置18に含まれている。
【0094】
プロセッサ34は、端末装置18の各部の動作を制御するように構成されている。プロセッサ34は、メモリを有してもよい。
【0095】
以下、管理情報の具体例について説明する。
【0096】
図4には、管理情報の一例である管理テーブルの一例が示されている。管理テーブルのデータはメモリ24に記憶されている。管理テーブルのデータは、メモリ24に記憶されずに、情報処理装置10以外の他の装置(例えばサーバ等の装置)に記憶されてもよい。
【0097】
管理テーブルにおいては、IDと、基準脳波と、操作対象の操作内容を示す操作情報とが、予め紐付けられている。
【0098】
IDは、管理テーブルに登録されている情報を管理するための情報である。
【0099】
基準脳波は基準生体情報の一例である。また、基準脳波は、人から測定されると推測される脳波である。ここでは、基準生体情報の一例として脳波が用いられているが、脳波以外の生体情報が基準生体情報として用いられてもよい。
【0100】
基準脳波は、例えば、統計的な処理によって定められ、当該基準脳波に紐付けられている操作内容を行う人から発生すると推測される脳波、又は、当該操作内容の実行を要求する人から発生すると推測される脳波である。
【0101】
基準脳波は、特定の周波数帯の脳波であってもよいし、複数の周波数帯の脳波を含む脳波であってもよい。
【0102】
図4に示す例では、操作対象は、ハードウェアの一例である機器16である。もちろん、操作対象は、機器16以外のハードウェアであってもよいし、ソフトウェアであってもよい。
【0103】
操作情報は、操作される機器16を識別するための機器識別情報と、当該機器16に対して行われる操作内容を示す情報とを含む情報である。例えば、操作内容は、機器16の電源をオン又はオフする操作であってもよいし、機器16の機能レベルを設定する操作であってもよいし、電源をオン又はオフする操作と機能レベルを設定する操作の両方であってもよい。
【0104】
例えば、ID「1」の基準脳波は、空調機の冷房をオンするという操作内容を表す脳波である。ID「2」の基準脳波は、空調機の冷房をオフするという操作内容を表す脳波である。
【0105】
例えば、ID「1」の基準脳波との差異が許容範囲内に含まれる脳波が人から測定された場合、プロセッサ26は、当該基準脳波に紐付けられている「空調機の冷房をオンする」という操作内容を特定する。そして、プロセッサ26は、「空調機の冷房をオンする」という操作内容を示す情報を含む制御情報を、当該空調機に送信する。当該空調機は当該制御情報に従って動作する。これにより、当該空調機の冷房がオンする。
【0106】
また、プロセッサ26は、人から測定された脳波と基準脳波との間の類似度を算出し、その類似度が閾値以上であるか否かを判断してもよい。閾値は許容範囲に対応する値である。人から測定された脳波と基準脳波との間の類似度が閾値以上である場合、プロセッサ26は、人から測定された脳波と基準脳波とは類似していると判断する。つまり、プロセッサ26は、人から測定された脳波と基準脳波との差異が許容範囲内に含まれると判断する。プロセッサ26は、ID「1」の基準脳波との間の類似度が閾値以上となる脳波が人から測定された場合、「空調機の冷房をオンする」という操作内容を特定する。
【0107】
なお、図4に示す例では、生体情報の一例である基準脳波が管理テーブルに登録されているが、生体情報を解析することで得られる感情情報、精神情報又は心理情報等が、基準脳波の代わりに管理テーブルに登録されてもよい。例えば、暑い又は寒い等といった感情や精神状態や心理状態を示す情報が、基準脳波の代わりに基準情報として管理テーブルに登録されてもよい。プロセッサ26は、人から測定された脳波を解析することで、当該人の感情や精神状態や心理状態を特定し、その特定した感情や精神状態や心理状態を示す基準情報を特定し、管理テーブルにおいて、その特定した基準情報に紐付けられている操作内容を特定する。
【0108】
例えば、図38に示されるように、対応する脳波データの差に基づいて、好き/嫌いの心理状態における脳波の差が検出できる。図38において、人が好きなものを書いている場合、脳波は特定の範囲(例えば、「like-zone」)内にとどまり、人が好きでないものを書いている場合、脳波の一部が異なる領域(例えば、「dis-like zone」)に現れる。
【0109】
別の例として、図39に示されるように、驚きの心理状態を検知することができる。例えば、ユーザは、運転中に事故寸前になる状況に遭遇する可能性がある。この場合、センサやカメラによって検知された運転状況と、検知されたユーザの脳状態とに基づいて、ブレーキを自動的にかけ、回避行動を自動的にとることができる。
【0110】
具体例を挙げて説明すると、「暑い」という感情や精神状態や心理状態を示す基準情報が、「空調機の冷房をオンする」という操作内容を示す操作情報に紐付けられて管理テーブルに登録されている。プロセッサ26は、人から測定された生体情報(例えば脳波)を解析することで、当該人の感情や精神状態や心理状態を特定する。その感情等が「暑い」という感情等である場合、プロセッサ26は、「暑い」という基準情報に紐付けられている操作内容「空調機の冷房をオンする」を特定する。
【0111】
このように、プロセッサ26は、生体情報そのものに基づいて操作内容を特定してもよいし、生体情報から得られる各種の情報(例えば、感情情報、精神情報、心理情報等)に基づいて操作内容を特定してもよい。以下の各実施形態においても同様である。
【0112】
生物毎に、基準生体情報と操作情報とが紐付けられて管理テーブルに登録されてもよい。例えば、個々の人から測定された生体情報が、当該人の基準生体情報として管理テーブルに登録されてもよい。人以外の動物や生物についても、個々の動物や個々の生物から測定された生体情報が、当該動物や当該生物の基準生体情報として管理テーブルに登録されてもよい。
【0113】
図5には、個々の人の具体的な基準生体情報が登録されている管理テーブルの一例が示されている。図5に示されている管理テーブルにおいては、IDと、基準生体情報の一例である基準脳波と、操作情報と、ユーザ情報とが紐付けられている。ユーザ情報は、人であるユーザを識別するための情報(例えば、ユーザ名やユーザID等)である。
【0114】
ユーザ情報に紐付けられている基準脳波は、当該ユーザ情報が示すユーザが、当該基準脳波に紐付けられている操作内容を行うときに当該ユーザから測定された脳波、又は、当該ユーザが当該操作内容を要求するときに当該ユーザから測定された脳波である。各ユーザから測定された各基準脳波は、予め各ユーザから測定されて管理テーブルに登録される。
【0115】
例えば、ユーザAが「空調機」の冷房を手動でオンしたときにユーザAの脳波が生体情報測定装置12によって測定され、その測定された脳波が、ユーザAが「空調機の冷房をオンする」という操作内容を表す基準脳波として、管理テーブルに登録される。この場合、測定されたユーザAの当該基準脳波と、「空調機の冷房をオン」するという操作内容を示す操作情報と、ユーザAを識別するためのユーザ情報とが紐付けられて管理テーブルに登録される。その登録は、情報処理装置10を用いて行われてもよいし、他の装置を用いて行われてもよい。図5に示す例では、これらの情報はID「1」の情報として登録される。他の操作や他のユーザについても同様である。
【0116】
なお、登録の作業を複数回行い、これによって測定された複数の脳波の平均を、基準脳波として登録してもよい。例えば、ユーザAが「空調機」の冷房を手動でオンし、そのときにユーザAから発生した脳波を生体情報測定装置12によって測定するという作業を、複数回行い、これによって測定された複数の脳波の平均を、ユーザAの基準脳波として管理テーブルに登録してもよい。
【0117】
例えば、ユーザAが情報処理装置10にログインしている状態で、ユーザAから、ID「1」の基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ26は、ID「1」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。より詳しく説明すると、ユーザAが情報処理装置10にログインしているときに、生体情報測定装置12によって脳波が測定されると、プロセッサ26は、ログインしているユーザAを識別するためのユーザ情報に紐付けられて管理テーブルに登録されている基準脳波を検索する。図5に示す例では、ID「1」の基準脳波と、ID「3」の基準脳波が、ユーザAの基準脳波として管理テーブルに登録されているため、これらの基準脳波が検索される。測定された脳波とID「1」の基準脳波との差異が許容範囲内である場合、プロセッサ26は、ID「1」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。測定された脳波とID「3」の基準脳波との差異が許容範囲内である場合、プロセッサ26は、ID「3」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオフする。
【0118】
別の例として、機器16を操作するユーザが「ユーザA」であることが情報処理装置10に設定されている状態で、ユーザAから、ID「1」の基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ26は、ID「1」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンしてもよい。より詳しく説明すると、機器16を操作するユーザが「ユーザA」であることが情報処理装置10に設定されている状態で、生体情報測定装置12によって脳波が測定されると、プロセッサ26は、機器16を操作するユーザであるユーザAを識別するためのユーザ情報に紐付けられて管理テーブルに登録されている基準脳波を検索する。測定された脳波とID「1」の基準脳波との差異が許容範囲内である場合、プロセッサ26は、ID「1」の操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。機器16を操作するユーザは、例えば、ユーザによって情報処理装置10に設定される。
【0119】
ユーザA以外の他のユーザについても、ユーザAと同様に、各情報が管理テーブルに登録される。例えば、ID「2」に紐付けられている各情報は、ユーザBが「空調機」の冷房をオンしたときの操作に関する情報である。ID「3」に紐付けられている各情報は、ユーザAが「空調機」の冷房をオフにしたときの操作に関する情報である。
【0120】
図4及び図5に示されている管理テーブルには、機器16の電源をオン又はオフする操作を示す操作情報が登録されているが、機器16の機能レベルを示す操作情報が管理テーブルに登録されてもよい。
【0121】
図6には、管理テーブルの別の例が示されている。図6に示されている管理テーブルは、ユーザ毎に基準生体情報と操作情報とが紐付けられて登録されている管理テーブルである。図6に示す例では、一例として、脳波と体温とが基準生体情報として用いられている。したがって、管理テーブルには、IDと、基準生体情報の一例である基準脳波と、基準生体情報の一例である基準体温と、操作情報と、ユーザ情報とが紐付けられている。
【0122】
例えば、ID「1」の基準脳波との差異が許容範囲内に含まれる脳波がユーザAから測定され、かつ、閾値以上の体温がユーザAから測定された場合、プロセッサ26は、ID「1」の操作情報が示す操作内容を、機器16に対する操作内容として特定する。そして、プロセッサ26は、ID「1」の操作内容を示す操作情報を含む制御情報を空調機に送信することで、当該空調機の冷房をオンする。
【0123】
なお、図6に示す例では、人毎に、基準体温と基準脳波と操作情報とが紐付けられているが、人毎ではなく、基準体温と基準脳波と操作情報とが紐付けられてもよい。
【0124】
図7には、管理テーブルの別の例が示されている。図7に示されている管理テーブルは、ユーザ毎に基準脳波と基準環境情報と操作情報とが紐付けられて登録されている管理テーブルである。基準生体情報の一例として基準脳波が用いられているが、別の生体情報が基準生体情報として用いられてもよい。
【0125】
基準環境情報は、当該基準環境情報に紐付けられている基準脳波が測定されると推測される環境を示す情報である。基準環境情報として室温が用いられているが、別の環境情報が基準環境情報として用いられてもよい。
【0126】
例えば、ID「1」の基準脳波との差異が許容範囲内に含まれる脳波がユーザAから測定され、かつ、当該脳波が測定されたときの室温が閾値以上である場合、プロセッサ26は、ID「1」の操作情報が示す操作内容を、機器16に対する操作内容として特定する。このように、ユーザから測定された脳波と、当該脳波が測定されたときの室温とに基づいて、機器16に対する操作内容が特定される。
【0127】
なお、図7に示す例では、人毎に、基準生体情報と基準環境情報と操作情報とが紐付けられているが、人毎ではなく、基準生体情報と基準環境情報と操作情報とが紐付けられてもよい。
【0128】
以下、各実施例について説明する。
【0129】
<実施例1>
以下、実施例1について説明する。実施例1では、現実空間のある場所にいる複数の生物から測定された生体情報が利用される。ここでは一例として、ある部屋に集まった複数の人から測定された生体情報に基づいて機器16を操作する例について説明する。
【0130】
図8には、その部屋36が模式的に示されている。部屋36内には、人であるユーザA,B,Cがいる。また、部屋36内には機器16が設置されている。なお、ユーザ及び機器16の数は一例であり、複数の機器16が部屋36内に設置されてもよい。
【0131】
各ユーザの生体情報が生体情報測定装置12によって測定される。例えば、ユーザA,B,Cにはそれぞれ、ウェアラブルデバイスである生体情報測定装置12が装着され、ユーザA,B,Cのそれぞれの生体情報が、各ユーザに装着された生体情報測定装置12によって測定される。生体情報測定装置12が各ユーザに装着されると共に、又は、生体情報測定装置12が各ユーザに装着されずに、ユーザに装着されない生体情報測定装置12によって各ユーザの生体情報が測定されてもよい。1又は複数の種類の生体情報が、各ユーザから測定されてもよい。ここでは一例として、ユーザA,B,Cのそれぞれから脳波が測定されるものとする。もちろん、脳波以外の生体情報が測定されてもよい。
【0132】
例えば、部屋36内にいるユーザの生体情報(例えば脳波信号)が、各ユーザの生体情報測定装置12から情報処理装置10に送信される。図8に示す例では、ユーザA,B,Cのそれぞれの生体情報(例えば脳波信号)が、各ユーザの生体情報測定装置12から情報処理装置10に送信される。
【0133】
情報処理装置10のプロセッサ26は、ユーザA,B,Cのそれぞれの脳波に基づいて機器16を操作する。例えば、プロセッサ26は、ユーザA,B,Cのそれぞれから測定された脳波の平均を算出し、その平均の脳波に基づいて機器16の操作内容を特定する。例えば、プロセッサ26は、図4に示されている管理テーブルを参照し、その平均の脳波との差異が許容範囲内に含まれる基準脳波を特定し、その特定した基準脳波に紐付けられている操作内容を特定する。そして、プロセッサ26は、その特定した操作内容に従って機器16を操作する。例えば、プロセッサ26は、脳波の振幅の平均を算出し、その平均の振幅を有する脳波との差異が許容範囲内に含まれる基準脳波を特定し、操作内容を特定する。
【0134】
別の例として、機器16の操作内容が機能レベルの設定である場合、プロセッサ26は、ユーザA,B,Cのそれぞれの脳波に基づいて、機器16の機能レベルを別々に特定してもよい。そして、プロセッサ26は、各機能レベルの平均を算出し、その平均の機能レベルに従って機器16を操作する。例えば、機器16が冷房機能を有する空調機である場合において、ユーザAの脳波に基づいて特定される操作内容が、「空調機の冷房の設定温度を26℃に設定する」という操作内容であり、ユーザBの脳波に基づいて特定される操作内容が、「空調機の冷房の設定温度を27℃に設定する」という操作内容であり、ユーザCの脳波に基づいて特定される操作内容が、「空調機の冷房の設定温度を28℃に設定する」という操作内容である場合、プロセッサ26は、これらの設定温度の平均を算出する。そして、プロセッサ26は、空調機の冷房の設定温度をその平均の温度に設定する。
【0135】
機器16の操作内容が機器16をオン又はオフする操作である場合、プロセッサ26は、ユーザA,B,Cのそれぞれの脳波に基づいて、機器16のオン又はオフを別々に特定してもよい。そして、プロセッサ26は、ユーザA,B,Cの多数決に従って、機器16のオン又はオフを決定し、その決定に従って機器16をオン又はオフする。
【0136】
(機器16とユーザとの間の距離に基づく操作)
情報処理装置10のプロセッサ26は、操作対象の機器16との間の距離が閾値以下となるユーザの生体情報(例えば脳波信号)に基づいて機器16の操作内容を特定し、その操作内容に従って機器16を操作してもよい。機器16及び各ユーザの位置は、例えば、GPS(Global Positioning System)や他の通信技術等を用いることで特定され、機器16及び各ユーザの位置情報は、情報処理装置10に送信される。例えば、ユーザが生体情報測定装置12や端末装置18を携帯している場合、生体情報測定装置12や端末装置18の位置がGPS等を利用することで特定され、その位置を示す位置情報が、当該ユーザの位置を示す位置情報として情報処理装置10に送信される。
【0137】
例えば、ユーザA,Bと機器16との間の距離が閾値以下であり、ユーザCと機器16との間の距離が閾値を超えている場合、情報処理装置10のプロセッサ26は、ユーザA,Bの脳波の平均を算出し、その平均の脳波に基づいて機器16の操作内容を特定し、その特定した操作内容に従って機器16を操作する。ユーザCの脳波信号が情報処理装置10に送信されている場合であっても、プロセッサ26は、ユーザCの脳波を用いずに、機器16の操作内容を特定する。こうすることで、機器16との間の距離が閾値以下となるユーザの生体情報に基づいて機器16を操作することができる。
【0138】
(情報処理装置10とユーザとの間の距離に基づく操作)
情報処理装置10のプロセッサ26は、情報処理装置10との間の距離が閾値以下となるユーザの生体情報に基づいて機器16の操作内容を特定し、その操作内容に従って機器16を操作してもよい。例えば、情報処理装置10がスマートスピーカ等の装置であって、部屋36内に設置されている場合、プロセッサ26は、情報処理装置10との間の距離が閾値以下となるユーザの生体情報に基づいて機器16を操作してもよい。
【0139】
(重み付け処理)
情報処理装置10のプロセッサ26は、各ユーザの脳波に重み付け処理を行い、重み付けされた脳波の平均を算出し、その平均の脳波に基づいて機器16の操作内容を特定してもよい。
【0140】
例えば、ユーザ毎に重み係数が定められ、各ユーザの重み係数を示す情報が、情報処理装置10のメモリ24に記憶される。例えば、各ユーザが自身の重み係数を決定してもよいし、ユーザA,B,Cの中から選ばれたユーザが、各ユーザの重み係数を決定してもよい。各ユーザの重み係数を示す情報は、例えば、各ユーザの端末装置18から情報処理装置10に送信されてもよいし、情報処理装置10のUI22を用いて情報処理装置10に入力されてもよい。
【0141】
各ユーザの重み係数は、ユーザの属性に基づいて定められてもよい。属性は、例えば、年齢、性別、身長又は体重等である。各属性の重み係数が予め定められており、各属性の重み係数を示す情報が、情報処理装置10のメモリ24に予め記憶されている。例えば、各ユーザの属性を示す情報が、各ユーザの端末装置18から情報処理装置10に送信され、情報処理装置10のプロセッサ26は、各ユーザの属性を示す情報に基づいて、各ユーザの重み係数を決定する。
【0142】
また、機器16とユーザとの間の距離に基づいて重み係数が決定されてもよい。例えば、機器16とユーザとの間の距離が近いほど重み係数を大きくし、その距離が長いほど重み係数を小さくしてもよい。もちろん、その逆であってもよい。その距離は、機器16とユーザのそれぞれの位置情報に基づいて算出される。
【0143】
(生体情報が変化した場合)
ユーザA,B,Cのそれぞれの脳波が変化した場合、情報処理装置10のプロセッサ26は、その変化に応じて、機器16の操作内容を変更する。例えば、プロセッサ26は、予め定められた期間毎に、ユーザA,B,Cの脳波の平均を算出し、その平均に基づいて期間毎に操作内容を特定し、その特定した操作内容に従って、期間毎に機器16を操作する。この場合も、上述した重みづけ処理が行われてもよい。
【0144】
なお、実施例1において、生体情報が測定される複数の生物は、人、人以外の動物、及び、植物の中の少なくとも2つの組み合わせであってもよい。例えば、人及び生物のそれぞれの生体情報に基づいて、機器16が操作されてもよい。以下に説明する実施例においても同様である。
【0145】
(生物が移動した場合の処理)
以下、図9を参照して、生物が移動した場合の処理について説明する。図9には、部屋36が模式的に示されている。図8に示す例と同様に、部屋36内には、人であるユーザA,B,Cがいる。また、部屋36内に機器16が設置されている。
【0146】
例えば、図9中の矢印が指し示すように、ユーザAが移動し、ユーザAと機器16との間の距離が閾値を超えて、ユーザB,Cと機器16との間の距離が閾値以下である場合、情報処理装置10のプロセッサ26は、ユーザB,Cの脳波に基づいて操作内容を特定し、その特定した操作内容に従って機器16を操作する。上述したように、プロセッサ26は、ユーザB,Cの脳波の平均に基づいて操作内容を特定し、その特定した操作内容に従って機器16を操作してもよいし、ユーザB,Cのそれぞれの脳波に基づいて機能レベルを特定し、その特定した機能レベルの平均に従って機器16を操作してもよいし、ユーザB,Cのそれぞれの脳波に基づいてオン又はオフを決定し、その決定に従って機器16をオン又はオフしてもよい。
【0147】
プロセッサ26は、上述した重み付け処理を行ってもよい。この場合、移動する前のユーザAが、操作内容の決定に影響を与えるユーザである場合(例えば、ユーザAの重み係数が他のユーザの重み係数よりも大きい場合)、ユーザAが移動することで、機器16の操作内容が変わることがある。
【0148】
なお、人以外の動物や生物の生体情報が測定される場合においても、人以外の動物が移動したり、生物の配置位置が変わったりすると、それに応じて、機器16の操作内容が変更することがある。
【0149】
<実施例2>
以下、実施例2について説明する。実施例2では、それぞれ別々の場所にいる複数の生物から測定された生体情報が利用される。ここでは一例として、それぞれ別々の場所(例えば同じ部屋ではない場所)にいる人から測定された生体情報に基づいて機器16を操作する例について説明する。実施例2が適用される場面は、例えば、複数の人がオンラインで会話や会議等を行う場面(例えばリモート会議やWeb会議等)である。
【0150】
例えば、人であるユーザA,B,C,Dが、オンラインでの会議に参加しているものとする。ユーザAは端末装置18Aを利用し、ユーザBは端末装置18Bを利用し、ユーザCは端末装置18Cを利用し、ユーザDは端末装置18Dを利用している。端末装置18A,18B,18C,18Dは、端末装置18と同じ構成を有する。
【0151】
端末装置18A,18B,18C,18Dは、例えば、オンラインで会話や会議するサービスを提供するサーバから当該サービスの提供を受けて、当該サーバを介して、互いに情報(例えば、画像、音声、文字列等)をやり取りすることができる。そのようなサービスとして、例えば公知のサービスが用いられる。
【0152】
以下、図10を参照して、実施例2について詳しく説明する。図10には、画面38Aが示されている。画面38Aは、ユーザAの端末装置18AのUI30のディスプレイに表示される画面である。
【0153】
画面38Aには、オンライン会議に参加しているユーザA,B,C,Dの画像が表示される。例えば、画面38Aは、領域40A,40B,40C,40Dを含む。領域40AにユーザAの画像が表示され、領域40BにユーザBの画像が表示され、領域40CにユーザCの画像が表示され、領域40DにユーザDの画像が表示される。端末装置18B,18C,18Dのそれぞれのディスプレイにも、画面38Aと同様の構成を有する画面が表示される。
【0154】
例えば、ユーザAの端末装置18Aに設けられているカメラ、又は、端末装置18Aに設けられていないカメラによってユーザAが撮影され、端末装置18Aのプロセッサ34は、その撮影によって生成された画像が領域40Aに表示する。また、ユーザAの画像のデータが、端末装置18Aからサーバを介して端末装置18B,18C,18Dに送信され、端末装置18B,18C,18DのそれぞれのディスプレイにユーザAの画像が表示される。同様に、ユーザB,C,Dのそれぞれの画像についても同様である。
【0155】
実施例1と同様に、各ユーザの生体情報が生体情報測定装置12によって測定される。ここでは一例として、実施例1と同様に、ユーザA,B,C,Dのそれぞれから脳波が測定されるものとする。もちろん、脳波以外の生体情報が測定されてもよい。ユーザA,B,C,Dのそれぞれの生体情報(例えば脳波信号)が、各ユーザの生体情報測定装置12から情報処理装置10に送信される。
【0156】
情報処理装置10のプロセッサ26は、ユーザA,B,C,Dのそれぞれの脳波に基づいて機器16を操作する。操作対象の機器16は、端末装置18A,18B,18C,18Dであってもよいし、端末装置18以外の機器であってもよい。
【0157】
各端末装置18が、情報処理装置10の機能を有し、各端末装置18のプロセッサ34が、操作対象の機器16を操作してもよい。例えば、各端末装置18は、通信経路を介して、各ユーザの生体情報測定装置12から生体情報を受信して機器16を操作する。
【0158】
例えば、各端末装置18のプロセッサ34は、各ユーザの脳波に基づいて、端末装置18に設けられているスピーカの音量を制御する。例えば、ユーザBの脳波を解析することで、ユーザBが興奮していると判断された場合、各端末装置18のプロセッサ34は、ユーザBの音量が小さくなるように、各端末装置18のスピーカの音量を制御する。例えば、端末装置18Aのプロセッサ34は、ユーザBの音量が小さくなるように、端末装置18Aのスピーカの音量を制御する。他の端末装置18についても同様である。なお、端末装置18に設けられていないスピーカが用いられる場合、プロセッサ34は、当該スピーカの音量を制御する。
【0159】
なお、オンライン会議に参加するユーザの認証が行われてもよい。認証が成功したユーザが、オンライン会議に参加することができる。例えば、顔認証、音声認証、網膜認証、又は、耳音響認証等の認証技術が用いられる。認証は、情報処理装置10によって行われてもよいし、認証サーバによって行われてもよい。
【0160】
実施例2においても、情報処理装置10のプロセッサ26は、各ユーザの脳波に基づいて(例えば脳波の平均に基づいて)、機器16を操作してもよい。操作対象の機器16は、ユーザA,B,C,Dの中の少なくとも1人によって利用される機器であってもよいし、それ以外の機器であってもよい。この場合、重みづけ処理が行われてもよい。
【0161】
(生物が移動した場合の処理)
以下、図11を参照して、生物が移動した場合の処理について説明する。図11には、画面38Aが示されている。
【0162】
例えば、オンライン会議に参加していたユーザBが、オンライン会議に参加しなくなった場合や、領域40BにユーザBの画像が表示されなくなった場合、情報処理装置10のプロセッサ26は、ユーザA,C,Dのそれぞれの脳波に基づいて機器16を操作する。
【0163】
<実施例3>
以下、図12を参照して、実施例3について説明する。実施例3は、実施例1,2の組み合わせである。図12には、画面38Aが示されている。
【0164】
例えば、ユーザA1,A2が端末装置18Aを利用してオンライン会議に参加しており、ユーザB1,B2が端末装置18Bを利用してオンライン会議に参加しており、ユーザC1が端末装置18Cを利用してオンライン会議に参加しており、ユーザD1,D2,D3が端末装置18Dを利用してオンライン会議に参加している。例えば、ユーザA1,A2がグループAに属し、ユーザB1、B2がグループBに属し、ユーザC1がグループCに属し、ユーザD1,D2,D3がグループDに属する。グループに関する情報(例えば、グループの識別情報、及び、グループに属する各ユーザの識別情報等)は、情報処理装置10やサーバ等に記憶される。
【0165】
領域40AにユーザA1,A2の画像が表示され、領域40BにユーザB1,B2の画像が表示され、領域40CにユーザC1の画像が表示され、領域40DにユーザD1,D2,D3の画像が表示される。
【0166】
実施例1と同様に、各ユーザの生体情報が生体情報測定装置12によって測定される。なお、オンライン会議に参加している1又は複数のユーザの生体情報が測定されなくてもよい。ここでは一例として、実施例1と同様に、各ユーザから脳波が測定されるものとする。もちろん、脳波以外の生体情報が測定されてもよい。各ユーザの生体情報(例えば脳波信号)が、各ユーザの生体情報測定装置12から情報処理装置10に送信される。
【0167】
実施例2と同様に、情報処理装置10のプロセッサ26は、各ユーザの脳波に基づいて機器16を操作する。操作対象の機器16は、端末装置18A,18B,18C,18Dであってもよいし、端末装置18以外の機器であってもよい。各端末装置18が、情報処理装置10の機能を有し、各端末装置18のプロセッサ34が、操作対象の機器16を操作してもよい。
【0168】
例えば、実施例2と同様に、各端末装置18のプロセッサ34は、各ユーザの脳波に基づいて、端末装置18に設けられているスピーカの音量を制御する。例えば、ユーザB1の脳波を解析することで、ユーザB1が興奮していると判断された場合、各端末装置18のプロセッサ34は、ユーザB1の音量が小さくなるように、各端末装置18のスピーカの音量を制御する。
【0169】
別の例として、各端末装置18のプロセッサ34は、グループに属する1又は複数のユーザの脳波の平均を算出し、その平均に基づいてグループの状態を判断してもよい。例えば、グループBに属するユーザB1,B2の脳波の平均を解析することで、ユーザB1,B2が興奮していると判断された場合、各端末装置18のプロセッサ34は、ユーザB1,B2の音量が小さくなるように、各端末装置18のスピーカの音量を制御する。
【0170】
実施例3においても、情報処理装置10のプロセッサ26は、各ユーザの脳波に基づいて(例えば脳波の平均に基づいて)、機器16を操作してもよい。また、プロセッサ26は、グループに属する1又は複数のユーザの脳波に基づいて(例えば、グループに属する1又は複数のユーザの脳波の平均に基づいて)、機器16を操作してもよい。
【0171】
(生物が移動した場合の処理)
以下、図13を参照して、生物が移動した場合の処理について説明する。図13には、画面38Aが示されている。
【0172】
例えば、オンライン会議に参加していたユーザC1が、オンライン会議に参加しなくなった場合や、領域40CにユーザCの画像が表示されなくなった場合、情報処理装置10のプロセッサ26は、グループA,B,Dのそれぞれに属するユーザの脳波に基づいて機器16を操作する。
【0173】
<実施例4>
以下、実施例4について説明する。実施例4では、人の移動を促す処理を行われる。
【0174】
例えば、情報処理装置10のプロセッサ26は、人の生体情報を解析することで、当該人の感情情報や精神情報や心理情報を得る。複数の種類の生体情報が測定される場合、プロセッサ26は、当該複数の生体情報の全部又は一部を解析することで、当該人の感情情報や精神情報や心理情報を得てもよい。プロセッサ26は、各生体情報の優先順位に基づいて各生体情報に重み付け処理を行い、その重み付け処理の結果に基づいて、当該人の感情情報や精神情報や心理情報を得てもよい。また、各種の生体情報に対して基準レベルが定められ、プロセッサ26は、基準レベルが同じ生体情報は、感情や精神状態や心理情報が同じ傾向を示していると判断してもよい。
【0175】
プロセッサ26は、生体情報の解析の結果に基づいて、最適な場所への移動を当該人に促す。例えば、プロセッサ26は、生体情報の解析の結果に基づいて、当該人が不快を感じていると判断した場合、当該人が快適と感じ得る場所への移動を当該人に促す。その快適と感じ得る場所が、最適な場所の一例に相当する。
【0176】
プロセッサ26は、生体情報測定装置12によって測定された生体情報、及び、環境情報測定装置14によって測定された環境情報に基づいて、最適な場所(例えば、人が快適と感じ得る場所)を特定する。
【0177】
具体例を挙げて説明すると、プロセッサ26は、人の生体情報に基づいて、当該人が暑いと感じていると判断した場合、涼しい場所への移動を当該人に促す。涼しい場所が、最適な場所の一例に相当する。例えば、プロセッサ26は、人の発汗量と脳波を解析し、発汗量が閾値以上であり、脳波が不快感を示している場合、当該人が暑いと感じていると判断する。例えば、環境情報測定装置14によって、各場所の温度、湿度及び風量等の環境情報が測定され、各場所の環境情報が、環境情報測定装置14から情報処理装置10に送信される。プロセッサ26は、各場所の環境情報に基づいて、当該人が涼しいと感じ得る場所を特定する。例えば、プロセッサ26は、当該人がいる現在の場所の温度よりも温度が低い場所を特定し、その特定した場所への移動を当該人に促す。
【0178】
また、プロセッサ26は、人の生体情報に基づいて、当該人が寒いと感じていると判断した場合、暖かい場所への移動を当該人に促す。この場合、暖かい場所が、最適な場所の一例に相当する。
【0179】
例えば、プロセッサ26は、個々の人毎に、最適な場所への移動を促す。例えば図8に示すように、部屋36内にユーザA,B,Cがいる場合、プロセッサ26は、ユーザA,B,Cのそれぞれに対して、各ユーザの最適な場所への移動を促す。プロセッサ26は、生体情報が同じ傾向を有するユーザを同じ場所に案内してもよい。例えば、ユーザA,Bが暑いと感じており、ユーザCが寒いと感じている場合、プロセッサ26は、ユーザA,Bを涼しい場所に案内し、ユーザCを暖かい場所に案内する。
【0180】
別の例として、人がディスプレイに表示されている画像や文字を見ている場合において、プロセッサ26が、当該人の生体情報に基づいて、画像や文字が見え難いと当該人が感じていると判断した場合、当該ディスプレイに近づくように当該人を促す。
【0181】
更に別の例として、スピーカから音が発せられている場合において、プロセッサ26が、人の生体情報に基づいて、音が聞き難いと人が感じていると判断した場合、当該スピーカに近づくように当該人を促す。
【0182】
例えば、プロセッサ26は、当該人の端末装置18に、移動を促す情報(例えば、案内や誘導を示す情報等)を送信する。当該端末装置18のプロセッサ34は、その情報をUI30のディスプレイに表示させる。図14には、その表示例が示されている。画面42は、端末装置18のディスプレイに表示される画面である。画面42には、例えば、「XX(快適な場所)に移動してください。」といったメッセージや、その場所を示す地図44が表示される。地図44上には、例えば、当該人の現在の位置を表すマーク46と、快適な場所を表すマーク48と、当該快適な場所へ人を案内する矢印50とが表示される。当該人の現在の位置、及び、快適な場所は、GPS等の技術を用いることで特定される。図8に示す例では、ユーザA,B,Cのそれぞれの端末装置18のディスプレイに、移動を促す情報が表示される。
【0183】
図15には、別の表示例が示されている。図15には部屋36が示されている。例えば、情報処理装置10のプロセッサ26は、符号52が指し示すように、部屋36の床の上に、光等によって案内を表示してもよい。例えば、プロセッサ26は、部屋36内に設置されている照明を制御することで案内を表示する。人がいる場所が道路等であれば、プロセッサ26は、地面等に案内を表示する。その他、プロセッサ26は、壁に案内を表示してもよいし、音声によって人を案内してもよい。その音声は、端末装置18から発せられてもよいし、他のスピーカから発せられてもよい。また、プロセッサ26は、人の周囲に設置されているディスプレイに案内を表示させてもよい。
【0184】
プロセッサ26は、生体情報が同じ傾向を示す複数の人を同じ場所に案内し、生体情報が異なる傾向を示す複数の人をそれぞれ別々の場所に案内してもよい。例えば、プロセッサ26は、互いに好意を有する複数の人を同じ場所に案内し、互いに嫌悪感を有する複数の人を異なる場所に案内してもよい。
【0185】
<実施例5>
以下、実施例5について説明する。実施例5では、生物の生体情報が表示される。図16を参照して、実施例5について詳しく説明する。図16には、画面38Aが示されている。ここでは一例として、実施例3と同様に、複数のユーザによってオンライン会議が行われているものとする。
【0186】
例えば、各ユーザの生体情報は、各ユーザの端末装置18に送信され、端末装置18のプロセッサ34は、各ユーザの生体情報をディスプレイに表示させる。図16には、ユーザAの端末装置18Aの画面38Aが示されており、端末装置18Aのプロセッサ34は、各ユーザの生体情報を画面38Aに表示する。図16には、生体情報の一例である脳波が表示されている。例えば、脳波の波形が表示される。
【0187】
図16に示す例では、ユーザA1の脳波54、ユーザB1の脳波56、ユーザC1の脳波58、及び、ユーザD3の脳波60が、表示されている。例えば、端末装置18Aのプロセッサ34は、ユーザA1の脳波54をユーザA1の画像に紐付けて領域40A内に表示する。他のユーザの脳波も同様である。
【0188】
ユーザは、脳波の表示又は非表示を選択することができる。端末装置18Aのプロセッサは、例えば、端末装置18Aのユーザの指示に従って、各ユーザの脳波を表示し、又は、各ユーザの脳波を表示しなくてもよいし、脳波が測定されたユーザの指示に従って、当該ユーザの脳波を表示し、又は、当該ユーザの脳波を表示しなくてもよい。
【0189】
例えば、端末装置18Aのユーザが、ユーザA1,B1,C1,D3のそれぞれの脳波を表示することを指示した場合、端末装置18Aのプロセッサ34は、図16に示すように、ユーザA1,B1,C1,D3のそれぞれの脳波を表示する。
【0190】
別の例として、ユーザA1が、ユーザA1自身の脳波の表示又は非表示を設定してもよい。表示が設定された場合、ユーザA1の脳波が表示され、非表示が設定された場合、ユーザA1の脳波は表示されない。他のユーザについても同様である。
【0191】
また、端末装置18のプロセッサ34は、脳波の波形を表示すると共に、その脳波を解析することで得られる感情や精神状態や心理状態を示す情報を表示してもよい。例えば、脳波58は「覚醒(興奮)」という状態を表しており、プロセッサ34は、その「覚醒(興奮)」を示す文字列を脳波58と共に領域40Cに表示する。他の脳波についても同様である。
【0192】
情報処理装置10のプロセッサ26は、オンライン会議中の音声データをテキストデータに変換し、そのテキストデータを各ユーザの生体情報(例えば脳波)に紐付けてメモリに記憶させてもよい。また、プロセッサ26は、音声データを各ユーザの生体情報に紐付けてメモリに記憶させてもよい。また、端末装置18のプロセッサ34は、当該テキストデータを取得し、そのテキストを表示してもよい。例えば、生体情報を検索キーとして、その生体情報に紐付けられている音声データやテキストデータを検索できるようにしてもよい。
【0193】
また、端末装置18のプロセッサ34は、予め定められた感情や精神状態や心理状態や意思情報を表す脳波を表示してもよい。例えば、会議に適さない脳波(例えば、眠気や睡眠等を表す脳波)が測定された場合、プロセッサ34は、当該脳波が測定されたユーザの画像に当該脳波を紐付けて表示する。
【0194】
感情や精神状態や心理状態や意思情報を表す画像が表示されてもよい。図17には、その表示例が示されている。例えば、集中を表す画像62、眠気を表す画像64、リラックスを表す画像66等が表示される。例えば、端末装置18のプロセッサ34は、脳波と共に、又は、脳波の代わりに、各画像をユーザに紐付けて表示する。
【0195】
端末装置18のプロセッサ34は、感情や精神状態や心理状態や意思情報の程度に応じて、画像の数、色、強調、及び、画像の種類等を変えてもよい。
【0196】
プロセッサ34は、感情や精神状態や心理状態や意思情報の程度に応じたスコアを、ユーザに紐付けて表示してもよい。
【0197】
プロセッサ34は、感情や精神状態や心理状態や意思情報の程度に応じて、ユーザの画像自体(例えば、ユーザの顔の画像)を加工して表示してもよいし、ユーザの背景の画像を変えたりしてもよい。例えば、プロセッサ34は、ユーザの気持ちがネガティブである場合、当該ユーザの顔の色を白く又は青白く表示し、当該ユーザの気持ちがポジティブである場合、当該ユーザの顔の肌色を明るく表示する。プロセッサ34は、ユーザの気持ちがネガティブである場合、背景の画像を暗くして表示し、ユーザの気持ちがポジティブである場合、背景の画像を明るくしてもよい。
【0198】
<実施例6>
以下、図18を参照して、実施例6について説明する。図18には、人の脳の断層画像が模式的に示されている。
【0199】
例えば、生体情報測定装置12によって人の脳波が測定され、情報処理装置10のプロセッサ26は、その測定された脳波に基づいて、当該人の脳において活性化している部位を特定する。例えば、人の頭部にて3か所以上の箇所に電極を設けて脳波を測定することで、プロセッサ26は、測定された脳波が発生している部位を特定する。プロセッサ26は、当該人の脳の断層画像上において、その特定した部位を指し示すマーク等を表示してもよいし、その特定した部位を塗り潰してもよい。
【0200】
なお、断層画像は、CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置によって撮影された画像であってもよいし、脳を模式的に表す画像(例えば予め作成された画像)であってもよい。
【0201】
<実施例7>
以下、生体情報が表示される画面について説明する。図19には、ホーム画面の一例が示されている。
【0202】
ホーム画面100は、例えば、端末装置18のディスプレイに表示される。ホーム画面100には、「Scan」ボタン、「Record」ボタン、「Reset」ボタン、「File」ボタン、及び、「Edit」ボタンが表示される。また、画面100には、表示領域102,104,106が含まれる。図19に示す例では、領域102,104,106が、その順番で縦に並んで配置されているが、この配置は一例に過ぎない。その配置がユーザによって変更されてもよい。
【0203】
「Scan」ボタンが押されると、端末装置18と通信可能(例えばBLE等のペアリング可能)な生体情報測定装置12の一覧がホーム画面100に表示される。「Record」ボタンが押されると、生体情報測定装置12によって測定された生体情報がメモリに記憶される。例えば、生体情報測定装置12と端末装置18とが通信し、生体情報測定装置12によって測定された生体情報が、生体情報測定装置12から端末装置18に送信されて、端末装置18のメモリ32に記憶される。「Reset」ボタンが押されると、キャリブレーションの設定がリセットされる。「File」ボタンが押されると、生体情報のファイルを管理するための画面が表示される。「Edit」ボタンが押されると、後述する設定画面(図23参照)が表示される。
【0204】
領域102には、生体情報測定装置12によって測定された生体情報そのものが表示され、領域104には、生体情報を処理することで得られた情報が表示される。以下、処理が施されていない生体除法を「Rawデータ」と称することとする。例えば、領域102には、Rawデータのグラフ(以下、「グラフ1」と称する)が表示され、領域104には、処理済みの生体情報のグラフ(以下、「グラフ2」と称する)が表示される。
領域106には、領域104に表示されるグラフの設定値等が表示される。
【0205】
グラフ1の縦軸(Y軸)は、生体情報を表す電位(例えば[μV])であり、横軸(X軸)は、時間である。例えば、ピンチ操作やズーム操作等によって、縦軸のレンジを変更することができる。
【0206】
切り替え前のグラフ2の縦軸(Y軸)は、生体情報を表す電位(例えば[μV])であり、横軸(X軸)は、時間である。例えば、ピンチ操作やズーム操作等によって、縦軸のレンジを変更することができる。
【0207】
領域104,106の表示内容を他の表示内容に切り替えることができる。例えば、フリック操作等のように、領域104,106をスライドさせる操作が行われた場合、表示内容が切り換えられる。もちろん、別の操作によって表示内容が切り換えられてもよい。
【0208】
図20には、切り替え後の表示内容が示されている。
【0209】
切り替え前のグラフ2は、例えば、Rawデータに対して後述する設定画面にて設定された処理を施すことで生成されるグラフ(例えばリアルタイムグラフ)である。切り替え前の領域106には、そのグラフに関する設定値等が表示される。例えば、生体情報(例えば脳波)が取得されていることを示す指数、生体情報が測定される人が集中していることを示す指数、生体情報が測定される人がリラックスしていることを示す指数、及び、生体情報測定装置12に搭載されている6軸センサの値(例えば、X,Y,Z軸の軸方向の移動量を示す値、X,Y,Z軸の軸回りの回転量を示す値等)等が、領域106に表示される。領域106に表示される各値は、例えば、予め定められた時間毎(例えば1秒毎)に更新される。また、各値に応じた色を有する画像が表示されてもよい。
【0210】
切り替え後のグラフ2は、例えば、Rawデータに対してFFT(Fast Fourier Transform)処理を施すことで生成されたグラフ(以下、「FFTグラフ」と称する)である。切り替え後の領域106には、グラフ1、グラフ2及びFFTグラフに関する設定値が表示される。例えば、項目「Graph X」、項目「Graph Y」、項目「FFT Max X」、及び、項目「FFT Max Y」が、領域106に表示される。項目「Graph X」は、グラフ1及びFFTグラフに共通のX軸の目盛りの値を設定する項目である。項目「Graph Y」は、グラフ1,2のY軸の目盛りの値を別々に設定する項目である。項目「Graph1」は、グラフ1のY軸の目盛りの値を設定する項目であり、項目「Graph2」は、グラフ2のY軸の目盛りの値を設定する項目である。項目「FFT Max X」は、FFTグラフのX軸の最大値を設定する項目である。項目「FFT Max Y」は、FFTグラフのY軸の最大値を設定する項目である。
【0211】
図21には、Rawデータのグラフ1、及び、切り替え前のグラフ2の具体例が示されている。図22には、切り替え後のグラフ2(FFT処理後のグラフ)の具体例が示されている。
【0212】
図23には、設定画面の一例が示されている。ホーム画面100にて「Edit」ボタンが押されると、図23に示されている設定画面110が表示される。
【0213】
項目「Micro Volts」は、グラフ1,2のY軸の表示を「μV」に設定するための項目である。
【0214】
項目「Cut Off Filter」は、生体情報に適用されるフィルタ(例えば、ハイパスフィルタ(HPF)及びローパスフィルタ(LPS))の設定値を設定する項目である。ここで設定された設定値に従って、生体情報に対してフィルタ処理が適用される。例えば、グラフ1,2に対してフィルタ処理が適用される。フィルタ処理は、生体情報測定装置12によって実行されてもよいし、情報処理装置10によって実行されてもよいし、端末装置18によって実行されてもよい。フィルタ処理を実行することで、測定された生体情報から特定の周波数を有する情報を抽出することができる。例えば、脳波と他の筋電信号とを含む生体情報から、脳波のみを抽出したり、他の筋電信号(例えば、目の動きや顔の動きや顎の動き等に起因する信号)を抽出したりすることができる。抽出した信号に基づいて、機器16が操作されてもよい。例えば、情報処理装置10のプロセッサ26は、脳波と他の筋電信号とを区別して抽出し、脳波と他の筋電信号とに基づいて、同じ機器16を操作してもよい、異なる機器16を別々に操作してもよい。
【0215】
項目「Peak Filter」は、Rawデータのピーク値に対する処理に関する値を設定する項目である。例えば、Rawデータのピーク値が設定値以上のときに生体情報(例えば脳波)の測定が不可能であることを設定するための項目、及び、インパルス型ノイズを測定するための設定値を設定するための項目が、項目「Peak Filter」に含まれる。
【0216】
<実施例8>
以下、実施例8について説明する。実施例8では、情報処理装置10のプロセッサ26は、人の生体情報に基づいて、当該人と特定の関係を有する別の人の感情や精神状態や心理状態を推測する。プロセッサ26は、人の感情情報や精神情報や心理情報に基づいて、別の人の感情や精神状態や心理状態を推測してもよい。
【0217】
特定の関係は、例えば、親子関係や血縁関係等である。例えば、プロセッサ26は、親の生体情報や感情情報や精神情報や心理情報に基づいて、子の感情や精神状態や心理状態を推測してもよいし、子の生体情報や感情情報や精神状態や心理状態に基づいて、親の感情や精神状態や心理上状態を推測してもよいし、ある人の生体情報や感情情報や精神情報や心理情報に基づいて、当該人の兄弟姉妹の感情や精神状態や心理状態を推測してもよい。
【0218】
例えば、親の生体情報と子の生体情報がそれぞれ生体情報測定装置12によって測定され、情報処理装置10のプロセッサ26は、子の生体情報が親の生体情報に類似している場合(例えば、子の脳波が親の脳波に類似する波形である場合)、子の感情や精神状態や心理状態が、親の感情や精神状態や心理状態と同じであると推測する。例えば、プロセッサ26は、親の生体情報が「気分が良い」という感情を表している場合において、子の生体情報が親の生体情報に類似している場合、子も「気分が良い」という感情を有していると推測する。例えば、子が、感情や精神状態や心理状態をコントロールすることが困難な乳幼児や幼児等である場合、上記の推定が行われる。
【0219】
別の例として、親が、感情や精神状態や心理状態をコントロールすることが困難な人(例えば認知症等を患っている人)である場合、プロセッサ26は、子の生体情報や感情情報や精神情報や心理情報に基づいて、親の感情や精神状態や心理状態を推測してもよい。
【0220】
更に別の例として、プロセッサ26は、生活習慣が類似する人同士の感情や精神状態や心理状態を推測してもよい。例えば、長い間、同居している人同士では、生活習慣が似てくる場合があり、その場合、プロセッサ26は、ある人の生体情報や感情情報や精神情報や心理情報に基づいて、当該人と類似する生活習慣を有する他の人の感情や精神状態や心理状態を推測する。
【0221】
<実施例9>
以下、実施例9について説明する。実施例9では、情報処理装置10のプロセッサ26は、人である対象者が知り得ない特定の情報を当該対象者に知らせる。例えば、プロセッサ26は、当該対象者の端末装置18に当該特定の情報を送信する。
【0222】
対象者に知らされる特定の情報は、例えば、特定の場所に関する視覚情報、環境情報、及び、雰囲気に関する情報等である。例えば、当該特定の場所にいないと知り得ない情報が、対象者に知らされる情報である。その場所は、例えば、情報処理装置10の管理者や対象者等によって指定される。また、管理者や対象者等の指定によって、当該特定の場所にて発生した危険、又は、当該特定の場所にて発生し得る危険を示す情報が、対象者の端末装置18に送信されてもよい。
【0223】
視覚情報は、例えば、特定の場所に設置されている定点カメラによって撮影された画像や、特定の場所にいる人が装着しているカメラによって撮影された画像等である。視覚情報は、特定の場所に設置されているマイクや人が装着しているマイクによって測定された音情報を含んでもよい。環境情報は、特定の場所に設置されている各種のセンサによって測定された情報(例えば、気温、湿度、空気室、天気等)や、特定の場所にいる人が装着しているセンサによって測定された情報等である。雰囲気に関する情報は、例えば、特定の場所が人にとって快適又は不快な場所であることを示す情報や、特定の場所が人にとって集中できる又は気が散る場所であることを示す情報等である。例えば、特定の場所にいる人が、その特定の場所の雰囲気に関する情報を自身の端末装置18に入力すると、その入力された情報が、端末装置18から情報処理装置10に送信される。
【0224】
例えば、対象者が端末装置18を用いて、特定の場所を指定し、その特定の場所における特定の情報の取得を要求した場合、その要求を示す情報が、端末装置18から情報処理装置10に送信される。情報処理装置10のプロセッサ26は、その要求に応じて、その指定された特定の場所における特定の情報を端末装置18に送信する。端末装置18のプロセッサ34は、その特定の情報をディスプレイに表示させたり、音声としてスピーカから発生させたりする。
【0225】
また、情報処理装置10のプロセッサ26は、各場所の状況を観察し、対象者によって指定された特定の場所における状況が、予め定められた条件に該当する場合、当該特定の場所における特定の情報を、対象者の端末装置18に送信してもよい。場所の状況は、例えば、環境情報を解析することで得られる環境に関する状況(例えば、気温や湿度や天気等)、視覚情報から得られる状況(例えば、街や電車等の混雑状況等)、及び、視覚情報や環境情報等から得られる危険な状況等である。場所の状況は、視覚情報や環境情報等から推測や予測されてもよい。
【0226】
例えば、対象者によって指定された特定の場所の天気が、予め定められた天気に該当する場合、又は、予め定められた天気になると予測される場合、情報処理装置10のプロセッサ26は、当該特定の場所の天気に関する情報を、対象者の端末装置18に送信する。また、特定の場所の混雑状況が、予め定められた混雑状況になる、又は、予め定められた混雑状況になると予測される場合、情報処理装置10のプロセッサ26は、当該特定の場所の混雑状況に関する情報を、対象者の端末装置18に送信する。
【0227】
また、情報処理装置10のプロセッサ26は、対象者の目的(例えば危機の回避等)に基づいて、対象者の端末装置18に送信される特定の情報を選択してもよい。目的は、例えば対象者によって指定される。
【0228】
例えば、自動車が暴走している場合において、ある人が端末装置18を用いて、その暴走している自動車に関する情報を情報処理装置10に送信する指示を与えると、その自動車に関する情報(例えば、危険を示す情報を含む情報)が、端末装置18から情報処理装置10に送信される。その自動車に関する情報には、当該端末装置18の位置情報が含まれる。また、ある人が装着しているカメラによって、暴走している自動車が撮影された場合、自動車に関する情報には、その撮影された画像が含まれてもよい。情報処理装置10のプロセッサ26は、自動車に関する情報を受信すると、当該端末装置18の位置の周囲に設置されている定点カメラによって撮影された画像(例えば、より高い位置から撮影された画像)を当該定点カメラから取得し、その画像を対象者の端末装置18に送信する。対象者の端末装置18のディスプレイに、その画像が表示される。また、プロセッサ26は、危険を示す情報を、対象者の端末装置18に送信してもよい。対象者の端末装置18のディスプレイには、その危険を示す情報が表示される。また、複数の定点カメラが設置されている場合、プロセッサ26は、危険察知に最も有効な定点カメラによって撮影された画像を、対象者の端末装置18に送信してもよい。
【0229】
また、プロセッサ26は、対象者の属性(例えば年齢や性別や病歴等)に応じて、特定の情報に含まれる情報を選択したり、特定の情報を加工したりして、特定の情報を対象者の端末装置18に送信してもよい。例えば、年齢によって視覚機能に差が生じ得るため(例えば、白内障や緑内障等が原因で視覚機能に差が生じ得るため)、プロセッサ26は、対象者の年齢に応じて、特定の情報に含まれる画像の鮮明さ等を調整してもよい。また、性別や年齢によって危機意識に差が生じ得るため、プロセッサ26は、対象者の性別や年齢に応じて、特定の情報に含まれる情報を選択してもよい。例えば、プロセッサ26は、対象者の性別や年齢に応じて、特定の情報に画像のみを含めてもよいし、特定の情報に文字列(例えば、危機を示す文字列)を含めてもよいし、特定の情報に画像と文字列の両方を含めてもよい。
【0230】
<実施例10>
以下、実施例10について説明する。
【0231】
例えば、生体情報測定装置12によって植物の生体情報が測定され、その測定された生体情報に基づいて機器16が操作されてもよい。測定される生体情報は、例えば、植物の電位(例えば膜電位等を含む電位)や水分量等である。もちろん、これら以外の情報が生体情報として測定されてもよい。
【0232】
例えば、植物の生体情報が測定されている場合において、植物の付近にて音楽を流すことで、音楽を流していない場合と比べて、植物の成長が良くなった場合、情報処理装置10のプロセッサ26は、音楽を流しているときに測定された生体情報(例えば電位)が、植物から継続して測定されるように、音楽プレーヤー等の機器16から音楽が流れるように当該機器16を操作する。また、プロセッサ26は、植物に対する水や肥料の与え方を制御してもよい。例えば、プロセッサ26は、その生体情報が植物から継続して測定されるように、水や肥料を植物に与えてもよい。
【0233】
また、プロセッサ26は、植物から測定された生体情報に基づいて、当該植物の状態の変化を検知し、その変化に応じた情報(例えば画像や文字列等)を、端末装置18等の装置のディスプレイに表示させてもよい。プロセッサ26は、植物を擬人化して、その変化に応じた情報をディスプレイに表示させてもよい。
【0234】
プロセッサ26は、植物から測定された生体情報に基づいて、当該植物が病気を有しているか否かを判断し、その判断の結果を、端末装置18等の装置のディスプレイに表示させてもよい。
【0235】
また、生物の水分量は、時間に応じて変化し、その変化が生体電位に反映される。生体情報測定装置12によってその生体電位を測定され、情報処理装置10のプロセッサ26は、その測定された生体電位に基づいて、生物の行動や異常を検知してもよい。例えば、プロセッサ26は、異常が検知された場合、その異常を示す警告情報を端末装置18等の装置に送信してもよい。例えば、人の生体電位が測定され、その生体電位に基づいて当該人の異常が検知された場合、当該人の端末装置18に警告情報が送信され、当該端末装置18のディスプレイに警告情報が表示される。
【0236】
また、一般的に、朝は、水分が人の全体に平均的に分布し、日中は、人が活動していると徐々に体の下方に水分が増える。その水分量の変化が生体電位に反映される。情報処理装置10のプロセッサ26は、人の各部位の生体電位を測定し、その生体電位の変化に基づいて、時間を測定してもよい。例えば、その生体電位の変化を、時計やタイマーとして用いてもよい。
【0237】
また、情報処理装置10のプロセッサ26は、人以外の動物の生体情報(例えば脳波等)を測定し、その動物の状態(例えば病気)や、その動物がおかれている環境を推測してもよい。
【0238】
また、情報処理装置10のプロセッサ26は、生体情報測定装置12を装着している生物の種類を検知してもよい。
【0239】
例えば、人と人以外の動物とでは、頭蓋骨の大きさが異なる。生体情報測定装置12が、当該生体情報測定装置12を頭部に装着するためのバンドを有し、そのバンドが頭部に巻き付けられることで生体情報測定装置12が頭部に装着される場合、プロセッサ26は、センサ等によってそのバンドの長さを検知し、そのバンドの長さに基づいて、生体情報測定装置12が装着されている動物の種類を検知してもよい。具体例を挙げて説明すると、人と犬とでは頭蓋骨の大きさが異なるため、それに応じてバンドの長さも異なる。プロセッサ26は、そのバンドの長さを検知し、生体情報測定装置12が装着されている生物が人であるか犬であるかを検知する。
【0240】
別の例として、生体情報測定装置12が生物に耳に装着される装置である場合、プロセッサ26は、センサ等によって、生体情報測定装置12が装着されている耳の毛の長さを検知し、その毛の長さに基づいて、生体情報測定装置12が装着されている動物の種類を検知してもよい。
【0241】
更に別の例として、生物の種類によって体温が異なるため、プロセッサ26は、生体情報測定装置12を装着している生物の体温を測定し、その体温に基づいて、当該生物の種類を特定してもよい。
【0242】
更に別の例として、生物の種類によって身長や体重が異なり、それに応じて抵抗値も異なるため、プロセッサ26は、その抵抗値に基づいて、生体情報測定装置12を装着している生物の種類を特定してもよい。
【0243】
生物から測定された生体情報に、当該生物の種類(例えば、人、犬、植物等)が紐付けられてもよい。その紐付けは、生体情報測定装置12によって行われてもよいし、情報処理装置10によって行われてもよい。こうすることで、ある生体情報が、どのような生物から測定されたのかを特定することができる。上記のように、生体情報が測定される生物の種類が特定された場合、その特定された種類を示す情報が、生体情報に紐付けられてもよい。
【0244】
脳波等の生体情報を用いて動物同士で意思疎通が行われてもよい。例えば、人と人との間や、人と人以外の動物(例えば犬)との間で、生体情報を用いて意思疎通が行われてもよい。上記のように生体情報が測定される生物の種類が特定された場合、プロセッサ26は、その意思疎通における脳波の変換の方法等を変更してもよい。
【0245】
<実施例11>
以下、実施例11について説明する。実施例11では、生物に刺激が与えられ、情報処理装置10のプロセッサ26は、その刺激の内容を示す刺激情報と、当該生物から測定された生体情報とを紐付ける。紐付けられた刺激情報と生体情報は、例えば、情報処理装置10のメモリ24等に記憶される。複数の生体情報が紐付けられてもよい。例えば、脳波、脈拍、血圧、顔色、及び、体温等が、刺激情報に紐付けられてもよい。
【0246】
刺激は、例えば、静止画像や動画像等の画像や、環境や、味覚等である。例えば、喜怒哀楽を表す画像や、恐怖を感じる画像や環境、癒しを感じる画像や環境等が、刺激として与えられる。当該画像は、例えば、VR(Virtual Reality)等の仮想の画像である。もちろん、現実の物体を表す画像が用いられてもよい。刺激は、生体情報測定装置12に設けられている電極によって与えられる電気刺激であってもよい。
【0247】
例えば、人が画像を見ているときに、生体情報測定装置12によって当該人から生体情報(例えば脳波)が測定され、当該画像と当該生体情報とが紐付けられる。なお、測定される脳波は、左脳から発せられる脳波、右脳から発せられる脳波、又は、左右両方の脳波から発せられる脳波である。
【0248】
また、プロセッサ26は、刺激が与えられたときに人が発した言葉(つまり音声情報)を、刺激情報と生体情報とに紐付けてもよい。更に、プロセッサ26は、当該人の動作を示す情報を、刺激情報と生体情報とに紐付けてもよい。
【0249】
VR画像等の仮想の画像は、人の日常生活の中で撮影された背景を表す画像であってもよいし、VR画像と共に、周囲の音が再生されてもよい。
【0250】
また、VR画像として、生体情報が測定された人が今まで体験した事柄に応じた画像が用いられてもよい。事前に、当該人が今まで体験した事柄を調査してもよい(例えばアンケート)。
【0251】
プロセッサ26は、VR画像を見た人から測定された生体情報が大きく変化した場合、その変化した部分の生体情報を有効な生体情報として、刺激情報に紐付けてもよい。例えば、プロセッサ26は、生体情報の変化量が閾値以上となった場合、その部分の生体情報を有効な生体情報として刺激情報に紐付ける。
【0252】
刺激情報が人に与えられる順番が制御されてもよい。例えば、当該人が嫌いな視覚情報を当該人に与えた後、当該人が好きな聴覚情報や嗅覚情報や体感情報を当該人に与えてもよい。プロセッサ26は、そのときに測定された生体情報と、各刺激情報とを紐付けてもよい。
【0253】
プロセッサ26は、測定される生体情報の変化に応じて、人に与えられる刺激情報を変えてもよい。
【0254】
例えば、図40は、モンスター状の生物を含むVR画像を視聴している人物の脳波を示している。図40に示されるように、モンスター状の生物が現れる前の緊張状態と、モンスター状の生物が現れた時の驚きの心理状態との間で、脳波の変化が認められる。プロセッサ26は、このような変化を検知してそれに応じて刺激情報を変えてもよい。
【0255】
また、プロセッサ26は、VR画像の再生速度を変えてもよいし、VR画像の視点を変えてもよいし、VR画像の色合いを変えてもよいし、VR画像の画質や焦点を変えてもよい。
【0256】
紐付けられた刺激情報と生体情報は、デジタルマーケティング(例えば、映像制作、アトラクション、機器等の商品等)や、デジタルヘルスケア(例えば、日々の生活を記録してストレスやリフレッシュの度合いの割合から生活を評価するサービス等)に活用されてもよい。
【0257】
<実施例12>
生体情報測定装置12は、複数の人等によって共用されてもよい。例えば、人Aが生体情報測定装置12を用いた後、別の人である人Bが、当該人Aが使用していた当該生体情報測定装置12を用いてもよい。
【0258】
例えば、接触型の生体情報測定装置12(つまり、電極やセンサが人等の生物に接触して生体情報を測定する装置)は、当該生体情報測定装置12を装着している生物(例えば人)が変わった場合に、その旨を示す情報や洗浄を促す情報を出力してもよい。情報を出力することは、例えば、ディスプレイに当該情報を表示すること、スピーカから当該情報を音声として発すること、又は、その両方である。
【0259】
例えば、生体情報測定装置12にマイクが設けられている場合、生体情報測定装置12は、そのマイクから入力される人の声に基づいて、当該生体情報測定装置12を用いる人を認識することで、当該生体情報測定装置12を用いる人が変わったか否かを判断する。生体情報測定装置12は、当該生体情報測定装置12を用いる人が、端末装置18等に設けられているカメラによって撮影され、その撮影によって生成された画像に基づいて当該人を認識してもよい。
【0260】
別の例として、生体情報測定装置12を用いる人のアカウントが、情報処理装置10や生体情報測定装置12や端末装置18やサーバ等によって管理されており、そのアカウントが別のアカウントに切り替えられた場合、生体情報測定装置12は、当該生体情報測定装置12を用いる人が変わったと判断してもよい。
【0261】
生体情報測定装置12を用いる人が変わった旨を示す情報を出力することで、当該生体情報測定装置12を用いる人は、当該生体情報測定装置12が別の人によって用いられていたことを認識することができる。これにより、例えば、当該生体情報測定装置12を新たに使用する人は、当該生体情報測定装置12の洗浄が必要であることを認識することができる。洗浄を促す情報が出力される場合も同様である。
【0262】
また、生体情報測定装置12が洗浄されたことを検知するセンサ等が用いられてもよい。例えば、生体情報を測定する電極やセンサがアルコール洗浄されたことを検知するセンサ(例えばアルコールを検知するセンサ)が用いられ、電極やセンサがアルコール洗浄されていない状態で、生体情報測定装置12が使用されようとしている場合(例えば生体情報測定装置12の電源がオンにされた場合)、生体情報測定装置12は、生体情報測定装置12が洗浄されていないことを示す情報を出力する。また、生体情報測定装置12は、当該生体情報測定装置12の電源をオンにしなくてもよい。電極やセンサがアルコール洗浄されている状態で、生体情報測定装置12が使用されようとしている場合、生体情報測定装置12は、当該生体情報測定装置12が洗浄されていることを示す情報を出力してもよいし、そのような情報を出力しなくてもよい。
【0263】
<実施例13>
以下、図24を参照して、実施例13について説明する。図24には、画面38Aが示されている。画面38Aは、実施例3に係る画面と同じ画面である(図12参照)。
【0264】
実施例13では、感情や意思や精神状態や心理状態等を表す情報(例えば、バーを表す画像や数値等)が表示される。感情や意思や精神状態や心理状態は、プロセッサ26によって、ユーザの生体情報に基づいて推定される。例えば、ユーザの集中度やリラックスの程度やストレスの程度等を表すバーが表示されたり、それらを表す数値が表示されたりする。全ユーザについてのバーや数値が表示されてもよいし、管理者等によって指定されたユーザについてのバーや数値が表示されてもよい。
【0265】
一例として、朝、昼、夕方にホワイトパズルを完成させるメンタルタスクを行っている人物の脳波を図41に示す。ベータ波とガンマ波が存在する時間は夕方に向かって短くなり、集中による疲労の程度を特徴づけることが分かった。
【0266】
他の例として、頭部マッサージを受けている人物の脳波を図42に示す。図42を見ると、シータ波帯域の上昇が見られ、その後、意識がなくなりまどろんでいる状態に入るにつれてアルファ波帯域の上昇が見られ、リラクゼーション効果の度合いが見て取られる。
【0267】
また、他の例として、音楽を視聴したり、サプリメントを服用したりした人物の脳波を図43に示す。脳波の測定は、(a)通常の開眼時、(b)開眼して音楽のみを聴く場合、(c)開眼してサプリメントのみを服用する場合、(d)開眼して音楽を聴きかつサプリメントを服用する場合、のそれぞれについて眼を開いた状態で4分間行った。使用する楽曲の種類は963Hzであった。サプリメントは、CBDを5滴(25mg)服用してから3分後に行われた測定に基づく。また、各脳波範囲の周波数範囲について、高速フーリエ変換を毎秒行った。(b)、(c)、(d)では、アルファ波帯域のFFT強度が増加し、(d)で最大の増加が認められ、9.67Hz帯において通常時(a)と比べて43%増加した。
【0268】
別の例として、入眠時と入眠後睡眠のステージが進行した時との脳波の差が、図44に示されている。睡眠が始まると、シータ波が現れ始める。睡眠のステージが進むにつれて、紡錘波が現れ始める。これにより、脳波の種類により睡眠の深さを特徴づけることができ、入眠時からの経過時間を推定することができる。
【0269】
別の例として、排泄の欲求又はかゆみの感触などのユーザの生理学的事象を検出することができる。図45は、ユーザがかゆみを感じた場合の脳波の変化を示す図である。
【0270】
このような脳波の特性は、バーや値に変換してユーザに表示させるようにしてもよい。これにより、ユーザの心理状態を視覚化することができる。
【0271】
図24に示す例では、ユーザC1の精神状態等を表すバーや数値が表示されている。バー120は、ユーザC1のリラックスの程度を表す画像である。バー122は、ユーザC1のストレスの程度を表す画像である。リラックスの程度は「100」であり、ストレスの程度は「30」である。これらの数値は、ユーザC1の生体情報に基づいてプロセッサ26によって算出される。
【0272】
また、プロセッサ26は、ユーザの状態(例えば感情や意思や精神状態や心理状態等)に寄与した事象を特定し、その事象がユーザの状態に寄与した程度を算出してもよい。例えば、プロセッサ26は、ストレスやそのストレスからの回復に寄与した事象を特定し、その寄与の程度を示す情報を画面38Aに表示してもよい。こうすることで、どのような事象がどの程度ユーザの状態に影響を与えたのかがユーザにとって分かり易い。例えば、プロセッサ26は、各種のセンサ等によって事象の発生を検出し、ユーザの生体情報に基づいて、その事象が発生したときのユーザの状態の変化や、その事象の発生の前後のユーザの状態を推定する。プロセッサ26は、例えば、ユーザの状態の変化に基づいて、その事象がユーザの状態に寄与した程度を推定する。
【0273】
また、プロセッサ26は、事象の発生、事象の発生の前後のユーザの生体情報、ユーザの生体情報の変化、事象の発生の前後のユーザの状態、及び、ユーザの状態の変化等に関する履歴を示す履歴情報をメモリ24に記憶させてもよい。プロセッサ26は、その履歴情報が示す履歴に基づいて、過去の事象を再現してもよい。例えば、プロセッサ26は、ユーザがリラックスした時点の前後の事象を記録し、その時と同じ状況を再現してもよい。例えば、そのリラックスの目標値が指定され、プロセッサ26は、その目標値が得られる状況を再現する。プロセッサ26は、音楽の再生、画像等の表示、及び、人に対する動作指示等を組み合わせることで、その状況を再現してもよい。プロセッサ26は、ユーザの脳波の状態を取得し、脳波の状態を分類し、勤怠時間(例えば睡眠時間を除く時間)に紐付けて履歴を記録してもよい。なお、プロセッサ26は、リラックス等の状態を示す数値やバーを、仮想カメラによって会議の画像に挟み込むように表示してもよい。
【0274】
<実施例14>
以下、図25及び図26を参照して、実施例14について説明する。図25には、図17と同様に、ユーザA,B,Cのそれぞれを表す画像が示されている。また、各ユーザの状態を示す情報(例えば脳波等)が、各ユーザに紐付けて表示されている。ここでは一例として、ユーザA,B,Cが同じオンライン会議に参加しているものとする。
【0275】
例えば、プロセッサ26は、オンライン会議に参加している全ユーザ、又は、予め定められた人数以上の数のユーザが、同じ状態(例えば、同じ感情や意思や精神状態や心理状態)を有する場合、その同じ状態を有するユーザの画像の枠を、特定の色(例えば赤色等)で表示したり、特定の装飾を施したりしてもよい。ユーザの状態は、ユーザの生体情報に基づいて推定される。
【0276】
例えば、ユーザA,B,Cが同じ状態(例えば覚醒状態)を有する場合、図26に示すように、プロセッサ26は、ユーザA,B,Cの画像を囲む全体の枠を、特定の色で表示したり、特定の装飾(例えば太枠)を施したりする。こうすることで、ユーザA,B,Cが同じ状態を有していることを示すことができる。例えば、オンライン会議に参加している全ユーザの状態が覚醒状態にある場合、このような表示や装飾を施すことで、会議のモードが熱血モードであることが示される。
【0277】
実施例14のように、会議に参加している複数のユーザの状態をまとめて表現する情報が表示されてもよい。
【0278】
<実施例15>
以下、実施例15について説明する。
【0279】
生体情報測定装置12から他の装置(例えば情報処理装置10)に送信されるデータは、生体情報のRawデータではなく、FFT等の処理を適用することで生成されたデータであってもよい。こうすることで、Rawデータに含まれるがFFT等の処理後のデータには含まれない情報が漏洩することが抑制される。
【0280】
また、測定された生体情報の項目を示す情報(例えば、チャンネルや部位を示す情報)が、生体情報測定装置12にて暗号化されて生体情報測定装置12から他の装置(例えば情報処理装置10)に送信されてもよい。こうすることで、送信された生体情報が、どのような項目の生体情報であるのかが分かり難くなるので、生体情報のセキュリティが向上する。
【0281】
また、測定された生体情報や、生体情報から得られた情報を、ユーザに貸し出しする場合や販売する場合、プロセッサ26は、その生体情報の利用を制限してもよい。その制限の内容は、例えば、予め定められた期間が経過した場合にその情報を削除するという内容や、その情報を提供元に返却するという内容等である。また、その情報の利用が許可される場所や、その利用の目的等が定められてもよい。
【0282】
<実施例16>
以下、実施例16について説明する。
【0283】
実施例16では、音声を発するAIアシスタント(つまり人工知能アシスタント)が用いられる。例えば、AIアシスタントは、ユーザの生体情報やユーザの指示に従って、処理を実行したり、機器を操作したりする。AIアシスタントは、例えば、ユーザの端末装置に搭載されてもよいし、端末装置以外の機器に搭載されてもよいし、情報処理装置10やサーバ等に搭載されてもよい。
【0284】
例えば、プロセッサ26は、ユーザの生体情報に応じて、AIアシスタントから発せられる音声の大きさや、AIアシスタントが話す速さを変えてもよい。
【0285】
具体的には、ユーザの生体情報が、ユーザがリラックスしたいという要求を表している場合、プロセッサ26は、AIアシスタントから発せられる音声を、そのユーザが好きな音声(例えば、高音、低音、話す速さ等)に変更したり、そのユーザの家族の音声に変更したりする。
【0286】
また、ユーザの生体情報が、ユーザが急いでいることを表している場合、プロセッサ26は、AIアシスタントが話す速さを速くしたり、AIアシスタントに素早く音声を出力させたりする。
【0287】
また、AIアシスタントが発する音声によってユーザが学習する場合、プロセッサ26は、当該ユーザにとって学習効果の高い会話スピードや大きさで音声を発するようにAIアシスタントを制御してもよい。ユーザの学習効果はユーザの生体情報に基づいて推定される。例えば、プロセッサ26は、ユーザの生体情報に基づいて、AIアシスタントの会話スピードや大きさを変更する。
【0288】
また、ユーザがオンライン会議や電話会議等に参加している場合、プロセッサ26は、当該ユーザの相手の状態を当該相手の生体情報に基づいて推定し、その推定の結果に基づいて、その相手にユーザの発した音声が伝わりやすい態様で、ユーザが発した音声を変更してもよい。例えば、ユーザが怒っていて、相手が恐怖する音声をユーザが発している場合、プロセッサ26は、そのユーザの音声をマイルドな音声に変えたり、音声を相手に伝えずに、ユーザが発した内容を図形や文章等によって表現したりしてもよい。このような処理が、AIアシスタントによって実行されてもよい。
【0289】
また、オンライン会議等において、あるユーザ(例えば第1ユーザ)が生体情報測定装置12を装着しており、その相手の他のユーザ(例えば第2ユーザ)が生体情報測定装置12を装着していない場合がある。この場合、第1ユーザの生体情報が取得され、第2ユーザの生体情報は取得されない。このような場合であっても、第1ユーザは、画面を通じて第2ユーザの表情を認識することができる場合、第2ユーザの表情の変化や音声等によって、第1ユーザの生体情報が変化することがある。このように第1ユーザの生体情報に変化が発生した場合、プロセッサ26は、第2ユーザに起因して第1ユーザの生体情報に変化が発生したと判断する。プロセッサ26は、その判断に基づいて、第2ユーザの状態(例えば感情や精神状態や心理状態)を推定してもよい。例えば、第2ユーザの顔の表情が苦しそうな表情である場合、その顔を見た第1ユーザは、申し訳なさそうな感情を有することがあり得るため、プロセッサ26は、その第1ユーザの生体情報に基づいて、第2ユーザの状態を推測する。また、AIアシスタントは、そのような状態を有する第2ユーザに対してどのような接し方で接するべきであるのかを第1ユーザに伝えてもよい。
【0290】
また、アニメーションのキャラクターに音声を付ける場合や、ドラマや映画に吹き替えの音声を付ける場合、音声を決定する権限を有するユーザが、そのキャラクターや俳優に仮付けされた声優の音声を聞き、プロセッサ26は、そのユーザの生体情報に基づいて、正式な声優を決定してもよい。例えば、納得を表す生体情報がそのユーザから得られた場合、プロセッサ26は、その音声を発した声優を正式な声優として決定する。違和感や不快感を表す生体情報がそのユーザから得られた場合、プロセッサ26は、別の声優をユーザに案内してもよい。
【0291】
<実施例17>
以下、実施例17について説明する。
【0292】
本実施形態は、ゲーム等のコンテンツサービスに適用されてもよい。例えば、ゲームは、ユーザの端末装置を介してユーザに提供されてもよいし、その他の機器(例えばゲーム機器)を介してユーザに提供されてもよい。ゲームは、オンラインゲームであってもよいし、端末装置やゲーム機器にインストールされているプログラムが実行されることで提供されるゲームであってもよい。また、ゲームのプログラムが記憶された記録媒体が用いられ、端末装置やゲーム機器がそのプログラムを実行することでゲームが提供されてもよい。
【0293】
例えば、ユーザがゲームをしているときの当該ユーザの生体情報が生体情報測定装置12によって測定される。プロセッサ26は、その生体情報から得られるユーザの感情に応じて、ゲームの進行や、ゲームのシーンや、ゲームの音声や、画像の演出等を変更してもよい。
【0294】
例えば、怖いゲームや怖いことが苦手なユーザに対しては、予め定められたレベル以上の怖いという感情を表す生体情報が測定された場合、プロセッサ26は、暴力シーンを省略したり、ゲームの音声を小さくしたり、演出を簡素なものに変更したり、表現を易しい表現に変更したりする。
【0295】
一方で、より怖いシーンが好きなユーザに対しては、予め定められたレベル以上の怖いという感情を表す生体情報が測定されない場合、プロセッサ26は、より暴力的なシーンやより怖い演出が強調されたシーンが出現するように、ゲームの演出を変更してもよい。
【0296】
なお、ユーザの嗜好性は、ゲームを開始する前に設定される。また、プロセッサ26は、ユーザの持病や年齢的な負荷に応じて、生体情報と連動してゲームの演出を変更してもよい。また、プロセッサ26は、教育上の理由によって演出を変更してもよい。
【0297】
プロセッサ26は、予め定められた期間毎に、ユーザの生体情報に基づいてユーザの状態を判定してもよい。これにより、リアルタイムにシーンを変更して、ユーザが不快感や違和感を有さずにゲームを進行することができる。なお、ゲームのストーリの都合で変更できないシーンが設定されてもよい。
【0298】
また、ゲームが難しいという感情や簡単であるという感情が検出された場合、プロセッサ26は、その感情に応じてゲームの難易度を変更してもよい。例えば、プロセッサ26は、ユーザの敵となるAIの行動レベルを上げたり下げたり、敵のキャラクターの数を増やしたり減らしたりしてもよい。また、推理ゲームが実行されている場合、プロセッサ26は、答えに辿り着くヒントの数を増やしたり減らしたりしてもよい。また、プロセッサ26は、ユーザが操作するキャラクターの攻撃力や防御力等のような設定値を上げたり下げたりしてもよい。
【0299】
プロセッサ26は、生体情報に基づく難易度の変更をユーザに通知してもよい。こうすることで、ユーザは、例えば、どのような難易度の設定でゲームをクリアすることができたのかを把握することができる。この場合、ゲームのプレイ時間と、そのプレイ時間中のユーザの感情の変化と、ゲームの難易度等が、グラフ等の図形によって表示されてもよい。
【0300】
また、ユーザがゲームを行うことでユーザが得たい状態が得られた場合、その状態を示す情報が、履歴情報として情報処理装置10のメモリ24に記憶されてもよい。プロセッサ26は、ユーザの状態が、ユーザが得たいその状態になるように、ゲームのシーンや難易度を変更してもよい。例えば、ストレスを解消して気分がすっきり爽快になりたいという目標の状態が情報処理装置10に設定された場合、プロセッサ26は、ユーザの状態がその目標の状態になるように、ゲームのシーンや難易度を変更してもよい。例えば、プロセッサ26は、ゲームのシーンを、爽やかな青空と平原を表すシーンに変更してもよい。別の例として、プロセッサ26は、ユーザが操作するキャラクターによって敵のキャラクターを簡単に倒せるように、敵のキャラクターを弱いキャラクターに変更してもよい。
【0301】
<実施例18>
以下、実施例18について説明する。
【0302】
実施例18では、生体情報測定装置12はヒアラブルデバイスであり、ユーザの耳に装着される。ヒアラブルデバイスは、音声アシスタント機能を有してもよい。音声アシスタント機能は、例えば、ユーザの生体情報に基づいてユーザを支援する機能である。音声アシスタント機能は、AIによって実現されてもよい。
【0303】
以下、実施例18に係る処理について説明する。
【0304】
まず、生体情報測定装置12の一例であるヒアラブルデバイスが、ユーザの耳(例えば外耳道)から生体情報(例えば、心電波形、脳波、筋電波形、皮膚電位等)を測定し、更に、ユーザの音声を測定する。ヒアラブルデバイスは、生体情報と音声情報とを時系列順に紐付けて記憶する。これらの情報は、ヒアラブルデバイスに記憶されてもよいし、ユーザの端末装置に記憶されてもよいし、情報処理装置10に記憶されてもよい。ここでは一例として、これらの情報が情報処理装置10に記憶されるものとする。
【0305】
情報処理装置10のプロセッサ26は、ユーザの生体情報に大きな揺らぎが発生したか否かを判断する。例えば、生体情報が脳波である場合、大きな揺らぎとは、てんかん性異常波のことであり、生体情報が心電波形である場合、大きな揺らぎとは、不整脈等のように心筋の異常を示す波形のことである。
【0306】
プロセッサ26は、ユーザの生体情報に大きな揺らぎが発生したことを検知した場合、その大きな揺らぎが発生した時間、そのときにユーザがいる場所、及び、ユーザの状態を示す情報(以下、これらの情報を「コンテキスト情報」と称する)を記録する。プロセッサ26は、ノイズを除去して、その大きな揺らぎが、心身の刺激応答に起因するものであるか否かを判定してもよい。
【0307】
上記の大きな揺らぎ(つまり、心身の刺激応答の変化)が、危機的な状況である場合、プロセッサ26は、ヒアラブルデバイスの音声機能の制御を行う。危機的な状況とは、例えば、心疾患が発生している場合(例えば、生体情報である脈拍に基づいて不整脈が検知された場合)や、ユーザが転倒した場合(例えば、生体情報である筋電波形や加速度センサのデータに基づいて、ユーザの転倒が検知された場合)や、ユーザが嚥下した場合(例えば、生体情報である筋電波形に不規則な波形が含まれており、その不規則な波形に基づいて嚥下が発生している可能性があることが検知された場合)等である。
【0308】
また、プロセッサ26は、上記のコンテキスト情報、生体情報及び音声情報を、予め定められた場所(例えば病院等)に設置された装置(例えばPC等)に送信する。このとき、プロセッサ26は、大きな揺らぎが発生した時点を含む前後の時間(例えば予め定められた長さの時間)に測定された、コンテキスト情報、生体情報及び音声情報を、当該装置に送信する。
【0309】
また、プロセッサ26は、上記のコンテキスト情報、生体情報及び音声情報に基づいて、ヒアラブルデバイスから発せられる音声を制御してもよい。例えば、プロセッサ26は、ヒアラブルデバイスにて再生されるコンテンツの再生速度を制御する。具体的には、プロセッサ26は、学習動画や電子書籍の読み上げ速度を変更する。また、プロセッサ26は、コンテンツの再生を停止してもよい。また、プロセッサ26は、ユーザの好みに合ったコンテンツ(例えば科目や漫画や音楽等)を再生してもよい。また、プロセッサ26は、オートコール機能を実行してもよい。ここでのオートコール機能は、予め指定された緊急連絡先(例えば、家族や掛かりつけの医者等)に電話やメッセージを自動的に通知する機能である。複数人に同時に電話やメッセージが通知されてもよいし、徐々に外部の人に電話やメッセージが通知されてもよい。また、プロセッサ26は、ユーザの病状の深刻度に応じて連絡先を変更してもよい。もちろん、ユーザ本人に通知されてもよい。
【0310】
上記の音声アシスタント機能は、ヒアラブルデバイス毎やユーザのアカウント毎に切り替えられてもよい。また、生体情報に基づいて音声アシスタント機能を実行するか否かを設定する機能が設けられてもよい。生体情報に基づかずに、ヒアラブルデバイスの音声アシスタント機能が実行されてもよい。また、生体情報に基づく音声アシスタント機能が適用される場面が、病気の兆候を診断する場面に限定されてもよいし、コンテンツサービスのような読み上げ機能に限定されてもよい。このような限定を設定するための機能が設けられてもよい。
【0311】
プロセッサ26は、上記のコンテキスト情報、生体情報及び音声情報を、音声アシスタント機能を実現するAIに学習させてもよい。
【0312】
例えば、プロセッサ26は、ユーザがリラックスした状態で話しているときの音声情報を蓄積し、その音声情報をAIに学習させてもよい。例えば、音声合成や音声調整の技術を応用することで、AIは、生体反応に最適化されたボイスアシスタント音声を合成し、その音声を読み上げてもよい。
【0313】
別の例として、プロセッサ26は、ユーザがストレスを感じている状態で話しているときの音声情報を蓄積し、その音声情報をAIに学習させてもよい。例えば、音声合成や音声調整の技術を応用することで、AIは、ユーザが落ち着きを取り戻すための最適化されたボイスアシスタント音声を合成し、その音声を読み上げてもよい。
【0314】
更に別の例として、プロセッサ26は、ユーザが緊張しているときの音声情報を蓄積し、いつ、どこで、どのような状態で、ユーザが緊張したのかを、AIに学習させてもよい。例えば、音声合成や音声調整の技術を応用することで、AIは、ユーザが落ち着きを取り戻すための最適化されたボイスアシスタント音声を合成し、その音声を読み上げてもよい。
【0315】
更に別の例として、プロセッサ26は、ユーザの音声をテキスト化し、そのテキスト化されたデータを、ユーザの喜怒哀楽を示す情報等と共に、時系列順に蓄積し、これらをAIに学習させてもよい。メモリに記憶させてもよい。なお、喜怒哀楽は、ユーザによって選択されてもよい。また、プロセッサ26は、ユーザの音声に応じて、テキスト化された文字の大小や色等を変更してもよい。音声合成や音声調整の技術を応用することで、AIは、ユーザが落ち着きを取り戻すための最適化されたボイスアシスタント音声を合成し、その音声を読み上げてもよい。
【0316】
例えば、プロセッサ26は、ユーザの端末装置(例えばスマートフォンやPC等)から得られるユーザの音声情報や、ユーザによって入力されたアイコンや文字や絵等情報と、ユーザから測定された生体情報とを紐付けて記録する。プロセッサ26は、ユーザの生体情報を、喜怒哀楽、ストレス、集中、リラックス、負荷、理解、習熟又は興味等の感情指標データに変換する。
【0317】
例えば、精神活動状態を示すパラメータとして、皮膚電気活動(Electro Dermal Activity)が用いられてもよい。また、皮膚電位活動(SPA)の直流成分である皮膚電位水準(SPL)が用いられてもよい。SPLは、一般的に、覚醒水準が高いとき(つまり興奮しているとき)は陰性に高い値を示し、眠気を催しているときやリラックスしているときには陽性に高い値を示す。皮膚電位活動(SPA)の交流成分である皮膚電位反射(SPR)が用いられてもよい。痛覚、触覚、聴覚及び視覚に対する外部環境変化による刺激や、深呼吸や、身体の動きや、考え事等によってSPRが頻発する。
【0318】
プロセッサ26は、カメラやキーボード等のインターフェースから取得される、ユーザの状態を示す情報と共に、感情指標データが表す状態(例えば、喜怒哀楽、ストレス、集中、リラックス、負荷、理解、習熟、興味等)の程度と、その状態の種類を可視化して表示する。例えば、プロセッサ26は、その状態の程度や種類に応じて、表示色を変えたり、文字のフォントの種類や、文字の大きさを変更したりする。例えば、プロセッサ26は、既存のソフトウェアによって実現される読み上げ機能において、発話スタイル(例えば、喜び、怒り、悲しみ、恐れ、優しさ等)や、声の調子(例えば、強調、話す速さ、声の高さ、抑揚、音量等)を、刺激応答(例えば、リラックス、ストレス、緊張等)に応じて、変更してもよい。プロセッサ26は、ユーザの感情の程度に応じて、読み上げ機能の音声の大きさや速さを変更してもよい。
【0319】
上記の各例は、例えば、電子書籍や、映画コンテンツ(例えばインターネット経由で配信されるコンテンツを含む)や、電子学習教材や、オンライン会議のツール等に適用されてもよい。
【0320】
更に別の例として、文章や資料を作成するときに、ユーザの生体情報に応じて、文字や図の大きさや色を変える機能が実行される場合に、その機能が常に実行されると、文章や資料の統一性が無くなる可能性がある。したがって、プロセッサ26は、文章や資料中の特定の領域においては、生体情報に応じて文字や図の大きさや色を変更しなくてもよい。換言すると、プロセッサ26は、変更が許可された領域内の文字や図形の大きさや色を、ユーザの生体情報に応じて変更してもよい。
【0321】
また、読み上げ機能が実行されることで、文章や資料に記載された文字が読み上げられる場合に、プロセッサ26は、ユーザの生体情報に応じて、その読み上げ時の音声の大きさや速さを変更してもよい。また、読み上げ速度が、速すぎず遅すぎない範囲に制限されてもよい。
【0322】
なお、生体情報に基づいて感情や精神状態や心理状態を判定する処理に要する時間や、感情や精神状態や心理状態を測定するために要する時間は、感情や精神状態や心理状態の種類によって、ばらつくことがある。例えば、集中度やリラックス度の測定間隔は1秒であり、興味度、理解度、習熟度、活動負荷、感情の強さ及び創造性の測定間隔は1~5秒であり、快及び不快の測定間隔は5秒又は10秒である。もちろん、これらの時間は一例に過ぎず、生体情報測定装置12の性能等によって変わることはある。
【0323】
上記のように時間にばらつきがある場合、プロセッサ26は、特定のモードにおいては、予め定められた全ての感情や精神状態や心理状態を判定せずに、予め定められた一部の感情や精神状態や心理状態を判定してもよいし、その判定を行う時間や場面を限定してもよい。例えば、ユーザが学習している場合、プロセッサ26は、ユーザの生体情報に基づいて学習効果のみを判定し、その学習効果以外の感情等を判定しなくてもよい。但し、ユーザの状態が特定の状態である場合(例えば、ユーザが基礎疾患等のような病気を患っている場合)、プロセッサ26は、予め定められた全ての感情や精神状態や心理状態を、常時判定してもよい。
【0324】
なお、ユーザがヒアラブルデバイスの装着を止めたが、他の生体情報測定装置12を装着している場合、プロセッサ26は、当該他の生体情報測定装置12によって測定された生体情報に基づいて、感情や精神状態や心理状態を判定してもよい。例えば、ユーザが、ヒアラブルデバイスとスマートウォッチとを装着しており、ヒアラブルデバイスの装着を止めた場合、スマートウォッチによって測定された生体情報に基づいて、感情や精神状態や心理状態を判定してもよい。
【0325】
<実施例19>
以下、実施例19について説明する。上述した各実施例において、特定の周波数帯域の生体情報(例えば特定の周波数帯域の脳波)が測定され、その特定の周波数帯域以外の他の周波数帯域の生体情報が測定されない場合、プロセッサ26は、当該他の周波数帯域の生体情報を推定してもよい。例えば、プロセッサ26は、測定された生体情報と同じ種類の生体情報であるが、測定された周波数帯域とは異なる周波数帯域の生体情報を推定する。
【0326】
例えば、脳波の一例であるα波の周波数帯域の電位のみが測定され、α波以外の周波数帯域の電位が測定されない場合、プロセッサ26は、その測定時における各種のセンサ(例えば、ジャイロセンサや加速度センサ等)によって測定された情報、環境情報(例えば、温度や湿度や天候や位置等を示す情報)、ユーザの現在の行動に関する情報(例えば、運動中やデスクワーク中や睡眠中等を示す情報)、ユーザの現在の病気に関する情報、及び、測定されたα波の測定の履歴に関する情報(例えば、α波の波形の形状や周期や振幅の大きさ等を示す情報)の中の1又は複数の情報に基づいて、実際に測定されていない周波数帯域の脳波(例えば、β波等のα波以外の脳波)や明確に検出されていない周波数帯域の脳波を推定する。例えば、プロセッサ26は、上記の各種の情報の相関関係に基づいて、測定されていない周波数帯域の脳波を推定する。プロセッサ26は、その推定した周波数帯域の脳波を端末装置等に出力してもよい。例えば、推定された周波数帯域の脳波が端末装置のディスプレイに表示される。このとき、測定された周波数帯域の脳波(例えばα波)と、推定された周波数帯域の脳波(例えばβ波)が、同じスケールを有するグラフ(例えば、横軸が時間を示し、縦軸が電位を示すグラフ)として表示されてもよい。プロセッサ26は、その推定した周波数帯域の脳波を、その周波数帯域の脳波の候補として出力してもよい。α波が測定されずβ波のみが測定され場合も同様にして、α波が推定されてもよい。
【0327】
プロセッサ26は、複数の周波数帯域の生体情報が測定されている場合、当該複数の周波数帯域の生体情報に基づいて、測定されていない周波数帯域の生体情報を推定してもよい。例えば、α波とβ波とが測定され、これら以外の脳波が測定されていない場合、プロセッサ26は、実際に測定されたα波とβ波とに基づいて、これら以外の周波数帯域の脳波を推定してもよい。
【0328】
なお、複数の候補が推定された場合、プロセッサ26は、当該複数の候補を、端末装置のディスプレイに表示させたり、複数の候補が推定されたことを表す音声を出力したりしてもよい。また、プロセッサ26は、当該複数の候補のそれぞれの発生の確率や可能性の大小に応じて、当該複数の候補の表示の順番を変えたり、その大小に応じたスコアを表示したりしてもよい。
【0329】
例えば、ヒアラブルデバイスによって脳波を測定する場合、頭部において耳から比較的に遠い場所から発生する生体電位を検出し難いことがあり得る。このような場合に、測定された周波数帯域の脳波やその他の情報(例えば環境情報やユーザに関する情報)に基づいて、測定されていない周波数帯域の脳波を推定することが考えられる。
【0330】
測定されていない周波数帯域の生体情報を推定する機能のオン又はオフは、ユーザによって設定されてもよい。例えば、ユーザが端末装置等を用いて当該機能をオンにした場合、当該機能が実行される。ユーザが端末装置等を用いて当該機能をオフにした場合、当該機能は実行されない。測定されていない生体情報(例えば、測定されていない周波数帯域の脳波)は、ユーザの脳から実際に発生していない場合があるため、そのような場合に、当該機能をオフにすることが考えられる。
【0331】
<実施例20>
以下、実施例20について説明する。
【0332】
BMIとして、人と人とのコミュニケーション伝達に脳波等の使用する場合には、伝えたい情報を特定し、伝えたい情報を伝達する手段を設ける。
【0333】
例えば、伝達対象の抽出や伝えたい情報内容を特定し、情報発信側が受信側に伝達する。伝達対象は1つの発信側に対して1つの受信側でもよいし、1つの発信側に対して複数の受信側(例えば多数の受信側)でもよい。伝えたい情報内容は人の考えや意思に関する情報や状態情報であり、例えば、賛同、同意、反対、拒絶、迷い、混乱等である。人に情報が提供されたとき、その情報に対して賛同なのか考えを情報発信側が受信側に伝える。伝え方は、人の五感に刺激を与える方法として、例えば、音声による情報伝達、発光による情報伝達、振動による刺激伝達等がある。より具体的な事例を示すと、例えばヒアラブルデバイスであれば、脳波等の生体情報の測定(伝えたい情報内容の測定)と音声による情報伝達とが耳という部位を活用することで同時に実現できるため、様々なデバイスを準備することなくBMIが実現できる点で優れる。ここで音声とは、言語情報以外にも予め何を意味するのかを相互に定めておけば例えば音楽やチャイム等でもよい。賛同の意を二回のチャイム音で知らせたり、音域を変えたりすることで、意思の度合いや程度を伝える手段もある。低音のチャイム音であれば賛同の程度が低いが、高音のチャイム音では賛同の程度が高いといった伝え方が多様化する。人と人とのコミュニケーションはこのようなBMIの登場により、従来の音声やGUI(グラフィカル・ユーザー・インターフェース)を通じた言語を中心とした伝達以外にも、脳波等の生体情報を活用した多様な伝達の方法を獲得することが可能になる。
【0334】
以下、図27及び図28を参照して、実施例20に係る処理の具体例について説明する。図27及び図28には、その具体例の流れを示すフローチャートが示されている。図27には、機器を操作するときの処理の流れが示されている。図28には、人と人とがコミュニケーションをとるときの処理の流れが示されている。
【0335】
図27に示すように、まず、操作モード(OPモード)が選択され(S01)、ユーザの操作意思情報が抽出及び検出される(S02)。これにより、操作対象の機器と操作内容とが抽出され、それらが紐付けられる。また、操作意思の確度の判断方法がユーザに提示される。操作意思の確度が高い場合(S03,確度高い)、即時、機器に対する操作が実行される(S04)。その後、操作の正しさが検証される(S05)。例えば、その検証はユーザによって行われる。その操作が正しい場合(S06,Yes)、次回も同様に機器が操作される(S07)。例えば、その操作内容が当該機器に設定されて、次回も同様の操作が行われる。その操作が正しくない場合(S06,No)、処理はステップS11に移行する。また、操作意思の確度が低い場合(S03,確度低い)、別の手法を用いて操作意思が確認される(S08)。なお、操作意思の確度が高い場合も、別の手法を用いて操作意思が確認されてもよい。例えば、別の手法を示す情報が、ディスプレイに表示されたり、ヒアラブルデバイスのイヤフォンから音声として出力されたりする。これにより、別の手法がユーザに提示される。確認された操作意思が正しい場合(S09,Yes)、つまり、確認された操作意思が、ユーザが考えていた操作意思と合致する場合、機器に対する操作が実行される(S10)。確認された操作意思が正しくない場合(S09,No)、処理はステップS11に移行する。ステップS11では、操作意思が正しくなかった理由が分析される。例えば、ユーザによってその分析が行われる。その分析結果に基づいて、次回の決定方法(つまり操作の決定方法)が選択される(S12)。また、操作意思の判断基準が変更され(S13)、変更後の内容が、ステップS03以降の処理に反映される。例えば、管理テーブルに登録されている閾値が変更され、その変更後の閾値に基づいて、操作意思の確認や確度の判断等が行われる。なお、上記の各処理は、ユーザによって選択されてもよい。
【0336】
また、人と人とがコミュニケーションをとる場合、図28に示すように、コミュニケーションモード(以下、「CMモード」と称する)が選択される(S20)。例えば、自動選択モード又はマニュアル選択モードのいずれかがユーザによって設定され、その設定に従ってCMモードが選択される。次に、コミュニケーションの対象者(以下、「CM対象者」と称する)が選択される(S21)。例えば、CM対象者が自動的に選択されるモードでは、会議の参加者等がCM対象者として選択される。CM対象者がユーザのマニュアル操作によって選択されるモードでは、例えばヒアラブルデバイスの音声やディスプレイの表示等によって、CM対象者の候補がユーザに提示され、ユーザがCM対象者を選択する。次に、CM対象者に伝えてもよい情報がユーザによって選択される(S22)。例えば、意思情報群や状態情報群等の中から、CM対象者に伝えてもよい情報が選択される。また、CM対象者に対して伝えたくない情報が選択されてもよい。例えば、感情を示す情報が、CM対象者に伝えたくない情報として選択される。次に、生体情報が測定や観察され、その生体情報に基づいて、意思情報や状態情報等が抽出される(S23)。次に、その抽出された意思情報や状態情報等から、CM対象者に伝えられる情報が検出される(S24)。例えば、予め検出テストが実行され、そのテストによって検出された情報と類似する意思情報や状態情報等(例えば、類似度が閾値以上となる意思情報や状態情報等)が、抽出された意思情報や状態情報等から検出される。なお、その検出方法がユーザに提示されてもよい。そして、その検出された意思情報や状態情報等が、CM対象者に伝えられる。例えば、その伝達方法がユーザに提示され、ユーザが伝達方法を選択してもよい。伝達方法は、例えば、振動による伝達(例えば音声による伝達)、光による伝達等である。言語や音楽や発光信号等によって、情報がCM対象者に伝えられてもよい。情報がCM対象者に伝えられた場合、その伝達が完了した旨が、発信者であるユーザに通知されてもよい。その通知は省略されてもよい。また、ステップS24の処理が実行された後、図27に示されているステップS03以降の処理が実行されてもよい。
【0337】
また、ヒアラブルデバイスを用いて実施例20に係る処理が実行されてもよい。ヒアラブルデバイスが人の耳に装着された状態で生体情報が測定されるため、生体情報を測定することができる状態で、音声によって各情報をユーザに伝えることができる。また、ヒアラブルデバイスは耳に装着されるため、脳波等を測定するために頭部に装着される脳波計等と比べると、その見た目が自然であるという利点がある。また、ヒアラブルデバイスを用いたBCIにて、上記の操作モード及びCMモードの確度を高めることができる。
【0338】
なお、上記の各実施例において、情報処理装置10のプロセッサ26によって実行される処理の全部又は一部は、端末装置18のプロセッサ34によって実行されてもよいし、生体情報測定装置12によって実行されてもよい。また、その処理が、情報処理装置10、端末装置18及び生体情報測定装置12の中から選択された1又は複数の装置によって実行されてもよい。
【0339】
<実施例21>
何らかのタスクを遂行している時や問題を解いている時の人の心理状態(例えば、意思決定等)は、脳波に反映されることが知られている。例えば、人があるタスクの遂行をあきらめるとシータ波が大きくなり、ある問題を解決できた場合、アルファ波が大きくなることが知られている(http://qlifepro.com/news/20211124/eeg-rhythm.html)。
【0340】
実施例21では、生体情報測定装置12がユーザの脳波を測定し、情報処理装置10が、測定された脳波に基づいてユーザが置かれている状況を判定し、ユーザにとって必要な介入手段(インターベンション)の種類を判定する。また、その判定に応じて、介入装置(例えば、端末装置18)が、ユーザに対する直接的な刺激(例えば、電気的な刺激や音楽の再生など)を与えることで、ユーザの脳波状態に影響を与えてユーザの心理状態に影響を与えるような介入を行ったり、ユーザの状態を第三者(例えば、教師、親、ユーザの上司など)に報告し、ユーザに適切な介助/介入手段を提供したりすることができる。
【0341】
より一般的には、生体情報測定装置12は、少なくとも1人のユーザの生体情報を取得する。そして、情報処理装置10は、少なくとも1人のユーザの脳波を少なくとも含む生体情報と、生体情報が測定された各時点におけるコンテキストを示すコンテキスト情報の少なくとも1つの時系列を含む履歴情報と、に基づいて、少なくとも1人のユーザの状態を判定する。そして、少なくとも1人のユーザの状態を当該少なくとも1人のユーザに出力してもよい。
【0342】
履歴情報は、ユーザの行動履歴を示す時系列、又は生体情報が測定された各時点におけるコンテキストを示すコンテキスト情報の時系列を少なくとも1つ含んでもよい。例えば、コンテキスト情報は、誰が測定を行ったか、いつ測定を行ったか、どこで測定を行ったか、何が測定されたか、測定理由、測定方法、測定前に行ったユーザの行為、測定前にユーザが他のユーザと行った行為、ユーザが測定を行った環境の位置、場所、建物、部屋、または温度などの環境情報、ユーザが参加しているシーンまたはイベント、又は、測定が行われたコンテキストを示すその他の様々な情報を含んでよい。さらに、履歴情報は、それが含むコンテンツの種類に関して(例えば、特定のイベントまたは特定のシーンに応じて検索可能とするなど)、および/または異なる時間範囲に関して、(ユーザによって、または人工知能Iなどの他の自動プロセスによって)検索可能とすることができる。履歴情報は、カメラ、マイク、又はインターネットに記録された情報から取得してもよい。
【0343】
履歴情報は、一連の生体情報若しくはコンテキスト情報を収集する時間間隔が異なる複数の異なる時系列、又は生体情報若しくはコンテキスト情報を収集する時点の数が異なることに応じて分類してもよく、時系列ごとに生体情報及び履歴情報を分析することに基づいて、少なくとも1人のユーザの状態に関する少なくとも1つの判定を出力するようにしてもよい。例えば、第1の時間間隔(例えば、短い時間間隔)ずつ離れた複数の時点を有する第1の時系列と、第2の時間間隔(例えば、短い時間間隔と比して時間間隔が長い時間間隔)ずつ離れた複数の時点を有する第2の時系列で収集された生体情報及び履歴情報との組み合わせに基づいて、少なくとも1人のユーザの状態を判定することができる。
【0344】
さらに、少なくとも1人のユーザの判定された状態に対する信頼度が、異なる時系列に対して判定された状態の類似性または同一性に基づいて評価されてもよい。例えば、短い時間間隔と長い時間間隔の結果が異なる場合と比較して、短い時間間隔と長い時間間隔の結果が同じである場合、より高い信頼度が割り当てられる。判定された状態は、ユーザに出力されてもよいし、判定された信頼度に基づいて無視されてもよい。
【0345】
また、各時系列は、ユーザが現在置かれたコンテキストに応じてユーザによって重みを割り当てられてもよく、判定された状態が当該重みに基づいて判定された優先順位の順序でユーザに出力されてもよく、判定された状態の部分集合が当該重みに応じてユーザに出力されてもよい。
【0346】
言い換えると、どの時系列に基づくどの結果を出力するのかをコンテキスト情報に基づいて決めることにより、コンテキストによって定まる、所定の状況に対するユーザの期待に最も合致するような結果を出力するようにしてもよい。なお、ユーザの期待値と最も合致する判定は、ユーザによって様々なコンテキストに対して設定されてもよいし、過去の判定に基づいて人工知能(機械学習など)を用いて学習されてもよい。
【0347】
例えば、短い時間間隔に基づいて判定された状態は異常を示し、長い時間間隔に基づいて判定された状態は正常を示してもよい。また、判定された状態が誤っている場合や外れ値の情報である場合など(例えば、装置の接触不良や、外部から短時間で一時的なストレスがユーザに加わった場合)、短時間に生じる異常を無視できることをコンテキストが示している場合は、その結果をユーザに出力しないとものと決定してもよい。言い換えると、このような場合には、短い時間間隔と長い時間間隔の判定結果が同一である場合にのみ、結果をユーザに出力するようにしてもよい。一方、例えば、ユーザが病気であり、ユーザの状態の任意の短時間の変化を報告する必要がある場合など、短時間の異常が重要であり得ることをコンテキストが示している場合もある。この場合、短い時間間隔での結果の重みを大きくし、優先的に出力するようにしてもよい。
【0348】
また、時間間隔の長さや時点の数は、ユーザが測定を行う際のコンテキスト(シーンやイベント)に応じて変更又は設定可能である。コンテキストと、時間間隔の長さや時点数との対応関係は、ユーザによって設定されてもよいし、過去のデータに基づいて人工知能(機械学習など)によって学習されてもよい。
【0349】
なお、上記では、2つの時間間隔(相対的に短い場合と長い場合)を有する2つの時系列についていくつかの例を示したが、本実施形態はこれに限定されず、任意の数の時系列に適用可能である。
【0350】
あるいは、提案される介入手段は、少なくとも1人のユーザの状態および/または履歴情報に基づいて判定されてもよく、提案される介入手段は、当該少なくとも1人のユーザに対して出力されてもよい。
【0351】
また、生体情報測定装置12は、音声入出力装置を含むヒアラブルデバイス(以下で説明する)の形態であってもよく、情報処理装置10は、音声入出力装置を介して、提案された介入手段を少なくとも1人のユーザに出力し、提案された介入手段に対する少なくとも1人のユーザの応答を取得し、その応答をメモリに記憶させてもよい。
【0352】
提案された介入手段及び少なくとも1人のユーザの応答は、履歴情報の一部として記憶してもよい。このようにして、提案された介入手段の判定は、ユーザが類似または同一の状態若しくはコンテキストに置かれていた時の過去の介入手段、応答、およびそれらのコンテキスト、ならびにユーザが現在置かれたコンテキストに基づいて行ってもよい。また、コンテキストと提案された介入手段との対応関係は、ユーザによって設定されてもよいし、過去のデータに基づいて人工知能(機械学習など)によって学習されてもよい。
【0353】
また、情報処理装置10は、提案した介入手段を実行する前に少なくとも1人のユーザから応答を取得する第1のモードと、提案した介入手段を人工知能によって自動的に実行する第2のモードのいずれかを選択してもよい。
【0354】
あるいは、介入装置(例えば、端末装置18)によって、光(光色、光強度、光パルスによる)、画像、映像、音、音声、音楽、振動、温度変化(熱い、冷たい)、衝撃(物との衝突、物を投げる)、刺激(つまむ、引く)、匂い、香りの少なくとも一つを介した伝達手段によって介入手段を実行してもよい。例えば、https://www.youtube.com/watch?v=Vr8hSeAjY2Iには、光によって介入手段が実行される例が示されている。
【0355】
他の介入手段の形態またはモードとしては、空気温度の調整(例えば、エアコンの温度設定)、人工知能との対話(例えば、慰める、励ます、助ける、アドバイスをする)、またはロボットによる慰めの表現またはジェスチャー(例えば、ペットロボットから出る音またはペットロボットの慰めとなる行動/動作)などとしてもよい。
【0356】
また、少なくとも1人のユーザの状態を少なくとも1人の他のユーザに出力してもよい。
【0357】
少なくとも1人の他のユーザに出力する場合、少なくとも1人のユーザ又は少なくとも1人の他のユーザの生体情報と履歴情報とに基づいて、少なくとも1人のユーザの状態の判定を、少なくとも1人の他のユーザの情報処理装置10が行ってもよい。同様に、提案される介入手段は、少なくとも1人のユーザと少なくとも1人の他のユーザによって共有される介入装置によって実行されてもよい。また、少なくとも1人のユーザの生体情報を少なくとも1人の他のユーザに送信し、少なくとも1人の他のユーザの情報処理装置10が、使用する介入手段(又は介入装置)を判定してもよい。
【0358】
少なくとも1人のユーザと少なくとも1人の他のユーザが同じ場所にいる場合、介入手段を実行するために同じ介入装置を選択することができる。より詳細には、少なくとも1人のユーザと少なくとも1人の他のユーザの位置情報に基づいて、少なくとも1人のユーザの状態を共有する空間の範囲、または使用する介入装置を決定することができる。
【0359】
なお、このような少なくとも1人のユーザの状態の共有は、少なくとも1人のユーザと少なくとも1人の他のユーザとの関係の種類(例えば、患者と医師との関係、協力関係にある労働者同士の関係など)によって決定してもよい。
【0360】
少なくとも1人のユーザの状態の判定または介入手段の判定は、少なくとも1人のユーザおよび少なくとも1人の他のユーザについて行われた過去の判定に基づいてもよく、これは、1人のユーザの情報に依存することによってのみ行われる判定結果に多様性を与える。また、少なくとも1人の他のユーザの生体情報が、少なくとも1人のユーザの生体情報と類似又は同一であることが分かり、その場合、少なくとも1人の他のユーザを、同一の介入を行うことができる候補として追加してもよい。また、介入手段自体の判断や、どの介入装置を使用するかの選択において、過去の介入手段(又は介入装置)の有効性を履歴情報に記録し、最も効果の高い(優先度の高い)介入手段(又は介入装置)を選択できるように優先度を付与してもよい。過去のデータから、どのような介入手段(又は介入装置)が有効であるかを知ることは、人口知能(機械学習など)によって行ってもよい。また、新たな介入手段の候補(若しくは介入装置の候補)が存在する場合、又は、介入手段の候補(若しくは介入装置の候補)が複数存在する場合、ユーザがその中から選択するようにしてもよい。あるいは、少なくとも1人の他のユーザは、少なくとも1人のユーザに対する過去の有効性に基づいて、介入手段の候補(又は介入装置の候補)を選択してもよい。あるいは、少なくとも1人のユーザは、介入手段(又は介入装置)を選択しないことを決定し、少なくとも1人のユーザに代わって介入手段(又は介入装置)を選択する許可を与えられた少なくとも1人の他のユーザがその選択を行うことを許可してもよい。これは、自分よりも他の者による介入手段の選択の方が効果的である場合があるためである。
【0361】
<実施例22>
また、情報処理装置10は、少なくとも一人のユーザのコミュニケーションを支援するために用いられてもよい。
【0362】
実施例22では、生体情報測定装置10は、少なくとも1人のユーザの生体情報を取得する。情報処理装置10は、少なくとも1人のユーザの生体情報に基づいて、当該少なくとも1人のユーザの状態を判定する。そして、情報処理装置10は、少なくとも1人のユーザの状態に基づいて、当該少なくとも1人のユーザによる情報のコミュニケーションを支援する。
【0363】
また、情報処理装置10は、一方のユーザから他方のユーザへの情報のコミュニケーションを支援する場合、一方のユーザから承諾を得てから他方のユーザに情報を送信してもよい。
【0364】
また、一方のユーザが、他方のユーザに送信すべき情報を拒否した場合に、当該一方のユーザに対応付けられたメモリに当該情報を記憶させてもよい。
【0365】
あるいは、一方のユーザが、他方のユーザに送信すべき情報を拒否した場合、少なくとも1つの代替アクションを含む選択肢を一方のユーザに提案することができる。代替アクションとしては、所定の期間が経過した後に当該情報を他のユーザに再送信すること、当該情報を異なるユーザに送信すること、または当該情報の送信を放棄することのうちの少なくとも1つを含むことができる。
【0366】
また、情報処理装置10は、一方のユーザが他方のユーザへの情報の送信を承諾した場合、一方のユーザの状態と対応付けて当該情報を学習データとしてメモリに記憶させ、一方のユーザの状態に基づく情報の次回の判定に利用してもよい。
【0367】
また、一方のユーザが他方のユーザへの情報の送信を承諾した場合、情報処理装置10は、他方のユーザへの送信が成功したか否かを示すデータを記憶してもよい。
【0368】
また、情報処理装置10は、少なくとも1人のユーザから測定された生体電位の周波数スペクトルに基づいて、当該少なくとも1人のユーザの状態を判定してもよい。
【0369】
<ヒアラブルデバイス>
以下、図29から図37を参照して、本実施形態に係る生体情報測定装置12の一例であるヒアラブルデバイスについて詳しく説明する。以下では、ヒアラブルデバイスの一例として、人の耳に装着されるイヤフォンを例に挙げて説明するが、ここで説明されるヒアラブルデバイスは、イヤフォン以外のヒアラブルデバイスであってもよい。
【0370】
例えば、1又は複数の電極が、生体電位を含む電位を検出するための生体電位検出用電極(以下、「センサ電極」と称する)として用いられ、別の1又は複数の電極が、接地のための電極(以下、「グランド電極」と称する)として用いられ、更に別の1又は複数の電極が、センサ電極によって検出された電位と比較するための電位を検出する電極(以下、「レファレンス電極」と称する)として用いられる。
【0371】
以下、センサ電極によって検出された電位を「センサ電位」と称し、レファレンス電極によって検出された電位を「レファレンス電位」と称し、グランド電極によって検出された電位を「グランド電位」と称することとする。
【0372】
図29は、ヒアラブルデバイス200の全体を示す斜視図である。図30は、ヒアラブルデバイス200を上方向から見たときの図である。図31は、左側イヤフォンを左方向から見たときの図である。図32は、右側イヤフォンを示す斜視図である。図33は、左側イヤフォンを示す斜視図である。図34は、右側イヤフォンを上方向から見たときの図である。図35は、右側イヤフォンの分解斜視図である。図36は、右側イヤフォンの断面図である。図37は、左側イヤフォンの内部を示す斜視図である。
【0373】
ここで、説明の便宜上、図29に示すように、前後方向、上下方向及び左右方向を定義する。前方向は、人の顔が向く方向であり、後方向は、その前方向とは逆の方向である。上方向は、人の頭頂が向く方向であり、下方向は、その上方向とは逆の方向である。右方向は、人の右手側の方向であり、左方向は、人の左手側の方向である。前後方向、上下方向及び左右方向は互いに直交する。
【0374】
また、ここでは一例として、ヒアラブルデバイス200は、脳波を含む生体情報を測定するものとする。もちろん、ヒアラブルデバイス200は、脳波を測定すると共に、又は、脳波をだけを測定せずに、脳波以外の生体情報を測定してもよい。例えば、後述する右側イヤフォン216Rや左側イヤフォン216Lが人の耳に装着されると、生体情報を表す電位が検出される。検出された電位を示す電位信号には、通常、脳波を表す電位信号が含まれるが、脳波を表す電位信号の他に、人の頭部の動きに起因して発生する電位を示す電位信号として、顔の表情に起因する動き、首や顎、眼球の動きに起因して発生する電位を示す電位信号等が含まれる場合がある。また、人の頭部の動きに伴った血流の変化に起因する生体情報として、脳血流、心臓血脈に関する脈波、心拍等も顕著に計測できる場合がある。このように、ヒアラブルデバイス200は、脳波と共に脳波以外の生体情報も測定することがある。脳波以外の生体情報は、ノイズとして処理されてもよいし(例えば除去されてもよいし)、脳波と分離されて何らかの処理に用いられてもよい。
【0375】
図29及び図30に示すように、ヒアラブルデバイス200は、大別して、人の右耳に装着される右側イヤフォン216Rと、人の左耳に装着される左側イヤフォン216Lと、右側イヤフォン216Rと左側イヤフォン216Lとを電気的に接続するケーブル218とを含む。右側イヤフォン216Rと左側イヤフォン216Lは、ケーブル218を介して信号やデータを送受信してもよい。ケーブル218には、ヒアラブルデバイス200を操作するためのリモコンが設けられてもよい。
【0376】
右側イヤフォン216R又は左側イヤフォン216Lのいずれか一方が、生体情報を測定する生体情報測定装置として機能してもよいし、右側イヤフォン216R及び左側イヤフォン216Lの両方が、生体情報測定装置として機能してもよい。
【0377】
例えば、一方のイヤフォンが、センサ電極、レファレンス電極及びグランド電極を有し、他方のイヤフォンは電極を有していなくてもよい。
【0378】
別の例として、右側イヤフォン216R及び左側イヤフォン216Lの両方が、センサ電極、レファレンス電極及びグランド電極を有してもよい。
【0379】
更に別の例として、一方のイヤフォンが、センサ電極、レファレンス電極及びグランド電極の中の1つ又は2つの電極を有し、他方のイヤフォンが、当該一方のイヤフォンが有していない電極を有してもよい。
【0380】
更に別の例として、右側イヤフォン216R及び左側イヤフォン216Lのそれぞれに1又は複数の電極が設けられており、センサ電極、レファレンス電極及びグランド電極のそれぞれが、いずれかの電極に割り当てられてもよい。
【0381】
更に別の例として、一方のイヤフォンに、複数のセンサ電極や、複数のレファレンス電極や、複数のグランド電極が設けられてもよい。例えば、右側イヤフォン216Rに複数のセンサ電極が設けられ、左側イヤフォン216Lに、複数のレファレンス電極が設けられてもよい。
【0382】
右側イヤフォン216Rは、例えばカナル型のイヤフォンであり、右側筐体220Rと、右側イヤーピース222Rと、右側支持体224Rと、右側耳掛け226Rと、電極部材228Rとを含む。イヤーピースはイヤーパットと称されることもある。
【0383】
右側筐体220Rは、例えば、薄型の直方体状の形状を有し、電子回路等を格納する筐体である。右側筐体220Rにおいて、ユーザがヒアラブルデバイス200を装着したときに人の右耳に対向する面に、右側イヤーピース222Rと右側支持体224Rが設けられている。右側筐体220R内には、制御装置、スピーカ、通信装置(例えば通信チップ)、生体情報を解析や処理する電子回路、6軸センサ(例えば、加速度を検出する3軸センサと角速度を検出する3軸センサとを有するセンサ等)、メモリ、及び、GPS(Global Positioning System)センサ等が格納されている。通信装置は、例えばBluetoothやBLE(Bluetooth Low Energy)等の無線通信機能を実現するための装置である。この通信装置は、無線LAN(例えばWiFi等を利用するネットワーク等)、セルラー(3G、4G、5G、LPWA等)のモジュールを搭載して通信領域を広域にし、Bluetoothよりも通信距離が長いローカルエリアの機器やインターネットを介して遠方の機器に直接データを送信すること可能である。6軸センサによって、右側筐体220Rの移動方向、向き及び回転が検出される。生体情報はメモリに記憶されてもよい。なお、生体情報を解析する電子回路は、生体情報測定装置12に設けられていなくてもよい。
【0384】
右側支持体224Rは、円柱等の柱状の形状を有して右側筐体220Rの側面(例えば、右側イヤフォン216Rが右耳に装着されたときに右耳に対向する面)から突出し、右側筐体220Rと右側イヤーピース222Rとの間に設けられている。例えば、右側支持体224Rの外径は、右側イヤーピース222Rの外径よりも大きい。右側支持体224Rの側面の一部又は全部に電極部材228Rが設けられている。
【0385】
例えば、電極部材228Rはリング状の形状を有し、柱状の右側支持体224Rに支持されている。電極部材228Rの全体又は一部が電極として機能する。つまり、電極部材228Rの全表面に電極が設けられてもよいし、電極部材228Rの一部の表面に電極が設けられ、その部分の表面には電極が設けられなくてもよい。電極部材228Rは、例えば、カーボン製の導電性ゴムによって構成されている。この場合においても、電極部材228Rの全部が導電性ゴムによって構成されて、電極部材228Rの全部(例えば全表面)が電極として機能してもよいし、電極部材228Rの一部が導電性ゴムによって構成されて、電極部材228Rの一部(例えば一部の表面)が電極として機能してもよい。
【0386】
右側イヤーピース222Rは、右側支持体224Rの先端(つまり、右側筐体220Rに接続する端部とは反対側の端部)に設けられている。例えば、右側イヤーピース222Rは、先端に向かって幅が狭くなる円柱状の形状を有する。もちろん、この形状は一例に過ぎず、右側イヤーピース222Rは別の形状を有してもよい。
【0387】
右側イヤーピース222R内には、音導管等(例えば、後述する導電管部材)が格納されており、スピーカによって発せられた音は、右側イヤーピース222R内の音導管等を伝達して右側イヤーピース222Rから外部に発せられる。右側イヤーピース222Rの外表面(例えば側面等)の一部又は全部には、電極が設けられている。その電極は、例えば、カーボン製の導電性ゴムによって構成されている。右側イヤーピース222R自体が、導電性ゴムによって構成されてもよい。例えば、右側イヤーピース222Rの全体又は一部が、導電性ゴムによって構成されてもよい。つまり、右側イヤーピース222Rの全表面又は一部の表面が電極として機能してもよい。
【0388】
右側イヤーピース222R及び電極部材228Rは、例えば、弾性部材によって構成されてもよい。その弾性部材として、例えば、ゴム等の樹脂が用いられる。具体的には、Si系のゴム(例えば、NOK社製のS1734)やウレタン系のゴム等が、右側イヤーピース222R及び電極部材228Rに用いられてもよい。また、右側イヤーピース222R及び電極部材228Rのそれぞれの硬度(例えば、デュロメータタイプA(瞬時)の規格に従った硬度)は、例えば40~75である。一例として、硬度が70の樹脂が、右側イヤーピース222R及び電極部材228Rに用いられてもよい。
【0389】
後述するように、右側イヤーピース222Rは、右耳の外耳道に挿入されて外耳道に接触するように右耳に配置され、右側支持体224Rに支持されている電極部材228Rは、右耳の耳甲介腔に接触するように右耳に配置される。
【0390】
右側耳掛け226Rは、全体として湾曲した形状を有し、ユーザが右側イヤフォン216Rを装着したときにユーザの右耳に掛けられる部材である。例えば、右側耳掛け226Rは、右耳の耳輪に掛けられる。より詳しく説明すると、右側耳掛け226Rは、耳輪の裏側において耳輪に接して設けられる。右側耳掛け226Rの一方の端部は、右側筐体220Rの前方側の部分に接続されており、右側耳掛け226Rは、その接続部分から右側筐体220Rの後方側にかけて湾曲した形状を有しており、その部分が湾曲部を構成する。その湾曲部が、右耳の耳輪の裏側において耳輪に接して設けられる。例えば、湾曲部は、耳輪の裏側の形状に沿った形状を有する。右側耳掛け226Rの他方の部分は、ケーブル218の一方の端部に接続されている。
【0391】
右側イヤーピース222R及び右側支持体224Rは、交換可能な部材である。例えば、形状や大きさの異なる複数種類(例えば3~5種類等)の右側イヤーピース222Rと右側支持体224Rが予め用意されており、ユーザの耳の形状(例えば、外耳道や耳甲介腔やその他の部位)に合わせて、右側イヤーピース222Rと右側支持体224Rを交換することができる。
【0392】
左側イヤフォン216Lは、例えばカナル型のイヤフォンであり、左側筐体220Lと、左側イヤーピース222Lと、左側支持体224Lと、左側耳掛け226Lと、電極部材228Lとを含む。
【0393】
左側筐体220Lは、例えば、薄型の直方体状の形状を有し、バッテリ等を格納する筐体である。左側筐体220Lにおいて、ユーザがヒアラブルデバイス200を装着したときにユーザの左耳に対向する面に、左側イヤーピース222Lと左側支持体224Lが設けられている。バッテリからの電力が、右側イヤフォン216R及び左側イヤフォン216Lに供給され、これにより、右側イヤフォン216R及び左側イヤフォン216Lが駆動する。例えば、バッテリからの電力が、スピーカや各回路に供給される。なお、バッテリは、右側筐体220R及び左側筐体220Lの両方に設けられてもよいし、右側筐体220R又は左側筐体220Lのいずれか一方に設けられてもよい。
【0394】
左側支持体224Lは、円柱等の柱状の形状を有して左側筐体220Lの側面(例えば、左側イヤフォン216Lが左耳に装着されたときに左耳に対向する面)から突出し、左側筐体220Lと左側イヤーピース222Lとの間に設けられている。例えば、左側支持体224Lの外径は、左側イヤーピース222Lの外径よりも大きい。左側支持体224Lの側面の一部又は全部に電極部材228Lが設けられている。
【0395】
例えば、電極部材228Lはリング状の形状を有し、柱状の左側支持体224Lに支持されている。電極部材228Lの全体又は一部が電極として機能する。つまり、電極部材228Lの全表面に電極が設けられてもよいし、電極部材228Lの一部の表面に電極が設けられ、その部分の表面には電極が設けられなくてもよい。電極部材228Lは、例えば、カーボン製の導電性ゴムによって構成されている。この場合においても、電極部材228Lの全部が導電性ゴムによって構成されて、電極部材228Lの全部(例えば全表面)が電極として機能してもよいし、電極部材228Lの一部が導電性ゴムによって構成されて、電極部材228Lの一部(例えば一部の表面)が電極として機能してもよい。
【0396】
左側イヤーピース222Lは、左側支持体224Lの先端(つまり、左側筐体220Lに接続する端部とは反対側の端部)に設けられている。例えば、左側イヤーピース222Lは、先端に向かって幅が狭くなる円柱状の形状を有する。もちろん、この形状は一例に過ぎず、左側イヤーピース222Lは別の形状を有してもよい。
【0397】
左側イヤーピース222L内には、音導管等が格納されており、スピーカによって発せられた音は、左側イヤーピース222L内の音導管等を伝達して左側イヤーピース222Lから外部に発せられる。左側イヤーピース222Lの外表面(例えば側面等)の一部又は全部には、電極が設けられている。その電極は、例えば、カーボン製の導電性ゴムによって構成されている。左側イヤーピース222L自体が、導電性ゴムによって構成されてもよい。例えば、左側イヤーピース222Lの全体又は一部が、導電性ゴムによって構成されてもよい。つまり、左側イヤーピース222Lの全表面又は一部の表面が電極として機能してもよい。
【0398】
左側イヤーピース222L及び電極部材228Lは、例えば、弾性部材によって構成されてもよい。その弾性部材として、例えば、ゴム等の樹脂が用いられる。具体的には、Si系のゴム(例えば、NOK社製のS1734)やウレタン系のゴム等が、左側イヤーピース222L及び電極部材228Lに用いられてもよい。また、左側イヤーピース222L及び電極部材228Lのそれぞれの硬度(例えば、デュロメータタイプA(瞬時)の規格に従った硬度)は、例えば40~75である。一例として、硬度が70の樹脂が、左側イヤーピース222L及び電極部材228Lに用いられてもよい。
【0399】
後述するように、左側イヤーピース222Lは、右耳の外耳道に挿入されて外耳道に接触するように右耳に配置され、左側支持体224Lに支持されている電極部材228Lは、左耳の耳甲介腔に接触するように左耳に配置される。
【0400】
左側耳掛け226Lは、全体として湾曲した形状を有し、ユーザが左側イヤフォン216Lを装着したときにユーザの左耳に掛けられる部材である。例えば、左側耳掛け226Lは、左耳の耳輪に掛けられる。より詳しく説明すると、左側耳掛け226Lは、耳輪の裏側において耳輪に接して設けられる。左側耳掛け226Lの一方の端部は、左側筐体220Lの前方側の部分に接続されており、左側耳掛け226Lは、その接続部分から左側筐体220Lの後方側にかけて湾曲した形状を有しており、その部分が湾曲部を構成する。その湾曲部が、左耳の耳輪の裏側において耳輪に接して設けられる。例えば、湾曲部は、耳輪の裏側の形状に沿った形状を有する。左側耳掛け226Lの他方の部分は、ケーブル218の一方の端部に接続されている。
【0401】
左側イヤーピース222L及び左側支持体224Lは、交換可能な部材である。例えば、形状や大きさの異なる複数種類(例えば3~5種類等)の左側イヤーピース222Lと左側支持体224Lが予め用意されており、ユーザの耳の形状(例えば、外耳道や耳甲介腔やその他の部位)に合わせて、左側イヤーピース222Lと左側支持体224Lを交換することができる。
【0402】
なお、制御装置、通信装置、電子回路、6軸センサ及びメモリ等は、右側筐体220R又は左側筐体220Lのいずれか一方に格納されてもよいし、右側筐体220R及び左側筐体220Lの両方に格納されてもよい。
【0403】
また、右側筐体220R又は左側筐体220Lには、電源ボタンや、音量を調整するためのスイッチ等が設けられている。右側筐体220R及び左側筐体220Lの両方に、電源ボタンやスイッチ等が設けられてもよい。
【0404】
例えば、右側イヤーピース222Rに設けられている電極、又は、左側イヤーピース222Lに設けられている電極のいずれか一方の電極が、センサ電極として用いられ、他方の電極が、レファレンス電極として用いられる。また、電極部材228R及び電極部材228Lが、グランド電極として用いられる。もちろん、電極部材228R又は電極部材228Lのいずれか一方がセンサ電極として用いられ、他方がレファレンス電極として用いられ、右側イヤーピース222R及び左側イヤーピース222Lに設けられている電極が、グランド電極として用いられてもよい。
【0405】
別の例として、右側イヤーピース222Rに、互いに分離された複数の電極が設けられ、当該複数の電極の中の少なくとも1つの電極が、センサ電極、レファレンス電極又はグランド電極として用いられてもよい。例えば、当該複数の電極がセンサ電極として用いられ、当該複数の電極のうち、検出感度が最も高い電極、ノイズが最も少ない電極、又は、ノイズのレベルが最も安定している電極によって検出された電位を、センサ電位として用いてもよい。当該複数の電極がレファレンス電極又はグランド電極として用いられる場合も同様である。また、左側イヤーピース222L、電極部材228R及び電極部材228Lについても同様である。
【0406】
図34に示すように、右側支持体224Rに支持されている電極部材228Rは、右側筐体220Rから高さhの位置に設置されている。つまり、電極部材228Rと右側筐体220Rとの間の距離は、高さhに設定される。高さhは、例えば、右側筐体220Rと耳輪との干渉を防止し、接触不良を防止する程度の値に設定される。具体的には、右側イヤーピース222Rが右耳の外耳道に挿入されて、右側イヤフォン216Rが右耳に装着されたときに、右側筐体220Rが右耳の耳輪に接触しないように、高さhが設定される。つまり、右側筐体220Rが耳輪に接触しない位置まで耳輪から離れるように、高さhが設定される。こうすることで、例えば、右側筐体220Rの上方向の面が耳輪に接触しない。右側筐体220Rが耳輪に接触し、右側筐体220Rと耳輪とが干渉すると、右側イヤーピース222Rが外耳道内にて安定する位置まで挿入されず、右側イヤーピース222Rの電極と外耳道との間で接触不良が発生する可能性がある。また、電極部材228Rが、右耳の耳甲介腔と良好に接触する位置に配置されず、電極部材228Rと右耳の耳甲介腔との間で接触不良が発生する可能性がある。そのような接触不良が発生すると、センサ電位やレファレンス電位やグランド電位の検出感度が低下し、生体情報の測定精度が低下する可能性がある。右側筐体220Rが耳輪に接触しないように高さhを設定することで、右側筐体220Rと耳輪とが干渉せず、右側イヤーピース222Rを外耳道内にて安定する位置まで挿入することができ、右側イヤーピース222Rの電極と外耳道との接触を良好にすることができる。また、電極部材228Rを、右耳の耳甲介腔と良好に接触する位置に配置することができ、電極部材228Rと耳甲介腔との接触を良好にすることができる。こうすることで、生体電位の検出感度を向上させることができる。左側イヤフォン216Lについても同様である。
【0407】
また、図30に示すように、右側耳掛け226Rは、右側イヤフォン216Rを上方向から見たときに、右側筐体220Rの位置から右側イヤーピース222Rが設置されている方向にずれて配置されている。つまり、右側イヤフォン216Rを上方向から見たときに、右側筐体220Rと右側耳掛け226Rとの間に隙間が形成されている。右側耳掛け226Rは、右側筐体220Rの位置から右側イヤーピース222Rが設置されている方向にオフセットして配置されているといえる。その隙間は耳用スペースであり、その隙間に、右耳が挿入されて配置されるようになっている。このような耳用スペースを設けて、その耳用スペースに右耳を挿入して配置するようにすることで、右耳の大きさに関わらず、右耳を耳用スペースに配置し、右側イヤフォン216Rを右耳に安定して装着することができる。その結果、右側イヤーピース222Rの電極と外耳道との間の接触、及び、電極部材228Rと耳甲介腔との間の接触を良好にすることができる。左側イヤフォン216Lについても同様である。
【0408】
図35に示すように、右側支持体224Rには、金属からなる導電管部材230Rが、右側筐体220Rから離れる方向に突出して設けられる。導電管部材230Rの後端は右側支持体224Rに設置され、導電管部材230Rの先端には右側イヤーピース222Rが設けられる。例えば、導電管部材230Rの後端は、ねじ止め等によって右側支持体224Rの先端に取り付けられる。右側支持体224Rの側面には、金属からなる導電管部材232Rが、その側面から突出する方向に設けられる。また、その側面には、導電管部材232Rを覆うように、リング状の電極部材228Rが設けられている。より詳しく説明すると、右側支持体224Rの側面には、右側支持体224Rの周方向に沿って溝が形成されており、その溝に、導電管部材232Rの一方端が挿入される孔224R1が形成されている。導電管部材232Rの一方端が、その孔224R1に挿入されることで、導電管部材232Rは右側支持体224Rの側面に取り付けられる。例えば、ねじ止め等によって、導電管部材232Rが右側支持体224Rの側面に取り付けられる。導電管部材232Rが右側支持体224Rの側面に取り付けられた状態で、電極部材228Rが、右側支持体224Rの側面の溝に嵌め込まれ、これにより、電極部材228Rが、導電管部材232Rに接触した状態で右側支持体224Rの側面に取り付けられる。導電管部材232Rは、右側支持体224R内において電線に接続される。これにより、電極部材228Rによって検出された電位を示す電位信号は、導電管部材232Rを介してその電線に送られ、その電線を介して、後述するメイン基板234に出力される。左側イヤフォン216Lも、右側イヤフォン216Rと同様の構成を有する。
【0409】
また、図36に示すように、右側筐体220R内には、メイン基板234とサブ基板236が収容されている。メイン基板234及びサブ基板236以外の基板が、左側筐体220Lに収容されてもよい。
【0410】
また、図37に示すように、左側筐体220L内には、バッテリ238と中継基板240が収容されている。バッテリ238から電力が中継基板240を介して、右側イヤフォン216R及び左側イヤフォン216Lに供給される。
【0411】
ケーブル218は、ケーブル218の全体の形状を維持することができる硬さを有する。例えば、ケーブル218は、ヒアラブルデバイス200が人の耳に装着されたときに、ケーブル218が人の後頭部や後頭部の髪の毛に接触しないように、右側筐体220R及び左側筐体220Lから後方向に向けて延びて配置される形状を有する。このように、ケーブル218が後頭部や後頭部の髪の毛に接触しないことで、その接触に起因するノイズが、生体情報に発生することを防止することができる。
【0412】
仮に、ケーブル218が後頭部等に接触した場合であっても、その接触による負荷がケーブル218に伝わり、図31中の矢印Yが指し示すように、左側イヤフォン216Lの全体が、後方向に向けて回転する。これにより、左側イヤーピース222L及び電極部材228Lが、左耳により強固に固定される。つまり、左側イヤフォン216Lの全体が、左側イヤーピース222L及び電極部材228Lをより強固に固定する方向に回転する。その結果、左側イヤーピース222Lの電極と外耳道との間の接触、及び、電極部材228Lと耳甲介腔との間の接触をより良好にして、検出感度を向上させることができる。右側イヤフォン216Rについても同様である。
【0413】
なお、ヒアラブルデバイス200は、骨伝導の出力が可能な装置であってもよい。これにより、音ではなく骨伝導によって情報を人に伝えることができる。例えば、耳が聞こえないユーザであっても、ヒアラブルデバイス200を用いることで、脳波等の生体情報を測定すると共に、骨伝導によって情報をユーザに伝えることができる。
【0414】
上述した各実施例が、ヒアラブルデバイス200を用いて実行されてもよい。つまり、ヒアラブルデバイス200を用いてユーザの生体情報が測定され、その測定された生体情報を用いて各実施例が実行されてもよい。もちろん、ヒアラブルデバイス200と他の生体情報測定装置12とを用いることで、複数種類の生体情報を測定し、その測定された複数種類の生体情報に基づいて、人の状態(例えば感情情報、精神情報及び心理情報等)が得られてもよい。
【0415】
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【符号の説明】
【0416】
10 情報処理装置、12 生体情報測定装置、14 環境情報測定装置、16 機器、18 端末装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45