IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立マクセル株式会社の特許一覧

特許7573746ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム
<>
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図1
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図2
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図3
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図4
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図5
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図6
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図7
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図8
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図9
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図10
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図11
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図12
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図13
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図14
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図15
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図16
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図17
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図18
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図19
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図20
  • 特許-ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-17
(45)【発行日】2024-10-25
(54)【発明の名称】ユーザ支援システム、ウェアラブル端末、ユーザ支援方法およびプログラム
(51)【国際特許分類】
   A61B 10/00 20060101AFI20241018BHJP
   A61B 5/369 20210101ALI20241018BHJP
【FI】
A61B10/00 H
A61B5/369
【請求項の数】 12
(21)【出願番号】P 2023528802
(86)(22)【出願日】2021-06-15
(86)【国際出願番号】 JP2021022692
(87)【国際公開番号】W WO2022264263
(87)【国際公開日】2022-12-22
【審査請求日】2023-12-14
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】中出 眞弓
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】秋山 仁
【審査官】門田 宏
(56)【参考文献】
【文献】特開2016-22310(JP,A)
【文献】特開2019-195469(JP,A)
【文献】特開2018-183283(JP,A)
【文献】国際公開第2018/198332(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 10/00
A61B 5/369
(57)【特許請求の範囲】
【請求項1】
ユーザの脳波データを出力する脳波測定装置と、
前記ユーザの行動データを出力する行動測定装置と、
前記脳波データと前記行動データとに基づいて前記脳波データの異常の有無の判定を行う脳波判定装置と、
前記判定の結果が異常有りの場合、予め定めた処理を行う制御装置と、を備えること
を特徴とするユーザ支援システム。
【請求項2】
請求項1記載のユーザ支援システムであって、
前記行動データに基づいて、前記ユーザが覚醒中であるか否かの判別を行う行動解析装置と、
記憶装置と、をさらに備え、
前記制御装置は、
前記判定の結果が異常有りの場合、異常有りを示す異常有情報を前記記憶装置に記憶し、
前記記憶装置に前記異常有情報が記憶されている場合、前記判別の結果が前記覚醒中を示し、かつ、前記判定の結果が異常無しの期間に、前記脳波データに異常があることを意味する異常通知を行い、前記異常有情報の消去を行うこと
を特徴とするユーザ支援システム。
【請求項3】
請求項2記載のユーザ支援システムであって、
前記制御装置は、前記異常通知の後、前記消去の前に、予め定めた確認検査を実行し、前記ユーザから正解の応答があるまで、前記異常通知と前記確認検査とを繰り返すこと
を特徴とするユーザ支援システム。
【請求項4】
請求項1記載のユーザ支援システムであって、
前記制御装置は、前記判定の結果が異常有りの場合、予め定めたアプリケーションプログラムに対し、処理を制限する制限信号を送信すること
を特徴とするユーザ支援システム。
【請求項5】
請求項4記載のユーザ支援システムであって、
通信インタフェースをさらに備え、
前記制御装置は、前記通信インタフェースを介して予め定めた外部機器に対し、前記制限信号を送信すること
を特徴とするユーザ支援システム。
【請求項6】
請求項1記載のユーザ支援システムであって、
通信インタフェースをさらに備え、
前記制御装置は、前記判定の結果が異常有りの場合、予め定めたアプリケーションプログラムのサービス提供元のサーバに対し、前記通信インタフェースを介して、処理の制限を要求する制限要求信号を送信すること
を特徴とするユーザ支援システム。
【請求項7】
請求項1記載のユーザ支援システムであって、
前記制御装置は、前記判定の結果が異常有りの場合、予め定めた支援アプリケーションプログラムに対し、起動信号を送信すること
を特徴とするユーザ支援システム。
【請求項8】
請求項1記載のユーザ支援システムであって、
前記制御装置は、前記判定の結果が異常有りの場合、ユーザの行動ログを収集すること
を特徴とするユーザ支援システム。
【請求項9】
請求項1記載のユーザ支援システムであって、
前記脳波判定装置は、前記行動データに基づいて、前記ユーザが予め定めた行為を行った場合、前記判定を開始すること
を特徴とするユーザ支援システム。
【請求項10】
ユーザの脳波データを出力する脳波測定部と、
ユーザの行動データを出力する行動測定部と、
前記脳波データと前記行動データとに基づいて前記脳波データの異常の有無の判定を行う脳波判定部と、
前記判定の結果が異常有りの場合、予め定めた処理を行う制御部と、を備えること
を特徴とするウェアラブル端末。
【請求項11】
ユーザの脳波データを出力する脳波測定部と、
前記ユーザの行動データを出力する行動測定部と、
前記脳波データと前記行動データとを用いて処理を行う情報処理部と、を備えるウェアラブル端末におけるユーザ支援方法であって、
前記脳波データと前記行動データとに基づいて前記脳波データの異常の有無の判定を行い、
前記判定の結果が異常有りの場合、予め定めた処理を行うこと
を特徴とするユーザ支援方法。
【請求項12】
コンピュータを、
ユーザの脳波データと、前記ユーザの行動データとに基づいて、前記脳波データの異常の有無の判定を行う脳波判定手段、
前記脳波判定手段による前記判定の結果が異常有りの場合、予め定めた処理を行う制御手段、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザ支援システムに関する。特に、脳波に異常有りと判定されたユーザを支援するシステムに関する。
【背景技術】
【0002】
認知症は65歳以上の高齢者で有病率が15%以上と、高齢化社会では身近な病気である。近年、治療方法や薬が開発され、早期に発見し、治療を行うことで、その進行を抑制できることがわかってきた。
【0003】
認知症は脳波を測定することにより判定できることが知られている。これを利用して認知症の潜在的リスクを判定するシステムがある。例えば、特許文献1には、「被検者の睡眠時の生体データを取得する生体データ検出センサと、生体データ検出センサにより取得された被検者の生体データから、時間の経過に伴なう被検者の睡眠の深さ及び体動変化を含む睡眠データを生成する睡眠データ生成装置と、所定の認知症に関する症状について、実際の発症患者から得られた各症状特有の睡眠データを記憶した記憶部を具備し、睡眠データ生成装置で生成された被検者の睡眠データと、記憶部に記憶されている各症状の睡眠データとを比較して、被検者の睡眠データから3つの認知症のリスクを判定する認知症リスク判定装置とを備える(要約抜粋)」システムが開示されている。
【0004】
また、特許文献2には、ヘッドマウント型の脳波測定装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2016-22310号公報
【文献】国際公開第2020/150193号
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述のように、認知症は、早期発見により進行を抑制できる。しかしながら、一般に病院等での脳波や認知症の検査は、日常の行動に異常が確認されてから行われる。また、一人暮らしで、他の人との接点がない場合、本人が認知症である可能性を考えない限り、病院で検査をすることはなく、病気が進行する。
【0007】
特許文献1に開示の技術によれば、睡眠時の生体データに基づいた判定がなされている。しかしながら、認知症の症状が発生するのは、睡眠時に限定されない。このため、必ずしも認知症を早期に発見できるとは限らない。さらに、特許文献1に開示の技術では、認知症と判定されたとしても、何ら対処がなされていない。なお、脳波により異常の有無を検出できる症例は、認知症に限定されない。
【0008】
本発明は、前記事情に鑑みてなされたもので、ユーザに負担をかけることなく、簡易な構成で、認知症等の異常への対処を可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明は、ユーザの脳波データを出力する脳波測定装置と、前記ユーザの行動データを出力する行動測定装置と、前記脳波データと前記行動データとに基づいて前記脳波データの異常の有無の判定を行う脳波判定装置と、前記判定の結果が異常有りの場合、予め定めた処理を行う制御装置と、を備えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、ユーザに負担をかけることなく、簡易な構成で、認知症等の異常への対処ができる。なお、上記した以外の目的、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
図1】(a)および(b)は、第一実施形態の処理概要を説明するための説明図である。
図2】(a)および(b)は、それぞれ、第一実施形態のヘッドマウントディスプレイ(HMD)の外観図および装着の様子を説明するための説明図である。
図3】第一実施形態のHMDハードウェア構成図である。
図4】第一実施形態のHMDの機能ブロック図である。
図5】(a)、(b)および(c)は、それぞれ、第一実施形態の行動状態データ、照合用脳波、異常有情報の一例を説明するための説明図である。
図6】(a)および(b)は、それぞれ、第一実施形態の表示例および変形例の表示例を説明するための説明図であり、(c)は、第三実施形態の変形例の表示例を説明するための説明図である。
図7】第一実施形態の分析評価処理のフローチャートである。
図8】第一実施形態の変形例の分析評価処理のフローチャートである。
図9】(a)および(b)は、それぞれ、第一実施形態の異なる変形例の使用態様を説明するための説明図である。
図10】第二実施形態のHMDの機能ブロック図である。
図11】(a)は、第二実施形態の指示設定例を、(b)および(c)は、第二実施形態の表示例をそれぞれ説明するための説明図である。
図12】第二実施形態の分析評価処理のフローチャートである。
図13】第二実施形態の変形例を説明するための説明図である。
図14】(a)および(b)は、それぞれ、第二実施形態の変形例の指示設定および使用態様を説明するための説明図である。
図15】第二実施形態の変形例における、HMDとサーバとの信号の送受を説明するための説明図である。
図16】第三実施形態のHMDの機能ブロック図である。
図17】(a)および(b)は、それぞれ、第三実施形態の、支援アプリデータベースの例および出力例を説明するための説明図である。
図18】第三実施形態の分析評価処理のフローチャートである。
図19】第三実施形態の変形例の分析評価処理のフローチャートである。
図20】第四実施形態の分析評価処理のフローチャートである。
図21】(a)~(c)は、本発明の実施形態の変形例であるスマートフォンの外観を説明するための説明図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を、図面を用いて説明する。本発明の各実施形態では、認知症等の病気への対処を可能にすることで、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「3.すべての人に健康と福祉を」に貢献する。
【0013】
<<第一実施形態>>
本発明の第一実施形態を説明する。まず、本実施形態の概要を、図1(a)および図1(b)を用いて説明する。
【0014】
本実施形態では、日常的にユーザが使用するHMD(Head Mounted Display;ヘッドマウントディスプレイ)に脳波を測定し解析する機能を設ける。そして、認知症の疑いがある場合に、ユーザの意識が鮮明な時に認知症等の疑いがあることを通知し、ユーザに早期の検査・治療を促し、認知症等の早期発見に寄与し、その結果、当該病気の進行を遅らせる。
【0015】
具体的には、図1(a)に示すように、脳波を測定する機能の付いたHMD100を用いる。そして、HMD100は、装着者(ユーザ)109の行動を検出し、起きているか(覚醒中)、寝ているか(睡眠中)を判別するとともに、装着者109の脳波を検出し、異常の疑いがあるか否かを判定する。
【0016】
例えば、異常として認知症の疑いがあるか否かを判定する場合、本図に示すように、例えば、健常な成人の脳波と、認知症のある成人の脳波とを予め記憶しておく。そして、検出した脳波と照合することにより、異常(認知症の疑い)があるか否かを判定する。
【0017】
以下、本明細書では、異常の疑いがあることを、簡単に「異常が有る(異常有)」と称する。一方、異常の疑いがないことを、「異常が無い(異常無)」と称する。また、本実施形態では、検出する異常として認知症を例にあげて説明する。なお、本実施形態が適用可能な病気(症例)は、脳波に「異常有」の状態と「異常無」の状態とがあるものであれば、認知症に限定されない。
【0018】
図1(b)に示すように、HMD100は、「異常有」と判定した場合、それを、一旦記録しておく。そして、HMD100が、装着者109を覚醒中と判別し、かつ、「異常無」、と判定したタイミングで、異常が有ることを装着者109に通知する。なお、このとき、HMD100は、さらに、装着者109に刺激を与える(光の動き、質問をする)ことにより、判定をより正確なものにしてもよい。
【0019】
このように、本実施形態では、脳波を用いて装着者109の異常の有無を判定し、「異常無」と判定したタイミングで、装着者109に通知する。すなわち、本実施形態のHMD100は、例えば、装着者109の認知症度合いが低い時に、認知症の疑いがあることを装着者109に通知し、病院へ行くよう促す。これにより、例えば、認知症等の脳に発生した異常を早期に発見し、装着者109に自覚させることができる。
【0020】
以下、これを実現する本実施形態のHMD100について説明する。
【0021】
[外観]
図2(a)および図2(b)を用いて、本実施形態のHMD100の外観を説明する。図2(a)は、HMD100の外観図であり、図2(b)は、HMD100を装着者109が装着した状態を示す図である。
【0022】
図2(a)に示すように、HMD100は、本体部180と、本体部180を支持する支持部190と、を備える。
【0023】
本体部180は、例えば、ディスプレイ133、インカメラ131、アウトカメラ132および情報処理機能を実現する構成(情報処理部)等が配置される。本体部180のハードウェア構成は、後述する。
【0024】
支持部190は、本体部180に結合し、装着者109の頭部に係合して本体部180を支持する。図2(b)に示すように、本体部180は、支持部190により、装着者109の頭部に支持される。支持部190は、例えば、本図に示すようにヘアバンド型である。支持部190は、例えば、装着者109の頭部の側面および後面を囲むように伸びるバンド形状を有していてもよい。
【0025】
また、本実施形態では、複数の電極を装着者109の頭部に配置し、電位差により脳波を取得する。これらの複数の電極は、本体部180および/または支持部190に配置される。配置位置は、脳波の取得法に応じて決定される。詳細は後述する。
【0026】
電極は、例えば、一般的に用いられる皿電極、円盤電極を用いる。電極の材質としては、銀・塩化銀等を用いる。なお、シリコーン系導電性ゴムを用いてもよい。
【0027】
[ハードウェア構成]
次に,HMD100の本体部180のハードウェア構成を説明する。図3は、本実施形態の本体部180のハードウェア構成図である。本図に示すように、HMD100の本体部180は、メインプロセッサ101と、システムバス102と、記憶装置110と、入力インタフェース(I/F)120と、画像処理装置130と、音声処理装置140と、センサ150と、通信インタフェース(I/F)160と、を備える。
【0028】
メインプロセッサ101は、所定のプログラムに従ってHMD100全体を制御する主制御部である。メインプロセッサ101は、CPU(Centoral Processor Unit)またはマイクロプロセッサユニット(MPU)で実現される。メインプロセッサ101は、HMD100が備えるタイマが計測し、出力するクロック信号に従って、処理を行う。
【0029】
メインプロセッサ101は、例えば、記憶装置110に格納されるオペレーティングシステム(Operating System:OS)や動作制御用の各種のアプリケーションプログラムをRAM111の作業領域に読み出して実行することにより、HMD100の各部を制御するとともに、OSや各機能を実現する。
【0030】
システムバス102は、メインプロセッサ101とHMD100の本体部180内の各部との間でデータ送受信を行うためのデータ通信路である。
【0031】
記憶装置110は、メインプロセッサ101による処理に必要なデータ、処理により生成されたデータ等を記憶する。記憶装置110は、RAM(Random Access Memory)111とROM(Read Only Memory)112とフラッシュメモリ113とを備える。
【0032】
RAM111は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、RAM111は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。RAM111は、メインプロセッサ101と一体構成であっても良い。
【0033】
ROM112およびフラッシュメモリ113は、HMD100の各動作設定値やHMD100の使用者(装着者109)の情報等を記憶する。これらは、HMD100で撮影した静止画像データや動画像データ等を記憶してもよい。また、HMD100は、アプリケーションサーバから、インターネットを介して、新規アプリケーションプログラムをダウンロードすることにより、機能拡張が可能であるものとする。この際、ダウンロードした新規アプリケーションプログラムは、これらに記憶される。メインプロセッサ101が、これらに記憶された新規アプリケーションプログラムをRAM111に展開し、実行することにより、HMD100は、多種の機能を実現できる。なお、これらの代わりにSSD(Solid State Drive)、HDD(Hard Disc Drive)等のデバイスが用いられてもよい。
【0034】
後述する情報処理部(コンピュータ)の各機能も、メインプロセッサ101がROM112およびフラッシュメモリ113に記憶されたプログラムを、RAM111に展開し、実行することにより実現される。
【0035】
入力I/F120は、HMD100に対する入力を受け付ける。入力I/F120は、例えば、ボタンスイッチ121と、脳波検出装置122と、を備える。その他、電源キー、音量キー、ホームキー等の操作キーを備えてもよい。また、タッチパッドによる操作指示を受け付けるタッチセンサを備えてもよい。タッチセンサは、タッチパネルとして後述のディスプレイ133に重ねて配置される。
【0036】
また、有線通信または無線通信により接続された別体の情報処理端末機器を介してHMD100への操作を受け付けてもよい。
【0037】
脳波検出装置122は、電極で取得した脳波を受信する。
【0038】
画像処理装置130は、イメージ(ビデオ)プロセッサを備え、インカメラ131と、アウトカメラ132と、ディスプレイ133と、を備える。
【0039】
インカメラ131、アウトカメラ132のそれぞれは、周囲の視界視野を撮影するもので、レンズから入射した光を撮像素子で電気信号に変換して画像を取得する。インカメラ131およびアウトカメラ132の数は問わない。
【0040】
アウトカメラ132は、HMD100の周囲の画像を取得する。アウトカメラ132は、本体部180の、ディスプレイ133の画面とは反対側の面(前面)に設けられる。図2(a)に示すように、アウトカメラ132は、例えば、本体部180の、ディスプレイ133の上部に、外向きに配置される。
【0041】
インカメラ131は、画面を見ている装着者109の顔または目を撮影し、その画像をHMD100内に取り込む。なお、インカメラ131は、視線検出センサとしても機能する。インカメラ131は、本体部180の、例えば、ディスプレイ133の上部に、内向き(装着者109側向き)に配置される。すなわち、インカメラ131は、本体部180の、ディスプレイ133の画面と同じ面に設けられる。インカメラ131は、配置位置は問わないが、上述のように、装着者109の視線方向を検出するため、眼球を撮影可能な位置に配置される。さらに、インカメラ131は装着者109の目の開閉の検出も行う。
【0042】
インカメラ131およびアウトカメラ132で取得された画像は、イメージ(ビデオ)シグナルプロセッサまたはメインプロセッサ101で処理され、さらに、メインプロセッサ101等により生成されたオブジェクトが重畳され、ディスプレイ133に出力される。
【0043】
ディスプレイ133は、例えばレーザや液晶パネル、有機EL(EL:Emitting Diode)等を使った表示デバイスであり、装着者109がレンズ等を介して直接表示デバイスを見る、画像データをグラス上に投射する、あるいは装着者109の網膜上に投射することにより、イメージプロセッサで処理された画像データをHMD100の装着者109に提示する。なお、ディスプレイ133は、警告情報や指示情報などの装着者109への通知情報や、アプリケーションのアイコンや各種状態表示画像等を画面内に表示する。
【0044】
ディスプレイ133は、図2(b)に示すように、装着者109の両眼の前方に配置される。
【0045】
なお、ディスプレイ133は、光学透過(光学シースルー;Optical See-Through)型であっても、ビデオ透過(ビデオシースルー;Video See-Through)型であってもよい。光学透過型は、ハーフミラーを備え、表示画面を通して周囲の様子(実景)を見ることができる。ビデオ透過型は、実景は見えないが、アウトカメラ132で撮影した周囲の様子が表示画面に映しだされ、装着者109はその画像を見ることにより、外部の様子を把握できる。
【0046】
また、ディスプレイ133の画面上にタッチパネルが積層されていてもよい。タッチパネルは、例えば静電容量式などのタッチパネル部材で構成され、指やタッチペンなどによる接近または接触操作(以降、タッチという)により、装着者109が入力したい情報を入力できる。タッチパネルは操作入力部材の一例である。操作入力部材は、例えば、通信I/F160を介して通信接続したキーボードやキーボタン、装着者109が入力操作を示す音声を発声し、マイク142で集音して操作情報に変換する音声入力装置、または装着者109のジェスチャを撮像して解析するジェスチャ入力装置でもよい。
【0047】
音声処理装置140は、音声を処理するオーディオシグナルプロセッサを備え、音声出力部であるスピーカ141と、音声入力部であるマイク142と、を備える。スピーカ141は、例えば、2つ備え、それぞれ、支持部190の装着者109の右耳、左耳の近傍に配置される。マイク142は、例えば、支持部190から延びたマイク支持部の先端に配置される。
【0048】
スピーカ141は、HMD100内の各種の出力情報(通知情報、指示情報を含む)を音声で外部に発する。また、マイク142は、外部からの音声や装着者109自身の発声を集音し、音声信号に変換してHMD100内に取り込む。装着者109からの発声音による操作情報をHMD100内に取り込み、操作情報に対する動作を使い勝手よく実行することができる。
【0049】
センサ150は、HMD100の状態を検出するためのセンサ群である。センサ150は、例えば、GPS(Global Positioning System)受信機151と、地磁気センサ152と、距離センサ153と、加速度センサ154と、ジャイロセンサ155と、生体情報取得センサ156と、を備える。なお、センサ150は、これらに限定されない。また、これらを全て備えなくてもよい。HMD100は、これらのセンサ群により、HMD100の位置、動き、傾き、方角等を検出する。
【0050】
各センサ150の配置位置は問わない。ただし、距離センサ153は、HMD100の前面に配置し、HMD100から対象物までの距離を検出する。
【0051】
通信I/F160は、通信処理を行うコミュニケーションプロセッサである。通信I/F160は、無線通信I/F161と、電話網通信I/F162と、を備える。無線通信I/F161は、無線による通信のインタフェースであり、LAN(Local Area Network)による通信や、近距離無線通信等を行う。LANによる通信の場合、インターネットの無線通信用アクセスポイントと無線通信により接続してデータの送受信を行う。また、電話網通信I/F162は、移動体電話通信網の基地局との無線通信により、電話通信(通話)およびデータの送受信を行う。無線通信I/F161および電話網通信I/F162は、それぞれ符号化回路や復号回路、アンテナ等を備える。その他の規格による通信I/Fを備えてもよい。
【0052】
近距離無線通信例として、Bluetooth(登録商標)、IrDA(Infrared Data Association、登録商標)、Zigbee(登録商標)、HomeRF(Home Radio Frequency、登録商標)、または、Wi-Fi(登録商標)規格に準拠した通信等がある。また、例えば電子タグを用いた通信でもよい。
【0053】
さらに、電話網通信I/F162は、W-CDMA(Wideband Code Division Multiple Access、登録商標)やGSM(Global System for Mobile Communications)などの遠距離の無線通信を用いてもよい。なお、図示しないが通信I/F160は無線通信の手段として光通信、音波による通信等、他の方法を使用してもよい。
【0054】
また、高精細映像等を扱う場合は、データ量は飛躍的に多くなるので、無線通信に5G(5th Generation:第5世代移動通信システム)、ローカル5Gなどの高速大容量通信網を使用すれば、飛躍的に使い勝手を向上できる。
【0055】
その他、HMD100は,メインプロセッサ101のクロックとしてタイマ173を備える。さらに、装着者109の注意を喚起するものとして、(LED)ランプ171を備えていてもよい。また、拡張I/F172を備えてもよい。
【0056】
拡張I/F172は、HMD100の機能を拡張するためのインタフェース群であり、本実施形態では、充電端子、映像/音声インタフェース、USB(Universal Serial Bus)インタフェース、メモリインタフェース等である。映像/音声インタフェースは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。USBインタフェースはUSB機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
【0057】
さらに、メインプロセッサ101の制御により振動を発声させるバイブレータを備えていてもよい。バイブレータは、HMD100から発信された装着者109への通知情報を振動に変換する。
【0058】
なお、図3に示すハードウェア構成例は、本実施形態に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。
【0059】
[機能ブロック]
次に、HMD100の情報処理部の、本実施形態に関連する機能構成について説明する。図4は、HMD100の本実施形態に関連する機能の、機能ブロック図である。本図に示すように、HMD100は、入出力処理部210と、分析処理部220と、を備える。入出力処理部210は、センサ処理部211と、脳波処理部212と、出力処理部213と、入力処理部214と、を備える、分析処理部220は、行動解析部(行動解析手段)221と、脳波判定部(脳波判定手段)222と、制御部(制御手段)223と、を備える。各部はバス201で接続され、相互にデータの送受信が可能である。
【0060】
また、HMD100は、分析処理部220が処理に用いる、または、処理の結果得られる各種のデータを記憶する記憶部230を備える。記憶部230は、解析用データ231と、行動状態データ232と、照合用脳波233と、異常有情報234と、確認検査データ235とを記憶する。記憶部230は、記憶装置110に構築される。
【0061】
センサ処理部211は、センサ150の各種センサが検出した信号と、インカメラ131およびアウトカメラ132から入力される撮影信号とを処理する。本実施形態では、センサ処理部211は、これらの信号を、行動解析部221が処理可能な状態(行動データ)にし、行動解析部221に出力する。また、必要に応じて制御部223にセンサ信号を出力する。なお、センサ150と、センサ処理部211とにより、行動測定部(行動測定装置)を構成する。
【0062】
なお、センサ処理部211は、インカメラ131、アウトカメラ132で取得した画像を解析し、装着者109によるジェスチャ入力を受け付けたり、センサ150が検出した信号に基づき、装着者109による意思を判別したり、といったHMD100の一般的な入力インタフェース処理も行う。
【0063】
脳波処理部212は、脳波検出装置122が検出した脳波を、脳波判定部222が処理可能な状態(脳波データ)にし、脳波判定部222に出力する。なお、電極と脳波検出装置122と、脳波処理部212とにより、脳波測定部(脳波測定装置)を構成する。また、脳波処理部212も、必要に応じて制御部223に脳波データを出力する。
【0064】
出力処理部213は、分析処理部220の処理結果を出力装置に出力する。本実施形態では、例えば、ディスプレイ133,スピーカ141、ランプ171等に出力する。
【0065】
入力処理部214は、入力I/F120を介して入力されたデータを処理する。本実施形態では、例えば、ボタンスイッチ121の押下を検出する。処理結果は、分析処理部220に出力する。
【0066】
行動解析部221は、センサ処理部211から受信した行動データに基づいて、装着者109が起きている状態(以下、覚醒中)であるか否(以下、睡眠中)か、を解析する行動解析処理を行う。行動解析部221は、各種センサ150の信号と予め保持する解析用データ231とを用いて装着者109の状態を解析する。
【0067】
行動解析部221は、例えば、センサ信号に基づいて、装着者109の姿勢、動きの状態、目の開閉等を特定し、特定結果から、覚醒中であるか睡眠中であるかを判断する。行動解析部221は、解析結果を、解析結果信号として脳波判定部222に出力するとともに、解析時刻に対応づけて、行動状態データ232として記憶部230に記憶する。なお、行動解析部221は、所定の時間間隔で、行動データを受信し、行動解析を行う。時間間隔は、例えば、数分単位等とする。
【0068】
行動状態データ232の一例を、図5(a)に示す。ここでは、行動解析部221が、10分おきに、行動データを受信し、行動解析処理を行った場合の例を示す。行動解析開始時刻(時刻232a)に対応づけて、解析結果の状態232bが登録される。本図の例では、8:00から16:00まで行動解析が実行され、10:00から10:20の直前までの間、睡眠中であり、他の期間は覚醒中である。
【0069】
装着者109の姿勢は、例えば、アウトカメラ132で取得した周囲の画像と、加速度センサ154、ジャイロセンサ155等の出力で判断する。例えば、加速度センサ154やジャイロセンサ155から出力が、所定時間、所定以上の変化を示さない場合、睡眠中と判断する。これらの出力が起立状態や着座状態を示す場合、覚醒中と判断する。体を横にしている状態であれば、睡眠中と判断する。装着者109の動きの状態は、例えば、アウトカメラ132で取得した周囲の画像と、加速度センサ154、ジャイロセンサ155等の出力で判断する。装着者109に動きがあれば、覚醒中と判断する。目の開閉については、インカメラ131が取得した装着者109の目を捉えた画像を解析し、判断する。解析結果が目を開いているものである場合、覚醒中、目を閉じているものである場合、睡眠中、と判断する。各種の判断基準は、解析用データ231に記憶される。
【0070】
なお、行動解析部221は、覚醒中か睡眠中かだけでなく、装着者109の行動状態を、さらに細分化して判別してもよい。細分化は、例えば、覚醒中において、静止状態、それ以外の状態であるか、等である。それ以外の状態は、例えば、歩く、走る等の移動状態、食事状態等である。
【0071】
脳波判定部222は、脳波処理部212が処理した脳波データと、行動解析部221から受け取った解析結果と、に基づいて、装着者109の脳波に異常があるか否かを判定する。本実施形態では、脳波判定部222は、装着者109の脳波に、認知症の疑いがあるか否かを判定する。脳波判定部222は、判定結果を判定結果信号として制御部223に出力する。また、脳波判定部222は、「異常有」と判定した場合、異常有情報234を記憶部230に記録する。
【0072】
脳波判定部222は、受信した脳波データを、予め記憶部230に記憶する照合用脳波233と照合することにより、異常の有無を判定する。
【0073】
記憶部230に記憶される照合用脳波233の例を図5(b)に示す。一般に、脳波の状態は、行動状態(覚醒中と、睡眠中と)により異なる。照合用脳波233として、行動状態233aに応じて、正常状態の脳波233bと、異常状態の脳波233cとが記憶される。本図の例では、覚醒中、睡眠中それぞれの、正常な(健常時の)脳波データおよび認知症の脳波データが照合用脳波233として格納される。脳波判定部222は、正常か認知症か、取得した脳波データと合致度の高い方を判定結果とする。
【0074】
なお、照合用脳波233として格納される各脳波データは、装着者109の属性情報に合致したものを、予め一般的な症例データ等から選択し、格納する。属性情報は、例えば、年齢、性別等である。さらに、既往症等も加味し、選択された脳波データが格納されてもよい。
【0075】
なお、覚醒中の装着者109の行動状態をさらに詳細に判別する場合は、覚醒中の各行動状態(例えば、静止状態、移動状態、食事状態等)、それぞれの状態に応じて、正常状態の脳波233bと、異常状態の脳波233cを照合用脳波233として記憶する。
【0076】
制御部223は、脳波判定部222が装着者109の脳波に「異常有」、と判定した場合、予め定めた処理を行う。本実施形態では、脳波判定部222から異常有を示す判定結果信号を受信した場合、「異常有」を意味するデータ(異常有情報234)を、記憶部230に記録する。
【0077】
また、制御部223は、「異常無」を示す判定結果信号を受信した場合、記憶部230に異常有情報234があるか否かを判別する。そして、異常有情報234がある場合、出力情報を生成し、出力処理部213に送信する。また、制御部223は、未通知の異常有情報234を消去する。
【0078】
なお、異常有情報は、時刻に対応づけて記憶部230に記録し、出力情報を生成した場合、通知済みフラグを設定するようにしてもよい。この場合、制御部223は、「異常無」を示す判定結果信号を受信した場合、未通知の異常有情報の有無を判別する。そして、未通知の異常有情報がある場合、出力情報を生成する。
【0079】
この場合の異常有情報234の例を、図5(c)に示す。「異常有」を示す判定結果234bが時刻234aに対応づけて記録される。さらに、通知済みであるか否かを示す通知欄234cが併せて設けられる。時刻に対応づけて記録し、通知済みか否かを記録することにより、「異常有」と判定した記録を残すことができる。
【0080】
制御部223が送信する出力情報は、例えば、ディスプレイ133に表示させるメッセージである。また、スピーカ141から出力する音声データである。また、ランプ171の点灯信号であってもよい。
【0081】
さらに、制御部223は、出力情報を出力処理部213に送信後、レコードを通知済みとする前に、確認処理を行ってもよい。確認処理は、予め定めた検査(確認検査)を行い、通知が装着者109に確実に把握されたかを確認する目的で行われる。
【0082】
制御部223は、例えば、装着者109に対し、確認検査として、予め定めた操作を実行させる。実行させる操作は、例えば、パスワードを入力させる、所定の操作部を操作させる、ジェスチャを行わせる、所定の質問に答えさせる、計算を行わせる、画像を識別させる、等である。制御部223は、これらの1つまたは複数の組み合わせを実行させる。実行指示と模範解答とは、確認検査データ235として予め記憶部230に記憶する。
【0083】
制御部223は、出力処理部213に実行指示を出力させ、入力処理部214またはセンサ処理部211を介して装着者109の操作を解答として受け付ける。実行指示の提示や解答の入力手法については、HMD100で可能な手法であればよい。
【0084】
例えば、パスワードの入力が実行指示の場合、ディスプレイ133にパスワード入力画面を表示し、装着者109に入力させる。入力は、装着者109の視線方向で検出する。例えば、装着者109の視線方向が、各キーの指定がなされたかを判定することにより行われる。または、ボタンスイッチ121で入力させる。または、音声でパスワードを発声させ、マイク142で検出してもよい。なお、VR(Virtual Reality)キーボードを表示し、装着者109のタッチを画像解析および距離センサ153で検出してもよい。
【0085】
画像識別の場合、例えば、野菜、果物、動物等の画像等を表示し、名前を入力させる。名前の入力もパスワードと同様に、キーボードを表示して視線入力させたり、音声入力させたり、バーチャル入力させたりする。
【0086】
計算問題の場合は、演算問題をディスプレイ133に表示し、その解答をディスプレイ133に表示したキーボードから視線入力させたり、音声入力させたり、バーチャル入力させたりする。
【0087】
なお、例えば、光の刺激を与え、脳が反応するかを判別してもよい。この場合、光の刺激になるものの例としては、表示部に表示されている画像全体あるいは画像の一部を一定間隔で表示と非表示とをくり返す、反応確認用画像の例えばランプに見立てた明るい画像や文字等を表示する、さらに表示した画像の表示と非表示とを繰り返す、ランプ171を点灯、点滅させる等がある。これらの光の刺激のタイミングで、脳波に特定の変化が発生するか否かで判別する。脳波検出装置122で検出した脳波を脳波処理部212が処理し、制御部223が確認する。
【0088】
制御部223は、正答を受け付けた場合、装着者109は通知を把握可能な状態にあり、通知が装着者109に伝わったと判断し、異常有情報を消去する処理を行う。一方、正答を受け付けなかった場合は、再度、通知処理を行う。
【0089】
[出力処理]
ここで、出力処理部213による出力例を説明する。出力処理部213は、制御部223から出力情報を受け取ると、出力情報に応じて対応する出力装置から、異常があることを通知する異常通知を出力する。
【0090】
出力が表示である場合のディスプレイ133への表示例410を図6(a)に示す。この場合、出力処理部213は、脳波の異常を検出した時刻411と、メッセージ412と、確認検査のためのメッセージ414と、を表示する。ここでは、確認検査のためのメッセージ414は、パスワードの入力を促す例である。入力処理部214は、装着者109によるパスワードの入力を受け付けると、制御部223に通知する。制御部223は、入力されたパスワードの適否を判別し、適切である場合、異常有情報234を削除する。
【0091】
なお、音声で出力する場合、出力処理部213は、音声メッセージを生成し、スピーカ141から出力する。さらに、ランプ171を点滅させる、点灯させる、等により装着者109に通知してもよい。また、HMD100がバイブレーション機能を有している場合、振動させてもよい。また、病院に行くよう促すメッセージが追加されていてもよい。
【0092】
[脳波取得法]
次に、脳波取得手法について、簡単に説明する。脳波の取得法には、例えば、基準電極導出法(referential recording)、双極導出法(bipolar recording)、平均基準電極法(average potential reference electrode)、発生源導出法(source derivation)等がある。
【0093】
基準電極導出法(単極誘導法)は、頭皮上の探査電極と耳朶に配置した基準電極との2点間の電位差を脳波として取得する(記録する)方法である。脳全体の電位分布が把握しやすく、基礎波の判定や賦活法の施工など一般的に用いられる。
【0094】
双極導出法は、頭皮上の2点の探査電極間の電位差を記録する方法で、局在性異常波の焦点を検索するのに適している。
【0095】
平均基準電極法は、頭皮上の各電極に所定の抵抗を与えた際の電位の平均値を基準に脳波を記録する方法で、各電極での絶対値は分からないが相対差、すなわち相対的な分布の状態を検出する。
【0096】
発生源導出法は、導出する電極の周囲を取り囲む電極の加重平均電位を基準に脳波を記録する方法で、波及する電位成分を相殺することで、導出する探査電極直下の成分だけをSN比よく検出できる。
【0097】
本実施形態では、いずれの手法を用いてもよい。用いる手法に応じて、支持部190または本体部180に、電極を配置する。例えば、基準電極導出法の場合は、耳朶とおでこに対応する部分に電極を配置する。耳朶に配置した電極を基準電極として使用する。
【0098】
[分析評価処理]
以下、本実施形態のHMD100による分析評価処理の流れを説明する。図7は、本実施形態の分析評価処理の処理フローである。例えば、HMD100は、以下の分析評価処理を、所定の時間間隔で実行する。所定の時間間隔は、例えば、数分間隔等である。
【0099】
まず、行動解析部221は、センサ処理部211が処理したセンサ信号に基づき、装着者109の状態を解析する行動解析処理を行う(ステップS1101)。ここでは、行動解析部221は、装着者109が覚醒中であるか、睡眠中であるかを特定する。行動解析部221は、解析結果を、脳波判定部222に出力する。また、解析結果は、時刻に対応づけて、行動状態データ232として記憶部230に記録する。
【0100】
脳波判定部222は、所定期間(脳波判定期間)の脳波を取得し、照合用脳波233と照合する(ステップS1102)。脳波判定部222は、照合用脳波233の内の、最も一致度の高い脳波データを特定し、装着者109の脳波に異常があるかを判定する(ステップS1103)。すなわち、正常時の脳波データが最も一致度が高い場合は、正常、認知症時の脳波データが最も一致度が高い場合は、認知症(異常有)と判定する。照合においては、脳波判定部222は、行動解析部221による解析結果を用いる。また、脳波判定部222は、判定結果を示す判定結果信号を制御部223に出力する。
【0101】
脳波判定部222が「異常有」と判定した場合、制御部223は、記憶部230に異常有情報234を記録する(ステップS1104)。
【0102】
一方、脳波判定部222が「異常有」と判定しない場合、制御部223は、記憶部230に異常有情報234が記録されているか否かを判別する(ステップS1105)。記録されていない場合は、そのまま処理を終了する。
【0103】
一方、異常有情報234が記録されている場合、制御部223は、出力情報を生成し、異常が有ることを、装着者109に通知する異常有通知処理を行う(ステップS1106)。そして、制御部223は、確認検査を実行する(ステップS1107)。
【0104】
制御部223は、確認検査の正解を得るまで、異常有通知処理と確認検査とを繰り返す(ステップS1108)。本実施形態では、制御部223は、例えば、所定の期間内に正当な入力操作がなされた場合、正解を得たと判断する。
【0105】
正解を得た場合、制御部223は、異常有情報を削除し(ステップS1109)、処理を終了する。
【0106】
以上説明したように、本実施形態のHMD100は、ユーザである装着者109の脳波データを出力する脳波測定装置(脳波検出装置122および脳波処理部212)と、装着者109の行動データを出力する行動測定装置(センサ150、インカメラ131,アウトカメラ132およびセンサ処理部211)と、脳波データと行動データとに基づいて脳波データの異常の有無の判定を行い、判定結果が異常有りの場合、予め定めた、装着者109の支援処理を行う制御部223と、を備える。
【0107】
本実施形態では、装着者109の脳波データだけでなく、行動データも加味し、脳波の異常の有無を判定し、異常有の場合は、装着者109に対し、支援処理を行う。
【0108】
本実施形態のHMD100は、行動データに基づいて、装着者109が覚醒中であるか否かの判別を行う行動解析部221と、記憶部230と、をさらに備え、制御部223は、判定の結果が「異常有」の場合、異常有情報234を記憶部230に記憶する。そして、制御部223は、判定結果が「異常無」で行動解析部221による判別結果が覚醒中であるときに、記憶部230に異常有情報が記憶されている場合、装着者109に脳波に異常があることを意味する異常通知を行う。制御部223は、異常通知後、異常有情報234を消去する。
【0109】
本実施形態のHMD100は、上記構成を備え、装着者109の脳波に認知症等の異常の発生を疑う症状がみられた場合、正常時に、それを、装着者109自身に通知する。一般に、認知症の初期には、認知症状態と、正常状態とが、交互に発生する。本実施形態のHMD100は、脳波を解析することにより、認知症状態を検出した場合、正常時(認知症の疑いが低く、装着者109の意識が鮮明な時)に、認知症の疑いがあることを装着者109本人自身に通知する。これにより、装着者109に、早期に認知症等の異常を自覚させることを支援できる。このとき、病院に行くよう促してもよい。これにより、装着者109に早期の検査、治療を促すことができ、装着者109が、早期に病院に行き、診断、治療を受ける可能性が高まる。これにより、本人が気づくことなく症状が進行することを防止でき、認知症等の病気の進行を、極力遅らせることができる。
【0110】
また、本実施形態のHMD100では、異常の疑いがある場合、確認検査を行い、正解を得るまで通知を繰り返す。これにより、確実に装着者109が正常に判断できる状態に、通知を行うことができる。
【0111】
<変形例1>
なお、上記実施形態では、制御部223は、装着者109に異常が有る事を通知後、確認検査を行っているが、確認検査は必須ではない。すなわち、脳波判定部222により「異常有」と判定された場合、制御部223は、「異常無」と判定されたタイミングで、確認検査無しに異常があることを通知し、装着者109から確認の操作を受け付けるだけでもよい。この場合のディスプレイ133への表示例410aを、図6(b)に示す。
【0112】
ここでは、出力処理部213は、脳波の異常を検出した時刻411と、メッセージ412と、を表示する。さらに、出力処理部213は、確認ボタン表示413等を表示させる。これは、装着者109がメッセージを受け取ったことを確実にするために表示される。なお、入力処理部214は、装着者109による指示を受け付けると、制御部223に通知する。制御部223は、確認ボタン表示413が指示された通知を受け取ると、以後、異常有情報234を削除する。
【0113】
なお、確認ボタン表示413は無くてもよい。
【0114】
本変形例により、装着者109の負担をより少なくし、脳の異常の早期発見を実現できる。
【0115】
<変形例2>
また、上記実施形態では、制御部223は、異常有通知処理を行い、その後、確認検査を行っているが、順序は逆であってもよい。例えば、図8に示すように、制御部223は、ステップS1105において、異常有が記録されている場合、まず、確認検査を行う(ステップS1107)。そして、正解を受け付けた場合(ステップS1108)、制御部223は、異常有通知を行う(ステップS1106)。
【0116】
本変形例により、何度も通知を繰り返さなくてよく、わずらわしさが低減する。
【0117】
<変形例3>
また、上記実施形態では、照合用の脳波データは、一般的な波形を登録しているが、これに限定されない。例えば、正常時の脳波波形は、予め、装着者109の正常時の脳波波形を取得し、登録してもよい。
【0118】
これにより、判定精度を高めることができる。
【0119】
また、脳波判定部222は、予め登録したデータそのものと照合するのではなく、脳波データの形状を解析し、異常の有無を判定してもよい。すなわち、脳波判定部222は、異常時(本実施形態の場合は認知症時)特有の脳波データが得られた場合、認知症の疑いあり、と判定する。例えば、装着者109が覚醒中でありながら徐波(波長の長いδ波等)が出現する場合は、認知症疑い有りと判定する。
【0120】
<変形例4>
また、HMD100は、衝撃を検知した直後に、装着者109に、異常が生じた場合、予め定めた連絡先に通報するよう構成してもよい。
【0121】
行動解析部221は、覚醒中か睡眠中かの解析結果だけでなく、さらに、大きな衝撃を検出した場合、脳波判定部222に通知する。脳波判定部222は、衝撃検知直後に「異常有」と判定した場合、または、脳波が予め定めた状態となった場合、異常発生信号を制御部223に送信する。
【0122】
異常発生信号を送信すべきと判断する脳波の状態は、例えば、脳波に衝撃検知前より、予め定めた閾値より大きい振幅が発生する、生体情報取得センサ156で取得した信号を解析して、検出された異常等である。
【0123】
制御部223は、異常発生信号を受信すると、所定の通報先に通報する。通報先は、例えば、予め記憶部230に登録された親族、警察、病院、警備会社等である。通報は、例えば、通信I/F160を介して、これらの通報先のアドレスにメールを送信する等により行われる。
【0124】
なお、通報は、衝撃を受けた場合に限定されない。例えば、確認検査において、所定回数繰り返しても、正当な入力操作がなされない場合、制御部223は、その旨記録し、外部に通報してもよい。この場合の通報先は、例えば、予め設定した親族、保護者、後見人、病院、保険会社等である。
【0125】
また、所定期間以上、「異常有」との判定が継続した場合、制御部223は、外部に通報してもよい。この場合の通報先は、上記同様、予め設定した親族、保護者、病院、後見人、保険会社等である。
【0126】
<変形例5>
なお、HMD100は、ディスプレイ133と、メインプロセッサ101が実現する各機能部とが分離した、分離型であってもよい。この場合、ディスプレイ133は、表示制御機能と無線または有線の通信I/Fのみを備え、各機能部と通信により信号、データの送受信を行う。
【0127】
例えば、図9(a)に示すように、各機能部は、スマートフォン360や携帯端末装置等の外部装置で実現されてもよい。ディスプレイ133は、無線通信I/Fを介して、信号、データを、携帯端末内の各機能部との間で送受信する。この場合も、有線ケーブルを介してもよい。また、家庭内であれば、各機能部は、PC(Personal Computer)で実現されてもよい。
【0128】
また、一部の機能を実現する外部装置は、図9(b)に示すように、ネットワーク310を介して接続されるサーバ320であってもよい。
【0129】
HMD100は、無線通信I/F161を介して、取得したセンサデータおよび脳波データを、外部装置(サーバ320)に出力する。無線通信I/F161は、無線ルータ330を介してネットワーク310に接続する。
【0130】
HMD100は、装着者109の状態を判定するために用いるセンサ信号を取得すると、無線通信I/F161を介してサーバ320に送信する。また、HMD100は、脳波データを取得すると、無線通信I/F161を介して、サーバ320に送信する。
【0131】
サーバ320側では、送信元毎にセンサ信号と脳波データとを管理する。これらの信号およびデータは、例えば、サーバ320がアクセス可能な記憶装置340で管理される。サーバ320は、所定の時間間隔で、送信元毎に、上述の分析評価処理を行い、送信元に分析結果を通知する。
【0132】
なお、本実施形態の脳波分析に係る各処理は、どの処理をサーバ320等の外部装置が受け持ち、どの処理をHMD100側で受け持つかは、任意に決定できる。
【0133】
例えば、行動解析部221および脳波判定部222の機能をサーバ320が担い、HMD100は、制御部223の機能を実行する。この場合、サーバ320は、所定の時間間隔で脳波の異常の有無を判定し、判定毎にHMD100に判定結果を通知する。HMD100は、判定結果が「異常有」の場合、記憶部230に異常有情報234を記録し、その後、判定結果が「異常無」の場合、装着者109に通知する。
【0134】
また、分析処理部220の全ての機能をサーバ320が担ってもよい。この場合、サーバ320はHMD100に対し、出力情報を送信する。HMD100は、サーバ320から出力情報を受信すると、そのタイミングで、出力処理部213が「異常有」を装着者109に通知するための出力を行う。
【0135】
なお、サーバ320から受信する出力情報は、例えば、脳波の異常を通知するメッセージそのものであってもよいし、異常有を示す信号であってもよい。後者の場合、HMD100側で、予め定めたメッセージを生成し、出力する。
【0136】
なお、サーバ320側で用いる照合用脳波233は、状態毎(覚醒中、睡眠中)の格納に限定されない。例えば、年齢、性別、既往症等の属性情報により区分し、格納してもよい。この場合、装着者109の属性情報は、予めサーバ320に登録し、サーバ320は、判定時に当該登録情報に基づいて、使用する照合用脳波233を決定する。
【0137】
また、上記変形例同様、装着者109の正常時の脳波データを、サーバ320に照合用脳波233として登録しておいてもよい。
【0138】
なお、行動解析部221の機能を備える行動解析装置、脳波判定部222の機能を備える脳波判定装置、および制御部223の機能を備える制御装置として、本実施形態のHMD100が備える各機能それぞれが独立した装置で実現され、全体として、本実施形態のHMD100と同じ処理を行うユーザ支援システムを構成してもよい。
【0139】
<変形例6>
また、上記実施形態や変形例では、所定の時間間隔で、装着者109の脳波の異常の有無を判定しているが、異常の有無の判定タイミングは、これに限定されない。例えば、バッチ処理とし、一日のデータを収集後、異常の有無を判定してもよい。そして、「異常有」の期間がある場合、異常有情報を、記録する。そして、翌日、装着者109がHMD100を装着したタイミングで通知処理を行う。この場合は、必ずしも正常時に通知がなされるとは限らないので、必ず、確認検査、または、「確認」ボタンの表示を行う。
【0140】
<<第二実施形態>>
次に、本発明の第二実施形態について説明する。第一実施形態では、脳波の異常、例えば、認知症の疑いがある場合、それを、装着者109本人に通知する。本実施形態では、脳波の異常が発見された場合、HMD100に搭載されている所定のアプリケーションプログラム(以下、単にアプリケーションと呼ぶ。)に制限をかける。
【0141】
本実施形態では、HMD100は、脳波に異常が有る場合、装着者109は正常な判断ができる状態ではないと判断し、制限が必要と想定される機能を装着者109が操作できないようにする。例えば、メニュー画面に決済等がある金融系、ショッピング系のアプリケーションのアイコンを表示しない。または、アプリケーションの個別設定により決済等の機能を制限する。
【0142】
以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
【0143】
本実施形態のHMD100の外観、ハードウェア構成は、第一実施形態と同様である。また、本実施形態の機能構成も、第一実施形態と同様である。ただし、本実施形態では、制御部223の処理が異なる。また、図10に示すように、制御部223の処理のために、後述する指示設定236が、予め記憶部230に記憶される。
【0144】
制御部223は、脳波判定部222が「異常有」と判定した場合、第一実施形態同様、異常有情報を記録する。さらに、制御部223は、アプリケーションの動作を制限する処理(アプリ設定処理)を行う。なお、アプリ設定処理では、脳波判定部222が「異常無」と判定した場合、「異常有」と判定した際に設定された制限を解除する処理を行う。
【0145】
具体的には、予め定めた指示設定236に従って、HMD100にインストールされている各種アプリケーションに対し、制御信号(制限信号)を出力する。本実施形態では、制御部223は、例えば、起動を停止する起動停止信号、アプリケーションの設定を変更する設定変更信号を、指示設定236に従って、各アプリケーションに出力する。
【0146】
ここで、指示設定236の例を図11(a)に示す。指示設定236では、HMD100にインストールされているアプリケーション(名称)236a毎に、異常有時の制限の要否を示す異常時制限236bと、アプリケーション側で対応しているか否か(有無)を示すがアプリ対応236cと、が登録される。
【0147】
制御部223は、異常時制限236bに「要」が登録され、アプリ対応236cに、「無」が登録されている場合、そのアプリケーションは、制限を行う必要があるが、アプリケーション側で制限を行う用意はない、と判断する。そして、制御部223は、当該アプリケーションに対し、直接、起動を停止させる起動停止信号を出力する。
【0148】
制御部223は、異常時制限236bに「要」が登録され、アプリ対応236cに、「有」が登録されている場合、そのアプリケーションは、制限を行う必要があり、アプリケーション側で制限を行う機能がある、と判断する。そして、制御部223は、そのアプリケーションに対し、設定変更信号を出力する。
【0149】
制御部223は、異常時制限236bに「不要」が登録されている場合、そのアプリケーションは、制限を行う必要がない、と判断し、そのアプリケーションに対しては、制限信号を出力しない。
【0150】
本図の例では、〇〇銀行のアプリケーションについては、異常時制限236bは「要」、アプリ対応236cは「無」が登録される。××イベントのアプリケーションについては、異常時制限236bは「不要」、アプリ対応236cは「無」が登録される。また、△△ショッピングのアプリケーションについては、異常時制限236bは「要」、アプリ対応236cは「有」が登録される。
【0151】
従って、制御部223は、「異常有」と判定された場合、〇〇銀行のアプリケーションに対しては、起動停止信号を出力し、△△ショッピングのアプリケーションについては、設定変更信号を出力する。一方、××イベントには、制限信号を出力しない。
【0152】
起動停止信号を受信したアプリケーションは、装着者109が起動指示を行ったとしても、起動させない。なお、起動停止信号を受信したアプリケーションは、メニュー表示にアイコンの表示を停止してもよい。
【0153】
設定変更信号を受信したアプリケーションは、予め定めた機能に対し、使用できないようロックする。例えば、△△ショッピングのアプリケーションでは、決済機能をロックする。これにより、装着者109は、このアプリケーションを起動させて商品を閲覧(ブラウジング)は可能であるが、決済はできない。
【0154】
通常時のメニュー表示例420と、「異常有」、と判定された場合(異常時)のメニュー表示例420aとを、それぞれ、図11(b)および図11(c)に示す。
【0155】
これらの図に示すように、起動停止信号を受けている〇〇銀行のアプリケーションのアイコン421は、通常時のメニュー表示例420には表示されるが、異常時の表示例420aには、表示されない。一方、設定変更信号を受けている△△ショッピングのアプリケーションのアイコン422は、いずれのメニュー表示例420,420aにも表示される。ただし、起動は可能であるが、制限された機能は使用できない。制限される機能は、例えば、決済機能などである。すなわち、△△ショッピングのアプリケーションにより、商品のブラウジングはできるが、決済はできない、等である。なお、起動停止信号も、設定変更信号も受けていない××ペイントのアプリケーションのアイコン423は、いずれのメニュー表示例420,420aにも表示される。また、全ての機能がそのまま実行可能である。
【0156】
なお、制御部223は、起動停止信号および制御指示信号を送信したアプリケーションを記録する。そして、正常と判断された場合、異常有通知を行うとともに、これらの設定を解除する。具体的には、起動停止信号を送信したアプリケーションに対しては、起動停止解除信号を送信し、制御指示信号を送信したアプリケーションには、制御解除信号を送信する。起動停止解除信号は、起動を一時停止していたアプリケーションの起動停止を解除する信号であり、制御解除信号は、制御指示により停止されていた機能の停止を解除する信号である。両信号を併せて解除信号と呼ぶ。
【0157】
[分析評価処理]
本実施形態の分析評価処理の流れを、図12に示す。本処理は、第一実施形態同様、所定の時間間隔で行われる。以下、第一実施形態と異なる処理について主眼をおいて説明する。
【0158】
本実施形態では、「異常有」と判定された場合、制御部223は、異常有情報234を記録するだけでなく、指示設定236に従って、HMD100にインストールされている各アプリケーションに対して制限信号を送信するアプリ設定処理を行い(ステップS2101)、処理を終了する。
【0159】
一方、「異常無」と判定された場合、制御部223は、まず、異常有情報234が記録されているか否かを判定する。そして、異常有情報234が記録されている場合、第一実施形態同様、制御部223は、確認検査で正解を得るまで、異常有通知処理と確認検査とを繰り返す。正解を得ると、第一実施形態同様、制御部223は、異常有情報を削除(ステップS1109)、アプリ設定処理がなされたアプリケーションの有無を判別し(ステップS2102)する。該当するアプリケーションがある場合、解除信号を送信することにより当該アプリケーションの設定を解除し(ステップS2103)、処理を終了する。該当するアプリケーションがない場合は、そのまま処理を終了する。
【0160】
これにより、装着者109が、メニュー画面を起動させた際、その時点で設定された態様で、各アプリケーションのアイコンが表示される。
【0161】
以上説明したように、本実施形態のHMD100は、脳波判定部222の判定結果が「異常有」の場合、予め定めたアプリケーションに対し、処理を制限する指示を出力する。
【0162】
このように、本実施形態によれば、装着者109に通知するだけでなく、HMD100の機能も制限する。これにより、脳波に異常が発生している状態で、装着者109が意に反して処理をすることを低減できる。
【0163】
<変形例7>
なお、上記実施形態では、予め、各アプリケーションについて、指示設定236を登録し、登録内容に従って、制御部223が対応するアプリケーションに対して制限信号を出力する。しかしながら、予め指示設定236を登録せず、制御部223が各アプリケーションの属性情報等から要否を判定し、必要な制限信号を出力するようにしてもよい。制御部223は、例えば、アプリケーションのプロパティに設定があれば、その設定を使用する。
【0164】
<変形例8>
なお、本実施形態において、異常判定がなされた場合、すぐに、アプリケーション設定処理を行っているが、この手法に限定されない。異常有情報234の記録とアプリ設定処理とは独立して行ってもよい。
【0165】
すなわち、制御部223は、異常有情報234の記録と、通知に関しては、第一実施形態と同様に図7等の処理フローに従って行う。そして、アプリ設定処理は、メニュー表示の指示、または、アプリケーションの起動指示を受け付けた場合に行う。制御部223は、異常有情報234が記録されている場合、指示設定236を参照し、該当するアプリケーションに対し、上記アプリ設定処理を行う。また、異常有情報234が削除された場合、アプリ設定がなされているアプリケーションの有無を判別し、該当するアプリケーションがある場合、設定解除を行う。
【0166】
<変形例9>
さらに、HMD100を他の外部機器と同期させている場合、アプリケーションの設定も、同期させてもよい。1以上の外部機器と同期している場合、制御部223は、起動停止信号、制御指示信号、起動停止解除信号、制御解除信号等の制御信号を、同期している全ての機器に送信する。
【0167】
例えば、図13に示すように、HMD100が、スマートフォン360およびスマートウォッチ370と同期している場合、制御部223は、上記各制御信号を、通信I/F160を介して、これらの機器にも出力する。
【0168】
なお、スマートフォン360およびスマートウォッチ370との通信はBluetooth等の近距離無線通信でもよいし、無線ルータを介したWi-Fi通信等でもよい。
【0169】
同期する外部機器については、予めHMD100に登録する。
【0170】
本変形例によれば、脳波に異常が有ると判定された場合、スマートフォン360やスマートウォッチ370等の登録された外部機器においてもHMD100と同様に機能制限を行うことができる。
【0171】
なお、予め定めた後見人が外部機器を操作する場合、後見人が制限を解除可能なように構成してもよい。この場合、予め後見人のID、パスワード等の認証情報を、当該外部機器に登録しておく。そして、装着者109の脳波に異常有と判定され、登録された外部機器の機能が制限された場合、この後見人は、当該外部機器に認証情報を入力する。当該外部機器は、認証情報により認証が成功した場合、HMD100からの指示による制限を解除する。なお、各外部機器では、制限を解除後、一定時間操作されない場合、再度制限のある状態としてもよい。
【0172】
<変形例10>
HMD100本体で、アプリケーションの機能を制限するのではなく、当該アプリケーションのサービス提供元のサーバに信号を送信し、機能を制限してもよい。すなわち、HMD100内のアプリケーションに対して、起動停止信号や設定指示信号等の制限信号を送信するのではなく、当該アプリケーションのサービスを提供する提供元のサーバに対して制限を要求する信号(制限要求信号)を送信する。
【0173】
この場合、制御部223は、予め定めたアプリケーションの処理を監視する機能、および、監視対象アプリケーションが予め定めた処理を行った場合、当該アプリケーションのサービス提供元のサーバに対し、制限要求信号を送信する。
【0174】
本実施形態では、上記指示設定236に関し、アプリ対応236cの変わりに、図14(a)に示すように、監視対象処理237dが登録される。
【0175】
制御部223は、異常有情報234が記録されている間、例えば、指示設定236で、異常時制限236bに「要」が登録されているアプリケーションの、監視対象処理236dに登録されている処理を監視する。
【0176】
そして、制御部223は、異常有情報234が記録されている間に、該当アプリケーションにおいて、監視対象処理236dが行われた場合、サービス提供元のサーバに対し、制限要求信号を送信する。なお、制御部223は、制限要求信号を送信したサーバを記録しておく。そして、制御部223は、異常有情報234が削除された場合、記録されたサーバに対し、制限解除要求信号を送信する。制限解除要求信号は、制限を解除する要求である。
【0177】
以下、本変形例について、具体例で説明する。ここでは、図14(b)に示すように、装着者109が、△△ショッピングのアプリケーションを利用する場合を例に説明する。本アプリケーションのサービス提供元のショッピングサーバ380と、決済サーバ390とは、ネットワーク310を介してHMD100と接続されている。
【0178】
以下、本変形例を、HMD100と、ショッピングサーバ380との間の信号の送受信の具体例で説明する。図15は、本変形例の処理の流れを説明する図である。なお、HMD100にインストールされた△△ショッピングのアプリケーションを、以下、ショッピングアプリと呼ぶ。
【0179】
ショッピングアプリは、ショッピングサーバ380に購入要求を送信する(ステップS2201)。それに応じ、ショッピングサーバ380は、送信元のHMD100に対し、ユーザ情報要求を送信する(ステップS2202)。
【0180】
制御部223は、監視対象のアプリケーションにおいて、監視対象の処理がなされたことを検知すると、まず、異常有情報234が記録されているか否かを判別する(ステップS2203)。
【0181】
異常有情報234が記録されている場合、制御部223は、ショッピングサーバ380に制限要求信号を送信する(ステップS2204)。このとき、ショッピングアプリは、制限要求信号を送信したことを記録しておく。
【0182】
制限要求信号を受信すると、ショッピングサーバ380では、制限設定処理を行う(ステップS2205)。制限設定処理は、要求元からのアクセスに対して予め定めた制限を行うとともに、要求元からの決済要求を受け付けないよう決済サーバ390に通知する処理である。制限は、例えば、要求元のHMD100からの購入確定要求を受け付けない等である。
【0183】
ショッピングサーバ380は、制限設定処理を終えると、制限完了信号をショッピングアプリに送信する(ステップS2206)。制限完了信号を受信したショッピングアプリは、通常のショッピング処理を継続する。ここでは、例えば、ユーザ情報と認証情報とをショッピングサーバ380に送信し(ステップS2211)、認証を受ける(ステップS2212)。
【0184】
ただし、この場合、ステップS2205で制限された処理は実行できない。例えば、購入を確定し、決済に進むことはできない。
【0185】
一方、異常有情報234が記録されていない場合、ショッピングアプリは、そのまま、ステップS2211,S2212の通常のショッピング処理を継続する。
【0186】
その後、異常有情報234が消去されると、制御部223は、制限要求信号を送信した記録があるサーバに対し、制限解除要求を送信する。
【0187】
なお、制限解除要求の送信は、このタイミングに限定されない。例えば、その後、装着者109がHMD100上の同じショッピングアプリを介して、監視対象処理(例えば、購入要求)を送信したときであってもよい。この場合、制御部223は、異常有情報が登録されてなく、制限要求信号を送信した記録がある場合、制限解除を要求する制限解除要求信号を送信する。
【0188】
制限解除要求信号を受け、ショッピングサーバ380は、制限解除処理を行う。制限解除処理は、要求元からのアクセスに対する制限を解除するとともに、決済サーバ390にもその旨通知する処理である。
【0189】
これにより、「異常有」、と判定された時に、装着者109がショッピングサイト(ショッピングサーバ380)等に購入要求をした際、ショッピングサイト側で適切な制限を行うことができる。また、決済も制限を設けることができる。
【0190】
なお、制御部223が、制限要求信号を送信する前に、ショッピングアプリは、装着者109のユーザ情報を送信してもよい。これにより、ショッピングサーバ380側では、ユーザ情報に基づいて、制限の種類や決済の可否を判断してもよい。
【0191】
さらに、ショッピングサーバ380は、制限要求信号を受信した際、要求元のHMD100の装着者109に対し、確認検査を行ってもよい。確認検査は、第一実施形態の確認検査と同様とする。
【0192】
ショッピングサーバ380は、質問を、要求元のHMD100に送信する。そして、HMD100からの応答を待つ。制御部223は、送信された質問をディスプレイに表示し、所定の時間内に回答を受け付ける。そして、制御部223は、所定時間内に回答を受け付けると、受け付けた回答を、ショッピングサーバ380に送信する。一方、所定時間内に回答を受け付けなかった場合、制御部223は、受け付けなかったことをショッピングサーバ380に送信する。
【0193】
ショッピングサーバ380は、受信した回答に関し、回答無しも含め、その正否を判定する。正解であれば制限設定処理を行わず、それ以外の場合は、制限設定処理を行う。
【0194】
なお、本実施形態においても、第一実施形態の各種の変形例は、異常の有無の判定をバッチ処理で行う変形例以外は、適用可能である。逆に、本実施形態においては、「異常有」と判定した場合、装着者109に異常があったことを通知しなくてもよい。
【0195】
<<第三実施形態>>
次に、本実施形態の第三実施形態を説明する。本実施形態では、装着者109の脳波に「異常有」と判定された場合、装着者109の行動を支援するアプリケーションプログラム(支援アプリケーションプログラム。以下、単に支援アプリケーションと呼ぶ。)を自動的に起動させる。
【0196】
すなわち、「異常有」と判定された場合、装着者109は、行動の判断ができない可能性があるとして、支援アプリケーションを起動させる。起動させる支援アプリケーションは、その時点での装着者109の行動に応じて予め定めておく。
【0197】
例えば、認知症の疑いがある場合、すなわち、脳波に「異常有」と判定されたとき、装着者109が外出中の場合、支援アプリケーションとして道案内アプリケーションを起動させる。これにより、HMD100は、通常ガイドが必要のないいつも通る道等においても、方向指示等のガイドを出す。ガイドは表示するとともに、音声でも行うことで、より装着者にガイドが出ていることを気が付きやすくできる。
【0198】
また、家の中で覚醒中の場合、例えば、台所でIHクッキングヒータを使っている場合、支援アプリケーションとして家電制御アプリケーションを起動し、IHクッキングヒータのパワーをオフする制御を行う。また、家庭内の案内を行ってもよい。
【0199】
以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
【0200】
本実施形態のHMD100の外観、ハードウェア構成は、第一実施形態と同じである。また、本実施形態の機能構成も、第一実施形態と同様である。ただし、本実施形態では、行動解析部221および制御部223の処理が異なる。また、図16に示すように、制御部223の処理のために、後述する支援アプリデータベース(DB)237が、予め記憶部230に記憶される。
【0201】
行動解析部221は、装着者109が覚醒中か睡眠中か、だけでなく、覚醒中の場合、装着者109の現在位置を特定する。特定する現在位置は、自宅外(外出中)か、在宅であるか、在宅である場合は、さらに、どの居室にいるか、等である。特定結果は、制御部223に出力する。現在位置は、例えば、GPS受信機151から得る信号に基づいて特定する。また、外出中か在宅であるか否かは、装着者109の自宅の住所に基づいて特定する。
【0202】
制御部223は、脳波判定部222が「異常有」と判定した場合、第一実施形態同様、異常有情報234を記録する。さらに、制御部223は、予め定めた支援アプリケーションに対し、起動信号を送信する処理(アプリ起動処理)を行う。なお、アプリ起動処理では、脳波判定部222が「異常無」と判定した場合、「異常有」と判定した際に起動された支援アプリケーションを停止する処理を行ってもよい。
【0203】
アプリ起動処理で起動する支援アプリケーションは、装着者109の現在位置に応じて予め定められる。このため、本実施形態では、装着者109の現在位置に応じて、起動する支援アプリケーションが登録される支援アプリDB237を備える。
【0204】
ここで、支援アプリDB237の例を、図17(a)に示す。支援アプリDB237では、装着者109の現在位置237a毎に、起動する支援アプリケーション237bが登録される。さらに、必要に応じて、起動する支援アプリケーションに設定する詳細設定237cが登録される。登録される支援アプリケーションは、HMD100にインストールされているアプリケーションであって、装着者109の行動を支援するアプリケーションである。
【0205】
なお、ここでは、外出中の場合は、起動する支援アプリケーション237bとして道案内アプリケーションが登録され、詳細設定237cとして、目的地に自宅が登録される。なお、現在位置と自宅との距離に応じて、異なる設定をしてもよい。例えば、異なる目的値を設定する。具体的には、現在位置が、自宅から所定距離以上離れている場合、近くの交番等の公共機関を目的地としてもよい。
【0206】
また、在宅の場合、起動する支援アプリケーション237bとして、家電制御アプリケーションが登録される。そして、現在位置が台所の場合は、IHクッキングヒータを停止する制御を行い、居間である場合は、1時間後にTVをOFFする制御を行う等の詳細設定237cが登録される。
【0207】
例えば、外出中に「異常有」と判定された場合、道案内アプリケーションが起動される。この場合の、ディスプレイ133上の表示例およびスピーカ141への出力音声例を、図17(b)に示す。
【0208】
道案内アプリケーションでは、例えば、進方向をAR表示するなどし、装着者109を支援する。さらに、本図の例では、起動される道案内アプリケーションは、表示にて道案内を行うだけでなく、音声も併用し、装着者109を支援する。
【0209】
[分析評価処理]
本実施形態の分析評価処理の流れを、図18に示す。本処理は、第一実施形態同様、所定の時間間隔で行われる。以下、第一実施形態と異なる処理に主眼をおいて説明する。
【0210】
まず、本実施形態では、行動解析部221は、行動解析において、装着者109の現在位置情報も取得する(ステップS3101)。
【0211】
また、「異常有」と判定された場合、制御部223は、異常有情報234を記録するだけでなく、支援アプリDB237に定められた支援アプリケーションを起動し(ステップS3102)、処理を終了する。この際、制御部223は、行動解析部221が特定した、装着者109の現在位置の情報を用いる。このとき、必要に応じて詳細設定237cに登録されたパラメータを設定する。
【0212】
一方、「異常無」、と判定された場合、制御部223は、第一実施形態同様、異常有情報234が記録されているか否かを判定する。そして、異常有情報234が記録されている場合、制御部223は、まず、確認検査で正解を得るまで、異常有通知と、確認検査とを繰り返す(ステップS1106,S1107,S1108)。そして、確認検査で正解を得た場合、異常有情報234を削除するとともに、起動されている支援アプリケーションを停止させ(ステップS3103)、処理を終了する。なお、支援アプリケーションが起動されていない場合は、異常有情報234を削除し、処理を終了する。
【0213】
以上説明したように、本実施形態のHMD100では、脳波判定部222が「異常有」と判定した場合、制御部223は、装着者109の現在位置に応じて、予め定めた支援アプリケーションを起動させる。
【0214】
このように、本実施形態によれば、脳波に異常が発見された装着者109に対し、適切な支援を行うことができる。
【0215】
<変形例11>
また、上記実施形態では、脳波判定部222が「異常有」と判定した場合、HMD100は、支援アプリケーションを起動させる。ここで、支援アプリケーションとして、行動ログを記録する行動ログ記録するアプリケーションを起動させてもよい。行動ログは、例えば、覚醒中の場合のみ記録してもよい。
【0216】
この場合の処理の流れを、図19に示す。ここでは、行動解析においては、装着者109が、第一実施形態同様、覚醒中であるか否かのみを解析し、また、覚醒中のみ、行動ログを記録する場合を例にあげて説明する。
【0217】
本図に示すように、脳波判定部222が「異常有」と判定した場合、制御部223は、異常有情報234を記録後、覚醒中であるか否かを判別する(ステップS3201)。覚醒中であれば、制御部223は、行動ログを記録するよう指示を出力する(ステップS3202)。例えば、行動ログを記録するアプリケーションに向けて起動指示を出す。1つのアプリケーションでなくても、例えば、録音アプリケーション、動画撮影アプリケーション、操作記録アプリケーション、撮影アプリケーション等、予め定めた、行動ログを得ることができる複数のアプリケーションに向けて起動指示、動作開始指示を行ってもよい。なお、覚醒中でなければ、行動ログを記録せず、処理を終了する。
【0218】
また、「異常無」と判定された場合、制御部223は、異常有通知処理において、異常が有ることだけでなく、行動ログも通知する(ステップS3203)。なお、制御部223は、このとき、全ての行動ログを通知する必要はなく、予め定めた行動ログのみ通知してもよい。また、行動ログ自体を通知するのではなく、行動ログが記録されていることを通知してもよい。
【0219】
この場合のディスプレイ133上の表示例410bを、図6(c)に表示例410bとして示す。ここでは、表示例410の表示に加え、行動ログがあることを示すメッセージやアイコン415等が表示される。例えば、装着者109から、アイコン415の選択を受け付けると、制御部223は、行動ログを表示するよう構成してもよい。
【0220】
その後、制御部223は、確認検査を行い(ステップS1107)、正解を受け付けた場合、正解したら、異常有情報234を削除するとともに、ログ記録を停止し(ステップS3204)、処理を終了する。
【0221】
記録する行動ログは、時刻を含む映像、音声、移動経路等である。予め、行動ログ記録アプリケーションをインストールし、当該アプリケーションを起動するだけで、必要な情報を全て記録するよう構成してもよい。また、映像は、アウトカメラ132を起動させて記録してもよい。音声は、マイク142を起動させて記録してもよい。移動経路は、GPS受信機151で受信した現在位置情報を時間に対応づけて記録してもよい。
【0222】
音声の記録は、例えば、会話だけでなく、通話による音声も記録してもよい。記録は音声として録音してもよいし、テキスト化して保存してもよい。この場合は、音声をテキスト化するアプリケーションをインストールし、当該アプリケーションも併せて起動させる。
【0223】
映像の記録においては、アウトカメラ132により、相手の顔画像を取得する。画像認識、照合アプリケーションがインストールされている場合、顔画像の顔領域を解析し、相手を特定してもよい。特定は、予め登録されている人物の範囲で行われる。
【0224】
なお、取得した映像を解析し、装着者109の手に触れているもの、持っているもの、持っていたけれども所定期間後、手からはなれたもの等を特定してもよい。
【0225】
また、HMD100の操作情報として、ボタンスイッチ121の操作記録を行動ログとして保持してもよい。さらに、加速度センサ154等の出力を処理し、HMD100に所定以上の衝撃が与えられた場合、その時刻、与えられた衝撃の強さ等を記録してもよい。さらに、記録した映像を全て保存するのではなく、所定以上の衝撃があった場合、その前後所定期間の映像を保存するよう構成してもよい。
【0226】
このように、本変形例によれば、脳波判定部222により「異常有」と判定された場合、その間の装着者109の行動ログを収集し、正常時に通知する。これにより、装着者109は、脳波の状態が正常でない間の自身の行動を把握できる。
【0227】
本変形例において、装着者109の現在位置に応じて、記録する行動ログを変えてもよい。この場合は、ステップS1101の行動解析の代わりに、ステップS3101の行動解析を行い、装着者109の現在位置を特定する。
【0228】
また、本変形例において、行動ログの記録だけでなく、さらに、支援アプリDB237に登録されている支援アプリケーションを起動してもよい。
【0229】
本実施形態においても、第一実施形態の各変形例は、異常の有無の判定をバッチ処理で行う変形例以外は、適用可能である。また、本実施形態では、第二実施形態と組み合わせてもよい。さらに、本実施形態においても、「異常有」と判定した場合、装着者109に異常があったことを通知しなくてもよい。
【0230】
<<第四実施形態>>
なお、上記各実施形態および変形例では、脳波の異常が認知症の場合を例にあげて説明した。しかしながら、脳波の異常が発生する要因は、認知症に限定されない。例えば、脳波に異常が発生する要因が生じた場合のみ、脳波の判定を行うよう構成してもよい。
【0231】
記憶機能に異常が発生する例として、例えば、飲酒等がある。飲酒等で記憶機能に異常が発生する場合、脳波は、アルツハイマー型認知症と同様な波形状態を示す。
【0232】
以下、本実施形態では、要因として飲酒を例にあげて説明する。すなわち、本実施形態のHMD100では、装着者109が飲酒を行ったと判定した場合、上記各実施形態のように、所定の時間間隔で脳波の異常の有無を判定する。そして、「異常有」と判定された場合、その後の行動を記録する。そして、装着者109が正常時に行動を通知する。なお、行動の記録は、行動ログであってもよいし、映像記録でもよい。
【0233】
以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
【0234】
本実施形態のHMD100の外観、ハードウェア構成は、第一実施形態と同様である。また、本実施形態の機能構成も、第一実施形態と同様である。ただし、本実施形態では、各部の機能が異なる。
【0235】
行動解析部221は、装着者109が覚醒中か睡眠中か、だけでなく、装着者109が飲酒を行ったか否かを判定する。そして、飲酒有り、と判定した場合、飲酒有記録を記録する。
【0236】
行動解析部221は、例えば、アウトカメラ132で取得した画像を解析することにより、飲酒の有無を判定する。具体的には、飲酒判定は、装着者109のカメラ映像から、お酒を飲んでいる(瓶、缶、容器:グラス、ジョッキ、おちょこ等)ことを検出した場合、飲酒有り、と判定する。
【0237】
また、センサ150として、アルコール検知センサをさらに備え、当該センサの出力により判定してもよい。また、HMD100に登録される、装着者109のスケジュール(歓迎会、新年会、飲み会等の設定)に基づいて、判断してもよい。
【0238】
なお、装着者109が飲酒を申告するよう構成してもよい。装着者109が申告する場合、制御部223は、例えば、入力画面を生成してディスプレイ133に表示させる。そして、装着者109からの申告を受け付ける。
【0239】
本実施形態の脳波判定部222は、行動解析部221から、装着者109が飲酒をしたとの通知を受け付けると、脳波に異常が有るか否かの判定を開始する。脳波判定部222は、上記各実施形態同様、所定の時間間隔で、判定を行う。
【0240】
制御部223は、「異常有」と判定された場合、異常有情報234を記録するとともに、行動ログの記録の開始を指示する。記録内容は、例えば、第三実施形態の変形例と同様である。
【0241】
以下、本実施形態のHMD100による処理の流れを、図20に沿って説明する。本処理は、HMD100が起動されると開始される。
【0242】
まず、行動解析部221は、所定の時間間隔で、飲酒の有無を検出する(ステップS4101)。
【0243】
飲酒有りを検出すると、脳波判定部222は、所定の時間間隔で、脳波の照合を行う(ステップS4102,S1102)。
【0244】
脳波判定部222が「異常有」と判定した場合、制御部223は、異常有情報234を記録し(ステップS1104)、行動ログを記録するよう、該当アプリケーションや各種の機能に向けて指示を出力する(ステップS4103)。詳細は、上記第三実施形態の変形例と同じである。その後、HMD100は、ステップS4102へ戻り、判定処理から繰り返す。
【0245】
一方、ステップS1103において、「異常無」と判定された場合、制御部223は、異常有情報234が記録されているか否かを判別する(ステップS4111)。
【0246】
異常有情報234が記録されている場合、制御部223は、「異常無」と判定したタイミングから所定期間が経過するのを待つ(ステップS4112)。これは、「異常有」状態から「異常無」状態になった際、一定時間は行動ログの記録を行うためである。
【0247】
所定期間が経過したら、制御部223は、異常有情報234および記録した行動ログを、装着者109に通知する。これを、確認テストで正解を得るまで、繰り返す(ステップS4113,S1107,S1108)。その後、制御部223は、行動ログの記録を停止し、異常有情報を削除し(ステップS4114)、ステップS4101へ戻る。
【0248】
以上説明したように、本実施形態のHMD100によれば、脳波判定部222は、例えば、飲酒等、予め定めた行動を装着者109が行った際、脳波の判定を開始する。そして、「異常有」との判定がなされた場合、正常時に装着者109に通知する。また、本実施形態のHMD100は、「異常有」と判定がなされた場合、装着者109の行動ログを記録し、正常時に装着者109に通知する。
【0249】
例えば、飲酒等、予め定めた所定の行為によって、装着者109の脳波に認知症と類似の記憶障害が疑われるような異常が発生した場合であっても、本実施形態のHMD100によれば、適切にその異常を検出でき、必要な処置をとることができる。すなわち、本実施形態によれば、装着者109が飲酒を行い、脳波に記憶障害に類似の異常が発生した場合、自動的に行動ログを記録する。そして、正常時に行動ログを確認することができる。このため、装着者109は、記憶障害発生期間の自己の行動を把握でき、必要に応じて適切な対処を行うことができる。
【0250】
特に、本実施形態では、「異常有」との判定から「異常無」との判定に変化した場合であっても、一定期間、行動ログを記録する。このため、脳波には異常はみられなくても、装着者109の感覚があいまいな状態の行動ログも記録される。
【0251】
<変形例12>
なお、飲酒の有無を、装着者109からの申告で判断する場合は、装着者109からの申告があったことを契機に、上記処理をステップS4101の後から開始する。
【0252】
本実施形態においても、第一実施形態の各、異常の有無の判定をバッチ処理で行う変形例以外は、変形例は適用可能である。
【0253】
<変形例13>
なお、上記各実施形態および変形例では、脳波を頭部で検出している。しかしながら、脳波の検出は、これに限定されない。近年、脳波を腕や手の皮膚表面から読み取る技術例えばBodyWave Technologyが開発されている。この技術を実装した、例えば、スマートウォッチ等のウェアラブル端末や、スマートフォン等で脳波を検出してもよい。
【0254】
図21(a)および図21(b)に、上記技術を実装したスマートフォン610の一例を示す。
【0255】
図21(a)は、スマートフォン610の背面620に、2極の脳波測定用電極631、632が配置される例である。また、図21(b)は、スマートフォン610の、両側面640,650に、それぞれ、2極の脳波測定用電極631,632が配置される例である。
【0256】
誘導方法は双極誘導であり、2つの電極から導出した電位差により脳波を測定する。電極631、632は、背面620または両側面640、650の、手が触れ易い部分に配置する。
【0257】
なお、図21(a)および図21(b)では2つの電極631、632を搭載しているが、2つ以上の電極を配置し、手が触れた部分の2か所を自動で選択して測定してもよい。また、背面620は、ディスプレイが配置される面(前面)と反対側の面である。
【0258】
ここで、図21(a)および図21(b)に示す電極をすべて実装するようにしても良いし、それらを混在させた形態にしても良い。例えば、背面620に1箇所、側面640,650のいずれかに1箇所、あるいは背面620に1箇所、側面640.650に2箇所等混在させて配置してもよい。
【0259】
さらに、非接触状態で電位を検出可能な電極を用いてもよい。この場合の電極の配置例を、図21(c)に示す。この場合、電極631,632は、例えば、スマートフォン610の前面660の、ディスプレイ671の上部のスピーカ672の両脇に配置する。
【0260】
例えば、ボディーエリアネットワーク用の非接触電極が開発されている。これは、この技術を使用した場合の電極配置例である。着信があった時に耳の付近にスマートフォン610の前面660のスピーカ672を近づけることで、ユーザの脳波の電位を導出できる。非接触電極のため頭部に電極を接触させる必要はない。
【0261】
なお、各電極631,632は、アンプ、ADC、通信モジュールを備え、導出した電位を一方の電極から他方の電極に送信することができる。これらの電極631,632では、電極631,632と頭部との間に絶縁物があっても電位を導出できる。
【0262】
<変形例14>
さらに、検出対象の異常が、認知症である場合、脳波以外の情報で判定してもよい。例えば、装着者109(ユーザ)の表情等を用いて判定する。特に、目の表情や動きが用いられる。例えば、表示部(ディスプレイ)に表示した目標物を移動させた時の、装着者109の目の、目標物に対する追尾状況により、脳の状態が正常か異常かを判定する。目標物は、例えば、ポインタやアイコン等である。また、装着者109の目の追尾状況は、インカメラ131で取得した装着者109の目の画像を解析することにより、判断する。解析手法は問わない。
【0263】
この場合、目標物の表示は、例えば、覚醒時に定期的に行う。あるいは、装着者109が座る等の静止した状態が一定時間続いた後に、目標物の表示を開始してもよい。また、目標物を表示したことを装着者109に分かり易くするため、目標物を点滅させたり、音での通知を行ったりしてもよい。
【0264】
<変形例15>
なお、上記各実施形態および変形例において、覚醒中の行動状態には、正確な脳波の計測が難しい状態がある。そのため、計測対象者がある一定以上の動き中は脳波を計測しない等の対応がとられることがある。この場合、照合用脳波233の脳波233b、233cは、計測対象者の動きが所定の範囲内で取得されたものである。
【0265】
例えば、照合用脳波233に、脳波データを取得する場合の動き量の最大値を予め定めた計測単位で記録しておく。そして、行動解析部221は、その最大値を参照し、検出した装着者109の動きが、当該最大値以上の場合は、判定不可との判断をするよう構成してもよい。
【0266】
以上の各実施形態および変形例では、HMD100、スマートフォン610、スマートウォッチ等を例にあげて説明したが、本発明は、これに限らず、少なくともユーザの脳波を取得でき、通知機能のある携帯情報端末に対して適用可能である。
【0267】
また、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0268】
さらに、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。
【0269】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0270】
100:HMD、101:メインプロセッサ、102:システムバス、109:装着者、110:記憶装置、111:RAM、112:ROM、113:フラッシュメモリ、120:入力I/F、121:ボタンスイッチ、122:脳波検出装置、130:画像処理装置、131:インカメラ、132:アウトカメラ、133:ディスプレイ、140:音声処理装置、141:スピーカ、142:マイク、150:センサ、151:GPS受信機、152:地磁気センサ、153:距離センサ、154:加速度センサ、155:ジャイロセンサ、156:生体情報取得センサ、160:通信I/F、161:無線通信I/F、162:電話網通信I/F、171:ランプ、172:拡張インタフェース、173:タイマ、180:本体部、190:支持部、
201:バス、210:入出力処理部、211:センサ処理部、212:脳波処理部、213:出力処理部、214:入力処理部、220:分析処理部、221:行動解析部、222:脳波判定部、223:制御部、230:記憶部、231:解析用データ、232:行動状態データ、232a:時刻、232b:状態、233:照合用脳波、233a:状態、233b:正常状態の脳波、233c:異常状態の脳波、234:異常有情報、234a:時刻、234b:判定結果、234c:通知欄、235:確認検査データ、236:指示設定、236a:名称、236b:異常時制限、236c:アプリ対応、236d:監視対象処理、237:支援アプリDB、237a:現在位置、237b:支援アプリケーション、237c:詳細設定、237d:監視対象処理、
310:ネットワーク、320:サーバ、330:無線ルータ、340:記憶装置、360:スマートフォン、370:スマートウォッチ、380:ショッピングサーバ、390:決済サーバ、
412:メッセージ、413:確認ボタン表示、414:メッセージ、415:アイコン、421:アイコン、422:アイコン、423:アイコン、610:スマートフォン、620:背面、631:脳波測定用電極、632:脳波測定用電極、640:側面、650:側面、660:前面、671:ディスプレイ、672:スピーカ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21