特開 2024-151629 情報処理システム、情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024151629

(43)【公開日】2024-10-25

(54)【発明の名称】情報処理システム、情報処理装置および情報処理方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20241018BHJP

【ＦＩ】

A61B5/16 110

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2023065126

(22)【出願日】2023-04-12

(71)【出願人】

【識別番号】522435698

【氏名又は名称】ストーリア株式会社

(71)【出願人】

【識別番号】000005957

【氏名又は名称】三菱鉛筆株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100180976

【弁理士】

【氏名又は名称】野村 一郎

(72)【発明者】

【氏名】田谷 圭司

(72)【発明者】

【氏名】福田 昂正

(72)【発明者】

【氏名】池谷 裕二

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP03

4C038PQ06

4C038PS00

4C038PS07

(57)【要約】

【課題】筆記動作から脳波や心拍といった生体指標や、眼球の動きや瞬きといった生体行動を予測する情報処理システム、情報処理装置および情報処理方法を提供すること。
【解決手段】本発明の一態様は、電子機器と情報処理機器とを備えた情報処理システムであって、電子機器は、筆記動作における加速度に関する情報を検出する加速度検出部と、加速度検出部で検出した加速度に関する情報を情報処理機器へ送信する送信部と、を有し、情報処理機器は、送信部から送信された加速度に関する情報を受信する受信部と、受信部で受信した加速度に関する情報を入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

電子機器と情報処理機器とを備えた情報処理システムであって、
前記電子機器は、
筆記機能を有するペン型または筆記具に取り付け可能な本体と、
筆記動作における加速度に関する情報を検出する加速度検出部と、
前記加速度検出部で検出した前記加速度に関する情報を前記情報処理機器へ送信する送信部と、
を有し、
前記情報処理機器は、
前記送信部から送信された前記加速度に関する情報を受信する受信部と、
前記受信部で受信した前記加速度に関する情報を入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理部と、
を有する、情報処理システム。

【請求項2】

前記予測処理部は、前記筆記動作における前記加速度の時間変化のパターンと、前記筆記動作を行っている使用者の集中度合い、リラックス度合いおよび快適度合いのうちのいずれかを表す前記生体指標または前記生体行動と、の相関関係に基づく前記学習モデルを用いる、請求項１記載の情報処理システム。

【請求項3】

前記予測処理部は、前記筆記動作における前記加速度と脳波との相関関係に基づく前記学習モデルを用いる、請求項１記載の情報処理システム。

【請求項4】

前記予測処理部は、０．１Ｈｚ以上１００Ｈｚ以下の周波数帯の前記脳波の出現を予測する、請求項３記載の情報処理システム。

【請求項5】

前記加速度に関する情報は、筆記の軌跡に沿った加速度、または所定の空間座標で特定の平面に沿った成分の加速度を含む、請求項１記載の情報処理システム。

【請求項6】

前記電子機器は筆記の際の圧力を検出する圧力検出部をさらに備え、
前記加速度に関する情報は、前記圧力検出部で所定の閾値を越える前記圧力を検出している間の前記加速度の情報を含む、請求項１記載の情報処理システム。

【請求項7】

前記情報処理機器は、前記予測処理部によって予測された前記生体指標または前記生体行動に基づく所定の出力情報を生成する出力生成部をさらに備えた、請求項１記載の情報処理システム。

【請求項8】

筆記動作における加速度に関する情報を検出する加速度検出部と、
前記加速度検出部で検出した前記加速度に関する情報を入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理部と、
を有する、情報処理装置。

【請求項9】

前記予測処理部は、前記筆記動作における前記加速度の時間変化のパターンと、前記筆記動作を行っている使用者の集中度合い、リラックス度合いおよび快適度合いのうちのいずれかを表す前記生体指標または前記生体行動と、の相関関係に基づく前記学習モデルを用いる、請求項８記載の情報処理装置。

【請求項10】

前記予測処理部は、前記筆記動作における前記加速度と脳波との相関関係に基づく前記学習モデルを用いる、請求項８記載の情報処理装置。

【請求項11】

前記予測処理部は、０．１Ｈｚ以上１００Ｈｚ以下の周波数帯の前記脳波の出現を予測する、請求項１０記載の情報処理装置。

【請求項12】

前記加速度に関する情報は、筆記の軌跡に沿った加速度、または所定の空間座標で特定の平面に沿った成分の加速度を含む、請求項８記載の情報処理装置。

【請求項13】

筆記の際の圧力を検出する圧力検出部をさらに備え、
前記加速度に関する情報は、前記圧力検出部で所定の閾値を越える前記圧力を検出している間の前記加速度の情報を含む、請求項８記載の情報処理装置。

【請求項14】

前記予測処理部によって予測された前記生体指標または前記生体行動に基づく所定の出力情報を生成する出力生成部をさらに備えた、請求項８記載の情報処理装置。

【請求項15】

筆記動作における加速度に関する情報を取得する加速度取得工程と、
前記加速度取得工程で検出した前記加速度に関する情報から、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理工程と、
を有する、情報処理方法。

【請求項16】

前記予測処理工程は、前記筆記動作における前記加速度の時間変化のパターンと、前記筆記動作を行っている使用者の集中度合い、リラックス度合いおよび快適度合いのうちのいずれかを表す前記生体指標または前記生体行動と、の相関関係に基づく前記学習モデルを用いる、請求項１５記載の情報処理方法。

【請求項17】

前記予測処理工程は、前記筆記動作における前記加速度と脳波との相関関係に基づく前記学習モデルを用いる、請求項１５記載の情報処理方法。

【請求項18】

前記予測処理工程は、０．１Ｈｚ以上１００Ｈｚ以下の周波数帯の前記脳波の出現を予測する、請求項１７記載の情報処理方法。

【請求項19】

前記加速度に関する情報は、筆記の軌跡に沿った加速度、または所定の空間座標で特定の平面に沿った成分の加速度を含む、請求項１５記載の情報処理方法。

【請求項20】

筆記の際の圧力を取得する圧力取得工程をさらに備え、
前記加速度に関する情報は、前記圧力取得工程で所定の値の前記圧力を取得している間の前記加速度の情報を含む、請求項１５記載の情報処理方法。

【請求項21】

前記予測処理工程によって予測された前記生体指標または前記生体行動に基づく所定の出力情報を生成する出力生成工程をさらに備えた、請求項１５記載の情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、身体の動作に基づき脳波を予測する情報処理装置、情報処理装置および情報処理方法に関するものである。

【背景技術】

【0002】

脳波は、脳から生じる電気活動を電気信号で表したものであり、周波数によって複数種類に分けられる。脳波によって様々な脳活動や身体状態を読み取ることができるが、未解明な部分も多い。

【0003】

特許文献１には、頭部における所定の位置に精度良く脳波を測定するための電極を接触させやすい脳波計が開示される。この脳波計は、頭部に装着可能な脳波計であって、脳波計が頭部に装着された場合に、頭部に沿って左右の耳介に向けて延在するアーチ状の本体フレームと、脳波を検出するための電極対（電極）を有する電極部であって、本体フレームに設けられる電極部と、左右の耳介に装着され、左右の耳穴に挿入される凸部を有し、本体フレームの延在する方向の両端部のそれぞれに設けられる装着部とを備える。

【0004】

特許文献２には、周囲の人々に違和感を覚えさせることなく、日常的に安定して脳波の測定を行うことが可能な脳波測定装置が開示される。この脳波測定装置は、被測定者の頭部に装着可能な測定装置本体と、測定装置本体と接続され、被測定者の脳波検出位置に配置され、被測定者の脳波信号を検出するための脳波電極と、測定装置本体に対する脳波電極の相対的位置を調整する電極位置調整機構部とを具備する。

【0005】

特許文献３には、被検者間の共感度を脳波から精度よく共感度測定方法が開示される。この共感度測定方法では、コンピュータが、１０００マイクロ秒未満の精度で同期された、第１被検者の第１脳波データ及び第２被検者の第２脳波データを取得し、第１脳波データ及び第２脳波データの間の相関性を算出し、算出された相関性に基づいて、第１被検者及び第２被検者の間のコンテンツに対する共感度を推定する。

【0006】

特許文献４には、商品と向き合った瞬間に本能的又は直感的に生じる魅力を推定する推定装置が開示される。この推定装置は、対象物によって被験者の五感のうちの少なくとも１つが刺激されてから１０００ミリ秒までの間の被験者の脳波データを取得する脳波データ取得部と、脳波データから事象関連電位を取得する事象関連電位取得部と、事象関連電位に基づいて、魅力度を推定する推定部とを含む。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－０００４０５号公報

【特許文献2】特開２０２２－０７７０７０号公報

【特許文献3】特開２０２２－１５５６１４号公報

【特許文献4】特開２０２２－１６０１２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

例えば、筆記具を使って文字を書くなどして勉強する際に、筆記動作を行う人が常に集中しているわけではなく、筆記動作がすすまない、集中力が切れてしまう、怠けてしまい本来やるべき文字を書く動作や勉強に身が入らないこともある。集中しているときの動作や集中していないときの動作は人それぞれであって客観的に把握することは難しい。そこで、脳波によって集中を表すような脳波や心拍といった生体指標を取得することが考えられるが、生体指標の取得には特殊な機器を用いる必要がある。また、集中すると眼球の動きや瞬きの回数が減るなどといった行動指標もカメラや眼鏡型デバイスを使わないと把握できない。このように、集中力を客観的に把握することは難しく、集中力を容易かつ客観的に把握して、集中力が切れた場合などにそれを知らせたり、集中力を上げるような行為を促したりすることができる装置が望まれる。

【0009】

本発明は、筆記動作から脳波や心拍といった生体指標や、眼球の動きや瞬きといった生体行動を予測する情報処理システム、情報処理装置および情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様は、電子機器と情報処理機器とを備えた情報処理システムであって、電子機器は、筆記動作における加速度に関する情報を検出する加速度検出部と、加速度検出部で検出した加速度に関する情報を情報処理機器へ送信する送信部と、を有し、情報処理機器は、送信部から送信された加速度に関する情報を受信する受信部と、受信部で受信した加速度に関する情報を入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理部と、を有する。

【0011】

また、本発明の他の一態様は、筆記動作における加速度に関する情報を検出する加速度検出部と、加速度検出部で検出した加速度に関する情報を入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理部と、を有する、情報処理装置である。

【0012】

また、本発明の他の一態様は、筆記動作における加速度に関する情報を取得する加速度取得工程と、加速度取得工程で検出した加速度に関する情報から、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理工程と、を有する。

【0013】

このような情報処理システム、情報処理装置および情報処理方法の構成によれば、筆記動作における加速度に関する情報を入力として、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報が出力される。すなわち、筆記動作における加速度に関する情報と、使用者の生体指標または生体行動との相関関係を学習モデルとした人工知能によって筆記動作における加速度に関する情報から使用者の生体指標または生体行動が予測される。

【発明の効果】

【0014】

本発明によれば、筆記動作から脳波や心拍といった生体指標や、眼球の動きや瞬きといった生体行動を予測する情報処理システムおよび情報処理方法を提供することが可能になる。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る情報処理システムの構成を例示するブロック図である。

【図2】本実施形態に係る情報処理システムの一具体的を示す模式図である。

【図3】本実施形態に係る情報処理装置の構成を例示するブロック図である。

【図4】本実施形態に係る情報処理方法の一具体例を示すフローチャートである。

【図5】実験で用いたアラビア文字を示す図である。

【図6】加速度から予測した脳波データと、実際に計測した脳波データとの関係を示す図である。

【図7】複数の被験者で行った加速度から予測した脳波データと、実際に計測した脳波データとの関係を示す図である。

【図8】１分間隔の学習モデルで予測した脳波データと、実際に計測した脳波データとの関係を示す図である。

【図9】筆記動作から予測された脳波と、実際の脳波との比較を示す図である。

【図10】筆記動作から予測された脳波と、実際の脳波との比較）を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

【0017】

（情報処理システムの構成）
図１は、本実施形態に係る情報処理システムの構成を例示するブロック図である。
本実施形態に係る情報処理システム１は、例えば筆記具を使ったときの筆記動作から、脳波や心拍といった集中を表す生体指標を予測するシステムである。

【0018】

図１に示すように、情報処理システム１は、電子機器１００と情報処理機器２００とを備える。電子機器１００は、本体１１０と、加速度検出部１２０と、送信部１３１とを有する。本体１１０は、例えば筆記機能を有するペン型に設けられていてもよいし、筆記具に取り付け可能な構成になっていてもよい。

【0019】

加速度検出部１２０は、筆記動作における加速度に関する情報（以下、「加速度情報」ともいう。）を検出する部分である。加速度検出部１２０には例えば加速度センサが含まれる。加速度検出部１２０には、加速度センサのほか、傾きセンサ、回転軌道センサ、重力加速度センサ、ジャイロセンサ、慣性センサ、圧力センサが含まれていてもよい。また、加速度検出部１２０は、カメラによって撮影された筆記動作から加速度情報を検出してもよい。加速度情報には、加速度そのものの値のほか、加速度から得られる情報（速度、角度変化、角速度、回転角度変化など）が含まれていてもよい。また、加速度検出部１２０は、本体１１０の内部に設けられていてもよいし、本体１１０の外部に設けられていてもよい。

【0020】

送信部１３１は、加速度検出部１２０で検出した加速度情報を情報処理機器２００へ送信する部分である。送信部１３１は、受信部１３２とともに通信部１３０に含まれる構成であってもよい。通信部１３０による情報の送受信は無線通信であってもよいし、有線通信であってもよい。

【0021】

電子機器１００には、上記構成のほか、メモリ１４０、入力部１５０、出力部１６０、電源１７０および制御部１８０が含まれていてもよい。メモリ１４０は例えば不揮発性記憶装置である。入力部１５０は例えばスイッチ、ボタン、タッチパネル、カメラ、マイクなどである。出力部１６０は例えばスピーカ、ランプ、振動装置などである。電源１７０は例えば蓄電池である。制御部１８０は各部を制御するＣＰＵなどである。

【0022】

情報処理機器２００は、受信部２１２と、予測処理部２２０とを有する。受信部２１２は、電子機器１００の送信部１３１から送信された加速度情報を受信する部分である。受信部２１２は、送信部２１１とともに通信部２１０に含まれる構成であってもよい。通信部２１０による情報の送受信は無線通信であってもよいし、有線通信であってもよい。

【0023】

予測処理部２２０は、受信部２１２で受信した加速度情報を入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標の予測に関する情報を出力する処理を行う。例えば、予測処理部２２０は、筆記動作における加速度情報と脳波との相関関係に基づく学習モデルを用いる。また、予測処理部２２０は、筆記動作における加速度の時間変化のパターンと、筆記動作を行っている使用者の集中度合い、リラックス度合いおよび快適度合いのうちのいずれかを表す生体指標と、の相関関係に基づく学習モデルを用いてもよい。

【0024】

情報処理機器２００には、上記構成のほか、メモリ２４０、入力部２５０、出力部２６０、電源２７０および制御部２８０が含まれていてもよい。メモリ２４０は例えば不揮発性記憶装置である。入力部２５０は例えばスイッチ、ボタン、タッチパネル、カメラ、マイクなどである。出力部２６０は例えばスピーカ、ランプ、振動装置などである。電源２７０は例えば蓄電池である。制御部２８０は各部を制御するＣＰＵなどである。

【0025】

情報処理機器２００には、例えば携帯端末（スマートフォン、タブレットＰＣ）やコンピュータが用いられる。

【0026】

本実施形態に係る情報処理システム１においては、電子機器１００によって筆記動作における加速度情報を取得し、この情報を情報処理機器２００へ送信する。情報処理機器２００では、電子機器１００から送信された加速度情報を受信して予測処理部２２０へ入力する。予測処理部２２０では、この筆記動作における加速度情報を入力として、予め作成された人工知能の学習モデルに基づき使用者の生体指標の予測に関する情報が出力される。すなわち、情報処理システム１では、筆記動作における加速度情報と、使用者の生体指標との相関関係を学習モデルとした人工知能によって筆記動作における加速度情報から使用者の生体指標を予測することができる。

【0027】

（情報処理システムの一具体的）
図２は、本実施形態に係る情報処理システムの一具体的を示す模式図である。
情報処理システム１の電子機器１００の具体例としては、加速度センサや筆圧を取得するための圧力センサ、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）などの通信機能を付加した筆記具、または筆記具に取り付けるアタッチメントで、加速度センサや圧力センサ、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）などの通信機能を持つアタッチメント型が適用される。

【0028】

情報処理システム１の情報処理機器２００の具体例としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）などの通信機能を持つスマートフォンやタブレットＰＣが適用される。情報処理機器２００の予測処理部２２０は、スマートフォンやタブレットＰＣで実行されるアプリケーションソフトウェアとして実現されてもよいし、ネットワークに接続された外部サーバで実行されるソフトウェアとして実現されてもよい。

【0029】

この電子機器１００において、取得された加速度データや圧力データを用いて、使用者の集中状態をＡＩ（人工知能）やマシンラーニングを用いて分析して、その集中状態や集中時間、学習時間を予測する。そして、予測した集中状態や集中時間、学習時間に応じて、スマートフォンやタブレットＰＣなどの情報処理機器２００から、音や画像、映像、色、文字などの少なくともいずれかを出力することにより、人が集中し続けられる状態をつくる（促す）ようにする。

【0030】

（情報処理装置の構成）
図３は、本実施形態に係る情報処理装置の構成を例示するブロック図である。
本実施形態に係る情報処理装置３００は、例えば筆記具を使ったときの筆記動作から、脳波や心拍といった集中を表す生体指標を予測する装置である。情報処理装置３００には、例えば携帯端末（スマートフォン、タブレットＰＣ）やコンピュータが用いられる。

【0031】

情報処理装置３００は、筆記動作における加速度情報を検出する加速度検出部３１０と、加速度検出部３１０で検出した加速度情報に基づき使用者の生体指標の予測に関する情報を出力する予測処理部３２０と、を有する。ここで、情報処理装置３００を構成する加速度検出部３１０および予測処理部３２０は、物理的に一体の装置内に設けられた構成であってもよいし、物理的に離間して設けられ、ネットワークを介して接続された構成であってもよい。

【0032】

加速度検出部３１０は、筆記動作における加速度情報を検出する部分である。加速度検出部３１０は、筆記動作における単位時間に対する速度変化量に基づき加速度情報を検出する。筆記動作を読み取る手段（読み取り手段）は情報処理装置３００の内部に設けられていてもよいし、外部に設けられていてもよい。例えば、タッチパネル上の筆跡や軌跡に沿った筆記動作から加速度情報を検出したり（読み取り手段が内部に設けられた例）、所定の空間内で行った筆記動作をカメラや手に付けたモーションセンサなどで読み取り（読み取り手段が外部に設けられた例）、その読み取った情報から加速度情報を検出したりする。

【0033】

予測処理部３２０は、加速度検出部３１０で検出した加速度情報を入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標の予測に関する情報を出力する処理を行う。例えば、予測処理部３２０は、筆記動作における加速度情報と脳波との相関関係に基づく学習モデルを用いる。また、予測処理部３２０は、筆記動作における加速度の時間変化のパターンと、筆記動作を行っている使用者の集中度合い、リラックス度合いおよび快適度合いのうちのいずれかを表す生体指標と、の相関関係に基づく学習モデルを用いてもよい。予測処理部３２０は、スマートフォンやタブレットＰＣで実行されるアプリケーションソフトウェアとして実現されてもよいし、ネットワークに接続された外部サーバで実行されるソフトウェアとして実現されてもよい。

【0034】

このような情報処理装置３００では、加速度検出部３１０で検出した筆記動作における加速度情報を予測処理部３２０に入力し、予め作成された人工知能の学習モデルに基づき使用者の生体指標の予測に関する情報が出力される。すなわち、情報処理装置３００では、筆記動作における加速度情報と、使用者の生体指標との相関関係を学習モデルとした人工知能によって、筆記動作における加速度情報から使用者の脳波や心拍といった集中を表す生体指標を予測することができる。

【0035】

（情報処理方法）
次に、本実施形態に係る情報処理方法について説明する。
本実施形態に係る情報処理方法は、筆記動作における加速度情報を取得する加速度取得工程と、加速度取得工程で検出した加速度情報から、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理工程と、を有する。

【0036】

図４は、本実施形態に係る情報処理方法の一具体例を示すフローチャートである。
先ず、使用者は、紙の教材やタブレットなどに文字や数字、イラスト、絵などを記載する（ステップＳ１０１）。そのときに筆記具自体もしくは、筆記具に取り付けたアタッチメント、スタイラスペン、タッチスクリーン自体から加速度情報や筆圧、筆跡といった情報を取得する（ステップＳ１０２：加速度取得工程）。

【0037】

次に、取得した加速度情報や筆圧、筆跡といった情報を元に使用者が集中しているか、すなわち、脳が集中状態を表す脳波を発しているかどうかを分析し、判別する（ステップＳ１０３：予測処理工程）。この分析や判別には、ＡＩやマシンラーニングの技術を用いる。判別の際には、予め脳波と筆記動作における加速度情報とを紐付け、ＡＩやマシンラーニングを使い、予測モデル／判別モデルを用意しておく。また、筆記動作における加速度の時間変化のパターンと、筆記動作を行っている使用者の集中度合い、リラックス度合いおよび快適度合いのうちのいずれかを表す生体指標と、の相関関係に基づく学習モデルを用いてもよい。

【0038】

こうすることにより、使用者が筆記具を持っているだけ、もしくは、筆記動作をするだけで、脳波計など特別な測定器を用いることなく使用者の脳波の状態や集中状態などを判別／予測することができる。

【0039】

次に、ステップＳ１０３で判別／予測した集中状態などの情報に基づき所望の動作の実行を判断する（ステップＳ１０４）。本実施形態では、実行する動作の一例として２つの動作Ａ、動作Ｂのいずれかを選択する。なお、３つ以上の動作のうちいずれかを選択するようにしてもよい。

【0040】

例えば、動作Ａは、ステップＳ１０３で判別／予測した集中状態などの情報から、あまり集中していないと判断された場合に実行される。動作Ａでは、先ず、外部機器（情報処理機器２００やその他の機器）に集中を促すための動作を実行させる（ステップＳ１０５）。例えば、外部機器から集中できる音楽などを出力させる。これによって使用者が集中状態になれば（ステップＳ１０６）、所定時間経過後に勉強の停止を促す動作を実行する（ステップＳ１０７）。勉強の停止を促すには、外部機器からアラーム音を出力したり、勉強停止を知らせる画面表示を行ったりする。

【0041】

一方、動作Ｂは、ステップＳ１０３の判別／予測した集中状態などの情報から、集中している状態がある程度継続していると判断された場合に実行される。動作Ｂでは、先ず、外部機器にリラックスを促すための動作を実行させる（ステップＳ１０８）。例えば、外部機器からリラックスできる音楽などを出力させる。これによって使用者がリラックス状態になれば（ステップＳ１０９）、所定時間経過後に勉強の停止を促す動作を実行する（ステップＳ１１０）。勉強の停止を促すには、外部機器からアラーム音を出力したり、勉強停止を知らせる画面表示を行ったりする。

【0042】

このように、本実施形態では、使用者の集中状態などの情報に基づき、使用者が集中していない時は集中を促す、集中している時は集中を継続させる、集中状態が長い、勉強時間が長いなど疲れが見える、もしくは、疲れが残ることが予想できる場合は、休憩を促す、といった動作を実行することができる。なお、休憩を促す方法は、スマートフォン、タブレット、コンピュータなどの外部機器から、音をならしたり、画面表示を変えたり、匂いを発生させるなどである。

【0043】

ここで、筆記動作に関しては、筆記動作を行っているときのほか、筆記具を持ちながら考えているなど筆記具を持っているだけの時も含まれる。すなわち、筆記具を持っているだけでも（筆記具を持ってはいるが筆記動作を行っていない場合でも）、筆記具を持っていない場合とは明確に異なる加速度情報が得られる。したがって、筆記動作には、実際に筆記を行っている場合のほか、筆記を止めて考えている状態など、筆記具を持ってから置くまでの動作・状態（筆記に関する動作）も含まれる。

【0044】

（他の構成例）
本実施形態の他の構成例としては以下のようなものが挙げられる。
筆記動作を記録する電子機器１００の他の構成例として、筆記具自体に加速度センサや圧力センサが存在するもの、または筆記具に取り付ける形で加速度センサや圧力センサが存在するものが挙げられる。圧力センサを有する場合、圧力センサによって筆記の際の圧力（筆圧や筆記具を握る圧力）を検知し、所定の閾値を超える圧力を検出している間、加速度情報を取得するようにしてもよい。また、所定の閾値を超える圧力を検出している間の加速度情報に基づき生体指標を予測するようにしてもよい。

【0045】

筆記動作の分析や生体指標の予測処理は、電子機器１００、情報処理機器２００およびネットワーク上のクラウドコンピュータのいずれかで実行される。その分析結果を元に脳波や心拍、呼吸と言った生体指標や瞬きや顔の動きといった人の行動／人体の動き（生体行動指標）を予測するようにしてもよい。脳波であれば、集中している、考えている、リラックスしている、眠気を催している、眠っているなどが予測でき、心拍であれば快不快、怒り、喜びなどが予測できる。

【0046】

この予測した生体指標や人の行動／人体の動きを元に、電子機器１００や情報処理機器２００から、音や音楽、文字や色、イラストなどの画面表記を示すことで、より集中できる、よりリラックスできる、目が覚める、喜びを与えるなど人の行動変容を促すようにしてもよい。情報処理機器２００は、上記のような行動変容を促すための出力情報を生成する出力生成部を備えていてもよい。

【0047】

（予測モデルの検証）
今回、筆記動作による集中の予測モデルの作成では、東京大学大学院薬学研究科において、Ｑ‘ｓｆｉｘ社製ＤＬ－１６０Ａという脳波計機材と、同ＤＬ－３１０という心拍計、同ＳＸ２３０という筋電計機材を用いて、脳波、心拍、筋電図などを取得した。

【0048】

筆記データに関しては、筆記具にアタッチメントする方式の電子機器を用いた。この電子機器には、加速度センサ、メモリ、Ｂｌｕｅｔｏｏｔｈ（登録商標）チップ、ＵＳＢ端子などが搭載されており、筆記具の動きの情報／筆記動作の情報を加速度センサで取得し、スマートフォン、タブレットなどの外部機器に送信することができる。また、この電子機器は筆記具と一体型であってもよい。加速度の取得感覚は、０．１Ｈｚから１ｋＨｚ程度の間である。

【0049】

被験者（使用者）には脳波、心拍、筋電図を取得するための電極が付けられる。被験者（使用者）は筆記具にアタッチメントする方式の電子機器１００を用い、脳波計で様々な状況で筆記動作を行うときの脳波を計測する。また、この実験では、被験者（使用者）をビデオカメラで撮影し、頭の動き、眼球の動き、瞬きなどをビデオカメラにも収めておき、後で解析ができるようにする。

【0050】

実験方法としては、被験者と脳波計、心拍計、筋電図計などの計測機器とを接続し、ビデオカメラで録画した上で脳波、心拍、筋電を計測しながら、筆記具にアタッチメントする形式の電子機器１００を用い筆記動作をおこない、筆記具のアタッチメントから加速度データを取得する。

【0051】

このときに下記の様な筆記動作を行う。
（１）図５に示すようなアラビア文字を書く。なお、今回の実験ではアラビア文字を用いたが、書くものはアラビア文字に限らない。
（２）書いている横で映画（Ｍｏｖｉｅ）を流し、被験者に見てもらいながらアラビア文字を書く。
（３）他者と会話をしながらアラビア文字を書く。
（４）邪魔となる行為はせず、集中してアラビア文字を書く。
（５）書いている横で映画（Ｍｏｖｉｅ）を流しながらも、見ないように指示してアラビア文字を書く。
（６）他者との会話に集中してもらいながらアラビア文字を書く。
（７）絵を書く。
（８）計算をする。
（９）推理クイズをする。
（１０）ＳＰＩ試験のような計算問題を解く。

【0052】

映画を流しながら書く、会話しながら書くは、集中力を維持しない状態を意図的に創り出している。上記を各１０分ずつ行う。
これらにより、実際に筆記しているとき、筆記具を持ちながら会話をしているときなども含めてデータ取得が可能である。

【0053】

脳波に関しては、フーリエ変換をした上でγ波とδ波の１０秒平均をとり、明らかな飛び値は排除する（３σを外れるものは排除する）。これは脳波の測定機の計測の異常値などを省くためである。この１０秒平均のほか、１分の平均などでも行った。

【0054】

その脳波と加速度の動きとをディープラーニングの手法を使い学習モデルを作成する。今回は、ｓｅｑｕｅｎｃｅ－ｔｏ－ｏｎｅ回帰ＬＳＴＭネットワークを用いて学習モデルを作成した。同一人物で、学習モデルを作成する、検証する際は、データを８：１：１に分けて、学習モデルの作成のための学習用データ（ｔｒａｉｎ ｄａｔａｓｅｔ）と、パラメータの良し悪しを確かめるための検証用データ（ｖａｌｉｄａｔｉｏｎ ｄａｔａｓｅｔ）と、性能を確かめるためのテスト用のデータ（ｔｅｓｔ ｄａｔａｓｅｔ）分けて使用した。

【0055】

その結果、図６で示すように筆記動作（加速度データ）から予測した脳波（γ波／δ波）と、実際に測定した脳波（γ波／δ波）とは強い相関がみられ、筆記具に取り付けたアタッチメントの加速度データから、脳波が予測できることがわかった。横軸が加速度から予測した脳波データであり、縦軸が実際に計測した脳波データである。このときに、γ波／δ波つまり、γ波からδ波を割った値としたのは、脳波の個人、時間、強度のバラツキを規格化するためである。

【0056】

また、被験者（その１）の本人の脳波の予測だけではなく、被験者（その１）ではない他の被験者の脳波の予測も行っている。被験者（その１）～被験者（その６）という６人の脳波と筆記データを学習データとして予測／学習モデルを作成し、被験者（その７）の筆記動作の加速度データから、被験者（その７）の脳波を予測する。その結果を図７に示す。横軸が加速度から予測した脳波データであり、縦軸が実際の予測データである。このときの相関係数は０．４３９６であり、相関があることがわかる。またこのデータは１０秒間隔（１０秒平均）での予測であるが、１分間隔（１分平均）で学習モデルをつくり予測する場合は、図８に示すようになる。このときの相関係数は０．７２９８と良好になる。

【0057】

図７に示す１０秒間隔でのデータの時の筆記動作から予測された脳波と、実際の脳波との比較図を図９に示す。図９（ａ）には実際に測定した脳波（γ波／δ波）が示され、図９（ｂ）には筆記動作（加速度データ）から予測した脳波（γ波／δ波）が示される。また、図８に示す１分間隔でのデータの時の筆記動作から予測された脳波と、実際の脳波との比較図を図１０に示す。図１０（ａ）には実際に測定した脳波（γ波／δ波）が示され、図１０（ｂ）には筆記動作（加速度データ）から予測した脳波（γ波／δ波）が示される。いずれも横軸が時間、縦軸は脳波（γ波／δ波）である。良く一致していることがわかる。

【0058】

（フィードバックについて）
上記のように筆記動作から予測された脳波を、例えば下記の様な方法で使用者にフィードバックしてもよい。脳波（γ波）の強度が強い場合は、集中状態にあるということであるため、集中を継続させるように、外部機器を無音にしたり、静かな音などを流したりする。逆に、脳波が弱い場合には、外部機器から目覚めるような音楽を流したり、画面表示を集中を促すような文字やイラスト、色、写真などに変えたりする。この使用者へのフィードバックは予測された脳波だけではなく、実際の脳波を用いても同じである。

【0059】

（脳波などの計測について）
脳波を計測する装置に関しては、ドライタイプとウエットタイプとを問わず、広く一般的な脳波計でもよい。また、心拍をとる装置に関しては、医療用の心電図でも、リストバンド状のモバイル装置でもよい。また、スマートウォッチでもよい。
脳波と筆記動作との学習モデルをつくる被験者に関しては、今回は大学生を対象としたが、文字や絵をかける年齢であれば、幼児から高齢者まで広く被験者になり得る。

【0060】

（サービスおよびシステムの展開について）
本実施形態に係る情報処理システム１、情報処理装置３００および情報処理方法を適用したサービスおよびシステムを展開する環境に関しては、家や学習塾、自習室、カフェ、学校などが挙げられる。周りに人がいる環境で音を鳴らす場合はヘッドフォンのような個人単位で音を届けることができる外部機器と組み合わせてもよい。

【0061】

（学習モデルについて）
今回の実験では、学習モデルはディープラーニングのｓｅｑｕｅｎｃｅ－ｔｏ－ｏｎｅ回帰ＬＳＴＭネットワークを用いて作成したが、これに限るものではなく、他のマシンラーニング／ディープラーニングなどの手法を用いる。例えば、Ｔｒａｎｓｆｏｒｍｅｒなどが挙げられる。

【0062】

（脳波について）
脳波に関しては、今回はγ波／δ波（γ波÷δ波）という規格化されたものを用いたが、０．１Ｈｚ以上１００Ｈｚ以下程度の周波数帯の脳波の出現を計測したり、予測したりするものであれば、これに限るものではない。一般的にγ波、δ波、Ｈｉｇｈα波と呼ばれる周波数は集中している状態を表すことが多い。また、θ波などはリラックスや睡眠の状態を表す。他にもα波、β波なども脳波として発せられる。
これらの脳波と筆記動作との関係性を見いだすことも可能である。また、脳波の強弱は人によって依存があるため、特定の周波数の脳波を他の周波数の脳波で割って規格化された数値とすることもできる。
一般的に集中と言われる状態は認知負荷の高い状態、懸命に考えている状態を表す。

【0063】

（他のシステム構成について）
これまでの実施形態では筆記具に取り付けるアタッチメント形式の電子機器１００や、筆記具と一体型になった電子機器１００で加速度センサを取ることを例示したが、筆記という行為から脳波を識別する手法はこれに限るものではない。例えば、タブレットに直接書き込んだ場合は、書き込まれた筆跡または軌跡を使ってもよいし、スタイラスペンなどについた加速度センサを使ってもよいし、その両方を用いて加速度情報を得るようにしてもよい。
また、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）空間でも同様で、所定の空間座標で筆記動作を行う場合はコントローラや、カメラからの情報で筆記動作の筆跡または軌跡の加速度情報を読み取り、集中力を判別することも可能である。例えば、所定の空間座標での特定の平面（この平面と直交する方向に所定の許容範囲を含んだ領域）に沿った成分の加速度を加速度情報として読み取り、集中力を判別するようにしてもよい。

【0064】

（アプリケーションについて）
スマートフォン、タブレット、コンピュータで使われるアプリケーションは、下記のような機能の少なくともいずれかを持つことを想定している。
・加速度データなど、筆記動作／筆記動作の情報を受信する機能
・加速度データなどを、マシンラーニングやディープラーニング、ＡＩなどで処理して脳波など生体情報や行動を予測／判別する機能
・予測／判別した結果を、予め設定された数値テーブルと比較する機能
・比較した結果に応じて音を鳴らす、画面表示を表示する、変える、匂いを出すなど所定の出力を行う機能

【0065】

本実施形態に係る情報処理プログラム（アプリケーションソフトウェア）は、以下の構成を有する。

【0066】

情報処理コンピュータで実行される情報処理プログラムは、
情報処理コンピュータに、
筆記動作における加速度に関する情報を取得する加速度取得ステップと、
前記加速度取得ステップで検出した前記加速度に関する情報から、予め作成された人工知能の学習モデルに基づき使用者の生体指標または生体行動の予測に関する情報を出力する予測処理ステップと、
を実行させる。

【0067】

情報処理プログラムは、記録媒体に記録されたり、ネットワークを介して配信されたりする。

【0068】

（筆記動作の取得について）
筆記動作を取得するのは、筆記具自体を電子化したり、アタッチメントを筆記具に付けたりする以外にも下記のような方法が考えられる。
・指輪や腕輪型のデバイスなど腕に加速度センサなどのセンシングデバイスを付ける方法
・カメラで撮影を行い、筆記動作を判別する方法

【0069】

（行動指標について）
上記実験では、（１）～（１０）の筆記動作を行って脳波を計測するとき、被験者／使用者をビデオカメラで撮影し、頭の動き、瞬きなどの行動指標になる動作を記録している。したがって、筆記動作における加速度情報と、使用者の行動指標との相関関係を学習モデルとした人工知能によって、筆記動作における加速度情報から使用者の頭の動き、眼球の動き、瞬きなどの集中を表す行動指標を予測することができる。

【0070】

以上説明したように、本実施形態によれば、筆記動作から脳波や心拍といった生体指標や、眼球の動きや瞬きといった生体行動を予測する情報処理システムおよび情報処理方法を提供することが可能になる。

【0071】

なお、上記に本実施形態およびその適用例を説明したが、本発明はこれらの例に限定されるものではない。例えば、前述の各実施形態またはその適用例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。

【符号の説明】

【0072】

１…情報処理システム
１００…電子機器
１１０…本体
１２０…加速度検出部
１３０…通信部
１３１…送信部
１３２…受信部
１４０…メモリ
１５０…入力部
１６０…出力部
１７０…電源
１８０…制御部
２００…情報処理機器
２１０…通信部
２１１…送信部
２１２…受信部
２２０…予測処理部
２４０…メモリ
２５０…入力部
２６０…出力部
２７０…電源
２８０…制御部
３００…情報処理装置
３１０…加速度検出部
３２０…予測処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】