特開 2024-67857 認知疲労検知方法、認知疲労検知装置、認知疲労検知システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024067857

(43)【公開日】2024-05-17

(54)【発明の名称】認知疲労検知方法、認知疲労検知装置、認知疲労検知システム及びプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240510BHJP

   A61B 3/11 20060101ALI20240510BHJP

【ＦＩ】

A61B5/16 200

A61B3/11

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022178233

(22)【出願日】2022-11-07

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人科学技術振興機構、創発的研究支援事業「脳疲労のグリア―神経連関機構を解明するスポーツ神経生物学」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】松井 崇

(72)【発明者】

【氏名】吉武 誠司

(72)【発明者】

【氏名】▲高▼橋 史穏

(72)【発明者】

【氏名】松岡 弘樹

【テーマコード（参考）】

4C038

4C316

【Ｆターム（参考）】

4C038PP01

4C038VB04

4C038VC05

4C316AA28

4C316AA30

4C316AB16

4C316FZ01

4C316FZ03

(57)【要約】

【課題】ＶＤＴ作業を行う作業者の認知疲労を、作業者の負担や制限を抑え、また、ＶＤＴ作業中の頭脳活動へ影響を与えることなく検知する。
【解決手段】測定対象者の瞳孔径を経時的に測定した結果を示す測定データに基づいて、ＶＤＴ（Visual Display Terminals）作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、第一の時点又は第一の期間より後のＶＤＴ作業中の測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と基準値との乖離に基づいて認知疲労を判定する。
【選択図】図８

【特許請求の範囲】

【請求項1】

測定対象者の瞳孔径を経時的に測定した結果を示す測定データに基づいて、ＶＤＴ（Visual Display Terminals）作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、前記第一の時点又は前記第一の期間より後のＶＤＴ作業中の前記測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と前記基準値との乖離に基づいて認知疲労を判定する判定ステップ、
を有する認知疲労検知方法。

【請求項2】

前記判定ステップにおいて認知疲労と判定された場合に、前記測定対象者の認知疲労の通知を出力する通知ステップ、
をさらに有する請求項１に記載の認知疲労検知方法。

【請求項3】

測定対象者の瞳孔径を経時的に測定した結果を示す測定データを取得する取得部と、
前記測定データに基づいて、ＶＤＴ（Visual Display Terminals）作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、前記第一の時点又は前記第一の期間より後のＶＤＴ作業中の前記測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と前記基準値との乖離に基づいて認知疲労を判定する判定部と、
を備える認知疲労検知装置。

【請求項4】

コンピュータを、
請求項３に記載の認知疲労検知装置として機能させるためのプログラム。

【請求項5】

入力された情報に基づくデータを表示装置に表示するユーザ装置と、
前記表示装置を見ながらＶＤＴ作業を行う測定対象者の瞳孔径を経時的に測定した結果を示す測定データを取得する取得部と、
前記測定データに基づいて、ＶＤＴ作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、前記第一の時点又は前記第一の期間より後のＶＤＴ作業中の前記測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と前記基準値との乖離に基づいて認知疲労を判定する判定部と、
前記判定部において認知疲労と判定された場合に、前記測定対象者の認知疲労の通知を出力する通知部と、
備える認知疲労検知システム。

【請求項6】

前記通知部は、前記ユーザ装置に前記通知を出力する、又は、前記ユーザ装置とは異なる装置により前記通知を出力する、
請求項５に記載の認知疲労検知システム。

【請求項7】

前記通知は、視覚を用いた通知と、聴覚を用いた通知と、触覚を用いた通知とのうち一以上を含む、
請求項５に記載の認知疲労検知システム。

【請求項8】

前記通知部は、ＶＤＴ作業に基づいて表示される前記データのうち一部のデータの表示の態様を変更することにより前記通知を出力する、
請求項５に記載の認知疲労検知システム。

【請求項9】

前記ユーザ装置は、前記測定対象者がＶＤＴ作業において入力した情報に従って動作するアバターを前記表示装置に表示し、
前記通知部は、前記判定部において認知疲労と判定された場合に、前記表示装置に表示される前記アバターの動作に影響を与えることにより、又は、前記表示装置に表示され、かつ、前記アバターの動作に影響を与える情報を変更することにより前記通知を行う、
請求項５に記載の認知疲労検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認知疲労検知方法、認知疲労検知装置、認知疲労検知システム及びプログラムに関する。

【背景技術】

【0002】

疲労は打ち消したいものではあるが、心身の過活動を防ぐ生体の防衛機構でもある。運動やフィジカルスポーツ時の認知疲労は、疲労感の発生と同時か、その後に生じるために自覚しやすい。認知疲労は、認知機能の一過的な低下であり、情報処理の速度や正確性等が低下している状態である。これに対して、頭脳活動、特にＶＤＴ（Visual Display Terminals）作業などサイバー空間での頭脳活動では、疲労感を伴わずに認知疲労が生じることが多い。そのため、認知疲労の自覚が難しく、過労や依存の原因になりうる。

【0003】

一方、測定された瞳孔径に基づいて精神的疲労の測定を行う技術がある（例えば、特許文献１）。また、人体が発する物理量の測定結果に基づいてストレスや疲労を検出する技術がある（例えば、特許文献２、３参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－３０１８４１号公報

【特許文献2】特開平９－１０３１３号公報

【特許文献3】特開平９－２２３１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

頭脳活動により生じる認知疲労（認知機能の一過的な低下）は、自覚的な疲労感では検知しにくいことから、間接指標を用いた検出が有用である。特許文献１の技術では、瞳孔径を用いた検出を提案しているが、精神的疲労を検出するためには、精密な幾何により頭部を固定して瞳孔径を厳密に測定する必要がある。従って、測定対象者が測定の度に作業を中断しなければならないことに加え、大掛かりな専用装置が必要なため、社会実装がしにくい。また、ここで検出される精神疲労は、疲労感であるか、認知機能の一過的な低下であるかは明確ではない。また、特許文献２の技術や特許文献３の技術では、皮膚の温度、発汗量、脳波、心電図等の時系列データを用いて測定対象者のストレスを検出している。しかしながら、測定対象者が繰り返し行うＶＤＴ作業のたびに、生体から発せられる情報を測定するための測定装置を装着することは煩雑である。また、特許文献３では、センサを設けたマウスを測定に利用しているが、ＶＤＴ作業には、ユーザの好みの入力装置や、ゲームコントローラなどの専用の入力装置を用いることも多いため、入力装置の選択の自由度を制限せずに、精度よく認知疲労を検出することが望ましい。

【0006】

上記事情に鑑み、本発明は、ＶＤＴ作業を行う作業者の認知疲労を、作業者の負担や制限を抑え、また、ＶＤＴ作業中の頭脳活動へ影響を与えることなく検知することができる認知疲労検知方法、認知疲労検知装置、認知疲労検知システム及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、測定対象者の瞳孔径を経時的に測定した結果を示す測定データに基づいて、ＶＤＴ（Visual Display Terminals）作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、前記第一の時点又は前記第一の期間より後のＶＤＴ作業中の前記測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と前記基準値との乖離に基づいて認知疲労を判定する判定ステップ、を有する認知疲労検知方法である。

【0008】

本発明の一態様は、上述の認知疲労検知方法であって、前記判定ステップにおいて認知疲労と判定された場合に、前記測定対象者の認知疲労の通知を出力する通知ステップ、をさらに有する。

【0009】

本発明の一態様は、測定対象者の瞳孔径を経時的に測定した結果を示す測定データを取得する取得部と、前記測定データに基づいて、ＶＤＴ（Visual Display Terminals）作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、前記第一の時点又は前記第一の期間より後のＶＤＴ作業中の前記測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と前記基準値との乖離に基づいて認知疲労を判定する判定部と、を備える認知疲労検知装置である。

【0010】

本発明の一態様は、コンピュータを、上述の認知疲労検知装置として機能させるためのプログラムである。

【0011】

本発明の一態様は、入力された情報に基づくデータを表示装置に表示するユーザ装置と、前記表示装置を見ながらＶＤＴ作業を行う測定対象者の瞳孔径を経時的に測定した結果を示す測定データを取得する取得部と、前記測定データに基づいて、ＶＤＴ作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、前記第一の時点又は前記第一の期間より後のＶＤＴ作業中の前記測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と前記基準値との乖離に基づいて認知疲労を判定する判定部と、前記判定部において認知疲労と判定された場合に、前記測定対象者の認知疲労の通知を出力する通知部と、備える認知疲労検知システムである。

【0012】

本発明の一態様は、上述の認知疲労検知システムであって、前記通知部は、前記ユーザ装置に前記通知を出力する、又は、前記ユーザ装置とは異なる装置により前記通知を出力する。

【0013】

本発明の一態様は、上述の認知疲労検知システムであって、前記通知は、視覚を用いた通知と、聴覚を用いた通知と、触覚を用いた通知とのうち一以上を含む。

【0014】

本発明の一態様は、上述の認知疲労検知システムであって、前記通知部は、ＶＤＴ作業に基づいて表示される前記データのうち一部のデータの表示の態様を変更することにより前記通知を出力する。

【0015】

本発明の一態様は、上述の認知疲労検知システムであって、前記ユーザ装置は、前記測定対象者がＶＤＴ作業において入力した情報に従って動作するアバターを前記表示装置に表示し、前記通知部は、前記判定部において認知疲労と判定された場合に、前記表示装置に表示される前記アバターの動作に影響を与えることにより、又は、前記表示装置に表示され、かつ、前記アバターの動作に影響を与える情報を変更することにより前記通知を行う。

【発明の効果】

【0016】

本発明により、ＶＤＴ作業を行う作業者の認知疲労を、作業者の負担や制限を抑え、また、ＶＤＴ作業中の頭脳活動へ影響を与えることなく検知することが可能となる。

【図面の簡単な説明】

【0017】

【図1】実験におけるｅスポーツのプレー時間及び測定タイミングを示す図である。

【図2】各測定タイミングにおける疲労感を示す図である。

【図3】各測定タイミングにおけるフランカー干渉を示す図である。

【図4】各測定タイミングにおける瞳孔径を示す図である。

【図5】各測定タイミングにおける瞳孔径の変化を示す図である。

【図6】瞳孔径の変化量と認知機能との関係を示す図である。

【図7】疲労感と認知機能との関係を示す図である。

【図8】本発明の実施形態による認知疲労検知システムの構成を示すブロック図である。

【図9】同実施形態による認知疲労検知システムの使用例を示す図である。

【図10】同実施形態による認知疲労検知装置の測定データ受信処理を示すフロー図である。

【図11】同実施形態による認知疲労検知装置の認知疲労検出処理を示すフロー図である。

【図12】同実施形態による認知疲労検知装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0018】

以下、図面を参照しながら本発明の実施形態を詳細に説明する。

【0019】

現代の頭脳活動に、ＶＤＴ作業がある。ＶＤＴ作業には、ｅスポーツ、メタバースへの参加、ディスプレイを見ながらのコンピュータの入力、スマートホンやタブレット端末などの操作などがある。ＶＤＴ作業を長時間継続すると、認知疲労が生じる。認知疲労は、認知機能が低下した状態である。認知疲労は自覚しにくいため、ＶＤＴ作業を長時間継続してしまうことがままある。認知疲労は、認知機能の回復可能な一過的低下であるが、長時間のＶＤＴ作業によって認知疲労が蓄積すると、ゲーム依存症や、ワークホリックなど、様々な問題が生じる可能性がある。

【0020】

一方で、例えばｅスポーツなどでは、ある程度長時間プレーをすることによって技術が向上する。すなわち、長時間プレー自体が悪いのではなく、長時間プレーを質の良いところで気付いて止めることが重要である。本実施形態では、ＶＤＴ作業を行っている利用者に認知疲労を積極的に自覚させ、健康面に問題がでないように作業の停止や休息を促す。これによって、認知疲労の蓄積を防ぎ、ｅスポーツのパフォーマンスや仕事の頭脳パフォーマンスなどが、日を追うごとに高まっていくように導く。

【0021】

本実施形態では、ＶＤＴ作業を行う頭脳活動時に常時測定可能な瞳孔径測定器を使用することで、利用者の頭脳活動を中断させることなく、認知疲労を検知可能とする。また、このとき測定する瞳孔径は、疲労感ではなく、認知疲労（認知機能の低下）と関係することから、これらを明確に分類することも可能にする。

【0022】

また、本実施形態では、疲労感とは関係なく生じてしまう頭脳活動時の認知疲労を瞳孔径の縮小から検知すると、それを視覚、聴覚、触覚などを通じた種々の形態で利用者にフィードバックする。例えば、特許文献２の技術では、ストレスや疲労が検知された場合、ストレス解消音楽を放音している。これは、利用者のストレスや疲労が検知された後の頭脳活動を、”だましだまし”継続するように支援するものであり、利用者の疲労感を補完し、それにより活動を止めて過活動を防ぐように促すものではない。一方、本実施形態では、利用者の疲労感では検知できない頭脳活動時の認知疲労の自覚を促すことが可能になる。

【0023】

また、サイバー空間での頭脳活動時に利用者の認知疲労が低下した場合にも、サイバー空間での自らのツール、例えば、アバター、マウスポインター、カーソルなどの動きは何ら変化しない。特許文献３の技術では、利用者のストレスや疲労を検知し、それに応じてゲーム等の全体の難易度や速度を変化させている。そのため、利用者は、認知疲労を自覚しにくい。本実施形態では、利用者の認知疲労を、ＶＤＴ作業対象のサイバー空間のツールに反映することによって、認知疲労を自覚しやすくする。

【0024】

ここでまず、ｅスポーツのプレーが心身に及ぼす影響についての実験を説明する。実験参加者は、若齢成人男性１４名と女性１名である。図１は、参加者がｅスポーツをプレーした時間と、参加者の測定を行ったタイミングを示す図である。被験者（参加者）は、１８０分間ｅスポーツをプレーし、その後３０分間安静にした。また、測定項目は、認知機能、疲労感（ＶＡＳ：Visual Analogue Scale）、瞳孔径である。図１における三角の記号は、認知機能及び疲労感の測定を行ったタイミングを示す。これらの測定タイミングは、プレー開始１５分前、プレー開始から６０分、１２０分、１８０分が経過した時点、プレー終了から３０分経過した時点である。認知機能を測定するための認知課題には、フランカー課題（Flanker task）を用いた。フランカー課題では、被験者が画面の中心にランダムに表示される矢印の向きを回答し、その回答の速さと正確さを測定する。

【0025】

図２～７は、実験結果を示す図である。図２は、各測定タイミングにおける疲労感を示す図であり、図３は、各測定タイミングにおけるフランカー課題の結果であるフランカー干渉（Flanker Interference）を示す図である。図２及び図３ではそれぞれ、プレー開始１５分前（Pre）、プレー開始から６０分の時点（1h）、１２０分の時点（2h）、１８０分の時点（3h）、プレー終了から３０分経過した時点（Post 30min）における値を示している。また、図２及び図３において、＊は有意差があることを示す。図２によれば、プレー開始２時間の時点では疲労感は上昇しておらず、３時間の時点で上昇している。しかしながら、図３によれば、プレー開始２時間の時点ですでに認知疲労、すなわち、実行機能の低下が発生している。このように、頭脳活動では、自覚される疲労感と実際の認知疲労とに乖離があるため、過活動が起こりやすい可能性がある。つまり、疲労を感じてからプレーをやめたとしても、すでに認知疲労は起こっているため、そのようなプレーの繰り返しは過労や依存症につながり得る。

【0026】

図４は、各測定タイミングにおける瞳孔径を示す図であり、図５は、各測定タイミングにおける瞳孔径の変化を示す図である。図４及び図５ではそれぞれ、プレー開始から６０分の時点（1h）、１２０分の時点（2h）、１８０分の時点（3h）における値を示している。図５に示す瞳孔径の変化は、プレー開始１時間時点の瞳孔径と、各測定タイミングにおける瞳孔径との差分、すなわち、瞳孔径の変化量である。この変化量をΔ瞳孔径とも記載する。図４及び図５においても、＊は有意差があることを示す。図４及び図５に示すように、プレー中の瞳孔径は、高い認知機能を維持していた１時間時点と比較して、認知疲労を起こしていた２～３時間時点で減少した。

【0027】

図６は、１時間ごとに得られたΔ瞳孔径と認知機能との関係を示す図であり、図７は、疲労感と認知機能との関係を示す図である。認知機能は、フランカー干渉を用いて示している。これらの図から、プレー中に低下した実行機能（認知機能）は、疲労感とは関係せず、プレー中の瞳孔径の変化量や変化率と関係することがわかる。すなわち、瞳孔径は、頭脳活動時に生じにくい疲労感の補完に役立つ。

【0028】

上記の実験により、２時間以上のｅスポーツの長時間プレー時、瞳孔径の０．１ｍｍ以上の縮小もしくは３％程度以上の縮小が、疲労感を伴わない認知疲労を感度よく検知することが明らかになった。

【0029】

そこで、本実施形態では、ｅスポーツに代表されるような、物理世界とサイバー空間にまたがって行われる頭脳活動時に、利用者の瞳孔を常時測定器により計測し、計測結果を用いて認知疲労を検出する。具体的には、瞳孔径の縮小を、活動開始初期の疲労していない状態の瞳孔径平均を基準とし、基準が得られた後は、作用時間に応じてある時間長の瞳孔径の移動平均を連続的に算出する。算出した瞳孔径が基準よりもある閾値以下に縮小した場合に、認知疲労が生じていることを検出する。認知疲労を検出した際には、利用者に視覚、聴覚、触覚など通じたフィードバックを行い、利用者に疲労の自覚を促し、サイバー空間での過度の活動を抑制する。例えば、頭脳労働がｅスポーツや、アバターを用いたメタバースでの活動である場合、利用者のアバターに認知疲労を反映する。これにより、例えば、複数の参加者が対戦するｅスポーツの場合、対戦相手にも利用者の疲労が認識されるため、対戦者同士で疲労間を共有することによる共感の醸成が可能となる。同様に、メタバース空間の活動においても、利用者の疲労が、同じメタバース空間を共有する他の利用者にも認識され、利用者間で疲労間の共有による共感が醸成される。また、頭脳労働が書類や画像・映像の作成、学習の場合には、画面に表示されるマウスポインター、カーソルの色などを変更する。アバターやマウスポインター、カーソルなどは、利用者の操作によって動く対象であり、利用者が作業中に注目している対象であることから、利用者はこれらを用いたフィードバックを認識しやすいと考えられる。また、アイトラッカーを用いて測定可能な瞳孔径を認知疲労の検出に用いることで、利用者がセンサを装着するなどの負担や制限を抑え、大掛かりな専用装置を用いることなく認知疲労を検出可能である。

【0030】

従来は、疲労の概念があいまいであり、また、作業中にリアルタイムに疲労を検出することや、検出した疲労をフィードバックすることは困難であった。本実施形態では、手軽に利用者のサイバー空間のアバター等に疲労検出をフィードバック可能となるため、サイバー空間での活動の質を維持する効果が期待できる。また、ｅスポーツやメタバース以外のサイバー空間での頭脳活動一般に応用が可能であり、教育、学習支援、社会や会社等における頭脳労働などの場面にも適用可能である。本実施形態は、ｅスポーツやメタバース、頭脳労働における過重な活動を抑制して質を向上させ、サイバー空間で精神的健全性維持に資するものである。

【0031】

図８は、本発明の一実施形態による認知疲労検知システム１の構成を示す図である。認知疲労検知システム１は、ユーザ装置１０と、測定装置２０と、情報処理装置３０と、認知疲労検知装置４０とを備える。ここでは、情報処理装置３０により提供されるサイバー空間が、ｅスポーツである場合を例に説明する。

【0032】

ユーザ装置１０は、入力部１１と、表示部１２と、音声出力部１３と、通信部１４と、処理部１５とを備える。入力部１１は、ゲームコントローラ、キーボード、マウス、ボタン、タッチパネルなどであり、利用者の操作による情報の入力を受ける。表示部１２は、ＬＣＤ（Liquid Crystal Display）などの表示装置である。表示部１２は、表示装置をユーザ装置１０に接続するためのインタフェースであってもよい。この場合、表示部１２は、データを表示するための映像信号を生成し、自身に接続されている表示装置に映像信号を出力する。音声出力部１３は、スピーカーやヘッドホンやイヤホン等の音声出力装置である。音声出力部１３は、音声出力装置をユーザ装置１０に接続するためのインタフェースであってもよい。この場合、音声出力部１３は、音声ストリーミングデータを音声出力するための音声信号を生成し、自装置に接続されている音声出力装置に音声信号を出力する。通信部１４は、ネットワークを介して他の装置とデータの送受信を行う。処理部１５は、ＣＰＵ（central processing unit）及び各種メモリから構成され、各部の制御や、データの一時的な格納や、データの転送等を行う。処理部１５は、入力部１１により入力された情報を情報処理装置３０に出力する。また、処理部１５は、情報処理装置３０から受信した情報に基づいて表示部１２に画像表示したり、音声出力部１３により音声を出力したりする。

【0033】

測定装置２０は、瞳孔径を常時測定可能なアイトラッカーである。測定装置２０は、角膜に当てた光の反射を撮影し、撮影された画像を用いて瞳孔径を測定する。なお、瞳孔径の測定には、任意の従来技術を用いることができる。測定装置２０は、ユーザ装置１０の表示部１２を見ながらＶＤＴ作業を行うユーザの瞳孔径を経時的に測定し、測定結果を示す測定データを認知疲労検知装置４０に送信する。測定装置２０は、測定データをユーザ装置１０に送信し、ユーザ装置１０が測定データを認知疲労検知装置４０に送信してもよい。

【0034】

情報処理装置３０は、ユーザがＶＤＴ作業を行う対象の情報処理機能を提供する。ここでは、情報処理装置３０は、ｅスポーツのサイバー空間を提供する。情報処理装置３０は、例えば、コンピュータ装置により実現される。情報処理装置３０は、記憶している各種設定情報やユーザ装置１０から入力された情報に基づいて、ｅスポーツのサイバー空間のアバターやキャラクターなどの動作、背景、音声などを決定し、決定した動作と背景を合成した映像データ及び決定した音声の音声データなどをユーザ装置１０に送信する。

【0035】

認知疲労検知装置４０は、通信部４１と、記憶部４２と、取得部４３と、判定部４４と、通知部４５とを備える。認知疲労検知装置４０は、例えば、コンピュータ装置により実現される。通信部４１は、ネットワークを介して他の装置とデータの送受信を行う。記憶部４２は、各種データを記憶する。取得部４３は、通信部４１が測定装置２０から受信した測定データを取得し、記憶部４２に書き込む。

【0036】

判定部４４は、測定データから、ＶＤＴ作業による認知疲労が発生していない時点の瞳孔径を取得して基準値とする。あるいは、判定部４４は、測定データから、ＶＤＴ作業による疲労が発生していない期間における瞳孔径を読み出し、読み出した瞳孔径の平均値を基準値とする。判定部４４は、基準値が得られた測定データよりも後に得られたＶＤＴ作業中の測定データから、ある時刻の瞳孔径、又は、所定期間の瞳孔径の平均値を、判定用測定値として得る。判定部４４は、得られた判定用測定値と基準値との乖離に基づいて認知疲労の発生を判定する。具体的には、判定部４４は、判定用測定値が基準値よりも所定値以上又は所定割合以上縮小した場合に、認知疲労が生じていると判定する。通知部４５は、判定部４４において認知疲労が生じていると判定された場合に、認知疲労の通知を出力して測定対象者にフィードバックを行う。これにより、利用者へ疲労の自覚を促す。フィードバックは、視覚、聴覚、触覚のいずれを用いた通知でもよい。また、視覚、聴覚、触覚のそれぞれを用いた通知を複数組み合わせてもよい。

【0037】

なお、ユーザ装置１０、情報処理装置３０又は認知疲労検知装置４０が、測定装置２０を備えてもよい。また、ユーザ装置１０と情報処理装置３０とが一体の装置でもよい。また、ユーザ装置１０又は情報処理装置３０と認知疲労検知装置４０とが一体の装置でもよく、ユーザ装置１０と情報処理装置３０と認知疲労検知装置４０とが一体の装置でもよい。認知疲労検知装置４０の一部の機能がユーザ装置１０又は情報処理装置３０に備えられてもよい。例えば、通知部４５が、認知疲労検知装置４０に代えて、ユーザ装置１０又は情報処理装置３０に備えられてもよい。

【0038】

認知疲労検知装置４０を、ネットワークに接続される複数のコンピュータ装置により実現してもよい。この場合、認知疲労検知装置４０が備える各機能部を、これら複数のコンピュータ装置のいずれにより実現するかは任意とすることができる。また、同一の機能部を複数のコンピュータ装置により実現してもよい。また、ユーザ装置１０と、情報処理装置３０との一方又は両方を、ネットワークに接続される複数のコンピュータ装置により実現してもよい。

【0039】

図９は、認知疲労検知システム１の使用例を示す図である。利用者Ｕは、測定対象者である。利用者Ｕは、照度が変化しない室内で、ｅスポーツやメタバース、デスクワークなど、サイバー空間に連動した頭脳活動を行う。利用者Ｕは、ユーザ装置１０の表示部１２が見える位置で、入力部１１を操作する。測定装置２０は、表示部１２が表示するサイバー空間の映像を見ている利用者Ｕの目を正面から撮影可能なように、表示部１２の近辺に設置される。同図では、測定装置２０は、表示部１２の下のベゼルに設置されている。なお、図９に示すスタイルの測定装置２０は一例である。例えば、アイトラッキングを行うグラス型やヘッドマウントディスプレー型の測定装置２０を用いたスタイルによって、利用者Ｕの瞳孔径を測定してもよい。

【0040】

図１０は、認知疲労検知装置４０の測定データ受信処理を示すフロー図である。測定装置２０は、ユーザの瞳孔径を常時測定し、測定した瞳孔径と測定時刻とを対応づけた時系列の測定データを認知疲労検知装置４０に送信する。認知疲労検知装置４０の通信部４１は、測定装置２０から測定データを受信する（ステップＳ１１）。測定データには、利用者を識別する情報であるユーザ識別情報が付加される。測定装置２０の識別情報を、ユーザ識別情報として用いてもよい。取得部４３は、通信部４１が受信した測定データを記憶部４２に書き込む（ステップＳ１２）。認知疲労検知装置４０は、ステップＳ１１からの処理を繰り返す。図１０の処理により、認知疲労検知装置４０は、測定データを随時取得して、記憶部４２に記憶する。

【0041】

図１１は、認知疲労検知装置４０の認知疲労検出処理を示すフロー図である。認知疲労検知装置４０は、図１０の処理を実行しながら、図１１の処理を利用者別に行う。

【0042】

認知疲労検知装置４０の判定部４４は、基準値を取得済みであるか否かを判断する（ステップＳ２１）。判定部４４は、基準値をまだ取得していないと判断した場合（ステップＳ２１：ＮＯ）、基準値取得用期間が経過したか否かを判断する（ステップＳ２２）。基準値取得用期間は、明らかに疲労していない状態の期間（第一の期間）である。例えば、基準値取得用期間は、活動開始から所定時間が過ぎたタイミングから所定時間が経過するまでの時間である。具体的には、基準値取得用期間は、活動開始から５～６０分間である。なお、基準値取得用期間の開始タイミングは、活動開始前の時刻でもよく、活動開始から５分経過するまでの間の時刻でもよい。

【0043】

また、判定部４４は、以下のように活動開始のタイミングを得ることができる。例えば、情報処理装置３０は、ユーザ装置１０からユーザが入力部１１により入力した情報を受信し、受信した情報がｅスポーツの利用開始を示す場合に活動開始を認知疲労検知装置４０に通知する。認知疲労検知装置４０の判定部４４は、認知疲労検知装置４０から活動開始の通知を受信した時刻を、活動開始のタイミングとして得る。あるいは、ユーザ装置１０は、利用者が入力部１１によりｅスポーツの利用開始を入力した場合に、認知疲労検知装置４０に活動開始を通知してもよい。またあるいは、利用者は、測定装置２０に活動開始を入力してもよい。活動開始の入力は、測定開始の操作でもよい。測定装置２０は、活動開始の入力を認知疲労検知装置４０に通知する。あるいは、認知疲労検知装置４０の図示しない入力部により活動開始又は活動開始時刻が入力されてもよい。

【0044】

判定部４４は、基準値取得用期間が経過していないと判断した場合（ステップＳ２２：ＮＯ）、ステップＳ２１に戻る。認知疲労検知装置４０は、ステップＳ２１から処理を繰り返す。一方、判定部４４は、基準値取得用期間が経過したと判断した場合（ステップＳ２２：ＹＥＳ）、基準値を取得する（ステップＳ２３）。具体的には、判定部４４は、基準値取得用期間に測定された測定データを記憶部４２から読み出す。判定部４４は、読み出した測定データが示す瞳孔径の平均を算出し、基準値とする。判定部４４は、基準値を記憶部４２に書き込む。認知疲労検知装置４０は、ステップＳ２１から処理を繰り返す。

【0045】

ステップＳ２１において、判定部４４は、基準値を取得済みであると判断した場合（ステップＳ２１：ＹＥＳ）、判定周期の経過を待つ。判定周期は、例えば、１～５分である。判定用測定値をまだ算出していない場合、判定部４４は、基準値の取得から判定周期の経過を待つ。また、判定用測定値を算出済みの場合、判定部４４は、最後に判定用測定値を算出してから判定周期の経過を待つ。なお、判定部４４は、活動開始からの経過時間に応じて判定周期を変更してもよい。

【0046】

判定部４４は、判定周期が経過したことを検出すると（ステップＳ２４）、その判定周期の終了タイミングから所定期間遡ったタイミングまで期間（第二の期間）の測定データを記憶部４２から読み出す。判定周期の終了タイミングから遡る所定期間は、判定周期よりも長くてもよく、同じでもよく、短くてもよい。判定部４４は、読み出した測定データが示す瞳孔径の平均（移動平均）を算出し、判定用測定値とする（ステップＳ２５）。

【0047】

判定部４４は、判定用測定値と基準値との乖離が所定条件を満たすか否かを判定する（ステップＳ２６）。所定条件は、例えば、基準値よりも０．１ｍｍ以上の縮小、又は、基準値よりも３％以上の縮小である。判定部４４は、乖離が所定条件を満たさないと判断した場合（ステップＳ２６：ＮＯ）、認知疲労は発生していないと判断する。判定部４４は、ステップＳ２４から処理を繰り返す。これにより、判定部４４は、作業時間に応じて１～５分毎に連続的に移動平均を算出し、基準値と比較する。

【0048】

判定部４４は、乖離が所定条件を満たすと判断した場合（ステップＳ２６：ＹＥＳ）、認知疲労を検出する。判定部４４は、通知部４５に利用者のユーザ識別情報を出力し、さらに、認知疲労の通知を指示する。通知部４５は、判定部４４からの指示を受けると、ユーザ識別情報により識別されるユーザに、認知疲労の検出をフィードバックする（ステップＳ２７）。

【0049】

例えば、通知部４５は、認知疲労が検出された利用者のアバターの動きが、入力部１１に入力した情報に基づく動きよりも鈍い動きになるように情報処理装置３０に指示する。通知部４５は、この指示に利用者のユーザ識別情報を付加する。情報処理装置３０は、例えば、ユーザ識別情報により特定される利用者のアバターの動きの量や速度を変化させる。例えば、アバターの動き速度を所定だけ遅くする、動きの速度が上限を超えないようにする、アバターの動きの量を所定だけ小さくする、ユーザ装置１０から受信したアバターの操作に関する情報の受信時刻に所定の遅延を加えるなどによって、アバターの動きを変化させる。利用者は、表示部１２に表示されるアバターの動きによって、認知疲労を認識する。あるいは、情報処理装置３０は、例えば、アバターの体力の情報を所定だけ低い値にするなど、アバターの動きに用いられる情報を、アバターの動きが悪くなるように書き替える。書き替えられた体力の情報は、情報処理装置３０がｅスポーツの画面の体力ゲージに反映される。これにより利用者は、表示部１２に表示されるアバターの動きだけでなく、表示される情報の変化にもよって認知疲労を認識できる。また、情報処理装置３０は、ｅスポーツ中に出力される音声を変更してもよく、所定の音や音楽を出力するようにしてもよい。情報処理装置３０は、これら音声を出力するための音声データをユーザ装置１０に出力する。ユーザは、ユーザ装置１０の音声出力部１３が情報処理装置３０から受信した音声データに基づいて出力する音や音楽によって、認知疲労を認識する。

【0050】

また、通知部４５は、利用者が座っている椅子に備えられた振動装置や、入力部１１として用いているコントローラなどの入力装置を震わせるなど、触覚による通知によりフィードバックを行ってもよい。また、情報処理装置３０は、上述のフィードバックを適宜組み合わせてもよい。

【0051】

なお、ステップＳ２３において、判定部４４は、活動開始前、活動開始直後、活動開始から所定時間経過した時刻を基準値取得タイミングとし、基準値取得タイミングにおける瞳孔径を測定データから読み出して基準値としてもよい。この場合、ステップＳ２２において、判定部４４は、基準値取得タイミングであるか否かを判定する。また、ステップＳ２５において、判定部４４は、判定周期の終了タイミングにおける瞳孔径を測定データから読み出し、判定用測定値としてもよい。

【0052】

なお、測定装置２０は、右目の測定データと、左目の測定データとの一方又は両方を認知疲労検知装置４０に送信してもよい。この場合、認知疲労検知装置４０は、右目の測定データ、又は、左目の測定データのいずれかを用いて、図１１の処理を行ってもよい。あるいは、測定装置２０が右目の測定データ及び左目の測定データを送信する場合、認知疲労検知装置４０は、右目と左目のそれぞれについてステップＳ２３、Ｓ２５、Ｓ２６の処理を行ってもよい。ステップＳ２６において、判定部４４が右目と左目のいずれかについてＹＥＳと判定した場合、認知疲労検知装置４０はステップＳ２７の処理を行う。またあるいは、判定部４４は、右目と左目の平均の瞳孔径についてステップＳ２３、Ｓ２５、Ｓ２６の処理を行ってもよい。

【0053】

なお、ユーザ装置１０がパーソナルコンピュータであり、利用者が利用するサイバー空間が書類や画像・映像の作成、学習などの場合、認知疲労検知装置４０の通知部４５は、パーソナルコンピュータの画面にメッセージを表示する、カーソルの色や形を変える、パーソナルコンピュータから所定の音や音楽を出力させることによりフィードバックを行ってもよい。この場合、通知部４５は、ユーザ装置１０に直接これらのフィードバックを行うよう指示してもよい。また、ユーザ装置１０が、認知疲労検知装置４０の機能を有してもよく、利用者が書類や画像・映像の作成、学習などを行うための情報処理装置３０の機能を有してもよい。

【0054】

また、ユーザ装置１０がスマートホンの場合、認知疲労検知装置４０の通知部４５は、スマートホンの画面にメッセージを表示する、スマートホンの画面やランプを光らせる、スマートホンに所定の音や音楽を出力させる、スマートホンを振動させたりすることによりフィードバックを行ってもよい。この場合、通知部４５は、ユーザ装置１０に直接これらのフィードバックを行うよう指示してもよい。また、認知疲労検知装置４０の機能がアプリケーションとしてユーザ装置１０により実装されてもよい。この場合、測定装置２０が、スマートホンに実装されているカメラと、スマートホンに実装されているアプリケーションとの組合せにより実現されてもよい。また、認知疲労検知装置４０の機能がアプリケーションとしてユーザ装置１０により実装されてもよい。

【0055】

また、通知部４５は、利用者への通知に代えて又は加えて、利用者の認知疲労の通知を利用者以外へ出力してもよい。例えば、通知部４５は、利用者が所属する会社や学校などの組織が有する装置（図示せず）や、利用者の保護者が有する装置（図示せず）などに認知疲労の通知を出力するよう指示してもよい。これらの装置の例は、パーソナルコンピュータやスマートホンであり、通知部４５は、メッセージ、音又は音楽を出力する、ランプを点灯させる、振動させることなどによる通知をこれら装置に実行させるように、これら装置に指示を出力する。

【0056】

認知疲労検知装置４０のハードウェア構成例を説明する。図１２は、認知疲労検知装置４０のハードウェア構成例を示す装置構成図である。認知疲労検知装置４０は、プロセッサ７１と、記憶部７２と、通信インタフェース７３と、ユーザインタフェース７４とを備える。

【0057】

プロセッサ７１は、演算や制御を行う中央演算装置である。プロセッサ７１は、例えば、ＣＰＵである。プロセッサ７１は、記憶部７２からプログラムを読み出して実行する。記憶部７２は、さらに、プロセッサ７１が各種プログラムを実行する際のワークエリアなどを有する。通信インタフェース７３は、他装置と通信可能に接続するものである。ユーザインタフェース７４は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の入力装置や、ディスプレイなどの表示装置、スピーカーやヘッドホンなどの音声出力装置である。

【0058】

取得部４３、判定部４４、及び、通知部４５の機能は、プロセッサ７１が記憶部７２からプログラムを読み出して実行することより実現される。上記プログラムは、電気通信回線を介して送信されてもよく、可搬の記録媒体に記録されてもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。なお、取得部４３、判定部４４、及び、通知部４５の機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、記憶部４２は、記憶部７２により実現される。通信部４１は、通信インタフェース７３により実現される。

【0059】

なお、ユーザ装置１０及び情報処理装置３０のハードウェア構成も図１２と同様である。

【0060】

本実施形態は、頭脳労働による過労、依存、プレゼンティーズムを防止する一過性疲労検知システムに適用可能である。例えば、ディスプレイやパーソナルコンピュータへの実装可能であり、専用機器としての提供も可能である。

【0061】

また、本実施形態は、ｅスポーツの練習の質を担保するフィードバックシステムなどへ適用可能である。例えば、本実施形態を実装したディスプレイやパーソナルコンピュータにより、あるいは、本実施形態を実装した専用機器により、フィードバックシステムを提供可能である。

【0062】

また、本実施形態を複数人が共有するサイバー空間に適用し、各参加者の疲労をサイバー空間にフィードバックすることで、参加者が疲労を共有し、孤独の解消することができる。よって、本実施形態を、豊かなメタバース環境を提供し、サイバーコミュニケーションを創出する絆形成システムに提供可能である。

【0063】

以上説明した実施形態によれば、認知疲労検知システムは、ユーザ装置と、取得部と、判定部と、通知部とを備える。ユーザ装置は、入力された情報に基づくデータを表示装置に表示する。取得部は、表示装置を見ながらＶＤＴ作業を行う測定対象者の瞳孔径を経時的に測定した結果を示す測定データを取得する。判定部は、測定データに基づいて、ＶＤＴ作業による認知疲労が発生していない第一の時点の瞳孔径、又は、ＶＤＴ作業による疲労が発生していない第一の期間における瞳孔径の平均値を取得して基準値とし、第一の時点又は第一の期間より後のＶＤＴ作業中の測定データから得られた第二の時点の瞳孔径又は第二の期間における瞳孔径の平均値と基準値との乖離に基づいて認知疲労を判定する。通知部は、判定部が認知疲労と判定した場合に、測定対象者の認知疲労の通知を出力する通知部を備えてもよい。取得部と、判定部と、通知部とは、認知疲労検知装置に備えられてもよい。

【0064】

通知部は、測定対象者の認知疲労の通知を測定対象者に対して出力してもよく、測定対象者以外に対して出力してもよい。また、通知部は、ユーザ装置に通知を出力してもよく、ユーザ装置とは異なる装置により通知を出力してもよい。通知は、視覚を用いた通知と、聴覚を用いた通知と、触覚を用いた通知とのうち一以上を含んでもよい。また、通知部は、ＶＤＴ作業に基づいて表示されるデータのうち一部のデータの表示の態様を変更することにより通知を出力してもよい。例えば、一部のデータは、アバター、マウスポインター、カーソルである。

【0065】

ユーザ装置は、測定対象者がＶＤＴ作業において入力した情報に従って動作するアバターを表示装置に表示してもよい。この場合、通知部は、判定部において認知疲労と判定された場合に、表示装置に表示されるアバターの動作に影響を与えることにより、又は、表示装置に表示され、かつ、アバターの動作に影響を与える情報を変更することにより通知を行ってもよい。

【0066】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0067】

１ 認知疲労検知システム
１０ ユーザ装置
１１ 入力部
１２ 表示部
１３ 音声出力部
１４ 通信部
１５ 処理部
２０ 測定装置
３０ 情報処理装置
４０ 認知疲労検知装置
４１ 通信部
４２ 記憶部
４３ 取得部
４４ 判定部
４５ 通知部
７１ プロセッサ
７２ 記憶部
７３ 通信インタフェース
７４ ユーザインタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】