知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人 奈良先端科学技術大学院大学の特許一覧 ▶ 国立大学法人九州大学の特許一覧
特開2025-16304視覚機能モニタリングシステム及び視覚機能モニタリング方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025016304
(43)【公開日】2025-01-31
(54)【発明の名称】視覚機能モニタリングシステム及び視覚機能モニタリング方法
(51)【国際特許分類】
A61B 3/10 20060101AFI20250124BHJP
A61B 3/103 20060101ALI20250124BHJP
A61B 3/113 20060101ALI20250124BHJP
A61B 5/107 20060101ALI20250124BHJP
【ＦＩ】
A61B3/10
A61B3/103
A61B3/113
A61B5/107 800
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023119500
(22)【出願日】2023-07-21
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(71)【出願人】
【識別番号】504145342
【氏名又は名称】国立大学法人九州大学
(74)【代理人】
【識別番号】110000822
【氏名又は名称】弁理士法人グローバル知財
(72)【発明者】
【氏名】魏 キン
(72)【発明者】
【氏名】劉 華坤
(72)【発明者】
【氏名】ペルスキア エルナンデス モニカ
(72)【発明者】
【氏名】内山 英昭
(72)【発明者】
【氏名】清川 清
(72)【発明者】
【氏名】磯山 直也
(72)【発明者】
【氏名】正井 克俊
【テーマコード（参考）】
4C038
4C316
【Ｆターム（参考）】
4C038VA04
4C038VB03
4C038VB22
4C038VC01
4C316AA11
4C316AA13
4C316AA16
4C316FA04
4C316FA19
(57)【要約】
【課題】ユーザの日常の視行動を用いて継続的にモニタリングできる視覚機能モニタリングシステム及び視覚機能モニタリング方法を提供する。
【解決手段】模擬障害データ入力手段２は、模擬した視覚障害に関するデータの入力を受け付ける。視覚タスク提示手段３は、視覚タスクの入力を受け付け、受け付けた視覚タスクを提示する。センシング手段４は、ユーザの視行動をセンシングする。学習モデル生成手段５は、キャリブレーション時にセンシングした視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する。記憶手段６は、学習モデルと、モニタリング時にセンシングした視行動データと、評価データを記憶する。評価手段７は、モニタリング時にセンシングした視行動データと学習モデルに基づいて、ユーザの視覚機能を評価する。出力手段８は、視覚機能の異常に関する評価データを出力する。
【選択図】図１
【解決手段】模擬障害データ入力手段２は、模擬した視覚障害に関するデータの入力を受け付ける。視覚タスク提示手段３は、視覚タスクの入力を受け付け、受け付けた視覚タスクを提示する。センシング手段４は、ユーザの視行動をセンシングする。学習モデル生成手段５は、キャリブレーション時にセンシングした視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する。記憶手段６は、学習モデルと、モニタリング時にセンシングした視行動データと、評価データを記憶する。評価手段７は、モニタリング時にセンシングした視行動データと学習モデルに基づいて、ユーザの視覚機能を評価する。出力手段８は、視覚機能の異常に関する評価データを出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
模擬した視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成するキャリブレーション部と、
通常下でセンシングした視行動データと前記学習モデルを用いて、ユーザの視覚機能の変化を捉えるモニタリング部を備えることを特徴とする視覚機能モニタリングシステム。
通常下でセンシングした視行動データと前記学習モデルを用いて、ユーザの視覚機能の変化を捉えるモニタリング部を備えることを特徴とする視覚機能モニタリングシステム。
【請求項2】
前記キャリブレーション部は、
模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力手段と、
ユーザの視行動をセンシングするセンシング手段と、
前記視覚障害下でユーザの視行動をセンシングした視行動データと、前記模擬障害データを用いて、前記学習モデルを生成する学習モデル生成手段と、
を備え、
前記モニタリング部は、
前記センシング手段と、
通常下でユーザの視行動をセンシングした視行動データと、前記学習モデルを用いて、ユーザの視覚機能を評価する評価手段と、
少なくとも視覚機能の異常に関する評価データを出力する出力手段、
を備えることを特徴とする請求項１に記載の視覚機能モニタリングシステム。
模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力手段と、
ユーザの視行動をセンシングするセンシング手段と、
前記視覚障害下でユーザの視行動をセンシングした視行動データと、前記模擬障害データを用いて、前記学習モデルを生成する学習モデル生成手段と、
を備え、
前記モニタリング部は、
前記センシング手段と、
通常下でユーザの視行動をセンシングした視行動データと、前記学習モデルを用いて、ユーザの視覚機能を評価する評価手段と、
少なくとも視覚機能の異常に関する評価データを出力する出力手段、
を備えることを特徴とする請求項１に記載の視覚機能モニタリングシステム。
【請求項3】
前記学習モデルと、モニタリング部においてセンシングした前記視行動データと、ユーザの視覚機能の評価データとを記憶する記憶手段、を更に備えることを特徴とする請求項２に記載の視覚機能モニタリングシステム。
【請求項4】
前記キャリブレーション部は、
閲読タスク、固視タスク又は追尾タスクの少なくとも何れかを含む視覚タスクの入力を受け付け、受け付けた前記視覚タスクを前記ユーザに対して提示する視覚タスク提示手段を更に備えることを特徴とする請求項２又は３に記載の視覚機能モニタリングシステム。
閲読タスク、固視タスク又は追尾タスクの少なくとも何れかを含む視覚タスクの入力を受け付け、受け付けた前記視覚タスクを前記ユーザに対して提示する視覚タスク提示手段を更に備えることを特徴とする請求項２又は３に記載の視覚機能モニタリングシステム。
【請求項5】
前記模擬障害データは、眼に対する光の変更誘発により生じる屈折誤差に関するデータであり、
前記ユーザの視覚機能の異常は、屈折力の低下である、ことを特徴とする請求項２に記載の視覚機能モニタリングシステム。
前記ユーザの視覚機能の異常は、屈折力の低下である、ことを特徴とする請求項２に記載の視覚機能モニタリングシステム。
【請求項6】
前記視行動データは、眼電位、目の周囲の皮膚の変形データ、視線計測データを含む目の撮像画像から取得されるデータの内、少なくとも何れかであることを特徴とする請求項２に記載の視覚機能モニタリングシステム。
【請求項7】
前記学習モデル生成手段において学習モデルの生成に用いられる視行動データ、及び、前記評価手段において評価に用いられる視行動データにおいて、
センシングした前記視行動データは何れも前処理が行われ、
直流成分、高周波成分、および線形トレンドを除去して、正規化されたデータであることを特徴とする請求項２に記載の視覚機能モニタリングシステム。
センシングした前記視行動データは何れも前処理が行われ、
直流成分、高周波成分、および線形トレンドを除去して、正規化されたデータであることを特徴とする請求項２に記載の視覚機能モニタリングシステム。
【請求項8】
模擬した視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成するキャリブレーションステップと、
通常下でセンシングした前記視行動データと前記学習モデルを用いて、ユーザの視覚機能の変化を捉えるモニタリングステップを備えることを特徴とする視覚機能モニタリング方法。
通常下でセンシングした前記視行動データと前記学習モデルを用いて、ユーザの視覚機能の変化を捉えるモニタリングステップを備えることを特徴とする視覚機能モニタリング方法。
【請求項9】
前記キャリブレーションステップは、
模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力ステップと、
前記視覚障害下でのユーザの視行動をセンシングする第１のセンシングステップと、
前記視覚障害下でユーザの視行動をセンシングした視行動データと、前記模擬障害データを用いて、前記学習モデルを生成する学習モデル生成ステップと、
を備え、
前記モニタリングステップは、
前記通常下でのユーザの視行動をセンシングする第２のセンシングステップと、
通常下でユーザの視行動をセンシングした視行動データと、前記学習モデルを用いて、ユーザの視覚機能を評価する評価ステップと、
少なくとも視覚機能の異常に関する評価データを出力する出力ステップ、
を備えることを特徴とする請求項８に記載の視覚機能モニタリング方法。
模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力ステップと、
前記視覚障害下でのユーザの視行動をセンシングする第１のセンシングステップと、
前記視覚障害下でユーザの視行動をセンシングした視行動データと、前記模擬障害データを用いて、前記学習モデルを生成する学習モデル生成ステップと、
を備え、
前記モニタリングステップは、
前記通常下でのユーザの視行動をセンシングする第２のセンシングステップと、
通常下でユーザの視行動をセンシングした視行動データと、前記学習モデルを用いて、ユーザの視覚機能を評価する評価ステップと、
少なくとも視覚機能の異常に関する評価データを出力する出力ステップ、
を備えることを特徴とする請求項８に記載の視覚機能モニタリング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの日常の視行動を用いて視覚機能をモニタリングする技術に関するものである。
【背景技術】
【0002】
視覚検査を行うためのモバイルデバイスが知られている（特許文献１を参照）。これは、モバイルデバイスの画面上に表示された検査パターンを使用して個人の視覚の検査が行われるものであり、検査結果に影響を及ぼすパラメータは、検査を行う前や検査を行っている間に評価される。
【0003】
また、タッチスクリーンを利用した場合の検査精度を向上させる視覚検査装置が知られている（特許文献２を参照）。これは、被検者に視標を提示し、所定の応答時間内に被検者に視標をタップさせるタッチパネルを含む装置である。
【0004】
さらに、高齢者が家庭環境で自身の視力と聴力を自分で評価できるシステムが知られている（特許文献３を参照）。これは、グラフィックやテキストがディスプレイによって被検者に表示されるものであり、被検者がグラフィックやテキストを見ている間の被検者の眼球運動を、眼球運動センサにより収集・解析し、被検者の視力を評価する。
【0005】
これらの特許文献１～３に開示される技術では、それぞれの視機能検査を実施するために、ユーザが特定の視覚タスクを実施する必要があり、このため継続的な利用を妨げる可能性がある。
また、視機能検査を実施した時点の結果しか得られないため、断続的な評価しか行えず、視覚機能のダイナミックな変化を捉えることができないという問題がある。視機能の変化を連続的・継続的に追跡することは、重度の視機能異常を防ぐために極めて重要である。
さらに、特許文献１～３に開示される技術では、ユーザが自発的・積極的にシステムに関与することが要求される。すなわち、ユーザが強い意思を持ってシステムを起動し、多くの時間と手間を掛けてシステムを操作する必要があるため、システムの利用が面倒になりがちである。多くの視機能異常は初期の自覚症状が軽微であるため早期発見が難しく、そのためにそもそもシステムを使用しようという意思が働かない可能性がある。
また、視機能検査を実施した時点の結果しか得られないため、断続的な評価しか行えず、視覚機能のダイナミックな変化を捉えることができないという問題がある。視機能の変化を連続的・継続的に追跡することは、重度の視機能異常を防ぐために極めて重要である。
さらに、特許文献１～３に開示される技術では、ユーザが自発的・積極的にシステムに関与することが要求される。すなわち、ユーザが強い意思を持ってシステムを起動し、多くの時間と手間を掛けてシステムを操作する必要があるため、システムの利用が面倒になりがちである。多くの視機能異常は初期の自覚症状が軽微であるため早期発見が難しく、そのためにそもそもシステムを使用しようという意思が働かない可能性がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表２０２１－５１９１９５号公報
【特許文献2】特開２０２２－０２５２４０号公報
【特許文献3】特表２０１８－５００９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
かかる状況に鑑みて、本発明は、ユーザの日常の視行動を用いて継続的にモニタリングできる視覚機能モニタリングシステム及び視覚機能モニタリング方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決すべく、本発明の視覚機能モニタリングシステムは、模擬した視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成するキャリブレーション部と、通常下でセンシングした視行動データと学習モデルを用いて、ユーザの視覚機能の変化を捉えるモニタリング部を備える。すなわち、ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成してキャリブレーションを行った上で、学習モデルを用いてユーザの視覚機能をモニタリングするシステムである。本システムは、具体的には下記各手段を備える。
１）模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力手段。
２）ユーザの視行動をセンシングするセンシング手段。
３）視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する学習モデル生成手段。
４）通常下でユーザの視行動をセンシングした視行動データと、学習モデルを用いて、ユーザの視覚機能を評価する評価手段。
５）学習モデルと、モニタリング時にセンシングした視行動データと、ユーザの視覚機能の評価データとを記憶する記憶手段。
６）少なくとも視覚機能の異常に関する評価データを出力する出力手段。
１）模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力手段。
２）ユーザの視行動をセンシングするセンシング手段。
３）視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する学習モデル生成手段。
４）通常下でユーザの視行動をセンシングした視行動データと、学習モデルを用いて、ユーザの視覚機能を評価する評価手段。
５）学習モデルと、モニタリング時にセンシングした視行動データと、ユーザの視覚機能の評価データとを記憶する記憶手段。
６）少なくとも視覚機能の異常に関する評価データを出力する出力手段。
【0009】
キャリブレーション部においては、学習モデル生成手段によりユーザの視覚機能と視行動データの相関度合いについて、幅広いユーザではなく当該ユーザに最も適合したカスタマイズされた学習モデルを生成するため、精度の高い学習モデルを生成できる。なお本明細書において、視覚機能とは、視力、屈折、眼球運動、両眼視機能、調節機能、色覚など入力に関する機能を指す。
予めキャリブレーションを行った上でモニタリングを行うため、日常的に無意識に行われる視行動を利用してモニタリングを行うことができ、視機能に異常が検出されない限り、ユーザが自発的にシステムを操作したり、何かを表示したり、目下の作業を中断したりする必要がないという利点がある。また、日常的な視行動を継続的に監視することにより、視機能異常を早期に検知できる。
予めキャリブレーションを行った上でモニタリングを行うため、日常的に無意識に行われる視行動を利用してモニタリングを行うことができ、視機能に異常が検出されない限り、ユーザが自発的にシステムを操作したり、何かを表示したり、目下の作業を中断したりする必要がないという利点がある。また、日常的な視行動を継続的に監視することにより、視機能異常を早期に検知できる。
【0010】
１）模擬障害データ入力手段について
模擬障害データの入力の受け付けは、例えば、公知のＰＣ等により入力を受け付けることで行うことができる。この他、スマートフォンやスマートグラスなどの機器から有線又は無線による通信により入力を受け付けることでもよい。データ入力の基となる視覚障害の模擬には、屈折誤差を誘発するための人間の眼の光学を変更する処方レンズのセットが好適に用いられる。また、屈折力を変化させるレンズの代わりに、斜視を模擬するプリズムレンズや白内障を模擬するフォグレンズ（曇りレンズ）を用いることもできる。これらによって、屈折異常ではなく斜視や白内障の予兆をモニタリングすることができる。なお、模擬した視覚障害は、屈折誤差や、斜視、白内障に限られず、視覚機能に関する障害が広く含まれる。
模擬障害データの入力の受け付けは、例えば、公知のＰＣ等により入力を受け付けることで行うことができる。この他、スマートフォンやスマートグラスなどの機器から有線又は無線による通信により入力を受け付けることでもよい。データ入力の基となる視覚障害の模擬には、屈折誤差を誘発するための人間の眼の光学を変更する処方レンズのセットが好適に用いられる。また、屈折力を変化させるレンズの代わりに、斜視を模擬するプリズムレンズや白内障を模擬するフォグレンズ（曇りレンズ）を用いることもできる。これらによって、屈折異常ではなく斜視や白内障の予兆をモニタリングすることができる。なお、模擬した視覚障害は、屈折誤差や、斜視、白内障に限られず、視覚機能に関する障害が広く含まれる。
【0011】
２）センシング手段について
センシングするユーザの視行動とは、視覚機能を用いた行動を幅広く含み、眼球運動の有無は問われない。したがって例えば、外眼筋の働きによって眼が動く眼球運動や、眼球運動に関連する皮膚、骨格又は臓器の動きに限られず、眼球運動が行われない状態もユーザの視行動としてセンシングできる。また、視覚機能を用いた行動には意識的又は無意識的行動が含まれ、覚醒時だけではなく、睡眠時なども含まれる。視行動データとは、視行動をセンシングすることにより得られるデータのことであり、ユーザの屈折力、眼位、水晶体の透明度、視野の欠損の有無・程度などの視覚機能の評価の基となるデータである。具体的には、眼電位や、目の周囲の皮膚の変形データ、視線計測データを含む目の撮像画像から取得されるデータなどが挙げられる。「視覚障害下」とは、視覚障害を模擬した状態を指し、「通常下」とは、視覚障害を模擬した状態以外の状態、すなわち日常生活における状態を幅広く含む趣旨であり、時間や場所についても限定されるものではない。
センシング手段としては、公知の視行動センサを幅広く適用できるが、眼電位（ＥＯＧ：Electro-oculogram）センサが好適に用いられる。ＥＯＧセンサとは、目の眼窩周辺に貼付された電極から眼球運動に伴う電位変動を検出するものである。このＥＯＧセンサを用いて、キャリブレーション部で、レンズ等を使用して視覚タスクを実行している間のユーザの視行動を記録し、モニタリング部で、日常生活でこのシステムを実行するデバイスを使用している間のユーザの視行動を記録する。
センシングするユーザの視行動とは、視覚機能を用いた行動を幅広く含み、眼球運動の有無は問われない。したがって例えば、外眼筋の働きによって眼が動く眼球運動や、眼球運動に関連する皮膚、骨格又は臓器の動きに限られず、眼球運動が行われない状態もユーザの視行動としてセンシングできる。また、視覚機能を用いた行動には意識的又は無意識的行動が含まれ、覚醒時だけではなく、睡眠時なども含まれる。視行動データとは、視行動をセンシングすることにより得られるデータのことであり、ユーザの屈折力、眼位、水晶体の透明度、視野の欠損の有無・程度などの視覚機能の評価の基となるデータである。具体的には、眼電位や、目の周囲の皮膚の変形データ、視線計測データを含む目の撮像画像から取得されるデータなどが挙げられる。「視覚障害下」とは、視覚障害を模擬した状態を指し、「通常下」とは、視覚障害を模擬した状態以外の状態、すなわち日常生活における状態を幅広く含む趣旨であり、時間や場所についても限定されるものではない。
センシング手段としては、公知の視行動センサを幅広く適用できるが、眼電位（ＥＯＧ：Electro-oculogram）センサが好適に用いられる。ＥＯＧセンサとは、目の眼窩周辺に貼付された電極から眼球運動に伴う電位変動を検出するものである。このＥＯＧセンサを用いて、キャリブレーション部で、レンズ等を使用して視覚タスクを実行している間のユーザの視行動を記録し、モニタリング部で、日常生活でこのシステムを実行するデバイスを使用している間のユーザの視行動を記録する。
【0012】
また、ＥＯＧセンサ以外にも、目の周囲の皮膚の変形データを収集する光反射センサや、視線計測データなど目の撮像画像から取得されるデータを収集する光学的なアイトラッカを単独で用いてもよいし、あるいはこれらを組み合せて用いてもよい。これらはいずれも、キャリブレーション中にレンズ等を使用している間、およびモニタリング中に被験者が日常生活でシステムを実行するデバイスを使用している間に被験者の視行動を記録する。ＥＯＧセンサや光反射センサ、アイトラッカなどは、すべてスマートアイウェアに目立たないように統合し、データを収集できる。
例えばセンシング手段をスマートグラスに設けると、煩わしさを感じさせることなく、ユーザの日常生活の活動中に視機能の検査を継続的に実施できる。もし視覚に何らかの異常を検出した場合、システムは速やかにユーザに通知できるため、高い利便性を有する。
例えばセンシング手段をスマートグラスに設けると、煩わしさを感じさせることなく、ユーザの日常生活の活動中に視機能の検査を継続的に実施できる。もし視覚に何らかの異常を検出した場合、システムは速やかにユーザに通知できるため、高い利便性を有する。
【0013】
３）学習モデル生成手段について
視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する。これにより、必ずしも複数のユーザに関する視行動データを用いる必要はなく、当該ユーザの視行動データのみを用いて、精度の高い学習モデルを生成できる。
視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する。これにより、必ずしも複数のユーザに関する視行動データを用いる必要はなく、当該ユーザの視行動データのみを用いて、精度の高い学習モデルを生成できる。
【0014】
４）評価手段について
当該ユーザに適合した学習モデルを用いて評価を行うため、精度の高い評価が可能となる。評価は、通常下でユーザの視行動をセンシングした視行動データと、学習モデルが備える視行動データと照合した上で、学習モデルが備える視行動データと当該ユーザの視覚機能の相関度合いに基づき、ユーザの視覚機能が正常又は異常であるとして評価する。ここでの視覚機能の異常とは、キャリブレーション部において模擬した視覚障害に関連するものである。
当該ユーザに適合した学習モデルを用いて評価を行うため、精度の高い評価が可能となる。評価は、通常下でユーザの視行動をセンシングした視行動データと、学習モデルが備える視行動データと照合した上で、学習モデルが備える視行動データと当該ユーザの視覚機能の相関度合いに基づき、ユーザの視覚機能が正常又は異常であるとして評価する。ここでの視覚機能の異常とは、キャリブレーション部において模擬した視覚障害に関連するものである。
【0015】
５）記憶手段について
学習モデルと、モニタリング時にセンシングした視行動データと、評価データ以外のデータを記憶することでもよい。例えば、キャリブレーション時の模擬障害データや、センシングした視行動データ、後述する視覚タスクに関するデータなどを記憶してもよいし、また、複数回キャリブレーションを行った場合には、過去のキャリブレーションに関するデータを記憶してもよい。更に、他のユーザの視覚機能と視行動データの相関度合いを表す学習モデルを記憶してもよい。
学習モデルと、モニタリング時にセンシングした視行動データと、評価データ以外のデータを記憶することでもよい。例えば、キャリブレーション時の模擬障害データや、センシングした視行動データ、後述する視覚タスクに関するデータなどを記憶してもよいし、また、複数回キャリブレーションを行った場合には、過去のキャリブレーションに関するデータを記憶してもよい。更に、他のユーザの視覚機能と視行動データの相関度合いを表す学習モデルを記憶してもよい。
【0016】
６）出力手段について
モニタリングは継続的に行われるため、出力手段は視覚機能の異常に関する評価データだけを出力するのではなく、例えば、正常な視行動に関する評価データを含む計測において得られた全ての視行動データを出力してもよい。出力の方法は、視覚的、聴覚的又は触覚的な手法を幅広く用いることができる。例えば、評価データを数値やレベルで表示してもよいし、異常があることをメッセージなどで表示したり、音声で通知したり、バイブレーション機能で通知したりしてもよい。出力は、センシング手段が設けられた機器自体に表示等することでもよいし、有線又は無線により、他の機器例えばスマートフォンと通信し、スマートフォンに表示等することでもよい。
モニタリングは継続的に行われるため、出力手段は視覚機能の異常に関する評価データだけを出力するのではなく、例えば、正常な視行動に関する評価データを含む計測において得られた全ての視行動データを出力してもよい。出力の方法は、視覚的、聴覚的又は触覚的な手法を幅広く用いることができる。例えば、評価データを数値やレベルで表示してもよいし、異常があることをメッセージなどで表示したり、音声で通知したり、バイブレーション機能で通知したりしてもよい。出力は、センシング手段が設けられた機器自体に表示等することでもよいし、有線又は無線により、他の機器例えばスマートフォンと通信し、スマートフォンに表示等することでもよい。
【0017】
本発明の視覚機能モニタリングシステムにおいて、キャリブレーション部は、閲読タスク、固視タスク又は追尾タスクの少なくとも何れかを含む視覚タスクの入力を受け付け、受け付けた視覚タスクをユーザに対して提示する視覚タスク提示手段を更に備えることが好ましい。視覚タスク提示手段を備えることにより、より精度の高い学習モデルを生成できる。
視覚タスクは、ユーザの視線を所定の方向に移動させる、或いは所定時間視線を移動させないなど、ユーザの眼球運動を誘導するものであり、キャリブレーション時におけるユーザの眼球運動を計測するために用いられる。したがって、日常の視行動を網羅する内容であることが好ましい。閲読タスクとは、縦読み若しくは横読みでディスプレイ上に表示された所定の文章を閲読させるタスクである。固視タスクとは、ディスプレイ上に表示されたポインタ等の目標に視線を固定するタスクであり、追尾タスクは、ディスプレイ上に表示されたポインタ等の目標の移動に合わせて視線を動かすタスクである。
視覚タスクの提示は、例えば公知のディスプレイや、ＶＲゴーグルなどの表示デバイスに表示することで行われる。視覚タスクの入力の受け付けは、公知のＰＣ等により入力を受け付けることで行い、当該ＰＣ等からディスプレイ等に視覚タスクを出力し、ディスプレイ等に表示して提示されることが好ましい態様である。
視覚タスクは、ユーザの視線を所定の方向に移動させる、或いは所定時間視線を移動させないなど、ユーザの眼球運動を誘導するものであり、キャリブレーション時におけるユーザの眼球運動を計測するために用いられる。したがって、日常の視行動を網羅する内容であることが好ましい。閲読タスクとは、縦読み若しくは横読みでディスプレイ上に表示された所定の文章を閲読させるタスクである。固視タスクとは、ディスプレイ上に表示されたポインタ等の目標に視線を固定するタスクであり、追尾タスクは、ディスプレイ上に表示されたポインタ等の目標の移動に合わせて視線を動かすタスクである。
視覚タスクの提示は、例えば公知のディスプレイや、ＶＲゴーグルなどの表示デバイスに表示することで行われる。視覚タスクの入力の受け付けは、公知のＰＣ等により入力を受け付けることで行い、当該ＰＣ等からディスプレイ等に視覚タスクを出力し、ディスプレイ等に表示して提示されることが好ましい態様である。
【0018】
本発明の視覚機能モニタリングシステムにおいて、模擬障害データは、眼に対する光の変更誘発により生じる屈折誤差に関するデータであり、評価手段が評価するユーザの視覚機能の異常は、屈折力の低下であることでもよい。かかる構成とすることにより、ユーザの屈折異常を高精度で検出できる。
本発明の視覚機能モニタリングシステムにおいて、視行動データは、眼電位、目の周囲の皮膚の変形データ、視線計測データを含む目の撮像画像から取得されるデータの内、少なくとも何れかであることでもよい。目の撮像画像から取得されるデータには、視線計測データだけではなく、目の瞳孔変化など視線以外の目の状態に関する画像情報が広く含まれる。
本発明の視覚機能モニタリングシステムにおいて、視行動データは、眼電位、目の周囲の皮膚の変形データ、視線計測データを含む目の撮像画像から取得されるデータの内、少なくとも何れかであることでもよい。目の撮像画像から取得されるデータには、視線計測データだけではなく、目の瞳孔変化など視線以外の目の状態に関する画像情報が広く含まれる。
【0019】
本発明の視覚機能モニタリングシステムにおける学習モデル生成手段において学習モデルの生成に用いられる視行動データ、及び、評価手段において評価に用いられる視行動データにおいて、センシングした視行動データは何れも前処理が行われ、直流成分、高周波成分、および線形トレンドを除去して、正規化されたデータであることが好ましい。
キャリブレーション部でセンシングした視行動データは、学習モデルの生成に当たり、事前に前処理が行われる。同様に、モニタリング部でセンシングした視行動データは、評価に当たり、事前に前処理が行われる。
キャリブレーション部でセンシングした視行動データは、学習モデルの生成に当たり、事前に前処理が行われる。同様に、モニタリング部でセンシングした視行動データは、評価に当たり、事前に前処理が行われる。
【0020】
本発明の視覚機能モニタリングシステムは、模擬障害データ入力手段、センシング手段、学習モデル生成手段、及び記憶手段によりキャリブレーション部が構成され、センシング手段、評価手段、記憶手段、及び出力手段によりモニタリング部が構成される。
すなわち上記１）～６）の各手段の内、１）模擬障害データ入力手段、２）センシング手段、３）学習モデル生成手段、及び５）記憶手段によりキャリブレーション部が構成され、２）センシング手段、４）評価手段、５）記憶手段、及び６）出力手段によりモニタリング部が構成され、２）センシング手段及び５）記憶手段は、キャリブレーション部とモニタリング部に何れにも用いられる。
キャリブレーション部により、ユーザの視覚機能と視行動データの相関度合いについて、幅広いユーザではなく当該ユーザに最も適合したモデルを生成することで、精度の高い学習モデルを生成できる。また、モニタリング部には、１）模擬障害データ入力手段は設けられず、ユーザが日常的に身につけるデバイスを使用して、継続的に視機能を評価できる。
すなわち上記１）～６）の各手段の内、１）模擬障害データ入力手段、２）センシング手段、３）学習モデル生成手段、及び５）記憶手段によりキャリブレーション部が構成され、２）センシング手段、４）評価手段、５）記憶手段、及び６）出力手段によりモニタリング部が構成され、２）センシング手段及び５）記憶手段は、キャリブレーション部とモニタリング部に何れにも用いられる。
キャリブレーション部により、ユーザの視覚機能と視行動データの相関度合いについて、幅広いユーザではなく当該ユーザに最も適合したモデルを生成することで、精度の高い学習モデルを生成できる。また、モニタリング部には、１）模擬障害データ入力手段は設けられず、ユーザが日常的に身につけるデバイスを使用して、継続的に視機能を評価できる。
【0021】
本発明の視覚機能モニタリング方法は、模擬した視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成するキャリブレーションステップと、通常下でセンシングした視行動データと学習モデルを用いて、ユーザの視覚機能の変化を捉えるモニタリングステップを備える。具体的には下記各ステップを備える。
Ａ）キャリブレーションステップ
Ａ－１）模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力ステップ。
Ａ－２）視覚障害下でのユーザの視行動をセンシングする第１のセンシングステップ。
Ａ－３）視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する学習モデル生成ステップ。
Ａ－４）学習モデルを記憶する第１の記憶ステップ。
Ｂ）モニタリングステップ
Ｂ－１）通常下でのユーザの視行動をセンシングする第２のセンシングステップ。
Ｂ－２）通常下でユーザの視行動をセンシングした視行動データと、学習モデルを用いて、ユーザの視覚機能を評価する評価ステップ。
Ｂ－３）視行動データと、評価データを記憶する第２の記憶ステップ。
Ｂ－４）少なくとも視覚機能の異常に関する評価データを出力する出力ステップ。
Ａ）キャリブレーションステップ
Ａ－１）模擬した視覚障害に関するデータ入力を受け付ける模擬障害データ入力ステップ。
Ａ－２）視覚障害下でのユーザの視行動をセンシングする第１のセンシングステップ。
Ａ－３）視覚障害下でユーザの視行動をセンシングした視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する学習モデル生成ステップ。
Ａ－４）学習モデルを記憶する第１の記憶ステップ。
Ｂ）モニタリングステップ
Ｂ－１）通常下でのユーザの視行動をセンシングする第２のセンシングステップ。
Ｂ－２）通常下でユーザの視行動をセンシングした視行動データと、学習モデルを用いて、ユーザの視覚機能を評価する評価ステップ。
Ｂ－３）視行動データと、評価データを記憶する第２の記憶ステップ。
Ｂ－４）少なくとも視覚機能の異常に関する評価データを出力する出力ステップ。
【0022】
本発明の視覚機能モニタリング方法では、モニタリングステップの前に、キャリブレーションステップが設けられることで、ユーザの視覚機能と視行動データの相関度合いを表す学習モデルが得られる。この学習モデルは、レンズを用いて屈折異常などの視覚障害を模擬した状態での視行動を記録することにより訓練される。これにより、ユーザがモニタリングプロセスに積極的に関与する必要がないという利点がある。キャリブレーションステップは一度だけ行えば十分であるが、デバイスの使用中すなわちモニタリングステップ中にもキャリブレーションステップを繰り返すことで、精度を向上させることができる。
【0023】
本発明の視覚機能モニタリング方法は、閲読タスク、固視タスク又は追尾タスクの少なくとも何れかを含む視覚タスクの入力を受け付け、受け付けた視覚タスクを提示する視覚タスク提示ステップを更に備えることが好ましい。
キャリブレーションステップにおいて生成される学習モデルが、レンズを用いて屈折異常などの視覚障害を模擬し、日常の視行動を網羅する視覚タスクを実行し、関連する視行動を記録することにより訓練されることで、より精度の高い学習モデルとすることができる。
キャリブレーションステップにおいて生成される学習モデルが、レンズを用いて屈折異常などの視覚障害を模擬し、日常の視行動を網羅する視覚タスクを実行し、関連する視行動を記録することにより訓練されることで、より精度の高い学習モデルとすることができる。
【0024】
本発明の視覚機能モニタリング方法において、模擬障害データは、眼に対する光の変更誘発により生じる屈折誤差に関するデータであり、評価ステップにおいて評価するユーザの視覚機能の異常は、屈折力の低下であることでもよい。
本発明の視覚機能モニタリング方法において、視行動データは、眼電位、目の周囲の皮膚の変形データ、視線計測データを含む目の撮像画像から取得されるデータの内、少なくとも何れかであることでもよい。
本発明の視覚機能モニタリング方法において、視行動データは、眼電位、目の周囲の皮膚の変形データ、視線計測データを含む目の撮像画像から取得されるデータの内、少なくとも何れかであることでもよい。
【0025】
本発明の視覚機能モニタリング方法において、学習モデル生成ステップ及び評価ステップは、センシングした視行動データの前処理を行うものであり、学習モデル生成ステップにおいて学習モデルの生成に用いられる視行動データ、及び、評価ステップにおいて評価視行動データに用いられる視行動データは、何れも前処理が行われたデータであることが好ましい。
【発明の効果】
【0026】
本発明の視覚機能モニタリングシステム及び視覚機能モニタリング方法によれば、ユーザの日常の視行動を用いて継続的にモニタリングできるといった効果がある。
【図面の簡単な説明】
【0027】
【図1】実施例１の視覚機能モニタリングシステムの機能ブロック図
【図2】実施例１の視覚機能モニタリングシステムの構成イメージ図
【図3】実施例１の視覚機能モニタリング方法の概略フロー図
【図4】視行動データの前処理のフロー図
【図5】視覚タスクの正確性を示すグラフ
【図6】実施例１の視覚機能モニタリングシステムの検出精度を示すグラフ
【図7】ＥＯＧセンサの電極配置説明図
【図8】スマートグラスの電極配置説明図
【発明を実施するための形態】
【0028】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0029】
図１は、実施例１の視覚機能モニタリングシステムの機能ブロック図を示している。図１に示すように、視覚機能モニタリングシステム１は、模擬障害データ入力手段２、視覚タスク提示手段３、センシング手段４、学習モデル生成手段５、記憶手段６、評価手段７及び出力手段８で構成される。
模擬障害データ入力手段２は、模擬した視覚障害に関するデータの入力を受け付けるものである。本実施例での模擬障害データとは、眼に対する光の変更誘発により生じる屈折誤差に関するデータである。視覚タスク提示手段３は、閲読タスク、固視タスク又は追尾タスクの少なくとも何れかを含む視覚タスクの入力を受け付け、受け付けた視覚タスクを提示するものである。センシング手段４は、ユーザの視行動をセンシングするものである。本実施例での視行動データとは、眼電位である。
模擬障害データ入力手段２は、模擬した視覚障害に関するデータの入力を受け付けるものである。本実施例での模擬障害データとは、眼に対する光の変更誘発により生じる屈折誤差に関するデータである。視覚タスク提示手段３は、閲読タスク、固視タスク又は追尾タスクの少なくとも何れかを含む視覚タスクの入力を受け付け、受け付けた視覚タスクを提示するものである。センシング手段４は、ユーザの視行動をセンシングするものである。本実施例での視行動データとは、眼電位である。
【0030】
学習モデル生成手段５は、キャリブレーション時にセンシングした視行動データと、模擬障害データを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成するものである。記憶手段６は、学習モデルと、モニタリング時にセンシングした視行動データと、評価データを記憶するものである。評価手段７は、モニタリング時にセンシングした視行動データと学習モデルに基づいて、ユーザの視覚機能を評価するものである。本実施例において評価手段７が評価するユーザの視覚機能の異常とは、屈折力の低下である。出力手段８は、少なくとも視覚機能の異常に関する評価データを出力するものである。
模擬障害データ入力手段２、視覚タスク提示手段３、センシング手段４、学習モデル生成手段５及び記憶手段６がキャリブレーション部１ａを構成する。また、センシング手段４、記憶手段６評価手段７及び出力手段８がモニタリング部１ｂを構成する。
模擬障害データ入力手段２、視覚タスク提示手段３、センシング手段４、学習モデル生成手段５及び記憶手段６がキャリブレーション部１ａを構成する。また、センシング手段４、記憶手段６評価手段７及び出力手段８がモニタリング部１ｂを構成する。
【0031】
図２は、実施例１の視覚機能モニタリングシステムの構成イメージ図を示している。図２に示すように、実施例１の視覚機能モニタリングシステム１は、スマートグラス９、ＰＣ１０、スマートフォン１１、ディスプレイ３０、サーバ６０、検眼枠９０及びレンズ（９０ａ，９０ｂ）で構成される。具体的には、キャリブレーション部１ａは、ＰＣ１０、ディスプレイ３０、サーバ６０、検眼枠９０及びレンズ（９０ａ，９０ｂ）で構成される。また、モニタリング部１ｂは、スマートグラス９、スマートフォン１１及びサーバ６０で構成される。ＰＣ１０とディスプレイ３０は、有線又は無線で通信する。また、ＰＣ１０、スマートフォン１１及びサーバ６０は、インターネット１２を介して、データの送受信が可能である。
【0032】
（キャリブレーション部について）
検眼枠９０には、センシング手段４として、ユーザがキャリブレーション中にレンズを使用して視覚課題を実行する間のユーザの眼球運動を記録する眼球運動センサ（図示せず）が設けられ、ここではユーザの眼電位を計測するＥＯＧセンサが設けられている。
ＥＯＧ電極の構成例としては、両眼の眼球動作を記録するために、２つの接地電極（ＧＮＤ）と８つの電極が用いられる。図７は、ＥＯＧセンサの電極配置説明図であり、（１）は正面図、（２）は右側面図を示している。なお、図７では電極の配置についてのみ図示しており、ケーブルや検眼枠９０等については図示していない。
図７（１）に示すように、垂直と水平の眼球の動きの電極は、目の周囲の垂直及び水平の位置すなわち、各眼の上下左右の位置に配置される。具体的には、ユーザ１５の右眼１５ａの垂直方向の電極として電極（１３ａ，１３ｂ）、水平方向の電極として電極（１３ｃ，１３ｄ）が配置される。同様に、ユーザ１５の左眼１５ｂの垂直方向の電極として電極（１３ｅ，１３ｆ）、水平方向の電極として電極（１３ｇ，１３ｈ）が配置される。
また、２つの接地電極（１４ａ，１４ｂ）が配置される。図７（１）に示すように、接地電極１４ｂは、被験者間のばらつきを最小限に抑えるために、耳の後ろの乳様骨に配置される。図示しないが、接地電極１４ａも同様に、耳の後ろの乳様骨に配置される。
本実施例では、電極（１３ａ～１３ｈ）及び接地電極（１４ａ，１４ｂ）は検眼枠９０に取り付けられているが、電極が検眼枠に固定されることは必須ではない。したがって例えば、図７に示すように、電極（１３ａ～１３ｈ）及び接地電極（１４ａ，１４ｂ）を直接ユーザ１５の皮膚上に配置した上で、センサの設けられていない検眼枠等を装着してキャリブレーションを行ってもよい。
検眼枠９０には、センシング手段４として、ユーザがキャリブレーション中にレンズを使用して視覚課題を実行する間のユーザの眼球運動を記録する眼球運動センサ（図示せず）が設けられ、ここではユーザの眼電位を計測するＥＯＧセンサが設けられている。
ＥＯＧ電極の構成例としては、両眼の眼球動作を記録するために、２つの接地電極（ＧＮＤ）と８つの電極が用いられる。図７は、ＥＯＧセンサの電極配置説明図であり、（１）は正面図、（２）は右側面図を示している。なお、図７では電極の配置についてのみ図示しており、ケーブルや検眼枠９０等については図示していない。
図７（１）に示すように、垂直と水平の眼球の動きの電極は、目の周囲の垂直及び水平の位置すなわち、各眼の上下左右の位置に配置される。具体的には、ユーザ１５の右眼１５ａの垂直方向の電極として電極（１３ａ，１３ｂ）、水平方向の電極として電極（１３ｃ，１３ｄ）が配置される。同様に、ユーザ１５の左眼１５ｂの垂直方向の電極として電極（１３ｅ，１３ｆ）、水平方向の電極として電極（１３ｇ，１３ｈ）が配置される。
また、２つの接地電極（１４ａ，１４ｂ）が配置される。図７（１）に示すように、接地電極１４ｂは、被験者間のばらつきを最小限に抑えるために、耳の後ろの乳様骨に配置される。図示しないが、接地電極１４ａも同様に、耳の後ろの乳様骨に配置される。
本実施例では、電極（１３ａ～１３ｈ）及び接地電極（１４ａ，１４ｂ）は検眼枠９０に取り付けられているが、電極が検眼枠に固定されることは必須ではない。したがって例えば、図７に示すように、電極（１３ａ～１３ｈ）及び接地電極（１４ａ，１４ｂ）を直接ユーザ１５の皮膚上に配置した上で、センサの設けられていない検眼枠等を装着してキャリブレーションを行ってもよい。
【0033】
また、図２に示す検眼枠９０及びＰＣ１０には、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信装置が設けられ（図示せず）、計測値をリアルタイムでＰＣ１０に送信できる。なお前述のように、センシング手段４は、検眼枠９０やスマートグラス９などに固定されたものである必要はなく、検眼枠９０等とは別に、ユーザの顔部等に取り付けてもよい。
【0034】
レンズ（９０ａ，９０ｂ）は、視機能異常を模擬するレンズセットであり、検眼枠９０に取り付けて検眼できる構造である。検眼枠９０は、公知の検眼メガネと同様である。したがって、検眼枠９０に取り付けるレンズの度数は１種類に限られず、多数の異なる度数のレンズを組み合わせて、複数の視覚タスクを実施できる。また、プリズムレンズやフォグレンズを取り付けてもよい。更に、必要に応じて遮蔽板を用いてもよい。
【0035】
ＰＣ１０には、模擬した視覚障害に関するデータの入力を受け付ける模擬障害データ入力手段２、視行動データの前処理とユーザの視覚機能と視行動データの相関度合いを表す学習モデルの訓練を行う学習モデル生成手段５が設けられる。学習モデル生成手段５としては、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）が用いられる。また、サーバ６０は学習モデルを保存する記憶手段６として機能する。
ディスプレイ３０は、視覚タスクを表示するものであり、ＰＣ１０とディスプレイ３０により、視覚タスク提示手段３が構成される。ＰＣ１０とディスプレイ３０は一体型のＰＣでもよいし、タブレット端末やスマートフォンなどでもよい。
ディスプレイ３０は、視覚タスクを表示するものであり、ＰＣ１０とディスプレイ３０により、視覚タスク提示手段３が構成される。ＰＣ１０とディスプレイ３０は一体型のＰＣでもよいし、タブレット端末やスマートフォンなどでもよい。
【0036】
（モニタリング部について）
図２に示すように、実施例１のモニタリング部１ｂは、スマートグラス９及びスマートフォン１１により実現される。スマートグラス９には、センシング手段４として、モニタリング時のユーザの眼球運動を記録する眼球運動センサが設けられ、ここではユーザの眼電位を計測するＥＯＧセンサが設けられている。
図８は、スマートグラスの電極配置説明図を示している。図８に示すように、モニタリング部１ｂにおいても、キャリブレーション部１ａにおける電極配置（図７参照）と同様の配置とされ、垂直と水平の眼球の動きの電極は、目の周囲の垂直及び水平の位置すなわち、各眼の上下左右の位置に配置される。具体的には、右眼側の電極について、リム９ａの内面側に、垂直方向の電極として電極（１３ａ，１３ｂ）、水平方向の一方の電極として電極１３ｃが配置される。また、水平方向の他方の電極としてパッド９ｂの位置に電極１３ｄが配置される。同様に、左眼側の電極について、リム９ａの内面側に、垂直方向の電極として電極（１３ｅ，１３ｆ）、水平方向の一方の電極として電極１３ｇが配置される。また、水平方向の他方の電極としてパッド９ｂの位置に電極１３ｈが配置される。２つの接地電極（１４ａ，１４ｂ）は、モダン９ｃの内面側に配置されており、これによりスマートグラス９の装着時にユーザの耳の後ろの乳様骨に接地電極（１４ａ，１４ｂ）が配置されることになる。
なお、本実施例とは異なり例えばテンプル９ｄやブリッジ９ｅに何れかの電極を配置する構成としてもよい。また、図８に示す電極配置は、検眼枠９０にも適用できる。
図２に示すように、実施例１のモニタリング部１ｂは、スマートグラス９及びスマートフォン１１により実現される。スマートグラス９には、センシング手段４として、モニタリング時のユーザの眼球運動を記録する眼球運動センサが設けられ、ここではユーザの眼電位を計測するＥＯＧセンサが設けられている。
図８は、スマートグラスの電極配置説明図を示している。図８に示すように、モニタリング部１ｂにおいても、キャリブレーション部１ａにおける電極配置（図７参照）と同様の配置とされ、垂直と水平の眼球の動きの電極は、目の周囲の垂直及び水平の位置すなわち、各眼の上下左右の位置に配置される。具体的には、右眼側の電極について、リム９ａの内面側に、垂直方向の電極として電極（１３ａ，１３ｂ）、水平方向の一方の電極として電極１３ｃが配置される。また、水平方向の他方の電極としてパッド９ｂの位置に電極１３ｄが配置される。同様に、左眼側の電極について、リム９ａの内面側に、垂直方向の電極として電極（１３ｅ，１３ｆ）、水平方向の一方の電極として電極１３ｇが配置される。また、水平方向の他方の電極としてパッド９ｂの位置に電極１３ｈが配置される。２つの接地電極（１４ａ，１４ｂ）は、モダン９ｃの内面側に配置されており、これによりスマートグラス９の装着時にユーザの耳の後ろの乳様骨に接地電極（１４ａ，１４ｂ）が配置されることになる。
なお、本実施例とは異なり例えばテンプル９ｄやブリッジ９ｅに何れかの電極を配置する構成としてもよい。また、図８に示す電極配置は、検眼枠９０にも適用できる。
【0037】
スマートグラス９には、Ｂｌｕｅｔｏｏｔｈなどの近距離無線通信装置が設けられ（図示せず）、計測値をリアルタイムでスマートフォン１１に送信できる。
スマートフォン１１は、視行動データの前処理とユーザの視覚機能と視行動データの相関度合いを表す学習モデルに基づいてユーザの視覚機能を評価する評価手段７、視機能検査の評価データを出力する出力手段８を備える。また、サーバ６０はモニタリング時の視行動データと評価データを保存する記憶手段６として機能する。
スマートフォン１１は、視行動データの前処理とユーザの視覚機能と視行動データの相関度合いを表す学習モデルに基づいてユーザの視覚機能を評価する評価手段７、視機能検査の評価データを出力する出力手段８を備える。また、サーバ６０はモニタリング時の視行動データと評価データを保存する記憶手段６として機能する。
【0038】
図３は、実施例１の視覚機能モニタリング方法の概略フロー図を示している。図３に示すように、まず、キャリブレーションステップにおいては、模擬した視覚障害に関するデータの入力を受け付ける（ステップＳ０１：模擬障害データ入力ステップ）。具体的には、ユーザは、検眼枠９０に取り付けたレンズ（９０ａ，９０ｂ）に関するデータをＰＣ１０に入力し、ＰＣ１０はレンズ（９０ａ，９０ｂ）に関するデータを受け付ける。複数のレンズセットを用いてキャリブレーションを行う場合は、取り替えたレンズ（９０ａ，９０ｂ）に関するデータをその都度ＰＣ１０に入力し、ＰＣ１０はこれを受け付ける。
【0039】
視覚タスクの入力を受け付け、受け付けた視覚タスクを提示する（ステップＳ０２：視覚タスク提示ステップ）。具体的には、ユーザは、視覚タスクに関するデータをＰＣ１０に入力し、ＰＣ１０は視覚タスクに関するデータを受け付け、受け付けた視覚タスクをディスプレイ３０に表示する。入力される視覚タスクは複数でもよく、日常の視行動を網羅的に再現できるように、閲読タスク、固視タスク及び追尾タスクの全てを入力してもよい。
【0040】
キャリブレーション時におけるユーザの視行動をセンシングする（ステップＳ０３：第１のセンシングステップ）。具体的には、ユーザ（図示せず）は、レンズ（９０ａ，９０ｂ）が取り付けられた検眼枠９０を装着し、ディスプレイ３０に表示された視覚タスクを実施する。検眼枠９０にはＥＯＧセンサが設けられているため、視覚タスクを実施中のユーザの眼電位をリアルタイムに計測できる。
【0041】
センシングした視行動データを前処理する（ステップＳ０４：第１の前処理ステップ）。図４は、視行動データの前処理のフロー図を示している。図４に示すように、センシングした生データを入力する（ステップＳ２１）。次に、周波数分析を容易にするためにＤＣ成分を除去する（ステップＳ２２）。高周波ノイズを除去する（ステップＳ２３）。線形トレンドを除去する（ステップＳ２４）。最後に、データを正規化し扱いやすいものとする（ステップＳ２５）。図４に示す視行動データの前処理のフローは、キャリブレーションステップにおける第１の前処理ステップ（ステップＳ０４）と、モニタリングステップにおける第２の前処理ステップ（ステップＳ０８）の両方に適用される。
【0042】
前処理後の視行動データと、模擬障害データ及び視覚タスクを用いて、当該ユーザの視覚機能と視行動データの相関度合いを表す学習モデルを生成する（ステップＳ０５：モデル生成ステップ）。学習モデルは、ディープニューラルネットワークを用いて訓練する。
【0043】
学習モデルを記憶する（ステップＳ０６：第１の記憶ステップ）。具体的には、ＰＣ１０において生成された学習モデルに関するデータを、インターネット１２を介してサーバ６０に送信し、サーバ６０において受信した学習モデルに関するデータを記憶する。本実施例では、サーバ６０が記憶手段６として機能するが、その他の形態としては、ＰＣ１０が備える記憶装置をここでの記憶手段６として機能させてもよい。
【0044】
次に、モニタリングステップにおいては、モニタリング時のユーザの視行動をセンシングする（ステップＳ０７：第２のセンシングステップ）。具体的には、ユーザは、スマートグラス９を装着した状態で日常生活を行い、様々な実空間３１を視認する。スマートグラス９にはＥＯＧセンサが設けられているため、通常の日常生活を行う中でユーザの無意識の内に、ユーザの眼電位を継続的に計測できる。センシングされた視行動データは、ユーザが所持するスマートフォン１１にリアルタイムに送信される。なおこれとは異なり、センシングされた視行動データは、所定のタイミングでスマートフォン１１に送信されるなど、断続的に送信されてもよい。
【0045】
センシングした視行動データを前処理する（ステップＳ０８：第２の前処理ステップ）。具体的には、スマートフォン１１において、受信した視行動データについて、前処理が行われる。ステップＳ０８の具体的な処理は、前述のように、ステップＳ０４の前処理と同様であり、図４に示す通りである。
【0046】
前処理後の視行動データと学習モデルに基づいて、ユーザの視覚機能を評価する（ステップＳ０９：評価ステップ）。スマートフォン１１は、サーバ６０から学習モデルに関するデータを読み出して評価に用いる。具体的には、スマートフォン１１からサーバ６０への学習モデルに関するデータの送信要求に応じて、サーバ６０が学習モデルに関するデータを、インターネット１２を介してスマートフォン１１へ送信し、スマートフォン１１はこれを受信する。
学習モデルは、当該ユーザの視覚機能と視行動データの相関度合いを表すものであるため、スマートフォン１１は、前処理後の視行動データと突き合わせることで、当該ユーザの視覚機能を評価できる。
学習モデルは、当該ユーザの視覚機能と視行動データの相関度合いを表すものであるため、スマートフォン１１は、前処理後の視行動データと突き合わせることで、当該ユーザの視覚機能を評価できる。
【0047】
モニタリング時の視行動データと、評価データを記憶する（ステップＳ１０：第２の記憶ステップ）。具体的には、スマートフォン１１からインターネット１２を介してサーバ６０に送信し、サーバ６０において受信した視行動データ及び評価データを記憶する。本実施例では、サーバ６０が記憶手段６として機能するが、その他の形態としては、スマートフォン１１が備える記憶装置をここでの記憶手段６として機能させてもよい。なお、記憶される視行動データは、前処理前又は前処理後の何れかの視行動データのみでもよいし、前処理前後の視行動データでもよい。
【0048】
評価データを出力する（ステップＳ１１：出力ステップ）。具体的には、スマートフォン１１の画面上に評価結果をグラフや数値で時系列表示してもよいし、視覚機能の異常を検出した場合に、かかる内容を画面表示や音声、振動などによりユーザに知らせる通知を行ってもよい。また、スマートフォン１１からスマートグラス９に評価結果に関するデータを送信し、評価データを受信したスマートグラス９において通知を行ってもよい。通知の回数、頻度などの出力データについては、スマートフォン１１が備える記憶装置に記憶してもよいし、インターネット１２を介してサーバ６０に記憶してもよい。
【0049】
（検証試験について）
実施例１の視覚機能モニタリングシステムを用いて、検証試験を行った。図５は、実施例１の視覚機能モニタリングシステムを用いた場合の視覚タスクの正確性を示すグラフであり、５名の被験者（Ａ～Ｅ）につき、固視タスク、追尾タスク、又は固視タスクと追尾タスクを合わせた総合タスクのそれぞれに関して、正確性を示したものである。正確性については、１．００に近いほど正確性が高いといえる。
図５に示すように、被験者（Ａ～Ｅ）の何れにおいても、固視タスク、追尾タスク又は総合タスクの全てにつき高い正確性が確認された。
実施例１の視覚機能モニタリングシステムを用いて、検証試験を行った。図５は、実施例１の視覚機能モニタリングシステムを用いた場合の視覚タスクの正確性を示すグラフであり、５名の被験者（Ａ～Ｅ）につき、固視タスク、追尾タスク、又は固視タスクと追尾タスクを合わせた総合タスクのそれぞれに関して、正確性を示したものである。正確性については、１．００に近いほど正確性が高いといえる。
図５に示すように、被験者（Ａ～Ｅ）の何れにおいても、固視タスク、追尾タスク又は総合タスクの全てにつき高い正確性が確認された。
【0050】
図６は、実施例１の視覚機能モニタリングシステムの検出精度を示すグラフである。縦軸は実計測結果、横軸は実施例１の視覚機能モニタリングシステム１による評価結果を示す。縦軸及び横軸の数値は何れも近視度数（ディオプター）を表す。
図６に示すように、実際の近視度数と視覚機能モニタリングシステム１により評価された近視度数が、－３．０Ｄとして一致する精度は、０．９９９、－２．０Ｄとして一致する精度は、０．９９７、－１．０Ｄとして一致する精度は、０．９７８、０Ｄとして一致する精度は、０．９９７、１．０Ｄとして一致する精度は、０．９９０、２．０Ｄとして一致する精度は、０．９９２、また３．０Ｄとして一致する精度は、０．９９８であった。以上のことから、実施例１の視覚機能モニタリングシステム１による評価の精度が高いことが分かった。
図６に示すように、実際の近視度数と視覚機能モニタリングシステム１により評価された近視度数が、－３．０Ｄとして一致する精度は、０．９９９、－２．０Ｄとして一致する精度は、０．９９７、－１．０Ｄとして一致する精度は、０．９７８、０Ｄとして一致する精度は、０．９９７、１．０Ｄとして一致する精度は、０．９９０、２．０Ｄとして一致する精度は、０．９９２、また３．０Ｄとして一致する精度は、０．９９８であった。以上のことから、実施例１の視覚機能モニタリングシステム１による評価の精度が高いことが分かった。
【0051】
（その他の実施例）
１）実施例１におけるＰＣ１０、ディスプレイ３０及びサーバ６０に設けられる各手段を、スマートフォン１１が備えることでもよい。
２）キャリブレーション部１ａにおいて、検眼枠９０の代わりに、スマートグラス９を用いてもよい。
３）実施例１のスマートグラス９のようなウェアラブルデバイスを用いるのではなく、スマートフォンの日常的な利用状態をセンシングするために、スマートフォンやタブレット端末が備えるインカメラをセンシング手段４として機能させてもよい。また、スマートフォンやタブレット端末等の１つの端末が、模擬障害データ入力手段２、視覚タスク提示手段３、センシング手段４、学習モデル生成手段５、記憶手段６、評価手段７及び出力手段８の全てを備える構成としてもよい。かかる場合、スマートフォン等が備えるディスプレイに視覚タスクを表示させたり、評価結果を表示させたりしてもよい。また、ディスプレイ上で視覚障害を模擬してもよい。
１）実施例１におけるＰＣ１０、ディスプレイ３０及びサーバ６０に設けられる各手段を、スマートフォン１１が備えることでもよい。
２）キャリブレーション部１ａにおいて、検眼枠９０の代わりに、スマートグラス９を用いてもよい。
３）実施例１のスマートグラス９のようなウェアラブルデバイスを用いるのではなく、スマートフォンの日常的な利用状態をセンシングするために、スマートフォンやタブレット端末が備えるインカメラをセンシング手段４として機能させてもよい。また、スマートフォンやタブレット端末等の１つの端末が、模擬障害データ入力手段２、視覚タスク提示手段３、センシング手段４、学習モデル生成手段５、記憶手段６、評価手段７及び出力手段８の全てを備える構成としてもよい。かかる場合、スマートフォン等が備えるディスプレイに視覚タスクを表示させたり、評価結果を表示させたりしてもよい。また、ディスプレイ上で視覚障害を模擬してもよい。
【産業上の利用可能性】
【0052】
本発明は、ユーザの日常生活の通常の活動中に視機能の検査を継続的に実施する技術として有用である。
【符号の説明】
【0053】
１ 視覚機能モニタリングシステム
１ａ キャリブレーション部
１ｂ モニタリング部
２ 模擬障害データ入力手段
３ 視覚タスク提示手段
４ センシング手段
５ 学習モデル生成手段
６ 記憶手段
７ 評価手段
８ 出力手段
９ スマートグラス
９ａ リム
９ｂ パッド
９ｃ モダン
９ｄ テンプル
９ｅ ブリッジ
１０ ＰＣ
１１ スマートフォン
１２ インターネット
１３ａ～１３ｈ 電極
１４ａ，１４ｂ 接地電極
１５ ユーザ
１５ａ 右眼
１５ｂ 左眼
３０ ディスプレイ
３１ 実空間
６０ サーバ
９０ 検眼枠
９０ａ，９０ｂ レンズ
１ａ キャリブレーション部
１ｂ モニタリング部
２ 模擬障害データ入力手段
３ 視覚タスク提示手段
４ センシング手段
５ 学習モデル生成手段
６ 記憶手段
７ 評価手段
８ 出力手段
９ スマートグラス
９ａ リム
９ｂ パッド
９ｃ モダン
９ｄ テンプル
９ｅ ブリッジ
１０ ＰＣ
１１ スマートフォン
１２ インターネット
１３ａ～１３ｈ 電極
１４ａ，１４ｂ 接地電極
１５ ユーザ
１５ａ 右眼
１５ｂ 左眼
３０ ディスプレイ
３１ 実空間
６０ サーバ
９０ 検眼枠
９０ａ，９０ｂ レンズ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
