特許 7607087 電子機器及び表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】電子機器及び表示方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241219BHJP

   A61B 3/113 20060101ALI20241219BHJP

   A61B 34/10 20160101ALI20241219BHJP

   G02B 27/02 20060101ALI20241219BHJP

   G06F 3/04815 20220101ALI20241219BHJP

   G06T 19/00 20110101ALI20241219BHJP

   G09G 5/00 20060101ALI20241219BHJP

   G09G 5/37 20060101ALI20241219BHJP

【ＦＩ】

G06F3/01 510

A61B3/113

A61B34/10

G02B27/02 Z

G06F3/04815

G06T19/00 600

G09G5/00 510A

G09G5/00 550C

G09G5/37 600

【請求項の数】 2

(21)【出願番号】P 2023109262

(22)【出願日】2023-07-03

(62)【分割の表示】P 2021199312の分割

【原出願日】2018-03-19

(65)【公開番号】P2023145446

(43)【公開日】2023-10-11

【審査請求日】2023-07-03

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】古牧 広昭

【審査官】遠藤 孝徳

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０１５５２６７（ＵＳ，Ａ１）

【文献】特開２０１０－１５２４４３（ＪＰ，Ａ）

【文献】特開平７－４９７４４（ＪＰ，Ａ）

【文献】特開２０１９－６６５６２（ＪＰ，Ａ）

【文献】特表２０１７－５３８９９０（ＪＰ，Ａ）

【文献】国際公開第２０１８／０２２５２３（ＷＯ，Ａ１）

【文献】特開２０１２－１２８８５４（ＪＰ，Ａ）

【文献】特開２０１５－１９６７９（ＪＰ，Ａ）

【文献】国際公開第２０１６／１５１５８１（ＷＯ，Ａ１）

【文献】特開２０１６－１８９１２０（ＪＰ，Ａ）

【文献】特開２０１８－４１０１１（ＪＰ，Ａ）

【文献】国際公開第２０１８／０１２２０７（ＷＯ，Ａ１）

【文献】特開２０１７－４９４６８（ＪＰ，Ａ）

【文献】特開２０１８－４２００４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１６０５４９（ＵＳ，Ａ１）

【文献】国際公開第２０１６／１４０９８９（ＷＯ，Ａ１）

【文献】特開２０１７－１８９４９８（ＪＰ，Ａ）

【文献】国際公開第２０１７／０２２３０２（ＷＯ，Ａ１）

【文献】特許第４５００９９２（ＪＰ，Ｂ２）

【文献】特開平９－２７４１４４（ＪＰ，Ａ）

【文献】特開２０１５－１３０１７３（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１２０８４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ａ６１Ｂ ３／００ － ５／００

Ａ６１Ｂ ３４／００ － ３４／３７

Ｇ０２Ｂ ２７／００ － ２７／６４

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０６Ｔ １９／００ － １９／２０

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

現実世界の目標物に対して右画像と左画像からなる両眼の拡張現実画像を重ねて表示する表示部と、
ユーザの右眼球の視線方向と左眼球の視線方向が交差する角度、前記右眼球の左右回転及び前記左眼球の左右回転を検出する検出器と、
前記検出器によって検出された前記角度に基づいて、前記ユーザが見ている目標物が遠方の目標物であるか、前記遠方より近い中距離の目標物であるか、または前記中距離より近い近距離の目標物であるかを判定し、
前記ユーザが見ている目標物が前記遠方の目標物である時は前記拡張現実画像を非表示とし、
前記ユーザが見ている目標物が前記中距離の目標物である時は第１の拡張現実画像を前記表示部に表示させ、
前記ユーザが見ている目標物が前記近距離の目標物である時は、半透明で重なる複数ページを含む第２の拡張現実画像を、前記近距離の目標物までの距離と等しい距離位置で、前記表示部の画面の一部に表示させ、
前記検出器によって検出された前記右眼球と前記左眼球の同じ方向への左右回転に基づいて前記第２の拡張現実画像のページ切り替えを行う表示コントローラと、
を具備する電子機器。

【請求項2】

表示部により、現実世界の目標物に対して右画像と左画像からなる両眼の拡張現実画像を重ねて表示することと、
検出器により、ユーザの右眼球の視線方向と左眼球の視線方向が交差する角度、前記右眼球の左右回転及び前記左眼球の左右回転を検出することと、
表示コントローラにより、前記検出器によって検出された前記角度に基づいて、前記ユーザが見ている目標物が遠方の目標物であるか、前記遠方より近い中距離の目標物であるか、または前記中距離より近い近距離の目標物であるかを判定し、前記ユーザが見ている目標物が前記遠方の目標物である時は前記拡張現実画像を非表示とし、前記ユーザが見ている目標物が前記中距離の目標物である時は第１の拡張現実画像を前記表示部に表示させ、前記ユーザが見ている目標物が前記近距離の目標物である時は、半透明で重なる複数ページを含む第２の拡張現実画像を、前記近距離の目標物までの距離と等しい距離位置で、前記表示部の画面の一部に表示させることと、
前記表示コントローラにより、前記検出器によって検出された前記右眼球と前記左眼球の同じ方向への左右回転に基づいて前記第２の拡張現実画像のページ切り替えを行うことと、を具備する表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は電子機器及び表示方法に関する。

【背景技術】

【0002】

眼球の回転を検出するための一つの方法として、眼球電位（以下、眼電位と称する）法（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｐｈｙ：ＥＯＧ法とも称する）がある。左右の眼球の近傍の皮膚に電極を取り付けると、左右の眼球の眼電位を検出できる。左右の眼球の眼電位の変化パターンに基づいて眼球の回転を検出できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１２５６９３号公報

【文献】米国特許第８，４４９，１１６号明細書

【文献】特開２０１１－１２５６９２号公報

【文献】米国特許第８，４３４，８６８号明細書

【文献】特開２０１３－２４０４６９号公報

【文献】特開２０００－２５９３３６号公報

【文献】米国特許出願公開第２０１１／０，１７８，７８４号明細書

【文献】特開２０１３－２４４３７０号公報

【文献】特開２０１３－２１５３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の眼球回転検出装置は右眼球の左右回転と左眼球の左右回転を個別に検出できない。そのため、右眼球と左眼球が同じ向きに左右回転するのか又は反対向きに左右回転するのかが区別できない。

【0005】

本発明の目的は右眼球の左右回転と左眼球の左右回転の検出結果に基づいて表示を制御する電子機器及び表示方法を提供することである。

【課題を解決するための手段】

【0006】

実施形態によれば、電子機器は、表示部と、検出器と、表示コントローラとを具備する。

【0007】

表示部は、現実世界の目標物に対して右画像と左画像からなる両眼の拡張現実画像を重ねて表示する。検出器は、ユーザの右眼球の視線方向と左眼球の視線方向が交差する角度、前記右眼球の左右回転及び前記左眼球の左右回転を検出する。表示コントローラは、前記検出器によって検出された前記角度に基づいて、前記ユーザが見ている目標物が遠方の目標物であるか、前記遠方より近い中距離の目標物であるか、または前記中距離より近い近距離の目標物であるかを判定し、前記ユーザが見ている目標物が前記遠方の目標物である時は前記拡張現実画像を非表示とし、前記ユーザが見ている目標物が前記中距離の目標物である時は第１の拡張現実画像を表示し、前記ユーザが見ている目標物が前記近距離の目標物である時は半透明で重なる複数ページを含む第２の拡張現実画像を、前記近距離の目標物までの距離と等しい距離位置で、前記表示部の画面の一部に表示させ、前記検出器によって検出された前記右眼球と前記左眼球の同じ方向への左右回転に基づいて前記第２の拡張現実画像のページ切り替えを行う。

【図面の簡単な説明】

【0008】

【図1】実施形態に係るメガネ型眼球回転検出装置の一例を正面から見た図である。

【図2】メガネ型眼球回転検出装置の一例を後ろ上方から見た図である。

【図3】メガネ型眼球回転検出装置の一例をかけたユーザを右前方から見た図である。

【図4】眼球回転検出装置の電気的な構成の一例を示すブロック図である。

【図5】中性電極４６の配置の第１の変形例を示す図である。

【図6】中性電極４６の配置の第２の変形例を示す図である。

【図7】中性電極４６の配置の第３の変形例を示す図である。

【図8】視線が正面を向いている状態のＥＯＧ信号を示す図である。

【図9】視線が正面を向いている状態から両眼球を左に回転した場合のＥＯＧ信号の波形の変化の一例を示す図である。

【図10】視線が正面を向いている状態から両眼球を右に回転した場合のＥＯＧ信号の波形の変化の一例を示す図である。

【図11】視線が正面を向いている状態から両眼球を輻輳角が大きくなる方向に回転した場合のＥＯＧ信号の波形の変化の一例を示す図である。

【図12】視線が正面を向いている状態から両眼球を輻輳角が小さくなる方向に回転した場合のＥＯＧ信号の波形の変化の一例を示す図である。

【図13】種々な眼動に対するＥＯＧ信号の波形の一例を示す図である。

【図14】輻輳角の変化を検出する実験結果の一例を示す図である。

【図15】第２実施形態に係るメガネ型眼球回転検出装置の一例を正面から見た図である。

【図16】メガネ型眼球回転検出装置を含む手術支援システムの電気的な構成の一例を示すブロック図である。

【図17】メガネ型眼球回転検出装置の動作の一例を示す図である。

【図18】メガネ型眼球回転検出装置の動作の他の例を示す図である。

【図19】第２実施形態の変形例に係るメガネ型眼球回転検出装置の動作の一例を示す図である。

【図20】第３実施形態に係るメガネ型眼球回転検出装置を含むシステムの電気的な構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

【0010】

眼球の基礎情報を説明する。成人の眼球の直径は約２５ｍｍである。生後は１７ｍｍ程度で、成長に伴い大きくなる。成人男性の瞳孔間距離は約６５ｍｍである。そのため、一般市販のステレオカメラは６５ｍｍの間隔で作られている物が多い。成人女性の瞳孔間距離は男性に比べて数ｍｍ短い。眼電位は数十ｍＶである。眼球は角膜側にプラス、網膜側にマイナスの電位を持つ。これを皮膚の表面で測定すると数百μＶの電位差（眼電位と称する）として現れる。

【0011】

眼球の回転範囲（一般的な成人の場合）は、左右方向（水平方向とも称する）では、左方向： ５０°以下、右方向： ５０°以下であり、上下方向（垂直方向とも称する）では、下方向： ５０°以下、上方向： ３０°以下である。自分の意思で動かせる上下方向の角度範囲は、上方向は狭い。これは、閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると上下方向の眼球移動範囲は上方向にシフトするためである。なお、輻輳角（左右の眼球の視線方向が交差する角度）は２０°以下である。

【0012】

［第１実施形態］
図１、図２、図３を参照して、実施形態に係る眼球回転検出装置の構成の一例を説明する。眼球回転検出装置の形態は種々あるが、ここでは、アイウェアの形態の眼球回転検出装置の例を示す。アイウェアとしては、ゴーグル、メガネ（サングラスはメガネと等価である）等があるが、ここではメガネ型眼球回転検出装置を説明する。図１はメガネ型眼球回転検出装置の一例を正面から見た図、図２はメガネ型眼球回転検出装置の一例を後ろ上方から見た図である。図３はメガネ型眼球回転検出装置の一例をかけたユーザを右前方から見た図である。

【0013】

眼球回転の種類は、上下回転と左右回転がある。上下回転は、瞬目、目瞑り、ウインク等を含む。左右回転は、左右の眼球が同じ向きに無意識に回転する緩徐運動（Ｓｌｏｗ
Ｅｙｅ Ｍｏｖｅｍｅｎｔ）と、左右の眼球が同じ向きに意識的に回転する視線移動と、左右の眼球が反対向きに回転する動作に輻輳・開散に大別される。輻輳は左右眼球の視線方向が交差することであり、開散は左右眼球の視線方向が発散することである。眼球回転は眼電位の変化に基づいて検出される。眼電位は眼球を挟む一対の電極からの電圧の差分により検出できる。眼球を挟む方向は左右、上下、前後のいずれの方向でもよいし、斜めでもよい。眼球を上下から挟むように配置された電極対で検出される眼電位から瞬目、目瞑り、ウインク等が検出できる。眼球を上下及び左右から挟むように配置された電極対で検出される眼電位から、瞬目、目瞑り、ウインク、緩徐運動及び視線移動が検出できる。眼球を前後及び左右から挟むように配置された電極対で検出される眼電位から、緩徐運動、視線移動及び輻輳・開散が検出できる。

【0014】

［電極配置］
メガネは右フレーム１２と、左フレーム１４と、両フレーム１２、１４を繋ぐブリッジ２６とを含む。この明細書で右、左はメガネを装着するユーザから見た右、左である。正面から見た図１では逆になっており、図１の右側のフレームが左フレーム１４である。眼電位検出だけの装置であれば、右フレーム１２と左フレーム１４にはレンズやガラスを嵌め込まなくてもよいが、ユーザがメガネを常用する場合は、常用するメガネの代わりにユーザに合った度数のレンズが右フレーム１２、左フレーム１４に嵌め込まれてもよい。ユーザがメガネを常用しない場合は、単なるガラスが右フレーム１２、左フレーム１４に嵌め込まれてもよい。眼電位検出だけの装置ではなく、眼電位から視線移動又は輻輳角変化を検出し、その検出結果を応用する製品、例えばＡＲ表示が可能なメガネ型ウェアラブル装置を構成する場合は、右フレーム１２、左フレーム１４の少なくとも一部にＡＲ表示用の液晶パネルあるいは有機ＥＬパネルが嵌め込まれてもよい。

【0015】

実施形態では、輻輳・開散を検出するために、同一の平面内において、左右それぞれの眼球に対して同相（同じベクトル）となる前後位置、かつ左右それぞれの眼球に対して逆相（逆のベクトル）となる左右位置から眼球を挟むように電極が配置される。

【0016】

右眼球ＥＲの眼電位を検出するために、図２に示すように、右眼球ＥＲの右側、例えば右テンプル１８の耳に掛かる部分に右テンプル電極３２が設けられ、右眼球ＥＲの左側、例えば右フレーム１２とブリッジ１６の接続箇所付近に取り付けられる右ノーズパッド２２の鼻に接する表面に右ノーズパッド電極４２が設けられる。平面図（図２は平面図とみなす）において、右テンプル電極３２と右ノーズパッド電極４２は、右テンプル電極３２と右ノーズパッド電極４２とを結ぶ線が右眼球ＥＲを通過するように配置されている。

【0017】

正面図（図１は正面図とみなす）において、右テンプル電極３２は右眼球ＥＲの左側に設けられ、右ノーズパッド電極４２は右眼球ＥＲの右側に設けられる。右テンプル電極３２と右ノーズパッド電極４２は、右テンプル電極３２と右ノーズパッド電極４２とを結ぶ線が右眼球ＥＲを通過するように配置されている。また、正面図において、右ノーズパッド電極４２は右テンプル電極３２より若干上側に設けられている。

【0018】

側面図において、右テンプル電極３２は右眼球ＥＲの後側、すなわち右側面図では右眼球ＥＲの左側、左側面図では右眼球ＥＲの右側に設けられ、右ノーズパッド電極４２は右眼球ＥＲの前側、すなわち右側面図では右眼球ＥＲの右側、左側面図では右眼球ＥＲの左側に設けられる。右テンプル電極３２と右ノーズパッド電極４２は、右テンプル電極３２と右ノーズパッド電極４２とを結ぶ線が右眼球ＥＲを通過するように配置される。

【0019】

図３は、右テンプル電極３２と右ノーズパッド電極４２とを結ぶ線が頭部の正面図、平面図、側面図において右眼球ＥＲを通過する様子を示す。なお、２つの電極を結ぶ線は右眼球ＥＲの中心に限らず眼球のいずれかの部分を通過すればよい。図３では顔に隠されているが、左眼球についても同様である。

【0020】

なお、右眼球ＥＲの眼電位を検出する右テンプル電極３２と右ノーズパッド電極４２は、平面図、正面図、側面図のいずれにおいて、右テンプル電極３２と右ノーズパッド電極４２とを結ぶ線が右眼球ＥＲを通過するように配置されているが、平面図、正面図及び側面図の少なくともいずれかにおいて、右テンプル電極３２と右ノーズパッド電極４２とを結ぶ線が右眼球ＥＲを通過するように配置されていればよい。

【0021】

同様に、左眼球ＥＬの眼電位を検出するために、平面図において左眼球ＥＬの右側、例えば左フレーム１４とブリッジ１６の接続箇所付近に取り付けられる左ノーズパッド２４の鼻に接する表面に左ノーズパッド電極４４が設けられ、左眼球ＥＬの左側、例えば左テンプル２０の耳に掛かる部分に左テンプル電極３６が設けられる。左ノーズパッド電極４４と左テンプル電極３６は、左ノーズパッド電極４４と左テンプル電極３６とを結ぶ線が左眼球ＥＬを通過するように配置されている。

【0022】

右テンプル電極３２、左テンプル電極３６は右フレーム１２と左フレーム１４を結ぶ直線の中点と直交する直線（例えば鼻の中心から後頭部に延びる直線）に関して線対称である。

【0023】

正面図において、左ノーズパッド電極４４は左眼球ＥＬの左側に設けられ、左テンプル電極３６は左眼球ＥＬの右側に設けられる。左ノーズパッド電極４４と左テンプル電極３６は、左ノーズパッド電極４４と左テンプル電極３６とを結ぶ線が左眼球ＥＬを通過するように配置されている。また、正面図において、左ノーズパッド電極４４は第２左電極４２より若干上側に設けられている。

【0024】

側面図において、左ノーズパッド電極４４は左眼球ＥＬの前側、すなわち右側面図では左眼球ＥＬの右側、左側面図では左眼球ＥＬの左側に設けられ、左テンプル電極３６は左眼球ＥＬの後側、すなわち右側面図では左眼球ＥＬの左側、左側面図では左眼球ＥＬの右側に設けられる。左ノーズパッド電極４４と左テンプル電極３６は、左ノーズパッド電極４４と左テンプル電極３６とを結ぶ線が左眼球ＥＬを通過するように配置されている。

【0025】

右テンプル電極３２は右テンプル１８の側面（側頭部に接する）と下面（耳の付け根に接する）に亘って設けられ、メガネが顔に装着される際、テンプル１８の自重により、右テンプル電極３２が耳の付け根の硬毛が生えていない領域に接触するようになっている。左テンプル電極３６は左テンプル２０の側面（側頭部に接する）と下面（耳の付け根に接する）に亘って設けられ、メガネが顔に装着される際、テンプル２０の自重により、左テンプル電極３６が耳の付け根の硬毛が生えていない領域に接触するようになっている。これにより、右テンプル電極３２と左テンプル電極３６はユーザの皮膚に密着し、眼電位を正確にセンスすることができる。

【0026】

なお、左眼球ＥＬの眼電位を検出する左ノーズパッド電極４４と左テンプル電極３６も、平面図、正面図及び側面図の少なくともいずれかにおいて、左ノーズパッド電極４４と左テンプル電極３６とを結ぶ線が左眼球ＥＬを通過するように配置されていればよい。

【0027】

ブリッジ１６の内側に額に接する額パッド２６が設けられ、額パッド２６の額に接する表面に中性電極４６が設けられる。中性電極４６は眼電位検出のための中性電位を確保するための電極であり、皮膚、例えば額に接触している。中性電極４６は、中性電極４６と右テンプル電極３２との距離と中性電極４６と左テンプル電極３６との距離が等しく、中性電極４６と右ノーズパッド電極４２との距離と中性電極４６と左ノーズパッド電極４４との距離が等しくなるように配置される。中性電極４６がこのような位置に配置される理由は、後述する輻輳角検出のためである。輻輳角は、左右それぞれの眼球に対して正面から見て左右対称の眼球回転を検出した結果を基に検出されるからである。例えば、心電計では、眼球回転の影響が無視できる体の部位、例えば、右足の末端で中性電位を取っている。眼球回転の影響を多少は受けるものの、左右の眼球から均等に影響を受ける場所、額の中央で中性電位を取ることにより、中性電極が左右それぞれの眼球から受ける眼電位の影響を均等化することができる。

【0028】

右テンプル電極３２、右ノーズパッド電極４２、左ノーズパッド電極４４、左テンプル電極３６、中性電極４６は銅等の金属箔、金属小片、ステンレススチール等の金属球又は導電性のシリコンゴムシート等からなる。これらの電極３２、４２、４４、３６は後述するように眼電位を検出するための電極であるので、ＥＯＧ電極とも称する。

【0029】

［ＥＯＧ信号］
図２に示すように、一方のテンプル、例えば右テンプル１８のフレーム１２に近い部分に眼電位の検出のための処理部３０が内蔵あるいは外付けされている。他方のテンプル、例えば左テンプル２０のフレーム１２に近い部分に処理部３０のためのバッテリ３４が内蔵あるいは外付けされている。処理部３０は単に眼電位検出だけではなく、ＡＲ表示が可能なメガネ型ウェアラブル装置においては、表示制御も行ってもよい。処理部３０はメガネに内蔵するのではなく、メガネの外部に設け、無線又はワイヤでメガネと処理部３０とを接続してもよい。その場合、バッテリ３４は処理部３０に内蔵してメガネの外部に設けることができる。また、処理部３０の機能を２つに分けて、電極からの信号をセンスする第１処理部のみメガネに設け、センス信号から眼電位を検出したり、検出結果に応じて制御する第２処理部をメガネの外部に設けてもよい。スマートフォン等の携帯端末を第２処理部として使用することができる。第２処理部はメガネに直接接続される携帯端末等に限らず、ネットワークを介して接続されるサーバ等も含む。

【0030】

右テンプル電極３２からの信号が第１のアナログ／デジタル（Ａ／Ｄ）コンバータ６２の－端子に入力され、第２左電極３６からの信号が第１のＡ／Ｄコンバータ６２の＋端子に入力され、差分信号である第１のＥＯＧ信号ＡＤＣ Ｃｈ０が出力される。右テンプル電極３２と左テンプル電極３６は眼球を左右から挟むので、第１のＥＯＧ信号ＡＤＣ Ｃｈ０は左右眼球の左右回転を示す。

【0031】

右テンプル電極３２からの信号が第２のＡ／Ｄコンバータ６４の－端子に入力され、右ノーズパッド電極４２からの信号が第２のＡ／Ｄコンバータ６４の＋端子に入力され、差分信号である第２のＥＯＧ信号ＡＤＣ Ｃｈ１が出力される。右テンプル電極３２と右ノーズパッド電極４２は右眼球を上下及び左右から挟むので、第２のＥＯＧ信号ＡＤＣ Ｃｈ１は右眼球の左右回転と上下回転を示す。

【0032】

左ノーズパッド電極４４からの信号が第３のＡ／Ｄコンバータ６６の＋端子に入力され、左テンプル電極３６からの信号が第２のＡ／Ｄコンバータ６６の－端子に入力され、差分信号である第３のＥＯＧ信号ＡＤＣ Ｃｈ２が出力される。左ノーズパッド電極４４と左テンプル電極３６は左眼球を上下及び左右から挟むので、第３のＥＯＧ信号ＡＤＣ Ｃｈ２は左眼球の左右回転と上下回転を示す。

【0033】

第２のＥＯＧ信号ＡＤＣ Ｃｈ１に関する２つの電極の左右位置と第３のＥＯＧ信号ＡＤＣ Ｃｈ２に関する２つの電極の左右位置は反対（Ａ／Ｄコンバータの入力の＋／－が反転）なので、第２のＥＯＧ信号ＡＤＣ Ｃｈ１と第３のＥＯＧ信号ＡＤＣ Ｃｈ２の波形から左右の眼球が同じ向き又は反対向きに左右回転しているかが検出できる。

【0034】

右テンプル電極３２、右ノーズパッド電極４２、左ノーズパッド電極４４、左テンプル電極３６からの電圧信号は微弱であるので、ノイズの影響が大きい。このノイズをキャンセルするために、Ａ／Ｄコンバータ６２、６４、６６の基準アナログ電圧Ｖｃｃ（＝３．３Ｖ又は５．５Ｖ）とグランド（ＧＮＤ）との間に抵抗Ｒ１とＲ２の直列回路が接続され、抵抗Ｒ１とＲ２の接続点に中性電極４６が接続される。抵抗Ｒ１、Ｒ２は等しい値、例えば１ＭΩである。Ａ／Ｄコンバータ６２、６４、６６は０Ｖ（グランド）から基準アナログ電圧Ｖｃｃまでのアナログ電圧を検出可能であり、検出可能範囲の中点、例えば３．３Ｖの１／２の電圧（中点電圧と称する）を中心に０Ｖから３．３Ｖの範囲で入力アナログ電圧をデジタル値に変換する。抵抗Ｒ１とＲ２の接続点が中点電圧端に接続され、中性電極４６が抵抗Ｒ１とＲ２の接続点に接続されるので、Ａ／Ｄコンバータ６２、６４、６６の中点電圧は人体の電圧と同じになる。その結果、人体の電圧に連動してＡ／Ｄコンバータ６２、６４、６６の中点電圧が変動し、ＥＯＧ電極３２、４２、４４、３６からの電圧信号に混入されたノイズがＡ／Ｄコンバータ６２、６４、６６の出力であるデジタル値に混入することがない。これにより、眼電位の検出のＳ／Ｎを向上できる。

【0035】

図４は眼球回転検出装置の電気的な構成の一例を示すブロック図である。処理部３０はＡ／Ｄコンバータ６２、６４、６６を含んでもよいし、Ａ／Ｄコンバータ６２、６４、６６は処理部３０に外付けされてもよい。

【0036】

右テンプル電極３２からの信号が第１のＡ／Ｄコンバータ６２の－端子に入力され、左テンプル電極３６からの信号が第１のＡ／Ｄコンバータ６２の＋端子に入力され、第１チャネルのＥＯＧ信号ＡＤＣ Ｃｈ０が得られる。右テンプル電極３２からの信号が第２のＡ／Ｄコンバータ６４の－端子に入力され、右ノーズパッド電極４２からの信号が第２のＡ／Ｄコンバータ６４の＋端子に入力され、第２チャネルのＥＯＧ信号ＡＤＣ Ｃｈ１が得られる。左ノーズパッド電極４４からの信号が第３のＡ／Ｄコンバータ６６の＋端子に入力され、左テンプル電極３６からの信号が第２のＡ／Ｄコンバータ６６の－端子に入力され、第３チャネルのＥＯＧ信号ＡＤＣ Ｃｈ２が得られる。

【0037】

中性電極４６からの信号がＡ／Ｄコンバータ６２、６４、６６の中点電圧端に供給され、Ａ／Ｄコンバータ６２、６４、６６の中点電圧が中性電極４６により検出された人体の電圧とされる。

【0038】

Ａ／Ｄコンバータ６２、６４、６６から出力されるＥＯＧ信号が眼球回転（以下、眼動と称することもある）を検出する眼動検出部７５に入力される。眼動検出部７５はハードウェアから構成してもよいが、ソフトウェアから構成してもよい。後者の場合、ＣＰＵ７４とＲＯＭ７６とＲＡＭ７８がバスラインに接続され、眼動検出部７５もバスラインに接続される。眼動検出部７５はＣＰＵ７４がＲＯＭ７６に格納されたプログラムを実行することにより実現する。バスラインには無線ＬＡＮデバイス８０も接続され、処理部３０は無線ＬＡＮデバイス８０を介してスマートフォン等の携帯端末８４に接続される。携帯端末８４はインターネット等のネットワーク８６を介してサーバ８８に接続されてもよい。眼動検出部７５はＡ／Ｄコンバータ６２、６４、から出力されるＥＯＧ信号に基づき眼電位を検出し、検出した眼電位から左右眼球それぞれの左右回転（輻輳・開散）及び眼球の左右回転（視線移動）、上下回転（瞬目、眼瞑り）を検出することができる。さらに、眼動検出部７５は検出した眼動からユーザの種々の状態（例えば、集中力が欠け落ち着きが無い状態か集中している状態、緊張し精神的にストレスを受けた状態、疲労しており業務や作業に集中しがたい状態）を推定することができる。どの種類の眼球回転を検出し、どの種類の状態を推定するかはＣＰＵ７４が実行するプログラムを変えることにより変更可能である。この変更指示は携帯端末８４から行ってもよい。

【0039】

無線ＬＡＮデバイス８０の代わりにＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ
Ｌｏｗ Ｅｎｅｒｇｙ（登録商標）、Ｗｉ－Ｆｉ（登録商標）などの通信方式による通信機器を利用してもよい。眼動検出部７５の検出結果（眼動検出結果、状態推定結果）は、ＲＡＭ７８に一時的に格納され、その後無線ＬＡＮデバイス８０等の通信機器を介して、携帯端末８４に送られてもよい。あるいは、眼動検出部７５の検出結果は携帯端末８４にリアルタイムで送られてもよい。携帯端末８４は眼動検出部７５の検出結果を図示しない内蔵のメモリに格納してもよいし、検出結果をネットワーク８６を介してサーバ８８へ転送してもよい。携帯端末８４は眼動検出部７５の検出結果に応じて何かの処理を開始してもよく、処理結果を内蔵のメモリに格納してもよいし、処理結果をネットワーク８６を介してサーバ８８へ転送してもよい。サーバ８８は多くの眼動検出部７５からの検出結果や多くの携帯端末８４の処理結果を集約して、いわゆるビッグデータ解析を行ってもよい。

【0040】

［電極配置の変形例］
図５、図６、図７は中性電極４６の配置の変形例を示す。上記の説明では、左右別個のノーズパッド２２、２４が設けられているが、図５の変形例では、左右一体型の逆Ｖ字若しくは逆Ｕ字型のノーズパッド５２が設けられる。ノーズパッド５２の開いた両脇の右内側に右ノーズパッド電極４２が設けられ、左内側に左ノーズパッド電極４４が設けられ、Ｖ字若しくはＵ字の頂点部分の内側に中性電極４６が設けられる。これにより、額パッド２６を設けることなく、額に接する中性電極４６を設けることができる。

【0041】

図６の変形例でも、左右一体型のＶ字若しくはＵ字型のノーズパッド５４が設けられる。ノーズパッド５２は下向きに広がっているが、ノーズパッド５４は手前側に広がっている点が異なる。ノーズパッド５４の右側に右ノーズパッド電極４２が設けられ、左側に左ノーズパッド電極４４が設けられ、中央に中性電極４６が設けられる。

【0042】

図５、図６の変形例では、通常のノーズパッドより広い面積のノーズパッドを用いているので、通常のメガネより重いメガネ型眼電位検出装置又はＡＲ表示可能なメガネ型ウェアラブル端末グラスを長時間使用しても、重さで鼻が痛くなり難い。

【0043】

図７の変形例では、左右別個のノーズパッド２２、２４が用いられるが、額パッド２６は不要である。ここでは、右ノーズパッド２２の鼻に接する表面に右ノーズパッド電極４２と右中性電極４６ａが設けられ、左ノーズパッド２４の鼻に接する表面に左ノーズパッド電極４４と左中性電極４６ｂが設けられる。右中性電極４６ａと左中性電極４６ｂは電気的に短絡され、１つの中性電極４６と等価となる。

【0044】

［視線の移動とＥＯＧ信号の関係］
図８～図１２を参照して、視線方向が正面方向を向いている状態から右眼球及び左眼球を左右回転した場合のＡ／Ｄコンバータ６２から出力されるＥＯＧ信号ＡＤＣ Ｃｈ０、Ａ／Ｄコンバータ６４から出力されるＥＯＧ信号ＡＤＣ Ｃｈ１、Ａ／Ｄコンバータ６６から出力されるＥＯＧ信号ＡＤＣ Ｃｈ２の波形の変化の一例を示す。

【0045】

図８はユーザの視線方向が正面方向である状態を示す。無限遠を見ている場合は、右眼球の視線方向と左眼球の視線方向は平行であるが、有限の遠点を見ている場合は、右眼球の視線方向と左眼球の視線方向は遠点で交差する。この状態から図９に示すように右眼球ＥＲ、左眼球ＥＬがともに左回転（右眼球の視線方向と左眼球の視線方向が左に移動）すると、右眼球ＥＲのプラスに帯電している角膜が右ノーズパッド電極４２に近づき、マイナスに帯電している網膜が右テンプル電極３２に近づく。同様に、左眼球ＥＬのプラスに帯電している角膜が左テンプル電極３６に近づき、マイナスに帯電している網膜が左ノーズパッド電極４４に近づく。この状態で左右の眼球ともに右回転すると、図８の状態に戻る。このため、右、左テンプル電極３２、３６が接続される第１のＡ／Ｄコンバータ６２から出力される第１のＥＯＧ信号ＡＤＣ Ｃｈ０は凸波形（上に凸な波形）の信号となる。右ノーズパッド電極４２、右テンプル電極３２が接続される第２のＡ／Ｄコンバータ６４から出力される第２のＥＯＧ信号ＡＤＣ Ｃｈ１は凸波形（上に凸な波形）の信号となる。左ノーズパッド電極４４、左テンプル電極３６が接続される第３のＡ／Ｄコンバータ６６から出力される第３のＥＯＧ信号ＡＤＣ Ｃｈ２は凹波形（下に凸な波形）の信号となる。

【0046】

このように左右の眼球が同方向に回転（左回転）するので、第２のＥＯＧ信号ＡＤＣ
Ｃｈ１と第３のＥＯＧ信号ＡＤＣ Ｃｈ２には逆相のＥＯＧ信号が現れる。第１のＥＯＧ信号ＡＤＣ Ｃｈ０には＋／－の関係が同じである第２のＥＯＧ信号ＡＤＣ Ｃｈ１と同相のＥＯＧ信号が現れる。

【0047】

図８に示す視線方向が正面方向である状態から図１０に示すように右眼球ＥＲ、左眼球ＥＬがともに右に回転（右眼球の視線方向と左眼球の視線方向が右に移動）すると、右眼球ＥＲのプラスに帯電している角膜が右テンプル電極３２に近づき、マイナスに帯電している網膜が右ノーズパッド電極４２に近づく。同様に、左眼球ＥＬのプラスに帯電している角膜が左ノーズパッド電極４４に近づき、マイナスに帯電している網膜が左テンプル電極３６に近づく。この状態で左右の眼球ともに左回転すると、図８の状態に戻る。このため、右、左テンプル電極３２、３６が接続される第１のＡ／Ｄコンバータ６２から出力される第１のＥＯＧ信号ＡＤＣ Ｃｈ０は凹波形（下に凸な波形）の信号となる。右ノーズパッド電極４２、右テンプル電極３２が接続される第２のＡ／Ｄコンバータ６４から出力される第２のＥＯＧ信号ＡＤＣ Ｃｈ１は凹波形（下に凸な波形）の信号となる。左ノーズパッド電極４４、左テンプル電極３６が接続される第３のＡ／Ｄコンバータ６６から出力される第３のＥＯＧ信号ＡＤＣ Ｃｈ２は凸波形（上に凸な波形）の信号となる。

【0048】

このように左右の眼球が同方向に回転（右回転）するので、第２のＥＯＧ信号ＡＤＣ
Ｃｈ１と第３のＥＯＧ信号ＡＤＣ Ｃｈ２には逆相のＥＯＧ信号が現れる。ただし、右眼球ＥＲ、左眼球ＥＬがともに左に回転する場合に対してそれぞれ逆相である。第１のＥＯＧ信号ＡＤＣ Ｃｈ０には＋／－の関係が同じである第２のＥＯＧ信号ＡＤＣ Ｃｈ１と同相のＥＯＧ信号が現れる。ただし、右眼球ＥＲ、左眼球ＥＬがともに右回転する場合の第１のＥＯＧ信号ＡＤＣ Ｃｈ０は、右眼球ＥＲ、左眼球ＥＬがともに左回転する場合の第１のＥＯＧ信号ＡＤＣ Ｃｈ０に対して逆相である。

【0049】

図８に示す視線方向が正面方向である状態から図１１に示すように右眼球ＥＲが左回転（右眼球の視線方向が左に移動）し、左眼球ＥＬが右回転（左眼球の視線方向が右に移動）し、左右の眼球の視線方向が交差する輻輳が生じる、いわゆる寄り目になると、右眼球ＥＲのプラスに帯電している角膜が右ノーズパッド電極４２に近づき、マイナスに帯電している網膜が右テンプル電極３２に近づく。同様に、左眼球ＥＬのプラスに帯電している角膜が左ノーズパッド電極４４に近づき、マイナスに帯電している網膜が左テンプル電極３６に近づく。この状態で右眼球が右回転し、左眼球が右回転すると、図８の状態に戻る。このため、右、左テンプル電極３２、３６が接続される第１のＡ／Ｄコンバータ６２から出力される第１のＥＯＧ信号ＡＤＣ Ｃｈ０は変化がなく、凸波形も凹波形も現れない。右ノーズパッド電極４２、右テンプル電極３２が接続される第２のＡ／Ｄコンバータ６４から出力される第２のＥＯＧ信号ＡＤＣ Ｃｈ１は凸波形（上に凸な波形）の信号となる。左ノーズパッド電極４４、左テンプル電極３６が接続される第３のＡ／Ｄコンバータ６６から出力される第３のＥＯＧ信号ＡＤＣ Ｃｈ２は凸波形（上に凸な波形）の信号となる。

【0050】

このように左右の眼球が逆向きに回転するので、第２のＥＯＧ信号ＡＤＣ Ｃｈ１と第３のＥＯＧ信号ＡＤＣ Ｃｈ２には同相の波形が現れる。

【0051】

左右の眼球の眼電位が同一で、かつ回転角の絶対値も同一である場合は、Ａ／Ｄコンバータ６２の＋端子も－端子も同一方向（マイナス方向）に同一量変化するため、両者の相対値には変化が見られず、第１のＥＯＧ信号ＡＤＣ Ｃｈ０には眼電位の変化が現れない。しかし、現実的にはノーズパッド電極とテンプル電極を結ぶ平面が左右の眼球の中央部から僅かにずれるので、これらのずれ量に従って僅かな変化が現れる。

【0052】

図８に示す視線方向が正面方向である状態から図１２に示すように右眼球ＥＲが右回転（右眼球の視線方向が右に移動）し、左眼球ＥＬが左回転（左眼球の視線方向が左に移動）し、すなわち左右の眼球の視線方向が発散する開散が生じる、いわゆる離れ目になると、右眼球ＥＲのプラスに帯電している角膜が右テンプル電極３２に近づき、マイナスに帯電している網膜が右ノーズパッド電極４２に近づく。同様に、左眼球ＥＬのプラスに帯電している角膜が左テンプル電極３６に近づき、マイナスに帯電している網膜が左ノーズパッド電極４４に近づく。この状態で右眼球が左回転し、左眼球が左回転すると、図８の状態に戻る。このため、右、左テンプル電極３２、３６が接続される第１のＡ／Ｄコンバータ６２から出力される第１のＥＯＧ信号ＡＤＣ Ｃｈ０は変化がなく、凸波形も凹波形も現れない。右ノーズパッド電極４２、右テンプル電極３２が接続される第２のＡ／Ｄコンバータ６４から出力される第２のＥＯＧ信号ＡＤＣ Ｃｈ１は凹波形（下に凸な波形）の信号となる。左ノーズパッド電極４４、左テンプル電極３６が接続される第３のＡ／Ｄコンバータ６６から出力される第３のＥＯＧ信号ＡＤＣ Ｃｈ２は凹波形（下に凸な波形）の信号となる。このように左右の眼球が逆向きに回転するので、第２のＥＯＧ信号ＡＤＣ
Ｃｈ１と第３のＥＯＧ信号ＡＤＣ Ｃｈ２には同相のＥＯＧ信号が現れる。ただし、離れ目の場合の第２のＥＯＧ信号ＡＤＣ Ｃｈ１と第３のＥＯＧ信号ＡＤＣ Ｃｈ２は、寄り目の場合の第２のＥＯＧ信号ＡＤＣ Ｃｈ１と第３のＥＯＧ信号ＡＤＣ Ｃｈ２に対してそれぞれ逆相である。

【0053】

左右の眼球の眼電位が同一で、かつ回転角の絶対値も同一である場合は、Ａ／Ｄコンバータ６２の＋端子も－端子も同一方向（プラス方向）に同一量変化するため、両者の相対値には変化が見られず、第１のＥＯＧ信号ＡＤＣ Ｃｈ０には眼電位の変化が現れない。しかし、現実的にはノーズパッド電極とテンプル電極を結ぶ平面が左右の眼球の中央部から僅かにずれるので、これらのずれ量に従って僅かな変化が現れる。

【0054】

図１３は、ユーザの種々な眼動と、Ａ／Ｄコンバータ６２、６４、６６から得られるＥＯＧ信号ＡＤＣ Ｃｈ０、ＡＤＣ Ｃｈ１、ＡＤＣ Ｃｈ２の関係の一例を説明する眼電図（ＥＯＧ）である。縦軸はＡ／Ｄコンバータ６２、６４、６６（例えば、３．３Ｖ，２４ビットのＡ／Ｄコンバータ）のサンプル値を示し、横軸は時間を示す。

【0055】

図１１に示すように、ＥＯＧ信号ＡＤＣ Ｃｈ０において凸波形も凹波形も現れず、ＥＯＧ信号ＡＤＣ Ｃｈ１とＡＤＣ Ｃｈ２において凸波形が現れることにより、眼動検出部７５は左右の眼球の視線方向の輻輳が生じる「寄り目」状態を検出する。図１３には示していないが、図１２に示すように、ＥＯＧ信号ＡＤＣ Ｃｈ０において凸波形も凹波形も現れず、ＥＯＧ信号ＡＤＣ Ｃｈ１とＡＤＣ Ｃｈ２において凹波形が現れることにより、眼動検出部７５は左右の眼球の視線方向の開散が生じる「離れ目」状態を検出する。このように輻輳と開散はＥＯＧ信号ＡＤＣ Ｃｈ１とＡＤＣ Ｃｈ２の波形の凹凸が異なり、他は同じであるので、以下の説明では、輻輳と開散を纏めて輻輳と称することもある。ＥＯＧ信号ＡＤＣ Ｃｈ１とＡＤＣ Ｃｈ２の波形の振幅は輻輳の程度（輻輳角）、開散の程度に応じている。図１４を参照して後述するが、振幅の変化の度合いは近距離程大きく、遠距離になるにつれて小さくなる。そのため、振幅変化の検出の感度は、近距離程高く、遠距離になるにつれて低くなる。

【0056】

図９に示すように、ＥＯＧ信号ＡＤＣ Ｃｈ０において凸波形が現れ、ＥＯＧ信号ＡＤＣ Ｃｈ１において凸波形が現れ、ＥＯＧ信号ＡＤＣ Ｃｈ２において凹波形が現れることにより、眼動検出部７５は視線方向の左移動を検出する。

【0057】

図１０に示すように、ＥＯＧ信号ＡＤＣ Ｃｈ０において凹波形が現れ、ＥＯＧ信号ＡＤＣ Ｃｈ１において凹波形が現れ、ＥＯＧ信号ＡＤＣ Ｃｈ２において凸波形が現れることにより、眼動検出部７５は視線方向の右移動を検出する。

【0058】

ＥＯＧ信号ＡＤＣ Ｃｈ１とＥＯＧ信号ＡＤＣ Ｃｈ２において、瞬間的にレベルが上昇して元に戻る同位相の１波～３波の凸パルス波形により１回の瞬目１、２回の瞬目２、３回の瞬目３が検出される。ＥＯＧ信号ＡＤＣ Ｃｈ１とＥＯＧ信号ＡＤＣ Ｃｈ２において、視線が上を向いたときの凸波形（上に凸な波形）と視線が下を向いたときの凹波形（下に凸な波形）の組合せ波形により、眼動検出部７５は上下方向の眼球回転、すなわち目瞑りを検出する。このように、上下方向の瞬目および目瞑りによって発生する眼球の回転はＥＯＧ信号ＡＤＣ Ｃｈ１またはＡＤＣ Ｃｈ２のいずれか１つに基づいて検出可能であり、瞬目および目瞑りのみを検出する用途においては、左右眼球についてそれぞれ電極対を設ける必要はなく、いずれか一方の眼球についてのみ電極対を設けてもよい。

【0059】

実施形態による輻輳状態の変化を検出する実験結果の一例を示す。図１～図４に示した眼電位検出装置の試作機を用いて、被験者が鼻の前方１０ｃｍ先の指先を見ている状態からそれより遠くのマーカを見るように左右の眼球の視線方向の交点位置を変化する際の第２のＥＯＧ信号ＡＤＣ Ｃｈ１の変化の一例を図１４に示す。この場合、視線方向の交点が近から遠に変化するので、輻輳角は減少する。横軸は１０ｃｍ先から奥行方向への視線方向の交点の移動距離であり、最初のプロットは視線方向の交点が１０ｃｍ先から２０ｃｍ先へ移動された場合のＥＯＧ振幅を示す。なお、１０ｃｍは安定して凝視できる最短距離である。ＥＯＧ信号の最小検出電圧を５０μＶとしている。すなわち、眼動検出部７５はＥＯＧ信号が５０μＶ以上変化すると、ＥＯＧ信号の変化を検出でき、それに基づき視線方向の交点位置の変化、すなわち輻輳角の変化を検出でき、ＥＯＧ信号が５０μＶ以上変化しないと、ＥＯＧ信号の変化を検出できない。なお、測定値を積分した平均値用いれば、ＥＯＧ信号の最小検出電圧はより小さい電圧となるが、ここでは５０μＶとした。なお、ＥＯＧ信号の振幅は電極の接触抵抗に依存し、接触抵抗が小さい電極材料を使用すれば、ＥＯＧ信号の振幅は大きくなり、ＥＯＧ信号の最小検出電圧は大きくなる。

【0060】

例えば、被験者が鼻の前方３０ｃｍ先のマーカを見ている状態からより遠くのマーカを見る状態になるように輻輳角が減少した場合、ＥＯＧ振幅が５０μＶ増加すると、眼動検出部７５はＥＯＧ振幅の変化を検出する。３０ｃｍ先のマーカを見ている時のＥＯＧ振幅に５０μＶを加算した結果のＥＯＧ振幅は４０ｃｍ先に対応する。すなわち、被験者が３０ｃｍ先を見ている状態から被験者が４０ｃｍ先を見る状態になるように輻輳角が減少すると、眼動検出部７５はＥＯＧ振幅の変化を検出できる。１０ｃｍの変化に対応する輻輳角の減少に対応するＥＯＧ振幅の変化が検出できることは検出の分解能はかなり良いといえる。図１４からは、被験者が５０ｃｍ先を見ている状態から被験者が６５ｃｍ先もしくはそれより遠方を見る状態になるように輻輳角が減少すると、ＥＯＧ振幅の変化が検出でき、被験者が７０ｃｍ先を見ている状態から１．４ｍ先もしくはそれより遠方を見る状態になるように輻輳角が減少すると、ＥＯＧ振幅の変化が検出できること等が分かる。

【0061】

以上説明したように、第１実施形態によれば、右、左テンプル電極と、右、左ノーズパッド電極と、右、左の眼球の回転の影響を均等に受けるように配置された中性電極を備え、右、左眼球それぞれの左右回転を独立して検出することにより、輻輳を検出するメガネ型眼球回転位検出装置が提供される。中性電極からの中性電位が電極からのＥＯＧ信号をサンプリングするＡ／Ｄコンバータの中点電位とされるので、電極からのＥＯＧ信号がノイズの影響を受けず、正確に眼電位が検出されるので、正確な眼球回転が検出される。第１実施形態によれば、さらに、両眼球の左右回転（視線方向の左右移動）や眼球の上下回転も検出できる。

【0062】

第１実施形態の眼電位検出装置によれば、被検者の意識的な眼球回転である輻輳を検出することができるので、検出結果に応じた制御を行うことにより、被検者の意図に応じた制御を行う応用例を実現することができる。例えば、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲと称する）表示が可能なアイウェアにおいては、輻輳の検出に応じてＡＲ表示のオン／オフや、ＡＲ画像の表示位置の調整をハンズフリーで制御することができる。

【0063】

また、ある作業には作業固有の輻輳変化が要求されることがあり、ユーザの輻輳変化のパターンを基準パターンと比較することにより、ユーザの作業に対する習熟度や、作業を正しく実施しているか否かの判断が可能である。

【0064】

以下、輻輳の検出結果の応用例を説明する。応用例の１つはＡＲ表示が可能なメガネ型ウェアラブル機器に眼電位検出装置を組み込み、輻輳の検出に基づき、ＡＲ表示を制御することである。例えば、輻輳の検出を機能切り替えスイッチとして応用できる。例えば、図８に示すようにユーザが正面の遠方を見ている時はＡＲ表示をオフし、図１１に示すように近距離を見る（輻輳状態）ように両眼の視線方向を変えると、ＡＲ表示が行われるように表示のオン、オフを制御することができる。ＡＲ画像の表示位置は近距離に設定されるので、ユーザがＡＲ画像を見ている時は輻輳状態であるので、ＡＲ表示が続けられ、ユーザが遠方を見るように両眼の視線方向を変えると、ＡＲ表示がオフされる。これにより、ユーザの意図通りのＡＲ表示制御が可能となる。以下、第２実施形態として、この応用例である手術支援のためのメガネ型ウェアラブル機器を説明する。

【0065】

［第２実施形態］
図１５は第２実施形態に係るメガネ型眼電位検出装置１００の一例を正面から見た図である。第１実施形態の検出装置と異なるのは、右フレーム１２、左フレーム１４の少なくとも一部にＡＲ表示用のディスプレイ（例えば、有機ＥＬパネル又は液晶パネル）１０２、１０４が嵌め込まれている点である。ＡＲ画像を３Ｄ表示しない場合は、右フレーム１２、左フレーム１４の一方にはディスプレイ１０２又は１０４が嵌め込まれていなくてもよい。ここでは、ＡＲ画像は３Ｄ表示されるとする。ＥＯＧ電極の配置は第１実施形態と同じである。ＡＲ表示可能なメガネ型眼電位検出装置１００の応用例は種々あるが、第２実施形態としては、手術支援システムを例に説明する。手術を執刀する医師や手術に関係するスタッフがメガネ型眼電位検出装置１００をかける。

【0066】

図１６はメガネ型眼電位検出装置１００を含む手術支援システムの電気的な構成の一例を示すブロック図である。処理部３０は図４に示した第１実施形態の構成に加えて表示コントローラ１１２が追加されている。表示コントローラ１１２はディスプレイ１０２、１０４のＡＲ表示を制御する。ＡＲ表示の制御は、ＡＲ表示のオン／オフ制御、ＡＲ画像の表示位置制御（ＡＲ画像の輻輳角制御）等を含む。

【0067】

手術支援システムでは、複数の医師やスタッフが同じ手術に関わり、複数のメガネが使用されるので、メガネの処理部３０に接続されるのは、スマートフォン等の携帯端末８２より高性能のパーソナルコンピュータ等の制御装置１２０が好ましい。図示しないが、複数のメガネの処理部３０が制御装置１２０に接続される。制御装置１２０はバイタルデータメモリ１２４、支援画像メモリ１２２、支援情報メモリ１２６を含む。なお、眼動検出部７５も制御装置１２０内に設けてもよい。

【0068】

制御装置１２０にはバイタルデータ測定部１２７が接続され、患者の心電図、血圧、脈拍、輸血量累計等が測定され、制御装置１２０内のバイタルデータメモリ１２４に患者毎に格納される。支援画像メモリ１２２は手術の支援のための支援画像を格納する。必要に応じて、サーバ８８内の手術支援データベース１３０内の支援画像が制御装置１２０にダウンロードされ、支援画像メモリ１２２に格納される。支援情報メモリ１２６は手術の支援のための支援テキストを格納する。必要に応じて、サーバ８８内の手術支援データベース１３０内の支援テキストが制御装置１２０にダウンロードされ、支援情報メモリ１２６に格納される。

【0069】

図１７、図１８を参照して、メガネ型眼電位検出装置１００の動作の一例を説明する。ここでは、眼球から手術中の患部（現実世界）までの距離は約４０ｃｍと仮定する。医師が手術中の患部（現実世界）より手前、例えば眼球から約３０ｃｍの距離の点を見ている時は、眼動検出部７５が輻輳を検出する。眼動検出部７５は、図１１に示すように、ＥＯＧ信号ＡＤＣ Ｃｈ０の波形が変化しないことと、ＥＯＧ信号ＡＤＣ Ｃｈ１とＥＯＧ信号ＡＤＣ Ｃｈ２の波形が上に凸な波形となることに基づき、輻輳を検出する。眼動検出部７５が輻輳を検出すると、制御装置１２０に対して手術の支援に関するＡＲ画像を要求し、表示コントローラ１１２に対してＡＲ表示を実施させる。ＡＲ表示の例は図１７（ａ）に示すように手術中の患部（現実世界）に対してバイタルデータウィンドウ（ＡＲ画像）を半透明で重ねることである。ウィンドウは複数ページを含み、各ページは心電図、血圧、脈拍、輸血量累計等を表示する。患部が隠されないように、ウィンドウは画面の一部の領域に制限される。制御装置１２０は、処理部３０からの要求に応答して、バイタルデータメモリ１２４から患者のバイタルデータを読み出し、処理部３０へ転送する。

【0070】

ＡＲ画像が３Ｄ表示される際、左右の画像の輻輳角を調整することにより表示位置は任意に設定可能である。ここでは、バイタルデータウィンドウの表示位置は、眼動検出部７５が輻輳を検出する距離と等しい約３０ｃｍ前方の位置に設定される。そのため、バイタルデータウィンドウが表示される時、医師はその表示位置と同じ距離の点を見ているので、瞬時にウィンドウの内容を確認することができるとともに、ウィンドウを注視するために眼球を回転して輻輳角を調整する必要が無く、眼精疲労も生じない。

【0071】

バイタルデータウィンドウのページ切替は、一定時間、例えば１秒毎に自動的に行われてもよいし、眼動検出部７５による眼球の他方向の回転に基づきユーザの意図により行われてもよい。例えば０．５秒以上の目瞑りが検出されると、ウィンドウのページが切り替えられてもよい。さらに、視線の移動方向に基づき、ウィンドウのページが切り替えられてもよい。例えば、視線が右に移動すると次ページに切り替えられ、視線が左に移動すると前ページに切り替えられてもよい。図１７（ｂ）はウィンドウのページが切り替えられた例を示す。

【0072】

図１７（ａ）又は図１７（ｂ）の状態で、医師等は手術中の患部（現実世界）（約４０ｃｍより遠方）を見るように視線方向を変更すると、眼動検出部７５は、輻輳角が小さくなる（両眼の視線方向の交点までの距離が遠くなる）ことを検出し、表示コントローラ１１２に対してＡＲ表示を停止させる。このため、医師等はメガネの右フレーム１２、左フレーム１４を通して図１７（ｃ）に示すような手術中の患部のみを観察する。

【0073】

図１７（ｃ）の状態で医師等がバイタルデータを参照したい場合、医師等は手元（約３０ｃｍ）を見るように視線方向を変更する。眼動検出部７５は、輻輳角が大きくなる（両眼の視線方向の交点までの距離が近くなる）ことを検出し、表示コントローラ１１２に対してＡＲ表示を実施させ、図１７（ａ）又は（ｂ）に示すようなバイタルデータウィンドウが表示される。

【0074】

輻輳角の増加／減少の判断は、図１４に示すようなＥＯＧ振幅と視線の交点の移動距離との関係に基づいて、ＥＯＧ電圧がある電圧以上低下／上昇したら、輻輳角が増加／減少したと判断できる。

【0075】

このように、医師は、手術中に手術を支援するＡＲ画像をハンズフリーで表示させたり、オフさせたりすることができる。手術中は手が塞がっているので、ハンズフリーでＡＲ表示のオン／オフが切替られるのは効果が大きい。

【0076】

ＡＲ表示の他の例は、図１８（ａ）に示すように支援画像でもよい。支援画像は同様な症状の他の患者に対する過去の手術例の画像でもよいし、当該患者に対する他の手術の際の画像でもよい。画像は静止画でも動画でもよい。このため、図示しないカメラにより、手術中の画像が撮影され、撮影画像がサーバ８８にアップロードされ、手術支援データベース１３０に格納される。また、ＡＲ表示の他の例は、図１８（ｂ）に示すように支援情報でもよい。支援情報は実施中の手術に関する種々のテキストデータである。

【0077】

支援情報の表示位置はバイタルデータウィンドウと同様に近くに設定される。しかし、支援画像の表示位置は手術中の患部（現実世界）と同じ約４０ｃｍの距離に設定してもよい。バイタルデータウィンドウや支援情報は手術中の患部と同時に見られることはないが、支援画像は患部と並べて比較されることが想定される。患部と支援画像を見比べる際に、表示位置が異なると、見比べる際に眼球の左右回転が必要になり、眼精疲労が生じる可能性がある。そのため、上述の説明とは異なり、支援画像は、図８のような眼球の状態の時に表示され、図１１のような輻輳が検出されるとオフされる。なお、支援画像の位置と手術中の患部（現実世界）とが微妙にずれている場合、見比べる際、眼動検出部７５が検出する輻輳角が微妙に変化する。表示コントローラ１１２がこの変化が小さくなるように支援画像の表示位置（左右画像の輻輳角）を調整すると、眼精疲労が生じる可能性をさらに低くすることができる。

【0078】

バイタルデータウィンドウから支援画像、支援情報への切り替えは、バイタルデータウィンドウのページ切替と同様に、眼動検出部７５による眼球の他の方向の回転に基づきユーザの意図により行われてもよい。

【0079】

上記の例ではＡＲ表示のオン／オフの切り替えに輻輳角の変化が用いられたが、検出した輻輳角が別の制御に使用され、ＡＲ表示のオン／オフの切り替えは別の眼動に基づいてもよい。例えば、複数回の目瞑りが検出されると、ＡＲ表示のオン／オフが切り替えられてもよい。そして、検出した輻輳角はＡＲ画像の表示位置の制御に使われてもよい。すなわち、ＡＲ画像の左右画像の間隔（画像の輻輳角と称することもある）は、ＡＲ画像の表示開始時の左右の眼球の視線方向の交点までの距離に基づいて調節される。画像の輻輳角は表示コントローラ１１２により調整される。これにより、ＡＲ表示を注視するために眼球を左右回転する必要が無いので、ＡＲ表示を見る際に眼精疲労が生じない。

【0080】

輻輳角の変化とＡＲ表示の制御の他の応用例を図１９を参照して説明する。この例は、倉庫でのピッキングの例であり、ピッキング作業時に作業者はメガネ型眼電位検出装置１００を着用する。

【0081】

処理部３０の構成は図１６と同じでよいので、図示は省略する。制御装置１２０の構成は、バイタルデータ、支援画像、支援情報がピックアップリストに変更されるだけで、他は同様であるので、図示は省略する。制御装置１２０の代わりに、図４に示す第１実施形態と同様に、スマートフォン等の携帯端末８４を用いてもよい。携帯端末８４は位置情報を取得してもよい。サーバ８８の構成も、手術支援データの代わりに倉庫内の棚の位置に関する地図情報や倉庫内の各棚の商品のリストや、ピックアップする商品のリストに変更されるだけで、他は同様であるので、図示は省略する。作業者毎のピックアップリストがサーバ８８から制御装置１２０にダウンロードされる。

【0082】

この応用例でも、最初は、ＡＲ表示はオフであり、メガネの右フレーム１２、左フレーム１４のディスプレイは何も表示しておらず、透明である。このため、作業者はメガネの右フレーム１２、左フレーム１４を通して図１９（ａ）に示すような倉庫内を注視する。制御装置１２０としての携帯端末８４が位置情報を取得できる場合、サーバ８８内の地図情報と、取得した位置情報に基づいて、各棚にある商品にエアタグがＡＲ表示されてもよい。この時、作業者は数ｍあるいは数１０ｍ以上先を見ている。

【0083】

作業者が遠くの目標物を見ている状態から図１１に示すように近くの目標物を見る状態になるように左右の眼球を、輻輳が生じる、いわゆる寄り目になるように、互いに反対の方向に左右回転し、眼動検出部７５は輻輳を検出する。

【0084】

輻輳の検出に応じて、処理部３０は、制御装置１２０に対して作業員がピックアップする商品を示すピックアップリストを要求し、表示コントローラ１１２に対してＡＲ表示を開始させる。ピックアップリストの例を図１９（ｂ）に示す。ピックアップリストの表示位置も近くに設定される。ピックアップリストを見ている状態から図８に示す遠くの倉庫内を見る状態になるように左右の眼球を回転すると、眼動検出部７５は輻輳を検出しなくなるので、表示コントローラ１１２に対してピックアップリストの表示を停止させる。

【0085】

ピックアップ作業も手術と同様手が離せない状況であるので、ＡＲ表示のオン／オフがハンズフリーで切り替えられることの効果は大きい。

【0086】

図１９ではエアタグは常時表示しているが、ユーザが遠くの目標物を見る時だけエアタグを表示し、近くの目標物を見る時はエアタグをオフしてもよい。例えば、作業者がビルのエレエータのメンテナンス作業に出かける際、訪問途中で目的のビルを探している時は、作業者は遠くの目標物を見ているので、ビルの名称、距離、作業目的等を含むエアタグが目的のビルに重ねて表示される。ここで、作業者が地図等を確認するために、手元を見ると、エアタグ表示はオフされてもよい。目的地に到着し、エレベータの前に来ると、作業者が点検する箇所を見ている時は点検個所にエアタグが表示される。作業者が手元を見ると、エアタグの代わりに作業マニュアル等がＡＲ表示される。この例は観光案内にも応用できる。例えば、観光地において風景を見ている時は、そのスポットに関するエアタグを表示し、手元を見る時はエアタグをオフして、代わりに詳細な観光ガイドを表示してもよい。

【0087】

輻輳の検出によるＡＲ表示の他の例としては、スポーツ観戦に供するＡＲグラスに眼電位検出装置を組み込むことが考えられる。試合の様子を様々なアングルで撮影しておき、リプレイ映像としてサーバに格納しておく。ＡＲグラスがネットワークを介してサーバに接続される。観戦者は、常時は、試合を注視しており、遠方の目標物を見ている。この時、ＡＲ表示はオフしている。野球場の外野席に居る観戦者はホームベース上のクロスプレーの拡大画像を見たい時は、寄り目となるように眼球を回転し、ＡＲ表示を開始させることができる。ＡＲ表示においては、サーバから種々のリプレイ画像がダウンロードされ表示される。これにより、観戦者は眼球の回転により瞬時にリプレイ画像を楽しむことができる。

【0088】

上記説明では、輻輳が検出されると、ＡＲ表示を開始し、輻輳が検出されなくなると、ＡＲ表示を停止したが、この逆でもよい。すなわち、輻輳が検出されない状態で、ＡＲ表示を行い、輻輳が検出されると、ＡＲ表示を停止してもよい。

【0089】

［第３実施形態］
輻輳検出の他の応用例としては、作業手順の確認がある。図２０はメガネ型眼電位検出装置を含む作業確認システムの電気的な構成の一例を示すブロック図である。作業確認にはＡＲ表示は必須ではないが、確認結果を作業者に直ぐに伝えるためにＡＲ表示を利用してもよい。処理部３０は図１６に示した第２実施形態と同じである。制御装置１２０の代わりに、図４に示す第１実施形態と同様に、スマートフォン等の携帯端末８４を用いてもよい。制御装置１２０は視線移動判別部１４８、視線移動パターンメモリ１４２を含む。視線移動判別部１４８は眼動検出部７５で検出された眼球回転の変化パターンから視線移動（視線方向右移動、視線方向左移動、視線方向交差（輻輳）を判別し、視線移動パターンを視線移動パターンメモリ１４２に格納する。視線移動パターンメモリ１４２のデータはネットワーク８６を介してサーバ８８にアップロードされる。

【0090】

サーバ８８は視線移動標準パターンメモリ１４４と作業手順判別部１４６を含む。作業の中には、作業固有の視線移動が要求される作業がある。例えば、鉄道業界においては、発車後の指差し確認においては、遠くの目標物と近くの目標物を所定の順序で確認することが求められている。また、橋、トンネル等の構造物の目視検査においても、目視すべき箇所が決まっているので、視線方向を所定のパターンで移動することが求められている。標準パターンメモリ１４４はこのように作業固有の視線方向移動の標準パターンを記憶している。作業手順判別部１４６は、制御装置１２０からアップロードされた作業者の視線移動パターンを標準パターンメモリ１４４内の視線移動標準パターンと比較し、作業者が正しく作業をしているか否かを判断できる。図示しないデータベースに作業者毎に記憶してもよい。判断結果の時間経過の変化により作業者の習熟度を推定できる。あるいは、作業手順判別部１４６が作業者が正しく作業をしていないと判断した場合、制御装置１２０を介して処理部３０の表示コントローラ１１２にその旨を通知し、ディスプレイ１０２、１０４に注意メッセージを表示させてもよい。

【0091】

視線移動の標準パターンの他の例として、自動車の運転に関するパターンがある。免許更新時の教習において、優良ドライバによる安全確認の様子がビデオで紹介されることがある。この際、単に見るだけではなく、実際に同じ安全確認を行った時の視線移動パターンを優良ドライバの視線移動パターンと比較して、安全確認の習熟度を判定してもよい。運送業においても、新人のドライバがベテランドライバの視線移動パターンと同じ視線移動パターンを覚えることにより、事故を減らすことができる。

【0092】

上記の説明はメガネに限らず、ゴーグルにも適用可能である。例えば、ノーズパッドの代わりにゴーグルの前面のフォームの一部に電極を設け、テンプルの代わりにベルトに電極を設けてもよい。

【0093】

［キャリブレーション］
眼電図では、輻輳角の具体的な角度は得られず、輻輳状態となる眼球の回転方向だけが得られる。そのため、上記の実施形態では輻輳が検出され、応用例では、輻輳角自体には関わらず、輻輳の検出か否かの二値的な状態に基づいて制御が行われている。しかし、距離が既知の複数の目標物が存在する場合には、複数の目標物を見て、複数の距離に対する眼電図を定期的に測定することにより、既知の複数の距離に対する眼電位の値を求めることができ、３つ以上の輻輳状態を識別することがでる。例えば、遠方の目標物を見ている時はＡＲ表示はオフで、中距離の目標物を見ている時は第１のＡＲ画像を表示させ、近距離の目標物を見ている時は第２のＡＲ画像を表示させてもよい。

【0094】

なお、電極の接触抵抗が変化（時間と共に低下）するため、距離に対する眼電位の絶対値は時間経過とともに変化し、長期的には距離の絶対値を保証できない。例えば、電極の使用開始直後は、接触抵抗が大きいので、眼電図の振幅が小さく、時間が経過すると抵抗が小さくなり、眼電図の振幅が大きくなる。しかし、定期的に距離に対する眼電位のキャリブレーションを行えば、眼電位の経時変化を推定でき、距離に対する眼電位の絶対値を保証することができる。例えば、手術やデスクワークなどの焦点距離が一定な作業や、作業工程的に、ある時点で既知の距離（レベル）の目標物を見ている事が保障される業務であれば、距離が既知の状態で定期的にキャリブレーションを行うことが可能である。

【0095】

さらに、人体の電位自体が変動することがあるが、これも定期的なキャリブレーションにより補償することができる。

【0096】

［実施形態の効果の纏め］
上述した実施形態によれば、右眼球の左右回転と左眼球の左右回転を独立して検出することができるので、左右眼球の視線方向の交差である輻輳を検出することができる。輻輳は無意識には発生ぜず、被検者の意識的な眼球回転により発生する。そのため、輻輳の検出に応じた制御を行うことにより、被検者の意図に応じたハンズフリー制御を行うことができる。例えば、ＡＲ表示を行うメガネ型ウェアラブル端末において、寄り目とすることによりＡＲ画像を表示開始させ、遠方の目標物を見ることによりＡＲ画像を表示終了させることができる。

【0097】

ＡＲ表示には単眼表示と両眼表示がある。本実施形態は単眼表示にも適用できるが、両眼表示の場合、左右眼球の輻輳の検出は効果がある。両眼によるＡＲ画像の３Ｄ表示では、左右の画像の間隔（これも輻輳角と称する）が任意に設定されるが、現実世界を見ている時の左右眼球の輻輳角と、ＡＲ画像の輻輳角が異なると、現実世界とＡＲ画像を見比べる際に、いちいち左右眼球の輻輳角を調整しなければならず、眼精疲労の原因となる。しかし、ＡＲ画像の左右の画像の輻輳角が左右眼球の輻輳角に一致するように設定されれば、このような輻輳角調整のための左右眼球の回転が不要となり、眼精疲労が生じない。

【0098】

作業中の眼球の回転の変化を検出し、その経時パターンを求め、これを標準パターンと比較することにより、作業内容を客観的に確認することできる。例えば、保守点検等の作業において、遠い目標物、近い目標物の確認が必要な場合、実際の作業中の輻輳を検出する事により、手順に従った作業をおこなっているかを確認できる。確認結果はアラームとして作業者に通知されてもよい。保守点検ではないが、鉄道の発車後の指差し確認にも実施形態は応用可能である。

【0099】

標準パターンとの比較は、作業内容の確認だけではなく、輻輳を伴う作業手順の習熟のためにも使用できる。例えば、免許更新時の教習において、優良ドライバによる安全確認の様子がビデオで紹介されることがある。この際、単に見るだけではなく、実際に同じ安全確認を行った時の視線移動パターンを優良ドライバの視線移動パターンと比較して、理想的な輻輳変化をより詳細に理解する事ができる。

【0100】

なお、眼球の左右回転は、右眼球と左眼球が互いに逆向きに回転する（輻輳）ことに限らず、右眼球と左眼球が同じ向きに回転する視線右移動、視線左移動も含み、これらを輻輳検出と組み合わせてハンズフリー制御を実行してもよい。また、眠気が増した状態で、輻輳状態の発生とともに発生する左右方向の視線右移動、視線左移動に基づき、眼球振盪の検出も可能である。これにより、眠気のある被検者に警告を発することもできる。さらに、眼球の水平方向の回転に限らず、上下方向の回転も検出し、眼球の水平方向、上下方向の回転とを組み合わせてハンズフリー制御を実行してもよい。

【0101】

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0102】

３２…右テンプル電極、３６…左テンプル電極、４２…右ノーズパッド電極、４４…左ノーズパッド電極、４６…中性電極、６２，６４，６６…Ａ／Ｄコンバータ、７５…眼動検出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】