IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧

<>
  • 特開-ウェアラブル機器及び表示方法 図1
  • 特開-ウェアラブル機器及び表示方法 図2
  • 特開-ウェアラブル機器及び表示方法 図3
  • 特開-ウェアラブル機器及び表示方法 図4
  • 特開-ウェアラブル機器及び表示方法 図5
  • 特開-ウェアラブル機器及び表示方法 図6
  • 特開-ウェアラブル機器及び表示方法 図7
  • 特開-ウェアラブル機器及び表示方法 図8
  • 特開-ウェアラブル機器及び表示方法 図9
  • 特開-ウェアラブル機器及び表示方法 図10
  • 特開-ウェアラブル機器及び表示方法 図11
  • 特開-ウェアラブル機器及び表示方法 図12
  • 特開-ウェアラブル機器及び表示方法 図13
  • 特開-ウェアラブル機器及び表示方法 図14
  • 特開-ウェアラブル機器及び表示方法 図15
  • 特開-ウェアラブル機器及び表示方法 図16
  • 特開-ウェアラブル機器及び表示方法 図17
  • 特開-ウェアラブル機器及び表示方法 図18
  • 特開-ウェアラブル機器及び表示方法 図19
  • 特開-ウェアラブル機器及び表示方法 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023174820
(43)【公開日】2023-12-08
(54)【発明の名称】ウェアラブル機器及び表示方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20231201BHJP
   G06F 3/038 20130101ALI20231201BHJP
【FI】
G06F3/01 510
G06F3/038 310A
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2023178576
(22)【出願日】2023-10-17
(62)【分割の表示】P 2022123349の分割
【原出願日】2016-03-04
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】古牧 広昭
【テーマコード(参考)】
5B087
5E555
【Fターム(参考)】
5B087BC05
5B087BC32
5E555AA11
5E555AA64
5E555BA38
5E555BB38
5E555BC17
5E555BE17
5E555CA42
5E555CA44
5E555CB65
5E555DA08
5E555DA09
5E555DB41
5E555FA00
(57)【要約】
【課題】視線の動きによって表示内容を変化させるウェアラブル機器及び表示方法を提供すること。
【解決手段】一実施の形態に係るウェアラブル機器は、拡張現実画像を表示する表示部と、頭部の動きを検出する第1検出部と、ユーザの視線の動きを検出する第2検出部と、前記第1検出部により検出された前記頭部の動きと前記第2検出部により検出された前記視線の動きとを比較し、前記頭部の動きと前記視線の動きが同相で変化する状態から逆相で変化する状態への変化、又は前記頭部の動きと前記視線の動きが逆相で変化する状態から同相で変化する状態への変化を検出すると、前記拡張現実画像を前記表示部で表示させる制御部と、を具備する。
【選択図】図17
【特許請求の範囲】
【請求項1】
複数の情報項目を含む拡張現実画像を表示する表示部と、
ユーザの視線の動きの種類を検出する検出部と、
前記検出部により検出された前記視線の動きの種類が第1種類である場合、前記複数の情報項目の中の前記視線の先にある情報項目を選択し、前記検出部により検出された前記視線の動きの種類が第2種類である場合、前記選択された情報項目に対する処理の実行を開始させる処理部と、
を具備するウェアラブル機器。
【請求項2】
前記第1種類の視線の動きは上下動、左右同、瞬目及び目瞑りの中の1つであり、前記第2種類の視線の動きは上下動、左右同、瞬目及び目瞑りの中の他の1つである、請求項1記載のウェアラブル機器。
【請求項3】
複数の情報項目を含む拡張現実画像を表示する表示部と、
ユーザの視線の動きを検出する検出部と、
を具備するウェアラブル機器の表示方法であって、
前記検出部により検出された前記視線の動きの種類が第1種類である場合、前記複数の情報項目の中の前記視線の先にある情報項目を選択し、
前記検出部により検出された前記視線の動きの種類が第2種類である場合、前記選択された情報項目に対する処理の実行を開始させる、表示方法。
【請求項4】
前記第1種類の視線の動きは上下動、左右同、瞬目及び目瞑りの中の1つであり、前記第2種類の視線の動きは上下動、左右同、瞬目及び目瞑りの中の他の1つである、請求項3記載の表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、ウェアラブル機器及び表示方法に関する。
【背景技術】
【0002】
通常、人が前方を見つつ歩行する際は、その人の頭は上下左右に揺れているが、その人には周りの景色がはっきり見えている。これは、歩行時における頭部の動揺が身体の他の部分よりも小さい範囲(視線の遠近によらず振幅2~3cm位)に抑えられ、その小さい範囲内で頭部と眼球が視線の安定を保つように協調的に動いているためである(非特許文献1参照)。この非特許文献1は、「歩行時には頭部が上下左右に動揺し、この動揺に対する視線安定化の動作として頭部の回転および眼球の補償回転が発生する」ことを教示している。
【0003】
眼電位センシング技術に関しては、人の眼球運動による眼電に基づいてその人の視線位置を検出する公知例1がある(特許文献1参照)。この公知例1では、眼電検出(眼電位センシング)にEOG(Electro-Oculography)電極を用い、EOG電極から取得した眼電データよりユーザの視線位置を検出している(段落0025)。公知例1の実施形態ではEOG電極をゴーグルに設けているが(段落0061)、EOG用の電極をメガネに設けた公知例2もある(特許文献2参照)。ゴーグルやメガネは、人の眼球付近に装着されるアイウェアの一種である。アイウェアを装着したユーザが歩行すると、アイウェアも頭部と一緒に動揺する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009-288529号公報
【特許文献2】特開2013-244370号公報
【非特許文献】
【0005】
【非特許文献1】歩行中の視線安定を維持する頭部運動と眼球運動論文 2000-03 矢崎、鋭矢 大阪大学大学院人間科学研究科記要.26 P.177-P.193http://ir.library.osaka-u.ac.jp/dspace/bitstream/11094/5672/1/hs26-177.pdf
【発明の概要】
【発明が解決しようとする課題】
【0006】
静止した着座状態(EOG電極付アイウェアを装着したユーザの頭部に外乱となる動きが混入しない状態)では、眼電位センシングによって視線/眼球回転を安定して検出できる。しかし、歩行状態(EOG電極付アイウェアを装着したユーザの頭部に上下左右の揺れが発生する状態)において現実世界の固定物を注視した場合には、着座状態と比べて目的の視線/眼球回転を検出するのが困難となる。その理由は、人体の持つ視線安定化のための補完動作として眼球回転が無意識に行われており、眼電位センシング結果にもこの無意識な眼球回転の信号成分が(ノイズあるいは外乱として)重畳するためである。
【0007】
すなわち、EOG電極付アイウェアを装着したユーザが歩行すると、ユーザが視線を前方の特定物に固定していても、歩行に伴う頭部の動揺によって、EOG電極から取得した眼電データも変動する。この眼電データの変動分は、実際の視線に対応した眼電データに対して、ノイズ(外乱)となる。
【0008】
この発明の実施形態により解決しようとする課題の1つは、視線の動きによって表示内容を変化させるウェアラブル機器及び表示方法を提供することである。
【課題を解決するための手段】
【0009】
実施形態によるウェアラブル機器は、複数の情報項目を含む拡張現実画像を表示する表示部と、ユーザの視線の動きの種類を検出する検出部と、前記検出部により検出された前記視線の動きの種類が第1種類である場合、前記複数の情報項目の中の前記視線の先にある情報項目を選択し、前記検出部により検出された前記視線の動きの種類が第2種類である場合、前記選択された情報項目に対する処理の実行を開始させる処理部と、を具備する。
【図面の簡単な説明】
【0010】
図1】前方を見ながら歩行中の人の頭部動揺(上下左右動による位置変化)を説明する図。
図2】歩行中に前方の固定物を注視している人の頭部動揺(前屈/後屈による角度変化)を説明する図。
図3】頭部が縦方向に前後屈変化をした場合の、視標距離(眼から注視対象までの距離)と眼球運動との関係を説明する図。
図4】頭部前後屈の角度変化/速度変化と眼動の角度変化/速度変化との間の位相関係を例示する図。
図5】一実施の形態に係る眼球運動検出装置が組み込まれたメガネ型アイウェアを説明する図(EOG電極がノーズパッドに配置された例)。
図6】一実施の形態に係るメガネ型アイウェアにおけるEOG電極の実装例を説明する図。
図7】種々な実施の形態に取り付け可能な情報処理部11と、その周辺デバイスとの関係を説明する図。
図8】例えば25m先にある現実世界の固定物を注視しながら、右足から歩き始めて13歩目の右足で止まった場合の、EOG波形の一例を示す図。
図9図8と同じ条件で、再び右足から歩き始めて13歩目の右足で止まった場合の、EOG波形の他例(反復再現性の確認)を示す図。
図10】頭部の動揺に起因するノイズが打ち消された場合において、正面から上方への眼動と、図6に示す3つのアナログ/デジタルコンバータ(ADC)から得られる検出信号レベル(Ch0、Ch1、Ch2、およびCh1とCh2の平均レベルCh1+2)との関係を例示する眼電図(EOG)。
図11】頭部の動揺に起因するノイズが打ち消された場合において、正面から下方への眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2、およびCh1+2)との関係を例示する眼電図。
図12】頭部の動揺に起因するノイズが打ち消された場合において、左から右への眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2、およびCh1+2)との関係を例示する眼電図。
図13】頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、瞬き(両目)を5秒間隔で5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図。
図14】頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、1秒の眼瞑り(両目)と4秒の眼開き(両目)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図。
図15】頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを5回反復した直後に左目のウインク(左側片目の瞬き)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図。
図16】頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを5回反復した直後に右目のウインク(右側片目の瞬き)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図。
図17】頭部の動揺に起因するノイズを最小化する処理(ノイズ打ち消し処理)の一例を説明するフローチャート。
図18】他の実施形態に係るメガネ型アイウェアにおけるEOG電極の実装例を説明する図(EOG電極が眼球周辺に配置された例)。
図19】さらに他の実施形態に係るゴーグル型アイウェア(左右両眼のアイフレームが連続したタイプ)におけるEOG電極の実装例を説明する図(EOG電極が眼球周辺に配置された他の例)。
図20】さらに他の実施形態に係るゴーグル型アイウェア(左右両眼のアイカップが分離したタイプ)におけるEOG電極の実装例を説明する図(EOG電極が眼球周辺に配置されたさらに他の例)。
【発明を実施するための形態】
【0011】
以下、初めに基礎的な情報を提供し、続いて、図面を参照しながら種々な実施形態を説明する。
<基礎情報>
成人の眼球の直径は約25mm。生後は17mm程度で、成長に伴い大きくなる。
成人男性の瞳孔間距離は約65mm。(一般市販のステレオカメラは65mmの間隔で作られている物が多い。)
成人女性の瞳孔間距離は男性に比べて数mm短い。
眼電位は数十mV。
眼球は角膜側にプラス、網膜側にマイナスの電位を持つ。これを皮膚の表面で測定すると数百μVの電位差として現れる。
【0012】
なお、眼動検出に関係する眼球運動の種類および眼球の移動範囲としては、例えば以下のものがある:
<眼球運動(眼動)の種類>
(01)補償性眼球運動
頭や身体の動きにかかわらず、外界の像を網膜上で安定させるために発達した、非随意的な眼球運動。
(02)随意性眼球運動
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。
(03)衝撃性眼球運動(サッケード)
物を見ようとして注視点を変えるときに発生する眼球運動(検出し易い)。
(04)滑動性眼球運動
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動(検出し難い)。

<眼球の移動範囲(一般的な成人の場合)>
(11)水平方向
左方向: 50°以下
右方向: 50°以下
(12)垂直方向
下方向: 50°以下
上方向: 30°以下(自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。(閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトする。)
(13)その他
輻輳角: 20°以下。
<歩行に伴う頭部の動きについて(図1図2の出典は非特許文献1)>
図1は、前方を見ながら歩行中の人の頭部動揺(上下左右動による位置変化)を説明する図である。歩行時の下肢の動きによって、人の頭部は上下に位置変化する(図1(a))。一般的な大人の歩行周期(1歩行サイクル)は、例えば0.6秒位になる。同時に、この歩行において、人の頭部は左右にも位置変化する(図1(b))。この左右位置変化の周期は、歩行周期の2倍の1.2秒位になる。上下の位置変化幅および左右の位置変化幅は、それぞれ2~3cm位ある。この上下左右動は略リニアで規則性があり、歩行周期と密接に関連した周期を持つ。
【0013】
図2は、歩行中に前方の固定物を注視している人の頭部動揺(前屈/後屈による角度変化)を説明する図である。前方の目視対象(視標)を注視している人が歩行を開始すると、歩行に伴い頭部が上下に位置変化する(図2(a))。視標を注視している間、頭部が上位置にきたときはその頭部は前屈(ピッチダウン)し、頭部が下位置にきたときはその頭部は後屈(ピッチアップ)する(図2(b))。このような前後屈(頭部の縦方向回転運動)が、1歩行サイクル中に、頭部の上下動に対応(同期)して起きる。同様に、頭部が左右に位置変化した場合(図1(b))は、頭部に左右方向の回転運動(頭部の上下動に同期)が起きる。
【0014】
すなわち、歩行中、人の頭部は上下左右の動きを代償するような回転運動を行っており、視線が前方の目視対象(視標)を捉えるのを助けるように頭部は高低位置で前後屈する。左右に対しても同様で、歩行に伴い身体が左右に揺れて頭部が左右に動くと、頭部は左右に回旋(往復回転)する。こうした頭部の回転は「代償的回転: Compensatory Rotation」と呼ばれ、視線の安定を助けていると考えられている。
【0015】
また、歩行中に人の体幹は前後左右に回転するため、頭部はこれらをも代償する必要がある。この体幹の変化に対して頭部を逆方向に回転させる事で、頭部の角度位置を水平に保っている。
<歩行に伴う眼球の動きについて(図3図4の出典は非特許文献1)>
図3は、頭部が縦方向に前後屈変化をした場合の、視標距離(眼から注視対象までの距離)と眼球運動との関係を説明する図である。ここでは、頭部を固定した場合の視標位置をHFPとし、実際の視標がHFPよりも近い場合(Near Target)と遠い場合(Far Target)について、頭部の前後屈回転角(φh)と眼球の代償回転角(φen、φef)を例示している。
【0016】
前述したように、頭部は代償的回転を行うが、それだけでは視線安定化を完全に達成できない。頭部は上下動を代償して回転する際に過不足を起こすことがままある。この代償回転の過不足によるズレを補うために、歩行中には周期的な眼球の補償回転が必要となる。例えば、30cm先の近い視標(Near Target)に対しては、眼球は頭部の回旋/回転(φh)と同方向の代償回転(φen)を行う。これにより頭部の回旋/回転が不十分でも眼球は頭部と動方向に協調回転して頭部の回旋不足を補う。一方、例えば100m先の遠い視標(Far Target)に対しては、眼球は頭部の回旋/回転(φh)と逆方向の代償回転(φef)を行う。これにより頭部の回旋/回転が過度となっても眼球は逆方向に回転して、頭部回旋の過度分を打ち消す。(なお、視標が近くても遠くても、歩行時の頭部の移動量に実質的な差はない。)
図4は、頭部前後屈の角度変化/速度変化と眼動の角度変化/速度変化との間の位相関係を例示する図である。図3に示す頭部の前後屈の角度(φh)は、アイウェアに取り付けられた3軸ジャイロ(図7の11e)によって検出できる。また図3に示す眼球の回転角度(φen、φef)は、眼球のEOGを利用した眼動検出部(図7の15)によって検出できる。
【0017】
歩行にともなう頭部の上下動変化(縦方向の前後屈変化)は、視標が近い(Near Target)場合は眼球回転の変化と同相で変化する(図4(a))。一方、視標が遠い(Far Target)場合は、頭部の上下動変化(縦方向の前後屈変化)は眼球回転の変化と逆相で変化する(図4(b))。視標が図3の固定位置HFPにあるときは、眼球回転はなくなり、図4(a)(b)に示す破線の波形変化は極小(図示上では略水平)になる(この極小ポイントを境にして、頭部の縦方向の前後屈変化と眼球回転の変化との間の位相が反転する)。同様な位相反転は、頭部上下動の速度変化および眼球回転の速度変化の間でも見られる(図4(c)(d))。
【0018】
いま、上記「歩行にともなう頭部の上下動変化」に起因してEOGに生じる信号変化を「体動ノイズ」と呼ぶことにする。歩行行為は加速度センサやジャイロセンサで検出可能であり、眼動行為はEOGから検出可能である。すると、「歩行中」かつ「眼動行為無し」が検出されている際に、EOGに体動ノイズが現れない場合には、「アイウェアのユーザは視標の距離によって体動ノイズが位相反転するポイント(図3の位置HFPに対応)を注視している」ことが示される。
【0019】
図5は、一実施の形態に係る眼球運動検出装置が組み込まれたメガネ型アイウェア100を説明する図(EOG電極がノーズパッドに配置された例)である。この実施形態では、右アイフレーム(右リム)101と左アイフレーム(左リム)102がブリッジ103連結されている。左右アイフレーム102、101およびブリッジ103は、例えばアルミ合金、チタンなどで構成できる。左アイフレーム102の左外側は左ヒンジ104を介して左テンプルバー106に繋がり、左テンプルバー106の先端に左モダン(左イヤーパッド)108が設けられている。同様に、右アイフレーム101の右外側は右ヒンジ105を介して右テンプルバー107に繋がり、右テンプルバー107の先端に右モダン(右イヤーパッド)109が設けられている。
【0020】
ブリッジ103には、眼球運動検出装置の主要部となる情報処理部11(数ミリ角の集積回路)が取り付けられている。この情報処理部11は、マイクロコンピュータ、メモリ、通信処理部などを集積したLSIにより構成できる(情報処理部11の詳細については、図7を参照して後述する)。
【0021】
リチウムイオン電池などの小型電池(BAT)が、例えば左テンプルバー106内(あるいは右テンプルバー107内、もしくはモダン108または109内)に埋め込まれ、メガネ型アイウェア100の動作に必要な電源となっている。左ヒンジ104寄りの左アイフレーム102端部には、左カメラ13Lが取り付けられ、右ヒンジ105寄りの右アイフレーム101端部には、右カメラ13Rが取り付けられている。これらのカメラは、超小型のCCDイメージセンサを用いて構成できる。
【0022】
これらのカメラ(13L、13R)は、ステレオカメラを構成するものでもよい。あるいはこれらのカメラの位置に赤外線カメラ(13R)とレーザー(13L)を配置し、赤外線カメラ+レーザーによる距離センサを構成してもよい。この距離センサは、超音波を集音する小型半導体マイク(13R)と超音波を放射する小型圧電スピーカー(13L)などで構成することもできる。
【0023】
なお、左右カメラ13L/13Rの代わりに、あるいは左右カメラ13L/13Rに加えて、ブリッジ103部分に図示しない中央カメラを設ける実施形態も考えられる。逆に、カメラを全く装備しない実施形態もあり得る(これらのカメラは、図7ではカメラ13として示されている)。
【0024】
左アイフレーム102には左ディスプレイ12Lがはめ込まれ、右アイフレーム101には右ディスプレイ12Rがはめ込まれている。このディスプレイは、左右のアイフレームの少なくとも一方に設けられ、フィルム液晶などを用いて構成できる。具体的には、偏光板を用いないポリマー分散型液晶(PDLC)を採用したフィルム液晶表示デバイスを用いて、左右のディスプレイ12L、12Rの一方または両方を構成できる(このディスプレイは、図7ではディスプレイ12として示されている)。
【0025】
フィルム液晶を利用した透明な左右ディスプレイ12L/12Rは、メガネを通して見える現実の世界に数字や文字などの画像情報を付加させる拡張現実(AR:Augmented Reality)を提供する手段として、利用できる。
左右のアイフレーム102、101の間であって、ブリッジ103の下側には、ノーズパッド部が設けられる。このノーズパッド部は、左ノーズパッド150Lと右ノーズパッド150Rのペアで構成される。右ノーズパッド150Rには右ノーズパッド電極151a,151bが設けられ、左ノーズパッド150Lには左ノーズパッド電極152a,152bが設けられている。
【0026】
これらの電極151a,151b,152a,152bは互いに電気的に分離され、絶縁された配線材(図示せず)を介して、3つのADコンバータ(ADC1510、1520、1512)に接続される。これらのADCからの出力は、アイウェア100を装着したユーザの眼の動きに応じて異なる信号波形を持ち、ユーザの眼動に応じたデジタルデータとして、情報処理部11に供給される。電極151a,151b,152a,152bは、視線検出センサとして用いられ、3つのADコンバータとともに図7の眼動検出部15の構成要素となっている。
【0027】
アイウェア100は、左右のノーズパッド(150L、150R)と左右のテンプルバー(106、107)と左右のモダン(108、109)によって、図示しないユーザの頭部に固定される。この実施形態では、ユーザの頭部(または顔面)に直接触れるのは、左右のノーズパッド(150L、150R)と左右のテンプルバー(106、107)と左右のモダン(108、109)だけでよいが、ADC(1510、1520、1512)とユーザのボディとの間の電圧合わせなどのために、それら(ノーズパッド、テンプルバー、モダン)以外の部分がユーザに触れる実施形態があってもよい。
【0028】
図5の右ディスプレイ12Rのフィルム液晶には、例えばテンキー(数字、演算子、Enter、他)、アルファベット、所定形状のマーク、その他のアイコン群を含む右表示画像IM1を表示できる。また、左ディスプレイ12Lのフィルム液晶には、例えば任意の文字列、任意形状のマーク、種々なアイコンなどを含む左表示画像IM2を表示できる(ディスプレイ12L、12Rの表示内容は、何でも良い)。右ディスプレイ12R(または左ディスプレイ12L)に表示されるテンキーやアルファベットは、数字や文字を入力する際に利用できる。右ディスプレイ12R(または左ディスプレイ12L)に表示される文字列、マーク、アイコン等は、特定の情報項目を探したり、目的の項目の選択/決定したり、ユーザに注意喚起をする際に利用できる。
【0029】
表示画像IM1、IM2は、メガネを通して見える現実の世界に数字、文字、マークなどの情報を付加させる拡張現実(AR)の表示手段として利用でき、このAR表示は適宜オンオフできる。表示画像IM1の内容と表示画像IM2は、実施形態に応じて、同じ内容(IM1=IM2)としても、異なる内容(IM1≠IM2)としてもよい。また、表示画像IM1(またはIM2)の表示は、右ディスプレイ12Rおよび/または左ディスプレイ12で行うことができる。AR表示の内容を、メガネ越しに見える現実世界に重なる(奥行きを伴った)3D画像としたいときは、IM1とIM2を左右別々の3D用画像とすることができる。
【0030】
また、ディスプレイ(12R、12L)が左右に存在する場合、例えば輻輳角を調整して、左右の表示画像(IM1、IM2)の映像を左右で逆方向にずらすこともできる。これにより、現実世界で見える対象物とAR表示を交互に見る場合の目の負担を減らすことが考えられる。しかし、通常は、左右のディスプレイ(12R、12L)で同じ内容の画像を表示する。
【0031】
ディスプレイ12L、12Rでの表示制御は、右テンプルバー107に埋め込まれた情報処理部11で行うことができる。(ディスプレイで文字、マーク、アイコンなどを表示する技術は周知。)情報制御部11その他の動作に必要な電源は、左テンプルバー106に埋め込まれた電池BATから得ることができる。
【0032】
なお、実施形態に対応するアイウェア100の試作品をデザイナーや設計者が装着してみて重量バランスが悪いと感じる可能性がある。その主因が左テンプルバー106内のBATにあるならば、右テンプルバー107内に左テンプルバー106内のBATに見合った「おもり(または別の同重量バッテリ)」を入れておくことができる。
【0033】
図6は、一実施の形態に係るメガネ型アイウェア100におけるEOG電極の実装例を説明する図である。右ノーズパッド150Rの上下には右ノーズパッド電極151a,151bが設けられ、左ノーズパッド150Lの上下には左ノーズパッド電極152a,152bが設けられている。右ノーズパッド電極151a,151bの出力はADC1510に与えられ、左ノーズパッド電極152a,152bの出力はADC1520に与えられ、左右ノーズパッドの下側電極151b,152b(または上側電極151a,152a)の出力はADC1512に与えられる。
【0034】
ADC1510からは、ユーザの右側上下眼動に対応して変化するCh1信号が得られる。ADC1520からは、ユーザの左側上下眼動に対応して変化するCh2信号が得られる。ADC1512からは、ユーザの左右眼動に対応して変化するCh0信号が得られる。左右両眼の上下動については、ADC1510およびADC1520の出力の平均に対応するCh1+2信号で評価できる。(Ch0,Ch1,Ch2,Ch1+2の信号波形と眼動との関係については、後述する。)
図7は、種々な実施の形態に取り付け可能な情報処理部11と、その周辺デバイスとの関係を説明する図である。図7の例では、情報処理部11は、プロセッサ11a、不揮発性メモリ11b、メインメモリ11c、通信処理部11d、センサ部11eなどで構成されている。プロセッサ11aは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ11bに格納しておくことができる。プログラムを実行する際のワークエリアはメインメモリ11cが提供する。
【0035】
センサ部11eは、アイウェア100(あるいはこのアイウェアを装着したユーザの頭部)の位置および/またはその向きを検出するためのセンサ群を含んでいる。これらのセンサ群の具体例としては、3軸方向(x-y-z方向)の移動を検出する加速度センサ、3軸方向の回転を検出するジャイロ、絶対方位を検出する地磁気センサ(羅針盤機能)、電波や赤外線などを受信して位置情報その他を得るビーコンセンサがある。この位置情報その他の獲得には、iBeacon(登録商標)あるいはBluetooth(登録商標)4.0を利用できる。
【0036】
情報処理部11に利用可能なLSIは、製品化されている。その一例として、東芝セミコンダクター&ストレージ社の「ウエアラブル端末向けTZ1000シリーズ」がある。このシリーズのうち、製品名「TZ1011MBG」は、CPU(11a、11c)、フラッシュメモリ(11b)、Bluetooth Low Energy(登録商標)(11d)、センサ群(加速度センサ、ジャイロ、地磁気センサ)(11e)、24ビットデルタシグマADC、I/O(USB他)を持つ。
【0037】
この情報処理部11は、加速度センサ、ジャイロセンサなどのセンサ部11eとEOG電極(151a,151b,152a,152b)との相対位置関係が崩れない場所の一例として、ブリッジ103に取り付けられている。
プロセッサ11aで何をするかは、通信処理部11dを介して、図示しない外部サーバ(またはパーソナルコンピュータ)から、指令することができる。通信処理部11dでは、ZigBee(登録商標)、Bluetooth、Wi-Fi(登録商標)などの既存通信方式を利用できる。プロセッサ11aでの処理結果は、通信処理部11dを介して、図示しないサーバなどへ送ることができる。
【0038】
情報処理部11のシステムバスには、ディスプレイ12(12Lと12R)、カメラ13(13Lと13R)、眼動検出部15等が接続されている。図7の各デバイス(11~15)は、バッテリBATにより給電される。
なお、通信処理部11dには、携帯電話やスマートフォンなどで周知のGPS(Global Positioning System)機能を組み込んでも良い(あるいはGPS付き携帯電話機能をアイウェア100の何処かに仕込んでもよい)。このGPS機能を利用したインターネットの地図サービスアプリをプロセッサ11aで実行すれば、アイウェア100を装着したユーザが今現在どの場所でどの方向を見ながら歩いているのかを、歩行時の眼球補償回転に起因するノイズを抑えて、検出できる。(従来の携帯電話GPSではユーザの現在位置を地図画面上に表示できても、そのユーザの視線が何処を向いているかまでは表示できていない。)
図7の眼動検出部15は、視線検出センサを構成する4つの眼動検出電極(151a,151b,152a,152b)と、これらの電極から眼動に対応したデジタル信号を取り出す3つのADC(1510、1520、1512)と、これらADCからの出力データをプロセッサ11a側に出力する回路を含んでいる。プロセッサ11aは、ユーザの種々な眼動(上下動、左右動、瞬目、眼瞑りなど)から、その眼動の種類に対応する指令を解釈し、その指令を実行することができる。
【0039】
眼動の種類に対応する指令の具体例としては、眼動が例えば眼瞑りなら視線の先にある情報項目を選択し(コンピュータマウスのワンクリックに類似)、連続した複数回の瞬目あるいはウインクなら選択された情報項目に対する処理の実行を開始させる(コンピュータマウスのダブルクリックに類似)指令がある。この指令は、眼動検出部15を用いた情報入力Bの一例である。
【0040】
図8は、例えば25m先にある現実世界の固定物を注視しながら、右足から歩き始めて13歩目の右足で止まった場合の、EOG波形の一例を示す図である。歩行に伴う頭部の上下動に対応する眼球の補償回転は、Ch1およびCh2のADC検出信号レベル変化(EOG変化)に表れている。このEOG変化に同期した頭部の上下動変化は、情報処理部11のセンサ部11eが持つ3軸加速度センサで検出できる。また、歩行に伴う頭部の左右回転に対応する眼球の補償回転は、Ch0のADC検出信号レベル変化(EOG変化)に表れている。このEOG変化に同期した頭部の左右回転変化は、情報処理部11のセンサ部11eが持つ3軸ジャイロセンサで検出できる。
【0041】
図8の例では、Ch1およびCh2のEOG変動周期(約0.6秒)は歩行ピッチに同期しており、Ch0のEOG変動周期(約1.2秒)は歩行ピッチの2倍に同期している。歩行に伴う頭部の上下動および左右回転に対応したEOG変動周期ははっきりしているので、歩行ピッチに同期した周期(この例では約0.6秒とその2倍)で、歩行に起因するEOG変動を検出できる。
【0042】
図9は、図8と同じ条件で、再び右足から歩き始めて13歩目の右足で止まった場合の、EOG波形の他例(反復再現性の確認)を示す図である。図9の例でも、Ch1およびCh2のEOG変動周期(約0.6秒)は歩行ピッチに同期しており、Ch0のEOG変動周期(約1.2秒)は歩行ピッチの2倍に同期している。歩行に伴う頭部の上下動および左右回転に対応したEOG変動周期はやはり明確に認められ、歩行ピッチに同期した周期(この例でも約0.6秒とその2倍)でもって、歩行に起因するEOG変動を検出できることがわかる。
【0043】
図8および図9には以下の特徴が共通して認められ、事象の再現性があることが確認できる:
(1)歩行の周期(約0.6秒)に合わせて上下方向の眼球回転運動が確認できる(Ch1とCh2のEOG検出信号レベル参照)。
(2)歩行周期の2倍の周期(約1.2秒)に合わせて左右方向の眼球回転運動が確認できる(Ch0のEOG検出信号レベル参照)。
【0044】
(3)歩行に伴う頭部の動揺に起因したEOG検出信号の振幅は、200μV~400μVに達している場所がある。頭部が静止した状態で測定されるEOG信号振幅は、通常は約1mV程度なので、任意の眼球回転を検出する場合には、200μV~400μVは無視できない大きさのノイズとなってしまう。このノイズは、以下に述べるように、打ち消す(低減または排除する)ことが可能である。
【0045】
すなわち、歩行に伴う頭部の上下動を歩行ピッチに同期した周期(この例では約0.6秒)で加速度センサにより検出でき、歩行に伴う頭部の左右回転を歩行ピッチに同期した別の周期(この例では約1.2秒)でジャイロセンサにより検出できる。そうすると、歩行に伴う頭部の上下動(動揺)に起因するEOG変動(ノイズとみなす)は加速度センサの検出結果によって打ち消す(低減または排除する)ことが可能となり、歩行に伴う頭部の左右回転(動揺)に起因するEOG変動(ノイズとみなす)はジャイロセンサの検出結果によって打ち消す(低減または排除する)ことが可能となる(この打ち消しの具体例は図17を参照して後述する)。
【0046】
図10は、頭部の動揺に起因するノイズが打ち消された場合において、正面から上方への眼動と、図6に示す3つのアナログ/デジタルコンバータ(ADC)から得られる検出信号レベル(Ch0、Ch1、Ch2、およびCh1とCh2の平均レベルCh1+2)との関係を例示する眼電図(EOG)である。眼動検出は、図中の破線枠内の検出信号波形に基づいて行う。検出の基準は、アイウェア100を装着したユーザが真正面を見ており眼動がない場合とする(頭部の動揺に起因するノイズが打ち消されていれば、図6に示す3つのADCからの出力信号波形Ch0~Ch2は、瞬きなしで真正面を見ている区間では、略平坦で時間経過に伴う変化は殆どない)。ユーザの左右両眼の視線が正面を向いた状態で、両眼の視線を瞬時に上へ動かし、視線を上に向けた状態を1秒維持し、そのあと瞬時に視線を正面に戻す。これを5回繰り返したときの検出信号レベルの変化が、図10に例示されている。
【0047】
図11は、図10と同様な眼動検出を、視線が正面から下向きに動く場合について、例示している。頭部の動揺に起因するノイズが打ち消されておれば、例え歩行中であっても、図10および図11の波形変化から、視線が正面を向いている場合を基準として、視線が上にあるのか下にあるのかを、検出できる。
【0048】
図12は、頭部の動揺に起因するノイズが打ち消された場合において、左から右への眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2、およびCh1+2)との関係を例示する眼電図である。左から右への眼動があると、Ch0の検出信号波形の経時変化が、右肩上がりになる(図示しないが、右から左への眼動があると、Ch0の検出信号波形の経時変化は、右肩下がりになる)。このようなCh0の波形変化から、視線が正面を向いている場合を基準として、視線が右にあるのか左にあるのかを、検出できる。
【0049】
図10図12の検出結果を総合すれば、次のことが分かる。すなわち、頭部の動揺に起因するノイズが打ち消されておれば、例え歩行中であっても、視線が正面を向いている場合を基準として、視線が上下左右のどちらを向いているのかが分かる。
図13は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、瞬き/瞬目(両目)を5秒間隔で5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。両目の瞬き/瞬目は、Ch1およびCh2に表れるパルスにより検出できる。ユーザが無意識に行う瞬きは周期性がないことが多い。そのため、図13に示すように一定間隔の複数パルスを検出することにより、ユーザの意図的な瞬き/瞬目を検知できる。
【0050】
なお、人の「瞬き/瞬目」動作の時間あるいは「瞬き/瞬目」で視界が遮られる時間は、一説によれば300msec程度(他説によれば100msec~150msec程度)とされている。どちらの場合であっても、歩行ピッチ周期を下回るハイパスフィルタ(またはバンドパスフィルタ)によって、「瞬き/瞬目」による信号成分は取り除くことができる。瞬き/瞬目の間隔(例えば約300msec)は通常歩行のピッチ(約600msec)とは異なり、また意図的でない瞬き/瞬目の間隔は通常の歩行ピッチと同期しない。そのため、通常歩行に伴う頭部動揺に起因したEOGノイズを打ち消す際に、瞬き/瞬目によるEOG波形変化が全て打ち消されてしまうことはない。
【0051】
図14は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、1秒の眼瞑り(両目)と4秒の眼開き(両目)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。両目の眼瞑りは、Ch1およびCh2に表れる幅広パルスにより検出できる(意図的に眼を瞑っている時間は瞬き/瞬目で眼を閉じる時間よりも長いため、検出されるパルス幅が広くなる)。図14に例示されるようなCh1およびCh2の幅広パルスを検出することにより、ユーザの意図的な眼瞑りを検知できる。
【0052】
なお、図示しないが、ユーザが右目だけ瞑ったときはCh1に振幅の大きな幅広パルスが表れ、ユーザが左目だけ瞑ったときはCh2に振幅の大きな幅広パルスが表れる。このことから、左右別々に眼瞑りを検出することもできる。
片目だけを瞑った場合には、Ch0に左右で逆相となる小さな波が現れる。Ch0で見ると、以下のような小さな凹凸波形が現れる。
【0053】
・右眼を瞑ると、-電極のプラス電位が減少するため凸波形;
・左眼を瞑ると、+電極のプラス電位が減少するため凹波形。
図15は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを5回反復した直後に左目のウインク(左側片目の瞬き)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。
【0054】
図6に例示されるように、Ch0のADC1512の位置は、左右両目の眼球中心線より下方にオフセットしている。このオフセットのため、両目同時の瞬きでは、図6のADC1512の+入力と-入力の双方に負方向の電位変化が現れる。その際、+入力と-入力の双方の電位変化(量と方向)が略同じとすれば、その変化は殆ど打ち消され、Ch0のADC1512から出力される信号レベルの値は、略一定となる(図15の左側破線内のCh0レベル参照)。一方、片目(左目)の瞬きでは、ADC1512の-入力側は電位変化が殆どなく、ADC1512の+入力側に比較的大きめの負方向電位変化が現れる。そうすると、ADC1512の+入力と-入力の間における電位変化の打ち消し量は小さくなり、Ch0のADC1512から出力される信号レベルには、負方向に小さなパルス(信号レベルの小波)が表れる(図15の右側破線内のCh0レベル参照)。この信号レベルの小波(負方向のパルス)の極性から、左目のウインクがなされたことを検出できる(頭部の動揺に起因するEOGのノイズが打ち消された場合において、Ch0を利用した左ウインク検出の一例)。
【0055】
なお、ユーザの顔の歪みや皮膚の状態等でADC1512の+入力と-入力の電位変化が均等にならない場合は、アイウェア100をユーザが装着し両目同時に瞬きしたときのCh0ADCの出力が最小(+入力成分と-入力成分との間の打ち消し量が最大)となるようなキャリブレーションを、事前に行っておけばよい。
【0056】
また、両目瞬き/瞬目が行われた時の検出信号Ch1/Ch2のピーク比SL1a/SL2aを基準とすると、左眼ウインクが行われたときのピーク比SL1b/SL2bは変化する(SL1b/SL2bはSL1a/SL2aとイコールでない)。このことからも、左ウインクを検出できる。
【0057】
図16は、頭部の動揺に起因するノイズが打ち消された場合において、視線が正面を向いているときに、両目の瞬きを5回反復した直後に右目のウインク(右側片目の瞬き)を5回反復した眼動と、図6に示す3つのADCからから得られる検出信号レベル(Ch0、Ch1、Ch2)との関係を例示する眼電図である。
【0058】
前述したように、図6のADC1512の位置が左右両目の眼球中心線より下方にオフセットしているため、両目同時の瞬きではADC1512の+入力と-入力の双方に負方向の電位変化が現れる。しかし、+入力と-入力における同様な電位変化は殆ど打ち消され、Ch0のADC1512から出力される信号レベルの値は、略一定となる(図16の左側破線内のCh0レベル参照)。一方、片目(右目)の瞬きでは、ADC1512の+入力側は電位変化が殆どなく、ADC1512の-入力側に比較的大きめの負方向電位変化が現れる。そうすると、ADC1512の-入力と+入力の間における電位変化の打ち消し量は小さくなり、Ch0のADC1512から出力される信号レベルには、正方向に小さなパルス(信号レベルの小波)が表れる(図16の右側破線内のCh0レベル参照)。この信号レベルの小波(正方向のパルス)の極性から、右目のウインクがなされたことを検出できる(頭部の動揺に起因するEOGのノイズが打ち消された場合において、Ch0を利用した右ウインク検出の一例)。
【0059】
また、両目瞬きが行われた時の検出信号Ch1/Ch2のピーク比SR1a/SR2aを基準とすると、右眼ウインクが行われたときのピーク比SR1b/SR2bは変化する(SR1b/SR2bはSR1a/SR2aとイコールでない)。また、左ウインク時のピーク比SL1b/SL2bは右ウインク時のピーク比SR1b/SR2bと異なった値を持つ(どの程度異なるのかは実験で確認できる)。このことから、右ウインクとは別に、左ウインクを検出できる(Ch1とCh2を利用した左右ウインク検出の一例)。
【0060】
左右のウインク検出にCh0を利用するのかCh1/Ch2を利用するのかは、機器設計者が適宜決めればよい。Ch0~Ch2を利用した左右のウインク検出結果は、操作コマンドとして利用できる。
図17は、頭部の動揺に起因するノイズを最小化する処理(ノイズ打ち消し処理)の一例を説明するフローチャートである。このフローチャートに対応するコンピュータプログラムは、例えば図7の不揮発性メモリ11bに格納され、プロセッサ11aにより実行される。
【0061】
まず、図5に例示されるようなアイウェア100を装着したユーザが、前方の固定物を注視しつつ一定リズムで定速歩行する(ST10)。この歩行に伴い、ユーザの頭部は所定パターンで動揺(移動/回転)する(図1(a)、(b)参照)。
歩行に伴うユーザの頭部の移動/回転は、図5の情報処理部11の内部に設けられた加速度センサ/ジャイロセンサ(図7の11e)によって検出される(ST12)。歩行に伴うユーザの頭部の移動/回転は、ノイズとして、EOG検出信号波形に混入してくる(図8または図9参照)。このEOG検出信号波形に、加速度センサ/ジャイロセンサの検出信号を、所定の位相で加算する(ST14)。
【0062】
上記信号加算の結果、もし信号振幅が増えてしまったなら(ST16ノー)、加算する検出信号の位相を反転し(ST18)、再度、EOG検出信号波形に加速度センサ/ジャイロセンサの検出信号を加算する(ST14)。
上記信号加算の結果、信号振幅が減少したなら(ST16イエス)、加算結果の信号振幅が最小(極小)となるように、加算する信号のレベルを調整する(ST20)。加算結果の信号振幅を最小(極小)とすることで、EOG検出信号波形に混入してくるノイズを打ち消す(低減または排除する)。
【0063】
頭部の動揺(移動/回転)に起因するノイズが打ち消されたあとのEOG検出結果に基づいて、ユーザの眼動(図10図16の視線移動、瞬目、目瞑り、ウインクなど)を判定し(ST22)、その判定に基づく処理を行う(ST24)。例えば、ユーザがウインクすると、視線の先にある建物の名称がアイウェア100の表示画面(図5のIM1/IM2)にAR表示される、といった処理を行うことができる。
【0064】
ユーザ頭部の動揺パターンが変わると、ノイズ打ち消しの内容も変わる。そこで、ユーザ頭部の動揺パターンが変わったかどうかを、加速度センサ/ジャイロセンサの検出結果の変化から、検出する(ST26)。例えば、前方の固定物を注視しつつ定速歩行しているアイウェア100のユーザが地下鉄へ降りる降り階段の前で立ち止まり、階段の隣接ステップの段差を前後屈および視線移動で視線スイープしたとする。すると、この段差前後での視線スイープにより頭部の動揺パターンが歩行時とは異なるものとなり、またEOG検出信号波形も歩行時とは違うものとなる。
【0065】
そこで、ユーザ頭部の動揺パターンが変化したときは(ST26イエス)、ステップST12に戻り、ST14~ST20の処理をやり直す。ST14~ST20の処理をやり直すことにより、新たな頭部の動揺パターンに起因するEOGノイズが打ち消され(低減または排除され)、純粋な視線移動に対応したEOGが検出される。この純粋な視線移動に対応したEOG検出結果と、変化したユーザ頭部の動揺パターンに対応した加速度センサ/ジャイロセンサの検出結果を比較する。この比較の結果、例えば階段の段差位置で図4(a)から図4(b)への位相反転が検出されたとすれば、その位相反転ポイント付近に階段の段差があるものと判定する(ST22)。そして、段差の存在を示すマークをアイウェア100でAR表示する(ST24)。このAR表示は、ユーザ頭部の動揺パターンに対応した加速度センサ/ジャイロセンサの検出結果が消滅してから一定時間後(例えば10秒後)に自動的に消すことができる。
【0066】
AR表示のオン/オフは、EOG波形(図8または図9のCh1/Ch2波形)と加速度センサの検出信号波形とが同期しているかどうかで、自動的に行うこともできる。ユーザがAR表示を見ているときは眼球は頭部の動揺を補償する回転をしていないので上記の同期関係はないが、ユーザがAR表示でなく現実世界を注視しているときは上記の同期関係が生じる。同様な考えで、EOG波形(図8または図9のCh0波形)とジャイロセンサの検出信号波形とが同期しているかどうかで、AR表示を自動的にオン/オフできる。
【0067】
ユーザ頭部の動揺パターンが変化しない間ユーザがアイウェアを使用し続ければ(ST28ノー)、ST22~ST24の処理は続く。ユーザが数秒目瞑りするなどして図7のプロセッサ11aにアイウェア100の使用終了を指示すれば(ST28イエス)、図17の処理は終了する。
【0068】
図18は、他の実施形態に係るメガネ型アイウェア100におけるEOG電極の実装例を説明する図(EOG電極が眼球周辺に配置された例)である。図18のアイウェア100は、以下の点で図5のアイウェア100と違っている。
第1の違いは、右ノーズパッド150RのEOG電極151aおよび151bが右アイフレーム101側に移動し、左ノーズパッド150LのEOG電極152aおよび152bが左アイフレーム102側に移動している点にある。EOG電極151aおよび151bはユーザの右眼中心位置(図示せず)に対して略点対称となる位置に配置され、EOG電極152aおよび152bはユーザの左眼中心位置(図示せず)に対して略点対称となる位置に配置される。また、EOG電極151aおよび151bそれぞれを結ぶ右斜線とEOG電極152aおよび152bそれぞれを結ぶ左斜線は、ユーザの鼻筋に沿った垂直線(図示せず)に対して略線対称となっている。電極151a,151b,152a,152bは、弾性体(スポンジ、シリコーン製クッションなど)の先端に設けた導電性部材(金属、導電性高分子など)で構成できる。各EOG電極は、アイウェア100を装着したユーザの顔の皮膚面に、弾性体の弾性反発力で軽く圧接される。
【0069】
図18のようなEOG電極配置構造を採ると、ノーズパッド部にEOG電極を配置する構造と比べて帯電した眼球の周囲にできる電界をより検知し易くなる。そのため、図5の実施形態よりも図18の実施形態の方が、より大きな振幅のEOG信号を検出できる。
【0070】
第2の違いは、加速度センサやジャイロセンサを含むセンサ部11eをブリッジ103に残し、それ以外の情報処理部11の機能をテンプルバー107側に移した点にある。例えば情報処理能力の強化やGPS機能の追加などで情報処理部11の物理的なサイズが大きくなる場合、大きくなった情報処理部11をブリッジ103に取り付けると、アイウェア100のデザイン性やその装着感に問題が生じる恐れがある。ブリッジ103に取り付ける構造体をセンサ部11eだけにすれば、ブリッジ103上の構造体は情報処理部11全体を設けるよりも小型軽量化されるため、デザイン性や装着感は改善される可能性がある。一方、テンプルバー107(および/または106)の内部なら、比較的大きな構造体を設けてもアイウェア100のデザイン性やその装着感に問題が生じる恐れは小さい。
【0071】
図19は、さらに他の実施形態に係るゴーグル型アイウェア(左右両眼のアイフレームが連続したタイプ)100におけるEOG電極の実装例を説明する図(EOG電極が眼球周辺に配置された他の例)である。図19のような構造を採ると、図18の構造よりもEOG電極の皮膚接触安定性が高くなる。そのため、頭部の動揺に起因するノイズを打ち消しつつ、より高精度にEOG信号を検出することができる。また、図19の構造では、大型化した情報処理部11その他の装置を内蔵し易い。そのため、図19の構造では、デザイン性をさして気にすることなく、GPS付きスマートフォンの機能を仕込むことができる。その場合の画面表示は、フィルム液晶などを利用した左右のディスプレイ12L/12Rにおいて、AR表示により行うことができる。図示しないが、ゴーグルフレームの左右の耳付近に小型スピーカを取り付け、ノーズクッション付近に小型マイクを取り付けることもできる。また、スマートフォンに対するコマンド入力は、視線移動、瞬目、目瞑り、ウインクなどの眼動により行うことができる。
【0072】
図20は、さらに他の実施形態に係るゴーグル型アイウェア(左右両眼のアイカップが分離したタイプ)100におけるEOG電極の実装例を説明する図(EOG電極が眼球周辺に配置されたさらに他の例)である。図20の実施形態では、図18の場合と同様な、EOG電極配置構造とセンサ部11eの配置構造を採用している。但し、図20のゴーグル構造は水中使用(あるいは宇宙遊泳訓練使用)にも耐える。水中で泳ぐダイバーの頭部は地上歩行よりも大きな動揺をするが、その大きな動揺(上下左右の位置移動や回転)は、センサ部11e内の3軸加速度センサや3軸ジャイロセンサで検出できる。検出した動揺成分はEOG信号に混入するノイズ成分の打ち消しに利用できる。頭部の動揺に起因したノイズが抑えられたEOG信号を利用して、両手が塞がったユーザ(ダイバー)の眼動(瞬目、目瞑り、その他)に基づき、種々なコマンド入力が可能となる。
<実施形態の纏め>
(a)従来の視線検出技術には赤外線カメラを用いて画像処理にて視線方向を推定する方式があるが、必要となる装置の量(高輝度な赤外線LEDに加え、外部に見える眼球全体を撮影可能なカメラ、画像処理用の比較的高性能な演算装置、これらを動作させる電力供給装置)が大規模となる。そのため、従来の視線検出技術は据置タイプの装置では応用されているが、ウェアラブル機器への適用は進んでいない。
【0073】
これに対し、眼電位センシングによる視線検出は、必要となる装置の量(電極および、ADC、比較的性能の低い演算装置、これらを動作させる電力供給装置)が赤外線カメラ方式と比較してかなり小規模であり、ARメガネのようなウェアラブル機器への応用も可能となる。EOGはARメガネとの親和性が高く赤外線方式と比べると低消費電力なためウェアラブル機器への適用が期待できる技術である。
【0074】
(b)現実世界の固定物を注視する時の、アイウェアユーザの頭部の揺れ分を打ち消す。これにより、任意の眼球回転に対する検出精度が向上する。
(c)注視している現実世界の固定物が遠景か近景かを検出する(図4の位相反転ポイントの検出)。これにより、アイウェアユーザの頭部の揺れから、現実世界(固定物)の注視の有無を検出する。
【0075】
(d)アイウェアユーザの頭部の揺れをAR表示の自動オン/オフ制御に利用する。
(e)眼球の補償回転を打ち消した、任意の眼球動作のみを抽出する。
(f)注視しているものが、現実世界か否かを検出する(歩行時に加速度センサおよび/またはジャイロセンサの検出波形と眼電位EOG波形が同期していれば現実世界にあるものを見ていると判定し、加速度センサおよび/またはジャイロセンサの検出波形と眼電位EOG波形は同期しないときは歩行時にAR表示などを見ていると判定する)。
【0076】
(g)眼球動作をUI(ユーザインターフェース)として使用する場合のノイズ打ち消しとして有効。
(h)アイウェアを利用した作業履歴情報収集に使用すると、これまでに無い指標となる(例えば、頭部動揺によるノイズの影響を排除した状態で、倉庫のピッキング作業などにおいて、「正しい標的物に視線を向けた度数が一定値以上なら作業員として合格」といった合否判定に利用できる)。
<出願当初請求項の内容と実施形態との対応関係例>
[1]一実施の形態に係る眼電位検出装置(図7の11:図17の処理を実行するプロセッサ11aを含む)は、アイウェア(100)を装着したユーザの眼電位(EOG)に基づいて前記ユーザの眼球回転を含む眼動(視線移動、瞬目など)を検出する眼動検出部(15;151a,151b,152a,152b)と、前記アイウェアの移動を検出する加速度センサ(11eの一部)と、前記アイウェアの回転を検出するジャイロセンサ(11eの一部)を備えている。この眼球運動検出装置は、前記眼電位(EOG)に基づいて前記眼動が検出される際に、前記加速度センサおよび/または前記ジャイロセンサにより前記アイウェアの移動および/または回転を検出する検出手段(ST12を実行する11a)と、前記アイウェアの移動および/または回転に起因して前記眼電位に混入するノイズ(頭部の動きを打ち消す方向に働く代償的眼球回転によって付加された眼電位成分)を、前記加速度センサおよび/または前記ジャイロセンサによって検出した信号成分(混入ノイズに対して逆相となる成分)の合成によって低減(最小化または打ち消し)するノイズ低減手段(ST14~ST20を実行する11a)を具備している。
【0077】
[2]前記[1]の装置は、前記低減手段による信号合成結果が減少に向かうように、前記加速度センサおよび/または前記ジャイロセンサによって検出した信号成分の位相を選択する位相選択手段(ST16~ST18を実行する11a)をさらに具備している。
【0078】
[3]前記[1]の装置(11)は、アイウェア(図5図18図20の100)に組み込まれる。
[4]前記[3]のアイウェア(100)は、ディスプレイ部(12L、12R)を持ち、前記ノイズ低減手段によりノイズが低減されたあとの前記眼電位(EOG)に基づく表示(AR表示)を前記ディスプレイ部(12L、12R)で行う表示手段(ST22~ST24を実行する11a)を具備している。
【0079】
[5]前記[1]の装置は、前記ユーザの頭部の前後屈変化に対応した回転を前記ジャイロセンサ(11e)により検出し、そのユーザの視線方向の変化(図10図11:Ch1/Ch2の±レベル変化から上下の視線方向変化を検出できる)を前記眼動検出部(15)により検出し、前記前後屈変化の信号位相と前記視線方向変化の信号位相が同相(図4(a))か逆相(図4(b))かによって前記ユーザが見ている場所の遠近を識別するように構成されている(注視している現実世界の固定物が、遠景か近景かを検出できる)。
【0080】
[6]前記[1]の装置は、前記眼電位(EOG)に基づいて前記眼動が検出される際に、前記加速度センサおよび/または前記ジャイロセンサにより検出された前記アイウェアの移動および/または回転(図1)が前記眼電位(EOG)の変化(図8または図9)に同期する場合(図17のST14において「所定の位相関係」を維持できる場合)は前記ユーザが現実世界を見ているものと判定するように構成されている(注視しているものが、現実世界か否かを検出できる)。
【0081】
[7]一実施の形態に係る眼電位検出方法は、アイウェア(100)を装着したユーザの眼電位(EOG)に基づいて前記ユーザの眼球回転を含む眼動(視線移動、瞬目など)を検出し、前記アイウェアを装着したユーザの頭部の移動を検出し、前記アイウェアを装着したユーザの頭部の回転を検出する処理を含む。この方法は、前記眼電位(EOG)に基づいて前記眼動が検出される際に、前記アイウェアを装着したユーザの頭部の移動および/または回転を検出する工程と(ST12)、前記アイウェアを装着したユーザの頭部の移動および/または回転に起因して前記眼電位に混入するノイズ(頭部の動きを打ち消す方向に働く代償的眼球回転によって付加された眼電位成分)を、前記アイウェアを装着したユーザの頭部の移動および/または回転に対応して検出した信号成分(混入ノイズに対して逆相となる成分)の合成によって低減(最小化または打ち消し)する工程(ST14~ST20)を具備している。
【0082】
[8]前記[7]の方法は、前記信号成分の合成結果が減少に向かうように、前記アイウェアを装着したユーザの頭部の移動および/または回転に対応して検出した信号成分の位相を選択する工程(ST16~ST18)をさらに具備している。
この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
【0083】
例えば、実施形態の説明においてEOG電極を備えたアイウェアとしてメガネ型やゴーグル型のデバイスを紹介したが、それ以外に、アイマスク、眼帯、ヘルメット、帽子、頭巾のような形態の物品をEOG電極付アイウェアに利用することも考えられる。
これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。なお、開示された複数の実施形態のうちのある実施形態の一部あるいは全部と、開示された複数の実施形態のうちの別の実施形態の一部あるいは全部を、組み合わせることも、発明の範囲や要旨に含まれる。
【符号の説明】
【0084】
100…アイウェア(ゴーグル型またはメガネ型);110…アイフレーム;11…眼球運動検出装置の主要部となる情報処理部(プロセッサ11a、不揮発性メモリ11b、メインメモリ11c、通信処理部(GPS処理部)11d、センサ部11eなどを含む集積回路);11e…加速度センサ、ジャイロセンサなどを含むセンサ部;BAT…電源(リチウムイオン電池など);12…ディスプレイ部(右ディスプレイ12Rと左ディスプレイ12L:フィルム液晶など);IM1…右表示画像(テンキー、アルファベット、文字列、マーク、アイコンなど);IM2…左表示画像(テンキー、アルファベット、文字列、マーク、アイコンなど);13…カメラ(右カメラ13Rと左カメラ13L、またはブリッジ103部分に取り付けられた図示しないセンターカメラ);15…眼動検出部(視線検出センサ);1510…右側(Ch1)ADコンバータ;1520…左側(Ch2)ADコンバータ;1512…左右間(Ch0)ADコンバータ;1514…左右間(Ch3)ADコンバータ。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20