特開 2022-99933 操作検出システム及び操作検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022099933

(43)【公開日】2022-07-05

(54)【発明の名称】操作検出システム及び操作検出方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220628BHJP

   A61B 5/377 20210101ALI20220628BHJP

【ＦＩ】

G06F3/01 515

A61B5/04 320M

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020214015

(22)【出願日】2020-12-23

(71)【出願人】

【識別番号】504238806

【氏名又は名称】国立大学法人北見工業大学

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100202913

【弁理士】

【氏名又は名称】武山 敦史

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(72)【発明者】

【氏名】酒井 大輔

(72)【発明者】

【氏名】橋本 泰成

【テーマコード（参考）】

4C127

5E555

【Ｆターム（参考）】

4C127AA03

4C127DD01

4C127GG11

5E555AA02

5E555AA11

5E555AA46

5E555BA29

5E555BA38

5E555BB29

5E555BB38

5E555BC04

5E555BE16

5E555CB70

5E555CC01

5E555DA11

5E555DA13

5E555DB53

5E555DC13

5E555DC21

5E555EA25

5E555FA00

(57)【要約】

【課題】ユーザが意図した通りの非接触操作が可能な操作検出システム及び操作検出方法を提供する。
【解決手段】操作検出システム１は、空中に浮かぶ空中像を生成する空中像生成装置１０と、ユーザから見て空中像生成装置１０により生成される空中像と重なる位置で周期的に点滅する光を放射し、ユーザの眼に向けて光刺激を加える光刺激印加装置２０と、ユーザの頭部に装着され、ユーザの視覚野の脳波を計測する脳波計３０と、脳波計３０に通信可能に接続され、脳波計３０で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作検出装置４０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

空中に浮かぶ空中像を生成する空中像生成装置と、
ユーザから見て前記空中像生成装置により生成される空中像と重なる位置で周期的に点滅する光を放射し、ユーザの眼に向けて光刺激を加える光刺激印加装置と、
ユーザの頭部に装着され、ユーザの視覚野の脳波を計測する脳波計と、
前記脳波計に通信可能に接続され、前記脳波計で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作検出装置と、
を備える操作検出システム。

【請求項2】

前記光刺激印加装置は、ユーザから見て前記空中像生成装置で生成される空中像の奥側又は手前側に配置されている、
請求項１に記載の操作検出システム。

【請求項3】

前記光刺激印加装置は、チェッカーパターン状に点滅する光を放射する、
請求項１又は２に記載の操作検出システム。

【請求項4】

前記操作検出装置は、前記脳波計で計測された脳波から一定時間幅の最新の波形を周期的に抽出し、抽出された波形に対してパワースペクトル解析を実行することで、前記脳波計で計測された脳波の周波数成分を取得する、
請求項１から３のいずれか１項に記載の操作検出システム。

【請求項5】

前記操作検出装置は、前記脳波計で計測された脳波の周波数成分から同一周波数の前記ＳＳＶＥＰが一定時間継続して検出された場合に操作信号を出力する、
請求項１から４のいずれか１項に記載の操作検出システム。

【請求項6】

前記空中像生成装置は、空中の異なる位置に複数の空中像を生成し、
前記光刺激印加装置は、ユーザから見て前記空中像生成装置により生成される各空中像とそれぞれ重なる位置で、互いに異なる周波数で周期的に点滅する光を放射し、
前記操作検出装置は、前記脳波計で計測された脳波の周波数成分から前記ＳＳＶＥＰが検出された場合に、前記ＳＳＶＥＰの周波数に関するデータを含む操作信号を出力する、
請求項１から５のいずれか１項に記載の操作検出システム。

【請求項7】

ユーザが焦点を合わせて注視する対象である注視対象と、
ユーザから見て前記注視対象の手前側に配置され、前記注視対象と重なる位置で周期的に点滅する空中像を生成し、ユーザの眼に向けて光刺激を加える光刺激印加装置と、
ユーザの頭部に装着され、ユーザの視覚野の脳波を計測する脳波計と、
前記脳波計に通信可能に接続され、前記脳波計で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作検出装置と、
を備える操作検出システム。

【請求項8】

空中に浮かぶ空中像を生成する空中像生成工程と、
ユーザから見て前記空中像生成工程で生成された空中像と重なる位置で周期的に点滅する光を放射し、ユーザの眼に向けて光刺激を加える光刺激印加工程と、
前記光刺激印加工程で光刺激を加えられたユーザの視覚野の脳波を計測する脳波測定工程と、
前記脳波測定工程で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作信号出力工程と、
を含む操作検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作検出システム及び操作検出方法に関する。

【背景技術】

【0002】

近年、空中に浮かんで見える空中像を用いたインタラクション技術に注目が集まっている。この空中像に対して人間が何らかの操作を行うと、システムや機器が反応するように構成することで、非接触のインタラクションを実現できる。例えば、特許文献１には、空中像で位置が示された複数の注目点にユーザの手指を移動させるジェスチャー操作を検出する操作検出装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－６７７０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の操作検出装置では、空間中に設定された複数の注目点のそれぞれに物体が存在するか否かを検出し、その検出結果に基づきジェスチャー操作の有無を判定する。このため、ユーザが実体のない空中像に手や指を重ねる際に、奥行き方向の目測の誤りが必然的に生じてしまい、ユーザが意図した通りの操作が困難である。

【0005】

本発明は、このような背景に基づいてなされたものであり、ユーザが意図した通りの非接触操作が可能な操作検出システム及び操作検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の第１の観点に係る操作検出システムは、
空中に浮かぶ空中像を生成する空中像生成装置と、
ユーザから見て前記空中像生成装置により生成される空中像と重なる位置で周期的に点滅する光を放射し、ユーザの眼に向けて光刺激を加える光刺激印加装置と、
ユーザの頭部に装着され、ユーザの視覚野の脳波を計測する脳波計と、
前記脳波計に通信可能に接続され、前記脳波計で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作検出装置と、
を備える。

【0007】

前記光刺激印加装置は、ユーザから見て前記空中像生成装置で生成される空中像の奥側又は手前側に配置されてもよい。

【0008】

前記光刺激印加装置は、チェッカーパターン状に点滅する光を放射してもよい。

【0009】

前記操作検出装置は、前記脳波計で計測された脳波から一定時間幅の最新の波形を周期的に抽出し、抽出された波形に対してパワースペクトル解析を実行することで、前記脳波計で計測された脳波の周波数成分を取得してもよい。

【0010】

前記操作検出装置は、前記脳波計で計測された脳波の周波数成分から同一周波数の前記ＳＳＶＥＰが一定時間継続して検出された場合に操作信号を出力してもよい。

【0011】

前記空中像生成装置は、空中の異なる位置に複数の空中像を生成し、
前記光刺激印加装置は、ユーザから見て前記空中像生成装置により生成される各空中像とそれぞれ重なる位置で、互いに異なる周波数で周期的に点滅する光を放射し、
前記操作検出装置は、前記脳波計で計測された脳波の周波数成分から前記ＳＳＶＥＰが検出された場合に、前記ＳＳＶＥＰの周波数に関するデータを含む操作信号を出力してもよい。

【0012】

上記目的を達成するために、本発明の第２の観点に係る操作検出システムは、
ユーザが焦点を合わせて注視する対象である注視対象と、
ユーザから見て前記注視対象の手前側に配置され、前記注視対象と重なる位置で周期的に点滅する空中像を生成し、ユーザの眼に向けて光刺激を加える光刺激印加装置と、
ユーザの頭部に装着され、ユーザの視覚野の脳波を計測する脳波計と、
前記脳波計に通信可能に接続され、前記脳波計で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作検出装置と、
を備える。

【0013】

上記目的を達成するために、本発明の第３の観点に係る操作検出方法は、
空中に浮かぶ空中像を生成する空中像生成工程と、
ユーザから見て前記空中像生成工程で生成された空中像と重なる位置で周期的に点滅する光を放射し、ユーザの眼に向けて光刺激を加える光刺激印加工程と、
前記光刺激印加工程で光刺激を加えられたユーザの視覚野の脳波を計測する脳波測定工程と、
前記脳波測定工程で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作信号出力工程と、
を含む。

【発明の効果】

【0014】

本発明によれば、ユーザが意図した通りの非接触操作が可能な操作検出システム及び操作検出方法を提供できる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態１に係る操作検出システムの構成を示す図である。

【図2】本発明の実施の形態１に係る光刺激印加装置の構成を示す図である。

【図3】本発明の実施の形態１に係る操作検出装置のハードウェア構成を示すブロック図である。

【図4】（ａ）は、本発明の実施の形態１に係る脳波の時間波形の一例を示すグラフであり、（ｂ）は、本発明の実施の形態１に係るパワースペクトル解析で得られた脳波の周波数成分の一例を示すグラフである。

【図5】本発明の実施の形態１に係る操作検出処理の流れを示すフローチャートである。

【図6】本発明の実施の形態２に係る操作検出システムの構成を示す図である。

【図7】本発明の実施の形態３に係る操作検出システムの構成を示す図である。

【図8】本発明の実施の形態３に係る空中像の一例を示す図である。

【図9】（ａ）は、本発明の実施の形態３に係るテキスト入力装置のハードウェア構成を示すブロック図であり、（ｂ）は、本発明の実施の形態３に係る画像データベースのデータテーブルの一例を示す図である。

【図10】（ａ）、（ｂ）は、いずれも本発明の実施の形態３に係る操作検出処理の流れを示すフローチャートである。

【図11】（ａ）、（ｂ）は、いずれも実施例１における脳波のパワースペクトルを示すグラフである。

【図12】実施例２における実験装置の構成を示す模式図である。

【図13】（ａ）、（ｂ）は、いずれも実施例２における脳波のパワースペクトルを示すグラフである。

【図14】（ａ）、（ｂ）は、いずれも実施例３における脳波のパワースペクトルを示すグラフである。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態に係る操作検出システム及び操作検出方法を、図面を参照しながら詳細に説明する。

【0017】

（実施の形態１）
図１～図５を参照して、実施の形態１に係る操作検出システム及び視線検出方法を説明する。図１は、実施の形態１に係る操作検出システム１の構成を示す図である。操作検出システム１は、ユーザの視線が一定時間継続して空中像に向いていることを検出した場合に、空中像に対するユーザの操作を検出するシステムである。操作検出システム１では、ユーザから見て空中像の奥側の位置からユーザの眼に向けて周期的な光刺激を加え、この状態で計測されたユーザの脳波に定常状態視覚誘発電位（Steady State Visual Evoked Potentials：ＳＳＶＥＰ）が含まれる場合にユーザの視線が空中像に向いていることを検出する。

【0018】

ＳＳＶＥＰは、４Ｈｚ～６０Ｈｚ程度の周波数で点滅する光刺激を被験者の眼に加えたとき、被験者の大脳皮質の視覚野で発生する光刺激の周波数と同一又はその整数倍の周波数の電位である。ＳＳＶＥＰは、被験者の視覚野の脳波を計測し、計測された脳波から周波数成分を抽出することで、その発生の有無を判別できる。

【0019】

操作検出システム１は、空中像を生成する空中像生成装置１０と、空中像生成装置１０により生成される空中像と重なる位置で周期的に点滅する光刺激をユーザの眼に加える光刺激印加装置２０と、ユーザの頭部に装着され、ユーザの脳波を計測する脳波計３０と、脳波計３０に接続され、計測された脳波の周波数成分からＳＳＶＥＰが一定時間継続して検出された場合に操作信号を出力する操作検出装置４０と、を備える。

【0020】

空中像生成装置１０は、何もない空中に空中像を生成する装置である。空中像は、ユーザが注視して焦点を合わせる注視対象の一例である。空中像生成装置１０は、空中像の元となる二次元画像を表示するディスプレイ１１と、ディスプレイ１１の正面側に配置され、ディスプレイ１１と面対称の位置にディスプレイ１１の画像に基づく空中像を生成する透明なクロスミラーアレイ１２と、を備える。

【0021】

ディスプレイ１１は、文字、数字、記号又は図形を含む各種の画像を表示する装置であり、例えば、液晶ディスプレイである。

【0022】

クロスミラーアレイ１２は、内部にマイクロオーダーのピッチで配置され、互いに直交する微細なミラーを備える透明な板状部材である。クロスミラーアレイ１２は、入射した光を直交するミラーで２回反射することで、ディスプレイ１１と面対称の位置に空中像を生成する。クロスミラーアレイ１２は、透明であるため、ユーザから見て光刺激印加装置２０がクロスミラーアレイ１２の奥側に配置されたとしても、光刺激印加装置２０からクロスミラーアレイ１２の手前側への光の伝搬を妨げない。

【0023】

図２は、実施の形態１に係る光刺激印加装置２０の構成を示す図である。光刺激印加装置２０は、ユーザに向けて周期的な光刺激を加える。光刺激印加装置２０は、光源２１と、光源２１から放射された光を散乱させる光拡散素子２２と、光拡散素子２２で散乱された光を所定のパターンで透過させる透過パネル２３と、光源２１に接続され、光源２１の点滅を制御する信号を発生する信号発生器２４と、を備える。

【0024】

光源２１は、例えば、ＬＥＤ（light emitting diode）である。光源２１は、信号発生器２４からの通電により発光する。

【0025】

光拡散素子２２は、例えば、光拡散シート、光拡散フィルムである。光拡散素子２２は、光源２１からの光を均質に拡散させる板状の光学素子である。

【0026】

透過パネル２３は、光拡散素子２２で散乱された光を所定のパターンで透過させる板状の部材である。透過パネル２３は、例えば、透明なガラス板に周期的なパターンがエッチングされたフォトマスクである。透過パネル２３は、例えば、チェッカーパターンを備え、チェッカーパターン状に光を透過する。チェッカーパターンは、光を透過させる透過部分と光を遮る遮光部分とが同一寸法の正方形のマスを構成し、透過部分と遮光部分とが縦横に交互に配置されたパターンである。各マスの寸法は、例えば、１．０ｍｍ～５．０ｍｍの範囲内である。

【0027】

信号発生器２４は、予め設定された点滅周波数で光源２１が点滅するように光源２１へ間欠的に電流を供給する。光刺激の点滅周波数は、４Ｈｚ～６０Ｈｚ、好ましくは１０Ｈｚ～４０Ｈｚである。点滅周波数は、後述する操作検出処理を考慮すると、整数値であることが好ましい。

【0028】

光刺激の強度は、脳波の計測やＳＳＶＥＰの検出を考慮すると強いほどよいが、他方で光刺激の強度が強すぎると、ユーザにちらつきによる不快感を誘発し、光過敏性発作や光てんかんを引き起こすおそれもある。このため、光刺激の強度は、ユーザが不快に感じることなく光刺激を見続けられる程度に設定するとよい。なお、光刺激の強度を設定する際には、各ユーザの光に対する感受性や照明のような周囲環境の影響を考慮する必要もある。

【0029】

図１に戻り、脳波計３０は、ユーザの脳波を計測する装置である。脳波計３０は、ユーザの頭部に装着される一対の電極３１と、一対の電極３１及び操作検出装置４０に接続され、一対の電極３１からの電気信号を増幅すると共に、増幅した電気信号（脳波）を操作検出装置４０に送信する脳波計本体３２と、を備える。

【0030】

電極３１は、ユーザの視覚野に対応する頭部の位置に貼り付けられ、視覚野からの電気信号を取得する。貼り付け位置は、国際的な共通の取り決めである国際１０－２０法に従って設定される。国際１０－２０法では、被験者の頭皮を等間隔で区切り、合計２１個の貼り付け位置が設定されている。電極３１の一方は、例えば、国際１０－２０法のＯｚに貼り付けられ、電極３１の他方はＰｚに貼り付けられる。これにより、Ｏｚ－Ｐｚにおける電位差の変動を観察する双極導出を行う。

【0031】

操作検出装置４０は、脳波計３０で計測された脳波の周波数成分からＳＳＶＥＰを検出した場合に、ユーザの視線が空中像生成装置１０により生成された空中像に向けていると判定し、操作信号を出力する。操作検出装置４０は、例えば、汎用コンピュータである。

【0032】

図３は、実施の形態１に係る操作検出装置４０のハードウェア構成を示すブロック図である。操作検出装置４０は、操作部４１と、表示部４２と、通信部４３と、記憶部４４と、制御部４５と、を備える。操作検出装置４０の各部は、内部バス（図示せず）を介して互いに通信可能に接続されている。

【0033】

操作部４１は、ユーザの指示を受け付け、受け付けた操作に対応する信号を制御部４５に供給する。操作部４１は、例えば、マウス、キーボードを備える。操作部４１は、例えば、操作検出処理を開始させたり停止させたりする旨のユーザの指示を受け付ける。

【0034】

表示部４２は、制御部４５から供給される画像データに基づいて、操作検出装置４０を操作するユーザに向けて各種の画像を表示する。表示部４２は、例えば、脳波の時間波形及びパワースペクトルを表示する。

【0035】

通信部４３は、脳波計３０及びその他の外部機器と通信可能に接続されるインターフェースである。

【0036】

記憶部４４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブを備える。記憶部４４は、制御部４５に実行されるプログラムや各種のデータ、例えば、後述する脳波の抽出周期、脳波抽出時の時間幅、ＳＳＶＥＰの検出継続時間に関するデータを記憶する。また、記憶部４４は、制御部４５が処理を実行するためのワークメモリとして機能する。

【0037】

制御部４５は、ＣＰＵ（Central Processing Unit）のようなプロセッサを備え、操作検出装置４０の各部の制御を行う。制御部４５は、記憶部４４に記憶されているプログラムを実行することにより、図５の操作検出処理を実行する。制御部４５は、機能的には、取得部４５１と、抽出部４５２と、パワースペクトル解析部４５３と、判定部４５４と、を備える。

【0038】

取得部４５１は、脳波計３０から脳波に関するデータを取得し、記憶部４４に記憶させる。

【0039】

抽出部４５２は、取得部４５１で取得した脳波データから予め設定された時間幅（例えば、０．５秒間～１秒間の範囲内、好ましくは０．５秒間）の波形データを抽出する。具体的には、抽出部４５２は、脳波の取得開始時点又は前回脳波を抽出した時点から抽出周期が経過したかどうかを判定する。そして、脳波の取得開始時点又は前回脳波を抽出した時点から抽出周期が経過している場合に、図４（ａ）に示すように、取得部４５１で取得した脳波データから予め設定された時間幅Δｔの最新の波形データを抽出する。最新の波形データは、波形の抽出時点ｔから時間幅Δｔだけ前の時点から、波形の抽出時点ｔまでの波形データである。なお、抽出周期は、時間幅Δｔよりも長く設定されてもよいが、時間幅Δｔと同一であることが好ましい。

【0040】

図３に戻り、パワースペクトル解析部４５３は、抽出部４５２で抽出された脳波の時間波形に対してＦＦＴ（Fast Fourier Transform）を実行することにより、周波数バンド幅毎のパワーを求めるパワースペクトル解析を実行する。図４（ａ）に示す脳波の時間波形から抽出された時間幅Δｔの波形に対してパワースペクトル解析を実行すると、図４（ｂ）に示すようにパワースペクトルが得られる。

【0041】

再び図３に戻り、判定部４５４は、パワースペクトル解析部４５３で得られた脳波の周波数成分からＳＳＶＥＰを検出し、ＳＳＶＥＰの検出が一定時間（例えば、１秒間）継続している場合に外部機器に操作信号を出力する。操作信号は、例えば、外部機器の電源をオンオフする操作信号、外部機器の扉を開閉する操作信号である。
以上が、操作検出システム１の構成である。

【0042】

（操作検出処理）
以下、図５のフローチャートを参照して、実施の形態１に係る操作検出装置４０が実行する操作検出処理を説明する。操作検出処理は、ユーザの脳波の周波数成分からＳＳＶＥＰが一定時間継続して検出された場合に、外部機器に操作信号を出力する処理である。操作検出処理は、ユーザが操作検出装置４０を起動した時点で開始される。

【0043】

まず、取得部４５１は、脳波計本体３２で計測された脳波に関するデータの取得を開始する（ステップＳ１１）。

【0044】

次に、抽出部４５２は、脳波の取得開始時点又は前回脳波を抽出した時点から予め設定された脳波の抽出周期が経過すると、ステップＳ１１の処理で取得した脳波データから予め設定された時間幅の最新の波形データを抽出する（ステップＳ１２）。

【0045】

次に、パワースペクトル解析部４５３は、ステップＳ１２の処理で抽出された脳波の波形データに対してパワースペクトル解析を実行する（ステップＳ１３）。

【0046】

次に、判定部４５４は、ステップＳ１３の処理で得られた脳波の周波数成分からＳＳＶＥＰが検出されたかどうかを判定する（ステップＳ１４）。判定部４５４は、図４（ｂ）に示すように、例えば、脳波の周波数成分に光刺激の周波数と同一又は整数倍の周波数（同期周波数）が存在し、かつ、当該周波数のパワーが閾値以上である場合にＳＳＶＥＰを検出すればよい。

【0047】

脳波の周波数成分からＳＳＶＥＰが検出されたと判定された場合（ステップＳ１４；Ｙｅｓ）、処理をステップＳ１５に移動する。他方、脳波の周波数成分からＳＳＶＥＰが検出されていないと判定された場合（ステップＳ１４；Ｎｏ）、抽出周期が経過するまで処理を待機し、処理をステップＳ１２に戻す。

【0048】

ステップＳ１４の処理でＹｅｓの場合、判定部４５４は、最初にＳＳＶＥＰを検出した時点から一定時間（例えば、１秒間）継続してＳＳＶＥＰを検出したかどうかを判定する（ステップＳ１５）。判定部４５４は、例えば、ＳＳＶＥＰを連続して検出した回数をカウントすることで、一定時間継続してＳＳＶＥＰを検出したかどうかを判別すればよい。

【0049】

ＳＳＶＥＰの検出を一定時間継続したと判定された場合（ステップＳ１５；Ｙｅｓ）、判定部４５４は、外部機器に向けて操作信号を出力し（ステップＳ１６）、処理をステップＳ１２に戻す。他方、ＳＳＶＥＰの検出を一定時間継続していないと判定された場合（ステップＳ１５；Ｎｏ）、抽出周期が経過するまで処理を待機し、処理をステップＳ１２に戻す。
以上が、操作検出処理の流れである。

【0050】

以上説明したように、実施の形態１に係る操作検出システム１は、空中に浮かぶ空中像を生成する空中像生成装置１０と、ユーザから見て空中像生成装置１０により生成される空中像と重なる位置で周期的に点滅する光を放射し、ユーザの眼に向けて光刺激を加える光刺激印加装置２０と、ユーザの頭部に装着され、ユーザの視覚野の脳波を計測する脳波計３０と、脳波計３０に通信可能に接続され、脳波計３０で計測された脳波の周波数成分からＳＳＶＥＰが検出された場合に操作信号を出力する操作検出装置４０と、を備える。このため、ユーザが空中像に一定時間継続して視線を向けるだけで、ユーザの操作を検出でき、操作検出システム１に接続された外部機器を非接触で操作できる。また、外部機器の操作の際にユーザのジェスチャー操作が不要であるため、肢体不自由者による操作も容易である。

【0051】

また、実施の形態１に係る操作検出システム１では、光刺激印加装置２０がユーザから見て空中像生成装置１０で生成される空中像の奥側に配置されている。このため、ユーザは光刺激に焦点を合わせる必要がなく、光刺激を見続けることによる疲労やストレスを低減できる。

【0052】

（実施の形態２）
図６を参照して、実施の形態２に係る操作検出システム１及び操作検出方法を説明する。実施の形態１に係る操作検出システム１では、ユーザから見て空中像の奥側からユーザの眼に光刺激を加えていたが、実施の形態２に係る操作検出システム１では、ユーザから見て表示装置１０Ａの手前側から光刺激を加えている。以下、両者の異なる点を中心に説明する。

【0053】

図６は、実施の形態２に係る操作検出システム１の構成を示す図である。操作検出システム１は、空中像生成装置１０の代わりにユーザが焦点を合わせる画像を表示する表示装置１０Ａを備える。表示装置１０Ａは、例えば、液晶ディスプレイである。表示装置１０Ａが表示する画像は、ユーザが焦点を合わせて注視する注視対象の一例である。

【0054】

光刺激印加装置２０は、透過パネル２３で生成された周期的なパターン、例えば、チェッカーパターンの光に基づいて空中像を生成するクロスミラーアレイ２５をさらに備える。クロスミラーアレイ２５は、クロスミラーアレイ１２と同一又は同等の構成を備え、ユーザから見て表示装置１０Ａの手前側に配置され、表示装置１０Ａと重なる位置で周期的に点滅する空中像を生成し、ユーザの眼に光刺激を印加する。
以上が、操作検出システム１の構成である。

【0055】

以上説明したように、実施の形態２に係る操作検出システム１は、表示装置１０Ａと、ユーザから見て表示装置１０Ａの手前側に配置され、表示装置１０Ａと重なる位置で周期的に点滅する空中像を生成し、ユーザの眼に向けて周期的な光刺激を加える光刺激印加装置２０と、を備える。このため、ユーザが焦点を合わせて注視する注視対象を任意に選択できる。また、光刺激印加装置２０が表示装置１０Ａの手前側にあるため、操作検出システム１をコンパクトに構成できる。

【0056】

（実施の形態３）
次に、図７～図１０を参照して、実施の形態３に係る操作検出システム１及び操作検出方法を説明する。実施の形態１に係る操作検出システム１では、１つの空中像に向かうユーザの視線を検出していたが、実施の形態３に係る操作検出システム１では、複数の空中像のいずれにユーザの視線が向かっているかを検出する。以下、両者の異なる点を中心に説明する。

【0057】

図７は、実施の形態３に係る操作検出システム１の構成を示す図であり、図８は、実施の形態３に係る空中像生成装置１０が生成する空中像の一例を示す図である。図７では、図面の見やすさを考慮して、空中像生成装置１０が生成する空中像や光刺激印加装置２０の数を簡略化して図示している。

【0058】

空中像生成装置１０は、図８に示すように、文字Ａ、Ｂ、Ｃ、…を示す複数の空中像を並べて配置する。操作検出システム１は、複数の光刺激印加装置２０を備え、各光刺激印加装置２０は、ユーザから見て各空中像と重なる位置で周期的に点滅する光刺激をユーザの眼に加える。各光刺激印加装置２０は、ユーザが視線を向けた空中像を識別するため、空中像毎に異なる値の周波数でユーザに光刺激を印加する。例えば、文字Ａの背後の光刺激印加装置２０は、周波数７Ｈｚの光刺激をユーザに印加し、文字Ｂの背後の光刺激印加装置２０は、周波数１１Ｈｚの光刺激をユーザに印加する。空中像毎に重ね合わせる光刺激の周波数は、テキスト入力装置５０における計算を考慮すると、いずれも素数にすることが好ましく、７以上の素数であることがより好ましい。

【0059】

操作検出システム１は、空中像生成装置１０及び操作検出装置４０に接続されるテキスト入力装置５０をさらに備える。操作検出装置４０は、脳波の周波数成分からＳＳＶＥＰが一定時間継続して検出された場合にＳＳＶＥＰの周波数に関するデータを含む操作信号をテキスト入力装置５０に向けて出力する。テキスト入力装置５０は、空中像生成装置１０に文字を含む複数の空中像を生成させると共に、操作検出装置４０からの操作信号に含まれる周波数に関するデータに基づいてユーザが選択した文字を判別し、判別された文字をテキストに入力する。

【0060】

図９（ａ）は、実施の形態３に係るテキスト入力装置５０のハードウェア構成を示すブロック図である。テキスト入力装置５０は、例えば、汎用コンピュータであり、操作部５１と、表示部５２と、通信部５３と、記憶部５４と、制御部５５と、を備える。テキスト入力装置５０の各部は、内部バス（図示せず）を介して互いに通信可能に接続されている。

【0061】

操作部５１は、ユーザの指示を受け付け、受け付けた操作に対応する信号を制御部５５に供給する。操作部５１は、例えば、マウス、キーボードを備える。操作部５１は、ユーザに注視させる空中像を選択する管理者の操作を受け付ける。

【0062】

表示部５２は、制御部５５から供給される画像データに基づいて、テキスト入力装置５０を管理する管理者に向けて各種の画像を表示する。表示部５２は、例えば、ユーザが選択した文字が表示される。

【0063】

通信部５３は、空中像生成装置１０のディスプレイ１１及び操作検出装置４０の通信部４３と通信可能に接続されるインターフェースである。

【0064】

記憶部５４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスクドライブを備える。記憶部５４は、制御部５５に実行されるプログラムや各種のデータ、例えば、空中像の画像データを記憶する。また、記憶部５４は、制御部５５が処理を実行するためのワークメモリとして機能する。さらに、記憶部５４は、画像データベース５４１を記憶する。

【0065】

図９（ｂ）は、実施の形態３に係る画像データベース５４１のデータテーブルの一例を示す図である。画像データベース５４１では、文字Ａ、Ｂ、Ｃ、…と、各文字Ａ、Ｂ、Ｃ、…の画像データと、各文字Ａ、Ｂ、Ｃ、…の空中像に対応する光刺激印加装置２０からユーザの眼に印加される光刺激の周波数７Ｈｚ、１１Ｈｚ、１３Ｈｚ、…とを対応付けて記憶する。なお、画像データベース５４１には、管理者により各光刺激印加装置２０に設定された周波数が予め記憶させられるものとする。

【0066】

制御部５５は、ＣＰＵのようなプロセッサを備え、テキスト入力装置５０の各部の制御を行う。制御部５５は、記憶部５４に記憶されているプログラムを実行することにより、図１０の操作検出処理を実行する。制御部５５は、機能的には、空中像生成部５５１と、取得部５５２と、判定部５５３と、出力部５５４と、を備える。

【0067】

空中像生成部５５１は、画像データベース５４１に記憶された画像データを空中像生成装置１０に送信し、空中像生成装置１０に空中像を生成させる。具体的には、操作部５１が受け付けたユーザの指示に基づいて、ディスプレイ１１に表示させる画像に関する画像データ、例えば、文字Ａ、Ｂ、Ｃ、…に関する画像データを記憶部５４から読み出し、当該画像データを各光刺激印加装置２０の並びに合わせたルールで並べ、ディスプレイ１１に向けて送信すればよい。

【0068】

取得部５５２は、操作検出装置４０から出力された周波数に関するデータを含む操作信号を取得する。

【0069】

判定部５５３は、画像データベース５４１を参照して、取得部５５２で取得された操作信号に含まれる周波数に関するデータに基づいて、ユーザが空中像に表示されたどの文字を選択したかを判定する。例えば、図８の画像データベース５４１を参照するとして、操作信号に含まれる周波数に関するデータが１１Ｈｚを示す場合、ユーザが文字Ｂを選択したと判定する。

【0070】

出力部５５４は、判定部５５３でユーザが選択したと判定された文字をテキストに追加し、更新されたテキストを表示するように表示部５２の表示を更新する。
以上が、操作検出システム１の構成である。

【0071】

（操作検出処理）
以下、図１０のフローチャートを参照して、実施の形態３に係る操作検出装置４０及びテキスト入力装置５０が実行する操作検出処理を説明する。操作検出処理は、ユーザが操作検出装置４０及びテキスト入力装置５０を起動した時点で開始される。

【0072】

図１０（ｂ）を参照して、テキスト入力装置５０が実行する操作検出処理の流れを説明する。まず、空中像生成部５５１は、ユーザの指示に基づいて空中像生成装置１０に複数の空中像を生成させ、空中像生成装置１０に空中像を生成させたことを操作検出装置４０に通知する（ステップＳ２１）。

【0073】

次に、図１０（ａ）を参照して、操作検出装置４０が実行する操作検出処理を説明する。操作検出装置４０は、空中像生成装置１０が空中像を生成したことを検知すると、ステップＳ１１～Ｓ１４の処理を順番に実行する。そして、ステップＳ１４の処理でＹｅｓの場合、判定部５５３は、検出したＳＳＶＥＰの周波数に関するデータを含む操作信号を出力する（ステップＳ１５Ａ）。

【0074】

再び図１０（ｂ）を参照して、テキスト入力装置５０が実行する操作検出処理の流れを説明する。取得部５５２は、操作検出装置４０からの操作信号を取得する（ステップＳ２２）。

【0075】

次に、判定部５５３は、記憶部５４の画像データベース５４１を参照して、ステップＳ２２の処理で取得された操作信号に含まれる周波数に関するデータに基づいて、ユーザが空中像に表示されたどの文字を選択したかを判定する（ステップＳ２３）。

【0076】

次に、出力部５５４は、ステップＳ２３の処理でユーザが選択したと判定された文字をテキストに入力し、表示部５２の表示を更新し（ステップＳ２４）、処理をステップＳ２１に戻す。
以上が、操作検出処理の流れである。

【0077】

以上説明したように、実施の形態３に係る操作検出システム１は、空中の異なる位置に複数の空中像を生成する空中像生成装置１０と、ユーザから見て空中像生成装置１０により生成される各空中像とそれぞれ重なる位置で、互いに異なる周波数で周期的に点滅する光を放射する光刺激印加装置２０と、を備える。このため、ユーザが複数の空中像のうちどの空中像に視線を向けているかを検出できる。

【0078】

本発明は上記実施の形態に限られず、以下に述べる変形も可能である。

【0079】

（変形例）
上記実施の形態では、光刺激印加装置２０がユーザから見て空中像の奥側からユーザに光刺激を加えていたが、本発明はこれに限られない。例えば、ユーザから見て空中像の手前側から光刺激を加えてもよく、空中像と同じ位置から光刺激を加えてもよい。この場合、ユーザによる空中像の注視を妨げることがないように、光刺激印加装置２０をできるだけコンパクトに構成することが好ましい。

【0080】

上記実施の形態では、光刺激印加装置２０から放射される光がチェッカーパターンであったが、本発明はこれに限られない。光刺激印加装置２０から放射される光は、ユーザの視覚野にＳＳＶＥＰを誘発することができれば、他のパターンであってもよく、例えば、単なる点であってもよい。

【0081】

上記実施の形態では、光源２１は信号発生器２４で設定された周波数でオンオフする電流より点滅していたが、本発明はこれに限られない。例えば、信号発生器２４と操作検出装置４０とを通信可能に接続しておき、操作検出装置４０からの信号に基づいて信号発生器２４で設定される周波数が調整されるように構成してもよい。

【0082】

上記実施の形態では、脳波計３０と操作検出装置４０とはケーブルを介して互いに接続されていたが、本発明はこれに限られない。脳波計３０と操作検出装置４０とは、インターネットのような通信回線を介して接続されてもよく、近距離無線通信技術を利用して接続されてもよい。

【0083】

上記実施の形態２では、表示装置１０Ａの画像をユーザに注視させていたが、本発明はこれに限られない。例えば、ポスター、看板をユーザに注視させてもよい。

【0084】

上記実施の形態３では、空中像生成装置１０が複数の空中像を生成し、複数の光刺激印加装置２０が各空中像と重なる位置でユーザに向けて光刺激を印加していたが、本発明はこれに限られない。例えば、各空中像はそれぞれ別個の空中像生成装置１０が生成してもよい。また、一つの光刺激印加装置２０から各空中像に対応する別個の光刺激をユーザの眼に向けて印加するように構成してもよい。

【0085】

上記実施の形態３では、操作検出装置４０がＳＳＶＥＰの検出が一定時間継続しているかどうかを判定したが、本発明はこれに限られない。例えば、操作検出装置４０がＳＳＶＥＰを検出すると、テキスト入力装置５０に向けて操作信号を出力し、テキスト入力装置５０が操作信号を一定時間継続して取得した場合に、ユーザによる文字入力操作がなされたと判定してもよい。

【0086】

上記実施の形態３では、操作検出装置４０とテキスト入力装置５０とが別体であり、両者が通信可能に接続されていたが、本発明はこれに限られない。例えば、操作検出装置４０及びテキスト入力装置５０の機能を一つのコンピュータで実現してもよい。

【0087】

上記実施の形態３では、文字を選択して入力する場合を例に説明したが、本発明はこれに限られない。例えば、数字、記号又は図形を選択して入力するように構成してもよい。

【0088】

上記実施の形態では、注視対象に向かうユーザの視線が検出することで、外部機器の電源のオンオフを実行したり、テキスト入力を実行したりしていたが、本発明はこれに限られない。注視対象に向かうユーザの視線が検出することで任意の機器を操作することが可能であり、例えば、拡張現実におけるインタラクションに適用してもよい。

【0089】

上記実施の形態では、操作検出装置４０及びテキスト入力装置５０の記憶部４４、５４に各種データが記憶されていたが、本発明はこれに限定されない。例えば、各種データは、その全部又は一部が通信ネットワークを介して外部のサーバやコンピュータに記憶されていてもよい。

【0090】

上記実施の形態では、操作検出装置４０及びテキスト入力装置５０は、それぞれ記憶部４４、５４に記憶されたプログラムに基づいて動作していたが、本発明はこれに限定されない。例えば、プログラムにより実現された機能的な構成をハードウェアにより実現してもよい。

【0091】

上記実施の形態では、操作検出装置４０及びテキスト入力装置５０は、例えば、汎用コンピュータであったが、本発明はこれに限られない。例えば、操作検出装置４０及びテキスト入力装置５０は、クラウド上に設けられたコンピュータで実現してもよい。

【0092】

上記実施の形態では、操作検出装置４０及びテキスト入力装置５０が実行する処理は、上述の物理的な構成を備える装置が記憶部４４、５４に記憶されたプログラムを実行することによって実現されていたが、本発明は、プログラムとして実現されてもよく、そのプログラムが記録された記憶媒体として実現されてもよい。

【0093】

また、上述の処理動作を実行させるためのプログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）のようなコンピュータにより読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理動作を実行する装置を構成してもよい。

【0094】

上記実施の形態は例示であり、本発明はこれらに限定されるものではなく、特許請求の範囲に記載した発明の趣旨を逸脱しない範囲でさまざまな実施の形態が可能である。各実施の形態や変形例で記載した構成要素は自由に組み合わせることが可能である。また、特許請求の範囲に記載した発明と均等な発明も本発明に含まれる。

【0095】

以下、実施例を挙げて本発明を具体的に説明する。ただし、本発明はこれらの実施例に限定されるものではない。

【0096】

（実施例１）
実施例１では、被験者が空中像を注視している際に、焦点外にある背景位置からの周期的な光刺激により被験者の視覚野にＳＳＶＥＰが誘発されるかどうかを検証した。

【0097】

実施例１における実験装置は、実施の形態１に係る操作検出システム１と同一又は同等の構成を備える。実験装置では、液晶ディスプレイから表示した文字を、クロスミラーアレイ（Crossed Mirror Array：ＣＭＡ）を通すことで空中像として投影した。また、被験者から見て空中像の奥側２０ｃｍの位置に光刺激印加装置２０を設置し、光刺激印加装置２０からチェッカーパターン状に緑色の光を周期的に点滅させた。光刺激印加装置２０は、緑色ＬＥＤから放射される光の点滅周波数を信号発生器２４で制御し、ＬＥＤからの光を散乱体及びチェッカーパターン（２．８ｍｍ周期）のフォトマスクに通すことで、緑色の光をチェッカーパターン状に点滅させた。

【0098】

被験者は、空中像から６０ｃｍ離れた位置に着席し、投影される空中像を注視した。被験者が空中像の文字を注視する間、１４Ｈｚ又は３０Ｈｚの光刺激を空中像の背後で１２秒間点滅させ、その後１０秒間休憩するという試行を６試行実施した。このとき、被験者には、国際１０－２０法におけるＯｚ及びＰｚの位置に電極を貼り付け、脳波計を用いて脳波を計測した。脳波計で計測された１２秒間の脳波から、前半２秒間のデータをカットし、残りの１０秒間のデータをパワースペクトル解析し、脳波の周波数成分にＳＳＶＥＰが見られるかどうかを確認した。

【0099】

以下に実験結果を示す。図１１（ａ）は、光刺激の周波数が１４Ｈｚの場合の脳波のパワースペクトルを示すグラフであり、図１１（ｂ）は、光刺激の周波数が３０Ｈｚの場合の脳波のパワースペクトルを示すグラフである。図１１（ａ）の点線で囲んだ領域は、ＳＳＶＥＰの誘発が顕著に表れている部分である。光刺激の周波数が１４Ｈｚの場合において被験者の脳波からＳＳＶＥＰを検出できた。被験者が注視していた空中像の背景からの光刺激でも被験者の視覚野にＳＳＶＥＰが発生することが確認できた。光刺激は被験者から見て焦点外であり、被験者が直接光刺激を注視する場合に比べると、光刺激による被験者への負荷を低減できることも確認できた。

【0100】

（実施例２）
実施例２では、被験者に周期的に点滅する空中像を投影し、被験者が空中像を注視することで空中像の光刺激により被験者の視覚野にＳＳＶＥＰが誘発されるかどうか検証を行った。

【0101】

図１２は、実施例２における実験装置の模式図である。実験装置では、緑色のＬＥＤを光源とした光刺激印加装置から出力した光のチェッカーパターンを、ＣＭＡを通して空中像として投影した。被験者は、表示される空中像から６０ｃｍ離れた位置に着席し、周期的に点滅する空中像を注視した。その他の条件は、実施例１の条件と同一である。

【0102】

以下、実験結果を示す。図１３（ａ）は、光刺激の周波数が１４Ｈｚの場合の脳波のパワースペクトルを示すグラフであり、図１３（ｂ）は、光刺激の周波数が３０Ｈｚの場合の脳波のパワースペクトルを示すグラフである。図１３（ａ）、（ｂ）の点線で囲んだ領域は、ＳＳＶＥＰの誘発が顕著に表れている部分である。光刺激の周波数が１４Ｈｚの場合及び３０Ｈｚの場合の両方で、被験者にＳＳＶＥＰが発生することが確認できた。以上から、周期的に点滅する空中像を注視することで、被験者の視覚野にＳＳＶＥＰを誘発できることを確認できた。

【0103】

（実施例３）
実施例３は、実施例２における実験結果を踏まえ、被験者が背景の画像を注視しているときに焦点外で周期的に点滅する空中像の光刺激により被験者の視覚野にＳＳＶＥＰが誘発されるかどうか検証を行った。

【0104】

実施例３における実験装置は、実施の形態２に係る操作検出システム１と同一又は同等の構成を備える。実験装置では、緑色のＬＥＤを光源とした光刺激印加装置から出力した光のチェッカーパターンを、ＣＭＡを通して空中像として空中に投影した。被験者から観察して空中像の奥側２０ｃｍの位置に液晶ディスプレイを設置した。被験者は、表示される空中像から６０ｃｍ離れた位置に着席し、奥側にある液晶ディスプレイに表示された文字に焦点を合わせて注視した。その他の条件は、実施例１の条件と同一である。

【0105】

以下に実験結果を示す。図１４（ａ）は、光刺激の周波数が１４Ｈｚの場合の脳波のパワースペクトルを示すグラフであり、図１４（ｂ）は、光刺激の周波数が３０Ｈｚの場合の脳波のパワースペクトルを示すグラフである。図１４（ａ）、（ｂ）の点線で囲んだ領域は、ＳＳＶＥＰの誘発が顕著に表れている部分である。周波数が１４Ｈｚの場合及び３０Ｈｚの場合の両方で、被験者にＳＳＶＥＰが発生することが確認できた。以上から、焦点の手元側に位置する空中像による光刺激でも被験者の視覚野にＳＳＶＥＰを誘発できることを確認できた。

【符号の説明】

【0106】

１ 操作検出システム
１０ 空中像生成装置
１０Ａ 表示装置
１１ ディスプレイ
１２ クロスミラーアレイ
２０ 光刺激印加装置
２１ 光源
２２ 光拡散素子
２３ 透過パネル
２４ 信号発生器
２５ クロスミラーアレイ
３０ 脳波計
３１ 電極
３２ 脳波計本体
４０ 操作検出装置
４１ 操作部
４２ 表示部
４３ 通信部
４４ 記憶部
４５ 制御部
４５１ 取得部
４５２ 抽出部
４５３ パワースペクトル解析部
４５４ 判定部
５０ テキスト入力装置
５１ 操作部
５２ 表示部
５３ 通信部
５４ 記憶部
５４１ 画像データベース
５５ 制御部
５５１ 空中像生成部
５５２ 取得部
５５３ 判定部
５５４ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】