知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-23
(45)【発行日】2024-10-31
(54)【発明の名称】情報処理システム、情報処理端末、および想起操作認識方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20241024BHJP
【ＦＩ】
G06F3/01 515
【請求項の数】
15
(21)【出願番号】P 2023531172
(86)(22)【出願日】2021-06-28
(86)【国際出願番号】 JP2021024418
(87)【国際公開番号】W WO2023275957
(87)【国際公開日】2023-01-05
【審査請求日】2023-11-22
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】江坂 文明
【審査官】三吉 翔子
(56)【参考文献】
【文献】米国特許出願公開第２０２１／０００４０８４（ＵＳ，Ａ１）
【文献】特開２０２０－０６１１６２（ＪＰ，Ａ）
【文献】特開２０１３－０１６１１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
脳波検出装置と、情報処理端末とを備え、前記脳波検出装置は、
ユーザの脳波を検出する検出装置と、
検出された脳波の特徴を前記情報処理端末が処理可能なデータに変換するための変換辞書を記憶する第１の記憶装置と、
前記変換辞書に基づき、前記検出装置により検出された脳波をデータに変換する第１の処理装置と、
前記情報処理端末とデータを送受信する第１の通信装置と、を有し、
前記情報処理端末は、
前記脳波検出装置とデータを送受信する第２の通信装置と、
該第２の通信装置により受信されたデータに基づき、該データに対応した対応処理を実行する第２の処理装置と、を有し、
前記第２の処理装置は、前記情報処理端末と前記脳波検出装置との連携動作を可能にする連携処理の実行時または実行後に、前記情報処理端末において動作中のソフトウェアで使用される指示入力に係るデータ群を前記脳波検出装置に前記第２の通信装置を介して送信し、
前記第１の処理装置は、前記第１の通信装置を介して受信された前記データ群を前記第１の記憶装置に保存し、前記データ群を利用して変換処理を実行し、
前記情報処理端末は、
前記情報処理端末が使用するソフトウェアを特定する特定情報と、該ソフトウェアで使用される指示入力に係るデータ群とが前記ソフトウェアの種類ごとに対応付けられた第２のテーブルを記憶する第２の記憶装置を備え、
前記第２の処理装置は、前記第２のテーブルを参照して、前記情報処理端末において使用中のソフトウェアに対応した前記データ群を特定し、特定された前記データ群を前記脳波検出装置に送信し、
前記第１の処理装置は、受信された該データ群に基づいて、変換すべきデータを限定する、
情報処理システム。
【請求項2】
脳波検出装置と、情報処理端末とを備え、前記脳波検出装置は、
ユーザの脳波を検出する検出装置と、
検出された脳波の特徴を前記情報処理端末が処理可能なデータに変換するための変換辞書を記憶する第１の記憶装置と、
前記変換辞書に基づき、前記検出装置により検出された脳波をデータに変換する第１の処理装置と、
前記情報処理端末とデータを送受信する第１の通信装置と、を有し、
前記情報処理端末は、
前記脳波検出装置とデータを送受信する第２の通信装置と、
該第２の通信装置により受信されたデータに基づき、該データに対応した対応処理を実行する第２の処理装置と、を有し、
前記第２の処理装置は、前記情報処理端末と前記脳波検出装置との連携動作を可能にする連携処理の実行時または実行後に、前記情報処理端末において動作中のソフトウェアで使用される指示入力に係るデータ群を前記脳波検出装置に前記第２の通信装置を介して送信し、
前記第１の処理装置は、前記第１の通信装置を介して受信された前記データ群を前記第１の記憶装置に保存し、前記データ群を利用して変換処理を実行し、
前記情報処理端末は、
前記情報処理端末が使用する入力モードを特定する特定情報と、該入力モードで使用される指示入力に係るデータ群とが前記入力モードの種類ごとに対応付けられた第３のテーブルを記憶する第３の記憶装置を備え、
前記第２の処理装置は、前記第３のテーブルを参照して、前記情報処理端末において使用中の入力モードに対応した前記データ群を特定し、特定された前記データ群を前記脳波検出装置に送信し、
前記第１の処理装置は、受信された該データ群に基づいて、変換すべきデータを限定する、
情報処理システム。
【請求項3】
請求項１に記載の情報処理システムにおいて、前記情報処理端末は、
前記情報処理端末が使用する入力モードを特定する特定情報と、該入力モードで使用される指示入力に係るデータ群とが前記入力モードの種類ごとに対応付けられた第３のテーブルを記憶する第３の記憶装置を備え、
前記第２の処理装置は、前記第３のテーブルを参照して、前記情報処理端末において使用中の入力モードに対応した前記データ群を特定し、特定された前記データ群を前記脳波検出装置に送信し、
前記第１の処理装置は、受信された該データ群に基づいて、変換すべきデータを限定する、
情報処理システム。
【請求項4】
請求項１または請求項２に記載の情報処理システムにおいて、前記変換されたデータに対する前記ユーザによる評価を受け付け、前記評価の対象となるデータと、該データの変換に用いられた脳波とに基づいて、前記変換辞書に含まれる該データに対応した脳波の波形特徴を調整する学習装置を備える、
情報処理システム。
【請求項5】
請求項１または請求項２に記載の情報処理システムにおいて、前記第２の処理装置は、前記情報処理端末の画面に表示されたポインタを基準または起点にした操作を、前記対応処理として実行する、
情報処理システム。
【請求項6】
請求項５に記載の情報処理システムにおいて、前記画面に順次表示される複数種類のポインタの各々について、前記ユーザに向けた操作の指示を出力し、前記変換されたデータに対する前記ユーザによる評価を受け付け、前記評価に基づいて、前記複数種類のポインタに順位付けを行う学習装置を備える、
情報処理システム。
【請求項7】
請求項２または請求項３に記載の情報処理システムにおいて、前記入力モードは、テキスト入力モードを含む、
情報処理システム。
【請求項8】
請求項１または請求項２に記載の情報処理システムにおいて、前記情報処理端末は、スマートフォン、タブレット端末、またはタッチパネル付きノートパソコンである、
情報処理システム。
【請求項9】
検出されたユーザの脳波に基づいてデータを出力する脳波検出装置と連携動作が可能な情報処理端末であって、前記脳波検出装置とデータを送受信する第２の通信装置と、
該第２の通信装置により受信されたデータに基づき、該データに対応した対応処理を実行する第２の処理装置と、を有し、
前記第２の処理装置は、前記情報処理端末と前記脳波検出装置との連携動作を可能にする連携処理の実行時または実行後に、前記情報処理端末において動作中のソフトウェアで使用される指示入力に係るデータ群を前記脳波検出装置に前記第２の通信装置を介して送信し、
当該情報処理端末は、前記情報処理端末が使用するソフトウェアを特定する特定情報と、該ソフトウェアで使用される指示入力に係るデータ群とが前記ソフトウェアの種類ごとに対応付けられた第２のテーブルを記憶する第２の記憶装置を備え、
前記第２の処理装置は、前記第２のテーブルを参照して、前記情報処理端末において使用中のソフトウェアに対応した前記データ群を特定し、特定された前記データ群を前記脳波検出装置に送信する、
情報処理端末。
【請求項10】
検出されたユーザの脳波に基づいてデータを出力する脳波検出装置と連携動作が可能な情報処理端末であって、前記脳波検出装置とデータを送受信する第２の通信装置と、
該第２の通信装置により受信されたデータに基づき、該データに対応した対応処理を実行する第２の処理装置と、を有し、
前記第２の処理装置は、前記情報処理端末と前記脳波検出装置との連携動作を可能にする連携処理の実行時または実行後に、前記情報処理端末において動作中のソフトウェアで使用される指示入力に係るデータ群を前記脳波検出装置に前記第２の通信装置を介して送信し、
当該情報処理端末は、前記情報処理端末が使用する入力モードを特定する特定情報と、該入力モードで使用される指示入力に係るデータ群とが前記入力モードの種類ごとに対応付けられた第３のテーブルを記憶する第３の記憶装置を備え、
前記第２の処理装置は、前記第３のテーブルを参照して、前記情報処理端末において使用中の入力モードに対応した前記データ群を特定し、特定された前記データ群を前記脳波検出装置に送信する、
情報処理端末。
【請求項11】
請求項９に記載の情報処理端末において、前記情報処理端末が使用する入力モードを特定する特定情報と、該入力モードで使用される指示入力に係るデータ群とが前記入力モードの種類ごとに対応付けられた第３のテーブルを記憶する第３の記憶装置を備え、
前記第２の処理装置は、前記第３のテーブルを参照して、前記情報処理端末において使用中の入力モードに対応した前記データ群を特定し、特定された前記データ群を前記脳波検出装置に送信する、
情報処理端末。
【請求項12】
請求項９または請求項１０に記載の情報処理端末において、前記第２の処理装置は、前記情報処理端末の画面に表示されたポインタを基準または起点にした操作を、前記対応処理として実行する、
情報処理端末。
【請求項13】
想起操作認識方法であって、ユーザが想起した操作の認識に用いる前記ユーザの脳波を検出する検出工程と、
情報処理端末が受け付ける操作の種別と、前記操作の種別に対応する脳波の種別とが前記操作の種別ごとに対応付けられた第１のテーブルを参照し、前記第１のテーブルに含まれる脳波の種別の中で、前記検出工程により検出された脳波に対応する脳波の種別を判別する判別工程と、
前記判別工程により判別された脳波の種別に基づき、前記第１のテーブルを参照して、前記ユーザが想起した操作を認識する認識工程と、
前記認識工程により認識された操作を実行する実行工程と、
前記第１のテーブルに含まれる操作の種別の中から、前記情報処理端末において使用中のソフトウェアまたは入力モードの種類に応じて、前記認識工程において認識すべき操作の種別を限定する限定工程と、を有し、
前記判別工程は、前記限定工程により限定された操作の種別に対応する脳波の種別の中で、前記検出された脳波に対応する脳波の種別を判別し、
前記限定工程は、前記使用中のソフトウェアの種類に基づき、前記情報処理端末が使用するソフトウェアを特定する特定情報と、前記認識工程において認識すべき操作の種別のリストとが前記ソフトウェアの種類ごとに対応付けられた第２のテーブルを参照して、前記認識工程において認識すべき操作の種別を限定する、
想起操作認識方法。
【請求項14】
想起操作認識方法であって、ユーザが想起した操作の認識に用いる前記ユーザの脳波を検出する検出工程と、
情報処理端末が受け付ける操作の種別と、前記操作の種別に対応する脳波の種別とが前記操作の種別ごとに対応付けられた第１のテーブルを参照し、前記第１のテーブルに含まれる脳波の種別の中で、前記検出工程により検出された脳波に対応する脳波の種別を判別する判別工程と、
前記判別工程により判別された脳波の種別に基づき、前記第１のテーブルを参照して、前記ユーザが想起した操作を認識する認識工程と、
前記認識工程により認識された操作を実行する実行工程と、
前記第１のテーブルに含まれる操作の種別の中から、前記情報処理端末において使用中のソフトウェアまたは入力モードの種類に応じて、前記認識工程において認識すべき操作の種別を限定する限定工程と、を有し、
前記判別工程は、前記限定工程により限定された操作の種別に対応する脳波の種別の中で、前記検出された脳波に対応する脳波の種別を判別し、
前記限定工程は、前記使用中の入力モードの種類に基づき、前記情報処理端末が使用する入力モードを特定する特定情報と、前記認識工程において認識すべき操作の種別のリストとが前記入力モードの種類ごとに対応付けられた第３のテーブルを参照して、前記認識工程において認識すべき操作の種別を限定する、
想起操作認識方法。
【請求項15】
請求項１３に記載の想起操作認識方法において、前記限定工程は、前記使用中の入力モードの種類に基づき、前記情報処理端末が使用する入力モードを特定する特定情報と、前記認識工程において認識すべき操作の種別のリストとが前記入力モードの種類ごとに対応付けられた第３のテーブルを参照して、前記認識工程において認識すべき操作の種別を限定する、
想起操作認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理端末、および想起操作認識方法に関する。
【背景技術】
【0002】
検出されたユーザの神経学的意図データに基づいてアプリケーションの状態を変化させる手法が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許第９８６４４３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、近年では、ユーザが、スマートフォン、タブレット端末、タッチパネル付きノートパソコンなどの情報処理端末を操作する機会が非常に増えている。
【0005】
しかしながら、特許文献１では、ユーザが想起した操作を認識して情報処理端末の操作に適用する場合については、一切考慮がなされていない。すなわち、ユーザが想起した操作を認識して情報処理端末の操作に適用する手法に関し、具体的な手法あるいは実現可能な手法について、一切記載がない。
【0006】
特に、自身の手指を用いた操作が容易でないユーザに対しては、ユーザが想起した操作を認識して情報処理端末の操作に適用する手法の需要性は、非常に高い。
【0007】
このような事情により、ユーザが想起した操作を認識して情報処理端末の操作に適用することができる技術の提供が望まれている。
【課題を解決するための手段】
【0008】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【0009】
本発明の代表的な実施の形態による情報処理システムは、脳波検出装置と、情報処理端末とを備え、前記脳波検出装置は、ユーザの脳波を検出する検出装置と、検出された脳波の特徴を前記情報処理端末が処理可能なデータに変換するための変換辞書を記憶する第１の記憶装置と、前記変換辞書に基づき、前記検出装置により検出された脳波をデータに変換する第１の処理装置と、前記情報処理端末とデータを送受信する第１の通信装置と、を有し、前記情報処理端末は、前記脳波検出装置とデータを送受信する第２の通信装置と、該第２の通信装置により受信されたデータに基づき、該データに対応した対応処理を実行する第２の処理装置と、を有し、前記第２の処理装置は、前記情報処理端末と前記脳波検出装置との連携動作を可能にする連携処理の実行時または実行後に、前記情報処理端末において動作中のソフトウェアで使用される指示入力に係るデータ群を前記脳波検出装置に前記第２の通信装置を介して送信し、前記第１の処理装置は、前記第１の通信装置を介して受信された前記データ群を前記第１の記憶装置に保存し、前記データ群を利用して変換処理を実行する、情報処理システムである。
【発明の効果】
【0010】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【0011】
本発明の代表的な実施の形態によれば、ユーザが想起した操作を認識して情報処理端末の操作に適用することができる。
【図面の簡単な説明】
【0012】
【図1】実施形態１に係る情報処理システムの外観図である。
【図2】情報処理システムにおけるヘッドセットおよびスマートフォンのハードウェア構成の一例を示す図である。
【図3】情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。
【図4】操作入力方式の優先順位の一例を示す図である。
【図5】第１辞書の一例を示す図である。
【図6】第２辞書の一例を示す図である。
【図7】入力モード別操作種別リストの一例を示す図である。
【図8】入力モード別操作種別リストの一例を示す図である。
【図9】オペレーティングシステムのみが使用されている状態のスマートフォンの表示例を示す図である。
【図10A】実施形態１に係る情報処理システムの処理フローを示す図である。
【図10B】実施形態１に係る情報処理システムの処理フローを示す図である。
【図10C】実施形態１に係る情報処理システムの処理フローを示す図である。
【図10D】実施形態１に係る情報処理システムの処理フローを示す図である。
【図11】オペレーティングシステム用操作種別リストのイメージ図である。
【図12】第１アプリが使用されている状態のスマートフォンの表示例を示す図である。
【図13】第１アプリ用操作種別リストのイメージ図である。
【図14】学習モードが選択されている状態のスマートフォンの表示例を示す図である。
【図15】表示するポインタを別のポインタに変更して操作指示が出力されている状態の表示例を示す図である。
【図16】表示するポインタをさらに別のポインタに変更して操作指示が出力されている状態の表示例を示す図である。
【図17】使用中のソフトウェアが第２アプリであり、入力モードがポインタ入力モードである場合のスマートフォンの表示例を示す図である。
【図18】手前のウィンドウをタップして広げた状態の表示例を示す図である。
【図19】使用ソフトが第２アプリであり、入力モードがキャラクタ操作入力モードである場合のスマートフォンの表示例を示す図である。
【図20】第２アプリ用操作種別リストのイメージ図である。
【図21】実施形態２に係る情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。
【図22】第３辞書の一例を示す図である。
【図23A】実施形態２に係る情報処理システムの実施例１による処理フロー図である。
【図23B】実施形態２に係る情報処理システムの実施例１による処理フロー図である。
【図23C】実施形態２に係る情報処理システムの実施例１による処理フロー図である。
【図23D】実施形態２に係る情報処理システムの実施例１による処理フロー図である。
【図24A】実施形態２に係る情報処理システムの実施例２による処理フロー図である。
【図24B】実施形態２に係る情報処理システムの実施例２による処理フロー図である。
【図24C】実施形態２に係る情報処理システムの実施例２による処理フロー図である。
【図24D】実施形態２に係る情報処理システムの実施例２による処理フロー図である。
【図25】実施形態３に係る情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。
【図26A】実施形態３に係る情報処理システムの処理フローを示す図である。
【図26B】実施形態３に係る情報処理システムの処理フローを示す図である。
【図26C】実施形態３に係る情報処理システムの処理フローを示す図である。
【図26D】実施形態３に係る情報処理システムの処理フローを示す図である。
【図27】実施形態４に係る情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。
【図28A】実施形態４に係る情報処理システムの処理フローを示す図である。
【図28B】実施形態４に係る情報処理システムの処理フローを示す図である。
【図28C】実施形態４に係る情報処理システムの処理フローを示す図である。
【図28D】実施形態４に係る情報処理システムの処理フローを示す図である。
【発明を実施するための形態】
【0013】
これより、本発明の実施形態について説明する。なお、以下で説明する各実施形態は、本発明を実現するための一例であり、本発明の技術範囲を限定するものではない。
【0014】
また、以下の各実施形態において、同一の機能を有する構成要素には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。
【0015】
（実施形態１）
本発明の実施形態１に係る情報処理システムについて説明する。
本発明の実施形態１に係る情報処理システムについて説明する。
【0016】
〈情報処理システムの概要〉
実施形態１に係る情報処理システムは、ユーザが使用している情報処理端末において、ユーザが頭の中で想起した操作を、ユーザの脳波を検出することにより認識して実行させるシステムである。ここでは、この操作のことを想起入力方式による操作という。当該情報処理システムでは、情報処理端末が受け付ける操作の種別（以下、操作種別ともいう）と、その操作種別をユーザが想起したときに発生するユーザの脳波の種別（以下、脳波種別ともいう）とが、操作種別ごとに対応付けられたテーブルである辞書を、予め用意し記憶している。また、情報処理端末において使用されるソフトウェアおよび入力モードごとに、その条件において必要と考えられる操作種別を限定的に列挙した操作種別リストも、予め用意し記憶している。使用されているソフトウェアおよび入力モードが検知されると、その条件に対応した操作種別リストを選定して上記辞書に適用し、認識すべき操作種別をその時点で必要なものに絞り込む。このような機能により、脳波の種別を判別する処理の負担を低減し、操作の認識精度を向上させ、想起入力方式による操作の実用性を高める。
実施形態１に係る情報処理システムは、ユーザが使用している情報処理端末において、ユーザが頭の中で想起した操作を、ユーザの脳波を検出することにより認識して実行させるシステムである。ここでは、この操作のことを想起入力方式による操作という。当該情報処理システムでは、情報処理端末が受け付ける操作の種別（以下、操作種別ともいう）と、その操作種別をユーザが想起したときに発生するユーザの脳波の種別（以下、脳波種別ともいう）とが、操作種別ごとに対応付けられたテーブルである辞書を、予め用意し記憶している。また、情報処理端末において使用されるソフトウェアおよび入力モードごとに、その条件において必要と考えられる操作種別を限定的に列挙した操作種別リストも、予め用意し記憶している。使用されているソフトウェアおよび入力モードが検知されると、その条件に対応した操作種別リストを選定して上記辞書に適用し、認識すべき操作種別をその時点で必要なものに絞り込む。このような機能により、脳波の種別を判別する処理の負担を低減し、操作の認識精度を向上させ、想起入力方式による操作の実用性を高める。
【0017】
〈外観およびハードウェア構成〉
実施形態１に係る情報処理システムの外観およびハードウェア的な構成について説明する。
実施形態１に係る情報処理システムの外観およびハードウェア的な構成について説明する。
【0018】
図１は、実施形態１に係る情報処理システムの外観図である。図１に示すように、実施形態１に係る情報処理システム１は、ヘッドセット（脳波検出装置）２と、スマートフォン（情報処理端末）３とを備えている。ヘッドセット２は、ユーザ９の頭部に装着される。スマートフォン３は、ユーザ９が操作する情報処理端末である。
【0019】
ヘッドセット２と、スマートフォン３とは、電波４ａおよび電波４ｂを用いた無線接続により双方向通信が可能となるように構成される。すなわち、ヘッドセット２とスマートフォン３とは、互いに連携動作が可能である。なお、ヘッドセット２と、スマートフォン３とは、コネクタケーブル５を用いた有線接続により双方向通信が可能となるように構成されてもよい。
【0020】
図２は、情報処理システムにおけるヘッドセットおよびスマートフォンのハードウェア構成の一例を示す図である。
【0021】
図２に示すように、ヘッドセット２は、操作装置２１と、アンテナ２２と、コネクタ２３と、脳波検出用電極装置２４と、インタフェース２５と、プロセッサ２６と、メモリ２７と、ストレージ２８と、バッテリ２９とを備えている。これらは、バス２０を介して互いに接続されており、電気信号あるいはデータの送受信が可能である。なお、ヘッドセット２は、バッテリ２９の代わりに、商用電源からＡＣアダプタ等を介して電力の供給を受けてもよい。
【0022】
スマートフォン３は、操作装置３１と、タッチパネル画像表示装置３２と、アンテナ３３と、コネクタ３４と、マイク３５と、スピーカ３６と、カメラ３７と、インタフェース３８と、プロセッサ３９と、メモリ４０と、ストレージ４１と、バッテリ４２とを備えている。これらは、バス３０を介して互いに接続されており、電気信号あるいはデータの送受信が可能である。
【0023】
コネクタ２３，３４は、ヘッドセット２とスマートフォン３とを有線で接続する際に用いられる。アンテナ２２，３３は、ヘッドセット２とスマートフォン３とを無線で接続する際に用いられる。脳波検出用電極装置２４は、ユーザが想起した操作の認識に用いられるユーザの脳波を表す信号を受信する。インタフェース２５は、操作装置２１、アンテナ２２、コネクタ２３、脳波検出用電極装置２４等からの電気信号をデータに変換してプロセッサ２６等に伝送したり、プロセッサ２６、メモリ２７、あるいはストレージ２８等からのデータを電気信号に変換してコネクタ２３あるいはアンテナ２２に伝送したりする。インタフェース３８は、操作装置３１、タッチパネル画像表示装置３２、アンテナ３３、コネクタ３４、マイク３５、カメラ３７等からの電気信号をデータに変換してプロセッサ３９等に伝送したり、プロセッサ３９、メモリ４０、あるいはストレージ４１等からのデータを電気信号に変換してコネクタ３４、スピーカ３６、あるいはアンテナ３３に伝送したりする。
【0024】
プロセッサ２６，３９は、演算処理あるいはデータ処理を実行する装置であり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）あるいはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成される。メモリ２７，４０は、データを一時的に記憶させておくデバイスであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体記憶装置により構成される。ストレージ２８，４１は、データや多種のデータを格納するデバイスであり、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等の不揮発性記憶装置により構成される。
【0025】
〈機能的構成〉
実施形態１に係る情報処理システム１の機能的な構成について説明する。
実施形態１に係る情報処理システム１の機能的な構成について説明する。
【0026】
図３は、情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。なお、ヘッドセット２の各機能ブロックは、ストレージ２８に記憶されている所定のプログラムを、プロセッサ２６、メモリ２７等を用いて実行し、ハードウェアと連携することにより実現される。また、スマートフォン３の各機能ブロックも同様に、ストレージ４１に記憶されている所定のプログラムを、プロセッサ３９およびメモリ４０等を用いて実行し、ハードウェアと連携することにより実現される。
【0027】
ヘッドセット２は、図３に示すように、機能ブロックとして、通信装置（第１の通信装置）２００と、検出装置（検出装置）２０１と、操作種別リスト適用装置２０２と、脳波種別判別装置２０３と、想起操作認識装置２０４と、学習装置（学習装置）２０５と、第１制御装置２０６と、第１記憶装置（第１の記憶装置）２１０とを備えている。なお、操作種別リスト適用装置２０２、脳波種別判別装置２０３、想起操作認識装置２０４、および第１制御装置２０６は、本発明における第１の処理装置の一例である。
【0028】
スマートフォン３は、図３に示すように、機能ブロックとして、通信装置（第２の通信装置）３００と、操作種別リスト選定装置３０１と、使用ソフト検知装置３０２と、入力モード検知装置３０３と、想起操作受付装置３０４と、タッチ操作受付装置３０５と、音声操作受付装置３０６と、操作受付制御装置３０７と、第２制御装置３０８と、第２記憶装置（第２の記憶装置，第３の記憶装置）３１０とを備えている。なお、操作種別リスト選定装置３０１、使用ソフト検知装置３０２、入力モード検知装置３０３、想起操作受付装置３０４、タッチ操作受付装置３０５、音声操作受付装置３０６、操作受付制御装置３０７、および第２制御装置３０８は、本発明における第２の処理装置の一例である。
【0029】
《ヘッドセットの機能ブロック》
ヘッドセット２の各機能ブロックについて説明する。
ヘッドセット２の各機能ブロックについて説明する。
【0030】
第１記憶装置２１０は、ヘッドセット２を適正に動作させるために必要なデータを記憶する。本実施形態では、第１記憶装置２１０は、第１辞書（変換辞書，第１のテーブル）２１１を記憶している。第１辞書２１１は、スマートフォン３が受け付ける操作種別と、その操作種別に対応する脳波種別とが操作種別ごとに対応付けられたテーブルにより構成される。
【0031】
通信装置２００は、スマートフォン３の通信装置３００と無線または有線にて接続され、双方向通信を行う。通信する信号は、ヘッドセット２を構成する各機能ブロックにおいて入出力されるデータである。無線の通信規格としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いることができる。
【0032】
検出装置２０１は、ユーザの頭部に設置された脳波検出用電極装置２４により受信された電気的な信号に基づいて、ユーザ９の脳波９ｗを検出する。
【0033】
操作種別リスト適用装置２０２は、第１辞書２１１に含まれる操作種別の中から、スマートフォン３において使用中のソフトウェアまたは入力モードの種類に応じて、想起操作認識装置２０４が認識すべき操作種別を限定する。より具体的には、操作種別リスト適用装置２０２は、スマートフォン３から操作種別リスト（データ群）を表す情報を受け取り、その操作種別リストを、限定的に認識すべき操作種別として適用する。本実施形態において、操作種別リストは、使用するソフトウェア別に作成されたソフト別操作種別リストが予め用意されている。また、ソフト別操作種別リストは、使用される入力モード別に作成された単数または複数の入力モード別操作種別リストを含んでいる。操作種別リスト適用装置２０２は、スマートフォン３において使用されている入力モードを表す情報に基づき、その入力モードに対応した入力モード別操作種別リストを、限定的に認識すべき操作種別として適用する。
【0034】
脳波種別判別装置２０３は、第１辞書２１１に含まれる脳波種別の中で、検出装置２０１により検出された脳波に対応する脳波種別を判別する。このとき、操作種別リスト適用装置２０２により限定された操作種別に対応する脳波種別の中で、検出された脳波に対応する脳波種別を判別する。より具体的には、脳波種別判別装置２０３は、検出装置２０１により検出された脳波が、第１辞書２１１に予め登録されている複数の脳波種別のうちいずれに対応するか、あるいは、いずれの脳波種別にも対応しないかを判別する。このとき、判別される脳波種別は、適用された操作種別リストに含まれる操作種別に対応した脳波種別に限定される。
【0035】
想起操作認識装置２０４は、脳波種別判別装置２０３により判別された脳波種別に基づき、第１辞書２１１を参照して、ユーザ９が想起した操作を認識する。より具体的には、想起操作認識装置２０４は、判別された脳波種別に対応した操作種別を、想起入力方式により入力された操作種別として認識し、その認識された操作種別の情報をスマートフォン３に出力する。
【0036】
学習装置２０５は、脳波から操作種別を認識する際の認識精度を向上させるための学習機能を備える。学習装置２０５は、想起操作認識装置２０４により認識された操作に対するユーザ９による評価を受け付け、その評価の対象となる操作と、その操作の認識に用いられた脳波とに基づいて、第１辞書２１１に含まれるその操作の操作種別に対応した脳波種別の波形を調整する。より具体的には、学習装置２０５は、例えば、スマートフォン３においてユーザが想起した操作通りの操作が実行されたときに、ユーザはその旨を表す評価を入力する。学習装置２０５は、検出された脳波と入力された評価とに基づいて、脳波種別の判別精度が向上するように、第１辞書２１１における脳波種別の脳波の波形あるいはパターンを調整する。また、学習装置２０５は、スマートフォン３の画面に表示され、想起入力方式による操作の基準あるいは起点となるポインタについて、複数種類のポインタを順次表示するとともに、操作の指示を出力する。ユーザは、その指示通りの操作を想起する。学習装置２０５は、認識され実行された操作に対するユーザからの評価を受け付け、その評価を基に、上記複数種類のポインタに対して、操作の認識精度が高い順に順位付けをする。
【0037】
第１制御装置２０６は、ヘッドセット２が適正に動作するように各デバイスあるいは各機能ブロックを総合的に制御する。
【0038】
《スマートフォンの機能ブロック》
スマートフォン３の各機能ブロックについて説明する。
スマートフォン３の各機能ブロックについて説明する。
【0039】
第２記憶装置３１０は、スマートフォン３を適正に動作させるために必要なデータを記憶する。本実施形態では、第２記憶装置３１０は、オペレーティングシステム３１１と、第１アプリ３１２と、第２アプリ３１３と、第２辞書（第２のテーブル）３１５と、ヘッドセット制御ツール３１６とを記憶している。第１および第２アプリは、オペレーティングシステム３１１上で動作する各種アプリケーションソフトウェアである。第１アプリ３１２は、インターネットブラウザアプリであり、第２アプリ３１３は、格闘ゲームアプリである。なお、ヘッドセット制御ツール３１６は、ヘッドセットを制御するためのソフトウェアである。そのため、ここでは、スマートフォン３が使用するソフトウェアには含めない。
【0040】
第２辞書３１５は、スマートフォン３が使用するソフトウェアと、そのソフトウェアに対応した操作種別リストとを、ソフトウェア別に対応付けしたテーブルにより構成される。操作種別リストとは、ソフトウェアの使用中に認識すべき操作種別を限定的に列挙したリストである。第２辞書３１５の詳細については後述する。
【0041】
通信装置３００は、ヘッドセット２側の通信装置２００と無線または有線にて接続され、双方向通信を行う。
【0042】
使用ソフト検知装置３０２は、スマートフォン３において使用されているソフトウェアを検知する。本実施形態では、使用されるソフトウェアの例として、前述した、オペレーティングシステム３１１、第１アプリ３１２、第２アプリ３１３を考える。オペレーティングシステムは、例えば、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ（Ａｐｐｌｅ社の使用商標）等である。また、第１および第２アプリは、例えば、スマートフォン３の画面上に表示されるアイコンと対応付けされたアプリケーションソフトウェアである。
【0043】
操作種別リスト選定装置３０１は、検知された使用中のソフトウェアに対応した操作種別リストを、第２辞書３１５を参照して選定する。操作種別リストは、ソフトウェアごとに、認識すべき操作種別のみを絞り込んで定められた操作種別のリストである。
【0044】
入力モード検知装置３０３は、スマートフォン３において使用されている入力モードを検知し、その検知された入力モードを特定する情報である入力モード特定情報をヘッドセット２に出力する。なお、入力モードは、使用中のソフトウェアにより、そのソフトウェアの実行状態に応じて選択される。本実施形態では、入力モードの例として、ポインタ入力モード、第１テキスト入力モード、第２テキスト入力モード、マップ操作入力モード、およびキャラクタ操作入力モードを考える。
【0045】
ポインタ入力モードは、ポインタを移動、ポインタの位置を基準または起点とした操作等を行うための入力モードである。第１テキスト入力モードは、文字、数字、記号などを含むテキストを、仮想キーボードを用いて入力するための入力モードである。第２テキスト入力モードは、文字、数字、記号などを含むテキストを、ユーザの脳波に基づき直接的に特定して入力するための入力モードである。マップ操作入力モードは、表示されているマップ（地図）に対する操作を行うための入力モードである。キャラクタ操作入力モードは、ゲーム等に登場するキャラクタに対する操作を行うための入力モードである。
【0046】
想起操作受付装置３０４は、ヘッドセット２の想起操作認識装置２０４により認識された操作種別の情報（データ）が送られてきた場合に、その操作種別を、想起入力方式による操作（以下、想起操作ともいう）として受け付ける（対応処理）。
【0047】
タッチ操作受付装置３０５は、タッチパネル画像表示装置３２においてユーザ９によるタッチ動作が検出された場合に、そのタッチ動作に対応した操作種別を、タッチ入力方式による操作（以下、タッチ操作ともいう）として受け付ける。
【0048】
音声操作受付装置３０６は、マイク３５を通してユーザ９による音声が検出された場合に、その音声に対応した操作種別を、音声入力方式による操作（以下、音声操作ともいう）として受け付ける。
【0049】
操作受付制御装置３０７は、各操作入力方式による操作が重複して受け付けられたとき、その中で最も優先順位の高い操作入力方式による操作を採用して実行するように、操作の受付けを制御する。
【0050】
図４は、操作入力方式の優先順位の一例を示す図である。本実施形態では、図４に示すように、優先順位は、高い方から順に、タッチ入力方式、音声入力方式、想起入力方式である。この例では、操作受付制御装置３０７は、タッチ入力方式、および音声入力方式による操作がなかった場合には、想起入力方式による操作、すなわち、想起操作認識装置２０４により認識された操作を実行する。このとき、スマートフォン３の画面に表示されたポインタを基準または起点とした操作を実行する。
【0051】
第２制御装置３０８は、スマートフォン３が適正に動作するように各デバイスあるいは各機能ブロックを総合的に制御する。
【0052】
《第１辞書および第２辞書》
図５は、第１辞書の一例を示す図である。
第１辞書２１１は、図５に示すように、ユーザがスマートフォン３を使うときに用いる操作種別と、ユーザがその操作種別の操作を想起したときに生じると考えられるユーザの脳波の脳波種別とが、操作種別ごとに対応付けられたテーブルで構成されている。
図５は、第１辞書の一例を示す図である。
第１辞書２１１は、図５に示すように、ユーザがスマートフォン３を使うときに用いる操作種別と、ユーザがその操作種別の操作を想起したときに生じると考えられるユーザの脳波の脳波種別とが、操作種別ごとに対応付けられたテーブルで構成されている。
【0053】
脳波種別は、例えば、特徴的な波形、振幅、時間長等を有する脳波のパターンである。操作種別は、例えば、図５に示すように、ポインタ上移動、ポインタ下移動、ポインタ左移動、ポインタ右移動、スワイプ上、スワイプ下、スワイプ左、スワイプ右、フリック上、フリック下、フリック左、フリック右、ドラッグ上移動、ドラッグ下移動、ドラッグ左移動、ドラッグ右移動、タップ、ダブルタップ、長押し、ピンチイン、ピンチアウト、テキストすなわち文字種の直接的な入力等が含まれる。文字種は、例えば、アルファベット、ひらがな、数字、記号などである。
【0054】
なお、スワイプ、フリック、ドラッグ、タップ、ダブルタップ、長押し、ピンチイン、およびピンチアウトは、ポインタの位置を基準または起点にして実行される。
【0055】
ここで、各操作種別の意味について、簡単に説明する。タップは、指一本で画面をタッチする動作であり、パソコンにおけるクリックと同様の動作である。ダブルタップは、指一本で画面を２回すばやくタッチする動作であり、パソコンにおけるダブルクリックと同様の動作である。長押しは、指一本で画面にしばらく触れている動作であり、長押しに対応したアクションが起こる。ピンチインは、指二本で画面をタッチし、指幅を縮める動作であり、主に画面を縮小する際に使う。ピンチアウトは、指二本で画面をタッチし、指幅を広げる動作であり、主に画面を拡大する際に使う。ドラッグは、指一本で画面をタッチしたまま上下左右に移動させる動作であり、指の動きに合わせたアクションが起こる。スワイプは、指一本で画面をタッチし上下左右に指を滑らせる動作であり、主に画面スクロールの際に使う。フリックは、指一本で画面をタッチし上下左右に指を短期間で掃う動作であり、ソフトウェアキーボードを用いた文字の入力の際、フリック入力と呼ばれる入力方法でよく使われる。
【0056】
なお、第１辞書２１１に含まれる各脳波種別の脳波パターンの初期設定は、事前に行われた神経学的な研究、脳波に係る実験・解析等により求められる。
【0057】
図６は、第２辞書の一例を示す図である。図６に示すように、第２辞書３１５は、スマートフォン３にて実行されるソフトウェアの種類と、そのソフトウェアを実行しているときに用いられる操作種別を限定してリスト化したソフト別操作種別リストとが、ソフトウェアの種類ごとに対応付けられたテーブルによりで構成される。ソフト別操作種別リストは、さらに、１または複数の入力モード別操作種別リストにより構成される。入力モード別操作種別リストは、ソフトウェアの実行状態に応じて選択される入力モードごとに用意される。入力モード別操作種別リストは、使用されている入力モードにおいて用いられる操作種別を限定してリスト化したものである。
【0058】
図６に示すように、本実施形態では、ソフト別操作種別リストとして、オペレーティングシステム３１１と対応付けされるオペレーティングシステム用操作種別リストＬＡと、第１アプリ３１２と対応付けされる第１アプリ用操作種別リストＬＢと、第２アプリ３１３と対応付けされる第２アプリ用操作種別リストＬＣと、を用意する。
【0059】
図７は、入力モード別操作種別リストの一例を示す図である。図７に示すように、本実施形態では、入力モードの種類として、ポインタ入力モード、第１テキスト入力モード、第２テキスト入力モード、マップ操作入力モード、キャラクタ操作入力モード等を想定する。ポインタ入力モードとは、ポインタの位置を基準とした各種操作の入力を受け付けるモードである。第１テキスト入力モードとは、仮想キーボードを用いてテキストを入力するための各種操作の入力を受け付けるモードである。第２テキスト入力モードとは、脳波から直接的にテキストを入力するための各種操作の入力を受け付けるモードである。マップ操作入力モードとは、表示するマップ領域を移動・拡縮する操作、あるいはマップ上でアクションを起こさせるための各種操作の入力を受け付けるモードである。キャラクタ操作入力モードとは、アバターなどのキャラクタを画面上で移動させたりアクションを起こさせたりするための各種操作の入力を受け付けるモードである。また、入力モード別操作種別リストとしては、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１と、第２テキスト入力モード用操作種別リストＬｔ２と、マップ操作入力モード用操作種別リストＬｍと、キャラクタ操作入力モード用操作種別リストＬｆとを用意する。
【0060】
図６に示すように、本実施形態では、オペレーティングシステム用操作種別リストＬＡは、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１とを含んでいる。第１アプリ用操作種別リストＬＢは、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１と、マップ操作入力モード用操作種別リストＬｍとを含んでいる。第２アプリ用操作種別リストＬＣは、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１と、キャラクタ操作入力モード用操作種別リストＬｆとを含んでいる。
【0061】
図８は、入力モード別操作種別リストの一例を示す図である。図８に示すように、ポインタ入力モード用操作種別リストＬｐには、例えば、操作種別として、ポインタ上・下・左・右移動、スワイプ上・下・左・右、ドラッグ上・下・左・右移動、タップ、長押し等が含まれる。第１テキスト入力モード用操作種別リストＬｔ１には、例えば、ポインタ上・下・左・右移動、ドラッグ上・下移動、フリック上・下・左・右、タップ等が含まれる。第２テキスト入力モード用操作種別リストＬｔ２には、例えば、個々のアルファベット、数字、記号を直接的に入力する操作等が含まれる。マップ操作入力モード用操作種別リストＬｍには、例えば、ポインタ上・下・左・右移動、スワイプ上・下・左・右、ドラッグ上下左右移動、ピンチイン、ピンチアウト、タップ、ダブルタップ等が含まれる。キャラクタ操作入力モード用操作種別リストＬｆには、例えば、ポインタ右移動、ポインタ左移動、フリック上・下・左、タップ、ダブルタップ等が含まれる。
【0062】
《情報処理システムの動作》
〔実施例１〕
これより、実施形態１に係る情報処理システムの動作について説明する。実施例１では、スマートフォン３における使用ソフトおよび入力モードは、はじめ、オペレーティングシステム３１１およびポインタ入力モードであり、途中から、第１アプリ３１２（ブラウザ）および第１テキスト入力モードに切り替わる場合を想定する。
〔実施例１〕
これより、実施形態１に係る情報処理システムの動作について説明する。実施例１では、スマートフォン３における使用ソフトおよび入力モードは、はじめ、オペレーティングシステム３１１およびポインタ入力モードであり、途中から、第１アプリ３１２（ブラウザ）および第１テキスト入力モードに切り替わる場合を想定する。
【0063】
【0064】
タッチパネル表示画面３ｄには、個々のアプリに対応する複数のアイコン５１と、ポインタ９０とが表示されている。ポインタ９０は、ポインタ９０と重複する領域の画像が見えるように、内部が透明または半透明である。また、タッチパネル表示画面３ｄの下部には、ホーム画面に戻るためのアイコン９１と、状態を１ステップ前に戻すためのアイコン９２と、メニュー画面等を表示するためのアイコン９３とが表示されている。タッチパネル表示画面３ｄには、さらに、「いいね！」ボタン９６が表示されている。想起操作がうまく実行されたとき、すなわち、ユーザの想起した通りの操作が実行されたときに、ユーザは、この「いいね！」ボタンを押下する。これにより、いまの想起操作がうまく行われたことを示す評価が入力され、その評価情報は、操作種別の認識、すなわち、脳波種別の判別における精度向上に活用される。
【0065】
なお、ユーザは、タッチパネル表示画面３ｄをタッチすることによりタッチ操作が可能である。また、ユーザは、マイク３５に音声を入力することにより音声操作が可能である。仮に良好な想起操作が一時的に行えない場合、素早い操作が必要である場合等、ユーザは、必要に応じて、タッチ操作あるいは音声操作を用いることもできる。
【0066】
【0067】
図１０Ａは、主に、想起操作の準備のための処理フローを示している。この処理フローには、ヘッドセット２とスマートフォン３との連携を確立する処理が含まれている。また、スマートフォン３において使用中のソフトウェアおよび入力モードに応じて想起操作で認識する操作の種別を限定する処理が含まれている。
【0068】
図１０Ｂは、主に、想起操作を実行するための処理フローを示している。この処理フローには、ヘッドセット２においてユーザの脳波を検出して操作種別を認識し、その結果をスマートフォン３に出力する処理が含まれている。また、スマートフォン３において各操作入力方式による操作を受け付けて、優先順位の高い操作を採用し実行する処理が含まれている。
【0069】
図１０Ｃは、主に、学習モードでの処理フローを示している。この処理フローには、スマートフォン３の画面に表示するポインタの形態について、想起操作の認識精度が向上する形態を学習する処理が含まれている。
【0070】
図１０Ｄは、主に、連携終了のための処理フローを示している。この処理フローには、ヘッドセット２とスマートフォン３との連携を終了する手順に係る処理が含まれている。
【0071】
《想起操作の準備のための処理フロー》
まず、ヘッドセット２とスマートフォン３との連携を確立する処理と、スマートフォン３における使用ソフトおよび操作入力モードに応じて想起操作で認識する操作の種別を限定する処理とのフローについて説明する。
まず、ヘッドセット２とスマートフォン３との連携を確立する処理と、スマートフォン３における使用ソフトおよび操作入力モードに応じて想起操作で認識する操作の種別を限定する処理とのフローについて説明する。
【0072】
図１０Ａに示すように、はじめに、第２制御装置３０８が、ヘッドセット２に対して、連携要求信号を出力する（Ｓ１０１）。第１制御装置２０６は、スマートフォン３に対して、その連携要求信号に応じて連携許可信号を出力する（Ｓ１０２）。第２制御装置３０８は、その連携許可信号を取得する（Ｓ１０３）。これにより、ヘッドセット２とスマートフォン３との連携が確立する。
【0073】
連携が確立すると、第２制御装置３０８は、第２記憶装置３１０に格納されているヘッドセット制御ツール３１６を起動させ（Ｓ１０４）、ヘッドセット２に対するデータ送受信あるいは動作の制御を可能にする。
【0074】
次に、使用ソフト検知装置３０２は、スマートフォン３で使用されているソフトウェアを検知する（Ｓ１０５）。操作種別リスト選定装置３０１は、図６で示した第２辞書３１５を参照して、その検知されたソフトウェアに対応付けられたソフト別操作種別リストを選定する（Ｓ１０６）。
【0075】
ここでは、オペレーティングシステム３１１が使用されている場合を想定しているので、使用ソフトウェアとして、オペレーティングシステム３１１が検知され、ソフト別操作種別リストとして、オペレーティングシステム用操作種別リストＬＡが選定される。
図１１は、オペレーティングシステム用操作種別リストのイメージ図である。オペレーティングシステム用操作種別リストＬＡは、図１１に示すように、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１とにより構成される。
図１１は、オペレーティングシステム用操作種別リストのイメージ図である。オペレーティングシステム用操作種別リストＬＡは、図１１に示すように、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１とにより構成される。
【0076】
ソフト別操作種別リストが選定されると、第２制御装置３０８は、その選定されたソフト別操作種別リストを、ヘッドセット２に出力する（Ｓ１０７）。ここでは、オペレーティングシステム用操作種別リストＬＡが出力される。
【0077】
選定されたソフト別操作種別リストがヘッドセット２に出力されると、ヘッドセット２の第１制御装置２０６は、そのソフト別操作種別リストを取得する（Ｓ１０８）。
【0078】
スマートフォン３の入力モード検知装置３０３は、スマートフォン３における現時点で使用されている入力モードを検知する（Ｓ１０９）。第２制御装置３０８は、検知された入力モードを表す入力モード特定情報を、ヘッドセット２に出力する（Ｓ１１０）。
【0079】
ここでは、ポインタ入力モードが使用されている場合を想定しているので、ポインタ入力モードを特定する情報である入力モード特定情報が、ヘッドセット２に出力される。
【0080】
ヘッドセット２の第１制御装置２０６は、その入力モード特定情報を取得する（Ｓ１１１）。操作種別リスト適用装置２０２は、その取得された入力モード特定情報により特定される入力モードに対応した入力モード別操作種別リストを、ソフト別操作種別リストの中から選定し、その選定された入力モード別操作種別リストを第１辞書２１１に適用する（Ｓ１１２）。すなわち、脳波から認識する操作種別を、第１辞書２１１に登録されている操作種別のうち、適用した入力モード別操作種別リストに含まれる操作種別に限定する設定を行う。
【0081】
ここでは、オペレーティングシステム用操作種別リストＬＡの中から、ポインタ入力モード用操作種別リストＬｐが選定される。そして、認識すべき操作種別をこのリストに含まれる操作種別に限定する設定が行われる。その結果、脳波から認識すべき操作種別が、ポインタ入力モードにて必要と考えられる操作種別のみに絞り込まれる。すなわち、ポインタ入力モードでは不要と考えられる操作種別、具体的には、フリック、ピンチイン、ピンチアウト、あるいはダブルタップといった操作は、認識すべき操作種別から除外される。そのため、認識すべき操作種別が減少し、操作種別の誤認識が抑制され、認識精度が向上する。
【0082】
《想起操作の実行処理フロー》
次に、ヘッドセット２においてユーザの脳波を検出して操作種別を認識し、その結果をスマートフォン３に出力する処理と、スマートフォン３において各操作入力方式の優先順位を考慮して操作を実行する処理とについて説明する。
次に、ヘッドセット２においてユーザの脳波を検出して操作種別を認識し、その結果をスマートフォン３に出力する処理と、スマートフォン３において各操作入力方式の優先順位を考慮して操作を実行する処理とについて説明する。
【0083】
図１０Ｂに示すように、検出装置２０１は、ユーザの脳波を検出し（Ｓ２０１）、その波形を第１記憶装置２１０に一時的に記録する。脳波種別判別装置２０３は、記録された脳波の波形等を基に、脳波種別を判別する（Ｓ２０２）。このとき、第１辞書２１１に登録されている脳波種別のうち、現時点で適用されている入力モード別操作種別リストに含まれる操作種別に対応した脳波種別のいずれかと、これらの脳波種別外と、に限定して判別する。
【0084】
例えば、ユーザがポインタ左移動の操作を想起したとする。すると、検出装置２０１において、そのポインタ左移動の操作に対応した脳波が検出され記録される。そして、脳波種別判別装置２０３は、その記録された脳波の波形を、第１辞書２１１に登録されている脳波種別のうち、ポインタ入力モード用操作種別リストＬｐに含まれる操作種別に対応する脳波種別に限定して比較する。このとき、ポインタ入力モード用操作種別リストＬｐに含まれない操作種別に対応する脳波種別は、比較対象から除外される。例えば、図５に示す、スワイプに対応する脳波種別Ｓ１～Ｓ４等は、比較対象から除外される。そして、比較の結果、記録された脳波に対して、類似度、尤度、あるいは相関値が最も高い脳波種別を特定する。脳波種別の判別が良好であれば、図５に示す脳波種別の中から、ポインタ左移動に対応した脳波種別Ｐ３が特定されることになる。
【0085】
本実施例では、図８に示すような、ポインタ入力モード用操作種別リストＬｐに含まれる操作種別に対応した脳波種別に限定して判別が行われる。
【0086】
想起操作認識装置２０４は、検出された脳波が、限定された脳波種別の何れかに判別されなかった場合には、想起操作は行われていないものと認識する。脳波種別の判別は、例えば、記録された脳波との類似度が最も高い脳波種別を選択することにより行われる。
【0087】
想起操作認識装置２０４は、第１辞書２１１を参照して、判別された脳波種別に対応する操作種別を特定し、特定された操作種別を、ユーザが想起した操作種別であると認識する（Ｓ２０３）。操作種別が認識されると、第１制御装置２０６が、認識された操作種別を表す認識操作種別情報を、スマートフォン３に出力する（Ｓ２０４）。
【0088】
第２制御装置３０８は、その認識された操作種別を表す認識操作種別情報を取得する（Ｓ２０５）。ここで、想起操作受付装置３０４は、取得された認識操作種別情報が表す操作種別を、想起入力方式による操作として受け付ける。また、タッチ操作受付装置３０５は、タッチ入力方式による操作を受け付け、音声操作受付装置３０６は、音声入力方式による操作を受け付ける（Ｓ２０６）。
【0089】
操作受付制御装置３０７は、各操作入力方式による操作の受付け状況から、各操作入力方式による操作の有無を検出する。具体的には、タッチ入力方式、音声入力方式、および想起入力方式のそれぞれの方式による操作の有無を検出する。そして、検出された操作の中で優先順位が最も高い操作入力方式による操作を特定し（Ｓ２０７）、特定された操作を実行する（Ｓ２０８）。
【0090】
ここで、第２制御装置３０８は、想起操作に対する学習用評価をヘッドセット２に出力する（Ｓ２０９）。学習用評価は、例えば、ユーザによる「いいよ！」ボタンの押下が検出されたか否かの情報を含む。学習装置２０５は、その情報を基に想起操作の認識精度が向上するように学習処理を実行する（Ｓ２１０）。例えば、その情報から「いいよ！」ボタンの押下が検出されたと認められた場合には、想起操作が適正に行われていると考え、そのときに検出された脳波の特徴を、第１辞書２１１にフィードバックし、判別すべき脳波種別に対応した脳波のパターンに反映させる。
【0091】
学習処理が実行されると、第２制御装置３０８は、使用中の入力モードが変化したか否かを判定する（Ｓ２１１）。ここで、使用中の入力モードが変化したと判定されたとき（Ｓ２１１：Ｙｅｓ）には、ステップＳ１０９に戻る。入力モードが変化していないと判定されたとき（Ｓ２１１：Ｎｏ）には、次の判定に移行する。第２制御装置３０８は、使用中のソフトウェアが変化したか否かを判定する（Ｓ２１２）。ここで、使用中のソフトウェアが変化したと判定された（Ｓ２１２：Ｙｅｓ）ときには、ステップＳ１０５に戻る。使用中のソフトウェアが変化していないと判定された（Ｓ２１２：Ｎｏ）ときには、次の判定に移行する。第２制御装置３０８は、ユーザによって学習モードが選択されたか否かを判定する（Ｓ２１３）。ここで、学習モードが選択されたと判定された（Ｓ２１３：Ｙｅｓ）ときには、ステップＳ３０１に進む。学習モードが選択されていないと判定された（Ｓ２１３：Ｎｏ）ときには、次の判定に移行する。第２制御装置３０８は、連携終了すべきであるか否かを判定する（Ｓ２１４）。連携終了すべき状況としては、例えば、連携終了の指示が入力された場合、連携の一部に障害が発生した場合、バッテリ残量が少なくなった場合等が考えられる。ここで、連携終了すべきであると判定された（Ｓ２１４：Ｙｅｓ）ときには、ステップＳ４０１に進む。連携終了すべきでないと判定された（Ｓ２１４：Ｎｏ）ときには、ステップＳ２０１に戻る。
【0092】
ここで、ユーザが、例えば、第１アプリ（インターネットブラウザアプリ）３１２に対応するアイコンＢをタップする操作を行い、スマートフォン３で使用されるソフトウェアが、オペレーティングシステム３１１のみから第１アプリ３１２に切り替わったと仮定する。この場合、ステップＳ２１２の処理が実行される際に、使用中のソフトウェアが変化したと判定され（Ｓ２１２：Ｙｅｓ）、ステップＳ１０５に戻る。
【0093】
図１２は、第１アプリが使用されている状態のスマートフォンの表示例を示す図である。図１２に示すように、スマートフォン３のタッチパネル表示画面３ｄには、Ｗｅｂ検索に用いる検索キーワードを入力するためのテキストボックス５４と、テキストを打ち込むためのソフトウェアキーボード９４とが表示されている。
【0094】
使用ソフト検知装置３０２は、切り替わった後の第１アプリ３１２を検知する（Ｓ１０５）。操作種別リスト選定装置３０１は、図６で示した第２辞書３１５を参照して、第１アプリ３１２に対応した第１アプリ用操作種別リストＬＢを選定する（Ｓ１０６）。
図１３は、第１アプリ用操作種別リストＬＢのイメージ図である。第１アプリ用操作種別リストＬＢは、図１３に示すように、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１と、マップ操作入力モード用操作種別リストＬｍとにより構成される。
図１３は、第１アプリ用操作種別リストＬＢのイメージ図である。第１アプリ用操作種別リストＬＢは、図１３に示すように、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１と、マップ操作入力モード用操作種別リストＬｍとにより構成される。
【0095】
第２制御装置３０８は、その選定された第１アプリ用操作種別リストＬＢを、ヘッドセット２に出力する（Ｓ１０７）。ヘッドセット２の第１制御装置２０６は、その第１アプリ用操作種別リストＬＢを取得する（Ｓ１０８）。
【0096】
スマートフォン３の入力モード検知装置３０３は、スマートフォン３における現時点で選択されている入力モードを検知する（Ｓ１０９）。ここでは、第１テキスト入力モードが選択されている場合を想定するので、第１テキスト入力モードが検知される。第２制御装置３０８は、検知された第１テキスト入力モードを特定する入力モード特定情報を、ヘッドセット２に出力する（Ｓ１１０）。
【0097】
ヘッドセット２の第１制御装置２０６は、その入力モード特定情報を取得する（Ｓ１１１）。操作種別リスト適用装置２０２は、その取得された入力モード特定情報により特定される第１テキスト入力モードに対応した第１テキスト入力モード用操作種別リストＬｔ１を特定し、その第１テキスト入力モード用操作種別リストＬｔ１を第１辞書２１１に適用する（Ｓ１１２）。すなわち、脳波から認識する操作種別を、第１辞書２１１に含まれる操作種別のうち、第１テキスト入力モード用操作種別リストＬｔ１に含まれる操作種別に限定する設定を行う。
【0098】
その結果、脳波から認識すべき操作種別が、第１テキスト入力モードにて必要と考えられる操作種別のみに絞り込まれる。すなわち、第１テキスト入力モードでは不要と考えられる操作種別、具体的には、スワイプ、ピンチイン、ピンチアウト、長押し、あるいはダブルタップといった操作は、認識すべき操作種別から除外される。
【0099】
このような処理により、学習モードの選択、あるいは、連携終了が発生しない限りにおいては、脳波の検出により想起操作を認識し、認識された想起操作を実行するというサイクルが継続されることになる。ユーザは、スマートフォン３の画面上に表示されているポインタ９０を想起操作で操って、所望の操作を実現させることができる。ただし、タッチ操作あるいは音声操作があれば、これらの操作が優先的に実行される。また、使用ソフトウェアあるいは入力モードが変化したときは、その都度、新たな操作種別リストが第１辞書２１１に適用される。つまり、認識すべき操作種別、すなわち、判別すべき脳波種別は、常に適切に絞り込まれる。
【0100】
《学習モード処理フロー》
次に、学習モードでの処理、すなわち、想起操作における操作種別の認識精度を向上させるための学習処理について説明する。
次に、学習モードでの処理、すなわち、想起操作における操作種別の認識精度を向上させるための学習処理について説明する。
【0101】
図１０Ｃに示すように、第２制御装置３０８は、学習モードが選択されると、ヘッドセット２に学習要求信号を出力する（Ｓ３０１）。学習装置２０５は、学習要求信号に応じて学習許可信号をスマートフォン３に出力する（Ｓ３０２）。第２制御装置３０８は、その学習許可信号を取得する。学習許可信号が取得されると、学習モードが確立する。
【0102】
第２制御装置３０８は、予め用意されている複数種類のポインタの中から一つを選択し（Ｓ３０４）、選択されたポインタを画面に表示する。また、第２制御装置３０８は、ユーザに向けた操作指示を出力する（Ｓ３０５）。操作指示の出力は、画像あるいはテキストを表示する形態であってもよいし、音声を出力する形態であってもよい。
【0103】
図１４は、学習モードが選択されている状態のスマートフォンの表示例を示す図である。図１４に示すように、タッチパネル表示画面３ｄには、例えば、星形のポインタ９０ｓが表示されるとともに、ポインタ右移動の操作指示を表す指示画像９５ｓが表示される。また、想起操作がうまく実行されたときにユーザが押下する「いいね！」ボタン９６も表示される。ここで、ユーザは、出力された操作指示通りの操作を想起する。
【0104】
ポインタが表示され、操作指示が出力されると、学習装置２０５は、検出装置２０１、脳波種別判別装置２０３、および想起操作認識装置２０４を制御して、ユーザの脳波の検出（Ｓ３０６）、検出された脳波に基づく脳波種別の判別（Ｓ３０７）、判別された脳波種別に基づき第１辞書２１１および適用された操作種別リストを参照して、操作種別の認識・出力（Ｓ３０８）を行う。また、学習装置２０５は、学習モード中に検出された脳波をその検出されたタイミングと対応付けて第１記憶装置２１０に格納する。第２制御装置３０８は、ヘッドセット２から出力された操作種別を受け取り、その操作種別に対応した操作を実行する（Ｓ３０９）。
【0105】
ユーザは、実行された操作が、自分の想起した操作通りであった場合には、「いいね！」ボタン９６を押下し、想起操作がうまくいったことを意味する評価を入力する。第２制御装置３０８は、想起操作が良好である旨の評価が入力された場合には、その評価を受け付け（Ｓ３１０）、そのときの操作指示の種別、時間的なタイミング、およびその評価を対応付けた評価結果情報を第２記憶装置３１０に記憶させる。
【0106】
第２制御装置３０８は、操作指示を変更する否かを判定する（Ｓ３１１）。ここでの判定基準は、例えば、操作指示の出力継続時間が一定時間以上になったか、想起操作が良好である旨の評価の入力回数が一定数以上になったか、などである。第２制御装置３０８は、操作指示を変更すると判定された場合（Ｓ３１１，Ｙｅｓ）には、ステップＳ３０５に戻り、操作指示を変更して出力する。第２制御装置３０８は、操作指示を変更しないと判定された場合（Ｓ３１１，Ｎｏ）には、表示するポインタを変更するか否かを判定する（Ｓ３１２）。ここでの判定基準は、例えば、操作指示の変更回数が一定数以上になったか、想起操作が良好である旨の評価の入力回数が一定数以上になったか、などである。
【0107】
第２制御装置３０８は、表示するポインタを変更すると判定された場合（Ｓ３１２，Ｙｅｓ）には、ステップＳ３０４に戻り、別のポインタを選択する。
【0108】
図１５は、表示するポインタを別のポインタに変更して操作指示が出力されている状態の表示例を示す図である。図１５の例では、表示するポインタが顔型のポインタ９０ｆに変更され、操作指示として「下にフリック」を意味する操作指示画像９５ｆが表示されている例である。
【0109】
また、図１６は、表示するポインタをさらに別のポインタに変更して操作指示が出力されている状態の表示例を示す図である。図１６の例では、表示するポインタがクロス型で色が赤あるいは青など目立つ色で表現されたポインタ９０ｃに変更され、操作指示として「ドラッグして左に移動」を意味する操作指示画像９５ｃが表示されている例である。
【0110】
第２制御装置３０８は、表示するポインタを変更しないと判定された場合（Ｓ３１２，Ｎｏ）には、学習モードを終了し、第２記憶装置３１０に記憶しておいた評価結果情報をヘッドセット２に出力する（Ｓ３１３）。学習装置２０５は、取得した評価結果情報を基に、第１辞書２１１の調整を行う（Ｓ３１４）。例えば、想起操作が良好と評価されたときの操作種別とそのときの脳波の波形とに基づき、第１辞書２１１に登録されている脳波種別の脳波のパターンを修正し、よりユーザの脳波の特徴が反映されたものに調整する。この第１辞書２１１の調整により、想起操作における脳波種別の判別制度が向上し、操作種別の認識精度が向上する。また、学習装置２０５は、いずれのポインタが脳波の判別精度を向上させるかを分析し、精度が良くなる順番に、ポインタの順位を決定する（Ｓ３１５）。ポインタの順位の情報は、スマートフォン３に出力される。スマートフォン３では、そのポインタの順位を参照し、表示させるポインタとして任意の種別のポインタを選択できるようにする。あるいは、順位の最も高い種別のポインタを自動で選択するようにする。
【0111】
学習モードが終了したら、第２制御装置３０８は、実行ステップをＳ２１４に戻し、処理を続行する。
【0112】
《連携終了処理フロー》
ステップＳ２１４にて、連携終了すべきであると判定された（Ｓ２１４：Ｙｅｓ）ときには、第２制御装置３０８は、連携終了要求信号をヘッドセット２に出力する（Ｓ４０１）。すると、第１制御装置２０６は、その要求信号に応じて、連携終了許可信号をスマートフォン３に出力する（Ｓ４０２）。第２制御装置３０８は、その連携終了許可信号を取得し（Ｓ４０３）、連携終了が確立する。
ステップＳ２１４にて、連携終了すべきであると判定された（Ｓ２１４：Ｙｅｓ）ときには、第２制御装置３０８は、連携終了要求信号をヘッドセット２に出力する（Ｓ４０１）。すると、第１制御装置２０６は、その要求信号に応じて、連携終了許可信号をスマートフォン３に出力する（Ｓ４０２）。第２制御装置３０８は、その連携終了許可信号を取得し（Ｓ４０３）、連携終了が確立する。
【0113】
このような実施例１によれば、使用中のソフトウェアが途中で変更されても、想起操作で認識すべき操作種別が適切に限定されるので、操作種別の誤認識が確実に抑制され、認識精度が向上する。
【0114】
〔実施例２〕
実施例２では、使用ソフトが、第１アプリ（インターネットブラウザアプリ）３１２であり、入力モードが、はじめはポインタ入力モードであり、途中でマップ操作入力モードに切り替わる場合を想定する。
実施例２では、使用ソフトが、第１アプリ（インターネットブラウザアプリ）３１２であり、入力モードが、はじめはポインタ入力モードであり、途中でマップ操作入力モードに切り替わる場合を想定する。
【0115】
図１７は、使用中のソフトウェアが第２アプリであり、入力モードがポインタ入力モードである場合のスマートフォンの表示例を示す図である。本実施例では、例えば、図１７に示すように、タッチパネル表示画面３ｄには、ウィンドウ５２と、マップが含まれるウィンドウ５３とが、一部重なって表示される。また、タッチパネル表示画面３ｄのいずれかの位置に、ポインタ９０が表示される。
【0116】
本実施例では、図１０Ａに示すフローにおいて、ステップＳ１０５では、使用ソフトウェアとして、第２アプリ３１３が検知され、ステップＳ１０６では、ソフト別操作種別リストとして、第１アプリ用操作種別リストＬＢ（図１３参照）が選定される。
【0117】
ステップＳ１０７では、その選定された第１アプリ用操作種別リストＬＢが、ヘッドセット２に出力される。ステップＳ１０８では、ヘッドセット２において、その第１アプリ用操作種別リストＬＢが取得される。また、ステップＳ１０９では、入力モードとして、ポインタ入力モードが検知され、ステップＳ１１０では、ポインタ入力モードを特定する情報がヘッドセット２に出力される。ステップＳ１１１では、ポインタ入力モードを特定する情報がヘッドセット２にて取得され、ステップＳ１１２では、第１アプリ用操作種別リストＬＢの中のポインタ入力モード用操作種別リストＬｐ（図１３参照）が、第１辞書２１１に適用される。
【0118】
その後は、ステップＳ２０１～Ｓ２１４が繰り返し実行され、想起操作が行われる。ステップＳ２０１～Ｓ２１４が繰り返し実行されているとき、ユーザは、タッチパネル表示画面３ｄ上でポインタ９０を操作し、例えば、より関心のある奥のウィンドウを選択してそのウィンドウを手前に表示させたり、手前のウィンドウを広げたりする。奥のウィンドウを手前に表示させたり、手前のウィンドウを広げたりするには、例えば、想起操作により、ポインタ９０をそのウィンドウ上まで移動させ、その状態でタップをする。
【0119】
図１８は、手前のウィンドウをタップして広げた状態の表示例を示す図である。例えば、図１８に示すように、ウィンドウ５３が広げられ、マップが拡大された状態で表示される。このとき、入力モードは、ポインタ入力モードからマップ操作入力モードに切り替わる。
【0120】
この場合、図１０Ｂに示すフローにおいて、ステップＳ２１１では、入力モードが変化したと判定され、ステップＳ１０９に戻る。ステップＳ１０９では、入力モードとして、マップ操作入力モードが検知され、ステップＳ１１０では、マップ操作入力モードを特定する情報がヘッドセット２に出力される。ステップＳ１１１では、マップ操作入力モードを特定する情報がヘッドセット２にて取得され、ステップＳ１１２では、第１アプリ用操作種別リストＬＢの中のマップ操作入力モード用操作種別リストＬｍ（図１３参照）が、第１辞書２１１に適用される。
【0121】
その後は、ステップＳ２０１～Ｓ２１４が繰り返し実行され、想起操作が引き続き行われる。ステップＳ２０１～Ｓ２１４が繰り返し実行されているとき、ユーザは、タッチパネル表示画面３ｄ上でポインタ９０を操作し、例えば、マップの表示領域を移動させたり、マップを拡大表示させたりする。マップの表示領域を移動させるには、例えば、想起操作により、ポインタ９０でドラッグ上下左右移動をさせる。また、マップを拡大表示させるには、想起操作により、ポインタ９０を拡大表示させたい位置まで移動させ、その位置でピンチアウトまたはダブルタップを行う。
【0122】
このような実施例２によれば、使用中の入力モードが途中で変更されても、想起操作で認識すべき操作種別が適切に限定されるので、操作種別の誤認識が確実に抑制され、認識精度が向上する。
【0123】
〔実施例３〕
実施例３では、使用中のソフトウェアが第２アプリ（格闘ゲームアプリ）３１３であり、入力モードがキャラクタ操作入力モードである場合を想定する。
実施例３では、使用中のソフトウェアが第２アプリ（格闘ゲームアプリ）３１３であり、入力モードがキャラクタ操作入力モードである場合を想定する。
【0124】
図１９は、使用ソフトが第２アプリであり、入力モードがキャラクタ操作入力モードである場合のスマートフォンの表示例を示す図である。本実施例では、例えば、図１９に示すように、タッチパネル表示画面３ｄには、ユーザのアバターに相当するキャラクタ５４ａと、その対戦相手となるキャラクタ５４ｂとが含まれる画像５５が表示される。なお、ポインタは表示されてもよいし、表示されなくてもよい。
【0125】
本実施例では、図１０Ａに示すフローにおいて、ステップＳ１０５では、使用ソフトウェアとして、第２アプリ３１３が検知され、ステップＳ１０６では、ソフト別操作種別リストとして、第２アプリ用操作種別リストＬＣが選定される。
【0126】
図２０は、第２アプリ用操作種別リストのイメージ図である。第２アプリ用操作種別リストＬＣは、図２０に示すように、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１と、キャラクタ操作入力モード用操作種別リストＬｆとにより構成されている。
【0127】
ステップＳ１０７では、その選定された第２アプリ用操作種別リストＬＣが、ヘッドセット２に出力される。ステップＳ１０８では、ヘッドセット２において、その第２アプリ用操作種別リストＬＣが取得される。また、ステップＳ１０９では、入力モードとして、キャラクタ操作入力モードが検知され、ステップＳ１１０では、キャラクタ操作入力モードを特定する情報がヘッドセット２に出力される。ステップＳ１１１では、キャラクタ操作入力モードを特定する情報がヘッドセット２にて取得され、ステップＳ１１２では、第２アプリ用操作種別リストＬＣの中のキャラクタ操作入力モード用操作種別リストＬｆ（図２０参照）が、第１辞書２１１に適用される。
【0128】
キャラクタ操作入力モード用操作種別リストＬｆには、図２０に示すように、ポインタ左右移動、フリック上下左、タップ、ダブルタップが含まれている。ポインタ右移動は、キャラクタの前進動作に相当し、ポインタ左移動は、キャラクタの後退動作に相当する。また、フリック上は、キャラクタのジャンプ動作に相当し、フリック下は、キャラクタの伏せる動作に相当し、フリック左は、キャラクタのガード動作に相当する。さらに、タップは、キャラクタのパンチ動作に相当し、ダブルタップは、キャラクタのキック動作に相当する。
【0129】
このような処理により、認識すべき操作種別は、このキャラクタ操作入力モード用操作種別リストＬｆに含まれる操作種別に限定する設定が行われる。その結果、脳波から認識すべき操作種別が、キャラクタ操作入力モードにて必要と考えられる操作種別のみに絞り込まれる。すなわち、キャラクタ操作入力モードでは不要と考えられる操作種別、具体的には、ポインタ上下移動、スワイプ上下左右、ドラッグ上下移動、ピンチイン、ピンチアウトといった操作は、認識すべき操作種別から除外される。
【0130】
このような実施例３によれば、ゲームアプリにおける操作の向き、動作等が、ゲーム内の目的のアクションと似ていることが多く、想起操作を直感的に利用できる、ということが容易に理解される。また、操作種別の数も他のアプリと比較して相対的に少ない傾向にある。そのため、本実施形態による情報処理システムは、このようなゲームアプリ、特に、格闘系、スポーツ系、リズム系、あるいはカード系のゲームアプリに対して、極めて実用性が高い。
【0131】
なお、第２制御装置３０８は、一定時間以上、想起操作が認識されなかった場合には、ポインタ９０の位置を中央に戻すように制御してもよい。このような制御により、ポインタの位置がリセットされ、次の想起操作の開始が容易になる。
【0132】
以上説明した実施形態１によれば、スマートフォン３において使用されているソフトウェアに応じて、そのソフトウェアに対応したソフト別操作種別リストが、第１辞書２１１に適用される。また、スマートフォン３において使用されている入力モードに応じて、その入力モードに対応した入力モード別操作種別リストが、第１辞書２１１に適用される。そのため、脳波種別の判別候補が、スマートフォン３において使用されているソフトウェアあるいは入力モードで用いられる操作種別と対応付けられた脳波種別に絞り込まれる。すなわち、使用されているソフトウェアあるいは入力モードでは不要と考えられる操作種別は、認識すべき操作種別から除外され、これらの操作種別に対応する脳波種別も判別すべき脳波種別から除外される。つまり、判別すべき脳波種別および認識すべき操作種別の数が減少し、脳波種別の判別が容易となり、操作種別の誤認識が抑制され、認識精度が向上する。その結果、情報処理端末の操作において、実現性が高く、また実用性の高い想起操作を実現させることができる。すなわち、ユーザが想起した操作を認識して情報処理端末の操作に適用することができる。
【0133】
（実施形態２）
実施形態２に係る情報処理システムは、スマートフォンにおける入力モードのみに応じて操作種別リストを特定し、ヘッドセットがその操作種別リストを第１辞書に適用するように構成したものである。
実施形態２に係る情報処理システムは、スマートフォンにおける入力モードのみに応じて操作種別リストを特定し、ヘッドセットがその操作種別リストを第１辞書に適用するように構成したものである。
【0134】
〈機能的構成〉
実施形態２に係る情報処理システムの機能的な構成について説明する。
実施形態２に係る情報処理システムの機能的な構成について説明する。
【0135】
図２１は、実施形態２に係る情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。
【0136】
情報処理システム１ａは、実施形態１に係る情報処理システム１を基礎としているが、スマートフォン３ａの第２記憶装置３１０ａは、第２辞書３１５の代わりに第３辞書（第３テーブル）３１７を記憶している。
【0137】
第３辞書３１７は、スマートフォン３ａにおいて使用される入力モードと、その入力モードに対応した操作種別リストとを、入力モード別に対応付けしたテーブルにより構成される。
【0138】
図２２は、第３辞書の一例を示す図である。第３辞書３１７は、図２２に示すように、スマートフォン３ａにて使用される入力モードの種類と、その入力モードが使用されているときに用いられる操作種別を限定してリスト化した入力モード別リストとが、入力モードの種類ごとに対応付けられたテーブルにより構成される。
【0139】
図２２に示すように、本実施形態では、入力モード別操作種別リストとして、ポインタ入力モード用操作種別リストＬｐと、第１テキスト入力モード用操作種別リストＬｔ１と、マップ操作入力モード用操作種別リストＬｍと、キャラクタ操作入力モード用操作種別リストＬｆと、を用意する。
【0140】
〔実施例１〕
実施例１は、ヘッドセットが、スマートフォンの入力モードが変化する度に、入力モード別操作種別リストを取得する例である。
実施例１は、ヘッドセットが、スマートフォンの入力モードが変化する度に、入力モード別操作種別リストを取得する例である。
【0141】
すなわち、実施例１では、スマートフォン３ａが、使用中の入力モードを検知し、検知された入力モードに対応した入力モード別操作種別リストを、ヘッドセット２に出力する。入力モードが変化したときは、その都度、入力モードの検知と、その入力モードに対応した入力モード別操作種別リストの第１辞書２１１への適用が行われる。
【0142】
図２３Ａ～図２３Ｄは、実施形態２に係る情報処理システムの実施例１による処理フロー図である。実施形態１のフローと異なる部分は、図２３Ａおよび図２３Ｂの処理フローに含まれる。なおここでは、実施形態１と異なる部分に関連した処理フローについてのみ説明を行い、他の部分については説明を省略する。
【0143】
図２３Ａの処理フローにおいて、スマートフォン３ａとヘッドセット２との連携が確立すると（Ｓ１０３）、スマートフォン３ａでは、ヘッドセット制御ツール３１６が起動された後（Ｓ１０４）、入力モードが検知される（Ｓ１０９）。入力モードが検知されると、その検知された入力モードに対応した入力モード別操作種別リストが選定される（Ｓ１１０）。そして、選定された入力モード別操作種別リストが、ヘッドセット２に出力される（Ｓ１２１）。ヘッドセット２では、その入力モード別操作種別リストが取得され（Ｓ１２２）、第１辞書２１１に適用される（Ｓ１１３）。
【0144】
また、図２３Ｂの処理フローにおいて、入力モードが変化したか否かの判定が行われ（Ｓ２１０）、入力モードが変化していないと判定された場合には（Ｓ２１０，Ｎｏ）、使用ソフトウェアが変化したかの判定は行わず、直ぐに、学習モードが選択されたか否かの判定が行われる（Ｓ２１２）。一方、入力モードが変化したと判定された場合には（Ｓ２１０，Ｙｅｓ）、ステップＳ１０９に戻り、改めて入力モードが検知される。
【0145】
〔実施例２〕
実施例２は、すべての入力モード別操作種別リストを前もってヘッドセットに取得させる例である。
実施例２は、すべての入力モード別操作種別リストを前もってヘッドセットに取得させる例である。
【0146】
すなわち、実施例２では、スマートフォンが、まず先に、用意されたすべての入力モード別操作種別リストをヘッドセットに出力し、ヘッドセットは、そのすべての入力モード別操作種別リストを取得しておく。そして、スマートフォンは、入力モードを検知し、入力モード特定情報をヘッドセットに出力する。ヘッドセットは、その入力モード特定情報を取得し、取得された入力モード特定情報を基に入力モードを特定し、特定された入力モードに対応した入力モード別操作種別リストを第１辞書２１１に適用する。入力モードが変化したときは、その都度、入力モードの検知と、その入力モードに対応した入力モード別操作種別リストの第１辞書への適用が行われる。
【0147】
図２４Ａ～図２４Ｄは、実施形態２に係る情報処理システムの実施例２による処理フロー図である。実施形態１のフローと異なる部分は、図２４Ａおよび図２４Ｂの処理フローに含まれる。なおここでは、実施形態１と異なる部分に関連した処理フローについてのみ説明を行い、他の部分については説明を省略する。
【0148】
図２４Ａの処理フローにおいて、スマートフォン３ａとヘッドセット２との連携が確立すると（Ｓ１０３）、スマートフォン３ａでは、ヘッドセット制御ツール３１６が起動された後（Ｓ１０４）、用意されたすべての入力モード別操作種別リストがまとめて出力される（Ｓ１３１）。ヘッドセット２では、その用意されたすべての入力モード別操作種別リストが取得される。スマートフォン３ａでは、入力モードが検知され（Ｓ１０９）、入力モード特定情報がヘッドセット２へ出力される（Ｓ１３３）。ヘッドセット２では、入力モード特定情報が取得され（Ｓ１３４）、その入力モード特定情報によって特定される入力モードに対応した入力モード別操作種別リストが、第１辞書２１１に適用される（Ｓ１１３）。
【0149】
また、図２４Ｂの処理フローにおいて、入力モードが変化したか否かの判定が行われ（Ｓ２１０）、入力モードが変化していないと判定された場合には（Ｓ２１０，Ｎｏ）、使用ソフトウェアが変化したかの判定は行わず、直ぐに、学習モードが選択されたか否かの判定が行われる（Ｓ２１２）。一方、入力モードが変化したと判定された場合には（Ｓ２１０，Ｙｅｓ）、ステップＳ１０９に戻り、改めて入力モードが検知される。
【0150】
以上説明した実施形態２によれば、スマートフォン３ａにおいて使用されている入力モードに応じて、その入力モードに対応した入力モード別操作種別リストが、第１辞書２１１に適用される。そのため、脳波種別の判別候補が、スマートフォン３ａにおいて使用されている入力モードで用いられる操作種別と対応付けられた脳波種別に絞り込まれる。すなわち、使用されている入力モードでは不要と考えられる操作種別は、認識すべき操作種別から除外され、これらの操作種別に対応する脳波種別も判別すべき脳波種別から除外される。つまり、判別すべき脳波種別および認識すべき操作種別の数が減少し、脳波種別の判別が容易となり、操作種別の誤認識が抑制され、認識精度が向上する。その結果、実施形態１と同様に、情報処理端末の操作において、実現性が高く、また実用性の高い想起操作を実現させることができる。すなわち、ユーザが想起した操作を認識して情報処理端末の操作に適用することができる。
【0151】
また、実施形態２によれば、スマートフォン３ａにおいて使用されているソフトウェアを検知したり、ソフト別操作種別リストを用意したりする必要がないため、より簡単にシステムを構築することができる。
【0152】
（実施形態３）
実施形態３に係る情報処理システムは、脳波種別の判別、操作種別の認識等を、ヘッドセット側ではなく、スマートフォン側で行うように構成したものである。
実施形態３に係る情報処理システムは、脳波種別の判別、操作種別の認識等を、ヘッドセット側ではなく、スマートフォン側で行うように構成したものである。
【0153】
〈機能的構成〉
実施形態３に係る情報処理システムの機能的な構成について説明する。
実施形態３に係る情報処理システムの機能的な構成について説明する。
【0154】
図２５は、実施形態３に係る情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。
【0155】
図２５に示すように、実施形態３に係る情報処理システム１ｂは、ヘッドセット２ｂと、スマートフォン３ｂとを備えている。ヘッドセット２ｂは、通信装置２００、検出装置２０１、第１制御装置２０６、および第１記憶装置２１０を有している。スマートフォン３ｂは、通信装置３００、操作種別リスト選定装置３０１、使用ソフト検知装置３０２、入力モード検知装置３０３、想起操作受付装置３０４、タッチ操作受付装置３０５、音声操作受付装置３０６、操作受付制御装置３０７、第２制御装置３０８、操作種別リスト適用装置２０２、脳波種別判別装置２０３、想起操作認識装置２０４、学習装置２０５、および第２記憶装置３１０ｂを有している。
【0156】
第２記憶装置３１０ｂは、オペレーティングシステム３１１、第１アプリ３１２、第２アプリ３１３、第２辞書３１５、ヘッドセット制御ツール３１６、および第１辞書２１１を有している。
【0157】
実施形態３では、スマートフォン３ｂが、使用ソフトウェアおよび入力モードを検知し、検知されたソフトウェアおよび入力モードに対応した入力モード別操作種別リストを、第１辞書２１１へ適用する。ヘッドセット２ｂは、ユーザの脳波を検出しスマートフォン３ｂに出力する処理を担う。使用ソフトウェアが変化したときは、その都度、使用ソフトウェアの検知と、その使用ソフトウェアに対応したソフト別操作種別リストが選定される。また、入力モードが変化したときは、その都度、入力モードの検知と、その入力モードに対応した入力モード別操作種別リストの第１辞書２１１への適用が行われる。
【0158】
図２６Ａ～図２６Ｄは、実施形態３に係る情報処理システムの処理フローを示す図である。実施形態１の処理フローと異なる部分は、図２６Ａ～図２６Ｃの処理フローに含まれる。なおここでは、実施形態１と異なる部分に関連した処理フローについてのみ説明を行い、その他の部分については説明を省略する。
【0159】
《想起操作の準備処理フロー》
図２６Ａに示すように、はじめに、第２制御装置３０８が、ヘッドセット２ｂに対して、連携要求信号を出力する（Ｓ１０１）。第１制御装置２０６は、スマートフォン３ｂに対して、その連携要求信号に応じて連携許可信号を出力する（Ｓ１０２）。第２制御装置３０８は、その連携許可信号を取得する（Ｓ１０３）。これにより、スマートフォン３ｂとヘッドセット２ｂとの連携が確立する。
図２６Ａに示すように、はじめに、第２制御装置３０８が、ヘッドセット２ｂに対して、連携要求信号を出力する（Ｓ１０１）。第１制御装置２０６は、スマートフォン３ｂに対して、その連携要求信号に応じて連携許可信号を出力する（Ｓ１０２）。第２制御装置３０８は、その連携許可信号を取得する（Ｓ１０３）。これにより、スマートフォン３ｂとヘッドセット２ｂとの連携が確立する。
【0160】
連携が確立すると、第２制御装置３０８が、第２記憶装置３１０ｂに格納されているヘッドセット制御ツール３１６を起動させ（Ｓ１０４）、ヘッドセット２ｂに対するデータ送受信あるいは動作の制御を可能にする。
【0161】
次に、使用ソフト検知装置３０２は、スマートフォン３ｂで使用されているソフトウェアを検知する（Ｓ１０５）。操作種別リスト選定装置３０１は、図６で示した第２辞書３１５を参照して、その特定されたソフトウェアに対応付けられたソフト別操作種別リストを選定する（Ｓ１０６）。
【0162】
本実施例では、使用ソフトウェアがオペレーティングシステム３１１である場合を想定する。この場合、使用ソフトウェアとして、オペレーティングシステム３１１が検知され、ソフト別操作種別リストとして、オペレーティングシステム用操作種別リストＬＡが選定される。
【0163】
第２制御装置３０８は、ソフト別操作種別リストが選定されると、スマートフォン３ｂにおける現時点で使用されている入力モードを検知し（Ｓ１０９）、検知された入力モードに対応した入力モード別操作種別リストを選定する（Ｓ１１０）。
【0164】
本実施例では、入力モードとして、ポインタ入力モードが選択されている状況を想定する。よって、ここでは、ポインタ入力モード用操作種別リストＬｐが選定さる。
【0165】
想起操作認識装置２０４は、選定された入力モード別操作種別リストを第１辞書２１１に適用する。すなわち、認識すべき操作種別を、第１辞書２１１に登録されている操作種別のうち、適用した入力モード別操作種別リストに含まれる操作種別に限定する設定を行う（Ｓ１１３）。
【0166】
ここでは、ポインタ入力モード用操作種別リストＬｐが第１辞書２１１に適用される。その結果、認識すべき操作種別が、ポインタ入力モードにて必要と考えられる操作種別のみに絞り込まれる。
【0167】
《想起操作の実行処理フロー》
図２６Ｂに示すように、検出装置２０１は、ユーザの脳波を検出し、検出された脳波をスマートフォン３ｂに出力する（Ｓ２３１）。スマートフォン３ｂの脳波種別判別装置２０３は、その脳波を取得し、取得された脳波の波形等を基に、脳波種別を判別する（Ｓ２０２）。このとき、第１辞書２１１に登録されている脳波種別のうち、現時点で適用されている入力モード別操作種別リストに含まれる操作種別に対応した脳波種別のいずれかと、これらの脳波種別外と、に限定して判別する。本実施例では、図８に示すような、ポインタ入力モード用操作種別リストＬｐに含まれる操作種別に対応した脳波種別に限定して判別が行われる。
図２６Ｂに示すように、検出装置２０１は、ユーザの脳波を検出し、検出された脳波をスマートフォン３ｂに出力する（Ｓ２３１）。スマートフォン３ｂの脳波種別判別装置２０３は、その脳波を取得し、取得された脳波の波形等を基に、脳波種別を判別する（Ｓ２０２）。このとき、第１辞書２１１に登録されている脳波種別のうち、現時点で適用されている入力モード別操作種別リストに含まれる操作種別に対応した脳波種別のいずれかと、これらの脳波種別外と、に限定して判別する。本実施例では、図８に示すような、ポインタ入力モード用操作種別リストＬｐに含まれる操作種別に対応した脳波種別に限定して判別が行われる。
【0168】
想起操作認識装置２０４は、第１辞書２１１を参照して、判別された脳波種別に対応する操作種別を特定し、特定された操作種別を、ユーザが想起した操作種別であると認識する（Ｓ２３２）。操作種別が認識されると、第２制御装置３０８が、認識された操作種別を表す情報を取得する（Ｓ２０４）。操作受付制御装置３０７は、各操作入力方式による操作の有無を検出する（Ｓ２０５）。具体的には、タッチ入力方式、音声入力方式、および想起入力方式のそれぞれの方式による操作の有無を検出する。そして、操作受付制御装置３０７は、検出された操作の中で優先順位が最も高い操作入力方式による操作を特定し（Ｓ２０６）、特定された操作を採用して実行する（Ｓ２０７）。
【0169】
ここで、学習装置２０５は、想起操作に対する学習用評価を受け付ける（Ｓ２０８）。学習用評価は、例えば、ユーザによる「いいよ！」ボタンの押下が検出されたか否かの情報を含む。学習装置２０５は、その情報を基に想起操作の認識精度が向上するように学習処理を実行する（Ｓ２０９）。
【0170】
学習処理が実行されると、第２制御装置３０８は、入力モードが変化したか否かを判定する（Ｓ２１０）。ここで、入力モードが変化したと判定されたとき（Ｓ２１０：Ｙｅｓ）には、ステップＳ１０９に戻る。入力モードが変化していないと判定されたとき（Ｓ２１０：Ｎｏ）には、次の判定に移行する。第２制御装置３０８は、使用中のソフトウェアが変化したか否かを判定する（Ｓ２１１）。ここで、使用中のソフトウェアが変化したと判定された（Ｓ２１１：Ｙｅｓ）ときには、ステップＳ１０５に戻る。使用中のソフトウェアが変化していないと判定された（Ｓ２１１：Ｎｏ）ときには、次の判定に移行する。第２制御装置３０８は、ユーザによって学習モードが選択されたか否かを判定する（Ｓ２１２）。ここで、学習モードが選択されたと判定された（Ｓ２１２：Ｙｅｓ）ときには、ステップＳ３３１に進む。学習モードが選択されていないと判定された（Ｓ２１２：Ｎｏ）ときには、次の判定に移行する。第２制御装置３０８は、連携終了すべきであるか否かを判定する（Ｓ２１３）。連携終了すべき状況としては、例えば、連携終了の指示が入力された場合、連携の一部に障害が発生した場合、バッテリ残量が少なくなった場合等が考えられる。ここで、連携終了すべきであると判定された（Ｓ２１３：Ｙｅｓ）ときには、ステップＳ４０１に進む。連携終了すべきでないと判定された（Ｓ２１３：Ｎｏ）ときには、ステップＳ２３１に戻る。
【0171】
このように、使用中の入力モードの変化、使用中のソフトウェアの変化、学習モードの選択、または、連携終了が発生しない限り、脳波の検出により想起操作を認識し、認識された想起操作を実行するというサイクルが継続されることになる。ユーザは、スマートフォン３ｂの画面上に表示されているポインタ９０を想起操作で操って、所望の操作を実現させる。
【0172】
《学習モード処理フロー》
次に、学習モードでの処理について説明する。
次に、学習モードでの処理について説明する。
【0173】
図２６Ｃに示すように、学習モードが選択されると、学習装置２０５が、学習モードの処理を開始する。学習装置２０５は、予め用意されている複数種類のポインタの中から一つを選択し（Ｓ３０４）、選択されたポインタを画面に表示する。また、学習装置２０５は、ユーザに向けた操作指示を出力する（Ｓ３０５）。操作指示は、画像あるいはテキストを表示する形態であってもよいし、音声を出力する形態であってもよい。
【0174】
ポインタが表示され、操作指示が出力されると、学習装置２０５は、ヘッドセット２ｂの検出装置２０１を制御して、ユーザの脳波を検出させ、スマートフォン３ｂに出力させる（Ｓ３０６）。脳波種別判別装置２０３は、検出された脳波に基づく脳波種別の判別を行い（Ｓ３０７）、想起操作認識装置２０４は、判別された脳波種別に基づき第１辞書２１１および適用された操作種別リストを参照して、操作種別の認識（Ｓ３３３）を行う。また、学習装置２０５は、学習モード中に検出された脳波をそのタイミングと対応付けて第２記憶装置３１０ｂに格納する。第２制御装置３０８は、認識された操作種別に対応した操作を実行する（Ｓ３０９）。
【0175】
ユーザは、実行された操作が、自分の想起した操作通りであった場合には、「いいね！」ボタンを押下し、想起操作がうまくいったことを意味する評価を入力する。第２制御装置３０８は、想起操作が良好である旨の評価が入力された場合には、その評価を受け付け（Ｓ３１０）、そのときの操作指示の種別、時間的なタイミング、およびその評価を対応付けた評価結果情報を第２記憶装置３１０ｂに記憶させる。
【0176】
第２制御装置３０８は、操作指示を変更する否かを判定する（Ｓ３１１）。第２制御装置３０８は、操作指示を変更すると判定された場合（Ｓ３１１，Ｙｅｓ）には、ステップＳ３０５に戻り、操作指示を変更して出力する。第２制御装置３０８は、操作指示を変更しないと判定された場合（Ｓ３１１，Ｎｏ）には、ポインタを変更するか否かを判定する（Ｓ３１２）。
【0177】
第２制御装置３０８は、ポインタを変更すると判定された場合（Ｓ３１２，Ｙｅｓ）には、ステップＳ３０４に戻り、表示するポインタとして別のポインタを選択する。
【0178】
第２制御装置３０８は、ポインタを変更しないと判定された場合（Ｓ３１２，Ｎｏ）には、学習モードを終了し、第２記憶装置３１０ｂに記憶しておいた評価結果情報をヘッドセット２に出力する（Ｓ３１３）。学習装置２０５は、取得した評価結果情報を基に、第１辞書２１１の調整を行う（Ｓ３１４）。例えば、想起操作が良好と評価されたときの操作種別とそのときの脳波の波形とに基づき、第１辞書２１１に登録されている脳波種別の脳波のパターンを修正し、よりユーザの脳波の特徴が反映されたものに調整する。この第１辞書２１１の調整により、想起操作における脳波種別の判別精度が向上し、操作種別の認識精度が向上する。また、学習装置２０５は、いずれのポインタが脳波の判別精度を向上させるかを分析し、精度が良くなる順番に、ポインタの順位を決定する（Ｓ３１５）。ポインタの順位の情報は、スマートフォン３ｂに出力される。スマートフォン３ｂでは、そのポインタの順位を参照し、表示させるポインタとして任意のポインタを選択できるようにする。あるいは、順位の最も高い種別のポインタを自動で選択するようにする。
【0179】
学習モードが終了したら、第２制御装置３０８は、実行ステップをＳ２１４に戻し、処理を続行する。
【0180】
以上説明した実施形態３によれば、実施形態１と同様の効果を得ることができる。また、脳波の検出以外の処理を、スマートフォン側で行うので、ヘッドセットに実行させる処理を少なくすることができ、ヘッドセットの構成を簡略化することができる。
【0181】
（実施形態４）
実施形態４に係る情報処理システムは、脳波種別の判別、操作種別の認識等を、ヘッドセット側ではなく、スマートフォン側で行い、かつ、スマートフォンの入力モードに応じて操作種別リストを特定し、第１辞書に適用するように構成したものである。
実施形態４に係る情報処理システムは、脳波種別の判別、操作種別の認識等を、ヘッドセット側ではなく、スマートフォン側で行い、かつ、スマートフォンの入力モードに応じて操作種別リストを特定し、第１辞書に適用するように構成したものである。
【0182】
〈機能的構成〉
実施形態４に係る情報処理システムの機能的な構成について説明する。
実施形態４に係る情報処理システムの機能的な構成について説明する。
【0183】
図２７は、実施形態４に係る情報処理システムにおけるヘッドセットおよびスマートフォンの機能ブロックによる構成を示す図である。
【0184】
図２７に示すように、実施形態４に係る情報処理システム１ｃは、実施形態３に係る情報処理システム１ｂを基礎としているが、スマートフォン３ｃの第２記憶装置３１０ｃは、第２辞書３１５の代わりに第３辞書３１７を記憶している。
【0185】
第３辞書３１７は、スマートフォン３ｃにおいて選択される入力モードと、その入力モードに対応した操作種別リストとを、入力モード別に対応付けしたテーブルにより構成される。
【0186】
図２８Ａ～図２８Ｄは、実施形態４に係る情報処理システムの処理フローを示す図である。実施形態３の処理フローと異なる部分は、図２６Ａおよび図２６Ｂの処理フローに含まれる。なおここでは、実施形態３と異なる部分に関連した処理フローについてのみ説明を行い、その他の部分については説明を省略する。
【0187】
図２８Ａの処理フローにおいて、スマートフォン３ｃとヘッドセット２ｃとの連携が確立すると（Ｓ１０３）、スマートフォン３ｃでは、ヘッドセット制御ツールが起動された後（Ｓ１０４）、使用ソフトウェアの検知は行われず、入力モードが検知される（Ｓ１０９）。入力モードが検知されると、その検知された入力モードに対応した入力モード別操作種別リストが選定され（Ｓ１１０）、第１辞書２１１に適用される（Ｓ１１３）。
【0188】
また、図２８Ｂの処理フローにおいて、入力モードが変化したか否かの判定が行われ（Ｓ２１０）、入力モードが変化していないと判定された場合には（Ｓ２１０，Ｎｏ）、使用ソフトウェアが変化したかの判定は行わず、直ぐに、学習モードが選択されたか否かの判定が行われる（Ｓ２１２）。一方、入力モードが変化したと判定された場合には（Ｓ２１０，Ｙｅｓ）、ステップＳ１０９に戻り、改めて入力モードが検知される。
【0189】
以上説明した実施形態４によれば、実施形態２と同様の効果を得ることができる。また、脳波の検出以外の処理を、スマートフォン側で行うので、ヘッドセットに実行させる処理を少なくすることができ、ヘッドセットの構成を簡略化することができる。
【0190】
（実施形態５）
上記の各実施形態において、ヘッドセットは、本発明における電極装置の一例であり、形状、構成、使用形態等は任意である。したがって、本発明における電極装置として、例えば、帽子型のデバイス、ウェアラブルでない、電極貼り付け型のデバイス等を用いてもよい。
上記の各実施形態において、ヘッドセットは、本発明における電極装置の一例であり、形状、構成、使用形態等は任意である。したがって、本発明における電極装置として、例えば、帽子型のデバイス、ウェアラブルでない、電極貼り付け型のデバイス等を用いてもよい。
【0191】
また、上記各実施形態において、スマートフォンは、本発明における情報処理端末の一例であり、形状、大きさ、仕様等は任意である。したがって、本発明における情報処理端末として、例えば、スマートフォンの代わりに、タブレット端末、タッチパネル付きノートパソコン等を用いてもよい。
【0192】
このように、上記の各実施形態によれば、ユーザの脳波に基づいて認識すべき操作種別をその時点で必要なものに限定するので、脳波種別の判別を容易にし、操作種別の誤認識を抑制することができる。その結果、情報処理端末に操作において、実現性が高く、また実用性の高い想起操作を実現させることができる。
【0193】
また、脳波の検出、あるいは、脳波種別の判別などに、高い精度を求めなくても、想起操作が可能であることから、比較的廉価な脳波検出デバイスを用いても、情報処理端末の想起操作を楽しむことができる。
【0194】
また、タッチパネル表示画面上に、ポインタを表示し、そのポインタを基準または起点にした操作を、認識すべき操作種別としているので、タッチ操作の代わりとして想起操作を、より直感的に利用することができる。
【0195】
以上、本発明の各種実施形態について説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。さらに文中や図中に含まれる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものではない。
【0196】
また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、ＭＰＵ、ＣＰＵ等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。また、ソフトウェアにより実現される機能の範囲は限定されるものでなく、ハードウェアとソフトウェアを併用してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0197】
以下、本発明の考えられる態様について付記する。
【0198】
［付記１］
想起操作認識方法であって、
ユーザが想起した操作の認識に用いる前記ユーザの脳波を検出する検出工程と、
情報処理端末が受け付ける操作の種別と、前記操作の種別に対応する脳波の種別とが前記操作の種別ごとに対応付けられた第１のテーブルを参照し、前記第１のテーブルに含まれる脳波の種別の中で、前記検出工程により検出された脳波に対応する脳波の種別を判別する判別工程と、
前記判別工程により判別された脳波の種別に基づき、前記第１のテーブルを参照して、前記ユーザが想起した操作を認識する認識工程と、
前記認識工程により認識された操作を実行する実行工程と、
前記第１のテーブルに含まれる操作の種別の中から、前記情報処理端末において使用中のソフトウェアまたは入力モードの種類に応じて、前記認識工程において認識すべき操作の種別を限定する限定工程と、を有し、
前記判別工程は、前記限定工程により限定された操作の種別に対応する脳波の種別の中で、前記検出された脳波に対応する脳波の種別を判別する、想起操作認識方法。
想起操作認識方法であって、
ユーザが想起した操作の認識に用いる前記ユーザの脳波を検出する検出工程と、
情報処理端末が受け付ける操作の種別と、前記操作の種別に対応する脳波の種別とが前記操作の種別ごとに対応付けられた第１のテーブルを参照し、前記第１のテーブルに含まれる脳波の種別の中で、前記検出工程により検出された脳波に対応する脳波の種別を判別する判別工程と、
前記判別工程により判別された脳波の種別に基づき、前記第１のテーブルを参照して、前記ユーザが想起した操作を認識する認識工程と、
前記認識工程により認識された操作を実行する実行工程と、
前記第１のテーブルに含まれる操作の種別の中から、前記情報処理端末において使用中のソフトウェアまたは入力モードの種類に応じて、前記認識工程において認識すべき操作の種別を限定する限定工程と、を有し、
前記判別工程は、前記限定工程により限定された操作の種別に対応する脳波の種別の中で、前記検出された脳波に対応する脳波の種別を判別する、想起操作認識方法。
【0199】
［付記２］
付記１に記載の想起操作認識方法において、
前記認識された操作に対する前記ユーザによる評価を受け付け、前記評価の対象となる操作と、該操作の認識に用いられた脳波とに基づいて、前記第１のテーブルに含まれる該操作の種別に対応した脳波の種別の波形を調整する学習工程を有する、想起操作認識方法。
付記１に記載の想起操作認識方法において、
前記認識された操作に対する前記ユーザによる評価を受け付け、前記評価の対象となる操作と、該操作の認識に用いられた脳波とに基づいて、前記第１のテーブルに含まれる該操作の種別に対応した脳波の種別の波形を調整する学習工程を有する、想起操作認識方法。
【0200】
［付記３］
付記１に記載の想起操作認識方法において、
前記実行工程では、前記情報処理端末の画面に表示されたポインタを基準または起点にした操作を実行する、想起操作認識方法。
付記１に記載の想起操作認識方法において、
前記実行工程では、前記情報処理端末の画面に表示されたポインタを基準または起点にした操作を実行する、想起操作認識方法。
【0201】
［付記４］
付記３に記載の想起操作認識方法において、
前記画面に順次表示される複数種類のポインタの各々について、前記ユーザに向けた操作の指示を出力し、前記認識された操作に対する前記ユーザによる評価を受け付け、前記評価に基づいて、前記複数種類のポインタに順位付けを行う学習工程を有する、想起操作認識方法。
付記３に記載の想起操作認識方法において、
前記画面に順次表示される複数種類のポインタの各々について、前記ユーザに向けた操作の指示を出力し、前記認識された操作に対する前記ユーザによる評価を受け付け、前記評価に基づいて、前記複数種類のポインタに順位付けを行う学習工程を有する、想起操作認識方法。
【0202】
［付記５］
付記１に記載の想起操作認識方法において、
前記ソフトウェアは、ゲームソフトウェアを含む、想起操作認識方法。
付記１に記載の想起操作認識方法において、
前記ソフトウェアは、ゲームソフトウェアを含む、想起操作認識方法。
【0203】
［付記６］
付記１に記載の想起操作認識方法において、
前記入力モードは、テキスト入力モードを含む、想起操作認識方法。
付記１に記載の想起操作認識方法において、
前記入力モードは、テキスト入力モードを含む、想起操作認識方法。
【0204】
［付記７］
付記１に記載の想起操作認識方法において、
前記情報処理端末は、スマートフォン、タブレット端末、またはタッチパネル付きノートパソコンである、想起操作認識方法。
付記１に記載の想起操作認識方法において、
前記情報処理端末は、スマートフォン、タブレット端末、またはタッチパネル付きノートパソコンである、想起操作認識方法。
【符号の説明】
【0205】
１…情報処理システム、２…ヘッドセット（脳波検出装置）、３…スマートフォン（情報処理端末）、９…ユーザ、９ｗ…脳波、２４…脳波検出用電極装置、２００…通信装置（第１の通信装置），３００…通信装置（第２の通信装置）、２０１…検出装置（検出装置）、２０２操作種別リスト適用装置（第１の処理装置）、２０３…脳波種別判別装置（第１の処理装置）、２０４…想起操作認識装置、２０５…学習装置（学習装置）、２０６…第１制御装置（第１の処理装置）、２１０…第１記憶装置（第１の記憶装置）、２１１…第１辞書（変換辞書，第１のテーブル）、３０１…操作種別リスト選定装置（第２の処理装置）、３０２…使用ソフト検知装置（第２の処理装置）、３０３…入力モード検知装置（第２の処理装置）、３０４…想起操作受付装置（第２の処理装置）、３０５…タッチ操作受付装置（第２の処理装置）、３０６…音声操作受付装置（第２の処理装置）、３０７…操作受付制御装置（第２の処理装置）、３０８…第２制御装置（第２の処理装置）、３１０…第２記憶装置（第２の記憶装置）、３１１…オペレーティングシステム（ソフトウェア）、３１２…第１アプリ（ソフトウェア）、３１３…第２アプリ（ソフトウェア）、３１５…第２辞書（第２のテーブル）、３１６…ヘッドセット制御ツール。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図23C】
【図23D】
【図24A】
【図24B】
【図24C】
【図24D】
【図25】
【図26A】
【図26B】
【図26C】
【図26D】
【図27】
【図28A】
【図28B】
【図28C】
【図28D】