特許 6553492 脳波を用いた対象物制御方法および制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6553492

(24)【登録日】2019年7月12日

(45)【発行日】2019年7月31日

(54)【発明の名称】脳波を用いた対象物制御方法および制御装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20190722BHJP

   A61B 5/0476 20060101ALI20190722BHJP

   A61B 5/0408 20060101ALI20190722BHJP

   A61B 5/0478 20060101ALI20190722BHJP

【ＦＩ】

   G06F3/01 515

   A61B5/04 322

   A61B5/04 300M

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2015-232675(P2015-232675)

(22)【出願日】2015年11月30日

(65)【公開番号】特開2017-102504(P2017-102504A)

(43)【公開日】2017年6月8日

【審査請求日】2018年11月21日

(73)【特許権者】

【識別番号】505377049

【氏名又は名称】学校法人京都橘学園

(74)【代理人】

【識別番号】100111349

【弁理士】

【氏名又は名称】久留 徹

(72)【発明者】

【氏名】兒玉 隆之

【審査官】 木村 慎太郎

(56)【参考文献】

【文献】 米国特許出願公開第２００９／０２７０７６８（ＵＳ，Ａ１）

【文献】 特開平９−１４９８９４（ＪＰ，Ａ）

【文献】 特開２００４−８６７６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ３／０１

３／０４８−３／０４８９

Ａ６１Ｂ５／０４

(57)【特許請求の範囲】

【請求項1】

右脳もしくは左脳に対応する頭部の一方に装着された脳波検出センサーから脳波を抽出するステップと、
被験者に所定の動作を行ってもらう際に当該抽出された脳波の変化状態を記憶させるステップと、
前記装着された側と反対側の頭部に装着された脳波検出センサーから脳波を抽出するステップと、
当該反対側の頭部の脳波検出センサーから抽出された脳波の変化状態が、前記記憶された変化状態と一致している場合、当該脳波検出センサーが装着された脳に対応する身体を動作させているように対象物を制御させるステップと、
を備えたことを特徴とする対象物制御方法。

【請求項2】

前記検出された脳波の変化状態が、各周波数帯域の組み合わせパターンの変化状態である請求項１に記載の対象物制御方法。

【請求項3】

右脳もしくは左脳に対応する頭部の一方に装着される脳波検出部と、
被験者に所定の動作を行ってもらう際に前記脳波検出部で検出された脳波の変化状態を記憶させる記憶部と、
前記装着された側と反対側の頭部に装着された脳波検出部から脳波を検出し、当該反対側の頭部の脳波検出部から検出された脳波の変化状態が、前記記憶された変化状態と一致している場合、当該脳波検出部が装着されている脳に対応する身体を動作させているように対象物を制御させる制御部と、
を備えたことを特徴とする対象物制御装置。

【請求項4】

前記検出された脳波の変化状態が、各周波数帯域の組み合わせパターンの変化状態である請求項３に記載の対象物制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、脳波を用いてコンピューターなどの対象物を制御できるようにした対象物制御方法に関するものであり、より詳しくは、所定の動作イメージをする際の前後における周波数の変化からコンピューターなどをそのイメージ通りに制御できるようにした対象物制御方法に関するものである。

【背景技術】

【0002】

近年では、人間の脳波を用いてコンピューターなどを制御する方法が研究されている。例えば、下記の特許文献１には、頭部に装着されたセンサーから脳波を抽出し、コンピューターを制御できるようにした制御装置が提案されている。この制御装置は、被験者が自己の所定身体部位の運動を周期的にイメージする時のイメージ開始後一定時間における脳波を測定するとともに、この脳波からβ波帯域（周波数１３〜３０Ｈｚ）のパワースペクトルを求め、そのパワースペクトルが、イメージ前の脳波の前記周波数におけるパワースペクトルに基づいて定めた閾値を超えるか否かによってブレイン・コンピューター・インターフェースなどの対象物を制御できるようにしたものである。このようなシステムを用いれば、例えば、被験者が、所定の運動を脳内でイメージするだけでコンピューターなどを制御することができ、手などが不自由な被験者の動作補助を行わせたりすることができるようになることが期待される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１２８６４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、通常、このような周波数の変化は、環境や脳機能状態・心理状態などの個体差によって影響を受けやすく、所定の周波数の変化を見るだけでは、正確に脳内でイメージを創出しているのか否かが判断できない場合もある。具体的には、非常に外部からの刺激が入りやすい環境下で運動をイメージする場合や、脳機能が衰えているような状況、あるいは、心理状態などの個体差によって、その動作イメージ前後の脳波の変化状態を見るだけでは正確にそのイメージを創出しているか否かが判断できない場合がある。

【0005】

そこで、本発明は上記課題に着目してなされたもので、環境や脳機能状態、個体差などに影響を受けにくくした脳波による対象物制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

すなわち、本発明は上記課題を解決するために、右脳もしくは左脳に対応する頭部の一方に装着された脳波検出センサーから脳波を抽出するステップと、被験者に所定の動作を行ってもらう際に当該抽出された脳波の変化状態を記憶させるステップと、前記装着された側と反対側の頭部に装着された脳波検出センサーから脳波を抽出するステップと、当該反対側の頭部の脳波検出センサーから抽出された脳波の変化状態が、前記記憶された変化状態と一致している場合、当該脳波検出センサーが装着された脳に対応する身体を動作させているように対象物を制御させるステップとを備えるようにしたものである。

【0007】

このようにすれば、一方の脳側で取得された脳波の波形変化と反対側の脳で取得された波形変化とを比較して動作イメージの有無を判断し、その反対側の脳に対応する身体部位を動かしているかのように対象物を制御するので、環境や脳機能状態、個体差などの変動を受けにくくして対象物を制御することができるようになる。

【0008】

また、このような発明において、各周波数帯域の変化状態の組み合わせパターンで判断する。

【0009】

このようにすれば、動作イメージを行ってもらった際のθ波帯域、α波帯域、β波帯域の時間的変化を抽出することで、各帯域単独の周波数変化を抽出する場合に比べて、より正確に動作イメージを行っているか否かを判断することができるようになる。

【発明の効果】

【0010】

本発明によれば、一方の脳側で取得された脳波の波形変化と反対側の脳で取得された波形変化とを比較して動作イメージの有無を判断し、その反対側の脳に対応する身体部位を動かしているかのように対象物を制御するので、環境や脳機能状態、個体差などの変動を受けにくくして対象物を制御することができるようになる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施の形態を示す対象物制御装置の全体概略図

【図2】同形態における機能ブロック図

【図3】同形態における各周波数帯域におけるパワースペクトルの変化状態を示す図

【図4】同形態における動作イメージ前後におけるパワースペクトルを正規化させた図

【図5】同形態における変化状態と一致状態の許容値を示す図

【図6】同形態におけるフローチャート

【発明を実施するための形態】

【0012】

以下、本発明の一実施の形態について図面を参照して説明する。

【0013】

この実施の形態における対象物制御装置１は、左右いずれかの半身に機能障害を有する被験者に対して、その機能障害を有する側の身体を動かしているかのようにタブレット端末８などの対象物を制御できるようにしたものであって、図１や図２に示すように、右脳もしくは左脳（好ましくは健常な側の脳）に対応する頭部に装着される脳波検出部２と、被験者に所定の動作を行ってもらう際に前記脳波検出部２で検出された脳波の変化状態を抽出する周波数解析部３や変化状態抽出部４と、これらの変化状態を被験者の動作とともに記憶させる記憶部５と、前記装着された側と反対側の頭部に装着された脳波検出部２から脳波を検出し、当該反対側の頭部の脳波検出部２から検出された脳波の変化状態が前記記憶された変化状態と一致している場合に、当該脳波検出部２が装着されている脳に対応する身体を動作させているようにタブレット端末８の画面を制御させる制御部７とを備えるようにしたものである。そして、このように同一被験者の脳波の変化状態を基準としてタブレット端末８を制御させるようにすることによって、環境、心理的要因などの個体差に左右されることなく、機能障害を有している側の半身をリハビリさせるようにしたものである。以下、本実施の形態における対象物制御装置１について、詳細に説明する。

【0014】

まず、脳波検出部２は、人間の頭部に装着されて脳の信号を検出できるようにしたものであって、頭部に貼り付けられた脳波検出センサー２１や、頭部に装着されるヘッドセットの脳波検出センサー２１からわずかな電位差を検出し、この電位差の時間的変化である脳波信号を検出する。このとき、その検出された脳波信号には、顔の筋肉に流れる電流などが一緒にノイズとして含まれることになるため、フィルターを用いてそのノイズを除去し、その脳波信号を増幅しておく。そして、その増幅された信号を周波数解析部３で周波数解析することによって、どの周波数帯域のパワースペクトルがどれだけ含まれているのかを時系列で抽出できるようにしている。

【0015】

この周波数解析部３（図２参照）では、主にθ波帯域（４〜７Ｈｚ）、α波帯域（８〜１３Ｈｚ）、β波帯域（１３〜３０Ｈｚ）の周波数のパワースペクトルがどれだけ含まれているのかを解析する。

【0016】

この周波数解析を行う場合、第一の方法として、短時間フーリエ変換（ＳＴＦＴ）によって各周波数帯域のパワースペクトルを抽出することができる。この短時間フーリエ変換を行う場合は、まず、分析フレームをオーバーラップさせた状態で少しずつずらしながら、各分析フレーム内で短時間フーリエ変換を行い、時間・周波数領域における離散的な周波数ビンを算出する。そして、このままでは周波数のパワースペクトルの時間的変化を解析することができないので、その得られた周波数ビンでのパワースペクトルを時間軸方向に連結させてパワースペクトルの時間的変化を算出できるようにする。しかしながら、この短時間フーリエ変換でパワースペクトルの時間的変化を算出する場合、どうしてもタイムラグが生じてしまい、また、分析フレームの幅が固定されているために周波数分解能を高くしても時間分解能は向上しないという問題がある。このため、好ましくは、ウェーブレット変換を用いてパワースペクトルの時間的変化を算出する。このようなウェーブレット変換を用いれば、短時間フーリエ変換を行う場合と比べて、パワースペクトルの時間変化を瞬時に計算することができるようになるというメリットがある。

【0017】

次に、このように解析されたパワースペクトルから各周波数帯域における変化状態を変化状態抽出部４で抽出する。この変化状態抽出部４では、まず、被験者が何もイメージしていないときの脳波を測定し、そのときのθ波帯域、α波帯域、β波帯域のパワースペクトルをそれぞれθ_０、α_０、β_０として記憶部５に記憶させる（図４参照）。そして、次に、被験者に手を開く動作などの動作を行ってもらう際の脳波を測定する。このとき、例えば、ボタンの押下などによる所定の合図信号のもとに被験者に実際に動作してもらうこととし、その合図信号の所定時間前における脳波信号を抽出してパワースペクトルを記憶する。一般に、被験者に動作イメージをしてもらう場合、θ波帯域のパワースペクトルは図３に示すように減少する傾向が強く、また、α波帯域のパワースペクトルは更に大幅に減少し、逆に、β波帯域のパワースペクトルは増加する傾向があることが知られている。これらの増減の値は、環境・心理的要因・脳機能状態などの個人差によって変動するため、被験者が異なるとこれらの増減幅も大きく変化してしまう。このため、まず一方の脳から平常時の各周波数帯域におけるパワースペクトルを抽出するとともに、動作イメージを行った際の各周波数帯域のパワースペクトルを抽出し、それぞれの変化状態のパターンを抽出できるようにする。また、このパワースペクトルを抽出する他に、被験者が実際にその運動を行った際の動画を撮影しておくようにする。

【0018】

このように記憶部５に記憶されたパワーススペクトルの変化状態のパターンは、図４に示すように、各周波数帯における増減の「値」として記憶させる方法や、その増減の「割合（％）」として記憶させる方法などを用いることができる。このとき増減値として記憶させる場合は、脳機能障害によって片方の脳側の波形が相対的に反対側の波形より弱く出力される可能性があるため、まず、解析されたパワースペクトルについて正規化させておき、全体的に片方の脳の波形出力が小さくなっている場合であってもパワースペクトルを共通化して比較できるようにしておく。

【0019】

一致状態判断部６は、反対側の脳から抽出されたパワースペクトルの変化状態のパターンと、前記記憶部５に記憶されているパワースペクトルの変化状態のパターンが一致しているか否かを判断する。この一致状態を判断する際、同様にして被験者に反対側の脳に対応する位置に脳波検出部２を取り付けてもらい、平常時における各周波数帯域のパワースペクトルと、現時点での各周波数帯域のパワースペクトルを抽出する。そして、それぞれの値から各周波数帯域の変化状態を計算し、その変化状態のパターンが、前記記憶部５に記憶された変化状態（Δθ、Δα、Δβ）のパターンと一致しているか否かを判断する。このとき、複数の動作状態（例えば、手を握る動作、手を振る動作など）と、そのパワースペクトルの変化状態のパターンが記憶部５に記憶されている場合は、それぞれの動作状態におけるパワースペクトルの変化状態のパターンと一致するか否かを判断する。また、右脳側の変化状態のパターンと左脳側の変化状態のパターンが完全に一致しない可能性があるため、図５に示すように、あらかじめ許容値を設定しておき、その許容値の範囲内であれば一致していると判断する。この許容値については、全周波数帯域に一つの許容値を設定するようにしてもよく、あるいは、各周波数帯域に個別に許容値を設定してもよい。このように各周波数帯域に個別に許容値を設定すれば、変化の大きい周波数帯域と変化の小さい周波数帯域とを個別に分けて一致状態を判断することができるようになる。

【0020】

次に、制御部７は、このような変化状態のパターンが一致した場合に、その脳に対応する半身側の手などを使っているかのように対象物を制御する。このような対象物を制御の例としては、ここでは図１に示すように、タブレット端末８のカメラに映された手を開くように画面を制御するような例を挙げ、麻痺によって手を開くことができないような被験者に対して、脳波信号だけで手を開いているように画面を見せかけてリハビリさせるような場合を想定する。この画面を制御する場合、その手に対応する脳に装着された脳波検出部２から脳波を検出し、その検出された脳波のパワースペクトルの変化状態のパターンが記憶部５に記憶されている変化状態（Δθ、Δα、Δβ）のパターンと許容範囲内で一致している場合に、記憶部５から実際に動作を行った際の動画を読み出して、左右反転させた動画を画面に映し出させる。あるいは、タブレット端末８の背後に麻痺した手を位置させた場合に、タブレット端末８のカメラでその手の位置を検出し、その手の位置に合わせて左右反転させた動画を画面に映し出させる。このとき、画面にはその手以外の背景については実際にカメラで撮影された画像を映し出させておき、手については先に撮影された動画を左右反転させて映し出させるようにするとよい。

【0021】

次に、このような対象物制御装置１を用いて対象物であるタブレット端末８を制御する場合について、図６に示すフローチャートを用いて説明する。

【0022】

まず、事前に被験者の脳波の変化状態と動作との関係を登録しておくべく、頭部の左右いずれか一方に脳波検出部２の脳波検出センサー２１を取り付けて脳波信号を検出する（ステップＳ１）。この脳波信号を検出する場合、脳波検出センサー２１で検出された微弱な電位変化からノイズを除去するとともに、そのノイズの除去された信号を増幅させて脳波信号とする。

【0023】

そして、脳波信号を検出している状態で、被験者に所定の合図をもとに手を開くなどの所定の動作を行ってもらうようにする。この合図を行うときには、オペレーターが図示しないボタンを押下することなどによってその合図信号をコンピューターに出力するようにしておく（ステップＳ２）。

【0024】

また、このように被験者に動作を行ってもらう際、ここでは、図１に示すように、タブレット端末８の裏側に手を入れてもらい、そのタブレット端末８のカメラによってその動作を動画として取得しておくようにする（ステップＳ３）。

【0025】

次に、脳波信号を検出している状態で合図信号が出力された場合、その合図信号から所定時間前からの脳波信号を抽出し、ウェーブレット変換によって各周波数帯域のパワースペクトルの時間変化を抽出する（ステップＳ４）。

【0026】

そして、合図が行われる前の何もイメージをしていない平常時での各周波数帯域のパワースペクトルをθ_０、α_０、β_０として記憶部５に記憶させる（ステップＳ５）。このとき、このθ_０、α_０、β_０などの値については、ある時刻でのパワースペクトルであってもよく、あるいは、所定時間幅内のパワースペクトルの平均値であってもよい。

【0027】

次に、合図を行う少し手前の「動作イメージ」を行った際の各周波数帯域のパワースペクトルを抽出し、その値を変化状態抽出部４に出力して各周波数帯域のパワースペクトルの変化状態を抽出する（ステップＳ６）。なお、この「動作イメージ」を行った際の時刻については見た目では判断することができないため、時系列におけるパワースペクトルの変化を抽出し、合図信号から所定時間幅内で最も変化が大きくなったパワースペクトルの時刻を「動作イメージ」を行った時刻と推定して、その変化状態を抽出する。この変化状態を抽出する場合、θ_０、α_０、β_０を抽出した時刻と「動作イメージ」を行った時刻の時間差Ｔを抽出するとともに、そのパワースペクトルの変化状態である「値」や「割合」なども記憶させておく。

【0028】

そして、この各周波数帯域のパワースペクトルの変化状態のパターンと動画とを記憶部５に記憶させる。この変化状態を記憶させる場合、右脳と左脳の健常状態に差がある場合は、変化状態を正規化して記憶部５に記憶させておく。

【0029】

次に、今度は先ほどと反対側の頭部に脳波検出部２の脳波検出センサー２１を取り付けて脳波信号を検出し（ステップＴ１）、周波数解析によって各周波数帯域のパワースペクトルの時間変化を抽出する（ステップＴ２）。そして、その各周波数帯域のパワースペクトルの変化状態のパターンが、記憶部５に記憶されている変化状態（Δθ、Δα、Δβ）のパターンと一致しているか否かを判断する（ステップＴ３）。この変化状態のパターンの一致を判断する場合、先に変化状態を抽出した際におけるパワースペクトルの時間差Ｔ内でのパワースペクトルの変化状態の「値」や「割合」を抽出する。そして、その変化状態のパターンが許容値の範囲内で一致している場合に、記憶部５に記憶されていた動画を読み出して左右反転させ、タブレット端末８の画面に動画として表示させる（ステップＴ４）。

【0030】

このように本実施の形態によれば、右脳もしくは左脳に対応する頭部の一方に装着される脳波検出部２と、被験者に所定の動作を行ってもらう際に前記脳波検出部２で検出された脳波の変化状態を記憶させる記憶部５と、前記装着された側と反対側の頭部に装着された脳波検出部２から脳波を検出し、当該反対側の頭部の脳波検出部２から検出された脳波の変化状態が、前記記憶された変化状態と一致している場合、当該脳波検出部２が装着されている脳に対応する身体を動作させているようにタブレット端末８を制御させる制御部７とを備えるようにしたので、一方の脳側で取得された脳波の波形変化と反対側の脳で取得された波形変化とを比較して動作イメージの有無を判断することができ、環境や脳機能状態、個体差などの変動を受けにくくしてタブレット端末８を制御することができるようになる。

【0031】

また、動作イメージを行ってもらった際の各周波数帯域の変化状態の組み合わせパターンとしてθ波帯域、α波帯域、β波帯域のパワースペクトルの時間的変化を抽出するようにしたので、各帯域単独の周波数変化を抽出する場合に比べて、より正確に動作イメージを行っているか否かを判断することができるようになる。

【0032】

なお、本発明は上記実施の形態に限定されることなく、種々の態様で実施することができる。

【0033】

例えば、本実施の形態で、周波数帯域としてθ波帯域、α波帯域、β波帯域の３つの帯域の変化状態を抽出するようにしたが、これにδ波帯域などの他の周波数帯域を加えるようにしてもよく、あるいは、２つの周波数帯域のいずれの組み合わせを用いて変化状態を抽出するようにしてもよい。

【0034】

また、上記実施の形態では、変化状態としてパワースペクトルの変化の「値」や「割合」を例に挙げて説明したが、これ以外に時系列におけるパワースペクトルの微分値などであってもよい。

【0035】

さらには、上記実施の形態では、タブレット端末８に手を開く動画を映し出させるように対象物を制御するようにしたが、これ以外にコンピューターや他の機器などに所定の信号を出力して動作させるように制御するようにしてもよい。このような対象物としては、例えば、照明やテレビなどの電子機器のスイッチ、音や光や映像などの出力など多種多様のものが考えられる。

【符号の説明】

【0036】

１・・・対象物制御装置
２・・・脳波検出部（２１ 脳波検出センサー）
３・・・周波数解析部
４・・・変化状態抽出部
５・・・記憶部
６・・・一致状態判断部
７・・・制御部
８・・・タブレット端末（対象物）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】