特許 6685891 フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6685891

(24)【登録日】2020年4月3日

(45)【発行日】2020年4月22日

(54)【発明の名称】フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法

(51)【国際特許分類】

   A61B 5/0488 20060101AFI20200413BHJP

【ＦＩ】

   A61B5/04 330

【請求項の数】13

【全頁数】23

(21)【出願番号】特願2016-246343(P2016-246343)

(22)【出願日】2016年12月20日

(65)【公開番号】特開2018-99239(P2018-99239A)

(43)【公開日】2018年6月28日

【審査請求日】2018年12月19日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】若松 大作

【審査官】 磯野 光司

(56)【参考文献】

【文献】 中国特許出願公開第１０２４９９６７２（ＣＮ，Ａ）

【文献】 特開２００６−３４０９８６（ＪＰ，Ａ）

【文献】 特開２０１４−１２１４９９（ＪＰ，Ａ）

【文献】 特開２０００−３１６８２７（ＪＰ，Ａ）

【文献】 下柿元智也，外２名，装着型実時間心拍提示デバイスの開発，インタラクション２０１１予稿集 ［ｏｎｌｉｎｅ］，２０１１年 ３月１０日

【文献】 上田智章，Ａｐｐｅｎｄｉｘ４ Ｘ，Ｙ，Ｚの３軸データを色分けしたりなめらかな曲線で結んだり 実写画像に重ねる３，トランジスタ技術，日本，ＣＱ出版株式会社，２０１２年 ８月，Vol.49, No.8，pp.123-127，ISSN:0040-9413

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０４−５／０５３

(57)【特許請求の範囲】

【請求項1】

生体信号を含み得るデジタル化された入力信号を処理する生体信号処理装置であって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すフィルタ処理手段と、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定する信号判定手段と
を有することを特徴とする生体信号処理装置。

【請求項2】

前記信号判定手段は、当該フィルタ処理を施された当該入力信号における自己相関係数を算出し、当該自己相関係数とラグとの関係に基づいて当該通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定することを特徴とする請求項１に記載の生体信号処理装置。

【請求項3】

前記信号判定手段は、当該フィルタ処理を施された当該入力信号についてオフセット成分を残留させたまま信号特定処理を行うことを特徴とする請求項２に記載の生体信号処理装置。

【請求項4】

前記信号判定手段は、口角上げに係る筋肉に起因する筋電信号を当該生体信号とした場合において、当該自己相関係数が正から負に移行するラグ位置が、当該生体信号について予め設定された負移行ラグ位置範囲に含まれる場合、当該生体信号が発生したと判定することを特徴とする請求項２又は３に記載の生体信号処理装置。

【請求項5】

前記信号判定手段は、口角上げに係る筋肉に起因する筋電信号を当該生体信号とした場合において、当該自己相関係数が正から負に移行する第１のラグ位置と、当該自己相関係数がその後再び正に戻る第２のラグ位置とがそれぞれ、当該生体信号について予め設定された負移行ラグ位置範囲及び正移行ラグ位置範囲に含まれる場合、当該生体信号が発生したと判定することを特徴とする請求項２又は３に記載の生体信号処理装置。

【請求項6】

前記信号判定手段は、口角上げに係る筋肉に起因する筋電信号を当該生体信号とした場合において、当該自己相関係数を算出するラグ位置範囲を、当該自己相関係数が正から負に移行するラグ位置までの範囲、又は当該自己相関係数がその後再び正に戻るラグ位置までの範囲とすることを特徴とする請求項２から５のいずれか１項に記載の生体信号処理装置。

【請求項7】

前記生体信号処理装置は、当該生体信号の強度を算出し、当該生体信号が発生した回数を計数する生体信号計数手段を更に有し、
前記生体信号計数手段は、当該生体信号が発生したと判定された場合において、当該生体信号の強度が所定のヒステリシスを示した際に当該回数のカウントを行う
ことを特徴とする請求項１から６のいずれか1項に記載の生体信号処理装置。

【請求項8】

前記主ノイズは商用電源に起因するノイズであり、当該生体信号は、商用電源の周波数未満の周波数に係る信号であることを特徴とする請求項１から７のいずれか１項に記載の生体信号処理装置。

【請求項9】

当該生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることを特徴とする請求項１から８のいずれか1項に記載の生体信号処理装置。

【請求項10】

当該生体信号は、口角上げに係る筋肉に起因する筋電信号であることを特徴とする請求項１から９のいずれか１項に記載の生体信号処理装置。

【請求項11】

生体信号を含み得るデジタル化された入力信号を処理する生体信号処理システムであって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すフィルタ処理手段を有する装置と、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定する信号判定手段を有する装置と
を備えていることを特徴とする生体信号処理システム。

【請求項12】

生体信号を含み得るデジタル化された入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すフィルタ処理手段と、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定する信号判定手段と
してコンピュータを機能させることを特徴とする生体信号処理プログラム。

【請求項13】

生体信号を含み得るデジタル化された入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すステップと、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定するステップと
を有することを特徴とする生体信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の生体信号を検知する技術に関する。

【背景技術】

【0002】

近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体に関するデータを様々な場面で利用する技術が開発されている。ここで使用されるセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が挙げられ、これらのセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用される。

【0003】

このようなセンサを利用した具体的技術例として、特許文献１には、センサ付きイヤホンによって、脳波、体温、動き加速度や、脈拍等に係る生体信号を検知するシステムが開示されている。このシステムでは、イヤホンに装着されたセンサによって耳付近の生体信号を検知し、その生体信号をユーザ所持の携帯電話機を介して外部装置へ伝送している。

【0004】

また、特許文献２及び３には、筋電センサ付きイヤホンやヘッドバンドで検知された筋電信号に基づいて、表情を判定する筋活動診断装置が開示されている。この装置では、耳付近の筋肉に係る筋電信号から、人の笑顔、咀嚼状態や、無表情が判別されている。

【0005】

さらに、特許文献４には、脳波、心拍、瞳孔、視線等に係る生体情報や、動作、表情、ため息等に係る行動情報から、ユーザの嗜好を判断するシステムが開示されている。このうち、行動情報は、ビデオカメラ及びマイクを介して取得された映像信号及び音声信号から生成されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００３−３１０５６号公報

【特許文献2】特開２０１２−０００２２８号公報

【特許文献3】特許５５７４４０７号公報

【特許文献4】特開２０１４−２１９９３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述した特許文献１〜４に記載された技術のように、従来、生体信号を様々な形のセンサをもって取得し、取得した生体信号を処理して生体に関する種々の情報を判定・推定する技術が存在する。しかしながら、生体信号は通常、非常に微弱な信号である。一方で、センサから取得される信号には、対象となる生体部位以外の部位に起因する信号や、外乱ノイズ、さらには皮膚上に付された電極のズレ等から生じるノイズ等が混入していることが一般的である。

【0008】

その結果、1つの具体例として、口角上げに係る筋肉に起因する筋電信号（生体信号）を検知して、顔表情の１つである「笑み」を判定することを考えた場合に、上述したような検知対象外の生体信号や種々のノイズが邪魔をして、検知対象であるこの微弱な筋電信号の有無の判定を誤ってしまう問題が生じてしまう。例えば、実際には表情が「笑み」ではないにもかかわらず、ノイズを検知対象筋電信号であると判定して、表情が「笑み」であると決定する可能性が生じるのである。

【0009】

さらに、このような検知の障害となる種々のノイズを的確に除去し、検知対象となる微弱な生体信号だけを特定するためには、従来、ＦＦＴ（Fast Fourier Transform）等を利用した大きな計算量を必要とする信号処理が必要となっており、必然的に信号処理によって消費される電力量が増大してしまう。その結果、電池で電力消費を賄うウェアブルデバイスでは、生体信号を例えば定常的に又は所定の期間継続して処理することが困難となっていた。

【0010】

そこで、本発明は、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定可能な生体信号処理装置、システム、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明によれば、生体信号を含み得るデジタル化された入力信号を処理する生体信号処理装置であって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すフィルタ処理手段と、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定する信号判定手段と
を有する生体信号処理装置が提供される。

【0015】

また、本発明による生体信号処理装置の更なる他の実施形態として、信号判定手段は、当該フィルタ処理を施された当該入力信号における自己相関係数を算出し、当該自己相関係数とラグとの関係に基づいて当該通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定することも好ましい。

【0016】

さらに、この自己相関分析処理に係る実施形態において、信号判定手段は、当該フィルタ処理を施された当該入力信号についてオフセット成分を残留させたまま信号特定処理を行うことも好ましい。

【0017】

また、上記の自己相関分析処理に係る実施形態において、信号判定手段は、口角上げに係る筋肉に起因する筋電信号を当該生体信号とした場合において、当該自己相関係数が正から負に移行するラグ位置が、当該生体信号について予め設定された負移行ラグ位置範囲に含まれる場合、当該生体信号が発生したと判定することも好ましい。

【0018】

さらに、上記の自己相関分析処理に係る実施形態において、信号判定手段は、口角上げに係る筋肉に起因する筋電信号を当該生体信号とした場合において、当該自己相関係数が正から負に移行する第１のラグ位置と、当該自己相関係数がその後再び正に戻る第２のラグ位置とがそれぞれ、当該生体信号について予め設定された負移行ラグ位置範囲及び正移行ラグ位置範囲に含まれる場合、当該生体信号が発生したと判定することも好ましい。

【0019】

また、上記の自己相関分析処理に係る実施形態において、信号判定手段は、口角上げに係る筋肉に起因する筋電信号を当該生体信号とした場合において、当該自己相関係数を算出するラグ位置範囲を、当該自己相関係数が正から負に移行するラグ位置までの範囲、又は当該自己相関係数がその後再び正に戻るラグ位置までの範囲とすることも好ましい。

【0020】

さらに、本発明による生体信号処理装置の更なる他の実施形態として、生体信号処理装置は、当該生体信号の強度を算出し、当該生体信号が発生した回数を計数する生体信号計数手段を更に有し、
生体信号計数手段は、当該生体信号が発生したと判定された場合において、当該生体信号の強度が所定のヒステリシスを示した際に当該回数のカウントを行うことも好ましい。

【0021】

また、本発明による生体信号処理装置において、主ノイズは商用電源に起因するノイズであり、当該生体信号は、商用電源の周波数未満の周波数に係る信号であることも好ましい。

【0022】

さらに、本発明による生体信号処理装置の更なる他の実施形態として、当該生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。

【0023】

さらに、当該生体信号は、口角上げに係る筋肉に起因する筋電信号であることも好ましい。

【0024】

本発明によれば、また、生体信号を含み得るデジタル化された入力信号を処理する生体信号処理システムであって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すフィルタ処理手段を有する装置と、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定する信号判定手段を有する装置と
を備えている生体信号処理システムが提供される。

【0025】

本発明によれば、さらに、生体信号を含み得るデジタル化された入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すフィルタ処理手段と、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定する信号判定手段と
してコンピュータを機能させる生体信号処理プログラムが提供される。

【0026】

本発明によれば、さらにまた、生体信号を含み得るデジタル化された入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該デジタル化で使用されたサンプリング周波数と、主ノイズに係る周波数との比に基づいて算出されるサンプル数のさらにＮ（Ｎは２以上の整数）分の１の値に基づいて、１回の移動平均処理の対象となるサンプルの数を算出して移動区間サンプル数を設定し、当該移動区間サンプル数による移動平均を用いたフィルタ処理を当該入力信号に施すステップと、
当該フィルタ処理を施された当該入力信号から通過帯域の周波数に係る信号を特定し、少なくとも当該生体信号の発生を判定するステップと
を有する生体信号処理方法が提供される。

【発明の効果】

【0027】

本発明の生体信号処理装置、システム、プログラム及び方法によれば、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することができる。

【図面の簡単な説明】

【0028】

【図1】本発明による生体信号処理装置を含む生体信号処理システムの一実施形態を示す模式図である。

【図2】本発明による生体信号処理装置を含む生体信号処理システムの他の実施形態を示す模式図である。

【図3】本発明による生体信号処理装置の一実施形態における機能構成を示す機能ブロック図である。

【図4】フィルタ処理部におけるＳＭＡフィルタ処理の実施例を示すグラフである。

【図5】相関係数算出部における入力信号に対する自己相関分析処理の一実施例を示すグラフである。

【図6】首緊張横向き時及び首緊張上向き時に発生する筋電信号の自己相関分析結果を示すグラフである。

【図7】口開閉時及び咀嚼時に発生する筋電信号の自己相関分析結果を示すグラフである。

【図8】長周期ノイズ及び商用電源ノイズの載った入力信号に対する自己相関分析処理の例を示すグラフである。

【図9】強い商用電源ノイズの載った入力信号に対する自己相関分析処理の例を示すグラフである。

【図10】生体信号計数部における信号強度を勘案した生体信号計数処理の一実施例を示すグラフである。

【図11】本発明による生体信号処理システムの更なる他の実施形態における機能構成を示す機能ブロック図である。

【図12】本発明による生体信号処理方法の一実施形態を概略的に示すフローチャートである。

【発明を実施するための形態】

【0029】

以下では、本発明の実施形態について、図面を用いて詳細に説明する。

【0030】

［生体信号処理システム］
図１は、本発明による生体信号処理装置を含む生体信号処理システムの一実施形態を示す模式図である。また、図２は、同システムの他の実施形態を示す模式図である。

【0031】

図１（Ａ）に示した本実施形態の生体信号処理システムは、携帯端末２と、この携帯端末２に連携するウェアラブルデバイス、特に頭部装着デバイスとしてのヘッドフォン１とを含んでいる。本実施形態では、このヘッドフォン１が本発明に係る生体信号処理装置となっている。具体的に、ヘッドフォン１は、検知された生体信号としての筋電信号を含み得る入力信号を処理し、所定の筋肉の作動の有無を判定して、この判定結果に係る情報、本実施形態では顔表情「笑み」が生じたか否かに係る情報を、無線又は有線（ケーブル）を介して携帯端末２に送信する。

【0032】

ここで、無線は、例えばBluetooth（登録商標）や、Wi-Fi（登録商標）等の無線ＬＡＮとすることができる。また、有線（ケーブル）は、例えば携帯端末２のヘッドフォン・マイクロフォン用アナログ音声入出力端子（ジャック）に接続されるものであってもよく、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末２からヘッドフォン１へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン１から携帯端末２へ、筋電センサによって検知された筋電信号に係る判定結果情報が伝送される。なお、携帯端末２は、スマートフォン、携帯電話機、ＰＤＡ(Personal Digital Assistant)、タブレット型コンピュータ等とすることができるが、例えばパーソナルコンピュータ等の他の情報処理装置であってもよい。

【0033】

また、ヘッドフォン１は、左右の（スピーカを含む）イヤパッドに渡って筋電センサを備えている。筋電センサは、計測対象となるユーザの筋肉の作動によって皮膚表面に発生する電気的物理量を非侵襲的に計測可能なセンサであり、ヘッドフォン１がユーザの頭部に装着された際、図１（Ｂ）に示すように、筋電センサの電極がユーザの耳前下方の頬近傍におけるいずれか１点の皮膚表面に接触するように配置されている。これにより、大頬骨筋等の作動を確実に捉え、顔表情の中でも特に「笑み」に係る判定を行うことが可能となる。ちなみに、ヘッドフォン１のイヤカップは、密閉型、オープンエア型、又はセミオープンエア型等、種々の形式のものとすることができる。

【0034】

ここで、本実施形態において、１チャンネルの筋電センサは、「検出用＋（プラス）電極」、「リファレンス用−（マイナス）電極」、及び「ＤＲＬ(Driven Right Leg)電極」の３つの電極を有している。このうち、「検出用＋（プラス）電極」及び「リファレンス用−（マイナス）電極」は、イヤパッドにおける顔の前向き前方且つ下方であって頬にできる限り近い位置に配置されることも好ましい。一方、「ＤＲＬ(Driven Right Leg)電極」は、商用電源等に起因するコモンモードノイズを低減させるノイズキャンセル用電極であり、皮膚に接触するいずれかの位置に設けられる。また、これらの電極は、繰り返し使用可能な乾式電極であり、皮膚との接触抵抗が小さく導電性の高い金属、例えば、銀‐塩化銀やステンレススチール等で形成された鋲であってもよい。または、同様な性質を有する導電性ゴムの鋲とすることもできる。

【0035】

なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、オープンエア型のイヤカップやイヤパッドの無いヘッドフォンの場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。また、筋電センサ（の電極）は、図２に示すように、頭部装着デバイスとしてのイヤホン１’に備えられてもよい。このイヤホン１’も、本発明に係る生体信号処理装置であり、検知された生体信号としての筋電信号を含み得る入力信号を処理し、所定の筋肉の作動の有無を判定して、この判定結果に係る情報を、無線又は有線（ケーブル）を介して携帯端末２に送信する。

【0036】

また、筋電センサ（の電極）を設置可能なデバイスとして、ヘッドフォン型やイヤホン型以外にも、メガネ（グラス）型、腕時計型、カチューシャ型、リスト（腕）バンド型等、身体の表面部分に面する部分を有する情報機器であれば様々な形式のデバイスが採用可能である。

【0037】

いずれにしても、耳を含む位置に装着されるヘッドフォン１（図１）やイヤホン１’（図２）を用いて、「笑み」を含む顔表情に係る筋電信号を検知することができる。ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することができるのである。

【0038】

例えば、携帯端末２が再生中のコンテンツの音声をヘッドフォン１に送信し、ヘッドフォン１を装着したユーザにおける音声体験中での筋電信号を検知することによって、当該コンテンツに対してユーザの抱く感情に係る情報を取得することが可能となる。また、ユーザによるヘッドフォン１の装着／未装着も、筋電信号の検知状況から判断可能となるのである。

【0039】

ちなみに、耳を含む位置に装着されるヘッドフォン１（図１）やイヤホン１’（図２）は、頭部内の筋肉による筋電信号のみならず、耳付近の位置から検知可能な、体温、発汗、脈波、脈拍、脳波等に係る生体信号を検出することも可能とする。以下に説明するように、本発明は、筋電信号に限らずこのような様々な種別の生体信号の処理に係る発明となっている。なお当然に、判定対象が耳付近の位置以外での筋電信号である場合でも、筋電センサの電極は、この筋電信号に係る筋肉を挟み込むように配置されることになる。

【0040】

ここで、このような生体信号は一般に、非常に微弱な信号である。一方で、センサから取得される信号には、通常、対象となる生体部位以外の部位に起因する信号や、外乱ノイズ、さらには皮膚上に付された電極のズレ等から生じるノイズ等が混入している。その結果、従来、生体信号を含み得る入力信号を処理して生体信号の有無を判定しようとしても、このようなノイズによって誤判定を行ってしまう可能性が生じていた。

【0041】

さらに、このような検知の障害となる種々のノイズを的確に除去し、検知対象となる微弱な生体信号だけを特定するためには、従来、ＦＦＴ等を利用した大きな計算量を必要とする信号処理が必要となっており、必然的に信号処理によって消費される電力量が増大する傾向にあった。その結果、電池で電力消費を賄うヘッドフォンのようなウェアブルデバイスでは、生体信号を例えば定常的に又は所定期間継続して処理することが困難となっていた。

【0042】

このような問題に対し、本発明による生体信号処理装置としてのヘッドフォン１は、生体信号を含み得るデジタル化された入力信号を処理可能であり、具体的に、
（Ａ）生体信号に係る周波数と、「主ノイズ」に係る周波数との間に遮断周波数を設定し、主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を入力信号に施し、
（Ｂ）このようなフィルタ処理を施された入力信号から、遮断帯域外の周波数に係る信号を特定し、少なくとも生体信号の発生（生体信号が発生したか否か）を判定する
ことを特徴としている。

【0043】

このうち、（Ａ）では、遮断周波数が生体信号に係る周波数と「主ノイズ」に係る周波数との間となるように「移動区間サンプル数」を設定し、入力信号に対して「移動平均」を用いたフィルタ処理を施すことができる。ちなみに、この「主ノイズ」は、実際の現場では多くの場合、商用電源（国内では50Hz又は60HzのＡＣ電源）に起因するノイズとなる。ちなみに、この商用電源由来のノイズは高い周期性を有し、一方、その他のノイズは周期性の低いものが大多数である。そこで、この周期性の高い商用電源ノイズのカットについて効果的なフィルタ処理を施した上で、所定の周波数に係る信号を特定する処理が有効となるのである。

【0044】

一方、上記（Ｂ）では、フィルタ処理を施された入力信号における「自己相関係数」を算出し、自己相関係数とラグとの関係に基づいて遮断帯域外の周波数に係る信号を特定する自己相関算出処理を施すことができる。ここで、上記（Ａ）で単純移動平均（ＳＭＡ）フィルタ処理を採用し、上記（Ｂ）で自己相関分析処理を採用する場合、これら両処理は、効率的なフィルタ処理を施された信号に対し効率的且つ確実な周波数解析を行うことができるという点で、技術的な相性が良好となっている。

【0045】

以上説明したように、ヘッドフォン１は、一般に処理の容易でない微弱な信号である生体信号を、ＦＦＴやウェーブレット（wavelet）変換等を利用した大きな計算量を必要とする信号処理を用いずとも、フィルタ処理（Ａ）及び周波数判定処理（Ｂ）をもって確実に処理する。これにより、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することが可能となるのである。

【0046】

［生体信号処理装置の構成］
図３は、本発明による生体信号処理装置の一実施形態における機能構成を示す機能ブロック図である。

【0047】

図３（Ａ）によれば、生体信号処理装置としてのヘッドフォン１は、筋電センサと、信号変換部と、生体信号処理部３と、信号インタフェースと、音声変換部と、左右スピーカとを有する。ここで、生体信号処理装置としての主要部である生体信号処理部３は、ヘッドフォン１に搭載されたコンピュータを機能させるプログラムを実行することによって、生体信号処理機能を実現させる。すなわち、ヘッドフォン１は、本発明による生体信号処理プログラムを搭載したコンピュータを含むものとすることができる。

【0048】

一方、携帯端末２は、様々なユーザエクスペリエンスを提供するアプリケーションを実行可能な装置とすることができる。携帯端末２から出力される音声信号は、通信インタフェースを介して送信されて、ヘッドフォン１の信号インタフェースで受信され、音声変換部においてアナログ信号に変換され増幅されて左右スピーカに出力され、これらの左右スピーカで音声に変換されてユーザに提供される。

【0049】

ヘッドフォン１の生体信号処理部３は、図３（Ｂ）に示すように、計算区間設定部３１１及び処理実行部３１２を含むフィルタ処理部３１と、相関係数算出部３２１及び信号発生判定部３２２を含む信号判定部３２と、信号強度算出部３３ａを含む生体信号計数部３３とを有する。なお、図３（Ａ）及び（Ｂ）に示された、各機能構成部を矢印で接続した処理の流れは、本発明による生体信号処理方法の一実施形態としても理解される。

【0050】

なお、本発明による生体信号処理装置は当然に、上記の実施形態に限定されるものではない。例えば、図３（Ｃ）に示すように、ヘッドフォン１から生体信号を含み得る信号を入力し処理する携帯端末２とすることもできる。この際、ヘッドフォン１は図３（Ａ）の信号変換部を有し、筋電センサの電極から得られた生体信号を増幅しデジタル化した上で携帯端末２に送信することも好ましい。

【0051】

一方で、ヘッドフォン１及び携帯端末２の信号インタフェースがアナログインタフェースの場合は、筋電センサによって検出された筋電信号をマイクレベルにまで増幅して携帯端末２に送信することも好ましい。この際、筋電信号は人間の可聴範囲内に収まる周波数特性を有しており周波数変換の必要は生じない。また、携帯端末２に受信された筋電信号は、携帯端末２の信号変換部で、マイク入力による音声同様にアナログ／デジタル変換（デジタル化）される。

【0052】

ここで、図３（Ｃ）の携帯端末２は、図３（Ａ）のヘッドフォン１と同じく生体信号処理部３を有し、さらに、信号処理結果に係る情報を入力して、この情報を所定のアプリケーション・プログラムで利用するためのＡＰ（アプリケーション）処理部２１も有している。要するに、本発明に係る生体信号処理部３は、生体信号を取得する装置・デバイスに備えられてもよく、当該装置とは別の装置に備えられてもよいのである。

【0053】

図３（Ａ）において、ヘッドフォン１の筋電センサ（及びその電極）は、図１を用いて説明した実施形態のものとすることができる。すなわち、少なくともリファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するような電極構成を有するものとすることができる。ちなみに、この場合、検知され得る生体信号には、口角上げに係る筋肉（大頬骨筋等）に起因する筋電信号が含まれる。

【0054】

また、信号変換部は、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するＤＲＬ回路を有し、検出用電極とリファレンス電極との電位差の交流成分をＧＮＤとの差動増幅によって増幅し、このアナログの筋電計測結果を一定のサンプリング周波数でデジタル化してもよい。これにより、例えば、プラスマイナス0.1〜数百μＶの範囲の皮膚電位検出が可能となる。なお、デジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ／デジタル（Ａ／Ｄ）変換を行うことも好ましい。なお、このような回路構成は、例えば、Neurosky社製のTGAM1等を利用して実現可能となっている。

【0055】

信号変換部は、次いで、デジタル化された生体信号に対してウィンドウ分割処理を行うことも好ましい。実際、連続して時系列をなすセンサデータ（筋電センサ出力信号データ）は、リアルタイムに逐次分析することによって、ユーザに対しリアルタイムにフィードバックを行うユーザインタフェースを実現可能とする。また、アプリケーションでの利用も容易となる。このウィンドウ分割処理では、センサデータの波形を分析するために、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析を行う。例えば、デジタル化のサンプリング周波数が512Hzである場合、ウィンドウ分析区間を256サンプルとし、時系列センサデータを0.5秒毎（256サンプル毎）に区切りながら、区切った区間毎に、当該区間内のセンサデータの分析を行ってもよい。

【0056】

図３（Ｂ）において、生体信号処理部３のフィルタ処理部３１は、生体信号に係る周波数と、主ノイズに係る周波数との間に遮断周波数を設定し、主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を、例えば所定時間毎に区分けしたウィンドウ毎の入力信号に施す。ここで、本実施形態において、主ノイズは商用電源（国内では50Hz又は60HzのＡＣ電源）に起因するノイズとなっている。また、同じく本実施形態において、判定対象となる生体信号は、口角上げに係る筋肉（大頬骨筋等）に起因する筋電信号であり、この商用電源の周波数未満の周波数（40Hz付近）に係る信号となっている。

【0057】

そこで具体的に、フィルタ処理部３１の計算区間設定部３１１は、遮断周波数が生体信号に係る周波数（例えば40Hz付近）と主ノイズに係る周波数（例えば50Hz）との間となるように「移動区間サンプル数」を設定し、次いで、処理実行部３１２は、入力信号に対して単純移動平均（ＳＭＡ, Simple Moving Average）を用いたフィルタ処理を施すことができる。

【0058】

ここで、ＳＭＡフィルタは、周波数成分抽出を可能とするデジタルフィルタであるＦＩＲ（Finite Impulse Response）フィルタであって、ローパスフィルタの一種と捉えることができる。具体的には、移動区間（サンプル数）を単位時間区間として、その区間のＮ倍（Ｎは自然数）の周期性を持つ信号に対してフィルタ効果を奏し、例えば、後述するように、商用電源ノイズのみならず、商用電源ノイズの倍数周波数ノイズをもフィルタリングすることを可能にするのである。

【0059】

実際、商用電源に起因する周期性を有する電磁誘導ノイズが、処理対象の信号に強く混入する場合は少なくない。このような周期性の高いノイズを排除するため、従来、多くの場面においてバンドエリミネーションフィルタ等が利用されてきた。しかしながら、このような高度なデジタルフィルタは一般に、多大な処理計算量を必要とし、バッテリー駆動のモバイルデバイスには不適である。一方、上記の処理実行部３１２におけるＳＭＡフィルタ処理は、それに比較して処理計算量を十分に抑制することができ、それ故、生体信号を検知可能なモバイルデバイスでのフィルタ手段として非常に適しているのである。

【0060】

ここで、計算区間設定部３１１は、具体的に、デジタル化で使用されたサンプリング周波数（例えば512Hz）と、商用電源（主ノイズ）に係る周波数（例えば50Hz）との比（例えば10.24）に基づいて算出されるサンプル数（例えば10）のさらに整数分の１の値（例えば5）に基づいて、1回のＳＭＡフィルタ処理の対象となるサンプルの数を算出し、移動区間サンプル数（例えば5）を設定してもよい。これにより、主ノイズをフィルタリングし、判定対象の生体信号（例えば口角上げに係る筋肉（大頬骨筋等）に起因する筋電信号）を特定することが可能となる。次に、このような移動区間サンプル数設定のメリットを、図４を用いて具体的に説明する。

【0061】

図４は、フィルタ処理部３１におけるＳＭＡフィルタ処理の実施例を示すグラフである。本実施例において、デジタル化で使用されたサンプリング周波数は512Hzであり、主ノイズの発生源とされる商用（ＡＣ）電源の周波数は50Hzである。

【0062】

図４（Ａ）に、移動区間サンプル数を10（約50Hzに相当）に設定したＳＭＡフィルタの特性（周波数依存性）を示す。同図によれば、遮断周波数（通過利得が3dB低下する周波数）が約25Hzのローパスフィルタ（ＬＰＦ）が形成されており、商用電源及びその高調波ノイズを大きくカットすることが可能となっている。すなわち、このＬＰＦでは、主ノイズとしての商用電源ノイズの周波数を含む遮断帯域として、この主ノイズの高調波の周波数をも含む遮断帯域が設定されている。しかしながら、口角上げに係る筋肉（大頬骨筋等）に起因する（約40Hzでピークをなす）筋電信号を判定対象とする場合、このようなＬＰＦはパスバンド帯域が狭すぎるので、この対象の筋電信号をもカットしてしまう。

【0063】

これに対し、図４（Ｂ）に、移動区間サンプル数を5（約100Hzに相当）に設定したＳＭＡフィルタの特性（周波数依存性）を示す。同図によれば、遮断周波数が50Hz弱のＬＰＦが形成されている。このＬＰＦによって、商用電源及びその高調波ノイズを大きくカットし、且つ判定対象である口角上げに係る筋肉（大頬骨筋等）に起因する（約40Hzでピークをなす）筋電信号はパスさせることが可能となるのである。ちなみに、筋電信号の中でも、例えば歯を食い縛る噛み締め動作に係る筋電信号は、より高い周波数である約80Hzでピークを有する信号となっている。この場合、このＬＰＦは、この判定対象外の筋電信号をもノイズとしてカットすることが可能となっている。

【0064】

すなわち、上記のＳＭＡフィルタ処理では、判定対象となっている生体信号に係る周波数（例えば約40Hz）と、主ノイズに係る周波数（例えば50Hz）との間に遮断周波数が位置するように移動区間サンプル数を設定することが重要となる。上記の実施例では、結局、商用電源の周波数50Hzに相当する10サンプル分を周期としたノイズが入力信号に混入しやすいのであり、この入力信号に対し、その半分（1／2）の5サンプル毎の平均を移動させながら（ずらしながら）計算し、ＳＭＡフィルタ処理とするのである。

【0065】

ちなみに、サンプリング周波数が512Hzであって、商用電源の周波数が60Hzである場合、その高調波を含むノイズを除去したい場合の移動区間サンプル数は、両周波数の比（512／60＝8.53）からすると8又は9となる。しかしながら、このような値に設定すると遮断周波数が低くなりすぎるため、移動区間サンプル数は、例えば4（＝8／2）とすることになる。

【0066】

さらに、変更態様として、ＳＭＡによってハイパスフィルタ（ＨＰＦ）を形成し、主ノイズに係る周波数よりも高い周波数に係る生体信号をパスさせ、主ノイズをカットすることも可能である。例えば、歯を食い縛る噛み締め動作に係る筋電信号を判定対象とした場合、この筋電信号に係る周波数（約80Hz）と、主ノイズである商用電源の周波数（50Hz）との間に遮断周波数がくるようなＨＰＦを形成してもよい。ここで、ＳＭＡによるＨＰＦとしては、例えば、ＳＭＡによって形成されたＬＰＦによる処理を入力信号に施した結果を、当該入力信号から差し引く構成とすることができる。

【0067】

図３（Ｂ）に戻って、生体信号処理部３の信号判定部３２は、フィルタ処理を施された（例えばウィンドウ毎の）入力信号から、上記のフィルタ処理における遮断帯域外の周波数に係る信号を特定し、少なくとも判定対象である生体信号の発生の有無を判定する。信号判定部３２は、本実施形態において具体的に、相関係数算出部３２１によって、フィルタ処理を施された入力信号における自己相関係数（ACC, Auto Correlation Coefficient）を算出し、次いで、信号発生判定部３２２によって、算出された自己相関係数とラグとの関係に基づいて上記のフィルタ処理における遮断帯域外の周波数に係る信号を特定し、判定対象である生体信号の発生の有無を判定する。

【0068】

ここで、上記の相関係数算出部３２１では、フィルタ処理を施された入力信号についてオフセット成分を残留させたまま自己相関分析を実行することも好ましい。一般には、自己相関分析の前処理として、信号に含まれる周期性成分の検出力を高めるため入力信号の振幅の平均値がゼロに近づくような処理、すなわちオフセット成分を取り除く処理を行う。具体的には、入力信号の平均値を各信号の振幅から差し引くことによってオフセット成分を取り除く処理が行われる。

【0069】

これに対し、本実施形態における判定対象の生体信号である筋電信号は、オフセットを生じさせない信号である。このことから、入力信号にオフセット成分が生じているならば、このオフセット成分は、筋電信号に関係しない低い周波数成分を有するノイズの混入を示していることになる。従って、従来のオフセット成分を除去する処理を行うことによって、商用電源や観測対象でない筋肉活動等を由来とする周期性ノイズであってオフセット成分よりも振幅の小さい周期性ノイズを顕現させてしまい、このノイズを生体信号の発生であると誤判定してしまう可能性が生じる。一方、オフセット成分を残留させたまま自己相関分析を行うことによって、このオフセット成分に係るノイズの顕現を防止し、上記の誤判定を抑制することができるのである。

【0070】

図５は、相関係数算出部３２１における入力信号に対する自己相関分析処理の一実施例を示すグラフである。ここで、判定対象の生体信号は、大頬骨筋等の口角を上げる筋肉に起因する筋電信号となっている。

【0071】

ここで、筋電波形を表すグラフの横軸は、サンプリング周波数512Hzでデジタル化された入力信号サンプルのサンプル単位（サンプル・インデックス）であり、512個で１秒間に相当する単位となっている。また、この横軸の範囲は、サンプル・インデックス0〜255の範囲、すなわち時間換算で0.5秒の範囲となっている。一方、縦軸は、信号強度であって計測電圧となっている。すなわち、これらのグラフは、入力信号サンプルにおける電圧値の時系列を表したグラフとなっている。また、自己相関を表すグラフの横軸は、入力信号サンプルのサンプル数で表したラグ（Lag）であり、縦軸は自己相関係数（ACC）である。

【0072】

図５（Ａ）に、ヘッドフォン１を装着したユーザが無表情である場合の入力信号（生筋電波形）、ＳＭＡフィルタ処理後の入力信号（筋電波形）、及び自己相関分析結果を示す。この入力信号は、周期性成分の少ない概ね平坦な信号になっていることが分かる。従って、自己相関分析結果においても、判定対象の筋電信号に係る周期性は見られない。

【0073】

ちなみに、自己相関分析は、通常、入力信号とこの入力信号を時間（サンプル・インデックス）軸方向にずらした信号との相関を計算することにより実施される。従って、時間軸方向にずらさない場合（ラグ＝０の場合）、自己相関係数は１となる。次いで、徐々にずらしていくと（ラグ（の絶対）値を増加させていくと）自己相関係数は１未満となり小さくなっていくのである。

【0074】

一方、図５（Ｂ）に示すように、ユーザが微笑した場合、大頬骨筋等に起因する判定対象の筋電信号が入力信号に混入し、入力信号に周期性の成分が含まれる。これにより、自己相関分析結果において、判定対象の筋電信号に係る周期性（約40Hz）が現れるのである。次いで、この周期性を、後述するように信号発生判定部３２２で判断することによって、判定対象である筋電信号の発生の有無を判定することが可能となる。

【0075】

なお、当然に、入力信号には、上記以外の筋電信号が混入し得る。ここで、他の筋電信号を含む入力信号の自己相関分析結果を示す。

【0076】

図６は、首緊張横向き時及び首緊張上向き時に発生する筋電信号の自己相関分析結果を示すグラフである。また、図７は、口開閉時及び咀嚼時に発生する筋電信号の自己相関分析結果を示すグラフである。

【0077】

図６（Ａ）及び（Ｂ）に示すように、ヘッドフォン１を装着したユーザが、首を横向き又は上向きに大きく曲げると、首位置の筋肉が緊張し、当該筋肉に対応した周波数成分を有する筋電信号や、同緊張により頭部が小刻みに震えることによる筋電センサの電極と皮膚表面との接触状態の変化が発生する。従って、その自己相関分析結果にも、この周波数成分の存在を示す周期性が現れている。ここで、図６（Ａ）及び（Ｂ）の自己相関分析結果の違いから、首の曲げられた方向が横向きか上向きか（緊張した首の筋肉が横向きに係るものか上向きに係るものか）を区別して判断することも可能である。

【0078】

また、図７（Ａ）及び（Ｂ）に示すように、ヘッドフォン１を装着したユーザが、口を開閉したり、咀嚼したり、歯を食いしばったり（噛締したり）すると、顎を動かす筋肉が緊張し、当該筋肉に対応した周波数成分を有する筋電信号や、顎の大きな動きで頭部皮膚が伸縮することによる筋電センサの電極と皮膚表面との接触状態の変化が発生する。従って、その自己相関分析結果にも、この周波数成分の存在を示す周期性が現れている。ここで、図７（Ａ）及び（Ｂ）の自己相関分析結果の違いから、ユーザは口を開閉させたのか、咀嚼したのか又は噛み締めたのかを区別して判断することもできる。

【0079】

以上に示したように、検知された筋電信号の種別によって、信号波形も、その自己相関分析結果も顕著に異なることが理解される。これにより、後述するように自己相関分析結果に表れた周期性の情報から、判定対象となる筋電信号を特定し、その発生の有無を判定することが可能となるのである。

【0080】

ちなみに、ヘッドフォン１を装着したユーザが口を開閉したり咀嚼したりすると、顎を動かす筋肉に起因する筋電信号が発生するだけでなく、皮膚が動くことによって筋電センサの電極と皮膚表面との接触状態（接触面積、接触抵抗等）が若干変化する場合も生じる。この場合、ノイズの原因となるバイアス変動が現れる。また、例えばヘッドフォン１の本体に「こつん」と触れることによっても、皮膚と電極の接触状態が変化してこのノイズが混入することもある。さらには、歩行等の身体の動きによる電極と皮膚表面とのズレに起因する接触状態変化によってノイズが生じ得る。これらのノイズも、本実施形態の生体信号処理部３によって低減又は分離することが可能となるのである。

【0081】

また、ユーザに装着されたヘッドフォン１は、以上に述べた筋電信号以外にも、眼球運動に係る筋電信号や、眼電位信号、脳波に係る信号、心電信号、心音信号等の他の生体信号を検知可能なように（又は検知されてしまうように）構成されていてもよい。本実施形態の生体信号処理部３によって、このような信号もノイズとして低減若しくは分離することができ、または、判定対象の信号として特定し、その信号の有無を判定することも可能となるのである。

【0082】

信号判定部３２の信号発生判定部３２２は、以上に説明した図５（Ａ）及び（Ｂ）、図６（Ａ）及び（Ｂ）並びに図７（Ａ）及び（Ｂ）に示されたような自己相関分析結果（ACCとラグとの関係）を用いて、判定対象の生体信号を特定し、その信号の有無を判定する。信号発生判定部３２２は、具体的に、
＜判定１＞自己相関係数（ACC）が正から負に移行するラグ位置が、判定対象の生体信号について予め設定された「負移行ラグ位置範囲」に含まれる場合、当該生体信号が発生したと判定する
ことも好ましい。

【0083】

例えば、図５（Ｂ）の実施例の自己相関分析結果（ACCとラグの関係を示すグラフ）を用い、大頬骨筋等の口角を上げる筋肉に起因する筋電信号の発生の有無を判定する場合を考える。この場合、上記＜判定１＞の「負移行ラグ位置範囲」として、例えば０＜Lag(ラグ値)≦5の範囲を予め設定することができる。または、より限定された例えば2.5≦Lag≦5の範囲を設定してもよい。
図５（Ｂ）の自己相関分析のグラフによれば、ACCが正から負に移行するラグ位置がこの負移行ラグ位置範囲（０＜Lag≦5）に入っているので、この場合、大頬骨筋等に起因する筋電信号が発生していると判定される。なお、当該筋電信号の発生を判定した場合（例えば０＜Lag≦5でACCが正から負に落ち込んでいる場合）、ユーザは「笑み（微笑）」状態にあると判定し、それ以外の判定の場合、ユーザは「笑み（微笑）」状態にはないと判定してもよい。

【0084】

以上説明したように、主ノイズとしての商用（ＡＣ）電源のノイズが比較的小さい環境では、上記の＜判定１＞を採用して生体信号の判定処理を確実に行うことができる。次いで、この＜判定１＞以外の判定の実施形態を説明する。

【0085】

図８は、長周期ノイズ及び商用電源ノイズの載った入力信号に対する自己相関分析処理の例を示すグラフである。また、図９は、強い商用電源ノイズの載った入力信号に対する自己相関分析処理の例を示すグラフである。

【0086】

図８（Ａ）によれば、長周期のノイズが載った入力信号についての自己相関分析グラフは当然に、短周期の成分が見られないことを示している。これに対し、図８（Ｂ）によれば、商用電源ノイズの載った入力信号についての自己相関分析グラフにおいては、ACCが複数の正のピークをなしており、この入力信号に周期性のノイズが存在することを示している。ここで、商用電源ノイズは、例えば50Hzの主周波数成分を有するので、ACCがLag＝0でなすピークを1つ目として、ACCが２つ目の正のピークをなす際のラグ位置が10となる。言い換えれば、このようなピークが観測されれば商用電源由来のノイズが存在すると見なすことができる。なお、この図８（Ｂ）の自己相関分析グラフでは、ACCについての１つ目の正のピークと２つ目の正のピークとの間に負のACCが表れていないことから、ＳＭＡによってフィルタ処理された信号においては、50Hzよりも低い周波数に係るバイアス変動ノイズ成分の方が、商用電源由来のノイズ成分よりも優勢となっていることが理解される。

【0087】

また、図９には、比較的強い商用電源ノイズの載った入力信号についての自己相関分析グラフが示されている。このような商用電源ノイズがより強い環境においては、ＳＭＡの移動区間サンプル数を、商用電源ノイズの周期に相当するサンプル数の半分に設定していることや、デジタル化のサンプリング周波数と、ＳＭＡの移動区間サンプル数に係る周波数との比が整数から若干ずれていることによって、商用電源ノイズの相当量がＳＭＡフィルタを透過し残留する場合がある。この残留分を自己相関分析によってノイズであると判定する方法として、ACCが負に落ち込み、次いで正に変化するラグ位置を利用する。

【0088】

具体的には、図９に示すように、比較的強い商用電源ノイズの載った入力信号についての自己相関分析グラフにおいても、ACCが２つ目の正のピークをなす際のラグ位置は10となる。その結果、商用電源ノイズにおけるACCが負から正に移行するラグ位置は必ずLag＜10の範囲内となる。この性質を利用して生体信号の判定を行うことができる。

【0089】

信号発生判定部３２２は、具体的に、
＜判定２＞ACCが正から負に移行する第１のラグ位置と、このACCがその後再び正に戻る第２のラグ位置とがそれぞれ、判定対象の生体信号について予め設定された「負移行ラグ位置範囲」及び「正移行ラグ位置範囲」に含まれる場合、当該生体信号が発生したと判定する
ことも好ましい。

【0090】

ここで、「負移行ラグ位置範囲」として例えば０＜Lag≦5の範囲を予め設定し、さらに「正移行ラグ位置範囲」として例えば10≦Lag（又は例えば10≦Lag≦15）を予め設定し、大頬骨筋等に起因する筋電信号の発生の有無を判定する場合を考える。この場合、図５（Ｂ）の実施例の自己相関分析グラフによれば、ACCが正から負に移行する第１のラグ位置がこの負移行ラグ位置範囲（０＜Lag≦5）に入っており、このACCがその後再び正に戻る第２のラグ位置がこの正移行ラグ位置範囲（10≦Lag）に入っている。従って、大頬骨筋等に起因する筋電信号が発生している（ユーザは「笑み（微笑）」状態にある）と判定される。

【0091】

以上、信号発生判定部３２２は、上記＜判定１＞及び＜判定２＞のように、自己相関分析結果を利用することによって、入力信号から、ＳＭＡフィルタ処理における遮断帯域外の周波数に係る信号を特定することができる。具体的には、ACCを算出するラグ位置範囲を、ACCが正から負に移行するラグ位置までの範囲、又はACCがその後再び正に戻るラグ位置までの範囲とし、算出されたACCとラグ位置との関係に基づいて、判定対象の生体信号を特定することができる。また言い換えると、それらの範囲を超える範囲のラグ位置についてはACCの計算を実行しないことによって、処理計算量を抑えることも可能となるのである。

【0092】

ちなみに、フィルタ処理部３１でのフィルタ処理としてＳＭＡによるＨＰＦを用いた場合でも、上記の＜判定１＞及び＜判定２＞のいずれかを用いて、同様に生体信号判定処理を行うことができる。

【0093】

また、更なる他の判定方法として、Lag＝0でのピークを1つ目として２つ目の正のピークのラグ位置を見て周期性を判断し、生体信号の判定を行うことも可能である。すなわち、この正のピークのラグ位置に係る周波数が判定対象の生体信号に係る周波数か否かを判定し、当該生体信号が発生しているか否かを判定することができる。ただし、この方法と比較すると、上記の＜判定１＞及び＜判定２＞では、ACCのピーク探索を行う必要がないので、より処理計算量を低減させることが可能となっているのである。

【0094】

図３（Ｂ）に戻って、生体信号計数部３３は、信号判定部３２（信号発生判定部３２２）において判定対象の生体信号が発生したと判定したその判定回数を計数する。判定対象が大頬骨筋等の口角を上げる筋肉に起因する筋電信号である場合は、ユーザが「笑み（微笑）」状態にあると判定された回数がカウントされることになる。また、変更態様として、生体信号の強度のヒステリシスを勘案して当該回数をカウントすることも好ましい。この場合、生体信号計数部３３は、信号強度算出部３３ａにおいて生体信号サンプル毎の強度を算出し、信号判定部３２で当該生体信号が発生したと判定された場合において、当該生体信号の強度が所定のヒステリシスを示した際に回数のカウントを行ってもよい。

【0095】

なお、信号強度算出部３３ａにおいて、生体信号サンプルの強度は、公知の種々の方法によって算出可能であるが、例えば信号振幅（電圧）の二乗平均に基づく一般的なパワー計算式で算出されてもよい。

【0096】

図１０は、生体信号計数部３３における信号強度を勘案した生体信号計数処理の一実施例を示すグラフである。

【0097】

図１０のグラフでは、「笑み」に係る判定を行った時刻毎の信号強度（離散値）の推移が折れ線で示されている。同グラフでは、２つのノイズ判定期間（「笑み」状態ではないとの判定がなされた期間）に挟まれる形で、「笑み」判定期間（「笑み」状態であるとの判定がなされた期間）が存在している。

【0098】

生体信号計数部３３は、この「笑み」判定期間において、
（ａ）信号強度（の推移を示す折れ線）が強度閾値Thhのラインを下（強度の低い方）から横切って上（強度の高い方）に向かう点（丸印）をカウント開始点とし、
（ｂ）信号強度（の推移を示す折れ線）が強度閾値Thl（＜Thh）のラインを上（強度の高い方）から横切って下（強度の低い方）に向かう点（三角印）をカウント終了点として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に１だけカウントを増分する。図１０の実施例では、この組が４つ存在しているので、これらの４つの組がグラフに現出した（グラフで決定された）段階で、「笑み」の回数が４回であるとカウントされることになる。

【0099】

さらに、生体信号計数部３３は、カウント開始点を決定してから所定の時間閾値T_maxだけ時間が経過してもカウント終了点が現出しない（決定されない）場合、このカウント開始点から素の時点までで1回をカウントした上で、この時間閾値T_max経過後は、信号強度が強度閾値Thlを下回るまでノイズ判定期間とする。従って、図１０の実施例では、結局、この「笑み」判定期間における「笑み」の回数は５回であるとカウントされることになる。

【0100】

以上説明したように、信号強度のヒステリシスを勘案して回数のカウントを行うことによって、例えば、意に反して回数カウントが進んでしまうチャタリング現象が軽減可能となる。なお当然に、チャタリングを回避すべく信号強度を考慮する実施形態は、以上に述べたものに限定されるものではない。例えば、筋電信号強度のヒステリシスの代わりに、「笑み」判定期間における信号強度の総和を筋肉活動量として採用し、この筋肉活動量に応じてカウントを行うことも可能である。

【0101】

なお、生体信号計数部３３は、算出された信号強度や、信号判定部３２での判定結果、さらには、上述したような計数（カウント）処理結果を、時系列情報として記憶（バッファリング）することも好ましい。また、これらの情報をログとして記録してもよく、さらには、これらの情報を、信号インタフェースを介し（好ましくはデジタル情報として）、携帯端末２等の外部の情報処理装置に送信して活用させてもよい。また、これらの情報を（例えば携帯端末２の）ディスプレイに表示させることも好ましい。この際、単位時間（１時間や１日等）当たりの信号発生回数（例えば「笑み」の起こった回数）や生体活動量（例えば「笑み」に係る筋肉の収縮活動の量）に換算して表示してもよく、時系列のグラフとして表示することも好ましい。

【0102】

［生体信号処理システムの他形態］
図１１は、本発明による生体信号処理システムの更なる他の実施形態における機能構成を示す機能ブロック図である。

【0103】

図１１によれば、本実施形態の生体信号処理システムは、
（ａ）生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を入力信号に施すフィルタ処理部３１を有するヘッドフォン１と、
（ｂ）フィルタ処理を施された入力信号から遮断帯域外の周波数に係る信号を特定し、少なくとも生体信号の発生を判定する信号判定部３２を有する携帯端末２と
を備えている。なお、本実施形態では、携帯端末２は、生体信号計数部３３及びＡＰ処理部２１も有している。

【0104】

このように、本実施形態では、フィルタ処理部３１を、生体信号の測定に係るモバイルデバイスに持たせ、一方、このフィルタ処理後の情報を、信号判定部３２を備えたユーザ端末に送信して、当該ユーザ端末で生体信号判定処理を行うのである。これにより、ヘッドフォン１等のモバイルデバイスにおける処理計算量が低減可能となるので、当該モバイルデバイスへの実装を容易にすることができる。また、測定された生体信号をモバイルデバイス側で予めフィルタ処理するので、携帯端末２等のユーザ端末２へ送信する（処理信号）データ量を低減させることもできるのである。

【0105】

さらに、フィルタ処理部３１においてＳＭＡによるＬＰＦを採用する場合、高い周波数成分は不要になるので、サンプリング周波数を間引くデシメーションフィルタを用いて、通信するデータ量をより低減させることも可能となる。この際、例えば５サンプルを１つのサンプルにして、周波数を102.4（＝512／5）Hzに落としてもよい。

【0106】

［生体信号処理方法］
図１２は、本発明による生体信号処理方法の一実施形態を概略的に示すフローチャートである。ここで、本実施形態では、判定対象の生体信号は、大頬骨筋等の口角上げに係る筋肉に起因する筋電信号となっている。

【0107】

（Ｓ１０１）最初に、信号変換部において、ヘッドフォン１の筋電センサからのセンサ出力信号を、差動増幅しデジタル化した上でバッファに保存する。
（Ｓ１０２）信号変換部において、バッファに保存された時系列（離散サンプルの列）のセンサ出力信号に対し、ウィンドウ分割処理を行い、当該信号列をウィンドウに分割する。

【0108】

（Ｓ１０３）フィルタ処理部３１において、ウィンドウ毎に、ＳＭＡフィルタ処理を実行する。
（Ｓ１０４）信号判定部３２において、フィルタ処理された信号に対し、自己相関分析処理を実行し、所定ラグ範囲におけるACCを算出する。

【0109】

（Ｓ１０５）信号判定部３２において、ACCが正から負に移行するラグ位置（ゼロクロス位置）のラグ値Lagが、Lag≦5の範囲内であるか否かを判定する。ここで、真の判定（Lag≦5の範囲内であるとの判定）が行われた場合、ステップＳ１０６ａに移行する。（Ｓ１０６ｂ）一方、ステップＳ１０５で偽の判定が行われた場合、判定対象の筋電信号は発生していないと判定し、ステップＳ１０８に移行する。

【0110】

（Ｓ１０６ａ）信号判定部３２において、（ステップＳ１０５で真の判定が行われた場合であるので）判定対象の筋電信号が発生したとの判定を行う。
（Ｓ１０７）信号判定部３２において、判定対象の筋電信号の信号強度を算出する。ちなみに、ステップＳ１０６ｂの移行先がこのステップＳ１０７であってもよく、この場合、判定対象の筋電信号ではないと判定された信号（ノイズ）の強度も算出される。

【0111】

（Ｓ１０８）ステップＳ１０６ａ及び１０６ｂで判定（決定）された判定対象である筋電信号の発生の有無、及びステップＳ１０７で算出された信号強度（のヒステリシス）に基づいて、対象生体現象である「笑み」の発生した回数がカウントされる。

【0112】

ちなみに、上記のステップＳ１０３〜Ｓ１０８のフローは、例えばウィンドウ毎に繰り返され、ステップＳ１０８で順次カウント処理が進むことも好ましい。

【0113】

以上詳細に説明したように、本発明によれば、一般に処理の容易でない微弱な信号である生体信号を、ＦＦＴやウェーブレット変換等を利用した大きな計算量を必要とする信号処理を用いずとも、確実に処理することができる。その結果、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することが可能となるのである。

【0114】

これにより、例えば、生体信号として大頬骨筋等の口角上げに係る筋肉に起因する筋電信号を判定対象とした場合、本発明を利用して「笑み」を定量的に計測し、例えばお笑い電子コンテンツの面白さを、笑み回数や口角上げ活動量から定量化することができる。また、ユーザの口角上げ動作をトリガとするユーザからのコマンド指示、例えばカメラのシャッタ動作やズーミング等、さらには視聴中コンテンツのお気に入り登録等を実行可能にする。さらには、「笑み」の定量計測を定常的に実施し、ユーザが健全な生活を送っているのかどうかを定量化することも可能となる。

【0115】

さらに、本発明は、上記の筋電信号以外にも様々な生体信号を特定し、その生体信号に係る生体現象の発生を判定可能とする。従って、これらの判定結果や発生回数計測結果を、様々なタイプのコンテンツ等の評価、意志による生体現象のユーザインタフェース化、さらには身体状態や感情・精神状態の定量化等に生かすこともできるのである。

【0116】

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0117】

１ ヘッドフォン
１’ イヤホン
２ 携帯端末
２１ ＡＰ処理部
３ 生体信号処理部
３１ フィルタ処理部
３１１ 計算区間設定部
３１２ 処理実行部
３２ 信号判定部
３２１ 相関係数算出部
３２２ 信号発生判定部
３３ 生体信号計数部
３３ａ 信号強度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】