(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-23
(45)【発行日】2022-03-31
(54)【発明の名称】検出装置、情報入力装置及び見守りシステム
(51)【国際特許分類】
G08B 21/02 20060101AFI20220324BHJP
G08B 25/04 20060101ALI20220324BHJP
【FI】
G08B21/02
G08B25/04 K
(21)【出願番号】P 2020172744
(22)【出願日】2020-10-13
(62)【分割の表示】P 2018524054の分割
【原出願日】2017-06-16
【審査請求日】2020-10-13
(31)【優先権主張番号】P 2016120414
(32)【優先日】2016-06-17
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2016131506
(32)【優先日】2016-07-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001960
【氏名又は名称】シチズン時計株式会社
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【氏名又は名称】三浦 剛
(74)【代理人】
【識別番号】100151459
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】清水 秀樹
【審査官】山田 倍司
(56)【参考文献】
【文献】特開2016-212739(JP,A)
【文献】特開2009-093477(JP,A)
【文献】特開2012-190161(JP,A)
【文献】特開平10-208170(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00- 5/01
A61G 9/00-15/12
99/00
G01H 1/00-17/00
G08B 1/00-15/02
19/00-31/00
G10L 13/00-99/00
(57)【特許請求の範囲】
【請求項1】
人体の動作に応じて発生する1Hz以上かつ20Hz未満の超低周波である非可聴音波を検出する検出部と、
前記検出部が検出した超低周波に含まれる複数のパルスの時間幅及び前記複数のパルス同士の時間間
隔を取得する取得部と、
前記時間幅
及び前記時間間隔の情報に基づいて、前記検出部が検出した非可聴音波が人体のいずれの動作によるものかを判定する判定部と、
を有
し、
前記判定部は、前記超低周波に含まれる2つのパルスが、それぞれ所定の時間幅以上であり、且つ、所定の時間間隔以内の場合に、ドアを開ける動作とドアを閉める動作とによるものであると判定する、
ことを特徴とする検出装置。
【請求項2】
さらに、前記判定部は、前記時間幅の情報のみに基づいて、前記非可聴音波が転倒によるものと判定する、請求項
1に記載の検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出装置、情報入力装置及び見守りシステムに関する。
【背景技術】
【0002】
特許文献1には、利用者が指を擦り合わせることにより発生した指擦音をマイクロフォンで検出し、検出された信号を濾波して超音波成分の信号を取り出し、その超音波成分の信号に基づいて特徴抽出を行い、抽出された特徴情報と予め記録されている特徴情報とを照合して一致するものがあるか否かを判別する個人識別装置が記載されている。
【0003】
また、人体の動作を利用して電気製品の動作を制御する情報入力装置がいろいろ提案されている。こうした情報入力装置としては、例えば、指の摩擦動作(以後、「フィンガースナップ」と記載する)により発生する可聴音を検出したり、使用者の手首の加速度を検出したり(例えば特許文献2を参照)、使用者の手の平の形状や動きを検出したりして情報入力を行うもの(例えば特許文献3を参照)が知られている。このような人体の一部を用いる情報入力装置は、複雑なボタン操作を必要としない直感的に操作できるユーザインターフェースとして期待されている。
【0004】
また、個人を見守る技術としては、日常生活で生じる生活音を検知する見守りシステムが提案されている。例えば、特許文献4には、生活空間の中に音センサデバイスを設置し、マイクロコントローラによって音センサの信号を処理し、時間及び周波数の両方向において簡略化したスペクトログラムを生成し、そのスペクトログラムをホームゲートウェイからネットワークを通して見守りサーバに伝送し、見守りサーバでスペクトログラムに対して複数のフィルタを掛けそれによるスコア値を算出し、各フィルタのスコア値から対象者の状況を認識する見守りシステムが記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2001-318691号公報
【文献】特開2006-319907号公報(第1頁、
図1)
【文献】特開2014-085963号公報(第1頁、
図1)
【文献】特開2011-237865号公報(第1頁、
図1)
【発明の概要】
【0006】
本発明の目的は、使用者の身体の動作に応じて生じる非可聴音波を検出して使用者の動作を識別する検出装置を提供することである。また、本発明の目的は、構成が単純で動作の信頼性が高く、外部機器に対して操作者の意図に応じた様々な操作情報を出力することが可能な情報入力装置を提供することである。
【0007】
また、本発明の目的は、生活者にプライバシー侵害の懸念を生じさせることなく、正確かつ簡便に生活者の生活状態を把握し見守りを行うことが可能な見守りシステムを提供することである。
【0008】
人体の動作に応じて発生する非可聴音波を検出する検出部と、検出部が検出した非可聴音波の波形において複数のパルスが一塊になって発生している期間であるバーストの長さ及び周波数の少なくとも一方に関するバースト情報を取得する取得部と、バースト情報の比較対象となる複数の基準値であって、非可聴音波を発生させる人体の動作の種類に応じて異なる複数の基準値の情報を記憶する記憶部と、バースト情報を複数の基準値の情報と比較することにより、検出部が検出した非可聴音波が人体のいずれの動作によるものかを判定する判定部とを有することを特徴とする検出装置が提供される。
【0009】
上記の検出装置では、検出部は、非可聴音波として、20kHz以上かつ70kHz以下の超音波を検出することが好ましい。
【0010】
上記の検出装置では、取得部は、バースト情報として、バーストの長さ及びバーストの発生期間における非可聴音波の平均周波数の少なくとも一方の値を取得することが好ましい。
【0011】
上記の検出装置では、取得部は、検出部が検出した非可聴音波の全波整流波形の積分波形における波高値が予め定められた複数の識別範囲のいずれに含まれるかに応じて、バーストの長さの値を取得することが好ましい。
【0012】
上記の検出装置では、記憶部は、検出装置の使用者が予め発生させた非可聴音波から取得部が取得したバースト情報を、複数の基準値として記憶することが好ましい。
【0013】
上記の検出装置では、取得部は、バースト情報として、予め定められた判定期間内に発生した複数のバーストが判定期間内で占める長さの割合、及び複数のバースト同士の平均周波数の差の少なくとも一方の値を取得することが好ましい。
【0014】
上記の検出装置では、検出部は、非可聴音波として、1Hz以上かつ20Hz未満の超低周波をさらに検出し、取得部は、検出部が検出した超低周波に含まれる複数のパルスの時間幅及び複数のパルス同士の時間間隔の少なくとも一方をさらに取得し、判定部は、さらに時間幅又は時間間隔の情報に基づいて、非可聴音波が人体のいずれの動作によるものかを判定することが好ましい。
【0015】
また、人体の動作に応じて発生する非可聴音波を検出する検出部と、検出部が検出した非可聴音波の波形において複数のパルスが一塊になって発生している期間であるバーストの長さ及び周波数の少なくとも一方に関するバースト情報を取得する取得部と、バースト情報の比較対象となる複数の基準値であって、非可聴音波を発生させる人体の動作の種類に応じて異なる複数の基準値の情報を記憶する記憶部と、バースト情報を複数の基準値の情報と比較することにより、検出部が検出した非可聴音波が人体のいずれの動作によるものかを判定する判定部と、外部機器を操作するために外部機器に入力される操作情報であって、判定部の判定結果に応じて異なる操作情報を外部機器に出力する出力部とを有することを特徴とする情報入力装置が提供される。
【0016】
また、人体の動作に応じて発生する非可聴音波を検出する検出部と、検出部が検出した非可聴音波の波形において複数のパルスが一塊になって発生している期間であるバーストの長さ及び周波数の少なくとも一方に関するバースト情報を取得する取得部と、バースト情報の比較対象となる複数の基準値であって、非可聴音波を発生させる人体の動作の種類に応じて異なる複数の基準値の情報を記憶する記憶部と、バースト情報を複数の基準値の情報と比較することにより、検出部が検出した非可聴音波が人体のいずれの動作によるものかを判定する判定部と、判定部の判定結果が予め定められた異常状態に対応する場合に、異常状態を外部端末に報知する報知部とを有することを特徴とする見守りシステムが提供される。
【0017】
また、人体の動作によって生じる非可聴音波を検出して外部機器を操作する情報入力装置であって、異なる複数の非可聴音波を検出情報として検出する検出部と、検出情報と、検出情報と比較するための複数の比較情報と、比較情報に関連付けされた外部機器を操作するための操作信号とを記憶する記憶部と、検出情報と、比較情報とを比較し、特定の比較情報に対応した検出情報の入力の有無を判定する判定部とを備え、判定部で判定した結果に基づいて記憶部から操作信号を出力することを特徴する情報入力装置が提供される。
【0018】
非可聴音波は、人体の部位を擦り合わせて発生させてもよい。
【0019】
記憶部は、検出情報を比較情報として記憶してもよい。
【0020】
信号処理された検出情報に対応した波形がバーストとして変換されており、判定部は、バーストの周波数及びバーストの発生期間のうち少なくとも一方に基づいて特定の比較情報に対応した検出情報の入力の有無を判定してもよい。
【0021】
周波数は、予め設定された時間における平均周波数としてもよい。
【0022】
また、生活に伴い発生する非可聴音を検出して生活空間での生活者の状態を把握する見守りシステムであって、生活空間内に設置され、非可聴音情報を取得する検出部と、検出部で取得した非可聴音情報に基づいて生活者の状態を報知する報知部とを有することを特徴とする見守りシステムが提供される。
【0023】
さらに、非可聴音情報は、超音波及び超低周波のうち少なくとも一方の情報であることが好ましい。
【0024】
さらに、報知部は、超音波の情報の予め設定された時間におけるバースト幅の占める割合及び周波数の高低のうち少なくとも一方に基づいて生活者の状態を報知することが好ましい。
【0025】
さらに、周波数は、予め設定された時間における平均周波数であることが好ましい。
【0026】
また、報知部は、超低周波の情報のパルス幅に基づいて生活者の状態を報知することが好ましい。
【0027】
上記の検出装置によれば、使用者の身体の動作に応じて生じる非可聴音波を検出して使用者の動作を識別することができる。また、上記の情報入力装置によれば、構成が単純で動作の信頼性が高く、外部機器に対して操作者の意図に応じた様々な操作情報を出力することができる。
【0028】
また、上記の見守りシステムによれば、生活者にプライバシー侵害の懸念を生じさせることなく、正確かつ簡便に生活者の生活状態を把握し見守りを行うことができる。
【図面の簡単な説明】
【0029】
【
図1B】情報入力装置1の変形例を示すブロック図である。
【
図2A】超音波信号から得られた検出信号P2の波形図である。
【
図2B】
図2Aに示す検出信号P2に基づく特徴抽出信号P3の作り方を説明するための模式図である。
【
図3A】フィンガースナップの検出信号P2及び特徴抽出信号P3を示す図である。
【
図3B】爪はじきの検出信号P2及び特徴抽出信号P3を示す図である。
【
図3C】掌摩擦の検出信号P2及び特徴抽出信号P3を示す図である。
【
図3D】口の開閉の検出信号P2及び特徴抽出信号P3を示す図である。
【
図3E】舌打ちの検出信号P2及び特徴抽出信号P3を示す図である。
【
図3F】鼻すすりの検出信号P2及び特徴抽出信号P3を示す図である。
【
図4】摩擦動作、特徴抽出信号P3、比較情報Pt及び操作信号Psの対応関係を示す表である。
【
図5】情報入力装置1の動作例を示すフローチャートである。
【
図6】別の超音波検出方法の例を説明するための図である。
【
図8】情報入力装置の使用例を説明するための模式図である。
【
図9】日常生活において発生する超音波の例を示す波形図及び模式図である。
【
図10A】日常生活において発生する超低周波の例を示す波形図である。
【
図10B】日常生活において発生する超低周波の例を示す波形図である。
【
図11】見守りシステム101の外観を示す図である。
【
図12】見守りシステム101のブロック図である。
【
図13A】超音波のバースト幅を説明するための波形図である。
【
図13B】生活空間で発生する超音波の一例を示す波形図である。
【
図14】見守りシステム101及び外部端末140の動作例を示すフローチャートである。
【
図15】見守りシステム101の第1の検出例を説明するための波形図である。
【
図16】見守りシステム101の第2の検出例を説明するための模式図である。
【
図17】見守りシステム300の外観を示す図である。
【
図18】見守りシステム300のブロック図である。
【
図19】生活空間で発生する超低周波信号の一例を示す波形図である。
【
図20】見守りシステム300における時系列判定の例を説明するための表である。
【
図21】見守りシステム300及び外部端末140の動作例を示すフローチャートである。
【
図22】見守りシステム300の検出例を説明するための波形図である。
【発明を実施するための形態】
【0030】
以下、図面に基づいて本発明の実施形態を詳述する。ただし、以下に示す実施形態は、本発明の思想を具体化するための例示であって、本発明を限定するものではない。特に、実施形態に記載されている構成要素の寸法、材質、形状、相対的配置などは、特定的な記載がない限り、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。以下の説明において、同一の構成要素には同一の名称及び符号を付し、その詳細説明を適宜省略する。
【0031】
まず、人体の動作によって生じる非可聴音波を検出して機器を操作する情報入力装置について説明する。
【0032】
人体の動作による信号を検出し、それに応じた操作情報を電気製品などに入力する情報入力装置では、例えばフィンガースナップによる可聴音を検出して情報入力を行う方式の場合、フィンガースナップによって大きな可聴音を発生させる必要がある。しかしながら、フィンガースナップによって大きな可聴音を発生させることは必ずしも容易ではなく、特に子供や女性のように強いフィンガースナップができにくい人や、手又は指に身体的なハンディキャップを有する人にとっては、情報入力装置を動作させることが困難となる。また、周囲に生活音や人の声などのいろいろな環境音があるため、可聴音を用いる方式では、環境音からのノイズ信号によって情報入力装置が誤動作する危険性がある。
【0033】
使用者の手首の加速度を検出して情報入力を行う方式では、使用者が手首にリストバンド型の加速度センサを装着する必要があるため、使用者にとって煩わしく、装置全体のコストアップにもなる。また、使用者の手の平の形状や動きを検出して情報入力を行う方式では、情報入力装置の検知側に動画像処理装置を設けたり画像マッピングをしたりする必要があり、情報入力装置が大掛かりなシステムとなる。
【0034】
そこで、以下では、事前に人体にセンサなどを装着する必要がなく、画像処理システムのような大掛かりなシステムも必要としない、簡便な構成の情報入力装置について説明する。この情報入力装置は、操作者の身体の特定の動作により生じる非可聴音波を検出する検出装置であり、その非可聴音波に対応する操作情報を対象の機器に入力してその機器を操作する。人体の動作によって発生する非可聴音波として代表的なものは、手をたたく、指同士を摺動させる、人体と衣服とを摺動させる、口を開閉させる、鼻をすする、車椅子や歩行器などを操作するなどの動作によって発生する超音波である。以下では、人体の摩擦動作によって生じる超音波を例として説明する。
【0035】
[第1実施形態]
図1Aは、情報入力装置1のブロック図である。
図1Aにおける矢印付きの実線は、信号の流れを示している。
【0036】
情報入力装置1は、検出部2と、制御部10とを有する。検出部2は、操作者が身体の一部を摩擦させることで発生する超音波信号(非可聴音波)を検出して、検出信号(検出情報)を生成する。制御部10は、CPU及びメモリを含むマイクロコンピュータで構成され、検出部2からの検出情報と予め記憶されている比較情報とを比較して、検出情報の種類を判定し、その判定結果に基づいて、適当な操作信号を外部機器50に出力する。
【0037】
検出部2は、超音波センサ3と、増幅部4と、可聴変換部5と、閾値設定部6と、AD変換部7とを有する。超音波センサ3は、操作者が身体の一部を摩擦させて発生する20kHz~70kHzの超音波を検出し、それを電気的な超音波信号P1(検出情報)に変換する。増幅部4は、超音波センサ3が生成した超音波信号P1を増幅する。
【0038】
可聴変換部5は、増幅部4により増幅された超音波信号P1を周波数変換して、可聴帯域の音声信号に変換する。この周波数変換は、例えば1/16の分周処理である。また、可聴変換部5は、例えば照明器具や家電製品が発する超音波などのノイズ信号を遮断する。例えば、可聴変換部5は、周波数変換の分周処理の際に、周波数70kHz以上又はP-P電圧50mV未満の超音波を除去する。したがって、可聴変換部5は、P-P電圧が50mV以上で、周波数が20kHz以上かつ70kHz未満の超音波信号だけを、可聴帯域の音声信号に周波数変換する。
【0039】
閾値設定部6は、可聴変換部5が遮断する周波数及び振幅(P-P電圧)の閾値の大きさを設定する。閾値設定部6には、例えば、周波数70kHz及びP-P電圧50mVが初期的に設定されている。可聴変換部5及び閾値設定部6は、予め設定された周波数以上のノイズ信号を遮断するノイズフイルタとして動作する。
【0040】
AD変換部7は、可聴変換部5での周波数変換により得られたアナログの可聴信号をデジタルの検出信号P2(検出情報)に変換して、制御部10に出力する。
【0041】
可聴変換部5が超音波信号P1を分周処理して可聴帯域の音声信号に変換する理由は、超音波から音声信号へと低い周波数に変換することで、制御部10が回路処理を低速で行えることになり、回路構成が単純化し、動作の信頼性を高めることができるためである。しかしながら、これに限定されるものではなく、制御部10の処理スピードを高めれば、制御部10は超音波信号P1に対して以下の処理を行ってもよい。また、情報入力装置1を使用する際にノイズ信号を除去する必要がない場合には、可聴変換部5及び閾値設定部6を省略してもよく、そうすれば検出部2を簡略化することができる。
【0042】
制御部10は、信号処理部11と、判定部12と、操作信号発生部13と、記憶部20とを有する。信号処理部11は、取得部の一例であり、検出部2から入力されるデジタルの検出信号P2を取得し、検出信号P2内で同程度の振幅が連続している期間(言い換えると、一塊のパルスが連続して発生している期間)であるバーストの時間幅(以後、「バースト幅」と記載する)と、そのバーストにおける周波数の平均値(平均周波数)とを抽出する。バースト幅と平均周波数は、バースト情報の一例である。信号処理部11は、抽出したバースト幅と平均周波数の値を、特徴抽出信号P3(特徴情報)として検出情報記憶部21に出力する。
【0043】
図2Aは、超音波信号から得られた検出信号P2の波形図である。
図2Aは、操作者が行う身体の摩擦動作によって発生する超音波信号を超音波センサ3が検出し、その超音波信号に対して可聴変換部5が分周処理を行い、AD変換部7がAD変換を行って得られた検出信号P2を示す。
図2Aの横軸tは時間を表し、縦軸は検出信号P2の波形レベルを表す。
図2Aでは、一例として、フィンガースナップにより発生した超音波の検出信号P2を示す。この検出信号P2では、摩擦動作のスタートである基点s1から一定期間T1の連続波形が続き、その後の無波形状態の後、終点s2までの間に、2個の単発波形T2が発生している。
【0044】
図2Bは、
図2Aに示す検出信号P2に基づく特徴抽出信号P3の作り方を説明するための模式図である。
図2Bでは、予め測定範囲と定められた500msの区間SBの基点s1から終点s2までにおいて、
図2Aの検出信号P2を模式化した検出信号P2’を示しており、バーストを斜線部で示している。1ms毎の区間を1つのブロックbとすると、
図2Aの期間T1の波形は、
図2BではブロックHBの連続バーストCbに対応し、
図2Aの2個の単発波形T2は、
図2Bでは、それぞれ1ブロックの単発バーストTbに対応する。また、連続バーストCbの途中には、波形の振幅が発生していない1ブロックの区間である欠落バーストNbが存在する。
【0045】
信号処理部11は、各ブロックbにおける波形の有無を判定し、波形有りと判定したブロックbの検出信号P2の平均周波数を測定する。1ブロック以下のバーストはノイズとみなして採用しないことにすると、単発バーストTbと欠落バーストNbは採用されず、信号処理部11は、検出信号P2から、ブロックHBをバースト有り区間として抽出し、他の区間をバーストなし区間と判定する。信号処理部11は、ブロックHBにおける連続バーストCbのバースト幅(図示した例では26ms)と、連続バーストCbが継続している期間T1における平均周波数(図示した例では3.1kHz)とを抽出し、それらの情報を特徴抽出信号P3として記憶部20に出力する。
【0046】
次に、
図3A~
図3Fを用いて、操作者が身体の摩擦動作を行ったときの検出信号P2及び特徴抽出信号P3の具体例を説明する。各図の上段は検出信号P2であり、横軸は時間を表し、縦軸は波形レベルを表す。これらの検出信号P2は、
図2Aのものと同様に、超音波信号を1/16に分周した音声信号である。また、各図の下段は特徴抽出信号P3であり、そのバースト幅と平均周波数を数値で示している。
【0047】
図3A~
図3Cは、操作者が手の各部の摩擦動作を行ったときに発生する検出信号P2と特徴抽出信号P3を示す。
図3Aは、フィンガースナップ(親指と小指を横方向に擦り合わせたとき)の検出信号P2及び特徴抽出信号P3を示す図であり、これらは
図2A及び
図2Bを用いて説明したものである。
図3Bは、爪はじき(人差し指の爪を親指で弾いたとき)の検出信号P2及び特徴抽出信号P3を示す図である。
図3Cは、掌摩擦(両手の掌を擦り合わせたとき)の検出信号P2及び特徴抽出信号P3を示す図である。
【0048】
図3Aに示す「フィンガースナップ」の例では、
図2Bを用いて説明したように、特徴抽出信号P3のバースト幅は26ms、平均周波数は3.1kHzである。
図3Bに示す「爪はじき」の例では、特徴抽出信号P3のバースト幅は10ms、平均周波数は2.5kHzである。すなわち、「爪はじき」の例では、
図3Aに示す「フィンガースナップ」の場合に比べて、バースト幅は狭く、平均周波数も低い値となっている。
図3Cに示す「掌摩擦」の例では、特徴抽出信号P3のバースト幅は800msであり、予め定められた測定期間の間は同程度の振幅が連続しているが、平均周波数は1.3kHzと比較的低い値である。
【0049】
図3D~
図3Fは、操作者が顔の各部の摩擦動作を行ったときに発生する検出信号P2と特徴抽出信号P3を示す。
図3Dは、口の開閉(口を開閉させて上唇と下唇とを摩擦させたとき)の検出信号P2及び特徴抽出信号P3を示す図である。
図3Eは、舌打ち(舌を間歇的に鳴らしたとき)の検出信号P2及び特徴抽出信号P3を示す図である。
図3Fは、鼻すすり(鼻を連続的にすすったとき)の検出信号P2及び特徴抽出信号P3を示す図である。
【0050】
図3Dに示す「口の開閉」の例では、特徴抽出信号P3のバースト幅は1.5ms、平均周波数は3.8kHzである。
図3Eに示す「舌打ち」の例では、特徴抽出信号P3のバースト幅は28ms、平均周波数は2.5kHzである。すなわち、「舌打ち」の例では、平均周波数は
図3Bに示す「爪はじき」の場合と同じであるが、バースト幅は「爪はじき」の場合よりも広くなっている。
図3Fに示す「鼻すすり」の例では、特徴抽出信号P3のバースト幅は480msであり、予め定められた測定期間に近い長さにわたって同程度の振幅が連続している。また、「鼻すすり」の例では、平均周波数は3.8kHzであり、
図3Dに示した「口の開閉」の場合と同じ値である。
【0051】
記憶部20は、検出情報記憶部21と、比較情報記憶部22と、対応情報記憶部23とで構成される。検出情報記憶部21は、検出部2からの検出信号P2と、信号処理部11でその検出信号P2から抽出された特徴抽出信号P3とを記憶する。
【0052】
比較情報記憶部22は、検出情報のパターンを判別するために検出情報と比較される比較情報Ptを記憶する。比較情報Ptは、操作者が行う複数の摩擦動作によって発生する各超音波信号の特徴情報であるバースト幅及び平均周波数の基準値である。
【0053】
対応情報記憶部23は、比較情報記憶部22が記憶している各比較情報Pt(Pt1~Ptn)に対応する操作信号Ps(Ps1~Psn)を記憶する。すなわち、記憶部20は、比較情報Pt(Pt1~Ptn)と操作信号Ps(Ps1~Psn)とを互いに関連付けて記憶している。操作信号Psは、外部機器50を操作するための信号(操作情報)である。
【0054】
図4は、摩擦動作、特徴抽出信号P3、比較情報Pt及び操作信号Psの対応関係を示す表である。
図4では、上記の各摩擦動作と、その摩擦動作により得られる特徴抽出信号P3のバースト幅及び平均周波数と、その摩擦動作に対応する比較情報Ptのバースト幅及び平均周波数並びに操作信号Psとを示している。
【0055】
特徴抽出信号P3は、検出情報から抽出された特徴情報であり、検出情報の実測データに相当する。これに対し、比較情報Ptには、個人差や動作のばらつきによって検出情報が変動することを考慮して、それぞれ所定の幅が設けられている。誤動作を防止するために、比較情報Ptの数値幅は、実際に摩擦動作を繰り返して行い、その実測データの変動を測定した上で、その変動範囲をカバーするように、検出情報のばらつきが大きい摩擦動作ほど大きく設定される。
図4に示した情報のうち、比較情報Ptは比較情報記憶部22に、操作信号Psは対応情報記憶部23にそれぞれ記憶されている。
【0056】
図4において、摩擦動作が「フィンガースナップ」のときには、特徴抽出信号P3のバースト幅は26ms、平均周波数は3.1kHzであり、比較情報Ptのバースト幅は16ms~48ms、平均周波数は3.5kHz~4kHzであり、操作信号はPs1である。摩擦動作が「爪はじき」のときには、特徴抽出信号P3のバースト幅は10ms、平均周波数は2.5kHzであり、比較情報Ptのバースト幅は5ms~12ms、平均周波数は2kHz~3kHzであり、操作信号はPs2である。摩擦動作が「掌摩擦」のときには、特徴抽出信号P3のバースト幅は800ms、平均周波数は1.3kHzであり、比較情報Ptのバースト幅は500ms以上、平均周波数は1kHz~1.5kHzであり、操作信号はPs3である。
【0057】
摩擦動作が「口の開閉」のときには、特徴抽出信号P3のバースト幅は1.5ms、平均周波数は3.8kHzであり、比較情報Ptのバースト幅は1ms~2ms、平均周波数は3.5kHz~4kHzであり、操作信号はPs4である。摩擦動作が「舌打ち」のときには、特徴抽出信号P3のバースト幅は28ms、平均周波数は2.5kHzであり、比較情報Ptのバースト幅は16ms~32ms、平均周波数は2kHz~3kHzであり、操作信号はPs5である。摩擦動作が「鼻すすり」のときには、特徴抽出信号P3のバースト幅は480ms、平均周波数は3.8kHzであり、比較情報Ptのバースト幅は400ms~500ms、平均周波数は3.5kHz~4kHzであり、操作信号はPs6である。
【0058】
判定部12は、検出情報記憶部21に記憶された特徴抽出信号P3及び比較情報記憶部22に記憶された比較情報Ptを取得し、それらの情報を用いて、操作者が意図する超音波のパターンを判定する。その際、判定部12は、特徴抽出信号P3のバースト幅及び平均周波数を各比較情報Ptのバースト幅及び平均周波数と比較し、比較情報Pt1~Ptnのうちで、特徴抽出信号P3のバースト幅及び平均周波数がそれぞれ設定範囲内に含まれるものを選定する。これにより、判定部12は、特徴抽出信号P3がどの摩擦動作により発生した超音波のものであるかを特定し、各摩擦動作にそれぞれ対応する複数の特定信号Pd(Pd1~Pdn)のうちで、特定された摩擦動作に対応するものを操作信号発生部13に出力する。特定信号Pd(Pd1~Pdn)は、比較情報Pt(Pt1~Ptn)にそれぞれ対応しており、比較情報Ptのうちの1つを識別するためのものである。
【0059】
操作信号発生部13は、出力部の一例であり、判定部12の判定結果に基づいて、対応情報記憶部23に記憶されている操作信号Psのうちで、判定部12から供給される特定信号Pd(Pd1~Pdn)に対応するものを外部機器50に出力する。例えば、判定部12から供給される特定信号PdがPd1の場合には、操作信号発生部13は、特定信号Pd1に対応する操作信号Ps1を外部機器50に出力する。操作信号発生部13が出力する操作信号Psは、操作者が行う身体の摩擦動作に応じて異なる。具体的には、操作信号発生部13は、操作者が「フィンガースナップ」を行うと操作信号Ps1を、「爪はじき」を行うと操作信号Ps2を、「掌摩擦」を行うと操作信号Ps3を、「口の開閉」を行うと操作信号Ps4を、「舌打ち」を行うと操作信号Ps5を、「鼻すすり」を行うと操作信号Ps6をそれぞれ出力する。
【0060】
なお、制御部10には、操作信号Psを外部機器50に対応した信号に変換するための操作信号変換部をさらに設けてもよい。
【0061】
図5は、情報入力装置1の動作例を示すフローチャートである。情報入力装置1の制御部10は、電源がONになると(ステップS1)、まず、可聴変換部5が使用する閾値の設定などの初期設定を行う(ステップS2)。そして、図示しない測定スイッチが操作者の操作によりONになると(ステップS3)、信号処理部11は、検出部2により検出された検出信号P2の波形レベルが閾値以上であるか否かを判定する(ステップS4)。波形レベルが閾値以上である場合(ステップS4でYes)には、信号処理部11は、1msの区間(ブロック)毎に検出信号P2の波形(振幅)の有無を判定し、波形有りの区間についてはその区間のバースト幅及び平均周波数を算出して、それらの値を記憶部20に記憶する(ステップS5)。
【0062】
信号処理部11は、平均周波数の記憶を開始した直後に波形なしが規定のブロック数(例えば5ブロック)以上続いたか否かを判定する(ステップS6)。波形なしが規定のブロック数以上続いた場合(ステップS6でYes)には、処理はステップS4に戻り、規定のブロック数未満である場合(ステップS6でNo)には、予め定められた測定期間の間(例えば500ブロック分)、記憶を継続する(ステップS7)。そして、判定部12は、それまでに得られたバースト幅及び平均周波数を記憶部20の比較情報Ptと比較して、検出された超音波がいずれの摩擦動作に対応するものであるかを判定する(ステップS8)。
【0063】
ステップS8での判定により操作信号Psが確定しない場合(ステップS9でNo)には、処理はステップS4に戻り、操作信号Psが確定した場合(ステップS9でYes)には、操作信号発生部13は、対象機器にその操作信号Psを送信する(ステップS10)。その後、測定スイッチがOFFに操作されなければ(ステップS11でNo)、処理はステップS4に戻り、測定スイッチがOFFに操作されると(ステップS11でYes)、制御部10は、電源をOFFにして(ステップS12)、処理を終了する。
【0064】
情報入力装置1によれば、操作者が身体のいずれかの部分の摩擦動作によって超音波を発生させると、その超音波が検出部2により検出されて検出情報が生成され、制御部10によりその検出情報に対応した操作信号Psが外部機器50に供給される。特徴抽出信号P3は摩擦動作によって異なるので、こうした特徴抽出信号P3を利用して外部機器に操作情報を入力すれば、操作者が外部機器に対して所望の操作を行うことが可能となる。
【0065】
例えば、「フィンガースナップ」と「舌打ち」のバースト幅はそれぞれ26msと28msであり、互いに近似しているため、バースト幅だけではこれらを区別することは難しい。しかしながら、「フィンガースナップ」の平均周波数3.8kHzは「舌打ち」の平均周波数2.5kHzとは大きく異なるため、バースト幅と平均周波数とを組み合わせれば、検出情報がいずれの摩擦動作に対応するものであるかを判定することができる。
【0066】
なお、検出情報から得られるバースト幅と平均周波数の組合せを用いることは、検出情報がいずれの摩擦動作に対応するものであるかを判定するための必要条件ではない。例えば、
図4に示すように、「フィンガースナップ」と「爪はじき」と「掌摩擦」とでは、バースト幅でも平均周波数でもその差が大きい。したがって、検出対象の超音波を手の摩擦動作によるもののみに限定すれば、バースト幅又は平均周波数のいずれか一方だけでも、各摩擦動作を区別することが可能である。ただし、上記のように、検出対象の摩擦動作の種類を多くして操作信号Psの種類を増やす場合には、バースト幅と平均周波数とを組み合わせて判定する方が、精度の点で有利になる。
【0067】
図6は、別の超音波検出方法の例を説明するための図である。
図6では、上から順に、超音波信号US1の波形、超音波信号US1を全波整流して得られた信号US2の波形、及び信号US2の積分波形US3を示している。各波形の横軸は時間tを表し、縦軸は波形レベルを表す。信号処理部11は、上記のように1msの区間毎に波形の有無を判定して超音波信号のバースト幅を検出するのではなく、超音波信号US1から積分波形US3を作成し、その波高値に基づいてバースト幅の値を取得してもよい。その際、信号処理部11は、互いに異なる複数の識別範囲をバースト幅の判定用に予め設定しておき、積分波形US3の波高値がいずれの識別範囲に含まれるかに基づいて、バースト幅の値を取得してもよい。例えば、波高値が識別範囲ΔAに含まれる場合には、信号処理部11は、バースト幅がその識別範囲ΔAに対応する長さであると判定してもよい。
【0068】
図1Bは、情報入力装置1の変形例を示すブロック図である。
図1Bに示す情報入力装置1aのように、制御部10の中に制御回路24を設けて、可聴変換部5、信号処理部11、判定部12、記憶部20などの動作を制御してもよい。これにより、各部の動作タイミングを適切に制御することが可能となる。
【0069】
上記では、身体の部位同士を摺動させたときに生じる非可聴音波の例について説明したが、情報入力装置(検出装置)が検出する非可聴音波は、衣服や器具などの身体以外のものと身体との摺動や、器具同士の摺動(例えば、車椅子や歩行器などを走行させた際の機構部の摺動)によって生じるものであってもよい。また、腕を大きく振る動作などにより生じる超低周波音であってもよい。こうした非可聴音波を検出することでも、同様に機器を操作することが可能である。
【0070】
[第2実施形態]
図7は、情報入力装置30のブロック図である。情報入力装置30は、検出情報記憶部21から比較情報記憶部22への比較データ書き込み線Pm及びスイッチKMが制御部10に設けられている点、並びに比較情報記憶部22に記憶されている比較情報Ptの点で、
図1Aに示す情報入力装置1とは異なる。その他の点では、情報入力装置30は情報入力装置1と同じ構成を有するので、重複する説明を省略する。
【0071】
情報入力装置1は、比較情報Ptとして予め定められた平均的な基準値を記憶しているが、情報入力装置30は、固有の操作者が身体の摩擦動作を行ったときの検出信号P2から抽出された特徴情報を、比較情報Ptとして比較情報記憶部22に記憶している。すなわち、情報入力装置30は、その操作者個人用の情報入力装置である。
【0072】
スイッチKMは、制御部10の検出情報記憶部21からのデータの出力先を選択するために用いられる。スイッチKMが動作状態に設定されると、情報入力装置30は比較データ書き込みモードに設定される。この状態において操作者が身体の摩擦動作を行って超音波を発生させると、検出部2は、上記の通りに検出信号P2を生成し、その検出信号P2を信号処理部11に出力する。信号処理部11は、入力された検出信号P2のバースト幅及び平均周波数を測定し、それらの値を特徴抽出信号P3として検出情報記憶部21に出力し、さらに検出情報記憶部21から比較データ書き込み線Pmを経由して比較情報記憶部22に書き込む。比較情報記憶部22は、この特徴抽出信号P3を比較情報Ptとして記憶する。予め定められた順番にしたがってこの手順を繰り返せば、比較情報記憶部22に複数の比較情報Ptを記憶させることもできる。
【0073】
情報入力装置30のように、特定の個人の摩擦動作を検出して生成された情報を比較情報Ptとして記憶すれば、その個人の摩擦動作による検出信号P2と比較情報Ptとを判定部12が比較するため、判定の精度が極めて高くなり、誤動作のない個人用の情報入力装置になる。
【0074】
[第3実施形態]
図8は、情報入力装置の使用例を説明するための模式図である。
図8では、情報入力装置1,1a,30のいずれかをテレビ100又はリモコン200に内蔵した場合の例を示している。一般に、テレビ100は、リモコン200を操作することによって使用されている。しかしながら、テレビ100に上記の情報入力装置を内蔵させれば、リモコン200の他に、人体の摩擦動作による超音波信号によってもテレビ100を操作することができる。この例は、
図1A、
図1B又は
図7における外部機器50がテレビ100である場合に相当する。
【0075】
例えば、
図4に示した「フィンガースナップ」による操作信号Ps1を電源信号にすると、1回目の「フィンガースナップ」でテレビ100の電源がONになり、2回目の「フィンガースナップ」で電源がOFFになる。この場合、「フィンガースナップ」の繰り返しでテレビ100の電源のON,OFFを行うことができる。
【0076】
「爪はじき」による操作信号Ps2をチャンネルの増加信号とし、「掌摩擦」による操作信号Ps3をチャンネルの減少信号とすると、電源がONであるときに「爪はじき」を繰り返せばチャンネルが増加し、「掌摩擦」を断続的に繰り返せばチャンネルが減少する。また、「口の開閉」による操作信号Ps4を音量の増加信号とし、「舌打ち」による操作信号Ps5を音量の減少信号とすると、「口の開閉」を繰り返せば音量が増加し、「舌打ち」を繰り返せば音量が減少する。
【0077】
例えば、テレビ100の操作者は、「フィンガースナップ」によって電源をONにし、「爪はじき」と「掌摩擦」によってチャンネルを設定し、さらに「口の開閉」と「舌打ち」によって音量を調整して、番組を観賞した後に「フィンガースナップ」によって電源をOFFにすることができる。このように、リモコン200を使用しなくても、身体の摩擦動作のみによってテレビ100の操作を行うことができるので、リモコン200を探す必要がなく極めて便利となる。
【0078】
もちろん、操作機能と摩擦部位との対応関係は上記したものに限らず、操作者の使い易さにしたがって任意に決めることができる。また、情報入力装置1,1a,30のいずれかをリモコン200に搭載して、検出された摩擦動作による超音波信号に対応する操作信号をリモコン200からテレビ100に出力してもよい。
【0079】
上記の情報入力装置は、テレビに限らずいろいろな装置の操作に応用可能である。例えば、「フィンガースナップ」による超音波信号を用いて、カメラのシャッタ操作を行ってもよい。この方式は、「フィンガースナップ」により大きな可聴音を発生させることができない人でも操作が可能であり、また外部の雑音信号による誤動作の心配がないため、「フィンガースナップ」による可聴音を用いる従来の方式に比べて優れている。
【0080】
また、パソコンに上記の情報入力装置を内蔵させれば、手が不自由でキーボードの操作が困難な人でも、人体の摩擦動作によりパソコンを操作することができる。あるいは、USBデバイスに上記の情報入力装置を内蔵させてもよく、このUSBデバイスをパソコンに取り付ければ、同様に、人体の摩擦動作によりパソコンの操作を行うことができる。
【0081】
また、情報入力装置を用いてトイレなどのドアの動作を制御してもよい。この場合、情報入力装置が車椅子や歩行器の機構部の摺動に伴い発生する超音波を検出して、車椅子又は歩行器の使用者が来たことを判別したり、その判別結果に応じてドアの解錠や解錠される時間などを自動的に制御したりすることもできる。
【0082】
次に、一人住まいの高齢者といった単独で生活を営む人の日々の生活状態を監視する見守りシステムについて説明する。
【0083】
近年、社会構造が複雑化し、単身赴任者、学生、独居高齢者などの単独で生活を営む人が増えている。特に、マンションでの独居高齢者の孤独死は、マンションとしての資産価値の下落や、再賃貸が困難になるなどの課題を生む。また、孤独死のような深刻な問題以前に、こうした単身者の健康状態や安否の確認は緊急の課題である。さらに、一般社会においても、公衆トイレ、個室喫茶、カラオケ、刑務所の独房といった閉ざされた空間内での個人の行動を見守らなくてはならない場合も多い。
【0084】
このように個人を見守る行為は、家族だけでなく社会全体として取り組むべき課題となっている。例えば、独居高齢者の動作の監視を目的とした赤外線焦電センサや、バイタルサインを検知するマイクロ波ドップラセンサ、ドアの開閉を監視する装置、電気ポットなどの家電製品の使用電流をモニタする装置、カメラで動きを監視する装置などが商品化されている。
【0085】
しかしながら、これまでに提案された生活空間の見守りシステムには、プライバシーとシステムの価格の課題がある。詳述すると、こうしたシステムでは、生活空間の中に可聴帯域の音センサデバイスが設置されるので、検知された会話などの可聴音データは、スペクトログラムに変換されるとは言え、変換されるまでの過程でシステム内に蓄積されている。このため、その可聴音データが悪用されるリスクがあり、またプライバシーに係わる生活音が収集されて生活者の不安心理が払拭されないという基本的課題がある。さらに、こうしたシステムでは、可聴帯域の生活音からスペクトログラムを生成するためのスペクトログラム生成手段を要するので、システムが複雑になり、コストアップにつながる。
【0086】
そこで、以下では、プライバシーの問題がなく、正確かつ簡便に生活者の生活状態を把握する見守りシステムについて説明する。この見守りシステムは、生活者が日常生活で発生させる非可聴音波を検出する検出装置であり、検出した非可聴音波からそのときの生活者の行動や動作を類推し、生活者が正常な生活状態にあるか否かを判別し、異常な状態であれば即座に外部に発信する。日常生活で発生する非可聴音波には超音波と超低周波があるので、以下では、超音波のみを検出する例と、超音波と超低周波の両方を検出する例を説明する。
【0087】
一般の生活空間における超音波は、20kHz~70kHzの音波であって、主として物体同士の接触、当接、すり合いもしくは衝突か、又は生活者の病的な呼吸の異常もしくはもがきなどによって発生し、その周波数は物体の硬さや表面粗さ、生活者の呼吸気道の狭さに依存する。すなわち、超音波の周波数、振幅及び持続時間は超音波の発生由来に固有であるので、超音波を解析すれば、その超音波を発生させた事象を特定することができる。さらに、非可聴音波である超音波を検出して生活者の状態を把握すれば、人の声を検出する必要がないので、生活者のプライバシーに関わる問題が生じないという利点がある。
【0088】
また、超低周波は20Hz未満の低周波であって、日常生活では主として重量のある物体同士の強い当接もしくは衝突か、又は生活者の転倒などによって発生する。超音波と同様に、超低周波は非可聴音波であるため、検出しても生活者のプライバシーに関わる問題は生じない。
【0089】
図9は、日常生活において発生する超音波の例を示す波形図及び模式図である。
図9では、日常の生活空間Sにおける様々な超音波を超音波センサで検出して得られた波形を、グラフG1~G4に示している。各グラフの横軸tは時間を表し、縦軸Aは超音波の振幅レベル(強さ)を表す。
【0090】
グラフG1は、蛇口から水が流れることで発生する超音波の波形であり、持続時間が短いパルス状の波形が特徴である。グラフG2は、室内で生活者Pが歩行することで発生する超音波の波形であり、歩行ピッチを反映して一定間隔で現れるパルス状の波形が特徴である。グラフG3は、生活者Pがドアを開けたことで発生する超音波の波形であり、持続時間が長いバースト状の波形が特徴である。グラフG4は、生活者Pがトイレに入室してからトイレの水洗を使用するまでの期間内に発生する超音波の波形であり、トイレの鍵のロック(G41)、便座おろし(G42)、トイレットペーパの使用(G43)、洗浄便座の使用(G44)及び水洗(G45)という一連の動作に対応した互いに形状が異なる波形が特徴である。
【0091】
図10A及び
図10Bは、日常生活において発生する超低周波の例を示す波形図である。
図10Aは、生活者がドアを開閉したことで発生する超低周波の波形を示し、
図10Bは、生活者が転倒したことで発生する超低周波の波形を示す。各図の横軸tは時間を表し、縦軸Aは超低周波の音圧レベル(強さ)を表す。
図10Aの例では、ドアを開けるタイミング(a)及び閉めるタイミング(b)で、互いにレベルの異なるパルス波形が対になって発生する。また、
図10Bにおける矢印cは、生活者が歩行又は静止している期間の波形であり、矢印dは、生活者が転倒したときの波形である。
図10Bに示すように、転倒によって、持続時間が短いパルス状の波形が突発的に発生する。
【0092】
[第4実施形態]
図11は、見守りシステム101の外観を示す図である。見守りシステム101は、生活空間における超音波を検出して生活者の状態を見守る機能を実現する。
図11に示すように、見守りシステム101は、超音波センサ111を有するシステム本体103と、脚部104Lを有しシステム本体103を固定し保持する支持具104とで構成され、生活者の近傍に設置される。見守りシステム101は、生活者が勝手に電源スイッチを遮断したり設定スイッチを操作したりして機能を損なうことがないように、外部にスイッチ類を有していない。見守りシステム101は、管理室などの見守りを行う場所に設置された図示しない外部機器(後述する外部端末140)によって、無線又は有線を介して制御される。
【0093】
図12は、見守りシステム101のブロック図である。
図12に示すように、見守りシステム101は、検出部110と、報知部102とを有する。検出部110は、超音波センサ111を有する。報知部102は、CPU及びメモリを含むマイクロコンピュータで構成され、信号処理部120と、判定部130と、サンプリング制御部150と、時刻計測部160と、記憶部180とを有する。検出部110並びに報知部102の信号処理部120及び判定部130は、生活空間で発生する超音波を検出し処理する系であるので、説明のため、この系のことを「超音波処理系」と称する。
【0094】
検出部110の超音波センサ111は、例えば指向性が強いセラミック圧電素子で構成され、周囲の20kHzよりも高い周波数の超音波を検出し、それを電気信号に変換して信号処理部120の増幅部121に出力する。
【0095】
信号処理部120は、増幅部121と、可聴変換部122と、AD変換部123と、閾値設定部127とを有する。増幅部121は、検出部110から入力された超音波の電気信号(超音波信号)を増幅する。
【0096】
可聴変換部122は、増幅部121により増幅された超音波信号を、人の可聴帯域の音声信号に周波数変換する。この周波数変換は、例えば1/16の分周処理である。また、可聴変換部122は、例えば照明器具や冷蔵庫などの家電製品が発する超音波などのノイズ信号を遮断する。例えば、可聴変換部122は、周波数変換の分周処理の際に、周波数50kHz以上又はP-P電圧50mV以下の超音波を、すなわち、周波数が閾値以上でありかつ振幅が閾値以下の信号を、分周処理の対象外として除去する。したがって、可聴変換部122は、周波数が20kHzよりも高く50kHz未満で、かつP-P電圧が50mVを超える超音波信号を可聴帯域の信号に変換する。
【0097】
閾値設定部127は、可聴変換部122が遮断する周波数及び振幅の閾値の大きさを設定する。閾値設定部127には、例えば、周波数50kHz及びP-P電圧50mVが初期的に設定されている。
【0098】
可聴変換部122が超音波信号を分周処理して可聴帯域の信号に変換する理由は、上記のように余分な雑音を除去するため、及び周波数を下げて廉価な回路でも信号を処理できるようにすることでシステムの複雑化を防ぐためである。しかしながら、可聴変換部122は必須の要素ではなく、省略してもよい。なお、可聴変換部122以降の構成要素が扱う信号は、正確には「可聴帯域の信号に変換された超音波信号」と表記すべきであるが、簡単のため、単に「超音波」と表記する。
【0099】
AD変換部123は、可聴変換部122で周波数変換して得られた超音波をデジタル信号に変換して、判定部130の超音波解析部131に出力する。
【0100】
判定部130は、超音波解析部131と、超音波判定部132と、通信報知部136とを有する。超音波解析部131は、取得部の一例であり、AD変換部123によってデジタル信号に変換された超音波の「バースト幅」及び「バースト内平均周波数差」を以下のように算出する。
【0101】
図13Aは、超音波のバースト幅を説明するための波形図であり、
図13Bは、生活空間で発生する超音波の一例を表す波形図である。各図の横軸tは時間を表し、縦軸Aは超音波の振幅レベルを表す。
図13Aに示すように、超音波の波形は、断続的に発生するパルスの塊で構成される。そこで、間隔Jを1秒以上空けて発生するパルスの塊を「バースト」と定義し、各々のバーストの時間幅Tを「バースト幅」と定義する。また、
図13Bでは、それぞれのバースト幅がT1~Tnであり平均周波数がf1~fnであるn個のバーストが60秒の期間内に含まれる超音波の波形を示している。この超音波における各バーストの平均周波数f1~fnの最大値と最小値の差を、「バースト内平均周波数差」と定義する。
【0102】
超音波解析部131は、バースト幅T1~Tnと、所定の区間におけるバースト内平均周波数差とを算出した後、バースト幅T1~Tnの合算値の60秒間に対する割合を「累積バースト幅割合」として算出する。超音波解析部131は、算出したバースト内平均周波数差と累積バースト幅割合の値を超音波判定部132に出力する。バースト幅、バースト内平均周波数差及び累積バースト幅割合は、バースト情報の一例である。
【0103】
超音波判定部132は、超音波解析部131から取得した累積バースト幅割合とバースト内平均周波数差とに基づいて、見守りの対象が「在室反応有り」、「異常状態A」及び「異常状態B」といった複数の状態のいずれにあるかを判定し、判定結果を通信報知部136に出力する。
【0104】
例えば、「累積バースト幅割合が20%未満でバースト内平均周波数差が20kHz以上」との条件が1回以上成立した場合には、超音波判定部132は、その超音波を生活者の日常生活で発生する正常なものと見なして、「在室反応有り」と判定する。また、「累積バースト幅割合が20%以上でバースト内平均周波数差が20kHz未満」との条件が1回以上成立した場合には、超音波判定部132は、その超音波を生活者の病的な閉塞傾向の呼吸によるものと見なして、「異常状態A」と判定する。また、「累積バースト幅割合90%以上が所定時間内に5回以上発生」との条件が成立した場合には、超音波判定部132は、その超音波を生活者の病的なもがき行動によるものと見なして、「異常状態B」と判定する。
【0105】
なお、累積バースト幅割合の20%,90%及びバースト内平均周波数差の20kHzなどの数値は、超音波判定部132が判定に使用する複数の基準値の情報として、見守りシステム101内の記憶部180に予め記憶されている。これらの数値は一例であり、見守りシステム101の仕様に応じて他の数値を選択してもよい。
【0106】
通信報知部136は、超音波判定部132から「異常状態A」又は「異常状態B」が入力された場合に、その旨を外部端末140に報知する。なお、「在室反応有り」は異常状態ではないため、「在室反応有り」が入力された場合には、通信報知部136はこれを外部端末140に報知しない。しかしながら、外部端末140から要求があれば、通信報知部136は「在室反応有り」を外部端末140に報知してもよい。
【0107】
報知部102のサンプリング制御部150は、電気信号のサンプリング周期を制御し、時刻計測部160は、判定部130に時刻情報を供給する。記憶部180は、超音波判定部132が判定に使用する複数の基準値の情報を含む、見守りシステム101の動作に必要な情報を記憶する。
【0108】
外部端末140は、見守りシステム101から離れた管理室などに設置されており、見守り対象である生活者の状態を監視し、必要に応じて見守りシステム101の各種機能を制御する。見守りシステム101と外部端末140とは、通信回線TSを介して互いに接続されている。
【0109】
図14は、見守りシステム101及び外部端末140の動作例を示すフローチャートである。以下では、生活者が部屋で読書をし、その後部屋を出て数分間で戻る場合の動作を例として用いて、
図14に示すフローを説明する。この動作例では、生活者が読書をしている任意の60秒間に超音波のバーストが複数発生し、各バースト幅の合算値は5.4秒であり、各バーストの平均周波数の最大値は44.9kHzであり、最小値は21.5kHzであるとする。
【0110】
まず、外部端末140は、見守りシステム101の電源を投入する(ステップS21)。すると、検出部110の超音波センサ111は生活者の周囲の超音波を検出し、超音波信号を報知部102の信号処理部120に出力する(ステップS22)。次に、信号処理部120の増幅部121及び可聴変換部122は、超音波センサ111から入力された超音波信号を増幅し、その周波数を報知部102の可聴範囲内の値に変換(可聴域変換)する(ステップS23)。また、AD変換部123は、可聴域変換された超音波信号をデジタル変換(AD変換)して、判定部130に出力する(ステップS24)。
【0111】
判定部130の超音波解析部131は、AD変換された超音波信号に含まれる各バーストについてバースト幅と平均周波数を算出し、それらの値から累積バースト幅割合とバースト内平均周波数差を算出(超音波信号解析)して、それらの値を超音波判定部132に出力する(ステップS25)。この動作例では、超音波解析部131は、累積バースト幅割合を5.4/60×100=9(%)と算出するとともに、バースト内平均周波数差を44.9-21.5=23.4(kHz)と算出する。
【0112】
超音波判定部132は、超音波解析部131から取得した累積バースト幅割合及びバースト内平均周波数差に基づいて、生活者の行動形態を判定する(ステップS26)。この動作例では、超音波判定部132は、「在室反応有り」と判定し、その判定結果を通信報知部136に出力する。超音波判定部132から「在室反応有り」との情報が入力されたため、通信報知部136は、生活者の状態は正常であると判定し、その情報を保持する。超音波判定部132から異常状態の情報が入力された場合には、通信報知部136は、その情報を外部端末140に送信する(ステップS27)。
【0113】
その後、外部端末140は、見守りシステム101による見守り動作を継続するか終了するかを判断する。継続の場合には、処理はステップS22に戻り、終了の場合には、外部端末140は、見守りシステム101の動作を停止させる(ステップS28)。以上のようにして、見守りシステム101と外部端末140による見守り動作が実行される。
【0114】
図15は、見守りシステム101の第1の検出例を説明するための波形図である。
図15では、生活者の呼吸異常によって発生する超音波の波形を示している。
図15の横軸tは時間を表し、縦軸Aは超音波の振幅レベルを表す。符号aは呼吸動作における息を吸い込むタイミングを示し、符号bは呼吸動作における息を吐き出すタイミングを示している。生活者の呼吸が正常な場合には、呼吸動作に伴う超音波はほとんど発生しないが、気道に異常が発生して気道が狭くなった場合には、超音波が発生する。
【0115】
生活者の呼吸異常によって発生する超音波は、
図15に示すように、生活者の呼吸に同期している。これは、呼吸時に空気が気道を通過することで超音波が発生するためである。また、生活者の呼吸異常によって発生する超音波は、20kHz~40kHzの範囲内における複数の周波数のパルス波が時間的にずれて発生することで、
図15に示すようにバースト状になっている。したがって、周波数が20kHz~40kHzの範囲内であるバースト波形が検出された場合には、生活者になんらかの呼吸異常が発生したと判定することが可能である。
【0116】
図16は、見守りシステム101の第2の検出例を説明するための模式図である。
図16では、上記の見守りシステム101を多数用いて、複数の生活者を対象とした1つの見守りシステムを構成した例を示している。図示した例では、個々の見守りシステム101の報知部102は、無線通信MTにより共通のサーバ170に接続され、さらに、サーバ170は、図示しない共通の外部端末に通信回線TSを介して接続されている。個々の見守りシステム101の検出部110は、対象とする生活者の周辺のごく狭い範囲に集中して超音波を検出し、例えば「在室反応有り」又は「呼吸異常」といった生活者の状態を判定する。このように、各見守りシステム101の超音波の検出範囲を限定することで、集団生活における個々の生活者を見守ることが可能となる。
【0117】
見守りシステム101では、生活者が発生させる非可聴音波である超音波を検出することによって生活状態を把握するため、生活者の声(可聴音)の情報は不要となる。生活者がどのような内容の会話をしたかといったプライバシーに関わる情報を取得しないため、見守りシステム101では、生活者に不要な不安を抱かせることなく生活状態を把握することが可能となる。
【0118】
図11に示した形態とは異なり、見守りシステム101を電球ソケットに取り付ける形態として、常時電力が供給されるようにしてもよい。これにより、見守りシステム101の設置場所の省スペース化が図れるとともに、見守りシステム101を動作させるための電力源も同時に確保される。見守りシステム101を電球ソケットに取り付ける形態とした場合には、見守りシステム101に光源を設けて、照明としても使用できるようにしてもよい。
【0119】
また、見守りシステムが生活者の状態全てを検出する必要はなく、検出したい生活者の状態に応じて検出内容を適宜選択することができる。例えば、呼吸に関する異常、転倒の有無、歩行の有無などを全て検出してもよいし、特定の状態のみを検出してもよい。
【0120】
[第5実施形態]
図17は、見守りシステム300の外観を示す図である。見守りシステム300は、生活空間における超音波と超低周波とを検出して生活者の状態を見守る機能を実現する。
図17に示すように、見守りシステム300は、見守りシステム101のシステム本体103と同様のシステム本体103Sに、超音波センサ111と超低周波センサ112とを備えている。見守りシステム300の外観に関するその他の特徴は、見守りシステム101のものと同様なので、説明を省略する。
【0121】
図18は、見守りシステム300のブロック図である。
図18に示すように、見守りシステム300は、検出部110Sと、報知部102Sとを有し、報知部102Sは、通信回線TSを介して外部端末140に接続されている。検出部110Sは、超音波センサ111と、超低周波センサ112とを有する。報知部102Sは、CPU及びメモリを含むマイクロコンピュータで構成され、信号処理部120Sと、判定部130Sと、サンプリング制御部150と、時刻計測部160と、記憶部180とを有する。信号処理部120Sは、増幅部121A,121Bと、可聴変換部122Aと、低周波音レベル抽出部122Bと、AD変換部123A,123Bと、閾値設定部127とを有する。判定部130は、超音波解析部131Aと、超音波判定部132Aと、超低周波解析部131Bと、超低周波判定部132Bと、時系列異常判定部135と、通信報知部136とを有する。
【0122】
見守りシステム300は、検出部110Sの超音波センサ111が検出した超音波信号を処理する超音波処理系と、検出部110Sの超低周波センサ112が検出した超低周波信号を処理する超低周波処理系とで構成される。
【0123】
見守りシステム300の超音波処理系は、超音波センサ111、信号処理部120Sの増幅部121A、可聴変換部122A、AD変換部123A及び閾値設定部127、並びに判定部130Sの超音波解析部131A、超音波判定部132A、時系列異常判定部135及び通信報知部136で構成される。見守りシステム300の超音波処理系については、見守りシステム101のものと同様であるから、説明を省略する。
【0124】
見守りシステム300の超低周波処理系は、超低周波センサ112、信号処理部120Sの増幅部121B、低周波音レベル抽出部122B及びAD変換部123B、並びに判定部130Sの超低周波解析部131B、超低周波判定部132B、時系列異常判定部135及び通信報知部136で構成される。時系列異常判定部135と通信報知部136とは、超低周波処理系と超音波処理系とで共通の要素である。
【0125】
超低周波センサ112は、コンデンサ型マイクロフォン又は加速度センサで構成され、例えば周囲の1Hz以上かつ20Hz未満の超低周波を検出し、それを電気信号に変換して信号処理部120Sの増幅部121Bに出力する。
【0126】
増幅部121Bは、超低周波センサ112から入力された超低周波の電気信号(超低周波信号)を増幅する。低周波音レベル抽出部122Bは、増幅部121Bで増幅された信号から、10Hzを中心とする周波数成分をバンドパスフィルタで抽出し、得られた信号に対して絶対値変換及びピークホールドを行った後、AD変換部123Bに出力する。AD変換部123Bは、低周波音レベル抽出部122Bから取得した超低周波信号をデジタル信号に変換して、判定部130Sに出力する。なお、AD変換部123B以降の構成要素が扱う信号は、正確には「デジタル信号に変換された超低周波信号」と表記すべきであるが、簡単のため、単に「超低周波」と表記する。
【0127】
超低周波解析部131Bは、取得部の一例であり、AD変換部123Bから入力された超低周波に基づき、そのパルス幅及び時間間隔を以下のように検出する。
【0128】
図19は、生活空間で発生する超低周波信号の一例を示す波形図である。
図19では、ドアの開閉や人の転倒などで発生する超低周波の波形例を示している。
図19の横軸tは時間を表し、縦軸Aは超低周波の音圧レベルを表す。振幅閾値THは、超低周波の音圧レベルを判定するための基準値である。
【0129】
超低周波解析部131Bは、超低周波のパルスの立上りUと立下りDを検出し、連なる2個のパルスの各々について、音圧レベルが振幅閾値THを超えている時間幅を超低周波のパルス幅Wとして検出する。また、超低周波解析部131Bは、連なる2個のパルスの時間間隔K(1つのパルスで音圧レベルが振幅閾値THを超えてから、次のパルスで音圧レベルが振幅閾値THを超えるまでの時間幅)を検出する。そして、超低周波解析部131Bは、得られたパルス幅W及び時間間隔Kの値を、超低周波判定部132B及び時系列異常判定部135に出力する。
【0130】
超低周波判定部132Bは、超低周波解析部131Bから入力された超低周波のパルス幅W及び時間間隔Kに基づいて、以下のように生活者の状態を判定する。例えば、超低周波判定部132Bは、連なる2個の超低周波のパルス幅Wがいずれも5秒以内であって、それらの時間間隔Kが60秒以内のときには、「ドア開閉有り」と判定する。また、超低周波判定部132Bは、予め設定された時間帯(例えば深夜0時~午前5時)に音圧レベルが振幅閾値THを超えた超低周波が1回以上発生したときには、「単独異常反応有り」と判定し、その旨を通信報知部136に出力する。パルス幅Wの5秒及び時間間隔Kの60秒などの数値並びに振幅閾値THの値も、見守りシステム300内の記憶部180に予め記憶されている。
【0131】
なお、超低周波判定部132Bは、超低周波のパルス幅Wと時間間隔Kの一方のみを用いて生活者の状態を判定してもよい。例えば、パルス幅Wのみによって生活者の転倒の有無のみを判定してもよいし、音圧レベル、パルス幅W及び時間間隔Kによってドアの開閉と生活者の転倒の有無を判定してもよい。
【0132】
時系列異常判定部135は、超低周波解析部131Bから入力された超低周波のパルス幅W及び時間間隔Kに基づいて、ドア開閉があるか否かを超低周波判定部132Bと同様に判定する。また、時系列異常判定部135は、超音波解析部131Aから入力された累積バースト幅割合及びバースト内平均周波数差に基づいて、在室反応があるか否かを超音波判定部132Aと同様に判定する。その上で、時系列異常判定部135は、ドア開閉及び在室反応の有無の判定結果と時系列上の条件とを組み合わせて、以下のように時系列判定を行う。時系列判定とは、超低周波の解析に基づくドア開閉の有無の判定結果と、超音波の解析に基づく在室反応の有無の判定結果とを入力項目とし、時系列上の条件から、生活者が「在室」、「旅行外出」及び「異常」のいずれの状態にあるかを判定するものである。
【0133】
図20は、見守りシステム300における時系列判定の例を説明するための表である。
図20に示すように、時系列異常判定部135は、例えば、ドア開閉の有無に係わらず在室反応が24時間以内に有る場合には「在室」と判定し、「在室反応有り」の判定から24時間以内に「ドア開閉有り」と判定されそのドア開閉を基点にその後24時間以上在室反応がない場合には「旅行外出」と判定し、「在室反応有り」の判定から24時間以上にわたってドア開閉がなく新たな在室反応もない場合には「異常」と判定する。時系列異常判定部135は、判定結果を通信報知部136に出力する。
【0134】
通信報知部136は、超低周波判定部132Bから「単独異常反応有り」が入力された場合か、又は時系列異常判定部135から「異常」が入力された場合に、その旨を外部端末140に報知する。ただし、通信報知部136は、「単独異常反応有り」以外かつ「異常」以外の判定結果が入力された場合にも、その旨を外部端末140に報知してもよい。
【0135】
見守りシステム300のサンプリング制御部150、時刻計測部160及び外部端末140については、見守りシステム101のものと同様なので、説明を省略する。記憶部180は、超音波判定部132A、超低周波判定部132B及び時系列異常判定部135が判定に使用する複数の基準値の情報を記憶する。
【0136】
図21は、見守りシステム300及び外部端末140の動作例を示すフローチャートである。以下では、生活者が部屋で読書をし、その後部屋を出て数分間で戻る場合の動作を例として用いて、
図21に示すフローを説明する。この動作例では、生活者が読書をしている任意の60秒間に超音波のバーストが複数発生し、各バースト幅の合算値は5.4秒であり、各バーストの平均周波数の最大値は44.9kHzであり、最小値は21.5kHzであるとする。また、使用者のドアの開閉によって2個の超低周波が発生し、各々の超低周波のパルス幅Wはともに4秒であり、隣り合う超低周波の時間間隔Kは50秒であるとする。
【0137】
まず、外部端末140は、見守りシステム300の電源を投入する(ステップS31)。すると、検出部110Sの超音波センサ111及び超低周波センサ112は、生活者の周囲の超音波及び超低周波を検出し、超音波信号及び超低周波信号を報知部102Sの信号処理部120Sに出力する(ステップS32)。次に、信号処理部120Sの増幅部121A及び可聴変換部122Aは、超音波センサ111から入力された超音波信号を増幅し、その周波数を報知部102Sの可聴範囲内の値に変換(可聴域変換)する。また、信号処理部120Sの増幅部121B及び低周波音レベル抽出部122Bは、超低周波センサ112から入力された超低周波信号を増幅し、そのレベルを抽出する(ステップS33)。また、AD変換部123A,123Bは、可聴域変換された超音波信号及びレベル抽出された超低周波信号をデジタル変換(AD変換)して、判定部130Sに出力する(ステップS34)。
【0138】
判定部130Sの超音波解析部131Aは、AD変換された超音波信号に含まれる各バーストについてバースト幅と平均周波数を算出し、それらの値から累積バースト幅割合とバースト内平均周波数差を算出(超音波信号解析)して、それらの値を超音波判定部132Aに出力する。この動作例では、超音波解析部131Aは、超音波信号の累積バースト幅割合を5.4/60×100=9(%)と算出するとともに、バースト内平均周波数差を44.9-21.5=23.4(kHz)と算出する。また、超低周波解析部131Bは、AD変換された超低周波信号のパルス幅4秒及び時間間隔50秒を検出(低周波信号解析)して、それらの値を超低周波判定部132B及び時系列異常判定部135に出力する(ステップS35)。
【0139】
超音波判定部132A及び超低周波判定部132Bは、それぞれ、超音波解析部131Aから取得した累積バースト幅割合及びバースト内平均周波数差と、超低周波解析部131Bから取得したパルス幅及び時間間隔とに基づいて、生活者の行動形態を判定する(ステップS36)。この動作例では、超音波判定部132Aは「在室反応有り」と判定し、その判定結果を通信報知部136に出力する。また、超低周波判定部132Bは「ドア開閉有り」と判定し、その判定結果を通信報知部136に出力する。
【0140】
超音波判定部132A及び超低周波判定部132Bから「在室反応有り」及び「ドア開閉有り」の情報が入力されたため、通信報知部136は、生活者の状態は正常であると判定し、その情報を保持する。超音波判定部132A又は超低周波判定部132Bから異常状態の情報が入力された場合には、通信報知部136は、その情報を外部端末140に送信する(ステップS37)。
【0141】
その後、外部端末140は、見守りシステム300による見守り動作を継続するか終了するかを判断する。継続の場合には、処理はステップS32に戻り、終了の場合には、外部端末140は、見守りシステム300の動作を停止させる(ステップS38)。以上のようにして、見守りシステム300と外部端末140による見守り動作が実行される。
【0142】
図22は、見守りシステム300の検出例を説明するための波形図である。
図22では、生活者がドアを開け(G51)、ドアを閉め(G52)、歩行し(G53)、転倒し(G54)、もがきを行う(G55)という一連の動作によって発生する超音波信号US及び超低周波信号VLの波形を示している。これらの波形は、実際の測定結果に基づくものである。
図22の横軸tは時間を表し、縦軸Aは超音波信号USの振幅レベル及び超低周波信号VLの音圧レベルを表す。
【0143】
図22に示すように、超低周波信号VLから、ドアの開閉(G51,G52)や生活者の転倒(G54)が的確に検出され、超音波信号USから、生活者の歩行(G53)と転倒後のもがき(G55)が的確に検出される。したがって、超音波と超低周波を併用することで、生活者のドアの開閉から転倒後のもがきまでの全ての動作を確実に検出することができるので、見守りシステム300の信頼性は極めて高くなる。
【0144】
見守りシステム101は生活者の行動により発生する超音波を検出し、見守りシステム300は生活者の行動により発生する超音波及び超低周波を検出してそれぞれ生活者の状態を把握する。しかしながら、生活者のドアの開閉動作や転倒の有無といった超低周波を発生させる動作のみを検出したい場合には、超低周波のみを検出してもよい。
【0145】
見守りシステム101,300によれば、生活者の行動に伴い発生する非可聴音波に基づき生活者の状態を把握することができるので、生活動作における異常の検出や、急病発生の検出にも効果を有し、単身生活者から独居老人までの幅広い層を対象とする確実な見守りシステムを実現することができる。特に、見守りシステム101,300は生活者の会話や音声などの可聴範囲の情報を取得しないため、プライバシーの問題がなく生活者の状態を把握することができる。また、人とペットなどの小動物とでは、発生する非可聴音波の周波数パターンが異なるため、判定に用いられる各基準値を適切に設定すれば、人以外の小動物の動きによる誤認識を避けることも可能である。
【0146】
なお、以上の説明における超音波や超低周波を解析するための閾値、範囲及び判断基準の数値は一例であって、見守りシステム101,300の仕様に応じて他の数値を適宜設定してもよい。また、見守りシステムに学習期間を設けて、生活者の正常な1日の非可聴音波の発生パターン及び発生レベルなどの複数の基準値の情報を、見守りシステム内の記憶部180に予め記憶させてもよい。この場合、運用時に、記憶されている非可聴音波の発生パターン及び発生レベルから著しく乖離した検知結果が得られた場合に、生活者が異常状態にあると判定し、その旨を外部端末に報知してもよい。
【0147】
また、見守りシステム101,300を公衆トイレ内などに設置して、車椅子や歩行器の機構部の摺動に伴い発生する超音波を検知することにより、車椅子や歩行器を使用している障害者の入室と健常者の入室とを見分け、事故が起こり易い障害者が入室したときのみ異常状態の報知を行ってもよい。このように、入室者の特性に合わせた見守り機能を実現することもできる。