(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022149749
(43)【公開日】2022-10-07
(54)【発明の名称】情報処理方法、情報処理システムおよびプログラム
(51)【国際特許分類】
G08B 25/04 20060101AFI20220929BHJP
G08B 21/02 20060101ALI20220929BHJP
H04M 11/04 20060101ALI20220929BHJP
H04R 25/00 20060101ALI20220929BHJP
H04R 3/00 20060101ALI20220929BHJP
【FI】
G08B25/04 K
G08B21/02
H04M11/04
H04R25/00 Q
H04R3/00 320
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021052034
(22)【出願日】2021-03-25
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】渋谷 敦
【テーマコード(参考)】
5C086
5C087
5D220
5K201
【Fターム(参考)】
5C086AA22
5C086AA52
5C086BA17
5C086CA09
5C086CA21
5C086CB01
5C086CB26
5C086DA08
5C086EA40
5C086EA45
5C086FA06
5C086FA17
5C087AA09
5C087AA10
5C087AA37
5C087DD03
5C087DD33
5C087FF01
5C087FF02
5C087FF04
5C087GG08
5C087GG09
5C087GG10
5C087GG66
5C087GG70
5C087GG83
5C087GG84
5D220BA11
5K201BA03
5K201BA19
5K201CC09
5K201CC10
5K201EB07
5K201EC06
5K201ED05
5K201ED09
(57)【要約】
【課題】使用者が機器を携帯していないときに、使用者の異常を適切に判定し、その判定結果を通知することができる情報処理方法、情報処理システムおよびプログラムを提供する。
【解決手段】機器としての補聴器10が使用者WPに携帯されていないことを判定し(ステップS200)、補聴器10が使用者WP携帯されていないことを判定した場合に、補聴器10にマイクロホン20を用いた集音動作を実行させ(ステップS203)、集音動作で集音した音に基づいて、使用者WPに異常が発生しているか否かを判定し(ステップS204、S205)、判定結果を、予め指定されている、使用者WP以外の対象者にウェブサーバSVを介して通知する(ステップS206)。
【選択図】
図5
【特許請求の範囲】
【請求項1】
マイクロホンを備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に携帯されていないことを判定する判定工程と、
前記判定工程で前記機器が前記使用者に携帯されていないことを判定した場合に、前記機器に前記マイクロホンを用いた集音動作を実行させる集音工程と、
前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を、予め指定されている、前記使用者以外の対象者に通知装置を介して通知する通知工程と、
を有する情報処理方法。
【請求項2】
前記機器は、電源としての充電池をさらに備え、
前記システムは、前記充電池の充電を行うための充電器をさらに含み、
前記判定工程は、前記機器が前記充電器に電気的に接続されていることを、前記機器が前記使用者に携帯されていないこととして判定する、
請求項1記載の情報処理方法。
【請求項3】
前記機器は、前記使用者の生体情報を検出する検出部をさらに備え、
前記判定工程は、前記機器が前記使用者に装着されていることをさらに判定し、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程をさらに有し、
前記異常判定工程は、前記集音工程で集音した集音データと前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定する、
請求項1または2記載の情報処理方法。
【請求項4】
前記判定工程では、前記機器が携帯されているか否かを判定し、
前記集音工程は、前記判定工程により、前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記集音動作により取得した音データの周波数特性を互いに異ならせるように調整することによって、前記集音データを設定する、
請求項1乃至3いずれか記載の情報処理方法。
【請求項5】
前記機器は、前記使用者に対して音声を出力する音声出力部をさらに備え、
前記通知工程は、前記対象者に前記通知装置を介して通知する場合に、併せて前記音声出力部により前記使用者に対して予め設定された音声情報を出力する、
請求項1乃至4いずれか記載の情報処理方法。
【請求項6】
前記機器と、情報処理装置とを含み、
前記機器及び前記情報処理装置が請求項1乃至5いずれか記載の情報処理方法を協働して実行する、情報処理システム。
【請求項7】
コンピュータに請求項1乃至5いずれか記載の情報処理方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、情報処理システムおよびプログラムに関する。
【背景技術】
【0002】
被監視者の健康状態、居住環境、安全等を見守る装置やシステムが各種提案されている。(例えば、特許文献1)
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1には、補聴器を用いた見守りシステムが記載されている。この見守りシステムでは、補聴器で集音された音声に基づいて、補聴器の使用者の安否を監視者に通知している。
【0005】
しかしながら、補聴器は使用者に常に装着されて使用されているとは限らず、使用者の耳から外されてその電源が切断され、あるいは充電されることも日常的に多々あり得る。そのような使用者が補聴器を装着していない時には、補聴器での集音が行えず、使用者の安否を確認して必要により通知することができない可能性がある。
【0006】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、使用者が機器を携帯していないときに、使用者の異常を適切に判定し、その判定結果を通知することができる情報処理方法、情報処理システムおよびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理方法は、マイクロホンを備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、前記機器が前記使用者に携帯されていないことを判定する判定工程と、前記判定工程で前記機器が前記使用者に携帯されていないことを判定した場合に、前記機器に前記マイクロホンを用いた集音動作を実行させる集音工程と、前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、前記異常判定工程による判定結果を、予め指定されている、前記使用者以外の対象者に通知装置を介して通知する通知工程と、を有する。
【発明の効果】
【0008】
本発明によれば、使用者が機器を携帯していないときに、使用者の異常を適切に判定し、その判定結果を通知することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の一実施形態に係るシステムの概略構成を示す図である。
【
図2】同実施形態に係る補聴器の電子回路の機能構成を示すブロック図である。
【
図3】同実施形態に係る充電器の電子回路の機能構成を示すブロック図である。
【
図4】同実施形態に係る補聴器装着時のシステム全体での処理内容を示すフローチャートである。
【
図5】同実施形態に係る補聴器非装着時のシステム全体での処理内容を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明を補聴器とその充電器を用いた見守りシステムに適用した場合の一実施形態について、図面を参照して説明する。
【0011】
[構成]
図1は、本実施形態に係るシステム全体の概略構成を示す図である。システムは、使用者WPが使用する補聴器10と、補聴器10を充電するための充電器30と、使用者WPが所持するスマートフォンSPと、ウェブサーバSVとを有する。
【0012】
スマートフォンSPは、使用者WPが自宅にいる場合にも外出する場合にも携帯可能なモバイル機器であることを前提としている。
【0013】
補聴器10と充電器30とスマートフォンSPとの間は、例えばBLE(Bluetooth(登録商標)Low Energy)等の近距離通信技術により、互いに無線接続される。
【0014】
スマートフォンSPは、ウェブサーバSVと、インターネットを含んだネットワークNWを介して接続される。
【0015】
スマートフォンSPは、一般的なスマートフォンに限らず、他に例えばパーソナルコンピュータ(PC)、タブレット型の情報端末等といった各種の情報端末機器でも良い。スマートフォンSPは、予めインストールした本実施形態に係る見守り用のアプリケーションソフトを用い、ネットワークNWを介して接続されるウェブサーバSVにアクセスして、ウェブサーバSVとの間でデータの送受信が実行可能となる。
【0016】
充電器30は、家庭用電源に接続された状態で、使用者WPが装着されている補聴器10を取り外して収納することにより、図示する如く補聴器10と電気的に接続され、それに応じて、補聴器10が内蔵する充電池への充電が実行される。このように、充電器30による補聴器10の充電中には、使用者WPは、補聴器10を装着することも携帯することもできない。本実施形態では、例えば電磁誘導による非接触給電とするが、双方に設けた給電用の端子を直接接触させる給電方法としても良い。また、充電器30と補聴器10の間では、補聴器10の充電中、補聴器10による周囲環境の集音処理を実行させるための給電動作が前記充電動作とは別途実行され、補聴器10で集音された音データは、スマートフォンSPに送信される。
【0017】
スマートフォンSPは、前述したアプリケーションソフトにより、補聴器10から送信された音データ等を、ネットワークNWを介してウェブサーバSVに送信する。
【0018】
ウェブサーバSVは、前述したアプリケーションソフトを提供する企業と何らかの業務提携の関係を有するか、あるいは前述したアプリケーションソフトを提供する企業が直接運営するサーバである。ウェブサーバSVは、スマートフォンSPを介して送信された音データ等に基づき、何らかの異常が発生した可能性が高いか否かを判定するモニタリング処理を実行する。ウェブサーバSVは、何らかの異常が発生したと判定した時点で、事前に登録されている連絡先の対象者に、使用者WPに異常が発生した可能性があることを通報する。またウェブサーバSVは、事前に登録されている通報要項に従い、病院や消防署等、医療機関等に対して通報するものとしても良い。
【0019】
図2は、補聴器10の電子回路の機能構成を示すブロック図である。補聴器10は、バスラインB1を介して互いに接続された、音処理部11と、制御部12と、メインメモリ13と、プログラムメモリ14と、拍動センサ15と、体温センサ16と、加速度センサ17と、充電コントローラ18と、通信部19と、マイクロホン20と、スピーカ21とを備える。
【0020】
音処理部11は、制御部12の制御の下に、マイクロホン20で集音した音を電気信号に変換し、増幅器で増幅処理を行って、スピーカ21により再度、音として出力させる電気回路である。使用者WPが補聴器10を装着した状態では、マイクロホン20での集音により取得した音の電気信号の周波数特性を、増幅器内のフィルタ回路を用いた周波数処理を実行することによって調整し、調整した音をスピーカ21から出力させる。周波数処理として、音処理部11は、周波数帯域毎に増幅率を異ならせた増幅調整を行う。具体的には、音処理部11は通常の補聴器本来の動作として、マイクロホン20での集音により取得した音を変換した電気信号に対し、特にヒトの声に相当する周波数範囲、例えば100[Hz]乃至1000[Hz]の音の音圧が他の周波数範囲よりも多少高くなるように増幅し、加えて、ヒトの声に相当する周波数範囲内でもその低域側と高域側をさらに音圧が多少高くなるように増幅することによって、出力する音声の周波数特性を調整する。
【0021】
また音処理部11は、制御部12の制御の下に、補聴器10が充電器30に収納された状態では、マイクロホン20による集音機能のみを動作させて、充電器30が設置されている環境内で集音したデジタル値の集音データを出力する。この際に音処理部11は、取得した集音データに対して、前述した一部の周波数帯域の増幅率を異ならせるような周波数特性の調整処理は行わない。
【0022】
制御部12は、各種信号処理等を行うプロセッサで構成される。制御部12としては、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはGPU(Graphics Processing Unit)等の各種集積回路が用いられてもよい。すなわち、補聴器10では、各種プロセッサが用いられ得る。
【0023】
メインメモリ13は、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)等の揮発性メモリが用いられ得る。メインメモリ13は、制御部12の主記憶装置として機能する。プログラムメモリ14は、例えばフラッシュメモリ等の不揮発性メモリが用いられる。プログラムメモリ14は、起動プログラムや補聴器10が動作するための動作プログラムを記録している。メインメモリ13およびプログラムメモリ14は、これらに限らず各種記憶装置に置換し得る。
【0024】
拍動センサ15は、使用者WPが補聴器10を装着した状態で、例えば耳内の耳壁での血流量の変動に伴う赤外線放出量の変動から、使用者WPの拍動を検出するセンサである。体温センサ16は、同じく使用者WPが補聴器10を装着した状態で、例えば耳内の耳壁での放射熱量を示す赤外線放出量から、使用者WPの体温を検出するサーモパイルやボロメータ素子を用いたセンサである。
【0025】
拍動センサ15で検出する拍動数を示すデータと、体温センサ16で検出する体温を示すデータとが、使用者WPのバイタル情報として使用される。
【0026】
加速度センサ17は、例えば互いに直交する3軸方向の加速度を検出可能な加速度センサで構成される。加速度センサ17は、使用者WPが補聴器10を装着した状態で、加速度センサ17に与えられる、前記の3軸方向の外力の加速度を検出する。加速度センサ17での検出結果は、使用者WPの動きを示すデータとして使用される。
【0027】
充電コントローラ18は、例えばプロセッサを含む1チップマイコンで構成され、補聴器10を充電器30に収納した状態で、補聴器10の内蔵電池である充電池(図示せず)に充電を行う場合の主として充電池に流れる電流量の制御を行う充電動作専用のコントローラである。補聴器10が充電器30に収納された状態で電磁誘導による非接触充電を行う構造である場合、充電コントローラ18は、充電器30からの給電を受ける非接触トランスでの通電状態に基づいて、補聴器10が充電器30に電気的に接続されているか否かを判定できる。この充電コントローラ18での接続判定の結果が制御部12に通知されて、補聴器10の側で充電器30との接続の有無を示す情報が共有される。
【0028】
通信部19は、前述した如く、例えばBLE(登録商標)技術により、事前にペアリングの設定がなされた充電器30との間で、データの送受を行う。
【0029】
図3は、充電器30の電子回路の機能構成を示すブロック図である。充電器30は、バスラインB2を介して互いに接続された、充電コントローラ31と、制御部32と、メインメモリ33と、プログラムメモリ34と、バッテリコントローラ35と、通信部36とを備える。
【0030】
充電コントローラ31は、補聴器10が充電器30に収納された状態で、制御部32の制御の下に、補聴器10の充電池に供給する電力量(電流量)を制御する電気回路である。補聴器10が充電器30に収納された状態で電磁誘導による非接触充電を行う構造である場合、充電コントローラ31は、補聴器10への給電を行う非接触トランスでの通電状態に基づいて、補聴器10が充電器30に電気的に接続されているか否かを判定できる。この充電コントローラ31での接続判定の結果が制御部32に通知されて、充電器30の側で補聴器10の接続の有無を示す情報が共有される。
【0031】
制御部32は、各種信号処理等を行うプロセッサで構成される。制御部32としては、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又はGPU(Graphics Processing Unit)等の各種集積回路が用いられてもよい。すなわち、充電器30では、各種プロセッサが用いられ得る。
【0032】
メインメモリ33は、制御部32の主記憶装置として機能する。プログラムメモリ34は、起動プログラムや補聴器10が動作するための動作プログラムを記録している。
バッテリコントローラ35は、例えばプロセッサを含む1チップマイコンで構成され、制御部32の制御の下に、充電器30が内蔵する、補聴器10の充電池に比してより大容量のバッテリ(図示せず)の充放電動作を制御する。充電器30が内蔵するバッテリは、例えばUSB(Universal Serial Bus)規格にしたがった直流電圧(+5[V])で充電される。
【0033】
通信部36は、前述した如く、例えばBLE(登録商標)技術により、事前にペアリングの設定がなされた補聴器10およびスマートフォンSPとの間で、それぞれデータの送受信を行う。
【0034】
なお、スマートフォンSPのハードウェア回路の機能構成については、一般的なスマートフォンやその他の情報端末機器と同様であるものとして、その説明を省略する。スマートフォンSPは、例えば5G規格の携帯電話通信網と通信可能な通信部を有し、補聴器10で取得された音データをサーバSVに送信する。スマートフォンSPは、前述した補聴器10用のアプリケーションソフトにより、補聴器10を用いた使用者WPの見守り状態の設定と解除とを切替えられる。スマートフォンSPにより切替えられた見守り状態の設定または解除は、システム全体で認識される情報として補聴器10、充電器30及びウェブサーバSVでも共有される。
【0035】
[動作]
以下、本発明の動作について図面を参照して説明する。
【0036】
なお、本実施形態では、使用者WPが補聴器10を装着している/いないに拘わらず、補聴器10を用いた使用者WPに対する見守りを行う状態を、スマートフォンSPに事前にインストールしたアプリケーションソフトにより設定可能であるものとする。
【0037】
図4は、補聴器10が使用者WPに装着された状態で実行されるシステム全体の動作を説明するフローチャートである。補聴器10においては、充電器30に収納された状態から補聴器10が取り外されることを充電コントローラ18が検出して制御部12に通知し、
図4の処理を開始する。
【0038】
処理当初に補聴器10の制御部12は、例えば体温センサ16および加速度センサ17の出力に基づいて、この補聴器10が使用者WPに装着された状態であるか否かを繰り返し判断する(ステップS100)。
【0039】
体温センサ16および加速度センサ17の出力により補聴器10が使用者WPに装着された状態であると判断した場合(ステップS100のYES)、制御部12は、補聴器10が使用者WPに携帯されているとして、音処理部11を制御することによって、人体装着時の補聴器10に本来の動作を継続して実行させる。これにより、マイクロホン20による集音動作が実行され、それにより取得された集音データが適宜、周波数帯域を考慮して音処理部11に増幅されるとともに、スピーカ21から拡声出力される(ステップS101)。また、補聴器の制御部12は、補聴器10が使用者WPに装着されたことをスマートフォンSPに通知する。
【0040】
合わせて補聴器10を含むシステムでは、スマートフォンSPにおいて見守り状態が設定されているか否かを判断する(ステップS102)。
【0041】
見守り状態が設定されていないと判断した場合(ステップS102のNO)、補聴器10の制御部12は、以下のステップS103以降の処理を省略し、ステップS101からの処理に戻る。なお、スマートフォンSPにおける見守り状態であるか否かの判別結果は、スマートフォンSPの通信部から、補聴器10の通信部19及びウェブサーバSVに送信される。
【0042】
また、ウェブサーバSVにおいては、補聴器10を使用する使用者WPに対する見守り状態を一時的に解除しているものと認識して、スマートフォンSPを介した補聴器10からの音データその他の取得を中断する。
【0043】
また、ステップS102において、見守り状態が設定されていると判断した場合(ステップS102のYES)、補聴器10の制御部12は、マイクロホン20で取得した集音データと、拍動センサ15、体温センサ16、加速度センサ17でそれぞれ検出したバイタル情報を示すデータおよび動きを示す動きデータとを合わせて、スマートフォンSPへ送信する。
【0044】
スマートフォンSPでは、補聴器10が見守り状態に設定されている間、補聴器10から送信された集音データ、バイタル情報を示すバイタルデータおよび動きを示す動きデータを周期的に取得してウェブサーバSVへ送信する(ステップS103)。この場合、前述したように、マイクロホン20での集音により取得した音の電気信号の周波数特性は、増幅器内のフィルタ回路を用いた周波数処理を実行することによって調整される。
【0045】
ウェブサーバSVは、使用者WPに対する見守りのモニタリング処理において、予め設定されている条件式を用いたアルゴリズムに基づいて、集音データやバイタルデータ、動きを含む各種データを総合的に解析処理する(ステップS104)。
【0046】
この場合、例えば、比較的長い所定時間(例えば18時間以上)にわたって集音データで示される音が無音の状態が継続したとき、バイタルデータの値もしくはバイタルデータの変化値が所定の上限値と下限値で規定される範囲外であるとき、または、動きデータで示される使用者WPの動きがない状態が上記の所定時間、継続したときに、使用者WPに関する異常が発生していると判定する。
【0047】
一方、上記の所定時間にわたって集音データで表される音が無音の状態が継続していないとき、または、バイタルデータの値もしくはバイタルデータの変化値が所定の上限値と下限値で規定される範囲内にあるときに、使用者WPに関する異常が発生していないと判定する。上記のように異常を判定するのは、無音の状態が長時間継続したときには、長時間にわたって使用者WPによる生活音が発生しておらず、使用者WPが倒れている可能性があるためである。同様に、使用者WPの動きが無い状態が長時間、継続したときには、使用者WPが倒れている可能性があるためである。また、反対に、予め設定されている音量以上の大きさの音が発生した場合にも、異常が発生したと判定しても良い。この場合、発生した音をサーバSVに送信して解析を行うことで、具体的に発生した事態の詳細を推定できる。
【0048】
ウェブサーバSVは、上記のステップS104による解析処理に基づいて、使用者WPに異常が発生しているか否かを判定する(ステップS105)。使用者WPに関する異常が発生していないと判定した場合(ステップS105のNO)、再びステップS100からの処理に戻る。
【0049】
一方、ステップS105において、使用者WPに関する異常が発生していると判定した場合(ステップS105のYES)には、ウェブサーバSVは、事前に登録されている対象者の端末に、使用者WPに関する異常が発生しているとの判定結果をメッセージデータとして送信することによって通知する(ステップS106)。この場合、対象者の端末がパーソナルコンピュータやスマートフォン、固定電話のいずれであっても良く、通知を受ける端末側では、画面に表示される画像によって、またはスピーカから出力される音声によって、異常が発生したことの通知を認識し得る。
【0050】
このとき、スマートフォンSPにより取得可能な、使用者WPが所在する位置情報等を合わせて通報するものとしても良い。なお、ステップS105の判別結果がNOの場合に、使用者WPに関する異常が発生していないとの判定結果を、ステップS106の場合と同様の手法で対象者に通知してもよい。
【0051】
またウェブサーバSVは、使用者WPが装着している筈の補聴器10に対して、状況に応じた音声データのフィードバック、例えば「具合が悪かったら人を呼びましょうか?」などの音声メッセージ時のデータを送出して、補聴器10で当該音声メッセージを再生させ、使用者WPへのサポート支援を行うと、より適切な対応が実現できる。
【0052】
通知を実行した後、繰り返しの通報を行って混乱を招くのを避けるべく、報知ウェブサーバSVは、使用者WPに対する見守りのモニタリング処理を一時的に解除して通常の状態に復帰するべくスマートフォンSP、充電器30及び補聴器10に対して通達して設定させた後(ステップS107)、ステップS101からの処理に戻る。
【0053】
次に
図5により、使用者WPが補聴器10を耳から外して、充電器30に収納した状態で実行される動作に説明する。
【0054】
補聴器10が充電器30に収納され、電磁誘導による非接触充電が開始されることで、補聴器10と充電器30に内蔵される非接触トランスでの通電状態から、補聴器10と充電器30の双方で認識して判定できる。
【0055】
なお、仮に使用者WPが補聴器10の電源をオフにした状態で充電器30に収納した場合でも、補聴器10の制御部12は、
図5に示す処理に対応して動作するものとする。同様に、充電器30の制御部32およびスマートフォンSPのCPUにおいても、補聴器10の電源の状態に関係なく、
図5の処理を行なう。
【0056】
充電器30においては、補聴器10が充電器30に収納され、電気的に接続されたか否かを、充電コントローラ31での通電状態により制御部32が繰り返し判断する(ステップS200)。
【0057】
補聴器10が充電器30に収納され、電気的に接続されていると判断した場合(ステップS200のYES)には、補聴器10が充電器30に電気的に接続されていることで、補聴器10が、使用者WPに装着されていない、すなわち使用者WPに携帯されていないとして、補聴器10に対する本来の動作として、補聴器10に内蔵された充電池に対する充電動作を含むスタンバイ動作を、充電コントローラ18及び充電コントローラ31にそれぞれ継続して実行させる(ステップS201)。
【0058】
合わせて充電器30を含むシステムでは、スマートフォンSPにおいて見守り状態が設定されているか否かを判断する(ステップS202)。
【0059】
見守り状態が設定されていないと判断した場合(ステップS202のNO)、充電器30の制御部32は、以下のステップS303以降の処理を省略し、ステップS301からの処理に戻る。なお、スマートフォンSPにおける見守り状態であるか否かの判別結果は、スマートフォンSPの通信部から、補聴器10の通信部19及びウェブサーバSVに送信される。
【0060】
また、ウェブサーバSVにおいては、補聴器10を使用する使用者WPに対する見守り状態を一時的に解除しているものと認識して、スマートフォンSPを介した補聴器10からの音データその他の取得を中断する。
【0061】
また、ステップS202において、見守り状態が設定されていると判断した場合(ステップS202のYES)、充電器30の制御部32は、補聴器10の充電池への充電とは別系統の電源供給により、補聴器10のマイクロホン20で集音動作を実行させ、補聴器10のマイクロホン20で取得する集音データを、スマートフォンSPへ送信させる。
【0062】
補聴器10の充電池への充電動作と、補聴器10で行う集音動作のための電源供給とを前述したように別系統とすることで、補聴器10での必要な動作を実行しながら、補聴器10の充電池の充電に要する時間を無駄に延長するのを回避できる。
【0063】
スマートフォンSPでは、補聴器10が見守り状態に設定されている間、補聴器10からの集音データを周期的に取得して、ウェブサーバSVへ送信する(ステップS203)。前述したように、この場合の集音データには、前記周波数特性の調整処理は行われない。
【0064】
ウェブサーバSVは、使用者WPに対する見守りのモニタリング処理において、予め設定されている条件式を用いたアルゴリズムに基づいて音データを異常判定のために解析処理を実行する(ステップS204)。
【0065】
この場合、例えば、比較的長い所定時間(例えば18時間以上)にわたって音データで示される音が無音の状態が継続したときに、使用者WPに関する異常が発生していると判定する。
【0066】
一方、上記の所定時間にわたって集音データで表される音が無音の状態が継続していないとき、使用者WPに関する異常が発生していないと判定する。上記のように異常を判定するのは、無音の状態が長時間継続したときには、長時間にわたって使用者WPによる生活音が発生しておらず、使用者WPが倒れている可能性があるためである。また反対に、予め設定されている以上の大きさの音が発生した場合にも、異常が発生したと判定しても良い。この場合、発生した音をサーバSVに送信して解析を行うことで、具体的に発生した事態の詳細を推定できる。
【0067】
ウェブサーバSVは、解析処理の結果に基づいて、使用者WPに異常が発生しているか否かを判定する(ステップS205)。使用者WPに関する異常が発生していないと判定した場合(ステップS205のNO)、再びステップS200からの処理に戻る。
【0068】
一方、ステップS205において、使用者WPに関する異常が発生していると判定した場合(ステップS205のYES)には、ウェブサーバSVは、事前に登録されている対象者の端末に、使用者WPに関する異常が発生しているとの判定結果をメッセージデータとして送信することによって通知する(ステップS206)。この場合、対象者の端末がパーソナルコンピュータやスマートフォン、固定電話のいずれであっても良く、通知を受ける端末側では、画面に表示される画像によって、またはスピーカから出力される音声によって、異常が発生したことの通知を認識し得る。
【0069】
このとき、スマートフォンSPにより取得可能な、使用者WPが所在する位置情報等を合わせて通報するものとしても良い。なお、ステップS205の判別結果がNOの場合に、使用者WPに関する異常が発生していないとの判定結果を、ステップS206の場合と同様の手法で対象者に通知してもよい。
【0070】
またウェブサーバSVは、使用者WPの近くに存在するはずのスマートフォンSPを呼出し、応答があれば、状況に応じた音声データのフィードバック、例えば「具合が悪かったら人を呼びましょうか?」などの音声メッセージを送出して出力させ、使用者WPへのサポート支援を行うと、より適切な対応が実現できる。
【0071】
さらに、充電器30がスピーカとその駆動回路とを備えるものとして、スマートフォンSPによる電話の発呼なしに、ウェブサーバSVから充電器30により使用者WPに対する音声によるフィードバックを行うものとしても良い。
【0072】
通知を実行した後、繰り返しの通報を行って混乱を招くのを避けるべく、報知ウェブサーバSVは、使用者WPに対する見守りのモニタリング処理を一時的に解除して通常の状態に復帰するべくスマートフォンSP、充電器30及び補聴器10に対して通達して設定させた後(ステップS207)、ステップS200からの処理に戻る。
【0073】
[実施形態の効果]
以上詳述した如く本実施形態によれば、機器としての補聴器10が充電器30に収納されて電気的に接続されたことを判定し(
図5のステップS200)、それにより補聴器10が使用者WPに装着されていない、すなわち携帯されていないことを判定した場合に、補聴器10にマイクロホン20を用いた集音動作を実行させ(ステップS203)、集音動作で集音した音に基づいて、使用者WPに異常が発生しているか否かを判定し(ステップS204、S205)、判定結果を、予め指定されている、使用者WP以外の対象者にウェブサーバSVを介して通知する(ステップS206)。以上により、補聴器10の非携帯時にも、使用者WPの状態を適切に把握し、必要に応じて通知等の処理に移行可能となる。
【0074】
また、本実施形態では、補聴器10は、電源としての充電池をさらに備え、充電池の充電を行うための充電器30を有し、補聴器10が充電器30に電気的に接続されていることを、機器が使用者に携帯(装着)されていないこととして判定する。以上により、日常生活で使用する機器に対する取り扱いの手間を増やすことなく、使用者の活動状態を把握できる。
【0075】
さらに、本実施形態では、補聴器10は、使用者WPの生体情報を検出するセンサ15~17をさらに備え、補聴器10が使用者WPに装着されていることをさらに判定し(
図4のステップS100)、補聴器10が使用者WPに装着されていることを判定した場合に、補聴器10にセンサ15~17による使用者WPの生体情報を取得させ(
図4のステップS103)、集音した集音データと取得した使用者WPの生体情報とに基づいて、使用者WPに関する異常が発生しているか否かを判定する(ステップS104)。以上により、使用者の活動状態をより正確に把握できる。
【0076】
さらに、本実施形態では、補聴器10が携帯されているか否かを判定し(ステップS100、S200)、補聴器10が携帯されていないと判定されている場合と、補聴器10が携帯されていると判定されている場合とで、集音動作により取得した集音データの周波数特性が異なるように調整するものとした(ステップS103、S203)。以上により、特に補聴器10が使用者WPによって使用されていない状態では、ヒトの声を聴き易くするような周波数特性の調整を行わずに集音動作を実行するので、補聴器10が置かれている周囲の状況をより正確に判断できる。
【0077】
また、本実施形態では、補聴器10が使用者に対して音を出力するスピーカ21をさらに備え、対象者にウェブサーバSVを介して通知する場合に、併せてスピーカ21により使用者WPに対して予め設定された音声情報を出力する。以上により、使用者WPに異常が生じていない誤通知であった場合には、直ちにそれを解除するような処理に移行できる。また、使用者WPに実際に異常が生じている場合であっても、その度合いが比較的軽度であれば、次に必要な動作に対する支援を行うことができる。
【0078】
なお、
図1に示したシステム構成は、補聴器10、充電器30と接続されたスマートフォンSP側がクライアントとなるクライアント/サーバシステムで実現した例を説明したが、本発明はこれに限らず、例えばウェブサーバSVに相当する機能を、クラウドコンピューティング技術によりネットワーク上に分散した複数の機器により処理を実行しても良い。
【0079】
また、本実施形態では、ウェブサーバSVが、補聴器10での集音動作により得た集音データから使用者WPの異常を判定するものとして説明したが、当該判定は充電器30、あるいはスマートフォンSPが実行して、異常時の通報をウェブサーバSV等、ネットワークNWに接続された外部の機器で行うシステムの構成も考えられる。
【0080】
さらに、本実施形態では、充電器30は、補聴器10の充電中には、家庭用電源に接続されることで使用者WPが携帯不可能に構成されているが、補聴器10の充電中に携帯可能に構成されていてもよい。すなわち、充電器30自体が、補聴器10の充電用のバッテリを備えていてもよい。この場合には、補聴器10が充電器30に収納されて電気的に接続されていても、補聴器10が充電器30とともに携帯されている場合がある。このため、例えば、補聴器10が使用者WPに携帯されているか否かは、補聴器10に設けられた加速度センサ17で検出された加速度に基づいて、検出された加速度が値0(ゼロ)である状態が所定時間にわたって継続している場合に、補聴器10が使用者WPに携帯されていない(机などに置かれている)と判定し、検出された加速度が値0(ゼロ)である状態が所定時間にわたって継続していない場合に、補聴器10が使用者WPに携帯されていると判定してもよい。
【0081】
また、本発明は、補聴器を含むシステムに限らず、屋外、屋内を問わずに使用者が存在する周囲の音を取得することが可能な環境にある機器、例えばスマートフォンなどの情報携帯機器や、腕時計型などのウェアラブル機器などにも同様に適用可能となる。
【0082】
その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0083】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
マイクロホンを備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に携帯されていないことを判定する判定工程と、
前記判定工程で前記機器が前記使用者に携帯されていないことを判定した場合に、前記機器に前記マイクロホンを用いた集音動作を実行させる集音工程と、
前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を、予め指定されている、前記使用者以外の対象者に通知装置を介して通知する通知工程と、
を有する情報処理方法。
[請求項2]
前記機器は、電源としての充電池をさらに備え、
前記システムは、前記充電池の充電を行うための充電器をさらに含み、
前記判定工程は、前記機器が前記充電器に電気的に接続されていることを、前記機器が前記使用者に携帯されていないこととして判定する、
請求項1記載の情報処理方法。
[請求項3]
前記機器は、前記使用者の生体情報を検出する検出部をさらに備え、
前記判定工程は、前記機器が前記使用者に装着されていることをさらに判定し、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程をさらに有し、
前記異常判定工程は、前記集音工程で集音した集音データと前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定する、
請求項1または2記載の情報処理方法。
[請求項4]
前記判定工程では、前記機器が携帯されているか否かを判定し、
前記集音工程は、前記判定工程により、前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記集音動作により取得した音データの周波数特性を互いに異ならせるように調整することによって、前記集音データを設定する、
請求項1乃至3いずれか記載の情報処理方法。
[請求項5]
前記機器は、前記使用者に対して音声を出力する音声出力部をさらに備え、
前記通知工程は、前記対象者に前記通知装置を介して通知する場合に、併せて前記音声出力部により前記使用者に対して予め設定された音声情報を出力する、
請求項1乃至4いずれか記載の情報処理方法。
[請求項6]
前記機器と、情報処理装置とを含み、
前記機器及び前記情報処理装置が請求項1乃至5いずれか記載の情報処理方法を協働して実行する、情報処理システム。
[請求項7]
コンピュータに請求項1乃至5いずれか記載の情報処理方法を実行させるプログラム。
【符号の説明】
【0084】
10…補聴器
11…音処理部
12…制御部
13…メインメモリ
14…プログラムメモリ
15…拍動センサ
16…体温センサ
17…加速度センサ
18…充電コントローラ
19…通信部
20…マイクロホン
21…スピーカ
30…充電器
31…充電コントローラ
32…制御部
33…メインメモリ
34…プログラムメモリ
35…バッテリコントローラ
36…通信部
B1、B2…バスライン
NW…ネットワーク
SP…スマートフォン
SV…ウェブサーバ
WP…使用者
【手続補正書】
【提出日】2021-05-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マイクロホンを備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に携帯されていないことを判定する判定工程と、
前記判定工程で前記機器が前記使用者に携帯されていないことを判定した場合に、前記機器に前記マイクロホンを用いた集音動作を実行させる集音工程と、
前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を出力する出力工程と、
を有する情報処理方法。
【請求項2】
前記機器は、電源としての充電池をさらに備え、
前記システムは、前記充電池の充電を行うための充電器をさらに含み、
前記判定工程は、前記機器が前記充電器に電気的に接続されていることを、前記機器が前記使用者に携帯されていないこととして判定する、
請求項1記載の情報処理方法。
【請求項3】
前記機器は、前記使用者の生体情報を検出する検出部をさらに備え、
前記判定工程は、前記機器が前記使用者に装着されていることをさらに判定し、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程をさらに有し、
前記異常判定工程は、前記集音工程で集音した集音データと前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定する、
請求項1または2記載の情報処理方法。
【請求項4】
前記判定工程では、前記機器が携帯されているか否かを判定し、
前記集音工程は、前記判定工程により、前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記集音動作により取得した音データの周波数特性を互いに異ならせるように調整することによって、前記集音データを設定する、
請求項1乃至3いずれか記載の情報処理方法。
【請求項5】
前記機器は、前記使用者に対して音声を出力する音声出力部をさらに備え、
前記出力工程は、前記異常判定工程による判定結果を出力する場合に、併せて前記音声出力部により前記使用者に対して予め設定された音声情報を出力する、
請求項1乃至4いずれか記載の情報処理方法。
【請求項6】
前記機器と、情報処理装置とを含み、
前記機器及び前記情報処理装置が請求項1乃至5いずれか記載の情報処理方法を協働して実行する、情報処理システム。
【請求項7】
コンピュータに請求項1乃至5いずれか記載の情報処理方法を実行させるプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
本発明の一態様に係る情報処理方法は、マイクロホンを備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、前記機器が前記使用者に携帯されていないことを判定する判定工程と、前記判定工程で前記機器が前記使用者に携帯されていないことを判定した場合に、前記機器に前記マイクロホンを用いた集音動作を実行させる集音工程と、前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、前記異常判定工程による判定結果を出力する出力工程と、を有する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0083
【補正方法】変更
【補正の内容】
【0083】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
マイクロホンを備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に携帯されていないことを判定する判定工程と、
前記判定工程で前記機器が前記使用者に携帯されていないことを判定した場合に、前記機器に前記マイクロホンを用いた集音動作を実行させる集音工程と、
前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を出力する出力工程と、
を有する情報処理方法。
[請求項2]
前記機器は、電源としての充電池をさらに備え、
前記システムは、前記充電池の充電を行うための充電器をさらに含み、
前記判定工程は、前記機器が前記充電器に電気的に接続されていることを、前記機器が前記使用者に携帯されていないこととして判定する、
請求項1記載の情報処理方法。
[請求項3]
前記機器は、前記使用者の生体情報を検出する検出部をさらに備え、
前記判定工程は、前記機器が前記使用者に装着されていることをさらに判定し、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程をさらに有し、
前記異常判定工程は、前記集音工程で集音した集音データと前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定する、
請求項1または2記載の情報処理方法。
[請求項4]
前記判定工程では、前記機器が携帯されているか否かを判定し、
前記集音工程は、前記判定工程により、前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記集音動作により取得した音データの周波数特性を互いに異ならせるように調整することによって、前記集音データを設定する、
請求項1乃至3いずれか記載の情報処理方法。
[請求項5]
前記機器は、前記使用者に対して音声を出力する音声出力部をさらに備え、
前記出力工程は、前記異常判定工程による判定結果を出力する場合に、併せて前記音声出力部により前記使用者に対して予め設定された音声情報を出力する、
請求項1乃至4いずれか記載の情報処理方法。
[請求項6]
前記機器と、情報処理装置とを含み、
前記機器及び前記情報処理装置が請求項1乃至5いずれか記載の情報処理方法を協働して実行する、情報処理システム。
[請求項7]
コンピュータに請求項1乃至5いずれか記載の情報処理方法を実行させるプログラム。
【手続補正書】
【提出日】2022-09-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マイクロホン、音声出力部及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に装着されていないかどうかを判定する判定工程と、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程と、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記マイクロホンによって集音した集音データと、前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定し、前記判定工程で前記機器が前記使用者に装着されていないことを判定した場合に、前記集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を出力する場合に、前記音声出力部により前記使用者に対して予め設定された音声情報を出力する出力工程と、
を有する情報処理方法。
【請求項2】
マイクロホン及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に装着されていないかどうかを判定する判定工程と、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程と、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記マイクロホンによって集音した集音データと、前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定し、前記判定工程で前記機器が前記使用者に装着されていないことを判定した場合に、前記集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を出力する場合に、前記使用者以外の事前に登録された対象者に通知装置を介して通知情報を出力する出力工程と、
を有する情報処理方法。
【請求項3】
マイクロホン、音声出力部及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に携帯されているか否かを判定する判定工程と、
前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記機器に前記マイクロホンを用いて集音した音データの周波数特性を互いに異ならせるように調整する集音工程と、
前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を出力する場合に、前記音声出力部により前記使用者に対して予め設定された音声情報を出力する出力工程と、
を有する情報処理方法。
【請求項4】
マイクロホン及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、
前記機器が前記使用者に携帯されているか否かを判定する判定工程と、
前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記機器に前記マイクロホンを用いて集音した音データの周波数特性を互いに異ならせるように調整する集音工程と、
前記集音工程で集音した音データである集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、
前記異常判定工程による判定結果を出力する場合に、前記使用者以外の事前に登録された対象者に通知装置を介して通知情報を出力する出力工程と、
を有する情報処理方法。
【請求項5】
前記機器は、電源としての充電池をさらに備え、
前記システムは、前記充電池の充電を行うための充電器をさらに含み、
前記判定工程は、前記機器が前記充電器に電気的に接続されていることを、前記機器が前記使用者に携帯されていないこととして判定する、
請求項1乃至4いずれか記載の情報処理方法。
【請求項6】
前記機器は、前記使用者の生体情報を検出する検出部をさらに備え、
前記判定工程は、前記機器が前記使用者に装着されていることをさらに判定し、
前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程をさらに有し、
前記異常判定工程は、前記集音工程で集音した集音データと前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定する、
請求項3または4記載の情報処理方法。
【請求項7】
前記判定工程では、前記機器が携帯されているか否かを判定し、
前記判定工程により、前記機器が携帯されていないと判定されている場合と、前記機器が携帯されていると判定されている場合とで、前記機器に前記マイクロホンによって集音した集音データである音データの周波数特性を互いに異ならせるように調整する集音工程をさらに含む、
請求項1または2記載の情報処理方法。
【請求項8】
前記機器と、情報処理装置とを含み、
前記機器及び前記情報処理装置が請求項1乃至7いずれか記載の情報処理方法を協働して実行する、情報処理システム。
【請求項9】
コンピュータに請求項1乃至7いずれか記載の情報処理方法を実行させるプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
本発明の一態様に係る情報処理方法は、マイクロホン、音声出力部及び生体情報を検出する検出部を備え、使用者に携帯される機器を含むシステムでの情報処理方法であって、前記機器が前記使用者に装着されていないかどうかを判定する判定工程と、前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記検出部による前記使用者の生体情報を取得させる取得工程と、前記判定工程で前記機器が前記使用者に装着されていることを判定した場合に、前記機器に前記マイクロホンによって集音した集音データと、前記取得工程で取得した前記使用者の生体情報とに基づいて、前記使用者に関する異常が発生しているか否かを判定し、前記判定工程で前記機器が前記使用者に装着されていないことを判定した場合に、前記集音データに基づいて、前記使用者に関する異常が発生しているか否かを判定する異常判定工程と、前記異常判定工程による判定結果を出力する場合に、前記音声出力部により前記使用者に対して予め設定された音声情報を出力する出力工程と、を有する。