特許 5662549 記憶再生装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5662549

(24)【登録日】2014年12月12日

(45)【発行日】2015年1月28日

(54)【発明の名称】記憶再生装置

(51)【国際特許分類】

   H04N 5/76 20060101AFI20150108BHJP

   H04N 5/91 20060101ALI20150108BHJP

   G11B 27/10 20060101ALI20150108BHJP

   G11B 27/28 20060101ALI20150108BHJP

【ＦＩ】

   H04N5/76 B

   H04N5/91 Z

   G11B27/10 A

   G11B27/28 B

【請求項の数】2

【全頁数】14

(21)【出願番号】特願2013-261634(P2013-261634)

(22)【出願日】2013年12月18日

【審査請求日】2013年12月24日

【早期審査対象出願】

(73)【特許権者】

【識別番号】713003516

【氏名又は名称】国安 佑太

(74)【法定代理人】

【識別番号】713003527

【氏名又は名称】国安 直子

(72)【発明者】

【氏名】国安 佑太

【審査官】 梅本 章子

(56)【参考文献】

【文献】 特開２００４−２４３０２３（ＪＰ，Ａ）

【文献】 特開２００９−０２２５０４（ＪＰ，Ａ）

【文献】 特開２００９−２５８９４１（ＪＰ，Ａ）

【文献】 特開２００８−１１８５２７（ＪＰ，Ａ）

【文献】 国際公開第２０１０／００１５１２（ＷＯ，Ａ１）

【文献】 特開２０１２−００８６８３（ＪＰ，Ａ）

【文献】 特開２００７−２８８６３７（ＪＰ，Ａ）

【文献】 特開２００２−００６８７４（ＪＰ，Ａ）

【文献】 特開２００８−０６１７９０（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１３２８９２（ＷＯ，Ａ１）

【文献】 福本くらら、外２名，”ライフログにおける自動タグ付けのための笑顔認識機構の設計と実装”，情報処理学会研究報告 モバイルコンピューティングとユビキタス通信（ＭＢＬ） Ｎｏ．６５，一般社団法人情報処理学会，２０１３年 ４月１５日，ｐ．１−８

【文献】 小森慎太郎、外５名，”骨伝導音を用いた食事・会話行動の認識手法に関する検討”，日本機械学会２００８度年次大会講演論文集（５），一般社団法人日本機械学会 ，２００８年 ８月 ２日，ｐ．２４３−２４４

【文献】 北園優希、外４名，”服薬監視システムの提案”，第７２回（平成２２年）全国大会講演論文集（４），社団法人情報処理学会，２０１０年 ３月 ８日，ｐ．４−５６１〜４−５６２

【文献】 中村裕一，”映像によるライフログ”，情報の科学と技術，一般社団法人情報科学技術協会，２０１３年 ２月 １日，第６３巻，第２号，ｐ．５７−６２

【文献】 角康之、外１名，”体験メディアの構築に向けて：体験の記録・利用の技術動向”，２００６年度人工知能学会全国大会（第２０回）論文集，社団法人人工知能学会，２００６年 ６月 ９日，ｐ．１−４

【文献】 堀鉄郎、外３名，”ライフログ応用に向けたコンテキストに基づく映像・データ検索”，電子情報通信学会技術研究報告，社団法人電子情報通信学会，２００４年 ３月１８日，第１０３巻，第７４５号，ｐ．５５−６０

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６ − ５／９５６

Ｈ０４Ｎ ５／２２２ − ５／２５７

Ｇ１１Ｂ ２７／００ − ２７／３４

Ｇ０６Ｆ １７／３０

Ｇ０６Ｑ ５０／２２

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

使用者の視覚や聴覚によって捉えられた映像や音声等を検出して電気信号に変換するセンサ部と、
このセンサ部によって検出された前記電気信号を検出時刻と関連付けた状態で記憶する記憶部と、
前記電気信号を前記映像や前記音声に変換して再生する出力部と、
前記センサ部から受け取った前記電気信号を処理して前記記憶部へ書き込むとともに、操作部から入力された前記使用者の指示に従って前記記憶部から該当する前記電気信号を前記検出時刻に関連付けられた状態で読み出して前記出力部に送り前記映像や前記音声を再生させる処理部と、を備え、
前記センサ部は、カメラと、マイクロフォンと、骨伝導センサと、前記使用者の「こめかみ」の表皮の変動を検出可能に、この「こめかみ」に当接するように設置される圧力センサからなり、
前記処理部は、
前記骨伝導センサと前記圧力センサから受け取った２種類の前記電気信号を第１の閾値及び第２の閾値とそれぞれ比較した結果を組み合わせることで前記使用者の「食事」及び「薬の摂取」というイベントが発生したか否かを判定し、これらのイベントが発生した時点を特定するイベント判定手段と、
前記イベントに対応する前記電気信号を前記記憶部から読み出すデータ検索手段と、
前記イベントが発生した時点を基準として再生ポイントの時刻を設定し、この再生ポイントを前記記憶部へ前記イベントごとに時系列的に記憶させるとともに、記憶部から読み出された電気信号を出力部において映像や音声に変換させ検出時刻に従って再生ポイントから再生させる制御手段からなることを特徴とする記憶再生装置。

【請求項2】

前記イベント判定手段は、前記マイクロフォンと前記骨伝導センサから受け取った２種類の前記電気信号を第３の閾値及び第４の閾値とそれぞれ比較した結果を組み合わせることで前記使用者の「笑い」及び「会話」というイベントが発生したか否かを判定し、これらのイベントが発生した時点を特定することを特徴とする請求項１記載の記憶再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、使用者の視覚や聴覚によって捉えられた映像や音声を記録し、適宜再生可能に構成された記憶再生装置に係り、特に、所望の映像や音声を効率良く再生させることができる記憶再生装置に関する。

【背景技術】

【0002】

人間の記憶には、数十秒程度保持される短期記憶と、永続的に保持される長期記憶があり、加齢に伴う記憶力の低下は、主にこの短期記憶の低下によるものとされている。そのため、高齢者は、しばしば直前の行動や会話の内容を思い出せなってしまう。このとき、周囲に人が居れば、直前の行動等について教えてもらえるため、忘れた内容を比較的簡単に思い出すことができる。また、周囲に人が居なくとも自宅であれば、固定カメラによって自分の行動を撮影し、その映像を見ることで、同様の効果が得られる。しかしながら、固定カメラが設置できない場所に居て、かつ、周囲に人が居ない場合には、これらの手段をとることができない。
そこで、このような課題に対処するべく、近年、身体に装着して周囲の状況や装着者自身の行動を記録する装置に関する技術が開発されており、それに関して既に幾つかの発明や考案が開示されている。

【0003】

例えば、特許文献１には、「記憶システム」という名称で、磁気ディスクを備えて、人間の代わりに各種の情報を記録するとともに、その記録を再生することで、記憶の想起の補助を行う装置に関する発明が開示されている。
特許文献１に開示された発明は、カメラ、マイク、ＧＰＳ、温度センサ、振動センサなどを備え、これらのセンサ類によって取り込まれた情報から、予め設定されたイベントパターンを抽出し、識別子を付与する構成となっている。
このような構造によれば、ユーザが意識しなくとも周囲の状況に関する情報が取り込まれて、認識された処理された後に磁気ディスクに格納されるため、必要な情報を随時、検索し再生することができる。

【0004】

また、特許文献２には、「イベントセンサー」という名称で、「食事をとる」というイベントが発生したことを検出する装置に関する発明が開示されている。
特許文献２に開示された発明は、圧力センサー、骨伝導マイク、放射温度計で取得された圧力検出信号、音声信号、温度検出信号に基づいて、患者（装着者）が食事をしたかどうかを判定し、イベント発生情報を発信する構成となっている。
このような構成によれば、患者は自分が食事をしたことを改めて強く意識することになるため、食事後の薬の飲み忘れを防ぐことができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−９４１７０号公報

【特許文献2】特開２００９−２２５０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述の従来技術である特許文献１に開示された発明においては、使用者の行動の中で、特に重要度の高い「食事」、「会話」、「薬の摂取」及び「笑い」という４種類のイベントが発生したことを認識できる構成となっていないため、高齢者が忘れた記憶を思い出す手助けをするものとして利用することはできないという課題があった。

【0007】

また、特許文献２に開示された発明においては、上述の４種類のイベントのうち、「食事」については判定できるものの、「薬の摂取」、「会話」や「笑い」については判定できないという課題があった。

【0008】

本発明は、このような従来の事情に対処してなされたものであり、使用者の視覚や聴覚によって捉えられた映像や音声の記録の中から、「食事」、「会話」、「薬の摂取」及び「笑い」という４種類のイベントにそれぞれ対応する箇所を効率良く読み出して再生することが可能な記憶再生装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、請求項１記載の発明である記憶再生装置は、使用者の視覚や聴覚によって捉えられた映像や音声等を検出して電気信号に変換するセンサ部と、このセンサ部によって検出された電気信号を検出時刻と関連付けた状態で記憶する記憶部と、電気信号を映像や音声に変換して再生する出力部と、センサ部から受け取った電気信号を処理して記憶部へ書き込むとともに、操作部から入力された使用者の指示に従って記憶部から該当する電気信号を検出時刻に関連付けられた状態で読み出して出力部に送り映像や音声を再生させる処理部と、を備え、センサ部は、カメラと、マイクロフォンと、骨伝導センサと、使用者の「こめかみ」の表皮の変動を検出可能に、この「こめかみ」に当接するように設置される圧力センサからなり、処理部は、この圧力センサと骨伝導センサから受け取った２種類の電気信号を第１の閾値及び第２の閾値とそれぞれ比較した結果を組み合わせることで使用者の「食事」及び「薬の摂取」というイベントが発生したか否かを判定し、これらのイベントが発生した時点を特定するイベント判定手段と、イベントに対応する電気信号を記憶部から読み出すデータ検索手段と、イベントが発生した時点を基準として再生ポイントの時刻を設定し、この再生ポイントを記憶部へイベントごとに時系列的に記憶させるとともに、記憶部から読み出された電気信号を出力部において映像や音声に変換させ検出時刻に従って再生ポイントから再生させる制御手段からなることを特徴とするものである。

【0010】

使用者が「咀嚼」を行う場合、下顎が動いて側頭筋が収縮し、「こめかみ」の表皮が隆起するが、本発明の記憶再生装置では、「こめかみ」の表皮の変動が圧力センサによって検出されるため、イベント判定手段は、圧力センサによって検出された電気信号が第１の閾値を超えた場合に、使用者が「咀嚼」を行っていると判断し、骨伝導センサによって検出された電気信号が第２の閾値を超えた場合に、使用者が「嚥下」をしていると判断する。そして、イベント判定手段は、使用者が「咀嚼」と「嚥下」を行っていると判断した場合には、使用者が「食事」をしていると判定し、「嚥下」のみを行っていると判断した場合には、使用者が「薬を摂取」していると判定する。そして、処理部は、それらのイベントが発生した時点ではなく、例えば、その数秒前の時刻を再生ポイントとし、この再生ポイントを時系列的にイベントごとに記憶部に記憶させる。

【0011】

このような構成の記憶再生装置においては、再生ポイントが、カメラやマイクロフォンによって取り込まれ記憶部に記憶された映像や音声の中から「食事」や「薬の摂取」が含まれている場面を検索する際の手掛かりとなるため、データ検索手段によって記憶部から映像や音声に関する所望のデータが正確に読み出されるという作用を有する。
使用者によって「食事」と「薬の摂取」が行われた時点がイベント判定手段によって判定され、その際に設定された再生ポイントから、記憶部に記憶された映像や音声を再生させることで、使用者が「食事」や「薬の摂取」を行った場面が効率よく再現されるという作用を有する。

【0012】

また、請求項２記載の発明は、請求項１に記載の記憶再生装置において、イベント判定手段は、前記マイクロフォンと前記骨伝導センサから受け取った２種類の電気信号を第３の閾値及び第４の閾値とそれぞれ比較した結果を組み合わせることで使用者の「笑い」及び「会話」というイベントが発生したか否かを判定し、これらのイベントが発生した時点を特定することを特徴とするものである。

【0013】

使用者が周囲の人と「会話」をしている場合、マイクロフォンによって検出された音声データには、使用者の音声と周囲の人の音声が混在した状態となっており、その中に使用者の音声が含まれているか否かを判別することは難しい。これに対し、骨伝導センサを用いれば、使用者の音声を周囲の人の音声等と判別可能な状態で検出することができる。
そこで、本発明の記憶再生装置では、イベント判定手段が、第３の閾値を超える電気信号が骨伝導センサによって検出されると、マイクロフォンによって検出された音声に反応して使用者が音声を発したと判断し、その時点で使用者が「会話」を始めたと判定する。また、骨伝導センサによって検出された電気信号に第４の閾値を超えるピーク値が存在する場合、イベント判定手段は、使用者が「笑っている」と判定し、そのピーク値が発生した時点で使用者が「笑い」始めたと判定する。

【0014】

このような構成によれば、再生ポイントが、カメラやマイクロフォンによって取り込まれ記憶部に記憶された映像や音声の中から「笑い」や「会話」が含まれている場面を検索する際の手掛かりとなるため、データ検索手段によって記憶部から映像や音声に関する所望のデータが正確に読み出されるという作用を有する。

【発明の効果】

【0015】

以上説明したように、本発明の請求項１に記載の記憶再生装置によれば、データ検索手段によって記憶部から読み出された電気信号を出力部で映像や音声に変換し、再生ポイントとして示される時刻から再生させることで、使用者が「食事」や「薬の摂取」を行った場面を効率良く再現することができる。また、「食事」や「薬の摂取」というイベントが発生した時点より数秒前の時刻を再生ポイントとしておくと、これらのイベントが発生する直前の場面から再生されることになるため、「食事」や「薬の摂取」が起こった状況を的確に把握することができる。

【0016】

本発明の請求項２に記載の記憶再生装置によれば、請求項１記載の発明の効果を奏することに加えて、データ検索手段によって記憶部から読み出された電気信号を出力部で映像や音声に変換し、再生ポイントとして示される時刻から再生させることで、使用者が「笑い」や「会話」を行った場面を効率良く再現することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る記憶再生装置の実施例１の外観を示す斜視図である。

【図2】実施例１の記憶再生装置の構成を示すブロック図である。

【図3】（ａ）乃至（ｅ）は実施例１の記憶再生装置においてマイクロフォン及び骨伝導センサによって検出される電気信号の時間波形の一例を示すグラフである。

【図4】実施例１の記憶再生装置においてイベント判定手段が行う判定の手順を示すフローチャートである。

【図5】（ａ）はタイムテーブルに再生ポイントが格納される状態を模式的に示した図であり、（ｂ）は図４に示したフローチャートを補足する図である。

【図6】（ａ）及び（ｂ）はそれぞれ実施例１の記憶再生装置においてディスプレイに表示されるメニュー画面及び場面選択画面を示したイメージ図である。

【図7】（ａ）及び（ｂ）はそれぞれ実施例１の記憶再生装置においてディスプレイに表示される会話画面及び時間設定画面を示したイメージ図である。

【図8】図７の画面で選択された映像がディスプレイに表示された状態を示すイメージ図である。

【図9】（ａ）及び（ｂ）はそれぞれ本発明の実施の形態に係る記憶再生装置の実施例２を構成する本体部とディスプレイの外観を示す斜視図である。

【発明を実施するための形態】

【0018】

本発明の記憶再生装置の構造について、図１〜図９を参照しながら具体的に説明する。
本発明の記憶再生装置は、眼鏡とほぼ同一の形状をなしており、本発明の使用者（以下、単に使用者という。）の視覚や聴覚によって捉えられた映像や音声をを記録できるように、フレームのブリッジとアームにそれぞれカメラとマイクロフォンが設置されている。そして、カメラとマイクロフォンによって取り込まれる映像と音声は電気信号に変換されて、フレームのアームに内蔵された記憶部に保存される。記憶部から読み出された電気信号は出力部で映像や音声に変換されディスプレイに表示される。
なお、実施例１では、ディスプレイを兼用するレンズに対し、記憶部から読み出した映像を投影する機構について説明し、実施例２では、本体とは別に設けたモニタのディスプレイに対し、上記映像を表示させる機構について説明する。

【実施例1】

【0019】

図１は本実施例の記憶再生装置１ａの外観を示す斜視図であり、図２は記憶再生装置１ａの構成を示すブロック図である。
図１に示すように、記憶再生装置１ａは、フレーム２のブリッジ２ａにカメラ３がレンズ３ａを前方に向けた状態で設置されている。フレーム２のアーム２ｂには、蝶番２ｃの近傍にマイクロフォン４が外側に開口するように埋め込まれており、耳かけ部２ｄの近傍にスピーカー５が内側に開口するように埋め込まれている。また、耳かけ部２ｄの内側先端には骨伝導センサ６が設置され、アーム部２ｂの上面には支持部２ｅが立設されており、この支持部２ｅの先端には圧力センサ７が「こめかみ」の表皮の変動を検出可能に取り付けられている。

【0020】

フレーム２には２枚のレンズ８，８が嵌め込まれており、一方のレンズ８の内部にはミラー（図示せず）及びハーフミラー（図示せず）が設けられ、このレンズに近い側のアーム２ｂの内側にはミラーに対して映像を投影可能に液晶ディスプレイ（図示せず）が設置されている。そして、液晶ディスプレイから投影された映像をハーフミラーに向かって反射するようにミラーが配置され、ミラーからレンズ８の内部を透過するようにして投影された映像を使用者の方に向けて反射するようにハーフミラーが配置されている。すなわち、ミラーとハーフミラーは液晶ディスプレイとともに映像表示手段９（図２参照）を構成している。

【0021】

アーム２ｂには、カメラ３、マイクロフォン４、骨伝導センサ６及び圧力センサ７によって検出された各種のデータを処理する処理部１６（図２参照）とバッテリ（図示せず）と記憶部１５（図２参照）が内蔵されている。また、一方の耳かけ部２ｄには、映像表示手段９によってレンズ８に表示された画面上のメニューを操作するための画面切替ボタン１０と選択ボタン１１と決定ボタン１２が設けられており、他方の耳かけ部２ｄには、処理部１６のＯＮ／ＯＦＦ状態を切り替える電源スイッチ１３と、ＵＳＢコネクタ等の外部端子を接続するための接続口１４が設けられている。
なお、バッテリは、電源ケーブルを介して接続口１４に接続される外部電源によって充電されるが、必ずしもこのような構造でなくとも良い。例えば、バッテリがアーム２ｂに対して着脱可能に内蔵された構造とすることもできる。この場合、アーム２ｂから取り出した状態でバッテリを充電できるため、作業性が良い。さらに、このバッテリとして市販の電池を用いることもできる。

【0022】

図２に示すように、処理部１６には、記憶部１５の他、電源スイッチ１３、画面切替ボタン１０、選択ボタン１１及び決定ボタン１２からなる操作部１７と、カメラ３、マイクロフォン４、骨伝導センサ６及び圧力センサ７からなるセンサ部１８と、スピーカー５及び映像表示手段９からなる出力部１９が接続されている。
処理部１６は、センサ部１８によって取り込まれた情報に基づいて、「会話」、「笑い」、「食事」、「薬摂取」という４種類のイベントがそれぞれ発生したタイミングを判定するイベント判定手段１６ａと、操作部１７から入力された指示に基づいて所定のイベントに対応する情報を記憶部１５から読み出すデータ検索手段１６ｂと、記憶部１５、操作部１７、センサ部１８及び出力部１９の動作を制御する制御手段１６ｃによって構成されている。
なお、センサ部１８によって取り込まれた情報とは、リアルタイムにセンサ部１８から取り込まれる情報に加えて、センサ部１８によって測定され一旦後述する記憶部１５に格納した後に、再度処理部１６によって取り込まれた情報も含む概念である。

【0023】

記憶部１５には、カメラ３によって取り込まれた映像データ１５ａと、マイクロフォン４及び骨伝導センサ６によってそれぞれ取り込まれた音声データ１５ｂ，１５ｃと、圧力センサ７の検出値１５ｄがそれぞれ検出された時刻と関連付けられた状態で格納されている。また、記憶部１５には、「会話」、「笑い」、「食事」、「薬摂取」の各イベントについてそれぞれ発生した時点の５秒前の時刻が再生ポイントとして時系列的にタイムテーブル１５ｅへ格納されている。

【0024】

図３（ａ）及び図３（ｂ）はそれぞれ使用者が周囲の人と「会話」をしている場合にマイクロフォン４及び骨伝導センサ６によって検出された電気信号Ｅ_１，Ｅ_２を示しており、図３（ｃ）は使用者が「笑っている」場合に骨伝導センサ６によって検出された電気信号Ｅ_２を示している。
また、図３（ｄ）及び図３（ｅ）はそれぞれ使用者が「食事」をしている場合及び「薬を摂取」している場合に骨伝導センサ６によって検出された電気信号Ｅ_２を示している。すなわち、これらの図において、横軸は経過時間を表し、縦軸は電圧の大きさを表している。
なお、圧力センサ７によって検出される電気信号（検出値１５ｄ）については時間波形を図示していないが、マイクロフォン４及び骨伝導センサ６によって検出される電気信号Ｅ_１，Ｅ_２と区別し易くするため、本願明細書では、圧力センサ７によって検出される電気信号を、便宜上、電気信号Ｅ_３と表すものとする。

【0025】

使用者が周囲の人と「会話」をしている場合、使用者の音声は周囲の人の音声等と混在した状態でマイクロフォン４によって検出されるため、その電気信号Ｅ_１は、図３（ａ）に示すように、使用者の音声が含まれているか否かの判別が容易でない。これに対し、骨伝導センサ６では、使用者の音声が周囲の人の音声等と判別可能な状態で検出される。そこで、イベント判定手段１６ａは、図３（ｂ）に示すように、予め設定された閾値Ｂを電気信号Ｅ_２が超えた場合に使用者が「会話」をしているとの判定を行う。
なお、図３（ａ）に示した閾値Ａは、後述するように電気信号Ｅ_１においてイベント判定手段１６ａによって音声データの有無を判別する際に用いられる。

【0026】

使用者が「笑っている」場合、骨伝導センサ６によって検出される電気信号Ｅ_２には短時間にピーク値が連続して現れる。そこで、イベント判定手段１６ａは、図３（ｃ）に示すように、予め設定された閾値Ｃを超えるピーク値が電気信号Ｅ_２において短時間に連続して現れた場合に使用者が「笑っている」との判定を行う。
また、使用者が「食事」をしている場合、図３（ｄ）に示すように、骨伝導センサ６によって検出される電気信号Ｅ_２には「嚥下」の動作を示すピーク値が略均一な大きさで周期的に現れる。さらに、図３（ｅ）に示すように、使用者が「薬を摂取」している場合にも電気信号Ｅ_２には上述の「嚥下」の動作を示すピーク値が同様に現れる。ただし、図３（ｄ）と図３（ｅ）を比較すると明らかなように、「食事」をしている場合には、「薬を摂取」する場合と異なり、「嚥下」の間に「咀嚼」が行われていることを示す波形が認められる。
なお、食事中に「咀嚼」をする回数は人によって異なるが、同一人であれば、「嚥下」までの「咀嚼」の回数は、ほぼ一定しており、「嚥下」の動作を示すピーク値は、周期的に発生する。これに対し、「笑い」の際に現れるピーク値は、均一でなく、その間隔は不均一で「嚥下」の動作を示すピーク値の間隔よりも短いことが多い。したがって、図３（ｃ）と図３（ｅ）を比較すれば明らかなように、骨伝導センサ６によって検出される電気信号Ｅ_２について、ピーク値の大きさと周期に着目すれば、それが「笑い」と「嚥下」のいずれの動作を示すものであるかを判別することは容易である。

【0027】

使用者が「咀嚼」を行う場合、下顎が動いて側頭筋が収縮し、「こめかみ」の表皮が隆起するが、本発明の記憶再生装置１ａでは、前述したように、「こめかみ」の表皮の変動が圧力センサ７によって検出されるため、電気信号Ｅ_３が所定の閾値（図示せず）を超えた場合に、使用者が「咀嚼」を行っていると判断することができる。そこで、イベント判定手段１６ａは、図３（ｄ）や図３（ｅ）に示すように、予め設定された閾値Ｄを電気信号Ｅ_２が超えた場合に使用者が「嚥下」を行ったものと判断し、さらに、電気信号Ｅ_３に基づいて使用者が「咀嚼」を行ったと判断した場合には使用者が「食事」をしているとの判定を行う。一方、イベント判定手段１６ａは、使用者が「咀嚼」を行わず、「嚥下」のみを行っていると判断した場合、使用者が「薬を摂取」しているとの判定を行う。

【0028】

次に、マイクロフォン４、骨伝導センサ６及び圧力センサ７によって検出される電気信号Ｅ_１〜Ｅ_３に基づいて、「会話」、「笑い」、「食事」、「薬摂取」という４種類のイベントがそれぞれ発生したか否かをイベント判定手段１６ａが判定する手順を図３を適宜参照しながら図４を用いて説明する。
図４はイベント判定手段１６ａが行う判定の手順を示すフローチャートであり、図５（ａ）はタイムテーブルに再生ポイントが格納される状態を模式的に示した図であり、図５（ｂ）は図４に示したフローチャートを補足する図である。
図５（ａ）に示すように、タイムテーブル１５ｅには、上述の４種類のイベントが発生した時点の５秒前の時刻を再生ポイントとして時系列データの形式で格納可能となっている。すなわち、以下に説明するように、Ｔｓ（ｉ，ｊ）（ｉ＝１〜４、ｊ＝１〜Ｎ）と表わされるタイムテーブル１５ｅに対し、「食事」をｉ＝１、「薬の摂取」をｉ＝２、「笑い」をｉ＝３、「会話」をｉ＝４として、その再生ポイントが最大Ｎ個までそれぞれ格納されている。

【0029】

図４に示すように、まず、ステップＳ１において、１から４までのｉと、１からＮまでのｊについてＴｓ（ｉ，ｊ）を０とし、ｉとｊを１としてステップＳ２に進む。ステップＳ２では、マイクロフォン４、骨伝導センサ６及び圧力センサ７によって検出された電気信号Ｅ_１〜Ｅ_３が検出時刻ｔとともに処理部１６に取り込まれる。
次に、ステップＳ３において、イベント判定手段１６ａが電気信号Ｅ_２に基づいて使用者が「嚥下」を行っていると判断すると、ステップＳ４に進む。ステップＳ４において、イベント判定手段１６ａは電気信号Ｅ_３に基づいて使用者が「咀嚼」を行っていると判断すると、ステップＳ５において使用者が「食事」をしていると判定するとともに、電気信号Ｅ_３において使用者の「咀嚼」が開始されたと判断した時点の５秒前の時刻を再生ポイントとしてＴｓ（１，ｊ）の値とし、ステップＳ２に戻る。
一方、ステップＳ４において、イベント判定手段１６ａは電気信号Ｅ_３に基づいて使用者が「咀嚼」を行っていると判断しない場合、ステップＳ６において使用者が「薬を摂取」していると判定するとともに、電気信号Ｅ_２において使用者の「嚥下」が開始されたと判断した時点の５秒前の時刻を再生ポイントとしてＴｓ（２，ｊ）の値とし、ステップＳ２に戻る。

【0030】

ステップＳ３において、イベント判定手段１６ａが電気信号Ｅ_２に基づいて使用者が「嚥下」を行っていると判断しない場合、ステップＳ７に進む。ステップＳ７では、イベント判定手段１６ａは電気信号Ｅ_２において短時間に閾値Ｃを越えるピークが不規則に発生していると判断した場合、ステップＳ８において使用者が「笑っている」と判定するとともに、電気信号Ｅ_２において使用者が「笑い」を始めたと判断した時点の５秒前の時刻を再生ポイントとしてＴｓ（３，ｊ）の値とし、ステップＳ２に戻る。
一方、ステップＳ７において、イベント判定手段１６ａは、電気信号Ｅ_２において短時間に閾値Ｃを越えるピークが不規則に発生していると判断しない場合、ステップＳ９に進む。ステップＳ９において、イベント判定手段１６ａは、電気信号Ｅ_２が閾値Ｂを越えていない場合、使用者が無言であり、周囲の人と「会話」をしていないと判定し、ステップＳ２に戻る。

【0031】

ステップＳ９において、電気信号Ｅ_２が閾値Ｂを越えている場合、ステップＳ１０に進む。ステップＳ１０において、電気信号Ｅ_１が閾値Ａを越えていない場合、イベント判定手段１６ａは、周囲の人の音声が検出されていないため、使用者が周囲の人と「会話」をしていないと判定し、ステップＳ２に戻る。
一方、ステップＳ１０において、電気信号Ｅ_１が閾値Ａを越えている場合、ステップＳ１１において、イベント判定手段１６ａは使用者が周囲の人と「会話」をしていると判定するとともに、電気信号Ｅ_１において「会話」が始まったと判断した時点の５秒前の時刻をＴｓ（４，ｊ）の値とし、ステップＳ２に戻る。

【0032】

なお、ステップＳ５，Ｓ６，Ｓ８及びＳ１１において、Ｔｓ（ｉ，ｊ）に対して再生ポイントを示す時刻が既に格納されている場合には、その値を上書きしないように、ステップＳ４とステップＳ５若しくはステップＳ６の間、ステップＳ７とステップＳ８の間、及びステップＳ１０とステップＳ１１の間において、図５（ｂ）に示したような処理が行われる。
図５（ｂ）に示すように、ステップＳ４，Ｓ７，Ｓ１０においてイベント判定手段１６ａによって各判断がなされると、ステップＳ２０に進み、ＴＳ（ｉ，ｊ）の値が０より大きい場合、すなわち、Ｔｓ（ｉ，ｊ）に対して再生ポイントを示す時刻が既に格納されている場合には、ステップＳ２１においてｊを１ほどインクリメントし、ステップＳ２０の前に戻る。一方、ステップＳ２０において、ＴＳ（ｉ，ｊ）の値が０より大きくない場合、すなわち、Ｔｓ（ｉ，ｊ）に対して再生ポイントを示す時刻が未だ格納されていない場合には、ステップＳ２２に進む。そして、ｊがＮに達している場合、イベント判定手段１６ａはイベントの判定処理を終了する。一方、ｊがＮに達していない場合には、ステップＳ５、ステップＳ６、ステップＳ８、ステップＳ１１のいずれかへ進む。
また、これまでの説明でイベントの発生時点の５秒前の時刻を再生ポイントとしてＴｓ（ｉ，ｊ）の値としたが、この５秒という時間は極端には０秒（同時）も含めて適宜所望の時間に変更することができる。

【0033】

なお、本実施の形態においては、Ｔｓ（ｉ，ｊ）（ｉ＝１〜４、ｊ＝１〜Ｎ）としてタイムテーブル１５ｅを想定し、予め記憶部１５に格納可能な最大Ｎ個までＴｓ（ｉ，ｊ）を格納するようにしているが、Ｔｓ（ｉ，ｊ）の取得方法としてはこの方法に限定するものではない。例えば、図４のステップＳ１を実行することなく、センサ部１８によってリアルタイムにあるいは一旦記憶部１５に格納された情報、すなわち電気信号Ｅ_１，Ｅ_２，Ｅ_３を処理部１６で検出時刻ｔと共に読み出して、イベント判定手段１６ａで、それぞれの電気信号Ｅ_１，Ｅ_２，Ｅ_３に基いて「食事」、「薬の摂取」、「笑い」、「会話」のいずれのイベントが発生しているかを判定し、検出時刻ｔを参照しながら、そのイベントの開始時刻を判断して５秒前等をＴｓ（ｉ，ｊ）の値とするような場合である。
この場合、２次元的なタイムテーブル１５ｅではなく、時系列にＴｓ（１，１）、Ｔｓ（２，１）、Ｔｓ（２，２）、Ｔｓ（３，１）、Ｔｓ（４，１）、Ｔｓ（３，２）などイベント別ではなく時系列にＴｓが羅列されることになる。イベントの種類を表すｉもそのイベントの中での発生順位を表すｊも含めて、一次元的に羅列されるのである。具体的なデータの形態としては、例えば８桁の数字でデータ全体を表しつつ、最初の６桁が時刻を表し、７桁目がイベントを表すｉ、８桁目が各イベントの中での発生順位を表わすｊというような形態で、この８桁の数字で表現されるデータが羅列されるような場合である。
但し、この場合でもｊは１ずつインクリメントされる必要がある。このようなシーケンスとするには、例えばステップＳ１として、Ｔｓ（ｉ，ｊ）のｉ＝０、ｊ＝０としておいて、ステップＳ４のＹとＮの後、ステップＳ７のＹの後、ステップＳ１０のＹの後、すなわち、「食事」、「薬の摂取」、「笑い」、「会話」と判定されるステップＳ５，Ｓ６，Ｓ８，Ｓ１１の前にｊ＝ｊ＋１というステップを挿入することによれば可能である。
このようにしておくことで、ｊがそれぞれのイベントとして判定される際に１ほどインクリメントされることになる。
以上説明したとおり、本願発明では、イベントが発生じた時点を基準として再生ポイントＴｓの時刻を設定可能で、その再生ポイントをイベント毎に識別可能に時系列的に記憶部１５に記憶可能であればどのように再生ポイントが定められてもよいのである。

【0034】

記憶再生装置１ａの操作方法について図６〜図８を参照しながら説明する。
図６（ａ）及び図６（ｂ）は記憶再生装置１ａにおいてディスプレイに表示されるメニュー画面及び場面選択画面を示したイメージ図であり、図７（ａ）及び図７（ｂ）は同様にディスプレイに表示される会話画面及び時間設定画面を示したイメージ図である。また、図８は図７の画面で選択された映像がディスプレイに表示された状態を示すイメージ図である。なお、図１〜図５に示した構成要素については同一の符号を付して、その説明を省略する。
電源スイッチ１３を操作して記憶再生装置１ａの電源を入れると、映像表示手段９によってレンズ８に対し、図６（ａ）に示すようなメインメニューが表示される。メインメニューでは、選択ボタン１１を操作して「短期記憶再生」、「場面選択」、「時間指定」のいずれかを選択することができる。なお、「短期記憶再生」とは、記憶部１５に記憶された映像や音声を、３０秒前、１分前というように予め設定された複数の時刻から順次再生していくモードである。

【0035】

選択ボタン１１で「場面選択」を選択し、決定ボタン１２を押すと、図６（ｂ）に示すような場面選択画面がレンズ８に表示される。この画面では、「会話」、「食事」、「薬摂取」、「笑い」のいずれかを選択することができる。選択ボタン１１と決定ボタン１２を操作して、例えば、「会話」を選択すると、図７（ａ）に示すような会話画面が表示される。選択ボタン１１と決定ボタン１２の操作により、この画面上に表示された再生ポイントのいずれかを選択すると、図８に示すように、使用者が「会話」をした場面が会話画面で選択した再生ポイントから再生される。
一方、図６（ａ）に示したメインメニューにおいて、選択ボタン１１と決定ボタン１２を操作して、「時間指定」を選択すると、図７（ｂ）に示すような時間指定場面となる。この画面では、選択ボタン１１を操作して映像や音声の再生を開始する時刻（設定時刻）を変更し、決定ボタン１２を押すことで、その時刻を確定することができる。
なお、これらの操作において、画面切替ボタン１０を押すと、いずれの画面からもメインメニューに戻ることができる。

【0036】

以上説明したように、本発明の記憶再生装置１ａによれば、データ検索手段１６ｂによって記憶部１５から読み出された映像データ１５ａや音声データ１５ｂを映像表示手段９やスピーカー５で映像や音声に変換し、再生ポイントとして示される時刻から再生させることで、使用者が「笑い」、「会話」、「食事」、「薬の摂取」を行った場面を効率良く再現することができる。このとき、それらのイベントが発生した時点より５秒前の時刻を再生ポイントとしているため、各イベントが発生する直前の場面から再生が始まる。したがって、各イベントが起こった状況を的確に把握することができる。

【実施例2】

【0037】

実施例２の記憶再生装置１ｂについて図９を用いて説明する。
図９（ａ）及び図９（ｂ）はそれぞれ記憶再生装置１ｂを構成する本体部２０ａとモニタ２０ｂの外観を示す斜視図である。なお、図１〜図４に示した構成要素については、同一の符号を付してその説明を省略する。
図９（ａ）及び図９（ｂ）に示すように、本実施例の記憶再生装置１ｂは、実施例１の記憶再生装置１ａにおいて、レンズ８の代わりに、本体部２０ａと別個に設けたモニタ２０ｂのディスプレイ２１に映像が表示されることを特徴とする。すなわち、記憶再生装置１ａにおけるスピーカー５、映像表示手段９、画面切替ボタン１０、選択ボタン１１、決定ボタン１２、電源スイッチ１３及び接続口１４がフレーム２から分離されてモニタ２０ｂに集約されるとともに、ディスプレイ２１と電源ランプ２２が新たに設けられた構造となっている。
このような構造の記憶再生装置１ｂにおいては、使用者が本体部２０ａを頭部に装着しなくとも、本体部２０ａの記憶部１５に記憶された映像や音声をモニタ２０ｂのディスプレイ２１で容易に確認することができる。
なお、本発明の構造は上述の実施例に示したものに限らず、
例えば、レンズ部分に有機ＥＬ技術を応用して映像を表示する構造とすることもできる。また、本発明の記憶再生装置は、必ずしもメガネ型でなくても良い。例えば、帽子や頭に巻くバンドなどにカメラ、マイクなどを装着した構造とすることもできる。

【産業上の利用可能性】

【0038】

請求項１乃至請求項２に記載された発明は、高齢者が忘れた記憶を呼び戻す目的で自身の行動を振り返る場合の他、備忘録としても活用することができる。

【符号の説明】

【0039】

１ａ，１ｂ…記憶再生装置 ２…フレーム ２ａ…ブリッジ ２ｂ…アーム ２ｃ…蝶番 ２ｄ…耳かけ部 ２ｅ…支持部 ３…カメラ ３ａ…レンズ ４…マイクロフォン ５…スピーカー ６…骨伝導センサ ７…圧力センサ ８…レンズ ９…映像表示手段 １０…画面切替ボタン １１…選択ボタン １２…決定ボタン １３…電源スイッチ １４…接続口 １５…記憶部 １５ａ…映像データ １５ｂ，１５ｃ…音声データ １５ｄ…検出値 １５ｅ…タイムテーブル １６…処理部 １６ａ…イベント判定手段 １６ｂ…データ検索手段 １６ｃ…制御手段 １７…操作部 １８…センサ部 １９…出力部 ２０ａ…本体部 ２０ｂ…モニタ ２１…ディスプレイ ２２…電源ランプ

【要約】

【課題】使用者の視覚や聴覚によって捉えられた映像や音声の記録の中から、「食事」、「会話」、「薬の摂取」及び「笑い」という４種類のイベントにそれぞれ対応する箇所を効率良く読み出して再生することが可能な記憶再生装置を提供する。
【解決手段】記憶再生装置１ａでは、フレームのアームに処理部１６が内蔵されている。そして、処理部１６は、カメラ３、マイクロフォン４、骨伝導センサ６及び圧力センサ７によって取り込まれた情報に基づいて、「会話」、「笑い」、「食事」、「薬摂取」というイベントが発生したタイミングを判定するイベント判定手段１６ａと、必要な情報を記憶部１５から抽出するデータ検索手段１６ｂと、記憶部１５等の動作を制御する制御手段１６ｃによって構成されている。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】