特開 2023-142729 記憶補助装置、記憶補助方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023142729

(43)【公開日】2023-10-05

(54)【発明の名称】記憶補助装置、記憶補助方法およびプログラム

(51)【国際特許分類】

   G06F 16/907 20190101AFI20230928BHJP

【ＦＩ】

G06F16/907

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022049773

(22)【出願日】2022-03-25

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】菅原 隆幸

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA10

5B175FB02

5B175FB03

(57)【要約】      （修正有）

【課題】人が過去の記憶を思い出すことが困難であるとき、これを支援する記憶補助装置、記憶補助方法及びプログラムを提供する。
【解決手段】記憶補助装置１０は、視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するデータ取得部２１と、記録処理部において視覚情報により特定した対象物に対して視覚情報または聴覚情報と脳内活性化情報とキーワードを関連付けたタグを作成するタグ作成部３２と、タグを記録する記憶部１４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するデータ取得部と、
前記視覚情報により特定した対象物に対して前記視覚情報または前記聴覚情報と前記脳内活性化情報とキーワードを関連付けたタグを作成するタグ作成部と、
前記タグを記録する記憶部と、
を備える記憶補助装置。

【請求項2】

前記脳内活性化情報に基づいて前記記憶部に記録された前記対象物のタグを検索するタグ検索部と、
検索された前記タグに記録された前記視覚情報または前記聴覚情報を出力する出力部と、
を有する、
請求項１に記載の記憶補助装置。

【請求項3】

前記タグ検索部は、前記脳内活性化情報に基づいて前記タグを検出するときの前記キーワードの設定数を変更する、
請求項２に記載の記憶補助装置。

【請求項4】

前記タグ作成部は、前記脳内活性化情報に基づいた優先度を関連付けて前記タグを作成する、
請求項１から請求項３のいずれか一項に記載の記憶補助装置。

【請求項5】

視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するステップと、
前記視覚情報により特定した対象物に対して前記視覚情報または前記聴覚情報と前記脳内活性化情報とキーワードを関連付けたタグを作成するステップと、
前記タグを記録するステップと、
を含む記憶補助方法。

【請求項6】

視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するステップと、
前記視覚情報により特定した対象物に対して前記視覚情報または前記聴覚情報と前記脳内活性化情報とキーワードを関連付けたタグを作成するステップと、
前記タグを記録するステップと、
を記憶補助装置として動作するコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記憶補助装置、記憶補助方法およびプログラムに関する。

【背景技術】

【0002】

近年、脳内活性化情報を計測する技術が発達し、脳と外部のインターフェースであるブレインマシンインターフェースの技術が現実的となりつつある。このような技術を用いた技術として、例えば、下記特許文献１に記載されたものがある。特許文献１に記載された物体検索装置は、ユーザの脳波を分析し、ユーザが探している物の情報を与えて支援するものである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１０５９３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、老年期の認知症が問題になってきており、認知症に伴う記憶障害が発生すると、過去の事象を思い出すことが困難になる。そのため、人が過去の事象を思い出すことが困難であるとき、これを支援する技術の構築が望まれている。

【0005】

本発明は、上記に鑑みてなされたものであって、過去の記憶を思い出すときに支援することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る記憶補助装置は、視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するデータ取得部と、前記視覚情報により特定した対象物に対して前記視覚情報または前記聴覚情報と前記脳内活性化情報とキーワードを関連付けたタグを作成するタグ作成部と、前記タグを記録する記憶部と、を備える。

【0007】

本発明に係る記憶補助方法は、視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するステップと、前記視覚情報により特定した対象物に対して前記視覚情報または前記聴覚情報と前記脳内活性化情報とキーワードを関連付けたタグを作成するステップと、前記タグを記録するステップと、を含む。

【0008】

本発明に係るプログラムは、視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するステップと、前記視覚情報により特定した対象物に対して前記視覚情報または前記聴覚情報と前記脳内活性化情報とキーワードを関連付けたタグを作成するステップと、前記タグを記録するステップと、を記憶補助装置として動作するコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、過去の記憶を思い出すときに支援することができるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態に係る記憶補助装置を表すブロック図である。

【図2】図２は、記憶補助装置におけるタグ記録方法を表すフローチャートである。

【図3】図３は、記憶補助装置におけるタグ再生方法を表すフローチャートである。

【発明を実施するための形態】

【0011】

以下に添付図面を参照して、本発明に係る記憶補助装置、記憶補助方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0012】

＜記憶補助装置＞
図１は、本実施形態に係る記憶補助装置を表すブロック図である。

【0013】

図１に示すように、記憶補助装置１０は、ユーザの記憶情報を支援するものであり、例えば、ユーザの頭部に装着される。記憶補助装置１０は、ユーザにおける視覚情報や聴覚情報に応じて対象物の情報を一時的に保存する。そして、記憶補助装置１０は、ユーザが対象物を思い出そうとしたときに、対象物の映像や音声を再生することで、ユーザの回想を支援する。

【0014】

記憶補助装置１０は、脳波検出部１１と、カメラ１２と、マイク１３と、記憶部１４と、処理部１５と、出力部１６とを備える。

【0015】

脳波検出部１１は、処理部１５に接続される。脳波検出部１１は、ユーザの脳内活性化情報を検出する。脳内活性化情報としては、例えば、ユーザの脳血流に含まれる酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度、総ヘモグロビン濃度等が挙げられる。脳波検出部１１は、例えば、ｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ：機能的磁気共鳴画像法）、ｆＮＩＲＳ（ｆｕｎｃｔｉｏｎａｌ Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ：機能的近赤外分光分析法）等の原理に基づいて計測を行う計測装置、侵襲式の電極を用いた計測装置、脳の血管の中にマイクロマシンを配置してマイクロマシンにより計測を行う計測装置等を用いることができる。

【0016】

脳内活性化情報は、例えば、ユーザの脳を数ミリ以下のボクセルで構成される三次元マトリクスにより区画した場合において、ボクセルごとの活性度の大きさを脳活性化マップとして示すことができる。なお、脳波検出部１１は、この構成に限定されるものではなく、他の種類の装置が用いられてもよい。

【0017】

カメラ１２は、処理部１５に接続される。カメラ１２は、ユーザの視線の先にある映像を撮影して記録する。映像は、動画が好適であるが、静止画であってもよい。カメラ１２は、ユーザが装着するものであるが、ユーザが装着している物品（例えば、メガネや帽子またはヘッドマウントディスプレイなど）などに装着されていてもよい。

【0018】

マイク１３は、処理部１５に接続される。マイク１３は、ユーザの視線の先で発生する音声を記録する。但し、マイク１３は、ユーザの周辺で発生する音声を記録するものであってもよい。マイク１３は、ユーザが装着するものであるが、ユーザが装着している物品（例えば、メガネや帽子またはヘッドマウントディスプレイなど）などに装着されていてもよい。

【0019】

記憶部１４は、処理部１５に接続される。記憶部１４は、処理部１５が処理した処理内容を記憶する。記憶部１４は、後述した処理部１５が作成したユーザのタグを記録する。なお、記憶部１４は、脳波検出部１１が検出した脳内活性化情報、カメラ１２が撮影して記録した映像、マイク１３が記録した音声を記憶してもよい。なお、記憶部１４は、メモリカードやＳＳＤ（Solid State Drive）、外部記憶装置などにより構成される。

【0020】

処理部１５は、データ取得部２１と、記録処理部２２と、再生処理部２３とを有する。記録処理部２２は、記録判定部３１と、タグ作成部３２とを有する。再生処理部２３は、再生判定部４１と、タグ検索部４２とを有する。処理部１５の詳細については、後述する。

【0021】

なお、処理部１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶装置を有する。

【0022】

出力部１６は、処理部１５の処理内容を出力する。出力部１６は、映像出力部５１と、音声出力部５２とを有する。映像出力部５１は、例えば、モニタやヘッドマウントディスプレイなどである。音声出力部５２は、例えば、スピーカやヘッドフォン、イヤフォンなどなどである。但し、出力部１６は、このような構成に限定されるものではない。例えば、出力部１６は、処理部１５の処理内容としての映像や音声などを思念させる電気信号を生成し、電極などによりユーザの脳に電気刺激を与えるものであってもよい。

【0023】

＜処理部＞
データ取得部２１は、ユーザの視覚情報および聴覚情報を取得すると共に、脳内活性化情報を取得する。すなわち、データ取得部２１は、脳波検出部１１が検出した脳内活性化情報（脳活性化マップ）と、カメラ１２が撮影して記録した映像と、マイク１３が記録した音声を取得する。なお、データ取得部２１は、取得したユーザの脳内活性化情報と映像と音声を記憶部１４に記憶してもよい。

【0024】

記録処理部２２は、データ取得部２１が取得したユーザの脳内活性化情報（脳活性化マップ）と映像と音声に基づいて対象物を特定してタグを作成し、作成したタグを記憶部１４に記録する。

【0025】

まず、記録判定部３１は、データ取得部２１が取得したユーザの脳内活性化情報（脳活性化マップ）と映像と音声に基づいて対象物のタグを作成するか否かを判定する。記録判定部３１は、脳内活性化情報（脳活性化マップ）から、例えば、ユーザの行動変化を推定し、脳内活性化情報（脳活性化マップ）から行動変化があったことを検出すると、このときにタグを作成する必要があると判定する。

【0026】

ユーザの行動変化とは、例えば、ユーザが他人と会話を開始したとき、他人から話しかけられたとき、電話がかかってきたとき、来客があったとき、外出するとき、乗り物に乗るとき、買い物をしたとき、精算をするときなどである。

【0027】

ユーザの行動変化があったとき、ユーザの脳の活性化状態が変化する。ユーザの行動変化がないときの脳活性化マップや行動変化があったときの脳活性化マップを予め取得し、記憶部１４に記憶しておく。なお、ユーザの行動変化がないときの脳活性化マップや行動変化があったときの脳活性化マップは、機械学習を利用した学習モデルにより生成してもよい。記録判定部３１は、例えば、データ取得部２１が取得したユーザの脳活性化マップと、記憶部１４に記憶されたユーザの行動変化がないときの脳活性化マップとの変化量が予め設定された判定値を超えると、ユーザの行動変化があったと判定する。また、記録判定部３１は、例えば、データ取得部２１が取得したユーザの脳活性化マップと、記憶部１４に記憶されたユーザの行動変化があったときの脳活性化マップとの変化量が予め設定された判定値以下であると、ユーザの行動変化があったと判定する。

【0028】

次に、タグ作成部３２は、ユーザの視覚情報により特定した対象物に対して視覚情報や聴覚情報と脳内活性化情報とキーワードを関連付けたタグを作成する。この場合、タグ作成部３２は、記録判定部３１がユーザに行動変化があったと判定したとき、タグを作成する。一方、タグ作成部３２は、記録判定部３１がユーザに行動変化がないと判定したとき、タグを作成しない。

【0029】

例えば、ユーザが他人Ａと会話を開始したとき、対象物は、他人Ａであり、キーワードは、そのときの日時、場所（位置）、服の色（例えば、赤など）、性別などである。タグ作成部３２は、対象物（他人Ａ）と、キーワードと、脳活性化マップと、映像と、音声とを関連付けたタグを作成する。

【0030】

また、タグ作成部３２は、タグを作成するとき、脳内活性化情報（脳活性化マップ）に基づいた優先度を関連付ける。例えば、ユーザの脳の所定部位の脳活性度が低い状態（酸化ヘモグロビンが少ない状態）では、タグに高優先度を付与する一方、ユーザの脳の所定部位の脳活性度が高い状態（酸化ヘモグロビンが高い状態）では、タグに低優先度を付与する。なお、優先度は、ユーザの脳の所定部位の脳活性度に応じて、例えば、５段階レベルの優先度を付与しもよい。

【0031】

再生処理部２３は、データ取得部２１が取得したユーザの脳内活性化情報（脳活性化マップ）に基づいて対象物の再生想起信号があると判定したとき、記憶部１４に記録された対象物のタグを検索する。

【0032】

まず、再生判定部４１は、データ取得部２１が取得したユーザの脳内活性化情報（脳活性化マップ）から対象物の再生想起信号の有無を判定する。再生判定部４１は、脳内活性化情報に基づいて対象物の再生想起信号があると判定すると、ユーザが回想しており、記憶の支援が必要であると判定する。

【0033】

ユーザが思い出そうとして回想を開始したとき、ユーザの脳の活性化状態が変化、つまり、活性化状態が活性化となる。ユーザが回想していないときの脳活性化マップや回想しているときの脳活性化マップを予め取得し、記憶部１４に記憶しておく。再生判定部４１は、例えば、データ取得部２１が取得したユーザの脳内活性化情報（脳活性化マップ）と、記憶部１４に記憶されたユーザが回想していないときの脳内活性化情報（脳活性化マップ）との変化量が予め設定された判定値を超えると、ユーザが回想しており、対象物の再生想起信号が生成されたと判定する。なお、再生想起信号とは、上述の通り、脳内活性化情報に基づき生成された信号であり、ユーザが回想している状態を示す信号である。また、再生判定部４１は、例えば、データ取得部２１が取得したユーザの脳活性化マップと、記憶部１４に記憶されたユーザが回想しているときの脳活性化マップとの変化量が予め設定された判定値以下であると、ユーザが回想しており、対象物の再生想起信号があると判定する。

【0034】

次に、タグ検索部４２は、脳内活性化情報に基づいて記憶部１４に記録された対象物のタグを検索する。この場合、タグ検索部４２は、再生判定部４１がユーザの回想を検出して対象物の再生想起信号があると判定すると、対象物のタグを検索する。一方、タグ検索部４２は、再生判定部４１がユーザの回想を検出できずに対象物の再生想起信号がないと判定すると、タグを検索しない。

【0035】

例えば、ユーザが他人Ｂから話しかけられ、他人Ｂが誰であるか思い出せずに回想する。このとき、タグ検索部４２は、脳内活性化情報に基づいて、例えば、現在のユーザの脳活性化マップに類似する記憶部１４に記憶された脳活性化マップを含むタグを検出する。また、タグ検索部４２は、脳内活性化情報に基づいて、例えば、現在のユーザが見ている他人Ｂの服の色をキーワードとして記憶部１４に記憶されたキーワード（赤い服）を含むタグを検出する。

【0036】

この場合、タグ検索部４２は、キーワード（赤い服）をユーザの脳内活性化情報から取得してもよいし、カメラ１２の映像から取得してもよい。

【0037】

また、タグ検索部４２は、脳内活性化情報に基づいてタグを検出するときのキーワードの設定数を変更する。人が目を閉じて安静にしたリラックス状態であるときや一つのことに集中しているときは、α波が大きくなる。一方、脳が活動をしているときは、β波が大きくなる。タグ検索部４２が記憶部１４から対象物のタグを検索するとき、検索するためのキーワード数は、所定数に設定されている。そして、タグ検索部４２は、記憶部１４から対象物のタグを検索するとき、脳内活性化情報に基づいてユーザの脳が活動する緊張状態（β波）にあるとき、検索するためのキーワード数を所定の設定数より多くする。一方、タグ検索部４２は、記憶部１４から対象物のタグを検索するとき、脳内活性化情報に基づいてユーザの脳がリラックス状態（α波）にあるとき、検索するためのキーワード数を所定の設定数より少なくする。

【0038】

＜記憶補助方法＞
図２は、記憶補助装置におけるタグ記録方法を表すフローチャート、図３は、記憶補助装置におけるタグ再生方法を表すフローチャートである。

【0039】

タグ記録方法において、図１および図２に示すように、ステップＳ１１にて、データ取得部２１は、ユーザの脳波、つまり、脳内活性化情報（脳活性化マップ）を取得する。ステップＳ１２にて、記録判定部３１は、タグ作成条件が成立したか否かを判定する。タグ作成条件とは、例えば、ユーザの行動変化の検出である。すなわち、記録判定部３１は、ユーザの脳内活性化情報（脳活性化マップ）から、ユーザの行動変化を推定し、ユーザの行動変化があったか否かを判定する。ここで、記録判定部３１は、タグ作成条件が成立していない、つまり、ユーザの行動変化がないと判定（Ｎｏ）すると、このルーチンを抜ける。

【0040】

一方、記録判定部３１は、タグ作成条件が成立している、つまり、ユーザの行動変化があったと判定（Ｙｅｓ）すると、ステップＳ１３にて、タグを作成する。すなわち、タグ作成部３２は、対象物と、一つ以上のキーワードと、脳活性化マップと、映像と、音声とを関連付けたタグを作成する。なお、映像と音声は、少なくともいずれか一方あればよい。このとき、タグ作成部３２は、タグを作成するとき、脳内活性化情報（脳活性化マップ）に基づいた優先度を関連付けてもよい。

【0041】

ステップＳ１４にて、タグ作成部３２は、作成したタグを記憶部１４に記録する。

【0042】

タグ再生方法において、図１および図３に示すように、ステップＳ２１にて、データ取得部２１は、ユーザの脳波、つまり、脳内活性化情報（脳活性化マップ）を取得する。ステップＳ２２にて、再生判定部４１は、タグ検索条件が成立したか否かを判定する。タグ検索条件とは、例えば、対象物の再生想起信号の有無である。すなわち、再生判定部４１は、ユーザの脳内活性化情報（脳活性化マップ）を記憶部１４に記録されている判定用脳活性化マップと比較することで、例えば、ユーザが回想しているか否かを判定する。ここで、再生判定部４１は、タグ再生条件が成立していない、つまり、ユーザが回想していないと判定（Ｎｏ）すると、このルーチンを抜ける。

【0043】

一方、記録判定部３１は、タグ再生条件が成立している、つまり、ユーザが回想していると判定（Ｙｅｓ）すると、ステップＳ３３にて、タグ検索部４２は、脳内活性化情報に基づいて記憶部１４に記録された対象物のタグを検索する。タグ検索部４２は、例えば、現在のユーザの脳活性化マップに類似する記憶部１４に記憶された脳活性化マップを含むタグを検出する。また、タグ検索部４２は、キーワードを含むタグを検出する。このとき、タグ検索部４２は、複数のタグを検出したとき、タグに含まれる高優先度の順に検索する。また、タグ検索部４２は、脳内活性化情報に基づいたα波やβ波の検出に応じて、対象物のタグを検索するときのキーワード数を調整してもよい。

【0044】

ステップＳ２４にて、タグ検索部４２は、脳内活性化情報に基づいて検索されたタグに関連付けられた映像または音声を出力部１６に出力する。出力部１６は、入力した映像または音声を出力し、ユーザに聞かせることで、ユーザの回想を支援する。ユーザは、出力部１６が出力した映像または音声を聞き、対象物を思い出すことができる。

【0045】

［本実施形態の作用効果］
本実施形態の記憶補助装置は、視覚情報または聴覚情報を取得すると共に脳内活性化情報を取得するデータ取得部２１と、視覚情報により特定した対象物に対して視覚情報または聴覚情報と脳内活性化情報とキーワードを関連付けたタグを作成するタグ作成部３２と、タグを記録する記憶部１４とを備える。

【0046】

そのため、ユーザの視覚情報により特定した対象物に対して視覚情報または聴覚情報と脳内活性化情報とキーワードを関連付けたタグを作成して記録することで、ユーザが記憶することができなかった場合であっても、ユーザの情報を記憶部１４に記録することとなる。そのため、必要に応じて記憶部１４に記憶された情報の一部をユーザに提供することで、過去の記憶を思い出すときにユーザを支援することができる。

【0047】

本実施形態の記憶補助装置は、脳内活性化情報に基づいて記憶部１４に記録された対象物のタグを検索するタグ検索部４２と、検索されたタグに記録された視覚情報または聴覚情報を出力する出力部１６とを有する。そのため、ユーザが対象物を思い出そうとするとき、脳内活性化情報に基づいて対象物のタグを検索し、タグに記録された視覚情報または聴覚情報を出力することから、過去の記憶を思い出すユーザを支援することができる。

【0048】

本実施形態の記憶補助装置は、タグ検索部４２は、脳内活性化情報に基づいてタグを検出するときのキーワードの設定数を変更する。そのため、例えば、ユーザが緊張状態にあるとき、正確な情報をユーザに提示することができ、ユーザがリラックス状態にあるとき、検索条件を曖昧にして検索タグ数を複数とすることとなり、ユーザの状態に応じたタグの検索を行うことができる。

【0049】

本実施形態の記憶補助装置は、タグ作成部３２は、脳内活性化情報に基づいた優先度を関連付けてタグを作成する。そのため、例えば、ユーザの脳の脳活性度が低い状態の優先度を高くすることで、脳が活性化していないときの視覚情報が優先的に検索されることとなり、ユーザが記憶しにくかったときの情報が優先的に提供することができる。

【0050】

これまで本発明に係る記憶補助装置について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

【0051】

図示した記憶補助装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0052】

記憶補助装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0053】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【符号の説明】

【0054】

１０ 記憶補助装置
１１ 脳波検出部
１２ カメラ
１３ マイク
１４ 記憶部
１５ 処理部
１６ 出力部
２１ データ取得部
２２ 記録処理部
２３ 再生処理部
３１ 記録判定部
３２ タグ作成部
４１ 再生判定部
４２ タグ検索部
５１ 映像出力部
５２ 音声出力部

【図1】

【図2】

【図3】