IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

7357384海馬再生のデジタル強化のためのシステムおよび方法
<図1>
  • -海馬再生のデジタル強化のためのシステムおよび方法 図1
  • -海馬再生のデジタル強化のためのシステムおよび方法 図2
  • -海馬再生のデジタル強化のためのシステムおよび方法 図3
  • -海馬再生のデジタル強化のためのシステムおよび方法 図4
  • -海馬再生のデジタル強化のためのシステムおよび方法 図5
  • -海馬再生のデジタル強化のためのシステムおよび方法 図6A
  • -海馬再生のデジタル強化のためのシステムおよび方法 図6B
  • -海馬再生のデジタル強化のためのシステムおよび方法 図6C
  • -海馬再生のデジタル強化のためのシステムおよび方法 図6D
  • -海馬再生のデジタル強化のためのシステムおよび方法 図7
  • -海馬再生のデジタル強化のためのシステムおよび方法 図8
  • -海馬再生のデジタル強化のためのシステムおよび方法 図9
  • -海馬再生のデジタル強化のためのシステムおよび方法 図10
  • -海馬再生のデジタル強化のためのシステムおよび方法 図11
  • -海馬再生のデジタル強化のためのシステムおよび方法 図12
  • -海馬再生のデジタル強化のためのシステムおよび方法 図13
  • -海馬再生のデジタル強化のためのシステムおよび方法 図14
  • -海馬再生のデジタル強化のためのシステムおよび方法 図15
  • -海馬再生のデジタル強化のためのシステムおよび方法 図16
  • -海馬再生のデジタル強化のためのシステムおよび方法 図17
  • -海馬再生のデジタル強化のためのシステムおよび方法 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-28
(45)【発行日】2023-10-06
(54)【発明の名称】海馬再生のデジタル強化のためのシステムおよび方法
(51)【国際特許分類】
   G16H 20/70 20180101AFI20230929BHJP
   G06F 3/0481 20220101ALI20230929BHJP
【FI】
G16H20/70
G06F3/0481
【請求項の数】 30
(21)【出願番号】P 2021524284
(86)(22)【出願日】2019-11-08
(65)【公表番号】
(43)【公表日】2022-01-17
(86)【国際出願番号】 CA2019051595
(87)【国際公開番号】W WO2020093169
(87)【国際公開日】2020-05-14
【審査請求日】2022-11-01
(31)【優先権主張番号】1818322.8
(32)【優先日】2018-11-09
(33)【優先権主張国・地域又は機関】GB
(31)【優先権主張番号】3,030,000
(32)【優先日】2019-01-14
(33)【優先権主張国・地域又は機関】CA
(31)【優先権主張番号】62/792,082
(32)【優先日】2019-01-14
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】512080756
【氏名又は名称】ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント
【氏名又は名称原語表記】THE GOVERNING COUNCIL OF THE UNIVERSITY OF TORONTO
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ハニー,クリストファー
(72)【発明者】
【氏名】バレンセ,モーガン
(72)【発明者】
【氏名】マーティン,クリストファー
(72)【発明者】
【氏名】シア,アンドリュー
(72)【発明者】
【氏名】ホン,ブライアン
(72)【発明者】
【氏名】ニューサム,レイチェル
【審査官】今井 悠太
(56)【参考文献】
【文献】特開2010-092358(JP,A)
【文献】米国特許出願公開第2015/0379238(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
G06F 3/0481
(57)【特許請求の範囲】
【請求項1】
コンピュータを使用した海馬再生のデジタル強化のための1つ以上のプロセッサ上で行われるコンピュータ実装方法であって、前記方法は、
1つ以上のプロセッサ上で1つ以上のデジタル記憶を作成することであって、各デジタル記憶は、
前記デジタル記憶と関連付けられた属性をユーザーから受信すること、
捕捉されたデジタル記憶を前記ユーザーから受信すること、および
1つ以上の追加属性を前記デジタル記憶と関連付けること
によって作成されることと、
1つ以上のプロセッサ上で再生セッションを作成することであって、前記再生セッションは、
標的デジタル記憶を前記再生セッションに追加すること、および
1つ以上の他のデジタル記憶が前記標的デジタル記憶との共通性の評価基準を満足する場合に、かかる1つ以上の他のデジタル記憶を前記再生セッションに追加し、共通性の前記評価基準は少なくとも前記属性および前記追加属性に基づくこと
によって、1つ以上のデジタル記憶を含むことと、
前記再生セッションを所定の期間内に前記ユーザーに表示することと
を含む、方法。
【請求項2】
前記所定の期間は前記デジタル記憶の捕捉後の時間遅延を含む、請求項1に記載の方法。
【請求項3】
前記所定の期間は少なくとも4時間である、請求項2に記載の方法。
【請求項4】
前記所定の期間は、前記ユーザーが、前記デジタル記憶が捕捉された日に眠りにつくことが予期または予測される時間より前の時間窓を含む、請求項1に記載の方法。
【請求項5】
前記時間窓は2時間以内の持続時間である、請求項4に記載の方法。
【請求項6】
前記1つ以上のデジタル記憶を作成することは、
前記デジタル記憶と共に連想表現を生成することであって、前記連想表現は、背景色およびシンボルの少なくとも1つを含むことと、
前記それぞれのデジタル記憶が表示される場合に前記連想表現を表示することと
をさらに含む、請求項1に記載の方法。
【請求項7】
前記属性は、記録された音声、記録されたビデオ、および入力されたテキストの少なくとも1つを含む、請求項1に記載の方法。
【請求項8】
前記捕捉されたデジタル記憶は、ビデオ、画像、音声、およびテキストの少なくとも1つを含む、請求項1に記載の方法。
【請求項9】
前記追加属性は、日付、タイムスタンプ、位置座標、再生情報、顔認識スコア、および物体認識スコアの少なくとも1つを含む、請求項1に記載の方法。
【請求項10】
前記追加属性は、生のビデオ属性、圧縮されたビデオ属性、音声タグ属性、および重要度評価属性の少なくとも1つを含む、請求項1に記載の方法。
【請求項11】
前記追加属性は、日付およびタイムスタンプ属性、GPS座標属性、背景色属性、アイコン属性、および再生情報属性の少なくとも1つを含む、請求項1に記載の方法。
【請求項12】
1つ以上のデジタル記憶を前記作成することは、数値の重要度評価を各デジタル記憶に割り当てることをさらに含み、前記重要度評価は、相対的重要性を示すための高い重要度および相対的非重要性を示すための低い重要度として分類されている、請求項1に記載の方法。
【請求項13】
各作成されたデジタル記憶を複数のビンの1つと関連付けられたキューと関連付けることをさらに含み、前記標的デジタル記憶を前記再生セッションと関連付けることは、デジタル記憶を、選択されたビンからの前記キューの一番上から選択することをさらに含む、請求項12に記載の方法。
【請求項14】
各ビンは、関連付けられた齢および重要性を有し、各デジタル記憶は、前記デジタル記憶と関連付けられた前記齢および重要性に基づきそれぞれのビンと関連付けられる、請求項13に記載の方法。
【請求項15】
前記デジタル記憶を前記選択されたビンからの前記キューの一番上から選択することは、
比較的新しい齢および高い重要性と関連付けられた第1のビンから前記デジタル記憶を選択することと、
表示されていないデジタル記憶が前記第1のビンと関連付けられた前記キュー内に存在しない場合、比較的新しい齢および低い重要性と関連付けられた第2のビンから前記デジタル記憶を選択することと、
表示されていないデジタル記憶が前記第2のビンと関連付けられた前記キュー内に存在しない場合、比較的古い齢および高い重要性と関連付けられた第3のビンから前記デジタル記憶を選択することと、
表示されていないデジタル記憶が前記第3のビンと関連付けられた前記キュー内に存在しない場合、比較的古い齢および低い重要性と関連付けられた第4のビンから前記デジタル記憶を選択することと
を含む、請求項14に記載の方法。
【請求項16】
前記捕捉されたデジタル記憶は、空間的位置と関連付けられた一連のデジタル記憶を含み、前記再生セッションは、順番に表示される前記一連のデジタル記憶を含む、請求項1に記載の方法。
【請求項17】
海馬再生のデジタル強化のためのシステムであって、前記システムは、1つ以上のプロセッサとデータ記憶装置とを備え、前記1つ以上のプロセッサは、
1つ以上のデジタル記憶を作成するための記憶作成モジュールであって、各デジタル記憶は、
前記デジタル記憶と関連付けられた属性をユーザーから受信すること、
捕捉されたデジタル記憶を前記ユーザーから受信すること、および
1つ以上の追加属性を前記デジタル記憶と関連付けること
によって作成される、記憶作成モジュールと、
再生セッションを作成するための再生セッションモジュールであって、前記再生セッションは、
標的デジタル記憶を前記再生セッションとに追加すること、および
1つ以上の他のデジタル記憶が前記標的デジタル記憶との共通性の評価基準を満足する場合、かかる1つ以上の他のデジタル記憶を前記再生セッションに追加し、共通性の前記評価基準は少なくとも前記属性および前記追加属性に基づくこと、
によって、1つ以上のデジタル記憶を含む、再生セッションモジュールと、
前記再生セッションを所定の期間内に前記ユーザーに表示するための表示モジュールと
を実行するように構成される、システム。
【請求項18】
前記所定の期間は前記デジタル記憶の捕捉後の時間遅延を含む、請求項17に記載のシステム。
【請求項19】
前記所定の期間は少なくとも4時間である、請求項18に記載のシステム。
【請求項20】
前記所定の期間は、前記ユーザーが、前記デジタル記憶が捕捉された日に眠りにつくことが予期または予測される時間より前の時間窓を含む、請求項17に記載のシステム。
【請求項21】
前記時間窓は2時間以内の持続時間である、請求項20に記載のシステム。
【請求項22】
前記1つ以上のデジタル記憶を作成することは、
前記デジタル記憶と共に連想表現を生成することであって、前記連想表現は、背景色およびシンボルの少なくとも1つを含むことと、
前記それぞれのデジタル記憶が表示される場合に前記連想表現を表示することと
をさらに含む、請求項17に記載のシステム。
【請求項23】
前記追加属性は、日付、タイムスタンプ、位置座標、再生情報、顔認識スコア、および物体認識スコアの少なくとも1つを含む、請求項17に記載のシステム。
【請求項24】
前記追加属性は、生のビデオ属性、圧縮されたビデオ属性、音声タグ属性、および重要度評価属性の少なくとも1つを含む、請求項17に記載のシステム。
【請求項25】
前記追加属性は、日付およびタイムスタンプ属性、GPS座標属性、背景色属性、アイコン属性、および再生情報属性の少なくとも1つを含む、請求項17に記載のシステム。
【請求項26】
1つ以上のデジタル記憶を前記作成することは、数値の重要度評価を各デジタル記憶に割り当てることをさらに含み、前記重要度評価は、相対的重要性を示すための高い重要度および相対的非重要性を示すための低い重要度として分類されている、請求項17に記載のシステム。
【請求項27】
前記記憶作成モジュールは、各作成されたデジタル記憶を、複数のビンの1つと関連付けられたキューと関連付けることをさらに含み、前記標的デジタル記憶を前記再生セッションと関連付けることは、デジタル記憶を、選択されたビンからの前記キューの一番上から選択することをさらに含む、請求項26に記載のシステム。
【請求項28】
各ビンは、関連付けられた齢および重要性を有し、各デジタル記憶は、前記デジタル記憶と関連付けられた前記齢および重要性に基づきそれぞれのビンと関連付けられる、請求項27に記載のシステム。
【請求項29】
前記デジタル記憶を前記選択されたビンからの前記キューの一番上から選択することは、
比較的新しい齢および高い重要性と関連付けられた第1のビンから前記デジタル記憶を選択することと、
表示されていないデジタル記憶が前記第1のビンと関連付けられた前記キュー内に存在しない場合、比較的新しい齢および低い重要性と関連付けられた第2のビンから前記デジタル記憶を選択することと、
表示されていないデジタル記憶が前記第2のビンと関連付けられた前記キュー内に存在しない場合、比較的古い齢および高い重要性と関連付けられた第3のビンから前記デジタル記憶を選択することと、
表示されていないデジタル記憶が前記第3のビンと関連付けられた前記キュー内に存在しない場合、比較的古い齢および低い重要性と関連付けられた第4のビンから前記デジタル記憶を選択することと
を含む、請求項28に記載のシステム。
【請求項30】
前記捕捉されたデジタル記憶は、空間的位置と関連付けられた一連のデジタル記憶を含み、前記再生セッションは、順番に表示される前記一連のデジタル記憶を含む、請求項17に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
以下は一般に、認知のための支援技術に関し、より詳細には、海馬再生のデジタル強化のためのシステムおよび方法に関する。
【背景技術】
【0002】
記憶障害は、アルツハイマー病(AD)および、しばしばADに先行する軽度認知障害(MCI)に起因する最も一般的で衰弱させる認知機能障害である。記憶障害は、人の自己認識および自律性の感覚を減少させて、社会的孤立および鬱の悪循環となり、その結果として記憶障害を悪化させる。デジタル記憶増強(DMA)は一般に、日々のエピソードに関する情報を捕捉するための携帯機器を伴い、後の再考察および回想を可能にする。しかし、従来型のDMAアプローチに関連する様々な課題および実装問題があり得る。
【発明の概要】
【課題を解決するための手段】
【0003】
海馬再生のデジタル強化のためのコンピュータ実装方法が提供され、本方法は、1つ以上のデジタル記憶を作成することであって、各デジタル記憶は、そのデジタル記憶と関連付けられたタグをユーザーから受信し、捕捉されたデジタル記憶をユーザーから受信し、1つ以上の追加属性をデジタル記憶と関連付けることにより、作成されること;再生セッションを作成することであって、再生セッションは、標的デジタル記憶を再生セッションと関連付け、1つ以上の他のデジタル記憶が標的デジタル記憶との共通性の評価基準を満足する場合、かかる1つ以上の他のデジタル記憶を再生セッションと関連付けることにより、1つ以上のデジタル記憶を含み、共通性の評価基準は少なくとも追加属性に基づくこと;および再生セッションを所定の期間内にユーザーに表示することを含む。
【0004】
特定の事例では、所定の期間はデジタル記憶の捕捉後の時間遅延を含む。
【0005】
別の事例では、所定の期間は少なくとも4時間である。
【0006】
さらに別の事例では、所定の期間は、ユーザーが、そのデジタル記憶が捕捉された日に眠りにつくことが予期または予測される時間より前の時間窓を含む。
【0007】
さらに別の事例では、時間窓は2時間以内の持続時間である。
【0008】
さらに別の事例では、1つ以上のデジタル記憶を作成することは、デジタル記憶と共に連想表現を生成することであって、連想表現は、背景色およびシンボルの少なくとも1つを含むこと;ならびにそれぞれのデジタル記憶が表示される場合に連想表現を表示することをさらに含む。
【0009】
さらに別の事例では、タグは、記録された音声、記録されたビデオ、および入力されたテキストの少なくとも1つを含む。
【0010】
さらに別の事例では、捕捉されたデジタル記憶は、ビデオ、画像、音声、およびテキストの少なくとも1つを含む。
【0011】
さらに別の事例では、追加属性は、日付、タイムスタンプ、位置座標、再生情報、顔認識スコア、および物体認識スコアの少なくとも1つを含む。
【0012】
さらに別の事例では、追加属性は、生のビデオ属性、圧縮されたビデオ属性、音声タグ属性、および重要度評価属性の少なくとも1つを含む。
【0013】
さらに別の事例では、追加属性は、日付およびタイムスタンプ属性、GPS座標属性、背景色属性、アイコン属性、および再生情報属性の少なくとも1つを含む。
【0014】
さらに別の事例では、1つ以上のデジタル記憶を作成することは、数値の重要度評価を各デジタル記憶に割り当てることをさらに含み、重要度評価は、相対的重要性を示すための高い重要度および相対的非重要性を示すための低い重要度として分類されている。
【0015】
さらに別の事例では、本方法は、各作成されたデジタル記憶を複数のビンの1つと関連付けられたキューと関連付けることをさらに含み、標的デジタル記憶を再生セッションと関連付けることは、デジタル記憶を、選択されたビンからのキューの一番上から選択することをさらに含む。
【0016】
さらに別の事例では、各ビンは、関連付けられた齢および重要性を有し、各デジタル記憶は、そのデジタル記憶と関連付けられた齢および重要性に基づきそれぞれのビンと関連付けられる。
【0017】
さらに別の事例では、デジタル記憶を、選択されたビンからのキューの一番上から選択することは、比較的新しい齢および高い重要性と関連付けられた第1のビンからデジタル記憶を選択すること;表示されていないデジタル記憶が第1のビンと関連付けられたキュー内に存在しない場合、比較的新しい齢および低い重要性と関連付けられた第2のビンからデジタル記憶を選択すること;表示されていないデジタル記憶が第2のビンと関連付けられたキュー内に存在しない場合、比較的古い齢および高い重要性と関連付けられた第3のビンからデジタル記憶を選択すること;ならびに表示されていないデジタル記憶が第3のビンと関連付けられたキュー内に存在しない場合、比較的古い齢および低い重要性と関連付けられた第4のビンからデジタル記憶を選択すること、を含む。
【0018】
さらに別の事例では、捕捉されたデジタル記憶は、空間的位置と関連付けられた一連のデジタル記憶を含み、再生セッションは、順番に表示される一連のデジタル記憶を含む。
【0019】
別の態様では、海馬再生のデジタル強化のためのシステムが提供され、本システムは、1つ以上のプロセッサおよびデータ記憶装置を含み、1つ以上のプロセッサは、1つ以上のデジタル記憶を作成するための記憶作成モジュールであって、各デジタル記憶は、そのデジタル記憶と関連付けられたタグをユーザーから受信し、捕捉されたデジタル記憶をユーザーから受信し、1つ以上の追加属性をデジタル記憶と関連付けることにより、作成されること;再生セッションを作成するための再生セッションモジュールであって、再生セッションは、標的デジタル記憶を再生セッションと関連付け、1つ以上の他のデジタル記憶が標的デジタル記憶との共通性の評価基準を満足する場合、かかる1つ以上の他のデジタル記憶を再生セッションと関連付けることにより、1つ以上のデジタル記憶を含み、共通性の評価基準は少なくとも追加属性に基づくこと;および再生セッションを所定の期間内にユーザーに表示するための表示モジュール、を実行するように構成される。
【0020】
特定の事例では、所定の期間はデジタル記憶の捕捉後の時間遅延を含む。
【0021】
別の事例では、所定の期間は少なくとも4時間である。
【0022】
さらに別の事例では、所定の期間は、ユーザーが、そのデジタル記憶が捕捉された日に眠りにつくことが予期または予測される時間より前の時間窓を含む。
【0023】
さらに別の事例では、時間窓は2時間以内の持続時間である。
【0024】
さらに別の事例では、1つ以上のデジタル記憶を作成することは、デジタル記憶と共に連想表現を生成することであって、連想表現は、背景色およびシンボルの少なくとも1つを含むこと;ならびにそれぞれのデジタル記憶が表示される場合に連想表現を表示することをさらに含む。
【0025】
さらに別の事例では、追加属性は、日付、タイムスタンプ、位置座標、再生情報、顔認識スコア、および物体認識スコアの少なくとも1つを含む。
【0026】
さらに別の事例では、追加属性は、生のビデオ属性、圧縮されたビデオ属性、音声タグ属性、および重要度評価属性の少なくとも1つを含む。
【0027】
さらに別の事例では、追加属性は、日付およびタイムスタンプ属性、GPS座標属性、背景色属性、アイコン属性、および再生情報属性の少なくとも1つを含む。
【0028】
さらに別の事例では、1つ以上のデジタル記憶を作成することは、数値による重要度評価を各デジタル記憶に割り当てることをさらに含み、重要度評価は、相対的重要性を示すための高い重要度および相対的非重要性を示すための低い重要度として分類されている。
【0029】
さらに別の事例では、メモリ作成モジュールは、各作成されたデジタル記憶を複数のビンの1つと関連付けられたキューと関連付けることをさらに含み、標的デジタル記憶を再生セッションと関連付けることは、デジタル記憶を、選択されたビンからのキューの一番上から選択することをさらに含む。
【0030】
さらに別の事例では、各ビンは、関連付けられた齢および重要性を有し、各デジタル記憶は、そのデジタル記憶と関連付けられた齢および重要性に基づきそれぞれのビンと関連付けられる。
【0031】
さらに別の事例では、デジタル記憶を、選択されたビンからのキューの一番上から選択することは、比較的新しい齢および高い重要性と関連付けられた第1のビンからデジタル記憶を選択すること;表示されていないデジタル記憶が第1のビンと関連付けられたキュー内に存在しない場合、比較的新しい齢および低い重要性と関連付けられた第2のビンからデジタル記憶を選択すること;表示されていないデジタル記憶が第2のビンと関連付けられたキュー内に存在しない場合、比較的古い齢および高い重要性と関連付けられた第3のビンからデジタル記憶を選択すること;ならびに表示されていないデジタル記憶が第3のビンと関連付けられたキュー内に存在しない場合、比較的古い齢および低い重要性と関連付けられた第4のビンからデジタル記憶を選択すること、を含む。
【0032】
これらおよび他の態様が本明細書で企図されて説明される。前述の概要は、システムおよび方法の代表的な態様を示して、熟練した読者が以下の詳細な説明を理解するのを支援することが理解されるであろう。
【0033】
実施形態のさらなる理解は図面を参照すると得られるであろう。
【図面の簡単な説明】
【0034】
図1】実施形態に従った、海馬再生のデジタル強化のためのシステムのブロック図を示す。
図2】実施形態に従った、海馬再生のデジタル強化のための方法の流れ図を示す。
図3】デジタル記憶の例示的なブロック図を示す。
図4図1のシステムに従った、例示的なデジタル記憶格納アーキテクチャのブロック図を示す。
図5図1のシステムに従った、別の例示的なデジタル記憶格納アーキテクチャのブロック図を示す。
図6A図1のシステムに従った、例示的なデジタル記憶のスクリーンショットを示す。
図6B図1のシステムに従った、図6Aの例における再生セッションの状態のブロック図を示す。
図6C図1のシステムに従った、図6Aの例におけるデジタル記憶に対する構成要素属性スコアをリストする表を示す。
図6D図1のシステムに従った、図6Aの例における再生セッションの状態の後のブロック図を示す。
図7図2の方法に従った、再生セッションデジタル記憶選択のための方法の流れ図を示す。
図8図1のシステムに従った、ホーム画面の例を示す。
図9図1のシステムに従った、デジタル記憶の作成のための画面進行の一例を示す。
図10図1のシステムに従った、再生セッションの表示のための画面進行の一例を示す。
図11図1のシステムを使用した実験例の結果を示す棒グラフである。
図12図11の実験例に対するfMRIスキャンを示す。
図13図1のシステムを使用した別の実験例の結果を示す棒グラフである。
図14図1のシステムを使用したさらに別の実験例の結果を示す棒グラフである。
図15図1のシステムを使用したさらに別の実験例の結果を示す棒グラフである。
図16図1のシステムを使用したさらに別の実験例の結果を示す棒グラフである。
図17図16の実験例のさらなる結果を示す棒グラフである。
図18図1のシステムを使用したさらに別の実験例の結果を示す棒グラフである。
【発明を実施するための形態】
【0035】
実施形態はここで、図を参照して説明される。説明を簡潔かつ明確にするために、適切であると考えられる場合、参照番号は、対応する要素または類似要素を示すために、図の間で繰り返され得る。加えて、多数の特定の詳細は、本明細書で説明される実施形態の完全な理解を提供するために記載される。しかし、本明細書で説明される実施形態はこれら特定の詳細なしでも実施され得ることが当業者には理解されるであろう。他の例では、周知の方法、手順、および構成要素は、本明細書で説明される実施形態を曖昧にしないために、詳細には説明されていない。また、説明は、本明細書で説明される実施形態の範囲を制限するものと考えられるべきではない。
【0036】
本記述を通して使用される様々な用語は、文脈で別段の指示がない限り、次のように読まれて理解され得る:「または」は本明細書では、「および/または」と書かれているかのように、包括的である;単数の冠詞および代名詞は本明細書では、それらの複数形を含み、逆もまた同様である;同様に、性の区別のある代名詞はそれらの対応する代名詞を含み、そのため代名詞は本明細書で説明される何かを、単一の性による使用、実装、実行などに制限すると理解されるべきでない;「例示的(exemplary)」は「実例となる(illustrative)」または「例示する(exemplifying)」と理解されるべきであり、必ずしも他の実施形態よりも「好ましい(preferred)」と理解されるべきではない。用語に対するさらなる定義が、本明細書で記載され得、これらは、本記述を読んで理解されるように、それらの用語の以前および後の例に適用され得る。
【0037】
命令を実行する、本明細書で例示される任意のモジュール、ユニット、構成要素、サーバー、コンピュータ、端末、エンジン、または装置は、記憶媒体などのコンピュータ可読媒体、コンピュータ記憶媒体、または、例えば、磁気ディスク、光ディスク、もしくはテープなどのデータ記憶装置(取外し可能および/または固定型)へのアクセスを含むか、またはそうでなければアクセスし得る。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの、情報を格納するための任意の方法または技術で実装された揮発性および不揮発性、取外し可能および固定型媒体を含み得る。コンピュータ記憶媒体の例は、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)もしくは他の光学式記憶、磁気カセット、磁気テープ、磁気ディスク記憶もしくは他の磁気記憶装置、または所望の情報を格納するために使用でき、アプリケーション、モジュール、もしくは両方によってアクセスできる、任意の他の媒体を含む。任意のかかるコンピュータ記憶媒体は、装置の一部であるか、またはそれにアクセス可能もしくは接続可能であり得る。さらに、文脈で別段の明確な指示がない限り、本明細書で記載される任意のプロセッサまたはコントローラは、単一のプロセッサまたは複数のプロセッサとして実装され得る。複数のプロセッサは、アレイまたは分散され得、本明細書で参照される任意の処理機能は、たとえ単一のプロセッサが例示されていても、1つのプロセッサによって、または複数のプロセッサによって実行され得る。本明細書で説明される任意の方法、アプリケーション、またはモジュールは、かかるコンピュータ可読媒体によって格納されるか、または別の方法で保持されて、1つ以上のプロセッサによって実行され得るコンピュータ可読/実行可能命令を使用して実装され得る。
【0038】
デジタル記憶増強(DMA)への様々なアプローチは典型的には、日常生活から写真、音声、およびビデオを自動的に捕捉可能なウェアラブルハードウェア(例えば、カメラ)の開発に重点を置く。言い換えれば、それらは、デジタル記憶の作成を通じたライフロギング(life-logging)を重視し、それは神経生物学を利用した記憶システムの観点からすれば、出来事記憶の符号化に類似し得る。この文脈内で、自動化された写真またはビデオ捕捉は典型的には、ユーザー定義されたスケジュール(例えば、30秒おきに写真を撮る)によって制御され得、それは、環境状態変化(例えば、周囲の音または輝度における変化)を検出するセンサーによって柔軟に補完できる。
【0039】
典型的には、より小型で、より個別的なハードウェア追求の結果として、一部のDMA装置は、デジタル記憶を含む内容がウェアラブルカメラからコンピュータまたはスマートフォンのいずれかに転送されることを必要とする。プラットフォームにわたって、これは通常、有線、Wi-Fi、またはBluetooth接続を使用して達成される。次いでプラットフォーム固有のソフトウェアが使用されて、デジタル記憶を手動で精選してコンピュータまたはスマートフォン上に構成できる。ユーザーは次いで、自分の自由裁量で、管理ソフトウェア内の内容を再考察することができる。神経生物学を利用した記憶システムの観点からすれば、この再考察は、以前に符号化された出来事記憶の再生および/または取得に類似し得る
【0040】
これらのアプローチでは、再生は典型的には、促されず、構築されず、経時的に分散されない。典型的には、デジタル記憶は、それらがコンピュータまたはスマートフォンのいずれかに転送された後にだけ再考察することができる。その結果、内容が再考察されるかどうかはそもそも、忘れずにそれを行うユーザーに決定的に依存し得る。その上、ユーザーの動機づけは、写真およびビデオを代替装置にエクスポートするユーザーの能力ならびにプラットフォーム固有のソフトウェアを容易に使用するユーザーの能力に依存し得る。通常、内容は、一日の終わりに単一セッション内で再考察される得る。さらに、いくつかのアプローチでは、デジタル記憶は多くの場合、豊かさ(例えば、静止画像だけ)および/または記憶障害のある集団において別の方法では思い出すのが困難であり得る文脈情報を欠いており;従って、後に思い出すための助けにならない可能性がある。このように、かかるアプローチは、記憶の認知神経科学における進歩により任意の系統立てた方法で導かれない可能性がある。
【0041】
いくつかの事例では、集中学習は分散学習よりもはるかに効果的でないことが研究で実証されている。再考察/再生中、いくつかのDMA装置は、一般に、後で思い出すのに役立つ方法で、デジタル記憶を提示しない。ヒトの脳では、記憶の長期固定は、再生によって支援されると考えられている。具体的には、海馬として知られている脳領域は、記憶パターンを迅速に保存し、その後これらを使用して、脳の残りに対して経験を「再生」し、このようにして他の領域内で記憶痕跡を強化および相互接続すると考えられている。決定的に、出来事は、それらが元々起こったよりも遥かに速く海馬によって再生され、時空間文脈に基づいてグループ化され、再生は、前方および後方の両方で行うことができる(すなわち、エピソード内の出来事が逆に再生できる)。
【0042】
本明細書で説明される実施形態では、ユーザーに対して個別化される想起(recall)ルーチンが提供される。本実施形態では、好都合に、デジタル記憶は、機械学習手法および動的類似性推定を使用して選択できる。いくつかの実施形態では、再生セッションは、最初は、最近作成された高度に重要な内容を優先させる規則に基づいて選択された、単一のデジタル記憶を含む内容を中心に構築できる。最初の選択プロトコルは、個人にわたって共通する規則を使用できるが、いくつかの事例では、これらの規則は、各ユーザーに固有の入力(例えば、重要度評価)と相互に作用できる。特定の事例では、所与の再生セッションを含む後続のデジタル記憶は、長期の記憶固定を最適化する適応機械学習アプローチに基づいて選択できる。いくつかの実施形態では、機械学習アプローチは、再生のために最初に選択されたデジタル記憶と、1つ以上の他の以前に記録された出来事との間の類似性を定量化するために使用できる。類似性推定は、例えば、時空間近接、顔認識、物体認識、シーン認識、および同様のものに基づき得る。いくつかの事例では、類似性推定は、新しいデジタル記憶が作成されると動的に更新されて、再生ルーチンは、次第に最適化される再生に向かって継続的に進化できることを意味する。このように、本実施形態のいくつかは、個々のユーザーのレベル、および個々の再生セッションのレベルにおいて再生を調整できる。
【0043】
好都合に、本実施形態は、一般に、ユーザーによって判断できないパターンを判断し、かかるパターンに基づき、想起および再生をインテリジェントに適応させ得る。認知心理学では一般に、人の意識的知覚およびその後の記憶は根本的に注意(attention)にリンクされると考える。感覚系は一般に、意識的知覚のレベルにおいて容量限界を有し、ある人が日常生活で遭遇する刺激の大部分は注目されずに終わり得ることを意味する。具体的には、非注意性盲目の現象は、人は多くの場合、良く見える状態の刺激を、特にその刺激が複雑で動的である(例えば、ビデオ)場合、認知することができないという事実を記述する。その結果、人間の観察者は、デジタル記憶の多くの態様(例えば、ビデオ)に対して実際上「盲目の」可能性がある。任意の2つの出来事が有意味に関連している程度が、例えば、人々、物体、シーン、時間、および空間の複雑な共起によって決定されると仮定すると、これは特に重要である。一般に、注意力の制約を受けない、機械学習アプローチを使用することにより、本実施形態は、人間の観察者に注目されずに終わる可能性が高い共起のパターンの識別を可能にする。好都合に、本実施形態は、ユーザーにより意識して認知される情報の単なるサブセットではなく、デジタル記憶と関連付けられた利用可能な情報を使用して再生を最適化できる。追加として、本実施形態は、ユーザーによって注目されずに終わる可能性が高い有意味な関連を識別できる。例えば、これは、共起の以前のパターンの明確な気付きに関する宣言的知識がない場合に、事前暴露(prior exposure)から利益を得る挙動に反映され得る。本実施形態の確率的学習は、ユーザーの自覚的意識外で起こり得、いくつかの事例では、ヒトの海馬のそれに類似した計算機構を使用できる。具体的には、患者集団における事前調査で、海馬の完全性/機能が損傷している個人は、複数の刺激にわたる統計的規則性に基づき、それらの複雑性には関係なく、学習する能力において著しい機能障害を有することが明らかになっている。一般に、神経学的および認知的に健康な個人は、複数の複雑な刺激にわたる何らかの規則性を識別することが可能であるが、一般に、これらの規則性を、再生ルーチンの手動最適化に効果的に影響を及ぼし得る方法で意識して特性化することはできない。対照的に、本実施形態のいくつかは、機械学習によってサポートされる、適応統計学習の使用を通して、多数のエピソードにわたる有意味の関連の識別を好都合に可能にできる。
【0044】
本実施形態では、海馬再生のデジタル強化のためのシステム、方法およびコンピュータプログラムが提供される。この意味で、海馬再生のデジタル強化は、記憶強化を増大させるためのデジタル技術を提示する。一実施形態では、本システムは、ユーザーに対する実際のエピソードから聴覚および視覚データを捕捉し、その後、好都合な時に、これらのエピソードをユーザーに対して再生できる。好都合に、記憶痕跡は、海馬を介して内部的に生成される再生に加えて、外部装置からの再生を介して強化できる。特に、海馬再生をサポートする構造が損傷している可能性のある、記憶障害のある個人では、外部的に介在された再生が実質的な記憶利益(memory benefits)を生成し得る。
【0045】
一態様では、本明細書で開示される実施形態は、ユーザーによってではなく、システムによって促されて構築される海馬再生のデジタル強化を提供でき、海馬再生に対して行うように、一日を通して起こり得る。記憶記録を作成するためのプロンプトも自動化され得る。これらのインテリジェントオートメーションは展望的記憶に関する要求を最小化し、記憶捕捉および再生が一日を通して間隔を空けられるのを確実にして、毎日のエピソードの、関連して一貫性のある痕跡を提供するので、これらのインテリジェントオートメーションは有益であり得る。
【0046】
別の態様では、本明細書で開示される実施形態は、海馬の挙動を模倣する海馬再生のデジタル強化を提供できる。本システムは、再生すべき情報、および海馬再生のパラメータを記憶機能のより広範な考慮事項(例えば、干渉)と最適に一致させるための再生の特質(例えば、頻度、持続時間、速度、前方/後方構造、文脈的フレーミング、他のエピソードに対する空間的近接、他のエピソードとの関連での時間的順序、および再生の時刻)を選択し得る。例えば、出来事は、海馬により、それらが元々起こったよりも遥かに速く再生でき、再生は前方および後方の両方であり得る(すなわち、エピソード内の出来事は逆に再生できる)。
【0047】
別の態様では、本明細書で開示される実施形態は、文脈的再生を提供する海馬再生のデジタル強化を提供できる。
【0048】
以下の実施形態は一般に、海馬活動の強化に関連した技術的問題に対して、デジタル記憶増強(DMA)の実装を通して、技術的な解決策を提供する。一実施形態では、DMAシステムは、健常、リスクがある、または記憶障害のいずれかの集団におけるユーザーに対して、個人的に経験した出来事に対する記憶を改善するために使用できる。一実施形態では、本システムは、注目すべき出来事のビデオを捕捉して、例えば、重要性による、スコアに従い、これらの分類されたビデオをユーザーに対して再生することにより、出来事固有のデジタル記憶を現実のエピソードから作成するために使用できる。DMAシステムは、認知心理学および認知神経科学の原理を考慮して、再生の構造およびタイミングを使用することにより海馬活動を強化できる。一実施形態では、本システムは、ビデオに対する記憶想起を最適化するために、以前に記録された出来事を、迅速な方法で、ユーザーの一日を通して何度も再考察するためにユーザーに所定のリマインダを提供するために使用できる。このように、好都合に、本システムは、その対応する神経生物学的裏付けと共に認知記憶を強化できる。
【0049】
図1を参照すると、一実施形態に従った、海馬再生150のデジタル強化のためのシステムが示されている。この実施形態では、システム150は、クライアント側装置(例えば、スマートフォンまたはタブレット)上で実行される。さらなる実施形態では、システム150は任意の他のコンピューティング装置、例えば、デスクトップコンピュータ、ラップトップコンピュータ、サーバー、スマートウォッチ、または同様のもの、上で実行できる。
【0050】
いくつかの実施形態では、システム150の構成要素は、単一のコンピューティングシステムによって格納されて、その上で実行される。他の実施形態では、システム150の構成要素は、ローカルまたはリモートに分散され得る2つ以上のコンピュータシステムの間で分散される。
【0051】
図1は、システム150の一実施形態の様々な物理的および論理的構成要素を示す。図のように、システム150は、中央処理装置(「CPU」)152(1つ以上のプロセッサを含む)、ランダムアクセスメモリ(「RAM」)154、ユーザーインタフェース156、捕捉インタフェース158、ネットワークインタフェース160、不揮発性ストレージ162、およびCPU152が他の構成要素と通信するのを可能にするローカルバス164を含む、いくつかの物理的および論理的構成要素を有する。CPU152は、以下でさらに詳細に説明されるように、オペレーティングシステム、および様々なモジュールを実行する。RAM154は、比較的すぐ応答する揮発性ストレージをCPU152に提供する。ユーザーインタフェース156は管理者またはユーザーが、入力装置、例えば、マウスまたはタッチスクリーン、を経由して入力を提供するのを可能にする。ユーザーインタフェース156はまた、情報を、ディスプレイまたはスピーカーなどの、出力装置に出力できる。いくつかの事例では、ユーザーインタフェース156は、入力装置および出力装置を同一装置に(例えば、タッチスクリーンによって)できる。捕捉インタフェース158は、「デジタル記憶」を捕捉するために1つ以上の捕捉装置180と通信する。1つ以上の捕捉装置180は、例えば、ビデオ捕捉装置、音声捕捉装置、または同様のものであり得る。さらなる実施形態では、捕捉インタフェース158は、既に捕捉されたデジタル記憶をローカルデータベース166、またはネットワークインタフェース160を経由してリモートデータベースから取得できる。「デジタル記憶」は本明細書では、ユーザーに生じた出来事を表す設定された長さの静止画像、ビデオ、音声またはこれらのいずれかの記録を意味すると理解される。かかるデジタル記憶の内容は本明細書でさらに詳細に説明される。
【0052】
ネットワークインタフェース160は、他のコンピューティング装置および、典型的なクラウドベースアクセスモデルに対してなど、システム150からリモートに配置されたサーバーなどの、他のシステムとの通信を可能にする。不揮発性ストレージ162は、オペレーティングシステムおよびプログラムを格納し、オペレーティングシステムおよびモジュールを実装するためのコンピュータ実行可能命令、ならびにこれらのサービスによって使用される任意のデータを含む。以下で説明されるように、追加の格納データは、データベース116内に格納できる。システム150の動作中、オペレーティングシステム、モジュール、および関連データは、実行を容易にするために、不揮発性ストレージ162から取得されてRAM154内に配置され得る。
【0053】
一実施形態では、システム150は、1つ以上のプロセッサ152上で実行されるいくつかの概念的モジュールをさらに含み、記憶作成モジュール170、再生セッションモジュール172、機械学習モジュール174、および表示モジュール176を含む。
【0054】
図2は、一実施形態に従った、海馬再生のデジタル強化のための方法200を示す。方法200の一部として、デジタル記憶が、記憶作成モジュール170によりデジタル海馬記憶作成202を経て作成でき、1つ以上の海馬記憶の再生セッションが、再生セッションモジュール172によりデジタル海馬記憶再生250を経て作成されて提示できる。
【0055】
デジタル海馬記憶作成202では、ブロック204で、記憶作成モジュール170が対象デジタル記憶と共に連想表現を生成する。特定の事例では、連想表現は固有の背景色を含み得る。別の事例では、連想表現は、固有のシンボルを単独で、または固有の背景色と組み合わせて含むことができる。シンボルは、例えば、シルエット化された物体であり得る。
【0056】
ブロック206で、ユーザーインタフェース156または、対象デジタル記憶によって捕捉された出来事の概要または要点を捕捉する、捕捉インタフェース158を介して、記憶作成モジュール170によりユーザーからタグが受信される。タグは、例えば、記録された音声、記録されたビデオ、入力されたテキスト、または同様のものであり得る。特定の事例では、記録された音声もしくはビデオは時間制限されている(例えば、8秒)か、または入力されたテキストは文字制限されている(例えば、150文字)。
【0057】
ブロック208で、記憶作成モジュール170は、ユーザーにより1つ以上の捕捉装置180で捕捉された対象デジタル記憶を受信する。本実施形態はデジタル記憶をビデオとして記述しているが、任意の他の適切なタイプの捕捉媒体、例えば、画像、音声、説明文、または同様のもの、が企図される。特定の事例では、捕捉されたデジタル記憶は時間制限されている(例えば、24秒)。
【0058】
ブロック210で、記憶作成モジュール170は、ユーザーからユーザーインタフェース156を介して重要度評価を受信する。重要度評価は、関連付けられた出来事の相対的重要性を示すために、対象デジタル記憶と関連付けられる。一例では、重要度評価は、5を最重要として、1~5のスコア上であり得る。
【0059】
ブロック212で、いくつかの事例では、記憶作成モジュール170は、1つ以上の追加属性をデジタル記憶と関連付けることができる。一例では、追加属性は、日付およびタイムスタンプ、位置座標、再生情報、顔認識スコア、シーン認識スコア、および物体認識スコアの1つ以上を含み得る。
【0060】
ブロック202~212は、各後続のデジタル記憶を作成するために記憶作成モジュール170によって繰り返され得る。
【0061】
デジタル海馬記憶再生250では、ブロック252で、再生セッションモジュール172は、対象の再生セッションに対して、本明細書で説明されるとおり、所定の属性プロパティを有する、最初の標的デジタル記憶を選択する。ブロック254で、いくつかの事例では、再生セッションモジュール172は、本明細書で説明されるように、対象の再生セッションに対して標的デジタル記憶との共通性を持つ1つ以上の他のデジタル記憶を選択する。いくつかの事例では、共通性は、各デジタル記憶と関連付けられた追加属性に基づく。
【0062】
ブロック256で、表示モジュール176は、対象の再生セッション内のデジタル記憶の各々をユーザーに表示する。いくつかの事例では、デジタル記憶は制限された時間(例えば、24秒)、表示される。いくつかの事例では、デジタル記憶は高速化して表示される(例えば、24秒の記録が、8秒の長さまで高速化される)。いくつかの事例では、各それぞれの再生セッション前、再生セッション中、または再生セッション後に、表示モジュール176はそれぞれの連想表現をユーザーに表示する。連想表現は、別個に表示される画面内でデジタル記憶の前、または後に表示できる。連想表現は、デジタル記憶中にデジタル記憶の表示の上、または横に表示できる。
【0063】
ブロック252~256は、後続の再生セッションを表示するためにシステム350によって繰り返され得る。
【0064】
図3を参照すると、一実施形態に従った、デジタル記憶300の内容の例示的な概念的ブロック図が示されている。一実施形態では、各概念的デジタル記憶は「出来事(event)」と関連付けられ、複数の属性を、それぞれのデジタル記憶に対する対応する値と共に含む。一実施形態では、各属性は、i)ユーザー指定の入力310属性、ii)システム指定の入力320属性、またはiii)機械学習アルゴリズムからの入力330属性、の1つ以上に含まれ得る。
【0065】
一実施形態では、ユーザー指定の入力310属性は、生のビデオ311属性、圧縮されたビデオ312属性、音声タグ313属性および重要度評価314属性を含むことができる。生のビデオ311属性は、それぞれのデジタル記憶と関連付けられた1つ以上の生のビデオファイル、例えば、24秒の生ビデオ、を含むことができる。圧縮されたビデオ312属性は、それぞれのデジタル記憶と関連付けられた、生のビデオファイルから圧縮された、例えば、8秒に圧縮された、1つ以上の圧縮されたビデオファイルを含むことができる。さらなる実施形態では、圧縮係数は3倍以上または未満であり得る。いくつかの事例では、音声は圧縮されたビデオから取り除くことができる。音声タグ313属性は、出来事の高レベル要約と関連付けられた音声記録を含み得る。各音声タグ313は、関連付けられた圧縮ビデオと結合できる。特定の事例では、音声タグ313は、関連付けられた圧縮ビデオと概ね同じ長さを有することができ、例えば、同様に8秒の長さを有する。重要度評価314属性は、出来事と関連付けられた、ユーザー提供の評価、または自動生成された評価を含み得る。例示的な事例では、評価は、例えば、5を最も重要な出来事とし、1を最も重要でない出来事として、1~5の数値スケール上であり得る。
【0066】
一例では、ビデオ処理は、デジタル記憶の作成直後に開始できる。この例では、24秒の生のビデオ311が、時間的に3倍に圧縮されて、8秒の高速化圧縮されたビデオ312を生じる。いくつかの事例では、かかる圧縮係数は、げっ歯類の脳における物理的な海馬再生において見られるよりも少ない可能性があるが、本発明人は、異なる圧縮係数およびビデオ長の使用を通して、さらなる圧縮は人間のユーザーに対して混乱させ得ると経験的に判断している。いくつかの事例では、本明細書で説明されるとおり、再生中に音声タグがビデオと同時に再生できるように、音声は圧縮されたビデオから取り除くことができる。
【0067】
一実施形態では、各それぞれのデジタル記憶と関連付けられたシステム指定の入力320属性は、日付およびタイムスタンプ321属性、GPS座標322属性、背景色323属性、アイコン324属性、および再生情報325属性を含み得る。一例では、再生情報325属性は、デジタル記憶の全再生のカウント、日付、および時間を含む、記憶固有の再生統計値のログを含み得る。
【0068】
一実施形態では、機械学習入力330属性は、顔認識331属性、シーン認識332属性、および物体認識333属性を含み得る。
【0069】
物体認識のために、任意の適切な機械学習モデル、方法論、ツール、またはパラダイムが使用できる。一例では、TensorFlowに組み込まれた物体検出APIを介してアクセス可能な、MobileNetニューラルネットワークモデルが使用できる。この物体および顔検出モデルは、モバイル機器上での低遅延および効率的な性能のために最適化される。ほとんどの場合、かかるモデルは、(i)それらが、多数(>50)の物体カテゴリに対するアクセスを、画像内でのそれらの空間的位置と共に提供する場合、および(ii)完全一致の存在(例えば、同一人物)がビデオ全体にわたって識別できるように、顔および物体の詳細な(例えば、ベクトル)表現を提供する場合に好都合である。ほとんどの場合、情報のこれらの項目は、基本的な出来事情報を抽出して出来事の類似性を測定するために十分である。ビデオの動態に基づくさらなる拡張も可能である。
【0070】
図4を参照すると、例示的なデジタル記憶格納アーキテクチャ400のブロック図が示されている。この実施形態では、デジタル記憶の各々は、複数の概念的「ビン」の1つに、特定の例では、4つのかかるビンの1つ内に、格納できる。この例には4つのビンが例示されているが、各々がそれらと関連付けられたある属性を有する、任意の適切な数のビンが企図される。いくつかの事例では、ビンの索引付けは、記憶固有の方法で動的に更新でき、例えば、24時間後に、記憶は、それぞれ、ビン1および2からビン3および4へ「移行」できる。特定の事例では、各ビンは関連付けられた齢および重要度を有することができ、デジタル記憶は、それらの齢および重要度に従い、ビンでソートされる。
【0071】
この例では、ビン1 401は、高い重要度評価(例えば、3~5の間のスコア)を有する新しい記憶(例えば、24時齢未満のもの)と関連付けることができ、ビン2 402は、低い重要度評価(例えば、1~3の間のスコア)を有する新しい記憶と関連付けることができ、ビン3 403は、高い重要度評価(例えば、3~5の間のスコア)を有する古い記憶(例えば、24時齢を上回るもの)と関連付けることができ、ビン4 404は、低い重要度評価(例えば、1~3の間のスコア)を有する古い記憶(例えば、24時齢を上回るもの)と関連付けることができる。
【0072】
図4に示される例では、新しいデジタル記憶「(8)グレッグとリハーサル」が作成され、ユーザーは、ユーザーインタフェース156を使用した入力を介して、4の重要度評価(高い重要度評価)を関連付ける。このデジタル記憶は次いで、ビン1 401のキューの一番上に追加できる。別の新しいデジタル記憶「(9)歯科医の予約」が作成され、ユーザーは、入力を介して、2の重要度評価(低い重要度評価)を関連付ける。そのデジタル記憶は次いで、ビン2 402のキューの一番上に追加される。24時間周期の後、ビン1 401内のデジタル記憶は、ビン3 403のキューの一番上に移動される。追加として、ビン2 402内のデジタル記憶は、ビン4 404のキューの一番上に移動される。24時間周期の後、新しいデジタル記憶「(10)猛禽類ゲーム」が作成されて、ユーザーは、入力を介して5の重要度評価(高い重要度評価)を関連付ける。このデジタル記憶は、ビン1 401のキューの一番上に追加される。
【0073】
この例では、デジタル記憶は各ビン内に「キュー登録」でき、そのため新しい記憶はかかるビン内のデジタル記憶の再生選択のためのキューの一番上に追加できる。この例では、デジタル記憶が再生された後、それはそれぞれのビンのキューの最後に移動できる。「(8)グレッグとリハーサル」などの、図4で使用されているテキストラベルは、読者の参照のためである。それらは、例えば、デジタル記憶の内容またはデジタル記憶(例えば、ビデオ)と関連付けられた音声タグを示し得る。ビデオと関連付けられている音声タグの事例では、音声タグはビデオ再生セッション時に再生できる。
【0074】
図5を参照すると、図4のビンを使用する、例示的なデジタル記憶再生アーキテクチャ600のブロック図が示されている。いくつかの事例では、1つ以上のデジタル記憶から成る再生セッション中に、全部のデジタル記憶が提示される必要があるわけではない。むしろ、各再生セッションは、デジタル記憶のサブセット、例えば、最大で5つのデジタル記憶まで、の再生を含むことができる。一例では、再生セッションは、状況的に分かっている文脈内に埋め込まれた内容の同日再生を強調する選択基準を中心に構築できる。この選択基準は、最近作成されたデジタル記憶をビン1 401のキュー内に固着することにより、再生セッションモジュール172によって決定できる。この例では、再生セッションは、記憶8によって固着できる。次いで、ビン1 401から選択された固着されたデジタル記憶に最も類似しているデジタル記憶が、再生セッションに追加するために選択できる。この例では、追加されるデジタル記憶はデジタル記憶6、デジタル記憶2、およびデジタル記憶1である。再生セッションのためにデジタル記憶が選択された後、各ビン内のキューは、再生の新近性(recency)を反映するように変更できる。この例では、デジタル記憶8はビン1 401の最後に入れ替られ、デジタル記憶6、デジタル記憶2、およびデジタル記憶1はビン3 403と関連付けられたキューの最後に移動される。
【0075】
本実施形態の意図する実質的な利点は、システム350が、ユーザーが記録した内容に基づき、デジタル記憶をインテリジェントかつ自動的に精選するための能力である。このように、本実施形態は、デジタル記憶を再生時に、ユーザーと関連付けられた認知神経科学的原理と好都合に一致するような方法で、クラスタ化することが可能である。例えば、健康な脳では、記憶は典型的には、首尾一貫して編成され、1つの記憶は別の関連記憶につながる。従って、システム350は好都合に、海馬再生をシミュレートし、このように、有意味に結合された記憶間の関係を強化することにより、単一の出来事に対する記憶をブーストできる。例えば、人々のレベルおよび出来事の特質における共通性に基づく。
【0076】
一実施形態では、前述の共通性を判断するという技術的問題は、例えば、デジタル記憶の様々な態様(例えば、顔識別、位置、および設定)の自動検出を可能にする機械学習モジュール174によるマシンビジョン技術を使用して、克服できる。いくつかの実施形態では、デジタル記憶をクラスタ化し、それにより同じクラスタ内のデジタル記憶が有意味に結合できるようにするために、顔およびシーン分類のためのマシンビジョン技術が機械学習モジュール174によって使用できる。いくつかの事例では、機械学習モジュール174によるマシンビジョンモデルの訓練は、リモートコンピューティング装置上で行われ得る。訓練データは、ラベル付けされた画像のデータベース(例えば、いくつかの事例では、数十万のかかるラベル付けされた画像)を含むことができる。特定の事例では、マシンビジョンモデルは、別個のモデル、顔、物体、およびシーン認識の各々検出するためのモデルの少なくとも1つ、を含むことができる。一旦、顔、物体、およびシーン認識モデルが機械学習モジュール174によって訓練されると、それらは、ユーザーの装置、例えば、スマートフォン上に効率的に配備できる縮小された形にパッケージ化できる。
【0077】
本実施形態では、機械学習モデルは、マシンビジョンモデルまたは他の適切な分類アプローチであり得る。他のアプローチの特定の例では、マシンビジョン技術は、画像分類のための「ランダムフォレスト」モデルに依存できる。ビデオに対するラベルを取得できる任意の適切な機械学習モデルが使用できる。
【0078】
いくつかの事例では、機械学習モデルの訓練は、1つの装置に記録されたシーン内の特定の実体(例えば、レストランにおける、特定の人、ジョン)を他のシーン内の特定の実体(例えば、自宅のリビングルームにいるジョン)に対して比較することを含み得る。
【0079】
いくつかの事例では、顔、物体、およびシーン認識モデルは別々のモデルであり得、他の事例では、顔、物体、およびシーン認識は同じモデルであり得る(またはそうでなければ結合され得る)。いくつかのマシンビジョン技術は、顔および物体を認識して、両方のパラメータを同時に出力できる。顔、シーンおよび物体の出力は、出来事の類似性を判断するために後に結合できる。いくつかの事例では、物体認識モデルは物体を探し得る、例えば、テーブル、椅子、ナイフ、フォーク、窓、ボトル、猫、犬、または同様のもの。いくつかの事例では、シーン認識モデルはシーンを探すことができる、例えば、屋内もしくは屋外分類、レストラン、運動場、寝室、オフィス、教会、または同様のもの。実施形態例では、認識モデルは、Tensor Flowを使用してモバイル上に配備できる。例示的な実施形態では、モバイル機器に適した(例えば、MobileNetバージョン1または2)、配備されるマシンビジョン技術が使用され得る。
【0080】
機械学習モジュール174によるマシンビジョンモデルの判断を使用して、再生セッションモジュール172は、人、シーン、および物体属性の少なくとも1つにおける値の比較に基づき、任意の2つの出来事間の類似性を判断できる。いくつかの事例では、比較は、地理空間内での近接を判断するために、各デジタル記憶が捕捉された場所と関連付けられたGPS座標の比較も含み得る。従って、再生セッションモジュール172は、2つの別個のデジタル記憶が、人、シーン、物体、および位置の少なくとも1つにおいて一定の共通性を有する場合、それらは最も高い共通性スコアを有すると判断できる。逆に、再生セッションモジュール172は、2つの記憶が異なるシーン、人、物体、および位置の少なくとも1つに対して低い程度の共通性しか有していない場合、それらは最も低い類似性を有すると判断できる。好都合に、複数のデジタル記憶の再生セッションは、例えば、元の記憶が生じた時によってだけでなく、誰がそこにいたか、何が起こっていたかなどの他の態様によっても、リンクされる複数の記録された出来事を含むことができる。いくつかの事例では、デジタル記憶のかかるクラスタ化は、新しいデジタル記憶が追加されるときに継続的に更新でき、従って、クラスタ化は各追加のたびにますます改善されるようになり得る。一例では、顔認識は、OpenCV Face DetectおよびOpenCV Face Recogライブラリの実行を含み得る。一例では、物体検出はAndroid-Object-Detectionライブラリの実行を含み得る。一例では、MobileNetバージョン1が、TensorFlowによって実装できる。一例では、ビデオ全部の圧縮されたベクトル表現がマシンビジョンツールを使用して抽出される場合、再生セッションモジュール172は、全てのデジタル記憶を効率的に比較できる。
【0081】
ここで図6A~6Dを参照すると、機械学習技術および位置取得に基づくデジタル記憶クラスタ化の例が示されている。図5に関して説明したように、再生セッションモジュール172は、再生セッションに対して、ビン1内のキューの一番上にあるデジタル記憶に最も近い共通性スコアを有するデジタル記憶を選択する。標的デジタル記憶(ビン1内のキューの一番上にあるデジタル記憶)とストレージ内の他のデジタル記憶との間の類似性を判断するために、他のデジタル記憶および標的デジタル記憶の各々に共通性スコアを割り当てることができる。いくつかの事例では、共通性スコアは各対に対する構成成分スコアの加重平均であり得、構成成分スコアは、人、シーン、物体、および位置属性の少なくとも1つに対する共通性の測定基準である。
【0082】
図6Aは、ストレージ内の5つのあり得る生のデジタル記憶を例示する静止画像を示す。特定の事例では、これらの静止画像は、ある出来事を撮ったビデオを表す。5つの出来事は、デジタル記憶1 711としての「(1)グレッグと食事」、デジタル記憶2 712としての「(2)ビクトリア公園」、デジタル記憶3 713としての「(3)公園でピクニック」、デジタル記憶4 714としての「(4)ジャニスと食事」、およびデジタル記憶5 715としての「(5)グレッグとリハーサル」を含む。
【0083】
図6Bは、第1のデジタル記憶が再生のために選択された後の再生セッションの状態のブロック図を示す。この例では、再生のために選択された第1のデジタル記憶はデジタル記憶5 715であり、それは、ビン1と関連付けられたキューの中で最も高いデジタル記憶である。この例では、システム350は、再生セッションに含めるために、最大で4つの追加のデジタル記憶(疑問符のある円としてそこに示されている)を選択できる。選択される追加のデジタル記憶は、デジタル記憶5 715に最も類似していると判断されるものである。
【0084】
図6Cは、各デジタル記憶に対する構成成分属性スコアをリストする表を示す。表内の百分率は、特定の属性のデジタル記憶に対する寄与度を反映する。その表の右に、他のデジタル記憶に対するデジタル記憶5 715との共通性スコアの列が示されている。その列で、システム350は、対(5,1)に対する共通性スコアは0.68、対(5,2)に対しては0.04、対(5,3)に対しては0.09、対(5,4)に対しては0.56、および対(5,5)に対しては1であると判断する。この例では、対(5,1)および(5,4)に対する比較的高い共通性スコアは、人およびシーン属性における類似性に起因する。
【0085】
特定の事例では、マシンビジョンモデルは、シーンの百分率を出力できる(例えば、「55%の信頼性でこれはグレッグ」)。他の事例では、モデルが百分率を出力しない場合、出力のベクトルは、分割正規化操作によって百分率に変換できる。共通性スコアは、ユーザーとのやり取りを通して更新されている異なる属性に対する初期の重みに基づき機械学習モジュール174によって決定され得る。いくつかの事例では、GPS列で、記録された出来事と関連付けられた空間的座標(緯度および経度)を示すためにLat#およびLong#(例えば、Lat1およびLong1)が使用できる。
【0086】
図6Dは、再生のために追加のデジタル記憶が選択された後の再生セッションの状態に対するブロック図を示す。この例では、比較的高い共通性スコアに起因して、再生のために選択された第2のデジタル記憶はデジタル記憶4 714であり、再生のために選択された第3のデジタル記憶はデジタル記憶1 711である。
【0087】
システム350は好都合に、海馬再生をシミュレートして、状況的に分かっている文脈内に埋め込まれている同日再生を促進することにより記憶能力を最適化する。いくつかの事例では、再生挙動の大部分は初期の選択判断によって決定できる。一例では、図7は、本明細書で説明される実施形態に従い、最初の標的デジタル記憶および追加のデジタル記憶を選択する再生セッションデジタル記憶選択750のための方法を例示する。ブロック752で、ビン1と関連付けられたキューの一番上にあるデジタル記憶を選択するために初期選択が行われる。
【0088】
一実施形態では、システム350は、最近記録された、極めて重要な記憶(すなわち、ビン1)の再生を優先させる規則を使用できる。この実施形態では、初期選択はビン1に最初に問い合わせを行う。このようにして、最初の記憶がビン1キューの一番上(すなわち、完全に処理されている直近に記録された記憶)から取り出される。その後、その記憶はビン1キューの最後に送られる。いくつかの事例では、ビン1からの初期選択に対する例外があり得る。例えば、i)ビン1内に記憶がない場合、またはii)ビン1内の全部の記憶が過去24時間以内に既に2度再生されている場合。この例では、これらの事例では、初期選択はビン2内の記憶(すなわち、最近記録された、低い重要性の記憶)に問い合わせを行い、初期選択はビン2のキューの一番上から取り出されている。ブロック754において、一実施形態では、ビン1のキュー内のデジタル記憶が、過去24時間の間に既に2つの再生セッションに含まれている場合、次の初期選択はビン2から取り出される。この場合、ビン2から取り出されるデジタル記憶は、再生頻度によるランク序列後、ビン2と関連付けられたキューの一番上から選択される(すなわち、再生頻度が最も低い記憶)。いくつかの事例では、新しく作成された記憶がその後ビン1に追加された場合、後続の選択はビン1から取り出される。
【0089】
ブロック756において、いくつかの事例では、最近作成されたどのデジタル記憶も極めて重要であると評価されなかった場合、ビン1のキューは空である。この場合、システム350は、ビン2と関連付けられたキューの一番上からデジタル記憶を選択できる。3、4、または5の重要度評価は、極めて重要な出来事を示すと考えられている。1または2の評価は、低い重要性を反映すると考えられている。ブロック758で、少なくとも1日の間に新しい記憶が作成されていない場合、いくつかの事例では、ビン1およびビン2のキューは空であり得る。この事例では、システム350は、ビン3内のキューの一番上のデジタル記憶を選択できる。ビン3から選択することは、低い重要性の遠い出来事よりも、高い重要性の遠い出来事を優先させることを反映する。
【0090】
この実施形態では、ビン問合わせの順序は、ビン1、次いでビン2である。ビン1およびビン2内のキューの順序は、記録の新近性および再生の新近性によって決定される。この実施形態では、新しく記録された記憶がキューの一番上に追加される。キューの一番上からの記憶が再生されると、それらはキューの最後に入れ替られ、従って、古い記憶または以前に再生された記憶をキューの一番上に移動させる。いくつかの事例では、例外があり得る。例えば、ビン2の問合わせが呼び出されて、i)ビン2内に記憶がないか、またはii)ビン2内の全部の記憶が過去24時間以内に既に2度、再生されている場合。一例では、これらの場合、初期選択は、ビン3内の記憶(すなわち、遠い、高い重要性の記憶)に問い合わせを行い、初期選択はそのキューの一番上から取り出される。ビン3(およびビン4)内のキューの順序は、再生の頻度によって決定できる。例えば、記憶は、再生の頻度によって昇順にソートできる。従って、この例では、再生頻度が最も低い遠い記憶が一番上にあり、他方、最も頻繁に再生されているものが最後にある。ビンのキューの他の初期設定または順序が使用できることが企図される。ブロック760において、初期の標的デジタル記憶がどのビンから選択されたかに関係なく、システム350は、再生セッションに対して、共通性スコアに基づき標的デジタル記憶に文脈的に類似している他のデジタル記憶を選択する。ほとんどの場合、他のデジタル記憶は、それらがどのビンに割り当てられているかに関係なく、選択される。
【0091】
ブロック762において、いくつかの事例では、所定の閾値を上回る初期標的デジタル記憶との共通性スコアを有する他のデジタル記憶がないか、または低い共通性スコア(例えば、全てのスコアが0.1未満)をもつ他のデジタル記憶がわずかしかない場合、「関連する」記憶の選択は、類似性よりも再生頻度に基づき得る。このように、システム350は、ビン3および4のキュー内(従って、再生頻度に基づくランキング)のデジタル記憶のランク序列の一番下からデジタル記憶を選択できる。言い換えれば、概ね再生頻度が最も低いデジタル記憶が選択される。
【0092】
ブロック764で、システム350は、選択されたデジタル記憶をもつ再生セッションをユーザーに対して表示する。
【0093】
本開示の実施形態では、再生セッションデジタル記憶選択750のための方法は好都合に、出来事新近性およびユーザー提供の重要度評価に関連するビン属性を利用する。一般に、新近性属性(≦24時間前または>24時間前)は、海馬再生はより遠い出来事よりも最近の出来事を優先させることを示す実証研究に基づき得る。その上、より最近の出来事を再生することは、記憶の詳細がまだ利用可能な間に、それらの固定を可能にする。記憶が(減衰または干渉に起因して)劣化した後に記憶を再生することは、固定された記憶における豊かさおよび利用可能な詳細に関する上限を下げ得る。このように、最近の記憶および遠い記憶を異なるビンに格納することは、本明細書で説明されるように、好都合に、より新しい内容の優先順位付けを可能にする。
【0094】
いくつかの実施形態では、重要度属性(高い、または低い)は、ユーザーフィードバックに基づき得る。いくつかの事例では、個人を越えて、および個人の範囲内の両方で異なる理由により、ユーザーは時折、個人的な重要性がほとんどない内容を記録し得る。このように、ユーザーは、より有意味の記憶を犠牲にして、あまりに多くの重要でない記憶を再生することに起因して、うんざりし得る。好都合に、高い重要度および低い重要度の記憶を異なるビン内に格納することは、本実施形態の一部で説明されるように、重要な内容の優先順位付けを可能にする。
【0095】
前述の属性に関連した選択規則は好都合に、記憶能力の最適化(すなわち、最近の内容の昇格)とユーザー経験(すなわち、重要な内容の昇格)のバランスを取ることができる。一実施形態では、一次選択規則は、遠い出来事より最近の出来事(ビン3および4よりビン1および2)を優先させる。二次(すなわち、補助的)選択規則は、低い重要度より高い重要度(ビン2よりビン1、およびビン4よりビン3)を優先させる。
【0096】
いくつかの事例では、システム350は、再生セッションスケジュールを決定し、かかるスケジュールに基づきユーザーに通知を表示することができる。いくつかの事例では、再生セッションスケジュールおよび通知は、本明細書で説明されるデジタル記憶選択アプローチに基づき得る。説明のとおり、選択アプローチは、最近作成された内容を、より古い記憶との関連性によって定義される、状況的に分かっている文脈内に位置付けることを通して、記憶増進利益を最適化できる。いくつかの事例では、デジタル記憶をそれらが作成された日のうちに、表示することは最適に有益であると判断されており、いくつかの事例では、それらが作成された数時間以内(例えば、それらが作成された3時間以内)。かかる事例では、システム350は、各デジタル記憶が、例えば、その作成から3時間以内に、再生されるのを促されるように、再生スケジュールを作成できる。かかるプロンプトで、デジタル記憶の直近の記録の3時間以内に再生セッションを開始することをユーザーに思い出させるのに役立つ通知(音声および/または視覚)がユーザーに対して表示される。いくつかの事例では、後続の再生リマインダがシステム350により一定間隔で、例えば、3時間おきに、発行できる。いくつかの事例では、再生スケジュールはユーザーによって変更され得る。
【0097】
好都合に、再生スケジュールは、デジタル記憶作成および再生選択に関して本明細書で説明された実施形態と併せて、再生セッションの利益を最適化できる。通知は、任意の適切な形を取ることができ、例えば、優しいチャイム、振動、および/または装置がスリープモードであっても起こして、一時的に画面上で見ることができるテキストベースのメッセージを含み得る、システム全体にわたる通知。
【0098】
いくつかの実施形態では、システム350は、記憶の固定を最適化するために所定の時間数以内に再生を提供する。これらの実施形態では、システム350は、より遠くの出来事よりも最近の出来事を優先させる。このように、より最近の出来事を再生することは、記憶の詳細がまだ利用可能な間に、それらの固定を可能にする。記憶が(減衰または干渉に起因して)劣化した後に記憶を再生することは、固定された記憶における豊かさおよび利用可能な詳細に関する上限を下げ得る。いくつかの事例では、ユーザーがある時間枠内に、例えば、24時間以内に、新しいデジタル記憶を作成していない場合、かかるユーザーに対して通知を発行することもできる。いくつかの事例では、これらのタイプの通知は、記憶障害のあるユーザーにおける潜在的な予測される記憶問題(すなわち、忘れずに何かを行うことができない)に対抗するために有益であり得る。
【0099】
ここで図8を参照すると、ユーザーインタフェース156を介して表示モジュール176によって表示された、ホーム画面100の例が示されている。説明を目的として特定の配置が例示されているが、本明細書で説明されるシステムおよび方法の任意の表現が使用できる。この例示的なホーム画面100は好都合に、ユーザーがシステム150の機能、例えば、デジタル記憶の作成およびデジタル記憶の再生、に容易にアクセスできることを確実にするために直観的である。この例示的なホーム画面100では、記憶作成ボタン101がホーム画面100の左側に配置でき、それが他の特徴とは異なっていることを確実にするために色分けできる。この例では、記憶作成ボタン101にタッチすると、本明細書で説明されるとおり、デジタル記憶の作成のための記録を開始できる。同様にこの例示的なホーム画面100では、記憶再生ボタン102がホーム画面100の右側に配置でき、それが他の特徴とは異なっていることを確実にするために色分けできる。この例では、記憶再生ボタン102にタッチすると、再生セッションを開始できる。
【0100】
この例示的なホーム画面100ではまた、左上隅のテキスト要素103(例えば、テキストクロール)は、記憶増進利益を最適化できる根拠に基づく提案を提供できる。いくつかの事例では、これらの提案は、実証研究およびユーザーフィードバックからの結果を反映できる。次はかかる提案の例である:
・例1-「終日にわたる再生セッションでは必ず間隔を空けてください。」この提案は、分散学習は集中学習セッションよりも良好な記憶成果を出すという確立された研究成果に基づく。
・例2-「音声タグはできるだけ弁別的で固有なものにしてください。」この提案は、弁別的なキュー(cue)は、一般的なキューよりも良好な回想を促進することを示す根拠に基づく。つまり、「ゴルフの1ラウンド後にビストロでジムとキャロルと食事をする」は、「食事をする」よりもさらに詳細な想起を喚起する。
【0101】
例3-「毎晩、忘れずに電話を充電する。」この提案は、以前に携帯電話を使用した経験のなかった高齢参加者からのフィードバックを反映する。またこの例示的なホーム画面100では、使用インジケータ104が、この例では、ホーム画面100のデジタル記憶作成側および再生セッション側の両方に、提供できる。このように、ユーザーは、それぞれ画面の左側および右側上のサイズおよび/または配色における変化に基づき、所与の日にいくつのデジタル記憶を自分が作成して、再生したかを容易に推定できる。例えば、ユーザーがデジタル記憶を作成するたびに、オレンジのより薄い色調が、画面左側の下から上へ徐々に進み得る。併せて、ユーザーが再生セッションを見るたびに、青のより濃い色調が、画面右側の下から上へ徐々に進み得る。
【0102】
同様にこの例示的なホーム画面100では、使用インジケータ105は、作成および/または再生されているデジタル記憶の数を表す数字またはシンボルをユーザーが見るのを可能にできる。この例では、ユーザーは使用インジケータ105を押すことができ、それは次いでユーザー活動の要約のチャートまたは表を表示できる。またこの例示的なホーム画面100では、通知トグル106は、ユーザーが通知をアクティブ化、非アクティブ化、または選択するのを可能にできる。またこの例示的なホーム画面100では、メニューボタン107は、ユーザーがさらにカスタマイズするのを可能にでき、例えば、制御もしくは設定ダイアログを介した、音声、通知スタイル、または同様のもののカスタマイズ化。
【0103】
ここで図9を参照すると、システム150に従い、表示モジュール176によりユーザーインタフェース156を介して表示されている、デジタル記憶の作成のための画面進行900の例が示されている。説明のために特定の画面進行が例示されているが、本明細書で説明されるシステムおよび方法を使用した任意の画面進行および配置が使用できる。第1の画面902で、記憶作成ボタン101がユーザーによって選択される。
【0104】
第2の画面904で、カウントダウンタイマーがユーザーに表示される;この例では、3秒のカウントダウンタイマー。この例では、この時間中、画面背景色がランダムに生成でき、いくつかの事例では、シルエットアイコンも表示するためにランダムに選択できる(例えば、10のシルエットアイコンのセットから)。いくつかの事例では、これらのシルエットアイコンは画面の左および右下隅にも表示できる。この例では、好都合に、この背景色-シルエットアイコンの対形成は、記録されたデジタル記憶と関連付けられて、重複する内容を有するデジタル記憶の曖昧さを除去するのを助けるためにデジタル記憶の再生時に再度示され得る。この例では、「取消」ボタンが画面上に出現する。デジタル記憶作成プロセスを通して任意の点における取消ボタンの選択は、ユーザーが(i)記憶を再作成するか、または(ii)ホーム画面へ戻るためのオプションを有する、ダイアログを起動するために使用できる。
【0105】
この例では、背景およびシルエットは、高度な重複(例えば、類似の音声タグ、類似位置、および/または類似した人々)のある出来事の曖昧さを除去するのに役立つ顕著で弁別的なキューを提供できる。設計のこの態様は従って、海馬パターン分離の現象に匹敵し得、それにより高度に類似した出来事に対応する記憶痕跡が別個の神経コードで表現される。このようにして、関連記憶の干渉効果が最小限にされる。好都合に、ビデオを記録する前に背景およびシルエットを表示すると、記録すべき出来事と弁別的な背景/アイコンとの間の関連性を確立して強化できる。第3の画面906において、いくつかの事例では、ユーザーは、デジタル記憶の一部として、またはデジタル記憶と関連付けて、音声タグを記録でき、この例では、8秒の音声タグ。音声タグは、出来事の要点を捕捉することを目的とし、例えば、「Olde Yorkでジョンとメアリーと一緒にフィッシュアンドチップスを食べる」。この例では、音声タグの録音中、経過した時間を示すために、右から左に動く、タイマーバーがユーザーに対して表示できる。本発明人は、ユーザーフィードバックと一緒に、実証研究を通して、高齢者(年齢60~80歳)が、関連した出来事の曖昧さを除去するために十分に異なる、個人的に有意味な音声タグを記録するために、約8秒が最適であると判断している。しかし、他の長さの音声タグが使用できる。
【0106】
第4の画面908で、捕捉インタフェース158は、ユーザーに起こっている出来事をデジタル記憶として捕捉し、この例では、24秒のビデオが捕捉される。この例では、デジタル記憶(またはビデオ)が現在記録されていることを示すテキストと一緒に、カウントダウンタイマーがユーザーに対して表示される。本発明人は、ユーザーフィードバックと一緒に、実証研究を通して、約24秒が、i)出来事の重大な側面を捕捉するのに十分で、かつii)音声タグの長さ(すなわち、8秒)で割り切れる、最小持続時間であると判断している。しかし、他の長さのデジタル記憶が使用できる。
【0107】
第5の画面910で、いくつかの事例では、ユーザーは出来事の重要度を、この例では、5つ星評価スケールで、評価できる。いくつかの事例では、この画面でユーザーは、デジタル記憶を保存するか、または廃棄するかのオプションも提示され得る。この場合、出来事の相対的重要性を示すために、重要度評価が使用できる。それにより、高く評価された出来事は、ユーザーがより頻繁に再生したいもの(例えば、孫と雑談)である。これらの値は、本明細書で説明されるとおり、再生セッションを構成する目的で、システム350によって使用できる。
【0108】
第6の画面912で、いくつかの事例では、ユーザーは、当日または期間中に作成および再生されたデジタル記憶の数を示すフィードバックが提示され得る。一例では、表示されるカウンタは、毎日特定の時間に、例えば、午前4:00に、ゼロにリセットできる。
【0109】
第7の画面914で、いくつかの事例では、ユーザーは、本明細書で説明されるとおり、再生セッションを開始するオプションを提示され得る。いくつかの事例では、ユーザーの装置に基づき、この再生セッションは、処理要求に起因して、作成されたばかりのデジタル記憶を含まない可能性がある。
【0110】
ここで図10を参照すると、システム150に従い、表示モジュール176によりユーザーインタフェース156を介して表示されている、再生セッション表示のための画面進行950の例が示されている。説明のために特定の画面進行が例示されているが、本明細書で説明されるシステムおよび方法を使用した任意の画面進行および配置が使用できる。第1の画面952で、記憶再生ボタン102がユーザーによって選択される。
【0111】
第2の画面954で、いくつかの事例では、本明細書で説明される実施形態に従って表示される第1のデジタル記憶のおおよその時間および日付を示すために導入画面が表示でき;例えば、おおよその時間および日付は「昨日の朝」であり得る。同時に、デジタル記憶と関連付けられた記憶固有の背景色およびアイコン(この例では、左および右下隅に提示される)も表示できる。この例では、導入画面は、2秒間、表示され得るが、他の期間が可能である。
【0112】
第3の画面956で、第1のデジタル記憶がユーザーに対して表示される。この例では、関連付けられた音声タグおよびビデオが同時に再生される。この例では、デジタル記憶の記録と関連付けられた時間および日付スタンプを画面の一番上に重ね合わせることができる(例えば、「土曜日 8:12AM」)。システム350は次いで、デジタル記憶の前に提示された関連付けられた導入画面と共に、再生セッションの一部とするためにシステム350によって選択された、各デジタル記憶を通して進む。図10の実例は、第4の画面958において再生セッション内の最後のデジタル記憶(この場合、第5のデジタル記憶)に対する導入画面および第5の画面960において第5のデジタル記憶を例示する。再生セッション内のデジタル記憶にわたる進行は自動的である。
【0113】
第6の画面962で、いくつかの事例では、再生セッション内の全てのデジタル記憶を見た後、「沈思の時間(Moment of Reflection)」を持つようにユーザーを促すテキストのあるダイアログをユーザーに対して提示できる。沈思の時間は、再生セッションの全体的な意味を増強して、各記憶の処理を深めることを意図する。
【0114】
第7の画面964で、いくつかの事例では、ユーザーは、作成および再生されたデジタル記憶の数を示す使用フィードバックを提示され得る。
【0115】
本明細書で説明される実施形態のさらなる事例では、再生セッションモジュール172は、記憶想起のための再生のために最適な時間を決定できる。具体的には、再生セッションモジュール172は、ユーザーの睡眠に関連して再生のために最適な時間を決定する。
【0116】
神経レベルで、連想学習は大まかにヘッブの原理(Hebbian principle):一緒に発火する神経は一緒に配線する、に従う。神経結合は、シナプス信号伝達のサイズおよび活性における変化によって変更され、それは長期にわたる増強および長期にわたる抑制となるタンパク質合成およびタンパク質分解プロセスによって可能にされる。神経結合のこの選択的な強化は、最近の短期記憶の、さらに安定した長期記憶への固定となる。学習は、神経系の過興奮性状態と考えることができ、この場合、経験的刺激は、以前の学習経験に関与した神経を興奮、または再興奮させることができる。再興奮は、固定の神経プロセスにとって重要であり、タンパク質合成および分解のための一定時間を必要とする。このプロセスが必要とする時間のために、万一、その初期処理中に(すなわち、出来事が起こった直後に)再生セッションで記憶痕跡を再活性化することがあれば、その再生セッションから得られる記憶はほとんどないであろう。別の言い方をすれば、最初の再生セッションが元の出来事のすぐ直後に生じた場合、この元の出来事に対する記憶痕跡は既に再活性化されており、再生セッションでの追加の再活性化は、元の記憶痕跡が初期再生時に活性処理をまだ経験していない場合よりも効果的でないであろう。加えて、睡眠中、前述したタンパク質合成および分解プロセスが最も活発であるので、記憶の固定のために睡眠は重要である。睡眠の前に記憶が再活性化された場合、この記憶は、睡眠中この追加の処理のためにタグ付けされて優先され、それは、その記憶を長期的により強力にする。従って、本発明人は、システム100が外部的にシミュレートされた再生セッションの活性を著しく向上させるために使用できる2つの要因があると判断した:(1)元の学習事象に対する出来事の最初の再生セッションの近接度、および(2)睡眠に対する出来事の最初の再生セッションの近接度。本発明人は、万一、出来事を、その出来事が生じたときに時間的に近接して再生するとしたら、その出来事はまだ脳内で活性化されているので、再生の記憶増進利益が低減され得ると判断した。それに応じて、システム100は好都合に、タンパク質分解が完了した後であるが、まだ過興奮性状態にある場合に再生が起こることを目的にする。従って、出来事の初期再生は、記憶がまだ不安定な、睡眠前に提供されることを目的とする。それ故、睡眠前に再生された記憶は次いで、睡眠中にタンパク質合成を経験でき、その出来事のより長期にわたる痕跡となる。
【0117】
いくつかの事例では、再生セッションモジュール172は、ブロック256で再生する前に時間遅延に従うことができ、そのため再生は、指定された遅延期間が過ぎた後にブロック254でだけ選択される。任意の適切な遅延期間が使用できる。いくつかの事例では、指定された遅延期間は、実際の出来事の長さに基づいて変わり得る。いくつかの事例では、指定された遅延期間は、デジタル記憶が記録されてから1時間以上である。さらなる事例では、指定された遅延期間は、デジタル記憶が記録されてから4時間以上である。
【0118】
いくつかの事例では、再生セッションモジュール172は睡眠予測を使用して、ブロック256でいつ再生すべきかを決定でき、そのため再生は、デジタル記憶が記録された日にユーザーが眠りにつく前に、指定された睡眠前窓中にブロック254でだけ選択される。指定された睡眠前窓は、睡眠に先立つ任意の適切な持続時間にでき、例えば、指定された睡眠前窓は、睡眠に先立つ4時間、睡眠に先立つ3時間、睡眠に先立つ2時間、または睡眠に先立つ1時間であり得る。その場合、本発明人は2時間の睡眠前窓が一般に、最も好都合であると判断している。いくつかの事例では、睡眠のタイミングはユーザーによって事前に入力できる。他の事例では、再生セッションモジュール172が、睡眠がいつ起こるかを予測するのを可能にするために、典型的な睡眠スケジュールがユーザーによって入力できる。さらなる事例では、再生セッションモジュール172は、前の日、週、または年の睡眠スケジュールに基づいて、ユーザーがある日に眠りにつきそうな時間を予測するために、機械学習モデル(例えば、回帰モデル)を使用できる。いくつかの事例では、デジタル記憶の最初の再生は、指定された睡眠前窓中にだけ起こり、その場合、さらなる再生は、この最初の再生後の任意の時に起こり得る。いくつかの事例では、再生セッションモジュール172は、デジタル記憶を最初に再生すべき時を決定するために、指定された睡眠前窓および指定された遅延期間の両方を使用できる。このように、一般に睡眠中に生じる海馬再生は好都合に、睡眠前窓内での記憶の再生によって強化できるが、タンパク質合成を可能にするための実際の出来事からは十分に離れている。
【0119】
いくつかの事例では、システム100は、空間ナビゲーションを使用して記憶を向上させるために使用できる。これらの場合、記憶作成モジュール170は、一連のデジタル記憶を、例えば、物理的な経路に沿った物理的な位置で記録できる。再生中、再生セッションモジュール172は、一連のデジタル記憶を順番に再生できる。このように、ユーザーは、経路に沿って遭遇した位置に対する時間的順序の記憶および他人中心の記憶の両方から利益を得ることができ、各物理的な位置と関連付けられた詳細および空間ナビゲーションの両方を向上させる。いくつかの事例では、物理的な位置と関連があることも、ないこともあり得る他の事実または詳細が、一連の各デジタル記憶と共に提示でき、このようにして、事実の記憶が、システム100の再生の使用で増大できる。これらの事例は物理的な経路に沿った物理的な位置に対して説明されているが、これは、必要に応じて、仮想または複合現実における仮想世界内の位置に対して適用できることが理解される。このように、ユーザーは、仮想環境内の新規の経路に沿って進み、その後、これらの経路の学習を促進するために自分の経験をシステム100で再生し得る。いくつかの事例では、これは、仮想または複合現実装置を、自己推進移動を近似する装置、例えば、トレッドミル、定置式自転車、ローイングマシン、または同様のもの、と組み合わせることにより、前庭系および自己受容系からの知覚的入力を含むように増強できる。
【0120】
本発明人は、本明細書で説明される実施形態(「Hippocamera」と呼ばれる)の利点の少なくとも一部を検証するために実験例を実施した。実験例の1つで、参加者は1日あたり5つの出来事を記録して、1日あたり6回の再生を行うように求められた。この実験は、記録された全部の出来事の50%が隠されて、残りの50%が再生されるようにセットアップされた。この実験に関して、参加者はシステム100を2週間使用し、記録された出来事に対する彼らの記憶が1週間の間隔をおいてテストされ、1週間後にfMRIを終了した。参加者は、3か月後に第2の記憶評価およびfMRIを終えるために戻るように要請された。この実験に関して、システム100によって再生された詳細の隠された場合に対するパーセント増加(percent boost)は次のように決定された:
【数1】
【0121】
図11の結果チャートに例示されているように、この実験で、システム100は、元の検査および追跡検査の両方で、頑強なエピソード記憶獲得を提供したことを実証した。図12に例示されているように、実施されたfMRIも、システム100で再生された出来事に対する記憶は、より異なる神経コードに反映された強化された海馬活動と関連付けられたことを示した。再生は、海馬弁別性(図12で線で示された領域)を促進して、自伝的記憶回路網内での出来事の神経表現を強化した。この実験は、再生された出来事の参加者の回想が隠された出来事よりも肯定的な言葉で記述されたことも示した。これは、再生された出来事のより豊かな回想があるだけでなく、それらはより肯定的に思い出されていることを示唆する。
【0122】
別の実験例では、本発明人は、再生の最適時間を、特に睡眠に関して、系統的に評価した。標準化された自然刺激が、実験室内で幾人かの個人に施された。参加者は、システム100を使用して、その刺激の特定のシーンを再生するように求められた。出来事をシステム100で再生するための最適時間を決定するために再生プロトコルが滴定された(例えば、頻度、継続期間、睡眠に対する近接度)。図13に例示されるように、結果は、出来事を再生する最適な時間は、本明細書で説明される実施形態で説明されるとおり、眠りにつく前の、それが起こった当日であることを示した。この結果は、徐波睡眠で生じる個々の記憶のタンパク質合成および記憶の固定を利用する好都合な方法を表す。
【0123】
別の実験例では、健康な若年成人のグループおよび健康な高齢者の第2のグループがシステム100を9週間使用した。3か月後、彼らはシステム100を使用して記録した出来事に対する自分の記憶をテストされ、使用後のfMRI実験を全て終えた。参加者は、システム100の使用の3か月後に、第2の記憶評価およびfMRI実験を終えるために戻るように要請された。この実験では、参加者は、出来事を夕方に、眠りにつく前の一定の期間、再生した。図14に示されるように、結果から、参加者が再生された出来事に対して説明したエピソード詳細の数が略倍増したことが分かり、より長期の使用でより良好に出来事が想起されること、および再生の時間で記憶増進利益が向上することを示唆している。
【0124】
別の実験例では、システム100は、対照と比較された。対照バージョンでは、参加者は、自分の電話上に現在有している最近3か月からの写真を共有するように求められた。有意味な出来事に由来し得るように見える、写真が、写真メタデータを使用して、異なる日から選択された。選択された写真の半分がシステム100を使用して2週間再生され、その後参加者は記憶評価を終えた。同じ参加者の以前の実験例の回想データ(隠された試行対再生された試行)を対照(隠された試行対再生された試行)と比較すると、結果は、図15に示されるように、各個人は、システム100を使用して再生の利益を得るが、一般に、対照にとっての利益はないことを示した。これは、人の既存の電話からの写真またはビデオを単に再生することは、システム100を使用するのと同じ記憶増進利益は受けないことを示す。例えば、参加者は、システムを使用した出来事の記録におけるのと同じ意図をもっては写真を撮らないという事実に起因するか、またはかかる写真は、システムを使用した出来事(例えば、ビデオ+音声、タグ付けされた説明を含む)と同じ多様なキューを有していないという事実に起因する。
【0125】
別の実験例では、システム100は、本明細書で説明されるとおり、空間ナビゲーションを使用して記憶を向上させるその能力に関してテストされた。参加者は、トロント大学キャンパスのガイド付きウォーキングツアーで彼らにとっては新しい空間的経路を学習し、後で彼らが学習した経路に関する記憶が評価された。各経路は、3つの判断ポイントを有するように設計され、判断ポイントで参加者は、後に経路を正しくナビゲートするためにナビゲーション判断を行う必要がある。参加者には、2つの条件、(1)再生、および(2)非再生、の1つがランダムに割り当てられた。再生グループの参加者は、ウォーキングツアーを終えた後に、システム100を使用してデジタル記憶を再生することを求められた。2日後、全参加者は、時間的順序の記憶を評価するためのランドマーク並べタスク、および他人中心の記憶を評価するためのベクトルマッピングタスクを終えるように求められた。
【0126】
他人中心の表現とは対照的に、自己中心的表現は、環境内の実体と自己との間の空間的関連性から構成され-空間の他人中心および自己中心的表現は、成功するナビゲーションにとって重要であると考えられる。前述の実験例のガイド付きツアー中に経路に対する自己中心的記憶を評価するために、参加者は、所与の経路の開始および終了位置の画像を同時に提示され、3つの合図されたフェーズで経路を言葉で説明するように求められた。参加者はまず、ガイド付きツアー中に通った経路を使用して、試験される開始位置から試験される終了位置までナビゲートするために最も基本的な指示を与えるように求められた。彼らは次いで、経路を通過しながら自分の周囲の詳細な説明を提供するように求められ、参加者は、自分自身および他の物体の両方に関して、要素が自分の周囲内のどこにあるかの説明を含めるように言われた。参加者は最後に、経路中に起こった出来事、自分が見た人々、または考えていたことを含むがそれらに制限されず、ガイド付きウォーキングツアーから思い出した任意の固有のエピソード詳細を説明するように求められた。参加者は、各経路に対してこの手順を繰り返し、各経路は、彼らがガイド付きツアーの間に学習したのと同じ順序で試験されている。各経路の言葉による説明は、後の文字起しおよび採点のために記録された。言葉による説明は、精度の評価基準として、1~7のリッカート尺度上の主観的スコアも与えられた。再生条件の参加者は、非再生条件の参加者よりも、経路のより正確でより詳細な説明をしたことが分かった。
【0127】
ランドマーク並べタスクに関して、思い出した時系列と実際の時系列との間でケンドールのタウ係数が決定された。独自の評価基準t検定では、再生条件の参加者は、非再生条件の参加者よりもケンドールのタウ係数が著しく高かったことが示された;t(29)=4.14、SE=0.075、p=0.00028(図16に例示されているとおり)。ベクトルマッピングタスクに関して、推測された位置と実際の位置との間の地理的距離(逸脱した距離)がVincenty’s formulaを使用して決定された。一般化線形混合-効果モデルは、再生条件の著しい固定効果、β=-0.14、SE=0.068、t(32)=-2.11、p=0.043、オッズ比=0.87:1を示し;再生条件の参加者は、非再生条件の参加者よりも逸脱した距離が小さい(図17に例示されているとおり)。
【0128】
別の実験例では、システム100は、空間ナビゲーション中に学習された位置と関連付けられた事実または詳細の学習を向上させるその能力をテストされた。参加者は、トロント大学キャンパスのガイド付きウォーキングツアーで彼らにとっては新しい空間的経路の2つのセットを学習し、後で彼らが学習した経路に関する記憶が評価された。各経路は、3つの判断ポイントを有するように設計され、判断ポイントで参加者は、後に経路を正しくナビゲートするためにナビゲーション判断を行う必要がある。加えて、各経路に沿ったポイントで、2つの事実が学習された。各経路について、参加者には、2つの条件、(1)再生、および(2)非再生、の1つがランダムに割り当てられた。再生グループの参加者は、ウォーキングツアーを終えた後に、システム100を使用してデジタル記憶を再生することを求められた。参加者は次いで、ウォーキングツアー中に学習した意味的事実の自分の記憶を評価するために2日後に戻るように求められた。参加者は、ガイド付きツアー中に学習された意味的事実の各々からの詳細に対応する8つの質問がある多肢選択スタイルのアンケートが与えられた。図18に示されるとおり、再生された経路の間に学習された事実に対する同じ参加者の記憶を、非再生の経路の間に学習されたものと比較すると、個人の75%は、ガイド付きツアー中に学習した事実の記憶に関してシステム100を使用した再生利益を得ていることが示された。
【0129】
空間記憶構成成分での前述の2つの実験例では、空間ナビゲーションをシミュレートまたは強化するために仮想または複合現実技術も使用できる。実世界および仮想現実におけるナビゲーションは、様々な経験的品質に関して比較可能な主観的評価を有することが示されて、システム100の再生の使用は、仮想環境の領域に転換され得ることを示唆している。このように、ユーザーは仮想環境内を新規の経路に沿って移動し、その後、これらの経路の学習を促進するために自分の経験を再生し得る。固定仮想現実内のナビゲーションは我々の前庭系および自己受容系からの知覚的入力の関与を欠いているが、これは仮想現実ヘッドセットを、例えば、トレッドミルと組み合わせることにより緩和できる。
【0130】
本明細書で説明される実施形態は好都合に、ユーザーに、毎日を通じて分散された方法でデジタル記憶を再生するように促す自動通知を含む。同様に好都合に、リマインダスケジュールが経験的データに基づいて最適化される。本明細書で説明される実施形態は、ユーザーが忘れずにビデオを見るのを当てにしないデジタル記憶のインテリジェントオートメーションを提供して、記憶再生が、より効果的な想起のために、集中してではなく、間隔が空けられるのを確実にする。このように、再生セッションの間隔は、毎日のエピソードの、結合されて一貫性のある痕跡を提供できる。
【0131】
本明細書で説明される実施形態は好都合に、内因性海馬再生を近似する方法、例えば、頻度、速度、持続時間、前方/後方構造、または同様のもの、でもデジタル記憶を再生する。このようにして、ユーザーの記憶痕跡は、海馬によって内部的に引き起こされる再生に加えて、外部装置からの再生によって強化できる。特に、海馬再生を開始する構造が損傷され得る、記憶障害のある個人では、外部的に介在された再生は相当な記憶利益を生成し得る。本明細書で説明される実施形態は、同様に好都合に、例えば、睡眠に先立って再生を提供することにより、後の記憶強化海馬処理のために関連する記憶を優先できる。このようにして、システム100は、一般に睡眠中にだけ再生する海馬挙動よりも記憶作成を増進する。このように、システム100は、単に外部的に海馬再生を模倣することを越えており、これは、例えば、睡眠に近接して、再生を提供することは、睡眠中または休息中に追加の記憶強化処理のために記憶に優先順位を付けることにより想起の利益になるためである。そのため、本実施形態の再生セッションは、内因性海馬再生を単に模倣するのではなく、睡眠中または休息中の強化された処理のために特定の記憶の内部表現をセットアップする。
【0132】
本明細書で説明される実施形態はまた好都合に、デジタル記憶の作成時に、豊かな、ユーザー生成された多感覚情報を組み合わせる。いくつかの実施形態では、デジタル記憶は、元のエピソード時にユーザーによって提供される「音声タグ」を含むか、または「音声タグ」で補完される。これらのタグは、後でユーザーがデジタル記憶を首尾一貫した叙述に埋め込むのを可能にする、個人的に有意味な文脈的要因の一人称視点を提供する。さらなる実施形態では、これらのタグは他の形、例えば、出来事のテキスト説明または出来事のビデオ説明、を取ることができる。
【0133】
本明細書で説明される実施形態は好都合に、デジタル記憶の状況的に分かっている方法での自動精選もサポートする。健康な脳では、記憶は典型的には一貫性があり、1つの記憶は別の関連記憶につながる。このようにして、本明細書で説明される実施形態は、類似していて、再生セッションのためにそれに応じて一緒にまとめられる、デジタル記憶の態様を自動的に検出するために、機械学習技術およびマシンビジョンを使用できる。そのため、本明細書で説明される実施形態は、単一の出来事に対する記憶をブーストして、例えば、人々のレベルおよび出来事の特質における、共通性に基づき、有意味に結合された記憶間の関連性を強化できる。
【0134】
本実施形態の一部は、睡眠に関連して再生のタイミングを説明するが、睡眠は、完全な睡眠(夜間など)または短期間の睡眠(うたた寝など)のどちらも含むことを理解すべきである。例えば、90分のうたた寝は一般に、完全な睡眠サイクルを含み、それは、一般に記憶の固定のために重要な徐波睡眠のフェーズを含む。従って、うたた寝または夜間の完全な睡眠のいずれも、徐波睡眠中に起こる記憶強化処理を利用するために睡眠前に表示される再生される出来事を優先させるために使用できる。追加として、本実施形態の一部は睡眠に関してタイミングに言及するが、海馬再生は休息期間でも生じ得るので、これは、睡眠を含むこともあれば、含まないこともある、かかる休息期間を含み得ることを理解すべきである。
【0135】
前述はある特定の実施形態を参照して説明されているが、それらに対する様々な修正は、添付のクレーム内に概説されているとおり、本発明の精神および範囲から逸脱することなく、当業者には明らかであろう。上で列挙された全ての参照文献の開示全体は参照により本明細書に組み込まれる。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図6D
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18