(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-01-18
(45)【発行日】2024-01-26
(54)【発明の名称】記憶支援処理装置および記憶支援プログラム
(51)【国際特許分類】
G09B 5/02 20060101AFI20240119BHJP
G09B 19/06 20060101ALI20240119BHJP
G06Q 50/20 20120101ALI20240119BHJP
【ＦＩ】
G09B5/02
G09B19/06
G06Q50/20
【請求項の数】
4
(21)【出願番号】P 2023138270
(22)【出願日】2023-08-28
【審査請求日】2023-09-05
【早期審査対象出願】
(73)【特許権者】
【識別番号】512095417
【氏名又は名称】片野 良明
(74)【代理人】
【識別番号】100185270
【弁理士】
【氏名又は名称】原田 貴史
(74)【代理人】
【識別番号】100225347
【弁理士】
【氏名又は名称】鬼澤 正徳
(72)【発明者】
【氏名】片野 良明
【審査官】西村 民男
(56)【参考文献】
【文献】特開２０２３－２３９２１（ＪＰ，Ａ）
【文献】特開２０２２－１４８７０４（ＪＰ，Ａ）
【文献】特開２０１８－９１９４９（ＪＰ，Ａ）
【文献】特開２００６－１７９３２（ＪＰ，Ａ）
【文献】特開２０１１－１２８３６２（ＪＰ，Ａ）
【文献】特開平１０－３１２１５１（ＪＰ，Ａ）
【文献】特表２０１７－５２９５５４（ＪＰ，Ａ）
【文献】バウンディングボックス(Bounding Box): 物体検出の領域矩形，CVMLエキスパートガイド[online]，2022年08月02日，https://cvml-expertguide.net/terms/dl/object-detection/bounding-box/，[2023年12月27日検索]
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ １／００－ ９／５６
１７／００－１９／２６
Ｇ０６Ｆ ３／０１， ３／０４８－３／０４８９５
Ｇ０６Ｑ ５０／２０
(57)【特許請求の範囲】
【請求項1】
ユーザが語句を記憶するための記憶支援処理装置であって、前記語句の文字と前記語句の称呼を示す文字と前記語句の意味を示す文字と前記語句と概念的に結びついた第１の画像と前記語句を記憶することを容易にするための語呂合わせを代表とする音韻連想による語句が格納されている第１の記憶部と、
前記語句の意味を示す文字が属する分野において関連し、かつ、前記語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部から選択する文字選択部と、
前記文字選択部により選択された前記第２の文字と意味合いが一致する第２の画像を第３の記憶部から選択する画像選択部と、
前記画像選択部が選択した前記第２の画像の前記第１の画像に対する表示位置を決定する画像位置決定部と、
前記画像位置決定部が決定した表示位置に前記第２の画像を前記第１の画像に合成して第３の画像を生成する画像処理部と、
前記語句の文字と前記語句の称呼を示す文字と前記語句の意味を示す文字と前記画像処理部が生成した第３の画像を表示する表示部と、
を備え、
前記画像位置決定部は、物体認識によるバウンダリーボックスを使用して、前記第２の画像を前記第１の画像に配置し、前記第２の画像のサイズは、前記第１の画像のサイズよりも小さく、前記第２の画像に対する前記第１の画像のサイズ比は、１／２０から１／４である、記憶支援処理装置。
【請求項2】
請求項１において、前記第３の画像の中の前記第２の画像を点滅させる処理を行う前記画像処理部とを備える記憶支援処理装置。
【請求項3】
ユーザが語句を記憶するための記憶支援プログラムであって、コンピュータを、
前記語句の文字と前記語句の称呼を示す文字と前記語句の意味を示す文字と前記語句と概念的に結びついた第１の画像と前記語句を記憶することを容易にするための語呂合わせを代表とする音韻連想による語句とが格納されている第１の記憶部と、
前記語句の意味を示す文字が属する分野において関連し、かつ、前記語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部から選択する文字選択部と、
前記文字選択部により選択された前記第２の文字と意味合いが一致する第２の画像を第３の記憶部から選択する画像選択部と、
前記画像選択部が選択した前記第２の画像の前記第１の画像に対する表示位置を決定する画像位置決定部と、
前記画像位置決定部が決定した表示位置に前記第２の画像を前記第１の画像に合成して第３の画像を生成する画像処理部と、
前記語句の文字と前記語句の称呼を示す文字と前記語句の意味を示す文字と前記画像処理部が生成した第３の画像を表示する表示部と、
して機能させ、
前記画像位置決定部は、物体認識によるバウンダリーボックスを使用して、前記第２の画像を前記第１の画像に配置し、前記第２の画像のサイズは、前記第１の画像のサイズよりも小さく、前記第２の画像に対する前記第１の画像のサイズ比は、１／２０から１／４である記憶支援プログラム。
【請求項4】
請求項３において、前記第３の画像の中の前記第２の画像を点滅させる処理を行う前記画像処理部として機能せる記憶支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、記憶支援処理装置および記憶支援プログラムに関する。
【背景技術】
【0002】
従来から英単語や歴史の年号などを覚える際に、語呂合わせを用いた記憶術が知られている。また従来から英単語や歴史の年号を覚える際に画像を用いて記憶するための方法が知られている。
【0003】
特許文献１には、「コンピュータを用いて記憶を支援する記憶支援方法であって、記憶すべき内容を示す画像を前記コンピュータの表示画面の左側に所定時間表示する画像表示ステップと、前記画像表示ステップにて表示された画像に関連付けられた言語情報の文字データを前記コンピュータの表示画面の右側に所定時間表示する文字表示ステップと、を有し、上記２つのステップを繰り返すことにより、多数の画像及び文字データをつぎつぎと表示して、前記コンピュータを使用する者の記憶を支援する記憶支援方法。」と記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００３－３１６２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載されている記憶支援方法は、画像とその画像に対応する文字を表示するものである。特許文献１に記載されている記憶支援方法は、単調で、ＡＤＨＤ（注意欠陥多動性障害）やディスレクシア（読字障害）などの疾患により学習について問題を抱える学習者に対しては、あまり効果が期待できない。
【0006】
本開示の目的は、記憶術の原理を応用し制作したイメージ画像に、一連の特殊加工を加えた動画教材であり、学習について問題を抱える学習者に対して直感的で、かつ、音韻連想による語頭を想起するための手がかりとゲーム性やエデュテイメント性が加わることにより、より有益な記憶支援処理装置および記憶支援プログラムを提供するものである。
【課題を解決するための手段】
【0007】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
【0008】
本発明の一実施の形態のユーザが語句を記憶するための記憶支援処理装置であって、語句の文字と語句の称呼を示す文字と語句の意味を示す文字と語句と概念的に結びついた第１の画像と語句を記憶することを容易にするための語呂合わせを代表とする音韻連想による語句とが格納されている第１の記憶部を備える記憶支援処理装置である。また、記憶支援処理装置は、語句の意味を示す文字が属する分野において関連し、かつ、語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部から選択する文字選択部と、文字選択部により選択された前記第２の文字と意味合いが一致する第２の画像を第３の記憶部から選択する画像選択部と、画像選択部が選択した第２の画像の第１の画像に対する表示位置を決定する画像位置決定部と、画像位置決定部が決定した表示位置に第２の画像を第１の画像に合成して第３の画像を生成する画像処理部と、語句の文字と語句の称呼を示す文字と語句の意味を示す文字と画像処理部が生成した第３の画像を表示可能とする表示部とを備える。
【発明の効果】
【0009】
本開示によれば、記憶術の原理を応用し制作した画像データや動画データに、一連の特殊加工を加えた教材であり、学習について問題を抱える学習者に対しても直感的で、かつ、音韻連想による語頭を想起するための手がかりとゲーム性やエデュテイメント性が加わることにより、より有益に学習することができるという効果を有する。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施の形態における情報処理システムの構成図である。
【図2】本発明の一実施の形態における情報処理装置のブロック図である。
【図3】本発明の一実施の形態における記憶部のブロック図である。
【図4】本発明の一実施の形態における記憶部の画面例（１）である。
【図5】本発明の一実施の形態における記憶支援処理装置の実施例（１）である。
【図6】本発明の一実施の形態における記憶支援処理装置の実施例（２）である。
【図7】本発明の一実施の形態における記憶支援処理装置の実施例（３）である。
【図8】本発明の一実施の形態における記憶支援処理装置の実施例（４）である。
【図9】本発明の一実施の形態における記憶支援処理装置の実施例（５）である。
【図10】本発明の一実施の形態における画像処理のフローチャート（１）である。
【図11】本発明の一実施の形態における画像処理のフローチャート（２）である。
【発明を実施するための形態】
【0011】
以下、本開示を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本開示の技術的範囲はこれに限られるものではない。また、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
本発明の一実施の形態のユーザが語句を記憶するための記憶支援処理装置１００であって、語句の文字と語句の称呼を示す文字と語句の意味を示す文字と語句と概念的に結びついた第１の画像と語句を記憶することを容易にするための語呂合わせを代表とする音韻連想による語句が格納されている第１の記憶部１０２１を備える記憶支援処理装置１００である。また、記憶支援処理装置１００は、語句の意味が属する分野において関連し、かつ、語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部１０２２から選択する文字選択部１０５と、文字選択部１０５により選択された前記第２の文字と意味合いが一致する第２の画像を第３の記憶部１０２３から選択する画像選択部１０６と、画像選択部１０６が選択した第２の画像の第１の画像に対する表示位置を決定する画像位置決定部１０７と、画像位置決定部１０７が決定した表示位置に第２の画像を第１の画像に合成して第３の画像を生成する画像処理部１０８と、語句の文字と語句の称呼を示す文字と語句の意味を示す文字と画像処理部１０８が生成した第３の画像を表示可能とする表示部１０４とを備える。
記憶支援処理装置１００は、第３の画像の中の前記第２の画像を点滅させる処理を行う画像処理部１０８を備える。
記憶支援処理装置１００は、第１の動画に表示されている物体についての第４の画像を認識する物体画像認識部１０９と、物体認識部で認識した前記第４の画像の名称を第３の文字に変換する文字変換部１１０と、文字選択部１０５が選択した第３の文字に対応する第４の画像を特定する画像特定部１１１と、画像特定部１１１が特定した第４の画像に円形状のマーキングをするマーキング処理部１１２とを備える。
記憶支援処理装置１００は、画像選択部１０６が選択した第４の画像が分割された一画面に収まるように第１の画像を複数の画像に分割する画像分割部１１３を備える。
＜システム構成＞
図１は、本開示の一実施形態における情報処理システムの概要を示す図である。
本発明の一実施の形態のユーザが語句を記憶するための記憶支援処理装置１００であって、語句の文字と語句の称呼を示す文字と語句の意味を示す文字と語句と概念的に結びついた第１の画像と語句を記憶することを容易にするための語呂合わせを代表とする音韻連想による語句が格納されている第１の記憶部１０２１を備える記憶支援処理装置１００である。また、記憶支援処理装置１００は、語句の意味が属する分野において関連し、かつ、語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部１０２２から選択する文字選択部１０５と、文字選択部１０５により選択された前記第２の文字と意味合いが一致する第２の画像を第３の記憶部１０２３から選択する画像選択部１０６と、画像選択部１０６が選択した第２の画像の第１の画像に対する表示位置を決定する画像位置決定部１０７と、画像位置決定部１０７が決定した表示位置に第２の画像を第１の画像に合成して第３の画像を生成する画像処理部１０８と、語句の文字と語句の称呼を示す文字と語句の意味を示す文字と画像処理部１０８が生成した第３の画像を表示可能とする表示部１０４とを備える。
記憶支援処理装置１００は、第３の画像の中の前記第２の画像を点滅させる処理を行う画像処理部１０８を備える。
記憶支援処理装置１００は、第１の動画に表示されている物体についての第４の画像を認識する物体画像認識部１０９と、物体認識部で認識した前記第４の画像の名称を第３の文字に変換する文字変換部１１０と、文字選択部１０５が選択した第３の文字に対応する第４の画像を特定する画像特定部１１１と、画像特定部１１１が特定した第４の画像に円形状のマーキングをするマーキング処理部１１２とを備える。
記憶支援処理装置１００は、画像選択部１０６が選択した第４の画像が分割された一画面に収まるように第１の画像を複数の画像に分割する画像分割部１１３を備える。
＜システム構成＞
図１は、本開示の一実施形態における情報処理システムの概要を示す図である。
【0012】
図１は、情報処理システム１の構成図である。情報処理システム１は、記憶支援処理装置１００と、情報処理端末装置１２０と、ＥＣサーバ１３０と、通信ネットワーク１４０とから構成される。記憶支援処理装置１００と、情報処理端末装置１２０と、ＥＣサーバ１３０と、通信ネットワーク１４０を介して互いに接続される。
【0013】
記憶支援処理装置１００は、一般的なサーバ用のＰＣ装置である。本開示における中心的な役割を果たす処理装置である。
記憶支援処理装置１００にアクセスする際には、所定の認証、例えば、ＩＤ情報とパスワード情報を要し、ＩＤ情報とパスワード情報とを照合することでアクセス可能に構成される。
記憶支援処理装置１００は、画像生成処理、語句が頭音の１字以上が一致している文字の検索処理などの処理を行う。
語句とは、単語や句、短い文章を含む言葉である。
記憶支援処理装置１００にアクセスする際には、所定の認証、例えば、ＩＤ情報とパスワード情報を要し、ＩＤ情報とパスワード情報とを照合することでアクセス可能に構成される。
記憶支援処理装置１００は、画像生成処理、語句が頭音の１字以上が一致している文字の検索処理などの処理を行う。
語句とは、単語や句、短い文章を含む言葉である。
【0014】
情報処理端末装置１２０は、一般的な家庭用のＰＣ装置である。本開示における中心的な役割を果たす端末装置である。
情報処理端末装置１２０は、記憶支援処理装置１００に指令を出し、記憶支援処理装置１００に様々な処理をさせる。
情報処理端末装置１２０は、記憶支援処理装置１００に指令を出し、記憶支援処理装置１００に様々な処理をさせる。
【0015】
通信ネットワーク１４０は、インターネット、イントラネット、無線ＬＡＮおよび４Ｇや５Ｇ携帯電話システムネットワーク、近距離無線により構成される。
【0016】
図２は、記憶支援処理装置１００のブロック図である。記憶支援処理装置１００は、制御部１０１と、記憶部１０２と、通信部１０３と、表示部１０４と文字選択部１０５と、画像選択部１０６と、画像位置決定部１０７と、画像処理部１０８と、物体画像認識部１０９と、文字変換部１１０と、画像特定部１１１と、マーキング処理部１１２と、画面分割部１１３とを備える。
【0017】
制御部１０１は、主にＣＰＵである。制御部１０１は、記憶支援処理装置１００にインストールされたアプリケーション（プログラム）を実行して、記憶支援処理装置１００を統括制御する。
制御部１０１は、画像生成処理、語句が頭音の１字以上が一致している文字の検索処理などその他様々な処理を指令する。
制御部１０１は、画像生成処理、語句が頭音の１字以上が一致している文字の検索処理などその他様々な処理を指令する。
【0018】
記憶部１０２には、インストールされたアプリケーション（プログラム）に加えて、所定のデータが格納されている。記憶部１０２には、一時記憶としてメモリがあり、永久記憶としてＨＤＤやＳＳＤがある。
メモリは、制御部１０１が処理を行う際のワークエリアとして機能するものである。メモリは、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）及び静的ランダムアクセスメモリ（ＳＲＡＭ）などである。
本開示では、従来から使用されている記憶支援のための文字データ、画像データ、語語呂合わせを代表とする音韻連想による語句データに加えて、本開示で処理を行った画像データなども格納される。
メモリは、制御部１０１が処理を行う際のワークエリアとして機能するものである。メモリは、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）及び静的ランダムアクセスメモリ（ＳＲＡＭ）などである。
本開示では、従来から使用されている記憶支援のための文字データ、画像データ、語語呂合わせを代表とする音韻連想による語句データに加えて、本開示で処理を行った画像データなども格納される。
【0019】
通信部１０３は、記憶支援処理装置１００が記憶支援処理装置１００の外部と情報のやり取りを行うものである。通信部１０３は、具体的には、光ファイバーやイーサネット（ＥＴＨＥＲＮＥＴ）等のケーブルで記憶支援処理装置１００の外部と接続される。
【0020】
表示部１０４は、記憶部１０２に格納された文字データ、画像データ等を出力する。表示部１０４は、具体的には、表示部１０４は、液晶ディスプレイ等である。
【0021】
文字選択部１０５は、ユーザが記憶したい語句の意味が属する分野において関連し、なおかつ、語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部１０２２から選択する。
例えば、Ｃｏｍｐｏｓｅｒ、コンポーザー、作曲家という単語があった場合、Ｃｏｍｐｏｓｅｒという単語が属する「音楽」の分野において、Ｃｏｍｐｏｓｅｒという単語の意味である「さっきょくか」の頭音である「さ」と、その次の音が「っ」で一致する「さっくす」という第２の文字が選択され得る。
例えば、Ｃｏｍｐｏｓｅｒ、コンポーザー、作曲家という単語があった場合、Ｃｏｍｐｏｓｅｒという単語が属する「音楽」の分野において、Ｃｏｍｐｏｓｅｒという単語の意味である「さっきょくか」の頭音である「さ」と、その次の音が「っ」で一致する「さっくす」という第２の文字が選択され得る。
【0022】
画像選択部１０６は、文字選択部１０５で選択した第２の文字に一致する図形を第３の記憶部１０２３から検索する。画像選択部１０６は、文字選択部１０５で選択した第２の文字に一致する第２の画像を検索した結果、見つけた場合には、その第２の画像を選択する。画像選択部１０６は、文字選択部１０５で選択した第２の文字に一致する第２の画像を検索した結果、見つけられなかった場合には、文字選択部１０５で第２の文字の再選択を行う。
【0023】
画像位置決定部１０７は、選択した第２の画像を第１の画像に対する相対位置を決定する。
第２の画像を第１の画像の中心に配置してしてもよい。相対位置の決定の仕方は、物体認識によるバウンダリーボックスを使用して、第２の画像を第１の画像に配置してもよい。
第２の画像を第１の画像の中心に配置してしてもよい。相対位置の決定の仕方は、物体認識によるバウンダリーボックスを使用して、第２の画像を第１の画像に配置してもよい。
【0024】
画像処理部１０８は、画像位置決定部１０７が決定した第２の画像の第１の画像に対する相対位置に第２の画像を第１の画像に重畳・合成し、新たに第３の画像を生成する処理を行う。
画像処理部１０８は、第２の画像を第１の画像に重畳し、第２の画像を点滅させる処理を行う。画像処理部１０８は、第１の画像および第２の画像が立体的画像であっても構わない。
画像処理部１０８は、一定時間ポーズ（一時停止）をする、再生スピードを０．５倍や０．７５倍にするなどの処理を行う。印象付けたい場面の前で一時停止させることや映像の表示時間を調節できるようにすることで、想起のトレーニングに利用することもできるからである。
画像処理部１０８は、第２の画像を第１の画像に重畳し、第２の画像を点滅させる処理を行う。画像処理部１０８は、第１の画像および第２の画像が立体的画像であっても構わない。
画像処理部１０８は、一定時間ポーズ（一時停止）をする、再生スピードを０．５倍や０．７５倍にするなどの処理を行う。印象付けたい場面の前で一時停止させることや映像の表示時間を調節できるようにすることで、想起のトレーニングに利用することもできるからである。
【0025】
物体画像認識部１０９は、動画にある物体を認識する。物体画像認識部１０９は、ディープラーニングによる物体検出・物体認識を利用したものである。物体画像認識部１０９は、具体的には、ＹＯＬＯ（Ｙｏｕ ＯＮＬＹ Ｌｏｏｋ Ｏｎｃｅ）やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）などを利用して、物体をバウンダリーボックスで囲み、リアルタイムで動画にある物体を検出することができる。物体画像認識部１０９は、バウンダリーボックスで検出された物体を認識する。
【0026】
文字変換部１１０は、物体画像認識部１０９が認識した物体の画像に基づいて、物体の名称を検索する。文字変換部１１０は、物体の名称の候補をいつくか挙げてもよい。
例えば、手の画像が認識された場合に、「て（手）」、「うで（腕）」、「じょうし（上肢）」などである。
例えば、手の画像が認識された場合に、「て（手）」、「うで（腕）」、「じょうし（上肢）」などである。
【0027】
画像特定部１１１は、文字選択部１０５で選択した第３の文字に対応する第４の画像を特定する。画像特定部１１１は、第４の記憶部１０２４から第４の画像を特定できなかった場合には、文字変換部１１０で第４の文字の再選択を行う。
【0028】
マーキング処理部１１２は、画像に円形状のマーキング処理を行う。より詳細には、画像特定部１１１特定した画像のバウンダリーボックスを囲うように画像に円形状のマーキング処理を行う。
マーキング処理部１１２は、マーキングの他に、マスキング処理やモザイク処理を行うことも可能である。
マーキング処理部１１２は、マーキングの他に、マスキング処理やモザイク処理を行うことも可能である。
【0029】
画像分割部１１３は、第１の画像を複数の画像に分割する。画像分割部１１３が分割する数は、２分割、３分割、４分割、６分割、８分割、９分割、１２分割などである。
画像分割部１１３は、単に画像を分割するだけではなく、バウンダリーボックスを利用することで物体画像認識部１０９が認識した物体画像が分割された画像の区画内に収まるように分割することもできる。
画像分割部１１３は、単に画像を分割するだけではなく、バウンダリーボックスを利用することで物体画像認識部１０９が認識した物体画像が分割された画像の区画内に収まるように分割することもできる。
【0030】
図３は、記憶部１０２の概念図である。記憶部１０２に格納されているデータは、制御部１０１から指令を受けて閲覧、複製、編集、削除することができる。
記憶部１０２は、第１の記憶部１０２１と、第２の記憶部１０２２と、第３の記憶部１０２３と、第４の記憶部１０２４とから構成されている。第１の記憶部１０２１と、第２の記憶部１０２２と、第３の記憶部１０２３と、第４の記憶部１０２４とは互いにバス接続される。
記憶部１０２は、第１の記憶部１０２１と、第２の記憶部１０２２と、第３の記憶部１０２３と、第４の記憶部１０２４とから構成されている。第１の記憶部１０２１と、第２の記憶部１０２２と、第３の記憶部１０２３と、第４の記憶部１０２４とは互いにバス接続される。
【0031】
第１の記憶部１０２１には、既存の記憶術に関する情報が格納されている。具体的には、ユーザが記憶を容易にするための画像データ、動画データなどである。さらに、第１の記憶部１０２１には、画像データに記載されている文字データや画像データに描かれている絵や写真の画像データを別個に格納されている。
【0032】
第２の記憶部１０２２には、第２の文字データが格納されている。第２の記憶部１０２２には、一般的な名称の他、略語、駄洒落、流行語なども格納されている。
【0033】
第３の記憶部１０２３には、第２の画像データが格納されている。第３の記憶部１０２３には、第２の文字データに対応する第２の画像データが格納されている。
【0034】
第４の記憶部１０２４には、第３の文字データおよび第４の画像データが格納されている。
【0035】
第５の記憶部１０２５には、合成された第３の画像データやマーキング処理された第４の画像データ、および動画データなどが格納される。
【0036】
図４は、第２の記憶部１０２２に格納されている文字データの概念図である。第２の記憶部１０２２に格納されている文字データは、カテゴリー別に分類されている。例えば、「建築物」、「自動車」、「文房具」、「音楽」、「果実」、「海の生き物」などである。
「さっきょくか」の例で説明すると、作曲家は、意味合いから「音楽」のカテゴリーが最も近い。「音楽」のカテゴリー内で、「さ」、「さっ」などからはじまる文字の検索をする。すると、「サックス」、「さくし」、「さくしか」などが検索される。
なお、「さっきょくか」の略称にもなる「さっきょく」は除外する仕組みにしてもよい。
「さっきょくか」の例で説明すると、作曲家は、意味合いから「音楽」のカテゴリーが最も近い。「音楽」のカテゴリー内で、「さ」、「さっ」などからはじまる文字の検索をする。すると、「サックス」、「さくし」、「さくしか」などが検索される。
なお、「さっきょくか」の略称にもなる「さっきょく」は除外する仕組みにしてもよい。
【0037】
図５は、本開示の一実施例である記憶を容易にするための従来の画像データ２００である。
単語の文字２０１は、ユーザが記憶したい単語の文字表記である。
単語の称呼２０２は、単語の文字２０１の呼び方、称呼を示す文字表記である。
単語の意味２０３は、単語の文字２０１の意味を示す文字表記である。
単語の文字２０１は、ユーザが記憶したい単語の文字表記である。
単語の称呼２０２は、単語の文字２０１の呼び方、称呼を示す文字表記である。
単語の意味２０３は、単語の文字２０１の意味を示す文字表記である。
【0038】
画像２０４は、画像データ２００で記憶を容易にするための中心的な画像データである。画像２０４は、ディープラーニングによる物体認識で認識することができる。
画像２０５は、ディープラーニングによる物体認識で人または音楽家と判断される画像データである。
画像２０６は、ディープラーニングによる物体認識で楽譜または譜面と判断される画像データである。
画像２０５は、ディープラーニングによる物体認識で人または音楽家と判断される画像データである。
画像２０６は、ディープラーニングによる物体認識で楽譜または譜面と判断される画像データである。
【0039】
画像２０７は、ディープラーニングによる物体認識で梱包材と判断される画像データである。
画像２０８は、ディープラーニングによる物体認識で段ボールまたは梱包材と判断される画像データである。
画像２０８は、ディープラーニングによる物体認識で段ボールまたは梱包材と判断される画像データである。
【0040】
図６は、本開示の一実施例のユーザが記憶を容易にするための画像である。
左側が従来の画像で、右側が本開示による画像である。両画像の違いは、右画像の中心付近に位置するサックスの画像である（点線囲い）。
左側が従来の画像で、右側が本開示による画像である。両画像の違いは、右画像の中心付近に位置するサックスの画像である（点線囲い）。
【0041】
従来の画像データでは、ユーザがＣｏｍｐｏｓｅｒの文字表記と画像２０４を見ただけでは、ユーザがＣｏｍｐｏｓｅｒの意味の一つである「作曲家」という言葉を想起することが難しかった。
【0042】
本開示では、画像２０４の中心に「サックス」の画像２０９が合成されている。このサックスの画像２０９により、ユーザの頭には語頭の「さ」、または「さっ」が自然に想起される。ユーザの頭に語頭が想起されると、「さ」、「さっ」からはじまる言葉「作曲家」が思い浮かぶようになる。
【0043】
図７は、本開示の一実施例のユーザが記憶を容易にするための画像である。
左側が従来の画像データで、右側が本開示による画像データである。両画データ像の違いは、右画像データの中心付近に位置するダイアモンドの画像データである（点線囲い）。
左側が従来の画像データで、右側が本開示による画像データである。両画データ像の違いは、右画像データの中心付近に位置するダイアモンドの画像データである（点線囲い）。
【0044】
従来の画像データでは、ユーザがＣｈｅｒｉｓｈの文字表記と画像を見ただけでは、ユーザがＣｈｅｒｉｓｈの意味の一つである「大事にする」という言葉を想起することが難しかった。
【0045】
本開示では、画像データの中心付近に「ダイアモンド」の画像データが合成されている（点線囲い）。このダイアモンドの画像データにより、ユーザの頭には語頭の「だ」、または「だい」が自然に想起される。ユーザの頭に語頭が想起されると、「だ」、「だい」からはじまる言葉「だいじ」などの言葉が思い浮かぶようになる。
【0046】
図８は、本開示の一実施例のユーザが記憶を容易にするための画像である。
左側が従来の画像データで、右側が本開示による画像データである。両画データ像の違いは、右画像データが分割されていることである。画像データが分割されていることで、画像データの中の物体をより識別し易くし、単語の意味を想起させる効果がある。
左側が従来の画像データで、右側が本開示による画像データである。両画データ像の違いは、右画像データが分割されていることである。画像データが分割されていることで、画像データの中の物体をより識別し易くし、単語の意味を想起させる効果がある。
【0047】
従来の画像データでは、ユーザがＩｎｄｕｓｔｏｒｙの文字表記と画像を見ただけでは、ユーザがＩｎｄｕｓｔｏｒｙの意味の一つである「勤勉」という言葉を想起することが難しかった。
【0048】
本開示では、画像データは、９つに分割されている。分割された画像データの下方中央部に勤勉の語呂合わせまたは言い換えである金便（金色の便）が収まっている。この分割された画像データにより、ユーザの頭には語頭の「金便」が自然に想起される。ユーザの頭に「金便」が想起されると、「勤勉」という言葉が思い浮かぶようになる。
【0049】
図９は、本開示の一実施例のユーザが記憶を容易にするための動画である。
動画は、連続する画像の集まりである。
動画は、連続する画像の集まりである。
【0050】
従来の動画データでは、ユーザがＳｕｉｔａｂｌｅの文字表記と動画を見ただけでは、ユーザがＳｕｉｔａｂｌｅの意味の一つである「適した」という言葉を想起することが難しかった。
【0051】
本開示では、動画の最後の画像データにマーキング処理が施されている。
本開示では、Ｓｕｉｔａｂｌｅの意味の一つである「適した」の頭音である「て」に対応する「手」の画像データにマーキング処理が施されている。
本開示では、Ｓｕｉｔａｂｌｅの意味の一つである「適した」の頭音である「て」に対応する「手」の画像データにマーキング処理が施されている。
【0052】
物体画像認識部１０９は、ディープラーニングの物体認識処理を行い動画にある物体を認識する。そして、文字変換部１１０は、物体画像認識部１０９が認識した物体を文字に置き換える。さらに、文字選択部１０５は、Ｓｕｉｔａｂｌｅの意味の一つである「適した」の頭語である「て」、「てき」に一致する文字を検索する。画像特定部１１１は、一致した文字がある場合には、文字に対応する画像を第４の記憶部１０２４から選択する。マーキング処理部１１２は、画像に対するバウンダリーボックスを囲むような円形状のマーキング処理を行う。
【0053】
図１０は、本開示の一実施形態におけるフローチャート図である。
制御部１０１は、情報処理端末装置１２０からのメッセージを受けて、記憶部１０２から従来の記憶術で使用されている情報を取得する（Ｓ２）。従来の記憶術で使用されている情報とは、単語の文字と、単語の称呼を示す文字と、単語の意味を示す文字と、単語と概念的に結びついた第１の画像と、単語を記憶することを容易にするための語呂合わせとをまとめたものである。
制御部１０１は、情報処理端末装置１２０からのメッセージを受けて、記憶部１０２から従来の記憶術で使用されている情報を取得する（Ｓ２）。従来の記憶術で使用されている情報とは、単語の文字と、単語の称呼を示す文字と、単語の意味を示す文字と、単語と概念的に結びついた第１の画像と、単語を記憶することを容易にするための語呂合わせとをまとめたものである。
【0054】
文字選択部１０５は、ユーザが記憶したい単語の意味が属する分野（カテゴリー）に分類する（Ｓ４、図４）。カテゴリーは、大まかな大分類でもよいし、ある程度細かく分ける中分類でもよい。
【0055】
文字選択部１０５は、単語の意味を示す文字の語頭と少なくとも１字以上が一致する第２の文字を第２の記憶部１０２２の単語の意味が属する分野（カテゴリー）から選択する（Ｓ６）。
文字選択部１０５は、語頭の１字のみが一致する第２の文字、語頭の２字がのみ一致する第２の文字などを選択する。文字選択部１０５は、文字選択部１０５が選択した第２の文字のうち、一致する字数が多いもの順に列挙してもよい。
文字選択部１０５は、語頭の１字のみが一致する第２の文字、語頭の２字がのみ一致する第２の文字などを選択する。文字選択部１０５は、文字選択部１０５が選択した第２の文字のうち、一致する字数が多いもの順に列挙してもよい。
【0056】
画像選択部１０６は、文字選択部１０５が選択した第２の文字と意味合いが一致する第２の画像を第３の記憶部１０２３から選択する（Ｓ８）。
第３の記憶に格納されている第３の画像にない場合には、第２の文字からＣｒａｉｙｏｎなどを利用したＡＩ技術により第３の画像を生成してもよい。
第３の記憶に格納されている第３の画像にない場合には、第２の文字からＣｒａｉｙｏｎなどを利用したＡＩ技術により第３の画像を生成してもよい。
【0057】
画像選択部１０６は、文字選択部１０５が選択した第２の文字と意味合いが一致する第２の画像ない場合には、文字選択部１０５に戻り第２の文字を選択する。
【0058】
画像位置決定部１０７は、第２の画像の第１の画像に対する相対的な位置を決定する（Ｓ１０）。第２の画像のサイズは、第１の画像のサイズよりも小さく、第２の画像に対する第１の画像のサイズ比は、１／２０から１／４である。第２の画像の中心が、第１の画像の中心に位置するように配置することができる。
【0059】
画像処理部１０８は、第２の画像を第１の画像に重畳・合成して第３の画像を作成する。画像処理部１０８は、合成処理の際に、色合いや形状、縦横比率など変更してもよい（Ｓ１２）。
【0060】
画像処理部１０８は、第３の画像の中で第２の画像のみを点滅させる処理を追加することができる。画像処理部１０８は、第１の画像と第３の画像を交互に表示切替える方法でもよい（Ｓ１２）。
画像処理部１０８は、第３の画像を立体的な画像とする処理を行うことができる。
画像処理部１０８は、第３の画像を立体的な画像とする処理を行うことができる。
【0061】
制御部１０１は、画像処理部１０８が処理した第３の画像を情報処理端末装置１２０の表示部に表示する（Ｓ１６）。
制御部１０１は、画像分割部１１３が画面を分割した場合にも第３の画像を情報処理端末装置１２０の表示部に表示する。
制御部１０１は、画像分割部１１３が画面を分割した場合にも第３の画像を情報処理端末装置１２０の表示部に表示する。
【0062】
図１１は、本開示の一実施形態におけるフローチャート図である。
制御部１０１は、情報処理端末装置１２０からのメッセージを受けて、記憶部１０２から従来の記憶術で使用されている情報を取得する（Ｓ２０）。従来の記憶術で使用されている情報とは、単語の文字と、単語の称呼を示す文字と、単語の意味を示す文字と、単語と概念的に結びついた第１の動画と、単語を記憶することを容易にするための語呂合わせとをまとめたものである。
制御部１０１は、情報処理端末装置１２０からのメッセージを受けて、記憶部１０２から従来の記憶術で使用されている情報を取得する（Ｓ２０）。従来の記憶術で使用されている情報とは、単語の文字と、単語の称呼を示す文字と、単語の意味を示す文字と、単語と概念的に結びついた第１の動画と、単語を記憶することを容易にするための語呂合わせとをまとめたものである。
【0063】
物体画像認識部１０９は、第１の動画にある物体を認識する。動画は、画像の集まりであるため、画像の中の物体を認識する（Ｓ２２）。
物体画像認識部１０９は、ディープラーニングの具体的には、ＹＯＬＯ（Ｙｏｕ ＯＮＬＹ Ｌｏｏｋ Ｏｎｃｅ）やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）などを利用して、物体をバウンダリーボックスで囲み、リアルタイムで動画にある物体を検出・認識することができる。
物体画像認識部１０９で認識された画像は、第４の記憶部１０２４に格納される。
物体画像認識部１０９は、ディープラーニングの具体的には、ＹＯＬＯ（Ｙｏｕ ＯＮＬＹ Ｌｏｏｋ Ｏｎｃｅ）やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）などを利用して、物体をバウンダリーボックスで囲み、リアルタイムで動画にある物体を検出・認識することができる。
物体画像認識部１０９で認識された画像は、第４の記憶部１０２４に格納される。
【0064】
文字変換部１１０は、物体画像認識部１０９で認識された画像の名称を文字に変換する（Ｓ２４）。例えば、車の画像であれば、「車」、「自動車」、「乗用車」など名詞である。複数の名称をあげてもよい。
文字変換部１１０で変換された文字は、第４の記憶部１０２４に格納される。
文字変換部１１０で変換された文字は、第４の記憶部１０２４に格納される。
【0065】
文字選択部１０５は、単語の意味を示す文字の頭音と少なくとも１字以上が一致する第３の文字を第４の記憶部１０２４から選択する（Ｓ２６）。
例えば、Ｓｕｉｔａｂｌｅの意味の一つである「適した」の頭音である「て」に一致する文字を第４の記憶部１０２４から検索し、選択する。Ｓｕｉｔａｂｌｅの意味の一つである「適した」の頭音である「てき」に一致する文字を第４の記憶部１０２４から検索し、選択する。
例えば、Ｓｕｉｔａｂｌｅの意味の一つである「適した」の頭音である「て」に一致する文字を第４の記憶部１０２４から検索し、選択する。Ｓｕｉｔａｂｌｅの意味の一つである「適した」の頭音である「てき」に一致する文字を第４の記憶部１０２４から検索し、選択する。
【0066】
画像選択部１０６は、文字選択部１０５が選択した文字に対応する画像を第４の記憶部１０２４から選択する（Ｓ２８）。画像選択部１０６が画像を選択できる場合には、画像特定部１１１が画像を特定する（Ｓ３０）。画像特定部１１１が特定する画像は、物体画像認識部１０９が認識した動画の中にある画像である。
【0067】
マーキング処理部１１２は、画像特定部１１１が特定した画像にマーキング処理を行う（Ｓ３２）。マーキング処理部１１２は、具体的には、物体画像認識部１０９が物体認識する際に用いたバウンダリーボックスを取り囲むような円形状のマーキング処理を行う。
【0068】
マーキング処理部１１２は、マーキング処理に変えて、マスキング処理を行う。マスキング処理とは、ぼかし処理やモザイク処理やフィルター処理を意味する。マスキング処理は、視覚的に見えなくすることで、ユーザの想像力を高めたり、探求心を刺激したりする点で、マーキング処理とは異なる効果を有する。
例えば、分割加工した画像の重要なブロックにマスキング処理を施せば、その部分の想起を促す効果が加わるため、重要部分に対しての効率的な想起のトレーニングができるようになる。
例えば、分割加工した画像の重要なブロックにマスキング処理を施せば、その部分の想起を促す効果が加わるため、重要部分に対しての効率的な想起のトレーニングができるようになる。
【0069】
画像処理部１０８は、マーキング処理部１１２がマーキングした画像を点滅させる処理を追加することができる（Ｓ３４）。
画像処理部１０８は、立体的な映像とする処理を行うことができる。
画像処理部１０８は、動画の再生スピードを調整する処理を行うことができる。例えば、第２の画像が画面に出現した際に、一定時間ポーズ（一時停止）をする、再生スピードを０．５倍や０．７５倍にするなどの処理を行う。印象付けたい場面の前で一時停止させることや映像の表示時間を調節できるようにすることで、想起のトレーニングに利用することもできるからである。
画像処理部１０８は、立体的な映像とする処理を行うことができる。
画像処理部１０８は、動画の再生スピードを調整する処理を行うことができる。例えば、第２の画像が画面に出現した際に、一定時間ポーズ（一時停止）をする、再生スピードを０．５倍や０．７５倍にするなどの処理を行う。印象付けたい場面の前で一時停止させることや映像の表示時間を調節できるようにすることで、想起のトレーニングに利用することもできるからである。
【0070】
制御部１０１は、画像処理部１０８が処理した動画を情報処理端末装置１２０の表示部に表示する（Ｓ３６）。
【0071】
＜他の実施形態＞
単語は、日本語の語句であっても外国語の語句であってもよいし、歴史の年号のような数字であってもよいし、その他地理、化学、生物、法律などの語句であってもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データに音声や文字情報、ＢＧＭとして音楽や効果音を付与してもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データは、ユーザが見る角度を変えることができる立体的画像（３Ｄ画像）、立体的動画（３Ｄ動画）であってもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データや動画データをＥＣサイトで教材として販売してもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データを印刷して紙媒体に製本したものを教材として販売してもよい。その際、必要な個所にＱＲコード（登録商標）を印刷することで、スマートフォンなどの情報端末経由で映像情報や周辺情報を得られるようにしてもよい。
単語は、日本語の語句であっても外国語の語句であってもよいし、歴史の年号のような数字であってもよいし、その他地理、化学、生物、法律などの語句であってもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データに音声や文字情報、ＢＧＭとして音楽や効果音を付与してもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データは、ユーザが見る角度を変えることができる立体的画像（３Ｄ画像）、立体的動画（３Ｄ動画）であってもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データや動画データをＥＣサイトで教材として販売してもよい。
本開示にかかる記憶支援処理装置および本開示にかかる記憶支援処理プログラムを使用して作成した映像データを印刷して紙媒体に製本したものを教材として販売してもよい。その際、必要な個所にＱＲコード（登録商標）を印刷することで、スマートフォンなどの情報端末経由で映像情報や周辺情報を得られるようにしてもよい。
【0072】
＜本実施形態の効果＞
【0073】
本開示によれば、記憶術の原理を応用し制作した画像データや動画データに、一連の特殊加工を加えた教材であり、学習について問題を抱える学習者に対しても直感的で、かつ、音韻連想による語頭を想起するための手がかりとゲーム性やエデュテイメント性が加わることにより、より有益に学習することができるという効果を有する。
特に、これまでのイメージ画像を用いる場合に比べ、想起すべき語句の語頭を連想させる映像を追加させたことで心理学における語頭プライミング効果により、これまで以上に正解を導き出せる確率が向上する。
また、ＡＤＨＤ（注意欠陥多動性障害）やディスレクシア（読字障害）などの疾患により学習について問題を抱える学習者に対しても注意を促し、集中力を保つことができるという効果を有する。
特に、これまでのイメージ画像を用いる場合に比べ、想起すべき語句の語頭を連想させる映像を追加させたことで心理学における語頭プライミング効果により、これまで以上に正解を導き出せる確率が向上する。
また、ＡＤＨＤ（注意欠陥多動性障害）やディスレクシア（読字障害）などの疾患により学習について問題を抱える学習者に対しても注意を促し、集中力を保つことができるという効果を有する。
【符号の説明】
【0074】
１ 情報処理システム
１００ 情報処理装置
１０１ 制御部
１０２ 記憶部
１０３ 通信部
１０４ 表示部
１０５ 文字選択部
１０６ 画像選択部
１０７ 画像位置決定部
１０８ 画像処理部
１０９ 物体画像認識部
１１０ 文字変換部
１１１ 画像特定部
１１２ マーキング処理部
１１３ 画像分割部
１０２１ 第１の記憶部
１０２２ 第２の記憶部
１０２３ 第３の記憶部
１０２４ 第４の記憶部
１０２５ 第５の記憶部
１００ 情報処理装置
１０１ 制御部
１０２ 記憶部
１０３ 通信部
１０４ 表示部
１０５ 文字選択部
１０６ 画像選択部
１０７ 画像位置決定部
１０８ 画像処理部
１０９ 物体画像認識部
１１０ 文字変換部
１１１ 画像特定部
１１２ マーキング処理部
１１３ 画像分割部
１０２１ 第１の記憶部
１０２２ 第２の記憶部
１０２３ 第３の記憶部
１０２４ 第４の記憶部
１０２５ 第５の記憶部
【要約】 （修正有）
【課題】音韻連想による語頭を想起するための手がかりとゲーム性やエデュテイメント性が加わることにより、より有益に学習することができる記憶支援処理装置を提供する。
【解決手段】語句の文字と語句の称呼を示す文字と語句の意味を示す文字と語句と概念的に結びついた第１の画像と語句を記憶することを容易にするための語呂合わせを代表とする音韻連想による語句とが格納されている第１の記憶部と、語句の意味が属する分野において関連し、かつ、語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部から選択する文字選択部と、文字選択部により選択された前記第２の文字と意味合いが一致する第２の画像を第３の記憶部から選択する画像選択部と、画像位置決定部が決定した表示位置に第２の画像を第１の画像に合成して第３の画像を生成する画像処理部とを備える。
【選択図】図１
【解決手段】語句の文字と語句の称呼を示す文字と語句の意味を示す文字と語句と概念的に結びついた第１の画像と語句を記憶することを容易にするための語呂合わせを代表とする音韻連想による語句とが格納されている第１の記憶部と、語句の意味が属する分野において関連し、かつ、語句の意味を示す文字の頭音と少なくとも１字以上が一致する第２の文字を第２の記憶部から選択する文字選択部と、文字選択部により選択された前記第２の文字と意味合いが一致する第２の画像を第３の記憶部から選択する画像選択部と、画像位置決定部が決定した表示位置に第２の画像を第１の画像に合成して第３の画像を生成する画像処理部とを備える。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
