(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163404
(43)【公開日】2024-11-22
(54)【発明の名称】映像作品を用いた記憶支援プログラム、映像作品を用いた記憶支援方法及び映像作品を用いた記憶支援装置
(51)【国際特許分類】
G09B 19/06 20060101AFI20241115BHJP
G06Q 50/10 20120101ALI20241115BHJP
G09B 5/06 20060101ALI20241115BHJP
【FI】
G09B19/06
G06Q50/10
G09B5/06
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2023078946
(22)【出願日】2023-05-12
(71)【出願人】
【識別番号】311000649
【氏名又は名称】伴野 啓介
(72)【発明者】
【氏名】伴野 啓介
【テーマコード(参考)】
2C028
5L049
5L050
【Fターム(参考)】
2C028AA03
2C028BB04
2C028BD03
5L049CC12
5L050CC12
(57)【要約】 (修正有)
【課題】利用者が記憶したい単語を効果的に記憶させ易くする記憶支援装置、方法及びプログラムを提供する。
【解決手段】映像作品を用いた記憶支援装置は、取得部と、抽出部と、生成部と、を有する。取得部は、利用者が視聴した映像作品が、利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、映像作品の字幕情報と映像作品に対する利用者の視聴情報とを取得する。抽出部は、利用者の視聴情報に基づき利用者の視聴中に映像作品の字幕に登場したと推定された学習用単語と学習用単語を含む所定字幕とを、所定字幕の発話者であるキャラクターに対する利用者の嗜好性に基づいて抽出する。生成部は、抽出手順により抽出された学習用単語を映像作品に対応した第1領域に追加し、抽出手順により抽出された所定字幕を映像作品に対応した第2領域に追加することで、映像作品に対応した辞書を生成する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得手順と、
前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、
をコンピュータに実行させることを特徴とする映像作品を用いた記憶支援プログラム。
【請求項2】
コンピュータが実行する記憶支援方法であって、
利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得工程と、
前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成工程と、
を含むことを特徴とする映像作品を用いた記憶支援方法。
【請求項3】
利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得部と、
前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出部と、
前記抽出部により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成部と、
を有することを特徴とする映像作品を用いた記憶支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像作品を用いた記憶支援プログラム、映像作品を用いた記憶支援方法及び映像作品を用いた記憶支援装置に関する。
【背景技術】
【0002】
外国語の学習において、単語の記憶は最も重要な学習の一つである。しかしながら、外国語は利用者の文化とは異なる文化で発展してきた言語であるため、単語を記憶し難い場合が多い。市販で一般に入手可能な辞書には、単語の意味や例文などが記載されているが、このような辞書では単語の使い方まで利用者が正確に熟達することはできないため、記憶した単語でも時間の経過とともに忘れてしまう場合が多い。
【0003】
従来、単語を用いた文章に容易にアクセスできるようにすることで単語を理解し易くさせる技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。例えば、従来の技術では、単語を利用者にとって想起し易い映像に関連付けて記憶させることができないため、利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。
【0006】
本願は、上記に鑑みてなされたものであって、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
【課題を解決するための手段】
【0007】
本願に係る映像作品を用いた記憶支援プログラムは、利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得手順と、前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出手順と、前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、利用者が記憶したい単語を効果的に記憶させ易くすることができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施形態に係る情報処理システムの構成例を示す図である。
【
図2】
図2は、実施形態に係る記憶支援装置の構成例を示す図である。
【
図3】
図3は、実施形態に係る辞書情報記憶部の一例を示す図である。
【
図4】
図4は、実施形態に係る辞書の一例を示す図である。
【
図5】
図5は、実施形態に係る単語の選択の一例を示す図である。
【
図6】
図6は、実施形態に係る辞書の一例を示す図である。
【
図7】
図7は、実施形態に係る字幕情報記憶部の一例を示す図である。
【
図8】
図8は、実施形態に係るユーザインターフェースの一例を示す図である。
【
図9】
図9は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図10】
図10は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図11】
図11は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図12】
図12は、変形例1に係る情報処理を説明するための説明図である。
【
図13】
図13は、実施形態2に係る情報処理システムの構成例を示す図である。
【
図14】
図14は、実施形態2に係る記憶支援装置の構成例を示す図である。
【
図15】
図15は、実施形態2に係る字幕情報記憶部の一例を示す図である。
【
図16】
図16は、実施形態2に係る市販辞書情報記憶部の一例を示す図である。
【
図17】
図17は、実施形態2に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図18】
図18は、実施形態3に係る情報処理システムの構成例を示す図である。
【
図19】
図19は、実施形態3に係る映像動画記憶部の一例を示す図である。
【
図20】
図20は、実施形態3に係る記憶支援装置の構成例を示す図である。
【
図21】
図21は、実施形態3に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図22】
図22は、実施形態3に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図23】
図23は、実施形態4に係る情報処理システムの構成例を示す図である。
【
図24】
図24は、実施形態4に係る情報処理システムの構成例を示す図である。
【
図25】
図25は、実施形態4に係る記憶支援装置の構成例を示す図である。
【
図26】
図26は、実施形態4に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図27】
図27は、実施形態4に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図28】
図28は、実施形態5に係る情報処理システムの構成例を示す図である。
【
図29】
図29は、実施形態5に係る記憶支援装置の構成例を示す図である。
【
図30】
図30は、実施形態5に係る発話統計情報記憶部の一例を示す図である。
【
図31】
図31は、実施形態5に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図32】
図32は、実施形態5に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【
図33】
図33は、実施形態5に係る情報処理システムによる情報処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に、本願に係る映像作品を用いた記憶支援プログラム、映像作品を用いた記憶支援方法及び映像作品を用いた記憶支援装置を実施するための形態(以下、「実施形態」と呼ぶ。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る映像作品を用いた記憶支援プログラム、映像作品を用いた記憶支援方法及び映像作品を用いた記憶支援装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
また、以下に示す項目順序に従って本開示を説明する。
1.実施形態1
1.1.はじめに
1.2.情報処理システムの構成
1.3.記憶支援装置の構成
1.4.情報処理のフロー
1.5.変形例
1.6.効果
2.実施形態2
2.1.はじめに
2.2.情報処理システムの構成
2.3.記憶支援装置の構成
2.4.情報処理のフロー
2.5.変形例
2.6.効果
3.実施形態3
3.1.はじめに
3.2.情報処理システムの構成
3.3.記憶支援装置の構成
3.4.情報処理のフロー
3.5.変形例
3.6.効果
4.実施形態4
4.1.はじめに
4.2.情報処理システムの構成
4.3.記憶支援装置の構成
4.4.情報処理のフロー
4.5.変形例
4.6.効果
5.実施形態5
5.1.はじめに
5.2.情報処理システムの構成
5.3.記憶支援装置の構成
5.4.情報処理のフロー
5.5.変形例
5.6.効果
6.その他の変形例
7.その他
【0012】
<<1.実施形態1>>
<1.1.はじめに>
外国語の学習において、単語の記憶は最も重要な学習の一つである。しかしながら、外国語は利用者の文化とは異なる文化で発展してきた言語であるため、単語を記憶し難い場合が多い。市販で一般に入手可能な辞書には、単語の意味や例文などが記載されているが、このような辞書では単語の使い方まで利用者が正確に熟達することはできないため、記憶した単語でも時間の経過とともに忘れてしまう場合が多い。
【0013】
また、市販で一般に入手可能な辞書は、辞書の難易度が上がるほど、単語の意味を説明するための言葉や例文に使われる言葉の難易度も上がる傾向にある場合が多い。例えば、利用者の言語でも馴染みが低い言葉が用いられる場合がある。しかしながら、異文化の言語を、利用者の言語でも馴染みが低い言葉で説明されても利用者が理解できない場合がある。また、利用者が理解できたとしても、そのような理解で記憶した単語では時間の経過とともに忘れてしまう場合が多い。
【0014】
また、異文化の言語をその異文化で制作された映像動画の中で学習させる手法は異文化の言語の学習において広く用いられる手法であるが、そのような映像動画に登場する発話者の感性は、利用者の感性と異なる場合があるため、言語の問題だけでなくそのような映像動画はそもそも理解し難い場合がある。例えば、異文化で長年生活してきた利用者でも、その異文化で制作された映像動画において喜怒哀楽のポイントが理解できない場合がある。例えば、「笑う」ポイントが理解できずコメディを十分に楽しめない場合がある。このように、その異文化で生まれ育った利用者でなければ、その異文化の言語の理解度に関わらず、その異文化で制作された映像動画を深く理解できない場合がある。
【0015】
本願は、上記に鑑みてなされたものであって、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
【0016】
<1.2.情報処理システムの構成>
図1に示す情報処理システム1について説明する。
図1に示すように、情報処理システム1は、端末装置10と、記憶支援装置100とが含まれる。端末装置10と、記憶支援装置100とは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。
図1は、実施形態に係る情報処理システム1の構成例を示す図である。
【0017】
端末装置10は、外国語の学習を行う利用者によって利用される情報処理装置である。端末装置10は、実施形態における処理を実現可能であれば、どのような装置であってもよい。また、端末装置10は、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等の装置であってもよい。
【0018】
端末装置10は、例えば、スマートフォンやタブレット等のスマートデバイスであり、4G~6G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者から指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受け付けてもよい。
【0019】
記憶支援装置100は、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。記憶支援装置100は、実施形態における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100は、サーバ装置やクラウドシステム等により実現される。
【0020】
なお、
図1では、端末装置10と記憶支援装置100が別装置である場合を示したが、端末装置10と記憶支援装置100は一体であってもよい。
【0021】
下記実施形態において、映像動画は利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画である。すなわち、利用者の文化で制作された映像動画である。このため、利用者は映像動画を最も理解し易い言語で視聴できる。また、映像動画には利用者が学習中の言語に翻訳された字幕が含まれる。このため、映像動画中の音声が翻訳された字幕が表示される。なお、字幕は映像動画中の映像に埋め込まれたものであってもよいし、映像動画が再生されるごとに付されたものであってもよい。また、下記実施形態では、英語の字幕が表示される場合を例に挙げて説明するが、利用者が学習中の言語はどのような言語であってもよく、特に限定されなくてもよい。
【0022】
下記実施形態において、映像動画は、アニメーション作品、いわゆる、アニメである。例えば、映像動画は、各話が所定時間長(例えば、30分のテレビ放送枠で放映可能な所定時間長)の複数話から構成されたアニメである。なお、アニメに複数のテレビシーズン(シーズン)がある場合(例えば、複数のクール(四半期)に分けてクールごとに放映された場合)には、映像動画は、特定のシーズンの複数話をまとめて一つの映像動画とした特定のシーズンの映像動画であってもよいし、各シーズンの複数話を全てまとめて一つの映像動画としたシーズン全体の映像動画であってもよい。また、映像動画は、例えば、リアルタイムに放映されているものであってもよいし、過去に放映されたものであってもよい。また、所定のウェブサイトにアップロードされたものであってもよいし、所定のアプリケーション(アプリ)で視聴可能なものでもよく、利用者の映像動画の視聴場所などの視聴態様は特に限定されないものとする。また、映像動画は、アニメに限られず、所定の事象を達成することを目的としたシミュレーションゲーム(例えば、恋愛シミュレーションゲーム)であってもよい。このようなゲームでは、利用者が何も操作せずともゲームの進行(例えば、キャラクターの会話が進む、映像が切り替わり場面が遷移する)を可能にできるため、このようなゲームもアニメーション作品とする。また、映像動画は、漫画を朗読したものを録音した音声コンテンツとともに視聴可能な電子書籍の漫画(電子コミック)であってもよい。このような音声コンテンツを伴う電子コミックもアニメーション作品とする。なお、音声コンテンツを伴う電子コミックをアニメーション作品とする場合には、吹き出しに含まれる台詞(又はコマに含まれる全ての台詞)が字幕に対応する。
【0023】
<1.3.記憶支援装置の構成>
次に、
図2を用いて、実施形態に係る記憶支援装置100の構成について説明する。
図2は、実施形態に係る記憶支援装置100の構成例を示す図である。
図2に示すように、記憶支援装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、記憶支援装置100は、記憶支援装置100の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0024】
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、端末装置10等との間で情報の送受信を行う。
【0025】
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。
図2に示すように、記憶部120は、辞書情報記憶部121と、字幕情報記憶部122とを有する。
【0026】
辞書情報記憶部121は、利用者が生成した辞書に関する情報を記憶する。ここで、
図3に、実施形態に係る辞書情報記憶部121の一例を示す。
図3は、実施形態に係る辞書情報記憶部121の一例を示す図である。
図3に示すように、辞書情報記憶部121は、「利用者ID」、「映像動画」、「辞書」といった項目を有する。
【0027】
「利用者ID」は、利用者を識別するための識別情報を示す。「映像動画」は、利用者が辞書を生成した映像動画を示す。例えば、映像動画の作品名である。「辞書」は、映像動画に対応した辞書に関する情報を示す。
図3に示した例では、「辞書」に「辞書#1」や「辞書#2」といった概念的な情報が格納される例を示したが、実際には、利用者が辞書に追加した単語や字幕などの情報が映像動画ごとに格納される。
【0028】
すなわち、
図3では、利用者ID「U1」によって識別される利用者が辞書を生成した映像動画が「〇×〇×YY1」、「〇×〇×YY2」、・・・、「〇×〇×YYN」であり、映像動画に対応した辞書に関する情報が「辞書#1」、「辞書#2」、・・・、「辞書#N」である例を示す。例えば、利用者U1が「〇×〇×YY1」の映像動画を用いて生成した辞書には「辞書#1」に含まれる単語や字幕などが追加されたことを示す。
【0029】
(辞書に単語と字幕を追加する場合)
以下、
図4を用いて、実施形態に係る辞書の詳細について説明する。
図4は、実施形態に係る辞書の一例を示す図である。辞書D1は、利用者U1が「〇×〇×YY1」の作品名の映像動画を視聴中に、利用者U1が字幕に登場した単語を選択することで生成された辞書である。領域R1は、選択された単語を追加するための所定の領域(第1領域に対応)である。なお、第1領域は、映像動画ごとに設定される。このため、領域R1は、「〇×〇×YY1」の映像動画のために設定された所定の領域である。領域R1には、利用者が「〇×〇×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに単語が追加される。例えば、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、「cobblestone」の単語が領域R1に追加される。また、利用者は単語の選択を映像動画の再生中に行ってもよいし、映像動画の再生を一時停止させたうえで行ってもよい。ここで、
図5を用いて、実施形態に係る単語の選択について説明する。
【0030】
図5は、実施形態に係る単語の選択の一例を示す図である。画面G1は、端末装置10の表示画面である。画面G1には、利用者が視聴中の「〇×〇×YY1」の映像動画が再生されており、「This is a town of cobblestone streets」の字幕が表示されている。利用者は「This is a town of cobblestone streets」の字幕が表示中に画面G1に対する操作によって画面上に表示枠W1を表示させることで、表示枠W1に含まれる単語が選択される。例えば、従来の画像解析処理の技術を用いて、表示枠W1に含まれる単語を特定することで、特定された単語が選択される。表示枠W1は、例えば、画面上の位置P1から位置P2の方向に利用者が指でスワイプを行うことで表示された枠である。ここでは、表示枠W1に単語の一部が含まれる「cobblestone」が選択される。また、選択された「cobblestone」の表示を、「This is a town of cobblestone streets」の字幕の表示中のみフォントを拡大するなど、強調させてもよい。そして、表示枠W1は、「cobblestone」の選択時にリセットされてもよいし、「This is a town of cobblestone streets」の字幕が消える際にリセットされてもよいし、利用者の操作ミスなどにより字幕外に表示され単語が何も特定されなかった際や複数の単語が特定された際にリセットされてもよい。表示枠W1はリセットされると画面から消えて、画面上に他の表示枠が表示可能となる。なお、画面上で表示枠を表示させることで単語の選択を行う場合を例に挙げて説明したが、実施形態に係る単語の選択はどのような方法によって行われてもよく、特に限定されなくてもよい。
【0031】
図4の説明に戻る。ここで、実施形態に係る第1領域への単語の追加について説明する。例えば、利用者が視聴中の「〇×〇×YY1」の映像動画において、「I will jump across red flagstones」の字幕が、「This is a town of cobblestone streets」の字幕よりも後に表示される字幕である場合には、利用者が視聴中の画面に「I will jump across red flagstones」の字幕が表示され、「I will jump across red flagstones」の字幕が表示中に「I will jump across red flagstones」の字幕から「flagstones」の単語を選択すると、領域R1の領域中で「cobblestone」よりも順序が後になるように「flagstones」の単語が領域R1に追加される。このため、例えば、利用者が巻き戻しなどにより「I will jump across red flagstones」の字幕を表示させて「flagstones」の単語を選択した後に、更に巻き戻しなどにより「This is a town of cobblestone streets」の字幕を表示させて「cobblestone」の単語を選択した場合でも、「flagstones」の単語の順序が後になるように「cobblestone」の単語が領域R1に追加される。このように、利用者が字幕を表示させた順序や単語を選択した順序に関わらず、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加される単語の順序が決定されてもよいし、第1領域に追加された単語の順序が並び替えられてもよい。なお、「I will jump across red flagstones」の字幕から「flagstones」の単語を選択した場合など、選択された単語が複数形などの基本形(例えば、単数形)の変化形である場合には、選択された単語がそのまま第1領域に追加されてもよいし、選択された単語の基本形が第1領域に追加されてもよい。この場合には、「flagstones」の単語が「flagstone」として第1領域に追加されてもよい。
【0032】
また、「〇×〇×YY1」の映像動画が複数話から構成された映像動画で、「I will jump across red flagstones」の字幕が、「This is a town of cobblestone streets」の字幕よりも後の話で表示される字幕である場合には、「I will jump across red flagstones」の字幕が表示中に「flagstones」の単語を選択すると、領域R1の領域中で「cobblestone」よりも順序が後になるように「flagstones」の単語が領域R1に追加される。例えば、「〇×〇×YY1」の映像動画の第2話を視聴中に「I will jump across red flagstones」の字幕が表示され、「flagstones」の単語を選択した場合には、「〇×〇×YY1」の映像動画の第1話を視聴中に表示された「This is a town of cobblestone streets」の字幕から選択された「cobblestone」の単語よりも順序が後になるように「flagstones」の単語が領域R1に追加される。このため、例えば、利用者が第2話を先に視聴して「I will jump across red flagstones」の字幕から「flagstones」の単語を選択した後に、第1話を視聴して「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択した場合でも、「flagstones」の単語の順序が後になるように「cobblestone」の単語が領域R1に追加される。このように、映像動画の話の順番に基づいて第1領域に追加される単語の順序が決定されてもよいし、第1領域に追加された単語の順序が並び替えられてもよい。
【0033】
また、領域R2は、単語の選択時に表示された字幕を追加するための所定の領域(第2領域に対応)である。なお、第2領域は、第1領域に対応して映像動画ごとに設定される。このため、領域R2は、「〇×〇×YY1」の映像動画のために設定された所定の領域である。領域R2には、利用者が「〇×〇×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに選択時の画面に表示された単語を含む字幕が追加される。例えば、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、「This is a town of cobblestone streets」の字幕が領域R2に追加される。具体的には、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加される。なお、第2領域への字幕の追加は、第1領域への単語の追加に対応して行われてもよいし、第1領域への単語の追加と同時に行われてもよい。例えば、領域R1に追加された「cobblestone」の単語の順序に対応して、「This is a town of cobblestone streets」の字幕が、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。また、例えば、「cobblestone」の単語が、領域R1のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されるとともに、「This is a town of cobblestone streets」の字幕が、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。
【0034】
しかしながら、発話が長く発話全体に対応した字幕が画面に収まらない場合など、字幕が複数に分けて表示される場合がある。このような場合には、単語の選択時の画面に表示された発話の一部に対応した字幕が追加される。例えば、「This is」と「a town of cobblestone streets」とが映像動画中で分けて表示される場合には、画面に表示された「a town of cobblestone streets」の字幕から「cobblestone」の単語を選択すると、「a town of cobblestone streets」の字幕が領域R2に追加される。なお、発話の一部に対応した字幕に限られず、単語の選択時の画面に表示された字幕を含む発話全体に対応した字幕が追加されてもよい。例えば、「This is」と「a town of cobblestone streets」とが映像動画中で分けて表示される場合には、画面に表示された「a town of cobblestone streets」の字幕から「cobblestone」の単語を選択すると、発話全体に対応した「This is a town of cobblestone streets」の字幕が追加されてもよい。なお、単語の選択時の画面に表示された字幕に、単語の選択時の画面に表示された字幕以外の字幕が組み合わされて追加される場合には、組み合わされる字幕は、単語の選択時の画面に表示された字幕直前の字幕であってもよいし、単語の選択時の画面に表示された字幕直後の字幕であってもよい。このように、組み合わされる字幕は、利用者が視聴した映像までに表示された字幕に限られず、これから視聴される映像に表示される字幕であってもよい。
【0035】
また、単語の選択時の画面に表示された字幕が複数文から構成される場合がある。例えば、「cobblestone」の単語の選択時の画面に表示された字幕が、「This is a town of cobblestone streets. This is」といったように、「cobblestone」の単語を含む文の他に他の文の少なくとも一部を含む場合である。このような場合には、単語の選択時の画面に表示された字幕全体が領域R2に追加されてもよいし、単語の選択時の画面に表示された字幕のうち選択された単語を文に含む一部のみが領域R2に追加されてもよい。例えば、単語の選択時の画面に表示された字幕全体の「This is a town of cobblestone streets. This is」が領域R2に追加されてもよいし、単語の選択時の画面に表示された字幕のうち選択された単語を文に含む「This is a town of cobblestone streets.」のみが領域R2に追加されてもよい。
【0036】
また、映像動画中でキャラクターが同時に発話した場合など、複数の字幕が画面上の別々の位置に同時に表示される場合がある。このような場合には、選択された単語を含む一の字幕のみが領域R2に追加されてもよいし、単語の選択時に画面上で表示された複数の字幕が領域R2に追加されてもよい。
【0037】
また、単語の選択時に表示された字幕に、選択された単語の他に特徴的な意味を有する単語の数が少ない場合がある。例えば、「cobblestone」の単語の選択時の画面に表示された字幕が、「This is a cobblestone」といったように、「cobblestone」の他に特徴的な意味を有する単語がない場合である。例えば、「This」は名詞の代わりに用いられる代名詞であり、「is」は主語の状態を表すための動詞であり、「a」は名詞の特性を示すための冠詞であるため、それぞれ、「This」、「is」、「a」のみでは特徴的な意味を有しない。このような場合には、単語の選択時に表示された字幕に、単語の選択時の前後の画面に表示された字幕を加えた字幕が領域R2に追加されてもよい。また、従来の自然言語処理の技術を用いて、単語の選択時に表示された字幕と、単語の選択時の前後の画面に表示された字幕とに基づいて、両者の字幕が表示された際の発話の内容に沿った、選択された単語を含む字幕を生成することで、生成された字幕が領域R2に追加されてもよい。例えば、「cobblestone」の単語の選択時の画面に表示された「This is a cobblestone」の字幕と、「This is a cobblestone」の字幕の次に表示される「This is a street」の字幕とに基づいて、「This is a cobblestone street」といったような複数の字幕を一文にまとめた字幕を生成し、「This is a cobblestone street」の字幕が領域R2に追加されてもよい。なお、「This is a cobblestone」の「This」と「This is a street」の「This」とが異なる対象を指し示す場合には、「This is a cobblestone street」とすると、両者の字幕が表示された際の発話の内容に沿わない。このため、「cobblestone」の単語の選択時の画面に表示された映像の少なくとも一部が、「This is a street」の字幕が表示される映像に含まれる場合に、「This is a cobblestone street」といった字幕を生成してもよい。
【0038】
(辞書に単語と字幕と映像画像を追加する場合)
以下、
図6を用いて、実施形態に係る辞書の詳細について更に説明する。
図6は、実施形態に係る辞書の一例を示す図である。辞書D2は、利用者U1が「〇×〇×YY1」の作品名の映像動画を視聴中に、利用者U1が字幕に登場した単語を選択することで生成された辞書である。辞書D2は、
図4に示した辞書D1に、単語の選択時に画面に表示された映像画像が追加された辞書である。このため、辞書D1と同様の説明は適宜省略する。
【0039】
領域R3は、単語の選択時に表示された映像画像を追加するための所定の領域(第3領域に対応)である。なお、第3領域は、第1領域に対応して映像動画ごとに設定される。このため、領域R3は、「〇×〇×YY1」の映像動画のために設定された所定の領域である。領域R3には、利用者が「〇×〇×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに選択時の画面に表示された映像画像が追加される。なお、単語の選択時に表示された字幕を映像に含む映像画像が追加されてもよいし、単語の選択時に表示された字幕を除いた映像画像が追加されてもよい。例えば、字幕と映像動画とが別々に記憶され、映像動画の再生時に字幕が付される場合には、利用者に映像動画を提供している外部の情報処理装置等から、単語の選択時に表示された字幕を除いた映像画像を取得することで、字幕を除いた映像画像が追加されてもよいし、単語の選択時に表示された画面をスクリーンショットなどにより撮影することで、字幕を映像に含む映像画像が追加されてもよい。また、例えば、映像動画に字幕が埋め込まれている場合には、オリジナルの映像動画を記憶した外部の情報処理装置等から、単語の選択時に表示された字幕を除いた映像画像を取得することで、字幕を除いた映像画像が追加されてもよいし、単語の選択時に表示された画面をスクリーンショットなどにより撮影することで、字幕を映像に含む映像画像が追加されてもよい。領域R3では、字幕を除いた映像画像が追加される。
【0040】
利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像IM11が領域R3に追加される。例えば、「This is a town of cobblestone streets」の字幕が領域R2に追加されるとともに、「cobblestone」の単語の選択時に表示された映像画像IM11が領域R3に追加される。具体的には、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加される。なお、第3領域への映像画像の追加は、第1領域への単語の追加に対応して行われてもよいし、第1領域への単語の追加と同時に行われてもよい。例えば、領域R1に追加された「cobblestone」の単語の順序に対応して、「cobblestone」の単語の選択時に表示された映像画像が、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。また、例えば、「cobblestone」の単語が、領域R1のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されるとともに、「cobblestone」の単語の選択時に表示された映像画像が、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。
【0041】
また、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像の場面中で印象的な映像画像が領域R3に追加されてもよい。例えば、単語の選択時に画面に表示された字幕と、単語の選択時に画面に表示された字幕よりも前に表示された字幕とから、単語の選択時に画面に表示された映像画像の場面の開始を推定することで、推定された場面の開始までの範囲に含まれる映像画像の中から印象的な映像画像として特徴的な映像画像が追加されてもよい。なお、外部の情報処理装置等から、映像動画の場面に関する情報が取得可能な場合には、外部の情報処理装置等から映像動画の場面に関する情報を取得することで、取得された映像動画の場面に関する情報に基づいて、単語の選択時に画面に表示された映像画像の場面の開始や場面全体の範囲が推定されてもよい。そして、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中から特徴的な映像画像が追加されてもよい。例えば、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも他の映像画像とは異なる特徴情報を含む映像画像が追加されてもよい。また、例えば、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む映像画像が追加されてもよい。なお、映像動画のメインキャラクターは、例えば、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像に含まれるキャラクターの特徴に基づいてメインキャラクターであると推定されたキャラクターであってもよいし、映像動画の字幕に関する情報に基づいてメインキャラクターであると推定されたキャラクターであってもよいし、映像動画に関する情報を外部の情報処理装置等から取得することでメインキャラクターであると推定されたキャラクターであってもよい。このように、映像動画のメインキャラクターの推定方法は特に限定されなくてもよい。また、利用者にとって印象的な映像画像は、利用者の嗜好に沿ったキャラクターを映像に含む映像画像である場合が多いため、外部の情報処理装置等から利用者の嗜好情報(例えば、利用者が好きなキャラクターの体型や顔の形状や髪型や髪色などの外見の特徴、利用者が好きなキャラクターの着用している衣装の特徴、利用者が好きなキャラクターの話し方の特徴、利用者が好きなキャラクターに設定された身長や性別や年齢や性格や趣味や特技や特殊能力などの特徴、利用者が好きなキャラクターのデザイナーがデザインした他のキャラクターや衣装の特徴)を取得することで、取得された利用者の嗜好情報に基づいて、映像動画のメインキャラクターのうち利用者の嗜好に最も沿ったキャラクターを少なくとも映像に含む映像画像が追加されてもよい。また、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも最も特徴的な映像画像が追加されてもよい。例えば、利用者の嗜好に最も沿ったキャラクターが最も大きく画面に映る映像画像が追加されてもよい。また、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像の場面中で印象的な映像画像とともに、単語の選択時に画面に表示された映像画像が領域R3に追加されてもよい。
【0042】
字幕情報記憶部122は、映像動画で表示される字幕に関する情報を記憶する。ここで、
図7に、実施形態に係る字幕情報記憶部122の一例を示す。
図7は、実施形態に係る字幕情報記憶部122の一例を示す図である。
図7に示すように、字幕情報記憶部122は、「映像動画ID」、「字幕」といった項目を有する。
【0043】
「映像動画ID」は、映像動画を識別するための識別情報を示す。「字幕」は、映像動画で表示される字幕を示す。
図7に示した例では、「字幕」に「字幕#1」や「字幕#2」といった概念的な情報が格納される例を示したが、実際には、字幕を構成する単語情報(字幕に含まれる文字情報)が字幕ごとに格納される。
【0044】
すなわち、
図7では、映像動画ID「M1」によって識別される映像動画で表示される字幕が「字幕#1」、「字幕#2」、・・・、「字幕#N」である例を示す。
【0045】
(制御部130)
制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶支援装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0046】
図2に示すように、制御部130は、取得部131と、抽出部132と、生成部133と、更新部134と、表示部135と、提案部136とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130の内部構成は、
図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0047】
(取得部131)
取得部131は、外部の情報処理装置から各種情報を取得する。例えば、取得部131は、端末装置10等の他の情報処理装置から各種情報を取得する。また、取得部131は、記憶部120から各種情報を取得する。また、取得部131は、取得した各種情報を記憶部120に格納する。
【0048】
取得部131は、利用者が映像動画を視聴中に画面上で操作を行った際の操作情報を取得する。例えば、取得部131は、利用者が映像動画を視聴中に画面上で表示させた表示枠に関する情報(例えば、画面上での表示枠の位置やサイズを示す座標情報)を取得する。例えば、取得部131は、利用者が指でスワイプを行うことで表示させた表示枠に関する情報を取得する。
【0049】
取得部131は、利用者が視聴中の映像動画に関する情報を取得する。例えば、取得部131は、利用者が映像動画を視聴中に画面上で操作を行うことで単語が選択された際に、利用者が視聴中の映像動画に関する情報を取得する。例えば、取得部131は、利用者が視聴中の映像動画の字幕に関する情報を取得する。例えば、取得部131は、利用者が「〇×〇×YY1」の映像動画を視聴中に、表示された字幕から「cobblestone」の単語を選択した場合には、「cobblestone」の単語の選択時に画面上に表示された字幕に関する情報を取得してもよいし、「〇×〇×YY1」の映像動画に含まれる字幕全体に関する情報を取得してもよい。また、取得部131は、利用者が視聴中の映像動画が利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画(すなわち、利用者の言語で発話された音声を含む映像動画)であるか否かを判定し、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画であると判定した場合に字幕情報の取得処理を行い、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画でないと判定した場合には字幕情報の取得処理を行わずに情報処理を終了してもよい。また、取得部131は、利用者が視聴中の映像動画が利用者の学習中の言語に翻訳された字幕を含む映像動画であるか否かを判定し、利用者の学習中の言語に翻訳された字幕を含む映像動画であると判定した場合に字幕情報の取得処理を行い、利用者の学習中の言語に翻訳された字幕を含む映像動画でないと判定した場合には字幕情報の取得処理を行わずに情報処理を終了してもよい。
【0050】
(抽出部132)
抽出部132は、取得部131により取得された情報に基づいて、利用者が選択した単語と、単語の選択時に表示された字幕とを抽出する。例えば、抽出部132は、画面上に表示された表示枠に関する情報と、表示枠が表示された際に表示された字幕に関する情報とに基づいて、表示枠が表示された際に表示された字幕から利用者が選択した単語を抽出する。例えば、抽出部132は、表示枠に少なくとも文字の一部を含む単語を、利用者が選択した単語として抽出する。また、例えば、抽出部132は、利用者の単語の選択時に表示された字幕を抽出する。具体的には、抽出部132は、単語が抽出された字幕を抽出する。例えば、抽出部132は、「This is a town of cobblestone streets」の字幕が表示中に利用者の画面上での操作によって表示された表示枠が「cobblestone」の単語に最も重畳した場合には、「cobblestone」の単語を抽出するとともに「This is a town of cobblestone streets」の字幕を抽出する。この際、抽出部132は、利用者の単語の選択時に表示された字幕を字幕情報記憶部122から抽出してもよい。例えば、抽出部132は、字幕情報記憶部122に記憶された字幕のうち利用者が視聴中の映像動画に対応した字幕の中から利用者が選択した単語を含む字幕を特定することで、利用者の単語の選択時に表示された字幕を抽出してもよい。また、例えば、抽出部132は、利用者の単語の選択時のタイミングと、利用者が視聴中の映像動画において字幕が表示されるタイミングとを比較することで、利用者の単語の選択時に表示された字幕を抽出してもよい。例えば、抽出部132は、利用者の単語の選択時のタイミングが映像動画の開始から1分2秒後であり、「字幕#1」の字幕が映像動画の開始から1分後に5秒間表示される字幕である場合には、「字幕#1」の字幕が利用者の単語の選択時に表示された字幕であると推定して、利用者の単語の選択時に表示された字幕として「字幕#1」の字幕を抽出してもよい。また、抽出部132は、利用者の単語の選択時に表示された映像画像を抽出してもよい。例えば、抽出部132は、利用者の単語の選択時にスクリーンショットなどによって画面を撮影することで、撮影された映像画像を抽出してもよい。また、例えば、抽出部132は、利用者の単語の選択時に表示された映像画像を外部の情報処理装置等から取得してもよい。また、抽出部132は、利用者が視聴中の映像動画が利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画であるか否かを判定し、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画であると判定した場合に抽出処理を行い、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画でないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。また、抽出部132は、利用者が視聴中の映像動画が利用者の学習中の言語に翻訳された字幕を含む映像動画であるか否かを判定し、利用者の学習中の言語に翻訳された字幕を含む映像動画であると判定した場合に抽出処理を行い、利用者の学習中の言語に翻訳された字幕を含む映像動画でないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。
【0051】
抽出部132は、利用者の単語の選択時に表示された映像画像の場面中で印象的な映像画像を抽出してもよい。例えば、抽出部132は、単語の選択時に画面に表示された字幕と、単語の選択時に画面に表示された字幕よりも前に表示された字幕とから、単語の選択時に画面に表示された映像画像の場面の開始を推定する。そして、抽出部132は、推定された場面の開始までの範囲に含まれる映像画像の中から印象的な映像画像を抽出する。また、例えば、抽出部132は、外部の情報処理装置等から映像動画の場面に関する情報を取得することで、取得された映像動画の場面に関する情報に基づいて、単語の選択時に画面に表示された映像画像の場面の開始や場面全体の範囲を推定してもよい。そして、抽出部132は、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中から印象的な映像画像を抽出してもよい。
【0052】
抽出部132は、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも他の映像画像とは異なる特徴情報を含む映像画像を抽出してもよい。また、抽出部132は、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む映像画像を抽出してもよい。例えば、抽出部132は、利用者の嗜好情報に基づいて、映像動画のメインキャラクターの中から利用者の嗜好に最も沿ったキャラクターを推定し、推定されたキャラクターを少なくとも映像に含む映像画像を抽出してもよい。例えば、抽出部132は、推定されたキャラクターが最も大きく画面に映る映像画像を抽出してもよい。
【0053】
(生成部133)
生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する。
図4の例では、生成部133は、「cobblestone」の単語を、「〇×〇×YY1」の映像動画に対応した第1領域に追加し、「This is a town of cobblestone streets」の字幕を、「〇×〇×YY1」の映像動画に対応した第2領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加することで、辞書D1を生成する。また、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。
図6の例では、生成部133は、「cobblestone」の単語を、「〇×〇×YY1」の映像動画に対応した第1領域に追加し、「This is a town of cobblestone streets」の字幕を、「〇×〇×YY1」の映像動画に対応した第2領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加し、映像画像IM11を、「〇×〇×YY1」の映像動画に対応した第3領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加することで、辞書D2を生成する。
【0054】
(更新部134)
更新部134は、第1領域への単語の追加時に、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加される単語の順序を決定することで、生成部133により生成された辞書を更新する。また、更新部134は、第1領域への単語の追加時に、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加された単語の順序を並び替えることで、生成部133により生成された辞書を更新してもよい。例えば、更新部134は、第1領域への単語の追加時に、第2領域へ追加される字幕の表示順が早いほど、第1領域に追加される単語が上位に表示されるように辞書を更新する。また、例えば、更新部134は、第1領域への単語の追加時に、複数話のうち第2領域へ追加される字幕が登場する話の順番が早いほど、第1領域に追加される単語が上位に表示されるように辞書を更新する。
【0055】
(表示部135)
表示部135は、更新部134により更新された単語の順序に応じた順番で、利用者の単語の選択時に表示された映像画像を表示させる。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第3領域に追加された映像画像を取得し、取得した映像画像を組み合わせてスライドショーなどのアニメーションを生成することで、利用者の単語の選択時に表示された映像画像を表示させる。例えば、「〇×〇×YY1」の映像動画では、「This is a town of cobblestone streets」の字幕が、「I will jump across red flagstones」の字幕よりも前に表示される字幕であるため、表示部135は、利用者から「〇×〇×YY1」の映像動画の選択を受け付けた場合には、「cobblestone」の単語の選択時に表示された映像画像が、「flagstones」の単語の選択時に表示された映像画像よりも先に表示されるようにスライドショーなどのアニメーションを生成する。
図8は、実施形態に係るユーザインターフェースの一例を示す図である。
【0056】
画面G2は、端末装置10の表示画面である。画面G2には、利用者U1が辞書を生成した映像動画を示す項目L1乃至項目LNが表示されている。例えば、項目L1は「〇×〇×YY1」の映像動画を示す項目であり、項目L2は「〇×〇×YY2」の映像動画を示す項目であり、項目LNは「〇×〇×YYN」の映像動画を示す項目である。画面G2には、利用者U1が辞書を生成した映像動画の数だけ項目が表示される。表示部135は、例えば、利用者U1から画面上で項目L1を選択する操作(例えば、タップ、クリック)を受け付けると、「〇×〇×YY1」の映像動画に対応して生成された辞書D2の領域R3に追加された映像画像を用いて、領域R1の単語の順序に応じた順番で映像画像を表示させるアニメーションを生成し、生成したアニメーションを表示させるための画面を表示させて、領域R3に追加された映像画像を表示させる。また、表示部135は、例えば、利用者U1から画面上で項目L2を選択する操作を受け付けると、「〇×〇×YY2」の映像動画に対応して生成された辞書の第3領域に追加された映像画像を用いて、「〇×〇×YY2」の映像動画に対応して生成された辞書の第1領域の単語の順序に応じた順番で映像画像を表示させるアニメーションを生成し、生成したアニメーションを表示させるための画面を表示させて、「〇×〇×YY2」の映像動画に対応して生成された辞書の第3領域に追加された映像画像を表示させる。なお、画面G2は一例であり、映像動画の選択を受け付ける態様は特に限定されなくてもよい。例えば、画面G2のような、利用者が辞書を生成した映像動画を項目でまとめた画面から項目を選択させることで映像動画を選択させるユーザインターフェースに限られず、表示部135は、利用者が生成した辞書それぞれが映像画像をアニメーションで表示させるための項目を有するユーザインターフェースを用いて映像動画の選択を受け付けてもよい。例えば、表示部135は、辞書D2に含まれる「〇×〇×YY1」の作品名(辞書のタイトル)を操作することで「〇×〇×YY1」の映像動画の選択を受け付け、また、「〇×〇×YY2」の映像動画に対応して生成された辞書に含まれる「〇×〇×YY2」の作品名を操作することで「〇×〇×YY2」の映像動画の選択を受け付けてもよい。
【0057】
表示部135は、第3領域に追加された映像画像(例えば、単語の選択時に表示された字幕を除いた映像画像)に第1領域に追加された単語を重畳させた映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成してもよい。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第1領域に追加された単語と第3領域に追加された映像画像とを辞書から抽出し、抽出した映像画像それぞれに対して対応した単語を重畳させることで単語が重畳された映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成する。そして、表示部135は、第3領域に追加された映像画像を、第3領域への映像画像の追加時に第1領域へ追加された単語を重畳させた映像画像をアニメーションで表示させる。
図6の例を用いると、表示部135は、映像画像IM1に「quintessentially」の単語を重畳させた映像画像と、映像画像IM2に「ventriloquism」の単語を重畳させた映像画像と、映像画像IM11に「cobblestone」の単語を重畳させた映像画像と、映像画像IM3に「battle-scarred」の単語を重畳させた映像画像と、映像画像IM4に「flagstones」の単語を重畳させた映像画像を組み合わせることでアニメーションを生成し、「quintessentially」から始まり、「ventriloquism」、「cobblestone」、「battle-scarred」、「flagstones」の順番で、映像画像IM1に「quintessentially」の単語を重畳させた映像画像と、映像画像IM2に「ventriloquism」の単語を重畳させた映像画像と、映像画像IM11に「cobblestone」の単語を重畳させた映像画像と、映像画像IM3に「battle-scarred」の単語を重畳させた映像画像と、映像画像IM4に「flagstones」の単語を重畳させた映像画像をアニメーションで表示させる。また、表示部135は、第3領域に追加された映像画像が、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像である場合には、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像に第1領域へ追加された単語を重畳させた映像画像をアニメーションで表示させてもよい。また、表示部135は、端末装置10が折りたたみスマートフォン(フォルダブルスマートフォン)のようにディスプレイの折り曲げが可能な場合には、折り目の部分(ヒンジ)で分けられた一方の表示画面に第3領域に追加された映像画像をアニメーションで表示させ、その映像画像のアニメーションに対応して、他方の表示画面に第1領域に追加された単語をアニメーションで表示させてもよい。
【0058】
表示部135は、第3領域に追加された映像画像(例えば、単語の選択時に表示された字幕を除いた映像画像)に第2領域に追加された字幕を重畳させた映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成してもよい。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第2領域に追加された字幕と第3領域に追加された映像画像とを辞書から抽出し、抽出した映像画像それぞれに対して対応した字幕を重畳させることで字幕が重畳された映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成する。そして、表示部135は、第3領域に追加された映像画像を、第3領域への映像画像の追加時に第2領域へ追加された字幕を重畳させた映像画像をアニメーションで表示させる。
図6の例を用いると、表示部135は、映像画像IM1に「・・・・・・・・・quintessentially・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM2に「・・・・・・・・・ventriloquism・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM11に「This is a town of cobblestone streets」の字幕を重畳させた映像画像と、映像画像IM3に「・・・・・・・・・battle-scarred・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM4に「I will jump across red flagstones」の字幕を重畳させた映像画像を組み合わせることでアニメーションを生成し、「quintessentially」から始まり、「ventriloquism」、「cobblestone」、「battle-scarred」、「flagstones」の順番で、映像画像IM1に「・・・・・・・・・quintessentially・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM2に「・・・・・・・・・ventriloquism・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM11に「This is a town of cobblestone streets」の字幕を重畳させた映像画像と、映像画像IM3に「・・・・・・・・・battle-scarred・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM4に「I will jump across red flagstones」の字幕を重畳させた映像画像をアニメーションで表示させる。また、表示部135は、第3領域に追加された映像画像が、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像である場合には、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像に第2領域へ追加された字幕を重畳させた映像画像をアニメーションで表示させてもよい。また、表示部135は、端末装置10が折りたたみスマートフォンのようにディスプレイの折り曲げが可能な場合には、折り目の部分で分けられた一方の表示画面に第3領域に追加された映像画像をアニメーションで表示させ、その映像画像のアニメーションに対応して、他方の表示画面に第2領域に追加された字幕をアニメーションで表示させてもよい。
【0059】
(提案部136)
提案部136は、利用者の所定の操作(例えば、辞書を選択する操作、辞書を開く操作、辞書に単語を追加する操作)に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信する。例えば、提案部136は、「〇×〇×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含む映像動画を提案する。例えば、提案部136は、「〇×〇×YY10」の映像動画の字幕が、領域R1に追加された「cobblestone」の単語を含む場合には、「〇×〇×YY10」の映像動画を候補として提案する。また、提案部136は、第1領域に追加された単語を字幕に多く含む映像動画ほど優先的に提案してもよい。例えば、提案部136は、領域R1に追加された「cobblestone」の単語のみを字幕に含む「〇×〇×YY11」の映像動画の他に、領域R1に追加された「cobblestone」の単語と「flagstones」の単語の複数の単語を字幕に含む「〇×〇×YY12」の映像動画が候補として提案可能である場合には、「〇×〇×YY11」の映像動画よりも「〇×〇×YY12」の映像動画を優先的に提案する。また、提案部136は、第1領域に追加された同一の単語が映像動画の複数の字幕に登場する場合には、同一の単語が複数の字幕に登場する回数をカウントに含めた字幕に登場する単語の数に基づいて候補の優先順位を決定してもよい。また、提案部136は、第1領域に追加された同一の単語が映像動画の複数の字幕に登場する場合には、同一の単語が複数の字幕に登場する回数をカウントに含めない字幕に登場する単語の種類の数に基づいて候補の優先順位を決定してもよい。
【0060】
提案部136は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、選択された辞書に対応した映像動画と特徴が類似する一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信してもよい。例えば、提案部136は、「〇×〇×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含み、且つ、「〇×〇×YY1」の映像動画と特徴が類似する映像動画を提案する。例えば、提案部136は、「〇×〇×YY1」の映像動画のメインキャラクターの特徴に基づいて、「〇×〇×YY1」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案する。なお、提案部136は、映像動画のメインキャラクターの特徴を、映像動画の字幕に関する情報に基づいて推定してもよいし、映像動画に関する情報を外部の情報処理装置等から取得することで推定してもよい。例えば、提案部136は、選択された「〇×〇×YY1」の映像動画のメインキャラクターの特徴を、「〇×〇×YY1」の映像動画の字幕に関する情報に基づいて推定してもよいし、「〇×〇×YY1」の映像動画に関する情報を外部の情報処理装置等から取得することで推定してもよい。また、例えば、提案部136は、選択された「〇×〇×YY1」の映像動画のメインキャラクターの特徴を、領域R3に追加された映像画像に基づいて推定してもよい。
【0061】
提案部136は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、選択された辞書以外の他の辞書に対応した映像動画と特徴が類似する一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信してもよい。例えば、提案部136は、「〇×〇×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含み、且つ、利用者U1が辞書を生成した他の映像動画である「〇×〇×YY2」乃至「〇×〇×YYN」の映像動画と特徴が類似する映像動画を提案する。例えば、提案部136は、「〇×〇×YY2」の映像動画のメインキャラクターの特徴に基づいて、「〇×〇×YY2」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案する。また、例えば、提案部136は、「〇×〇×YY2」の映像動画のメインキャラクターの特徴と「〇×〇×YY3」の映像動画のメインキャラクターの特徴とに基づいて、「〇×〇×YY2」及び/又は「〇×〇×YY3」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案してもよい。また、例えば、提案部136は、「〇×〇×YY2」乃至「〇×〇×YYN」の映像動画のメインキャラクターの特徴に基づいて利用者U1のキャラクターの嗜好情報を推定することで利用者U1の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案してもよい。
【0062】
<1.4.情報処理のフロー>
次に、
図9乃至
図11を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。
図9乃至
図11は、実施形態に係る情報処理システム1による情報処理の手順を示すフローチャートである。
【0063】
図9に示すように、記憶支援装置100は、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合には、利用者が選択した単語と、利用者の単語の選択時に表示された字幕とを抽出する(ステップS101)。
【0064】
記憶支援装置100は、抽出された単語を、利用者が視聴中の映像動画に表示される字幕の中で、抽出された字幕が表示される表示順が早いほど上位になるように、利用者が視聴中の映像動画に対応して生成された辞書の第1領域に追加し、抽出された字幕を、利用者が視聴中の映像動画に対応して生成された辞書の第2領域に追加することで辞書を更新する(ステップS102)。
【0065】
図10に示すように、記憶支援装置100は、利用者から映像動画の選択を受け付けた場合には、利用者が選択した映像動画に対応して生成された辞書の第3領域に追加された映像画像を取得する(ステップS201)。
【0066】
記憶支援装置100は、取得された映像画像を組み合わせてアニメーションを生成することで、利用者が選択した映像動画に対応して生成された辞書の第3領域に追加された映像画像をアニメーションで表示させる(ステップS202)。
【0067】
図11に示すように、記憶支援装置100は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語に関する情報を取得する(ステップS301)。
【0068】
記憶支援装置100は、取得された単語に関する情報に基づいて、選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信する(ステップS302)。
【0069】
<1.5.変形例>
上述した実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。
【0070】
(変形例1:第1領域で単語を指定することで辞書を更新する)
上記実施形態では、抽出部132が、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合に、利用者が選択した単語とともに、単語の選択時に表示された字幕を抽出する場合を示した。ここで、抽出部132は、利用者が映像動画を視聴後に、利用者が視聴した映像動画に対応した辞書に含まれる第1領域で、利用者が映像動画を視聴中に表示された単語を指定(例えば、入力や選択など)することで、指定された単語を含む字幕を、映像動画ごとに予め定められた字幕から抽出してもよい。例えば、抽出部132は、利用者が「〇×〇×YY1」の映像動画を視聴中に「cobblestone」の単語を記憶して(若しくは、利用者が「cobblestone」の単語のメモをとり)、「〇×〇×YY1」の映像動画の視聴後に、「〇×〇×YY1」の映像動画に対応した辞書D1(又は辞書D2)の領域R1で「cobblestone」の単語を指定することで、「〇×〇×YY1」の映像動画に予め定められた字幕から「cobblestone」の単語を含む「This is a town of cobblestone streets」の字幕を抽出してもよい。
【0071】
図12は、変形例1に係る情報処理を説明するための説明図である。辞書D3は、
図4に示した辞書D1に対応した辞書である。このため、辞書D1と同様の説明は適宜省略する。更新部134は、領域R1のうちの「cobblestone」の単語が指定された領域R11に対応して、領域R2のうちの領域R12に「This is a town of cobblestone streets」の字幕を追加することで辞書D3を更新する。そして、更新部134は、「〇×〇×YY1」の映像動画に表示される字幕の表示順に基づいて決定された領域R1での「cobblestone」の単語の順序に応じて、領域R2のうちの「cobblestone」の単語の順序に応じた所定の領域に「This is a town of cobblestone streets」の字幕を追加することで辞書D3を更新する。例えば、更新部134は、「〇×〇×YY1」の映像動画に表示される字幕の表示順に基づいて、領域R11で指定された「cobblestone」の単語に対応して領域R12に追加された「This is a town of cobblestone streets」の字幕が、領域R1に既に追加されている「marksmanship」の単語に対応して領域R2に既に追加されている「・・・・・・・・・marksmanship・・・・・・・・・」の字幕よりも早く表示される字幕である場合には、領域R1での「cobblestone」の単語の順序と「marksmanship」の単語の順序とを入れ替えるとともに、領域R2での「This is a town of cobblestone streets」の字幕の順序と「・・・・・・・・・marksmanship・・・・・・・・・」の字幕の順序とを入れ替えることで辞書D3を更新する。このように、更新部134は、領域R11で指定された「cobblestone」の単語に対応して領域R12に追加された「This is a town of cobblestone streets」の字幕と、領域R1に既に追加されている各単語に対応して領域R2に既に追加されている各字幕との字幕の表示順の関係性に基づいて辞書D3を更新する。この際、更新部134は、領域R1に既に追加されている単語ごと(若しくは、領域R2に既に追加されている字幕ごと)に順序を入れ替える処理を繰り返すことで辞書D3を更新してもよいし、領域R1での「cobblestone」の単語の順序と領域R2での「This is a town of cobblestone streets」の字幕の順序とを決定することで辞書D3を更新してもよい。また、変形例1において、領域R2は、領域R1のうちの所定の領域で単語が指定されると、指定された単語の順序に応じた領域R2のうちの所定の領域に、指定された単語に対応した字幕を追加するように設定された所定の領域であってもよい。
【0072】
(変形例2:市販の辞書を用いて利用者が視聴した映像動画の辞書を自動で生成する)
上記実施形態では、抽出部132が、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合に、利用者が選択した単語とともに、単語の選択時に表示された字幕を抽出する場合を示した。また、変形例1では、抽出部132が、利用者が視聴した映像動画に対応した辞書に含まれる第1領域で、利用者が映像動画を視聴中に表示された単語を指定することで、指定された単語を含む字幕を、映像動画ごとに予め定められた字幕から抽出する場合を示した。ここで、抽出部132は、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕に、利用者が予め指定した市販の辞書(例えば、資格試験用の辞書、教科書)に含まれる単語(以下、適宜、「学習用単語」とする。)が登場する場合には、登場する学習用単語とともに、学習用単語ごとに対象の学習用単語が表示される字幕を抽出してもよい。例えば、抽出部132は、学習用単語ごとに対象の学習用単語が表示される字幕を、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕から抽出する。なお、抽出部132は、利用者が複数の市販の辞書を指定した場合には、指定された複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語を抽出してもよい。また、抽出部132は、学習用単語が利用者の嗜好に沿ったキャラクターの発話に対応した字幕に含まれる単語である場合に、学習用単語と字幕の抽出を行ってもよい。また、抽出部132は、学習用単語が利用者の嗜好に沿ったキャラクターの発話に対応した字幕に含まれる単語でない場合(換言すると、利用者の嗜好に沿ったキャラクターではないキャラクターの発話に対応した字幕に含まれる単語である場合)には、学習用単語と字幕の抽出を行わなくてもよい。そして、生成部133は、対象の学習用単語を、利用者が映像動画を視聴したことで選択された映像動画に対応した第1領域に追加し、対象の学習用単語が表示される字幕を、利用者が映像動画を視聴したことで選択された映像動画に対応した第2領域に追加することで、利用者が視聴した映像動画に対応した辞書を自動で生成する。また、抽出部132は、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕に、利用者が予め指定した市販の辞書に含まれない単語が登場する場合に、利用者が予め指定した市販の辞書に含まれない単語とともに、利用者が予め指定した市販の辞書に含まれない単語が表示される字幕を抽出してもよい。例えば、抽出部132は、利用者が複数の市販の辞書を指定し、複数の市販の辞書に含まれない単語が字幕に登場する場合に単語と字幕の抽出を行ってもよい。
【0073】
(変形例3:第1領域に追加された単語の類義語を第4領域に追加した辞書を生成する(その1))
上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する場合を示した(
図4参照)。また、上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する場合を示した(
図6参照)。ここで、生成部133は、抽出部132により抽出された単語の類義語が、利用者が予め指定した市販の辞書に登場する場合には、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した所定の領域(以下、適宜、「第4領域」とする。)に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。ここで、第4領域は、第1領域に追加された単語の類義語を追加するための所定の領域である。なお、第4領域は、第1領域に対応して映像動画ごとに設定される。第4領域には、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場する場合にのみ、第1領域に追加された単語の類義語が追加される。具体的には、第4領域のうちの第1領域に追加された単語の順序に対応した所定の領域に追加される。また、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場しない場合には、第4領域のうちの第1領域に追加された単語の順序に対応した所定の領域は空欄となる。
【0074】
生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した第4領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する。また、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加し、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した第4領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。なお、第4領域に追加される類義語は、第1領域に追加された単語と関連が高い単語に限られない。例えば、生成部133は、抽出部132により「quintessential」の単語が抽出され、「quintessential」の単語と関連が高い「typical」の単語や「ultimate」の単語が予め指定された市販の辞書に含まれる場合には、第1領域に「quintessential」の単語を追加するとともに、第4領域に「typical」の単語や「ultimate」の単語を追加することで辞書を生成してもよいし、「quintessential」の単語と関連がやや高い「classic」の単語や「ideal」の単語が予め指定された市販の辞書に含まれる場合には、第1領域に「quintessential」の単語を追加するとともに、第4領域に「classic」の単語や「ideal」の単語を追加することで辞書を生成してもよい。なお、生成部133は、「typical」と「ultimate」と「classic」と「ideal」の全ての単語が予め指定された市販の辞書に含まれる場合には、「quintessential」の類義語として第4領域に追加される単語をどのように選択してもよい。また、第4領域に追加される類義語の、第1領域に追加された単語との関連の度合いは利用者により適宜調整されてもよい。例えば、生成部133は、利用者が第4領域に追加される類義語を「関連が高い単語のみ」に設定した場合には、「typical」と「ultimate」と「classic」と「ideal」の単語のうち「typical」と「ultimate」の単語を第4領域に追加される類義語の候補とし、利用者が第4領域に追加される類義語を「関連がやや高い単語を含む」に設定した場合には、「typical」と「ultimate」と「classic」と「ideal」の全ての単語を第4領域に追加される類義語の候補として、第4領域に追加される単語を選択してもよい。
【0075】
(変形例4:第1領域に追加された単語の類義語を第4領域に追加した辞書を生成する(その2))
変形例3では、生成部133が、抽出部132により抽出された単語の類義語が、利用者が予め指定した市販の辞書に登場する場合に、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した第4領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する場合を示した。また、第4領域には、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場する場合にのみ、第1領域に追加された単語の類義語が追加され、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場しない場合には空欄となる場合を示した。しかしながら、第4領域に類義語が追加される場合は、抽出部132により抽出された単語の類義語が、利用者が予め指定した市販の辞書に登場する場合のみに限られない。生成部133は、抽出部132により抽出された単語の類義語を、類義語の検索が可能なサービス(例えば、単語を指定して検索を行うと、その指定された単語と言葉の意味上の関連がある単語(例えば、その指定された単語と類似関係や包含関係にある単語)などの情報を検索結果として提供するサービス)を提供する所定のサイト(例えば、下記非特許文献1など)を管理する外部の情報処理装置等から取得してもよい。
【0076】
【非特許文献1】Dictionary.com, LLC“Thesaurus.com”,[online],[令和5年2月22日検索],インターネット<https://www.thesaurus.com>
【0077】
生成部133は、抽出部132により抽出された単語の情報をそのような外部の情報処理装置等へ送信し、その単語の情報を受信した外部の情報処理装置等が自身のデータベースを用いて類義語の検索を行い、類義語の検索結果を記憶支援装置100へ送信することで、その外部の情報処理装置等から取得した検索結果に基づき抽出部132により抽出された単語の類義語を第4領域に追加してもよい。例えば、生成部133は、抽出部132により抽出された単語が「quintessential」である場合には、「quintessential」の単語の類義語の検索結果として取得した単語の中から選択された「quintessential」の単語の類義語を第4領域に追加してもよい。例えば、生成部133は、「quintessential」の単語の類義語の検索結果として、「quintessential」の単語と関連が高い「typical」の単語や「ultimate」の単語と、「quintessential」の単語と関連がやや高い「classic」の単語や「ideal」の単語とを取得した場合には、「typical」と「ultimate」と「classic」と「ideal」の単語の中から第4領域に追加される単語を選択することで、選択した単語を「quintessential」の単語の類義語として第4領域に追加してもよい。この際、生成部133は、「quintessential」の単語の類義語の検索結果として取得した単語のうち所定の条件を満たす単語がある場合に、その所定の条件を満たす単語の中から第4領域に追加される単語を選択してもよい。以下、抽出部132により抽出された単語の類義語の検索結果として取得した単語の中から第4領域に追加される候補となり得る単語を選択するための種々の条件について説明する。
【0078】
生成部133は、抽出部132により抽出された単語の類義語の検索結果として取得した単語の中に、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語(例えば、辞書の第1領域や第4領域に既に含まれている単語)があるか否かを判定し、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語があると判定した場合には、その既に登場している単語を優先的に第4領域に追加される単語として選択してもよい。この際、例えば、生成部133は、その既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、抽出部132により抽出された単語の字幕の発話者であるキャラクターと第2領域に追加された字幕の発話者であるキャラクターとが同一のキャラクターである単語があるか否かを判定し、抽出部132により抽出された単語の字幕の発話者であるキャラクターと第2領域に追加された字幕の発話者であるキャラクターとが同一のキャラクターである単語があると判定した場合には、そのような単語(発話者であるキャラクターが同一のキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、その既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、抽出部132により抽出された単語の字幕の発話者であるキャラクターの特徴(キャラクターが着用する衣装の特徴を含んでもよい。)と第2領域に追加された字幕の発話者であるキャラクターの特徴とが類似する単語があるか否かを判定し、抽出部132により抽出された単語の字幕の発話者であるキャラクターの特徴と第2領域に追加された字幕の発話者であるキャラクターの特徴とが類似する単語があると判定した場合には、そのような単語(発話者であるキャラクターの特徴と類似する特徴のキャラクターが発話者である単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、その既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕から選択された単語があるか否かを判定し、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕から選択された単語があると判定した場合には、そのような単語(発話者であるキャラクターが利用者が視聴中の映像動画のメインキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、その既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、利用者の嗜好に沿ったキャラクターの特徴であると推定された特徴のキャラクターの発話に対応した字幕から選択された単語があるか否かを判定し、利用者の嗜好に沿ったキャラクターの特徴であると推定された特徴のキャラクターの発話に対応した字幕から選択された単語があると判定した場合には、そのような単語(発話者であるキャラクターが利用者の嗜好に沿った特徴のキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。
【0079】
生成部133は、抽出部132により抽出された単語の類義語の検索結果として取得した単語の中に、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語があるか否かを判定し、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語がないと判定した場合には、利用者のために生成された他の辞書に既に登場している単語があるか否かを更に判定してもよい。そして、生成部133は、利用者のために生成された他の辞書に既に登場している単語があると判定した場合には、その既に登場している単語を優先的に第4領域に追加される単語として選択してもよい。この際、例えば、生成部133は、他の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、抽出部132により抽出された単語の字幕の発話者であるキャラクターの特徴(キャラクターが着用する衣装の特徴を含んでもよい。)と他の辞書の第2領域に追加された字幕の発話者であるキャラクターの特徴とが類似する単語があるか否かを判定し、抽出部132により抽出された単語の字幕の発話者であるキャラクターの特徴と他の辞書の第2領域に追加された字幕の発話者であるキャラクターの特徴とが類似する単語があると判定した場合には、そのような単語を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、抽出部132により抽出された単語の字幕の発話者であるキャラクターが登場する映像動画(すなわち、利用者が視聴中の映像動画)の特徴と他の辞書の第2領域に追加された字幕の発話者であるキャラクターが登場する映像動画(すなわち、他の辞書に対応した映像動画)の特徴とが類似する単語があるか否かを判定し、抽出部132により抽出された単語の字幕の発話者であるキャラクターが登場する映像動画の特徴と他の辞書の第2領域に追加された字幕の発話者であるキャラクターが登場する映像動画の特徴とが類似する単語があると判定した場合には、そのような単語(発話者であるキャラクターが登場する映像動画の特徴と類似する特徴の映像動画に登場するキャラクターが発話者である単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、他の辞書に対応した映像動画のメインキャラクターの発話に対応した字幕から選択された単語があるか否かを判定し、他の辞書に対応した映像動画のメインキャラクターの発話に対応した字幕から選択された単語があると判定した場合には、そのような単語(発話者であるキャラクターが他の辞書に対応した映像動画のメインキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、利用者の嗜好に沿ったキャラクターの特徴であると推定された特徴のキャラクターの発話に対応した字幕から選択された単語があるか否かを判定し、利用者の嗜好に沿ったキャラクターの特徴であると推定された特徴のキャラクターの発話に対応した字幕から選択された単語があると判定した場合には、そのような単語を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、利用者の嗜好に沿った映像動画の特徴であると推定された特徴の映像動画の字幕から選択された単語があるか否かを判定し、利用者の嗜好に沿った映像動画の特徴であると推定された特徴の映像動画の字幕から選択された単語があると判定した場合には、そのような単語(発話者であるキャラクターが利用者の嗜好に沿った特徴の映像動画に登場するキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。
【0080】
生成部133は、抽出部132により抽出された単語の類義語の検索結果として取得した単語の中に、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語があるか否かを判定し、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語がないと判定した場合には、利用者のために生成された他の辞書に既に登場している単語があるか否かを更に判定し、利用者のために生成された他の辞書にも既に登場している単語がないと判定した場合には、他の利用者(例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者、映像動画の一覧が利用者と類似する他の利用者、利用者と属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などが類似する他の利用者など)のために生成された辞書を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。例えば、生成部133は、抽出部132により抽出された単語の類義語の検索結果として取得した単語の中に、他の利用者のために生成された辞書に既に登場している単語(例えば、他の利用者のために生成された辞書の第1領域や第4領域に既に含まれている単語)があるか否かを判定し、他の利用者のために生成された辞書に既に登場している単語があると判定した場合には、その既に登場している単語を優先的に第4領域に追加される単語として選択してもよい。この際、例えば、生成部133は、他の利用者の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、抽出部132により抽出された単語の字幕の発話者であるキャラクターと他の利用者の辞書の第2領域に追加された字幕の発話者であるキャラクターとが同一のキャラクターである単語があるか否かを判定し、抽出部132により抽出された単語の字幕の発話者であるキャラクターと他の利用者の辞書の第2領域に追加された字幕の発話者であるキャラクターとが同一のキャラクターである単語があると判定した場合には、そのような単語を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の利用者の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、抽出部132により抽出された単語の字幕の発話者であるキャラクターの特徴(キャラクターが着用する衣装の特徴を含んでもよい。)と他の利用者の辞書の第2領域に追加された字幕の発話者であるキャラクターの特徴とが類似する単語があるか否かを判定し、抽出部132により抽出された単語の字幕の発話者であるキャラクターの特徴と他の利用者の辞書の第2領域に追加された字幕の発話者であるキャラクターの特徴とが類似する単語があると判定した場合には、そのような単語を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の利用者の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、抽出部132により抽出された単語の字幕の発話者であるキャラクターが登場する映像動画(すなわち、利用者が視聴中の映像動画)の特徴と他の利用者の辞書の第2領域に追加された字幕の発話者であるキャラクターが登場する映像動画(すなわち、他の利用者の辞書に対応した映像動画)の特徴とが類似する単語があるか否かを判定し、抽出部132により抽出された単語の字幕の発話者であるキャラクターが登場する映像動画の特徴と他の利用者の辞書の第2領域に追加された字幕の発話者であるキャラクターが登場する映像動画の特徴とが類似する単語があると判定した場合には、そのような単語を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の利用者の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、他の利用者の辞書に対応した映像動画のメインキャラクターの発話に対応した字幕から選択された単語があるか否かを判定し、他の利用者の辞書に対応した映像動画のメインキャラクターの発話に対応した字幕から選択された単語があると判定した場合には、そのような単語(発話者であるキャラクターが他の利用者の辞書に対応した映像動画のメインキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の利用者の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、利用者又は他の利用者の嗜好に沿ったキャラクターの特徴であると推定された特徴のキャラクターの発話に対応した字幕から選択された単語があるか否かを判定し、利用者又は他の利用者の嗜好に沿ったキャラクターの特徴であると推定された特徴のキャラクターの発話に対応した字幕から選択された単語があると判定した場合には、そのような単語(発話者であるキャラクターが利用者又は他の利用者の嗜好に沿った特徴のキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、例えば、生成部133は、他の利用者の辞書に既に登場している単語が複数ある場合には、その既に登場している複数の単語の中に、利用者又は他の利用者の嗜好に沿った映像動画の特徴であると推定された特徴の映像動画の字幕から選択された単語があるか否かを判定し、利用者又は他の利用者の嗜好に沿った映像動画の特徴であると推定された特徴の映像動画の字幕から選択された単語があると判定した場合には、そのような単語(発話者であるキャラクターが利用者又は他の利用者の嗜好に沿った特徴の映像動画に登場するキャラクターである単語)を優先的に第4領域に追加される単語として選択してもよい(なお、生成部133は、そのような単語がないと判定した場合には、他の処理を用いて優先的に第4領域に追加される単語を選択すると決定してもよい。)。また、生成部133は、抽出部132により抽出された単語の類義語の検索結果として取得した単語の中に、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語があるか否かを判定し、利用者が視聴中の映像動画に対応して生成された利用者のための辞書に既に登場している単語がないと判定した場合には、利用者のために生成された他の辞書に既に登場している単語があるか否かを更に判定し、利用者のために生成された他の辞書にも既に登場している単語がないと判定した場合には、抽出部132により抽出された単語の類義語を追加するための所定の領域(第4領域のうちの所定の領域)を空欄としてもよい。
【0081】
(変形例5:視聴中の映像動画とは異なる映像動画に対応した辞書を生成する)
上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画に対応した辞書を生成する場合を示した。しかしながら、一の映像動画に他の映像動画に登場するキャラクターが登場する場合もあり得る。例えば、「〇×〇×YY99」の映像動画に、「〇×〇×YY99」の映像動画に登場するキャラクターとして、「〇×〇×YY97」の映像動画に登場するキャラクターや「〇×〇×YY98」の映像動画に登場するキャラクターなど「〇×〇×YY99」の映像動画とは異なる映像動画に登場するキャラクターが登場する場合もあり得る。この際、「〇×〇×YY99」の映像動画に登場するキャラクターには、「〇×〇×YY99」の映像動画に登場するキャラクターと「〇×〇×YY99」の映像動画とは異なる映像動画に登場するキャラクター(例えば、「〇×〇×YY97」の映像動画に登場するキャラクターや「〇×〇×YY98」の映像動画に登場するキャラクター)とが含まれてもよいし、「〇×〇×YY99」の映像動画とは異なる映像動画に登場するキャラクターのみが含まれてもよい。
【0082】
生成部133は、抽出部132により抽出された単語の字幕の発話者であるキャラクターが、利用者が視聴中の映像動画とは異なる映像動画にも登場するキャラクターである場合には、抽出部132により抽出された単語を、その単語の字幕の発話者であるキャラクターが登場する他の映像動画(利用者が視聴中の映像動画とは異なる映像動画)に対応した第1領域に追加し、抽出部132により抽出された字幕を、その他の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。例えば、生成部133は、利用者が「〇×〇×YY99」の映像動画を視聴中に、表示された字幕から単語を選択した場合に、選択された単語の字幕の発話者であるキャラクターが「〇×〇×YY97」の映像動画にも登場するキャラクターである場合には、選択された単語を「〇×〇×YY97」の映像動画に対応した第1領域に追加し、選択された単語の字幕を「〇×〇×YY97」の映像動画に対応した第2領域に追加することで、「〇×〇×YY97」の映像動画に対応した辞書(及び「〇×〇×YY99」の映像動画に対応した辞書)を生成してもよい。また、例えば、生成部133は、利用者が「〇×〇×YY99」の映像動画を視聴中に、表示された字幕から単語を選択した場合に、選択された単語の字幕の発話者であるキャラクターが「〇×〇×YY97」の映像動画にも登場するキャラクターである場合には、選択された単語を「〇×〇×YY97」の映像動画に対応した第1領域と「〇×〇×YY99」の映像動画に対応した第1領域との双方の第1領域(選択された単語の字幕の発話者であるキャラクターが登場する映像動画に対応した全ての第1領域)に追加し、選択された単語の字幕を「〇×〇×YY97」の映像動画に対応した第2領域と「〇×〇×YY99」の映像動画に対応した第2領域との双方の第2領域(選択された単語の字幕の発話者であるキャラクターが登場する映像動画に対応した全ての第2領域)に追加することで、「〇×〇×YY97」の映像動画に対応した辞書と「〇×〇×YY99」の映像動画に対応した辞書とを生成してもよい。
【0083】
また、一の映像動画に他の映像動画に登場する所定のグループ(例えば、学校、教室、サークル、チーム、ユニット、集団、組織、団体など)に属するキャラクターが登場する場合もあり得る。例えば、「〇×〇×YY99」の映像動画に、「〇×〇×YY99」の映像動画に登場するキャラクターとして、「〇×〇×YY97」の映像動画に登場する「KOTORI1」のグループに属するキャラクターや「〇×〇×YY98」の映像動画に登場する「KOTORI2」のグループに属するキャラクターなど「〇×〇×YY99」の映像動画とは異なる映像動画に登場する所定のグループに属するキャラクターが登場する場合もあり得る。生成部133は、抽出部132により抽出された単語の字幕の発話者であるキャラクターが、利用者が視聴中の映像動画とは異なる映像動画にも登場する所定のグループに属するキャラクターである場合には、抽出部132により抽出された単語を、その単語の字幕の発話者であるキャラクターが属するグループに対応した第1領域に追加し、抽出部132により抽出された字幕を、そのグループに対応した第2領域に追加することで、キャラクターが属するグループごとに利用者が選択した単語をまとめた辞書を生成してもよい。また、生成部133が、キャラクターが属するグループごとに利用者が選択した単語をまとめた辞書を生成する場合には、更新部134は、例えば、映像動画と所定のグループとの関係性に基づいて第1領域に追加される単語の順序を決定することで、生成部133により生成された辞書を更新してもよい。例えば、更新部134は、第1領域への単語の追加時に、所定のグループとの関係性が深い映像動画(例えば、所定のグループの代表作である映像動画や所定のグループの特色をよく表した映像動画など)の字幕から選択された単語ほど上位に表示されるように辞書を更新してもよい。また、更新部134は、例えば、映像動画ごとに予め定められた映像動画のリリース情報(例えば、公開日や公表日や発表日や発売日などの情報)に基づいて第1領域に追加される単語の順序を決定することで、生成部133により生成された辞書を更新してもよい。例えば、更新部134は、第1領域への単語の追加時に、リリースの順番が早い映像動画の字幕から選択された単語ほど上位に表示されるように辞書を更新してもよい。また、更新部134は、例えば、利用者の映像動画に対する嗜好性に基づいて第1領域に追加される単語の順序を決定することで、生成部133により生成された辞書を更新してもよい。例えば、更新部134は、第1領域への単語の追加時に、利用者の嗜好性が高い映像動画の字幕から選択された単語ほど上位に表示されるように辞書を更新してもよい。また、更新部134は、例えば、映像動画の視聴中に利用者が選択した単語の数に基づいて第1領域に追加される単語の順序を決定することで、生成部133により生成された辞書を更新してもよい。例えば、更新部134は、第1領域への単語の追加時に、利用者が選択した単語の数が多い映像動画の字幕から選択された単語ほど上位に表示されるように辞書を更新してもよい。
【0084】
(変形例6:利用者の属性に応じた言語の字幕を含む辞書を生成する)
上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画に対応した辞書を生成する場合を示した。しかしながら、利用者の学習中の言語に翻訳された字幕だけでなく、利用者の属性に応じた言語の字幕も含めて辞書を生成したいといった要望を抱く場合もあり得る。生成部133は、例えば、利用者の学習中の言語が英語であり、利用者の属性に応じた言語が日本語である場合には、「This is a town of cobblestone streets」の字幕とともに「This is a town of cobblestone streets」の字幕に対応した「ここは石畳の街」の字幕も第2領域に追加することで、利用者が視聴中の映像動画に対応した辞書を生成してもよい。この際、利用者の学習中の言語に翻訳された字幕とともに第2領域に追加される字幕(利用者の属性に応じた言語の字幕)は、利用者の単語の選択時に表示された字幕の発話者であるキャラクターが実際に発話した音声に対応した字幕(すなわち、キャラクターが実際に発話した音声を文字に変換した字幕)であってもよいし、利用者の学習中の言語に翻訳された字幕を利用者の属性に応じた言語に更に翻訳した字幕(この場合、キャラクターが実際に発話した音声を文字に変換した字幕ではないため、キャラクターが実際に発話した音声とは異なる字幕になる場合もあり得る。)であってもよい。例えば、生成部133は、キャラクターが実際に発話した音声が「ここは石畳の街」であり、利用者の学習中の言語に翻訳された字幕が「This is a town of cobblestone streets」である場合には、「This is a town of cobblestone streets」の字幕とともに「ここは石畳の街」の字幕(キャラクターが実際に発話した「ここは石畳の街」の音声を文字に変換した字幕の一例)を第2領域に追加することで辞書を生成してもよいし、「This is a town of cobblestone streets」の字幕とともに「ここは石畳の街です」の字幕(「This is a town of cobblestone streets」の字幕を利用者の属性に応じた言語に更に翻訳した字幕の一例)を第2領域に追加することで辞書を生成してもよい。
【0085】
生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕の発話者であるキャラクターが実際に発話した音声に対応した字幕(及び抽出部132により抽出された字幕)を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画に対応した辞書を生成してもよい。この際、生成部133(又は抽出部132)は、映像動画に登場するキャラクターの発話情報とキャラクターの発話に対応した字幕情報とを対応付けて記憶した記憶部から、抽出部132により抽出された字幕の発話者であるキャラクターが実際に発話した音声に対応した字幕を取得してもよい。なお、
図7では、字幕情報記憶部122が「映像動画ID」、「字幕」といった項目を有する場合を示したが、字幕情報記憶部122は、「映像動画ID」、「字幕」といった項目に加えて「発話」といった項目を有し、映像動画に登場するキャラクターの発話情報が「発話」に格納されてもよい。すなわち、字幕情報記憶部122は、映像動画に登場するキャラクターの発話情報とキャラクターの発話に対応した字幕情報とを対応付けて記憶していてもよい。また、「発話」には、映像動画に登場するキャラクターの発話情報として、キャラクターが実際に発話した音声に対応した字幕の字幕情報に限られず、キャラクターが実際に発話した音声の音声データ(音声ファイルなどのデータ)などが格納されてもよい。例えば、「発話」には、音声データが所在するURL(Uniform Resource Locator)や、格納場所を示すファイルパス名などの情報が格納されてもよい。すなわち、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕の発話者であるキャラクターが実際に発話した音声の音声ファイル(及び抽出部132により抽出された字幕)を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画に対応した辞書を生成してもよい。また、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を利用者の属性に応じた言語に更に翻訳した字幕(及び抽出部132により抽出された字幕)を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画に対応した辞書を生成してもよい。この際、生成部133(又は抽出部132)は、抽出部132により抽出された字幕を利用者の属性に応じた言語に更に翻訳する処理を行ってもよい。
【0086】
<1.6.効果>
実施形態1及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【0087】
態様1は、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
【0088】
態様1によれば、例えば、利用者が映像動画を視聴中に、利用者にとって記憶したい単語が字幕に登場した場合には、その字幕が表示中に単語を選択することで、その単語とその字幕とを対応付けて所定の領域に追加した辞書を生成することができる。また、利用者が視聴した映像動画ごとに利用者のための辞書を生成することができる。また、字幕は映像に対応付けて表示されるため、利用者は字幕から字幕が表示された映像を想起することができる。
【0089】
また、態様1によれば、例えば、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画を視聴中に、映像に対応して利用者が学習中の異文化の言語を字幕として閲覧させることができるため、利用者は映像動画の映像や音声を五感で正確に理解しながら、字幕を閲覧することができる。このため、字幕として表示された翻訳文に含まれる単語の使い方を、異文化の言語であっても、映像動画から効果的に学習させることができる。例えば、単語の意味だけでなく、単語がどのような場面で発話者がどのように感じた時にどのような単語とともに使われるかといった単語の使い方を学習させることができる。また、単語の使い方を、映像動画から五感で正確に理解することで、単語から字幕が表示された映像の想起が可能となるだけでなく、映像から単語の想起も可能となる。このため、学習以外の日常生活において、映像を何気なく思い出すだけで、単語の想起が可能となる。また、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画は、利用者にとって理解し易いものであるため、映像だけでなく音声も何気なく思い出し易いため、単語を想起し易くさせることができる。
【0090】
また、態様1によれば、例えば、映像動画で表示される字幕の順序になるように辞書に含まれる単語の順序を並び替えることができるため、映像動画のストーリーの順序で単語を表示させることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができるため、その単語の意味や使い方も想起することができる。このように、映像動画のストーリーを一つの括りとして、映像動画の字幕に登場した単語の意味や使い方を想起し易くさせることができる。このため、単語それぞれの意味や使い方を個別に思い出せるか否かを確認する手間を省くことができるため、利用者の復習時の負担を軽減させることができる。
【0091】
態様2は、態様1において、各話が所定時間長の複数話から構成された映像動画であって、前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記単語が上位に表示されるように前記生成手順により生成された辞書を更新することを特徴とする。
【0092】
態様2によれば、例えば、映像動画の話(エピソード)の順番を加味して辞書に含まれる単語の順序を並び替えることができるため、映像動画が複数話から構成される場合でも、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができる。また、話の順番を加味することで各話の字幕に登場した単語同士の順番が結果的に近くなるため、話ごとにストーリーを想起し易くさせることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで話ごとにストーリーを想起することができる。また、話ごとにストーリーを想起することで、複数話全体のストーリーを想起することができる。このため、話ごとにストーリーが完結する映像動画の場合でも、複数話全体でストーリーが完結する映像動画の場合でもストーリーの想起がし易くなる。また、各話が所定時間長であることで、話ごとにストーリーが想起し易くなるため、単語の想起もし易くなる。このように、各話のストーリーを一つの括りとして、各話の字幕に登場した単語の意味や使い方を想起し易くさせることができる。
【0093】
態様3は、態様1において、前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする。
【0094】
態様3によれば、例えば、辞書に含まれる単語の順序に応じた順番で、対応した映像画像を表示させることができるため、利用者は辞書に含まれる単語を見ることなく、単語の順序に応じた順番で対応した映像画像を閲覧するだけで単語の意味や使い方を想起できるか否かを復習することができる。このように、辞書のような文字の羅列ではなく利用者の嗜好に沿った映像動画中の映像画像を表示させることができるため、利用者に学習を実感させることなく復習を行わせることができる。また、利用者の嗜好に沿った映像動画中の映像画像であるほど、利用者は映像画像を閲覧するだけで映像画像の前後の内容が想起し易くなるため、学習時だけでなく復習時も単語の意味や使い方をより深く理解させることができる。
【0095】
態様4は、態様3において、前記単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させることを特徴とする。
【0096】
態様4によれば、例えば、対象となる映像画像の場面中で最も印象的な映像画像を表示させることができるため、利用者に場面の想起をし易くさせることができる。このため、利用者はそのような映像画像を閲覧することで対象となる映像画像の前後を含む場面全体を想起できるため、対象となる単語の意味や使い方をより深く理解させることができる。また、印象的な映像画像は、その場面中の他の映像画像とは異なる特徴情報(例えば、エフェクト)や、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む場合が多いため、利用者の嗜好に沿った映像動画であるほど、利用者に学習を実感させることなく復習を行わせることができる。また、例えば、対象となる映像画像を、場面中の印象的な映像画像とともに表示させることで、対象となる映像画像の前後の内容を場面全体に絡めて想起させることができる。
【0097】
態様5は、態様3において、前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させることを特徴とする。
【0098】
態様5によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に単語を重畳して表示させることで、単語と映像画像とをより深く対応付けて記憶させることができるため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
【0099】
態様6は、態様3において、前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させることを特徴とする。
【0100】
態様6によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に字幕を重畳して表示させることで、その字幕に含まれる単語と映像画像とをより深く対応付けて記憶させることができる。また、字幕は映像画像の前後の内容の想起を手助けするため、映像画像の前後の内容を含めて対応付けて記憶させることができる。このため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
【0101】
態様7は、態様1において、前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする。
【0102】
態様7によれば、例えば、利用者は一の映像動画の字幕に登場した単語を他の映像動画で復習することができるため、その単語の記憶を定着させることができる。また、利用者は一の映像動画の字幕に登場した単語が他の映像動画でどのように使われるのかを確認することができるため、その単語の意味や使い方をより深く理解させることができる。また、一の映像動画の字幕に登場した単語をより多く含む他の映像動画はその一の映像動画と特徴(例えば、映像動画の世界観やストーリー、映像動画のストーリーの中心となるキャラクター(メインキャラクター)の特徴)が類似し得るため、例えば一の映像動画を見終わった後の次の映像動画の候補として、一の映像動画と特徴が類似した他の映像動画を提案することができる。このため、利用者は一の映像動画の後に他の映像動画を抵抗なく快適に視聴できるため、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0103】
態様8は、態様7において、前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案することを特徴とする。
【0104】
態様8によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語と関連して広く用いられる共起語や類義語(同義語も含む)等である場合もあり、また、共起語や類義語等はまとめて記憶し易いため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、共起語や類義語等である場合には、一の映像動画の字幕に登場しなかった単語でも一の映像動画のストーリーを想起することで推測できる場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。
【0105】
態様9は、態様8において、前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0106】
態様9によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語に対応した発話を行ったメインキャラクターの特徴と類似した特徴のキャラクターの発話に対応して広く用いられる単語である場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターの特徴に起因する場合も多いため、利用者は他の映像動画を抵抗なく快適に視聴することができる。このため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0107】
態様10は、態様7において、前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案することを特徴とする。
【0108】
態様10によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画の特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った映像動画を提案することができる。
【0109】
態様11は、態様10において、前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0110】
態様11によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画のメインキャラクターの特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができる。
【0111】
態様12は、態様11において、前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0112】
態様12によれば、例えば、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができるため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0113】
<<2.実施形態2>>
<2.1.はじめに>
上記実施形態において、利用者が学習目標に応じて対象となる単語の意味や使い方を特に理解したいといった要望を抱く場合もあり得る。例えば、利用者が特定の資格試験の突破を学習目標とする場合には、特定の資格試験で対象となる単語の意味や使い方を特に理解したいといった要望を抱く場合もあり得る。
【0114】
実施形態2は、上記に鑑みてなされたものであって、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
【0115】
実施形態2では、市販の辞書は、市販に購入可能な辞書(例えば、資格試験用の辞書、教材として用いられる図書、教科書、参考書、単語帳)である。例えば、市販の辞書は、義務教育学校や学習塾などで広く利用される辞書である。なお、市販の辞書は、電子書籍の辞書であってもよい。また、市販の辞書の単語を、以下、適宜、「学習用単語」とする。学習用単語は、例えば、市販の辞書で学習の対象となる主たる単語である。また、学習用単語は、市販の辞書で学習の対象となる主たる単語とともに市販の辞書に含まれる単語(例えば、主たる単語の例文に含まれる単語や類義語など)であってもよい。実施形態2では、上記実施形態と同様の説明は適宜省略する。
【0116】
<2.2.情報処理システムの構成>
図13に示す情報処理システム1Aについて説明する。
図13に示すように、情報処理システム1Aは、端末装置10と、記憶支援装置100Aとが含まれる。端末装置10と、記憶支援装置100Aとは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。
図13は、実施形態2に係る情報処理システム1Aの構成例を示す図である。なお、端末装置10は、上記実施形態と同様のため説明を省略する。
【0117】
記憶支援装置100Aは、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。記憶支援装置100Aは、実施形態2における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100Aは、サーバ装置やクラウドシステム等により実現される。
【0118】
なお、
図13では、端末装置10と記憶支援装置100Aが別装置である場合を示したが、端末装置10と記憶支援装置100Aは一体であってもよい。
【0119】
<2.3.記憶支援装置の構成>
次に、
図14を用いて、実施形態2に係る記憶支援装置100Aの構成について説明する。
図14は、実施形態2に係る記憶支援装置100Aの構成例を示す図である。
図14に示すように、記憶支援装置100Aは、通信部110と、記憶部120Aと、制御部130Aとを有する。なお、記憶支援装置100Aは、記憶支援装置100Aの管理者から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。
【0120】
(通信部110)
通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、端末装置10等との間で情報の送受信を行う。
【0121】
(記憶部120A)
記憶部120Aは、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。
図14に示すように、記憶部120Aは、辞書情報記憶部121と、字幕情報記憶部122Aと、市販辞書情報記憶部123とを有する。なお、辞書情報記憶部121は、上記実施形態と同様のため説明を省略する。
【0122】
字幕情報記憶部122Aは、映像動画で表示される字幕に関する情報を記憶する。ここで、
図15に、実施形態2に係る字幕情報記憶部122Aの一例を示す。
図15は、実施形態2に係る字幕情報記憶部122Aの一例を示す図である。
図15に示すように、字幕情報記憶部122Aは、「映像動画ID」、「字幕」、「発話者」といった項目を有する。
【0123】
「映像動画ID」は、映像動画を識別するための識別情報を示す。「字幕」は、映像動画で表示される字幕を示す。
図15に示した例では、「字幕」に「字幕#1」や「字幕#2」といった概念的な情報が格納される例を示したが、実際には、字幕を構成する単語情報(字幕に含まれる文字情報)が字幕ごとに格納される。「発話者」は、字幕に対応した発話の発話者であるキャラクターを示す。
【0124】
すなわち、
図15では、映像動画ID「M1」によって識別される映像動画で表示される字幕が「字幕#1」、「字幕#2」、「字幕#3」、「字幕#4」、「字幕#5」、・・・、「字幕#N」であり、字幕に対応した発話の発話者が「キャラクター1」、「キャラクター1」、「キャラクター2」、「キャラクター3」、「キャラクター2」、・・・、「キャラクター1」である例を示す。例えば、映像動画M1の「字幕#1」の字幕に対応した発話の発話者が「キャラクター1」であることを示す。
【0125】
市販辞書情報記憶部123は、市販の辞書に関する情報を記憶する。ここで、
図16に、実施形態2に係る市販辞書情報記憶部123の一例を示す。
図16は、実施形態2に係る市販辞書情報記憶部123の一例を示す図である。
図16に示すように、市販辞書情報記憶部123は、「市販辞書ID」、「学習用単語」といった項目を有する。
【0126】
「市販辞書ID」は、市販の辞書を識別するための識別情報を示す。「学習用単語」は、市販の辞書の学習用単語を示す。
図16に示した例では、「学習用単語」に「学習用単語#1」や「学習用単語#2」といった概念的な情報が格納される例を示したが、実際には、学習用単語の文字情報が学習用単語ごとに格納される。
【0127】
すなわち、
図16では、市販辞書ID「T1」によって識別される市販の辞書の学習用単語が「学習用単語#1」、「学習用単語#2」、・・・、「学習用単語#N」である例を示す。
【0128】
(制御部130A)
制御部130Aは、コントローラであり、例えば、CPUやMPU等によって、記憶支援装置100A内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Aは、例えば、ASICやFPGA等の集積回路により実現される。
【0129】
図14に示すように、制御部130Aは、取得部131Aと、抽出部132Aと、生成部133と、更新部134と、表示部135と、提案部136と、表示変更部137とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130Aの内部構成は、
図14に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、生成部133、更新部134、表示部135及び提案部136は、上記実施形態と同様のため説明を省略する。
【0130】
(取得部131A)
取得部131Aは、取得部131と同様の情報を取得する。また、取得部131Aは、記憶部120Aから各種情報を取得する。また、取得部131Aは、取得した各種情報を記憶部120Aに格納する。
【0131】
取得部131Aは、利用者が予め指定した市販の辞書に関する情報を取得する。例えば、取得部131Aは、利用者が予め指定した市販の辞書の学習用単語の情報(例えば、
図16に示した「学習用単語#1」、「学習用単語#2」、・・・、「学習用単語#N」)を取得する。なお、取得部131Aは、利用者が市販の辞書を複数指定した場合には、利用者が予め指定した複数の市販の辞書の学習用単語の情報を取得する。
【0132】
取得部131Aは、利用者が視聴中の映像動画の字幕に関する情報を取得する。例えば、取得部131Aは、利用者が映像動画を視聴中に表示された字幕の後(例えば、直後)に表示される字幕に関する情報を取得してもよいし、利用者が視聴中の映像動画で表示される字幕全体に関する情報を取得してもよい。例えば、取得部131Aは、利用者が「〇×〇×YY1」の映像動画を視聴しており、「This is a town of cobblestone streets」の字幕が画面に表示されている場合には、「This is a town of cobblestone streets」の字幕の後に表示される字幕に関する情報を取得してもよい。また、例えば、取得部131Aは、利用者が「〇×〇×YY1」の映像動画を視聴している場合には、「〇×〇×YY1」の映像動画で表示される字幕全体に関する情報(例えば、
図15に示した「字幕#1」、「字幕#2」、・・・、「字幕#N」)を取得してもよい。
【0133】
取得部131Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示中に利用者が画面上で操作を行った際の操作情報を取得する。例えば、取得部131Aは、後述の表示変更部137により表示の態様が変更された学習用単語に対する操作情報を取得する。例えば、取得部131Aは、表示の態様が変更された学習用単語が、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれるか否かの判定が可能な操作情報を取得する。
【0134】
(表示変更部137)
表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更する。なお、表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定し、登場すると判定した場合には、その学習用単語と、その学習用単語が登場する字幕とを予め特定しておくことで、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が市販の辞書を複数指定した場合も同様に、利用者が予め指定した複数の市販の辞書のうち少なくともいずれかの辞書の学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更する。
【0135】
表示変更部137は、学習用単語の表示の態様を所定の態様に変更して表示させる。例えば、表示変更部137は、学習用単語のフォントサイズを大きくして表示させてもよいし、フォントの色を目立つ色にして表示させてもよいし、フォントに蛍光ペンを付加して表示させてもよいし、フォントに影や光彩などの文字の効果を適用して表示させてもよく、所定の態様は特に限定されなくてもよい。例えば、表示変更部137は、利用者が予め指定した市販の辞書に「cobblestone」の学習用単語が含まれる場合には、「This is a town of cobblestone streets」の字幕が画面に表示される際に、「cobblestone」の学習用単語のフォントサイズを、字幕中の他の単語(「This」、「is」、「a」、「town」、「of」、「streets」)のフォントサイズよりも大きくして表示させてもよい。
【0136】
表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示の態様を所定の態様に変更して表示させてもよい。例えば、表示変更部137は、利用者が予め指定した市販の辞書に「cobblestone」の学習用単語が含まれる場合には、「This is a town of cobblestone streets」の字幕が画面に表示される際に、「This is a town of cobblestone streets」の字幕に含まれる全ての単語のフォントサイズを、学習用単語が登場しない他の字幕中の単語(例えば、「This is a town of cobblestone streets」の字幕の前後の字幕中の単語)のフォントサイズよりも大きくして表示させてもよい。
【0137】
表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かの判定はどのように行われてもよく特に限定されなくてもよい。例えば、表示変更部137は、字幕情報記憶部122Aから取得された、字幕と発話者であるキャラクターとの対応関係に基づいて、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、どのキャラクターの発話に対応した字幕であるかを特定する。なお、字幕と発話者であるキャラクターとの対応付けは、例えば、AI(Artificial Intelligence)によって行われてもよい。例えば、字幕と発話者であるキャラクターとの対応付けは、自然言語処理や画像解析処理などを用いたAI(例えば、字幕に含まれる文字情報から発話者のキャラクターを特定することで対応付ける、字幕が表示される映像の画像情報から発話者のキャラクターを特定することで対応付ける)によって行われてもよい。すなわち、表示変更部137は、AIによって対応付けられた字幕と発話者であるキャラクターとの対応関係に基づいて、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、どのキャラクターの発話に対応した字幕であるかを特定してもよい。そして、表示変更部137は、その字幕に対応した発話の発話者であるキャラクターが、例えば、映像動画の字幕に関する情報(例えば、映像動画中のキャラクターの発話の回数、映像動画中の字幕全体に含まれる文字情報)に基づいてメインキャラクターであると推定されたキャラクターであるか否かに基づいて、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定する。また、表示変更部137は、その字幕に対応した発話の発話者であるキャラクターが、例えば、映像動画に関する情報を外部の情報処理装置等から取得することで映像動画のメインキャラクターであると推定されたキャラクターであるか否かに基づいて、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定してもよい。このように、表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定し、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であると判定した場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。
【0138】
表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かの判定はどのように行われてもよく特に限定されなくてもよい。例えば、表示変更部137は、利用者が辞書を生成した映像動画のキャラクターの特徴に基づいて利用者の嗜好に沿った特徴のキャラクターであると推定されたキャラクターの特徴に基づいて、その字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定する。また、例えば、表示変更部137は、利用者の嗜好情報を外部の情報処理装置等から取得することで利用者の嗜好に沿った特徴のキャラクターであると推定されたキャラクターの特徴に基づいて、その字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定してもよい。このように、表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定し、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定した場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。
【0139】
表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の場合と同様に、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かの判定はどのように行われてもよく特に限定されなくてもよい。表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が「〇×〇×YY1」の映像動画を視聴している場合には、「〇×〇×YY1」の映像動画から辞書を生成した他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、例えば、映像動画の一覧が利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が辞書を生成した映像動画の一覧と、他の利用者が辞書を生成した映像動画の一覧とを比較することで、映像動画の一覧が利用者と類似する(例えば、最も類似する)他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、例えば、このように特定した他の利用者(利用者が視聴中の映像動画から辞書を生成した他の利用者、映像動画の一覧が利用者と類似する他の利用者)の中から利用者と属性(例えば、性別、年齢、趣味、出身地、人種、国籍など)、学習目標、購買履歴(例えば、映像動画に関するグッズ(例えば、スケールフィギュア、キャラクタードール、コスプレ衣装、キャラクタードール用の衣装など)を販売する所定のサイトで利用者が購入したグッズの購買履歴、利用者が購入したグッズの特徴)、投稿履歴(例えば、コスプレ画像を投稿する所定のサイトで利用者が投稿したコスプレ画像の投稿履歴、利用者が投稿したコスプレ画像のコスプレ衣装の特徴)又は閲覧履歴(例えば、映像動画に関するグッズを販売する所定のサイトで利用者が閲覧したグッズの閲覧履歴、利用者が閲覧したグッズの特徴、コスプレ画像を投稿する所定のサイトで利用者が閲覧したコスプレ画像の閲覧履歴、利用者が閲覧したコスプレ画像のコスプレ衣装の特徴)などが類似する他の利用者を更に特定し、このように属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などに基づき更に特定した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者や他の利用者の属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などは予め定められており、表示変更部137は、予め定められた利用者や他の利用者の属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などに基づき、利用者と属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などが類似する他の利用者を特定する。
【0140】
表示変更部137は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕(利用者が予め指定した市販の辞書の学習用単語が登場する字幕)に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の嗜好に沿った特徴の映像動画であるか否かの判定はどのように行われてもよく特に限定されなくてもよい。例えば、表示変更部137は、利用者が辞書を生成した映像動画の特徴に基づいて利用者の嗜好に沿った特徴の映像動画であると推定された映像動画の特徴に基づいて、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定する。また、例えば、表示変更部137は、利用者の嗜好情報を外部の情報処理装置等から取得することで利用者の嗜好に沿った特徴の映像動画であると推定された映像動画の特徴に基づいて、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定してもよい。このように、表示変更部137は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定し、利用者の嗜好に沿った特徴の映像動画であると判定した場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。
【0141】
表示変更部137は、利用者が視聴中の映像動画が、他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の場合と同様に、他の利用者の嗜好に沿った特徴の映像動画であるか否かの判定はどのように行われてもよく特に限定されなくてもよい。表示変更部137は、利用者が視聴中の映像動画が、例えば、その映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が「〇×〇×YY1」の映像動画を視聴している場合には、「〇×〇×YY1」の映像動画から辞書を生成した他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が視聴中の映像動画が、例えば、映像動画の一覧が利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が辞書を生成した映像動画の一覧と、他の利用者が辞書を生成した映像動画の一覧とを比較することで、映像動画の一覧が利用者と類似する他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、例えば、このように特定した他の利用者の中から利用者と属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などが類似する他の利用者を更に特定し、このように属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などに基づき更に特定した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。
【0142】
表示変更部137は、対象字幕に含まれる学習用単語が、辞書を生成するために第1領域に追加しない単語(以下、適宜、「除外単語」とする。)として予め指定された単語でない場合に、その学習用単語の表示の態様を変更してもよい。なお、除外単語は、利用者によって利用者ごとに指定された単語であってもよいし、記憶支援装置100Aの管理者などによって指定された単語であってもよい。例えば、利用者が記憶済みの単語や、代名詞や冠詞などの一語では特徴的な意味を有しない単語などを辞書の第1領域に含めたくない場合には、利用者が記憶済みの単語や、代名詞や冠詞などの一語では特徴的な意味を有しない単語などを予め指定してもよい。表示変更部137は、このように指定された単語を除外単語として、対象字幕に含まれる学習用単語が除外単語であるか否かを判定する。そして、表示変更部137は、対象字幕に含まれる学習用単語が除外単語でないと判定した場合に、その学習用単語の表示の態様を変更する。このように、表示変更部137は、利用者が記憶したい単語と、利用者が記憶したい単語に含めたくない単語との2種類の単語の指定に基づいて、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。また、利用者は除外単語を指定するために、学習用単語を指定するための市販の辞書とは異なる市販の辞書(以下、適宜、「他の市販の辞書」とする。)を指定してもよい。例えば、利用者が一の資格試験を突破したため、その一の資格試験用の市販の辞書の学習用単語を辞書の第1領域に含めたくない場合には、他の市販の辞書として、その一の資格試験用の市販の辞書を指定してもよい。表示変更部137は、このように指定された他の市販の辞書の学習用単語を除外単語として、対象字幕に含まれる学習用単語が除外単語であるか否かを判定してもよい。そして、表示変更部137は、対象字幕に含まれる学習用単語が他の市販の辞書の学習用単語でない場合に、その学習用単語の表示の態様を変更してもよい。このように、表示変更部137は、利用者が記憶したい単語を指定するための市販の辞書と、利用者が記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定に基づいて、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、学習用単語を指定するための市販の辞書と同様に、他の市販の辞書も複数指定されてもよい。
【0143】
(抽出部132A)
抽出部132Aは、抽出部132と同様の情報を抽出する。また、抽出部132Aは、表示変更部137により表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択した場合に、その学習用単語とその対象字幕とを抽出する。例えば、抽出部132Aは、表示の態様が変更された学習用単語が、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれるか否かを判定し、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれると判定した場合に、その学習用単語と、その学習用単語を含む対象字幕とを抽出する。そして、生成部133は、抽出部132Aにより抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Aにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した学習用単語をまとめた辞書を生成する。
【0144】
<2.4.情報処理のフロー>
次に、
図17を用いて、実施形態2に係る情報処理システム1Aによる情報処理の手順について説明する。
図17は、実施形態2に係る情報処理システム1Aによる情報処理の手順を示すフローチャートである。
【0145】
図17に示すように、記憶支援装置100Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定する(ステップS401)。
【0146】
記憶支援装置100Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場すると判定した場合(ステップS401;YES)、学習用単語が登場する対象字幕の表示中、対象字幕に含まれる学習用単語の表示の態様を変更する(ステップS402)。一方、記憶支援装置100Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場しないと判定した場合(ステップS401;NO)、情報処理を終了する。
【0147】
記憶支援装置100Aは、表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択したか否かを判定する(ステップS403)。
【0148】
記憶支援装置100Aは、表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択したと判定した場合(ステップS403;YES)、利用者が選択した学習用単語と、利用者が選択した学習用単語を含む対象字幕とを抽出する(ステップS404)。一方、記憶支援装置100Aは、表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択しなかったと判定した場合(ステップS403;NO)、情報処理を終了する。
【0149】
記憶支援装置100Aは、抽出された学習用単語を、利用者が視聴中の映像動画に表示される字幕の中で、抽出された対象字幕が表示される表示順が早いほど上位になるように、利用者が視聴中の映像動画に対応して生成された辞書の第1領域に追加し、抽出された対象字幕を、利用者が視聴中の映像動画に対応して生成された辞書の第2領域に追加することで辞書を更新する(ステップS405)。
【0150】
<2.5.変形例>
上述した実施形態2に係る情報処理システム1Aは、上記実施形態2以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1Aの他の実施形態について説明する。
【0151】
(変形例7:他の学習用単語の表示の態様を変更する)
実施形態2では、表示変更部137が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合に、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更する場合を示した。しかしながら、例えば、利用者が特定の市販の辞書の学習用単語を熟達したため、特定の市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。例えば、利用者が一の資格試験を突破するために、一の資格試験用の特定の市販の辞書の学習用単語を熟達している場合には、その特定の市販の辞書に登場しなかった単語や、一の資格試験用の他の特定の市販の辞書に登場する学習用単語を記憶したいといった要望を抱く場合もあり得る。このように、利用者が学習済みの市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。ここで、利用者が視聴中の映像動画の字幕に含まれる、利用者が予め指定した市販の辞書の学習用単語ではない単語を、以下、適宜、「他の学習用単語」とする。
【0152】
表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書に登場しない他の学習用単語が登場する場合には、他の学習用単語が登場する字幕の表示中、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語の表示の態様を変更してもよい。そして、抽出部132Aは、表示変更部137により表示の態様が変更された他の学習用単語を、その他の学習用単語が登場する字幕が表示中に利用者が選択した場合に、その他の学習用単語とその字幕とを抽出する。例えば、抽出部132Aは、表示の態様が変更された他の学習用単語が、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれるか否かを判定し、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれると判定した場合に、その他の学習用単語と、その他の学習用単語を含む字幕とを抽出する。そして、生成部133は、抽出部132Aにより抽出された他の学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Aにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した他の学習用単語をまとめた辞書を生成する。
【0153】
(変形例8:辞書を指定することで利用者が視聴中の映像動画の辞書を自動で生成する)
実施形態2では、抽出部132Aが、表示変更部137により表示の態様が変更された単語(学習用単語、他の学習用単語)を、その単語が登場する字幕が表示中に利用者が選択した場合に、その単語とその字幕とを抽出する場合を示した。ここで、抽出部132Aは、利用者が視聴中の映像動画の字幕に登場する、利用者が予め指定した市販の辞書の学習用単語と、その学習用単語を含む字幕との全ての組み合わせ、若しくは、利用者が視聴中の映像動画の字幕に登場する、利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語と、その他の学習用単語を含む字幕との全ての組み合わせを自動で抽出してもよい。例えば、取得部131Aは、利用者が映像動画を視聴し始めることで、利用者が視聴し始めた映像動画の字幕全体に関する情報を取得し、抽出部132Aは、取得部131Aにより取得された字幕全体に関する情報に基づいて、字幕全体と利用者が予め指定した市販の辞書の学習用単語とを照らし合わせることで(すなわち、利用者が視聴中の映像動画に対応した字幕の中から利用者が予め指定した市販の辞書の学習用単語を特定することで)、学習用単語と字幕との組み合わせ、若しくは、他の学習用単語と字幕との組み合わせの抽出を行ってもよい。この際、取得部131Aは、利用者が視聴し始めた映像動画の一部に付されたコード情報(例えば、QRコード(登録商標))を利用者が読み取る(スキャンする)ことで、利用者が視聴し始めた映像動画として特定された映像動画の字幕全体に関する情報を取得してもよい。例えば、取得部131Aは、利用者が視聴し始めた映像動画の本編、オープニングアニメーション(映像動画のオープニング用のアニメーション)又はエンディングアニメーション(映像動画のエンディング用のアニメーション)に付されたコード情報を利用者が端末装置10で読み取ることで、利用者が視聴し始めた映像動画を特定し、特定した映像動画の字幕全体に関する情報を取得してもよい。なお、利用者が視聴し始めた映像動画の一部に付されたコード情報を利用者が端末装置10で読み取る場合には、映像動画は外部の情報処理装置(例えば、表示装置)等で表示される。
【0154】
(変形例9:利用者のために生成された辞書を指定する)
実施形態2では、利用者が記憶したい単語を指定するための辞書として、市販の辞書を指定する場合を示した。具体的には、表示変更部137が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かに基づいて、その字幕に含まれる学習用単語の表示の態様を変更する場合を示した。ここで、利用者は、利用者が記憶したい単語を指定するための辞書として、生成部133によって生成された辞書を指定してもよい。例えば、利用者は、利用者が記憶したい単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書(例えば、辞書D1など)を指定してもよい。表示変更部137は、利用者が「〇×〇×YY1」の映像動画から生成された辞書を指定した場合には、利用者が視聴中の映像動画の字幕に、「〇×〇×YY1」の映像動画から生成された辞書の学習用単語(第1領域に追加された学習用単語)が登場するか否かに基づいて、その字幕に含まれる学習用単語の表示の態様を変更してもよい。このように、表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した生成部133によって生成された辞書の学習用単語が登場する場合に、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者は、映像動画を指定することで、利用者が記憶したい単語を指定するための辞書を指定してもよい。例えば、利用者は、「〇×〇×YY1」の映像動画を指定することで、利用者が記憶したい単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書を指定してもよい。表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した映像動画から生成された辞書の学習用単語が登場する場合に、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更してもよい。
【0155】
変形例7では、表示変更部137が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かに基づいて、その字幕に含まれる他の学習用単語の表示の態様を変更する場合を示した。表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した生成部133によって生成された辞書の学習用単語が登場しない場合に、他の学習用単語が登場する字幕の表示中、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が「〇×〇×YY1」の映像動画から生成された辞書を指定した場合には、利用者が視聴中の映像動画の字幕に、「〇×〇×YY1」の映像動画から生成された辞書の学習用単語が登場しない場合に、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した映像動画から生成された辞書の学習用単語が登場しない場合に、他の学習用単語が登場する字幕の表示中、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。
【0156】
実施形態2では、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、市販の辞書を指定する場合を示した。具体的には、表示変更部137が、対象字幕に含まれる学習用単語が、除外単語を指定するために利用者が予め指定した市販の辞書(他の市販の辞書)の学習用単語であるか否かに基づいて、その対象字幕に含まれる学習用単語の表示の態様を変更する場合を示した。ここで、利用者は、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、生成部133によって生成された辞書を指定してもよい。例えば、利用者は、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書を指定してもよい。表示変更部137は、利用者が「〇×〇×YY1」の映像動画から生成された辞書を指定した場合には、対象字幕に含まれる学習用単語が、「〇×〇×YY1」の映像動画から生成された辞書の学習用単語であるか否かに基づいて、その対象字幕に含まれる学習用単語の表示の態様を変更してもよい。このように、表示変更部137は、対象字幕に含まれる学習用単語が、利用者が予め指定した生成部133によって生成された辞書の学習用単語でない場合に、その対象字幕の表示中、その対象字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者は、映像動画を指定することで、利用者が記憶したい単語に含めたくない単語を指定するための辞書を指定してもよい。例えば、利用者は、「〇×〇×YY1」の映像動画を指定することで、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書を指定してもよい。表示変更部137は、対象字幕に含まれる学習用単語が、利用者が予め指定した映像動画から生成された辞書の学習用単語でない場合に、その対象字幕の表示中、その対象字幕に含まれる学習用単語の表示の態様を変更してもよい。
【0157】
<2.6.効果>
実施形態2及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【0158】
態様1は、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更手順と、前記表示変更手順により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出手順と、前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成手順と、前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
【0159】
態様1によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、その単語が登場する字幕の表示中、その単語の表示の態様を所定の態様に変更して表示させることができる。例えば、フォントサイズを大きくして表示させる、フォントの色を目立つ色にして表示させる、フォントに蛍光ペンを付加して表示させる、フォントに影や光彩などの文字の効果を適用して表示させることなどができる。このため、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語を強調させることができるため、利用者が映像動画を視聴中でも、利用者にその単語を適切に印象付けることができる。また、その単語が、利用者にとって記憶したい単語である場合には、その字幕の表示中に単語を選択することで、単語と字幕とを対応付けた辞書を生成することができる。このため、利用者が視聴した映像動画ごとに利用者のための辞書を生成することができる。また、字幕は映像に対応付けて表示されるため、利用者は辞書を復習することで、辞書に追加された字幕から字幕が表示された映像を想起することができる。
【0160】
また、態様1によれば、例えば、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画を視聴中に、映像に対応して利用者が学習中の異文化の言語を字幕として閲覧させることができるため、利用者は映像動画の映像や音声を五感で正確に理解しながら、字幕を閲覧することができる。このため、字幕として表示された翻訳文に含まれる単語の使い方を、異文化の言語であっても、映像動画から効果的に学習させることができる。例えば、単語の意味だけでなく、単語がどのような場面で発話者がどのように感じた時にどのような単語とともに使われるかといった単語の使い方を学習させることができる。また、単語の使い方を、映像動画から五感で正確に理解することで、単語から字幕が表示された映像の想起が可能となるだけでなく、映像から単語の想起も可能となる。このため、学習以外の日常生活において、映像を何気なく思い出すだけで、単語の想起が可能となる。また、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画は、利用者にとって理解し易いものであるため、映像だけでなく音声も何気なく思い出し易いため、単語を想起し易くさせることができる。
【0161】
また、態様1によれば、例えば、映像動画で表示される字幕の順序になるように辞書に含まれる単語の順序を並び替えることができるため、映像動画のストーリーの順序で単語を表示させることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができるため、その単語の意味や使い方も想起することができる。このように、映像動画のストーリーを一つの括りとして、映像動画の字幕に登場した単語の意味や使い方を想起し易くさせることができる。このため、単語それぞれの意味や使い方を個別に思い出せるか否かを確認する手間を省くことができるため、利用者の復習時の負担を軽減させることができる。
【0162】
態様2は、態様1において、前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語の表示の態様を変更することを特徴とする。
【0163】
態様2によれば、例えば、利用者が複数の市販の辞書を指定することで、辞書に追加するより多くの単語の候補を指定することができる。このため、例えば、利用者が特定の資格試験用の辞書(例えば、参考書や単語帳)を複数指定することで、特定の資格試験で必要な単語を漏れなく候補とすることができる。また、指定された辞書のいずれかに含まれる単語の候補が字幕に登場する場合には、その字幕が表示中、その候補の表示の態様を所定の態様に変更して表示させることができる。このため、例えば、利用者が特定の資格試験用の辞書を複数指定することで、特定の資格試験で対象となるより多くの単語を強調させることができる。また、特定の資格試験で対象となるより多くの単語の意味や使い方も強調させることができる。それゆえ、利用者の学習目標に沿ってより多くの単語を効果的に記憶させることができる。
【0164】
態様3は、態様1において、前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更することを特徴とする。
【0165】
態様3によれば、例えば、利用者が記憶したい単語が、映像動画のストーリーの中心となるキャラクター(メインキャラクター)の発話に対応した字幕に含まれる単語であるか否かに基づいて、その単語を強調させることができる。このため、単語とメインキャラクターの映像(例えば、その単語の字幕に対応した発話をメインキャラクターが行った際のメインキャラクターの画像や音声)とを対応付けて記憶させることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターに起因する場合も多いため、単語をメインキャラクターの映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画のメインキャラクターの中でも特に重要なメインキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0166】
態様4は、態様1において、前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更することを特徴とする。
【0167】
態様4によれば、例えば、利用者が記憶したい単語が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その単語を強調させることができる。このため、単語と利用者の嗜好に沿った特徴のキャラクターの映像とを対応付けて記憶させることができる。また、単語を利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0168】
態様5は、態様1において、前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更することを特徴とする。
【0169】
態様5によれば、例えば、利用者が記憶したい単語が、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その単語を強調させることができる。このため、利用者のキャラクターに対する嗜好性が判断できない場合でも、利用者が視聴中の映像動画から辞書を生成した他の利用者のキャラクターに対する嗜好性から、強調させる単語を選択することができる。また、利用者のキャラクターに対する嗜好性は、利用者が視聴中の映像動画から辞書を生成した他の利用者のキャラクターに対する嗜好性と類似し得る。このため、単語をこのような、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、そのキャラクターが利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0170】
態様6は、態様1において、前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更することを特徴とする。
【0171】
態様6によれば、例えば、利用者が記憶したい単語が、利用者が辞書を生成した映像動画の一覧と、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その単語を強調させることができる。このため、利用者のキャラクターに対する嗜好性が判断できない場合でも、辞書を生成した映像動画の一覧が類似する他の利用者のキャラクターに対する嗜好性から、強調させる単語を選択することができる。また、利用者のキャラクターに対する嗜好性は、辞書を生成した映像動画の一覧が類似する他の利用者のキャラクターに対する嗜好性と類似し得る。このため、単語をこのような、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、そのキャラクターが利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0172】
態様7は、態様1において、前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更することを特徴とする。
【0173】
態様7によれば、例えば、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を強調させることができる。このため、単語と利用者の嗜好に沿った特徴の映像動画中の映像とを対応付けて記憶させることができる。また、単語を利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0174】
態様8は、態様1において、前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更することを特徴とする。
【0175】
態様8によれば、例えば、利用者が視聴中の映像動画が、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を強調させることができる。このため、利用者の映像動画に対する嗜好性が判断できない場合でも、利用者が視聴中の映像動画から辞書を生成した他の利用者の映像動画に対する嗜好性から、強調させる単語を選択することができる。また、利用者の映像動画に対する嗜好性は、利用者が視聴中の映像動画から辞書を生成した他の利用者の映像動画に対する嗜好性と類似し得る。このため、単語をこのような、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、その映像動画が利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0176】
態様9は、態様1において、前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更することを特徴とする。
【0177】
態様9によれば、例えば、利用者が視聴中の映像動画が、利用者が辞書を生成した映像動画の一覧と、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を強調させることができる。このため、利用者の映像動画に対する嗜好性が判断できない場合でも、辞書を生成した映像動画の一覧が類似する他の利用者の映像動画に対する嗜好性から、強調させる単語を選択することができる。また、利用者の映像動画に対する嗜好性は、辞書を生成した映像動画の一覧が類似する他の利用者の映像動画に対する嗜好性と類似し得る。このため、単語をこのような、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、その映像動画が利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0178】
態様10は、態様1において、前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に、当該学習用単語の表示の態様を変更することを特徴とする。
【0179】
態様10によれば、例えば、利用者が記憶したい単語が、辞書に追加しない単語として予め指定された単語であるか否かに基づいて、その単語を強調させることができる。このため、利用者が記憶したい単語と、利用者が記憶したい単語に含めたくない単語(例えば、利用者が記憶済みの単語、代名詞や冠詞などの一語では特徴的な意味を有しない単語)との2種類の単語の指定に基づいて、強調させる単語を選択することができる。それゆえ、利用者は記憶したい単語と、記憶したい単語に含めたくない単語との2種類の単語の指定を使い分けることで強調させたい単語を選択することができるため、利用者の学習目標に沿った単語の学習を行わせることができる。
【0180】
態様11は、態様10において、前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に、当該学習用単語の表示の態様を変更することを特徴とする。
【0181】
態様11によれば、例えば、利用者が記憶したい単語が、辞書に追加しない単語を指定するために利用者が指定した市販の辞書の単語であるか否かに基づいて、その単語を強調させることができる。このため、利用者が記憶したい単語を指定するための市販の辞書と、利用者が記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定に基づいて、強調させる単語を選択することができる。それゆえ、利用者は記憶したい単語を指定するための市販の辞書と、記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定を使い分けることで強調させたい単語を選択することができるため、利用者の学習目標に沿った単語の学習を行わせることができる。
【0182】
態様12は、態様1において、各話が所定時間長の複数話から構成された映像動画であって、前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新することを特徴とする。
【0183】
態様12によれば、例えば、映像動画の話(エピソード)の順番を加味して辞書に含まれる単語の順序を並び替えることができるため、映像動画が複数話から構成される場合でも、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができる。また、話の順番を加味することで各話の字幕に登場した単語同士の順番が結果的に近くなるため、話ごとにストーリーを想起し易くさせることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで話ごとにストーリーを想起することができる。また、話ごとにストーリーを想起することで、複数話全体のストーリーを想起することができる。このため、話ごとにストーリーが完結する映像動画の場合でも、複数話全体でストーリーが完結する映像動画の場合でもストーリーの想起がし易くなる。また、各話が所定時間長であることで、話ごとにストーリーが想起し易くなるため、単語の想起もし易くなる。このように、各話のストーリーを一つの括りとして、各話の字幕に登場した単語の意味や使い方を想起し易くさせることができる。
【0184】
態様13は、態様1において、前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする。
【0185】
態様13によれば、例えば、辞書に含まれる単語の順序に応じた順番で、対応した映像画像を表示させることができるため、利用者は辞書に含まれる単語を見ることなく、単語の順序に応じた順番で対応した映像画像を閲覧するだけで単語の意味や使い方を想起できるか否かを復習することができる。このように、辞書のような文字の羅列ではなく利用者の嗜好に沿った映像動画中の映像画像を表示させることができるため、利用者に学習を実感させることなく復習を行わせることができる。また、利用者の嗜好に沿った映像動画中の映像画像であるほど、利用者は映像画像を閲覧するだけで映像画像の前後の内容が想起し易くなるため、学習時だけでなく復習時も単語の意味や使い方をより深く理解させることができる。
【0186】
態様14は、態様13において、前記学習用単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させることを特徴とする。
【0187】
態様14によれば、例えば、対象となる映像画像の場面中で最も印象的な映像画像を表示させることができるため、利用者に場面の想起をし易くさせることができる。このため、利用者はそのような映像画像を閲覧することで対象となる映像画像の前後を含む場面全体を想起できるため、対象となる単語の意味や使い方をより深く理解させることができる。また、印象的な映像画像は、その場面中の他の映像画像とは異なる特徴情報(例えば、エフェクト)や、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む場合が多いため、利用者の嗜好に沿った映像動画であるほど、利用者に学習を実感させることなく復習を行わせることができる。また、例えば、対象となる映像画像を、場面中の印象的な映像画像とともに表示させることで、対象となる映像画像の前後の内容を場面全体に絡めて想起させることができる。
【0188】
態様15は、態様13において、前記学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させることを特徴とする。
【0189】
態様15によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に単語を重畳して表示させることで、単語と映像画像とをより深く対応付けて記憶させることができるため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
【0190】
態様16は、態様13において、前記学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させることを特徴とする。
【0191】
態様16によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に字幕を重畳して表示させることで、その字幕に含まれる単語と映像画像とをより深く対応付けて記憶させることができる。また、字幕は映像画像の前後の内容の想起を手助けするため、映像画像の前後の内容を含めて対応付けて記憶させることができる。このため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
【0192】
態様17は、態様1において、前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする。
【0193】
態様17によれば、例えば、利用者は一の映像動画の字幕に登場した単語を他の映像動画で復習することができるため、その単語の記憶を定着させることができる。また、利用者は一の映像動画の字幕に登場した単語が他の映像動画でどのように使われるのかを確認することができるため、その単語の意味や使い方をより深く理解させることができる。また、一の映像動画の字幕に登場した単語をより多く含む他の映像動画はその一の映像動画と特徴(例えば、映像動画の世界観やストーリー、メインキャラクターの特徴)が類似し得るため、例えば一の映像動画を見終わった後の次の映像動画の候補として、一の映像動画と特徴が類似した他の映像動画を提案することができる。このため、利用者は一の映像動画の後に他の映像動画を抵抗なく快適に視聴できるため、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0194】
態様18は、態様17において、前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案することを特徴とする。
【0195】
態様18によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語と関連して広く用いられる共起語や類義語(同義語も含む)などである場合もあり、また、共起語や類義語などはまとめて記憶し易いため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、共起語や類義語などである場合には、一の映像動画の字幕に登場しなかった単語でも一の映像動画のストーリーを想起することで推測できる場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。
【0196】
態様19は、態様18において、前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0197】
態様19によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語に対応した発話を行ったメインキャラクターの特徴と類似した特徴のキャラクターの発話に対応して広く用いられる単語である場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターの特徴に起因する場合も多いため、利用者は他の映像動画を抵抗なく快適に視聴することができる。このため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0198】
態様20は、態様17において、前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案することを特徴とする。
【0199】
態様20によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画の特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った映像動画を提案することができる。
【0200】
態様21は、態様20において、前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0201】
態様21によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画のメインキャラクターの特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができる。
【0202】
態様22は、態様21において、前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0203】
態様22によれば、例えば、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができるため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0204】
<<3.実施形態3>>
<3.1.はじめに>
実施形態2において、利用者が学習目標に応じて対象となる単語の学習が可能な字幕を、映像動画の視聴中でも簡単に特定したいといった要望を抱く場合もあり得る。例えば、利用者が特定の資格試験の突破を学習目標とする場合には、特定の資格試験で対象となる単語の学習が可能な字幕を、映像動画の視聴中でも簡単に特定したいといった要望を抱く場合もあり得る。
【0205】
実施形態3は、上記に鑑みてなされたものであって、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
【0206】
<3.2.情報処理システムの構成>
図18に示す情報処理システム1Bについて説明する。
図18に示すように、情報処理システム1Bは、端末装置10と、表示装置20と、記憶支援装置100Bと、映像動画配信サーバ200とが含まれる。端末装置10と、表示装置20と、記憶支援装置100Bと、映像動画配信サーバ200とは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。
図18は、実施形態3に係る情報処理システム1Bの構成例を示す図である。実施形態3では、上記実施形態(実施形態1又は実施形態2)と同様の説明は適宜省略する。
【0207】
端末装置10は、利用者の操作に応じてカメラを起動させ、カメラが向けられた画角で撮影可能な範囲に含まれるコード情報を読み取る。例えば、端末装置10は、カメラが表示装置20に向けられた場合には、表示装置20の画面に表示されたコード情報を読み取る。実施形態3では、利用者が映像動画のオープニングアニメーションの視聴時に、カメラを表示装置20に向けることで、オープニングアニメーションに付されたコード情報を読み取る。そして、端末装置10は、読み取ったコード情報を記憶支援装置100Bへ送信する。また、端末装置10は、記憶支援装置100Bにより生成された辞書を表示する。
【0208】
表示装置20は、映像動画配信サーバ200から配信された映像動画を表示するための情報処理装置である。表示装置20は、実施形態3における処理を実現可能であれば、どのような装置であってもよい。また、表示装置20は、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等の装置であってもよい。また、表示装置20は、テレビであってもよい。例えば、表示装置20は、ショッピングセンターなどの展示用のテレビであってもよい。
【0209】
表示装置20は、例えば、スマートフォンやタブレット等のスマートデバイスであり、4G~6GやLTE等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、表示装置20は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、表示装置20の管理者や利用者などから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受け付けてもよい。
【0210】
記憶支援装置100Bは、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。記憶支援装置100Bは、実施形態3における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100Bは、サーバ装置やクラウドシステム等により実現される。
【0211】
映像動画配信サーバ200は、映像動画を配信するための情報処理装置である。映像動画配信サーバ200は、利用者が学習中の言語に翻訳された字幕付きの映像動画を配信する。例えば、映像動画配信サーバ200は、利用者が学習中の言語が英語である場合には、利用者の言語で発話された音声とともに英語に翻訳された字幕が表示される映像動画を配信する。例えば、映像動画配信サーバ200は、映像動画の映像動画データとともに映像動画で表示される字幕情報を配信する。また、映像動画配信サーバ200は、映像動画の本編、映像動画のオープニングアニメーション及び映像動画のエンディングアニメーションの少なくともいずれか一部にコード情報を表示させるために、映像動画の映像動画データ及び字幕情報とともにコード情報を配信する。映像動画配信サーバ200は、実施形態3における処理を実現可能であれば、どのような装置であってもよい。例えば、映像動画配信サーバ200は、サーバ装置やクラウドシステム等により実現される。
【0212】
映像動画配信サーバ200は、表示装置20の管理者から映像動画の配信要求を受け付け、表示装置20の管理者から配信が要求された映像動画を表示装置20へ配信する。この場合、映像動画配信サーバ200は、表示装置20から送信された配信要求を受信する。また、映像動画配信サーバ200は、利用者から映像動画の配信要求を受け付け、利用者から配信が要求された映像動画を表示装置20へ配信してもよい。この場合、映像動画配信サーバ200は、端末装置10から送信された配信要求を受信する。なお、映像動画配信サーバ200は、利用者が表示装置20の管理者である場合には、表示装置20から送信された利用者の映像動画の配信要求を受信してもよい。また、映像動画配信サーバ200は、記憶支援装置100Bの管理者が指定した映像動画を表示装置20へ配信してもよい。また、映像動画配信サーバ200は、映像動画配信サーバ200の管理者が指定した映像動画を表示装置20へ配信してもよい。また、映像動画配信サーバ200は、テレビ放送枠に従って予め指定された映像動画を表示装置20へ配信してもよい。
【0213】
ここで、実施形態3に係る映像動画配信サーバ200の記憶部について説明する。映像動画配信サーバ200は、映像動画記憶部220を有する。映像動画記憶部220は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。
【0214】
映像動画記憶部220は、映像動画に関する情報を記憶する。
図19に、実施形態3に係る映像動画記憶部220の一例を示す。
図19は、実施形態3に係る映像動画記憶部220の一例を示す図である。
図19に示すように、映像動画記憶部220は、「映像動画ID」、「映像動画」、「字幕」、「コード情報1(本編用)」、「コード情報2(OP用)」、「コード情報3(ED用)」といった項目を有する。
【0215】
「映像動画ID」は、映像動画を識別するための識別情報を示す。「映像動画」は、映像動画を示す。
図19に示した例では、「映像動画」に「映像動画#1」や「映像動画#2」といった概念的な情報が格納される例を示したが、実際には、映像動画の映像動画データが映像動画ごとに格納される。また、「映像動画」には、例えば、映像動画データが所在するURL(Uniform Resource Locator)や、格納場所を示すファイルパス名などの情報が格納されてもよい。「字幕」は、映像動画で表示される字幕を示す。
図19に示した例では、「字幕」に「字幕#1」や「字幕#2」といった概念的な情報が格納される例を示したが、実際には、字幕を構成する単語情報が字幕ごとに格納される。また、「字幕」には、字幕とともに映像動画において字幕が表示されるタイミングなどの情報が格納されてもよい。例えば、「字幕」には、「字幕#1」の字幕が映像動画の開始から1分後に5秒間表示される場合には、その字幕が映像動画の開始から1分後に5秒間表示されることを特定するタイミングなどの情報が格納されてもよい。例えば、「字幕」には、1:00~1:05などの情報が格納されてもよい。「コード情報1(本編用)」は、映像動画の本編用のコード情報を示す。具体的には、「コード情報1(本編用)」は、利用者が映像動画を視聴時に、利用者が視聴中の映像動画の本編とともに表示装置20の画面に表示されるコード情報を示す。
図19に示した例では、「コード情報1(本編用)」に「コード情報#11」や「コード情報#12」といった概念的な情報が格納される例を示したが、実際には、QRコード(登録商標)などのコード情報が映像動画ごとに格納される。「コード情報1(本編用)」のコード情報が読み取られることで、利用者が視聴中の映像動画が特定されるとともに、利用者が映像動画の本編を視聴時に映像動画の本編に付されたコード情報を読み取ったことが特定される。「コード情報2(OP用)」は、映像動画のオープニングアニメーション用のコード情報を示す。具体的には、「コード情報2(OP用)」は、利用者が映像動画を視聴時に、利用者が視聴中の映像動画のオープニングアニメーションとともに表示装置20の画面に表示されるコード情報を示す。
図19に示した例では、「コード情報2(OP用)」に「コード情報#21」や「コード情報#22」といった概念的な情報が格納される例を示したが、実際には、QRコード(登録商標)などのコード情報が映像動画ごとに格納される。「コード情報2(OP用)」のコード情報が読み取られることで、利用者が視聴中の映像動画が特定されるとともに、利用者が映像動画のオープニングアニメーションを視聴時に映像動画のオープニングアニメーションに付されたコード情報を読み取ったことが特定される。「コード情報3(ED用)」は、映像動画のエンディングアニメーション用のコード情報を示す。具体的には、「コード情報3(ED用)」は、利用者が映像動画を視聴時に、利用者が視聴中の映像動画のエンディングアニメーションとともに表示装置20の画面に表示されるコード情報を示す。
図19に示した例では、「コード情報3(ED用)」に「コード情報#31」や「コード情報#32」といった概念的な情報が格納される例を示したが、実際には、QRコード(登録商標)などのコード情報が映像動画ごとに格納される。「コード情報3(ED用)」のコード情報が読み取られることで、利用者が視聴中の映像動画が特定されるとともに、利用者が映像動画のエンディングアニメーションを視聴時に映像動画のエンディングアニメーションに付されたコード情報を読み取ったことが特定される。
【0216】
すなわち、
図19では、映像動画ID「M1」によって識別される映像動画の映像動画データが「映像動画#1」であり、映像動画で表示される字幕が「字幕#1」、「字幕#2」、・・・、「字幕#N」であり、映像動画の本編で表示されるコード情報が「コード情報#11」であり、映像動画のオープニングアニメーションで表示されるコード情報が「コード情報#21」であり、映像動画のエンディングアニメーションで表示されるコード情報が「コード情報#31」である例を示す。
【0217】
なお、
図19では、映像動画記憶部220が、「コード情報1(本編用)」、「コード情報2(OP用)」、「コード情報3(ED用)」といった項目を有し、映像動画の本編用のコード情報や、映像動画のオープニングアニメーション用のコード情報や、映像動画のエンディングアニメーション用のコード情報を記憶する場合を示したが、この例に限られない。映像動画記憶部220は、映像動画の配信要求を受信するごとに、映像動画の配信時に配信先の表示装置20の情報を含めたコード情報を発行してもよい。具体的には、映像動画記憶部220は、映像動画の配信要求を受信するごとに、映像動画の配信時に配信先の表示装置20の情報を含めた、映像動画の本編用、映像動画のオープニングアニメーション用及び映像動画のエンディングアニメーション用の3種類のコード情報を発行してもよい。
【0218】
なお、
図18では、端末装置10と記憶支援装置100Bが別装置である場合を示したが、端末装置10と記憶支援装置100Bは一体であってもよい。また、表示装置20と映像動画配信サーバ200が別装置である場合を示したが、表示装置20と映像動画配信サーバ200は一体であってもよい。また、記憶支援装置100Bと映像動画配信サーバ200が別装置である場合を示したが、記憶支援装置100Bと映像動画配信サーバ200は一体であってもよい。
【0219】
<3.3.記憶支援装置の構成>
次に、
図20を用いて、実施形態3に係る記憶支援装置100Bの構成について説明する。
図20は、実施形態3に係る記憶支援装置100Bの構成例を示す図である。
図20に示すように、記憶支援装置100Bは、通信部110と、記憶部120Aと、制御部130Bとを有する。なお、記憶支援装置100Bは、記憶支援装置100Bの管理者から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。なお、通信部110及び記憶部120Aは、上記実施形態(実施形態1又は実施形態2)と同様のため説明を省略する。
【0220】
(制御部130B)
制御部130Bは、コントローラであり、例えば、CPUやMPU等によって、記憶支援装置100B内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Bは、例えば、ASICやFPGA等の集積回路により実現される。
【0221】
図20に示すように、制御部130Bは、取得部131Bと、抽出部132Bと、生成部133と、更新部134と、表示部135と、提案部136と、表示制御部138とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130Bの内部構成は、
図20に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、生成部133、更新部134、表示部135及び提案部136は、上記実施形態と同様のため説明を省略する。
【0222】
(取得部131B)
取得部131Bは、取得部131又は取得部131Aと同様の情報を取得する。また、取得部131Bは、利用者が表示装置20の画面に表示されたコード情報を端末装置10で読み取ることで端末装置10から送信されたコード情報を取得する。また、取得部131Bは、取得したコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕(又は取得したコード情報に紐づき予め定められた字幕)に関する情報を取得する。例えば、取得部131Bは、映像動画の本編で表示される字幕に関する情報を取得する。なお、取得部131Bは、映像動画の本編で表示される字幕全体のうち一部の字幕に関する情報を取得してもよい。
【0223】
取得部131Bは、後述の表示制御部138で制御情報を送信する送信先の表示装置20を特定するために、利用者が端末装置10でコード情報を読み取った表示装置20の情報を取得する。例えば、取得部131Bは、取得したコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の情報を映像動画配信サーバ200へ送信し、映像動画配信サーバ200がその映像動画を配信した(若しくは配信中の)配信先の表示装置20の情報を記憶支援装置100Bへ送信することで、利用者が端末装置10でコード情報を読み取った表示装置20の情報を取得する。なお、取得部131Bは、映像動画配信サーバ200がその映像動画を配信した(若しくは配信中の)配信先の表示装置20が複数ある場合には、端末装置10の位置情報と、その複数の表示装置20のそれぞれの位置情報とに基づいて、端末装置10から所定の範囲内に位置する(例えば、端末装置10に最も近く位置する)表示装置20を特定し、その特定された表示装置20の情報を取得する。なお、映像動画配信サーバ200が、端末装置10の位置情報と、その複数の表示装置20のそれぞれの位置情報とに基づいて、端末装置10から所定の範囲内に位置する表示装置20を特定し、その特定された表示装置20の情報を記憶支援装置100Bへ送信することで、取得部131Bは、その特定された表示装置20の情報を取得してもよい。また、取得部131Bは、映像動画配信サーバ200が映像動画の配信要求を受信するごとに、映像動画の配信時に配信先の表示装置20の情報を含めたコード情報を発行する場合には、取得したコード情報から、利用者が端末装置10でコード情報を読み取った表示装置20の情報を取得する。
【0224】
(表示制御部138)
表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する。具体的には、表示制御部138は、取得部131Bにより取得されたコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する。なお、表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定し、登場すると判定した場合には、その学習用単語と、その学習用単語が登場する字幕とを予め特定しておくことで、学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。また、表示制御部138は、利用者が市販の辞書を複数指定した場合も同様に、利用者が予め指定した複数の市販の辞書のうち少なくともいずれかの辞書の学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。
【0225】
表示制御部138は、例えば、利用者が視聴中の映像動画の「字幕#1」の字幕に学習用単語が登場し、利用者が視聴中の映像動画の「字幕#2」の字幕に学習用単語が登場しない場合には、利用者がその映像動画を視聴中、「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を送信する。例えば、「字幕#1」の字幕が映像動画の開始から1分後に5秒間表示されるように予め定められた字幕であり、「字幕#2」の字幕が映像動画の開始から1分10秒後に5秒間表示されるように予め定められた字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。
【0226】
表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕である場合に、その字幕を表示させ、且つ、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕でない場合に、その字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定し、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であると判定した字幕を表示させ、且つ、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕でないと判定した字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であると判定された字幕であり、「字幕#2」の字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕でないと判定された字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕であり、且つ、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
【0227】
表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕を表示させ、且つ、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に、その字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定し、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定した字幕を表示させ、且つ、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定した字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定された字幕であり、「字幕#2」の字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定された字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕であり、且つ、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
【0228】
表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、他の利用者(利用者が視聴中の映像動画から辞書を生成した他の利用者、映像動画の一覧が利用者と類似する他の利用者)の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕を表示させ、且つ、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に、その字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定し、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定した字幕を表示させ、且つ、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定した字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定された字幕であり、「字幕#2」の字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定された字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕であり、且つ、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
【0229】
表示制御部138は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕(利用者が予め指定した市販の辞書の学習用単語が登場する字幕)のみを表示させるための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定し、利用者の嗜好に沿った特徴の映像動画であると判定した場合に、対象字幕のみを表示させるための制御情報を送信してもよい。なお、利用者の嗜好に沿った特徴の映像動画であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
【0230】
表示制御部138は、利用者が視聴中の映像動画が、他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕のみを表示させるための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が視聴中の映像動画が、他の利用者の嗜好に沿った特徴の映像動画であるか否かを判定し、他の利用者の嗜好に沿った特徴の映像動画であると判定した場合に、対象字幕のみを表示させるための制御情報を送信してもよい。なお、他の利用者の嗜好に沿った特徴の映像動画であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
【0231】
表示制御部138は、対象字幕に含まれる学習用単語が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でない場合に、その対象字幕を表示させ、且つ、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語である場合に、その対象字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、対象字幕に含まれる学習用単語が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であるか否かを判定し、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でないと判定した学習用単語が登場する対象字幕を表示させ、且つ、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であると判定した学習用単語が登場する対象字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でないと判定された学習用単語が登場する対象字幕であり、「字幕#2」の字幕が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であると判定された学習用単語が登場する対象字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でない学習用単語が登場する対象字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。また、表示制御部138は、利用者が除外単語を指定するために、学習用単語を指定するための市販の辞書とは異なる他の市販の辞書を指定することで、他の市販の辞書の学習用単語を除外単語として、対象字幕に含まれる学習用単語が除外単語であるか否かを判定する場合には、対象字幕に含まれる学習用単語が、除外単語を指定するために利用者が指定した他の市販の辞書の学習用単語でない場合に、その対象字幕を表示させ、且つ、除外単語を指定するために利用者が指定した他の市販の辞書の学習用単語である場合に、その対象字幕を表示させなくするための制御情報を送信してもよい。
【0232】
(抽出部132B)
抽出部132Bは、抽出部132又は抽出部132Aと同様の情報を抽出する。また、抽出部132Bは、表示制御部138により送信された制御情報が表示の対象とする対象字幕と、その対象字幕に含まれる学習用単語とを抽出する。すなわち、抽出部132Bは、表示制御部138により送信された制御情報に基づき表示装置20の画面に表示される字幕と、その字幕に含まれる学習用単語とを抽出する。なお、抽出部132Bは、表示制御部138の制御情報の送信の情報処理よりも先に抽出の情報処理を実行してもよいし、表示制御部138の制御情報の送信の情報処理と並行して(又は同時に)抽出の情報処理を実行してもよい。このため、抽出部132Bは、表示制御部138により送信される制御情報が表示の対象とする対象字幕と、その対象字幕に含まれる学習用単語とを抽出してもよい。換言すると、表示制御部138は、抽出部132Bにより抽出された学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。そして、生成部133は、抽出部132Bにより抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Bにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成する。なお、抽出部132Bの場合と同様に、生成部133は、表示制御部138の制御情報の送信の情報処理よりも先に生成の情報処理を実行してもよいし、表示制御部138の制御情報の送信の情報処理と並行して(又は同時に)生成の情報処理を実行してもよい。このため、表示制御部138は、生成部133により生成された辞書に含まれる学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。
【0233】
抽出部132Bは、抽出部132Bにより抽出された学習用単語の登場時に表示される映像画像を抽出してもよい。例えば、抽出部132Bは、学習用単語とともに抽出された字幕情報を映像動画配信サーバ200へ送信し、映像動画配信サーバ200が、受信した字幕情報に基づきその字幕が表示されるタイミングの映像画像を抽出し記憶支援装置100Bへ送信することで、学習用単語の登場時に表示される映像画像を抽出してもよい。例えば、抽出部132Bが「字幕#1」の字幕情報を映像動画配信サーバ200へ送信した場合には、映像動画配信サーバ200は、映像動画の開始1分から開始1分5秒までに表示される映像画像の中から映像画像を抽出する。そして、抽出部132Bは、映像動画配信サーバ200から送信された映像画像を取得することで、学習用単語の登場時に表示される映像画像を抽出してもよい。また、抽出部132Bは、抽出部132Bにより抽出された学習用単語の登場時に表示される映像画像の場面中に表示される映像画像のうち印象的な映像画像を抽出してもよい。例えば、抽出部132Bは、学習用単語とともに抽出された字幕情報を映像動画配信サーバ200へ送信し、映像動画配信サーバ200が、受信した字幕情報に基づきその字幕が表示される映像動画中の場面を特定し、その場面中で表示される映像画像の中から印象的な映像画像を抽出し記憶支援装置100Bへ送信することで、学習用単語の登場時に表示される映像画像の場面中に表示される映像画像のうち印象的な映像画像を抽出してもよい。例えば、抽出部132Bが「字幕#1」の字幕情報を映像動画配信サーバ200へ送信した場合には、映像動画配信サーバ200は、映像動画の開始1分から開始1分5秒までに表示される映像画像の映像動画中の場面を特定し、その場面が次の場面へ遷移するまでに表示される映像画像の中から印象的な映像画像を抽出する。例えば、映像動画配信サーバ200は、その場面が映像動画の開始から5分で次の場面へ遷移する場合には、映像動画の開始から5分までに表示される映像画像の中から印象的な映像画像を抽出する。そして、抽出部132Bは、映像動画配信サーバ200から送信された映像画像を取得することで、学習用単語の登場時に表示される映像画像の場面中に表示される映像画像のうち印象的な映像画像を抽出してもよい。また、生成部133は、抽出部132Bにより抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成してもよい。また、表示部135は、更新部134により更新された学習用単語の順序に応じた順番で、学習用単語の登場時に表示された映像画像を表示させてもよい。例えば、表示部135は、「字幕#1」の字幕が学習用単語とともに辞書に追加された場合には、映像動画の開始1分から開始1分5秒までに表示された映像画像の中から抽出された映像画像を表示させてもよい。また、表示部135は、更新部134により更新された学習用単語の順序に応じた順番で、学習用単語の登場時に表示された映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させてもよい。例えば、表示部135は、「字幕#1」の字幕が学習用単語とともに辞書に追加された場合には、「字幕#1」の字幕が表示された映像画像の場面が次の場面へ遷移する映像動画の開始から5分までに表示される映像画像の中から抽出された映像画像を表示させてもよい。
【0234】
<3.4.情報処理のフロー>
次に、
図21及び
図22を用いて、実施形態3に係る情報処理システム1Bによる情報処理の手順について説明する。
図21及び
図22は、実施形態3に係る情報処理システム1Bによる情報処理の手順を示すフローチャートである。実施形態3に係る情報処理システム1Bによる情報処理の手順において、
図21のように、抽出又は生成の情報処理よりも先に制御情報の送信の情報処理が実行されてもよいし、
図22のように、制御情報の送信の情報処理よりも先に抽出又は生成の情報処理が実行されてもよい。
【0235】
図21に示すように、記憶支援装置100Bは、利用者が視聴中の映像動画のオープニングアニメーションに付されたコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定する(ステップS501)。
【0236】
記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場すると判定した場合(ステップS501;YES)、学習用単語が登場する対象字幕のみを表示させるための制御情報を送信する(ステップS502)。一方、記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場しないと判定した場合(ステップS501;NO)、情報処理を終了する。
【0237】
記憶支援装置100Bは、送信された制御情報が表示の対象とする対象字幕と、その対象字幕に含まれる学習用単語とを抽出する(ステップS503)。
【0238】
記憶支援装置100Bは、抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出された対象字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成する(ステップS504)。
【0239】
図22に示すように、記憶支援装置100Bは、利用者が視聴中の映像動画のオープニングアニメーションに付されたコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定する(ステップS601)。
【0240】
記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場すると判定した場合(ステップS601;YES)、学習用単語が登場する対象字幕と、その対象字幕に含まれる学習用単語とを抽出する(ステップS602)。一方、記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場しないと判定した場合(ステップS601;NO)、情報処理を終了する。
【0241】
記憶支援装置100Bは、抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出された対象字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成する(ステップS603)。
【0242】
記憶支援装置100Bは、生成された辞書に含まれる学習用単語が登場する対象字幕のみを表示させるための制御情報を送信する(ステップS604)。
【0243】
<3.5.変形例>
上述した実施形態3に係る情報処理システム1Bは、上記実施形態3以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1Bの他の実施形態について説明する。
【0244】
(変形例10:学習用単語の表示の態様を変更する)
実施形態3では、表示制御部138が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する場合を示した。例えば、表示制御部138は、利用者が視聴中の映像動画の「字幕#1」の字幕に学習用単語が登場し、利用者が視聴中の映像動画の「字幕#2」の字幕に学習用単語が登場しない場合には、利用者がその映像動画を視聴中、「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を送信する場合を示した。しかしながら、例えば、利用者が学習目標に応じて対象となる単語の学習が可能な字幕の中でも、利用者が学習目標に応じて対象となる単語を、映像動画の視聴中でも簡単に特定し、その単語に集中したいといった要望を抱く場合もあり得る。表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信してもよい。換言すると、表示制御部138は、表示の態様を変更する制御情報が対象とする対象字幕の表示中、その対象字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信してもよい。具体的には、表示制御部138は、表示を制御する制御情報が表示の対象とする対象字幕の表示中、表示の態様を制御する制御情報に基づいて、その対象字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信してもよい。この際、表示を制御する制御情報に、表示の態様を制御する制御情報が含まれてもよいし、表示の態様を制御する制御情報に、表示を制御する制御情報が含まれてもよい。また、抽出部132Bは、表示制御部138により送信された制御情報に基づき表示の態様が変更される学習用単語と、その学習用単語が登場する字幕とを抽出してもよい。また、抽出部132Bは、表示制御部138の制御情報の送信の情報処理よりも先に抽出の情報処理が実行される場合には、表示制御部138により送信される制御情報に基づき表示の態様が変更される学習用単語と、その学習用単語が登場する字幕とを抽出してもよい。
【0245】
(変形例11:他の学習用単語のみを表示させる)
実施形態3では、表示制御部138が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する場合を示した。しかしながら、例えば、利用者が特定の市販の辞書の学習用単語を熟達したため、特定の市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。例えば、利用者が一の資格試験を突破するために、一の資格試験用の特定の市販の辞書の学習用単語を熟達している場合には、その特定の市販の辞書に登場しなかった単語や、一の資格試験用の他の特定の市販の辞書に登場する学習用単語を記憶したいといった要望を抱く場合もあり得る。このように、利用者が学習済みの市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。
【0246】
表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書に登場しない他の学習用単語が登場する場合には、他の学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。例えば、表示制御部138は、利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。そして、抽出部132Bは、表示制御部138により送信された制御情報が表示の対象とする字幕と、その字幕に含まれる他の学習用単語とを抽出してもよい。すなわち、抽出部132Bは、表示制御部138により送信された制御情報に基づき表示装置20の画面に表示される字幕と、その字幕に含まれる他の学習用単語とを抽出してもよい。そして、生成部133は、抽出部132Bにより抽出された他の学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Bにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する他の学習用単語をまとめた利用者のための辞書を生成してもよい。
【0247】
(変形例12:近距離無線通信の技術を用いて字幕情報を取得する)
実施形態3では、取得部131Bが、利用者が映像動画を視聴中に利用者が表示装置20の画面に表示されたコード情報を読み取ることで端末装置10から送信されたコード情報に基づき利用者が視聴中の映像動画の字幕に関する情報を取得する場合を示したが、NFC(Near Field Communication)等の近距離無線通信の技術を用いて利用者が視聴中の映像動画の字幕に関する情報を取得してもよい。この場合、端末装置10は、NFC機能を有する情報処理装置であってもよい。換言すると、端末装置10は、NFCタグ(NFC機能を有するICチップが配置されたタグ)等のデータの読み取りが可能な情報処理装置であってもよい。また、表示装置20は、NFC機能又はNFCタグを有する情報処理装置であってもよい。取得部131Bは、例えば、表示装置20がNFC機能を有する情報処理装置である場合には、利用者が表示装置20に端末装置10を近づけることで(NFC端末同士で相互にデータのやり取りを行い)端末装置10が表示装置20から取得した情報を取得してもよい。また、取得部131Bは、例えば、表示装置20がNFCタグを有する情報処理装置である場合には、利用者が表示装置20に取り付けられたNFCタグを端末装置10で読み取ることで端末装置10が表示装置20から取得した情報を取得してもよい。そして、取得部131Bは、このように取得した情報に基づき利用者が視聴中の映像動画の字幕に関する情報を取得してもよい。また、取得部131Bは、表示装置20が映像動画ごとに異なるNFCタグを有する場合には、利用者が視聴中の映像動画に対応したNFCタグを端末装置10で読み取ることで端末装置10から送信された情報に基づいて、利用者が視聴中の映像動画の字幕に関する情報を取得してもよい。
【0248】
<3.6.効果>
実施形態3及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【0249】
態様1は、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
【0250】
態様1によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、利用者がその映像動画の本編を視聴時に、利用者が指定した市販の辞書の単語が登場する字幕のみを表示させることができる。例えば、利用者が視聴中の映像動画の字幕のうち、利用者が指定した市販の辞書の単語が登場する字幕を表示させ、且つ、利用者が指定した市販の辞書の単語が登場しない字幕を表示させなくすることができる。このため、利用者が視聴中の映像動画の字幕のうち、利用者が指定した市販の辞書の単語が登場する字幕を強調させることができる。また、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語と、その単語が登場する字幕とを対応付けた辞書を生成することができるため、利用者が視聴した映像動画ごとに利用者のための辞書を生成することができる。また、字幕は映像に対応付けて表示されるため、利用者は辞書を復習することで、辞書に追加された字幕から字幕が表示された映像を想起することができる。
【0251】
また、態様1によれば、例えば、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画を視聴中に、映像に対応して利用者が学習中の異文化の言語を字幕として閲覧させることができるため、利用者は映像動画の映像や音声を五感で正確に理解しながら、字幕を閲覧することができる。このため、字幕として表示された翻訳文に含まれる単語の使い方を、異文化の言語であっても、映像動画から効果的に学習させることができる。例えば、単語の意味だけでなく、単語がどのような場面で発話者がどのように感じた時にどのような単語とともに使われるかといった単語の使い方を学習させることができる。また、単語の使い方を、映像動画から五感で正確に理解することで、単語から字幕が表示された映像の想起が可能となるだけでなく、映像から単語の想起も可能となる。このため、学習以外の日常生活において、映像を何気なく思い出すだけで、単語の想起が可能となる。また、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画は、利用者にとって理解し易いものであるため、映像だけでなく音声も何気なく思い出し易いため、単語を想起し易くさせることができる。
【0252】
また、態様1によれば、例えば、映像動画で表示される字幕の順序になるように辞書に含まれる単語の順序を並び替えることができるため、映像動画のストーリーの順序で単語を表示させることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができるため、その単語の意味や使い方も想起することができる。このように、映像動画のストーリーを一つの括りとして、映像動画の字幕に登場した単語の意味や使い方を想起し易くさせることができる。このため、単語それぞれの意味や使い方を個別に思い出せるか否かを確認する手間を省くことができるため、利用者の復習時の負担を軽減させることができる。
【0253】
態様2は、態様1において、前記コード情報を、前記生成手順により生成された辞書を表示させる表示先の端末装置である前記利用者の端末装置で前記利用者が読み取ることで取得された前記コード情報に紐づく字幕に関する情報に基づき、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
【0254】
態様2によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、オープニングアニメーションに付されたコード情報を利用者の端末装置で読み取るだけで、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語をまとめた辞書を生成することができる。また、映像動画を表示させる表示装置が利用者のものでない場合であっても、利用者のための辞書を生成し、利用者の端末装置で表示させることができる。例えば、利用者が映像動画を視聴する表示装置が、義務教育学校や学習塾などのデスクトップPCや、ショッピングセンターなどの展示用のテレビなどであっても、利用者は画面に表示されたコード情報を読み取るだけで、利用者のための辞書を生成し、利用者の端末装置で表示させることができる。
【0255】
態様3は、態様1において、前記利用者が視聴中の所定映像動画のエンディングアニメーションに付されたコード情報に紐づき予め定められた字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出することを特徴とする。
【0256】
態様3によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、映像動画の本編の視聴後でも、エンディングアニメーションに付されたコード情報から、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語をまとめた辞書を生成することができる。このため、利用者は、映像動画の本編の字幕に利用者にとって記憶したい単語が登場した場合には、映像動画を巻き戻すことなく(具体的には、映像動画を巻き戻してその単語が登場する字幕を再度表示させることなく)、エンディングアニメーションから利用者のための辞書を生成することができる。
【0257】
態様4は、態様1において、前記制御情報が表示の対象とする所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信し、前記表示制御手順により送信された制御情報に基づき表示の態様が変更される学習用単語と、当該学習用単語が登場する所定字幕とを抽出することを特徴とする。
【0258】
態様4によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、その単語が登場する字幕の表示中、その単語の表示の態様を所定の態様に変更して表示させることができる。例えば、フォントサイズを大きくして表示させる、フォントの色を目立つ色にして表示させる、フォントに蛍光ペンを付加して表示させる、フォントに影や光彩などの文字の効果を適用して表示させることなどができる。このため、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語を強調させることができる。それゆえ、利用者が映像動画を視聴中でも、利用者にその単語を適切に印象付けることができる。また、利用者が複数の市販の辞書を指定することで、指定された辞書のいずれかに含まれる単語の候補が字幕に登場する場合には、その字幕が表示中、その候補の表示の態様を所定の態様に変更して表示させることができる。
【0259】
態様5は、態様1において、前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
【0260】
態様5によれば、例えば、利用者が複数の市販の辞書を指定することで、辞書に追加するより多くの単語の候補を指定することができる。このため、例えば、利用者が特定の資格試験用の辞書(例えば、参考書や単語帳)を複数指定することで、特定の資格試験で必要な単語を漏れなく候補とすることができる。また、指定された辞書のいずれかに含まれる単語の候補が字幕に登場するか否かに基づいて、その字幕を表示させるか否かを選択することができる。具体的には、指定された辞書のいずれかに含まれる単語の候補が字幕に登場する場合には、その字幕を表示させ、指定された辞書のいずれかに含まれる単語の候補が字幕に登場しない場合には、その字幕を表示させなくすることができる。このため、例えば、利用者が特定の資格試験用の辞書を複数指定することで、特定の資格試験で対象となる単語を含むより多くの字幕を表示させることができるため、特定の資格試験で対象となるより多くの単語を強調させることができる。また、特定の資格試験で対象となるより多くの単語の意味や使い方も強調させることができる。それゆえ、利用者の学習目標に沿ってより多くの単語を効果的に記憶させることができる。
【0261】
態様6は、態様1において、前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
【0262】
態様6によれば、例えば、利用者が記憶したい単語が、映像動画のストーリーの中心となるキャラクター(メインキャラクター)の発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、表示された字幕に含まれる単語とメインキャラクターの映像(例えば、その字幕に対応した発話をメインキャラクターが行った際のメインキャラクターの画像や音声)とを対応付けて記憶させることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターに起因する場合も多いため、単語をメインキャラクターの映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画のメインキャラクターの中でも特に重要なメインキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0263】
態様7は、態様1において、前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
【0264】
態様7によれば、例えば、利用者が記憶したい単語が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、表示された字幕に含まれる単語と利用者の嗜好に沿った特徴のキャラクターの映像とを対応付けて記憶させることができる。また、単語を利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0265】
態様8は、態様1において、前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
【0266】
態様8によれば、例えば、利用者が記憶したい単語が、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、利用者のキャラクターに対する嗜好性が判断できない場合でも、利用者が視聴中の映像動画から辞書を生成した他の利用者のキャラクターに対する嗜好性から、表示させる字幕を選択することができる。また、利用者のキャラクターに対する嗜好性は、利用者が視聴中の映像動画から辞書を生成した他の利用者のキャラクターに対する嗜好性と類似し得る。このため、単語をこのような、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、そのキャラクターが利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0267】
態様9は、態様1において、前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
【0268】
態様9によれば、例えば、利用者が記憶したい単語が、利用者が辞書を生成した映像動画の一覧と、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、利用者のキャラクターに対する嗜好性が判断できない場合でも、辞書を生成した映像動画の一覧が類似する他の利用者のキャラクターに対する嗜好性から、表示させる字幕を選択することができる。また、利用者のキャラクターに対する嗜好性は、辞書を生成した映像動画の一覧が類似する他の利用者のキャラクターに対する嗜好性と類似し得る。このため、単語をこのような、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、そのキャラクターが利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0269】
態様10は、態様1において、前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
【0270】
態様10によれば、例えば、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を含む字幕を表示させるか否かを選択することができる。このため、表示された字幕に含まれる単語と利用者の嗜好に沿った特徴の映像動画中の映像とを対応付けて記憶させることができる。また、単語を利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0271】
態様11は、態様1において、前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
【0272】
態様11によれば、例えば、利用者が視聴中の映像動画が、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を含む字幕を表示させるか否かを選択することができる。このため、利用者の映像動画に対する嗜好性が判断できない場合でも、利用者が視聴中の映像動画から辞書を生成した他の利用者の映像動画に対する嗜好性から、表示させる字幕を選択することができる。また、利用者の映像動画に対する嗜好性は、利用者が視聴中の映像動画から辞書を生成した他の利用者の映像動画に対する嗜好性と類似し得る。このため、単語をこのような、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、その映像動画が利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0273】
態様12は、態様1において、前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
【0274】
態様12によれば、例えば、利用者が視聴中の映像動画が、利用者が辞書を生成した映像動画の一覧と、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を含む字幕を表示させるか否かを選択することができる。このため、利用者の映像動画に対する嗜好性が判断できない場合でも、辞書を生成した映像動画の一覧が類似する他の利用者の映像動画に対する嗜好性から、表示させる字幕を選択することができる。また、利用者の映像動画に対する嗜好性は、辞書を生成した映像動画の一覧が類似する他の利用者の映像動画に対する嗜好性と類似し得る。このため、単語をこのような、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、その映像動画が利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
【0275】
態様13は、態様1において、前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に前記所定字幕を表示させ、且つ、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語である場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
【0276】
態様13によれば、例えば、利用者が記憶したい単語が、辞書に追加しない単語として予め指定された単語であるか否かに基づいて、その単語を含む字幕を表示させるか否かを選択することができる。このため、利用者が記憶したい単語と、利用者が記憶したい単語に含めたくない単語(例えば、利用者が記憶済みの単語、代名詞や冠詞などの一語では特徴的な意味を有しない単語)との2種類の単語の指定に基づいて、表示させる字幕(又は強調させる単語)を選択することができる。それゆえ、利用者は記憶したい単語と、記憶したい単語に含めたくない単語との2種類の単語の指定を使い分けることで表示させたい字幕(又は強調させたい単語)を選択することができるため、利用者の学習目標に沿った単語の学習を行わせることができる。
【0277】
態様14は、態様13において、前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に前記所定字幕を表示させ、且つ、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語である場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
【0278】
態様14によれば、例えば、利用者が記憶したい単語が、辞書に追加しない単語を指定するために利用者が指定した市販の辞書の単語であるか否かに基づいて、その単語を含む字幕を表示させるか否かを選択することができる。このため、利用者が記憶したい単語を指定するための市販の辞書と、利用者が記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定に基づいて、表示させる字幕(又は強調させる単語)を選択することができる。それゆえ、利用者は記憶したい単語を指定するための市販の辞書と、記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定を使い分けることで表示させたい字幕(又は強調させたい単語)を選択することができるため、利用者の学習目標に沿った単語の学習を行わせることができる。
【0279】
態様15は、態様1において、各話が所定時間長の複数話から構成された映像動画であって、前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新することを特徴とする。
【0280】
態様15によれば、例えば、映像動画の話(エピソード)の順番を加味して辞書に含まれる単語の順序を並び替えることができるため、映像動画が複数話から構成される場合でも、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができる。また、話の順番を加味することで各話の字幕に登場した単語同士の順番が結果的に近くなるため、話ごとにストーリーを想起し易くさせることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで話ごとにストーリーを想起することができる。また、話ごとにストーリーを想起することで、複数話全体のストーリーを想起することができる。このため、話ごとにストーリーが完結する映像動画の場合でも、複数話全体でストーリーが完結する映像動画の場合でもストーリーの想起がし易くなる。また、各話が所定時間長であることで、話ごとにストーリーが想起し易くなるため、単語の想起もし易くなる。このように、各話のストーリーを一つの括りとして、各話の字幕に登場した単語の意味や使い方を想起し易くさせることができる。
【0281】
態様16は、態様1において、前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の登場時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする。
【0282】
態様16によれば、例えば、辞書に含まれる単語の順序に応じた順番で、対応した映像画像を表示させることができるため、利用者は辞書に含まれる単語を見ることなく、単語の順序に応じた順番で対応した映像画像を閲覧するだけで単語の意味や使い方を想起できるか否かを復習することができる。このように、辞書のような文字の羅列ではなく利用者の嗜好に沿った映像動画中の映像画像を表示させることができるため、利用者に学習を実感させることなく復習を行わせることができる。また、利用者の嗜好に沿った映像動画中の映像画像であるほど、利用者は映像画像を閲覧するだけで映像画像の前後の内容が想起し易くなるため、学習時だけでなく復習時も単語の意味や使い方をより深く理解させることができる。
【0283】
態様17は、態様16において、前記学習用単語の登場時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させることを特徴とする。
【0284】
態様17によれば、例えば、対象となる映像画像の場面中で最も印象的な映像画像を表示させることができるため、利用者に場面の想起をし易くさせることができる。このため、利用者はそのような映像画像を閲覧することで対象となる映像画像の前後を含む場面全体を想起できるため、対象となる単語の意味や使い方をより深く理解させることができる。また、印象的な映像画像は、その場面中の他の映像画像とは異なる特徴情報(例えば、エフェクト)や、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む場合が多いため、利用者の嗜好に沿った映像動画であるほど、利用者に学習を実感させることなく復習を行わせることができる。また、例えば、対象となる映像画像を、場面中の印象的な映像画像とともに表示させることで、対象となる映像画像の前後の内容を場面全体に絡めて想起させることができる。
【0285】
態様18は、態様16において、前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させることを特徴とする。
【0286】
態様18によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に単語を重畳して表示させることで、単語と映像画像とをより深く対応付けて記憶させることができるため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
【0287】
態様19は、態様16において、前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させることを特徴とする。
【0288】
態様19によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に字幕を重畳して表示させることで、その字幕に含まれる単語と映像画像とをより深く対応付けて記憶させることができる。また、字幕は映像画像の前後の内容の想起を手助けするため、映像画像の前後の内容を含めて対応付けて記憶させることができる。このため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
【0289】
態様20は、態様1において、前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする。
【0290】
態様20によれば、例えば、利用者は一の映像動画の字幕に登場した単語を他の映像動画で復習することができるため、その単語の記憶を定着させることができる。また、利用者は一の映像動画の字幕に登場した単語が他の映像動画でどのように使われるのかを確認することができるため、その単語の意味や使い方をより深く理解させることができる。また、一の映像動画の字幕に登場した単語をより多く含む他の映像動画はその一の映像動画と特徴(例えば、映像動画の世界観やストーリー、メインキャラクターの特徴)が類似し得るため、例えば一の映像動画を見終わった後の次の映像動画の候補として、一の映像動画と特徴が類似した他の映像動画を提案することができる。このため、利用者は一の映像動画の後に他の映像動画を抵抗なく快適に視聴できるため、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0291】
態様21は、態様20において、前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案することを特徴とする。
【0292】
態様21によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語と関連して広く用いられる共起語や類義語(同義語も含む)などである場合もあり、また、共起語や類義語などはまとめて記憶し易いため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、共起語や類義語などである場合には、一の映像動画の字幕に登場しなかった単語でも一の映像動画のストーリーを想起することで推測できる場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。
【0293】
態様22は、態様21において、前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0294】
態様22によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語に対応した発話を行ったメインキャラクターの特徴と類似した特徴のキャラクターの発話に対応して広く用いられる単語である場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターの特徴に起因する場合も多いため、利用者は他の映像動画を抵抗なく快適に視聴することができる。このため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0295】
態様23は、態様20において、前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案することを特徴とする。
【0296】
態様23によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画の特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った映像動画を提案することができる。
【0297】
態様24は、態様23において、前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0298】
態様24によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画のメインキャラクターの特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができる。
【0299】
態様25は、態様24において、前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
【0300】
態様25によれば、例えば、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができるため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
【0301】
<<4.実施形態4>>
<4.1.はじめに>
近年、香りを提供する技術の開発が進められている。例えば、映像とともに香りの提供が可能な装置は嗅覚ディスプレイや香りディスプレイとも呼ばれ、映像に応じた香りの提供が可能な嗅覚ディスプレイの開発が進められている。
【0302】
従来、例えば、粒状の多孔質体に香料(液体の香料)を染み込ませることで固形状の香源を作り、香源をカートリッジに入れ、高圧の空気を送ることで香りを発生させる気体噴射方式を採用した嗅覚ディスプレイが知られている(下記特許文献2)。また、例えば、香りを乗せた気流を他の気流に衝突させて流れる方向を変化させることにより、画面のある場所から香りが出ているかのように香りの分布を作り出す嗅覚ディスプレイが知られている(下記特許文献3)。
【0303】
また、従来、香りを学習に用いた技術が知られている。例えば、映像とともに映像に応じた香りを提供することで、映像や香りの理解を深めることを目的とした技術が知られている(下記特許文献4)。
【0304】
【特許文献2】特開2014-092673号公報
【特許文献3】特開2013-169234号公報
【特許文献4】特開2008-065147号公報
【特許文献5】特開2014-222296号公報
【0305】
しかしながら、従来の技術では、香りを用いて利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。例えば、従来の技術では、単語を利用者にとって想起し易い映像に関連付けるとともに、その映像中の発話者をイメージした香りにも関連付けて記憶させることができないため、香りを用いて利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。
【0306】
実施形態4は、上記に鑑みてなされたものであって、香りを用いて利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
【0307】
<4.2.情報処理システムの構成>
実施形態1又は実施形態2のように、映像動画が端末装置10の画面に表示される場合には、端末装置10が嗅覚ディスプレイであってもよいし、実施形態3のように、映像動画が表示装置20の画面に表示される場合には、表示装置20が嗅覚ディスプレイであってもよい。このため、端末装置10が嗅覚ディスプレイである場合と、表示装置20が嗅覚ディスプレイである場合との2通りの情報処理システムの構成を説明する。実施形態4では、上記実施形態(実施形態1、実施形態2又は実施形態3)と同様の説明は適宜省略する。
【0308】
図23に示す情報処理システム1C(端末装置10が嗅覚ディスプレイである場合)について説明する。
図23に示すように、情報処理システム1Cは、端末装置10Aと、記憶支援装置100Cとが含まれる。端末装置10Aと、記憶支援装置100Cとは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。
図23は、実施形態4に係る情報処理システム1Cの構成例を示す図である。
【0309】
端末装置10Aは、端末装置10に香りを発生させる香り発生装置が追加された情報処理装置である。端末装置10Aは、香り発生装置が端末装置10に内蔵された情報処理装置であってもよいし、香り発生装置が外付けによって端末装置10に装備された情報処理装置であってもよい。以下、実施形態4に係る香り発生装置について説明する。
【0310】
香り発生装置は、香りを発生させるための香源を有する。香源は、香料であってもよいし、多孔質体に香料を染み込ませたもの(すなわち、固形状の香源)であってもよい。香源が香料である場合には、香り発生装置は、例えば、香料を液体粒子として装置内部に噴射し、噴射後に揮発した香料を送風機や空気砲などによって装置外部へ放出させることで香りを提供する。例えば、香り発生装置は、利用者が視聴中の映像動画に登場するキャラクターごとにキャラクターをイメージした香料を格納する収容部を有し、キャラクターが指定されると、指定されたキャラクターをイメージした香料を格納する収容部から適量の香料を取り出し霧状にして放出させることで、指定されたキャラクターをイメージした香りを提供する。また、例えば、香り発生装置は、キャラクターごとにキャラクターをイメージした香料を格納する収容部を有し、映像動画とキャラクターとが指定されると、指定された映像動画の指定されたキャラクターをイメージした香料を格納する収容部から適量の香料を取り出し霧状にして放出させることで、指定された映像動画の指定されたキャラクターをイメージした香りを提供してもよい。また、香源が固形状の香源である場合には、香り発生装置は、例えば、固形状の香源に高圧の空気を送ることで香りを発生させて提供する。例えば、香り発生装置は、利用者が視聴中の映像動画に登場するキャラクターごとにキャラクターをイメージした香料を多孔質体に染み込ませたものを収容する収容部を有し、キャラクターが指定されると、指定されたキャラクターをイメージした香料を多孔質体に染み込ませたものを収容する収容部に高圧の空気を送ることで、指定されたキャラクターをイメージした香りを発生させて提供する。また、例えば、香り発生装置は、キャラクターごとにキャラクターをイメージした香料を多孔質体に染み込ませたものを収容する収容部を有し、映像動画とキャラクターとが指定されると、指定された映像動画の指定されたキャラクターをイメージした香料を多孔質体に染み込ませたものを収容する収容部に高圧の空気を送ることで、指定されたキャラクターをイメージした香りを発生させて提供してもよい。また、香源が固形状の香源である場合には、香り発生装置は、例えば、アロマシューター(Aroma Shooter(登録商標))と呼ばれる装置や、香りを発生させる原理がアロマシューター(Aroma Shooter(登録商標))と同一又は類似の装置などであってもよい。
【0311】
また、香源が香料である場合には、香り発生装置は、利用者が視聴中の映像動画に登場するキャラクターが着用する衣装ごと(又はキャラクターごと)にキャラクターの衣装をイメージした香料を格納する収容部を有し、キャラクターが指定されると、指定されたキャラクターの衣装をイメージした香料を格納する収容部から適量の香料を取り出し霧状にして放出させることで、指定されたキャラクターをイメージした香りを提供してもよい。また、香源が香料である場合には、香り発生装置は、キャラクターが着用する衣装ごと(又はキャラクターごと)にキャラクターの衣装をイメージした香料を格納する収容部を有し、映像動画とキャラクターとが指定されると、指定された映像動画の指定されたキャラクターの衣装をイメージした香料を格納する収容部から適量の香料を取り出し霧状にして放出させることで、指定された映像動画の指定されたキャラクターをイメージした香りを提供してもよい。また、香源が固形状の香源である場合には、香り発生装置は、利用者が視聴中の映像動画に登場するキャラクターの衣装ごと(又はキャラクターごと)にキャラクターの衣装をイメージした香料を多孔質体に染み込ませたものを収容する収容部を有し、キャラクターが指定されると、指定されたキャラクターの衣装をイメージした香料を多孔質体に染み込ませたものを収容する収容部に高圧の空気を送ることで、指定されたキャラクターをイメージした香りを発生させて提供してもよい。また、香源が固形状の香源である場合には、香り発生装置は、キャラクターの衣装ごと(又はキャラクターごと)にキャラクターの衣装をイメージした香料を多孔質体に染み込ませたものを収容する収容部を有し、映像動画とキャラクターとが指定されると、指定された映像動画の指定されたキャラクターの衣装をイメージした香料を多孔質体に染み込ませたものを収容する収容部に高圧の空気を送ることで、指定されたキャラクターをイメージした香りを発生させて提供してもよい。
【0312】
また、香源が香料である場合には、香り発生装置は、年齢や性格や体型や髪色や衣装などのキャラクターの特徴をイメージした香料を格納する収容部を有し、キャラクターが指定されると、指定されたキャラクターの特徴に基づいて、指定されたキャラクターの特徴ごとに特徴に合った香料を格納する収容部から適量の香料を取り出し、瞬時に調合することで生成された香料を液体粒子として装置内部に噴射し、噴射後に揮発した香料を装置外部へ放出させることで、指定されたキャラクターの特徴に合った香り(すなわち、指定されたキャラクターに合った香り(指定されたキャラクターをイメージした香り))を提供してもよい。例えば、香り発生装置は、指定されたキャラクターが、ピンク色の髪色の優しい性格のキャラクターである場合には、髪色がピンク色であることの特徴に合った香料として、ピンク色の髪色をイメージした香料として予め用意された香料(例えば、桜の花の甘い香りの香料)を格納する収容部から適量の香料を取り出し、優しい性格であることの特徴に合った香料として、優しい性格をイメージした香料として予め用意された香料(例えば、ラベンダーのフローラルな香りの香料)を格納する収容部から適量の香料を取り出し、取り出した2種類の香料を調合することで、指定されたキャラクターに合った香りの香料を生成してもよい。また、例えば、香り発生装置は、指定されたキャラクターが、ミント色のメイド服を着用するキャラクターである場合には、衣装がミント色であることの特徴に合った香料として、ミント色の衣装をイメージした香料として予め用意された香料(例えば、ハーブのフレッシュな香りの香料)を格納する収容部から適量の香料を取り出し、衣装がメイド服であることの特徴に合った香料として、メイド服をイメージした香料として予め用意された香料(例えば、チョコレートの甘い香りの香料)を格納する収容部から適量の香料を取り出し、取り出した2種類の香料を調合することで、指定されたキャラクターに合った香りの香料を生成してもよい。
【0313】
また、香源が香料である場合には、香り発生装置は、例えば、明るい性格のキャラクターである場合に調合される香料(具体的には、キャラクターに設定された性格の一つに明るい性格が含まれる場合に調合される香料)と、優しい性格のキャラクターである場合に調合される香料と、世話好きな性格のキャラクターである場合に調合される香料とが予め用意されており、指定されたキャラクターが、優しく世話好きな性格のキャラクターである場合には、明るい性格をイメージした香料として予め用意された香料(すなわち、明るい性格のキャラクターである場合に調合される香料)と、優しい性格をイメージした香料として予め用意された香料(すなわち、優しい性格のキャラクターである場合に調合される香料)と、世話好きな性格をイメージした香料として予め用意された香料(すなわち、世話好きな性格のキャラクターである場合に調合される香料)とを0対1対1の比率で調合することで、指定されたキャラクターに合った香りの香料を生成してもよい。
【0314】
また、香源が香料である場合には、香り発生装置は、例えば、キャラクターが女子中学生である場合に調合される香料(具体的には、キャラクターに設定された特徴の一つに女子中学生が含まれる場合に調合される香料)と、キャラクターが女子高校生である場合に調合される香料と、キャラクターの衣装(例えば、キャラクターの通う学校の制服や奉仕先の制服など)が衣装A1である場合に調合される香料(具体的には、キャラクターに設定された特徴の一つに衣装A1を着用することが含まれる場合に調合される香料)と、キャラクターの衣装が衣装A2である場合に調合される香料とが予め用意されており、指定されたキャラクターが、衣装A1を着用する女子高校生である場合には、女子中学生をイメージした香料として予め用意された香料(すなわち、キャラクターが女子中学生である場合に調合される香料)と、女子高校生をイメージした香料として予め用意された香料(すなわち、キャラクターが女子高校生である場合に調合される香料)と、衣装A1をイメージした香料として予め用意された香料(すなわち、キャラクターが衣装A1を着用する場合に調合される香料)と、衣装A2をイメージした香料として予め用意された香料(すなわち、キャラクターが衣装A2を着用する場合に調合される香料)とを0対1対1対0の比率で調合することで、指定されたキャラクターに合った香りの香料を生成してもよい。なお、香り発生装置は、例えば、指定されたキャラクターにとって(例えば、そのキャラクターを特徴付けるうえで)、衣装A1を着用することの特徴が、女子高校生であることの特徴よりも重要な場合には、女子高校生をイメージした香料として予め用意された香料と、衣装A1をイメージした香料として予め用意された香料とを調合する比率を変更してもよい。例えば、香り発生装置は、女子中学生をイメージした香料として予め用意された香料と、女子高校生をイメージした香料として予め用意された香料と、衣装A1をイメージした香料として予め用意された香料と、衣装A2をイメージした香料として予め用意された香料とを0対1対2対0の比率で調合することで、指定されたキャラクターに合った香りの香料を生成してもよい。
【0315】
また、香源が香料である場合には、香り発生装置は、例えば、キャラクターの衣装の特徴(例えば、コーディネートの特徴)として、キャラクターの衣装に冬服(例えば、冬服のセーラー服やスカートなど)が含まれる場合に調合される香料(具体的には、キャラクターの衣装に設定された特徴の一つに冬服が含まれる場合に調合される香料)と、キャラクターの衣装に夏服(例えば、夏服のセーラー服やスカートなど)が含まれる場合に調合される香料と、キャラクターの衣装にカーディガンが含まれる場合に調合される香料と、キャラクターの衣装にパニエが含まれる場合に調合される香料とが予め用意されており、指定されたキャラクターの衣装が、冬服にカーディガンとパニエとを合わせた衣装である場合には、冬服をイメージした香料として予め用意された香料(すなわち、冬服を衣装に含む場合に調合される香料)と、カーディガンをイメージした香料として予め用意された香料(すなわち、カーディガンを衣装に含む場合に調合される香料)と、パニエをイメージした香料として予め用意された香料(すなわち、パニエを衣装に含む場合に調合される香料)とを1対0対1対1の比率で調合することで、指定されたキャラクターに合った香りの香料を生成してもよい。なお、香り発生装置は、例えば、指定されたキャラクターの衣装にとって(例えば、そのキャラクターの衣装を特徴付けるうえで)、冬服を衣装に含むことの特徴が、カーディガンを衣装に含むことの特徴や、パニエを衣装に含むことの特徴よりも重要な場合には、冬服をイメージした香料として予め用意された香料と、カーディガンをイメージした香料として予め用意された香料と、パニエをイメージした香料として予め用意された香料とを調合する比率を変更してもよい。例えば、香り発生装置は、冬服をイメージした香料として予め用意された香料と、夏服をイメージした香料として予め用意された香料と、カーディガンをイメージした香料として予め用意された香料と、パニエをイメージした香料として予め用意された香料とを2対0対1対1の比率で調合することで、指定されたキャラクターに合った香りの香料を生成してもよい。
【0316】
図24に示す情報処理システム1D(表示装置20が嗅覚ディスプレイである場合)について説明する。
図24に示すように、情報処理システム1Dは、端末装置10と、表示装置20Aと、記憶支援装置100Cと、映像動画配信サーバ200とが含まれる。端末装置10と、表示装置20Aと、記憶支援装置100Cと、映像動画配信サーバ200とは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。
図24は、実施形態4に係る情報処理システム1Dの構成例を示す図である。
【0317】
表示装置20Aは、表示装置20に香りを発生させる香り発生装置が追加された情報処理装置である。表示装置20Aは、香り発生装置が表示装置20に内蔵された情報処理装置であってもよいし、香り発生装置が外付けによって表示装置20に装備された情報処理装置であってもよい。なお、香り発生装置は、端末装置10Aの香り発生装置と同様のため説明を省略する。
【0318】
なお、
図23では、端末装置10Aと記憶支援装置100Cが別装置である場合を示したが、端末装置10Aと記憶支援装置100Cは一体であってもよい。
【0319】
なお、
図24では、端末装置10と記憶支援装置100Cが別装置である場合を示したが、端末装置10と記憶支援装置100Cは一体であってもよい。また、表示装置20Aと映像動画配信サーバ200が別装置である場合を示したが、表示装置20Aと映像動画配信サーバ200は一体であってもよい。また、記憶支援装置100Cと映像動画配信サーバ200が別装置である場合を示したが、記憶支援装置100Cと映像動画配信サーバ200は一体であってもよい。
【0320】
<4.3.記憶支援装置の構成>
次に、
図25を用いて、実施形態4に係る記憶支援装置100Cの構成について説明する。
図25は、実施形態4に係る記憶支援装置100Cの構成例を示す図である。
図25に示すように、記憶支援装置100Cは、通信部110と、記憶部120Aと、制御部130Cとを有する。なお、記憶支援装置100Cは、記憶支援装置100Cの管理者から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。なお、通信部110及び記憶部120Aは、上記実施形態(実施形態1、実施形態2又は実施形態3)と同様のため説明を省略する。
【0321】
(制御部130C)
制御部130Cは、コントローラであり、例えば、CPUやMPU等によって、記憶支援装置100C内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Cは、例えば、ASICやFPGA等の集積回路により実現される。
【0322】
図25に示すように、制御部130Cは、取得部131と、抽出部132と、生成部133と、更新部134と、表示部135と、提案部136と、芳香制御部139とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130Cの内部構成は、
図25に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、取得部131、抽出部132、生成部133、更新部134、表示部135及び提案部136は、上記実施形態と同様のため説明を省略する。
【0323】
(芳香制御部139)
芳香制御部139は、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語のうち、第1領域へ追加される対象となる候補の単語を選択した場合には、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う。例えば、芳香制御部139は、視聴中の映像動画の字幕に含まれる単語のうち、第1領域へ追加される対象となる候補の単語として、利用者が予め指定した市販の辞書の学習用単語や、字幕の表示時に表示の態様が変更された単語や、表示を制御する制御情報に基づき表示された字幕に含まれる単語などを選択した場合には、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う。なお、芳香制御部139は、視聴中の映像動画の字幕に含まれる全ての単語が第1領域へ追加される対象となる候補の単語となる場合には、視聴中の映像動画の字幕に含まれる単語を選択した場合に、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う。このように、芳香制御部139は、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語を選択した場合、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であるか否かを判定し、第1領域へ追加される対象となる候補の単語であると判定した場合に、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う。この場合、抽出部132は、利用者が選択したその単語と、利用者が選択したその単語の字幕(すなわち、利用者の単語の選択時に表示された字幕)とを抽出する。なお、芳香制御部139は、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語でないと判定した場合には、香りを放出させるための処理を行わずに、情報処理を終了してもよい。この場合、抽出部132は、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行わなくてもよい。なお、第1領域は、映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに設定されてもよい。すなわち、第1領域へ追加される対象となる候補の単語を決定するための所定の条件は映像動画ごとに異なってもよい。例えば、抽出部132は、利用者が視聴中の映像動画が恋愛とコメディとを特徴とする映像動画である場合(映像動画のジャンルに恋愛とコメディとを含む場合など)には、利用者が予め指定した市販の辞書のうち恋愛に関連がある単語を多く含む辞書の学習用単語とコメディに関連がある単語を多く含む辞書の学習用単語とを、若しくは、恋愛とコメディとに関連がある単語を多く含む辞書の学習用単語を、第1領域へ追加される対象となる候補の単語に決定してもよい。また、例えば、抽出部132は、利用者の嗜好に沿った特徴の映像動画であるほど、その映像動画に登場するキャラクターが利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように映像動画に登場するキャラクターそれぞれに対して確度を算出する情報処理に基づいて、利用者が視聴中の映像動画に登場するキャラクターそれぞれに対して確度を算出することで、利用者が視聴中の映像動画に登場するキャラクターのうち利用者の嗜好に沿った特徴のキャラクターであると推定されたキャラクターの発話に対応した字幕に含まれる単語を、第1領域へ追加される対象となる候補の単語に決定してもよい。また、抽出部132は、利用者が選択した単語が、映像動画ごとに設定された所定の条件に基づいて決定された第1領域へ追加される対象となる候補の単語である場合に、抽出処理を行ってもよい。また、芳香制御部139は、利用者が選択した単語が、映像動画ごとに設定された所定の条件に基づいて決定された第1領域へ追加される対象となる候補の単語である場合に、香りを放出させるための処理を行ってもよい。
【0324】
芳香制御部139は、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための制御情報を送信する。例えば、芳香制御部139は、利用者が映像動画を端末装置10Aで視聴する場合には、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための制御情報を端末装置10Aへ送信し、利用者が映像動画を表示装置20Aで視聴する場合には、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための制御情報を表示装置20Aへ送信する。ここで、芳香制御部139から送信される制御情報には、利用者が選択した単語の字幕の発話者であるキャラクターを示す情報が含まれる。端末装置10A又は表示装置20Aは、芳香制御部139から送信された制御情報を受信すると、利用者が選択した単語の字幕の発話者であるキャラクターを特定し、特定したキャラクターをイメージした香りを提供する。例えば、端末装置10A又は表示装置20Aは、特定したキャラクターをイメージした香りの香源を有する場合には、特定したキャラクターをイメージした香りとして、その香源の香りを提供する。また、例えば、端末装置10A又は表示装置20Aは、特定したキャラクターの衣装をイメージした香りの香源を有する場合には、特定したキャラクターをイメージした香りとして、その香源(その衣装をイメージした香りの香源)の香りを提供する。また、例えば、端末装置10A又は表示装置20Aは、特定したキャラクターをイメージした香りの香源を有しない場合には、特定したキャラクターの特徴に基づき瞬時に調合することで生成した香料の香りを、特定したキャラクターをイメージした香りとして提供する。なお、勿論、端末装置10A又は表示装置20Aは、特定したキャラクターをイメージした香りの香源を有しない場合には、香りを提供する処理を行わなくてもよい(すなわち、情報処理を終了してもよい)。
【0325】
芳香制御部139は、例えば、利用者がある映像動画を視聴中の「This is a town of cobblestone streets」の字幕が表示中に、利用者が「cobblestone」の単語を選択した場合には、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う。例えば、芳香制御部139は、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターを示す情報や、そのキャラクターをイメージした香りを利用者へ提供するよう要求する情報などを含む制御情報を送信する。また、芳香制御部139は、例えば、利用者がある映像動画を視聴中の「This is a town of cobblestone streets」の字幕が表示中に、利用者が「cobblestone」の単語を選択した場合には、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターをイメージした香りを、「This is a town of cobblestone streets」の字幕の次の字幕が表示されるまでに放出させるための処理を行ってもよい。例えば、芳香制御部139は、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターを示す情報や、そのキャラクターをイメージした香りを利用者へ提供するよう要求する情報などに加えて、利用者の「cobblestone」の単語の選択時から、「This is a town of cobblestone streets」の字幕の次の字幕が表示されるまでの時間を算出し、その時間が経過するまでに香りを提供するよう要求する情報を含む制御情報を送信してもよい。この場合、端末装置10A又は表示装置20Aは、「This is a town of cobblestone streets」の字幕が次の字幕に切り替わるまでの任意のタイミングで、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターをイメージした香りを提供してもよい。
【0326】
芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語を選択した場合には、その選択された単語(第1単語に対応)の字幕よりも前に表示された字幕に、第1領域へ追加される単語として選択された単語があるか否かを判定し(換言すると、その選択された単語の字幕よりも前に表示された字幕から、第1領域へ追加される対象となる候補の単語が選択されたことがあるか否かを判定し)、第1領域へ追加される単語として選択された単語があると判定した場合には、その選択された単語よりも前に選択された単語のうち直近に選択された単語(第2単語に対応)の字幕と、その選択された単語(第1単語)の字幕との字幕間距離を算出し、その字幕間距離が所定距離以上である場合に、利用者が選択した単語(第1単語)の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。例えば、芳香制御部139は、利用者が視聴中の映像動画の字幕に、「字幕#1」、「字幕#2」、「字幕#3」、「字幕#4」、「字幕#5」の順に表示される字幕があり、「字幕#5」の字幕の表示中に「字幕#5」の字幕から利用者が単語の選択を行った場合には、「字幕#5」の字幕よりも前に表示された字幕(例えば、「字幕#1」、「字幕#2」、「字幕#3」、「字幕#4」など)に、利用者が単語の選択を行った字幕があるか否かを判定し、「字幕#1」の字幕と「字幕#3」の字幕とから利用者が単語の選択を行っていた場合(すなわち、「字幕#2」の字幕と「字幕#4」の字幕からは利用者が単語の選択を行わなかった場合)には、「字幕#5」の字幕の直近に利用者が単語の選択を行った「字幕#3」の字幕と、「字幕#5」の字幕との字幕間距離を算出する。この場合、芳香制御部139は、「字幕#3」の字幕と「字幕#5」の字幕とが、「字幕#4」の字幕を挟んで2字幕離れているため、字幕間距離を2字幕と算出する。なお、芳香制御部139は、字幕間距離として、「字幕#3」の字幕が表示されてから「字幕#5」の字幕が表示されるまでに掛かる時間を算出してもよい。例えば、芳香制御部139は、「字幕#3」の字幕が映像動画の開始から1分10秒後に5秒間表示されるように予め定められた字幕であり、「字幕#5」の字幕が映像動画の開始から1分30秒後に5秒間表示されるように予め定められた字幕である場合には、「字幕#3」の字幕が表示され始める時間から「字幕#5」の字幕が表示され始める時間までに20秒あるため、字幕間距離を20秒と算出してもよい。また、例えば、芳香制御部139は、「字幕#3」の字幕からも利用者が単語の選択を行わなかった場合には、「字幕#5」の字幕の直近に利用者が単語の選択を行った字幕が「字幕#1」となるため、「字幕#1」の字幕と「字幕#5」の字幕との字幕間距離を算出する。この場合、芳香制御部139は、「字幕#1」の字幕と「字幕#5」の字幕とが、「字幕#2」、「字幕#3」及び「字幕#4」の字幕を挟んで4字幕離れているため、字幕間距離を4字幕と算出する。なお、芳香制御部139は、字幕間距離として、「字幕#1」の字幕が表示されてから「字幕#5」の字幕が表示されるまでに掛かる時間を算出してもよい。例えば、芳香制御部139は、「字幕#1」の字幕が映像動画の開始から1分後に5秒間表示されるように予め定められた字幕であり、「字幕#5」の字幕が映像動画の開始から1分30秒後に5秒間表示されるように予め定められた字幕である場合には、「字幕#1」の字幕が表示され始める時間から「字幕#5」の字幕が表示され始める時間までに30秒あるため、字幕間距離を30秒と算出してもよい。そして、芳香制御部139は、算出した字幕間距離が予め定められた所定距離以上であるか否かを判定し、所定距離以上と判定した場合に、「字幕#5」の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。また、芳香制御部139は、算出した字幕間距離が予め定められた所定距離以上であるか否かを判定し、所定距離以上でないと判定した場合には、香りを放出させるための処理を行わずに(すなわち、香りを放出させるための制御情報を送信せずに)、情報処理を終了してもよい。また、芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語を選択した場合には、その選択された単語の字幕よりも前に表示された字幕に、第1領域へ追加される単語として選択された単語があるか否かを判定し、第1領域へ追加される単語として選択された単語がないと判定した場合には、利用者が単語の選択を行った字幕との字幕間距離を算出する処理を行わずに、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。なお、字幕間距離が予め定められた所定距離以上であるか否かを判定するための所定距離は、映像動画を視聴中の利用者によって設定されたものであってもよいし、表示装置20Aの管理者や、記憶支援装置100Cの管理者や、映像動画配信サーバ200の管理者などによって設定されたものであってもよい。
【0327】
芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語を選択した場合には、その選択された単語の字幕よりも前に表示された字幕に、第1領域へ追加される単語として選択された単語があるか否かを判定し、第1領域へ追加される単語として選択された単語があると判定した場合には、その選択された単語よりも前に選択された単語のうち直近に選択された単語の字幕の発話者であるキャラクターと、その選択された単語(第1単語)の字幕の発話者であるキャラクターとを比較して、同一のキャラクターでない場合に、利用者が選択した単語(第1単語)の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。例えば、芳香制御部139は、利用者が視聴中の映像動画の字幕に、「字幕#1」、「字幕#2」、「字幕#3」、「字幕#4」、「字幕#5」の順に表示される字幕があり、「字幕#1」の字幕の発話者であるキャラクターが「キャラクター1」であり、「字幕#2」の字幕の発話者であるキャラクターが「キャラクター1」であり、「字幕#3」の字幕の発話者であるキャラクターが「キャラクター2」であり、「字幕#4」の字幕の発話者であるキャラクターが「キャラクター3」であり、「字幕#5」の字幕の発話者であるキャラクターが「キャラクター2」である場合において、「字幕#5」の字幕の表示中に「字幕#5」の字幕から利用者が単語の選択を行った場合には、「字幕#5」の字幕よりも前に表示された字幕に、利用者が単語の選択を行った字幕があるか否かを判定し、「字幕#1」の字幕と「字幕#3」の字幕とから利用者が単語の選択を行っていた場合(すなわち、「字幕#2」の字幕と「字幕#4」の字幕からは利用者が単語の選択を行わなかった場合)には、「字幕#5」の字幕の直近に利用者が単語の選択を行った「字幕#3」の字幕の発話者であるキャラクターと、「字幕#5」の字幕の発話者であるキャラクターとが同一のキャラクターであるか否かを判定する。この場合、芳香制御部139は、「字幕#3」の字幕の発話者であるキャラクターが「キャラクター2」であり、「字幕#5」の字幕の発話者であるキャラクターも「キャラクター2」であるため、同一のキャラクターであると判定する。この場合、芳香制御部139は、香りを放出させるための処理を行わずに(すなわち、香りを放出させるための制御情報を送信せずに)、情報処理を終了してもよい。また、例えば、芳香制御部139は、「字幕#3」の字幕からも利用者が単語の選択を行わなかった場合には、「字幕#5」の字幕の直近に利用者が単語の選択を行った字幕が「字幕#1」となるため、「字幕#1」の字幕の発話者であるキャラクターと「字幕#5」の字幕の発話者であるキャラクターとが同一のキャラクターであるか否かを判定する。この場合、芳香制御部139は、「字幕#1」の字幕の発話者であるキャラクターが「キャラクター1」であり、「字幕#5」の字幕の発話者であるキャラクターが「キャラクター2」であるため、同一のキャラクターでないと判定する。この場合、芳香制御部139は、「字幕#5」の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。また、芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語を選択した場合には、その選択された単語の字幕よりも前に表示された字幕に、第1領域へ追加される単語として選択された単語があるか否かを判定し、第1領域へ追加される単語として選択された単語がないと判定した場合には、利用者が単語の選択を行った字幕との発話者であるキャラクターを比較する処理を行わずに、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。
【0328】
芳香制御部139は、端末装置10A又は表示装置20Aの画面に映像動画が再生中に、映像動画の複数の視聴者のうち一人の視聴者である利用者が単語の選択を行った場合には、その利用者の方向へ(例えば、利用者の顔に向けて)、その利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。ここで、端末装置10Aの画面に映像動画が再生される場合には、端末装置10Aは、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための制御情報を記憶支援装置100Cから受信すると、その単語の選択を行った視聴者を特定する。例えば、端末装置10Aは、端末装置10Aの画面を視聴可能な範囲に位置する視聴者を検知可能なカメラを有し、単語の選択を行った視聴者を特定する。また、端末装置10Aは、香り発生装置によって発生された香りを提供するための提供口を複数有する場合には、特定した視聴者に最も近く位置する提供口から香りを提供してもよい。例えば、端末装置10Aは、香りを提供するための提供口が、端末装置10Aの画面の左側と右側とで2つあり、特定した視聴者が映像動画を左側の方向(映像動画の表示画面に対して垂直方向の位置から左側にずれた位置)から視聴している場合には、端末装置10Aの画面の左側に位置する提供口から香りを提供してもよい。また、端末装置10Aは、特定した視聴者が座って視聴しているか立って視聴しているかによって、その視聴者の顔の位置が異なるため、その視聴者の顔を検知して、その視聴者の顔に向けて香りを提供してもよい。また、表示装置20Aの画面に映像動画が再生される場合には、表示装置20Aは、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための制御情報を記憶支援装置100Cから受信すると、その単語の選択を行った視聴者を特定する。例えば、表示装置20Aは、表示装置20Aの画面を視聴可能な範囲に位置する視聴者を検知可能なカメラを有し、単語の選択を行った視聴者を特定する。また、表示装置20Aは、香り発生装置によって発生された香りを提供するための提供口を複数有する場合には、特定した視聴者に最も近く位置する提供口から香りを提供してもよい。また、表示装置20Aは、特定した視聴者が座って視聴しているか立って視聴しているかによって、その視聴者の顔の位置が異なるため、その視聴者の顔を検知して、その視聴者の顔に向けて香りを提供してもよい。
【0329】
芳香制御部139は、利用者が映像動画を視聴中に単語の選択を行った場合には、映像動画が表示中の画面上で、利用者が選択した単語の字幕の発話者であるキャラクターの表示領域から、そのキャラクターをイメージした香りが香るように、そのキャラクターをイメージした香りを放出させるための処理を行ってもよい。例えば、芳香制御部139は、利用者がある映像動画を視聴中の「This is a town of cobblestone streets」の字幕が表示中に、利用者が「cobblestone」の単語を選択した場合には、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターが画面上で表示されている表示領域から、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターをイメージした香りが香るように、「This is a town of cobblestone streets」の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。例えば、芳香制御部139は、上記特許文献3に開示された技術などを用いて、利用者が選択した単語の字幕の発話者であるキャラクターの表示領域から香りが出ているかのように香りの分布を作り出すことで、そのキャラクターをイメージした香りを放出させるための処理を行ってもよい。また、例えば、芳香制御部139は、上記特許文献5に開示された技術などを用いて、映像動画が表示中の画面に設けられた孔(トンネル状の突き抜けた穴)などの空間を通して直接香りを提供することで、利用者が選択した単語の字幕の発話者であるキャラクターの表示領域から、そのキャラクターをイメージした香りが香るように、そのキャラクターをイメージした香りを放出させるための処理を行ってもよい。
【0330】
芳香制御部139は、抽出部132による抽出の情報処理よりも後に香りを放出させるための情報処理(すなわち、香りを放出させるための制御情報の送信の情報処理)を実行してもよいし、抽出部132による抽出の情報処理と並行して(又は同時に)香りを放出させるための情報処理を実行してもよい。このため、芳香制御部139は、抽出部132により抽出された単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。換言すると、抽出部132は、芳香制御部139により送信される制御情報に基づき放出される香りをイメージとしたキャラクターの発話に対応した字幕と、その字幕から選択された単語とを抽出してもよい。
【0331】
芳香制御部139は、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語を選択した場合、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であるか否かを判定し、第1領域へ追加される対象となる候補の単語であると判定した場合に、利用者が選択したその単語の字幕が、利用者(又は他の利用者)の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを更に判定し、利用者(又は他の利用者)の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定した場合に、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。なお、芳香制御部139は、利用者が選択したその単語の字幕が、利用者(又は他の利用者)の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定した場合には、香りを放出させるための処理を行わなくてもよい。この場合、抽出部132は、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行わなくてもよいし、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行ってもよい。
【0332】
芳香制御部139は、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語を選択した場合、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であるか否かを判定し、第1領域へ追加される対象となる候補の単語であると判定した場合に、利用者が視聴中のその映像動画が、利用者(又は他の利用者)の嗜好に沿った特徴の映像動画であるか否かを更に判定し、利用者(又は他の利用者)の嗜好に沿った特徴の映像動画であると判定した場合に、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。なお、芳香制御部139は、利用者が視聴中のその映像動画が、利用者(又は他の利用者)の嗜好に沿った特徴の映像動画でないと判定した場合には、香りを放出させるための処理を行わなくてもよい。この場合、抽出部132は、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行わなくてもよいし、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行ってもよい。
【0333】
芳香制御部139は、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語を選択した場合、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であるか否かを判定し、第1領域へ追加される対象となる候補の単語であると判定した場合に、利用者が端末装置10Aで映像動画を視聴する場合、端末装置10Aが、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを提供可能な香源(例えば、そのキャラクターをイメージした香りの香源や、そのキャラクターの衣装をイメージした香りの香源や、そのキャラクターをイメージした香りを提供するための調合元となる香源など)を有するか否かを判定し、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを提供可能な香源を有すると判定した場合に、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。なお、芳香制御部139は、端末装置10Aが、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを提供可能な香源を有しないと判定した場合には、香りを放出させるための処理を行わなくてもよい。この場合、抽出部132は、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行わなくてもよいし、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行ってもよい。
【0334】
芳香制御部139は、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語を選択した場合、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であるか否かを判定し、第1領域へ追加される対象となる候補の単語であると判定した場合に、利用者が表示装置20Aで映像動画を視聴する場合、表示装置20Aが、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを提供可能な香源を有するか否かを判定し、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを提供可能な香源を有すると判定した場合に、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。なお、芳香制御部139は、表示装置20Aが、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを提供可能な香源を有しないと判定した場合には、香りを放出させるための処理を行わなくてもよい。この場合、抽出部132は、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行わなくてもよいし、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する処理を行ってもよい。
【0335】
<4.4.情報処理のフロー>
次に、
図26及び
図27を用いて、実施形態4に係る情報処理システム1C(又は情報処理システム1D)による情報処理の手順について説明する。
図26及び
図27は、実施形態4に係る情報処理システム1C(又は情報処理システム1D)による情報処理の手順を示すフローチャートである。実施形態4に係る情報処理システム1C(又は情報処理システム1D)による情報処理の手順において、
図26のように、抽出の情報処理よりも先に香りを放出させるための情報処理が実行されてもよいし、
図27のように、香りを放出させるための情報処理よりも先に抽出の情報処理が実行されてもよい。
【0336】
図26に示すように、記憶支援装置100Cは、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語を選択した場合、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であるか否かを判定する(ステップS701)。
【0337】
記憶支援装置100Cは、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であると判定した場合(ステップS701;YES)、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う(ステップS702)。一方、記憶支援装置100Cは、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語でないと判定した場合(ステップS701;NO)、香りを放出させるための処理を行わずに、情報処理を終了する。
【0338】
記憶支援装置100Cは、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する(ステップS703)。
【0339】
記憶支援装置100Cは、抽出された単語を、利用者が視聴中の映像動画に表示される字幕の中で、抽出された字幕が表示される表示順が早いほど上位になるように、利用者が視聴中の映像動画に対応して生成された辞書の第1領域に追加し、抽出された字幕を、利用者が視聴中の映像動画に対応して生成された辞書の第2領域に追加することで辞書を更新する(ステップS704)。
【0340】
図27に示すように、記憶支援装置100Cは、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語を選択した場合、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であるか否かを判定する(ステップS801)。
【0341】
記憶支援装置100Cは、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語であると判定した場合(ステップS801;YES)、利用者が選択したその単語と、利用者が選択したその単語の字幕とを抽出する(ステップS802)。一方、記憶支援装置100Cは、利用者が選択したその単語が、第1領域へ追加される対象となる候補の単語でないと判定した場合(ステップS801;NO)、情報処理を終了する。
【0342】
記憶支援装置100Cは、抽出された単語を、利用者が視聴中の映像動画に表示される字幕の中で、抽出された字幕が表示される表示順が早いほど上位になるように、利用者が視聴中の映像動画に対応して生成された辞書の第1領域に追加し、抽出された字幕を、利用者が視聴中の映像動画に対応して生成された辞書の第2領域に追加することで辞書を更新する(ステップS803)。
【0343】
記憶支援装置100Cは、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う(ステップS804)。
【0344】
<4.5.変形例>
上述した実施形態4に係る情報処理システム1C(又は情報処理システム1D)は、上記実施形態4以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1C(又は情報処理システム1D)の他の実施形態について説明する。
【0345】
(変形例13:学習用単語の表示に基づき香りを放出させるための処理を行う)
実施形態4では、芳香制御部139が、利用者が映像動画を視聴中に、視聴中の映像動画の字幕に含まれる単語のうち、第1領域へ追加される対象となる候補の単語を選択した場合に、利用者が選択したその単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う場合を示した。ここで、芳香制御部139は、利用者が映像動画を視聴中に、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が表示された場合(すなわち、学習用単語が登場する字幕の表示時)に、その字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。具体的には、芳香制御部139は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定し、利用者が予め指定した市販の辞書の学習用単語が登場すると判定した場合には、学習用単語が登場する字幕の表示時に、その字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。この際、芳香制御部139は、学習用単語が登場する字幕が表示されるまで待機して、学習用単語が登場する字幕の表示時に制御情報(香りを放出させるための制御情報)を送信してもよいし、学習用単語が登場する字幕が表示されるまで待機することなく、学習用単語が登場する字幕の表示前に制御情報(香りを放出させるための制御情報)を送信してもよい。なお、端末装置10A又は表示装置20Aは、学習用単語が登場する字幕の表示前に制御情報を受信した場合でも、学習用単語が登場するその字幕が表示されるまで待機して香りを提供する。また、芳香制御部139は、学習用単語が登場する字幕の次の字幕が表示されるまでの時間を算出し、その時間が経過するまでに香りを提供するよう要求する情報を含む制御情報を送信してもよい。この場合、端末装置10A又は表示装置20Aは、学習用単語が登場する字幕が次の字幕に切り替わるまでの任意のタイミングで、学習用単語が登場するその字幕の発話者であるキャラクターをイメージした香りを提供してもよい。
【0346】
芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語である学習用単語が登場する字幕が表示された場合には、その表示された字幕(第1所定字幕に対応)よりも前に表示された字幕に、第1領域へ追加される学習用単語が登場する字幕として表示された字幕があるか否かを判定し(換言すると、その表示された字幕よりも前に表示された字幕に、第1領域へ追加される対象となる候補の単語である学習用単語が登場する字幕が表示されたことがあるか否かを判定し)、第1領域へ追加される学習用単語が登場する字幕として表示された字幕があると判定した場合には、その表示された字幕よりも前に表示された字幕のうち直近に表示された字幕(第2所定字幕に対応)と、その表示された字幕(第1所定字幕)との字幕間距離を算出し、その字幕間距離が所定距離以上である場合に、その字幕(第1所定字幕)の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。
【0347】
芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語である学習用単語が登場する字幕が表示された場合には、その表示された字幕よりも前に表示された字幕に、第1領域へ追加される学習用単語が登場する字幕として表示された字幕があるか否かを判定し、第1領域へ追加される学習用単語が登場する字幕として表示された字幕があると判定した場合には、その表示された字幕よりも前に表示された字幕のうち直近に表示された字幕の発話者であるキャラクターと、その表示された字幕(第1所定字幕)の発話者であるキャラクターとを比較して、同一のキャラクターでない場合に、その字幕(第1所定字幕)の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。
【0348】
芳香制御部139は、端末装置10A又は表示装置20Aの画面に映像動画が再生中に、映像動画の複数の視聴者のうち一人の視聴者である利用者が予め指定した市販の辞書の学習用単語が登場する字幕が表示された場合には、その利用者の方向へ、その学習用単語が登場する字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。また、芳香制御部139は、表示されたその字幕に、その利用者とともに視聴する視聴者の一人である他の利用者が予め指定した市販の辞書の学習用単語も登場する場合には、その利用者の方向と、その他の利用者の方向との2つの方向へ、その字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。この際、その字幕に登場する他の利用者が予め指定した市販の辞書の学習用単語は、利用者が予め指定した市販の辞書の学習用単語と異なる学習用単語であってもよいし、同一の学習用単語であってもよい。なお、芳香制御部139は、そのような他の利用者が複数いる場合には、その複数の他の利用者がいる全ての方向へ、その字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。
【0349】
芳香制御部139は、他の学習用単語が登場する字幕が表示された場合に、学習用単語が登場する字幕が表示された場合と同様の処理を行ってもよい。すなわち、芳香制御部139は、利用者が映像動画を視聴中に、利用者が予め指定した市販の辞書に登場しない他の学習用単語が登場する字幕が表示された場合(すなわち、他の学習用単語が登場する字幕の表示時)に、その字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。具体的には、芳香制御部139は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書に登場しない他の学習用単語が登場するか否かを判定し、利用者が予め指定した市販の辞書に登場しない他の学習用単語が登場すると判定した場合には、他の学習用単語が登場する字幕の表示時に、その字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行ってもよい。
【0350】
(変形例14:発話者に関わらず同一の香りを放出させるための処理を行う)
実施形態4では、芳香制御部139が、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う場合を示した。ここで、芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語を選択した場合には、利用者が選択した単語の字幕の発話者であるキャラクターに関わらず、同一の香り(例えば、柑橘系の香りのような前頭葉に働きかけ記憶力の向上を促進させる効能を有する香りなど)を放出させるための処理を行ってもよい。例えば、芳香制御部139は、利用者が「〇×〇×YY1」の映像動画を視聴中に、利用者が選択した単語の字幕の発話者であるキャラクターが「キャラクター1」の場合でも「キャラクター2」の場合でも同一の香りを放出させるための処理を行ってもよい。また、例えば、芳香制御部139は、利用者が選択した単語の字幕の発話者であるキャラクターが「キャラクター1」(映像動画〇×〇×YY1に登場するキャラクター)の場合でも「キャラクター10」(映像動画〇×〇×YY2に登場するキャラクター)の場合でも同一の香りを放出させるための処理を行ってもよい。
【0351】
(変形例15:映像動画の場面をイメージした香りを放出させるための処理を行う)
実施形態4では、芳香制御部139が、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させるための処理を行う場合を示した。ここで、芳香制御部139は、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りとともに、利用者の単語の選択時の場面(例えば、庭園などの特定の風景や背景を含む場面、学校やカフェなどの特定の施設を含む場面、スイーツや香水などの香りを連想させ得る特定の対象を含む場面など)をイメージした香りを放出させるための処理を行ってもよい。例えば、芳香制御部139は、利用者が映像動画を視聴中に、第1領域へ追加される対象となる候補の単語を選択した場合には、利用者の単語の選択時の場面を特定し、その映像動画の場面ごとに予め定められた芳香情報を取得することで、利用者の単語の選択時の場面をイメージした香りを放出させるための処理を行ってもよい。例えば、芳香制御部139は、利用者の単語の選択時のタイミングが映像動画の開始から1分2秒後であり、映像動画の開始から5分間(0:00~5:00)がその映像動画の最初の場面(「場面1」の場面)としてその映像動画の制作者などにより予め設定された場面である場合には、利用者の単語の選択時のタイミングが「場面1」の場面に属するため、利用者の単語の選択時の場面として「場面1」の場面を特定し、「場面1」の場面に対して予め定められた芳香情報を取得することで、利用者の単語の選択時の場面をイメージした香りを放出させるための処理を行ってもよい。この際、例えば、芳香制御部139は、「場面1」の場面に対して特定の香り(例えば、ラベンダーなどの特定の香り)が予め定められている場合には、その特定の香りを示す情報を芳香情報として取得することで、利用者の単語の選択時の場面をイメージした香りを放出させるための処理を行ってもよい。また、芳香制御部139は、「場面1」の場面に対して特定の香りを連想させ得る香り(例えば、春の甘い香りなどの特定の香りを連想させ得る香り)が予め定められている場合には、その特定の香りを連想させ得る香りを示す情報を芳香情報として取得することで、利用者の単語の選択時の場面をイメージした香りを放出させるための処理を行ってもよい。また、芳香制御部139は、映像動画の制作者などが場面の香りの設定を変更した場合には、変更後の場面ごとに予め定められた香りを示す芳香情報に基づいて、利用者の単語の選択時の場面をイメージした香りを放出させるための処理を行ってもよい。また、芳香制御部139は、利用者が選択した単語の字幕の主体(字幕から推定される動作の主体)や客体(字幕から推定される動作の客体)などに応じて優先的に放出させる香りを選択してもよい。例えば、芳香制御部139は、利用者が選択した単語の字幕から推定される動作の目的となる対象が、その字幕の発話者であるキャラクターであるか否かを判定し、その字幕の発話者であるキャラクターであると判定した場合には、利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを優先的に放出させるための処理を行い、その字幕の発話者であるキャラクターでないと判定した場合には、利用者の単語の選択時の場面をイメージした香りを優先的に放出させるための処理を行ってもよい。
【0352】
<4.6.効果>
実施形態4及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【0353】
態様1は、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、前記所定映像動画の字幕に含まれる単語のうち、前記第1領域へ追加される対象となる候補の単語が選択された場合には、選択された単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順と、をコンピュータに実行させることを特徴とする。
【0354】
態様1によれば、例えば、利用者が映像動画を視聴中に、利用者にとって記憶したい単語が字幕に登場した場合には、その字幕の表示中に単語を選択することで、単語と字幕とを対応付けた辞書を生成することができる。このため、利用者が視聴した映像動画ごとに利用者のための辞書を生成することができる。また、字幕は映像に対応付けて表示されるため、利用者は辞書を復習することで、辞書に追加された字幕から字幕が表示された映像を想起することができる。
【0355】
また、態様1によれば、例えば、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画を視聴中に、映像に対応して利用者が学習中の異文化の言語を字幕として閲覧させることができるため、利用者は映像動画の映像や音声を五感で正確に理解しながら、字幕を閲覧することができる。このため、字幕として表示された翻訳文に含まれる単語の使い方を、異文化の言語であっても、映像動画から効果的に学習させることができる。例えば、単語の意味だけでなく、単語がどのような場面で発話者がどのように感じた時にどのような単語とともに使われるかといった単語の使い方を学習させることができる。また、単語の使い方を、映像動画から五感で正確に理解することで、単語から字幕が表示された映像の想起が可能となるだけでなく、映像から単語の想起も可能となる。このため、学習以外の日常生活において、映像を何気なく思い出すだけで、単語の想起が可能となる。また、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画は、利用者にとって理解し易いものであるため、映像だけでなく音声も何気なく思い出し易いため、単語を想起し易くさせることができる。
【0356】
また、態様1によれば、例えば、映像動画で表示される字幕の順序になるように辞書に含まれる単語の順序を並び替えることができるため、映像動画のストーリーの順序で単語を表示させることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができるため、その単語の意味や使い方も想起することができる。このように、映像動画のストーリーを一つの括りとして、映像動画の字幕に登場した単語の意味や使い方を想起し易くさせることができる。このため、単語それぞれの意味や使い方を個別に思い出せるか否かを確認する手間を省くことができるため、利用者の復習時の負担を軽減させることができる。
【0357】
また、態様1によれば、例えば、利用者が映像動画を視聴中に、映像動画とともに表示される字幕に含まれる単語が選択された場合には、その選択された単語の字幕の発話者のキャラクターをイメージした香りを放出させることができる。例えば、利用者が映像動画を視聴中に、利用者が辞書へ追加したい単語を映像動画中に表示される字幕から見つけた場合には、その単語を選択することで、その単語の字幕の発話者のキャラクターをイメージした香りを放出させることができる。また、利用者が映像動画を視聴中に、字幕の表示時に表示の態様が変更された単語など、利用者の記憶したい単語として推定された単語が選択された場合にも、その選択された単語(表示の態様が変更された単語など)の字幕の発話者のキャラクターをイメージした香りを放出させることができる。例えば、利用者が映像動画を視聴中に、表示の態様が変更された単語を映像動画中に表示される字幕から見つけた場合には、その単語を選択することで、その単語の字幕の発話者のキャラクターをイメージした香りを放出させることができる。
【0358】
また、態様1によれば、例えば、単語が選択された場合には、その選択された単語の字幕の発話者のキャラクターをイメージした香りを放出させることができるため、利用者の嗅覚を刺激することができる。また、映像動画の映像や音声による視覚、聴覚の刺激に加えて、画面上で単語を選択するといった触覚、及び、単語の選択により放出される香りによって嗅覚を刺激することができるため、インタラクティブに単語の学習を行わせることができる。また、嗅覚は味覚との関係性が深いため、嗅覚の刺激が味覚にも影響を与えるクロスモーダルな現象も期待され得る。このように、利用者が記憶したい単語を選択すると、視覚、聴覚に加えて、少なくとも嗅覚を刺激することができるため、利用者は五感で単語の意味や使い方を考え理解しながら映像動画を視聴することができる。また、単語の意味や使い方を映像動画の映像や音声(その単語の字幕の発話者のキャラクターの映像や音声)だけでなく、その単語の字幕の発話者のキャラクターをイメージした香りにも関連付けて記憶させることができるため、単語から発話者のキャラクターをイメージした香りの想起や、発話者のキャラクターをイメージした香りから単語の想起も期待され得る。このため、例えば、学習以外の日常生活において、発話者のキャラクターをイメージした香りを嗅ぐことで、発話者のキャラクターを何気なく思い出し、単語が想起されることも期待され得る。また、発話者のキャラクターが利用者の嗜好に沿ったキャラクターである場合には、そのキャラクターをイメージした香りは利用者にとって心地よいものであると考えられる。このため、発話者のキャラクターが利用者の嗜好に沿ったキャラクターであるほど、利用者はそのような発話者の字幕から選択した単語の意味や使い方を五感で深く理解しようとすることも期待され得る。そして、発話者のキャラクターが利用者の嗜好に沿ったキャラクターであるほど、単語の意味や使い方を、その単語の字幕の発話者のキャラクターをイメージした香りにも深く関連付けて記憶させることができるため、単語から発話者のキャラクターをイメージした香りや、発話者のキャラクターをイメージした香りから単語が想起され易くなることも期待され得る。また、利用者は映像動画を視聴中の単語の選択時に香りを知覚することができるため、利用者は辞書を確認することなく、単語の選択時に、利用者が選択した単語の辞書への追加を認識することができる。
【0359】
態様2は、態様1において、選択された単語の字幕が次の字幕に切り替わるまでの任意のタイミングで、前記香りを放出させることを特徴とする。
【0360】
態様2によれば、例えば、利用者は、選択した単語の字幕が次の字幕に切り替わるまでに、その選択した単語の字幕の発話者のキャラクターをイメージした香りを知覚することができる。例えば、利用者は、ある映像動画を視聴中の「This is a cobblestone」の字幕が表示中に「cobblestone」の単語を選択した場合には、「This is a cobblestone」の字幕の次の字幕である「This is a street」の字幕が表示されるまでに、「This is a cobblestone」の字幕の発話者のキャラクターをイメージした香りを知覚することができる。このため、利用者は、その単語の意味や使い方を、その単語の字幕の発話者のキャラクターの映像や音声とともに、次の字幕に切り替わるまでに知覚した香りにも関連付けて記憶することができる。また、利用者は、次の字幕に切り替わるまでに香りを知覚することができるため、次の字幕に切り替わるまでに、選択した単語の辞書への追加を認識することができる。
【0361】
態様3は、態様1において、選択された単語の字幕の発話者であるキャラクターをイメージした香りの香源として予め用意された香源の香りを前記香りとして放出させることを特徴とする。
【0362】
態様3によれば、例えば、利用者は、選択した単語の字幕の発話者のキャラクターをイメージした香りの香料として市販で販売されている香料の香りを嗅ぐことができる。このため、利用者は、選択した単語の字幕の発話者のキャラクターの特徴の一つとして広く認知された香りを嗅ぐことができる。具体的には、利用者は、選択した単語の字幕の発話者のキャラクターをデザインしたデザイナー(又はそのキャラクターが登場する映像動画の制作者など)が、そのキャラクターをイメージした香りとして認定した香りを嗅ぐことができる。それゆえ、利用者は、映像動画を視聴しながら、選択した単語の字幕の発話者のキャラクターに合った香り(そのキャラクターの映像や音声などに合った香り)を嗅ぐことができる。
【0363】
態様4は、態様1において、選択された単語の字幕の発話者であるキャラクターが着用する衣装をイメージした香りの香源として予め用意された香源の香りを前記香りとして放出させることを特徴とする。
【0364】
態様4によれば、例えば、利用者は、選択した単語の字幕の発話者のキャラクターの衣装(そのキャラクターの特徴の一つとして設定された衣装、例えば、そのキャラクターが映像動画中で主に着用している衣装)をイメージした香りの香料として市販で販売されている香料の香りを嗅ぐことができる。このため、利用者は、選択した単語の字幕の発話者のキャラクターの衣装の特徴の一つとして広く認知された香りを嗅ぐことができる。具体的には、利用者は、選択した単語の字幕の発話者のキャラクターの衣装をデザインしたデザイナー(又はそのキャラクターが登場する映像動画の制作者など)が、そのキャラクターの衣装をイメージした香りとして認定した香りを嗅ぐことができる。それゆえ、利用者は、映像動画を視聴しながら、選択した単語の字幕の発話者のキャラクターの衣装に合った香り(そのキャラクターの衣装の映像などに合った香り)を嗅ぐことができる。また、キャラクターの衣装は、そのキャラクターの特徴の一つでもあるため、利用者は、選択した単語の字幕の発話者のキャラクターの衣装に合った香り、すなわち、選択した単語の字幕の発話者のキャラクターに合った香りを嗅ぐことができる。
【0365】
態様5は、態様1において、選択された単語の字幕の発話者であるキャラクターの特徴に基づいて、予め用意された香料を所定の比率で当該単語の選択時に調合させることで生成された香料の香りを前記香りとして放出させることを特徴とする。
【0366】
態様5によれば、例えば、利用者は、選択した単語の字幕の発話者のキャラクターをイメージした香りの香料としてそのキャラクターの特徴に基づいて単語の選択時に瞬時に調合された香りを嗅ぐことができる。このため、利用者は、選択した単語の字幕の発話者のキャラクターをイメージした香りの香料が市販で販売されていない場合でも、選択した単語の字幕の発話者のキャラクターに合った香りを嗅ぐことができる。
【0367】
態様6は、態様1において、前記第1領域へ追加される単語として第1単語が選択された場合には、当該第1単語の字幕よりも前に表示された字幕に、前記第1領域へ追加される単語として選択された単語があるか否かを判定し、前記第1領域へ追加される単語として選択された単語があると判定した場合には、当該第1単語よりも前に選択された単語のうち当該第1単語の直近に選択された第2単語の字幕と当該第1単語の字幕との字幕間距離を算出し、字幕間距離が所定距離以上である場合に、当該第1単語の字幕の発話者であるキャラクターをイメージした香りを放出させることを特徴とする。
【0368】
態様6によれば、例えば、利用者が単語の選択を行った直近の字幕が表示されてから十分な時間が経った後に表示される字幕から単語の選択を行った場合に香りを放出させることができるため、利用者の嗅覚の感度が一時的に低下する嗅覚疲労のリスクを軽減させることができる。また、例えば、利用者が単語の選択を行った字幕の次の字幕からも単語の選択を行った場合など、単語の選択を行ってから直ぐに単語の選択を行った場合には、直近に単語の選択を行った時間から十分な時間が経過していないため、香りを放出させなくすることもできる。また、例えば、利用者が単語の選択を行った字幕の次の字幕からも単語の選択を行った場合などでも、直近に単語の選択を行ってから十分な時間が経過している場合には、香りを放出させることもできる。
【0369】
態様7は、態様1において、前記第1領域へ追加される単語として第1単語が選択された場合には、当該第1単語の字幕よりも前に表示された字幕に、前記第1領域へ追加される単語として選択された単語があるか否かを判定し、前記第1領域へ追加される単語として選択された単語があると判定した場合には、当該第1単語よりも前に選択された単語のうち当該第1単語の直近に選択された第2単語の字幕の発話者であるキャラクターと当該第1単語の字幕の発話者であるキャラクターとを比較して、同一のキャラクターでない場合に、当該第1単語の字幕の発話者であるキャラクターをイメージした香りを放出させることを特徴とする。
【0370】
態様7によれば、例えば、利用者が単語の選択を行った字幕の発話者のキャラクターが、直近に単語の選択を行った字幕の発話者のキャラクターと異なる場合に香りを放出させることができる。一般的に、一種類の匂いを嗅ぎ続けることで、嗅覚の感度が一時的に低下する嗅覚疲労が起こるが、匂いの種類が別であれば、嗅覚の感度は低下し難いことが知られている。このため、利用者は、直近に単語の選択を行ってから十分な時間が経過していない場合でも、単語の選択を行った字幕の発話者のキャラクターが、直近に単語の選択を行った字幕の発話者のキャラクターと異なる場合には、その単語の選択を行った字幕の発話者のキャラクターをイメージした香りを快適に嗅ぐことができる。また、例えば、利用者が直近に単語の選択を行ってから十分な時間が経過している場合でも、単語の選択を行った字幕の発話者のキャラクターが、直近に単語の選択を行った字幕の発話者のキャラクターと同一の場合には、利用者の嗅覚疲労のリスクを回避するために、香りを放出させなくすることもできる。
【0371】
態様8は、態様1において、前記所定映像動画を視聴する複数の視聴者のうち、前記選択を行った視聴者である前記利用者の方向へ前記香りを放出させることを特徴とする。
【0372】
態様8によれば、例えば、単語の選択を行った利用者の周囲に複数の視聴者(又は短時間のうちに通り過ぎる通行人)がいる場合でも、その単語の選択を行った利用者の方向へ香りを放出させることができるため、利用者が映像動画を斜めの方向(映像動画の表示画面に対して垂直方向の位置からずれた位置)から視聴する場合などでも、利用者はその単語の字幕の発話者のキャラクターをイメージした香りを快適に嗅ぐことができる。また、例えば、単語の選択を行った利用者の周囲に複数の視聴者がいる場合において、その単語の選択によって放出される香りによって、その単語の選択を行わなかった他の視聴者の視聴を妨げることなく快適に視聴させることができる。また、例えば、単語の選択を行った利用者の周囲に複数の視聴者がいる場合において、その単語の選択によって放出される香りによる、その単語の選択を行わなかった他の視聴者の嗅覚疲労のリスクを軽減させることもできる。
【0373】
態様9は、態様1において、前記所定映像動画が再生中の画面上で、前記キャラクターの表示領域から前記香りが香るように前記香りを放出させることを特徴とする。
【0374】
態様9によれば、例えば、画面上のキャラクターが香るかのように香りを放出させることができるため、利用者はキャラクターと香りとをより深く関連付けながら単語の意味や使い方を記憶することができる。また、例えば、キャラクターと香りとがより深く関連付けられることで、香りからキャラクターがより想起され易くなるため、香りからキャラクターの想起を介して単語の意味や使い方がより想起され易くなることも期待され得る。このため、例えば、学習以外の日常生活において、発話者のキャラクターをイメージした香りを嗅ぐことで、そのキャラクターを何気なく思い出し、単語の意味や使い方がより想起され易くなることも期待され得る。
【0375】
<<5.実施形態5>>
<5.1.はじめに>
上記実施形態(実施形態1、実施形態2、実施形態3及び実施形態4)において、利用者の嗜好性を加味して利用者にとって記憶し易い情報を辞書に追加したいといった要望を抱く場合もあり得る。例えば、映像動画に登場するキャラクターや、映像動画に登場するキャラクターが着用する衣装や、映像動画のストーリーやジャンルなどの映像動画に含まれる情報に対する利用者の嗜好性を加味して利用者にとって記憶し易い情報を辞書に追加したいといった要望を抱く場合もあり得る。また、利用者の嗜好性を加味するうえで利用者の購買履歴や投稿履歴や閲覧履歴などの個人情報を提供したくないといった要望を抱く場合もあり得る。
【0376】
実施形態5は、上記に鑑みてなされたものであって、外部の情報処理装置等から利用者の個人情報を要求することなく利用者の嗜好性を加味して利用者にとって記憶し易い情報を辞書に追加することで、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
【0377】
実施形態5では、利用者の嗜好性の推定に、利用者のために生成された辞書を用いる。具体的には、実施形態5では、利用者のために生成された辞書に含まれる情報(及びその情報に紐づく情報)やこのような辞書に紐づく情報を利用者の嗜好性を推定するための情報源とする。
【0378】
<5.2.情報処理システムの構成>
図28に示す情報処理システム1Eについて説明する。
図28に示すように、情報処理システム1Eは、端末装置10と、記憶支援装置100Dと、衣装情報提供サーバ300と、被服販売サーバ400とが含まれる。端末装置10と、記憶支援装置100Dと、衣装情報提供サーバ300と、被服販売サーバ400とは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。
図28は、実施形態5に係る情報処理システム1Eの構成例を示す図である。実施形態5では、上記実施形態(実施形態1、実施形態2、実施形態3又は実施形態4)と同様の説明は適宜省略する。
【0379】
記憶支援装置100Dは、利用者の嗜好性を加味して利用者にとって記憶し易い情報を辞書に追加することで、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。例えば、記憶支援装置100Dは、所定のキャラクターが着用する衣装のコスプレ衣装(所定の条件を満たすキャラクターに紐づく対象物の商品に対応)を販売する所定のサイト(第1サイトに対応)を提供する事業者などが管理する外部の情報処理装置等へ、所定のキャラクターが着用する衣装の衣装情報(すなわち、所定のサイトで販売されているコスプレ衣装の衣装情報や商品情報など)を提供するよう要求する。また、例えば、記憶支援装置100Dは、コスプレ衣装に分類されない被服(対象物の商品と同一のカテゴリに分類可能な商品)を販売する所定のサイト(第2サイトに対応)を提供する事業者などが管理する外部の情報処理装置等へ、利用者の嗜好に沿った衣装の特徴として推定された衣装の特徴の特徴情報に基づき被服の購買を提案するよう要求する。なお、実施形態5では、コスプレ衣装の衣装情報から被服の購買を提案するよう要求する場合の処理を例に挙げて説明するが、この例に特に限定されなくてもよい。例えば、実施形態5において、記憶支援装置100Dは、キャラクタードールのドール情報(キャラクタードール用の衣装の衣装情報も含む)から他のドール(例えば、等身大のドールやラブドールや人型ロボットなど)の購買を提案するよう要求してもよい。例えば、記憶支援装置100Dは、所定のキャラクターのキャラクタードール(所定の条件を満たすキャラクターに紐づく対象物の商品に対応)を販売する所定のサイト(第1サイトに対応)を提供する事業者などが管理する外部の情報処理装置等へ、所定のキャラクターのキャラクタードールのドール情報(すなわち、所定のサイトで販売されているキャラクタードールのドール情報や商品情報など)を提供するよう要求してもよい。また、例えば、記憶支援装置100Dは、キャラクタードールに分類されない他のドール(対象物の商品と同一のカテゴリに分類可能な商品)を販売する所定のサイト(第2サイトに対応)を提供する事業者などが管理する外部の情報処理装置等へ、利用者の嗜好に沿ったドールの特徴として推定されたドールの特徴の特徴情報に基づき他のドールの購買を提案するよう要求してもよい。記憶支援装置100Dは、実施形態5における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100Dは、サーバ装置やクラウドシステム等により実現される。
【0380】
衣装情報提供サーバ300は、映像動画に登場するキャラクターが着用する衣装の衣装情報を提供するための情報処理装置である。衣装情報提供サーバ300は、記憶支援装置100Dから所定のキャラクターが着用する衣装の衣装情報を提供するよう要求を受け付ける。この際、衣装情報提供サーバ300は、所定のキャラクターのキャラクター情報を取得する。例えば、衣装情報提供サーバ300は、キャラクター名などの所定のキャラクターの特定が可能な情報や、映像動画名などの所定のキャラクターが登場する映像動画の特定が可能な情報などを、所定のキャラクターのキャラクター情報として取得する。そして、衣装情報提供サーバ300は、キャラクター情報を取得すると、そのキャラクター情報に対応した衣装の衣装情報を提供する。この際、衣装情報提供サーバ300は、取得したキャラクター情報から映像動画の特定が可能な場合には、その特定された映像動画に対応した衣装情報を提供する。また、衣装情報提供サーバ300は、映像動画に対応した衣装情報が複数ある場合には、取得したキャラクター情報から所定のキャラクターのキャラクター名を特定し、その複数の衣装情報の中からそのキャラクター名を含む衣装情報を特定することで(又はその複数の衣装情報それぞれに対応した所定の情報の中からそのキャラクター名を含む所定の情報に対応した衣装情報を特定することで)、その特定された衣装情報をそのキャラクター情報に対応した衣装の衣装情報として提供する。例えば、衣装情報提供サーバ300は、その複数の衣装情報それぞれに対応した商品情報の中からそのキャラクター名を含む商品情報を特定することで、その特定された商品情報に含まれる衣装情報をそのキャラクター情報に対応した衣装の衣装情報として提供してもよい。なお、衣装情報提供サーバ300は、映像動画に対応した衣装情報が複数ある場合において、取得したキャラクター情報から所定のキャラクターのキャラクター名を特定できない場合には、映像動画に対応したその複数の衣装情報の全てをそのキャラクター情報に対応した衣装の衣装情報として提供してもよい。これに限られず、衣装情報提供サーバ300は、映像動画に対応した衣装情報のうちより多くのキャラクターのキャラクター名を含む衣装情報をそのキャラクター情報に対応した衣装の衣装情報として提供してもよいし、映像動画に対応した衣装情報のうち映像動画に登場するキャラクターが着用する代表的な衣装としてフラグが付与された衣装や、より上位にランク付けされた衣装の衣装情報をそのキャラクター情報に対応した衣装の衣装情報として提供してもよい。また、衣装情報提供サーバ300は、キャラクターごとにキャラクターが着用する衣装の衣装情報が紐づけて記憶されている場合には、取得したキャラクター情報からキャラクターを特定することで、その特定されたキャラクターに紐づく衣装情報を提供してもよい。また、衣装情報提供サーバ300は、映像動画ごとにキャラクターが着用する衣装の衣装情報が紐づけて記憶されている場合には、取得したキャラクター情報から映像動画を特定することで、その特定された映像動画に紐づく衣装情報を提供してもよい。また、キャラクターが着用する衣装が複数ある場合がある。例えば、キャラクターが女子中学生で学校に通い、放課後などに住み込み先のカフェで奉仕活動を行う場合など、キャラクターの通う学校の制服と奉仕先の制服とで、キャラクターが着用する衣装が複数ある場合がある。衣装情報提供サーバ300は、取得したキャラクター情報に対応した衣装の衣装情報が複数ある場合(例えば、所定のキャラクターのキャラクター名を含む衣装情報が複数ある場合)には、取得したキャラクター情報に対応したその複数の全ての衣装の衣装情報をそのキャラクター情報に対応した衣装の衣装情報として提供してもよい。これに限られず、衣装情報提供サーバ300は、取得したキャラクター情報に対応した複数の衣装の衣装情報のうちより多くのキャラクターのキャラクター名を含む衣装情報をそのキャラクター情報に対応した衣装の衣装情報として提供してもよいし、その複数の衣装の衣装情報のうち所定のキャラクターが着用する代表的な衣装としてフラグが付与された衣装や、より上位にランク付けされた衣装の衣装情報をそのキャラクター情報に対応した衣装の衣装情報として提供してもよい。なお、実施形態5において、衣装情報は、衣装のデザイン情報や、素材情報や、裏仕様情報や、色情報や、セット内容情報などに加えて、実際の人やマネキンやトルソーなどのモデル(3次元モデルであってもよい。)が衣装を実際に着用した際のモデルの着用画像の画像情報を含んでもよく、商品情報は、そのような衣装情報に加えて、「映像動画〇×〇×YY1より、作中でキャラクター1、キャラクター2、キャラクター3たちが着用している〇〇学園女子制服が新登場」や「映像動画〇×〇×YY2より、ケーキ屋××の看板娘、キャラクター11の店員制服が再登場」といった見出しの文字情報や、身長やバストやウエストやヒップなどに基づくサイズ目安情報や、価格情報や、原産国情報や、おすすめの商品情報や、同じ映像動画の商品情報や、レビュー情報などを含んでもよい。衣装情報提供サーバ300は、実施形態5における処理を実現可能であれば、どのような装置であってもよい。例えば、衣装情報提供サーバ300は、コスプレ衣装の販売を専門に扱う事業者などのサーバ装置やクラウドシステム等により実現される。
【0381】
被服販売サーバ400は、被服の販売や購買の提案を行うための情報処理装置である。被服販売サーバ400は、記憶支援装置100Dから利用者の嗜好に沿った衣装の特徴として推定された衣装の特徴に基づき被服の購買の提案を行うよう要求を受け付ける。この際、被服販売サーバ400は、利用者の嗜好に沿った衣装の特徴として推定された衣装の特徴の特徴情報を取得する。例えば、被服販売サーバ400は、ケープ付きジャケット、ビスチェ、スカート、胸リボンを衣装に含むことの特徴が、利用者の嗜好に沿った衣装の特徴である旨を示す特徴情報を取得する。より具体的に、被服販売サーバ400は、ケープ部分の生地は特定の色や柄でプリントされ、左脇にファスナーが付いているケープ付きジャケット、背に付いているベルトでウエストの絞りを調整可能なビスチェ、裾にフリルが付いたスカート、回転式ブローチピンで取り外し可能な胸リボンを衣装に含むことの特徴が、利用者の嗜好に沿った衣装の特徴である旨を示す特徴情報を取得してもよい。また、例えば、被服販売サーバ400は、ヘッドドレス、ワンピース、ブラウス、チョーカー、エプロン、カフスを衣装に含むことの特徴が、利用者の嗜好に沿った衣装の特徴である旨を示す特徴情報を取得する。より具体的に、被服販売サーバ400は、バレッタで留める仕様のヘッドドレス、スカート部分の裏地は特定の色でデザインされ、ウエスト部分にゴムが入っているワンピース、リボン付きのブラウス、鈴付きのチョーカー、背リボン付きのエプロン、リボン付きのカフスを衣装に含むことの特徴が、利用者の嗜好に沿った衣装の特徴である旨を示す特徴情報を取得してもよい。そして、被服販売サーバ400は、衣装の特徴の特徴情報を取得すると、その特徴情報に対応した被服の購買の提案を行う。例えば、被服販売サーバ400は、ケープ付きジャケット、ビスチェ、スカート、胸リボンを衣装に含むことの特徴が、利用者の嗜好に沿った衣装の特徴である旨を示す特徴情報を取得した場合には、ケープ付きジャケット、ビスチェ、スカート、胸リボンを特徴に含む被服の購買の提案を行う。この際、被服販売サーバ400は、ケープ付きジャケット、ビスチェ、スカート、胸リボンのうち少なくともいずれかを特徴に含む被服の購買の提案を行ってもよい。また、被服販売サーバ400は、衣装の特徴の特徴情報を取得すると、その特徴情報に対応した被服を、被服販売サーバ400の管理者などが提供する所定のサイト(例えば、電子商店街など)で販売されている被服の中から選択することで、被服の購買の提案を行う。例えば、被服販売サーバ400は、選択された被服の画像が所定のサイトのホーム上で優先的に表示されるように上位に表示させることで被服の購買の提案を行ってもよいし、選択された被服の画像が通知されるコンテンツ上で表示されるような通知(例えば、プッシュ通知やメール通知など)を行うことで被服の購買の提案を行ってもよい。この際、被服販売サーバ400は、被服を複数選択することで、コーディネート一式の購買の提案を行ってもよい。そして、被服販売サーバ400は、被服の購買の提案に対する利用者の購買結果を記憶支援装置100Dへ提供する。例えば、被服販売サーバ400は、被服の購買の提案に対して利用者が提案された被服を予め定められた所定の期間内に購入した場合には、利用者が提案された被服を購入した旨を示す情報を、被服の購買の提案に対する利用者の購買結果として提供する。また、例えば、被服販売サーバ400は、被服の購買の提案に対して利用者が提案された被服を予め定められた所定の期間内に購入しなかった場合には、利用者が提案された被服を購入しなかった旨を示す情報を、被服の購買の提案に対する利用者の購買結果として提供する。なお、利用者とは異なる性別用の被服の購買を提案する場合には、利用者の体型に合うサイズがない可能性が高くなる場合がある。例えば、一般的に、男性は女性よりも肩幅が広く身長が高いため、利用者が男性であり女性用の被服の購買を提案する場合には、その被服のサイズ展開に利用者の体型に合うサイズがない場合がある。しかしながら、サイズ展開のサイズ表(例えば、サイズS:身長146~154cm、バスト70~80cm、ヒップ79~89cm、サイズM:身長154~162cm、バスト79~87cm、ヒップ85~93cmなど)で利用者の体型に該当するサイズがなくても、被服によっては利用者の体型に合うサイズがある場合がある。例えば、一般的に、男性は女性よりも胸囲が狭いため、男性が女性用の被服を着用した際に胸囲部分に空間ができる場合がある。また、例えば、ノースリーブタイプの被服であれば肩幅は着用に関係なくなる場合がある。また、例えば、レオタードや水着などのような伸縮性の高いものであれば、胸囲部分の空間を加味して、サイズ表のサイズの身長のプラス10cmほどでも着用可能な場合がある。被服販売サーバ400は、利用者の体型の3次元モデルが取得可能な場合には、利用者の体型の3次元モデルに基づいて、利用者の体型に合うサイズがサイズ展開にある被服の購買の提案を行ってもよい。例えば、被服販売サーバ400は、利用者とは異なる性別用の被服の購買を提案する場合には、利用者の体型の3次元モデルから、利用者が被服を実際に着用した際に生じると推定される胸囲部分や胴囲部分などの空間や、被服の伸縮性などの着圧に関する情報を加味して、利用者の体型に合うサイズがサイズ展開にある被服の購買の提案を行ってもよい。なお、被服販売サーバ400は、利用者の体型に合うサイズがサイズ展開にある被服のうち在庫が十分にある被服の購買の提案を行ってもよい。被服販売サーバ400は、実施形態5における処理を実現可能であれば、どのような装置であってもよい。例えば、被服販売サーバ400は、被服を販売する事業者などのサーバ装置やクラウドシステム等により実現される。例えば、被服販売サーバ400は、トップス、Tシャツ、カットソー、ブラウス、シャツ、ニット、ノーソーイングニット、セーター、ベスト、カーディガン、アウター、ジャケット、ノーカラージャケット、ライダースジャケット、ブルゾン、ダウンジャケット、コート、ステンカラーコート、トレンチコート、ポンチョ、ケープ、パンツ、デニムパンツ、チノパンツ、スラックス、オールインワン、サロペット、スカート、デニムスカート、ワンピース、シャツワンピース、ジャンパースカート、ドレス、バッグ、シューズ、ブーツ、ブーティ、バレエシューズ、トゥシューズ、ファッション雑貨、ヘアアクセサリー、ボンネット、ヘッドドレス、カチューシャ、クリップ、コーム、バレッタ、アクセサリー、かばん、財布、ポシェット、アンダーウェア、女性用ファンデーション、ボディファンデーション、ブラジャー、ショーツ、アンダーショーツ、ステージショーツ、ガードル、コントロールボトム、補正下着、ランジェリー、肌着、ニットインナー、パジャマ、ルームウェア、レッグウェア、タイツ、ソックス、レッグカバー、パニエ、ブルマ、ドロワーズ、帽子、水着、着物、浴衣、バレエ衣装、チュチュ、クラシックチュチュ、ロマンティックチュチュ、オペラチュチュ、ジョーゼット、チュニック、レオタード、ウエディングドレス、学生服、体操服などのうち少なくともいずれかの被服の販売を専門に扱う事業者などのサーバ装置やクラウドシステム等により実現される。また、例えば、被服販売サーバ400は、きれいめ系、コンサバ系、フェミニン系、ガーリッシュ系、可愛い系、姫系、ロリータ系、スウィートロリータ系、ゴシックアンドロリータ系、クラシカルロリータ系、カジュアルロリータ系、和風ロリータ系、中華ロリータ系、オフィスカジュアル系、きれいめカジュアル系、カジュアル系、ナチュラル系、フォーマル系、クール系、ノームコア系、モード系、ストリート系、原宿系、ボーイッシュ系、メンズライク系などのうち少なくともいずれかのファッション系統の被服の販売を専門に扱う事業者などのサーバ装置やクラウドシステム等により実現される。また、例えば、被服販売サーバ400は、これらの被服の購買が可能な電子商店街を提供する事業者などのサーバ装置やクラウドシステム等により実現される。
【0382】
なお、
図28では、端末装置10と記憶支援装置100Dが別装置である場合を示したが、端末装置10と記憶支援装置100Dは一体であってもよい。また、記憶支援装置100Dと衣装情報提供サーバ300が別装置である場合を示したが、記憶支援装置100Dと衣装情報提供サーバ300は一体であってもよい。また、記憶支援装置100Dと被服販売サーバ400が別装置である場合を示したが、記憶支援装置100Dと被服販売サーバ400は一体であってもよい。また、衣装情報提供サーバ300と被服販売サーバ400が別装置である場合を示したが、衣装情報提供サーバ300と被服販売サーバ400は一体であってもよい。
【0383】
<5.3.記憶支援装置の構成>
次に、
図29を用いて、実施形態5に係る記憶支援装置100Dの構成について説明する。
図29は、実施形態5に係る記憶支援装置100Dの構成例を示す図である。
図29に示すように、記憶支援装置100Dは、通信部110と、記憶部120Bと、制御部130Dとを有する。なお、記憶支援装置100Dは、記憶支援装置100Dの管理者から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。なお、通信部110は、上記実施形態(実施形態1、実施形態2、実施形態3又は実施形態4)と同様のため説明を省略する。
【0384】
(記憶部120B)
記憶部120Bは、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。
図29に示すように、記憶部120Bは、辞書情報記憶部121と、字幕情報記憶部122Aと、市販辞書情報記憶部123と、発話統計情報記憶部124とを有する。なお、辞書情報記憶部121、字幕情報記憶部122A及び市販辞書情報記憶部123は、上記実施形態と同様のため説明を省略する。
【0385】
発話統計情報記憶部124は、映像動画に登場するキャラクターの発話に基づく統計情報を記憶する。具体的には、発話統計情報記憶部124は、映像動画に登場するキャラクターと利用者のために生成された辞書の第1領域に追加された単語の数(例えば、所定のキャラクターの発話の字幕に対応して第1領域に追加された単語の数)との関係性に基づく統計情報を記憶する。ここで、
図30に、実施形態5に係る発話統計情報記憶部124の一例を示す。
図30は、実施形態5に係る発話統計情報記憶部124の一例を示す図である。
図30に示すように、発話統計情報記憶部124は、「利用者ID」、「映像動画」、「発話者」、「単語数」といった項目を有する。
【0386】
「利用者ID」は、利用者を識別するための識別情報を示す。「映像動画」は、利用者が辞書を生成した映像動画を示す。「発話者」は、第1領域に追加された単語の字幕に対応した発話の発話者であるキャラクターを示す。なお、「発話者」に含まれるキャラクターは、第1領域に追加された単語があるキャラクターに限定されなくてもよい。例えば、「発話者」は、第1領域に追加された単語があるキャラクターであるか否かに関わらず、映像動画に登場する全てのキャラクター(若しくは、映像動画中で少なくとも一度の発話があるキャラクター又は映像動画中で発話に対応した字幕が少なくとも一度は表示されるキャラクター)を含んでもよい。「単語数」は、所定のキャラクターの発話の字幕に対応して第1領域に追加された単語の数(第1領域に追加された単語に対応した発話の数であってもよく、異なる単語であってもそれぞれの単語に対応した発話が同一の場合には、単語の数を「1」とカウントしてもよい。例えば、第1領域に追加された単語に、ある発話に対応した「This is a town of cobblestone streets」の字幕から選択された「town」の単語と「cobblestone」の単語とが含まれる場合には、発話が同一のため、単語の数を「1」とカウントしてもよい。)を示す。なお、「単語数」に含まれる単語の数は、例えば、第1領域に単語が追加されるごとに更新されてもよいし、映像動画が視聴し終わるごとに更新されてもよいし、予め定められた所定の頻度(例えば、第1領域に追加された単語の数が所定の閾値に達するごと、所定の期間が経過するごと)で更新されてもよい。
【0387】
すなわち、
図30では、利用者ID「U1」によって識別される利用者が辞書を生成した映像動画が「〇×〇×YY1」、「〇×〇×YY2」、・・・、「〇×〇×YYN」であり、「〇×〇×YY1」の映像動画の視聴時に第1領域に追加された単語の字幕に対応した発話の発話者が「キャラクター1」、「キャラクター2」、「キャラクター3」、「キャラクター4」及び「キャラクター5」であり、「キャラクター1」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「20」であり、「キャラクター2」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「25」であり、「キャラクター3」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「15」であり、「キャラクター4」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「8」であり、「キャラクター5」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「7」であり、「〇×〇×YY2」の映像動画の視聴時に第1領域に追加された単語の字幕に対応した発話の発話者が「キャラクター11」、「キャラクター12」及び「キャラクター13」であり、「キャラクター11」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「10」であり、「キャラクター12」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「5」であり、「キャラクター13」のキャラクターの発話の字幕に対応して第1領域に追加された単語の数が「2」である例を示す。例えば、利用者U1が「〇×〇×YY1」の映像動画を用いて生成した辞書の第1領域に追加された単語の総数は、「キャラクター1」の発話の字幕に対応して追加された単語の数と、「キャラクター2」の発話の字幕に対応して追加された単語の数と、「キャラクター3」の発話の字幕に対応して追加された単語の数と、「キャラクター4」の発話の字幕に対応して追加された単語の数と、「キャラクター5」の発話の字幕に対応して追加された単語の数との和に等しく、利用者U1が「〇×〇×YY2」の映像動画を用いて生成した辞書の第1領域に追加された単語の総数は、「キャラクター11」の発話の字幕に対応して追加された単語の数と、「キャラクター12」の発話の字幕に対応して追加された単語の数と、「キャラクター13」の発話の字幕に対応して追加された単語の数との和に等しいことを示す。また、例えば、利用者U1が「〇×〇×YY1」の映像動画の視聴時に新たに単語を選択することで第1領域に単語が追加された場合であって、その単語の字幕の発話者であるキャラクターが「キャラクター1」である場合には、「キャラクター1」に対応した単語の数が「20」から「21」へ更新され、その単語の字幕の発話者であるキャラクターが「キャラクター2」である場合には、「キャラクター2」に対応した単語の数が「25」から「26」へ更新されることを示す。また、例えば、利用者U1が「〇×〇×YY2」の映像動画の視聴時に新たに単語を選択することで第1領域に単語が追加された場合であって、その単語の字幕の発話者であるキャラクターが「キャラクター11」である場合には、「キャラクター11」に対応した単語の数が「10」から「11」へ更新され、その単語の字幕の発話者であるキャラクターが「キャラクター12」である場合には、「キャラクター12」に対応した単語の数が「5」から「6」へ更新されることを示す。
【0388】
(制御部130D)
制御部130Dは、コントローラであり、例えば、CPUやMPU等によって、記憶支援装置100D内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Dは、例えば、ASICやFPGA等の集積回路により実現される。
【0389】
図29に示すように、制御部130Dは、取得部131Cと、抽出部132Cと、生成部133と、更新部134と、表示部135と、提案部136と、推定部140と、学習部141とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130Dの内部構成は、
図29に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、生成部133、更新部134、表示部135及び提案部136は、上記実施形態と同様のため説明を省略する。
【0390】
(取得部131C)
取得部131Cは、取得部131、取得部131A又は取得部131Bと同様の情報を取得する。また、取得部131Cは、記憶部120Bから各種情報を取得する。また、取得部131Cは、取得した各種情報を記憶部120Bに格納する。
【0391】
取得部131Cは、利用者の嗜好性を推定するために、映像動画に登場するキャラクターの発話に基づく統計情報を取得する。具体的には、取得部131Cは、映像動画に登場するキャラクターと利用者のために生成された辞書の第1領域に追加された単語の数との関係性に基づく統計情報(例えば、
図30に示した「映像動画:〇×〇×YY1、発話者:キャラクター1、単語数:20;映像動画:〇×〇×YY1、発話者:キャラクター2、単語数:25;・・・;映像動画:〇×〇×YY1、発話者:キャラクター5、単語数:7;映像動画:〇×〇×YY2、発話者:キャラクター11、単語数:10;映像動画:〇×〇×YY2、発話者:キャラクター12、単語数:5;映像動画:〇×〇×YY2、発話者:キャラクター13、単語数:2;・・・;映像動画:〇×〇×YYN、・・・」)を取得する。例えば、取得部131Cは、嗜好性の推定の対象となる利用者が利用者U1の場合には、映像動画に登場するキャラクターと利用者U1のために生成された辞書の第1領域に追加された単語の数との関係性に基づく統計情報を取得する。なお、取得部131Cは、特定の映像動画に登場するキャラクターとその映像動画に対応した辞書の第1領域に追加された単語の数との関係性に基づく統計情報を取得してもよい。例えば、取得部131Cは、利用者の嗜好性の推定のために利用者が選択した映像動画に登場するキャラクターとその映像動画に対応した辞書の第1領域に追加された単語の数との関係性に基づく統計情報を取得してもよい。また、例えば、取得部131Cは、利用者が直近に視聴した一以上の映像動画(又は最も直近に視聴した一の映像動画)に登場するキャラクターとその映像動画に対応した辞書の第1領域に追加された単語の数との関係性に基づく統計情報を取得してもよい。また、取得部131Cは、「発話者」に含まれるキャラクターが第1領域に追加された単語があるキャラクターに限定される場合には、利用者が視聴した映像動画ごとに利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターの発話に基づく統計情報を取得してもよい。
【0392】
(抽出部132C)
抽出部132Cは、抽出部132、抽出部132A又は抽出部132Bと同様の情報を抽出する。以下、推定部140及び学習部141の処理と合わせて抽出部132Cの処理を説明する。
【0393】
(推定部140)
推定部140は、取得部131Cにより取得された情報に基づいて、利用者の嗜好性を推定する。例えば、推定部140は、利用者が視聴した映像動画ごとに利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち第1領域に追加された単語の数が所定の条件を満たすキャラクター(若しくは、第1領域に追加された単語全体に対する所定のキャラクターの発話に対応して第1領域に追加された単語の数の割合が所定の条件を満たすキャラクター)の特徴に基づいて、利用者の嗜好に沿ったキャラクターの特徴を推定する。例えば、推定部140は、発話統計情報記憶部124の情報に基づき「単語数」に含まれる単語の数が多い順に並び替えることで、第1領域に追加された単語の数が所定の条件を満たすキャラクター(例えば、単語の数が上位所定の順位以内のキャラクター、単語の数が予め定められた所定の閾値以上のキャラクター、単語の数が平均以上のキャラクター)を特定し、特定したキャラクターの特徴に基づいて、利用者の嗜好に沿ったキャラクターの特徴を推定する。例えば、推定部140は、このように特定したキャラクターの多くが、女子中学生で学校に通い、放課後などにカフェで奉仕活動を行うことを特徴とするキャラクターである場合には、キャラクターが女子中学生で学校に通い、放課後などにカフェで奉仕活動を行うことの特徴が、利用者の嗜好に沿ったキャラクターの特徴(又は利用者の嗜好に沿ったキャラクターの特徴の一つ)であると推定する。なお、推定部140は、特定したキャラクターの特徴を、特定したキャラクターのキャラクター情報を外部の情報処理装置等へ提供することでその外部の情報処理装置等から取得したキャラクターの特徴情報に基づき特定してもよいし、字幕情報記憶部122(又は字幕情報記憶部122A)の情報に基づき「字幕」に含まれる字幕情報を解析することで推定してもよい。また、抽出部132Cは、利用者が選択した単語に対応した発話を行ったキャラクターが、推定部140により推定された特徴のキャラクターであるか否かを判定し、推定部140により推定された特徴のキャラクターであると判定した場合に抽出処理を行い、推定部140により推定された特徴のキャラクターでないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。
【0394】
推定部140は、利用者が視聴した映像動画ごとに利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち第1領域に追加された単語の数が所定の条件を満たすキャラクター(若しくは、第1領域に追加された単語全体に対する所定のキャラクターの発話に対応して第1領域に追加された単語の数の割合が所定の条件を満たすキャラクター)が着用する衣装の特徴に基づいて、利用者の嗜好に沿ったキャラクターの特徴を推定してもよい。例えば、推定部140は、発話統計情報記憶部124の情報に基づき「単語数」に含まれる単語の数が多い順に並び替えることで、第1領域に追加された単語の数が所定の条件を満たすキャラクターを特定し、特定したキャラクターが着用する衣装の特徴を特定することで、特定した衣装の特徴に基づいて、利用者の嗜好に沿ったキャラクターの特徴を推定してもよい。例えば、推定部140は、このように特定した衣装の多くが、メイドカフェのメイド服であることを特徴とする衣装である場合には、キャラクターがメイドカフェのメイド服を着用することの特徴が、利用者の嗜好に沿ったキャラクターの特徴(又は利用者の嗜好に沿ったキャラクターの特徴の一つ)であると推定してもよい。また、例えば、推定部140は、このように特定した衣装の多くが、ヘッドドレス、ワンピース、ブラウス、チョーカー、エプロン、カフスを含むことを特徴とする衣装である場合には、キャラクターがヘッドドレス、ワンピース、ブラウス、チョーカー、エプロン、カフスを含む衣装を着用することの特徴が、利用者の嗜好に沿ったキャラクターの特徴(又は利用者の嗜好に沿ったキャラクターの特徴の一つ)であると推定してもよい。なお、推定部140は、特定したキャラクターが着用する衣装の特徴を、特定したキャラクターのキャラクター情報を外部の情報処理装置等(例えば、衣装情報提供サーバ300)へ提供することでその外部の情報処理装置等から取得したキャラクターが着用する衣装の衣装情報に基づき特定してもよい。
【0395】
推定部140は、利用者が視聴した映像動画ごとに利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち第1領域に追加された単語の数が所定の条件を満たすキャラクター(若しくは、第1領域に追加された単語全体に対する所定のキャラクターの発話に対応して第1領域に追加された単語の数の割合が所定の条件を満たすキャラクター)が着用する衣装の特徴に基づいて、利用者の嗜好に沿った衣装の特徴を推定してもよい。例えば、推定部140は、発話統計情報記憶部124の情報に基づき「単語数」に含まれる単語の数が多い順に並び替えることで、第1領域に追加された単語の数が所定の条件を満たすキャラクターを特定し、特定したキャラクターが着用する衣装の特徴を特定することで、特定した衣装の特徴に基づいて、利用者の嗜好に沿った衣装の特徴を推定してもよい。例えば、推定部140は、このように特定した衣装の多くが、メイドカフェのメイド服であることを特徴とする衣装である場合には、メイドカフェのメイド服であることの特徴が、利用者の嗜好に沿った衣装の特徴(又は利用者の嗜好に沿った衣装の特徴の一つ)であると推定してもよい。また、例えば、推定部140は、このように特定した衣装の多くが、ヘッドドレス、ワンピース、ブラウス、チョーカー、エプロン、カフスを含むことを特徴とする衣装である場合には、ヘッドドレス、ワンピース、ブラウス、チョーカー、エプロン、カフスを含む衣装であることの特徴が、利用者の嗜好に沿った衣装の特徴(又は利用者の嗜好に沿った衣装の特徴の一つ)であると推定してもよい。また、抽出部132Cは、利用者が選択した単語に対応した発話を行ったキャラクターが、推定部140により推定された特徴の衣装を着用するキャラクターであるか否かを判定し、推定部140により推定された特徴の衣装を着用するキャラクターであると判定した場合に抽出処理を行い、推定部140により推定された特徴の衣装を着用するキャラクターでないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。
【0396】
推定部140は、所定の条件を満たすキャラクター(例えば、利用者が視聴した映像動画ごとに利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち第1領域に追加された単語の数が所定の条件を満たすキャラクターや、第1領域に追加された単語全体に対する所定のキャラクターの発話に対応して第1領域に追加された単語の数の割合が所定の条件を満たすキャラクター)のうち利用者とは異なる性別のキャラクター(すなわち、利用者とは性別が対照的なキャラクター)が着用する衣装の特徴に基づいて、利用者の嗜好に沿った衣装の特徴であって利用者とは異なる性別用の衣装の特徴を推定してもよい。例えば、推定部140は、発話統計情報記憶部124の情報に基づき「単語数」に含まれる単語の数が多い順に並び替えることで、第1領域に追加された単語の数が所定の条件を満たすキャラクターを特定し、特定したキャラクターのうち利用者とは異なる性別の特徴を有するキャラクター(利用者とは異なる性別のキャラクター)を更に特定し、このように更に特定したキャラクター(利用者とは異なる性別のキャラクター)が着用する衣装の特徴を特定することで、特定した衣装の特徴に基づいて、利用者の嗜好に沿った衣装の特徴であって利用者とは異なる性別用の衣装の特徴を推定してもよい。
【0397】
推定部140は、利用者が視聴した映像動画ごとに利用者のために生成された辞書のうち第1領域に追加された単語の数が所定の条件を満たす辞書の映像動画の特徴に基づいて、利用者の嗜好に沿った映像動画の特徴を推定してもよい。例えば、推定部140は、発話統計情報記憶部124の情報に基づき映像動画ごとに第1領域に追加された単語の総数(例えば、「単語数」に含まれる単語の数を足し合わせることで映像動画ごとに第1領域に追加された単語の総数)を算出し、単語の総数が多い順に映像動画を並び替えることで、第1領域に追加された単語の数が所定の条件を満たす辞書(例えば、単語の総数が上位所定の順位以内の辞書、単語の総数が予め定められた所定の閾値以上の辞書、単語の総数が平均以上の辞書)を特定し、特定した辞書の映像動画の特徴に基づいて、利用者の嗜好に沿った映像動画の特徴を推定してもよい。例えば、推定部140は、このように特定した映像動画の多くが、恋愛とコメディとをジャンルに含むことを特徴とする映像動画である場合には、恋愛とコメディとをジャンルに含むことの特徴が、利用者の嗜好に沿った映像動画の特徴(又は利用者の嗜好に沿った映像動画の特徴の一つ)であると推定してもよい。また、例えば、推定部140は、このように特定した映像動画の多くが、女子中学生で学校に通い、放課後などにカフェで奉仕活動を行うことを特徴とするキャラクターをメインキャラクターに含むことを特徴とする映像動画である場合には、女子中学生で学校に通い、放課後などにカフェで奉仕活動を行うことを特徴とするキャラクターをメインキャラクターに含むことの特徴が、利用者の嗜好に沿った映像動画の特徴(又は利用者の嗜好に沿った映像動画の特徴の一つ)であると推定してもよい。なお、推定部140は、特定した映像動画の特徴を、特定した映像動画の映像動画情報を外部の情報処理装置等へ提供することでその外部の情報処理装置等から取得した映像動画の特徴情報に基づき特定してもよいし、字幕情報記憶部122(又は字幕情報記憶部122A)の情報に基づき「字幕」に含まれる字幕情報を解析することで推定してもよい。また、抽出部132Cは、利用者が選択した単語に対応した発話を行ったキャラクターが、推定部140により推定された特徴の映像動画に登場するキャラクターであるか否かを判定し、推定部140により推定された特徴の映像動画に登場するキャラクターであると判定した場合に抽出処理を行い、推定部140により推定された特徴の映像動画に登場するキャラクターでないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。
【0398】
推定部140は、利用者の嗜好に沿った特徴の映像動画であるほど(例えば、利用者の嗜好に沿った特徴の映像動画である確度が高いと推定された映像動画であるほど)、その映像動画に登場するキャラクターが利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように、利用者の嗜好に沿ったキャラクターの特徴を推定してもよい。例えば、推定部140は、利用者が選択した単語に対応した発話を行ったキャラクターが登場する映像動画が利用者の嗜好に沿った特徴の映像動画であるほど、そのキャラクターが利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように、利用者の嗜好に沿ったキャラクターの特徴を推定してもよい。また、推定部140は、利用者の嗜好に沿った特徴の映像動画であるほど(例えば、利用者の嗜好に沿った特徴の映像動画である確度が高いと推定された映像動画であるほど)、その映像動画に登場するキャラクターが着用する衣装が利用者の嗜好に沿った特徴の衣装であると推定される確度が高くなるように、利用者の嗜好に沿った衣装の特徴を推定してもよい。例えば、推定部140は、利用者が選択した単語に対応した発話を行ったキャラクターが登場する映像動画が利用者の嗜好に沿った特徴の映像動画であるほど、そのキャラクターが着用する衣装が利用者の嗜好に沿った特徴の衣装であると推定される確度が高くなるように、利用者の嗜好に沿った衣装の特徴を推定してもよい。
【0399】
推定部140は、所定のキャラクター(例えば、利用者が視聴した映像動画ごとに利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち第1領域に追加された単語の数が所定の条件を満たすキャラクターや、第1領域に追加された単語全体に対する所定のキャラクターの発話に対応して第1領域に追加された単語の数の割合が所定の条件を満たすキャラクター)が着用する衣装の特徴を特定するために、所定のキャラクターが着用する衣装の衣装情報を提供するよう衣装情報提供サーバ300に要求してもよい。例えば、推定部140は、所定のキャラクターのキャラクター情報を衣装情報提供サーバ300へ提供することで、所定のキャラクターが着用する衣装の衣装情報を提供するよう衣装情報提供サーバ300に要求してもよい。衣装情報提供サーバ300は、衣装情報の提供の要求を受け付けると、取得したキャラクター情報に対応した衣装の衣装情報を記憶支援装置100Dへ提供する。推定部140は、衣装情報提供サーバ300から提供された衣装情報を取得すると、取得した衣装情報に基づいて、利用者の嗜好に沿った衣装の特徴を推定してもよい。例えば、推定部140は、取得した衣装情報の多くに「ケープ付きジャケット、ビスチェ、スカート、胸リボン」といったキーワードが含まれる場合には、ケープ付きジャケット、ビスチェ、スカート、胸リボンを衣装に含むことの特徴が、利用者の嗜好に沿った衣装の特徴(又は利用者の嗜好に沿った衣装の特徴の一つ)であると推定してもよい。また、このような「ケープ付きジャケット、ビスチェ、スカート、胸リボン」に含まれるそれぞれは、コスプレ衣装としてセットで販売される衣装の一部である。推定部140は、このような「ケープ付きジャケット、ビスチェ、スカート、胸リボン」のそれぞれに対して、取得した衣装情報の多くに「ケープ部分の生地は特定の色や柄でプリントされ、左脇にファスナーが付いているケープ付きジャケット、背に付いているベルトでウエストの絞りを調整可能なビスチェ、裾にフリルが付いたスカート、回転式ブローチピンで取り外し可能な胸リボン」といった特徴を示すキーワードが含まれる場合には、ケープ部分の生地は特定の色や柄でプリントされ、左脇にファスナーが付いているケープ付きジャケット、背に付いているベルトでウエストの絞りを調整可能なビスチェ、裾にフリルが付いたスカート、回転式ブローチピンで取り外し可能な胸リボンを衣装に含むことの特徴が、利用者の嗜好に沿った衣装の特徴(又は利用者の嗜好に沿った衣装の特徴の一つ)であると推定してもよい。なお、コスプレ衣装を販売する所定のサイトでは、一般的に、映像動画の制作者やキャラクターのデザイナーなどの監修(例えば、オフィシャルによる監修)のもと作製されたコスプレ衣装が販売されるため、そのような所定のサイトを提供する事業者のサーバ装置やクラウドシステム等からキャラクターが着用する衣装の衣装情報を取得することで、キャラクターや映像動画の設定に合った詳細な衣装情報の取得が可能となる。
【0400】
推定部140は、衣装情報提供サーバ300から提供された衣装情報を入力すると利用者の嗜好に沿った衣装の特徴を出力するモデルを用いて、利用者の嗜好に沿った衣装の特徴の推定を行ってもよい。例えば、推定部140は、後述の学習部141により学習されたモデルを用いて、利用者の嗜好に沿った衣装の特徴の推定を行ってもよい。以下、利用者の嗜好に沿った衣装の特徴を推定するモデルの学習の処理を説明する。
【0401】
(学習部141)
学習部141は、推定部140により推定された衣装の特徴が、利用者の嗜好に沿った衣装の特徴であるか否かに応じて、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させるために、推定部140により推定された衣装の特徴に基づき被服の購買の提案を行うよう被服販売サーバ400に要求する。この際、学習部141は、推定部140により推定された衣装の特徴に基づき提案された被服の購買の購買結果(換言すると、推定部140により推定された衣装の特徴に基づく被服の購買の提案に対する購買結果)を提供するよう被服販売サーバ400に要求する。例えば、学習部141は、推定部140により推定された衣装の特徴の特徴情報(すなわち、利用者の嗜好に沿った衣装の特徴として推定された衣装の特徴の特徴情報)を被服販売サーバ400へ提供することで、被服の購買の提案を行うよう被服販売サーバ400に要求する。この際、学習部141は、被服の購買の購買結果を提供するよう被服販売サーバ400に要求する。被服販売サーバ400は、被服の購買の提案の要求(及び被服の購買の購買結果の提供の要求)を受け付けると、衣装の特徴の嗜好性が推定された利用者へ被服の購買の提案を行い、被服の購買の購買結果(例えば、被服の購買の提案に対して利用者が提案された被服を予め定められた所定の期間内に購入したか否かを示す購買結果)を記憶支援装置100Dへ提供する。なお、被服の購買の提案の態様はどのような提案の態様であってもよく特に限定されなくてもよい。また、被服販売サーバ400は、利用者とは異なる性別用の被服の購買を提案する場合には、利用者の性別情報(例えば、被服販売サーバ400を管理する事業者などが提供する所定のサイトに予め登録された利用者情報に含まれる性別情報)に関わらず、利用者とは異なる性別用の被服の購買を優先的に提案する。学習部141は、被服販売サーバ400から提供された購買結果を取得すると、取得した購買結果に基づいて、利用者が提案された被服を購入したか否かを判定する。例えば、学習部141は、利用者が提案された被服を購入した旨を示す情報を取得した場合には、利用者が提案された被服を購入したと判定し、利用者が提案された被服を購入しなかった旨を示す情報を取得した場合には、利用者が提案された被服を購入しなかったと判定する。そして、学習部141は、取得した購買結果に基づいて、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させる。例えば、学習部141は、利用者が提案された被服を購入した旨を示す情報を取得した場合(すなわち、利用者が提案された被服を購入したと判定した場合)には、推定部140により推定された衣装の特徴を利用者の嗜好に沿った衣装の特徴の正解データ(正例)として、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させる。また、例えば、学習部141は、利用者が提案された被服を購入しなかった旨を示す情報を取得した場合(すなわち、利用者が提案された被服を購入しなかったと判定した場合)には、推定部140により推定された衣装の特徴を利用者の嗜好に沿った衣装の特徴の不正解データ(負例)として、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させる。また、学習部141は、取得した購買結果に基づいて、利用者の嗜好に沿った衣装の特徴であって利用者とは異なる性別用の衣装の特徴を推定するモデルを学習させてもよい。例えば、学習部141は、利用者が利用者とは異なる性別用の提案された被服を購入した旨を示す情報を取得した場合(すなわち、利用者が利用者とは異なる性別用の提案された被服を購入したと判定した場合)には、推定部140により推定された利用者とは異なる性別用の衣装の特徴を利用者の嗜好に沿った衣装の特徴であって利用者とは異なる性別用の衣装の特徴の正解データ(正例)として、利用者の嗜好に沿った衣装の特徴であって利用者とは異なる性別用の衣装の特徴を推定するモデルを学習させてもよい。また、例えば、学習部141は、利用者が利用者とは異なる性別用の提案された被服を購入しなかった旨を示す情報を取得した場合(すなわち、利用者が利用者とは異なる性別用の提案された被服を購入しなかったと判定した場合)には、推定部140により推定された利用者とは異なる性別用の衣装の特徴を利用者の嗜好に沿った衣装の特徴であって利用者とは異なる性別用の衣装の特徴の不正解データ(負例)として、利用者の嗜好に沿った衣装の特徴であって利用者とは異なる性別用の衣装の特徴を推定するモデルを学習させてもよい。また、抽出部132Cは、利用者が選択した単語に対応した発話を行ったキャラクターが、学習部141により学習されたモデルに基づき利用者の嗜好に沿った衣装の特徴であると推定された特徴の衣装を着用するキャラクターであるか否かを判定し、利用者の嗜好に沿った衣装の特徴であると推定された特徴の衣装を着用するキャラクターであると判定した場合に抽出処理を行い、利用者の嗜好に沿った衣装の特徴であると推定された特徴の衣装を着用するキャラクターでないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。
【0402】
<5.4.情報処理のフロー>
次に、
図31乃至
図33を用いて、実施形態5に係る情報処理システム1Eによる情報処理の手順について説明する。
図31乃至
図33は、実施形態5に係る情報処理システム1Eによる情報処理の手順を示すフローチャートである。具体的には、
図31は、実施形態5に係る情報処理システム1Eによる推定処理の手順を示すフローチャートであり、
図32は、実施形態5に係る情報処理システム1Eによる学習処理の手順を示すフローチャートであり、
図33は、実施形態5に係る情報処理システム1Eによる抽出処理の手順を示すフローチャートである。
【0403】
図31に示すように、記憶支援装置100Dは、映像動画に登場するキャラクターと利用者のために生成された辞書の第1領域に追加された単語の数との関係性を示す統計情報を取得する(ステップS901)。
【0404】
記憶支援装置100Dは、取得した統計情報から、利用者が視聴した映像動画ごとに利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち第1領域に追加された単語の数が所定の条件を満たすキャラクター(若しくは、第1領域に追加された単語全体に対する所定のキャラクターの発話に対応して第1領域に追加された単語の数の割合が所定の条件を満たすキャラクター)を特定する(ステップS902)。
【0405】
記憶支援装置100Dは、特定したキャラクターの特徴(特定したキャラクターが着用する衣装の特徴であってもよい。)に基づいて、利用者の嗜好性を推定する(ステップS903)。例えば、記憶支援装置100Dは、特定したキャラクターのキャラクター情報を映像動画に登場するキャラクターが着用する衣装の衣装情報を提供するための外部の情報処理装置等(例えば、映像動画に登場するキャラクターが着用する衣装のコスプレ衣装を販売するための外部の情報処理装置等)へ提供することで、特定したキャラクターの特徴の特徴情報を、特定したキャラクターのキャラクター情報を提供した外部の情報処理装置等から取得して、利用者の嗜好性を推定してもよい。
【0406】
図32に示すように、記憶支援装置100Dは、利用者の嗜好性の推定結果に基づき提案された商品の購買の購買結果を取得する(ステップS1001)。例えば、記憶支援装置100Dは、利用者の嗜好に沿った衣装の特徴であると推定された衣装の特徴の特徴情報を被服の販売や購買の提案を行うための外部の情報処理装置等へ提供することで、利用者の嗜好に沿った衣装の特徴であると推定された衣装の特徴の特徴情報に基づき提案された被服の購買の購買結果を、利用者の嗜好に沿った衣装の特徴であると推定された衣装の特徴の特徴情報を提供した外部の情報処理装置等から取得してもよい。
【0407】
記憶支援装置100Dは、取得した購買結果に応じて、利用者の嗜好性を推定するモデル(例えば、利用者の嗜好に沿った衣装の特徴を推定するモデル)を学習させる(ステップS1002)。
【0408】
図33に示すように、記憶支援装置100Dは、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合には、利用者が選択した単語に対応した発話を行ったキャラクターが、利用者の嗜好に沿った特徴のキャラクターであるか否かを判定する(ステップS1101)。
【0409】
記憶支援装置100Dは、利用者が選択した単語に対応した発話を行ったキャラクターが、利用者の嗜好に沿った特徴のキャラクターであると判定した場合(ステップS1101;YES)、利用者が選択した単語と、利用者の単語の選択時に表示された字幕とを抽出する(ステップS1102)。一方、記憶支援装置100Dは、利用者が選択した単語に対応した発話を行ったキャラクターが、利用者の嗜好に沿った特徴のキャラクターでないと判定した場合(ステップS1101;NO)、抽出処理を行わずに、情報処理を終了する。
【0410】
<5.5.変形例>
上述した実施形態5に係る情報処理システム1Eは、上記実施形態5以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1Eの他の実施形態について説明する。
【0411】
(変形例16:学習用単語が登場する字幕の発話者に基づき抽出処理を行う)
実施形態5では、抽出部132Cが、利用者が選択した単語に対応した発話を行ったキャラクターが、推定部140により推定された特徴のキャラクター(すなわち、利用者の嗜好に沿った特徴のキャラクター)であるか否かを判定する場合を示した。ここで、抽出部132Cは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の発話者であるキャラクターが、推定部140により推定された特徴のキャラクターであるか否かを判定してもよい。例えば、抽出部132Cは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定し、登場すると判定した場合には、推定部140により推定された特徴のキャラクターであるか否かを判定する更なる判定処理を行い、登場しないと判定した場合には、推定部140により推定された特徴のキャラクターであるか否かを判定する更なる判定処理を行わずに情報処理を終了してもよい。そして、抽出部132Cは、学習用単語が登場する字幕の発話者であるキャラクターが、推定部140により推定された特徴のキャラクターであると判定した場合に抽出処理を行い、推定部140により推定された特徴のキャラクターでないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。
【0412】
抽出部132Cは、学習用単語が登場する字幕の発話者であるキャラクターが、推定部140により推定された特徴の衣装(すなわち、利用者の嗜好に沿った特徴の衣装)を着用するキャラクターであるか否かを判定してもよい。そして、抽出部132Cは、学習用単語が登場する字幕の発話者であるキャラクターが、推定部140により推定された特徴の衣装を着用するキャラクターであると判定した場合に抽出処理を行い、推定部140により推定された特徴の衣装を着用するキャラクターでないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。なお、抽出部132Cは、学習部141により学習されたモデルに基づき利用者の嗜好に沿った衣装の特徴の推定処理を行ってもよい。すなわち、抽出部132Cは、学習用単語が登場する字幕の発話者であるキャラクターが、学習部141により学習されたモデルに基づき利用者の嗜好に沿った衣装の特徴であると推定された特徴の衣装を着用するキャラクターであるか否かを判定してもよい。
【0413】
抽出部132Cは、学習用単語が登場する字幕の発話者であるキャラクターが、推定部140により推定された特徴の映像動画(すなわち、利用者の嗜好に沿った特徴の映像動画)に登場するキャラクターであるか否かを判定してもよい。そして、抽出部132Cは、学習用単語が登場する字幕の発話者であるキャラクターが、推定部140により推定された特徴の映像動画に登場するキャラクターであると判定した場合に抽出処理を行い、推定部140により推定された特徴の映像動画に登場するキャラクターでないと判定した場合には抽出処理を行わずに情報処理を終了してもよい。
【0414】
抽出部132Cは、利用者が視聴中の映像動画が利用者の嗜好に沿った特徴の映像動画であるほど、その映像動画に登場するキャラクターのうち学習用単語が登場する字幕の発話者であるキャラクターが利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように、利用者の嗜好に沿ったキャラクターの特徴を推定してもよい。また、抽出部132Cは、利用者が視聴中の映像動画が利用者の嗜好に沿った特徴の映像動画であるほど、その映像動画に登場するキャラクターのうち学習用単語が登場する字幕の発話者であるキャラクターが着用する衣装が利用者の嗜好に沿った特徴の衣装であると推定される確度が高くなるように、利用者の嗜好に沿った衣装の特徴を推定してもよい。
【0415】
(変形例17:被服の購買結果以外の情報に基づき学習処理を行う)
実施形態5では、学習部141が、推定部140により推定された衣装の特徴に基づき提案された被服の購買の購買結果に基づいて、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させる場合を示した。ここで、学習部141は、推定部140により推定された衣装の特徴に基づき提案された被服の商品画像や着用画像などの被服に関する画像の閲覧の閲覧結果に基づいて、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させてもよい。例えば、学習部141は、利用者が提案された被服に関する画像を閲覧した旨を示す情報を取得した場合(すなわち、利用者が提案された被服に関する画像を閲覧したと判定した場合)には、推定部140により推定された衣装の特徴を利用者の嗜好に沿った衣装の特徴の正解データ(正例)として、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させ、利用者が提案された被服に関する画像を閲覧しなかった旨を示す情報を取得した場合(すなわち、利用者が提案された被服に関する情報を閲覧しなかったと判定した場合)には、推定部140により推定された衣装の特徴を利用者の嗜好に沿った衣装の特徴の不正解データ(負例)として、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させてもよい。この際、学習部141は、推定部140により推定された衣装の特徴に基づき被服に関する画像の閲覧の提案を行うよう被服販売サーバ400に要求してもよい。また、学習部141は、推定部140により推定された衣装の特徴に基づき提案された被服に関する画像の閲覧の閲覧結果(換言すると、推定部140により推定された衣装の特徴に基づく被服に関する画像の閲覧の提案に対する閲覧結果)を提供するよう被服販売サーバ400に要求してもよい。また、学習部141は、推定部140により推定された衣装の特徴に基づき提案された被服をお気に入り登録したなどのお気に入り登録の登録結果や購買用のカートに追加したなどの被服の購買のための利用者の能動的な所定の操作を示す操作結果に基づいて、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させてもよい。また、学習部141は、推定部140により推定された衣装の特徴に基づき提案された被服を購買履歴に含む被服の購入者の所定のサイトにアクセスしたなどの被服の購入者の情報を得るための利用者の能動的な所定の操作を示す操作結果に基づいて、利用者の嗜好に沿った衣装の特徴を推定するモデルを学習させてもよい。
【0416】
<5.6.効果>
実施形態5及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【0417】
態様1は、利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定手順と、前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された特徴のキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出手順と、前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
【0418】
態様1によれば、例えば、利用者のために生成された辞書に含まれる情報(及びその情報に紐づく情報)を利用者の嗜好に沿ったキャラクターの特徴を推定するための情報源とすることができるため、利用者の嗜好に沿ったキャラクターの特徴を推定するための情報源(例えば、購買履歴や投稿履歴や閲覧履歴など)の情報量が少ない場合でも、利用者の嗜好に沿ったキャラクターの特徴を適切に推定することができる。また、例えば、辞書の情報量が増えるほど(辞書の第1領域に単語が追加されるほど)、より精度高く利用者の嗜好に沿ったキャラクターの特徴を推定することができるため、より利用者にとって記憶し易い情報を辞書に追加することができる。それゆえ、ユーザビリティの向上を促進させることができる。
【0419】
態様2は、態様1において、前記所定の条件を満たすキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿ったキャラクターの特徴を推定することを特徴とする。
【0420】
態様2によれば、例えば、利用者のために生成された辞書に含まれる情報に紐づく情報の一つであるキャラクターの特徴のうち、キャラクターが着用する衣装の特徴も利用者の嗜好に沿ったキャラクターの特徴を推定するための情報源とすることができるため、より幅広い情報を利用者の嗜好に沿ったキャラクターの特徴を推定するための情報源とすることができる。それゆえ、より幅広い観点から、利用者の嗜好に沿ったキャラクターの特徴を推定することができる。
【0421】
態様3は、態様1において、前記所定の条件を満たすキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿った衣装の特徴を推定し、前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された特徴の衣装を着用するキャラクターである場合に、前記単語と前記所定字幕とを抽出することを特徴とする。
【0422】
態様3によれば、例えば、利用者のために生成された辞書に含まれる情報に紐づく情報の一つであるキャラクターが着用する衣装の特徴を利用者の嗜好に沿った衣装の特徴を推定するための情報源とすることができるため、利用者の嗜好に沿った衣装の特徴を推定するための情報源の情報量が少ない場合でも、利用者の嗜好に沿った衣装の特徴を適切に推定することができる。また、例えば、辞書の情報量が増えるほど、より精度高く利用者の嗜好に沿った衣装の特徴を推定することができる。また、例えば、そのように推定された特徴の衣装を着用するキャラクターの発話に対応した情報を辞書に追加することができるため、より利用者にとって記憶し易い情報を辞書に追加することができる。
【0423】
態様4は、態様3において、前記推定手順により推定された衣装の特徴に基づき提案された被服を前記利用者が購入した場合に、当該推定された衣装の特徴を前記利用者の嗜好に沿った衣装の特徴の正解データとして前記利用者の嗜好に沿った衣装の特徴を推定するためのモデルを学習させる学習手順、を更に有し、前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記学習手順により学習されたモデルに基づき前記利用者の嗜好に沿った衣装の特徴である確度が高いと推定された特徴の衣装を着用するキャラクターである場合に、前記単語と前記所定字幕とを抽出することを特徴とする。
【0424】
態様4によれば、例えば、利用者の嗜好に沿った衣装の特徴として推定された衣装の特徴の特徴情報に基づいて選択された、そのような衣装に共通する特徴である特徴を有する被服であって、被服といったカテゴリが同一でも情報源となったキャラクターが着用する衣装のタイプ(コスプレ衣装に分類可能なタイプ)とは異なるタイプの被服(例えば、コスプレ衣装に分類されない被服)の購買の提案に対する購買結果を、利用者の嗜好に沿った衣装の特徴を推定するためのモデルの教師データとすることができる。また、例えば、そのように学習されたモデルに基づき新たに推定された推定結果を更なるモデルの学習に用いることができる。それゆえ、辞書の情報量が増えるほど、利用者の嗜好に沿った衣装の特徴を推定するためのモデルの精度を向上させることができるため、より精度高く利用者の嗜好に沿った衣装の特徴を推定することができる。また、例えば、そのように推定された衣装の特徴の特徴情報を被服の販売を行う事業者などへ提供することで、新たなビジネスモデルを構築することができる。それゆえ、辞書の情報量が増えるほど、より幅広いサービスを利用者に提供することができる。
【0425】
態様5は、態様4において、前記所定の条件を満たすキャラクターのうち前記利用者の性別とは異なる性別のキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿った衣装の特徴であって前記利用者の性別とは異なる性別用の衣装の特徴を推定し、前記推定手順により推定された衣装の特徴に基づき提案された前記利用者の性別とは異なる性別用の被服を前記利用者が購入した場合に、当該推定された衣装の特徴を前記利用者の嗜好に沿った衣装の特徴の正解データとして前記モデルを学習させることを特徴とする。
【0426】
態様5によれば、例えば、利用者の嗜好に沿った衣装の特徴として推定された衣装の特徴であって利用者の性別とは異なる性別用の衣装の特徴の特徴情報に基づいて選択された利用者の性別とは異なる性別用の被服の購買の提案に対する購買結果を、利用者の嗜好に沿った衣装の特徴を推定するためのモデルの教師データとすることができる。それゆえ、利用者の性別とは異なる性別用の衣装の特徴の嗜好性を推定するための情報源の情報量が少ない場合でも、利用者の嗜好に沿った衣装の特徴であって利用者の性別とは異なる性別用の衣装の特徴を適切に推定することができる。また、例えば、そのように推定された衣装の特徴の特徴情報を被服の販売を行う事業者などへ提供することで、被服が対象とする性別に関わらずより幅広い対象者に被服の購買の提案を行うことができるようになるため、新たなビジネスモデルを構築することができる。また、近年、性自認が出生時に割り当てられた性別とは異なる場合のようなLGBTに関する課題が社会的関心を集めている。それゆえ、被服が対象とする性別に関わらず多様に被服の購買の提案を行うことができるようなビジネスモデルを構築することで、LGBTに関する社会的理解を深めることができる可能性を高めることができる。また、性自認が出生時の性別と異ならない場合でも、キャラクターへの感情からキャラクターが着用する衣装に好意を抱き、出生時の性別とは異なる性別用の被服にも興味を抱くようになる場合も少なくないため、被服が対象とする性別に関わらずより幅広い対象者に被服の購買の提案を行えるようにすることで、新たなビジネスモデルを構築することができる。
【0427】
態様6は、態様1において、前記利用者のために生成された辞書のうち第1領域に追加された単語の数が所定の条件を満たす辞書の映像動画の特徴に基づいて、前記利用者の嗜好に沿った映像動画の特徴を推定し、前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された特徴の映像動画に登場するキャラクターである場合に、前記単語と前記所定字幕とを抽出することを特徴とする。
【0428】
態様6によれば、例えば、利用者のために生成された辞書に対応した映像動画の特徴(なお、辞書に含まれる情報の一つであってもよい。)を利用者の嗜好に沿った映像動画の特徴を推定するための情報源とすることができるため、利用者の嗜好に沿った映像動画の特徴を推定するための情報源の情報量が少ない場合でも、利用者の嗜好に沿った映像動画の特徴を適切に推定することができる。また、例えば、辞書の情報量が増えるほど(利用者のために生成された辞書の数が増えるほど)、より精度高く利用者の嗜好に沿った映像動画の特徴を推定することができる。また、利用者の嗜好に沿った特徴の映像動画であるほど、その映像動画に登場するキャラクターも利用者の嗜好に沿った特徴のキャラクターである可能性が高いと考えられ得るため、キャラクターが利用者の嗜好に沿った特徴の映像動画に登場するキャラクターである場合に辞書に追加することで、より利用者にとって記憶し易い情報を辞書に追加することができる。
【0429】
態様7は、態様1において、前記所定映像動画が前記利用者の嗜好に沿った特徴の映像動画であるほど、前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように、前記利用者の嗜好に沿ったキャラクターの特徴を推定することを特徴とする。
【0430】
態様7によれば、例えば、利用者の嗜好に沿った特徴の映像動画であるほど、その映像動画に登場するキャラクターも利用者の嗜好に沿った特徴のキャラクターである可能性が高いと考えられ得る。このため、利用者の嗜好に沿った特徴の映像動画に登場するキャラクターのほうが利用者の嗜好に沿った特徴ではない特徴の映像動画に登場するキャラクターよりも利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように利用者の嗜好に沿ったキャラクターの特徴を推定することで、より精度高く利用者の嗜好に沿ったキャラクターの特徴を推定することができる。
【0431】
態様8は、態様1において、前記所定映像動画が前記利用者の嗜好に沿った特徴の映像動画であるほど、前記利用者が選択した単語に対応した発話を行ったキャラクターが着用する衣装が、前記利用者の嗜好に沿った特徴の衣装であると推定される確度が高くなるように、前記利用者の嗜好に沿った衣装の特徴を推定することを特徴とする。
【0432】
態様8によれば、例えば、利用者の嗜好に沿った特徴の映像動画であるほど、その映像動画に登場するキャラクターが着用する衣装も利用者の嗜好に沿った特徴の衣装である可能性が高いと考えられ得る。このため、利用者の嗜好に沿った特徴の映像動画に登場するキャラクターが着用する衣装のほうが利用者の嗜好に沿った特徴ではない特徴の映像動画に登場するキャラクターが着用する衣装よりも利用者の嗜好に沿った特徴の衣装であると推定される確度が高くなるように利用者の嗜好に沿った衣装の特徴を推定することで、より精度高く利用者の嗜好に沿った衣装の特徴を推定することができる。
【0433】
<<6.その他の変形例>>
上述した実施形態及び変形例に係る情報処理システム1等は、上記実施形態及び変形例以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1等の他の実施形態について説明する。
【0434】
(変形例18:利用者が予め指定した所定の辞書に基づき各種処理を行う)
上記実施形態及び変形例では、記憶支援装置100等が、利用者が予め指定した市販の辞書に基づき各種処理を行う(例えば、利用者が予め指定した市販の辞書の学習用単語が登場するか否かに基づき各種処理を行う)場合を例に挙げて説明したが、市販の辞書に限られず、市販の辞書ではない所定の辞書(例えば、映像動画に対応して生成された利用者のための辞書であってもよい。)を利用者が指定することで各種処理を行ってもよい。すなわち、上記実施形態及び変形例において、記憶支援装置100等は、利用者が予め指定した所定の辞書に基づき各種処理を行ってもよい。
【0435】
(変形例19:利用者の生体情報に基づき利用者の嗜好性を推定する)
上記実施形態及び変形例では、記憶支援装置100等が、利用者の嗜好性を、利用者の購買履歴や投稿履歴や閲覧履歴などに基づき推定する場合や、映像動画に対応して生成された利用者のための辞書に基づき推定する場合を例に挙げて説明したが、これらの例に特に限定されなくてもよい。例えば、記憶支援装置100等は、視聴者の視線を検出(計測)する視線検出(視線計測)技術を用いて利用者が視聴中の映像動画に登場するキャラクターに対する注視時間などを計測することで利用者の嗜好性の推定を行ってもよいし(例えば、利用者の眼球運動や瞳孔反応などを分析することで利用者の嗜好性の推定を行ってもよいし)、利用者の生体情報(生体反応)を計測する生体情報(生体反応)計測技術を用いて利用者が視聴中の映像動画に登場するキャラクターの発話時の脳波や心拍や皮膚温などの生体情報(若しくは生体情報の変化)を計測することで利用者の嗜好性の推定を行ってもよい。また、例えば、記憶支援装置100等は、画面に複数のキャラクターが同時に表示される映像において、画面に表示されている複数のキャラクターのうち所定のキャラクターの発話時にその所定のキャラクターをイメージした香りを提供することで利用者が行ったその所定のキャラクターに対する注視時間やその所定のキャラクターを含むキャラクター間で視線を移動した視線移動回数などの情報と、画面に表示されている複数のキャラクターのうち所定のキャラクターの発話時にその複数のキャラクターのうちその所定のキャラクター以外の他のキャラクターをイメージした香りを提供することで利用者が行ったその所定のキャラクターに対する注視時間やその所定のキャラクターを含むキャラクター間(例えば、その所定のキャラクターとその他のキャラクターとのキャラクター間)で視線を移動した視線移動回数などの情報との関係性に基づき利用者の嗜好性の推定を行ってもよい。例えば、記憶支援装置100等は、発話を行った所定のキャラクターをイメージした香りの提供時(所定のキャラクターの発話時)の発話を行ったその所定のキャラクターに対する注視時間や視線移動回数などの情報と、発話を行ったその所定のキャラクターとは異なる他のキャラクターをイメージした香りの提供時(所定のキャラクターの発話時)の発話を行ったその所定のキャラクターに対する注視時間や視線移動回数などの情報とを比較して、両者の注視時間や視線移動回数などの情報の乖離が大きいほど、その他のキャラクターに対する利用者の嗜好性が高い(若しくは、発話を行ったその所定のキャラクターに対する利用者の嗜好性が低い)と推定し、両者の注視時間や視線移動回数などの情報の乖離が小さいほど、発話を行ったその所定のキャラクターに対する利用者の嗜好性が高い(若しくは、その他のキャラクターに対する利用者の嗜好性が低い)と推定してもよい。
【0436】
(変形例20:映像動画に対応して生成された利用者のための辞書に関する情報を提供する)
上記実施形態及び変形例において、記憶支援装置100等は、所定の頻度(例えば、1時間ごと、1日ごと、1週間ごと)で紹介対象(表示対象)の単語を変更して単語情報の提供を行うサービスを提供する所定のサイトを管理する外部の情報処理装置等へ、映像動画に対応して利用者ごとに生成された利用者のための辞書に関する情報の提供を行ってもよい。この際、例えば、記憶支援装置100等は、映像動画に対応して利用者ごとに生成された利用者のための辞書の第1領域(及び第4領域)の中から無作為に(若しくは、利用者の嗜好に沿った映像動画に対応して生成された利用者のための辞書の第1領域(又は第4領域)に追加された単語ほど優先的に)選択された1又は複数の単語を紹介対象の単語としてサイト内の所定の領域に表示させるための処理を行ってもよい。また、例えば、記憶支援装置100等は、そのように選択された1又は複数の単語とともに、選択された単語が属する辞書の映像動画に関する情報を所定の領域に表示させるための処理を行ってもよい。また、所定の領域に表示させる紹介対象の単語の選択は、そのような所定のサイトを管理する外部の情報処理装置等が行ってもよいし、記憶支援装置100等が行ってもよい。
【0437】
(変形例21:利用者の属性に応じた言語及び利用者の学習中の言語を特定する)
上記実施形態及び変形例において、記憶支援装置100等は、利用者情報を取得することで、取得した利用者情報から、利用者の属性に応じた言語や、利用者の学習中の言語を特定してもよい。例えば、記憶支援装置100等は、利用者が予め登録した利用者の属性や学習中の言語などの情報を利用者情報として記憶した外部の情報処理装置等(若しくは、記憶部120等)から利用者情報を取得することで、利用者の属性に応じた言語や、利用者の学習中の言語を特定してもよい。なお、利用者情報には、利用者の属性や学習中の言語などの情報の他に、例えば、利用者の学習目標や購買履歴や投稿履歴や閲覧履歴などの情報が含まれてもよい。また、例えば、記憶支援装置100等は、利用者の属性に応じた言語や、利用者の学習中の言語を推定してもよい。例えば、記憶支援装置100等は、利用者が過去に視聴した映像動画情報を取得することで、取得した映像動画情報に基づき、利用者の属性に応じた言語や、利用者の学習中の言語を推定してもよい。例えば、記憶支援装置100等は、取得した映像動画情報から、映像動画が主な対象とした視聴者の属性、映像動画の音声の言語、利用者が映像動画を視聴時の音声の言語、映像動画の字幕の言語、利用者が映像動画を視聴時の字幕の言語などを特定することで、利用者の属性に応じた言語や、利用者の学習中の言語を推定してもよい。また、例えば、記憶支援装置100等は、映像動画に対応して利用者ごとに生成された利用者のための辞書に関する情報に基づき、利用者の属性に応じた言語や、利用者の学習中の言語を推定してもよい。例えば、記憶支援装置100等は、映像動画に対応して利用者のために生成された辞書の第1領域に追加された単語情報や第2領域に追加された字幕情報などの情報(他の所定の領域に追加された情報でもよい。)に基づき、利用者の属性に応じた言語や、利用者の学習中の言語を推定してもよい。この際、第1領域(他の所定の領域でもよい。)に追加された単語の言語が複数ある場合(換言すると、第1領域(他の所定の領域でもよい。)に複数の単語の言語が含まれる場合)には、記憶支援装置100等は、例えば、映像動画に対応して利用者のために生成された全ての辞書の第1領域に追加された単語情報や第2領域に追加された字幕情報などの情報(他の所定の領域に追加された情報でもよい。)に基づき、統計的に、利用者の属性に応じた言語や、利用者の学習中の言語を推定してもよい。また、例えば、記憶支援装置100等は、映像動画に対応して利用者のために生成された辞書の第1領域に追加された単語情報(他の所定の領域に追加された情報でもよい。)が類似する他の利用者を特定し、映像動画に対応して他の利用者のために生成された辞書の第1領域に追加された単語情報や第2領域に追加された字幕情報などの情報(他の所定の領域に追加された情報でもよい。)に基づき、利用者の属性に応じた言語や、利用者の学習中の言語を推定してもよい。なお、記憶支援装置100等は、利用者の属性に応じた言語の推定や学習中の言語の推定以外にも、このように特定した他の利用者のために生成された辞書の第1領域に追加された単語情報や第2領域に追加された字幕情報などの情報(他の所定の領域に追加された情報でもよい。)に基づき、利用者の学習目標や購買履歴や投稿履歴や閲覧履歴などの推定を行ってもよい。
【0438】
(変形例22:キャラクターをイメージした香りが提供されたキャラクターの特徴情報に基づき利用者の嗜好性を推定する)
上述実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。上記実施形態及び変形例において、上記実施形態及び変形例を適宜組み合わせた処理の一例として、記憶支援装置100等は、映像動画に対応して利用者のために生成された辞書の第1領域に単語を追加するために利用者が選択した単語(若しくは、利用者が単語を選択することで映像動画に対応した辞書の第1領域に追加された単語)に対応した発話を行ったキャラクターのうち利用者の単語の選択によって発話者であるキャラクターをイメージした香りが提供されたキャラクターの特徴情報に基づいて、利用者の嗜好性の推定を行ってもよい。例えば、記憶支援装置100等は、このようなキャラクターの特徴情報に基づいて、利用者のキャラクターに対する嗜好性や衣装に対する嗜好性の推定を行ってもよい。また、記憶支援装置100等は、映像動画に対応して利用者のために生成された辞書の第1領域に単語を追加するために利用者が指定した所定の辞書の学習用単語(若しくは、利用者が所定の辞書を指定することで映像動画に対応した辞書の第1領域に追加された学習用単語又は利用者が指定した所定の辞書の学習用単語が字幕に登場することで映像動画に対応した辞書の第1領域に追加された学習用単語)に対応した発話を行ったキャラクターのうち学習用単語の登場によって発話者であるキャラクターをイメージした香りが提供されたキャラクターの特徴情報に基づいて、利用者の嗜好性の推定を行ってもよい。例えば、記憶支援装置100等は、このようなキャラクターの特徴情報に基づいて、利用者のキャラクターに対する嗜好性や衣装に対する嗜好性の推定を行ってもよい。また、記憶支援装置100等は、表示中の字幕の発話者であるキャラクターをイメージした香りを香るために利用者が選択した単語(若しくは、利用者が単語を選択することで映像動画に対応した辞書の第1領域に追加された単語)に対応した発話を行ったキャラクターのうち利用者の単語の選択によって発話者であるキャラクターをイメージした香りが提供されたキャラクターの特徴情報に基づいて、利用者の嗜好性の推定を行ってもよい。例えば、記憶支援装置100等は、このようなキャラクターの特徴情報に基づいて、利用者のキャラクターに対する嗜好性や衣装に対する嗜好性の推定を行ってもよい。また、記憶支援装置100等は、映像動画の視聴とともに字幕の発話者であるキャラクターをイメージした香りを香るために利用者が指定した所定の辞書の学習用単語(若しくは、利用者が所定の辞書を指定することで映像動画に対応した辞書の第1領域に追加された学習用単語又は利用者が指定した所定の辞書の学習用単語が字幕に登場することで映像動画に対応した辞書の第1領域に追加された学習用単語)に対応した発話を行ったキャラクターのうち学習用単語の登場によって発話者であるキャラクターをイメージした香りが提供されたキャラクターの特徴情報に基づいて、利用者の嗜好性の推定を行ってもよい。例えば、記憶支援装置100等は、このようなキャラクターの特徴情報に基づいて、利用者のキャラクターに対する嗜好性や衣装に対する嗜好性の推定を行ってもよい。また、記憶支援装置100等は、表示中の字幕の発話者であるキャラクターをイメージした香りを香るために利用者が選択した単語に対応した発話を行ったキャラクターのうち利用者の単語の選択によって映像動画に対応した辞書の第1領域に追加された単語の字幕の発話者であるキャラクターの特徴情報に基づいて、利用者の嗜好性の推定を行ってもよい。例えば、記憶支援装置100等は、このようなキャラクターの特徴情報に基づいて、利用者のキャラクターに対する嗜好性や衣装に対する嗜好性の推定を行ってもよい。また、記憶支援装置100等は、映像動画の視聴とともに字幕の発話者であるキャラクターをイメージした香りを香るために利用者が指定した所定の辞書の学習用単語が登場する字幕の発話者であるキャラクターの特徴情報に基づいて、利用者の嗜好性の推定を行ってもよい。例えば、記憶支援装置100等は、このようなキャラクターの特徴情報に基づいて、利用者のキャラクターに対する嗜好性や衣装に対する嗜好性の推定を行ってもよい。
【0439】
(変形例23:利用者の学習中の言語に対する利用者の習得度を推定する)
上記実施形態及び変形例(特に実施形態5)では、利用者の嗜好性の推定のために、映像動画に対応して生成された利用者のための辞書を用いる場合を示したが、このような辞書を用いた推定は利用者の嗜好性の推定に特に限定されなくてもよい。すなわち、上記実施形態及び変形例において、利用者の嗜好性以外の他の情報の推定のために、映像動画に対応して生成された利用者のための辞書が用いられてもよい。変形例23では、利用者の学習中の言語の習得度合い(学習レベル)の推定のために、映像動画に対応して生成された利用者のための辞書を用いる場合を示す。
【0440】
利用者の属性に応じた言語で発話された音声が利用者の学習中の言語で翻訳された字幕付きの映像動画の視聴において、音声を聞いて発話を理解しながら発話の内容と字幕に含まれる単語との対応付けを行うことで単語の意味や使い方を理解するには、利用者の学習中の言語の習得度合いによっては時間を要する場合もあり得る。例えば、発話が短く、字幕の表示時間が短い場合には、字幕を読み切る前に字幕が消えてしまう場合もあり得る。
【0441】
上記実施形態及び変形例において、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度を推定してもよい。例えば、記憶支援装置100等は、映像動画に対応して利用者ごとに生成された利用者のための辞書に関する情報に基づき、利用者の学習中の言語に対する利用者の習得度を推定してもよい。例えば、記憶支援装置100等は、このような辞書の第1領域(又は第4領域など)に含まれる単語(又は学習用単語など)の難易度を統計的に推定することで、利用者の学習中の言語に対する利用者の習得度を推定してもよい。この際、記憶支援装置100等は、例えば、単語と単語の難易度とが対応付けて予め定められたデータベースから、このような辞書に含まれる単語の難易度を特定してもよい。そして、記憶支援装置100等は、例えば、このような辞書に含まれる全ての単語の難易度を特定することで、推定した統計的な単語の難易度に基づいて、利用者の学習中の言語に対する利用者の習得度を推定してもよい。この際、記憶支援装置100等は、例えば、単語の難易度と言語の習得度とが対応付けて予め定められたデータベースに基づいて、利用者の学習中の言語に対する利用者の習得度を推定してもよい。また、記憶支援装置100等は、利用者が視聴した映像動画ごとに、利用者の学習中の言語に対する利用者の習得度を推定してもよい。また、記憶支援装置100等は、辞書の第1領域に含まれる単語(又は学習用単語など)のうち、対応する字幕の発話者であるキャラクターが利用者の嗜好に沿った特徴のキャラクターである単語の難易度に基づいて、利用者の学習中の言語に対する利用者の習得度を推定してもよい。
【0442】
(変形例24:利用者に応じて利用者の視聴中の映像動画の再生速度を変更する)
上記実施形態及び変形例において、記憶支援装置100等は、利用者の学習中の言語(すなわち、利用者の視聴中の映像動画で表示されている字幕の言語(換言すると、利用者が映像動画を視聴中の字幕の言語))に対する利用者の習得度に応じて、利用者の視聴中の映像動画が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が高い場合には、予め定められた再生速度(映像動画ごとに定められた再生速度でもよい。)よりも速い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が高い場合には、予め定められた再生速度の1.2倍速で再生されるように再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の習得度が低い場合には、予め定められた再生速度よりも遅い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が低い場合には、予め定められた再生速度の0.8倍速で再生されるように再生速度を変更してもよい。このように、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて、利用者の学習中の言語に翻訳された字幕付きの映像動画(利用者の視聴中の映像動画)が再生される再生速度を変更してもよい。
【0443】
記憶支援装置100等は、利用者の視聴中の映像動画に対する利用者の嗜好性に応じて、利用者の視聴中の映像動画が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、予め定められた再生速度よりも遅い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、予め定められた再生速度の0.8倍速で再生されるように再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、予め定められた再生速度よりも速い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、予め定められた再生速度の1.2倍速で再生されるように再生速度を変更してもよい。このように、記憶支援装置100等は、利用者の視聴中の映像動画に対する利用者の嗜好性に応じて、利用者の学習中の言語に翻訳された字幕付きの映像動画(利用者の視聴中の映像動画)が再生される再生速度を変更してもよい。この際、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて変更された再生速度を基準速度として、この基準速度に基づき、利用者の視聴中の映像動画に対する利用者の嗜好性に応じて、利用者の視聴中の映像動画が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、基準速度よりも遅い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、基準速度の0.8倍速で再生されるように再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、基準速度よりも速い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、基準速度の1.2倍速で再生されるように再生速度を変更してもよい。このように、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度と、利用者の視聴中の映像動画に対する利用者の嗜好性とに基づいて、利用者の視聴中の映像動画が再生される再生速度を変更してもよい。
【0444】
(変形例25:利用者に応じて利用者の視聴中の映像動画の字幕の表示時間を変更する)
上記実施形態及び変形例において、記憶支援装置100等は、利用者の学習中の言語(すなわち、利用者の視聴中の映像動画で表示されている字幕の言語(換言すると、利用者が映像動画を視聴中の字幕の言語))に対する利用者の習得度に応じて、利用者の視聴中の映像動画の字幕の表示時間を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が高い場合には、字幕ごとに予め定められた表示時間よりも短く表示されるように字幕ごとに表示時間を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が高い場合には、字幕ごとに予め定められた表示時間よりも1秒短く表示されるように字幕ごとに表示時間を変更してもよい。また、例えば、記憶支援装置100等は、利用者の習得度が低い場合には、字幕ごとに予め定められた表示時間よりも長く表示されるように字幕ごとに表示時間を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が低い場合には、字幕ごとに予め定められた表示時間よりも1秒長く表示されるように字幕ごとに表示時間を変更してもよい。また、例えば、記憶支援装置100等は、利用者の習得度が低い場合には、字幕ごとに次の字幕が表示される直前(例えば、次の字幕が表示される1秒前)まで表示されるように字幕ごとに表示時間を変更してもよい。このように、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて、利用者の学習中の言語に翻訳された字幕付きの映像動画(利用者の視聴中の映像動画)の字幕の表示時間を変更してもよい。
【0445】
記憶支援装置100等は、字幕の発話者であるキャラクターに対する利用者の嗜好性に応じて、利用者の視聴中の映像動画の字幕の表示時間を字幕ごとに変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、予め定められた表示時間よりも長く表示されるように字幕の表示時間を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、予め定められた表示時間よりも1秒長く表示されるように字幕の表示時間を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、次の字幕が表示される直前(例えば、次の字幕が表示される1秒前)まで表示されるように字幕の表示時間を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、予め定められた表示時間よりも短く表示されるように字幕の表示時間を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、予め定められた表示時間よりも1秒短く表示されるように字幕の表示時間を変更してもよい。このように、記憶支援装置100等は、字幕の発話者であるキャラクターに対する利用者の嗜好性に応じて、利用者の学習中の言語に翻訳された字幕付きの映像動画(利用者の視聴中の映像動画)の字幕の表示時間を字幕ごとに変更してもよい。この際、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて変更された字幕ごとの表示時間を字幕ごとの基準時間として、この字幕ごとの基準時間に基づき、字幕の発話者であるキャラクターに対する利用者の嗜好性に応じて、利用者の視聴中の映像動画の字幕の表示時間を字幕ごとに変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、基準時間よりも長く表示されるように字幕の表示時間を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、基準時間よりも1秒長く表示されるように字幕の表示時間を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、次の字幕が表示される直前まで表示されるように字幕の表示時間を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、基準時間よりも短く表示されるように字幕の表示時間を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、予め定められた表示時間よりも1秒短く表示されるように字幕の表示時間を変更してもよい。このように、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度と、字幕の発話者であるキャラクターに対する利用者の嗜好性とに基づいて、利用者の視聴中の映像動画の字幕の表示時間を字幕ごとに変更してもよい。
【0446】
(変形例26:コミック作品を用いて各種処理を行う)
上記実施形態及び変形例において、映像動画が、利用者の属性に応じた言語で発話された音声の音声コンテンツ(予め朗読したものを録音した音声コンテンツ)とともに視聴可能な電子コミックである場合には、記憶支援装置100等は、吹き出しに含まれる台詞を字幕として第2領域に追加することで辞書を生成してもよい。なお、音声コンテンツとともに視聴可能な電子コミックとは、例えば、利用者の所定の操作(例えば、指定したページを表示する操作、次のページを表示する操作、前のページを表示する操作、コマを選択する操作、吹き出しを選択する操作など)に応じて録音された音声が音声コンテンツ(環境音や効果音などを含んでもよい。)に基づき再生される電子コミックである。例えば、音声コンテンツとともに視聴可能な電子コミックは、利用者が所定のページを表示する操作を行うと、利用者の所定のページを表示する操作に基づき、所定のページに含まれる(全ての)コマの(全ての)吹き出しの台詞に対応した音声が再生される電子コミックである。また、例えば、音声コンテンツとともに視聴可能な電子コミックは、利用者が所定のコマを選択する操作を行うと、利用者の所定のコマを選択する操作に基づき、所定のコマに含まれる(全ての)吹き出しの台詞に対応した音声が再生される電子コミックである。また、例えば、音声コンテンツとともに視聴可能な電子コミックは、利用者が所定の吹き出しを選択する操作を行うと、利用者の所定の吹き出しを選択する操作に基づき、所定の吹き出しに含まれる台詞に対応した音声が再生される電子コミックである。記憶支援装置100等は、利用者が吹き出しに含まれる台詞の中から単語を選択すると、選択された単語とともに選択された単語を含む台詞とを抽出して、抽出した単語(選択された単語)を第1領域に追加し、抽出した台詞(選択された単語を含む台詞)とを第2領域に追加することで辞書を生成してもよい。この際、記憶支援装置100等は、利用者が吹き出しに含まれる台詞の中から単語を選択することで吹き出しに含まれる台詞を抽出する場合に限られず、利用者が吹き出しを選択することで吹き出しに含まれる台詞を抽出してもよい。例えば、記憶支援装置100等は、利用者が選択した吹き出しに、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、吹き出しに含まれる台詞とともにその台詞に含まれる学習用単語とを抽出してもよい。また、記憶支援装置100等は、利用者が吹き出しに含まれる台詞の中から単語を選択することで吹き出しに含まれる台詞を抽出する場合に限られず、利用者がコマを選択することでコマに含まれる吹き出しの台詞を抽出してもよい。例えば、記憶支援装置100等は、利用者が選択したコマに、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、コマに含まれる(全ての)吹き出しの台詞とともにそのコマに含まれる学習用単語とを抽出してもよい。また、記憶支援装置100等は、利用者が視聴中の電子コミックの台詞に、利用者が予め指定した所定の辞書の学習用単語が登場する場合には、学習用単語とともに学習用単語を含む台詞とを抽出して、抽出した学習用単語を第1領域に追加し、抽出した台詞(学習用単語を含む台詞)とを第2領域に追加することで辞書を生成してもよい。また、利用者の属性に応じた言語で発話された音声の音声コンテンツとともに視聴可能な電子コミックに限られず、記憶支援装置100等は、利用者の属性に応じた言語の台詞と利用者の学習中の言語の台詞(利用者の属性に応じた言語の台詞を翻訳した台詞)とを利用者の所定の操作(例えば、電子コミックを視聴中の画面上でのワンタップやワンクリックなど)に応じて切り替え可能な電子コミック(利用者の属性に応じた言語の台詞が利用者の属性に応じた言語で発話された音声の音声コンテンツを含む電子コミックでもよい。)において、利用者の学習中の言語の台詞を字幕として第2領域に追加することで辞書を生成してもよい。例えば、記憶支援装置100等は、利用者が学習中の言語の台詞で電子コミックを視聴中(利用者の学習中の言語で翻訳された台詞を表示中)に利用者が選択(例えば、単語の選択、吹き出しの選択、コマの選択など)を行うことで利用者の学習中の言語の台詞を抽出して辞書を生成してもよい。また、例えば、記憶支援装置100等は、利用者の属性に応じた言語の台詞で電子コミックを視聴中(利用者の属性に応じた言語の台詞を表示中)に利用者が選択(例えば、吹き出しの選択、コマの選択など)を行うことで利用者の学習中の言語の台詞を抽出して辞書を生成してもよい。この際、記憶支援装置100等は、例えば、利用者の属性に応じた言語の台詞(若しくは、利用者の属性に応じた言語の台詞を含む吹き出しやコマなど)と利用者の学習中の言語の台詞(若しくは、利用者の学習中の言語の台詞を含む吹き出しやコマなど)とが電子コミックごとに対応付けて予め定められたデータベースから、利用者の選択に応じた利用者の学習中の言語の台詞を抽出することで辞書を生成してもよい。なお、このようなデータベースでは、例えば、作品が同一で台詞の言語が異なる複数の電子コミックのコミック情報(例えば、台詞情報、吹き出し情報、コマ情報など)を言語版ごとに収集する(換言すると、複数の言語版の電子コミックのコミック情報を作品ごとに収集する)ことで、それぞれの言語版の台詞や吹き出しやコマなどが対応付けて定められている。そして、利用者の所定の操作に応じて言語が切り替え可能な電子コミックでは、例えば、利用者の属性に応じた言語の台詞で電子コミックを視聴中に所定の吹き出し(又は所定の台詞)を選択すると、その所定の吹き出し(又はその所定の台詞を含む吹き出し)が、その所定の吹き出しに対応する吹き出しとして予め定められた利用者の学習中の言語版の吹き出しに置換(例えば、その所定の吹き出し部分のみレイヤーを重畳させて表示させる置換でもよい。)されて表示される。この際、その所定の吹き出しを含むコマにおいて、その所定の吹き出しのみが置換されてもよいし、コマ全体又はページ全体が置換されてもよい。また、利用者の所定の操作に応じて言語が切り替え可能な電子コミックでは、例えば、利用者の属性に応じた言語の台詞で電子コミックを視聴中に所定のコマ(又は所定の吹き出し)を選択すると、その所定のコマ(又はその所定の吹き出しを含むコマ)が、その所定のコマに対応するコマとして予め定められた利用者の学習中の言語版のコマに置換(例えば、その所定のコマ部分のみレイヤーを重畳させて表示させる置換でもよい。)されて表示される。この際、その所定のコマを含むページにおいて、その所定のコマのみが置換されてもよいし、ページ全体が置換されてもよい。なお、このような言語の切り替えは一例であり特に限定されなくてもよい。
【0447】
記憶支援装置100等は、所定言語(例えば、利用者の属性に応じた言語)で発話された音声の音声コンテンツとともに、所定言語とは異なる他の言語(例えば、利用者の学習中の言語)に音声の台詞(所定言語で発話された音声の台詞)が翻訳された台詞で視聴可能な映像作品(例えば、電子コミックなどのコミック作品)の台詞情報を取得してもよい。例えば、記憶支援装置100等は、このような映像作品(所定言語で発話された音声の音声コンテンツとともに所定言語とは異なる他の言語の台詞で視聴可能な映像作品)の吹き出しの中から利用者が所定の吹き出しを選択した場合に、映像作品の台詞情報(例えば、映像作品全体の台詞情報、若しくは、映像作品全体の台詞情報のうちの所定の吹き出しの台詞情報)を取得してもよい。また、例えば、記憶支援装置100等は、利用者が視聴中の映像作品が、このような映像作品(所定言語で発話された音声の音声コンテンツとともに所定言語とは異なる他の言語の台詞で視聴可能な映像作品)である場合に、映像作品の台詞情報を取得してもよい。また、記憶支援装置100等は、所定言語(例えば、利用者の属性に応じた言語)の台詞と所定言語とは異なる他の言語(例えば、利用者の学習中の言語)に台詞(所定言語の台詞)が翻訳された台詞とを所定の操作に応じて切り替え可能な映像作品の台詞情報を取得してもよい。例えば、記憶支援装置100等は、このような映像作品(所定言語の台詞と所定言語とは異なる他の言語の台詞とを所定の操作に応じて切り替え可能な映像作品)の吹き出しの中から利用者が所定の吹き出しを選択した場合に、映像作品の台詞情報(例えば、映像作品全体の台詞情報、若しくは、映像作品全体の台詞情報のうちの所定の吹き出しの台詞情報)を取得してもよい。また、例えば、記憶支援装置100等は、利用者が視聴中の映像作品が、このような映像作品(所定言語の台詞と所定言語とは異なる他の言語の台詞とを所定の操作に応じて切り替え可能な映像作品)である場合に、映像作品の台詞情報を取得してもよい。また、記憶支援装置100等は、このような映像作品(所定言語で発話された音声の音声コンテンツとともに所定言語とは異なる他の言語の台詞で視聴可能な映像作品、若しくは、所定言語の台詞と所定言語とは異なる他の言語の台詞とを所定の操作に応じて切り替え可能な映像作品)のコマの中から利用者が所定のコマを選択した場合に、映像作品の台詞情報(例えば、映像作品全体の台詞情報、若しくは、映像作品全体の台詞情報のうちの所定のコマに含まれる吹き出しの台詞情報)を取得してもよい。
【0448】
記憶支援装置100等は、利用者が視聴中の言語版に紐づけて予め定められた他の言語版の映像作品の台詞情報を取得してもよい。例えば、記憶支援装置100等は、利用者が視聴中の所定言語の台詞に紐づけて予め定められた他の言語の台詞の台詞情報(例えば、利用者が視聴中の言語版に紐づけて予め定められた他の言語版の映像作品全体の台詞情報、若しくは、利用者が視聴中の言語版に紐づけて予め定められた他の言語版の映像作品全体の台詞情報のうちの所定の吹き出し(若しくは、所定のコマなど)に紐づけて予め定められた他の言語版の吹き出しの台詞情報(若しくは、所定のコマに紐づけて予め定められた他の言語版のコマに含まれる吹き出しの台詞情報など))を取得してもよい。
【0449】
記憶支援装置100等は、映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、その所定の吹き出しの発話者であるキャラクターに対する利用者の嗜好性に基づいて、その所定の吹き出しに含まれる台詞と、その所定の吹き出しに含まれる学習用単語(すなわち、その所定の吹き出しの台詞に含まれる学習用単語)とを抽出してもよい。また、記憶支援装置100等は、映像作品のコマの中から利用者が選択した所定のコマに、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、その所定のコマに含まれる吹き出しの発話者であるキャラクターに対する利用者の嗜好性に基づいて、その所定のコマに含まれる吹き出しの台詞と、その所定のコマに含まれる学習用単語(すなわち、その所定のコマに含まれる吹き出しの台詞に含まれる学習用単語)とを抽出してもよい。
【0450】
記憶支援装置100等は、映像作品の吹き出しの中から利用者が選択した所定の吹き出しに紐づけて予め定められた吹き出し(利用者が視聴中の言語版とは異なる言語版の吹き出し)に、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、その所定の吹き出しの発話者であるキャラクターに対する利用者の嗜好性に基づいて、その所定の吹き出しに紐づけて予め定められた吹き出しに含まれる台詞と、その所定の吹き出しに紐づけて予め定められた吹き出しに含まれる学習用単語(すなわち、その所定の吹き出しに紐づけて予め定められた吹き出しの台詞に含まれる学習用単語)とを抽出してもよい。また、記憶支援装置100等は、映像作品のコマの中から利用者が選択した所定のコマに紐づけて予め定められたコマ(利用者が視聴中の言語版とは異なる言語版のコマ)に、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、その所定のコマに含まれる吹き出しの発話者であるキャラクターに対する利用者の嗜好性に基づいて、その所定のコマに紐づけて予め定められたコマに含まれる吹き出しの台詞と、その所定のコマに紐づけて予め定められたコマに含まれる学習用単語(すなわち、その所定のコマに紐づけて予め定められたコマに含まれる吹き出しの台詞に含まれる学習用単語)とを抽出してもよい。
【0451】
記憶支援装置100等は、抽出した学習用単語を映像作品に対応した第1領域に追加し、抽出した台詞を映像作品に対応した第2領域に追加することで、映像作品に対応した辞書を生成してもよい。例えば、記憶支援装置100等は、抽出した学習用単語を、映像作品ごとに設定された第1領域のうち利用者が視聴中の映像作品に対応した第1領域に追加し、抽出した台詞を、第1領域に対応して映像作品ごとに設定された第2領域であって第1領域に追加された学習用単語の記憶を支援するための利用者が視聴中の映像作品に対応した第2領域に追加することで、映像作品ごとに、利用者が選択した所定の吹き出しに含まれる学習用単語(すなわち、その所定の吹き出しの台詞に含まれる学習用単語)をまとめた辞書を生成してもよい。また、記憶支援装置100等は、映像作品ごとに、利用者が選択した所定のコマに含まれる学習用単語(すなわち、その所定のコマに含まれる吹き出しの台詞に含まれる学習用単語)をまとめた辞書を生成してもよい。また、記憶支援装置100等は、映像作品ごとに、利用者が選択した所定の吹き出しに紐づけて予め定められた吹き出しに含まれる学習用単語(すなわち、その所定の吹き出しに紐づけて予め定められた吹き出しの台詞に含まれる学習用単語)をまとめた辞書を生成してもよい。また、記憶支援装置100等は、映像作品ごとに、利用者が選択した所定のコマに紐づけて予め定められたコマに含まれる学習用単語(すなわち、その所定のコマに紐づけて予め定められたコマに含まれる吹き出しの台詞に含まれる学習用単語)をまとめた辞書を生成してもよい。
【0452】
記憶支援装置100等は、映像作品の吹き出し全体に対する所定の吹き出しの表示順に基づき、映像作品の吹き出しの中で所定の吹き出しが表示される表示順が早いほど上位に表示されるように、抽出した学習用単語を利用者が視聴中の映像作品に対応した第1領域に追加し、抽出した台詞を利用者が視聴中の映像作品に対応した第2領域に追加することで、利用者が視聴中の映像作品に対応した辞書を更新してもよい。例えば、記憶支援装置100等は、第1領域への学習用単語の追加時に、映像作品の吹き出しの中で所定の吹き出しが表示される表示順が早いほど、その所定の吹き出し(若しくは、その所定の吹き出しに紐づけて予め定められた吹き出し)に含まれる学習用単語が上位に表示されるように辞書を更新してもよい。また、記憶支援装置100等は、映像作品のコマ全体に対する所定のコマの表示順に基づき、映像作品のコマの中で所定のコマが表示される表示順が早いほど上位に表示されるように辞書を更新してもよい。例えば、記憶支援装置100等は、第1領域への学習用単語の追加時に、映像作品のコマの中で所定のコマが表示される表示順が早いほど、その所定のコマ(若しくは、その所定のコマに紐づけて予め定められたコマ)に含まれる学習用単語が上位に表示されるように辞書を更新してもよい。
【0453】
(変形例27:コミック作品の台詞に応じて表示の態様を変更する)
変形例26において、記憶支援装置100等は、利用者が視聴中の言語版の映像作品の台詞に、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、学習用単語が登場する台詞の表示の態様を所定の態様に変更して表示させてもよい。例えば、記憶支援装置100等は、学習用単語が登場する台詞の表示中(例えば、学習用単語が登場する台詞のページを視聴中)、その台詞に含まれる学習用単語の表示の態様を変更してもよいし、その台詞全体の表示の態様を変更してもよいし、その台詞を含む吹き出しやコマなどの所定の領域の表示の態様を変更してもよい。例えば、記憶支援装置100等は、そのような台詞を含む吹き出しやコマなどの所定の領域を目立つ態様で表示させるために、そのような吹き出しやコマなどの所定の領域に対して、そのような台詞の発話者であるキャラクターに応じた情報(例えば、台詞の発話者であるキャラクターを示す情報(例えば、アイコンなど))を付与してもよい。そして、記憶支援装置100等は、表示の態様が変更された学習用単語が登場する所定の吹き出し(若しくは、所定のコマなど)、表示の態様が変更された台詞が登場する所定の吹き出し(若しくは、所定のコマなど)、若しくは、表示の態様が変更された所定の吹き出し(若しくは、所定のコマなど)を選択した場合に、その所定の吹き出しに含まれる台詞(若しくは、所定のコマなどに含まれる吹き出しの台詞)と、その所定の吹き出しに含まれる学習用単語(若しくは、所定のコマなどに含まれる吹き出しの台詞に含まれる学習用単語)とを抽出してもよい。
【0454】
記憶支援装置100等は、利用者が視聴中の言語版に紐づけて予め定められた他の言語版の映像作品の台詞に、利用者が予め指定した所定の辞書の学習用単語が含まれる場合には、学習用単語が登場する他の言語版の台詞に対応する台詞(すなわち、利用者が視聴中の言語版の台詞)の表示の態様を所定の態様に変更して表示させてもよい。例えば、記憶支援装置100等は、学習用単語が登場する他の言語版の台詞に対応する台詞(すなわち、利用者が視聴中の言語版の台詞)の表示中(例えば、学習用単語が登場する他の言語版の台詞に対応する台詞(すなわち、利用者が視聴中の言語版の台詞)のページを視聴中)、その台詞(利用者が視聴中の言語版の台詞)の表示の態様を変更してもよいし、その台詞(利用者が視聴中の言語版の台詞)を含む吹き出しやコマなどの所定の領域の表示の態様を変更してもよい。例えば、記憶支援装置100等は、そのような台詞(学習用単語が登場する他の言語版の台詞に対応する台詞)を含む吹き出しやコマなどの所定の領域を目立つ態様で表示させるために、そのような吹き出しやコマなどの所定の領域に対して、そのような台詞(学習用単語が登場する他の言語版の台詞に対応する台詞)の発話者であるキャラクターに応じた情報を付与してもよい。そして、記憶支援装置100等は、表示の態様が変更された台詞が登場する所定の吹き出し(若しくは、所定のコマなど)、若しくは、表示の態様が変更された所定の吹き出し(若しくは、所定のコマなど)を選択した場合に、その所定の吹き出しに紐づけて予め定められた吹き出しに含まれる台詞(若しくは、所定のコマなどに紐づけて予め定められたコマなどに含まれる吹き出しの台詞)と、その所定の吹き出しに紐づけて予め定められた吹き出しに含まれる学習用単語(若しくは、所定のコマなどに紐づけて予め定められたコマなどに含まれる学習用単語)(すなわち、その所定の吹き出しに紐づけて予め定められた吹き出しの台詞に含まれる学習用単語(若しくは、所定のコマなどに紐づけて予め定められたコマなどに含まれる吹き出しの台詞に含まれる学習用単語))とを抽出してもよい。
【0455】
(変形例28:台詞の発話者であるキャラクターに応じて音声の再生速度を変更する)
変形例26及び変形例27において、記憶支援装置100等は、利用者の学習中の言語(すなわち、利用者の視聴中の映像作品で表示されている台詞の言語(換言すると、利用者が映像作品を視聴中の台詞の言語))に対する利用者の習得度に応じて、台詞の音声が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が高い場合には、台詞の朗読の録音時の音声速度(台詞の発話者であるキャラクターの音声を録音するために朗読者が台詞を朗読した際の朗読速度)よりも速い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が高い場合には、台詞の朗読の録音時の音声速度の1.2倍速で再生されるように再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の習得度が低い場合には、台詞の朗読の録音時の音声速度よりも遅い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の習得度が低い場合には、台詞の朗読の録音時の音声速度の0.8倍速で再生されるように再生速度を変更してもよい。このように、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて、利用者の学習中の言語版で映像作品を視聴中に台詞の音声が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて、利用者が選択した所定の吹き出しに含まれる台詞(若しくは、所定のコマなどに含まれる吹き出しの台詞)の音声が再生される再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて、利用者が選択した所定の吹き出しに紐づけて予め定められた吹き出しに含まれる台詞(若しくは、所定のコマなどに紐づけて予め定められたコマなどに含まれる吹き出しの台詞)の音声が再生される再生速度を変更してもよい。
【0456】
記憶支援装置100等は、台詞の発話者であるキャラクターに対する利用者の嗜好性に応じて、台詞の音声が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、台詞の朗読の録音時の音声速度よりも遅い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、台詞の朗読の録音時の音声速度の0.8倍速で再生されるように再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、台詞の朗読の録音時の音声速度よりも速い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、台詞の朗読の録音時の音声速度の1.2倍速で再生されるように再生速度を変更してもよい。このように、記憶支援装置100等は、台詞の発話者であるキャラクターに対する利用者の嗜好性に応じて、利用者の学習中の言語版で映像作品を視聴中に台詞の音声が再生される再生速度を変更してもよい。この際、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度に応じて変更された再生速度を基準速度として、この基準速度に基づき、台詞の発話者であるキャラクターに対する利用者の嗜好性に応じて、台詞の音声が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、基準速度よりも遅い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が高い場合には、基準速度の0.8倍速で再生されるように再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、基準速度よりも速い速度で再生されるように再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の嗜好性が低い場合には、基準速度の1.2倍速で再生されるように再生速度を変更してもよい。このように、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度と、台詞の発話者であるキャラクターに対する利用者の嗜好性とに基づいて、台詞の音声が再生される再生速度を変更してもよい。例えば、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度と、台詞の発話者であるキャラクターに対する利用者の嗜好性とに基づいて、利用者が選択した所定の吹き出しに含まれる台詞(若しくは、所定のコマなどに含まれる吹き出しの台詞)の音声が再生される再生速度を変更してもよい。また、例えば、記憶支援装置100等は、利用者の学習中の言語に対する利用者の習得度と、台詞の発話者であるキャラクターに対する利用者の嗜好性とに基づいて、利用者が選択した所定の吹き出しに紐づけて予め定められた吹き出しに含まれる台詞(若しくは、所定のコマなどに紐づけて予め定められたコマなどに含まれる吹き出しの台詞)の音声が再生される再生速度を変更してもよい。
【0457】
(変形例29:利用者の映像作品の視聴情報に基づき辞書を生成する)
上記実施形態及び変形例において、記憶支援装置100等は、利用者が視聴した映像作品ごとに映像作品ごとの利用者の視聴情報(視聴履歴)を取得してもよい。例えば、記憶支援装置100等は、利用者が映像作品を視聴した際の視聴開始位置と視聴終了位置との特定が可能な情報(例えば、利用者が映像作品の再生を開始した再生開始位置と再生を終了した再生終了位置とを示す情報)を含む視聴履歴を取得してもよい。例えば、記憶支援装置100等は、利用者U1が「〇×〇×YY1」の映像動画を、最初の視聴時(初回視聴時)に0:00から10:00まで視聴し、次の視聴時(2回目の視聴時)に10:30から20:00まで視聴した場合には、「利用者U1;映像動画〇×〇×YY1;0:00~10:00(初回視聴時)、10:30~20:00(2回目視聴時)」といった視聴履歴を取得してもよい。そして、記憶支援装置100等は、映像作品ごとの利用者の視聴履歴に基づいて映像作品ごとに映像作品に対応した利用者のための辞書を生成(又は更新)してもよい。また、記憶支援装置100等は、利用者が視聴した映像作品が、利用者の言語で発話された音声が利用者の学習中の言語に翻訳された字幕付きの映像作品である場合に、映像作品の字幕情報とともに映像作品に対する利用者の視聴履歴を取得してもよい。また、記憶支援装置100等は、利用者の視聴履歴に基づき利用者の視聴中に映像作品の字幕に登場したと推定された学習用単語と学習用単語を含む字幕とを抽出してもよい。この際、記憶支援装置100等は、利用者の視聴履歴に基づき利用者の視聴中に映像作品の字幕に登場した学習用単語の推定を行ってもよい。すなわち、記憶支援装置100等は、利用者の視聴履歴に基づき利用者の視聴中に映像作品の字幕に登場した学習用単語を推定することで、学習用単語と学習用単語を含む字幕との抽出を行ってもよい。
【0458】
(変形例30:従来技術を適宜適用して利用者の嗜好性を推定するモデルを学習させる)
上記実施形態及び変形例において、モデルの学習手法については、上述した手法に特に限定されなくてもよい。記憶支援装置100等は、機械学習に関する種々の従来技術を適宜用いてモデルの学習を行ってもよい。例えば、記憶支援装置100等は、SVM(Support Vector Machine)等の教師あり学習の機械学習に関する技術を用いてモデルの学習を行ってもよい。また、例えば、記憶支援装置100等は、教師なし学習の機械学習に関する技術を用いてモデルの学習を行ってもよい。例えば、記憶支援装置100等は、深層学習(ディープラーニング)の技術を用いてモデルの学習を行ってもよい。例えば、記憶支援装置100等は、DNN(Deep Neural Network)やRNN(Recurrent Neural Network)やCNN(Convolutional Neural Network)等の種々のディープラーニングの技術を適宜用いてモデルの学習を行ってもよい。なお、これらのモデルの学習手法に関する記載は例示であり、モデルの学習は、取得可能な情報等に応じて適宜選択された学習手法により行われてもよい。すなわち、記憶支援装置100等は、衣装情報提供サーバ300から提供された衣装情報が入力された場合に、利用者の嗜好性を示す情報(例えば、利用者の嗜好に沿った衣装の特徴)を出力するようにモデルを学習可能であれば、どのような学習手法によりモデルの学習を行ってもよい。
【0459】
(変形例31:記憶支援装置のバリエーション)
上記実施形態及び変形例において、記憶支援装置100等は、上記実施形態及び変形例に係る抽出処理を行う抽出装置、上記実施形態及び変形例に係る生成処理を行う生成装置、上記実施形態及び変形例に係る更新処理を行う更新装置、上記実施形態及び変形例に係る表示処理を行う表示装置、上記実施形態及び変形例に係る提案処理を行う提案装置、上記実施形態及び変形例に係る表示変更処理を行う表示変更装置、上記実施形態及び変形例に係る表示制御処理を行う表示制御装置、上記実施形態及び変形例に係る芳香制御処理を行う芳香制御装置、上記実施形態及び変形例に係る推定処理を行う推定装置、上記実施形態及び変形例に係る学習処理を行う学習装置であってもよい。
【0460】
(変形例32:情報処理システムのバリエーション)
上記実施形態及び変形例において、記憶支援装置100等は、上記実施形態及び変形例に係る抽出処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る生成処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る更新処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る表示処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る提案処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る表示変更処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る表示制御処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る芳香制御処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る推定処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置、上記実施形態及び変形例に係る学習処理を行う外部の情報処理装置とともに各種処理を行う情報処理装置であってもよい。
【0461】
<<7.その他>>
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0462】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0463】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0464】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0465】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【0466】
また、本発明を説明するうえで用いた不定冠詞(例えば、英語に翻訳した際の「a」や「an」など)は複数を除外せず、「1のみ」ではなく「1又は複数」をも含み得る。
【0467】
なお、以下のような構成(変形例29に対応)も本発明の技術的範囲に属する。
(1)
利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得手順と、
前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、
をコンピュータに実行させることを特徴とする映像作品を用いた記憶支援プログラム。
(2)
コンピュータが実行する記憶支援方法であって、
利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得工程と、
前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成工程と、
を含むことを特徴とする映像作品を用いた記憶支援方法。
(3)
利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得部と、
前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出部と、
前記抽出部により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成部と、
を有することを特徴とする映像作品を用いた記憶支援装置。
(4)
利用者が視聴した映像作品が、当該利用者の属性に応じた言語で発話された音声が所定言語に翻訳された字幕付きの映像作品である場合に、当該映像作品の字幕情報と当該映像作品に対する当該利用者の視聴情報とを取得する取得手順と、
前記利用者の視聴情報に基づき前記利用者の視聴中に前記映像作品の字幕に登場したと推定された学習用単語と当該学習用単語を含む所定字幕とを、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、
をコンピュータに実行させることを特徴とする映像作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0468】
また、以下のような構成(変形例26に対応)も本発明の技術的範囲に属する。
(1)
所定言語で発話された音声の音声コンテンツとともに、当該所定言語とは異なる他の言語に当該音声の台詞が翻訳された台詞で視聴可能な映像作品の台詞情報を取得する取得手順と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、
をコンピュータに実行させることを特徴とする映像作品を用いた記憶支援プログラム。
(2)
所定言語の台詞と当該所定言語とは異なる他の言語に当該台詞が翻訳された台詞とを所定の操作に応じて切り替え可能な映像作品の台詞情報を取得する取得手順と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、
をコンピュータに実行させることを特徴とする映像作品を用いた記憶支援プログラム。
(3)
コンピュータが実行する記憶支援方法であって、
所定言語で発話された音声の音声コンテンツとともに、当該所定言語とは異なる他の言語に当該音声の台詞が翻訳された台詞で視聴可能な映像作品の台詞情報を取得する取得工程と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出工程により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成工程と、
を含むことを特徴とする映像作品を用いた記憶支援方法。
(4)
コンピュータが実行する記憶支援方法であって、
所定言語の台詞と当該所定言語とは異なる他の言語に当該台詞が翻訳された台詞とを所定の操作に応じて切り替え可能な映像作品の台詞情報を取得する取得工程と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出工程により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成工程と、
を含むことを特徴とする映像作品を用いた記憶支援方法。
(5)
所定言語で発話された音声の音声コンテンツとともに、当該所定言語とは異なる他の言語に当該音声の台詞が翻訳された台詞で視聴可能な映像作品の台詞情報を取得する取得部と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出部と、
前記抽出部により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出部により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成部と、
を有することを特徴とする映像作品を用いた記憶支援装置。
(6)
所定言語の台詞と当該所定言語とは異なる他の言語に当該台詞が翻訳された台詞とを所定の操作に応じて切り替え可能な映像作品の台詞情報を取得する取得部と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出部と、
前記抽出部により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出部により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成部と、
を有することを特徴とする映像作品を用いた記憶支援装置。
(7)
所定言語で発話された音声の音声コンテンツとともに、当該所定言語とは異なる他の言語に当該音声の台詞が翻訳された台詞で視聴可能な映像作品の台詞情報を取得する取得手順と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、
をコンピュータに実行させることを特徴とする映像作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
(8)
所定言語の台詞と当該所定言語とは異なる他の言語に当該台詞が翻訳された台詞とを所定の操作に応じて切り替え可能な映像作品の台詞情報を取得する取得手順と、
前記映像作品の吹き出しの中から利用者が選択した所定の吹き出しに、当該利用者が予め指定した所定辞書の学習用単語が含まれる場合には、当該所定の吹き出しの発話者であるキャラクターに対する当該利用者の嗜好性に基づいて、当該学習用単語と当該所定の吹き出しに含まれる台詞とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を前記映像作品に対応した第1領域に追加し、前記抽出手順により抽出された台詞を前記映像作品に対応した第2領域に追加することで、前記映像作品に対応した辞書を生成する生成手順と、
をコンピュータに実行させることを特徴とする映像作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0469】
また、以下のような構成も本発明の技術的範囲に属する。
(1)
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得手順と、
前記映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該単語と当該所定字幕とを抽出する抽出手順と、
前記所定字幕の表示順に基づき、前記抽出手順により抽出された単語を前記辞書の第1領域に追加し、前記抽出手順により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得手順と、
前記映像動画の所定字幕に登場する前記利用者が予め指定した所定辞書の学習用単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該学習用単語と当該所定字幕とを抽出する抽出手順と、
前記所定字幕の表示順に基づき、前記抽出手順により抽出された学習用単語を前記辞書の第1領域に追加し、前記抽出手順により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(3)
コンピュータが実行する記憶支援方法であって、
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得工程と、
前記映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該単語と当該所定字幕とを抽出する抽出工程と、
前記所定字幕の表示順に基づき、前記抽出工程により抽出された単語を前記辞書の第1領域に追加し、前記抽出工程により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(4)
コンピュータが実行する記憶支援方法であって、
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得工程と、
前記映像動画の所定字幕に登場する前記利用者が予め指定した所定辞書の学習用単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該学習用単語と当該所定字幕とを抽出する抽出工程と、
前記所定字幕の表示順に基づき、前記抽出工程により抽出された学習用単語を前記辞書の第1領域に追加し、前記抽出工程により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(5)
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得部と、
前記映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該単語と当該所定字幕とを抽出する抽出部と、
前記所定字幕の表示順に基づき、前記抽出部により抽出された単語を前記辞書の第1領域に追加し、前記抽出部により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(6)
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得部と、
前記映像動画の所定字幕に登場する前記利用者が予め指定した所定辞書の学習用単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該学習用単語と当該所定字幕とを抽出する抽出部と、
前記所定字幕の表示順に基づき、前記抽出部により抽出された学習用単語を前記辞書の第1領域に追加し、前記抽出部により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(7)
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得手順と、
前記映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該単語と当該所定字幕とを抽出する抽出手順と、
前記所定字幕の表示順に基づき、前記抽出手順により抽出された単語を前記辞書の第1領域に追加し、前記抽出手順により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
(8)
利用者が視聴中の映像動画が、当該利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画である場合に、当該映像動画の字幕情報を取得する取得手順と、
前記映像動画の所定字幕に登場する前記利用者が予め指定した所定辞書の学習用単語が、映像動画ごとに設定された所定の条件に基づいて決定された、前記映像動画に対応して前記利用者のために生成された辞書へ追加される対象となる候補の単語である場合に、当該所定字幕の発話者であるキャラクターに対する前記利用者の嗜好性に基づいて、当該学習用単語と当該所定字幕とを抽出する抽出手順と、
前記所定字幕の表示順に基づき、前記抽出手順により抽出された学習用単語を前記辞書の第1領域に追加し、前記抽出手順により抽出された所定字幕を前記辞書の第2領域に追加することで、前記辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0470】
また、以下のような構成(実施形態5に対応)も本発明の技術的範囲に属する。
(1)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された特徴のキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記推定手順は、
前記所定の条件を満たすキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿ったキャラクターの特徴を推定する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記推定手順は、
前記所定の条件を満たすキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿った衣装の特徴を推定し、
前記抽出手順は、
前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された特徴の衣装を着用するキャラクターである場合に、前記単語と前記所定字幕とを抽出する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記推定手順により推定された衣装の特徴に基づき提案された被服を前記利用者が購入した場合に、当該推定された衣装の特徴を前記利用者の嗜好に沿った衣装の特徴の正解データとして前記利用者の嗜好に沿った衣装の特徴を推定するためのモデルを学習させる学習手順、を更に有し、
前記抽出手順は、
前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記学習手順により学習されたモデルに基づき前記利用者の嗜好に沿った衣装の特徴である確度が高いと推定された特徴の衣装を着用するキャラクターである場合に、前記単語と前記所定字幕とを抽出する
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記推定手順は、
前記所定の条件を満たすキャラクターのうち前記利用者の性別とは異なる性別のキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿った衣装の特徴であって前記利用者の性別とは異なる性別用の衣装の特徴を推定し、
前記学習手順は、
前記推定手順により推定された衣装の特徴に基づき提案された前記利用者の性別とは異なる性別用の被服を前記利用者が購入した場合に、当該推定された衣装の特徴を前記利用者の嗜好に沿った衣装の特徴の正解データとして前記モデルを学習させる
前記(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記推定手順は、
前記利用者のために生成された辞書のうち第1領域に追加された単語の数が所定の条件を満たす辞書の映像動画の特徴に基づいて、前記利用者の嗜好に沿った映像動画の特徴を推定し、
前記抽出手順は、
前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された特徴の映像動画に登場するキャラクターである場合に、前記単語と前記所定字幕とを抽出する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記推定手順は、
前記所定映像動画が前記利用者の嗜好に沿った特徴の映像動画であるほど、前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように、前記利用者の嗜好に沿ったキャラクターの特徴を推定する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記推定手順は、
前記所定映像動画が前記利用者の嗜好に沿った特徴の映像動画であるほど、前記利用者が選択した単語に対応した発話を行ったキャラクターが着用する衣装が、前記利用者の嗜好に沿った特徴の衣装であると推定される確度が高くなるように、前記利用者の嗜好に沿った衣装の特徴を推定する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
コンピュータが実行する記憶支援方法であって、
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定工程と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定工程により推定された特徴のキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出工程と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出工程により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(10)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定部と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定部により推定された特徴のキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出部と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出部により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(11)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された特徴のキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
(12)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定手順と、
前記推定手順により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された前記対象物の特徴を有するキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定工程と、
前記推定工程により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習工程と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定工程により推定された前記対象物の特徴を有するキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出工程と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出工程により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定部と、
前記推定部により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習部と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定部により推定された前記対象物の特徴を有するキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出部と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出部により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定手順と、
前記推定手順により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から前記利用者が選択した単語に対応した発話を行ったキャラクターが、前記推定手順により推定された前記対象物の特徴を有するキャラクターである場合に、当該単語と当該所定字幕とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0471】
また、以下のような構成(変形例16に対応)も本発明の技術的範囲に属する。
(1)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定手順により推定された特徴のキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記推定手順は、
前記所定の条件を満たすキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿ったキャラクターの特徴を推定する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記推定手順は、
前記所定の条件を満たすキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿った衣装の特徴を推定し、
前記抽出手順は、
学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定手順により推定された特徴の衣装を着用するキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記推定手順により推定された衣装の特徴に基づき提案された被服を前記利用者が購入した場合に、当該推定された衣装の特徴を前記利用者の嗜好に沿った衣装の特徴の正解データとして前記利用者の嗜好に沿った衣装の特徴を推定するためのモデルを学習させる学習手順、を更に有し、
前記抽出手順は、
学習用単語が登場する所定字幕の発話者であるキャラクターが、前記学習手順により学習されたモデルに基づき前記利用者の嗜好に沿った衣装の特徴である確度が高いと推定された特徴の衣装を着用するキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記推定手順は、
前記所定の条件を満たすキャラクターのうち前記利用者の性別とは異なる性別のキャラクターが着用する衣装の特徴に基づいて、前記利用者の嗜好に沿った衣装の特徴であって前記利用者の性別とは異なる性別用の衣装の特徴を推定し、
前記学習手順は、
前記推定手順により推定された衣装の特徴に基づき提案された前記利用者の性別とは異なる性別用の被服を前記利用者が購入した場合に、当該推定された衣装の特徴を前記利用者の嗜好に沿った衣装の特徴の正解データとして前記モデルを学習させる
前記(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記推定手順は、
前記利用者のために生成された辞書のうち第1領域に追加された単語の数が所定の条件を満たす辞書の映像動画の特徴に基づいて、前記利用者の嗜好に沿った映像動画の特徴を推定し、
前記抽出手順は、
学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定手順により推定された特徴の映像動画に登場するキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記推定手順は、
前記所定映像動画が前記利用者の嗜好に沿った特徴の映像動画であるほど、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記利用者の嗜好に沿った特徴のキャラクターであると推定される確度が高くなるように、前記利用者の嗜好に沿ったキャラクターの特徴を推定する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記推定手順は、
前記所定映像動画が前記利用者の嗜好に沿った特徴の映像動画であるほど、学習用単語が登場する所定字幕の発話者であるキャラクターが着用する衣装が、前記利用者の嗜好に沿った特徴の衣装であると推定される確度が高くなるように、前記利用者の嗜好に沿った衣装の特徴を推定する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
コンピュータが実行する記憶支援方法であって、
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定工程と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定工程により推定された特徴のキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出工程と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出工程により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(10)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定部と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定部により推定された特徴のキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出部と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出部により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(11)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターの特徴に基づいて、当該利用者の嗜好に沿ったキャラクターの特徴を推定する推定手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定手順により推定された特徴のキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
(12)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定手順と、
前記推定手順により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定手順により推定された前記対象物の特徴を有するキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定工程と、
前記推定工程により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習工程と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定工程により推定された前記対象物の特徴を有するキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出工程と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出工程により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定部と、
前記推定部により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習部と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定部により推定された前記対象物の特徴を有するキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出部と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出部により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者が視聴した映像動画ごとに当該利用者のために生成された辞書の第1領域に追加された単語に対応した発話を行ったキャラクターのうち当該第1領域に追加された単語の数が所定の条件を満たすキャラクターに紐づく対象物の商品を販売する第1サイトに含まれる当該キャラクターに紐づく当該対象物の商品情報に基づいて、当該利用者の嗜好に沿った当該対象物の特徴を推定する推定手順と、
前記推定手順により推定された前記対象物の特徴に基づき、前記対象物の商品と同一のカテゴリに分類可能な商品を販売する第2サイトで販売されている商品の中から提案された商品を前記利用者が購入した場合に、前記推定された前記対象物の特徴を前記利用者の嗜好に沿った前記対象物の特徴の正解データとして前記利用者の嗜好に沿った前記対象物の特徴を推定するためのモデルを学習させる学習手順と、
前記利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち前記利用者が視聴中の所定映像動画の字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の発話者であるキャラクターが、前記推定手順により推定された前記対象物の特徴を有するキャラクターである場合に、当該所定字幕と当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記所定映像動画の字幕全体に対する前記所定字幕の表示順に基づき、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど上位に表示されるように、前記抽出手順により抽出された学習用単語を前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を前記所定映像動画に対応した第2領域に追加することで、前記所定映像動画に対応した辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0472】
また、以下のような構成(実施形態4に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
前記所定映像動画の字幕に含まれる単語のうち、前記第1領域へ追加される対象となる候補の単語が選択された場合には、選択された単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記芳香制御手順は、
選択された単語の字幕が次の字幕に切り替わるまでの任意のタイミングで、前記香りを放出させる
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記芳香制御手順は、
選択された単語の字幕の発話者であるキャラクターをイメージした香りの香源として予め用意された香源の香りを前記香りとして放出させる
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記芳香制御手順は、
選択された単語の字幕の発話者であるキャラクターが着用する衣装をイメージした香りの香源として予め用意された香源の香りを前記香りとして放出させる
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記芳香制御手順は、
選択された単語の字幕の発話者であるキャラクターの特徴に基づいて、予め用意された香料を所定の比率で当該単語の選択時に調合させることで生成された香料の香りを前記香りとして放出させる
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記芳香制御手順は、
前記第1領域へ追加される単語として第1単語が選択された場合には、当該第1単語の字幕よりも前に表示された字幕に、前記第1領域へ追加される単語として選択された単語があるか否かを判定し、前記第1領域へ追加される単語として選択された単語があると判定した場合には、当該第1単語よりも前に選択された単語のうち当該第1単語の直近に選択された第2単語の字幕と当該第1単語の字幕との字幕間距離を算出し、字幕間距離が所定距離以上である場合に、当該第1単語の字幕の発話者であるキャラクターをイメージした香りを放出させる
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記芳香制御手順は、
前記第1領域へ追加される単語として第1単語が選択された場合には、当該第1単語の字幕よりも前に表示された字幕に、前記第1領域へ追加される単語として選択された単語があるか否かを判定し、前記第1領域へ追加される単語として選択された単語があると判定した場合には、当該第1単語よりも前に選択された単語のうち当該第1単語の直近に選択された第2単語の字幕の発話者であるキャラクターと当該第1単語の字幕の発話者であるキャラクターとを比較して、同一のキャラクターでない場合に、当該第1単語の字幕の発話者であるキャラクターをイメージした香りを放出させる
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記芳香制御手順は、
前記所定映像動画を視聴する複数の視聴者のうち、前記選択を行った視聴者である前記利用者の方向へ前記香りを放出させる
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記芳香制御手順は、
前記所定映像動画が再生中の画面上で、前記キャラクターの表示領域から前記香りが香るように前記香りを放出させる
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成工程と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
前記所定映像動画の字幕に含まれる単語のうち、前記第1領域へ追加される対象となる候補の単語が選択された場合には、選択された単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(11)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成部と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
前記所定映像動画の字幕に含まれる単語のうち、前記第1領域へ追加される対象となる候補の単語が選択された場合には、選択された単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(12)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
前記所定映像動画の字幕に含まれる単語のうち、前記第1領域へ追加される対象となる候補の単語が選択された場合には、選択された単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
(13)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(14)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御工程、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御部、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(16)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該利用者が選択した単語の字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0473】
また、以下のような構成(変形例13に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
学習用単語が登場する所定字幕が表示された場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記芳香制御手順は、
表示された所定字幕が次の字幕に切り替わるまでの任意のタイミングで、前記香りを放出させる
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記芳香制御手順は、
表示された所定字幕の発話者であるキャラクターをイメージした香りの香源として予め用意された香源の香りを前記香りとして放出させる
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記芳香制御手順は、
表示された所定字幕の発話者であるキャラクターが着用する衣装をイメージした香りの香源として予め用意された香源の香りを前記香りとして放出させる
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記芳香制御手順は、
表示された所定字幕の発話者であるキャラクターの特徴に基づいて、予め用意された香料を所定の比率で当該所定字幕の表示時に調合させることで生成された香料の香りを前記香りとして放出させる
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記芳香制御手順は、
前記第1領域へ追加される学習用単語が登場する第1所定字幕が表示された場合には、当該第1所定字幕よりも前に表示された字幕に、前記第1領域へ追加される学習用単語が登場する所定字幕として表示された字幕があるか否かを判定し、前記第1領域へ追加される学習用単語が登場する所定字幕として表示された字幕があると判定した場合には、当該第1所定字幕よりも前に表示された所定字幕のうち当該第1所定字幕の直近に表示された第2所定字幕と当該第1所定字幕との字幕間距離を算出し、字幕間距離が所定距離以上である場合に、当該第1所定字幕の発話者であるキャラクターをイメージした香りを放出させる
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記芳香制御手順は、
前記第1領域へ追加される学習用単語が登場する第1所定字幕が表示された場合には、当該第1所定字幕よりも前に表示された字幕に、前記第1領域へ追加される学習用単語が登場する所定字幕として表示された字幕があるか否かを判定し、前記第1領域へ追加される学習用単語が登場する所定字幕として表示された字幕があると判定した場合には、当該第1所定字幕よりも前に表示された所定字幕のうち当該第1所定字幕の直近に表示された第2所定字幕の発話者であるキャラクターと当該第1所定字幕の発話者であるキャラクターとを比較して、同一のキャラクターでない場合に、当該第1所定字幕の発話者であるキャラクターをイメージした香りを放出させる
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記芳香制御手順は、
前記所定映像動画を視聴する複数の視聴者のうち、前記市販の辞書の指定を行った視聴者である前記利用者の方向へ前記香りを放出させる
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記芳香制御手順は、
前記所定映像動画が再生中の画面上で、前記キャラクターの表示領域から前記香りが香るように前記香りを放出させる
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
学習用単語が登場する所定字幕が表示された場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(11)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出部と、
前記抽出部により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
学習用単語が登場する所定字幕が表示された場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(12)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
学習用単語が登場する所定字幕が表示された場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
(13)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕に含まれる学習用単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(14)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕に含まれる学習用単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御工程、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕に含まれる学習用単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御部、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(16)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕に含まれる学習用単語が、映像動画ごとに設定された第1領域であって映像動画の字幕に含まれる単語の中から第1領域へ追加される対象となる候補の単語を決定するための所定の条件が映像動画ごとに異なる第1領域のうち当該所定映像動画に対応した第1領域へ追加される対象となる候補の単語である場合には、当該所定字幕の発話者であるキャラクターをイメージした香りを放出させる芳香制御手順、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0474】
また、以下のような構成(実施形態3に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示制御手順は、
前記コード情報を、前記生成手順により生成された辞書を表示させる表示先の端末装置である前記利用者の端末装置で前記利用者が読み取ることで取得された前記コード情報に紐づく字幕に関する情報に基づき、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記抽出手順は、
前記利用者が視聴中の所定映像動画のエンディングアニメーションに付されたコード情報に紐づき予め定められた字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示制御手順は、
前記制御情報が表示の対象とする所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信し、
前記抽出手順は、
前記表示制御手順により送信された制御情報に基づき表示の態様が変更される学習用単語と、当該学習用単語が登場する所定字幕とを抽出する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示制御手順は、
前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示制御手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示制御手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(10)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記表示制御手順は、
前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に前記所定字幕を表示させ、且つ、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示制御手順は、
前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に前記所定字幕を表示させ、且つ、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(14)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の登場時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(15)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記表示手順は、
前記学習用単語の登場時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記抽出手順は、
前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記抽出手順は、
前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(24)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(23)に記載のアニメーション作品を用いた記憶支援プログラム。
(25)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(24)に記載のアニメーション作品を用いた記憶支援プログラム。
(26)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御工程と、
前記表示制御工程により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(27)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御部と、
前記表示制御部により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出部と、
前記抽出部により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(28)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0475】
また、以下のような構成(変形例11に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示制御手順は、
前記コード情報を、前記生成手順により生成された辞書を表示させる表示先の端末装置である前記利用者の端末装置で前記利用者が読み取ることで取得された前記コード情報に紐づく字幕に関する情報に基づき、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記抽出手順は、
前記利用者が視聴中の所定映像動画のエンディングアニメーションに付されたコード情報に紐づき予め定められた字幕に、前記利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示制御手順は、
前記制御情報が表示の対象とする所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更するための制御情報を送信し、
前記抽出手順は、
前記表示制御手順により送信された制御情報に基づき表示の態様が変更される他の学習用単語と、当該他の学習用単語が登場する所定字幕とを抽出する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示制御手順は、
前記利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示制御手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示制御手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(10)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記表示制御手順は、
前記所定字幕に含まれる他の学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に前記所定字幕を表示させ、且つ、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示制御手順は、
前記所定字幕に含まれる他の学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に前記所定字幕を表示させ、且つ、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(14)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された他の学習用単語の順序に応じた順番で、当該他の学習用単語の登場時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(15)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記表示手順は、
前記他の学習用単語の登場時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記抽出手順は、
前記他の学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された他の学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該他の学習用単語を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記抽出手順は、
前記他の学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(24)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(23)に記載のアニメーション作品を用いた記憶支援プログラム。
(25)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(24)に記載のアニメーション作品を用いた記憶支援プログラム。
(26)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御工程と、
前記表示制御工程により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出工程と、
前記抽出工程により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(27)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御部と、
前記表示制御部により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出部と、
前記抽出部により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(28)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0476】
また、以下のような構成(実施形態2に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示変更手順は、
前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語の表示の態様を変更する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示変更手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示変更手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示変更手順は、
前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に、当該学習用単語の表示の態様を変更する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示変更手順は、
前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に、当該学習用単語の表示の態様を変更する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示手順は、
前記学習用単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記抽出手順は、
前記学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記抽出手順は、
前記学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(16)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(17)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(18)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(17)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更工程と、
前記表示変更工程により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(24)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更部と、
前記表示変更部により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(25)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0477】
また、以下のような構成(変形例7に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示変更手順は、
前記利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語の表示の態様を変更する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示変更手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示変更手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示変更手順は、
前記所定字幕に含まれる他の学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に、当該他の学習用単語の表示の態様を変更する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示変更手順は、
前記所定字幕に含まれる他の学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に、当該他の学習用単語の表示の態様を変更する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された他の学習用単語の順序に応じた順番で、当該他の学習用単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示手順は、
前記他の学習用単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記抽出手順は、
前記他の学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された他の学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該他の学習用単語を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記抽出手順は、
前記他の学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(16)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(17)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(18)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(17)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更工程と、
前記表示変更工程により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(24)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更部と、
前記表示変更部により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(25)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0478】
また、以下のような構成(実施形態1に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示手順は、
前記単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記抽出手順は、
前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記抽出手順は、
前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(7)に記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(8)に記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(7)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(11)に記載のアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成工程と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成部と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【0479】
また、以下のような構成(変形例1に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出手順と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該第1領域への単語の追加に対応して前記第2領域に追加された所定字幕が表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示手順は、
前記第1領域への単語の追加に対応して前記第2領域に追加された所定字幕が表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記抽出手順は、
前記所定字幕が表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記抽出手順は、
前記所定字幕が表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(7)に記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(8)に記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(7)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(11)に記載のアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出工程と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成工程と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出部と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成部と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出手順と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【0480】
1、1A、1B、1C、1D、1E 情報処理システム
10、10A 端末装置
20、20A 表示装置
100、100A、100B、100C、100D 記憶支援装置
110 通信部
120、120A、120B 記憶部
121 辞書情報記憶部
122、122A 字幕情報記憶部
123 市販辞書情報記憶部
124 発話統計情報記憶部
130、130A、130B、130C、130D 制御部
131、131A、131B、131C 取得部
132、132A、132B、132C 抽出部
133 生成部
134 更新部
135 表示部
136 提案部
137 表示変更部
138 表示制御部
139 芳香制御部
140 推定部
141 学習部
200 映像動画配信サーバ
220 映像動画記憶部
N ネットワーク