(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023151736
(43)【公開日】2023-10-16
(54)【発明の名称】学習用データ作成方法、学習用データ表示方法、学習用データ再生方法、プログラム及び電子機器
(51)【国際特許分類】
G09B 7/02 20060101AFI20231005BHJP
G06Q 50/20 20120101ALI20231005BHJP
G09B 19/06 20060101ALN20231005BHJP
【FI】
G09B7/02
G06Q50/20
G09B19/06
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022061525
(22)【出願日】2022-04-01
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(72)【発明者】
【氏名】柳澤 正明
【テーマコード(参考)】
2C028
5L049
【Fターム(参考)】
2C028AA01
2C028BA01
2C028BA02
2C028BB01
2C028BB07
2C028BC05
2C028BD01
5L049CC34
(57)【要約】
【課題】ユーザの学習をさらに支援する。
【解決手段】学習用データ作成方法は、制御部が、学習用のコンテンツである対象データと、対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、取得した対象データに含まれる特定シンボルを認識し、認識した特定シンボル及び取得したマスク管理データに基づくマスクデータを対象データに付加してマスク処理データを作成する。
【選択図】
図9
【特許請求の範囲】
【請求項1】
制御部が、
学習用のコンテンツである対象データと、前記対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、
前記取得した対象データに含まれる特定シンボルを認識し、
前記認識した特定シンボル及び前記取得したマスク管理データに基づくマスクデータを前記取得した対象データに付加してマスク処理データを作成する、
学習用データ作成方法。
【請求項2】
前記マスク管理データは、マスクの対象となるデータを選定する条件であるマスク条件を含む、
請求項1に記載の学習用データ作成方法。
【請求項3】
前記マスク条件は、前記特定シンボルのうちのどのシンボルがマスクの対象となるかを示すシンボル条件を含む、
請求項2に記載の学習用データ作成方法。
【請求項4】
前記マスク管理データは、ユーザが登録した単語帳の情報を含み、
前記マスク条件は、前記単語帳の情報に基づきマスクの対象となるかを決定する単語帳条件を含む、
請求項3に記載の学習用データ作成方法。
【請求項5】
前記マスク管理データは、ユーザの習熟度の情報を含み、
前記マスク条件は、前記習熟度の情報に基づきマスクの対象となるかを決定する習熟度条件を含む、
請求項3に記載の学習用データ作成方法。
【請求項6】
前記制御部が、
データ通信により前記マスク管理データを取得する、
請求項1に記載の学習用データ作成方法。
【請求項7】
前記対象データは、撮影により取得された画像データである、
請求項1に記載の学習用データ作成方法。
【請求項8】
制御部が、
請求項1から7のいずれか1項に記載の学習用データ作成方法により作成された前記マスク処理データを取得し、
前記取得したマスク処理データから前記マスクデータを取得し、
前記対象データを前記取得したマスクデータに基づいて一部を隠して表示する、
学習用データ表示方法。
【請求項9】
制御部が、
請求項1から7のいずれか1項に記載の学習用データ作成方法により作成された前記マスク処理データが付加された音声データを取得し、
前記取得した音声データから前記マスク処理データを取得し、
前記取得したマスク処理データからマスクの対象の単語であるマスク単語を抽出し、
前記取得した音声データを音声認識し、
前記音声認識した結果に前記抽出したマスク単語が含まれていたら、前記音声データを再生する際に、前記音声データ中の前記マスク単語に対応する音声を加工して再生する、
学習用データ再生方法。
【請求項10】
前記加工は、無音、効果音、又は他の言語による音声のいずれかに置き換えることである、
請求項9に記載の学習用データ再生方法。
【請求項11】
コンピュータが、
学習用のコンテンツである対象データと、前記対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、
前記取得した対象データに含まれる特定シンボルを認識し、
前記認識した特定シンボル及び前記取得したマスク管理データに基づくマスクデータを前記取得した対象データに付加してマスク処理データを作成する、
プログラム。
【請求項12】
制御部を備え、
前記制御部が、
学習用のコンテンツである対象データと、前記対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、
前記取得した対象データに含まれる特定シンボルを認識し、
前記認識した特定シンボル及び前記取得したマスク管理データに基づくマスクデータを前記取得した対象データに付加してマスク処理データを作成する、
電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習用データ作成方法、学習用データ表示方法、学習用データ再生方法、プログラム及び電子機器に関する。
【背景技術】
【0002】
学習用のコンテンツ(例えば、辞書、単語帳、教科書、参考書、ノート等の学習教材)において、ユーザ(学習者)が暗記したい項目をマーカ等でマスクすることにより、暗記できているかどうかを簡単に確認することができる問題を作成することは、従来からよく行われている。また、このような問題を自動的に作成する技術も開発されている。例えば特許文献1には、学習教材の画像データを用いて、図面に関する問題を生成することができる情報抽出装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されている情報抽出装置は、学習教材の画像データを解析して、図面領域、図面周辺領域及び文字領域をそれぞれ特定した上で文字認識を行う。そして、図面領域及び図面周辺領域内のテキストデータをキーワードとして抽出し、抽出したキーワードを図面領域や文字領域内のテキストデータから検索して消去することにより、穴埋め問題を作成することができる。しかし、特許文献1に開示されている情報抽出装置では、図面領域及び図面周辺領域から抽出されたキーワードに基づいて問題を作成するため、必ずしもユーザに合った問題を作成できるとは限らなかった。
【0005】
本発明は上記実情に鑑みてなされたものであり、ユーザの学習をさらに支援することができる学習用データ作成方法、学習用データ表示方法、学習用データ再生方法、プログラム及び電子機器を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る学習用データ作成方法の一態様は、
制御部が、
学習用のコンテンツである対象データと、前記対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、
前記取得した対象データに含まれる特定シンボルを認識し、
前記認識した特定シンボル及び前記取得したマスク管理データに基づくマスクデータを前記取得した対象データに付加してマスク処理データを作成する。
【発明の効果】
【0007】
本発明によれば、ユーザの学習をさらに支援することができる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1に係る電子機器の機能構成を示すブロック図である。
【
図2】英和辞典の紙面を撮影した画像データの表示例を示す図である。
【
図3】実施の形態1に係る特定シンボル情報の一例を示す図である。
【
図4】実施の形態1に係るマスク管理データの一例を示す図である。
【
図5】実施の形態1に係るマスク処理データの表示例を示す図である。
【
図6】実施の形態1に係るマスクデータの一例を示す図である。
【
図7】他の英和辞典の紙面を撮影した画像データの表示例を示す図である。
【
図8】実施の形態1に係る特定シンボル情報の他の一例を示す図である。
【
図9】実施の形態1に係るマスク作成処理のフローチャートである。
【
図10】実施の形態1に係るマスク表示処理のフローチャートである。
【
図11】実施の形態2に係る音声コンテンツ再生処理のフローチャートである。
【発明を実施するための形態】
【0009】
実施の形態に係る電子機器等について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。
【0010】
(実施の形態1)
実施の形態1に係る電子機器100は、カメラを内蔵したスマートフォン、タブレット、PC(Personal Computer)等である。電子機器100は、内蔵されているカメラで英和辞典等の紙面や電子機器(例えば、電子辞書)の画面を撮影することにより、学習用のコンテンツとなる画像データ(対象データ)を取得する。そして、当該紙面上のシンボル(重要度ランク、品詞、用例等を示すシンボル)に基づいて、紙面の一部を隠すマスクの位置等を示すマスクデータを生成し、対象データにマスクデータを付加することによって、学習用データ(マスク処理データ)を作成する。
【0011】
実施の形態1に係る電子機器100は、
図1に示すように、制御部110、記憶部120、データ取得部130、表示部140、操作入力部150、通信部160、音声出力部170を備える。
【0012】
制御部110は、例えばCPU(Central Processing Unit)等のプロセッサで構成される。制御部110は、記憶部120に記憶されているプログラムにより、後述するマスク作成処理等を実行する。
【0013】
記憶部120は、制御部110が実行するプログラムや、必要なデータを記憶する。記憶部120は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等を含み得るが、これらに限られるものではない。なお、記憶部120は、制御部110の内部に設けられていてもよい。
【0014】
また、記憶部120は、特定シンボル情報121、マスク管理データ122を記憶する。特定シンボル情報121は、対象データの画像データの中から特定シンボル(重要度ランク、品詞、用例等を示すシンボル)を画像認識するための情報である。また、マスク管理データ122は、マスクする単語の重要度ランク、マスクする位置、マスクされる情報の種類(単語自身、品詞、用例等)等の、マスクを管理するデータである。なお、特定シンボル情報121及びマスク管理データ122は、外部の機器やインターネット上のクラウドサービス等から、後述する通信部160を介して取得するようになっていてもよい。
【0015】
データ取得部130は、カメラを備え、カメラで英和辞典等の紙面(または、電子機器(例えば、電子辞書)の画面)を撮影することにより、学習用のコンテンツとなる画像データを取得する。
【0016】
表示部140は、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等の表示デバイスを備える。表示部140は、例えば、データ取得部130が取得した画像データを表示する。
【0017】
操作入力部150は、タッチパネル、キーボード、マウス等、ユーザの操作入力(タッチ、ドラッグ、クリック、キー入力等)を受け付けるユーザインタフェースである。
【0018】
通信部160は、無線LAN(Local Area Network)、LTE(Long Term Evolution)等に対応したネットワークインタフェースである。電子機器100は、通信部160を介して外部の機器やインターネット上のクラウドサービス等にアクセスすることができる。
【0019】
音声出力部170は、スピーカやイヤホン端子を備え、記憶部120に保存された音声コンテンツを再生したり、効果音を出力したりすることができる。
【0020】
特定シンボル情報121として記憶部120に記憶される特定シンボル(重要度ランク、品詞、用例等を示すシンボル)は、学習用コンテンツによって異なる。そこで、ここでは学習コンテンツの英和辞典の紙面をカメラで撮影したときに、
図2に示すような画像データ200が取得される場合を例に説明する。ただし、学習コンテンツは英和辞典に限られるわけではない。特定シンボルが存在する学習コンテンツであれば、中国語、ドイツ語、スペイン語等、他の言語の辞典を対象とすることも可能であるし、辞典に限らず、教科書や参考書等を対象とすることも可能である。
【0021】
この英和辞典では、
図2に示すように、単語の重要度ランクを示す特定シンボルとして、Aランク(例えば中学生レベルの単語)を示すシンボル211、Bランク(例えば高校生レベルの単語)を示すシンボル212、Cランク(例えば大学生/社会人レベルの単語)を示すシンボル213、Dランク(その他の一般的な単語)を示すシンボル214が記載されている。
【0022】
また、単語の品詞を示す特定シンボルとして、動詞を示すシンボル221、他動詞を示すシンボル222、自動詞を示すシンボル223、名詞を示すシンボル224、不可算名詞を示すシンボル225、可算名詞を示すシンボル226、形容詞を示すシンボル227が記載されている。また、各単語について用例が挙げられている場合には、用例が挙げられていることを示すシンボル230が記載されている。
【0023】
制御部110は、これらの特定シンボルを画像認識で認識できるように予め学習されており、学習済みデータが、特定シンボル情報121として、記憶部120に記憶されている。特定シンボル情報121は、
図3に示すように、各特定シンボルについての、そのシンボルが意味する内容(シンボル種別)と、そのシンボルを画像認識するための情報(シンボル認識情報)と、そのシンボルの画像データ200における位置関係の情報(位置情報)を含んでいる。なお、シンボル認識情報は、
図3では特定シンボルの形状が表示されているが、実際にはそのシンボルを画像認識するために学習された学習データの情報である。
【0024】
特定シンボル情報121に含まれる位置情報は、
図3に示すように、単語、語義、用例等と特定シンボルとの位置関係を示す情報であり、制御部110が特定シンボルに基づいて画像データ200をマスクする際に、マスクの位置を決定するために用いられる。例えば、重要度ランクの特定シンボルに基づいて単語をマスクする際には、位置情報が「右に単語(英語)」となっていることから、特定シンボルの右(直後)から英語の文字をマスクする。また、品詞の特定シンボルに基づいて語義をマスクする際には、位置情報が「右に語義(日本語)」となっていることから、特定シンボルの右(直後)から日本語の文字をマスクする。また、用例の特定シンボルに基づいて用例の英語をマスクする際には、位置情報が「右に用例(英語)、改行、用例(日本語)」となっていることから、特定シンボルの右(直後)から改行までの英語の文字をマスクする。また、位置情報の括弧内の言語は、英語または日本語に限らない。例えば、中日辞典を対象にしている場合は、位置情報の括弧内の言語は中国語であってもよい。
【0025】
なお、これらのマスク処理の際に、どの位置までマスクするかについては、簡単には「改行まで」としてもよい。また、画像認識により、一定の大きさ以上のスペースを認識し、そのスペースの手前までをマスクすることにしてもよい。また、画像認識により、句点やピリオドを認識し、その句点やピリオドまでをマスクすることにしてもよい。また、画像認識で得られた文字列を形態素解析し、語句の一定のまとまり(例えば英語の節(clause)、日本語の文節等)をマスクすることにしてもよい。
【0026】
また、制御部110は、後述するマスク作成処理により、学習コンテンツの紙面を撮影して取得した対象データ(画像データ200)をマスクするが、マスク管理データ122は、対象データのどこをマスクするか等の情報に関するデータである。マスク管理データ122は、例えば
図4に示すように、マスク条件、単語帳情報、習熟度情報を含む。
【0027】
単語帳情報とは、ユーザが登録した単語の情報である。市販の電子辞書には単語帳機能を備えているものがあるが、電子機器100は、同様の単語帳機能を備えていてもよいし、市販の電子辞書にユーザが登録した単語帳の情報を、通信部160経由で取得できるようになっていてもよい。また、通信部160経由で単語帳の情報を取得する場合、電子機器100は、電子辞書と直接通信して単語帳の情報を取得してもよいし、インターネット(単語帳の情報を登録できるクラウドサービス等)から取得してもよい。
【0028】
習熟度情報とは、ユーザの習熟度に関する情報である。市販の電子辞書は実力確認テストを実施する等してユーザの習熟度を取得する機能を備えているものがあるが、電子機器100は、同様にしてユーザの習熟度を取得してもよいし、市販の電子辞書が取得しているユーザの習熟度の情報を、通信部160経由で取得できるようになっていてもよい。また、通信部160経由で習熟度の情報を取得する場合、電子機器100は、電子辞書と直接通信して習熟度情報を取得してもよいし、インターネット(習熟度情報を登録できるクラウドサービス等)から取得してもよい。
【0029】
マスク条件とは、対象データをマスクする条件である。
図4の例では、マスク条件はシンボル条件と単語帳条件と習熟度条件を含む。
【0030】
シンボル条件とは、特定シンボルに基づいてマスク位置を設定する条件である。
図4の例では、シンボル条件として、「重要度ランクB以上の単語をマスク」及び「重要度ランクB以上の単語の用例の英文をマスク」が設定されている。したがって、重要度ランクAの単語及びその用例の英文並びに重要度ランクBの単語及びその用例の英文がマスクされることになる。この例では、単語がマスクされることにより、その単語のスペリングの暗記を支援することができる。また、用例の英文がマスクされることにより、用例の和文からの和文英訳の練習を支援することができる。なお、シンボル条件はこの例に限られない。例えばシンボル条件として、「重要度ランクBの単語の品詞と語義をマスク」と設定すれば、単語自体はマスクされずにその単語の品詞と語義がマスクされ、重要度ランクBの単語の品詞や語義の暗記を支援することができる。
【0031】
単語帳条件とは、単語帳情報に基づくマスク条件である。
図4の例では、「単語帳に登録されているならマスク」となっている。また、
図4の例では、単語帳には「tea,teach,tear,technic,technical」等が登録されているため、これら単語帳に登録されている単語はマスクされることになる。また、単語帳条件に「単語帳に登録されていないならマスク」と設定すれば、単語帳に登録されている単語はマスクされないことになる。単語帳の使い方は自由なので、例えばユーザが既に覚えた単語を単語帳に登録するような使い方をしている場合には、このような設定を行うことも考えられる。
【0032】
習熟度条件とは、習熟度情報に基づくマスク条件である。
図4の例では、「習熟度が50%以下ならマスク」となっている。また、
図4の例では、習熟度情報が「重要度ランクAの単語:50%、重要度ランクBの単語:30%」となっているため、重要度ランクAの単語も重要度ランクBの単語もマスクされることになる。もし、ユーザの習熟度が向上して、例えば「重要度ランクAの単語:70%、重要度ランクBの単語:40%」となったなら、同じ習熟度条件の下では、重要度ランクAの単語についてはマスクされず、重要度ランクBの単語はマスクされることになる。
【0033】
また、
図4の例では、マスク条件として、「(シンボル条件*単語帳条件*習熟度条件)」と設定されているため、これらの条件が全て満たされたときにマスクされるマスク設定になっている。マスク条件はこれに限られず、例えば、単語帳条件や習熟度条件を無視してマスクさせたい場合には、マスク条件として「(シンボル条件)」と設定することも可能である。また、これらの条件のいずれかが満たされたときにマスクしたい場合には「(シンボル条件+単語帳条件+習熟度条件)」のような設定を行うことも可能である。また、より複雑な条件として、例えば、シンボル条件が満たされて、かつ、単語帳条件と習熟度条件の少なくともいずれかが満たされたらマスクしたい場合には、「(シンボル条件*(単語帳条件+習熟度条件))」のような設定を行うことも可能である。
【0034】
図4に示すマスク管理データ122のマスク条件に基づき、
図2示す画像データ200(対象データ)をマスクすると、
図5に示すように表示されるマスク処理データ300が得られる。このマスク処理データ300は、対象データ及びマスク管理データ122に基づいて作成されたマスクデータ320が、対象データ(画像データ200)に付加されたデータである。
【0035】
マスクデータ320は、
図6に示すように、そのマスクがどの特定シンボルに基づくものか(シンボル種別)、マスクされている単語(マスク単語)、マスクされている対象(マスク対象)、マスクされている位置(マスク位置)を含む。また、
図6には示されていないが、マスクデータ320には、さらに、マスク単語の他の言語での訳語を含んでいてもよい。この訳語は、例えば、画像データ200の語義の部分を画像認識して得ることができる。また、逆にマスクデータ320は、これらの情報のうちの一部のみ(例えばマスク位置のみ)を含むデータであってもよい。マスク位置の情報があれば、制御部110は後述するマスク表示処理により、対象データにマスクを施して表示することができるし、対象データを画像認識することにより、シンボル種別、マスク単語等の情報を取得することができるからである。
【0036】
なお、
図6は、
図5に示すマスク処理データ300に付加されているマスクデータ320の例であり、
図5のマスク311,312,313,314,315は、それぞれ
図6の各行のマスクデータ321,322,323,324,325に対応している。
【0037】
例えば、マスク311は、重要度ランクAの単語teachを対象とするマスクであり、画像データ200の座標(100,25)と座標(1100,100)を結ぶ直線を対角線とする長方形によるマスクであることがマスクデータ321により示されている。なお、このマスクデータ321は、マスク管理データ122のシンボル条件「重要度ランクB以上の単語をマスク」に基づき、画像データ200から重要度ランクAのシンボル211を画像認識し、特定シンボル情報121の位置情報「右に単語(英語)」に基づき、シンボル211の右から行末までをマスクするマスクデータとなっている。そして、シンボル211の右に存在する単語が文字認識されてマスク単語「teach」が取得されている。
【0038】
また、例えば、マスク312は、重要度ランクAの単語teachの用例の英語部分を対象とするマスクであり、画像データ200の座標(300,350)と座標(1100,425)を結ぶ直線を対角線とする長方形によるマスクであることがマスクデータ322により示されている。なお、このマスクデータ322は、マスク管理データ122のシンボル条件「重要度ランクB以上の単語の用例の英文をマスク」に基づき、画像データ200から重要度ランクAのシンボル211及び用例のシンボル230を画像認識し、特定シンボル情報121の位置情報「右に用例(英語)、改行、用例(日本語)」に基づき、シンボル230の右から行末までをマスクするマスクデータとなっている。そして、シンボル211の右に存在する単語が文字認識されてマスク単語「teach」が取得されている。
【0039】
なお、学習コンテンツ(英和辞典等)によって、その紙面の書式は異なっており、特定シンボルの画像やその記載位置も異なる。したがって、特定シンボル情報121は、ユーザが撮影する学習コンテンツに合わせて変更した方がよい場合がある。例えば、紙面をカメラで撮影したときに
図7に示すような画像データ201が得られる英和辞典に対応した特定シンボル情報121は、
図8に示すようなものとなる。
【0040】
この英和辞典では、重要度ランクを示すシンボルの左側に英単語が記載されているので、特定シンボル情報121の重要度ランクの位置情報は「左に単語(英語)」となっている。また、この英和辞典では、重要度ランクDを示すシンボルは存在しないため、
図8では、重要度ランクがDランクのシンボルの欄は「無し」となっている。ただ、
図7に示すように発音記号の左に英単語が記載されているので、位置情報は「発音記号の左に単語(英語)」としている。この例のような英和辞典の場合には、発音記号の記載を示す「/」を、重要度ランクDを示す特定シンボルとして扱って、位置情報を「左に単語(英語)」としてもよい。
【0041】
また、この英和辞典では、用例は、位置情報に「右に用例(英語)、用例(日本語)」とあるように、英語による用例と日本語による用例とが改行無しで連続している。このため、マスク処理を行う際には、「シンボルの右から行末まで」、「行頭から行末まで」等とはせずに、文字認識により英語か日本語かを判定し、「シンボルの右から言語が切り替わるところまで」、「言語が切り替わったところから行末まで」等とすることが考えられる。
【0042】
このように、特定シンボル情報121はユーザが撮影する学習コンテンツに応じて切り換えられるようになっていてもよい。また、想定される多数の学習コンテンツのいずれにも対応できるように、1つのシンボル種別に対して複数のシンボル認識情報が登録された特定シンボル情報121を用意してもよい。
【0043】
また、想定される多数の学習コンテンツのいずれにも対応できるように、複数の特定シンボル情報121を用意し、制御部110が紙面の画像データを取得した際に、どの学習コンテンツかを認識して特定シンボル情報121を切り替えるようにしてもよい。この特定シンボル情報121の切り替えは、紙面の画像データに基づいて制御部110が自動的に行うようにしてもよいし、ユーザにより手動で切り換えができるようになっていてもよい。
【0044】
次に、マスク作成処理について、
図9を参照して説明する。このマスク作成処理は、ユーザが電子機器100に対して、マスク処理データの作成を指示すると開始される。
【0045】
まず、制御部110は、データ取得部130により、対象データを取得する(ステップS101)。具体的には、学習コンテンツ(英和辞典等の紙面や、電子辞書の画面)をデータ取得部130のカメラで撮影することにより、対象データとしての画像データ(例えばJPEG(Joint Photographic Experts Group)の画像ファイル)を取得する。
【0046】
次に、制御部110は、マスク管理データ122を取得する(ステップS102)。マスク管理データ122は、予めユーザによって設定され、記憶部120又はインターネット上のクラウドサービスに記憶されている。マスク管理データ122がクラウドサービスに記憶されている場合には、制御部110は、ステップS102で、通信部160を介してマスク管理データ122を取得する。なお、ステップS101よりも先にステップS102が実行されるようになっていてもよい。
【0047】
次に、制御部110は、特定シンボル情報121に基づいて、対象データ(ステップS101で取得した画像データ)から特定シンボルを画像認識する(ステップS103)。
【0048】
そして、制御部110は、ステップS103で画像認識した結果に基づいて、対象データに、マスク管理データ122のマスク条件を満たす特定シンボルが存在するか否かを判定する(ステップS104)。マスク条件を満たす特定シンボルが存在しなければ(ステップS104;No)、マスク作成処理を終了する。
【0049】
マスク条件を満たす特定シンボルが存在するなら(ステップS104;Yes)、制御部110は、特定シンボル情報121とステップS103で画像認識した結果とに基づいて、対象データからマスクデータ320を作成する(ステップS105)。ここで作成されるマスクデータ320は、
図6に示すように、「シンボル種別」、「マスク単語」、「マスク対象」、「マスク位置」等を含む。
【0050】
「シンボル種別」は、画像認識した特定シンボルの種別である。また、「マスク単語」は、制御部110が特定シンボル情報121の位置情報に基づいて特定シンボルの周囲にある単語の位置を特定し、その単語の画像を文字認識した結果である。また、「マスク対象」は、マスクの対象が単語なのか、語義なのか、用例なのか等を示す情報であり、特定シンボル情報121の位置情報に基づいて制御部110により取得される。また、「マスク位置」は、マスクされる座標を示す情報であり、特定シンボル情報121の位置情報に基づいて、制御部110により取得される。
【0051】
なお、マスク条件を満たす特定シンボルが対象データから複数認識された場合には、マスク条件を満たす特定シンボル全てについて、それぞれマスクデータ320が作成されて追加されていく。例えば
図6には、特定シンボルが5つ認識された場合のマスクデータ320が示されている。
【0052】
そして、制御部110は、対象データにマスクデータ320を付加してマスク処理データを作成し(ステップS106)、記憶部120に保存し、マスク作成処理を終了する。具体的には、ステップS106で制御部110は、例えば、対象データがJPEGデータであるなら、マスクデータ320をJPEGメタデータとして対象データに埋め込むことでマスク処理データを作成し、記憶部120に保存する。
【0053】
なお、ステップS104での判定がNoだった場合(マスク条件を満たす特定シンボルが存在しなかった場合)でも、制御部110は、空のマスクデータ320を対象データに付加してマスク処理データを作成して記憶部120に保存してもよい。
【0054】
対象データがJPEGデータの場合、このようにして作成されたマスク処理データは、マスクデータがJPEGメタデータとして埋め込まれているため、通常のJPEG画像のビューアでは普通のJPEG画像として表示される。すなわち、マスク処理データは、通常のJPEG画像のビューアでも表示可能な画像データ(JPEG等)であってもよい。
【0055】
次に、マスク処理データに付加されているマスクデータを認識して、マスク表示を行う処理であるマスク表示処理について
図10を参照して説明する。このマスク表示処理は、ユーザが電子機器100に対して、マスク処理データの表示を指示したときに開始される。ただし、このマスク表示処理は、マスク処理データに限らず、マスクデータが付加されていない画像データの表示も可能な処理になっている。
【0056】
まず、制御部110は、画像データを取得する(ステップS201)。具体的には、制御部110はステップS201で、記憶部120に保存されているマスク処理データ等の画像データを取得してもよいし、通信部160を介して外部の機器やクラウドサービスから画像データを取得してもよい。
【0057】
そして、制御部110は、取得した画像データにマスクデータが含まれているか否かを判定する(ステップS202)。例えば、画像データがJPEGデータなら、JPEGメタデータとしてマスクデータが埋め込まれているか否かを判定する。マスクデータが含まれていないなら(ステップS202;No)、制御部110は、画像データをそのまま表示部140に表示し(ステップS203)、マスク表示処理を終了する。
【0058】
マスクデータが含まれているなら(ステップS202;Yes)、制御部110は、マスクデータに基づいて画像データをマスクして表示部140に表示し(ステップS204)、マスク表示処理を終了する。
【0059】
マスク表示処理により、マスクデータを含まない画像データは例えば
図2に示すようにマスクがない状態で表示部140に表示され、マスクデータを含む画像データは例えば
図5に示すようにマスクがある状態で表示部140に表示される。
【0060】
電子機器100は、上述のマスク作成処理及びマスク表示処理により、学習コンテンツの画像を取得するだけで、暗記すべき項目等がマスクされたテスト問題を自動作成することができ、ユーザの学習を支援することができる。
【0061】
マスクされる項目は、マスク管理データ122により、ユーザが自由に設定することができるため、例えば単語のスペリングの暗記に留まらず、品詞の暗記、語義の暗記、用例に基づく和文英訳及び英文和訳の練習にも用いることができる。
【0062】
(実施の形態1の変形例1)
また、上述の実施の形態1では、電子機器100は、データ取得部130のカメラで学習コンテンツを撮影することによって対象データを取得しているが、対象データの取得方法はこれに限らない。例えば、実施の形態1の変形例1として、電子機器100が電子辞書である実施の形態も考えられる。
【0063】
このような変形例1においては、記憶部120には電子辞書が備える種々の学習コンテンツ(電子データ)も記憶されている。また、データ取得部130はカメラを備える必要はなく、記憶部120に記憶されている電子辞書の電子データを対象データとして取得する。また、電子辞書は通常、学習コンテンツとして様々なデータ(文字、動画(MPEG(Moving Picture Expert Group)等)、静止画(JPEG等)、音楽(MP3(MPEG audio layer 3)等)等のデータ)を記憶しているが、制御部110が実行するマスク作成処理やマスク表示処理の対象となるのは、特定シンボルを含む文字のデータである。この文字のデータは、電子辞書によっては、画像データとして記憶されている場合もあれば、文字コードデータとして記憶されている場合もある。
【0064】
文字のデータが画像データとして記憶されている場合は、マスク作成処理のステップS101において、制御部110はこの画像データを記憶部120から取得するだけでよい(カメラでの撮影は不要)という点を除き、基本的には、上述の実施の形態1と同様にマスク作成処理及びマスク表示処理を行うことができる。
【0065】
文字のデータが文字コードデータとして記憶されている場合は、マスク作成処理のステップS101において、制御部110はこの文字コードデータを記憶部120から取得するだけでよい(カメラでの撮影は不要)。また、ステップS103において、制御部110は、対象データを画像認識する必要はなく、文字コードデータの中から、その文字コードに基づいて、特定シンボルや、単語、語義、用例等の文字を認識すればよい。
【0066】
したがって、この場合、特定シンボル情報121のシンボル認識情報には、その特定シンボルを画像認識するための情報ではなく、その特定シンボルを示す文字コードの情報が保存される。そして、制御部110は、対象データの中から特定シンボルを表す文字コードを直接検索することによって特定シンボルを認識する。また、制御部110は、マスクデータ320のマスク位置のデータとしては、画像データ上の座標データではなく、文字コードデータ中のどの文字をマスクするかの情報を格納する。そして、マスク表示処理のステップS204においては、制御部110は、マスクデータ320のマスク位置の情報に基づいて、該当する文字をマスクして表示する。
【0067】
以上の点を除けば、実施の形態1の変形例1に係る電子機器100は、実施の形態1に係る電子機器100と同様の構成でマスク作成処理やマスク表示処理を行うことができる。この変形例1に係る電子機器100は学習コンテンツをカメラで撮影せずにマスク処理データを作成できるので、ユーザの手間をより少なくすることができる。また画像認識する必要がないため、特定シンボルや文字を誤認識する可能性もなく、より正確にマスクデータを作成することができる。
【0068】
(実施の形態1の変形例2)
また、実施の形態1の変形例2として、電子機器100が、インターネット上のオンライン辞書のサービスを提供するようなサーバである実施の形態も考えられる。このような変形例2においても、上述の変形例1と同様に、データ取得部130はカメラを備える必要はなく、記憶部120に記憶されているオンライン辞書の電子データを対象データとして取得する。その他の点も、電子辞書の電子データがオンライン辞書の電子データと置き換わるだけであり、変形例2の制御部110は、上述の変形例1と同様にして、マスク作成処理やマスク表示処理を実行することができる。
【0069】
変形例2に係る電子機器100としてのオンライン辞書のサーバも、学習コンテンツをカメラで撮影せずにマスク処理データを作成できるので、ユーザの手間をより少なくすることができる。また画像認識する必要がないため、特定シンボルや文字を誤認識する可能性もなく、より正確にマスクデータを作成することができる。
【0070】
(実施の形態2)
上述の実施の形態1及びその変形例では、学習コンテンツの一部をマスク表示することで学習を支援することができたが、マスクデータを表示に用いるのではなく、音声再生に用いる実施の形態2について説明する。
【0071】
実施の形態2に係る電子機器100は、例えばスマートフォンやデジタルオーディオプレーヤー等の音声再生装置である。この電子機器100は、記憶部120に音声コンテンツを記憶しており、音声出力部170から音声コンテンツを再生する。
【0072】
また、この電子機器100は、記憶部120に記憶された音声コンテンツに、実施の形態1のマスク作成処理によって作成されたマスク処理データが付加されている場合には、音声コンテンツを再生中に、マスク対象になっている単語の再生部分を無音にしたり、言語を変換して再生したりする。
【0073】
音声コンテンツとしては様々なものが考えられるが、本実施の形態においては、音声コンテンツは第1言語(例えば英語)の学習用の音声がMP3フォーマットで記録されている音声データであるものとする。また、MP3ファイルには、例えばジャケット画像として画像データを埋め込むことが可能であるが、本実施の形態ではMP3に埋め込まれている画像データは、実施の形態1のマスク作成処理で作成されたマスク処理データであるものとする。そして、このマスク処理データに含まれているマスクデータには、第1言語の単語がマスク単語として含まれているだけでなく、マスク単語の第2言語(例えば日本語)での訳語が含まれているものとする。この訳語は、例えば、制御部110がマスクデータを作成する際に、英和辞典の語義の部分を文字認識することにより得られる。
【0074】
実施の形態2に係る電子機器100の機能構成は実施の形態1と同様である。このため、制御部110は実施の形態1のマスク作成処理やマスク表示処理と同様の処理を行うことができる。ただし、実施の形態2に係る電子機器100では、マスク作成処理やマスク表示処理は必須の処理ではない。マスク作成処理が不要の場合、実施の形態2に係る電子機器はデータ取得部130を備えなくてもよい。また、マスク表示処理が不要の場合、実施の形態2に係る電子機器100は、表示部140を備えなくてもよい。実施の形態2に係る電子機器100の必須の処理は、次に説明する音声コンテンツ再生処理である。
【0075】
実施の形態2に係る電子機器100による音声コンテンツ再生処理について、
図11を参照して説明する。音声コンテンツ再生処理は、ユーザが電子機器100に対して、音声コンテンツの再生を指示すると開始される。
【0076】
まず、制御部110は、音声コンテンツである音声データを取得する(ステップS301)。例えば、制御部110は、記憶部120に記憶されているMP3ファイルを取得する。また、制御部110は、ステップS301で、通信部160を介して外部の機器やインターネットから音声データとしてMP3ファイルを取得してもよい。
【0077】
次に制御部110は、ステップS301で取得した音声データに画像データが含まれているか否かを判定する(ステップS302)。例えば、制御部110は、ステップS301で取得したMP3ファイルに、ID3タグのv2のAPIC(Attached Picture)フレームがあり、APICフレーム内にJPEG画像データが含まれているか否かを判定する。
【0078】
音声データに画像データが含まれていないなら(ステップS302;No)、制御部110は音声データをそのまま再生し(ステップS303)、音声コンテンツ再生処理を終了する。
【0079】
音声データに画像データが含まれているなら(ステップS302;Yes)、制御部110は、その画像データにマスクデータが含まれているか否かを判定する(ステップS304)。例えば、制御部110は、MP3ファイルのAPICフレーム内のJPEG画像データにJPEGメタデータとしてマスクデータが埋め込まれているか否かを判定する。
【0080】
画像データにマスクデータが含まれていないなら(ステップS304;No)、制御部110は音声データをそのまま再生し(ステップS303)、音声コンテンツ再生処理を終了する。
【0081】
画像データにマスクデータが含まれているなら(ステップS304;Yes)、制御部110は、音声データを音声認識し、マスクデータに含まれるマスク単語の再生位置を特定する(ステップS305)。ステップS305で音声認識する音声データは、音声コンテンツに含まれる音声データ全体であってもよいし、ある単位(例えば1文単位、ある時間(例えば数秒)単位)で切り出した音声データであってもよい。なお、音声認識した結果、マスク単語が複数の再生位置に存在する場合には、制御部110は、その全ての再生位置を特定する。
【0082】
そして、制御部110は、特定されたマスク単語の再生位置の音声データをマスク単語の第2言語(例えば日本語)での訳語の合成音声データに置き換える(ステップS306)。例えば、音声データが「I teach English」で、マスクデータのマスク単語に「teach」、訳語に「教える」が含まれているなら、制御部110は、「I 教える English」という音声データを生成する。なお、制御部110は、特定されたマスク単語の再生位置の音声データを無音に置き換えてもよい。その場合は、当該マスク単語が発話されている時間(例えばteachの発音時間)の長さの無音のデータに置き換える。その結果、上述の例の音声データは「I (無音) English」という音声データに置き換えられる。また、特定されたマスク単語の再生位置の音声データを「ピー」等の効果音に置き換えてもよい。
【0083】
そして、制御部110は、置き換えられた音声データを音声出力部170から再生する(ステップS307)。これにより、マスク単語が無音になったり、他の言語(例えば日本語)に置き換わったりしている音声データが再生される。なお、置き換えた音声データの部分では、音声データが置き換わっていることをユーザに知らせるために「ピッ」等の効果音も併せて出力するようにしてもよい。
【0084】
そして、制御部110は、音声データを最後まで再生したか否かを判定する(ステップS308)。音声データを最後まで再生していないなら(ステップS308;No)、制御部110はステップS305に戻って、音声データの続きを音声認識する。音声データを最後まで再生していたら(ステップS308;Yes)、制御部110は、音声コンテンツ再生処理を終了する。
【0085】
以上の音声コンテンツ再生処理により、マスク単語の音声データが加工されて、無音、効果音、又は他の言語による音声に置き換えられて再生されるので、電子機器100は、音声コンテンツに対してもマスクデータを有効に活用することができる。そして、ユーザは例えばリスニングの能力向上のための学習を効率よく進めることができるようになる。
【0086】
(その他の実施の形態)
上述の実施の形態及び変形例では、対象データは既存の紙媒体の学習コンテンツや電子辞書を想定していたが、対象データはこれらに限られない。例えば、ユーザが作成したデータ(手書きメモをカメラで撮影した画像データ、ワードプロセッサ等で作成したデータ等)でもよい。この場合、特定シンボルとしては、既存の特定シンボルを真似てもよいし、ユーザ専用の特定シンボルを定義して、特定シンボル情報121に登録できるようにしてもよい。
【0087】
このようにすることで、電子機器100は、既存の学習コンテンツだけでなく、ユーザが作成したデータについても、特定シンボルに基づいて所定の部分がマスクされた問題を自動的に作成することできる。
【0088】
(効果等)
ユーザは、マスク管理データ122を自由に設定することができるので、電子機器100は、学習コンテンツの様々な部分をマスクすることができるマスク処理データを自動的に作成することができ、ユーザの学習状況に応じた問題(学習用データ)を柔軟に作成することができる。また、電子機器100は、マスク管理データ122をデータ通信により取得することもできるので、例えば学校や塾で先生が生徒に向けて共通の練習問題を配付したい場合等には、先生が設定したマスク管理データ122をデータ通信で各生徒の電子機器100に配布することができる。
【0089】
また、特定シンボル情報121も自由に切り換えたり拡張したりすることができるので、電子機器100は、既存の辞書、参考書、電子辞書等の学習コンテンツだけでなく、将来出てくる学習コンテンツに対しても、特定シンボルに基づいてマスクデータを作成することができる。
【0090】
また、マスク管理データ122において、単語帳データの登録内容やユーザの習熟度に基づいてマスク条件を設定することもできるので、電子機器100は、同じシンボル条件であっても、単語帳データの内容や習熟度に応じて各ユーザに適したマスクデータを作成することができる。
【0091】
また、マスク処理データは、画像データにマスクデータがメタデータとして埋め込まれているデータなので、メタデータを認識しないソフトウェアではマスクデータは認識されずに、単なる画像データとして扱われる。したがって、マスク処理データを、マスクデータに対応していない通常のソフトウェアで表示させるとマスクされる前の元の画像を表示することができ、マスクデータに対応しているソフトウェアで表示させるとマスクされた画像を表示することができる。
【0092】
なお、電子機器100は、タブレット、スマートフォン、PC等のコンピュータによっても実現することができる。具体的には、上記実施の形態では、電子機器100が実行するマスク作成処理等のプログラムが、記憶部120に予め記憶されているものとして説明した。しかし、これらのプログラムを、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical disc)、メモリカード、USBメモリ等の非一時的なコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各処理を実行することができるコンピュータを構成してもよい。
【0093】
さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、OS(Operating System)の制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の各処理を実行できるように構成してもよい。
【0094】
また、制御部110は、シングルプロセッサ、マルチプロセッサ、マルチコアプロセッサ等の任意のプロセッサ単体で構成されるものの他、これら任意のプロセッサと、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられて構成されてもよい。
【0095】
以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0096】
(付記1)
制御部が、
学習用のコンテンツである対象データと、前記対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、
前記取得した対象データに含まれる特定シンボルを認識し、
前記認識した特定シンボル及び前記取得したマスク管理データに基づくマスクデータを前記取得した対象データに付加してマスク処理データを作成する、
学習用データ作成方法。
【0097】
(付記2)
前記マスク管理データは、マスクの対象となるデータを選定する条件であるマスク条件を含む、
付記1に記載の学習用データ作成方法。
【0098】
(付記3)
前記マスク条件は、前記特定シンボルのうちのどのシンボルがマスクの対象となるかを示すシンボル条件を含む、
付記2に記載の学習用データ作成方法。
【0099】
(付記4)
前記マスク管理データは、ユーザが登録した単語帳の情報を含み、
前記マスク条件は、前記単語帳の情報に基づきマスクの対象となるかを決定する単語帳条件を含む、
付記3に記載の学習用データ作成方法。
【0100】
(付記5)
前記マスク管理データは、ユーザの習熟度の情報を含み、
前記マスク条件は、前記習熟度の情報に基づきマスクの対象となるかを決定する習熟度条件を含む、
付記3に記載の学習用データ作成方法。
【0101】
(付記6)
前記制御部が、
データ通信により前記マスク管理データを取得する、
付記1に記載の学習用データ作成方法。
【0102】
(付記7)
前記対象データは、撮影により取得された画像データである、
付記1に記載の学習用データ作成方法。
【0103】
(付記8)
制御部が、
付記1から7のいずれか1つに記載の学習用データ作成方法により作成された前記マスク処理データを取得し、
前記取得したマスク処理データから前記マスクデータを取得し、
前記対象データを前記取得したマスクデータに基づいて一部を隠して表示する、
学習用データ表示方法。
【0104】
(付記9)
制御部が、
付記1から7のいずれか1つに記載の学習用データ作成方法により作成された前記マスク処理データが付加された音声データを取得し、
前記取得した音声データから前記マスク処理データを取得し、
前記取得したマスク処理データからマスクの対象の単語であるマスク単語を抽出し、
前記取得した音声データを音声認識し、
前記音声認識した結果に前記抽出したマスク単語が含まれていたら、前記音声データを再生する際に、前記音声データ中の前記マスク単語に対応する音声を加工して再生する、
学習用データ再生方法。
【0105】
(付記10)
前記加工は、無音、効果音、又は他の言語による音声のいずれかに置き換えることである、
付記9に記載の学習用データ再生方法。
【0106】
(付記11)
コンピュータが、
学習用のコンテンツである対象データと、前記対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、
前記取得した対象データに含まれる特定シンボルを認識し、
前記認識した特定シンボル及び前記取得したマスク管理データに基づくマスクデータを前記取得した対象データに付加してマスク処理データを作成する、
プログラム。
【0107】
(付記12)
制御部を備え、
前記制御部が、
学習用のコンテンツである対象データと、前記対象データの一部を隠すマスクを管理するデータであるマスク管理データと、を取得し、
前記取得した対象データに含まれる特定シンボルを認識し、
前記認識した特定シンボル及び前記取得したマスク管理データに基づくマスクデータを前記取得した対象データに付加してマスク処理データを作成する、
電子機器。
【符号の説明】
【0108】
100…電子機器、110…制御部、120…記憶部、121…特定シンボル情報、122…マスク管理データ、130…データ取得部、140…表示部、150…操作入力部、160…通信部、170…音声出力部、200,201…画像データ、211,212,213,214,221,222,223,224,225,226,227,230…シンボル、300…マスク処理データ、311,312,313,314,315…マスク、320,321,322,323,324,325…マスクデータ