(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム
(51)【国際特許分類】
G09B 19/04 20060101AFI20231017BHJP
G09B 19/06 20060101ALI20231017BHJP
G06Q 50/20 20120101ALI20231017BHJP
【FI】
G09B19/04
G09B19/06
G06Q50/20
(21)【出願番号】P 2022132168
(22)【出願日】2022-08-23
(62)【分割の表示】P 2018053710の分割
【原出願日】2018-03-22
【審査請求日】2022-09-14
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】植田 智明
【審査官】西村 民男
(56)【参考文献】
【文献】特開2016-224283(JP,A)
【文献】特開2016-183992(JP,A)
【文献】特開2016-90900(JP,A)
【文献】特開2016-80898(JP,A)
【文献】特開2016-45420(JP,A)
【文献】特開2015-148761(JP,A)
【文献】川本 達也,音変化に着目した英語ディクテーション学習支援システムの実現に向けて,第66回 先進的学習科学と工学研究会資料(SIG-ALST-B202),日本,社団法人人工知能学会,2012年11月05日,pp. 23-26
【文献】北島 大資,語彙学習用確率モデルを利用した英単語学習支援システムに関する一考察,第64回 先進的学習科学と工学研究会資料(SIG-ALST-B103),日本,社団法人人工知能学会,2012年03月07日,pp. 65-70
(58)【調査した分野】(Int.Cl.,DB名)
G09B 1/00- 9/56,
17/00-19/26,
G06Q 50/20
(57)【特許請求の範囲】
【請求項1】
提示される互いに異なる複数の語句
のそれぞれに対してのユーザの発音内容を
、互いに異なる複数の評価項目
のそれぞれについて
前記語句ごとに解析評価して評価点を求め、
前記複数の評価項目のそれぞれについての評価点に基づいて前記互いに異なる複数の語句の
なかからユーザが発音を苦手とする
苦手語句を抽出し、
抽出された前記苦手語句に含まれる苦手発音部分を推定する、
処理を実行する制御部を備えた発音学習支援システム。
【請求項2】
前記制御部は、
推定された前記苦手発音部分を発音練習対象として指定する請求項1に記載の発音学習支援システム。
【請求項3】
前記制御部は、
前記複数の評価項目間で評価点に所定以上の偏りがある語句、または、前記複数の評価項目のそれぞれについての評価点を総合した総合評価点が前記複数の語句のなかで下位になる語句を前記苦手語句として抽出する請求項1又は請求項2に記載の発音学習支援システム。
【請求項4】
前記制御部は、
前記複数の評価項目間で評価点に所定以上の偏りがある語句を前記苦手語句として抽出する場合には、前記複数の評価項目のなかで評価点の低い評価項目での評価点が前記複数の語句のなかで下位になる語句を前記苦手語句として抽出する請求項3に記載の発音学習支援システム。
【請求項5】
前記制御部は、
前記苦手語句のそれぞれを、前記複数の評価項目のそれぞれを評価軸にしたレーダーチャート上での評価点の重心位置に基づいてグループ分けし、前記苦手発音部分を推定する場合の荷重係数をグループごとに調整する請求項1から請求項4の何れかに記載の発音学習支援システム。
【請求項6】
前記複数の評価項目のうちの何れか一つとして、少なくとも、なめらかさ、メリハリ、子音の強さ、脱カタカナ英語度または音読時間が含まれている請求項1から請求項5の何れかに記載の発音学習支援システム。
【請求項7】
互いに異なる複数の語句をユーザに提示する語句提示手段と、
前記語句提示手段により提示される互いに異なる複数の語句のそれぞれに対してのユーザの発音内容を、互いに異なる複数の評価項目のそれぞれについて前記語句ごとに解析評価して評価点を求める発音評価手段と、
前記複数の評価項目のそれぞれについての評価点に基づいて前記互いに異なる複数の語句のなかからユーザが発音を苦手とする苦手語句を抽出する苦手語句抽出手段と、
前記苦手語句抽出手段によって抽出された前記苦手語句に含まれる苦手発音部分を推定する苦手発音部分推定手段と、
前記苦手発音部分推定手段によって推定された前記苦手発音部分を発音練習対象として指定する練習対象指定手段と、
を備えた発音学習支援装置。
【請求項8】
発音学習支援装置が実行する発音学習支援方法であって、
提示される互いに異なる複数の語句のそれぞれに対してのユーザの発音内容を、互いに異なる複数の評価項目のそれぞれについて前記語句ごとに解析評価して評価点を求める工程と、
前記複数の評価項目のそれぞれについての評価点に基づいて前記互いに異なる複数の語句のなかからユーザが発音を苦手とする苦手語句を抽出する工程と、
抽出された前記苦手語句に含まれる苦手発音部分を推定する工程と、
を含む発音学習支援方法。
【請求項9】
コンピュータに、
提示される互いに異なる複数の語句のそれぞれに対してのユーザの発音内容を、互いに異なる複数の評価項目のそれぞれについて前記語句ごとに解析評価して評価点を求め、
前記複数の評価項目のそれぞれについての評価点に基づいて前記互いに異なる複数の語句のなかからユーザが発音を苦手とする苦手語句を抽出し、
抽出された前記苦手語句に含まれる苦手発音部分を推定する、
処理を実行させる発音学習支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラムに関するものである。
【背景技術】
【0002】
従来、英語等の外国語の発音学習においては、文章全体を音読するような発音練習や、文章を構成している個々の単語や発音記号のみ、ポイントに絞って行う発音練習等があり、ユーザが自分の苦手を克服するのに必要と思う練習方法を選んで学習している。
例えば特許文献1には、文章を表示してユーザに音読させ、その発音内容を採点した結果に応じて次に音読すべき文章を自動選択する学習装置が記載されている。
このような技術によれば、文章全体の発音を繰り返し練習することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、文章の発音の採点結果が悪い場合、当該文章の発音が苦手な原因は様々である。苦手である原因を意識しないまま長い文章全体を繰り返し音読するのでは学習効率が悪く、練習の成果を得ることは難しい。
【0005】
採点結果が悪い原因が特定の発音部分(特定の単語、発音記号、リエゾン等の音変化)の発音が苦手なことにある場合、当該苦手な発音部分を克服していくことで、結果的に文章を音読したときにもスムーズに発音することができるようになる。
そこで、効果的に発音学習を行うためには、まず当該苦手な発音部分をユーザに認識させ、その発音部分の練習を集中して行わせることが重要である。
【0006】
本発明は以上のような事情に鑑みてなされたものであり、発音学習において、苦手な発音部分を特定し、これをユーザに意識させることで、効果的に練習を行うことのできる発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0007】
前記課題を解決するために、本発明に係る発音学習支援システムは、
提示される互いに異なる複数の語句のそれぞれに対してのユーザの発音内容を、互いに異なる複数の評価項目のそれぞれについて前記語句ごとに解析評価して評価点を求め、
前記複数の評価項目のそれぞれについての評価点に基づいて前記互いに異なる複数の語句のなかからユーザが発音を苦手とする苦手語句を抽出し、
抽出された前記苦手語句に含まれる苦手発音部分を推定する、
処理を実行する制御部を備えたことを特徴としている。
【発明の効果】
【0008】
本発明によれば、発音学習において、苦手な発音部分を特定し、これをユーザに意識させることで、効果的に練習を行うことができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】本実施形態における発音学習支援システムの要部構成を示すシステム構成図である。
【
図2】
図1に示す発音学習支援システムを構成する電子辞書の平面図である。
【
図3】
図2に示す電子辞書の機能的構成を示す要部ブロック図である。
【
図4】
図1に示す発音学習支援システムを構成する端末装置の機能的構成を示す要部ブロックである。
【
図5】
図1に示す発音学習支援システムを構成するサーバ装置の機能的構成を示す要部ブロックである。
【
図6】本実施形態の発音学習支援システムにおける発音評価処理を示すフローチャートである。
【
図7】本実施形態におけるレーダーチャートの一例を示す図である。
【
図8】本実施形態におけるレーダーチャートの一例を示す図である。
【
図9】本実施形態の発音学習支援システムにおける端末装置とサーバ装置との動作を示すフローチャートである。
【
図10】本実施形態の発音学習支援システムにおける苦手語句抽出処理を示すフローチャートである。
【
図11】本実施形態の発音学習支援システムにおける苦手発音部分推定処理を示すフローチャートである。
【
図12】レーダーチャートに重心を配置した場合の一例を示す図である。
【
図13】
図12に示す重心をレーダーチャート上でグループ分けした状態の一例を示す図である。
【
図14】本実施形態の変形例におけるレーダーチャートの一例を示す図である。
【
図15】本実施形態における発音学習支援システムの一変形例の要部構成を示すシステム構成図である。
【発明を実施するための形態】
【0010】
図1から
図13を参照しつつ、本発明に係る発音学習支援システムの一実施形態について説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
【0011】
[発音学習支援システムの全体構成について]
図1は、本実施形態における発音学習支援システム全体の概略構成を示す図である。
図1に示すように、本実施形態における発音学習支援システム1は、電子機器である電子辞書2と、この電子辞書2から情報を受け取ることのできる端末装置4と、端末装置4とネットワークNを介して接続されるサーバ装置5と、を備えている。
なお、
図1では、電子機器として電子辞書2を備えているが、電子機器は辞書機能を備えるものであれば電子辞書に限定されない。
また、
図1では、端末装置4としてスマートフォンをイメージしているが、端末装置4はスマートフォンに限定されない。端末装置4は、電子辞書2と通信が可能なものであればよく、例えばタブレット型のパーソナルコンピュータ(以下において「PC」とする。)やノート型のPC、据置型のPC等であってもよい。
以下、本実施形態の発音学習支援システム1を構成する電子辞書2、端末装置4及びサーバ装置5について詳説する。
【0012】
[電子辞書2の外観構成について]
図2は、本実施形態に係る電子辞書2の平面図である。
図2に示すように、電子辞書2は、ディスプレイ21、入力キー群22、マイク23、スピーカ24等を備えている。
【0013】
ディスプレイ21は、日本語テキストや外国語テキストを表示したり、ユーザによる入力キー群22の操作に応じた文字や符号等の各種データを白黒又はカラーで表示する部分であり、液晶ディスプレイ(Liquid Crystal Display)等により構成されている。なお、ディスプレイ21は、いわゆるタッチパネルと一体的に形成されていてもよい。この場合には、ディスプレイ21上に表示された語句等をタッチすることで、当該語句を指定する等の操作入力を行うことができる。
【0014】
入力キー群22は、電子辞書2を操作するためのユーザからの操作を受け付ける各種キー等で構成されている。具体的には、入力キー群22は、文字キー22aや、各種の機能キー22b等を有している。
また、本実施形態では、発音学習モードに遷移するための発音学習開始キー22cが設けられている。
【0015】
マイク23は、電子辞書2の発音学習モードにおいて、ディスプレイ21等に表示された語句をユーザが音読した場合に、その音声を録音するものである。
マイク23は、後述するように、図示しない増幅器やA/D変換器等とともに音声入力部33(
図3参照)を構成する。
【0016】
また、スピーカ24は、後述する模範音声データやガイド音声データ等を再生して発音させるためのものである。
スピーカ24は、後述するように、図示しないD/A変換器や増幅器等とともに音声出力部34(
図3参照)を構成する。
【0017】
[電子辞書2の機能的構成について]
図3は、電子辞書2の内部構成を示すブロック図である。
図3に示すように、電子辞書2は、CPU(Central Processing Unit)等で構成される制御装置30、表示部31、キー入力部32、音声入力部33、音声出力部34、ROM(Read Only Memory)等で構成される記憶装置35、RAM(Random Access Memory)40等がそれぞれ接続されて構成されている。
【0018】
表示部31は、上記のディスプレイ21を備えており、制御装置30の指示に従ってディスプレイ21上にテキスト等の情報を表示させるようになっている。なお、ディスプレイ21にタッチパネルが一体的に設けられている場合には、表示部31は、タッチパネルを介して入力された情報を制御装置30に送信する。
本実施形態において、表示部31は、発音学習モードにおいて、学習対象語句等の外国語テキストデータをディスプレイ21上に表示させる。
キー入力部32は、上記の入力キー群22を備えており、ユーザにより入力キー群22の操作が行われると、操作されたキーに対応する情報を制御装置30に送信するようになっている。
【0019】
音声入力部33は、上記のマイク23及び図示しない増幅器やA/D変換器等を備えており、発音学習モードにおいて、制御装置30の指示に従って音声を録音する。
本実施形態では、発音学習モードにおいて、ユーザが語句を音読した場合に、その音声を録音する。
具体的には、マイク23から入力された音声は、増幅器において増幅され、A/D変換器においてA/D変換されて電気信号化され、録音音声データとして後述するRAM36の録音音声データの記憶領域363に記憶される。
【0020】
音声出力部34は、上記のスピーカ24を備えており、制御装置30の指示に従って音声データを再生してスピーカ24から発音させるようになっている。
具体的には、制御装置30から模範音声データ等の音声データが送られて音声出力が指示されると、D/A変換器において発音データがD/A変換されて振動となり、この振動が増幅器において増幅された後、スピーカ24から所定の音声として出力される。
【0021】
記憶装置35は、電子辞書2の各種機能を実現するための各種制御プログラムや各種データ等を記憶している。
本実施形態では、記憶装置35は、発音評価プログラム351a等を記憶するプログラム記憶部351と、制御装置30が発音評価手段としてユーザの発音内容を解析評価する際のデータを評価用データとして記憶する評価用データの記憶領域352と、国語辞典や英和辞典等の各辞書データが収容された辞書データベース(図中「辞書DB」とする。)を記憶する記憶領域353と、日本語テキストや外国語テキスト等が収容されたテキストデータベース(図中「テキストDB」とする。)を記憶する記憶領域354と、発音学習モードにおいて学習対象となる学習対象語句の情報が収容された学習対象語句データベース(図中「学習対象語句DB」とする。)を記憶する記憶領域355等を備えている。
なお、図示は省略するが、本実施形態の記憶装置35には、各種ガイダンス音声等の音声データや記憶装置35内に記憶されている各種テキストデータに対応する音声データ等が記憶されていてもよい。
【0022】
記憶領域355に記憶されている学習対象語句DBには、発音学習を行う対象となる外国語の語句について、テキストデータ、当該テキストを正しい発音で音読した音声データである模範音声データ、テキストデータに対応する発音記号等が各テキストデータについてそれぞれ対応付けられて記憶されている。
なお、ここで「語句」とは、単語、成句や複合語等の複数語の他、文章をも含む広い概念とする。
なお、学習対象語句については、ユーザにより音声出力要求が入力された際に、模範音声データに基づく音声を適宜スピーカ24から音声出力させるようにしてもよい。
【0023】
RAM36は、制御装置30の作業領域として機能するメモリである。
本実施形態のRAMは、ディスプレイ21上に表示させるテキスト等の表示データを一時的に記憶する記憶領域361、発音学習モードの際にユーザに提示する学習対象語句のテキストデータやこれに対応する発音記号、音声データ等を一時的に記憶する記憶領域362、マイクを介して入力された音声の録音音声データを記憶する記憶領域363、制御装置30が発音評価手段としてユーザの発音内容を解析評価して評価点を求めた場合にこの評価点を一時的に記憶する記憶領域364等を備えている。
【0024】
制御装置30は、表示部31、キー入力部32、音声入力部33、音声出力部34、記憶装置35、RAM36等と接続されている。そして、制御装置30は、キー入力部32等から入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、電子辞書2を統括的に制御するようになっている。
【0025】
具体的には、制御装置30は、ユーザにより入力キー群22が操作されて入力された操作信号等が、キー入力部32等から送信されると、入力される操作信号等に応じて記憶装置35に格納された各種プログラムを読み出し、当該プログラムに従って処理を実行する。そして、制御装置30は、処理結果をRAM36に一時的に保存するとともに、処理結果を表示部31に送ってディスプレイ21上に表示させる。
【0026】
また、制御装置30は、ユーザによりテキストを表示させるための操作がなされた場合
には、記憶装置35の記憶領域354に記憶されたテキストDBから指定されたテキストを読み出して表示部31に送信して、ディスプレイ21上に当該テキストを表示させる。そして、表示部31から現在ディスプレイ21上に表示させているデータの情報が送信されてくると、それを表示データとしてRAM36の記憶領域361に一時的に記憶させる。
【0027】
また、制御装置30は、音声を録音する指示があった場合には音声入力部33を動作させてマイク23を介してユーザの音声等を録音させる。
さらに、制御装置30は、音声データを再生する指示があった場合は、記憶装置35の音声データベースから音声データを読み出して音声出力部34に送り、スピーカ24で再生させる。
【0028】
また、本実施形態の制御装置30は、発音評価手段として機能するようになっている。
本実施形態では、発音学習開始キー22cが操作されて発音学習モードに遷移した場合に、提示される複数の異なる語句に対してユーザが発音学習を行うようになっており、制御装置30は、記憶装置35の記憶領域355に記憶されている学習対象語句DBから発音学習を行う対象となる外国語の語句のテキストデータを順次読み出して表示部31のディスプレイ21上に表示させる。
いずれの語句を読み出すかは適宜設定可能な事項であるが、例えば、発音学習が未了の語句が優先的に読み出される。なお、全ての語句について発音学習が終了した場合には、2巡目、3巡目…と学習を繰り返すようにしてもよい。また、語句に難易度や重要度等が対応付けられている場合には、難易度の低い方から順に学習が行われるようにしたり、重要度の高いものから順に学習が行われるようにしてもよい。さらに、後述する苦手語句とされた語句や苦手発音部分を含む語句をユーザが電子辞書2に入力する等によりフィードバックできる構成とされている場合には、苦手語句とされた語句や苦手発音部分を含む語句を集中的に学習するようにしてもよい。
【0029】
いずれかの語句がディスプレイ21上に表示(提示)され、当該語句をユーザが音読すると、制御装置30は音声入力部33によってその音声を録音させるようになっており、録音された音声はRAM36の記憶領域363に録音音声データとして記憶される。
そして、制御装置30はこの録音音声データについて、ユーザの発音内容を解析評価して評価点を求める発音評価手段として機能する。
具体的には、制御装置30は録音音声データを当該語句の発音記号ごとに分割する。学習対象語句DBが記憶されている記憶領域355には、各語句(学習対象語句)に対応付けられて当該語句を正しい発音で音読した音声データである模範音声データが記憶されている。制御装置30は、該当語句の模範音声データを読み出して、発音記号ごとに分割されたユーザの録音音声データと模範音声データとを比較してその類似度を求める。
【0030】
本実施形態では、制御装置30による発音内容の解析評価は複数の異なる評価項目について行われ、ユーザの録音音声データと模範音声データとの類似性を所定の評価項目について判断する。そして模範音声データとの類似度に応じた評価点が各評価項目ごとに取得され、評価点データとして記憶領域364に記憶される。
なお、評価項目としてどのような項目を設定するかは発音学習の対象(発音評価手段の評価対象)となる外国語の種類等に応じて適宜決定可能である。
以下の実施形態においては、発音学習の対象が英語の語句である場合において「
なめらかさ」「メリハリ」「子音の強さ」「脱カタカナ英語度」「音読時間」の5つの項目を評価項目とする例を示す(
図7、
図8等参照)。
【0031】
[端末装置4の機能的構成について]
図4は、端末装置4の内部構成を示すブロック図である。
図4に示すように、端末装置4は、CPU(Central Processing Unit)等で構成される制御装置40、表示部41、入力部42、通信部43、情報読取部44、ROM(Read Only Memory)等で構成される記憶装置45、RAM(Random Access Memory)46等がそれぞれ接続されて構成されている。
【0032】
表示部41は、図示しないディスプレイを備えており、制御装置40の指示に従ってディスプレイ上に各種情報を表示させるようになっている。なお、ディスプレイにタッチパネルが一体的に設けられている場合には、表示部41は、タッチパネルを介して入力された情報を制御装置40に送信する。
入力部42は、各種操作ボタンやキー等を備えており、ユーザにより操作ボタン等の操作が行われるとこれに対応する情報を制御装置40に送信するようになっている。
通信部43は、ネットワーク(通信ネットワーク)Nを介してサーバ装置5等と接続される。ネットワークNは、インターネットであってもよいし、LAN(Local Area Network)等、他のネットワークとしてもよい。
情報読取部44は、電子辞書2から評価点データ等の情報を取得するものである。本実施形態では、電子辞書2は評価点データ等の情報をQRコード(登録商標)等の形式でディスプレイ21上等に表示可能となっており、情報読取部44としては、QRコード等を読み取ることが可能なカメラ等が想定される。なお、電子辞書2において情報を発信可能な手法はQRコード等に限定されず、端末装置4側の情報読取部44としては、電子辞書2の仕様に応じた情報取得手段が設けられる。
【0033】
記憶装置45は、端末装置4の各種機能を実現するための各種制御プログラムや各種データ等を記憶している。
本実施形態では、記憶装置45は、電子辞書2と連携して発音学習を支援する所定のアプリケーションプログラム451a等を記憶するプログラム記憶部451と、制御装置30が各種処理を行う際に参照するデータが記憶されたデータ記憶部452等を有している。
また、RAM46は、制御装置40の作業領域として機能するメモリである。RAM46には、表示部41に表示させるテキスト等の表示データを一時的に記憶する記憶領域461等が設けられている。
【0034】
制御装置40は、表示部41、入力部42、通信部43、情報読取部44、記憶装置45、RAM46等と接続されている。そして、制御装置40は、入力部42等から入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、端末装置4を統括的に制御するようになっている。
本実施形態では、情報読取部44において電子辞書2のQRコード等が読み取られると、これに応じて制御装置40が所定のアプリケーションプログラム451aを起動させる。これにより端末装置4が通信部43を介してサーバ装置5と接続されるようになっている。そして、QRコード等に含まれている評価点情報等、電子辞書2から読み取られた情報が端末装置4からサーバ装置5に送信される。
【0035】
また、本実施形態において端末装置4の制御装置40は、苦手発音部分推定手段としてのサーバ装置5の制御装置50によって苦手発音部分が推定されると、当該苦手発音部分を発音練習対象として指定する練習対象指定手段として機能する。
具体的には、サーバ装置5から苦手発音部分の推定結果が端末装置4に送られると、制御装置40は、当該苦手発音部分をユーザが重点的に発音練習すべき発音練習対象として指定する。そして、当該推定結果等を表示部41の図示しないディスプレイ等に表示させ、ユーザに発音練習を促すようになっている。
表示部41への表示は、後述するレーダーチャート上に評価点の分布状態や重心Ci(
図12等参照)の分布状態を示したものであってもよい。評価点や重心Ciの分布状態をレーダーチャート上で示すことで、ユーザにとってイメージが掴みやすく、自らの苦手部分(弱点)を理解しやすくなる。
また、制御装置40は、こうしたレーダーチャートを表示部41に表示させた状態で苦手語句の含まれるグループをユーザに選択させるようにしてもよい。
この場合、ユーザが自らの苦手部分(弱点)を適切に把握して発音練習の対象等を選ぶことができる。
【0036】
[サーバ装置5の機能的構成について]
図5は、サーバ装置5の内部構成を示すブロック図である。
図5に示すように、サーバ装置5は、CPU(Central Processing Unit)等で構成される制御装置50、通信部53、ROM(Read Only Memory)等で構成される記憶装置55、RAM(Random Access Memory)56等を備え、これらがそれぞれ接続されて構成されている。
【0037】
通信部53は、ネットワーク(通信ネットワーク)Nを介して端末装置4等と接続される。ネットワークNは、インターネットであってもよいし、LAN(Local Area Network)等、他のネットワークとしてもよい。
サーバ装置5は、端末装置4から電子辞書2の評価点情報等が送信されると、通信部53を介してこれを受信する。また、所定の処理を評価点情報等に基づいて所定の処理を行った場合には、通信部53を介してその処理結果を端末装置4に送信する。
【0038】
記憶装置55は、サーバ装置5の各種機能を実現するための各種制御プログラムや各種データ等を記憶している。
本実施形態では、記憶装置55は、電子辞書2において取得されたユーザの発音内容についての評価点情報に基づいて、ユーザにとって発音するのが苦手な語句(これを以下「苦手語句」という。)を抽出する処理を行うための苦手語句抽出プログラム551aや、苦手語句に特徴的に含まれる苦手発音部分を推定する処理を行うための苦手発音部分推定プログラム551b等を記憶するプログラム記憶部551と、制御装置50が各種処理を行う際に参照するデータが記憶されたデータ記憶部552等を有している。
また、RAM56は、制御装置50の作業領域として機能するメモリである。RAM56には、端末装置4から送信された評価点の情報である評価点データを一時的に記憶する記憶領域561、苦手語句抽出処理において抽出された苦手語句データを一時的に記憶する記憶領域562、苦手発音部分推定処理において抽出された苦手発音部分データを一時的に記憶する記憶領域563等が設けられている。
【0039】
制御装置50は、通信部53、記憶装置55、RAM56等と接続されている。そして、制御装置50は、通信部53を介して入力される情報等に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、サーバ装置5を統括的に制御するようになっている。
本実施形態では、制御装置50は、発音評価手段である電子辞書2の制御装置30によるユーザの発音内容の評価結果(すなわち各評価項目ごとの評価点)に基づいてユーザが発音を苦手とする語句である苦手語句を抽出する苦手語句抽出手段として機能する。
また、制御装置50は、苦手語句抽出手段としての機能により抽出した苦手語句に特徴的に含まれる苦手発音部分を推定する苦手発音部分推定手段としても機能する。
ここで「発音部分」とは、例えば、語句全体が文章である場合における文章を構成する単語や、語句を構成する発音記号、語句が複数語で構成されている場合におけるリエゾン部分等を広く含む概念である。なお、以下の本実施形態では、「語句」が「単語」であり、「発音部分」が「発音記号」である場合を想定して例示している。
なお、制御装置50による苦手語句抽出処理及び苦手発音部分推定処理の具体的な内容については後に詳述する。
【0040】
[発音学習支援システムの作用について]
次に、本実施形態に係る発音学習支援システム1の作用について、
図6~
図13を参照しつつ説明する。
図6は、発音評価手段としての電子辞書2の制御装置30が行う発音評価処理を示すフローチャートである。
ユーザが発音学習開始キー22cを操作し、発音学習の開始要求が制御装置30に送られると、発音評価手段としての電子辞書2の制御装置30は、表示部31のディスプレイ21等に発音学習モードに対応する画面を表示させる。なお、「発音学習を開始します。」等のユーザに向けたメッセージを音声出力部34のスピーカ24から出力させてもよい。
【0041】
発音学習モードにおいて制御装置30は、
図6に示すように、記憶装置35の記憶領域355に記憶されている学習対象語句DB内に格納されている複数の学習対象語句のうち未だユーザの発音内容を評価していない未評価の語句を選択する(ステップS1)。そして、選択された語句のテキストデータに基づくテキストをディスプレイ21に表示させる。なお、学習対象の語句は制御装置30によって自動的に選択される場合に限定されず、例えば学習対象語句DB内の語句を順次ディスプレイ21に表示させ、ユーザの操作によっていずれかの語句が学習対象として選択されるようにしてもよい。
いずれかの語句が学習対象として選択されると、制御装置30は、当該選択された語句のテキストデータ、発音記号データ、模範音声データ等をRAM36の学習対象語句データの記憶領域362に書き込むと共に、選択された語句のテキストをディスプレイ21に表示させる(ステップS2)。なお、このとき、「発音を評価します。発音して下さい。」等、当該語句を音読するよう発音をユーザに促すメッセージをディスプレイ21に表示させることが好ましい。
【0042】
ディスプレイ21に表示された語句をユーザが音読すると、当該音読した音声がマイク23により録音される(ステップS3)。なお、録音開始のタイミングは選択された語句がディスプレイ21に表示されたときでもよいし、音声入力部33が音声入力開始を自動的に認識して録音状態に遷移するようにしてもよい。また、電子辞書2に録音開始キー等を設けて、ユーザに録音開始指示を入力させるようにしてもよい。
録音されたユーザの音声は録音音声データとして記憶領域363に記憶される。
【0043】
ユーザの音声が録音されると、制御装置30は、当該語句に対応付けられた模範音声データを読み出し(ステップS4)、当該模範音声データと録音された音声の発音内容とを比較して評価項目ごとに解析評価を行う(ステップS5)。
本実施形態では前述のように、5つの評価項目で発音内容の解析評価を行うようになっており、制御装置30は、各評価項目ごとの評価点を求める(ステップS6)。制御装置30によって求められた評価点は、評価点データとして記憶領域364に記憶される(ステップS7)。
制御装置30は、さらに、全ての学習対象語句について評価が終了したか否かを判断し(ステップS8)、すべて終了している場合(ステップS8;YES)には処理を終了する。
他方、まだ評価を行っていない語句がある場合(ステップS8;NO)には、当該語句についてステップS1に戻って処理を繰り返す。
なお、一度解析評価を終えている語句であってもユーザが特に選択したり、2巡目、3巡目等繰り返し発音練習を行うような場合には、ステップS1からステップS8の処理が繰り返して行われる。
【0044】
図7は、本実施形態における複数の評価項目それぞれを頂点とするレーダーチャートの一例を示す図であり、
図8は実際の評価結果である評価点をレーダーチャート上に表した例を示した図である。
本実施形態では、複数の評価項目それぞれをレーダーチャートの頂点とする2次元空間内に評価点が分布する。
図7、
図8に示すように、本実施形態では、「
なめらかさ」「メリハリ」「子音の強さ」「脱カタカナ英語度」「音読時間」の5つの項目を評価項目としており、各評価項目は最高点が100、最低点が40に設定されており、40点よりも低い点数が付かないようになっている。
なお、「なめらかさ」は、語句(文章)に含まれる単語と単語との間の無音声区間の長さや、リエゾンなどの発音変化の有無によって評価される。「メリハリ」は、語句(文章)に含まれる複数の単語のネイティブによる強弱に対して学習者の強弱の差で評価される。「子音の強さ」は、1つの語句(単語)における母音の強さと子音の強さの比で評価される。「脱カタカナ英語度」は、音声波形から抽出した複数の特徴量からなる座標空間内でのネイティブに対応する空間位置と平均的な日本人に対応する空間位置のいずれに近いかによって評価される。「音読時間」とは、当該語句の平均的な音読時間であり、語句が複数の単語等で構成されている場合には、単語数によって算出した音読時間に対する割合で評価される。
例えば
図8に示す例では、「メリハリ」に優れネイティブに近い強弱をつけて発音することができている反面、「音読時間」が平均的な時間よりも多くかかっている。
制御装置30により、各評価項目についての評価点が算出された場合には、
図8に示すようなレーダーチャートを表示部31のディスプレイ21に表示させるようにしてもよい。
【0045】
次に、端末装置4及びサーバ装置5の動作について説明する。
図9は、端末装置及びサーバ装置の動作を示すフローチャートである。
図9に示すように、本実施形態において、端末装置4を電子辞書2及びサーバ装置5と連携させるために、まず、端末装置4において、発音学習を支援する所定のアプリケーションプログラムを起動させる(ステップS11)。これにより、端末装置4が通信部43を介してネットワークNに接続されているサーバ装置5と情報の送受信可能な状態となる。
電子辞書2は、上記の発音評価処理を行って評価点を算出した際には、当該情報をQRコード(登録商標)等の読み取り可能な符号としてディスプレイ21等に表示させるようになっており、端末装置4は、図示しないカメラ等で構成される情報読取部44によってこのQRコード等を読み取ることにより、電子辞書2から評価点の情報を読み込む(ステップS12)。
電子辞書2から評価点の情報を読み込むと、端末装置4の制御装置40は、通信部43を介して当該評価点の情報をサーバ装置5に送信する(ステップS13)。
【0046】
サーバ装置5の制御装置50は、端末装置4から評価点の情報を受信すると(ステップS14)、これを評価点データとして記憶領域561に記憶させるとともに、苦手語句抽出処理を行う(ステップS15)。
図10は、本実施形態におけるサーバ装置5の制御装置50による苦手語句抽出処理(
図9におけるステップS15の処理)を具体的に示すフローチャートである。
図10に示すように、苦手語句抽出処理において制御装置50は、まず、評価項目ごとの評価点に所定以上の偏りがあるか否かを判断する(ステップS21)。ここで「所定以上」をどの程度とするかは適宜設定可能な事項である。
評価点に所定以上の偏りがあると判断される場合(ステップS21;YES)には、制御装置50は、評価点の低い評価項目のうちの1つを選択し(ステップS22)、選択した評価項目の評価点が下位20%である語句を苦手語句として抽出する(ステップS23)。なお、苦手語句として抽出する条件は評価点が下位20%である場合に限定されない
。例えば当該条件は、苦手語句抽出処理にかける対象(評価点が算出されサーバ装置5に情報が送られた語句)の数等に応じて適宜設定するようにする。この場合、例えば処理対象数が多い場合には下位20%よりも低い場合(例えば下位10%以下である場合)等に絞り込んでもよいし、処理対象数が少ない場合には下位30%等、苦手語句として抽出される語句の数が高くなるように設定してもよい。
他方で、評価点に所定以上の偏りがないと判断される場合(ステップS21;NO)には、制御装置50は、全評価項目の総合評価点が下位20%である語句を苦手語句として抽出する(ステップS24)。なお、苦手語句として抽出する条件が下位20%である場合に限定されないことは上記と同様である。
制御装置50は、苦手語句として抽出された語句を苦手語句データとして記憶領域562に記憶させる。
【0047】
図9に戻り、制御装置50は、苦手語句抽出処理を行うと、次に苦手発音部分推定処理を行う(ステップS16)。
図11は、本実施形態におけるサーバ装置5の制御装置50による苦手発音部分推定処理(
図9におけるステップS16の処理)を具体的に示すフローチャートである。
苦手発音部分推定処理において苦手発音部分を適切に推定するためには、ある程度の数の苦手語句を処理対象とすることが好ましい。
このため、
図11に示すように、苦手発音部分推定処理において制御装置50は、まず、抽出された苦手語句の総数が所定数iを超えているか否かを判断する(ステップS31)。なお、「所定数i」をどの程度とするかは適宜設定可能な事項である。
苦手語句の総数が所定数iを超えていない場合(ステップS31;NO)には、苦手語句の総数が所定数iを超えるまでステップS31の判断処理を繰り返す。
【0048】
他方、苦手語句の総数が所定数iを超えている場合(ステップS31;YES)には、制御装置50は、まず、各苦手語句Riの評価項目ごとの評価点の分布の重心Ciを計算する(ステップS32)。
そして、算出された各苦手語句Riの重心Ciをレーダーチャート上にプロットする(ステップS33)。
図12は、各苦手語句Riの重心Ciをレーダーチャート上にプロットした状態を示している。
次に、複数の評価項目(本実施形態では5項目)について重心Ciをとった場合において原点に位置するということは、全ての評価項目においてほぼ同じ距離の評価点が付されていることを意味し、特徴を掴みづらい。このため、レーダーチャート上の重心Ciのうち、原点に位置するもの(
図13において「重心Ci1」)を以降の処理対象から除外する(ステップS34)。なお、同じ理由から、原点に位置するものの他、ほぼこれに近い位置にあるものについても処理対象から外してもよい。
また、重心Ciが原点から離れすぎているものは、いずれか1つの項目について特化して優れていることを意味している。この場合苦手な評価項目は当該優れているもの以外全てとなり、結局いずれの評価項目が苦手なのかという特徴を掴みづらい。例えば、
図13に示す重心Ci2は、「メリハリ」のみが特に高得点となっており、その他の評価項目については何を苦手としているのかが分からない。このため、本実施形態では、原点から20以上離れているもの(
図13において「重心Ci2」)についても以降の処理対象から除外する(ステップS35)。なお、原点からどの程度離れている場合に処理対象から除外するかは適宜設定可能な事項であり、原点から20以上離れている場合に限定されない。
【0049】
このように特徴を掴みづらいいくつかの重心Ciを処理対象から除外した後、制御装置50は、各重心Ciをもとに苦手語句をいくつかのグループにグループ分けする処理を行う(ステップS36)。
なお、グループ分けの手法としては、例えば教師なし機械学習の手法の1つであるk-平均法によるクラスタリング(k-means clustering)を採用することができる。
k-平均法(k-means)クラスタリングでは、グループ分けするデータ数があまり大量でない段階から適切なグループ分けを行うことが可能であるとの利点がある。なお、グループ分けの手法はk-平均法(k-means)クラスタリングに限定されず、他の手法を用いることも可能である。
【0050】
k-平均法(k-means)クラスタリングを用いてグループ分けを行う場合、まず、各苦手語句Riの重心Ciをいくつのグループに分類するか、グループ数kを決定する。
kの値をいくつとするか、どのように設定するかは適宜設定可能な事項である。具体的な手法としては、例えばkをある範囲で決めて、全てのパターンで計算を試みる。そして妥当な結果が得られやすいkの値を見つけるという処理をグループ分け処理の前提として行い、kの値を決定することが考えられる。なお、kの値はユーザ等が設定してもよいし、自動的に設定されるようにしてもよい。自動的に設定する場合には、ランダムに設定してもよいし、データのサンプル数の何割等何らかの基準を決めて設定してもよい。またデータの広がりが大きい場合にはkの値も大きくするというような手法をとることも考えられる。
【0051】
グループ数であるkの値が決まると、複数ある重心Ciの中から、k個のグループの中心となるセントロイド(重心)を決定する。そしてセントロイド(重心)以外の点(重心Ci)について全てのセントロイド(重心)からの距離を計算し、各点(重心Ci)にとって最も距離の近いセントロイド(重心)を決める。これによって、各点(重心Ci)がいずれか1つのセントロイド(重心)のグループとなり、セントロイド(重心)の数と一致するk個のグループにグループ分けされる。
例えば、
図13では、
図12に示すようにレーダーチャート上にプロットされた各点(重心Ci)のうち、いずれか7個がセントロイド(重心)として決定され、他の各点(重心Ci)は、それぞれ最も距離の近いセントロイド(重心)のもとにグループ化されて、G1からG7までの7個のグループにグループ分けされた例を示している。
【0052】
各苦手語句Riの評価点に基づく重心Ciのグループ分けが完了すると、制御装置50は、評価項目との位置関係に基づき各グループに荷重を設定する(ステップS37)。
各評価項目に対して原点対称に属するグループは、当該評価項目が苦手である可能性が高いことを示している。例えば、
図13におけるグループG2は、「子音の強さ」が苦手であり、子音をうまく発音できない(子音の発音が苦手な)単語を含む可能性が高い。このように、評価項目との関係においてより特徴的と言えるため、グループG2には荷重をつける。
また、例えば、
図13におけるグループG4は、「音読時間」が苦手であり、うまく発音できない(発音が苦手な/読みにくい)単語を含む可能性が高い。このように、評価項目との関係においてより特徴的と言えるため、グループG4にも荷重をつける。
他方で、例えば、
図13におけるグループG1は、「音読時間・なめらかさ」のみが高得点であり、評価項目との関係において特徴の抽出に寄与しない。このため、グループG1は、処理対象から除外される。
なお、評価項目の中にあまり苦手発音部分(本時実施形態では「発音記号))の得意不得意に関係しない項目がある場合には、当該評価項目との関係においてより特徴的なグループについては荷重を付けないか、荷重を低くする等の調整を行ってもよい。逆に、苦手発音部分(本時実施形態では「発音記号))が苦手なことに起因して評価点が低くなっていると思われる評価項目がある場合には、当該評価項目との関係においてより特徴的なグループについて荷重を高く設定するというような調整をしてもよい。
【0053】
次に、制御装置50は、レーダーチャート上に重心Ciがプロットされている各苦手語句のうち、処理対象から除外されたものを除いた苦手語句についてそれぞれ発音記号列に変換する処理を行う(ステップS38)。
なお、本実施形態では前述のように、「発音部分」が「発音記号」である場合を例としているが、「発音部分」がこれ以外のものである場合(例えば文章に含まれる単語であったり、リエゾンであったりする場合)には、苦手語句についてそれぞれ「単語」や「リエゾン」等に変換する。
そして、各グループG1~G7に属する苦手語句を構成する発音記号に対して、TF-IDF値を算出する(ステップS39)。
例えば、グループG2は3つの重心Ciを含むグループであり、この場合には、各重心Ciの元となった3つの苦手語句(文章、単語等)をそれぞれ発音記号列に変換する。そして、変換された発音記号について、その出現頻度からスコア(TF-IDF値)を算出する。
TF-IDF値とは、複数の文書の中から、各文書の特徴づける単語を見つけるのに用いられる特徴量であり、原則として、出現頻度の高い単語ほど重要と判断して高い値となり、どの文書にも出現するような単語については低い値となる。なお、本実施形態では、「文書」を「苦手語句」に置き換え、「単語」を「発音記号」に置き換えてTF-IDF値を適用することで、「苦手語句」に特徴的な「発音記号」に高い値を付して重み付けすることができる。
なお、TF-IDF値を算出することは必須ではなく、苦手語句について特徴的な苦手発音部分を抽出することのできる手法であれば他の手法を用いてもよい。
例えば、英語の発音学習を行う場合において日本人が共通して苦手とする発音記号のリスト等があるような場合には、各グループG1~G7に属する苦手語句を構成する発音記号と、当該リストにある発音記号とを照らし合わせるマッチングの手法を用いて苦手語句について特徴的な苦手発音部分を抽出してもよい。
【0054】
さらに、制御装置50は、各発音記号におけるTF-IDF値に対して加重平均を算出する(ステップS40)。具体的には、各グループについてステップS37において設定した荷重平均とTF-IDF値を掛け合わせてTF-IDF値の平均(平均TF-IDF値)を算出する。
平均TF-IDF値は、苦手語句のグループであって、かつ特徴的な苦手発音部分(発音記号)であるものほどスコアが高くなる。このため、制御装置50は、平均TF-IDF値の高い発音記号を苦手発音部分と推定する(ステップS41)。
【0055】
苦手発音部分推定処理において苦手発音部分の推定結果が取得されると、
図9に戻り、制御装置50は、推定結果を端末装置4に送信する(ステップS17)。
端末装置4は、サーバ装置5から苦手発音部分の推定結果を受信すると(ステップS18)、表示部41に苦手発音部分の推定結果等を表示させる(ステップS19)。
具体的には、ユーザにとって苦手であると推定された発音記号を表示部41に表示させ、当該発音記号を含む語句(単語や成句、文章等)について発音学習を行うように発音練習対象として指定する。
このとき、「発音記号○○を含む語句について発音練習をしましょう。」等の発音学習を促すメッセージを表示部41に表示させてもよい。
【0056】
[発音学習支援システムの効果について]
以上のように、本実施形態によれば、発音学習支援システム1は、提示される複数の異なる語句に対するユーザの発音内容をそれぞれ解析評価して評価点を求める発音評価手段として機能する制御装置30と、発音評価手段による評価結果に基づいてユーザが発音を苦手とする語句である苦手語句を抽出する苦手語句抽出手段として機能するとともに、苦手語句抽出手段によって抽出された苦手語句に特徴的に含まれる苦手発音部分を推定する苦手発音部分推定手段として機能する制御装置50と、苦手発音部分推定手段によって推定された苦手発音部分を発音練習対象として指定する練習対象指定手段として機能する制御装置40と、を備えている。
これにより、単に単語や文章等の語句を音読した際の発音を点数化して評価する場合と比較して、ユーザの苦手とする発音記号等の発音部分を抽出し、端的にユーザに示すことができる。
このため、どのような語句(単語や文章等)を練習すれば苦手な発音を克服できるのかをユーザに示すことができ、ユーザは苦手発音部分(苦手発音部分を含む語句)を発音練習対象とすることで苦手部分を集中的に練習することができる。これにより効率よく語学における発音の基礎固めを行うことが可能となる。
【0057】
また本実施形態では、発音評価手段としての制御装置30は、発音内容の解析評価を複数の異なる評価項目について行い、苦手語句抽出手段としての制御装置50は、発音評価手段により求められた評価点の低い評価項目及びユーザの指定した評価項目の少なくともいずれかについて評価点の低かった語句を苦手語句として抽出する。
このため、ユーザの発音内容を多角的に解析評価することができる。また、ユーザにとって苦手な項目と言える評価点の低い評価項目やユーザが特に気になっている評価項目について評価点の低かった語句を苦手語句とするため、ユーザが苦手克服のために練習すべき語句を適切に抽出することができる。
【0058】
また本実施形態では、苦手語句抽出手段としての制御装置50は、発音評価手段としての制御装置30により求められた評価項目ごとの評価点に所定以上の偏りがあるか否かを判定し、評価点に偏りがある場合には、評価点の最も低い評価項目を選択して、当該選択した評価項目の評価点の低かった語句を苦手語句として抽出し、評価点に偏りがない場合には、複数の評価項目について総合的に評価点の低かった語句を苦手語句として抽出する。
このため、ユーザにおいて特に苦手な評価項目がある場合には、それが平均化されずに抽出結果に反映され、苦手語句の抽出を適切に行うことができる。
【0059】
また本実施形態では、苦手発音部分推定手段としての制御装置50は、発音評価手段としての制御装置30による複数の異なる評価項目の評価結果から、苦手語句を複数のグループに分類するようになっている。
これにより、単に評価点の低い語句(単語や文章等)を練習対象とする場合よりもユーザの苦手な傾向に合った適切な練習対象を提示することができる。
【0060】
また本実施形態では、苦手発音部分推定手段としての制御装置50は、複数の評価項目に基づいて形成される所定の空間内における評価点の分布に基づく重心位置に応じて苦手語句のグループへの分類を行う。
このように、各評価項目についての評価点の重心Ciを求めて苦手語句の分類を行うことによって、苦手な発音の傾向等を偏りなく適切に推定することができる。
【0061】
また本実施形態では、複数の評価項目に基づいて形成される所定の空間は、複数の評価項目それぞれをレーダーチャートの頂点とする2次元空間である。
このような2次元空間に配置された重心Ciに応じて苦手語句のグループ分けを行うので、例えば本実施形態で例示したk-平均法(k-means)クラスタリング等のアルゴリズムを用いてグループ分けを行う場合でも比較的計算量が少なくて済み、容易にグループ分けを行うことができる。
また、2次元空間に表すことにより、端末装置4の表示部41等に表示させやすく、ユーザにとっても自分の苦手部分を視覚的に捉えることができ、理解しやすい。
【0062】
また本実施形態では、レーダーチャートによる評価点の分布状態を表示した状態で苦手語句の含まれるグループをユーザに選択させてもよい。
この場合には、ユーザにとって自分の苦手部分を理解しやすい状態で適切に学習対象等を選択、設定することができる。
【0063】
また本実施形態では、苦手発音部分推定手段としての制御装置50は、苦手語句に多く含まれる単語又は発音記号のうち、どの語句にも含まれるような単語又は発音記号は、単独での発音練習を行う発音練習対象から除外するようになっている。
どの語句にも含まれるような単語又は発音記号は、ユーザにとって固有の苦手部分ではなく、繰り返し練習する対象に設定してもあまり意味がない。
この点、これを発音練習対象から除外することで、より効率の良い発音練習をすることが可能となる。
【0064】
《変形例》
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0065】
例えば、上記実施形態では、
図1に示すように、サーバ装置5が1人のユーザの端末装置4との間で情報を送受信して、当該ユーザの端末装置4に情報が送られた1つの電子辞書2の情報について処理する構成を図示しているが、発音学習支援システム1は、このように個々のユーザ毎に各種処理を完結させる場合に限定されるものではない。
発音学習支援システム1は、サーバ装置5が複数のユーザの端末装置4との間で情報を送受信して、各ユーザの電子辞書2の情報について一元的に処理する構成としてもよい。
例えば、
図14(a)及び
図14(b)は、異なるユーザがそれぞれ同じ語句(例えば5種類の学習用例文)を2回ずつ音読し、その録音音声データを解析評価した結果(評価項目ごとの評価点についてそれぞれ重心Ciを求めたもの。)をレーダーチャート上に示したものである。
同じ語句(学習用例文)を音読した場合でも、
図14(a)に示すユーザの評価結果と
図14(b)に示すユーザの評価結果とでは異なる傾向を示している。
このため、サーバ装置5が複数のユーザの電子辞書2の情報について一元的に処理する構成とすれば、ユーザ個人の情報を個々に処理する場合と比較して不特定多数のユーザの傾向を反映させたより普遍的な傾向に基づく苦手発音部分の提示を行うことが可能となる。
【0066】
また、上記実施形態では、電子機器である電子辞書2が通信機能を備えておらず、評価点のデータ等をQRコード等を介して端末装置4に読み取らせる例を示したが、電子辞書2と端末装置4との間の情報のやり取りの仕方はこれに限定されない。電子辞書2側にも通信部を設けて、電子辞書2と端末装置4との間で通信を行うことにより評価点のデータ等の情報の送受信を可能に構成してもよい。
この場合、電子辞書2と端末装置4との間での通信は、インターネット等のネットワーク回線を使うものであってもよいし、例えばBluetooth(登録商標)やWi-Fi等の近距離無線通信規格に基づく無線通信を行うものであってもよい。ネットワークを介して通信を行う場合、通信に用いるネットワークはどのような回線を利用するものでもよい。
また、電子辞書2と端末装置4との間の通信は無線に限定されず、有線接続により両者間で各種データの送受信が可能な構成としてもよい。
【0067】
このように、電子辞書2と端末装置4との間で通信を行うことが可能である場合には、サーバ装置5の制御装置50による処理結果(すなわち、苦手語句の抽出結果や苦手発音部分の推定結果等)が端末装置4に送られた場合に、これをさらに端末装置4から電子辞書2側に送信し、電子辞書2の表示部31のディスプレイ21上に、苦手語句の抽出結果や苦手発音部分の推定結果等の表示をさせたり、
図12、
図13に示すようなレーダーチャートや、「苦手発音部分を含む語句を練習しましょう」等のメッセージ等を表示させてもよい。
この場合には、電子辞書2の制御装置30が、苦手発音部分推定手段としての制御装置50によって推定された苦手発音部分を発音練習対象として指定する練習対象指定手段として機能してもよい。
さらに、電子辞書2の制御装置30が、発音練習対象として指定された苦手発音部分をユーザに提示する練習対象提示手段としても機能してもよい。
苦手語句の抽出結果や苦手発音部分の推定結果等が電子辞書2側にフィードバックされるようにすれば、電子辞書2の制御装置30が、当該推定結果に対応する発音練習用の語句を、記憶領域355に格納されている学習対象語句DB等から適宜抽出して発音練習対象としてユーザに提示することができ、電子辞書2に設けられている発音学習モードをより積極的に活用することが可能となる。
【0068】
また、上記実施形態では、電子辞書2と、端末装置4と、サーバ装置5と、によって発音学習支援システム1が構成されている場合を例示したが、発音学習支援システム1の構成はこれに限定されない。
例えば、電子辞書2が苦手語句抽出手段として機能する機能部、苦手発音部分推定手段として機能する機能部を有する電子機器(例えば本実施形態におけるサーバ装置5や、苦手語句抽出手段及び苦手発音部分推定手段を備える各種の端末装置等)に対して直接評価点のデータ等を送ることができる場合には間に端末装置4を介在させる必要がなく、電子辞書2と、苦手語句抽出手段及び苦手発音部分推定手段を備える電子機器とで発音学習支援システム1が構成されていてもよい。
【0069】
例えば、
図15は、複数の電子辞書2が電子機器としてのタブレット端末6に評価点のデータ等を送ることができる場合の構成例を示したものである。
なお、電子機器はタブレット端末に限定されず、携帯端末装置であってもよいし、ノート型のパーソナルコンピュータ等であってもよい。
この場合、タブレット端末6は、例えば、苦手語句抽出手段及び苦手発音部分推定手段として機能する制御装置60と、各種プログラムやデータ等を格納する記憶装置65と、作業領域としてのRAM66と、表示部61等を備えている。
発音学習支援システム1が
図15に示すような構成である場合に想定される場面としては、例えば、学校の教室内等において、生徒1人1人が電子辞書2を持ち、各自が電子辞書2の発音学習モードによって発音練習を行った結果を、教師側端末であるタブレット端末6に送る場合等である。この場合には、タブレット端末6の制御装置60において、生徒全員分の評価点データに基づく苦手語句の抽出や苦手発音部分の推定を行い、教師が以後の授業の進め方の参考にしたり、生徒個人個人の学習指導に当たる際の参考にする等が考えられる。
また、タブレット端末6側での苦手語句抽出処理や苦手発音部分推定処理の結果(すなわち抽出された苦手語句や推定された苦手発音部分)を生徒側の電子辞書2にフィードバックすることができれば、各自が自分の電子辞書2を用いて当該1クラス分のデータに基づく苦手語句や苦手発音部分を集中的に練習する等、発音学習を効果的に行うことができる。
なお、
図15に示す例では、発音学習支援システム1が電子辞書2とタブレット端末6とで構成されている場合を例示したが、タブレット端末6がさらにサーバ装置5と接続されてもよい。この場合、苦手語句抽出処理や苦手発音部分推定処理はサーバ装置5の制御装置50が行うようにし、タブレット端末6には苦手語句抽出処理や苦手発音部分推定処理を行う機能部を備えない構成とすることもできる。
例えば、教師個人の持つタブレット端末6をさらにサーバ装置5を介して接続することにより、学校単位や系列校単位、さらには地域単位等での生徒の評価点データを収集し、これらのデータに基づいて苦手語句抽出処理や苦手発音部分推定処理を行うことも可能である。この場合には、より普遍的な処理結果を得ることができ、多くの人が苦手とするような発音部分等について効果的な発音学習を行うことができる。
【0070】
また、発音評価処理、苦手語句抽出処理、苦手発音部分推定処理、練習対象指定処理等を実現させるためのアプリケーションソフトウエアや処理に必要な各種データ(辞書データベース等を含む)を1つの電子機器に読み込ませることで、発音学習支援システム1と同じ機能を有する発音学習支援装置とすることも可能である。
発音学習支援装置は、例えば
図2に示すような電子辞書2であってもよいし、携帯型の端末装置4や、タブレット端末6等の各種電子機器であってもよい。
この場合、当該電子機器が、さらに練習対象指定処理によって発音練習対象として指定された苦手発音部分をユーザに提示する練習対象提示手段を備えていてもよい。例えば、電子辞書2が発音学習支援装置としての電子機器である場合には、表示部31のディスプレイ21が練習対象提示手段となる。また、携帯型の端末装置4や、タブレット端末6が発音学習支援装置としての電子機器である場合には、表示部41,61が練習対象提示手段となる。
なお、電子辞書2等、単体の電子機器を発音学習支援装置として機能する場合、各種処理に必要なコンテンツやデータを全て電子辞書2等の単体の電子機器において保有しておくと、情報量が多くなりメモリの負担が大きくなる。このため、各種処理に必要なコンテンツやデータについてはサーバ装置5等に格納しておき、各処理を行う際に必要なコンテンツやデータをサーバ装置5からダウンロードする方式をとることが好ましい。この場合、各処理が完了すると当該処理に用いたデータ等は一旦破棄し、次に必要となったときにまた改めてダウンロードする。このようにすれば、保有するデータ量を極端に多くすることなく、少ない負担で電子辞書2等を発音学習支援装置として機能させることができる。
【0071】
さらに、上記実施形態では、複数の評価項目に基づいて形成される所定の空間が、2次元空間である場合を例示したが、「所定の空間」は、2次元空間に限定されない。
例えば、複数の評価項目をそれぞれの空間軸とする多次元空間であってもよい。この場合、本実施形態のように評価項目が5つある場合には、5つの空間軸をもつ5次元空間となる。
このように、複数の評価項目をそれぞれの空間軸とすることで、評価項目同士の干渉を避けて、評価点に基づく処理をより精密に行うことが可能となる。
なお、複数の評価項目をそれぞれの空間軸とする多次元空間として、苦手語句抽出処理や苦手発音部分推定処理についてはこの多次元空間上で行うこととした場合でも、端末装置4の表示部41や電子辞書2の表示部31のディスプレイ21に表示させる際には、レーダーチャート等の2次元的な表現に変換して表示を行ってもよい。このように、表示部に表示させる際には、レーダーチャート等の2次元的な表現を行った方がユーザにとって視覚的に分かり易く、自分が何を苦手とするのか等を理解しやすい。
【0072】
さらに、上記実施形態では、発音学習が英語の語句(英単語や英語の成句、文章等)の発音を学習するものである場合を例示したが、本発明を適用可能な発音学習支援システム1や発音学習支援装置は、英語の発音学習を行うものに限定されない。
例えば、フランス語、ドイツ語、中国語等、各言語について発音学習するものであってもよく、複数の言語についての発音学習モードを備えて、ユーザが任意に学習したい言語を切り替えることができるようにしてもよい。英語以外の言語の発音学習を行う場合には、評価項目も各言語に対応したものが適宜設定される。
【0073】
また、本実施形態では、日本人のユーザが発音学習支援システム1や発音学習支援装置を使用する場合を想定して説明したが、ユーザが日本人である場合に限定されない。
例えば、日本人以外の外国人が母国以外の言語(例えば日本語)の発音学習を行う発音学習支援システム1や発音学習支援装置に、本発明に係る構成を適用することも可能である。
【0074】
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
提示される複数の異なる語句に対するユーザの発音内容をそれぞれ解析評価して評価点を求め、
求められた前記評価点に基づいてユーザが発音を苦手とする語句である苦手語句を抽出し、
抽出された前記苦手語句に特徴的に含まれる苦手発音部分を推定し、
推定された前記苦手発音部分を発音練習対象として指定する、
処理を実行する制御部を備えた発音学習支援システム。
<請求項2>
前記制御部は、
前記発音内容の解析評価を複数の異なる評価項目について行い、
求められた前記評価点の低い評価項目及びユーザの指定した評価項目の少なくともいずれかについて前記評価点の低かった語句を前記苦手語句として抽出する請求項1に記載の発音学習支援システム。
<請求項3>
前記制御部は、
求められた前記評価項目ごとの前記評価点に所定以上の偏りがあるか否かを判定し、
前記評価項目ごとの前記評価点に偏りがあると判定した場合は、前記評価点の低い評価項目を選択して、当該選択した評価項目の評価点の低かった語句を前記苦手語句として抽出し、前記評価項目ごとの前記評価点に偏りがないと判定した場合は、複数の前記評価項目について総合的に前記評価点の低かった語句を前記苦手語句として抽出する請求項2に記載の発音学習支援システム。
<請求項4>
前記制御部は、
複数の異なる前記評価項目の評価結果から、前記苦手語句を複数のグループに分類する請求項2又は請求項3に記載の発音学習支援システム。
<請求項5>
前記制御部は、
複数の評価項目に基づいて形成される所定の空間内における前記評価点の分布に基づいて前記苦手語句の前記グループへの分類を行う請求項4に記載の発音学習支援システム。<請求項6>
前記制御部は、
複数の評価項目に基づいて形成される所定の空間内における前記評価点の分布に基づく重心位置に応じて前記苦手語句の前記グループへの分類を行う請求項5に記載の発音学習支援システム。
<請求項7>
前記複数の評価項目に基づいて形成される前記所定の空間は、前記複数の評価項目をそれぞれの空間軸とする多次元空間である請求項5又は請求項6に記載の発音学習支援システム。
<請求項8>
前記複数の評価項目に基づいて形成される前記所定の空間は、前記複数の評価項目それぞれをレーダーチャートの頂点とする2次元空間である請求項5又は請求項6に記載の発音学習支援システム。
<請求項9>
前記レーダーチャートによる前記評価点の分布状態を表示した状態で前記苦手語句の含まれるグループをユーザに選択させる請求項8に記載の発音学習支援システム。
<請求項10>
前記制御部は、
前記苦手語句に多く含まれる単語又は発音記号のうち、どの語句にも含まれるような単語又は発音記号は、単独での発音学習を行う発音練習対象から除外する請求項1から請求項9のいずれか一項に記載の発音学習支援システム。
<請求項11>
複数の異なる語句をユーザに提示する語句提示手段と、
前記語句提示手段により提示される前記語句に対するユーザの発音内容をそれぞれ解析評価して評価点を求める発音評価手段と、
前記発音評価手段による評価結果に基づいてユーザが発音を苦手とする語句である苦手語句を抽出する苦手語句抽出手段と、
前記苦手語句抽出手段によって抽出された前記苦手語句に特徴的に含まれる苦手発音部分を推定する苦手発音部分推定手段と、
前記苦手発音部分推定手段によって推定された前記苦手発音部分を発音練習対象として指定する練習対象指定手段と、
前記練習対象指定手段により発音練習対象として指定された前記苦手発音部分をユーザに提示する練習対象提示手段と、
を備えた発音学習支援装置。
<請求項12>
提示される複数の異なる語句に対するユーザの発音内容をそれぞれ解析評価して評価点を求める工程と、
求められた前記評価点に基づいてユーザが発音を苦手とする語句である苦手語句を抽出する工程と、
抽出された前記苦手語句に特徴的に含まれる苦手発音部分を推定する工程と、
推定された前記苦手発音部分を発音練習対象として指定する工程と、
を含む発音学習支援方法。
<請求項13>
コンピュータに、
提示される複数の異なる語句に対するユーザの発音内容をそれぞれ解析評価して評価点を求め、
求められた前記評価点に基づいてユーザが発音を苦手とする語句である苦手語句を抽出し、
抽出された前記苦手語句に特徴的に含まれる苦手発音部分を推定し、
推定された前記苦手発音部分を発音練習対象として指定する、
処理を実行させる発音学習支援プログラム。
【符号の説明】
【0075】
1 発音学習支援システム
2 電子辞書
4 端末装置
5 サーバ装置
30 制御装置
33 音声入力部
34 音声出力部
40 制御装置
50 制御装置