特許 6957069 学習支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6957069

(24)【登録日】2021年10月8日

(45)【発行日】2021年11月2日

(54)【発明の名称】学習支援システム

(51)【国際特許分類】

   G09B 19/04 20060101AFI20211021BHJP

   G09B 19/06 20060101ALI20211021BHJP

   G09B 5/06 20060101ALI20211021BHJP

【ＦＩ】

   G09B19/04

   G09B19/06

   G09B5/06

【請求項の数】14

【全頁数】20

(21)【出願番号】特願2021-88275(P2021-88275)

(22)【出願日】2021年5月26日

【審査請求日】2021年5月28日

【早期審査対象出願】

(73)【特許権者】

【識別番号】517195376

【氏名又は名称】株式会社プログリット

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ特許業務法人

(72)【発明者】

【氏名】岡田 祥吾

(72)【発明者】

【氏名】山碕 峻太郎

【審査官】 石原 豊

(56)【参考文献】

【文献】 特開２０１２−０１８３５９（ＪＰ，Ａ）

【文献】 特開２０１６−１９７１８５（ＪＰ，Ａ）

【文献】 特開２０１６−０９０９００（ＪＰ，Ａ）

【文献】 特許第６７９２０９１（ＪＰ，Ｂ１）

【文献】 特開２０１０−００２９０８（ＪＰ，Ａ）

【文献】 特開２００７−１４７７８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０２４８８９８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／００５９４２３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０２７５００５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ｇ０９Ｂ １／００− ９／５６

Ｇ０９Ｂ１７／００−１９／２６

Ｇ０６Ｑ５０／２０

(57)【特許請求の範囲】

【請求項1】

原稿データ及び見本音声データを記憶するデータベースと、
選択的に前記原稿データを表示せずに又は前記原稿データを表示しながら前記見本音声データを再生する音声出力部と、
前記見本音声データを再生しながらユーザの発話音声データを取得する音声取得部と、
前記発話音声データに対する評価データを取得する評価取得部と、
前記評価データを出力する評価出力部と、
を備え、
前記評価データには、前記ユーザの過去の発話音声データと前記見本音声データとの一致率よりも前記発話音声データと前記見本データとの一致率が上昇した第１箇所を特定する第１情報と、改善するべき第２箇所を特定する第２情報と、前記第１箇所及び前記第２箇所の少なくともいずれかについてのコメントとが含まれ、
前記音声出力部は、前記原稿データを表示しながら前記見本音声データを再生する場合に、前記評価データに基づいて前記第１箇所及び第２箇所ならびに前記コメントを前記原稿データ上に表示すること、
ることを特徴とする学習支援システム。

【請求項2】

請求項１に記載の学習支援システムであって、
前記音声出力部は、前記評価データを表示しながら前記見本音声データを再生可能であること、
を特徴とする学習支援システム。

【請求項3】

請求項１又は２に記載の学習支援システムであって、
前記音声出力部は、前記評価データに応じて、前記原稿データを表示しながら前記見本音声データを再生すること、
を特徴とする学習支援システム。

【請求項4】

請求項１乃至３のいずれか１項に記載の学習支援システムであって、
前記見本音声データと、前記発話音声データとを比較して、前記一致率を評価する音声評価部と、
前記一致率が所定の第１条件を満たす少なくとも一の第１の単語と、前記一致率が所定の第２条件を満たす少なくとも一の第２の単語とを抽出する抽出部と、
を備え、
前記評価取得部は、前記第１の単語及び前記第２の単語を評価者に対して出力し、前記評価者から前記評価データを受け付けること、
を特徴とする学習支援システム。

【請求項5】

請求項４に記載の学習支援システムであって、
前記ユーザ及び学習日時に対応付けて、前記第１及び第２の単語を記憶する評価履歴データベースをさらに備えること、
を特徴とする学習支援システム。

【請求項6】

請求項４又は５に記載の学習支援システムであって、
前記評価取得部は、評価者に対して前記原稿データと、前記発話音声データ又は前記発話音声データに基づく情報とを出力し、前記原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第１の前記単語又はフレーズと、改善するべき第２の前記単語又はフレーズとの選択を受け付け、前記第１及び第２の前記単語又はフレーズのそれぞれについての前記コメントを受け付け、前記第１及び第２の単語又はフレーズ、ならびに対応する前記コメントを含めて前記評価データを作成すること、
を特徴とする学習支援システム。

【請求項7】

請求項１乃至６のいずれか１項に記載の学習支援システムであって、
前記原稿データに含まれるテキストの指定と、前記テキストの表記との入力を受け付けるユーザ表記入力部と、
前記ユーザを特定する情報、前記原稿データ、前記原稿データ中における前記テキストの範囲を指定するデータ及び前記表記を対応付けて記憶するユーザ表記記憶部と、をさらに備え、
前記音声出力部は、前記原稿データを出力する際に、前記ユーザ及び前記原稿データに対応する前記表記が前記ユーザ表記記憶部に登録されている場合には、前記表記を前記原稿データに重畳させるように出力すること、
を特徴とする学習支援システム。

【請求項8】

原稿データ及び見本音声データを記憶するデータベースと、
選択的に前記原稿データを表示せずに又は前記原稿データを表示しながら前記見本音声データを再生する音声出力部と、
前記見本音声データを再生しながらユーザの発話音声データを取得する音声取得部と、
前記発話音声データに対する評価データを取得する評価取得部と、
前記評価データを出力する評価出力部と、
を備え、
前記音声出力部は、前記評価データに応じて、前記原稿データを表示しながら前記見本音声データを再生すること、
を特徴とする学習支援システム。

【請求項9】

請求項８に記載の学習支援システムであって、
前記評価データに含まれる評価値が閾値以下となった場合に、前記原稿データを表示しながら前記見本音声データを再生すること、
を特徴とする学習支援システム。

【請求項10】

請求項９に記載の学習支援システムであって、
前記音声出力部は、前記評価値が第１の閾値以下となった場合には、前記原稿データを表示するようにし、前記評価値が、前記第１の閾値以下である第２の閾値以下となった場合には、前記見本音声データの再生速度を下げること、
を特徴とする学習支援システム。

【請求項11】

請求項８乃至１０のいずれか１項に記載の学習支援システムであって、
前記評価データには、正確に復唱できている第１箇所を特定する第１情報と、改善するべき第２箇所を特定する第２情報とが含まれ、
前記音声出力部は、前記原稿データを表示しながら前記見本音声データを再生する場合に、前記評価データに基づいて前記第１箇所及び第２箇所を前記原稿データ上に表示すること、
を特徴とする学習支援システム。

【請求項12】

請求項８乃至１１のいずれか１項に記載の学習支援システムであって、
前記見本音声データと、前記発話音声データとを比較して、一致率を評価する音声評価部と、
前記一致率が所定の第１条件を満たす少なくとも一の第１の単語と、前記一致率が所定の第２条件を満たす少なくとも一の第２の単語とを抽出する抽出部と、
を備え、
前記評価取得部は、前記第１の単語及び前記第２の単語を評価者に対して出力し、前記評価者から前記評価データを受け付けること、
を特徴とする学習支援システム。

【請求項13】

請求項１２に記載の学習支援システムであって、
前記評価取得部は、評価者に対して前記原稿データと、前記発話音声データ又は前記発話音声データに基づく情報とを出力し、前記原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第１の前記単語又はフレーズと、改善するべき第２の前記単語又はフレーズとの選択を受け付け、前記第１及び第２の前記単語又はフレーズのそれぞれについてのコメントを受け付け、前記第１及び第２の単語又はフレーズ、ならびに対応する前記コメントを含めて前記評価データを作成すること、
を特徴とする学習支援システム。

【請求項14】

請求項８乃至１３のいずれか１項に記載の学習支援システムであって、
前記原稿データに含まれるテキストの指定と、前記テキストの表記との入力を受け付けるユーザ表記入力部と、
前記ユーザを特定する情報、前記原稿データ、前記原稿データ中における前記テキストの範囲を指定するデータ及び前記表記を対応付けて記憶するユーザ表記記憶部と、をさらに備え、
前記音声出力部は、前記原稿データを出力する際に、前記ユーザ及び前記原稿データに対応する前記表記が前記ユーザ表記記憶部に登録されている場合には、前記表記を前記原稿データに重畳させるように出力すること、
を特徴とする学習支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習支援システムに関する。

【背景技術】

【0002】

特許文献１には、発話した音声について音素毎に分解し、誤りを検出した場合に、誤りが検出された音素を含む単語等の文字列を指摘して表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−９０９００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

シャドーイングには複数の方法があり、複数の方法を適宜選択しながらトレーニングを行うことができなかった。

【0005】

本発明はこのような背景を鑑みてなされたものであり、効果的なシャドーイングを行うことのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、学習支援システムであって、原稿データ及び見本音声データを記憶するデータベースと、前記見本音声データを再生する音声出力部と、ユーザの発話音声データを取得する音声取得部と、前記発話音声データに対する評価データを取得する評価取得部と、前記評価データを出力する評価出力部と、前記評価データを閲覧した前記ユーザから、前記見本音声データの再生速度を調整するか否か及び前記原稿データを出力するか否かの指定を受け付けるオプション受付部と、を備え、前記音声出力部は、後続する前記見本音声データの再生時に、前記ユーザからの指定に応じて前記見本音声データの再生速度を調整して出力し、前記ユーザからの指定に応じて前記原稿データを併せて出力すること、を特徴とする。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、効果的なシャドーイングを行うことができる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係る学習支援システム１の構成例を示す図である。

【図2】本実施形態におけるシャドーイングの流れを説明する図である。

【図3】本実施形態に係るサーバ１０を実現するコンピュータのハードウェア構成例を示す図である。

【図4】本実施形態に係る端末２０を実現するコンピュータのハードウェア構成例を示す図である。

【図5】本実施形態に係るサーバ１０のソフトウェア構成例を示す図である。

【図6】本実施形態に係る表記データベース１３２のテーブル１３２０の一例を示す図である。

【図7】添削データ２１１の一例を示す図である。

【図8】添削データの入力画面２２０の一例を示す図である。

【図9】本実施形態に係る出力制御部１１８によるタッチパネル２５１への出力態様の一例を示す図である。

【図10】原稿データを表示する画面２３０の一例を示す図である。

【図11】ユーザ表記の登録画面２４０の一例を示す図である。

【図12】本実施形態の学習支援システム１における処理の流れの一例を示す図である。

【発明を実施するための形態】

【0010】

＜本技術の概要＞
以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0011】

本開示の一実施形態に係る言語学習支援システムは、学習者（以下、ユーザという。）の語学の学習を支援するものである。特に、本実施形態では、ユーザが英語等の外国語をシャドーイングと呼ばれる手法によりトレーニングし、外国語のリスニング能力を強化するために用いられることを想定している。なお、本実施形態では、英語の学習を支援することを想定している。

【0012】

シャドーイングの学習形態には様々なものがある。一般的な「シャドーイング」とは、見本音声に注意を向け、見本音声と同じ発音及びプロソディ（音の高さ、リズム、強弱、スピード、イントネーション、アクセントなど）で復唱することであり、プロソディシャドーイングと呼ばれる。しかし、シャドーイングには、プロソディシャドーイング以外にも、コンテンツシャドーイング（文章全体の意味に注意を向ける。）、マンブリング（小声で行う）、オーバーラッピング（見本音声のスクリプトを表示しながら復唱する。テキストシャドーイングなどとも呼ばれる。）などがある。本実施形態の学習支援システムでは、これらの複数のシャドーイング方法を選択して行うことができる。

【0013】

＜システム構成＞
図１は、本開示の一実施形態に係る学習支援システム１の構成例を示す図である。図示するように、本実施形態に係る学習支援システム１は、サーバ１０を含んで構成される。サーバ１０は、ユーザ端末２０（以下、端末２０と称する。）及び支援者端末３０（以下、端末３０と称する。）と、ネットワークＮＷを介して通信可能に接続される。なお、本構成は一例であり、ある構成が他の構成を兼ね備えていたり、他の構成が含まれていたりしてもよい。

【0014】

本実施形態においてネットワークＮＷはインターネットを想定している。ネットワークＮＷは、例えば、公衆電話回線網、携帯電話回線網、無線通信網、イーサネット（登録商標）などにより構築される。

【0015】

サーバ１０は、例えば、シャドーイング等の外国語（第１言語）の発話トレーニングの支援を行うためのコンピュータである。例えば、サーバ１０は、ワークステーションまたはパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0016】

端末２０は、ユーザＵがシャドーイングを行う際に、見本音声を再生したり、自らの発話を録音するために用いられるコンピュータである。例えば、端末２０は、スマートフォン、タブレットコンピュータまたはパーソナルコンピュータなどである。

【0017】

端末３０は、ユーザＵの語学学習を支援する支援者が操作するコンピュータであり、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。

【0018】

図２は、本実施形態におけるシャドーイングの流れを説明する図である。ユーザＵは、端末２０を用いてシャドーイングを行う。その際、サーバ１０から提供される教材の見本音声が端末２０により再生されるとともに、端末２０はユーザＵの発話を録音する。録音された音声は、音声データとしてサーバ１０に送信されるとともに、サーバ１０から端末３０に送信されて再生され、支援者ＴＡが録音音声の添削を行う。添削結果は端末３０サーバ１０に返送されるとともに、端末２０に送信され、ユーザＵは添削結果を確認し、必要に応じてトレーニング方法を変更することができる。例えば、支援者ＴＡからの評価が発話のタイミングが悪いというものであれば、マンブリングを行い、それでも改善しない場合はオーバーラッピングを行い、それでも改善しない場合は再生スピードを落とすようにすることができる。このように複数のシャドーイング方法を切り替えながら言語学習のトレーニングを行うことができる。

【0019】

＜ハードウェア構成＞
図３は、本実施形態に係るサーバ１０を実現するコンピュータのハードウェア構成例を示す図である。コンピュータは、少なくとも、制御部１１、メモリ１２、ストレージ１３、通信部１４および入出力部１５等を備える。これらはバス１６を通じて相互に電気的に接続される。

【0020】

制御部１１は、サーバ１０全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであり、ストレージ１３に格納されメモリ１２に展開されたプログラム等を実行して各情報処理を実施する。

【0021】

メモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１２は、制御部１１のワークエリア等として使用され、また、サーバ１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0022】

ストレージ１３は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１３に構築されていてもよい。

【0023】

通信部１４は、サーバ１０をネットワークに接続する。通信部１４は、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離または非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して通信する。

【0024】

入出力部１５は、例えば、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

【0025】

バス１６は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0026】

図４は、本実施形態に係る端末２０を実現するコンピュータのハードウェア構成例を示す図である。端末３０も、端末２０と同様のハードウェア構成とすることができる。コンピュータは、少なくとも、制御部２１、メモリ２２、ストレージ２３、通信部２４および入出力部２５等を備える。これらはバス２６を通じて相互に電気的に接続される。なお、かかるコンピュータは、スマートフォンやタブレット端末を想定している。制御部２１、メモリ２２、ストレージ２３および通信部２４を実現するハードウェア構成例は、上述したサーバ１０の対応する各構成要素のハードウェア構成例と同様であるため、説明を省略する。

【0027】

本実施形態に係る入出力部２５は、例えば、タッチパネル２５１、スピーカ２５２およびマイク２５３等のハードウェアにより実現され得る。タッチパネル２５１は、表示装置とユーザＵによる該表示装置に対する接触操作に基づく入力装置としての機能を発揮する。例えば、タッチパネル２５１は、サーバ１０から送信された情報を表示し、該表示に対する操作を受け付ける。スピーカ２５２は、音声出力装置としての機能を発揮する。例えば、スピーカ２５２は、サーバ１０から送信された見本音声データを音声に変換して出力する。マイク２５３は、ユーザＵの発話を収音する、音声入力装置としての機能を発揮する。例えば、マイク２５３は、ユーザＵの発話を録音して発話音声データを生成する。該発話音声データは、サーバ１０に送信される。

【0028】

制御部２１は、タッチパネル２５１、スピーカ２５２およびマイク２５３の動作を制御する。例えば、制御部２１は、スピーカ２５２による音声の再生とマイク２５３による録音とを同時に行うように、スピーカ２５２およびマイク２５３の動作を制御してもよい。

【0029】

＜ソフトウェア構成＞
図５は、本実施形態に係るサーバ１０のソフトウェア構成例を示す図である。サーバ１０は、オプション受付部１１０、音声出力部１１１、音声取得部１１３、単語特定部１１４、音声評価部１１５、抽出部１１６、表記取得部１１７、出力制御部１１８、添削取得部１２０、添削出力部１２１、ユーザ表記入力部１２２を備える。これらの各機能部は、制御部１１がストレージ１３に記憶されているプログラムをメモリ１２に読み出して実行することにより実現される。また、ストレージ１３は、見本音声データベース１３１、表記データベース１３２、ユーザ表記データベース１３３、評価履歴データベース１３４を備える。

【0030】

見本音声データベース１３１は、見本となる音声を再生するための音声データ（見本音声データ）を記憶する。見本音声データベース１３１は、課題ごとに、スクリプトと呼ばれる原稿となるテキストデータ（原稿データ）と、見本音声データとを記憶する。本実施形態では、課題名が対応付けられている。

【0031】

表記データベース１３２は、単語又はフレーズ（複数の一連の単語）の発音を第２言語（本実施形態では日本語）で表記したデータ（表記データ）を記憶する。図６は、本実施形態に係る表記データベース１３２のテーブル１３２０の一例を示す図である。図６に示すように、表記データベース１３２のテーブル１３２０は、少なくとも単語（群）データ１３２１、音の変化の属性データ１３２２および表記データ１３２３により構成される。テーブル１３２０は、例えばテキストデータごとに設けられ、テキストデータに含まれる単語または単語群の全部または一部について、それぞれに音の変化の属性と表記が紐付けられ得る。テーブル１３２０に格納される単語（群）データ１３２１は、例えば、音の変化によりユーザＵが聞き取ることが難しい単語（群）からなるデータである。音の変化の属性データ１３２２は、例えば、単語（群）の音がどのように変化しているかを示すデータである。具体的には、図６に示すように、音の変化の属性は、「音の連結」、「フラップＴ」、「ｔの消失」、「弱形（不図示）」等が含まれる。表記データ１３２３は、単語（群）データ１３２１に対応する仮名表記を示すデータである。例えば、“ｄｉｓｔｕｒｂ ｙｏｕ”は「ディスタービュー」に対応する。

【0032】

ユーザ表記データベース１３３は、単語又はフレーズに対応付けてユーザＵが登録した表記データを記憶する。ユーザ表記データベース１３３は、ユーザＵを特定するユーザＩＤに対応付けて、単語又はフレーズと、その表記データとを記憶することができる。

【0033】

評価履歴データベース１３４は、ユーザＵの復唱に係る評価の履歴を記憶する。評価履歴データベース１３４は、ユーザＵを特定するユーザＩＤと日時とに対応付けて、単語データと、添削データとが記憶される。単語データには、ユーザＵが見本音声どおりに復唱できた単語又はフレーズ（第１の単語）と、ユーザＵが見本音声どおりに復唱できなかった単語又はフレーズ（第２の単語）とが含まれる。ユーザＵが見本音声どおりに復唱できたかどうかの判断は、支援者ＴＡが行うようにしてもよいし、後述するように、ユーザＵの復唱音声を録音した音声データと見本音声データとの一致率が所定値以上であるか否かにより行うようにしてもよい。添削データは、シャドーイングの評価結果であり、本実施形態では、支援者ＴＡが作成することを想定するが、サーバ１０が、音声の一致率に応じて自動生成するようにすることもできる。評価履歴データベース１３４は、単語データと添削データとを対応付けて記憶するようにしてもよいし、ユーザＩＤ及び日時に対応する単語データと、ユーザＩＤ及び日時に対応する添削データとを別々に管理するようにしてもよい。また、添削データ中の単語データでは、原稿データ中の位置を特定するようにしてもよい。この場合、原稿データに同一の単語又はフレーズが複数箇所含まれている場合に、どの箇所で見本音声どおりに復唱できた又はできなかったのかを示すことができる。

【0034】

オプション受付部１１０は、評価結果（添削データ）を閲覧したユーザＵから、見本音声データの再生速度を調整するか否かと、原稿データを出力するか否かの指定を受け付ける。オプション受付部１１０は、端末２０から当該指定を受け付けることができる。なお、オプション受付部１１０は、当該ユーザＵによる当該課題について初回のトレーニングである場合には、再生速度を調整せず、原稿データを出力しない、プロソディシャドーイングを行うように決定することができる。

【0035】

音声出力部１１１は、見本音声データベース１３１に格納されている見本音声データの出力を制御する機能を有する。例えば、ユーザＵによる端末２０の操作により課題が選択されると、音声出力部１１１は、当該課題に対応する見本音声データを見本音声データベース１３１から読み出し、通信部１４０を介して端末２０に送信する制御を行う。

【0036】

また、音声出力部１１１は、再生速度を調整する旨の指定をユーザＵから受けている場合には、見本音声データの再生速度を調整する。音声出力部１１１は、例えば、再生パラメータを設定して見本音声データに付帯させるようにしてもよいし、見本音声データの再生速度を変換した新しい音声データを作成し、作成した音声データを送信するようにしてもよい。本実施形態では、音声出力部１１１は、再生速度を遅くすることを想定しているが、再生速度を上げるようにすることもできる。また、オプション受付部１１０は、何倍速に調整するかの指定を受け付けるようにしてもよく、その場合には、音声出力部１１１は、指定された速度となるように再生速度を調整することができる。

【0037】

また、音声出力部１１１は、原稿データを出力する旨の指定をユーザＵから受けている場合には、見本音声データとともに、対応する原稿データを端末２０に送信することができる。これにより、端末２０においては、プロソディシャドーイングに代えて、オーバーラッピングが行われるようにすることができる。

【0038】

音声取得部１１３は、ユーザＵによる発話音声の音声データを取得する機能を有する。音声取得部１１３は、例えば、端末２０においてマイク２５３が収音して得た音声データを、端末２０から通信部１４を介して取得することができる。また、サーバ１０において集音した音声データを取得するようにすることもできる。

【0039】

単語特定部１１４は、ユーザＵによる発話に係る音声信号を解析し、当該音声信号に対応する第１言語の少なくとも一の単語を特定する。ここで言う第１言語とは、学習対象の外国語であり、例えば英語である。単語特定部１１４は、発話音声の音声データを、公知の音声認識技術などを用いることにより、単語を特定することができる。

【0040】

例えば、単語特定部１１４は、発話音声の音声データを解析して、その結果、“Ｉ’ｍ ｓｏｒｒｙ ｔｏ ｄｉｓｔｕｒｂ ｙｏｕ”という単語群に対応する部分であると特定したとする。この場合、対応するテキストデータも“Ｉ’ｍ ｓｏｒｒｙ ｔｏ ｄｉｓｔｕｒｂ ｙｏｕ”であれば、実際には、ユーザＵの発音した内容はテキストと一致しているため、正しく発音しているとも考えられる。

【0041】

音声評価部１１５は、ユーザＵの発話に係る音声信号と、見本音声の音声信号との一致率を評価する機能を有する。例えば、音声評価部１１４は、発話音声の音声データ（音声信号）の波形と、見本音声の音声データ（音声信号）の波形との類似度を解析し、かかる類似度をもとに一致率を算出してもよい。一致率の算出手法は特に限定されない。一致率の算出として、例えば、重回帰分析等の分析手法や、機械学習を用いた手法が用いられてもよい。

【0042】

一致率は、発話に係る音声信号の時系列における所定区間ごとに算出されてもよいし、単語特定部１１４により特定された単数または連続する複数の単語ごとに算出されてもよい。

【0043】

なお、音声評価部１１５は、算出した一致率を時刻と紐付けて評価してもよい。あるテキストについてユーザＵが複数回繰り返し練習する場合、その一致率は練習毎に変化する。この一致率の履歴は、例えばストレージ１３に記憶されておいてもよい。

【0044】

抽出部１１６は、一致率が所定の条件を満たす少なくとも一の単語を抽出する。例えば、抽出部１１６は、音声評価部１１５が所定の条件を満たす一致率を示す音声信号の区間に対応する単語（群）を抽出する。所定の条件とは、例えば、所定の閾値よりも低い場合（すなわち一致率の低い部分）であってもよいし、所定の閾値よりも高い場合（すなわち一致率の高い部分）でもあってもよく、学習の目的に応じて適宜調整が可能である。

【0045】

上記の例においては、ユーザＵが“ｄｉｓｔｕｒｂ ｙｏｕ”の語を認識して発話していたとしても、その発話が「ディスターブ ユー」である場合、音声評価部１１４は、“ｄｉｓｔｕｒｂ ｙｏｕ”に対応する部分の音声信号の一致率が低いと評価する。この場合、例えば、抽出部１１６は“ｄｉｓｔｕｒｂ ｙｏｕ”を抽出してもよい。

【0046】

また、抽出部１１６は、原稿データに含まれる単語又はフレーズのうち、予め決められた単語又はフレーズを抽出の対象として決めてもよい。例えば、予め決められた単語又はフレーズは、音の変化によりユーザＵが聞き取りにくいとされる単語又はフレーズであってもよい。これにより、ユーザＵにフィードバックする対象の単語（群）を限定することができ、ユーザＵへの教育効果を高めることができる。

【0047】

また、抽出部１１６は、過去の一致率に基づいて単語を抽出してもよい。例えば、抽出部１１６は、過去に一致率の低かった単語を抽出してもよい。これにより、後述する出力制御部１１８において、ユーザＵによる発話の変化を評価することができる。

【0048】

抽出部１１６は、ユーザＵを示すユーザＩＤと、現在の日時とに対応付けて、一致率が所定値以上である単語と、一致率が所定値以下である単語とを含む単語データを評価履歴データベース１３４に登録することができる。

【0049】

表記取得部１１７は、抽出された単語又はフレーズに対応する第２言語の表記を取得する。ここでいう第２言語とは、例えばユーザＵが母語としている言語である。第２言語の表記は、例えば仮名（ひらがな、カタカナ）等の音節表記である。音素表記ではなく音節表記とすることで、発音のイメージがユーザに想起しやすくなる。本実施形態では、当該第２言語は日本語であり、表記は仮名である。表記取得部１１７は、ストレージ１３に格納されている表記データベース１３２から、抽出された単語（群）に対応する表記を取得する。

【0050】

添削取得部１２０（評価取得部）は、ユーザＵによるシャドーイングの評価データを取得する。本実施形態では、シャドーイングの評価データは、支援者ＴＡにより作成される添削データである。図７は、添削データ２１１の一例を示す図である。一致率の高い単語又はフレーズと一致率の低い単語又はフレーズについて、それぞれ評価について記載（コメント）がされている。かかる記載は、例えば、単語又はフレーズの音の変化について、ユーザＵが正しく発話できているかを評価する内容であってよい。本実施形態では、添削取得部１２０は、支援者ＴＡの端末３０から添削データを受信することができる。かかる記載は、支援者ＴＡにより作成されるものとするが、例えば、予め用意されたテンプレート文により生成されるものであってもよいし、機械学習等の手段を用いて自動的に生成されるものであってもよい。図７に示すように、各単語又はフレーズの発話についての評価を一覧化して表示することで、ユーザＵに対してフィードバックの内容を容易に把握させることができる。添削取得部１２０は、取得した添削データをユーザＵを示すユーザＩＤと現在の日時とに対応付けて評価履歴データベース１３４に登録することができる。

【0051】

＜添削データの入力支援＞
図８は、添削データの入力画面２２０の一例を示す図である。添削取得部１２０は、画面２２０を表示するための画面データを支援者ＴＡの端末３０に送信し、端末３０において支援者ＴＡからの添削データの入力を支援することができる。画面２２０には、原稿データ２２１が表示される。原稿データ２２１中の単語又はフレーズ２２１１には、表記データベース１３２から対応する表記データが取得できたものについては、その表記データ２２１２が表示される。支援者ＴＡは、見本音声データとユーザＵによる発話音声の音声データとを聞いて、うまく発話できていると考える単語又はフレーズを、画面２２０に表示されている原稿データ２２１中から選択して、「ＯＫ」のマーク２２１３を設定することができる。同様に、うまく発話できていないと支援者ＴＡが考える単語又はフレーズを原稿データ２２１中から選択して、「ＮＧ」のマーク２２１４を設定することもできる。

【0052】

添削取得部１２０は、ＯＫ又はＮＧのマークが設定された単語又はフレーズを原稿データ２２１中から抽出し、抽出した単語又はフレーズ（ＥＮ）に対応付けて、表記データベース１３２から対応する音の変化の属性データと、表記データとを連結させた「カナフリ」の文章を作成して表示するとともに、デフォルトの説明文（例えば、「ＯＫ」の場合には、「のように発音ができていますね」、「ＮＧ」の場合には、「のようなイメージで発話してみましょう」など）を表示する。これらは、画面２２２において編集可能とすることができる。これらを組み合わせることにより、添削データ２１１を容易に作成することができる。

【0053】

添削取得部１２０は、上記のようにして、支援者ＴＡ（評価者）に対して原稿データを出力し、原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第１の単語又はフレーズと、改善するべき第２の単語又はフレーズとの選択を受け付けるとともに、第１及び第２の単語又はフレーズのそれぞれについてのコメント（説明文）を受け付け、第１及び第２の単語又はフレーズ、ならびに対応するコメントを含めた選択データ２１１を作成することができる。

【0054】

なお、添削取得部１２０は、一致率が所定値以上である単語又はフレーズについて、「ＯＫ」のマーク２２１３を提案し、一致率が所定値以下である単語又はフレーズについて、「ＮＧ」のマーク２２１４を提案するようにすることもできる。また、添削取得部１２０は、「ＯＫ」のマーク２２１３が設定された単語又はフレーズが存在していない場合に、支援者ＴＡに対して、何らかよくできた旨のコメントを入力するように指示し、当該コメントの入力を受け付けて添削データ２１１に含めるようにすることができる。これにより、シャドーイングのトレーニングに係るユーザＵのモチベーションを向上することが期待される。

【0055】

＜評価結果の出力＞
出力制御部１１８は、シャドーイングの評価結果を出力する。出力制御部１１８は、図７に示すような添削データ２１１をユーザＵの端末２０に送信するようにしてもよいし、図９に示すような、評価結果を表示する画面２００の画面データを端末２０に送信するようにしてもよい。図９は、本実施形態に係る出力制御部１１８によるタッチパネル２５１への出力態様の一例を示す図である。図９に示すように、画面２００には、スクリプト２０１と、抽出された単語又はフレーズ、当該単語又はフレーズの音の属性および対応する表記を示すボックス２０２と、各単語又はフレーズに対する発話の評価結果を示すボックス２０３とが表示され得る。かかる画面２００は、ユーザＵがシャドーイングを行った後、発話音声データがサーバ１０に送信され、サーバ１０の処理によりシャドーイングの結果をフィードバックする際に表示される画面である。

【0056】

スクリプト２０１には、原稿データが表示される。図９に示すように、例えば、出力制御部１１８は、一致率の低かった（または高かった）単語又はフレーズや、予め誤りが想定され得る単語又はフレーズに対して、吹き出しのような態様で、テキストデータの単語又はフレーズに対応させて表示させてもよい。これにより、どの単語又はフレーズに注意しなければならないかを直感的に把握することができる。吹き出しに記載される内容は、単純な番号ではなく、ユーザに対する解説文等であってもよい。

【0057】

ボックス２０２には、一致率の低い（または高い）単語又はフレーズと、音の変化の属性と、当該単語又はフレーズの発音のための第２言語による表記とが表示されている。かかる内容は、表記データベース１３２の内容に対応する。

【0058】

ボックス２０３には、一致率の高い単語又はフレーズと一致率の低い単語又はフレーズとを表した評価結果が示される。図８に示す例では、“Ｇｏｏｄ Ｐｏｉｎｔｓ”は一致率の高い単語（群）であり、“Ｐｏｉｎｔｓ ｔｏ ｂｅ ｉｍｐｒｏｖｅｄ”は一致率の低い単語（群）であり改善の必要なものであることが示されている。このように、出力制御部１１８は、一致率に基づいてユーザＵの発話の評価等、発話に関する情報の出力を制御してもよい。

【0059】

なお、出力制御部１１８は、複数の時刻における一致率の変化に基づいて、発話に関する情報の出力を制御してもよい。例えば、音声評価部１１５が、あるテキストデータの所定の単語又はフレーズについての一致率を、複数の時刻においてシャドーイングを実施した際にそれぞれ算出したとする。かかる一致率はシャドーイングを実施した時刻に紐付けられ、履歴としてストレージ１３等に記憶される。

【0060】

出力制御部１１８は、過去に一致率が算出された単語又はフレーズにおける一致率の履歴に基づいて発話についての評価を出力し得る。例えば、過去よりも現在の一致率が上昇した場合は、ユーザの単語又はフレーズの発話が改善していることを示す情報を出力制御部１１８は出力してもよい。逆に、過去よりも現在の一致率が下降した場合は、ユーザの単語又はフレーズの発話の正確性が落ちていることを示す情報を出力制御部１１８は出力してもよい。これにより、ユーザＵに対して効果的かつ継続的なフィードバックを与えることができる。

【0061】

出力制御部１１８による出力の態様は、上述したタッチパネル２５１等の表示装置への表示に限られない。例えば、出力制御部１１８は、端末２０のスピーカ２５２を介した音声での出力制御を行ってもよい。より具体的には、出力制御部１１８は、ユーザＵの発話に関する情報（発話の評価等）を、音声により再生してユーザに示してもよい。その際、例えば、出力制御部１１８は、ユーザＵの発話音声と見本音声との一致率が低かった単語又はフレーズのカナ表記に基づく音声を、スピーカ２５２を介して再生してもよい。これにより、ユーザＵは音声によるフィードバックも受けることが可能である。

【0062】

＜スクリプトデータの表示＞
上述したように、音声出力部１１１は、原稿データを出力する旨の指定をユーザＵから受けている場合には、原稿データを端末２０に提供するところ、評価結果（添削データ）を原稿データの表示に反映させるようにすることもできる。図１０は、原稿データを表示する画面２３０の一例を示す図である。画面２３０では、原稿データ２３１が表示されており、この表示とともに見本音声データが再生される。原稿データ２３１中には、添削データにおいて、見本音声どおりに復唱ができていたポイント（ＯＫマークが設定された単語又はフレーズ）２１２と、見本音声どおりに復唱ができていなかったポイント（ＮＧマークが設定された単語又はフレーズ）２１３とが表示されるようにすることができる。ポイント２１２、２１３は、評価結果（添削データ）中の単語又はフレーズを特定するようにしてもよいし、原稿データ中の場所（例えば、開始位置及び終了位置により特定することができる。）により特定するようにしてもよい。なお、ポイント２１２、２１３を異なる色で表示したり、異なるマークを設定したりして区別可能に表示することができる。また、画面２３０において、過去に指摘された単語又はフレーズの履歴を表示するようにしてもよい。ポイント２１２、２１３には、支援者ＴＡから入力されたコメント２１２１、２１３１が紐付いている。コメント２１２１、２１３１は、ポイント２１２、２１３の単語又はフレーズが選択されたときに表示するようにしてもよいし、見本音声の再生箇所近傍の単語又はフレーズについてのみ表示するようにしてもよいし、原稿データに重畳させて、又は原稿データとは別の表示領域に常時表示するようにしてもよい。

【0063】

＜ユーザ入力の表記データ＞
ユーザ表記入力部１２２は、原稿データに含まれる単語又はフレーズの指定と、当該単語又はフレーズの第２言語による表記との入力を受け付ける。図１１は、ユーザ表記の登録画面２４０の一例を示す図である。ユーザ表記入力部１２２は、登録画面２４０を表示するための画面データをユーザＵの端末２０に送信して端末２０に登録画面２４０を表示させることができる。

【0064】

登録画面２４０には、原稿データが表示され、原稿データの中から単語又はフレーズ２４１が選択されると、入力欄２４２に単語又はフレーズ２４１の表記が入力される。ボタン２４３が押下されると、選択箇所を特定するための範囲データ（例えば、開始文字位置と、単語又はフレーズの長さなどにより特定することができる。）と、入力欄２４２に入力された表記とがサーバ１０に送信され、ユーザ表記入力部１２２は、ユーザＵを示すユーザＩＤと、当該原稿データに対応する課題を示す課題ＩＤとに対応付けて、範囲データと表記データとをユーザ表記データベース１３３に登録することができる。

【0065】

ユーザ表記データベース１３３に登録されている表記データは、図１０に示すスクリプトの表示画面２３０中の対応する単語又はフレーズに付帯させて表示させることができる。

【0066】

＜動作＞
次に、本実施形態の学習支援システムの動作について説明する。図１２は、本実施形態の学習支援システム１における処理の流れの一例を示す図である。

【0067】

まず、ユーザＵがシャドーイングを始める際に、課題を指定すると、当該課題に対応する見本音声データがサーバ１０から端末２０に送信される（Ｓ５０１）。端末２０では、ユーザＵの操作等に基づいて見本音声が再生され、同時にユーザＵの発話音声が録音される（Ｓ５０２）。

【0068】

ユーザＵ等の端末２０に対する操作等に基づいて、発話音声データがサーバ１０に送信される（Ｓ５０３）。サーバ１０は、単語特定部１１４および音声評価部１１５により、発話に係る音声信号を解析し、見本音声との一致率および発話される単語又はフレーズの特定を行う（Ｓ５０４）。また、サーバ１０は、抽出部１１６により、所定の条件を満たす一致率を示した単語又はフレーズを抽出し（Ｓ５０５）、表記取得部１１７により、抽出された単語又はフレーズに対応するカナの表記を取得する（Ｓ５０６）。

【0069】

また、サーバ１０は、発話音声データを支援者ＴＡの端末３０に送信する（Ｓ５０７）。ここで見本音声データや、上記抽出された単語又はフレーズなどを併せて端末３０に送信するようにしてもよい。支援者ＴＡは、端末３０を利用してユーザＵによる発話を評価した添削データを作成する（Ｓ５０８）。端末３０からサーバ１０に添削データが送信され（Ｓ５０９）、サーバ１０からユーザＵの端末２０に添削データが送信される（Ｓ５１０）。なお、サーバ１０は、出力制御部１１５により、上記表記に関する情報を出力する制御を行い、サーバ１０は添削データとともに、当該情報を端末２０に送信することができる。かかる情報は端末２０のタッチパネル２５１に表示され、添削データとともに、ユーザＵは発話に関するフィードバックを受けることができる（Ｓ５１１）。

【0070】

ユーザＵは、フィードバックに応じて、見本音声の再生速度を調整するかどうか、また、原稿データを表示するかどうかの指定を行い（Ｓ５１２）、当該指定がサーバ１０に通知されて（Ｓ５１３）、次回の見本音声データの送信時に、再生スピードを調整するか否か、及び原稿データを併せて送信するか否かを決定することができる（Ｓ５１４）。

【0071】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【0072】

例えば、本実施形態では、発話音声の音声データは端末２０からサーバ１０に送信するものとしたが、これに限らず、該音声データが端末３０に送信されるようにしてもよい。また、サーバ１０から送信される表記に関する情報は、サーバ１０から端末３０を介して端末２０に送信されてもよい。

【0073】

また、上記実施形態では、サーバ１０が数多くの機能を備えるようにしているが、端末２０がサーバ１０の機能部の全部または一部を備えるようにして、アプリケーションなどにより実現することも可能である。例えば、フィルタ部１１２の機能は、端末２０に設けられてもよい。この場合、例えばサーバ１０は、フィルタリング処理された後の発話音声の音声データを、端末２０から直接取得することができる。

【0074】

また、上記実施形態では、サーバ１０は１台のコンピュータであることを想定していたが、これに限らず、複数台のコンピュータで実現するようにしてもよい。たとえば、サーバ１０とは別体のデータベースサーバを設け、データベースサーバがサーバ１０の各記憶部を備えるようにすることができる。また、サーバ１０の機能部を複数のコンピュータに分散させて備えさせるようにすることもできる。

【0075】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0076】

また、本実施形態では、見本音声の再生速度の変更及び原稿データの表示は、ユーザＵからのオプションの指定に応じて行うものとしたが、添削データに応じて自動的に行うようにしてもよい。この場合、添削データには、支援者ＴＡが総合評価値を設定し、あるいは自動的に一致率等に応じて総合評価値を設定するようにし、音声出力部１１１は、添削データに含まれている総合評価値に応じて見本音声の再生速度を変更し、及び／又は原稿データを表示し若しくは非表示にすることができる。この場合において、音声出力部１１１は、例えば、総合評価値が第１の閾値以下となった場合には、原稿データを表示するようにし、さらに第１の閾値以下である第２の閾値以下となった場合には、再生速度を下げるようにすることができる。

【0077】

＜開示事項＞
なお、本開示には、以下のような構成が含まれる。
［項目１］
原稿データ及び見本音声データを記憶するデータベースと、
選択的に前記原稿データを表示せずに又は前記原稿データを表示しながら前記見本音声データを再生する音声出力部と、
ユーザの発話音声データを取得する音声取得部と、
前記発話音声データに対する評価データを取得する評価取得部と、
前記評価データを出力する評価出力部と、
を備えること特徴とする学習支援システム。
［項目２］
項目１に記載の学習支援システムであって、
前記音声出力部は、前記評価データを表示しながら前記見本音声データを再生可能であること、
を特徴とする学習支援システム。
［項目３］
項目１又は２に記載の学習支援システムであって、
前記音声出力部は、前記評価データに応じて、前記見本音声データの再生速度を変更して再生すること、及び前記原稿データを表示しながら前記見本音声データをすることの少なくともいずれかを行うこと、
を特徴とする学習支援システム。
［項目４］
項目１乃至３のいずれか１項に記載の学習支援システムであって、
前記評価データには、正確に復唱できている第１箇所を特定する第１情報と、改善するべき第２箇所を特定する第２情報とが含まれ、
前記音声出力部は、前記原稿データを表示しながら前記見本音声データを再生する場合に、前記評価データに基づいて前記第１箇所及び第２箇所を前記原稿データ上に表示すること、
を特徴とする学習支援システム。
［項目５］
項目１乃至４のいずれか１項に記載の学習支援システムであって、
前記見本音声データと、前記発話音声データとを比較して、一致率を評価する音声評価部と、
前記一致率が所定の第１条件を満たす少なくとも一の第１の単語と、前記一致率が所定の第２条件を満たす少なくとも一の第２の単語とを抽出する抽出部と、
を備え、
前記評価取得部は、前記第１の単語及び前記第２の単語を評価者に対して出力し、前記評価者から前記評価データを受け付けること、
を特徴とする学習支援システム。
［項目６］
項目５に記載の学習支援システムであって、
前記ユーザ及び学習日時に対応付けて、前記第１及び第２の単語を記憶する評価履歴データベースをさらに備えること、
を特徴とする学習支援システム。
［項目７］
項目１乃至６のいずれか１項に記載の学習支援システムであって、
前記評価取得部は、評価者に対して前記原稿データを出力し、前記原稿データに含まれる単語又はフレーズのうち、正確に復唱できている第１の前記単語又はフレーズと、改善するべき第２の前記単語又はフレーズとの選択を受け付け、前記第１及び第２の前記単語又はフレーズのそれぞれについてのコメントを受け付け、前記第１及び第２の単語又はフレーズ、ならびに対応する前記コメントを含めて前記評価データを作成すること、
を特徴とする学習支援システム。
［項目８］
項目１乃至７のいずれか１項に記載の学習支援システムであって、
前記原稿データに含まれるテキストの指定と、前記テキストの表記との入力を受け付けるユーザ表記入力部と、
前記ユーザを特定する情報、前記原稿データ、前記原稿データ中における前記テキストの範囲を指定するデータ及び前記表記を対応付けて記憶するユーザ表記記憶部と、をさらに備え、
前記音声出力部は、前記原稿データを出力する際に、前記ユーザ及び前記原稿データに対応する前記表記が前記ユーザ表記記憶部に登録されている場合には、前記表記を前記原稿データに重畳させるように出力すること、
を特徴とする学習支援システム。

【符号の説明】

【0078】

１０ サーバ
２０ ユーザ端末
３０ 支援者端末

【要約】

【課題】効果的なシャドーイングを行うことができるようにする。
【解決手段】学習支援システムであって、原稿データ及び見本音声データを記憶するデータベースと、見本音声データを再生する音声出力部と、ユーザの発話音声データを取得する音声取得部と、発話音声データに対する評価データを取得する評価取得部と、評価データを出力する評価出力部と、評価データを閲覧したユーザから、見本音声データの再生速度を調整するか否か及び原稿データを出力するか否かの指定を受け付けるオプション受付部と、を備え、音声出力部は、後続する見本音声データの再生時に、ユーザからの指定に応じて見本音声データの再生速度を調整して出力し、ユーザからの指定に応じて原稿データを併せて出力すること、を特徴とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】