特開 2019-159318 音声分析フィードバックシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-159318(P2019-159318A)

(43)【公開日】2019年9月19日

(54)【発明の名称】音声分析フィードバックシステム

(51)【国際特許分類】

   G09B 5/06 20060101AFI20190823BHJP

   G09B 19/00 20060101ALI20190823BHJP

   G09B 19/04 20060101ALI20190823BHJP

   G10L 15/00 20130101ALI20190823BHJP

【ＦＩ】

   G09B5/06

   G09B19/00 H

   G09B19/04

   G10L15/00 200E

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2019-34806(P2019-34806)

(22)【出願日】2019年2月27日

(31)【優先権主張番号】特願2018-33208(P2018-33208)

(32)【優先日】2018年2月27日

(33)【優先権主張国】JP

(71)【出願人】

【識別番号】509026747

【氏名又は名称】株式会社レアジョブ

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】向 晃弘

(72)【発明者】

【氏名】中村 岳

【テーマコード（参考）】

2C028

【Ｆターム（参考）】

2C028AA03

2C028AA04

2C028BA03

2C028BB04

2C028BC01

2C028BC02

2C028BD01

(57)【要約】

【課題】語学学習等の効果を高めるための音声分析フィードバックシステムを提供する。
【解決手段】本発明による音声分析フィードバックシステムは、ユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置と、少なくとも学習履歴を格納する記憶部とを備え、音声分析フィードバック装置は、ユーザ端末から入力された音声データを取得し、音声データを文字データに変換する音声解析サーバに音声データを送信する入力音声処理部と、音声解析サーバから音声データに対応する文字データを取得し解析する文字データ解析部とを備え、文字データ解析部は、文字データの解析結果又は解析結果に基づく助言をユーザ端末に提示することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

音声分析フィードバックシステムであって、
ユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置と、
少なくとも学習履歴を格納する記憶部とを備え、
前記音声分析フィードバック装置は、
ユーザ端末から入力された音声データを取得し、音声データを文字データに変換する音声解析サーバに前記音声データを送信する入力音声処理部と、
前記音声解析サーバから前記音声データに対応する文字データを取得し解析する文字データ解析部と、
を備え、
前記文字データ解析部は、前記文字データの解析結果又は前記解析結果に基づく助言を前記ユーザ端末に提示することを特徴とする、前記音声分析フィードバックシステム。

【請求項2】

請求項１に記載の音声分析フィードバックシステムであって、
前記音声分析フィードバック装置は、前記文字データの解析結果に基づいてオリジナル教材を生成するオリジナル教材生成部を更に備えることを特徴とする、前記音声分析フィードバックシステム。

【請求項3】

請求項１又は２に記載の音声分析フィードバックシステムであって、
前記入力音声処理部は、前記ユーザ端末から取得した前記音声データを前記記憶部に格納することを特徴とする、前記音声分析フィードバックシステム。

【請求項4】

請求項１〜３のいずれか一項に記載の音声分析フィードバックシステムであって、
前記文字データ解析部は、前記文字データの解析結果を前記記憶部に格納することを特徴とする、前記音声分析フィードバックシステム。

【請求項5】

請求項１〜４のいずれか一項に記載の音声分析フィードバックシステムであって、前記入力音声処理部は、複数の音声解析サーバのうち１つの音声解析サーバを選択することを特徴とする、前記音声分析フィードバックシステム。

【請求項6】

請求項１〜５のいずれか一項に記載の音声分析フィードバックシステムであって、前記入力音声処理部は、一定の時間間隔で前記ユーザ端末から前記音声データを取得し、取得した前記音声データから無音部分を削除して前記音声解析サーバに送信することを特徴とする、前記音声分析フィードバックシステム。

【請求項7】

請求項１〜６のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記音声解析サーバから取得した前記音声データに対応する前記文字データに含まれる文字数又は単語数をカウントし、前記ユーザ端末に前記文字数又は単語数を提示することを特徴とする、前記音声分析フィードバックシステム。

【請求項8】

請求項１〜７のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記音声解析サーバから取得した前記音声データに対応する前記文字データからユニークな語句を抽出してカウントし、前記ユーザ端末に前記ユニークな語句及び／又は前記ユニークな語句の数を提示することを特徴とする、前記音声分析フィードバックシステム。

【請求項9】

請求項１〜８のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記音声解析サーバから取得した前記音声データに対応する前記文字データに含まれる文字数又は単語数と、該文字データに対応する前記記憶部に格納された前記音声データの長さとから発話速度を判定し、前記ユーザ端末に前記発話速度を提示することを特徴とする、前記音声分析フィードバックシステム。

【請求項10】

請求項１〜９のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記文字データに含まれる文字数又は単語数、ユニークな語句の数、及び発話速度から、発話レベルを判定し、前記ユーザ端末に前記発話レベルを提示することを特徴とする、前記音声分析フィードバックシステム。

【請求項11】

請求項１〜１０のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記文字データに含まれる語句を抽出し、抽出された語句に基づいて語彙レベルを判定することを特徴とする、前記音声分析フィードバックシステム。

【請求項12】

請求項１〜１１のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記文字データに含まれる語句の使用頻度を判定し、一定回数以上使用した語句を習得済み語句として前記記憶部に格納することを特徴とする、前記音声分析フィードバックシステム。

【請求項13】

請求項１〜１２のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記記憶部に格納された、前記ユーザ端末の学習者本人に関する前記解析結果に基づいて、前記ユーザ端末に習得すべき語句を提示することを特徴とする、前記音声分析フィードバックシステム。

【請求項14】

請求項１〜１３のいずれか一項に記載の音声分析フィードバックシステムであって、前記文字データ解析部は、前記記憶部に格納された、前記ユーザ端末の学習者本人に関する前記解析結果と、他の学習者の解析結果とに基づいて、前記ユーザ端末に習得すべき語句を提示することを特徴とする、前記音声分析フィードバックシステム。

【請求項15】

ユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置であって、
ユーザ端末から入力された音声データを取得する入力音声処理部と、
前記音声データを文字に変換した文字データを解析する文字データ解析部と、
を備え、
前記文字データ解析部は、前記文字データの解析結果又は前記解析結果に基づく助言を前記ユーザ端末に提示することを特徴とする、前記音声分析フィードバック装置。

【請求項16】

請求項１５に記載の音声分析フィードバック装置であって、
少なくとも学習履歴を格納する記憶部を更に備えることを特徴とする、前記音声分析フィードバック装置。

【請求項17】

請求項１５又は１６に記載の音声分析フィードバック装置であって、
前記文字データの解析結果に基づいてオリジナル教材を生成するオリジナル教材生成部を更に備えることを特徴とする、前記音声分析フィードバック装置。

【請求項18】

音声分析フィードバック装置によりユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う方法であって、前記音声分析フィードバック装置は、入力音声処理部と、文字データ解析部とを備え、
前記入力音声処理部が、ユーザ端末から入力された音声データを取得するステップと、
前記文字データ解析部が、前記音声データを文字に変換した文字データを解析するステップと、
前記文字データ解析部が、前記文字データの解析結果又は前記解析結果に基づく助言を前記ユーザ端末に提示するステップと、
を備えることを特徴とする、前記方法。

【請求項19】

ユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置に、請求項１８に記載の方法の各ステップを実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声分析フィードバックシステムに関し、特に、語学学習等を支援するための音声分析フィードバック装置及び音声分析フィードバックシステムに関するものである。

【背景技術】

【0002】

近年、オンライン英会話等、ユーザ端末を介した語学学習が盛んに行われるようになってきている。それに伴い、学習者の発話等の入力音声を分析し、それに対するフィードバックを行うことにより、語学学習の効果を高めることが求められている。

【0003】

オンライン英会話等の繰り返し行われる語学学習における大量の発話には、語学学習の効果を高めるための情報が多く含まれている。しかしながら、従来のオンライン英会話等の語学学習では、レッスン中の学習者の発話は記録されないことが多く、発話が語学学習の効果を高めるためのデータとして十分に活用されているとはいえなかった。

【0004】

また、オンライン英会話等の語学学習においては、個人でのレッスンが主であるが、語学学習においては、同じ語学レベルの他の学習者の発話を参考にすることも語学力向上のために有用である。

【0005】

語学練習用に発話を分析する方法に関して、特許文献１では、「手本の発話内容に従って発話した話者の音声を分析して得られたデータと前記手本の発話内容に対するデータとを比較して、話者の発話評価を行う語学練習用発話評価方法において、手本の持っているそれぞれの発話内容ごとに、その発話内容についてそれぞれのフレームごとに音声分析し、発話の適正さを判断するに必要な要素に対するデータを予め求めておき、話者の発話した発話内容についてそれぞれのフレームごとに音声分析し、前記発話の適正さを判断するに必要な要素に対するデータを求め、この話者のデータと前記手本のデータとを、パターンマッチングによる各フレーム間の対応付けを行ってそれぞれのデータ間を比較し、その比較結果に基づいて話者の発話評価を行う」ことを開示している。
しかしながら、特許文献１では、手本の発話内容に従って発話した話者の音声を、手本と比較して分析するものであり、話者の実際の会話の中での発話を用いた分析を行うことができないという問題があった。

【0006】

この問題に対し、特許文献２では、実際のコミュニケーションで遭遇した表現を効率的に学習するための語学学習支援装置において、「自然言語解析処理で用いる処理用言語知識を記憶する知識記憶部と、前記処理用言語知識のうち語学学習に用いる学習用言語知識と、前記学習用言語知識に関する利用者向け解説を表す解説情報とを対応づけて記憶する解説記憶部と、利用者および前記利用者と異なる他者のいずれかの発話内容を表す入力文字列を入力する入力部と、前記処理用言語知識に基づいて前記入力文字列を自然言語解析処理し、当該自然言語解析処理に用いた前記処理用言語知識のうち前記学習用言語知識を特定する解析部と、前記入力文字列が前記利用者および前記他者のいずれの発話であるかを判定する判定部と、前記入力文字列が前記他者の発話である場合に、特定された前記学習用言語知識に対応づけられた前記解説情報を前記解説記憶部から取得する取得部と、取得された前記解説情報を前記利用者に出力する出力部と、を備えた」ことを開示している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平１１−１４３３４６号公報

【特許文献2】特開２０１０−３２７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献２では、利用者とその対話相手となる他者との実際の対話において遭遇した表現のうち利用者が用いていない表現について解説を提示するものであり、利用者が遭遇していない表現については提示されないという問題がある。
そのため、学習者が遭遇していない単語、熟語（イディオム）又はフレーズ等についても、学習者が学習すべき単語、熟語（イディオム）又はフレーズ等として提示することが可能なシステムが望まれる。

【0009】

そこで、本発明は、上記課題を解決し、学習者の発話等の音声データを分析し、学習者の発話レベルの判定や、その学習者と他の学習者の学習履歴に関するデータを用いて、学習者の語学力レベルや嗜好に応じて学習すべき単語、熟語（イディオム）又はフレーズ等を提示することが可能な音声分析フィードバックシステムを提供するものである。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明では、学習者の発話等の音声データを分析し、それに対するフィードバックを行う音声分析フィードバック装置を備えた音声分析フィードバックシステムを提供する。

【0011】

本発明のある態様による音声分析フィードバックシステムは、ユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置と、少なくとも学習履歴を格納する記憶部とを備え、音声分析フィードバック装置は、ユーザ端末から入力された音声データを取得し、音声データを文字データに変換する音声解析サーバに音声データを送信する入力音声処理部と、音声解析サーバから音声データに対応する文字データを取得し解析する文字データ解析部とを備え、文字データ解析部は、文字データの解析結果又は解析結果に基づく助言をユーザ端末に提示することを特徴とする。

【0012】

本発明のある態様による音声分析フィードバックシステムにおいては、文字データの解析結果に基づいてオリジナル教材を生成するオリジナル教材生成部を更に備えることを特徴とする。

【0013】

本発明のある態様による音声分析フィードバックシステムにおいて、入力音声処理部は、ユーザ端末から取得した音声データを記憶部に格納することを特徴とする。

【0014】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、文字データの解析結果を記憶部に格納することを特徴とする。

【0015】

本発明のある態様による音声分析フィードバックシステムにおいて、入力音声処理部は、複数の音声解析サーバのうち１つの音声解析サーバを選択することを特徴とする。

【0016】

本発明のある態様による音声分析フィードバックシステムにおいて、入力音声処理部は、一定の時間間隔でユーザ端末から音声データを取得し、取得した音声データから無音部分を削除して音声解析サーバに送信することを特徴とする。

【0017】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、音声解析サーバから取得した音声データに対応する文字データに含まれる文字数又は単語数をカウントし、ユーザ端末に文字数又は単語数を提示することを特徴とする。

【0018】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、音声解析サーバから取得した音声データに対応する文字データからユニークな語句を抽出してカウントし、ユーザ端末にユニークな語句及び／又はユニークな語句の数を提示することを特徴とする。

【0019】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、音声解析サーバから取得した音声データに対応する文字データに含まれる文字数又は単語数と、文字データに対応する記憶部に格納された音声データの長さとから発話速度を判定し、ユーザ端末に発話速度を提示することを特徴とする。

【0020】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、文字データに含まれる文字数又は単語数、ユニークな単語の数、及び発話速度から、発話レベルを判定し、ユーザ端末に発話レベルを提示することを特徴とする。

【0021】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、文字データに含まれる語句を抽出し、抽出された語句に基づいて語彙レベルを判定することを特徴とする。

【0022】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、文字データに含まれる語句の使用頻度を判定し、一定回数以上使用した語句を習得済の語句として記憶部に格納することを特徴とする。

【0023】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、記憶部に格納された、ユーザ端末の学習者本人に関する解析結果に基づいて、ユーザ端末に習得すべき語句を提示することを特徴とする。

【0024】

本発明のある態様による音声分析フィードバックシステムにおいて、文字データ解析部は、記憶部に格納された、ユーザ端末の学習者本人に関する解析結果と、他の学習者の解析結果とに基づいて、ユーザ端末に習得すべき語句を提示することを特徴とする。

【0025】

本発明のある態様による音声分析フィードバック装置は、ユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置であって、ユーザ端末から入力された音声データを取得する入力音声処理部と、音声データを文字に変換した文字データを解析する文字データ解析部とを備え、文字データ解析部は、文字データの解析結果又は解析結果に基づく助言をユーザ端末に提示することを特徴とする。

【0026】

本発明のある態様による音声分析フィードバック装置においては、少なくとも学習履歴を格納する記憶部を更に備えることを特徴とする。

【0027】

本発明のある態様による音声分析フィードバック装置において、文字データの解析結果に基づいてオリジナル教材を生成するオリジナル教材生成部を更に備えることを特徴とする。オリジナル教材生成部は、文字データの解析結果に基づいて学習目標の設定又は学習目標の管理を行うようにしてもよい。

【0028】

本発明のある態様による音声分析フィードバック装置によりユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う方法においては、音声分析フィードバック装置は、入力音声処理部と、文字データ解析部とを備え、入力音声処理部が、ユーザ端末から入力された音声を取得するステップと、文字データ解析部が、音声データを文字に変換した文字データを解析するステップと、文字データ解析部が、文字データの解析結果又は解析結果に基づく助言をユーザ端末に提示するステップとを備えることを特徴とする。

【0029】

本発明のある態様によるプログラムは、ユーザ端末から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置に、上記方法の各ステップを実行させることを特徴とする。

【0030】

本発明において、「発話」とは、学習者が発したリアルタイムの発話に限られず、予め録音された音声データや、機械から発せられる合成音声、その他のあらゆる種類の音声をも含む概念である。本発明において、「ユーザ端末に提示する」とは、ユーザ端末のディスプレイ等に表示することの他、ユーザ端末においてデータをダウンロード可能な状態にすることや、ユーザ端末に対し電子メール等により内容を通知すること、その他のあらゆる種類の提示手段をも含む概念である。「語句」とは、単語、熟語（イディオム）、又はフレーズ等をいう。「ユニークな語句」とは、ユニークな単語、ユニークな熟語（イディオム）、又はユニークなフレーズ等が含まれ、他の学習者と比較した場合にその学習者に特有の単語、熟語（イディオム）又はフレーズ等のことをいう。

【0031】

本発明において、「助言」とは、学習者の学習への助言をいい、好ましくは、例えば学習者が習得すべき語句を示すこと等をいうが、これに限られず、学習者の学習を促進するための任意の情報が含まれ得る。また、「オリジナル教材」とは、その学習者のレベルや趣味趣向、その他の特性等を考慮して、その学習者のために作成された教材をいう。

【発明の効果】

【0032】

本発明によれば、学習者の発話等の音声データを分析し、語学力レベルに関するフィードバックや学習すべき単語、熟語（イディオム）又はフレーズ等に関する助言等を提供することにより、語学学習の効果を高めるという効果を奏する。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。

【図面の簡単な説明】

【0033】

【図1】図１は、本発明による音声分析フィードバックシステムの全体を示す図である。

【図2】図２は、本発明による音声分析フィードバックシステム１における音声分析フィードバック処理全体の流れを示すフローチャートである。

【図3】図３は、本発明による入力音声処理の流れを示すフローチャートである。

【図4】図４は、本発明による音声解析処理の流れを示すフローチャートである。

【図5】図５は、本発明による文字データ解析処理の流れを示すフローチャートである。

【図6】図６は、本発明による助言生成処理の流れを示すフローチャートである。

【図7】図７は、本発明によるオリジナル教材生成処理の流れを示すフローチャートである。

【図8】図８は、本発明による音声分析フィードバックシステムの他の態様を示す図である。

【発明を実施するための形態】

【実施例1】

【0034】

図１は、本発明による音声分析フィードバックシステムの全体を示す図である。本発明による音声分析フィードバックシステム１は、ユーザ端末２から取得した音声を分析し、ユーザ端末２に対してフィードバックを行う音声分析フィードバック装置１０と、少なくとも学習履歴を格納する記憶部２０とを備える。学習履歴には、少なくともユーザ端末２を使用する学習者の学習履歴が含まれる。記憶部２０は、教材データを格納するようにしてもよい。

【0035】

ユーザ端末２を使用する学習者の学習履歴には、その学習者がいつ、どの講師により、どのような教材を用いて、学習が行われたか等の情報が含まれる。即ち、学習履歴には、学習日時、講師、使用した教材の情報が含まれる。また、学習履歴には、学習時の発話についての音声データ、文字データ、及び文字データの解析結果等も含まれる。

【0036】

記憶部２０に格納される教材データには、ユーザ端末２を使用する学習者が使用可能な教材が含まれており、その学習者が現在使用している教材の他、過去に使用した教材や将来使用することが可能な教材が含まれる。また、教材データには、その学習者が使用する予定はないが、他の学習者や講師、カウンセラー、コーチ、アドバイザー、チュータ、教材作成者等が使用する教材、あるいは教材作成の基準となるデータや教材作成の元となるデータ等が含まれるようにしてもよい。

【0037】

音声分析フィードバック装置１０は、ユーザ端末２から入力された音声データを取得し、音声データを文字データに変換する音声解析サーバ４０に、取得した音声データを送信する入力音声処理部１１と、音声解析サーバ４０から音声データに対応する文字データを取得し解析する文字データ解析部１２を備える。文字データ解析部１２は、文字データの解析結果又は解析結果に基づく助言をユーザ端末２に提示する。

【0038】

音声分析フィードバック装置１０は、文字データの解析結果に基づいてオリジナル教材を生成するオリジナル教材生成部１４を更に備えるようにしてもよい。音声分析フィードバック装置１０は、好ましくは、文字データ解析部１２によって解析され、記憶部２０に格納された解析結果に基づいてオリジナル教材を生成し、ユーザ端末２に提示する。また、オリジナル教材生成部１４は、文字データの解析結果に基づいて学習目標の設定又は学習目標の管理を行う。オリジナル教材生成部１４は、文字データの解析結果に基づいて学習目標を設定するとともに、学習目標の達成期限を設定する。また、オリジナル教材生成部１４は、設定した学習目標と文字データ解析部１２で判定した学習者の現在の発話レベルとを比較し、設定した学習目標と学習者の現在の発話レベルとの差分を算出する。オリジナル教材生成部１４は、設定した学習目標と学習者の現在の発話レベルとの差分をユーザ端末２に表示する。設定した学習目標と学習者の現在の発話レベルとの差分は、好ましくはレッスンが終わる毎にユーザ端末２に表示される。ここで、発話レベルとは、例えば、平均発話単語数、平均ユニーク単語数、平均ＷＰＭ、即ち、１分間に話すことができる単語数、レベル別の使いこなせる単語、又はレベル別の使いこなせるフレーズであってもよい。また、オリジナル教材生成部１４は、設定した学習目標と学習者の現在の発話レベルとの差分を埋めるためのオリジナルの教材、習得すべき単語やフレーズ等の習得すべき語句をユーザ端末２に表示する。また、オリジナル教材生成部１４は、設定した学習目標と学習者の現在の発話レベルとの差分を埋めるための習得すべき単語やフレーズ等の習得すべき語句を利用して文を生成することができる。また、生成した文をユーザが発話に利用したか否かを音声認識により判定することができる。

【0039】

ユーザ端末２は、インターネット（登録商標）等のネットワークを介して音声分析フィードバックシステム１と接続され、例えば語学学習等のサービスの学習者が使用する端末である。ユーザ端末２は、インターネット（登録商標）等のネットワークを介した文字通信、音声通信及び映像通信を行うことができる。学習者は、ユーザ端末２を利用して、例えば語学レッスン等の講師と音声のみ又は音声と映像による対面式の会話を行うことができる。また、ユーザ端末２の入力手段で文字を入力することにより、チャット機能を利用した文字による対話を行うこともできる。ユーザ端末２との文字通信、音声通信及び映像通信には、例えば、Ｓｋｙｐｅ（登録商標）等の既存のオンライン通話サービスを利用することができる。

【0040】

ユーザ端末２は、学習者によって使用される他、例えば、講師、カウンセラー、コーチ、アドバイザー、チュータ、教材作成者等の学習サービスを提供する側の者によって使用されるようにしてもよい。即ち、ユーザ端末２に提示される情報を、学習者が利用する場合の他に、講師、カウンセラー、コーチ、アドバイザー、チュータ、教材作成者等の学習サービスを提供する側の者が利用する場合も含まれ得る。ユーザ端末２に提示される情報には、例えば、解析結果や解析結果に基づく学習に関する助言等が含まれる。

【0041】

音声分析フィードバック装置１０は、ユーザ端末２から取得した音声を分析し、ユーザ端末２に対してフィードバックを行う。音声分析フィードバック装置１０は、インターネット（登録商標）等のネットワークを介してユーザ端末２に接続される。また、音声分析フィードバック装置１０は、インターネット（登録商標）等のネットワークを介して音声解析サーバ４０に接続される。音声分析フィードバック装置１０は、好ましくはプロセッサ及びメモリを備えるサーバとして構築されるが、プロセッサ及びメモリを備える任意の種類のコンピュータであってもよい。

【0042】

ユーザ端末２を使用する学習者の学習履歴を格納する記憶部２０は、好ましくはコンピュータ又はサーバ上に、メモリ、データベース又はファイルサーバとして構築される。図１の例では、記憶部２０は、音声フィードバック装置１０の外部に存在するが、図８のように、音声分析フィードバック装置１０の内部に含まれるようにしてもよい。記憶部２０は、ユーザ端末２を使用する学習者の学習履歴として、その学習者がいつ、どの講師により、どのような教材を用いて、学習が行われたか等の情報を格納する。即ち、記憶部２０は、学習履歴として、学習日時、講師、使用した教材の情報を格納する。また、記憶部２０は、学習履歴として、学習時の発話についての音声データ、文字データ、及び文字データの解析結果等を格納する。

【0043】

また、記憶部２０は、教材データとして、ユーザ端末２を使用する学習者が使用可能な教材を格納する。記憶部２０は、教材データとして、その学習者が現在使用している教材の他、過去に使用した教材や将来使用することが可能な教材を格納するようにしてもよい。また、記憶部２０は、教材データとして、その学習者が使用する予定はないが、他の学習者や講師、カウンセラー、コーチ、アドバイザー、チュータ、教材作成者等が使用する教材、あるいは教材作成の基準となるデータや教材作成の元となるデータ等を格納するようにしてもよい。

【0044】

記憶部２０は、学習履歴を格納する学習履歴記憶部又は学習履歴データベースを有するようにしてもよい。また、記憶部２０は、教材データを格納する教材データ記憶部又は教材データベースを有するようにしてもよい。

【0045】

音声解析サーバ４０は、音声解析サービスを提供する音声解析サーバである。音声解析サーバ４０は、音声データを文字データに変換する機能を有する。音声解析サーバ４０は、好ましくは、音声解析プログラムを有するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）サーバである。音声解析サーバ４０は、例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｓｐｅｅｃｈ ＡＰＩ等の既存のＡＰＩを利用するサーバであってもよい。音声解析サーバ２０に含まれるＡＰＩは、音声データを文字データに変換する機能を有するものであれば、任意のものを用いてもよい。音声解析サーバ４０は、本発明の音声分析フィードバックシステム１の外部に存在するようにしてもよい。

【0046】

また、音声解析サーバ４０内に１つ又は複数の音声解析部又は音声解析エンジンを設けるようにしてもよい。この場合においては、音声解析サーバ４０が複数の音声解析部又は音声解析エンジンを含む場合には、それぞれの音声解析部又は音声解析エンジンが、少なくとも音声データを文字データに変換する機能を有する。この場合において、音声解析サーバ４０内の複数の音声解析部又は音声解析エンジンのうち、ユーザ端末２からの音声データを処理するのに最適な音声解析部又は音声解析エンジンを選択するようにしてもよい。

【0047】

入力音声処理部１１は、ユーザ端末２から入力された音声データを取得し、取得した音声データを記憶部２０に格納する。また、入力音声処理部１１は、音声データを文字データに変換する音声解析サーバ４０に音声データを送信する。ユーザ端末２から入力される音声データは、好ましくは学習者の発話による音声のデータであるが、学習者が発したリアルタイムの発話に限られず、予め録音された音声データであってもよい。また、発話に限らず、機械から発せられる合成音声や、その他のあらゆる種類の音声であってもよい。

【0048】

入力音声処理部１１は、複数の音声解析サーバ４０のうち最適な１つの音声解析サーバ４０を選択する。最適な音声解析サーバ４０の選択は、好ましくは初回の利用時に行われ、２回目以降の利用時には任意に行われる。例えば、５つ前後の複数の文章を読み上げた同じテスト音声データを例えば最大１３種類等の複数種類の音声解析サーバ４０に解析させて文字データに変換されたものと、元の文章とを比較し、最も元の文章に近い文字データを出力した音声解析サーバ４０を選択するようにしてもよい。

【0049】

入力音声処理部１１は、ユーザ端末２から取得した音声データから無音部分を削除して、一定の時間間隔で音声解析サーバ４０に送信する。入力音声処理部１１は、無音部分を削除した音声データを、好ましくは１０秒ごとに音声解析サーバ４０に送信する。送信の時間間隔は、これに限られず、任意の時間間隔としてもよい。

【0050】

文字データ解析部１２は、音声解析サーバ４０から取得した音声データに対応する文字データを取得し解析する。また、文字データ解析部１２は、解析結果を記憶部２０に格納するとともにユーザ端末２に提示する。以下、文字データ解析部１２が解析結果としてどのようなものを得て、ユーザ端末２に提供するかを例示する。

【0051】

文字データ解析部１２は、音声解析サーバ４０から取得した音声データに対応する文字データに含まれる文字数又は単語数をカウントし、ユーザ端末２に文字数又は単語数を提示する。文字データに含まれる文字数又は単語数から、その学習者の発話量を把握することができる。

【0052】

文字データ解析部１２は、音声解析サーバ４０から取得した音声データに対応する文字データからユニークな語句を抽出してカウントし、ユーザ端末２にユニークな語句及び／又はユニークな語句の数を提示する。ここで、ユニークな語句とは、ユニークな単語、ユニークな熟語（イディオム）、又はユニークなフレーズ等が含まれ、他の学習者と比較した場合にその学習者に特有の単語、熟語（イディオム）又はフレーズ等のことをいう。文字データ解析部１２は、カウントしたユニークな語句の数を記憶部２０に格納する。

【0053】

文字データ解析部１２は、音声解析サーバ４０から取得した音声データに対応する文字データに含まれる文字数又は単語数と、文字データに対応する記憶部２０に格納された音声データの長さとから発話速度を判定し、ユーザ端末２に発話速度を提示する。ここで、音声データの長さは、好ましくは音声データから無音部分を削除した音声データの長さとしてもよい。発話速度は、例えば、１秒間に何文字、又は１分間に何文字等、一定の時間内に何文字発話したかにより表される。発話速度は、好ましくは１秒当たりの文字数又は単語数（文字数／ｓ若しくは単語数／ｓ）であるが、これに限られず、例えば、１秒当たりのモーラ数（モーラ数／ｓ）、１秒当たりのシラブル数（シラブル数／ｓ）等、又はその他の発話速度を表す単位によって表されるようにしてもよい。ここで、モーラ数とは、一定の時間的長さをもった音の分節単位の数をいう。モーラ数は、例えば１短音節の数としてもよく、拍数としてもよい。また、シラブル数とは音節の数のことをいう。

【0054】

文字データ解析部１２は、文字データに含まれる文字数又は単語数、ユニークな語句の数、及び発話速度から、発話レベルを判定し、ユーザ端末２に発話レベルを提示する。発話レベルは、任意の数にランク分けされる。発話レベルは、複数の段階、例えば、低い方から高い方へＧ，Ｆ，Ｅ，Ｄ，Ｃ，Ｂ，ＢＢ，Ａ，ＡＡ，Ｓ，ＳＳ等の１１段階にランク分けしてもよい。発話レベルは、好ましくは、例えば、文字数又は単語数が多いほど高くなり、ユニークな語句の数が多いほど高くなり、発話速度が予め定められた基準値に近いほど高くなるように設定する。発話速度についての予め定められた基準値は、自然な会話における発話速度に設定することが好ましい。即ち、遅すぎず、速すぎない適切な速度に設定することが望ましい。予め定められた基準値は、任意の数値を設定してもよい。また、他の例では、発話速度について、任意の閾値を用いて「遅い」、「適切」、「速い」等の判定を行うようにしてもよい。

【0055】

文字データ解析部１２は、文字データに含まれる単語、熟語（イディオム）、フレーズ等の語句を抽出し、抽出された語句に基づいて語彙レベルを判定する。文字データ解析部１２は、文字データから単語、熟語（イディオム）、フレーズ等の語句を抽出し、抽出した語句と、予め用意された基準に基づく語句リストと照らし合わせて、学習者が使用する語彙の語彙レベルを判定する。ここで、語句リストには、単語リスト、熟語リスト、及びフレーズ・リストが含まれる。語句リストは、好ましくは記憶部２０に予め格納されるが、文字データ解析部１２又は音声分析フィードバック装置１０の内部メモリに予め格納されるようにしてもよい。語句リストには、複数の語彙レベルが設定され、語彙レベル別に単語、熟語（イディオム）、フレーズ等の語句が収録されている。文字データ解析部１２は、好ましくは、例えば、抽出した単語、熟語（イディオム）、フレーズ等の語句と、予め用意された基準に基づく語句リストの各語彙レベルに含まれる語句とを比較し、その一致率が最も高い語彙レベルをその学習者の語彙レベルと判定する。文字データ解析部は、判定された語彙レベルを記憶部２０に格納する。

【0056】

文字データ解析部１２は、文字データに含まれる単語、熟語（イディオム）、フレーズ等の語句の使用頻度を判定し、一定回数以上使用した語句を習得済み語句として記憶部２０に格納する。例えば、４回以上使用した語句を習得済み語句と判定するようにしてもよい。習得済み語句と判定する際の一定回数は、これに限られず、任意の回数としてもよい。

【0057】

また、音声分析フィードバック装置１０は、好ましくは、記憶部２０に格納された解析結果に基づいて学習者への助言を生成し、生成した助言をユーザ端末２に提示する。例えば、助言を提示することには、例えば、ユーザ端末２の学習者が習得すべき語句を提示することが含まれる。学習者が習得すべき語句を推薦することにより、語学等の学習の効率を高めることができる。

【0058】

文字データ解析部１２は、記憶部２０に格納された、ユーザ端末２の学習者本人に関する解析結果に基づいて、ユーザ端末２に習得すべき語句を提示する。文字データ解析部１２は、文字データから抽出した単語、熟語（イディオム）、フレーズ等の語句、及びそのユーザの趣味趣向等から習得すべき語句の選定を行う。ここで、ユーザの趣味趣向は、予めユーザ情報として記憶部２０に登録されている趣味や職業、学習の目的等の情報から判断してもよく、使用回数の多い単語等の語句から、趣味趣向のジャンルを判定してもよい。

【0059】

例えば、ユーザ端末２を使用するある学習者について経済に関連する単語等の語句の使用回数が多い場合には、経済の分野の単語等の語句について語彙を増やすことが望まれると推定し、経済に関連する語句を習得すべき語句として優先的に選定するようにしてもよい。また、ある学習者の職業が看護師である場合には、医療や健康に関する語句を習得すべき語句として優先的に選定するようにしてもよい。また、学習者が予め設定した分野の語句のみを習得すべき語句として選定するようにしてもよい。また、習得すべき語句は、学習者の語彙レベルが、次のレベルに上がるように選定してもよい。また、習得すべき語句は、学習者の現在の語彙レベルの中で、他に習得すべき語句を選定してもよい。また、習得すべき語句の選定に機械学習を利用してもよい。

【0060】

また、文字データ解析部１２は、記憶部２０に格納された、ユーザ端末２の学習者本人に関する解析結果と、他の学習者の解析結果とに基づいて、ユーザ端末２に習得すべき語句を提示する。文字データ解析部１２は、語学レベルや趣味趣向が近い他の学習者の発話内容を加味して、習得すべき語句の判定を行ってもよい。例えば、ある学習者の趣味がスポーツであった場合に、同じ語学レベルを有し、趣味が同じくスポーツである他の学習者が使用している単語、熟語（イディオム）、フレーズ等の語句を習得すべき語句として優先的に選定するようにしてもよい。文字データ解析部１２で判定された習得すべき語句は、記憶部２０に格納される。

【0061】

図２は、本発明による音声分析フィードバックシステム１における音声分析フィードバック処理全体の流れを示すフローチャートである。
まず、音声分析フィードバック装置１０の入力音声処理部１１により、ユーザ端末２から入力された音声データを処理する入力音声処理を行う（ステップＳ３００）。次に、音声解析サーバ４０により、入力音声処理部１１から受信した音声データを文字データに変換する音声解析処理を行う（ステップＳ４００）。次に、文字データ解析部１２により、音声解析サーバ４０から受信した文字データを解析する文字データ解析処理を行う（ステップＳ５００）。次に、文字データ解析部１２は、解析結果から助言を生成し、ユーザ端末２に提示する助言生成処理を行う（ステップＳ６００）。また、オリジナル教材生成部１４により、文字データ解析部１２での解析結果からオリジナル教材を生成し、ユーザ端末２に提示するオリジナル教材生成処理を行う（ステップＳ７００）。以下、図３〜図７を用いて、各処理の流れを説明する。

【0062】

図３は、本発明による入力音声処理の流れを示すフローチャートである。
入力音声処理の各ステップは、音声分析フィードバック装置１０の入力音声処理部１１により行われる。まず、入力音声処理部１１は、ユーザ端末２から学習者の発話等の音声データを取得する（ステップＳ３０１）。次に、入力音声処理部１１は、ステップＳ３０１で取得した音声データを記憶部に格納する（ステップＳ３０２）。また、初回の使用の場合は、入力音声処理部１１は、取得した音声データを解析するのに最適な音声解析サーバの選択を行う（ステップＳ３０３）。ここで、２回目以降の使用の場合は、ステップＳ３０３は任意に実行すればよく、ステップＳ３０３を省略することも可能である。次に、入力音声処理部１１は、ステップＳ３０１で取得した音声データから無音部分を削除する（ステップＳ３０４）。次に、入力音声処理部１１は、ステップＳ３０４で無音部分が削除された音声データを音声解析サーバ４０に送信する（ステップＳ３０５）。

【0063】

図４は、本発明による音声解析処理の流れを示すフローチャートである。
音声解析処理の各ステップは、音声解析サーバ４０により行われる。まず、音声解析サーバ４０は、音声分析フィードバック装置１０の入力音声処理部１１から音声データを受信する（ステップＳ４０１）。次に、音声解析サーバ４０は、ステップＳ４０１で受信した音声データを文字データに変換する（ステップＳ４０２）。次に、音声解析サーバ４０は、ステップＳ４０２で変換した文字データを音声分析フィードバック装置１０の文字データ解析部に送信する（ステップＳ４０３）。

【0064】

図５は、本発明による文字データ解析処理の流れを示すフローチャートである。
文字データ解析処理の各ステップは、音声分析フィードバック装置１０の文字データ解析部１２により行われる。まず、文字データ解析部１２は、音声解析サーバ４０で音声データから変換された文字データを、音声解析サーバ４０から取得する（ステップＳ５０１）。次に、文字データ解析部１２は、ステップＳ５０１で取得した文字データの文字数又は単語数をカウントする（ステップＳ５０２）。カウントされた文字データの文字数又は単語数は、記憶部２０に格納される（ステップＳ５０９）。

【0065】

また、文字データ解析部１２は、ステップＳ５０１で取得した文字データからユニークな語句を抽出し、抽出したユニークな語句の数をカウントする（ステップＳ５０３）。ここで、ユニークな語句とは、ユニークな単語、ユニークな熟語（イディオム）、又はユニークなフレーズ等が含まれ、他の学習者と比較した場合にその学習者に特有の単語、熟語（イディオム）又はフレーズ等のことをいう。カウントされたユニークな語句の数は、記憶部２０に格納される（ステップＳ５０９）。

【0066】

次に、文字データ解析部１２は、ステップＳ５０２でカウントした文字データの文字数又は単語数と、ステップＳ３０２で記憶部に格納された音声データから無音部分を削除した音声データの長さから発話速度を計算する（ステップＳ５０４）。発話速度は、例えば、１秒間に何文字、又は１分間に何文字等、一定の時間内に何文字発話したかにより表される。ステップＳ５０４で計算された発話速度は、記憶部２０に格納される（ステップＳ５０９）。

【0067】

次に、文字データ解析部１２は、ステップＳ５０２でカウントした文字データの文字数又は単語数、ステップＳ５０３でカウントしたユニークな語句の数、及びステップＳ５０４で計算した発話速度から発話レベルの判定を行う（ステップＳ５０５）。発話レベルは、好ましくは、例えば、文字数又は単語数が多いほど高くなり、ユニークな語句の数が多いほど高くなり、発話速度が速いほど高くなるように設定する。ステップＳ５０５で判定された発話レベルは、記憶部２０に格納される（ステップＳ５０９）。

【0068】

次に、文字データ解析部１２は、ステップＳ５０１で取得した文字データから単語、熟語（イディオム）、フレーズ等の語句を抽出し、抽出した語句と、予め用意された基準に基づく語句リストと照らし合わせて、ユーザ端末２の学習者が使用する語彙の語彙レベルの判定を行う（ステップＳ５０６）。文字データ解析部１２は、好ましくは、例えば、抽出した単語、熟語（イディオム）、フレーズ等の語句と、予め用意された基準に基づく語句リストの各語彙レベルに含まれる語句とを比較し、その一致率が最も高い語彙レベルをその学習者の語彙レベルと判定する。ステップＳ５０６で判定された語彙レベルは、記憶部２０に格納される（ステップＳ５０９）。

【0069】

次に、文字データ解析部１２は、ステップＳ５０６で抽出した単語、熟語（イディオム）、フレーズ等の語句の使用回数をカウントし、一定回数以上使用した語句を習得済み語句と判定する（ステップＳ５０７）。例えば、４回以上使用した語句を習得済み語句と判定するようにしてもよい。習得済み語句と判定する際の一定回数は、これに限られず、任意の回数としてもよい。ステップＳ５０７で判定された習得済み語句は、記憶部２０に格納される（ステップＳ５０９）。

【0070】

次に、文字データ解析部１２は、ステップＳ５０６で抽出した抽出した単語、熟語（イディオム）、フレーズ等の語句、及びその学習者の趣味趣向等から習得すべき語句の選定を行う（ステップＳ５０８）。ここで、学習者の趣味趣向は、予め学習者情報として記憶部２０に登録されている趣味や職業、学習の目的等の情報から判断してもよく、使用回数の多い単語等の語句から、趣味趣向のジャンルを判定してもよい。

【0071】

また、文字データ解析部１２は、ステップＳ５０８において、語学レベルや趣味趣向が近い他の学習者の発話内容を加味して、習得すべき語句の判定を行ってもよい。例えば、ある学習者の趣味がスポーツであった場合に、同じ語学レベルを有し、趣味が同じくスポーツである他の学習者が使用している単語、熟語（イディオム）、フレーズ等の語句を習得すべき語句として優先的に選定するようにしてもよい。ステップＳ５０８で判定された習得すべき語句は、記憶部２０に格納される（ステップＳ５０９）。

【0072】

図６は、本発明による助言生成処理の流れを示すフローチャートである。
助言生成処理の各ステップは、音声分析フィードバック装置１０の文字データ解析部１２により行われる。まず、文字データ解析部１２は、文字データ解析部１２で解析され記憶部２０に格納された解析結果を取得する（ステップＳ６０１）。ステップＳ６０１において、文字データ解析部１２は、解析結果として、文字データの文字数又は単語数、ユニークな語句、ユニークな語句の数、発話速度、発話レベル、語彙レベル、習得済み語句、習得すべき語句のうちの少なくとも１つを取得する。次に、文字データ解析部１２は、取得した解析結果から学習者の学習への助言を生成する（ステップＳ６０２）。次に、文字データ解析部１２は、生成した助言をユーザ端末２に提示する（ステップＳ６０３）。

【0073】

図７は、本発明によるオリジナル教材生成処理の流れを示すフローチャートである。
オリジナル教材生成処理の各ステップは、音声分析フィードバック装置１０のオリジナル教材生成部１４により行われる。まず、オリジナル教材生成部１４は、文字データ解析部１２で解析され記憶部２０に格納された解析結果を取得する（ステップＳ７０１）。ステップＳ７０１において、文字データ解析部１２は、解析結果として、文字データの文字数又は単語数、ユニークな語句、ユニークな語句の数、発話速度、発話レベル、語彙レベル、習得済み語句、習得すべき語句のうちの少なくとも１つを取得する。次に、オリジナル教材生成部１４は、取得した解析結果からその学習者にオリジナルの教材を生成する（ステップＳ７０２）。次に、オリジナル教材生成部１４は、生成したオリジナルの教材をユーザ端末２に提示する（ステップＳ７０３）。

【0074】

上記の図２〜７においては、本発明による音声分析フィードバックシステム１における音声分析フィードバック処理の流れを一例として説明したが、これに限られず、例えば、各ステップの順序を入れ替えることや一部のステップを省略することを妨げるものではない。

【0075】

また、本発明においては、ユーザ端末２から取得した音声を分析し、ユーザ端末に対してフィードバックを行う音声分析フィードバック装置に、上記の方法の各ステップの少なくともいずれかを実行させるプログラムを提供する。プログラムは、好ましくは音声分析フィードバック装置１０内に格納され、音声分析フィードバック装置内で実行される。また、プログラムは、コンピュータにより読み取り可能な記録媒体に格納するようにしてもよい。

【0076】

図８は、本発明による音声分析フィードバックシステムの他の態様を示す図である。図１との違いは、図８においては、記憶部２０が音声分析フィードバック装置１０に含まれる点である。この場合においても、図１の態様と同様に、記憶部２０は、学習履歴を格納する学習履歴記憶部又は学習履歴データベースを有するようにしてもよく、教材データを格納する教材データ記憶部又は教材データベースを有するようにしてもよい。

【0077】

上記の実施例においては、文字データ解析部１２及びオリジナル教材生成部１４を別個に設けているが、文字データ解析部１２が、オリジナル教材生成部１４の機能を併せ持つようにしてもよい。即ち、文字データ解析部１２がオリジナル教材を生成し、ユーザ端末２に提示するようにしてもよい。また、上記の実施例においては、記憶部２０及び記憶部２０を別個に設けているが、記憶部２０が記憶部２０の機能を併せ持つようにしてもよい。即ち、記憶部２０に格納される教材データを記憶部２０に格納するようにしてもよい。

【0078】

以上で説明した通り、本発明は、学習者の発話等の音声データを分析し、語学力レベルに関するフィードバックや学習すべき単語、熟語（イディオム）又はフレーズ等に関する助言等を提供することにより、語学学習の効果を高めるものである。特に、外国語の習得において、学習者の発話に対して効果的なフィードバックを行うことができる。また、学習者自身の発話だけでなく、その学習者と同等の語学レベルを有する他の学習者や、同じ趣味嗜好や学習目的を有する他の学習者の発話状況を加味し、より効果的なフィードバックを行うことが可能である。このような学習者の発話に対するフィードバックが本発明による音声分析フィードバック装置１０により自動的に行われ、学習者の発話から得られる大量の情報を分析しフィードバックに活かすことができるため、学習者にとってより有益な助言を自動的に提示することが可能となる。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。

【符号の説明】

【0079】

１ 音声分析フィードバックシステム
２ ユーザ端末
１０ 音声分析フィードバック装置
１１ 入力音声処理部
１２ 文字データ解析部
１４ オリジナル教材生成部
２０ 記憶部
４０ 音声解析サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】