特開 2024-50171 学習装置、学習方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024050171

(43)【公開日】2024-04-10

(54)【発明の名称】学習装置、学習方法、及びプログラム

(51)【国際特許分類】

   G09B 19/04 20060101AFI20240403BHJP

   G09B 19/00 20060101ALI20240403BHJP

   G06Q 50/20 20120101ALI20240403BHJP

【ＦＩ】

G09B19/04

G09B19/00 H

G06Q50/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022156849

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】宮路 大勇

(72)【発明者】

【氏名】若尾 あすか

(72)【発明者】

【氏名】上田 芳弘

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC34

5L050CC34

(57)【要約】

【課題】相手の反応に対応するスキルを向上させる。
【解決手段】話者が聴者に対して発した対象音声を、お手本となる理想音声と比較することによって前記対象音声を評価する音声評価部と、前記話者が話した内容に対する前記聴者の反応を示す反応情報に基づいて前記反応を推定する反応推定部と、前記音声評価部による前記対象音声の評価結果、及び前記反応推定部による前記反応の推定結果を用いて、前記話者の話術を評価する話術評価部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

話者が聴者に対して発した対象音声を、お手本となる理想音声と比較することによって前記対象音声を評価する音声評価部と、
前記話者が話した内容に対する前記聴者の反応を示す反応情報に基づいて前記反応を推定する反応推定部と、
前記音声評価部による前記対象音声の評価結果、及び前記反応推定部による前記反応の推定結果を用いて、前記話者の話術を評価する話術評価部と、
を備える学習装置。

【請求項2】

前記反応推定部は、前記聴者が存在する空間において集音された聴者音を前記反応情報として用いることによって前記反応を推定する、
請求項１に記載の学習装置。

【請求項3】

前記音声評価部は、学習用音声における音声特徴と、前記音声特徴を評価した評価結果とが対応づけられた教師データを用いて、入力された音声における前記音声特徴の良し悪しを推定するように学習された最適化モデルを用いて前記対象音声を評価する、
請求項１に記載の学習装置。

【請求項4】

前記音声評価部は、音声における話の論理展開に対応する特徴を前記音声特徴として、前記最適化モデルを用いて前記対象音声における話の論理展開の良し悪しを評価する、
請求項３に記載の学習装置。

【請求項5】

前記音声評価部は、音声における話すテンポに対応する特徴を前記音声特徴として、前記最適化モデルを用いて前記対象音声における話すテンポの良し悪しを評価する、
請求項３に記載の学習装置。

【請求項6】

前記音声評価部は、音声における話の抑揚に対応する特徴を前記音声特徴として、前記最適化モデルを用いて前記対象音声における抑揚の良し悪しを評価する、
請求項３に記載の学習装置。

【請求項7】

前記反応推定部は、前記聴者音に含まれる音声を音声認識することによって前記聴者が発した文言を抽出し、抽出した文言の内容に基づいて前記反応を推定する、
請求項２に記載の学習装置。

【請求項8】

前記反応推定部は、前記聴者音を周波数解析することによって前記聴者音に含まれる雑音レベルを算出し、算出した雑音レベルに基づいて前記反応を推定する、
請求項２に記載の学習装置。

【請求項9】

コンピュータが行う学習方法であって、
音声評価部が、話者が聴者に対して発した対象音声を、お手本となる理想音声と比較することによって前記対象音声を評価し、
反応推定部が、前記話者が話した内容に対する前記聴者の反応を示す反応情報に基づいて前記反応を推定し、
話術評価部が、前記音声評価部による前記対象音声の評価結果、及び前記反応推定部による前記反応の推定結果を用いて、前記話者の話術を評価する、
学習方法。

【請求項10】

コンピュータに、
話者が聴者に対して発した対象音声を、お手本となる理想音声と比較することによって前記対象音声を評価させ、
前記話者が話した内容に対する前記聴者の反応を示す反応情報に基づいて前記反応を推定させ、
前記対象音声の評価結果、及び前記反応の推定結果を用いて、前記話者の話術を評価させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習方法、及びプログラムに関する。

【背景技術】

【0002】

学習対象、例えば、絵画、習字、楽器演奏、歌唱、スポーツなどのスキルを向上させるための技術がある。この種の技術として、例えば、ユーザの行動とお手本の行動とを比較し、ユーザの行動がお手本に近づくよう助言する技術が知られている。特許文献１には、ユーザの行動内容に応じて助言内容を変化させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２１／２５１２２２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、お手本と一致する行動をしてもスキルが向上するとは限らない。特に、相手がいる場面では、その相手からの反応に対応するスキルが求められる。例えば、講義などにおいては聴者に内容をよく理解させるスキルが求められる。この場合、必ずしもお手本通りでなくとも聴者によって理解しやすい講義のほうがよいことが多い。特許文献１の技術では相手の反応を考慮した助言を行うことは想定されていないため、相手の反応に対応するスキルを向上させることが困難であった。

【0005】

本発明は、このような状況に鑑みてなされたものであり、相手の反応に対応するスキルを向上させることができる学習装置、学習方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の学習装置は、話者が聴者に対して発した対象音声を、お手本となる理想音声と比較することによって前記対象音声を評価する音声評価部と、前記話者が話した内容に対する前記聴者の反応を示す反応情報に基づいて前記反応を推定する反応推定部と、前記音声評価部による前記対象音声の評価結果、及び前記反応推定部による前記反応の推定結果を用いて、前記話者の話術を評価する話術評価部と、を備える。

【0007】

本発明の学習方法は、コンピュータが行う学習方法であって、音声評価部が、話者が聴者に対して発した対象音声を、お手本となる理想音声と比較することによって前記対象音声を評価し、反応推定部が、前記話者が話した内容に対する前記聴者の反応を示す反応情報に基づいて前記反応を推定し、話術評価部が、前記音声評価部による前記対象音声の評価結果、及び前記反応推定部による前記反応の推定結果を用いて、前記話者の話術を評価する、学習方法である。

【0008】

本発明のプログラムは、コンピュータに、話者が聴者に対して発した対象音声を、お手本となる理想音声と比較することによって前記対象音声を評価させ、前記話者が話した内容に対する前記聴者の反応を示す反応情報に基づいて前記反応を推定させ、前記対象音声の評価結果、及び前記反応の推定結果を用いて、前記話者の話術を評価させる、プログラムである。

【発明の効果】

【0009】

本発明によれば、相手の反応に対応するスキルを向上させることができる。

【図面の簡単な説明】

【0010】

【図1】実施形態における学習システム１の構成例を示すブロック図である。

【図2】実施形態の学習装置１０の構成例を示すブロック図である。

【図3】実施形態の学習装置１０が行う処理を説明するための図である。

【図4】実施形態の表示端末２０に表示される画像の例を示す図である。

【図5】実施形態の学習装置１０が行う処理を説明するための図である。

【図6】実施形態の表示端末２０に表示される画像の例を示す図である。

【図7】実施形態の学習装置１０が行う処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照して説明する。

【0012】

以下の説明では、学習システム１を用いて、講師Ｔに講義における話し方（話術）を学習させる場合を例に説明する。しかしながらこれに限定されることはない。少なくとも相手に話しかけることによってその相手に内容をよく理解させる側面を有するものであれば、任意の学習対象に学習システム１を適用することが可能である。

【0013】

例えば、コールセンタにおけるオペレータを対象とした電話対応業務の学習、討論会への参加者を対象とした討論のスキルアップ、ビジネススピーキングの習得、アナウンサー養成講座、コンサルタントを対象としたコンサル業務の学習など、様々なシーンに学習システム１を適用することが可能である。

【0014】

（学習システム１の構成について）
学習システム１は、ユーザに学習をさせるためのシステムである。図１は、実施形態による学習システム１の構成例を示すブロック図である。学習システム１は、例えば、学習装置１０と、表示端末２０と、マイクＭＣとを備える。

【0015】

この図では、学習システム１が、講師Ｔが生徒Ａに対面にて講義を行う教室等に設けられた場合の例を示しているが、これに限定されることはない。講師Ｔが、遠隔にて講義を行うオンライン講座等に学習システム１を適用することも可能である。また、生徒Ａは、１人であってもよいし、複数人であってもよい。また、講師Ｔについても同様に、講師Ｔが１人であってもよいし、複数人であってもよい。

【0016】

学習装置１０は、講師Ｔに話術を学習させるコンピュータである。学習装置１０は、講師Ｔが生徒Ａに話した音声の音情報を取得し、取得した音情報に基づいて講師Ｔの話術の評価を行う。学習装置１０は、評価結果を表示端末２０に送信する。

【0017】

表示端末２０は、ディスプレイなどの表示機能を有するコンピュータである。表示端末２０は、学習装置１０による評価内容を受信し、受信した内容を表示する。この図では、評価内容として、「声の大きさに注意しましょう…」とのコメントが表示された例が示されている。

【0018】

マイクＭＣは、音を集音するマイク（マイクロフォン）である。マイクＭＣは、例えば、講義が行われる教室に設けられ、講師Ｔが話す音声、及び生徒Ａから発せられる質問などの音声を集音する。マイクＭＣは、音声以外の音、例えば、生徒Ａが教科書を取り出したり、ページをめくったり、筆箱を開けたり、席を移動したりするような場合に発生する音を集音してもよい。マイクＭＣは、集音した音を学習装置１０に出力する。

【0019】

ここで、マイクＭＣは、複数設けられていてもよい。例えば、ピンマイクなど講師Ｔが身に着けることによって講師Ｔが話す音声のみを集音するマイクと、生徒Ａの音声などを集音するマイクとが設けられてもよい。

【0020】

或いは、オンライン講座等において、講師Ｔと生徒Ａとが物理的に離れた拠点にいる場合においては、それぞれの拠点に設けられたマイクＭＣ、例えば、オンライン講座に用いられるＰＣ（Personal Computer）、タブレット端末などに設けられた集音機能によって音が集音されるように構成されてもよい。

【0021】

（学習装置１０の構成について）
ここで、学習装置１０の構成について、図２を用いて説明する。図２は、実施形態による学習装置１０の構成例を示すブロック図である。学習装置１０は、例えば、クラウドサーバ、サーバ装置、ＰＣなどにより実現される。

【0022】

学習装置１０は、例えば、通信部１１と、記憶部１２と、制御部１３とを備える。通信部１１は、外部装置、ここではマイクＭＣ及び表示端末２０と通信を行う。

【0023】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部１２は、学習装置１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0024】

記憶部１２は、例えば、音声分析モデル１２０と、論理分析モデル１２１と、最適化モデル１２２と、反応推定モデル１２３とを備える。音声分析モデル１２０は、音声を分析するモデルであり、例えば、音声を音声認識によりテキスト化するプログラムである。論理分析モデル１２１は、文章を分析するモデルである。例えば、論理分析モデル１２１は、文章を入力とし、その文章を分析した結果を出力するプログラムである。例えば、論理分析モデル１２１は、形態素解析を行うことにより文章を単語やフレーズに分解し、文章にて用いられている特定の表現の出現頻度やその増減、及び複数の表現の関連性やその時系列の変化などを、文章を分析した結果として出力するプログラムである。

【0025】

最適化モデル１２２は、お手本と比較することにより評価対象である音声（対象音声）を評価するモデルである。例えば、最適化モデル１２２は、学習用音声における特徴と、その特徴を評価した評価結果とが対応づけられた教師データを用いて、入力された音声に対する評価を推定するように学習された学習済モデルである。音声における特徴（音声特徴）としては、例えば、声の高さ、声の大きさ、話すテンポ（速度）、抑揚のつけ方、活舌、論理展開、及びこれらの組合せ等のうち少なくとも何れか１つが用いられる。音声における特徴を評価する方法としては、お手本となる理想音声、理想的な音声、例えば、経験が豊かな講師などによる講義がなされた際に集音された音声と比較することによって、音声における特徴の良し悪しが評価される。

【0026】

例えば、音声における特徴として、声の高さを用いる場合、学習用音声における声の高さに対応する特徴と、その学習用音声における声の高さの良し悪しを評価した評価結果とが対応づけられた教師データを用いて機械学習が行われることによって、最適化モデル１２２が生成される。この場合、最適化モデル１２２は、音声における声の高さに対応する特徴が入力され、その声の高さに対する良し悪しを推定した結果を出力するように学習された学習済モデルである。

【0027】

例えば、音声における特徴として、声の大きさを用いる場合、学習用音声における声の大きさに対応する特徴と、その学習用音声における声の大きさの良し悪しを評価した評価結果とが対応づけられた教師データを用いて機械学習が行われることによって、最適化モデル１２２が生成される。この場合、最適化モデル１２２は、音声における声の大きさに対応する特徴が入力され、その声の大きさに対する良し悪しを推定した結果を出力するように学習された学習済モデルである。

【0028】

例えば、音声における特徴として、話すテンポを用いる場合、学習用音声における話すテンポに対応する特徴と、その学習用音声における話すテンポの良し悪しを評価した評価結果とが対応づけられた教師データを用いて機械学習が行われることによって、最適化モデル１２２が生成される。この場合、最適化モデル１２２は、音声における話すテンポに対応する特徴が入力され、その話すテンポに対する良し悪しを推定した結果を出力するように学習された学習済モデルである。

【0029】

例えば、音声における特徴として、抑揚を用いる場合、学習用音声における抑揚に対応する特徴と、その学習用音声における抑揚のつけ方の良し悪しを評価した評価結果とが対応づけられた教師データを用いて機械学習が行われることによって、最適化モデル１２２が生成される。この場合、最適化モデル１２２は、音声における話の抑揚に対応する特徴が入力され、その抑揚に対する良し悪しを推定した結果を出力するように学習された学習済モデルである。

【0030】

例えば、音声における特徴として、活舌を用いる場合、学習用音声における活舌に対応する特徴と、その学習用音声における活舌の良し悪しを評価した評価結果とが対応づけられた教師データを用いて機械学習が行われることによって、最適化モデル１２２が生成される。この場合、最適化モデル１２２は、音声における活舌に対応する特徴が入力され、その活舌に対する良し悪しを推定した結果を出力するように学習された学習済モデルである。

【0031】

例えば、音声認識から得られる文章の論理展開を用いる場合、学習用音声における論理分析の結果と、その学習用音声における論理展開の良し悪しを評価した評価結果とが対応づけられた教師データを用いて機械学習が行われることによって、最適化モデル１２２が生成される。論理分析の結果としては、例えば、音声に対して音声分析モデル１２０を用いた音声認識が行われることによってテキスト化された文章を、論理分析モデル１２１を用いた論理分析が行われることによって取得することが可能である。この場合、最適化モデル１２２は、音声における論理分析の結果が入力され、その論理分析の結果に基づく論理展開の良し悪しを推定した結果を出力するように学習された学習済モデルである。

【0032】

反応推定モデル１２３は、聴者に対して何らかのスピーチが行われた空間において集音された音に基づいて、その聴者の反応を推定するモデルである。反応推定モデル１２３は、例えば、学習用音声と、その学習用音声が示している反応とが対応づけられた教師データを用いて、入力された音声に対する反応を推定するように学習された学習済モデルである。

【0033】

ここでの教師データでは、例えば、学習用音声に肯定的なフレーズが多数含まれている場合、聴者が肯定的な反応（良い反応）を示していると評価される。一方、学習用音声に否定的なフレーズが多数含まれている場合、聴者が否定的な反応（悪い反応）を示していると評価される。何をもって肯定的であるとするかは任意に決定されてよい。

【0034】

例えば、講師Ｔが講義を行う場合、聴者である生徒Ａが講義の内容をよく理解することができた場合には、肯定的な反応を示すと考えられる。この場合、生徒Ａは肯定的なフレーズ、例えば、「わかった」「なるほど」等の肯定的な文言を発する。反応推定モデル１２３は、集音した音に含まれる音声に、このような肯定的なフレーズが含まれていた場合、生徒Ａが肯定的な反応を示していると推定する。

【0035】

一方、生徒Ａが講義の内容をよく理解することができなかった場合には、肯定的でない反応、つまり否定的な反応を示すと考えられる。この場合、生徒Ａは否定的なフレーズ、例えば、「わからない」、「なになに」等の否定的な文言を発する。反応推定モデル１２３は、集音した音に含まれる音声に、このような否定的なフレーズが含まれていた場合、生徒Ａが否定的な反応を示していると推定する。

【0036】

或いは、反応推定モデル１２３は、集音された音に含まれる雑音レベルに応じて、聴者が肯定的な反応を示しているか否かを推定するプログラムであってもよい。反応推定モデル１２３は、例えば、周波数解析をすることによって、集音された音の雑音レベルを算出する。反応推定部１３２は、算出した雑音レベルが特定の閾値未満である場合、音が肯定的な反応（良い反応）を示していると推定する。一方、反応推定部１３２は、算出した雑音レベルが特定の閾値以上である場合、音が否定的な反応（悪い反応）を示していると推定する。

【0037】

例えば、講義が行われた場合、生徒Ａが講義の内容をよく理解することができた場合には、生徒Ａは集中しており教室は静まり返っていると考えられる。この場合、集音された音に含まれる雑音レベルは小さくなる。このような場合、反応推定モデル１２３は、生徒Ａが肯定的な反応を示していると推定する。一方、生徒Ａが講義の内容をよく理解することができなかった場合には、生徒Ａは集中しておらずザワザワして落ち着きがないと考えられる。この場合、集音された音に含まれる雑音レベルは大きくなる。このような場合、反応推定モデル１２３は、生徒Ａが否定的な反応を示していると推定する。

【0038】

なお、最適化モデル１２２における学習済モデルは、深層学習モデルを用いて学習されたモデルであっても良い。また、最適化モデル１２２における学習済モデルは、非深層学習型で非線形の時系列データに対して予測可能なアルゴリズムを使用して学習することで得られるモデルであってもよく、この場合、学習時間を短縮させ、システムの応答のたびに、その時点での最新の情報を使い、ＡＩモデルを作成できる。これにより、リアルタイムで精度の高い予測が可能となる。また、反応推定モデル１２３における学習済モデルについても同様に、深層学習モデルを用いて学習されたモデルであっても良いし、非深層学習型で非線形の時系列データに対して予測可能なアルゴリズムを使用して学習することで得られるモデルであってもよい。

【0039】

制御部１３は、学習装置１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。制御部１３は、例えば、取得部１３０と、音声評価部１３１と、反応推定部１３２と、話術評価部１３３と、コメント生成部１３４と、出力部１３５とを備える。

【0040】

取得部１３０は、種々の情報を取得する。例えば、取得部１３０は、マイクＭＣにより集音された音の音情報を取得する。取得部１３０は、取得した音情報を、音声評価部１３１及び反応推定部１３２に出力する。

【0041】

音声評価部１３１は、講師Ｔの音声における特徴を評価する。音声における特徴は、例えば、声の高さ、声の大きさ、話すテンポ、抑揚のつけ方、活舌、論理展開、及びこれらの組合せ等である。音声評価部１３１は、講師Ｔの音声を、お手本となる理想音声と比較することによって講師Ｔの音声における特徴を評価する。お手本となる理想音声とは、例えば、経験が豊かな講師などによる講義がなされた際に集音された音声であり、多くの人間によって良いと評価された音声である。

【0042】

音声評価部１３１は、まず、取得部１３０から音情報を取得し、取得した音情報から講師Ｔが発した音声を抽出する。音声評価部１３１は、例えば、音を周波数解析することによって講師Ｔが発した音声を抽出する。

【0043】

例えば、音声における特徴として、声の高さを用いる場合、音声評価部１３１は、講師Ｔの音声に周波数解析を行う等して、声の高さに対応する特徴を算出する。音声評価部１３１は、算出した声の高さに対応する特徴を、最適化モデル１２２に入力することによって得られる出力を、声の高さの良し悪しを評価した評価結果とする。この場合、最適化モデル１２２は、声の高さに対応する特徴を入力とし、その声の高さの良し悪しを推定するように学習された学習済モデルである。

【0044】

例えば、音声における特徴として、声の大きさを用いる場合、音声評価部１３１は、講師Ｔの音声に対応する電気信号の振幅等に基づいて、声の大きさに対応する特徴を算出する。音声評価部１３１は、算出した声の大きさに対応する特徴を、最適化モデル１２２に入力することによって得られる出力を、声の大きさの良し悪しを評価した評価結果とする。この場合、最適化モデル１２２は、声の大きさに対応する特徴を入力とし、その声の大きさの良し悪しを推定するように学習された学習済モデルである。

【0045】

例えば、音声における特徴として、話すテンポを用いる場合、音声評価部１３１は、講師Ｔの音声に基づいて、話すテンポに対応する特徴を算出する。例えば、音声評価部１３１は、音声分析モデル１２０を用いて音声を音声認識することによって、講師Ｔが話した内容をテキスト化する。音声評価部１３１は、テキスト化した文章を、論理分析モデル１２１を用いて形態素解析を行い、文章を品詞ごとに分解する。音声評価部１３１は、文章に含まれる単語やフレーズの数を算出し、算出した数と音声の発声時間とを用いて、話す速度を算出する。音声評価部１３１は、算出した速度を話すテンポに対応する特徴とする。音声評価部１３１は、話すテンポに対応する特徴を、最適化モデル１２２に入力することによって得られる出力を、話すテンポの良し悪しを評価した評価結果とする。この場合、最適化モデル１２２は、話すテンポに対応する特徴を入力とし、その話すテンポの良し悪しを推定するように学習された学習済モデルである。

【0046】

例えば、音声における特徴として、抑揚を用いる場合、音声評価部１３１は、講師Ｔの音声に基づいて、抑揚のつけ方に対応する特徴を算出する。ここでの抑揚は、声の高さ、大きさ、速度、及びこれらの組合せのうち少なくとも１つを含む音声の特性における時系列変化である。

【0047】

例えば、抑揚として、声の高さの時系列変化を用いる場合、音声評価部１３１は、音声を特定の時間区分（例えば、１０分間）に区切り、時間区分ごとに周波数解析を行い、時間区分ごとの声の高さを算出する。音声評価部１３１は算出した時間区分ごとの声の高さにおける時系列変化を、抑揚のつけ方に対応する特徴とする。音声評価部１３１は、抑揚のつけ方に対応する特徴を、最適化モデル１２２に入力することによって得られる出力を、抑揚の良し悪しを評価した評価結果とする。この場合、最適化モデル１２２は、抑揚のつけ方に対応する特徴を入力とし、その抑揚の良し悪しを推定するように学習された学習済モデルである。抑揚として、他の特性、例えば、声の大きさ、速度等における時系列変化を用いる場合についても同様の方法により評価することが可能である。

【0048】

例えば、音声における特徴として、活舌を用いる場合、音声評価部１３１は、講師Ｔの音声に基づいて、活舌に対応する特徴を算出する。例えば、音声評価部１３１は、音声分析モデル１２０を用いて音声を音声認識することによって、講師Ｔが話した内容をテキスト化する。この場合において、音声評価部１３１は、音声認識において、予測変換を実行する前のテキスト（以下、第１テキスト）と、予測変換を実行した後のテキスト（以下、第２テキスト）の２つのテキストを生成する。ここでの予測変換は、第１テキストの文字列に誤りが含まれる場合などにおいて、辞書などを用いて正しい文字列を予測し、誤りを含む第１テキストを、正しい文字列である第２テキストに変換する処理である。音声評価部１３１は、第１テキストと第２テキストとを比較した結果を、活舌に対応する特徴として算出する。音声評価部１３１は、活舌に対応する特徴を、最適化モデル１２２に入力することによって得られる出力を、活舌の良し悪しを評価した評価結果とする。この場合、最適化モデル１２２は、活舌に対応する特徴を入力とし、その活舌の良し悪しを推定するように学習された学習済モデルである。

【0049】

例えば、音声認識から得られる文章の論理展開を用いる場合、音声評価部１３１は、講師Ｔの音声に基づいて、論理展開に対応する特徴を算出する。例えば、音声評価部１３１は、音声分析モデル１２０を用いて音声を音声認識することによって、講師Ｔが話した内容をテキスト化する。音声評価部１３１は、論理分析モデル１２１を用いてテキスト化した文章の論理分析を行う。音声評価部１３１は、論理分析した結果を、論理展開に対応する特徴とする。音声評価部１３１は、論理展開に対応する特徴を、最適化モデル１２２に入力することによって得られる出力を、論理展開の良し悪しを評価した評価結果とする。この場合、最適化モデル１２２は、論理展開に対応する特徴、つまり論理分析した結果を入力とし、その論理展開の良し悪しを推定するように学習された学習済モデルである。

【0050】

反応推定部１３２は、生徒Ａがいる教室（聴者が存在する空間）において集音された音に基づいて、講師Ｔが話した内容に対する生徒Ａの反応を推定する。反応推定部１３２は、例えば、取得部１３０から音情報を取得し、取得した音情報から講師Ｔが発した音声を除いた音を抽出する。音声評価部１３１は、例えば、音を周波数解析することによって講師Ｔが発した音声を抽出し、もとの音の周波数成分から、講師Ｔの音声として抽出した周波数成分を除算することにより、講師Ｔが発した音声を除いた音を、聴者音として抽出する。

【0051】

反応推定部１３２は、このようにして抽出した聴者音に含まれる音声、つまり生徒Ａが発した音声に基づいて、生徒Ａの反応を推定する。例えば、反応推定部１３２は、音声を音声認識することによってテキスト化する。反応推定部１３２は、テキスト化した文章から、論理分析モデル１２１を用いて単語やフレーズを抽出する。反応推定部１３２は、抽出した単語やフレーズを、反応推定モデル１２３に入力することによって得られる出力を、音声から推定される反応とする。この場合、反応推定モデル１２３は、単語やフレーズと反応とが対応づけられたデータを教師データとして音声に含まれる単語やフレーズに基づいて反応が肯定的なものか否定的なものかを推定するように学習された学習済モデルである。

【0052】

或いは、反応推定部１３２は、反応推定モデル１２３は、聴者音に含まれる音声の雑音レベルに基づいて生徒Ａの反応を推定するようにしてもよい。この場合、反応推定部１３２は、音声を、反応推定部１３２に入力することによって得られる出力を、音声を評価した評価結果とする。この場合、反応推定モデル１２３は、周波数解析をすることによって、集音された音の雑音レベルを算出し、算出した雑音レベルに応じて反応を推定するモデルである。

【0053】

話術評価部１３３は、音声評価部１３１による対象音声における音声を評価した評価結果、及び反応推定部１３２による対象音声を聴いた生徒Ａからの反応を推定した推定結果を用いて、講師Ｔの話術を評価する。話術評価部１３３は、例えば、評価結果に基づく点数（以下、第１点数という）、及び推定結果に基づく点数（第２点数という）を算出し、算出した第１点数と第２点数とを合成した総合点数に基づいて講師Ｔの話術を評価する。話術評価部１３３は、例えば、話の論理分析、テンポ、抑揚、及び活舌のそれぞれの評価結果に対応する点数に重みづけを行い、重みづけした点数を加算することによって第１点数を決定する。また、話術評価部１３３は、聴者音に含まれる音声、及び雑音レベルのそれぞれに基づいて推定した反応に対応する点数に重みづけを行い、重みづけした点数を加算することによって第２点数を決定する。話術評価部１３３は、第１点数と第２点数とを加算した値を講師Ｔの話術を評価した点数とする。ここで、話術評価部１３３は、第１点数と第２点数とを加算する際に重みづけ加算を行うようにしてもよい。なお、重みづけを行う場合における重みづけ値は、講師Ｔが話す内容や、生徒Ａの属性などに応じて任意に決定されてよい。

【0054】

コメント生成部１３４は、講師Ｔに対するコメントを生成する。コメント生成部１３４は、音声評価部１３１による対象音声における音声を評価した評価結果、及び反応推定部１３２による対象音声を聴いた生徒Ａからの反応を推定した推定結果のそれぞれに応じたコメントを生成する。コメント生成部１３４は、例えば、評価結果に対応するコメントが記憶された音声評価コメントテーブルを用いて、評価結果に応じたコメントを生成する。また、コメント生成部１３４は、推定結果に対応するコメントが記憶された反応推定コメントテーブルを用いて、推定結果に応じたコメントを生成する。この場合、音声評価コメントテーブル、及び反応推定コメントテーブルは、例えば、記憶部１２に記憶されている。また、コメント生成部１３４は、話術評価部１３３による講師Ｔの話術を評価した評価結果に基づくコメントを生成するようにしてもよい。講師Ｔの話術を評価した評価結果に基づくコメントを生成する方法は、講師Ｔにおける音声の評価結果等に基づいてコメントを生成する方法と同様の方法を採用することができる。

【0055】

出力部１３５は、講師Ｔに対するコメントを、表示端末２０に出力する。出力部１３５は、音声評価部１３１による音声を評価した評価結果、反応推定部１３２による反応を推定した推定結果、及び話術評価部１３３による話術を評価した評価結果を、表示端末２０に出力するようにしてもよい。

【0056】

ここで、講師Ｔの音声を評価する処理について、図３及び図４を用いて説明する。図３は、実施形態の学習装置１０が行う処理を説明するための図である。図４は、実施形態の表示端末２０に表示される画像の例を示す図である。

【0057】

図３には、講師Ｔの音声を評価する際に、評価対象とする項目が示されている。図３に示すように、音声評価部１３１は、講師Ｔの音声を用いて、話すテンポ、抑揚、活舌、及び論理展開のそれぞれを評価の対象とする。

【0058】

図４には、講師Ｔ（Ｔｅａｃｈｅｒ）の音声が評価された評価結果が表示端末２０に表示された例が示されている。図４に示すように、表示端末２０は、学習装置１０から通知された情報に基づく表示を行う。例えば、表示端末２０は、講師Ｔの音声を評価した結果として、講師Ｔの声の高さ、大きさ、及び話すテンポ等のそれぞれの時系列変化を表示する。また、講師Ｔの音声評価の結果を、良い（ｇｏｏｄ）から悪い（ｂａｄ）までを４段階に分けて評価した評価結果を、時系列変化を表示する。また、表示端末２０は、「テンポの乱れに注意して授業を進めましょう」とのコメントを表示する。ここで、学習装置１０は、講師Ｔの音声を評価した根拠を、表示端末２０に表示させるようにしてもよい。この場合、例えば、学習装置１０は、Ｅｘｐｌａｉｎａｂｌｅ ＡＩ（説明可能なＡＩ）などと称される手法を用いて、モデルに入力したデータが出力に寄与した度合（寄与度）を推定する。例えば、音声評価の結果が良い場合において、その評価にテンポが最も寄与していると推定された場合、学習装置１０は、テンポの良さが、評価が良いことの主たる要因である旨を、表示端末２０に表示させる。

【0059】

また、表示端末２０は、講師Ｔの音声の特性、ここでは、声の高さ、声の大きさ、及び話すテンポ、における今後の変化を予測した予測結果を表示するようにしてもよい。この場合、学習装置１０の音声評価部１３１は、最適化モデル１２２を用いて、講師Ｔの音声の特性における今後の変化を予測する。この場合、最適化モデル１２２は、学習用音声における特性の時系列変化を学習することによって、入力された音声の時系列変化から今後の特性の変化を推定するように学習された学習済モデルである。

【0060】

ここで、生徒Ａの反応を推定する処理について、図５及び図６を用いて説明する。図５は、実施形態の学習装置１０が行う処理を説明するための図である。図６は、実施形態の表示端末２０に表示される画像の例を示す図である。

【0061】

図５には、生徒Ａの反応を推定する際に、反応を推定するための要素とする項目が示されている。図５に示すように、反応推定部１３２は、聴者音を用いて、雑音レベル、肯定的な内容を発話する音声の回数、及び否定的な内容を発話する音声の回数それぞれを評価の対象とする。

【0062】

また、学習装置１０は、生徒Ａの様子が撮像された映像、チャットなどで生徒Ａが質問などを行った際のログ、生徒Ａの脳波や脈拍などの生体情報、及び確認テストの結果などを、反応を推定するための要素としてもよい。

【0063】

例えば、講義がオンラインで行われた場合、オンラインで講義を行うためのデバイス、例えば、生徒Ａのノートパソコンに設けられたカメラなどによって撮像された映像を用いて、学習装置１０は生徒Ａの反応を推定するようにしてもよい。この場合、例えば、学習装置１０は、生徒Ａがうなずく回数に基づいて反応を推定する。学習装置１０は、映像に含まれるフレーム画像に物体認識を行う等して人間の顔部分が撮像された領域を抽出し、抽出した顔部分における時系列変化に基づいて、生徒Ａがうなずいたか否かを判定する。例えば、学習装置１０は、単位時間当たりにうなずいた回数が特定の閾値以上である場合、肯定的な反応（良い反応）を示していると推定する。一方、反応推定部１３２は、単位時間当たりにうなずいた回数が特定の閾値未満である場合、否定的な反応（悪い反応）を示していると推定する。

【0064】

また、講義がオンラインで行われた場合、学習装置１０は、生徒Ａから寄せられたチャットなどのログに基づいて反応を推定する。例えば、学習装置１０は、ログにて示された文章に、肯定的な文言が含まれている場合、肯定的な反応（良い反応）を示していると推定する。一方、反応推定部１３２は、ログにて示された文章に、否定的な文言が含まれている場合、否定的な反応（悪い反応）を示していると推定する。

【0065】

また、学習装置１０は、生徒Ａが装着したウェアラブルデバイスなどから取得した生徒の生体情報に基づいて、生徒Ａの反応を推定するようにしてもよい。この場合、例えば、学習装置１０は、生体情報を反応推定モデル１２３に入力することによって得られる出力を、反応を推定した推定結果とする。この場合、反応推定モデル１２３は、生体情報と、その生体情報が良い反応を示している度合とが対応づけられたデータを教師データとして生体情報と反応との対応関係を学習することによって、入力された生体情報に対する反応を推定するように学習された学習済モデルである。

【0066】

また、学習装置１０は、生徒Ａが受けた確認テストの履歴などの結果に基づいて、生徒Ａの反応を推定するようにしてもよい。この場合、例えば、学習装置１０は、初回に受けら確認テストの結果を基準として、その後、講義が行われた後に受けた確認テストの結果が学力の向上を示しているか否かに応じて生徒Ａの反応を推定する。例えば、学習装置１０は、講義が行われた後に受けた確認テストの結果が学力の向上を示している場合、生徒が講義をよく理解できたことが示されており、肯定的な反応（良い反応）を示していると推定する。一方、学習装置１０は、講義が行われた後に受けた確認テストの結果が学力の低下を示している場合、生徒が講義をよく理解できていないことが示されており、否定的な反応（悪い反応）を示していると推定する。

【0067】

図６には、生徒Ａ（Ａｕｄｉｅｎｃｅ）の反応が推定された推定結果が表示端末２０に表示された例が示されている。図６に示すように、表示端末２０は、学習装置１０から通知された情報に基づく表示を行う。例えば、表示端末２０は、生徒Ａの反応を推定した結果として、生徒Ａの集中力、及びうなずきの回数のそれぞれの時系列変化を表示する。学習装置１０は、例えば、生徒Ａが肯定的な反応を示している度合を、集中力とする。

【0068】

また、生徒Ａの反応を推定した結果を、良い（ｇｏｏｄ）から悪い（ｂａｄ）までを４段階に分けた結果を、時系列変化を表示する。また、表示端末２０は、「うなずきは増加していますが…」とのコメントを表示する。ここで、学習装置１０は、生徒Ａの反応を推定した根拠を、表示端末２０に表示させるようにしてもよい。この場合、講師Ｔの音声評価時と同様に、学習装置１０は、Ｅｘｐｌａｉｎａｂｌｅ ＡＩ（説明可能なＡＩ）などと称される手法を用いて寄与度を推定する。例えば、生徒Ａの反応が良い場合において、集中力が最も寄与していると推定された場合、学習装置１０は、集中力の高さが、反応が良いと推定された主たる要因である旨を、表示端末２０に表示させる。

【0069】

また、表示端末２０は、今後の生徒Ａの反応の変化、ここでは、集中力及びうなずき合回数の変化、を予測した予測結果を表示するようにしてもよい。この場合、学習装置１０の反応推定部１３２は、反応推定モデル１２３を用いて、生徒Ａにおける今後の反応の変化を予測する。この場合、反応推定モデル１２３は、学習用環境音の時系列変化を学習することによって、入力された音の時系列変化から今後の反応の変化を推定するように学習された学習済モデルである。

【0070】

（学習装置１０が行う処理について）
ここで、学習装置１０が行う処理について、図７を用いて説明する。図７は、実施形態の学習装置１０が行う処理の流れを示すフローチャートである。

【0071】

まず、学習装置１０は、音声を取得する（ステップＳ１０）。学習装置１０は、講師Ｔが発話した音声、及びその講義を受けている生徒Ａがいる空間において集音された聴者音を含む音声を取得する。

【0072】

学習装置１０は、ステップＳ１０で取得した音声から、講師Ｔが発話した音声を対象音声として抽出する（ステップＳ１１）。学習装置１０は、対象音声を分析する（ステップＳ１２）。学習装置１０は、例えば、対象音声を音声認識することによって、対象音声をテキスト化する。学習装置１０は、テキスト化した文章を用いて、話すテンポや抑揚などを音声特徴として抽出する。また、学習装置１０は、対象音声を論理分析する（ステップＳ１３）。学習装置１０は、対象音声を音声認識することによってテキスト化した文章を用いて、その文章に含まれる特定の表現の出現頻度やその増減、及び複数の表現の関連性やその時系列の変化などを算出することによって、対象音声を論理分析した結果を、音声特徴として抽出する。学習装置１０は、対象音声における音声を評価する（ステップＳ１４）。学習装置１０は、音声特徴を最適化モデル１２２に入力することによって得られる出力を、音声を評価した評価結果とする。この場合、最適化モデル１２２は、音声特徴の良し悪しを評価する学習済モデルである。また、学習装置１０は、論理分析の結果を最適化モデル１２２に入力することによって得られる出力を、論理展開の良し悪しを評価した評価結果とする。この場合、最適化モデル１２２は、論理分析の結果を基に論理展開の良し悪しを評価する学習済モデルである。

【0073】

また、学習装置１０は、ステップＳ１０で取得した音声から、生徒Ａが発話した音声を抽出する（ステップＳ１５）。例えば、学習装置１０は、ステップＳ１０で取得した音声から、ステップＳ１１で抽出した講師Ｔの音声を除いた音を、生徒Ａが発話した音声を含む聴者音として抽出する。学習装置１０は、聴者音に基づいて、生徒Ａの反応を推定する（ステップＳ１６）。学習装置１０は、聴者音に含まれる音声を音声認識することによってテキスト化した文章から抽出した単語やフレーズを、反応推定モデル１２３に入力することによって得られる出力を、音声から推定される反応とする。この場合、反応推定モデル１２３は、音声から抽出した単語やフレーズを基に、反応を推定する学習済モデルである。また、学習装置１０は、聴者音に含まれる雑音レベルに基づいての反応を推定するようにしてもよい。

【0074】

学習装置１０は、講師Ｔの話術を評価する（ステップＳ１７）。学習装置１０は、ステップＳ１４における講師Ｔの音声を評価した評価結果、及びステップＳ１６における生徒Ａの反応を推定した推定結果の両方を用いて、講師Ｔの話術を評価する。学習装置１０は、コメントを生成し（ステップＳ１８）、生成したコメント等を表示端末２０に出力する（ステップＳ１９）。

【0075】

以上説明したように、実施形態の学習装置１０は、音声評価部１３１と反応推定部１３２と、話術評価部１３３とを備える。音声評価部１３１は、対象音声を評価する。対象音声は、講師Ｔ（話者）が生徒Ａ（聴者）に対して発した音声である。音声評価部１３１は、対象音声を、お手本となる理想音声と比較することによって評価する。反応推定部１３２は、反応情報に基づいて、講師Ｔが話した内容に対する生徒Ａの反応を推定する。反応情報は、講師Ｔが話した内容に対する生徒Ａの反応を示す情報である。反応情報は、例えば、聴者音である。聴者音は、生徒Ａが存在する空間において集音された音である。反応情報として、生徒Ａの様子が撮像された映像、チャットなどで生徒Ａが質問などを行った際のログ、生徒Ａの脳波や脈拍などの生体情報、及び確認テストの結果などが用いられてもよい。話術評価部１３３は、音声評価部１３１による対象音声の評価結果、及び、反応推定部１３２による反応の推定結果を用いて、講師Ｔの話術を評価する。

【0076】

これにより、実施形態の学習装置１０では、講師Ｔがお手本通りに講義を行ったかだけではなく、講義を聴講している生徒Ａの反応を考慮して、講師Ｔの話術を評価することができる。したがって、講師Ｔは、生徒Ａの反応を把握することができ、どの様に講義を行えば反応が良くなるかを試行錯誤する等して相手の反応に対応するスキルを向上させることができる。

【0077】

また、実施形態の学習装置１０では、音声評価部１３１は、最適化モデル１２２を用いて、対象音声における音声特徴を評価する。音声特徴は、例えば、声の高さ、声の大きさ、話すテンポ（速度）、抑揚のつけ方、活舌、論理展開、及びこれらの組合せ等のうち少なくとも何れか１つである。最適化モデル１２２は、学習用音声における音声特徴と、その音声特徴を評価した評価結果とが対応づけられた教師データを用いて、入力された音声における音声特徴の良し悪しを推定するように学習された学習済モデルである。これにより、実施形態の学習装置１０では、学習済モデルを用いて対象音声における音声特徴を評価することができ、学習済モデルに情報を入力するという簡単な方法で対象音声の音声特徴を評価することができる。

【0078】

また、実施形態の学習装置１０では、音声評価部１３１は、音声における話の論理展開に対応する特徴を音声特徴として、最適化モデル１２２を用いて、対象音声における話の論理展開の良し悪しを評価する。この場合、最適化モデル１２２は、学習用音声を音声認識して得られる文を論理分析した結果と、その論理分析した結果に基づいて論理展開の良し悪しを評価した評価結果とが対応づけられた教師データを学習することによって、入力された論理分析の結果に基づいて論理展開の良し悪しを推定するように学習されたモデルである。これにより、実施形態の学習装置１０では、対象音声に対応する講義における論理展開の良し悪しを評価することができる。

【0079】

また、実施形態の学習装置１０では、音声評価部１３１は、音声における話すテンポに対応する特徴を音声特徴として、最適化モデル１２２を用いて、対象音声における話すテンポの良し悪しを評価する。この場合、最適化モデル１２２は、音声評価部１３１は、最適化モデル１２２を用いて、対象音声における話すテンポの良し悪しを評価する。音声評価部１３１は、学習用音声における話すテンポに対応する特徴と、その話すテンポを評価した評価結果とが対応づけられた教師データを学習することによって、入力されたテンポを示す特徴に基づいて、そのテンポの良し悪しを推定するように学習されたモデルである。これにより、実施形態の学習装置１０では、対象音声に対応する講義における話のテンポの良し悪しを評価することができる。

【0080】

また、実施形態の学習装置１０では、音声評価部１３１は、音声における話の抑揚に対応する特徴を音声特徴として、最適化モデル１２２を用いて、対象音声における話の抑揚の良し悪しを評価する。この場合、最適化モデル１２２は、学習用音声における話の抑揚に対応する特徴と、その抑揚を評価した評価結果とが対応づけられた教師データを用いて、入力された音声における話の抑揚に対する評価を推定するように学習されたモデルである。これにより、実施形態の学習装置１０では、対象音声に対応する講義における抑揚のつけ方が適切であるか否かに応じた評価を行うことができる。

【0081】

また、実施形態の学習装置１０では、反応推定部１３２は、聴者音に含まれる音声を音声認識することによって生徒Ａが発した文言を抽出し、抽出した文言の内容に基づいて、反応を推定する。これにより、実施形態の学習装置１０では、生徒Ａが発した単語やフレーズに応じて反応を推定することができる。

【0082】

また、実施形態の学習装置１０では、反応推定部１３２は、聴者音を周波数解析することによって聴者音に含まれる雑音レベルを算出し、算出した雑音レベルに基づいて反応を推定する。これにより、実施形態の学習装置１０では、生徒Ａにより明確発話がなされていない場合であっても、教室全体がザワザワしているような落ち着かない集中力を欠いた度合に応じて反応を推定することができる。

【0083】

上述した実施形態における学習システム１及び学習装置１０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0084】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0085】

１…学習システム
１０…学習装置
１３０…取得部
１３１…音声評価部
１３２…反応推定部
１３３…話術評価部
１３４…コメント生成部
１３５…出力部
２０…表示端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】