知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161861
(43)【公開日】2024-11-20
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
G09B 19/04 20060101AFI20241113BHJP
G10L 25/51 20130101ALI20241113BHJP
【ＦＩ】
G09B19/04
G10L25/51
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023077516
(22)【出願日】2023-05-09
(11)【特許番号】
(45)【特許公報発行日】2024-01-30
(31)【優先権主張番号】18/144,623
(32)【優先日】2023-05-08
(33)【優先権主張国・地域又は機関】US
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ｈｔｔｐｓ：／／ｗｗｗ．ｇｏｒｉｌ．ｊｐ
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／＠ｇｏｒｉｌ５６９／ａｂｏｕｔ
(71)【出願人】
【識別番号】518390309
【氏名又は名称】ムーン クリエイティブ ラボ インク．
【氏名又は名称原語表記】Ｍｏｏｎ Ｃｒｅａｔｉｖｅ Ｌａｂ Ｉｎｃ．
(74)【代理人】
【識別番号】110002848
【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所
(72)【発明者】
【氏名】ニック シューマン
(72)【発明者】
【氏名】ダニエル ブレナーズ
(72)【発明者】
【氏名】ブライアン マ
(72)【発明者】
【氏名】マテウス レゼンデ
(72)【発明者】
【氏名】ジャスティン チェン
(57)【要約】
【課題】言語学習を行うユーザを適切にサポートする情報処理装置及び情報処理方法等の提供。
【解決手段】 情報処理装置は、第１言語の学習を行うユーザの音声情報を取得する音声情報取得部と、音声情報の解析処理に基づいてユーザの発声状態を推定する解析処理部と、推定された発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する処理を行う表示処理部と、を含み、表示処理部は、第１言語における第１の音を発音する際の発声状態に基づいて特定される第１特徴点、及び、第１言語とは異なる第２言語において、第１の音に類似する第２の音を発音する際の発声状態に基づいて特定される第２特徴点を、複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う。
【選択図】図２
【解決手段】 情報処理装置は、第１言語の学習を行うユーザの音声情報を取得する音声情報取得部と、音声情報の解析処理に基づいてユーザの発声状態を推定する解析処理部と、推定された発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する処理を行う表示処理部と、を含み、表示処理部は、第１言語における第１の音を発音する際の発声状態に基づいて特定される第１特徴点、及び、第１言語とは異なる第２言語において、第１の音に類似する第２の音を発音する際の発声状態に基づいて特定される第２特徴点を、複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１言語の学習を行うユーザの音声情報を取得する音声情報取得部と、
前記音声情報の解析処理に基づいて、前記ユーザの顎の状態及び舌の状態を表す発声状態を推定する解析処理部と、
推定された前記発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する処理を行う表示処理部と、
を含み、
前記表示処理部は、
前記第１言語における第１の音を発音する際の前記発声状態に基づいて特定される第１特徴点、及び、前記第１言語とは異なる第２言語において、前記第１の音に類似する第２の音を発音する際の前記発声状態に基づいて特定される第２特徴点を、前記複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う情報処理装置。
前記音声情報の解析処理に基づいて、前記ユーザの顎の状態及び舌の状態を表す発声状態を推定する解析処理部と、
推定された前記発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する処理を行う表示処理部と、
を含み、
前記表示処理部は、
前記第１言語における第１の音を発音する際の前記発声状態に基づいて特定される第１特徴点、及び、前記第１言語とは異なる第２言語において、前記第１の音に類似する第２の音を発音する際の前記発声状態に基づいて特定される第２特徴点を、前記複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う情報処理装置。
【請求項2】
請求項１において、
前記表示処理部は、
前記解析処理部によって推定された前記発声状態と、前記第１特徴点に対応する前記発声状態との類似度が所定閾値以上である場合と、前記類似度が前記所定閾値未満である場合とで、表示態様を変更する処理を行う情報処理装置。
前記表示処理部は、
前記解析処理部によって推定された前記発声状態と、前記第１特徴点に対応する前記発声状態との類似度が所定閾値以上である場合と、前記類似度が前記所定閾値未満である場合とで、表示態様を変更する処理を行う情報処理装置。
【請求項3】
請求項２において、
前記アニメーション表示は、人物の顎及び舌を含む頭部を表示する画面であり、
前記表示処理部は、
前記類似度が前記所定閾値以上である場合と、前記所定閾値未満である場合とで、前記アニメーション表示される人物の表情を変更する処理を行う情報処理装置。
前記アニメーション表示は、人物の顎及び舌を含む頭部を表示する画面であり、
前記表示処理部は、
前記類似度が前記所定閾値以上である場合と、前記所定閾値未満である場合とで、前記アニメーション表示される人物の表情を変更する処理を行う情報処理装置。
【請求項4】
請求項１において、
前記表示処理部は、
前記解析処理部によって推定された前記発声状態に基づいて特定される特徴点を、前記アニメーション表示に重畳して表示する処理を行う情報処理装置。
前記表示処理部は、
前記解析処理部によって推定された前記発声状態に基づいて特定される特徴点を、前記アニメーション表示に重畳して表示する処理を行う情報処理装置。
【請求項5】
請求項１乃至４の何れか一項において、
前記表示処理部は、
前記第１言語において、前記第２言語の前記第２の音に類似する音として、前記第１の音及び第３の音がある場合に、前記第１の音を含む単語、及び、前記第３の音を含む単語を含む複数の単語を連続的に前記ユーザに発声させる指示画面を表示する処理を行う情報処理装置。
前記表示処理部は、
前記第１言語において、前記第２言語の前記第２の音に類似する音として、前記第１の音及び第３の音がある場合に、前記第１の音を含む単語、及び、前記第３の音を含む単語を含む複数の単語を連続的に前記ユーザに発声させる指示画面を表示する処理を行う情報処理装置。
【請求項6】
請求項１乃至４の何れか一項において、
前記表示処理部は、
前記第１言語において、前記第２言語の前記第２の音に類似する音として、前記第１の音及び第３の音がある場合に、前記第３の音を発音する際の前記発声状態に基づいて特定される第３特徴点、前記第１特徴点、及び第２特徴点を、互いに識別可能な態様で前記アニメーション表示に重畳して表示する処理を行う情報処理装置。
前記表示処理部は、
前記第１言語において、前記第２言語の前記第２の音に類似する音として、前記第１の音及び第３の音がある場合に、前記第３の音を発音する際の前記発声状態に基づいて特定される第３特徴点、前記第１特徴点、及び第２特徴点を、互いに識別可能な態様で前記アニメーション表示に重畳して表示する処理を行う情報処理装置。
【請求項7】
請求項６において、
前記表示処理部は、
前記第１の音を所定回数以上、前記ユーザに発声させる指示画面の表示処理を行った後、前記第３の音を所定回数以上、前記ユーザに発声させる指示画面の表示処理を行う情報処理装置。
前記表示処理部は、
前記第１の音を所定回数以上、前記ユーザに発声させる指示画面の表示処理を行った後、前記第３の音を所定回数以上、前記ユーザに発声させる指示画面の表示処理を行う情報処理装置。
【請求項8】
請求項１乃至４の何れか一項において、
前記表示処理部は、
前記ユーザの習熟度が低いと判定された場合、前記第１の音の発音記号として、文字情報を表示する処理を行い、
前記ユーザの習熟度が高いと判定された場合、前記第１の音の前記発音記号として、前記第１の音を発声する際の口の形状を表す画像情報を表示する処理を行う情報処理装置。
前記表示処理部は、
前記ユーザの習熟度が低いと判定された場合、前記第１の音の発音記号として、文字情報を表示する処理を行い、
前記ユーザの習熟度が高いと判定された場合、前記第１の音の前記発音記号として、前記第１の音を発声する際の口の形状を表す画像情報を表示する処理を行う情報処理装置。
【請求項9】
請求項１乃至４の何れか一項において、
前記表示処理部は、
前記第１の音の発声に近い前記発声状態を用いて発声を行う日常動作を決定し、前記第１の音を含む単語と関連付けて、前記日常動作を表示する処理を行う情報処理装置。
前記表示処理部は、
前記第１の音の発声に近い前記発声状態を用いて発声を行う日常動作を決定し、前記第１の音を含む単語と関連付けて、前記日常動作を表示する処理を行う情報処理装置。
【請求項10】
請求項１乃至４の何れか一項において、
前記表示処理部は、
前記第１の音の発声に近い前記発声状態を含む前記第２言語の単語である類似発声語を決定し、前記第１の音を含む単語と関連付けて、前記類似発声語を表示する処理を行う情報処理装置。
前記表示処理部は、
前記第１の音の発声に近い前記発声状態を含む前記第２言語の単語である類似発声語を決定し、前記第１の音を含む単語と関連付けて、前記類似発声語を表示する処理を行う情報処理装置。
【請求項11】
第１言語の学習を行うユーザの音声情報を取得し、
前記音声情報の解析処理に基づいて、前記ユーザの顎の状態及び舌の状態を表す発声状態を推定し、
推定された前記発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する表示処理を行い、
前記表示処理において、
前記第１言語における第１の音を発音する際の前記発声状態に基づいて特定される第１特徴点、及び、前記第１言語とは異なる第２言語において、前記第１の音に類似する第２の音を発音する際の前記発声状態に基づいて特定される第２特徴点を、前記複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う、
情報処理方法。
前記音声情報の解析処理に基づいて、前記ユーザの顎の状態及び舌の状態を表す発声状態を推定し、
推定された前記発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する表示処理を行い、
前記表示処理において、
前記第１言語における第１の音を発音する際の前記発声状態に基づいて特定される第１特徴点、及び、前記第１言語とは異なる第２言語において、前記第１の音に類似する第２の音を発音する際の前記発声状態に基づいて特定される第２特徴点を、前記複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理方法等に関する。
【背景技術】
【0002】
従来、音声情報に基づいてユーザの発声状態を可視化する手法が知られている。例えば特許文献１には、音声データを声道パラメータに変換し、当該声道パラメータ及び識別器に基づいて座標ベクトル系列を生成し、当該座標ベクトル系列に基づく画像を表示する発音動作可視化装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１３／０３１６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の手法では、発声に伴う舌等の動きが画像として表示されるが、学習対象の言語（例えば英語）の音と、他の言語（例えば学習者の母国語）の音との関係は考慮されていない。
【0005】
本開示のいくつかの態様によれば、言語学習を行うユーザを適切にサポートする情報処理装置及び情報処理方法等を提供できる。
【課題を解決するための手段】
【0006】
本開示の一態様は、第１言語の学習を行うユーザの音声情報を取得する音声情報取得部と、前記音声情報の解析処理に基づいて、前記ユーザの顎の状態及び舌の状態を表す発声状態を推定する解析処理部と、推定された前記発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する処理を行う表示処理部と、を含み、前記表示処理部は、前記第１言語における第１の音を発音する際の前記発声状態に基づいて特定される第１特徴点、及び、前記第１言語とは異なる第２言語において、前記第１の音に類似する第２の音を発音する際の前記発声状態に基づいて特定される第２特徴点を、前記複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う情報処理装置に関係する。
【0007】
本開示の他の態様は、第１言語の学習を行うユーザの音声情報を取得し、前記音声情報の解析処理に基づいて、前記ユーザの顎の状態及び舌の状態を表す発声状態を推定し、推定された前記発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する処理を行い、前記表示処理において、前記第１言語における第１の音を発音する際の前記発声状態に基づいて特定される第１特徴点、及び、前記第１言語とは異なる第２言語において、前記第１の音に類似する第２の音を発音する際の前記発声状態に基づいて特定される第２特徴点を、前記複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う情報処理方法に関係する。
【図面の簡単な説明】
【0008】
【図1】情報処理装置を含む情報処理システムの構成例である。
【図2】サーバシステムの構成例である。
【図3】端末装置の構成例である。
【図4】本実施形態の処理を説明するフローチャートである。
【図5】発声状態に基づいて所与の音を座標空間にプロットする処理の説明図である。
【図6】第１の音と第２の音を表す特徴点がアニメーション表示に重畳表示される表示画面の例である。
【図7】第１の音と第２の音を表す特徴点がアニメーション表示に重畳表示される表示画面の例である。
【図8A】所与の音（単語）を学習する際の表示画面の例である。
【図8B】所与の音（単語）を学習する際の表示画面の例である。
【図9】本実施形態の処理を説明するフローチャートである。
【図10A】単語リストを用いた学習に用いられる表示画面の例である。
【図10B】単語リストを用いた学習に用いられる表示画面の例である。
【図10C】単語リストを用いた学習に用いられる表示画面の例である。
【図10D】単語リストを用いた学習に用いられる表示画面の例である。
【図11A】文字情報の発音記号を表示する画面例である。
【図11B】画像情報の発音記号を表示する画面例である。
【図12】本実施形態の処理を説明するフローチャートである。
【図13】単語と日常動作を関連付けて表示する画面例である。
【図14】本実施形態の処理を説明するフローチャートである。
【発明を実施するための形態】
【0009】
以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0010】
１．システム構成例
図１は、本実施形態に係る情報処理装置を含む情報処理システム１０の構成例である。本実施形態に係る情報処理システム１０は、サーバシステム１００と端末装置２００とを含む。ただし、情報処理システム１０の構成は必ずしも図１に限定されず、例えば一部の構成を省略したり他の構成を追加したりするなどの種々の変形実施が可能である。また、構成の省略や追加などの変形実施が可能である点は、後述する図２及び図３においても同様である。
図１は、本実施形態に係る情報処理装置を含む情報処理システム１０の構成例である。本実施形態に係る情報処理システム１０は、サーバシステム１００と端末装置２００とを含む。ただし、情報処理システム１０の構成は必ずしも図１に限定されず、例えば一部の構成を省略したり他の構成を追加したりするなどの種々の変形実施が可能である。また、構成の省略や追加などの変形実施が可能である点は、後述する図２及び図３においても同様である。
【0011】
本実施形態の情報処理装置は、例えばサーバシステム１００に対応する。ただし、本実施形態の手法はこれに限定されず、サーバシステム１００と他の装置を用いた分散処理によって、本明細書で説明する情報処理装置の処理が実行されてもよい。例えば、本実施形態の情報処理装置は、サーバシステム１００と端末装置２００の両方を含んでもよい。また本実施形態の情報処理装置は、端末装置２００であってもよい。以下、本明細書では、主に情報処理装置がサーバシステム１００である場合の例について説明する。
【0012】
サーバシステム１００は、１つのサーバであってもよいし、複数のサーバを含んで構成されていてもよい。例えば、サーバシステム１００は、データベースサーバとアプリケーションサーバとを含んで構成されていてもよい。データベースサーバは、第１言語（学習対象言語、例えば英語）の母音や子音に関する情報、第２言語（第１言語以外の言語、例えば日本語）の母音や子音に関する情報等、種々のデータを記憶する。アプリケーションサーバは、図４等を用いて後述する処理を実行する。なお、ここでの複数のサーバは、物理サーバであってもよいし、仮想サーバであってもよい。また、仮想サーバが用いられる場合、当該仮想サーバは、１つの物理サーバに設けられてもよいし、複数の物理サーバに分散して配置されてもよい。このように、本実施形態におけるサーバシステム１００の具体的な構成は、種々の変形実施が可能である。
【0013】
端末装置２００は、情報処理システム１０によって実現されるサービス（例えば言語学習サービス）を利用するユーザによって使用される装置である。端末装置２００は、ＰＣ（Personal Computer）であってもよいし、スマートフォンなどの携帯端末装置であってもよいし、本明細書で説明する機能を有する他の装置であってもよい。
【0014】
サーバシステム１００は、例えばネットワークを介して端末装置２００と通信可能に接続される。ここでのネットワークは、例えばインターネットなどの公衆通信網であるが、ＬＡＮ（Local Area Network）などであってもよい。
【0015】
本実施形態の情報処理システム１０は、例えば第１言語の学習を行うユーザに対して、学習支援を行うシステムであってもよい。ここでのユーザは、第１言語とは異なる第２言語を母国語とするユーザであってもよい。以下、第１言語が英語であり、第２言語が日本語である例について説明する。ただし、第１言語と第２言語は異なる言語であればよく、組み合わせはこれに限定されない。例えば第１言語が英語である場合に、第２言語はタイ語であってもよいし、インドネシア語であってもよいし、他の言語であってもよい。また第１言語は英語以外の言語であってもよい。
【0016】
【0017】
本実施形態の処理部１１０は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子によって構成できる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシタ等である。
【0018】
また処理部１１０は、下記のプロセッサによって実現されてもよい。本実施形態のサーバシステム１００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プログラムは、サーバシステム１００に、本明細書で説明する処理を実行させるものを含んでよい。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置（ＨＤＤ：Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部１１０の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0019】
処理部１１０は、例えば音声情報取得部１１１と、解析処理部１１２と、表示処理部１１３を含む。なお上述したように、本実施形態に係る情報処理装置は、サーバシステム１００と端末装置２００の分散処理によって実現されてもよいし、端末装置２００であってもよい。従って、音声情報取得部１１１と、解析処理部１１２と、表示処理部１１３の少なくとも一部が端末装置２００に設けられてもよい。
【0020】
音声情報取得部１１１は、第１言語の学習を行うユーザの音声情報を取得する。ここでの音声情報は、具体的にはユーザが第１言語の単語や文章を発話した音声に関するデータである。例えば、端末装置２００はユーザの音声を録音するマイク等を含み、音声情報取得部１１１は、端末装置２００から音声情報を取得する。ただし、音声情報を取得する機器が端末装置２００とは別に設けられてもよい。
【0021】
解析処理部１１２は、音声情報の解析処理を行うことによって、ユーザの顎の状態及び舌の状態を表す発声状態を推定する。例えば本実施形態では、学習用の音声情報に対して、当該音声情報に対応する発声状態が正解データとして付与された訓練データに基づいて機械学習が行われてもよい。解析処理部１１２は、当該機械学習の結果である学習済モデルを取得し、当該学習済モデルに解析対象の音声情報を入力することによって解析処理を行う。
【0022】
表示処理部１１３は、推定された発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する処理を行う。発声状態画像とは、例えば舌及び顎の位置を変更可能な画像であり、例えば図６－図７を用いて後述する画面における人物の横顔を表す画像である。つまり表示処理部１１３は、図６－図７等を用いて後述する画面を表示させる処理を行ってもよい。例えば表示処理部１１３は、発声状態の時系列的な変化に基づいて複数の発声状態画像を生成し、当該複数の発声状態画像を端末装置２００の表示部２４０に順次表示させる（アニメーション表示させる）処理を行う。なお表示処理部１１３は、発声状態画像そのものを生成するのではなく、発声状態画像を生成する（特定する）ための情報を求めてもよい。例えば、アニメーション表示の対象となる複数の発声状態画像の候補が端末装置２００に記憶されており、表示処理部１１３は、当該複数の候補のうち、表示対象となる発声状態画像を特定する情報を端末装置２００に送信してもよい。この場合も、表示処理部１１３の処理によって、複数の発声状態画像のアニメーション表示が実現される。
【0023】
記憶部１２０は、処理部１１０のワーク領域であって、種々の情報を記憶する。記憶部１２０は、種々のメモリによって実現が可能であり、メモリは、ＳＲＡＭ、ＤＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。
【0024】
記憶部１２０は、例えば解析処理部１１２での処理に用いられる学習済モデルを記憶する。また、記憶部１２０は、第１言語における音と、座標空間（例えば２次元座標平面）での位置を対応付けた情報（図５を用いて後述）を記憶してもよい。その他、記憶部１２０は本実施形態の処理に係る種々の情報を記憶可能である。
【0025】
通信部１３０は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、ＲＦ（radio frequency）回路、及びベースバンド回路を含む。通信部１３０は、処理部１１０による制御に従って動作してもよいし、処理部１１０とは異なる通信制御用のプロセッサを含んでもよい。通信部１３０は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に従った通信を行うためのインターフェイスである。ただし具体的な通信方式は種々の変形実施が可能である。
【0026】
図３は、端末装置２００の詳細な構成例を示すブロック図である。端末装置２００は、処理部２１０と、記憶部２２０と、通信部２３０と、表示部２４０と、操作部２５０を含む。
【0027】
処理部２１０は、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアによって構成される。また処理部２１０は、プロセッサによって実現されてもよい。プロセッサは、ＣＰＵ、ＧＰＵ、ＤＳＰ等、各種のプロセッサを用いることが可能である。端末装置２００のメモリに格納された命令をプロセッサが実行することによって、処理部２１０の機能が処理として実現される。
【0028】
記憶部２２０は、処理部２１０のワーク領域であって、ＳＲＡＭ、ＤＲＡＭ、ＲＯＭ等の種々のメモリによって実現される。
【0029】
通信部２３０は、ネットワークを介した通信を行うためのインターフェイスであり、例えばアンテナ、ＲＦ回路、及びベースバンド回路を含む。通信部２３０は、例えばネットワークを介して、サーバシステム１００との通信を行う。
【0030】
表示部２４０は、種々の情報を表示するインターフェイスであり、液晶ディスプレイであってもよいし、有機ＥＬディスプレイであってもよいし、他の方式のディスプレイであってもよい。表示部２４０は、例えば図６－図８Ｂ、図１０Ａ－図１１Ｂ、図１３等を用いて後述する各種画面を表示する。
【0031】
操作部２５０は、ユーザによる操作入力を受け付けるインターフェイスである。操作部２５０は、例えば端末装置２００に設けられるボタン等であってよい。また表示部２４０と操作部２５０は、一体として構成されるタッチパネルであってもよい。
【0032】
本実施形態に係る情報処理装置の表示処理部（例えばサーバシステム１００の表示処理部１１３）は、第１言語における第１の音を発音する際の発声状態に基づいて特定される第１特徴点、及び、第１言語とは異なる第２言語において、第１の音に類似する第２の音を発音する際の発声状態に基づいて特定される第２特徴点を、複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う。例えば、英語のhat, hut, hotという単語を発音する場合、それぞれ母音としてae, α, Λが含まれる。なお、ここでのae, α, Λは、表記の便宜上、発音記号を他の文字で代用しているものであり、以下の表１に従って発音記号に置き換えられるものとする。またae, α, Λの各文字が表１に従って発音記号に置き換えられる点は、本実施形態の他の箇所においても同様である。例えば英語が第１の言語に対応し、ae, α, Λの少なくとも１つが第１の音に対応する。これらは英語では明確に区別されるべき母音であるが、日本語を使用するユーザからするといずれも「ア」に近い発音と認識される。例えば日本語が第２の言語に対応し、「ア」が第２の音に対応する。本実施形態の手法では、第２言語の話者が誤解、混同しやすい音が存在する場合に、これらをアニメーション表示上の異なる位置に配置することが可能になる。結果として、「ae」と「ア」の違い、「α」と「ア」の違い、「Λ」と「ア」の違い等をユーザに明確に提示できるため、ユーザによる第１言語の学習を適切にサポートすることが可能になる。具体的な手法については、図６等を用いて後述する。
【0033】
【表1】
【0034】
また、本実施形態の情報処理装置（情報処理システム１０）が行う処理の一部又は全部は、プログラムによって実現されてもよい。情報処理装置が行う処理とは、サーバシステム１００の処理部１１０が行う処理であってもよいし、端末装置２００の処理部２１０が行う処理であってもよいし、この両方であってもよい。
【0035】
本実施形態に係るプログラムは、例えばコンピュータによって読み取り可能な媒体である非一時的な情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理部１１０等は、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体は、処理部１１０等としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図４等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。
【0036】
また本実施形態の手法は、以下の各ステップを含む情報処理方法に適用できる。情報処理方法は、第１言語の学習を行うユーザの音声情報を取得し、音声情報の解析処理に基づいて、ユーザの顎の状態及び舌の状態を表す発声状態を推定し、推定された発声状態の時系列的な変化に基づいて、複数の発声状態画像をアニメーション表示する表示処理を行うステップを含む。そして情報処理方法は、表示処理を行うステップにおいて、第１言語における第１の音を発音する際の発声状態に基づいて特定される第１特徴点、及び、第１言語とは異なる第２言語において、第１の音に類似する第２の音を発音する際の発声状態に基づいて特定される第２特徴点を、複数の発声状態画像のアニメーション表示に重畳して表示する処理を行う。
【0037】
２．処理の詳細
以下、本実施形態の処理について詳細に説明する。
以下、本実施形態の処理について詳細に説明する。
【0038】
２．１ 発音練習の基本的な流れ
図４は、本実施形態の情報処理装置の処理を説明するフローチャートである。図４は、例えば端末装置２００のユーザによって第１言語の学習が行われる際に実行される処理を表す。まずステップＳ１０１において、端末装置２００の操作部２５０は、ユーザによる学習項目の入力操作を受け付ける。例えば本実施形態の情報処理システム１０は、第１言語における所定の音の発音学習をサポートする処理を行ってもよい。この場合、ステップＳ１０１において、操作部２５０は、学習対象となる具体的な音の選択を受け付けてもよい。
図４は、本実施形態の情報処理装置の処理を説明するフローチャートである。図４は、例えば端末装置２００のユーザによって第１言語の学習が行われる際に実行される処理を表す。まずステップＳ１０１において、端末装置２００の操作部２５０は、ユーザによる学習項目の入力操作を受け付ける。例えば本実施形態の情報処理システム１０は、第１言語における所定の音の発音学習をサポートする処理を行ってもよい。この場合、ステップＳ１０１において、操作部２５０は、学習対象となる具体的な音の選択を受け付けてもよい。
【0039】
例えば上述したように、日本語のユーザにとって、英語のae, α, Λはいずれも日本語の「ア」に近いため、習得が容易でない可能性がある。そこで情報処理システム１０は、英語のae, α, Λの選択入力を受け付けることによって、これらの発音に関する学習をサポートする処理を行ってもよい。端末装置２００は、操作部２５０の操作によって決定された英語の音（第１言語の第１の音）を特定する情報を、サーバシステム１００に送信する。なお操作部２５０は、ae, α, Λ等の具体的な音の選択操作ではなく、当該音を含む単語（例えばhat等）の選択操作を受け付けてもよい。
【0040】
ステップＳ１０２において、処理部１１０は、英語の音に類似する日本語の音（第２言語の第２の音）を特定する処理を行う。例えばサーバシステム１００の記憶部１２０は、英語における音と、それに類似する日本語の音を対応付けたテーブルデータを記憶してもよい。処理部１１０は、英語の音の入力結果とテーブルデータに基づいて、類似する日本語の音を特定する。なお、ステップＳ１０１及びＳ１０２の処理では、英語の音と日本語の音の対応付けが特定されればよく、具体的な順序はこれに限定されない。例えばステップＳ１０１で日本語の音（例えば「ア」）が選択され、ステップＳ１０２で当該音に対応する英語の音（例えばae, α, Λ）が学習対象の音として特定されてもよく、具体的な処理は種々の変形実施が可能である。
【0041】
ステップＳ１０３において、処理部１１０は、所与の座標空間における第１の音（ae, α, Λ）の位置、及び第２の音（「ア」）の位置を特定する処理を行う。図５は、座標空間（座標平面）の例、及び、それぞれの音に対応する位置の例を示す図である。
【0042】
図５に示すように、ここでの座標空間は、第１軸が舌の上下方向（鉛直方向）の位置を表す軸であり、第２軸が舌の前後方向での位置を表す軸であってもよい。ここでの前後とは、人の正面方向（顔が向いている方向）が前であり、その反対方向が後ろである。また上下とは、頭部の基準点（例えば中心）から頭頂方向が上であり、その反対方向（例えば基準点から首へ向かう方向）が下である。ここでの舌の位置は、舌の中の特定の代表点の位置を表してもよいし、対象の音を発する際に最も大きく移動する部位の位置が音毎に選択されてもよい。図５の例では、人の前後及び上下方向によって規定される平面（即ち、人の顔を横から見たときの断面）における舌の位置に基づいて、各音の特徴点が決定される。また図５の例において、縦軸（第１軸）は顎の開き具合を表し、縦軸の上方向が顎の開きが狭く、下方向が顎の開きが広いことを表してもよい。
【0043】
例えばサーバシステム１００の記憶部１２０は、各言語における音と、当該音の各軸での値を対応付けたテーブルデータを記憶してもよい。図５に示す例であれば、サーバシステム１００の記憶部１２０は、各言語における音と、当該音の理想的な発声状態における舌の位置を対応付けたテーブルデータを記憶してもよい。ここでの理想的な発声状態は、例えば対象の言語を母国語とするユーザの発声結果から決定されてもよい処理部１１０は、ステップＳ１０１－Ｓ１０２で特定された第１の音とテーブルデータに基づいて、第１の音に対応する位置を表す第１特徴点を決定する。同様に処理部１１０は、第２の音とテーブルデータに基づいて、第２の音に対応する位置を表す第２特徴点を決定する。なお第１特徴点及び第２特徴点は、座標空間の一点に限定されず、ある程度の大きさを有する領域であってもよい。
【0044】
なお、座標空間の例は以上に限定されない。例えば座標空間の軸は、舌以外の口腔状態に関する情報に対応してもよい。舌以外の口腔状態とは、上顎、下顎、口蓋、口唇等の状態を表す情報を含んでもよい。即ち、第１特徴点及び第２特徴点は、発声時の顎、口蓋、口唇等の位置に対応する点または領域であってもよい。
【0045】
以上の処理により、学習対象となる英語の音（第１の音）、及び、それに類似する日本語の音（第２の音）を座標空間上にプロットすることが可能になる。さらに、情報処理システム１０は、ユーザに実際に発声を行わせ、その結果と第１の音、第２の音との関係を明示することによって学習をサポートする。
【0046】
図６は、本実施形態の処理によって表示される画面の例であり、例えば表示処理部１１３の処理に従って、端末装置２００の表示部２４０に表示される画面である。例えば端末装置２００の記憶部２２０には英語学習アプリケーションがインストールされ、処理部２１０が当該英語学習アプリケーションに従って動作することによって図６に示す画面が表示されてもよい。ここでの英語学習アプリケーションは、サーバシステム１００との通信を行うことによって動作するアプリケーションであってもよい。例えば端末装置２００のユーザは、英語学習アプリケーションのホーム画面から所定の操作を行うことによって、第１の音を選択する（ステップＳ１０１）。表示処理部１１３は、当該選択入力、及びステップＳ１０２－Ｓ１０３の処理によって取得された情報に基づいて、英語学習アプリケーションに対して指示を行い、英語学習アプリケーションは当該指示に基づいて図６に示す画面を表示してもよい。なおこれ以降では省略するが、以下の説明における端末装置２００の動作についても、英語学習アプリケーションによって実現されてもよい。
【0047】
図６に示す画面は、例えば第１の音（ae, α, Λ）と第２の音（「ア」）が表示される。さらに、ユーザの発声状態を表す人物の画像が表示される。図６では、舌及び顎の動きを示すための簡略化された人物の横顔が表示される例を示しているが、ユーザの発声状態を図示できる他の画像が用いられてもよい。人物の画像は、ステップＳ１０４以降を用いて後述するように、ユーザのリアルタイムでの発声状態に合わせて変化する画像であってもよい。
【0048】
さらに図６に示すように、本実施形態では、第１の音を表す第１特徴点Ｐ１と、第２の音を表す第２特徴点Ｐ２が、発声状態を表す人物の画像に重畳して表示されてもよい。図６では、第１特徴点Ｐ１として、ae, α, Λのそれぞれを表す円形の領域が図示される。また図６では、第２特徴点Ｐ２は、「ア」という文字のみが表示される。ただし、第２特徴点Ｐ２も円形等の領域として表示されてもよい。例えば、図５に示したように、舌の位置を表す座標系を用いて各特徴点が配置される場合、図６の人物の横顔における舌の可動範囲に対応付けて第１特徴点及び第２特徴点を表示することによって、各音を発声する際の舌の状態の違いを分かりやすくユーザに提示することが可能になる。
【0049】
例えば図６に示すように、表示部２４０は、『日本語の「ア」と英語の母音とで舌の位置を比べてみよう。』といったテキストを表示してもよい。これにより、第１の音と第２の音の間での発声状態の違い（図６の例では舌の位置の違い）を分かりやすい態様で表示できる。
【0050】
図６において、画面左下の「試す」ボタンの選択操作が行われた場合に、情報処理システム１０は、ユーザの発声に基づく音声情報の取得、及び当該音声情報に関する処理を開始する。
【0051】
具体的には、ステップＳ１０４において、情報処理システム１０はユーザの発声による音声情報を取得する。例えばステップＳ１０４において、端末装置２００の表示部２４０はユーザに第１の音を含む所定の単語の発声を促す表示処理を行う。そして端末装置２００に含まれるマイクがユーザの発声を録音することによって音声情報を取得し、音声情報取得部１１１は、当該音声情報をネットワークを介して受信する。
【0052】
ステップＳ１０５において、解析処理部１１２は、音声情報の解析処理を行う。例えば解析処理部１１２は、音声情報の周波数解析を行うことによって、当該音声情報のフォルマントを求めてもよい。フォルマントとは、音声の周波数スペクトルのうち、周囲の周波数帯域よりも強度が大きい周波数帯域を表す。そしてステップＳ１０６において、解析処理部１１２は、フォルマントの検出結果に基づいて、ユーザのリアルタイムでの発声状態を推定する。ここでの発声状態とは、舌及び顎（上顎、下顎）の位置を表す情報を含む。また発声状態は、口蓋や口唇の位置を表す情報を含んでもよい。
【0053】
例えば本実施形態では、フォルマントの情報を含む特徴量に対して、発声状態が正解データとして対応付けられた訓練データに基づく学習処理が行われてもよい。当該学習処理によって、フォルマントを含む特徴量を入力として受け付けた場合に、対応する発声状態を出力する学習済モデルが生成される。解析処理部１１２は、記憶部１２０から学習済モデルを読み出し、当該学習済モデルにステップＳ１０５で求めた特徴量を入力することによって、発声状態を求めてもよい（ステップＳ１０６）。なお、モデルの入力データは音声情報から求められる特徴量に限定されず、音声情報自体が入力データとして用いられてもよい。
【0054】
あるいは解析処理部１１２は、ユーザの発声した音のフォルマントと、第１の音または第２の音のフォルマントの類似度合いを求め、当該類似度合いに基づいて発声状態を特定してもよい。例えば第１の音の理想的な発声状態は既知と考えられるため、解析処理部１１２は、ユーザの発声が第１の音に近いほど、発声状態が第１の音の発声状態に近くなるようにリアルタイムでの発声状態を求めてもよい。
【0055】
また音声情報に基づいて舌や顎の状態を推定する手法としては、特許文献１等が知られており、本実施形態に係るステップＳ１０５及びＳ１０６の処理として、特許文献１と同様の手法が用いられてもよい。特許文献１の手法は公知であるため、詳細な説明は省略する。
【0056】
ステップＳ１０７において、解析処理部１１２は、ステップＳ１０６で求めた発声状態に基づいて、当該発声状態を表す座標空間上の点を特定する。図５を用いて上述したように、発声状態に基づいて座標空間の各軸における値（座標値）を特定することが可能である。
【0057】
ステップＳ１０８において、表示処理部１１３は、発声状態を表す人物のアニメーション表示を行う。図７は、ステップＳ１０８において表示（更新）される画面の例である。上述したように、アニメーション表示は、人物の顎及び舌を含む頭部を表示する画面であってもよい。例えば解析処理部１１２は、１つの音声情報から推定された発声状態に基づいて、１枚の発声状態画像（人物の横顔画像）を生成する。表示処理部１１３は、複数の音声情報から生成された複数の発声状態画像を時系列的に表示することによって、アニメーション表示を行う。
【0058】
例えば音声情報に基づいて発声状態として舌の位置を特定した結果、平常状態（例えば図６の状態）に比べて、舌の位置が下方に移動したとする。この場合、表示処理部１１３は、図７に示すように、図６に比べて舌の位置が下方に変化した発声状態画像を表示することによって、アニメーション表示を行う。なお図７では説明の便宜上、顎の開き具合が図６から変化していない画像を例示しているが、舌と顎の両方の位置が可変であってもよい。
【0059】
ステップＳ１０９において、表示処理部１１３は、解析処理部１１２によって推定された発声状態に基づいて特定されるリアルタイムの特徴点Ｐを、アニメーション表示に重畳して表示する処理を行う。即ち、図７における点Ｐは、ユーザの発声状態の変化に応じて、画像上での位置がリアルタイムに変化する点である。このようにすれば、ユーザの発声状態が第１の音と第２の音のいずれに近い状態であるか（あるいはいずれからも遠い状態であるか）を分かりやすい態様でユーザに提示することが可能になる。特に、座標空間として舌の位置を表す軸を設定している場合、現在の発声と理想的な第１の音の発声を比較した場合、舌の位置がどの方向にどの程度ずれてしまっているかをユーザに把握させることが可能になる。本実施形態の手法では、理想的な発音を行うために改善すべき事項が分かりやすいため、ユーザの学習を適切にサポートできる。さらに、第２の音との関係も例示されるため、例えばユーザにとって慣れ親しんだ第２の音を起点として、第１の音に変化させるにはどのように舌の位置を変化させればよいか、といった観点からのサポートも可能になる。
【0060】
さらに表示処理部１１３は、解析処理部によって推定された発声状態と、第１特徴点Ｐ１に対応する発声状態との類似度が所定閾値以上である場合と、類似度が所定閾値未満である場合とで、表示態様を変更する処理を行ってもよい。例えばステップＳ１１０において、解析処理部１１２は、リアルタイムでの特徴点Ｐと、第１特徴点Ｐ１との距離に基づいて類似度を算出してもよい。解析処理部１１２は、距離が閾値以下である場合（例えば第１特徴点Ｐ１が円形の領域である例において、リアルタイムの特徴点Ｐが当該領域に含まれる場合）に、類似度が閾値以上と判定する。あるいは解析処理部１１２は、座標空間へのプロット前の情報、例えば音声情報そのものやフォルマント等の特徴量に基づいて、ユーザの発声と第１の音との類似度を算出してもよい。
【0061】
表示処理部１１３は、類似度が閾値以上である場合、ステップＳ１１１において第１態様での表示処理（ＯＫ表示）を行い、閾値未満である場合、ステップＳ１１２において第１態様とは異なる第２態様での表示処理（ＮＧ表示）を行う。
【0062】
図７の例では、ユーザの発声状態を表す特徴点Ｐが、「ae」に対応する第１特徴点Ｐ１に近く、類似度が閾値以上と判定される。よって表示処理部１１３は、「ae」を表す第１特徴点Ｐ１の表示態様を、類似度が閾値以下の状態（例えば図６の状態）とは異なる態様で表示する処理を行う。これにより、ユーザの発声状態が適切か否かをわかりやすく提示することが可能になる。なお図７では、「ae」を表す特徴点の色を変更する例を示しているが、表示態様はこれに限定されず、ユーザの発声状態が第１の音に近いか否かが識別可能な種々の態様を用いることが可能である。例えば表示処理部１１３は、第１特徴点Ｐ１の表示サイズを変更してもよいし、第１特徴点Ｐ１を点滅表示させてもよい。あるいは表示処理部１１３は、第１特徴点Ｐ１とは異なる表示領域において、ユーザの発声に対するフィードバックを表すテキスト、画像、オブジェクト等を表示してもよい。フィードバックを表すテキストは、例えば「ＯＫ」、「ＮＧ」等であってもよいし、ＮＧである場合に具体的な修正箇所を提示する情報であってもよい。画像やオブジェクトを表示する場合も同様に種々の変形実施が可能である。
【0063】
あるいは表示処理部１１３は、類似度が所定閾値以上である場合と、所定閾値未満である場合とで、アニメーション表示される人物の表情を変更する処理を行ってもよい。例えば図８Ａ及び図８Ｂを用いて後述するように、類似度が閾値以上であるＯＫ表示では人物をポジティブな表情（例えば笑顔）で表示し、類似度が閾値未満であるＮＧ表示では人物をニュートラルな表情またはネガティブな表情（例えば泣き顔）で表示してもよい。このようにすれば、人物の横顔の表示を用いて、ユーザの発声状態の良し悪しをわかりやすく提示することが可能になる。
【0064】
ステップＳ１１１またはＳ１１２の処理後、ステップＳ１１３において、処理部１１０はユーザがステップＳ１０１で選択した音の学習処理を終了するか否かを判定する。例えば処理部１１０は、図６や図７において不図示の終了ボタンが操作されたかを判定してもよい。学習処理を終了しない場合（ステップＳ１１３：Ｎｏ）、処理部１１０はステップＳ１０４に戻って処理を継続する。つまり、音声情報取得部１１１は新たにユーザの音声情報を取得し、解析処理部１１２は当該音声情報の解析処理を行い、表示処理部１１３は解析結果に基づいて画像をリアルタイムに更新する。
【0065】
また本実施形態における第１の音とは１つの音であってもよい。例えば表示処理部１１３は、日本語の「ア」に近い英語の音として、ae, α, Λのうちの何れか１つのみを表示してもよい。このような場合でも、ユーザの母国語の音と、学習対象の言語の音を比較しながら学習を行わせることが可能になるため、ユーザを適切にサポートできる。ただし本実施形態の処理はこれに限定されない。例えば表示処理部１１３は、第１言語において、第２言語の第２の音に類似する音として、第１の音及び第３の音がある場合に、第３の音を発音する際の発声状態に基づいて特定される第３特徴点、第１特徴点、及び第２特徴点を、互いに識別可能な態様でアニメーション表示に重畳して表示する処理を行ってもよい。第１の音は、例えばae, α, Λのうちの何れか１つであり、第３の音は、例えばae, α, Λのうちの他の何れか１つである。このようにすれば、図６，図７を用いて上述したように、第１言語における複数の音を１つの画面にまとめて表示することが可能になる。第１の音に加えて第３の音が存在する場合、ユーザからすれば、自身がよく用いている第２の音に類似する音が第１言語には複数存在することになる。結果として第１言語の学習において第１の音と第３の音の区別がうまくいかず、学習が阻害される可能性がある。その点、本実施形態の手法では第１の音と第３の音の差異を１つの画面上でわかりやすく提示できるため、学習効率の向上が可能になる。
【0066】
２．２ フラッシュカード学習
上述したように、第２の言語に第１の音と第３の音が存在する場合（例えば日本語の「ア」に類似する音として、英語にae, α, Λ等が存在する場合）、第２言語の話者であるユーザにとっては、第１の音と第３の音を区別することが第１言語の学習において重要である。
上述したように、第２の言語に第１の音と第３の音が存在する場合（例えば日本語の「ア」に類似する音として、英語にae, α, Λ等が存在する場合）、第２言語の話者であるユーザにとっては、第１の音と第３の音を区別することが第１言語の学習において重要である。
【0067】
例えば表示処理部１１３は、第１の音を所定回数以上、ユーザに発声させる指示画面の表示処理を行った後、第３の音を所定回数以上、ユーザに発声させる指示画面の表示処理を行ってもよい。これにより、類似する音をそれぞれ繰り返し発声させることにより、ユーザに音の差異を考慮した学習を促すことが可能になる。
【0068】
図８Ａ、図８Ｂは表示処理部１１３によって表示される画面例であり、例えば端末装置２００の表示部２４０に表示される画面である。例えば学習の第１段階では、表示処理部１１３は、第１の音、第３の音、第２の音に対応する特徴点を人物の横顔のアニメーション表示に重畳させつつ、第１の音と第３の音の何れか一方を含む単語を繰り返し発声させるための画像を表示してもよい。なお、図８Ａ及び図８Ｂの例では、第１の音は英語のαであり、第３の音は英語のaeであり、第２の音は日本語の「オ」である。図８Ａ、図８Ｂでは、これらに対応する第１特徴点Ｐ１、第２特徴点Ｐ２、第３特徴点Ｐ３を図示している。英語のαは、日本語の「オ」にも類似するため、このような表示も日本語話者による英語学習のサポートに有用である。ただし第１の音～第３の音の組み合わせはこれに限定されず、図７を用いて上述したように、「ア」、「ae」、「α」、「Λ」の組み合わせ等、他の音の組み合わせが用いられてもよい。
【0069】
また図８Ａ及び図８Ｂに示す画面では、単語「hot」を３回繰り返して発声することを指示するテキストが表示される。単語「hot」は「α」の音を含むため、図８Ａ、図８Ｂに示す画面を用いた学習によりユーザは他の音の混同しやすい「α」の音の発音を習得することが可能になる。
【0070】
図８Ａ及び図８Ｂの画面では、上述したように、ユーザの発声状態と何れかの音（第１の音～第３の音）の類似度が閾値以上である場合に、類似度が閾値未満の場合と表示態様を変更する。例えば、図８Ａ及び図８Ｂは、混同しやすい複数の音の発音記号を並べて表示する領域ＲＥ１を含んでもよい。表示処理部１１３は、解析処理部１１２によってユーザの発音が何れかの音に近いと判定された場合、当該音を示すオブジェクトの表示態様を変更する。
【0071】
さらに図６及び図７の例と同様に、ユーザの横顔に対応するアニメーション表示を行う領域ＲＥ２において、舌や顎の状態に応じて人物の画像を更新するとともに、リアルタイムでの特徴点が第１特徴点Ｐ１や第３特徴点Ｐ３に近い場合に、対応する特徴点の表示態様を変更する。
【0072】
また図８Ｂに示すように、ユーザの発声状態が学習目標である音（ここでは「α」の音）の発声状態に近いと判定された場合（以下、ＯＫ判定とも記載）、表示処理部１１３は、人物の表情をポジティブな表情に変更してもよい。これにより、ユーザが学習目標である音を適切に発音できているか否かをわかりやすい態様で提示することが可能になる。
【0073】
なお、ユーザの発声状態が学習目標である音の発声状態に近いか否かの正誤判定は、例えば上述した周波数解析を用いた処理（例えば第１特徴点と、リアルタイムでの特徴点との位置関係を用いた判定）とは異なる処理として実行される。なおここでの正誤判定は、ＯＫ／ＮＧの２通りの出力をするものである。ただし正誤判定はこれに限定されず、ユーザの発声状態が目標に近いほど高くなる数値データをスコア（例えば０～１００点）を出力する処理であってもよい。例えば解析処理部１１２は、ユーザの音声情報と、「hot」の理想的な発音を表す音声情報との比較処理を行い、類似度をスコアとして算出する処理を行ってもよい。２つの音声情報間の類似度をスコアとして出力する手法は広く知られており、本実施形態ではそれらの従来手法が適用されてもよい。例えば、サーバシステム１００とは異なるクラウドサーバにおいて、音声情報の比較処理が行われてもよい。この場合、解析処理部１１２は、当該クラウドサーバに、ユーザの音声情報と、「hot」の理想的な発音を表す音声情報との比較処理を依頼し、処理結果を取得する。ただし、本実施形態の正誤判定が周波数解析の結果を用いて実行されてもよい。例えば解析処理部１１２は、目標の音に対応する第１特徴点と、ユーザの発声状態を表すリアルタイムの特徴点との距離に応じてＯＫ／ＮＧやスコアを求めてもよい。
【0074】
処理部１１０は、図８Ａ及び図８Ｂの画面において所与の回数（例えば３回）だけ連続して、ＯＫ判定が行われた場合に、異なる単語の学習に移行する処理を行ってもよい。例えば表示処理部１１３は、ユーザが「hot」を３回連続で適切に発音できた場合、単語「hut」の学習に移行する。単語「hut」は「Λ」の音を含むため、「hut」を繰り返し発声させる画面を用いた学習によりユーザは他の音と混同しやすい「Λ」の発音を習得することが可能になる。同様に処理部１１０は、ユーザが所与回数だけ連続して「hut」の発音に成功した場合、単語「hat」の学習に移行する。単語「hat」は「ae」の音を含むため、「hat」を繰り返し発声させる画面を用いた学習によりユーザは他の音と混同しやすい「ae」の発音を習得することが可能になる。なお学習の順序は以上の例に限定されず、「hat」「hut」「hot」が異なる順で学習されてもよい。
【0075】
単語毎の学習である第１段階の学習が完了した場合、処理部１１０は第２段階の学習として、類似する音を含む複数の単語を素早く発音する学習を行わせる処理を行ってもよい。例えば表示処理部１１３は、第１の音を含む単語、及び、第３の音を含む単語を含む複数の単語を連続的にユーザに発声させる指示画面を表示する処理を行ってもよい。このようにすれば、区別して発音すべき音が含まれる単語群をユーザに連続的に発声させることができるため、第１の音と第３の音のそれぞれに適した発声を身につけさせることが可能になる。
【0076】
例えば処理部１１０は、「hat」「hut」「hot」の３つの単語から、同じ単語が２回以上選択されることを許容しつつ、所定回数（例えば１０回）だけ単語を選択して並べることによって単語リストを作成する。表示処理部１１３は、当該単語リストに含まれる単語を順次表示するとともに、表示された単語の発音をユーザに促す表示を行う。このようにすれば、混同しやすい音が含まれる複数の単語をユーザにすばやく発声させることができるため、当該混同しやすい音の適切な発音を習得させることが可能になる。
【0077】
図９は、この場合の処理を説明するフローチャートである。まずステップＳ２０１において、端末装置２００の操作部２５０は、学習対象となる英語の音の選択入力を受け付ける。例えば操作部２５０は、「ae」、「α」、「Λ」の３つの音の選択入力を受け付けてもよい。例えば表示部２４０は、第２言語の話者が混同しやすい音のリストを表示する処理を行い、操作部２５０は、当該リストのうちの何れかの選択操作を受け付けてもよい。
【0078】
ステップＳ２０２において、処理部１１０は、ユーザの選択入力に基づいて、発声対象となる単語リストを作成する。上述したように、ここでの単語リストは、混同しやすい複数の音の何れかを含む単語群が所与の順序で並べられたリストである。なおここでの順序は固定であってもよいし、学習ごと（図９の処理が行われるごと）にランダムで決定されてもよい。
【0079】
ステップＳ２０３において、表示処理部１１３は、端末装置２００の表示部２４０に単語リストの先頭の単語を表示する。図１０Ａは、学習の開始段階（例えばステップＳ２０２の後、且つＳ２０３の前）に表示される画面例である。図１０Ａに示す画面は、「次々に表示される単語を発音していこう！」という学習内容を示すテキスト、発音対象となる単語群（Hat, Hut, Hot）、スタートボタン等を含む。例えばユーザがスタートボタンの選択操作を行った場合に、ステップＳ２０３の処理が実行される。
【0080】
図１０Ｂは、ステップＳ２０３で表示される画面の例である。例えば、図１０Ｂでは単語リストのうち、未学習（未発音）の単語数が残り６個の状態を示しており、その際の単語として「Hat」が表示される。端末装置２００のマイクは録音状態で動作しており、図１０Ｂの画面を閲覧したユーザが「hat」と発音した場合、ステップＳ２０４において、ユーザの音声情報を録音する。サーバシステム１００の音声情報取得部１１１は、当該音声情報をネットワークを介して取得する。
【0081】
ステップＳ２０５において、解析処理部１１２は、音声情報の解析処理を行う。例えば解析処理部１１２は、ステップＳ１０５と同様に、フォルマント等の特徴量を取得し、当該特徴量を学習済モデルに入力することによってユーザの発声状態を特定する。さらに解析処理部１１２は、ユーザの発声状態と、学習目標である音の発声状態の類似度を判定する。上述したように、類似度判定（正誤判定）は、発声状態を特定する処理とは異なる処理として実行されてもよい。図１０Ｂの例であれば、解析処理部１１２は、ユーザの発声状態と「Hat」の発声状態（狭義にはそのうちの「ae」の発声状態）との類似度が閾値以上である場合にＯＫ，そうでない場合にＮＧと判定する。
【0082】
ステップＳ２０６において、表示処理部１１３は、解析処理部１１２での解析結果を表示する処理を行う。ここでは例えば図６－図８Ｂと同様に、人物の横顔のアニメーション表示や、リアルタイムでの特徴点の表示、類似度に応じた各特徴点の表示態様の変更等が行われてもよい。ただし、図１０Ｄを用いて後述するように、解析処理の結果は単語リストの全単語の発音が終わった後にまとめて表示されてもよく、ステップＳ２０６の処理は省略されてもよい。また図１０Ｂの例では、人物については舌や顎の状態に応じたアニメーション表示等が実行されないため、解析処理部１１２は、発声状態を特定する処理を省略し、類似度判定（正誤判定）のみを実行してもよい。
【0083】
ステップＳ２０７において、表示処理部１１３は、単語リストの全ての処理が完了したかを判定する。ここでの処理とは、対象の単語を表示し、当該表示に対するユーザの発声を音声情報として取得する処理を表す。未処理の単語が残っている場合（ステップＳ２０７：Ｎｏ）、表示処理部１１３は、ステップＳ２０３に戻って処理を継続する。
【0084】
例えば表示処理部１１３は、再度ステップＳ２０３の処理を行う場合、単語リスト内の未処理の単語のうち、順序が最も早い単語の表示処理を行う。図１０Ｃは、図１０Ｂよりも後に表示部２４０に表示される画面例である。例えば、図１０Ｃでは単語リストのうち、未学習（未発音）の単語数が残り３個の状態を示しており、その際の単語として「Hot」が表示される。この場合の処理は、上述したステップＳ２０４－Ｓ２０７と同様であり、音声情報の取得処理、解析処理、表示処理（省略可）、完了判定の各処理が実行される。
【0085】
単語リストに含まれる全ての単語の処理が完了した場合（ステップＳ２０７：Ｙｅｓ）、ステップＳ２０８において、表示処理部１１３は、学習結果を表示する処理を行う。図１０Ｄは、ステップＳ２０８で表示される画面例である。
【0086】
図１０Ｄの例では、表示処理部１１３は、「hat」「hut」「hot」の３つの単語の正解率をそれぞれ表示する。ここでの正解率とは、上記類似度判定（正誤判定）の結果から決定される情報である。例えば正解率は、各単語が表示された回数に対する、ＯＫ判定の回数の割合を表す。このように、単語毎に正解率を表示することによって、ユーザが類似する音の発音を区別できているか、発音が苦手な音がないか等をわかりやすく提示できる。また表示処理部１１３は、複数の単語の総合的な正解率を表示してもよい。この場合、図１０Ｄの例では、日本語の「ア」に類似する英語の音をどの程度正確に発音できているかをユーザに提示することが可能になる。
【0087】
なお、図１０Ｄに示すように、各単語の正解率と対応付けて、当該単語の復習を行うためのオブジェクト（ボタン）が表示されてもよい。例えば、「hat」に対応するオブジェクトの選択操作が行われた場合、表示処理部１１３は、図８Ａ、図８Ｂに戻って、「hat」を所定回数繰り返し発声させる表示処理を行ってもよい。このように、学習の第１段階（単語毎の学習）と、第２段階（類似する音を含む複数の単語を組み合わせた学習）を遷移しながら学習を行わせることによって、ユーザの発音能力を適切に開発することが可能になる。特に第２段階では、表示される単語を高速で発音することで、いわゆるフラッシュカードを用いた学習が実行されるため、単語と発音の関係を記憶させやすくすることが可能になる。
【0088】
また、本実施形態の手法では、ユーザに発声させるスピーキング学習に加えて、リスニング学習が行われてもよい。例えば図８Ａ及び図８Ｂに示したように、表示処理部１１３は、ユーザ自身の発声結果を出力するためのオブジェクトを表示してもよい。図８Ａの例では、表示処理部１１３は、再生オブジェクトＯＢ１及びＯＢ２を表示する。処理部１１０（または処理部２１０）は、再生オブジェクトＯＢ１の選択操作が行われた場合、望ましいhotの発声を表す音声情報（例えば第１言語の話者や第１言語の教育者の音声情報）を出力する。また処理部１１０は、再生オブジェクトＯＢ２の選択操作が行われた場合、ユーザがhotの発声を行った場合の音声情報を出力する。上述したように、ユーザの音声情報は解析処理用に録音されており、当該音声情報を出力することによって、ユーザに自身の発声を確認させることが可能になる。
【0089】
このようにすれば、人物の横顔のアニメーション表示や特徴点を用いた視覚的な情報に加えて、聴覚的な情報により理想的な発音とユーザの発音を比較できるため、学習効率の向上が可能になる。
【0090】
また表示処理部１１３は、ユーザの習熟度が低いと判定された場合、第１の音の発音記号として、文字情報を表示する処理を行い、ユーザの習熟度が高いと判定された場合、第１の音の発音記号として、第１の音を発声する際の口の形状を表す画像情報を表示する処理を行ってもよい。
【0091】
図１１Ａは、発音記号として文字情報が表示される画面例であり、図１１Ｂは、発音記号として画像情報が表示される画面例である。例えば解析処理部１１２は、図８Ａ、図８Ｂや図１０Ａ～図１０Ｄにおいて、ユーザの正解率が所定閾値未満である場合、習熟度が低いと判定する。この場合、ユーザは対象の音を発音する際の発声状態（口腔状態）に対する理解度が低いと考えられる。よって表示処理部１１３は、広く用いられており、習熟度の低いユーザにとっても分かりやすい文字情報の発音記号を表示する（図１１Ａ）。
【0092】
これに対して、ユーザの正解率が所定閾値上である場合、解析処理部１１２は、ユーザの習熟度が高いと判定する。この場合、ユーザは発声状態（口腔状態）に対する理解度が高いと考えられるため、表示処理部１１３は、発声状態を視覚的に表す画像情報の発音記号を表示する（図１１Ｂ）。このようにすれば、ユーザに舌や顎の動きをより意識させることが可能になるため、習熟度の更なる向上を促すことが可能になる。
【0093】
２．３ 例示
また第２言語の話者であるユーザにとって、第１言語の発音は日常的になじみが薄く、習得が難しい可能性がある。従って本実施形態では、第２言語における日常的な発音をガイドとして、第１言語の学習が行われてもよい。
また第２言語の話者であるユーザにとって、第１言語の発音は日常的になじみが薄く、習得が難しい可能性がある。従って本実施形態では、第２言語における日常的な発音をガイドとして、第１言語の学習が行われてもよい。
【0094】
例えば表示処理部１１３は、第１の音の発声に近い発声状態を用いて発声を行う日常動作を決定し、第１の音を含む単語と関連付けて、日常動作を表示する処理を行ってもよい。このようにすれば、第１言語の発音が日常動作に対応付けられるため、ユーザの理解度を高くすることが可能になる。
【0095】
図１２は、この場合の情報処理システム１０の処理を説明するフローチャートである。まずステップＳ３０１において、端末装置２００の操作部２５０は、学習対象となる英語の音の選択入力を受け付ける。例えば操作部２５０は、「h」の選択入力を受け付けてもよいし、「h」を含む単語（例えばhat, hut ,hot等）の入力を受け付けてもよい。
【0096】
ステップＳ３０２において、処理部１１０は、ユーザの選択入力に基づいて、発声状態が類似する日常動作を決定する。例えば記憶部１２０は、第１言語の音と、日常動作を対応付けたテーブルデータを記憶してもよい。処理部１１０は、ステップＳ３０１において選択された第１言語の音（第１の音）とテーブルデータに基づいて、対応する日常動作を決定する。例えば処理部１１０は、「h」の音に対応する日常動作として、「窓ガラスを磨く前に曇らせる為に息を吹きかける」という動作を決定する。
【0097】
ステップＳ３０３において、表示処理部１１３は、第１の音を含む単語と、日常動作を関連付けて表示する処理を行う。図１３は、第１の音である「h」を含む単語「hat」と、日常動作である窓ガラスを磨く前に曇らせる為に息を吹きかける動作を関連付けて表示する画面の例である。図１３に示す画面は、日常動作を表す画像を表示することによって、第１の音の発音に適した発声状態をユーザに示唆することが可能である。
【0098】
ステップＳ３０４において、端末装置２００のマイクはユーザの音声情報を録音する。サーバシステム１００の音声情報取得部１１１は、当該音声情報をネットワークを介して取得する。
【0099】
ステップＳ３０５において、解析処理部１１２は、音声情報に基づく正誤判定を行う。例えば解析処理部１１２は、上述したように、周波数解析とは異なる手法により、ＯＫ／ＮＧの判定あるいはスコアの算出を行う。また上述したように、これらの処理はサーバシステム１００とは異なるサーバで実行されてもよい。またステップＳ３０５において、解析処理部１１２は、ステップＳ１０５と同様に、周波数解析を含む処理を行ってもよい。例えば解析処理部１１２は、フォルマント等の特徴量を取得し、当該特徴量を学習済モデルに入力することによってユーザの発声状態を特定する。さらに解析処理部１１２は、ユーザの発声状態と、学習目標である音の発声状態の類似度を判定する。図１３の例であれば、解析処理部１１２は、ユーザの発声状態と「hot」の発声状態（狭義にはそのうちの「h」の発声状態）との類似度が閾値以上である場合にＯＫと判定し、類似度が閾値未満である場合にＮＧと判定する。
【0100】
ステップＳ３０６において、表示処理部１１３は、解析処理部１１２での処理結果を表示する処理を行う。例えば表示処理部１１３は、正誤判定の結果であるＯＫ／ＮＧに関する判定結果や類似度を表すスコアを表示する。またステップＳ３０５において周波数解析が行われている場合であれば、表示処理部１１４は、図６－図８Ｂと同様に、人物の横顔のアニメーション表示や、リアルタイムでの特徴点の表示、類似度に応じた表示態様の変更等をおこなってもよい。
【0101】
ステップＳ３０７において、表示処理部１１３は、ステップＳ３０１で選択された音の学習処理を終了するかを判定する。例えば端末装置２００の操作部２５０がユーザによる終了操作を受け付けた場合に、表示処理部１１３は学習処理を終了すると判定する。学習処理を終了しない場合（ステップＳ３０７：Ｎｏ）、表示処理部１１３は、ステップＳ３０３に戻って処理を継続する。学習処理を終了する場合（ステップＳ３０７：Ｙｅｓ）、図１２に示す処理が終了する。
【0102】
また表示処理部１１３によるガイド表示は、日常動作を用いたものには限定されない。例えば表示処理部１１３は、第１の音の発声に近い発声状態を含む第２言語の単語である類似発声語を決定し、第１の音を含む単語と関連付けて、類似発声語を表示する処理を行ってもよい。
【0103】
例えば「sh」の音は、日本語において蒸気機関車の走行音として用いられる擬態語の発音に近いと考えられる。従って、表示処理部１１３は、このような擬態語を類似発声語として「sh」を含む英単語とともに表示することによって、「sh」の発声の習得をサポートできる。例えば表示処理部１１４は、「sh」を含む単語と、蒸気機関車の画像、及び、当該蒸気機関車の画像に合わせた日本語での擬態語を関連付けて表示する処理を行ってもよい。あるいは「s」の音は日本語における「スイカ」の先頭部分に近いと考えられる。従って、表示処理部１１３は、「s」を含む英単語に関連付けて、「スイカ」を類似発声語として表示することによって、「s」の発声の習得をサポートできる。
【0104】
図１４は、この場合の情報処理システム１０の処理を説明するフローチャートである。まずステップＳ４０１において、端末装置２００の操作部２５０は、学習対象となる英語の音の選択入力を受け付ける。例えば操作部２５０は、「sh」や「s」の選択入力を受け付けてもよい。
【0105】
ステップＳ４０２において、処理部１１０は、ユーザの選択入力に基づいて、第２言語において発声状態が類似する類似発声語を決定する。例えば記憶部１２０は、第１言語の音と、類似発声語を対応付けたテーブルデータを記憶してもよい。処理部１１０は、ステップＳ４０１において選択された第１言語の音（第１の音）とテーブルデータに基づいて、対応する類似発声語を決定する。なお、テーブルデータは、第１言語の音に対して、日常動作または類似発声語が対応付けられたデータであってもよい。この場合、図１２のステップＳ３０２に示す処理と図１４のステップＳ４０２に示す処理を共通化することが可能である。
【0106】
ステップＳ４０３において、表示処理部１１３は、第１の音を含む単語と、類似発声語を関連付けて表示する処理を行う。ステップＳ４０４において、端末装置２００のマイクはユーザの音声情報を録音する。サーバシステム１００の音声情報取得部１１１は、当該音声情報をネットワークを介して取得する。
【0107】
ステップＳ４０５において、解析処理部１１２は、音声情報に基づく正誤判定を行う。ステップＳ４０６において、表示処理部１１３は、解析処理部１１２での処理結果を表示する処理を行う。
【0108】
ステップＳ４０７において、表示処理部１１３は、ステップＳ４０１で選択された音の学習処理を終了するかを判定する。学習処理を終了しない場合（ステップＳ４０７：Ｎｏ）、表示処理部１１３は、ステップＳ４０３に戻って処理を継続する。学習処理を終了する場合（ステップＳ４０７：Ｙｅｓ）、図１５に示す処理が終了する。
【0109】
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また情報処理システム、サーバシステム、端末装置等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0110】
１０…情報処理システム、１００…サーバシステム、１１０…処理部、１１１…音声情報取得部、１１２…解析処理部、１１３…表示処理部、１２０…記憶部、１３０…通信部、２００…端末装置、２１０…処理部、２２０…記憶部、２３０…通信部、２４０…表示部、２５０…操作部、ＯＢ１，ＯＢ２…再生オブジェクト、Ｐ…リアルタイムの特徴点、Ｐ１…第１特徴点、Ｐ２…第２特徴点、Ｐ３…第３特徴点、ＲＥ１，ＲＥ２…領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図12】
【図13】
【図14】