特開 2024-117979 外国語歌曲発音学習支援装置、方法、およびそのコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024117979

(43)【公開日】2024-08-30

(54)【発明の名称】外国語歌曲発音学習支援装置、方法、およびそのコンピュータプログラム

(51)【国際特許分類】

   G10L 15/22 20060101AFI20240823BHJP

   G10L 15/10 20060101ALI20240823BHJP

   G10L 15/18 20130101ALI20240823BHJP

   G10L 15/00 20130101ALI20240823BHJP

   G09B 15/00 20060101ALI20240823BHJP

【ＦＩ】

G10L15/22 453

G10L15/10 500Z

G10L15/18 300H

G10L15/00 200E

G09B15/00 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023024107

(22)【出願日】2023-02-20

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】田中 詩穂

(57)【要約】

【課題】音声と歌詞のテキスト上の発音の関連性を理解しやすくなる外国語歌曲発音学習支援装置を提供する。
【解決手段】外国語歌曲発音学習支援装置１００は差異抽出部１０を備え、差異抽出部１０は、外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する差異抽出部、
を備える外国語歌曲発音学習支援装置。

【請求項2】

前記歌詞テキストから得られる前記発音記号に対して前記歌詞テキストにおいて対応する文字を推定する対応推定部をさらに備え、
前記差異抽出部は、前記対応推定部により推定された前記歌詞テキストにおいて対応する文字を用いて、特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する、
請求項１に記載の外国語歌曲発音学習支援装置。

【請求項3】

各発音記号に対して近い発音となる前記外国語の文字の紐づけを行った情報を記憶する発音記号紐付情報記憶部をさらに備え、
前記対応推定部は、前記発音記号紐付情報記憶部に記憶される情報を用いて、前記歌詞テキストから得られる前記発音記号に対して近い発音となる前記外国語の文字の紐づけを行うことで、前記歌詞テキストから得られる前記発音記号に対して前記歌詞テキストにおいて対応する文字を推定する、
請求項２に記載の外国語歌曲発音学習支援装置。

【請求項4】

同一音素としてとらえ得る発音記号と音声記号の対応情報を記憶する音素紐付情報記憶部をさらに備え、
前記差異抽出部は、前記音素紐付情報記憶部の発音記号と音声記号の前記対応情報を利用して、前記発音記号に対して同一音素とし得る前記音声記号の特定を行う、
請求項１に記載の外国語歌曲発音学習支援装置。

【請求項5】

前記歌詞テキストに対して、前記差異抽出部より抽出された前記歌詞テキストの文字を強調表示するように前記歌詞テキストの編集処理を行う結果生成部、
をさらに備える請求項１から４のいずれか１項に記載の外国語歌曲発音学習支援装置。

【請求項6】

前記差異抽出部により特定された前記発音記号に対応する前記音声記号と、前記発音記号に対して同一音素とし得る前記音声記号とを用いて得られる音声記号の並びに対して、発音の近似する平仮名を対応付け、前記音声記号の並びと平仮名の応付けより、前記歌詞テキストを構成する単語の連結、分離を判断する単語連結分離部、
をさらに備える、請求項１に外国語歌曲発音学習支援装置。

【請求項7】

各音声記号に対して発音の近似する平仮名を対応付けた情報を記憶する平仮名紐付情報記憶部をさらに備え、
前記単語連結分離部は、前記平仮名紐付情報記憶部に記憶される情報を用いて、前記音声記号の並びと平仮名の応付けを行う、
請求項６に記載の外国語歌曲発音学習支援装置。

【請求項8】

前記歌詞テキストに対して、前記差異抽出部より抽出された前記歌詞テキストの文字を強調表示するように前記歌詞テキストの編集処理を行うとともに、前記単語連結分離部により得られた前記歌詞テキストを構成する単語の連結、分離の結果を反映するようにさらに前記歌詞テキストの編集処理を行う結果生成部、
をさらに備える、請求項６または７のいずれか１項に記載の外国語歌曲発音学習支援装置。

【請求項9】

外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、
前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、
特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する、
外国語歌曲発音学習支援方法。

【請求項10】

外国語歌曲発音学習支援装置のためのコンピュータプログラムであって、
外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、
前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、
特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する、
ことをプロセッサに実行させるための運用撮影装置のためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外国語歌曲発音学習支援装置、方法、およびそのコンピュータプログラムに関する。

【背景技術】

【0002】

英語等、母国語以外の歌曲をうまく歌えるようになりたい、との要望がある。ところで、英語等の歌曲においては、同じ歌詞でも歌手によって発音の仕方が異なるのみでなく、歌のリズム等にあわせて、省略される単語、通常と異なる発音をする単語も複数ある。そのため、テキストとしての歌詞の情報から各単語の発音記号を特定して外国語の歌曲の練習をしても、実際の歌手の発音からは大きく乖離してしまう可能性がある。

【0003】

英語等、母国語以外の第二言語とするユーザにとっては、歌曲において歌詞と乖離した発音を聞き取ることは比較的難易度が高いと言える。また、音声と歌詞のテキスト上の発音が乖離した状態だと、「この歌詞がなぜその発音になるのか」というメカニズムの理解が難しく、ユーザ自身が歌曲の発音を記憶し、歌唱する上での障壁となる。

【0004】

特許文献１は、ボーカルの音声から発音記号を生成するとともに時刻情報との紐付をして、歌詞に関するテキスト情報と発音記号とをマッチングすることで、音声とテキスト情報の表示同期情報を生成し、カラオケにおける歌詞表示に使用する装置を開示する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－４３３３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１は、音声と歌詞のテキスト情報のマッチングを行っているが、これは時刻情報を用いてカラオケにおける歌詞と音声の表示同期情報生成を目的とした技術である。そのため、特許文献１では、歌詞と音声の間の発音の差異・関連性を示すための情報は生成しない。また、特許文献１は、第二言語学習者にとっての歌詞と音声の関連性理解の困難さに対する解決策を提案するものではなく、ましてや、この点についての課題認識すら示していない。

【0007】

そこでこの発明は、上述の課題を解決すべくなされたもので、外国語歌曲発音学習支援装置、方法、およびそのコンピュータプログラムを提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明の第１の態様によれば、外国語歌曲発音学習支援装置は、外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する。

【0009】

また、本発明の第２の態様によれば、外国語歌曲発音学習支援方法は、外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する。

【0010】

また、本発明の第３の態様によれば、外国語歌曲発音学習支援装置のためのコンピュータプログラムは、外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する、ことをプロセッサに実行させる。

【発明の効果】

【0011】

本発明によれば、音声と歌詞のテキスト上の発音の関連性を理解しやすくなる、という効果が得られる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態における外国語歌曲発音学習支援装置の機能ブロック図である。

【図2】本発明の一実施形態における外国語歌曲発音学習支援装置にかかわる動作を示すフローチャートである。

【図3】本発明の一実施形態における歌詞テキストの一例を示す図である。

【図4】本発明の一実施形態における図３に示す歌詞を歌った際の音声データより得られる音声記号を示す図である。

【図5】本発明の一実施形態における図３に示す歌詞テキストより得られる発音記号を示す図である。

【図6】本発明の一実施形態における対応推定部の処理を説明するための図である。

【図7】本発明の一実施形態における発音記号紐付情報記憶部に記憶されるデータの一例を示す図である。

【図8】本発明の一実施形態における差異抽出部の処理を説明するための図である。

【図9】本発明の一実施形態における比較結果生成部により編集されたテキストの一例を示す図である。

【図10】本発明の一実施形態における平仮名紐付情報記憶部に記憶されるデータの一例を示す図である。

【図11】本発明の一実施形態における単語連結分離部による処理を説明するための図である。

【図12】本発明の一実施形態における比較結果生成部により編集されたテキストの一例を示す図である。

【図13】本発明の一実施形態における外国語歌曲発音学習支援装置を実現する際のハードウェア構成の一例を示す図である。

【図14】本発明の一実施形態による外国語歌曲発音学習支援装置の最小構成図を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態による外国語歌曲発音学習支援装置について、図面を参照して説明する。図１は同実施形態による外国語歌曲発音学習支援装置１００の構成を示すブロック図である。図１に示すように、外国語歌曲発音学習支援装置１００は、対応推定部８、発音記号紐付情報記憶部９、差異抽出部１０、音素紐付情報記憶部１１、比較結果生成部１４を備える。また、外国語歌曲発音学習支援装置１００は、さらに、単語連結分離部１２、平仮名紐付情報記憶部１３を備えてもよい。なお、外国語歌曲発音学習支援装置１００において、入力される情報を生成するために、音声データ入力部１、ボーカル音源抽出部２、音声発音情報特定部３、音声発音情報記憶部４、歌詞テキスト入力部５、テキスト発音情報記憶部６、発音記号検索部７とともに、出力のための出力部１５が用いられる。

【0014】

なお、これら音声データ入力部１、ボーカル音源抽出部２、音声発音情報特定部３、音声発音情報記憶部４、歌詞テキスト入力部５、テキスト発音情報記憶部６、発音記号検索部７、出力部１５の一部、または、すべてが、外国語歌曲発音学習支援装置１００に含まれてもよい。また、外国語歌曲発音学習支援装置１００は、対応推定部８、発音記号紐付情報記憶部９、差異抽出部１０、音素紐付情報記憶部１１、比較結果生成部１４、単語連結分離部１２、平仮名紐付情報記憶部１３の一部を、外国語歌曲発音学習支援装置１００外の外部装置に設けてもよい。

【0015】

各処理部、記憶部の説明を行う。音声データ入力部１は、歌詞テキストを歌う際の見本となる音声データを入力するための装置である。ボーカル音源抽出部２は、音声データ入力部１にて入力された歌曲の音声データからボーカル音源を抽出する。音声発音情報特定部３は、ボーカル音源抽出部２にて抽出されたボーカル音源から、ボーカル音源に含まれる音声に近い音声記号を抽出する。なお、ここでの「音声記号」とは、一例として、国際発音記号を用いて、ボーカル音源の音声を発音記号化したものとする。音声発音情報記憶部４は、音声と音声記号となる国際発音記号の結びつきパターンに関する情報を記憶する。また、音声発音情報記憶部４は、音声発音情報特定部３がボーカル音源の音声に近い音声記号を抽出する際に用いられる。

【0016】

歌詞テキスト入力部５は、歌曲の歌詞テキスト情報を入力するための装置である。テキスト発音情報記憶部６は、単語に紐づいた発音記号を記憶する。ここで、「発音記号」は、一例として国際発音記号を用いるものとする。発音記号検索部７は、歌詞テキスト入力部５を検索することで、歌詞テキスト入力部５にて入力される歌詞テキストを構成する各単語に対する発音記号を検索する。なお、「発音記号」と「音声記号」とを共に国際発音記号で表すことで、「発音記号」と「音声記号」との」対応を容易に確認することができるようになる。

【0017】

対応推定部８は、歌詞テキストを構成する単語の発音の構成に比較的近い母音と子音とを単語スペルを構成する文字の中から選出する。発音記号紐付情報記憶部９は、発音記号に近い発音となる、対象の外国語の文字との関係を示すデータを記憶する。また、発音記号紐付情報記憶部９は、対応推定部８が歌詞テキストを構成する単語の発音の構成に比較的近い母音と子音とを単語スペルを構成する文字の中から選出する際に参照される。

【0018】

差異抽出部１０は、歌詞テキストから得られた発音記号のうち音声として発音された発音記号、欠落した発音記号を抽出する。音素紐付情報記憶部１１は、発音記号のうち母国語となる日本語では同一音素と捉えられ得る音声記号の組み合わせを記憶する。なお、音素紐付情報記憶部１１は、差異抽出部１０が歌詞テキストから得られた発音記号のうち音声として発音され発音記号、欠落した発音記号を抽出する際に利用される。

【0019】

単語連結分離部１２は、差異抽出部１０により得られた結果に対して、発音の近似する平仮名を対応付けることで、歌詞テキストを構成する単語の連結、分離を判断する。平仮名紐付情報記憶部１３は、発音記号とそれに比較的近い平仮名の組み合わせを記憶する。また、平仮名紐付情報記憶部１３は、単語連結分離部１２が歌詞テキストを構成する単語の連結、分離を判断する際に利用される。

【0020】

比較結果生成部１４は、差異抽出部１０の処理に基づき、歌詞テキストのうち、実際に発音された音素の構成要素に比較的近い母音、子音を特定しハイライトした出力ができるように歌詞テキストの編集処理を行う。比較結果生成部１４は、さらに、単語連結分離部１２による処理結果を用いて、歌詞テキストを構成する単語の連結、分離関係を示すように歌詞テキストの編集処理を行う。出力部１５は、比較結果生成部１４で得られたテキストデータを電子機器の画面上に表示するための表示装置ないしは表示部を備えたデバイスである。

【0021】

次に、外国語歌曲発音学習支援装置１００の動作を説明する。図２は、本発明の一実施形態における外国語歌曲発音学習支援装置１００にかかわる動作を示すフローチャートである。

【0022】

音声データ入力部１は、母国語ではない外国語の歌詞を歌う際の発音の見本となる音声データの入力を受ける（ステップ２１）。一例として、図３に示す歌詞「I’ve been here all night」というフレーズを歌った音声データが入力されたとする。

【0023】

ボーカル音源抽出部２は、音声データ入力部１に入力された音声データより、歌詞を歌うボーカルの音声となるデータを抽出する（ステップ２２）。音声となるデータの抽出は、たとえば、必要に応じて歌詞テキストも利用して音声を抽出する音源分離技術、音声抽出技術と呼ばれる技術等を用いて行う。

【0024】

音声発音情報特定部３は、ボーカル音源抽出部２が抽出したボーカルの音声となるデータを用いて、音声に対応する音声記号を特定する（ステップ２３）。この際、音声発音情報特定部３は、音声発音情報記憶部４に記憶された音声と音声記号との対応関係を用いて、ボーカルの音声に対する音声記号を特定する。図４は、歌詞「I’ve been here all night」を歌う音声より、音声発音情報特定部３が特定した音声記号の一例を示す。

【0025】

歌詞テキスト入力部５は、母国語ではない外国語の歌詞テキストに関するデータの入力を受ける（ステップ２４）。一例として、図３に示す歌詞テキスト「I’ve been here all night」が入力されたものとする。

【0026】

発音記号検索部７は、歌詞テキスト入力部５にて入力された歌詞テキストのデータを用いて、歌詞テキストを構成する各単語の発音記号を特定する（ステップ２５）。この際、発音記号検索部７は、テキスト発音情報記憶部６に記憶された単語と発音記号との対応関係を用いて、歌詞テキストを構成する単語の発音記号を検索・特定する。図５は、歌詞テキスト「I’ve been here all night」に対して、発音記号検索部７が検索・特定した発音記号の一例を示す。発音記号検索部７は、歌詞テキストを構成する各単語と各単語に対応する発音記号の対応関係に関する情報も生成する。

【0027】

以上のステップ２１～２５が、外国語歌曲発音学習支援装置１００に入力されるデータの準備のための処理となる。なお、ステップ１１から１３の一連の処理と、ステップ２４，２５の一連の処理とは、並行して処理されてもよい。

【0028】

対応推定部８は、発音記号検索部７から入力される情報に対して、歌詞テキストを構成する単語を構成する文字のうち、歌詞テキストから得られた発音記号に最も対応する文字（アルファベット）を抽出する（ステップ２６）。なお、対応推定部８は、発音記号検索部７から歌詞テキストを構成する各単語と各単語に対応する発音記号の対応関係に関する情報についての入力も併せて受ける。ところで、歌詞テキストが英語の際、英単語における発音とスペルの結びつきパターンは多様である。そこで、発音記号とアルファベットの文字の対応関係を示すデータベースである発音記号紐付情報記憶部９は、図７に示すような各発音記号に対して発音記号の構成に近い文字（アルファベット）をそれぞれ紐づけた情報を記憶する。対応推定部８は、発音記号紐付情報記憶部９に記憶される各発音記号に対して近い発音のアルファベットの紐づけを行った情報を用いて、歌詞テキストから得られる発音記号に対して歌詞テキストを構成する単語の文字との対応関係を推定する。

【0029】

対応推定部８の処理を、図６を用いてより詳細に説明する。図６において、符号６Ａ、６Ｂは、発音記号検索部７から入力される情報を示している。すなわち、符号６Ａは歌詞データを構成する単語を示し、符号６Ｂは歌詞データを構成する各単語に対する発音記号を示している。例えば、単語“been”には、発音記号“bin”が対応することを示している。符号６Ｃは、符号６Ｂに示す発音記号に対して、発音記号に近い発音を示す文字を示す。この発音記号に近い発音を示す文字は、対応推定部８が図７に示すような発音記号検索部７に記憶された情報に対して、各発音記号をキーとして検索することにより得る。次に、対応推定部８は、符号６Ａに示す単語と、符号６Ｃに示す発音記号に近い文字とのマッチングを行うことで、各単語のどの文字が、発音記号に対するかを推定する。例えば、図６の単語“been”を例にすると、単語“been”に対して、３つの発音記号“b”、“i”、“n”が対応付けられている。対応推定部８は、これら３つの発音記号に、符号６Ｃに示される各文字“b”、”e,ea”、”n”が紐付けられた文字として特定する。続いて、対応推定部８は、発音記号を介して単語“been”に対して紐づけられた各文字“b”、”e,ea”、”n”との対比を行う。そして、対応推定部８は、単語“been”を構成する文字“ｂ”、最初の“e”、 ”n”と紐づけられた文字とがマッチングしたと判断する。符号６Ｅは、対応推定部８の処理の結果を示す。符号６Ｅにおいて、各単語においてボールドおよび下線のある文字が、歌詞テキストから得られる発音記号に対して歌詞テキストを構成する単語の文字との対応関係があると推定した結果となる。

【0030】

差異抽出部１０は、音声発音情報特定部３および対応推定部８からの入力を受け、外国語の歌詞テキストから得られる発音記号と、歌詞テキストの歌詞の音声データより得られる音声記号との比較を行う。そして、差異抽出部１０は、歌詞テキストから得られる発音記号に対応する音声記号、および、発音記号に対して同一音素とし得る音声記号を特定する。加えて、差異抽出部１０は、特定した音声記号に対応する歌詞テキストの文字を抽出する（ステップ２７）。差異抽出部１０は、この処理において、発音記号に対して同一音素として捉え得る音声記号の対応情報を記憶する音素紐付情報記憶部１１を利用する。

【0031】

差異抽出部１０の処理を、図８を用いてより詳細に説明する。図８において、符号６Ａ，６Ｂ，６Ｄは、図６に示す符号６Ａ，６Ｂ，６Ｄに対応し、対応推定部８から入力される情報となる。符号８Ａは、音声発音情報特定部３から入力される音声記号となる。差異抽出部１０は、符号６Ｂの発音記号に対して、音声記号が対応付けられるかを音素紐付情報記憶部１１に記憶される情報も利用して順次判断する。符号８Ｂは、発音記号に対する音声記号の有無に関する判断結果を示す。例えば、差異抽出部１０は、音素紐付情報記憶部１１を参照して、符号８Ｂに示すように、最初の発音記号“ai”に対しては、音素紐付情報記憶部１１を参照することで音声記号schwa sound （eを逆さまにしたような形）が類似する音素として対応付け可能と判断する。また、２つ目の発音記号“v”に対して音声記号“v”が一致し、３つめの発音記号“i”に対して音声記号の対応なし、のように、差異抽出部１０は、発音記号と音声記号の対応付けを行う。なお、符号８Ｂの三角印は発音記号に対して母国語となる日本語では同一音素と捉えられる音声記号であることを示す。また、丸印は発音記号と音声記号の一致を、バツ印は発音記号に対応する音声記号なしを示す。なお、図８では、発音記号の並びの順で、２つ目の発音記号“i”に対して、並びの順で１つ目の音声記号“i”が一致すると判断した例を示している。このようにして、差異抽出部１０は、発音記号と音声記号のマッチ率が高まるように、これらの類似、一致、不一致を順次判断する。図８における符号６Ｄでは、符号８Ｂで対応する（三角印）、または、一致する（丸印）と判断された単語中の文字をボールドで示した例である。このように、差異抽出部１０は、外国語の歌詞テキストから得られる発音記号に対して、この歌詞テキストの歌詞の音声データより得られる音声記号との比較を行い、発音記号に対応する音声記号、および、発音記号に対して同一音素とし得る音声記号を特定する。また、差異抽出部１０は、特定した音声記号に対応する歌詞テキストの文字を抽出する。

【0032】

比較結果生成部１４は、歌詞のテキストデータ、および、ステップ２７にて差異抽出部１０により得られた結果（例えば、図８の符号６Ｄに示す結果）の入力を得て、歌詞テキストの文字を強調表示するように歌詞テキストの編集処理を行う（ステップ２９）。図９は、ステップ２７での処理結果に基づき、比較結果生成部１４が歌詞テキストにおいて、歌詞を歌う音声で実際に発音されたと考えられる文字を強調処理した例を示す。図９において、ボールドおよび下線で示された文字が、歌詞テキスト中で、歌詞を歌う音声で実際に発音されたと考えられる文字を示す。

【0033】

また、比較結果生成部１４は、編集したテキストを、出力部１５となる表示装置に出力する（ステップ３０）。

【0034】

以上が、外国語歌曲発音学習支援装置１００へのデータの入力のための処理（ステップ２１～２５）や、外国語歌曲発音学習支援装置１００の動作（ステップ２６，２７，２９，３０）となる。

【0035】

なお、図１の説明において、外国語歌曲発音学習支援装置１００は、さらに、単語連結分離部１２、平仮名紐付情報記憶部１３を備えてもよい、と説明した。これら単語連結分離部１２、平仮名紐付情報記憶部１３による外国語歌曲発音学習支援装置１００の処理について図２を用いてさらに説明する。

【0036】

外国語歌曲発音学習支援装置１００におけるステップ２７の処理の後、外国語歌曲発音学習支援装置１００の単語連結分離部１２は、差異抽出部１０からの処理結果の入力を受ける。そして、単語連結分離部１２は、母語後となる日本語の発音上、歌詞テキストを構成する単語同士の連結または分離が発生したかを判断する（ステップ２８）。この処理において、単語連結分離部１２は、１または複数からなる音声記号に対して発音の近似する１または複数の平仮名を対応付けた情報を記憶する平仮名紐付情報記憶部１３を用いる。図１０は、名紐付情報記憶部１３に記憶される情報の一例を示す。図１０において、符号１０Ａは音声記号を、符号１０Ｂは音声記号に紐付けられた母国語の発音単位となる平仮名の一例を示す。

【0037】

ステップ２８における単語連結分離部１２の動作を、図１１を用いてより詳細に説明する。図１１において、符号６Ａ、８Ａ、６Ｄは、差異抽出部１０からの入力により得られる情報である。図１１の符号６Ａ、８Ａ、６Ｄは、それぞれ、図８の符号６Ａ、８Ａ，６Ｄに対応する。例えば、単語連結分離部１２は、平仮名紐付情報記憶部１３を検索することで、音声記号schwa sound （eを逆さまにしたような形）には平仮名の“あ”が、２つ音声記号の組み合わせ“v i”には平仮名の“び”が対応する、と判断する。このようにして順次判断した結果が、符号１１Ａに示される。図１１の例では、例えば、音声記号の組み合わせ“vi”に対して１つの平仮名“び”があてはめられ、複数の音声記号“n ai”に対して２の平仮名“ない”があてはめられる。

【0038】

単語連結分離部１２は、
１）割り当てられた平仮名単位において、平仮名単位に対して歌詞テキストを構成する複数の単語がかかわっている場合、母国語の発音上における外国語の単語の連結あり（例えば、図１１の符号１１Ｂの丸印）
２）歌詞テキストを構成する単語単位において、複数の平仮名が割り当てられている場合、母国語での発音上における外国語の単語の分離あり（例えば、図１１の符号１１Ｃの丸印）
と判断する。

【0039】

図１１の例では、割り当てられた平仮名単位である“び”が２つの単語“ve”と“been”に関連することから、単語連結分離部１２は、２つの単語“ve”と“been”において発音上の単語の連結あり、と判断する。また、単語“been”には、二つの平仮名単位である“び”と“に”が割り当てられていることから、単語連結分離部１２は、単語“been”は母国語での発音上の分離あり、と判断する。なお、図１１の例では、割り当てられた平仮名単位“ない”は、単語“night”と一致していることから、母国語での発音上の単語の連結、分離はない、と判断される。

【0040】

外国語歌曲発音学習支援装置１００において、図２のステップ２８の処理も行われる場合、比較結果生成部１４は、まず、ステップ２７により抽出された歌詞テキスト中の発音された文字を強調表示するように歌詞テキストの編集処理を行う。さらに、比較結果生成部１４は、ステップ２８により得られた歌詞テキストを構成する単語の連結、分離の結果を反映するようにさらに歌詞テキストの編集処理を行う（ステップ２９）。また、比較結果生成部１４は、ステップ２９での歌詞テキストの編集結果を出力部１５に出力する（ステップ３０）。なお、歌詞テキストの編集処理は、例えば、連結される単語間をハイフン“-”で結び、分離では単語の分離する部分にスペースを挿入する。図１２の符号１２Ａは、ステップ２９で編集された歌詞テキストの出力例を示す。また、比較結果生成部１４は、編集された歌詞テキストとともに、学習効果を高めるため符号１２Ｂに示すように音声記号も補助情報として併せて出力してもよい。

【0041】

以上説明した外国語歌曲発音学習支援装置１００により、母国語でない外国語歌曲において、歌詞テキストデータから得られる発音情報と実際の音声間に乖離が生じても、歌詞を歌う際の発音に沿ったテキスト表示が可能となる。結果として、母国語でない第二言語学習者にとって歌詞テキストデータと実際の音声の関連性を理解することが容易となる。なぜならば、歌詞テキストと実際に発音された音声の差異・関連性を示すことができ、結果として、言語学習者の発音への理解を促すことができる。

【0042】

なお、外国語歌曲発音学習支援装置１００の出力先となる出力部１５は、スマートフォン、タブレット、パソコン等のデバイスであってもよい。また、外国語歌曲発音学習支援装置１００は、Ｗｅｂに設けられたサーバであってもよい。外国語歌曲発音学習支援装置１００は、１つまたは複数の処理結果を蓄積し、リクエストにより随時、対象となる歌詞に関する処理結果を読み出し、リクエストのあった装置やデバイスに対して出力・送信してもよい。また、外国語歌曲発音学習支援装置１００は、英語学習を目的としたものや、音楽のストリーミングを目的とした他のアプリケーション（システム）と連携してもよい。

【0043】

外国語歌曲発音学習支援装置１００は、歌詞に限らず、英語をはじめとした外国語学習・教育の分野での応用も可能である。例えば、音楽配信アプリなどと連携させることによって、ストリーミング配信、サブスクリプションによるサービス提供を行えるようしてもよい。これによりユーザは、エンターテインメントと英語学習の垣根なく学習を継続することができる。

【0044】

なお、処理結果を示す歌詞テキストは、ボールド、下線、ハイフン、スペースを用いることに限定されない。発音されたと推定される文字、連結される単語、分離される単語が識別可能であればいずれの表示であってもよい。

【0045】

また、発音された音素の構成要素に比較的近い母音、子音がハイライトされた歌詞テキストは、一覧で表示されてもよく、また一文単位で分割して表示され、併せて該当箇所の音声も分割して再生可能な形としてもよい。

【0046】

実施の形態として、母国語として日本語を例にしたが、他の言語の発音単位を利用して、単語連結分離部１２等の母国語に関連した処理を行ってもよい。また、母国語に関する処理は、母国語以外の他の言語であってもよい。

【0047】

図１３は本発明の一実施形態による外国語歌曲発音学習支援装置１００のハードウェア構成を示す図である。外国語歌曲発音学習支援装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＳＳＤ（Solid State Drive）１０４といった不揮発性メモリ、および、必要に応じて通信モジュール１０５を備える。

【0048】

ＣＰＵ１０１は、ＲＯＭ１０２またはＳＳＤ１０４等の記録媒体に記憶されるプログラムを実行することで、外国語歌曲発音学習支援装置１００の各機能を実現する。

【0049】

ＳＳＤ１０４は、外国語歌曲発音学習支援装置の機能を実現するため必要となるデータ等も記憶する。なお、ＳＳＤ１０４は、他の不揮発性の記憶装置、例えば、ＨＤＤ（Hard Disk Drive）であってもよく、いくつかの異なる種類の不揮発性の記憶装置により構成させてもよい。通信モジュール１０５は、近距離無線通信やネットワーク接続のために用いられる。また、外国語歌曲発音学習支援装置１００は、キーボード、マウス、タブレット、表示装置といった入出力装置１０６ないしはそれらの入出力装置への接続ポートを備えてもよい。

【0050】

図１４は、本発明の一実施形態による外国語歌曲発音学習支援装置１００の最小構成図を示す図である。外国語歌曲発音学習支援装置１００は、差異抽出部１０を備える。差異抽出部１０は、外国語の歌詞テキストから得られる発音記号に対して、前記歌詞テキストの歌詞の音声データより得られる音声記号の比較を行い、前記発音記号に対応する前記音声記号、および、前記発音記号に対して同一音素とし得る前記音声記号を特定し、特定した前記音声記号に対応する前記歌詞テキストの文字を抽出する。

【0051】

なお、外国語歌曲発音学習支援装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより外国語歌曲発音学習支援装置１００における処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0052】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0053】

１ 音声データ入力部
２ ボーカル音源抽出部
３ 音声発音情報特定部
４ 音声発音情報記憶部
５ 歌詞テキスト入力部
６ テキスト発音情報記憶部
７ 発音記号検索部
８ 対応推定部
９ 発音記号紐付情報記憶部
１０ 差異抽出部
１１ 音素紐付情報記憶部
１２ 単語連結分離部
１３ 平仮名紐付情報記憶部
１４ 比較結果生成部
１５ 出力部
１００ 外国語歌曲発音学習支援装置
１０５ 通信モジュール
１０６ 入出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】