(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-29
(45)【発行日】2022-07-07
(54)【発明の名称】アクセント検出方法、装置及び非一時的な記憶媒体
(51)【国際特許分類】
G10L 25/60 20130101AFI20220630BHJP
G10L 25/18 20130101ALI20220630BHJP
G10L 25/90 20130101ALI20220630BHJP
G10L 25/21 20130101ALI20220630BHJP
【ＦＩ】
G10L25/60
G10L25/18
G10L25/90
G10L25/21
【請求項の数】
18
(21)【出願番号】P 2020168966
(22)【出願日】2020-10-06
(65)【公開番号】P2021179590
(43)【公開日】2021-11-18
【審査請求日】2020-10-06
(31)【優先権主張番号】202010389701.4
(32)【優先日】2020-05-11
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520016251
【氏名又は名称】新▲東▼方教育科技集▲団▼有限公司
(74)【代理人】
【識別番号】110000291
【氏名又は名称】弁理士法人コスモス国際特許商標事務所
(72)【発明者】
【氏名】高 興龍
(72)【発明者】
【氏名】李 悦
(72)【発明者】
【氏名】瞿 ▲ウェイ▼
【審査官】大野 弘
(56)【参考文献】
【文献】特開２０１２－２１５６６８（ＪＰ，Ａ）
【文献】特開２０１１－０７６０６８（ＪＰ，Ａ）
【文献】特開２０１１－２２１１５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ ２５／６０
Ｇ１０Ｌ ２５／１８
Ｇ１０Ｌ ２５／９０
Ｇ１０Ｌ ２５／２１
(57)【特許請求の範囲】
【請求項1】
単語のオーディオデータを取得することと、前記オーディオデータの韻律的特徴を抽出して、韻律的特徴ベクトルを得ることと、
前記オーディオデータに基づいてスペクトログラムを生成して、スペクトル特徴マトリックスを得ることと、
前記韻律的特徴ベクトルに対して平均分散正規化処理を行って、平均分散正規化された韻律的特徴ベクトルを得、前記スペクトル特徴マトリックスに対して平均分散正規化処理を行って、平均分散正規化された複数の周波数特徴ベクトルを含むスペクトル特徴マトリックスを得、前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得、前記第１の特徴マトリックスに対して冗長除去操作を行って第２の特徴マトリックスを得ることと、
分類器で前記第２の特徴マトリックスに対して分類処理を行って、前記オーディオデータのアクセント検出結果を得ることとを含み、
前記オーディオデータに基づいて前記スペクトログラムを生成して、前記スペクトル特徴マトリックスを得ることは、
前記単語及び前記オーディオデータに基づいて、前記単語に対応する前記オーディオデータにおける発音セグメントを確定することと、
前記オーディオデータにおける発音セグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行って、前記スペクトログラムを得ることと、
前記スペクトログラムに基づいて、所定のバックドメインの周波数帯域範囲においてオリジナルスペクトル特徴マトリックスを抽出することと、
前記オリジナルスペクトル特徴マトリックスに対して次元変換操作を行って、前記スペクトル特徴マトリックスを得ることを含み、
前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、前記第１の特徴マトリックスを得ることは、
前記平均分散正規化された韻律的特徴ベクトルに対して次元変換操作を行って、前記平均分散正規化されたスペクトル特徴マトリックスにおけるいずれの周波数特徴ベクトルの次元数と同じの第１の特徴ベクトルを得ることと、前記第１の特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチングを行って、前記第１の特徴マトリックスを得ることとを含み、前記第１の特徴マトリックスは、前記第１の特徴ベクトル及び前記平均分散正規化されたスペクトル特徴マトリックスにおける全ての周波数特徴ベクトルを含むこと、または、
前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスに含まれている前記複数の周波数特徴ベクトルに対してスティッチング操作を行って、前記第１の特徴マトリックスを得ることとを含む、
ことを特徴とする、コンピュータにより実行されるアクセント検出方法。
【請求項2】
前記第１の特徴マトリックスは、前記第１の特徴ベクトル及び前記平均分散正規化されたスペクトル特徴マトリックスにおける全ての前記複数の周波数特徴ベクトルを含む場合に、前記第１の特徴マトリックスに対して前記冗長除去操作を行って、前記第２の特徴マトリックスを得ることは、前記第１の特徴マトリックスにおける前記第１の特徴ベクトルと前記第１の特徴マトリックスにおける各周波数特徴ベクトルの各コサイン類似度を算出することと、
前記各コサイン類似度におけるいずれのコサイン類似度が第１の所定値よりも大きいことに応じて、前記いずれのコサイン類似度に対応する前記第１の特徴マトリックスにおける周波数特徴ベクトルをオールゼロベクトルに設定するか又は前記いずれのコサイン類似度に対応する前記第１の特徴マトリックスにおける周波数特徴ベクトルを前記第１の特徴マトリックスから削除することにより、前記第２の特徴マトリックスを得ることとを含む
ことを特徴とする、請求項１に記載のアクセント検出方法。
【請求項3】
前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスに含まれている前記複数の周波数特徴ベクトルに対してスティッチング操作を行って、前記第１の特徴マトリックスを得る場合に、前記第１の特徴マトリックスに対して前記冗長除去操作を行って、前記第２の特徴マトリックスを得ることは、第１の重みマトリックスを取得することと、
前記第１の重みマトリックスを利用して前記第１の特徴マトリックスを処理して、前記第１の特徴マトリックスの次元数よりも小さい次元低減マトリックスを得ることと、
前記次元低減マトリックスに対して次元変換操作を行って、前記第１の特徴マトリックスの次元数と同じの第１の中間特徴マトリックスを得ることと、
前記第１の中間特徴マトリックスにおける各要素を所定区間に変換して、第２の中間特徴マトリックスを得ることと、
前記第２の中間特徴マトリックスにおけるいずれの要素が第２の所定値よりも小さいことに応じて、前記第２の中間特徴マトリックスにおける前記いずれの要素をゼロに設定して、前記第２の特徴マトリックスを得ることとを含む
ことを特徴とする、請求項１に記載のアクセント検出方法。
【請求項4】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記単語に対応する単語時間長ガウス混合モデルを確定することと、
前記単語に対応する単語時間長ガウス混合モデルに基づいて、前記オーディオデータに対応する単語時間長尤度を抽出することとを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記単語時間長尤度を含む
ことを特徴とする、請求項１～３のいずれか１項に記載のアクセント検出方法。
【請求項5】
前記単語に対応する単語時間長ガウス混合モデルを確定することは、前記オーディオデータに基づいて、前記オーディオデータに対応する単語時間長を得ることと、
前記単語の音素加重和を算出し、前記単語の音素加重和に基づいて、前記単語のタイプを確定することと、
前記単語のタイプに基づいて、前記単語に対応する単語時間長ガウス混合モデルを確定することとを含み、
前記単語に対応する単語時間長ガウス混合モデルに基づいて、前記オーディオデータに対応する前記単語時間長尤度を抽出することは、
前記オーディオデータに対応する単語時間長に基づいて、前記単語に対応する単語時間長ガウス混合モデルによって前記オーディオデータに対応する第１の確率密度値を算出することと、
前記オーディオデータに対応する前記第１の確率密度値に基づいて、前記オーディオデータに対応する前記単語時間長尤度を得ることとを含む
ことを特徴とする、請求項４に記載のアクセント検出方法。
【請求項6】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記単語に対応するアクセント時間長ガンマ混合モデルを確定することと、
前記単語に対応する前記アクセント時間長ガンマ混合モデルに基づいて、前記オーディオデータに対応するアクセント音節時間長尤度を抽出することとを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記アクセント音節時間長尤度を含む
ことを特徴とする、請求項１～５のいずれか１項に記載のアクセント検出方法。
【請求項7】
前記単語に対応するアクセント時間長ガンマ混合モデルを確定することは、前記オーディオデータに基づいて、前記オーディオデータに対応する単語時間長及び前記単語におけるアクセント音節内の母音音素の音素時間長を得、得られた前記オーディオデータに対応する前記単語時間長及び前記単語における前記アクセント音節内の前記母音音素の音素時間長に基づいて、前記単語における前記アクセント音節内の前記母音音素の正規化音素時間長を確定することと、
前記単語における前記アクセント音節内の前記母音音素に基づいて、前記単語に対応する前記アクセント時間長ガンマ混合モデルを確定することとを含み、
前記単語に対応する前記アクセント時間長ガンマ混合モデルに基づいて、前記オーディオデータに対応する前記アクセント音節時間長尤度を抽出することは、
前記正規化音素時間長に基づいて、前記アクセント時間長ガンマ混合モデルによって前記オーディオデータに対応する第２の確率密度値を算出することと、
前記オーディオデータに対応する第２の確率密度値に基づいて、前記オーディオデータに対応する前記アクセント音節時間長尤度を得ることとを含む
ことを特徴とする、請求項６に記載のアクセント検出方法。
【請求項8】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記単語に対応する単語時間長ガウス混合モデルに基づいて、前記オーディオデータに対応する単語時間長尤度を抽出することと、
前記単語に対応するアクセント時間長ガンマ混合モデルに基づいて、前記オーディオデータに対応するアクセント音節時間長尤度を抽出することと、
前記オーディオデータに対応する前記単語時間長尤度及び前記オーディオデータに対応する前記アクセント音節時間長尤度に基づいて、前記オーディオデータに対応するアクセント音節と単語の時間長尤度の比の値を得ることとを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記アクセント音節と単語の時間長尤度の比の値を含む
ことを特徴とする、請求項１～７のいずれか１項に記載のアクセント検出方法。
【請求項9】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに対応する単語基本周波数傾きを抽出することを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記単語基本周波数傾きを含む
ことを特徴とする、請求項１～８のいずれか１項に記載のアクセント検出方法。
【請求項10】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに基づいて、前記単語におけるアクセント音節に対応するオーディオセグメントを確定することと、
前記単語における前記アクセント音節に対応する前記オーディオセグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行い、所定のバックドメインの周波数帯域範囲において前記オーディオデータに対応するアクセント音節の短時間エネルギー分散を抽出することとを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記アクセント音節の短時間エネルギー分散を含む
ことを特徴とする、請求項１～９のいずれか１項に記載のアクセント検出方法。
【請求項11】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータを前記単語のストレス母音及び非ストレス母音によって音節セグメント化して、ストレスオーディオセグメントを含むストレスオーディオグループ及び非ストレスオーディオセグメントを含む非ストレスオーディオグループを得ることと、
前記ストレスオーディオグループの平均基本周波数値及び前記非ストレスオーディオグループの平均基本周波数値を算出することと、
前記ストレスオーディオグループの前記平均基本周波数値及び前記非ストレスオーディオグループの前記平均基本周波数値に基づいて、前記オーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値を得ることとを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値を含む
ことを特徴とする、請求項１～１０のいずれか１項に記載のアクセント検出方法。
【請求項12】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータを前記単語のストレス母音及び非ストレス母音によって音節セグメント化して、ストレスオーディオセグメントを含むストレスオーディオグループ及び非ストレスオーディオセグメントを含む非ストレスオーディオグループを得ることと、
前記ストレスオーディオグループの平均エネルギー値及び前記非ストレスオーディオグループの平均エネルギー値を算出することと、
前記ストレスオーディオグループの前記平均エネルギー値及び前記非ストレスオーディオグループの前記平均エネルギー値に基づいて、前記オーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値を得ることとを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記ストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値を含む
ことを特徴とする、請求項１～１１のいずれか１項に記載のアクセント検出方法。
【請求項13】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに基づいて、前記単語におけるアクセント音節に対応するオーディオセグメントを確定することと、
前記単語における前記アクセント音節に対応するオーディオセグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行い、所定のバックドメインの周波数帯域範囲内の信号に対して時間領域変換を行って、中間波形を得ることと、
前記中間波形に対して経験的モード分解を行って、前記オーディオデータに対応する少なくとも１つのモード成分を得ることとを含み、
前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記少なくとも１つのモード成分を含む
ことを特徴とする、請求項１～１２のいずれか１項に記載のアクセント検出方法。
【請求項14】
前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに対応する単語時間長と、単語エネルギーと、単語基本周波数とからなるグループのうちの少なくとも１つを抽出することを含み、
前記韻律的特徴ベクトルの要素は、前記単語時間長と、前記単語エネルギーと、前記単
語基本周波数とからなるグループのうちの少なくとも１つを含む
ことを特徴とする、請求項１～１３のいずれか１項に記載のアクセント検出方法。
【請求項15】
前記分類器が畳み込みニューラルネットワークを含むことを特徴とする、請求項１～１４のいずれか１項に記載のアクセント検出方法。
【請求項16】
単語のオーディオデータを取得するように配置される取得ユニットと、前記オーディオデータの韻律的特徴を抽出して、韻律的特徴ベクトルを得るように配置される韻律的特徴抽出ユニットと、
前記単語及び前記オーディオデータに基づいて、前記単語に対応する前記オーディオデータにおける発音セグメントを確定し、 前記オーディオデータにおける発音セグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行って、前記スペクトログラムを得、 前記スペクトログラムに基づいて、所定のバックドメインの周波数帯域範囲においてオリジナルスペクトル特徴マトリックスを抽出し、 前記オリジナルスペクトル特徴マトリックスに対して次元変換操作を行って、前記スペクトル特徴マトリックスを得るように構成されているスペクトルマトリックス抽出ユニットと、
前記韻律的特徴ベクトルに対して平均分散正規化処理を行って、平均分散正規化された韻律的特徴ベクトルを得、前記スペクトル特徴マトリックスに対して平均分散正規化処理を行って、平均分散正規化された複数の周波数特徴ベクトルを含むスペクトル特徴マトリックスを得、前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得、前記第１の特徴マトリックスに対して冗長除去操作を行って、第２の特徴マトリックスを得るように配置されるマトリックス演算ユニットと、
前記第２の特徴マトリックスに対して分類処理を行って、前記オーディオデータのアクセント検出結果を取得するように配置される分類ユニットとを備え、
前記演算ユニットが、前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、前記第１特徴マトリックスを得ることは、
前記平均分散正規化された韻律的特徴ベクトルに対して次元変換操作を行って、前記平均分散正規化されたスペクトル特徴マトリックスにおけるいずれの周波数特徴ベクトルの次元数と同じの第１の特徴ベクトルを得ることと、前記第１の特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチングを行って、前記第１の特徴マトリックスを得ることとを含み、前記第１の特徴マトリックスは、前記第１の特徴ベクトル及び前記平均分散正規化されたスペクトル特徴マトリックスにおける全ての周波数特徴ベクトルを含むこと、または、
前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスに含まれている前記複数の周波数特徴ベクトルに対してスティッチング操作を行って、前記第１の特徴マトリックスを得ることとを含む、
ことを特徴とする、アクセント検出装置。
【請求項17】
コンピュータ読み取り可能なプログラムを非一時的に記憶するように配置されるメモリと、前記コンピュータ読み取り可能なプログラムを実行するように配置されるプロセッサとを備え、
前記コンピュータ読み取り可能なプログラムが前記プロセッサにより実行されるとき、請求項１～１５のいずれか１項に記載のアクセント検出方法が実行される
ことを特徴とする、アクセント検出装置。
【請求項18】
コンピュータ読み取り可能なプログラムを非一時的に記憶する非一時的な記憶媒体であって、前記コンピュータ読み取り可能なプログラムがコンピュータによって実行されるとき、請求項１～１５のいずれか１項に記載のアクセント検出方法のプログラムが実行されることができる
ことを特徴とする、非一時的な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２０年５月１１日付け出願の中国特許出願第２０２０１０３８９７０１．４号に基づく優先権を主張するものであり、その内容は、本願の一部として、上記の中国特許出願の全開示内容をここに引用される。
【0002】
本開示の実施例は、アクセント検出方法、アクセント検出装置及び非一時的な記憶媒体に関する。
【背景技術】
【0003】
英語の口語の学習では、各音節の発音の正確度は、話者の英語表現の標準度に直接に影響し、ここで、英語におけるアクセントの発音の正確度を把握することは、非常に重要な要素である。単語の発音が正しいか否かを判断することは、音節の発音だけでなくアクセントの位置にも依存する。アクセントの位置の正否は単語の意味や性質に影響を与えるため、アクセント検出も単語の発音の品質を評価する指標の一つとすべきである。以上のように、単語のアクセント検出は、口語の評価作業に不可欠な一環である。アクセント検出のフィードバックは、英語の学習者の口語能力を高めるための指導に役立ち、英語の学習者が正しい英語の発音を学習するのを助ける。
【発明の概要】
【0004】
本開示の少なくとも１つの実施例によれば、単語のオーディオデータを取得することと、前記オーディオデータの韻律的特徴を抽出して、韻律的特徴ベクトルを得ることと、前記オーディオデータに基づいてスペクトログラムを生成して、スペクトル特徴マトリックスを得ることと、前記韻律的特徴ベクトルと前記スペクトル特徴マトリックスとに対してスティッチング操作を行って第１の特徴マトリックスを得、前記第１の特徴マトリックスに対して冗長除去操作を行って第２の特徴マトリックスを得ることと、分類器で前記第２の特徴マトリックスに対して分類処理を行って、前記オーディオデータのアクセント検出結果を得ることとを含むアクセント検出方法を提供する。
【0005】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記韻律的特徴ベクトルと前記スペクトル特徴マトリックスとに対して前記スティッチング操作を行って、前記第１の特徴マトリックスを得ることは、前記韻律的特徴ベクトル及び前記スペクトル特徴マトリックスのそれぞれに対して平均分散正規化処理を行って、平均分散正規化された韻律的特徴ベクトル及び平均分散正規化されたスペクトル特徴マトリックスをそれぞれ得ることと、前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、前記第１の特徴マトリックスを得ることとを含む。
【0006】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記平均分散正規化されたスペクトル特徴マトリックスは、複数の周波数特徴ベクトルを含み、前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、前記第１の特徴マトリックスを得ることは、前記平均分散正規化された韻律的特徴ベクトルに対して次元変換操作を行って、前記平均分散正規化されたスペクトル特徴マトリックスにおけるいずれの周波数特徴ベクトルの次元数と同じの第１の特徴ベクトルを得ることと、前記第１の特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチングを行って、前記第１の特徴マトリックスを得ることとを含み、前記第１の特徴マトリックスは、前記第１の特徴ベクトル及び前記平均分散正規化されたスペクトル特徴マトリックスにおける全ての周波数特徴ベクトルを含む。
【0007】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記第１の特徴マトリックスに対して前記冗長除去操作を行って、前記第２の特徴マトリックスを得ることは、前記第１の特徴マトリックスにおける前記第１の特徴ベクトルと前記第１の特徴マトリックスにおける各周波数特徴ベクトルの各コサイン類似度を算出することと、前記各コサイン類似度におけるいずれのコサイン類似度が第１の所定値よりも大きいことに応じて、前記いずれのコサイン類似度に対応する前記第１の特徴マトリックスにおける周波数特徴ベクトルをオールゼロベクトルに設定するか又は前記いずれのコサイン類似度に対応する前記第１の特徴マトリックスにおける周波数特徴ベクトルを前記第１の特徴マトリックスから削除することにより、前記第２の特徴マトリックスを得ることとを含む。
【0008】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記平均分散正規化された韻律的特徴ベクトルと前記平均分散正規化されたスペクトル特徴マトリックスとに対して前記スティッチング操作を行って、前記第１の特徴マトリックスを得ることは、前記平均分散正規化された韻律的特徴ベクトルと、前記平均分散正規化されたスペクトル特徴マトリックスにおける各周波数特徴ベクトルとをそれぞれスティッチングして、前記第１の特徴マトリックスを得ることを含む。
【0009】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記第１の特徴マトリックスに対して前記冗長除去操作を行って、前記第２の特徴マトリックスを得ることは、第１の重みマトリックスを取得することと、前記第１の重みマトリックスを利用して前記第１の特徴マトリックスを処理して、前記第１の特徴マトリックスの次元数よりも小さい次元低減マトリックスを得ることと、前記次元低減マトリックスに対して次元変換操作を行って、前記第１の特徴マトリックスの次元数と同じの第１の中間特徴マトリックスを得ることと、前記第１の中間特徴マトリックスにおける各要素を所定区間に変換して、第２の中間特徴マトリックスを得ることと、前記第２の中間特徴マトリックスにおけるいずれの要素が第２の所定値よりも小さいことに応じて、前記第２の中間特徴マトリックスにおける前記いずれの要素をゼロに設定して、前記第２の特徴マトリックスを得ることとを含む。
【0010】
例えば、本開示のいくつかの実施例に係るアクセント検出方法は、トレーニングすべき第１の重みマトリックスに対してプレトレーニングを行って、前記第１の重みマトリックスを得ることをさらに含み、前記トレーニングすべき第１の重みマトリックスに対してプレトレーニングを行うことは、サンプル単語のサンプルオーディオデータを取得することと、前記サンプルオーディオデータに基づいて、前記サンプルオーディオデータに対応する第１の特徴マトリックスを得ることと、前記トレーニングすべき第１の重みマトリックスを利用して前記サンプルオーディオデータに対応する第１の特徴マトリックスを処理して、前記サンプルオーディオデータに対応する次元低減マトリックスを得ることと、トレーニングすべき第２の重みマトリックスを利用して前記サンプルオーディオデータに対応する次元低減マトリックスを処理して、前記サンプルオーディオデータに対応する第３の特徴マトリックスを得、前記サンプルオーディオデータに対応する第３の特徴マトリックスの次元数が前記サンプルオーディオデータに対応する第１の特徴マトリックスの次元数と同じであることと、前記サンプルオーディオデータに対応する第３の特徴マトリックス及び前記サンプルオーディオデータに対応する第１の特徴マトリックスに基づいて、損失関数によって損失値を算出することと、前記損失値に基づいて前記トレーニングすべき第２の重みマトリックス及び前記トレーニングすべき第１の重みマトリックスをそれぞれ修正することとを含む。
【0011】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記単語に対応する単語時間長ガウス混合モデルを確定することと、前記単語に対応する単語時間長ガウス混合モデルに基づいて、前記オーディオデータに対応する単語時間長尤度を抽出することとを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記単語時間長尤度を含む。
【0012】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記単語時間長ガウス混合モデルを構築することは、サンプル単語のサンプルオーディオデータを取得することと、前記サンプルオーディオデータに基づいて、前記サンプルオーディオデータに対応する単語時間長を得ることと、前記サンプル単語の音素加重和を算出し、前記サンプル単語の音素加重和に基づいて、前記サンプル単語のタイプを確定することと、各タイプの各サンプル単語のサンプルオーディオデータに対応する単語時間長に対して、前記各タイプに対応する単語時間長ガウス混合モデルを構築することとを含む。
【0013】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記単語に対応する単語時間長ガウス混合モデルを確定することは、前記オーディオデータに基づいて、前記オーディオデータに対応する単語時間長を得ることと、前記単語の音素加重和を算出し、前記単語の音素加重和に基づいて、前記単語のタイプを確定することと、前記単語のタイプに基づいて、前記単語に対応する単語時間長ガウス混合モデルを確定することとを含み、前記単語に対応する単語時間長ガウス混合モデルに基づいて、前記オーディオデータに対応する前記単語時間長尤度を抽出することは、前記オーディオデータに対応する単語時間長に基づいて、前記単語に対応する単語時間長ガウス混合モデルによって前記オーディオデータに対応する第１の確率密度値を算出することと、前記オーディオデータに対応する前記第１の確率密度値に基づいて、前記オーディオデータに対応する前記単語時間長尤度を得ることとを含む。
【0014】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記単語に対応するアクセント時間長ガンマ混合モデルを確定することと、前記単語に対応する前記アクセント時間長ガンマ混合モデルに基づいて、前記オーディオデータに対応するアクセント音節時間長尤度を抽出することとを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記アクセント音節時間長尤度を含む。
【0015】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記アクセント時間長ガンマ混合モデルを構築することは、サンプル単語のサンプルオーディオデータを取得することと、前記サンプルオーディオデータに基づいて、前記サンプルオーディオデータに対応する単語時間長及び前記サンプル単語における各音素の音素時間長を得、得られた前記サンプルオーディオデータに対応する単語時間長及び前記サンプル単語における各音素の音素時間長に基づいて、前記各音素の正規化音素時間長を確定することと、全ての前記正規化音素時間長をクラスタリングして、少なくとも１つの音素グループを得ることと、前記少なくとも１つの音素グループを問題セットとし、各種の音素に対して決定木クラスタリングを行って、前記各種の音素に対応するクラスタリング状態を得ることと、前記各種の音素に対応するクラスタリング状態に対して、前記各種の音素に対応するアクセント時間長ガンマ混合モデルを構築することとを含む。
【0016】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記単語に対応するアクセント時間長ガンマ混合モデルを確定することは、前記オーディオデータに基づいて、前記オーディオデータに対応する単語時間長及び前記単語におけるアクセント音節内の母音音素の音素時間長を得、得られた前記オーディオデータに対応する前記単語時間長及び前記単語における前記アクセント音節内の前記母音音素の音素時間長に基づいて、前記単語における前記アクセント音節内の前記母音音素の正規化音素時間長を確定することと、前記単語における前記アクセント音節内の前記母音音素に基づいて、前記単語に対応する前記アクセント時間長ガンマ混合モデルを確定することとを含み、前記単語に対応する前記アクセント時間長ガンマ混合モデルに基づいて、前記オーディオデータに対応する前記アクセント音節時間長尤度を抽出することは、前記正規化音素時間長に基づいて、前記アクセント時間長ガンマ混合モデルによって前記オーディオデータに対応する第２の確率密度値を算出することと、前記オーディオデータに対応する第２の確率密度値に基づいて、前記オーディオデータに対応する前記アクセント音節時間長尤度を得ることとを含む。
【0017】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記単語に対応する単語時間長ガウス混合モデルに基づいて、前記オーディオデータに対応する単語時間長尤度を抽出することと、前記単語に対応するアクセント時間長ガンマ混合モデルに基づいて、前記オーディオデータに対応するアクセント音節時間長尤度を抽出することと、前記オーディオデータに対応する前記単語時間長尤度及び前記オーディオデータに対応する前記アクセント音節時間長尤度に基づいて、前記オーディオデータに対応するアクセント音節と単語の時間長尤度の比の値を得ることとを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記アクセント音節と単語の時間長尤度の比の値を含む。
【0018】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに対応する単語基本周波数傾きを抽出することを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記単語基本周波数傾きを含む。
【0019】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに基づいて、前記単語におけるアクセント音節に対応するオーディオセグメントを確定することと、前記単語における前記アクセント音節に対応する前記オーディオセグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行い、所定のバックドメインの周波数帯域範囲において前記オーディオデータに対応するアクセント音節の短時間エネルギー分散を抽出することとを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記アクセント音節の短時間エネルギー分散を含む。
【0020】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータを前記単語のストレス母音及び非ストレス母音によって音節セグメント化して、ストレスオーディオセグメントを含むストレスオーディオグループ及び非ストレスオーディオセグメントを含む非ストレスオーディオグループを得ることと、前記ストレスオーディオグループの平均基本周波数値及び前記非ストレス基本周波数グループの平均基本周波数値を算出することと、前記ストレスオーディオグループの前記平均基本周波数値及び前記非ストレス基本周波数グループの前記平均基本周波数値に基づいて、前記オーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値を得ることとを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値を含む。
【0021】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータを前記単語のストレス母音及び非ストレス母音によって音節セグメント化して、ストレスオーディオセグメントを含むストレスオーディオグループ及び非ストレスオーディオセグメントを含む非ストレスオーディオグループを得ることと、前記ストレスオーディオグループの平均エネルギー値及び前記非ストレス基本周波数グループの平均エネルギー値を算出することと、前記ストレスオーディオグループの前記平均エネルギー値及び前記非ストレス基本周波数グループの前記平均エネルギー値に基づいて、前記オーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値を得ることとを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記ストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値を含む。
【0022】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに基づいて、前記単語におけるアクセント音節に対応するオーディオセグメントを確定することと、前記単語における前記アクセント音節に対応するオーディオセグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行い、所定のバックドメインの周波数帯域範囲内の信号に対して時間領域変換を行って、中間波形を得ることと、前記中間波形に対して経験的モード分解を行って、前記オーディオデータに対応する少なくとも１つのモード成分を得ることとを含み、前記韻律的特徴ベクトルの要素は、前記オーディオデータに対応する前記少なくとも１つのモード成分を含む。
【0023】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータの韻律的特徴を抽出して、前記韻律的特徴ベクトルを得ることは、前記オーディオデータに対応する単語時間長と、単語エネルギーと、単語基本周波数とからなるグループのうちの少なくとも１つを抽出することを含み、前記韻律的特徴ベクトルの要素は、前記単語時間長と、前記単語エネルギーと、前記単語基本周波数とからなるグループのうちの少なくとも１つを含む。
【0024】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記オーディオデータに基づいて前記スペクトログラムを生成して、前記スペクトル特徴マトリックスを得ることは、前記単語及び前記オーディオデータに基づいて、前記単語に対応する前記オーディオデータにおける発音セグメントを確定することと、前記オーディオデータにおける発音セグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行って、前記スペクトログラムを得ることと、前記スペクトログラムに基づいて、所定のバックドメインの周波数帯域範囲においてオリジナルスペクトル特徴マトリックスを抽出することと、前記オリジナルスペクトル特徴マトリックスに対して次元変換操作を行って、前記スペクトル特徴マトリックスを得ることとを含む。
【0025】
例えば、本開示のいくつかの実施例に係るアクセント検出方法において、前記分類器が畳み込みニューラルネットワークを含む。
【0026】
本開示の少なくとも１つの実施例によれば、単語のオーディオデータを取得するように配置される取得ユニットと、前記オーディオデータの韻律的特徴を抽出して、韻律的特徴ベクトルを得るように配置される韻律的特徴抽出ユニットと、前記オーディオデータに基づいてスペクトログラムを生成して、スペクトル特徴マトリックスを得るように配置されるスペクトルマトリックス抽出ユニットと、前記韻律的特徴ベクトルと前記スペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得、前記第１の特徴マトリックスに対して冗長除去操作を行って、第２の特徴マトリックスを得るように配置されるマトリックス演算ユニットと、前記第２の特徴マトリックスに対して分類処理を行って、前記オーディオデータのアクセント検出結果を取得するように配置される分類ユニットとを備えるアクセント検出装置をさらに提供する。
【0027】
本開示の少なくとも１つの実施例によれば、コンピュータ読み取り可能な命令を非一時的に記憶するように配置されるメモリと、前記コンピュータ読み取り可能な命令を実行するように配置されるプロセッサとを備え、前記コンピュータ読み取り可能な命令が前記プロセッサにより実行されるとき、本開示のいずれかの実施例に係るアクセント検出方法が実行されるアクセント検出装置をさらに提供する。
【0028】
本開示の少なくとも１つの実施例によれば、コンピュータ読み取り可能な命令を非一時的に記憶する非一時的な記憶媒体であって、前記コンピュータ読み取り可能な命令がコンピュータによって実行されるとき、本開示のいずれかの実施例に係るアクセント検出方法の命令が実行されることができる非一時的な記憶媒体をさらに提供する。
【図面の簡単な説明】
【0029】
本開示の実施例の技術案をより明確に説明するために、以下の実施例の図面が簡単に説明され、以下の説明における図面は、本開示のいくつかの実施例にのみ関し、本開示を限定するものではないことが明らかであろう。
【図1】本開示の少なくとも１つの実施例に係るアクセント検出方法のフローチャートである。
【図2】本開示の少なくとも１つの実施例に係る単語時間長ガウス混合モデルを予め構築するフローチャートである。
【図3】本開示の少なくとも１つの実施例に係るオーディオデータに対応する単語時間長尤度を抽出するフローチャートである。
【図4】本開示の少なくとも１つの実施例に係るアクセント時間長ガンマ混合モデルを予め構築するフローチャートである。
【図5】本開示の少なくとも１つの実施例に係る単語オーディオセグメント化の模式図である。
【図6】本開示の少なくとも１つの実施例に係るオーディオデータに対応するアクセント音節時間長尤度を抽出するフローチャートである。
【図7】本開示の少なくとも１つの実施例に係るスペクトル特徴マトリックスを抽出するフローチャートである。
【図8】本開示の少なくとも１つの実施例に係る第１の重みマトリックスをプレトレーニングするフローチャートである。
【図9】本開示の少なくとも１つの実施例に係るアクセント検出装置の模式的なブロック図である。
【図10】本開示の少なくとも１つの実施例に係る他のアクセント検出装置の模式的なブロック図である。
【図11】本開示の少なくとも１つの実施例に係る記憶媒体の模式図である。
【発明を実施するための形態】
【0030】
本開示の実施例の目的、技術案、および利点をより明確にするために、以下、本開示の実施例の技術案が、本開示の実施例の図面と併せて、明確かつ完全に説明される。明らかに、説明された実施例は、本開示の一部の実施例であり、すべての実施例ではない。説明された本開示の実施例に基づいて、発明的な労力を必要とすることなく当業者によって得られる他のすべての実施例は、本開示の保護範囲に属する。
【0031】
特に定義されない限り、本開示で使用される技術用語または科学用語は、本開示が属する技術分野の当業者によって理解される通常の意味である。本開示で使用される「第１の」、「第２の」および類似語は、任意の順序、数、または重要性を意味せず、異なる構成要素を区別するために使用されるだけである。「含む」または「備える」などの類似語は、単語の前に出現する要素または物体が、単語の後に出現する要素または物体およびその等価物を包含し、他の要素または物体を除外しないことを意味する。「接続される」または「連結される」などの類似の用語は、物理的または機械的接続に限定されず、直接的または間接的を問わず、電気的接続を含むことができる。「上」、「下」、「左」、「右」等は、相対的な位置関係を示すためのものに過ぎず、説明されるオブジェクトの絶対的な位置が変化すると、それに応じて相対的な位置関係も変化する可能性がある。
【0032】
以下、本開示を具体的な実施例のいくつかを用いて説明する。本開示は、本開示の実施例の以下の説明を明瞭かつ簡潔に確保するために、既知の機能および既知の構成要素の詳細な説明を省略する。本開示の実施例のいずれの構成要素が複数の図面に現れる場合、それらの構成要素は、各図面において同一又は類似の参照符号で表される。
【0033】
現在、英語発音のアクセント検出方法は、学習者の音声データから音節単位で韻律的特徴パラメータを抽出した後、これらの韻律的特徴パラメータに基づいて分類器によって学習者の音声データを分類検出し、関連するアクセント検出結果を取得することで、学習者のアクセントの発音が正確であるか否かを判断し、韻律的特徴には、一般的に、アクセント音節の時間長、アクセント音節のエネルギー、アクセント音節の基本周波数、メル周波数ケプストラム係数（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ、ＭＦＣＣ）、１次２次メル周波数ケプストラム係数などが含まれる。しかし、アクセント音節の時間長、アクセント音節のエネルギー、アクセント音節の基本周波数などの特徴は、主な注目点がアクセント音節セグメントにあり、実際に、単語がストレスされる場合、単語セグメント全体の特徴が変化し、これらの特徴の算出には完全性を欠き、そのため、識別性が大きく影響を受け、残響や背景雑音が大きい場合には効果が著しく低下する。一方、メル周波数ケプストラム係数( ＭＦＣＣ )、１次２次メル周波数ケプストラム係数などの非線形の音声特徴は、算出が比較的複雑であり、音節ストレスとの相関性が強くなく、分類検出結果の向上が限られる。
【0034】
本開示の少なくとも１つの実施例によれば、アクセント検出方法を提供する。該アクセント検出方法は、単語のオーディオデータを取得することと、前記オーディオデータの韻律的特徴を抽出して、韻律的特徴ベクトルを得ることと、前記オーディオデータに基づいてスペクトログラムを生成して、スペクトル特徴マトリックスを得ることと、前記韻律的特徴ベクトルと前記スペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得、前記第１の特徴マトリックスに対して冗長除去操作を行って、第２の特徴マトリックスを得ることと、分類器で前記第２の特徴マトリックスを処理して、前記オーディオデータのアクセント検出結果を取得することとを含む。
【0035】
本開示のいくつかの実施例によれば、アクセント検出方法に対応するアクセント検出装置及び非一時的な記憶媒体をさらに提供する。
【0036】
本開示の実施例に係るアクセント検出方法は、韻律的特徴とスペクトル特徴とを組み合わせてアクセント検出を行うことにより、アクセント検出結果の正確度を向上させ、また、冗長除去操作によりアクセント検出方法のアクセント検出速度および効率を向上させることができる。
【0037】
なお、本開示の実施例において、「発音セグメント」は、オーディオデータにおける単語に対応するオーディオの時間長を表し、「オーディオセグメント」は、音節に対応するオーディオの時間長(音節時間長)または音素に対応するオーディオの時間長(音素時間長)を表す。
【0038】
以下、本開示の実施例及びその例について、図面を参照しながら詳細に説明する。ここで記載の具体的な実施例は、本開示を説明および解釈するためのものにすぎず、本開示を限定するものではないことが理解されるべきである。
【0039】
【0040】
ステップＳ１００において、単語のオーディオデータを取得する。
【0041】
例えば、ステップＳ１００において、該オーディオデータは、クライアントのオーディオ収取デバイスによって収集された音声を含んでもよく、機械的、電子的などの方法によって合成された音声を含んでもよく、本開示の実施例は、これに限定されない。例えば、クライアントは、スマートフォン、タブレット、パーソナルコンピュータ、ＰＤＡ(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ)、ウェアラブルデバイス、頭部装着型ディスプレイデバイスなどを含むが、これらに限定されず、例えば、オーディオ収集デバイスは、クライアントに内蔵または外付けされるマイクロフォンを含むが、これらに限定されない。例えば、オーディオデータは、予め記録されても良いし、リアルタイムで記録されてもよく、本開示の実施例は、これに限定されない。
【0042】
例えば、いくつかの実施例では、該単語の正しい発音が既知であり、すなわち、該単語に含まれる母音音素および子音音素のタイプおよび数、アクセントの位置などが既知である。
【0043】
例えば、単語は、例えば、英単語などの外国語であってもよい。しかし、本開示はこれに限定されず、単語は中国語単語であってもよい。
【0044】
ステップＳ２００において、オーディオデータの韻律的特徴を抽出して、韻律的特徴ベクトルを得る。
【0045】
例えば、ステップＳ２００において、ステップＳ１００で取得したオーディオデータの１つまたは複数の韻律的特徴を抽出し、該１つまたは複数の韻律的特徴に基づいて韻律的特徴ベクトル（例えば、１次元のベクトル又は複数の次元のベクトルを含む）を形成することができる。例えば、上記の韻律的特徴ベクトルは、列ベクトルで表現されてもよく、本開示の実施例は、これに限定されない。
【0046】
例えば、いくつかの実施例において、上記の韻律的特徴が単語時間長尤度を含み、即ち、上記の韻律的特徴ベクトルの要素がオーディオデータに対応する単語時間長尤度を含む。オーディオデータの韻律的特徴を抽出することは、単語に対応する単語時間長ガウス混合モデルを確定し、単語に対応する単語時間長ガウス混合モデル（Ｇａｕｓｓｉａｎ Ｍｉｘｅｄ Ｍｏｄｅｌ、ＧＭＭ）に基づいて、オーディオデータに対応する単語時間長尤度を抽出することを含む。
【0047】
例えば、上記の単語時間長ガウス混合モデルは、予め構築されるものであってもよい。図２は本開示の少なくとも１つの実施例に係る単語時間長ガウス混合モデルを構築するフローチャートである。例えば、いくつかの実施例において、図２に示すように、上記の単語時間長ガウス混合モデルを構築することは、ステップＳ２０１～ステップＳ２０４を含む。
【0048】
ステップＳ２０１において、サンプル単語のサンプルオーディオデータを取得する。
【0049】
例えば、ステップＳ２０１において、サンプルオーディオデータの取得方式は、上記のステップＳ１００におけるオーディオデータの取得方式と類似しても良く、ここで説明を省略する。
【0050】
例えば、上記のステップＳ１００の単語と同様に、該サンプル単語の正しい発音が既知であり、すなわち、該サンプル単語が含む母音音素および子音音素のタイプおよび数、アクセント位置などが既知である。
【0051】
サンプル単語は、上述の単語時間長ガウス混合モデルの事前構築だけでなく、後続のアクセント時間長ガンマ混合モデルの事前構築及び第１の重みマトリックスのプレトレーニングなどにも使用可能であり、本開示の実施例は、これらに限定されないことが理解されるべきである。また、本開示の実施例では、対応する数学モデル構築プロセス(例えば、ガウス混合モデルの事前構築、アクセント時間長ガンマ混合モデルの事前構築)および/またはトレーニングプロセス(例えば、第１の重みマトリックスのプレトレーニング)などを実現するために、複数のサンプル単語が含まれ得ることが理解されるべきである。
【0052】
ステップＳ２０２において、サンプルオーディオデータに基づいて、サンプルオーディオデータに対応する単語時間長を得る。
【0053】
例えば、ステップＳ２０２において、所定の音響モデル（ａｃｏｕｓｔｉｃ ｍｏｄｅｌ）を利用して、サンプルオーディオデータをサンプル単語に強制的にアライメント（ｆｏｒｃｅ ａｌｉｇｎｍｅｎｔ）することで、サンプル単語に対応するサンプルオーディオデータにおける発音セグメントを確定し、その発音セグメントの時間長をサンプルオーディオデータに対応する単語時間長としてもよい。
【0054】
例えば、一般的に、音響モデルは、大量の英語の発音者の録音トレーニングによって生成され、音響モデルによって入力音声が既知テキストに該当する可能性を算出することができ、さらに、入力音声を既知テキストに強制的にアライメントすることができる。ここで、「入力音声」は、上記のオーディオデータまたは上記のサンプルオーディオデータであってもよく、「既知テキスト」は、上記の単語または上記のサンプル単語であってもよい。例えば、音響モデルに関する技術と、強制アライメントに関する技術では、音声認識の分野における技術を参照することができるため、ここではその説明を省略する。
【0055】
なお、所定の音響モデルによって入力音声を既知テキストに強制的にアライメントすることにより、既知テキストの各音節(例えば、アクセント音節、非アクセント音節)と入力音声の部分音声(例えば、ある音声セグメント)との対応関係、および、既知テキストの各音節の各音素(例えば、母音音素、子音音素)と入力音声の部分音声(例えばある音声セグメント)との対応関係を確定することができる。
【0056】
ステップＳ２０３において、サンプル単語の音素加重和を算出し、サンプル単語の音素加重和に基づいて、サンプル単語のタイプを確定する。
【0057】
例えば、ステップＳ２０３において、母音の音素の重みをａ、子音の音素の重みを１－ａとし、サンプル単語の音素加重和を下記の式(１)によって算出することができる。
Ｗｓｕｍ ＝ Ｃｅｉｌ（ａ＊Ｎ１＋（1－ａ）＊Ｎ２） （１）
ここで、Ｗｓｕｍはサンプル単語の音素加重和を表し、Ｎ１はサンプル単語における母音音素数を表し、Ｎ２はサンプル単語における子音音素の数を表し、Ｃｅｉｌ（・）はシーリング（Ｃｅｌｌｉｎｇ）関数を表す。
Ｗｓｕｍ ＝ Ｃｅｉｌ（ａ＊Ｎ１＋（1－ａ）＊Ｎ２） （１）
ここで、Ｗｓｕｍはサンプル単語の音素加重和を表し、Ｎ１はサンプル単語における母音音素数を表し、Ｎ２はサンプル単語における子音音素の数を表し、Ｃｅｉｌ（・）はシーリング（Ｃｅｌｌｉｎｇ）関数を表す。
【0058】
例えば、母音音素の重みａの値の範囲は、必要に応じて設定されることができる。例えば、いくつかの実施例では、母音音素の重みａの値の範囲は、[０．６，０．８]に設定されてもよく、本開示の実施例は、これに限定されない。
【0059】
例えば、ステップＳ２０３では、複数のサンプル単語のそれぞれの音素加重和の値に応じて、複数のサンプル単語を１つまたは複数のタイプに区分しても良い。例えば、サンプル単語の音素加重和の値のセットが{Ｗｓｕｍ＿１，Ｗｓｕｍ＿２，…，Ｗｓｕｍ＿Ｍ}である場合、複数のサンプル単語をＭ個のタイプに区分することができ、ここで、１≦ｍ≦Ｍである。ｍ＜Ｍの場合、あるタイプが、一般に、１つまたは複数の音素加重和の値に対応し得ることが理解されるべきである。例えば、いくつかの例では、ｍ ＝ Ｍ－２とし、この場合、Ｗｓｕｍ_１とＷｓｕｍ_２は、同じタイプＣ１に対応可能であり、Ｗｓｕｍ＿３～Ｗｓｕｍ＿（Ｍ－２)は、それぞれ、１つのタイプ(Ｃ２～C(Ｍ-３))に対応可能であり、Ｗｓｕｍ＿（Ｍ－１）とＷｓｕｍ＿Ｍは、同じタイプＣ（Ｍ－２)に対応可能であり、なお、上記のタイプの区分は例示的なものであり、本開示の実施例は、これに限定されない。例えば、いくつかの実施例では、mの値の範囲は、[１，８]に設定されてもよく、本開示の実施例は、これに限定されない。
【0060】
ステップＳ２０４において、各タイプの各サンプル単語のサンプルオーディオデータに対応する単語時間長に対して、各タイプに対応する単語時間長ガウス混合モデルを構築する。
【0061】
例えば、いくつかの実施例では、ＥＭ(Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ)アルゴリズムまたは一般的に使用される他のアルゴリズムなどを使用して、各タイプに対応する単語時間長ガウス混合モデルを求める(すなわち、モデルのパラメータを求めるまたは推定する)ことができる。例えば、あるタイプに対応する単語時間長ガウス混合モデルは、以下のように表すことができる。
【数1】
【0062】
図３は本開示の少なくとも１つの実施例に係るにおけるオーディオデータに対応する単語時間長尤度を抽出するフローチャートである。例えば、いくつかの実施例において、図３に示すように、単語に対応する単語時間長ガウス混合モデルを確定することは、ステップＳ２０５～ステップＳ２０７を含む。
【0063】
ステップＳ２０５において、オーディオデータに基づいて、オーディオデータに対応する単語時間長を得る。
【0064】
例えば、ステップＳ２０５において、上記の所定の音響モデルを利用して、オーディオデータを単語に強制的にアライメントすることで、単語に対応するオーディオデータにおける発音セグメントを確定し、その発音セグメントの時間長を、オーディオデータに対応する単語時間長としてもよい。
【0065】
ステップＳ２０６において、単語の音素加重和を算出し、単語の音素加重和に基づいて、単語のタイプを確定する。
【0066】
ステップＳ２０７において、単語のタイプに基づいて、単語に対応する単語時間長ガウス混合モデルを確定する。
【0067】
例えば、ステップＳ２０６の具体的な実現方式及びプロセスは、上記のステップＳ２０３に関する説明を参照することができる。例えば、上記の式(１)によって単語の音素加重和を算出し、その単語の音素加重和に基づいて単語のタイプを確定するようにしてもよい。
【0068】
例えば、図３に示すように、単語に対応する単語時間長ガウス混合モデルに基づいて、オーディオデータに対応する単語時間長尤度を抽出することは、ステップＳ２０８～ステップＳ２０９を含む。
【0069】
ステップＳ２０８において、オーディオデータに対応する単語時間長に基づいて、単語に対応する単語時間長ガウス混合モデルによってオーディオデータに対応する第１の確率密度値を算出する。
【0070】
例えば、ステップＳ２０８において、オーディオデータに対応する単語時間長（ステップＳ２０５で得る）を、単語のタイプ（ステップＳ２０６で得る）に対応する単語時間長ガウス混合モデル（前記式（２）を参照する）に代入して、オーディオデータに対応する第１の確率密度値を得、即ち、ｐ（ｘ）がオーディオデータに対応する第１の確率密度値を表す。
【0071】
ステップＳ２０９において、オーディオデータに対応する第１の確率密度値に基づいて、オーディオデータに対応する単語時間長尤度を得る。
【0072】
例えば、ステップＳ２０９において、以下の式（３）によってオーディオデータに対応する単語時間長尤度を算出する。
Ｆ１ ＝ ａｒｃｔａｎ（ｌｏｇ（ｐ（ｘ））） （３）
ここで、Ｆ１が単語時間長尤度を表し、ｌｏｇ（・）は１０を底とする対数関数を表し、ａｒｃｔａｎ（・）は逆正接関数を表す。
Ｆ１ ＝ ａｒｃｔａｎ（ｌｏｇ（ｐ（ｘ））） （３）
ここで、Ｆ１が単語時間長尤度を表し、ｌｏｇ（・）は１０を底とする対数関数を表し、ａｒｃｔａｎ（・）は逆正接関数を表す。
【0073】
例えば、いくつかの実施例において、単語時間長尤度Ｆ１を韻律的特徴ベクトルの要素としてても良く、例えば、他の実施例において、単語時間長尤度Ｆ１に対して平均分散正規化処理を行って韻律的特徴ベクトルの要素としても良い。
【0074】
例えば、いくつかの実施例において、上記の韻律的特徴はアクセント音節時間長尤度をさらに含み、即ち、上記の韻律的特徴ベクトルの要素はオーディオデータに対応するアクセント音節時間長尤度をさらに含む。オーディオデータの韻律的特徴を抽出することは、単語に対応するアクセント時間長ガンマ混合モデルを確定し、アクセント時間長ガンマ（Ｇａｍｍａ）混合モデルに基づいて、オーディオデータに対応するアクセント音節時間長尤度を抽出することを含んでもよい。
【0075】
図４は本開示の少なくとも１つの実施例に係るアクセント時間長ガンマ混合モデルを予め構築するフローチャートである。例えば、いくつかの実施例において、図４に示すように、上記のアクセント時間長ガンマ混合モデルを予め構築することは、ステップＳ２１１～ステップＳ２１５を含んでもよい。
【0076】
ステップＳ２１１において、サンプル単語のサンプルオーディオデータを取得する。
【0077】
例えば、ステップＳ２１１の具体的な実現方式及びプロセスは、上記のステップＳ２０１に関する説明を参照してもよく、ここで重複の説明を省略する。
【0078】
ステップＳ２１２において、サンプルオーディオデータに基づいて、サンプルオーディオデータに対応する単語時間長及びサンプル単語における各音素の音素時間長を得、得られたサンプルオーディオデータに対応する単語時間長及びサンプル単語における各音素の音素時間長に基づいて、各音素の正規化音素時間長を確定する。
【0079】
例えば、ステップＳ２１２において、サンプルオーディオデータに基づいてサンプルオーディオデータに対応する単語時間長を得る実現方式及びプロセスは、上記のステップＳ２０２に関する説明を参照しても良く、ここで重複の説明を省略する。
【0080】
例えば、いくつかの実施例において、所定の音響モデル（ａｃｏｕｓｔｉｃ ｍｏｄｅｌ）を利用して、サンプルオーディオデータをサンプル単語に強制的にアライメント（ｆｏｒｃｅ ａｌｉｇｎｍｅｎｔ）することで、サンプル単語における各音素とサンプルオーディオデータのオーディオデータの一部（例えば、あるオーディオセグメント）との対応関係を確定し、各音素に対応するオーディオデータの一部の時間長を該各音素の音素時間長としても良い。
【0081】
図５は本開示の少なくとも１つの実施例に係る単語のオーディオセグメント化の模式図である。図５は、単語「ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」を例に挙げて、強制アライメント操作により、単語「ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」に対応するオーディオデータをセグメント化することで、単語「ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」に対応する単語時間長と、単語「ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」内の各音節に対応する音節時間長と、単語「ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」内の各音素に対応する音素時間長とを確定することができる。
【0082】
例えば、いくつかの実施例において、以下の式（４）でサンプル単語における各音素の正規化音素時間長を算出する。
ｔｉ ＝ Ｔｉ/Ｔｗ （４）
ここで、ｔｉがサンプル単語におけるいずれの音素の正規化音素時間長を表し、Ｔｉがサンプル単語における当該いずれの音素の音素時間長を表し、Ｔｗがサンプル単語の単語時間長を示す。
ｔｉ ＝ Ｔｉ/Ｔｗ （４）
ここで、ｔｉがサンプル単語におけるいずれの音素の正規化音素時間長を表し、Ｔｉがサンプル単語における当該いずれの音素の音素時間長を表し、Ｔｗがサンプル単語の単語時間長を示す。
【0083】
ステップＳ２１３において、全ての正規化音素時間長をクラスタリングして、少なくとも１つの音素グループを得る。
【0084】
例えば、いくつかの実施例では、Ｋ平均(Ｋ－Ｍｅａｎｓ)クラスタリングアルゴリズムまたは一般に使用される他のクラスタリングアルゴリズムなどを使用して、すべての正規化音素時間長をクラスタリングして、少なくとも１つの音素グループを得ることができる。例えば、実用上は、上記の少なくとも１つの音素グループは、通常、複数の音素グループを含み、各音素グループは、少なくとも１つの音素を含む。
【0085】
ステップＳ２１４において、少なくとも１つの音素グループを問題セットとし、各種の音素に対して決定木クラスタリングを行って、各種の音素に対応するクラスタリング状態を得る。
【0086】
例えば、いくつかの実施例では、サンプル単語が属する言語(例えば、英語、ドイツ語、中国語など)のうち、全てのタイプの音素の各々に対してそれぞれ決定木クラスタリングを行い、各種の音素に対応するクラスタリング状態を取得してもよい。
【0087】
例えば、いくつかの実施例において、ステップＳ２１４における決定木クラスタリングは、各種の音素について、１つの決定木を確立し、当該音素に対応するすべての正規化音素時間長データをルートノードに置き、ステップＳ２１３で得られた音素グループを問題セットとし、問題セットをホイールトレーニングし、ある問題が当該音素のルートノードでの正規化音素時間長データセットを最適に２分類にすることができる場合、そのデータセットを２つのタイプに分類するステップと、リーフノードの数が予め設定された閾値を満たすまで上記のプロセスを再帰的に行い、リーフノードの数が予め設定された閾値を満たすと、分割を停止し、決定木クラスタリングを完了し、リーフノードをクラスタリング状態とするステップとを含んでもよい。
【0088】
なお、上述の決定木クラスタリングのステップは例示的なものであり、当業者は実際の必要に応じて適切な方式及びステップを選択してステップＳ２１４における決定木クラスタリングを実現してもよい。
【0089】
ステップＳ２１５において、各種の音素に対応するクラスタリング状態に基づいて、各種の音素に対応するアクセント時間長ガンマ混合モデルを構築する。
【0090】
例えば、いくつかの実施例において、ＥＭアルゴリズム又は他のアルゴリズムなどを使用して、各音素に対応するアクセント時間長ガンマ混合モデルを求める（すなわち、モデルのパラメータを求める又は推定する）ことができる。例えば、ある音素に対応するアクセント時間長ガンマ混合モデルは、以下の式で表す。
【数2】
【数3】
【0091】
図６は本開示の少なくとも１つの実施例に係るオーディオデータに対応するアクセント音節時間長尤度を抽出するフローチャートである。例えば、いくつかの実施例において、図６に示すように、単語に対応するアクセント時間長ガンマ混合モデルを確定することは、ステップＳ２１６～ステップＳ２１７を含む。
【0092】
ステップＳ２１６において、オーディオデータに基づいて、オーディオデータに対応する単語時間長及び単語におけるアクセント音節内の母音音素の音素時間長を得、得られたオーディオデータに対応する単語時間長及び単語におけるアクセント音節内の母音音素の音素時間長に基づいて、単語におけるアクセント音節内の母音音素の正規化音素時間長を確定する。
【0093】
例えば、ステップＳ２１６の具体的な実現方式及びプロセスは、上記のステップＳ２１２の記載を参照し、ここで重複の説明を省略する。単語が既知であるため、強制アライメント操作により、単語におけるアクセント音節に対応するオーディオデータ（例えば、あるオーディオセグメント）の一部を確定し、さらに、単語におけるアクセント音節内の母音音素に対応するオーディオデータの一部を確定することで、単語におけるアクセント音節内の母音音素に対応するオーディオデータの時間長の一部を単語におけるアクセント音節内の母音音素の音素時間長とし得ることが理解されるべきである。
【0094】
ステップＳ２１７において、単語におけるアクセント音節内の母音音素に基づいて、単語に対応するアクセント時間長ガンマ混合モデルを確定する。
【0095】
例えば、図６に示すように、単語に対応する前記アクセント時間長ガンマ混合モデルに基づいて、オーディオデータに対応するアクセント音節時間長尤度を抽出することは、ステップＳ２１８～Ｓ２１９を含む。
【0096】
ステップＳ２１８において、単語におけるアクセント音節内の母音音素の正規化音素時間長に基づいて、単語におけるアクセント音節内の母音音素に対応するアクセント時間長ガンマ混合モデルによって、オーディオデータに対応する第２の確率密度値を算出する。
【0097】
例えば、ステップＳ２１８において、単語におけるアクセント音節内の母音音素の正規化音素時間長（ステップＳ２１６で得る）を単語におけるアクセント音節内の母音音素（ステップＳ２１６で得る）に対応するアクセント時間長ガンマ混合モデル（上記の式（５）を参照する）に代入して、オーディオデータに対応する第２の確率密度値を得、即ちf(t)は、オーディオデータに対応する第２の確率密度値を示す。
【0098】
ステップＳ２１９において、オーディオデータに対応する第２の確率密度値に基づいて、オーディオデータに対応するアクセント音節時間長尤度を得る。
【0099】
例えば、ステップＳ２１９において、以下の式（７）によって、オーディオデータに対応するアクセント音節時間長尤度を算出する。
Ｆ２ ＝ ａｒｃｔａｎ（ｌｏｇ（ｆ（ｔ））） （７）
ここで、Ｆ２はアクセント音節時間長尤度を表し、ｌｏｇ（・）は１０を底とする対数関数を表し、ａｒｃｔａｎ（・）は逆正接関数を表す。
Ｆ２ ＝ ａｒｃｔａｎ（ｌｏｇ（ｆ（ｔ））） （７）
ここで、Ｆ２はアクセント音節時間長尤度を表し、ｌｏｇ（・）は１０を底とする対数関数を表し、ａｒｃｔａｎ（・）は逆正接関数を表す。
【0100】
例えば、いくつかの実施例において、アクセント音節時間長尤度Ｆ２をそのまま韻律的特徴ベクトルの要素としてもよく、例えば、他の実施例において、アクセント音節時間長尤度Ｆ２に対して平均分散正規化処理を行って韻律的特徴ベクトルの要素としてもよい。
【0101】
例えば、いくつかの実施例において、上記の韻律的特徴は、アクセント音節と単語の時間長尤度の比の値をさらに含み、即ち、上記の韻律的特徴ベクトルの要素は、アクセント音節と単語の時間長尤度の比の値をさらに含む。上記の単語時間長尤度とアクセント音節時間長尤度を抽出した上で、オーディオデータの韻律的特徴を抽出することは、オーディオデータに対応する単語時間長尤度及びオーディオデータに対応するアクセント音節時間長尤度に基づいて、オーディオデータに対応するアクセント音節と単語の時間長尤度の比の値を得る。
【0102】
例えば、いくつかの例において、以下の式（８）によって、オーディオデータに対応するアクセント音節と単語の時間長尤度の比の値を算出する。
Ｆ３ ＝ Ｆ２／Ｆ１ （８）
ここで、Ｆ３は、アクセント音節と単語の時間長尤度の比の値を表す。
Ｆ３ ＝ Ｆ２／Ｆ１ （８）
ここで、Ｆ３は、アクセント音節と単語の時間長尤度の比の値を表す。
【0103】
例えば、いくつかの実施例において、アクセント音節と単語の時間長尤度の比の値Ｆ３をそのまま韻律的特徴ベクトルの要素としてもよく、例えば、他の実施例において、アクセント音節と単語の時間長尤度の比の値Ｆ３に対して平均分散正規化処理を行って韻律的特徴ベクトルの要素としてもよい。
【0104】
例えば、いくつかの実施例において、上記の韻律的特徴は、単語基本周波数傾きをさらに含み、即ち、上記の韻律的特徴ベクトルの要素は、単語基本周波数傾きをさらに含む。オーディオデータの韻律的特徴を抽出することは、オーディオデータに対応する単語基本周波数傾きを抽出することを含む。
【0105】
例えば、いくつかの実施例では、オーディオデータに対応する単語基本周波数傾きを抽出することは、オーディオデータをフレーム分割することと、自己相関アルゴリズムまたはケプストラムまたは一般的に使用される他のアルゴリズムなどを使用して各フレームの基本周波数値を算出することと、各フレームの基本周波数値に対して線形フィットを行って単語基本周波数傾きＦ４を得ることとを含む。
【0106】
例えば、いくつかの例では、各フレームの時間長は２５ｍｓ～３５ｍｓであり、フレームシフトは１０ｍｓ～１５ｍｓであり、本開示の実施例は、これに限定されない。例えば、自己相関アルゴリズム、ケプストラムなどの基本周波数値の算出方法は、音声認識の分野における関連技術を参照することができるため、ここで重複の説明を省略する。
【0107】
例えば、いくつかの実施例において、単語基本周波数傾きＦ４をそのまま韻律的特徴ベクトルの要素としてもよく、例えば、他の実施例において、単語基本周波数傾きＦ４に対して平均分散正規化処理を行って韻律的特徴ベクトルの要素としてもよい。
【0108】
例えば、いくつかの実施例において、上記の韻律的特徴は、アクセント音節の短時間エネルギー分散をさらに含み、即ち、上記の韻律的特徴ベクトルの要素がアクセント音節の短時間エネルギー分散をさらに含む。オーディオデータの韻律的特徴を抽出することは、オーディオデータに基づいて、単語におけるアクセント音節に対応するオーディオセグメントを確定することと、単語におけるアクセント音節に対応するオーディオセグメントに対して、フレーム分割、周波数領域変換及びバック（Ｂａｒｋ）ドメイン変換を順次にを行い、所定のＢａｒｋドメイン周波数帯域範囲においてオーディオデータに対応するアクセント音節の短時間エネルギー分散を抽出することとを含む。
【0109】
例えば、いくつかの実施例において、強制アライメント動作によって、単語におけるアクセント音節に対応するオーディオデータ(例えば、あるオーディオデータセグメント)の一部を確定することができる。例えば、いくつかの実施例において、単語におけるアクセント音節に対応するオーディオセグメントは、複数のフレームに分割され、例えば、各フレームの時間長が２５～３５ｍｓであり、フレームシフトが１０～１５ｍｓとなり、本開示の実施例は、これに限定されない。例えば、いくつかの実施例では、フーリエ変換アルゴリズムなどを使用して、分割された各フレームを周波数領域変換し、その後、以下の式（９）によってバックドメイン変換を行う。
ｆＢａｒｋ ＝ ８．７ ＋ １４．２＊ｌｏｇ（ｆＬ/１０００） （９）
ここで、ｆＢａｒｋはＢａｒｋドメインにおける周波数を表し、ｆＬはＢａｒｋドメイン変換前の周波数(線形周波数領域における周波数)を表し、ｌｏｇ（・）は１０を底とした対数関数を表す。
ｆＢａｒｋ ＝ ８．７ ＋ １４．２＊ｌｏｇ（ｆＬ/１０００） （９）
ここで、ｆＢａｒｋはＢａｒｋドメインにおける周波数を表し、ｆＬはＢａｒｋドメイン変換前の周波数(線形周波数領域における周波数)を表し、ｌｏｇ（・）は１０を底とした対数関数を表す。
【0110】
例えば、いくつかの実施例において、各フレームのエネルギーを所定のＢａｒｋドメインの周波数帯域範囲内で算出し、さらに各フレームのエネルギーの分散を算出することで、オーディオデータに対応するアクセント音節の短時間エネルギー分散Ｆ５を得ることができる。
【0111】
本発明者らは、研究において、５０Ｈｚ未満の周波数帯域には、定周波雑音が混入しやすく、５０ Ｈｚ未満の周波数帯域から抽出される特徴成分が定周波雑音による干渉を受けやすく、アクセント検出の正確度を高めるのに不利であり、５００Ｈｚよりも高い周波数帯域は、一般にエネルギーが低く、５００Ｈｚよりも高い周波数帯域から抽出される特徴成分が一般に不安定であり、アクセント検出の正確度を高めるのに不利であることを分かった。したがって、いくつかの例では、所定のＢａｒｋドメインの周波数帯域範囲は、[５０Ｈｚ，５００Ｈｚ]のＢａｒｋドメインの周波数チャネルを含んでもよい。上記の[５０Ｈｚ，５００Ｈｚ]のＢａｒｋドメインの周波数帯域範囲を利用することにより、Ｂａｒｋドメインの全周波数帯域範囲を利用する場合に比べて、演算量を低減することができ、演算効率を向上させることができることがわかる。なお、本開示の実施例はこれに限定されず、実用上、所定のＢａｒｋドメインの周波数帯域範囲は必要に応じて選択されてもよい。
【0112】
例えば、いくつかの実施例において、アクセント音節の短時間エネルギー分散Ｆ５をそのまま韻律的特徴ベクトルの要素としてもよく、例えば、他の実施例において、アクセント音節の短時間エネルギー分散Ｆ５に対して平均分散正規化処理を行って韻律的特徴ベクトルの要素としてもよい。
【0113】
例えば、いくつかの実施例において、上記の韻律的特徴は、ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値をさらに含み、即ち、上記の韻律的特徴ベクトルの要素は、ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値をさらに含む。オーディオデータの韻律的特徴を抽出することは、オーディオデータを単語のストレス母音及び非ストレス母音によって音節セグメント化して、ストレスオーディオセグメントを含むストレスオーディオグループ及び非ストレスオーディオセグメントを含む非ストレスオーディオグループを得ることと、ストレスオーディオグループの平均基本周波数値及び非ストレス基本周波数グループの平均基本周波数値を算出することと、ストレスオーディオグループの平均基本周波数値及び非ストレス基本周波数グループの平均基本周波数値に基づいて、オーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値を得ることとを含む。
【0114】
例えば、いくつかの実施例において、強制アライメント操作により、オーディオデータを単語のストレス母音及び非ストレス母音によって音節セグメント化することができる。例えば、いくつかの例では、図５に示すように、単語「ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」を例に挙げると、強制アライメント操作により音節セグメント化した後、５つのオーディオセグメントを得、これら５つのオーディオセグメントは、それぞれ、音節「ｃｏｎ」、「ｇｒａ」、「ｔｕ」、「ｌａ」、「ｔｉｏｎｓ」に対応し、ここで、単語「ｃｏｎｇｒａｔｕｌａｔｉｏｎｓ」は、音節「la」でストレスされることにより、１つのストレスオーディオセグメント(「ｌａ」に対応)を含むストレスオーディオグループと、４つの非ストレスオーディオセグメント(「ｃｏｎ」、「ｇｒａ」、「ｔｕ」、「ｔｉｏｎｓ」にそれぞれ対応)を含む非ストレスオーディオグループとが得られる。
【0115】
例えば、いくつかの実施例において、自己相関アルゴリズムやケプストラム又は他のアルゴリズムなどを使用してストレスオーディオグループ／非ストレスオーディオグループ内の各オーディオセグメントの基本周波数値を算出し、次に、ストレスオーディオグループ／非ストレスオーディオグループの全てのオーディオセグメントの基本周波数値の平均を算出し、ストレスオーディオグループ／非ストレスオーディオグループの平均基本周波数値を得る。ストレスオーディオグループ／非ストレスオーディオグループに１つのオーディオセグメントのみが含まれる場合、当該オーディオセグメントの基本周波数値をそのままストレスオーディオグループ／非ストレスオーディオグループの平均基本周波数値とし得ることが理解されるべきである。
【0116】
例えば、いくつかの実施例において、ストレスオーディオグループの平均基本周波数値と非ストレス基本周波数グループの平均基本周波数値の比の値をオーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値Ｆ６としてもよい。
【0117】
例えば、いくつかの実施例において、ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値Ｆ６をそのまま韻律的特徴ベクトルの要素としてもよく、例えば、他の実施例において、ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値Ｆ６に対して平均分散正規化処理を行って韻律的特徴ベクトルの要素としてもよい。
【0118】
例えば、いくつかの実施例において、上記の韻律的特徴は、ストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値をさらに含み、即ち、上記の韻律的特徴ベクトルの要素がストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値をさらに含む。オーディオデータの韻律的特徴を抽出することは、オーディオデータを単語のストレス母音及び非ストレス母音によって音節セグメント化して、ストレスオーディオセグメントを含むストレスオーディオグループ及び非ストレスオーディオセグメントを含む非ストレスオーディオグループを得ることと、ストレスオーディオグループの平均エネルギー値及び非ストレス基本周波数グループの平均エネルギー値を算出することと、ストレスオーディオグループの平均エネルギー値及び非ストレス基本周波数グループの平均エネルギー値に基づいて、オーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値を得ることとを含む。
【0119】
例えば、いくつかの実施例において、強制アライメント操作により、オーディオデータを単語のストレス母音及び非ストレス母音によって音節セグメント化して、ストレスオーディオセグメントを含むストレスオーディオグループ及び非ストレスオーディオセグメントを含む非ストレスオーディオグループを得ることができる。例えば、当該ステップは、ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値Ｆ６の抽出に関する操作の説明を参照し、ここで重複の説明を省略する。
【0120】
例えば、いくつかの実施例において、ストレスオーディオグループ／非ストレスオーディオグループの各オーディオセグメントの振幅値の２乗に対して積分し（又は合計）、当該各オーディオセグメント時間長で除算して、ストレスオーディオグループ／非ストレスオーディオグループの各オーディオセグメントの平均エネルギー値を得、次に、ストレスオーディオグループ／非ストレスオーディオグループ内の全てのオーディオセグメントの平均エネルギー値の平均を算出し、ストレスオーディオグループ／非ストレスオーディオグループの平均エネルギー値を得る。ストレスオーディオグループ／非ストレスオーディオグループに１つのオーディオセグメントのみが含まれる場合、当該オーディオセグメントの平均エネルギー値をそのままストレスオーディオグループ／非ストレスオーディオグループの平均エネルギー値とし得ることが理解されるべきである。
【0121】
例えば、いくつかの実施例において、ストレスオーディオグループの平均エネルギー値と非ストレス基本周波数グループの平均エネルギー値の比の値をオーディオデータに対応するストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値Ｆ７としてもよい。
【0122】
例えば、いくつかの実施例において、ストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値Ｆ７をそのまま韻律的特徴ベクトルの要素としてもよく、例えば、他の実施例において、ストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値Ｆ７に対して平均分散正規化処理を行って韻律的特徴ベクトルの要素としてもよい。
【0123】
例えば、いくつかの実施例において、上記の韻律的特徴は、前記少なくとも１つのモード成分をさらに含み、即ち、上記の韻律的特徴ベクトルの要素は、前記少なくとも１つのモード成分をさらに含む。オーディオデータの韻律的特徴を抽出することは、オーディオデータに基づいて、単語におけるアクセント音節に対応するオーディオセグメントを確定することと、単語におけるアクセント音節に対応するオーディオセグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行い、所定のＢａｒｋドメインの周波数帯域範囲内の信号を時間領域変換を行って、中間波形を得ることと、中間波形に対して経験的モード分解（ｅｍｐｉｒｉｃａｌ ｍｏｄｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ、単にＥＭＤともいう）を行って、オーディオデータに対応する少なくとも１つのモード成分を得ることとを含む。
【0124】
例えば、いくつかの実施例において、オーディオデータに基づいて単語におけるアクセント音節に対応するオーディオセグメントを確定することと、単語におけるアクセント音節に対応するオーディオセグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行うこととは、いずれもオーディオデータに対応するアクセント音節の短時間エネルギー分散Ｆ５の抽出操作における関連の説明を参照することができ、ここでは重複の説明を省略する。
【0125】
例えば、いくつかの実施例において、所定のＢａｒｋドメインの周波数帯域範囲は、[５０Ｈｚ，５００Ｈｚ]のＢａｒｋドメインの周波数チャネルを含み、本開示の実施例は、これに限定されない。例えば、いくつかの実施例では、逆フーリエ変換アルゴリズムなどを使用し、所定のＢａｒｋドメインの周波数帯域範囲内の信号を時間領域変換して、中間波形を得てもよい。
【0126】
経験的モード分解方法の具体的な実現プロセスは、従来の時間周波数分析方法における関連の説明を参照することができ、ここでは詳しい説明を省略する。
【0127】
例えば、いくつかの実施例において、オーディオデータに対応する少なくとも１つのモード成分は、経験的モード分解によって得られた最初の３つのモード成分を含み、これら最初の３つのモード成分は、それぞれ第１のモード成分Ｆ８、第２のモード成分Ｆ９及び第３のモード成分Ｆ１０と記述される。
【0128】
例えば、いくつかの実施例において、第１のモード成分Ｆ８、第２のモード成分Ｆ９及び第３のモード成分Ｆ１０は、それぞれ、そのまま韻律的特徴ベクトルの要素とされてもよく、例えば、他の実施例において、第１のモード成分Ｆ８、第２のモード成分Ｆ９及び第３のモード成分Ｆ１０に対してそれぞれ平均分散正規化処理を行って韻律的特徴ベクトルの要素をとしてもよい。
【0129】
なお、本開示において、例示的に、上記少なくとも１つのモード成分は、経験的モード分解によって得られる最初の３つのモード成分を含む。実際の必要に応じて、前記少なくとも１つのモード成分は、より多い又はより少ないモード成分を含んでもよく、それに応じて、韻律的特徴ベクトルの要素も、より多い又はより少ないモーダル成分を含んでもよく、本開示の実施例は、これに限定されない。
【0130】
例えば、いくつかの実施例において、オーディオデータの韻律的特徴を抽出することは、オーディオデータに対応する単語時間長と、単語エネルギーと、単語基本周波数とのうちの少なくとも１つを抽出することを含む。
【0131】
例えば、いくつかの例では、所定の音響モデルを利用して、オーディオデータを単語に強制的にアライメントすることにより、単語に対応するオーディオデータにおける発音セグメントを確定し、この発音セグメントの時間長を、オーディオデータに対応する単語時間長Ｆ１１としてもよい。例えば、いくつかの例では、オーディオデータにおける発音セグメントの振幅値の２乗を積分(または合計)して、オーディオデータに対応する単語エネルギーＦ１２を得る。例えば、いくつかの例では、自己相関アルゴリズムやケプストラム、または、他のアルゴリズムなどを使用して、オーディオデータにおける発音セグメントの基本周波数値を算出して、オーディオデータに対応する単語基本周波数Ｆ１３を得てもよい。
【0132】
例えば、いくつかの実施例において、単語時間長Ｆ１１、単語エネルギーＦ１２及び単語基本周波数Ｆ１３のそれぞれをそのまま韻律的特徴ベクトルの要素としてもよく、例えば、他の実施例において、単語時間長Ｆ１１、単語エネルギーＦ１２及び単語基本周波数Ｆ１３に対してそれぞれ平均分散正規化処理を行って韻律的特徴ベクトルの要素としてもよい。
【0133】
例えば、いくつかの実施例において、オーディオデータの韻律的特徴を抽出することは、オーディオデータに対応する短時間平均ゼロ交差率、メル周波数ケプストラム係数、１次２次のメル周波数ケプストラム係数などのうちの少なくとも１つを抽出することをさらに含んでもよい。例えば、短時間平均ゼロ交差率、メル周波数ケプストラム係数、１次２次のメル周波数ケプストラム係数等の抽出方法は、音声認識分野の関連技術を参照すればよく、ここではその説明を省略する。
【0134】
例えば、いくつかの実施例では、ステップＳ２００で得られた韻律的特徴ベクトルの要素は、上記の全ての韻律的特徴の１つ又は複数(全てを含む)を含んでもよい。例えば、いくつかの例において、ステップＳ２００で得られた韻律的特徴ベクトルの要素は、単語時間長尤度Ｆ１、アクセント音節時間長尤度Ｆ２、アクセント音節と単語の時間長尤度の比の値Ｆ３、単語基本周波数傾きＦ４、アクセント音節の短時間エネルギー分散Ｆ５、ストレスオーディオグループと非ストレスオーディオグループの平均基本周波数の比の値Ｆ６、ストレスオーディオグループと非ストレスオーディオグループの平均エネルギーの比の値Ｆ７、第１のモード成分Ｆ８、第２のモード成分Ｆ９、第３のモード成分Ｆ１０、単語時間長Ｆ１１、単語エネルギーＦ１２及び単語基本周波数Ｆ１３を含み、なお、本開示の実施例はこれに限定されない。
【0135】
ステップＳ３００において、オーディオデータに基づいてスペクトログラムを生成して、スペクトル特徴マトリックスを得る。
【0136】
例えば、いくつかの実施例では、短時間フーリエ変換アルゴリズムを使用して、オーディオデータに基づいてスペクトログラムを生成し、次に、生成したスペクトログラムに基づいて、スペクトログラム特徴マトリックスを得ることができる。なお、本開示の実施例は、これらに限定されない。
【0137】
図７は本開示の少なくとも１つの実施例に係るスペクトル特徴マトリックスを抽出するフローチャートである。例えば、いくつかの実施例において、図７に示すように、オーディオデータに基づいてスペクトログラムを生成し、スペクトル特徴マトリックスを得、即ち、ステップＳ３００がステップＳ３０１～ステップＳ３０４を含む。
【0138】
ステップＳ３０１において、単語及び比オーディオデータに基づいて、単語に対応するオーディオデータにおける発音セグメントを確定する。
【0139】
例えば、いくつかの実施例において、所定の音響モデルによってオーディオデータと単語との強制的にアラインメントして、単語に対応するオーディオデータにおける発音セグメントを確定する。
【0140】
ステップＳ３０２において、オーディオデータにおける発音セグメントに対して、フレーム分割、周波数領域変換及びバックドメイン変換を順次に行って、スペクトログラムを得る。
【0141】
例えば、ステップＳ３０２におけるフレーム分割、周波数領域変換、バックドメイン変換などの動作の具体的な実現プロセス及び方法は、アクセント音節の短時間エネルギー分散を抽出する上記のステップにおける関連の説明を参照することができ、ここで重複の説明を省略する。
【0142】
ステップＳ３０３において、スペクトログラムに基づいて、所定のＢａｒｋドメイン周波数帯域範囲においてオリジナルスペクトル特徴マトリックスを抽出する。
【0143】
例えば、いくつかの実施例では、所定のＢａｒｋドメインの周波数帯域範囲は、[５０Ｈｚ，５００Ｈｚ]のＢａｒｋドメインの周波数チャネルを含み得るが、本開示はこれに限定されない。例えば、いくつかの実施例では、所定のＢａｒｋドメインの周波数帯域範囲においてスペクトログラムをサンプリングして、オリジナルスペクトル特徴マトリックスを得ることができる。
【0144】
例えば、いつかの実施例では、オリジナルスペクトル特徴マトリックスの次元数はＡ＊Ｂ(Ａ、Ｂは全て正の整数)であり、すなわち、オリジナルスペクトル特徴マトリックスはＡ＊Ｂ個の要素を含む。ここで、Ａの値は、所定のＢａｒｋドメインの周波数帯域範囲内のＢａｒｋドメインの周波数チャネルの数と相関し、例えば、６４などの固定値に通常設定されてよく、Ｂは、ステップＳ３０２におけるフレーム分割操作に関連し、Ｂの値は、オーディオデータにおける発音セグメントを分割したフレーム数に等しい値であり、一般的に、異なる単語にとっては、その単語時間長(すなわち、発音セグメントの時間長)は異なるので、Ｂは、一般的に、変化する値である。このため、オリジナルスペクトル特徴マトリックスの次元数が一定にならず、統一の分類器モデルを構築してその後の分類処理を行うことが不利となる。この課題を解決するために、以下のステップＳ３０４を実行して、次元が固定であるスペクトル特徴マトリックスを得るようにしてもよい。
【0145】
ステップＳ３０４において、オリジナルスペクトル特徴マトリックスに対して次元変換操作を行って、スペクトル特徴マトリックスを得る。
【0146】
例えば、いくつかの実施例では、スペクトル特徴マトリックスの次元数はＵ＊Ｖ(Ｕ、Ｖは全て正の整数)であり、すなわち、スペクトル特徴マトリックスはＵ＊Ｖ個の要素を含む。例えば、補間やサンプリングなどによって次元変換操作を実行することができる。例えば、Ｕ＞Ａである場合、オリジナルスペクトル特徴マトリックスにおける各列ベクトルに対して補間することにより、列ベクトルの要素の数を増やすようにしてもよく、Ｕ＜Ａである場合、オリジナルスペクトル特徴マトリックスにおける各列ベクトルに対してサンプリングすることにより、列ベクトルの要素数を減らすようにしてもよく、Ｕ＝Ａである場合、列ベクトルの要素数をそのままとする。例えば、Ｖ＞Ｂの場合、オリジナルスペクトル特徴マトリックスにおける各行ベクトルに対して補間することにより、行ベクトルの要素の数を増やすようにしてもく、Ｕ＜Ａである場合、オリジナルスペクトル特徴マトリックスにおける各行ベクトルをサンプリングすることにより、行ベクトルの要素数を減らすようにしてもく、Ｕ＝Ａである場合、行ベクトルの要素数をそのままとする。
【0147】
例えば、いくつかの実施例では、本開示の実施例に係るアクセント検出方法の検出正確度と検出効率の両方でバランスを取るために、スペクトル特徴マトリックスにおいて、Ｕ、Ｖの値の範囲を[１５０、２５０]に設定してもよい。なお、実用上、Ｕ、Ｖの値は必要に応じて設定できる。例えば、いくつかの実施例では、Ｕ及びＶは両方とも２００である。
【0148】
ステップＳ４００において、韻律的特徴ベクトルとスペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得、第１の特徴マトリックスに対して冗長除去操作を行って、第２の特徴マトリックスを得る。
【0149】
例えば、いくつかの実施例において、ステップＳ４００は、韻律的特徴ベクトル（ステップＳ２００で得る）及びスペクトル特徴マトリックス（ステップＳ３００で得る）に対してそれぞれ平均分散正規化処理を行って、平均分散正規化された韻律的特徴ベクトル及び平均分散正規化されたスペクトル特徴マトリックスをそれぞれ対応して得、平均分散正規化された韻律的特徴ベクトルと平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得ることを含む。
【0150】
例えば、本開示の実施例では、任意の変数ｙに対して、以下の式(１０)によって平均分散正規化処理を行うことができる。
【数4】
【0151】
例えば、韻律的特徴ベクトルに対して平均分散正規化処理を行う時に、韻律的特徴ベクトルの各要素を変数ｙとし、韻律的特徴ベクトルにおける各要素の値の平均を
例えば、スペクトル特徴マトリックスに対して平均分散正規化処理を行う時に、スペクトル特徴マトリックスにおける各要素を変数ｙとし、スペクトル特徴マトリックスにおける各要素が位置する行ベクトルの各要素の値の平均を
【数5】
【数6】
【0152】
平均分散正規化された韻律的特徴ベクトルと、平均分散正規化されたスペクトル特徴マトリックスとでは、各要素の値が同じ桁数を持ち、これにより、その後の冗長除去操作が容易になることが理解されるべきである。また、平均分散正規化処理は、韻律的特徴ベクトルの次元数とスペクトル特徴マトリックスの次元数に影響を与えない。
【0153】
例えば、いくつかの実施例において、平均分散正規化されたスペクトル特徴マトリックスは、複数の周波数特徴ベクトルを含み、例えば、各周波数特徴ベクトルが列ベクトルである。平均分散正規化された韻律的特徴ベクトルと平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得ることは、平均分散正規化された韻律的特徴ベクトルに対して次元変換操作を行って、第１の特徴ベクトルを取得し、ここで、第１の特徴ベクトルの次元数が平均分散正規化されたスペクトル特徴マトリックスにおけるいずれの周波数特徴ベクトルの次元数と同じであることと、第１の特徴ベクトルと平均分散正規化されたスペクトル特徴マトリックスとをスティッチングして、第１の特徴マトリックスを得ることとを含み、ここで、第１の特徴マトリックスは、第１の特徴ベクトル及び平均分散正規化されたスペクトル特徴マトリックスにおける全ての周波数特徴ベクトルを含む。
【0154】
例えば、韻律的特徴ベクトルの次元数Ｚ＊１（Ｚが正の整数であり、例えば、韻律的特徴ベクトルが上記の韻律的特徴Ｆ１～Ｆ１３を含む場合、Ｚが１３であってもよい）であり、平均分散正規化された韻律的特徴ベクトルの次元数がＺ*１であり、スペクトル特徴マトリックスの次元数がＵ＊Ｖ（Ｕ、Ｖが全て正の整数である）であり、平均分散正規化されたスペクトル特徴マトリックスがＵ＊Ｖであり、周波数特徴ベクトルが列ベクトルで示し、そして、各周波数特徴ベクトルの次元数がＵ＊１である。例えば、平均分散正規化された韻律的特徴ベクトルに対して次元変換操作を行って、第１の特徴ベクトルを得、ここで、第１の特徴ベクトルの次元数は、Ｕ＊１であり、即ち、第１の特徴ベクトルの次元数は、平均分散正規化されたスペクトル特徴マトリックスにおけるいずれの周波数特徴ベクトルの次元数と同じである。例えば、ここの次元変換操作は、平均分散正規化された韻律的特徴ベクトルに対して三次スプライン補間を行うことにより、平均分散正規化された韻律的特徴ベクトルの次元数をＵ＊１に拡張して、第１の特徴ベクトルを得ることを含む。
【0155】
例えば、第１の特徴ベクトルと平均分散正規化されたスペクトル特徴マトリックスとをスティッチングして、第１の特徴マトリックスを得、ここで、第１の特徴マトリックスの次元数がＵ＊（Ｖ＋１）であり、即ち、第１の特徴マトリックスは、第１の特徴ベクトル及び平均分散正規化されたスペクトル特徴マトリックスにおける全ての周波数特徴ベクトルを含む。
【0156】
例えば、この実施例において、第１の特徴マトリックスに対して冗長除去操作を行って、第２の特徴マトリックスを得ることは、第１の特徴マトリックスにおける第１の特徴ベクトルと第１の特徴マトリックスにおける各周波数特徴ベクトルの各コサイン類似度を算出することと、各コサイン類似度におけるいずれのコサイン類似度が第１の所定値よりも大きいことに応じて、いずれのコサイン類似度に対応する第１の特徴マトリックスにおける周波数特徴ベクトルを全セロベクトルに設定するか又はいずれのコサイン類似度に対応する第１の特徴マトリックスにおける周波数特徴ベクトルを第１の特徴マトリックスから削除することにより、第２の特徴マトリックスを得ることとを含む。
【0157】
例えば、いくつかの例において、以下の式（１１）によって、２つのベクトルのコサイン類似度を算出する。
【数7】
【0158】
例えば、本開示の実施例において、第１の所定値は、必要に応じて設定されてもよい。例えば、いくつかの例では、第１の所定値の値の範囲は、[０．７５，０．９]に設定されてもよく、本開示の実施例は、これに限定されない。例えば、いくつかの例では、第１の所定値は、０．７５、０．８、０．８５、又は０．９などに設定されてもよく、本開示の実施例は、これらに限定されない。
【0159】
例えば、いくつかの実施例において、平均分散正規化された韻律的特徴ベクトルと平均分散正規化されたスペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得ることは、平均分散正規化された韻律的特徴ベクトルと平均分散正規化されたスペクトル特徴マトリックスにおける各周波数特徴ベクトルとをそれぞれスティッチングして、第１の特徴マトリックスを得ることを含む。
【0160】
例えば、平均分散正規化された韻律的特徴ベクトルの次元数がＺ＊１であり、平均分散正規化されたスペクトル特徴マトリックスがＵ＊Ｖであり、平均分散正規化された韻律的特徴ベクトルと平均分散正規化されたスペクトル特徴マトリックスにおける各周波数特徴ベクトル（各周波数特徴ベクトルの次元数がＵ＊１である）とをそれぞれスティッチングした後、得られた第１の特徴マトリックスの次元数が（Ｕ＋Ｚ）＊Ｖである。
【0161】
例えば、この実施例において、第１の特徴マトリックスに対して冗長除去操作を行って、第２の特徴マトリックスを得ることは、第１の重みマトリックスを取得することと、前記第１の重みマトリックスを利用して第１の特徴マトリックスを処理して、第１の特徴マトリックスの次元数よりも小さい次元低減マトリックスを得ることと、次元低減マトリックスに対して次元変換操作を行って、第１の特徴マトリックスの次元数と同じの第１の中間特徴マトリックスを得ることと、第１の中間特徴マトリックスにおける各要素を所定区間に変換して、第２の中間特徴マトリックスを得ることと、第２の中間特徴マトリックスにおけるいずれの要素が第２の所定値よりも小さいことに応じて、第２の中間特徴マトリックスにおけるいずれの要素をゼロに設定して、第２の特徴マトリックスを得ることとを含む。
【0162】
例えば、いくつかの例では、第１の重みマトリックスの次元数はＤ＊（Ｕ＋Ｚ）であり、第１の重みマトリックスと第１の特徴マトリックスとに対してマトリックス乗算を行って、次元低減マトリックスを得、得られた次元低減マトリックスの次元数はＤ＊Ｖである。例えば、いくつかの例では、Ｄが（Ｕ＋Ｚ）よりも小さいため、次元低減マトリックスの次元数が第１の特徴マトリックスの次元数よりも小さい。なお、本開示の実施例において、Ｄの値は、実際の必要に応じて設定されてよい。例えば、いくつかの例では、Ｄの値の区間は、[８，１２]に設定されてもよく、本開示の実施例は、これに限定されない。
【0163】
例えば、いくつかの例では、所定区間は、必要に応じて設定されてもよい。例えば、いくつかの例において、所定区間は、[-１，１]に設定されてもよく、本開示の実施例は、これに限定されない。例えば、いくつかの例において、所定区間が[ -１，１]である例を挙げ、以下の式（１２）によって、第１の中間特徴マトリックスにおける各要素を所定区間[-１, １]に変換することができる。
ここで、ｒは、第１の中間特徴マトリックスのいずれの要素を表し、ｒｍａｘは、第１の中間特徴マトリックスの各要素の最大値を表し、ｒｍｉｎは、第１の中間特徴マトリックスの各要素の最小値を表し、Ｒａｎｄ(０, ０．１)は、区間[０, ０．１]におけるランダム数の生成関数（ランダム数を生成することができ、生成したランダム数が区間[０, ０．１]にある）を表し、
【数8】
【数9】
【0164】
本開示の実施例は、第１の中間特徴マトリックスにおける各要素を所定区間に変換する方法を限定するものではなく、当業者は、実際の必要に応じて適切な数学モデルによって上記の変換プロセスを実行することができる。
【0165】
例えば、いくつかの例では、第２の所定値は、必要に応じて設定されてもよい。例えば、いくつかの例において、所定区間が[-１，１]に設定された場合、第２の所定値の値の区間は、例えば、[０．１，０．３]に設定されてもよく、本開示の実施例は、これに限定されない。例えば、いくつかの例では、第１の所定値は、０．１、０．１５、０．２、０．２５、又は０．３などに設定されてもよく、本開示の実施例は、これらに限定されない。一般的に、第２の所定値が所定区間にあることが理解されるべきである。
【0166】
例えば、この実施例において、アクセント検出方法は、トレーニングすべき第１の重みマトリックスに対してプレトレーニングを行って、第１の重みマトリックスを得ることをさらに含んでもよい。図８は本開示の少なくとも１つの実施例に係るトレーニングすべき第１の重みマトリックスに対してプレトレーニングを行うフローチャートである。例えば、図８に示すように、トレーニングすべき第１の重みマトリックスに対してプレトレーニングを行うことは、以下のステップＳ１０～ステップＳ６０を含む。
【0167】
ステップＳ１０において、サンプル単語のサンプルオーディオデータを取得する。
【0168】
ステップＳ２０において、サンプルオーディオデータに基づいて、サンプルオーディオデータに対応する第１の特徴マトリックスを得る。
【0169】
ステップＳ３０において、トレーニングすべき第１の重みマトリックスを利用してサンプルオーディオデータに対応する第１の特徴マトリックスを処理して、サンプルオーディオデータに対応する次元低減マトリックスを得る。
【0170】
ステップＳ４０において、トレーニングすべき第２の重みマトリックスを利用してサンプルオーディオデータに対応する次元低減マトリックスを処理して、サンプルオーディオデータに対応する第３の特徴マトリックスを得、ここで、サンプルオーディオデータに対応する第３の特徴マトリックスの次元数がサンプルオーディオデータに対応する第１の特徴マトリックスの次元数と同じである。
【0171】
ステップＳ５０において、サンプルオーディオデータに対応する第３の特徴マトリックス及びサンプルオーディオデータに対応する第１の特徴マトリックスに基づいて、損失関数によって損失値を算出する。
【0172】
ステップＳ６０において、損失値に基づいてトレーニングすべき第２の重みマトリックス及びトレーニングすべき第１の重みマトリックスをそれぞれ修正する。
【0173】
例えば、ステップＳ１０の具体的な実現プロセス及び方法は、上記のステップＳ２０１に関する説明を参照することができ、ここで説明を省略する。
【0174】
例えば、ステップＳ２０の具体的な実現プロセス及び方法は、上記のステップＳ２００、ステップＳ３００、ステップＳ４００(得られた第１の特徴マトリックスの次元数が（Ｕ＋Ｚ）＊Ｖである場合)の関連の説明を参照することができ、ここでのサンプル単語、サンプルオーディオデータを、上記のステップＳ２００、ステップＳ３００、ステップＳ４００(得られた第１の特徴マトリックスの次元数が（Ｕ＋Ｚ）＊Ｖである場合)における単語、オーディオデータとすればよい。
【0175】
例えば、ステップＳ３０で、第１の重みマトリックスの次元数は、トレーニングすべき第１の重みマトリックスの次元数と同一であり、両方が共にＤ＊（Ｕ＋Ｚ）である。トレーニングすべき第１の重みマトリックスとサンプルオーディオデータに対応する第１の特徴マトリックスとに対してマトリックス乗算を行って、得られたサンプルオーディオデータに対応する次元低減マトリックスの次元数はＤ＊Ｖである。
【0176】
例えば、ステップＳ４０において、トレーニングすべき第２の重みマトリックスの次元数が（Ｕ＋Ｚ）＊Ｄであり、そして、トレーニングすべき第２の重みマトリックスとサンプルオーディオデータに対応する次元低減マトリックスとに対してマトリックス乗算を行って、得られたサンプルオーディオデータに対応する第３の特徴マトリックスの次元数が（Ｕ＋Ｚ）＊Ｖであり、即ち、サンプルオーディオデータに対応する第３の特徴マトリックスの次元数は、サンプルオーディオデータに対応する第１の特徴マトリックスの次元数と同じである。
【0177】
例えば、ステップＳ５０において、損失関数は、クロスエントロピー損失関数（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓ Ｆｕｎｃｔｉｏｎ）を含むが、これに限定されない。
【0178】
例えば、ステップＳ６０において、損失関数によって算出された損失値に基づいて、最適化関数によってトレーニングすべき第２の重みマトリックスの要素の誤差値とトレーニングすべき第１の重みマトリックスの要素の誤差値とを算出し、当該トレーニングすべき第１の重みマトリックスの要素の誤差値に基づいて第１の重みマトリックスの要素を修正し、当該トレーニングすべき第２の重みマトリックスの要素の誤差値に基づいて第２の重みマトリックスの要素を修正してもよい。例えば、最適化関数としては、バッチグラデエントデリケート（ｂａｔｃｈ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ、ＢＧＤ）アルゴリズム、確率的勾配降下(ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ、ＳＧＤ)アルゴリズムなどによって、トレーニングすべき第２の重みマトリックスの要素の誤差値とトレーニングすべき第１の重みマトリックスの要素の誤差値を算出することができる。
【0179】
例えば、いくつかの実施例では、トレーニングすべき第１の重みマトリックスをプレトレーニングすることは、上記トレーニングすべき第の２重みマトリックス及びトレーニングすべき第１の重みマトリックスのトレーニングが所定条件を満たすか否かを判断し、所定条件を満たさない場合、上記トレーニングプロセス(即ち、ステップＳ１０～ステップＳ６０)を繰り返し実行し、所定条件を満たす場合、上記トレーニングプロセスを停止し、トレーニング済みの第１の重みマトリックス及び第２の重みマトリックスを得、ここで、トレーニング済みの第１の重みマトリックスを上記第１の重みマトリックスとすることを含む。例えば、一例において、上記の所定の条件は、連続する２つ(またはそれ以上)のサンプル単語のサンプルオーディオデータに対応する損失値がもはや著しく減少していないということである。例えば、他の例として、前記所定条件は、トレーニングすべき第２の重みマトリックス及びトレーニングすべき第１の重みマトリックスのトレーニング回数またはトレーニング周期が所定回数に達したということである。本開示は、これに限定されない。
【0180】
例えば、トレーニングすべき第２の重みマトリックスにおける要素の初期値はランダム値であってもよく、トレーニングすべき第１の重みマトリックスにおける要素の初期値はランダム値であってもよい。
【0181】
例えば、いくつかの実施例では、上述のプレトレーニングプロセスは、例えば、汎用なオートエンコーダによって実装されてもよく、本開示は、これに限定されない。
【0182】
なお、上記の実施例は、第２の重みマトリックスと第１の重みマトリックスのトレーニングプロセスを模式的に説明するにすぎない。当業者は、トレーニング段階では、多くのサンプル単語のサンプルオーディオデータを利用して、トレーニングすべき第２の重みマトリックスとトレーニングすべき第１の重みマトリックスとをトレーニングすることが必要であり、また、トレーニングすべき第２の重みマトリックスとトレーニングすべき第１の重みマトリックスの要素を修正するために、各サンプル単語のサンプルオーディオデータのトレーニングプロセスが数回も反復できることをわかるべきである。また、例えば、トレーニング段階では、トレーニングすべき第２の重みマトリックスの要素およびトレーニングすべき第１の重みマトリックスの要素を微調整（ｆｉｎｅ－ｔｕｎｅ）することにより、より最適なパラメータを取得することをさらに含む。
【0183】
上記のプレトレーニングプロセスは、第１の重みマトリックス及び第２の重みマトリックスをニューラルネットワークの重みパラメータマトリックスとすれば、ニューラルネットワークのトレーニングプロセスを参照できることが理解されるべきである。
【0184】
なお、本開示の実施例に係るアクセント検出方法では、ステップＳ４００におけるスティッチング操作により、韻律的特徴とスペクトル特徴とを合わせてアクセント検出を行うことを可能にし、アクセント検出結果の正確度の向上に有利し、また、ステップＳ４００における冗長除去操作により、アクセント検出方式のアクセント検出速度および効率を向上させることができる。
【0185】
ステップＳ５００において、分類器で第２の特徴マトリックスを分類処理して、オーディオデータのアクセント検出結果を取得する。
【0186】
例えば、いくつかの実施例において、ステップＳ５００における分類器には、畳み込みニューラルネットワークを含む分類器を採用してもよく、他の分類器(例えば、サポートベクターマシン(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ)分類器など)を採用してもよく、本開示の実施例は、これに限定されない。
【0187】
例えば、いくつかの実施例において、ステップＳ５００における分類器には、畳み込みニューラルネットワーク及びｓｏｆｔｍａｘ分類器を含む。第２の特徴マトリックスは、畳み込みニューラルネットワークとｓｏｆｔｍａｘ分類器との順次処理を経て、オーディオデータのアクセント検出結果を得る。例えば、いくつかの例では、このｓｏｆｔｍａｘ分類器は２分類に応用され、その出力結果が、オーディオデータのアクセント音節がストレスされるかどうかを表し、例えば、出力結果が１であれば、当該オーディオデータにおけるアクセント音節がストレスされることを表し、出力結果が０であれば、当該オーディオデータにおけるアクセント音節がストレスされないことを表すが、本開示の実施例は、それに限定されない。
【0188】
いくつかの実施例では、ステップＳ５００における分類器は、トレーニングされた後、ステップＳ５００における分類処理を実行するために使用され得ることが理解されるべきである
【0189】
なお、本開示の実施例において、分類器は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなどの方式で実現されて、対応する処理プロセスを実行してもよい。
【0190】
なお、本開示の実施例において、上記のアクセント検出方法のフローは、より多くの又はより少ない操作を含んでもよく、これらの操作は、順次又は並列に実行されてもよい。以上説明したアクセント検出方法のフローは、特定の順序で説明した複数の動作を含むが、複数の動作の順序は限られるものではないことは明らかである。また、番号が異なっても本質上同一であるステップは、１回のみ実行してもよく、その実行結果は、後継の異なるステップに共通してもよく、もちろん必要なときに繰り返し実行してもよい。なお、上述したアクセント検出方法は、１回だけ実行してもよいし、所定の条件で複数回実行してもよい。
【0191】
本開示の実施例に係るアクセント検出方法は、韻律的特徴とスペクトル特徴を組み合わせてアクセント検出を行うことにより、アクセント検出結果の正確度を向上させることができ、また、冗長除去操作により、アクセント検出方法のアクセント検出速度および効率を向上させることができる。
【0192】
本開示の少なくとも１つの実施例によれば、また、アクセント検出装置を提供する。図９は本開示の少なくとも１つの実施例に係るアクセント検出装置の模式的なブロック図である。
【0193】
アクセント検出装置１００は、例えば、図９に示すように、取得ユニット１１０と、韻律的特徴抽出ユニット１２０と、スペクトルマトリックス抽出ユニット１３０と、マトリックス演算ユニット１４０と、分類ユニット１５０とを備える。例えば、これらのユニットは、ハードウェア(例えば、回路)モジュール又はソフトウェアモジュール等により実現されてもよく、以下の実施例はこれと同じであり、説明を省略する。これらのユニットは、例えば、中央処理ユニット(ＣＰＵ)、画像プロセッサ(ＧＰＵ)、テンソルプロセッサ(ＴＰＵ)、フィールドプログラマブルロジックゲートアレイ(ＦＰＧＡ)、またはデータ処理機能および/または命令実行機能を有する他の形態の処理ユニット、ならびに対応するコンピュータ命令によって実装され得る。
【0194】
例えば、取得ユニット１１０は、単語のオーディオデータを取得するように配置される。例えば、該取得ユニット１１０は、上記のアクセント検出方法におけるステップＳ１００を実行し、その具体的な実現プロセス及び方法は、ステップＳ１００の関連記載を参照し、ここで重複の説明を省略する。
【0195】
例えば、韻律的特徴抽出ユニット１２０は、オーディオデータの韻律的特徴を抽出して、韻律的特徴ベクトルを得るように配置される。例えば、当該韻律的特徴抽出ユニット１２０は、上記のアクセント検出方法におけるステップＳ２００を実行し、その具体的な実現プロセス及び方法は、ステップＳ２００の関連記載を参照し、ここで重複の説明を省略する。
【0196】
例えば、スペクトルマトリックス抽出ユニット１３０は、オーディオデータに基づいてスペクトログラムを生成して、スペクトル特徴マトリックスを得るように配置される。例えば、当該スペクトルマトリックス抽出ユニット１３０は、上記のアクセント検出方法におけるステップＳ３００を実行し、その具体的な実現プロセス及び方法は、ステップＳ３００の関連記載を参照し、ここで重複の説明を省略する。
【0197】
例えば、マトリックス演算ユニット１４０は、韻律的特徴ベクトルとスペクトル特徴マトリックスとに対してスティッチング操作を行って、第１の特徴マトリックスを得、第１の特徴マトリックスに対して冗長除去操作を行って、第２の特徴マトリックスを得るように配置される。例えば、当該マトリックス演算ユニット１４０は、上記のアクセント検出方法におけるステップＳ４００を実行し、その具体的な実現プロセス及び方法は、ステップＳ４００の関連記載を参照し、ここで重複の説明を省略する。
【0198】
例えば、分類ユニット１５０は、第２の特徴マトリックスに対して分類処理を行って、オーディオデータのアクセント検出結果を得るように配置される。例えば、当該分類ユニット１５０は、分類器を含む。例えば、当該分類ユニット１５０は、上記のアクセント検出方法におけるステップＳ５００を実行し、その具体的な実現プロセス及び方法は、ステップＳ５００の関連記載を参照し、ここで重複の説明を省略する。
【0199】
なお、本開示の実施例において、アクセント検出装置１００は、より多く又は少ない回路やユニットを含んでもよいし、各回路やユニット間の接続関係は、限定されなく、実際の必要に応じて設定されてもよい。各回路の具体的な構成方式は限定されず、回路原理に応じてアナログデバイスで構成してもよいし、デジタルチップで構成してもよいし、その他適宜の方式で構成してもよい。
【0200】
【0201】
例えば、メモリ２１０は、コンピュータ読み取り可能な命令を非一時的に記憶するものであり、プロセッサ２２０は、当該コンピュータ読み取り可能な命令を実行し、当該コンピュータ読み取り可能な命令がプロセッサ２２０により実行されるとき、本開示のいずれの実施例に係るアクセント検出方法が実行される。
【0202】
例えば、メモリ２１０とプロセッサ２２０とは、直接的又は間接的に互いに通信することができる。例えば、図１０に示すように、いくつかの例では、アクセント検出装置２００は、メモリ２１０とプロセッサ２２０とが互いに通信可能なシステムバス２３０をさらに備えてもよく、例えば、プロセッサ２２０は、システムバス２３０を介してメモリ２１０にアクセスすることができる。例えば、他の例では、メモリ２１０とプロセッサ２２０等の部品は、ネットワーク接続を介して通信してもよい。ネットワークは、無線ネットワーク、有線ネットワーク、及び/又は無線ネットワークと有線ネットワークとの任意の組み合わせを含み得る。ネットワークは、ローカルエリアネットワーク、インターネット、通信ネットワーク、インターネットおよび/または通信ネットワークに基づくもののインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ならびに/または上記のネットワークの任意の組合せなどを含むことができる。有線ネットワークとしては、例えばツイストペア線、同軸ケーブル、光ファイバ伝送等の方式を用いて通信を行い、無線ネットワークとしては、例えば３Ｇ/４Ｇ/５Ｇ移動体通信ネットワーク、ブルートゥース、Ｚｉｇｂｅｅ、ＷｉＦｉ等の通信方式を用いることができる。本開示は、ネットワークのタイプ及び機能について、ここでは制限されない。
【0203】
例えば、プロセッサ２２０は、所望の機能を実現するように、アクセント検出装置の他の部品を制御してもよい。プロセッサ２２０は、中央処理ユニット(ＣＰＵ)、テンソルプロセッサ(ＴＰＵ)、またはグラフィックスプロセッサＧＰＵなどのデータの処理能力および/またはプログラムの実行能力を有するデバイスであってもよい。中央処理ユニット(ＣＰＵ)は、Ｘ８６またはＡＲＭアーキテクチャなどであってもよい。ＧＰＵは、マザーボード上に直接に単独で組み込まれてもよいし、マザーボードのノースブリッジに内蔵されてもよい。ＧＰＵは、中央処理装置(ＣＰＵ)に内蔵されていてもよい。
【0204】
例えば、メモリ２１０は、１つ又は複数のコンピュータプログラム製品の任意の組み合わせを含み、コンピュータプログラム製品は、揮発性メモリ及び/又は不揮発性メモリ等の様々な形態のコンピュータ読み取り可能な記憶媒体を含み得る。揮発性メモリは、例えば、ランダムアクセスメモリ(ＲＡＭ)および/またはキャッシュメモリなどを含んでもよい。不揮発性メモリは、例えば、リードオンリーメモリ(ＲＯＭ)、ハードディスク、消去可能プログラマブルリードオンリーメモリ(ＥＰＲＯＭ)、ポータブルコンパクトディスクリードオンリメモリ(ＣＤ－ＲＯＭ)、ＵＳＢメモリ、フラッシュメモリ等を含み得る。
【0205】
例えば、メモリ２１０には、１つ又は複数のコンピュータ命令が記憶されることができ、プロセッサ２２０が前記コンピュータ命令を実行することにより、様々な機能を実行することができる。コンピュータ読み取り可能な記憶媒体には、様々なアプリケーションプログラム及び様々なデータ、例えば、韻律的特徴ベクトル、スペクトル特徴マトリックス、第１の特徴マトリックス、第２の特徴マトリックス、及びアプリケーションプログラムによって使用される及び/又は生成される様々なデータなどが記憶されていてもよい。
【0206】
例えば、メモリ２１０に記憶されたいくつかのコンピュータ命令がプロセッサ２２０によって実行されるとき、上述のアクセント検出方法における１つ又は複数のステップを実行してもよい。
【0207】
例えば、図１０に示すように、アクセント検出装置２００は、外部装置と通信可能な入力インタフェース２４０をさらに備えてもよい。例えば、入力インターフェース２４０は、外部のコンピュータ装置から、ユーザ等から命令を受信するために使用され得る。アクセント検出装置５００は、アクセント検出装置２００と１つ又は複数の外部機器とをお互いに接続する出力インタフェース２５０をさらに備えてもよい。例えば、アクセント検出装置２００は、出力インタフェース２５０を介してアクセント検出結果等を表示させてもよい。入力インタフェース２４０及び出力インタフェース２５０を介してアクセント検出装置２００と通信する外部装置は、ユーザとインタラクション可能の任意のタイプのユーザインターフェースを提供する環境に含まれてもよい。ユーザインターフェースのタイプの例としては、グラフィカルユーザインターフェース、自然なユーザインターフェースなどが挙げられる。例えば、グラフィカルユーザインターフェースは、キーボード、マウス、リモートコントローラといった入力デバイスを用いてユーザからの入力を受け付け、ディスプレイといった出力デバイスで出力することができる。さらに、自然なユーザインターフェースでは、キーボード、マウス、リモートコントローラといった入力装置によって課される制約を受けないように、ユーザがアクセント検出装置５００とインタラクトすることを可能にしてもよい。逆に、自然なユーザインターフェースは、音声認識、タッチおよびスタイラス認識、スクリーン上およびその近傍でのジェスチャ認識、空中ジェスチャ、頭部および視線追跡、音声学及びセマンティクス、視覚、タッチ、ジェスチャ、ならびに機械のインテリジェンスなどに依存することができる。
【0208】
例えば、いくつかの実施例において、このアクセント検出装置２００は、アクセント検出方法の実施例に記載のオーディオ収集装置をさらに含む。
【0209】
また、図１０には、アクセント検出装置２００を単一の系統として示しているが、アクセント検出装置２００は分散型のシステムであってもよいし、クラウド施設(パブリッククラウド、プライベートクラウドを含み)であってもよいことは言うまでもない。従って、例えば、いくつかの機器は、ネットワーク接続を介して通信を行い、ともにアクセント検出装置２００によって実行されるタスクを実行してもよい。例えば、いくつかの例では、単語のオーディオデータは、スマートフォンによって取得されサーバにアップロードされ、サーバがアクセント検出のプロセスを実行した後にアクセント検出結果をスマートフォンに返して、ユーザに提供してもよい。
【0210】
例えば、アクセント検出方法の具体的な処理については、上述したアクセント検出方法の実施例についての説明を参照することができ、ここでは重複の説明を省略する。
【0211】
例えば、いくつかの例では、このアクセント検出装置は、スマートフォン、タブレット、パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ウェアラブルデバイス、ヘッドマウントディスプレイ装置などを含んでもよいが、それらに限定されない。
【0212】
なお、本開示の実施例に係るアクセント検出装置は、例示的なものであり、限定されるものでなく、実際の応用の必要に応じて、他の通常の部品や構造を含んでもよく、例えば、アクセント検出装置の必要な機能を実現するために、当業者が具体的なアプリケーションシナリオに応じて他の通常の部品や構造を設けてもよく、本開示の実施例は、これに限定されない。
【0213】
本開示の実施例に係るアクセント検出装置の技術的効果は、上述した実施例におけるアクセント検出方法に関する説明を参照することができ、ここで説明は省略する。
【0214】
本開示の少なくとも１つの実施形態によれば、非一時的な記憶媒体がさらに提供される。図１１は本開示の一実施例に係る非一時的な記憶媒体の模式図である。例えば、図１１に示すように、この非一時的な記憶媒体３００は、コンピュータ読み取り可能な命令３０１を非一時的に記憶し、コンピュータ読み取り可能な命令３０１が、コンピュータ（プロセッサを備え）によって実行されるとき、本開示の実施例のいずれかによって提供されるアクセント検出方法の命令が実行されることができる。
【0215】
例えば、１つ又は複数のコンピュータ命令が、非一時的な記憶媒体３００に記憶され得る。非一時的な記憶媒体３００に記憶されたコンピュータ命令のいくつかは、例えば、上述のアクセント検出方法の１つ又は複数のステップを実行するための命令であってもよい。
【0216】
例えば、非一時的な記憶媒体は、タブレットの記憶ユニット、パーソナルコンピュータのハードディスク、ランダムアクセスメモリ(ＲＡＭ)、リードオンリーメモリ(ＲＯＭ)、消去可能なプログラマブルリードオンリーメモリ(ＥＰＲＯＭ)、コンパクトディスクリードオンリメモリ(ＣＤ－ＲＯＭ)、フラッシュメモリ、又はそれらの記憶媒体の任意の組合せを含むことができ、他の適切な記憶媒体であってもよい。
【0217】
本開示の実施例に係る非一時的な記憶媒体に係る技術的効果は、上述の実施例におけるアクセント検出方法についての説明を参照することができるため、ここでは説明を省略する。
【0218】
本開示に関して、以下の点について、説明する必要がある。
【0219】
（１）本開示の実施形例の図面では、本開示の実施例に関連する構造のみに関し、他の構造は、一般的な設計を参照することができる。
【0220】
（２）矛盾しない限り、本開示の同一及び異なる実施例の特徴は、互いに組み合わされ得る。
【0221】
以上、本開示の具体的な実施形態のみが例示されたが、本開示の保護範囲はこれに限定されず、当業者であれば、本開示に開示された技術的範囲内において、容易に変更または置換を想到することができるものは、本開示の保護範囲に含まれるべきである。したがって、本開示の保護範囲は、特許請求の範囲の保護範囲によって定められるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】