特開 2024-137877 機械学習モデルを用いて音声とテキストを同期化するオーディオ信号処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137877

(43)【公開日】2024-10-07

(54)【発明の名称】機械学習モデルを用いて音声とテキストを同期化するオーディオ信号処理装置及び方法

(51)【国際特許分類】

   G10L 19/00 20130101AFI20240927BHJP

   G10L 25/30 20130101ALI20240927BHJP

   G10L 25/51 20130101ALI20240927BHJP

【ＦＩ】

G10L19/00 312F

G10L25/30

G10L25/51

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2024045057

(22)【出願日】2024-03-21

(31)【優先権主張番号】10-2023-0038587

(32)【優先日】2023-03-24

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】518449353

【氏名又は名称】ガウディオ・ラボ・インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ミンスン・カン

(72)【発明者】

【氏名】サンペ・チョン

(57)【要約】

【課題】音声を含むオーディオ信号と前記音声に該当するテキストを前記音声信号に同期化するオーディオ信号処理装置を提供する。
【解決手段】オーディオ信号処理装置のプロセッサは、前記音声に該当する第１オーディオ発音情報を取得し、前記第１オーディオ発音情報は、前記オーディオ信号が含む複数のフレーム別に区分され、前記テキストに該当する第１テキスト発音情報を取得し、前記第１テキスト発音情報は、複数の区間別に区分される。前記プロセッサは、前記第１オーディオ発音情報の複数のフレームのそれぞれから抽出された特徴である第２オーディオ発音情報と、前記第１テキスト発音情報の複数の区間のそれぞれから抽出された特徴である第２テキスト発音情報との相関関係を示す情報を取得し、前記相関関係を示す情報によって前記テキストを前記音声信号に同期化する。
【選択図】図１

【特許請求の範囲】

【請求項1】

音声を含むオーディオ信号と前記音声に該当するテキストを前記音声信号に同期化するオーディオ信号処理装置であって、
プロセッサを含み、
前記プロセッサは、
前記音声に該当する第１オーディオ発音情報を取得し、前記第１オーディオ発音情報は、前記オーディオ信号が含む複数のフレーム別に区分され、
前記テキストに該当する第１テキスト発音情報を取得し、前記第１テキスト発音情報は、複数の区間別に区分され、
前記第１オーディオ発音情報の複数のフレームのそれぞれから抽出された特徴である第２オーディオ発音情報と、前記第１テキスト発音情報の複数の区間のそれぞれから抽出された特徴である第２テキスト発音情報との相関関係を示す情報を取得し、
前記相関関係を示す情報によって前記テキストを前記音声信号に同期化する
オーディオ信号処理装置。

【請求項2】

前記プロセッサは、
前記オーディオ信号において発話された言語を示す成分から前記音声を抽出する、請求項１に記載のオーディオ信号処理装置。

【請求項3】

前記プロセッサは、
前記テキストを前記テキストに対応する符号に変換し、前記変換された符号に基づいて前記第１テキスト発音情報を取得する、請求項１に記載のオーディオ信号処理装置。

【請求項4】

前記変換された符号は、ＩＰＡ（ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｈｏｎｅｔｉｃ ａｌｐｈａｂｅｔ）である、請求項３に記載のオーディオ信号処理装置。

【請求項5】

前記第２オーディオ発音情報と前記第２テキスト発音情報との相関関係は、交差相関関係である、請求項１に記載のオーディオ信号処理装置。

【請求項6】

前記プロセッサは、
前記第２オーディオ発音情報と前記第２テキスト発音情報との類似度を取得し、
前記類似度に基づいて、前記第２発音情報の複数の区間のそれぞれに対応する前記テキストの複数の区間のそれぞれがオーディオ信号に対応する時間を示すタイムスタンプを取得する、請求項１に記載のオーディオ信号処理装置。

【請求項7】

前記プロセッサは、
神経網モデルを用いて前記類似度を取得する、請求項６に記載のオーディオ信号処理装置。

【請求項8】

前記神経網モデルは、ＵＮｅｔ構造を有し、
ＵＮｅｔは、ＣＮＮ及びＲＮＮを含み、
ＵＮｅｔが含むレイヤの内部において、ＣＮＮは枝葉的な類似度領域に対する分析を行い、ＲＮＮは全域的な類似度領域に対する分析を行う、請求項７に記載のオーディオ信号処理装置。

【請求項9】

前記神経網モデルの学習には、前記テキストの複数の区間のそれぞれに該当する音声が前記オーディオ信号において発話される時間と、前記テキストの複数の区間のそれぞれが前記オーディオ信号に同期化される時間として予測された時間との差を出力値として有する損失関数が使用される、請求項7に記載のオーディオ信号処理装置。

【請求項10】

前記損失関数はクロスエントロピーを使用する、請求項９に記載のオーディオ信号処理装置。

【請求項11】

音声を含むオーディオ信号と前記音声に該当するテキストを前記音声信号に同期化する神経網モデルを生成する機械学習装置であって、
プロセッサを含み、
前記プロセッサは、
前記音声に該当する第１オーディオ発音情報を取得し、前記第１オーディオ発音情報は、前記オーディオ信号が含む複数のフレーム別に区分され、
前記テキストに該当する第１テキスト発音情報を取得し、前記第１テキスト発音情報は、複数の区間別に区分され、
前記第１オーディオ発音情報の複数のフレームのそれぞれから抽出された特徴である第２オーディオ発音情報と、前記第１テキスト発音情報の複数の区間のそれぞれから抽出された特徴である第２テキスト発音情報との相関関係を示す情報を取得し、
前記相関関係を示す情報によって前記テキストを前記音声信号に同期化することを学習する、機械学習装置。

【請求項12】

前記プロセッサは、
前記オーディオ信号において発話された言語を示す成分から前記音声を抽出する、請求項１１に記載の機械学習装置。

【請求項13】

前記プロセッサは、
前記テキストを前記テキストに対応する符号に変換し、前記変換された符号に基づいて前記第１テキスト発音情報を取得する、請求項１１に記載の機械学習装置。

【請求項14】

前記変換された符号は、ＩＰＡ（ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｈｏｎｅｔｉｃ ａｌｐｈａｂｅｔ）である、請求項１３に記載の機械学習装置。

【請求項15】

前記第２オーディオ発音情報と前記第２テキスト発音情報との相関関係は、交差相関関係である、請求項１１に記載の機械学習装置。

【請求項16】

前記プロセッサは、
前記第２オーディオ発音情報と前記第２テキスト発音情報との類似度を取得し、
前記類似度に基づいて、前記第２発音情報の複数の区間のそれぞれに対応する前記テキストの複数の区間のそれぞれがオーディオ信号に対応する時間を示すタイムスタンプを取得する、請求項１１に記載の機械学習装置。

【請求項17】

前記神経網モデルは、ＵＮｅｔ構造を有し、
ＵＮｅｔは、ＣＮＮ及びＲＮＮを含み、
ＵＮｅｔが含むレイヤの内部において、ＣＮＮは枝葉的な類似度領域に対する分析を行い、ＲＮＮは全域的な類似度領域に対する分析を行う、請求項１１に記載の機械学習装置。

【請求項18】

前記神経網モデルの学習には、前記テキストの複数の区間のそれぞれに該当する音声が前記オーディオ信号において発話される時間と、前記テキストの複数の区間のそれぞれが前記オーディオ信号に同期化される時間として予測された時間との差を出力値として有する損失関数が使用される、請求項１１に記載の機械学習装置。

【請求項19】

前記損失関数はクロスエントロピーを使用する、請求項１８に記載の機械学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルを用いて、オーディオ信号に含まれた音声に合わせてテキストを同期化するオーディオ信号処理方法及び装置に関する。

【背景技術】

【0002】

機械学習モデルが発達することにより、イメージ及び映像処理に機械学習モデルを使用する方法が論議された。イメージに含まれた物体の識別やイメージに含まれた物体を検索することに機械学習モデルが使用された。最近では、イメージ及び映像処理の他にオーディオにも機械学習モデルが適用されている。特に、人間が直接作業すべきだった仕事を機械学習モデルに取り替える方法が論議されている。例えば、機械学習モデルを用いて音声をテキストに変換したり、テキストを音声に変換したりする方法が導入された。これにより、オーディオ信号に含まれた音声及びテキスト、例えば、歌及び歌詞を同期化できる機械学習モデルも論議されている。

【0003】

例えば、オーディオ信号処理装置は、含まれた音声及びテキストの同期化に、強制整列（ｆｏｒｃｅｄ ａｌｉｇｎｍｅｎｔ）アルゴリズムの一種であるＤＴＷ（ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ）を用いることができる。ＤＴＷにおいて、オーディオ信号処理装置は、２個の時系列データを比較し、第１時系列データの初めの時点から順次に、第２時系列データ内の時点のデータのうち最も類似のデータを有する時点を探す。このように、第１時系列の時点に対応する第２時系列の時点間の距離をワーピング距離といい、オーディオ信号処理装置は、ワーピング距離が最小になる最適のワーピング経路を探す。オーディオ信号処理装置は、最適のワーピング経路にしたがって音声とテキストを整列する。この時、オーディオ信号処理装置は、入力オーディオと入力テキストを同じレイタント（ｌａｔｅｎｔ）フィーチャスペースに変換する。この時、オーディオ信号処理装置は、ＮＭＦ（ｎｏｎ－ｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ）を用いてオーディオフィーチャを抽出し、テキストフィーチャとして母音クラストークンを使用することができる。

【0004】

また、オーディオ信号処理装置は、音声とテキスト同期化に、強制整列アルゴリズムの一種であるビタビ（Ｖｉｔｅｒｂｉ）アルゴリズムを用いることができる。特にビタビアルゴリズムがＡＳＲ（ａｕｔｏｍａｔｉｃ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）モデルに適するわけである。ＡＳＲモデルは、音声からフレーム単位で発音や文字トークロジット（ｌｏｇｉｔｓ）を出力する。したがって、オーディオ信号装置は、ＡＳＲモデルの出力とテキストにビタビアルゴリズムを用いて音声とテキストを整列することができる。ただし、このような方法は、特定の音声、例えば、特定の単語が反復される可能性が高い歌においては整列性能が低下する問題があった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、機械学習モデルを用いて、オーディオ信号に含まれた音声に合わせてテキストを同期化するオーディオ信号処理方法及び装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施例に係る音声を含むオーディオ信号と前記音声に該当するテキストを前記音声信号に同期化するオーディオ信号処理装置は、プロセッサを含み、前記プロセッサは、前記音声に該当する第１オーディオ発音情報を取得し、前記第１オーディオ発音情報は、前記オーディオ信号が含む複数のフレーム別に区分され、前記テキストに該当する第１テキスト発音情報を取得し、前記第１テキスト発音情報は、複数の区間別に区分され、前記第１オーディオ発音情報の複数のフレームのそれぞれから抽出された特徴である第２オーディオ発音情報と、前記第１テキスト発音情報の複数の区間のそれぞれから抽出された特徴である第２テキスト発音情報との相関関係を示す情報を取得し、前記相関関係を示す情報によって前記テキストを前記音声信号に同期化する。

【0007】

前記プロセッサは、前記オーディオ信号において発話された言語を示す成分から前記音声を抽出することができる。

【0008】

前記プロセッサは、前記テキストを前記テキストに対応する符号に変換し、前記変換された符号に基づいて前記第１テキスト発音情報を取得することができる。

【0009】

前記変換された符号は、ＩＰＡ（ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｈｏｎｅｔｉｃ ａｌｐｈａｂｅｔ）であってよい。

【0010】

前記第２オーディオ発音情報と前記第２テキスト発音情報との相関関係は、交差相関関係であってよい。

【0011】

前記プロセッサは、前記第２オーディオ発音情報と前記第２テキスト発音情報との類似度を取得し、前記類似度に基づいて、前記第２発音情報の複数の区間のそれぞれに対応する前記テキストの複数の区間のそれぞれがオーディオ信号に対応する時間を示すタイムスタンプを取得することができる。

【0012】

前記プロセッサは、神経網モデルを用いて前記類似度を取得することができる。

【0013】

前記神経網モデルはＵＮｅｔ構造を有し、ＵＮｅｔはＣＮＮ及びＲＮＮを含み、ＵＮｅｔが含むレイヤの内部において、ＣＮＮは枝葉的な類似度領域に対する分析を行い、ＲＮＮは全域的な類似度領域に対する分析を行うことができる。

【0014】

前記神経網モデルの学習には、前記テキストの複数の区間のそれぞれに該当する音声が前記オーディオ信号において発話される時間と、前記テキストの複数の区間のそれぞれが前記オーディオ信号に同期化される時間として予測された時間との差を出力値として有する損失関数が用いられてよい。

【0015】

前記損失関数はクロスエントロピーを使用することができる。

【0016】

本発明の実施例によって音声を含むオーディオ信号と前記音声に該当するテキストを前記音声信号に同期化する神経網モデルを生成する機械学習装置は、プロセッサを含む。前記プロセッサは、前記音声に該当する第１オーディオ発音情報を取得し、前記第１オーディオ発音情報は、前記オーディオ信号が含む複数のフレーム別に区分され、前記テキストに該当する第１テキスト発音情報を取得し、前記第１テキスト発音情報は、複数の区間別に区分され、前記第１オーディオ発音情報の複数のフレームのそれぞれから抽出された特徴である第２オーディオ発音情報と、前記第１テキスト発音情報の複数の区間のそれぞれから抽出された特徴である第２テキスト発音情報との相関関係を示す情報を取得し、前記相関関係を示す情報によって前記テキストを前記音声信号に同期化することを学習することができる。

【0017】

前記プロセッサは、前記オーディオ信号において発話された言語を示す成分から前記音声を抽出することができる。

【0018】

前記プロセッサは、前記テキストを前記テキストに対応する符号に変換し、前記変換された符号に基づいて前記第１テキスト発音情報を取得することができる。

【0019】

前記変換された符号は、ＩＰＡ（ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｈｏｎｅｔｉｃ ａｌｐｈａｂｅｔ）であってよい。

【0020】

前記第２オーディオ発音情報と前記第２テキスト発音情報との相関関係は、交差相関関係であってよい。

【0021】

前記プロセッサは、前記第２オーディオ発音情報と前記第２テキスト発音情報との類似度を取得し、前記類似度に基づいて前記第２発音情報の複数の区間のそれぞれに対応する前記テキストの複数の区間のそれぞれがオーディオ信号に対応する時間を示すタイムスタンプを取得することができる。

【0022】

前記神経網モデルはＵＮｅｔ構造を有し、ＵＮｅｔはＣＮＮ及びＲＮＮを含み、ＵＮｅｔが含むレイヤの内部において、ＣＮＮは枝葉的な類似度領域に対する分析を行い、ＲＮＮは全域的な類似度領域に対する分析を行うことができる。

【0023】

前記神経網モデルの学習には、前記テキストの複数の区間のそれぞれに該当する音声が前記オーディオ信号において発話される時間と、前記テキストの複数の区間のそれぞれが前記オーディオ信号に同期化される時間として予測された時間との差を出力値として有する損失関数が使用されてよい。

【0024】

前記損失関数はクロスエントロピーを使用することができる。

【発明の効果】

【0025】

本発明の実施例に係る装置及び方法は、機械学習モデルを用いてオーディオ信号に含まれた音声にテキストを同期化するオーディオ信号処理方法及び装置を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施例に係るオーディオ信号処理装置が予測モジュールを学習させる過程を示すブロック図である。

【図2】テキスト前処理部によって英文テキストがＩＰＡトークンに変換されることを示す。

【図3】本発明の実施例によってＣＨＢＧに追加される線形レイヤを示す。

【図4】本発明の実施例に係る予測モジュールの具体的な構造を示す。

【図5】本発明の実施例に係る予測モデルを複数の歌に歌詞を同期化することをテストした結果と、既存モデルの予測性能を示す。

【発明を実施するための形態】

【0027】

以下、添付の図面を参照して、本発明の実施例について、本発明の属する技術の分野における通常の知識を有する者が容易に実施できるように詳細に説明する。ただし、本発明は、様々な他の形態で具現されてよく、ここで説明する実施例に限定されない。なお、図面中、本発明を明確に説明するために、説明と関係ない部分は省略し、明細書全体を通じて類似の部分には類似の参照符号を付けるものとする。また、ある部分がある構成要素を「含む」としているとき、これは、特に断らない限り、他の構成要素を除外することではなく、他の構成要素をさらに含み得るということを意味する。

【0028】

図１は、本発明の実施例に係るオーディオ信号処理装置が予測モジュールを学習させる過程を示すブロック図である。

【0029】

本発明の実施例に係るオーディオ信号処理装置が予測モジュールを学習させる過程をソフトウェア機能ブロックに区分すれば、学習過程は、オーディオ前処理部１００、テキスト前処理部２００、オーディオエンコーダ３００、テキストエンコーダ４００、予測モジュール５００、及び損失評価６００に区分されてよい。このようなソフトウェア機能ブロックは１つ以上のプロセッサで動作されてよい。

【0030】

オーディオ前処理部１００は、入力オーディオ信号に含まれた音声を抽出し、音声に該当する発音情報を取得する。具体的には、オーディオ前処理部１００は、入力オーディオ信号において発話された言語を示す成分から音声を抽出することができる。説明の便宜のために、音声に該当する発音情報を第１オーディオ発音情報と称する。このとき、オーディオ前処理部１００は、あらかじめ指定された音声抽出方法を用いることができる。また、オーディオ前処理部１００は、抽出した音声を、発音情報、例えば、メルスペクトグラム（ｍｅｌ ｓｐｅｃｔｒｏｇｒａｍ）、又はＦＦＴスペクトグラムに変換することができる。具体的には、オーディオ前処理部１００は、入力オーディオ信号から抽出された音声をＳＴＦＴ信号に変換し、メルフィルターバンクを用いてＳＴＦＴ信号をメルスペクトグラムに変換することができる。また、オーディオ前処理部１００は、抽出された音声に該当するオーディオ信号をサンプリングすることができる。この時、オーディオ前処理部１００は、整列単位にしたがってサンプリング単位を調節することができる。

【0031】

テキスト前処理部２００は、入力テキストからフィーチャを抽出できるように変換する。具体的には、テキスト前処理部２００は、入力テキストを発音情報に変換することができる。説明の便宜のために、テキストに該当する発音情報を第１テキスト発音情報と称する。このとき、発音情報は、ＩＰＡ（ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｈｏｎｅｔｉｃ ａｌｐａｈｂｅｔ）トークンであってよい。このとき、ＩＰＡトークンに変換するために、テキストの言語に合わせてあらかじめ定義された変換方法が用いられてよい。例えば、英語と韓国語のテキストを変換するために、パイソンライブラリー［ｅｎｇ２ｉｐａ，Ｋｏｐｒｏｎ］が用いられてよい。図２は、テキスト前処理部２００によって英文テキストがＩＰＡトークンに変換されることを示す。また、テキスト前処理部２００は、入力テキストをＩＰＡトークンに変換する前に、発音と関係ない文字を除去することができる。このとき、発音と関係ない文字は、文章符号、又は日本語において長音表現に該当する「ー」であってよい。文章符号は、「？」、「！」、「，」及び「．」のうち少なくともいずれか１つを含んでよい。

【0032】

オーディオエンコーダ３００は、オーディオ信号前処理部１００によって取得された第１オーディオ発音情報を、予測モジュールの入力形態でエンコードする。テキストエンコーダ４００は、テキスト前処理部２００によって取得された第１テキスト発音情報を、予測モジュールの入力形態でエンコードする。具体的には、オーディオエンコーダ３００及びテキストエンコーダ４００は、ＣＨＢＧ（ｃｏｎｖｏｌｕｔｉｏｎ ｂａｎｋ＋ｈｉｇｈｗａｙ＋ＧＲＵ）を使用することができる。ＣＢＨＧは、１次元（１Ｄ）コンボリューショナルバンク、ハイウェイネットワーク、及びＧＲＵ（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）が結合されたものであり、長いシーケンスから特徴を抽出するために用いられる。１Ｄコンボリューショナルバンクは、前処理された入力に対してコンボリューショナル演算を行ってマトリックスを取得し、取得したマトリックスでマックスプーリング（ｍａｘ ｐｏｏｌｉｎｇ）を行う。これにより、オーディオエンコーダ３００及びテキストエンコーダ４００は、第１オーディオ発音情報及び第１テキスト発音情報からオーディオ信号及びテキストのシーケンス特徴が反映された第２オーディオ発音情報及び第２テキスト情報を抽出する。このとき、シーケンス特徴は、連音及び反復した単語のうち少なくともいずれか１つを含んでよい。ハイウェイネットワークは、１Ｄコンボリューショナルバンクから抽出された特徴のうち重要な特徴を増幅（ａｍｐｌｉｆｙ）する。また、ＧＲＵは、連続したシーケンス間の相互関係が反映された特徴を出力する。ＣＢＨＧの末端に、チャネルの数を増加させる線形レイヤが追加されてよい。図３は、本発明の実施例によってＣＨＢＧに追加される線形レイヤを示す。

【0033】

図３において、Ｃ_ｉｎは、線形レイヤ後に出力されるチャネルの個数を表す。また、Ｌは、ＩＰＡの前処理されたテキスト、例えば、ＩＰＡトークンを処理単位に分けた個数を表す。Ｌは、ＩＰＡトークンに該当する文章の数であってよい。また、Ｔは、前処理されたオーディオ信号、音声のオーディオ信号を処理単位に分けた個数を表す。Ｔは、前処理されたオーディオ信号に該当する時間フレーム数を表す。ＣＢＨＧが出力するＣ_{ｅｎｃｏｄｅｒ}×Ｌ×Ｔの形態のテンソルは、線形レイヤによってＣ_ｉｎ×Ｌ×Ｔのテンソルに変換される。

【0034】

具体的な実施例によって、ＣＢＨＧの他にも、長い長さのシーケンスから特徴を抽出できる他のモデル、例えばＲＮＮ、ＬＳＴＭが使用されてもよい。

【0035】

予測モジュール５００は、第１オーディオ発音情報の複数のフレームのそれぞれから抽出された特徴である第２オーディオ発音情報と、第１テキスト情報の複数の区間のそれぞれから抽出された特徴である第２テキスト発音情報との相関関係（ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、テキストをオーディオ信号に同期化する。具体的には、予測モジュール５００は、第１オーディオ発音情報の複数のフレームのそれぞれから抽出された第２オーディオ発音情報と、第１テキスト発音情報の複数の区間のそれぞれから抽出された第２テキスト発音情報との交差相関関係（ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ）に基づいて、テキストをオーディオ信号に同期化できる。この時、予測モジュール５００は、テキストの各区間に該当するオーディオ信号のタイムスタンプを出力することができる。このとき、タイムスタンプは、予測に用いられた第２テキスト発音情報の区間の開始時間であってよい。具体的には、予測モジュール５００は、前述したＣ_ｉｎ×Ｌ×Ｔテンソルの相関関係を示すマトリックスに基づいてテキストをオーディオ信号に同期化することができる。予測モジュール５００は、第２オーディオ発音情報と第２テキスト発音情報との類似度を示すＬ×Ｔテンソルを出力することができる。また、予測モジュール５００は、最も高い相関関係を有する第２テキスト発音情報に、最も高い相関関係を有する第２オーディオ発音情報のフレームの時間情報を出力することができる。このとき、予測モジュール５００は、ａｒｇｍａｘ関数を用いることができる。予測モジュール５００は、ＧＲＵが用いられるＵＮｅｔ構造であってよい。ＵＮｅｔは、ＣＮＮ及びＲＮＮの組合せで構成されてよい。このとき、ＵＮｅｔが含むレイヤの内部において、ＣＮＮは枝葉的な類似度領域に対する分析を行うことができる。また、ＵＮｅｔが含むレイヤの内部において、ＲＮＮは全域的な類似度領域に対する分析を行うことができる。予測モジュール５００の初期２次元コンボリューショナルレイヤは３２チャネルのテンソルを出力することができる。各プーリングレイヤ後にチャネルサイズは２倍に増加する。各デプス（ｄｅｐｔｈ）レベルにおいて、２つのコンボリューショナルレイヤがあり、ダウンサンプリングとアップサンプリングとの間にスキップコネクションがある。図４は、本発明の実施例に係る予測モジュール５００の具体的な構造を示す。

【0036】

予測モジュール５００は、テキストが出力されるべきタイムスタンプ、すなわち、第２テキスト発音情報の複数の区間のそれぞれに対応する前記テキストの複数の区間のそれぞれに該当する音声が前記オーディオ信号において発話される時間と、予測モジュール５００が予測したタイムスタンプとの差を損失（ｌｏｓｓ）とする損失関数６００を用いて学習されてよい。このとき、損失は、時間軸に対するクロスエントロピー損失であってよい。

【0037】

このような学習過程によって学習された予測モジュール５００は、歌の歌詞のように類似又は同一の単語が繰り返されたり、数回登場するテキストと音声を同期化する上で高い性能を示すことができる。

【0038】

予測モジュール５００は、テキストと音声を同期化するとき、２段階にわたって予測することができる。例えば、予測モジュール５００は、第１単位のテキストのタイムスタンプを予測し、第２単位のテキストのタイムスタンプを出力することができる。このとき、第１単位は第２単位よりも大きい単位であってよい。具体的には、第１単位は文章で、第２単位は単語であってよい。

【0039】

図５は、本発明の実施例に係る予測モデルを複数の歌に歌詞を同期化することをテストした結果と、既存モデルの予測性能を示す。

【0040】

図５で、ＳＴは、ＩＣＡＳＳＰ ２０１９－２０１９ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）．ＩＥＥＥ，２０１９，ｐｐ．１８１－１８５に掲載されたＤ．Ｓｔｏｌｌｅｒ，Ｓ．Ｄｕｒａｎｄ、及びＳ．Ｅｗｅｒｔ，“Ｅｎｄ－ｔｏ－ｅｎｄ ｌｙｒｉｃｓ ａｌｉｇｎｍｅｎｔ ｆｏｒ ｐｏｌｙｐｈｏｎｉｃ ｍｕｓｉｃ ｕｓｉｎｇ ａｎ ａｕｄｉｏ－ｔｏｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｍｏｄｅｌ，”の予測モデルである。また、図５で、ＶＡは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｍｕｓｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ Ｃｏｎｆｅｒｅｎｃｅ（ＩＳＭＩＲ），２０２０で発表されたＡ．Ｖａｇｌｉｏ，Ｒ．Ｈｅｎｎｅｑｕｉｎ，Ｍ．Ｍｏｕｓｓａｌｌａｍ，Ｇ．Ｒｉｃｈａｒｄ、及びＦ．ｄ’Ａｌｃｈｅ Ｂｕｃ，“Ｍｕｌｔｉｌｉｎｇｕａｌ ｌｙｒｉｃｓ－ｔｏ－ａｕｄｉｏ ａｌｉｇｎｍｅｎｔ，”の予測モデルである。図５で、ＧＵは、ＩＣＡＳＳＰ ２０２０－２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）．ＩＥＥＥ，２０２０，ｐｐ．４９６－５００に掲載されたＣ．Ｇｕｐｔａ，Ｅ．Ｙ₁ｌｍａｚ、及びＨ．Ｌｉの“Ａｕｔｏｍａｔｉｃ ｌｙｒｉｃｓ ａｌｉｇｎｍｅｎｔ ａｎｄ ｔｒａｎｓｃｒｉｐｔｉｏｎ ｉｎ ｐｏｌｙｐｈｏｎｉｃ ｍｕｓｉｃ：Ｄｏｅｓ ｂａｃｋｇｒｏｕｎｄ ｍｕｓｉｃ ｈｅｌｐ？”の予測モデルである。また、図５で、ＧＴＳ－Ｄは、本発明の実施例に係る予測モデルをＤＡＬＩ（登録商標）を用いて学習させたモデルである。また、図５で、ＧＴＳ－ＩＨは、本発明の実施例に係る予測モデルをガウディオラボの内部データを用いて学習させたモデルである。図５で、評価項目は、ＭＡＥ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）、Ｍｅｄ（ＡＥ）Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ（ＭｅｄＡＥ）、Ｐｅｒｃ及びＭａｕｃｈメトリックである。Ｐｅｒｃは、オーディオ信号の全長のうち、予測が正確になされた区間の長さを表す。Ｍａｕｃｈメトリックは、実際音声の時間から一定区間内で予測された時間が存在する比率を表す。数学式１は、図５でＭＡＥを測定した方法を示し、数学式２は、図５でＭｅｄＡＥを測定した方法を示し、数学式３は、図５でＰｅｒｃを測定した方法を示し、数学式４は、Ｍａｕｃｈメトリックを測定した方法を示す。

【0041】

【数1】

【0042】

【数2】

【0043】

【数3】

【0044】

【数4】

【0045】

Ｗは、１つの曲が含む全体単語数を表す。また、ｗは、単語のインデックスを表す。また、ｔ^ｗ _ｐｒｅｄは、単語インデックスｗに該当する単語に対して予測された開始時間を表し、ｔ^ｗ _ｒｅｆは、単語インデックスｗに該当する単語の実際開始時間を表す。ｅ^ｗは、単語の終了時間を表す。図５の評価は、１つの曲単位でなされており、ＭＩＲＥＸ ２０１９のＪａｍｅｎｄｏデータセットを用いて評価された。Ｊａｍｅｎｄｏデータセットが単語の終了時間を含んでいないため、ｅ^ｗは次の単語の開始時間と設定された。図５から、従来のモデルに比べて、本発明の実施例に係るモデルが高い性能を示すことが確認できる。図５で、Ｎ／Ａと表示された項目はオープンソースで、測定値が公開されていない項目であるか、モデルが記載された論文に記入されていない項目である。

【0046】

上のような実施例によって学習された予測モジュールは、第１発音情報の複数のフレームのそれぞれの発音と第２発音情報の複数の区間のそれぞれの発音との相関関係を示す情報を取得し、相関関係を示す情報によって前記テキストを前記音声信号に同期化することができる。

【0047】

本発明の実施例に係るオーディオ信号処理装置は、少なくとも１つのプロセッサを含む。本発明で説明するオーディオ信号処理の動作は、オーディオ信号処理装置が含むプロセッサで動作するインストラクションセットの動作であってよい。

【0048】

一部の実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態としても具現可能である。コンピュータ可読媒体は、コンピュータによってアクセス可能な任意の可用媒体であってよく、揮発性及び不揮発性媒体、分離型及び非分離型媒体のいずれをも含んでよい。また、コンピュータ可読媒体は、コンピュータ記憶媒体を含んでよい。コンピュータ記憶媒体は、コンピュータ可読命令語、データ構造、プログラムモジュール又はその他データのような情報の記憶のための任意の方法又は技術により具現された揮発性及び不揮発性、分離型及び非分離型の媒体のいずれをも含んでよい。

【0049】

以上では、具体的な実施例を挙げて本開示を説明してきたが、本開示の属する技術の分野における通常の知識を有する当業者であれば、本開示の趣旨及び範囲から逸脱することなく修正、変更が可能である。すなわち、本開示は、オーディオ信号に対するラウドネスレベル補正の実施例について説明したが、本開示は、オーディオ信号の他、ビデオ信号を含む様々なマルチメディア信号にも同一に適用及び拡張が可能である。したがって、本開示の詳細な説明及び実施例から、本開示の属する技術の分野における者が容易に類推できるものは、本開示の権利範囲に属するものと解釈される。

【図1】

【図2】

【図3】

【図4】

【図5】