特開 2024-137004 音変換方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137004

(43)【公開日】2024-10-04

(54)【発明の名称】音変換方法およびプログラム

(51)【国際特許分類】

   G10L 21/007 20130101AFI20240927BHJP

   G10L 21/013 20130101ALI20240927BHJP

   G10L 25/30 20130101ALI20240927BHJP

   G10L 19/018 20130101ALI20240927BHJP

【ＦＩ】

G10L21/007

G10L21/013

G10L25/30

G10L19/018

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023048335

(22)【出願日】2023-03-24

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】大道 竜之介

(72)【発明者】

【氏名】才野 慶二郎

(72)【発明者】

【氏名】藤島 琢哉

(57)【要約】

【課題】音変換技術を用いて音質を変換するとともに、変換後の音高を制御すること
【解決手段】音変換方法は、音高指定データと入力音信号の第１音響特徴データとを訓練済モデルに提供することと、所定の音質および音高指定データに基づく音高を有する変換音信号を生成するための第２音響特徴データを訓練済モデルから取得することと、を含む。訓練済モデルは、第１音響特徴データと音高指定データとを用いて第２音響特徴データを出力するモデルである。
【選択図】図２

【特許請求の範囲】

【請求項1】

音高指定データと入力音信号の第１音響特徴データとを訓練済モデルに提供することと、
所定の音質および前記音高指定データに基づく音高を有する変換音信号を生成するための第２音響特徴データを前記訓練済モデルから取得することと、
を含み、
前記訓練済モデルは、前記第１音響特徴データと前記音高指定データとを用いて前記第２音響特徴データを出力するモデルである、
音変換方法。

【請求項2】

前記入力音信号を分析して前記第１音響特徴データを生成する分析部と前記訓練済モデルとを含む音変換部に対して、前記入力音信号と前記音高指定データとを提供することをさらに含み、
前記訓練済モデルに提供される前記第１音響特徴データは、前記分析部によって前記入力音信号から得られ、
前記音変換部に提供された前記音高指定データが前記訓練済モデルに提供される、
請求項１に記載の音変換方法。

【請求項3】

前記音高指定データは、操作要素に対する操作に応じて取得される、
請求項１または請求項２に記載の音変換方法。

【請求項4】

前記音高指定データは、時系列に音高が特定された曲の進行に応じて生成される、
請求項１または請求項２に記載の音変換方法。

【請求項5】

前記音高指定データは、前記入力音信号とは異なる音信号の音高に基づいて生成される、
請求項１または請求項２に記載の音変換方法。

【請求項6】

前記入力音信号は、マイクロフォンから出力された録音信号から抽出した第１特徴量を有する音信号を含み、
前記音高指定データは、前記録音信号から抽出した第２特徴量を有する音信号の音高に基づいて生成される、
請求項１または請求項２に記載の音変換方法。

【請求項7】

前記入力音信号は、第１マイクロフォンから出力された音信号を含み、
前記音高指定データは、前記第１マイクロフォンとは異なる第２マイクロフォンから出力された音信号の音高に基づいて生成される、
請求項１または請求項２に記載の音変換方法。

【請求項8】

前記訓練済モデルは、さらに音質指定データが提供され、
前記音高指定データは、さらに前記音質指定データに関連付けられた音域に基づいて生成される、
請求項１または請求項２に記載の音変換方法。

【請求項9】

前記音質指定データは、前記変換音信号に付与するための音響効果を指定する情報が関連付けられている、
請求項８に記載の音変換方法。

【請求項10】

前記音高指定データは、予め決められた複数の音高のいずれかを示す、
請求項１または請求項２に記載の音変換方法。

【請求項11】

前記音高指定データは、画像データに基づいて生成される、
請求項１または請求項２に記載の音変換方法。

【請求項12】

前記変換音信号には、ＮＦＴ（Ｎｏｎ-Ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ）が関連付けられる、
請求項１または請求項２に記載の音変換方法。

【請求項13】

請求項１または請求項２に記載の音変換方法を、コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音を変換する技術に関する。

【背景技術】

【0002】

所望の歌唱者の声質を再現する技術が開発されている（例えば、特許文献１、２）。機械学習モデルに設定される変数、および機械学習モデルに提供されるベクトルによって、再現される歌唱者の声質が決定される。特許文献１によれば、自らの音声を他の歌唱者の声質を模した音声に変換する技術も実現されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２２／０８０３９５号

【特許文献2】国際公開第２０２０／０９５９５０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の音変換技術によれば、変換後の音声と入力した音声とが同じ音高を有するため、入力された音声が他の歌唱者の声質に変換されたとしても、変換前後によって歌唱の巧拙が大きく変化することはない。そこで、入力された音声の音高を用いるのではなく、別の方法で変換後の音声の音高を制御することが求められている。音高の制御を要するのは、音声、すなわち人の声を示す音に限られず、様々な音に対しても同様である。例えば、楽器の音であれば、演奏の巧拙に影響する。

【0005】

本発明の目的の一つは、音変換技術を用いて音質を変換するとともに、変換後の音高を制御することにある。

【課題を解決するための手段】

【0006】

一実施形態における音変換方法は、音高指定データと入力音信号の第１音響特徴データとを訓練済モデルに提供することと、所定の音質および音高指定データに基づく音高を有する変換音信号を生成するための第２音響特徴データを訓練済モデルから取得することと、を含む。訓練済モデルは、第１音響特徴データと音高指定データとを用いて第２音響特徴データを出力するモデルである。

【発明の効果】

【0007】

本発明によれば、音変換技術を用いて音質を変換するとともに、変換後の音高を制御することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態における音変換装置のハードウエア構成を示す図である。

【図2】一実施形態における音変換機能の構成を示す図である。

【図3】一実施形態における音変換方法を示すフローチャートである。

【図4】一実施形態におけるモデル訓練機能の構成を示す図である。

【図5】一実施形態における音変換機能の構成を示す図である。

【図6】一実施形態における音変換機能の構成を示す図である。

【図7】一実施形態における音変換機能の構成を示す図である。

【図8】一実施形態における音変換機能の構成を示す図である。

【図9】一実施形態における音変換機能の構成を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。以下に説明する複数の実施形態で参照する図面において、同一部分または類似の機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂなど付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。図面は、説明を明確にするために、構成の一部が図面から省略されたりして、模式的に説明される場合がある。

【0010】

［概要］
一実施形態における音変換装置は、マイクロフォンに入力された音信号を、他の音質に変換して出力するための機能を有する。例えば、音変換装置は、マイクロフォンに入力された歌唱音声を、他の歌唱者の声質を有する音声に変換する。以下の説明では、マイクロフォンに入力される音および変換によって出力される音は、歌唱音声として例示されるが、歌唱音声に限らず楽器の音など他の音であってもよく、口述、会話など、歌唱以外の音声であってもよい。したがって、以下の説明における声質は音質の一例であることが理解される。音変換装置は、音声変換処理に付随して、様々な機能を付加されることがある。以下に示す各実施形態において、付加される機能の一例を説明する。

【0011】

＜第１実施形態＞
従来の音変換装置は、入力音声を他の歌唱者の声質を有する音声に変換するときには、入力音声の音高が変換後の音声に再現される。第１実施形態では、音変換装置に付加される機能の一例が、変換後の音声における音高を音高設定装置によって設定する機能である場合について説明する。

【0012】

［音変換装置の構成］
図１は、一実施形態における音変換装置のハードウエア構成を示す図である。第１実施形態における音変換装置１０は、制御部１１、記憶部１２、表示部１３、操作部１４、通信部１８およびインターフェース１９を含む。

【0013】

制御部１１は、ＣＰＵなどのプロセッサおよびＲＡＭ等の記憶装置を備えるコンピュータの一例である。制御部１１は、ＣＰＵによりプログラムを実行することによって、様々な処理を実行するための機能を音変換装置１０において実現する。ＣＰＵにより実行されるプログラムは、記憶部１２に記憶されたプログラム１２ａを含む。音変換装置１０において実現される機能は、後述する音変換機能を含み、この例では、モデル訓練機能もさらに含む。

【0014】

記憶部１２は、不揮発性メモリ、ハードディスクドライブなどの記憶装置である。記憶部１２は、プログラム１２ａ、音合成モデル１２ｂ、モデル変数１２ｃおよび音源ＩＤ１２ｄなど、各種のデータを記憶する。記憶部１２に記憶される各種データは、外部サーバからネットワーク経由でダウンロードされ、記憶部１２に記憶されることによって、音変換装置に提供されてもよい。これらのデータは、非一過性のコンピュータに読み取り可能な記録媒体（例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等）に記録した状態で提供されてもよい。この場合、音変換装置１０は、この記録媒体を読み取る装置を備えていればよい。記憶部１２も記録媒体の一例といえる。

【0015】

音合成モデル１２ｂは、歌唱音声の声質を他の声質に変換するときに用いられる演算モデルである。この例では、音合成モデル１２ｂは、２つの演算モデルを有する。２つの演算モデルは、後述する音響エンコーダ１２１および音響デコーダ１２５に対応する（図２参照）。それぞれの演算モデルとして、公知の機械学習モデルが適用される。２つの演算モデルは、互いに異なるモデルが適用されてもよい。公知の機械学習モデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを利用したニューラルネットワークを用いたモデルである。

【0016】

モデル変数１２ｃおよび音源ＩＤ１２ｄは、音合成モデル１２ｂにおいて歌唱音声の声質を機械学習させることによって得られた情報を含む。したがって、音合成モデル１２ｂは、モデル変数１２ｃおよび音源ＩＤ１２ｄを適用することによって、所定の歌唱者の声質を有する音声を合成するための学習済モデルとして用いることができる。学習済モデルは、所定の歌唱者の声質を有する音声を合成するための訓練が実行されることによって得られたモデルであるから、訓練済モデルということもできる。

【0017】

音合成モデル１２ｂは、国際公開第２０２２／０８０３９５号（以下の説明では、単に「特許文献１」という）における音響エンコーダおよび音響デコーダを含む構成に相当する。モデル変数１２ｃは、機械学習モデルに適用される変数を含み、例えばニューラルネットワークにおける係数に相当する情報を含む。モデル変数１２ｃは、特許文献１におけるモデル変数に対応する。音源ＩＤ１２ｄは、機械学習モデルの入力層に提供されるベクトルを含み、例えば多次元空間における埋込ベクトルに相当する情報を含む。音源ＩＤ１２ｄは、特許文献１における音源ＩＤに対応し、国際公開第２０２０／０９５９５０号（以下の説明では、単に「特許文献２」という）における歌唱者データに対応する。音合成モデル１２ｂ、モデル変数１２ｃおよび音源ＩＤ１２ｄの詳細については、後述する。

【0018】

表示部１３は、制御部１１の制御に応じて様々な画面を表示する表示領域を有するディスプレイである。操作部１４は、ユーザの操作に応じた信号を制御部１１に出力する操作装置である。通信部１８は、制御部１１の制御により、インターネットなどのネットワークに接続された他の装置と通信をするための通信モジュールである。インターフェース１９は、無線または有線によって他の装置と接続するためのモジュールを含む。この例では、インターフェース１９に接続される装置は、マイクロフォン９１、スピーカ９５および音高設定装置９８を含む。

【0019】

マイクロフォン９１は、入力された音を電気信号に変換して音信号として出力する。マイクロフォン９１から出力された音信号は、インターフェース１９を介して制御部１１に提供される。スピーカ９５は、入力された音信号を音として空間に放出する。スピーカ９５に入力される音信号は、制御部１１によってインターフェース１９を介して提供される。

【0020】

音高設定装置９８は、上述したように、声質変換後の音声における音高を設定するために用いられる装置である。この例では、音高設定装置９８は、それぞれ音高が関連付けられた複数の操作要素を有し、操作された操作要素に応じた音高情報を出力する。各操作要素は、例えば、ピアノの鍵に相当する形状を有してもよい。この場合には、音高設定装置９８は、複数の鍵が配置された鍵盤を有する。音高設定装置９８から出力された音高情報は、インターフェース１９を介して制御部１１に提供される。

【0021】

［音変換機能］
続いて、制御部１１がプログラム１２ａを実行することによって実現される音変換機能について説明する。以下に説明する音変換機能のうち少なくとも一部の機能が音変換装置１０とネットワークを介して接続された他の装置によって実現されてもよい。ネットワークを介して接続された複数の装置が協働することによって音変換機能が実現されてもよい。

【0022】

図２は、一実施形態における音変換機能の構成を示す図である。音変換機能８００は、音変換部１００、音提供部８１１、音高指定部８８１および音取得部８５１を含む。

【0023】

音提供部８１１は、マイクロフォン９１から出力された音信号を音変換部１００に提供する。以下、マイクロフォン９１から出力される音信号を録音信号ＡＳｘといい、音提供部８１１が音変換部１００に提供する音信号を入力音信号ＡＳａという。入力音信号ＡＳａは、録音信号ＡＳｘと同じであってもよいし、録音信号ＡＳｘに対して所定の信号処理を施すことによって得られた音信号であってもよい。

【0024】

音高指定部８８１は、音高設定装置９８から出力された音高情報Ｐｄを取得して、音高情報Ｐｄに基づいて音高指定データＦｂを生成して音変換部１００に提供する。音高指定データＦｂは、各時点での音高を示すデータである。音高指定データＦｂが示す音高は、音高情報Ｐｄが示す音高であってもよいし、音高情報Ｐｄが示す音高を所定の演算によって変換することによって得られる音高であってもよい。

【0025】

音取得部８５１は、音変換部１００から出力された音信号を取得して、スピーカ９５に提供する。以下、音変換部１００から出力される音信号を変換音信号ＡＳｂといい、音取得部８５１から出力される音信号を出力音信号ＡＳｚという。

【0026】

音変換部１００は、入力音信号ＡＳａが示す音声を所定の歌唱者の声質に変換した変換音信号ＡＳｂを合成する。このとき、音変換部１００は、音高指定データＦｂを取得することによって、変換音信号ＡＳｂの音高を、音高指定データＦｂによって示される音高に制御することができる。変換後の音声における声質は、上述したように、音変換部１００に含まれる音合成モデル１２ｂに対して、モデル変数１２ｃおよび音源ＩＤ１２ｄを適用することによって設定される。音変換部１００は、特許文献１に開示されている音声合成器の機能に類似した構成を有している。したがって、以下の音変換部１００の構成の説明において、一部の構成については詳細の説明については省略される。

【0027】

音変換部１００は、音合成モデル１２ｂ、分析部１１０およびボコーダ１８０を含む。音合成モデル１２ｂは、音響エンコーダ１２１および音響デコーダ１２５を含む。

【0028】

分析部１１０は、入力音信号ＡＳａを分析して、各時点での音響特徴データＡＦを出力する。この例では、音響特徴データＡＦは、所定フレームを用いた周波数解析によって入力音信号ＡＳａから得られる周波数スペクトルに対応する。分析部１１０は、公知の方法を用いて入力音信号ＡＳａから得られる基本周波数を示す音高指定データＦａを出力してもよい。音高指定データＦａが示す基本周波数は、入力音信号ＡＳａの音高に対応する。したがって、音高指定データＦａは、音高指定データＦｂと同様に音高を示すデータである。分析部１１０が音高指定データＦａを出力する構成を有する場合には、ユーザによって選択された音高指定データＦｂまたは音高指定データＦａのいずれかが音響デコーダ１２５に対して提供されればよい。

【0029】

ユーザによって変換後の声質が指定されると、モデル変数１２ｃにおける変数Ｖｅ、Ｖｄと、音源ＩＤ１２ｄにおけるベクトルＸａとが特定される。変数Ｖｅ、ＶｄとベクトルＸａとは、変換後の声質を指定するものであるから、音質指定データの一例である。以下の説明では、変数Ｖｅ、ＶｄとベクトルＸａの少なくとも一つの意味として音質指定データという場合がある。特定された変数Ｖｅ、Ｖｄが、音合成モデル１２ｂの音響エンコーダ１２１、音響デコーダ１２５にそれぞれ設定される。特定されたベクトルＸａが、音響デコーダ１２５の入力層に提供される。

【0030】

音響エンコーダ１２１は、入力層に提供された音響特徴データＡＦに基づいて、各時点の中間特徴データＭＦを生成して出力層に出力する。中間特徴データＭＦは、音素に相当する情報を含む。音響エンコーダ１２１は、周波数スペクトルと音素との相関関係を学習した機械学習モデルである。音響エンコーダ１２１には、学習の結果として得られた変数Ｖｅが設定される。変数Ｖｅは、後述する変数Ｖｄとともにモデル変数１２ｃに含まれる。

【0031】

音響デコーダ１２５は、入力層に提供された中間特徴データＭＦおよび音高指定データＦｂに基づいて、各時点の音響特徴データＡＦｓを生成して出力層に出力する。音響特徴データＡＦｓは、周波数スペクトルを生成することができる情報を含み、この例では、スペクトル包絡ＳＥおよび音高指定データＦｂを含む。出力層にはスペクトル包絡ＳＥが出力され、音高指定データＦｂは入力層に提供されたものがそのまま用いられてもよい。音響特徴データＡＦｓは、スペクトル包絡ＳＥおよび音高指定データＦｂに基づいて生成された周波数スペクトルであってもよい。音響デコーダ１２５は、ベクトルＸａと音高と音素との組み合わせと、スペクトル包絡と、の相関関係を学習した機械学習モデルである。音響デコーダ１２５には、学習の結果として得られた変数Ｖｄが設定される。音響デコーダ１２５では、設定される変数Ｖｄが変更されなくても、入力層に提供されるベクトルＸａが変更されることで、変換後の声質を変更することもできる。

【0032】

ボコーダ１８０は、音響特徴データＡＦｓに基づいて、変換音信号ＡＳｂを生成する。変換音信号ＡＳｂは、音響特徴データＡＦｓから得られる周波数スペクトルを時間領域の音信号に変換することによって生成される。変換音信号ＡＳｂが示す声質は、入力音信号ＡＳａが示す声質を音変換部１００に設定された声質に変換したものである。変換音信号ＡＳｂが示す音高は、音高指定データＦｂが示す音高である。音高指定データＦｂに代えて音合成モデル１２ｂに音高指定データＦａが提供された場合には、変換音信号ＡＳｂが示す音高は、入力音信号Ａｓａが示す音高がそのまま維持される。

【0033】

続いて、音変換機能８００において実行される音変換方法について説明する。ここで、説明する音変換方法は、プログラム１２ａが制御部１１によって実行されると開始される。

【0034】

図３は、一実施形態における音変換方法を示すフローチャートである。音提供部８１１がマイクロフォン９１から録音信号ＡＳｘを取得して入力音信号ＡＳａを音変換部１００に提供する（ステップＳ１１１）。音高指定部８８１が音高設定装置９８から音高情報Ｐｄを取得して音高指定データＦｂを音変換部１００に提供する（ステップＳ１１１）。音変換部１００への入力音信号ＡＳａの提供と音高指定データＦｂの提供とは、並行して実行される。音変換部１００は、入力音信号ＡＳａと音高指定データＦｂとに基づいて、スペクトル包絡ＳＥを生成する（ステップＳ１５０）。音変換部１００は、スペクトル包絡ＳＥと音高指定データＦｂとに基づいて変換音信号ＡＳｂを生成する（ステップＳ１７０）。音取得部８５１は、音変換部１００から変換音信号ＡＳｂを取得する（ステップＳ１９０）。

【0035】

以上の処理によって、入力音信号ＡＳａは、その声質が他の歌唱者の声質に変換された音声、かつ、音高指定データＦｂに応じた音高を有する音声を示す変換音信号ＡＳｂに変換される。変換音信号ＡＳｂが出力音信号ＡＳｚとしてスピーカ９５に供給されることによって、マイクロフォン９１に入力された音声が他の歌唱者の声質に変換されてスピーカ９５から出力される。このとき、スピーカ９５から出力される音声は、マイクロフォン９１に入力された音声の音高とは関係なく、音高設定装置９８によって設定された音高に制御される。

【0036】

［モデル訓練機能］
続いて、制御部１１が記憶部１２に記憶された所定のプログラムを実行することによって実現されるモデル訓練機能について説明する。以下に説明するモデル訓練機能のうち少なくとも一部の機能が音変換装置１０とネットワークを介して接続された他の装置によって実現されてもよい。ネットワークを介して接続された複数の装置が協働することによってモデル訓練機能が実現されてもよい。モデル訓練機能は、所定の歌唱者の音声を合成できるように音合成モデル１２ｂを訓練するための機能を含み、この例では、音合成モデル１２ｂにおいて設定される変数Ｖｅ、Ｖｄを更新することを含む。

【0037】

以下に説明する音合成モデル１２ｂの訓練方法については、公知の方法を用いることができるが、例えば、特許文献１および特許文献２に開示された方法を用いることができる。音変換部１００の構成、特に音合成モデル１２ｂの構成が、これらの文献に開示されている機械学習モデルと同一でなくても、当業者であれば文献を参照することでモデル訓練機能の詳細の処理を理解できる。したがって、以下では、モデル訓練機能について簡単に説明する。

【0038】

図４は、一実施形態におけるモデル訓練機能の構成を示す図である。モデル訓練機能９００は、音変換部１００ｘ、音提供部５９１、楽譜提供部５９３および訓練処理部９１０を含む。

【0039】

楽譜提供部５９３は、訓練に用いる歌唱曲に対応する楽譜データＳＤｔを音変換部１００ｘに提供する。楽譜データＳＤｔは、歌唱曲のメロディを構成する音および歌詞に関する情報を含み、例えば、各音の音高、発音期間、強度に関する情報、各音に対応する音素に関する情報を含む。音提供部５９１は、訓練用の音信号ＡＳｔを音変換部１００ｘに提供する。音信号ＡＳｔは、学習すべき声質の歌唱者による歌唱音声を含み、音合成モデル１２ｂの訓練に用いられる。この歌唱音声は、楽譜データＳＤｔに示される歌唱曲を歌唱することによって得られた音声である。楽譜データＳＤｔおよび音信号ＡＳｔは、例えば、記憶部１２に記憶されていてもよい。

【0040】

音変換部１００ｘは、分析部１１０、変換部１３０および音合成モデル１２ｂを含む。分析部１１０は、音変換部１００における分析部１１０と同様に、音信号ＡＳｔを分析して、各時点での音響特徴データＡＦおよび音高指定データＦａを出力する。変換部１３０は、楽譜データＳＤｔを取得して、各時点での楽譜特徴データＳＦおよび音高指定データＦｓを出力する。楽譜特徴データＳＦは、楽譜データＳＤｔから得られる各時点での音高、強度および音素などを示す情報を含む。音高指定データＦｓは、楽譜データＳＤｔから得られる各時点での音高を示す情報を含む。

【0041】

音響エンコーダ１２１は、音変換部１００における音響エンコーダ１２１と同様に、音響特徴データＡＦに基づいて、中間特徴データＭＦ２を生成する。中間特徴データＭＦ２は、中間特徴データＭＦと同様に、各時点における音素を示す情報を含む。

【0042】

楽譜エンコーダ１２３は、音響エンコーダ１２１と同様に公知の機械学習モデルによって、楽譜特徴データＳＦに基づいて、中間特徴データＭＦ１を生成する。中間特徴データＭＦ１は、中間特徴データＭＦと同様に、各時点における音素を示す情報を含む。楽譜エンコーダ１２３は、訓練によって、楽譜特徴データＳＦに含まれる情報と中間特徴データＭＦ１に含まれる情報との相関関係を学習する機械学習モデルである。楽譜エンコーダ１２３には、学習の結果として得られた変数Ｖｓが設定される。音合成モデル１２ｂにおいて、特許文献１および特許文献２と同様に、楽譜データに基づいて音声を合成する機能をさらに有するようにしてもよく、その場合には、変数Ｖｓが、変数Ｖｅ，Ｖｄとともにモデル変数１２ｃに含まれてもよい。

【0043】

音響デコーダ１２５は、ベクトルＸａ、中間特徴データＭＦ２（ＭＦ１でもあってもよい）および音高指定データＦａ（Ｆｓであってもよい）に基づいて、音響特徴データＡＦｓを生成する。ベクトルＸａは、学習すべき声質の歌唱者に対応する識別情報である。

【0044】

訓練処理部９１０は、中間特徴データＭＦ１と中間特徴データＭＦ２とが一致するように、かつ音響特徴データＡＦと音響特徴データＡＦｓから得られる周波数スペクトルとが一致するように、変数Ｖｅ、Ｖｓ、Ｖｄを決定する。このように変数Ｖｅ、Ｖｓ、Ｖｄが決定および更新されることによって、音合成モデル１２ｂが訓練される。

【0045】

上述したモデル訓練方法は、特許文献１に示される基本訓練に相当する例であるが、特許文献１に記載されている補助訓練に相当する方法を適用することもできる。また、特許文献２に示される補充処理に相当する方法を適用することもできる。補充処理によれば、モデル変数１２ｃにおける変数Ｖｅ、Ｖｓ、Ｖｄを変更せずに音源ＩＤ１２ｄにおけるベクトルＸａを変更することで、新規の歌唱者の声質への変換も対応することができる。この場合には、訓練処理部９１０は、変数Ｖｅ、Ｖｓ、Ｖｄを決定するのではなく、音源ＩＤにおけるベクトルＸａを決定する処理を含んでもよい。

【0046】

このように、モデル訓練機能９００は、楽譜データＳＤｔと音信号ＡＳｔとを用いて、音合成モデル１２ｂを訓練することによって、音合成モデル１２ｂに所定の歌唱者の声質を有する音声を合成するための訓練済モデルを生成することができる。

【0047】

第１実施形態における音変換装置１０は、以上のように訓練された音合成モデル１２ｂを含む音変換部１００を用いることによって、マイクロフォン９１を介して入力された歌唱音声を、他の歌唱者の声質に変換して出力するとともに、出力される音高を音高設定装置９８によって設定された音高に制御することができる。このように音変換技術において音高を制御するという技術によれば、変換前の音高に制限を受けずに変換後の音高を制御できるといった新たな顧客体験価値を創造することができる。

【0048】

音変換装置１０で用いる音信号は、この例では、歌唱者の音声を想定して説明したが、上述したように、楽器の音など歌唱者の声ではない音であってもよい。音変換装置１０で用いる音信号が楽器の音を示す場合には、音質が変換されるのではなく、楽器の種類が変換されてもよい。変換前後の楽器の種類は、同種の楽器であってもよいし、異種の楽器であってもよい。同種の楽器管での音変換とは、例えば、ある管楽器の音から他の管楽器の音へ変換することであってもよい。具体的には、縦笛の音がトランペットの音に変換されることが例示される。異種の楽器での変換とは、例えば、管楽器の音から弦楽器の音へ変換することであってもよい。具体的には、サクスフォンの音がギターの音に変換されることが例示される。声質の変換および楽器の種類の変換については、音質の変換の一例ということができる。

【0049】

＜第２実施形態＞
第１実施形態では、音高設定装置９８において、音高が関連付けられた複数の操作要素への操作によって、声質変換後の音声における音高を設定することができる。第２実施形態では、マイクロフォン９１とは別のマイクロフォンによって入力された音声の音高に基づいて、声質変換後の音声における音高を設定する例について説明する。以下に説明する各実施形態において、第１実施形態と同様の構成については説明を省略する。

【0050】

図５は、一実施形態における音変換機能の構成を示す図である。第２実施形態では、音高を設定するために音変換装置１０に音高設定装置９８が接続されるのではなく、マイクロフォン９８Ａが接続される。マイクロフォン９８Ａは、入力された音を電気信号に変換して音信号として出力する。マイクロフォン９８Ａから出力された音信号（以下、録音信号ＡＳｙという）は、インターフェース１９を介して制御部１１に提供される。

【0051】

第２実施形態における音変換機能８００Ａは、第１実施形態における音変換機能８００に加えて音高特定部８８２を含む。音高特定部８８２は、録音信号ＡＳｙにおける音高を特定し、その音高を示す音高情報Ｐｄを音高指定部８８１に出力する。音高は、公知の方法を用いて録音信号ＡＳｙから得られる基本周波数に基づいて特定される。音高指定部８８１は、第１実施形態と同様に、音高情報Ｐｄが示す音高に応じた音高指定データＦｂを生成して音変換部１００に提供する。

【0052】

このように、音変換機能８００Ａは、変換対象の録音信号ＡＳｘとは異なる録音信号ＡＳｙに基づいて、変換音信号ＡＳｂの音高を制御することができる。この例では、録音信号ＡＳｙは、マイクロフォン９８Ａに入力された音声に基づいて生成される。したがって、２人の歌唱者がそれぞれ異なるマイクロフォン９１、９８Ａを用いて音声を入力することによって、音変換機能８００Ａは、一方の歌唱者の音声について声質を変換し、声質が変換された音声の音高を他方の歌唱者の音声によって制御することができる。

【0053】

＜第３実施形態＞
第２実施形態では、マイクロフォン９１とは別のマイクロフォン９８Ａに入力された音声を示す録音信号ＡＳｙに基づいて、変換音信号ＡＳｂの音高が制御することができる。第３実施形態では録音信号ＡＳｙが、マイクロフォン９１に入力された複数人の歌唱者による音声から分離された一の歌唱者の音声を示す例について説明する。この例では、マイクロフォン９１に対して２人の歌唱者による音声が入力される。

【0054】

図６は、一実施形態における音変換機能の構成を示す図である。第３実施形態では、マイクロフォン９１から出力され、２人の歌唱者の音声を含む音信号（この実施形態において、録音信号ＡＳｗという）が、インターフェース１９を介して制御部１１に提供される。

【0055】

第３実施形態における音変換機能８００Ｂは、第２実施形態における音変換機能８００Ａに加えて音分離部８８３を含む。音分離部８８３は、録音信号ＡＳｗを解析し、２人の歌唱者（この例では、歌唱者Ｘ、Ｙという）の音声を分離する。歌唱者Ｘ、Ｙの音声のそれぞれの特徴量が音分離部８８３に対して予め登録されている。このとき、歌唱者Ｘの音声は変換対象の音声として登録され、歌唱者Ｙの音声は音高制御に用いる音声として登録される。

【0056】

音分離部８８３は、録音信号ＡＳｗを解析して歌唱者Ｘに対応する特徴量を有する音声を抽出し、録音信号ＡＳｘとして音提供部８１１に出力する。音分離部８８３は、録音信号ＡＳｗを解析して歌唱者Ｙに対応する特徴量を有する音声を抽出し、録音信号ＡＳｙとして音高特定部８８２に出力する。

【0057】

このように、音変換機能８００Ｂは、変換対象の録音信号ＡＳｘとは異なる録音信号ＡＳｙに基づいて、変換音信号ＡＳｂの音高を制御することができる。この例では、録音信号ＡＳｘと録音信号ＡＳｙとは、マイクロフォン９１に入力された音声に基づいて生成される。音変換機能８００Ｂは、予め、変換対象の音声の特徴量と音高制御用の音声の特徴量とが登録されることによって、マイクロフォン９１に入力された音声に基づく録音信号ＡＳｗから録音信号ＡＳｘと録音信号ＡＳｙとを抽出することができる。したがって、２人の歌唱者がそれぞれ異なるマイクロフォンを用いるのではなく１つのマイクロフォン９１を用いたとしても、音変換機能８００Ｂは、一方の歌唱者の音声について声質を変換し、声質が変換された音声の音高を他方の歌唱者の音声によって制御することができる。

【0058】

＜第４実施形態＞
第４実施形態では、時系列に音高が特定されたデータに基づいて、声質変換後の音声における音高を設定する例について説明する。このデータは、この例では、曲の発音内容を規定する曲データである。

【0059】

図７は、一実施形態における音変換機能の構成を示す図である。第４実施形態では、音高を設定するために音変換装置１０に音高設定装置９８が用いられるのではなく、曲データ１２ｅが用いられる。曲データ１２ｅは、例えはＭＩＤＩ形式のデータであって、時系列に音高が特定されることによって、曲の進行に伴う発音内容を規定するデータである。この例では、曲データ１２ｅは、歌唱曲のメロディを構成する音（以下、メロディ音という）および伴奏を構成する音（以下、伴奏音という）に関する情報を含み、例えば、各音の音高、発音期間、強度に関する情報に関する情報を含む。メロディ音および伴奏音に関する情報は、発音タイミングに応じて時系列に並ぶ発音制御データＭｄによって規定される。曲データ１２ｅは、記憶部１２に記憶されていればよいが、インターフェース１９を介して接続される装置から提供されてもよい。

【0060】

第４実施形態における音変換機能８００Ｃは、第１実施形態における音変換機能８００に加えてデータ読出部８８４および伴奏生成部８８５を含む。データ読出部８８４は、ユーザからの操作等によって曲データ１２ｅの読み出し指示を制御部１１において受け取ると、曲データ１２ｅにおける発音制御データＭｄを順次読み出す。データ読出部８８４は、発音制御データＭｄに基づいて、メロディ音の音高を示す音高情報Ｐｄとして音高指定部８８１に出力し、伴奏音に対応する発音制御データＭｂを伴奏生成部８８５に出力する。

【0061】

伴奏生成部８８５は、発音制御データＭｂに基づいて伴奏音を示す音信号を生成する。伴奏生成部８８５が生成した音信号は、スピーカ９５などの放音装置に出力される。音高指定部８８１は、音高情報Ｐｄを取得することによって、曲の進行に応じた各時点での音高を示す音高指定データＦｂを生成する。

【0062】

このように、音変換機能８００Ｃは、曲の進行に応じて、変換音信号ＡＳｂの音高を制御することができる。したがって、伴奏音にあわせて歌唱された音声がマイクロフォン９１に入力されると、音変換機能８００Ｃは、声質変換後の音声の音高を曲の進行に応じた音高、すなわちメロディ音と同じ音高にすることができる。

【0063】

＜第５実施形態＞
第５実施形態では、カメラ等の撮像装置によって得られた画像データに基づいて、声質変換後の音声における音高を設定する例について説明する。この画像データは、この例では、人物を撮像することによって得られる。撮像される人物は、歌唱者であってもよいし、歌唱者とは別の人であってもよい。

【0064】

図８は、一実施形態における音変換機能の構成を示す図である。第５実施形態では、音高を設定するために音変換装置１０に音高設定装置９８が接続されるのではなく、カメラ９８Ｄが接続される。カメラ９８Ｄは、撮像によって得られるデータを、画像データＧｄとして出力する。画像データは、動画像のデータであってもよいし、所定時間毎に生成される静止画像のデータであってもよい。画像データＧｄは、インターフェース１９を介して制御部１１に提供される。

【0065】

第５実施形態における音変換機能８００Ｄは、第１実施形態における音変換機能８００に加えて、画像解析部８８６を含む。画像解析部８８６は、カメラ９８Ｄから出力された画像データＧｄを解析し、画像データＧｄに含まれる人物の動きを検出する。画像解析部８８６は、検出した動きの種類に基づいて音高を特定し、その音高を示す音高情報Ｐｄを音高指定部８８１に出力する。動きの種類と音高との関係は予めテーブル等で規定されていればよい。検出される情報は、ジェスチャなど動きを示す動的な情報に限らず、ハンドサインなど特定のタイミングにおける静的な情報であってもよい。音高指定部８８１は、第１実施形態と同様に、音高情報Ｐｄが示す音高に応じた音高指定データＦｂを生成して音変換部１００に提供する。

【0066】

このように、音変換機能８００Ｄは、カメラ９８Ｄによって撮像された人物の動きに基づいて、変換音信号ＡＳｂの音高を制御することができる。したがって、カメラ９８Ｄに撮像される人物から得られる情報によって、声質変換後の音声の音高を制御することができる。

【0067】

＜第６実施形態＞
第６実施形態では、音高情報Ｐｄの音高と変換後の声質との関係によって、音高情報Ｐｄの音高を調整して音高指定データＦｂとする例について説明する。例えば、変換後の声質が女性であり、音高情報Ｐｄの音高が男性の音域である場合には、音高情報Ｐｄの音高を１オクターブ上げた音高を示す音高指定データＦｂが生成される。

【0068】

図９は、一実施形態における音変換機能の構成を示す図である。第６実施形態における音変換機能８００Ｅは、第１実施形態における音変換機能８００に加えて、音質指定部８１７および音高調整部８８７を含む。音質指定部８１７は、ユーザからの指示等に応じて、変換後の声質を示す音質指示Ｘｑにより、この声質に対応する音質指定データを音合成モデル１２ｂに提供する。音質指定データは、上述したように、変数Ｖｅ、Ｖｄ、および音源ＩＤ１２ｄに含まれるベクトルＸａを含む。

【0069】

音質指定部８１７は、さらに、音域設定Ｘｓを音高調整部８８７に出力する。音域設定Ｘｓは、変換後の声質に対応する歌唱者の音域を示す情報である。声質と音域との対応関係は予め登録されている。言い換えると、音域設定Ｘｓは、声質によって特定される音質指定データに予め関連付けられている。

【0070】

音高調整部８８７は、音域設定Ｘｓが示す音域（この実施形態において、設定音域という）と音高設定装置９８から出力される音高情報Ｐｄが示す音高（この実施形態において、入力音高という）との関係に基づいて、入力音高を調整して音高情報Ｐｄａとして出力する。音高調整部８８７は、入力音高が設定音域に含まれる場合には、入力音高をそのまま音高情報Ｐｄａとして出力する。一方、音高調整部８８７は、入力音高が設定音域に含まれない場合には、入力音高を１オクターブ単位で高くまたは低くすることによって設定音域に含まれるように調整し、調整後の音高を音高情報Ｐｄａとして出力する。音高情報Ｐｄａは、音高指定部８８１に提供される。

【0071】

例えば、設定音高が女性の歌唱者の音域に対応する場合であっても、男性の歌唱者の音域のように入力音高が設定音域に対して１オクターブ程度低くなることがある。このような場合には、音高指定データＦｂは、入力音高を１オクターブ高く調整した音高を示す。これによって、男性の歌唱者の音域に含まれる入力音高であっても、音響デコーダ１２５に入力される音高指定データＦｂおよび音響特徴データＡＦｓに含まれる音高指定データＦｂを、女性の歌唱者の音域に含まれる音高にすることができるため、女性の歌唱者の声質に変換したときの変換の品質を向上させることができる。

【0072】

音高調整部８８７における音高の調整量は、音声の変換処理の間は入力音高に応じて変動されるようにしてもよいし、一部の期間において入力音高に応じて変動され、それ以外の期間は調整量が固定されてもよい。一部の期間は、例えば変換処理が開始されてから所定時間が経過するまでの期間など、変換処理が行われている期間に含まれてもよい。一部の期間は、変換処理が開始される前の期間であってもよい。すなわち、調整量を決めるために用いられる音信号は、変換対象の音信号の少なくとも一部に対応してもよいし、変換対象ではない音信号であってもよい。調整量が固定される場合には、調整量が変動できる期間の最後の調整量が適用されてもよいし、その期間において最も長い期間における調整量が適用されてもよい。音声の変換処理の間、継続的に音高が調整される場合には、調整量を変更した後の所定時間は、入力音高にかかわらず調整量を固定してもよい。

【0073】

＜変形例＞
本発明は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備える場合に限定されない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることがあり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。以下、一部の変形例について説明する。以下に説明する変形例は、特に断りのない限り、第１実施形態を変形した例として説明するが、他の実施形態を変形する例としても適用することができる。複数の変形例を組み合わせて各実施形態に適用することもできる。

【0074】

（１）音変換機能８００のうち音変換部１００は、音変換装置１０において実現される代わりに外部装置において実現されてもよい。外部装置は、例えば、音変換装置１０にネットワークを介して接続された装置であってもよいし、インターフェース１９を介して接続された装置であってもよい。この場合には、音変換機能８００は、音提供部８１１、音高指定部８８１および音取得部８５１を含んでいればよい。

【0075】

（２）マイクロフォン９１、スピーカ９５および音高設定装置９８のうち少なくとも一つは、音変換装置１０に接続される代わりに外部装置に接続されてもよい。外部装置は、例えば、音変換装置１０にネットワークを介して接続された装置であってもよい。マイクロフォン９１、スピーカ９５および音高設定装置９８は、それぞれ異なる外部装置に接続されてもよい。

【0076】

スピーカ９５が外部装置に接続されている場合には、音変換装置１０に他のスピーカを接続することによって、マイクロフォン９１から出力される録音信号ＡＳｘをそのスピーカから出力することで、モニタ音として聴取されるようにしてもよい。このようなモニタ音を出力することで、変換音信号ＡＳｂを生成するために遅延が生じる場合であっても、遅延がほとんど生じない録音信号ＡＳｘを歌唱者に聴取させることができるため、歌唱者に対して歌唱時の違和感が生じないようにすることができる。

【0077】

マイクロフォン９１とスピーカ９５とがネットワークを介して互いに異なる装置に接続されている場合、変換後の声質または音高を指定するための装置は、マイクロフォン９１が接続された装置またはスピーカ９５が接続された装置のいずれかであってもよい。すなわち、声質または音高を指定することができるのは、歌唱者に限らず聴取者であってもよい。

【0078】

（３）ユーザによって変換後の声質が指定されることによって、音変換部１００に対して声質に応じた音質指定データが設定されるときに、変換音信号ＡＳｂに対して声質に応じた音響効果が付与されてもよい。この場合には、声質を指定するためのデータ、すなわち音質指定データに対して、付与される音響効果を指定する情報が関連付けられていればよい。音取得部９５８は、音変換部１００に対して音質指定データが設定されると、その音質指定データに関連付けられた音響効果を変換音信号ＡＳｂに対して付与して、出力音信号ＡＳｚとして出力する。

【0079】

音質指定データに関連付けられる情報（関連情報）は、音響効果を指定する情報とは異なる情報であってもよい。関連情報は、例えば、音質指定データに応じた声質に関連する情報であるとよい。関連情報は、入力音信号Ａｓａから変換音信号ＡＳｂを生成するための処理（音変換部１００において実行される処理）とは異なる処理（関連処理）を制御部１１が実行するために用いられてもよい。以下に、関連情報および関連処理について、複数の例を示す。

【0080】

音質指定データに応じた声質が所定の著名人（例えば、声優、アナウンサ、芸能人、仮想キャラクタなど）の声質を示す場合、関連情報は、その著名人に関連する情報を含んでいてもよい。著名人に関連する情報は、例えば、著名人の画像、著名人の説明、および著名人の関連商品を販売するウェブサイトのＵＲＬなどでもよい。このような関連情報は、例えば、表示部１３に表示されることによってユーザに提供されてもよい。

【0081】

関連情報は、その著名人に使用料金を支払うための情報（固定料金、単位時間あたりの料金などの使用料金情報、支払先情報など）でもよいし、所定金額の支払いによりまたは無料で使用可能な時間でもよい。この場合には、関連情報に基づいて、金銭の授受が行われてもよい。

【0082】

音質指定データに応じた声質が、プライバシ保護などを想定して、できるだけ一般化した声質であってもよい。一般化した声質とは、例えば、複数の人の声を平均化した声質でもよい。このような声質への変換は、コールセンタのオペレータの音声を変換するときに用いられるとよい。このような場合を想定すると、関連情報は、オペレータの会話をサポートするための情報、例えば、会話に用いる文章のリスト、確認事項のリストなどを含んでもよい。このような関連情報は、例えば、表示部１３に表示されることによってユーザに提供されてもよい。

【0083】

（４）音高指定部８８１は、音高情報Ｐｄが示す音高を予め決められた複数の音高のいずれかに調整し、調整した音高を示す音高指定データＦｂを出力してもよい。予め決められた複数の音高とは、例えば、音名で表せる半音単位で決められた音高である。例えば、音高情報Ｐｄが「Ｂ３」と「Ｃ４」との間に対応する音高を示す場合には、音高指定データＦｂが示す音高は、音高情報Ｐｄが示す音高に対して「Ｂ３」と「Ｃ４」とのいずれか近い方を示すように調整される。

【0084】

（５）第４実施形態に示される曲データに対して音質指定データが関連付けられていてもよい。音質指定データは、曲データにおける最初のメロディ音のタイミングより前に音変換部１００に設定されればよい。曲の進行に応じて音質指定データが変更されるようにしてもよい。

【0085】

（６）上述したように、第１実施形態においてユーザが変換後の声質を指定することができてもよい。音変換機能８００において声質を指定する機能については、詳細の説明が省略されている。声質を指定する機能を実現するための一例として、音変換機能８００が、第５実施形態における音質指定部８１７のうち少なくとも一部の機能を有していればよい。少なくとも一部の機能は、音質指示Ｘｑにより音質指定データを音合成モデル１２ｂに提供する機能である。

【0086】

ユーザが指定した声質が、歌唱以外の音声（以下、口述音声という場合がある）に変換することを想定した声質の場合には、音響デコーダ１２５には、音高指定データＦｂではなく音高指定データＦａが提供されるようにしてもよい。この場合には、音高指定データＦａが音響デコーダ１２５に提供されるように、音質指定部８１７が音変換部１００を設定すればよい。ユーザが指定可能な声質が、口述音声に変換することを想定した声質のみである場合には、音変換機能８００は、音高指定データＦｂに関連する機能を有していなくてもよい。

【0087】

（７）変換音信号ＡＳｂまたは出力音信号ＡＳｚは、音データとして記憶部１２などの記憶装置に記憶されてもよい。この際に、音データは、ＮＦＴ（Ｎｏｎ-Ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ）に関連付けられてもよい。この場合には、ＮＦＴは、例えば、音データを識別する情報、ＮＦＴの所有者および所有者の履歴などの情報を含み、ブロックチェーンネットワークにおいて記録される。これによって、音データを生成したユーザの出所、変換に用いたデータ（例えば、音質指定データ）が明らかにして音データの真贋を判断したり、音データの使用時間に制限をかけたりすることもできる。

【符号の説明】

【0088】

１０：音変換装置、１１：制御部、１２：記憶部、１２ａ：プログラム、１２ｂ：音合成モデル、１２ｃ：モデル変数、１２ｄ：歌唱者データ、１２ｅ：曲データ、１３：表示部、１４：操作部、１８：通信部、１９：インターフェース、９１：マイクロフォン、９５：スピーカ、９８：音高設定装置、９８Ａ：マイクロフォン、９８Ｄ：カメラ、１００，１００ｘ：音変換部、１１０：分析部、１２１：音響エンコーダ、１２３：楽譜エンコーダ、１２５：音響デコーダ、１３０：変換部、１８０：ボコーダ、５９１：音提供部、５９３：楽譜提供部、８００，８００Ａ，８００Ｂ，８００Ｃ，８００Ｄ，８００Ｅ：音変換機能、８１１：音提供部、８１７：音質指定部、８５１：音取得部、８８１：音高指定部、８８２：音高特定部、８８３：音分離部、８８４：データ読出部、８８５：伴奏生成部、８８６：画像解析部、８８７：音高調整部、９００：モデル訓練機能、９１０：訓練処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】