特開 2025-35206 音声加工支援装置、音声加工支援方法、および音声加工支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025035206

(43)【公開日】2025-03-13

(54)【発明の名称】音声加工支援装置、音声加工支援方法、および音声加工支援プログラム

(51)【国際特許分類】

   G10L 13/10 20130101AFI20250306BHJP

【ＦＩ】

G10L13/10 114

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023142105

(22)【出願日】2023-09-01

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】倉田 宜典

(57)【要約】

【課題】時間軸上で変化する感情の推移に関するパラメータを詳細に設定可能に提供する。
【解決手段】音声加工支援装置１０は、入力受付部２０Ｂと、記録部２０Ｆと、を備える。入力受付部２０Ｂは、編集対象の音声データの再生中に、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、を少なくとも含むパラメータの入力を受付ける。記録部２０Ｆは、入力を受付けたパラメータを音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する。
【選択図】図１

【特許請求の範囲】

【請求項1】

編集対象の音声データの再生中に、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、を少なくとも含むパラメータの入力を受付ける入力受付部と、
入力を受付けた前記パラメータを前記音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する記録部と、
を備える音声加工支援装置。

【請求項2】

前記パラメータは、
感情の強度、話速、および音圧レベル、の少なくとも１つを更に含む、
請求項１に記載の音声加工支援装置。

【請求項3】

複数種類の感情の相関を表す感情マップを含む表示画面を表示する表示制御部を備え、
前記入力受付部は、
ユーザによる前記感情マップ上の指定地点に対応する、前記種類の感情、前記混合比率、および感情の強度、の少なくとも１つを前記パラメータとして受け付ける、
請求項１に記載の音声加工支援装置。

【請求項4】

前記入力受付部は、
音声データに対する設定に用いる感情の種類に対応する音声辞書データの設定を受付ける、
請求項１に記載の音声加工支援装置。

【請求項5】

前記音声データについて、前記再生タイミングの各々に対応付けられた前記パラメータに応じた前記種類の感情に対応する音声辞書データに基づいた合成音声データを再生する再生部、
を備える請求項１に記載の音声加工支援装置。

【請求項6】

前記入力受付部は、
前記パラメータの編集を受付け、
前記記録部は、
編集を受付けた前記パラメータを前記合成音声データにおける選択された編集ポイントに対応付けて記憶する、
請求項５に記載の音声加工支援装置。

【請求項7】

前記入力受付部は、
前記合成音声データに対する文字情報の入力を受付け、
前記記録部は、
前記文字情報を前記合成音声データに対応付けて記録する、
請求項５に記載の音声加工支援装置。

【請求項8】

音声加工支援装置によって実行される音声加工支援方法であって、
編集対象の音声データの再生中に、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、を少なくとも含むパラメータの入力を受付ける入力受付ステップと、
入力を受付けた前記パラメータを前記音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する記録ステップと、
を含む音声加工支援方法。

【請求項9】

編集対象の音声データの再生中に、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、を少なくとも含むパラメータの入力を受付ける入力受付ステップと、
入力を受付けた前記パラメータを前記音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する記録ステップと、
をコンピュータに実行させるための音声加工支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、音声加工支援装置、音声加工支援方法、および音声加工支援プログラムに関する。

【背景技術】

【0002】

音声データを混合（モーフィング）することで、既存の音声とは声質の異なる音声を合成する技術が知られている。例えば、予め指定されたモーフィング比率に基づいて複数の音声データを合成した合成音声データを生成する技術が開示されている。

【0003】

しかしながら従来技術では、音声データの全体に対してモーフィング比率等のパラメータを設定することは可能であるが、時間軸上で変化する感情の推移に関するパラメータを詳細に設定することは困難であった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９－５０２９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、時間軸上で変化する感情の推移に関するパラメータを詳細に設定可能に提供することができる、音声加工支援装置、音声加工支援方法、および音声加工支援プログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の音声加工支援装置は、入力受付部と、記録部と、を備える。入力受付部は、編集対象の音声データの再生中に、互いに異なる複数の感情の種類と、前記複数種類の感情の混合比率と、を少なくとも含むパラメータの入力を受付ける。記録部は、入力を受付けた前記パラメータを前記音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態の音声加工支援装置の一例を示す図である。

【図2】図２は、表示画面の一例の模式図である。

【図3】図３は、表示画面の一例の模式図である。

【図4】図４は、表示画面の一例の模式図である。

【図5】図５は、表示画面の一例の模式図である。

【図6】図６は、本実施形態の音声加工支援装置で実行する情報処理の流れの一例を示すフローチャートである。

【図7】図７は、ハードウェア構成図である。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、音声加工支援装置、音声加工支援方法、および音声加工支援プログラムを詳細に説明する。

【0009】

図１は、本実施形態の音声加工支援装置１０の一例を示す図である。

【0010】

音声加工支援装置１０は、音声データの加工を支援する情報処理装置である。

【0011】

音声加工支援装置１０は、通信部１２と、ＵＩ（ユーザ・インターフェース）部１４と、記憶部１６と、処理部２０と、を備える。通信部１２、ＵＩ部１４、記憶部１６、および処理部２０は、バス１８を介して通信可能に接続されている。

【0012】

通信部１２は、ネットワーク等を介して外部の他の情報処理装置と通信する。ＵＩ部１４は、表示部１４Ａと、入力部１４Ｂと、を含む。

【0013】

表示部１４Ａは、各種の情報を表示する。表示部１４Ａは、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）などのディスプレイや、投影装置などである。

【0014】

入力部１４Ｂは、ユーザの操作を受付ける。入力部１４Ｂは、例えば、デジタルペン、マウス、またはトラックボール等のポインティングデバイスや、キーボード等の入力デバイスである。なお、表示部１４Ａと入力部１４Ｂの少なくとも一部とを一体的に備えた、タッチパネルとして構成してもよい。本実施形態では、入力部１４Ｂは、第１操作部１４Ｂ１および第２操作部１４Ｂ２を含む。

【0015】

第１操作部１４Ｂ１は、操作方向および操作量の入力機器である。第１操作部１４Ｂ１は、例えば、レバー（スティック）を傾けることで傾斜方向および傾斜角による操作方向および操作量入力の行える入力機器である。このような第１操作部１４Ｂ１は、ジョイスティックと称される場合がある。また、第１操作部１４Ｂ１は、例えば、タッチパッドであってもよい。本実施形態では、第１操作部１４Ｂ１がジョイスティックである形態を一例として説明する。

【0016】

第２操作部１４Ｂ２は、操作量の入力機器である。第２操作部１４Ｂ２は、例えば、ユーザによる脚部等によって押圧されるペダル式、ボタン式、の入力機器である。本実施形態では、第２操作部１４Ｂ２が、ユーザによる脚部等による押圧によって操作量の入力されるペダル式である形態を一例として説明する。

【0017】

音声出力部１４Ｃは、音声を出力するスピーカである。

【0018】

記憶部１６は、各種のデータを記憶する。記憶部１６は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１６は、音声加工支援装置１０の外部に設けられた記憶装置であってもよい。また、記憶部１６は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Local Area Network）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部１６を、複数の記憶媒体から構成してもよい。

【0019】

次に、処理部２０について説明する。処理部２０は、各種の情報処理を実行する。処理部２０は、表示制御部２０Ａと、入力受付部２０Ｂと、設定部２０Ｃと、取得部２０Ｄと、再生部２０Ｅと、記録部２０Ｆと、を備える。

【0020】

表示制御部２０Ａ、入力受付部２０Ｂ、設定部２０Ｃ、取得部２０Ｄ、再生部２０Ｅ、および記録部２０Ｆは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0021】

また、上記各部の少なくとも１つおよび記憶部１６に記憶される情報の少なくとも一部は、クラウド上で処理を実行するクラウドサーバ等に搭載されていてもよい。

【0022】

表示制御部２０Ａは、各種の表示画面をＵＩ部１４に表示する。表示画面の詳細は後述する。

【0023】

入力受付部２０Ｂは、ユーザによるＵＩ部１４の操作入力を受付ける。

【0024】

例えば、ユーザがある音声データを用いて合成音声データの生成を希望する場面を想定する。詳細には、ユーザが音声データについて、時間軸に沿って所定の感情を所定の感情の強度で含む合成音声データとなるように加工および編集することを希望する場合を想定する。

【0025】

この場合、ユーザは、入力部１４Ｂを操作することで、音声データに対する設定に用いる感情の種類に対応する音声辞書データを設定する。本実施形態では、入力受付部２０Ｂは、表示部１４Ａに表示した表示画面を介してユーザによる入力を受付ける。

【0026】

図２は、表示画面３０Ａの一例の模式図である。表示画面３０Ａは、表示部１４Ａに表示される表示画面３０の一例である。

【0027】

表示画面３０Ａは、感情マップＭと、感情設定欄４０Ａと、音声辞書データ設定欄４０Ｂと、を含む。

【0028】

感情マップＭとは、複数種類の感情の相関を表すマップである。例えば、感情マップＭは、感情の種類を色で表し、それを立体的に組み合わせることで、感情同士が混ざり合うような複雑な感情まで表現可能にした図である。感情マップＭには、例えば、８種類の基本感情である、喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待、の各々の種類の領域が、無感情の領域を中心として互いに異なる方向に放射線状に伸びるように配置されている。また、感情マップＭには、それぞれ相反する種類の感情の領域が中心に配置されている無感情の領域を介して１８０°反対側に配置されている。また、感情マップＭには、８種類の基本感情をポジティブ、ネガティブ、中立、の３つのグループに分類し、各グループに属する種類の感情の領域が隣接する位置に配置されるようにマッピングされている。また、感情マップＭに示される各種類の感情の領域は、中心に配置された無感情の領域に近づくほど弱い感情を表し、無感情の領域から離れるほど強い感情を表す。

【0029】

なお、感情マップＭは、複数種類の感情の相関を表すマップであればよく、図２に示す形態に限定されない。

【0030】

感情設定欄４０Ａは、音声データに対する設定に用いる感情の種類の入力欄である。例えば、ユーザは表示画面３０Ａの感情マップＭを視認しながら入力部１４Ｂを操作することで、音声データに対して付加することを希望する感情の種類を感情設定欄４０Ａに入力する。表示画面３０Ａは感情マップＭを含むため、ユーザは表示画面３０Ａに含まれる感情マップＭを視認することで、容易に感情の種類を感情設定欄４０Ａに入力することができる。

【0031】

音声辞書データ設定欄４０Ｂは、感情設定欄４０Ａに入力された感情の種類に対応する音声辞書データの設定の入力欄である。

【0032】

音声辞書データとは、言語特徴量から音響特徴量を導出するための音響モデルである。音声辞書データは、予め作成されている。言語特徴量とは、発話者の発話する音声のテキストから抽出された、言語の特徴量である。例えば、言語特徴量は、前後の音素、発音に関する情報、句末位置、文長、アクセント句長、モーラ長、モーラ位置、アクセント型、品詞、係り受け情報などである。言語特徴量は、言語情報と称される場合がある。音響特徴量とは、音声データから抽出された、音声または音響の特徴量である。音響特徴量は、例えば、ＨＭＭ（隠れマルコフモデル（Hidden Markov Model））音声合成で使われる音響特徴量を用いればよい。例えば、音響特徴量は、音韻や声色を表すメルケプストラム係数、メルＬＰＣ係数、メルＬＳＰ係数、声の高さを表す基本周波数（Ｆ０）、音声の周期・非周期成分の割合を表す非周期性指標（ＢＡＰ）などである。音響特徴量は、これらの係数は周波数等によって表される音声波形によって表現される。

【0033】

本実施形態では、記憶部１６には、１または複数の発話者の各々が互いに異なる感情をこめて発話した音響特徴量を出力するための、複数の音声辞書データが予め記憶さているものとする。

【0034】

ユーザは表示画面３０Ａを視認しながら入力部１４Ｂを操作することで、感情設定欄４０Ａに入力した感情の種類に対して用いる音声辞書データを設定する。具体的には、例えば、ユーザは、入力部１４Ｂを操作することで、記憶部１６に記憶されている複数の音声辞書データの内、対応する種類の感情に相当すると考えられる音声辞書データを選択し、音声辞書データ設定欄４０Ｂに設定する。

【0035】

図２には、一例として、対応する感情の種類名を含むファイル名の音声辞書データを示す。しかし、音声辞書データのファイル名は、対応する感情の種類名を含まない形態であってもよい。

【0036】

なお、感情の種類「無感情」に対応する音声辞書データは、予め設定されているものとする。無感情に対応する音声辞書データは、発話者が感情をこめずに無感情で発話した音響特徴量を出力するための音声辞書データである。

【0037】

ユーザによるこれらの入力操作によって、処理部２０の入力受付部２０Ｂは、音声データに対する設定に用いる感情の種類、および感情の種類に対応する音声辞書データの設定を受付ける。

【0038】

図１に戻り説明を続ける。

【0039】

設定部２０Ｃは、表示画面３０Ａを介して受け付けた感情の種類の各々に対応する音声辞書データを、音声データの編集に用いる音声辞書データとして設定する。例えば、設定部２０Ｃは、表示画面３０Ａを介して受け付けた感情の種類の各々に対応する音声辞書データを記憶部１６の特定の記憶領域に記憶する。

【0040】

取得部２０Ｄは、編集対象の音声データを取得する。ユーザはＵＩ部１４を操作することで、記憶部１６または外部の情報処理装置等に記憶されている、編集対象の音声データを指定する。取得部２０Ｄは、ユーザによるＵＩ部１４の操作指示によって指定された音声データを、編集対象の音声データとして取得する。

【0041】

本実施形態では、入力受付部２０Ｂは、表示部１４Ａに表示された表示画面３０を介して、編集対象の音声データの指定の入力を受付ける。

【0042】

図３は、表示画面３０Ｂの一例の模式図である。表示画面３０Ｂは、表示画面３０の一例である。表示画面３０Ｂは、音声データの指定およびパラメータの入力受付時にＵＩ部１４に表示される表示画面３０Ｂである。

【0043】

表示制御部２０Ａは、ユーザによる入力部１４Ｂの操作指示によって音声辞書データが設定されると、表示画面３０Ｂを表示部１４Ａに表示する。

【0044】

表示画面３０Ｂは、音声データファイル名入力表示欄４０Ｃと、再生ボタン４０Ｄと、音声波形表示欄４０Ｅと、感情マップＭと、ポインタ４０Ｆと、話速調整ボタン４０Ｇと、ゲイン調整ボタン４０Ｈと、編集ボタン４０Ｊと、合成音声再生ボタン４０Ｋと、保存ボタン４０Ｌと、を含む。

【0045】

音声データファイル名入力表示欄４０Ｃは、編集対象の音声データのファイル名の入力および表示欄である。ユーザは表示画面３０Ｂを視認しながら入力部１４Ｂを操作することで、音声データファイル名入力表示欄４０Ｃに編集対象の音声データのファイル名を入力する。取得部２０Ｄは、入力されたファイル名の音声データを、編集対象の音声データとして取得する。また、ユーザは、表示画面３０Ｂを視認しながら入力部１４Ｂを操作することで、記憶部１６等に記憶されている編集対象の音声データを指定してもよい。この場合、取得部２０Ｄは、指定された音声データを、編集対象の音声データとして取得する。

【0046】

なお、ユーザは表示画面３０Ｂを視認しながら入力部１４Ｂを操作することで、編集対象のテキストデータのファイル名を入力してもよい。また、ユーザは表示画面３０Ｂを視認しながら入力部１４Ｂを操作することで、記憶部１６等に記憶されている編集対象のテキストデータを指定してもよい。

【0047】

この場合、取得部２０Ｄは、入力されたファイル名によって表されるテキストデータまたは指定されたテキストデータと、感情の種類「無感情」に対応する音声辞書データと、用いて公知の方法で音声データを生成することで、編集対象の音声データを取得すればよい。

【0048】

本実施形態では、音声加工支援装置１０の処理部２０は、編集対象の音声データの再生中に、パラメータの入力を受付ける。

【0049】

パラメータとは、編集対象の音声データから合成音声データを生成するときの、時間軸上で変化する感情の推移に関するパラメータである。詳細には、パラメータは、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、を少なくとも含む。また、パラメータは、感情の強度、話速、および音圧レベル、の少なくとも１つを更に含んでいてもよい。本実施形態では、パラメータが、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、複数の感情の各々の強度、話速、および音圧レベルを含む形態を一例として説明する。

【0050】

ユーザは、編集対象の音声データを指定すると、該音声データの再生を指示するための再生ボタン４０Ｄを操作する。入力受付部２０Ｂが、再生ボタン４０Ｄの操作指示によって入力された再生指示信号を受付けると、再生部２０Ｅは、該音声データの再生を開始する。音声データを再生するとは、該音声データによって表される音声を音声出力部１４Ｃから出力することを意味する。

【0051】

音声データの再生が開始されると、表示制御部２０Ａは、該音声データの音量を表す波形を音声波形表示欄４０Ｅに表示することが好ましい。

【0052】

音声データの再生が開始され、該音声データの音声の音声出力部１４Ｃからの出力が開始されると、ユーザは、表示画面３０Ｂを視認しながら入力部１４Ｂを操作することで、所望の再生タイミングの時点に対するパラメータを入力する。再生タイミングとは、時間軸に沿って再生される音声データの再生中の各タイミングを意味する。すなわち、入力受付部２０Ｂは、編集対象の音声データの再生中に、各再生タイミングの各々におけるパラメータの入力を受付ける。

【0053】

詳細には、ユーザは、表示画面３０Ｂに表示されている感情マップＭ上のポインタ４０Ｆ、話速調整ボタン４０Ｇ、およびゲイン調整ボタン４０Ｈの少なくとも１つを注視しながら入力部１４Ｂを操作することで、再生中の音声データにおける所望の再生タイミングに対してパラメータを入力する。

【0054】

表示画面３０Ｂに含まれる感情マップＭは、上記感情マップＭと同様である。感情マップＭには、ポインタ４０Ｆが示されている。ポインタ４０Ｆは、感情マップＭ上におけるユーザによる指定地点を意味する。

【0055】

例えば、ユーザは、ジョイスティックである第１操作部１４Ｂ１を操作することで、感情マップＭにおけるポインタ４０Ｆの位置を調整する。具体的には、例えば、第１操作部１４Ｂ１であるジョイスティックの傾斜方向および傾斜角度を調整すると、表示画面３０Ｂに表示されている感情マップＭに示されるポインタ４０Ｆの位置が、該ジョイスティックの傾斜方向に該傾斜角度に応じた量移動する。ユーザは、第１操作部１４Ｂ１を操作することで、感情マップＭに表示されているポインタ４０Ｆの位置を、所望の感情の種類、所望の感情の種類の混合比率、および所望の感情の強さに相当する位置に調整する。入力受付部２０Ｂは、感情マップＭにおけるポインタ４０Ｆの位置によって表される、感情の種類、複数種類の感情の混合比率、および感情の強度を受付ける。

【0056】

話速および音圧レベルは、表示画面３０Ｂに含まれる話速調整ボタン４０Ｇおよびゲイン調整ボタン４０Ｈの各々の位置によって調整される。ユーザは、例えば、ペダル式の第２操作部１４Ｂ２をユーザの脚部などを用いて操作することで、話速調整ボタン４０Ｇおよびゲイン調整ボタン４０Ｈの各々の表示画面３０Ｂにおける位置を調整する。

【0057】

例えば、第２操作部１４Ｂ２は、話速調整ボタン４０Ｇに対応するペダルと、ゲイン調整ボタン４０Ｈに対応するペダルと、を含む。

【0058】

ユーザが、話速調整ボタン４０Ｇに対応する第２操作部１４Ｂ２であるペダルの踏み込み量を調整すると、表示画面３０Ｂに表示されている話速調整ボタン４０Ｇの位置が、話速を上げる方向または下げる方向へ移動する。入力受付部２０Ｂは、話速調整ボタン４０Ｇに対応する第２操作部１４Ｂ２の踏み込み量に応じた話速の入力を受付ける。

【0059】

同様に、ユーザが、ゲイン調整ボタン４０Ｈに対応する第２操作部１４Ｂ２であるペダルの踏み込み量を調整すると、表示画面３０Ｂに表示されているゲイン調整ボタン４０Ｈの位置が、音圧（ゲイン）を上げる方向または下げる方向へ移動する。入力受付部２０Ｂは、ゲイン調整ボタン４０Ｈに対応する第２操作部１４Ｂ２の踏み込み量に応じた音圧の入力を受付ける。

【0060】

このように、ユーザは、音声データの再生中に、所望の再生タイミングの各々において、第１操作部１４Ｂ１および第２操作部１４Ｂ２の少なくとも一方を操作することで、該再生タイミングに対する、所望の感情の種類、複数種類の感情の混合比率、感情の強度、話速、および音圧レベルの少なくとも１つを含むパラメータを入力する。また、入力受付部２０Ｂは、音声データの再生中に、各再生タイミングにおけるパラメータの入力を受付ける。

【0061】

図１に戻り説明を続ける。

【0062】

記録部２０Ｆは、入力を受付けたパラメータを音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する。詳細には、例えば、記録部２０Ｆは、入力を受付けたパラメータと、音声データにおける該パラメータの入力を受付けた再生タイミングを表すタイムスタンプと、を対応付けて記憶する。なお、記録部２０Ｆは、入力を受付けたパラメータを、音声データにおける該パラメータの入力を受付けた再生タイミングに相当する位置に対応付けて記録してもよい。

【0063】

再生部２０Ｅは、編集対象の音声データについて、再生タイミングの各々に対応付けられたパラメータに応じた感情に対応する音声辞書データに基づいた合成音声データを生成する。

【0064】

具体的には、再生部２０Ｅは、編集対象の音声データの再生タイミングにおける言語特徴量（言語情報）を、該再生タイミングに設定されたパラメータに含まれる複数の感情の種類の各々に対応する音声辞書データにそれぞれ入力することで、各種類の感情に対応する音響特徴量を得る。そして、再生部２０Ｅは、得られた各種類の感情に対応する音響特徴量を、該再生タイミングに設定されたパラメータに含まれる感情の混合比率に応じて混合した第１混合音響特徴量を得る。更に、再生部２０Ｅは、編集対象の音声データの該再生タイミングにおける言語特徴量を、無感情に対応する音声辞書データに入力することで、無感情に対応する第２音響特徴量を得る。そして、再生部２０Ｅは、無感情に対応する第２音響特徴量と、第１混合音響特徴量とを、該再生タイミングに設定されたパラメータに含まれる感情の強度に応じた比率で混合することで、第２混合音響特徴量を得る。詳細には、再生部２０Ｅは、感情の強度が低いほど無感情に対応する第２音響特徴量の比率を多くし、感情の強度が強いほど第１混合音響特徴量の比率を多くした、第２混合音響特徴量を得る。そして、再生部２０Ｅは、第２混合音響特徴量によって表される音声波形である合成音声を、該再生タイミングにおける合成音声データとして生成する。

【0065】

再生部２０Ｅは、音声データに含まれる時間軸に沿った複数の再生タイミングの各々について、再生タイミングに設定されたパラメータを用いた上記処理により合成音声を生成することで、音声データをパラメータに応じて合成した合成音声データを生成する。

【0066】

そして、記録部２０Ｆは、生成された合成音声データにおける各再生タイミングに対応付けて、各再生タイミングの合成音声の生成に用いたパラメータを記録する。

【0067】

再生部２０Ｅは、表示画面３０Ｂにおける合成音声再生ボタン４０Ｋがユーザによる入力部１４Ｂの操作指示によって操作されると、合成音声データを再生する。再生部２０Ｅは、生成した合成音声データを音声出力部１４Ｃに出力することで、該合成音声データを再生する。なお、再生部２０Ｅは、ユーザによる入力部１４Ｂの操作指示によって合成音声再生ボタン４０Ｋが操作されたときに、合成音声データを生成し再生してもよい。

【0068】

図４は、表示画面３０Ｃの一例の模式図である。表示画面３０Ｃは、表示画面３０の一例である。表示画面３０Ｃは、合成音声データの再生時に表示部１４Ａに表示される表示画面３０である。表示制御部２０Ａは、ユーザによる入力部１４Ｂの操作指示によって合成音声再生ボタン４０Ｋが操作指示されると、表示画面３０Ｃを表示部１４Ａに表示する。

【0069】

表示画面３０Ｃは、上記表示画面３０Ｂに加えて、再生タイミング画像４０Ｉを含む。再生タイミング画像４０Ｉは、音声波形表示欄４０Ｅに表示された合成音声データを表す波形における、現在の再生タイミングを表す画像である。このため、表示制御部２０Ａは、合成音声データの再生による時間の経過に伴い、合成音声データを表す波形における現在の再生タイミングに相当する位置に表示されるように、再生タイミング画像４０Ｉの表示位置を移動させる。

【0070】

また、表示制御部２０Ａは、合成音声データの各再生タイミングに設定されたパラメータに応じた表示位置となるように、表示画面３０Ｃにおけるポインタ４０Ｆ、話速調整ボタン４０Ｇ、およびゲイン調整ボタン４０Ｈの位置を調整することが好ましい。

【0071】

上述したように、記録部２０Ｆは、合成音声データにおける各再生タイミングに対応付けて、各再生タイミングの合成音声の生成に用いたパラメータを対応付けて記録する。表示制御部２０Ａは、合成音声データの再生中、感情マップＭにおける、現在の再生タイミングに対応付けて記録されたパラメータによって表される感情の種類、混合比率、および感情の強度を表す位置にポインタ４０Ｆを表示する。また、表示制御部２０Ａは、合成音声データの再生中、話速調整ボタン４０Ｇおよびゲイン調整ボタン４０Ｈの各々を、現在の再生タイミングに対応付けて記録されたパラメータによって表される話速およびゲインを表す位置に表示する。

【0072】

ユーザは、パラメータの編集を希望する場合がある。この場合、ユーザは入力部１４Ｂを操作することで、表示画面３０Ｂにおける編集ボタン４０Ｊを操作指示する。編集ボタン４０Ｊが操作指示されると、入力受付部２０Ｂは、パラメータの編集の受付を開始する。上述したように、入力部１４Ｂは、デジタルペン、マウス、またはトラックボール等のポインティングデバイスや、キーボード等の入力デバイスである。また、入力部１４Ｂは、ジョイスティック等の第１操作部１４Ｂ１、およびペダル等の第２操作部１４Ｂ２を含んでいてよい。このため、ユーザによるパラメータの操作入力は、ジョイスティック等の第１操作部１４Ｂ１、およびペダル等の第２操作部１４Ｂ２に限定されず、マウス、デジタルペン、ドラックボール等のポインティングデバイス、およびキーボード、等の１または複数を同時に操作することで入力されればよい。

【0073】

詳細には、ユーザは、入力部１４Ｂを操作することで、表示画面３０Ｂに含まれる音声波形表示欄４０Ｅに表示されている音声データを表す波形における、編集対象とする編集ポイントを選択する。そして、ユーザは、表示画面３０Ｂに表示されている感情マップＭ上のポインタ４０Ｆ、話速調整ボタン４０Ｇ、およびゲイン調整ボタン４０Ｈの少なくとも１つを注視しながら入力部１４Ｂを操作することで、該編集ポイントに対応付けられているパラメータを編集する。これらのパラメータの編集時の操作は、音声データに対するパラメータの入力操作時と同様である。

【0074】

すなわち、ユーザは、第１操作部１４Ｂ１および第２操作部１４Ｂ２の少なくとも一方を操作することで、選択した編集ポイントに対する、所望の感情の種類、複数種類の感情の混合比率、感情の強度、話速、および音圧レベルの少なくとも１つのパラメータを編集する。また、入力受付部２０Ｂは、選択された編集ポイントにおけるパラメータの編集の入力を受付ける。

【0075】

記録部２０Ｆは、編集を受付けたパラメータを合成音声データにおける選択された編集ポイントに付けて記録する。詳細には、例えば、記録部２０Ｆは、編集の入力を受付けたパラメータと、合成音声データにおける選択された編集ポイントを表すタイムスタンプと、を対応付けて記憶する。なお、記録部２０Ｆは、編集の入力を受付けたパラメータを、合成音声データにおける選択された編集ポイントに相当する位置に対応付けて記録してもよい。

【0076】

そして、再生部２０Ｅは、編集を受付けたパラメータに応じて合成音声データを再生成する。再生部２０Ｅは、パラメータの設定された音声データに応じた合成音声データの生成と同様にして、編集を受付けたパラメータに応じた合成音声データを生成すればよい。記録部２０Ｆは、再生成された合成音声データと、各再生タイミングに設定されたパラメータと、を対応付けて記録する。

【0077】

ユーザは、パラメータの操作入力が終了すると、保存ボタン４０Ｌを操作する。保存ボタン４０Ｌは、パラメータの設定された音声データから生成された合成音声データの記憶部１６への記憶を指示するときにユーザによって操作されるボタンである。保存ボタン４０Ｌが操作されると、入力受付部２０Ｂは、保存指示を受付ける。

【0078】

入力受付部２０Ｂが保存指示を受付けると、表示制御部２０Ａは、合成音声データに対する文字情報の入力を受付けるための表示画面３０を表示部１４Ａに表示する。

【0079】

図５は、表示画面３０Ｄの一例の模式図である。表示画面３０Ｄは、表示画面３０の一例である。表示画面３０Ｄは、ユーザによって保存ボタン４０Ｌが操作されたときに表示される表示画面３０である。

【0080】

ユーザによる入力部１４Ｂの操作指示によって保存ボタン４０Ｌが操作されると、表示制御部２０Ａは、表示画面３０Ｃ上に文字情報入力欄４０Ｍを重畳した表示画面３０Ｄを表示部１４Ａに表示する。文字情報入力欄４０Ｍは、合成音声データに対して付与する文字情報の入力欄である。例えば、ユーザは入力部１４Ｂを操作することで、合成音声データに対する説明等の文字情報を文字情報入力欄４０Ｍに入力する。

【0081】

入力受付部２０Ｂは、文字情報入力欄４０Ｍを介して、合成音声データに対する文字情報を受付ける。記録部２０Ｆは、入力を受付けた文字情報を、合成音声データに対応付けて記憶部１６に記憶する。

【0082】

これらの処理により、１つの合成音声データに対して、該合成音声データに関する説明を表す文書情報が対応付けて記憶される。このため、合成音声データの利用者等が該文字情報を確認することで、合成音声データの有効な再活用を図ることが可能となる。また、合成音声データと、合成音声データに付与された文字情報と、を学習用データとして用いることで、合成音声データから文字情報を正解ラベルとして出力するための学習モデルを生成することが可能となる。

【0083】

次に、本実施形態の音声加工支援装置１０で実行する情報処理の流れの一例を説明する。

【0084】

図６は、本実施形態の音声加工支援装置１０で実行する情報処理の流れの一例を示すフローチャートである。

【0085】

表示制御部２０Ａは、表示画面３０Ａを表示部１４Ａに表示する（ステップＳ１００）。例えば、ユーザによる入力部１４Ｂの操作指示等によって音声データの編集開始を表す信号が入力されると、表示制御部２０Ａは、感情の種類および音声辞書データの設定を受付けるための表示画面３０Ａを表示部１４Ａに表示する。

【0086】

ユーザは、表示画面３０Ａを視認しながら入力部１４Ｂを操作することで、音声データに対する設定に用いる感情の種類および感情の種類に対して用いる音声辞書データを設定する。入力受付部２０Ｂは、音声データに対する設定に用いる感情の種類、および感情の種類に対応する音声辞書データの設定を受付ける（ステップＳ１０２）。

【0087】

設定部２０Ｃは、表示画面３０Ａを介して受け付けた感情の種類の各々に対応する音声辞書データを、音声データの編集に用いる音声辞書データとして設定する（ステップＳ１０４）。

【0088】

表示制御部２０Ａは、音声データに対するパラメータの設定を受付けるための表示画面３０Ｂを表示部１４Ａに表示する（ステップＳ１０６）。ステップＳ１０６の処理によって、図４に示す表示画面３０Ｂが表示される。

【0089】

ユーザは表示画面３０Ｂを視認しながら入力部１４Ｂを操作することで、音声データファイル名入力表示欄４０Ｃに編集対象の音声データのファイル名を入力する。取得部２０Ｄは、入力されたファイル名の音声データを、編集対象の音声データとして取得する（ステップＳ１０８）。

【0090】

ユーザは、音声データの再生を指示するための再生ボタン４０Ｄを操作する。入力受付部２０Ｂは、再生ボタン４０Ｄの操作指示によって入力された再生指示信号を受付けると、再生部２０Ｅは、ステップＳ１０８で取得した音声データの再生を開始する（ステップＳ１１０）。

【0091】

音声データの再生が開始されると、ユーザは、再生された音声を試聴しながら、表示画面３０Ｂに表示されている感情マップＭ上のポインタ４０Ｆ、話速調整ボタン４０Ｇ、およびゲイン調整ボタン４０Ｈの少なくとも１つを注視しながら、ジョイスティック等の第１操作部１４Ｂ１、ペダル式等の第２操作部１４Ｂ２、マウス等の入力部１４Ｂ、等を同時に操作することで、再生中の音声データにおける所望の再生タイミングに対してパラメータを入力する。すなわち、ユーザは、再生された音声を試聴しながら、所望の再生タイミングに対して、所望の感情の種類、複数種類の感情の混合比率、感情の強度、話速、および音圧レベル等のパラメータを、１つの再生タイミングに対して一括して入力する。そして、音声データの再生に応じてユーザが上記操作を行うことで、音声データの各再生タイミングの各々に対して、所望の感情の種類、複数種類の感情の混合比率、感情の強度、話速、および音圧レベル等を含むパラメータが一括して入力されることとなる。

【0092】

音声データの再生中、入力受付部２０Ｂは、パラメータの入力を入力部１４Ｂから受付けたか否かを判断する（ステップＳ１１２）。ステップＳ１１２で否定判断すると（ステップＳ１１２：Ｎｏ）、後述するステップＳ１１６へ進む。ステップＳ１１２で肯定判断すると（ステップＳ１１２：Ｙｅｓ）、ステップＳ１１４へ進む。

【0093】

ステップＳ１１４では、記録部２０Ｆが、ステップＳ１１２で入力を受付けたパラメータを音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する（ステップＳ１１４）。

【0094】

次に、再生部２０Ｅは、音声データの再生が終了したか否かを判断する（ステップＳ１１６）。例えば、再生部２０Ｅは、ステップＳ１１０で再生を開始した音声データの時間軸における最終タイミングまで再生が終了したか否かを判別することで、ステップＳ１１６の判断を行う。ステップＳ１１６で否定判断すると、ステップＳ１１２へ戻る。ステップＳ１１６で肯定判断すると（ステップＳ１１６：Ｙｅｓ）、ステップＳ１１８へ進む。

【0095】

再生部２０Ｅは、ステップＳ１０８で取得した音声データについて、再生タイミングの各々に対応付けられたパラメータに応じた感情に対応する音声辞書データを合成した合成音声データを生成する（ステップＳ１１８）。

【0096】

記録部２０Ｆは、生成された合成音声データにおける各再生タイミングに対応付けて、各再生タイミングの合成音声の生成に用いたパラメータを対応付けて記録する（ステップＳ１２０）。

【0097】

なお、ユーザは、合成音声データを試聴しながら、再度、各再生タイミングに対してパラメータを設定または編集することも可能である。また、上述したように、処理部２０は、合成音声データに対して、表示画面３０Ｂに表示された合成音声データの波形における編集ポイントの選択を受付け、該編集ポイントのパラメータの編集を受付けることで、編集されたパラメータを、合成音声データにおける選択された編集ポイントに相当する位置に対応付けて記録してもよい。

【0098】

表示制御部２０Ａは、文字情報入力欄４０Ｍを重畳した表示画面３０Ｄを表示する。入力受付部２０Ｂは、ユーザによる入力部１４Ｂの操作指示によって文字情報入力欄４０Ｍに入力された文字情報を受付ける（ステップＳ１２２）。

【0099】

記録部２０Ｆは、ステップＳ１３８で受付けた文字情報をステップＳ１３２で生成した合成音声データに対応付けて記録する（ステップＳ１２４）。そして、本ルーチンを終了する。

【0100】

以上説明したように、本実施形態の音声加工支援装置１０は、入力受付部２０Ｂと、記録部２０Ｆと、を備える。入力受付部２０Ｂは、編集対象の音声データの再生中に、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、を少なくとも含むパラメータの入力を受付ける。記録部２０Ｆは、入力を受付けたパラメータを音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する。

【0101】

ここで、従来技術では、音声データの全体に対してモーフィング比率等のパラメータを設定することは可能であるが、時間軸上で変化する感情の推移に関するパラメータを詳細に設定することは困難であった。

【0102】

一方、本実施形態の音声加工支援装置１０では、編集対象の音声データの再生中に、互いに異なる複数の感情の種類と、複数種類の感情の混合比率と、を少なくとも含むパラメータの入力を受付ける。そして、音声加工支援装置１０は、入力を受付けたパラメータを音声データにおける該パラメータの入力を受付けた再生タイミングに対応付けて記録する。

【0103】

このため、本実施形態の音声加工支援装置１０では、音声データの時間軸に沿った各再生タイミングに対して、感情御種類および感情の混合比率を少なくとも含むパラメータを設定することが可能となる。

【0104】

従って、本実施形態の音声加工支援装置１０は、時間軸上で変化する感情の推移に関するパラメータを詳細に設定可能に提供することができる。

【0105】

また、本実施形態の音声加工支援装置１０では、時間軸上で感情および感情の強度が変化するダイナミックな音声表現を可能とするパラメータを音声データに対して設定することができる。

【0106】

また、本実施形態の音声加工支援装置１０では、音声データの再生時に各再生タイミングにおけるパラメータの入力を受付けるため、音声データの再生と同時にリアルタイムに各再生タイミングに対するパラメータを設定することが可能となる。また、本実施形態の音声加工支援装置１０では、ユーザは、入力部１４Ｂを操作することで各再生タイミングに対するパラメータを設定することができる。このため、本実施形態の音声加工支援装置１０は、ユーザによる入力や編集にかかる負荷の軽減と、時間軸上で変化するパラメータの詳細な設定と、を可能とすることができる。

【0107】

次に、本実施形態の音声加工支援装置１０のハードウェア構成を説明する。

【0108】

図７は、本実施形態の音声加工支援装置１０の一例のハードウェア構成図である。

【0109】

本実施形態の音声加工支援装置１０は、ＣＰＵ１０Ａなどの制御装置と、ＲＯＭ（Read Only Memory）１０ＢやＲＡＭ（Random Access Memory）１０Ｃなどの記憶装置と、ＨＤＤ（ハードディスクドライブ）１０Ｄと、ネットワークに接続して通信を行うＩ／Ｆ１０Ｅと、各部を接続するバス１０Ｆと、を備える。

【0110】

本実施形態の音声加工支援装置１０で実行されるプログラムは、ＲＯＭ１０Ｂ等に予め組み込まれて提供される。

【0111】

本実施形態の音声加工支援装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

【0112】

さらに、本実施形態の音声加工支援装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる音声加工支援装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0113】

本実施形態の音声加工支援装置１０で実行されるプログラムは、コンピュータを上述した音声加工支援装置１０の各部として機能させうる。このコンピュータは、ＣＰＵ１０Ａがコンピュータで読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

【0114】

なお、上記実施形態では、音声加工支援装置１０が、単体の装置として構成されていることを想定して説明した。しかし、音声加工支援装置１０は、物理的に分離されてネットワークなどを介して通信可能に接続された複数の装置により構成されていてもよい。

【0115】

また、上記実施形態の音声加工支援装置１０は、クラウドシステム上で動作する仮想マシンとして実現されていてもよい。

【0116】

なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0117】

１０ 音声加工支援装置
２０Ａ 表示制御部
２０Ｂ 入力受付部
２０Ｃ 設定部
２０Ｄ 取得部
２０Ｅ 再生部
２０Ｆ 記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】