特許 6671221 音声選択装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6671221

(24)【登録日】2020年3月5日

(45)【発行日】2020年3月25日

(54)【発明の名称】音声選択装置及びプログラム

(51)【国際特許分類】

   G10L 25/51 20130101AFI20200316BHJP

   G10L 25/24 20130101ALI20200316BHJP

【ＦＩ】

   G10L25/51

   G10L25/24

【請求項の数】5

【全頁数】20

(21)【出願番号】特願2016-77455(P2016-77455)

(22)【出願日】2016年4月7日

(65)【公開番号】特開2017-187686(P2017-187686A)

(43)【公開日】2017年10月12日

【審査請求日】2019年2月25日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(73)【特許権者】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】清山 信正

(72)【発明者】

【氏名】齋藤 礼子

(72)【発明者】

【氏名】尾上 和穂

(72)【発明者】

【氏名】今井 篤

(72)【発明者】

【氏名】都木 徹

【審査官】 上田 雄

(56)【参考文献】

【文献】 特開２００９−２２２９９３（ＪＰ，Ａ）

【文献】 特開２００８−０９６４８３（ＪＰ，Ａ）

【文献】 特開２００７−３３３６０３（ＪＰ，Ａ）

【文献】 特開２０１５−０５７６３０（ＪＰ，Ａ）

【文献】 今井 篤、外８名，テレビ音声へのオーバーラップを許容した音声補助情報サービスの検討，電子情報通信学会２０１６年総合大会講演論文集 基礎・境界／ＮＯＬＴＡ，一般社団法人電子情報通信学会，２０１６年 ３月 １日，ｐ．３２２

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ ２５／００−２５／９３

(57)【特許請求の範囲】

【請求項1】

番組音声に補完音声を付加して提示する際の前記補完音声を、複数の補完音声から選択する音声選択装置において、
１以上の所定数の番組音声データが格納された番組音声ＤＢ（データベース）と、
２以上の所定数の補完音声データが格納された補完音声ＤＢと、
前記番組音声ＤＢに格納された前記所定数の番組音声データのそれぞれについて、音響特徴量を算出すると共に、前記補完音声ＤＢに格納された前記所定数の補完音声データのそれぞれについて、音響特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記所定数の番組音声データのそれぞれについての音響特徴量と、前記特徴量算出部により算出された前記所定数の補完音声データのそれぞれについての音響特徴量との間で類似度を算出する類似度算出部と、
前記補完音声データ毎に、前記類似度算出部により算出された、前記所定数の番組音声データのそれぞれについての音響特徴量と当該補完音声データの音響特徴量との間の前記類似度を加算し、総和を求める類似度加算部と、
前記類似度加算部により求めた前記補完音声データ毎の総和のうち、最小の総和を特定し、前記所定数の補完音声データから、前記最小の総和に対応する前記補完音声データを選択する選択部と、
を備えたことを特徴とする音声選択装置。

【請求項2】

請求項１に記載の音声選択装置において、
前記特徴量算出部は、
前記番組音声データ及び前記補完音声データのそれぞれについて、所定の長さのフレーム単位で音声データを切り出し、前記フレーム単位の音声データ毎に、周波数特性を求め、前記周波数特性に基づいて、メル周波数ケプストラム係数及び対数エネルギーからなる静的係数並びに前記静的係数の１次回帰係数及び２次回帰係数を含めたスペクトル特徴量を求め、前記スペクトル特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量であるｉベクトルを算出する、ことを特徴とする音声選択装置。

【請求項3】

請求項１に記載の音声選択装置において、
前記特徴量算出部は、
前記番組音声データ及び前記補完音声データのそれぞれについて、所定の長さのフレーム単位で音声データを切り出し、前記フレーム単位の音声データ毎に、基本周期候補を設定し、前記基本周期候補の周期性の程度を求めて前記基本周期候補から基本周期を抽出し、前記基本周期に基づいて、対数基本周波数並びに前記対数基本周波数の１次回帰係数及び２次回帰係数を含めたピッチ特徴量を求め、前記ピッチ特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量であるｉベクトルを算出する、ことを特徴とする音声選択装置。

【請求項4】

請求項１に記載の音声選択装置において、
前記特徴量算出部は、
前記番組音声データ及び前記補完音声データのそれぞれについて、所定の長さのフレーム単位で音声データを切り出し、前記フレーム単位の音声データ毎に、周波数特性を求め、前記周波数特性に基づいて、メル周波数ケプストラム係数及び対数エネルギーからなる静的係数並びに前記静的係数の１次回帰係数及び２次回帰係数を含めたスペクトル特徴量を求め、前記スペクトル特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量である第１のｉベクトルを算出し、
前記フレーム単位の音声データ毎に、基本周期候補を設定し、前記基本周期候補の周期性の程度を求めて前記基本周期候補から基本周期を抽出し、前記基本周期に基づいて、対数基本周波数並びに前記対数基本周波数の１次回帰係数及び２次回帰係数を含めたピッチ特徴量を求め、前記ピッチ特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量である第２のｉベクトルを算出し、
前記類似度算出部は、
前記特徴量算出部により算出された前記所定数の番組音声データのそれぞれについての第１のｉベクトルと、前記特徴量算出部により算出された前記所定数の補完音声データのそれぞれについての第１のｉベクトルとの間で類似度を算出し、
前記特徴量算出部により算出された前記所定数の番組音声データのそれぞれについての第２のｉベクトルと、前記特徴量算出部により算出された前記所定数の補完音声データのそれぞれについての第２のｉベクトルとの間の類似度を算出し、
前記類似度加算部は、
前記補完音声データ毎に、前記類似度算出部により算出された、前記所定数の番組音声データのそれぞれについての第１のｉベクトルと当該補完音声データの第１のｉベクトルとの間の前記類似度を加算し、第１の加算結果を求め、
前記補完音声データ毎に、前記類似度算出部により算出された、前記所定数の番組音声データのそれぞれについての第２のｉベクトルと当該補完音声データの第２のｉベクトルとの間の前記類似度を加算し、第２の加算結果を求め、
前記第１の加算結果及び前記第２の加算結果を重み付け加算し、前記総和を求める、ことを特徴とする音声選択装置。

【請求項5】

コンピュータを、請求項１から４までのいずれか一項に記載の音声選択装置として機能させるための音声選択プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、番組音声に解説音声を付加して解説付番組音声を生成する際に、番組音声に付加する解説音声を複数の解説音声から選択する音声選択装置及びプログラムに関する。

【背景技術】

【0002】

従来、テレビ放送における解説放送番組の制作では、番組の台本または脚本とは別に、視覚障害者のための情景描写または字幕の内容についての解説原稿が作成される。解説原稿は、台詞またはナレーション等の発声音が含まれる音声の区間（番組音声）に重ならないように、無音または背景音のみの区間（ポーズ区間）に、ナレータが解説音声として読み上げる原稿である。

【0003】

解説音声の録音時には、発声開始のタイミング及び発声速度を調整しなければならず、リハーサル等を含めて多くの時間と費用が必要となる。この問題を解決するため、解説放送番組の音声を短時間で、かつ低コストで制作する技術が開示されている（例えば、特許文献１を参照）。

【0004】

この技術では、番組音声と、番組の内容に関連するテキストとを入力し、音声合成によりテキストから解説音声を生成する。そして、番組音声からポーズ区間を検出し、ポーズ区間長に合うように解説音声を話速変換し、話速変換後の解説音声をポーズ区間に付加する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４５９４９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前記特許文献１の技術では、番組音声からポーズ区間を正しく検出できない場合があり、適切なタイミング及び話速で解説音声を挿入することができず、結果として適切な解説音声を提供することができないという問題があった。

【0007】

この問題を解決するため、番組音声と解説音声とを重ねた状態の解説付番組音声を生成することが想定される。しかし、番組音声と解説音声とが類似しているときには、生成した解説付番組音声から解説音声の情報を聞き分けることが難しい。

【0008】

このように、テレビ放送の番組音声に対し、当該番組音声の情報を補完するための解説音声（以下、補完音声という。）を付加して解説付番組音声を生成する場合に、聞き分けることが可能な補完音声を適切に提供できない場合があるという問題があった。この問題を解決する手法は提案されていない。

【0009】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、番組音声に補完音声を付加して提示する際の補完音声であって、番組音声に対して聞き分けやすい補完音声を、複数の補完音声から選択可能な音声選択装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

前記課題を解決するために、請求項１の音声選択装置は、番組音声に補完音声を付加して提示する際の前記補完音声を、複数の補完音声から選択する音声選択装置において、１以上の所定数の番組音声データが格納された番組音声ＤＢ（データベース）と、２以上の所定数の補完音声データが格納された補完音声ＤＢと、前記番組音声ＤＢに格納された前記所定数の番組音声データのそれぞれについて、音響特徴量を算出すると共に、前記補完音声ＤＢに格納された前記所定数の補完音声データのそれぞれについて、音響特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記所定数の番組音声データのそれぞれについての音響特徴量と、前記特徴量算出部により算出された前記所定数の補完音声データのそれぞれについての音響特徴量との間で類似度を算出する類似度算出部と、前記補完音声データ毎に、前記類似度算出部により算出された、前記所定数の番組音声データのそれぞれについての音響特徴量と当該補完音声データの音響特徴量との間の前記類似度を加算し、総和を求める類似度加算部と、前記類似度加算部により求めた前記補完音声データ毎の総和のうち、最小の総和を特定し、前記所定数の補完音声データから、前記最小の総和に対応する前記補完音声データを選択する選択部と、を備えたことを特徴とする。

【0011】

また、請求項２の音声選択装置は、請求項１に記載の音声選択装置において、前記特徴量算出部が、前記番組音声データ及び前記補完音声データのそれぞれについて、所定の長さのフレーム単位で音声データを切り出し、前記フレーム単位の音声データ毎に、周波数特性を求め、前記周波数特性に基づいて、メル周波数ケプストラム係数及び対数エネルギーからなる静的係数並びに前記静的係数の１次回帰係数及び２次回帰係数を含めたスペクトル特徴量を求め、前記スペクトル特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量であるｉベクトルを算出する、ことを特徴とする。

【0012】

また、請求項３の音声選択装置は、請求項１に記載の音声選択装置において、前記特徴量算出部が、前記番組音声データ及び前記補完音声データのそれぞれについて、所定の長さのフレーム単位で音声データを切り出し、前記フレーム単位の音声データ毎に、基本周期候補を設定し、前記基本周期候補の周期性の程度を求めて前記基本周期候補から基本周期を抽出し、前記基本周期に基づいて、対数基本周波数並びに前記対数基本周波数の１次回帰係数及び２次回帰係数を含めたピッチ特徴量を求め、前記ピッチ特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量であるｉベクトルを算出する、ことを特徴とする。

【0013】

また、請求項４の音声選択装置は、請求項１に記載の音声選択装置において、前記特徴量算出部が、前記番組音声データ及び前記補完音声データのそれぞれについて、所定の長さのフレーム単位で音声データを切り出し、前記フレーム単位の音声データ毎に、周波数特性を求め、前記周波数特性に基づいて、メル周波数ケプストラム係数及び対数エネルギーからなる静的係数並びに前記静的係数の１次回帰係数及び２次回帰係数を含めたスペクトル特徴量を求め、前記スペクトル特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量である第１のｉベクトルを算出し、前記フレーム単位の音声データ毎に、基本周期候補を設定し、前記基本周期候補の周期性の程度を求めて前記基本周期候補から基本周期を抽出し、前記基本周期に基づいて、対数基本周波数並びに前記対数基本周波数の１次回帰係数及び２次回帰係数を含めたピッチ特徴量を求め、前記ピッチ特徴量に基づきＥＭアルゴリズムを用いて、混合数分の混合重み及び前記混合数分のガウス分布からなるＧＭＭパラメータを算出し、前記ＧＭＭパラメータから前記ガウス分布の平均ベクトルを抽出し、前記平均ベクトルを前記混合数分だけ結合したＧＭＭスーパーベクトルを求め、前記ＧＭＭスーパーベクトルに基づいて、前記音響特徴量である第２のｉベクトルを算出し、前記類似度算出部が、前記特徴量算出部により算出された前記所定数の番組音声データのそれぞれについての第１のｉベクトルと、前記特徴量算出部により算出された前記所定数の補完音声データのそれぞれについての第１のｉベクトルとの間で類似度を算出し、前記特徴量算出部により算出された前記所定数の番組音声データのそれぞれについての第２のｉベクトルと、前記特徴量算出部により算出された前記所定数の補完音声データのそれぞれについての第２のｉベクトルとの間の類似度を算出し、前記類似度加算部が、前記補完音声データ毎に、前記類似度算出部により算出された、前記所定数の番組音声データのそれぞれについての第１のｉベクトルと当該補完音声データの第１のｉベクトルとの間の前記類似度を加算し、第１の加算結果を求め、前記補完音声データ毎に、前記類似度算出部により算出された、前記所定数の番組音声データのそれぞれについての第２のｉベクトルと当該補完音声データの第２のｉベクトルとの間の前記類似度を加算し、第２の加算結果を求め、前記第１の加算結果及び前記第２の加算結果を重み付け加算し、前記総和を求める、ことを特徴とする。

【0014】

さらに、請求項５の音声選択プログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の音声選択装置として機能させることを特徴とする。

【発明の効果】

【0015】

以上のように、本発明によれば、番組音声に補完音声を付加して提示する際の補完音声であって、番組音声に対して聞き分けやすい補完音声を、複数の補完音声から選択することが可能となる。したがって、選択した補完音声を番組音声に付加し、番組音声と補完音声とを同じタイミングで提示する場合であっても、これらの音声を聴く人は、番組音声と補完音声とを容易に区別することができ、聞き分けやすい補完音声を得ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態による音声選択装置の構成例を示すブロック図である。

【図2】実施例１の特徴量算出部の処理例を示すフローチャートである。

【図3】ステップＳ２１３の処理により算出されるＧＭＭパラメータλを説明する図である。

【図4】ステップＳ２１４の処理により算出されるＧＭＭスーパーベクトルＭを説明する図である。

【図5】実施例２の特徴量算出部の処理例を示すフローチャートである。

【図6】実施例２の特徴量算出部による処理の事前処理として、音声フレームの区間判定の処理例を示すフローチャートである。

【図7】前後の有声音区間の基本周期から、無音区間及び無声音区間の基本周期を求める例を説明する図である。

【発明を実施するための形態】

【0017】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、１以上の番組音声及び２以上の補完音声の音響的な特徴量をそれぞれ算出し、２以上の補完音声のそれぞれについて、１以上の番組音声との間の類似度を算出し、当該類似度の最も低い補完音声を２以上の補完音声から選択することを特徴とする。

【0018】

これにより、番組音声とは類似しない音響的な特徴を有する補完音声が選択される。したがって、番組音声と補完音声とを同時に提示する場合であっても、これらの音声を聴く人は、番組音声と補完音声とを容易に区別することができ、聞き分けやすい補完音声を得ることができる。

【0019】

〔音声選択装置〕
まず、本発明の実施形態による音声選択装置について説明する。図１は、本発明の実施形態による音声選択装置の構成例を示すブロック図である。この音声選択装置１は、番組音声ＤＢ（データベース）１０−１〜１０−Ｎ、特徴量算出部１１−１〜１１−Ｎ、補完音声ＤＢ２０−１〜２０−Ｍ、特徴量算出部２１−１〜２１−Ｍ、類似度算出部２２−１〜２２−Ｍ、類似度加算部２３−１〜２３−Ｍ及び選択部２４を備えている。

【0020】

Ｎは１以上の整数であり、番組音声ＤＢ１０−１〜１０−Ｎに格納された番組音声についての話者（番組音声話者）の数に相当する。Ｍは２以上の整数であり、補完音声ＤＢ２０−１〜２０−Ｍに格納された補完音声についての話者（補完音声話者）の数に相当する。ｎ＝１，・・・，Ｎとし、ｍ＝１，・・・，Ｍとする。

【0021】

番組音声ＤＢ１０−ｎは、ある番組音声話者による番組音声の音声波形のデータ（番組音声データ）が格納されたデータベースである。番組音声の音声波形のデータは、標本化周波数１６ｋＨｚ及び変換ビット数１６ビットで標本化されているものとする。

【0022】

特徴量算出部１１−ｎは、対応する番組音声ＤＢ１０−ｎから、第ｎ番目の番組音声話者による番組音声の音声波形のデータを読み出し、番組音声の音声波形のデータに基づいて、番組音声の音響的な特徴量（音響特徴量）を算出する。そして、特徴量算出部１１−ｎは、第ｎ番目の番組音声話者による番組音声の音響特徴量を、類似度算出部２２−１〜２２−Ｍに出力する。

【0023】

補完音声ＤＢ２０−ｍは、ある補完音声話者による補完音声の音声波形のデータ（補完音声データ）が格納されたデータベースである。補完音声の音声波形のデータは、番組音声の音声波形のデータと同様に、標本化周波数１６ｋＨｚ及び変換ビット数１６ビットで標本化されているものとする。補完音声の音声波形のデータは、例えば、番組音声に対して付加するために収録された実際の音声データであってもよいし、音声合成によって作成された音声データ（実際の補完音声データでない）、または音声合成用に利用する音声データベースに含まれる音声データであってもよい。

【0024】

特徴量算出部２１−ｍは、対応する補完音声ＤＢ２０−ｍから、第ｍ番目の補完音声話者による補完音声の音声波形のデータを読み出し、補完音声の音声波形のデータに基づいて、補完音声の音響特徴量を算出する。そして、特徴量算出部２１−ｍは、第ｍ番目の補完音声話者による補完音声の音響特徴量を、対応する類似度算出部２２−ｍに出力する。

【0025】

類似度算出部２２−ｍは、特徴量算出部１１−１〜１１−Ｎから第１〜Ｎ番目の番組音声話者による番組音声の音響特徴量を入力すると共に、対応する特徴量算出部２１−ｍから第ｍ番目の補完音声話者による補完音声の音響特徴量を入力する。

【0026】

類似度算出部２２−ｍは、第１番目の番組音声話者による番組音声の音響特徴量と、第ｍ番目の補完音声話者による補完音声の音響特徴量との間の類似度を算出する。また、類似度算出部２２−ｍは、同様に、第２〜Ｎ番目の番組音声話者による番組音声の音響特徴量のそれぞれと、第ｍ番目の補完音声話者による補完音声の音響特徴量との間の類似度を算出する。そして、類似度算出部２２−ｍは、第１〜Ｎ番目の番組音声話者による番組音声と第ｍ番目の補完音声話者による補完音声との間のそれぞれの類似度を、対応する類似度加算部２３−ｍに出力する。

【0027】

ここで、第ｎ番目の番組音声話者による番組音声の音響特徴量をｗ_inとし、第ｍ番目の補完音声話者による補完音声の音響特徴量をｗ_cmとし、類似度をコサイン類似度ｃｏｓ（ｗ_in，ｗ_cm）とする。第ｎ番目の番組音声話者による番組音声と第ｍ番目の補完音声話者による補完音声との間のコサイン類似度ｃｏｓ（ｗ_in，ｗ_cm）は、以下の式にて算出される。

【数1】

前記式（１）の右辺の分子は、ｗ_in及びｗ_cmの内積を示し、その分母は、ｗ_in及びｗ_cmにおけるそれぞれのノルムの乗算を示す。

【0028】

類似度加算部２３−ｍは、対応する類似度算出部２２−ｍから第１〜Ｎ番目の番組音声話者による番組音声と第ｍ番目の補完音声話者による補完音声との間のそれぞれの類似度を入力する。そして、類似度加算部２３−ｍは、第ｍ番目の補完音声話者による補完音声について、それぞれの類似度を加算することで類似度の総和を求める。類似度加算部２３−ｍは、第ｍ番目の補完音声話者による補完音声について、第１〜Ｎ番目の番組音声話者による番組音声との間の類似度の総和（第ｍ番目の補完音声話者による補完音声についての類似度の総和）を選択部２４に出力する。

【0029】

ここで、第ｍ番目の補完音声話者による補完音声についての類似度ｃｏｓ（ｗ_in，ｗ_cm）の総和をｓ_mとすると、当該総和ｓ_mは、以下の式にて算出される。

【数2】

【0030】

選択部２４は、類似度加算部２３−１〜２３−Ｍから類似度の総和をそれぞれ入力し、これらの類似度の総和のうち最小の類似度の総和を特定する。そして、選択部２４は、補完音声ＤＢ２０−１〜２０−Ｍのうち（Ｍ人の補完音声話者のうち）、最小の類似度の総和に対応する補完音声ＤＢ２０（補完音声話者）を選択し、選択情報を出力する。

【0031】

ここで、最小の類似度の総和ｓ_mに対応する補完音声ＤＢ２０（補完音声話者）を補完音声ＤＢ２０−ｃ（補完音声話者ｃ）とし、選択情報をｃ（１〜Ｍのうちのいずれかの値）とすると、選択情報ｃは、以下の式にて選択される。

【数3】

【0032】

以上のように、本発明の実施形態の音声選択装置１によれば、選択部２４は、補完音声ＤＢ２０−１〜２０−Ｍのうち（Ｍ人の補完音声話者のうち）、番組音声とは最も類似しない音響的な特徴を有する補完音声ＤＢ２０−ｃ（補完音声話者ｃ）を選択する。選択された補完音声ＤＢ２０−ｃは、番組音声に補完音声を付加して解説付番組音声を生成する際に用いられる。これにより、番組音声に補完音声を付加した結果、番組音声と補完音声とを同じタイミングで提示することになっても、これらの音声を聴く人は、番組音声と補完音声とを容易に区別することができ、聞き分けやすい補完音声を得ることができる。

【0033】

以下、本発明の実施形態による音声選択装置１について、実施例１〜３を挙げて具体的に説明する。特徴量算出部１１−１〜１１−Ｎ，２１−１〜２１−Ｍを総称して、特徴量算出部１１，２１と表記する。

【0034】

実施例１〜３において、特徴量算出部１１，２１が音響特徴量を算出する処理として、話者認識または話者照合の際に用いられるi-vector（ｉベクトル）の技術を利用する。i-vectorの詳細については、以下の文献を参照されたい。
［非特許文献１］
N. Dehak, P. Kenny, R. Dehak, P. Dumouchel and P. Ouellet, “Front-end factor analysis for speaker verification”, IEEE Trans. Audio Speech Lang. Process., 19, 788-798(2011)

【0035】

〔実施例１〕
まず、実施例１について説明する。実施例１は、声質の観点から、番組音声に対して聞き分けやすい補完音声を選択する例である。具体的には、実施例１は、メル周波数ケプストラム係数（ＭＦＣＣ）及び対数エネルギー（Ｅ）からなる静的係数並びにそれらの１次回帰係数及び２次回帰係数を含めたスペクトル特徴量を用いた音響特徴量に基づいて、複数の補完音声から１つの補完音声を選択する。

【0036】

特徴量算出部１１，２１は、音響特徴量として、スペクトル特徴量による混合ガウス分布モデル（ＧＭＭ）を構成する平均ベクトルを混合数分だけ結合してＧＭＭスーパーベクトルを求め、ｉベクトルを算出する。スペクトル特徴量の算出方法については、以下の文献を参照されたい。
［非特許文献２］
The HTK Book (for HTK Version 3.4) Cambridge University Engineering Department

【0037】

図２は、実施例１の特徴量算出部１１，２１の処理例を示すフローチャートである。特徴量算出部１１，２１は、番組音声ＤＢ１０または補完音声ＤＢ２０から話者の音声波形のデータを読み出し（ステップＳ２０１）、音声波形のデータから窓幅２５ｍｓ及びシフト幅１０ｍｓのフレームの音声データ（音声フレーム）を切り出す（ステップＳ２０２）。

【0038】

特徴量算出部１１，２１は、音声フレームに対し、プリエンファシス係数０．９７にて高域強調（プリエンファシス）を行う（ステップＳ２０３）。そして、特徴量算出部１１，２１は、高域強調後の音声フレームに対し、窓幅２５ｍｓのハミング窓の窓関数を掛け合わせ（ステップＳ２０４）、ＦＦＴポイント数１０２４の離散フーリエ変換（ＦＦＴ）を行い、周波数特性を求める（ステップＳ２０５）。

【0039】

特徴量算出部１１，２１は、周波数特性にメルフィルターバンクを掛けることで、２６チャンネルのフィルターバンク係数を求める（ステップＳ２０６）。そして、特徴量算出部１１，２１は、フィルターバンク係数に対して離散コサイン変換（ＤＣＴ）を行うことで、１２次元のメル周波数ケプストラム係数（ＭＦＣＣ）を算出する（ステップＳ２０７）。

【0040】

特徴量算出部１１，２１は、ステップＳ２０２から移行して、音声フレームに対し、対数エネルギー（Ｅ）を算出する（ステップＳ２０８）。

【0041】

特徴量算出部１１，２１は、１２次元のメル周波数ケプストラム係数（ＭＦＣＣ）と対数エネルギー（Ｅ）を合わせた１３次元の静的係数を設定する（ステップＳ２０９）。そして、特徴量算出部１１，２１は、これらの静的係数について、１次回帰係数である１次差分ΔＭＦＣＣ，ΔＥ及び２次回帰係数である２次差分Δ^２ＭＦＣＣ，Δ^２Ｅを算出する（ステップＳ２１０，ステップＳ２１１）。特徴量算出部１１，２１は、メル周波数ケプストラム係数（ＭＦＣＣ）、対数エネルギー（Ｅ）、１次差分ΔＭＦＣＣ，ΔＥ、及び２次差分Δ^２ＭＦＣＣ，２次差分Δ^２Ｅをスペクトル特徴量に設定する（ステップＳ２１２）。

【0042】

これにより、音声フレーム毎に、１２個のメル周波数ケプストラム係数（ＭＦＣＣ）、１個の対数エネルギー（Ｅ）、１２個の１次差分ΔＭＦＣＣ、１個の１次差分ΔＥ、１２個の２次差分Δ^２ＭＦＣＣ、及び１個の２次差分Δ^２ＥであるＤ_F（＝３９）個の係数からなるスペクトル特徴量が得られる。

【0043】

特徴量算出部１１，２１は、ＥＭ（Expectation Maximization）アルゴリズムを用いて、音声フレーム毎に算出したＤ_F（＝３９）個の係数からなるスペクトル特徴量（全ての音声フレームにおける係数）から、話者の音声波形のデータ全体に関するＧＭＭパラメータλを算出する（ステップＳ２１３）。ＥＭアルゴリズムを用いてＧＭＭパラメータλを算出する手法の詳細については、以下の文献を参照されたい。
［非特許文献３］
REFERENCE MANUAL for Speech Signal Processing Toolkit Ver. 3.9

【0044】

ＧＭＭパラメータλは、以下の式のとおり、混合数Ｃ（＝５１２）個の混合重み、及び混合数Ｃ個のガウス分布から構成される。混合重みをＷとする。ガウス分布は、Ｄ_Ｆ個の平均値からなる平均ベクトルμ、及びＤ_Ｆ個の分散値からなるベクトルσ²により表される。

【数4】

【0045】

図３は、ステップＳ２１３の処理により算出されるＧＭＭパラメータλを説明する図である。前述のとおり、ＧＭＭパラメータλは、ステップＳ２１３の処理において、ＥＭアルゴリズムを用いて、音声フレーム毎のＤ_F（＝３９）個の係数からなるスペクトル特徴量（全ての音声フレームにおける係数）から算出される。

【0046】

図３に示すように、ＧＭＭパラメータλは、混合数Ｃ個における第０番目について、混合重みＷ（０）及びガウス分布からなる。この場合のガウス分布は、Ｄ_Ｆ個の平均値からなる平均ベクトルμ₀（０），・・・，μ₀（Ｄ_F−１）、及びＤ_Ｆ個の分散値からなるベクトルσ₀²（０），・・・，σ₀²（Ｄ_F−１）により表される。

【0047】

同様に、ＧＭＭパラメータλは、混合数Ｃ個における第（Ｃ−１）番目について、混合重みＷ（Ｃ−１）及びガウス分布からなる。この場合のガウス分布は、Ｄ_Ｆ個の平均値からなる平均ベクトルμ_C-1（０），・・・，μ_C-1（Ｄ_F−１）、及びＤ_Ｆ個の分散値からなるベクトルσ_C-1²（０），・・・，σ_C-1²（Ｄ_F−１）により表される。

【0048】

図２に戻って、特徴量算出部１１，２１は、ステップＳ２１３の後、ＧＭＭパラメータλからＧＭＭスーパーベクトルＭを求める（ステップＳ２１４）。具体的には、特徴量算出部１１，２１は、混合数Ｃ個の混合重み及び混合数Ｃ個のガウス分布（Ｄ_Ｆ個の平均値からなる平均ベクトルμ、及びＤ_Ｆ個の分散値からなるベクトルσ²）から構成されるＧＭＭパラメータλにより平均ベクトルμのみを抽出する。そして、特徴量算出部１１，２１は、Ｄ_Ｆ個の平均値からなる平均ベクトルμを混合数Ｃ個だけ結合し、ＧＭＭスーパーベクトルＭを求める。ＧＭＭスーパーベクトルＭは、Ｃ・Ｄ_F次元の実数のベクトルであり、以下のように表される。

【数5】

【0049】

図４は、ステップＳ２１４の処理により算出されるＧＭＭスーパーベクトルＭを説明する図である。図４に示すように、ＧＭＭスーパーベクトルＭは、第０番目についてのＤ_Ｆ個の平均値からなる平均ベクトルμ₀（０），・・・，μ₀（Ｄ_F−１）、・・・、及び、第（Ｃ−１）番目についてのＤ_Ｆ個の平均値からなる平均ベクトルμ_C-1（０），・・・，μ_C-1（Ｄ_F−１）により構成される。

【0050】

図２に戻って、特徴量算出部１１，２１は、ステップＳ２１４の後、ＧＭＭスーパーベクトルＭに基づいて、前述の非特許文献１に記載されている手法を用いて、次式を満たす音響特徴量であるｉベクトル：ｗを算出する（ステップＳ２１５）。

【数6】

【0051】

また、ｉベクトル：ｗは、Ｄ_T次元の実数のベクトルであり、以下のように表される。

【数7】

【0052】

ここで、ｍは、大量の不特定話者の音声データを用いて学習したＧＭＭスーパーベクトルであり、Ｔは、低ランクの矩形行列（Ｄ_T＜＜Ｃ・Ｄ_F）である。矩形行列Ｔは、Ｃ・Ｄ_F×Ｄ_T次元の実数のベクトルであり、以下のように表される。

【数8】

【0053】

ｗは、平均ベクトルが０であり、共分散行列が単位行列Ｉであるガウス分布Ｎ（ｗ；０，Ｉ）に従う。平均ベクトル０は、Ｄ_T次元の実数のベクトルであり、以下のように表される。

【数9】

共分散行列Ｉは、Ｄ_T×Ｄ_T次元の実数のベクトルであり、以下のように表される。

【数10】

【0054】

尚、特徴量算出部１１，２１は、算出したｉベクトル：ｗに対して、ＬＤＡ（Linear Discrimination Analysis）やＷＣＣＮ（Within-Class Covariance Normalization）等の処理にて、同一話者内の音響変動を補正する。後述する実施例２，３についても同様である。

【0055】

類似度算出部２２−１〜２２−Ｍ、類似度加算部２３−１〜２３−Ｍ及び選択部２４の処理は、図１と同様である。

【0056】

以上のように、実施例１の特徴量算出部１１，２１は、番組音声ＤＢ１０または補完音声ＤＢ２０から読み出した音声の音声波形のデータについて、スペクトル特徴量による混合ガウス分布モデル（ＧＭＭ）を構成する平均ベクトルμを混合数Ｃ分だけ結合してＧＭＭスーパーベクトルＭを求める。そして、特徴量算出部１１，２１は、ＧＭＭスーパーベクトルＭに基づいて、スペクトル特徴量を用いた音響特徴量であるｉベクトルを算出する。

【0057】

後段の選択部２４は、特徴量算出部１１，２１にて算出されたｉベクトルに基づき、補完音声ＤＢ２０−１〜２０−Ｍのうち（Ｍ人の補完音声話者のうち）、番組音声と最も類似しない音響的な特徴を有する補完音声ＤＢ２０−ｃ（補完音声話者ｃ）を選択する。

【0058】

ここで、補完音声ＤＢ２０−ｃ（補完音声話者ｃ）は、スペクトル特徴量から算出された音響特徴量を指標として選択され、スペクトル特徴量には、音声の周波数成分が反映されている。また、声質は、音声の周波数成分により決定される。

【0059】

したがって、番組音声に補完音声を付加した結果、番組音声と補完音声とを同時に提示することになっても、これらの音声を聴く人は、番組音声と補完音声とを容易に区別することができ、話者の声質が聞き分けやすい補完音声を得ることができる。

【0060】

〔実施例２〕
次に、実施例２について説明する。実施例２は、声の高さの観点から、番組音声に対して聞き分けやすい補完音声を選択する例である。具体的には、実施例２は、対数基本周波数（ＬＦ０）並びにその１次回帰係数及び２次回帰係数を含めたピッチ特徴量を用いた音響特徴量に基づいて、複数の補完音声から１つの補完音声を選択する。

【0061】

特徴量算出部１１，２１は、音響特徴量として、ピッチ特徴量による混合ガウス分布モデル（ＧＭＭ）を構成する平均ベクトルを混合数分だけ結合してＧＭＭスーパーベクトルを求め、ｉベクトルを算出する。ピッチ特徴量の算出方法については、以下の文献を参照されたい。
［非特許文献４］
都木、清山、宮坂、「複数の窓幅から得られた自己相関関数を用いる音声基本周期抽出法」、電子情報通信学会論文誌 Ａ Vol, J80-A No.9 pp.1341-1350 1997年9月
［非特許文献５］
清山、今井、三島、都木、宮坂、「高品質リアルタイム話速変換システムの開発」、電子情報通信学会論文誌 Ｄ-II Vol, J84-D-II No.6 pp.918-926 2001年6月

【0062】

図５は、実施例２の特徴量算出部１１，２１の処理例を示すフローチャートである。特徴量算出部１１，２１は、番組音声ＤＢ１０または補完音声ＤＢ２０から音声の音声波形のデータを読み出す（ステップＳ５０１）。そして、特徴量算出部１１，２１は、音声波形のデータに対し、カットオフ周波数１ｋＨｚで低域ろ波を行い、１／４のデシメーションを施す（ステップＳ５０２）。そして、特徴量算出部１１，２１は、低域ろ波及びデシメーション後の音声波形のデータから、所定の窓幅にて音声波形のフレームの音声データ（音声フレーム）を切り出す（ステップＳ５０３）。

【0063】

特徴量算出部１１，２１は、切り出した音声フレーム毎に、自己相関関数を算出し、それぞれ指定した範囲で複数個の極大点を求める。そして、特徴量算出部１１，２１は、複数個の極大点の周辺を４倍に内挿し、極大点のうち最大となる極大値をとる位置を、基本周期候補の位置に設定する（ステップＳ５０４）。

【0064】

特徴量算出部１１，２１は、基本周期候補の位置における自己相関関数の値を０次の自己相関関数の値で除算し、周期性の程度を示す値を求める（ステップＳ５０５）。そして、特徴量算出部１１，２１は、重み付けを行い、重み付け後の周期性の程度を示す値を加算し、加算結果を指標として、基本周期候補のうち最適なものを基本周期として選択する（ステップＳ５０６）。

【0065】

ここで、特徴量算出部１１，２１は、音声フレームが有声音区間の場合、その音声フレームの基本周期を求め、当該基本周期のみを用いて以下の処理を行うようにしてもよい。さらに、特徴量算出部１１，２１は、音声フレームが無声音区間または無音区間に含まれる場合、前後の有声音区間に含まれる音声フレームの基本周期を補間して基本周期を求め、当該基本周期も用いて以下の処理を行うようにしてもよい。詳細については後述する。

【0066】

特徴量算出部１１，２１は、基本周期の逆数を基本周波数（Ｆ０）とし、これに自然対数をとることで対数基本周波数（ＬＦ０）を算出する（ステップＳ５０７）。特徴量算出部１１，２１は、１次元の対数基本周波数（ＬＦ０）について、１次回帰係数である１次差分ΔＬＦ０及び２次回帰係数である２次差分Δ^２ＬＦ０を算出する（ステップＳ５０８，ステップＳ５０９）。特徴量算出部１１，２１は、対数基本周波数（ＬＦ０）、１次差分ΔＬＦ０及び２次差分Δ^２ＬＦ０をピッチ特徴量に設定する（ステップＳ５１０）。

【0067】

これにより、音声フレーム毎に、１個の対数基本周波数（ＬＦ０）、１個の１次差分ΔＬＦ０、及び１個の２次差分Δ^２ＬＦ０であるＤ_F（＝３）個の係数からなるピッチ特徴量が得られる。

【0068】

特徴量算出部１１，２１は、ＥＭアルゴリズムを用いて、音声フレーム毎に算出したＤ_F（＝３）個の係数からなるピッチ特徴量（全ての音声フレームにおける係数）から、話者の音声波形のデータ全体に関するＧＭＭパラメータλを算出する（ステップＳ５１１）。そして、特徴量算出部１１，２１は、ＧＭＭパラメータλからＧＭＭスーパーベクトルＭを求める（ステップＳ５１２）。

【0069】

特徴量算出部１１，２１は、ＧＭＭスーパーベクトルＭに基づいて、前述の非特許文献１に記載されている手法を用いて、音響特徴量であるｉベクトル：ｗを算出する（ステップＳ５１３）。

【0070】

類似度算出部２２−１〜２２−Ｍ、類似度加算部２３−１〜２３−Ｍ及び選択部２４の処理は、図１と同様である。

【0071】

以上のように、実施例２の特徴量算出部１１，２１は、番組音声ＤＢ１０または補完音声ＤＢ２０から読み出した音声の音声波形のデータについて、ピッチ特徴量による混合ガウス分布モデル（ＧＭＭ）を構成する平均ベクトルμを混合数Ｃ分だけ結合してＧＭＭスーパーベクトルＭを求める。そして、特徴量算出部１１，２１は、ＧＭＭスーパーベクトルＭに基づいて、ピッチ特徴量を用いた音響特徴量であるｉベクトルを算出する。

【0072】

後段の選択部２４は、特徴量算出部１１，２１にて算出されたｉベクトルに基づき、補完音声ＤＢ２０−１〜２０−Ｍのうち（Ｍ人の補完音声話者のうち）、番組音声と最も類似しない音響的な特徴を有する補完音声ＤＢ２０−ｃ（補完音声話者ｃ）を選択する。

【0073】

ここで、補完音声ＤＢ２０−ｃ（補完音声話者ｃ）は、ピッチ特徴量から算出された音響特徴量を指標として選択され、ピッチ特徴量は、音の高さを表す数値である。

【0074】

したがって、番組音声に補完音声を付加した結果、番組音声と補完音声とを同時に提示することになっても、これらの音声を聴く人は、番組音声と補完音声とを容易に区別することができ、話者の声の高さが聞き分けやすい補完音声を得ることができる。

【0075】

図５に示したとおり、特徴量算出部１１，２１は、音声フレームについて基本周期を求め、当該基本周期を用いて、対数基本周波数（ＬＦ０）等を算出し、音響特徴量であるｉベクトル：ｗを算出する。この場合、特徴量算出部１１，２１は、有声音区間に含まれる音声フレームの基本周期のみを用いて、音響特徴量であるｉベクトル：ｗを算出するようにしてもよい。また、特徴量算出部１１，２１は、前後の有声音区間に含まれる音声フレームの基本周期を補間することで、無声音区間及び無音区間の基本周期を求める。そして、特徴量算出部１１，２１は、有声音区間に含まれる音声フレームの基本周期、及び無声音区間及び無音区間の基本周期を用いて、音響特徴量であるｉベクトル：ｗを算出するようにしてもよい。

【0076】

図６は、図５に示した処理の事前処理として、音声フレームの区間判定の処理例を示すフローチャートである。特徴量算出部１１，２１は、図５に示した処理の事前処理として、音声フレームが含まれる区間として、有声音区間、無声音区間及び無音区間を判定する。

【0077】

特徴量算出部１１，２１は、番組音声ＤＢ１０または補完音声ＤＢ２０から話者の音声波形のデータを読み出し（ステップＳ６０１）、音声波形のデータに対し、高域強調（プリエンファシス）を行う（ステップＳ６０２）。そして、特徴量算出部１１，２１は、高域強調後の音声波形のデータから所定の窓幅のフレームの音声データ（音声フレーム）を切り出す（ステップＳ６０３）。以下に示すステップＳ６０４〜ステップＳ６１２の処理は、音声フレーム毎に行われる。

【0078】

特徴量算出部１１，２１は、音声フレームのパワーを算出し（ステップＳ６０４）、音声フレームのパワーが予め設定された閾値よりも大きいか否かを判定する（ステップＳ６０５）。特徴量算出部１１，２１は、ステップＳ６０５において、音声フレームのパワーが閾値よりも大きいと判定した場合（ステップＳ６０５：Ｙ）、音声フレームは有音区間に含まれるとし、ステップＳ６０７へ移行する。

【0079】

一方、特徴量算出部１１，２１は、ステップＳ６０５において、音声フレームのパワーが閾値よりも大きくないと判定した場合（ステップＳ６０５：Ｎ）、音声フレームは無音区間に含まれるとし、当該区間を無音区間に設定する（ステップＳ６０６）。

【0080】

特徴量算出部１１，２１は、ステップＳ６０５から移行して、音声フレームのパワーが閾値よりも大きい場合、音声フレームの零交叉数を算出する（ステップＳ６０７）。そして、特徴量算出部１１，２１は、音声フレームの零交叉数が予め設定された閾値よりも小さいか否かを判定する（ステップＳ６０８）。特徴量算出部１１，２１は、ステップＳ６０８において、音声フレームの零交叉数が閾値よりも小さいと判定した場合（ステップＳ６０８：Ｙ）、音声フレームは非摩擦性区間に含まれるとし、ステップＳ６１０へ移行する。

【0081】

一方、特徴量算出部１１，２１は、ステップＳ６０８において、音声フレームの零交叉数が閾値よりも小さくないと判定した場合（ステップＳ６０８：Ｎ）、音声フレームは摩擦性区間に含まれるとし、当該区間を無声音区間に設定する（ステップＳ６０９）。

【0082】

特徴量算出部１１，２１は、ステップＳ６０８から移行して、音声フレームの零交叉数が閾値よりも小さい場合、音声フレームの自己相関関数を算出する（ステップＳ６１０）。そして、特徴量算出部１１，２１は、音声フレームの自己相関関数が予め設定された閾値よりも大きいか否かを判定する（ステップＳ６１１）。特徴量算出部１１，２１は、ステップＳ６１１において、音声フレームの自己相関関数が閾値よりも大きいと判定した場合（ステップＳ６１１：Ｙ）、音声フレームは有声音区間に含まれるとし、当該区間を有声音区間に設定する（ステップＳ６１２）。

【0083】

一方、特徴量算出部１１，２１は、ステップＳ６１１において、音声フレームの自己相関関数が閾値よりも大きくないと判定した場合（ステップＳ６１１：Ｎ）、音声フレームは無声音区間に含まれるとし、当該区間を無声音区間に設定する（ステップＳ６０９）。

【0084】

これにより、音声フレームは、有声音区間、無声音区間または無音区間のうちのいずれの区間に含まれるか判定される。特徴量算出部１１，２１は、有声音区間に含まれる音声フレームの基本周期のみを用いて、音響特徴量であるｉベクトル：ｗを算出する。また、特徴量算出部１１，２１は、前後の有声音区間に含まれる音声フレームの基本周期に基づいて、無声音区間または無音区間の基本周期を求め、この基本周期も用いて、音響特徴量であるｉベクトル：ｗを算出するようにしてもよい。

【0085】

図７は、前後の有声音区間の基本周期から、無音区間及び無声音区間の基本周期を求める例を説明する図である。図７に示すように、時系列に、音声フレームの区間が判定されたとする。特徴量算出部１１，２１は、有声音区間について、当該有声音区間に含まれる音声フレームの基本周期を求める。また、特徴量算出部１１，２１は、無音区間（図７のαの箇所を参照）について、有声音区間に挟まれる当該無音区間に含まれる音声フレームの基本周期を、先行する有声音区間の終端近傍の基本周期と、後続する有声音区間の始端近傍の基本周期とを用いた補間処理にて算出する。無声音区間（図７のβを参照）についても同様である。

【0086】

〔実施例３〕
次に、実施例３について説明する。実施例３は、実施例１，２を組み合わせた例であり、声質及び声の高さの観点から、番組音声に対して聞き分けやすい補完音声を選択する。具体的には、実施例３は、実施例１のスペクトル特徴量を用いた音響特徴量、及び実施例２のピッチ特徴量を用いた音響特徴量に基づいて、複数の補完音声から１つの補完音声を選択する。

【0087】

特徴量算出部１１，２１は、実施例１と同様に、音響特徴量として、スペクトル特徴量による混合ガウス分布モデル（ＧＭＭ）を構成する平均ベクトルを混合数分だけ結合してＧＭＭスーパーベクトルを求め、ｉベクトルを算出する。また、特徴量算出部１１，２１は、実施例２と同様に、音響特徴量として、ピッチ特徴量による混合ガウス分布モデル（ＧＭＭ）を構成する平均ベクトルを混合数分だけ結合してＧＭＭスーパーベクトルを求め、ｉベクトルを算出する。

【0088】

具体的には、特徴量算出部１１，２１は、図２に示した処理を行うことで、スペクトル特徴量に基づいたｉベクトル：ｗ_sを算出し、図５に示した処理を行うことで、ピッチ特徴量に基づいたｉベクトル：ｗ_pを算出する。

【0089】

類似度算出部２２−ｍは、特徴量算出部１１−１〜１１−Ｎから、第１〜Ｎ番目のスペクトル特徴量に基づいたｉベクトル：ｗ_s及びピッチ特徴量に基づいたｉベクトル：ｗ_pを入力する。また、類似度算出部２２−ｍは、対応する特徴量算出部２１−ｍから、第ｍ番目のスペクトル特徴量に基づいたｉベクトル：ｗ_s及びピッチ特徴量に基づいたｉベクトル：ｗ_pを入力する。

【0090】

類似度算出部２２−ｍは、スペクトル特徴量に基づいたｉベクトル：ｗ_s及びピッチ特徴量に基づいたｉベクトル：ｗ_pのそれぞれについて、第１〜Ｎ番目のｉベクトル：ｗのそれぞれと、第ｍ番目のｉベクトル：ｗとの間の類似度を算出する。そして、類似度算出部２２−ｍは、第１〜Ｎ番目の番組音声と第ｍ番目の補完音声との間のそれぞれの類似度を、対応する類似度加算部２３−ｍに出力する。

【0091】

類似度加算部２３−ｍは、対応する類似度算出部２２−ｍから、スペクトル特徴量に基づいたｉベクトル：ｗ_s及びピッチ特徴量に基づいたｉベクトル：ｗ_pのそれぞれについて、第１〜Ｎ番目の番組音声と第ｍ番目の補完音声との間のそれぞれの類似度を入力する。そして、類似度加算部２３−ｍは、スペクトル特徴量に基づいたｉベクトル：ｗ_s及びピッチ特徴量に基づいたｉベクトル：ｗ_pのそれぞれについて、類似度を加算することで類似度の総和を算出する。これにより、スペクトル特徴量を用いた音響特徴量における類似度の総和、及びピッチ特徴量を用いた音響特徴量における類似度の総和が得られる。類似度加算部２３−ｍは、２つの算出結果を、予め設定された重み付け係数にて重み付け加算し、類似度の加算総和を求めて選択部２４に出力する。

【0092】

ここで、スペクトル特徴量に基づいたｉベクトル：ｗ_sについての前記式（１）（２）により得られた類似度の総和をｓ_Smとする。また、ピッチ特徴量に基づいたｉベクトル：ｗ_pについての前記式（１）（２）により得られた類似度の総和をｓ_Pmとする。重み付け係数をｇとすると、類似度の総和ｓ_Sm，ｓ_Pmを重み付けして加算した結果である、類似度の加算総和ｓ_SPmは、以下の式で表される。

【数11】

【0093】

重み付け係数ｇは、以下の範囲の値をとる実数である。

【数12】

ｇ＝１．０の場合は実施例１を示し、ｇ＝０．０の場合は実施例２を示す。

【0094】

選択部２４は、類似度加算部２３−１〜２３−Ｍから類似度の加算総和をそれぞれ入力し、これらの類似度の加算総和のうち最小の類似度の加算総和を特定する。そして、選択部２４は、補完音声ＤＢ２０−１〜２０−Ｍのうち（Ｍ人の補完音声話者のうち）、最小の類似度の加算総和に対応する補完音声ＤＢ２０（補完音声話者）を選択し、選択情報を出力する。

【0095】

ここで、最小の類似度の加算総和ｓ_SPmに対応する補完音声ＤＢ２０（補完音声話者）を補完音声ＤＢ２０−ｃ（補完音声話者ｃ）とし、選択情報をｃ（１〜Ｎのうちのいずれかの値）とすると、選択情報ｃは、以下の式にて選択される。

【数13】

【0096】

以上のように、実施例３の特徴量算出部１１，２１は、音響特徴量として、スペクトル特徴量に基づいたｉベクトルを算出すると共に、ピッチ特徴量に基づいたｉベクトルを算出する。

【0097】

類似度算出部２２−ｍは、スペクトル特徴量に基づいたｉベクトル及びピッチ特徴量に基づいたｉベクトルのそれぞれについて、第１〜Ｎ番目の番組音声と第ｍ番目の補完音声との間のそれぞれの類似度を算出する。そして、類似度加算部２３−ｍは、スペクトル特徴量に基づいたｉベクトル及びピッチ特徴量に基づいたｉベクトルのそれぞれについて、類似度を加算することで類似度の総和を算出し、２つの算出結果を重み付けして加算し、類似度の加算総和を求める。

【0098】

選択部２４は、類似度の加算総和に基づいて、補完音声ＤＢ２０−１〜２０−Ｍのうち（Ｍ人の補完音声話者のうち）、番組音声と最も類似しない音響的な特徴を有する補完音声ＤＢ２０−ｃ（補完音声話者ｃ）を選択する。

【0099】

ここで、補完音声ＤＢ２０−ｃ（補完音声話者ｃ）は、スペクトル特徴量から算出された音響特徴量及びピッチ特徴量から算出された音響特徴量を指標として選択される。また、前述のとおり、スペクトル特徴量には音声の周波数成分が反映されており、声質は、音声の周波数成分により決定される。また、音の高さは、ピッチ特徴量により決定される。

【0100】

したがって、番組音声に補完音声を付加した結果、番組音声と補完音声とを同時に提示することになっても、これらの音声を聴く人は、番組音声と補完音声とを容易に区別することができ、話者の声質及び声の高さが聞き分けやすい補完音声を得ることができる。

【0101】

特に、補完音声ＤＢ２０−ｃ（補完音声話者ｃ）を選択する指標である類似度の加算総和には、スペクトル特徴量に基づいたｉベクトル及びピッチ特徴量に基づいたｉベクトルのそれぞれについての重み付けが反映される。つまり、声質を重視する場合は、スペクトル特徴量に基づいたｉベクトルの重み付け係数を１．０に近づけることで、当該声質が反映された類似度の加算総和が算出される。また、声の高さを重視する場合は、ピッチ特徴量に基づいたｉベクトルの重み付け係数を１．０に近づけることで、当該声の高さが反映された類似度の加算総和が算出される。したがって、番組音声に応じた重み付け係数を予め設定することで、番組音声に対し、一層聞き分けやすい補完音声を得ることができる。

【0102】

以上、実施例１〜３を挙げて本発明を説明したが、本発明は前記実施例１〜３に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、実施例１では、スペクトル特徴量に基づいた音響特徴量を算出し、実施例２では、ピッチ特徴量に基づいた音響特徴量を算出するようにした。また、実施例３では、スペクトル特徴量に基づいた音響特徴量、及びピッチ特徴量に基づいた音響特徴量を算出する。本発明は、音響特徴量の算出手法を、スペクトル特徴量に基づいた手法またはピッチ特徴量に基づいた手法に限定するものではなく、他の手法を用いるようにしてもよい。

【0103】

例えば、異なる３種類の手法を用いて異なる３種類の音響特徴量を算出する場合を想定する。特徴量算出部１１，２１は、第１〜３の手法を用いて、第１〜３のｉベクトルをそれぞれ算出する。類似度算出部２２−ｍは、第１〜３のｉベクトルのそれぞれについて、第１〜Ｎ番目の番組音声と第ｍ番目の補完音声との間のそれぞれの類似度を算出する。そして、類似度加算部２３−ｍは、第１〜３のｉベクトルのそれぞれについて、類似度を加算することで類似度の総和を算出し、３つの算出結果を重み付けして加算し、類似度の加算総和を求める。選択部２４は、類似度の加算総和に基づいて、補完音声ＤＢ２０−１〜２０−Ｍのうち（Ｍ人の補完音声話者のうち）、番組音声と最も類似しない音響的な特徴を有する補完音声ＤＢ２０−ｃ（補完音声話者ｃ）を選択する。

【0104】

尚、本発明の実施形態による音声選択装置１のハードウェア構成としては、通常のコンピュータを使用することができる。音声選択装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。音声選択装置１に備えた特徴量算出部１１−１〜１１−Ｎ、特徴量算出部２１−１〜２１−Ｍ、類似度算出部２２−１〜２２−Ｍ、類似度加算部２３−１〜２３−Ｍ及び選択部２４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラム（音声選択プログラム）は、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0105】

１ 音声選択装置
１０−１〜１０−Ｎ 番組音声ＤＢ
１１−１〜１１−Ｎ，２１−１〜２１−Ｍ 特徴量算出部
２０−１〜２０−Ｍ 補完音声ＤＢ
２２−１〜２２−Ｍ 類似度算出部
２３−１〜２３−Ｍ 類似度加算部
２４ 選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】