特許 6805037 話者検索装置、話者検索方法、および話者検索プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6805037

(24)【登録日】2020年12月7日

(45)【発行日】2020年12月23日

(54)【発明の名称】話者検索装置、話者検索方法、および話者検索プログラム

(51)【国際特許分類】

   G06F 16/63 20190101AFI20201214BHJP

【ＦＩ】

   G06F16/63

【請求項の数】9

【全頁数】26

(21)【出願番号】特願2017-56495(P2017-56495)

(22)【出願日】2017年3月22日

(65)【公開番号】特開2018-160058(P2018-160058A)

(43)【公開日】2018年10月11日

【審査請求日】2020年1月17日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】森 紘一郎

(72)【発明者】

【氏名】鈴木 優

(72)【発明者】

【氏名】大谷 大和

(72)【発明者】

【氏名】森田 眞弘

【審査官】 原 秀人

(56)【参考文献】

【文献】 特開２０１１−７０１９２（ＪＰ，Ａ）

【文献】 特開２０１１−５９７０３（ＪＰ，Ａ）

【文献】 特開２０１５−１７２７６９（ＪＰ，Ａ）

【文献】 特開２００９−２１０７９０（ＪＰ，Ａ）

【文献】 特開２０１４−１５５６５２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００

Ｇ１０Ｌ １５／０２

(57)【特許請求の範囲】

【請求項1】

声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された前記音響モデルを前記得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録する第１変換部と、
前記得点ベクトルの入力を受付ける受付部と、
前記得点管理情報から、受付けた前記得点ベクトルに類似する話者識別情報を検索する検索部と、
を備える話者検索装置。

【請求項2】

前記得点ベクトルは、
話者の声質の主観的な特徴を表す、
請求項１に記載の話者検索装置。

【請求項3】

受付けた前記得点ベクトルを、前記第１変換モデルを用いて前記音響モデルに変換する第２変換部と、
前記音響モデルから合成された音声を再生する再生部と、
を備える、請求項１または請求項２に記載の話者検索装置。

【請求項4】

前記音響モデルは、音声の言語特徴量から音声の音響特徴量への写像を統計的にモデル化する、請求項１〜請求項３の何れか１項に記載の話者検索装置。

【請求項5】

前記音響特徴量を前記得点ベクトルに変換するための第３変換モデルを用いて、話者の前記音響特徴量を前記得点ベクトルに変換し、前記得点管理情報に登録する第３変換部、
を備える、請求項４に記載の話者検索装置。

【請求項6】

前記音響特徴量を前記得点ベクトルに変換するための前記第３変換モデルを学習する第３学習部を備える、
請求項５に記載の話者検索装置。

【請求項7】

前記得点ベクトルは、
声質の特徴の主観的な強さを、声質の特徴の種類ごとに得点で表し、
前記受付部は、
前記特徴の種類ごとの得点を示す前記得点ベクトルと、前記特徴の種類に対する重み付け値と、を受付け、
前記検索部は、
受付けた前記得点ベクトルに含まれる前記得点を対応する重み付け値で重み付けした前記得点ベクトルに類似する、話者識別情報を検索する、
請求項１〜請求項６の何れか１項に記載の話者検索装置。

【請求項8】

声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された前記音響モデルを前記得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録するステップと、
前記得点ベクトルの入力を受付けるステップと、
前記得点管理情報から、受付けた前記得点ベクトルに類似する話者識別情報を検索するステップと、
を含む話者検索方法。

【請求項9】

声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された前記音響モデルを前記得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録するステップと、
前記得点ベクトルの入力を受付けるステップと、
前記得点管理情報から、受付けた前記得点ベクトルに類似する話者識別情報を検索するステップと、
をコンピュータに実行させるための話者検索プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施の形態は、話者検索装置、話者検索方法、および話者検索プログラムに関する。

【背景技術】

【0002】

近年、音声合成技術の発展により、テキストから高品質な合成音が作成されている。特に隠れマルコフモデル（ＨＭＭ）を用いた音声合成技術を用いることで、音響モデルを操作することで合成音を柔軟に制御できることが知られている。また、音声から音響特徴量を抽出し、入力音声の音響特徴量と音声データベースの各話者の音響特徴量の類似度を求め、入力音声と声質の類似度が高い話者を検索する技術が提案されている。この技術を使えば所望の話者の音声から音響特徴量を抽出し、音響特徴量間の類似度を求めることで大規模な音声データベースから所望の話者の声質に近い話者候補を検索できる。

【0003】

しかし、従来手法では、ユーザが所望する話者の音声をクエリとして事前に用意する必要があった。このため、従来では、所望の話者の音声を用意できなければ類似話者を検索できないという課題があった。すなわち、従来では、声質類似度の高い話者を検索することは困難であった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ２００９／１１０６１３号公報

【非特許文献】

【0005】

【非特許文献1】Yusuke Ijima et al. Similar Speaker Selection Technique Based on Distance Metric Learning Using Highly Correlated Acoustic Features with Perceptual Voice Quality Similarity, IEICE Trans. INF. & SYST., Vol.E98-D, No.1 (2015)

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、声質類似度の高い話者を検索することができる話者検索装置、話者検索方法、および話者検索プログラムを提供することである。

【課題を解決するための手段】

【0007】

実施の形態の話者検索装置は、第１変換部と、受付部と、検索部と、を備える。第１変換部は、声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された音響モデルを得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録する。受付部は、得点ベクトルの入力を受付ける。検索部は、得点管理情報から、受付けた得点ベクトルに類似する話者識別情報を検索する。

【図面の簡単な説明】

【0008】

【図1】図１は、話者検索装置の一例を示す図である。

【図2】図２は、話者管理情報のデータ構成の一例を示す模式図である。

【図3】図３は、得点ベクトルの一例を示す模式図である。

【図4】図４は、得点管理情報のデータ構成の一例を示す模式図である。

【図5】図５は、入力画面の一例を示す模式図である。

【図6】図６は、表示画面の一例を示す模式図である。

【図7】図７は、検索処理の手順の一例を示すフローチャートである。

【図8】図８は、話者検索処理の手順の一例を示すフローチャートである。

【図9】図９は、話者検索装置の一例を示す図である。

【図10】図１０は、音声管理情報のデータ構成の一例を示す模式図である。

【図11】図１１は、得点管理情報のデータ構成の一例を示す模式図である。

【図12】図１２は、話者検索装置が実行する検索処理の手順の一例を示すフローチャートである。

【図13】図１３は、話者検索装置のハードウェア構成例を示す説明図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、話者検索装置、話者検索方法、および話者検索プログラムを詳細に説明する。

【0010】

（第１の実施の形態）
図１は、本実施の形態の話者検索装置１０の一例を示す図である。

【0011】

話者検索装置１０は、ユーザの所望の声質の話者を検索する装置である。話者検索装置１０は、記憶部１２と、処理部１４と、音声出力部１６と、ＵＩ（ユーザ・インターフェース）部１８と、を備える。

【0012】

記憶部１２、音声出力部１６、およびＵＩ部１８と、処理部１４と、は、バスなどを介してデータや信号を授受可能に接続されている。

【0013】

音声出力部１６は、音声を出力する。音声出力部１６は、例えば、スピーカである。

【0014】

ＵＩ部１８は、入力部１８Ａと、表示部１８Ｂと、を含む。入力部１８Ａは、ユーザの操作を受付ける。入力部１８Ａは、例えば、デジタルペン、マウス、またはトラックボール等のポインティングデバイスや、キーボード等の入力デバイスである。表示部１８Ｂは、各種情報を表示する。表示部１８Ｂは、例えば、ＬＣＤなどのディスプレイや、投影装置などである。なお、ＵＩ部１８は、入力部１８Ａと表示部１８Ｂとを一体的に備えた、タッチパネルであってもよい。

【0015】

記憶部１２は、各種データを記憶する。記憶部１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１２は、話者検索装置１０の外部に設けられた記憶装置であってもよい。また、記憶部１２は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部１２を、複数の記憶媒体から構成してもよい。

【0016】

本実施の形態では、記憶部１２は、話者管理情報１２Ａと、第１変換モデル１２Ｂと、得点管理情報１２Ｃと、を記憶する。

【0017】

話者管理情報１２Ａは、話者の音声に関する情報である。話者管理情報１２Ａは、記憶部１２に予め記憶されている。図２は、話者管理情報１２Ａのデータ構成の一例を示す模式図である。

【0018】

話者管理情報１２Ａは、話者ＩＤと、音声データと、音声のテキストと、音響特徴量と、言語特徴量と、音響モデルと、得点ベクトルと、を対応づけたデータベースである。なお、話者管理情報１２Ａのデータ形式は、データベースに限定されない。例えば、話者管理情報１２Ａは、テーブルであってもよい。

【0019】

話者ＩＤは、話者を識別する識別情報（話者識別情報）である。話者ＩＤは、話者を識別可能な情報であればよい。話者ＩＤは、例えば、話者の名前などである。

【0020】

音声データは、対応する話者ＩＤによって識別される話者の音声のデータである。話者管理情報１２Ａには、話者ＩＤに対応づけて、複数の音声データ（例えばＮ個（Ｎは２以上の整数））が登録されている。音声データのデータフォーマットは限定されない。例えば、音声データのデータフォーマットは、ＷＡＶ、ＡＩＦＦ、ＢＷＦなどである。

【0021】

音声のテキストは、音声データの収録原稿である。

【0022】

音響特徴量は、対応する音声データから抽出された、音声（音響）の特徴量である。
音響特徴量には、ＨＭＭ（隠れマルコフモデル（ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ））音声合成で使われる音響特徴量を用いればよい。例えば、音響特徴量は、音韻や声色を表すメルケプストラム係数、メルＬＰＣ係数、メルＬＳＰ係数、声の高さを表す基本周波数（Ｆ０）、音声の周期・非周期成分の割合を表す非周期性指標（ＢＡＰ）などである。話者管理情報１２Ａには、登録されている話者ＩＤに対応する音響特徴量が予め導出され、予め話者管理情報１２Ａに登録されているものとする。

【0023】

言語特徴量は、対応する音声のテキストから抽出された、言語の特徴量である。例えば、言語特徴量は、前後の音素、発音に関する情報、句末位置、文長、アクセント句長、モーラ長、モーラ位置、アクセント型、品詞、係り受け情報などである。話者管理情報１２Ａには、登録されている話者ＩＤに対応する言語特徴量が予め導出され、予め話者管理情報１２Ａに登録されているものとする。

【0024】

音響モデルは、話者の音声の言語特徴量から音声の音響特徴量への写像を統計的にモデル化したものである。例えば、音響モデルには、ＨＭＭ音声合成における音響モデルを用いる。音響モデルは、入力を言語特徴量、出力を音響特徴量、とした決定木でモデル化される。出力である音響特徴量は、決定木の各リーフノードに割り当てられた多次元正規分布の平均ベクトルと共分散行列の集合によって、表現される。話者の音響特徴量と言語特徴量から、音響モデルのパラメータである上記平均ベクトルと共分散行列を推定することによって、音響モデルが生成される。

【0025】

本実施の形態では、音響モデルとして、ＨＭＭ音声合成における決定木の音響モデルを用いる場合を説明する。しかし、音響モデルとして、ＨＭＭ音声合成における決定木の音響モデルを用いる形態に限定されない。例えば、ニューラルネットワークなどの言語特徴量を音響特徴量に写像する任意のモデルを、音響モデルとして用いてもよい。

【0026】

話者管理情報１２Ａには、登録されている話者ＩＤに対応する音響モデルが予め導出され、予め話者管理情報１２Ａに予め登録されているものとする。なお、本実施の形態では、話者管理情報１２Ａにおける、一部の話者ＩＤには、音響モデルが対応付けて登録されていなくてもよい。

【0027】

得点ベクトルは、話者の声質の特徴を表す。本実施の形態では、得点ベクトルは、話者の声質の主観的な特徴を表す。

【0028】

図３は、得点ベクトルの一例を示す模式図である。得点ベクトルは、話者の声質の特徴の主観的な強さを、声質の特徴の種類ごとに得点（すなわち数値）で表したものである。声質の特徴の種類は、物理特徴量ではなく、声質を主観的に分類したものである。声質の特徴の種類は、予め定めればよい。例えば、声質の特徴の種類は、「性別」、「年齢」、「明るさ」、「硬さ」、「明瞭さ」、「流暢さ」、「かすれ」、などである。すなわち、得点ベクトルは、話者の主観的な特徴を、声質を表す主観的な種類に応じたラベルの付与された軸を用いて表した、ベクトルである。

【0029】

これらの特徴の種類に対応する得点は、これらの種類の特徴の強さを表す。得点は、例えば、数値で表される。図３には、得点を、“０”から“１”の範囲で表した場合を示している。例えば、声質の特徴の種類「性別」は、得点“０”に近いほど女性的であり、得点“１”に近いほど男性的であることを示す。また、声質の特徴の種類「年齢」は、得点“０”に近いほど若く、得点“１”に近いほど年齢が高いことを示す。

【0030】

このため、図３に示す例では、話者ＩＤ“Ａ”に対応する得点ベクトルは、該話者ＩＤ“Ａ”よって識別される話者の声質の特徴が、若い子供の声であることを示す。また、話者ＩＤ“Ｂ”に対応する得点ベクトルは、該話者ＩＤ“Ｂ”よって識別される話者の声質の特徴が、若い女性の声であることを示す。また、話者ＩＤ“Ｄ”に対応する得点ベクトルは、該話者ＩＤ“Ｄ”よって識別される話者の声質の特徴が、年老いた男性の声であることを示す。

【0031】

図２に戻り説明を続ける。話者管理情報１２Ａには、話者管理情報１２Ａに登録されている複数の話者ＩＤの内、一部の話者ＩＤに対応づけて、得点ベクトルが予め登録されているものとする。話者管理情報１２Ａの一部の話者ＩＤには、該話者ＩＤによって識別される話者の声質に関するアンケート調査によって、多くの人の主観的な声質の感じ方が反映されるように、予め得点ベクトルが付与されているものとする。

【0032】

なお、話者管理情報１２Ａに登録されている話者ＩＤの数は、ユーザが所望の話者を話者管理情報１２Ａから手作業で検索することが困難な数以上であるものとする。

【0033】

図１に戻り、説明を続ける。次に、第１変換モデル１２Ｂおよび得点管理情報１２Ｃについて説明する。第１変換モデル１２Ｂは、得点ベクトルを音響モデルに変換するためのモデルである。第１変換モデル１２Ｂは、処理部１４によって学習され、記憶部１２へ記憶される（詳細後述）。

【0034】

得点管理情報１２Ｃは、ユーザによる話者の検索時に用いられるデータベースである。得点管理情報１２Ｃは、後述する処理部１４によって登録される（詳細後述）。

【0035】

次に、処理部１４について説明する。処理部１４は、話者検索装置１０を制御する。処理部１４は、第１学習部１４Ａと、第１変換部１４Ｂと、受付部１４Ｃと、検索部１４Ｄと、表示制御部１４Ｅと、第２変換部１４Ｆと、合成部１４Ｇと、再生部１４Ｈと、を含む。

【0036】

上記各部（第１学習部１４Ａ、第１変換部１４Ｂ、受付部１４Ｃ、検索部１４Ｄ、表示制御部１４Ｅ、第２変換部１４Ｆ、合成部１４Ｇ、再生部１４Ｈ）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0037】

また、上記各部の少なくとも１つは、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。

【0038】

第１学習部１４Ａは、話者管理情報１２Ａから第１変換モデル１２Ｂを学習する。第１変換モデル１２Ｂは、上述したように、得点ベクトルを音響モデルに変換するためのモデルである。

【0039】

第１学習部１４Ａは、話者管理情報１２Ａに登録されている複数の話者ＩＤの内、得点ベクトルの登録されている複数の話者ＩＤを特定する。そして、第１学習部１４Ａは、特定した複数の話者ＩＤの各々に対応する音響モデルと、該話者ＩＤの各々に対応する得点ベクトルと、を用いて、１つの第１変換モデル１２Ｂを学習する。

【0040】

例えば、第１学習部１４Ａは、非特許文献２に開示されている重回帰ＨＳＭＭ（隠れセミマルコフモデル）や、非特許文献３に開示されているクラスタ適応学習などを用いて、話者管理情報１２Ａから第１変換モデル１２Ｂを学習する。

【0041】

（非特許文献２）Tachibana et al. “A technique for controlling voice quality of synthetic speech using multiple regression HSMM,” in Proceedings of INTERSPEECH 2006, pp.2438-2441(2006)
（非特許文献３）大谷他、統計的音声合成におけるクラスタ適応学習を利用した知覚表現語による話者制御法の検討、音響学会（春）講演論文集（２０１６）

【0042】

本実施の形態では、第１学習部１４Ａは、重回帰ＨＳＭＭを用いて第１学習部１４Ａを学習する場合を、一例として説明する。しかし、第１学習部１４Ａは、他の手法を用いて、話者管理情報１２Ａから第１変換モデル１２Ｂを学習してもよい。例えば、第１学習部１４Ａは、ベクトルからベクトルへの写像を学習するアルゴリズム、たとえばニューラルネットワークなどを用いて、第１変換モデル１２Ｂを学習してもよい。

【0043】

重回帰ＨＳＭＭを用いる場合、第１変換モデル１２Ｂは、下記式（１）で表される。

【0044】

μ＝Ｈｓ＋ｂ ・・・式（１）

【0045】

式（１）は、第１変換モデル１２Ｂを示す式である。式（１）中、μは、正規分布で表される音響モデルの平均ベクトルを示す。μは、スーパーベクトルと称される場合がある。スーパーベクトルは、正規分布で表される音響モデルの平均ベクトルを、決定木の全リーフノードの平均ベクトルをつなげたベクトルで表したものである。

【0046】

また、式（１）中、ｓは、得点ベクトルを示す。また、Ｈは、変換行列を示す。ｂは、バイアスベクトルを示す。ｓ（得点ベクトル）は、下記式（２）で表される。

【0047】

ｓ＝（ｓ１，ｓ２，・・・ｓＬ） ・・・式（２）

【0048】

式（２）中、ｓは、得点ベクトルを表す。ｓｉ（ｉは１以上Ｌ以下の整数）は、得点ベクトルのｉ番目の種類の声質の特徴の得点である。Ｌは、声質の特徴の種類の数である。

【0049】

重回帰ＨＳＭＭを用いる場合、第１学習部１４Ａは、話者管理情報１２Ａに含まれる話者ＩＤの内、得点ベクトルの対応付けられた話者ＩＤを特定する。そして、第１学習部１４Ａは、話者管理情報１２Ａにおける、特定した話者ＩＤに対応する音響モデルの平均ベクトルμと、該話者ＩＤに対応する得点ベクトルｓと、を学習データとして用いる。第１学習部１４Ａは、学習データを用いて、変換行列Ｈと、バイアスベクトルｂと、を最尤推定により求める。

【0050】

これにより、第１学習部１４Ａは、式（１）によって示される第１変換モデル１２Ｂを生成し、記憶部１２へ登録する。すなわち、第１学習部１４Ａによって、変換行列Ｈとバイアスベクトルｂの特定された式（１）が、第１変換モデル１２Ｂとして記憶部１２へ記憶される。

【0051】

第１変換モデル１２Ｂを用いることで、得点ベクトルｓから音響モデル（音響モデルの平均ベクトルμ）を導出することができる。すなわち、第１変換モデル１２Ｂを用いることで、処理部１４は、任意の得点ベクトルによって表される声質の音声を、合成可能となる。

【0052】

次に、第１変換部１４Ｂについて説明する。第１変換部１４Ｂは、第１変換モデル１２Ｂを用いて、話者管理情報１２Ａに登録されている音響モデルを得点ベクトルに変換し、話者ＩＤに対応づけて得点管理情報１２Ｃへ登録する。第１変換モデル１２Ｂは得点ベクトルを音響モデルへ変換するためのモデルである。このため、第１変換部１４Ｂは、第１変換モデル１２Ｂの逆変換モデルを用いて、話者管理情報１２Ａに登録されている音響モデルを得点ベクトルに変換し、得点管理情報１２Ｃへ登録する。

【0053】

まず、得点管理情報１２Ｃについて説明する。図４は、得点管理情報１２Ｃのデータ構成の一例を示す模式図である。

【0054】

得点管理情報１２Ｃは、話者管理情報１２Ａと同様に、話者ＩＤと、音声データと、音声のテキストと、音響特徴量と、言語特徴量と、音響モデルと、得点ベクトルと、を対応づけたデータベースである。なお、得点管理情報１２Ｃのデータ形式は、データベースに限定されない。例えば、得点管理情報１２Ｃは、テーブルであってもよい。

【0055】

得点管理情報１２Ｃには、話者管理情報１２Ａに示されるデータの全てが登録されている。そして、得点管理情報１２Ｃには、話者管理情報１２Ａにおける、得点ベクトルの未登録の話者ＩＤに対応づけて、第１変換部１４Ｂで変換された得点ベクトルが更に登録されている。

【0056】

このため、図４に示すように、話者管理情報１２Ａ（図２参照）において登録されていた得点ベクトル（Ｓａ）は、得点管理情報１２Ｃにそのまま反映される。一方、話者管理情報１２Ａにおいて、得点ベクトルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｃ”、“Ｅ”）については、得点管理情報１２Ｃでは、第１変換部１４Ｂで変換された得点ベクトル（Ｓｂ）が登録された状態となる。

【0057】

図１に戻り説明を続ける。本実施の形態では、第１変換部１４Ｂは、話者管理情報１２Ａにおける、得点ベクトルの未登録の話者ＩＤを特定する。図２に示す話者管理情報１２Ａの構成の場合、第１変換部１４Ｂは、得点ベクトルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｃ”、“Ｄ”、“Ｅ”）を特定する。

【0058】

そして、第１変換部１４Ｂは、第１変換モデル１２Ｂの逆変換モデルを用いて、特定した話者ＩＤに対応する音響モデルを、該話者ＩＤに対応する得点ベクトルに変換する。

【0059】

詳細には、第１変換部１４Ｂは、第１変換モデル１２Ｂを示す式（１）を変形し、逆変換モデルを示す下記式（３）を導出する。下記式（３）は、第１変換モデル１２Ｂの逆写像の逆変換モデルを示す式である。

【0060】

ｓ＝（Ｈ^ＴＨ）^−１Ｈ^Ｔ（μ−ｂ） ・・・式（３）

【0061】

式（３）中、ｓ、Ｈ、μ、およびｂの定義は、上記式（１）および式（２）と同様である。

【0062】

第１変換部１４Ｂは、第１変換モデル１２Ｂから、変換行列Ｈとバイアスベクトルｂを特定する。そして、第１変換部１４Ｂは、該変換行列Ｈとバイアスベクトルｂをあてはめた式（３）を、第１変換モデル１２Ｂの逆変換モデルとして用いる。そして、第１変換部１４Ｂは、話者管理情報１２Ａにおける得点ベクトルの未登録の話者ＩＤに対応する音響モデルの平均ベクトルμから、得点ベクトルＳ（図４では得点ベクトルＳｂ）を導出する。そして、第１変換部１４Ｂは、導出した得点ベクトルを、対応する話者ＩＤに対応づけて、得点管理情報１２Ｃへ登録する。

【0063】

本実施の形態では、第１変換部１４Ｂは、話者管理情報１２Ａに登録されているデータの全てを、得点管理情報１２Ｃへ登録した後に、更に、第１変換部１４Ｂで導出した得点ベクトルを、対応する話者ＩＤに対応づけて、得点管理情報１２Ｃへ登録する。

【0064】

このため、上述したように、話者管理情報１２Ａ（図２参照）において登録されていた得点ベクトル（Ｓａ）は、得点管理情報１２Ｃにそのまま反映される（図４参照）。一方、話者管理情報１２Ａにおいて、得点ベクトルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｃ”、“Ｅ”）に対して、得点管理情報１２Ｃでは、第１変換部１４Ｂで変換された得点ベクトルＳｂが登録された状態となる。なお、図２および図４に示す例では、話者ＩＤ“Ｄ”には、音響モデルが対応づけられていないため、第１変換部１４Ｂは、得点ベクトルを導出できない。このため、本実施の形態では、話者ＩＤ“Ｄ”については、得点管理情報１２Ｃには、得点ベクトルが登録されない。

【0065】

なお、得点管理情報１２Ｃにおける得点ベクトルの全てが、第１変換部１４Ｂで変換された得点ベクトルであってもよい。この場合、第１変換部１４Ｂは、話者管理情報１２Ａに登録されている全ての話者ＩＤの各々に対応する音響モデルを、第１変換モデル１２Ｂの逆変換モデルを用いて得点ベクトルに変換し、得点管理情報１２Ｃへ登録すればよい。

【0066】

なお、本実施の形態では、話者管理情報１２Ａと第１変換モデル１２Ｂとが別々のデータベースである場合を一例として示した。しかし、話者管理情報１２Ａと第１変換モデル１２Ｂとを、１つの管理情報（すなわち１つのデータベース）として構成してもよい。

【0067】

また、得点管理情報１２Ｃには、少なくとも、話者ＩＤに対応する得点ベクトルが登録されていればよく、音声データ、音声のテキスト、音響特徴量、言語特徴量、および、音響モデルの少なくとも１つが登録されていない形態であってもよい。

【0068】

なお、重回帰ＨＳＭＭを用いる場合、第１変換部１４Ｂは、上述したように、第１変換モデル１２Ｂの逆変換モデルを用いて、音響モデルから得点ベクトルを導出することができる。一方、ニューラルネットワークのように解析的に逆写像が求められない手法を用いる場合、第１変換部１４Ｂは、第１変換モデル１２Ｂと同様に、音響モデルの平均ベクトルμから得点ベクトルへの写像をモデル化したモデルを別途学習すればよい。そして、第１変換部１４Ｂは、このモデルを用いて、音響モデルから得点ベクトルを導出すればよい。

【0069】

図１に戻り説明を続ける。受付部１４Ｃは、得点ベクトルの入力を受付ける。ユーザは、入力部１８Ａを操作することで、検索対象の話者の音声の特徴を示す、得点ベクトルを入力する。上述したように、得点ベクトルは、話者の主観的な特徴を、声質を表す主観的な種類に応じたラベルの付与された軸を用いて表した、ベクトルである。このため、ユーザは、物理的特徴量ではなく、声質を表す主観的なラベルを用いて、検索対象の所望の声質を入力することができる。

【0070】

得点ベクトルの入力時には、表示制御部１４Ｅの制御によって、表示部１８Ｂには、入力画面が表示される。

【0071】

表示制御部１４Ｅは、各種画像や情報を表示部１８Ｂへ表示する制御を行う。本実施の形態では、表示制御部１４Ｅは、得点ベクトルの入力を受付けるための入力画面を表示部１８Ｂへ表示する。

【0072】

図５は、入力画面３０の一例を示す模式図である。入力画面３０は、得点ベクトル入力欄３０Ａと、得点ベクトル表示欄３０Ｂと、再生ボタン３０Ｃと、決定ボタン３０Ｄと、を含む。

【0073】

得点ベクトル入力欄３０Ａは、ユーザの所望の、検索対象の話者の声質の特徴を示す得点ベクトルを入力するための入力欄である。例えば、得点ベクトル入力欄３０Ａには、声質の特徴の種類ごとに、得点を入力するためのスライダーバー３０Ｆが表示されている。ユーザは、入力画面３０を参照しながら入力部１８Ａを操作し、スライダーバー３０Ｆに示されるつまみ３０Ｅの位置を調整する。この操作によって、ユーザは、声質の特徴の種類ごとに、得点を入力する。

【0074】

得点ベクトル表示欄３０Ｂは、得点ベクトル入力欄３０Ａによって入力された得点ベクトルによって示される得点を、声質の特徴の種類ごとに表した表示欄である。

【0075】

再生ボタン３０Ｃは、得点ベクトル表示欄３０Ｂに表示されている得点ベクトルに応じて合成された音声の再生を指示するときに、ユーザによって操作指示される。決定ボタン３０Ｄは、得点ベクトル表示欄３０Ｂに表示されている得点ベクトルに応じた話者の検索実行を指示するときに、ユーザによって操作指示される。

【0076】

入力画面３０の得点ベクトル入力欄３０Ａに、ユーザによる入力部１８Ａの操作指示によって得点ベクトルが入力され、再生ボタン３０Ｃが操作指示される。

【0077】

すると、ＵＩ部１８は、再生ボタン３０Ｃが操作指示されたときに入力画面３０に表示された得点ベクトル表示欄３０Ｂに示される得点の得点ベクトルと、再生指示と、を処理部１４へ出力する。

【0078】

これによって、処理部１４の受付部１４Ｃは、得点ベクトルと再生指示とを受付ける。

【0079】

図１に戻り説明を続ける。受付部１４Ｃは、得点ベクトルと再生指示を入力部１８Ａから受付けると、受付けた得点ベクトルを、第２変換部１４Ｆへ出力する。

【0080】

第２変換部１４Ｆは、受付けた得点ベクトルを、第１変換モデル１２Ｂを用いて音響モデルに変換する。すなわち、第２変換部１４Ｆは、第１変換モデル１２Ｂを用いることで、ユーザによる入力部１８Ａの操作指示によって入力された得点ベクトルを、該得点ベクトルの表す声質の話者の音響モデルに変換する。そして、第２変換部１４Ｆは、変換した音響モデルを合成部１４Ｇへ出力する。

【0081】

合成部１４Ｇは、第２変換部１４Ｆから受付けた音響モデルから音声を合成する。音響モデルから音声を合成する方法には、公知の方法を用いればよい。

【0082】

例えば、合成部１４Ｇは、音響モデルを用いて、任意のテキストから抽出した言語特徴量を音響特徴量に変換し、ボコーダを用いて、音響特徴量から音声を合成する（例えば、参考文献１参照）。

【0083】

（参考文献１）Keiichi Tokuda “Speech Synthesis based on Hidden Markov Models,” in Proceedings of the IEEE, vol. 101, no.5, pp.1234-1252, 2013.

【0084】

ここで、従来手法では、メルケプストラム係数を太さ、Ｆ０を声の高さ、周期・非周期成分をかすれ、など、物理特徴量と得点を一対一に対応させることがよく行われていた。一方、本実施の形態では、第１学習部１４Ａが、専用の変換モデルである第１変換モデル１２Ｂを、話者管理情報１２Ａから学習する。このため、合成部１４Ｇは、第１変換モデル１２Ｂを用いることで、任意の話者の音響モデルから、人が主観的に感じる特徴の声質の音声を合成できる。

【0085】

再生部１４Ｈは、合成部１４Ｇで合成された音声を再生するように音声出力部１６を制御する。音声出力部１６は、合成部１４Ｇで合成された音声を再生する。このため、ユーザは、入力部１８Ａの操作指示によって入力した得点ベクトルに応じた音声を確認することができる。また、ユーザは、入力画面３０の操作時に、再生ボタン３０Ｃを操作することで、入力中の得点ベクトルに応じた音声を確認しながら、検索対象の所望の得点ベクトルを入力することができる。

【0086】

そして、ユーザは、検索対象として用いる得点ベクトルが定まったときに、入力画面３０における決定ボタン３０Ｄを操作指示すればよい。

【0087】

すなわち、入力画面３０の得点ベクトル入力欄３０Ａに、ユーザによる入力部１８Ａの操作指示によって得点ベクトルが入力され、決定ボタン３０Ｄが操作指示される。すると、ＵＩ部１８は、決定ボタン３０Ｄが操作指示されたときに入力画面３０に表示された得点ベクトル表示欄３０Ｂに示される得点の得点ベクトルと、検索実行指示と、を処理部１４へ出力する。

【0088】

処理部１４の受付部１４Ｃは、得点ベクトルと検索実行指示とを受付ける。

【0089】

受付部１４Ｃは、得点ベクトルと検索実行指示とをＵＩ部１８から受付けると、該得点ベクトルを検索部１４Ｄへ出力する。

【0090】

検索部１４Ｄは、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する得点ベクトルに対応する話者ＩＤを、検索する。

【0091】

詳細には、検索部１４Ｄは、ユークリッド距離などを用いて、入力部１８Ａから受付部１４Ｃを介して受付けた得点ベクトルと、得点管理情報１２Ｃに登録されている得点ベクトルの各々と、の距離を計算する。ユークリッド距離は、例えば、下記式（４）で表される。

【0092】

【数1】

【0093】

式（４）中、ｓは、受付部１４Ｃを介して入力部１８Ａから受付けた、検索対象（すなわち、検索クエリ（キー））の得点ベクトルを示す。ｓは、上記式（２）で表される。
また、式（４）中、ｓｉ（ｉは１以上Ｌ以下の整数）は、受付けた得点ベクトルのｉ番目の種類の声質の特徴の得点である。

【0094】

また、式（４）中、ｔｉ（ｉは１以上Ｌ以下の整数）は、得点管理情報１２Ｃに登録されている得点ベクトルのｉ番目の種類の声質の特徴の得点である。なお、得点管理情報１２Ｃに登録されている得点ベクトルと、受付部１４Ｃで入力部１８Ａから受付けた得点ベクトルと、の声質の特徴の種類は同じであるものとする。

【0095】

また、式（４）中、ｔは、得点管理情報１２Ｃに登録されている得点ベクトルを示す。ｔは、下記式（５）で表される。

【0096】

ｔ＝（ｔ１，ｔ２，・・・ｔＬ） ・・・式（５）

【0097】

式（５）中、Ｌは、上記と同様に、声質の特徴の種類の数である。

【0098】

そして、検索部１４Ｄは、得点管理情報１２Ｃに登録されている得点ベクトルの内、入力部１８Ａから受付部１４Ｃを介して受付けた得点ベクトルとの距離の近い上位Ｋ個の得点ベクトルを特定する（Ｋは１以上の整数）。そして、検索部１４Ｄは、得点管理情報１２Ｃにおける、特定した該得点ベクトルに対応する話者ＩＤを特定する。これによって、検索部１４Ｄは、得点管理情報１２Ｃから、受付部１４Ｃで受付けた得点ベクトルに類似する話者ＩＤを検索する。

【0099】

すなわち、本実施の形態では、検索部１４Ｄは、メルケプストラム係数やＦ０などの物理特徴量で話者の声間の類似度を求めるのではなく、これらの人の主観的な判断を反映した得点ベクトルを用いて、類似する話者ＩＤを検索する。

【0100】

なお、検索部１４Ｄは、声質の特徴の種類に対する重み付けを行った得点ベクトルを用いて、話者ＩＤを検索してもよい。

【0101】

この場合、表示制御部１４Ｅは、入力画面３０に、声質の特徴の種類ごとに、得点を入力するための入力領域（図５ではスライダーバー３０Ｆ）と共に、重み付け値の入力欄を設け、表示部１８Ｂへ表示すればよい。

【0102】

そして、ユーザは、入力画面３０を参照しながら入力部１８Ａを操作することで、声質の特徴の種類ごとに、重み付け値を更に入力すればよい。この場合、受付部１４Ｃは、声質の特徴の種類ごとの得点を示す得点ベクトルと、声質の特徴の種類に対する重み付け値と、検索実行指示と、を受付ける。

【0103】

そして、検索部１４Ｄは、受付けた前記得点ベクトルに含まれる、声質の特徴の種類ごとの得点を、対応する重み付け値で重み付けした得点ベクトルを、検索クエリ（キー）として用いて、上記と同様にして、得点管理情報１２Ｃから類似する話者ＩＤを検索すればよい。

【0104】

詳細には、検索部１４Ｄは、下記式（６）に示されるユークリッド距離を用いて、入力部１８Ａから受付部１４Ｃを介して受付けた得点ベクトルと、得点管理情報１２Ｃに登録されている得点ベクトルの各々と、の距離を計算する。

【0105】

【数2】

【0106】

式（６）中、ｓ、ｓｉ、ｔ、ｔｉは、上記式（４）と同様である。式（６）中、ｗは、重み付け値を示す。式（６）中、ｗｉは、ｉ番目の種類の声質の特徴に対する、重み付け値を示す。

【0107】

このように、検索部１４Ｄは、声質の特徴の種類に対する重み付けを行った得点ベクトルを用いて、話者ＩＤを検索してもよい。

【0108】

重み付けを行うことで、ユーザの所望の話者ＩＤが検索されやすくなる。なお、処理部１４は、人の主観的な声の類似尺度に合うように、声質の特徴の種類に対する最適化した重み付けを、予め行っておいてもよい。

【0109】

検索部１４Ｄは、検索した話者ＩＤ、および、得点管理情報１２Ｃにおける該話者ＩＤに対応する得点ベクトルを、表示制御部１４Ｅへ出力する。表示制御部１４Ｅは、検索部１４Ｄで検索された話者ＩＤを含む表示画面を、表示部１８Ｂへ表示する。

【0110】

図６は、表示画面３２の一例を示す模式図である。表示画面３２は、得点ベクトル表示欄３２Ａと、得点ベクトル表示欄３２Ｂと、検索結果表示欄３２Ｃと、再生ボタン３２Ｄと、を含む。

【0111】

得点ベクトル表示欄３２Ａおよび得点ベクトル表示欄３２Ｂは、検索クエリとして用いた得点ベクトルの表示欄である。検索結果表示欄３２Ｃは、得点ベクトル表示欄３２Ａおよび得点ベクトル表示欄３２Ｂに表示された得点ベクトルを用いて検索された、話者ＩＤの検索結果の表示欄である。

【0112】

図６に示す例では、検索結果表示欄３２Ｃには、検索部１４Ｄで検索された話者ＩＤの一覧と、各話者ＩＤに対応する得点ベクトルと、が表示される。なお、図６には、上記Ｋ（受付けた得点ベクトルとの距離の近い上位Ｋ個）が、“３”である場合を一例として示している。すなわち、図６には、得点ベクトル表示欄３２Ａおよび得点ベクトル表示欄３２Ｂに示される得点ベクトルに類似する、得点ベクトルに対応するＫ個の話者ＩＤとして、３個の話者ＩＤを検索した例を示している。

【0113】

検索結果表示欄３２Ｃにおける、各話者ＩＤの各々に対応する領域には、再生ボタン３２Ｄ（３２Ｄ１〜３２Ｄ３）が表示されている。再生ボタン３２Ｄは、対応する話者ＩＤの得点ベクトルに応じて合成された音声の再生を指示するときに、ユーザによって操作指示される。

【0114】

ユーザは、入力部１８Ａを操作することで、再生ボタン３２Ｄを操作指示する。すると、ＵＩ部１８は、該再生ボタン３２Ｄに対応する得点ベクトルと、再生指示と、を処理部１４へ出力する。例えば、再生ボタン３２Ｄ１が操作指示されたと仮定する。すると、ＵＩ部１８は、該再生ボタン３２Ｄ１に対応する、話者ＩＤ“Ａ”に対応する得点ベクトル（検索結果表示欄３２Ｃに表示されている得点ベクトル）と、再生指示と、を処理部１４へ出力する。

【0115】

処理部１４は、ＵＩ部１８から、得点ベクトルと再生指示を受付けると、受付部１４Ｃ、第２変換部１４Ｆ、合成部１４Ｇ、および再生部１４Ｈが、上記と同様の処理を行う。このため、ユーザによって操作指示された再生ボタン３２Ｄに対応する話者ＩＤの得点ベクトルが、音響モデルに変換され、該音響モデルから合成された音声が、音声出力部１６から再生される。

【0116】

このため、ユーザは、検索結果表示欄３２Ｃに示される各話者ＩＤの各々に対応する音声を確認することができる。

【0117】

なお、検索部１４Ｄは、検索結果を、ネットワークなどの通信回線を介して外部装置へ送信してもよい。この場合、検索部１４Ｄは、検索クエリとして用いた得点ベクトルと、検索した話者の話者ＩＤと、該話者ＩＤに対応する得点ベクトルと、を外部装置へ送信する。これにより、これらの情報を受付けた外部装置側で、入力した得点ベクトルに応じた話者の検索結果を確認することが可能となる。

【0118】

次に、話者検索装置１０で実行する検索処理の手順の一例を説明する。

【0119】

図７は、検索処理の手順の一例を示す、フローチャートである。まず、第１学習部１４Ａが、話者管理情報１２Ａを用いて第１変換モデル１２Ｂを学習する（ステップＳ１００）。第１学習部１４Ａは、学習した第１変換モデル１２Ｂを、記憶部１２へ記憶する（ステップＳ１０２）。

【0120】

次に、第１変換部１４Ｂが、話者管理情報１２Ａに登録されている音響モデルを、第１変換モデル１２Ｂを用いて得点ベクトルに変換し（ステップＳ１０４）、得点管理情報１２Ｃへ登録する（ステップＳ１０６）。次に、処理部１４は、話者検索処理を実行する（ステップＳ１０８）。そして、本ルーチンを終了する。

【0121】

図８は、話者検索処理（図７のステップＳ１０８）の手順の一例を示すフローチャートである。

【0122】

まず、処理部１４は、記憶部１２に記憶されている第１変換モデル１２Ｂを読込む（ステップＳ２００）。次に、表示制御部１４Ｅが、入力画面３０をＵＩ部１８に表示する（ステップＳ２０２）。ステップＳ２０２の処理によって、ＵＩ部１８には、例えば、図５に示す入力画面３０が表示される。

【0123】

ユーザは、入力画面３０を参照しながら入力部１８Ａを操作し、声質の特徴の種類ごとに得点を入力する。これによって、ユーザは、検索対象の話者の声質の特徴に応じた得点ベクトルを入力する。そして、ユーザは、再生ボタン３０Ｃを操作指示する。

【0124】

次に、受付部１４Ｃは、得点ベクトルの入力を受付けたと判断するまで（ステップＳ２０４：Ｙｅｓ）、否定判断を繰返す（ステップＳ２０４：Ｎｏ）。例えば、受付部１４Ｃは、入力部１８Ａから得点ベクトルおよび再生指示を受付けたか否かを判別することで、ステップＳ２０４の判断を行う。

【0125】

ステップＳ２０４で肯定判断すると（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０６へ進む。ステップＳ２０６では、第２変換部１４Ｆが、ステップＳ２０４で受付けた得点ベクトルを、第１変換モデル１２Ｂを用いて音響モデルに変換する（ステップＳ２０６）。次に、合成部１４Ｇが、ステップＳ２０６で変換された音響モデルから音声を合成する（ステップＳ２０８）。そして、再生部１４Ｈが、ステップＳ２０８で合成された音声を出力するように、音声出力部１６を再生制御する（ステップＳ２１０）。

【0126】

ステップＳ２１０の処理によって、ユーザの操作によって入力された得点ベクトルに応じた音声が、音声出力部１６から出力される。

【0127】

次に、受付部１４Ｃは、検索実行指示を受付けたか否かを判断する（ステップＳ２１２）。ステップＳ２１２では、受付部１４Ｃは、得点ベクトルおよび検索実行指示を、入力部１８Ａから受付けたか否かを判別することで、ステップＳ２１２の判断を行う。なお、ステップＳ２０４で否定判断した場合、ステップＳ２１２の判断を行ってもよい。

【0128】

ステップＳ２１２で否定判断すると（ステップＳ２１２：Ｎｏ）、上記ステップＳ２０４へ戻る。一方、ステップＳ２１２で肯定判断すると（ステップＳ２１２：Ｙｅｓ）、ステップＳ２１４へ進む。

【0129】

ステップＳ２１４では、検索部１４Ｄが、得点管理情報１２Ｃから、ステップＳ２１２で受付けた得点ベクトルに類似する得点ベクトルに対応する話者ＩＤを検索する（ステップＳ２１４）。

【0130】

次に、表示制御部１４Ｅが、ステップＳ２１４で検索された話者ＩＤを含む表示画面３２を、表示部１８Ｂへ表示する（ステップＳ２１６）。ステップＳ２１６の処理によって、例えば、表示部１８Ｂには、図６に示す表示画面３２が表示される。

【0131】

次に、受付部１４Ｃが、入力部１８Ａから再生指示を受付けたか否かを判断する（ステップＳ２１８）。ステップＳ２１８で否定判断すると（ステップＳ２１８：Ｎｏ）、後述するステップＳ２２６へ進む。一方、ステップＳ２１８で肯定判断すると（ステップＳ２１８：Ｙｅｓ）、ステップＳ２２０へ進む。

【0132】

ステップＳ２２０では、第２変換部１４Ｆが、ステップＳ２１８で再生指示と共に受付けた得点ベクトルを、第１変換モデル１２Ｂを用いて音響モデルに変換する（ステップＳ２２０）。次に、合成部１４Ｇが、ステップＳ２２０で変換された音響モデルから音声を合成する（ステップＳ２２２）。そして、再生部１４Ｈが、ステップＳ２２２で合成された音声を出力するように、音声出力部１６を再生制御する（ステップＳ２２４）。

【0133】

ステップＳ２２４の処理によって、ユーザの操作によって入力された得点ベクトルに応じた音声が、音声出力部１６から出力される。

【0134】

次に、処理部１４は、処理を終了するか否かを判断する（ステップＳ２２６）。処理部１４は、例えば、ユーザによる入力部１８Ａの操作指示によって、処理終了を指示するための予め定められたボタンが操作されたか否かを判別することで、ステップＳ２２６の判断を行う。ステップＳ２２６で否定判断すると（ステップＳ２２６：Ｎｏ）、上記ステップＳ２１８へ戻る。なお、ステップＳ２２６で否定判断した場合、上記ステップＳ２０２へ戻ってもよい。ステップＳ２２６で肯定判断すると（ステップＳ２２６：Ｙｅｓ）、本ルーチンを終了する。

【0135】

以上説明したように、本実施の形態の話者検索装置１０は、第１変換部１４Ｂと、受付部１４Ｃと、検索部１４Ｄと、を備える。第１変換部１４Ｂは、声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデル１２Ｂの逆変換モデルを用いて、予め登録された音響モデルを得点ベクトルに変換し、話者ＩＤ（話者識別情報）に対応づけて得点管理情報１２Ｃに登録する。受付部１４Ｃは、得点ベクトルの入力を受付ける。検索部１４Ｄは、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する話者ＩＤ（話者識別情報）を検索する。

【0136】

ここで、従来では、ユーザ所望の話者の音声データを、検索クエリとして用いて、ユーザ所望の音声の話者を検索していた。このため、従来では、ユーザ所望の話者の音声データを事前に登録しておかなければ、話者を検索することができなかった。

【0137】

一方、本実施の形態の話者検索装置１０は、声質の特徴を表す得点ベクトルを検索クエリとして用いて、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する話者ＩＤを検索する。また、本実施の形態の話者検索装置１０は、声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデル１２Ｂを用いて、予め登録された音響モデルを得点ベクトルに変換し、話者ＩＤ（話者識別情報）に対応づけて得点管理情報１２Ｃに登録する。

【0138】

従って、本実施の形態の話者検索装置１０は、声質類似度の高い話者を検索することができる。

【0139】

また、従来では、膨大な話者の各々に対応する音声データを、予めカテゴリごとに分類し、所望の話者を検索する手法がとられていた。しかし、登録する話者の数が膨大になるほど、分類作業の負荷やコストも膨大となっていた。

【0140】

一方、本実施の形態の話者検索装置１０は、声質の特徴を表す得点ベクトルを検索クエリとして用いて、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する話者ＩＤを検索する。

【0141】

このため、本実施の形態の話者検索装置１０は、検索の母体となるデータベースに登録されている話者の音声を予め分類する負荷やコストの増大を招くことなく、声質類似度の高い話者を検索することができる。

【0142】

また、従来では、話者間の類似度を、メル周波数ケプストラム係数、基本周波数（Ｆ０）などの基本的な物理特徴量間の比較によって導出していた。このため、従来では、これらの物理特徴量間の類似度と人が主観的に感じる話者間の近さが一致しない場合があった。

【0143】

一方、本実施の形態の話者検索装置１０において、検索クエリとして用いる得点ベクトルは、話者の声質の主観的な特徴を表す。このため、本実施の形態の話者検索装置１０は、上記効果に加えて、主観的な声質類似度の高い話者を検索することができる。

【0144】

（第２の実施の形態）
上記実施の形態では、得点管理情報１２Ｃには、話者管理情報１２Ａに登録されている全てのデータと、第１変換部１４Ｂで登録された得点データと、が登録されている場合を示した。

【0145】

すなわち、上記実施の形態では、得点管理情報１２Ｃには、予め話者管理情報１２Ａに登録されていた得点データと、第１変換部１４Ｂによって音響モデルから導出された得点データと、が登録されている場合を示した。

【0146】

本実施の形態では、得点管理情報１２Ｃに、音響特徴量から導出した得点ベクトルを更に登録する形態を説明する。

【0147】

図９は、本実施の形態の話者検索装置１０Ａの一例を示す図である。

【0148】

話者検索装置１０Ａは、記憶部１３と、処理部１５と、音声出力部１６と、ＵＩ部１８と、を備える。記憶部１３、音声出力部１６、およびＵＩ部１８と、処理部１５と、は、バスなどを介してデータや信号を授受可能に接続されている。音声出力部１６およびＵＩ部１８は、第１の実施の形態と同様である。

【0149】

記憶部１３は、各種データを記憶する。記憶部１３は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１３は、話者検索装置１０Ａの外部に設けられた記憶装置であってもよい。また、記憶部１３は、記憶媒体であってもよい。また、記憶部１３を、複数の記憶媒体から構成してもよい。

【0150】

本実施の形態では、記憶部１３は、話者管理情報１２Ａと、第１変換モデル１２Ｂと、得点管理情報１３Ｃと、第３変換モデル１３Ｄと、音声管理情報１３Ｅと、を記憶する。話者管理情報１２Ａおよび第１変換モデル１２Ｂは、第１の実施の形態と同様である。

【0151】

音声管理情報１３Ｅは、話者の音声に関する情報である。音声管理情報１３Ｅは、第３変換モデル１３Ｄの学習に用いるための音声に関する情報が登録されている。音声管理情報１３Ｅは、記憶部１３に予め記憶されている。

【0152】

図１０は、音声管理情報１３Ｅのデータ構成の一例を示す模式図である。音声管理情報１３Ｅは、話者ＩＤと、音声データと、を対応づけたデータベースである。なお、音声管理情報１３Ｅのデータ形式は、データベースに限定されない。例えば、音声管理情報１３Ｅは、テーブルであってもよい。

【0153】

話者ＩＤは、第１の実施の形態と同様に、話者を識別する識別情報（話者識別情報）である。なお、音声管理情報１３Ｅには、話者管理情報１２Ａ（図２参照）に登録されている話者ＩＤの内、少なくとも音響モデルの対応付けられていない話者ＩＤ（例えば、話者ＩＤ“Ｄ”）が登録されている。また、音声管理情報１３Ｅには、話者管理情報１２Ａに登録されていない話者の話者ＩＤ（例えば、話者ＩＤ“Ｘ”、“Ｙ”、“Ｚ”）が登録されている。

【0154】

なお、音声管理情報１３Ｅには、上記話者ＩＤに加えて、更に、話者管理情報１２Ａに登録されている話者ＩＤの少なくとも一部も登録されていてもよい。

【0155】

音声管理情報１３Ｅには、話者ＩＤに対応づけて、複数の音声データが登録されている。なお、音声管理情報１３Ｅにおける、各話者ＩＤに対応して登録されている音声データの数は、話者管理情報１２Ａの各話者ＩＤに対応して登録されている音声データの数（Ｎ個）より少ない数であって、且つ、１より多い数であればよい。

【0156】

図９に戻り説明を続ける。第３学習部１５Ｊは、話者管理情報１２Ａから第３変換モデル１３Ｄを学習する。第３変換モデル１３Ｄは、音響特徴量を得点ベクトルに変換するためのモデルである。

【0157】

第３学習部１５Ｊは、話者管理情報１２Ａに登録されている話者ＩＤの各々に対応する音響特徴量と、該話者管理情報１２Ａにおける話者ＩＤの各々に対応する得点ベクトルと、を用いて、第３変換モデル１３Ｄを学習する。

【0158】

第３学習部１５Ｊは、音響特徴量のベクトルから得点ベクトルへの写像を学習する公知の手法を用いて、第３変換モデル１３Ｄを学習すればよい。例えば、第３学習部１５Ｊは、線形回帰モデル、カーネル回帰モデル、ニューラルネットワークなどを用いて、第３変換モデル１３Ｄを学習する。なお、第３学習部１５Ｊは、これらのモデルのパラメータを、話者管理情報１２Ａに含まれる話者ＩＤの各々に対応する音響特徴量および得点ベクトルを用いて、推定すればよい。

【0159】

そして、第３学習部１５Ｊは、学習した第３変換モデル１３Ｄを、記憶部１３へ記憶する。

【0160】

特徴抽出部１５Ｋは、音声管理情報１３Ｅに登録されている音声データから、音響特徴量を抽出する。詳細には、特徴抽出部１５Ｋは、音声管理情報１３Ｅに登録されている話者ＩＤごとに、音声データから音響特徴量を抽出する。音響特徴量は、ベクトルで表される。なお、特徴抽出部１５Ｋは、公知の方法を用いて、音声データから音響特徴量を抽出すればよい。

【0161】

なお、音響特徴量は、音響モデルの生成に比べて、少ない数の音声データから抽出することできる。このため、上述したように、音声管理情報１３Ｅにおける、各話者ＩＤに対応して登録されている音声データの数は、話者管理情報１２Ａの各話者ＩＤに対応して登録されている音声データの数（Ｎ個）より少ない数であって、且つ、１より多い数であればよい。

【0162】

第３変換部１５Ｌは、第３変換モデル１３Ｄを用いて、話者の音響特徴量を得点ベクトルに変換し、得点管理情報１３Ｃへ登録する。

【0163】

詳細には、第３変換部１５Ｌは、音声管理情報１３Ｅから特徴抽出部１５Ｋによって、話者ＩＤごとに抽出された音声特徴量を、第３変換モデル１３Ｄを用いて得点ベクトルに変換する。そして、第３変換部１５Ｌは、音声管理情報１３Ｅに登録されている話者ＩＤと、変換した得点ベクトルと、を対応付けて、得点管理情報１３Ｃへ登録する。

【0164】

得点管理情報１３Ｃは、得点管理情報１２Ｃと同様に、ユーザによる話者の検索時に用いられるデータベースである。得点管理情報１３Ｃは、第１変換部１４Ｂおよび第３変換部１５Ｌによって登録および更新される。

【0165】

図１１は、得点管理情報１３Ｃのデータ構成の一例を示す模式図である。得点管理情報１３Ｃは、話者管理情報１２Ａおよび第１の実施の形態の得点管理情報１２Ｃと同様に、話者ＩＤと、音声データと、音声のテキストと、音響特徴量と、言語特徴量と、音響モデルと、得点ベクトルと、を対応づけたデータベースである。なお、得点管理情報１３Ｃのデータ形式は、データベースに限定されない。例えば、得点管理情報１３Ｃは、テーブルであってもよい。

【0166】

得点管理情報１３Ｃは、話者管理情報１２Ａにおける、得点ベクトルの未登録の話者ＩＤに対応づけて、第１変換部１４Ｂで変換された得点ベクトルと、第３変換部１５Ｌで変換された得点ベクトルと、を更に登録したものである。

【0167】

ここで、第１の実施の形態で用いた得点管理情報１２Ｃ（図４参照）には、予め話者管理情報１２Ａに登録されていた得点ベクトルＳａと、第１変換部１４Ｂによって音響モデルから変換された得点ベクトルＳｂと、が登録されている。このため、得点管理情報１２Ｃには、話者管理情報１２Ａにおいて音響モデルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｄ”）については、得点ベクトルが登録されていなかった（図４参照）。

【0168】

一方、本実施の形態で用いる得点管理情報１３Ｃには、図１１に示すように、第１の実施の形態における得点管理情報１２Ｃ（図４参照）に登録されている得点ベクトル（得点ベクトル（Ｓａ）、（Ｓｂ）に加えて、音響特徴量から変換された得点ベクトル（Ｓｃ）が登録されている。このため、得点管理情報１３Ｃには、話者管理情報１２Ａにおいて音響モデルが未登録であった話者ＩＤ（例えば、話者ＩＤ“Ｄ”）に対する、得点ベクトルも、登録される。

【0169】

また、音声管理情報１３Ｅには、話者管理情報１２Ａに未登録の話者ＩＤに対応する音声データが登録されている。そして、第３変換部１５Ｌは、この音声管理情報１３Ｅから特徴抽出部１５Ｋによって抽出された音響特徴量を用いて、得点ベクトルを導出し、得点管理情報１３Ｃへ登録する。

【0170】

このため、得点管理情報１３Ｃには、第１の実施の形態で用いた得点管理情報１２Ｃに比べて、より多い話者の話者ＩＤに対応する得点ベクトルが登録され、類似話者検索の対象とすることができる。

【0171】

また、第１の実施の形態における、第１変換部１４Ｂによって登録された得点ベクトル（Ｓｂ）は、音響モデルから導出されたものである。このため、音響モデルから導出された得点ベクトルを用いて、第２変換部１４Ｆおよび合成部１４Ｇによって合成される音声は、合成音（実際の話者の肉声ではない合成された音声）である。

【0172】

一方、第３変換部１５Ｌによって登録される得点ベクトルは、音声管理情報１３Ｅから特徴抽出部１５Ｋによって抽出された音響特徴量から、第３変換モデル１３Ｄを用いて導出されたものである。このため、音響特徴量から導出された得点ベクトルを用いて、第２変換部１４Ｆおよび合成部１４Ｇによって合成される音声は、実際の話者の肉声または肉声により近い音声となる。

【0173】

このため、検索部１４Ｄが、得点管理情報１２Ｃに代えて得点管理情報１３Ｃから、受付部１４Ｃで受付けた得点ベクトルに類似する、得点ベクトルに対応する話者ＩＤを検索することで、検索部１４Ｄは、合成音に加えて肉声の音声の話者を検索することができる。

【0174】

また、本実施の形態の話者検索装置１０Ａでは、共通の得点ベクトルを用いて、合成音および肉声の双方の音声の話者を検索することができる。このため、合成音と肉声を横断的に検索することができる。

【0175】

このため、例えば、ユーザは、所望の合成音の音質に満足できれば、音響モデルを使用する。そして、音質に不満であれば、ユーザは、入力した得点ベクトルに類似する肉声の声質の話者ＩＤの検索結果を用いて、該話者ＩＤによって識別される話者に収録を依頼する、といった使用方法も可能である。

【0176】

次に、話者検索装置１０Ａで実行する検索処理の手順の一例を説明する。図１２は、話者検索装置１０Ａが実行する検索処理の手順の一例を示す、フローチャートである。

【0177】

まず、処理部１５は、ステップＳ３００〜ステップＳ３０６の処理を実行する。ステップＳ３００〜ステップＳ３０６の処理は、第１の実施の形態のステップＳ１００〜ステップＳ１０６と同様である（図７参照）。

【0178】

具体的には、まず、第１学習部１４Ａが、話者管理情報１２Ａを用いて第１変換モデル１２Ｂを学習する（ステップＳ３００）。第１学習部１４Ａは、学習した第１変換モデル１２Ｂを、記憶部１３へ記憶する（ステップＳ３０２）。

【0179】

次に、第１変換部１４Ｂが、話者管理情報１２Ａに登録されている音響モデルを、第１変換モデル１２Ｂを用いて得点ベクトルに変換し、得点管理情報１３Ｃへ登録する（ステップＳ３０６）。

【0180】

次に、第３学習部１５Ｊが、話者管理情報１２Ａを用いて第３変換モデル１３Ｄを学習する（ステップＳ３０８）。そして、第３学習部１５Ｊは、学習した第３変換モデル１３Ｄを記憶部１３へ記憶する（ステップＳ３１０）。

【0181】

次に、特徴抽出部１５Ｋが、音声管理情報１３Ｅに登録されている音声データの各々に対応する音響特徴量を抽出する（ステップＳ３１２）。次に、第３変換部１５Ｌが、ステップＳ３１２で話者ＩＤごとに抽出された音響特徴量の各々を、第３変換モデル１３Ｄを用いて得点ベクトルに変換する（ステップＳ３１４）。

【0182】

次に、第３学習部１５Ｊは、ステップＳ３１４で変換した得点ベクトルを、該得点ベクトルに対応する話者ＩＤに対応づけて、得点管理情報１３Ｃへ登録する（ステップＳ３１６）。

【0183】

次に、処理部１５は、話者検索処理を実行する（ステップＳ３１６）。ステップＳ３１６の処理は、第１の実施の形態（図７のステップＳ１０８、および図８参照）と同様である。そして、本ルーチンを終了する。

【0184】

以上説明したように、本実施の形態の話者検索装置１０Ａは、第１の実施の形態の構成に加えて、第３変換部１５Ｌを備える。第３変換部１５Ｌは、音響特徴量を得点ベクトルに変換するための第３変換モデル１３Ｄを用いて、話者の音響特徴量を得点ベクトルに変換し、得点管理情報１３Ｃへ登録する。

【0185】

このため、本実施の形態の話者検索装置１０Ａでは、合成音に加えて肉声の音声の話者についても、検索対象とすることができる。

【0186】

従って、本実施の形態の話者検索装置１０Ａは、第１の実施の形態の効果に加えて、更に、声質類似度の高い話者を検索することができる。

【0187】

また、本実施の形態の話者検索装置１０Ａでは、第３変換部１５Ｌが、メルケプストラムや基本周波数などの言語に存しない音響特徴量のみを用いて、第３変換モデル１３Ｄを学習する。このため、話者検索装置１０Ａでは、言語に依存せずに、類似する話者を検索することが可能になる。

【0188】

次に、本実施の形態の話者検索装置１０、１０Ａのハードウェア構成を説明する。図１３は、本実施の形態の話者検索装置１０、１０Ａのハードウェア構成例を示す説明図である。

【0189】

本実施の形態の話者検索装置１０、１０Ａは、ＣＰＵ８６などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ８２と、音声を出力するスピーカ８０と、表示部９８と、入力部９４と、ＨＤＤ９２と、各部を接続するバス９６を備えている。

【0190】

本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムは、ＲＯＭ８８等に予め組み込まれて提供される。

【0191】

本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

【0192】

さらに、本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる話者検索装置１０、１０Ａで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0193】

本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムは、コンピュータを上述した話者検索装置１０、１０Ａの各部として機能させうる。このコンピュータは、ＣＰＵ８６がコンピュータで読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

【0194】

なお、上記実施の形態では、話者検索装置１０、１０Ａの各々が、単体の装置として構成されていることを想定して説明した。しかし、話者検索装置１０、１０Ａの各々は、物理的に分離されてネットワークを介して接続された複数の装置により構成されていてもよい。また、上記実施の形態の話者検索装置１０、１０Ａは、クラウドシステム上で動作する仮想マシンとして実現されていてもよい。

【0195】

なお、上記には、本発明の実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0196】

１０、１０Ａ 話者検索装置
１２、１３ 記憶部
１２Ａ 話者管理情報
１２Ｂ 第１変換モデル
１２Ｃ、１３Ｃ 得点管理情報
１３Ｄ 第３変換モデル
１３Ｅ 音声管理情報
１４、１５ 処理部
１４Ａ 第１学習部
１４Ｂ 第１変換部
１４Ｃ 受付部
１４Ｄ 検索部
１４Ｅ 表示制御部
１４Ｆ 第２変換部
１４Ｇ 合成部
１４Ｈ 再生部
１５Ｊ 第３学習部
１５Ｋ 特徴抽出部
１５Ｌ 第３変換部
１６ 音声出力部
１８ ＵＩ部
１８Ａ 入力部
１８Ｂ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】