特表 2023-532844 患者固有の音声モデルの合成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-01

(54)【発明の名称】患者固有の音声モデルの合成

(51)【国際特許分類】

   A61B 10/00 20060101AFI20230725BHJP

   G10L 25/66 20130101ALI20230725BHJP

【ＦＩ】

A61B10/00 L

G10L25/66

A61B10/00 K

A61B10/00 H

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022576351

(86)(22)【出願日】2021-06-07

(85)【翻訳文提出日】2022-12-09

(86)【国際出願番号】 IB2021054952

(87)【国際公開番号】W WO2022003451

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】16/914,524

(32)【優先日】2020-06-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518101266

【氏名又は名称】コルディオ メディカル リミテッド

(74)【代理人】

【識別番号】100086461

【弁理士】

【氏名又は名称】齋藤 和則

(72)【発明者】

【氏名】シャロム、イラン、ディ．

(57)【要約】

装置（４０）は通信インタフェース（２６）とプロセッサ（２８）を有する。プロセッサは：通信インタフェースを介して、疾患に関して第１の状態にある間に被験者によって発せられた複数の音声サンプル（式１）を受信し；そして（式１）と、被験者に固有ではない少なくとも１つの参照弁別子と、を使用して、被験者に固有の弁別子を合成する；ように構成され、弁別子は、被験者に固有であり、そして被験者によって発せられた１つまたは複数のテスト発話に応答して、被験者が疾患に関して第２の状態にあることの尤度を示す出力を生成するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

通信インタフェース；と
プロセッサ：
を有する装置であって、
前記プロセッサは：
前記通信インタフェースを介して、疾患に関して第１の状態にある間に被験者によって発せられた複数の音声サンプル｛ｕ_ｍ ^０｝、ｍ＝１…Ｍ を受信し、そして
前記音声サンプル｛ｕ_ｍ ^０｝と、前記被験者に固有ではない少なくとも１つの参照弁別子と、を使用して、前記被験者が前記疾患に関して第２の状態にある間に前記被験者により発せられた他の音声サンプルを使用することなく、前記被験者に固有の弁別子を合成する、
ように構成され、
前記弁別子は、前記被験者に固有であり、そして前記被験者によって発せられた１つまたは複数のテスト発話に応答して、前記被験者が前記第２の状態にあることの尤度を示す出力を生成するように構成される、
ことを特徴とする装置。

【請求項2】

前記第１の状態は安定状態であり、前記第２の状態は不安定状態であることを特徴とする請求項１に記載の装置。

【請求項3】

前記疾患が、うっ血性心不全（ＣＨＦ）、冠状動脈性心疾患、不整脈、慢性閉塞性肺疾患（ＣＯＰＤ）、喘息、間質性肺疾患、浮腫、胸水、パーキンソン病、うつ病、からなる疾患群から選択される、ことを特徴とする請求項１に記載の装置。

【請求項4】

前記プロセッサは：
任意の音声サンプル ｓ について、前記音声サンプル ｓ と前記被験者の前記第１の状態の音声との間の第１の類似度を示す第１の距離尺度を返す、第１の状態の被験者固有の音声モデル θ^０ を生成するステップと；そして
前記音声サンプル ｓ と前記被験者の第２の状態の音声との間の第２の類似度を示す第２の距離尺度を返す、第２の状態の被験者固有の音声モデル θ^１を生成するステップと；
により前記被験者に固有の弁別子を合成する、
ように構成される、ことを特徴とする請求項１－３のいずれか１項に記載の装置。

【請求項5】

前記少なくとも１つの参照弁別子はＫ個の参照弁別子｛φｋ｝，ｋ＝１…Ｋ、を有し、前記参照弁別子｛φｋ｝は：
それぞれの第１の距離 ｛Ｄ_ｋ ^０（ｓ）｝ を返すそれぞれの第１の状態の参照音声モデルであって、前記第１の距離 ｛Ｄ_ｋ ^０（ｓ）｝ は、前記音声サンプル ｓ と１人または複数の他の被験者のＫ個のグループによって発せられた、それぞれの第１の状態の参照音声との間の第１の類似度を示す、第１の状態の参照音声モデルと；
それぞれの第２の距離 ｛Ｄ_ｋ ^１（ｓ）｝ を返すそれぞれの第２の状態の参照音声モデルであって、前記第２の距離 ｛Ｄ_ｋ ^１（ｓ）｝ は、前記音声サンプル ｓ と１人または複数の他の被験者のＫ個のグループによって発せられた、それぞれの第２の状態の参照音声との間の第２の類似度を示す、第２の状態の参照音声モデルと；
を有し、
ここで、前記第１の状態の被験者固有の音声モデルθ^０ は｛Ｄ_ｋ ^０（ｓ）｝に関数を適用して前記第１の距離尺度を返し、
ここで、前記第２の状態の被験者固有の音声モデルθ^１ は｛Ｄ_ｋ ^１（ｓ）｝に関数を適用して前記第２の距離尺度を返す、
ことを特徴とする請求項４に記載の装置。

【請求項6】

前記関数は、前記第１の距離｛Ｄ_ｋ ^０（ｓ）｝に適用されると、｛Ｄ´_ｋ ^０（ｓ）｝の加重平均を返し、ここでＤ´_ｋ ^０（ｓ）は 前記第１の距離 Ｄ_ｋ ^０（ｓ）の非減少関数である、ことを特徴とする請求項５に記載の装置。

【請求項7】

前記加重平均は、Ｋ個の重み｛ｗ_ｋ｝，ｋ＝１…Ｋ、に対して
Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｓ）であり、それは１つの制約に関して前記音声サンプル｛ｕ_ｍ ^０｝に対するそれぞれの距離尺度の合計を最小化し、前記音声サンプル ｛ｕ_ｍ ^０｝に属するそれぞれの音声サンプル ｕ_ｍ に対する距離尺度は、
Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｕ_ｍ ）に基づく、
ことを特徴とする請求項６に記載の装置。

【請求項8】

前記少なくとも１つの参照弁別子は、
前記音声サンプル ｓ と、前記第１の状態の参照音声との間の第１の類似度を示す第１の距離 Ｄ^０（ｓ） を返す第１の状態の参照音声モデルと、そして
前記音声サンプル ｓ と、前記第２の状態の参照音声との間の第２の類似度を示す第２の距離 Ｄ^１（ｓ） を返す第２の状態の参照音声モデルと、
を有する、ことを特徴とする請求項４に記載の装置。

【請求項9】

前記第１の状態の参照音声モデルは、前記音声サンプル ｓ から抽出された一連の特徴ベクトル Ｖ（ｓ） に第１の関数を適用することによって前記第１の距離 Ｄ^０（ｓ）を返し、
前記第２の状態の参照音声モデルは、前記特徴ベクトル Ｖ（ｓ） に第２の関数を適用することによって前記第２の距離 Ｄ^１（ｓ）を返し、
ここで、前記第１の状態の被験者固有の音声モデル θ^０ および前記第２の状態の被験者固有の音声モデル θ^１ を生成するステップは、１つまたは複数の事前定義された制約の下で前記特徴ベクトル ｛Ｖ（ｕ_ｍ ^０）｝ を最適に変換する正規化変換 Ｔ を使用して前記 θ^０ および前記 θ^１ を生成するステップを有する、
ことを特徴とする請求項８に記載の装置。

【請求項10】

前記正規化変換 Ｔ が１つの制約に関して、
Σ_{ｕ∈｛ｕｍ０｝}Δ（Ｔ（Ｖ（ｕ）），Ｖ（ｕ_０））を最小化し、
ここでΔは、２セットの特徴間の第３の距離尺度であり、
ｕ_０ は ｕ∈｛ｕ_ｍ ^０｝ のコンテントの正規の発話である、
ことを特徴とする請求項９に記載の装置。

【請求項11】

前記第３の距離尺度 Δ は、動的タイムワーピング（ＤＴＷ）距離の非減少関数である、ことを特徴とする請求項１０に記載の装置。

【請求項12】

前記正規化変換 Ｔ が１つの制約に関して、
Σ_{ｕ∈｛ｕｍ０｝}ｆ´_０（Ｔ（Ｖ（ｕ）））を最小化し、
ｆ´_０は、前記第１の関数の非減少関数である、
ことを特徴とする請求項９に記載の装置。

【請求項13】

前記第１の状態の被験者固有の音声モデル θ^０ は、第１の関数を前記正規化変換 Ｔ（Ｖ（ｓ）） に適用して第１の距離尺度を返し、
前記第２の状態の被験者固有の音声モデル θ^１ は、第２の関数を前記正規化変換 Ｔ（Ｖ（ｓ）） に適用して第２の距離尺度を返す、
ことを特徴とする請求項９に記載の装置。

【請求項14】

前記第１の状態の被験者固有の音声モデル θ^０ を生成するステップは、非正規化変換 Ｔ´ を第１のパラメータに適用することにより前記 θ^０ を生成するステップを有し、ここで前記非正規化変換 Ｔ´ は１つまたは複数の事前定義された制約の下で、第１の状態の参照音声モデルの前記第１のパラメータを最適に変換し、そして
前記第２の状態の被験者固有の音声モデルθ^１を生成するステップは、前記非正規化変換 Ｔ´ を第２の状態の参照音声モデルの第２のパラメータに適用することにより前記 θ^１ を生成するステップを有する、
ことを特徴とする請求項８に記載の装置。

【請求項15】

前記非正規化変換 Ｔ´ は、制約のもとで、
Σ_{ｕ∈｛ｕｍ０｝}Ｔ´（Ｄ^０）（ｕ）を最小化し、ここで Ｔ´（Ｄ^０）（ｓ）は変換の下で前記第１の状態の参照音声モデルによって返される前記第１の距離である、
ことを特徴とする請求項１４に記載の装置。

【請求項16】

前記第１の状態の参照音声モデルは、複数の第１のカーネルを含む第１の隠れマルコフモデル（ＨＭＭ）を含み、前記第１のパラメータは、前記第１のカーネルの第１のカーネルパラメータを含み、
前記第２の状態の参照音声モデルは、複数の第２のカーネルを含む第２のＨＭＭを含み、前記第２のパラメータは、前記第２のカーネルの第２のカーネルパラメータを含む、
ことを特徴とする請求項１４に記載の装置。

【請求項17】

前記第１のカーネルおよび前記第２のカーネルはガウスカーネルであり、
前記非正規化変換 Ｔ´ は：
任意の１つまたは複数のガウスカーネルの平均ベクトルに作用するアフィン変換；および
任意の１つ以上のガウスカーネルの共分散行列に作用する二次変換；
を有する、ことを特徴とする請求項１６に記載の装置。

【請求項18】

前記第１の状態の参照音声モデルは、複数の第１の参照フレームを含み、前記第１のパラメータは、前記第１の参照フレームの第１の参照フレーム特徴を含み、
前記第２の状態の参照音声モデルは、複数の第２の参照フレームを含み、前記第２のパラメータは、前記第２の参照フレームの第２の参照フレーム特徴を含む、
ことを特徴とする請求項１４に記載の装置。

【請求項19】

前記第１の状態の参照音声は、Ｒ人の他の被験者の、第１のサブセットによって発せられた複数の前記第１の状態の参照音声サンプルを含み、
前記第２の状態の参照音声は、他の被験者の第２のサブセットによって発せられた複数の前記第２の状態の参照音声サンプルを含み、
ここで、前記プロセッサはさらに：
前記他の被験者に対するそれぞれの変換 ｛Ｔ_ｒ｝，ｒ＝１…Ｒ、 を識別するステップであって、 Ｔｒ は、前記他の被験者の ｒ 番目ごとの被験者に対する、１つまたは複数の事前定義された制約の下で ｛Φ_ｒ｝ を最適に変換する正規化変換であり、｛Φ_ｒ｝ は（ｉ）前記他の被験者によって発せられた前記第１の状態の参照音声サンプル、および （ｉｉ） 前記他の被験者によって発せられた前記第２の状態の参照音声サンプル、の和集合である、ステップと；
前記他の被験者の ｒ 番目ごとに、前記変換 Ｔ_ｒ を 特徴ベクトル｛Ｖ（Φ_ｒ）｝ に適用することにより、変更された特徴のセットを計算するステップと；そして
前記変更された特徴のセットから前記参照弁別子を生成するステップと；
を実行するように構成される、
ことを特徴とする請求項８に記載の装置。

【請求項20】

前記第１の状態の参照音声モデルおよび前記第２の状態の参照音声モデルは、パラメータの第１のセットに関して同一であり、パラメータの第２のセットに関して互いに異なり、
前記プロセッサは、前記第１の状態の被験者固有の音声モデル θ^０ が前記パラメータの第２のセットに関して前記第１の状態の参照音声モデルと同一であるように前記 θ^０ を生成するように構成され、
前記プロセッサは、前記第２の状態の被験者固有の音声モデル θ^１ が前記パラメータの第１のセットに関してθ^０と同一であり、前記パラメータの第２のセットに関して前記第２の状態の参照音声モデルと同一であるように、前記 θ^１ を生成するように構成される、
ことを特徴とする請求項８に記載の装置。

【請求項21】

前記第１の状態の参照音声モデルおよび前記第２の状態の参照音声モデルは、異なるそれぞれの隠れマルコフモデル（ＨＭＭ）を含み、それぞれの前記ＨＭＭは、それぞれのカーネル重みを有する複数のカーネルを含み、
前記パラメータの第１のセットはカーネルの重みを含み、
前記パラメータの第２のセットは、カーネルのカーネルパラメータを含む、
ことを特徴とする請求項２０に記載の装置。

【請求項22】

前記少なくとも１つの参照弁別子は、複数のパラメータに関連付けられた参照神経ネットワークを含み、前記神経ネットワークは、任意の１つまたは複数の音声サンプルについて、当該音声サンプルが前記第２の状態で発せられた尤度を示す別の出力を返し、
前記プロセッサは、音声サンプル｛ｕ_ｍ ^０｝を含む入力音声サンプルのセットに対する他の出力のエラーを最小化するように、前記パラメータのサブセットを調整することによって、前記被験者固有の神経ネットワークを合成することによって、前記被験者固有の弁別子を合成するように構成される、
ことを特徴とする請求項１～３のいずれか一項に記載の装置。

【請求項23】

前記パラメータは複数の神経の重みを含み、前記パラメータのサブセットは前記重みのサブセットを含む、ことを特徴とする請求項２２に記載の装置。

【請求項24】

前記参照神経ネットワークは複数の層を含み、前記重みのサブセットは、前記層のうちの１つに関連付けられた重みの少なくともいくつかを含むが、別の層に関連付けられた重みは含まない、ことを特徴とする請求項２３に記載の装置。

【請求項25】

前記層は、（ｉ）前記音声サンプルに基づく入力に応答して音響層出力を生成する、神経の１つまたは複数の音響層と、（ｉｉ）前記音響層の出力に応答して音声層出力を生成する、神経の１つまたは複数の音声層と、（ｉｉｉ）前記音声層出力に応答して他の出力を生成する、神経の１つまたは複数の弁別層と、を有し、
前記重みのサブセットは、前記音響層および前記弁別層に関連付けられた重みの少なくとも幾つかを含むが、前記音声層に関連付けられた重みは含まない、
ことを特徴とする請求項２４に記載の装置。

【請求項26】

前記パラメータのサブセットは、前記音声サンプルの話者を識別する話者識別パラメータを含む、ことを特徴とする請求項２２に記載の装置。

【請求項27】

前記入力音声サンプルのセットは、１つまたは複数の前記第２の状態の音声サンプルをさらに含む、ことを特徴とする請求項２２に記載の装置。

【請求項28】

疾患に関して第１の状態にある間に被験者によって発せられた複数の音声サンプル｛ｕ_ｍ ^０｝、ｍ＝１…Ｍ を受信するステップと；そして
前記音声サンプル｛ｕ_ｍ ^０｝と、前記被験者に固有ではない少なくとも１つの参照弁別子と、を使用して、前記被験者が疾患に関して第２の状態にある間に前記被験者により発せられた他の音声サンプルを使用することなく、前記被験者に固有の弁別子を合成するステップと；
を有し、
前記弁別子は、前記被験者に固有であり、そして前記被験者によって発せられた１つまたは複数のテスト発話に応答して、前記被験者が前記第２の状態にあることの尤度を示す出力を生成するように構成される、
ことを特徴とする方法。

【請求項29】

前記第１の状態は安定状態であり、前記第２の状態は不安定状態である、ことを特徴とする請求項２８に記載の方法。

【請求項30】

前記疾患が、うっ血性心不全（ＣＨＦ）、冠状動脈性心疾患、不整脈、慢性閉塞性肺疾患（ＣＯＰＤ）、喘息、間質性肺疾患、浮腫、胸水、パーキンソン病、うつ病、からなる疾患群から選択される、ことを特徴とする請求項２８に記載の方法。

【請求項31】

前記被験者に固有の弁別子を合成するステップは：
任意の音声サンプル ｓ について、前記音声サンプル ｓ と前記被験者の前記第１の状態の音声との間の第１の類似度を示す第１の距離尺度を返す、第１の状態の被験者固有の音声モデル θ^０ を生成するステップと；そして
前記音声サンプル ｓ と前記被験者の第２の状態の音声との間の第２の類似度を示す第２の距離尺度を返す、第２の状態の被験者固有の音声モデル θ^１を生成するステップと；
を有する、ことを特徴とする請求項２８－３０のいずれか一項に記載の方法。

【請求項32】

前記少なくとも１つの参照弁別子はＫ個の参照弁別子｛φｋ｝，ｋ＝１…Ｋ、を有し、前記｛φｋ｝は：
それぞれの第１の距離 ｛Ｄ_ｋ ^０（ｓ）｝ を返すそれぞれの第１の状態の参照音声モデルであって、前記第１の距離 ｛Ｄ_ｋ ^０（ｓ）｝ は、前記音声サンプル ｓ と１人または複数の他の被験者のＫ個のグループによって発せられた、それぞれの第１の状態の参照音声との間の第１の類似度を示す、第１の状態の参照音声モデルと；
それぞれの第２の距離 ｛Ｄ_ｋ ^１（ｓ）｝ を返すそれぞれの第２の状態の参照音声モデルであって、前記第２の距離 ｛Ｄ_ｋ ^１（ｓ）｝ は、前記音声サンプル ｓ と１人または複数の他の被験者のＫ個のグループによって発せられた、それぞれの第２の状態の参照音声との間の第２の類似度を示す、第２の状態の参照音声モデルと；
を有し、
ここで、前記第１の状態の被験者固有の音声モデルθ^０ は｛Ｄ_ｋ ^０（ｓ）｝に関数を適用して前記第１の距離尺度を返し、
ここで、前記第２の状態の被験者固有の音声モデルθ^１ は｛Ｄ_ｋ ^１（ｓ）｝に関数を適用して前記第２の距離尺度を返す、
ことを特徴とする請求項３１に記載の方法。

【請求項33】

前記関数は、前記第１の距離 ｛Ｄ_ｋ ^０（ｓ）｝ に適用されると、｛Ｄ´_ｋ ^０（ｓ）｝の加重平均を返し、ここで｛Ｄ´_ｋ ^０（ｓ）｝は前記第１の距離 Ｄ_ｋ ^０（ｓ）の非減少関数である、ことを特徴とする請求項３２に記載の方法。

【請求項34】

前記加重平均は、Ｋ個の重み｛ｗ_ｋ｝，ｋ＝１…Ｋ、に対して
Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｓ）であり、それは１つの制約に関して 前記音声サンプル｛ｕ_ｍ ^０｝に対するそれぞれの距離尺度の合計を最小化し、前記音声サンプル｛ｕ_ｍ ^０｝に属するそれぞれの音声サンプル ｕ_ｍ に対する距離尺度は、
Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｕ_ｍ ）に基づく、
ことを特徴とする請求項請求項３３に記載の方法。

【請求項35】

前記少なくとも１つの参照弁別子は、
前記音声サンプル ｓ と、前記第１の状態の参照音声との間の第１の類似度を示す第１の距離 Ｄ^０（ｓ） を返す第１の状態の参照音声モデルと、そして
前記音声サンプル ｓ と、前記第２の状態の参照音声との間の第２の類似度を示す第２の距離 Ｄ^１（ｓ） を返す第２の状態の参照音声モデルと、
を有する、ことを特徴とする請求項請求項３１に記載の方法。

【請求項36】

前記第１の状態の参照音声モデルは、前記音声サンプル ｓ から抽出された一連の特徴ベクトル Ｖ（ｓ） に第１の関数を適用することによって前記第１の距離 Ｄ^０（ｓ）を返し、
前記第２の状態の参照音声モデルは、前記特徴ベクトル Ｖ（ｓ） に第２の関数を適用することによって前記第２の距離 Ｄ^１（ｓ）を返し、
ここで、前記第１の状態の被験者固有の音声モデル θ^０ および前記第２の状態の被験者固有の音声モデル θ^１ を生成するステップは、１つまたは複数の事前定義された制約の下で特徴ベクトル ｛Ｖ（ｕ_ｍ ^０）｝ を最適に変換する正規化変換 Ｔ を使用して前記 θ^０ および前記 θ^１ を生成するステップを有する、
ことを特徴とする請求項３５に記載の方法。

【請求項37】

前記正規化変換 Ｔ が１つの制約に関して、
Σ_{ｕ∈｛ｕｍ０｝}Δ（Ｔ（Ｖ（ｕ）），Ｖ（ｕ_０））を最小化し、
ここでΔは、２セットの特徴間の第３の距離尺度であり、
ｕ_０ は ｕ∈｛ｕ_ｍ ^０｝ のコンテントの正規の発話である、
ことを特徴とする請求項３６に記載の方法。

【請求項38】

前記第３の距離尺度 Δは、動的タイムワーピング（ＤＴＷ）距離の非減少関数である、ことを特徴とする請求項３７に記載の方法。

【請求項39】

前記正規化変換 Ｔ が１つの制約に関して、
Σ_{ｕ∈｛ｕｍ０｝}ｆ´_０（Ｔ（Ｖ（ｕ）））を最小化し、
ｆ´０は、前記第１の関数の非減少関数である、
ことを特徴とする請求項３６に記載の方法。

【請求項40】

前記第１の状態の被験者固有の音声モデルθ^０ は、第１の関数を 前記正規化変換 Ｔ（Ｖ（ｓ）） に適用して第１の距離尺度を返し、
前記第２の状態の被験者固有の音声モデル θ^１ は、第２の関数を前記正規化変換 Ｔ（Ｖ（ｓ）） に適用して第２の距離尺度を返す、
ことを特徴とする請求項３６に記載の方法。

【請求項41】

前記第１の状態の被験者固有の音声モデル θ^０ を生成するステップは、非正規化変換 Ｔ´ を第１のパラメータに適用することにより前記 θ^０ を生成するステップを有し、ここで前記非正規化変換 Ｔ´ は１つまたは複数の事前定義された制約の下で、第１の状態の参照音声モデルの前記第１のパラメータを最適に変換し、そして
前記第２の状態の被験者固有の音声モデル θ^１ を生成するステップは、前記非正規化変換 Ｔ´ を第２の状態の参照音声モデルの第２のパラメータに適用することにより前記 θ^１ を生成するステップを有する、
ことを特徴とする請求項３５に記載の方法。

【請求項42】

前記非正規化変換 Ｔ´ は、制約のもとで、
Σ_{ｕ∈｛ｕｍ０｝}Ｔ´（Ｄ^０）（ｕ）を最小化し、Ｔ´（Ｄ^０）（ｓ）は変換の下で前記第１の状態の参照音声モデルによって返される前記第１の距離である、
ことを特徴とする請求項４１に記載の方法。

【請求項43】

前記第１の状態の参照音声モデルは、複数の第１のカーネルを含む第１の隠れマルコフモデル（ＨＭＭ）を含み、前記第１のパラメータは、前記第１のカーネルの第１のカーネルパラメータを含み、
前記第２の状態の参照音声モデルは、複数の第２のカーネルを含む第２のＨＭＭを含み、前記第２のパラメータは、前記第２のカーネルの第２のカーネルパラメータを含む、
ことを特徴とする請求項４１に記載の方法。

【請求項44】

前記第１のカーネルおよび前記第２のカーネルはガウスカーネルであり、
前記非正規化変換 Ｔ´ は：
任意の１つまたは複数のガウスカーネルの平均ベクトルに作用するアフィン変換；および
任意の１つ以上のガウスカーネルの共分散行列に作用する二次変換；
を有する、ことを特徴とする請求項４３に記載の方法。

【請求項45】

前記第１の状態の参照音声モデルは、複数の第１の参照フレームを含み、前記第１のパラメータは、前記第１の参照フレームの第１の参照フレーム特徴を含み、
前記第２の状態の参照音声モデルは、複数の第２の参照フレームを含み、前記第２のパラメータは、前記第２の参照フレームの第２の参照フレーム特徴を含む、
ことを特徴とする請求項４１に記載の方法。

【請求項46】

前記第１の状態の参照音声は、Ｒ人の他の被験者の、第１のサブセットによって発せられた複数の前記第１の状態の参照音声サンプルを含み、
前記第２の状態の参照音声は、他の被験者の第２サブセットによって発せられた複数の前記第２の状態の参照音声サンプルを含み、
前記方法はさらに：
前記他の被験者に対するそれぞれの変換 ｛Ｔ_ｒ｝，ｒ＝１…Ｒ、 を識別するステップであって、 Ｔｒ は、前記他の被験者の ｒ 番目ごとの被験者に対する、１つまたは複数の事前定義された制約の下で ｛Φ_ｒ｝ を最適に変換する正規化変換であり、｛Φ_ｒ｝ は（ｉ）前記他の被験者によって発せられた前記第１の状態の参照音声サンプル、および （ｉｉ） 前記他の被験者によって発せられた前記第２の状態の参照音声サンプル、の和集合である、ステップと；
前記他の被験者の ｒ 番目ごとに、前記変換 Ｔ_ｒ を特徴ベクトル ｛Ｖ（Φ_ｒ）｝ に適用することにより、変更された特徴のセットを計算するステップと；そして
前記変更された特徴のセットから前記参照弁別子を生成するステップと；
を有する、
ことを特徴とする請求項３５に記載の方法。

【請求項47】

前記第１の状態の参照音声モデルおよび前記第２の状態の参照音声モデルは、パラメータの第１のセットに関して同一であり、パラメータの第２のセットに関して互いに異なり、
前記第１の状態の被験者固有の音声モデルθ^０ を生成するステップは、 θ^０ が前記パラメータの第２のセットに関して前記第１の状態の参照音声モデルと同一であるように 前記 θ^０ を生成するように構成され、
前記θ^１を生成するステップは、前記第２の状態の被験者固有の音声モデル θ^１ が前記パラメータの第１のセットに関して前記 θ^０ と同一であり、前記パラメータの第２のセットに関して前記第２の状態の参照音声モデルと同一であるように、前記 θ^１ を生成するように構成される、
ことを特徴とする請求項３５に記載の方法。

【請求項48】

前記第１の状態の参照音声モデルおよび前記第２の状態の参照音声モデルは、異なるそれぞれの隠れマルコフモデル（ＨＭＭ）を含み、それぞれの前記ＨＭＭは、それぞれのカーネル重みを有する複数のカーネルを含み、
前記パラメータの第１のセットはカーネルの重みを含み、
前記パラメータの第２のセットは、カーネルのカーネルパラメータを含む、
ことを特徴とする請求項４７に記載の方法。

【請求項49】

前記少なくとも１つの参照弁別子は、複数のパラメータに関連付けられた参照神経ネットワークを含み、前記神経ネットワークは、任意の１つまたは複数の音声サンプルについて、当該音声サンプルが前記第２の状態で発せられた尤度を示す別の出力を返し、
前記被験者固有の神経ネットワークを合成するステップは、音声サンプル｛ｕ_ｍ ^０｝を含む入力音声サンプルのセットに対する他の出力のエラーを最小化するように、前記パラメータのサブセットを調整することによって、前記被験者固有の弁別子を合成するステップを有する、
ことを特徴とする請求項２８～３０のいずれか一項に記載の方法。

【請求項50】

前記パラメータは複数の神経の重みを含み、前記パラメータのサブセットは前記重みのサブセットを含む、ことを特徴とする請求項４９に記載の方法。

【請求項51】

前記参照神経ネットワークは複数の層を含み、前記重みのサブセットは、前記層のうちの１つに関連付けられた重みの少なくともいくつかを含むが、別の層に関連付けられた重みは含まない、ことを特徴とする請求項５０に記載の方法。

【請求項52】

前記層は、（ｉ）前記音声サンプルに基づく入力に応答して音響層出力を生成する、神経の１つまたは複数の音響層と、（ｉｉ）前記音響層の出力に応答して音声層出力を生成する、神経の１つまたは複数の音声層と、（ｉｉｉ）前記音声層出力に応答して他の出力を生成する、神経の１つまたは複数の弁別層と、を有し、
前記重みのサブセットは、前記音響層および前記弁別層に関連付けられた重みの少なくとも幾つかを含むが、前記音声層に関連付けられた重みは含まない、
ことを特徴とする請求項５１に記載の方法。

【請求項53】

前記パラメータのサブセットは、前記音声サンプルの話者を識別する話者識別パラメータを含む、ことを特徴とする請求項４９に記載の方法。

【請求項54】

前記入力音声サンプルのセットは、１つまたは複数の前記第２の状態の音声サンプルをさらに含む、ことを特徴とする請求項４９に記載の方法。

【請求項55】

プログラム命令が格納された有形の非一過性コンピュータ可読媒体を含むコンピュータソフトウェア製品であって、前記命令は、プロセッサにより読まれたときに、プロセッサに対し：
疾患に関して第１の状態にある間に被験者によって発せられた複数の音声サンプル｛ｕ_ｍ ^０｝、ｍ＝１…Ｍ を受信するステップと；そして
前記｛ｕ_ｍ ^０｝と、前記被験者に固有ではない少なくとも１つの参照弁別子と、を使用して、前記被験者が疾患に関して第２の状態にある間に前記被験者により発せられた他の音声サンプルを使用することなく、前記被験者に固有の弁別子を合成するステップと；
を実行するようにさせ、
前記弁別子は、前記被験者に固有であり、そして前記被験者によって発せられた１つまたは複数のテスト発話に応答して、前記被験者が前記第２の状態にあることの尤度を示す出力を生成するように構成される、
ことを特徴とするコンピュータソフトウェア製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に診断目的のための音声信号処理の分野に関する。

【背景技術】

【0002】

本明細書に参照して取り入れられる、ＳａｋｏｅとＣｈｉｂａ氏著、「音声認識のための動的プログラミング アルゴリズムの最適化」、音響、音声、信号処理に関するＩＥＥＥトランザクション ２６．２（１９７８）：４３－４９（非特許文献１）は、 話し言葉認識のための時間正規化アルゴリズムに基づいた、最適動的プログラミング（ＤＰ）について記載している。最初に、タイムワーピング関数を使用して、時間正規化の一般原理が与えられる。次に、対称形式と非対称形式と呼ばれる２つの時間正規化された距離の定義が、その原理から導き出される。これらの２つの形式は、理論的な議論と実験的研究を通じて互いに比較される。対称形アルゴリズムの優位性が確立される。傾斜制約と呼ばれる技法が導入され、ワーピング関数の傾斜が制限され、異なるカテゴリの単語間の識別が改善される。

【0003】

Ｒａｂｉｎｅｒ、Ｌａｗｒｅｎｃｅ Ｒ．著、「音声認識における隠れマルコフ モデルと選択されたアプリケーションに関するチュートリアル」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ７７．２ （１９８９）： ２５７－２８６（非特許文献２）、これは参照により本明細書に組み込まれるが、は統計モデリングのタイプの理論的側面を検証し、およびそれらが音声の機械認識で選択された問題にどのように適用されたかを記載している。

【0004】

米国特許第５，８６４，８１０号（特許文献１）は、適応データを使用して特定の話者に適応し、話者に依存しないモデルを話者に適応したモデルに変換する変換を開発する、音声の自動認識の方法および装置について説明している。次に、話者適応モデルが話者認識に使用され、適応されていないモデルよりも優れた認識精度が達成される。さらなる実施形態では、変換ベースの適応技術は、既知のベイジアン適応技術と組み合わされる。

【0005】

米国特許第９，９２２，６４１号（特許文献２）は、入力音声データを話者から第１の言語で受信し、ユニバーサル音声モデルに基づいて、入力音声データに関連付けられた話者特性を表す話者変換を推定することを含む方法について説明している。この方法は、第１の言語とは異なる第２の言語で音声データを生成するために、話者に依存しない音声モデルにアクセスすることも含む。この方法はさらに、話者変換を使用して話者非依存の音声モデルを修正して話者固有の音声モデルを取得し、話者固有の音声モデルを使用して第２言語で音声データを生成することを含む。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許第５，８６４，８１０号

【特許文献2】米国特許第９，９２２，６４１号

【非特許文献】

【0007】

【非特許文献1】ＳａｋｏｅとＣｈｉｂａ氏著、「音声認識のための動的プログラミング アルゴリズムの最適化」、音響、音声、信号処理に関するＩＥＥＥトランザクション ２６．２（１９７８）：４３－４９

【非特許文献2】Ｒａｂｉｎｅｒ、Ｌａｗｒｅｎｃｅ Ｒ．著、「音声認識における隠れマルコフ モデルと選択されたアプリケーションに関するチュートリアル」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ７７．２ （１９８９）： ２５７－２８６

【発明の概要】

【0008】

本発明の幾つかの実施形態では、装置は通信インタフェースとプロセッサを有する。プロセッサは：通信インタフェースを介して、疾患に関して第１の状態にある間に被験者によって発せられた複数の音声サンプル｛ｕ_ｍ ^０｝、ｍ＝１…Ｍ を受信し；そして｛ｕ_ｍ ^０｝と、被験者に固有ではない少なくとも１つの参照弁別子と、を使用して、被験者に固有の弁別子を合成する；ように構成され、弁別子は、被験者に固有であり、そして被験者によって発せられた１つまたは複数のテスト発話に応答して、被験者が疾患に関して第２の状態にあることの尤度を示す出力を生成するように構成される。

【0009】

幾つかの実施形態では、第１の状態は安定状態であり、第２の状態は不安定状態である。

【0010】

幾つかの実施形態では、疾患が、うっ血性心不全（ＣＨＦ）、冠状動脈性心疾患、不整脈、慢性閉塞性肺疾患（ＣＯＰＤ）、喘息、間質性肺疾患、浮腫、胸水、パーキンソン病、うつ病、からなる疾患群から選択される。

【0011】

幾つかの実施形態では、プロセッサは：任意の音声サンプル ｓ について、ｓ と被験者の第１の状態の音声との間の第１の類似度を示す第１の距離尺度を返す、第１の状態の被験者固有の音声モデル θ^０ を生成するステップと；そしてｓ と被験者の第２の状態の音声との間の第２の類似度を示す第２の距離尺度を返す、第２の状態の被験者固有の音声モデル θ^１を生成するステップと；により被験者に固有の弁別子を合成する、ように構成される。

【0012】

幾つかの実施形態では、少なくとも１つの参照弁別子はＫ個の参照弁別子｛φｋ｝，ｋ＝１…Ｋ、を有し、｛φｋ｝は：それぞれの第１の距離 ｛Ｄ_ｋ ^０（ｓ）｝ を返すそれぞれの第１の状態の参照音声モデルであって、 ｛Ｄ_ｋ ^０（ｓ）｝ は、ｓ と１人または複数の他の被験者のＫ個のグループによって発せられた、それぞれの第１の状態の参照音声との間の第１の類似度を示す、第１の状態の参照音声モデルと；それぞれの第２の距離 ｛Ｄ_ｋ ^１（ｓ）｝ を返すそれぞれの第２の状態の参照音声モデルであって、 ｛Ｄ_ｋ ^１（ｓ）｝ は、ｓ と１人または複数の他の被験者のＫ個のグループによって発せられた、それぞれの第２の状態の参照音声との間の第２の類似度を示す、第２の状態の参照音声モデルと；
を有し、ここで、θ^０ は｛Ｄ_ｋ ^０（ｓ）｝に関数を適用して第１の距離尺度を返し、ここで、θ^１ は｛Ｄ_ｋ ^１（ｓ）｝に関数を適用して第２の距離尺度を返す。

【0013】

幾つかの実施形態では、関数は、｛Ｄ_ｋ ^０（ｓ）｝に適用されると、｛Ｄ´_ｋ ^０（ｓ）｝の加重平均を返し、ここで｛Ｄ´_ｋ ^０（ｓ）｝は Ｄ_ｋ ^０（ｓ）の非減少関数である。

【0014】

幾つかの実施形態では、加重平均は、Ｋ個の重み｛ｗ_ｋ｝，ｋ＝１…Ｋ、に対して Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｓ）であり、それは１つの制約に関して音声サンプル｛ｕ_ｍ ^０｝に対するそれぞれの距離尺度の合計を最小化し、｛ｕ_ｍ ^０｝に属するそれぞれの音声サンプル ｕ_ｍ に対する距離尺度は、Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｕ_ｍ ）に基づく。

【0015】

幾つかの実施形態では、少なくとも１つの参照弁別子は、ｓ と、第１の状態の参照音声との間の第１の類似度を示す第１の距離 Ｄ^０（ｓ） を返す第１の状態の参照音声モデルと、そしてｓ と、第２の状態の参照音声との間の第２の類似度を示す第２の距離 Ｄ^１（ｓ） を返す第２の状態の参照音声モデルと、を有する。

【0016】

幾つかの実施形態では、第１の状態の参照音声モデルは、ｓ から抽出された一連の特徴ベクトル Ｖ（ｓ） に第１の関数を適用することによって Ｄ^０（ｓ）を返し、第２の状態の参照音声モデルは、 Ｖ（ｓ） に第２の関数を適用することによって Ｄ^１（ｓ）を返し、ここで、θ^０およびθ^１を生成するステップは、１つまたは複数の事前定義された制約の下で｛Ｖ（ｕ_ｍ ^０）｝を最適に変換する正規化変換 Ｔ を使用してθ^０およびθ^１を生成するステップを有する。

【0017】

幾つかの実施形態では、正規化変換 Ｔ が１つの制約に関して、
Σ_{ｕ∈｛ｕｍ０｝}Δ（Ｔ（Ｖ（ｕ）），Ｖ（ｕ_０））を最小化し、
ここでΔは、２セットの特徴間の第３の距離尺度であり、
ｕ_０ は ｕ∈｛ｕ_ｍ ^０｝ のコンテントの正規の発話である。

【0018】

幾つかの実施形態では、Δは、動的タイムワーピング（ＤＴＷ）距離の非減少関数である。

【0019】

幾つかの実施形態では、正規化変換 Ｔ が１つの制約に関して、
Σ_{ｕ∈｛ｕｍ０｝}ｆ´_０（Ｔ（Ｖ（ｕ）））を最小化し、ｆ´_０は、第１の関数の非減少関数である。

【0020】

幾つかの実施形態では、θ^０ は、第１の関数を Ｔ（Ｖ（ｓ）） に適用して第１の距離尺度を返し、θ^１ は、第２の関数を Ｔ（Ｖ（ｓ）） に適用して第２の距離尺度を返す。

【0021】

幾つかの実施形態では、θ^０を生成するステップは、非正規化変換 Ｔ´ を第１のパラメータに適用するステップを有し、ここで非正規化変換 Ｔ´ は１つまたは複数の事前定義された制約の下で、第１の状態の参照音声モデルの第１のパラメータを最適に変換し、そしてθ^１を生成するステップは、非正規化変換 Ｔ´ を第２の状態の参照音声モデルの第２のパラメータに適用することによりθ^１を生成するステップを有する。

【0022】

幾つかの実施形態では、非正規化変換 Ｔ´ は、制約のもとで、
Σ_{ｕ∈｛ｕｍ０｝}Ｔ´（Ｄ^０）（ｕ）を最小化し、Ｔ´（Ｄ^０）（ｓ）は変換の下で第１の状態の参照音声モデルによって返される第１の距離である。

【0023】

幾つかの実施形態では、第１の状態の参照音声モデルは、複数の第１のカーネルを含む第１の隠れマルコフモデル（ＨＭＭ）を含み、第１のパラメータは、第１のカーネルの第１のカーネルパラメータを含み、第２の状態の参照音声モデルは、複数の第２のカーネルを含む第２のＨＭＭを含み、第２のパラメータは、第２のカーネルの第２のカーネルパラメータを含む。

【0024】

幾つかの実施形態では、第１のカーネルおよび第２のカーネルはガウスカーネルであり、 Ｔ´ は：任意の１つまたは複数のガウスカーネルの平均ベクトルに作用するアフィン変換；および任意の１つ以上のガウスカーネルの共分散行列に作用する二次変換；を有する。

【0025】

幾つかの実施形態では、第１の状態の参照音声モデルは、複数の第１の参照フレームを含み、第１のパラメータは、第１の参照フレームの第１の参照フレーム特徴を含み、第２の状態の参照音声モデルは、複数の第２の参照フレームを含み、第２のパラメータは、第２の参照フレームの第２の参照フレーム特徴を含む。

【0026】

幾つかの実施形態では、第１の状態の参照音声は、Ｒ人の他の被験者の、第１のサブセットによって発せられた複数の第１の状態の参照音声サンプルを含み、
第２の状態の参照音声は、他の被験者の第２サブセットによって発せられた複数の第２の状態の参照音声サンプルを含み、ここで、プロセッサはさらに： 他の被験者に対するそれぞれの変換 ｛Ｔ_ｒ｝，ｒ＝１…Ｒ、 を識別するステップであって、 Ｔｒ は、他の被験者の ｒ 番目ごとの被験者に対する、１つまたは複数の事前定義された制約の下で ｛Φ_ｒ｝ を最適に変換する正規化変換であり、｛Φ_ｒ｝ は（ｉ）他の被験者によって発せられた第１の状態の参照音声サンプル、および （ｉｉ） 他の被験者によって発せられた第２の状態の参照音声サンプル、の和集合である、ステップと；他の被験者の ｒ 番目ごとに、Ｔ_ｒ を ｛Ｖ（Φ_ｒ）｝ に適用することにより、変更された特徴のセットを計算するステップと；そして変更された特徴のセットから参照弁別子を生成するステップと； を実行するように構成される。

【0027】

幾つかの実施形態では、第１の状態の参照音声モデルおよび第２の状態の参照音声モデルは、パラメータの第１のセットに関して同一であり、パラメータの第２のセットに関して互いに異なり、プロセッサは、 θ^０ がパラメータの第２のセットに関して第１の状態の参照音声モデルと同一であるように θ^０ を生成するように構成され、プロセッサは、θ^１がパラメータの第１のセットに関してθ^０と同一であり、パラメータの第２のセットに関して第２の状態の参照音声モデルと同一であるように、θ^１を生成するように構成される。

【0028】

幾つかの実施形態では、第１の状態の参照音声モデルおよび第２の状態の参照音声モデルは、異なるそれぞれの隠れマルコフモデル（ＨＭＭ）を含み、それぞれのＨＭＭは、それぞれのカーネル重みを有する複数のカーネルを含み、パラメータの第１のセットはカーネルの重みを含み、パラメータの第２のセットは、カーネルのカーネルパラメータを含む。

【0029】

幾つかの実施形態では、少なくとも１つの参照弁別子は、複数のパラメータに関連付けられた参照神経ネットワークを含み、神経ネットワークは、任意の１つまたは複数の音声サンプルについて、当該音声サンプルが第２の状態で発せられた尤度を示す別の出力を返し、プロセッサは、音声サンプル｛ｕ_ｍ ^０｝を含む入力音声サンプルのセットに対する他の出力のエラーを最小化するように、パラメータのサブセットを調整することによって、被験者固有の神経ネットワークを合成することによって、被験者固有の弁別子を合成するように構成される。

【0030】

幾つかの実施形態では、パラメータは複数の神経の重みを含み、パラメータのサブセットは重みのサブセットを含む。

【0031】

幾つかの実施形態では、参照神経ネットワークは複数の層を含み、重みのサブセットは、層のうちの１つに関連付けられた重みの少なくともいくつかを含むが、別の層に関連付けられた重みは含まない。

【0032】

幾つかの実施形態では、層は、（ｉ）音声サンプルに基づく入力に応答して音響層出力を生成する、神経の１つまたは複数の音響層と、（ｉｉ）音響層の出力に応答して音声層出力を生成する、神経の１つまたは複数の音声層と、（ｉｉｉ）音声層出力に応答して他の出力を生成する、神経の１つまたは複数の弁別層と、を有し、重みのサブセットは、音響層および弁別層に関連付けられた重みの少なくとも幾つかを含むが、音声層に関連付けられた重みは含まない。

【0033】

幾つかの実施形態では、パラメータのサブセットは、音声サンプルの話者を識別する話者識別パラメータを含む。

【0034】

幾つかの実施形態では、入力音声サンプルのセットは、１つまたは複数の第２の状態の音声サンプルをさらに含む。

【0035】

本発明の幾つかの実施形態では、疾患に関して第１の状態にある間に被験者によって発せられた複数の音声サンプル｛ｕ_ｍ ^０｝、ｍ＝１…Ｍ を受信するステップを含む方法が提供される。方法はさらに、｛ｕ_ｍ ^０｝と、被験者に固有ではない少なくとも１つの参照弁別子と、を使用して、被験者に固有の弁別子を合成するステップを有し、弁別子は、被験者に固有であり、そして被験者によって発せられた１つまたは複数のテスト発話に応答して、被験者が疾患に関して第２の状態にあることの尤度を示す出力を生成するように構成される。

【0036】

本発明の幾つかの実施形態では、プログラム命令が格納された有形の非一過性コンピュータ可読媒体を含むコンピュータソフトウェア製品が提供される。命令は、プロセッサにより読まれたときに、プロセッサに対し：疾患に関して第１の状態にある間に被験者によって発せられた複数の音声サンプル｛ｕ_ｍ ^０｝、ｍ＝１…Ｍ を受信するステップと；そして｛ｕ_ｍ ^０｝と、被験者に固有ではない少なくとも１つの参照弁別子と、を使用して、被験者に固有の弁別子を合成するステップと；を実行するようにさせ、弁別子は、被験者に固有であり、そして被験者によって発せられた１つまたは複数のテスト発話に応答して、被験者が疾患に関して第２の状態にあることの尤度を示す出力を生成するように構成される。

【図面の簡単な説明】

【0037】

本発明は、添付の図面を参照した実施形態の詳細な説明からより完全に理解されよう：

【図1】本発明のいくつかの実施形態による、被験者の生理学的状態を評価するためのシステムの概略図である。

【図2】本発明のいくつかの実施形態による、被験者固有の音声モデルを生成するための手法の流れ図である。

【図3】本発明のいくつかの実施形態による、被験者固有の音声モデルを生成するための手法の流れ図である。

【図4】本発明のいくつかの実施形態による、被験者固有の音声モデルを生成するための手法の流れ図である。

【図5】本発明のいくつかの実施形態による神経ネットワーク弁別子の概略図である。

【発明を実施するための形態】

【0038】

（用語）
特許請求の範囲を含む本出願の文脈において、被験者が状態の急激な悪化に苦しんでいる場合、被験者は生理学的状態（または「疾患」）に関して「不安定な状態」にあると言われる。それ以外の場合、被験者は生理学的状態に関して「安定した状態」にあると言われる。

【0039】

特許請求の範囲を含む本出願の文脈において、「音声モデル」は、音声サンプルをサンプルの特性を示す出力にマッピングするように構成されたコンピュータ実装関数を指す。例えば、被験者が発声した音声サンプルが与えられると、音声モデルは、ｓ と被験者または他の被験者の参照音声との間の類似度を示す距離尺度Ｄ（ｓ）を返すことができる。

【0040】

特許請求の範囲を含む本出願の文脈において、「弁別子」は、様々な状態を識別するように構成された、典型的には機械学習モデルである１つ以上のモデルのグループを指す。例えば、特定の生理学的状態に関して「安定」および「不安定」などの一組の状態が与えられると、弁別子は、被験者の音声サンプルに基づいて、被験者が不安定である可能性を示す出力を生成することができる。

【0041】

（概要）
生理学的状態に苦しんでいる被験者の場合、被験者の音声に基づいて、被験者がその状態に関して安定状態にあるか不安定状態にあるかを確認するように構成された弁別子をトレーニングすることが望ましい場合がある。ただし、課題は、状態ごとに十分な数のトレーニングサンプルを取得するのが難しい場合があることである。例えば、一般的に安定している被験者の場合、安定状態で発せられた十分な数の音声サンプルが利用可能でありうるが、不安定状態で発せられた十分な数の音声サンプルを取得することは困難な場合がある。他の被験者の場合、十分な数の不安定な状態のサンプルを収集するのは簡単かもしれない（例えば、被験者の病院への入院後）が、十分な数の安定した状態のサンプルは収集できない。

【0042】

この課題に対処するため、本発明の実施形態は、被験者に固有ではない参照弁別子から、被験者に固有の（すなわち、被験者を弁別するように構成されている）弁別子を生成する。被験者固有の弁別子を生成するために、プロセッサは、参照弁別子を変更または適応させる状態の１つにある間に被験者が発声した音声サンプルを使用する。このプロセスは、被験者固有の弁別子の「合成」と呼ばれる。有利なことに、被験者が別の状態にあるときに発声した音声サンプルは必要ないからである。

【0043】

本明細書に記載の技術を使用して、うっ血性心不全（ＣＨＦ）、冠状動脈性心疾患、心房細動、またはその他の任意のタイプの不整脈、慢性閉塞性肺疾患（ＣＯＰＤ）、喘息、間質性疾患、肺疾患、肺水腫、胸水、パーキンソン病、またはうつ病などの任意の適切な生理学的状態の弁別子を合成することができる。

【0044】

（システムの説明）
最初に、本発明のいくつかの実施形態による、被験者２２の生理学的状態を評価するためのシステム２０の概略図である図１を参照する。

【0045】

システム２０は、携帯電話、タブレット コンピューター、ラップトップ コンピューター、デスクトップ コンピューター、音声制御のパーソナル アシスタント （Ａｍａｚｏｎ Ｅｃｈｏ（登録商標）または Ｇｏｏｇｌｅ Ｈｏｍｅ（登録商標）装置など）、スマート 装置などの音響受信装置３２を備えている。音響受信装置３２は、音波をアナログ電気信号に変換する音響センサ３８（例えば、マイクロフォン）、アナログデジタル（Ａ／Ｄ）変換器を含む回路を備える。通常、音響受信装置３２は、ソリッドステートドライブ、スクリーン（例えば、タッチスクリーン）などのストレージ装置、および／またはキーボードやスピーカーなどのその他のユーザインタフェースをさらに備える。いくつかの実施形態では、音響センサ３８（およびオプションとしてＡ／Ｄ変換器４２）は、音響受信装置３２の外部にあるユニットに属する。例えば、音響センサ３８は、有線またはＢｌｕｅｔｏｏｔｈ 接続などのワイヤレス接続により音響受信装置３２に接続するヘッドセットに属してもよい。

【0046】

システム２０は、プロセッサ２８、ハードドライブまたはフラッシュドライブなどの記憶装置３０、およびネットワークインタフェースコントローラ（ＮＩＣ）２６などのネットワークインタフェースを含む回路を備える、サーバ４０をさらに備える。サーバ４０はさらに、画面、キーボード、および／またはその他の適切なユーザインタフェース要素を備えている。典型的には、サーバ４０は音響受信装置３２から離れて、例えば制御センターに配置され、サーバ４０と音響受信装置３２は、それぞれのネットワークインタフェースを介して、セルラーネットワークおよび／またはインターネットを含むネットワーク２４上で、互いに通信する。

【0047】

システム２０は、被験者から受信した１つまたは複数の音声信号（本明細書では「音声サンプル」とも呼ばれる）を処理することによって、被験者の生理学的状態を評価するように構成されている。通常、音響受信装置３２のプロセッサ３６およびサーバ４０のプロセッサ２８は、音声サンプルの少なくともいくつかの受信および処理を協調して実行する。例えば、被験者が受信装置３２に向かって話すと、被験者の音声の音波は音響センサ３８によってアナログ信号に変換され、Ａ／Ｄ変換器４２によってサンプリングされデジタル化される。被験者の音声は、８ｋＨｚと４５ｋＨｚとの間のレートなど、任意の適切なレートでサンプリングすることができる。結果として得られるデジタル音声信号は、プロセッサ３６によって受信することができる。次に、プロセッサ３６は、ＮＩＣ３４を介して、音声信号をサーバ４０に通信することができる。その後、プロセッサ２８は音声信号を処理することができる。

【0048】

被験者の音声信号を処理するために、プロセッサ２８は、被験者２２に固有であり、記憶装置３０に格納されている被験者固有弁別子４４を使用する。それぞれの音声信号に基づいて、被験者固有弁別子４４は被験者が特定の生理学的状態にある尤度を示す出力を生成する。例えば、出力は、生理学的状態に関して、被験者が安定した状態にある可能性、および／または被験者が不安定な状態にある可能性を示し得る。代替的または追加的に、出力は、被験者の状態が不安定である尤度の程度を示すスコアを含むことができる。プロセッサ２８はさらに、後続の図を参照して以下で詳細に説明するように、被験者固有弁別子を使用する前に被験者固有弁別子４４を合成するように構成される。

【0049】

被験者固有弁別子からの出力に応答して、プロセッサは、被験者および／または被験者の医師などの別の人に対して、任意の適切な音響またはビジュアル出力を生成することができる。例えば、プロセッサ２８は、プロセッサ３６に出力を伝達することができ、プロセッサ３６は、例えば受信装置３２の画面上にメッセージを表示することによって、被験者に出力を伝達することができる。被験者の状態が不安定であるという比較的高い可能性を出力すると、プロセッサは、被験者が薬を服用するか、医師の診察を受ける必要があることを示すアラートを生成することができる。このような警告は、被験者、被験者の医師、および／または監視センターに電話をかけるか、またはメッセージ （たとえば、テキストメッセージ）を送信することによって通信することができる。代替的または追加的に、弁別子からの出力に応答して、プロセッサは、被験者に投与される薬剤の量を調整するように、薬剤投与装置を制御することができる。

【0050】

他の実施形態では、被験者固有弁別子の合成に続いて、プロセッサ２８は被験者固有弁別子をプロセッサ３６に通信し、プロセッサ３６は次に受信装置３２に属する記憶装置に被験者固有弁別子を格納する。その後、プロセッサ３６は被験者固有弁別子を使用することができる。さらに別の代替として、被験者固有弁別子の合成さえプロセッサ３６によって実行されてもよい。（上記に拘わらず、本明細書の以下の記載では、全体的に、プロセッサ２８－以下では単に「プロセッサ」とも呼ばれる―が合成を実行するものと仮定する。）

【0051】

いくつかの実施形態では、受信装置３２は、Ａ／Ｄ変換器またはプロセッサを含まないアナログ電話を含む。そのような実施形態では、受信装置３２は、音声センサ３８からのアナログ音声信号を、電話ネットワークを介してサーバ４０に送信する。通常、電話ネットワークでは、音声信号はデジタル化され、デジタルで通信され、サーバ４０に到達する前にアナログに変換される。従ってサーバ４０はＡ／Ｄ変換器を有し、それは適切な 電話－ネットワークインタフェースを介して受信した入力音響アナログ信号をデジタル音声信号へ変換する。プロセッサ２８は、Ａ／Ｄ変換器からデジタル音声信号を受信し、次に上述のように信号を処理する。あるいは、サーバ４０は、信号がアナログに変換される前に電話網から信号を受信することができ、サーバは必ずしもＡ／Ｄ変換器を備える必要はない。

【0052】

後続の図を参照して以下でさらに説明するように、プロセッサ２８は、既知の生理学的状態にある間に被験者２２によって発せられたトレーニング音声サンプルを使用して、被験者固有弁別子４４を合成する。これらのサンプルのそれぞれは、インタフェース、またはフラッシュドライブインタフェースなどの任意の他の適切な通信インタフェースを介してネットワーク上で受信され得る。同様に、被験者固有弁別子を合成するためにも使用される、被験者２２に固有ではない少なくとも１つの参照弁別子、または参照弁別子を生成するために使用され得る他の被験者からのトレーニングサンプルは、プロセッサ２８によって適切な通信インタフェースを介して受信され得る。

【0053】

プロセッサ２８は、単一のプロセッサとして、または協調的にネットワーク化された、またはクラスタ化されたプロセッサのセットとして具現化され得る。例えば、制御センターは、本明細書に記載の技術を協調的に実行する、それぞれのプロセッサを含む複数の相互接続されたサーバを含むことができる。いくつかの実施形態では、プロセッサ２８は仮想マシンに属する。

【0054】

一部の実施形態では、プロセッサ２８および／またはプロセッサ３６の機能は、本明細書で説明されるように、例えば、１つまたは複数の固定機能または汎用集積回路、特定用途向け集積回路（ＡＳＩＣ）および／またはフィールド プログラマブル ゲート アレイ （ＦＰＧＡ）を使用して、ハードウェアのみで実装される。あるいは、この機能は、少なくとも部分的にソフトウェアで実装することができる。例えば、プロセッサ２８および／またはプロセッサ３６は、例えば中央処理装置（ＣＰＵ）および／またはグラフィックス処理装置（ＧＰＵ）を含むプログラムされたプロセッサとして具現化され得る。ソフトウェアプログラムを含むプログラムコードおよび／またはデータは、ＣＰＵおよび／またはＧＰＵによる実行および処理のためにロードされ得る。プログラムコードおよび／またはデータは、例えばネットワークを介して電子形式でプロセッサにダウンロードされ得る。代替的または追加的に、プログラムコードおよび／またはデータは、磁気、光学、または電子メモリなどの非一過性有形媒体に提供および／または格納されてもよい。そのようなプログラムコードおよび／またはデータは、プロセッサに提供されると、本明細書に記載のタスクを実行するように構成されたマシンまたは専用コンピュータを生成する。

【0055】

（被験者固有弁別子の合成）
上記の概要で説明したように、２つの状態を識別するための弁別子を生成する従来の技法では、通常、状態ごとに十分な数のトレーニングサンプルが必要である。ただし、状況によっては、プロセッサが状態の内の１つだけに対して十分なトレーニングサンプルを持っている場合がある。このような状況に対処するために、プロセッサは被験者固有弁別子を合成する。

【0056】

この合成を実行するために、プロセッサは最初に複数の音声サンプル｛ｕ_ｍ ^０｝、ｍ＝１…Ｍ を受信する。これは、病気に関して第１の状態（たとえば、安定した状態）にある間に被験者によって発せられた。次に、｛ｕ_ｍ ^０｝と、被験者に固有ではない少なくとも１つの参照弁別子を使用して、プロセッサは被験者固有弁別子を合成する。有利なことに、プロセッサが、疾患に関して第２の状態（例えば、不安定な状態）にある間に被験者によって発せられた音声サンプルをほとんどまたは全く有していないにもかかわらず、被験者特有弁別子は、被験者により発せられた１つまたは複数のテスト発声に応答して、被験者が第２の状態にある尤度を示す出力を生成することができる。

【0057】

（マルチモデル弁別子）
いくつかの実施形態では、被験者固有弁別子は、第１の状態の被験者固有音声モデルθ^０および第２の状態の被験者固有音声モデルθ^１を含む。任意の音声サンプル ｓ について、θ^０ は ｓ と被験者の第１の状態の音声との間の類似度を示す第１の距離尺度を返し、θ^１ は ｓ と被験者の第２の状態の音声との間の類似度を示す第２の距離尺度を返す。そのような実施形態では、被験者固有弁別子は、２つの距離尺度の相互比較に基づいて出力を生成することができる。例えば、距離が大きいほど類似性が低いことを示す慣習を仮定すると、被験者固有の弁別子は、第１の距離尺度と第２の距離尺度との間の比がしきい値未満であることに応答して、被験者が第１の状態にある可能性が高いことを示す出力を生成することができる。あるいは、被験者固有弁別子は、距離尺度に基づいて２つの状態のそれぞれの尤度を出力するか、または単に２つの距離尺度を出力することができる。

【0058】

そのようなマルチモデル弁別子を合成するために、様々な技法が使用され得る。そのような技法の例は、図１～図４を参照してここに記載される。

【0059】

（ｉ） 第１のテクニック
ここで、本発明のいくつかの実施形態による、θ^０およびθ^１を生成するための第１の技法４６のフロー図である図２を参照する。

【0060】

技法４６は、第１の受信または生成ステップ４８で始まり、ここで、プロセッサは、Ｋ≧１の参照弁別子｛φ_ｋ｝、ｋ＝１…Ｋを受信または生成する。（プロセッサは、弁別子のうちの他のものを生成しながら、弁別子のうちのいくつかを受け取ることができることに留意されたい。）参照弁別子｛φ_ｋ｝は、本明細書では「参照被験者」と呼ばれる、一人以上の他の被験者の同じＫ個のグループに固有のそれぞれの第１の状態の参照音声モデルおよびそれぞれの第２の状態の参照音声モデルを含む。言い換えると、任意の音声サンプル ｓ に対して、第１の状態の参照音声モデルは、ｓ と、Ｋ個のグループにより発せられたそれぞれの第１の状態の参照音声との間の類似度を示すそれぞれの第１の距離 ｛Ｄ_ｋ ^０（ｓ）｝、ｋ＝１…Ｋ を返す。一方、第２の状態の参照音声モデルは、それぞれの第２の距離 ｛Ｄ_ｋ ^１（ｓ）｝、ｋ＝１…Ｋ を返す。いくつかの実施形態では、参照音声モデルのそれぞれは、隠れマルコフモデル（ＨＭＭ）などのパラメトリック統計音声モデルを含む。

【0061】

続いて、音声サンプル受信ステップ５０で、プロセッサは、被験者２２（図１）から１つまたは複数の第１の状態の音声サンプル｛ｕ_ｍ ^０｝を受信する。次に、第１の状態の第１のモデル生成ステップ５２で、プロセッサは、距離の集合｛Ｄ_ｋ ^０（ｓ）｝を単一の変換距離ｆ（｛Ｄ_ｋ ^０（ｓ）｝）に変換するための関数「ｆ」を計算し、音声サンプル｛ｕ_ｍ ^０｝の変換された距離の別の関数が、１つまたは複数の適切な制約に関して最小化されるようにする。したがって、プロセッサは、任意の音声サンプル ｓ に対して、第１の状態の被験者固有音声モデルθ^０ によって返される距離尺度が関数「ｆ」を｛Ｄ_ｋ ^０（ｓ）｝に適用することによって計算されるように、第１の状態の被験者固有音声モデルθ^０ を生成する。

【0062】

たとえば、プロセッサは、制約に関して合計 Σ_ｍ＝１ ^Ｍ｜ｆ（｛Ｄ_ｋ ^０（ｕ_ｍ）｝）｜^ｑ ，ｑ ≧ ０ を最小化する関数「ｆ」を識別する。あるいは、関数「ｆ」は、制約に関して、加重和 Σ_ｍ＝１ ^Ｍβ_ｍｆ（｛Ｄ_ｋ ^０（ｕ_ｍ）｝）｜^ｑ を最小化することができる。そのような実施形態では、各音声サンプルの重みβ_ｍ は、サンプルの品質の関数であり得、より高品質のサンプルにはより大きな重みが割り当てられ得る。代替的または追加的に、変換された距離が所定の閾値（変換された距離の特定のパーセンタイルなど）より大きい音声サンプルは外れ
値であると見なされ、したがってゼロの重みが割り当てられる。

【0063】

続いて、第２の状態の第１のモデル生成ステップ５４で、プロセッサは、同じ関数を｛Ｄ_ｋ ^１（ｓ）｝に適用することによって第２の状態の被験者固有音声モデルθ^１を生成する。言い換えると、プロセッサは、任意の音声サンプル ｓ に対して、第２の状態の被験者固有音声モデルθ^１ によって返される距離尺度が ｆ（｛Ｄ_ｋ ^１（ｓ）｝） に等しくなるように、θ^１ を生成する。

【0064】

事実上、技法４６では、プロセッサは被験者の第１の状態の音声サンプルを使用して、第１の状態の被験者の声が、第１の状態における参照被験者のＫ個のグループの声の関数として最もよく近似される方法を学習する。次に、プロセッサは、同じ近似が第２の状態に適用されると想定し、θ^０ に使用される関数を θ^１ にも使用できるようにする。

【0065】

特定の例として、第１の状態の第１のモデル生成ステップ５２で計算された関数は、 ｛Ｄ_ｋ ^０（ｓ）｝ に適用されると、｛Ｄ´_ｋ ^０（ｓ）｝ の加重平均を返す場合がある。ここで｛Ｄ´_ｋ ^０（ｓ）｝ は、ｐ≧ １ の ｜Ｄ_ｋ ^０（ｓ）｜^ｐ などの ｛Ｄ_ｋ ^０（ｓ）｝ の非減少関数である。言い換えれば、任意の音声サンプル ｓ に対する第１の状態の被験者固有音声モデル θ^０ によって返される距離尺度は、Ｋ の重み ｛ｗ_ｋ｝、ｋ ＝ １…Ｋ に対して Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｓ） に等しい場合がある。同様に、そのような実施形態では、第２の状態の被験者固有音声モデルθ^１によって返される距離尺度は、Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^１（ｓ） に等しくてもよい。ここで Ｄ´_ｋ ^１（ｓ）は Ｄ_ｋ ^１（ｓ）と同じ非減少関数である。事実上、このような関数は、被験者の音声を参照被験者のＫ個のグループの音声の加重平均として近似する。

【0066】

そのような実施形態では、第１の状態の第１のモデル生成ステップ５２でＫ個の重みを計算するために、プロセッサは、制約（例えば、Σ_ｋ＝１ ^Ｋ ｗ_ｋ＝１）に関し、音声サンプル｛ｕ_ｍ ^０｝に対するそれぞれの距離尺度の合計を最小化してもよく、ここで音声サンプル｛ｕ_ｍ ^０｝ に属する各音声サンプル ｕ_ｍ の距離尺度は変換された距離：
Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｕ_ｍ） に基づく。たとえば、プロセッサは、有効性制約に関して、
ｑ ≧ ０の場合 Σ_ｍ＝１ ^Ｍ｜Σ_ｋ＝１ ^Ｋｗ_ｋＤ´_ｋ ^０（ｕ_ｍ）｜^ｑ
を最小化する場合がある。（｛Ｄ´_ｋ ^０（ｓ）｝＝｜Ｄ_ｋ ^０（ｓ）｜^ｐ の実施形態では、ｑ は一般的に １／ｐ に等しくされる。）上述のように、変換された距離は、例えば、サンプルのさまざまな品質に応じて重み付けされ得る。

【0067】

いくつかの実施形態では、被験者固有のモデルを単純化するために、プロセッサは、重み｛ｗ_ｋ｝の特定のパーセンタイル未満および／または事前定義された閾値未満の重みなど、比較的低い重みをゼロにする。次いで、プロセッサは、重みの合計が１になるように残りのゼロでない重みを再スケーリングすることができる。たとえば、プロセッサは、θ^０ によって返される距離尺度が Ｄ´_ｋｍａｘ ^０ に等しくなるように、最大の重み ｗ_ｍａｘ を除くすべての重みをゼロにする場合がある。ここで、ｋ_ｍａｘ は 最大の重み ｗ_ｍａｘ のインデックスである。したがって、事実上、被験者の音声は、他のＫ－１個のグループを無視して、参照被験者のＫ個のグループのうちの１つのグループの声により近似することができる。

【0068】

（ｉｉ） 第二の技法
ここで、本発明のいくつかの実施形態による、θ^０およびθ^１を生成するための第２の技法５６のフロー図である図３を参照する。

【0069】

技法５６は、第２の受信または生成ステップ５８で開始し、プロセッサは、第１の状態の参照音声モデルおよび第２の状態の参照音声モデルを受信または生成する（それぞれが被験者に固有のものではない）。技法４６の第１の状態の参照モデル（図２）のそれぞれと同様に、技法５６の第１の状態の参照音声モデルは、任意の音声サンプル間の類似度を示す第１の距離 Ｄ^０（ｓ） を返し、それは任意の音声サンプル ｓ と第１の状態の参照音声との間の類似度を示す。同様に、技法４６の第２の状態の参照モデルのそれぞれと同様に、技法５６ の第２の状態の参照音声モデルは、ｓ と第２の状態の参照音声との類似度を示す、第２の距離 Ｄ^１（ｓ）を返す。

【0070】

たとえば、第１の状態の参照音声モデルは、第１の関数 ｆ_０ を音声サンプル ｓ から抽出された特徴ベクトルのセット Ｖ（ｓ） に適用することによって、Ｄ^０（ｓ） を返すことができる （つまり、Ｄ^０（ｓ） は ｆ_０（Ｖ（ｓ）） に等しい場合がある）。一方、第２の状態の参照音声モデルは、第２の関数 ｆ_１ を Ｖ（ｓ） に適用することによって Ｄ^１（ｓ）を返すことができる（つまり、Ｄ^１（ｓ） は ｆ_１（Ｖ（ｓ））に等しい）。参照音声モデルのそれぞれは、隠れマルコフモデル（ＨＭＭ）などのパラメトリック統計音声モデルを含むことができる。

【0071】

ただし、技法４６の場合とは対照的に、２つの参照モデルは、必ずしも同じグループの被験者の参照音声から生成されるとは限らない。例えば、第１の状態の参照音声モデルは、１人以上の被験者の１つのグループの第１の状態の参照音声から生成されてもよく、第２の状態の参照音声モデルは、１人以上の被験者の別のグループの第２の状態の参照音声から生成されてもよい。あるいは、モデルの一方または両方が、音声合成装置によって生成された人工音声から生成されてもよい。したがって、技法５６は、すぐ下で詳細に説明するように、技法４６とは異なる。

【0072】

第２の受信または生成ステップ５８の実行に続いて、プロセッサは、音声サンプル受信ステップ５０で音声サンプル｛ｕ_ｍ ^０｝を受信する。次に、いくつかの実施形態では、変換計算ステップ６０で、プロセッサは１つ以上の事前定義された制約の下で特徴ベクトル｛Ｖ（ｕ_ｍ ^０）｝を最適に変換する、変換 Ｔ を計算する。Ｔは、被験者の音声サンプルの特徴を変換して、被験者の声道の特殊性を中和する、すなわち、Ｔは、音声サンプルをより一般的または標準的にレンダリングするという点で、「特徴正規化」変換と呼ぶことができる。

【0073】

たとえば、Ｔ は、制約に関して：
Σ_{ｕΕ｛ｕｍ０｝}ｆ´_０ （Ｔ（Ｖ（ｕ）））
を最小化することができ、ここで ｆ´_０ は ｆ_０ の非減少関数である。（たとえば、ｆ´_０ （＊） は、ｐ≧１ の場合、｜ｆ_０（＊）｜^ｐ に等しい場合がある。） あるいは、Ｔ は１つ以上の事前定義された有効性制約の下で：
Σ_{ｕΕ｛ｕｍ０｝}Δ（Ｔ（Ｖ（ｕ）），Ｖ（ｕ_０ ））
を最小化でき、ここで Δ は任意の２セットの特徴ベクトル間の距離尺度であり、ｕ_０ は、｛ｕ_ｍ ^０｝に属する各サンプル ｕ に対する、コンテンツの合成音声などの、ｕ のコンテンツの正規の発話である。いくつかの実施形態では、Δは動的タイムワーピング（ＤＴＷ）距離の非減少関数であり、これは、参照により本明細書に組み込まれる、背景技術で引用されたＳａｋｏｅおよびＣｈｉｂａ氏著の参考文献（非特許文献１）に記載されているように計算され得る。たとえば、Δ（Ｔ（Ｖ（ｕ）），Ｖ（ｕ_０ ）） は：
｜ＤＴＷ（Ｔ（Ｖ（ｕ）），Ｖ（ｕ_０ ））｜^ｐ と等しい場合がある。ここで、ＤＴＷ（Ｖ_１，Ｖ_２） は特徴ベクトル Ｖ_１ と Ｖ_２ の２つのセット間の ＤＴＷ距離であり、そして ｐ≧１である。

【0074】

（通常、特徴ベクトルの２つのセット間のＤＴＷ距離は、一方のセットの各特徴ベクトルを他方のセットのそれぞれの特徴ベクトルにマッピングすることにより計算され、特徴のペア間のそれぞれのローカル距離の合計が最小化される。ベクトルの各ペア間のローカル距離は、ベクトルの対応する要素間の二乗差を合計するか、または他の適切な関数を使用して計算できる。）

【0075】

通常、プロセッサは、各受信音声サンプル ｓ から、Ｎ 個の重複または非重複フレームを抽出する。Ｎ は、各フレームの事前定義された長さの関数である。したがって、Ｖ（ｓ） にはフレームごとに１つの特徴ベクトルの Ｎ 個の特徴ベクトル ｛ｖ_ｎ｝、ｎ＝１…Ｎ、が含まれる。（各特徴ベクトルは、例えば、フレームのケプストラム係数のセットおよび／または線形予測係数のセットを含むことができる。）典型的には、Ｔ は、各特徴ベクトルに独立して作用する変換を含み、すなわち、Ｔ（Ｖ（ｓ））＝ ｛Ｔ（ｖ_ｎ）｝、ｎ＝１…Ｎ。たとえば、Ｔ には、各特徴ベクトル上で独立して動作するアフィン変換を含めることができる。つまり、Ｔ（Ｖ（ｓ））は ｛Ａｖ_ｎ ＋ ｂ｝、ｎ＝１…Ｎ に等しく、ここで Ａ は ＬｘＬ 行列であり、ｂ は Ｌｘ１ ベクトルであり、Ｌ は各ベクトル ｖ_ｎ の長さである。

【0076】

Ｔ の計算に続いて、プロセッサは、第１の状態の第２のモデル生成ステップ ６２で、任意の音声サンプル ｓ に対して、第１の状態の被験者固有音声モデルθ^０ が ｆ_０（Ｔ（Ｖ（ｓ）））を返す。同様に、第２の状態の第２のモデル生成ステップ６４で、プロセッサは、第２の状態の被験者固有音声モデルθ^１がｆ_１（Ｔ（Ｖ（ｓ））を返すようにθ^１を生成する。

【0077】

他の実施形態では、プロセッサは、Ｔ を計算するのではなく、代替変換計算ステップ６６ で、１つまたは複数の事前定義された制約の下で第１の状態の参照音声モデルのパラメータを最適に変換する代替変換 Ｔ´を計算する。たとえば、プロセッサは、制約下で：
Σ_{ｕΕ｛ｕｍ０｝}Ｔ´（Ｄ^０）（ｕ）
を最小化し、ここでＴ´（Ｄ^０）（ｓ） は、変換の下で第１の状態の参照音声モデルによって返される距離である。あるいは、Ｔ の計算に続いて、プロセッサは Ｔ から Ｔ´ を導き出し、Ｔ´ をモデルパラメータに適用することは、Ｔ を被験者の音声サンプルの特徴に適用するのと同じ効果が得られる。 Ｔ´ は「パラメータ非正規化」変換と呼ばれる場合があり、それはＴ´ は参照モデルのパラメータを変換して、被験者の声道の特殊性によりよく一致させる。即ちＴ´ は参照モデルを被験者により固有にする。

【0078】

そのような実施形態では、Ｔ´を計算した後、プロセッサは、第１の状態の第３のモデル生成ステップ６８で、Ｔ´を第１の状態の参照音声モデルのパラメータに適用することによって第１の状態の被験者固有音声モデルθ^０を生成する。同様に、第２の状態の第３のモデル生成ステップ７０で、プロセッサは、Ｔ´を第２の状態の参照音声モデルのパラメータに適用することによって第２の状態の被験者固有音声モデルθ^１を生成する。言い換えると、プロセッサは、任意の音声サンプル ｓ に対して θ^０ が：
Ｔ´（Ｄ^０）（ｓ） ＝ ｆ´_０（Ｖ（ｓ））
を返すように θ^０ を生成する。ここでＴ´により変更された第１の状態の参照音声モデルのパラメータを使用したことに起因して、ｆ´_０ はｆ_０ とは異なる。同様に、プロセッサは、θ^１ が：
Ｔ´（Ｄ^１）（ｓ） ＝ ｆ´_１（Ｖ（ｓ））
を返すように θ^１ を生成する。ここでＴ´により変更された第２の状態の参照音声モデルのパラメータを使用したことに起因して、ｆ´_１ はｆ_１ とは異なる。（Ｔ´が上記のようにＴから導出される実施形態では、
ｆ´_０（Ｖ（ｓ））＝ｆ_０（Ｔ（Ｖ（ｓ）） および
ｆ´_１（Ｖ（ｓ））＝ｆ_１（Ｔ（Ｖ（ｓ）） である。）

【0079】

例えば、参照音声モデルのそれぞれが複数のカーネルを含むＨＭＭを含む場合、各被験者固有モデルは、前の実施形態に従って、対応する参照音声モデルのカーネルにＴ（Ｖ（ｓ））を入力することができる。あるいは、後者の実施形態では、カーネルのパラメータはＴ´を使用して変換することができ、Ｖ（ｓ）は次に変換されたカーネルに入力することができる。

【0080】

特定の例として、各参照ＨＭＭは各状態に対して複数のガウスカーネルを含むことができ、各カーネルは：
ｇ（ｖ；μ，σ）＝（１／√（２π｜σ｜））＊ｅ^{－（ｖ－μ）Ｔ σ－１ （ｖ－μ）}
の形であり、ここで ｖ は Ｖ（ｓ） に属する任意の特徴ベクトルであり、 μ は平均ベクトルであり、 σ は行列式 ｜σ｜ を持つ共分散行列である。たとえば、Ｊ 個のカーネルを持つ状態 ｘ を仮定すると、ｖ と ｘ の間のローカル距離は：
Ｌ（Σ_ｊ＝１ ^Ｊｗ_ｘ，ｊ ｇ（ｖ；μ_ｘ，ｊ，σ_ｘ，ｊ）
として計算され、ここで、ｇ（ｖ；μ_ｘ，ｊ，σ_ｘ，ｊ） は、ｊ＝１…Ｊにおける状態 ｘ に属する ｊ 番目のガウスカーネルであり、ｗ_ｘ，ｊ はこのカーネルの重みであり、Ｌ は恒等関数やマイナスログ関数などの適切なスカラー関数である。この場合、Ｔ´ は、カーネルのいずれか１つまたは複数の平均ベクトルに作用するアフィン変換と、カーネルのいずれか１つまたは複数の共分散行列に作用する二次変換を含むことができる。言い換えると、Ｔ´ は、μ を μ´ ＝ Ａ^－１（μ＋ｂ） に、σ を σ´ ＝ Ａ^－１σＡ^Ｔ に置き換えることによって、ガウスカーネルを変換することができる。たとえば、各ローカル距離は：
Ｌ（Σ_ｊ＝１ ^Ｊｗ_ｘ，ｊ ｇ（ｖ；μ´_ｘ，ｊ，σ´_ｘ，ｊ）
として計算される。（上記のようにＴ´がＴから導出される実施形態では：
ｇ（ｖ；μ´_ｘ，ｊ，σ´_ｘ，ｊ）は ｇ（Ｔ（ｖ）；μ_ｘ，ｊ，σ_ｘ，ｊ）に等しく、ここでＴ（ｖ）＝Ａｖ＋ｂ である。）

【0081】

あるいは、参照音声モデルのそれぞれは、複数の参照フレームを含むことができる。そのような実施形態では、各音声サンプル ｓ について、各参照音声モデルによって返される距離は、各特徴ベクトル ｖ_ｎ を参照フレームの１つにマッピングすることによって（例えば、動的タイムワーピング（ＤＴＷ）を使用して）計算することができる。特徴ベクトルと特徴ベクトルがマッピングされる参照フレームとの間のそれぞれのローカル距離の合計が最小化される。この場合、前の実施形態によれば、被験者固有モデルのそれぞれは、ローカル距離の合計が最小化されるように、ｎ＝１…Ｎについて、対応する参照モデルの参照フレームに｛Ｔ（ｖ_ｎ）｝をマッピングすることができる。あるいは、後者の実施形態によれば、参照フレームの特徴は、Ｔ´を使用して変換され得、次に、｛ｖ_ｎ｝は、ｎ＝１…Ｎについて変換された参照フレームにマッピングされ得る。

【0082】

Ｔ が被験者の音声サンプルに適用されるか、Ｔ´ が参照モデルに適用されるかに関係なく、一般的に、参照モデルが可能な限り標準的、または被験者に依存しないことが有利である。したがって、いくつかの実施形態では、特に、参照モデルを生成するために使用される参照音声が比較的少数の他の被験者からのものである場合、プロセッサは、受信または生成ステップ５８の中で、参照モデルを生成する前に参照音声を正規化する。

【0083】

例えば、プロセッサは、最初に、Ｒ人の他の被験者の第１のサブセットによって発せられた、第１の状態の参照音声サンプルを、他の被験者の第２のサブセットによって発せられた第２の状態の参照音声サンプルとともに受信することができる。（サブセットは重複していてもよい。すなわち、他の被験者の少なくとも１人は、第１の状態の参照音声サンプルと第２の状態の参照音声サンプルの両方を提供することができる。）次に、プロセッサは、他の被験者の ｒ 番目の１人ごとに｛Φ_ｒ｝を識別し、、それは（ｉ） ｒ 番目の他の被験者によって発せられた第１の状態の参照音声サンプル、および （ｉｉ） ｒ 番目の他の被験者によって発せられた第２の状態の参照音声サンプル、の和集合である。続いて、プロセッサは、他の被験者についてそれぞれの変換 ｛Ｔ_ｒ｝、ｒ＝１…Ｒ を識別できる。Ｔ_ｒ は、上記の制約の下で ｛Φ_ｒ｝ を最適に変換する別の正規化変換である。たとえば、Ｔ_ｒ は、定義済みの妥当性制約の下で：
Σ_{ｕΕ｛Φｒ｝}Δ（Ｔ（Ｖ（Φ）），Ｖ（Φ_０ ））
を最小化することができる。Φ_０ は、Φの内容の正規の（たとえば、合成された）音声である。次に、プロセッサは、他の被験者の ｒ 番目ごとに、Ｔ_ｒを｛Ｖ（Φ_ｒ）｝に適用することによって、特徴の変更セットを計算することができる。最後に、プロセッサは、変更された一連の特徴から、両方の参照モデルを含む参照弁別子を生成することができる。

【0084】

（ｉｉ） 第三の技法
ここで、本発明のいくつかの実施形態による、第１の状態の被験者固有音声モデルθ^０および第２の状態の被験者固有音声モデルθ^１を生成するための第３の技法７２のフロー図である図４を参照する。

【0085】

技法５６（図３）と同様に、技法７２は、第１の状態の参照音声と第２の状態の参照音声がそれぞれ異なる被験者グループに由来する場合を処理することができる。技法７２は、２つの参照モデルが第１のパラメータセットに関しては互いに同一であることを要求するが、被験者の健康状態が参照音声に与える影響を表すと想定されるパラメータの第２のセットに関しては互いに異なる。この影響は被験者２２（図１）について同じであると仮定されるので、技法７２は、パラメータの第２のセットに関して、それらの対応する参照モデルとそれぞれ同一になるように、θ^０およびθ^１を生成するが、パラメータの第１のセットに関しては異なる。

【0086】

技法７２は、第３の受信または生成ステップ７４で始まる。このステップで、プロセッサは、第１の状態の参照音声モデルと第２の状態の参照音声モデルを受信または生成し、２つのモデルはパラメータの第１のセットに対しては同一であるが、第２のセットに関しては互いに異なる。

【0087】

例えば、プロセッサは最初に第１の状態の参照モデルを受信または生成することができる。その後、プロセッサは、パラメータの第２のセットを変更することにより（パラメータの第１のセットを変更することなく）、第２の状態の参照音声モデルを第１の状態の参照音声モデルに適応させることができ、第２の状態の参照音声サンプルに対し第２の状態のモデルによって返されるそれぞれの距離の合計は、適切な妥当性制約に関して最小化される。（ｑ ≧ １ で累乗された絶対値などの任意の適切な非減少関数を、この合算における距離のそれぞれに適用することができる。）あるいは、プロセッサは、最初に第２の状態の参照モデルを受信または生成し、次に、第１の状態の参照モデルを第２の状態の参照モデルに適応させることができる。

【0088】

いくつかの実施形態では、参照モデルは異なるそれぞれのＨＭＭを含み、それぞれがそれぞれのカーネル重みを有する複数のカーネルを含む。そのような実施形態では、パラメータの第１のセットは、カーネルの重みを含むことができる。換言すれば、２つの参照モデルは、同一の状態を含み、各状態において、同じカーネル重みを有する同じ数のカーネルを含み得る。パラメータの第１のセットは、状態遷移距離または確率をさらに含むことができる。それに関して参照モデルが互いに異なる、パラメータの第２のセットは、カーネルのパラメータ（例えば、平均および共分散）を含み得る。

【0089】

たとえば、第１の状態の参照モデルの場合、任意の状態 ｘ と任意の特徴ベクトル ｖ の間のローカル距離は：
Ｌ（Σ_ｊ＝１ ^Ｊｗ_ｘ，ｊｇ（ｖ；μ^０ _ｘ，ｊ，σ^０ _ｘ，ｊ）でありうる。
第２の状態の参照モデルは、第１の状態の参照モデルと同じ状態を含む場合があり、任意の状態 ｘ のローカル距離は：
Ｌ（Σ_ｊ＝１ ^Ｊｗ_ｘ，ｊｇ（ｖ；μ^１ _ｘ，ｊ，σ^１ _ｘ，ｊ）でありうる。

【0090】

第３の受信または生成ステップ７４に続いて、プロセッサは、音声サンプル受信ステップ５０で音声サンプル ｛ｕ_ｍ ^０｝ を受信する。次に、第１の状態の第４のモデル生成ステップ７６で、プロセッサは、第１の状態の被験者固有音声モデルθ^０ を生成し、θ^０ は、パラメータの第２のセットに関して、第１の状態の参照音声モデルと同じである。第１の状態の参照モデルのこの適応を実行するために、プロセッサは、バウムウェルチ（Ｂａｕｍ－Ｗｅｌｃｈ）アルゴリズムに似たアルゴリズムを使用できる。それはたとえば、Ｌ．ＲａｂｉｎｅｒおよびＢ－Ｈ．Ｊｕａｎｇ著、「音声認識の基礎」、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９９３年に記載され、当該文献は参照により本明細書に取り入れられる。詳細には、プロセッサは、第１の状態の参照モデルのパラメータを持つようにθ^０を最初に初期化することができる。次に、プロセッサは、音声サンプル｛ｕ_ｍ ^０｝の各特徴ベクトルをθ^０のそれぞれの状態にマッピングすることができる。次いで、プロセッサは、状態ごとに、状態にマップされた特徴ベクトルを使用して、状態のパラメータの第１のセットを再計算することができる。次いでプロセッサは、特徴ベクトルを状態に再マッピングすることができる。このプロセスは、収束するまで、つまりマッピングが変化しなくなるまで繰り返すことができる。

【0091】

第１の状態の第４のモデル生成ステップ７６に続いて、プロセッサは、第２の状態の第４のモデル生成ステップ７８で、第２の状態の被験者固有音声モデルθ^１がパラメータの第１のセットに関して第１の状態の被験者固有音声モデルθ^０と同一であり、そしてパラメータの第２のセットに関して第２の状態の参照音声モデルと同一であるように、θ^１を生成する。

【0092】

（神経ネットワーク弁別子）
別の実施形態では、プロセッサは、マルチモデル弁別子ではなく、被験者固有の神経ネットワーク弁別子を合成する。詳細には、プロセッサは、最初に、複数のパラメータに関連付けられた神経ネットワークを含む参照弁別子を受信または生成する。続いて、プロセッサは、以下に説明するように、これらのパラメータのいくつかを調整し、それによって、ネットワークを被験者２２ （図１）に適合させる。

【0093】

この技法に関するさらなる詳細については、本発明のいくつかの実施形態による神経ネットワーク弁別子の概略図である図５を参照する。

【0094】

図５は、参照神経ネットワーク８０が特定の被験者に適合される方法を示す。参照神経ネットワーク８０は、被験者によって発せられた１つまたは複数の音声サンプルに基づいて、音声関連の入力８２を受信するように構成されている。例えば、神経ネットワークは、音声サンプル自体、および／またはサンプルから抽出されたメル周波数ケプストラム係数（ＭＦＣＣ）などの特徴を受け取ることができる。参照神経ネットワーク８０は、例えば、音声サンプルの音声内容の指示を含むテキスト入力９０をさらに受信することができる。（音声内容は、事前に決定するか、音声認識技術を使用して音声サンプルから確認することができる。）例えば、神経ネットワークが連続番号 ０,.．,Ｎ－１を付されたＮ個の異なる発話について訓練される場合、テキスト入力９０は、音声サンプルで発せられた発話のシリアル番号を示すビットの順列でありうる。

【0095】

前述の入力が与えられると、神経ネットワークは、音声サンプルが第２の状態で発話された可能性を示す出力９２を返す。例えば、出力９２は、音声サンプルが第２の状態で発話された可能性を明示的に含むことができる。代替的に、出力は、出力が前者の尤度を暗示的に示すように、音声サンプルが第１の状態で発話された尤度を明示的に含むことができる。たとえば、出力で第１の状態の可能性が３０％と示されている場合、出力は事実上、第２の状態の可能性が ７０％であることを示している可能性がある。さらに別の代替として、出力は、２つの状態のそれぞれのスコアを含むことができ、そこから両方の可能性を計算することができる。

【0096】

通常、参照神経ネットワーク８０には、神経の複数の層が含まれる。例えば、音声関連の入力８２が生の音声サンプル（そこから抽出された特徴ではなく）を含む実施形態では、神経ネットワークは、音声関連の応答に応答して音響層出力８３を生成する、１つまたは複数の音響層８４を含むことができる。事実上、音響層８４は、音声サンプルの音響分析を実行することによって、入力音声サンプルから特徴ベクトルを抽出する。

【0097】

別の例として、神経ネットワークは、音響層出力８３に応答して（または音声関連入力８２に含まれる類似の特徴に応答して）音声層出力８５生成する１つまたは複数の音声層８６を含むことができる。例えば、音声層８６は、音響層出力８３によって指定される音声サンプルの音響特徴を、テキスト入力９０によって示される音声サンプルの予想される音声内容と照合することができる。あるいは、ネットワークは単一の事前設定テキストに対して構成され、そして従って音声層８６とテキスト入力９０を省略できる。

【0098】

さらに別の例として、神経ネットワークは、音声層出力８５（および選択肢として音響層出力８３）に応答して出力９２を生成する、１つまたは複数の弁別層８８を含むことができる。弁別層８８は、例えば、第１の健康状態と第２の健康状態とを区別するための特徴を計算する、神経の１つまたは複数の層と、これらの特徴に基づいて出力９２を生成する出力層とを含み得る。出力層は、例えば、第１の状態の尤度を示すスコアを出力する、第１の状態出力神経と、第２の状態の尤度を示すスコアを出力する第２の状態出力神経とを含みうる。

【0099】

いくつかの実施形態では、参照神経ネットワーク８０は、ネットワークが比較的多数の層を組み込むという点で、深層学習ネットワークである。代替的または追加的に、ネットワークは、畳み込み層、スキップ層、および／または再帰型神経ネットワーク要素などの特殊な要素を含むことができる。神経ネットワーク８０内の神経は、様々なタイプの活性化機能に関連付けることができる。

【0100】

被験者固有の神経ネットワーク弁別子を合成するために、プロセッサは参照神経ネットワーク８０に関連付けられたパラメータのサブセットを調整して、音声サンプル｛ｕ_ｍ ^０｝を含む一連の入力音声サンプルに対する出力９２のエラーを最小限に抑える。言い換えると、プロセッサは音声サンプル｛ｕ_ｍ ^０｝を、選択肢として、被験者または第２の状態にある他の被験者によって発話された１つまたは複数の音声サンプルと共に入力し、出力９２の誤差が最小化されるようにパラメータのサブセットを調整する。

【0101】

例えば、プロセッサは、神経ネットワークに属する神経のそれぞれの神経重みの一部またはすべてを調整することができる。特定の例として、プロセッサは、神経層の別の層に関連する重みを調整することなく、１つの神経層に関連する重みの少なくともいくつかを調整することができる。例えば、図５に示されているように、プロセッサは、音響層８４に関連付けられた重みおよび／または弁別層８８に関連付けられた重みを調整することができ、これらは被験者依存であると想定されるが、音声層８６に関連付けられた重みは調整しない。

【0102】

いくつかの実施形態では、神経ネットワークは、音声関連入力８２を生成するために使用される音声サンプルの話者を識別する話者識別（または「被験者ＩＤ」）パラメータ９４に関連付けられる。その音声が参照神経ネットワーク８０を訓練するために使用された被験者を参照し、パラメータ９４はＲ番号のシークエンスを含むことができる。これらの被験者のうちの１人から取得された入力８２ごとに、被験者の通し番号をパラメータ９４で１に設定することができ、他の数字を０に設定することができる。パラメータ９４は、音響層８４、音声層８６、および／または弁別層８８に入力することができる。

【0103】

そのような実施形態では、プロセッサは、神経の重みを調整することに代えて、またはそれに加えて、パラメータ９４を調整することができる。パラメータ９４を調整することにより、プロセッサは、被験者の声を、参照被験者の一部または全部のそれぞれの声の組み合わせとして効果的に近似することができる。純粋に説明のための例として、Ｒ＝１０ の場合、プロセッサはパラメータ ９４を ［０．５ ０ ０ ０ ０．３ ０ ０ ０ ０．２ ０］ の値に調整することができる。それは、プロセッサが、被験者の声を１番目、５番目、９番目の参照被験者のそれぞれの声の組合せとして効率的に近似できることを示す。（したがって、パラメータ９４は、単にネットワークへの可変入力であることによってネットワークに関連付けられるのではなく、ネットワークの固定パラメータであることによってネットワークに関連付けられるようになる。）

【0104】

パラメータを調整するために、プロセッサは、当技術分野で知られている任意の適切な技法を使用することができる。そのような技法の１つは逆伝播法である。これは、パラメータに関する偏差関数の勾配の倍数である値のベクトルをパラメータから繰り返し減算する。偏差関数は、出力とネットワークの期待される出力との間の偏差を定量化する。適切な程度の収束に達するまで、入力音声サンプルのセット内の各サンプルに対して逆伝播を実行することができる（選択肢として、サンプルに対して複数回反復する）。

【0105】

当業者は、本発明が上記で特に示され説明されたものに限定されないことを理解するであろう。本発明の実施形態の範囲は、上述の様々な特徴の組合せおよびサブ組合せの両方、ならびに前述を読んだ当業者に想起される、先行技術にないそれらの変形および修正の両方を含む。例えば、本発明の実施形態の範囲は、第１の状態の参照音声モデルおよび第２の状態の参照音声モデルを含む参照弁別子から、神経ネットワーク弁別子などの単一モデルの被験者固有弁別子の合成を含む。

【0106】

参照により本特許出願に組み込まれている文書は、本出願の不可欠な部分と見なされる。本明細書で明示的または暗示的に行われている定義とこれらの組み込まれた文書の定義が矛盾する場合は、本明細書の定義のみを考慮する必要がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】