特許7192977教師なしモデル適応装置、教師なしモデル適応方法および教師なしモデル適応プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】教師なしモデル適応装置、教師なしモデル適応方法および教師なしモデル適応プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20221213BHJP
G06N 7/00 20060101ALI20221213BHJP
【ＦＩ】
G06N20/00 160
G06N7/00
【請求項の数】
8
(21)【出願番号】P 2021519688
(86)(22)【出願日】2019-03-28
(65)【公表番号】
(43)【公表日】2022-01-13
(86)【国際出願番号】 JP2019013618
(87)【国際公開番号】W WO2020084812
(87)【国際公開日】2020-04-30
【審査請求日】2021-04-08
(31)【優先権主張番号】PCT/JP2018/039613
(32)【優先日】2018-10-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103090
【弁理士】
【氏名又は名称】岩壁 冬樹
(74)【代理人】
【識別番号】100124501
【弁理士】
【氏名又は名称】塩川 誠人
(72)【発明者】
【氏名】リー コン エイク
(72)【発明者】
【氏名】ワン チョンチョン
(72)【発明者】
【氏名】越仲 孝文
【審査官】多賀 実
(56)【参考文献】
【文献】国際公開第２０１７／０４６８２８（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０７６８０６００（ＣＮ，Ａ）
【文献】GLEMBEK, Ondrej et al.，"DOMAIN ADAPTATION VIA WITHIN-CLASS COVARIANCE CORRECTION IN I-VECTOR BASED SPEAKER RECOGNITION SYSTEMS"，2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) [online]，IEEE，2014年，pp.4032-4036，[令和4年5月16日 検索], インターネット:<URL: https://ieeexplore.ieee.org/abstract/document/6854359>，DOI:10.1109/ICASSP.2014.6854359
【文献】KANAGASUNDARAM, Ahilan et al.，"IMPROVING OUT-DOMAIN PLDA SPEAKER VERIFICATION USING UNSUPERVISED INTER-DATASET VARIABILITY COMPENSATION APPROACH"，2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) [online]，IEEE，2015年，pp.4654-4658，[令和4年5月16日 検索], インターネット:<URL:https://ieeexplore.ieee.org/abstract/document/7178853>，DOI:10.1109/ICASSP.2015.7178853
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ１０Ｌ １３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
ドメイン外の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方から、擬似的なドメイン内の共分散行列を計算する共分散行列計算部と、同時対角化に基づいて、前記ドメイン外の確率的線形判別分析モデルにおける擬似的なドメイン内の共分散行列と、クラスの共分散行列の一般化固有値および一般化固有ベクトルとを計算する同時対角化部と、
前記一般化固有値と前記一般化固有ベクトルを用いて、ドメイン内の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方を計算する適応部とを備え、
前記共分散行列計算部は、ドメイン外の確率的線形判別分析モデルとドメイン内のデータの共分散行列に基づいて、前記擬似的なドメイン内の共分散行列を計算する
ことを特徴とする教師なしモデル適応装置。
【請求項2】
適応部は、クラス内およびクラス間の共分散行列の縮小を回避する正則化処理を行うことにより、ドメイン内の共分散行列を計算する請求項１記載の教師なしモデル適応装置。
【請求項3】
共分散行列計算部は、ドメイン外の確率的線形判別分析モデルに基づいてドメイン外の共分散行列を計算し、当該ドメイン外の共分散行列、ドメイン内データの共分散行列、および、クラスの共分散行列に基づいて、擬似的なドメイン内の共分散行列を計算する請求項１または請求項２記載の教師なしモデル適応装置。
【請求項4】
適応部は、擬似的なドメイン内のヘビーテール確率的線形判別分析モデルにおいて、クラス内の共分散成分とクラス間の共分散成分のうちの１つまたは両方を計算する請求項１から請求項３のうちのいずれか１項に記載の教師なしモデル適応装置。
【請求項5】
コンピュータが、
ドメイン外の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方から、擬似的なドメイン内の共分散行列を計算し、
同時対角化に基づいて、前記ドメイン外の確率的線形判別分析モデルにおける擬似的なドメイン内の共分散行列と、クラスの共分散行列の一般化固有値および一般化固有ベクトルとを計算し、
前記一般化固有値と前記一般化固有ベクトルを用いて、ドメイン内の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方を計算し、
前記擬似的なドメイン内の共分散行列は、ドメイン外の確率的線形判別分析モデルとドメイン内のデータの共分散行列に基づいて計算される
ことを特徴とする教師なしモデル適応方法。
【請求項6】
コンピュータが、
クラス内およびクラス間の共分散行列の縮小を回避する正則化処理を行うことにより、ドメイン内の共分散行列を計算する
請求項５記載の教師なしモデル適応方法。
【請求項7】
コンピュータに、ドメイン外の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方から、擬似的なドメイン内の共分散行列を計算する共分散行列計算処理、
同時対角化に基づいて、前記ドメイン外の確率的線形判別分析モデルにおける擬似的なドメイン内の共分散行列と、クラスの共分散行列の一般化固有値および一般化固有ベクトルとを計算する同時対角化処理、および、
前記一般化固有値と前記一般化固有ベクトルを用いて、ドメイン内の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方を計算する適応処理を実行させ、
前記共分散行列計算処理で、前記擬似的なドメイン内の共分散行列は、ドメイン外の確率的線形判別分析モデルとドメイン内のデータの共分散行列に基づいて計算される
ための教師なしモデル適応プログラム。
【請求項8】
コンピュータに、適応処理で、クラス内およびクラス間の共分散行列の縮小を回避する正則化処理を行うことにより、ドメイン内の共分散行列を計算させる
請求項７記載の教師なしモデル適応プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ラベル付けされていないデータを用いてモデルを適応させるための教師なしモデル適応装置、教師なしモデル適応方法、および教師なしモデル適応プログラムに関する。
【背景技術】
【0002】
開発（トレーニング）時の条件と使用（テスト）時の条件とは異なる。例えば、多くの実用的なアプリケーションでは、話者認識システムを開発したときの条件と、そのシステムを使用するときの条件とが異なる。このようなトレーニングとテストとの間のミスマッチ（言語の違いなど）をドメインミスマッチと呼ぶ。
【0003】
ドメインミスマッチを解決するために、場合によっては、ドメイン内のデータを用いた再学習が実行されてもよい。ドメイン内のデータは、通常、導入コストを最小限に抑えるために、量が限られており、ラベルが付いていないものが収集され得る。したがって、システム（モデル）の再トレーニングは、ラベル付けされた大量のデータが必要となるため、禁止されている。よって、バックエンドの分類器の教師なし適応（例えば、確率的線形判別分析）が必要であると言える。
【0004】
非特許文献１および非特許文献２には、確率的線形判別分析（ＰＬＤＡ：probabilistic linear discriminant analysis）のバックエンドについて記載されている。ＰＬＤＡバックエンドは、チャネル補償を実行し、スコアリングバックエンドとして機能する。ＰＬＤＡは、話者埋め込みベクトル（ｉベクトル、ｘベクトルなど）の分布をガウス分布としてモデル化し、クラス内変動とクラス間変動を別個の行列として明示的にモデル化する。
【0005】
一方、ソースドメインから得られた知識をターゲットドメインに適用するドメインの適応化も知られている。非特許文献３および非特許文献４には、ドメインの適応化の方法として、相関アライメント（ＣＯＲＡＬ：correlation alignment ）が記載されている。非特許文献３および非特許文献４に記載された方法では、ドメインの適応化は、２段階の手順、すなわち、ホワイトニングの後に再カラーリングを行うことで達成される。また、ドメインの適応化は、特徴量、すなわち話者埋め込みベクトル（例えば、ｉベクトル、ｘベクトル）に対して行われる。
【0006】
また、ガウス分布の代わりにStudent のｔ分布を用いたＰＬＤＡは、ヘビーテール（ＨＴ：Heavy-Tailed）－ＰＬＤＡと呼ばれている。非特許文献５には、ＨＴ－ＰＬＤＡのための高速な変分ベイズをｉベクトルおよびｘベクトルに適用する方法が記載されている。非特許文献６には、Heavy-Tailed Priors を用いたベイズ話者検証の方法が記載されている。
【先行技術文献】
【非特許文献】
【0007】
【文献】S. Ioffe, "Probabilistic linear discriminant analysis," ECCV 2006, Part IV, LNCS 3954, pp. 531-542, 2006
【文献】S. J. D. Prince and J. H. Elder, "Probabilistic linear discriminant analysis for inferences about identity," in Proc. ICCV, 2007, pp. 1-8.
【文献】B. Sun, J. Feng, and K. Saenko, "Return of frustratingly easy domain adaptation," in Proc. AAAI, 2016, vol. 6, p.8.
【文献】J. Alam, G. Bhattacharya, P. Kenny, "Speaker verification in mismatched conditions with frustratingly easy domain adaptation, " in Proc. Odyssey, 2018, pp. 176-180.
【文献】A. Silnova, N. Brummer, D. Garcia-Romero, D. Snyder, L. Burget, "Fast variational bayes for heavy-tailed PLDA applied to i-vectors and x-vectors", Interspeech 2018
【文献】P. Kenny, "Bayesian speaker verification with heavy-tailed priors", Odyssey 2010
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、クラス内の共分散行列とクラス間の共分散行列では、ドメインミスマッチにより、その分野で適用した場合の分布がうまく一致しない。また、非特許文献１および非特許文献２に記載されているように、様々なアプリケーションのドメインに合わせてＰＬＤＡを再学習させるにはコストがかかり、大量のラベル付きデータセットが必要になる。
【0009】
さらに、非特許文献３および非特許文献４に記載されているＣＯＲＡＬは、特徴量ドメインを適応化させる技術である。ドメインの適応化は、ラベル付けされたドメイン外のデータを変換することで行われる。そして、ドメインに適応化されたデータを用いてバックエンドの分類器がトレーニングされる。しかし、非特許文献３および非特許文献４に記載されたＣＯＲＡＬを用いる場合、ドメイン外のデータセット全体を保持し、必要に応じてドメイン内データに変換することでバックエンドの分類器を再トレーニングする。そのため、ストレージや計算量に多くのコストがかかる。
【0010】
図１３は、特徴量ベースのＣＯＲＡＬ適応と、それに続くＰＬＤＡの再トレーニングの例を示す説明図である。なお、以下の説明では、本文中でギリシャ文字を用いる場合には、ギリシャ文字の英語表記を括弧（［］）で囲むことがある。また、大文字のギリシャ文字を表す場合には、［］内の語頭を大文字で表し、小文字のギリシャ文字を表す場合には、［］内の語頭を小文字で表す。Φ´ｗは、適応化されたＰＬＤＡモデルのクラス内の共分散行列を示す。Φ´ｂは、適応化されたＰＬＤＡモデルのクラス間の共分散行列を示す。ＸＯＯＤは、ドメイン外のトレーニングデータを示し、ＹＯＯＤは、トレーニングデータのラベルを示す。また、ＸＩｎＤは、ドメイン内でラベル付けされていないトレーニングデータを示し、ＴＩｎＤは、テストデータを示す。
【0011】
ＣＯＲＡＬ１１０では、Ｘ´ＯＯＤは、ＸＯＯＤとＸＩｎＤから計算される。具体的には、ＣＩ＝ｃｏｖ（ＸＩｎＤ）およびＣＯ＝ｃｏｖ（ＸＯＯＤ）が定義されているとき、Ｘ´ＯＯＤは、Ｘ´ＯＯＤ＝ＣＩ
１／２ＣＯ
－１／２ＸＯＯＤとして計算される。トレーニングＰＬＤＡ１２０では、｛Φ´ｗ，Φ´ｂ｝が、ドメイン適応データＸ´ＯＯＤおよびＹＯＯＤで学習される。そして、ＰＬＤＡバックエンド１３０では、テストデータＴＩｎＤが入力されると、スコアが計算される。
【0012】
図１４は、ドメイン外データの教師なし適応のためのＣＯＲＡＬアルゴリズムと、ＰＬＤＡトレーニングを説明するフローチャートである。図１４に示す表記は、図１３に示す表記と同様である。ドメイン外データ｛ＸＯＯＤ，ＹＯＯＤ｝とドメイン内データＸＩｎＤが入力される（ステップＳ１０１）。そして、ドメイン内データＸＩｎＤから経験的共分散行列ＣＩが推定される（ステップＳ１０２）。同様に、ドメイン外データＸＯＯＤから経験的共分散行列ＣＯが推定される（ステップＳ１０３）。
【0013】
ドメイン外データをドメイン内データに適応させ、Ｘ´ＯＯＤが計算される（ステップＳ１０４）。Ｘ´ＯＯＤとＹＯＯＤを用いたＰＬＤＡトレーニングにより、｛Φ´ｗ，０, Φ´ｂ，０｝が計算される（ステップＳ１０５）。そして、適応化された共分散行列｛Φ´ｗ, Φ´ｂ｝が出力される（ステップＳ１０６）。
【0014】
【0015】
そこで、本発明では、ドメイン外データセットに基づいてトレーニングされたモデルが、ラベル付けされていないデータを用いてドメイン内モデルに適応化される場合に、適応化するためのコストを低減しつつ、教師なしモデルを適応できる教師なしモデル適応装置、教師なしモデル適応方法、および教師なしモデル適応プログラムを提供することを目的とする。
【課題を解決するための手段】
【0016】
本発明による教師なしモデル適応装置は、ドメイン外の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方から、擬似的なドメイン内の共分散行列を計算する共分散行列計算部と、同時対角化に基づいて、ドメイン外の確率的線形判別分析モデルにおける擬似的なドメイン内の共分散行列と、クラスの共分散行列の一般化固有値および一般化固有ベクトルとを計算する同時対角化部と、一般化固有値と一般化固有ベクトルを用いて、ドメイン内の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方を計算する適応部とを備え、共分散行列計算部が、ドメイン外の確率的線形判別分析モデルとドメイン内のデータの共分散行列に基づいて、擬似的なドメイン内の共分散行列を計算することを特徴とする。
【0017】
本発明による教師なしモデル適応方法は、コンピュータが、ドメイン外の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方から、擬似的なドメイン内の共分散行列を計算し、同時対角化に基づいて、ドメイン外の確率的線形判別分析モデルにおける擬似的なドメイン内の共分散行列と、クラスの共分散行列の一般化固有値および一般化固有ベクトルとを計算し、一般化固有値と一般化固有ベクトルを用いて、ドメイン内の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方を計算し、擬似的なドメイン内の共分散行列が、ドメイン外の確率的線形判別分析モデルとドメイン内のデータの共分散行列に基づいて計算されることを特徴とする。
【0018】
本発明による教師なしモデル適応プログラムは、コンピュータに、ドメイン外の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方から、擬似的なドメイン内の共分散行列を計算する共分散行列計算処理、同時対角化に基づいて、ドメイン外の確率的線形判別分析モデルにおける擬似的なドメイン内の共分散行列と、クラスの共分散行列の一般化固有値および一般化固有ベクトルとを計算する同時対角化処理、および、一般化固有値と一般化固有ベクトルを用いて、ドメイン内の確率的線形判別分析モデルにおけるクラス内の共分散行列とクラス間の共分散行列の一方または両方を計算する適応処理を実行させ、共分散行列計算処理で、擬似的なドメイン内の共分散行列が、ドメイン外の確率的線形判別分析モデルとドメイン内のデータの共分散行列に基づいて計算されることを特徴とする。
【発明の効果】
【0019】
本発明によれば、ドメイン外データセットに基づいてトレーニングされたモデルが、ラベル付けされていないデータを用いてドメイン内モデルに適応化される場合に、適応化するためのコストを低減しつつ、教師なしモデルを適応できる。
【図面の簡単な説明】
【0020】
【図1】本発明による教師なしモデル適応装置の第一の実施形態の構成例を示すブロック図である。
【図2】本発明による教師なしモデル適応装置の第一の実施形態の構成例を示す説明図である。
【図3】第一の実施形態の教師なしモデル適応装置１００の動作例を示すフローチャートである。
【図4】第一の実施形態のモデル適応部３０の動作例を示すフローチャートである。
【図5】第一の実施形態のモデル適応部３０の他の動作例を示すフローチャートである。
【図6】本発明による教師なしモデル適応装置の第二の実施形態の構成例示すブロック図である。
【図7】本発明による教師なしモデル適応装置の第二の実施形態の構成例を示す説明図である。
【図8】第二の実施形態の教師なしモデル適応装置２００の動作例を示すフローチャートである。
【図9】第二の実施形態のモデル適応部２４０の動作例を示すフローチャートである。
【図10】第二の実施形態のモデル適応部２４０の他の動作例を示すフローチャートである。
【図11】本発明による教師なしモデル適応装置の概要を示すブロック図である。
【図12】本発明の一実施形態に係るコンピュータの構成例を示す概略ブロック図である。
【図13】特徴ベースのＣＯＲＡＬ適応とＰＬＤＡ適応の例を示す説明図である。
【図14】ドメイン外データの教師なし適応のためのＣＯＲＡＬアルゴリズムと、ＰＬＤＡトレーニングを説明するフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態を図面を参照して説明する。
【0022】
実施形態１．
図１は、本発明による教師なしモデル適応装置の第一の実施形態の構成例を示すブロック図である。また、図２は、本発明による教師なしモデル適応装置の第一の実施形態の構成例を示す説明図である。本実施形態の教師なしモデル適応装置１００は、データ入力部１０と、トレーニング部２０と、モデル適応部３０と、分類部４０とを備えている。
図１は、本発明による教師なしモデル適応装置の第一の実施形態の構成例を示すブロック図である。また、図２は、本発明による教師なしモデル適応装置の第一の実施形態の構成例を示す説明図である。本実施形態の教師なしモデル適応装置１００は、データ入力部１０と、トレーニング部２０と、モデル適応部３０と、分類部４０とを備えている。
【0023】
データ入力部１０は、ドメイン外データＸＯＯＤを入力し、トレーニング部２０のトレーニングデータとしてＹＯＯＤをラベル付けする。データ入力部１０は、例えば、予め収集したトレーニングデータを記憶した外部の記憶装置（図示せず）から通信ネットワークを介してデータを取得し、取得したデータをトレーニング部２０に入力してもよい。
【0024】
トレーニング部２０は、ドメイン外ＰＬＤＡモデルを学習する（図２の２１参照）。そして、トレーニング部２０は、ドメイン外ＰＬＤＡモデルから、クラス内の共分散行列Φｗ，０と、クラス間の共分散行列Φｂ，０（以下、Φｗ，０とΦｂ，０の組み合わせを、クラス内およびクラス間の共分散行列と記すこともある。）を計算する。すなわち、Φｗ，０およびΦｂ，０は、ドメイン外のＰＬＤＡモデルから計算されたクラス共分散行列のドメイン内およびドメイン間の共分散行列である。トレーニング部２０がドメイン外ＰＬＤＡモデルを学習し、クラス内の共分散行列およびクラス間の共分散行列を計算する方法は、非特許文献１または非特許文献２に記載された方法と同様である。
【0025】
モデル適応部３０は、共分散行列計算部３１と、同時対角化部３２と、適応部３３とを含む。
【0026】
共分散行列計算部３１は、クラス内の共分散行列Φｗ，０、クラス間共分散行列Φｂ，０、および、ドメイン内データＸＩｎｄから推定された共分散行列ＣＩ、並びに、ドメイン外の共分散行列ＣＯ（図２の３１ａ参照）から、擬似的なドメイン内の共分散行列Ｓを計算する。ドメイン外の共分散行列ＣＯは、ドメイン外のＰＬＤＡモデルを用いて計算される。
【0027】
なお、共分散行列計算部３１は、クラス内の共分散行列Φｗ，０と、クラス間の共分散行列Φｂ，０のいずれかから、または、クラス内の共分散行列Φｗ，０と、クラス間の共分散行列Φｂ，０の両方から、擬似的なドメイン内の共分散行列Ｓを計算してもよい。Φｗ，０とΦｂ，０の両方を用いて計算すると、精度が向上するのでより好ましい。Φｗ，０とΦｂ，０のどちらか一方のみを使用する場合、Φ＋
ｗまたはΦ＋
ｂが計算される。Φｗ，０とΦｂ，０の両方を使用した場合、Φ＋
ｗおよびΦ＋
ｂが計算される。共分散行列計算部３１は、以下の式１に示すように、擬似的なドメイン内の共分散行列Ｓを計算してもよい。
【0028】
【数1】
【0029】
同時対角化部３２は、同時対角化に基づいて、疑似的なドメイン内の行列Ｓとドメイン外のＰＬＤＡの共分散行列Φに対する一般化固有値と固有ベクトル｛Ｂ，Ｅ｝を計算する（図２の３２ａ参照）。具体的には、同時対角化部３２は、以下の式２に基づいて、一般化固有値と固有ベクトル｛Ｂ，Ｅ｝を計算する。式２において、ＥＶＤ(.)は、固有ベクトルとそれに対応する固有値を対角化した行列を返す。
【0030】
【数2】
【0031】
すなわち、同時対角化部３２は、共分散行列Φに基づいて、固有ベクトルＱと固有値Λの行列を計算し、疑似的なドメイン内の行列Ｓと、固有ベクトルＱと、固有値Λに基づいて、固有ベクトルＰと固有値Ｅの行列を計算する。そして、同時対角化部３２は、固有ベクトルＱ、固有値Λ、および、固有ベクトルＰに基づいて、固有値Ｂを計算する。
【0032】
適応部３３は、固有値Ｂと固有ベクトルＥとを用いて、クラス内およびクラス間の共分散行列｛Φ＋
ｗ，Φ＋
ｂ｝を計算する。計算するクラス内およびクラス間の共分散行列は、疑似的なドメイン内の共分散行列から生成されるため、疑似的なドメイン内のＰＬＤＡモデルのクラス内およびクラス間の共分散行列といえる。
【0033】
なお、適応部３３は、クラス内の共分散行列Φ＋
ｗまたはクラス間の共分散行列Φ＋
ｂのいずれかを計算してもよく、クラス内の共分散行列Φ＋
ｗおよびクラス間の共分散行列Φ＋
ｂの両方を計算してもよい。適応部３３は、以下の式３に示すように、クラス内およびクラス間の共分散行列Φ＋を計算してもよい。
【0034】
【数3】
【0035】
式３において、γ、βは、ｎが[０，１]の範囲であるように制約されたハイパーパラメータ（適応パラメータ）である。Ｂｗは、Ｅｗが対角行列であるとき、ＢＴ
ｗΦｗ，０Ｂｗ＝Ｉ、ＢＴ
ｗＳＢｗ＝Ｅｗであるような変換行列である。同様に、Ｂｂは、Ｅｂが対角行列であるとき、ＢＴ
ｂΦｂ，０Ｂｂ＝Ｉ、ＢＴ
ｂＳＢｂ＝Ｅｂであるような変換行列である。Φ＋
ｗおよびΦ＋
ｂは、クラス内の共分散行列およびクラス間の共分散行列で適応化される。
【0036】
なお、クラス内およびクラス間の共分散行列の縮小を避けるために、適応部３３は、以下の式４に示すように、クラス内およびクラス間の共分散行列Φ＋を計算してもよい。
【0037】
【数4】
【0038】
すなわち、適応部３３は、クラス内の共分散およびクラス間の共分散の縮小を回避する正則化処理を行ってもよい。適応部３３は、適応されたクラス内およびクラス間の共分散行列を出力する（図２の３３ａ参照）。
【0039】
分類部４０は、モデル適応部３０（図２の４１参照）から出力された、適応化されたクラス内の共分散行列およびクラス間の共分散行列に基づいて、テストデータＴＩｎＤに対するスコアを計算する。このスコアを用いた分類の方法は、非特許文献１または非特許文献２で説明した方法と同様である。
【0040】
以上のように、本実施形態では、教師なしモデル適応装置１００が、モデルベースの適応につながるＰＬＤＡモデルへの特徴ベースのドメイン適応方法（例えば、ＣＯＲＡＬ）の統合を実行する。それは、ＰＬＤＡモデルの分散（すなわち、不確実性）が適応後に増加することを確実にするために、正則化された適応を引き起こす。
【0041】
データ入力部１０と、トレーニング部２０と、モデル適応部３０（より具体的には、共分散行列計算部３１と、同時対角化部３２と、適応部３３）と、分類部４０とは、プログラム（教師なしモデル適応プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ））によって実現される。例えば、プログラムは、教師なしモデル適応装置１００が備える記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、データ入力部１０、トレーニング部２０、モデル適応部３０（より具体的には、共分散行列計算部３１と、同時対角化部３２と、適応部３３）および分類部４０として動作してもよい。
【0042】
また、本実施形態の教師なしモデル適応装置１００において、データ入力部１０と、トレーニング部２０と、モデル適応部３０（より具体的には、共分散行列計算部３１と、同時対角化部３２と、適応部３３）と、分類部４０とは、それぞれが専用のハードウェアで実現されていてもよい。さらに、本発明の教師なしモデル適応装置が、有線または無線で接続された２つ以上の物理的に分離された装置で構成されてもよい。
【0043】
次に、本実施形態の教師なしモデル適応装置の動作を説明する。図３は、第一の実施形態の教師なしモデル適応装置１００の動作例を示すフローチャートである。
【0044】
データ入力部１０は、ドメイン外のＰＬＤＡ行列｛Φｗ，０，Φｂ，０｝、ドメイン内データＸＩｎＤ、および、適応ハイパーパラメータ｛γ，β｝を入力する（ステップＳ１１）。トレーニング部２０は、ドメイン内データＸＩｎＤから経験的共分散行列ＣＩを推定する（ステップＳ１２）。モデル適応部３０は、ドメイン外の共分散行列を計算する（ステップＳ１３）。モデル適応部３０は、適応化された共分散行列｛Φ＋
ｗ, Φ＋
ｂ｝を計算して、出力する（ステップＳ１４）。
【0045】
図４は、第一の実施形態のモデル適応部３０の動作例を示すフローチャートである。｛Φｗ，０，Φｂ，０｝の各Φについて、以下のステップＳ２１～Ｓ２３が実行される。
【0046】
共分散行列計算部３１は、疑似的なドメイン内の共分散行列Ｓを計算する（ステップＳ２１）。同時対角化部３２は、同時対角化に基づいて、疑似的なドメイン内の共分散行列およびドメイン外のＰＬＤＡモデルのクラス共分散行列の一般化固有値および固有ベクトルを計算する（ステップＳ２２）。すなわち、同時対角化部３２は、ΦおよびＳの同時対角化を介して一般化された固有値と固有ベクトルを求める。適応部３３は、一般化された固有値と固有ベクトルを用いて、擬似的なドメイン内のＰＬＤＡモデルにおけるドメイン内およびドメイン間のクラス共分散行列の計算を行う（ステップＳ２３）。すなわち、適応部３３は、ＰＬＤＡの正則化適応を行う。図４において、αは、入力された適応ハイパーパラメータ｛γ，β｝に含まれるハイパーパラメータを示している。
【0047】
図５は、本実施形態のモデル適応部３０の他の動作例を示すフローチャートである。図５に示すフローチャートは、正規化処理を行う場合の動作例を示している。ステップＳ２１及びステップＳ２２の処理は、図４に示した処理と同様である。
【0048】
ステップＳ２４において、適応部３３は、クラス内およびクラス間の共分散行列の縮小を回避する正則化処理を行う。図５において、「ｍａｘ」を含む項を算出する処理は、正則化処理を示す。
【0049】
以上のように、本実施形態では、共分散行列計算部３１が、Φｗ，０およびΦｂ，０のうちの一方または両方から、擬似的なドメイン内の共分散行列Ｓを計算する。同時対角化部３２は、同時対角化に基づいて，ＳとΦの一般化固有値と固有ベクトルを同時対角化する。適応部３３は、一般化された固有値と固有ベクトルを用いて、擬似的なドメイン内のＰＬＤＡモデルにおけるΦ＋
ｗとΦ＋
ｂの一方または両方を計算する。さらに、共分散行列計算部３１は、ドメイン外のＰＬＤＡモデル（ＣＯ）とドメイン内データの共分散行列（ＣＩ）に基づいてＳを計算する。
【0050】
そのような構成により、ドメイン外データセットに基づいてトレーニングされたモデルが、ラベル付けされていないデータを用いてドメイン内モデルに適応化される場合に、適応化するためのコストを低減しつつ、教師なしモデルを適応できる。
【0051】
すなわち、本実施形態によれば、クラス内およびクラス間の共分散行列を変換することにより、教師なし適応が適用される。さらに、ラベル付けされていないドメイン内データとドメイン外の分類器のパラメータを用いて変換行列が計算される。このため、元のドメイン外データは不要であり、システムの計算量と保存容量を節約できる。
【0052】
実施形態２．
ここまで述べてきたように、ＰＬＤＡは、話者埋め込みベクトル（例えば、ｉベクトル、ｘベクトル）の分布をガウス分布としてモデル化するものである。このようなＰＬＤＡは、生成型ＰＬＤＡ（Ｇ－ＰＬＤＡ）と呼ばれている。別のタイプとして、話者埋め込みベクトルの分布をStudent のｔ分布の形式でモデル化するヘビーテールＰＬＤＡ (ＨＴ－ＰＬＤＡ)と呼ばれるものがある。現実の世界では、データはガウシアン分布よりもStudent のｔ分布に近い。そのため、ＨＴ－ＰＬＤＡは、Ｇ－ＰＬＤＡよりも実世界のデータとのマッチングが良く、そのような実世界のデータに対してより良い性能を発揮することが期待される。
ここまで述べてきたように、ＰＬＤＡは、話者埋め込みベクトル（例えば、ｉベクトル、ｘベクトル）の分布をガウス分布としてモデル化するものである。このようなＰＬＤＡは、生成型ＰＬＤＡ（Ｇ－ＰＬＤＡ）と呼ばれている。別のタイプとして、話者埋め込みベクトルの分布をStudent のｔ分布の形式でモデル化するヘビーテールＰＬＤＡ (ＨＴ－ＰＬＤＡ)と呼ばれるものがある。現実の世界では、データはガウシアン分布よりもStudent のｔ分布に近い。そのため、ＨＴ－ＰＬＤＡは、Ｇ－ＰＬＤＡよりも実世界のデータとのマッチングが良く、そのような実世界のデータに対してより良い性能を発揮することが期待される。
【0053】
背景技術でも述べたように、開発時の条件（ドメインと呼ばれることが多い）は、開発したシステムの使用時の条件とは異なることが多いため、その差を補うためにドメイン適応化が適用されるのが一般的である。しかし、ＨＴ-ＰＬＤＡの定式化が複雑であるため、ドメイン適応化の手法が創案されておらず、実データとのマッチングが可能であるにもかかわらず、ＨＴ-ＰＬＤＡの利用が制限されているのが現状である。
【0054】
非特許文献５および非特許文献６は、ＨＴ-ＰＬＤＡにおいて、ＲＤの要素である話者埋め込みベクトル（例えば、ｉベクトル、ｘベクトル）ｒｊが、ＲＤの要素である隠れ話者識別変数ｚｉをＤ×ｄ因子負荷行列Ｆを有するＤ次元空間に投影することにより生成されることを示している。
ここでηｊは、以下のように、ヘビーテール分布から独立して引き出されたノイズを表わす。
また、λｊは、自由度として知られるνでパラメトリック化されたカイ二乗分布λｊ～χν
２からサンプリングされる。精度変調因子の期待値は、＜λ／ν＞＝１である。Ｗは、Ｄ×Ｄの正定値である。隠れ変数λｊを除外すると、話者識別ベクトルｚｉが与えられ、確率はｔ分布になる。
そして、事後分布は、
である。ここで、
【数5】
【数6】
【数7】
【数8】
【数9】
【0055】
Ｇは話者部分空間の直交補数、すなわち、ＧＦ＝０への射影演算子であり、ＨＴ－ＰＬＤＡは、パラメータ（Ｆ，Ｗ，ν）を有する。
【0056】
ＨＴ－ＰＬＤＡでは、ＦＦＴとｂｉｊ
－１Ｈ０
－１は、話者間共分散と話者内共分散とみなすことができる。
【0057】
Φｂ＝ＦＦＴ
Φｗ＝ｂｉｊ －１Ｈ０ －１ （式５）
Φｗ＝ｂｉｊ －１Ｈ０ －１ （式５）
【0058】
したがって、本発明では、話者間共分散と話者内共分散を適応させるため、ＨＴ－ＰＬＤＡに適用することができる。（Φｗ，Φｂ）におけるΦについて、ＨＴ－ＰＬＤＡ用に擬似的なドメイン内共分散行列をモデル化した。
ここで、ＣＩはラベル付けされていないドメイン内データから計算され、ＣＯ，ｉｊ＝ＦＦＴ＋ｂｉｊ
－１Ｈ０
－１である。これにより、適応された話者間共分散を得ることができる。
ただし、
そして、適応化された話者間共分散は、
ただし、
ＨＴ－ＰＬＤＡにおける話者内共分散は一定ではなく、２つのパラメータ（Ｗ，ν）に依存する変数であり、個々の話者埋め込みベクトルｒｉｊに依存するため、適応化されたパラメータもまた変数である。適応化された方程式には解析的な解法は存在しない。
【数10】
【数11】
【数12】
【数13】
【数14】
【0059】
そこで、本発明では、この問題を解決するための仮定を提案する。それは、Φｗのｂｉｊ
－１とＨ０
－１が分解可能であることを前提とするものである。この仮定では、Φ´ｂ＝ＦＦＴ、Φ´ｗ＝Ｗ－１（式６）の適応に相当する。
ただし、
【数15】
【数16】
【0060】
この適応化された方程式は解析解を有する。（Φ´ｂ
＋，Φ´ｗ
＋）が得られた後、ＯＯＤ ＨＴ－ＰＬＤＡに置き換えるために（Ｆ＋，Ｗ＋）が計算される。さらに、第三のパラメータνはそのままでもよいし、ラベル付けされていないドメイン内データにガンマ分布を当てはめることによって適応化させてもよい。
【0061】
図６は、本発明による教師なしモデル適応装置の第二の実施形態の構成例示すブロック図である。図７は、本発明による教師なしモデル適応装置の第二の実施形態の構成例を示す説明図である。本実施形態の教師なしモデル適応装置２００は、データ入力部２１０と、トレーニング部２２０と、コンポーネント計算部２３０と、モデル適応部２４０と、パラメータ変換部２５０と、適合部２６０と、分類部２７０とを備えている。
【0062】
データ入力部２１０は、ドメイン外データＸＯＯＤを入力し、ＨＴ-ＰＬＤＡのトレーニング部２２０のトレーニングデータとしてＹＯＯＤをラベル付けする。データ入力部２１０は、例えば、以前に収集したトレーニングデータを記憶する外部の記憶装置（図示せず）から通信ネットワークを介してデータを取得し、取得したデータをトレーニング部２２０に入力してもよい。
【0063】
トレーニング部２２０は、ドメイン外のＨＴ-ＰＬＤＡモデルを学習する（図７の２２１参照：トレーニング部２２０は、ＨＴ-ＰＬＤＡを学習する）。そして、トレーニング部２２０は、ドメイン外のＨＴ-ＰＬＤＡモデルのパラメータとして、因子負荷行列Ｆ、精度行列Ｗ、および、自由度νを計算する。トレーニング部２２０がドメイン外のＨＴ-ＰＬＤＡモデルを学習し、｛Ｆ，Ｗ，ν｝を計算する方法は、非特許文献５または非特許文献６に記載された方法と同様である。
【0064】
コンポーネント計算部２３０は、ドメイン外のＨＴ-ＰＬＤＡモデルの２つのパラメータ｛Ｆ，Ｗ｝から、共分散成分｛Φ´ｂ，Ｏ，Φ´Ｗ，Ｏ｝を計算する。なお、Φ´ｂ，Ｏ＝ＦＦＴ、Φ´Ｗ，Ｏ＝Ｗ－１である。本発明では、式５を２つの成分に分解できると仮定し、それらの成分を独立に付加することは、ＨＴ－ＰＬＤＡのパラメータを適応させることと等価である（図７の２３１参照）。なお、本明細書では、クラス間共分散とクラス内共分散の定義との違いを明確にするために、Φ´ｂ，ＯおよびΦ´Ｗ，Ｏを、それぞれ、ドメイン外のクラス間共分散成分およびクラス内共分散成分と呼ぶことにする。
【0065】
モデル適応部２４０は、第一の実施形態と同様、共分散行列計算部２４１と、同時対角化部２４２と、適応部２４３とを含む。これらは、共分散の代わりに、上述したようなクラス間およびクラス内の共分散成分を適応化させる。
【0066】
共分散行列計算部２４１は、クラス内の共分散成分Φ´Ｗ，Ｏ、クラス間の共分散成分Φ´ｂ，Ｏ、ドメイン内データＸＩｎＤから推定された共分散行列ＣＩ、および、ドメイン外の共分散成分から擬似的なドメイン内の共分散行列Ｓ´を計算する（図７の２４１ａ参照）。ドメイン外の共分散成分Ｃ´Ｏは、ドメイン外のＨＴ－ＰＬＤＡモデルを用いて計算される。
【0067】
なお、共分散行列計算部２４１は、クラス内の共分散成分Φ´Ｗ，Ｏと、クラス間の共分散成分Φ´ｂ，Ｏのいずれかから、または、クラス内共分散成分Φ´Ｗ，Ｏとクラス間の共分散成分Φ´ｂ，Ｏの両方から、擬似的なドメイン内の共分散行列Ｓを計算してもよい。Φ´Ｗ，ＯとΦ´ｂ，Ｏの両方を用いた計算の方が精度が向上するので好ましい。Φ´Ｗ，ＯまたはΦ´ｂ，Ｏのいずれか一方のみを用いる場合、Ｃ´Ｏは、Φ´Ｗ，ＯまたはΦ´ｂ，Ｏである。Φ´Ｗ，ＯとΦ´ｂ，Ｏの両方が使用される場合、Ｃ´Ｏは、Φ´Ｗ，ＯとΦ´ｂ，Ｏの和になる。共分散行列計算部２４１は、以下の式７に示すように、擬似的なドメイン内の共分散行列Ｓ´を計算してもよい。
【0068】
【数17】
【0069】
同時対角化部２４２は、同時対角化に基づいて、疑似的なドメイン内の行列Ｓ´と、ドメイン外のＨＴ-ＰＬＤＡの共分散成分Φ´についての一般化固有値および固有ベクトル｛Ｂ，Ｅ｝を算出する（図７の２４２ａ参照）。具体的には、同時対角化部２４２は、以下の式８に基づいて、一般化固有値と固有ベクトル｛Ｂ，Ｅ｝を求める。なお、式８において、ＥＶＤ（．）は、固有ベクトルとそれに対応する固有値を対角化した行列を返す関数である。
【0070】
【数18】
【0071】
すなわち、同時対角化部２４２は、共分散成分Φ´に基づいて、固有ベクトルＱおよび固有値Λの行列を計算し、疑似的なドメイン内行列Ｓ、と固有ベクトルＱ、および固有値Λに基づいて、固有ベクトルＰおよび固有値Ｅの行列を計算する。そして、同時対角化部２４２は、固有ベクトルＱ、固有値Λ、固有ベクトルＰに基づいて、固有値Ｂを計算する。
【0072】
適応部２４３は、固有値Ｂと固有ベクトルＥとを用いて、クラス共分散成分｛Φ´ｗ
＋，Φ´ｂ
＋｝のクラス内およびクラス間の共分散成分｛Φ´ｗ
＋，Φ´ｂ
＋｝を計算する。 計算されるクラス内およびクラス間の共分散成分は、擬似的なドメイン内の共分散行列から生成されるため、擬似的なドメイン内ＰＬＤＡモデルのクラス内およびクラス間の共分散成分であるといえる。
【0073】
なお、適応部２４３は、クラス内の共分散成分Φ´ｗ
＋またはクラス間の共分散成分Φ´ｂ
＋のいずれか一方を計算してもよく、クラス内の共分散行列Φ´ｗ
＋およびクラス間共分散行列Φ´ｂ
＋の両方を計算してもよい。適応部２４３は、以下の式９に示すように、クラス内およびクラス間の共分散行列Φ´＋を計算してもよい。
【0074】
【数19】
【0075】
式９において、γおよびβは、[０，１]の範囲にあるように制約されたハイパーパラメータ（適応パラメータ）である。Ｂｗは、Ｂｗ
ＴΦ´ｗ，ＯＢｗ＝Ｉ、および、Ｂｗ
ＴＳｗＢｗ＝Ｅｗのような変換行列であり、ここでＥｗは対角行列である。同様に、Ｂｂは、Ｂｂ
ＴΦ´ｂ，ＯＢｂ＝Ｉ、および、Ｂｂ
ＴＳｂＢｂ＝Ｅｂのような変換行列であり、ここでＥｂは対角行列である。Φ´ｗ
＋およびΦ´ｂ
＋は、クラス内およびクラス間の共分散成分の適応である。
【0076】
なお、クラス内およびクラス間の共分散成分の縮小を避けるために、適応部２４３は、以下の式１０に示すように、クラス内およびクラス間の共分散成分Φ´＋を計算してもよい。
【0077】
【数20】
【0078】
すなわち、適応部２４３は、クラス内およびクラス間の共分散成分の縮小を回避する正則化処理を行ってもよい。適応部２４３は、適応されたクラス内およびクラス間の共分散成分を出力する（図７の２４３ａ参照）。
【0079】
パラメータ変換部２５０は、適応されたクラス内およびクラス間共分散成分｛Φ´ｂ
＋，Φ´ｗ
＋｝（図７の２５１参照）から適応された因子負荷行列Ｆおよび精度行列Ｗ（式６参照）を計算する。
【0080】
適合部２６０は、Student のｔ分布を、ラベル付けされていないドメイン内データに適合し、適応されたＨＴ-ＰＬＤＡモデルの自由度ν＋を固定する（図７の２６１参照）。Student のｔ分布をデータに適合して自由度νを推定する手法が各種存在する。
【0081】
分類部２７０は、パラメータ変換部２５０から出力された適応化された因子負荷行列Ｆ＋、精度行列Ｗ＋、および、適合部２６０から出力された自由度ν＋に基づいて、テストデータＴＩｎＤに対するスコアを算出する（図７の２７１参照）。スコアを用いた分類方法は、非特許文献５または非特許文献６で説明した方法と同様である。
【0082】
以上のように、本実施形態では、教師なしモデル適応装置２００が、モデルベースの適応につながるＰＬＤＡモデルへの特徴ベースのドメイン適応方法（例えば、ＣＯＲＡＬ）の統合を実行する。それは、ＨＴ－ＰＬＤＡモデルの分散（すなわち、不確実性）が適応後に増加することを確実にするために、正則化された適応を引き起こす。
【0083】
次に、本実施形態の教師なしモデル適応装置の動作を説明する。図８は、第二の実施形態の教師なしモデル適応装置２００の動作例を示すフローチャートである。
【0084】
データ入力部２１０は、ドメイン外データＸＯＯＤを入力し、ＨＴ-ＰＬＤＡのトレーニング部２２０のトレーニングデータとしてＹＯＯＤをラベル付けする。トレーニング部２２０は、ドメイン外のＨＴ-ＰＬＤＡモデル｛Ｆ，Ｗ，ν｝を学習する。そして、コンポーネント計算部２３０は、２つのパラメータ｛Ｆ，Ｗ｝から成分｛Φ´ｂ，Ｏ，Φ´Ｗ，Ｏ｝を計算する（ステップＳ２１１）。データ入力部２１０は、ドメイン外の適応成分｛Φ´ｂ，Ｏ，Φ´Ｗ，Ｏ｝、ドメイン内データＸＩｎＤ、適応ハイパーパラメータ｛β,γ｝を入力する（ステップＳ２１２）。トレーニング部２２０は、ドメイン内データＸＩｎＤから経験的共分散行列ＣＩを推定する（ステップＳ２１３）。モデル適応部２４０は、ドメイン外の共分散成分を計算する（ステップＳ２１４）。モデル適応部２４０は、適応化された共分散成分｛Φ´ｗ
＋，Φ´ｂ
＋｝を計算する（ステップＳ２１５）。
【0085】
パラメータ変換部２５０は、適応化されたクラス内およびクラス間の共分散成分｛Φ´ｂ
＋, Φ´ｗ
＋｝から適応化された因子負荷行列Ｆ＋と精度行列Ｗ＋を計算し（ステップＳ２１６）、出力する。適合部２６０は、ラベル付けされていないドメイン内データにStudent のｔ分布を適合し、適応化されたＨＴ-ＰＬＤＡモデルの自由度ν＋を更新して出力する（ステップＳ２１７）。
【0086】
図９は、第二の実施形態のモデル適応部２４０の動作例を示すフローチャートである。｛Φ´ｗ，Ｏ，Φ´ｂ，Ｏ｝の各Φ´について、以下のステップＳ２２１～Ｓ２２３が実行される。
【0087】
共分散行列計算部２４１は、擬似的なドメイン内の共分散行列Ｓ´を計算する（ステップＳ２２１）。同時対角化部２４２は、同時対角化に基づいて、擬似的なドメイン内の共分散行列の一般化固有値Ｂと固有ベクトルＥと、ドメイン外のＨＴ-ＰＬＤＡモデルのクラス間およびクラス内の共分散成分を計算する（ステップＳ２２２）。すなわち、同時対角化部２４２は、Φ´とＳ´の同時対角化を介して一般化された固有値Ｂと固有ベクトルＥを求める。適応部２４３は、一般化された固有値と固有ベクトルを用いて、擬似的なドメイン内のＰＬＤＡモデルにおけるクラス内およびクラス間の共分散成分を計算する（ステップＳ２２３）。すなわち、適応部２４３は、ＨＴ-ＰＬＤＡにおける共分散成分の正則化適応を行う。図９において、αは、入力された適応ハイパーパラメータ｛β，γ｝に含まれるハイパーパラメータを示している。
【0088】
図１０は、第二の実施形態のモデル適応部２４０の他の動作例を示すフローチャートである。図１０に示すフローチャートは、正規化処理を行う場合の動作例を示している。ステップＳ２２１及びステップＳ２２２の処理は、図９に示した処理と同様である。
【0089】
ステップＳ２２４において、適応部２４３は、クラス内およびクラス間の共分散成分の縮小を回避する正則化処理を行う。図１０において、「ｍａｘ」を含む項を算出する処理は、正則化処理を示す。
【0090】
以上のように、第二の実施形態では、共分散行列計算部２４１が、Φ´ｗ，０およびΦ´ｂ，０のうちの一方または両方から、擬似的なドメイン内の共分散行列Ｓを計算する。同時対角化部２４２は、ＳとΦ´の一般化された固有値と固有ベクトルの同時対角化を計算する。適応部２４３は、一般化された固有値と固有ベクトルを用いて、擬似的なドメイン内のＨＴ-ＰＬＤＡモデルにおける共分散成分のΦ´ｗ，０
＋+とΦ´ｂ，０
＋の一方または両方を計算する。さらに、共分散行列計算部２４１は、ドメイン外のＰＬＤＡモデル（Ｃ´Ｏ）とドメイン内データ（ＣＩ）の共分散行列に基づいてＳを計算する。
【0091】
そのような構成により、ドメイン外データセットに基づいてトレーニングされたモデルが、ラベル付けされていないデータを用いてドメイン内モデルに適応される場合でも、ＨＴ-ＰＬＤＡに教師なしモデルを適応できる。
【0092】
すなわち、本実施形態によれば、ＨＴ-ＰＬＤＡパラメータで構成されたクラス内およびクラス間の共分散行列を近似的に変換することにより、教師なし適応が適用される。さらに、ラベル付けされていないドメイン内データとドメイン外の分類器のパラメータを用いて変換行列が計算される。このため、元のドメイン外データは不要であり、システムの計算量と保存量を節約できる。また、ヘビーテールモデリングにより，生成的ＰＬＤＡを用いた場合よりも、さらに高い精度を実現することが可能になる。
【0093】
次に、本発明の概要を説明する。図１１は、本発明による教師なしモデル適応装置の概要を示すブロック図である。本発明による教師なしモデル適応装置８０（例えば、教師なしモデル適応装置１００）は、ドメイン外の確率的線形判別分析（ＰＬＤＡ）モデルにおけるクラス内の共分散行列（例えば、Φｗ，０）とクラス間の共分散行列（例えば、Φｂ，０）の一方または両方から、擬似的なドメイン内の共分散行列（例えば、Ｓ）を計算する共分散行列計算部８１（例えば、共分散行列計算部３１）と、同時対角化に基づいて、ドメイン外の確率的線形判別分析モデルにおける擬似的なドメイン内の共分散行列と、クラスの共分散行列の一般化固有値および一般化固有ベクトル（例えば、｛Ｂ，Ｅ｝）とを計算する同時対角化部８２（例えば、同時対角化部３２）と、一般化固有値と一般化固有ベクトルを用いて、ドメイン内の確率的線形判別分析モデルにおけるクラス内の共分散行列（例えば、Φｗ
＋）とクラス間の共分散行列（例えば、Φｂ
＋）の一方または両方を計算する適応部８３（例えば、適応部３３）とを備えている。そして、共分散行列計算部８１は、ドメイン外の確率的線形判別分析モデルとドメイン内のデータの共分散行列に基づいて、擬似的なドメイン内の共分散行列を計算する。
【0094】
そのような構成により、ドメイン外データセットに基づいてトレーニングされたモデルが、ラベル付けされていないデータを用いてドメイン内モデルに適応化される場合に、適応化するためのコストを低減しつつ、教師なしモデルを適応できる。
【0095】
また、適応部８３は、クラス内およびクラス間の共分散行列の縮小を回避する正則化処理を行うことにより、ドメイン内の共分散行列を計算してもよい。
【0096】
具体的には、共分散行列計算部８１は、ドメイン外の確率的線形判別分析モデルに基づいてドメイン外の共分散行列を計算し、そのドメイン外の共分散行列、ドメイン内データの共分散行列、および、クラスの共分散行列に基づいて、擬似的なドメイン内の共分散行列を計算してもよい。
【0097】
また、適応部８３は、擬似的なドメイン内のヘビーテール確率的線形判別分析モデルにおいて、クラス内の共分散成分とクラス間の共分散成分のうちの１つまたは両方を計算してもよい。
【0098】
次に、本発明の例示的な実施形態によるコンピュータの構成例を説明する。図１２は、本発明の一実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４および表示装置１００５を備える。
【0099】
上述の教師なしモデル適応装置１００は、コンピュータ１０００に実装される。そのような構成において、装置の動作が、プログラム（分類プログラム）の形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
【0100】
補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。
【0101】
さらに、プログラムは、実施形態における所定のプロセスを部分的に達成するものであってもよい。さらに、プログラムは、実施形態における所定の処理を達成するために、補助記憶装置１００３に既に記憶されている別のプログラムと組み合わせた差分プログラムであってもよい。
【0102】
さらに、本実施形態の処理の内容により、コンピュータ１０００の要素の一部を省略することが可能である。例えば、ユーザに情報を提示しない場合、表示装置１００５を省略することができる。図１２には図示していないが、本実施形態の処理の内容によっては、コンピュータ１０００は、入力装置を含んでもよい。教師なしモデル適応装置１００は、例えば、リンクが設定されている部分をクリックするなど、リンクへの移動指示を入力するための入力装置を含んでいてもよい。
【0103】
また、各デバイスの構成要素の一部または全部は、汎用または専用の回路、プロセッサ等、またはそれらの組み合わせによって実装される。これらは、単一のチップで構成されていてもよいし、バスを介して接続された複数のチップで構成されていてもよい。また、各装置の構成要素の一部または全部が、上記の回路等とプログラムとの組み合わせによって実現されてもよい。
【0104】
各装置の構成要素の一部または全部が複数の情報処理装置、回路等によって実現される場合、複数の情報処理装置、回路等が集中的に配置されていてもよいし、分散的に配置されていてもよい。例えば、情報処理装置、回路等は、クライアントシステムとサーバシステム、クラウドコンピューティングシステム等がそれぞれ通信ネットワークを介して接続された形態で実現されてもよい。
【符号の説明】
【0105】
１０ データ入力部
２０ トレーニング部
３０ モデル適応部
３１ 共分散行列計算部
３２ 同時対角化部
３３ 適応部
４０ 分類部
１００ 教師なしモデル適応装置
２００ 教師なしモデル適応装置
２１０ データ入力部
２２０ レーニング部
２３０ コンポーネント計算部
２４０ モデル適応部
２４１ 共分散行列計算部
２４２ 同時対角化部
２４３ 適応部
２５０ パラメータ変換部
２６０ 適合部
２７０ 分類部
２０ トレーニング部
３０ モデル適応部
３１ 共分散行列計算部
３２ 同時対角化部
３３ 適応部
４０ 分類部
１００ 教師なしモデル適応装置
２００ 教師なしモデル適応装置
２１０ データ入力部
２２０ レーニング部
２３０ コンポーネント計算部
２４０ モデル適応部
２４１ 共分散行列計算部
２４２ 同時対角化部
２４３ 適応部
２５０ パラメータ変換部
２６０ 適合部
２７０ 分類部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】