特開 2024-125082 合成学習データ生成装置、合成学習データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125082

(43)【公開日】2024-09-13

(54)【発明の名称】合成学習データ生成装置、合成学習データ生成方法

(51)【国際特許分類】

   G10L 15/06 20130101AFI20240906BHJP

   G06F 16/38 20190101ALI20240906BHJP

   G06N 20/00 20190101ALI20240906BHJP

【ＦＩ】

G10L15/06 300Y

G06F16/38

G06N20/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023033175

(22)【出願日】2023-03-03

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】ホー トゥアン ブ

(72)【発明者】

【氏名】住吉 貴志

(72)【発明者】

【氏名】堀口 翔太

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA01

5B175HB03

(57)【要約】

【課題】ＡＳＲモデルの学習データとして多様な学習データを生成する。
【解決手段】合成学習データ生成装置１は、自動音声認識において用いられるＡＳＲモデルの学習を行うための合成学習データを生成する装置であり、予め収集された種々のテキストデータ群が格納された汎用テキストデータベース１１と、自動音声認識のターゲットドメインに属するテキストデータ群が格納されたターゲットドメインテキストデータベース１２と、汎用テキストデータベース１１とターゲットドメインテキストデータベース１２とを比較し、その比較結果に基づいて、汎用テキストデータベース１１から学習用テキストデータを選択するテキストデータ選択部２０と、テキストデータ選択部２０により選択された学習用テキストデータに基づいて合成学習データを生成する合成学習データ生成部３０と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

自動音声認識において用いられるモデルの学習を行うための合成学習データを生成する装置であって、
予め収集された種々のテキストデータ群が格納された汎用テキストデータベースと、
前記自動音声認識のターゲットドメインに属するテキストデータ群が格納されたターゲットドメインテキストデータベースと、
前記汎用テキストデータベースと前記ターゲットドメインテキストデータベースとを比較し、その比較結果に基づいて、前記汎用テキストデータベースから学習用テキストデータを選択するテキストデータ選択部と、
前記テキストデータ選択部により選択された前記学習用テキストデータに基づいて前記合成学習データを生成する合成学習データ生成部と、を備える合成学習データ生成装置。

【請求項2】

請求項１に記載の合成学習データ生成装置であって、
前記テキストデータ選択部は、
前記学習用テキストデータの候補である候補テキストデータを、文単位で前記汎用テキストデータベースから抽出する候補テキストデータ抽出部と、
前記候補テキストデータ抽出部により抽出された前記候補テキストデータが表す各文について、前記ターゲットドメインテキストデータベースに対する未出現単語の頻度を計算し、計算した前記未出現単語の頻度に基づいて、前記候補テキストデータから前記学習用テキストデータを選択する語彙サイズ最大化部と、を有する合成学習データ生成装置。

【請求項3】

請求項２に記載の合成学習データ生成装置であって、
前記候補テキストデータ抽出部は、前記汎用テキストデータベースに含まれるテキストデータが表す各文と、前記ターゲットドメインテキストデータベースに含まれるテキストデータが表す各文との類似度を算出し、前記類似度が所定値以上の文に対応するテキストデータを、前記候補テキストデータとして前記汎用テキストデータベースから抽出する合成学習データ生成装置。

【請求項4】

請求項２に記載の合成学習データ生成装置であって、
前記語彙サイズ最大化部は、前記候補テキストデータが表す各文を、当該文中の各単語について計算された前記未出現単語の頻度が高い順にランク付けし、前記ランク付けの結果に基づいて、前記候補テキストデータから前記学習用テキストデータを選択する合成学習データ生成装置。

【請求項5】

自動音声認識において用いられるモデルの学習を行うための合成学習データを生成する方法であって、
コンピュータにより、
予め収集された種々のテキストデータ群が格納された汎用テキストデータベースと、前記自動音声認識のターゲットドメインに属するテキストデータ群が格納されたターゲットドメインテキストデータベースとを比較し、
前記汎用テキストデータベースと前記ターゲットドメインテキストデータベースとの比較結果に基づいて、前記汎用テキストデータベースから学習用テキストデータを選択し、
前記学習用テキストデータに基づいて前記合成学習データを生成する、合成学習データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習に使用される合成学習データを生成する装置および方法に関する。

【背景技術】

【0002】

従来、ディープラーニングに代表される機械学習を用いた自動音声認識（ＡＳＲ：Automatic Speech Recognition）が広く知られている。この自動音声認識において用いられるモデル（ＡＳＲモデル）の学習を効果的に行うためには、大量の音声データを学習データとして準備することが求められる。

【0003】

しかしながら、人間が実際に発話した音声データから機械学習に適した大量の音声データを準備するのは手間がかかるため、容易ではない。そこで、人間の実際の発話による音声データの代わりに、ＴＴＳ（Text To Speech）モデルと呼ばれる音声合成用の機械学習モデルを用いて生成した音声データを、ＡＳＲモデルの学習データとして使用することが提案されている（例えば非特許文献１）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Fazel, A., Yang, W., Liu, Y., Barra-Chicote, R., Meng, Y., Maas, R., Droppo, J. (2021) SynthASR: Unlocking Synthetic Data for Speech Recognition. Proc. Interspeech 2021, 896-900, doi: 10.21437/Interspeech.2021-1882

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１のような従来技術において、ＴＴＳモデルにより生成される音声データは、ＴＴＳモデルに入力するテキスト内容に依存する。したがって、ＡＳＲモデルの学習データに適した音声データを生成するためには、ＴＴＳモデルへの入力として、多様性に富んだ適切なテキスト内容を大量に設定する必要がある。もしもこの設定が不十分であると、ＴＴＳモデルを用いて生成される学習データにおいて語彙の数や多様性が限定されてしまうことになり、ＡＳＲモデルの学習を十分に行うことができない。このように、従来の学習データの生成手法には、依然として改善の余地がある。

【0006】

本発明は、こうした背景に基づきなされたものであり、ＡＳＲモデルの学習データとして多様な学習データを生成することが可能な合成学習データ生成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明による合成学習データ生成装置は、自動音声認識において用いられるモデルの学習を行うための合成学習データを生成する装置であって、予め収集された種々のテキストデータ群が格納された汎用テキストデータベースと、前記自動音声認識のターゲットドメインに属するテキストデータ群が格納されたターゲットドメインテキストデータベースと、前記汎用テキストデータベースと前記ターゲットドメインテキストデータベースとを比較し、その比較結果に基づいて、前記汎用テキストデータベースから学習用テキストデータを選択するテキストデータ選択部と、前記テキストデータ選択部により選択された前記学習用テキストデータに基づいて前記合成学習データを生成する合成学習データ生成部と、を備える。
本発明による合成学習データ生成方法は、自動音声認識において用いられるモデルの学習を行うための合成学習データを生成する方法であって、コンピュータにより、予め収集された種々のテキストデータ群が格納された汎用テキストデータベースと、前記自動音声認識のターゲットドメインに属するテキストデータ群が格納されたターゲットドメインテキストデータベースとを比較し、前記汎用テキストデータベースと前記ターゲットドメインテキストデータベースとの比較結果に基づいて、前記汎用テキストデータベースから学習用テキストデータを選択し、前記学習用テキストデータに基づいて前記合成学習データを生成する。

【発明の効果】

【0008】

本発明によれば、ＡＳＲモデルの学習データとして多様な学習データを生成することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る合成学習データ生成装置のハードウェア構成を示す図である。

【図2】合成学習データ生成装置の機能構成を示すブロック図である。

【図3】合成学習データ生成装置が合成学習データを生成する処理の流れを示すフローチャートである。

【図4】候補テキストデータ抽出処理の流れを示すフローチャートである。

【図5】語彙サイズ最大化処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について図面を参照しつつ説明する。以下の説明において、同一のまたは類似する構成に同一の符号を付して重複した説明を省略することがある。また以下の説明において、同種の構成を区別する必要がある場合、構成を総称する符号の後に括弧書きで識別子（数字、アルファベット等）を表記することがある。

【0011】

図１は、本発明の一実施形態に係る合成学習データ生成装置のハードウェア構成を示す図である。図１に示す合成学習データ生成装置１は、自動音声認識用のＡＳＲモデルの機械学習において利用される合成学習データの生成を行う情報処理装置（コンピュータ）であり、プロセッサ２、主記憶装置３、補助記憶装置４、入力装置５、出力装置６、および通信装置７を備える。

【0012】

プロセッサ２は、演算処理を行う装置であり、たとえばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を用いて構成される。主記憶装置３は、各種プログラムやデータを記憶する装置であり、たとえばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を用いて構成される。補助記憶装置４は、プログラムやデータを格納する装置であり、たとえばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＳＳＤ（Solid State Drive）等を用いて構成される。補助記憶装置４に格納されているプログラムやデータは、プロセッサ２によって主記憶装置３に随時読み込まれ、プロセッサ２が行う処理や制御に利用される。

【0013】

入力装置５は、ユーザから情報を受付けるユーザインタフェースであり、たとえば、キーボード、マウス、カードリーダ、タッチパネル等である。出力装置６は、各種の情報を出力（表示出力、音声出力、印字出力等）するユーザインタフェースであり、たとえば、各種情報を可視化する表示装置（ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）や音声出力装置（スピーカ）、印字装置等である。

【0014】

通信装置７は、通信手段を介して他の装置と通信する通信インタフェースである。通信手段の構成は必ずしも限定されないが、たとえば、ＵＳＢ（Universal Serial Bus）やＲＳ－２３２Ｃ等の各種通信規格に準拠した通信手段、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専用線等である。通信装置７は、たとえば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール、シリアル通信モジュール等である。通信装置７は、通信可能に接続する他の装置から情報を受信する入力装置として機能することもできる。また通信装置７は、通信可能に接続する他の装置に情報を送信する出力装置として機能することもできる。

【0015】

図２は、合成学習データ生成装置１の機能構成を示すブロック図である。同図に示すように、合成学習データ生成装置１は、記憶部１０、テキストデータ選択部２０、合成学習データ生成部３０の各機能を備える。記憶部１０は、たとえば主記憶装置３や補助記憶装置４によって実現される。また、テキストデータ選択部２０および合成学習データ生成部３０は、たとえばプロセッサ２が主記憶装置３に格納されているプログラムを読み出して、このプログラムに従った処理を実行することにより実現される。

【0016】

なお、合成学習データ生成装置１において、図１に示したもの以外に、たとえばＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等のハードウェアをさらに搭載し、これらのハードウェアを単独で、またはプロセッサ２と協働して用いることで、図２に示す機能の一部または全部を実現してもよい。

【0017】

記憶部１０は、汎用テキストデータベース１１、ターゲットドメインテキストデータベース１２、候補テキストデータベース１３、学習用テキストデータベース１４および合成学習データベース１５を記憶する。記憶部１０は、たとえば、ＤＢＭＳ（DataBase Management System）によって提供されるテーブルや、ファイルシステムが提供するファイルとして、これらのデータベースを記憶することができる。

【0018】

汎用テキストデータベース１１には、予め収集された種々のテキストデータ群が格納されている。例えば、ニュース、ソーシャルメディア、言語コーパス、書籍、各種映像や音声から書き起こしたテキスト等のデータが、汎用テキストデータベース１１に格納されている。

【0019】

ターゲットドメインテキストデータベース１２には、ＡＳＲモデルのターゲットドメインに属するテキストデータ群が格納されている。例えば、ＡＳＲモデルによる自動音声認識の利用が想定される分野において頻繁に使用される文章表現や言い回しに応じた各種テキストデータが、ターゲットドメインテキストデータベース１２に格納されている。

【0020】

テキストデータ選択部２０は、汎用テキストデータベース１１とターゲットドメインテキストデータベース１２とを比較し、その比較結果に基づいて、汎用テキストデータベース１１から、ＡＳＲモデルの合成学習データを生成するための学習用テキストデータを選択する。テキストデータ選択部２０は、候補テキストデータ抽出部２１および語彙サイズ最大化部２２を有する。

【0021】

候補テキストデータ抽出部２１は、汎用テキストデータベース１１とターゲットドメインテキストデータベース１２との比較結果に基づいて、学習用テキストデータの候補である候補テキストデータを、文単位で汎用テキストデータベース１１から抽出する。そして、抽出した候補テキストデータを候補テキストデータベース１３に格納する。なお、候補テキストデータ抽出部２１による候補テキストデータの抽出方法の詳細については後述する。

【0022】

語彙サイズ最大化部２２は、候補テキストデータ抽出部２１により抽出されて候補テキストデータベース１３に格納された候補テキストデータが表す文中の各単語について、ターゲットドメインテキストデータベース１２での出現頻度を計算する。そして、計算した文中の各単語の出現頻度に基づいて、候補テキストデータベース１３に格納されている候補テキストデータから学習用テキストデータを選択し、学習用テキストデータベース１４に格納する。なお、語彙サイズ最大化部２２による学習用テキストデータの選択方法の詳細については後述する。

【0023】

合成学習データ生成部３０は、テキストデータ選択部２０により選択されて学習用テキストデータベース１４に格納されている学習用テキストデータに基づいて、ＡＳＲモデルの学習に用いる合成学習データを生成する。そして、生成した合成学習データを合成学習データベース１５に格納する。

【0024】

図３は、合成学習データ生成装置１が合成学習データを生成する処理の流れを示すフローチャートである。

【0025】

ステップＳ１０では、前述のような様々なテキストデータを汎用テキストデータとして取得し、汎用テキストデータベース１１に格納する。ここでは、一般公開されている様々な情報源から汎用テキストデータを取得することができる。

【0026】

ステップＳ２０では、テキストデータ選択部２０の候補テキストデータ抽出部２１により、汎用テキストデータベース１１から候補テキストデータを抽出するための候補テキストデータ抽出処理を行う。この候補テキストデータ抽出処理が候補テキストデータ抽出部２１において実行されることにより、汎用テキストデータベース１１から学習用テキストデータの候補である候補テキストデータが抽出され、候補テキストデータベース１３に格納される。なお、ステップＳ２０の候補テキストデータ抽出処理の詳細については、後で図４のフローチャートを参照して説明する。

【0027】

ステップＳ３０では、テキストデータ選択部２０の語彙サイズ最大化部２２により、候補テキストデータから語彙サイズを最大化した学習用テキストデータを選択するための語彙サイズ最大化処理を行う。この語彙サイズ最大化処理が語彙サイズ最大化部２２において実行されることにより、候補テキストデータベース１３から学習用テキストデータが選択され、学習用テキストデータベース１４に格納される。なお、ステップＳ３０の語彙サイズ最大化処理の詳細については、後で図５のフローチャートを参照して説明する。

【0028】

ステップＳ４０では、合成学習データ生成部３０により、学習用テキストデータから合成学習データを生成する。ここでは、例えばステップＳ３０の語彙サイズ最大化処理によって学習用テキストデータベース１４に格納された学習用テキストデータを学習済みのＴＴＳモデルに入力することで、学習用テキストデータが表す文を音声合成した音声データを、ＡＳＲモデルの学習に用いる合成学習データとして生成する。

【0029】

ステップＳ４０の処理を終えたら、生成した合成学習データを合成学習データベース１５に格納し、図３のフローチャートに示す処理を終了する。

【0030】

図４は、図３のステップＳ２０で候補テキストデータ抽出部２１により実行される候補テキストデータ抽出処理の流れを示すフローチャートである。

【0031】

ステップＳ２１では、汎用テキストデータベース１１の各文をベクトル化する。ここでは、汎用テキストデータベース１１に含まれるテキストデータが表す各文について、例えばＢＥＲＴ（Bidirectional Encoder Representations from Transformers）等の周知の手法を用いて、各文の文脈に応じた特徴を表すベクトルを計算する。

【0032】

ステップＳ２２では、ターゲットドメインテキストデータベース１２の各文をベクトル化する。ここでは、ターゲットドメインテキストデータベース１２に含まれるテキストデータが表す各文について、ステップＳ２１と同様の手法により、各文の文脈に応じた特徴を表すベクトルを計算する。

【0033】

ステップＳ２３では、汎用テキストデータベース１１の各文と、ターゲットドメインテキストデータベース１２の各文との類似度を算出する。ここでは、ステップＳ２１で計算した汎用テキストデータベース１１の各文のベクトルに対して、ステップＳ２２で計算したターゲットドメインテキストデータベース１２の各文のベクトルとのコサイン類似度を算出し、算出されたコサイン類似度の値を汎用テキストデータベース１１の文ごとに合計する。これにより、汎用テキストデータベース１１に格納されているテキストデータに対して、ターゲットドメインテキストデータベース１２との類似度を文単位で計算することができる。

【0034】

なお、上記では汎用テキストデータベース１１とターゲットドメインテキストデータベース１２の各文をベクトル化し、これらのベクトルに基づくコサイン類似度を計算することで、汎用テキストデータベース１１の各文とターゲットドメインテキストデータベース１２の各文との類似度を算出する例を説明したが、類似度の算出方法はこれに限定されない。汎用テキストデータベース１１に格納されているテキストデータに対して、ターゲットドメインテキストデータベース１２との類似度を文単位で適切に計算することができれば、任意の方法を用いて類似度を算出することが可能である。

【0035】

ステップＳ２４では、汎用テキストデータベース１１に格納されているテキストデータにおいて、ステップＳ２３で算出した類似度が所定値以上の文を選択する。

【0036】

ステップＳ２５では、ステップＳ２４で選択した文において互いに重複しているものがあるか否かを判断し、重複するものがあれば一方を削除する。これにより、同じ文が候補テキストデータとして抽出されるのを防止し、候補テキストデータベース１３における無駄なデータ量の増加を抑制する。

【0037】

ステップＳ２６では、ステップＳ２４で選択した文のうち、ステップＳ２５で削除したものを除いた各文に対応する汎用テキストデータベース１１のテキストデータを、候補テキストデータとして抽出する。そして、抽出した候補テキストデータを候補テキストデータベース１３に記録して格納する。

【0038】

ステップＳ２６の処理を実行したら、図４のフローチャートに示す候補テキストデータ抽出処理を終了し、図３のステップＳ３０へ進む。

【0039】

候補テキストデータ抽出部２１は、以上説明した候補テキストデータ抽出処理を実行することで、汎用テキストデータベース１１に含まれるテキストデータが表す各文と、ターゲットドメインテキストデータベース１２に含まれるテキストデータが表す各文との類似度を算出し、類似度が所定値以上の文に対応するテキストデータを、候補テキストデータとして汎用テキストデータベース１１から抽出することができる。

【0040】

図５は、図３のステップＳ３０で語彙サイズ最大化部２２により実行される語彙サイズ最大化処理の流れを示すフローチャートである。

【0041】

ステップＳ３１では、ターゲットドメインテキストデータベース１２の出現単語リストを作成する。ここでは、ターゲットドメインテキストデータベース１２に格納されているテキストデータの各文に含まれる単語を抽出してリスト化することで、出現単語リストを作成することができる。このとき、同じ単語が複数回出現する場合には、その出現回数に関わらず、一つの単語としてリスト化することが好ましい。

【0042】

ステップＳ３２では、候補テキストデータベース１３に格納されている候補テキストデータの各文について、ターゲットドメインテキストデータベース１２に対する未出現単語の頻度を計算する。ここでは、ステップＳ３１で作成した出現単語リストを参照することで、候補テキストデータベース１３に格納されている候補テキストデータにおいて出現単語リストに存在しない単語を未出現単語として特定し、特定された未出現単語の数を文ごとに計算する。これにより、候補テキストデータにおける未出現単語の頻度を文単位で計算することができる。

【0043】

ステップＳ３３では、ステップＳ３２で計算した未出現単語の頻度に基づいて、候補テキストデータベース１３に格納されている候補テキストデータの各文に対するランキングスコアを算出する。ここでは、例えば未出現単語の頻度が高い文ほど高いスコア値を設定してより上位にランキングされるように、候補テキストデータの各文のランキングスコアを算出する。これにより、候補テキストデータが表す各文を、当該文中の各単語について計算された未出現単語の頻度が高い順にランク付けすることができる。

【0044】

ステップＳ３４では、ステップＳ３３で算出したランキングスコアに基づいて、ランクが高い順にＭ個（Ｍは所定数）の文を候補テキストデータベース１３から選択する。これにより、候補テキストデータベース１３に格納されている候補テキストデータにおいて、未出現単語の頻度が高いＭ個の文を選択することができる。

【0045】

ステップＳ３５では、候補テキストデータベース１３に格納されている候補テキストデータのうち、ステップＳ３４で選択した各文に対応するテキストデータを選択し、学習用テキストデータベース１４に格納された学習用テキストデータに追加する。これにより、選択したテキストデータが新たな学習用テキストデータとして学習用テキストデータベース１４に記録され、学習用テキストデータベース１４が更新される。

【0046】

ステップＳ３６では、Ｎ個（Ｎは所定数）以上の学習用テキストデータが学習用テキストデータベース１４に追加されたか否かを判定する。ここでは、これまでに実行したステップＳ３５で追加された学習用テキストデータの数を合計し、その合計数がＮ以上であるか否かを判定する。その結果、合計数がＮ以上であれば、図５のフローチャートに示す語彙サイズ最大化処理を終了し、図３のステップＳ４０へ進む。一方、合計数がＮ未満であれば、ステップＳ３７へ進む。

【0047】

ステップＳ３７では、ステップＳ３１で作成した出現単語リストを更新する。ここでは、ステップＳ３５で追加した学習用テキストデータに対して、ステップＳ３１と同様の処理を行うことにより、学習用テキストデータの出現単語リストを作成する。この出現単語リストを、ステップＳ３１で作成した出現単語リストに加えることにより、出現単語リストを更新することができる。

【0048】

ステップＳ３７の処理を実行したらステップＳ３２へ戻り、更新後の出現単語リストを用いて、候補テキストデータにおける未出現単語の頻度を再計算する。この再計算後の未出現単語の頻度に基づいて、ステップＳ３３～Ｓ３６の処理を再度実行することで、学習用テキストデータをさらに追加する。このようにして、学習用テキストデータベース１４に追加された学習用テキストデータの数がＮ個以上となるまで、ステップＳ３２～Ｓ３７の処理を繰り返し行う。なお、こうした繰り返し処理は、例えば反復貪欲法（iteration greedy search）と呼ばれるアルゴリズムにより実現できる。

【0049】

語彙サイズ最大化部２２は、以上説明した語彙サイズ最大化処理を実行することで、候補テキストデータベース１３に格納されている候補テキストデータが表す各文を、当該文中の各単語について計算された未出現単語の頻度が高い順にランク付けし、そのランク付けの結果に基づいて、候補テキストデータから学習用テキストデータを選択することができる。

【0050】

以上説明した本発明の一実施形態によれば、以下の作用効果が得られる。

【0051】

（１）合成学習データ生成装置１は、自動音声認識において用いられるＡＳＲモデルの学習を行うための合成学習データを生成する装置である。合成学習データ生成装置１は、予め収集された種々のテキストデータ群が格納された汎用テキストデータベース１１と、自動音声認識のターゲットドメインに属するテキストデータ群が格納されたターゲットドメインテキストデータベース１２と、汎用テキストデータベース１１とターゲットドメインテキストデータベース１２とを比較し、その比較結果に基づいて、汎用テキストデータベース１１から学習用テキストデータを選択するテキストデータ選択部２０と、テキストデータ選択部２０により選択された学習用テキストデータに基づいて合成学習データを生成する合成学習データ生成部３０と、を備える。このようにしたので、ＡＳＲモデルの学習データとして多様な学習データを生成することができる。

【0052】

（２）テキストデータ選択部２０は、学習用テキストデータの候補である候補テキストデータを、文単位で汎用テキストデータベース１１から抽出する候補テキストデータ抽出部２１と、候補テキストデータ抽出部２１により抽出された候補テキストデータが表す各文について、ターゲットドメインテキストデータベース１２に対する未出現単語の頻度を計算し、計算した未出現単語の頻度に基づいて、候補テキストデータから学習用テキストデータを選択する語彙サイズ最大化部２２と、を有する。このようにしたので、汎用テキストデータベース１１とターゲットドメインテキストデータベース１２とを比較し、その比較結果に基づいて、汎用テキストデータベース１１から学習用テキストデータを適切に選択することができる。

【0053】

（３）候補テキストデータ抽出部２１は、汎用テキストデータベース１１に含まれるテキストデータが表す各文と、ターゲットドメインテキストデータベース１２に含まれるテキストデータが表す各文との類似度を算出し（ステップＳ２１～Ｓ２３）、この類似度が所定値以上の文に対応するテキストデータを、候補テキストデータとして汎用テキストデータベース１１から抽出する（ステップＳ２４～Ｓ２６）。このようにしたので、学習用テキストデータの候補である候補テキストデータを、文単位で確実に汎用テキストデータベース１１から抽出することができる。

【0054】

（４）語彙サイズ最大化部２２は、候補テキストデータが表す各文を、当該文中の各単語について計算された未出現単語の頻度が高い順にランク付けし（ステップＳ３２～Ｓ３３）、そのランク付けの結果に基づいて、候補テキストデータから学習用テキストデータを選択する（ステップＳ３４～Ｓ３５）。このようにしたので、候補テキストデータのうち未出現単語の頻度が高い文のテキストデータを、学習用テキストデータとして確実に選択することができる。

【0055】

なお、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。たとえば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、説明した全ての構成を備えるものに必ずしも限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

【0056】

また上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、たとえば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0057】

また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。たとえば、実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0058】

１：合成学習データ生成装置
２：プロセッサ
３：主記憶装置
４：補助記憶装置
５：入力装置
６：出力装置
７：通信装置
１０：記憶部
１１：汎用テキストデータベース
１２：ターゲットドメインテキストデータベース
１３：候補テキストデータベース
１４：学習用テキストデータベース
１５：合成学習データベース
２０：テキストデータ選択部
２１：候補テキストデータ抽出部
２２：語彙サイズ最大化部
３０：合成学習データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】