特開 2023-88106 情報処理方法、情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023088106

(43)【公開日】2023-06-26

(54)【発明の名称】情報処理方法、情報処理装置、及びプログラム

(51)【国際特許分類】

   G06F 40/44 20200101AFI20230619BHJP

   G06N 20/00 20190101ALI20230619BHJP

   G06F 16/38 20190101ALI20230619BHJP

【ＦＩ】

G06F40/44

G06N20/00 130

G06F16/38

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021202764

(22)【出願日】2021-12-14

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】伊東 秀夫

【テーマコード（参考）】

5B091

5B175

【Ｆターム（参考）】

5B091AA15

5B091EA01

5B175DA01

5B175FB02

(57)【要約】      （修正有）

【課題】複数の分類に属する単語列に対応する単一の言語モデルを学習する情報処理方法、情報処理装置及びプログラムを提供する。
【解決手段】社内ＬＡＮ等の通信ネットワークに接続する端末装置と情報処理装置を含む情報処理システムにおいて、情報処理装置５は、単語列を入力する単語列入力部１０と、単語列が属する少なくとも一つの分類ラベルを入力する分類ラベル入力部１１と、単語列と分類ラベルを連結した入力データを作成する連結部１２と、複数の入力データを用いて、分類ラベルに属する単語列における単語の出現確率を計算することが可能な単一の言語モデルを学習する学習部１３と、学習した言語モデルのパラメータを記憶する言語モデル記憶部４と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

情報処理装置による情報処理方法であって、前記情報処理装置が、
単語列が属する少なくとも一つの分類ラベルを入力し、
前記単語列と前記分類ラベルを連結した入力データを作成し、
複数の前記入力データを用いて、前記分類ラベルに属する前記単語列における単語の出現確率を計算することが可能な単一の言語モデルを学習し、
前記学習した言語モデルのパラメータを記憶する、情報処理方法。

【請求項2】

前記言語モデルにおいて、前記分類ラベルを前記単語列の単語と同等に扱う、請求項１に記載の情報処理方法。

【請求項3】

前記入力データにおける前記単語列および前記分類ラベルの要素数に対して、それぞれ予め定めた最大値を設定し、前記要素数が前記最大値より小さい場合は、前記要素数が前記最大値と等しくなるように、予め定めた値を持つ要素を追加することにより前記入力データを作成する請求項１に記載の情報処理方法。

【請求項4】

学習した前記言語モデルを用いて、前記分類ラベルに対応する分類ベクトルを計算する、請求項１乃至請求項３のいずれか一項に記載の情報処理方法。

【請求項5】

学習した前記言語モデルを用いて、前記分類ラベルに属する前記単語列に対応する単語ベクトルを計算する、請求項１乃至請求項３のいずれか一項に記載の情報処理方法。

【請求項6】

前記入力データにおける前記分類ラベルを変更して学習した前記言語モデルに入力することにより、変更後の前記分類ラベルにおける単語の出現確率を計算する、請求項１乃至請求項３のいずれか一項に記載の情報処理方法。

【請求項7】

単語列が属する少なくとも一つの分類ラベルを入力し、
前記単語列と前記分類ラベルを連結した入力データを作成し、
複数の前記入力データを用いて、前記分類ラベルに属する前記単語列における単語の出現確率を計算することが可能な単一の言語モデルを学習し、
学習した前記言語モデルのパラメータを記憶する、処理を情報処理装置に実行させる、プログラム。

【請求項8】

単語列が属する少なくとも一つの分類ラベルを入力する分類ラベル入力部と、
前記単語列と前記分類ラベルを連結した入力データを作成する連結部と、
複数の前記入力データを用いて、前記分類ラベルに属する前記単語列における単語の出現確率を計算することが可能な単一の言語モデルを学習する学習部と、
学習した前記言語モデルのパラメータを記憶する言語モデル記憶部と、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

従来から、単語列を用いて学習した言語モデルを用いて、単語列を構成する単語の意味を表現するベクトル（単語ベクトル）を計算する技術や、単語の出現確率に基づいてテキスト生成を行う技術などがある。特許文献１には、長い文脈の情報を利用して次の単語を適切に予測するために用いる言語モデルを学習する技術が公開されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来の技術では、複数の分類に属する単語列に対応する単一の言語モデルを学習することができなかった。また、単語列が属する分類ごとに言語モデルを構築して学習する場合、分類の数が多くなるほど学習に必要となる時間や処理のコストが大きくなる問題があった。

【0004】

本発明の実施形態は、上記課題に鑑み、複数の分類に属する単語列に対応する単一の言語モデルを学習することを目的とする。

【課題を解決するための手段】

【0005】

上述した課題を解決するために、本発明は、情報処理装置による情報処理方法であって、前記情報処理装置が、単語列が属する少なくとも一つの分類ラベルを入力し、前記単語列と前記分類ラベルを連結した入力データを作成し、複数の前記入力データを用いて、前記分類ラベルに属する前記単語列における単語の出現確率を計算することが可能な単一の言語モデルを学習し、前記学習した言語モデルのパラメータを記憶する、ことを特徴とする。

【発明の効果】

【0006】

本発明の実施形態によれば、複数の分類に属する単語列に対応する単一の言語モデルを学習することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る情報処理システムの概略図の一例を示す図である。

【図2】本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図3】本発明の第１実施形態に係る情報処理装置における機能ブロックの構成図の一例を示す図である。

【図4】本発明の第１実施形態に係る言語モデルの学習における処理に関するフローチャートの一例を示す図である。

【図5】本発明の第１の実施形態に係る単語列と分類ラベルおよび入力データの一例を示す図である。

【図6】本発明の第１の実施形態に係る言語モデルの構成の一例を示す図である。

【図7】本発明の第２実施形態に係る情報処理装置における機能ブロックの構成図の一例を示す図である。

【図8】本発明の第２実施形態に係る処理に関するフローチャートの一例を示す図である。

【図9】本発明の第３実施形態に係る情報処理装置における機能ブロックの構成図の一例を示す図である。

【図10】本発明の第３実施形態に係る処理に関するフローチャートの一例を示す図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照しながら、本発明に係る情報処理方法、情報処理装置、及びプログラムの実施形態を詳細に説明する。

【0009】

［第１の実施形態］
＜システム概要＞
図１は、本発明の実施形態に係る情報処理システムの概略図の一例を示す図である。情報処理システム１は、例えば、社内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワーク２に接続する端末装置３と情報処理装置５を含む。端末装置３は、言語モデルの学習に必要となる複数の単語列および単語列が属する分類（分野）を示す分類ラベルを通信ネットワーク２経由で情報処理装置５に送信する。単語列が属する分類には、例えば、特許文献の分類であるＩＰＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐａｔｅｎｔ Ｃｌａｓｓｉｆｉａｔｉｏｎ）がある。従来技術では、ＩＰＣで分類される単語列に対して、数百～数千種類の言語モデルを学習する必要があった。情報処理装置５は、端末装置３から受信した単語列と分類ラベルに対して、単一の言語モデルを学習し、言語モデル記憶部４は、学習した言語モデルのパラメータを記憶する。また、情報処理装置５は、学習した言語モデルを用いて、単語列と分類ラベルに対するそれぞれ単語ベクトルと分類ベクトル、および単語の出現確率の計算を行うことが可能である。

【0010】

なお、図１に示す情報処理システム１のシステム構成は一例である。例えば、情報処理システム１に含まれる端末装置３は１台としているが、任意の台数であってよい。また、通信ネットワーク２には、例えば、移動体通信又は無線ＬＡＮ等の無線通信による接続区間が含まれていても良い。

【0011】

また、情報処理装置５は、端末装置３から言語モデルの学習に必要なデータを受信するものとしたが、これに限定されない。情報処理装置５は、情報処理装置５が有する入力装置等からデータの入力を受け付けてもよく、その場合には、端末装置３と通信しなくてもよい。

【0012】

また、言語モデル記憶部４は、情報処理装置５が有する構成としたが、これに限定されない。言語モデル記憶部４は、情報処理装置５の外部に設けられていてもよい。また、情報処理装置５は、複数の情報処理装置によって実現されてもよく、言い換えれば、情報処理装置５は、複数の情報処理装置を含んでもよい。

【0013】

＜ハードウェア構成例＞
図２は、本発明の実施形態に係る端末装置３および情報処理装置５のハードウェア構成の一例を示す図である。図２に示されるように、端末装置３および情報処理装置５はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）５０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

【0014】

これらのうち、ＣＰＵ５０１は、端末装置３および情報処理装置５全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワーク２を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0015】

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷドライブ５１４は、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0016】

＜機能について＞
図３は、本発明の第１の実施形態に係る情報処理装置５における機能ブロックの構成図の一例を示す図である。情報処理装置５は、単語列入力部１０、分類ラベル入力部１１、連結部１２、学習部１３、ベクトル計算部１４、および確率計算部１５を有する。これら各部は、情報処理装置５にインストールされた１以上のプログラムに含まれる命令をＣＰＵ５０１が実行することで実現される機能又は手段である。言語モデル記憶部４は、例えば、情報処理装置５が有するＨＤ５０４などの記憶装置によって実現可能である。

【0017】

単語列入力部１０は、端末装置３などから単語列の入力を受け付け、入力された単語列を連結部１２に出力する。

【0018】

分類ラベル入力部１１は、端末装置３などから分類ラベルの入力を受け付け、入力された分類ラベルを連結部１２に入力する。

【0019】

連結部１２は、受信した単語列と分類ラベルを連結することにより、言語モデルを学習する際に言語モデルに入力する入力データを作成し、作成した入力データを学習部１３に出力する。ここで、単語列が複数の分類に属する場合には、連結部１２は、単語列に対応する複数の分類ラベルを連結することにより入力データを作成する。

【0020】

学習部１３は、連結部１２から受信した入力データを用いて、言語モデルの学習を行ない、学習した言語モデルのパラメータを言語モデル記憶部４に送信する。

【0021】

ベクトル計算部１４は、言語モデルの学習時において、学習部１３からの指示により、ベクトルの計算を行う。計算方法の詳細は後述する。

【0022】

確率計算部１５は、言語モデルの学習時において、学習部１３からの指示により、単語の出現確率の計算を行う。計算方法の詳細は後述する。

【0023】

言語モデル記憶部４は、学習部１３から受信した言語モデルのパラメータを記憶する、あるいは記憶した言語モデルのパラメータを学習部１３に送信する。

【0024】

＜言語モデル学習処理＞
続いて、フローチャートを用いて、言語モデルの学習における処理を説明する。図４は、本発明の第１実施形態に係る言語モデルの学習における処理に関するフローチャートの一例を示す図である。以下、図４の各ステップの処理について説明する。

【0025】

ステップＳ２０：情報処理装置５の単語列入力部１０と分類ラベル入力部１１は、端末装置３などからそれぞれ単語列と分類ラベルの入力を受け付け、入力された単語列と分類ラベルを連結部１２に出力する。

【0026】

ステップＳ２１：情報処理装置５の連結部１２は、受信した単語列と分類ラベルを連結することにより、言語モデルの学習において言語モデルに入力する入力データを作成する。図５は、本発明の第１の実施形態に係る単語列と分類ラベルおよび入力データの一例を示す図である。図５において、単語列５０は、「衣服」「に対する」「インク」「ジェット」の４つの単語を有し、分類ラベル５１は、「Ｂ４１Ｊ２」「Ｄ０６Ｐ５」の２種類の分類ラベルを有する。入力データ５２は、左から分類ラベル５１を全て並べた後、続けて単語列５０を並べることにより作成される。ここで、単語列５０と分類ラベル５１が有する要素数に関して最大値を定め、入力された単語列５０と分類ラベル５１の要素数が最大値未満の場合は、データが無いことを示すデータなどを挿入するようにしてもよい。ここで、要素数とは、単語列５０に含まれる単語の数、および分類ラベル５１に含まれる分類ラベルの数である。例えば、分類ラベル５１の要素数の最大値を３とした場合、入力データ５２において、「Ｄ０６Ｐ５」の後に、データが無いことを示すデータ（例えば、「ｂｌａｎｋ」）または予め定めた値が分類ラベル５１の要素として追加され、続いて、単語列５０の「衣服」のデータが連結される。

【0027】

図６は、本発明の第１の実施形態に係る言語モデルの構成の一例を示す図である。図６に示すように、言語モデルは、一例として、第１層、第２層、および第３層の３つの層で構成される。学習部１３は、入力データ５２に含まれる各要素に対して、ランダム値で初期化したベクトル（埋め込みベクトル）を計算して、言語モデルの第１層に入力する。ここで、各単語と分類ラベルに対する埋め込みベクトルの次元数は同一とする。また、単語列５０と分類ラベル５１に対応する埋め込みベクトルは、図６に示す言語モデルに対して、先頭（左側）の列から、まず分類ラベル５１の埋め込みベクトルを入力し、続いて、単語列５０の埋め込みベクトルを入力する。即ち、図６の言語モデルでは、先頭（左側）の列から２列が分類ラベル５１の埋め込みベクトルに対応し、次の列から４列が単語列５０の埋め込みベクトルに対応する。あるいは、図５で説明したように、単語列５０と分類ラベル５１が有する要素数に関して最大値を定め、入力された単語列５０と分類ラベル５１の要素数が最大値未満の場合は、データが無いことを示すデータまたは予め定めた値を挿入するようにして、言語モデルの列の数を定めても良い。また、言語モデルの学習において、分類ラベルに対するベクトルや出現確率の計算は、単語に対する計算と区別なく同様に行われる。

【0028】

更に、学習部１３は、単語の一部を［ＭＡＳＫ」で表すプレースホルダ―に置換して、単語と同様に埋め込みベクトルを計算して、第１層に入力する。図６では、「衣服」の単語が［ＭＡＳＫ」で置き換えられている。

【0029】

言語モデルの第２層と第３層は、図６において「Ｖｅｃ」と記された、第１層で入力された単語に対応する単語ベクトルと分類ラベルに対応する分類ベクトルで構成される。単語ベクトルと分類ベクトルは、総称して単にベクトルと呼ばれる場合もある。

【0030】

言語モデルの最上段では、その列の位置に対応する単語または分類ラベルに対する出現確率が出力される。図４に戻って説明する。

【0031】

ステップＳ２２：情報処理装置５の学習部１３は、言語モデルの学習を行うために、ベクトルと単語の出現確率を計算する。まず、学習部１３は、ベクトル計算部１４に、図６に示した第２層と第３層のベクトルを計算させる。ベクトル計算部１４は、以下の数式１を用いてベクトルを計算する。

【0032】

【数1】

ここで、Ｖｅｃ（ｎ，ｉ）は、第ｎ層（ｎ＝２，３）の先頭（図６の言語モデルの左側）からｉ番目のベクトルである。第１層のベクトル（Ｖｅｃ（１，ｊ））は、ステップＳ２１で入力した埋め込みベクトルに相当する。また、ｗｅｉｇｈｔ（ｎ－１，ｉ，ｊ）は、ベクトル間の重みであり、最初にランダム値で初期化され、言語モデルのパラメータとして学習時に値が更新される。

【0033】

次に、学習部１３は、確率計算部１５に単語の出現確率を計算させる。確率計算部１５は、図６の言語モデルの第３層における先頭（左側）からｋ番目にある単語の出現確率Ｐｋを以下の数式２を用いて計算する。ここで、ｋはステークホルダの位置である（ｋ＝３）とする。

【0034】

【数2】

ここで、ＭはＶ行Ｄ列のランダム値で初期化された行列であり、Ｖは全単語数、Ｄはベクトルの次元数である。行列ＭとベクトルＶｅｃの転置の積であるＶ次元のベクトルが、Ｓｏｆｔｍａｘ関数に入力され、ベクトルの総和が１となるように正規化された出現確率Ｐｋが得られる。Ｐｋのｉ番目の要素は、先頭（左側）からｉ番目の単語の出現確率に相当する。

【0035】

また、Ｓｏｆｔｍａｘ関数は、ベクトルｙとｘの要素をそれぞれy_iとx_iとすると、以下の数式３を満たす式として表される。

【0036】

【数3】

ステップＳ２３：情報処理装置５の学習部１３は、前述の方法により計算された以下に示す言語モデルのパラメータの値を更新する。
・各単語、各分類ラベル、およびプレースホルダに対する埋め込みベクトル（Ｖｅｃ）
・ベクトルの計算において用いる重み（ｗｅｉｇｈｔ）
・単語の出現確率の計算に用いる行列Ｍ
これらの値の更新は、例えば、ステップＳ２２で計算したＰｋにおける、その列の位置に実際に出現した単語（この例では、「衣服」に相当する）の出現確率ｐが大きくなるように行われる。具体的には、図６に示した言語モデルの構成に従って、負の対数確率である－ｌｏｇ（ｐ）を誤差とした逆誤差伝搬法により、誤差が小さくなる方向に各々のパラメータの値が更新される。

【0037】

ステップＳ２４：情報処理装置５の学習部１３は、言語モデルを学習するための全ての入力データ５２に対して、ステップＳ２５の処理を実行する。即ち、学習部１３は、全ての入力データ５２に対して、ステップ２３の処理を実行してないならば、処理をステップＳ２０に遷移させ、そうでないならば、処理をステップＳ２５に遷移させる。

【0038】

ステップＳ２５：情報処理装置５の学習部１３は、ステップＳ２０～ステップＳ２４の処理において学習した言語モデルのパラメータを言語モデル記憶部４に送信する。言語モデル記憶部４は、受信した言語モデルのパラメータを記憶する。

【0039】

以上の処理により、情報処理装置５では、入力された単語列と単語列が属する分類を示す分類ラベルを連結した入力データを作成し、作成した入力データを用いて、単一の言語モデルの学習を行うことが可能である。即ち、単語列だけでなく、単語列が属する分類を示す分類ラベルを含む入力データを作成して用いることにより、単語列が所属する分類ごとに言語モデルを学習することなく、複数の分類に属する単語列に対応する単一の言語モデルを学習することが可能である。また、情報処理装置５では、言語モデルへの入力データにおける単語列５０と分類ラベル５１の要素数、および対応する言語モデルの第１層における埋め込みベクトルの要素数に対して、それぞれ予め定めた要素数の最大値とすることも可能である。即ち、まず、入力データにおける単語列および分類ラベルの要素数に対して、それぞれ予め定めた最大値を設定する。そして、要素数が最大値より小さい場合は、要素数が最大値と等しくなるように、予め定めた値を持つ要素を追加することにより入力データを作成する。予め定めた値を持つ要素を追加する処理は、連結部１２が行ってもよいし、単語列入力部１０または分類ラベル入力部１１が行ってもよい。この処理により、予め定めた最大値以内で、様々な要素数を持つ単語列と分類ラベルに対応する単一の言語モデルを学習することが可能となる。

【0040】

［第２の実施形態］
第２の実施形態では、情報処理装置５は、第１の実施形態で学習した言語モデルを用いて、ベクトル（単語ベクトルおよび分類ベクトル）を計算する。図７は、本発明の第２実施形態に係る情報処理装置５における機能ブロックの構成図の一例を示す図である。図７において、単語列入力部１０と分類ラベル入力部１１の処理は、図３で説明した処理と同じである。連結部１２に関して、入力データ５２を作成する方法は、図３で説明した方法と同じであるが、作成した入力データ５２を学習部１３でなく、ベクトル計算部１４に出力する点が異なる。

【0041】

ベクトル計算部１４は、図４のステップＳ２２および数式１で示した言語モデルの学習時における方法と同様の手順により、ベクトル（単語ベクトルと分類ベクトル）の計算を行う。ここで、計算において必要となる言語モデルのパラメータは、言語モデル記憶部４から受信する。

【0042】

言語モデル記憶部４は、記憶している言語モデルのパラメータをベクトル計算部１４に送信する。

【0043】

図８は、本発明の第２実施形態に係る処理に関するフローチャートの一例を示す図である。ステップＳ３０とＳ３１は、図４のステップＳ２０とＳ２１と同じ手順で処理を実行する。

【0044】

ステップＳ３２：情報処理装置５のベクトル計算部１４は、言語モデル記憶部４に言語モデルのパラメータを要求して、言語モデル記憶部４から言語モデルのパラメータを受信する。

【0045】

ステップＳ３３：情報処理装置５のベクトル計算部１４は、図４のステップＳ２２および数式１で示した言語モデルの学習時における方法と同様の手順により、ベクトル（単語ベクトルと分類ベクトル）の計算を行う。ここで、ベクトル計算部１４は、単語ベクトルのみ、または分類ベクトルのみを計算するようにしてもよい。また、ベクトル計算部１４は、計算したベクトルを端末装置３に送信する、または情報処理装置５の表示装置に表示する、または情報処理装置５の記憶装置に記憶させるようにしてもよい。

【0046】

以上の処理により、情報処理装置５は、複数の分類に所属する単語列に対して学習された単一の言語モデルのパラメータを用いて、単語列および分類ラベルに対するベクトル（単語ベクトルおよび分類ベクトル）を計算することが可能である。単語ベクトルおよび分類ベクトルは、それぞれ単語間の意味の類似性および分類間の類似性の分析などに利用できる。例えば、単語ベクトル間の距離に基づいて、単語の意味の類似性を分析する。あるいは、分類ベクトル間の距離に基づいて、２つの分類（分野）の類似性を分析する。

【0047】

［第３の実施形態］
第３の実施形態では、情報処理装置５は、第１の実施形態で学習した言語モデルを用いて、単語の出現確率を計算する。ここで、言語モデルへの入力データにおける単語列５０と分類ラベル５１に関して、受信した分類ラベル５１から変更した分類ラベル５１を入力する。図９は、本発明の第３実施形態に係る情報処理装置５における機能ブロックの構成図の一例を示す図である。図９において、単語列入力部１０の処理は、図３で説明した処理と同じである。分類ラベル入力部１１に関しては、端末装置３などから入力を受け付けた分類ラベル５１を変更した分類ラベル５１を連結部１２に入力する。即ち、分類ラベル入力部１１は、受信した単語列５０と分類ラベル５１の組み合わせとは異なる分類ラベル５１を連結部１２に入力する。連結部１２に関しては、入力データ５２を作成する方法は、図３で説明した方法と同じであるが、作成した入力データ５２を学習部１３でなく、確率計算部１５に出力する点が異なる。

【0048】

確率計算部１５は、図４のステップＳ２２および数式２と数式３で示した言語モデルの学習時における方法と同様の手順により、単語の出現確率Ｐｋの計算を行う。ここで、計算において必要となる言語モデルのパラメータは、言語モデル記憶部４から受信する。

【0049】

言語モデル記憶部４は、記憶している言語モデルのパラメータを確率計算部１５に送信する。

【0050】

図１０は、本発明の第３実施形態に係る処理に関するフローチャートの一例を示す図である。

【0051】

ステップＳ４０：情報処理装置５の単語列入力部１０と分類ラベル入力部１１は、端末装置３などからそれぞれ単語列５０と分類ラベル５１の入力を受け付ける。単語列入力部１０は、入力された単語列５０を連結部１２に出力する。分類ラベル入力部１１は、入力された分類ラベル５１を変更した分類ラベル５１を連結部１２に出力する。変更する分類ラベル５１の値は、例えば、端末装置３あるいは情報処理装置５が有する入力装置から指定するようにしてもよい。

【0052】

ステップＳ４１：図４のステップＳ２１と同じ手順で処理を実行する。

【0053】

ステップＳ４２：情報処理装置５の確率計算部１５は、言語モデル記憶部４に言語モデルのパラメータを要求して、言語モデル記憶部４から言語モデルのパラメータを受信する。

【0054】

ステップＳ４３：情報処理装置５の確率計算部１５は、図４のステップＳ２２および数式２と数式３で示した言語モデルの学習時における方法と同様の手順により、単語の出現確率の計算を行う。また、確率計算部１５は、計算した単語の出現確率を端末装置３に送信する、または情報処理装置５の表示装置に表示する、または情報処理装置５の記憶装置に記憶させるようにしてもよい。

【0055】

以上の処理により、情報処理装置５は、複数の分類に所属する単語列に対して学習された単一の言語モデルに対して、単語列と変更した分類ラベルを連結して入力データとして入力して、単語の出現確率を計算することが可能である。ここで、変更後の分類ラベルが言語モデルの学習において用いられており、且つ、言語モデルの学習が適切に行われていれば、計算された単語の出現確率は、変更後の分類ラベルにおける単語の出現確率に相当するものとなる。即ち、情報処理装置５では、分類ごとに学習した言語モデルを用いることなく、単一の言語モデルを用いて、指定した分類ラベルを単一の言語モデルに入力することにより、指定した分類ラベルにおける単語の出現確率を計算することができる。

【0056】

以上、本発明を実施するための幾つかの形態について説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0057】

例えば、図３、図７および図９に示した機能ブロックの構成図の一例は、情報処理システム１および情報処理装置５による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理システム１および情報処理装置５における処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

【0058】

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）や従来の回路モジュール等のデバイスを含むものとする。

【0059】

また、記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム１および情報処理装置５は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0060】

また、単語列入力部１０と分類ラベル入力部１１は、単に入力部と呼んでもよく、ベクトル計算部１４と確率計算部１５は、単に計算部と呼んでもよい。

【符号の説明】

【0061】

１ 情報処理システム
２ 通信ネットワーク
３ 端末装置
４ 言語モデル記憶部
５ 情報処理装置
１０ 単語列入力部
１１ 分類ラベル入力部
１２ 連結部
１３ 学習部
１４ ベクトル計算部
１５ 確率計算部
５０ 単語列
５１ 分類ラベル

【先行技術文献】

【特許文献】

【0062】

【特許文献1】特許６４９５８１４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】