特開 2024-53931 推論装置、推論プログラム、推論方法、及び学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024053931

(43)【公開日】2024-04-16

(54)【発明の名称】推論装置、推論プログラム、推論方法、及び学習装置

(51)【国際特許分類】

   G06F 16/35 20190101AFI20240409BHJP

   G06F 40/216 20200101ALI20240409BHJP

【ＦＩ】

G06F16/35

G06F40/216

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022160461

(22)【出願日】2022-10-04

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(72)【発明者】

【氏名】白石 哲也

(72)【発明者】

【氏名】山崎 貴宏

【テーマコード（参考）】

5B091

5B175

【Ｆターム（参考）】

5B091EA01

5B175DA01

5B175FA03

5B175HB03

(57)【要約】

【課題】 認識されるべきスロットを制限するデータ（明示的な制約）を必要とせずに、精度良くスロットを認識することができる推論装置を提供する。
【解決手段】 本発明は、入力文をトークンに分解する推論データ前処理部と、マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換する文脈可変単語ベクトル変換部と、複数の学習済みのスロットベクトルの集合体であるスロットベクトル群の各々と、前記文脈可変単語ベクトル変換部で得られたベクトル列の各々の類似度を算出する類似度算出部と、前記類似度算出部で算出した各類似度と閾値とに基づき、スロットに当てはまるトークン及びスロットのクラスを判定するスロット判定部とを有する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

入力文をトークンに分解する推論データ前処理部と、
マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換する文脈可変単語ベクトル変換部と、
複数の学習済みのスロットベクトルの集合体であるスロットベクトル群の各々と、前記文脈可変単語ベクトル変換部で得られたベクトル列の各々の類似度を算出する類似度算出部と、
前記類似度算出部で算出した各類似度と閾値とに基づき、スロットに当てはまるトークン及びスロットのクラスを判定するスロット判定部と
を有することを特徴とする推論装置。

【請求項2】

前記スロット判定部が判定したクラスは、スロットに当てはまったトークンとの類似度の算出に用いた前記スロットベクトルのクラスであることを特徴とする請求項１に記載の推論装置。

【請求項3】

コンピュータを、
入力文をトークンに分解する推論データ前処理部と、
マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換する文脈可変単語ベクトル変換部と、
複数の学習済みのスロットベクトルの集合体であるスロットベクトル群の各々と、前記文脈可変単語ベクトル変換部で得られたベクトル列の各々の類似度を算出する類似度算出部と、
前記類似度算出部で算出した各類似度と閾値とに基づき、スロットに当てはまるトークン及びスロットのクラスを判定するスロット判定部と
して機能させることを特徴とする推論プログラム。

【請求項4】

推論装置に使用する推論方法であって、
推論データ前処理部は、入力文をトークンに分解し、
文脈可変単語ベクトル変換部は、マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換し、
類似度算出部は、複数の学習済みのスロットベクトルの集合体であるスロットベクトル群の各々と、前記文脈可変単語ベクトル変換部で得られたベクトル列の各々の類似度を算出し、
スロット判定部は、前記類似度算出部で算出した各類似度と閾値とに基づき、スロットに当てはまるトークン及びスロットのクラスを判定する
ことを特徴とする推論方法。

【請求項5】

文中に出現するスロットの位置及びクラス情報が付与された教師データ内の各文をトークンに分割する教師データ前処理部と、
マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換する文脈可変単語ベクトル変換部と、
前記文脈可変単語ベクトル変換部で得られたベクトル列の中から、スロットに対応するベクトルを選択し、前記事前学習モデルを用いて、文脈として出現しうるトークン候補を複数獲得し、選択したベクトル及びトークン候補のベクトル間で所定の演算を行うことによって、該文脈上で出現するスロットを表現するスロットベクトルを算出するスロットベクトル計算部と、
前記スロットベクトル計算部で算出したスロットベクトルをクラスと紐づけて記憶するスロットベクトル記憶部と
を有することを特徴とする学習装置。

【請求項6】

前記スロットベクトル計算部は、選択された位置に出現し得るトークン候補を探索し、各トークン候補を用いて文脈に応じたベクトルをそれぞれ獲得し、スロットに対応するベクトルと、獲得した各トークン候補のベクトルとの類似度を算出し、類似度の高い上位Ｎ（Ｎは１以上の整数）件の各トークン候補のベクトルを用いて前記スロットベクトルを算出することを特徴とする請求項５に記載の学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推論装置、推論プログラム、推論方法、及び学習装置に関し、例えば、ユーザが入力した言葉の意図を解釈するために、意図を表現する言葉を認識する対話システム等に適用し得る。

【背景技術】

【0002】

従来、自然言語処理技術を利用して、ユーザが入力した言葉の意図を解釈し、その意図に沿った対応（例えば、ユーザが入力した質問に対する回答を出力する等の対応）を行う対話システム（チャットボット等）が存在する。

【0003】

対話システムにおいて、入力文の中から意図を表現する言葉（スロット）を認識することは、意図に沿った対応を取るために重要な処理となる。

【0004】

ここで、スロットは、クラスと文中の表現から成り立つものである。クラスとは、スロットの概念的な意味づけである。例えば、「東京の天気を教えて」という文におけるスロットに入る単語が「東京」である例であれば、そのクラスは「場所」と言える（ここでは、『場所：東京』と表すこととする）。これは「場所」であれば、「東京」以外にも「大阪」や「札幌」など「場所」を示す表現がスロットに入りうるということを示す。

【0005】

スロットの認識により、対話内容の制御を行うことが可能となる。例えば、天気を答える対話システムに上記の文を入力した際に、対話システムが『東京』というスロットを認識できた場合、認識した情報をもとに天気を答えることができる。一方、対話システムに「天気を教えて」という文を入力した際に、対話システムが場所クラスの表現を認識できない（『場所：＿』）場合では、対話システムは、場所を聞く質問に移ることができる。

【0006】

スロットを認識する技術として、例えば、特許文献１では、機械学習モデルを用いてスロットを認識する技術（方法）が開示されている。特許文献１に記載の技術は、機械学習モデルを用いてスロットを認識する際に、入力の意図の種別（インテント）とスロットとの関係の制約を導入し、認識されるべきスロットを制限することで、高精度なスロットの認識を行う。特許文献１に記載の技術では、機械学習モデルを用いてスロットを認識する方法として、非特許文献１に記載の技術などが利用されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２０－１３５６８９号公報

【非特許文献】

【0008】

【非特許文献1】Yu Wang, Yilin Shen, and Hongxia Jin, “A Bi-model based RNN Semantic Frame Parsing Model for Intent Detection and Slot Filling”, arXiv:1812.10235 (2018).

【非特許文献2】Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding“, arXiv:1810.04805(2018).

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、上記構成の従来装置（特許文献１に記載の技術）では、学習時にインテントとスロット間の制約に関する知識を明示的に入力する必要があった。例えば、インテントが「料理の感想」の場合、同時に認識されるスロットのクラスは「食べ物」および「味」である、のような制約データが必要となる。

【0010】

また、特許文献１に記載の技術では、スロットの認識およびインテントとスロット間の制約の認識として、正解データと予測したデータとの損失を最小化する方策によってパラメータを決定する教師あり機械学習モデルを用いており、学習のために大量の教師データを用意する必要があった。

【0011】

そのため、認識されるべきスロットを制限するデータ（明示的な制約）を必要とせずに、精度良くスロットを認識することができる推論装置、推論プログラム、推論方法、及び学習装置が望まれている。

【課題を解決するための手段】

【0012】

第１の本発明の推論装置は、（１）入力文をトークンに分解する推論データ前処理部と、（２）マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換する文脈可変単語ベクトル変換部と、（３）複数の学習済みのスロットベクトルの集合体であるスロットベクトル群の各々と、前記文脈可変単語ベクトル変換部で得られたベクトル列の各々の類似度を算出する類似度算出部と、（４）前記類似度算出部で算出した各類似度と閾値とに基づき、スロットに当てはまるトークン及びスロットのクラスを判定するスロット判定部とを有することを特徴とする。

【0013】

第２の本発明の推論プログラムは、コンピュータを、（１）入力文をトークンに分解する推論データ前処理部と、（２）マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換する文脈可変単語ベクトル変換部と、（３）複数の学習済みのスロットベクトルの集合体であるスロットベクトル群の各々と、前記文脈可変単語ベクトル変換部で得られたベクトル列の各々の類似度を算出する類似度算出部と、（４）前記類似度算出部で算出した各類似度と閾値とに基づき、スロットに当てはまるトークン及びスロットのクラスを判定するスロット判定部として機能させることを特徴とする。

【0014】

第３の本発明は、推論装置に使用する推論方法であって、（１）推論データ前処理部は、入力文をトークンに分解し、（２）文脈可変単語ベクトル変換部は、マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換し、（３）類似度算出部は、複数の学習済みのスロットベクトルの集合体であるスロットベクトル群の各々と、前記文脈可変単語ベクトル変換部で得られたベクトル列の各々の類似度を算出し、（４）スロット判定部は、前記類似度算出部で算出した各類似度と閾値とに基づき、スロットに当てはまるトークン及びスロットのクラスを判定することを特徴とする。

【0015】

第４の本発明の学習装置は、（１）文中に出現するスロットの位置及びクラス情報が付与された教師データ内の各文をトークンに分割する教師データ前処理部と、（２）マスク言語モデルを使用して学習済みの事前学習モデルを用いて、前記各トークンを周辺の文脈に応じた埋め込み表現であるベクトルへ変換する文脈可変単語ベクトル変換部と、（３）前記文脈可変単語ベクトル変換部で得られたベクトル列の中から、スロットに対応するベクトルを選択し、前記事前学習モデルを用いて、文脈として出現しうるトークン候補を複数獲得し、選択したベクトル及びトークン候補のベクトル間で所定の演算を行うことによって、該文脈上で出現するスロットを表現するスロットベクトルを算出するスロットベクトル計算部と、（４）前記スロットベクトル計算部で算出したスロットベクトルをクラスと紐づけて記憶するスロットベクトル記憶部とを有することを特徴とする。

【発明の効果】

【0016】

本発明によれば、認識されるべきスロットを制限するデータ（明示的な制約）を必要とせずに、精度良くスロットを認識することができる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係るテキスト意図解釈装置の構成を示すブロック図である。

【図2】実施形態に係るスロットベクトル記憶部に記憶されるスロットベクトル群の一例を示す説明図である。

【図3】実施形態に係るテキスト意図解釈装置の特徴動作（学習時の動作）を示すフローチャートである。

【図4】実施形態に係るテキスト意図解釈装置の特徴動作（推論時の動作）を示すフローチャートである。

【発明を実施するための形態】

【0018】

（Ａ）主たる実施形態
以下、本発明に係る推論装置、推論プログラム、推論方法、及び学習装置の実施形態を、図面を参照しながら詳述する。

【0019】

（Ａ－１）実施形態の構成
図１は、実施形態に係るテキスト意図解釈装置の構成を示すブロック図である。

【0020】

図１において、実施形態に係るテキスト意図解釈装置１は、学習部１０１と、推論部１０２とを有する。

【0021】

実施形態に係る言語処理装置は、図１に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。

【0022】

＜学習部＞
学習部１０１は、推論部１０２でスロットに埋める単語を推定するために用いるスロットベクトルを、教師データ（正解ラベル付きデータ）から学習するものである。学習部１０１は、教師データ１０３と、教師データ前処理部１０４と、スロットベクトル学習部２０１と、スロットベクトル記憶部２０４と有する。

【0023】

教師データ１０３は、学習における正解が付与されたデータであり、推論部１０２に入力されうる文と、その文中に出現するスロットの位置、クラス情報が付与されたものである。スロットの文中の位置を示す情報は、例えば、文頭からの文字数をインデックスとしてスロットの開始・終端位置を示す形式や、系列ラベリングデータセットで一般的に用いられる、ＢＩＯ（Ｂｅｇｉｎ，Ｉｎｓｉｄｅ，Ｏｕｔｓｉｄｅ）方式で文字毎タグを付与するような形式であっても良い。

【0024】

教師データ前処理部１０４は、後述するスロットベクトル学習部２０１において、トークン（単語）単位の処理を行うため、教師データ１０３内の各文を形態素解析などの手法を用いてトーカナイズし、トークン分割を行うものである。この際、教師データ前処理部１０４は、文内のスロット位置についても、トークン単位の処理であっても位置を特定できるように変換を行う。

【0025】

スロットベクトル学習部２０１は、入力された教師データ１０３の各文のスロットに相当するトークンを示す単語埋め込み表現（以下、「スロットベクトル」とも呼ぶ）を学習するものであり、文脈可変ベクトル変換部２０２と、スロットベクトル計算部２０３とを有する。

【0026】

文脈可変ベクトル変換部２０２は、事前学習された言語モデル（以下、「学習済みモデル」とも呼ぶ）を用いて、教師データの文に含まれる各トークンを文脈に応じた埋め込み表現（ベクトル）へ変換する。

【0027】

学習済みモデルは、ＭＬＭ（マスク言語モデル）を使用して学習された言語モデルであれば良く、例えば、非特許文献２に記載のＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）を適用することができる。

【0028】

スロットベクトル計算部２０３は、文脈可変ベクトル変換部２０２で得られた、トークン系列に対応するベクトル系列の中から、スロットに対応するベクトルを取り出し、学習済みモデルを用いて、文脈として出現しうるトークン候補を複数得た後、ベクトル間の演算（例えば、複数のベクトルの平均値を算出）によって、当該文脈上で出現するスロットを表現するベクトル（スロットベクトル）を取得するものである。

【0029】

スロットベクトル記憶部２０４は、スロットベクトル学習部２０１で得られた学習済みのスロットベクトルを記憶するものである。例えば、学習済みのスロットベクトルは、図２に示すようにクラスと紐づけて記憶される。

【0030】

図２は、実施形態に係るスロットベクトル記憶部に記憶されるスロットベクトル群の一例を示す説明図である。図２に示すように、スロットベクトル群Ｔは、スロットの概念的な意味づけを示す「クラス」と、そのクラスのスロットベクトルを示す「スロットベクトル」とを有する。この実施系形態では、クラスとスロットベクトル」は１対１の対応関係を備えることを前提とする。

【0031】

例えば、「辛い食べ物」のクラスに紐づけられるスロットベクトルは、クラス情報に「辛い食べ物」を含む教師データ１０３から学習したものである。より具体的には、スロットベクトル学習部２０１において、学習済みモデルを用いて、文脈上、スロット（例えば、カレーライス）の位置に入る得るトークン候補として、トムヤンクン、麻婆豆腐等の複数のトークンを獲得した場合には、カレーライス、トムヤンクン、麻婆豆腐等の単語埋め込み表現（ベクトル）の統計値（例えば、平均値）が「辛い食べ物」のクラスと紐づくスロットベクトルとなる。ここでのスロットベクトルは、言い換えれば、各クラスを代表的に示すものとも言える。

【0032】

＜推論部＞
推論部１０２は、学習部１０１で学習（作成）したスロットベクトルを用いて、入力文のスロットに相当するトークン及びクラスを推定して、入力文の意図を解釈するものである。推論部１０２は、入力部１１１と、推論データ前処理部１１２と、判定部１１３と、出力部１１４とを有する。

【0033】

入力部１１１は、ユーザや他システムからスロットを認識すべき文（入力文）を受け付けるものである。入力文（入力ファイル）のデータ形式は、特に限定されるものでは無く、例えば、ｔｘｔファイル等で良い。

【0034】

推論データ前処理部１１２は、入力部１１１で受け付けた入力文を、トークン単位に分割するものである。

【0035】

判定部１１３は、入力文のトークン系列からスロットとして抽出すべきトークンとそのスロットのクラスを特定するものであり、文脈可変ベクトル変換部２０５、類似度算出部２０６、及びスロット判定部２０７を有する。

【0036】

文脈可変ベクトル変換部２０５は、推論データ前処理部１１２で得られた入力文のトークン系列の各トークンを、学習済みモデルを用いて、文脈に応じた単語埋め込み表現（ベクトル）に変換するものである。なお、ここでの学習済みモデルは、特に限定されるものでは無く、学習部１０１で用いた学習済みモデルと同一でも、異なるものであっても良い。

【0037】

類似度算出部２０６は、スロットベクトル記憶部２０４に保持されたスロットベクトルと、文脈可変ベクトル変換部２０５で得られたトークンベクトル系列との間の類似度を計算するものである。

【0038】

スロット判定部２０７は、類似度算出部２０６で得られた類似度と閾値をもとに、トークンベクトル列の中から、スロットに相当するトークン、およびスロットのクラスを判定するものでる。

【0039】

出力部１１４は、判定部１１３で得られたスロットに入る表現およびクラスを出力するものである。

【0040】

（Ａ－２）実施形態の動作
次に、以上のような構成を有する実施形態に係るテキスト意図解釈装置１の動作を説明する。

【0041】

（Ａ－２－１）学習時の特徴動作
図３は、実施形態に係るテキスト意図解釈装置の特徴動作（学習時の動作）を示すフローチャートである。

【0042】

＜ステップＳ１００＞
教師データ前処理部１０４は、教師データ１０３内の各文をトークンに分割する。このとき、教師データ前処理部１０４は、各文中に出現するスロットの位置情報も、分割後のトークンの位置を特定できるように変換する。また、トークン分割には形態素解析器など既存の技術が利用できるが、文脈可変ベクトル変換部２０２で用いる言語モデルの事前学習に用いた分割手法と同一であることが望ましい。

【0043】

＜ステップＳ１０１＞
次に、文脈可変ベクトル変換部２０２は、上述のステップＳ１００で得られたトークン列を受け取り、学習済みモデルを用いて各トークンを周辺の文脈に応じた埋め込み表現（ベクトル）へ変換する。

【0044】

＜ステップＳ１０２＞
次に、スロットベクトル計算部２０３は、上述のステップＳ１０１で得られたトークン列に対応するベクトル列を受け取り、教師データ１０３のスロットの位置情報、クラス情報をもとに、スロットに対応するベクトルを選択する。

【0045】

＜ステップＳ１０３＞
次に、スロットベクトル計算部２０３は、上述のステップＳ１０２で選択したベクトルと学習済みモデルを用いて、選択した位置に出現しうるトークン候補のベクトルを複数獲得する。候補の獲得方法としては、例えば、学習済みモデルが保持する語彙のすべてを、教師データの選択した位置に１つずつ代入してベクトルへ変換し、学習済みモデルが保持する語彙に対する教師データ１０３の周辺文脈を加味したベクトルを獲得し、それらとステップＳ１０２で選択したベクトルとの類似度を計算し、類似度が高い上位Ｎ件（Ｎは１以上の自然数）を獲得する等の方法が考えられる。

【0046】

＜ステップＳ１０４＞
次に、スロットベクトル計算部２０３は、ステップＳ１０３で複数獲得したトークンのベクトルを用いて演算を行い、教師データのクラス情報と紐づけることで、一つのクラスに対して一つのスロットベクトルを獲得する。演算方法としては、例えば、複数のベクトルの平均を取る等の方法が考えられる。

【0047】

＜ステップＳ１０５＞
次に、スロットベクトル記憶部２０４は、上述のステップＳ１０４で獲得したスロットベクトルを受け取り、クラスと紐づけて記憶する。

【0048】

（Ａ－２－２）推論時の特徴動作
図４は、実施形態に係るテキスト意図解釈装置の特徴動作（推論時の動作）を示すフローチャートである。

【0049】

＜ステップＳ１０６＞
入力部１１１は、推論対象の入力文を受け付ける。

【0050】

＜ステップＳ１０７＞
次に、推論データ前処理部１１２は、上述のステップＳ１０６で入力された入力文を受け取り、トークンに分割する。

【0051】

＜ステップＳ１０８＞
次に、文脈可変ベクトル変換部２０５は、上述のステップＳ１０７で得られたトークン列を受け取り、学習済みモデルを用いて各トークンを周辺の文脈に応じた埋め込み表現（ベクトル）へ変換する。

【0052】

＜ステップＳ１０９＞
次に、類似度算出部２０６は、上述のステップＳ１０５で記憶したスロットベクトル群と、上述のステップＳ１０８で得られたトークン列に対応するベクトル列とを受け取り、クラスごとのスロットベクトルと各トークンに対応するベクトルとの類似度を算出する。

【0053】

＜ステップＳ１１０＞
次に、スロット判定部２０７は、上述のステップＳ１０９で算出した類似度を受け取り、類似度の判定を行い、スロットに当てはまるトークンと、そのスロットのクラスを獲得する。トークンとクラスの獲得方法としては、例えば、閾値以上の類似度となるトークン（１又は複数でも良い）をスロットに当てはまると判定し、そのトークンと類似度の算出に用いたスロットベクトルのクラスを獲得する等の方法が考えられる。

【0054】

＜ステップＳ１１１＞
次に、出力部１１６は、上述のＳ１１０で判定したスロットに当てはまるトークンとスロットのクラスを受け取り、スロットに当てはまるトークンと、そのスロットのクラスを出力する。

【0055】

（Ａ－３）実施形態の効果
本実施形態によれば以下の効果を奏する。

【0056】

テキスト意図解釈装置１において、学習部１０１のスロットベクトル学習部２０１、及び推論部１０２の判定部１１３で作成する文脈可変ベクトルは、周辺文脈情報に応じた埋め込み表現（ベクトル）で作成する。

【0057】

学習時に得られるスロットベクトルは、スロット周辺の文脈の中で出現しうるトークン候補を表すものである。例えば、「この店のカレーライスは辛い」の「カレーライス」部分をスロットベクトルで表す場合は、「この店の～は辛い」の「～」部分に入りうる表現のため、言語モデルの事前学習時のテキストに含まれる「辛い食べ物」の表現を表している可能性が高い。

【0058】

推論時も同様に、各トークンの埋め込み表現は、周辺文脈も含めた形で表現されている。そのため、スロットベクトルとの比較を行う際には、同じ表現の単語であっても異なる文脈であれば類似度は低くなり、異なる表現であっても同じ文脈であれば類似度が高くなる。このように文脈に応じたベクトル表現を獲得することが、スロットに入り得るトークンに制約を与えることと同様の効果を得ており、従来技術（特許文献１）のように、明示的に制約情報を与える必要がない。

【0059】

従来技術では、大量の教師データから正解データと予測データとの損失が小さくなるように学習してパラメータ調整を行うことで、スロットを認識していた。一方、テキスト意図解釈装置１では、事前に大量のテキストから周辺の文脈情報に応じて出現しうるトークンの傾向を学習した、学習済みモデル（例えば、上述のＢＥＲＴ学習済みモデル）を用いて教師データ、推論時の入力文ともにベクトルへ変換し、ベクトル同士の類似度によってスロットを認識する。スロットの認識には類似度を用いており、従来のような、大量の教師データから学習してパラメータ調整を行わないため、大量の教師データを必要としない。

【0060】

（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

【0061】

（Ｂ－１）上述した実施形態では、１つのクラスに対して１つのスロットベクトルを獲得しているが、これに限定されるものではない。例えば、スロットベクトル計算部２０３において、教師データ１０３の１つの文ごとにクラスに対応するスロットベクトルを獲得することで、１つのクラスに対して複数のスロットベクトルを獲得できると考えられる。このとき、類似度算出部２０６では、全てのスロットベクトルと各トークンに対応するベクトルとの類似度を算出し、スロット判定部２０７では、１つのクラスに対して複数の類似度が存在するため、少なくとも一つが閾値以上となるトークンを判定するなどの方法により、スロットに当てはまるトークンを判定ができると考えられる。

【0062】

（Ｂ－２）上述した実施形態では、図１に示すように、学習部１０１と推論部１０２とを同一の装置（テキスト意図解釈装置１）で構成する例を示したが、学習部１０１と推論部１０２は別々の装置（又はプログラム）で構成するようにしても良い。

【符号の説明】

【0063】

１…テキスト意図解釈装置、１０１…学習部、１０２…推論部、１０３…教師データ、１０４…教師データ前処理部、１１１…入力部、１１２…推論データ前処理部、１１３…判定部、１１４…出力部、１１６…出力部、２０１…スロットベクトル学習部、２０２…文脈可変ベクトル変換部、２０３…スロットベクトル計算部、２０４…スロットベクトル記憶部、２０５…文脈可変ベクトル変換部、２０６…類似度算出部、２０７…スロット判定部、Ｔ…スロットベクトル群。

【図1】

【図2】

【図3】

【図4】