特許 6899367 学習装置、妥当性判定装置、学習方法、妥当性判定方法、学習プログラム、及び妥当性判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6899367

(24)【登録日】2021年6月16日

(45)【発行日】2021年7月7日

(54)【発明の名称】学習装置、妥当性判定装置、学習方法、妥当性判定方法、学習プログラム、及び妥当性判定プログラム

(51)【国際特許分類】

   G06F 40/216 20200101AFI20210628BHJP

【ＦＩ】

   G06F40/216

【請求項の数】16

【全頁数】29

(21)【出願番号】特願2018-245365(P2018-245365)

(22)【出願日】2018年12月27日

(65)【公開番号】特開2020-107085(P2020-107085A)

(43)【公開日】2020年7月9日

【審査請求日】2019年7月1日

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(74)【代理人】

【識別番号】100135518

【弁理士】

【氏名又は名称】青木 隆

(72)【発明者】

【氏名】村上 拓也

【審査官】 長 由紀子

(56)【参考文献】

【文献】 米国特許出願公開第２０１７／０１４７６８２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００４／００１９６５０（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０６８５５８５３（ＣＮ，Ａ）

【文献】 特開２００８−０８４０６４（ＪＰ，Ａ）

【文献】 米国特許第１０１６２８５０（ＵＳ，Ｂ１）

【文献】 中国特許出願公開第１０６６４９２７５（ＣＮ，Ａ）

【文献】 吉見 孔孝 外３名，音声対話システムにおける条件付確率場に基づく自動応答文選択，日本音響学会 ２００８年 春季研究発表会講演論文集ＣＤ−ＲＯＭ ［ＣＤ−ＲＯＭ］，日本，社団法人日本音響学会，２００８年 ３月１０日，pp.95-96

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ４０／００−５８

Ｇ０６Ｆ １６／００−９５８

(57)【特許請求の範囲】

【請求項1】

第１テキストを構成する１以上の単語を示す１以上の単語情報と、前記１以上の単語の品詞を示す１以上の品詞情報と、アンケートにおける質問に対する回答としての前記第１テキストの妥当性を示すラベルと、をそれぞれ含む複数の訓練データを記憶する記憶手段から、前記複数の訓練データを取得する訓練データ取得手段と、
前記取得された複数の訓練データそれぞれについて、前記１以上の単語情報から、前記１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む二次元配列単語情報を生成する特徴情報生成手段と、
前記取得された複数の訓練データからの機械学習により、アンケートにおける質問に対する回答を示すものとしての所与の第２テキストの妥当性を示す第２妥当性情報を出力し且つ畳み込み層を含むモデルを生成するモデル生成手段であって、前記取得された複数の訓練データそれぞれに含まれる前記１以上の単語それぞれについて、該単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ状態で、前記二次元配列単語情報及び前記１以上の品詞情報を畳み込み層に入力して、前記第１テキストの特徴を示す特徴情報を取得し、該取得された特徴情報に基づいて、前記第１テキストの妥当性を示す第１妥当性情報を前記モデルから出力させ、前記第１妥当性情報と前記ラベルとを比較することに基づく誤差逆伝播により、前記モデルを訓練するモデル生成手段と、
を備え、
互いに同一の単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ方向における前記畳み込み層のフィルタのサイズは、前記単語特徴ベクトルのサイズと前記品詞情報のサイズとの合計に一致することを特徴とする学習装置。

【請求項2】

前記モデル生成手段は、前記第１テキスト内における前記１以上の単語の並び順に従って前記１以上の単語特徴ベクトルが並べられた前記二次元配列単語情報と、前記並び順に従って並べられた前記１以上の品詞情報と、を前記畳み込み層に入力し、
前記１以上の単語情報が並ぶ方向における前記フィルタのサイズは、複数の単語に対応するサイズであることを特徴とする請求項１に記載の学習装置。

【請求項3】

前記特徴情報生成手段は、更に、前記１以上の品詞情報から、前記１以上の品詞それぞれの特徴を示す１以上の品詞特徴ベクトルを含む二次元配列品詞情報を生成し、
前記モデル生成手段は、前記二次元配列単語情報と前記二次元配列品詞情報とを重ねてなる三次元配列情報を前記畳み込み層に入力することを特徴とする請求項２に記載の学習装置。

【請求項4】

前記特徴情報生成手段は、更に、前記１以上の品詞情報から、前記１以上の品詞それぞれの特徴を示す１以上の品詞特徴ベクトルを含む二次元配列品詞情報を生成し、
前記モデル生成手段は、前記二次元配列単語情報と前記二次元配列品詞情報とを連結してなる二次元配列情報を前記畳み込み層に入力することを特徴とする請求項２に記載の学習装置。

【請求項5】

前記モデル生成手段は、前記１以上の品詞それぞれを示す数値を、前記１以上の単語特徴ベクトルのうち該品詞に対応する単語の単語特徴ベクトルに付加して、前記二次元配列単語情報を前記畳み込み層に入力することを特徴とする請求項２に記載の学習装置。

【請求項6】

前記複数の訓練データそれぞれは、前記１以上の単語それぞれについて、所定の品詞体系により階層化された複数の品詞を示す複数の前記品詞情報を含むことを特徴とする請求項１乃至５の何れか一項に記載の学習装置。

【請求項7】

前記複数の訓練データそれぞれは、如何なる種類の内容が前記第１テキストに示されることが要求されているかを示す種類情報を更に含むことを特徴とする請求項１乃至６の何れか一項に記載の学習装置。

【請求項8】

前記複数の訓練データそれぞれは、前記質問を示す第３テキストを構成する１以上の第２単語を示す１以上の第２単語情報と、前記１以上の第２単語の品詞を示す１以上の第２品詞情報と、を更に含むことを特徴とする請求項１乃至７の何れか一項に記載の学習装置。

【請求項9】

前記複数の訓練データそれぞれは、前記１以上の単語それぞれの文字数を示す１以上の文字数情報を更に含むことを特徴とする請求項１乃至８の何れか一項に記載の学習装置。

【請求項10】

前記複数の訓練データそれぞれは、前記１以上の単語それぞれに含まれる文字の種類を示す１以上の文字種情報を更に含むことを特徴とする請求項１乃至９の何れか一項に記載の学習装置。

【請求項11】

前記ラベルは、第１質問に対する回答としての前記第１テキストの妥当性を示し、
前記モデル生成手段は、前記第１質問により要求される回答の種類と同じ種類の回答を要求する第２質問に対する回答を示すものとしての前記第２テキストの妥当性を示す前記第２妥当性情報を出力する前記モデルを生成することを特徴とする請求項１乃至１０の何れか一項に記載の学習装置。

【請求項12】

請求項１乃至１１の何れか一項に記載の学習装置により生成されたモデルを記憶するモデル記憶手段から、前記モデルを読み出す読み出し手段と、
所与のテキストを構成する１以上の単語を示す１以上の判定単語情報と、前記１以上の単語の品詞を示す１以上の判定品詞情報と、を取得するテキスト情報取得手段と、
前記取得された１以上の判定単語情報及び１以上の判定品詞情報を、前記読み出されたモデルに入力することにより、前記所与のテキストの妥当性を示す妥当性情報を出力する出力手段と、
を備えることを特徴とする妥当性判定装置。

【請求項13】

コンピュータにより実行される学習方法において、
第１テキストを構成する１以上の単語を示す１以上の単語情報と、前記１以上の単語の品詞を示す１以上の品詞情報と、アンケートにおける質問に対する回答としての前記第１テキストの妥当性を示すラベルと、をそれぞれ含む複数の訓練データを記憶する記憶手段から、前記複数の訓練データを取得する訓練データ取得ステップと、
前記取得された複数の訓練データそれぞれについて、前記１以上の単語情報から、前記１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む二次元配列単語情報を生成する特徴情報生成ステップと、
前記取得された複数の訓練データからの機械学習により、アンケートにおける質問に対する回答を示すものとしての所与の第２テキストの妥当性を示す第２妥当性情報を出力し且つ畳み込み層を含むモデルを生成するモデル生成ステップであって、前記取得された複数の訓練データそれぞれに含まれる前記１以上の単語それぞれについて、該単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ状態で、前記二次元配列単語情報及び前記１以上の品詞情報を畳み込み層に入力して、前記第１テキストの特徴を示す特徴情報を取得し、該取得された特徴情報に基づいて、前記第１テキストの妥当性を示す第１妥当性情報を前記モデルから出力させ、前記第１妥当性情報と前記ラベルとを比較することに基づく誤差逆伝播により、前記モデルを訓練するモデル生成ステップと、
を含み、
前記単語特徴ベクトルと前記品詞情報とが並ぶ方向における前記畳み込み層のフィルタのサイズは、前記単語特徴ベクトルのサイズと前記品詞情報のサイズとの合計に一致することを特徴とする学習方法。

【請求項14】

コンピュータにより実行される妥当性判定方法において、
請求項１乃至１１の何れか一項に記載の学習装置により生成されたモデルを記憶するモデル記憶手段から、前記モデルを読み出す読み出しステップと、
所与のテキストを構成する１以上の単語を示す１以上の判定単語情報と、前記１以上の単語の品詞を示す１以上の判定品詞情報と、を取得するテキスト情報取得ステップと、
前記取得された１以上の判定単語情報及び１以上の判定品詞情報を、前記読み出されたモデルに入力することにより、前記所与のテキストの妥当性を示す妥当性情報を出力する出力ステップと、
を含むことを特徴とする妥当性判定方法。

【請求項15】

コンピュータを、
第１テキストを構成する１以上の単語を示す１以上の単語情報と、前記１以上の単語の品詞を示す１以上の品詞情報と、アンケートにおける質問に対する回答としての前記第１テキストの妥当性を示すラベルと、をそれぞれ含む複数の訓練データを記憶する記憶手段から、前記複数の訓練データを取得する訓練データ取得手段と、
前記取得された複数の訓練データそれぞれについて、前記１以上の単語情報から、前記１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む二次元配列単語情報を生成する特徴情報生成手段と、
前記取得された複数の訓練データからの機械学習により、アンケートにおける質問に対する回答を示すものとしての所与の第２テキストの妥当性を示す第２妥当性情報を出力し且つ畳み込み層を含むモデルを生成するモデル生成手段であって、前記取得された複数の訓練データそれぞれに含まれる前記１以上の単語それぞれについて、該単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ状態で、前記二次元配列単語情報及び前記１以上の品詞情報を畳み込み層に入力して、前記第１テキストの特徴を示す特徴情報を取得し、該取得された特徴情報に基づいて、前記第１テキストの妥当性を示す第１妥当性情報を前記モデルから出力させ、前記第１妥当性情報と前記ラベルとを比較することに基づく誤差逆伝播により、前記モデルを訓練するモデル生成手段と、
として機能させ、
前記単語特徴ベクトルと前記品詞情報とが並ぶ方向における前記畳み込み層のフィルタのサイズは、前記単語特徴ベクトルのサイズと前記品詞情報のサイズとの合計に一致することを特徴とする学習プログラム。

【請求項16】

コンピュータを、
請求項１乃至１１の何れか一項に記載の学習装置により生成されたモデルを記憶するモデル記憶手段から、前記モデルを読み出す読み出し手段と、
所与のテキストを構成する１以上の単語を示す１以上の判定単語情報と、前記１以上の単語の品詞を示す１以上の判定品詞情報と、を取得するテキスト情報取得手段と、
前記取得された１以上の判定単語情報及び１以上の判定品詞情報を、前記読み出されたモデルに入力することにより、前記所与のテキストの妥当性を示す妥当性情報を出力する出力手段と、
として機能させることを特徴とする妥当性判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習の技術分野に関し、特に、テキストを分類するための方法の技術分野に関する。

【背景技術】

【0002】

近年、多数のテキストを分類するための機械学習の研究開発が盛んに行われている。例えば、非特許文献１には、ニューラルネットワークを用いた分類方法が開示されている。具体的に、文章を構成する語の特徴ベクトルが連結されて、その文章が表現される。連結された特徴ベクトルに対して畳み込み層においてフィルタが適用されて、新しい特徴が生成される。新しい特徴に対してマックスプーリングが適用されて、全結合ソフトマックス層から確率分布が出力される。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】ユン・キム（Yoon Kim）、「文書分類のための畳み込みニューラルネットワーク（Convolutional Neural Networks for Sentence Classification）」、実践的自然言語処理方法に関する2014年会議報告（Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing）、計算言語学協会（Association for Computational Linguistics）、2014年、p.1746-1751

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、人々により作成又は入力等されたテキストが妥当なものであるかを判定することを想定する。テキストとして決まった正解が存在しない状況である場合においては、例えばルールベースで妥当性を判定するにも限界がある。そのため、人間がテキストを確認して判定を行うことになる。この場合、判定すべきテキストが多数に昇ると、作業負担が膨大になる。

【0005】

例えば、自由回答式のアンケートが実施される場合に、これに対して様々な回答を記入可能である。例えば見当違いの回答や、でたらめな回答等、質問に対して妥当ではない回答は、情報としての価値が低い。そのため、回答の妥当性を適切に判定することが望ましい。

【0006】

人間に代わって妥当性の判定を柔軟に行うために、機械学習を利用することが考えられる。しかしながら、従来の技術では、テキストの妥当性の観点で学習及び分類が行われていなかった。

【0007】

本発明は、以上の点に鑑みてなされたものであり、テキストの妥当性の判定精度を向上させることを可能とする学習装置、妥当性判定装置、学習方法、妥当性判定方法、学習プログラム、及び妥当性判定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、請求項１に記載の発明は、第１テキストを構成する１以上の単語を示す１以上の単語情報と、前記１以上の単語の品詞を示す１以上の品詞情報と、アンケートにおける質問に対する回答としての前記第１テキストの妥当性を示すラベルと、をそれぞれ含む複数の訓練データを記憶する記憶手段から、前記複数の訓練データを取得する訓練データ取得手段と、前記取得された複数の訓練データそれぞれについて、前記１以上の単語情報から、前記１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む二次元配列単語情報を生成する特徴情報生成手段と、前記取得された複数の訓練データからの機械学習により、アンケートにおける質問に対する回答を示すものとしての所与の第２テキストの妥当性を示す第２妥当性情報を出力し且つ畳み込み層を含むモデルを生成するモデル生成手段であって、前記取得された複数の訓練データそれぞれに含まれる前記１以上の単語それぞれについて、該単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ状態で、前記二次元配列単語情報及び前記１以上の品詞情報を畳み込み層に入力して、前記第１テキストの特徴を示す特徴情報を取得し、該取得された特徴情報に基づいて、前記第１テキストの妥当性を示す第１妥当性情報を前記モデルから出力させ、前記第１妥当性情報と前記ラベルとを比較することに基づく誤差逆伝播により、前記モデルを訓練するモデル生成手段と、を備え、互いに同一の単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ方向における前記畳み込み層のフィルタのサイズは、前記単語特徴ベクトルのサイズと前記品詞情報のサイズとの合計に一致することを特徴とする。

【0009】

この発明によれば、単語情報に加え、品詞情報をも用いた機械学習により、モデルが生成される。品詞情報により、テキストに含まれる単語についてのヒントや、テキストに用いられている文法をモデルに与えることができる。従って、生成されたモデルを用いることにより、テキストの妥当性の判定精度を向上させることができる。
また、この発明によれば、単語の特徴ベクトルと、その単語の品詞の情報とが関連付けられた状態で畳み込まれて、テキストの特徴が出力される。このテキストの特徴を用いた妥当性の判定結果に基づいてモデルが最適化される。従って、テキストの妥当性の判定精度を向上させることができる。
また、この発明によれば、アンケートにおける質問に対する回答の妥当性を判定することができる。

【0010】

請求項２に記載の発明は、前記モデル生成手段は、前記第１テキスト内における前記１以上の単語の並び順に従って前記１以上の単語特徴ベクトルが並べられた前記二次元配列単語情報及び前記並び順に従って並べられた前記１以上の品詞情報を前記畳み込み層に入力し、
前記１以上の単語情報が並ぶ方向における前記フィルタのサイズは、複数の単語に対応するサイズであることを特徴とする。

【0012】

請求項３に記載の発明は、前記特徴情報生成手段は、更に、前記１以上の品詞情報から、前記１以上の品詞それぞれの特徴を示す１以上の品詞特徴ベクトルを含む二次元配列品詞情報を生成し、前記モデル生成手段は、前記二次元配列単語情報と前記二次元配列品詞情報とを重ねてなる三次元配列情報を前記畳み込み層に入力することを特徴とする。

【0013】

この発明によれば、単語特徴ベクトルで構成される二次元配列と、品詞特徴ベクトルで構成される二次元配列とで構成される三次元配列に対して、畳み込み層において三次元のフィルタが適用されて、テキストの特徴が出力される。従って、テキストの妥当性の判定精度を向上させることができる。

【0014】

請求項４に記載の発明は、前記特徴情報生成手段は、更に、前記１以上の品詞情報から、前記１以上の品詞それぞれの特徴を示す１以上の品詞特徴ベクトルを含む二次元配列品詞情報を生成し、前記モデル生成手段は、前記二次元配列単語情報と前記二次元配列品詞情報とを連結してなる二次元配列情報を前記畳み込み層に入力することを特徴とする。

【0015】

この発明によれば、単語特徴ベクトルで構成される二次元配列と、品詞特徴ベクトルで構成される二次元配列とで構成される二次元配列に対して、畳み込み層において二次元のフィルタが適用されて、テキストの特徴が出力される。従って、テキストの妥当性の判定精度を向上させることができる。

【0016】

請求項５に記載の発明は、前記モデル生成手段は、前記１以上の品詞それぞれを示す数値を、前記１以上の単語特徴ベクトルのうち該品詞に対応する単語の単語特徴ベクトルに付加して、前記二次元配列単語情報を前記畳み込み層に入力することを特徴とする。

【0017】

この発明によれば、各単語特徴ベクトルに、品詞を示す数値が付加された状態で畳み込まれる。従って、テキストの妥当性の判定精度を向上させることができる。

【0018】

請求項６に記載の発明は、前記複数の訓練データそれぞれは、前記１以上の単語それぞれについて、所定の品詞体系により階層化された複数の品詞を示す複数の前記品詞情報を含むことを特徴とする。

【0019】

この発明によれば、複数の品詞情報により、テキストに含まれる単語についてのヒントや、テキストに用いられている文法を、階層的にモデルを与えることができる。従って、テキストの妥当性の判定精度を向上させることができる。

【0020】

請求項７に記載の発明は、前記複数の訓練データそれぞれは、如何なる種類の内容が前記第１テキストに示されることが要求されているかを示す種類情報を更に含むことを特徴とする。

【0021】

この発明によれば、要求される内容の種類に応じて、テキストに含まれる単語の品詞や、テキストに用いられている文法が異なる場合において、テキストの妥当性の判定精度を向上させることができる。

【0022】

請求項８に記載の発明は、前記複数の訓練データそれぞれは、前記質問を示す第３テキストを構成する１以上の第２単語を示す１以上の第２単語情報と、前記１以上の第２単語の品詞を示す１以上の第２品詞情報と、を更に含むことを特徴とする。

【0023】

この発明によれば、テキストにより示される内容として、要求内容を示すテキストの単語情報及び品詞情報をも用いた機械学習により、モデルが生成される。従って、要求内容を示すテキストと、この要求に対して作成されたテキストとが対で学習されるので、テキストの妥当性の判定精度を向上させることができる。

【0024】

請求項９に記載の発明は、前記複数の訓練データそれぞれは、前記１以上の単語それぞれの文字数を示す１以上の文字数情報を更に含むことを特徴とする。

【0025】

この発明によれば、文字数情報により、テキストに含まれる単語についての更なるヒントをモデルを与えることができる。従って、テキストの妥当性の判定精度を向上させることができる。

【0026】

請求項１０に記載の発明は、前記複数の訓練データそれぞれは、前記１以上の単語それぞれに含まれる文字の種類を示す１以上の文字種情報を更に含むことを特徴とする。

【0027】

この発明によれば、文字種情報により、テキストに含まれる単語についての更なるヒントをモデルを与えることができる。従って、テキストの妥当性の判定精度を向上させることができる。

【0028】

請求項１１に記載の発明は、前記ラベルは、第１質問に対する回答としての前記第１テキストの妥当性を示し、前記モデル生成手段は、前記第１質問により要求される回答の種類と同じ種類の回答を要求する第２質問に対する回答を示すものとしての前記第２テキストの妥当性を示す前記第２妥当性情報を出力する前記モデルを生成することを特徴とする。

【0031】

請求項１２に記載の発明は、請求項１乃至１１の何れか一項に記載の学習装置により生成されたモデルを記憶するモデル記憶手段から、前記モデルを読み出す読み出し手段と、所与のテキストを構成する１以上の単語を示す１以上の判定単語情報と、前記１以上の単語の品詞を示す１以上の判定品詞情報と、を取得するテキスト情報取得手段と、前記取得された１以上の判定単語情報及び１以上の判定品詞情報を、前記読み出されたモデルに入力することにより、前記所与のテキストの妥当性を示す妥当性情報を出力する出力手段と、を備えることを特徴とする。

【0032】

この発明によれば、単語情報に加え、品詞情報をも用いた機械学習により生成されたモデルを用いて、テキストの妥当性が判定される。従って、テキストの妥当性の判定精度を向上させることができる。

【0033】

請求項１３に記載の発明は、コンピュータにより実行される学習方法において、第１テキストを構成する１以上の単語を示す１以上の単語情報と、前記１以上の単語の品詞を示す１以上の品詞情報と、アンケートにおける質問に対する回答としての前記第１テキストの妥当性を示すラベルと、をそれぞれ含む複数の訓練データを記憶する記憶手段から、前記複数の訓練データを取得する訓練データ取得ステップと、前記取得された複数の訓練データそれぞれについて、前記１以上の単語情報から、前記１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む二次元配列単語情報を生成する特徴情報生成ステップと、前記取得された複数の訓練データからの機械学習により、アンケートにおける質問に対する回答を示すものとしての所与の第２テキストの妥当性を示す第２妥当性情報を出力し且つ畳み込み層を含むモデルを生成するモデル生成ステップであって、前記取得された複数の訓練データそれぞれに含まれる前記１以上の単語それぞれについて、該単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ状態で、前記二次元配列単語情報及び前記１以上の品詞情報を畳み込み層に入力して、前記第１テキストの特徴を示す特徴情報を取得し、該取得された特徴情報に基づいて、前記第１テキストの妥当性を示す第１妥当性情報を前記モデルから出力させ、前記第１妥当性情報と前記ラベルとを比較することに基づく誤差逆伝播により、前記モデルを訓練するモデル生成ステップと、を含み、前記単語特徴ベクトルと前記品詞情報とが並ぶ方向における前記畳み込み層のフィルタのサイズは、前記単語特徴ベクトルのサイズと前記品詞情報のサイズとの合計に一致することを特徴とする。

【0034】

請求項１４に記載の発明は、コンピュータにより実行される妥当性判定方法において、請求項１乃至１１の何れか一項に記載の学習装置により生成されたモデルを記憶するモデル記憶手段から、前記モデルを読み出す読み出しステップと、所与のテキストを構成する１以上の単語を示す１以上の判定単語情報と、前記１以上の単語の品詞を示す１以上の判定品詞情報と、を取得するテキスト情報取得ステップと、前記取得された１以上の判定単語情報及び１以上の判定品詞情報を、前記読み出されたモデルに入力することにより、前記所与のテキストの妥当性を示す妥当性情報を出力する出力ステップと、を含むことを特徴とする。

【0035】

請求項１５に記載の発明は、コンピュータを、第１テキストを構成する１以上の単語を示す１以上の単語情報と、前記１以上の単語の品詞を示す１以上の品詞情報と、アンケートにおける質問に対する回答としての前記第１テキストの妥当性を示すラベルと、をそれぞれ含む複数の訓練データを記憶する記憶手段から、前記複数の訓練データを取得する訓練データ取得手段と、前記取得された複数の訓練データそれぞれについて、前記１以上の単語情報から、前記１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む二次元配列単語情報を生成する特徴情報生成手段と、前記取得された複数の訓練データからの機械学習により、アンケートにおける質問に対する回答を示すものとしての所与の第２テキストの妥当性を示す第２妥当性情報を出力し且つ畳み込み層を含むモデルを生成するモデル生成手段であって、前記取得された複数の訓練データそれぞれに含まれる前記１以上の単語それぞれについて、該単語に対応する前記単語特徴ベクトルと前記品詞情報とが並ぶ状態で、前記二次元配列単語情報及び前記１以上の品詞情報を畳み込み層に入力して、前記第１テキストの特徴を示す特徴情報を取得し、該取得された特徴情報に基づいて、前記第１テキストの妥当性を示す第１妥当性情報を前記モデルから出力させ、前記第１妥当性情報と前記ラベルとを比較することに基づく誤差逆伝播により、前記モデルを訓練するモデル生成手段と、として機能させ、前記単語特徴ベクトルと前記品詞情報とが並ぶ方向における前記畳み込み層のフィルタのサイズは、前記単語特徴ベクトルのサイズと前記品詞情報のサイズとの合計に一致することを特徴とする。

【0036】

請求項１６に記載の発明は、コンピュータを、請求項１乃至１１の何れか一項に記載の学習装置により生成されたモデルを記憶するモデル記憶手段から、前記モデルを読み出す読み出し手段と、所与のテキストを構成する１以上の単語を示す１以上の判定単語情報と、前記１以上の単語の品詞を示す１以上の判定品詞情報と、を取得するテキスト情報取得手段と、前記取得された１以上の判定単語情報及び１以上の判定品詞情報を、前記読み出されたモデルに入力することにより、前記所与のテキストの妥当性を示す妥当性情報を出力する出力手段と、として機能させることを特徴とする。

【発明の効果】

【0037】

本発明によれば、テキストの妥当性の判定精度を向上させることができる。

【図面の簡単な説明】

【0038】

【図1】一実施形態に係る妥当性判定装置１の概要構成の一例を示すブロック図である。

【図2】一実施形態に係る妥当性判定装置１のシステム制御部１１及びＧＰＵ１８の機能ブロックの一例を示す図である。

【図3】モデル２の構成例を示す図である。

【図4】変換部２１で生成される情報の一例を示す図である。

【図5】フィルタの構成例を示す図である。

【図6】妥当性判定装置１のシステム制御部１１及びＧＰＵ１８による学習処理の一例を示すフローチャートである。

【図7】妥当性判定装置１のシステム制御部１１及びＧＰＵ１８による妥当性判定処理の一例を示すフローチャートである。

【図8】モデル２の構成例を示す図である。

【図9】変換部２１−２で生成される情報尾ニチレイを示す図である。

【図10】モデル２の構成例を示す図である

【図11】変換部２１−３で生成される情報の一例を示す図である。

【図12】モデル２の構成例を示す図である。

【図13】変換部２１−４で生成される情報の一例を示す図である。

【図14】変換部２１−４で生成される情報の一例を示す図である。

【図15】モデル２の構成例を示す図である。

【図16】判定部２３−５で生成される情報の一例を示す図である。

【図17】モデル２の構成例を示す図である。

【図18】変換部２１−６において生成される情報の一例を示す図である。

【図19】モデル２の構成例を示す図である。

【図20】変換部２１−７において生成される情報の一例を示す図である。

【図21】モデル２の構成例を示す図である。

【図22】変換部２１−８において生成される情報の一例を示す図である。

【発明を実施するための形態】

【0039】

以下、図面を参照して本発明の実施形態について詳細に説明する。以下に説明する実施形態においては、テキストを用いた学習及びこの学習により生成されたモデルを用いてテキストの妥当性を判定する妥当性判定装置に対して本発明を適用した場合の実施形態である。妥当性が判定されるテキストは、例えば文章、文、句又は名詞等である。これらのテキストは、通常、何らかの状況の下で作成、入力等される。状況の例として、アンケートの質問に回答する場合、商品又はサービスの広告の文章を作成する場合、ビジネスメールを作成する場合、与えられたテーマ、課題等に対して文章を作成する場合等が上げられる。例えばアンケートの場合であっても、質問の内容によって状況は様々である。妥当性判定装置は、例えば所与の状況に対してのテキストの妥当性を判定する。妥当性の判定は、例えば、回答が質問に合っているか否か、広告の文章に不適切な文言が含まれているか否か、メールに不適切な表現が含まれているか否か、文章がテーマ等に合っているか否か等である。なお、学習を実行する装置と、妥当性の判定を実行する装置とは別々の装置であってもよい。

【0040】

［１．第１実施形態］
［１−１．妥当性判定装置の構成］
先ず、妥当性判定装置１の構成について、図１を用いて説明する。図１は、本実施形態に係る妥当性判定装置１の概要構成の一例を示すブロック図である。図１に示すように、妥当性判定装置１は、システム制御部１１と、システムバス１２と、入出力インターフェース１３と、記憶部１４と、通信部１５と、入力部１６と、表示部１７と、ＧＰＵ（Graphics Processing Unit）１８を備えている。システム制御部１１と入出力インターフェース１３とは、システムバス１２を介して接続されている。妥当性判定装置１は、例えばサーバ装置であってもよいし、パーソナルコンピュータであってもよい。

【0041】

システム制御部１１は、ＣＰＵ（Central Processing Unit）１１ａ、ＲＯＭ（Read Only Memory）１１ｂ、ＲＡＭ（Random Access Memory）１１ｃ等により構成されている。

【0042】

入出力インターフェース１３は、記憶部１４〜ＧＰＵ１８とシステム制御部１１との間のインターフェース処理を行う。

【0043】

記憶部１４は、例えば、ハードディスクドライブ又はソリッドステートドライブ等により構成されている。この記憶部１４には、生成されたモデル２、及びモデル２の生成に用いられる複数の訓練データ等が記憶される。記憶部１４には、更にオペレーティングシステム、モデル生成用のプログラム、妥当性判定用のプログラム等が記憶されている。訓練データ及び各種プログラムは、例えば、所定のコンピュータからネットワークを介して取得されるようにしてもよいし、光ディスク、メモリカード、磁気テープ等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。モデル２を生成する装置と妥当性を判定する装置とが別々の装置である場合、生成されたモデル２の受け渡しは、ネットワークを介して行われてもよいし、記録媒体を介して行われてもよい。

【0044】

通信部１５は、例えばネットワークインターフェースコントローラ等により構成されている。通信部１５は、インターネット、ＬＡＮ（Local Area Network）等のネットワークを介して他のコンピュータと接続し、そのコンピュータとの通信状態を制御する。

【0045】

入力部１６は、オペレータによる操作を受け付け、操作内容に対応する信号をシステム制御部１１に出力する。入力部１６の例として、キーボード、マウス、タッチパネル等が挙げられる。

【0046】

表示部１７は、例えば、グラフィックコントローラ及びディスプレイ等により構成されている。表示部１７は、システム制御部１１の制御により、画像、文字等の情報を表示する。ディスプレイのパネルの例として、液晶パネル、有機ＥＬ（Light Emitting）パネル等が挙げられる。

【0047】

ＧＰＵ１８は、システム制御部１１からの制御により、機械学習における行列演算等を実行する。ＧＰＵ１８は、複数の演算を並列にパイプライン処理する。ＧＰＵ１８には、ＶＲＡＭ（Video RAM）が接続されている。なお、ＣＰＵ１１ａが、この行列演算等を行ってもよい。

【0048】

［１−２．妥当性判定装置のシステム制御部の機能概要］
次に、図２乃至図５を用いて、システム制御部１１及びＧＰＵ１８の機能概要について説明する。図２は、本実施形態に係る妥当性判定装置１のシステム制御部１１及びＧＰＵ１８の機能ブロックの一例を示す図である。システム制御部１１及びＧＰＵ１８は、ＣＰＵ１１ａが、記憶部１４に記憶されているプログラムに含まれる各種コード等を読み出し実行することにより、図２に示すように、訓練データ取得部１１１、モデル生成部１１２、モデル読み出し部１１３、判定対象データ取得部１１４、妥当性情報出力部１１５等として機能する。

【0049】

［１−２−１．モデルの生成］
訓練データ取得部１１１は、複数の訓練データを記憶部１４から取得する。各訓練データは、１以上の単語情報、及び１以上の品詞情報を含む。１以上の単語情報は、テキストを構成する１以上の単語をそれぞれ示す。例えば、アンケート、テーマ、課題等に対して作成されたテキストについて訓練データが準備される場合、アンケートの一の質問、一のテーマ、一の課題等のみについて作成された複数のテキストから、複数の訓練データが作成されてもよい。或いは、複数の質問、複数のテーマ、複数の課題等について作成された複数のテキストから、複数の訓練データが作成されてもよい。１以上の品詞情報は、テキストを構成する１以上の単語それぞれの品詞を示す。形態素解析によりテキストから単語が抽出されるとともに、各単語の品詞が特定される。単語情報及び品詞情報は、例えばone-hotベクトルである。単語情報の並び順及び品詞情報の並び順は、テキスト内の単語の並び順に一致する。全訓練データ間で単語情報及び品詞情報の数が一致するように、必要に応じてパディングが行われる。従って、テキストが一の単語のみで構成される場合であっても、実際には複数の単語情報及び複数の品詞情報が生成される。形態素解析、one-hotベクトル化及びパディングは、訓練データ取得部１１１により行われてもよいし、他のコンピュータにより行われて予め記憶部１４に記憶されてもよい。

【0050】

各訓練データは、更に妥当性ラベルを含んでもよい。妥当性ラベルは、テキストの妥当性を示すラベルである。例えば、テキストが妥当である場合、妥当性ラベルは１を示し、テキストが妥当はない場合、妥当性ラベルは０を示す。例えば、アンケートの質問、テーマ、課題等、作成されるテキストに対して、そのテキストが如何なる内容を示すべきであるかが要求されている場合、テキストにより示される内容が、要求される内容に合致しているか否かの観点で、妥当性ラベルが作成されてもよい。例えば、アンケートの回答が質問に合っている場合、妥当性ラベルは１を示し、回答が質問に合っていない場合、妥当性ラベルは０を示す。また例えば、広告、ビジネスメール等、テキストが用いられる状況に応じて、そのテキストが不適切な語句を含むか否かの観点で、妥当性ラベルが作成されてもよい。妥当性ラベルは、例えば手作業により作成される。

【0051】

モデル生成部１１２は、所与のテキストの妥当性を示す妥当性情報を出力するモデル２を、訓練データ取得部１１１により取得された複数の訓練データからの機械学習により生成する。

【0052】

モデル２は、例えば畳み込みニューラルネットワーク等のニューラルネットワークであってもよい。モデル生成部１１２は、モデル２内の各層として、その層に対応する演算処理を実行してテキストの妥当性を計算して、妥当性情報を出力する。モデル生成部１１２は、妥当性情報と妥当性ラベルとを比較して学習を実行する。モデル生成部１１２は、複数の訓練データそれぞれについて、１以上の単語情報から、テキストを構成する１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む単語特徴二次元配列を生成する。単語特徴ベクトルは、例えば一次元配列であり、複数の数値を含む。モデル生成部１１２は、１以上の品詞情報それぞれを、１以上の単語特徴ベクトルのうち、その品詞情報により示される品詞に対応する単語の単語特徴ベクトルに関連付けた状態で、単語特徴二次元配列及び１以上の品詞情報を畳み込み層に入力して、その畳み込み層による学習を行わせる。これにより、モデル生成部１１２は、モデル２を生成する。

【0053】

モデル生成部１１２は、更に、１以上の品詞情報から、テキストを構成する単語それぞれに対応する１以上の品詞それぞれの特徴を示す１以上の品詞特徴ベクトルを含む品詞特徴二次元配列を生成してもよい。品詞特徴ベクトルも、例えば一次元配列であり、複数の数値を含む。そして、モデル生成部１１２は、単語特徴ベクトルに対する品詞情報の関連付けの一例として、単語特徴二次元配列と品詞特徴二次元配列とを重ねてなる特徴三次元配列を畳み込み層に入力してもよい。

【0054】

図３は、モデル２の構成例を示す図である。図３に示すように、モデル２は、変換部２１と、特徴抽出部２２と、判定部２３とを含む。変換部２１は、テキストから得られた単語情報及び品詞情報を、テキストの特徴抽出に適した形態の情報に変換するためのレイヤーグループである。特徴抽出部２２は、テキストの特徴情報を出力するためのレイヤーグループである。判定部２３は、テキストの特徴情報に基づいて、このテキストの妥当性を示す妥当性情報を出力するためのレイヤーグループである。

【0055】

変換部２１は、入力層２０１−１及び２０１−２と、埋め込み層２０２−１及び２０２−２と、連結層２０３と、リシェイプ層２０４とを含む。入力層２０１−１には、複数の単語情報が入力される。埋め込み層２０２−１は、入力層２０１−１から出力された複数の単語情報それぞれに対応する複数の単語特徴ベクトルで構成される単語特徴二次元配列を生成する。特徴ベクトルの生成には、例えばＷｏｒｄ２ｖｅｃモデルが用いられてもよし、他のモデルが用いられてもよい。図４は、変換部２１で生成される情報の一例を示す図である。図４に示す単語特徴二次元配列３０１において、一の単語の特徴ベクトルを構成する数値が並ぶ方向をｘ軸とし、ｘ軸方向における単語特徴二次元配列３０１のサイズを、幅という。単語特徴二次元配列３０１の幅は、特徴ベクトルの次元数と一致する。単語特徴二次元配列３０１において、複数の単語特徴ベクトルが単語順に従って並ぶ方向をｙ軸とし、ｙ軸方向における単語特徴二次元配列３０１のサイズを、高さという。テキストを構成する単語の順序と、単語特徴二次元配列３０１において、それらの単語の単語特徴ベクトルの順序は一致する。入力層２０１−２には、複数の品詞情報が入力される。埋め込み層２０２−２は、入力層２０１−２から出力された複数の品詞情報それぞれに対応する複数の品詞特徴ベクトルで構成される品詞特徴二次元配列を出力する。例えば、各品詞を示す単語の特徴ベクトルが、品詞特徴ベクトルとして出力されてもよい。この場合、埋め込み層２０２−１に適用されたモデルを、埋め込み層２０２−２にそのまま適用することができる。図４に示す品詞特徴二次元配列３０２において、一の品詞の特徴ベクトルを構成する数値が並ぶ方向をｘ軸とし、複数の品詞特徴ベクトルが単語順に従って並ぶ方向をｙ軸とする。

【0056】

連結層２０３は、埋め込み層２０２−１及び２０２−２から出力された単語特徴二次元配列３０１と品詞特徴二次元配列３０２とを高さ方向に連結する。リシェイプ層２０４は、連結された配列のｘ軸方向の要素数を元の要素数の半分にし、ｚ軸方向の要素数を２にして、連結された配列の形状を三次元形状に変換することにより、図４に示す特徴三次元配列３１０を出力する。なお、単語特徴二次元配列３０１及び品詞特徴二次元配列３０２がそれぞれ先ずリシェイプ層により三次元配列に変換されてもよい。この変換によって出力される単語特徴の三次元配列及び品詞特徴の三次元配列それぞれのｚ軸方向における要素数は１である。そして、単語特徴の三次元配列及び品詞特徴の三次元配列が連結層によりｚ軸方向に連結されて、特徴三次元配列３１０が出力されてもよい。特徴三次元配列３１０において、単語特徴二次元配列３０１と品詞特徴二次元配列３０２とがｚ軸方向に積層されている。すなわち、リシェイプ層２０４は、単語特徴二次元配列３０１と品詞特徴二次元配列３０２とを別々のチャネルに分離する。ｚ軸方向における特徴三次元配列３１０のサイズを、奥行きという。特徴三次元配列３１０の奥行きはチャネル数に一致する。テキストを構成する単語それぞれについて、特徴三次元配列３１０における単語の特徴ベクトルのｙ座標と、その単語の品詞の特徴ベクトルのｙ座標とが一致する。例えば、テキストの最初の単語「高級感」の特徴ベクトルと、その「高級感」の品詞「名詞」の特徴ベクトルは、ｚ軸方向に重なる。

【0057】

特徴抽出部２２は、複数の畳み込み層２０５と、複数のＭＡＸプーリング層２０６と、連結層２０７とを含む。各畳み込み層２０５は、各テキストについて特徴三次元配列３１０を受け入れ可能な畳み込み層である。例えば、畳み込み層２０５は、マルチチャネルの２Ｄ畳み込み層又はシングルチャネルの３Ｄ畳み込み層であってもよい。各畳み込み層２０５は、変換部２１から出力された特徴三次元配列３１０に対する畳み込みを行い、テキストの特徴マップを出力する。各畳み込み層２０５において、特徴三次元配列３１０に三次元のフィルタが適用される。フィルタのサイズは畳み込み層２０５間で異なる。図５は、フィルタの構成例を示す図である。図５に示すフィルタ４１０〜４３０それぞれの幅及び奥行きは、特徴三次元配列３１０の幅及び奥行きと一致する。フィルタ４１０〜４３０の高さは互いに異なる。フィルタ４１０〜４３０それぞれは、特徴三次元配列３１０に対して高さ方向にスライドする。図４においては、３個の畳み込み層２０５が示されている。しかしながら、畳み込み層２０５は２個であってもよいし、４個以上であってもよい。ＭＡＸプーリング層２０６の数は、畳み込み層２０５の数と一致する。各ＭＡＸプーリング層２０６は、そのＭＡＸプーリング層２０６に対応する畳み込み層２０５から出力された特徴マップ内の数値のうち最大値を出力する。連結層２０７は、複数のＭＡＸプーリング層２０６から出力された最大値を連結して、テキストの特徴情報を出力する。この特徴情報は、一次元配列であり、テキストを構成する単語及びそれらの順序、並びに品詞及びそれらの順序を反映している。

【0058】

判定部２３は、１又は複数の全結合層２０８と、出力層２０９とを含む。全結合層２０８は、特徴抽出部２２から出力されたテキストの特徴情報をアフィン変換して、妥当性情報を出力する。全結合層２０８が複数ある場合、全結合層２０８は直列に連結されて、アフィン変換が順次実行される。各全結合層２０８において、ドロップアウト等の正則化が行われてもよい。また、バッチ正規化が行われてもよい。出力層２０９は、全結合層２０８により生成された妥当性情報を出力する。出力層２０９においては、例えばシグモイド関数により、全結合層２０８からの妥当性情報が０から１までの範囲内の数値に変換されてもよい。

【0059】

［１−２−２．テキストの妥当性の判定］
モデル読み出し部１１３は、記憶部１４に記憶されたモデル２を読み出して、ＲＡＭ１４ｃ又はＧＰＵ１８に接続されたＶＲＡＭにロードする。

【0060】

判定対象データ取得部１１４は、判定対象となる所与のテキストを構成する１以上の単語を示す１以上の単語情報と、その１以上の単語の品詞を示す１以上の品詞情報とを取得する。例えば、アンケート、テーマ、課題等について作成されたテキストの妥当性を判定する場合、判定対象となるテキストに対応するアンケートの質問、テーマ又は課題と、訓練データの作成のために収集されたテキストに対応するアンケートの質問、テーマ又は課題とは、一致してもよいし、一致していなくてもよい。テキストにより示される内容として、決まった正解が必ずしも存在しないので、テキストの妥当性を判定する観点では、質問、テーマ又は課題自体よりも、それによって如何なる種類の内容を示すテキストが要求さているかの方が重要である。従って、判定対象となるテキストについて要求された内容の種類が、訓練データの作成のために収集された全テキストのうち少なくとも幾つかのテキストについて要求された内容の種類に一致していることが望ましい。アンケートの場合、要求される回答の種類の例として、理由、純粋想起、印象、ポジティブなこと、ネガティブなこと、名詞での回答等が挙げられる。判定対象となるテキストは、例えば、ネットワークを介して他のコンピュータから取得されてもよい。或いは、テキストが記録媒体に記録されてドライブ装置を介して記憶部１４に読み込まれてもよい。単語情報及び品詞情報の生成方法は、訓練データにおける単語情報及び品詞情報の生成方法と同様である。

【0061】

妥当性情報出力部１１５は、判定対象データ取得部１１４により取得された１以上の単語情報及び１以上の品詞情報を、モデル読み出し部１１３により読み出されたモデル２に入力することにより、所与のテキストの妥当性を示す妥当性情報を出力する。妥当性情報出力部１１５は、モデル２内の各層として、その層に対応する演算処理を実行してテキストの妥当性を計算して、妥当性情報を出力する。妥当性情報出力部１１５は、例えば記憶部１４に妥当性情報を記憶させてもよい。或いは、妥当性情報出力部１１５は、ネットワークを介して他のコンピュータへ妥当性情報を送信してもよい。或いは、妥当性情報出力部１１５は、表示部１７に妥当性情報を表示してもよい。妥当性情報は、本来は０から１までの範囲内の数値である。例えば、妥当性情報が０．５以上である場合、テキストは妥当であると解釈され、妥当性情報が０．５未満である場合、テキストは妥当ではないと解釈されてもよい。妥当性情報出力部１１５は、妥当性情報を実際に０又は１の数値に変換して出力してもよい。或いは、例えば妥当である、要注意である、妥当ではない、の３段階で妥当性が解釈されてもよい。要注意は、妥当であるか否かを一概に判断すべきではないテキストを示す。

【0062】

モデル２による学習及び妥当性の判定に、テキストを構成する単語の品詞を示す情報が用いられることで、テキストの妥当性の判定精度を向上させることができる。判定精度の向上の理由の１つとして、テキストに含まれる単語に対するヒントが与えられることが考えられる。訓練データには全く出現しない又は出現頻度が低い単語を含んだテキストについて、単語情報のみを用いた機械学習では妥当性を適切に判断することが難しい場合がある。これに対して、品詞情報によって、各単語の品詞と、その前後にある単語の品詞との関係、すなわち品詞をベースとした文脈が考慮されることで、そのようなテキストであっても適切に妥当性を判定することが可能となると推察される。別の理由として、テキストに用いられている文法が考慮されることが考えられる。状況又は要求される内容の種類によって、妥当なテキストに用いられる文法が或る程度限定されることが想定される。テキストが文法的に正しいか否かという観点ではなく、テキストに用いられる文法が、状況又は要求される内容の種類に合っているか否かという観点で、テキストの妥当性が判定されるものと推察される。

【0063】

［１−３．妥当性判定装置の動作］
次に、妥当性判定装置１の動作について、図６及び図７を用いて説明する。図６は、妥当性判定装置１のシステム制御部１１及びＧＰＵ１８による学習処理の一例を示すフローチャートである。モデル生成用のプログラムに従って、システム制御部１１及びＧＰＵ１８は学習処理を実行する。図６に示すように、訓練データ取得部１１１は、訓練データとしての複数のテキストと、各テキストに対応する妥当性ラベルを記憶部１４から取得する（ステップＳ１１）。次いで、訓練データ取得部１１１は、形態素解析により、各テキストを構成する単語を抽出し、抽出された各単語の品詞を特定する。そして、訓練データ取得部１１１は、各テキストについて１以上の単語情報及び１以上の品詞情報を生成する（ステップＳ１２）。次いで、モデル生成部１１２は、単語情報、品詞情報及び妥当性ラベルを含む複数の訓練データを用いた学習により、モデル２を生成する（ステップＳ１３）。例えば、モデル生成部１１２は、モデル２となる畳み込みニューラルネットワークに単語情報及び品詞情報を入力して、このネットワーク内の各層における演算処理を実行する。モデル生成部１１２は、各テキストの妥当性を計算し、妥当性情報と妥当性ラベルとを比較して、誤差逆伝搬により各層の重み及びバイアスを更新する。モデル生成部１１２は、例えばエポック数が所定数に達したとき等に学習を終了させて、モデル２を生成する。モデル生成部１１２は、生成されたモデル２を記憶部１４に記憶させて（ステップＳ１４）、学習処理を終了させる。

【0064】

図７は、妥当性判定装置１のシステム制御部１１及びＧＰＵ１８による妥当性判定処理の一例を示すフローチャートである。妥当性判定用のプログラムに従って、システム制御部１１及びＧＰＵ１８は妥当性判定処理を実行する。図７に示すように、モデル読み出し部１１３は、モデル２を記憶部１４から読み出す（ステップＳ２１）。次いで、判定対象データ取得部１１４は、妥当性の判定対処となるテキストを取得する（ステップＳ２２）。次いで、判定対象データ取得部１１４は、形態素解析により、このテキストを構成する単語を抽出し、抽出された各単語の品詞を特定する。そして、判定対象データ取得部１１４は、１以上の単語情報及び１以上の品詞情報を生成する（ステップＳ２３）。次いで、妥当性情報出力部１１５は、モデル２の変換部２１において、１以上の単語情報から、１以上の単語特徴ベクトルを含む単語特徴二次元配列３０１を生成し、１以上の品詞情報から、１以上の品詞特徴ベクトルを含む品詞特徴二次元配列３０２を生成する。妥当性情報出力部１１５は、単語特徴二次元配列３０１と品詞特徴二次元配列３０２とを重ねてなる特徴三次元配列３１０を生成する（ステップＳ２４）。次いで、妥当性情報出力部１１５は、モデル２の特徴抽出部２２において、特徴三次元配列３１０に対して複数のフィルタで畳み込みを行って複数の特徴マップを生成する（ステップＳ２５）。妥当性情報出力部１１５は、複数の特徴マップそれぞれの最大値を連結して、テキストの特徴情報を生成する（ステップＳ２６）。次いで、妥当性情報出力部１１５は、モデル２の判定部２３において、テキストの特徴情報をアフィン変換する（ステップＳ２７）。妥当性情報出力部１１５は、この変換によって生成された妥当性情報を出力して（ステップＳ２８）、妥当性判定処理を終了させる。

【0065】

以上説明したように、本実施形態によれば、妥当性判定装置１が、テキストを構成する１以上の単語を示す１以上の単語情報と、その１以上の単語の品詞を示す１以上の品詞情報と、をそれぞれ含む複数の訓練データを記憶する記憶部１４から、複数の訓練データを取得する。また、妥当性判定装置１が、取得された複数の訓練データからの機械学習により、所与のテキストの妥当性を示す妥当性情報を出力するモデル２を生成する。従って、生成されたモデル２を用いることにより、テキストの妥当性の判定精度を向上させることができる。

【0066】

また、妥当性判定装置１が、複数の訓練データそれぞれについて、１以上の単語情報から、１以上の単語それぞれの特徴を示す１以上の単語特徴ベクトルを含む単語特徴二次元配列を生成してもよい。また、妥当性判定装置１が、１以上の品詞情報それぞれを、１以上の単語特徴ベクトルのうちその品詞情報により示される品詞に対応する単語の単語特徴ベクトルに関連付けた状態で、単語特徴二次元配列及び１以上の品詞情報を畳み込み層２０５に入力して機械学習させることにより、モデル２を生成してもよい。この場合、単語の特徴ベクトルと、その単語の品詞の情報とが関連付けられた状態で畳み込まれて、テキストの特徴が出力される。このテキストの特徴を用いた妥当性の判定結果に基づいてモデル２が最適化される。従って、テキストの妥当性の判定精度を向上させることができる。

【0067】

また、妥当性判定装置１が、更に、１以上の品詞情報から、１以上の品詞それぞれの特徴を示す複数の品詞特徴ベクトルを含む品詞特徴二次元配列を生成してもよい。また、妥当性判定装置１が、単語特徴二次元配列と品詞特徴二次元配列とを重ねてなる特徴三次元配列を畳み込み層２０５に入力してもよい。この場合、単語特徴ベクトルを含む二次元配列と、品詞特徴ベクトルを含む二次元配列とで構成される三次元配列に対して、畳み込み層２０５において三次元のフィルタが適用されて、テキストの特徴が出力される。従って、テキストの妥当性の判定精度を向上させることができる。

【0068】

また、テキストは、アンケートにおける質問に対する回答を示してもよい。妥当性判定装置１が、所与のアンケートにおける質問に対する回答を示すものとしてのテキストの妥当性を示す妥当性情報を出力してもよい。この場合、アンケートにおける質問に対する回答の妥当性を判定することができる。

【0069】

また、妥当性判定装置１は、生成されたモデル２を記憶する記憶部１４から、モデル２を読み出してもよい。また、妥当性判定装置１は、判定対象のテキストを構成する１以上の単語を示す１以上の単語情報と、その１以上の単語の品詞を示す１以上の品詞情報と、を取得してもよい。また、妥当性判定装置１が、取得された１以上の単語情報及び１以上の品詞情報を、読み出されたモデル２に入力することにより、所与のテキストの妥当性を示す妥当性情報を出力してもよい。この場合、単語情報に加え、品詞情報をも用いた機械学習により生成されたモデル２を用いて、テキストの妥当性が判定される。従って、テキストの妥当性の判定精度を向上させることができる。

【0070】

［２．第２実施形態］
次に、図８及び図９を用いて第２実施形態について説明する。学習の際、モデル生成部１１２は、単語特徴ベクトルに対する品詞情報の関連付けの別の例として、単語特徴二次元配列と品詞特徴二次元配列とを連結してなる特徴二次元配列を畳み込み層に入力してもよい。

【0071】

図８は、モデル２の構成例を示す図である。図８において、図３と同様の要素については同様の符号が付されている。図８に示すように、本実施形態において生成されるモデル２は、変換部２１−２と、特徴抽出部２２−２と、判定部２３とを含む。

【0072】

変換部２１−２は、入力層２０１−１及び２０１−２と、埋め込み層２０２−１及び２０２−２と、連結層２１１とを含む。図９は、変換部２１−２で生成される情報の一例を示す図である。図９において、図４と同様の要素については同様の符号が付されている。連結層２１１は、埋め込み層２０２−１及び２０２−２から出力された単語特徴二次元配列３０１と品詞特徴二次元配列３０２とを幅方向に連結して、特徴二次元配列３２０を出力する。すなわち、連結層２１１からは１チャネルの二次元配列が出力される。テキストを構成する単語それぞれについて、特徴二次元配列３２０における単語の特徴ベクトルのｙ座標と、その単語の品詞の特徴ベクトルのｙ座標とは一致する。例えば、テキストの最初の単語「高級感」の特徴ベクトルと、その「高級感」の品詞「名詞」の特徴ベクトルは、ｘ軸方向に連なる。

【0073】

特徴抽出部２２−２は、複数の畳み込み層２１２と、複数のＭＡＸプーリング層２０６と、連結層２０７とを含む。各畳み込み層２１２は、各テキストについて特徴二次元配列３２０を受け入れ可能な畳み込み層である。すなわち、各畳み込み層２１２は、１チャネルの２Ｄ畳み込み層である。各畳み込み層２１２において、特徴二次元配列３２０に二次元のフィルタが適用される。このフィルタは、特徴二次元配列３２０に対して高さ方向のみにスライドしてもよいし、高さ方向及び幅方向の両方にスライドしてもよい。畳み込み層２１２間で、フィルタの高さは異なる。各フィルタの幅は、特徴二次元配列３２０の幅と同一であってもよいし、これよりも小さくてもよい。畳み込み層２１２間で、フィルタの幅は同一であってもよいし異なってもよい。各畳み込み層２１２から出力された特徴マップは、その畳み込み層２１２に対応するＭＡＸプーリング層２０６に入力される。

【0074】

テキストの妥当性の判定において、妥当性情報出力部１１５も同様に、単語特徴二次元配列と品詞特徴二次元配列とを連結してなる特徴二次元配列を畳み込み層に入力する。

【0075】

以上説明したように、本実施形態によれば、妥当性判定装置１が、更に、１以上の品詞情報から、１以上の品詞それぞれの特徴を示す１以上の品詞特徴ベクトルを含む品詞特徴二次元配列を生成する。また、妥当性判定装置１が、単語特徴二次元配列と品詞特徴二次元配列とを連結してなる二次元配列を畳み込み層２１２に入力する。従って、単語特徴ベクトルを含む二次元配列と、品詞特徴ベクトルを含む二次元配列とで構成される二次元配列に対して、畳み込み層において二次元のフィルタが適用されて、テキストの特徴が出力される。そのため、テキストの妥当性の判定精度を向上させることができる。

【0076】

［３．第３実施形態］
次に、図１０及び図１１を用いて第３実施形態について説明する。学習の際、モデル生成部１１２は、単語特徴ベクトルに対する品詞情報の関連付けの更に別の例として、テキストを構成する１以上の単語の品詞それぞれを示す一の数値を生成し、各品詞の数値を、１以上の単語特徴ベクトルのうちその品詞に対応する単語の単語特徴ベクトルに付加して、二次元配列を畳み込み層に入力してもよい。

【0077】

図１０は、モデル２の構成例を示す図である。図１０において、図８と同様の要素については同様の符号が付されている。図１０に示すように、本実施形態において生成されるモデル２は、変換部２１−３と、特徴抽出部２２−２と、判定部２３とを含む。

【0078】

変換部２１−３は、入力層２０１−１及び２０１−２と、埋め込み層２０２−１と、埋め込み層２１３と、連結層２１１とを含む。図１１は、変換部２１−３で生成される情報の一例を示す図である。図１１において、図４と同様の要素については同様の符号が付されている。埋め込み層２１３は、入力層２０１−２から出力された複数の品詞情報それぞれに対応する複数の数値で構成される一次元配列３０３を出力する。例えば、品詞に対応する数値は、品詞のone-hotベクトルにおいて、１が格納されている位置に対応する数値であってもよいし、別の方法で算出された数値であってもよい。連結層２１１は、埋め込み層２０２−１から出力された単語特徴二次元配列３０１と、埋め込み層２１３から出力された一次元配列３０３とを幅方向に連結して、特徴二次元配列３３０を出力する。すなわち、連結層２１１からは１チャネルの二次元配列が出力される。テキストを構成する単語それぞれについて、特徴二次元配列３３０における単語の特徴ベクトルのｙ座標と、その単語の品詞の数値のｙ座標とは一致する。例えば、テキストの最初の単語「高級感」の特徴ベクトルと、その「高級感」の品詞「名詞」の数値は、ｘ軸方向に連なる。特徴二次元配列３２０は、特徴抽出部２２−２の各畳み込み層２１２に入力される。

【0079】

テキストの妥当性の判定において、妥当性情報出力部１１５も同様に、１以上の品詞それぞれを示す数値を、１以上の単語特徴ベクトルのうちその品詞に対応する単語の単語特徴ベクトルに付加して、二次元配列を畳み込み層に入力する。

【0080】

以上説明したように、本実施形態によれば、妥当性判定装置１が、１以上の品詞それぞれを示す数値を、１以上の単語特徴ベクトルのうちその品詞に対応する単語の単語特徴ベクトルに付加して生成された二次元配列を畳み込み層２１２に入力する。従って、各単語特徴ベクトルに、品詞を示す数値が付加された状態で畳み込まれる。そのため、テキストの妥当性の判定精度を向上させることができる。

【0081】

［４．第４実施形態］
次に、図１２乃至図１４を用いて第４実施形態について説明する。訓練データ取得部１１１は、テキストを構成する１以上の単語それぞれについて、所定の品詞体系により階層化された複数の品詞を示す複数の品詞情報を含む訓練データを取得してもよい。階層化された品詞において、下位の品詞は、上位の品詞を分けた複数の品詞分類のうち、対象の単語に対応する品詞分類である。品詞の階層の数は、２以上であればよい。日本語の場合、品詞体系は、例えばＩＰＡ（Information-technology Promotion Agency）品詞体系であってもよい。

【0082】

モデル生成部１１２は、テキストを構成する１以上の単語それぞれについて、その単語に対応する複数の品詞情報を、その単語の単語特徴ベクトルに関連付けた状態で、単語特徴二次元配列及び複数の品詞情報を畳み込み層に入力する。例えば、モデル生成部１１２は、単語特徴二次元配列と複数の品詞特徴二次元配列とを重ねてなる特徴三次元配列を畳み込み層に入力してもよい。

【0083】

図１２は、モデル２の構成例を示す図である。図１２において、図３と同様の要素については同様の符号が付されている。図１２に示すように、本実施形態において生成されるモデル２は、変換部２１−４と、特徴抽出部２２と、判定部２３とを含む。変換部２１−４は、入力層２０１−１と、入力層２０１−２−１〜２０１−２−Ｎと、埋め込み層２０２−１と、埋め込み層２０２−２−１〜２０２−２−Ｎと、連結層２０３と、リシェイプ層２０４とを含む。Ｎは、品詞の階層の数である。入力層２０１−２−１〜２０１−２−Ｎの数、及び埋め込み層２０２−２−１〜２０２−２−Ｎの数は、品詞の階層の数と一致する。

【0084】

入力層２０１−２−１〜２０１−２−Ｎそれぞれには、階層化された複数の品詞のうち、その入力層に対応する階層の品詞情報が入力される。埋め込み層２０２−２−１〜２０２−２−Ｎは、入力層２０１−２−１〜２０１−２−Ｎのうち、その埋め込み層に対応する入力層から出力された複数の品詞情報それぞれに対応する複数の品詞特徴ベクトルを含む品詞特徴二次元配列を出力する。図１３は、変換部２１−４で生成される情報の一例を示す図である。図１３において、図４と同様の要素については同様の符号が付されている。品詞特徴二次元配列３０２−１は、埋め込み層２０２−２−１から出力される二次元配列であり、第１位の階層の品詞に対応する。品詞特徴二次元配列３０２−２は、埋め込み層２０２−２−２から出力される二次元配列であり、第２位の階層の品詞に対応する。品詞特徴二次元配列３０２−Ｎは、埋め込み層２０２−２−Ｎから出力される二次元配列であり、第Ｎ位の階層の品詞に対応する。

【0085】

図１４は、変換部２１−４で生成される情報の一例を示す図である。連結層２０３は、埋め込み層２０２−１、２０２−２−１〜２０２−２−Ｎから出力された単語特徴二次元配列３０１と、品詞特徴二次元配列３０２−１〜３０２−Ｎとを高さ方向に連結する。リシェイプ層２０４は、連結された配列の形状を三次元形状に変換することにより、図１４に示す特徴三次元配列３４０を出力する。すなわち、リシェイプ層２０４は、単語特徴二次元配列３０１、２０２−２−１〜２０２−２−Ｎを別々のチャネルに分離する。特徴三次元配列３４０は、特徴抽出部２２の各畳み込み層２０５に入力される。各畳み込み層２０５のチャネル数はＮ＋１である。

【0086】

テキストの妥当性の判定において、判定対象データ取得部１１４も同様に、判定対象のテキストを構成する１以上の単語それぞれについて、所定の品詞体系により階層化された複数の品詞を示す複数の品詞情報を取得する。妥当性情報出力部１１５は、判定対象のテキストを構成する１以上の単語それぞれについて、その単語に対応する複数の品詞情報を、その単語の単語特徴ベクトルに関連付けた状態で、単語特徴二次元配列及び複数の品詞情報を畳み込み層に入力する。

【0087】

図１２乃至図１４は、第１実施形態に対して、品詞の階層化が適用された場合の例を示す。しかしながら、第２実施形態又は第３実施形態に対して、品詞の階層化が適用されてもよい。例えば、単語特徴二次元配列と複数の品詞特徴二次元配列とを幅方向に連結してなる特徴二次元配列が畳み込み層に入力されてもよい。また、テキストを構成する１以上の単語それぞれに対応する複数の階層の品詞を示す複数の数値が生成され、複数の品詞の数値が、１以上の単語特徴ベクトルのうちそれらの品詞に対応する単語の単語特徴ベクトルに付加されてなる二次元配列が、畳み込み層に入力されてもよい。

【0088】

以上説明したように、本実施形態によれば、複数の訓練データそれぞれは、１以上の単語それぞれについて、所定の品詞体系により階層化された複数の品詞を示す複数の品詞情報を含む。従って、複数の品詞情報により、テキストに含まれる単語についてのヒントや、テキストに用いられている文法を階層的に、モデル２を与えることができる。そのため、テキストの妥当性の判定精度を向上させることができる。

【0089】

［５．第５実施形態］
次に、図１５及び図１６を用いて第５実施形態について説明する。訓練データ取得部１１１は、テキストに示されることが要求される内容の種類を示す要求内容種別を更に含む訓練データを取得してもよい。アンケートにおける質問、テーマ、課題等の内容に応じて、要求される内容は様々である。例えば、アンケートの場合、要求内容種別は、アンケートにおける質問で要求される回答の種類を示すアンケート種別であってもよい。アンケート種別の例として、理由を答えさせるもの、或る事物に対する純粋想起について答えさせるもの、印象を答えさせるもの、ポジティブなことについて答えさせるもの、ネガティブなことについて答えさせるもの、名詞で答えさせるもの等が挙げられる。各テキストは、一の要求内容種別のみに該当してもよいし、複数の要求内容種別に該当してもよい。

【0090】

図１５は、モデル２の構成例を示す図である。図１５において、図３と同様の要素については同様の符号が付されている。図１５に示すように、本実施形態において生成されるモデル２は、変換部２１と、特徴抽出部２２と、判定部２３−５とを含む。

【0091】

判定部２３−５は、入力層２２１と、連結層２２２と、１又は複数の全結合層２０８と、出力層２０９とを含む。入力層２２１には、アンケート種別等の要求内容種別が入力される。図１６は、判定部２３−５で生成される情報の一例を示す図である。図１６に示すアンケート種別５２０は、例えば要素数が６の一次元配列である。アンケート種別５２０の６個の要素は、前述した種類にそれぞれ対応している。例えば、各要素には、テキストがその種類に該当する場合、１が格納され、テキストがその種類に該当しない場合、０が格納されてもよい。連結層２２２は、特徴抽出部２２から出力されたテキストの特徴情報５１０と、入力層２２１から出力されたアンケート種別５２０とを連結して、一次元配列５３０を出力する。一次元配列５３０は、全結合層２０８に入力される。従って、判定部２３−５は、テキストの特徴情報５１０とアンケート種別５２０とに基づいて、テキストの妥当性を示す妥当性情報を出力する。

【0092】

テキストの妥当性の判定において、判定対象データ取得部１１４も同様に、テキストに示されることが要求される内容の種類を示す要求内容種別を更に取得する。妥当性情報出力部１１５は、モデル生成部１１２の場合と同様に、要求内容種別を更に用いて妥当性情報を出力する。

【0093】

図１５及び図１６は、第１実施形態に対して、要求内容種別の使用が適用された場合の例を示す。しかしながら、第２実施形態〜第４実施形態に対して、要求内容種別の使用が適用されてもよい。

【0094】

以上説明したように、本実施形態によれば、複数の訓練データそれぞれは、テキストに示されることが要求される内容の種類を示す要求内容種別を更に含む。従って、要求される内容の種類に応じて、テキストに含まれる単語の品詞や、テキストに用いられている文法が異なる場合において、テキストの妥当性の判定精度を向上させることができる。

【0095】

［６．第６実施形態］
次に、図１７及び図１８を用いて第６実施形態について説明する。訓練データ取得部１１１は、如何なる内容がテキストに示されることが要求されるかを示す要求内容テキストを構成する１以上の単語を示す１以上の要求内容単語情報と、要求内容テキストを構成する１以上の単語の品詞を示す１以上の要求内容品詞情報と、を更に含む訓練データを取得してもよい。要求内容テキストは、例えばアンケートの質問、テーマ、課題等を示すテキストある。

【0096】

図１７は、モデル２の構成例を示す図である。図１７において、図３と同様の要素については同様の符号が付されている。図１７に示すように、本実施形態において生成されるモデル２は、変換部２１−６と、特徴抽出部２２と、判定部２３とを含む。図１８は、変換部２１−６において生成される情報の一例を示す図である。変換部２１−６は、入力層２０１−１〜２０１−４と、埋め込み層２０２−１〜２０２−４と、連結層２３１〜２３３と、リシェイプ層２３４とを含む。入力層２０１−３には、要求内容単語情報の一例として、アンケートの質問を示すテキストを構成する１以上の単語を示す質問単語情報が入力される。入力層２０１−４には、要求内容品詞情報の一例として、アンケートの質問を示すテキストを構成する１以上の単語の品詞を示す質問品詞情報が入力される。埋め込み層２０２−３は、入力層２０１−３から出力された複数の質問単語情報それぞれに対応する複数の質問単語特徴ベクトルで構成される質問単語特徴二次元配列３０４を生成する。埋め込み層２０２−４は、入力層２０１−４から出力された複数の質問品詞情報それぞれに対応する複数の質問品詞特徴ベクトルで構成される質問品詞特徴二次元配列３０５を生成する。連結層２３１は、埋め込み層２０２−１及び２０２−３から出力された単語特徴二次元配列３０１と質問単語特徴二次元配列３０４とを幅方向に連結して、第１の二次元配列を出力する。連結層２３２は、埋め込み層２０２−２及び２０２−４から出力された品詞特徴二次元配列３０２と質問品詞特徴二次元配列３０５とを幅方向に連結して、第２の二次元配列を出力する。連結層２３３は、連結層２３１及び２３２から出力された第１及び第２の二次元配列を高さ方向に連結することにより、第３の二次元配列を出力する。リシェイプ層２３４は、連結層２３３から出力された第３の二次元配列の形状を三次元形状に変換することにより、図１８に示す特徴三次元配列３６０を出力する。特徴三次元配列３６０において、単語特徴二次元配列３０１及び質問単語特徴二次元配列３０４は、同一のチャネルで連結されている。また、品詞特徴二次元配列３０２及び質問品詞特徴二次元配列３０５は、同一のチャネルで連結されている。単語と品詞とで別々のチャネルに二次元配列が形成される。特徴三次元配列３６０は、特徴抽出部２２の各畳み込み層２０５に入力される。

【0097】

テキストの妥当性の判定において、判定対象データ取得部１１４も同様に、要求内容単語情報及び要求内容品詞情報を更に取得する。妥当性情報出力部１１５は、モデル生成部１１２の場合と同様に、要求内容単語情報及び要求内容品詞情報を更に用いて妥当性情報を出力する。

【0098】

図１７及び図１８は、第１実施形態に対して、要求内容単語情報及び要求内容品詞情報の追加が適用された場合の例を示す。しかしながら、第２実施形態〜第４実施形態に、要求内容単語情報及び要求内容品詞情報の追加が適用されてもよい。例えば、単語特徴二次元配列３０１と品詞特徴二次元配列３０２とを幅方向に連結して、テキスト用の二次元配列が生成されるとともに、質問単語特徴二次元配列３０４と質問品詞特徴二次元配列３０５とを幅方向に連結して、質問用のテキスト用の二次元配列が生成され、生成されたこれらの二次元配列が幅方向に連結されてなる二次元配列が、畳み込み層２１２に入力されてもよい。また、単語特徴二次元配列３０１に、テキストを構成する単語の品詞を示す数値が付加されるとともに、質問品詞特徴二次元配列３０５に、質問を示すテキストを構成する単語の品詞を示す数値が付加され、これらの二次元配列が幅方向に連結してなる二次元配列が、畳み込み層２１２に入力されてもよい。また、テキストを構成する１以上の単語それぞれについて、階層化された複数の品詞を示す複数の品詞情報が取得されるとともに、要求内容テキストを構成する１以上の単語それぞれについて、階層化された複数の品詞を示す複数の要求内容品詞情報が取得されてもよい。

【0099】

以上説明したように、本実施形態によれば、複数の訓練データそれぞれは、テキストに如何なる内容が示されることが要求されるかを示す要求内容テキストを構成する１以上の単語を示す１以上の要求内容単語情報と、その１以上の単語の品詞を示す１以上の要求内容品詞情報と、を更に含む。従って、如何なる内容を示していることが要求されるかを示すテキストの単語情報及び品詞情報をも用いた機械学習により、モデル２が生成される。そのため、如何なる内容を示していることが要求されるかを示すテキストと、この要求に対して作成されたテキストとが対で学習されるので、テキストの妥当性の判定精度を向上させることができる。

【0100】

［７．第７実施形態］
次に、図１９及び図２０を用いて第７実施形態について説明する。訓練データ取得部１１１は、テキストを構成する１以上の単語それぞれの文字数を示す１以上の文字数情報を更に含む訓練データを取得してもよい。訓練データ取得部１１１が、各単語の文字数をカウントして文字数情報を生成してもよいし、予め記憶部１４に文字数情報が記憶されていてもよい。

【0101】

モデル生成部１１２は、品詞情報の場合と同様に、１以上の文字数情報それぞれを、１以上の単語特徴ベクトルのうち、その文字数情報により示される文字数に対応する単語の単語特徴ベクトルに関連付けた状態で、単語特徴二次元配列及び１以上の文字数情報を畳み込み層に入力してもよい。

【0102】

図１９は、モデル２の構成例を示す図である。図１９において、図３と同様の要素については同様の符号が付されている。図１９に示すように、本実施形態において生成されるモデル２は、変換部２１−７と、特徴抽出部２２と、判定部２３とを含む。図２０は、変換部２１−７において生成される情報の一例を示す図である。変換部２１−７は、入力層２０１−１、２０１−２、及び２０１−５と、埋め込み層２０２−１、２０２−２、及び２０２−５と、連結層２０３と、リシェイプ層２０４とを含む。入力層２０１−５には、文字数情報が入力される。埋め込み層２０２−５は、入力層２０１−５から出力された複数の文字数情報それぞれに対応する複数の文字数特徴ベクトルで構成される文字数特徴二次元配列３０６を生成する。例えば、文字数を示す単語の特徴ベクトルが、文字数特徴ベクトルとして出力されてもよい。連結層２０３は、埋め込み層２０２−１、２０２−２、及び２０２−５から出力された単語特徴二次元配列３０１と、品詞特徴二次元配列３０２と、文字数特徴二次元配列３０６とを高さ方向に連結する。リシェイプ層２０４は、連結された配列の形状を三次元形状に変換することにより、図２０に示す特徴三次元配列３７０を出力する。特徴三次元配列３７０において、単語特徴二次元配列３０１、品詞特徴二次元配列３０２、及び文字数特徴二次元配列３０６は、別々のチャネルに分離される。特徴三次元配列３７０は、特徴抽出部２２の各畳み込み層２０５に入力される。

【0103】

テキストの妥当性の判定において、判定対象データ取得部１１４も同様に、文字数情報を更に取得する。妥当性情報出力部１１５は、モデル生成部１１２の場合と同様に、文字数情報を更に用いて妥当性情報を出力する。

【0104】

図１９及び図２０は、第１実施形態に対して、文字数情報の追加が適用された場合の例を示す。しかしながら、第２実施形態〜第６実施形態に、文字数情報の追加が適用されてもよい。例えば、単語特徴二次元配列３０１と、品詞特徴二次元配列３０２と、文字数特徴二次元配列３０６とを幅方向に連結してなる二次元配列が、畳み込み層２１２に入力されてもよい。また、単語特徴二次元配列３０１に、品詞を示す数値及び文字数を示す数値が付加されてなる二次元配列が、畳み込み層２１２に入力されてもよい。また、文字数情報とともに、階層化された複数の品詞を示す複数の品詞情報が取得されてもよい。また、文字数情報とともに、要求内容種別が取得されてもよい。また、テキストを構成する単語について、単語情報、品詞情報及び文字数情報が取得されるとともに、要求内容テキストを構成する単語について、要求内容単語情報、要求内容品詞情報、及び要求内容テキストを構成する単語の文字数を示す文字数情報が取得されてもよい。

【0105】

以上説明したように、本実施形態によれば、複数の訓練データそれぞれは、１以上の単語それぞれの文字数を示す１以上の文字数情報を更に含む。従って、文字数情報により、テキストに含まれる単語についての更なるヒントをモデル２を与えることができる。そのため、テキストの妥当性の判定精度を向上させることができる。

【0106】

［８．第８実施形態］
次に、図２１及び図２２を用いて第８実施形態について説明する。訓練データ取得部１１１は、テキストを構成する１以上の単語それぞれに含まれる文字の種類を示す１以上の文字種数情報を更に含む訓練データを取得してもよい。訓練データ取得部１１１が、各単語に含まれる文字の種類を特定して文字種情報を生成してもよいし、予め記憶部１４に文字種情報が記憶されていてもよい。例えば、日本語の場合、文字種情報は、漢字を含むか否か、平仮名を含むか否か、片仮名を含むか否か、ローマ字を含むか否か、数字を含むか否か等であってもよい。訓練データ取得部１１１は、テキストを構成する１以上の単語それぞれについて、複数の文字種情報を取得してもよい。

【0107】

モデル生成部１１２は、品詞情報の場合と同様に、１以上の文字種情報それぞれを、１以上の単語特徴ベクトルのうち、その文字種情報により示される文字種に対応する単語の単語特徴ベクトルに関連付けた状態で、単語特徴二次元配列及び１以上の文字種情報を畳み込み層に入力してもよい。

【0108】

図２１は、モデル２の構成例を示す図である。図２１において、図３と同様の要素については同様の符号が付されている。図２１に示すように、本実施形態において生成されるモデル２は、変換部２１−８と、特徴抽出部２２と、判定部２３とを含む。図２２は、変換部２１−８において生成される情報の一例を示す図である。変換部２１−８は、入力層２０１−１、２０１−２、及び２０１−６と、埋め込み層２０２−１、２０２−２、及び２０２−６と、連結層２０３と、リシェイプ層２０４とを含む。入力層２０１−６には、文字種情報が入力される。この文字種情報は、例えば単語が漢字を含むか否かを示す。埋め込み層２０２−６は、入力層２０１−６から出力された複数の文字種情報それぞれに対応する複数の文字種特徴ベクトルで構成される文字種特徴二次元配列３０７を生成する。例えば、文字種を示す単語の特徴ベクトルが、文字種特徴ベクトルとして出力されてもよい。各単語について複数の文字種情報が存在する場合、変換部２１−８は、複数の文字種情報に対応する複数の入力層２０１−６及び複数の埋め込み層２０２−６を含んでもよい。連結層２０３は、埋め込み層２０２−１、２０２−２、及び２０２−６から出力された単語特徴二次元配列３０１と、品詞特徴二次元配列３０２と、文字種特徴二次元配列３０７とを高さ方向に連結する。リシェイプ層２０４は、連結された配列の形状を三次元形状に変換することにより、図２２に示す特徴三次元配列３８０を出力する。特徴三次元配列３８０において、単語特徴二次元配列３０１、品詞特徴二次元配列３０２、及び文字種特徴二次元配列３０７は、別々のチャネルに分離される。特徴三次元配列３８０は、特徴抽出部２２の各畳み込み層２０５に入力される。

【0109】

テキストの妥当性の判定において、判定対象データ取得部１１４も同様に、文字種情報を更に取得する。妥当性情報出力部１１５は、モデル生成部１１２の場合と同様に、文字種情報を更に用いて妥当性情報を出力する。

【0110】

図２１及び図２２は、第１実施形態に対して、文字種情報の追加が適用された場合の例を示す。しかしながら、第２実施形態〜第７実施形態に、文字種情報の追加が適用されてもよい。第２実施形態〜第６実施形態に対する文字種情報の追加の適用例は、文字数の追加の適用例と同様である。また、文字種情報とともに、文字数情報が取得されてもよい。

【0111】

以上説明したように、本実施形態によれば、複数の訓練データそれぞれは、１以上の単語それぞれに含まれる文字の種類を示す１以上の文字種情報を更に含む。従って、この発明によれば、文字種情報により、テキストに含まれる単語についての更なるヒントをモデル２を与えることができる。そのため、テキストの妥当性の判定精度を向上させることができる。

【0112】

上記各実施形態においては、本発明が、テキストの妥当性の判定に用いられていた。しかしながら、本発明は、テキストの分類に適用されてもよい。また、本発明は、妥当性が問題となるテキスト以外の様々なテキストの分類に対しても適用されてもよい。２クラス分類及び多クラス分類の何れが適用されてもよい。テキスト分類の場合、訓練データは、妥当性ラベルに変えて、テキストが属するカテゴリーを示すラベルを含む。モデル２は、分類結果を示す情報を出力する。なお、テキストの妥当性の判定は、テキスト分類の一例である。

【符号の説明】

【0113】

１ 妥当性判定装置
１１ システム制御部
１２ システムバス
１３ 入出力インターフェース
１４ 記憶部
１５ 通信部
１６ 入力部
１７ 表示部
１８ ＧＰＵ
１１１ 訓練データ取得部
１１２ モデル生成部
１１３ モデル読み出し部
１１４ 判定対象データ取得部
１１５ 妥当性情報出力部
２ モデル
２１、２１−１〜４、２１−６〜２１−８ 変換部
２２、２２−２ 特徴抽出部
２３、２３−５ 判定部
２０５、２１２ 畳み込み層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】