特許7489501IP Force 特許公報全文掲載

ホーム > 特許ランキング > エヌ・ティ・ティ・コムウェア株式会社 > 特許7489501

技術分野

テキスト生成装置、テキスト生成方法、およびプログラム

要約特許出願時に添付された[要約書]

【課題】条件の形式に関わらず、破壊的忘却の影響を受けにくいテキスト生成技術を提供する。
【解決手段】テキスト生成システム１は、学習部１０と生成部２０を備える。学習部１０は、条件が付与されたテキストを入力してテキストから条件及び単語をトークンとして抽出し、マルチビューアテンションメカニズムを導入したTransformerのエンコーダとデコーダのそれぞれに条件と単語をトークンとして入力し、Transformerで予測される条件の予測精度を表す目的関数とテキストと条件との一致度を表す目的関数を最小化するようにTransformerを学習する。学習部は、２つの自己アテンションマスクＭC,ＭSを用いて、トークンの参照範囲を動的に最適化する。生成部２０は、テキスト生成の条件とシードワードをTransformerに入力し、Transformerから再帰的に出力される単語をつなげてテキストを生成する。
【選択図】図１

発明が解決しようとする課題[発明の詳細な説明]から抜粋

しかしながら、代表的な条件付きテキスト生成モデルであるＮＲＰ（非特許文献１）とＣＯＣＯＮ（非特許文献２）は、学習に必要なデータ量が多く、テキスト生成のモデルを学習させるための計算機等のコストが高いという課題がある。また、学習済みのモデルを再学習する際に、破壊的忘却(catastrophic forgetting)が生じる課題がある。さらに、与える条件の形式（属性かフリーテキストか）や学習データに条件となる単語が含まれている単語の有無に応じてモデルを使い分ける必要がある。ＮＲＰとＣＯＣＯＮはともにテキスト向きのモデルであり、学習データに条件となる単語が含まれていない場合、学習したモデルの品質は低下する。

課題を解決するための手段[発明の詳細な説明]から抜粋

本開示の一態様のテキスト生成装置は、ユーザが入力した条件に合ったテキストを生成するテキスト生成装置であって、条件が付与されたテキストを入力して前記テキストから条件及び単語をトークンとして抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したTransformerのエンコーダとデコーダのそれぞれに前記条件と前記単語をトークンとして入力し、Tr・・・　続きを知財ポータルサイト IP Force にログインして見る

発明の効果[発明の詳細な説明]から抜粋

本発明によれば、条件の形式に関わらず、破壊的忘却の影響を受けにくいテキスト生成技術を提供できる。

この特許の権利範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】 図１は、テキスト生成システムの構成の一例を示す図である。
【図2】 図２は、深層学習モデルの一例を示す図である。
【図3】 図３は、自己アテンションマスクの一例を示す図である。
【図4】 図４は、事前学習済モデルを適用する範囲を示す図である。
【図5】 図５は、テキスト生成システムの学習処理の流れの一例を示すフローチャートである。
【図6】 図６は、テキスト生成システムのテキスト生成処理の流れの一例を示すフローチャートである。

代表図 図1本件の代表的な図

１ テキスト生成システム １０ 学習部 ２０ 生成部 ３０ データ保存部 ４０ 計算結果記憶部 ５０ 入出力部 ５ ユーザ端末

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

［広告欄］

ログインすれば広告は減ります

ログインすれば広告は減ります

Copyright © Science Impact Inc. All Rights Reserved.