特許7848257IP Force 特許公報全文掲載

ホーム > 特許ランキング > エヌ・ティ・ティ・コムウェア株式会社 > 特許7848257

技術分野

対話装置および学習方法

発明が解決しようとする課題[発明の詳細な説明]から抜粋

一般的にLLMは大規模なモデルであるため、モデルの追加学習に必要な計算リソースのコストが高くなるという課題があった。さらに、追加学習によってcatastrophic forgetting（破壊的忘却）が生じ、モデルがソースドメインの知識を忘却してしまうという課題があった。

課題を解決するための手段[発明の詳細な説明]から抜粋

本開示の一態様の対話装置は、言語モデルと、前記言語モデルの最上位レイヤの出力ベクトルを入力してターゲットドメインに特有の意味カテゴリを推論するとともに、前記意味カテゴリに応じた次の単語を推論するトピックステアリングレイヤを備える深層学習モデルと、シードワードを前記深層学習モデルに入力し、回答を出力する入出力部とを備え、前記深層学習モデルは、ターゲットドメインに関するテキスト群を学習データとし・・・　続きを知財ポータルサイト IP Force にログインして見る

発明の効果[発明の詳細な説明]から抜粋

本開示によれば、ターゲットドメインの知識を反映してLLMを追加学習できる。

この特許の権利範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】 図１は、対話システムの構成の一例を示す図である。
【図2】 図２は、ソースドメインとターゲットドメインを説明するための図である。
【図3】 図３は、ソースドメインとターゲットドメインのトピック分布とワード分布の一例を示す図である。
【図4】 図４は、提案モデルの一例を示す図である。
【図5】 図５は、Topic Steering Layerの一例を示す図である。
【図6】 図６は、学習処理の流れの一例を示すフローチャートである。

代表図 図1本件の代表的な図

１ 対話システム １０ 学習部 １１ 事前処理部 １２ 計算処理部 ２０ 入出力部 ３０ データ保存部 ４０ 計算結果記憶部 ５ ユーザ端末

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

［広告欄］

ログインすれば広告は減ります

ログインすれば広告は減ります

Copyright © Science Impact Inc. All Rights Reserved.