特許 7654178 学習装置、学習方法、学習プログラム、推論装置、推論方法、及び推論プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-03-21

(45)【発行日】2025-03-31

(54)【発明の名称】学習装置、学習方法、学習プログラム、推論装置、推論方法、及び推論プログラム

(51)【国際特許分類】

   G06N 3/0455 20230101AFI20250324BHJP

【ＦＩ】

G06N3/0455

【請求項の数】 10

(21)【出願番号】P 2024570364

(86)(22)【出願日】2023-04-28

(86)【国際出願番号】 JP2023016817

【審査請求日】2024-11-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100203677

【弁理士】

【氏名又は名称】山口 力

(72)【発明者】

【氏名】内出 隼人

【審査官】北川 純次

(56)【参考文献】

【文献】特表２０２２－５４９６７０（ＪＰ，Ａ）

【文献】高瀬翔 ほか，Ｔｒａｎｓｆｏｒｍｅｒを多層にする際の勾配消失問題と解決法について，言語処理学会第２８回年次大会 発表論文集，日本，言語処理学会，2022年03月07日，第173頁-第178頁

【文献】TAKASE, Sho et al.，On Layer Normalizations and Residual Connections in Transformers，arXiv.org [online]，2022年06月01日，第1頁-第16頁，[検索日 2023.06.19], インターネット：<URL:https://arxiv.org/pdf/2206.00330v1.pdf＞，<DOI: 10.48550/arXiv.2206.00330>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２ － ３／１０

Ｇ０６Ｎ ２０／００ － ２０／２０

(57)【特許請求の範囲】

【請求項1】

変換元のシーケンスデータと変換先のシーケンスデータとを含む学習用データを取得するデータ取得部と、
前記学習用データを用いて、前記変換元のシーケンスデータから前記変換先のシーケンスデータを推論するための学習モデルを生成するモデル生成部と、
を有し、
前記モデル生成部は、
前記変換元のシーケンスデータが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層を含むエンコーダと、
前記変換先のシーケンスデータと前記エンコーダの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層を含むデコーダと、
を有し、
前記Ｎ層のエンコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成され、
前記Ｍ層のデコーダ層の各々は、注意機構と残差接続とを含む他のニューラルネットワークで構成され、
前記エンコーダは、前記Ｎ層のエンコーダ層のうちの第１のエンコーダ層の出力である第１の出力を前記第１のエンコーダ層より２層以上、下層の第２のエンコーダ層の残差接続である第１の補助的残差接続に加える第１の経路を有し、
前記デコーダは、前記Ｍ層のデコーダ層のうちの第１のデコーダ層の出力である第２の出力を前記第１のデコーダ層より２層以上、下層の第２のデコーダ層の残差接続である第２の補助的残差接続に加える第２の経路を有し、
前記エンコーダは、前記第１のエンコーダ層の前記第１の出力が予め決められた第１の条件を満たさないときに、前記第１の出力を前記第１の経路に出力させない第１の接続判定部を有し、
前記デコーダは、前記第１のデコーダ層の前記第２の出力が予め決められた第２の条件を満たさないときに、前記第２の出力を前記第２の経路に出力させない第２の接続判定部を有する
ことを特徴とする学習装置。

【請求項2】

前記エンコーダは、前記第１の経路に出力される前記第１のエンコーダ層の前記第１の出力に重み付け処理を施す第１の調整部を有し、
前記デコーダは、前記第２の経路に出力される前記第１のデコーダ層の前記第２の出力に重み付け処理を施す第２の調整部を有する
ことを特徴とする請求項１に記載の学習装置。

【請求項3】

前記エンコーダは、トランスフォーマーであり、
前記デコーダは、他のトランスフォーマーである
ことを特徴とする請求項１又は２に記載の学習装置。

【請求項4】

変換元のシーケンスデータと変換先のシーケンスデータとを含む学習用データを取得するデータ取得部と、
前記学習用データを用いて、前記変換元のシーケンスデータから前記変換先のシーケンスデータを推論するための学習モデルを生成するモデル生成部と、
を有し、
前記モデル生成部は、
前記変換元のシーケンスデータが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層を含むエンコーダと、
前記変換先のシーケンスデータと前記エンコーダの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層を含むデコーダと、
を有し、
前記Ｎ層のエンコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成され、
前記Ｍ層のデコーダ層の各々は、注意機構と残差接続とを含む他のニューラルネットワークで構成された
学習装置が実行する学習方法であって、
前記エンコーダが、前記Ｎ層のエンコーダ層のうちの第１のエンコーダ層の出力である第１の出力を前記第１のエンコーダ層より２層以上、下層の第２のエンコーダ層の残差接続である第１の補助的残差接続に第１の経路を介して加えるステップと、
前記デコーダは、前記Ｍ層のデコーダ層のうちの第１のデコーダ層の出力である第２の出力を前記第１のデコーダ層より２層以上、下層の第２のデコーダ層の残差接続である第２の補助的残差接続に第２の経路を介して加えるステップと
を有し、
前記エンコーダは、前記第１のエンコーダ層の前記第１の出力が予め決められた第１の条件を満たさないときに、前記第１の出力を前記第１の経路に出力させず、
前記デコーダは、前記第１のデコーダ層の前記第２の出力が予め決められた第２の条件を満たさないときに、前記第２の出力を前記第２の経路に出力させない
ことを特徴とする学習方法。

【請求項5】

請求項４に記載の学習方法における各ステップを、
前記学習装置であるコンピュータに実行させる
ことを特徴とする学習プログラム。

【請求項6】

変換元のシーケンスデータを取得するデータ取得部と、
前記変換元のシーケンスデータから変換先のシーケンスデータを推論するための学習モデルを用いて、前記データ取得部から取得された前記変換元のシーケンスデータから前記変換先のシーケンスデータを出力する推論部と、
を有し、
前記推論部は、
前記変換元のシーケンスデータが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層を含むエンコーダと、
前記変換先のシーケンスデータと前記エンコーダの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層を含むデコーダと、
を有し、
前記Ｎ層のエンコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成され、
前記Ｍ層のデコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成され、
前記エンコーダは、前記Ｎ層のエンコーダ層のうちの第１のエンコーダ層の出力である第１の出力を前記第１のエンコーダ層より２層以上、下層の第２のエンコーダ層の残差接続である第１の補助的残差接続に加える第１の経路を有し、
前記デコーダは、前記Ｍ層のデコーダ層のうちの第１のデコーダ層の出力である第２の出力を前記第１のデコーダ層より２層以上、下層の第２のデコーダ層の残差接続である第２の補助的残差接続に加える第２の経路を有し、
前記エンコーダは、前記第１のエンコーダ層の前記第１の出力が予め決められた第１の条件を満たさないときに、前記第１の出力を前記第１の経路に出力させない第１の接続判定部を有し、
前記デコーダは、前記第１のデコーダ層の前記第２の出力が予め決められた第２の条件を満たさないときに、前記第２の出力を前記第２の経路に出力させない第２の接続判定部を有する
ことを特徴とする推論装置。

【請求項7】

前記エンコーダは、前記第１の経路に出力される前記第１のエンコーダ層の前記第１の出力に重み付け処理を施す第１の調整部を有し、
前記デコーダは、前記第２の経路に出力される前記第１のデコーダ層の前記第２の出力に重み付け処理を施す第２の調整部を有する
ことを特徴とする請求項６に記載の推論装置。

【請求項8】

前記エンコーダは、トランスフォーマーであり、
前記デコーダは、他のトランスフォーマーである
ことを特徴とする請求項６又は７に記載の推論装置。

【請求項9】

変換元のシーケンスデータを取得するデータ取得部と、
前記変換元のシーケンスデータから変換先のシーケンスデータを推論するための学習モデルを用いて、前記データ取得部から取得された前記変換元のシーケンスデータから前記変換先のシーケンスデータを出力する推論部と、
を有し、
前記推論部は、
前記変換元のシーケンスデータが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層を含むエンコーダと、
前記変換先のシーケンスデータと前記エンコーダの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層を含むデコーダと、
を有し、
前記Ｎ層のエンコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成され、
前記Ｍ層のデコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成された
推論装置が実行する推論方法であって、
前記エンコーダが、前記Ｎ層のエンコーダ層のうちの第１のエンコーダ層の出力である第１の出力を前記第１のエンコーダ層より２層以上、下層の第２のエンコーダ層の残差接続である第１の補助的残差接続に第１の経路を介して加えるステップと、
前記デコーダが、前記Ｍ層のデコーダ層のうちの第１のデコーダ層の出力である第２の出力を前記第１のデコーダ層より２層以上、下層の第２のデコーダ層の残差接続である第２の補助的残差接続に第２の経路を介して加えるステップと
を有し、
前記エンコーダは、前記第１のエンコーダ層の前記第１の出力が予め決められた第１の条件を満たさないときに、前記第１の出力を前記第１の経路に出力させず、
前記デコーダは、前記第１のデコーダ層の前記第２の出力が予め決められた第２の条件を満たさないときに、前記第２の出力を前記第２の経路に出力させない
ことを特徴とする推論方法。

【請求項10】

請求項９に記載の推論方法における各ステップを、
前記推論装置であるコンピュータに実行させる
ことを特徴とする推論プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習装置、学習方法、学習プログラム、推論装置、推論方法、及び推論プログラムに関する。

【背景技術】

【0002】

機械学習技術を用いた機械翻訳をはじめとする系列変換タスクでは、エンコーダ及びデコーダからなるニューラルネットワークモデル（以下「エンコーダデコーダモデル」ともいう。）が使用されている。エンコーダデコーダモデルは、注意機構（単に「注意」ともいう。）を導入することで、機械翻訳の精度を大きく向上させることができる。機械翻訳では、注意機構は、デコーダにおいて目的言語文のどの単語の情報を利用するかを決定する仕組みである。

【0003】

非特許文献１は、注意機構と全結合層とを組み合わせて構成されたエンコーダデコーダとを並列化したエンコーダデコーダモデルであるトランスフォーマーを説明している。非特許文献１（例えば、Ｆｉｇ．１）に示されるように、トランスフォーマーは、マルチヘッド注意（又はマスク付きマルチヘッド注意）と全結合層との組み合わせを積み重ねることによって、エンコーダデコーダを構成するモデルである。以下、「マルチヘッド注意（又はマスク付きマルチヘッド注意）と全結合層との組み合わせ」を１つの層とみなし、この層を「トランスフォーマー層」と称する。

【0004】

特許文献１は、翻訳精度を低下させることなく、学習率が高い場合又はバッチサイズが小さい場合にも安定して学習ができる翻訳装置のアイデアを提案している。具体的には、特許文献１は、トランスフォーマーのマルチヘッド注意機構のうちの少なくとも１つのマルチヘッド注意機構を、マルチヘッド注意機構に含まれる縮小付き内積注意機構の出力に対して更に所定の注意機構を適用するマルチホップ注意機構に置き換えたモデルを提案している。

【先行技術文献】

【非特許文献】

【0005】

【文献】Ａｓｈｉｓｈ Ｖａｓｗａｎｉほか７名著、 “Ａｔｔｅｎｔｉｏｎ Ｉｓ Ａｌｌ Ｙｏｕ Ｎｅｅｄ”、 Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＮＩＰＳ ２０１７、 ｐｐ．５９９８－６００８、 ２０１７年．

【特許文献】

【0006】

【文献】特開２０２２－１８９２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上記技術では、エンコーダデコーダモデルのパラメータ数が増加する場合がある。言い換えると、ニューラルネットワークモデルであるエンコーダデコーダモデルのパラメータ数を増加させずに学習安定性を向上させることができなかった。

【0008】

本開示は、ニューラルネットワークモデルのパラメータ数を増加させずに学習安定性を向上させることを目的とする。

【課題を解決するための手段】

【0009】

本開示の学習装置は、変換元のシーケンスデータと変換先のシーケンスデータとを含む学習用データを取得するデータ取得部と、前記学習用データを用いて、前記変換元のシーケンスデータから前記変換先のシーケンスデータを推論するための学習モデルを生成するモデル生成部と、を有し、前記モデル生成部は、前記変換元のシーケンスデータが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層を含むエンコーダと、前記変換先のシーケンスデータと前記エンコーダの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層を含むデコーダと、を有し、前記Ｎ層のエンコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成され、前記Ｍ層のデコーダ層の各々は、注意機構と残差接続とを含む他のニューラルネットワークで構成される。前記エンコーダは、前記Ｎ層のエンコーダ層のうちの第１のエンコーダ層の出力である第１の出力を前記第１のエンコーダ層より２層以上、下層の第２のエンコーダ層の残差接続である第１の補助的残差接続に加える第１の経路を有する。前記デコーダは、前記Ｍ層のデコーダ層のうちの第１のデコーダ層の出力である第２の出力を前記第１のデコーダ層より２層以上、下層の第２のデコーダ層の残差接続である第２の補助的残差接続に加える第２の経路を有し、前記エンコーダは、前記第１のエンコーダ層の前記第１の出力が予め決められた第１の条件を満たさないときに、前記第１の出力を前記第１の経路に出力させない第１の接続判定部を有し、前記デコーダは、前記第１のデコーダ層の前記第２の出力が予め決められた第２の条件を満たさないときに、前記第２の出力を前記第２の経路に出力させない第２の接続判定部を有する。

【0010】

本開示の推論装置は、変換元のシーケンスデータを取得するデータ取得部と、前記変換元のシーケンスデータから前記変換先のシーケンスデータを推論するための学習モデルを用いて、前記データ取得部から取得された前記変換元のシーケンスデータから前記変換先のシーケンスデータを出力する推論部と、を有し、前記推論部は、前記変換元のシーケンスデータが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層を含むエンコーダと、前記変換先のシーケンスデータと前記エンコーダの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層を含むデコーダと、を有し、前記Ｎ層のエンコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成され、前記Ｍ層のデコーダ層の各々は、注意機構と残差接続とを含むニューラルネットワークで構成される。前記エンコーダは、前記Ｎ層のエンコーダ層のうちの第１のエンコーダ層の出力である第１の出力を前記第１のエンコーダ層より２層以上、下層の第２のエンコーダ層の残差接続である第１の補助的残差接続に加える第１の経路を有する。前記デコーダは、前記Ｍ層のデコーダ層のうちの第１のデコーダ層の出力である第２の出力を前記第１のデコーダ層より２層以上、下層の第２のデコーダ層の残差接続である第２の補助的残差接続に加える第２の経路を有し、前記エンコーダは、前記第１のエンコーダ層の前記第１の出力が予め決められた第１の条件を満たさないときに、前記第１の出力を前記第１の経路に出力させない第１の接続判定部を有し、前記デコーダは、前記第１のデコーダ層の前記第２の出力が予め決められた第２の条件を満たさないときに、前記第２の出力を前記第２の経路に出力させない第２の接続判定部を有する。

【発明の効果】

【0011】

本開示によれば、ニューラルネットワークモデルのパラメータ数を増加させずに学習安定性を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】機械学習・推論装置の構成を示すブロック図である。

【図2】実施の形態１から３に係る学習装置の構成を示すブロック図である。

【図3】実施の形態１から３に係る推論装置の構成を示すブロック図である。

【図4】実施の形態１から３に係る学習装置の動作を示すフローチャートである。

【図5】実施の形態１から３に係る推論装置の動作を示すフローチャートである。

【図6】図１の機械学習・推論装置のハードウェア構成の例を示す図である。

【図7】図２のモデル生成部としてのエンコーダデコーダモデルの構成を示すブロック図である。

【図8】図３の推論部としてのエンコーダデコーダモデルの構成を示すブロック図である。

【図9】比較例の学習装置のモデル生成部又は推論装置の推論部としてのエンコーダデコーダモデルの構成を示すブロック図である。

【図10】図９のエンコーダデコーダモデルのエンコーダの構成を示す図である。

【図11】図９のエンコーダデコーダモデルのデコーダの構成を示す図である。

【図12】実施の形態１に係る学習装置又は推論装置のエンコーダデコーダモデルのエンコーダの構成を示す図である。

【図13】実施の形態１に係る学習装置又は推論装置のエンコーダデコーダモデルのデコーダの構成を示す図である。

【図14】実施の形態２に係る学習装置又は推論装置のエンコーダデコーダモデルのエンコーダの構成を示す図である。

【図15】実施の形態２に係る学習装置又は推論装置のエンコーダデコーダモデルのデコーダの構成を示す図である。

【図16】実施の形態３に係る学習装置又は推論装置のエンコーダデコーダモデルのエンコーダの構成を示す図である。

【図17】実施の形態３に係る学習装置又は推論装置のエンコーダデコーダモデルのデコーダの構成を示す図である。

【発明を実施するための形態】

【0013】

以下に、実施の形態に係る学習装置、学習方法、学習プログラム、推論装置、推論方法、及び推論プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

【0014】

《１》学習装置及び推論装置
図１は、機械学習・推論装置１０の構成を示すブロック図である。図１に示されるように、実施の形態に係る機械学習・推論装置１０は、学習用データＬを入力として、機械学習モデル（単に「学習モデル」ともいう。）Ｐ（すなわち、学習モデルＰのパラメータ）を学習して、出力する機械学習装置（単に「学習装置」ともいう。）１１と、学習装置１１から出力された学習モデルＰ（すなわち、学習モデルＰのパラメータ）を用いて推論を行う推論装置１２とを有している。機械学習・推論装置１０は、例えば、コンピュータである。また、学習装置１１と推論装置１２とは、互いに異なる装置であってもよい。

【0015】

図２は、実施の形態１から３に係る学習装置１１の構成を示すブロック図である。学習装置１１は、実施の形態１から３に係る学習方法を実行することができる装置である。学習装置１１は、例えば、実施の形態１から３に係る学習プログラムを実行することができるコンピュータである。学習装置１１は、変換元のシーケンスデータＬｅと変換先のシーケンスデータＬｄとを含む学習用データＬを取得するデータ取得部１１１と、学習用データＬを用いて、変換元のシーケンスデータＬｅから変換先のシーケンスデータＬｄを推論するための学習モデルＰを生成するモデル生成部１１２と、モデル生成部１１２で生成された学習モデルＰを記憶する記憶装置１１３とを有している。記憶装置１１３は、必ずしも学習装置１１の一部である必要はなく、学習装置１１と通信可能な装置（例えば、ネットワーク上のサーバー）の一部であってもよい。

【0016】

図３は、実施の形態１から３に係る推論装置１２の構成を示すブロック図である。推論装置１２は、実施の形態１から３に係る推論方法を実行することができる装置である。推論装置１２は、例えば、実施の形態１から３に係る推論プログラムを実行することができるコンピュータである。推論装置１２は、変換元のシーケンスデータＩｅを取得するデータ取得部１２１と、変換元のシーケンスデータＩｅから変換先のシーケンスデータＩｄを推論するための学習モデルＰを用いて、データ取得部１２１から取得された変換元のシーケンスデータＩｅから変換先のシーケンスデータＩｄを出力する推論部１２２と、学習モデルＰを記憶する記憶装置１２３とを有している。記憶装置１２３は、必ずしも推論装置１２の一部である必要はなく、推論装置１２と通信可能な装置（例えば、ネットワーク上のサーバー）の一部であってもよい。

【0017】

図４は、実施の形態１から３に係る学習装置１１の動作を示すフローチャートである。ステップＳ１０１において、まず、学習装置１１は、学習用データＬを入力する。

【0018】

次のステップＳ１０２において、学習装置１１は、ステップＳ１０１で入力した学習用データＬを用いて、学習モデルＰのパラメータを学習する。なお、パラメータの学習に用いる最適化手法としては任意の最適化手法を用いることができる。例えば、パラメータの学習に、Ａｄａｍなどの最適化アルゴリズムを用いることができる。

【0019】

次のステップＳ１０３において、学習装置１１は、ステップＳ１０２で学習した機械学習モデルＰのパラメータを所定の出力先（例えば、記憶装置、ディスプレイ、通信ネットワークを介して接続される他の装置、など）に出力する。これにより、学習モデルＰのパラメータが学習及び出力される。

【0020】

ここで、学習用データＬは、例えば、機械翻訳用のデータである。入力シーケンスが翻訳元言語の単語のシーケンス、例えば、文又は句である場合、出力シーケンスは、翻訳元言語の翻訳先言語への変換結果、つまり翻訳元言語の単語のシーケンスと同じ意味を表す翻訳先言語の単語のシーケンスである。

【0021】

また、学習用データＬは、例えば、自然言語処理用のデータであっても良い。例えば、入力シーケンスが特定の言語の単語のシーケンス、例えば、文又は句である場合、出力シーケンスは、特定の言語の要約結果、つまり入力シーケンスよりも少ない単語で構成されるが、入力シーケンスの本質的な意味を保持するシーケンスである。

【0022】

また、学習用データＬは、例えば、自然言語処理用のデータであっても良い。例えば、入力シーケンスが質問を意味する単語のシーケンスである場合、出力シーケンスは、質問への回答を意味する単語のシーケンスである。

【0023】

また、学習用データＬは、例えば、音声認識用のデータであっても良い。例えば、入力シーケンスが人間の口頭での発話を表す音声データのシーケンスである場合、出力シーケンスは、発話内容を表す、音素、特徴量、又は単語のシーケンスである。

【0024】

また、学習用データＬは、例えば、画像処理用のデータであっても良い。例えば、入力シーケンスが画像、つまり画像に含まれる色又は明度等のシーケンスである場合、出力シーケンスは、画像を説明するテキストのシーケンスである。

【0025】

また、学習用データＬは、例えば、異常検知用のデータであっても良い。例えば、入力シーケンスが特定のセンサで取得されたデータのシーケンスである場合、出力シーケンスは、正常又は異常を表すテキストのシーケンスである。

【0026】

また、学習用データＬは、例えば、異常予測用のデータであっても良い。例えば、入力シーケンスが特定のセンサで取得されたデータのシーケンスである場合、出力シーケンスは、未来の異常発生の可能性を表すテキストのシーケンスである。

【0027】

また、学習用データＬは、例えば、需要予測用のデータであっても良い。例えば、入力シーケンスが任意の期間における製品販売数に関するデータのシーケンスである場合、出力シーケンスは、未来の製品需要を表すテキストのシーケンスである。

【0028】

図５は、実施の形態１から３に係る推論装置１２の動作を示すフローチャートである。ステップＳ２０１において、まず、推論装置１２は、入力シーケンスデータＩを入力する。

【0029】

次のステップＳ２０２において、推論装置１２は、学習済みの学習モデルＰのパラメータを用いて、ステップＳ２０１で入力した入力シーケンスデータＩを、出力データＯｐに変換する。

【0030】

次のステップＳ２０３において、推論装置１２は、ステップＳ２０２で得られた出力結果を所定の出力先（例えば、記憶装置、ディスプレイ、通信ネットワークを介して接続される他の装置、など）に出力する。これにより、学習済みの学習モデルＰによって、入力シーケンスデータＩが出力データＯｐに変換及び出力される。

【0031】

図６は、機械学習・推論装置１０のハードウェア構成の例を示す図である。実施の形態に係る機械学習・推論装置１０は、入力装置１０２と、表示装置１０５と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０６と、プロセッサ１０１と、メモリ装置１０４とを有する。これら各ハードウェアは、それぞれがバス１０８を介して通信可能に接続されている。図２に示される学習装置１１のハードウェア構成は、図６の構成と同様である。また、図３に示される推論装置１２のハードウェア構成は、図６の構成と同様である。

【0032】

入力装置１０２は、例えば、キーボード、マウス、タッチパネルなどである。表示装置１０５は、例えば、ディスプレイなどである。

【0033】

外部Ｉ／Ｆ１０３は、記録媒体を有する外部装置とのインタフェースである。機械学習・推論装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体の読み取りや書き込みなどを行うことができる。記録媒体１０７には、例えば、機械学習・推論装置１０が有する各機能部を実現する１以上のプログラムが格納されていてもよい。また、記録媒体１０７には、学習データ及び学習モデルのパラメータなどが格納されてもよい。なお、記録媒体１０７には、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙｃａｒｄ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカード等がある。

【0034】

通信Ｉ／Ｆ１０６は、機械学習・推論装置１０を通信ネットワークに接続するためのインタフェースである。なお、機械学習・推論装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ１０６を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。また、学習データや学習済みの機械学習モデルのパラメータ等は、通信Ｉ／Ｆ１０６を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

【0035】

プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の各種演算装置である。機械学習・推論装置１０が有する各機能部は、例えば、メモリ装置１０４に格納されている１以上のプログラムがプロセッサに実行させる処理により実現される。

【0036】

メモリ装置１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ ＳｔａｔｅＤｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種記憶装置である。学習データや機械学習モデルのパラメータ等は、例えば、メモリ装置１０４に格納される。

【0037】

なお、図６に示されるハードウェア構成は一例であって、機械学習・推論装置１０、学習装置１１、及び推論装置１３は、他のハードウェア構成を有してもよい。

【0038】

図７は、図２の学習装置１１のモデル生成部１１２としてのエンコーダデコーダモデルの構成を示すブロック図である。モデル生成部１１２は、例えば、トランスフォーマーである。モデル生成部１１２は、エンコーダ１１ｅと、デコーダ１１ｄとを有している。エンコーダ１１ｅは、複数のトランスフォーマー層（すなわち、複数のエンコーダ層）１１ｅ＿１，…，１１ｅ＿Ｎを有している。Ｎは３以上の整数である。デコーダ１１ｄは、複数のトランスフォーマー層（すなわち、複数のデコーダ層）１１ｄ＿１，…，１１ｄ＿Ｍを有している。Ｍは３以上の整数である。また、Ｎ＝Ｍであってもよい。

【0039】

図８は、図３の推論装置１２の推論部１２２としてのエンコーダデコーダモデルの構成を示すブロック図である。推論部１２２は、例えば、トランスフォーマーである。推論部１２２は、エンコーダ１２ｅと、デコーダ１２ｄとを有している。エンコーダ１２ｅは、複数のトランスフォーマー層（すなわち、複数のエンコーダ層）１２ｅ＿１，…，１２ｅ＿Ｎを有している。Ｎは３以上の整数である。デコーダ１２ｄは、複数のトランスフォーマー層（すなわち、複数のデコーダ層）１２ｄ＿１，…，１２ｄ＿Ｍを有している。Ｍは３以上の整数である。また、Ｎ＝Ｍであってもよい。

【0040】

《２》比較例
図９は、比較例の学習装置のモデル生成部又は推論装置の推論部としてのエンコーダデコーダモデルの構成を示すブロック図である。図１０は、図９のエンコーダデコーダモデルのエンコーダである比較例のエンコーダの構成を示す図である。また、図１１は、図９のエンコーダデコーダモデルのデコーダである比較例のデコーダの構成を示す図である。

【0041】

エンコーダデコーダモデルは、エンコーダ１１ｅ´（又は１２ｅ´）及びデコーダ１１ｄ´（又は１２ｄ´）からなるニューラルネットワークモデルである。エンコーダ１１ｅ´（又は１２ｅ´）は、入力シーケンスである入力文章は、入力埋め込み層（Ｅｍｂｅｄｄｉｎｇ層）で圧縮処理され、位置埋め込み層（Ｐｏｓｉｔｉｏｎ Ｅｎｃｏｄｉｎｇ層）で入力の位置（単語が文におけるどこにあるか、など）が付加され、エンコーダのメイン部分に入力される。

【0042】

エンコーダ１１ｅ´（又は１２ｅ´）はスタック型であり、複数のブロックから構成される。エンコーダ１１ｅ´（又は１２ｅ´）では、マルチヘッド注意機構であるマルチヘッド注意（Ｅ１）が適用され、残差接続（Ｅ２）のベクトル（つまり変換元のシーケンスデータ）と、マルチヘッド注意（Ｅ１）の出力ベクトルとが足し合わされ、層正規化（Ｅ３）が行われる。次に、全結合層（Ｅ４）で位置ごとの全結合が適用され、残差接続（Ｅ５）のベクトル（つまり層正規化（Ｅ３）の出力ベクトル）と全結合層（Ｅ４）の出力ベクトルとを足し合わせて、層正規化（Ｅ６）が行われる。

【0043】

デコーダ１１ｄ´（又は１２ｄ´）はスタック型であり、複数のブロックから構成される。デコーダでは、マスク付きマルチヘッド注意（Ｄ１）が適用され、未来の入力が考慮されないように構成されている。残差接続（Ｄ２）のベクトル（つまり変換元のシーケンスデータ）と、マスク付きマルチヘッド注意の出力ベクトルとが足し合わされ、層正規化（Ｄ３）が行われる。次に、マルチヘッド注意（Ｄ４）でエンコーダ１１ｅ´（又は１２ｅ´）の出力が利用され、残差接続（Ｄ５）のベクトル（つまり層正規化（Ｄ３）の出力ベクトル）とマルチヘッド注意（Ｄ４）の出力ベクトルとを足し合わせて、層正規化（Ｄ６）が行われる。エンコーダデコーダモデルの詳細は、非特許文献１及び特許文献１で説明されている。

【0044】

《３》実施の形態１
図１２は、実施の形態１に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのエンコーダ１１ｅ又は１２ｅの構成を示す図である。図１３は、実施の形態１に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのデコーダ１１ｄ又は１２ｄの構成を示す図である。

【0045】

図１２におけるマルチヘッド注意、残差接続、層正規化、全結合層、残差接続、層正規化は、図９及び図１０におけるマルチヘッド注意（Ｅ１）、残差接続（Ｅ２）、層正規化（Ｅ３）、全結合層（Ｅ４）、残差接続（Ｅ５）、層正規化（Ｅ６）と同じである。図１３におけるマスク付きマルチヘッド注意、残差接続、層正規化、マルチヘッド注意、残差接続、層正規化は、図９及び図１１におけるマスク付きマルチヘッド注意（Ｄ１）、残差接続（Ｄ２）、層正規化（Ｄ３）、マルチヘッド注意（Ｄ４）、残差接続（Ｄ５）、層正規化（Ｄ６）と同じである。

【0046】

〈学習装置〉
実施の形態１に係る学習装置１１のモデル生成部１１２（図７）は、学習用データＬを用いて、変換元のシーケンスデータ（入力シーケンスデータ）Ｌｅから変換先のシーケンスデータ（出力シーケンスデータ）Ｌｄを推論するための学習モデルＰを生成する。

【0047】

モデル生成部１１２（図７）は、変換元のシーケンスデータＬｅが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層１１ｅ＿１，…，１１ｅ＿Ｎを含むエンコーダ（すなわち、トランスフォーマー層）１１ｅ（図１２）と、変換先のシーケンスデータＬｄとエンコーダ１１ｅの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層１１ｄ＿１，…，１１ｄ＿Ｍを含むデコーダ（すなわち、トランスフォーマー層）１１ｄ（図１３）とを有している。

【0048】

図１２に示されるように、Ｎ層のエンコーダ層１１ｅ＿１，…，１１ｅ＿Ｎの各々は、注意機構と残差接続とを含むニューラルネットワークで構成されている。図１３に示されるように、Ｍ層のデコーダ層１１ｄ＿１，…，１１ｄ＿Ｍの各々は、注意機構と残差接続とを含む他のニューラルネットワークで構成されている。

【0049】

図１２に示されるように、エンコーダ１１ｅは、Ｎ層のエンコーダ層１１ｅ＿１，…，１１ｅ＿Ｎのうちの第１のエンコーダ層１１ｅ＿ｎ（ｎは、１≦ｎ≦Ｎ－２を満たす整数）の出力である第１の出力をエンコーダ層１１ｅ＿ｎより２層以上、下層の第２のエンコーダ層１１ｅ＿ｎ＋α（αは、α≧２を満たす整数）の残差接続である補助的残差接続（「第１の補助的残差接続」ともいう。）２１ｅに加える経路（「第１の経路」ともいう。）２２ｅを有している。図１２において、ｎ＝１であり、α＝２であるが、これらの値に限定されない。図１２において、補助的残差接続２１ｅは、直前の全結合層の出力と、この全結合層の直前の層正規化の出力と、２層上流のエンコーダ層１１ｅ＿１の層正規化の出力とを足し合わせて出力する。

【0050】

図１３に示されるように、デコーダ１１ｄは、Ｍ層のデコーダ層１１ｄ＿１，…，１１ｄ＿Ｍのうちの第１のデコーダ層１１ｄ＿ｍ（ｍは、１≦ｍ≦Ｍ－２を満たす整数）の出力である第２の出力をデコーダ層１１ｄ＿ｍより２層以上、下層の第２のデコーダ層１１ｄ＿ｎ＋β（βは、β≧２を満たす整数）の残差接続である補助的残差接続（「第２の補助的残差接続」ともいう。）２１ｄに加える経路（「第２の経路」ともいう。）２２ｄを有している。図１３において、ｍ＝１であり、β＝２であるが、これらの値に限定されない。図１３において、補助的残差接続２１ｄは、直前の全結合層の出力と、この全結合層の直前の層正規化の出力と、２層上流のデコーダ層１１ｄ＿１の層正規化の出力とを足し合わせて出力する。

【0051】

〈推論装置〉
推論部１２２（図８）は、変換元のシーケンスデータＩｅから変換先のシーケンスデータＩｄを推論するための学習モデルＰを用いて、データ取得部１２１（図８）から取得された変換元のシーケンスデータＩｅから変換先のシーケンスデータＩｄを出力する。

【0052】

推論部１２２は、変換元のシーケンスデータＩｅが入力され、３以上の整数回であるＮ回積み重ねられたＮ層のエンコーダ層１２ｅ＿１，…，１２ｅ＿Ｎを含むエンコーダ（すなわち、トランスフォーマー層）１２ｅと、変換先のシーケンスデータＩｄとエンコーダ１２ｅの出力とが入力され、３以上の整数回であるＭ回積み重ねられたＭ層のデコーダ層１２ｄ＿１，…，１２ｄ＿Ｍを含むデコーダ（すなわち、トランスフォーマー層）１２ｄとを有している。

【0053】

Ｎ層のエンコーダ層１２ｅ＿１，…，１２ｅ＿Ｎの各々は、注意機構と残差接続とを含むニューラルネットワークで構成されている。また、Ｍ層のデコーダ層１２ｄ＿１，…，１２ｄ＿Ｍの各々は、注意機構と残差接続とを含むニューラルネットワークで構成されている。

【0054】

図１２に示されるように、エンコーダ１２ｅは、Ｎ層のエンコーダ層１２ｅ＿１，…，１２ｅ＿Ｎのうちの第１のエンコーダ層１２ｅ＿ｎ（ｎは、１≦ｎ≦Ｎ－２を満たす整数）の出力である第１の出力をエンコーダ層１２ｅ＿ｎより２層以上、下層の第２のエンコーダ層１２ｅ＿ｎ＋α（αは、α≧２を満たす整数）の残差接続である補助的残差接続（「第１の補助的残差接続」ともいう。）２１ｅに加える経路（「第１の経路」ともいう。）２２ｅを有している。図１２において、ｎ＝１であり、α＝２であるが、これらの値に限定されない。図１２において、補助的残差接続２１ｅは、直前の全結合層の出力と、この全結合層の直前の層正規化の出力と、２層上流のエンコーダ層１２ｅ＿１の層正規化の出力とを足し合わせて出力する。

【0055】

図１３に示されるように、デコーダ１２ｄは、Ｍ層のデコーダ層１２ｄ＿１，…，１２ｄ＿Ｍのうちの第１のデコーダ層１２ｄ＿ｍ（ｍは、１≦ｍ≦Ｍ－２を満たす整数）の出力である第２の出力を第１のデコーダ層１２ｄ＿ｍより２層以上、下層の第２のデコーダ層１２ｄ＿ｎ＋β（βは、β≧２を満たす整数）の残差接続である補助的残差接続（「第２の補助的残差接続」ともいう。）２１ｄに加える経路（「第２の経路」ともいう。）２２ｄを有している。図１３において、ｍ＝１であり、β＝２であるが、これらの値に限定されない。図１３において、補助的残差接続２１ｄは、直前の全結合層の出力と、この全結合層の直前の層正規化の出力と、２層上流のデコーダ層１２ｄ＿１の層正規化の出力とを足し合わせて出力する。

【0056】

〈効果〉
実施の形態１では、エンコーダ１１ｅのエンコーダ層の出力を２層以上、下層のエンコーダ層内の残差接続である補助的残差接続２１ｅに接続する経路２２ｅを追加している。この経路２２ｅは、トランスフォーマー層の安定的なパラメータ更新を補助する役割を担う。

【0057】

同様に、実施の形態１では、デコーダ１１ｄのデコーダ層の出力を２層以上、下層のデコーダ層内の残差接続である補助的残差接続２１ｄに接続する経路２２ｄを追加している。この経路２２ｄは、トランスフォーマー層の安定的なパラメータ更新を補助する役割を担う。

【0058】

例えば、図９から図１１に示される比較例のエンコーダデコーダモデル（すなわち、トランスフォーマー）では、学習時に計算される勾配が層正規化のタイミングで小さくなる傾向にあり、層正規化が勾配消失の原因と考えられている。図９から図１１に示されるように、トランスフォーマーの構造は層正規化を繰り返す構造になっているため、勾配を繰り返し小さくすることになり、多層のトランスフォーマー層を有するので、勾配消失が大きくなりやすい。

【0059】

図９に示される比較例のエンコーダデコーダモデルにおいて、トランスフォーマー層内のマルチヘッド注意機構及び全結合層のようなサブレイヤを関数Ｆ（ｘ）で表し、サブレイヤへの入力をｘ、層正規化を関数ＬＮで表すと、前向き計算した層正規化後の出力は、以下の式（１）のようになる。

【0060】

【数1】

【0061】

次に、学習時に計算される式（１）の関数ＬＮの微分値（すなわち、勾配）は、以下の式（２）のようになる。

【0062】

【数2】

【0063】

式（２）のように、比較例のトランスフォーマー層では、関数ＬＮの微分と、サブレイヤを表す関数Ｆ（ｘ）と残差接続の微分との積となる。ここで、関数ＬＮの微分は以下の式（３）で表され、（Ｆ（ｘ）と残差接続）の微分（すなわち、（ｘ＋Ｆ（ｘ））の微分）は以下の式（４）で表される。

【0064】

【数3】

【0065】

この関数ＬＮの微分が学習時に大きく減衰した場合、トランスフォーマーが層正規化を繰り返す構造になっているため、大きな勾配消失の原因につながると考えられている。

【0066】

実施の形態１では、ｎ層目の２回目の層正規化の入力に、ｎ－２層目の出力を加える。本来ｎ層目で１回目の層正規化を経由した値が２回目の層正規化の入力になるが、ｎ層目の１回目の層正規化を経由しない値としてｎ－２層目の出力をｎ層目の２回目の層正規化の入力として加えることで、勾配を大きく変化させない役割を担う。

【0067】

以上に説明したように、実施の形態１によれば、エンコーダデコーダモデルのパラメータ数を増加させずに学習安定性を向上させることができる。

【0068】

《４》実施の形態２
図１４は、実施の形態２に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのエンコーダ１１ｅ又は１２ｅの構成を示す図である。実施の形態２に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのエンコーダ１１ｅ又は１２ｅは、接続判定部２３ｅを備えた点が、実施の形態１のものと異なる。

【0069】

図１５は、実施の形態２に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのデコーダ１１ｄ又は１２ｄの構成を示す図である。実施の形態２に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのエンコーダ１１ｅ又は１２ｅは、接続判定部２３ｄを備えた点が、実施の形態１のものと異なる。

【0070】

実施の形態２のエンコーダ１１ｅは、第１のエンコーダ層１１ｅ＿ｎの第１の出力が予め決められた第１の条件を満たさないときに、第１の出力を経路２２ｅに出力させない接続判定部（「第１の接続判定部」ともいう。）２３ｅを有している。実施の形態２のデコーダ１１ｄは、第１のデコーダ層１１ｄ＿ｍの第２の出力が予め決められた第２の条件を満たさないときに、第２の出力を第２の経路２２ｄに出力させない接続判定部（「第２の接続判定部」ともいう。）２３ｄを有している。

【0071】

トランスフォーマーの学習において、各層のパラメータ更新量には違いがある。基本的に、学習時のパラメータ更新量が少ない場合、学習が進んでおらず不安定な状態が継続する。この性質を考慮し、特にパラメータ更新量が少ないトランスフォーマー層内の残差接続を、補助的残差接続２１ｅとして、パラメータ更新量が少ないトランスフォーマー層の情報を予め接続判定部２３ｅに備えておき、パラメータ更新量が少ないトランスフォーマー層のみ補助的残差接続２１ｅに上流の層からのパラメータ更新量が少ないトランスフォーマー層の情報を与える。

【0072】

実施の形態２のエンコーダ１２ｅは、第１のエンコーダ層１２ｅ＿ｎの第１の出力が予め決められた第１の条件を満たさないときに、第１の出力を第１の経路（２２ｅ）に出力させない第１の接続判定部２３ｅを有している。実施の形態２のデコーダ１２ｄは、第１のデコーダ層１２ｄ＿ｍの第２の出力が予め決められた第２の条件を満たさないときに、第２の出力を第２の経路（２２ｄ）に出力させない第２の接続判定部２３ｄを有している。

【0073】

推論において、特にパラメータ更新量が少ないトランスフォーマー層内の残差接続を、補助的残差接続２１ｄとして、パラメータ更新量が少ないトランスフォーマー層の情報を予め接続判定部２３ｄに備えておき、パラメータ更新量が少ないトランスフォーマー層のみ補助的残差接続２１ｄに上流の層からのパラメータ更新量が少ないトランスフォーマー層の情報を与える。

【0074】

以上に説明したように、実施の形態２によれば、パラメータ更新量が少ない層に限定して補助的残差接続を適用することで、最小限の変更でエンコーダデコーダモデルのパラメータ数を増加させずに学習安定性を向上させることができる。

【0075】

上記以外に関して、実施の形態２は実施の形態１と同じである。

【0076】

《５》実施の形態３
図１６は、実施の形態３に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのエンコーダ１１ｅ又は１２ｅの構成を示す図である。実施の形態３に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのエンコーダ１１ｅ又は１２ｅは、調整部（「第１の調整部」ともいう。）２４ｅを備えた点が、実施の形態１のものと異なる。

【0077】

図１７は、実施の形態３に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのデコーダ１１ｄ又は１２ｄの構成を示す図である。実施の形態３に係る学習装置１１又は推論装置１２のエンコーダデコーダモデルのデコーダ１１ｄ又は１２ｄは、調整部（「第２の調整部」ともいう。）２４ｄを備えた点が、実施の形態１のものと異なる。

【0078】

調整部２４ｅ、２４ｄは、補助的残差接続２１ｅ、２１ｄに加える値に重み付けする重み付け処理を行う。トランスフォーマー層の出力を下層のトランスフォーマー層の補助的残差接続２１ｅ、２１ｄに接続する際、調整部２４ｅ、２４ｄで決定された係数によって重み付けをしてから残差接続する。調整部２４ｅ、２４ｄで扱う係数は事前に人手でによって与えられたものであってもよいし、ニューラルネットワークのパラメータとして機械学習によって決定されたものであってもよい。

【0079】

以上に説明したように、実施の形態３によれば、調整部２４ｅ、２４ｄによってパラメータ更新量を最適な残差接続を適用することができるように調整するので、エンコーダデコーダモデルのパラメータ数を増加させずに学習安定性を向上させることができる。

【0080】

上記以外に関して、実施の形態３は実施の形態１と同じである。また、実施の形態３の調整部を実施の形態２に適用することも可能である。

【0081】

《６》変形例
上記実施の形態では、少なくとも１つの注意機構と残差接続を含むニューラルネットワークで構成されるエンコーダ層又はデコーダ層を複数組み合わせたニューラルネットワークモデルとして、複数のトランスフォーマー層を用いている。複数のトランスフォーマー層を用いたニューラルネットワークモデルの代わりに、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）を用いたモデル、ＧＰＴ（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ）を用いたモデル、又はＴ５（Ｔｅｘｔ－ｔｏ－Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｔｒａｎｓｆｏｒｍｅｒ）を用いたモデル、などを使用することができる。ＢＥＲＴは非特許文献２に、ＧＰＴは非特許文献３に、Ｔ５は非特許文献４に記載されている。

【0082】

【文献】Ｊａｃｏｂ Ｄｅｖｌｉｎ ほか２名著、 “ＢＥＲＴ： Ｐｒｅ－ｔｒａｉｎｉｎｇ ｏｆ Ｄｅｅｐ Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｔｒａｎｓｆｏｒｍｅｒｓ ｆｏｒ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ”、 ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８１０．０４８０５、 ２０１８年．

【文献】Ａｌｅｃ Ｒａｄｆｏｒｄ ほか３名著、 “Ｉｍｐｒｏｖｉｎｇ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｂｙ Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－Ｔｒａｉｎｉｎｇ”、 ２０１８年．

【文献】Ｃｏｌｉｎ Ｒａｆｆｅｌ ほか８名著、 “Ｅｘｐｌｏｒｉｎｇ ｔｈｅ Ｌｉｍｉｔｓ ｏｆ Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ ｗｉｔｈ ａ Ｕｎｉｆｉｅｄ Ｔｅｘｔ－ｔｏ－Ｔｅｘｔ Ｔｒａｎｓｆｏｒｍｅｒ”、 Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， ２１（１）、 ５４８５－５５５１、 ２０２０年．

【符号の説明】

【0083】

１０ 機械学習・推論装置、 １１ 学習装置、 １２ 推論装置、 １１１ データ取得部、 １１２ モデル生成部、 １２１ データ取得部、 １２２ 推論部、 １１ｅ エンコーダ、 １１ｅ＿１，…，１１ｅ＿Ｎ エンコーダ層、 １１ｅ＿ｎ（１≦ｎ≦Ｎ－２） 第１のエンコーダ層、 １１ｅ＿ｎ＋α（α≧２） 第２のエンコーダ層、 １１ｄ デコーダ、 １１ｄ＿１，…，１１ｄ＿Ｍ デコーダ層、 １１ｄ＿ｍ（１≦ｍ≦Ｍ－２） 第１のデコーダ層、 １１ｄ＿ｎ＋β（β≧２） 第２のデコーダ層、 １２ｅ エンコーダ、 １２ｅ＿１，…，１２ｅ＿Ｎ エンコーダ層、 １２ｅ＿ｎ（１≦ｎ≦Ｎ－２） 第１のエンコーダ層、 １２ｅ＿ｎ＋α（α≧２） 第２のエンコーダ層、 １２ｄ デコーダ、 １２ｄ＿１，…，１２ｄ＿Ｍ デコーダ層、 １２ｄ＿ｍ（１≦ｍ≦Ｍ－２） 第１のデコーダ層、 １２ｄ＿ｎ＋β（β≧２） 第２のデコーダ層、 ２１ｅ 補助的残差接続（第１の補助的残差接続）、 ２２ｅ 経路（第１の経路）、 ２１ｄ 補助的残差接続（第２の補助的残差接続）、 ２２ｄ 経路（第２の経路）、 ２３ｅ 接続判定部（第１の接続判定部）、 ２３ｄ 接続判定部（第２の接続判定部）、 ２４ｅ 調整部（第１の調整部）、 ２４ｄ 調整部（第２の調整部）、 Ｌ 学習用データ、 Ｌｅ 変換元のシーケンスデータ、 Ｌｄ 変換先のシーケンスデータ、 Ｉｅ 変換元のシーケンスデータ、 Ｉｄ 変換先のシーケンスデータ、 Ｐ 学習モデル。

【要約】

学習装置（１１）は、Ｎ層のエンコーダ層を含むエンコーダ（１１ｅ）とＭ層のデコーダ層を含むデコーダ（１１ｄ）とを有する。エンコーダ（１１ｅ）は、Ｎ層のエンコーダ層（１１ｅ＿１，…，１１ｅ＿Ｎ）のうちの第１のエンコーダ層（１１ｅ＿ｎ、１≦ｎ≦Ｎ－２）の出力である第１の出力を第１のエンコーダ層（１１ｅ＿ｎ）より２層以上、下層の第２のエンコーダ層（１１ｅ＿ｎ＋α、α≧２）の残差接続である第１の補助的残差接続（２１ｅ）に加える第１の経路（２２ｅ）を有する。デコーダ（１１ｄ）は、Ｍ層のデコーダ層（１１ｄ＿１，…，１１ｄ＿Ｍ）のうちの第１のデコーダ層（１１ｄ＿ｍ、１≦ｍ≦Ｍ－２）の出力である第２の出力を第１のデコーダ層（１１ｄ＿ｍ）より２層以上、下層の第２のデコーダ層（１１ｄ＿ｎ＋β、β≧２）の残差接続である第２の補助的残差接続（２１ｄ）に加える第２の経路（２２ｄ）を有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】