特表 2024-528263 モデル拡張を用いた自己教師あり学習

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】モデル拡張を用いた自己教師あり学習

(51)【国際特許分類】

   G06N 3/0455 20230101AFI20240719BHJP

   G06N 3/088 20230101ALI20240719BHJP

【ＦＩ】

G06N3/0455

G06N3/088

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024506943

(86)(22)【出願日】2022-01-25

(85)【翻訳文提出日】2024-04-03

(86)【国際出願番号】 US2022013743

(87)【国際公開番号】W WO2023014398

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】63/230,474

(32)【優先日】2021-08-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/252,375

(32)【優先日】2021-10-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/579,377

(32)【優先日】2022-01-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506332063

【氏名又は名称】セールスフォース インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】リウ，ヅゥウェイ

(72)【発明者】

【氏名】シィォン，カイミン

(72)【発明者】

【氏名】リ，ヂィア

(72)【発明者】

【氏名】チェン，ヨンジュン

(57)【要約】

ニューラルネットワークシステムを提供するための方法は、訓練済ニューラルネットワークシステムを生成するためにニューラルネットワークに対して対照学習を実行することを含む。対照学習を実行することは、ニューラルネットワークシステムの第１のエンコーダに対して第１のモデル拡張を実行して、サンプルの第１の埋め込みを生成することと、第１のエンコーダに対して第２のモデル拡張を実行して、サンプルの第２の埋め込みを生成することと、第１の埋め込み及び第２の埋め込み基づくコントラスト損失を使用して、第１のエンコーダを最適化することと、を含む。訓練済ニューラルネットワークシステムが、タスクを実行するために提供される。

【特許請求の範囲】

【請求項1】

ニューラルネットワークシステムを提供するための方法であって、
訓練済ニューラルネットワークシステムを生成するために前記ニューラルネットワークシステムに対して対照学習を実行することを含み、前記対照学習を実行することは、
前記ニューラルネットワークシステムの第１のエンコーダに対して第１のモデル拡張を実行して、サンプルの第１の埋め込みを生成することと、
前記第１のエンコーダに対して第２のモデル拡張を実行して、前記サンプルの第２の埋め込みを生成することと、
前記第１の埋め込み及び前記第２の埋め込み基づくコントラスト損失を使用して、前記第１のエンコーダを最適化することと、
タスクを実行するために前記訓練済ニューラルネットワークシステムを提供することと、を含む、方法。

【請求項2】

前記第１のモデル拡張を実行することは、
前記第１のエンコーダに関連付けられた１つ以上のニューロンをランダムにマスキングすることによって、ニューロンマスキングを実行することか、
前記第１のエンコーダに関連付けられた１つ以上の層をドロッピングすることによって、層ドロッピングを実行することか、又は
第２のエンコーダを使用して、エンコーダ補完を実行することを含む、請求項１に記載の方法。

【請求項3】

前記ニューロンマスキングを実行することは、
マスキング確率に基づいて、前記第１のエンコーダに関連付けられた１つ以上の層の前記１つ以上のニューロンをランダムにマスキングすることを含む、請求項２に記載の方法。

【請求項4】

同じマスキング確率が各層に適用される、請求項３に記載の方法。

【請求項5】

異なるマスキング確率が異なる層に適用される、請求項３に記載の方法。

【請求項6】

前記層ドロッピングを実行することは、
前記第１のエンコーダに複数のアペンド層をアペンドすることと、
前記複数のアペンド層のうちの１つ以上をランダムにドロッピングすることと、を含む、請求項２に記載の方法。

【請求項7】

前記ニューロンマスキングは、前記第１のエンコーダのオリジナル層、又は前記複数のアペンド層のうちの１つに対して実行される、請求項６に記載の方法。

【請求項8】

前記エンコーダ補完を実行することは、
第２のエンコーダを事前訓練することによって、事前訓練済エンコーダを提供することと、
前記第１のエンコーダによって、前記サンプルの第１の中間埋め込みを提供することと、
前記事前訓練済エンコーダによって、前記サンプルの第２の中間埋め込みを提供することと、
対照学習のための前記第１の埋め込みを生成するために、前記第１の中間埋め込みと重み付けされた第２の中間埋め込みとを組み合わせることと、を含む、請求項２に記載の方法。

【請求項9】

前記第１のエンコーダ及び前記第２のエンコーダは、異なるタイプを有する、請求項１に記載の方法。

【請求項10】

前記第１のエンコーダは、トランスフォーマーベースのエンコーダであり、前記第２のエンコーダは、リカレントニューラルネットワーク（ＲＮＮ）ベースのエンコーダである、請求項６に記載の方法。

【請求項11】

複数の機械可読命令を含む非一時的な機械可読媒体であって、前記複数の機械可読命令は、１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに方法を実行させるように適応しており、前記方法は、
訓練済ニューラルネットワークシステムを生成するためにニューラルネットワークシステムに対して対照学習を実行することを含み、前記対照学習を実行することは、
前記ニューラルネットワークシステムの第１のエンコーダに対して第１のモデル拡張を実行して、サンプルの第１の埋め込みを生成することと、
前記第１のエンコーダに対して第２のモデル拡張を実行して、前記サンプルの第２の埋め込みを生成することと、
前記第１の埋め込み及び前記第２の埋め込み基づくコントラスト損失を使用して、前記第１のエンコーダを最適化することと、
タスクを実行するために前記訓練済ニューラルネットワークシステムを提供することと、を含む、非一時的な機械可読媒体。

【請求項12】

前記第１のモデル拡張を実行することは、
前記第１のエンコーダに関連付けられた１つ以上のニューロンをランダムにマスキングすることによって、ニューロンマスキングを実行することか、
前記第１のエンコーダに関連付けられた１つ以上の層をドロッピングすることによって、層ドロッピングを実行することか、又は
第２のエンコーダを使用して、エンコーダ補完を実行することを含む、請求項１１に記載の非一時的な機械可読媒体。

【請求項13】

前記ニューロンマスキングを実行することは、
マスキング確率に基づいて、前記第１のエンコーダに関連付けられた１つ以上の層の前記１つ以上のニューロンをランダムにマスキングすることを含む、請求項１２に記載の非一時的な機械可読媒体。

【請求項14】

前記層ドロッピングを実行することは、
前記第１のエンコーダに複数のアペンド層をアペンドすることと、
前記複数のアペンド層のうちの１つ以上をランダムにドロッピングすることと、を含む、請求項１２に記載の非一時的な機械可読媒体。

【請求項15】

前記エンコーダ補完を実行することは、
第２のエンコーダを事前訓練することによって、事前訓練済エンコーダを提供することと、
前記第１のエンコーダによって、前記サンプルの第１の中間埋め込みを提供することと、
前記事前訓練済エンコーダによって、前記サンプルの第２の中間埋め込みを提供することと、
対照学習のための前記第１の埋め込みを生成するために、前記第１の中間埋め込みと重み付けされた第２の中間埋め込みとを組み合わせることと、を含む、請求項１２に記載の非一時的な機械可読媒体。

【請求項16】

システムであって、
非一時的なメモリと、
前記非一時的なメモリに結合され、かつ前記非一時的なメモリから命令を読み出して、前記システムに方法を実行させるように構成された１つ以上のハードウェアプロセッサと、を含み、前記方法は、
訓練済ニューラルネットワークシステムを生成するためにニューラルネットワークシステムに対して対照学習を実行することを含み、前記対照学習を実行することは、
前記ニューラルネットワークシステムの第１のエンコーダに対して第１のモデル拡張を実行して、サンプルの第１の埋め込みを生成することと、
前記第１のエンコーダに対して第２のモデル拡張を実行して、前記サンプルの第２の埋め込みを生成することと、
前記第１の埋め込み及び前記第２の埋め込み基づくコントラスト損失を使用して、前記第１のエンコーダを最適化することと、
タスクを実行するために前記訓練済ニューラルネットワークシステムを提供することと、を含む、システム。

【請求項17】

前記第１のモデル拡張を実行することは、
前記第１のエンコーダに関連付けられた１つ以上のニューロンをランダムにマスキングすることによって、ニューロンマスキングを実行することか、
前記第１のエンコーダに関連付けられた１つ以上の層をドロッピングすることによって、層ドロッピングを実行することか、又は
第２のエンコーダを使用して、エンコーダ補完を実行することを含む、請求項１６に記載のシステム。

【請求項18】

前記ニューロンマスキングを実行することは、
マスキング確率に基づいて、前記第１のエンコーダに関連付けられた１つ以上の層の前記１つ以上のニューロンをランダムにマスキングすることを含む、請求項１７に記載のシステム。

【請求項19】

前記層ドロッピングを実行することは、
前記第１のエンコーダに複数のアペンド層をアペンドすることと、
前記複数のアペンド層のうちの１つ以上をランダムにドロッピングすることと、を含む、請求項１７に記載のシステム。

【請求項20】

前記エンコーダ補完を実行することは、
第２のエンコーダを事前訓練することによって、事前訓練済エンコーダを提供することと、
前記第１のエンコーダによって、前記サンプルの第１の中間埋め込みを提供することと、
前記事前訓練済エンコーダによって、前記サンプルの第２の中間埋め込みを提供することと、
対照学習のための前記第１の埋め込みを生成するために、前記第１の中間埋め込みと重み付けされた第２の中間埋め込みとを組み合わせることと、を含む、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０２２年１月１９日に出願された米国非仮特許出願第１７／５７９，３７７号、２０２１年１０月５日に出願された米国非仮特許出願第６３／２５２，３７５号、２０２１年８月６日に出願された米国仮出願第６３／２３０，４７４号に対する優先権を主張し、これらは、それらの全体が参照により本明細書に組み込まれる。

【0002】

本開示は、概して、ニューラルネットワークに関し、より具体的には、機械学習システム及びモデル拡張を用いた対照自己教師あり学習（ＳＳＬ）に関する。

【背景技術】

【0003】

機械学習における逐次的推奨は、シーケンス内の将来のアイテムを予測することを目的とし、重要な部分の１つは、シーケンス内のアイテム関係を特徴付けることである。
機械学習における従来のシーケンスモデリングは、シーケンスにおけるアイテム相関を明らかにする際の変換、例えば自己アテンションメカニズムの優位性を検証するために使用されることがある。例えば、トランスフォーマを使用して、アイテム埋め込みの重み付けされた集約によって、指定された位置に埋め込まれたシーケンスを推測することができ、重みは自己アテンションを介して学習される。

【0004】

しかし、データのスパース性の問題とシーケンス中のノイズは、逐次的推奨におけるニューラルネットワークモデル（モデルとも呼ばれる）の性能を損なう。前者は、逐次的モデルの複雑な構造が適切に訓練されるために密なコーパスを必要とするため、不十分な訓練に起因して性能を妨げる。後者はまた、ノイズの多いアイテムシーケンスが実際のアイテム相関を明らかにすることができないため、モデルの推奨能力を阻害する。

【0005】

したがって、改善された逐次的推奨のためのシステム及び方法を開発することは有利であろう。

【図面の簡単な説明】

【0006】

【図1】本明細書に記載されるいくつかの実施形態による、コンピューティングデバイスの簡略図である。

【0007】

【図2】本明細書に記載されるいくつかの実施形態による、モデル拡張を使用して対照学習を実行する方法の簡略図である。

【0008】

【図3】本明細書に記載されるいくつかの実施形態による、例示的な対照自己教師あり学習システムを示す簡略図である。

【0009】

【図4】本明細書に記載されるいくつかの実施形態による、対照学習のためのモデル拡張を実行する方法の簡略図である。

【0010】

【図5A】本明細書に記載されるいくつかの実施形態による、ニューロンマスキングを使用してモデル拡張を実装するための例示的なニューロンマスキングモジュールの簡略図である。

【0011】

【図5B】本明細書に記載されるいくつかの実施形態による、ニューロンマスキングを使用して、モデル拡張を用いた別の例示的な対照学習システムを例示する。

【0012】

【図6A】本明細書に記載されるいくつかの実施形態による、層ドロッピングを使用して、モデル拡張を実装するための例示的な層ドロップモジュールを例示する。

【0013】

【図6B】本明細書に記載されるいくつかの実施形態による、層ドロッピングを使用して、モデル拡張を用いた別の例示的な対照学習モデルを例示する。

【0014】

【図7】本明細書に記載されるいくつかの実施形態による、ニューロンマスキング及び層ドロッピングを使用して、モデル拡張を用いた別の例示的な対照学習システムを例示する。

【0015】

【図8】本明細書に記載されるいくつかの実施形態による、エンコーダ補完を使用して、モデル拡張を実装するための例示的なエンコーダ補完モジュールを例示する。

【0016】

【図9】本明細書に記載されるいくつかの実施形態による、モデル拡張を用いた対照学習を実装するコンピューティングデバイスの簡略図である。

【0017】

図では、同じ符号を有する要素は、同じ又は同様の機能を有する。

【発明を実施するための形態】

【0018】

本明細書で使用される場合、「ネットワーク」という用語は、任意の人工知能ネットワーク又はシステム、ニューラルネットワーク又はシステム、及び／又はそこで実装されるか、又はそれと共に実装される任意の訓練又は学習モデルを含む任意のハードウェア又はソフトウェアベースのフレームワークを含んでもよい。

【0019】

本明細書で使用される場合、「モジュール」という用語は、１つ以上の機能を実行するハードウェア又はソフトウェアベースのフレームワークを含んでもよい。いくつかの実施形態では、モジュールは、１つ以上のニューラルネットワーク上で実装されてもよい。

【0020】

図１は、いくつかの実施形態による、コンピューティングデバイス１００の略図である。図１に示すように、コンピューティングデバイス１００は、メモリ１２０に結合されたプロセッサ１１０を含む。コンピューティングデバイス１００の動作は、プロセッサ１１０によって制御される。また、コンピューティングデバイス１００は、１つのプロセッサ１１０のみを有して示されているが、プロセッサ１１０は、コンピューティングデバイス１００内の１つ以上の中央処理ユニット、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路、グラフィック処理ユニット（ＧＰＵ）などを代表するものであってもよいことが理解される。コンピューティングデバイス１００は、スタンドアロンのサブシステムとして、コンピューティングデバイスに追加されたボードとして、及び／又は仮想マシンとして実装されてもよい。

【0021】

メモリ１２０は、コンピューティングデバイス１００によって実行されるソフトウェア及び／又はコンピューティングデバイス１００の動作中に使用される１つ以上のデータ構造を記憶するために使用されてもよい。メモリ１２０は、１つ以上のタイプの機械可読媒体を含んでもよい。機械可読媒体のいくつかの一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読むように適応される任意の他の媒体を含んでもよい。

【0022】

プロセッサ１１０及び／又はメモリ１２０は、任意の好適な物理的配置に配置されてもよい。いくつかの実施形態では、プロセッサ１１０及び／又はメモリ１２０は、同じボード、同じパッケージ（例えば、システムインパッケージ）、同じチップ（例えば、システムオンチップ）などに実装されてもよい。いくつかの実施形態では、プロセッサ１１０及び／又はメモリ１２０は、分散、仮想化、及び／又はコンテナ化されたコンピューティングリソースを含んでもよい。そのような実施形態とマッチングして、プロセッサ１１０及び／又はメモリ１２０は、１つ以上のデータセンター及び／又はクラウドコンピューティング施設に位置してもよい。

【0023】

図示のように、メモリ１２０は、本明細書にさらに記載されるニューラルネットワークシステム及びモデルを実装及び／又はエミュレートするため、及び／又は本明細書にさらに記載される方法のうちのいずれかを実装するために使用され得るニューラルネットワークモデル１３０を含む。いくつかの例では、ニューラルネットワークモジュール１３０を使用して、構造化テキストを翻訳してもよい。いくつかの例では、ニューラルネットワークモジュール１３０は、構造化テキストを翻訳するために使用される翻訳システム又はモデルの反復訓練及び／又は評価も処理してもよい。いくつかの例では、メモリ１２０は、１つ以上のプロセッサ（例えば、プロセッサ１１０）によって動作するときに、１つ以上のプロセッサに本明細書にさらに詳細に記載される拡張方法を用いた対照学習を実行させ得る実行可能コードを含む非一時的な有形機械可読媒体を含んでもよい。いくつかの例では、ニューラルネットワークモジュール１３０は、ハードウェア、ソフトウェア、及び／又はハードウェアとソフトウェアの組み合わせを使用して実装されてもよい。図示のように、コンピューティングデバイス１００は、ニューラルネットワークモジュール１３０に提供される入力１４０を受信し、次いで、ニューラルネットワークモジュール１３０が、出力１５０を生成する。

【0024】

上述したように、シーケンシャルレコメンドは、ユーザ行動における次のアイテムを予測することを目的とし、これは、シーケンスにおけるアイテム関係を特徴付けることによって解決され得る。シーケンスにおけるデータのスパース性とノイズの問題に対処するために、自己教師あり学習（ＳＳＬ）パラダイムを使用して、性能を改善してもよく、これは、シーケンスの正のビューと負のビューの間の対照学習を使用する。様々な方法がデータの観点からの拡張を採用することによってビューを構築することがあるが、そのようなデータ拡張には様々な問題を有する。例えば、最適なデータ拡張方法を考案することが難しいことがある。さらに、データ拡張方法は、シーケンス相関を破壊することがある。さらに、このようなデータ拡張は、包括的な自己教師あり信号を組み込まないことがある。これらの問題に対処するために、モデル拡張を使用する対照ＳＳＬのためのシステム及び方法が、以下に記載される。

【0025】

図２及び図３を参照すると、図２は、モデル拡張を使用して対照ＳＳＬを実行するための方法２００の簡略図であり、図３は、方法２００を実行するための例示的なニューラルネットワークシステム３００である。方法２００のプロセスのうちの１つ以上は、少なくとも部分的に、１つ以上のプロセッサによって実行されるときに、１つ以上のプロセッサに、方法２００のプロセスのうちの１つ以上を実行させ得る非一時的な有形機械可読媒体に記憶された実行可能コードの形態で実装されてもよい。いくつかの実施形態では、方法２００は、様々なタスクのためにニューラルネットワークモデルを使用して訓練を実行し、及び／又は推論を実行するために、ニューラルネットワークモジュール１３０によって使用されるニューラルネットワークモデルを決定する方法に対応してもよい。以下に記載される例では、シーケンシャルレコメンドタスクが使用されるが、方法２００は、例えばシーケンシャルレコメンド、画像認識、及び言語モデリングを含む様々なタスクに使用されてもよい。

【0026】

様々な実施形態では、方法２００は、例えば、データ拡張方法の補完として、対照学習のためのビューペアを構築するためのモデル拡張を実装する。さらに、ビューペアを構築するための単一レベルとマルチレベルの両方のモデル拡張方法が記載される。一例では、マルチレベルモデル拡張方法は、マルチレベルの様々なモデル拡張方法を含んでもよく、これは、例えば、ニューロンマスク方法、層ドロップ方法、及びエンコーダ補完方法を含む。別の例では、単一レベルモデル拡張方法は、単一レベルのモデル拡張を含んでもよく、モデル拡張のタイプは、特定のタスクに基づいて決定されてもよい。モデル拡張を使用することによって、方法２００は、モデル拡張を用いて対照ＳＳＬのためのビューを構築することによって、（例えば、シーケンシャルレコメンド又は他のタスクのための）性能を改善する。

【0027】

方法２００は、ブロック２０１において開始し、対照訓練が、訓練データの１つ以上のバッチを使用してニューラルネットワークモデル上で実行され、各バッチは、１つ以上のオリジナルサンプルを含んでもよい。以下の説明では、シーケンシャルレコメンドのための例示的なニューラルネットワークモデルが使用され、オリジナルサンプルは、オリジナルシーケンスとも呼ばれる。訓練バッチ内の各オリジナルシーケンスに対して、ブロック２０２～ブロック２１２が実行されてもよい。

【0028】

ブロック２０２において、訓練データからのオリジナルシーケンスが提供される。図３の例を参照すると、シーケンスｓ_ｕとして示されるオリジナルシーケンス３０２が受信される。ここで、ユーザとアイテムのセットは、それぞれＵとＶで示される。各ユーザｕは、時系列でアイテムのシーケンスｓ_ｕ＝［ｖ_１，…，ｖ_ｔ，…，ｖ_｜ｓｕ｜］に関連付けられ、式中、ｖ_ｔは、ユーザｕが時間ｔで対話したアイテムを示し、｜ｓｕ｜は、アイテムの総数である。シーケンシャルレコメンド問題は、以下のように定式化されてもよい。

【数1】

式中、ｖ_{｜ｓｕ｜＋１}は、シーケンスにおける次のアイテムを示し、一例では、シーケンシャルレコメンドのためのニューラルネットワークシステムは、レコメンドのための最も高い確率を有する候補アイテムを選択してもよい。

【0029】

方法２００は、ブロック２０４に進んでもよく、第１のデータ拡張が、オリジナルシーケンスに対して実行されて、第１の拡張シーケンスが生成される。いくつかの例では、第１のデータ拡張は任意選択である。例えば、切り取り、マスク、並べ替え、挿入、置換、及び／又はそれらの組み合わせを含む、様々なデータ拡張技術が使用されてもよい。図３の例を参照すると、オリジナルシーケンス３０２に対して第１のデータ拡張を実行することによって、拡張シーケンス３０４が生成される。第１の拡張シーケンス３０４は、エンコーダ３０６の入力に提供される。

【0030】

方法２００は、ブロック２０６に進んでもよく、第１のモデル拡張が、エンコーダ（例えば、図３のエンコーダ３０６）に対して実行されて、エンコーダを拡張し、第１の拡張シーケンス（例えば、図３の拡張シーケンス３０４）の第１の埋め込み（例えば、埋め込み３１０）が生成される。図３の例に示すように、モデル拡張モジュール３０７は、エンコーダに対してモデル拡張を実行して、出力埋め込みを生成する拡張エンコーダを提供する。いくつかの実施形態では、（例えば、連結モジュール３０８による）連結が、拡張エンコーダの出力に対して実行されて、埋め込み３１０を生成してもよい。

【0031】

方法２００は、ブロック２０８に進んでもよく、第２のデータ拡張が、オリジナルシーケンスに対して実行されて、第２の拡張シーケンスが生成される。いくつかの例では、第２のデータ拡張は任意選択である。いくつかの例では、第２のデータ拡張は、第１のデータ拡張とは異なり、第２の拡張シーケンスは、第１の拡張シーケンスとは異なる。図３の例を参照すると、オリジナルシーケンス３０２に対して第２のデータ拡張を実行することによって、拡張シーケンス３１２が生成される。第２の拡張シーケンス３１２は、エンコーダ３０６の入力に提供される。

【0032】

方法２００は、ブロック２１０に進んでもよく、第２のモデル拡張が、エンコーダ（例えば、図３のエンコーダ３０６）に対して実行されて、第２の拡張シーケンス（例えば、図３の拡張シーケンス３１２）の第２の埋め込み（例えば、図３の埋め込み３１６）が生成される。図３の例に示すように、モデル拡張モジュール３０７は、エンコーダ３０６に対してモデル拡張を実行して、出力埋め込みを生成する拡張エンコーダを提供する。いくつかの実施形態では、（例えば、連結モジュール３０８による）連結が、拡張エンコーダの出力に対して実行されて、埋め込み３１６を生成してもよい。

【0033】

方法２００は、ブロック２１２に進んでもよく、第１の埋め込み及び第２の埋め込み（例えば、図３の埋め込み３１０及び３１２）に基づく対照損失を使用して、エンコーダ（例えば、図３のエンコーダ３０６）に対して最適化プロセスが実行される。例示的な対照損失は、次のように提供される。

【数2】

式中、

【数3】

及び

【数4】

は、オリジナルシーケンスｓ_ｕに対して構築された２つのビュー（例えば、２つの埋め込み）を示し、

【数5】

は、指示関数であり、ｓｉｍ（．，．）は、類似関数、例えば、内積関数である。各オリジナルシーケンスは２つのビューを有するので、Ｎ個のオリジナルシーケンスを有するバッチに対して、訓練のために２Ｎ個のサンプル／ビューが存在する。対照損失関数の分子（ｎｏｍｉｎａｔｏｒ）は正の対の間の一致の最大化を示し、分母は負の対を押しのけるものと解釈される。

【0034】

様々な実施形態では、シーケンシャルレコメンドのために、ＳＳＬと次のアイテム予測の両方が、シーケンス内のアイテム関係を特徴付け、これらを組み合わせて、最終的な損失Ｌを生成して、エンコーダを最適化してもよい。例示的な対照損失は、以下のように提供される。

【数6】

式中、

【数7】

は、次のアイテム予測に関連付けられた損失であり、

【数8】

は、上述のように、対照損失であり、

【数9】

は、対照のために同じオリジナルシーケンスの２つの異なるビューを使用して生成されてもよく、２つの異なるビューは、データ拡張、モデル拡張、及び／又はそれらの組み合わせを使用して生成される。

【0035】

ブロック２１６において、ブロック２０１における対照学習によって生成された訓練済ニューラルネットワークを使用して、タスク、例えば、シーケンスレコメンドタスク又は任意の他の好適なタスクを行ってもよい。例えば、訓練されたニューラルネットワークは、入力シーケンスに対する次のアイテム予測を生成するために使用されてもよい。

【0036】

図４、図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図７、及び図８を参照して、（例えば、図２のブロック２０６及び２１０を実施するための）例示的なモデル拡張方法が記載される。図４は、例示的なモデル拡張方法４００を例示する。図５Ａは、ニューロンマスキングを使用してモデル拡張を実装するための例示的なニューロンマスキングモジュール（ニューロンドロップアウトモジュール又はドロップアウトモジュールとも呼ばれる）を示す。図５Ｂは、モデル拡張のためのニューロンマスキングモジュールを含む例示的な対照学習システムを示す。図６Ａは、層ドロッピングを使用して、モデル拡張を実装するための例示的な層ドロッピングモジュールを示す。図６Ｂは、モデル拡張のための層ドロッピングモジュールを含む例示的な対照学習システムを示す。図７は、ニューロンマスキングと層ドロッピングの両方を有するモデル拡張モジュールを含む例示的な対照学習システムを示す。図８は、エンコーダ補完を使用して、モデル拡張を実装するための例示的なエンコーダ補完モジュールを示す。

【0037】

図４を参照すると、１つ以上のレベルの異なるモデル拡張方法を使用し得る例示的なモデル拡張方法４００が示されている。方法４００は、ブロック４０２に進んでもよく、ニューロンマスキングが実行される。図５Ａを参照すると、エンコーダ（例えば、図３のエンコーダ３０６）の例示的なニューロンマスキングモジュール５００が示されている。ニューロンマスキングモジュール５００は、隠れ埋め込み５０２（入力埋め込みとも呼ばれる）を受信し、フィードフォワードネットワーク（ＦＦＮ）５０６を介して、次の層への出力埋め込み５０４を生成してもよい。いくつかの実施形態では、訓練中に、ニューロンマスクは、それぞれのマスキング確率ｐに基づいて、各ＦＦＮ層５０６内の部分ニューロンのマスキングをランダムに実行してもよい。ｐの値が大きいほど、より強い埋め込み摂動が生じる。そのため、エンコーダ３０６内で異なるマスキング確率を適用することによって（例えば、図３のデータ拡張シーケンス３０４及び３１２を用いるか、又はデータ拡張を用いずに）、１対の異なるビュー（例えば、図３の埋め込み３１０及び３１６）が、モデルの観点から１つの同じオリジナルシーケンスから生成される。いくつかの実施形態では、訓練の各バッチ中に、マスクされたニューロンがランダムに選択され、モデル拡張に関する包括的な対照学習がもたらされる。いくつかの実施形態では、エンコーダの異なるＦＦＮ層に対して、異なる確率値が利用されてもよい。いくつかの実施形態では、ニューロンマスキング確率は、エンコーダの異なるＦＦＮ層に対して同じである。追加的に又は代替的に、ニューロンマスク方法４００は、より多くの摂動を注入するために、ニューラルネットワークシステムのモデル内の任意のニューラル層に適用されてもよい。

【0038】

図５Ｂを参照すると、例示的な対照学習システム５５０は、ニューロンマスキングモジュール５００を含むモデル拡張モジュールを含む。対照学習システム５５０は、以下に記載される相違点を除いて、図３の対照学習システム３００と実質的に同様である。図５Ｂの例では、訓練中に、ニューロンマスキングモジュール５００は、同じオリジナルシーケンス３０２の２つの異なるビューを生成するために、オリジナルエンコーダ３０６の１つ以上の層の部分ニューロンをランダムにマスキングすることによってニューロンマスキングを２回実行する。２つの異なるビューを使用して対照学習が実行される。

【0039】

ブロック４０４において、層ドロッピングが実行される。様々な実施形態では、ニューラルネットワークモデル（例えば、図３のエンコーダ３０６）の部分層をドロッピングすることは、ニューラルネットワークモデルの深さを減少させ、複雑さを低減する。いくつかの実施形態では、ユーザ及びアイテムに対する浅い埋め込みのみが必要とされてもよい。いくつかの実施形態では、浅い層及び深い層における埋め込みは、両方とも、データの包括的な情報を反映するために重要である。そのため、訓練中に層の一部をランダムにドロップすることは、正規化の方法として機能してもよい。層ドロッピングを使用したモデル拡張は、層の深さが異なる埋め込み間の対照学習を可能にしてもよい。一例では、浅い埋め込みと深い埋め込みの間で対照学習が達成されるため、例えば、深い特徴の間でのみ対照的なモデルに対して強化が提供される。

【0040】

いくつかの実施形態では、オリジナルエンコーダ内の層はドロッピングされる。これらの実施形態のいくつかでは、層、特にオリジナルエンコーダ内の必要な層をドロッピングすることは、オリジナルのシーケンシャル相関を破壊することがあり、層をドロッピングすることによって生成されるビューは、正のペアではないことがある。代替的には、いくつかの実施形態では、オリジナルエンコーダを操作する代わりに、Ｋ個のＦＦＮ層がエンコーダの後に積み重ねられ、Ｍ個のＦＦＮ層が、訓練の各バッチ中にドロッピングされ、Ｍ及びＫは整数であり、Ｍ＜Ｋである。これらの実施形態では、層ドロッピング中に、オリジナルエンコーダの層はドロッピングされない。

【0041】

図６Ａを参照すると、層ドロッピングを実装するための例示的な層ドロッピングモジュール６００が示されている。層ドロッピングモジュール６００は、埋め込み６０２（埋め込みとも呼ばれる）をオリジナルエンコーダ（例えば、図３のエンコーダ３０６）から受信し、出力埋め込み６０４を生成してもよい。様々な実施形態では、層ドロッピングモジュール６００は、エンコーダ３０６の後にＫ個の層６０６－１から６０６－Ｋをアペンドし、訓練の各バッチ中にＭ個の層（例えば、層６０６－２）をランダムにドロッピングしてもよく、Ｍは、０～Ｋ－１の整数であってよい。いくつかの実施形態では、同じＫ個のアペンドＦＦＮ層及びＭ個のドロッピングＦＦＮ層が、別個のビューのためにエンコーダ３０６に適用される。他の実施形態では、別々のビューに対して、異なるＫ個及びＭ個のものがエンコーダ３０６に適用される。

【0042】

図６Ｂを参照すると、例示的な対照学習システム６５０は、層ドロッピングモジュール６００を含むモデル拡張モジュールを含む。層ドロッピングモジュール６００は、多数の層（例えば、多層パーセプトロン（ＭＬＰ）層、自己注意層、残差層、他の好適な層、及び／又はそれらの組み合わせ）をシーケンスエンコーダ３０６にアペンドすることによって、モデル拡張を実行してもよい。図６Ｂの例では、訓練中に、層ドロッピングモジュール６００は、同じオリジナルシーケンス３０２の２つの異なるビューを生成するために、オリジナルエンコーダ３０６に１つ以上の層をアペンドし、アペンドされた層をランダムにドロッピングすることによって、層ドロッピングを２回実行する。２つの異なるビューを使用して対照学習が実行される。

【0043】

図７を参照すると、例示的な対照学習システム７００は、ニューロンマスキングと層ドロッピングの両方を実行するモデル拡張モジュール７０２を含む。対照学習システム７００は、以下に記載される相違点を除いて、図３の対照学習システム３００と実質的に同様である。モデル拡張モジュール７０２は、いくつかの層（例えば、ＭＬＰ層又は他の好適な層）をシーケンスエンコーダ３０６にアペンドし、訓練中に合計Ｋ個のアペンド層からＭ個の層をランダムにドロッピングすることによって、層ドロッピングを実行してもよい。さらに、モデル拡張モジュール７０２は、ニューロンマスキングを実行して、オリジナルエンコーダ３０６及び／又はアペンド層における１つ以上の層における部分ニューロンをランダムにマスクしてもよい。

【0044】

方法４００は、ブロック４０６に進んでもよく、ニューロンマスキングが実行される。

【0045】

様々な実施形態では、自己教師あり学習中に、１つのシーケンスの２つのビューの埋め込みを生成するために、１つの単一のエンコーダが用いられてもよい。いくつかの実施形態では、単一のエンコーダを使用することは、複雑なシーケンシャル相関を明らかにするのに効果的であるかもしれないが、単一のエンコーダ上で対比することは、自己教師あり学習のための埋め込み崩壊問題をもたらすことがある。さらに、１つの単一のエンコーダは、単一の観点からのみアイテム関係を反映することがある。例えば、トランスフォーマエンコーダは、シーケンス埋め込みを推測するためにアイテム埋め込みのアテンティブ集約を採用しているが、ＲＮＮ構造は、直接的なアイテム遷移を符号化するのにより好適である。したがって、いくつかの実施形態では、別個のエンコーダを使用して、対照学習のためのビューを生成してもよく、これにより、モデルが、アイテムの包括的なシーケンシャル関係を学習することが可能となってもよい。しかしながら、いくつかの実施形態では、異なるエンコーダを用いたシーケンスの２つのビューからの埋め込みは、自己教師あり学習のための非シャムパラダイムにつながることがあり、これは、訓練が困難であり、埋め込み崩壊の問題に悩まされることがある。追加的に、２つの別個のエンコーダが著しく多様なシーケンシャル相関を明らかにする例では、埋め込みは互いに非常に離れており、対照学習には悪いビューとなる。さらに、いくつかの実施形態では、２つの別個のエンコーダが、訓練フェーズ中に最適化されてもよいが、リコメンドを行うためのシーケンス埋め込みの推論のためにそれらを組み合わせることは、依然として問題となることがある。

【0046】

本明細書で説明されるエンコーダ補完方法は、対照学習のためのビューを生成するために、単一のエンコーダを使用すること、又は２つの別個のエンコーダを使用することから生じる問題に対処してもよい。様々な実施形態では、単一のエンコーダ又は２つの別個のエンコーダを用いた対照学習の代わりに、エンコーダ補完は、事前訓練済エンコーダを使用して、オリジナルエンコーダのためのモデル拡張を補完する。図８を参照すると、エンコーダ補完を実行するための例示的なエンコーダ補完モジュール８００が示されている。事前訓練段階では、エンコーダ３０６とは異なるエンコーダ８０６が、次のアイテム予測ターゲットで事前訓練されて、事前訓練済エンコーダ８０８が生成される。次いで、対照自己教師あり訓練段階中に、この事前訓練済エンコーダ８０８は、ビューのための別の埋め込み８１０を生成するために利用される。組み合わせ器８１２は、モデルエンコーダ３０６から生成されたビュー埋め込み８１４と、事前訓練済エンコーダ８０８からのビュー埋め込み８１０とを組み合わせる。いくつかの実施形態では、このモデル拡張は、ＳＳＬパラダイムの１つの分岐にある。事前訓練済エンコーダ３０６からの埋め込み８１０は、モデルエンコーダ８０８からの埋め込み８１４と組み合わせる（例えば、それに加える）前に、ハイパーパラメータγ（重みγとも呼ばれる）によって再スケーリングされてもよい。ハイパーパラメータγの値が小さいほど、別個のエンコーダ８０６から注入される摂動が少ないことに対応する。組み合わせ器９１２の出力埋め込みは、フィードフォワードネットワーク（ＦＦＮ）８１２を介して次の層に渡されてもよい。事前訓練済エンコーダ８０８からの出力に異なる重みγを適用することによって、同じシーケンスの２つの異なるビューが対照学習のために提供される。

【0047】

いくつかの実施形態では、この事前訓練済エンコーダ８０８のパラメータは、対照自己教師あり訓練中に固定される。これらの実施形態では、対照自己教師あり訓練中に、この事前訓練済エンコーダ８０８に対する最適化が存在しない。さらに、推論段階では、エンコーダ３０６と８０８の両方を考慮する必要がなくなり、モデルエンコーダ３０６のみが使用される。

【0048】

図９を参照すると、本明細書に記載されるいくつかの実施形態による、モデル拡張を用いた対照学習を実装するために使用され得る例示的なコンピューティングデバイス９００が例示されている。図９に示すように、コンピューティングデバイス９００は、メモリ９２０に結合されたプロセッサ９１０を含む。コンピューティングデバイス９００の動作は、プロセッサ９１０によって制御される。また、コンピューティングデバイス９００は、１つのプロセッサ９１０のみを有して示されているが、プロセッサ９１０は、コンピューティングデバイス９００内の１つ以上の中央処理ユニット、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路、グラフィック処理ユニット（ＧＰＵ）などを代表するものであり得ると理解される。コンピューティングデバイス９００は、スタンドアロンのサブシステムとして、コンピューティングデバイスに追加されたボードとして、及び／又は仮想マシンとして実装されてもよい。

【0049】

メモリ９２０は、コンピューティングデバイス９００によって実行されるソフトウェア及び／又はコンピューティングデバイス９００の動作中に使用される１つ以上のデータ構造を記憶するために使用されてもよい。メモリ９２０は、１つ以上のタイプの機械可読媒体を含んでもよい。機械可読媒体のいくつかの一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読むように適応される任意の他の媒体を含んでもよい。

【0050】

プロセッサ９１０及び／又はメモリ９２０は、任意の好適な物理的配置に配置されてもよい。いくつかの実施形態では、プロセッサ９１０及び／又はメモリ９２０は、同じボード、同じパッケージ（例えば、システムインパッケージ）、同じチップ（例えば、システムオンチップ）などに実装されてもよい。いくつかの実施形態では、プロセッサ９１０及び／又はメモリ９２０は、分散、仮想化、及び／又はコンテナ化されたコンピューティングリソースを含んでもよい。そのような実施形態とマッチングして、プロセッサ９１０及び／又はメモリ９２０は、１つ以上のデータセンター及び／又はクラウドコンピューティング施設に位置してもよい。

【0051】

いくつかの例では、メモリ９２０は、１つ以上のプロセッサ（例えば、プロセッサ９１０）によって動作するときに、１つ以上のプロセッサに本明細書にさらに詳細に記載される方法を実行させ得る実行可能コードを含む非一時的な有形機械可読媒体を含んでもよい。例えば、図示のように、メモリ９２０は、システム及びモデルを実装及び／又はエミュレートするため、及び／又は本明細書にさらに記載される方法のうちのいずれかを実装するために使用され得るニューラルネットワークモジュール９３０（例えば、図１のニューラルネットワークモジュール１３０）のための命令を含む。いくつかの例では、ニューラルネットワークモジュール９３０は、モデル拡張を用いた対照学習を実装し、モデル拡張を用いた対照学習モジュールとも呼ばれてもよい。モデル拡張を用いた対照学習モジュール９３０は、例えば、オリジナルシーケンスなどの入力９４０を、データインターフェース９１５を介して受信してもよい。データインターフェース９１５は、ユーザがアップロードした入力シーケンスを受信するユーザインターフェース、又は以前に記憶されたシーケンスをデータベースから受信するか、又は取り出し得る通信インターフェースのいずれかであってもよい。モデル拡張を用いた対照学習モジュール９３０は、入力９４０に応答して、入力シーケンスに対する次のアイテムの予測などの出力９５０を生成してもよい。

【0052】

いくつかの実施形態では、モデル拡張を用いた対照学習モジュール９３０は、エンコーダを提供するためのエンコーダモジュール９３１と、ニューロンマスキングを実行するためのニューロンマスキングモジュール９３２と、層ドロッピングを実行するための層ドロッピングモジュール９３３と、エンコーダ補完を実行するためのエンコーダ補完モジュール９３４と、をさらに含んでもよい。

【0053】

コンピューティングデバイス１００、４００などのコンピューティングデバイスのいくつかの例は、１つ以上のプロセッサ（例えば、プロセッサ１１０）によって動作するときに、１つ以上のプロセッサに、方法２００のプロセスを実行させ得る実行可能コードを含む非一時的な有形機械可読媒体を含んでもよい。本明細書で記載される方法／システムのプロセスを含み得る機械可読媒体のいくつかの一般的な形態（例えば、図２～図８の方法／システム）は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読むように適応される任意の他の媒体である。

【0054】

発明の態様、実施形態、実装、又は用途を例示するこの説明及び添付の図面は、限定的なものと解釈されるべきではない。様々な機械的、組成的、構造的、電気的、及び動作上の変更は、この説明及び特許請求の範囲の精神及び範囲から逸脱することなく行われてもよい。いくつかの例では、本開示の実施形態を不明瞭にしないために、周知の回路、構造、又は技法が詳細に示されていないか、又は記載されていない。２つ以上の図の類似の数字は、同じ又は同様の要素を表す。

【0055】

この説明では、本開示と矛盾しないいくつかの実施形態を記載する特定の詳細が明記されている。実施形態の完全な理解を提供するために、多数の詳細が明記されている。いくつかの実施形態は、これらの特定の詳細の一部又は全部がなくても実施され得ると当業者に明らかであろう。本明細書に開示される特定の実施形態は、例示的であるが、限定的ではないことを意味する。当業者は、本明細書に具体的に記載されていないが、本開示の範囲及び精神内にある他の要素を認識してもよい。追加的に、不必要な繰り返しを回避するために、１つの実施形態に関連して示され、記載される１つ以上の特徴は、他の方法で具体的に記載されないか、又は１つ以上の特徴が一実施形態を非機能的にする場合を除いて、他の実施形態に組み込まれてもよい。

【0056】

例示的な実施形態が示され記載されたが、広範囲の修正、変更及び置換が、前述の開示において企図され、いくつかの例では、実施形態のいくつかの特徴を、他の特徴の対応する使用なしに採用してもよい。当業者であれば、多くの変形、代替、及び修正を認識するであろう。したがって、本発明の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示された実施形態の範囲と一致する方式で広く解釈されることが適切である。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【国際調査報告】