特表 2022-543234 機械学習支援ポリペプチド設計

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-11

(54)【発明の名称】機械学習支援ポリペプチド設計

(51)【国際特許分類】

   G16B 40/20 20190101AFI20221003BHJP

   G06N 20/00 20190101ALI20221003BHJP

   G06N 3/08 20060101ALI20221003BHJP

【ＦＩ】

G16B40/20

G06N20/00

G06N3/08

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022506604

(86)(22)【出願日】2020-07-31

(85)【翻訳文提出日】2022-03-30

(86)【国際出願番号】 US2020044646

(87)【国際公開番号】W WO2021026037

(87)【国際公開日】2021-02-11

(31)【優先権主張番号】62/882,150

(32)【優先日】2019-08-02

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/882,159

(32)【優先日】2019-08-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦＲＡＭ

(71)【出願人】

【識別番号】521353768

【氏名又は名称】フラッグシップ・パイオニアリング・イノベーションズ・ブイアイ，エルエルシー

【氏名又は名称原語表記】ＦＬＡＧＳＨＩＰ ＰＩＯＮＥＥＲＩＮＧ ＩＮＮＯＶＡＴＩＯＮＳ ＶＩ，ＬＬＣ

(74)【代理人】

【識別番号】100087941

【弁理士】

【氏名又は名称】杉本 修司

(74)【代理人】

【識別番号】100112829

【弁理士】

【氏名又は名称】堤 健郎

(74)【代理人】

【識別番号】100142608

【弁理士】

【氏名又は名称】小林 由佳

(74)【代理人】

【識別番号】100155963

【弁理士】

【氏名又は名称】金子 大輔

(74)【代理人】

【識別番号】100154771

【弁理士】

【氏名又は名称】中田 健一

(74)【代理人】

【識別番号】100150566

【弁理士】

【氏名又は名称】谷口 洋樹

(74)【代理人】

【識別番号】100213470

【弁理士】

【氏名又は名称】中尾 真二

(74)【代理人】

【識別番号】100220489

【弁理士】

【氏名又は名称】笹沼 崇

(72)【発明者】

【氏名】フィーラ・ジェイコブ・ディー．

(72)【発明者】

【氏名】ビーム・アンドリュー・レーン

(72)【発明者】

【氏名】ギブソン・モリー・クリサン

(72)【発明者】

【氏名】カブラル・バーナード・ジョセフ

(57)【要約】

特定のタンパク質機能又は性質を有するように構成されたアミノ酸配列を操作するシステム、装置、ソフトウェア、及び方法。機械学習が、入力シード配列を処理し、所望の機能又は性質を有する最適化された配列を出力として生成する方法によって実施される。
【選択図】図４

【特許請求の範囲】

【請求項1】

機能によって査定される改良された生体高分子配列を操作する方法であって、
（ａ）生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに埋め込みにおける開始点を提供することであって、教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）ステップサイズに従って前記開始点における前記埋め込みに関連した前記機能の変化を計算することであって、前記計算された変化は、前記機能空間における第１の更新点を提供できるようにする、計算することと、
（ｃ）前記機能空間における前記第１の更新点における特定の閾値内の所望の機能レベルに達すると、前記第１の更新点を提供することと、
（ｄ）デコーダから改良された確率的生体高分子配列を取得することと、
を含む方法。

【請求項2】

前記開始点は、シード生体高分子配列の前記埋め込みである、請求項１に記載の方法。

【請求項3】

前記機能空間における前記第１の更新点における前記埋め込みに関して前記機能の第２の変化を計算することと、
更なる更新点における前記埋め込みに関して前記機能の前記第２の変化を計算するプロセスを繰り返すことと、
を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記第１の更新点を提供することは、任意選択的に繰り返される更なる更新点における特定の閾値内の前記機能の所望のレベルに達した場合、実行することができ、前記更なる更新点を提供することは、前記繰り返された更なる更新点を前記デコーダネットワークに提供することを含む、請求項３に記載の方法。

【請求項5】

前記埋め込みは、前記機能を表し、１つ又は複数の勾配を有する連続微分可能な機能空間である、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記埋め込みに関する前記機能の前記変化を計算することは、前記埋め込みに関する前記機能の導関数をとることを含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記機能は２つ以上の構成要素機能の複合機能である、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記複合機能は、前記２つ以上の複合機能の加重和である、請求項７に記載の方法。

【請求項9】

前記埋め込みにおける２つ以上の開始点は同時に使用される、請求項１～８のいずれか一項に記載の方法。

【請求項10】

残基同一性の確率分布を含む確率的配列における残基間の相関が、既に生成された前記配列の部分を考慮に入れる条件付き確率を使用したサンプリングプロセスで考慮される、請求項１～９のいずれか一項に記載の方法。

【請求項11】

残基同一性の確率分布を含む確率的生体高分子配列から最大尤度改良済み生体高分子配列を選択することを更に含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

残基同一性の確率分布を含む確率的生体高分子配列の各残基における周辺分布をサンプリングすることを含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記埋め込みに関する前記機能の前記変化は、エンコーダに関する前記機能の前記変化、次いで前記デコーダの前記変化への前記エンコーダの前記変化、及び前記埋め込みに関する前記デコーダの前記変化を計算することによって計算される、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

前記機能空間における前記第１の更新点又は前記機能空間における更なる更新点を前記デコーダネットワークに提供することであって、それにより、中間確率的生体高分子配列を提供する、提供することと、
前記中間確率的生体高分子配列を前記教師ありモデルネットワークに提供することであって、それにより、前記中間確率的生体高分子配列の前記機能を予測する、提供することと、
前記中間確率的生体高分子の前記埋め込みに関する前記機能の前記変化を計算することであって、それにより、前記機能空間における更なる更新点を提供する、計算することと、
を含む、請求項１～１３のいずれか一項に記載の方法。

【請求項15】

機能によって査定される改良された生体高分子配列を操作する方法であって、
（ａ）生体高分子配列の前記機能を予測する教師ありモデルネットワークと、デコーダネットワークとを備えたシステムに提供される埋め込みにおける開始点の前記機能を予測することであって、前記教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における前記予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）ステップサイズに従って前記開始点における前記埋め込みに関連した前記機能の変化を計算することであって、前記計算された変化は、前記機能空間における第１の更新点を提供できるようにする、計算することと、
（ｃ）前記機能空間における前記第１の更新点に基づいて、前記デコーダネットワークにおいて第１の中間確率的生体高分子配列を計算することと、
（ｄ）教師ありモデルにおいて、前記第１の中間生体高分子配列に基づいて前記第１の中間確率的生体高分子配列の前記機能を予測することと、
（ｅ）前記機能空間における前記第１の更新点における前記埋め込みに関する前記機能の前記変化を計算することであって、それにより、前記機能空間における更新点を提供する、計算することと、
（ｆ）前記デコーダネットワークにおいて、前記機能空間における前記更新点に基づいて追加の中間確率的生体高分子配列を計算することと、
（ｇ）前記教師ありモデルにおいて、前記追加の中間確率的生体高分子配列に基づいて前記追加の中間確率的生体高分子配列の前記機能を予測することと、
（ｈ）前記機能空間における前記更なる第１の更新点における前記埋め込みに関連する前記機能の前記変化を計算することであって、それにより、前記機能空間における別の更なる更新点を提供し、前記機能空間における前記別の更なる更新点は、ステップ（ｇ）における前記機能空間における前記更なる更新点を置換する、計算することと、
（ｉ）特定の閾値内で前記機能空間における所望の機能レベルに達すると、前記埋め込みにおける前記点に基づいてデコーダから改良された確率的生体高分子配列を取得することと、
を含む方法。

【請求項16】

前記開始点は、シード生体高分子配列の前記埋め込みである、請求項１～１５のいずれか一項に記載の方法。

【請求項17】

前記生体高分子はタンパク質である、請求項１～１６のいずれか一項に記載の方法。

【請求項18】

前記シード生体高分子配列は、複数の配列の平均である、請求項２～１４、１６、又は１７のいずれか一項に記載の方法。

【請求項19】

前記シード生体高分子配列は、機能を持たず、又は機能の前記所望レベルよりも低い機能レベルを有する、請求項２～１４、１６、又は１７のいずれか一項に記載の方法。

【請求項20】

前記エンコーダは、少なくとも２０の生体高分子配列のトレーニングデータセットを使用してトレーニングされる、請求項１～１９のいずれか一項に記載の方法。

【請求項21】

前記エンコーダは畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である、請求項１～２０のいずれか一項に記載の方法。

【請求項22】

前記エンコーダはトランスフォーマニューラルネットワークである、請求項１～２１のいずれか一項に記載の方法。

【請求項23】

前記エンコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む、請求項１～２２のいずれか一項に記載の方法。

【請求項24】

前記エンコーダは深層畳み込みニューラルネットワークである、請求項１～２３のいずれか一項に記載の方法。

【請求項25】

前記畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである、請求項２３に記載の方法。

【請求項26】

前記畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである、請求項２３に記載の方法。

【請求項27】

前記畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する、請求項２３～２６のいずれか一項に記載の方法。

【請求項28】

前記エンコーダは少なくとも１０の層を含む、請求項１～２７のいずれか一項に記載の方法。

【請求項29】

前記エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する、請求項１～２８のいずれか一項に記載の方法。

【請求項30】

前記正則化はバッチ正規化を使用して実行される、請求項２９に記載の方法。

【請求項31】

前記正則化はグループ正規化を使用して実行される、請求項２９に記載の方法。

【請求項32】

前記エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される、請求項１～３１のいずれか一項に記載の方法。

【請求項33】

前記エンコーダは転移学習手順を使用してトレーニングされる、請求項１～３２のいずれか一項に記載の方法。

【請求項34】

前記転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、前記第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して前記第２のモデルをトレーニングすることであって、それにより、トレーニング済みエンコーダを生成する、トレーニングすることとを含む、請求項３２に記載の方法。

【請求項35】

前記デコーダは、少なくとも２０の生体高分子配列のトレーニングデータセットを使用してトレーニングされる、請求項１～３４のいずれか一項に記載の方法。

【請求項36】

前記デコーダは、畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である、請求項１～３５のいずれか一項に記載の方法。

【請求項37】

前記デコーダはトランスフォーマニューラルネットワークである、請求項１～３６のいずれか一項に記載の方法。

【請求項38】

前記デコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む、請求項１～３７のいずれか一項に記載の方法。

【請求項39】

前記デコーダは深層畳み込みニューラルネットワークである、請求項１～３８のいずれか一項に記載の方法。

【請求項40】

前記畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである、請求項３８に記載の方法。

【請求項41】

前記畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである、請求項３８に記載の方法。

【請求項42】

前記畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する、請求項３８～４１のいずれか一項に記載の方法。

【請求項43】

前記デコーダは少なくとも１０の層を含む、請求項１～４２のいずれか一項に記載の方法。

【請求項44】

前記デコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する、請求項１～４３のいずれか一項に記載の方法。

【請求項45】

前記正則化はバッチ正規化を使用して実行される、請求項４３に記載の方法。

【請求項46】

前記正則化はグループ正規化を使用して実行される、請求項４３に記載の方法。

【請求項47】

前記デコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される、請求項１～４６のいずれか一項に記載の方法。

【請求項48】

前記デコーダは転移学習手順を使用してトレーニングされる、請求項１～４７のいずれか一項に記載の方法。

【請求項49】

前記転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、前記第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して前記第２のモデルをトレーニングすることであって、それにより、前記トレーニング済みデコーダを生成する、トレーニングすることとを含む、請求項４７に記載の方法。

【請求項50】

前記改良された生体高分子配列の前記１つ又は複数の機能は、前記シード生体高分子配列の前記１つ又は複数の機能と比較して改善される、請求項１～４９のいずれか一項に記載の方法。

【請求項51】

前記１つ又は複数の機能は、蛍光、酵素活性、ヌクレアーゼ活性、及びタンパク質安定性から選択される、請求項１～５０のいずれか一項に記載の方法。

【請求項52】

２つ以上の機能の加重線形結合が前記生体高分子配列の査定に使用される、請求項１～５１のいずれか一項に記載の方法。

【請求項53】

指定されたタンパク質機能を有する生体高分子配列を操作するコンピュータ実施方法であって、
（ａ）エンコーダ法を用いて初期生体高分子配列の埋め込みを生成することと、
（ｂ）最適化法を用いて、１つ又は複数の埋め込みパラメータを調整することにより、前記指定されたタンパク質機能に対応するように前記埋め込みを繰り返し変更することであって、それにより、更新埋め込みを生成する、繰り返し変更することと、
（ｃ）デコーダ法により、前記更新埋め込みを処理して、最終生体高分子配列を生成することと、
を含む方法。

【請求項54】

前記生体高分子配列は一級タンパク質アミノ酸配列を含む、請求項５２に記載の方法。

【請求項55】

前記アミノ酸配列は、前記タンパク質機能を生じさせるタンパク質構成を生じさせる、請求項５３に記載の方法。

【請求項56】

前記タンパク質機能は蛍光を含む、請求項５２～５４のいずれか一項に記載の方法。

【請求項57】

前記タンパク質機能は酵素活性を含む、請求項５２～５４のいずれか一項に記載の方法。

【請求項58】

前記タンパク質機能はヌクレアーゼ活性を含む、請求項５２～５４のいずれか一項に記載の方法。

【請求項59】

前記タンパク質機能はタンパク質安定性の程度を含む、請求項５２～５４のいずれか一項に記載の方法。

【請求項60】

前記エンコーダ法は、前記初期生体高分子配列を受け取り、前記埋め込みを生成するように構成される、請求項５２～５８のいずれか一項に記載の方法。

【請求項61】

前記エンコーダ法は、深層畳み込みニューラルネットワークを含む、請求項５９に記載の方法。

【請求項62】

前記畳み込みニューラルネットワークは一次元畳み込みネットワークである、請求項６０に記載の方法。

【請求項63】

前記畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである、請求項６０に記載の方法。

【請求項64】

前記畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する、請求項６０に記載の方法。

【請求項65】

前記エンコーダは少なくとも１０の層を含む、請求項５２～６３のいずれか一項に記載の方法。

【請求項66】

前記エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する、請求項５２～６４のいずれか一項に記載の方法。

【請求項67】

前記正則化はバッチ正規化を使用して実行される、請求項６５に記載の方法。

【請求項68】

前記正則化はグループ正規化を使用して実行される、請求項６５に記載の方法。

【請求項69】

前記エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される、請求項１～６８のいずれか一項に記載の方法。

【請求項70】

前記デコーダ法は、深層畳み込みニューラルネットワークを含む、請求項５２～６８のいずれか一項に記載の方法。

【請求項71】

２つ以上の機能の加重線形結合が前記生体高分子配列の査定に使用される、請求項５２～６９のいずれか一項に記載の方法。

【請求項72】

前記最適化法は、前記連続した微分可能な埋め込み空間内の勾配ベースの降下を使用して前記更新埋め込みを生成する、請求項５２～７０のいずれか一項に記載の方法。

【請求項73】

前記最適化法は、Ａｄａｍ、ＲＭＳ Ｐｒｏｐ、Ａｄａ ｄｅｌｔａ、ＡｄａｍＭＡＸ、又はモーメンタム項付きＳＧＤから選択される最適化方式を利用する、請求項５２～６８のいずれか一項に記載の方法。

【請求項74】

前記最終生体高分子配列は、少なくとも１つの追加のタンパク質機能について更に最適化される、請求項５２～７２のいずれか一項に記載の方法。

【請求項75】

前記最適化法は、前記タンパク質機能と前記少なくとも１つの追加のタンパク質機能との両方を統合する複合機能に従って前記更新埋め込みを生成する、請求項７３に記載の方法。

【請求項76】

前記複合機能は、前記タンパク質機能及び前記少なくとも１つの追加のタンパク質機能に対応する２つ以上の機能の加重線形結合である、請求項７４に記載の方法。

【請求項77】

指定されたタンパク質機能を有する生体高分子配列を操作するコンピュータ実施方法であって、
（ａ）エンコーダ法を用いて初期生体高分子配列の埋め込みを生成することと、
（ｂ）最適化法を用いて、前記指定されたタンパク質機能を達成するように１つ又は複数の埋め込みパラメータを改変することによって前記埋め込みを調整することであって、それにより更新埋め込みを生成する、調整することと、
（ｃ）デコーダ法により、前記更新埋め込みを処理して、最終生体高分子配列を生成することと、
を含む方法。

【請求項78】

プロセッサによって実行されると、前記プロセッサに請求項１～７７のいずれか一項に記載の方法を実行させる命令を含む非一時的コンピュータ可読媒体。

【請求項79】

プロセッサによって実行されると、前記プロセッサに、
（ａ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、前記開始点は、生体高分子配列の前記機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに提供され、教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされる、計算することと、
（ｂ）前記機能空間における第１の更新点における特定の閾値内の所望の機能レベルに達すると、前記第１の更新点を提供することと、
（ｃ）デコーダから改良された確率的生体高分子配列を取得することと、
を行わせる命令を含む非一時的コンピュータ可読媒体。

【請求項80】

前記開始点は、シード生体高分子配列の前記埋め込みである、請求項７９に記載の非一時的コンピュータ可読媒体。

【請求項81】

前記機能空間における前記第１の更新点における前記埋め込みに関して前記機能の第２の変化を計算することと、
更なる更新点における前記埋め込みに関して前記機能の前記第２の変化を計算するプロセスを繰り返すことと、
を更に含む、請求項７９又は８０に記載の方法。

【請求項82】

前記第１の更新点を提供することは、任意選択的に繰り返される更なる更新点における特定の閾値内の前記機能の所望のレベルに達した場合、実行することができ、前記更なる更新点を提供することは、前記繰り返された更なる更新点を前記デコーダネットワークに提供することを含む、請求項８１に記載の方法。

【請求項83】

請求項１～７７のいずれか一項に記載の方法を実行するように構成された上記コンピュータ可読媒体と、プロセッサとを備えたシステム。

【請求項84】

プロセッサと、命令を含む非一時的コンピュータ可読媒体とを備えたシステムであって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
（ａ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、前記埋め込みの前記開始点は、生体高分子配列の前記機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに提供され、教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされる、計算することと、
（ｂ）前記機能空間における第１の更新点における所望の機能レベルに近づくと、前記第１の更新点を提供することと、
（ｃ）デコーダから改良された確率的生体高分子配列を取得することと、
を行わせる、システム。

【請求項85】

前記開始点は、シード生体高分子配列の前記埋め込みである、請求項８４に記載のシステム。

【請求項86】

前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
前記機能空間における前記第１の更新点における前記埋め込みに関して前記機能の第２の変化を計算することと、
更なる更新点における前記埋め込みに関して前記機能の前記第２の変化を計算するプロセスを繰り返すことと、
を更に行わせる、請求項８４又は８５に記載のシステム。

【請求項87】

前記第１の更新点を提供することは、任意選択的に繰り返される更なる更新点における特定の閾値内の前記機能の所望のレベルに達した場合、実行することができ、前記更なる更新点を提供することは、前記繰り返された更なる更新点を前記デコーダネットワークに提供することを含む、請求項８６に記載のシステム。

【請求項88】

プロセッサと、命令を含む非一時的コンピュータ可読媒体とを備えたシステムであって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
（ａ）生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダネットワークとを備えたシステムに埋め込みにおける開始点の前記機能を予測することであって、前記教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における前記予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、予測することと、
（ｂ）ステップサイズに従って前記開始点における前記埋め込みに関連した前記機能の変化を計算することであって、それにより、前記機能空間における第１の更新点を提供できるようにする、計算することと、
（ｃ）前記機能空間における前記第１の更新点に基づいて、前記デコーダネットワークにおいて第１の中間確率的生体高分子配列を計算することと、
（ｄ）教師ありモデルにおいて、前記第１の中間生体高分子配列に基づいて前記第１の中間確率的生体高分子配列の前記機能を予測することと、
（ｅ）前記機能空間における前記第１の更新点における前記埋め込みに関する前記機能の前記変化を計算することであって、それにより、前記機能空間における更新点を提供する、計算することと、
（ｆ）前記デコーダネットワークにおいて、前記機能空間における前記更新点に基づいて追加の中間確率的生体高分子配列を計算することと、
（ｇ）前記教師ありモデルにおいて、前記追加の中間確率的生体高分子配列に基づいて前記追加の中間確率的生体高分子配列の前記機能を予測することと、
（ｈ）前記機能空間における前記更なる第１の更新点における前記埋め込みに関連する前記機能の前記変化を計算することであって、それにより、前記機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｇ）～（ｉ）を繰り返し、ステップ（ｉ）において参照される前記機能空間における別の更なる更新点は、ステップ（ｇ）において前記機能空間における前記更なる更新点として見なされる、計算することと、
（ｉ）前記機能空間における所望の機能レベルに近づくと、前記埋め込みにおける前記点を前記デコーダネットワークに提供し、デコーダから改良された確率的生体高分子配列を取得していることと、
を行わせる、システム。

【請求項89】

命令を含む非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
（ａ）埋め込みにおける開始点の機能を予測することであって、前記埋め込みにおける前記開始点は、生体高分子配列の前記機能を予測する教師ありモデルネットワークと、デコーダネットワークとを備えたシステムに提供され、前記教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における前記予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、予測することと、
（ｂ）ステップサイズに従って前記開始点における前記埋め込みに関連した前記機能の変化を計算することであって、それにより、前記機能空間における第１の更新点を提供できるようにする、計算することと、
（ｃ）前記機能空間における前記第１の更新点に基づいて、前記デコーダネットワークによって第１の中間確率的生体高分子配列を計算することと、
（ｄ）前記教師ありモデルにおいて、前記第１の中間確率的生体高分子配列に基づいて前記第１の中間確率的生体高分子配列の前記機能を予測することと、
（ｅ）前記機能空間における前記第１の更新点における前記埋め込みに関する前記機能の前記変化を計算することであって、それにより、前記機能空間における更新点を提供する、計算することと、
（ｆ）前記デコーダネットワークによって前記機能空間における前記更新点に基づいて追加の中間確率的生体高分子配列を計算することと、
（ｇ）前記教師ありモデルにより、前記追加の確率的生体高分子配列に基づいて前記追加の中間確率的生体高分子配列の前記機能を予測することと、
（ｈ）前記機能空間における前記更なる第１の更新点における前記埋め込みに関連する前記機能の前記変化を計算することであって、それにより、前記機能空間における別の更なる更新点を提供し、前記機能空間における別の更なる更新点は、前記機能空間における前記更なる更新点として見なされる、計算することと、
（ｉ）前記機能空間における所望の機能レベルに近づくと、前記埋め込みにおける前記点を前記デコーダネットワークに提供し、デコーダから改良された確率的生体高分子配列を取得していることと、
を行わせる、非一時的コンピュータ可読媒体。

【請求項90】

請求項１～７７のいずれか一項に記載の方法により又は請求項８３～８８のいずれか一項に記載のシステムを使用して取得可能な改良された生体高分子配列を合成することを含む生体高分子を作製する方法。

【請求項91】

Ｙ３９、Ｆ６４、Ｖ６８、Ｄ１２９、Ｖ１６３、Ｋ１６６、Ｇ１９１、及びそれらの組合せから選択された部位に置換を含み、配列番号１と比較して増大した蛍光を有する、配列番号１に相対するアミノ酸配列を含む蛍光タンパク質。

【請求項92】

Ｙ３９、Ｆ６４、Ｖ６８、Ｄ１２９、Ｖ１６３、Ｋ１６６、及びＧ１９１の２、３、４、５、６、又は７つ全てにおいて置換を含む、請求項９０に記載の蛍光タンパク質。

【請求項93】

配列番号１に相対してＳ６５を含む、請求項９０又は９１に記載の蛍光タンパク質。

【請求項94】

前記アミノ酸配列は、配列番号１に相対してＳ６５を含む、請求項９０～９２のいずれか一項に記載の蛍光タンパク質。

【請求項95】

前記アミノ酸配列は、Ｆ６４及びＶ６８において置換を含む、請求項９０～９３のいずれか一項に記載の蛍光タンパク質。

【請求項96】

前記アミノ酸配列は、Ｙ３９、Ｄ１２９、Ｖ１６３、Ｋ１６６、及びＧ１９１の１、２、３、４、又は５つ全てを含む、請求項９０～９４のいずれか一項に記載の蛍光タンパク質。

【請求項97】

Ｙ３９、Ｆ６４、Ｖ６８、Ｄ１２９、Ｖ１６３、Ｋ１６６、又はＧ１９１における前記置換はそれぞれ、Ｙ３９Ｃ、Ｆ６４Ｌ、Ｖ６８Ｍ、Ｄ１２９Ｇ、Ｖ１６３Ａ、Ｋ１６６Ｒ、又はＧ１９１Ｖである、請求項９０～９５のいずれか一項に記載の蛍光タンパク質。

【請求項98】

配列番号１と少なくとも８０、８５、９０、９２、９２、９３、９４、９５、９６、９７、９８、９９％、又はそれを超えて同一であるアミノ酸配列を含む、請求項９０～９６のいずれか一項に記載の蛍光タンパク質。

【請求項99】

配列番号１と相対して少なくとも１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５個の突然変異を含む、請求項９０～９７のいずれか一項に記載の蛍光タンパク質。

【請求項100】

配列番号１と相対して１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５個以下の突然変異を含む、請求項９０～９８のいずれか一項に記載の蛍光タンパク質。

【請求項101】

配列番号１よりも少なくとも約２、３、４、５、６、７、８、９、１０、１５、２０、２５、３０、３５、４０、４５、又は５０倍高い蛍光強度を有する、請求項９０～９９のいずれか一項に記載の蛍光タンパク質。

【請求項102】

スーパーフォルダＧＦＰ（ＡＩＣ８２３５７）よりも少なくとも約２、３、４、又は５倍高い蛍光を有する、請求項９０～１００のいずれか一項に記載の蛍光タンパク質。

【請求項103】

請求項９０～１０１のいずれか一項に記載の蛍光タンパク質を含む融合タンパク質。

【請求項104】

請求項９１～１０２のいずれか一項に記載の蛍光タンパク質又は請求項１０２に記載の融合タンパク質をコードする配列を含む核酸。

【請求項105】

請求項１０３に記載の核酸を含むベクター。

【請求項106】

請求項９０～１０２のいずれか一項に記載のタンパク質、請求項１０３に記載の核酸、又は請求項１０４に記載のベクターを含む宿主細胞。

【請求項107】

請求項９０～１０１のいずれか一項に記載の蛍光タンパク質又は請求項１０３に記載の融合タンパク質を検出することを含む視覚化方法。

【請求項108】

前記検出は、前記蛍光タンパク質の放射スペクトルの波長を検出することによる、請求項１０６に記載の方法。

【請求項109】

前記視覚化は細胞内での視覚化である、請求項１０６又は１０７に記載の方法。

【請求項110】

前記細胞はｉｎ ｖｉｔｒｏ又はｉｎ ｖｉｖｏで単離された生体組織中の細胞である、請求項１０８に記載の方法。

【請求項111】

ポリペプチドをコードする核酸を含む発現ベクターを細胞に導入することを含む、請求項９１～１０２のいずれか一項に記載の蛍光タンパク質又は請求項１０３に記載の融合タンパク質を発現する方法。

【請求項112】

前記細胞を培養して、培養された細胞のバッチを成長させ、前記培養された細胞の前記バッチから前記ポリペプチドを精製することを更に含む、請求項１１０に記載の方法。

【請求項113】

生体細胞又は組織、組織内部のポリペプチドの蛍光信号を検出する方法であって、
（ａ）請求項９０～１０１のいずれか一項に記載の蛍光タンパク質又は前記蛍光タンパク質をコードする核酸を含む発現ベクターを前記生体細胞又は組織に導入することと、
（ｂ）前記生体細胞又は組織における前記蛍光タンパク質を励起させるのに適した第１の波長の光を向けることと、
（ｃ）前記第１の波長の光の吸収に応答して前記蛍光タンパク質によって放射される第２の波長の光を検出することと、
を含む方法。

【請求項114】

前記第２の波長の光は、蛍光顕微鏡又は蛍光活性化細胞選別（ＦＡＣＳ）を使用して検出される、請求項１１２に記載の方法。

【請求項115】

前記生体細胞又は組織は、原核細胞又は真核細胞である、請求項１１２に記載の方法。

【請求項116】

前記発現ベクターは、Ｎ末端又はＣ末端上の別の遺伝子と融合した前記ポリペプチドをコードする核酸を含む融合遺伝子を含む、請求項１１２に記載の方法。

【請求項117】

前記発現ベクターは、構成的活性プロモータ又は誘導発現プロモータである、前記ポリペプチドの発現を制御するプロモータを含む、請求項１１２に記載の方法。

【請求項118】

請求項１～８８のいずれか一項に記載の方法又はシステムで使用される教師ありモデルをトレーニングする方法であって、この教師ありモデルは、生体高分子配列を埋め込み機能空間における表現にマッピングするように構成されたエンコーダネットワークを備え、前記教師ありモデルは、前記表現に基づいて前記生体高分子配列の機能を予測するように構成され、前記方法は、
（ａ）複数のトレーニング生体高分子配列を提供するステップであって、各トレーニング生体高分子配列は機能でラベリングされる、提供するステップと、
（ｂ）前記エンコーダを使用して、各トレーニング生体高分子配列を前記埋め込み機能空間における表現にマッピングするステップと、
（ｃ）前記教師ありモデルを使用してこれらの表現に基づいて、各トレーニング生体高分子配列の前記機能を予測するステップと、
（ｄ）所定の予測損失関数を使用して、各トレーニング生体高分子配列について、前記予測機能が各トレーニング生体高分子配列の前記ラベルの通りの前記機能と一致する程度を特定するステップと、
（ｅ）更なるトレーニング生体高分子配列が前記教師ありモデルによって処理される場合に生じる前記予測損失関数により、レーティングを改善することを目標として、前記教師ありモデルの挙動を特徴付けるパラメータを最適化するステップと、
を含む方法。

【請求項119】

請求項１～８８のいずれか一項に記載の方法又はシステムで使用されるデコーダをトレーニングする方法であって、前記デコーダは、埋め込み機能空間から確率的生体高分子配列に生体高分子配列の表現をマッピングするように構成され、前記方法は、
（ａ）生体高分子配列の複数の表現を前記埋め込み機能空間に提供するステップと、
（ｂ）前記デコーダを使用して各表現を確率的生体高分子配列にマッピングするステップと、
（ｃ）各確率的生体高分子配列からサンプル生体高分子配列を引き出すステップと、
（ｄ）トレーニング済みエンコーダを使用してこのサンプル生体高分子配列を前記埋め込み機能空間における表現にマッピングするステップと、
（ｅ）所定の再構築損失関数を使用して、そうして特定された各表現が対応する元の表現と一致する程度を特定するステップと、
（ｆ）前記埋め込み機能空間からの生体高分子配列の更なる表現が前記デコーダによって処理される場合に生じる前記再構築損失関数により、レーティングを改善することを目標として、前記デコーダの挙動を特徴付けるパラメータを最適化するステップと、
を含む方法。

【請求項120】

前記エンコーダは、前記デコーダによって生成される前記表現に基づいて前記生体高分子配列の機能を予測するように構成された教師ありモデルの一部であり、前記方法は、
（ａ）前記トレーニング済みエンコーダを使用してトレーニング生体高分子配列を前記埋め込み機能空間における表現にマッピングすることにより、生体高分子配列の前記複数の表現の少なくとも部分を前記デコーダに提供することと、
（ｂ）前記確率的生体高分子配列から引き出された前記サンプル生体高分子配列について、前記教師ありモデルを使用してこのサンプル生体高分子配列の機能を予測することと、
（ｃ）前記機能を、前記対応する元のトレーニング生体高分子配列について同じ前記教師ありモデルによって予測された機能と比較することと、
（ｄ）所定の一貫性損失関数を使用して、前記サンプル生体高分子配列で予測された前記機能が前記元のトレーニング生体高分子配列で予測された前記機能と一致する程度を特定することと、
（ｅ）トレーニング生体高分子配列から前記エンコーダによって生成された生体高分子配列の更なる表現が前記デコーダによって処理される場合に生じる、前記一貫性損失関数及び／又は前記一貫性損失関数と前記再構築損失関数との所定の組合せにより、前記レーティングを改善することを目標として、前記デコーダの挙動を特徴付けるパラメータを最適化することと、
を更に含む、請求項１１９に記載の方法。

【請求項121】

教師ありモデル及びデコーダのアンサンブルをトレーニングする方法であって、
前記教師ありモデルは、生体高分子配列を埋め込み機能空間における表現にマッピングするように構成されたエンコーダネットワークを備え、
前記教師ありモデルは、前記表現に基づいて前記生体高分子配列の機能を予測するように構成され、
前記デコーダは、埋め込み機能空間から確率的生体高分子配列に生体高分子配列の表現をマッピングするように構成され、
前記方法は、
（ａ）複数のトレーニング生体高分子配列を提供するステップであって、各トレーニング生体高分子配列は機能でラベリングされる、提供するステップと、
（ｂ）前記エンコーダを使用して、各トレーニング生体高分子配列を前記埋め込み機能空間における表現にマッピングするステップと、
（ｃ）前記教師ありモデルを使用してこれらの表現に基づいて、各トレーニング生体高分子配列の前記機能を予測するステップと、
（ｄ）前記デコーダを使用して、前記埋め込み機能空間における各表現を確率的生体高分子配列にマッピングするステップと、
（ｅ）前記確率的生体高分子配列からサンプル生体高分子配列を引き出すステップと、
（ｆ）所定の予測損失関数を使用して、各トレーニング生体高分子配列について、前記予測された機能が各トレーニング生体高分子配列の前記ラベルの通りの前記機能と一致する程度を特定するステップと、
（ｇ）所定の再構築損失関数を使用して、各サンプル生体高分子配列について、生成元である元のトレーニング生体高分子配列と一致する程度を特定するステップと、
（ｈ）前記予測損失関数と前記再構築損失関数との所定の組合せにより、レーティングを改善することを目標として、前記教師ありモデルの挙動を特徴付けるパラメータ及び前記デコーダの挙動を特徴付けるパラメータを最適化するステップと、
を含む方法。

【請求項122】

請求項１１８～１２１のいずれか一項に記載の方法によって取得される、教師ありモデル、エンコーダ、又はデコーダの挙動を特徴付けるパラメータセット。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本願は、両方とも２０１９年８月２日付けで出願された米国仮特許出願第６２／８８２，１５０号明細書及び同第６２／８８２，１５９号明細書の利益を主張するものである。上記出願の教示全体は参照により本明細書に援用される。

【0002】

ＡＳＣＩＩテキストファイル資料の参照による援用
本願は、本願と同時に提出される以下のＡＳＣＩＩテキストファイルに含まれる配列リストを参照により援用する：
ａ）ファイル名：ＧＢＤ＿ＳｅｑＬｉｓｔｉｎｇ＿ＳＴ２５．ｔｘｔ；２０２０年７月２９日作成、サイズ５ＫＢ。

【背景技術】

【0003】

タンパク質は、生物にとって必須であり、例えば、代謝反応の触媒、ＤＮＡ複製の促進、刺激への応答、細胞及び組織への構造の提供、並びに分子の輸送を含め、有機体内の多くの機能を実行し、又は多くの機能に関連するマクロ分子である。タンパク質は、アミノ酸の１つ又は複数の鎖、典型的には三次元構造で構成される。

【発明の概要】

【課題を解決するための手段】

【0004】

本明細書に記載されるのは、機能及び／又は性質又はその改善を達成するようにタンパク質配列又はポリペプチド配列を生成又は改変するシステム、装置、ソフトウェア、及び方法である。配列は計算方法を通してｉｎ ｓｉｌｉｃｏで特定することができる。タンパク質又はポリペプチドを合理的に操作するための新規の枠組みを提供するために、人工知能又は機械学習が利用される。したがって、所望の機能又は性質を有する、自然起源のタンパク質とは別個の新たなポリペプチド配列を生成することができる。

【0005】

特定の機能に向けたアミノ酸配列（例えばタンパク質）の設計は、分子生物学の長年の目標であった。しかしながら、機能又は性質に基づくタンパク質アミノ酸配列予測は、少なくとも部分的に、一見すると単純な一級アミノ酸配列から生じ得る構造的複雑性に起因して、かなりの難問である。今日での一手法は、ｉｎ ｖｉｔｒｏでのランダム変異誘発を使用してから選択し、定向進化過程を生じさせるものであった。しかしながら、そのような手法は時間及びリソース集約的であり、典型的には変異体クローンの生成であって、そのような生成はライブラリ設計でのバイアスを受け、又は配列空間の探求が制限される、変異体クローンの生成、所望の性質に向けたそれらのクローンのスクリーニング、及びこのプロセスの反復繰り返しを必要とする。実際に、従来の手法は、アミノ酸配列に基づいてタンパク質機能を予測する正確で再現可能な方法を提供することができず、ましてやタンパク質機能に基づいてアミノ酸配列を予測することなどできなかった。実際に、機能に基づくタンパク質一級配列予測に関する従来の考えは、タンパク質機能の多くがその最終的な三次（又は四次）構造によって導出されるため、一級タンパク質配列は既知の機能と直接関連付けることができないというものである。

【0006】

逆に、計算又はｉｎ ｓｉｌｉｃｏ方法を使用して関心のある性質又は機能を有するタンパク質を操作する能力を有することは、タンパク質設計の分野を一変させることができる。このテーマの多くの研究にも拘わらず、今まで殆ど成功が達成されてこなかった。したがって、本明細書に開示されるのは、特定の性質及び／又は機能を有するように構成されたポリペプチド又はタンパク質のアミノ酸配列コードを生成する革新的なシステム、装置、ソフトウェア、及び方法である。したがって、本明細書に記載の革新は思いがけないものであり、タンパク質解析及びタンパク質構造に関する従来の考えに鑑みて思いがけない結果をもたらす。

【0007】

本明細書に記載されるのは、関数によって査定される改良された生体高分子配列を操作する方法であり、本方法は、（ａ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、開始点は、生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに提供され、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされ、任意選択的に開始点はシード生体高分子配列の埋め込みであり、それにより、機能空間における第１の更新点を提供する、計算することと、（ｂ）任意選択的に機能空間における第１の更新点における埋め込みに関する機能の変化を計算し、任意選択的に更なる更新点における埋め込みに関する機能の変化を計算するプロセスを繰り返すことと、（ｃ）機能空間における第１の更新点又は任意選択的に反復される更なる更新点で所望レベルの機能に近づくと、第１の更新点又は任意選択的に反復される更なる更新点をデコーダネットワークに提供することと、（ｄ）デコーダから改良された確率的生体高分子配列を取得することとを含む。

【0008】

本明細書では、「ｆｕｎｃｔｉｏｎ」という用語に２つの意味が関連付けられ得る。一方では、ｆｕｎｃｔｉｏｎ（機能）は質的側面で、生物学的領域でのタンパク質の何らかの性質及び／又は能力（例えば蛍光のような）を表し得る。他方、ｆｕｎｃｔｉｏｎ（関数）は量的側面で、生物学的領域でのその性質及び／又は能力と関連付けられた何らかの性能指数、例えば蛍光効果の強度の尺度を表し得る。

【0009】

したがって、「機能空間（ｆｕｎｃｔｉｏｎａｌ ｓｐａｃｅ）」という用語の意味は、数学的領域での意味、即ち、全てが全く同一の空間から入力をとり、この入力を同じ又は他の空間における出力にマッピングする関数の集合に限定されない。むしろ、機能空間は、機能の値、即ち所望の性質及び／又は能力の定量的性能指数を取得し得る生体高分子配列の圧縮表現を含み得る。

【0010】

特に、圧縮表現は、２つ以上の次元を有するデカルトベクトル空間における座標として解釈し得る２つ以上の数値を含み得る。しかしながら、デカルトベクトル空間はこれらの圧縮表現で完全には満たされない。むしろ、圧縮表現は上記デカルトベクトル空間内のサブ空間を形成し得る。これは、圧縮表現に対して本明細書で使用される用語「埋め込み」の１つの意味である。

【0011】

幾つかの態様では、埋め込みは、機能を表し、１つ又は複数の勾配を有する連続微分可能な機能空間である。幾つかの態様では、埋め込みに関する機能の変化を計算することは、埋め込みに関する機能の導関数をとることを含む。

【0012】

特に、教師ありモデルのトレーニングは、２つの生体高分子配列が機能の定量的意味で同様の値の上記性能指数を有する場合、それらの圧縮表現は機能空間において一緒に近いという意味で、埋め込みを機能に結びつけ得る。これは、改善された性能指数を有する生体高分子配列に辿り着くために、圧縮表現に標的更新を行うのに役立つ。

【0013】

「１つ又は複数の勾配を有する」という句は、この勾配が、圧縮表現を定量的性能指数にマッピングする何らかの明示的な機能について計算される必要があるという意味に限定されて解釈されるべきではない。むしろ、圧縮表現へのその性能指数の依存は、明示的な機能項が利用可能ではない学習済み関係であり得る。そのような学習済み関係では、埋め込みの機能空間における勾配は例えば、バックプロパゲーションによって計算し得る。例えば、埋め込みにおける生体高分子配列の第１の圧縮表現がデコーダによって生体高分子配列に変換され、そしてこの生体高分子配列がエンコーダに供給され、圧縮表現にマッピングされる場合、教師ありモデルはこの圧縮表現から上記定量的性能指数を計算し得る。次いで、元の圧縮表現における数値に関するこの性能指数の勾配はバックプロパゲーションによって取得し得る。これは図３Ａにより詳細に示されている。

【0014】

先に触れたように、特定の埋め込み空間及び特定の性能指数は、同様の性能指数を有する圧縮表現は、同様の性能指数を有する圧縮表現が埋め込み空間において一緒に近いという意味で、同じメダルの２つの面であり得る。したがって、圧縮表現を構成する数値に関して性能指数機能の勾配を得る有意な方法がある場合、埋め込み空間は「微分可能」と見なされ得る。

【0015】

「確率的生体高分子配列」という用語は特に、生体高分子配列をサンプリングによって取得し得るある分布の生体高分子配列を含み得る。例えば、定義された長さＬの生体高分子配列が探され、各位置で利用可能なアミノ酸の集合が固定される場合、確率的生体高分子配列は、配列中の各位置及び利用可能な各アミノ酸について、この位置がこの特定のアミノ酸によって占有される確率を示し得る。これは図３Ｃにより詳細に示されている。

【0016】

幾つかの態様では、機能は２つ以上の構成要素機能の複合機能である。幾つかの態様では、複合機能は、２つ以上の複合機能の加重和である。幾つかの態様では、埋め込みにおける２つ以上の開始点、例えば少なくとも２つの開始点は同時に使用される。態様では、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、１００、２００個の開始点を同時に使用することができるが、これは非限定的な列記である。幾つかの態様では、残基同一性の確率分布を含む確率的配列における残基間の相関が、既に生成された配列の部分を考慮に入れる条件付き確率を使用したサンプリングプロセスで考慮される。幾つかの態様では、本方法は、残基同一性の確率分布を含む確率的生体高分子配列から最大尤度改良済み生体高分子配列を選択することを更に含む。幾つかの態様では、本方法は、残基同一性の確率分布を含む確率的生体高分子配列の各残基における周辺分布をサンプリングすることを更に含む。幾つかの態様では、埋め込みに関する機能の変化は、エンコーダに関する機能の変化、次いでデコーダの変化へのエンコーダの変化、及び埋め込みに関するデコーダの変化を計算することによって計算される。幾つかの態様では、本方法は、機能空間における第１の更新点又は機能空間における更なる更新点をデコーダネットワークに提供することであって、それにより、中間確率的生体高分子配列を提供する、提供することと、中間確率的生体高分子配列を教師ありモデルネットワークに提供することであって、それにより、中間確率的生体高分子配列の機能を予測する、提供することと、次いで、中間確率的生体高分子の埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更なる更新点を提供する、計算することとを含む。

【0017】

本明細書に記載されるのは、プロセッサと、ソフトウェアが符号化された非一時的コンピュータ可読媒体とを備えたシステムであって、ソフトウェアは、プロセッサに、（ａ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供し、開始点は、生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに提供され、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされ、任意選択的に開始点はシード生体高分子配列の埋め込みである、計算することと、（ｂ）任意選択的に機能空間における第１の更新点での埋め込みに関する機能の変化を計算し、任意選択的に更なる更新点での埋め込みに関する機能の変化を計算するプロセスを繰り返すことと、（ｃ）機能空間における第１の更新点又は任意選択的に反復される更なる更新点での所望レベルの機能に近づくと、第１の更新点又は任意選択的に反復される更なる更新点をデコーダネットワークに提供することと、（ｄ）デコーダから改良された確率的生体高分子配列を取得することとを行わせるように構成される。幾つかの態様では、埋め込みは、機能を表し、１つ又は複数の勾配を有する連続微分可能な機能空間である。幾つかの態様では、埋め込みに関する機能の変化を計算することは、埋め込みに関する機能の導関数をとることを含む。幾つかの態様では、機能は２つ以上の構成要素機能の複合機能である。幾つかの態様では、複合機能は、２つ以上の複合機能の加重和である。幾つかの態様では、埋め込みにおける２つ以上の開始点、例えば少なくとも２つの開始点は同時に使用される。特定の態様では、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、１００、２００個の開始点を同時に使用することができるが、これは非限定的な列記である。幾つかの態様では、残基同一性の確率分布を含む確率的配列における残基間の相関が、既に生成された配列の部分を考慮に入れる条件付き確率を使用したサンプリングプロセスで考慮される。幾つかの態様では、プロセッサは、残基同一性の確率分布を含む確率的生体高分子配列から最大尤度改良済み生体高分子配列を選択するように更に構成される。幾つかの態様では、プロセッサは、残基同一性の確率分布を含む確率的生体高分子配列の各残基における周辺分布をサンプリングするように更に構成される。幾つかの態様では、埋め込みに関する機能の変化は、エンコーダに関する機能の変化、次いでデコーダの変化へのエンコーダの変化、及び埋め込みに関するデコーダの変化を計算することによって計算される。幾つかの態様では、プロセッサは、機能空間における第１の更新点又は機能空間における更なる更新点をデコーダネットワークに提供することであって、それにより、中間確率的生体高分子配列を提供する、提供することと、中間確率的生体高分子配列を教師ありモデルネットワークに提供することであって、それにより、中間確率的生体高分子配列の機能を予測する、提供することと、次いで、中間確率的生体高分子の埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更なる更新点を提供する、計算することとを行うように更に構成される。

【0018】

本明細書に記載されるのは、命令を含む非一時的コンピュータ可読記憶媒体であり、命令は、プロセッサによって実行されると、プロセッサに、（ａ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供し、開始点は、生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに提供され、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされ、任意選択的に開始点はシード生体高分子配列の埋め込みである、計算することと、（ｂ）任意選択的に機能空間における第１の更新点での埋め込みに関する機能の変化を計算し、任意選択的に更なる更新点での埋め込みに関する機能の変化を計算するプロセスを繰り返すことと、（ｃ）機能空間における第１の更新点又は任意選択的に反復される更なる更新点での所望レベルの機能に近づくと、第１の更新点又は任意選択的に反復される更なる更新点をデコーダネットワークに提供することと、（ｄ）デコーダから改良された確率的生体高分子配列を取得することとを行わせる。幾つかの態様では、埋め込みは、機能を表し、１つ又は複数の勾配を有する連続微分可能な機能空間である。幾つかの態様では、埋め込みに関する機能の変化を計算することは、埋め込みに関する機能の導関数をとることを含む。幾つかの態様では、機能は２つ以上の構成要素機能の複合機能である。幾つかの態様では、複合機能は、２つ以上の複合機能の加重和である。幾つかの態様では、埋め込みにおける２つ以上の開始点、例えば少なくとも２つの開始点は同時に使用される。特定の態様では、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、１００、２００個の開始点を同時に使用することができるが、これは非限定的な列記である。幾つかの態様では、残基同一性の確率分布を含む確率的配列における残基間の相関が、既に生成された配列の部分を考慮に入れる条件付き確率を使用したサンプリングプロセスで考慮される。幾つかの態様では、プロセッサは、残基同一性の確率分布を含む確率的生体高分子配列から最大尤度改良済み生体高分子配列を選択するように更に構成される。幾つかの態様では、プロセッサは、残基同一性の確率分布を含む確率的生体高分子配列の各残基における周辺分布をサンプリングするように更に構成される。幾つかの態様では、埋め込みに関する機能の変化は、エンコーダに関する機能の変化、次いでデコーダの変化へのエンコーダの変化、及び埋め込みに関するデコーダの変化を計算することによって計算される。幾つかの態様では、プロセッサは、機能空間における第１の更新点又は機能空間における更なる更新点をデコーダネットワークに提供することであって、それにより、中間確率的生体高分子配列を提供する、提供することと、中間確率的生体高分子配列を教師ありモデルネットワークに提供することであって、それにより、中間確率的生体高分子配列の機能を予測する、提供することと、次いで、中間確率的生体高分子の埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更なる更新点を提供する、計算することとを行うように更に構成される。

【0019】

本明細書に開示されるのは、機能によって査定される改良された生体高分子配列を操作する方法であり、本方法は、（ａ）生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダネットワークとを備えたシステムに提供される埋め込みにおける開始点の機能を予測することであって、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、確率的生体高分子配列を提供するようにトレーニングされ、任意選択的に、開始点はシード生体高分子配列の埋め込みである、予測することと、（ｂ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供できるようにする、計算することと、（ｃ）機能空間における第１の更新点に基づいて、デコーダネットワークにおいて第１の中間確率的生体高分子配列を計算することと、（ｄ）教師ありモデルにおいて、第１の中間生体高分子配列に基づいて第１の中間確率的生体高分子配列の機能を予測することと、（ｅ）機能空間における第１の更新点における埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更新点を提供する、計算することと、（ｆ）デコーダネットワークにおいて、機能空間における更新点に基づいて追加の中間確率的生体高分子配列を計算することと、（ｇ）教師ありモデルにより、追加の中間確率的生体高分子配列に基づいて追加の中間確率的生体高分子配列の機能を予測することと、（ｈ）機能空間における更なる第１の更新点における埋め込みに関連する機能の変化を計算することであって、それにより、機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｇ）～（ｉ）を繰り返し、ステップ（ｈ）において参照される機能空間における別の更なる更新点は、ステップ（ｆ）において機能空間における更なる更新点として見なされる、計算することと、（ｉ）機能空間における所望の機能レベルに近づくと、埋め込みにおける点をデコーダネットワークに提供し、デコーダから改良された確率的生体高分子配列を取得していることとを含む。幾つかの態様では、生体高分子はタンパク質である。幾つかの態様では、シード生体高分子配列は、複数の配列の平均である。幾つかの態様では、シード生体高分子配列は、機能を持たず、又は機能の所望レベルよりも低い機能レベルを有する。幾つかの態様では、エンコーダは、少なくとも２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、又は２００の生体高分子配列のトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、エンコーダは畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である。幾つかの態様では、エンコーダはトランスフォーマニューラルネットワークである。幾つかの態様では、エンコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む。幾つかの態様では、エンコーダは深層畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、エンコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ（Ｎｅｓｔｒｏｐ）項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、エンコーダは転移学習手順を使用してトレーニングされる。幾つかの態様では、転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して第２のモデルをトレーニングすることであって、それにより、トレーニング済みエンコーダを生成する、トレーニングすることとを含む。幾つかの態様では、デコーダは、少なくとも２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、又は２００の生体高分子配列のトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、デコーダは、畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である。幾つかの態様では、デコーダはトランスフォーマニューラルネットワークである。幾つかの態様では、デコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む。幾つかの態様では、デコーダは深層畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、デコーダは少なくとも１０、５０、１００、２５０、５００、７５０、又は１０００の層を含む。幾つかの態様では、デコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、デコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、デコーダは転移学習手順を使用してトレーニングされる。幾つかの態様では、転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して第２のモデルをトレーニングすることであって、それにより、トレーニング済みデコーダを生成する、トレーニングすることとを含む。幾つかの態様では、改良された生体高分子配列の１つ又は複数の機能は、シード生体高分子配列の１つ又は複数の機能と比較して改善される。幾つかの態様では、１つ又は複数の機能は、蛍光、酵素活性、ヌクレアーゼ活性、及びタンパク質安定性から選択される。幾つかの態様では、２つ以上の機能の加重線形結合が生体高分子配列の査定に使用される。

【0020】

本明細書に記載されるのは、プロセッサと、ソフトウェアが符号化された非一時的コンピュータ可読媒体とを備えたコンピュータシステムであり、ソフトウェアはプロセッサに、（ａ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供し、埋め込みにおける開始点は、生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダネットワークとを備えたシステムに提供され、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされ、任意選択的に、開始点はシード生体高分子配列の埋め込みである、計算することと、（ｂ）機能空間における第１の更新点に基づいて、デコーダネットワークにおいて第１の中間確率的生体高分子配列を計算することと、（ｃ）教師ありモデルにおいて、第１の中間生体高分子配列に基づいて第１の中間確率的生体高分子配列の機能を予測することと、（ｄ）機能空間における第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更新点を提供する、計算することと、（ｅ）デコーダネットワークにおいて、機能空間における更新点に基づいて追加の中間確率的生体高分子配列を計算することと、（ｆ）教師ありモデルにおいて、追加の中間確率的生体高分子配列に基づいて追加の中間確率的生体高分子配列の機能を予測することと、（ｇ）機能空間における更なる第１の更新点における埋め込みに関連する機能の変化を計算することであって、それにより、機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｆ）～（ｇ）を繰り返し、ステップ（ｇ）において参照される機能空間における別の更なる更新点は、ステップ（ｅ）において機能空間における更なる更新点として見なされる、計算することと、（ｉ）機能空間における所望の機能レベルに近づくと、埋め込みにおける点をデコーダネットワークに提供することと、（ｊ）デコーダから改良された確率的生体高分子配列を取得していることとを行わせるように構成される。幾つかの態様では、生体高分子はタンパク質である。幾つかの態様では、シード生体高分子配列は、複数の配列の平均である。幾つかの態様では、シード生体高分子配列は、機能を持たず、又は機能の所望レベルよりも低い機能レベルを有する。幾つかの態様では、エンコーダは、少なくとも２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、又は２００の生体高分子配列のトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、エンコーダは畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である。幾つかの態様では、エンコーダはトランスフォーマニューラルネットワークである。幾つかの態様では、エンコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む。幾つかの態様では、エンコーダは深層畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、エンコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、エンコーダは転移学習手順を使用してトレーニングされる。幾つかの態様では、転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して第２のモデルをトレーニングすることであって、それにより、トレーニング済みエンコーダを生成する、トレーニングすることとを含む。幾つかの態様では、デコーダは、少なくとも２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、又は２００の生体高分子配列のトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、デコーダは、畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である。幾つかの態様では、デコーダはトランスフォーマニューラルネットワークである。幾つかの態様では、デコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む。幾つかの態様では、デコーダは深層畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、デコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、デコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、デコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、デコーダは転移学習手順を使用してトレーニングされる。幾つかの態様では、転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して第２のモデルをトレーニングすることであって、それにより、トレーニング済みデコーダを生成する、トレーニングすることとを含む。幾つかの態様では、改良された生体高分子配列の１つ又は複数の機能は、シード生体高分子配列の１つ又は複数の機能と比較して改善される。幾つかの態様では、１つ又は複数の機能は、蛍光、酵素活性、ヌクレアーゼ活性、及びタンパク質安定性から選択される。幾つかの態様では、２つ以上の機能の加重線形結合が生体高分子配列の査定に使用される。

【0021】

本明細書に記載されるのは、命令を含む非一時的コンピュータ可読媒体であり、命令は、プロセッサによって実行されると、プロセッサに、（ａ）埋め込みにおける開始点の機能を予測することであって、開始点はシード生体高分子配列の埋め込みであり、開始点は、生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダネットワークとを備えたシステムに提供され、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、予測することと、（ｂ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供する、計算することと、（ｃ）機能空間における第１の更新点をデコーダネットワークに提供することであって、それにより、第１の中間確率生体高分子配列を提供する、提供することと、（ｄ）教師ありモデルにより、第１の中間生体高分子配列に基づいて第１の中間確率的生体高分子配列の機能を予測することと、（ｅ）機能空間における第１の更新点における埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更新点を提供する、計算することと、（ｆ）デコーダネットワークにより、機能空間における更新点に基づいて追加の中間確率的生体高分子配列を提供することと、（ｇ）追加の中間確率的生体高分子配列の機能を予測することであって、追加の中間確率的生体高分子配列を教師ありモデルに提供、予測することと、（ｈ）機能空間における更なる第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｆ）～（ｈ）を繰り返し、ステップ（ｈ）において参照される機能空間での別の更なる更新点は、ステップ（ｆ）において機能空間での更なる更新点として見なされる、計算することと、（ｉ）機能空間における所望の機能レベルに近づくと、埋め込みにおける点をデコーダネットワークに提供し、デコーダから改良された確率的生体高分子配列を取得することとを行わせる。幾つかの態様では、生体高分子はタンパク質である。幾つかの態様では、シード生体高分子配列は、複数の配列の平均である。幾つかの態様では、シード生体高分子配列は、機能を持たず、又は機能の所望レベルよりも低い機能レベルを有する。幾つかの態様では、エンコーダは、少なくとも２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、又は２００の生体高分子配列のトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、エンコーダは畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である。幾つかの態様では、エンコーダはトランスフォーマニューラルネットワークである。幾つかの態様では、エンコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む。幾つかの態様では、エンコーダは深層畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、エンコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、エンコーダは転移学習手順を使用してトレーニングされる。幾つかの態様では、転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して第２のモデルをトレーニングすることであって、それにより、トレーニング済みエンコーダを生成する、トレーニングすることとを含む。幾つかの態様では、デコーダは、少なくとも２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、又は２００の生体高分子配列のトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、デコーダは、畳み込みニューラルネットワーク（ＣＮＮ）又はリカレントニューラルネットワーク（ＲＮＮ）である。幾つかの態様では、デコーダはトランスフォーマニューラルネットワークである。幾つかの態様では、デコーダは、１つ又は複数の畳み込み層、プーリング層、全結合層、正規化層、又はそれらの任意の組合せを含む。幾つかの態様では、デコーダは深層畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、デコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、デコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、デコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、デコーダは転移学習手順を使用してトレーニングされる。幾つかの態様では、転移学習手順は、機能に関してラベリングされていない第１の生体高分子配列トレーニングデータセットを使用して第１のモデルをトレーニングすることと、第１のモデルの少なくとも一部分を含む第２のモデルを生成することと、機能に関してラベリングされている第２の生体高分子配列トレーニングデータセットを使用して第２のモデルをトレーニングすることであって、それにより、トレーニング済みデコーダを生成する、トレーニングすることとを含む。幾つかの態様では、改良された生体高分子配列の１つ又は複数の機能は、シード生体高分子配列の１つ又は複数の機能と比較して改善される。幾つかの態様では、１つ又は複数の機能は、蛍光、酵素活性、ヌクレアーゼ活性、及びタンパク質安定性から選択される。幾つかの態様では、２つ以上の機能の加重線形結合が生体高分子配列の査定に使用される。

【0022】

本明細書に開示されるのは、指定されたタンパク質機能を有する生体高分子配列を操作するコンピュータ実施方法であり、本方法は、（ａ）エンコーダ法を用いて初期生体高分子配列の埋め込みを生成することと、（ｂ）最適化法を用いて、１つ又は複数の埋め込みパラメータを調整することにより、指定されたタンパク質機能に対応するように埋め込みを繰り返し変更することであって、それにより、更新埋め込みを生成する、繰り返し変更することと、（ｃ）デコーダ法により、更新埋め込みを処理して、最終生体高分子配列を生成することとを含む。幾つかの態様では、生体高分子配列は一級タンパク質アミノ酸配列を含む。幾つかの態様では、アミノ酸配列は、タンパク質機能を生じさせるタンパク質構成を生じさせる。幾つかの態様では、タンパク質機能は蛍光を含む。幾つかの態様では、タンパク質機能は酵素活性を含む。幾つかの態様では、タンパク質機能はヌクレアーゼ活性を含む。幾つかの態様では、タンパク質機能はタンパク質安定性の程度を含む。幾つかの態様では、エンコーダ法は、初期生体高分子配列を受け取り、埋め込みを生成するように構成される。幾つかの態様では、エンコーダ法は、深層畳み込みニューラルネットワークを含む。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、エンコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、デコーダ法は、深層畳み込みニューラルネットワークを含む。幾つかの態様では、２つ以上の機能の加重線形結合が生体高分子配列の査定に使用される。幾つかの態様では、最適化法は、連続した微分可能な埋め込み空間内の勾配ベースの降下を使用して更新埋め込みを生成する。幾つかの態様では、最適化法は、Ａｄａｍ、ＲＭＳ Ｐｒｏｐ、Ａｄａ ｄｅｌｔａ、ＡｄａｍＭＡＸ、又はモーメンタム項付きＳＧＤから選択される最適化方式を利用する。幾つかの態様では、最終生体高分子配列は、少なくとも１つの追加のタンパク質機能について更に最適化される。幾つかの態様では、最適化法は、タンパク質機能と少なくとも１つの追加のタンパク質機能との両方を統合する複合機能に従って更新埋め込みを生成する。幾つかの態様では、複合機能は、タンパク質機能及び少なくとも１つの追加のタンパク質機能に対応する２つ以上の機能の加重線形結合である。

【0023】

本明細書に開示されるのは、指定されたタンパク質機能を有する生体高分子配列を操作するコンピュータ実施方法であり、本方法は、（ａ）エンコーダ法を用いて初期生体高分子配列の埋め込みを生成することと、（ｂ）最適化法を用いて、指定されたタンパク質機能を達成するように１つ又は複数の埋め込みパラメータを改変することによって埋め込みを調整することであって、それにより更新埋め込みを生成する、調整することと、（ｃ）デコーダ法により、更新埋め込みを処理して、最終生体高分子配列を生成することとを含む。

【0024】

本明細書に記載されるのは、プロセッサと、ソフトウェアが符号化された非一時的コンピュータ可読媒体とを備えたシステムであり、ソフトウェアはプロセッサに、（ａ）エンコーダ法を用いて初期生体高分子配列の埋め込みを生成することと、（ｂ）最適化法を用いて、１つ又は複数の埋め込みパラメータを調整することにより、指定されたタンパク質機能に対応するように埋め込みを繰り返し変更することであって、それにより、更新埋め込みを生成する、繰り返し変更することと、（ｃ）デコーダ法により、更新埋め込みを処理して、最終生体高分子配列を生成することとを行わせるように構成される。幾つかの態様では、生体高分子配列は一級タンパク質アミノ酸配列を含む。幾つかの態様では、アミノ酸配列は、タンパク質機能を生じさせるタンパク質構成を生じさせる。幾つかの態様では、タンパク質機能は蛍光を含む。幾つかの態様では、タンパク質機能は酵素活性を含む。幾つかの態様では、タンパク質機能はヌクレアーゼ活性を含む。幾つかの態様では、タンパク質機能はタンパク質安定性の程度を含む。幾つかの態様では、エンコーダ法は、初期生体高分子配列を受け取り、埋め込みを生成するように構成される。幾つかの態様では、エンコーダ法は、深層畳み込みニューラルネットワークを含む。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、エンコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、デコーダ法は、深層畳み込みニューラルネットワークを含む。幾つかの態様では、２つ以上の機能の加重線形結合が生体高分子配列の査定に使用される。幾つかの態様では、最適化法は、連続した微分可能な埋め込み空間内の勾配ベースの降下を使用して更新埋め込みを生成する。幾つかの態様では、最適化法は、Ａｄａｍ、ＲＭＳ Ｐｒｏｐ、Ａｄａ ｄｅｌｔａ、ＡｄａｍＭＡＸ、又はモーメンタム項付きＳＧＤから選択される最適化方式を利用する。幾つかの態様では、最終生体高分子配列は、少なくとも１つの追加のタンパク質機能について更に最適化される。幾つかの態様では、最適化法は、タンパク質機能と少なくとも１つの追加のタンパク質機能との両方を統合する複合機能に従って更新埋め込みを生成する。幾つかの態様では、複合機能は、タンパク質機能及び少なくとも１つの追加のタンパク質機能に対応する２つ以上の機能の加重線形結合である。

【0025】

本明細書に記載されるのは、命令を含む非一時的コンピュータ可読媒体であり、命令は、プロセッサによって実行されると、プロセッサに、（ａ）エンコーダ法を用いて初期生体高分子配列の埋め込みを生成することと、（ｂ）最適化法を用いて、１つ又は複数の埋め込みパラメータを調整することにより、指定されたタンパク質機能に対応するように埋め込みを繰り返し変更することであって、それにより、更新埋め込みを生成する、繰り返し変更することと、（ｃ）デコーダ法により、更新埋め込みを処理して、最終生体高分子配列を生成することとを行わせる。幾つかの態様では、生体高分子配列は一級タンパク質アミノ酸配列を含む。幾つかの態様では、アミノ酸配列は、タンパク質機能を生じさせるタンパク質構成を生じさせる。幾つかの態様では、タンパク質機能は蛍光を含む。幾つかの態様では、タンパク質機能は酵素活性を含む。幾つかの態様では、タンパク質機能はヌクレアーゼ活性を含む。幾つかの態様では、タンパク質機能はタンパク質安定性の程度を含む。幾つかの態様では、エンコーダ法は、初期生体高分子配列を受け取り、埋め込みを生成するように構成される。幾つかの態様では、エンコーダ法は、深層畳み込みニューラルネットワークを含む。幾つかの態様では、畳み込みニューラルネットワークは一次元畳み込みネットワークである。幾つかの態様では、畳み込みニューラルネットワークは二次元以上の畳み込みニューラルネットワークである。幾つかの態様では、畳み込みニューラルネットワークは、ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから選択される畳み込みアーキテクチャを有する。幾つかの態様では、エンコーダは少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれを超える数の層を含む。幾つかの態様では、エンコーダは、１つ又は複数の層におけるＬ１－Ｌ２正則化、１つ又は複数の層におけるスキップ接続、１つ又は複数の層におけるドロップアウト、又はそれらの組合せを含む正則化法を利用する。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、エンコーダは、Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍから選択される手順によって最適化される。幾つかの態様では、デコーダ法は、深層畳み込みニューラルネットワークを含む。幾つかの態様では、２つ以上の機能の加重線形結合が生体高分子配列の査定に使用される。幾つかの態様では、最適化法は、連続した微分可能な埋め込み空間内の勾配ベースの降下を使用して更新埋め込みを生成する。幾つかの態様では、最適化法は、Ａｄａｍ、ＲＭＳ Ｐｒｏｐ、Ａｄａ ｄｅｌｔａ、ＡｄａｍＭＡＸ、又はモーメンタム項付きＳＧＤから選択される最適化方式を利用する。幾つかの態様では、最終生体高分子配列は、少なくとも１つの追加のタンパク質機能について更に最適化される。幾つかの態様では、最適化法は、タンパク質機能と少なくとも１つの追加のタンパク質機能との両方を統合する複合機能に従って更新埋め込みを生成する。幾つかの態様では、複合機能は、タンパク質機能及び少なくとも１つの追加のタンパク質機能に対応する２つ以上の機能の加重線形結合である。

【0026】

本明細書に開示されるのは、先の態様のいずれか１つの方法により又は先の態様のいずれか１つのシステムを使用して取得可能な改良された生体高分子配列を合成することを含む生体高分子を作製する方法である。

【0027】

本明細書に開示されるのは、Ｙ３９、Ｆ６４、Ｖ６８、Ｄ１２９、Ｖ１６３、Ｋ１６６、Ｇ１９１、及びそれらの組合せから選択された部位に置換を含み、配列番号１と比較して増大した蛍光を有する、配列番号１に相対するアミノ酸配列を含む蛍光タンパク質である。幾つかの態様では、蛍光タンパク質はＹ３９、Ｆ６４、Ｖ６８、Ｄ１２９、Ｖ１６３、Ｋ１６６、及びＧ１９１の２、３、４、５、６、又は７つ全てにおいて置換を含む。幾つかの態様では、蛍光タンパク質は、配列番号１に相対してＳ６５を含む。幾つかの態様では、アミノ酸配列は、配列番号１に相対してＳ６５を含む。幾つかの態様では、アミノ酸配列は、Ｆ６４及びＶ６８において置換を含む。幾つかの態様では、アミノ酸配列は、Ｙ３９、Ｄ１２９、Ｖ１６３、Ｋ１６６、及びＧ１９１の１、２、３、４、又は５つ全てを含む。幾つかの態様では、Ｙ３９、Ｆ６４、Ｖ６８、Ｄ１２９、Ｖ１６３、Ｋ１６６、又はＧ１９１における置換はそれぞれ、Ｙ３９Ｃ、Ｆ６４Ｌ、Ｖ６８Ｍ、Ｄ１２９Ｇ、Ｖ１６３Ａ、Ｋ１６６Ｒ、又はＧ１９１Ｖである。幾つかの態様では、蛍光タンパク質は、配列番号１と少なくとも８０、８５、９０、９２、９２、９３、９４、９５、９６、９７、９８、９９％、又はそれを超えて同一であるアミノ酸配列を含む。幾つかの態様では、蛍光タンパク質は、配列番号１と相対して少なくとも１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５個の突然変異を含む。幾つかの態様では、蛍光タンパク質は、配列番号１と相対して１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５個以下の突然変異を含む。幾つかの態様では、蛍光タンパク質は、配列番号１よりも少なくとも約２、３、４、５、６、７、８、９、１０、１５、２０、２５、３０、３５、４０、４５、又は５０倍高い蛍光強度を有する。幾つかの態様では、蛍光タンパク質は、スーパーフォルダＧＦＰ（ＡＩＣ８２３５７）よりも少なくとも約２、３、４、又は５倍高い蛍光を有する。幾つかの態様では、本明細書に開示されるのは、蛍光タンパク質を含む融合タンパク質である。幾つかの態様では、本明細書に開示されるのは、上記蛍光タンパク質又は上記融合タンパク質をコードする配列を含む核酸である。幾つかの態様では、本明細書に開示されるのは、上記核酸を含むベクターである。幾つかの態様では、本明細書に開示されるのは、上記タンパク質、上記核酸、又は上記ベクターを含む宿主細胞である。幾つかの態様では、本明細書に開示されるのは、蛍光タンパク質を検出することを含む視覚化方法である。幾つかの態様では、検出は、蛍光タンパク質の放射スペクトルの波長を検出することによる。幾つかの態様では、視覚化は細胞内での視覚化である。幾つかの態様では、細胞はｉｎ ｖｉｔｒｏ又はｉｎ ｖｉｖｏで単離された生体組織中の細胞である。幾つかの態様では、本明細書に開示されるのは、ポリペプチドをコードする核酸を含む発現ベクターを細胞に導入することを含む、上記蛍光タンパク質又は上記融合タンパク質を発現する方法である。幾つかの態様では、本方法は、細胞を培養して、培養された細胞のバッチを成長させ、培養された細胞のバッチからポリペプチドを精製することを更に含む。幾つかの態様では、本明細書に開示されるのは、生体細胞又は組織内部のポリペプチドの蛍光信号を検出する方法であり、本方法は、（ａ）上記蛍光タンパク質又は上記蛍光タンパク質をコードする核酸を含む発現ベクターを生体細胞又は組織に導入することと、（ｂ）生体細胞又は組織における蛍光タンパク質を励起させるのに適した第１の波長の光を向けることと、（ｃ）第１の波長の光の吸収に応答して蛍光タンパク質によって放射される第２の波長の光を検出することとを含む。幾つかの態様では、第２の波長の光は、蛍光顕微鏡又は蛍光活性化細胞選別（ＦＡＣＳ）を使用して検出される。幾つかの態様では、生体細胞又は組織は、原核細胞又は真核細胞である。幾つかの態様では、発現ベクターは、Ｎ末端又はＣ末端上の別の遺伝子と融合したポリペプチドをコードする核酸を含む融合遺伝子を含む。幾つかの態様では、発現ベクターは、構成的活性プロモータ又は誘導発現プロモータである、ポリペプチドの発現を制御するプロモータを含む。

【0028】

開示されるのは、上述した方法又はシステムで使用される教師ありモデルをトレーニングする方法である。この教師ありモデルは、生体高分子配列を埋め込み機能空間における表現にマッピングするように構成されたエンコーダネットワークを備える。教師ありモデルは、表現に基づいて生体高分子配列の機能を予測するように構成される。本方法は、（ａ）複数のトレーニング生体高分子配列を提供するステップであって、各トレーニング生体高分子配列は機能でラベリングされる、提供するステップと、（ｂ）エンコーダを使用して、各トレーニング生体高分子配列を埋め込み機能空間における表現にマッピングするステップと、（ｃ）教師ありモデルを使用してこれらの表現に基づいて、各トレーニング生体高分子配列の機能を予測するステップと、（ｄ）所定の予測損失関数を使用して、各トレーニング生体高分子配列について、予測機能が各トレーニング生体高分子配列のラベルの通りの機能と一致する程度を特定するステップと、（ｅ）更なるトレーニング生体高分子配列が教師ありモデルによって処理される場合に生じる上記予測損失関数により、レーティングを改善することを目標として、教師ありモデルの挙動を特徴付けるパラメータを最適化するステップとを含む。

【0029】

開示されるのは、上述した方法又はシステムで使用されるデコーダをトレーニングする方法である。デコーダは、埋め込み機能空間から確率的生体高分子配列に生体高分子配列の表現をマッピングするように構成される。本方法は、（ａ）生体高分子配列の複数の表現を埋め込み機能空間に提供するステップと、（ｂ）デコーダを使用して各表現を確率的生体高分子配列にマッピングするステップと、（ｃ）各確率的生体高分子配列からサンプル生体高分子配列を引き出すステップと、（ｄ）トレーニング済みエンコーダを使用してこのサンプル生体高分子配列を埋め込み機能空間における表現にマッピングするステップと、（ｅ）所定の再構築損失関数を使用して、そうして特定された各表現が対応する元の表現と一致する程度を特定するステップと、（ｆ）上記埋め込み機能空間からの生体高分子配列の更なる表現がデコーダによって処理される場合に生じる上記再構築損失関数により、レーティングを改善することを目標として、デコーダの挙動を特徴付けるパラメータを最適化するステップとを含む。

【0030】

任意選択的に、エンコーダは、デコーダによって生成される表現に基づいて生体高分子配列の機能を予測するように構成された教師ありモデルの一部であり、本方法は、（ａ）トレーニング済みエンコーダを使用してトレーニング生体高分子配列を埋め込み機能空間における表現にマッピングすることにより、生体高分子配列の複数の表現の少なくとも部分をデコーダに提供することと、（ｂ）確率的生体高分子配列から引き出されたサンプル生体高分子配列について、教師ありモデルを使用してこのサンプル生体高分子配列の機能を予測することと、（ｃ）上記機能を、対応する元のトレーニング生体高分子配列について同じ教師ありモデルによって予測された機能と比較することと、（ｄ）所定の一貫性損失関数を使用して、サンプル生体高分子配列で予測された機能が元のトレーニング生体高分子配列で予測された機能と一致する程度を特定することと、（ｅ）トレーニング生体高分子配列からエンコーダによって生成された生体高分子配列の更なる表現がデコーダによって処理される場合に生じる、上記一貫性損失関数及び／又は上記一貫性損失関数と上記再構築損失関数との所定の組合せにより、レーティングを改善することを目標として、デコーダの挙動を特徴付けるパラメータを最適化することとを更に含む。

【0031】

開示されるのは、教師ありモデル及びデコーダのアンサンブルをトレーニングする方法である。教師ありモデルは、生体高分子配列を埋め込み機能空間における表現にマッピングするように構成されたエンコーダネットワークを備える。教師ありモデルは、表現に基づいて生体高分子配列の機能を予測するように構成される。デコーダは、埋め込み機能空間から確率的生体高分子配列に生体高分子配列の表現をマッピングするように構成される。本方法は、（ａ）複数のトレーニング生体高分子配列を提供するステップであって、各トレーニング生体高分子配列は機能でラベリングされる、提供するステップと、（ｂ）エンコーダを使用して、各トレーニング生体高分子配列を埋め込み機能空間における表現にマッピングするステップと、（ｃ）教師ありモデルを使用してこれらの表現に基づいて、各トレーニング生体高分子配列の機能を予測するステップと、（ｄ）デコーダを使用して、埋め込み機能空間における各表現を確率的生体高分子配列にマッピングするステップと、（ｅ）確率的生体高分子配列からサンプル生体高分子配列を引き出すステップと、（ｆ）所定の予測損失関数を使用して、各トレーニング生体高分子配列について、予測された機能が各トレーニング生体高分子配列のラベルの通りの機能と一致する程度を特定するステップと、（ｇ）所定の再構築損失関数を使用して、各サンプル生体高分子配列について、生成元である元のトレーニング生体高分子配列と一致する程度を特定するステップと、（ｈ）予測損失関数と再構築損失関数との所定の組合せにより、レーティングを改善することを目標として、教師ありモデルの挙動を特徴付けるパラメータ及びデコーダの挙動を特徴付けるパラメータを最適化するステップとを含む。

【0032】

さらに、これらのトレーニング方法の１つにより取得される、教師ありモデル、エンコーダ、又はデコーダの挙動を特徴付けるパラメータセットが、本発明の範囲内の別の製品である。

【0033】

［参照による援用］
本明細書で引用される全ての公開物、特許、及び特許出願は、個々の公開物、特許、又は特許出願の各々がまるで具体的且つ個々に参照により援用されると示されるかのような程度まで参照により本明細書に援用される。特に、米国特許出願第６２／８０４，０３６号明細書が参照により本明細書に援用される。

【0034】

特許又は出願ファイルは、カラーで実行される少なくとも１つの図面を含む。カラー図面を有するこの特許又は特許出願公開のコピーは、要求され、必要料金が支払われた上で特許庁により提供される。本発明の原理が利用される例示的な態様を記載する以下の詳細な説明及び添付図面を参照することにより、本発明の特徴及び利点のよりよい理解が得られよう。

【図面の簡単な説明】

【0035】

【図1】エンコーダの非限定的な態様をニューラルネットワークとして示す図を示す。

【図2】デコーダの非限定的な態様をニューラルネットワークとして示す図を示す。

【図3A】勾配ベースの設計手順の非限定的な全体像を示す。

【図3B】勾配ベースの設計手順の一反復の非限定的な例を示す。

【図3C】デコーダによって生成された確率的配列を符号化する行列の非限定的な例を示す。

【図4】デコーダ検証手順の非限定的な態様を示す図を示す。

【図5A】トレーニングデータセットのＧＦＰエンコーダモデルからの予測蛍光値ｖｓ真の蛍光値のグラフを示す。

【図5B】検証データセットのＧＦＰエンコーダモデルからの予測蛍光値ｖｓ真の蛍光値のグラフを示す。

【図6A】本明細書に記載の計算システムの例示的な態様を示す。

【図6B】本明細書に記載の計算システムの例示的な態様を示す。

【図7】ＧＦＰ配列を操作する勾配ベースの設計（ＧＢＤ）の非限定的な例を示す図を示す。

【図8】ＧＢＤを使用して作成されたＧＦＰ配列の相対蛍光値を用いた実験的検証結果を示す。

【図9】実験的に検証された最高蛍光を有するＧＢＤ操作ＧＦＰ配列と突き合わせたａｖＧＦＰのアミノ酸配列対アラインメントを示す。

【図10】勾配ベースの設計のラウンド又は反復を通して予測された耐性の進化を示すチャートを示す。

【図11】勾配ベースの設計を使用して設計された７つの新規のβラクタマーゼによって授けられる実際の抗生物質耐性を査定するために実行された検証実験の結果を示す。

【図12】ＲＮＡ最適化（１２Ａ～１２Ｃ）及び格子タンパク質最適化（１２Ｄ～１２Ｆ）での離散最適化結果を示すグラフである。

【図13】１３Ａ－１３Ｈは、勾配ベースの最適化の結果を示す図である。

【図14】１４Ａ－１４Ｂは、正則化項λを上方加重する効果を示す図であり、λが大きいほど、モデル誤差が下がるが、モデルはｐ_θによって高確率が割り当てられた配列に制限されるため、最適化の過程にわたる配列多様性はそれに対応して下がる。

【図15】１５Ａ－１５Ｂは、ヒューリスティック動機付けＧＢＤを示し、これはコホートをＺの面積に駆動し、ここで

【数1】

は確実にデコードすることができる。

【図16】ＧＢＤが、比較的低い誤差を維持しながら、離散法よりも初期シード配列から離れた最適を見つけることが可能なことを示す。

【図17】生成されたタンパク質の親和性を検証する、列記されたタンパク質の生成されたバリアンスをテストするウェットラボデータを示すグラフである。

【発明を実施するための形態】

【0036】

本明細書に記載されるのは、性質又は機能に対応するアミノ酸配列の予測を生成するシステム、装置、ソフトウェア、及び方法である。機械学習法は、一級アミノ酸配列等の入力データを受け取り、少なくとも部分的にアミノ酸配列によって定義される、結果として生じるポリペプチド又はタンパク質の１つ又は複数の機能又は特徴に対応する改変されたアミノ酸配列を生成するモデルを生成できるようにする。入力データは、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、又はポリペプチドの構造に関連する他の関連情報等の追加情報を含むことができる。幾つかの場合では、ラベル付きトレーニングデータが不十分である場合、転移学習が使用されて、モデルの予測能力を改善する。入力アミノ酸配列は埋め込み空間にマッピングされ、所望の機能又は性質（例えば酵素反応速度の増大）に関して埋め込み空間内で最適化され、次いで所望の機能又は性質にマッピングする改変アミノ酸配列にデコードすることができる。

【0037】

本開示は、タンパク質が、深層ニューラルネットワークを使用した勾配ベースの設計等の機械学習ベースの合理的配列設計に適するという新規の発見を組み込み、それにより、標準的な最適化技法を使用して（例えば勾配上昇）、所望の機能を実行するアミノ酸配列を作製することが可能になる。勾配ベースの設計の説明のための例では、アミノ酸の初期配列は、タンパク質の機能を表す新たな埋め込み空間に投影される。タンパク質配列の埋め込みは、Ｄ次元空間中の一点としてのタンパク質の表現である。この新たな空間では、タンパク質は２数の（例えば、二次元空間の場合）のベクトルとして符号化することができ、これらは埋め込み空間中のそのタンパク質の座標を提供する。埋め込み空間の性質は、この空間において近傍にあるタンパク質は機能的に類似し関連することである。したがって、タンパク質の集まりがこの空間に埋め込まれた場合、ユークリッド計量を使用して任意の２つのタンパク質間の距離を計算することにより、それらの機能の類似性を特定することができる。

【0038】

［ｉｎ ｓｉｌｉｃｏタンパク質設計］
幾つかの態様では、本明細書に開示されるデバイス、ソフトウェア、システム、及び方法は、タンパク質設計のツールとして機械学習法を利用する。幾つかの態様では、連続した微分可能な埋め込み空間が、所望の機能又は性質にマッピングされる新規のタンパク質又はポリペプチド配列の生成に使用される。幾つかの場合、プロセスは、シード配列（例えば、所望の機能を実行せず、又は所望の機能を所望のレベルで実行しない配列）を提供することと、シード配列を埋め込み空間に投影することと、埋め込み空間に小さな変更を行うことによって配列を反復最適化することと、次いでこれらの変更を配列空間にマッピングすることとを含む。幾つかの場合、シード配列は所望の機能又は性質を有さない（例えば、抗生物質耐性を有さないβラクタマーゼ）。幾つかの場合、シード配列は幾らかの機能又は性質を有する（例えば、幾らかの蛍光を有するベースラインＧＦＰ配列）。シード配列は、利用可能な最高又は「最良」の機能又は性質を有することができる（例えば、文献から最高蛍光強度を有するＧＦＰ）。シード配列は、所望の機能又は性質に最も近い機能又は性質を有し得る。例えば、所望の最終蛍光強度値に最も近い蛍光強度値を有するシードＧＦＰ配列を選択することができる。シード配列は、単一の配列又は複数の配列の平均若しくはコンセンサス配列に基づくことができる。例えば、複数のＧＦＰ配列を平均して、コンセンサス配列を産生することができる。平均された配列は、「最良」配列（例えば、最適化すべき最高又は最も近いレベルの所望の機能又は性質を有するもの）の開始点を表し得る。本明細書に開示される手法は、２つ以上の方法又はトレーニング済みモデルを利用することができる。幾つかの態様では、連携して機能する２つのニューラルネットワークが提供される：エンコーダネットワーク及びデコーダネットワーク。エンコーダネットワークは、ワンホットベクトルの配列として表し得るアミノ酸配列を受け取り、そのタンパク質の埋め込みを生成することができる。同様に、デコーダは埋め込みを取得し、埋め込み空間中の特定の点にマッピングされるアミノ酸配列を返すことができる。

【0039】

所与のタンパク質の機能を変更するために、エンコーダネットワークを使用して初期配列をまず埋め込み空間に投影することができる。次に、埋め込み空間内で初期配列の位置を、所望の機能（又は機能のレベル、例えば機能の強化）を有するタンパク質によって占有される空間の領域に向けて「移動」することにより、タンパク質機能を変更することができる。埋め込まれた配列が埋め込み空間の所望の領域に移動する（ひいては所望レベルの機能を達成する）と、デコーダネットワークを使用して、埋め込み空間における新たな座標を受け取り、所望の機能又は所望レベルの機能を有する実際のタンパク質をコードする実際のアミノ酸配列を産生することができる。エンコーダネットワーク及びデコーダネットワークが深層ニューラルネットワークである幾つかの態様では、埋め込み空間内の点の部分導関数を計算することができ、したがって、例えば、勾配ベースの最適化手順等の最適化法でこの空間中の最も急な改良方向を計算できるようになる。

【0040】

本明細書に記載のｉｎ ｓｉｌｉｃｏタンパク質設計の一態様のステップごとの簡易化された概説は以下のステップを含む。
（１）「シード」タンパク質として機能するタンパク質を選択する。このタンパク質は改変するベース配列として機能する。
（２）エンコーダネットワークを使用してこのタンパク質を埋め込み空間に投影する。
（３）勾配上昇手順を使用して埋め込み空間内でシードタンパク質に反復改良を実行し、勾配上昇手順は、エンコーダネットワークによって提供される埋め込みに関する機能の導関数に基づく。
（４）所望レベルの機能が取得されると、デコーダネットワークを使用して最終埋め込みを配列空間にマッピングする。これは、所望の機能レベルを有するアミノ酸配列を産生する。

【0041】

［埋め込み空間の構築］
幾つかの態様では、本明細書に開示されるデバイス、ソフトウェア、システム、及び方法は、一級アミノ酸配列等の入力が与えられた場合、エンコーダを利用して、埋め込み空間を生成する。幾つかの態様では、エンコーダは、ラベル付きトレーニングデータセットに基づいて、所望の機能を予測するようにニューラルネットワーク（例えば深層ニューラルネットワーク）をトレーニングすることによって構築される。エンコーダモデルは、１Ｄ畳み込み（例えば一級アミノ酸配列）、２Ｄ畳み込み（例えば、アミノ酸相互作用のコンタクトマップ）、又は３Ｄ畳み込み（例えば三次タンパク質構造）の形態の畳み込みニューラルネットワーク（ＣＮＮ）を使用した教師ありモデルであることができる。畳み込みアーキテクチャは、以下に記載のアーキテクチャのいずれかであることができる：ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔ。

【0042】

幾つかの態様では、エンコーダは任意の数の代替の正則化法を利用して、過学習を回避する。正則化法の非限定的な説明のための例には、少なくとも１、２、３、４、最高で全層におけるドロップアウト、少なくとも１、２、３、４、最高で全層におけるＬ１－Ｌ２正則化、少なくとも１、２、３、４、最高で全層におけるスキップ接続を含む最適停止がある。本明細書では「ドロップアウト」という用語は特に、トレーニングが実際には、多数のわずかに異なるネットワークアーキテクチャに対して実行されるように、トレーニング中、層のニューロン又は他の処理単位の幾つかをランダムに非活性化させることを含み得る。これは、このトレーニングデータから一般化知識を学習するのではなく、「過学習」、即ち手元にある具体的なトレーニングデータへのネットワークの過剰適合を低減する。代替として又はこれと組み合わせて、正則化はバッチ正規化又はグループ正規化を使用して実行することができる。

【0043】

幾つかの態様では、エンコーダは以下の非限定的な最適化手順のいずれかを使用して最適化される：Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍ。モデルは以下の活性化関数のいずれかを使用して最適化することができる：ｓｏｆｔｍａｘ、ｅｌｕ、ＳｅＬＵ、ｓｏｆｔｐｌｕｓ、ｓｏｆｔｓｉｇｎ、ＲｅＬＵ、ｔａｎｈ、シグモイド、ハードシグモイド、指数、ＰＲｅＬＵ、及び漏洩ＲｅＬＵ、又は線形。

【0044】

幾つかの態様では、エンコーダは３層～１００，０００層を含む。幾つかの態様では、エンコーダは、３層～５層、３層～１０層、３層～５０層、３層～１００層、３層～５００層、３層～１，０００層、３層～５，０００層、３層～１０，０００層、３層～５０，０００層、３層～１００，０００層、３層～１００，０００層、５層～１０層、５層～５０層、５層～１００層、５層～５００層、５層～１，０００層、５層～５，０００層、５層～１０，０００層、５層～５０，０００層、５層～１００，０００層、５層～１００，０００層、１０層～５０層、１０層～１００層、１０層～５００層、１０層～１，０００層、１０層～５，０００層、１０層～１０，０００層、１０層～５０，０００層、１０層～１００，０００層、１０層～１００，０００層、５０層～１００層、５０層～５００層、５０層～１，０００層、５０層～５，０００層、５０層～１０，０００層、５０層～５０，０００層、５０層～１００，０００層、５０層～１００，０００層、１００層～５００層、１００層～１，０００層、１００層～５，０００層、１００層～１０，０００層、１００層～５０，０００層、１００層～１００，０００層、１００層～１００，０００層、５００層～１，０００層、５００層～５，０００層、５００層～１０，０００層、５００層～５０，０００層、５００層～１００，０００層、５００層～１００，０００層、１，０００層～５，０００層、１，０００層～１０，０００層、１，０００層～５０，０００層、１，０００層～１００，０００層、１，０００層～１００，０００層、５，０００層～１０，０００層、５，０００層～５０，０００層、５，０００層～１００，０００層、５，０００層～１００，０００層、１０，０００層～５０，０００層、１０，０００層～１００，０００層、１０，０００層～１００，０００層、５０，０００層～１００，０００層、５０，０００層～１００，０００層、又は１００，０００層～１００，０００層を含む。幾つかの態様では、エンコーダは３層、５層、１０層、５０層、１００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は１００，０００層を含む。幾つかの態様では、エンコーダは少なくとも３層、５層、１０層、５０層、１００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、又は１００，０００層を含む。幾つかの態様では、エンコーダは多くとも５層、１０層、５０層、１００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は１００，０００層を含む。

【0045】

幾つかの態様では、エンコーダは、生のアミノ酸配列を所与として、タンパク質又はポリペプチドの機能又は性質を予測するようにトレーニングされる。予測学習の副産物として、エンコーダのペナルチメート（ｐｅｎｕｌｔｉｍａｔｅ）層は元配列を埋め込み空間に符号化する。したがって、所与の配列を埋め込むために、その所与の配列はペナルチメート層までネットワークの全層を通過し、ペナルチメート層における活性化パターンが埋め込みとしてとられる。図１は、エンコーダ１００の非限定的な埋め込みをニューラルネットワークとして示す図である。エンコーダニューラルネットワークは、入力配列１１０を所与として特定の機能１０２を予測するようにトレーニングされる。ペナルチメート層は、所与の配列の機能についての全ての情報を符号化する二次元埋め込み１０４である。したがって、エンコーダは、アミノ酸配列又はアミノ酸配列に対応する核酸配列等の入力配列を取得し、配列を処理して、埋め込み空間内のアミノ酸配列の機能を捕捉するソース配列の埋め込み又はベクトル表現を作成することができる。初期ソース配列の選択は、合理的な手段（例えば、最高レベルの機能を有するタンパク質）に基づいてもよく、又は何らかの他の手段（例えばランダム選択）によってもよい。

【0046】

しかしながら、エンコーダが入力配列から機能の具体的な定量的値まで経ることが厳密に求められるわけではない。むしろ、エンコーダとは別個の層又は他の処理単位は、エンコーダによって送られる埋め込みに取り込まれ、これを機能の探し求められる定量的値にマッピングし得る。そのような一態様を図３Ａに示す。

【0047】

エンコーダ及びデコーダは、エンコーダデコーダ構成で少なくとも部分的に連携してトレーニングし得る。機能の定量的値がエンコーダ内で評価されるか、又はエンコーダ外で評価されるかに関係なく、入力生体高分子配列から開始して、エンコーダによって産生される埋め込み空間中の圧縮表現はデコーダに供給し得、次いで、デコーダによって送られた確率的生体高分子配列が元の入力生体高分子配列と一致する程度を特定し得る。例えば、１つ又は複数のサンプルを確率的生体高分子配列から取り出し得、１つ又は複数の取り出されたサンプルを元の入力生体高分子配列と比較し得る。次いで、確率的生体高分子配列と元の入力生体高分子配列との一致が最大化されるように、エンコーダ及び／又はデコーダの挙動を特徴付けるパラメータを最適化し得る。

【0048】

後に考察するように、そのような一致は所定の損失関数（「再構築損失」）によって測定し得る。その上、機能の予測は、予測によって再現すべき機能の既知の値がラベルされた入力生体高分子配列でトレーニングし得る。機能の実際の既知の値との予測の一致は、上記再構築損失を任意の適した様式で組み合わせ得る別の損失によって測定し得る。

【0049】

幾つかの態様では、エンコーダは少なくとも部分的に転移学習を使用して生成されて、性能を改善する。開始点は、出力層（又は１つ若しくは複数の追加の層）以外は凍結された完全な最初のモデルであることができ、標的タンパク質機能又はタンパク質特徴でトレーニングされる。開始点は予めトレーニングされたモデルであってもよく、その場合、埋め込み層、最後の２層、最後の３層、又は全層は凍結されず、モデルの残りの部分は、標的タンパク質機能又はタンパク質特徴でのトレーニング中、凍結される。

【0050】

［埋め込み空間での勾配ベースのタンパク質設計］
幾つかの態様では、本明細書に開示されるデバイス、ソフトウェア、システム、及び方法は、一級アミノ酸配列等の入力データの初期埋め込みを取得し、特定の機能又は性質に向けて埋め込みを最適化する。幾つかの態様では、埋め込みが作成されると、埋め込みは、「バックプロパゲーション」法等の数学的方法を使用して所与の機能に向けて最適化されて、最適化すべき機能に関する埋め込みの導関数を計算する。初期埋め込みＥ_１、学習速度ｒ、機能Ｆの勾配∇Ｆを所与として、以下の更新を実行して、新たな埋め込みＥ_２を作成することができる：
Ｅ_２＝Ｅ_１＋ｒ^＊∇Ｆ

【0051】

Ｆの勾配（∇Ｆ）はエンコーダネットワークによって暗黙的に定義され、エンコーダは略あらゆる場所で微分可能であることに起因して、機能に関する埋め込みの導関数を計算することができる。上記更新手順は、所望の機能レベルが達成されるまで繰り返すことができる。

【0052】

図３Ｂは勾配ベースの設計（ＧＢＤ）の反復を示す図である。まず、ソース埋め込み３５４が、デコーダ３５６及び教師ありモデル３５８で構成されるＧＢＤネットワーク３５０に供給される。勾配３６４が計算され、新たな埋め込みの産生に使用され、新たな埋め込みは次いで、デコーダ３５６を介してＧＢＤネットワーク３５０にフィードバックされて、最終的に機能Ｆ_２３８２を生成する。このプロセスは、所望の機能レベルが得られるまで又は予測された機能が飽和するまで、繰り返すことができる。

【0053】

この更新ルールに可能な多くの変形があり、変形は、ｒの異なるステップサイズ並びにＡｄａｍ、ＲＭＳ Ｐｒｏｐ、Ａｄａ ｄｅｌｔａ、ＡｄａｍＭＡＸ、及びモーメンタム項付きＳＧＤ等の異なる最適化方式を含む。さらに、上記更新は、一次導関数についての情報のみを使用する「一次」法の一例であるが、幾つかの態様では例えば、ヘシアンに含まれる情報を利用する二次法等のより高次の方法を利用することができる。

【0054】

本明細書に記載の埋め込み最適化手法を使用して、制約及び他の所望のデータは、更新式に組み込むことができる限り、組み込むことが可能である。幾つかの態様では、埋め込みは、少なくとも２、少なくとも３、少なくとも４、少なくとも５、少なくとも６、少なくとも７、少なくとも８、少なくとも９、又は少なくとも１０のパラメータ（例えば所望の機能及び／又は性質）について最適化される。説明のための非限定的な例として、配列は機能Ｆ_１（例えば蛍光）及び機能Ｆ_２（例えば熱安定性）の両方について最適化されている。このシナリオでは、エンコーダはこれらの両機能を予測するようにトレーニングされており、したがって、所望のように機能を重み付ける、両機能を最適化プロセスに組み込む複合機能Ｆ＝ｃ_１Ｆ_１＋ｃ_２Ｆ_２を使用することができる。したがって、この複合機能は、本明細書に記載の勾配ベースの更新手順等を使用して最適化することができる。幾つかの態様では、本明細書に記載のデバイス、ソフトウェア、システム、及び方法は、この枠組下でのＦ_１及びＦ_２の相対的選好を表現する重みを組み込んだ複合機能を利用する（例えば、大方、蛍光を最大化するが、幾らかの熱安定性も組み込む）。

【0055】

［元のタンパク質空間へのマッピング：デコーダネットワーク］
幾つかの態様では、本明細書に開示されるデバイス、ソフトウェア、システム、及び方法は、何らかの所望のレベルの機能を達成するように最適化されたシード埋め込みを取得し、デコーダを利用して、埋め込み空間での最適化された座標を元のタンパク質空間にマッピングする。幾つかの態様では、ニューラルネットワーク等のデコーダは、埋め込みを含む入力に基づいてアミノ酸配列を産生するようにトレーニングされる。このネットワークは基本的にエンコーダの「逆」を提供し、深層畳み込みニューラルネットワークを使用して実施することができる。換言すれば、エンコーダは入力アミノ酸配列を受け取り、埋め込み空間にマッピングされる配列の埋め込みを生成し、デコーダは入力（最適化された）埋め込み座標を受け取り、その結果としてのアミノ酸配列を生成する。デコーダは、ラベル付きデータ（例えば抗生物質耐性情報がラベルされたβラクタマーゼ）又はラベルなしデータ（例えば抗生物質耐性情報のないβラクタマーゼ）を使用してトレーニングすることができる。幾つかの態様では、デコーダ及びエンコーダの全体構造は同じである。例えば、デコーダでのバリエーション（アーキテクチャ、層数、オプティマイザ等）の数は、エンコーダの場合と同じであることができる。

【0056】

幾つかの態様では、本明細書に開示されるデバイス、ソフトウェア、システム、及び方法はデコーダを利用して、一級アミノ酸配列又は他の生体高分子配列等の入力を処理し、予測された配列（例えば、各位置にアミノ酸の分布を有する確率的配列）を生成する。幾つかの態様では、デコーダは、ラベル付きトレーニングデータセットに基づいて予測配列を生成するようにニューラルネットワーク（例えば深層ニューラルネットワーク）をトレーニングすることによって構築される。例えば、ラベル付きトレーニングデータから埋め込みを生成し、次いで埋め込みを使用してデコーダをトレーニングすることができる。デコーダモデルは、１Ｄ畳み込み（例えば一級アミノ酸配列）、２Ｄ畳み込み（例えば、アミノ酸相互作用のコンタクトマップ）、又は３Ｄ畳み込み（例えば三次タンパク質構造）の形態の畳み込みニューラルネットワーク（ＣＮＮ）を使用した教師ありモデルであることができる。畳み込みアーキテクチャは、以下に記載のアーキテクチャのいずれかであることができる：ＶＧＧ１６、ＶＧＧ１９、深層ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔ。

【0057】

幾つかの態様では、デコーダは任意の数の代替の正則化法を利用して、過学習を回避する。正則化法の非限定的な説明のための例には、少なくとも１、２、３、４、最高で全層におけるドロップアウト、少なくとも１、２、３、４、最高で全層におけるＬ１－Ｌ２正則化、少なくとも１、２、３、４、最高で全層におけるスキップ接続を含む最適停止がある。正則化はバッチ正規化又はグループ正規化を使用して実行することができる。

【0058】

幾つかの態様では、デコーダは以下の非限定的な最適化手順のいずれかを使用して最適化される：Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロプ項付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍ。モデルは以下の活性化関数のいずれかを使用して最適化することができる：ｓｏｆｔｍａｘ、ｅｌｕ、ＳｅＬＵ、ｓｏｆｔｐｌｕｓ、ｓｏｆｔｓｉｇｎ、ＲｅＬＵ、ｔａｎｈ、シグモイド、ハードシグモイド、指数、ＰＲｅＬＵ、及び漏洩ＲｅＬＵ、又は線形。

【0059】

幾つかの態様では、デコーダは３層～１００，０００層を含む。幾つかの態様では、デコーダは、３層～５層、３層～１０層、３層～５０層、３層～１００層、３層～５００層、３層～１，０００層、３層～５，０００層、３層～１０，０００層、３層～５０，０００層、３層～１００，０００層、３層～１００，０００層、５層～１０層、５層～５０層、５層～１００層、５層～５００層、５層～１，０００層、５層～５，０００層、５層～１０，０００層、５層～５０，０００層、５層～１００，０００層、５層～１００，０００層、１０層～５０層、１０層～１００層、１０層～５００層、１０層～１，０００層、１０層～５，０００層、１０層～１０，０００層、１０層～５０，０００層、１０層～１００，０００層、１０層～１００，０００層、５０層～１００層、５０層～５００層、５０層～１，０００層、５０層～５，０００層、５０層～１０，０００層、５０層～５０，０００層、５０層～１００，０００層、５０層～１００，０００層、１００層～５００層、１００層～１，０００層、１００層～５，０００層、１００層～１０，０００層、１００層～５０，０００層、１００層～１００，０００層、１００層～１００，０００層、５００層～１，０００層、５００層～５，０００層、５００層～１０，０００層、５００層～５０，０００層、５００層～１００，０００層、５００層～１００，０００層、１，０００層～５，０００層、１，０００層～１０，０００層、１，０００層～５０，０００層、１，０００層～１００，０００層、１，０００層～１００，０００層、５，０００層～１０，０００層、５，０００層～５０，０００層、５，０００層～１００，０００層、５，０００層～１００，０００層、１０，０００層～５０，０００層、１０，０００層～１００，０００層、１０，０００層～１００，０００層、５０，０００層～１００，０００層、５０，０００層～１００，０００層、又は１００，０００層～１００，０００層を含む。幾つかの態様では、デコーダは３層、５層、１０層、５０層、１００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は１００，０００層を含む。幾つかの態様では、デコーダは少なくとも３層、５層、１０層、５０層、１００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、又は１００，０００層を含む。幾つかの態様では、デコーダは多くとも５層、１０層、５０層、１００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は１００，０００層を含む。

【0060】

幾つかの態様では、デコーダは、配列の埋め込みを所与として、タンパク質又はポリペプチドの生のアミノ酸配列を予測するようにトレーニングされる。幾つかの態様では、デコーダは、少なくとも部分的に転移学習を使用して生成されて、性能を改善する。開始点は、出力層（又は１つ若しくは複数の追加の層）以外は凍結された完全な最初のモデルであることができ、標的タンパク質機能又はタンパク質特徴でトレーニングされる。開始点は予めトレーニングされたモデルであってもよく、その場合、埋め込み層、最後の２層、最後の３層、又は全層は凍結されず、モデルの残りの部分は、標的タンパク質機能又はタンパク質特徴でのトレーニング中、凍結される。

【0061】

幾つかの態様では、デコーダは、エンコーダがトレーニングされるものと同様の手順を使用してトレーニングされる。例えば、配列のトレーニングセットが取得され、トレーニングされたエンコーダを使用してそれらの配列の埋め込みを作成する。これらの埋め込みは、デコーダの入力を表し、一方、出力は、デコーダが予測した元の配列である。幾つかの態様では、畳み込みニューラルネットワークが、エンコーダのアーキテクチャを逆にミラーリングするデコーダに利用される。他のタイプのニューラルネットワーク、例えば長短期記憶（ＬＳＴＭ）ネットワーク等のリカレントニューラルネットワーク（ＲＮＮ）を使用することもできる。

【0062】

デコーダは、損失、残基ごとのカテゴリ交差エントロピーを最小化し、所与の埋め込みにマッピングされる配列を再構築するようにトレーニングすることができる（再構築損失とも呼ばれる）。幾つかの態様では、追加項が損失に追加され、これはプロセスに相当な改良を提供することが分かっている。以下の表記が本明細書で使用され：
ａ．ｘ：アミノ酸配列
ｂ．ｙ：ｘの関心のある測定可能な性質、例えば蛍光、
ｃ．ｆ（ｘ）：ｘをとり、ｙを予測する関数、例えば深層ニューラルネットワーク、
ｄ．ｅｎｃ（ｘ）：配列（ｘ）の埋め込み（ｅ）を産生するｆ（ｘ）のサブモジュール、
ｅ．ｄｅｃ（ｅ）：埋め込み（ｅ）をとり、再構築配列（ｘ’）を産生する別個のデコーダモジュール、
ｆ．ｘ’：デコーダｄｅｃ（ｅ）の出力、例えば埋め込み（ｅ）から生成された再構築配列。

【0063】

再構築損失に加えて、再構築配列（ｘ’）は元の教師ありモデルｆ（ｘ’）にフィードバックされて、デコーダの再構築配列を使用して予測された値を産生する（これをｙ’と呼ぶ）。再構築配列の予測値（ｙ’）は、所与の配列の予測値と比較される（これをｙ^＊と呼び、ｆ（ｘ）を使用して計算される）。同様のｘ値及びｘ’値及び／又は同様のｙ’値及びｙ^＊値は、デコーダが効率的に機能していることを示す。これを行うために、幾つかの態様では、カルバックライブラー情報量（ＫＬＤ）を使用してネットワークの損失関数に追加項が追加される．任意のｙ’とｙ^＊との間のＫＬＤは、
ａ．ＫＬＤ（ｙ＾’，ｙ＾^＊）＝ｙ＾’^＊ｌｏｇ（ｙ＾^＊／ｙ’）
として表される。

【0064】

これを組み込んだ損失は、
ａ．ｌｏｓｓ＝λ＿１^＊ＣＣＥ＋λ＿２^＊ＫＬＤ（ｙ＾’，ｙ＾^＊）
として表され、式中、ＣＣＥはカテゴリ交差エントロピー再構築損失であり、λ＿１及びλ＿２は調整パラメータである。

【0065】

図２は、デコーダの一例をニューラルネットワークとして示す図である。デコーダネットワーク２００は４層のノードを有し、第１の層２０２は埋め込み層に対応し、入力を本明細書に記載のエンコーダから受け取ることができる。この説明のための例では、次の２つの層２０４及び２０６は隠れ層であり、最後の層２０８は、埋め込みから「デコード」されたアミノ酸配列を出力する最終層である。

【0066】

図３Ａは、勾配ベースの設計手順の全体像一態様を示す図である。エンコーダ３１０を使用して、ソース埋め込み３０４を生成することができる。ソース埋め込みはデコーダ３０６に供給され、これは次いで確率的配列（例えば、各残基におけるアミノ酸の分布）に変わる。確率的配列は次いで、エンコーダ３１０を含む教師ありモデル３０８によって処理されて、予測機能値３１２を産生することができる。関数（Ｆ）モデルの勾配３１４が入力埋め込み３０４に関してとられ、教師ありモデル及びデコーダを通してのバックプロパゲーションを使用することによって計算される。

【0067】

図３Ｃは、デコーダによって産生される確率的生体高分子配列３９０の一例を示す。この例では、確率的生体高分子配列３９０は行列３９２で示され得る。行列３９２の列は２０の考えられるアミノ酸の各々を表し、行は、長さＬを有するタンパク質中の残基位置を表す。最初のアミノ酸（１行目）は常にメチオニンであり、したがって、Ｍ（７列目）は確率１を有し、残りのアミノ酸は確率０を有する。次の残基（２行目）は一例として確率８０％でＷ、確率２０％でＧを有することができる。配列を生成するために、この行列によって暗示される最大尤度配列を選択することができ、各位置で最高の確率を有するアミノ酸の選択が付随する。代替的には、配列は、アミノ酸確率に従って各位置をサンプリングすることにより、例えばそれぞれ確率８０％ｖｓ確率２０％で位置２におけるＷ又はＧをランダムで選ぶことによってランダムに生成することができる。

【0068】

［デコーダ検証］
幾つかの態様では、本明細書に開示されるデバイス、ソフトウェア、システム、及び方法は、デコーダの性能を決めるデコーダ検証枠組みを提供する。有効なデコーダは、どの配列が所与の埋め込みにマッピングされるかを非常に高い精度で予測することが可能である。したがって、デコーダは、本明細書に記載のエンコーダ及びエンコーダデコーダ枠組みの両方を使用して同じ入力（例えばアミノ酸配列）を処理することによって検証することができる。エンコーダは、エンコーダデコーダ枠組みの出力を評価することができる参照として機能する所望の機能及び／又は性質を示す出力を生成する。説明のための例として、エンコーダ及びデコーダは本明細書に記載の手法に従って生成される。次にトレーニングセット及び検証セット中の各タンパク質がエンコーダを使用して埋め込まれる。次いでそれらの埋め込みはデコーダを使用してデコードされる。最後に、デコードされた配列の機能値がエンコーダを使用して予測され、これらの予測値を元の配列を使用して予測された値と比較する。

【0069】

デコーダ検証プロセス４００の一態様の概要を図４に示す。図４に示すように、エンコーダニューラルネットワーク４０２は上に示され、入力として一級アミノ酸配列（例えば緑色蛍光タンパク質の）を受け取り、配列を処理して、機能の予測４０６（例えば蛍光強度）を出力する。下のエンコーダデコーダ枠組み４０８は、予測４０６の計算がないことを除いてエンコーダニューラルネットワーク４０２と同一であるペナルチメート埋め込み層を有するエンコーダネットワーク４１２を示す。エンコーダネットワーク４１２はデコーダネットワーク４１０に接続又はリンクされ（又は他の方法で入力を提供し）、配列をデコードし、これは次いでエンコーダネットワーク４０２に再び供給されて、予測された機能４１６に辿り着く。したがって、２つの予測４０６及び４１６の値が近い場合、この結果は、デコーダ４１０が所望の機能に対応する配列に埋め込みを有効にマッピングしていることの検証を提供する。

【0070】

予測値間の類似性又は対応性は任意の数の方法で計算することができる。幾つかの態様では、元の配列からの予測値とデコードされた配列からの予測値との間の相関が特定される。幾つかの態様では、相関は約０．７～約０．９９である。幾つかの態様では、相関は約０．７～約０．７５、約０．７～約０．８、約０．７～約０．８５、約０．７～約０．９、約０．７～約０．９５、約０．７～約０．９９、約０．７５～約０．８、約０．７５～約０．８５、約０．７５～約０．９、約０．７５～約０．９５、約０．７５～約０．９９、約０．８～約０．８５、約０．８～約０．９、約０．８～約０．９５、約０．８～約０．９９、約０．８５～約０．９、約０．８５～約０．９５、約０．８５～約０．９９、約０．９～約０．９５、約０．９～約０．９９、又は約０．９５～約０．９９である。幾つかの態様では、相関は約０．７、約０．７５、約０．８、約０．８５、約０．９、約０．９５、又は約０．９９である。幾つかの態様では、相関は少なくとも約０．７、約０．７５、約０．８、約０．８５、約０．９、又は約０．９５である。幾つかの態様では、相関は多くとも約０．７５、約０．８、約０．８５、約０．９、約０．９５、又は約０．９９である。

【0071】

追加の性能尺度、例えば陽性的中率（ＰＰＶ）、Ｆ１、平均二乗誤差、受信者動作特性（ＲＯＣ）下面積、及び適合率再現率曲線（ＰＲＣ）下面積を使用して、本明細書に開示されるシステム及び方法を検証することができる。

【0072】

幾つかの態様では、本明細書に開示される方法は陽性的中率（ＰＰＶ）を有する結果を生成する。幾つかの態様では、ＰＰＶは０．７～０．９９である。幾つかの態様では、ＰＰＶは０．７～０．７５、０．７～０．８、０．７～０．８５、０．７～０．９、０．７～０．９５、０．７～０．９９、０．７５～０．８、０．７５～０．８５、０．７５～０．９、０．７５～０．９５、０．７５～０．９９、０．８～０．８５、０．８～０．９、０．８～０．９５、０．８～０．９９、０．８５～０．９、０．８５～０．９５、０．８５～０．９９、０．９～０．９５、０．９～０．９９、又は０．９５～０．９９である。幾つかの態様では、ＰＰＶは０．７、０．７５、０．８、０．８５、０．９、０．９５、又は０．９９である。幾つかの態様では、ＰＰＶは少なくとも０．７、０．７５、０．８、０．８５、０．９、又は０．９５である。幾つかの態様では、ＰＰＶは多くとも０．７５、０．８、０．８５、０．９、０．９５、又は０．９９である。

【0073】

幾つかの態様では、本明細書に開示される方法はＦ１値を有する結果を生成する。幾つかの態様では、Ｆ１は０．５～０．９５である。幾つかの態様では、Ｆ１は０．５～０．６、０．５～０．７、０．５～０．７５、０．５～０．８、０．５～０．８５、０．５～０．９、０．５～０．９５、０．６～０．７、０．６～０．７５、０．６～０．８、０．６～０．８５、０．６～０．９、０．６～０．９５、０．７～０．７５、０．７～０．８、０．７～０．８５、０．７～０．９、０．７～０．９５、０．７５～０．８、０．７５～０．８５、０．７５～０．９、０．７５～０．９５、０．８～０．８５、０．８～０．９、０．８～０．９５、０．８５～０．９、０．８５～０．９５、又は０．９～０．９５である。幾つかの態様では、Ｆ１は０．５、０．６、０．７、０．７５、０．８、０．８５、０．９、又は０．９５である。幾つかの態様では、Ｆ１は少なくとも０．５、０．６、０．７、０．７５、０．８、０．８５、又は０．９である。幾つかの態様では、Ｆ１は多くとも０．６、０．７、０．７５、０．８、０．８５、０．９、又は０．９５である。

【0074】

幾つかの態様では、本明細書に開示される方法は平均二乗誤差を有する結果を生成する。幾つかの態様では、平均二乗誤差は０．０１～０．３である。幾つかの態様では、平均二乗誤差は０．０１～０．０５、０．０１～０．１、０．０１～０．１５、０．０１～０．２、０．０１～０．２５、０．０１～０．３、０．０５～０．１、０．０５～０．１５、０．０５～０．２、０．０５～０．２５、０．０５～０．３、０．１～０．１５、０．１～０．２、０．１～０．２５、０．１～０．３、０．１５～０．２、０．１５～０．２５、０．１５～０．３、０．２～０．２５、０．２～０．３、又は０．２５～０．３である。幾つかの態様では、平均二乗誤差は０．０１、０．０５、０．１、０．１５、０．２、０．２５、又は０．３である。幾つかの態様では、平均二乗誤差は少なくとも０．０１、０．０５、０．１、０．１５、０．２、又は０．２５である。幾つかの態様では、平均二乗誤差は多くとも０．０５、０．１、０．１５、０．２、０．２５、又は０．３である。

【0075】

幾つかの態様では、本明細書に開示される方法はＲＯＣ下面積を有する結果を生成する。幾つかの態様では、ＲＯＣ下面積は０．７～０．９５である。幾つかの態様では、ＲＯＣ下面積は０．９５～０．９、０．９５～０．８５、０．９５～０．８、０．９５～０．７５、０．９５～０．７、０．９～０．８５、０．９～０．８、０．９～０．７５、０．９～０．７、０．８５～０．８、０．８５～０．７５、０．８５～０．７、０．８～０．７５、０．８～０．７、又は０．７５～０．７である。幾つかの態様では、ＲＯＣ下面積は０．９５、０．９、０．８５、０．８、０．７５、又は０．７である。幾つかの態様では、ＲＯＣ下面積は少なくとも０．９５、０．９、０．８５、０．８、又は０．７５である。幾つかの態様では、ＲＯＣ下面積は多くとも０．９、０．８５、０．８、０．７５、又は０．７である。

【0076】

幾つかの態様では、本明細書に開示される方法はＰＲＣ下面積を有する結果を生成する。幾つかの態様では、ＰＲＣ下面積は０．７～０．９５である。幾つかの態様では、ＰＲＣ下面積は０．９５～０．９、０．９５～０．８５、０．９５～０．８、０．９５～０．７５、０．９５～０．７、０．９～０．８５、０．９～０．８、０．９～０．７５、０．９～０．７、０．８５～０．８、０．８５～０．７５、０．８５～０．７、０．８～０．７５、０．８～０．７、又は０．７５～０．７である。幾つかの態様では、ＰＲＣ下面積は０．９５、０．９、０．８５、０．８、０．７５、又は０．７である。幾つかの態様では、ＰＲＣ下面積は少なくとも０．９５、０．９、０．８５、０．８、又は０．７５である。幾つかの態様では、ＰＲＣ下面積は多くとも０．９、０．８５、０．８、０．７５、又は０．７である。

【0077】

［ポリペプチド配列の予測］
本明細書に記載されるのは、初期アミノ酸配列（又はアミノ酸配列をコードする核酸配列）等の入力データを評価して、特定の機能又は性質を有するように構成されたポリペプチド又はタンパク質に対応する１つ又は複数の新規のアミノ酸配列を予測するデバイス、ソフトウェア、システム、及び方法である。特定の機能を実行又は特定の性質を有することが可能な特定のアミノ酸配列（例えばタンパク質）の外挿は、分子生物学の長年の目標であった。したがって、本明細書に記載のデバイス、ソフトウェア、システム、及び方法は、人工知能又は機械学習技法の能力をポリペプチド又はタンパク質解析に利用して、配列情報についての予測を行う。機械学習技法は、標準の非ＭＬ手法と比較して、予測能力が増大したモデルを生成できるようにする。幾つかの場合、所望の出力に向けてモデルをトレーニングするのに利用可能なデータが不十分であるとき、転移学習が利用されて、予測精度を改善する。代替的には、幾つかの場合、転移学習を組み込むモデルと同等の統計学的パラメータを達成するようにモデルをトレーニングするのに十分なデータがあるとき、転移学習は利用されない。

【0078】

幾つかの態様では、入力データは、タンパク質又はポリペプチドの一次アミノ酸配列を含む。幾つかの場合、モデルは、一次アミノ酸配列を含むラベル付きトレーニングデータセットを使用してトレーニングされる。例えば、データセットは、蛍光強度に基づいてラベル付けられた蛍光タンパク質のアミノ酸配列を含むことができる。したがって、モデルは、機械学習法を使用してこのデータセットでトレーニングされて、アミノ酸配列入力の蛍光強度の予測を生成することができる。換言すれば、モデルは、一級アミノ酸配列入力に基づいて機能を予測するようにトレーニングされた深層ニューラルネットワーク等のエンコーダであることができる。幾つかの態様では、入力データは、一次アミノ酸配列に加えて、例えば、表面電荷、疎水性表面エリア、実測又は予測の溶解性、又は他の関連情報等の情報を含む。幾つかの態様では、入力データは、複数のタイプ又はカテゴリのデータを含む多次元入力データを含む。

【0079】

幾つかの態様では、本明細書において記載のデバイス、ソフトウェア、システム、及び方法は、データ拡張を利用して、予測モデルの性能を強化する。データ拡張は、トレーニングデータセットの、類似するが異なる例又は変形を使用したトレーニングを伴う。一例として、画像分類では、画像データは、画像の向きをわずかに変更すること（例えば、わずかな回転）により拡張することができる。幾つかの態様では、データ入力（例えば、一次アミノ酸配列）は、一次アミノ酸配列へのランダム変異及び／又は生物学的情報に基づく変異（ｂｉｏｌｏｇｉｃａｌｌｙ ｉｎｆｏｒｍｅｄ ｍｕｔａｔｉｏｎ）、多重配列アラインメント、アミノ酸相互作用のコンタクトマップ、及び／又は三次タンパク質構造により拡張される。追加の拡張戦略には、選択的スプライシング転写からの公知及び予測のアイソフォームの使用がある。例えば、入力データは、同じ機能又は特性に対応する選択的スプライシング転写のアイソフォームを含むことにより拡張することができる。したがって、アイソフォーム又は変異についてのデータは、予測される機能又は特性にあまり影響しない一次配列の部分又は特徴を識別できるようにすることができる。これにより、モデルは、例えば、安定性等の予測されるタンパク質特性を強化し、低減し、又は影響しないアミノ酸変異等の情報を考慮に入れることができる。例えば、データ入力は、機能に影響しないことが公知である位置におけるランダム置換アミノ酸を有する配列を含むことができる。これにより、このデータでトレーニングされたモデルは、それらの特定の変異に関して、予測される機能が不変であることを学習することができる。

【0080】

本明細書に記載のデバイス、ソフトウェア、システム、及び方法は、多種多様な異なる機能及び／又は性質の１つ又は複数に基づいて配列予測を生成するのに使用することができる。予測はタンパク質の機能及び／又は性質（例えば酵素活性、安定性等）を含むことができる。アミノ酸配列は、タンパク質安定性に基づいて予測又はマッピングすることができ、これは例えば、熱安定性、酸化安定性、又は血清安定性等の種々の尺度を含むことができる。幾つかの態様では、エンコーダは、例えば、二次構造、三次タンパク質構造、四次構造、又はそれらの任意の組合せ等の１つ又は複数の構造的特徴に関連する情報を組み込むように構成される。二次構造は、アミノ酸又はポリペプチド内のアミノ酸の配列が、アルファヘリックス構造、ベータシート構造、それとも無秩序若しくはループ構造を有するかの指示を含むことができる。三次構造は、三次元空間におけるアミノ酸又はポリペプチドの部分の場所又は位置を含むことができる。四次構造は、１つのタンパク質を形成する複数のポリペプチドの場所又は位置を含むことができる。幾つかの態様では、予測は１つ又は複数の機能に基づく配列を含む。ポリペプチド又はタンパク質の機能は、代謝反応、ＤＮＡ複製、構造の提供、輸送、抗原認識、細胞内又は細胞外シグナリング、及び他の機能カテゴリを含む種々のカテゴリに属することができる。幾つかの態様では、予測は、例えば、触媒効率（例えば、特異性定数ｋ_ｃａｔ／Ｋ_Ｍ）又は触媒特異性等の酵素機能を含む。

【0081】

幾つかの態様では、配列予測は、タンパク質又はポリペプチドの酵素機能に基づく。幾つかの態様では、タンパク質機能は酵素機能である。酵素は、種々の酵素反応を実行することができ、転移酵素（例えば、官能基をある分子から別の分子に移す）、酸素還元酵素（例えば、酸化還元反応を触媒する）、加水分解酵素（例えば、加水分解を介して化学結合を開裂させる）、脱離酵素（例えば、二重結合を生成する）、リガーゼ（例えば、共有結合を介して２つの分子を連結する）、及び異性化酵素（例えば、分子内のある異性体から別の異性体への構造変化を触媒する）として分類することができる。幾つかの態様では、加水分解酵素は、セリンプロテアーゼ、トレオニンプロテアーゼ、システインプロテアーゼ、メタロプロテアーゼ、アスパラギンペプチドリアーゼ、グルタミン酸プロテアーゼ、及びアスパラギン酸プロテアーゼ等のプロテアーゼを含む。セリンプロテアーゼは、血液凝固、創傷治癒、消化、免疫応答、並びに腫瘍の湿潤及び転移等の種々の生理学的役割を有する。セリンプロテアーゼの例には、キモトリプシン、トリプシン、エラスターゼ、第１０因子、第１１因子、トロンビン、プラスミン、Ｃ１ｒ、Ｃ１ｓ、及びＣ３転換酵素がある。トレオニンプロテアーゼは、活性触媒部位内にトレオニンを有するプロテアーゼのファミリを含む。トレオニンプロテアーゼの例には、プロテアソームのサブユニットがある。プロテアソームは、アルファ及びベータサブユニットで構成される樽形タンパク質複合体である。触媒活性ベータサブユニットは、触媒作用の各活性部位に保存Ｎ末端トレオニンを含むことができる。システインプロテアーゼは、システインスルフヒドリル基を利用する触媒メカニズムを有する。システインプロテアーゼの例には、パパイン、カテプシン、カスパーゼ、及びカルパインがある。アスパラギン酸プロテアーゼは、活性部位における酸／塩基触媒作用に参加する２つのアスパラギン酸残基を有する。アスパラギン酸プロテアーゼの例には、消化酵素ペプシン、幾つかのリソソームプロテアーゼ、及びレニンがある。メタロプロテアーゼは、消化酵素カルボキシペプチダーゼ、細胞外基質リモデリング及び細胞シグナリングにおいて役割を果たすマトリックスメタロプロテアーゼ（ＭＭＰ）、ＡＤＡＭ（ジスインテグリン及びメタロプロテアーゼドメイン）、及びリソソームプロテアーゼを含む。酵素の他の非限定的な例には、プロテアーゼ、ヌクレアーゼ、ＤＮＡリガーゼ、リガーゼ、ポリメラーゼ、セルラーゼ、リギナーゼ（ｌｉｇｉｎａｓｅ）、アミラーゼ、リパーゼ、ペクチナーゼ、キシラナーゼ、リグニンペルオキシダーゼ、デカルボキシラーゼ、マンナナーゼ、デヒドロゲナーゼ、及び他のポリペプチド系酵素がある。

【0082】

幾つかの態様では、酵素応答は、標的分子の翻訳後修飾を含む。翻訳後修飾の例には、アセチル化、アミド化、ホルミル化、グリコシル化、ヒドロキシル化、メチル化、ミリストイル化、リン酸化、脱アミド化、プレニル化（例えば、ファルネシル化、ゲラニル化等）、ユビキチン化、リボシル化、及び硫酸化がある。リン酸化は、チロシン、セリン、トレオニン、又はヒスチジン等のアミノ酸で生じることができる。

【0083】

幾つかの態様では、タンパク質機能は、熱を加える必要のない光放射である発光である。幾つかの態様では、タンパク質機能は、生物発光等の化学発光である。例えば、ルシフェリン等の化学発光酵素は、基質（ルシフェリン）に作用して、基質の酸化を触媒し、それにより、光を放つことができる。幾つかの態様では、タンパク質機能は、蛍光タンパク質又はペプチドが特定の波長の光を吸収し、異なる波長の光を放出する蛍光である。蛍光タンパク質の例には、緑色蛍光タンパク質（ＧＦＰ）又はＥＢＦＰ、ＥＢＦＰ２、Ａｚｕｒｉｔｅ、ｍＫａｌａｍａ１等のＧＦＰの誘導体ＥＣＦＰ、Ｃｅｒｕｌｅａｎ、ＣｙＰｅｔ、ＹＦＰ、Ｃｉｔｒｉｎｅ、Ｖｅｎｕｓ、又はＹＰｅｔがある。ＧＦＰ等の幾つかのタンパク質は天然蛍光性である。蛍光タンパク質の例には、ＥＧＦＰ、青色蛍光タンパク質（ＥＢＦＰ、ＥＢＦＰ２、Ａｚｕｒｉｔｅ、ｍＫａｌａｍａｌ）、シアン蛍光タンパク質（ＥＣＦＰ、Ｃｅｒｕｌｅａｎ、ＣｙＰｅｔ）、黄色蛍光タンパク質（ＹＦＰ、Ｃｉｔｒｉｎｅ、Ｖｅｎｕｓ、ＹＰｅｔ）、酸化還元感受性ＧＦＰ（ｒｏＧＦＰ）、及び単量体ＧＦＰがある。

【0084】

幾つかの態様では、タンパク質機能は、酵素機能、結合（例えば、ＤＮＡ／ＲＮＡ結合、タンパク質結合等）、免疫機能（例えば抗体）、収縮（例えば、アクチン、ミオシン）、及び他の機能を含む。幾つかの態様では、出力は、例えば、酵素機能又は結合の運動学等のタンパク質機能に関連付けられた一級配列を含む。一例として、そのような出力は、親和性、特異性、又は反応速度等の所望の尺度を組み込む複合機能を最適化することによって取得することができる。

【0085】

幾つかの態様では、本明細書に開示されるシステム及び方法は機能又は性質に対応する生体高分子配列を生成する。幾つかの場合、生体高分子配列は核酸である。幾つかの場合、生体高分子配列はポリペプチドである。特定の生体高分子配列の例には、ＧＦＰ等の蛍光タンパク質及びβラクタマーゼ等の酵素がある。一事例では、ａｖＧＦＰ等の参照ＧＦＰは、以下の配列を有するアミノ酸２３８個分の長さのポリペプチドによって定義される。

【化1】

【0086】

勾配ベースの設計を使用して設計されるＧＦＰは、参照ＧＦＰ配列に対して１００％未満の配列同一性を有する配列を含むことができる。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列は配列番号１に関して配列同一性８０％～９９％を有する。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列は配列番号１に関して配列同一性８０％～８５％、８０％～９０％、８０％～９５％、８０％～９６％、８０％～９７％、８０％～９８％、８０％～９９％、８５％～９０％、８５％～９５％、８５％～９６％、８５％～９７％、８５％～９８％、８５％～９９％、９０％～９５％、９０％～９６％、９０％～９７％、９０％～９８％、９０％～９９％、９５％～９６％、９５％～９７％、９５％～９８％、９５％～９９％、９６％～９７％、９６％～９８％、９６％～９９％、９７％～９８％、９７％～９９％、又は９８％～９９％を有する。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列は配列番号１に関して配列同一性８０％、８５％、９０％、９５％、９６％、９７％、９８％、又は９９％を有する。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列は配列番号１に関して少なくとも配列同一性８０％、８５％、９０％、９５％、９６％、９７％、又は９８％を有する。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列は配列番号１に関して多くとも配列同一性８５％、９０％、９５％、９６％、９７％、９８％、又は９９％を有する。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列は、配列番号１に対して４５未満（例えば、４０、３５、３０、２５、２０、１５、又は１０未満）のアミノ酸置換を有する。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列は、参照ＧＦＰ配列に対して少なくとも１、２、３、４、５、６、又は７つの点変異を含む。ＧＢＤ最適化されたＧＦＰ配列は、上記の組合せ、例えば１、２、３、４、５、６、又は７つ全ての突然変異を含め、Ｙ３９Ｃ、Ｆ６４Ｌ、Ｖ６８Ｍ、Ｄ１２９Ｇ、Ｖ１６３Ａ、Ｋ１６６Ｒ、及びＧ１９１Ｖから選択される１つ又は複数の突然変異によって定義することができる。幾つかの場合、ＧＢＤ最適化されたＧＦＰ配列はＳ６５Ｔ突然変異を含まない。本発明により提供されるＧＢＤ最適化されたＧＦＰ配列は、幾つかの態様では、Ｎ末端メチオニンを含み、一方、他の態様では、配列はＮ末端メチオニンを含まない。

【0087】

幾つかの態様では、本明細書に開示されるのは、ＧＦＰ及び／又はβラクタマーゼ等のＧＢＤ最適化されたポリペプチド配列をコードする核酸配列である。また本明細書に開示されるのは、核酸配列を含むベクター、例えば原核及び／又は真核発現ベクターである。発現ベクターは構成的活性であってもよく、又は誘導発現（例えばテトラサイクリン誘導プロモータ）を有してもよい。例えば、ＣＭＶプロモータは構成的活性であるが、テトラサイクリン／ドキシサイクリンの存在下で発現を誘導できるようにするＴｅｔオペレータ要素を使用して調節することもできる。

【0088】

ポリペプチド及びポリペプチドをコードする核酸配列は種々のイメージング技法で使用することができる。例えば、蛍光顕微鏡法、蛍光活性化細胞選別（ＦＡＣＳ）、フローサイトメトリ、及び他の蛍光イメージングベースの技法が本開示の蛍光タンパク質を利用することができる。ＧＢＤ最適化されたＧＦＰタンパク質は、標準の参照ＧＦＰタンパク質よりも高い輝度を提供することができる。幾つかの場合、ＧＢＤ最適化されたＧＦＰタンパク質は、非最適化ＧＦＰ配列（例えばａｖＧＦＰ）の輝度と比較して２、３、４、５、６、７、８、９、１０、１５、２０、２５、３０、３５、４０、４５、又は５０倍高い蛍光輝度を有する。

【0089】

幾つかの態様では、本明細書において記載の機械学習法は、教師あり機械学習を含む。教師あり機械学習は分類及び回帰を含む。幾つかの態様では、機械学習法は教師なし機械学習を含む。教師なし機械学習は、クラスタリング、オートエンコード、変分オートエンコード、タンパク質言語モデル（例えば、モデルが、前のアミノ酸へのアクセスが与えられる場合、配列中の次のアミノ酸を予測する）、及び相関ルールマイニングを含む。

【0090】

［機械学習］
本明細書において記載されるのは、入力データを解析して、１つ又は複数のタンパク質又はポリペプチドの特性又は機能にマッピングされる配列を生成する１つ又は複数の方法を適用するデバイス、ソフトウェア、システム、及び方法である。幾つかの態様では、方法は、統計学的モデリングを利用して、タンパク質又はポリペプチドの機能又は特性についての予測又は推定を生成する。幾つかの態様では、方法は、アミノ酸配列等の一級配列を埋め込み空間に埋め込み、所望の機能又は性質に関して埋め込まれた配列を最適化し、最適化された埋め込みを処理して、その機能又は性質を有すると予測される配列を生成するのに使用される。幾つかの態様では、２つのモデルが結合されて、第１のモデルを使用して初期配列を埋め込む、次いで第２のモデルを使用して、最適化された埋め込みを配列にマッピングすることができるエンコーダデコーダ枠組みが利用される。

【0091】

幾つかの態様では、方法は、ニューラルネットワーク、決定木、サポートベクターマシン、又は他の適用可能なモデル等の予測モデルを利用する。トレーニングデータを使用して、方法は、関連する特徴に従って分類又は予測を生成する分類器を形成することができる。分類に選択される特徴は、多種多様な方法を使用して分類することができる。幾つかの態様では、トレーニング済みの方法は、機械学習法を含む。

【0092】

幾つかの態様では、機械学習法は、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類、ランダムフォレスト、又は人工ニューラルネットワークを使用する。機械学習技法は、バギング手順、ブースティング手順、ランダムフォレスト法、及びそれらの組合せを含む。幾つかの態様では、予測モデルは深層ニューラルネットワークである。幾つかの態様では、予測モデルは深層畳み込みニューラルネットワークである。

【0093】

幾つかの態様では、機械学習法は教師あり学習手法を使用する。教師あり学習では、方法は、ラベル付きトレーニングデータから関数を生成する。各トレーニング例は、入力オブジェクト及び所望の出力値からなる対である。幾つかの態様では、最適シナリオでは、方法は、見知らぬインスタンスのクラスラベルを正しく特定することができる。幾つかの態様では、教師あり学習法では、ユーザが１つ又は複数のコントロールパラメータを決定する必要がある。これらのパラメータは任意選択的に、トレーニングセットのバリデーションセットと呼ばれるサブセットでの性能を最適化することにより調整される。パラメータ調整及び学習後、結果として生成された関数の性能が任意選択的に、トレーニングセットとは別個のテストセットで測定される。回帰法が一般に教師あり学習で使用される。したがって、教師あり学習では、一次アミノ酸配列が公知の場合、タンパク質機能の計算において等の期待される出力が事前に公知のトレーニングデータを用いてモデル又は分類器を生成又はトレーニングすることができる。

【0094】

幾つかの態様では、機械学習法は教師なし学習手法を使用する。教師なし学習では、方法は、ラベルなしデータ（例えば、分類又はカテゴリ分けが観測に含まれない）から隠された構造を記述する関数を生成する。学習者に与えられる例はラベルなしであるため、関連方法により出力される構造の精度の評価はない。教師なし学習への手法は、クラスタリング、異常検知、並びにオートエンコーダ及び変分オートエンコーダを含むニューラルネットワークに基づく手法を含む。

【0095】

幾つかの態様では、機械学習法はマルチクラス学習を利用する。マルチタスク学習（ＭＴＬ）は、複数のタスクにわたる共通性及び差分を利用するように２つ以上の学習タスクが同時に解かれる機械学習の分野である。この手法の利点は、モデルを別個にトレーニングするのと比較して、特定の複数の予測モデルでの学習効率及び予測精度の改善を含むことができる。方法に関連タスクで上手く実行するように求めることにより、過剰適合を回避するための正則化を提供することができる。この手法は、全ての複雑性に等しいペナルティを適用する正則化よりも良好であることができる。マルチクラス学習は特に、相当な共通性を共有し、及び／又はアンダーサンプリングされるタスク又は予測に適用される場合、有用であることができる。幾つかの態様では、マルチクラス学習は、相当な共通性を共有しないタスク（例えば、関連しないタスク又は分類）に対して有効である。幾つかの態様では、マルチクラス学習は、転移学習と組み合わせて使用される。

【0096】

幾つかの態様では、機械学習法は、トレーニングデータセット及びそのバッチの他の入力に基づいてバッチで学習する。他の態様では、機械学習法は追加の学習を実行し、追加の学習では、重み及び誤差の計算が、例えば、新しい又は更新されたトレーニングデータを使用して更新される。幾つかの態様では、機械学習法は、新しい又は更新されたデータに基づいて予測モデルを更新する。例えば、機械学習法を新しい又は更新されたデータに適用して再トレーニング又は最適化し、新しい予測モデルを生成することができる。幾つかの態様では、機械学習法又はモデルは、追加のデータが利用可能になる際、定期的に再トレーニングされる。

【0097】

幾つかの態様では、本開示の分類器又はトレーニング済みの方法は、１つの特徴空間を含む。幾つかの場合、分類器は２つ以上の特徴空間を含む。幾つかの態様では、２つ以上の特徴空間は互いと別個である。幾つかの態様では、分類又は予測の精度は、１つの特徴空間を使用する代わりに、２つ以上の特徴空間を分類器で結合することにより改善する。属性は一般に、特徴空間の入力特徴を構成し、事例に対応する所与の組の入力特徴について各事例の分類を示すようにラベル付けられる。

【0098】

幾つかの態様では、トレーニングデータの１つ又は複数のセットが、機械学習法を使用してモデルをトレーニングするのに使用される。幾つかの態様では、本明細書において記載の方法は、トレーニングデータセットを使用してモデルをトレーニングすることを含む。幾つかの態様では、モデルは、複数のアミノ酸配列を含むトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、トレーニングデータセットは、少なくとも１００万、２００万、３００万、４００万、５００万、６００万、７００万、８００万、９００万、１千万、１５００万、２千万、２５００万、３千万、３５００万、４千万、４５００万、５千万、５５００万、５６００万、５７００万、５８００万のタンパク質アミノ酸配列を含む。幾つかの態様では、トレーニングデータセットは、少なくとも１万、２万、３万、４万、５万、６万、７万、８万、９万、１０万、１５万、２０万、２５万、３０万、３５万、４０万、４５万、５０万、６０万、７０万、８０万、９０万、１００万、又は１００万超のアミノ酸配列を含む。幾つかの態様では、トレーニングデータセットは、少なくとも５０、１００、２００、３００、４００、５００、６００、７００、８００、９００、１０００、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００、１００００、又は１０００超のアノテーションを含む。本開示の態様例は、深層ニューラルネットワークを使用する機械学習法を含むが、種々のタイプの方法が意図される。幾つかの態様では、方法は、ニューラルネットワーク、決定木、サポートベクターマシン、又は他の適用可能なモデル等の予測モデルを利用する。幾つかの態様では、機械学習モデルは、例えば、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類、ランダムフォレスト、人工ニューラルネットワーク、決定木、Ｋ平均、学習ベクトル量子化（ＬＶＱ）、自己組織化成マップ（ＳＯＭ）、グラフィックモデル、回帰法（例えば、線形、ロジスティック、多変量、相関ルール学習、深層学習、次元削減及びアンサンブル選択法等の教師あり、半教師あり、及び教師なし学習からなる群から選択される。幾つかの態様では、機械学習法は、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類、ランダムフォレスト、及び人工ニューラルネットワークからなる群から選択される。機械学習技法は、バギング手順、ブースティング手順、ランダムフォレスト法、及びそれらの組合せを含む。データを解析する例示的な方法は、統計的方法及び機械学習技法に基づく方法等の多数の変数を直接扱う方法を含むが、これに限定されない。統計的方法は、ペナルティ付きロジスティック回帰、マイクロアレイ予測解析（ＰＡＭ）、収縮重心法に基づく方法、サポートベクターマシン解析、及び正則化線形判別分析を含む。

【0099】

教師ありモデル及び教師なしモデルを含め、本明細書に記載の種々のモデルは、最適停止、少なくとも１、２、３、４、最高で全層におけるドロップアウト、少なくとも１、２、３、４、最高で全層におけるＬ１－Ｌ２正則化、少なくとも１、２、３、４、最高で全層におけるスキップ接続を含め、代替の正則化法を有することができる。第１のモデル及び第２のモデルの両方について、正則化はバッチ正規化又はグループ正規化を使用して実行することができる。Ｌ１正則化（ＬＡＳＳＯとしても知られている）は、重みベクトルのＬ１ノルムが存在することが許される期間を制御し、一方、Ｌ２は、Ｌ２ノルムが大きくなることができる程度を制御する。スキップ接続はＲｅｓｎｅｔアーキテクチャから取得することができる。

【0100】

本明細書に記載の機械学習を使用してトレーニングされた種々のモデルは、以下の任意の最適化手順を使用して最適化することができる：Ａｄａｍ、ＲＭＳ ｐｒｏｐ、モーメント項付き確率的勾配降下法（ＳＧＤ）、モーメンタム項及びネステロフ加速勾配法付きＳＧＤ、モーメンタム項なしＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍ。モデルは以下の活性化関数のいずれかを使用して最適化することができる：ｓｏｆｔｍａｘ、ｅｌｕ、ＳｅＬＵ、ｓｏｆｔｐｌｕｓ、ｓｏｆｔｓｉｇｎ、ＲｅＬＵ、ｔａｎｈ、シグモイド、ハードシグモイド、指数、ＰＲｅＬＵ、及び漏洩ＲｅＬＵ、又は線形。損失関数は、モデルの性能を測定するのに使用することができる。損失は、予測の不正確性のコストとして理解することができる。例えば、交差エントロピー損失関数は、０と１との間の確率値（例えば、０は抗生物質耐性なしであり、１は完全な抗生物質耐性である）である出力を有する分類モデルの性能を測定する。この損失値は、予測された確率が実際の値から外れるにつれて大きくなる。

【0101】

幾つかの態様では、本明細書に記載の方法は、概ね等しい重みが陽性例及び陰性例の両方に置かれるように、先に列記したオプティマイザが最小化しようとする損失関数を「再加重」することを含む。例えば、１８０，０００個の出力の１つが、所与のタンパク質が膜タンパク質である確率を予測する。タンパク質は膜タンパク質であるか、又は膜タンパク質ではないかの状態しかとることができないため、これはバイナリ分類タスクであり、バイナリ分類タスクの従来の損失関数は、「バイナリ交差エントロピー」：ｌｏｓｓ（ｐ，ｙ）＝－ｙ^＊ｌｏｇ（ｐ）－（１－ｙ）^＊ｌｏｇ（１－ｐ）であり、式中、ｐはネットワークによる膜タンパク質である確率であり、ｙは、タンパク質が膜タンパク質である場合には１であり、膜タンパク質ではない場合には０である「ラベル」である。ｙ＝０であるはるかに多くの例がある場合、問題が生じ得、その理由は、常にｙ＝０を予測することにペナルティが科されることは希であるため、ネットワークは、このアノテーションに常に極めて低い確率を予測するという病理学的ルールを学習しがちであるためである。これを回避するために、幾つかの態様では、損失関数は以下のように改変され：ｌｏｓｓ（ｐ，ｙ）＝－ｗ１^＊ｙ^＊ｌｏｇ（ｐ）－ｗ０^＊（１－ｙ）^＊ｌｏｇ（１－ｐ）、式中、ｗ１は陽性クラスの重みであり、ｗ０は陰性クラスの重みである。この手法は、ｗ０＝１且つ］ｗ１＝１√（（１－ｆ０）／ｆ１）であると仮定し、式中、ｆ０は陰性例の頻度であり、ｆ１は陽性例の頻度である。この加重方式は、希である陽性例を「上方加重」し、より一般的な陰性例を「下方加重」する。したがって、本明細書に開示される方法は、上方加重及び／又は下方加重を損失関数に提供する加重方式を組み込んで、陰性例及び陽性例の不均一分布を考慮に入れることを含むことができる。

【0102】

幾つかの態様では、ニューラルネットワーク等のトレーニング済みモデルは１０層～１，０００，０００層を含む。幾つかの態様では、ニューラルネットワークは１０層～５０層、１０層～１００層、１０層～２００層、１０層～５００層、１０層～１，０００層、１０層～５，０００層、１０層～１０，０００層、１０層～５０，０００層、１０層～１００，０００層、１０層～５００，０００層、１０層～１，０００，０００層、５０層～１００層、５０層～２００層、５０層～５００層、５０層～１，０００層、５０層～５，０００層、５０層～１０，０００層、５０層～５０，０００層、５０層～１００，０００層、５０層～５００，０００層、５０層～１，０００，０００層、１００層～２００層、１００層～５００層、１００層～１，０００層、１００層～５，０００層、１００層～１０，０００層、１００層～５０，０００層、１００層～１００，０００層、１００層～５００，０００層、１００層～１，０００，０００層、２００層～５００層、２００層～１，０００層、２００層～５，０００層、２００層～１０，０００層、２００層～５０，０００層、２００層～１００，０００層、２００層～５００，０００層、２００層～１，０００，０００層、５００層～１，０００層、５００層～５，０００層、５００層～１０，０００層、５００層～５０，０００層、５００層～１００，０００層、５００層～５００，０００層、５００層～１，０００，０００層、１，０００層～５，０００層、１，０００層～１０，０００層、１，０００層～５０，０００層、１，０００層～１００，０００層、１，０００層～５００，０００層、１，０００層～１，０００，０００層、５，０００層～１０，０００層、５，０００層～５０，０００層、５，０００層～１００，０００層、５，０００層～５００，０００層、５，０００層～１，０００，０００層、１０，０００層～５０，０００層、１０，０００層～１００，０００層、１０，０００層～５００，０００層、１０，０００層～１，０００，０００層、５０，０００層～１００，０００層、５０，０００層～５００，０００層、５０，０００層～１，０００，０００層、１００，０００層～５００，０００層、１００，０００層～１，０００，０００層、又は５００，０００層～１，０００，０００層を含む。幾つかの態様では、ニューラルネットワークは１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。幾つかの態様では、ニューラルネットワークは少なくとも１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は５００，０００層を含む。幾つかの態様では、ニューラルネットワークは多くとも５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。

【0103】

幾つかの態様では、機械学習法は、その予測能力を評価するために、トレーニングに使用されなかったデータを使用してテストされるトレーニング済みモデル又は分類器を含む。幾つかの態様では、トレーニング済みモデル又は分類器の予測能力は、１つ又は複数の性能尺度を使用して評価される。これらの性能尺度には、分類精度、特異性、感度、陽性的中率、陰性的中率、受信者動作曲線下測定面積（ＡＵＲＯＣ）、平均二乗誤差、偽陽性率、及び独立事例セットと突き合わせてテストすることによってモデルに特定される予測値と実際の値との間のピアソン相関がある。幾つかの場合、方法は、増分を含め、少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例について、増分を含め、少なくとも約６０％、６５％、７０％、７５％、８０％、８５％、９０％、９５％、又はそれを超えるＡＵＲＯＣを有する。幾つかの場合、方法は、増分を含め、少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例について、増分を含め、少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれを超える精度を有する。幾つかの場合、方法は、増分を含め、少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例について、増分を含め、少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれを超える特異性を有する。幾つかの場合、方法は、増分を含め、少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例について、増分を含め、少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれを超える感度を有する。幾つかの場合、方法は、増分を含め、少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例について、増分を含め、少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれを超える陽性的中率を有する。幾つかの場合、方法は、増分を含め、少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例について、増分を含め、少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれを超える陰性的中率を有する。

【0104】

［転移学習］
本明細書に記載されるのは、１つ又は複数の所望のタンパク質又は機能に基づいてタンパク質又はポリペプチド配列を生成するデバイス、ソフトウェア、システム、及び方法である。幾つかの態様では、転移学習を使用して、予測精度を強化する。転移学習は、あるタスクについて開発されたモデルを、第２のタスクについてのモデルの開始点として再使用することができる機械学習技法である。転移学習は、データが豊富な関連タスクでモデルを学習させることにより、データが限られているタスクでの予測精度を引き上げるのに使用することができる。ＰＣＴ出願第ＰＣＴ／ＵＳ２０２０／０１７５１７６２／８０４，０３６号明細書に記載された転移学習方法が参照により本明細書に援用される。したがって、本明細書に記載されるのは、配列決定されたタンパク質の大きなデータセットからタンパク質の一般的な機能特徴を学習し、任意の特定のタンパク質の機能、性質、又は特徴を予測するモデルの開始点としてそれを使用する方法である。したがって、エンコーダの生成は転移学習を含むことができ、それにより、入力配列を処理して埋め込みにする際のエンコーダの性能を改善する。したがって、改善された埋め込みは、エンコーダデコーダ枠組み全体の性能を改善することができる。本開示は、第１の予測モデルにより、配列特定された全てのタンパク質にエンコードされた情報を、第２の予測モデルを使用して関心対象の特定のタンパク質機能の設計に転移させることができるという驚くべき発見を認識している。幾つかの態様では、予測モデルは、例えば、深層畳み込みニューラルネットワーク等のニューラルネットワークである。

【0105】

本開示は、１つ又は複数の態様を介して実施されて、以下の利点の１つ又は複数を達成することができる。幾つかの態様では、転移学習を用いてトレーニングされたモデルは、小さなメモリフットプリント、低待ち時間、又は低計算コストを示す等のリソース消費の視点から改善を示す。この利点は、膨大な計算力を必要とすることがある複雑な解析では軽視できない。幾つかの場合、転移学習の使用は、妥当な時間期間（例えば、数週間の代わりに数日）内で十分に正確なモデルをトレーニングするために必須である。幾つかの態様では、転移学習を使用してトレーニングされたモデルは、転移学習を使用してトレーニングされないモデルと比較して高い精度を提供する。幾つかの態様では、ポリペプチドの配列、構成、特製、及び／又は機能を予測するシステムでの深層ニューラルネットワーク及び／又は転移学習の使用は、転移学習を使用しない他の方法又はモデルと比較して計算効率を上げる。

【0106】

幾つかの態様では、ニューラルネットエンベッダー又はエンコーダを含む第１のシステムが提供される。幾つかの態様では、ニューラルネットエンベッダーは、１つ又は複数の埋め込み層を含む。幾つかの態様では、ニューラルネットワークへの入力は、行列としてアミノ酸配列をエンコードする「ワンホット」ベクターとして表されるタンパク質配列を含む。例えば、行列内で、各行は、その残基に存在するアミノ酸に対応する厳密に１つの非ゼロエントリを含むように構成することができる。幾つかの態様では、第１のシステムはニューラルネット予測子を含む。幾つかの態様では、予測子は、入力に基づいて予測又は出力を生成する１つ又は複数の出力層を含む。幾つかの態様では、第１のシステムは、第１のトレーニングデータセットを使用して事前トレーニングされて、事前トレーニング済みニューラルネットエンベッダーを提供する。転移学習を用いて、事前トレーニング済みの第１のシステム又はその一部を転移させて、第２のシステムの一部を形成することができる。ニューラルネットエンベッダーの１つ又は複数の層は、第２のシステムで使用される場合、凍結することができる。幾つかの態様では、第２のシステムは、第１のシステムからのニューラルネットエンベッダー又はその一部を含む。幾つかの態様では、第２のシステムは、ニューラルネットエンベッダー及びニューラルネット予測子を含む。ニューラルネット予測子は、最終出力又は予測を生成する１つ又は複数の出力層を含むことができる。第２のシステムは、関心対象のタンパク質機能又は特性に従ってラベル付けられた第２のトレーニングデータセットを使用してトレーニングすることができる。本明細書において用いられるとき、エンベッダー及び予測子は、機械学習を使用してトレーニングされたニューラルネット等の予測モデルの構成要素を指すことができる。本明細書に開示されるエンコーダデコーダ枠組み内で、埋め込み層は、１つ又は複数の機能に関した最適化及び続く更新又は最適化された配列への「デコード」に向けて処理することができる。

【0107】

幾つかの態様では、転移学習は、少なくとも一部が第２のモデルの一部の形成に使用される第１のモデルのトレーニングに使用される。第１のモデルへの入力データは、機能又は他の特性に関係なく、公知の天然タンパク質及び合成タンパク質の大きなデータリポジトリを含むことができる。入力データは、以下の任意の組合せを含むことができる：一次アミノ酸配列、二次構造配列、アミノ酸相互作用のコンタクトマップ、アミノ酸物理化学特性の関数としての一次アミノ酸配列、及び／又は三次タンパク質構造。これらの特定の例が本明細書において提供されるが、タンパク質又はポリペプチドに関連する任意の追加応報が意図される。幾つかの態様では、入力データは埋め込まれる。例えば、入力データは、配列の多次元テンソルのバイナリワンホットエンコード、実際の値（例えば、三次構造からの物理化学特性若しくは三次元原子配置の場合）、対毎の相互作用の隣接行列として、又はデータの直接埋め込みを使用して（例えば、一次アミノ酸配列の文字埋め込み）表すことができる。第１のシステムは、ＵｎｉＰｒｏｔアミノ酸配列及び～７０，０００のアノテーション（例えば配列ラベル）を使用してトレーニングされた埋め込みベクトル及び線形モデルを有する畳み込みニューラルネットワークアーキテクチャを含み得る。転移学習プロセス中、第１のシステム又はモデルの埋め込みベクトル及び畳み込みニューラルネットワーク部分は転移して、タンパク質特性又は機能を予測するように構成された新しい線形モデルも組み込んだ第２のシステム又はモデルのコアを形成する。この第２のシステムは、タンパク質特性又は機能に対応する所望の配列ラベルに基づいて、第２のトレーニングデータセットを使用してトレーニングされる。トレーニングが終わると、第２のシステムを検証データセット及び／又はテストデータセット（例えばトレーニングで使用されなかったデータ）と突き合わせて査定することができる。

【0108】

幾つかの態様では、第１のモデル及び／又は第２のモデルへのデータ入力は、一次アミノ酸配列へのランダム変異及び／又は生物学的情報に基づく変異、アミノ酸相互作用のコンタクトマップ、及び／又は三次タンパク質構造等の追加データにより拡張される。追加拡張戦略は、選択的スプライシング転写からの公知の予測されたアイソフォームの使用を含む。幾つかの態様では、異なるタイプの入力（例えば、アミノ酸配列、コンタクトマップ等）が、１つ又は複数のモデルの異なる部分により処理される。初期処理ステップ後、複数のデータソースからの情報は、ネットワーク内の層において結合することができる。例えば、ネットワークは、配列エンコーダ、コンタクトマップエンコーダ、及び種々のタイプのデータ入力を受け取り且つ／又は処理するように構成された他のエンコーダを含むことができる。幾つかの態様では、データは、ネットワーク内の１つ又は複数の層内へのエンベッドに変わる。

【0109】

第１のモデルへのデータ入力のラベルは、例えば、ジーンオントロジー（ＧＯ）、Ｐｆａｍドメイン、ＳＵＰＦＡＭドメイン、ＥＣ（Ｅｎｚｙｍｅ Ｃｏｍｍｉｓｓｉｏｎ）番号、分類学、好極限性細菌指示、キーワード、ＯｒｔｈｏＤＢ及びＫＥＧＧオルソログを含むオルソロググループ割り当て等の１つ又は複数の公開タンパク質配列アノテーションリソースから引き出すことができる。加えて、ラベルは、全てα、全てβ、α＋β、α／β、膜、本質的に無秩序、コイルドコイル、スモール、又はデザイナータンパク質を含め、ＳＣＯＰ、ＦＳＳＰ、又はＣＡＴＨ等のデータベースにより指定される公知の構造又はフォールド分類に基づいて分類することができる。構造が公知であるタンパク質の場合、全体表面電荷、疎水性表面エリア、実測又は予測溶解性、又は他の数量等の定量的グローバル特性（ｑｕａｎｔｉｔａｔｉｖｅ ｇｌｏｂａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃ）が、マルチタスクモデル等の予測モデルによりフィッティングされる追加ラベルとして使用することができる。これらの入力は転移学習の状況で説明されるが、非転移学習手法へのこれらの入力の適用も意図される。幾つかの態様では、第１のモデルは、エンコーダで構成されるコアネットワークを残すように剥ぎ取られたアノテーション層を含む。アノテーション層は、それぞれが、例えば、一次アミノ酸配列、ＧＯ、Ｐｆａｍ、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、ＫＯ、ＯｒｔｈｏＤＢ、及びキーワード等の特定のアノテーションに対応する複数の独立層を含むことができる。幾つかの態様では、アノテーション層は、少なくとも、１、２、３、４、５、６、７、８、９、１０、１５、２０、２５、３０、４０、５０、６０、７０、８０、９０、１００、１０００、５０００、１００００、５００００、１０００００、１５００００、又はそれ以上の独立層を含む。幾つかの態様では、アノテーション層は１８００００の独立層を含む。幾つかの態様では、モデルは、少なくとも１、２、３、４、５、６、７、８、９、１０、１５、２０、２５、３０、４０、５０、６０、７０、８０、９０、１００、１０００、５０００、１００００、５００００、１０００００、１５００００、又はそれ以上のアノテーションを使用してトレーニングされる。幾つかの態様では、モデルは約１８００００のアノテーションを使用してトレーニングされる。幾つかの態様では、モデルは、複数の機能表現にわたる複数のアノテーション（例えば、ＧＯ、Ｐｆａｍ、キーワード、Ｋｅｇｇオルソログ、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数）にわたる複数のアノテーションを用いてトレーニングされる。アミノ酸配列及びアノテーション情報は、ＵｎｉＰｒｏｔ等の種々のデータベースから取得することができる。

【0110】

幾つかの態様では、第１のモデル及び第２のモデルはニューラルネットワークアーキテクチャを含む。第１のモデル及び第２のモデルは、１Ｄ畳み込み（例えば、一次アミノ酸配列）、２Ｄ畳み込み（例えば、アミノ酸相互作用のコンタクトマップ）、又は３Ｄ畳み込み（例えば、三次タンパク質構造）の形態の畳み込みアーキテクチャを使用する教師ありモデルであることができる。畳み込みアーキテクチャは、以下の記載のアーキテクチャの１つであることができる：ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔ。幾つかの態様では、本明細書において記載のアーキテクチャのいずれかを利用するシングルモデル手法（例えば、非転移学習）が意図される。

【0111】

第１のモデルは、敵対的生成ネットワーク（ＧＡＮ）、リカレントニューラルネットワーク、又は変分自動エンコーダ（ＶＡＥ）のいずれかを使用した教師なしモデルであることもできる。ＧＡＮの場合、第１のモデルは、条件付きＧＡＮ、深層畳み込みＧＡＮ、ＳｔａｃｋＧＡＮ、ｉｎｆｏＧＡＮ、Ｗａｓｓｅｒｓｔｅｉｎ ＧＡＮ、敵対的生成ネットワークを用いたクロスドメイン関係発見（Ｄｉｓｃｏ ＧＡＮＳ）であることができる。リカレントニューラルネットワークの場合、第１のモデルは、Ｂｉ－ＬＳＴＭ／ＬＳＴＭ、Ｂｉ－ＧＲＵ／ＧＲＵ、又はトランスフォーマネットワークであることができる。幾つかの態様では、エンコーダ及び／又はデコーダの生成に、本明細書に記載の任意のアーキテクチャを利用する単一モデル手法（例えば非転移学習）が考えられる。幾つかの態様では、ＧＡＮは、ＤＣＧＡＮ、ＣＧＡＮ、ＳＧＡＮ／プログレッシブＧＡＮ、ＳＡＧＡＮ、ＬＳＧＡＮ、ＷＧＡＮ、ＥＢＧＡＮ、ＢＥＧＡＮ、又はｉｎｆｏＧＡＮである。リカレントニューラルネットワーク（ＲＮＮ）は、順次データ向けに構築された従来のニューラルネットワークの変異体である。ＬＳＴＭは、長短期メモリを指し、データにおける系列又は時間的依存性をモデリングできるようにする、メモリを有するＲＮＮにおけるニューロンの一種である。ＧＲＵはゲート付き回帰型ユニットを指し、ＬＳＴＭの欠点幾つかに対処使用とするＬＳＴＭの変異体である。Ｂｉ－ＬＳＴＭ／Ｂｉ－ＧＲＵは、ＬＳＴＭ及びＧＲＵの「双方向」変異体を指す。典型的には、ＬＳＴＭ及びＧＲＵは「順」方向でシーケンシャルを処理するが、双方向バージョンは「逆」方向でも同様に学習する。ＬＳＴＭは、隠れ状態を使用して、既に通過したデータ入力からの情報の保存を可能にする。単方向ＬＳＴＭは、過去からの入力しか見ていないため、過去の情報のみを保存する。これとは対照的に、双方向ＬＳＴＭはデータ入力を過去から未来及び未来から過去の両方向で辿る。したがって、順方向及び逆方向に辿るＬＳＴＭは、未来及び過去からの情報を保存する。

【0112】

第２のモデルは、第１のモデルをトレーニングの開始点として使用することができる。開始点は、標的タンパク質機能又はタンパク質特性でトレーニングされる出力層を除いて凍結された完全な第１のモデルであることができる。開始点は、埋め込み層、最後の２層、最後の３層、又は全ての層が凍結されておらず、標的タンパク質機能又はタンパク質機能でのトレーニング中、モデルの残りが凍結される第１のモデルであることができる。開始点は、埋め込み層が除去され、１つ、２つ、３つ、又は４つ以上の層が追加され、標的タンパク質機能又はタンパク質特性でトレーニングされる第１のモデルであることができる。幾つかの態様では、凍結層の数は１～１０である。幾つかの態様では、凍結層の数は１～２、１～３、１～４、１～５、１～６、１～７、１～８、１～９、１～１０、２～３、２～４、２～５、２～６、２～７、２～８、２～９、２～１０、３～４、３～５、３～６、３～７、３～８、３～９、３～１０、４～５、４～６、４～７、４～８、４～９、４～１０、５～６、５～７、５～８、５～９、５～１０、６～７、６～８、６～９、６～１０、７～８、７～９、７～１０、８～９、８～１０、又は９～１０である。幾つかの態様では、凍結層の数は１、２、３、４、５、６、７、８、９、又は１０である。幾つかの態様では、凍結層の数は少なくとも１、２、３、４、５、６、７、８、又は９である。幾つかの態様では、凍結層の数は多くとも２、３、４、５、６、７、８、９、又は１０である。幾つかの態様では、転移学習中、層は凍結されない。幾つかの態様では、第１のモデルで凍結される層の数は、少なくとも部分的に第２のモデルのトレーニングに利用可能なサンプル数に基づいて決まる。本開示は、層の凍結又は凍結層の数の増大が第２のモデルの予測性能を強化することができることを認識している。この効果は、第２のモデルをトレーニングするサンプル数が少ない場合、強まることができる。幾つかの態様では、第２のモデルがトレーニングセット中に２００以下、１９０以下、１８０以下、１７０以下、１６０以下、１５０以下、１４０以下、１３０以下、１２０以下、１１０以下、１００以下、９０以下、８０以下、７０以下、６０以下、５０以下、４０以下、又は３０以下のサンプルを有する場合、第１のモデルからの全ての層は凍結される。幾つかの態様では、第２のモデルをトレーニングするサンプル数がトレーニングセットにおいて２００以下、１９０以下、１８０以下、１７０以下、１６０以下、１５０以下、１４０以下、１３０以下、１２０以下、１１０以下、１００以下、９０以下、８０以下、７０以下、６０以下、５０以下、４０以下、又は３０以下である場合、第２のモデルに転移するために、第１のモデル中の少なくとも１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２５、３０、３５、４０、４５、５０、５５、６０、６５、７０、７５、８０、８５、９０、９５、又は少なくとも１００の層は凍結される。

【0113】

第１及び第２のモデルは、１０～１００層、１００～５００層、５００～１０００層、１０００～１００００層、又は最高で１００００００層を有することができる。幾つかの態様では、第１及び／又は第２のモデルは１０層～１，０００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは、１０層～５０層、１０層～１００層、１０層～２００層、１０層～５００層、１０層～１，０００層、１０層～５，０００層、１０層～１０，０００層、１０層～５０，０００層、１０層～１００，０００層、１０層～５００，０００層、１０層～１，０００，０００層、５０層～１００層、５０層～２００層、５０層～５００層、５０層～１，０００層、５０層～５，０００層、５０層～１０，０００層、５０層～５０，０００層、５０層～１００，０００層、５０層～５００，０００層、５０層～１，０００，０００層、１００層～２００層、１００層～５００層、１００層～１，０００層、１００層～５，０００層、１００層～１０，０００層、１００層～５０，０００層、１００層～１００，０００層、１００層～５００，０００層、１００層～１，０００，０００層、２００層～５００層、２００層～１，０００層、２００層～５，０００層、２００層～１０，０００層、２００層～５０，０００層、２００層～１００，０００層、２００層～５００，０００層、２００層～１，０００，０００層、５００層～１，０００層、５００層～５，０００層、５００層～１０，０００層、５００層～５０，０００層、５００層～１００，０００層、５００層～５００，０００層、５００層～１，０００，０００層、１，０００層～５，０００層、１，０００層～１０，０００層、１，０００層～５０，０００層、１，０００層～１００，０００層、１，０００層～５００，０００層、１，０００層～１，０００，０００層、５，０００層～１０，０００層、５，０００層～５０，０００層、５，０００層～１００，０００層、５，０００層～５００，０００層、５，０００層～１，０００，０００層、１０，０００層～５０，０００層、１０，０００層～１００，０００層、１０，０００層～５００，０００層、１０，０００層～１，０００，０００層、５０，０００層～１００，０００層、５０，０００層～５００，０００層、５０，０００層～１，０００，０００層、１００，０００層～５００，０００層、１００，０００層～１，０００，０００層、又は５００，０００層～１，０００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは少なくとも１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は５００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは多くとも５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。

【0114】

幾つかの態様では、本明細書において記載されるのは、ニューラルネットエンベッダー及び任意選択的にニューラルネット予測子を含む第１のシステムである。幾つかの態様では、第２のシステムはニューラルネットエンベッダー及びニューラルネット予測子を含む。幾つかの態様では、エンベッダーは１０層～２００層を含む。幾つかの態様では、エンベッダーは１０層～２０層、１０層～３０層、１０層～４０層、１０層～５０層、１０層～６０層、１０層～７０層、１０層～８０層、１０層～９０層、１０層～１００層、１０層～２００層、２０層～３０層、２０層～４０層、２０層～５０層、２０層～６０層、２０層～７０層、２０層～８０層、２０層～９０層、２０層～１００層、２０層～２００層、３０層～４０層、３０層～５０層、３０層～６０層、３０層～７０層、３０層～８０層、３０層～９０層、３０層～１００層、３０層～２００層、４０層～５０層、４０層～６０層、４０層～７０層、４０層～８０層、４０層～９０層、４０層～１００層、４０層～２００層、５０層～６０層、５０層～７０層、５０層～８０層、５０層～９０層、５０層～１００層、５０層～２００層、６０層～７０層、６０層～８０層、６０層～９０層、６０層～１００層、６０層～２００層、７０層～８０層、７０層～９０層、７０層～１００層、７０層～２００層、８０層～９０層、８０層～１００層、８０層～２００層、９０層～１００層、９０層～２００層、又は１００層～２００層を含む。幾つかの態様では、エンベッダーは１０層、２０層、３０層、４０層、５０層、６０層、７０層、８０層、９０層、１００層、又は２００層を含む。幾つかの態様では、エンベッダーは少なくとも１０層、２０層、３０層、４０層、５０層、６０層、７０層、８０層、９０層、又は１００層を含む。幾つかの態様では、エンベッダーは多くとも２０層、３０層、４０層、５０層、６０層、７０層、８０層、９０層、１００層、又は２００層を含む。

【0115】

幾つかの態様では、転移学習は、最終的にトレーニングされたモデルの生成に使用されない。例えば、十分なデータが利用可能な場合、少なくとも部分的に転移学習を使用して生成されたモデルは、転移学習を利用しないモデルと比較して、予測において有意な改善を提供しない（例えば、テストデータセットと突き合わせてテストされる場合）。したがって、幾つかの態様では、トレーニング済みモデルの生成に非転移学習手法が利用される。

【0116】

［計算システム及びソフトウェア］
幾つかの態様では、本明細書に記載のシステムは、ポリペプチド予測エンジン（例えばエンコーダデコーダ枠組みを提供する）等のソフトウェアアプリケーションを提供するように構成される。幾つかの態様では、ポリペプチド予測エンジンは、初期シードアミノ酸配列等の入力データに基づいて、少なくとも１つの機能又は性質にマッピングされるアミノ酸配列を予測する１つ又は複数のモデルを含む。幾つかの態様では、本明細書において記載のシステムは、デジタル処理デバイス等の計算デバイスを含む。幾つかの態様では、本明細書において記載のシステムは、サーバと通信するためのネットワーク要素を含む。幾つかの態様では、本明細書において記載のシステムはサーバを含む。幾つかの態様では、システムは、データをサーバにアップロード且つ／又はサーバからデータをダウンロードするように構成される。幾つかの態様では、サーバは、入力データ、出力、及び／又は他の情報を記憶するように構成される。幾つかの態様では、サーバは、システム又は装置からのデータをバックアップするように構成される。

【0117】

幾つかの態様では、システムは１つ又は複数のデジタル処理デバイスを含む。幾つかの態様では、システムは、トレーニング済みモデルを生成するように構成された複数の処理ユニットを含む。幾つかの態様では、システムは、機械学習アプリケーションに適した複数のグラフィック処理ユニット（ＧＰＵ）を含む。例えば、ＧＰＵは一般に、中央演算処理装置（ＣＰＵ）と比較した場合、算術論理ユニット（ＡＬＵ）、制御ユニット、及びメモリキャッシュで構成されたより多数のより小さな論理コアを特徴とする。したがって、ＧＰＵは、機械学習手法で一般的な数学行列計算に適した、より多数のより単純で同一の計算を並列して処理するように構成される。幾つかの態様では、システムは、ニューラルネットワーク機械学習に向けてＧｏｏｇｌｅにより開発されたＡＩ特定用途向け集積回路（ＡＳＩＣ）である１つ又は複数のテンソル処理ユニット（ＴＰＵ）を含む。幾つかの態様では、本明細書において記載の方法は、複数のＧＰＵ及び／又はＴＰＵを含むシステムで実施される。幾つかの態様では、システムは、少なくとも２、３、４、５、６、７、８、９、１０、１５、２０、３０、４０、５０、６０、７０、８０、９０、１００、又はそれ以上のＧＰＵ又はＴＰＵを含む。幾つかの態様では、ＧＰＵ又はＴＰＵは並列処理を提供するように構成される。

【0118】

幾つかの態様では、システム又は装置はデータを暗号化するように構成される。幾つかの態様では、サーバ上のデータは暗号化される。幾つかの態様では、システム又は装置は、データを記憶するデータ記憶ユニット又はメモリを含む。幾つかの態様では、データ暗号化は、高度暗号化標準（ＡＥＳ）を使用して実行される。幾つかの態様では、データ暗号化は、１２８ビット、１９２ビット、又は２５６ビットＡＥＳ暗号化を使用して実行される。幾つかの態様では、データ暗号化は、データ記憶ユニットのフルディスク暗号化を含む。幾つかの態様では、データ暗号化は仮想ディスク暗号化を含む。幾つかの態様では、データ暗号化はファイル暗号化を含む。幾つかの態様では、システム又は装置と他のデバイス又はサーバとの間で伝送又は他の方法で通信されるデータは、搬送中、暗号化される。幾つかの態様では、システム又は装置と他のデバイス又はサーバとの間の無線通信は暗号化される。幾つかの態様では、搬送中のデータはセキュアソケットレイヤ（ＳＳＬ）を使用して暗号化される。

【0119】

本明細書において記載の装置は、デバイスの機能を実行する１つ又は複数のハードウェア中央演算処理装置（ＣＰＵ）又は汎用グラフィック処理ユニット（ＧＰＧＰＵ）を含むデジタル処理デバイスを含む。デジタル処理デバイスは、実行可能命令を実行するように構成されたオペレーティングシステムを更に含む。デジタル処理デバイスは任意選択的に、コンピュータネットワークに接続される。デジタル処理デバイスは任意選択的に、ワールドワイドウェブにアクセスするようにインターネットに接続される。デジタル処理デバイスは任意選択的に、クラウド計算基盤に接続される。適したデジタル処理デバイスは、非限定的な例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、セットトップコンピュータ、メディアストリーミングデバイス、ハンドヘルドコンピュータ、インターネット家電、モバイルスマートフォン、タブレットコンピュータ、個人情報端末、ビデオゲームコンソール、及び車両を含む。多くのスマートフォンが本明細書において記載のシステムでの使用に適することを当業者は認識しよう。

【0120】

典型的には、デジタル処理デバイスは、実行可能命令を実行するように構成されたオペレーティングシステムを含む。オペレーティングシステムは、例えば、デバイスのハードウェアを管理し、アプリケーションを実行するサービスを提供する、プログラム及びデータを含むソフトウェアである。適したサーバオペレーティングシステムが、非限定的な例として、ＦｒｅｅＢＳＤ、ＯｐｅｎＢＳＤ、ＮｅｔＢＳＤ（登録商標）、Ｌｉｎｕｘ、Ａｐｐｌｅ（登録商標）Ｍａｃ ＯＳ Ｘ Ｓｅｒｖｅｒ（登録商標）、Ｏｒａｃｌｅ（登録商標）Ｓｏｌａｒｉｓ（登録商標）、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、及びＮｏｖｅｌｌ（登録商標）ＮｅｔＷａｒｅ（登録商標）を含むことを当業者は認識しよう。適したパーソナルコンピュータオペレーティングシステムが、非限定的な例として、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ（登録商標）Ｍａｃ ＯＳ Ｘ（登録商標）、ＵＮＩＸ（登録商標）、及びＧＮＵ／Ｌｉｎｕｘ（登録商標）等のＵＮＩＸ様のオペレーティングシステムを含むことを当業者は認識しよう。幾つかの態様では、オペレーティングシステムはクラウド計算によって提供される。

【0121】

本明細書において記載のデジタル処理デバイスは、記憶装置及び／又はメモリデバイスを含み、又は度差可能に結合される。記憶装置及び／又はメモリデバイスは、データ又はプログラムを一時的又は永続的に記憶するのに使用される１つ又は複数の物理的な装置である。幾つかの態様では、デバイスは揮発性メモリであり、記憶された情報の維持に電力を必要とする。幾つかの態様では、デバイスは不揮発性メモリであり、デジタル処理デバイスが給電されていないとき、記憶された情報を保持する。更なる態様では、不揮発性メモリはフラッシュメモリを含む。幾つかの態様では、不揮発性メモリは動的ランダムアクセスメモリ（ＤＲＡＭ）を含む。幾つかの態様では、不揮発性メモリは強誘電性ランダムアクセスメモリ（ＦＲＡＭ）を含む。幾つかの態様では、不揮発性メモリは相変化ランダムアクセスメモリ（ＰＲＡＭ）を含む。他の態様では、デバイスは、非限定的な例として、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、及びクラウド計算ベースの記憶装置を含む記憶装置である。更なる態様では、記憶装置及び／又はメモリデバイスは、本明細書において開示される等のデバイスの組合せである。

【0122】

幾つかの態様では、本明細書において記載のシステム又は方法は、入力及び／又は出力データを含む又は有するものとしてデータベースを生成する。本明細書において記載のシステムの幾つかの態様は、コンピュータベースのシステムである。これらの態様は、プロセッサを含むＣＰＵと、非一時的コンピュータ可読記憶媒体の形態であり得るメモリとを含む。これらのシステム態様は、典型的にはメモリに記憶される（非一時的コンピュータ可読記憶媒体の形態等）ソフトウェアを更に含み、ソフトウェアは、プロセッサに機能を実行させるように構成される。本明細書において記載のシステムに組み込まれるソフトウェア態様は、１つ又は複数のモジュールを含む。

【0123】

種々の態様では、装置は、デジタル処理デバイス等の計算デバイス又は構成要素を含む。本明細書において記載の態様の幾つかでは、デジタル処理デバイスは、視覚情報を表示するディスプレイを含む。本明細書において記載のシステム及び方法との併用に適したディスプレイの非限定的な例には、液晶ディスプレイ（ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ－ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ＯＬＥＤディスプレイ、アクティブマトリックスＯＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、又はプラズマディスプレイがある。

【0124】

デジタル処理デバイスは、本明細書において記載の態様の幾つかでは、情報を受信する入力デバイスを含む。本明細書において記載のシステム及び方法との併用に適した入力デバイスの非限定的な例には、キーボード、マウス、トラックボール、トラックパッド、又はスタイラスがある。幾つかの態様では、入力デバイスはタッチスクリーン又はマルチタッチスクリーンである。

【0125】

本明細書において記載のシステム及び方法は典型的には、任意選択的にネットワーク接続されたデジタル処理デバイスのオペレーティングシステムにより実行可能な命令を含むプログラムがエンコードされた１つ又は複数の非一時的コンピュータ可読記憶媒体を含む。本明細書において記載のシステム及び方法の幾つかの態様では、非一時的記憶媒体は、システム構成要素であり、又は方法で利用されるデジタル処理デバイスの構成要素である。更なる態様では、コンピュータ可読記憶媒体は任意選択的に、デジタル処理デバイスから取り外し可能である。幾つかの態様では、コンピュータ可読記憶媒体は、非限定的な例として、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、固体状態メモリ、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、クラウド計算システム及びサーバ等を含む。幾つかの場合、プログラム及び命令は媒体に永続的に、略永続的に、汎永続的に、又は非一時的にエンコードされる。

【0126】

典型的には、本明細書において記載のシステム及び方法は、少なくとも１つのコンピュータプログラム又はその使用を含む。コンピュータプログラムは、デジタル処理デバイスのＣＰＵで実行可能であり、指定されたタスクを実行するように書かれた命令シーケンスを含む。コンピュータ可読命令は、特定のタスクを実行し、又は特定の抽象データ型を実装する、関数、オブジェクト、アプリケーションプログラムインターフェース（ＡＰＩ）、データ構造等のプログラムモジュールとして実装し得る。本明細書において提供される開示に鑑みて、コンピュータプログラムが種々のバージョンの種々の言語で書かれ得ることを当業者は認識しよう。コンピュータ可読命令の機能は、種々の環境で望まれるように結合又は分散し得る。幾つかの態様では、コンピュータプログラムは１つの命令シーケンスを含む。幾つかの態様では、コンピュータプログラムは複数の命令シーケンスを含む。幾つかの態様では、コンピュータプログラムは１つの場所から提供される。他の態様では、コンピュータプログラムは複数の場所から提供される。種々の態様では、コンピュータプログラムは１つ又は複数のソフトウェアモジュールを含む。種々の態様では、コンピュータプログラムは部分的又は全体的に、１つ又は複数のウェブアプリケーション、１つ又は複数のモバイルアプリケーション、１つ又は複数のスタンドアロンアプリケーション、１つ又は複数のウェブブラウザプラグイン、拡張、アドイン、若しくはアドオン、又はそれらの組合せを含む。種々の態様では、ソフトウェアモジュールは、ファイル、コードの区域、プログラミングオブジェクト、プログラミング構造、又はそれらの組合せを含む。更なる種々の態様では、ソフトウェアモジュールは、複数のファイル、コードの複数の区域、複数のプログラミングオブジェクト、複数のプログラミング構造、又はそれらの組合せを含む。種々の態様では、１つ又は複数のソフトウェアモジュールは、非限定的な例として、ウェブアプリケーション、モバイルアプリケーション、及びスタンドアロンアプリケーションを含む。幾つかの態様では、ソフトウェアモジュールは、１つのコンピュータプログラム又はアプリケーションに存在する。他の態様では、ソフトウェアモジュールは２つ以上のコンピュータプログラム又はアプリケーションに存在する。幾つかの態様では、ソフトウェアモジュールは１つのマシンでホストされる。他の態様では、ソフトウェアモジュールは２つ以上のマシンでホストされる。更なる態様では、ソフトウェアモジュールは、クラウド計算プラットフォームでホストされる。幾つかの態様では、ソフトウェアモジュールは、１つの場所にある１つ又は複数のマシンでホストされる。他の態様では、ソフトウェアモジュールは、２つ以上の場所にある１つ又は複数のマシンでホストされる。

【0127】

典型的には、本明細書において記載のシステム及び方法は、１つ又は複数のデータベースを含み且つ／又は利用する。本明細書において提供される開示に鑑みて、多くのデータベースがベースラインデータセット、ファイル、ファイルシステム、オブジェクト、オブジェクトのシステム、並びに本明細書において記載のデータ構造及び他のタイプの情報の記憶及び検索に適することを当業者は認識しよう。種々の態様では、適したデータベースには、非限定的な例として、リレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、関連データベース、及びＸＭＬデータベースがある。更なる非限定的な例には、ＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ、ＭｙＳＱＬ、Ｏｒａｃｌｅ、ＤＢ２、及びＳｙｂａｓｅがある。幾つかの態様では、データベースはインターネットベースである。更なる態様では、データベースはウェブベースである。更なる態様では、データベースはクラウド計算ベースである。他の態様では、データベースは１つ又は複数のローカルコンピュータ記憶装置に基づく。

【0128】

図６Ａは、本発明の態様を実施し得るコンピュータネットワーク又は同様のデジタル処理環境を示す。

【0129】

クライアントコンピュータ／デバイス５０及びサーバコンピュータ６０は、アプリケーションプログラム等を実行する処理デバイス、記憶デバイス、及び入出力デバイスを提供する。クライアントコンピュータ／デバイス５０は、他のクライアントデバイス／プロセス５０及びサーバコンピュータ６０を含め、通信ネットワーク７０を通して他の計算デバイスにリンクすることもできる。通信ネットワーク７０は、現在、各プロトコル（ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を使用して互いと通信するリモートアクセスネットワーク、グローバルネットワーク（例えばインターネット）、コンピュータの世界規模の集まり、ローカルエリア又は広域ネットワーク、及びゲートウェイの一部であることができる。他の電子デバイス／コンピュータネットワークアーキテクチャも適する。

【0130】

図６Ｂは、図６Ａのコンピュータシステムにおけるコンピュータ（例えばクライアントプロセッサ／デバイス５０又はサーバコンピュータ６０）の内部構造の一例の図である。各コンピュータ５０、６０はシステムバス７９を含み、バスは、コンピュータ又は処理システムの構成要素間のデータ転送に使用されるハードウェア回線セットである。システムバス７９は基本的に、コンピュータシステムの異なる要素（例えばプロセッサ、ディスクストレージ、メモリ、入出力ポート、ネットワークポート等）を接続し、要素間での情報の転送を可能にする共有コンジットである。システムバス７９には、種々の入力デバイス及び出力デバイス（例えばキーボード、マウス、ディスプレイ、プリンタ、スピーカ等）をコンピュータ５０、６０に接続するためのＩ／Ｏデバイスインターフェース８２が取り付けられる。ネットワークインターフェース８６は、コンピュータをネットワーク（例えば図５のネットワーク７０）に取り付けられた種々の他のデバイスに接続できるようにする。メモリ９０は、本発明の一態様（例えば先に詳述したニューラルネットワーク、エンコーダ、及びデコーダ）の実施に使用されるコンピュータソフトウェア命令９２及びデータ９４の揮発性記憶を提供する。ディスクストレージ９５は、本発明の一態様の実施に使用されるコンピュータソフトウェア命令９２及びデータ９４の不揮発性記憶を提供する。中央演算処理装置８４もシステムバス７９に取り付けられ、コンピュータ命令の実行を提供する。

【0131】

一態様では、プロセッサルーチン９２及びデータ９４は、本発明のシステムのソフトウェア命令の少なくとも一部を提供する非一時的コンピュータ可読媒体（例えば、１つ又は複数のＤＶＤ－ＲＯＭ、ＣＤ－ＲＯＭ、ディスケット、テープ等のリムーバブル記憶媒体）を含むコンピュータプログラム製品（全体的に９２と参照される）である。コンピュータプログラム製品９２は、当技術分野で周知のように、任意の適したソフトウェアインストール手順によってインストールすることができる。別の態様では、ソフトウェア命令の少なくとも一部は、ケーブル通信及び／又は無線接続を経由してダウンロードすることもできる。他の態様では、本発明のプログラムは、伝搬媒体（例えば、無線波、赤外線波、レーザ波、音波、又はインターネット若しくは他のネットワーク等のグローバルネットワークを経由して伝搬される電波）上において伝搬信号で実施されるコンピュータプログラム伝搬信号製品である。そのような搬送媒体又は信号は、本発明のルーチン／プログラム９２のソフトウェア命令の少なくとも一部を提供するのに利用し得る。

【0132】

［特定の定義］
本明細書において用いられるとき、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈により別段のことが明確に示される場合を除き、複数形を含む。例えば、用語「１つのサンプル（ａ ｓａｍｐｌｅ）」は、サンプルの混合物を含め、複数のサンプルを含む。本明細書において、「又は」への任意の言及は、別記される場合を除、「及び／又は」を包含することが意図される。

【0133】

用語「核酸」は、本明細書において用いられるとき、一般に、１つ又は複数の核酸塩基、ヌクレオシド、又はヌクレオチドを指す。例えば、核酸は、アデノシン（Ａ）、シトシン（Ｃ）、グアニン（Ｇ）、チミン（Ｔ）、及びウラシル（Ｕ）、又はそれらの変形から選択される１つ又は複数のヌクレオチドを含み得る。ヌクレオチドは一般に、ヌクレオシドと、少なくとも１、２、３、４、５、６、７、８、９、１０個又はそれ以上のリン酸（ＰＯ３）基とを含む。ヌクレオチドは、核酸塩基、五炭糖（リボース又はデオキシリボースのいずれか）、及び１つ又は複数のリン酸基を含むことができる。リボヌクレオチドは、糖がリボースであるヌクレオチドを含む。デオキシリボヌクレオチドは、糖がデオキシリボースであるヌクレオチドを含む。ヌクレオチドは、ヌクレオシドリン酸、ヌクレオシド二リン酸、ヌクレオシド三リン酸、又はヌクレオシドポリリン酸であることができる。アデニン、シトシン、グアニン、チミン、及びウラシルは正規又は一次核酸塩基として知られている。非一次又は非正規核酸塩基を有するヌクレオチドは、プリン修飾及びピリミジン修飾等の修飾された塩基を含む。修飾プリン核酸塩基は、それぞれヌクレオチドイノシン、キサントシン、及び７－メチルグアノシンの一部であるヒポキサンチン、キサンチン、及び７－メチルグアニンを含む。修飾ピリミジン核酸塩基は、それぞれヌクレオシドジヒドロウリジン及び５－メチルシチジンの一部である５，６－ジヒドロウラシル及び５－メチルシトシンを含む。他の非正規ヌクレオシドには、ｔＲＮＡに一般に見られるプソイドウリジン（Ψ）がある。

【0134】

本明細書において用いられるとき、用語「ポリペプチド」、「タンパク質」、及び「ペプチド」は、同義で使用され、ペプチド結合を介してリンクされ、２つ以上のポリペプチド鎖で構成し得るアミノ酸残基のポリマーを指す。用語「ポリペプチド」、「タンパク質」、及び「ペプチド」は、アミノ結合を通して一緒に結合された少なくとも２つのアミノ酸単量体のポリマーを指す。アミノ酸はＬ光学異性体又はＤ光学異性体であり得る。より具体的には、用語「ポリペプチド」、「タンパク質」、及び「ペプチド」は、特定の順序、例えば、遺伝子中のヌクレオチドの塩基配列又はタンパク質のＲＮＡコーディングによって決まる順序の２つ以上のアミノ酸で構成された分子を指す。タンパク質は、体の細胞、組織、及び臓器の構造、機能、及び調整に必須であり、各タンパク質は独自の機能を有する。例は、ホルモン、酵素、抗体、及びそれらの任意の断片である。幾つかの場合、タンパク質は、タンパク質の一部、例えば、タンパク質のドメイン、サブドメイン、又はモチーフであることができる。幾つかの場合、タンパク質はタンパク質の変異体（又は変異）を有することができ、その場合、１つ又は複数のアミノ酸残基が、そのタンパク質の自然に発生する（又は少なくとも公知の）アミノ酸配列に挿入され、削除され、且つ／又は置換される。タンパク質又はその変異体は、自然に発生してもよく、又は組み換えられてもよい。ポリペプチドは、隣接するアミノ酸残基のカルボキシル基とアミノ基との間のペプチド結合により一緒に結合されたアミノ酸の１本の線形ポリマー鎖であることができる。ポリペプチドは、例えば、炭水化物の添加、リン酸化等により変更することができる。タンパク質は１つ又は複数のポリペプチドを含むことができる。アミノ酸は正規アミノ酸アルギニン、ヒスチジン、リジン、アスパラギン酸、グルタミン酸、セリン、トレオニン、アスパラギン、グルタミン、システイン、グリシン、プロリン、アラニン、バリン、イソロイシン、ロイシン、メチオニン、フェニルアラニン、チロシン、及びトリプトファンを含む。アミノ酸は、セレノシステイン及びピロリジン等の非正規アミノ酸を含むこともできる。ポリペプチドは、例えば炭水化物、脂質、リン酸化等の添加により、例えば翻訳後修飾により、及び上記の組合せによって修飾することができる。タンパク質は１つ又は複数のポリペプチドを含むことができる。アミノ酸は、正規Ｌアミノ酸アルギニン、ヒスチジン、リジン、アスパラギン酸、グルタミン酸、セリン、トレオニン、アスパラギン、グルタミン、システイン、グリシン、プロリン、アラニン、バリン、イソロイシン、ロイシン、メチオニン、フェニルアラニン、チロシン、及びトリプトファンを含む。アミノ酸は、正規アミノ酸のＤ体並びにセレノシステイン及びピロリジン等の追加の非正規アミノ酸等の非正規アミノ酸を含むこともできる。アミノ酸は、非正規βアラニン、４－アミノ酪酸、６－アミノカプロン酸、サルコシン、スタチン、シトルリン、ホモシトルリン、ホモセリン、ノルロイシン、ノルバリン、及びオルニチンも含む。ポリペプチドは、アセチル化、アミド化、ホルミル化、グリコシル化、ヒドロキシル化、メチル化、ミリストイル化、リン酸化、脱アミド化、プレニル化（例えばファルネシル化、ゲラニル化等）、ユビキチン化、リボシル化、硫酸化、及び上記の組合せの１つ又は複数を含め、翻訳後修飾を含むこともできる。したがって、幾つかの態様では、本発明により提供され、又は本発明により提供される方法若しくはシステムで使用されるポリペプチドは、異なる態様では、正規アミノ酸のみ、非正規アミノ酸のみ、又は他のＬアミノ酸含有ポリペプチド中の１つ又は複数のＤアミノ酸残基等の正規アミノ酸と非正規アミノ酸との組合せを含むことができる。

【0135】

本明細書において用いられるとき、用語「ニューラルネット」は人工ニューラルネットワークを指す。人工ニューラルネットワークは、相互接続されたノード群という全般構造を有する。ノードは多くの場合、層が１つ又は複数のノードを含む複数の層に組織化される。シグナルは、ある層から次の層にニューラルネットワークを通って伝播することができる。幾つかの態様では、ニューラルネットワークはエンベッダーを含む。エンベッダーは、埋め込み層等の１つ又は複数の層を含むことができる。幾つかの態様では、ニューラルネットワークは予測子を含む。予測子は、出力又は結果（例えば、一次アミノ酸配列に基づいて予測された機能又は特性）を生成する１つ又は複数の出力層を含むことができる。

【0136】

本明細書において用いられるとき、用語「人工知能」は一般に、「知的」であり、非反復的、非機械的暗記、又は非事前プログラム的にタスクを実行することができる機械又はコンピュータを指す。

【0137】

本明細書において用いられるとき、用語「機械学習」は、機械（例えばコンピュータプログラム）が、プログラムされずにそれ自体で学習することができるタイプの学習を指す。

【0138】

本明細書で使用される場合、「ａ、ｂ、ｃ、及びｄの少なくとも１つ」という句は、ａ、ｂ、ｃ、又はｄ並びにａ、ｂ、ｃ、及びｄの２つ又は２つ以上を含むありとあらゆる組合せを指す。

【実施例】

【0139】

［実施例１］：勾配ベースの設計を使用した緑色蛍光タンパク質のｉｎ ｓｉｌｉｃｏ操作
ｉｎ ｓｉｌｉｃｏ機械学習手法を使用して、光を放出しなかったタンパク質を蛍光タンパク質に形質転換した。この実験のソースデータは、蛍光がアッセイされた５０，０００の公開ＧＦＰ配列であった。まず、ＵｎｉＰｒｏｔデータベースでまず予めトレーニングされたモデルを使用し、次いでモデルをとり、配列からの蛍光を予測するようにそれをトレーニングすることにより、転移学習を用いてエンコーダニューラルネットワークを生成した。輝度が下位８０％のタンパク質をトレーニングデータセットとして選択し、一方、輝度が上位２０％のタンパク質を検証データセットとして保持した。トレーニングセット及び検証セットでの平均二乗誤差は＜０．００１であり、配列から直接、蛍光を予測する高い精度を示す。トレーニングセット及び検証セットにおける真の蛍光値ｖｓ予測蛍光値を示すデータプロットを図５Ａ及び図５Ｂにそれぞれ示す。

【0140】

図７は、ＧＦＰ配列を操作する勾配ベースの設計（ＧＢＤ）を示す図を示す。埋め込み７０２は勾配に基づいて最適化される。デコーダ７０４を使用して、埋め込みに基づいてＧＦＰ配列を特定し、その後、ＧＦＰ配列をＧＦＰ蛍光モデル７０６によって査定して、予測蛍光７０８に達することができる。図７に示すように、勾配ベースの設計を使用してＧＦＰ配列を生成するプロセスは、勾配によってガイドされるように埋め込み空間において一歩進み、予測を行い（７１０）、勾配を再評価し（７１２）、次いでこのプロセスを繰り返すことを含む。

【0141】

エンコーダをトレーニングした後、トレーニング済みのエンコーダを使用して、この時点では蛍光ではない配列をシードタンパク質として選択し、埋め込み空間（例えば二次元空間）に投影した。勾配ベースの更新手順を実行して埋め込みを改良し、したがって、シードタンパク質からの埋め込みを最適化した。次に、導関数を計算し、導関数を使用して、埋め込み空間をより高機能の領域に向けて移動させた。蛍光気機能に関して、最適化された埋め込み座標を改善した。所望の機能レベルが達成されると、埋め込み空間における座標をタンパク質空間に投影し、所望の機能を有するアミノ酸配列を生成した。

【0142】

最高の予測輝度を有するＧＢＤ設計配列の６０の選択を実験検証に選択した。ＧＢＤを使用して作成された配列の実験検証結果を図８に示す。Ｙ軸はａｖＧＦＰ（ＷＴ）に対する蛍光の倍変化である。図８は左から右に（１）ＷＴ－ａｖＧＦＰの輝度であり、教師ありモデルがトレーニングされた全てのＧＦＰ配列のコントロールである；（２）操作済み：「スーパーフォルダ」（ｓｆＧＦＰ）として知られる人設計のＧＦＰ；（３）ＧＢＤ：勾配ベースの設計手順を使用して作成された新規の配列を示す。見て分かるように、幾つかの場合、ＧＢＤによって設計された配列は、野生型配列及びトレーニング配列よりも約５０倍明るく、周知の人設計のｓｆＧＦＰよりも５倍明るい。これらの結果は、人操作のポリペプチドよりも優れた機能を有するポリペプチドを操作することが可能なものとしてＧＢＤを検証する。

【0143】

図９は、ａｖＧＦＰよりも概ね５０倍高い実験的に検証された最高蛍光を有するＧＢＤ操作ＧＦＰ配列と突き合わせたａｖＧＦＰのアミノ酸配列対アラインメント９００を示す。ピリオド「．」はａｖＧＦＰからの突然変異なしを示し、一方、突然変異又は対ごとの相違は、アラインメントでの示された位置におけるＧＢＤ操作ＧＦＰアミノ酸残基を表す単一文字アミノ酸コードで示される。図９に示すように、対アラインメントは、配列番号１であるａｖＧＦＰと配列番号２と呼ぶことができるＧＢＤ操作ＧＦＰポリペプチド配列との間に、７つのアミノ酸突然変異又は残基相違があることを明らかにしている。

【0144】

ａｖＧＦＰは、以下の配列の配列番号１を有するアミノ酸２３８個分の長さのポリペプチドである。ＧＢＤ操作ＧＦＰポリペプチドは、ａｖＧＦＰ配列から７つのアミノ酸突然変異を有する：Ｙ３９Ｃ、Ｆ６４Ｌ、Ｖ６８Ｍ、Ｄ１２９Ｇ、Ｖ１６３Ａ、Ｋ１６６Ｒ、及びＧ１９１Ｖ。

【0145】

デコーダの残基ごとの精度は、トレーニングデータ及び検証データの両方で＞９９．９％であり、デコーダが平均で、ＧＦＰ配列１つにつき０．５の誤りを犯すことを意味する（ＧＦＰが２３８アミノ酸長である場合）。次に、タンパク質設計に関する性能についてデコーダを評価した。まず、エンコーダを使用してトレーニングセット及び検証セット中の各タンパク質を埋め込んだ。次に、デコーダを使用してそれらの埋め込みをデコードした。最後に、エンコーダを使用して、デコードされた配列の蛍光値を予測し、これらの予測値を元の配列を使用して予測された値と比較した。このプロセスの概要を図４に示す。

【0146】

元の配列からの予測値とデコードされた配列からの予測値との相関を計算した。高レベルの一致がトレーニングデータセット及び検証データセットの両方で観測された。これらの観測を表１にまとめる。

【0147】

【表1】

【0148】

［実施例２］：勾配ベースの設計を使用したβラクタマーゼ遺伝子のｉｎ ｓｉｌｉｃｏ操作
ｉｎ ｓｉｌｉｃｏ機械学習手法を使用して、前は耐性がなかった抗生物質への耐性を獲得するようにβラクタマーゼを変換した。１１の抗生物質への耐性が測定された６６２の公開βラクタマーゼ配列のトレーニングセットを使用して、アミノ酸配列に基づいてこれらの抗生物質への耐性を予測するマルチタスク深層学習モデルを構築した。

【0149】

次に、テスト抗生物質への耐性を有する新たな配列を設計することを目標として、トレーニングセットからテスト抗生物質に対する耐性を持たない２０のβラクタマーゼを選択した。勾配ベースの設計（ＧＢＤ）をこれらの配列に合計１００回の反復にわたって適用した。このプロセスの視覚化を図１０に示す。先に詳述したように、初期配列を、埋め込み空間にマッピングされ、続けて１００回の反復を通して最適化されるシードとして使用した。図１０は、勾配ベースの設計反復の関数として設計された配列のテスト抗生物質への予測耐性を示す。ｙ軸はモデルによって予測された耐性を示し、ｘ軸は、埋め込みが最適化されるにつれての勾配ベースの設計のラウンド又は反復を示す。図１０は、ＧＢＤのラウンド又は反復を通して予測耐性がいかに増大したかを示す。シード配列は低い耐性（ラウンド０）で開始され、幾つかのラウンド後、高い予測耐性（確率＞０．９）を有するように反復して改善した。示すように、予測耐性は約２５のラウンドでピークに達し、次いで横ばいになるように見える。

【0150】

ＧＦＰと異なり、βラクタマーゼは可変長を有し、したがって、タンパク質の長さは、ＧＢＤがこの例で制御することができる何かである。

【0151】

実験的検証のために７つの配列を選択し、これらを以下の表２に示す。

【0152】

表２．ＧＢＤにより設計された７つの配列を実験的検証に選択した。これらの７つの配列は、テスト抗生物質への耐性の高い確率を有し（耐性確率）、トレーニングデータにおいてテスト抗生物質に対して耐性を持つ配列との低い配列同一性を有し（クラスパーセントＩＤ）、低い相互配列同一性を有することの組合せについて選択された。トレーニングデータにおける最長βラクタマーゼはアミノ酸４００個であり、ＧＢＤ設計のβラクタマーゼポリペプチド配列の幾つかはその長さを超えた。

【0153】

【表2】

【0154】

ＧＢＤを使用して設計された７つの新規のβラクタマーゼに対して検証実験を実行した。βラクタマーゼを発現するベクターを用いて形質転換されたバクテリアを１０倍希釈し、８ｕｇ／ｍｌテスト抗生物質＋１ｍＭ ＩＰＴＧの存在下で寒天平板で成長させた。図１１は、抗生物質耐性のテストを示す図である。正規βラクタマーゼＴＥＭ－１を最後の列に示す。明らかなように、設計された配列の幾つかは、テスト抗生物質に対してＴＥＭ－１よりも大きな耐性能力を示す。列１４－１及び１４－２におけるβラクタマーゼは、５スポット下にコロニーを有する。列１４－３は７スポット下にコロニーを有する。列１４－４、１４－６、及び１４－７は４スポット下にコロニーを有する。列１４－５は３スポット下にコロニーを有する。その間、ＴＥＭ－１は２スポット下のみにコロニーを有する。

【0155】

［実施例３］シミュレートされたランドスケープでの勾配ベースの設計を使用した合成実験
機械学習を使用した、特定の機能性質を有する生体配列の計算設計が本開示の目標である。一般的な戦略はモデルベースの最適化である：機能に配列をマッピングするモデルが、ラベル付きデータでトレーニングされ、続けて、所望の機能を有する配列を産生するように最適化される。しかしながら、ナイーブ最適化法は、モデル誤差が高い分布外入力を回避することができない。これらの問題に対処するために、明示的方法及び暗黙的方法は、新規の生体配列を効率的に生成する分布内入力に目的を制限する。

【0156】

タンパク質操作は、所望の機能性質を有する新規のタンパク質の生成を指す。この分野には、タンパク質治療、農業タンパク質、及び産業生体触媒の設計を含め、多くの用途がある。指定された機能を有するタンパク質をコードするアミノ酸配列の識別は、部分的に候補配列の空間が組み合わせ的に大きく、一方、機能配列のサブセットが消えそうなほど小さいため、難問である。

【0157】

成功してきた方法の１つのファミリは定向進化である：遺伝子変異体のライブラリからのサンプリングと、候補の次のラウンドを構築する改善された機能を有する遺伝的変異体のスクリーニングとを交互にした反復プロセス。高スループットアッセイの開発があっても、プロセスは時間及びリソース集約的であり、多くの反復及び多数の変異体のスクリーニングを必要とする。多くの用途では、所望の機能性質についての高スループットアッセイの設計は難問又は実現不可能である。

【0158】

最近の手法は機械学習法を利用して、ライブラリをより効率的に設計し、より少ない反復／スクリーニングで適合度のより高い配列に辿り着く。そのような一方法はモデルベースの最適化である。この設定では、配列を機能にマッピングするモデルは、ラベル付きデータにフィッティングされる。次いで、モデルは変異体を計算的にスクリーニングし、より適合度の高いライブラリを設計する。一態様では、本開示のシステム及び方法は、ナイーブ手法で生じる問題をモデルベースの最適化に改善し、生成された配列を改善する。

【0159】

一例では、Ｘをタンパク質配列の空間を示すものとし、ｆを関心のある性質（例えば蛍光、活性、発現、可溶性）をコードするタンパク質空間での実数値マップであるとする。指定された機能を有する新規のタンパク質を設計するタスクを次いで、

【数2】

への解を見つけるものとして再定式化することができ、式中、ｆは一般に未知である。このクラスの問題はモデルベースの最適化と呼ばれる。この問題は静的設定に制限することができ、その場合、ｆを直接問い合わせることができるが、ラベル付きデータセット

【数3】

が提供され、ここで、ラベルｙ_ｉは恐らくはノイジーである：ｙ_ｉ≒ｆ（ｘ_ｉ）

【0160】

ナイーブ手法は、Ｄを使用してｆに近づくモデルｆ_θをフィッティングし、次いで

【数4】

を解くことである。

【0161】

オプティマイザはｆ_θが誤って大きいように点を見つけることができるため、これは不良な結果を生み出しがちである。主な問題は、可能なアミノ酸配列の空間が非常に高い次元を有するが、データが典型的には、はるかに低次元のサブ空間からサンプリングされることである。これは、実際にはθが高次元であり、ｆ_θが高度に非線形である（例えば、生物学でのエピスタシスのような現象に起因して）ことによって悪化する。したがって、出力は、ｆ_θがｆの良好な近似である許容される配列のクラスにサーチを制限するように何らかの方法で制限されなければならない。

【0162】

一手法は、ｐ_θ（ｘ）が、配列ｘがデータ分布からサンプリングされる確率であるように確率的モデルｐ_θを（ｘ_ｉ）^Ｎにフィッティングすることである。尤度を明示的に計算（又は下限設定）することができるモデルクラスの幾つかの例は、一次／サイトワイズ（ｓｉｔｅｗｉｓｅ）モデル、隠れマルコフモデル、条件付き確率場、変分オートエンコーダ（ＶＡＥ）、自己回帰モデル、及びフローベースモデルである。一態様では、方法は関数：

【数5】

を最適化し、ここで、λ＞０は固定されたハイパーパラメータである。多くの場合、ラベル付きデータは高価又は非常に少ないが、関心のあるファミリからのタンパク質のラベルなし例も容易に利用可能である。実際には、ｐ_θは、このファミリからのラベルなしタンパク質のより大きなデータセットにフィッティングすることができる。

【0163】

配列空間で直接最適化する一難問は、配列空間が離散であり、勾配ベースの方法には不適であることである。ｆ_θが配列空間の学習済み連続表現の平滑関数であることを利用することで、勾配を利用することができ、より効率的に最適化することができる。そのために、ｆ_θ＝ａ_θｅ_θであり、式中、ｆ_θはＬ層ニューラルネットワークであり、ｅ_θ：Ｚはエンコーダを指し、最初のＫ層であり、ａ_θ：Ｚ→Ｒはアノテータを指し、最後のＬ－Ｋ層である。これは、最適化を空間Ｚに移し、勾配を利用できるようにする。非正則化類似物は、

【数6】

を解くことである。

【0164】

次いで、データ分布からサンプリングされたｘ’について、

【数7】

であるように確率的デコーダｄ_ψ：Ｚ→ｐ（Ｘ）マッピングｚ→ｄ_ψ（ｘ｜ｚ）をフィッティングし、これは

【数8】

を返すことができる。勾配は、ａ_θのみならずｄ_ψも高い誤差を有するＺのエリアにｚ^＊を引き込み得るため、ここで問題が一層悪化することを予期し得る。ａ_θ及びｄ_ψは同じデータマニフォルドでトレーニングされるため、ｄ_ψの再構築誤差はａ_θの平均絶対誤差と相関しがちであるという観測によって方法は動機付けられる。以下の目的関数が提案される：

【数9】

【0165】

これは、暗黙的な制約を最適化に追加する。（５）への安定解は、ｄ_ψ（ｘｚ）が低エントロピー及び低再構築誤差を有するＺのエリアに対応する。この正則化についての考えのヒューリスティックは、デコーダはデータ分布における点に集中する分布を出力するようにトレーニングされるため、マッピングｚ→ｅ_θ（ｄ_φ（ｘ｜ｚ））はデータマニフォルドへの投影と見なすことができることである。先のｆ_θはＸにおけるマッピングであったが、式は、ｆ_θがｐ（）でのマッピングであることを示唆する。しかしながら、以下、式（５）が適合するｐ（）へのｆ_θの自然拡張について説明する。最後に、式（３）中のｐ_θと同様に、デコーダｄ_ψは、式（５）を介した勾配ベースの設計（ＧＢＤ）として勾配上昇を使用して利用可能な場合、関心のあるファミリからタンパク質のより大きなラベルなしデータセットにフィッティングすることができる。

【0166】

［結果－合成実験］
モデルベースの最適化法の評価では、グラウンドトゥルース関数ｆに問い合わせる必要がある。実際には、これは遅く且つ／又は高価であることができる。方法の開発及び評価を支援するために、方法は２つの設定での合成実験を用いてテストされる：格子タンパク質最適化タスク及びＲＮＡ最適化タスク。両タスクで、グラウンドトゥルースｆは高度に非線形であり、実際の生体配列の非自明な生物物理学的性質を近似する。

【0167】

格子タンパク質は、Ｌ長タンパク質が、自己交差なしの二次元格子上にある配座に制限されるという簡易化仮定を指す。この仮定下で、全ての可能な配座を列挙し、分配関数を厳密に計算することができ、多くの熱力学的性質を効率的に計算できるようにする。ブランドトゥルース適合度ｆは、固定配座ｓｆに関するアミノ酸鎖の自由エネルギーとして定義される。この適合度に関して配列を最適化することは、配列設計での長年にわたる目標である、固定構造配座に関して安定した配列を見つけることになる。

【0168】

固定配座に関するヌクレオチド配列の自由エネルギーは、２Ｄ格子タンパク質モデルで行われる簡易化仮定の多くなしで効率的に計算することができる。ＲＮＡ最適化設定では、ｆは、既知のｔＲＮＡ構造の固定配座ｓｆに関する自由エネルギーとして、ヌクレオチド配列の空間で定義される。

【0169】

両タスクで、ｆが定義された後、トレーニングデータが選択される適合度ランドスケープが、改変されたメトロポリスヘイスティングスサンプリングによって生成される。メトロポリスヘイスティングス下では、ランドスケープに含まれる配列ｘの確率は、ｆ（ｘ）に漸近的に比例する。データは適合度に従って分割される：検証データは適合度のより高い配列から均一にサンプリングされ、トレーニングデータは適合度のより低い配列からサンプリングされて、現実世界用途で望ましい性質である、トレーニング中に見られるよりも高い適合度を有する配列を生成する能力について方法を評価する。

【0170】

畳み込みニューラルネットワークｆ_θ及びサイトワイズｐ_θがデータにフィッティングされる。１９２のシード配列のコホートがトレーニングデータからサンプリングされ、離散最適化目的（２）及び（３）並びに勾配ベースの最適化目的（４）及び（５）に従って最適化される。離散目的は、各ステップにおいて、幾つかの候補突然変異が、トレーニングデータによって与えられた経験分布からサンプリングされる貪欲局所探索によって最適化され、目的に従った最良突然変異が、コホート中の各配列に選択される。

【0171】

ナイーブ最適化は、モデル誤差が高い空間のエリアにコホートを素早く駆動し、両実験でコホートの平均適合度を改善することができない。正則化はこの影響を低下させることができ、モデル誤差を低く維持しながら、コホートの平均適合度を改善することができる。いずれのタスクでも、生成された配列で、トレーニング中に見られた適合度を超えるものは略ない（＜１％）。

【0172】

図１２Ａ～図１２Ｆは、ＲＮＡ最適化（１２Ａ～Ｃ）及び格子タンパク質最適化（１２Ｄ～Ｆ）での離散最適化結果を示すグラフである。図１２Ａ及び図１２Ｄは、最適化中のコホートにわたる適合度（μ±σ）を示す。ナイーブ最適化は、いずれの環境でも平均適合度の有意な増大を生じさせず、一方、正則化目的はそうすることが可能である。図１２Ｂ及び図１２Ｅは、適合度で上位１０パーセンタイルからなるサブコホートの適合度を示す（サブコホートでの陰影付き最小～最大性能）。トレーニング中に見られるよりも有意に高い適合度を有する配列は、ＲＮＡサンドボックスでのいずれの方法によっても見つけることができない。図１２Ｃ及び図１２Ｆは、最適化中、コホートにわたるｆからのｆ_θの絶対偏差（μ±σ）を示す。コホートは、モデルが信頼できない空間の部分に移動するため、ナイーブ目的はコホート性能を改善することができない。

【0173】

図１４は、式（３）中の正則化項λを上方加重する効果を示す：λが大きいほど、モデル誤差は小さくなるが、ｐ_θによって高確率が割り当てられる配列にモデルが制限されるため、最適化の過程にわたる配列多様性はそれに対応して低下する。このシステムをテストする全ての実験では、別段のことが指定されなければ、λは５に設定される。しかしながら、他の値を他のテストで使用することが可能である。左のグラフは、λが目的（３）で増大するにつれてコホートにわたる平均モデル誤差（μ±σ）が低下することを示し、一方、右のグラフは、コホートにおける配列多様性も同様に低下することを示す。格子タンパク質サンドボックス環境からとられたデータ。勾配ベースの方法は、離散方法よりもはるかに空間中の遠くに素早く移動する。ＧＢＤは、離散正則化法と同等の低いモデル誤差を維持しながら、初期シードからはるかに遠くの配列空間の領域を探索することが可能である。

【0174】

図１３Ａ～図１３Ｈは勾配ベースの最適化の結果を示す。最適化の際の先に強調した問題は、Ｚで作業する場合のみ悪化する：正則化なしでは、コホートが、ａ_θ（ｚ）が非現実的に（且つ不正確に）高い予測適合値を有する点ｚに駆動されるのみならず、デコードされた配列

【数10】

はｆ_θによる高適合度を有するように予測されない。両設定において、ナイーブ最適化はコホートにわたる平均適合度を改善することができず、且つトレーニング中に見られる適合度を超える配列を見つけることができない。ＧＢＤはこの挙動を示さない：ｆ_θｄ^＊、ａ_θ、及び

【数11】

を首尾よく最適化する。両設定において、ＧＢＤはコホートの平均適合度を改善し、コホートにおける配列の上位１０％は一貫して、トレーニング中に見られる適合度を超える適合度を有する。

【0175】

図１３Ａ～図１３ＤはＲＮＡ最適化での勾配ベースの最適化結果を示し、図１３Ｅ～図１３Ｈは格子タンパク質最適化を示す。図１３Ａ及び図１３Ｅは、最適化中、コホートにわたる最大尤度デコード配列の真の適合度である

【数12】

を示す。ナイーブ最適化は、ＲＮＡサンドボックスにおいて平均適合度の有意な増大を生じさせず、格子タンパク質環境ではコホート適合度の大きな低下を生じさせる。ＧＢＤは、最適化中、平均コホート適合度を首尾よく改善することが可能である。図１３Ｂ及び図１３Ｆは、適合度の上位１０パーセンタイルからなるサブコホートの適合度を示す（サブコホートにおける陰影付き最小～最大性能）。ＧＢＤは、トレーニング中に見られる適合値を超える適合値を有する配列を高い信頼性で見つける。図１３Ｃ及び図１３Ｇは、Ｚにおける現在点でのデコード配列の予測適合度である、最適化中のコホートの

【数13】

を示すパネルである。図１３Ｄ及び図１３Ｈは、Ｚにおける現在表現の予測適合度である、最適化中のコホートのａ_θ（ｚ）（μ±σ）を示す。ナイーブ目的はａ_θを素早くハイパー最適化し、

【数14】

によって有意な配列にデコードすることができないＺ空間の非現実的部分にコホートをプッシュする。ＧＢＤ目的はこの病理を首尾よく回避する。

【0176】

図１５Ａ及び図１５Ｂはヒューリスティック動機付けＧＢＤを示す：

【数15】

が高信頼的にデコードすることができるＺのエリアにコホートを駆動する。Ｘで見ると、これは、

【数16】

が概ね同一であることを意味し（右）、又はＺで見ると、

【数17】

が小さく、したがって、

【数18】

が小さいことを意味する。ｆ_θ及びｄ_ψは同じ分布でトレーニングされるため、データは、ｆ_θも空間のこのエリアで高信頼性であることを示唆する。

【0177】

図１５Ａは、格子タンパク質ランドスケープにおいて最適化されたコホートの全てのステップ及び全ての配列にわたる

【数19】

からのａ_θ（ｚ）の偏差に対してプロットされた

【数20】

からのａ_θ（ｚ）の偏差の散布図である。図１５Ｂは、同じデータでの

【数21】

からのａ_θ（ｚ）の偏差に対してプロットされたＺにおける点の最大尤度デコードである

【数22】

の精度を示すグラフである。ＧＢＤは、ｄ_ψが高信頼的にデコードするＺのエリアにコホートを押すことによって暗黙的に正則化を提供する。ｆ_θ及びｄ_ψは同じ分布に適合するため、この領域での予測適合度は高信頼性である。

【0178】

合成実験では、ＧＢＤは、コホートの適合度（平均及び最大）に関して探索されるモンテカルロ最適化法の性能を満たすか、又は超えることが可能である。実際にＧＢＤははるかに高速である：離散法は、あらゆる反復におけるＫ個の突然変異候補を生成し評価することを含む。これは、反復ごとに配列１つ当たりでモデルのＫ回のフォワードパスが必要とされる。ＧＢＤは、反復ごとに配列１つ当たりで１つのフォワードパス及び１つのバックワードパスを必要とする。

【0179】

さらに、図１６は、格子タンパク質における種々の目的の最適化中、コホートでの初期シードからの突然変異（μ±σ）数を示す。図１６は、ＧＢＤが、比較的低い誤差を維持しながら、離散法よりも初期シード配列から離れた最適を見つけることが可能なことを示す。

【0180】

表３は、考察した全ての方法とランダムサーチベースラインとの比較を提供する。ＲＮＡサンドボックスでは、ＧＢＤは、メトロポリスヘイスティングスによって生成されるランドスケープ全体で見られる（最適化よりも数桁多い反復にわたって実行された）よりも高い適合度を有する配列を生成することができた、探索された唯一の方法である。ＰｙｔｈｏｎパッケージＬａｔｔｉｃｅＰｒｏｔｅｉｎｓは、長さ１６のアミノ酸鎖の全ての可能な非自己交差配座を列挙する。この列挙を使用して、固定配座ｓｆ下で長さ１６のアミノ酸鎖の自由エネルギーを計算する。適合関数ｆが長さ３２のアミノ酸配列の空間において以下のように定義され：
ｆ（ｘ）＝Ｅ（ｘ_１）＋Ｅ（ｘ_２）－Ｒ（ｘ_１，ｘ_２） （６）
式中、Ｅ（ｘ_１）はｓｆに関する前の１６アミノ酸残基によって形成される鎖の自由エネルギーであり、Ｅ（ｘ_２）はｓｆに関する後の１６アミノ酸残基によって形成される鎖の自由エネルギーであり、
Ｒ（ｘ_１，ｘ_２）＝ｃ（（ｘ_１）_ｉ，（ｘ_２）_ｉ） （７）
であり、ｃ（α，β）は、全てのアミノ酸α、βの標準正規分布からサンプリングされた一定相互作用項である。

【0181】

［ＲＮＡ構造適合関数］
ｓｆを固定ｔＲＮＡ構造とする。ＰｙｔｈｏｎパッケージＶｉｅｎｎａＲＮＡを用いて、適合関数ｆは、
ｆ（ｘ）＝Ｅ（ｘ）－ｍｉｎ（ｅｘｐ（βｄ（ｓ_ｆ，ｓ_ｘ）），２０） （８）
として長さ７０のヌクレオチド配列の空間で定義され、式中、ｄはハミング距離を示し、β＝０．３はハイパーパラメータであり、ｓ_ｘはｘの最小エネルギー配座であり、Ｅ（ｘ）は配座ｓ_ｘでの配列の自由エネルギーを有する。

【0182】

［貪欲モンテカルロ探索最適化］
方法は、貪欲モンテカルロ探索アルゴリズムによって目的２及び３を最適化する。ｘが長さＬの配列であると、各反復において、Ｋ個の突然変異が、トレーニングデータによって与えられる事前分布からサンプリングされる。より正確には、Ｋ個の位置が置換を用いて１・・・Ｌから均一にサンプリングされ、各位置で、アミノ酸（又はＲＮＡ最適化の場合、ヌクレオチド）が、その位置におけるデータによって与えられる周辺分布からサンプリングされる。次いで目的がライブラリ中の各変異体で評価され（元の配列が含まれる）、最良の変異体が選択される。このプロセスはＭステップにわたり継続する。

【0183】

［Ｄ．適合度ランドスケープの生成］
適合関数ｆへのアクセスを所与として、教師ありモデルｆ_θをトレーニングするためのサンプルを取得することが望ましい。直観的に高確率で、ランダムに選択された配列が消えそうなほど低い適合度を有することになるため、均一サンプリングは、Ｘの高次元に起因して実現不可能である。目標は、密度がｆに比例する分布からサンプルを取得することである。プロセスにおける各内側ループについて、Ｍ配列のコホートがランダムに初期化される。各配列について、引き出されたＮ個の突然変異がランダムに均一に引き出され、ランドスケープにＭＮ個全ての配列を含む。（ｘ_ｉｊ）^Ｎが配列ｉのＮ個の変異体を示す場合、方法は、（ｆ（ｘ_ｉｊ））^Ｎによって与えられるロジットを用いて、［１・・・Ｎ］でのカテゴリ分布から突然変異をサンプリングすることによって更新する。更に後述するように、内側ループはＪステップにわたって実行され、Ｃ個の外側ループが実行される。

【0184】

［勾配ベースの設計］
勾配ベースの設計は、勾配上昇による目的（４）の最適化を指す。ｆ_θ、ｄ_ψ、及び初期点ｚ_０を所与として、ｈ：＝ｆ_θｄ_ψを設定すると、ＧＢＤの反復は、ｈを最大化するために、Ａｄａｍ等の勾配ベースのオプティマイザのＫ個のステップからなり、その後、ｚｅ_θ（ｄ_ψ（ｚ））であるデコードステップが続く。実際には、有効学習率があり良好な性能に極めて重要、０．０５の値が実験全体を通して使用され、Ｋは２０であった。

【0185】

［モデルアーキテクチャ及びトレーニング］
方法はｆ_θ＝ａ_θｅ_θを因数分解する。畳み込みブロック及び平均プーリング層の交互スタックからなる全ての実験全体を通して、畳み込みエンコーダｅ_θを使用した。ブロックは、残差接続でラップされた２つの層を含む。各層は１ｄ畳み込み、層正規化、ドロップアウト、及びＲｅＬＵ活性化を含む。２層全結合フィードフォワードネットワークａ_θが全体を通して使用される。デコーダネットワークｄ_ψは、交互になった残差ブロック及び転置畳み込み層のスタックで構成され、その後に２層全結合フィードフォワードネットワークが続く。

【0186】

パラメータ推定はまとめてではなく順次行われる：まず、ｆ_θがフィッティングされ、次いでパラメータθが凍結され、ｄ_ψがフィッティングされる。学習は、確率的勾配降下によって行われて、ＡＤＡＭオプティマイザを用いてｆ_θ、ｄ_ψのそれぞれのＭＳＥ及び交差エントロピーを最小化する。最大学習速度１０^－４を有する１サイクル学習率アニーリングスケジュールを使用して、ｆ_θは２０エポックにわたりフィッティングされ、ｄ_ψは４０エポックにわたりフィッティングされる。各エポック後、モデルパラメータは保存され、トレーニング後、検証損失によって測定される最良パラメータが生成に選択される。最大尤度によってフィッティングされるサイトワイズｐ_θが全ての実験で使用される。

【0187】

エビデンス下限を最大化することにより、変分オートエンコーダをデータにフィッティングした。エンコーダパラメータ及びデコーダパラメータは、再パラメータ化（償却）によりまとめて学習される。一定学習速度１０^－３を最適停止セット及びペイシャンス（ｐａｔｉｅｎｃｅ）パラメータ１０を用いて５０エポックにわたり使用した。２０回の反復で、Ｎ＝５０００配列が標準正規から先にサンプリングされ、デコーダに通され、予測適合度がｆ_θによって割り当てられる。ＶＡＥはこれらの配列で１０エポックにわたり微調整され、再加重されて、予測適合度がより高い配列を生成する。両生成モデルは、２０回の反復が完了する前に崩壊してデルタ質量関数になるため、両方法での真の最大平均適合度に対応する表１の結果が反復について報告された。したがって、報告された尺度は方法のピーク性能を包含する。

【0188】

【表3】

【0189】

最適化は、トレーニングデータからサンプリングされた１９２配列に適用された２０回の反復からなる（方法にわたり一定に保たれた）。

【0190】

［実施例４］：勾配ベースの設計を使用した抗体のｉｎ ｓｉｌｉｃｏ操作
上記は、勾配ベースの設計を使用して解離定数（ＫＤ）を改善したフルオレセインイソチオシアネート（ＦＩＴＣ）を結合する抗体の生成を記載する。モデルは、蛍光活性化細胞選別を使用して測定された２８２５のユニーク抗体配列のライブラリのＫＤ推定の公開データセットでトレーニングされ、その後、Ａｄａｍｓ ＲＭ；Ｍｏｒａ Ｔ；Ｗａｌｃｚａｋ ＡＭ；Ｋｉｎｎｅｙ ＪＢ，Ｅｌｉｆｅ，“Ｍｅａｓｕｒｉｎｇ ｔｈｅ ｓｅｑｕｅｎｃｅ－ａｆｆｉｎｉｔｙ ｌａｎｄｓｃａｐｅ ｏｆ ａｎｔｉｂｏｄｉｅｓ ｗｉｔｈ ｍａｓｓｉｖｅｌｙ ｐａｒａｌｌｅｌ ｔｉｔｒａｔｉｏｎ ｃｕｒｖｅｓ”（２０１６）（以下“Ａｄａｍｓら”）に記載のように、次世代シーケンシングが続き、これは全体的に、参照により本明細書に援用される。抗体配列をＫＤにマッピングする配列のこのデータセット及びＫＤ対を３つの方法で分割した。最初の分割は、検証のために機能を発揮する（ｐｅｒｆｏｒｍｉｎｇ）配列の上位６％を保持することによって行われる（したがって、モデルは下位９４％でトレーニングされる）。２番目の分割は、検証のために機能を発揮する配列の上位１５％を保持することによって行われた（したがって、モデルは下位８５％でトレーニングされる）。３番目の分割は、検証に保持された配列の２０％を均一に（ｉｉｄ）サンプリングすることによって行われた。

【0191】

各分割で、エンコーダ（配列を埋め込みにマッピングする）及びアノテータ（埋め込みをＫＤにマッピングする）を含む教師ありモデルがまとめてフィッティングされる。次いで、埋め込みを再び配列にマッピングするデコーダが、同じトレーニングセットでフィッティングされる。各モデルで、１２８のシードがトレーニングセットから均一にサンプリングされ、２つの方法で最適化される。最初の方法は、ＧＢＤによる５ラウンドにわたり、２０のＧＢＤステップからなる各ラウンドの後に、デコーダを通した逆投影が続く。２番目の方法は、ＧＢＤ＋による５ラウンドにわたり（目的は一次正則化で増強される）、２０のＧＢＤステップからなる各ラウンドの後に、デコーダを通した逆投影が続く。ＧＢＤ＋は、ＭＳＡ（多重配列アラインメント）を使用する方法を制約することを含め、追加の正則化を使用する。したがって、各モデルは候補の２つのコホート（各方法ＧＢＤ、ＧＢＤ＋に１つずつ）をもたらす。まず、（独立してトレーニングされた発現モデルからの各予測発現で各候補をラベルすることにより、各コホートからオーダーする最終配列が選択され、ｉ．ｉ．ｄ（独立同分布）で分割された（配列、発現データのデータセットにフィッティングされる）。コホートは２つの方法でフィルタリングされる：低発現を有すると予測される場合、配列は除去され、予測された適合度がシードの初期予測適合度未満である場合、配列は除去される。残りの配列のうち、最高予測適合度の配列を研究所での測定に選んだ。

【0192】

図１７は、生成されたタンパク質の親和性を検証する、列記されたタンパク質変異体のＫｄを測定するウェットラボデータを示すグラフ１７００である。

【0193】

グラフによって示される方法は、ＣＤＥ：正規化及び非正規化、ＧＢＤ：正規化及び非正規化、並びにベースラインプロセスを含む。図１７が基づくデータセットを以下の表４に示し、表４は生成されたタンパク質の実験的に測定されたＫｄ値を列記する。

【0194】

【表4】

【0195】

本発明によるＧＢＤ生成変異体のＫｄを測定するウェットラボ実験を以下のように行った。表層提示に向けてフォーマットされたユニークな抗ＦＩＴＣ ｓｃＦｖ設計変異体を発現し、発現定量化のためのｃＭｙｃタグを含むクローンプラスミドを用いて酵母細胞を形質転換した。培養及びｓｃＦｖ発現後、酵母細胞をフルオレセイン抗原及び蛍光共役抗ｃＭｙｃ抗体で幾つかの濃度で染色した。平衡に達した後、フローサイトメトリによって各濃度の染色からの細胞を測定する。発現細胞でのゲーティング後、フルオレセイン抗原結合のメジアン蛍光強度を計算した。メジアン蛍光データを標準単一結合親和性曲線にフィッティングして、各クローンｓｃＦｖ変異体の概ねの結合親和性Ｋｄ（解離定数）を特定した。これらの結果は、ＧＢＤが、ＦＩＴＣ抗体の設計について他の設計方法よりも優れていることを示した。

【0196】

本発明の好ましい態様を本明細書において示し記載したが、そのような態様が単なる例として提供されることが当業者には明らかである。本発明から逸脱せずに、これより当業者は多くの変形、変更、及び置換を想到しよう。本明細書において記載の本発明の態様への種々の代替が、本発明を実施するに当たり利用し得ることを理解されたい。以下の特許請求の範囲が本発明の範囲を規定し、これらの特許請求の範囲及びそれらの均等物内の方法及び構造が本発明の範囲により包含されることが意図される。

【0197】

本願の開示は以下の例示的な態様も含む。

【0198】

例示的な態様１：機能によって査定される改良された生体高分子配列を操作する方法であって、
（ａ）生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに埋め込みにおける開始点を提供することであって、任意選択的に開始点はシード生体高分子配列の埋め込みであり、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供する、計算することと、
（ｃ）任意選択的に機能空間における第１の更新点での埋め込みに関する機能の変化を計算し、任意選択的に更なる更新点での埋め込みに関する機能の変化を計算するプロセスを反復することと、
（ｄ）機能空間において第１の更新点又は任意選択的に反復された更なる更新点で所望の機能レベルに近づきつつあると、第１の更新点又は任意選択的に反復された更なる更新点をデコーダネットワークに提供することと、
（ｅ）デコーダから改良された確率的生体高分子配列を取得することと、
を含む方法。

【0199】

例示的な態様２：機能によって査定される改良された生体高分子配列を操作する方法であって、
（ａ）生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダとを含むシステムに埋め込みにおける開始点を提供することであって、任意選択的にシード生体高分子配列の埋め込みであり、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）埋め込みにおける開始点の機能を予測することと、
（ｃ）ステップサイズに従って開始点における埋め込みの関する機能の変化を計算することであって、それにより、機能空間に第１の更新を提供する、計算することと、
（ｄ）機能空間における第１の更新点をデコーダネットワークに提供することであって、それにより、第１の中間確率的生体高分子配列を提供する、提供することと、
（ｅ）第１の中間確率的生体高分子配列を教師ありモデルに提供することであって、それにより、第１の中間確率的生体高分子配列の機能を予測する、提供することと、
（ｆ）機能空間における第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更新点を提供する、計算することと、
（ｇ）機能空間における更新点をデコーダネットワークに提供することであって、それにより、追加の中間確率的生体高分子配列を提供する、提供することと、
（ｈ）追加の中間確率的生体高分子配列を教師ありモデルに提供することであって、それにより、追加の中間確率的生体高分子配列の機能を予測する、提供することと、
（ｉ）機能空間における更なる第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｇ）～（ｉ）を繰り返し、ステップ（ｉ）において参照される機能空間における別の更なる更新点は、ステップ（ｇ）における機能空間における更なる更新点と見なされる、計算することと、
（ｊ）機能空間において所望の機能レベルに近づきつつあると、埋め込みにおける点をデコーダネットワークに提供し、任意選択的にデコーダから改良された確率的生体高分子配列を取得することと、
を含む方法。

【0200】

例示的な態様３：命令を含む非過渡的及び／又は非一時的コンピュータ可読媒体であって、命令は、プロセッサによって実行されると、プロセッサに、
（ａ）生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに埋め込みにおける開始点を提供することであって、任意選択的に開始点はシード生体高分子配列の埋め込みであり、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供する、計算することと、
（ｃ）任意選択的に機能空間における第１の更新点での埋め込みに関する機能の変化を計算し、任意選択的に更なる更新点での埋め込みに関する機能の変化を計算するプロセスを反復することと、
（ｄ）機能空間において第１の更新点又は任意選択的に反復された更なる更新点で所望の機能レベルに近づきつつあると、第１の更新点又は任意選択的に反復された更なる更新点をデコーダネットワークに提供することと、
（ｅ）デコーダから改良された確率的生体高分子配列を取得することと、
を行わせる、非過渡的及び／又は非一時的コンピュータ可読媒体。

【0201】

例示的な態様４：プロセッサと、命令を含む非過渡的及び／又は非一時的コンピュータ可読媒体とを備えたシステムであって、命令は、プロセッサによって実行されると、プロセッサに、
（ａ）生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに埋め込みにおける開始点を提供することであって、任意選択的に開始点はシード生体高分子配列の埋め込みであり、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）ステップサイズに従って開始点における埋め込みに関連した機能の変化を計算することであって、それにより、機能空間における第１の更新点を提供する、計算することと、
（ｃ）任意選択的に機能空間における第１の更新点での埋め込みに関する機能の変化を計算し、任意選択的に更なる更新点での埋め込みに関する機能の変化を計算するプロセスを反復することと、
（ｄ）機能空間において第１の更新点又は任意選択的に反復された更なる更新点で所望の機能レベルに近づきつつあると、第１の更新点又は任意選択的に反復された更なる更新点をデコーダネットワークに提供することと、
（ｅ）デコーダから改良された確率的生体高分子配列を取得することと、
を行わせる、システム。

【0202】

例示的な態様５：プロセッサと、命令を含む非過渡的及び／又は非一時的コンピュータ可読媒体とを備えたシステムであって、命令は、プロセッサによって実行されると、プロセッサに、
（ａ）生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダネットワークとを含むシステムに埋め込みにおける開始点を提供することであって、任意選択的にシード生体高分子配列の埋め込みであり、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）埋め込みにおける開始点の機能を予測することと、
（ｃ）ステップサイズに従って開始点における埋め込みの関する機能の変化を計算することであって、それにより、機能空間に第１の更新を提供する、計算することと、
（ｄ）機能空間における第１の更新点をデコーダネットワークに提供することであって、それにより、第１の中間確率的生体高分子配列を提供する、提供することと、
（ｅ）第１の中間確率的生体高分子配列を教師ありモデルに提供することであって、それにより、第１の中間確率的生体高分子配列の機能を予測する、提供することと、
（ｆ）機能空間における第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更新点を提供する、計算することと、
（ｇ）機能空間における更新点をデコーダネットワークに提供することであって、それにより、追加の中間確率的生体高分子配列を提供する、提供することと、
（ｈ）追加の中間確率的生体高分子配列を教師ありモデルに提供することであって、それにより、追加の中間確率的生体高分子配列の機能を予測する、提供することと、
（ｉ）機能空間における更なる第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｇ）～（ｉ）を繰り返し、ステップ（ｉ）において参照される機能空間における別の更なる更新点は、ステップ（ｇ）における機能空間における更なる更新点と見なされる、計算することと、
（ｊ）機能空間において所望の機能レベルに近づきつつあると、埋め込みにおける点をデコーダネットワークに提供し、デコーダから改良された確率的生体高分子配列を取得することと、
を行わせる、システム。

【0203】

例示的な態様６：命令を含む非過渡的及び／又は非一時的コンピュータ可読媒体であって、命令は、プロセッサによって実行されると、プロセッサに、
（ａ）生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダネットワークとを含むシステムに埋め込みにおける開始点を提供することであって、任意選択的にシード生体高分子配列の埋め込みであり、教師ありモデルネットワークは、機能を表す機能空間に生体高分子配列の埋め込みを提供するエンコーダネットワークを備え、デコーダネットワークは、機能空間における予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）埋め込みにおける開始点の機能を予測することと、
（ｃ）ステップサイズに従って開始点における埋め込みの関する機能の変化を計算することであって、それにより、機能空間に第１の更新を提供する、計算することと、
（ｄ）機能空間における第１の更新点をデコーダネットワークに提供することであって、それにより、第１の中間確率的生体高分子配列を提供する、提供することと、
（ｅ）第１の中間確率的生体高分子配列を教師ありモデルに提供することであって、それにより、第１の中間確率的生体高分子配列の機能を予測する、提供することと、
（ｆ）機能空間における第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における更新点を提供する、計算することと、
（ｇ）機能空間における更新点をデコーダネットワークに提供することであって、それにより、追加の中間確率的生体高分子配列を提供する、提供することと、
（ｈ）追加の中間確率的生体高分子配列を教師ありモデルに提供することであって、それにより、追加の中間確率的生体高分子配列の機能を予測する、提供することと、
（ｉ）機能空間における更なる第１の更新点での埋め込みに関する機能の変化を計算することであって、それにより、機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｇ）～（ｉ）を繰り返し、ステップ（ｉ）において参照される機能空間における別の更なる更新点は、ステップ（ｇ）における機能空間における更なる更新点と見なされる、計算することと、
（ｊ）機能空間において所望の機能レベルに近づきつつあると、埋め込みにおける点をデコーダネットワークに提供し、デコーダから改良された確率的生体高分子配列を取得することと、
を行わせる、非過渡的及び／又は非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【配列表】

2022543234000001.app

【手続補正書】

【提出日】2022-04-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

機能によって査定される改良された生体高分子配列を操作する方法であって、
（ａ）生体高分子配列の機能を予測する教師ありモデルと、デコーダネットワークとを備えたシステムに埋め込みにおける開始点を提供することであって、教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における生体高分子配列の埋め込みを所与として、確率的生体高分子配列を提供するようにトレーニングされる、提供することと、
（ｂ）ステップサイズに従って前記開始点における前記埋め込みに関連した前記機能の変化を計算することであって、前記計算された変化は、前記機能空間における第１の更新点を提供できるようにする、計算することと、
（ｃ）前記機能空間における前記第１の更新点における特定の閾値内の所望の機能レベルに達すると、前記第１の更新点を提供することと、
（ｄ）デコーダから改良された確率的生体高分子配列を取得することと、
を含む方法。

【請求項2】

前記開始点は、シード生体高分子配列の前記埋め込みである、請求項１に記載の方法。

【請求項3】

前記機能空間における前記第１の更新点における前記埋め込みに関して前記機能の第２の変化を計算することと、
更なる更新点における前記埋め込みに関して前記機能の前記第２の変化を計算するプロセスを繰り返すことと、
を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記第１の更新点を提供することは、任意選択的に繰り返される更なる更新点における特定の閾値内の前記機能の所望のレベルに達した場合、実行することができ、前記更なる更新点を提供することは、前記繰り返された更なる更新点を前記デコーダネットワークに提供することを含む、請求項３に記載の方法。

【請求項5】

前記埋め込みは、前記機能を表し、１つ又は複数の勾配を有する連続微分可能な機能空間である、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記埋め込みに関する前記機能の前記変化を計算することは、前記埋め込みに関する前記機能の導関数をとることを含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記機能は２つ以上の構成要素機能の複合機能である、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記複合機能は、前記２つ以上の複合機能の加重和である、請求項７に記載の方法。

【請求項9】

前記埋め込みにおける２つ以上の開始点は同時に使用される、請求項１～８のいずれか一項に記載の方法。

【請求項10】

残基同一性の確率分布を含む確率的配列における残基間の相関が、既に生成された前記配列の部分を考慮に入れる条件付き確率を使用したサンプリングプロセスで考慮される、請求項１～９のいずれか一項に記載の方法。

【請求項11】

残基同一性の確率分布を含む確率的生体高分子配列から最大尤度改良済み生体高分子配列を選択することを更に含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

残基同一性の確率分布を含む確率的生体高分子配列の各残基における周辺分布をサンプリングすることを含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記埋め込みに関する前記機能の前記変化は、エンコーダに関する前記機能の前記変化、次いで前記デコーダの前記変化への前記エンコーダの前記変化、及び前記埋め込みに関する前記デコーダの前記変化を計算することによって計算される、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

前記機能空間における前記第１の更新点又は前記機能空間における更なる更新点を前記デコーダネットワークに提供することであって、それにより、中間確率的生体高分子配列を提供する、提供することと、
前記中間確率的生体高分子配列を前記教師ありモデルネットワークに提供することであって、それにより、前記中間確率的生体高分子配列の前記機能を予測する、提供することと、
前記中間確率的生体高分子の前記埋め込みに関する前記機能の前記変化を計算することであって、それにより、前記機能空間における更なる更新点を提供する、計算することと、
を含む、請求項１～１３のいずれか一項に記載の方法。

【請求項15】

前記生体高分子はタンパク質である、請求項１～１４のいずれか一項に記載の方法。

【請求項16】

前記エンコーダは、少なくとも２０の生体高分子配列のトレーニングデータセットを使用してトレーニングされる、請求項１～１５のいずれか一項に記載の方法。

【請求項17】

プロセッサと、命令を含む非一時的コンピュータ可読媒体とを備えたシステムであって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
（ａ）生体高分子配列の機能を予測する教師ありモデルネットワークと、デコーダネットワークとを備えたシステムに埋め込みにおける開始点の前記機能を予測することであって、前記教師ありモデルネットワークは、前記機能を表す機能空間に生体高分子配列の前記埋め込みを提供するエンコーダネットワークを備え、前記デコーダネットワークは、前記機能空間における前記予測された生体高分子配列の埋め込みを所与として、予測された確率的生体高分子配列を提供するようにトレーニングされる、予測することと、
（ｂ）ステップサイズに従って前記開始点における前記埋め込みに関連した前記機能の変化を計算することであって、それにより、前記機能空間における第１の更新点を提供できるようにする、計算することと、
（ｃ）前記機能空間における前記第１の更新点に基づいて、前記デコーダネットワークにおいて第１の中間確率的生体高分子配列を計算することと、
（ｄ）教師ありモデルにおいて、前記第１の中間生体高分子配列に基づいて前記第１の中間確率的生体高分子配列の前記機能を予測することと、
（ｅ）前記機能空間における前記第１の更新点における前記埋め込みに関する前記機能の前記変化を計算することであって、それにより、前記機能空間における更新点を提供する、計算することと、
（ｆ）前記デコーダネットワークにおいて、前記機能空間における前記更新点に基づいて追加の中間確率的生体高分子配列を計算することと、
（ｇ）前記教師ありモデルにおいて、前記追加の中間確率的生体高分子配列に基づいて前記追加の中間確率的生体高分子配列の前記機能を予測することと、
（ｈ）前記機能空間における前記更なる第１の更新点における前記埋め込みに関連する前記機能の前記変化を計算することであって、それにより、前記機能空間における別の更なる更新点を提供し、任意選択的にステップ（ｇ）～（ｉ）を繰り返し、ステップ（ｉ）において参照される前記機能空間における別の更なる更新点は、ステップ（ｇ）において前記機能空間における前記更なる更新点として見なされる、計算することと、
（ｉ）前記機能空間における所望の機能レベルに近づくと、前記埋め込みにおける前記点を前記デコーダネットワークに提供し、デコーダから改良された確率的生体高分子配列を取得していることと、
を行わせる、システム。

【請求項18】

請求項１～１６のいずれか一項に記載の方法により又は請求項１７に記載のシステムを使用して取得可能な改良された生体高分子配列を合成することを含む生体高分子を作製する方法。

【請求項19】

請求項１～１８のいずれか一項に記載の方法又はシステムで使用される教師ありモデルをトレーニングする方法であって、この教師ありモデルは、生体高分子配列を埋め込み機能空間における表現にマッピングするように構成されたエンコーダネットワークを備え、前記教師ありモデルは、前記表現に基づいて前記生体高分子配列の機能を予測するように構成され、前記方法は、
（ａ）複数のトレーニング生体高分子配列を提供するステップであって、各トレーニング生体高分子配列は機能でラベリングされる、提供するステップと、
（ｂ）前記エンコーダを使用して、各トレーニング生体高分子配列を前記埋め込み機能空間における表現にマッピングするステップと、
（ｃ）前記教師ありモデルを使用してこれらの表現に基づいて、各トレーニング生体高分子配列の前記機能を予測するステップと、
（ｄ）所定の予測損失関数を使用して、各トレーニング生体高分子配列について、前記予測機能が各トレーニング生体高分子配列の前記ラベルの通りの前記機能と一致する程度を特定するステップと、
（ｅ）更なるトレーニング生体高分子配列が前記教師ありモデルによって処理される場合に生じる前記予測損失関数により、レーティングを改善することを目標として、前記教師ありモデルの挙動を特徴付けるパラメータを最適化するステップと、
を含む方法。

【請求項20】

請求項１～１８のいずれか一項に記載の方法又はシステムで使用されるデコーダをトレーニングする方法であって、前記デコーダは、埋め込み機能空間から確率的生体高分子配列に生体高分子配列の表現をマッピングするように構成され、前記方法は、
（ａ）生体高分子配列の複数の表現を前記埋め込み機能空間に提供するステップと、
（ｂ）前記デコーダを使用して各表現を確率的生体高分子配列にマッピングするステップと、
（ｃ）各確率的生体高分子配列からサンプル生体高分子配列を引き出すステップと、
（ｄ）トレーニング済みエンコーダを使用してこのサンプル生体高分子配列を前記埋め込み機能空間における表現にマッピングするステップと、
（ｅ）所定の再構築損失関数を使用して、そうして特定された各表現が対応する元の表現と一致する程度を特定するステップと、
（ｆ）前記埋め込み機能空間からの生体高分子配列の更なる表現が前記デコーダによって処理される場合に生じる前記再構築損失関数により、レーティングを改善することを目標として、前記デコーダの挙動を特徴付けるパラメータを最適化するステップと、
を含む方法。

【請求項21】

教師ありモデル及びデコーダのアンサンブルをトレーニングする方法であって、
前記教師ありモデルは、生体高分子配列を埋め込み機能空間における表現にマッピングするように構成されたエンコーダネットワークを備え、
前記教師ありモデルは、前記表現に基づいて前記生体高分子配列の機能を予測するように構成され、
前記デコーダは、埋め込み機能空間から確率的生体高分子配列に生体高分子配列の表現をマッピングするように構成され、
前記方法は、
（ａ）複数のトレーニング生体高分子配列を提供するステップであって、各トレーニング生体高分子配列は機能でラベリングされる、提供するステップと、
（ｂ）前記エンコーダを使用して、各トレーニング生体高分子配列を前記埋め込み機能空間における表現にマッピングするステップと、
（ｃ）前記教師ありモデルを使用してこれらの表現に基づいて、各トレーニング生体高分子配列の前記機能を予測するステップと、
（ｄ）前記デコーダを使用して、前記埋め込み機能空間における各表現を確率的生体高分子配列にマッピングするステップと、
（ｅ）前記確率的生体高分子配列からサンプル生体高分子配列を引き出すステップと、
（ｆ）所定の予測損失関数を使用して、各トレーニング生体高分子配列について、前記予測された機能が各トレーニング生体高分子配列の前記ラベルの通りの前記機能と一致する程度を特定するステップと、
（ｇ）所定の再構築損失関数を使用して、各サンプル生体高分子配列について、生成元である元のトレーニング生体高分子配列と一致する程度を特定するステップと、
（ｈ）前記予測損失関数と前記再構築損失関数との所定の組合せにより、レーティングを改善することを目標として、前記教師ありモデルの挙動を特徴付けるパラメータ及び前記デコーダの挙動を特徴付けるパラメータを最適化するステップと、
を含む方法。

【請求項22】

請求項１９～２１のいずれか一項に記載の方法によって取得される、教師ありモデル、エンコーダ、又はデコーダの挙動を特徴付けるパラメータセット。

【国際調査報告】