知財求人 - 知財ポータルサイト「IP Force」
▶ フラッグシップ・パイオニアリング・イノベーションズ・ブイアイ，エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-21
(45)【発行日】2024-05-29
(54)【発明の名称】機械学習支援ポリペプチド解析
(51)【国際特許分類】
G16B 40/00 20190101AFI20240522BHJP
G06N 20/00 20190101ALI20240522BHJP
G06N 3/08 20230101ALI20240522BHJP
G16B 15/00 20190101ALI20240522BHJP
【ＦＩ】
G16B40/00
G06N20/00
G06N3/08
G16B15/00
【請求項の数】
15
(21)【出願番号】P 2021546841
(86)(22)【出願日】2020-02-10
(65)【公表番号】
(43)【公表日】2022-04-12
(86)【国際出願番号】 US2020017517
(87)【国際公開番号】W WO2020167667
(87)【国際公開日】2020-08-20
【審査請求日】2023-02-07
(31)【優先権主張番号】62/804,036
(32)【優先日】2019-02-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/804,034
(32)【優先日】2019-02-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521353768
【氏名又は名称】フラッグシップ・パイオニアリング・イノベーションズ・ブイアイ，エルエルシー
【氏名又は名称原語表記】ＦＬＡＧＳＨＩＰ ＰＩＯＮＥＥＲＩＮＧ ＩＮＮＯＶＡＴＩＯＮＳ ＶＩ，ＬＬＣ
(74)【代理人】
【識別番号】100087941
【弁理士】
【氏名又は名称】杉本 修司
(74)【代理人】
【識別番号】100112829
【弁理士】
【氏名又は名称】堤 健郎
(74)【代理人】
【識別番号】100142608
【弁理士】
【氏名又は名称】小林 由佳
(74)【代理人】
【識別番号】100155963
【弁理士】
【氏名又は名称】金子 大輔
(74)【代理人】
【識別番号】100154771
【弁理士】
【氏名又は名称】中田 健一
(74)【代理人】
【識別番号】100150566
【弁理士】
【氏名又は名称】谷口 洋樹
(74)【代理人】
【識別番号】100213470
【弁理士】
【氏名又は名称】中尾 真二
(74)【代理人】
【識別番号】100220489
【弁理士】
【氏名又は名称】笹沼 崇
(72)【発明者】
【氏名】フィーラ・ジェイコブ・ディー．
(72)【発明者】
【氏名】ビーム・アンドリュー・レーン
(72)【発明者】
【氏名】ギブソン・モリー・クリサン
【審査官】塩田 徳彦
(56)【参考文献】
【文献】国際公開第２０１８／０９４３６０（ＷＯ，Ａ２）
【文献】Xiaoyu Zhang et al.，Seq3seq fingerprint: towards end-to-end semi-supervised deep drug discovery，[onlin], ACM SIGBioinformatics Record, Volume 8, Issue 1，pp 1-10，［2023年12月5日検索］，インターネット，<URL:https://arxiv.org/ftp/arxiv/papers/1701/1701.08318.pdf>，Article No.1, URL:https://doi.org/10.1145/3284959.3284960
【文献】Xueliang Liu，Deep Recurrent Neural Network for Protein Function Prediction from Sequence，[online], ，［2023年12月5日検索］，インターネット，<URL:https://arxiv.org/abs/1701.08318>，arXiv:1701.08318
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｂ ５／００－９９／００
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ３／０８
(57)【特許請求の範囲】
【請求項1】
所望のタンパク質特性をモデリングするコンピュータ実施方法であって、（ａ）第１のニューラルネットエンベッダー及び第１のニューラルネット予測子を含む事前トレーニング済みの第１のシステムを提供することであって、事前トレーニング済みの前記第１のシステムの前記第１のニューラルネット予測子は、前記所望のタンパク質特性と異なる出力を生成するように構成される、提供することと、
（ｂ）事前トレーニング済みの前記第１のシステムの前記第１のニューラルネットエンベッダーの少なくとも一部を第２のシステムに転移することであって、前記第２のシステムは第２のニューラルネットエンベッダー及び第２のニューラルネット予測子を含み、前記第２のシステムの前記第２のニューラルネット予測子は、前記所望のタンパク質特性を提供する、転移することと、
（ｃ）前記転移された前記第１のニューラルネットエンベッダーの一部、前記第２のシステムの第２のニューラルネットエンベッダー、及び前記第２のシステムの第２のニューラルネット予測子を含む前記第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、前記タンパク質検体の前記所望のタンパク質特性の予測を生成する、解析することと、
を含むコンピュータ実施方法。
【請求項2】
前記第１のニューラルネットエンベッダーおよび前記第２のニューラルネットエンベッダーの少なくとも一方は、少なくとも５０、１００、１５０、２００、２５０、３００、３５０、４００、４５０、５００、６００、７００、８００、９００、１０００、又はそれ以上のアミノ酸配列のセットでトレーニングされ、
前記アミノ酸配列は、ジーンオントロジー、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、ＩＮＴＥＲＰＲＯ（登録商標）、ＳＵＰＦＡＭ、又はＯｒｔｈｏＤＢの少なくとも１つを含む１つ又は複数の機能表現にわたるアノテーションを含む、請求項１に記載のコンピュータ実施方法。
【請求項3】
前記第２のシステムの第２のモデルは、前記第１のシステムの第１のモデルの前記転移された第１のニューラルネットエンベッダーの一部を使用せずにトレーニングされたモデルと比較して改善された性能尺度を有する、請求項１または２に記載のコンピュータ実施方法。
【請求項4】
前記第２のシステムの第２のモデルは、前記第１のシステムの第１のモデルを含み、前記第１のモデルの最後の層が除去される、請求項１～３のいずれか一項記載のコンピュータ実施方法。
【請求項5】
前記第１のモデルの２、３、４、５、又はそれ以上の層は、前記第２のモデルへの転移において除去される、請求項４に記載のコンピュータ実施方法。
【請求項6】
転移された層は、前記第２のモデルのトレーニング中、凍結される、請求項４又は５に記載のコンピュータ実施方法。
【請求項7】
転移された層は、前記第２のモデルのトレーニング中、凍結されない、請求項４又は５に記載のコンピュータ実施方法。
【請求項8】
前記第２のモデルは、前記第１のモデルの転移された層に追加される１、２、３、４、５、６、７、８、９、１０、又はそれ以上の層を有する、請求項５～７のいずれか一項記載のコンピュータ実施方法。
【請求項9】
前記第２のシステムの前記第２のニューラルネット予測子は、タンパク質結合活性、核酸結合活性、タンパク質溶解性、及びタンパク質安定性の１つ又は複数を予測する、請求項１～８のいずれか一項記載のコンピュータ実施方法。
【請求項10】
前記第２のシステムの前記第２のニューラルネット予測子は、タンパク質蛍光を予測する、請求項１～９のいずれか一項記載のコンピュータ実施方法。
【請求項11】
前記第２のシステムの前記第２のニューラルネット予測子は、酵素活性を予測する、請求項１～１０のいずれか一項記載のコンピュータ実施方法。
【請求項12】
アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータ実施方法であって、（ａ）第１の機械学習ソフトウェアモジュールを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、
（ｂ）第２の機械学習ソフトウェアモジュールに前記第１のモデル又はその一部を転移することと、
（ｃ）前記第２の機械学習ソフトウェアモジュールにより、前記第１のモデルの少なくとも一部を含む第２のモデルを生成することと、
（ｄ）前記第２のモデルに基づいて、前記アミノ酸配列と前記タンパク質機能との間の以前は未知であった関連を識別することと、
を含む方法。
【請求項13】
アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータシステムであって、（ａ）プロセッサと、
（ｂ）命令を内部に記憶した非一時的コンピュータ可読媒体と、
を備え、前記命令は、実行されると、前記プロセッサに、
（ｉ）第１の機械学習ソフトウェアモジュールを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、
（ｉｉ）前記第１のモデル又はその一部を第２の機械学習ソフトウェアモジュールに転移することと、
（ｉｉｉ）前記第２の機械学習ソフトウェアモジュールにより、前記第１のモデルの少なくとも一部を含む第２のモデルを生成することと、
（ｉｖ）前記第２のモデルに基づいて、前記アミノ酸配列と前記タンパク質機能との間の以前は未知であった関連を識別することと、
を行わせるように構成される、システム。
【請求項14】
所望のタンパク質特性をモデリングするコンピュータ実施方法であって、第１のデータセットを用いて第１のシステムをトレーニングすることであって、前記第１のシステムは第１のトランスフォーマエンコーダ及び事前トレーニング済みのシステムの第１のデコーダを含み、前記第１のシステムの前記第１のデコーダは、前記所望のタンパク質特性とは異なる出力を生成するように構成される、
トレーニングすることと、
前記第１のシステムの前記第１のトランスフォーマエンコーダの少なくとも一部を第２のシステムに転移することであって、前記第２のシステムは第２のトランスフォーマエンコーダ及び第２のデコーダを含む、転移することと、
第２のデータセットを用いて前記第２のシステムをトレーニングすることであって、前記第２のデータセットは、前記第１のデータセットよりも少数のタンパク質クラスを表す１組のタンパク質を含み、前記タンパク質クラスは、（ａ）前記第１のデータセット内のタンパク質のクラス及び（ｂ）前記第１のデータセットから除外されるタンパク質のクラスの１つ又は複数を含む、トレーニングすることと、
前記第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、前記タンパク質検体の前記所望のタンパク質特性の予測を生成する、解析することと、
を含むコンピュータ実施方法。
【請求項15】
タンパク質検体の前記一次アミノ酸配列は、１つ又は複数のアスパラギナーゼ配列及び対応する活性ラベルである、請求項１４に記載のコンピュータ実施方法。【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本願は、２０１９年２月１１日付けで出願された米国仮出願第６２／８０４，０３４号明細書及び２０１９年２月１１日付けで出願された米国仮出願第６２／８０４，０３６号明細書の恩典を主張する。上記出願の教示は全体的に、参照により本明細書に組み入れられる。
本願は、２０１９年２月１１日付けで出願された米国仮出願第６２／８０４，０３４号明細書及び２０１９年２月１１日付けで出願された米国仮出願第６２／８０４，０３６号明細書の恩典を主張する。上記出願の教示は全体的に、参照により本明細書に組み入れられる。
【背景技術】
【0002】
タンパク質は、生物にとって必須であり、例えば、代謝反応の触媒、ＤＮＡ複製の促進、刺激への応答、細胞及び組織への構造の提供、並びに分子の輸送を含め、有機体内の多くの機能を実行し、又は多くの機能に関連するマクロ分子である。タンパク質は、アミノ酸の１つ又は複数の鎖、典型的には三次元構造で構成される。
【発明の概要】
【課題を解決するための手段】
【0003】
本明細書において記載されるのは、タンパク質又はポリペプチド情報を評価し、幾つかの態様では、特性又は機能の予測を生成するシステム、装置、ソフトウェア、及び方法である。タンパク質特性及びタンパク質機能は、表現型を記述する測定可能な値である。実際には、タンパク質機能は基本的な治療機能を指すことができ、タンパク質特性は他の所望の薬のような特性を指すことができる。本明細書において記載のシステム、装置、ソフトウェア及び方法の幾つかの態様では、アミノ酸配列とタンパク質機能との間の以前は未知であった関係が識別される。
【0004】
従来、アミノ酸配列に基づくタンパク質機能予測は、少なくとも部分的に、一見すると単純な一次アミノ酸配列から生じ得る構造複雑性に起因して、非常に困難である。従来の手法は、公知の機能（又は他の同様の手法）を有するタンパク質間の相同性に基づいて統計的比較を適用することであり、これは、アミノ酸配列に基づいてタンパク質機能を予測する正確で再現可能な方法を提供することができていない。
【0005】
実際に、一次配列（例えば、ＤＮＡ、ＲＮＡ、又はアミノ酸配列）に基づくタンパク質予測に関する従来の考えは、タンパク質機能の非常に多くがその最終的な三次（又は四次）構造によって決まるため、一次タンパク質配列は公知の機能に直接関連付けることができないというものである。
【0006】
タンパク質解析に関する従来の手法及び従来の考えとは対照的に、本明細書において記載の革新的なシステム、装置、ソフトウェア、及び方法は、革新的な機械学習技法及び／又は高度解析を使用してアミノ酸配列を解析し、アミノ酸配列とタンパク質機能との間の以前は未知であった関係を正確且つ再現可能に識別する。すなわち、本明細書において記載される革新は、タンパク質解析及びタンパク質構造に関する従来の考えに鑑みて予想外のものであり、予想外の結果を生成する。
【0007】
本明細書において記載されるのは、所望のタンパク質特性をモデリングする方法であり、本方法は、（ａ）第１のニューラルネットエンベッダー及び第１のニューラルネット予測子を含む第１の事前トレーニング済みシステムを提供することであって、事前トレーニング済みシステムの第１のニューラルネット予測子は、所望のタンパク質特性と異なる、提供することと、（ｂ）事前トレーニング済みシステムの第１のニューラルネットエンベッダーの少なくとも一部を第２のシステムに転移することであって、第２のシステムは第２のニューラルネットエンベッダー及び第２のニューラルネット予測子を含み、第２のシステムの第２のニューラルネット予測子は、所望のタンパク質特性を提供する、転移することと、（ｃ）第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、タンパク質検体の所望のタンパク質特性の予測を生成する、解析することとを含む。
【0008】
幾つかの態様では、一次アミノ酸配列が、所与のタンパク質検体の全体的及び部分的アミノ酸配列のいずれかであることができることを当業者は認識することができる。態様では、アミノ酸配列は連続配列又は非連続配列であることができる。態様では、アミノ酸配列は、タンパク質検体の一次配列に少なくとも９５％同一性を有する。
【0009】
幾つかの態様では、第１及び第２のシステムのニューラルネットエンベッダーのアーキテクチャは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔから独立して選択される畳み込みアーキテクチャである。幾つかの態様では、第１のシステムは、敵対的生成ネットワーク（ＧＡＮ）、リカレントニューラルネットワーク、又は変分自動エンコーダ（ＶＡＥ）を含む。幾つかの態様では、第１のシステムは、条件付き敵対的生成ネットワーク（ＧＡＮ）、ＤＣＧＡＮ、ＣＧＡＮ、ＳＧＡＮ若しくはプログレッシブＧＡＮ、ＳＡＧＡＮ、ＬＳＧＡＮ、ＷＧＡＮ、ＥＢＧＡＮ、ＢＥＧＡＮ、又はｉｎｆｏＧＡＮから選択される敵対的生成ネットワーク（ＧＡＮ）を含む。幾つかの態様では、第１のシステムは、Ｂｉ－ＬＳＴＭ／ＬＳＴＭ、Ｂｉ－ＧＲＵ／ＧＲＵ、又はトランスフォーマネットワークから選択されるリカレントニューラルネットワークを含む。幾つかの態様では、第１のシステムは変分自動エンコーダ（ＶＡＥ）を含む。幾つかの態様では、エンベッダーは、少なくとも５０、１００、１５０、２００、２５０、３００、３５０、４００、４５０、５００、６００、７００、８００、９００、１０００、又はそれ以上のアミノ酸配列タンパク質アミノ酸配列のセットでトレーニングされる。幾つかの態様では、アミノ酸配列は、ＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、又はＯｒｔｈｏＤＢの少なくとも１つを含む機能表現にわたるアノテーションを含む。幾つかの態様では、タンパク質アミノ酸配列は、少なくとも約１万、２万、３万、４万、５万、７．５万、１０万、１２万、１４万、１５万、１６万、又は１７万の可能なアノテーションを有する。幾つかの態様では、第２のモデルは、第１のモデルの転移されたエンベッダーを使用せずにトレーニングされたモデルと比較して改善された性能尺度を有する。幾つかの態様では、第１又は第２のシステムは、Ａｄａｍ、ＲＭＳプロップ、モメンタムを用いる確率的勾配降下（ＳＧＤ）、モメンタム及びＮｅｓｔｒｏｖ加速勾配を用いるＳＧＤ、モメンタムなしのＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍにより最適化される。第１及び第２のモデルは、以下の活性化関数のいずれかを使用して最適化することができる：ソフトマックス、ｅｌｕ、ＳｅＬＵ、ソフトプラス、ソフトサイン、ＲｅＬＵ、ｔａｎｈ、シグモイド、ハードシグモイド、指数、ＰＲｅＬＵ、及びＬｅａｓｋｙＲｅＬＵ、又は線形。幾つかの態様では、ニューラルネットエンベッダーは、少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれ以上の層を含み、予測子は、少なくとも１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、又はそれ以上の層を含む。幾つかの態様では、第１又は第２のシステムの少なくとも一方は、早期停止、Ｌ１－Ｌ２正則化、スキップ接続、又はそれらの組合せから選択される正則化を利用し、正則化は１、２、３、４、５、又はそれ以上の層で実行される。幾つかの態様では、正則化はバッチ正規化を使用して実行される。幾つかの態様では、正則化はグループ正規化を使用して実行される。幾つかの態様では、２のシステムの第２のモデルは、最後の層が除去される第１のシステムの第１のモデルを含む。幾つかの態様では、第１のモデルの２、３、４、５、又はそれ以上の層は、第２のモデルへの転移において除去される。幾つかの態様では、転移された層は、第２のモデルのトレーニング中、凍結される。幾つかの態様では、転移された層は、第２のモデルのトレーニング中、凍結されない。幾つかの態様では、第２のモデルは、第１のモデルの転移された層に追加される１、２、３、４、５、６、７、８、９、１０、又はそれ以上の層を有する。幾つかの態様では、第２のシステムのニューラルネット予測子は、タンパク質結合活性、核酸結合活性、タンパク質溶解性、及びタンパク質安定性の１つ又は複数を予測する。幾つかの態様では、第２のシステムのニューラルネット予測子は、タンパク質蛍光を予測する。幾つかの態様では、第２のシステムのニューラルネット予測子は、酵素活性を予測する。
【0010】
本明細書において記載されるのは、アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータ実施方法であり、本方法は、（ａ）第１の機械学習ソフトウェアモジュールを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、（ｂ）第２の機械学習ソフトウェアモジュールに第１のモデル又はその一部を転移することと、（ｃ）第２の機械学習ソフトウェアモジュールにより、第１のモデルの少なくとも一部を含む第２のモデルを生成することと、（ｄ）第２のモデルに基づいて、アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別することとを含む。幾つかの態様では、アミノ酸配列は一次タンパク質構造を含む。幾つかの態様では、アミノ酸配列は、タンパク質機能を生じさせるタンパク質構成を生じさせる。幾つかの態様では、タンパク質機能は蛍光を含む。幾つかの態様では、タンパク質機能は酵素活性を含む。幾つかの態様では、タンパク質機能はヌクレアーゼ活性を含む。ヌクレアーゼ活性例には、制限エンドヌクレアーゼ活性及びＣａｓ９エンドヌクレアーゼ活性等の配列誘導型エンドヌクレアーゼ活性がある。幾つかの態様では、タンパク質機能は、タンパク質安定性の程度を含む。幾つかの態様では、複数のタンパク質特性及び複数のアミノ酸配列は、ＵｎｉＰｒｏｔからのものである。幾つかの態様では、複数のタンパク質特性は、ラベルＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数を含む。幾つかの態様では、複数のアミノ酸配列は、複数のタンパク質の一次タンパク質構造、二次タンパク質構造、及び三次タンパク質構造を含む。幾つかの態様では、アミノ酸配列は、フォールドタンパク質において一次、二次、及び／又は三次構造を形成することができる配列を含む。
【0011】
幾つかの態様では、第１のモデルは、多次元テンソル、三次元原子位置の表現、対毎の相互作用の隣接行列、及び文字埋め込みの１つ又は複数を含む入力データでトレーニングされる。幾つかの態様では、本方法は、第２の機械学習モジュールに、一次アミノ酸配列の変異に関連するデータ、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、及び選択的スプライシング転写からの予測されたアイソフォームの少なくとも１つを入力することを含む。幾つかの態様では、第１のモデル及び第２のモデルは、教師あり学習を使用してトレーニングされる。幾つかの態様では、第１のモデルは教師あり学習を使用してトレーニングされ、第２のモデルは教師なし学習を使用してトレーニングされる。幾つかの態様では、第１のモデル及び第２のモデルは、畳み込みニューラルネットワーク、敵対的生成ネットワーク、リカレントニューラルネットワーク、又は変分自動エンコーダを含むニューラルネットワークを含む。幾つかの態様では、第１のモデル及び第２のモデルはそれぞれ、異なるニューラルネットワークアーキテクチャを含む。幾つかの態様では、畳み込みネットワークは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔの１つを含む。幾つかの態様では、第１のモデルはエンベッダーを含み、第２のモデルは予測子を含む。幾つかの態様では、第１のモデルアーキテクチャは複数の層を含み、第２のモデルアーキテクチャは、複数の層のうちの少なくとも２つの層を含む。幾つかの態様では、第１の機械学習ソフトウェアモジュールは、少なくとも１０，０００のタンパク質特性を含む第１のトレーニングデータセットで第１のモデルをトレーニングし、第２の機械学習ソフトウェアモジュールは、第２のトレーニングデータセットを使用して第２のモデルをトレーニングする。
【0012】
本明細書において記載されるのは、アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータシステムであり、本システムは、（ａ）プロセッサと、（ｂ）ソフトウェアがエンコードされた非一時的コンピュータ可読媒体とを備え、ソフトウェアは、プロセッサに、（ｉ）第１の機械学習ソフトウェアモデルを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、（ｉｉ）第１のモデル又はその一部を第２の機械学習ソフトウェアモジュールに転移することと、（ｉｉｉ）第２の機械学習ソフトウェアモジュールにより、第１のモデルの少なくとも一部を含む第２のモデルを生成することと、（ｉｖ）第２のモデルに基づいて、アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別することとを行わせるように構成される。幾つかの態様では、アミノ酸配列は一次タンパク質構造を含む。幾つかの態様では、アミノ酸配列は、タンパク質機能を生じさせるタンパク質構成を生じさせる。幾つかの態様では、タンパク質機能は蛍光を含む。幾つかの態様では、タンパク質機能は酵素活性を含む。幾つかの態様では、タンパク質機能はヌクレアーゼ活性を含む。幾つかの態様では、タンパク質機能は、タンパク質安定性の程度を含む。幾つかの態様では、複数のタンパク質特性及び複数のタンパク質マーカは、ＵｎｉＰｒｏｔからのものである。幾つかの態様では、複数のタンパク質特性は、ラベルＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数を含む。幾つかの態様では、複数のアミノ酸配列は、複数のタンパク質の一次タンパク質構造、二次タンパク質構造、及び三次タンパク質構造を含む。幾つかの態様では、第１のモデルは、多次元テンソル、三次元原子位置の表現、対毎の相互作用の隣接行列、及び文字埋め込みの１つ又は複数を含む入力データでトレーニングされる。幾つかの態様は、ソフトウェアは、プロセッサに、一次アミノ酸配列の変異に関連するデータ、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、及び選択的スプライシング転写からの予測されたアイソフォームの少なくとも１つを第２の機械学習モジュールに入力させるように構成される。幾つかの態様では、第１のモデル及び第２のモデルは、教師あり学習を使用してトレーニングされる。幾つかの態様では、第１のモデルは教師あり学習を使用してトレーニングされ、第２のモデルは教師なし学習を使用してトレーニングされる。幾つかの態様では、第１のモデル及び第２のモデルは、畳み込みニューラルネットワーク、敵対的生成ネットワーク、リカレントニューラルネットワーク、又は変分自動エンコーダを含むニューラルネットワークを含む。幾つかの態様では、第１のモデル及び第２のモデルはそれぞれ、異なるニューラルネットワークアーキテクチャを含む。幾つかの態様では、畳み込みネットワークは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔの１つを含む。幾つかの態様では、第１のモデルはエンベッダーを含み、第２のモデルは予測子を含む。幾つかの態様では、第１のモデルアーキテクチャは複数の層を含み、第２のモデルアーキテクチャは、複数の層のうちの少なくとも２つの層を含む。幾つかの態様では、第１の機械学習ソフトウェアモジュールは、少なくとも１０，０００のタンパク質特性を含む第１のトレーニングデータセットで第１のモデルをトレーニングし、第２の機械学習ソフトウェアモジュールは、第２のトレーニングデータセットを使用して第２のモデルをトレーニングする。
【0013】
幾つかの態様では、所望のタンパク質特性をモデリングする方法は、第１のデータセットを用いて第１のシステムをトレーニングすることを含む。第１のシステムは第１のニューラルネットトランスフォーマエンコーダ及び第１のデコーダを含む。事前トレーニング済みのシステムの第１のデコーダは、所望のタンパク質特性とは異なる出力を生成するように構成される。本方法は、事前トレーニング済みシステムの第１のトランスフォーマエンコーダの少なくとも一部を第２のシステムに転移することを更に含み、第２のシステムは第２のトランスフォーマエンコーダ及び第２のデコーダを含む。本方法は、第２のデータセットを用いて第２のシステムをトレーニングすることを更に含む。第２のデータセットは、第１のセットよりも少数のタンパク質クラスを表す１組のタンパク質を含み、タンパク質クラスは、（ａ）第１のデータセット内のタンパク質のクラス及び（ｂ）第１のデータセットから除外されるタンパク質のクラスの１つ又は複数を含む。本方法は、第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、タンパク質検体の所望のタンパク質特性の予測を生成する、解析することを更に含む。幾つかの態様では、第２のデータセットは、第１のデータセットとの幾つかの重複データ又は第１のデータセットとの排他的重複データのいずれかを含むことができる。代替的には、第２のデータセットは、幾つかの態様では、第１のデータセットとの重複データを有さない。
【0014】
幾つかの態様では、タンパク質検体の一次アミノ酸配列は、１つ又は複数のアスパラギナーゼ配列及び対応する活性ラベルである。幾つかの態様では、第１のデータセットは、複数のクラスのタンパク質を含む１組のタンパク質を含む。タンパク質のクラス例には、構造タンパク質、収縮タンパク質、貯蔵タンパク質、防御タンパク質（例えば抗体）、輸送タンパク質、シグナルタンパク質、及び酵素タンパク質がある。一般に、タンパク質のクラスは、１つ又は複数の機能的及び／又は構造的類似性を共有するアミノ酸配列を有するタンパク質を含み、以下に示すタンパク質のクラスを含む。クラスが、溶解性、構造特徴、二次又は三次モチーフ、熱安定性、及び当技術分野において公知の他の特徴等の生物物理学的特性に基づくグルーピングを含むことができることを当業者は更に理解することができる。第２のデータセットは、酵素等のタンパク質のクラスの１つであることができる。幾つかの態様では、システムは上記方法を実行するように構成することができる。
【0015】
特許又は出願ファイルは、カラーで実行される少なくとも１つの図面を含む。カラー図面を有するこの特許又は特許出願公開のコピーは、要求され、必要料金が支払われた上で特許庁により提供される。
【0016】
上記は、添付図面に示される態様例の以下のより具体的な説明から明らかになり、添付図面中、様々な図全体を通して同様の参照文字は同じ部分を指す。図面は必ずしも一定の縮尺ではなく、代わりに態様を例示することに重点が置かれている。
【0017】
本発明の新規の特徴は、特に添付の特許請求の範囲に記載されている。本発明の特徴及び利点のよりよい理解は、本発明の原理が利用される例示的な態様に記載される以下の詳細な説明及び添付図面を参照することにより得られよう。
【図面の簡単な説明】
【0018】
【図1】基本深層学習モデルの入力ブロックの概要を示す。
【図2】深層学習モデルのアイデンティティブロックの一例を示す。
【図3】深層学習モデルの畳み込みブロックの一例を示す。
【図4】深層学習モデルの出力層の一例を示す。
【図5】開始点として実施例１に記載される第１のモデルを使用するとともに、実施例２に記載される第２のモデルを使用するミニタンパク質の期待される安定性ｖｓ予測される安定性を示す。
【図6】モデルトレーニングで使用されるラベル付きタンパク質配列数の関数としての様々な機械学習モデルでの予測データｖｓ実測データのピアソン相関を示し、事前トレーニング済みは、第１のモデルが、蛍光の特定のタンパク質機能でトレーニングされる第２のモデルの開始点として使用される方法を表す。
【図7】モデルトレーニングで使用されるラベル付きタンパク質配列数の関数としての様々な機械学習モデルの陽性的中率を示す。事前トレーニング済み（フルモデル）は、第１のモデルが、蛍光の特定のタンパク質機能でトレーニングされる第２のモデルの開始点として使用される方法を表す。
【図8】本開示の方法又は機能を実行するように構成されたシステムの一態様を示す。
【図9】第１のモデルがアノテーション付きＵｎｉＰｒｏｔ配列でトレーニングされ、転移学習を通して第２のモデルを生成するのに使用されるプロセスの一態様を示す。
【図10A】本開示の一態様例を示すブロック図である。
【図10B】本開示の方法の一態様例を示すブロック図である。
【図11】抗体位置による分割の一態様例を示す。
【図12】ランダム分割及び位置による分割を使用した線形、ナイーブ、及び事前トレーニング済みトランスフォーマの結果例を示す。
【図13A】アスパラギナーゼ配列の再構築誤差を示すグラフである。
【図13B】アスパラギナーゼ配列の再構築誤差を示すグラフである。
【発明を実施するための形態】
【0019】
態様例の説明は以下である。
【0020】
本明細書において記載されるのは、タンパク質又はポリペプチド情報を評価し、幾つかの態様では、特性又は機能の予測を生成するシステム、装置、ソフトウェア、及び方法である。機械学習法は、一次アミノ酸配列等の入力データを受信し、少なくとも部分的にアミノ酸配列によって定義される、結果としてのポリペプチド又はタンパク質の１つ又は複数の機能又は特徴を予測するモデルを生成できるようにする。入力データは、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、又はポリペプチドの構造に関連する他の関連情報等の追加情報を含むことができる。幾つかの場合では、ラベル付きトレーニングデータが不十分である場合、転移学習が使用されて、モデルの予測能力を改善する。
【0021】
ポリペプチドの特性又は機能の予測
本明細書において記載されるのは、アミノ酸配列（又はアミノ酸配列をコードする核酸配列）等のタンパク質又はポリペプチド情報を含む入力データを評価して、入力データに基づいて１つ又は複数の特定の機能又は特性を予測するデバイス、ソフトウェア、システム、及び方法である。アミノ酸配列（例えばタンパク質）の特定の機能又は特性の説明は、多くの分子生物学用途にとって有益である。したがって、本明細書において記載のデバイス、ソフトウェア、システム、及び方法は、人工知能又は機械学習技法の能力をポリペプチド又はタンパク質解析に利用して、構造及び／又は機能についての予測を行う。機械学習技法は、標準の非ＭＬ手法と比較して、予測能力が増大したモデルを生成できるようにする。幾つかの場合、所望の出力に向けてモデルをトレーニングするのに利用可能なデータが不十分であるとき、転移学習が利用されて、予測精度を改善する。代替的には、幾つかの場合、転移学習を組み込むモデルと同等の統計学的パラメータを達成するようにモデルをトレーニングするのに十分なデータがあるとき、転移学習は利用されない。
本明細書において記載されるのは、アミノ酸配列（又はアミノ酸配列をコードする核酸配列）等のタンパク質又はポリペプチド情報を含む入力データを評価して、入力データに基づいて１つ又は複数の特定の機能又は特性を予測するデバイス、ソフトウェア、システム、及び方法である。アミノ酸配列（例えばタンパク質）の特定の機能又は特性の説明は、多くの分子生物学用途にとって有益である。したがって、本明細書において記載のデバイス、ソフトウェア、システム、及び方法は、人工知能又は機械学習技法の能力をポリペプチド又はタンパク質解析に利用して、構造及び／又は機能についての予測を行う。機械学習技法は、標準の非ＭＬ手法と比較して、予測能力が増大したモデルを生成できるようにする。幾つかの場合、所望の出力に向けてモデルをトレーニングするのに利用可能なデータが不十分であるとき、転移学習が利用されて、予測精度を改善する。代替的には、幾つかの場合、転移学習を組み込むモデルと同等の統計学的パラメータを達成するようにモデルをトレーニングするのに十分なデータがあるとき、転移学習は利用されない。
【0022】
幾つかの態様では、入力データは、タンパク質又はポリペプチドの一次アミノ酸配列を含む。幾つかの場合、モデルは、一次アミノ酸配列を含むラベル付きデータセットを使用してトレーニングされる。例えば、データセットは、蛍光強度に基づいてラベル付けられた蛍光タンパク質のアミノ酸配列を含むことができる。したがって、モデルは、機械学習法を使用してこのデータセットでトレーニングされて、アミノ酸配列入力の蛍光強度の予測を生成することができる。幾つかの態様では、入力データは、一次アミノ酸配列に加えて、例えば、表面電荷、疎水性表面エリア、実測又は予測の溶解性、又は他の関連情報等の情報を含む。幾つかの態様では、入力データは、複数のタイプ又はカテゴリのデータを含む多次元入力データを含む。
【0023】
幾つかの態様では、本明細書において記載のデバイス、ソフトウェア、システム、及び方法は、データ拡張を利用して、予測モデルの性能を強化する。データ拡張は、トレーニングデータセットの、類似するが異なる例又は変形を使用したトレーニングを伴う。一例として、画像分類では、画像データは、画像の向きをわずかに変更すること（例えば、わずかな回転）により拡張することができる。幾つかの態様では、データ入力（例えば、一次アミノ酸配列）は、一次アミノ酸配列へのランダム変異及び／又は生物学的情報に基づく変異（ｂｉｏｌｏｇｉｃａｌｌｙ ｉｎｆｏｒｍｅｄ ｍｕｔａｔｉｏｎ）、多重配列アラインメント、アミノ酸相互作用のコンタクトマップ、及び／又は三次タンパク質構造により拡張される。追加の拡張戦略には、選択的スプライシング転写からの公知及び予測のアイソフォームの使用がある。例えば、入力データは、同じ機能又は特性に対応する選択的スプライシング転写のアイソフォームを含むことにより拡張することができる。したがって、アイソフォーム又は変異についてのデータは、予測される機能又は特性にあまり影響しない一次配列の部分又は特徴を識別できるようにすることができる。これにより、モデルは、例えば、安定性等の予測されるタンパク質特性を強化し、低減し、又は影響しないアミノ酸変異等の情報を考慮に入れることができる。例えば、データ入力は、機能に影響しないことが公知である位置におけるランダム置換アミノ酸を有する配列を含むことができる。これにより、このデータでトレーニングされたモデルは、それらの特定の変異に関して、予測される機能が不変であることを学習することができる。
【0024】
幾つかの態様では、データ拡張は、Ｚｈａｎｇ ｅｔ ａｌ．，Ｍｉｘｕｐ：Ｂｅｙｏｎｄ Ｅｍｐｉｒｉｃａｌ Ｒｉｓｋ Ｍｉｎｉｍｉｚａｔｉｏｎ，Ａｒｘｉｖ ２０１８に記載のように、例の対及び対応するラベルの凸結合でネットワークをトレーニングすることを伴う「ミックスアップ」学習原理を含む。この手法は、トレーニングサンプル間の単純な線形挙動が好まれるようにネットワークを正則化する。ミックスアップは、データ非依存データ拡張プロセスを提供する。幾つかの態様では、ミックスアップデータ拡張は、以下の公式：
に従って仮想トレーニング例又はデータを生成することを含む。
【数1】
【0025】
パラメータｘｉ及びｘｊは生の入力ベクトルであり、ｙｉ及びｙｊはワンホットエンコーディングである。（ｘｉ，ｙｉ）及び（ｘｊ，ｙｊ）は、トレーニングデータセットからランダムに選択された２つの例又はデータ入力である。
【0026】
本明細書において記載のデバイス、ソフトウェア、システム、及び方法は、多種多様な予測の生成に使用することができる。予測は、タンパク質の機能及び／又は特性（例えば、酵素活性、安定性等）を含むことができる。タンパク質安定性は、例えば、熱安定性、酸化安定性、又は血清安定性等の種々の尺度に従って予測することができる。Ｒｏｃｋｌｉｎにより定義されるタンパク質安定性は１つの尺度と見なすことができる（例えば、プロテアーゼ開裂の受けやすさ）が、別の尺度は折り畳み（三次）構造の自由エネルギーであることができる。幾つかの態様では、予測は、例えば、二次構造、三次タンパク質構造、四次構造、又はそれらの任意の組合せ等の１つ又は複数の構造特徴を含む。二次構造は、アミノ酸又はポリペプチド内のアミノ酸の配列が、アルファヘリックス構造、ベータシート構造、それとも無秩序若しくはループ構造を有するかの指示を含むことができる。三次構造は、三次元空間におけるアミノ酸又はポリペプチドの部分の場所又は位置を含むことができる。四次構造は、１つのタンパク質を形成する複数のポリペプチドの場所又は位置を含むことができる。幾つかの態様では、予測は１つ又は複数の機能を含む。ポリペプチド又はタンパク質の機能は、代謝反応、ＤＮＡ複製、構造の提供、輸送、抗原認識、細胞内又は細胞外シグナリング、及び他の機能カテゴリを含む種々のカテゴリに属することができる。幾つかの態様では、予測は、例えば、触媒効率（例えば、特異性定数ｋｃａｔ／ＫＭ）又は触媒特異性等の酵素機能を含む。
【0027】
幾つかの態様では、予測は、タンパク質又はポリペプチドの酵素機能を含む。幾つかの態様では、タンパク質機能は酵素機能である。酵素は、種々の酵素反応を実行することができ、転移酵素（例えば、官能基をある分子から別の分子に移す）、酸素還元酵素（例えば、酸化還元反応を触媒する）、加水分解酵素（例えば、加水分解を介して化学結合を開裂させる）、脱離酵素（例えば、二重結合を生成する）、リガーゼ（例えば、共有結合を介して２つの分子を連結する）、及び異性化酵素（例えば、分子内のある異性体から別の異性体への構造変化を触媒する）として分類することができる。幾つかの態様では、加水分解酵素は、セリンプロテアーゼ、トレオニンプロテアーゼ、システインプロテアーゼ、メタロプロテアーゼ、アスパラギンペプチドリアーゼ、グルタミン酸プロテアーゼ、及びアスパラギン酸プロテアーゼ等のプロテアーゼを含む。セリンプロテアーゼは、血液凝固、創傷治癒、消化、免疫応答、並びに腫瘍の湿潤及び転移等の種々の生理学的役割を有する。セリンプロテアーゼの例には、キモトリプシン、トリプシン、エラスターゼ、第１０因子、第１１因子、トロンビン、プラスミン、Ｃ１ｒ、Ｃ１ｓ、及びＣ３転換酵素がある。トレオニンプロテアーゼは、活性触媒部位内にトレオニンを有するプロテアーゼのファミリを含む。トレオニンプロテアーゼの例には、プロテアソームのサブユニットがある。プロテアソームは、アルファ及びベータサブユニットで構成される樽形タンパク質複合体である。触媒活性ベータサブユニットは、触媒作用の各活性部位に保存Ｎ末端トレオニンを含むことができる。システインプロテアーゼは、システインスルフヒドリル基を利用する触媒メカニズムを有する。システインプロテアーゼの例には、パパイン、カテプシン、カスパーゼ、及びカルパインがある。アスパラギン酸プロテアーゼは、活性部位における酸／塩基触媒作用に参加する２つのアスパラギン酸残基を有する。アスパラギン酸プロテアーゼの例には、消化酵素ペプシン、幾つかのリソソームプロテアーゼ、及びレニンがある。メタロプロテアーゼは、消化酵素カルボキシペプチダーゼ、細胞外基質リモデリング及び細胞シグナリングにおいて役割を果たすマトリックスメタロプロテアーゼ（ＭＭＰ）、ＡＤＡＭ（ジスインテグリン及びメタロプロテアーゼドメイン）、及びリソソームプロテアーゼを含む。酵素の他の非限定的な例には、プロテアーゼ、ヌクレアーゼ、ＤＮＡリガーゼ、リガーゼ、ポリメラーゼ、セルラーゼ、リギナーゼ（ｌｉｇｉｎａｓｅ）、アミラーゼ、リパーゼ、ペクチナーゼ、キシラナーゼ、リグニンペルオキシダーゼ、デカルボキシラーゼ、マンナナーゼ、デヒドロゲナーゼ、及び他のポリペプチド系酵素がある。
【0028】
幾つかの態様では、酵素応答は、標的分子の翻訳後修飾を含む。翻訳後修飾の例には、アセチル化、アミド化、ホルミル化、グリコシル化、ヒドロキシル化、メチル化、ミリストイル化、リン酸化、脱アミド化、プレニル化（例えば、ファルネシル化、ゲラニル化等）、ユビキチン化、リボシル化、及び硫酸化がある。リン酸化は、チロシン、セリン、トレオニン、又はヒスチジン等のアミノ酸で生じることができる。
【0029】
幾つかの態様では、タンパク質機能は、熱を加える必要のない光放射である発光である。幾つかの態様では、タンパク質機能は、生物発光等の化学発光である。例えば、ルシフェリン等の化学発光酵素は、基質（ルシフェリン）に作用して、基質の酸化を触媒し、それにより、光を放つことができる。幾つかの態様では、タンパク質機能は、蛍光タンパク質又はペプチドが特定の波長の光を吸収し、異なる波長の光を放出する蛍光である。蛍光タンパク質の例には、緑色蛍光タンパク質（ＧＦＰ）又はＥＢＦＰ、ＥＢＦＰ２、Ａｚｕｒｉｔｅ、ｍＫａｌａｍａ１等のＧＦＰの誘導体ＥＣＦＰ、Ｃｅｒｕｌｅａｎ、ＣｙＰｅｔ、ＹＦＰ、Ｃｉｔｒｉｎｅ、Ｖｅｎｕｓ、又はＹＰｅｔがある。ＧＦＰ等の幾つかのタンパク質は天然蛍光性である。蛍光タンパク質の例には、ＥＧＦＰ、青色蛍光タンパク質（ＥＢＦＰ、ＥＢＦＰ２、Ａｚｕｒｉｔｅ、ｍＫａｌａｍａｌ）、シアン蛍光タンパク質（ＥＣＦＰ、Ｃｅｒｕｌｅａｎ、ＣｙＰｅｔ）、黄色蛍光タンパク質（ＹＦＰ、Ｃｉｔｒｉｎｅ、Ｖｅｎｕｓ、ＹＰｅｔ）、酸化還元感受性ＧＦＰ（ｒｏＧＦＰ）、及び単量体ＧＦＰがある。
【0030】
幾つかの態様では、タンパク質機能は、酵素機能、結合（例えば、ＤＮＡ／ＲＮＡ結合、タンパク質結合等）、免疫機能（例えば抗体）、収縮（例えば、アクチン、ミオシン）、及び他の機能を含む。幾つかの態様では、出力は、例えば、酵素機能又は結合の動力学等のタンパク質機能に関連する値を含む。そのような出力は、親和性、特異性、及び反応速度についての尺度を含むことができる。
【0031】
幾つかの態様では、本明細書において記載の機械学習法は、教師あり機械学習を含む。教師あり機械学習は分類及び回帰を含む。幾つかの態様では、機械学習法は教師なし機械学習を含む。教師なし機械学習は、クラスタリング、オートエンコード、変分オートエンコード、タンパク質言語モデル（例えば、モデルが、前のアミノ酸へのアクセスが与えられる場合、配列中の次のアミノ酸を予測する）、及び相関ルールマイニングを含む。
【0032】
幾つかの態様では、予測は、バイナリ、マルチラベル、又はマルチクラス分類等の分類を含む。幾つかの態様では、予測はタンパク質特性のものである。分類は一般に、入力パラメータに基づいて離散クラス又はラベルの予測に使用される。
【0033】
バイナリ分類は、入力に基づいてポリペプチド又はタンパク質が属するのが２つのグループのいずれであるかを予測する。幾つかの態様では、バイナリ分類は、タンパク質又はポリペプチド配列の特性又は機能についての陽性予測又は陰性予測を含む。幾つかの態様では、バイナリ分類は、例えば、ある親和性レベルを超えたＤＮＡ配列への結合、動力学パラメータのある域値を超えた反応の触媒、又は特定の溶融温度を超えた熱安定性を示すこと等の域値処理を受ける任意の定量的読み出し値を含む。バイナリ分類の例には、ポリペプチド配列が自己蛍光を示し、セリンプロテアーゼであり、又はＧＰＩアンカー膜貫通タンパク質であることの陽性／陰性予測がある。
【0034】
幾つかの態様では、分類（予測の）はマルチクラス分類又はマルチラベル分類である。例えば、マルチクラス分類は、入力ポリペプチドを２つ以上の相互に排他的なグループ又はカテゴリの１つにカテゴリ分けすることができ、一方、マルチラベル分類は、入力を複数のラベル又はグループに分類する。例えば、マルチラベル分類は、ポリペプチドを細胞内タンパク質（細胞外と対比して）及びプロテアーゼの両方としてラベル付け得る。比較により、マルチクラス分類は、アミノ酸をアルファヘリックス、ベータシート、又は無秩序／ループペプチド配列の１つに属するものとして分類することを含み得る。したがって、タンパク質特性は、自己蛍光を示すこと、セリンプロテアーゼであること、ＧＰＩアンカー膜貫通タンパク質であること、細胞内タンパク質（細胞外と対比して）及び／又はプロテアーゼであること、及びアルファヘリックス、ベータシート、又は無秩序／ループペプチド配列に属することを含むことができる。
【0035】
幾つかの態様では、予測は、例えば、自己蛍光の強度又はタンパク質の安定性等の連続した変数又は値を提供する回帰を含む。幾つかの態様では、予測は、本明細書において記載の特性又は機能のいずれかの連続した変数又は値を含む。一例として、連続した変数又は値は、特定の基質細胞外マトリックス成分のマトリックスメタロプロテアーゼの標的特異性を示すことができる。追加の例には、標的分子結合親和性（例えばＤＮＡ結合）、酵素の反応速度、又は熱安定性等の種々の定量的読み出し値がある。
【0036】
機械学習法
本明細書において記載されるのは、入力データを解析して、１つ又は複数のタンパク質又はポリペプチドの特性又は機能に関連する予測を生成する１つ又は複数の方法を適用するデバイス、ソフトウェア、システム、及び方法である。幾つかの態様では、方法は、統計学的モデリングを利用して、タンパク質又はポリペプチドの機能又は特性についての予測又は推定を生成する。幾つかの態様では、機械学習法は、予測モデルのトレーニング及び／又は予測の作成に使用される。幾つかの態様では、方法は、１つ又は複数の特性又は機能の尤度又は確率を予測する。幾つかの態様では、方法は、ニューラルネットワーク、決定木、サポートベクターマシン、又は他の適用可能なモデル等の予測モデルを利用する。トレーニングデータを使用して、方法は、関連する特徴に従って分類又は予測を生成する分類器を形成する。分類に選択される特徴は、多種多様な方法を使用して分類することができる。幾つかの態様では、トレーニング済みの方法は、機械学習法を含む。
本明細書において記載されるのは、入力データを解析して、１つ又は複数のタンパク質又はポリペプチドの特性又は機能に関連する予測を生成する１つ又は複数の方法を適用するデバイス、ソフトウェア、システム、及び方法である。幾つかの態様では、方法は、統計学的モデリングを利用して、タンパク質又はポリペプチドの機能又は特性についての予測又は推定を生成する。幾つかの態様では、機械学習法は、予測モデルのトレーニング及び／又は予測の作成に使用される。幾つかの態様では、方法は、１つ又は複数の特性又は機能の尤度又は確率を予測する。幾つかの態様では、方法は、ニューラルネットワーク、決定木、サポートベクターマシン、又は他の適用可能なモデル等の予測モデルを利用する。トレーニングデータを使用して、方法は、関連する特徴に従って分類又は予測を生成する分類器を形成する。分類に選択される特徴は、多種多様な方法を使用して分類することができる。幾つかの態様では、トレーニング済みの方法は、機械学習法を含む。
【0037】
幾つかの態様では、機械学習法は、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類、ランダムフォレスト、又は人工ニューラルネットワークを使用する。機械学習技法は、バギング手順、ブースティング手順、ランダムフォレスト法、及びそれらの組合せを含む。幾つかの態様では、予測モデルは深層ニューラルネットワークである。幾つかの態様では、予測モデルは深層畳み込みニューラルネットワークである。
【0038】
幾つかの態様では、機械学習法は教師あり学習手法を使用する。教師あり学習では、方法は、ラベル付きトレーニングデータから関数を生成する。各トレーニング例は、入力オブジェクト及び所望の出力値を含む対である。幾つかの態様では、最適シナリオでは、方法は、見知らぬインスタンスのクラスラベルを正しく特定することができる。幾つかの態様では、教師あり学習法では、ユーザが１つ又は複数のコントロールパラメータを決定する必要がある。これらのパラメータは任意選択的に、トレーニングセットのバリデーションセットと呼ばれるサブセットでの性能を最適化することにより調整される。パラメータ調整及び学習後、結果として生成された関数の性能が任意選択的に、トレーニングセットとは別個のテストセットで測定される。回帰法が一般に教師あり学習で使用される。したがって、教師あり学習では、一次アミノ酸配列が公知の場合、タンパク質機能の計算において等の期待される出力が事前に公知のトレーニングデータを用いてモデル又は分類器を生成又はトレーニングすることができる。
【0039】
幾つかの態様では、機械学習法は教師なし学習手法を使用する。教師なし学習では、方法は、ラベルなしデータ（例えば、分類又はカテゴリ分けが観測に含まれない）から隠された構造を記述する関数を生成する。学習者に与えられる例はラベルなしであるため、関連方法により出力される構造の精度の評価はない。教師なし学習への手法は、クラスタリング、異常検知、並びにオートエンコーダ及び変分オートエンコーダを含むニューラルネットワークに基づく手法を含む。
【0040】
幾つかの態様では、機械学習法はマルチクラス学習を利用する。マルチタスク学習（ＭＴＬ）は、複数のタスクにわたる共通性及び差分を利用するように２つ以上の学習タスクが同時に解かれる機械学習の分野である。この手法の利点は、モデルを別個にトレーニングするのと比較して、特定の複数の予測モデルでの学習効率及び予測精度の改善を含むことができる。方法に関連タスクで上手く実行するように求めることにより、過剰適合を回避するための正則化を提供することができる。この手法は、全ての複雑性に等しいペナルティを適用する正則化よりも良好であることができる。マルチクラス学習は特に、相当な共通性を共有し、及び／又はアンダーサンプリングされるタスク又は予測に適用される場合、有用であることができる。幾つかの態様では、マルチクラス学習は、相当な共通性を共有しないタスク（例えば、関連しないタスク又は分類）に対して有効である。幾つかの態様では、マルチクラス学習は、転移学習と組み合わせて使用される。
【0041】
幾つかの態様では、機械学習法は、トレーニングデータセット及びそのバッチの他の入力に基づいてバッチで学習する。他の態様では、機械学習法は追加の学習を実行し、追加の学習では、重み及び誤差の計算が、例えば、新しい又は更新されたトレーニングデータを使用して更新される。幾つかの態様では、機械学習法は、新しい又は更新されたデータに基づいて予測モデルを更新する。例えば、機械学習法を新しい又は更新されたデータに適用して再トレーニング又は最適化し、新しい予測モデルを生成することができる。幾つかの態様では、機械学習法又はモデルは、追加のデータが利用可能になる際、定期的に再トレーニングされる。
【0042】
幾つかの態様では、本開示の分類器又はトレーニング済みの方法は、１つの特徴空間を含む。幾つかの場合、分類器は２つ以上の特徴空間を含む。幾つかの態様では、２つ以上の特徴空間は互いと別個である。幾つかの態様では、分類又は予測の精度は、１つの特徴空間を使用する代わりに、２つ以上の特徴空間を分類器で結合することにより改善する。属性は一般に、特徴空間の入力特徴を構成し、事例に対応する所与の組の入力特徴について各事例の分類を示すようにラベル付けられる。
【0043】
分類精度は、１つの特徴空間を使用する代わりに、２つ以上の特徴空間を予測モデル又は分類器で結合することにより改善し得る。幾つかの態様では、予測モデルは少なくとも２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、１０、又はそれ以上の特徴空間を含む。ポリペプチド配列情報及び任意選択的に追加のデータは一般に、特徴空間の入力特徴を構成し、事例に対応する所与の組の入力特徴について各事例の分類を示すようにラベル付けられる。多くの場合、分類は事例の結果である。トレーニングデータは機械学習法に供給され、機械学習法は入力特徴及び関連する結果を処理して、トレーニング済みモデル又は予測子を生成する。幾つかの場合、機械学習法に、分類を含むトレーニングデータが提供され、それにより、その結果を実際の結果と比較して、モデルを変更し改善することによって方法が「学習」できるようにする。これは多くの場合、教師あり学習と呼ばれる。代替的には、幾つかの場合、機械学習法にラベルなし又は分類なしデータが提供され、方法に事例（例えば、クラスタリング）の中に隠された構造を識別させる。これは教師なし学習と呼ばれる。
【0044】
幾つかの態様では、トレーニングデータの１つ又は複数のセットが、機械学習法を使用してモデルをトレーニングするのに使用される。幾つかの態様では、本明細書において記載の方法は、トレーニングデータセットを使用してモデルをトレーニングすることを含む。幾つかの態様では、モデルは、複数のアミノ酸配列を含むトレーニングデータセットを使用してトレーニングされる。幾つかの態様では、トレーニングデータセットは、少なくとも１００万、２００万、３００万、４００万、５００万、６００万、７００万、８００万、９００万、１千万、１５００万、２千万、２５００万、３千万、３５００万、４千万、４５００万、５千万、５５００万、５６００万、５７００万、５８００万のタンパク質アミノ酸配列を含む。幾つかの態様では、トレーニングデータセットは、少なくとも１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、２００、２５０、３００、３５０、４００、４５０、５００、６００、７００、８００、９００、１０００、又は１０００超のアミノ酸配列を含む。幾つかの態様では、トレーニングデータセットは、少なくとも５０、１００、２００、３００、４００、５００、６００、７００、８００、９００、１０００、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００、１００００、又は１０００超のアノテーションを含む。本開示の態様例は、深層ニューラルネットワークを使用する機械学習法を含むが、種々のタイプの方法が意図される。幾つかの態様では、方法は、ニューラルネットワーク、決定木、サポートベクターマシン、又は他の適用可能なモデル等の予測モデルを利用する。幾つかの態様では、機械学習モデルは、例えば、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類、ランダムフォレスト、人工ニューラルネットワーク、決定木、Ｋ平均、学習ベクトル量子化（ＬＶＱ）、自己組織化成マップ（ＳＯＭ）、グラフィックモデル、回帰法（例えば、線形、ロジスティック、多変量、相関ルール学習、深層学習、次元削減及びアンサンブル選択法等の教師あり、半教師あり、及び教師なし学習を含む群から選択される。幾つかの態様では、機械学習法は、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類、ランダムフォレスト、及び人工ニューラルネットワークを含む群から選択される。機械学習技法は、バギング手順、ブースティング手順、ランダムフォレスト法、及びそれらの組合せを含む。データを解析する例示的な方法は、統計的方法及び機械学習技法に基づく方法等の多数の変数を直接扱う方法を含むが、これに限定されない。統計的方法は、ペナルティ付きロジスティック回帰、マイクロアレイ予測解析（ＰＡＭ）、収縮重心法に基づく方法、サポートベクターマシン解析、及び正則化線形判別分析を含む。
【0045】
転移学習
本明細書において記載されるのは、一次アミノ酸配列等の情報に基づいて１つ又は複数のタンパク質又はポリペプチドの特性又は機能を予測するデバイス、ソフトウェア、システム、及び方法である。幾つかの態様では、転移学習を使用して、予測精度を強化する。転移学習は、あるタスクについて開発されたモデルを、第２のタスクについてのモデルの開始点として再使用することができる機械学習技法である。転移学習は、データが豊富な関連タスクでモデルを学習させることにより、データが限られているタスクでの予測精度を引き上げるのに使用することができる。したがって、本明細書において記載されるのは、配列特定されたタンパク質の大きなデータセットからタンパク質の一般的な機能特徴を学習し、それを、任意の特定のタンパク質機能、特性、又は特徴を予測するモデルの開始点として使用する方法である。本開示は、第１の予測モデルにより、配列特定された全てのタンパク質にエンコードされた情報を、第２の予測モデルを使用して関心対象の特定のタンパク質機能の設計に転移させることができるという驚くべき発見を認識している。幾つかの態様では、予測モデルは、例えば、深層畳み込みニューラルネットワーク等のニューラルネットワークである。
本明細書において記載されるのは、一次アミノ酸配列等の情報に基づいて１つ又は複数のタンパク質又はポリペプチドの特性又は機能を予測するデバイス、ソフトウェア、システム、及び方法である。幾つかの態様では、転移学習を使用して、予測精度を強化する。転移学習は、あるタスクについて開発されたモデルを、第２のタスクについてのモデルの開始点として再使用することができる機械学習技法である。転移学習は、データが豊富な関連タスクでモデルを学習させることにより、データが限られているタスクでの予測精度を引き上げるのに使用することができる。したがって、本明細書において記載されるのは、配列特定されたタンパク質の大きなデータセットからタンパク質の一般的な機能特徴を学習し、それを、任意の特定のタンパク質機能、特性、又は特徴を予測するモデルの開始点として使用する方法である。本開示は、第１の予測モデルにより、配列特定された全てのタンパク質にエンコードされた情報を、第２の予測モデルを使用して関心対象の特定のタンパク質機能の設計に転移させることができるという驚くべき発見を認識している。幾つかの態様では、予測モデルは、例えば、深層畳み込みニューラルネットワーク等のニューラルネットワークである。
【0046】
本開示は、１つ又は複数の態様を介して実施されて、以下の利点の１つ又は複数を達成することができる。幾つかの態様では、転移学習を用いてトレーニングされた予測モジュール又は予測子は、小さなメモリフットプリント、低待ち時間、又は低計算コストを示す等のリソース消費の視点から改善を示す。この利点は、膨大な計算力を必要とすることがある複雑な解析では軽視できない。幾つかの場合、転移学習の使用は、妥当な時間期間（例えば、数週間の代わりに数日）内で十分に正確な予測子をトレーニングするために必須である。幾つかの態様では、転移学習を使用してトレーニングされた予測子は、転移学習を使用してトレーニングされない予測と比較して高い精度を提供する。幾つかの態様では、ポリペプチドの構成、特製、及び／又は機能を予測するシステムでの深層ニューラルネットワーク及び／又は転移学習の使用は、転移学習を使用しない他の方法又はモデルと比較して計算効率を上げる。
【0047】
本明細書において記載されるのは、所望のタンパク質の機能又は特性をモデリングする方法である。幾つかの態様では、ニューラルネットエンベッダーを含む第１のシステムが提供される。幾つかの態様では、ニューラルネットエンベッダーは、１つ又は複数の埋め込み層を含む。幾つかの態様では、ニューラルネットワークへの入力は、行列としてアミノ酸配列をエンコードする「ワンホット」ベクターとして表されるタンパク質配列を含む。例えば、行列内で、各行は、その残基に存在するアミノ酸に対応する厳密に１つの非ゼロエントリを含むように構成することができる。幾つかの態様では、第１のシステムはニューラルネット予測子を含む。幾つかの態様では、予測子は、入力に基づいて予測又は出力を生成する１つ又は複数の出力層を含む。幾つかの態様では、第１のシステムは、第１のトレーニングデータセットを使用して事前トレーニングされて、事前トレーニング済みニューラルネットエンベッダーを提供する。転移学習を用いて、事前トレーニング済みの第１のシステム又はその一部を転移させて、第２のシステムの一部を形成することができる。ニューラルネットエンベッダーの１つ又は複数の層は、第２のシステムで使用される場合、凍結することができる。幾つかの態様では、第２のシステムは、第１のシステムからのニューラルネットエンベッダー又はその一部を含む。幾つかの態様では、第２のシステムは、ニューラルネットエンベッダー及びニューラルネット予測子を含む。ニューラルネット予測子は、最終出力又は予測を生成する１つ又は複数の出力層を含むことができる。第２のシステムは、関心対象のタンパク質機能又は特性に従ってラベル付けられた第２のトレーニングデータセットを使用してトレーニングすることができる。本明細書において用いられるとき、エンベッダー及び予測子は、機械学習を使用してトレーニングされたニューラルネット等の予測モデルの構成要素を指すことができる。
【0048】
幾つかの態様では、転移学習は、少なくとも一部が第２のモデルの一部の形成に使用される第１のモデルのトレーニングに使用される。第１のモデルへの入力データは、機能又は他の特性に関係なく、公知の天然タンパク質及び合成タンパク質の大きなデータリポジトリを含むことができる。入力データは、以下の任意の組合せを含むことができる：一次アミノ酸配列、二次構造配列、アミノ酸相互作用のコンタクトマップ、アミノ酸物理化学特性の関数としての一次アミノ酸配列、及び／又は三次タンパク質構造。これらの特定の例が本明細書において提供されるが、タンパク質又はポリペプチドに関連する任意の追加応報が意図される。幾つかの態様では、入力データは埋め込まれる。例えば、入力データは、配列の多次元テンソルのバイナリワンホットエンコード、実際の値（例えば、三次構造からの物理化学特性若しくは三次元原子配置の場合）、対毎の相互作用の隣接行列として、又はデータの直接埋め込みを使用して（例えば、一次アミノ酸配列の文字埋め込み）表すことができる。
【0049】
図９は、ニューラルネットワークアーキテクチャに適用される転移学習プロセスの一態様を示すブロック図である。示されるように、第１のシステム（左）は、ＵｎｉＰｒｏｔアミノ酸配列及び～７０，０００のアノテーション（例えば配列ラベル）を使用してトレーニングされた埋め込みベクトル及び線形モデルを有する畳み込みニューラルネットワークアーキテクチャを有する。転移学習プロセス中、第１のシステム又はモデルの埋め込みベクトル及び畳み込みニューラルネットワーク部分は転移して、第１のモデル又はシステムに構成された任意の予測と異なるタンパク質特性又は機能を予測するように構成された新しい線形モデルも組み込んだ第２のシステム又はモデルのコアを形成する。この第２のシステムは、第１のシステムとは別個の線形モデルを有し、タンパク質特性又は機能に対応する所望の配列ラベルに基づいて、第２のトレーニングデータセットを使用してトレーニングされる。トレーニングが終わると、バリデーションデータセット及び／又はテストデータセット（例えば、トレーニングで使用されなかったデータ）と突き合わせて第２のシステムを査定することができ、検証されると、第２のシステムは、タンパク質の特性又は機能についての配列解析に使用することができる。タンパク質特性は、例えば、治療用途で使用することができる。治療用途では時に、タンパク質が、その基本的な治療機能（例えば、酵素の触媒作用、抗体の結合親和性、ホルモンのシグナリング経路の刺激等）に加えて、安定性、溶解性、及び発現（例えば、製造に向けて）を含む複数の薬のような特性を有することが求められることがある。
【0050】
幾つかの態様では、第１のモデル及び／又は第２のモデルへのデータ入力は、一次アミノ酸配列へのランダム変異及び／又は生物学的情報に基づく変異、アミノ酸相互作用のコンタクトマップ、及び／又は三次タンパク質構造等の追加データにより拡張される。追加拡張戦略は、選択的スプライシング転写からの公知の予測されたアイソフォームの使用を含む。幾つかの態様では、異なるタイプの入力（例えば、アミノ酸配列、コンタクトマップ等）が、１つ又は複数のモデルの異なる部分により処理される。初期処理ステップ後、複数のデータソースからの情報は、ネットワーク内の層において結合することができる。例えば、ネットワークは、配列エンコーダ、コンタクトマップエンコーダ、及び種々のタイプのデータ入力を受け取り且つ／又は処理するように構成された他のエンコーダを含むことができる。幾つかの態様では、データは、ネットワーク内の１つ又は複数の層内へのエンベッドに変わる。
【0051】
第１のモデルへのデータ入力のラベルは、例えば、ジーンオントロジー（ＧＯ）、Ｐｆａｍドメイン、ＳＵＰＦＡＭドメイン、ＥＣ（Ｅｎｚｙｍｅ Ｃｏｍｍｉｓｓｉｏｎ）番号、分類学、好極限性細菌指示、キーワード、ＯｒｔｈｏＤＢ及びＫＥＧＧオルソログを含むオルソロググループ割り当て等の１つ又は複数の公開タンパク質配列アノテーションリソースから引き出すことができる。加えて、ラベルは、全てα、全てβ、α＋β、α／β、膜、本質的に無秩序、コイルドコイル、スモール、又はデザイナータンパク質を含め、ＳＣＯＰ、ＦＳＳＰ、又はＣＡＴＨ等のデータベースにより指定される公知の構造又はフォールド分類に基づいて分類することができる。構造が公知であるタンパク質の場合、全体表面電荷、疎水性表面エリア、実測又は予測溶解性、又は他の数量等の定量的グローバル特性（ｑｕａｎｔｉｔａｔｉｖｅ ｇｌｏｂａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃ）が、マルチタスクモデル等の予測モデルによりフィッティングされる追加ラベルとして使用することができる。これらの入力は転移学習の状況で説明されるが、非転移学習手法へのこれらの入力の適用も意図される。幾つかの態様では、第１のモデルは、エンコーダで構成されるコアネットワークを残すように剥ぎ取られたアノテーション層を含む。アノテーション層は、それぞれが、例えば、一次アミノ酸配列、ＧＯ、Ｐｆａｍ、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、ＫＯ、ＯｒｔｈｏＤＢ、及びキーワード等の特定のアノテーションに対応する複数の独立層を含むことができる。幾つかの態様では、アノテーション層は、少なくとも、１、２、３、４、５、６、７、８、９、１０、１５、２０、２５、３０、４０、５０、６０、７０、８０、９０、１００、１０００、５０００、１００００、５００００、１０００００、１５００００、又はそれ以上の独立層を含む。幾つかの態様では、アノテーション層は１８００００の独立層を含む。幾つかの態様では、モデルは、少なくとも１、２、３、４、５、６、７、８、９、１０、１５、２０、２５、３０、４０、５０、６０、７０、８０、９０、１００、１０００、５０００、１００００、５００００、１０００００、１５００００、又はそれ以上のアノテーションを使用してトレーニングされる。幾つかの態様では、モデルは約１８００００のアノテーションを使用してトレーニングされる。幾つかの態様では、モデルは、複数の機能表現にわたる複数のアノテーション（例えば、ＧＯ、Ｐｆａｍ、キーワード、Ｋｅｇｇオルソログ、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数）にわたる複数のアノテーションを用いてトレーニングされる。アミノ酸配列及びアノテーション情報は、ＵｎｉＰｒｏｔ等の種々のデータベースから取得することができる。
【0052】
幾つかの態様では、第１のモデル及び第２のモデルはニューラルネットワークアーキテクチャを含む。第１のモデル及び第２のモデルは、１Ｄ畳み込み（例えば、一次アミノ酸配列）、２Ｄ畳み込み（例えば、アミノ酸相互作用のコンタクトマップ）、又は３Ｄ畳み込み（例えば、三次タンパク質構造）の形態の畳み込みアーキテクチャを使用する教師ありモデルであることができる。畳み込みアーキテクチャは、以下の記載のアーキテクチャの１つであることができる：ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔ。幾つかの態様では、本明細書において記載のアーキテクチャのいずれかを利用するシングルモデル手法（例えば、非転移学習）が意図される。
【0053】
第１のモデルは、敵対的生成ネットワーク（ＧＡＮ）、リカレントニューラルネットワーク、又は変分自動エンコーダ（ＶＡＥ）のいずれかを使用した教師なしモデルであることもできる。ＧＡＮの場合、第１のモデルは、条件付きＧＡＮ、深層畳み込みＧＡＮ、ＳｔａｃｋＧＡＮ、ｉｎｆｏＧＡＮ、Ｗａｓｓｅｒｓｔｅｉｎ ＧＡＮ、敵対的生成ネットワークを用いたクロスドメイン関係発見（Ｄｉｓｃｏ ＧＡＮＳ）であることができる。リカレントニューラルネットワークの場合、第１のモデルは、Ｂｉ－ＬＳＴＭ／ＬＳＴＭ、Ｂｉ－ＧＲＵ／ＧＲＵ、又はトランスフォーマネットワークであることができる。幾つかの態様では、本明細書において記載のアーキテクチャのいずれを利用するシングルモデル手法（例えば、非転移学習）が意図される。幾つかの態様では、ＧＡＮは、ＤＣＧＡＮ、ＣＧＡＮ、ＳＧＡＮ／プログレッシブＧＡＮ、ＳＡＧＡＮ、ＬＳＧＡＮ、ＷＧＡＮ、ＥＢＧＡＮ、ＢＥＧＡＮ、又はｉｎｆｏＧＡＮである。リカレントニューラルネットワーク（ＲＮＮ）は、順次データ向けに構築された従来のニューラルネットワークの変異体である。ＬＳＴＭは、長短期メモリを指し、データにおける系列又は時間的依存性をモデリングできるようにする、メモリを有するＲＮＮにおけるニューロンの一種である。ＧＲＵはゲート付き回帰型ユニットを指し、ＬＳＴＭの欠点幾つかに対処使用とするＬＳＴＭの変異体である。Ｂｉ－ＬＳＴＭ／Ｂｉ－ＧＲＵは、ＬＳＴＭ及びＧＲＵの「双方向」変異体を指す。典型的には、ＬＳＴＭ及びＧＲＵは「順」方向でシーケンシャルを処理するが、双方向バージョンは「逆」方向でも同様に学習する。ＬＳＴＭは、隠れ状態を使用して、既に通過したデータ入力からの情報の保存を可能にする。単方向ＬＳＴＭは、過去からの入力しか見ていないため、過去の情報のみを保存する。これとは対照的に、双方向ＬＳＴＭはデータ入力を過去から未来及び未来から過去の両方向で辿る。したがって、順方向及び逆方向に辿るＬＳＴＭは、未来及び過去からの情報を保存する。
【0054】
第１のモデル及び第２のモデルの両方並びに教師あり及び教師なしモデルについて、１、２、３、４、最高で全層でのドロップアウトを含む早期停止、１、２、３、４、最高で全層でのＬ１－Ｌ２正則化、１、２、３、４、最高で全層でのスキップ接続を含め、代替の正則化法を有することができる。第１のモデル及び第２のモデルの両方で、正則化は、バッチ正規化又はグループ正規化を使用して実行することができる。Ｌ１正則化（ＬＡＳＳＯとしても公知である）は、重みベクトルのＬ１ノルムが許可される長さを制御し、一方、Ｌ２はＬ１ノルムの可能な大きさを制御する。スキップ接続はＲｅｓｎｅｔアーキテクチャから得ることができる。
【0055】
第１及び第２のモデルは、以下の最適化手順のいずれかを使用して最適化することができる：Ａｄａｍ、ＲＭＳプロップ、モメンタムを用いる確率的勾配降下（ＳＧＤ）、モメンタム及びＮｅｓｔｒｏｖ加速勾配を用いるＳＧＤ、モメンタムなしのＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍ。第１及び第２のモデルは、以下の活性化関数のいずれかを使用して最適化することができる：ソフトマックス、ｅｌｕ、ＳｅＬＵ、ソフトプラス、ソフトサイン、ＲｅＬＵ、ｔａｎｈ、シグモイド、ハードシグモイド、指数、ＰＲｅＬＵ、及びＬｅａｓｋｙＲｅＬＵ、又は線形。幾つかの態様では、本明細書において記載の方法は、概ね等しい重みが陽性例及び陰性例の両方に配置されるように、先に列記したオプティマイザが最小化しようとする損失関数を「再加重」することを含む。例えば、１８０，０００の出力の１つは、所与のタンパク質が膜タンパク質である確率を予測する。タンパク質は膜タンパク質であるか、又は膜タンパク質ではないかのみであるため、これはバイナリ分類タスクであり、バイナリ分類タスクの従来の損失関数は、“バイナリ交差エントロピー”：ｌｏｓｓ（ｐ，ｙ）＝－ｙ＊ｌｏｇ（ｐ）－（１－ｙ）＊ｌｏｇ（１－ｐ）であり、式中、ｐはネットワークに従って膜タンパク質である確率であり、ｙは、タンパク質が膜タンパク質である場合１であり、膜タンパク質ではない場合０である「ラベル」である。ｙ＝０のはるかに多くの例がある場合、常にｙ＝０を予測することでペナルティが課されることは稀であることから、ネットワークは常にこのアノテーションの極めて低い確率を予測するという病理ルールを学習する傾向が高いことがあるため、問題が生じ得る。この問題を解消するために、幾つかの態様では、損失関数は以下のように変更される：ｌｏｓｓ（ｐ，ｙ）＝－ｗ１＊ｙ＊ｌｏｇ（ｐ）－ｗ０＊（１－ｙ）＊ｌｏｇ（１－ｐ）、式中、ｗ１は陽性クラスの重みであり、ｗ０は陰性クラスの重みである。この手法は、ｗ０＝１且つｗ１＝１／√（（１－ｆ０）／ｆ１）であると仮定し、式中、ｆ０は陰性例の頻度であり、ｆ１は陽性例の頻度である。この加重方式は、稀である陽性例の「重みを増し」、より一般的な陰性例の「重みを減じる」。
【0056】
第２のモデルは、第１のモデルをトレーニングの開始点として使用することができる。開始点は、標的タンパク質機能又はタンパク質特性でトレーニングされる出力層を除いて凍結された完全な第１のモデルであることができる。開始点は、埋め込み層、最後の２層、最後の３層、又は全ての層が凍結されておらず、標的タンパク質機能又はタンパク質機能でのトレーニング中、モデルの残りが凍結される第１のモデルであることができる。開始点は、埋め込み層が除去され、１つ、２つ、３つ、又は４つ以上の層が追加され、標的タンパク質機能又はタンパク質特性でトレーニングされる第１のモデルであることができる。幾つかの態様では、凍結層の数は１～１０である。幾つかの態様では、凍結層の数は１～２、１～３、１～４、１～５、１～６、１～７、１～８、１～９、１～１０、２～３、２～４、２～５、２～６、２～７、２～８、２～９、２～１０、３～４、３～５、３～６、３～７、３～８、３～９、３～１０、４～５、４～６、４～７、４～８、４～９、４～１０、５～６、５～７、５～８、５～９、５～１０、６～７、６～８、６～９、６～１０、７～８、７～９、７～１０、８～９、８～１０、又は９～１０である。幾つかの態様では、凍結層の数は１、２、３、４、５、６、７、８、９、又は１０である。幾つかの態様では、凍結層の数は少なくとも１、２、３、４、５、６、７、８、又は９である。幾つかの態様では、凍結層の数は多くとも２、３、４、５、６、７、８、９、又は１０である。幾つかの態様では、転移学習中、層は凍結されない。幾つかの態様では、第１のモデルで凍結される層の数は、少なくとも部分的に第２のモデルのトレーニングに利用可能なサンプル数に基づいて決まる。本開示は、層の凍結又は凍結層の数の増大が第２のモデルの予測性能を強化することができることを認識している。この効果は、第２のモデルをトレーニングするサンプル数が少ない場合、強まることができる。幾つかの態様では、第２のモデルがトレーニングセット中に２００以下、１９０以下、１８０以下、１７０以下、１６０以下、１５０以下、１４０以下、１３０以下、１２０以下、１１０以下、１００以下、９０以下、８０以下、７０以下、６０以下、５０以下、４０以下、又は３０以下のサンプルを有する場合、第１のモデルからの全ての層は凍結される。幾つかの態様では、第２のモデルをトレーニングするサンプル数がトレーニングセットにおいて２００以下、１９０以下、１８０以下、１７０以下、１６０以下、１５０以下、１４０以下、１３０以下、１２０以下、１１０以下、１００以下、９０以下、８０以下、７０以下、６０以下、５０以下、４０以下、又は３０以下である場合、第２のモデルに転移するために、第１のモデル中の少なくとも１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２５、３０、３５、４０、４５、５０、５５、６０、６５、７０、７５、８０、８５、９０、９５、又は少なくとも１００の層は凍結される。
【0057】
第１及び第２のモデルは、１０～１００層、１００～５００層、５００～１０００層、１０００～１００００層、又は最高で１００００００層を有することができる。幾つかの態様では、第１及び／又は第２のモデルは１０層～１，０００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは、１０層～５０層、１０層～１００層、１０層～２００層、１０層～５００層、１０層～１，０００層、１０層～５，０００層、１０層～１０，０００層、１０層～５０，０００層、１０層～１００，０００層、１０層～５００，０００層、１０層～１，０００，０００層、５０層～１００層、５０層～２００層、５０層～５００層、５０層～１，０００層、５０層～５，０００層、５０層～１０，０００層、５０層～５０，０００層、５０層～１００，０００層、５０層～５００，０００層、５０層～１，０００，０００層、１００層～２００層、１００層～５００層、１００層～１，０００層、１００層～５，０００層、１００層～１０，０００層、１００層～５０，０００層、１００層～１００，０００層、１００層～５００，０００層、１００層～１，０００，０００層、２００層～５００層、２００層～１，０００層、２００層～５，０００層、２００層～１０，０００層、２００層～５０，０００層、２００層～１００，０００層、２００層～５００，０００層、２００層～１，０００，０００層、５００層～１，０００層、５００層～５，０００層、５００層～１０，０００層、５００層～５０，０００層、５００層～１００，０００層、５００層～５００，０００層、５００層～１，０００，０００層、１，０００層～５，０００層、１，０００層～１０，０００層、１，０００層～５０，０００層、１，０００層～１００，０００層、１，０００層～５００，０００層、１，０００層～１，０００，０００層、５，０００層～１０，０００層、５，０００層～５０，０００層、５，０００層～１００，０００層、５，０００層～５００，０００層、５，０００層～１，０００，０００層、１０，０００層～５０，０００層、１０，０００層～１００，０００層、１０，０００層～５００，０００層、１０，０００層～１，０００，０００層、５０，０００層～１００，０００層、５０，０００層～５００，０００層、５０，０００層～１，０００，０００層、１００，０００層～５００，０００層、１００，０００層～１，０００，０００層、又は５００，０００層～１，０００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは少なくとも１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は５００，０００層を含む。幾つかの態様では、第１及び／又は第２のモデルは多くとも５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。
【0058】
幾つかの態様では、本明細書において記載されるのは、ニューラルネットエンベッダー及び任意選択的にニューラルネット予測子を含む第１のシステムである。幾つかの態様では、第２のシステムはニューラルネットエンベッダー及びニューラルネット予測子を含む。幾つかの態様では、エンベッダーは１０層～２００層を含む。幾つかの態様では、エンベッダーは１０層～２０層、１０層～３０層、１０層～４０層、１０層～５０層、１０層～６０層、１０層～７０層、１０層～８０層、１０層～９０層、１０層～１００層、１０層～２００層、２０層～３０層、２０層～４０層、２０層～５０層、２０層～６０層、２０層～７０層、２０層～８０層、２０層～９０層、２０層～１００層、２０層～２００層、３０層～４０層、３０層～５０層、３０層～６０層、３０層～７０層、３０層～８０層、３０層～９０層、３０層～１００層、３０層～２００層、４０層～５０層、４０層～６０層、４０層～７０層、４０層～８０層、４０層～９０層、４０層～１００層、４０層～２００層、５０層～６０層、５０層～７０層、５０層～８０層、５０層～９０層、５０層～１００層、５０層～２００層、６０層～７０層、６０層～８０層、６０層～９０層、６０層～１００層、６０層～２００層、７０層～８０層、７０層～９０層、７０層～１００層、７０層～２００層、８０層～９０層、８０層～１００層、８０層～２００層、９０層～１００層、９０層～２００層、又は１００層～２００層を含む。幾つかの態様では、エンベッダーは１０層、２０層、３０層、４０層、５０層、６０層、７０層、８０層、９０層、１００層、又は２００層を含む。幾つかの態様では、エンベッダーは少なくとも１０層、２０層、３０層、４０層、５０層、６０層、７０層、８０層、９０層、又は１００層を含む。幾つかの態様では、エンベッダーは多くとも２０層、３０層、４０層、５０層、６０層、７０層、８０層、９０層、１００層、又は２００層を含む。
【0059】
幾つかの態様では、ニューラルネット予測子は複数の層を含む。幾つかの態様では、エンベッダーは１層～２０層を含む。幾つかの態様では、エンベッダーは１層～２層、１層～３層、１層～４層、１層～５層、１層～６層、１層～７層、１層～８層、１層～９層、１層～１０層、１層～１５層、１層～２０層、２層～３層、２層～４層、２層～５層、２層～６層、２層～７層、２層～８層、２層～９層、２層～１０層、２層～１５層、２層～２０層、３層～４層、３層～５層、３層～６層、３層～７層、３層～８層、３層～９層、３層～１０層、３層～１５層、３層～２０層、４層～５層、４層～６層、４層～７層、４層～８層、４層～９層、４層～１０層、４層～１５層、４層～２０層、５層～６層、５層～７層、５層～８層、５層～９層、５層～１０層、５層～１５層、５層～２０層、６層～７層、６層～８層、６層～９層、６層～１０層、６層～１５層、６層～２０層、７層～８層、７層～９層、７層～１０層、７層～１５層、７層～２０層、８層～９層、８層～１０層、８層～１５層、８層～２０層、９層～１０層、９層～１５層、９層～２０層、１０層～１５層、１０層～２０層、又は１５層～２０層を含む。幾つかの態様では、エンベッダーは１層、２層、３層、４層、５層、６層、７層、８層、９層、１０層、１５層、又は２０層を含む。幾つかの態様では、エンベッダーは少なくとも１層、２層、３層、４層、５層、６層、７層、８層、９層、１０層、又は１５層を含む。幾つかの態様では、エンベッダーは多くとも２層、３層、４層、５層、６層、７層、８層、９層、１０層、１５層、又は２０層を含む。
【0060】
幾つかの態様では、転移学習は、最終的にトレーニングされたモデルの生成に使用されない。例えば、十分なデータが利用可能な場合、少なくとも部分的に転移学習を使用して生成されたモデルは、転移学習を利用しないモデルと比較して、予測において有意な改善を提供しない（例えば、テストデータセットと突き合わせてテストされる場合）。したがって、幾つかの態様では、トレーニング済みモデルの生成に非転移学習手法が利用される。
【0061】
幾つかの態様では、トレーニング済みモデルは１０層～１，０００，０００層を含む。幾つかの態様では、モデルは１０層～５０層、１０層～１００層、１０層～２００層、１０層～５００層、１０層～１，０００層、１０層～５，０００層、１０層～１０，０００層、１０層～５０，０００層、１０層～１００，０００層、１０層～５００，０００層、１０層～１，０００，０００層、５０層～１００層、５０層～２００層、５０層～５００層、５０層～１，０００層、５０層～５，０００層、５０層～１０，０００層、５０層～５０，０００層、５０層～１００，０００層、５０層～５００，０００層、５０層～１，０００，０００層、１００層～２００層、１００層～５００層、１００層～１，０００層、１００層～５，０００層、１００層～１０，０００層、１００層～５０，０００層、１００層～１００，０００層、１００層～５００，０００層、１００層～１，０００，０００層、２００層～５００層、２００層～１，０００層、２００層～５，０００層、２００層～１０，０００層、２００層～５０，０００層、２００層～１００，０００層、２００層～５００，０００層、２００層～１，０００，０００層、５００層～１，０００層、５００層～５，０００層、５００層～１０，０００層、５００層～５０，０００層、５００層～１００，０００層、５００層～５００，０００層、５００層～１，０００，０００層、１，０００層～５，０００層、１，０００層～１０，０００層、１，０００層～５０，０００層、１，０００層～１００，０００層、１，０００層～５００，０００層、１，０００層～１，０００，０００層、５，０００層～１０，０００層、５，０００層～５０，０００層、５，０００層～１００，０００層、５，０００層～５００，０００層、５，０００層～１，０００，０００層、１０，０００層～５０，０００層、１０，０００層～１００，０００層、１０，０００層～５００，０００層、１０，０００層～１，０００，０００層、５０，０００層～１００，０００層、５０，０００層～５００，０００層、５０，０００層～１，０００，０００層、１００，０００層～５００，０００層、１００，０００層～１，０００，０００層、又は５００，０００層～１，０００，０００層を含む。幾つかの態様では、モデルは１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。幾つかの態様では、モデルは少なくとも１０層、５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、又は５００，０００層を含む。幾つかの態様では、モデルは多くとも５０層、１００層、２００層、５００層、１，０００層、５，０００層、１０，０００層、５０，０００層、１００，０００層、５００，０００層、又は１，０００，０００層を含む。
【0062】
幾つかの態様では、機械学習法は、トレーニングに使用されなかったデータを使用してテストされて、その予測能力が評価されるトレーニング済みモデル又は分類器を含む。幾つかの態様では、トレーニング済みモデル又は分類器の予想能力は、１つ又は複数の性能尺度を使用して評価される。これらの性能尺度は、分類性度、特異性、感度、陽性的中率、陰性的中率、受信者動作曲線下実測面積（ＡＵＲＯＣ）、平均二乗誤差、偽発見率、及び１組の独立事例と突き合わせてテストすることによりモデルに特定される、予測値と実際の値との間のピアソン相関を含む。値が連続する場合、予測値と実測値との間の二乗平均平方根誤差（ＭＳＥ）又はピアソン相関係数が２つの一般的な尺度である。離散分類タスクの場合、分類精度、陽性的中率、精度及び再現率、並びにＲＯＣ曲線下面積（ＡＵＣ）が一般的な性能尺度である。
【0063】
幾つかの場合では、方法は、増分を含む少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例での、増分を含む少なくとも約６０％、６５％、７０％、７５％、８０％、８５％、９０％、９５％、又はそれ以上のＡＵＲＯＣを有する。幾つかの場合、方法は、増分を含む少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例での、増分を含む少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれ以上の精度を有する。方法は、増分を含む少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例での、増分を含む少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれ以上の特異性を有する。方法は、増分を含む少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例での、増分を含む少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれ以上のＡＵＲＯＣを有する。幾つかの場合、方法は、増分を含む少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例での、増分を含む少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれ以上の陽性的中率を有する。幾つかの場合、方法は、増分を含む少なくとも約５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、又は２００の独立事例での、増分を含む少なくとも約７５％、８０％、８５％、９０％、９５％、又はそれ以上の陰性的中率を有する。
【0064】
計算システム及びソフトウェア
幾つかの態様では、本明細書において記載のシステムは、ポリペプチド予測エンジン等のソフトウェアアプリケーションを提供するように構成される。幾つかの態様では、ポリペプチド予測エンジンは、一次アミノ酸配列等の入力データに基づいて少なくとも１つの機能又は特性を予測する１つ又は複数のモデルを含む。幾つかの態様では、本明細書において記載のシステムは、デジタル処理デバイス等の計算デバイスを含む。幾つかの態様では、本明細書において記載のシステムは、サーバと通信するためのネットワーク要素を含む。幾つかの態様では、本明細書において記載のシステムはサーバを含む。幾つかの態様では、システムは、データをサーバにアップロード且つ／又はサーバからデータをダウンロードするように構成される。幾つかの態様では、サーバは、入力データ、出力、及び／又は他の情報を記憶するように構成される。幾つかの態様では、サーバは、システム又は装置からのデータをバックアップするように構成される。
幾つかの態様では、本明細書において記載のシステムは、ポリペプチド予測エンジン等のソフトウェアアプリケーションを提供するように構成される。幾つかの態様では、ポリペプチド予測エンジンは、一次アミノ酸配列等の入力データに基づいて少なくとも１つの機能又は特性を予測する１つ又は複数のモデルを含む。幾つかの態様では、本明細書において記載のシステムは、デジタル処理デバイス等の計算デバイスを含む。幾つかの態様では、本明細書において記載のシステムは、サーバと通信するためのネットワーク要素を含む。幾つかの態様では、本明細書において記載のシステムはサーバを含む。幾つかの態様では、システムは、データをサーバにアップロード且つ／又はサーバからデータをダウンロードするように構成される。幾つかの態様では、サーバは、入力データ、出力、及び／又は他の情報を記憶するように構成される。幾つかの態様では、サーバは、システム又は装置からのデータをバックアップするように構成される。
【0065】
幾つかの態様では、システムは１つ又は複数のデジタル処理デバイスを含む。幾つかの態様では、システムは、トレーニング済みモデルを生成するように構成された複数の処理ユニットを含む。幾つかの態様では、システムは、機械学習アプリケーションに適した複数のグラフィック処理ユニット（ＧＰＵ）を含む。例えば、ＧＰＵは一般に、中央演算処理装置（ＣＰＵ）と比較した場合、算術論理ユニット（ＡＬＵ）、制御ユニット、及びメモリキャッシュで構成されたより多数のより小さな論理コアを特徴とする。したがって、ＧＰＵは、機械学習手法で一般的な数学行列計算に適した、より多数のより単純で同一の計算を並列して処理するように構成される。幾つかの態様では、システムは、ニューラルネットワーク機械学習に向けてＧｏｏｇｌｅにより開発されたＡＩ特定用途向け集積回路（ＡＳＩＣ）である１つ又は複数のテンソル処理ユニット（ＴＰＵ）を含む。幾つかの態様では、本明細書において記載の方法は、複数のＧＰＵ及び／又はＴＰＵを含むシステムで実施される。幾つかの態様では、システムは、少なくとも２、３、４、５、６、７、８、９、１０、１５、２０、３０、４０、５０、６０、７０、８０、９０、１００、又はそれ以上のＧＰＵ又はＴＰＵを含む。幾つかの態様では、ＧＰＵ又はＴＰＵは並列処理を提供するように構成される。
【0066】
幾つかの態様では、システム又は装置はデータを暗号化するように構成される。幾つかの態様では、サーバ上のデータは暗号化される。幾つかの態様では、システム又は装置は、データを記憶するデータ記憶ユニット又はメモリを含む。幾つかの態様では、データ暗号化は、高度暗号化標準（ＡＥＳ）を使用して実行される。幾つかの態様では、データ暗号化は、１２８ビット、１９２ビット、又は２５６ビットＡＥＳ暗号化を使用して実行される。幾つかの態様では、データ暗号化は、データ記憶ユニットのフルディスク暗号化を含む。幾つかの態様では、データ暗号化は仮想ディスク暗号化を含む。幾つかの態様では、データ暗号化はファイル暗号化を含む。幾つかの態様では、システム又は装置と他のデバイス又はサーバとの間で伝送又は他の方法で通信されるデータは、搬送中、暗号化される。幾つかの態様では、システム又は装置と他のデバイス又はサーバとの間の無線通信は暗号化される。幾つかの態様では、搬送中のデータはセキュアソケットレイヤ（ＳＳＬ）を使用して暗号化される。
【0067】
本明細書において記載の装置は、デバイスの機能を実行する１つ又は複数のハードウェア中央演算処理装置（ＣＰＵ）又は汎用グラフィック処理ユニット（ＧＰＧＰＵ）を含むデジタル処理デバイスを含む。デジタル処理デバイスは、実行可能命令を実行するように構成されたオペレーティングシステムを更に含む。デジタル処理デバイスは任意選択的に、コンピュータネットワークに接続される。デジタル処理デバイスは任意選択的に、ワールドワイドウェブにアクセスするようにインターネットに接続される。デジタル処理デバイスは任意選択的に、クラウド計算基盤に接続される。適したデジタル処理デバイスは、非限定的な例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、セットトップコンピュータ、メディアストリーミングデバイス、ハンドヘルドコンピュータ、インターネット家電、モバイルスマートフォン、タブレットコンピュータ、個人情報端末、ビデオゲームコンソール、及び車両を含む。多くのスマートフォンが本明細書において記載のシステムでの使用に適することを当業者は認識しよう。
【0068】
典型的には、デジタル処理デバイスは、実行可能命令を実行するように構成されたオペレーティングシステムを含む。オペレーティングシステムは、例えば、デバイスのハードウェアを管理し、アプリケーションを実行するサービスを提供する、プログラム及びデータを含むソフトウェアである。適したサーバオペレーティングシステムが、非限定的な例として、ＦｒｅｅＢＳＤ、ＯｐｅｎＢＳＤ、ＮｅｔＢＳＤ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｐｐｌｅ（登録商標）Ｍａｃ ＯＳ Ｘ Ｓｅｒｖｅｒ（登録商標）、Ｏｒａｃｌｅ（登録商標）Ｓｏｌａｒｉｓ（登録商標）、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、及びＮｏｖｅｌｌ（登録商標）ＮｅｔＷａｒｅ（登録商標）を含むことを当業者は認識しよう。適したパーソナルコンピュータオペレーティングシステムが、非限定的な例として、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ（登録商標）Ｍａｃ ＯＳ Ｘ（登録商標）、ＵＮＩＸ（登録商標）、及びＧＮＵ／Ｌｉｎｕｘ（登録商標）等のＵＮＩＸ様のオペレーティングシステムを含むことを当業者は認識しよう。幾つかの態様では、オペレーティングシステムはクラウド計算によって提供される。
【0069】
本明細書において記載のデジタル処理デバイスは、記憶装置及び／又はメモリデバイスを含み、又は度差可能に結合される。記憶装置及び／又はメモリデバイスは、データ又はプログラムを一時的又は永続的に記憶するのに使用される１つ又は複数の物理的な装置である。幾つかの態様では、デバイスは揮発性メモリであり、記憶された情報の維持に電力を必要とする。幾つかの態様では、デバイスは不揮発性メモリであり、デジタル処理デバイスが給電されていないとき、記憶された情報を保持する。更なる態様では、不揮発性メモリはフラッシュメモリを含む。幾つかの態様では、不揮発性メモリは動的ランダムアクセスメモリ（ＤＲＡＭ）を含む。幾つかの態様では、不揮発性メモリは強誘電性ランダムアクセスメモリ（ＦＲＡＭ（登録商標））を含む。幾つかの態様では、不揮発性メモリは相変化ランダムアクセスメモリ（ＰＲＡＭ）を含む。他の態様では、デバイスは、非限定的な例として、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、及びクラウド計算ベースの記憶装置を含む記憶装置である。更なる態様では、記憶装置及び／又はメモリデバイスは、本明細書において開示される等のデバイスの組合せである。
【0070】
幾つかの態様では、おいて記載のシステム又は方法は、入力及び／又は出力データを含む又は有するものとしてデータベースを生成する。本明細書において記載のシステムの幾つかの態様は、コンピュータベースのシステムである。これらの態様は、プロセッサを含むＣＰＵと、非一時的コンピュータ可読記憶媒体の形態であり得るメモリとを含む。これらのシステム態様は、典型的にはメモリに記憶される（非一時的コンピュータ可読記憶媒体の形態等）ソフトウェアを更に含み、ソフトウェアは、プロセッサに機能を実行させるように構成される。本明細書において記載のシステムに組み込まれるソフトウェア態様は、１つ又は複数のモジュールを含む。
【0071】
種々の態様では、装置は、デジタル処理デバイス等の計算デバイス又は構成要素を含む。本明細書において記載の態様の幾つかでは、デジタル処理デバイスは、視覚情報を表示するディスプレイを含む。本明細書において記載のシステム及び方法との併用に適したディスプレイの非限定的な例には、液晶ディスプレイ（ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ－ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ＯＬＥＤディスプレイ、アクティブマトリックスＯＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、又はプラズマディスプレイがある。
【0072】
デジタル処理デバイスは、本明細書において記載の態様の幾つかでは、情報を受信する入力デバイスを含む。本明細書において記載のシステム及び方法との併用に適した入力デバイスの非限定的な例には、キーボード、マウス、トラックボール、トラックパッド、又はスタイラスがある。幾つかの態様では、入力デバイスはタッチスクリーン又はマルチタッチスクリーンである。
【0073】
本明細書において記載のシステム及び方法は典型的には、任意選択的にネットワーク接続されたデジタル処理デバイスのオペレーティングシステムにより実行可能な命令を含むプログラムがエンコードされた１つ又は複数の非一時的コンピュータ可読記憶媒体を含む。本明細書において記載のシステム及び方法の幾つかの態様では、非一時的記憶媒体は、システム構成要素であり、又は方法で利用されるデジタル処理デバイスの構成要素である。更なる態様では、コンピュータ可読記憶媒体は任意選択的に、デジタル処理デバイスから取り外し可能である。幾つかの態様では、コンピュータ可読記憶媒体は、非限定的な例として、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、固体状態メモリ、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、クラウド計算システム及びサーバ等を含む。幾つかの場合、プログラム及び命令は媒体に永続的に、略永続的に、汎永続的に、又は非一時的にエンコードされる。
【0074】
典型的には、本明細書において記載のシステム及び方法は、少なくとも１つのコンピュータプログラム又はその使用を含む。コンピュータプログラムは、デジタル処理デバイスのＣＰＵで実行可能であり、指定されたタスクを実行するように書かれた命令シーケンスを含む。コンピュータ可読命令は、特定のタスクを実行し、又は特定の抽象データ型を実装する、関数、オブジェクト、アプリケーションプログラムインターフェース（ＡＰＩ）、データ構造等のプログラムモジュールとして実装し得る。本明細書において提供される開示に鑑みて、コンピュータプログラムが種々のバージョンの種々の言語で書かれ得ることを当業者は認識しよう。コンピュータ可読命令の機能は、種々の環境で望まれるように結合又は分散し得る。幾つかの態様では、コンピュータプログラムは１つの命令シーケンスを含む。幾つかの態様では、コンピュータプログラムは複数の命令シーケンスを含む。幾つかの態様では、コンピュータプログラムは１つの場所から提供される。他の態様では、コンピュータプログラムは複数の場所から提供される。種々の態様では、コンピュータプログラムは１つ又は複数のソフトウェアモジュールを含む。種々の態様では、コンピュータプログラムは部分的又は全体的に、１つ又は複数のウェブアプリケーション、１つ又は複数のモバイルアプリケーション、１つ又は複数のスタンドアロンアプリケーション、１つ又は複数のウェブブラウザプラグイン、拡張、アドイン、若しくはアドオン、又はそれらの組合せを含む。種々の態様では、ソフトウェアモジュールは、ファイル、コードの区域、プログラミングオブジェクト、プログラミング構造、又はそれらの組合せを含む。更なる種々の態様では、ソフトウェアモジュールは、複数のファイル、コードの複数の区域、複数のプログラミングオブジェクト、複数のプログラミング構造、又はそれらの組合せを含む。種々の態様では、１つ又は複数のソフトウェアモジュールは、非限定的な例として、ウェブアプリケーション、モバイルアプリケーション、及びスタンドアロンアプリケーションを含む。幾つかの態様では、ソフトウェアモジュールは、１つのコンピュータプログラム又はアプリケーションに存在する。他の態様では、ソフトウェアモジュールは２つ以上のコンピュータプログラム又はアプリケーションに存在する。幾つかの態様では、ソフトウェアモジュールは１つのマシンでホストされる。他の態様では、ソフトウェアモジュールは２つ以上のマシンでホストされる。更なる態様では、ソフトウェアモジュールは、クラウド計算プラットフォームでホストされる。幾つかの態様では、ソフトウェアモジュールは、１つの場所にある１つ又は複数のマシンでホストされる。他の態様では、ソフトウェアモジュールは、２つ以上の場所にある１つ又は複数のマシンでホストされる。
【0075】
典型的には、本明細書において記載のシステム及び方法は、１つ又は複数のデータベースを含み且つ／又は利用する。本明細書において提供される開示に鑑みて、多くのデータベースがベースラインデータセット、ファイル、ファイルシステム、オブジェクト、オブジェクトのシステム、並びに本明細書において記載のデータ構造及び他のタイプの情報の記憶及び検索に適することを当業者は認識しよう。種々の態様では、適したデータベースには、非限定的な例として、リレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、関連データベース、及びＸＭＬデータベースがある。更なる非限定的な例には、ＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ、ＭｙＳＱＬ、Ｏｒａｃｌｅ、ＤＢ２、及びＳｙｂａｓｅがある。幾つかの態様では、データベースはインターネットベースである。更なる態様では、データベースはウェブベースである。更なる態様では、データベースはクラウド計算ベースである。他の態様では、データベースは１つ又は複数のローカルコンピュータ記憶装置に基づく。
【0076】
図８は、デジタル処理デバイス８０１等の装置を含む本明細書において記載のシステムの例示的な態様を示す。デジタル処理デバイス８０１は、入力データを解析するように構成されたソフトウェアアプリケーションを含む。デジタル処理デバイス８０１は、中央演算処理装置（ＣＰＵ、本明細書において、「プロセッサ」及び「コンピュータプロセッサ」とも）８０５を含み得、これは、シングルコア又はマルチコアの１つのプロセッサ又は並列処理に向けた複数のプロセッサであることができる。デジタル処理デバイス８０１は、キャッシュ等のメモリ又はメモリロケーション８１０（例えば、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ）のいずれか、電子記憶ユニット８１５（例えばハードディスク）、１つ又は複数の他のシステムと通信するための通信インターフェース８２０（例えば、ネットワークアダプタ、ネットワークインターフェース）、及び周辺デバイスも含む。周辺デバイスは、記憶装置インターフェース８７０を介してデバイスの残りの部分と通信する記憶装置又は記憶媒体８６５を含むことができる。メモリ８１０、記憶ユニット８１５、インターフェース８２０、及び周辺デバイスは、通信バス８２５を通してマザーボード等のＣＰＵ８０５と通信するように構成される。デジタル処理デバイス８０１は、通信インターフェース８２０を用いてコンピュータネットワーク（「ネットワーク」）８３０に動作可能に結合することができる。ネットワーク８３０はインターネットを含むことができる。ネットワーク８３０は電気通信網及び／又はデータ網であることができる。
【0077】
デジタル処理デバイス８０１は、情報を受信する入力デバイス８４５を含み、入力デバイスは、入力インターフェース８５０を介してデバイスの他の要素と通信する。デジタル処理デバイス８０１は、出力インターフェース８６０を介してデバイスの他の要素と通信する出力デバイス８５５を含むことができる。
【0078】
ＣＰＵ８０５は、ソフトウェアアプリケーション又はモジュールに組み込まれる機械可読命令を実行するように構成される。命令は、メモリ８１０等のメモリロケーションに記憶し得る。メモリ８１０は、ランダムアクセスメモリ構成要素（例えばＲＡＭ）（例えば、静的ＲＡＭ「ＳＲＡＭ」、動的ＲＡＭ「ＤＲＡＭ」等）又は読み取り専用構成要素（例えばＲＯＭ）を含むが、これらに限定されない種々の構成要素（例えば機械可読媒体）を含み得る。メモリ８１０は、デバイススタートアップ中等にデジタル処理デバイス内の要素間での情報転送に役立ち、メモリ８１０に記憶し得る基本ルーチンを含む基本入出力システム（ＢＩＯＳ）を含むこともできる。
【0079】
記憶ユニット８１５は、一次アミノ酸配列等のファイルを記憶するように構成することができる。記憶ユニット８１５は、オペレーティングシステム、アプリケーションプログラム等の記憶に使用することもできる。任意選択的に、記憶ユニット８１５は、デジタル処理デバイスと（例えば、外部ポートコネクタ（図示せず）を介して）及び／又は記憶ユニットインターフェースを介して取り外し可能にインターフェースし得る。ソフトウェアは完全に又は部分的に、記憶ユニット８１５内又は外のコンピュータ可読記憶媒体内に常駐し得る。別の例では、ソフトウェアは完全に又は部分的にプロセッサ８０５内に常駐し得る。
【0080】
情報及びデータは、ディスプレイ８３５を通してユーザに表示することができる。ディスプレイは、インターフェース８４０を介してバス８２５に接続され、ディスプレイデバイス８０１の他の要素との間のデータの輸送は、インターフェース８４０を介して制御することができる。
【0081】
本明細書において記載の方法は、例えば、メモリ８１０又は電子記憶ユニット８１５上等のデジタル処理デバイス８０１の電子記憶ロケーションに記憶された機械（例えばコンピュータプロセッサ）実行可能コードにより実施することができる。機械実行可能又は機械可読コードは、ソフトウェアアプリケーション又はソフトウェアモジュールの形態で提供することができる。使用中、コードはプロセッサ８０５により実行することができる。幾つかの場合、コードは、記憶ユニット８１５から検索し、プロセッサ８０５による容易なアクセスのためにメモリ８１０に記憶することができる。幾つかの状況では、電子記憶ユニット８１５は除外することができ、機械実行可能命令はメモリ８１０に記憶される。
【0082】
幾つかの態様では、リモートデバイス８０２は、デジタル処理デバイス８０１と通信するように構成され、任意のモバイル計算デバイスを含み得、その非限定的な例には、タブレットコンピュータ、ラップトップコンピュータ、スマートフォン、又はスマートウォッチがある。例えば、幾つかの態様では、リモートデバイス８０２は、本明細書において記載の装置又はシステムのデジタル処理デバイス８０１から情報を受信するように構成されたユーザのスマートフォンであり、情報は概要、入力、出力、又は他のデータを含むことができる。幾つかの態様では、リモートデバイス８０２は、本明細書において記載の装置又はシステムからデータを送信且つ／又は受信するように構成されたネットワーク上のサーバである。
【0083】
本明細書において記載のシステム及び方法の幾つかの態様は、入力データ及び／又は出力データを含む又は有するデータベースを生成するように構成される。データベースは、本明細書において記載のように、例えば、入力データ及び出力データのデータリポジトリとして機能するように構成される。幾つかの態様では、データベースはネットワーク上のサーバに記憶される。幾つかの態様では、データベースは装置にローカルに（例えば、装置のモニタ構成要素）記憶される。幾つかの態様では、データベースは、サーバにより提供されるデータバックアップと共にローカルに記憶される。
【0084】
特定の定義
本明細書において用いられるとき、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈により別段のことが明確に示される場合を除き、複数形を含む。例えば、用語「１つのサンプル（ａ ｓａｍｐｌｅ）」は、サンプルの混合物を含め、複数のサンプルを含む。本明細書において、「又は」への任意の言及は、別記される場合を除、「及び／又は」を包含することが意図される。
本明細書において用いられるとき、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈により別段のことが明確に示される場合を除き、複数形を含む。例えば、用語「１つのサンプル（ａ ｓａｍｐｌｅ）」は、サンプルの混合物を含め、複数のサンプルを含む。本明細書において、「又は」への任意の言及は、別記される場合を除、「及び／又は」を包含することが意図される。
【0085】
用語「核酸」は、本明細書において用いられるとき、一般に、１つ又は複数の核酸塩基、ヌクレオシド、又はヌクレオチドを指す。例えば、核酸は、アデノシン（Ａ）、シトシン（Ｃ）、グアニン（Ｇ）、チミン（Ｔ）、及びウラシル（Ｕ）、又はそれらの変形から選択される１つ又は複数のヌクレオチドを含み得る。ヌクレオチドは一般に、ヌクレオシドと、少なくとも１、２、３、４、５、６、７、８、９、１０個又はそれ以上のリン酸（ＰＯ３）基とを含む。ヌクレオチドは、核酸塩基、五炭糖（リボース又はデオキシリボースのいずれか）、及び１つ又は複数のリン酸基を含むことができる。リボヌクレオチドは、糖がリボースであるヌクレオチドを含む。デオキシリボヌクレオチドは、糖がデオキシリボースであるヌクレオチドを含む。ヌクレオチドは、ヌクレオシドリン酸、ヌクレオシド二リン酸、ヌクレオシド三リン酸、又はヌクレオシドポリリン酸であることができる。
【0086】
本明細書において用いられるとき、用語「ポリペプチド」、「タンパク質」、及び「ペプチド」は、同義で使用され、ペプチド結合を介してリンクされ、２つ以上のポリペプチド鎖で構成し得るアミノ酸残基のポリマーを指す。用語「ポリペプチド」、「タンパク質」、及び「ペプチド」は、アミノ結合を通して一緒に結合された少なくとも２つのアミノ酸単量体のポリマーを指す。アミノ酸はＬ光学異性体又はＤ光学異性体であり得る。より具体的には、用語「ポリペプチド」、「タンパク質」、及び「ペプチド」は、特定の順序、例えば、遺伝子中のヌクレオチドの塩基配列又はタンパク質のＲＮＡコーディングによって決まる順序の２つ以上のアミノ酸で構成された分子を指す。タンパク質は、体の細胞、組織、及び臓器の構造、機能、及び調整に必須であり、各タンパク質は独自の機能を有する。例は、ホルモン、酵素、抗体、及びそれらの任意の断片である。幾つかの場合、タンパク質は、タンパク質の一部、例えば、タンパク質のドメイン、サブドメイン、又はモチーフであることができる。幾つかの場合、タンパク質はタンパク質の変異体（又は変異）を有することができ、その場合、１つ又は複数のアミノ酸残基が、そのタンパク質の自然に発生する（又は少なくとも公知の）アミノ酸配列に挿入され、削除され、且つ／又は置換される。タンパク質又はその変異体は、自然に発生してもよく、又は組み換えられてもよい。ポリペプチドは、隣接するアミノ酸残基のカルボキシル基とアミノ基との間のペプチド結合により一緒に結合されたアミノ酸の１本の線形ポリマー鎖であることができる。ポリペプチドは、例えば、炭水化物の添加、リン酸化等により変更することができる。タンパク質は１つ又は複数のポリペプチドを含むことができる。
【0087】
本明細書において用いられるとき、用語「ニューラルネット」は人工ニューラルネットワークを指す。人工ニューラルネットワークは、相互接続されたノード群という全般構造を有する。ノードは多くの場合、層が１つ又は複数のノードを含む複数の層に組織化される。シグナルは、ある層から次の層にニューラルネットワークを通って伝播することができる。幾つかの態様では、ニューラルネットワークはエンベッダーを含む。エンベッダーは、埋め込み層等の１つ又は複数の層を含むことができる。幾つかの態様では、ニューラルネットワークは予測子を含む。予測子は、出力又は結果（例えば、一次アミノ酸配列に基づいて予測された機能又は特性）を生成する１つ又は複数の出力層を含むことができる。
【0088】
本明細書において用いられるとき、用語「事前トレーニング済みシステム」は、少なくとも１つのデータセットでトレーニングされた少なくとも１つのモデルを指す。モデルの例は、線形モデル、トランスフォーマ、又は畳み込みニューラルネットワーク（ＣＮＮ）等のニューラルネットワークであることができる。事前トレーニング済みシステムは、データセットの１つ又は複数でトレーニングされたモデルの１つ又は複数を含むことができる。システムは、モデル又はニューラルネットワークの埋め込み重み等の重みを含むこともできる。
【0089】
本明細書において用いられるとき、用語「人工知能」は一般に、「知的」であり、非反復的、非機械的暗記、又は非事前プログラム的にタスクを実行することができる機械又はコンピュータを指す。
【0090】
本明細書において用いられるとき、用語「機械学習」は、機械（例えばコンピュータプログラム）が、プログラムされずにそれ自体で学習することができるタイプの学習を指す。
【0091】
本明細書において用いられるとき、用語「機械学習」は、機械（例えばコンピュータプログラム）が、プログラムされずにそれ自体で学習することができるタイプの学習を指す。
【0092】
本明細書において用いられるとき、用語「約」数字は、その数字±その数字の１０％を指す。用語「約」範囲は、その範囲からその最小値の１０％を差し引いたものからその最大値の１０％を加算したものを指す。
【0093】
本明細書において用いられるとき、句「ａ、ｂ、ｃ、及びｄの少なくとも１つ」は、ａ、ｂ、ｃ、又はｄ及びａ、ｂ、ｃ、及びｄのうちの２つ又は２つ以上を含むありとあらゆる組合せを指す。
【実施例】
【0094】
実施例１：全てのタンパク質の機能及び特徴のモデルの構築
この実施例は、特定のタンパク質機能又はタンパク質特性についての転移学習における第１のモデルの構築を説明する。第１のモデルは、７つの異なる機能表現（ＧＯ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢ）にわたる１７２，４０１＋アノテーションと共にＵｎｉｐｒｏｔデータベース（ｈｔｔｐｓ：／／ｗｗｗ．ｕｎｉｐｒｏｔ．ｏｒｇ／）からの５８００万のタンパク質配列でトレーニングされた。モデルは残差学習アーキテクチャに従う深層ニューラルネットワークに基づいた。ネットワークへの入力は、各行が、その残基に存在するアミノ酸に対応する厳密に１つの非ゼロエントリを含む行列としてアミノ酸配列をエンコードする「ワンホット」ベクターとして表されるタンパク質配列であった。行列は、２５の可能なアミノ酸が全ての標準及び非標準アミノ酸の可能性を包含できるようにし、アミノ酸１０００個よりも長い全てのタンパク質は、最初の１０００個のアミノ酸を残して切り捨てた。次に、６４フィルタを有する一次元畳み込み層によって入力を処理した後、バッチ正規化、正規化線形（ＲｅＬＵ）活性化関数、そして最後に一次元最大プーリング演算が続いた。これは「入力ブロック」と呼ばれ、図１に示される。
この実施例は、特定のタンパク質機能又はタンパク質特性についての転移学習における第１のモデルの構築を説明する。第１のモデルは、７つの異なる機能表現（ＧＯ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢ）にわたる１７２，４０１＋アノテーションと共にＵｎｉｐｒｏｔデータベース（ｈｔｔｐｓ：／／ｗｗｗ．ｕｎｉｐｒｏｔ．ｏｒｇ／）からの５８００万のタンパク質配列でトレーニングされた。モデルは残差学習アーキテクチャに従う深層ニューラルネットワークに基づいた。ネットワークへの入力は、各行が、その残基に存在するアミノ酸に対応する厳密に１つの非ゼロエントリを含む行列としてアミノ酸配列をエンコードする「ワンホット」ベクターとして表されるタンパク質配列であった。行列は、２５の可能なアミノ酸が全ての標準及び非標準アミノ酸の可能性を包含できるようにし、アミノ酸１０００個よりも長い全てのタンパク質は、最初の１０００個のアミノ酸を残して切り捨てた。次に、６４フィルタを有する一次元畳み込み層によって入力を処理した後、バッチ正規化、正規化線形（ＲｅＬＵ）活性化関数、そして最後に一次元最大プーリング演算が続いた。これは「入力ブロック」と呼ばれ、図１に示される。
【0095】
入力ブロック後、「識別ブロック」及び「畳み込みブロック」として知られる一連の演算の繰り返しを実行した。識別ブロックは一連の一次元畳み込み、バッチ正規化、及びＲｅＬＵ活性化を実行して、入力の形状を保持しながら入力をブロックに変換した。次に、これらの変換の結果を入力に加算し、ＲｅＬＵ活性化を使用して変換し、次に続く層／ブロックに渡した。識別ブロックの一例を図２に示す。
【0096】
畳み込みブロックは識別ブロックと同様であるが、識別分岐の代わりに、入力をリサイズする１つの畳み込み演算を有する分岐を含む。これらの畳み込みブロックは、タンパク質配列のネットワーク内部表現のサイズを変更する（例えば、多くの場合、増大する）のに使用される。畳み込みブロックの一例を図３に示す。
【0097】
入力ブロック後、畳み込みブロック（表現をリサイズする）に続く２～５の識別ブロックの形態の一連の演算を使用して、ネットワークのコアを構築した。このスキーマ（畳み込みブロック＋複数の識別ブロック）を合計で５回繰り返した。最後に、グローバル平均プーリング層の後に、５１２の隠れユニットを有する全結合層が続くものを実行して、配列エンベッドを作成した。エンベッドは、機能に関連する配列中の全ての情報をエンコードする５１２次元空間で生きるベクトルとして見ることができる。エンベッドを使用して、各アノテーションの線形モデルを用いて１７２，４０１のアノテーションのそれぞれの有無を予測した。このプロセスを示す出力層を図４に示す。
【0098】
８つのＶ１００ＧＰＵを有する計算ノードで、Ａｄａｍとして知られる確率的勾配降下法の変異体を使用して、トレーニングデータセット中の５７，５８７，６４８のタンパク質にわたる６つのフルパスについてモデルをトレーニングした。トレーニングには約１週間掛かった。約７００万個のタンパク質で構成されたバリデーションデータセットを使用してトレーニング済みモデルを検証した。
【0099】
ネットワークは、カテゴリ交差エントロピー損失を使用したＯｒｔｈｏＤＢを除き、各アノテーションのバイナリ交差エントロピー和を最小にするようにトレーニングされる。幾つかのアノテーションは非常に稀であるため、損失再加重戦略が性能を改善する。各バイナリ分類タスクで、マイノリティクラス（例えば陽性クラス）からの損失は、マイノリティクラスの逆周波数の平方根を使用して重み増大される。これは、大半の配列が、アノテーションの大半で陰性例である場合であっても、ネットワークが陽性例及び陰性例の両方に概ね等しく「注意を向ける」ように促す。
【0100】
最終モデルは、一次タンパク質配列のみからの７つの異なるタスクにわたり任意のラベルを予測する全体加重Ｆ１精度０．８４（表１）をもたらす。Ｆ１は、精度及び再現率の調和平均及びが、１において完璧であり、０において完全な失敗であることの精度の尺度である。マクロ及びマイクロ平均精度を表１に示す。マクロ平均の場合、壊死度は、各クラスで独立して計算され、次に、平均が求められる。この手法は全てのクラスを等しく扱う。マイクロ平均精度は、全てのクラスの寄与を集約して、平均尺度を計算する。
【0101】
【表1】
【0102】
実施例２：タンパク質安定性についての深層ニューラルネットワーク解析技法
この実施例は、一次アミノ酸配列から直接、タンパク質安定性の特定のタンパク質特性を予測するような第２のモデルのトレーニングを説明する。実施例１に記載の第１のモデルは、第２のモデルのトレーニングの開始点として使用される。
この実施例は、一次アミノ酸配列から直接、タンパク質安定性の特定のタンパク質特性を予測するような第２のモデルのトレーニングを説明する。実施例１に記載の第１のモデルは、第２のモデルのトレーニングの開始点として使用される。
【0103】
第２のモデルへのデータ入力は、Ｒｏｃｋｌｉｎら，Ｓｃｉｅｎｃｅ，２０１７から得られ、タンパク質安定性について高スループットイーストディスプレイアッセイで評価された３０，０００個のミニタンパク質を含む。手短に言えば、この実施例で第２のモデルへのデータ入力を生成するために、アッセイ済みの各タンパク質が、蛍光標識することができる発現タグに遺伝的に融合されたイーストディスプレイシステムを使用することにより、安定性についてタンパク質をアッセイした。細胞を種々の濃度のプロテアーゼを用いて培養した。蛍光活性化細胞ソート（ＦＡＣＳ）により安定したタンパク質を示した細胞を単離し、深層シーケンシングにより各タンパク質を同定した。アンフォールディング状態でのその配列の実測ＥＣ５０と予測ＥＣ５０との間の差分を示す最終安定性スコアを特定した。
【0104】
この最終安定性スコアは、第２のモデルへのデータ入力として使用される。５６，１２６のアミノ酸配列の実数値安定性スコアを、Ｒｏｃｋｌｉｎらの公開されている補足データから抽出し、次に、シャッフルし、４０，０００配列のトレーニングセット又は１６，１２６配列の独立テストセットのいずれかにランダムに割り当てた。
【0105】
実施例１の事前トレーニング済みモデルからのアーキテクチャは、アノテーション予測の出力層を除去し、線形活性化関数を有する全結合一次元出力層を追加して、サンプル毎のタンパク質安定値にフィッティングさせることにより調整される。１２８配列のバッチサイズ及び学習速度１×１０－４を有するＡｄａｍ最適化を使用して、モデルはトレーニングデータの９０％にフィッティングされ、残りの１０％を用いて検証され、２５までのエポックについての平均二乗誤差（ＭＳＥ）を最小にした（検証損失が２つの連続エポックにわたって増大する場合、早期に停止する）。この手順は、事前トレーニング済み重みを有する転移学習モデルである事前トレーニング済みモデル及びランダムに初期化されたパラメータを有する同一モデルアーキテクチャ（「ナイーブ」モデル）の両方に対して繰り返される。ベースライン比較の場合、Ｌ２正則化を有する線形回帰モデル（「リッジ」モデル）は同じデータにフィッティングされる。性能は、独立テストセットでの予測値ｖｓ実際の値のＭＳＥ及びピアソン相関の両方を介して評価される。次に、サンプルサイズ１０、５０、１００、５００、１０００、５０００、及び１００００でトレーニングセットから１０のランダムサンプルを引き出すことにより、「学習曲線」が作成され、上記トレーニング／テスト手順を各モデルに対して繰り返す。
【0106】
実施例１に記載のように第１のモデルをトレーニングし、それを本実施例２に記載されるように第２のモデルのトレーニングの開始点として使用した後、予測安定性と期待安定性との間のピアソン相関０．７２及びＭＳＥ０．１５が、標準線形回帰モデルから予測性能２４％で示される（図５）。図６の学習曲線は、低サンプルサイズで事前トレーニング済みモデルの高い相対精度を示し、これはトレーニングセットが成長するにつれて維持される。ナイーブモデルと比較して、事前トレーニング済みモデルは、等しい性能レベルを達成するのにより少数のサンプルでよいが、モデルは、予想通りに高いサンプルサイズで収束するように見える。線形モデルの性能は最終的に飽和するため、両深層学習モデルは、特定のサンプルサイズで線形モデルよりも優れる。
【0107】
実施例３：タンパク質蛍光についての深層ニューラルネットワーク解析技法
この実施例は、一次配列から直接、蛍光という特定のタンパク質機能を予測するような第２のモデルのトレーニングを説明する。
この実施例は、一次配列から直接、蛍光という特定のタンパク質機能を予測するような第２のモデルのトレーニングを説明する。
【0108】
実施例１に記載の第１のモデルは、第２のモデルのトレーニングの開始点として使用される。この実施例では、第２のモデルへのデータ入力は、Ｓａｒｋｉｓｙａｎら，Ｎａｔｕｒｅ，２０１６からのものであり、５１，７１５のラベル付きＧＦＰ変異体を含んだ。手短に言えば、蛍光活性化細胞ソートを使用して、各変異体を発現している細菌を、５１０ｎｍ放射の輝度の異なる８つの集団にソートして、ＧＦＰ活性をアッセイした。
【0109】
実施例１の事前トレーニング済みモデルからのアーキテクチャは、アノテーション予測の出力層を除去し、シグモイド活性化関数を有する全結合一次元出力層を追加して、各配列を蛍光又は非蛍光のいずれかとして分類することにより調整される。１２８配列のバッチサイズ及び学習速度１×１０－４を有するＡｄａｍ最適化を使用して、モデルは、２００エポックでのバイナリ交差エントロピーを最小にするようにトレーニングされる。この手順は、事前トレーニング済み重みを有する転移学習モデル（「事前トレーニング済みモデル」）及びランダムに初期化されたパラメータを有する同一モデルアーキテクチャ（「ナイーブ」モデル）の両方に対して繰り返される。ベースライン比較の場合、Ｌ２正則化を有する線形回帰モデル（「リッジ」モデル）は同じデータにフィッティングされる。
【0110】
フルデータはトレーニングセット及びバリデーションセットに分割され、バリデーションデータは上位２０％の輝度のタンパク質であり、トレーニングセットは下位８０％であった。転移学習モデルが非転移学習モデルをいかに改善し得るかを推測するために、トレーニングデータセットをサブサンプリングして、サンプルサイズ４０、５０、１００、５００、１０００、５０００、１００００、２５０００、４００００、及び４８０００配列を作成する。ランダムサンプリングをフルトレーニングデータセットからの各サンプルサイズの１０のリアライゼーションに対して実行して、各方法の性能及びばらつきを測定する。関心のある一次尺度は陽性的中率であり、これは、モデルからの全ての陽性予測の中での真の陽性の割合である。
【0111】
転移学習の追加は、全体陽性的中率を増大させるとともに、他のいずれの方法よりも少ないデータで予測能力を可能にもする（図７）。例えば、第２のモデルへの入力データとして１００の配列－機能ＧＦＰ対を用いる場合、トレーニングへの第１のモデルの追加は、不正確な予測を３３％低減させる。加えて、第２のモデルへの入力データとして４０のみの配列－機能ＧＦＰ対を用いる場合、トレーニングへの第１のモデルの追加は、陽性的中率７０％をもたらし、一方、第２のモデル単独又は標準ロジスティック回帰モデルは、陽性的中率０で不確定であった。
【0112】
実施例４：タンパク質酵素活性についての深層ニューラルネットワーク解析技法
この実施例は、一次アミノ酸配列から直接、タンパク質酵素活性を予測するような第２のモデルのトレーニングを説明する。第２のモデルへのデータ入力は、Ｈａｌａｂｉら，Ｃｅｌｌ，２００９からのものであり、１，３００のＳ１Ａセリンプロテアーゼを含んだ。論文から引用されるデータの説明は以下の通りである：「Ｓ１Ａ、ＰＡＳ、ＳＨ２、及びＳＨ３ファミリを含む配列は、反復ＰＳＩ－ＢＬＡＳＴ（Ａｌｔｓｃｈｕｌら，１９９７）を通してＮＣＢＩ非冗長データベース（リリース２．２．１４、２００６年５月７日）から収集され、Ｃｎ３Ｄ（Ｗａｎｇら、２０００）及びＣｌｕｓｔａｌＸ（Ｔｈｏｍｐｓｏｎら、１９９７）とアラインメントされ、次に、標準手動調整法（Ｄｏｏｌｉｔｔｌｅ、１９９６）が続いた」。このデータを使用して、以下のカテゴリについて一次アミノ酸配列からの一次触媒特異性を予測することを目的として第２のモデルをトレーニングした：トリプシン、キモトリプシン、グランザイム、及びカリクレイン。これらの４つのカテゴリで合計４２２の配列がある。重要なことには、モデルのいずれも複数の配列アラインメントを使用せず、このタスクが、複数配列アラインメントを必要とせずに可能なことを示した。
この実施例は、一次アミノ酸配列から直接、タンパク質酵素活性を予測するような第２のモデルのトレーニングを説明する。第２のモデルへのデータ入力は、Ｈａｌａｂｉら，Ｃｅｌｌ，２００９からのものであり、１，３００のＳ１Ａセリンプロテアーゼを含んだ。論文から引用されるデータの説明は以下の通りである：「Ｓ１Ａ、ＰＡＳ、ＳＨ２、及びＳＨ３ファミリを含む配列は、反復ＰＳＩ－ＢＬＡＳＴ（Ａｌｔｓｃｈｕｌら，１９９７）を通してＮＣＢＩ非冗長データベース（リリース２．２．１４、２００６年５月７日）から収集され、Ｃｎ３Ｄ（Ｗａｎｇら、２０００）及びＣｌｕｓｔａｌＸ（Ｔｈｏｍｐｓｏｎら、１９９７）とアラインメントされ、次に、標準手動調整法（Ｄｏｏｌｉｔｔｌｅ、１９９６）が続いた」。このデータを使用して、以下のカテゴリについて一次アミノ酸配列からの一次触媒特異性を予測することを目的として第２のモデルをトレーニングした：トリプシン、キモトリプシン、グランザイム、及びカリクレイン。これらの４つのカテゴリで合計４２２の配列がある。重要なことには、モデルのいずれも複数の配列アラインメントを使用せず、このタスクが、複数配列アラインメントを必要とせずに可能なことを示した。
【0113】
実施例１の事前トレーニング済みモデルからのアーキテクチャは、アノテーション予測の出力層を除去し、ソフトマックス活性化関数を有する全結合四次元出力層を追加して、各配列を４つの可能なカテゴリの１つに分類することにより調整される。１２８配列のバッチサイズ及び学習速度１×１０－４を有するＡｄａｍ最適化を使用して、モデルはトレーニングデータの９０％にフィッティングされ、残りの１０％を用いて検証され、５００までのエポックについてのカテゴリ交差エントロピーを最小にした（検証損失が１０の連続エポックにわたって増大する場合、早期に停止する）。この全体プロセスは１０回繰り返されて（１０フォールド交差検証として知られている）、各モデルの精度及びばらつきを査定する。これは、事前トレーニング済み重みを有する転移学習モデルである事前トレーニング済みモデル及びランダムに初期化されたパラメータを有する同一モデルアーキテクチャ（「ナイーブ」モデル）の両方に対して繰り返される。ベースライン比較の場合、Ｌ２正則化を有する線形回帰モデル（「リッジ」モデル）は同じデータにフィッティングされる。性能は、各フォールドでの保留データでの分類精度評価される。
【0114】
実施例１に記載のように第１のモデルをトレーニングし、それを本実施例２に記載されるように第２のモデルのトレーニングの開始点として使用した後、結果は、事前トレーニング済みモデルを使用した場合、ナイーブモデルを用いた場合の８１％及び線形回帰を使用した場合の８０％と比較して、９３％のメジアン分類制度を示した。
【0115】
【表2】
【0116】
実施例５：タンパク質溶解性についての深層ニューラルネットワーク解析技法
多くのアミノ酸配列は、溶液中で凝集する構造になる。アミノ酸配列の凝集傾向を低減する（例えば、溶解性を改善する）ことは、よりよい治療を設計するための目標である。したがって、配列から直接、凝集及び溶解性を予測するモデルは、このために重要なツールである。この実施例は、トランスフォーマアーキテクチャの自己教師あり事前トレーニング及び続く、逆の特性であるタンパク質凝集の読み出しを介したアミロイドベータ（Ａβ）溶解性を予測するようなモデルのファインチューニングを説明する。データは、高スループット深層変異スキャンにおける全ての可能な単一点変異について凝集アッセイを使用して測定される。Ｇｒａｙら，“Ｅｌｕｃｉｄａｔｉｎｇ ｔｈｅ Ｍｏｌｅｃｕｌａｒ Ｄｅｔｅｒｍｉｎａｎｔｓ ｏｆ Ａβ Ａｇｇｒｅｇａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｍｕｔａｔｉｏｎａｌ Ｓｃａｎｎｉｎｇ”，Ｇ３，２０１９は、少なくとも１つの実施例において本モデルをトレーニングするのに使用されるデータを含む。しかしながら、幾つかの態様では、他のデータをトレーニングに使用することができる。この実施例では、転移学習の有効性は、前の実施例からの異なるエンコーダアーキテクチャを使用して、この場合では、畳み込みニューラルネットワークの代わりにトランスフォーマを使用して示される。転移学習は、トレーニングデータでは分からないタンパク質位置へのモデルの一般化を改善する。
多くのアミノ酸配列は、溶液中で凝集する構造になる。アミノ酸配列の凝集傾向を低減する（例えば、溶解性を改善する）ことは、よりよい治療を設計するための目標である。したがって、配列から直接、凝集及び溶解性を予測するモデルは、このために重要なツールである。この実施例は、トランスフォーマアーキテクチャの自己教師あり事前トレーニング及び続く、逆の特性であるタンパク質凝集の読み出しを介したアミロイドベータ（Ａβ）溶解性を予測するようなモデルのファインチューニングを説明する。データは、高スループット深層変異スキャンにおける全ての可能な単一点変異について凝集アッセイを使用して測定される。Ｇｒａｙら，“Ｅｌｕｃｉｄａｔｉｎｇ ｔｈｅ Ｍｏｌｅｃｕｌａｒ Ｄｅｔｅｒｍｉｎａｎｔｓ ｏｆ Ａβ Ａｇｇｒｅｇａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｍｕｔａｔｉｏｎａｌ Ｓｃａｎｎｉｎｇ”，Ｇ３，２０１９は、少なくとも１つの実施例において本モデルをトレーニングするのに使用されるデータを含む。しかしながら、幾つかの態様では、他のデータをトレーニングに使用することができる。この実施例では、転移学習の有効性は、前の実施例からの異なるエンコーダアーキテクチャを使用して、この場合では、畳み込みニューラルネットワークの代わりにトランスフォーマを使用して示される。転移学習は、トレーニングデータでは分からないタンパク質位置へのモデルの一般化を改善する。
【0117】
この実施例では、データは、７９１の配列－ラベル対の組として収集されフォーマットされる。ラベルは、各配列の複数の複製にわたる実数値凝集アッセイ測定の手段である。データは２つの方法により４：１の比率でトレーニングセット／テストセットに分割される：（１）ランダムに；各ラベル付き配列はトレーニングセット、バリデーションセット、又はテストセットに割り当てられる、又は（２）残基により；所与の位置に変異を有する全ての配列は、モデルが、トレーニング中、特定のランダムに選択された位置からのデータから分離される（例えば、決して露出されない）が、差し出されたテストデータでのこれらの未見位置における出力を予測するよう強いられるようにトレーニングセット又はテストセットのいずれかに一緒にグループ化される。図１１は、タンパク質位置による分割の態様例を示す。
【0118】
この実施例は、タンパク質の特性予測にＢＥＲＴ言語モデルのトランスフォーマアーキテクチャを利用する。モデルは、入力配列の特定の残基がモデルからマスクされ又は隠され、モデルが、マスクされない残基を所与として、マスクされた残基を同定するタスクを負うように「自己教師あり」様式でトレーニングされる。この実施例では、モデルは、モデル開発時にＵｎｉＰｒｏｔＫＢからダウンロード可能な１億５６００万超のタンパク質アミノ酸配列のフルセットを用いてトレーニングされる。各配列で、アミノ酸位置の１５％がモデルからランダムにマスクされ、マスクされた配列は実施例１に記載の「ワンホット」入力フォーマットに変換され、モデルは、マスク予測の精度を最大にするようにトレーニングされる。Ｒｉｖｅｓら，“Ｂｉｏｌｏｇｉｃａｌ Ｓｔｒｕｃｔｕｒｅ ａｎｄ Ｆｕｎｃｔｉｏｎ Ｅｍｅｒｇｅ ｆｒｏｍ Ｓｃａｌｉｎｇ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ ｔｏ ２５０ Ｍｉｌｌｉｏｎ Ｐｒｏｔｅｉｎ Ｓｅｑｕｅｎｃｅｓ”，ｈｔｔｐ：／／ｄｘ．ｄｏｉ．ｏｒｇ／１０．１１０１／６２２８０３，２０１９（以下“Ｒｉｖｅｓ”）が、他の用途を記載することを当業者は理解することができる。
【0119】
図１０Ａは、本開示の態様例を示すブロック図１０５０である。図１０５０は、本開示に記載の方法を実施することができる１つのシステムであるトレーニングＯｍｎｉｐｒｏｔを示す。Ｏｍｎｉｐｒｏｔは事前トレーニング済みトランスフォーマを指すことができる。Ｏｍｎｉｐｒｏｔのトレーニングが、Ｒｉｖｅｓらと局面において同様であることができるが、同様にバリエーションも有することを理解することができる。第１に、配列及び配列の特性（予測された機能又は他の特性）を有する対応するアノテーションが、Ｏｍｎｉｐｒｏｔのニューラルネットワーク／モデルを事前トレーニングする（１０５２）。これらの配列は大きなデータセットであり、この例では、１億５６００万の配列である。次に、特定のライブラリ測定であるより小さなデータセットが、Ｏｍｎｉｐｒｏｔをファインチューニングする（１０５４）。この特定の例では、より小さなデータセットは７９１個のアミロイドベータ配列凝集ラベルである。しかしながら、他の数及び他のタイプの配列及びラベルを利用してもよいことを当業者は認識することができる。ファインチューニングされると、Ｏｍｎｉｐｒｏｔデータベースは配列の予測された機能を出力することができる。
【0120】
より詳細なレベルで、転移学習法は、タンパク質凝集予測タスクについて事前トレーニング済みモデルをファインチューニングする。トランスフォーマアーキテクチャからのデコーダは除去され、残りのエンコーダからの出力としてＬ×Ｄ次元テンソルを明らかにし、ここで、Ｌはタンパク質の長さであり、埋め込み次元Ｄはハイパーパラメータである。このテンソルは、長さ次元Ｌにわたる平均を計算することによりＤ次元埋め込みベクトルに低減される。次に、線形活性化関数を有する新しい全結合一次元出力層が加算され、モデルにおける全ての層の重みは、スカラー凝集アッセイ値にフィッティングされる。ベースライン比較の場合、Ｌ２正則化を有する線形回帰モデル及びナイーブトランスフォーマ（事前トレーニングされた重みではなくランダムに初期化された重みを使用する）の両方もトレーニングデータにフィッティングされる。全てのモデルの性能は、差し出されたテストデータでの予測ラベルｖｓ真のラベルのピアソン相関を使用して評価される。
【0121】
図１２は、ランダム分割及び位置による分割を使用した線形、ナイーブ、及び事前トレーニング済みトランスフォーマ結果の結果例を示す。３つ全てのモデルで、位置によるデータ分割はより難しいタスクであり、全てのタイプのモデルを使用して性能は下がる。線形モデルは、データの性質に起因して位置ベースの分割でのデータから学習することができない。ワンホット入力ベクトルは、いかなる特定のアミノ酸変異体でもトレーニングセットとテストセットとの間で重複を有さない。しかしながら、両トランスフォーマモデル（例えば、ナイーブトランスフォーマ及び事前トレーニング済みトランスフォーマ）は、データのランダム分割と比較して精度の小さな損失だけで、トレーニングデータでのある組の位置から別の組の位置へのタンパク質凝集ルールを一般化することが可能である。ナイーブトランスフォーマはｒ＝０．８０を有し、事前トレーニング済みトランスフォーマはｒ＝０．８７を有する。さらに、両タイプのデータ分割で、事前トレーニング済みトランスフォーマは、ナイーブモデルよりもかなり高い精度を有し、先の実施例とは完全に異なる深層学習アーキテクチャを用いたタンパク質についての転移学習の力を示す。
【0122】
実施例６：酵素活性予測についての連続標的事前トレーニング
Ｌ－アスパラギナーゼは、アミノ酸アスパラギンをアスパラギン酸塩及びアンモニアに変換する代謝酵素である。人間は自然にこの酵素を作るが、高活性細菌変異体（大腸菌（Ｅｓｃｈｅｒｉｃｈｉａ ｃｏｌｉ）又は黒脚病菌（Ｅｒｗｉｎｉａ ｃｈｒｙｓａｎｔｈｅｍｉ）由来）が、体内への直接注射により特定の白血病の治療に使用される。アスパラギナーゼは、Ｌ－アスパラギンを血流から除去し、アミノ酸に依存する癌細胞を殺すことにより機能する。
Ｌ－アスパラギナーゼは、アミノ酸アスパラギンをアスパラギン酸塩及びアンモニアに変換する代謝酵素である。人間は自然にこの酵素を作るが、高活性細菌変異体（大腸菌（Ｅｓｃｈｅｒｉｃｈｉａ ｃｏｌｉ）又は黒脚病菌（Ｅｒｗｉｎｉａ ｃｈｒｙｓａｎｔｈｅｍｉ）由来）が、体内への直接注射により特定の白血病の治療に使用される。アスパラギナーゼは、Ｌ－アスパラギンを血流から除去し、アミノ酸に依存する癌細胞を殺すことにより機能する。
【0123】
酵素活性の予測モデルの開発を目的として、タイプＩＩアスパラギナーゼの１９７の自然発生配列変異体の組をアッセイする。全ての配列は、以下のようにクローンプラスミドとして並べられ、Ｅ ｃｏｌｉで発現し、単離され、酵素の最大酵素速度についてアッセイされる：９６ウェル高さの結合プレートをａｎｔｉ－６Ｈｉｓタグ抗体でコートする。次に、ウェルを洗浄し、ＢＳＡブロッキングバッファを使用してブロックする。ブロッキング後、ウェルを再び洗浄し、次に、発現したＨｉｓタグ付けアスパラギナーゼを含む適宜希釈したＥ．ｃｏｌｉライセートで培養する。１時間後、プレートを洗浄し、アスパラギナーゼ活性アッセイ混合物（ＢｉｏｖｉｓｉｏｎキットＫ７５４から）を添加する。５４０ｎｍにおける分光測定により酵素活性を測定し、２５分間にわたり１分毎に読み出される。各サンプルのレートを特定するために、４分窓にわたる最高傾きが、各酵素の最大瞬間速度としてとられる。上記酵素速度はタンパク質機能の一例である。これらの活性ラベル付き配列は、１００の配列トレーニングセット及び９７の配列テストセットに分けられた。
【0124】
図１０Ｂは、本開示の方法の態様例を示すブロック図１０００である。理論上、全ての公知のアスパラギナーゼ様タンパク質を使用した、実施例５からの事前トレーニング済みモデルの教師なしファインチューニングの続くラウンドは、少数の実測配列での転移学習タスクにおいてモデルの予測性能を改善する。最初、ＵｎｉＰｒｏｔＫＢからの全ての既知のタンパク質配列の世界でトレーニングされた実施例５の事前トレーニング済みトランスフォーマモデルは、ＩｎｔｅｒＰｒｏファミリＩＰＲ００４５５０“Ｌ－アスパラギナーゼ、タイプＩＩ”を用いてアノテーションされた１２，５８３の配列で更にファインチューニングされる。これは２ステップ事前トレーニングプロセスであり、両ステップは実施例５の同じ自己教師あり法に適用される。
【0125】
第１のシステム１００１は、トランスフォーマエンコーダ及びデコーダ１００６を有し、１組の全てのタンパク質を使用してトレーニングされる。この例では、１億５６００万のタンパク質配列が利用されるが、他の量の配列を使用してもよいことを当業者は理解することができる。モデル１００１のトレーニングに使用されるデータのサイズが、第２のシステム１０１１のトレーニングに使用されるデータのサイズよりも大きいことを当業者は更に理解することができる。第１のモデルは事前トレーニング済みモデル１００８を生成し、これは第２のシステム１０１１に送られる。
【0126】
第２のシステム１０１１は、事前トレーニング済みモデル１００８を受け入れ、より小さなデータセットであるアスパラギナーゼ配列１０１２を用いてモデルをトレーニングする。しかしながら、他のデータセットをこのファインチューニングトレーニングに使用してもよいことを当業者は認識することができる。次に、第２のシステム１０１１は転移学習法を適用して、デコーダ層１０１６を線形回帰層１０２６で置換し、教師ありタスクとしてスカラー酵素活性値１０２２を予測するように、生成されたモデルを更にトレーニングすることにより、活性を予測する。ラベル付き配列は、トレーニングセット及びテストセットにランダムに分割される。モデルは、１００の活性ラベル付きアスパラギナーゼ配列１０２２のトレーニングセットでトレーニングされ、次に、性能は差し出されたテストセットで評価される。理論化されるように、第２の事前トレーニングステップを用いた転移学習－タンパク質ファミリ内の利用可能な全ての配列を利用する－は、低データ設定において－すなわち、第２のトレーニングが初期トレーニングよりも少ない又はかなり少ないデータを有した場合－予測精度の顕著な増大を生み出した。
【0127】
図１３Ａは、１０００のラベルなしアスパラギナーゼ配列のマスク予測での再構築誤差を示すグラフである。図１３Ａは、アスパラギナーゼタンパク質について事前トレーニングする第２のラウンド後の再構築誤差（左）が、天然アスパラギナーゼ配列モデル（右）を用いてファインチューニングされたＯｍｎｉｐｒｏｔと比較して低減することを示す。図１３Ｂは、１００のみのラベル付き配列を用いいたトレーニング後の９７の差し出された活性ラベル付き配列での予測精度を示すグラフである。実測活性ｖｓモデル予測のピアソン相関は、１つの（ＯｍｎｉＰｒｏｔ）事前トレーニングステップよりも２ステップ事前トレーニングを用いて顕著に改善される。
【0128】
上記説明及び例では、特定の数のサンプルサイズ、反復、エポック、バッチサイズ、学習速度、精度、データ入力サイズ、フィルタ、アミノ酸配列、及び他の数字が調整又は最適化可能であるが、当業者は認識することができる。特定の態様が実施例に記載されるが、実施例に列記された数字は非限定的である。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
所望のタンパク質特性をモデリングする方法であって、
（ａ）第１のニューラルネットエンベッダー及び第１のニューラルネット予測子を含む第１の事前トレーニング済みシステムを提供することであって、前記事前トレーニング済みシステムの前記第１のニューラルネット予測子は、前記所望のタンパク質特性と異なる、提供することと、
（ｂ）前記事前トレーニング済みシステムの前記第１のニューラルネットエンベッダーの少なくとも一部を第２のシステムに転移することであって、前記第２のシステムは第２のニューラルネットエンベッダー及び第２のニューラルネット予測子を含み、前記第２のシステムの前記第２のニューラルネット予測子は、前記所望のタンパク質特性を提供する、転移することと、
（ｃ）前記第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、前記タンパク質検体の前記所望のタンパク質特性の予測を生成する、解析することと、
を含む方法。
〔態様２〕
前記第１及び第２のシステムの前記ニューラルネットエンベッダーのアーキテクチャは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、及びＭｏｂｉｌｅＮｅｔの少なくとも１つから独立して選択される畳み込みアーキテクチャである、態様１に記載の方法。
〔態様３〕
前記第１のシステムは、条件付き敵対的生成ネットワーク（ＧＡＮ）、ＤＣＧＡＮ、ＣＧＡＮ、ＳＧＡＮ若しくはプログレッシブＧＡＮ、ＳＡＧＡＮ、ＬＳＧＡＮ、ＷＧＡＮ、ＥＢＧＡＮ、ＢＥＧＡＮ、又はｉｎｆｏＧＡＮから選択される敵対的生成ネットワーク（ＧＡＮ）を含む、態様１に記載の方法。
〔態様４〕
前記第１のシステムは、Ｂｉ－ＬＳＴＭ／ＬＳＴＭ、Ｂｉ－ＧＲＵ／ＧＲＵ、又はトランスフォーマネットワークから選択されるリカレントニューラルネットワークを含む、態様３に記載の方法。
〔態様５〕
前記第１のシステムは変分自動エンコーダ（ＶＡＥ）を含む、態様３に記載の方法又はシステム。
〔態様６〕
前記エンベッダーは、少なくとも５０、１００、１５０、２００、２５０、３００、３５０、４００、４５０、５００、６００、７００、８００、９００、１０００、又はそれ以上のアミノ酸配列のセットでトレーニングされる、態様１～５のいずれか一態様記載の方法。
〔態様７〕
前記アミノ酸配列は、ＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、又はＯｒｔｈｏＤＢの少なくとも１つを含む１つ又は複数の機能表現にわたるアノテーションを含む、態様６に記載の方法。
〔態様８〕
前記アミノ酸配列は、少なくとも約１万、２万、３万、４万、５万、７．５万、１０万、１２万、１４万、１５万、１６万、又は１７万の可能なアノテーションを有する、態様７に記載の方法。
〔態様９〕
前記第２のモデルは、前記第１のモデルの前記転移されたエンベッダーを使用せずにトレーニングされたモデルと比較して改善された性能尺度を有する、態様１～８のいずれか一態様記載の方法。
〔態様１０〕
前記第１又は第２のシステムは、Ａｄａｍ、ＲＭＳプロップ、モメンタムを用いる確率的勾配降下（ＳＧＤ）、モメンタム及びＮｅｓｔｒｏｖ加速勾配を用いるＳＧＤ、モメンタムなしのＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍにより最適化される、態様１～９のいずれか一態様記載の方法。
〔態様１１〕
前記第１及び第２のモデルは、以下の活性化関数のいずれかを使用して最適化することができる：ソフトマックス、ｅｌｕ、ＳｅＬＵ、ソフトプラス、ソフトサイン、ＲｅＬＵ、ｔａｎｈ、シグモイド、ハードシグモイド、指数、ＰＲｅＬＵ、及びＬｅａｓｋｙＲｅＬＵ、又は線形、態様１～１０のいずれか一態様記載の方法。
〔態様１２〕
前記ニューラルネットエンベッダーは、少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれ以上の層を含み、前記予測子は、少なくとも１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、又はそれ以上の層を含む、態様１～１１のいずれか一態様記載の方法。
〔態様１３〕
前記第１又は第２のシステムの少なくとも一方は、早期停止、Ｌ１－Ｌ２正則化、スキップ接続、又はそれらの組合せから選択される正則化を利用し、前記正則化は１、２、３、４、５、又はそれ以上の層で実行される、態様１～１２のいずれか一態様記載の方法。
〔態様１４〕
前記正則化はバッチ正規化を使用して実行される、態様１３に記載の方法。
〔態様１５〕
前記正則化はグループ正規化を使用して実行される、態様１３に記載の方法。
〔態様１６〕
前記第２のシステムの第２のモデルは、前記第１のモデルの最後の層が除去される前記第１のシステムの第１のモデルを含む、態様１～１５のいずれか一態様記載の方法。
〔態様１７〕
前記第１のモデルの２、３、４、５、又はそれ以上の層は、前記第２のモデルへの転移において除去される、態様１６に記載の方法。
〔態様１８〕
前記転移された層は、前記第２のモデルのトレーニング中、凍結される、態様１６又は１７に記載の方法。
〔態様１９〕
前記転移された層は、前記第２のモデルのトレーニング中、凍結されない、態様１６又は１７に記載の方法。
〔態様２０〕
前記第２のモデルは、前記第１のモデルの前記転移された層に追加される１、２、３、４、５、６、７、８、９、１０、又はそれ以上の層を有する、態様１７～１９のいずれか一態様記載の方法。
〔態様２１〕
前記第２のシステムの前記ニューラルネット予測子は、タンパク質結合活性、核酸結合活性、タンパク質溶解性、及びタンパク質安定性の１つ又は複数を予測する、態様１～２０のいずれか一態様記載の方法。
〔態様２２〕
前記第２のシステムの前記ニューラルネット予測子は、タンパク質蛍光を予測する、態様１～２１のいずれか一態様記載の方法。
〔態様２３〕
前記第２のシステムの前記ニューラルネット予測子は、酵素活性を予測する、態様１～２２のいずれか一態様記載の方法。
〔態様２４〕
アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータ実施方法であって、
（ａ）第１の機械学習ソフトウェアモジュールを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、
（ｂ）第２の機械学習ソフトウェアモジュールに前記第１のモデル又はその一部を転移することと、
（ｃ）前記第２の機械学習ソフトウェアモジュールにより、前記第１のモデルの少なくとも一部を含む第２のモデルを生成することと、
（ｄ）前記第２のモデルに基づいて、前記アミノ酸配列と前記タンパク質機能との間の以前は未知であった関連を識別することと、
を含む方法。
〔態様２５〕
前記アミノ酸配列は一次タンパク質構造を含む、態様２４に記載の方法。
〔態様２６〕
前記アミノ酸配列は、前記タンパク質機能を生じさせるタンパク質構成を生じさせる、態様２４又は２５に記載の方法。
〔態様２７〕
前記タンパク質機能は蛍光を含む、態様２４～２６のいずれか一態様記載の方法。
〔態様２８〕
前記タンパク質機能は酵素活性を含む、態様２４～２７のいずれか一態様記載の方法。
〔態様２９〕
前記タンパク質機能はヌクレアーゼ活性を含む、態様２４～２８のいずれか一態様記載の方法。
〔態様３０〕
前記タンパク質機能は、タンパク質安定性の程度を含む、態様２４～２９のいずれか一態様記載の方法。
〔態様３１〕
前記複数のタンパク質特性及び前記複数のアミノ酸配列は、ＵｎｉＰｒｏｔからのものである、態様２４～３０のいずれか一態様記載の方法。
〔態様３２〕
前記複数のタンパク質特性は、ラベルＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数を含む、態様２４～３１のいずれか一態様記載の方法。
〔態様３３〕
前記複数のアミノ酸配列は、複数のタンパク質の一次タンパク質構造、二次タンパク質構造、及び三次タンパク質構造を形成する、態様２４～３２のいずれか一態様記載の方法。
〔態様３４〕
前記第１のモデルは、多次元テンソル、三次元原子位置の表現、対毎の相互作用の隣接行列、及び文字埋め込みの１つ又は複数を含む入力データでトレーニングされる、態様２４～３３のいずれか一態様記載の方法。
〔態様３５〕
前記第２の機械学習モジュールに、一次アミノ酸配列の変異に関連するデータ、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、及び選択的スプライシング転写からの予測されたアイソフォームの少なくとも１つを入力することを含む、態様２４～３４のいずれか一態様記載の方法。
〔態様３６〕
前記第１のモデル及び前記第２のモデルは、教師あり学習を使用してトレーニングされる、態様２４～３５のいずれか一態様記載の方法。
〔態様３７〕
前記第１のモデルは教師あり学習を使用してトレーニングされ、前記第２のモデルは教師なし学習を使用してトレーニングされる、態様２４～３６のいずれか一態様記載の方法。
〔態様３８〕
前記第１のモデル及び前記第２のモデルは、畳み込みニューラルネットワーク、敵対的生成ネットワーク、リカレントニューラルネットワーク、又は変分自動エンコーダを含むニューラルネットワークを含む、態様２４～３７のいずれか一態様記載の方法。
〔態様３９〕
前記第１のモデル及び前記第２のモデルはそれぞれ、異なるニューラルネットワークアーキテクチャを含む、態様３８に記載の方法。
〔態様４０〕
前記畳み込みネットワークは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔの１つを含む、態様３８又は３９に記載の方法。
〔態様４１〕
前記第１のモデルはエンベッダーを含み、前記第２のモデルは予測子を含む、態様２４～４０のいずれか一態様記載の方法。
〔態様４２〕
第１のモデルアーキテクチャは複数の層を含み、第２のモデルアーキテクチャは、前記複数の層のうちの少なくとも２つの層を含む、態様４１に記載の方法。
〔態様４３〕
前記第１の機械学習ソフトウェアモジュールは、少なくとも１０，０００のタンパク質特性を含む第１のトレーニングデータセットで前記第１のモデルをトレーニングし、前記第２の機械学習ソフトウェアモジュールは、第２のトレーニングデータセットを使用して前記第２のモデルをトレーニングする、態様２４～４２のいずれか一態様記載の方法。
〔態様４４〕
アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータシステムであって、
（ａ）プロセッサと、
（ｂ）命令を内部に記憶した非一時的コンピュータ可読媒体と、
を備え、前記命令は、実行されると、前記プロセッサに、
（ｉ）第１の機械学習ソフトウェアモデルを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、
（ｉｉ）前記第１のモデル又はその一部を第２の機械学習ソフトウェアモジュールに転移することと、
（ｉｉｉ）前記第２の機械学習ソフトウェアモジュールにより、前記第１のモデルの少なくとも一部を含む第２のモデルを生成することと、
（ｉｖ）前記第２のモデルに基づいて、前記アミノ酸配列と前記タンパク質機能との間の以前は未知であった関連を識別することと、
を行わせるように構成される、システム。
〔態様４５〕
前記アミノ酸配列は一次タンパク質構造を含む、態様４４に記載のシステム。
〔態様４６〕
前記アミノ酸配列は、前記タンパク質機能を生じさせるタンパク質構成を生じさせる、態様４４又は４５に記載のシステム。
〔態様４７〕
前記タンパク質機能は蛍光を含む、態様４４～４６のいずれか一態様記載のシステム。
〔態様４８〕
前記タンパク質機能は酵素活性を含む、態様４４～４７のいずれか一態様記載のシステム。
〔態様４９〕
前記タンパク質機能はヌクレアーゼ活性を含む、態様４４～４８のいずれか一態様記載のシステム。
〔態様５０〕
前記タンパク質機能は、タンパク質安定性の程度を含む、態様４４～４９のいずれか一態様記載のシステム。
〔態様５１〕
前記複数のタンパク質特性及び複数のタンパク質マーカは、ＵｎｉＰｒｏｔからのものである、態様４４～５０のいずれか一態様記載のシステム。
〔態様５２〕
前記複数のタンパク質特性は、ラベルＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数を含む、態様４４～５１のいずれか一態様記載のシステム。
〔態様５３〕
前記複数のアミノ酸配列は、複数のタンパク質の一次タンパク質構造、二次タンパク質構造、及び三次タンパク質構造を含む、態様４４～５２のいずれか一態様記載のシステム。
〔態様５４〕
前記第１のモデルは、多次元テンソル、三次元原子位置の表現、対毎の相互作用の隣接行列、及び文字埋め込みの１つ又は複数を含む入力データでトレーニングされる、態様４４～５３のいずれか一態様記載のシステム。
〔態様５５〕
前記ソフトウェアは、前記プロセッサに、一次アミノ酸配列の変異に関連するデータ、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、及び選択的スプライシング転写からの予測されたアイソフォームの少なくとも１つを前記第２の機械学習モジュールに入力させるように構成される、態様４４～５４のいずれか一態様記載のシステム。
〔態様５６〕
前記第１のモデル及び前記第２のモデルは、教師あり学習を使用してトレーニングされる、態様４４～５５のいずれか一態様記載のシステム。
〔態様５７〕
前記第１のモデルは教師あり学習を使用してトレーニングされ、前記第２のモデルは教師なし学習を使用してトレーニングされる、態様４４～５６のいずれか一態様記載のシステム。
〔態様５８〕
前記第１のモデル及び前記第２のモデルは、畳み込みニューラルネットワーク、敵対的生成ネットワーク、リカレントニューラルネットワーク、又は変分自動エンコーダを含むニューラルネットワークを含む、態様４４～５７のいずれか一態様記載のシステム。
〔態様５９〕
前記第１のモデル及び前記第２のモデルはそれぞれ、異なるニューラルネットワークアーキテクチャを含む、態様５８に記載のシステム。
〔態様６０〕
前記畳み込みネットワークは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔの１つを含む、態様５８又は５９に記載のシステム。
〔態様６１〕
前記第１のモデルはエンベッダーを含み、前記第２のモデルは予測子を含む、態様４４～６０のいずれか一態様記載のシステム。
〔態様６２〕
第１のモデルアーキテクチャは複数の層を含み、第２のモデルアーキテクチャは、前記複数の層のうちの少なくとも２つの層を含む、態様６１に記載のシステム。
〔態様６３〕
前記第１の機械学習ソフトウェアモジュールは、少なくとも１０，０００のタンパク質特性を含む第１のトレーニングデータセットで前記第１のモデルをトレーニングし、前記第２の機械学習ソフトウェアモジュールは、第２のトレーニングデータセットを使用して前記第２のモデルをトレーニングする、態様４４～６２のいずれか一態様記載のシステム。
〔態様６４〕
所望のタンパク質特性をモデリングする方法であって、
第１のデータセットを用いて第１のシステムをトレーニングすることであって、前記第１のシステムは第１のニューラルネットトランスフォーマエンコーダ及び第１のデコーダを含み、事前トレーニング済みのシステムの前記第１のデコーダは、前記所望のタンパク質特性とは異なる出力を生成するように構成される、トレーニングすることと、
前記事前トレーニング済みシステムの前記第１のトランスフォーマエンコーダの少なくとも一部を第２のシステムに転移することであって、前記第２のシステムは第２のトランスフォーマエンコーダ及び第２のデコーダを含む、転移することと、
第２のデータセットを用いて前記第２のシステムをトレーニングすることであって、前記第２のデータセットは、前記第１のセットよりも少数のタンパク質クラスを表す１組のタンパク質を含み、前記タンパク質クラスは、（ａ）前記第１のデータセット内のタンパク質のクラス及び（ｂ）前記第１のデータセットから除外されるタンパク質のクラスの１つ又は複数を含む、トレーニングすることと、
前記第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、前記タンパク質検体の前記所望のタンパク質特性の予測を生成する、解析することと、
を含む方法。
〔態様６５〕
タンパク質検体の前記一次アミノ酸配列は、１つ又は複数のアスパラギナーゼ配列及び対応する活性ラベルである、態様６４に記載の方法。
〔態様６６〕
前記第１のデータセットは、複数のクラスのタンパク質を含む１組のタンパク質を含む、態様６４又は６５に記載の方法。
〔態様６７〕
前記第２のデータセットは、タンパク質の前記クラスの１つである、態様６４～６６のいずれか一態様記載の方法。
〔態様６８〕
タンパク質の前記クラスの１つは酵素である、態様６４～６７のいずれか一態様記載の方法。
〔態様６９〕
態様６４～６８のいずれか一態様記載の方法を実行する構成されたシステム。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
所望のタンパク質特性をモデリングする方法であって、
（ａ）第１のニューラルネットエンベッダー及び第１のニューラルネット予測子を含む第１の事前トレーニング済みシステムを提供することであって、前記事前トレーニング済みシステムの前記第１のニューラルネット予測子は、前記所望のタンパク質特性と異なる、提供することと、
（ｂ）前記事前トレーニング済みシステムの前記第１のニューラルネットエンベッダーの少なくとも一部を第２のシステムに転移することであって、前記第２のシステムは第２のニューラルネットエンベッダー及び第２のニューラルネット予測子を含み、前記第２のシステムの前記第２のニューラルネット予測子は、前記所望のタンパク質特性を提供する、転移することと、
（ｃ）前記第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、前記タンパク質検体の前記所望のタンパク質特性の予測を生成する、解析することと、
を含む方法。
〔態様２〕
前記第１及び第２のシステムの前記ニューラルネットエンベッダーのアーキテクチャは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、及びＭｏｂｉｌｅＮｅｔの少なくとも１つから独立して選択される畳み込みアーキテクチャである、態様１に記載の方法。
〔態様３〕
前記第１のシステムは、条件付き敵対的生成ネットワーク（ＧＡＮ）、ＤＣＧＡＮ、ＣＧＡＮ、ＳＧＡＮ若しくはプログレッシブＧＡＮ、ＳＡＧＡＮ、ＬＳＧＡＮ、ＷＧＡＮ、ＥＢＧＡＮ、ＢＥＧＡＮ、又はｉｎｆｏＧＡＮから選択される敵対的生成ネットワーク（ＧＡＮ）を含む、態様１に記載の方法。
〔態様４〕
前記第１のシステムは、Ｂｉ－ＬＳＴＭ／ＬＳＴＭ、Ｂｉ－ＧＲＵ／ＧＲＵ、又はトランスフォーマネットワークから選択されるリカレントニューラルネットワークを含む、態様３に記載の方法。
〔態様５〕
前記第１のシステムは変分自動エンコーダ（ＶＡＥ）を含む、態様３に記載の方法又はシステム。
〔態様６〕
前記エンベッダーは、少なくとも５０、１００、１５０、２００、２５０、３００、３５０、４００、４５０、５００、６００、７００、８００、９００、１０００、又はそれ以上のアミノ酸配列のセットでトレーニングされる、態様１～５のいずれか一態様記載の方法。
〔態様７〕
前記アミノ酸配列は、ＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、又はＯｒｔｈｏＤＢの少なくとも１つを含む１つ又は複数の機能表現にわたるアノテーションを含む、態様６に記載の方法。
〔態様８〕
前記アミノ酸配列は、少なくとも約１万、２万、３万、４万、５万、７．５万、１０万、１２万、１４万、１５万、１６万、又は１７万の可能なアノテーションを有する、態様７に記載の方法。
〔態様９〕
前記第２のモデルは、前記第１のモデルの前記転移されたエンベッダーを使用せずにトレーニングされたモデルと比較して改善された性能尺度を有する、態様１～８のいずれか一態様記載の方法。
〔態様１０〕
前記第１又は第２のシステムは、Ａｄａｍ、ＲＭＳプロップ、モメンタムを用いる確率的勾配降下（ＳＧＤ）、モメンタム及びＮｅｓｔｒｏｖ加速勾配を用いるＳＧＤ、モメンタムなしのＳＧＤ、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、又はＮＡｄａｍにより最適化される、態様１～９のいずれか一態様記載の方法。
〔態様１１〕
前記第１及び第２のモデルは、以下の活性化関数のいずれかを使用して最適化することができる：ソフトマックス、ｅｌｕ、ＳｅＬＵ、ソフトプラス、ソフトサイン、ＲｅＬＵ、ｔａｎｈ、シグモイド、ハードシグモイド、指数、ＰＲｅＬＵ、及びＬｅａｓｋｙＲｅＬＵ、又は線形、態様１～１０のいずれか一態様記載の方法。
〔態様１２〕
前記ニューラルネットエンベッダーは、少なくとも１０、５０、１００、２５０、５００、７５０、１０００、又はそれ以上の層を含み、前記予測子は、少なくとも１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、又はそれ以上の層を含む、態様１～１１のいずれか一態様記載の方法。
〔態様１３〕
前記第１又は第２のシステムの少なくとも一方は、早期停止、Ｌ１－Ｌ２正則化、スキップ接続、又はそれらの組合せから選択される正則化を利用し、前記正則化は１、２、３、４、５、又はそれ以上の層で実行される、態様１～１２のいずれか一態様記載の方法。
〔態様１４〕
前記正則化はバッチ正規化を使用して実行される、態様１３に記載の方法。
〔態様１５〕
前記正則化はグループ正規化を使用して実行される、態様１３に記載の方法。
〔態様１６〕
前記第２のシステムの第２のモデルは、前記第１のモデルの最後の層が除去される前記第１のシステムの第１のモデルを含む、態様１～１５のいずれか一態様記載の方法。
〔態様１７〕
前記第１のモデルの２、３、４、５、又はそれ以上の層は、前記第２のモデルへの転移において除去される、態様１６に記載の方法。
〔態様１８〕
前記転移された層は、前記第２のモデルのトレーニング中、凍結される、態様１６又は１７に記載の方法。
〔態様１９〕
前記転移された層は、前記第２のモデルのトレーニング中、凍結されない、態様１６又は１７に記載の方法。
〔態様２０〕
前記第２のモデルは、前記第１のモデルの前記転移された層に追加される１、２、３、４、５、６、７、８、９、１０、又はそれ以上の層を有する、態様１７～１９のいずれか一態様記載の方法。
〔態様２１〕
前記第２のシステムの前記ニューラルネット予測子は、タンパク質結合活性、核酸結合活性、タンパク質溶解性、及びタンパク質安定性の１つ又は複数を予測する、態様１～２０のいずれか一態様記載の方法。
〔態様２２〕
前記第２のシステムの前記ニューラルネット予測子は、タンパク質蛍光を予測する、態様１～２１のいずれか一態様記載の方法。
〔態様２３〕
前記第２のシステムの前記ニューラルネット予測子は、酵素活性を予測する、態様１～２２のいずれか一態様記載の方法。
〔態様２４〕
アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータ実施方法であって、
（ａ）第１の機械学習ソフトウェアモジュールを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、
（ｂ）第２の機械学習ソフトウェアモジュールに前記第１のモデル又はその一部を転移することと、
（ｃ）前記第２の機械学習ソフトウェアモジュールにより、前記第１のモデルの少なくとも一部を含む第２のモデルを生成することと、
（ｄ）前記第２のモデルに基づいて、前記アミノ酸配列と前記タンパク質機能との間の以前は未知であった関連を識別することと、
を含む方法。
〔態様２５〕
前記アミノ酸配列は一次タンパク質構造を含む、態様２４に記載の方法。
〔態様２６〕
前記アミノ酸配列は、前記タンパク質機能を生じさせるタンパク質構成を生じさせる、態様２４又は２５に記載の方法。
〔態様２７〕
前記タンパク質機能は蛍光を含む、態様２４～２６のいずれか一態様記載の方法。
〔態様２８〕
前記タンパク質機能は酵素活性を含む、態様２４～２７のいずれか一態様記載の方法。
〔態様２９〕
前記タンパク質機能はヌクレアーゼ活性を含む、態様２４～２８のいずれか一態様記載の方法。
〔態様３０〕
前記タンパク質機能は、タンパク質安定性の程度を含む、態様２４～２９のいずれか一態様記載の方法。
〔態様３１〕
前記複数のタンパク質特性及び前記複数のアミノ酸配列は、ＵｎｉＰｒｏｔからのものである、態様２４～３０のいずれか一態様記載の方法。
〔態様３２〕
前記複数のタンパク質特性は、ラベルＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数を含む、態様２４～３１のいずれか一態様記載の方法。
〔態様３３〕
前記複数のアミノ酸配列は、複数のタンパク質の一次タンパク質構造、二次タンパク質構造、及び三次タンパク質構造を形成する、態様２４～３２のいずれか一態様記載の方法。
〔態様３４〕
前記第１のモデルは、多次元テンソル、三次元原子位置の表現、対毎の相互作用の隣接行列、及び文字埋め込みの１つ又は複数を含む入力データでトレーニングされる、態様２４～３３のいずれか一態様記載の方法。
〔態様３５〕
前記第２の機械学習モジュールに、一次アミノ酸配列の変異に関連するデータ、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、及び選択的スプライシング転写からの予測されたアイソフォームの少なくとも１つを入力することを含む、態様２４～３４のいずれか一態様記載の方法。
〔態様３６〕
前記第１のモデル及び前記第２のモデルは、教師あり学習を使用してトレーニングされる、態様２４～３５のいずれか一態様記載の方法。
〔態様３７〕
前記第１のモデルは教師あり学習を使用してトレーニングされ、前記第２のモデルは教師なし学習を使用してトレーニングされる、態様２４～３６のいずれか一態様記載の方法。
〔態様３８〕
前記第１のモデル及び前記第２のモデルは、畳み込みニューラルネットワーク、敵対的生成ネットワーク、リカレントニューラルネットワーク、又は変分自動エンコーダを含むニューラルネットワークを含む、態様２４～３７のいずれか一態様記載の方法。
〔態様３９〕
前記第１のモデル及び前記第２のモデルはそれぞれ、異なるニューラルネットワークアーキテクチャを含む、態様３８に記載の方法。
〔態様４０〕
前記畳み込みネットワークは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔの１つを含む、態様３８又は３９に記載の方法。
〔態様４１〕
前記第１のモデルはエンベッダーを含み、前記第２のモデルは予測子を含む、態様２４～４０のいずれか一態様記載の方法。
〔態様４２〕
第１のモデルアーキテクチャは複数の層を含み、第２のモデルアーキテクチャは、前記複数の層のうちの少なくとも２つの層を含む、態様４１に記載の方法。
〔態様４３〕
前記第１の機械学習ソフトウェアモジュールは、少なくとも１０，０００のタンパク質特性を含む第１のトレーニングデータセットで前記第１のモデルをトレーニングし、前記第２の機械学習ソフトウェアモジュールは、第２のトレーニングデータセットを使用して前記第２のモデルをトレーニングする、態様２４～４２のいずれか一態様記載の方法。
〔態様４４〕
アミノ酸配列とタンパク質機能との間の以前は未知であった関連を識別するコンピュータシステムであって、
（ａ）プロセッサと、
（ｂ）命令を内部に記憶した非一時的コンピュータ可読媒体と、
を備え、前記命令は、実行されると、前記プロセッサに、
（ｉ）第１の機械学習ソフトウェアモデルを用いて、複数のタンパク質特性と複数のアミノ酸配列との間の複数の関連の第１のモデルを生成することと、
（ｉｉ）前記第１のモデル又はその一部を第２の機械学習ソフトウェアモジュールに転移することと、
（ｉｉｉ）前記第２の機械学習ソフトウェアモジュールにより、前記第１のモデルの少なくとも一部を含む第２のモデルを生成することと、
（ｉｖ）前記第２のモデルに基づいて、前記アミノ酸配列と前記タンパク質機能との間の以前は未知であった関連を識別することと、
を行わせるように構成される、システム。
〔態様４５〕
前記アミノ酸配列は一次タンパク質構造を含む、態様４４に記載のシステム。
〔態様４６〕
前記アミノ酸配列は、前記タンパク質機能を生じさせるタンパク質構成を生じさせる、態様４４又は４５に記載のシステム。
〔態様４７〕
前記タンパク質機能は蛍光を含む、態様４４～４６のいずれか一態様記載のシステム。
〔態様４８〕
前記タンパク質機能は酵素活性を含む、態様４４～４７のいずれか一態様記載のシステム。
〔態様４９〕
前記タンパク質機能はヌクレアーゼ活性を含む、態様４４～４８のいずれか一態様記載のシステム。
〔態様５０〕
前記タンパク質機能は、タンパク質安定性の程度を含む、態様４４～４９のいずれか一態様記載のシステム。
〔態様５１〕
前記複数のタンパク質特性及び複数のタンパク質マーカは、ＵｎｉＰｒｏｔからのものである、態様４４～５０のいずれか一態様記載のシステム。
〔態様５２〕
前記複数のタンパク質特性は、ラベルＧＰ、Ｐｆａｍ、キーワード、Ｋｅｇｇオントロジー、Ｉｎｔｅｒｐｒｏ、ＳＵＰＦＡＭ、及びＯｒｔｈｏＤＢの１つ又は複数を含む、態様４４～５１のいずれか一態様記載のシステム。
〔態様５３〕
前記複数のアミノ酸配列は、複数のタンパク質の一次タンパク質構造、二次タンパク質構造、及び三次タンパク質構造を含む、態様４４～５２のいずれか一態様記載のシステム。
〔態様５４〕
前記第１のモデルは、多次元テンソル、三次元原子位置の表現、対毎の相互作用の隣接行列、及び文字埋め込みの１つ又は複数を含む入力データでトレーニングされる、態様４４～５３のいずれか一態様記載のシステム。
〔態様５５〕
前記ソフトウェアは、前記プロセッサに、一次アミノ酸配列の変異に関連するデータ、アミノ酸相互作用のコンタクトマップ、三次タンパク質構造、及び選択的スプライシング転写からの予測されたアイソフォームの少なくとも１つを前記第２の機械学習モジュールに入力させるように構成される、態様４４～５４のいずれか一態様記載のシステム。
〔態様５６〕
前記第１のモデル及び前記第２のモデルは、教師あり学習を使用してトレーニングされる、態様４４～５５のいずれか一態様記載のシステム。
〔態様５７〕
前記第１のモデルは教師あり学習を使用してトレーニングされ、前記第２のモデルは教師なし学習を使用してトレーニングされる、態様４４～５６のいずれか一態様記載のシステム。
〔態様５８〕
前記第１のモデル及び前記第２のモデルは、畳み込みニューラルネットワーク、敵対的生成ネットワーク、リカレントニューラルネットワーク、又は変分自動エンコーダを含むニューラルネットワークを含む、態様４４～５７のいずれか一態様記載のシステム。
〔態様５９〕
前記第１のモデル及び前記第２のモデルはそれぞれ、異なるニューラルネットワークアーキテクチャを含む、態様５８に記載のシステム。
〔態様６０〕
前記畳み込みネットワークは、ＶＧＧ１６、ＶＧＧ１９、Ｄｅｅｐ ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ（Ｖ１－Ｖ４）、Ｉｎｃｅｐｔｉｏｎ／ＧｏｏｇＬｅＮｅｔ ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎ、ＡｌｅｘＮｅｔ、ＬｅＮｅｔ、ＭｏｂｉｌｅＮｅｔ、ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔ、又はＭｏｂｉｌｅＮｅｔの１つを含む、態様５８又は５９に記載のシステム。
〔態様６１〕
前記第１のモデルはエンベッダーを含み、前記第２のモデルは予測子を含む、態様４４～６０のいずれか一態様記載のシステム。
〔態様６２〕
第１のモデルアーキテクチャは複数の層を含み、第２のモデルアーキテクチャは、前記複数の層のうちの少なくとも２つの層を含む、態様６１に記載のシステム。
〔態様６３〕
前記第１の機械学習ソフトウェアモジュールは、少なくとも１０，０００のタンパク質特性を含む第１のトレーニングデータセットで前記第１のモデルをトレーニングし、前記第２の機械学習ソフトウェアモジュールは、第２のトレーニングデータセットを使用して前記第２のモデルをトレーニングする、態様４４～６２のいずれか一態様記載のシステム。
〔態様６４〕
所望のタンパク質特性をモデリングする方法であって、
第１のデータセットを用いて第１のシステムをトレーニングすることであって、前記第１のシステムは第１のニューラルネットトランスフォーマエンコーダ及び第１のデコーダを含み、事前トレーニング済みのシステムの前記第１のデコーダは、前記所望のタンパク質特性とは異なる出力を生成するように構成される、トレーニングすることと、
前記事前トレーニング済みシステムの前記第１のトランスフォーマエンコーダの少なくとも一部を第２のシステムに転移することであって、前記第２のシステムは第２のトランスフォーマエンコーダ及び第２のデコーダを含む、転移することと、
第２のデータセットを用いて前記第２のシステムをトレーニングすることであって、前記第２のデータセットは、前記第１のセットよりも少数のタンパク質クラスを表す１組のタンパク質を含み、前記タンパク質クラスは、（ａ）前記第１のデータセット内のタンパク質のクラス及び（ｂ）前記第１のデータセットから除外されるタンパク質のクラスの１つ又は複数を含む、トレーニングすることと、
前記第２のシステムにより、タンパク質検体の一次アミノ酸配列を解析することであって、それにより、前記タンパク質検体の前記所望のタンパク質特性の予測を生成する、解析することと、
を含む方法。
〔態様６５〕
タンパク質検体の前記一次アミノ酸配列は、１つ又は複数のアスパラギナーゼ配列及び対応する活性ラベルである、態様６４に記載の方法。
〔態様６６〕
前記第１のデータセットは、複数のクラスのタンパク質を含む１組のタンパク質を含む、態様６４又は６５に記載の方法。
〔態様６７〕
前記第２のデータセットは、タンパク質の前記クラスの１つである、態様６４～６６のいずれか一態様記載の方法。
〔態様６８〕
タンパク質の前記クラスの１つは酵素である、態様６４～６７のいずれか一態様記載の方法。
〔態様６９〕
態様６４～６８のいずれか一態様記載の方法を実行する構成されたシステム。
【0129】
本発明の好ましい態様を本明細書において示し記載したが、そのような態様が単なる例として提供されることが当業者には理解されよう。本発明から逸脱せずに、これより当業者は多くの変形、変更、及び置換を想到しよう。本明細書において記載の本発明の態様への種々の代替が、本発明を実施するに当たり利用し得ることを理解されたい。以下の特許請求の範囲が本発明の範囲を規定し、これらの特許請求の範囲及びそれらの均等物内の方法及び構造が本発明の範囲により包含されることが意図される。態様例が具体的に示され記載されたが、添付の特許請求の範囲により包含される態様の範囲から逸脱せずに、形態及び細部の種々の変更を行い得ることが当業者には理解されよう。
【0130】
本明細書において引用された全ての特許、公開出願、及び引用文献の教示は全体的に、参照により本明細書において組み入れられる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13A】
【図13B】