ホーム > 特許ランキング > アディマブ， エルエルシー
特表2024-542017抗体ライブラリーのインテリジェント構築のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】抗体ライブラリーのインテリジェント構築のためのシステム及び方法
(51)【国際特許分類】
G16B 40/20 20190101AFI20241106BHJP
G16B 35/10 20190101ALI20241106BHJP
【ＦＩ】
G16B40/20
G16B35/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024525610
(86)(22)【出願日】2022-10-26
(85)【翻訳文提出日】2024-04-30
(86)【国際出願番号】 US2022047888
(87)【国際公開番号】W WO2023076390
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】63/274,394
(32)【優先日】2021-11-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】513010789
【氏名又は名称】アディマブ， エルエルシー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ジェイン， トゥーシャー
(72)【発明者】
【氏名】バスケス， マキシミリアーノ
(72)【発明者】
【氏名】バーロウ， カイル アンドリュー
(57)【要約】
ライブラリーに含めるための配列選択を知らせる機械学習を用いて抗体ライブラリーを構築するためのシステム及び方法をここに示す。この技術は、（ｉ）配列から生物物理学的特性及び生化学的特性を予測する機械学習モデル及び統計モデルの訓練及び使用と、（ｉｉ）配列から開発可能性を予測しかつ新規な配列を生成するための機械学習モデルの訓練及び使用と、を含む。特定の実施形態において、システム及び方法は、指定された配列及び／または長さの多様性を有するライブラリーを個別に設計することによって、抗体（及び／または抗体をコードするポリヌクレオチド）のライブラリーを生成する。得られるライブラリーは、例えば、治療薬の開発において有用である。
【特許請求の範囲】
【請求項1】
抗体ライブラリーを構築する（例えば、設計する）ためのシステムであって、コンピューティングデバイスのプロセッサと、
命令が格納されたメモリと、を備え、
前記命令は、前記プロセッサによって実行されるとき、前記プロセッサに、以下の（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）、（ｖｉ）、及び（ｖｉｉ）すなわち
（ｉ）入力配列及び特徴付けデータを使用して第１の機械学習モデルを開発する（例えば、訓練する）こと（例えば、（ａ）個々の相補性決定領域（ＣＤＲ）及び／またはフレームワーク領域（ＦＲ）の多特異性及び疎水性を予測するよう、アミノ酸係数を導出するロジスティック回帰モデルを訓練すること、及び／または、（ｂ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、樹木モデル（例えば、ランダムフォレストまたはＸＧＢｏｏｓｔ）を訓練すること、及び／または、（ｃ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、ニューラルネットワークを含む深層学習モデルを訓練すること（例えば、前記モデルは、入力層、複数の中間特徴抽出層、及び最終出力層を含む）、及び／または、（ｄ）低バイアスの配列を選択するよう、バイアスを評価する統計モデルを作成すること、及び／または、（ｅ）特定の位置及び領域（例えば、Ｈ１、Ｈ２、Ｈ３、Ｌ１、Ｌ２、Ｌ３、ＨＦＲ、ＬＦＲ）における配列モチーフの関数として化学修飾のリスクを予測するよう、階層的統計を開発すること）、
（ｉｉ）（ｉ）における前記第１の機械学習モデルを使用して、望ましいセグメント（例えば、好ましい予測発現エンリッチメントのセグメント）を予測し、新規の及び／または予め生成されたセグメントのプールからのセグメントの選択を可能にすること、
（ｉｉｉ）（ｉ）における前記第１の機械学習モデルを訓練する際の選択及び／または使用の前に、一連の入力配列を処理することであって、（ａ）前記配列を改変することによってケミカルライアビリティサイトを除去すること、（ｂ）ＣＤＲ Ｈ３について、前記配列をセグメントに分割してＶＤＪ組換えを模倣すること、（ｃ）ＣＤＲ Ｌ３について、前記配列をセグメントに分割してＶＪ組換えを模倣すること、及び（ｄ）Ｖ－領域及びＣＤＲ（Ｈ１、Ｈ２、Ｌ３）に、生殖細胞系列からの変異の数で注釈を付すことのうちの１つ以上を含む、前記一連の入力配列を前記処理すること、
（ｉｖ）生物物理学的特性及び／または生化学的特性の予測のための機械学習モデルを訓練すること（例えば、好ましい生物物理学的特性（例えば、低い多特異性、低い疎水性、及び／または高発現）についてソートされた一連の入力配列に関するデータを使用すること）、
（ｖ）（ｉｖ）における生物物理学的特性及び／または生化学的特性の予測のための前記機械学習モデルを使用して、配列から１つ以上の生物物理学的特性及び／または生化学的特性（例えば、多特異性、疎水性、融解温度、ＳＥＣモノマー百分率、保持時間、化学的安定性データ、及び／または配列のエンリッチメントまたはディプリーションの尺度）を予測すること、
（ｖｉ）異なる種に対する特定の生殖細胞系列について対象の配列にわたってジョイント配列確率分布を学習するよう、自己回帰深層学習ニューラルネットワークモデルを開発（例えば、訓練）すること、及び
（ｖｉｉ）（ｖｉ）における前記ニューラルネットワークモデルを使用して、入力された一連の配列から配列の組成及び／または相関を取り込み、合成ライブラリーにおいて考慮するための新規な配列またはセグメントを生成すること、のうちの１つ以上を実行させる、前記システム。
【請求項2】
抗体ライブラリーを構築するためのシステムであって、コンピューティングデバイスのプロセッサと、
命令が格納されたメモリと、を備え、
前記命令は、前記プロセッサによって実行されるとき、前記プロセッサに、１つ以上の機械学習モデルにより一連の入力配列を処理させて、最終的な抗体ライブラリー配列のコレクションを生成させる、前記システム。
【請求項3】
前記命令は、前記プロセッサに、（ｉ）前記一連の入力配列からの各入力配列を処理させ、さらに（ｉｉ）前記入力配列の各々について、第１のモデル（例えば、グラフ畳み込みネットワーク（ＧＣＮ））によって予測されるような、前記配列の１つ以上の構造的に重要な特性の残基当たりの予測を処理させ、前記命令は、前記プロセッサに、（ｉ）及び（ｉｉ）を第２のモデルにおける入力として処理させて、前記第２のモデルの出力として、（ｉｉｉ）１つ以上の生物物理学的特性（例えば、疎水性相互作用クロマトグラフィーの保持時間（ＨＩＣ ＲＴ）及び／または多特異性試薬（ＰＳＲ）スコア及び／またはＰＳＲ結合カテゴリ）及び／または（ｉｖ）１つ以上の化学的安定特性（例えば、Ａｓｎ脱アミド、Ａｓｐ異性化、及び／またはＭｅｔ酸化）を、前記入力配列の各々について予測させ、ここで、各配列を前記最終的な抗体ライブラリーに含めることまたは前記最終的な抗体ライブラリーから排除することは、前記第２のモデルの出力に少なくとも部分的に基づく、請求項２に記載のシステム。
【請求項4】
前記第１のモデルにより予測される前記残基当たりの予測は、（ｉ）溶媒露出度（ＳＡＳＡ）の尺度、（ｉｉ）電荷パッチの尺度、（ｉｉｉ）疎水性パッチの尺度、及び（ｉｖ）Ｃα／Ｃβ座標予測からなる群から選択される１つ以上を含む、請求項３に記載のシステム。
【請求項5】
前記第２のモデルは、ディープコンボリューション及び／または再帰型ネットワーク（例えば、生物物理学的特性の予測のための）を含む、請求項３または４に記載のシステム。
【請求項6】
前記第２のモデルは、ツリーに基づく分類モデル（例えば、化学的安定性の予測のための）を含む、請求項３～５のいずれか１項に記載のシステム。
【請求項7】
抗体ライブラリーを構築する（例えば、設計する）ための方法であって、コンピューティングデバイスのプロセッサを用いて以下の（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）、（ｖｉ）、及び（ｖｉｉ）すなわち
（ｉ）入力配列及び特徴付けデータを使用して第１の機械学習モデルを開発する（例えば、訓練する）こと［（例えば、（ａ）個々の相補性決定領域（ＣＤＲ）及び／またはフレームワーク領域（ＦＲ）の多特異性及び疎水性を予測するよう、アミノ酸係数を導出するロジスティック回帰モデルを訓練すること、及び／または、（ｂ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、樹木モデル（例えば、ランダムフォレストまたはＸＧＢｏｏｓｔ）を訓練すること、及び／または、（ｃ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、ニューラルネットワークを含む深層学習モデルを訓練すること（例えば、前記モデルは、入力層、複数の中間特徴抽出層、及び最終出力層を含む）、及び／または、（ｄ）低バイアスの配列を選択するよう、バイアスを評価する統計モデルを作成すること、及び／または、（ｅ）特定の位置及び領域（例えば、Ｈ１、Ｈ２、Ｈ３、Ｌ１、Ｌ２、Ｌ３、ＨＦＲ、ＬＦＲ）］における配列モチーフの関数として化学修飾のリスクを予測するよう、階層的統計を開発すること）、
（ｉｉ）（ｉ）における前記第１の機械学習モデルを使用して、望ましいセグメント（例えば、好ましい予測発現エンリッチメントのセグメント）を予測し、新規の及び／または予め生成されたセグメントのプールからのセグメントの選択を可能にすること、
（ｉｉｉ）（ｉ）における前記第１の機械学習モデルを訓練する際の選択及び／または使用の前に、一連の入力配列を処理することであって、（ａ）前記配列を改変することによってケミカルライアビリティサイトを除去すること、（ｂ）ＣＤＲ Ｈ３について、前記配列をセグメントに分割してＶＤＪ組換えを模倣すること、（ｃ）ＣＤＲ Ｌ３について、前記配列をセグメントに分割してＶＪ組換えを模倣すること、及び（ｄ）Ｖ－領域及びＣＤＲ（Ｈ１、Ｈ２、Ｌ３）に、生殖細胞系列からの変異の数で注釈を付すことのうちの１つ以上を含む、前記前記一連の入力配列を前記処理すること、
（ｉｖ）生物物理学的特性及び／または生化学的特性の予測のための機械学習モデルを訓練すること（例えば、好ましい生物物理学的特性（例えば、低い多特異性、低い疎水性、及び／または高発現）についてソートされた一連の入力配列に関するデータを使用すること）、
（ｖ）（ｉｖ）における生物物理学的特性及び／または生化学的特性の予測のための前記機械学習モデルを使用して、配列から１つ以上の生物物理学的特性及び／または生化学的特性（例えば、多特異性、疎水性、融解温度、ＳＥＣモノマー百分率、保持時間、化学的安定性データ、及び／または配列のエンリッチメントまたはディプリーションの尺度）を予測すること、
（ｖｉ）異なる種に対する特定の生殖細胞系列について対象の配列にわたってジョイント配列確率分布を学習するよう、自己回帰深層学習ニューラルネットワークモデルを開発（例えば、訓練）すること、及び
（ｖｉｉ）（ｖｉ）における前記ニューラルネットワークモデルを使用して、入力された一連の配列から配列の組成及び／または相関を取り込み、合成ライブラリーにおいて考慮するための新規な配列またはセグメントを生成すること、のうちの１つ以上を実行する、前記方法。
【請求項8】
抗体ライブラリーを構築する（例えば、設計する）ための方法であって、１つ以上の機械学習モデルを用いて、コンピューティングデバイスのプロセッサにより一連の入力配列を処理して、最終的な抗体ライブラリー配列のコレクションを生成することを含む、前記方法。
【請求項9】
（ｉ）前記一連の入力配列からの各入力配列を、第２のモデルにおける入力として処理することを含み、さらに（ｉｉ）前記入力配列の各々について、第１のモデル（例えば、グラフ畳み込みネットワーク（ＧＣＮ））によって予測されるような、前記配列の１つ以上の構造的に重要な特性の残基当たりの予測を処理し、前記第２のモデルの出力として、（ｉｉｉ）１つ以上の生物物理学的特性（例えば、疎水性相互作用クロマトグラフィーの保持時間（ＨＩＣ ＲＴ）及び／または多特異性試薬（ＰＳＲ）スコア及び／またはＰＳＲ結合カテゴリ）及び／または（ｉｖ）１つ以上の化学的安定特性（例えば、Ａｓｎ脱アミド、Ａｓｐ異性化、及び／またはＭｅｔ酸化）を、前記入力配列の各々について予測することを含み、ここで、各配列を前記最終的な抗体ライブラリーに含めることまたは前記最終的な抗体ライブラリーから排除することは、前記第２のモデルの出力に少なくとも部分的に基づく、請求項８に記載の方法。
【請求項10】
前記第１のモデルにより予測される前記残基当たりの予測は、（ｉ）溶媒露出度（ＳＡＳＡ）の尺度、（ｉｉ）電荷パッチの尺度、（ｉｉｉ）疎水性パッチの尺度、及び（ｉｖ）Ｃα／Ｃβ座標予測からなる群から選択される１つ以上を含む、請求項９に記載の方法。
【請求項11】
前記第２のモデルは、ディープコンボリューション及び／または再帰型ネットワーク（例えば、生物物理学的特性の予測のための）を含む、請求項９または１０に記載の方法。
【請求項12】
前記第２のモデルは、ツリーに基づく分類モデル（例えば、化学的安定性の予測のための）を含む、請求項９～１１のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年１１月１日に出願の米国仮特許出願第６３／２７４，３９４号の優先権及び利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年１１月１日に出願の米国仮特許出願第６３／２７４，３９４号の優先権及び利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
抗体は、研究用ツールとしてかつ診断及び治療用途において非常に重要である。しかしながら、有用な抗体の特定は困難であり、しかも一旦特定されても、抗体は、ヒトの治療用途に適するものとなるには、多くの場合、相当な再設計を必要とする。
【0003】
従って、非免疫原性（例えば、よりヒト）であり、望ましい特性（例えば、広範な抗原を認識する能力など）を有する候補抗体を系統的に示している、方向性を持った多様性がある、より小さな抗体（すなわち、合成可能で物理的に実現可能な抗体）のライブラリーが必要とされている。このようなライブラリーを得るには、広範な種々の抗原を認識するのに十分な多様性のレベルを維持しながら、ライブラリーに示される配列の多様性を制限していく（例えば、合成及び物理的な実現を可能にするために、オーバーサンプリングの可能性がある一方、非ヒト配列の導入を制限していく）という相反する目的のバランスを取ることが必要になる。
【0004】
従って、（ａ）容易に合成することができ、（ｂ）物理的に実現することができ、そしてある場合には、オーバーサンプリングすることができ、（ｃ）免疫前（すなわち、ネガティブ選択前）のヒトレパートリーによって認識される全ての抗原を認識するのに十分な多様性を有し、（ｄ）ヒトにおいて非免疫原性であり（すなわち、ヒト起源の配列を含み）、かつ／または（ｅ）天然に存在するヒト抗体を代表するＣＤＲ長及び配列多様性、ならびにフレームワーク多様性を有する、抗体で占められている抗体ライブラリーを構築する方法が必要である。
【発明の概要】
【課題を解決するための手段】
【0005】
ライブラリーに含めるための配列選択を知らせる機械学習を用いて抗体ライブラリーを構築するためのシステム及び方法を本明細書に示す。この技術は、（ｉ）配列から生物物理学的特性及び生化学的特性を予測する機械学習モデル及び統計モデルの訓練及び使用と、（ｉｉ）配列から開発可能性を予測しかつ新規な配列を生成するための機械学習モデルの訓練及び使用と、を含む。特定の実施形態において、システム及び方法は、指定された配列及び／または長さの多様性を有するライブラリーを個別に設計することによって、抗体（及び／または抗体をコードするポリヌクレオチド）のライブラリーを生成する。得られるライブラリーは、例えば、治療薬の開発において有用である。
【0006】
一態様において、本発明は、抗体ライブラリーを構築する（例えば、設計する）ためのシステムに関する。該システムは、コンピューティングデバイスのプロセッサと、命令が格納されたメモリと、を備え、該命令は、該プロセッサによって実行されると、該プロセッサに以下の（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）、（ｖｉ）、及び（ｖｉｉ）のうちの１つ以上を実行させる。（ｉ）入力配列及び特徴付けデータを使用して第１の機械学習モデルを開発する（例えば、訓練する）（例えば、（ａ）個々の相補性決定領域（ＣＤＲ）及び／またはフレームワーク領域（ＦＲ）の多特異性及び疎水性を予測するよう、アミノ酸係数を導出するロジスティック回帰モデルを訓練し、かつ／または、（ｂ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、樹木モデル（例えば、ランダムフォレストまたはＸＧＢｏｏｓｔ）を訓練し、かつ／または、（ｃ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、ニューラルネットワークを含む深層学習モデルを訓練し（例えば、モデルは、入力層、複数の中間特徴抽出層、及び最終出力層を含む）、かつ／または、（ｄ）低バイアスの配列を選択するよう、バイアスを評価する統計モデルを作成し、かつ／または、（ｅ）特定の位置及び領域（例えば、Ｈ１、Ｈ２、Ｈ３、Ｌ１、Ｌ２、Ｌ３、ＨＦＲ、ＬＦＲ）における配列モチーフの関数として化学修飾のリスクを予測するよう、階層的統計を開発する）。（ｉｉ）（ｉ）における第１の機械学習モデルを使用して、望ましいセグメント（例えば、好ましい予測発現エンリッチメントのセグメント）を予測し、新規の及び／または予め生成されたセグメントのプールからのセグメントの選択を可能にする。（ｉｉｉ）（ｉ）における第１の機械学習モデルを訓練する際の選択及び／または使用の前に、一連の入力配列を処理する（ここで、一連の入力配列を処理することは、（ａ）配列を改変することによってケミカルライアビリティサイトを除去すること、（ｂ）ＣＤＲ Ｈ３について、配列をセグメントに分割してＶＤＪ組換えを模倣すること、（ｃ）ＣＤＲ Ｌ３について、配列をセグメントに分割してＶＪ組換えを模倣すること、及び（ｄ）Ｖ－領域及びＣＤＲ（Ｈ１、Ｈ２、Ｌ３）に、生殖細胞系列からの変異の数で注釈を付すことのうちの１つ以上を含む）。（ｉｖ）生物物理学的特性及び／または生化学的特性の予測のための機械学習モデルを訓練する（例えば、好ましい生物物理学的特性（例えば、低い多特異性、低い疎水性、及び／または高発現）についてソートされた一連の入力配列に関するデータを使用する）。（ｖ）（ｉｖ）における生物物理学的特性及び／または生化学的特性の予測のための機械学習モデルを使用して、配列から１つ以上の生物物理学的特性及び／または生化学的特性（例えば、多特異性、疎水性、融解温度、ＳＥＣモノマー百分率、保持時間、化学的安定性データ、及び／または配列のエンリッチメントまたはディプリーションの尺度）を予測する。（ｖｉ）異なる種に対する特定の生殖細胞系列について対象の配列にわたってジョイント配列確率分布を学習するよう、自己回帰深層学習ニューラルネットワークモデルを開発（例えば、訓練）する。（ｖｉｉ）（ｖｉ）におけるニューラルネットワークモデルを使用して、入力された一連の配列から配列の組成及び／または相関を取り込み、合成ライブラリーにおいて考慮するための新規な配列またはセグメントを生成する。
【0007】
別の態様において、本発明は、抗体ライブラリーを構築するためのシステムに関する。該システムは、コンピューティングデバイスのプロセッサと、命令が格納されたメモリと、を備え、該命令は、該プロセッサによって実行されると、該プロセッサに、１つ以上の機械学習モデルにより一連の入力配列を処理させて、最終的な抗体ライブラリー配列のコレクションを生成させる。
【0008】
特定の実施形態において、命令は、プロセッサに、（ｉ）一連の入力配列からの各入力配列を処理させ、さらに（ｉｉ）入力配列の各々について、第１のモデル（例えば、グラフ畳み込みネットワーク（ＧＣＮ））によって予測されるような、配列の１つ以上の構造的に重要な特性の残基当たりの予測を処理させ、該命令は、該プロセッサに、（ｉ）及び（ｉｉ）を第２のモデルにおける入力として処理させて、第２のモデルの出力として、（ｉｉｉ）１つ以上の生物物理学的特性（例えば、疎水性相互作用クロマトグラフィーの保持時間（ＨＩＣ ＲＴ）及び／または多特異性試薬（ＰＳＲ）スコア及び／またはＰＳＲ結合カテゴリ）及び／または（ｉｖ）１つ以上の化学的安定特性（例えば、Ａｓｎ脱アミド、Ａｓｐ異性化、及び／またはＭｅｔ酸化）を、入力配列の各々について予測させる。ここで、各配列を最終的な抗体ライブラリーに含めることまたは最終的な抗体ライブラリーから排除することは、第２のモデルの出力に少なくとも部分的に基づく。
【0009】
特定の実施形態において、第１のモデルにより予測される残基当たりの予測は、（ｉ）溶媒露出度（ＳＡＳＡ）の尺度、（ｉｉ）電荷パッチの尺度、（ｉｉｉ）疎水性パッチの尺度、及び（ｉｖ）Ｃα／Ｃβ座標予測からなる群から選択される１つ以上を含む。
【0010】
特定の実施形態において、第２のモデルは、ディープコンボリューション及び／または再帰型ネットワーク（例えば、生物物理学的特性の予測のための）を含む。
【0011】
特定の実施形態において、第２のモデルは、ツリーに基づく分類モデル（例えば、化学的安定性の予測のための）を含む。
【0012】
一態様において、本発明は、抗体ライブラリーを構築する（例えば、設計する）ための方法に関する。該方法は、コンピューティングデバイスのプロセッサを用いて以下の（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）、（ｖｉ）、及び（ｖｉｉ）のうちの１つ以上を実行することを含む。（ｉ）入力配列及び特徴付けデータを使用して第１の機械学習モデルを開発する（例えば、訓練する）こと（例えば、（ａ）個々の相補性決定領域（ＣＤＲ）及び／またはフレームワーク領域（ＦＲ）の多特異性及び疎水性を予測するよう、アミノ酸係数を導出するロジスティック回帰モデルを訓練すること、及び／または、（ｂ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、樹木モデル（例えば、ランダムフォレストまたはＸＧＢｏｏｓｔ）を訓練すること、及び／または、（ｃ）１つ以上の生物物理学的特性及び／または１つ以上の化学的安定特性を配列から予測するよう、ニューラルネットワークを含む深層学習モデルを訓練すること（例えば、モデルは、入力層、複数の中間特徴抽出層、及び最終出力層を含む）、及び／または、（ｄ）低バイアスの配列を選択するよう、バイアスを評価する統計モデルを作成すること、及び／または、（ｅ）特定の位置及び領域（例えば、Ｈ１、Ｈ２、Ｈ３、Ｌ１、Ｌ２、Ｌ３、ＨＦＲ、ＬＦＲ）における配列モチーフの関数として化学修飾のリスクを予測するよう、階層的統計を開発すること）。（ｉｉ）（ｉ）における第１の機械学習モデルを使用して、望ましいセグメント（例えば、好ましい予測発現エンリッチメントのセグメント）を予測し、新規の及び／または予め生成されたセグメントのプールからのセグメントの選択を可能にすること。（ｉｉｉ）（ｉ）における第１の機械学習モデルを訓練する際の選択及び／または使用の前に、一連の入力配列を処理すること（ここで、一連の入力配列を処理することは、（ａ）配列を改変することによってケミカルライアビリティサイトを除去すること、（ｂ）ＣＤＲ Ｈ３について、配列をセグメントに分割してＶＤＪ組換えを模倣すること、（ｃ）ＣＤＲ Ｌ３について、配列をセグメントに分割してＶＪ組換えを模倣すること、及び（ｄ）Ｖ－領域及びＣＤＲ（Ｈ１、Ｈ２、Ｌ３）に、生殖細胞系列からの変異の数を付すことのうちの１つ以上を含む）。（ｉｖ）生物物理学的特性及び／または生化学的特性の予測のための機械学習モデルを訓練すること（例えば、好ましい生物物理学的特性（例えば、低い多特異性、低い疎水性、及び／または高発現）についてソートされた一連の入力配列に関するデータを使用すること）。（ｖ）（ｉｖ）における生物物理学的特性及び／または生化学的特性の予測のための機械学習モデルを使用して、配列から１つ以上の生物物理学的特性及び／または生化学的特性（例えば、多特異性、疎水性、融解温度、ＳＥＣモノマー百分率、保持時間、化学的安定性データ、及び／または配列のエンリッチメントまたはディプリーションの尺度）を予測すること。（ｖｉ）異なる種に対する特定の生殖細胞系列について対象の配列にわたってジョイント配列確率分布を学習するよう、自己回帰深層学習ニューラルネットワークモデルを開発（例えば、訓練）すること。（ｖｉｉ）（ｖｉ）におけるニューラルネットワークモデルを使用して、入力された一連の配列から配列の組成及び／または相関を取り込み、合成ライブラリーにおいて考慮するための新規な配列またはセグメントを生成すること。
【0013】
別の態様において、本発明は、抗体ライブラリーを構築する（例えば、設計する）ための方法に関する。該方法は、１つ以上の機械学習モデルを用いて、コンピューティングデバイスのプロセッサにより一連の入力配列を処理して、最終的な抗体ライブラリー配列のコレクションを生成することを含む。
【0014】
特定の実施形態において、方法は、（ｉ）一連の入力配列からの各入力配列を、第２のモデルにおける入力として処理することを含み、さらに（ｉｉ）入力配列の各々について、第１のモデル（例えば、グラフ畳み込みネットワーク（ＧＣＮ））によって予測されるような、配列の１つ以上の構造的に重要な特性の残基当たりの予測を処理し、第２のモデルの出力として、（ｉｉｉ）１つ以上の生物物理学的特性（例えば、疎水性相互作用クロマトグラフィーの保持時間（ＨＩＣ ＲＴ）及び／または多特異性試薬（ＰＳＲ）スコア及び／またはＰＳＲ結合カテゴリ）及び／または（ｉｖ）１つ以上の化学的安定特性（例えば、Ａｓｎ脱アミド、Ａｓｐ異性化、及び／またはＭｅｔ酸化）を、入力配列の各々について予測することを含み、ここで、各配列を最終的な抗体ライブラリーに含めることまたは最終的な抗体ライブラリーから排除することは、第２のモデルの出力に少なくとも部分的に基づく。
【0015】
特定の実施形態において、第１のモデルにより予測される残基当たりの予測は、（ｉ）溶媒露出度（ＳＡＳＡ）の尺度、（ｉｉ）電荷パッチの尺度、（ｉｉｉ）疎水性パッチの尺度、及び（ｉｖ）Ｃα／Ｃβ座標予測からなる群から選択される１つ以上を含む。
【0016】
特定の実施形態において、第２のモデルは、ディープコンボリューション及び／または再帰型ネットワーク（例えば、生物物理学的特性の予測のための）を含む。
【0017】
特定の実施形態において、第２のモデルは、ツリーに基づく分類モデル（例えば、化学的安定性の予測のための）を含む。
【0018】
本開示の上述した目的、態様、特徴、及び利点ならびにその他の目的、態様、特徴、及び利点は、添付図面とともに以下の説明を参照することによって、より明らかになり、よりよく理解されるようになる。
【図面の簡単な説明】
【0019】
【図1】例示的な実施形態による、抗体配列ライブラリーの情報に基づく構築のための例示的な方法のブロックフロー図である。
【0020】
【図2】例示的な実施形態による、配列からの開発可能性を予測するための深層学習モジュールの概略図である。
【0021】
【図3】例示的な実施形態による、ＶＨＨ Ｈ３ライブラリー設計において特定のＣＤＲ Ｈ３配列をマッチングするための例を示すチャートである。
【0022】
【図4A】例示的な実施形態による、ＣＤＲ Ｈ１及びＨ２ライブラリー設計において使用される例示的な配列生成手順を示す図である。
【0023】
【図4B】例示的な実施形態による、Ｖλ Ｌ３ライブラリー設計において使用される例示的な配列生成手順を示す図である。
【0024】
【0025】
【図6】本明細書に記載のシステム、方法、及びアーキテクチャを提供する際に使用するためのネットワーク環境の概略図である。
【0026】
【図7】本明細書に記載の技術を実施するために使用することができるコンピューティングデバイス及びモバイルコンピューティングデバイスを示す概略図である。
【0027】
【図8A】配列データから構造特性を予測するための例示的な機械学習方法におけるステップを示す概略図である。
【図8B】配列データから構造特性を予測するための例示的な機械学習方法におけるステップを示す概略図である。
【0028】
【図9】例示的な実施形態による、モデルにおける生物物理学的特性について構造的に重要なメトリクスの予測を使用して、治療薬について重要な開発可能特性を予測する方法のブロック図である。
【0029】
【図10A】例示的な実施形態による、構造記述子の残基レベル予測のためのグラフ畳み込みモデルの使用を示す概略図である。
【図10B】例示的な実施形態による、構造記述子の残基レベル予測のためのグラフ畳み込みモデルの使用を示す概略図である。
【0030】
【図11】例示的な実施形態に従って個々の残基予測を合計することにより計算される総合的なＳＡＰスコアを示すグラフである（ここで予測は、同じ入力配列についてＡｌｐｈａＦｏｌｄ２モデルから得られたものと同等である）。
【0031】
【図12】例示的な実施形態に従って個々の残基予測を合計することにより計算された総合的なＳＣＭスコアを示すグラフである。
【0032】
【図13】例示的な実施形態による、予測された正味電荷パッチのモルワイデ投影の概略図である。
【0033】
【図14】例示的な実施形態による、疎水性及び多特異性の予測のための畳み込みモデル及び再帰モデルの使用を示す概略図である。
【発明を実施するための形態】
【0034】
本開示の特徴及び利点は、図面とともに以下に記載される詳細な説明からより明らかになる。図面を通じて、同じ参照記号は、互いに対応する要素を示している。図面において、同じ参照番号は、通常、同一の、機能的に類似の、及び／または構造的に類似の要素を示している。
【0035】
特許請求の範囲に記載された発明のシステム、アーキテクチャ、装置、方法、及びプロセスは、本明細書に記載の実施形態からの情報を用いて開発される変形物及び変形法ならびに改変物及び改変法を包含すると考えられる。本明細書に記載のシステム、アーキテクチャ、装置、方法、及びプロセスの改変及び／または修飾を行うことは、本明細書の意図するところである。
【0036】
本明細書を通じて、物品、装置、システム、及びアーキテクチャが特定の要素を有する、含む、または備えると記載し、あるいは、プロセス及び方法が特定のステップを有する、含む、または備えると記載している場合、その記載された要素から本質的になる、または、その記載された要素からなる本発明の物品、装置、システム、及びアーキテクチャがさらに存在し、また、その記載された処理ステップから本質的になる、または、その記載された処理ステップからなる本発明のプロセス及び方法が、さらに存在することは、意図するところである。
【0037】
ステップの順序または特定の行為を行う順序は、本発明が実施可能である限り、本質的なことではないと解すべきである。さらに、２つ以上のステップまたは行為を同時に行ってもよい。
【0038】
本明細書における（例えば「背景技術」の節における）任意の刊行物の言及は、ここに提示される請求項のいずれについても、その刊行物が先行技術となることを認めるものではない。「背景技術」の節は、明確さの目的で提示しており、いかなる請求項に関しても先行技術の説明として意図するものではない。
【0039】
本明細書で参照する文書は、参照により本明細書に組み込まれる。特定の用語の意味に矛盾が生じる場合、発明の詳細な説明に示される意味が優先する。
【0040】
見出しを読者の便宜のために付けているが、見出しの存在及び／または配置は、本明細書に記載する主題の範囲を限定しようとするものではない。
【0041】
セクションＩ 天然または合成のレパートリーにおいて配列のパターン、相関、及び使用頻度を学習するための訓練用配列のセット
本明細書に示されるシステム及び方法で使用される配列は、インターナルディスカバリー（ナイーブ、ＬＣＢＳ（軽鎖バッチシャッフル）、あらかじめ作られたＡＦＦＭＡＴ（親和性成熟）、オリゴ系リード特異的ＡＦＦＭＡＴ）、特許及び臨床配列、または文献ＮＧＳ（次世代シーケンシング）データセットに由来し得る。一旦、出発点となる配列のセットが得られると、ＣＤＲ（相補性決定領域）及びライブラリーの性質に応じて、それらを後処理することができる。例示的な後処理ステップのリストは、以下を含む。
１）以下の方法で配列を修飾することによりケミカルライアビリティサイト（ｃｈｅｍｉｃａｌ ｌｉａｂｉｌｉｔｙ ｓｉｔｅ）を排除する。
ａ．露出したＭｅｔをＬｅｕで置き換える。
ｂ．Ｎ（Ｇ、Ｓ、Ｔ）をＱ（Ｇ、Ｓ、Ｔ）で置き換え、したがって、潜在的なＡｓｎ脱アミドモチーフを除く。
ｃ．Ｄ（Ｇ、Ｓ、Ｔ）をＥ（Ｇ、Ｓ、Ｔ）で置き換える（これはＡｓｐ異性化モチーフを除くことになる）。
ｄ．Ｎ－ｇｌｙ部位中のＡｓｎをＡｓｐで置換し、従ってＮ－結合グリコシル化モチーフを除く（これらは、他の因子の中でも宿主細胞依存性に起因する潜在的なマイナス要素と考えられる）。
ｅ．断片化モチーフＤＰをＥＰで置き換える。そして、
ｆ．（訓練された機械学習モデルによって）改変のリスクが高いと予測されるＮ、Ｄ、またはＭのアミノ酸を置き換えるか、または、その周囲の配列コンテキストを変異させて、（機械学習モデルによっても予測されるように）改変リスクを低下させる。
２）ＣＤＲ Ｈ３については、配列をセグメントに分割してＶＤＪ組換えを模倣する。
ａ．セグメントは、既知のＶ、Ｄ、及びＪ遺伝子由来のセグメントの予め生成されたライブラリーとのマッチングに基づくことができる。
ｂ．ＩｇＢｌａｓｔ，Ｉｍｍｃａｎｔａｔｉｏｎ（Ｖａｎｄｅｒ Ｈｅｉｄｅｎ ＪＡ，Ｙａａｒｉ Ｇ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３０，１９３０，２０１４ ＰＭＩＤ：２４６１８４６９、Ｇｕｐｔａ ＮＴ，Ｖａｎｄｅｒ Ｈｅｉｄｅｎ ＪＡ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３１，３３５６，２０１５，ＰＭＩＤ：２６０６９２６５）などのプログラムの出力の解析及び分析から推測される。そして、
ｃ．インハウスソフトウェアから新規に推測される。
３）ＣＤＲ Ｌ３については、配列をセグメントに分割してＶＪ組換えを模倣する。
ａ．セグメントは、文献またはＩＭＧＴデータベースからの既知のＶ－及びＪ－遺伝子とのマッチングに基づく。
４）さらに、Ｖ－領域及びＣＤＲ（Ｈ１、Ｈ２、Ｌ３）に以下の注釈を付ける。
ａ．生殖細胞系列からの変異の数、及び
ｂ．公表された結晶構造の分析に基づく、優先的に抗原に接触する残基または露出した残基に関する生殖細胞系列からの突然変異の数。
本明細書に示されるシステム及び方法で使用される配列は、インターナルディスカバリー（ナイーブ、ＬＣＢＳ（軽鎖バッチシャッフル）、あらかじめ作られたＡＦＦＭＡＴ（親和性成熟）、オリゴ系リード特異的ＡＦＦＭＡＴ）、特許及び臨床配列、または文献ＮＧＳ（次世代シーケンシング）データセットに由来し得る。一旦、出発点となる配列のセットが得られると、ＣＤＲ（相補性決定領域）及びライブラリーの性質に応じて、それらを後処理することができる。例示的な後処理ステップのリストは、以下を含む。
１）以下の方法で配列を修飾することによりケミカルライアビリティサイト（ｃｈｅｍｉｃａｌ ｌｉａｂｉｌｉｔｙ ｓｉｔｅ）を排除する。
ａ．露出したＭｅｔをＬｅｕで置き換える。
ｂ．Ｎ（Ｇ、Ｓ、Ｔ）をＱ（Ｇ、Ｓ、Ｔ）で置き換え、したがって、潜在的なＡｓｎ脱アミドモチーフを除く。
ｃ．Ｄ（Ｇ、Ｓ、Ｔ）をＥ（Ｇ、Ｓ、Ｔ）で置き換える（これはＡｓｐ異性化モチーフを除くことになる）。
ｄ．Ｎ－ｇｌｙ部位中のＡｓｎをＡｓｐで置換し、従ってＮ－結合グリコシル化モチーフを除く（これらは、他の因子の中でも宿主細胞依存性に起因する潜在的なマイナス要素と考えられる）。
ｅ．断片化モチーフＤＰをＥＰで置き換える。そして、
ｆ．（訓練された機械学習モデルによって）改変のリスクが高いと予測されるＮ、Ｄ、またはＭのアミノ酸を置き換えるか、または、その周囲の配列コンテキストを変異させて、（機械学習モデルによっても予測されるように）改変リスクを低下させる。
２）ＣＤＲ Ｈ３については、配列をセグメントに分割してＶＤＪ組換えを模倣する。
ａ．セグメントは、既知のＶ、Ｄ、及びＪ遺伝子由来のセグメントの予め生成されたライブラリーとのマッチングに基づくことができる。
ｂ．ＩｇＢｌａｓｔ，Ｉｍｍｃａｎｔａｔｉｏｎ（Ｖａｎｄｅｒ Ｈｅｉｄｅｎ ＪＡ，Ｙａａｒｉ Ｇ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３０，１９３０，２０１４ ＰＭＩＤ：２４６１８４６９、Ｇｕｐｔａ ＮＴ，Ｖａｎｄｅｒ Ｈｅｉｄｅｎ ＪＡ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３１，３３５６，２０１５，ＰＭＩＤ：２６０６９２６５）などのプログラムの出力の解析及び分析から推測される。そして、
ｃ．インハウスソフトウェアから新規に推測される。
３）ＣＤＲ Ｌ３については、配列をセグメントに分割してＶＪ組換えを模倣する。
ａ．セグメントは、文献またはＩＭＧＴデータベースからの既知のＶ－及びＪ－遺伝子とのマッチングに基づく。
４）さらに、Ｖ－領域及びＣＤＲ（Ｈ１、Ｈ２、Ｌ３）に以下の注釈を付ける。
ａ．生殖細胞系列からの変異の数、及び
ｂ．公表された結晶構造の分析に基づく、優先的に抗原に接触する残基または露出した残基に関する生殖細胞系列からの突然変異の数。
【0042】
異なるライブラリー設計のためのモデルを訓練するのに使用される配列の例は、以下を含む。
１）ヒト生殖細胞系列についての可変領域配列データ（以下から得られる）、
ａ）ＯＡＳ（Ｏｂｓｅｒｖｅｄ Ａｎｔｉｂｏｄｙ Ｓｐａｃｅ）配列データベース（Ｋｏｖａｌｔｓｕｋ Ａ，Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｉｍｍｕｎｏｌｏｇｙ，２０１，２５０２，２０１８，ＰＭＩＤ：３０２１７８２９）、
ｂ）プライマリーディスカバリーならびに対をなす重鎖及び軽鎖配列についての親和性成熟からのヒト生殖細胞系列由来の内部データ、
ｃ）対をなす重鎖及び軽鎖配列についての文献、特許などからの臨床抗体データ、
２）ＩＭＧＴからのヒトＶ、Ｄ、及びＪ－遺伝子情報、
３）ＮＧＳからのラクダ科動物についての可変領域配列データ、
ａ）ＭｃＣｏｙ ＬＥ，ＰＬｏＳ Ｐａｔｈｏｇｅｎｓ，１０，ｅ１００４５５２，２０１４，ＰＭＩＤ：２５５２２３２６からのラマ配列、
ｂ）Ｌｉ Ｘ，ＰＬｏＳ ＯＮＥ，１１，ｅ０１６１８０１，２０１６，ＰＭＩＤ：２７５８８７５５からのフタコブラクダ配列、及び
ｃ）文献、特許などからの臨床抗体データ。
４）ラクダ科動物のＶ、Ｄ、及びＪ－遺伝子情報は、以下のものである。
ａ）アルパカ、ラマ、及びフタコブラクダに関するＩＭＧＴからのＶ遺伝子、
ｂ）アルパカ、ラマに関するＩＭＧＴからのＪ－遺伝子、及びＬｉａｎｇ Ｚ，Ｆｒｏｎｔｉｅｒｓ ｏｆ Ａｇｒｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，２，２４９，２０１５からのフタコブラクダに関するＪ－遺伝子、及び
ｃ）アルパカに関するＩＭＧＴからのＤ－遺伝子、及びＩｇＳｃｏｕｔ（Ｓａｆｏｎｏｖａ Ｙ，Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｉｍｍｕｎｏｌｏｇｙ，１０，１，２０１９，ＰＭＩＤ：３１１３４０７２）を用いてＮＧＳデータから内部的に推測されたラマ及びフタコブラクダに関するＤ－遺伝子、ならびにＬｉａｎｇ Ｚ，Ｆｒｏｎｔｉｅｒｓ ｏｆ Ａｇｒｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，２，２４９，２０１５からのフタコブラクダに関するＤ－遺伝子。
１）ヒト生殖細胞系列についての可変領域配列データ（以下から得られる）、
ａ）ＯＡＳ（Ｏｂｓｅｒｖｅｄ Ａｎｔｉｂｏｄｙ Ｓｐａｃｅ）配列データベース（Ｋｏｖａｌｔｓｕｋ Ａ，Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｉｍｍｕｎｏｌｏｇｙ，２０１，２５０２，２０１８，ＰＭＩＤ：３０２１７８２９）、
ｂ）プライマリーディスカバリーならびに対をなす重鎖及び軽鎖配列についての親和性成熟からのヒト生殖細胞系列由来の内部データ、
ｃ）対をなす重鎖及び軽鎖配列についての文献、特許などからの臨床抗体データ、
２）ＩＭＧＴからのヒトＶ、Ｄ、及びＪ－遺伝子情報、
３）ＮＧＳからのラクダ科動物についての可変領域配列データ、
ａ）ＭｃＣｏｙ ＬＥ，ＰＬｏＳ Ｐａｔｈｏｇｅｎｓ，１０，ｅ１００４５５２，２０１４，ＰＭＩＤ：２５５２２３２６からのラマ配列、
ｂ）Ｌｉ Ｘ，ＰＬｏＳ ＯＮＥ，１１，ｅ０１６１８０１，２０１６，ＰＭＩＤ：２７５８８７５５からのフタコブラクダ配列、及び
ｃ）文献、特許などからの臨床抗体データ。
４）ラクダ科動物のＶ、Ｄ、及びＪ－遺伝子情報は、以下のものである。
ａ）アルパカ、ラマ、及びフタコブラクダに関するＩＭＧＴからのＶ遺伝子、
ｂ）アルパカ、ラマに関するＩＭＧＴからのＪ－遺伝子、及びＬｉａｎｇ Ｚ，Ｆｒｏｎｔｉｅｒｓ ｏｆ Ａｇｒｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，２，２４９，２０１５からのフタコブラクダに関するＪ－遺伝子、及び
ｃ）アルパカに関するＩＭＧＴからのＤ－遺伝子、及びＩｇＳｃｏｕｔ（Ｓａｆｏｎｏｖａ Ｙ，Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｉｍｍｕｎｏｌｏｇｙ，１０，１，２０１９，ＰＭＩＤ：３１１３４０７２）を用いてＮＧＳデータから内部的に推測されたラマ及びフタコブラクダに関するＤ－遺伝子、ならびにＬｉａｎｇ Ｚ，Ｆｒｏｎｔｉｅｒｓ ｏｆ Ａｇｒｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，２，２４９，２０１５からのフタコブラクダに関するＤ－遺伝子。
【0043】
セクションＩＩ 構造特性を配列から直接予測するための機械学習
Ｘ線結晶解析、ｃｒｙｏ－ＥＭなどの実験技法から、またはＡｌｐｈａＦｏｌｄ、ＩｇＦｏｌｄ、またはＳｃｈｒｏｄｉｎｇｅｒ Ｄｉｓｃｏｖｅｒｙ Ｓｔｕｄｉｏなどの相同性モデリングソフトウェアから、３Ｄ構造を得ることは、時間がかかり得るので、本明細書では、配列入力からのダウンストリーム開発可能性予測に重要な構造特性を予測するための機械学習モデルを提示する。
１）機械モデル（複数可）を開発するための３Ｄ構造データは、以下から得ることができる。
ａ）公的に寄託されている、または内部で得られるＰｒｏｔｅｉｎ Ｄａｔａ Ｂａｎｋ（ＰＤＢ）の構造、及び／または
ｂ）公的に入手可能なソースからの、または内部のソフトウェアパイプライン及びアルゴリズムを介して生成されるホモロジーモデル。
２）内部で開発された独自のアルゴリズムまたは公開された方法（例えば、ＳＡＰ Ｃｈｅｎｎａｍｓｅｔｔｙ ｅｔ ａｌ．，Ｊ．Ｐｈｙｓ．Ｃｈｅｍ．，２０１４、ＳＣＭ Ａｇｒａｗａｌ ｅｔ ａｌ．，ｍＡｂｓ，２０１６）の内部での実施行為を、上記３Ｄ構造データと共に使用して、入力構造における各残基について記述子を生成する。さらに、これらの記述子の値を、残基タイプ、抗体領域、またはそれらの組み合わせに基づいて集約し、より高いレベルの記述子を生成することができる。
Ｘ線結晶解析、ｃｒｙｏ－ＥＭなどの実験技法から、またはＡｌｐｈａＦｏｌｄ、ＩｇＦｏｌｄ、またはＳｃｈｒｏｄｉｎｇｅｒ Ｄｉｓｃｏｖｅｒｙ Ｓｔｕｄｉｏなどの相同性モデリングソフトウェアから、３Ｄ構造を得ることは、時間がかかり得るので、本明細書では、配列入力からのダウンストリーム開発可能性予測に重要な構造特性を予測するための機械学習モデルを提示する。
１）機械モデル（複数可）を開発するための３Ｄ構造データは、以下から得ることができる。
ａ）公的に寄託されている、または内部で得られるＰｒｏｔｅｉｎ Ｄａｔａ Ｂａｎｋ（ＰＤＢ）の構造、及び／または
ｂ）公的に入手可能なソースからの、または内部のソフトウェアパイプライン及びアルゴリズムを介して生成されるホモロジーモデル。
２）内部で開発された独自のアルゴリズムまたは公開された方法（例えば、ＳＡＰ Ｃｈｅｎｎａｍｓｅｔｔｙ ｅｔ ａｌ．，Ｊ．Ｐｈｙｓ．Ｃｈｅｍ．，２０１４、ＳＣＭ Ａｇｒａｗａｌ ｅｔ ａｌ．，ｍＡｂｓ，２０１６）の内部での実施行為を、上記３Ｄ構造データと共に使用して、入力構造における各残基について記述子を生成する。さらに、これらの記述子の値を、残基タイプ、抗体領域、またはそれらの組み合わせに基づいて集約し、より高いレベルの記述子を生成することができる。
【0044】
項目１）における３Ｄ構造の配列は、上記の項目２）における一連の記述子を予測することを目的とする機械学習モデルへの入力データとして働く。
【0045】
【0046】
タンパク質構造はグラフとして表すことができるため、グラフ畳み込みネットワーク（ＧＣＮ）アーキテクチャを使用して、配列から構造特性を予測することができる。ＧＣＮは、以下の工程を含む。
１）ネットワーク重みＷを、各アミノ酸タイプ、位置、またはそれらの組み合わせ（いわゆるノード重み）毎に個別に学習する。そして
２）中心残基Ｃｉｊに対する隣接残基の影響を表すよう、重みをさらに学習する（いわゆるエッジ重み）。
３）ノード重み及びエッジ重みは、ｆ（バイアス項ｂを含む）で示される数学的演算により組み合わすことができ、配列内の各残基についての記述子または追加の特徴を生成することができる（ｘで示される）。
４）ネットワークの学習能力を向上させ、複数の長さスケールにわたって特性を学習させることを可能にするために、上記パラメータの独立したセットを各ステップで学習することができる。
５）複雑な関係をネットワークに学習させるために、複数のそのような層を重ねて、深層学習モデルを構築することができる。各層を、図８Ｂの概略図において「アテンションブロック」として示す。
６）非線形活性化による密結合層を実施し、そこにおいて、最終的に各残基について構造記述子を予測するため、位置固有の重みを学習する。
１）ネットワーク重みＷを、各アミノ酸タイプ、位置、またはそれらの組み合わせ（いわゆるノード重み）毎に個別に学習する。そして
２）中心残基Ｃｉｊに対する隣接残基の影響を表すよう、重みをさらに学習する（いわゆるエッジ重み）。
３）ノード重み及びエッジ重みは、ｆ（バイアス項ｂを含む）で示される数学的演算により組み合わすことができ、配列内の各残基についての記述子または追加の特徴を生成することができる（ｘで示される）。
４）ネットワークの学習能力を向上させ、複数の長さスケールにわたって特性を学習させることを可能にするために、上記パラメータの独立したセットを各ステップで学習することができる。
５）複雑な関係をネットワークに学習させるために、複数のそのような層を重ねて、深層学習モデルを構築することができる。各層を、図８Ｂの概略図において「アテンションブロック」として示す。
６）非線形活性化による密結合層を実施し、そこにおいて、最終的に各残基について構造記述子を予測するため、位置固有の重みを学習する。
【0047】
モデルによって学習することができ次いで入力として配列のみを用いて予測できる構造記述子の例は、以下の通りである。
１）各残基についての溶媒露出度、
２）公開されたまたは決定された疎水性／親水性傾向のセットを用いて計算される、複数の長さのスケールに対する、各残基の周りの疎水性の度合い、
３）ＣＨＡＲＭＭ、ＡＭＢＥＲなどの異なる力場から割り当てられる電荷を使用して計算され、異なるｐＨで計算され、複数の長さスケールにわたる、各残基の周りの正、負、及び全電荷の度合い、及び
４）入力訓練データを共通の参照フレームにアラインした後に得られる主鎖及び側鎖についての構造座標の計算。
１）各残基についての溶媒露出度、
２）公開されたまたは決定された疎水性／親水性傾向のセットを用いて計算される、複数の長さのスケールに対する、各残基の周りの疎水性の度合い、
３）ＣＨＡＲＭＭ、ＡＭＢＥＲなどの異なる力場から割り当てられる電荷を使用して計算され、異なるｐＨで計算され、複数の長さスケールにわたる、各残基の周りの正、負、及び全電荷の度合い、及び
４）入力訓練データを共通の参照フレームにアラインした後に得られる主鎖及び側鎖についての構造座標の計算。
【0048】
配列からのこれらの記述子の予測は、次いで、抗体について実験的に観察される開発可能性特性を予測するためのダウンストリームタスク及び他の機械学習モデルへの入力として働くことができる。
【0049】
入力構造についての配列を、一貫した番号付けスキームを用いてアラインし、ワンホットエンコーディングスキーム、アミノ酸特性スケールを用いる生物物理学的特徴及び生化学的特徴の付加、位置特異的スコアリング行列、及び予め訓練された配列埋め込みを用いて、数値に変換した。
【0050】
２５倍モンテカルロ交差検証を使用して、それぞれ８０％及び２０％の訓練と検証の分割によりモデルを訓練した。モデルの訓練は、１０エポックを超える試験セットに対して改善が見られない場合には、早期の終了を伴う最大２００エポックについて実施した。
【0051】
予測される出力記述子は異なるスケールの値を有するので、前処理ステップを行うことができ、各記述子についての分布が、残基毎に平均を差し引くことにより、中心に置かれるようにすることができる。さらに、元の分布の分散または四分位範囲で割るなど、大きさをスケーリングするための種々の戦略を使用した。
【0052】
配列から構造記述子を予測するための深層学習モデルの例示的な擬似コードは、以下の通りである。
【数3】
【数4】
【0053】
セクションＩＩＩ 開発能力機械学習のための入力訓練データ
生物物理学的特性及び生化学的特性を予測するための機械学習モデルを訓練するための入力配列は、以下の例示的な例に由来し得る：
１）個々の配列に関するデータであって、配列が、
ａ）内部ライブラリーを用いるディスカバリエフォートと、
ｂ）臨床抗体、特許からの配列などの文献から作成された配列に関するデータと、に由来する配列に関するデータ；
２）配列のプールまたはコレクションに関するデータ、例えば、
ａ）好ましい生物物理学的特性（例えば、低い多特異性、低い疎水性、高発現など）についてソートされたライブラリー群に関するＮＧＳシーケンシングに関するデータ；及び
ｂ）既知の入力配列または組成の違いを有するライブラリーのポリクローナルアセスメントに関するデータ。
生物物理学的特性及び生化学的特性を予測するための機械学習モデルを訓練するための入力配列は、以下の例示的な例に由来し得る：
１）個々の配列に関するデータであって、配列が、
ａ）内部ライブラリーを用いるディスカバリエフォートと、
ｂ）臨床抗体、特許からの配列などの文献から作成された配列に関するデータと、に由来する配列に関するデータ；
２）配列のプールまたはコレクションに関するデータ、例えば、
ａ）好ましい生物物理学的特性（例えば、低い多特異性、低い疎水性、高発現など）についてソートされたライブラリー群に関するＮＧＳシーケンシングに関するデータ；及び
ｂ）既知の入力配列または組成の違いを有するライブラリーのポリクローナルアセスメントに関するデータ。
【0054】
上記配列に関する生物物理学的データ及び生化学的データは、例えば、以下を含み得る。
１）ＰＳＲ（多特異性試薬）及びＡＣ－ＳＩＮＳ（アフィニティキャプチャー自己相互作用ナノ粒子分光法）を用いる多特異性測定値、
２）ＨＩＣ（疎水性相互作用クロマトグラフィー）保持時間を用いて測定した疎水性、
３）融解温度、
４）ＳＥＣ（サイズ排除クロマトグラフィー）モノマー百分率及び保持時間、
５）脱アミド、異性化、酸化、及びトリプシンペプチドマッピングを用いる断片化を特定するための異なるストレス条件下での化学的安定性データ、及び
６）互いにまたは以下の入力頻度と比較されるポジティブ選択またはネガティブ選択された群における配列エンリッチメントまたはディプリーション。
式中、特性は、発現、多特異性などであり得、ｐは、群中の配列または配列モチーフの頻度である。
１）ＰＳＲ（多特異性試薬）及びＡＣ－ＳＩＮＳ（アフィニティキャプチャー自己相互作用ナノ粒子分光法）を用いる多特異性測定値、
２）ＨＩＣ（疎水性相互作用クロマトグラフィー）保持時間を用いて測定した疎水性、
３）融解温度、
４）ＳＥＣ（サイズ排除クロマトグラフィー）モノマー百分率及び保持時間、
５）脱アミド、異性化、酸化、及びトリプシンペプチドマッピングを用いる断片化を特定するための異なるストレス条件下での化学的安定性データ、及び
６）互いにまたは以下の入力頻度と比較されるポジティブ選択またはネガティブ選択された群における配列エンリッチメントまたはディプリーション。
【数5】
【0055】
セクションＩＶ 配列開発可能性のための機械学習モデル及び統計モデル
特定の実施形態では、以下の機械学習モデルを、入力配列及び特徴付けデータに基づいて、上述のように開発する。
ａ．個々の位置、ＣＤＲ及びＦＲについて多特異性及び疎水性を予測するためアミノ酸係数を導き出すロジスティック回帰モデル、
ｂ．配列から生物物理学的特性を予測するためのランダムフォレスト及びＸＧＢｏｏｓｔなどの樹木モデル、
ｃ．配列から生物物理学的特性を予測するためニューラルネットワークを用いる深層学習モデル、
ｄ．低バイアスの配列を選択するためバイアスを評価する統計モデル、及び
ｅ．抗体配列中の位置、領域、または任意の場所におけるモチーフ（ここで、「モチーフ」は、修飾される可能性のあるアミノ酸及びそれにすぐ続くＮ＋１アミノ酸として定義される）の事前の実験的に観察された修飾の速度（複数可）に基づいて、特定の位置及び領域（ＣＤＲＨ１、ＣＤＲＨ２、ＣＤＲＨ３、ＣＤＲＬ１、ＣＤＲＬ２、ＣＤＲＬ３、ＨＦＲ、ＬＦＲ）における配列モチーフの関数として化学修飾のリスクを予測するための階層的統計。統計は階層的である。事前の観察が十分である対象の予測に最も特異的な統計を使用するからである。
特定の実施形態では、以下の機械学習モデルを、入力配列及び特徴付けデータに基づいて、上述のように開発する。
ａ．個々の位置、ＣＤＲ及びＦＲについて多特異性及び疎水性を予測するためアミノ酸係数を導き出すロジスティック回帰モデル、
ｂ．配列から生物物理学的特性を予測するためのランダムフォレスト及びＸＧＢｏｏｓｔなどの樹木モデル、
ｃ．配列から生物物理学的特性を予測するためニューラルネットワークを用いる深層学習モデル、
ｄ．低バイアスの配列を選択するためバイアスを評価する統計モデル、及び
ｅ．抗体配列中の位置、領域、または任意の場所におけるモチーフ（ここで、「モチーフ」は、修飾される可能性のあるアミノ酸及びそれにすぐ続くＮ＋１アミノ酸として定義される）の事前の実験的に観察された修飾の速度（複数可）に基づいて、特定の位置及び領域（ＣＤＲＨ１、ＣＤＲＨ２、ＣＤＲＨ３、ＣＤＲＬ１、ＣＤＲＬ２、ＣＤＲＬ３、ＨＦＲ、ＬＦＲ）における配列モチーフの関数として化学修飾のリスクを予測するための階層的統計。統計は階層的である。事前の観察が十分である対象の予測に最も特異的な統計を使用するからである。
【0056】
これらの機械学習モデルの各々について、以下により詳細に説明する。
【0057】
ａ．ロジスティック回帰
ロジスティック回帰は、例えば、Ｊａｉｎ Ｔ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３３，３７５８，２０１７，ＰＭＩＤ：２８９６１９９９に記載の方法を用いて行うことができる。これらのモデルからの結果は、ＨＩＣにおける遅れた保持時間、高い多特異性、発現などの低い開発可能性特性を予測するための領域特異的アミノ酸係数である。以下の式を用いる。
式中、
は、Ｊａｉｎ Ｔ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３３，３７５８，２０１７，ＰＭＩＤ：２８９６１９９９に記載されるように決定されるかまたは３Ｄ構造などから決定される、残基タイプｉについての領域Ｒにおける溶媒露出側鎖面積の合計である。領域特異的アミノ酸係数
を、データに対するロジスティック回帰を用いて推定する（ここで
は、望ましい開発可能特性を有する配列の尤度を示す）。上記の式は、代わりに、Ｒに対する外部和を個々の位置に対する外部和と置き換えることによって、位置特異的係数を推定するように変更することができる。
ロジスティック回帰は、例えば、Ｊａｉｎ Ｔ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，３３，３７５８，２０１７，ＰＭＩＤ：２８９６１９９９に記載の方法を用いて行うことができる。これらのモデルからの結果は、ＨＩＣにおける遅れた保持時間、高い多特異性、発現などの低い開発可能性特性を予測するための領域特異的アミノ酸係数である。以下の式を用いる。
【数6】
【数7】
【数8】
【数9】
【0058】
係数
の点推定値の代わりに、一般化加法モデル（ＧＡＭ）も、連続スプラインまたは多項式係数に適合するよう検討した。
【数10】
【0059】
ｂ．ツリーに基づく回帰モデル及び分類モデル
対象の特性またはメトリックを考慮し、回帰法及び分類法（例えば、ランダムフォレストまたはＸＧＢｏｏｓｔなどのツリーに基づく方法）を、ニューラルネットワークまたは他の機械学習モデルを訓練するための入力として用いて、新規な配列、配列のセグメント、及び／または配列内の個々のアミノ酸のそのような特性を予測するようにする。この例では、
ここで、配列（またはセグメント）記述子は、以下の１つ以上を含む。
１）配列長またはセグメント長、
２）ロジスティック回帰からの疎水性スコア、
３）ロジスティック回帰からの多特異性スコア、
４）ニューラルネットワーク予測からの溶媒露出度、
５）局所構造特性、例えば、隣接するアミノ酸のｃ－α原子間の距離あるいはタンパク質骨格φまたはψねじれなど（このような局所構造特性は、実験による構造予測及び／または構造予測（例えば、ＡｌｐｈａＦｏｌｄ、ＩｇＦｏｌｄなどのツールによる予測、または訓練されたニューラルネットワークポジションによる原子位置の直接予測）によって決定される）、
６）正荷電残基（Ａｒｇ、Ｌｙｓ、Ｈｉｓ）の数、負荷電残基（Ａｓｐ、Ｇｌｕ）の数、及び総荷電残基の数、
７）芳香族残基（Ｐｈｅ、Ｔｙｒ、Ｔｒｐ）の数、脂肪族残基（Ａｌａ、Ｌｅｕ、Ｖａｌ、Ｉｌｅ、Ｍｅｔ、Ｃｙｓ）の数、及び極性残基（Ａｓｎ、Ｇｌｎ、Ｔｈｒ、Ｓｅｒ、Ｈｉｓ、Ｇｌｙ）の数。特定のアミノ酸（例えば、Ｇｌｙ、Ｈｉｓなど）は、個々にまたはアミノ酸のクラスの部分として考慮し、以下について考慮する。
８）「モチーフ」アミノ酸（対象とするアミノ酸の直後のＮ＋１アミノ酸）が何であるか、モチーフアミノ酸のクラス（それが関連するクラスを含む）、モチーフアミノ酸のタンパク質立体配座柔軟性、サイズ、化学的特性、または生物物理学的特性、
９）アミノ酸周囲の隣接する一次構造コンテキスト、例えば、対象とする残基の前のＸ１個のアミノ酸（例えば、１０）の配列、及び、後のＸ２個のアミノ酸（例えば、１０）の配列、
１０）抗体配列内のアミノ酸の位置、例えば、Ｃｈｏｔｈｉａまたは他の番号付けスキーム（その構造位置に従ってアミノ酸を列挙するもの）により決定されるアミノ酸の位置、
１１）相補性決定領域（ＣＤＲ）内のアミノ酸の位置、
１２）フレームワークまたはＣＤＲ配列に関連する構造コンホメーション、例えばカノニカル構造クラスタリングにより決定されるもの（例えば、９ＣＤＲＬ３長におけるＬ９５位のプロリン）、
１３）最も近い野生型の生殖細胞系列、及びその野生型の抗体配列の起源の種、
１４）最も近い野生型生殖細胞系列の抗体配列から離れた変異の数、
１５）予測される対象の出力特性の実験的観察に基づく過去の統計、例えば、限定されないが、特定の位置または領域における観察された修飾率。
対象の特性またはメトリックを考慮し、回帰法及び分類法（例えば、ランダムフォレストまたはＸＧＢｏｏｓｔなどのツリーに基づく方法）を、ニューラルネットワークまたは他の機械学習モデルを訓練するための入力として用いて、新規な配列、配列のセグメント、及び／または配列内の個々のアミノ酸のそのような特性を予測するようにする。この例では、
【数11】
１）配列長またはセグメント長、
２）ロジスティック回帰からの疎水性スコア、
３）ロジスティック回帰からの多特異性スコア、
４）ニューラルネットワーク予測からの溶媒露出度、
５）局所構造特性、例えば、隣接するアミノ酸のｃ－α原子間の距離あるいはタンパク質骨格φまたはψねじれなど（このような局所構造特性は、実験による構造予測及び／または構造予測（例えば、ＡｌｐｈａＦｏｌｄ、ＩｇＦｏｌｄなどのツールによる予測、または訓練されたニューラルネットワークポジションによる原子位置の直接予測）によって決定される）、
６）正荷電残基（Ａｒｇ、Ｌｙｓ、Ｈｉｓ）の数、負荷電残基（Ａｓｐ、Ｇｌｕ）の数、及び総荷電残基の数、
７）芳香族残基（Ｐｈｅ、Ｔｙｒ、Ｔｒｐ）の数、脂肪族残基（Ａｌａ、Ｌｅｕ、Ｖａｌ、Ｉｌｅ、Ｍｅｔ、Ｃｙｓ）の数、及び極性残基（Ａｓｎ、Ｇｌｎ、Ｔｈｒ、Ｓｅｒ、Ｈｉｓ、Ｇｌｙ）の数。特定のアミノ酸（例えば、Ｇｌｙ、Ｈｉｓなど）は、個々にまたはアミノ酸のクラスの部分として考慮し、以下について考慮する。
８）「モチーフ」アミノ酸（対象とするアミノ酸の直後のＮ＋１アミノ酸）が何であるか、モチーフアミノ酸のクラス（それが関連するクラスを含む）、モチーフアミノ酸のタンパク質立体配座柔軟性、サイズ、化学的特性、または生物物理学的特性、
９）アミノ酸周囲の隣接する一次構造コンテキスト、例えば、対象とする残基の前のＸ１個のアミノ酸（例えば、１０）の配列、及び、後のＸ２個のアミノ酸（例えば、１０）の配列、
１０）抗体配列内のアミノ酸の位置、例えば、Ｃｈｏｔｈｉａまたは他の番号付けスキーム（その構造位置に従ってアミノ酸を列挙するもの）により決定されるアミノ酸の位置、
１１）相補性決定領域（ＣＤＲ）内のアミノ酸の位置、
１２）フレームワークまたはＣＤＲ配列に関連する構造コンホメーション、例えばカノニカル構造クラスタリングにより決定されるもの（例えば、９ＣＤＲＬ３長におけるＬ９５位のプロリン）、
１３）最も近い野生型の生殖細胞系列、及びその野生型の抗体配列の起源の種、
１４）最も近い野生型生殖細胞系列の抗体配列から離れた変異の数、
１５）予測される対象の出力特性の実験的観察に基づく過去の統計、例えば、限定されないが、特定の位置または領域における観察された修飾率。
【0060】
疎水性スコア及び多特異性スコアの例示的な計算を以下のように行う。
１）上述したグラフ畳み込みモデルからの配列中の各残基に関する溶媒露出度を計算するか、または既知の一連の構造に対する計算によって生成されたデータベースから事前に計算された値
に対してルックアップを実行する。
２）配列中の特定の種類のアミノ酸の数
をカウントする。そして
３）
または
を係数
で乗算し、値を合計して、対象とする配列について最終スコアを得る。
１）上述したグラフ畳み込みモデルからの配列中の各残基に関する溶媒露出度を計算するか、または既知の一連の構造に対する計算によって生成されたデータベースから事前に計算された値
【数12】
２）配列中の特定の種類のアミノ酸の数
【数13】
３）
【数14】
【数15】
【数16】
【0061】
ｃ．配列から開発可能性を予測するための深層学習モデル
対象の特性またはメトリックを考慮して、新規な配列またはセグメントについてそのような特性を予測するよう、深層学習ニューラルネットワーク法を訓練する。これらのモデルは、図２の概略図に示すように、入力層、複数の中間特徴抽出層、及び最終出力層を含むことができる。
対象の特性またはメトリックを考慮して、新規な配列またはセグメントについてそのような特性を予測するよう、深層学習ニューラルネットワーク法を訓練する。これらのモデルは、図２の概略図に示すように、入力層、複数の中間特徴抽出層、及び最終出力層を含むことができる。
【0062】
異なる長さの入力配列を、ニューラルネットワークへの入力のために同じ長さに処理する。これは、一貫した番号付けスキームを用いて配列をアラインすることによって、または適切な数の挿入で配列をライトパディングすることによって行うことができる。次いで、配列を、ワンホットエンコーディングスキームと、アミノ酸特性スケール、位置特異的スコアリング行列、及び予め訓練された配列埋め込みを使用する生物物理学的特徴及び生化学的特徴の付加と、を使用して、数値に変換する。上流の機械学習モデル／モジュール（例えば、本明細書に記載するグラフ畳み込みモデルなど）からの出力として計算される記述子も、配列から計算することができ、モデル入力に追加することができる。
【0063】
モデル入力は、入力層における鎖情報を加算または減算することによって、異なるモダリティに適合させることができる。特徴抽出層は、畳み込み、回帰（長・短記憶（ＬＳＴＭ）ユニット、ゲート付き再帰ユニット（ＧＲＵ）を用いる）、セルフアテンション、及び／または密結合層のうちの１つ以上を含み得る。
【0064】
１つの例示的な実施例では、１０倍交差検証を用いてモデルを訓練した。この実施例では、モデルの訓練を、１０エポックを超える試験セットに対して改善が見られない場合には、早期の終了を伴う最大３００エポックについて実施した。
【0065】
開発可能性を予測する深層学習モデルのための例示的な擬似コードは、以下の通りである。
【数17】
【0066】
ｄ．低バイアスの配列を特定するための統計モデル
統計学的アプローチ及びデータマイニングアプローチをここに示す。これらは、ライブラリー中の多様性の複数のソースにわたって同等に対をなす配列または配列モチーフを特定するためのものである。異なる多様性の理想的分布または目標とする分布を考慮して、提案されるモチーフを、例えば、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンスメトリックを使用して、その分布が低バイアスとマッチするそれらの能力について評価する。モチーフは、ある位置における単一のアミノ酸、異なる位置におけるアミノ酸の組み合わせ、または配列全体とすることができる。所定のモチーフについてのＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンスメトリックは、以下のように計算できる。
式中、ｉは多様性のタイプを示し、Ｐ（ｉ）は多様性ｉの理想的なまたは目標とする確率分布であり、Ｐ（ｉ｜モチーフ）は配列を与えた多様性の条件付き確率である。ＫＬ（モチーフ）の値は、高いほど、Ｐ（ｉ）からのＰ（ｉ｜モチーフ）のより大きなずれを示す。ゼロのＫＬ（モチーフ）値は、ターゲットと条件付き分布との間の完全なマッチを示し、これは、配列またはモチーフによって導入されるバイアスがないことを示す。
統計学的アプローチ及びデータマイニングアプローチをここに示す。これらは、ライブラリー中の多様性の複数のソースにわたって同等に対をなす配列または配列モチーフを特定するためのものである。異なる多様性の理想的分布または目標とする分布を考慮して、提案されるモチーフを、例えば、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンスメトリックを使用して、その分布が低バイアスとマッチするそれらの能力について評価する。モチーフは、ある位置における単一のアミノ酸、異なる位置におけるアミノ酸の組み合わせ、または配列全体とすることができる。所定のモチーフについてのＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンスメトリックは、以下のように計算できる。
【数18】
【0067】
セクションＶ 配列のパターン及び組成に関する機械学習モデル
自己回帰深層学習ニューラルネットワークモデルを、キュレートした入力訓練配列のセットにおける配列パターンを学習するために実施することができる。セットは、所望の基準または特性、例えば種及び生殖細胞系列、好ましい開発可能性プロファイルなど、に従って分類された配列から構成することができる。目的は、以下のように、対象とする配列にわたるジョイント配列確率分布を学習することである。
一例では、入力配列を、両側に１つの挿入でパディングする。これらの挿入は、モデルに入力配列の開始及び終了を示すトークンとして働き、次いで、新規な配列生成を開始し、配列生成の終了を検出するための生成ステップにおいて使用することができる。パディングされた配列は、ワンホットエンコーディングスキームを用いて数値に変換する（アミノ酸特性スケールを用いる生物物理学的特徴及び生化学的特徴を必要に応じて付加する）。複数のアーキテクチャを、長・短記憶（ＬＳＴＭ）ユニット、ゲート付き再帰ユニット（ＧＲＵ）、高密度ニューロン、畳み込みユニット、及び／またはセルフアテンションモジュールを含む中間層を使用することによって検討してもよい。
自己回帰深層学習ニューラルネットワークモデルを、キュレートした入力訓練配列のセットにおける配列パターンを学習するために実施することができる。セットは、所望の基準または特性、例えば種及び生殖細胞系列、好ましい開発可能性プロファイルなど、に従って分類された配列から構成することができる。目的は、以下のように、対象とする配列にわたるジョイント配列確率分布を学習することである。
【数19】
【0068】
１つの例示的な実施例では、入力配列データを３：１の割合で訓練：検証セットに分割した。この実施例では、モデルの訓練を、１０エポックを超える試験セットに対して改善が見られない場合には、早期の終了を伴う最大３００エポックについて実施した。
【0069】
訓練されたモデルは、続いて、入力シード配列、例えば、英数字（アミノ酸記号以外）、ハイフン、または長さ１の他の記号で開始することによって、生成モードで実行することができる。例えば、図４の例示的な概略図において、これは、ハイフン「－」であり、Ｈ１が始まるときと終わるときとにモデルを教示するための人工的構築物として働く。このシード配列は、モデルによって予測される確率からサンプリングされたアミノ酸を付加することにより更新される。生成プロセスは、挿入物が予測される場合に終了し、これはサンプリングされた配列に終了を示す。加えて、生成された配列の確率は、合成ライブラリーについて配列を優先順位付けするのに使用するため、記憶させることもできる。これにより、対象とする生殖細胞系列に特異的な配列のセットが得られる。
【0070】
セクションＶＩ セグメントを得ること及びレパートリーにおけるその使用頻度を推定すること
上記で詳述したＶ－、Ｄ－及びＪ－遺伝子のコレクションまたはサブセットを用い、候補セグメントを、ヌクレオチド欠失、ヌクレオチド付加、ニブリングなどの方法を用いて生成することができる。データから新規にセグメントを推定するため、長さ０～Ｌまでの任意の配列にマッチングするワイルドカード配列を、プレースホルダとして追加することができる。
上記で詳述したＶ－、Ｄ－及びＪ－遺伝子のコレクションまたはサブセットを用い、候補セグメントを、ヌクレオチド欠失、ヌクレオチド付加、ニブリングなどの方法を用いて生成することができる。データから新規にセグメントを推定するため、長さ０～Ｌまでの任意の配列にマッチングするワイルドカード配列を、プレースホルダとして追加することができる。
【0071】
ツリーに基づく枝刈りアルゴリズム（例えば、設計アルゴリズムに対するマッチ）を使用して、セグメントのプールを天然レパートリー配列と照合することができる。例は、国際特許出願公開ＷＯ２００９／０３６３７９号及びＷＯ２０１２／００９５６８に提示され、その内容は、参照によりその全体が本明細書に組み込まれる。各セグメントの使用頻度は、配列のターゲットプールをマッチングする際のその使用に基づいて更新する。
【0072】
レパートリー内の対象配列に最大限マッチングする複数のセグメントの組み合わせについて、各セグメントの使用頻度は、例えば、マッチングする組み合わせの数の逆数だけ増加し得る。
【0073】
いくつかのセグメントタイプがワイルドカードである場合、ワイルドカードにマッチングする対象配列の部分は、新規のセグメントとして抽出してもよく、その使用頻度を、上述のように更新してもよい。
【0074】
セクションＶＩＩ （ｉ）特定される配列と、（ｉｉ）第１のモデルによって予測される配列の１つ以上の構造的に重要な特性と、の両方を、第２のモデルへの入力として使用する（第２のモデルは、例えば、構造情報の代わりに（例えば、ソフトウェア生成構造なしで）、組成物の化学的安定性、多特異性、及び疎水性を予測するためのものである）
ここで見いだされることは、（ｉ）特定される配列と、（ｉｉ）第１のモデルによって予測される配列の１つ以上の構造的に重要な特性と、を使用して、開発可能性特性（例えば、配列組成物の化学的安定性、多特異性、及び疎水性など）を予測し、それによって、合成ライブラリーに含める考慮のための新規な配列またはセグメントを生成することが可能であるということである。特定の実施形態では、予測される構造的に重要な特性を、構造自体の代わりに（例えば、ＡｌｐｈａＦｏｌｄまたは類似のソフトウェアによって予測されるようなソフトウェアにより決定される構造の代わりに）使用することができる。以下は、例示的な実施例であり、どのようにしてこの「モデルをモデルに入力する」というコンセプトを使って配列組成物の化学的安定性、多特異性、及び疎水性を予測する能力を向上させるかを示している。
ここで見いだされることは、（ｉ）特定される配列と、（ｉｉ）第１のモデルによって予測される配列の１つ以上の構造的に重要な特性と、を使用して、開発可能性特性（例えば、配列組成物の化学的安定性、多特異性、及び疎水性など）を予測し、それによって、合成ライブラリーに含める考慮のための新規な配列またはセグメントを生成することが可能であるということである。特定の実施形態では、予測される構造的に重要な特性を、構造自体の代わりに（例えば、ＡｌｐｈａＦｏｌｄまたは類似のソフトウェアによって予測されるようなソフトウェアにより決定される構造の代わりに）使用することができる。以下は、例示的な実施例であり、どのようにしてこの「モデルをモデルに入力する」というコンセプトを使って配列組成物の化学的安定性、多特異性、及び疎水性を予測する能力を向上させるかを示している。
【0075】
図９は、例示的な実施形態による、モデルにおける生物物理学的特性について構造的に重要なメトリクスの予測を使用して、治療薬について重要な開発可能特性を予測する方法のブロック図である。左に示しているのは、深層グラフ畳み込みネットワークであり、これは、配列からの構造記述子を提供し、例えば、ＳＡＳＡ、電荷パッチ、疎水性パッチ、及びＣα／Ｃβ座標の残基当たりの予測を提供する。右上に示しているのは、ディープコンボリューション及び再帰型ネットワークであって、生物物理学的特性の予測（例えば、疎水性相互作用クロマトグラフィーの保持時間（ＨＩＣ ＲＴ）及び多特異性試薬（ＰＳＲ）結合カテゴリー（例えば、高い対低い）についてのＦｖ配列からの予測）のためのディープコンボリューション及び再帰型ネットワークである。配列からの構造記述子は、生物物理学的特性の予測のためのディープコンボリューション及び再帰型ネットワークにおける入力として示されている。右下に示しているのは、化学的安定特性（例えば、Ａｓｎ脱アミド、Ａｓｐ異性化、及びＭｅｔ酸化など）の予測のためのツリーに基づく分類モデルである。この場合も、配列からの構造記述子は、化学的安定特性の予測のためのツリーに基づく分類モデルにおける入力として示されている。
【0076】
図１０Ａ及び図１０Ｂは、例示的な実施形態による、構造記述子の残基レベル予測のためのグラフ畳み込みネットワーク（ＧＣＮ）の使用を示す概略図である。配列は、構造記述子の予測（例えば、ＳＡＳＡ、電荷パッチ、疎水性パッチ、及びＣα／Ｃβ座標の残基ごとの予測）のための入力として使用される。
【0077】
図１０Ａは、分子を、ノードとしての残基及び空間的隣接物間のエッジを有するグラフとして表現している。特徴を学習し、自己残基特徴と隣接残基特徴との組み合わせとして残基レベルの構造／生物物理学的特性を予測するよう、グラフ畳み込みネットワーク（ＧＣＮ）を訓練することができる。中央残基に関する学習された特徴と、重み付けされた学習された隣接特徴とを連結し、次いで、ダウンサンプリング畳み込みを非線形で行って、次の層に対する特徴出力を生成する。
【0078】
図１０Ｂは、例示的なグラフ畳み込みアーキテクチャ及び訓練データの概要である。この例では、ブロック間で共有される４つのアテンション重み行列がある。最終層は、出力（例えば、溶媒露出度（ＳＡＳＡ）（これはタンパク質の折り畳み及び安定性を決定するための重要な特徴である））を予測するよう、学習された特徴上の異なるセットの重みを学習する。
【0079】
図１１は、総合的な空間凝集傾向（ＳＡＰ）スコアを示すグラフであり、このスコアは、上記の方法に従って個々の残基予測を合計することによって計算されており、その予測は、同じ入力配列についてＡｌｐｈａＦｏｌｄ２モデルから得られるものと同等である。
【0080】
図１２は、上記の方法に従って、個々の残基予測を合計することにより計算された総合的なスコアリングカード法（ＳＣＭ）スコアを示すグラフである。
【0081】
図１３は、上記の方法を用いて予測された正味電荷パッチのモルワイデ投影の概略図である。ＧＣＮモデルは、単一のモデルにおいて特性及びＣα／Ｃβ座標予測の両方を生成する。図１３に示す例は、大きな負のパッチの存在が貧溶解性と相関することを示している。
【0082】
図１４は、例示的な実施形態による、疎水性及び多特異性の予測のための畳み込みモデル及び再帰モデルの使用を示す概略図である。Ｎ－ｍｅｒペプチド配列中のパターンは、局所的情報または「特徴」を表している。Ｎ－ｍｅｒペプチド間の相互作用は、より長い長さスケールにわたって情報を獲得し、さらに配列に沿って分離されたペプチド間の情報を獲得する。図１４の概略図において、入力層Ｉは、「入力Ｆｖ」（抗体フラグメント配列）を使用し、これは、ワンホットエンコーディング、例えば、既存のアミノ酸特性スケール、及び上記のようなＧＣＮからの残基レベルの構造／生物物理学的特性の予測を実施する。次のステップは、特徴抽出であり、ここで、ネットワークアーキテクチャの畳み込み層は、例えば、ペンタ－ペプチドに対する別個の特徴を学習し、そして再帰層は、線状の配列全体に対する特徴を学習する。次のステップは、抽出された特徴をＨＣ及びＬＣにわたって組み合わせることである。密結合層は、前の層からのパターンを大域的に組み合わせることを学習する。出力層は、本明細書でさらに詳細に説明するように、予測、例えば、ＨＩＣ ＲＴまたはＰＳＲスコア／カテゴリを生成する。
【実施例】
【0083】
セクションＶＩＩＩ
ａ．ＶＨＨ Ｈ３ライブラリー設計
１．セグメント選択のための開発可能性モデル
Ｈ３多様性がヒト免疫前レパートリーを反映するよう合成されたＦｃ－リンカー－ＶＨライブラリーを、ＦＡＣＳ（蛍光活性化細胞選別）を使用して発現及び多特異性について選別した。入力ライブラリー、高発現群及び低発現群、ならびに高多特異性群及び低多特異性群を、ＮＧＳを用いて配列決定した。上記のセクションＩＩに概説されるように、ＮＧＳ配列におけるセグメント観察の頻度を使用して、セグメントについてエンリッチメントスコア、
及び
を計算した。セクションＩＶに記載されるようなツリーに基づく機械学習モデルを開発し（例えば、訓練し）、所望のセグメントの予測を可能にして、新規のセグメント及び事前生成セグメントのプールからの選択を可能にした。
２．セグメント使用頻度を推定し、新規のセグメントを推定する
ａ．ＶＨＨ Ｈ３ライブラリー設計
１．セグメント選択のための開発可能性モデル
Ｈ３多様性がヒト免疫前レパートリーを反映するよう合成されたＦｃ－リンカー－ＶＨライブラリーを、ＦＡＣＳ（蛍光活性化細胞選別）を使用して発現及び多特異性について選別した。入力ライブラリー、高発現群及び低発現群、ならびに高多特異性群及び低多特異性群を、ＮＧＳを用いて配列決定した。上記のセクションＩＩに概説されるように、ＮＧＳ配列におけるセグメント観察の頻度を使用して、セグメントについてエンリッチメントスコア、
【数20】
【数21】
２．セグメント使用頻度を推定し、新規のセグメントを推定する
【0084】
予め生成されたセグメントは、セクションＩに記載したように、Ｖ、Ｄ、及びＪ－遺伝子データに基づいて得た。新規のセグメント推定のために、セクションＩに詳述したような配列のコレクションを、上記セクションＶＩのマッチングアルゴリズムと共に使用した。
【0085】
ラクダ科動物Ｈ３配列をマッチングするための手順は、概ね以下のとおりである。
１）Ｄ－及びＪ－遺伝子のコレクションを用いて、候補Ｄ－及びＪ－セグメントを生成した。
２）ワイルドカードＮ１セグメントは、長さ１～９までの任意の配列とマッチングする。
３）ワイルドカードＮ２セグメントは、長さ０～７までの任意の配列とマッチングする。
１）Ｄ－及びＪ－遺伝子のコレクションを用いて、候補Ｄ－及びＪ－セグメントを生成した。
２）ワイルドカードＮ１セグメントは、長さ１～９までの任意の配列とマッチングする。
３）ワイルドカードＮ２セグメントは、長さ０～７までの任意の配列とマッチングする。
【0086】
ＭｃＣｏｙ ＬＥ，ＰＬｏＳ Ｐａｔｈｏｇｅｎｓ，１０，ｅ１００４５５２，２０１４，ＰＭＩＤ：２５５２２３２６及びＬｉ Ｘ，ＰＬｏＳ ＯＮＥ，１１，ｅ０１６１８０１，２０１６，ＰＭＩＤ：２７５８８７５５からのＣＤＲ Ｈ３配列を、上記セクションＶＩに記載した方法を使用して、セグメントの上記プールとマッチングさせ、Ｄ－及びＪ－セグメントへのマッチングについて以下のメトリックを最大化した。
式中、Ｍａｔｃｈは、それぞれのセグメントに対する完全な一致の全長であり、Ｌｅｎは、一致したセグメントの全長である。次いで、Ｄ－及びＪ－セグメントによってマッチングされなかったＣＤＲ Ｈ３の部分を使用して、候補Ｎ１及びＮ２セグメントを特定した。
【数22】
【0087】
以下の基準を用いて上記プロセスから生じるマッチを排除した。
１）Ｄ－及びＪ－セグメントに対するミスマッチの数が、Ｄ－またはＪ－セグメントの長さの２５％より大きいこと、
２）ミスマッチの総数が５より大きいこと。そして、
３）最後の位置においてＡｓｐもしくはＡｓｎあるいは最後から２番目の位置においてＡｓｎをもたらす最大マッチは、適切なマッチが上に列挙した他の制約を受けていると分かるまで排除する。
１）Ｄ－及びＪ－セグメントに対するミスマッチの数が、Ｄ－またはＪ－セグメントの長さの２５％より大きいこと、
２）ミスマッチの総数が５より大きいこと。そして、
３）最後の位置においてＡｓｐもしくはＡｓｎあるいは最後から２番目の位置においてＡｓｎをもたらす最大マッチは、適切なマッチが上に列挙した他の制約を受けていると分かるまで排除する。
【0088】
Ｓを最大化する複数の実行可能なＤ－及びＪ－セグメントの場合、マッチにおいて特定された各セグメントは、マッチの数Ｎに対して逆に重み付けした。
【0089】
この手順からの結果は、Ｄ－及びＪ－遺伝子のコレクションから生成された候補Ｄ－及びＪ－セグメントに関する使用頻度重みＰのリストである。さらに、この手順は、Ｎ１セグメント及びＮ２セグメントの新規な候補のリストを、それらの使用頻度重みＰと共に生成する。
【数23】
【0090】
ＣＤＲ Ｈ３配列ＡＡＥＰＳＧＧＳＷＰＲＹＥＹＮＦをマッチングするための実施例を図３に示す。これは、スコアＳについて式中ｘ＝２の値を用いている。
３．最終ライブラリーのためのセグメント選択
３．最終ライブラリーのためのセグメント選択
【0091】
以下の工程を行って最終ライブラリーのためのセグメント選択を完了した。
１）前のステップからの候補セグメントを、セグメント開発可能性についての機械学習モデルに入力し、それらの予測エンリッチメントスコア
を得た。
２）入力と比較して予測ディプリーションが４０％以上であるすべてのセグメントをフィルタリングした（すなわち
のみ保持した）。
３）総合的な重要度を、マッチングからの使用頻度重みと予測発現エンリッチメントとの積として割り当て、以下を設計する。
４）セグメントの層化抽出を以下によって行った。
ａ）４つのセグメントタイプの各々について、長さの重要度に基づき、各長さごとにセグメント数を選択する。
式中、ｔは、セグメントのタイプ（Ｎ１、Ｄ、Ｎ２、またはＪ）を表し、Ｔｏｔａｌ＿ｔは、最終設計において選択すべきタイプｔのセグメントの総数を表す。そして、
ｂ）次に、各長さ内で、重要度スコア
によって上位セグメント
を選択する。
１）前のステップからの候補セグメントを、セグメント開発可能性についての機械学習モデルに入力し、それらの予測エンリッチメントスコア
【数24】
２）入力と比較して予測ディプリーションが４０％以上であるすべてのセグメントをフィルタリングした（すなわち
【数25】
３）総合的な重要度を、マッチングからの使用頻度重みと予測発現エンリッチメントとの積として割り当て、以下を設計する。
【数26】
ａ）４つのセグメントタイプの各々について、長さの重要度に基づき、各長さごとにセグメント数を選択する。
【数27】
【数28】
ｂ）次に、各長さ内で、重要度スコア
【数29】
【数30】
【0092】
この方法でセグメントを選択した後、代表的なコンビナトリアルライブラリーをインシリコでサンプリングした。このライブラリーを、予測された生物物理学的特徴（例えば、多特異性及び疎水性）について、上記のモデルを用いて評価した。さらに、天然レパートリー由来の配列も、これらの特性について評価し、新規な合成デザインとの比較を行った。
【0093】
なお、ＶＨＨ抗体（またはナノボディ）のライブラリー設計に関して本明細書に開示される原理及び実施例は、他の抗体部分（例えば、軽鎖フレームワーク領域（ＬＣ ＦＲ）、軽鎖相補性決定領域（ＬＣ ＣＤＲ）、重鎖フレームワーク領域（ＨＣ ＦＲ）、及びその他）を含むライブラリー設計に応用できる。本明細書で使用される用語ＶＨＨは、重鎖のみの抗体、例えば、ラクダ科動物の重鎖のみの抗体の抗原結合フラグメント（すなわち、可変ドメイン）を指す。
【0094】
ｂ．ＶλＬ３ライブラリー設計についての実施例
セクションＩに詳細に示すように、ヒトＶλ生殖細胞系の配列を、内部データベース及び外部ソース（例えば、ＯＡＳ配列データベース、文献、及び特許出願）から収集した。
セクションＩに詳細に示すように、ヒトＶλ生殖細胞系の配列を、内部データベース及び外部ソース（例えば、ＯＡＳ配列データベース、文献、及び特許出願）から収集した。
【0095】
観察された配列を左及び右の断片に分割して、ＣＤＲ Ｌ３に対するＶ－Ｊ組換えを模倣した。モデルを、ＣＤＲ Ｌ３のコレクション、個々の左配列、及び右配列について、上に概説した方法を用いて構築した。
【0096】
入力された配列セット中の配列の組成及び相関を取り込むためにモデルを生成した後、生成したモデルを生成モードで実行して、合成ライブラリー中で考慮するための新規な配列またはセグメントを生成した。例示的な配列生成を図４Ｂに示す。図４Ｂのサンプリング処理におけるＴの値を、増加（減少）させて、モデルの訓練に使用する配列セットからより近い（より遠い）配列を生成することができる。
【0097】
生殖細胞系列特異的配列の最終選択を以下の方法で行った。
１）生成モデルから生成された配列の確率を得る。
２）上記のセクションＩＶに詳述されるように、ロジスティック回帰モデルまたはニューラルネットワークモデルを用いて得られるＣＤＲ特異的アミノ酸係数に基づいて、多特異性スコア及び疎水性スコアを評価する。多特異性スコア及び疎水性スコアを、５％の増分でパーセンタイル順位に変換した（より低い数値が好ましい特性を示す）。
３）セクションＩＶに記載されるように、ニューラルネットワークまたはツリーに基づく回帰または分類モデルからの配列における化学修飾の確率を評価する。
４）生成された配列に関して、配列全体にわたって及び優先的抗原接触残基にわたって、生殖細胞系列からの突然変異の数を計算する。
５）生成モデルからの配列確率、変異情報、ならびに予測される多特異性スコア、疎水性スコア、及び化学的安定性スコア（例えば、開発可能性順位）を、配列の優先度スコアに変換する。そして、
６）その優先度スコアに基づいて上位配列を選択するかまたはランダムサンプルを抽出する。
１）生成モデルから生成された配列の確率を得る。
２）上記のセクションＩＶに詳述されるように、ロジスティック回帰モデルまたはニューラルネットワークモデルを用いて得られるＣＤＲ特異的アミノ酸係数に基づいて、多特異性スコア及び疎水性スコアを評価する。多特異性スコア及び疎水性スコアを、５％の増分でパーセンタイル順位に変換した（より低い数値が好ましい特性を示す）。
３）セクションＩＶに記載されるように、ニューラルネットワークまたはツリーに基づく回帰または分類モデルからの配列における化学修飾の確率を評価する。
４）生成された配列に関して、配列全体にわたって及び優先的抗原接触残基にわたって、生殖細胞系列からの突然変異の数を計算する。
５）生成モデルからの配列確率、変異情報、ならびに予測される多特異性スコア、疎水性スコア、及び化学的安定性スコア（例えば、開発可能性順位）を、配列の優先度スコアに変換する。そして、
６）その優先度スコアに基づいて上位配列を選択するかまたはランダムサンプルを抽出する。
【0098】
最終ライブラリーにおいて必要とされる、生殖細胞系列多様性、長さ分布などの因子に基づいて、生殖細胞系列特異的ライブラリーからの、優先順位を付けられた、割合が異なる配列を、最終合成ライブラリーのために一緒にプールすることができる。
【0099】
ｃ．ＣＤＲ Ｈ１ Ｈ２ライブラリー設計に関する実施例
上記セクションＩに詳細に示したように、ヒトＩＧＨＶ３系生殖細胞系列からの配列を、外部ソース（例えば、ＯＡＳ配列データベース）、内部データベース、文献、及び特許出願から収集した。ラマ及びラクダ科動物のＮＧＳデータセットからの配列を、文献研究から処理した。
上記セクションＩに詳細に示したように、ヒトＩＧＨＶ３系生殖細胞系列からの配列を、外部ソース（例えば、ＯＡＳ配列データベース）、内部データベース、文献、及び特許出願から収集した。ラマ及びラクダ科動物のＮＧＳデータセットからの配列を、文献研究から処理した。
【0100】
これらの配列を再番号付けし、ＣＤＲ Ｈ１及びＨ２配列を抽出した。パターンを学習するモデルを訓練し、モデルを生成モードで実行するための後続のプロセスを、ＶλＬ３ライブラリー設計のプロセスの後に行う。
【0101】
例えば、生殖細胞系列特異的モデルを、上記で概説した方法を使用して、ＣＤＲ Ｈ１及びＨ２のコレクションのために構築した。
【0102】
入力される配列セット中の配列の組成及び相関を取り込むたのモデルを生成した後、生成したモデルを生成モードで実行して、合成ライブラリー中で考慮するための新規な配列を生成した。例示的な配列生成を図４Ａに示す。図４Ａのサンプリング処理におけるＴの値を、増加（減少）させて、モデルの訓練に使用する配列セットからより近い（より遠い）配列を生成することができる。
【0103】
生殖細胞系列特異的配列の最終選択を以下の方法で行った。
７）生成モデルから生成された配列の確率を得る。
８）上記のセクションＩＩＩに詳述するように、ロジスティック回帰モデルまたはニューラルネットワークモデルを用いて得られるＣＤＲ特異的アミノ酸係数に基づいて、多特異性スコア及び疎水性スコアを評価する。多特異性スコア及び疎水性スコアを、５％の増分でパーセンタイル順位に変換した（より低い数値が好ましい特性を示す）。
９）生成された配列に関して、配列全体にわたって及び優先的抗原接触残基にわたって、生殖細胞系列からの突然変異の数を計算する。
１０）生成モデルからの配列確率、変異情報、及び開発可能性順位を、配列の優先度スコアに変換する。そして、
１１）その優先度スコアに基づいて上位配列を選択するかまたはランダムサンプルを抽出する。
７）生成モデルから生成された配列の確率を得る。
８）上記のセクションＩＩＩに詳述するように、ロジスティック回帰モデルまたはニューラルネットワークモデルを用いて得られるＣＤＲ特異的アミノ酸係数に基づいて、多特異性スコア及び疎水性スコアを評価する。多特異性スコア及び疎水性スコアを、５％の増分でパーセンタイル順位に変換した（より低い数値が好ましい特性を示す）。
９）生成された配列に関して、配列全体にわたって及び優先的抗原接触残基にわたって、生殖細胞系列からの突然変異の数を計算する。
１０）生成モデルからの配列確率、変異情報、及び開発可能性順位を、配列の優先度スコアに変換する。そして、
１１）その優先度スコアに基づいて上位配列を選択するかまたはランダムサンプルを抽出する。
【0104】
最終ライブラリーにおいて必要とされる、生殖細胞系列多様性、長さ分布などの因子に基づいて、生殖細胞系列特異的ライブラリーからの、優先順位を付けられた、割合の異なる配列を、最終合成ライブラリーのために一緒にプールすることができる。
【0105】
パターンを学習するモデルを訓練し、モデルを生成モードで実行するための後続のプロセスを、上述したＶλＬ３ライブラリー設計のプロセスの後に行う。
【0106】
ｄ．ＶκＬ３配列の設計に関する実施例
適切な開発可能性特性ならびに公知の重鎖及び軽鎖配列を有する抗体に関するデータを収集し、アラインし、再番号付けし、生殖細胞系列情報で注釈付けた。続いて、ＣＤＲ Ｌ３を抽出し、位置Ｌ８９～Ｌ９７のアミノ酸を表にした。
適切な開発可能性特性ならびに公知の重鎖及び軽鎖配列を有する抗体に関するデータを収集し、アラインし、再番号付けし、生殖細胞系列情報で注釈付けた。続いて、ＣＤＲ Ｌ３を抽出し、位置Ｌ８９～Ｌ９７のアミノ酸を表にした。
【0107】
上記のセクションＩＶｄの表記を参照すると、各多様性セットｉは、ヒト重鎖生殖細胞系列
に属する配列に対応した。ターゲット分布Ｐ（ｉ）を、生殖細胞系列に属する配列
の頻度として設定した。Ｖκ生殖細胞系ファミリーに属するＣＤＲ Ｌ３について、Ｋｕｌｌｂａｃｋ－ＬｅｉｂｌｅｒダイバージェンスをＬ３位置及びアミノ酸の関数として計算した。例えば、Ｖｋ１－３９の位置Ｌ９１におけるアラニンのＫＬダイバージェンスの計算は、モチーフを（Ｌ９１Ａ，Ｖκ１－３９）として定義することによって以下のように開始する。
【数31】
【数32】
【数33】
【0108】
【数34】
【数35】
【0109】
全ての位置における単一アミノ酸の選択に対するＫＬ計算によって、２次元の表が得られる。表では、行が位置を示し、列がアミノ酸を示し、ＫＬメトリックが数値となっている。追加の２次元の表も構築した。表は、同じ行及び列を有するが、各位置で見られるアミノ酸の数を含む。
【0110】
これらの表を用いて、以下の手順により、ＣＤＲ Ｌ３配列のより大きなセットから配列を選択した。
１．表形式のカウント及び計算されたＫＬスコアから、選択した個々のアミノ酸が低出現または高ＫＬスコアの位置にある配列をフィルタリングする。例えば、まれなまたは高度に偏った選択をフィルタリングする。そして、
２．残りの配列を、ＫＬスコアと配列中の表形式の位置特異的アミノ酸の数とを合計することによってスコア化する。配列を、以下の２つの計算されたメトリックによって優先順位付けする。
ａ．計数の降順による上位配列、及び
ｂ．昇順の合計ＫＬスコアの上位配列。
１．表形式のカウント及び計算されたＫＬスコアから、選択した個々のアミノ酸が低出現または高ＫＬスコアの位置にある配列をフィルタリングする。例えば、まれなまたは高度に偏った選択をフィルタリングする。そして、
２．残りの配列を、ＫＬスコアと配列中の表形式の位置特異的アミノ酸の数とを合計することによってスコア化する。配列を、以下の２つの計算されたメトリックによって優先順位付けする。
ａ．計数の降順による上位配列、及び
ｂ．昇順の合計ＫＬスコアの上位配列。
【0111】
基準２ａ及び２ｂから生じる異なる割合の配列を使用して、ライブラリー中の所望の数の配列を選択することができる。
【0112】
ソフトウェア、コンピュータシステム、及びネットワーク環境
本明細書に記載の特定の実施形態は、コンピュータプロセッサによって実行されるソフトウェア命令の形態であるコンピュータアルゴリズムを利用する。特定の実施形態では、ソフトウェア命令は、機械学習モジュールを含み、本明細書では人工知能ソフトウェアとも呼ばれる。本明細書で使用される場合、機械学習モジュールは、コンピュータにより実行されるプロセス（例えば、ソフトウェア機能）を指し、これは、所与の入力に対して１つ以上の出力値を決定するために、１つ以上の特定の機械学習アルゴリズム（例えば、人工ニューラルネットワーク（ＡＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、ランダムフォレスト、決定木、サポートベクトルマシンなど）を実行する。特定の実施形態では、入力は英数字データを含み、これは、例えば、数字、単語、句、または長い文字列を含むことができる。特定の実施形態では、１つ以上の出力値は、数値、単語、句、または他の英数字列を表す値を含む。特定の実施形態では、１つ以上の出力値は、１つ以上の応答文字列（例えば、データベースから選択される）を特定するものを含む。
本明細書に記載の特定の実施形態は、コンピュータプロセッサによって実行されるソフトウェア命令の形態であるコンピュータアルゴリズムを利用する。特定の実施形態では、ソフトウェア命令は、機械学習モジュールを含み、本明細書では人工知能ソフトウェアとも呼ばれる。本明細書で使用される場合、機械学習モジュールは、コンピュータにより実行されるプロセス（例えば、ソフトウェア機能）を指し、これは、所与の入力に対して１つ以上の出力値を決定するために、１つ以上の特定の機械学習アルゴリズム（例えば、人工ニューラルネットワーク（ＡＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、ランダムフォレスト、決定木、サポートベクトルマシンなど）を実行する。特定の実施形態では、入力は英数字データを含み、これは、例えば、数字、単語、句、または長い文字列を含むことができる。特定の実施形態では、１つ以上の出力値は、数値、単語、句、または他の英数字列を表す値を含む。特定の実施形態では、１つ以上の出力値は、１つ以上の応答文字列（例えば、データベースから選択される）を特定するものを含む。
【0113】
例えば、機械学習モジュールは、テキスト文字列（例えば、人間のユーザによって入力された）を入力として受け取り、様々な出力を生成することができる。例えば、機械学習モジュールは、入力英数字列（複数可）を自動的に分析し、例えば、自然言語理解（ＮＬＵ）におけるように、テキストのコンテンツ（例えば、インテント）を分類する出力値を決定することができる。特定の実施形態では、テキスト文字列を分析して、出力英数字文字列を生成しかつ／または取り出す。例えば、機械学習モジュールは、自然言語処理（ＮＬＰ）ソフトウェアであってもよい（または自然言語処理（ＮＬＰ）ソフトウェアを含んでもよい）。
【0114】
特定の実施形態では、機械学習法を実行する機械学習モジュールを、例えば、本明細書に記載されるデータのカテゴリを含むデータセットを使用して訓練する。そのような訓練を使用して、機械学習モジュールによって実行される機械学習アルゴリズムの様々なパラメータ（例えば、ニューラルネットワーク内の層に関連する重みなど）を決定することができる。特定の実施形態では、例えば、特定の応答文字列を特定するなどの特定のタスクを達成するよう、機械学習モジュールを訓練したら、決定されたパラメータの値を固定し、（例えば、不変、静的）機械学習モジュールを使用して、新しいデータ（例えば、訓練データとは異なる）を処理し、そのパラメータに対するさらなる更新を伴わずに（例えば、機械学習モジュールは、フィードバック及び／または更新を受け取らない）、その訓練されたタスクを達成する。特定の実施形態では、機械学習モジュールは、例えば、精度のユーザによる検討に基づいて、フィードバックを受け取ってもよく、そのようなフィードバックを追加の訓練データとして用いて、機械学習モジュールを動的に更新してもよい。特定の実施形態では、２つ以上の機械学習モジュールを組み合わせて、単一のモジュール及び／または単一のソフトウェアアプリケーションとして実行することができる。特定の実施形態では、２つ以上の機械学習モジュールもまた、例えば、別個のソフトウェアアプリケーションとして、別個に実行してもよい。機械学習モジュールは、ソフトウェア及び／またはハードウェアであり得る。例えば、機械学習モジュールを完全にソフトウェアとして実行してもよいし、あるいは、ＡＮＮモジュール（例えばＣＮＮ）の特定の機能を専用ハードウェアを介して（例えば、特定用途向け集積回路（ＡＳＩＣ）を介して）実行してもよい。
【0115】
図６は、本明細書で説明されるようなシステム、方法、及びアーキテクチャを提供するためのネットワーク環境６００の実行を示し、説明する。ここで図６を参照して、例示的なクラウドコンピューティング環境６００のブロック図を示し、概要を説明する。クラウドコンピューティング環境６００は、１つ以上のリソースプロバイダ６０２ａ、６０２ｂ、６０２ｃ（一括して６０２）を含み得る。各リソースプロバイダ６０２は、コンピューティングリソースを含み得る。ある実施態様では、コンピューティングリソースは、データを処理するために使用される任意のハードウェア及び／またはソフトウェアを含み得る。例えば、コンピューティングリソースは、アルゴリズム、コンピュータプログラム、及び／またはコンピュータアプリケーションを実行することができるハードウェア及び／またはソフトウェアを含み得る。ある実施態様では、例示的なコンピューティングリソースは、ストレージ及び検索機能を備えたアプリケーションサーバ及び／またはデータベースを含み得る。各リソースプロバイダ６０２は、クラウドコンピューティング環境６００内の任意の他のリソースプロバイダ６０２に接続され得る。ある実施態様では、リソースプロバイダ６０２は、コンピュータネットワーク６０８を通じて接続され得る。各リソースプロバイダ６０２は、コンピュータネットワーク６０８を通じて、１つ以上のコンピューティングデバイス６０４ａ、６０４ｂ、６０４ｃ（一括して６０４）に接続され得る。
【0116】
クラウドコンピューティング環境６００は、リソースマネージャ６０６を含み得る。リソースマネージャ６０６は、コンピュータネットワーク６０８を通じて、リソースプロバイダ６０２及びコンピューティングデバイス６０４に接続され得る。ある実施態様では、リソースマネージャ６０６は、１つ以上のリソースプロバイダ６０２による１つ以上のコンピューティングデバイス６０４へのコンピューティングリソースの提供を容易にし得る。リソースマネージャ６０６は、特定のコンピューティングデバイス６０４からコンピューティングリソースについての要求を受け取り得る。リソースマネージャ６０６は、コンピューティングデバイス６０４によって要求されるコンピューティングリソースを提供する能力を有する１つ以上のリソースプロバイダ６０２を特定し得る。リソースマネージャ６０６は、コンピューティングリソースを提供するリソースプロバイダ６０２を選択し得る。リソースマネージャ６０６は、リソースプロバイダ６０２と特定のコンピューティングデバイス６０４との間の接続を容易にし得る。ある実施態様では、リソースマネージャ６０６は、特定のリソースプロバイダ６０２と特定のコンピューティングデバイス６０４との間の接続を確立し得る。ある実施態様では、リソースマネージャ６０６は、特定のコンピューティングデバイス６０４を、要求されるコンピューティングリソースを有する特定のリソースプロバイダ６０２にリダイレクトし得る。
【0117】
図７は、本開示で説明される技術を実行するために使用することができるコンピューティングデバイス７００及びモバイルコンピューティングデバイス７５０の例を示す。コンピューティングデバイス７００は、様々な形態のデジタルコンピュータ（例えば、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなど）を代表することを意図している。モバイルコンピューティングデバイス７５０は、様々な形態のモバイルデバイス（例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、及び他の類似のコンピューティングデバイスなど）を代表することを意図している。ここに示すコンポーネント、それらの接続及び関係、ならびにそれらの機能は、例にすぎないことを意味し、限定的であることを意味しない。
【0118】
コンピューティングデバイス７００は、プロセッサ７０２、メモリ７０４、記憶装置７０６、メモリ７０４及び複数の高速拡張ポート７１０に接続する高速インタフェース７０８、ならびに低速拡張ポート７１４及び記憶装置７０６に接続する低速インタフェース７１２を備える。プロセッサ７０２、メモリ７０４、記憶装置７０６、高速インタフェース７０８、高速拡張ポート７１０、及び低速インタフェース７１２の各々は、様々なバスにより相互接続され、必要に応じて共通のマザーボード上にまたは他の形式において搭載され得る。プロセッサ７０２は、コンピューティングデバイス７００内での実行のための命令を処理することができる。命令には、メモリ７０４または記憶装置７０６に格納される命令が含まれ、これは、外部入力／出力デバイス（例えば、高速インタフェース７０８に接続されたディスプレイ７１６など）にＧＵＩに対しグラフィカル情報を表示する。他の実施態様では、複数のメモリ及び複数のタイプのメモリと共に、複数のプロセッサ及び／または複数のバスを、必要に応じて使用してもよい。また、複数のコンピューティングデバイスを接続して、各デバイスが必要な動作の一部（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）を提供してもよい。したがって、用語を本明細書で使用して、複数の機能が「プロセッサ」によって実行されると記載する場合、これは、複数の機能が任意の数のコンピューティングデバイス（１つまたは複数）の任意の数のプロセッサ（１つまたは複数）によって実行される実施形態を包含する。さらに、１つの機能が「プロセッサ」によって実行されると記載する場合、これは、その機能が任意の数のコンピューティングデバイス（１つまたは複数）の任意の数のプロセッサ（１つまたは複数）によって実行される実施形態を包含する（例えば、分散コンピューティングシステムにおいて）。
【0119】
メモリ７０４は、コンピューティングデバイス７００内で情報を記憶する。ある実施態様では、メモリ７０４は、単数または複数の揮発性メモリユニットである。ある実施態様では、メモリ７０４は、単数または複数の不揮発性メモリユニットである。メモリ７０４は、磁気ディスクまたは光学ディスクなど、別の形態のコンピュータ可読媒体でもあり得る。
【0120】
記憶装置７０６は、コンピューティングデバイス７００に対して大容量記憶を行う能力を有する。ある実施態様において、記憶装置７０６は、コンピュータ可読媒体であり得、またはコンピュータ可読媒体を含み得る。媒体は、例えば、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくは他の類似のソリッドステートメモリデバイス、ストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどである。命令は、情報担体に記憶され得る。命令は、１つ以上の処理デバイス（例えば、プロセッサ７０２）によって実行されるとき、上記で説明した方法など、１つ以上の方法を実行する。命令はまた、コンピュータ可読媒体または機械可読媒体などの１つ以上の記憶装置（例えば、メモリ７０４、記憶装置７０６、またはプロセッサ７０２上のメモリ）に記憶され得る。
【0121】
高速インタフェース７０８は、コンピューティングデバイス７００に対して帯域幅集中型オペレーションを管理し、一方、低速インタフェース７１２は、より低い帯域幅集中型オペレーションを管理する。そのような機能の割り当ては、一例にすぎない。ある実施態様において、高速インタフェース７０８は、メモリ７０４、ディスプレイ７１６（例えば、グラフィックプロセッサまたはアクセラレータを通じて）、及び様々な拡張カード（図示しない）を受け入れ得る高速拡張ポート７１０に接続される。この実施態様において、低速インタフェース７１２は、記憶装置７０６及び低速拡張ポート７１４に接続される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット（登録商標））を含み得る低速拡張ポート７１４は、例えば、ネットワークアダプタを通じて、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入力／出力デバイス、またはスイッチもしくはルータなどネットワーキングデバイスに接続され得る。
【0122】
コンピューティングデバイス７００は、図に示すように、いくつかの異なる形態で実施され得る。例えば、それは、標準サーバ７２０として、またはそのようなサーバのグループにおいて複数回、実施され得る。加えて、それは、ラップトップコンピュータ７２２などのパーソナルコンピュータにおいて実施され得る。それはまた、ラックサーバシステム７２４の一部として実施され得る。代わりに、コンピューティングデバイス７００からのコンポーネントは、モバイルコンピューティングデバイス７５０などのモバイルデバイス（図示しない）における他のコンポーネントと組み合わされ得る。そのようなデバイスの各々は、コンピューティングデバイス７００及びモバイルコンピューティングデバイス７５０のうちの１つ以上を含み得、システム全体は、相互に通信する複数のコンピューティングデバイスから構成され得る。
【0123】
モバイルコンピューティングデバイス７５０は、他のコンポーネントの中で、プロセッサ７５２、メモリ７６４、ディスプレイ７５４などの入力／出力デバイス、通信インタフェース７６６、及び送受信機７６８を含む。またモバイルコンピューティングデバイス７５０には、追加の記憶を提供するため、マイクロドライブまたは他のデバイスなどの記憶装置が設けられ得る。プロセッサ７５２、メモリ７６４、ディスプレイ７５４、通信インタフェース７６６、及び送受信機７６８の各々は、様々なバスにより相互接続され、コンポーネントのいくつかは、必要に応じて共通のマザーボード上にまたは他の形態で搭載され得る。
【0124】
プロセッサ７５２は、モバイルコンピューティングデバイス７５０内で命令（メモリ７６４に記憶された命令を含む）を実行することができる。プロセッサ７５２は、別個で複数のアナログプロセッサ及びデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサ７５２は、例えば、ユーザインタフェースの制御、モバイルコンピューティングデバイス７５０によって実行されるアプリケーション、及びモバイルコンピューティングデバイス７５０による無線通信など、モバイルコンピューティングデバイス７５０の他のコンポーネントの調整に対応し得る。
【0125】
プロセッサ７５２は、制御インタフェース７５８及びディスプレイ７５４に接続されたディスプレイインタフェース７５６を通じてユーザと通信し得る。ディスプレイ７５４は、例えば、ＴＦＴディスプレイ（薄膜－トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインタフェース７５６は、グラフィカル情報及び他の情報をユーザに提供するようにディスプレイ７５４を駆動するための適切な回路を含み得る。制御インタフェース７５８は、ユーザからコマンドを受け取り得、プロセッサ７５２へ送るためにそれらを変換し得る。加えて、外部インタフェース７６２は、他のデバイスとのモバイルコンピューティングデバイス７５０の短距離通信を可能にするように、プロセッサ７５２との通信を可能にし得る。外部インタフェース７６２は、ある実施態様では、例えば、有線通信を提供し得、他の実施態様では、無線通信を提供し得、複数のインタフェースも使用され得る。
【0126】
メモリ７６４は、モバイルコンピューティングデバイス７５０内で情報を記憶する。メモリ７６４は、単数または複数のコンピュータ可読媒体、単数または複数の揮発性メモリユニット、または単数または複数の不揮発性メモリユニットのうちの１つ以上として実装することができる。拡張メモリ７７４も設けることができ、それは、拡張インタフェース７７２を通じてモバイルコンピューティングデバイス７５０に接続することができ、拡張インタフェース７７２は、例えば、シム（シングル・インライン・メモリー・モジュール）カードインタフェースを含み得る。拡張メモリ７７４は、モバイルコンピューティングデバイス７５０に対して追加の記憶スペースを提供し得、あるいは、モバイルコンピューティングデバイス７５０に対してアプリケーションもしくは他の情報も記憶し得る。特に、拡張メモリ７７４は、上述したプロセスを実施または補完する命令を含み得、セキュア情報も含み得る。したがって、例えば、拡張メモリ７７４は、モバイルコンピューティングデバイス７５０のためのセキュリティモジュールとして提供され得、モバイルコンピューティングデバイス７５０の安全な使用を可能にする命令でプログラムされ得る。加えて、ハッキングできない方式においてシムカードに識別情報を配置することなど、追加の情報と共に、シムカードを介してセキュアアプリケーションが提供され得る。
【0127】
メモリは、例えば、以下で述べるように、フラッシュメモリ及び／またはＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含み得る。ある実施形態において、命令は、情報担体に記憶される。命令は、１つ以上の処理デバイス（例えば、プロセッサ７５２）によって実行されるとき、上述したような方法などの、１つ以上の方法を実行する。命令はまた、１つ以上のコンピュータ可読媒体または機械可読媒体などの１つ以上の記憶装置（例えば、メモリ７６４、拡張メモリ７７４、またはプロセッサ７５２上のメモリ）に記憶され得る。ある実施態様において、命令は、送受信機７６８または外部インタフェース７６２を通じて、伝播信号により受け取ることができる。
【0128】
モバイルコンピューティングデバイス７５０は、必要な場合、デジタル信号処理回路を含み得る、通信インタフェース７６６を通じて無線で通信し得る。通信インタフェース７６６は、とりわけ、ＧＳＭ（登録商標）ボイスコール（グローバルシステムフォーモバイルコミュニケーション）、ＳＭＳ（ショートメッセージサービス）、ＥＭＳ（エンハンストメッセージングサービス）、またはＭＭＳメッセージング（マルチメディアメッセージングサービス）、ＣＤＭＡ（符号分割多重アクセス）、ＴＤＭＡ（時分割多重アクセス）、ＰＤＣ（パーソナルデジタルセルラー）、ＷＣＤＭＡ（登録商標）（ワイドバンド符号分割多重アクセス）、ＣＤＭＡ２０００、またはＧＰＲＳ（ジェネラルパケットラジオサービス）など、様々なモードまたはプロトコル下での通信に対応し得る。そのような通信は、例えば、無線周波数により送受信機７６８を通じて行われ得る。加えて、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（商標）、または他のそのような送受信機（図示しない）などにより、短距離通信が行われ得る。加えて、ＧＰＳ（グローバルポジショニングシステム）受信機モジュール７７０により、追加のナビゲーションデータ及び位置関連無線データをモバイルコンピューティングデバイス７５０に送ることができ、そのようなデータは、必要に応じてモバイルコンピューティングデバイス７５０上で稼働するアプリケーションによって使用され得る。
【0129】
モバイルコンピューティングデバイス７５０も、音声コーデック７６０を使用して聴覚的に通信し得、音声コーデック７６０は、ユーザから発話された情報を受け取り得、それを使用可能なデジタル情報に変換し得る。音声コーデック７６０は同様に、例えば、モバイルコンピューティングデバイス７５０のハンドセットにおいて、スピーカなどを通じてユーザに対する可聴音を生成し得る。そのような音は、ボイステレフォンコールからの音を含み得、記録された音（例えば、ボイスメッセージ、ミュージックファイルなど）を含み得、モバイルコンピューティングデバイス７５０上で動作するアプリケーションによって生成された音をも含み得る。
【0130】
モバイルコンピューティングデバイス７５０は、図に示すように、いくつかの異なる形式において実装され得る。例えば、それは、携帯電話７６０として実装され得る。それはまた、スマートフォン７８２、パーソナルデジタルアシスタント、または他の類似のモバイルデバイスの一部として実装され得る。
【0131】
ここで説明されるシステム及び技術の様々な実施態様は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせにおいて実現することができる。これら様々な実施態様は、１つ以上のコンピュータプログラムにおける実施を含み得る。コンピュータプログラムは、プログラム可能なシステム上で実行可能かつ／または翻訳処理可能であり、そのようなシステムは、少なくとも１つのプログラム可能なプロセッサを備え、そのようなプロセッサは、特定用途または一般用途向けであり得、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、それらにデータ及び命令を送るようにそれらに接続され得る。
【0132】
それらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラム可能プロセッサに対する機械命令を含み、高レベル手続き型プログラミング言語及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語において実行することができる。本明細書で使用される機械可読媒体及びコンピュータ可読媒体という用語は、プログラム可能なプロセッサに機械命令及び／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置、及び／またはデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指し、これは、機械可読信号として機械命令を受け取る機械可読媒体を含む。機械可読信号という用語は、プログラム可能なプロセッサに機械命令及び／またはデータを提供するために使用される任意の信号を指す。
【0133】
ユーザとのやりとりを行うために、本明細書に記載のシステム及び技術を、コンピュータ上で実施することができ、そのようなコンピュータは、ユーザに情報を表示するための表示デバイス（例えばＣＲＴ（陰極線管）またはＬＣＤ（液晶画面）モニタ）ならびにユーザがそれによってコンピュータへの入力を行うことができるキーボード及びポインティングデバイス（例えば、マウスやトラックボール）を有する。同様に、ユーザとのインタラクションを行うために、その他の種類のデバイスが使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形式の知覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、または触知的フィードバック）であり得、ユーザからの入力は、音響入力、発話入力、または触知的入力を含む、任意の形式において受け取ることができる。
【0134】
本明細書で説明されるシステム及び技術は、コンピューティングシステムにおいて実施することができる。そのようなコンピューティングシステムは、バックエンドコンポーネント（例えば、データサーバとして）を含むもの、あるいは、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むもの、あるいは、フロントエンドコンポーネントを含むもの（例えば、ユーザがここで説明されるシステム及び技術の実施態様とインタラクトすることができるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータ）、あるいはバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むものである。システムのコンポーネントは、任意の形式またはデジタルデータ通信の媒体（例えば、通信ネットワーク）によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットを含む。
【0135】
コンピューティングシステムは、クライアント及びサーバを含み得る。クライアント及びサーバは一般的に、相互にリモートであり、典型的には、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、それぞれのコンピュータ上で動作し、クライアントとサーバとの関係を互いに有するコンピュータプログラムにより生じる。
【0136】
ある実装形態では、本明細書に説明される特定のモジュールが、分離され、組み合わされ、または単一または組み合わされたモジュールに組み込まれ得る。図に示されるモジュールはいずれも、本明細書に記載されるシステムを図示するソフトウェアアーキテクチャに限定することを意図するものではない。
【0137】
本明細書に記載の異なる実施態様の要素を組み合わせて、上記に具体的に記載されていない他の実施態様を作ることができる。要素は、それらの動作に悪影響を与えることなく、本明細書に記載されているプロセス、コンピュータプログラム、データベースなどから除外してもよい。さらに、図示した論理フローは、望ましい結果を達成するために、示されている特定の順序または連続した順序を必要とするものではない。本明細書で説明する機能を実行するために、様々な個別の要素を１つ以上の個別の要素に組み合わせることができる。
【0138】
本発明を、特定の好ましい実施形態を参照して具体的に示し、説明してきたが、当業者に明らかなとおり、添付の特許請求の範囲に規定される本発明の主旨及び範囲から逸脱することなく、形態及び詳細の様々な変更が行われてもよい。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】