特表 2024-539681 精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-29

(54)【発明の名称】精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化

(51)【国際特許分類】

   C07K 14/725 20060101AFI20241022BHJP

   G16B 40/00 20190101ALI20241022BHJP

   C12M 1/00 20060101ALI20241022BHJP

【ＦＩ】

C07K14/725

G16B40/00

C12M1/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024523718

(86)(22)【出願日】2023-01-11

(85)【翻訳文提出日】2024-04-19

(86)【国際出願番号】 US2023010545

(87)【国際公開番号】W WO2023154162

(87)【国際公開日】2023-08-17

(31)【優先権主張番号】63/308,083

(32)【優先日】2022-02-09

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/151,686

(32)【優先日】2023-01-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】ミン、 レンチャン

(72)【発明者】

【氏名】グラフ、 ハンス ペーター

(72)【発明者】

【氏名】チェン、 ジキ

【テーマコード（参考）】

4B029

4H045

【Ｆターム（参考）】

4B029AA07

4B029AA27

4B029BB15

4B029CC01

4B029FA15

4H045AA10

4H045AA20

4H045AA30

4H045BA10

4H045CA40

4H045DA50

4H045EA50

4H045FA71

(57)【要約】

Ｔ細胞受容体（ＴＣＲ）突然変異ポリシーを用いて深層強化学習を実装して免疫療法のための標的ペプチドを認識する結合ＴＣＲを生成する方法を示す。本方法は、ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出し、標的患者からＴＣＲのライブラリを収集し、抽出されたペプチドと標的患者からのＴＣＲとの相互作用スコアを深層ニューラルネットワークによって予測し、ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて結合スコアが最大となるＴＣＲを生成し、再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義し、ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従ってＴＣＲを変異させ、変異したＴＣＲを出力し、出力されたＴＣＲをランク付けして、免疫療法のためのウイルスまたは腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用することを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

Ｔ細胞受容体（ＴＣＲ）突然変異ポリシーを用いて深層強化学習を実施して、免疫療法のための標的ペプチドを認識する結合ＴＣＲを生成する方法であって、
ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出することと、
標的患者からＴＣＲのライブラリを収集することと、
前記抽出されたペプチドと前記標的患者からの前記ＴＣＲとの間の相互作用スコアを、深層ニューラルネットワークによって予測することと、
ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて、結合スコアが最大となるＴＣＲを生成することと、
再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義することと、
ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従って前記ＴＣＲを変異させることと、
変異したＴＣＲを出力することと、
前記出力されたＴＣＲをランク付けし、免疫療法ための前記ウイルスまたは前記腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用することとを含む方法。

【請求項2】

前記報酬関数が、変異配列が有効なＴＣＲである可能性と、前記ＴＣＲがペプチドを認識する確率との両方を測定する、請求項１に記載の方法。

【請求項3】

前記変異配列が有効なＴＣＲである可能性の測定が、ＴＣＲによってのみ訓練されたＴＣＲオートエンコーダ（ＴＣＲ－ＡＥ）によって可能になる、請求項２に記載の方法。

【請求項4】

前記ＴＣＲ－ＡＥ内の潜在空間上の密度推定が、ガウス混合モデル（ＧＭＭ）を用いて評価される、請求項３に記載の方法。

【請求項5】

前記ＴＣＲ－ＡＥが双方向長短期記憶（ＬＳＴＭ）を使用して、２つのＬＳＴＭ方向からの最後の隠れベクトルを連結することにより、入力シーケンスを隠れベクトルに符号化する、請求項３に記載の方法。

【請求項6】

最適化が困難なＴＣＲを処理し、最適化能力をより多様なＴＣＲに一般化するために、バッファを含むバッファリングおよび再最適化のフレームワークが採用される、請求項１に記載の方法。

【請求項7】

前記ＴＣＲおよび前記抽出されたペプチドは、ＴＣＲ－ＡＥによって分散埋め込み空間に符号化され、前記埋め込み空間と前記ＴＣＲ突然変異ポリシーとの間のマッピングが学習される、請求項１に記載の方法。

【請求項8】

Ｔ細胞受容体（ＴＣＲ）突然変異ポリシーを用いて深層強化学習を実施して、免疫療法のための標的ペプチドを認識する結合ＴＣＲを生成するためのコンピュータ可読プログラムを含む非一過性コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムは、コンピュータ上で実行されると、前記コンピュータに、
ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出するステップと、
標的患者からＴＣＲのライブラリを収集するステップと、
前記抽出されたペプチドと前記標的患者からの前記ＴＣＲとの間の相互作用スコアを、深層ニューラルネットワークによって予測するステップと、
ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて、結合スコアが最大となるＴＣＲを生成するステップと、
再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義するステップと、
ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従って前記ＴＣＲを変異させるステップと、
変異したＴＣＲを出力するステップと、
前記出力されたＴＣＲをランク付けし、免疫療法ための前記ウイルスまたは前記腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用するステップとを実行させる、非一過性コンピュータ可読記憶媒体。

【請求項9】

前記報酬関数が、変異配列が有効なＴＣＲである可能性と、前記ＴＣＲがペプチドを認識する確率との両方を測定する、請求項８に記載の非一過性コンピュータ可読記憶媒体。

【請求項10】

前記変異配列が有効なＴＣＲである可能性の測定が、ＴＣＲによってのみ訓練されたＴＣＲオートエンコーダ（ＴＣＲ－ＡＥ）によって可能になる、請求項９に記載の非一過性コンピュータ可読記憶媒体。

【請求項11】

前記ＴＣＲ－ＡＥ内の潜在空間上の密度推定が、ガウス混合モデル（ＧＭＭ）を用いて評価される、請求項１０に記載の非一過性コンピュータ可読記憶媒体。

【請求項12】

前記ＴＣＲ－ＡＥが双方向長短期記憶（ＬＳＴＭ）を使用して、２つのＬＳＴＭ方向からの最後の隠れベクトルを連結することにより、入力シーケンスを隠れベクトルに符号化する、請求項１０に記載の非一過性コンピュータ可読記憶媒体。

【請求項13】

最適化が困難なＴＣＲを処理し、最適化能力をより多様なＴＣＲに一般化するために、バッファを含むバッファリングおよび再最適化のフレームワークが採用される、請求項８に記載の非一過性コンピュータ可読記憶媒体。

【請求項14】

前記ＴＣＲおよび前記抽出されたペプチドは、ＴＣＲ－ＡＥによって分散埋め込み空間に符号化され、前記埋め込み空間と前記ＴＣＲ突然変異ポリシーとの間のマッピングが学習される、請求項８に記載の非一過性コンピュータ可読記憶媒体。

【請求項15】

Ｔ細胞受容体（ＴＣＲ）突然変異ポリシーを用いて深層強化学習を実施して、免疫療法のための標的ペプチドを認識する結合ＴＣＲを生成するためのシステムであって、
メモリと、
前記メモリと通信する１つ以上のプロセッサとを含み、該プロセッサは、
ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出し、
標的患者からＴＣＲのライブラリを収集し、
前記抽出されたペプチドと前記標的患者からの前記ＴＣＲとの間の相互作用スコアを、深層ニューラルネットワークによって予測し、
ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて、結合スコアが最大となるＴＣＲを生成し、
再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義し、
ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従って前記ＴＣＲを変異させ、
変異したＴＣＲを出力し、
前記出力されたＴＣＲをランク付けし、免疫療法ための前記ウイルスまたは前記腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用するように構成されているシステム。

【請求項16】

前記報酬関数が、変異配列が有効なＴＣＲである可能性と、前記ＴＣＲがペプチドを認識する確率との両方を測定する、請求項１５に記載のシステム。

【請求項17】

前記変異配列が有効なＴＣＲである可能性の測定が、ＴＣＲによってのみ訓練されたＴＣＲオートエンコーダ（ＴＣＲ－ＡＥ）によって可能になる、請求項１６に記載のシステム。

【請求項18】

前記ＴＣＲ－ＡＥ内の潜在空間上の密度推定が、ガウス混合モデル（ＧＭＭ）を用いて評価される、請求項１７に記載のシステム。

【請求項19】

前記ＴＣＲ－ＡＥが双方向長短期記憶（ＬＳＴＭ）を使用して、２つのＬＳＴＭ方向からの最後の隠れベクトルを連結することにより、入力シーケンスを隠れベクトルに符号化する、請求項１７に記載のシステム。

【請求項20】

最適化が困難なＴＣＲを処理し、最適化能力をより多様なＴＣＲに一般化するために、バッファを含むバッファリングおよび再最適化のフレームワークが採用される、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、Ｔ細胞受容体に関し、より詳細には、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化に関する。

【背景技術】

【0002】

関連技術の説明
Ｔ細胞は、細胞表面に表示された外来ペプチドを識別することで、細胞の健康状態を監視する。Ｔ細胞受容体（ＴＣＲ）はＴ細胞の表面にあるタンパク質複合体で、これらのペプチドと結合することができる。このプロセスはＴＣＲ認識と呼ばれ、免疫反応の重要なステップを構成する。ＴＣＲ認識のためにＴＣＲ配列を最適化することは、がん細胞やウイルス感染細胞を殺す免疫応答を引き起こす個別化治療法の開発に向けた基本的なステップである。

【発明の概要】

【0003】

Ｔ細胞受容体（ＴＣＲ）突然変異ポリシーを用いて深層強化学習を実施して、免疫療法のための標的ペプチドを認識する結合ＴＣＲを生成する方法を提示する。本方法は、ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出することと、標的患者からＴＣＲのライブラリを収集することと、前記抽出されたペプチドと前記標的患者からの前記ＴＣＲとの間の相互作用スコアを、深層ニューラルネットワークによって予測することと、ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて、結合スコアが最大となるＴＣＲを生成することと、再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義することと、ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従って前記ＴＣＲを変異させることと、変異したＴＣＲを出力することと、前記出力されたＴＣＲをランク付けし、免疫療法ための前記ウイルスまたは前記腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用することとを含む。

【0004】

Ｔ細胞受容体（ＴＣＲ）突然変異ポリシーを用いて深層強化学習を実施して、免疫療法のための標的ペプチドを認識する結合ＴＣＲを生成するためのコンピュータ可読プログラムを含む非一過性コンピュータ可読記憶媒体を提示する。コンピュータ可読プログラムは、コンピュータ上で実行されると、前記コンピュータに、ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出するステップと、標的患者からＴＣＲのライブラリを収集するステップと、前記抽出されたペプチドと前記標的患者からの前記ＴＣＲとの間の相互作用スコアを、深層ニューラルネットワークによって予測するステップと、ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて、結合スコアが最大となるＴＣＲを生成するステップと、再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義するステップと、ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従って前記ＴＣＲを変異させるステップと、変異したＴＣＲを出力するステップと、前記出力されたＴＣＲをランク付けし、免疫療法ための前記ウイルスまたは前記腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用するステップとを実行させる。

【0005】

Ｔ細胞受容体（ＴＣＲ）突然変異ポリシーを用いて深層強化学習を実施して、免疫療法のための標的ペプチドを認識する結合ＴＣＲを生成するシステムを提示する。このシステムは、メモリと、前記メモリと通信する１つ以上のプロセッサとを含み、該プロセッサは、ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出し、標的患者からＴＣＲのライブラリを収集し、前記抽出されたペプチドと前記標的患者からの前記ＴＣＲとの間の相互作用スコアを、深層ニューラルネットワークによって予測し、ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて、結合スコアが最大となるＴＣＲを生成し、再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義し、ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従って前記ＴＣＲを変異させ、変異したＴＣＲを出力し、前記出力されたＴＣＲをランク付けし、免疫療法ための前記ウイルスまたは前記腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用するように構成されている。

【0006】

これらおよび他の特徴および利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0007】

本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。

【0008】

【図1】本発明の実施形態に従った、Ｔ細胞受容体近位ポリシー最適化（ＴＣＲＰＰＯ）の例示的なモデルアーキテクチャのブロック／フロー図である。

【0009】

【図2】本発明の実施形態に従った、ＴＣＲＰＰＯおよびＴ細胞受容体オートエンコーダ（ＴＣＲ－ＡＥ）訓練の例示的なデータフローのブロック／フロー図である。

【0010】

【図3】本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化のための例示的な実用アプリケーションのブロック／フロー図である。

【0011】

【図4】本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化のための例示的な処理システムを示す図である。

【0012】

【図5】本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化のための例示的な方法のブロック／フロー図である。

【0013】

【図6】本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化のための例示的な方法のブロック／フロー図である。

【発明を実施するための形態】

【0014】

免疫療法は、人間の免疫システムを利用して病気と闘う、人間の病気の根本的な治療法である。免疫システムでは、免疫応答は細胞毒性のあるＴ細胞によって引き起こされ、Ｔ細胞受容体（ＴＣＲ）が感染細胞や癌細胞の表面にある主要組織適合複合体（ＭＨＣ）タンパク質によって提示される免疫原性ペプチドと結合することによって活性化される。これらの外来ペプチドの認識は、ペプチドとＴ細胞表面のＴＣＲとの相互作用によって決定される。このプロセスはＴＣＲ認識と呼ばれ、免疫反応の重要なステップを構成する。有望ながん治療法である養子Ｔ細胞免疫療法（ＡＣＴ）は、実験室で患者から採取した自己Ｔ細胞を遺伝子改変し、その改変Ｔ細胞を患者の体内に注入してがんと闘わせるものである。

【0015】

ＡＣＴ療法のひとつであるＴＣＲ－Ｔ細胞（ＴＣＲ－Ｔ）療法は、Ｔ細胞のＴＣＲを直接改変して結合親和性を高め、腫瘍細胞を効果的に認識して死滅させることができる。ＴＣＲはα鎖およびβ鎖を持つヘテロ二量体タンパク質である。各鎖には相補的決定領域（ＣＤＲ）として３つのループ、ＣＤＲ１、ＣＤＲ２、およびＣＤＲ３がある。ＣＤＲ１およびＣＤＲ２は主にＭＨＣとの相互作用を担い、ＣＤＲ３はペプチドと相互作用する。β鎖のＣＤＲ３はバリエーションが多く、したがって外来ペプチドの認識に主に関与していると考えられる。例示的な実施形態では、ペプチド抗原に対する結合親和性を高めるために、ＴＣＲのβ鎖のＣＤＲ３配列の最適化に焦点を当て、強化学習によって最適化を行う。例示的なアプローチの成功は、ＴＣＲ－Ｔ療法設計の指針となる可能性がある。簡単のため、例示的な方法がＴＣＲに言及する場合、それはＴＣＲのβ鎖のＣＤＲ３を意味する。

【0016】

ＴＣＲ－Ｔ療法は非常に有望であるにもかかわらず、治療目的のＴＣＲの最適化は依然として時間のかかるプロセスであり、通常、試験管内とコンピュータ内とのいずれかで、親和性の高いＴＣＲを徹底的にスクリーニングする必要がある。このプロセスを加速するために、実験的なペプチド－ＴＣＲ結合データとＴＣＲ配列とを活用して、ペプチド－ＴＣＲ相互作用を予測する計算手法が最近開発された。しかし、これらのペプチド－ＴＣＲ結合予測ツールは、新たな高親和性ＴＣＲの合理的な設計を直ちに指示することはできない。生物学的配列設計のための既存の計算機的手法には、検索ベースの手法、生成的手法、最適化ベースの手法、強化学習（ＲＬ）ベースの手法などがある。しかし、これらの方法はすべて、ペプチドなどの追加条件を考慮せずに配列を生成するため、異なるペプチドを認識するように調整されたＴＣＲを最適化することはできない。加えて、これらの方法は生成された配列の妥当性を考慮していない。これは、有効なＴＣＲは特定の特徴に従うべきであるため、ＴＣＲ最適化にとって重要である。

【0017】

例示的な実施形態は、ＴＣＲＰＰＯと呼ばれる、近位ポリシー最適化（ＰＰＯ）に基づく新たな強化学習（ＲＬ）フレームワークを提示し、突然変異ポリシーを通じてＴＣＲを計算的に最適化する。特にＴＣＲＰＰＯは、与えられたペプチド用にカスタマイズされたＴＣＲを最適化するための共同ポリシーを学習する。ＴＣＲＰＰＯでは、変異配列が有効なＴＣＲである可能性と、ＴＣＲがペプチドを認識する確率との両方を測定する新たな報酬関数が提示される。ＴＣＲの妥当性を測定するために、ＴＣＲ－ＡＥと呼ばれるＴＣＲオートエンコーダが開発され、ＴＣＲ－ＡＥと、ガウス混合モデルＧＭＭによって定量化された潜在空間分布とから再構成誤差が利用され、新規の妥当性スコアが算出される。ペプチド認識を測定するために、例示的な方法は最先端のペプチド－ＴＣＲ結合予測ツールＥＲＧＯを活用してペプチド－ＴＣＲ結合を予測した。ＴＣＲＰＰＯは柔軟なフレームワークであり、ＥＲＧＯは他の結合予測因子で置き換えることができる。さらに、最適化が困難なＴＣＲを修正するための、Ｂｕｆ－Ｏｐｔと呼ばれる新規のバッファリングメカニズムが提示されている。ＴＣＲｄｂ２００から７００万個のＴＣＲ（図２）、ＭｃＰＡＳから１０個のペプチド、ＶＤＪＤＢから１５個のペプチドを用いて広範な実験を行った。実験結果は、ＴＣＲＰＰＯが、ＭｃＰＡＳとＶＤＪＤＢペプチドに対して、それぞれ５８．２％と２６．８％の改善で、高い有効性スコアと高い認識確率を持つ適格なＴＣＲを生成し、最良のベースラインを大幅に上回ることを示した。

【0018】

与えられたペプチドに対するＴＣＲ配列の認識能力は、ｓ_rと表記される認識確率によって測定される。配列が有効なＴＣＲである可能性は、ｓ_vと表記されるスコアで測定される。適格なＴＣＲとは、ｓ_v＞σ_rかつｓ_v＞σ_cの配列と定義され、σ_rおよびσ_cはあらかじめ定義された閾値である。ＴＣＲＰＰＯの目的は、与えられたペプチドに対する認識確率が低い既存のＴＣＲ配列を、適格なものに変異させることである。ペプチドｐまたはＴＣＲ配列ｃは、そのアミノ酸の配列として表される。＜ｏ₁，ｏ₂，．．．，ｏ_i，．．．，ｏ_l＞、ｏ_iは配列中のｉの位置にある２０種類の天然アミノ酸の１つであり、ｌは配列の長さである。ＴＣＲ突然変異過程は、以下の構成要素を含むマルコフ決定過程（ＭＤＰ）Ｍ＝｛Ｓ，Ａ，Ｐ，Ｒ｝として定式化された。

【0019】

Ｓ：状態空間。各状態ｓ∈Ｓは、潜在的なＴＣＲ配列ｃとペプチドｐとのタプル、つまりｓ＝（ｃ，ｐ）である。添え字ｔ（ｔ＝０，．．．，Ｔ）は、ｓのステップ、すなわちｓ_t＝（ｃ_t，ｐ）を示すために使用される。ｃ_tは有効なＴＣＲではない可能性があることに留意されたい。状態ｓ_tは、適格なｃ_tを含むか、ｔが最大ステップ限界Ｔに達した場合、終端状態であり、ｓ_Tと表記される。また、ｐは、ｓ₀でサンプリングされ、時間ｔにわたって変化しないことにも留意されたい。

【0020】

Ａ：アクション空間。ここで、

【数1】

は変異部位ｉと変異アミノ酸ｏとのタプルである。つまり、

【数2】

である。したがって、この動作は、配列ｃ＝＜ｏ₁，ｏ₂，．．．，ｏ_i，．．．，ｏ_l＞のｉの位置のアミノ酸を別のアミノ酸ｏに変異させることになる。ｏはｃのｏ_iと異なっていなければならないことに注意する。

【0021】

Ｐ：状態遷移確率。ここで、

【数3】

は、

【数4】

の時刻ｔの状態ｓ_tから次の時刻ｔ＋１の状態ｓ_t+1の確率を指定する。この問題では、ｓ_t-1への遷移は決定論的である。すなわち、

【数5】

である。

【0022】

Ｒ：ある状態における報酬関数。ＴＣＲＰＰＯでは、状態ｓ_t（ｔ＝０，．．．，Ｔ－１）における中間報酬はすべて０である。ｓ_Tでの最終的な報酬のみが最適化の指針として使われる。

【0023】

突然変異ポリシーネットワークに関して、ＴＣＲＰＰＯは、あるステップで配列ｃのアミノ酸を１つ変異させ、ｃを適格なＴＣＲに改変する。具体的には、最初のステップｔ＝０で、標的としてペプチドｐがサンプリングされ、有効なＴＣＲ ｃ₀がサンプリングされてｓ₀＝（ｃ₀，ｐ）が初期化される。状態ｓ_t＝（ｃ_t，ｐ）（ｔ＞０）において、ＴＣＲＰＲＯの突然変異ポリシーネットワークは、ｃ_tのアミノ酸を１つ変異させ、最終的にｐに結合するＴＣＲになる可能性の高いｃ_t+iに改変させる動作

【数6】

を予測する。ＴＣＲＰＰＯは、ＴＣＲとペプチドとを分散埋め込み空間に符号化する。そして、後述するように、埋め込み空間と突然変異ポリシーとの間のマッピングを学習する。

【0024】

アミノ酸の符号化に関しては、各アミノ酸ｏは３つのベクトルを連結することで表現される。

【数7】

は、ＢＬＯＳＵＭ行列のｏの対応する行であり、

【数8】

は、ｏのワンホット符号化であり、

【数9】

は、学習可能な埋め込みである。すなわち、ｏは

【数10】

のように符号化される。ここで

【数11】

は連結操作を表す。例示的な方法は、ｃとｐとの中のアミノ酸の表現を豊かにするために、このような符号化方法の混合を使用した。

【0025】

状態の埋め込みに関しては、ｓ_t＝（ｃ_t，ｐ）は、関連する配列ｃ_tとｐとを埋め込むことによって埋め込まれた。ｃ_t中の各アミノ酸ｏ_i,tに対して、例示的な方法は、ｏ_i,tとｃ_t中のそのコンテキスト情報とを以下のような１層双方向ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）を用いて隠れベクトル

【数12】

に埋め込んだ。

【数13】

【0026】

ここで、

【数14】

および

【数15】

はｃ_tにおけるｉ番目のアミノ酸の隠れた状態ベクトルである。

【0027】

【数16】

および

【数17】

はｉ番目のアミノ酸のメモリ細胞の状態である。

【0028】

【数18】

および

【数19】

はそれぞれ２つのＬＳＴＭ方向の学習可能なパラメータである。そして、

【0029】

【数20】

および

【数21】

（ｌ_cはｃ_tの長さ）は、ランダムなベクトルで初期化される。全アミノ酸の埋め込みにより、ｃ_tの埋め込みは両端の隠れベクトルの連結として定義された。すなわち、

【数22】

である。

【0030】

ペプチド配列を別の双方向ＬＳＴＭを同じように用いて隠れベクトル

【数23】

に埋め込んだ。

【0031】

動作予測について、時刻ｔにおいて動作

【数24】

を予測するために、ＴＣＲＰＰＯは２つの予測、すなわち、

【数25】

が存在する必要がある現在のｃ_tの位置ｉと、

【数26】

が位置ｉに配置される必要がある新たなアミノ酸ｏの予測を行う必要がある。ＴＣＲＰＰＯは、ｃ_t内の位置ｉが動作部位である「可能性がどれだけ高いか」を測定するために、以下のようなネットワークを用いる。

【数27】

【0032】

ここで、

【数28】

はｃ_tにおけるｏ_i,tの潜在ベクトルである（式１）。

【数29】

はｐの潜在ベクトルである。そして、

【数30】

（ｊ＝１，２）は学習可能なベクトル／行列である。このように、ＴＣＲＰＰＯは、ｉ番目の位置が動作部位である確率を、

【数31】

に符号化されたテキストとペプチドｐとを調べることによって測定する。予測された位置ｉは、式２の確率分布からサンプリングされ、必要な探索が行われる。

【0033】

予測された位置ｉが与えられると、ＴＣＲＰＰＯはｃ_tにおいてｏ_iに置き換わるべき新たなアミノ酸を予測する必要がある。ＴＣＲＰＰＯは、各アミノ酸タイプが新たな置換基となる確率を以下のように計算する。

【数32】

【0034】

ここで、Ｕ_j（ｊ＝１，２，３）は学習可能な行列であり、ｓｏｆｔｍａｘ（・）は２０次元のベクトルを２０種類のアミノ酸に対する確率に変換する。次に、元のアミノ酸の種類ｏ_i,tを除いた分布からサンプリングして、変換されたアミノ酸の種類を決定する。

【0035】

潜在的なＴＣＲの有効性測定に関して、与えられた配列ｃが有効なＴＣＲである可能性を定量的に測定する（例えば、ｓ_vを計算する）新規のスコアリング関数が提示され、これはＴＣＲＰＰＯの報酬の一部となる。具体的には、例示的な方法は、有効なＴＣＲのみから、ＴＣＲ－ＡＥと呼ばれる新規のオートエンコーダーモデルを訓練した。ＴＣＲ－ＡＥにおける配列の再構成精度は、そのＴＣＲの妥当性を測定するために用いられた。直感的には、ＴＣＲ－ＡＥは有効なＴＣＲのみから訓練されるため、その符号化－復号化プロセスは真のＴＣＲ配列の「規則」に従うことになり、したがってＴＣＲ－ＡＥから非ＴＣＲ配列をうまく再現することはできない。しかし、ＴＣＲ－ＡＥがＴＣＲと非ＴＣＲとに共通する一般的なパターンを学習し、不規則性を検出できなかったり、ＴＣＲ－ＡＥのモデルの複雑性が高かったりする場合、非ＴＣＲ配列がＴＣＲ－ＡＥから高い再構成精度を得られる可能性はある。これを軽減するために、例示的な方法は、ガウス混合モデル（ＧＭＭ）を用いてＴＣＲ－ＡＥ内の潜在空間を追加評価し、非ＴＣＲが潜在空間内のＴＣＲの密集領域から逸脱するという仮説を立てた。

【0036】

ＴＣＲ－ＡＥ１５０は、図１のＴＣＲＰＰＯ１００に示されるように、オートエンコーダＴＣＲ－ＡＥを提示する。ＴＣＲ－ＡＥ１５０は双方向ＬＳＴＭを用いて、２つのＬＳＴＭ方向からの最後の隠れベクトルを連結することによって、入力シーケンスｃを

【数33】

に符号化する（式１と同様）。そして、

【数34】

を潜在埋め込み

【数35】

に以下に示すようにマッピングする。

【数36】

【0037】

これは、デコーダ１４０を介してシーケンス

【数37】

に復号される。デコーダ１４０は単一方向のＬＳＴＭを持ち、このＬＳＴＭは次のようにアミノ酸を１つずつ生成することによってデコードを行う。

【数38】

【数39】

【0038】

ここで、

【数40】

は、ステップｉ－１からデコードされたアミノ酸

【数41】

の符号化である。そして、Ｗ’はパラメータである。ＬＳＴＭはゼロベクトル

【数42】

および

【数43】

から始まる。デコーダは、

【数44】

に符号化されている以前にデコードされたアミノ酸と、

【数45】

に符号化されている予想される配列全体とを調べることによって、次のアミノ酸を推測する。

【0039】

ＴＣＲ－ＡＥ１５０は、ＴＣＲＰＰＯ１００とは独立して、エンドツーエンドで、ＴＣＲから訓練されることに留意されたい。教師強制は、デコードされた配列が入力配列と同じ長さを持つことを保証するために訓練中に適用され、したがって、クロスエントロピー損失は、ＴＣＲ－ＡＥ１５０を最適化するために適用される。スタンドアローンのモジュールとして、ＴＣＲ－ＡＥ１５０はスコアｓ_vを計算するために使用される。ＴＣＲ－ＡＥ１５０への入力配列ｃは、ＢＬＯＳＵＭ行列のみを用いて符号化される。ＢＬＯＳＵＭ符号化は、他の符号化方法の組み合わせと比較して、良好な再構成性能と高速な収束とをもたらすことが経験的に判明しているからである。

【0040】

十分に訓練されたＴＣＲ－ＡＥ１５０を用いて、配列ｃの再構成に基づくＴＣＲ有効性スコアは以下のように計算された。

【数46】

【0041】

ここで、ＴＣＲ－ＡＥ（ｃ）は、ＴＣＲ－ＡＥから再構成されたｃの配列を表し、ｌｅｖ（ｃ，ＴＣＲ－ＡＥ（ｃ））は、ｃとＴＣＲ－ＡＥ（ｃ）との間の編集距離に基づく指標であるレーベンシュタイン距離であり、ｌ_cはｃの長さである。ｒ_r（ｃ）が高いほど、ｃが有効なＴＣＲである確率が高いことを示す。ＴＣＲ－ＡＥ１５０が配列の終わりを正確に予測できず、再構成配列が短すぎたり長すぎたりする可能性があるため、ＴＣＲ－ＡＥ１５０がテストで使用される場合、再構築された配列の長さは入力ｃと同じではない可能性があることに留意されたい。したがって、レーベンシュタイン距離は入力配列の長さｌ_cを用いて正規化される。距離が配列の長さよりも大きい場合、ｒ_r（ｃ）は負になる可能性があることに注意されたい。負の値はスコアの使用に影響しない（例えば、負のｒ_r（ｃ）は、ＴＣＲ－ＡＥ（ｃ）とｃとが非常に異なることを示す）。

【0042】

有効なＴＣＲと無効なＴＣＲとをより良く区別するために、ＴＣＲＰＰＯ１００は、ＧＭＭ１４５を用いて

【数47】

（式４）の潜在空間に対する密度推定も行う。

【0043】

与えられた配列ｃに対して、ＴＣＲＰＰＯ１００は、訓練ＴＣＲのガウス混合領域内に入るｃの尤度スコアを以下のように計算する。

【数48】

【0044】

ここで、

【数49】

は潜在埋込み

【数50】

の対数尤度である。そして、τは対数尤度の値を再スケールするための定数である（τ＝１０）。パラメータτは、ＴＣＲの９０％がｒ_d（ｃ）を０．５以上にできるように慎重に選択される。無効なＴＣＲがないため、例示的な方法は、対数尤度値を確率に較正するために、プラットスケーリングのような分類に基づくスケーリング方法を使用することができない。

【0045】

再構成に基づくスコアリングと密度推定に基づくスコアリングとを組み合わせて、ＴＣＲの妥当性を測定するための新たなスコアリング法を以下のように発展させた。

【数51】

【0046】

この方法は、配列が有効なＴＣＲである可能性が高いかどうかを評価するために使用され、報酬関数で使用される。

【0047】

ＴＣＲＰＰＯ学習に関して、また最終報酬に関して、例示的な方法は、ｓ_rスコアとｓ_vスコアとに基づいて、ＴＣＲＰＰＯ１００の最終報酬を以下のように定義した。

【数52】

【0048】

ここで、ｓ_r（ｃ_T，ｐ）はＥＲＧＯ１６０による予測認識確率であり、σ_cはｃ_Tが有効なＴＣＲである可能性が非常に高いという閾値（σ_c＝１．２５７７）であり、αはｓ_rとｓ_vとの間のトレードオフを制御するために使用されるハイパーパラメータである（α＝０．５）。

【0049】

ポリシー学習に関して、例示的な方法は、ポリシーネットワークを最適化するために近位ポリシー最適化（ＰＰＯ）を採用する。

【0050】

ＰＰＯの目的関数は以下のように定義される。

【数53】

【数54】

【0051】

ここで、

【数55】

はポリシーネットワークの学習可能なパラメータの集合であり

【数56】

は、現在のポリシーπ_Θの下での動作と、以前のポリシー

【数57】

の下での動作との間の確率比である。ここで、

【数58】

は、ｒ_tが区間

【数59】

の外に出ないようにクリップされる。

【0052】

【数60】

は一般化アドバンテージ推定量を用いて計算されたタイムステップｔにおけるアドバンテージであり、選択された動作が他の動作よりも平均的にどれだけ優れているかを測定する。

【数61】

【0053】

ここで、γ∈（０，１）は将来の報酬の重要性を決定する割引係数であり、δ_t＝ｒ_t＋γＶ（ｓ_t+1）－Ｖ（ｓ_t）はＶ（ｓ_t）が価値関数である時間差誤差であり、λ∈（０，１）はＶ（ｓ_t）の偏りと分散とのバランスをとるためのパラメータである。Ｖ（・）は、多層パーセプトロン（ＭＬＰ）を用いて、ペプチド埋め込み

【数62】

とＴＣＲ埋め込み

【数63】

とから現在の状態ｓ_tの将来の戻りを予測する。

【0054】

Ｖ（・）の目的関数は以下の通りである。

【数64】

【0055】

ここで、

【数65】

は報酬である。最終的な報酬のみが使用されるため、つまりｉ≠Ｔの場合、ｒ_i＝０であるため、例示的な方法は

【数66】

を用いて

【数67】

を計算した。エントロピー正則化損失

【数68】

も追加され、これは、ポリシーの探索を促すために、ポリシー勾配法でよく使われる戦略である。

【0056】

ＴＣＲＰＰＯ１００の最終目的関数は以下のように定義される、

【数69】

【0057】

ここでα１およびα２は、ＰＰＯ目的、価値関数、およびエントロピー正則化項の間のトレードオフを制御する２つのハイパーパラメータである。

【0058】

ＴＣＲＰＰＯ１００は、最適化が困難なＴＣＲに対処し、より多様なＴＣＲに最適化能力を一般化するために、Ｂｕｆ－Ｏｐｔと呼ばれる新規のバッファリングと再最適化メカニズムを実装している。このメカニズムにはバッファがあり、適格となるように最適化できないＴＣＲを記憶しておく。これらのハードシーケンスは、以下の確率分布に従って再びバッファからサンプリングされ、ＴＣＲＰＰＯ１００によってさらに最適化される。

【数70】

【0059】

式１０において、Ｓは前回の最適化における最終報酬Ｒ（ｃ_T，ｐ）に基づいて、ｃをｐに対して最適化することがどれだけ難しいかを測定し、ξはハイパーパラメータ（例えばξ＝５）であり、ΣはＳ（ｃ，ｐ）を確率として変換する。サンプリングと再最適化を行うことで、ＴＣＲＰＰＯ１００はハード配列から学習するように訓練され、またハードシーケンスがＴＣＲＰＰＯ１００によってより良く最適化される機会が得られることが期待される。それでもハード配列が適格となるように最適化されない場合、５０％の確率でバッファに戻される。バッファが一杯になった場合（実験ではサイズ２，０００）、バッファに最も早く割り当てられた配列は削除される。ＴＣＲＰＰＯ１００にＢｕｆ－Ｏｐｔを加えたものをＴＣＲＰＰＯ＋ｂと呼ぶ。

【0060】

結論として、本発明の例示的な実施形態は、最適化されたＴＣＲの探索をＲＬ問題として定式化し、近位ポリシー最適化（ＰＰＯ）を用いた突然変異ポリシーを持つフレームワークＴＣＲＰＰＯを提示した。ＴＣＲＰＰＯは、ＴＣＲを所定のペプチドを認識できる有効なものに変異させる。ＴＣＲＰＰＯは、ディープオートエンコーダーに基づく新たなスコアリング関数によって測定された変異配列が有効なＴＣＲである可能性と、ペプチド－ＴＣＲ相互作用予測因子から得られた変異配列がペプチドを認識する確率を組み合わせた報酬関数を活用している。ＴＣＲＰＰＯを複数のベースライン法と比較した結果、ＴＣＲＰＰＯは、陽性結合と有効なＴＣＲとの生成において、すべてのベースライン法を有意に上回ることが示された。これらの結果は、精密免疫療法とＴＣＲモチーフを認識するペプチド探索との両方におけるＴＣＲＰＰＯの可能性を示している。

【0061】

例示的な方法はさらに、標的ペプチドを認識する結合ＴＣＲを生成するための、ＴＣＲ突然変異ポリシーを持つ深層強化学習システムを提示する。あらかじめ定義されたペプチドのライブラリは、ＳＡＲＳ－ＣｏＶ－２のようなウイルスのゲノムから、あるいは患者の腫瘍サンプルの配列決定から得ることができる。したがって、提示された例示的なシステムは、ＴＣＲ工学を用いて特定のタイプのウイルスや腫瘍を標的とする免疫療法に用いることができる。

【0062】

ウイルスゲノムや腫瘍細胞が与えられた場合、例示的な方法は、配列決定を実行し、続いて市販のペプチド処理パイプラインを実行して、ウイルスや腫瘍細胞を一意に特定できるペプチドを抽出する。例示的な方法はまた、標的患者からＴＣＲのライブラリを収集する。このウイルスや腫瘍からのペプチドライブラリと与えられたＴＣＲとを標的にして、システムは最適化されたＴＣＲや変異したＴＣＲを生成することができ、ウイルスや腫瘍細胞を殺すために免疫反応を引き起こすことができる。

【0063】

例示的な方法は、まず、公開されているＩＥＤＢ、ＶＤＪｄｂ、およびＭｃＰＡＳ－ＴＣＲデータセットで深層ニューラルネットワークを訓練するか、ＥＲＧＯのような事前に訓練されたモデルをダウンロードして、ペプチドとＴＣＲとの間の結合相互作用を予測する。この事前に訓練されたペプチド－ＴＣＲ相互作用スコア予測モデルに基づいて、例示的な方法は、ＴＣＲの突然変異ポリシーを持つＤＲＬシステムを発展させて、提供されたＴＣＲのライブラリと同じか、または最大でもｄ個のアミノ酸が異なる、高い結合スコアを持つＴＣＲを生成する。具体的には、報酬機能を定義するために事前学習された予測深層モデルを使用し、ランダムまたは既存のＴＣＲから開始し、次に例示的な方法は、与えられたランダムＴＣＲを高い結合相互作用スコアを持つペプチド認識ＴＣＲに変換する優れたＴＣＲ突然変異ポリシーを学習するためにＤＲＬシステムを事前学習する。事前に訓練されたＴＣＲ突然変異ポリシーを持つこの訓練されたＤＲＬシステムに基づいて、例示的な方法は、提供されたライブラリからＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従ってＴＣＲを変異させる。変異の過程で、変異したＴＣＲがすでに開始ＴＣＲとｄ個のアミノ酸が異なっていた場合、そのプロセスは終了し、ＴＣＲは最終ＴＣＲとして出力される。与えられたペプチドを認識する最終的な突然変異ＴＣＲが出力され、編集された突然変異ＴＣＲの集合がランク付けされる。上位にランク付けされたものは、特定のウイルスや腫瘍細胞を標的とする有望な人工ＴＣＲとして免疫療法に使用される。

【0064】

図３は、本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化のための例示的な実用アプリケーションである。

【0065】

１つの実例３００では、ペプチドは、突然変異ポリシーネットワーク１２０によってペプチド突然変異環境１１０内でＴＣＲＰＰＯ１００によって処理され、スクリーン３１２に表示され、ユーザ３１４によって分析される新たな適格ペプチド３１０を生成する。同じデータベースから選択されたすべてのペプチド（例えば、ＭｃＰＡＳから１０ペプチド、ＶＤＪＤＢから１５ペプチド）に対して、例示的な方法は１つのＴＣＲＰＰＯエージェントを訓練し、このエージェントは、選択されたペプチドの１つに対して適格されるように、訓練配列（例えば、図２の７，２８１，１０５個のＴＣＲ）を最適化する。対応するデータベースで訓練されたＥＲＧＯモデルは、ＴＣＲＰＰＯエージェントの認識確率ｓ_rをテストするために使用される。１つのＥＲＧＯモデルが各データベースの全てのペプチドに対して訓練されることに留意されたい（例えば、１つのＥＲＧＯが複数のペプチドに対してＴＣＲ－ペプチド結合を予測する）。したがって、ＥＲＧＯモデルは、例示的な設定で複数のペプチドについてｓ_rをテストするのに適している。また、例示的な方法では、各データベースに対応する１つのＴＣＲＰＲＯを訓練したことにも留意されたい。なぜなら、これら２つのデータベースのペプチドとＴＣＲは非常に異なっており、２つのデータベースを一緒に訓練したＥＲＧＯの性能が劣っていることが証明されているからである。

【0066】

ＴＣＲＰＰＯは各配列を最大８段階（Ｔ＝８）まで変異させるが、これはＴＣＲの最も一般的な長さが１５であることから、十分な大きさである。ＴＣＲＰＰＯ訓練（図２）では、初期ＴＣＲ配列（例えば、ｓ₀のｃ₀）がＳ_trnからランダムにサンプリングされ、以下の状態で変異される：ペプチドｐがｓ₀でランダムにサンプリングされ、以下の状態では同じままである（例えば、ｓ_t＝（ｃ_t，ｐ））。ＴＣＲＰＰＯ１００がＳ_trnから十分に訓練された後、Ｓ_tstでテストされる。

【0067】

ＴＣＲの最適化について、世代ベースの手法や突然変異ベースの手法と比較した実験結果は、ＴＣＲＰＰＯ１００がベースラインの手法を大幅に上回ることを示している。ＴＣＲＰＰＯ１００によって生成されたＴＣＲに関する解析は、ＴＣＲＰＰＯ１００がＴＣＲの保存パターンをうまく学習できることを示している。生成されたＴＣＲと既存のＴＣＲとの比較実験により、ＴＣＲＰＰＯ１００は既存のヒトＴＣＲに類似したＴＣＲを生成できることが示され、このＴＣＲはさらなる医学的評価と研究とに使用できる。ＴＣＲ検出の比較結果は、例示的なフレームワークにおけるｓ_vスコアが、非ＴＣＲ配列を非常に効果的に検出できることを示している。変異に対するｓ_vスコアの分布に関する解析は、ＴＣＲＰＰＯ１００が有効なＴＣＲから遠くない軌道に沿って配列を変異させることを示している。

【0068】

図４は、本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化のための例示的な処理システムである。

【0069】

処理システムは、システムバス４０２を介して他の構成要素と動作可能に結合された少なくとも１つのプロセッサ（ＣＰＵ）４０４を含む。グラフィカルプロセッシングユニット（ＧＰＵ）４０５、キャッシュ４０６、リードオンリーメモリ（ＲＯＭ）４０８、ランダムアクセスメモリ（ＲＡＭ）４１０、入力／出力（Ｉ／Ｏ）アダプタ４２０、ネットワークアダプタ４３０、ユーザインタフェースアダプタ４４０、およびディスプレイアダプタ４５０は、システムバス４０２に動作可能に結合される。さらに、ＴＣＲＰＰＯ１００は、突然変異ポリシーネットワーク１２０を使用することにより、ペプチド突然変異環境１１０内で採用される。

【0070】

記憶装置４２２は、Ｉ／Ｏアダプタ４２０によってシステムバス４０２に動作可能に結合される。記憶装置４２２は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、ソリッドステート磁気装置などのいずれであっても良い。

【0071】

トランシーバ４３２は、ネットワークアダプタ４３０によってシステムバス４０２と動作可能に結合される。

【0072】

ユーザ入力装置４４２は、ユーザインタフェースアダプタ４４０によってシステムバス４０２と動作可能に結合される。ユーザ入力装置４４２は、キーボード、マウス、キーパッド、画像捕捉装置、動き感知装置、マイクロフォン、前述の装置のうちの少なくとも２つの機能を組み込んだ装置などのいずれかとすることができる。もちろん、本発明の精神を維持しながら、他のタイプの入力装置を使用することもできる。ユーザ入力装置４４２は、同じタイプのユーザ入力装置または異なるタイプのユーザ入力装置とすることができる。ユーザ入力装置４４２は、処理システムとの間で情報を入出力するために使用される。

【0073】

ディスプレイ装置４５２は、ディスプレイアダプタ４５０によってシステムバス４０２と動作可能に結合される。

【0074】

もちろん、処理システムは、当業者によって容易に企図されるように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、当業者によって容易に理解されるように、他の様々な入力装置および／または出力装置を、その特定の実装に応じて、システムに含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、様々な構成の追加のプロセッサ、コントローラ、メモリなども、当業者には容易に理解されるように利用することができる。処理システムのこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられれば、当業者によって容易に企図される。

【0075】

図５は、本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化の例示的な方法のブロック／フロー図である。

【0076】

ブロック５０１で、標的ペプチドと患者ＴＣＲのライブラリとを抽出する。

【0077】

ブロック５０３では、深層ニューラルネットワークを訓練するか、ＥＲＧＯのような事前に訓練されたモデルをダウンロードして、ペプチド抗原とＴＣＲとの間の相互作用スコアを予測する。

【0078】

ブロック５０５では、事前に学習した相互作用予測深層モデルを使用して報酬関数を定義し、既存のＴＣＲから開始して、深層強化学習（ＤＲＬ）システムを事前に学習して、与えられたＴＣＲを高い相互作用スコアを持つ最適化されたＴＣＲに変換する優れたＴＣＲ突然変異ポリシーを学習する。

【0079】

ブロック５０７では、事前に訓練されたＴＣＲ突然変異ポリシーを持つこの訓練されたＤＲＬシステムに基づいて、提供されたライブラリからＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従ってＴＣＲを変異させる。

【0080】

ブロック５０９では、与えられたペプチド抗原を標的とする最終的な変異ＴＣＲを出力し、編集された変異ＴＣＲの集合をランク付けする。

【0081】

ブロック５１１で、上位にランク付けされたものは、ＴＣＲ工学による精密免疫療法のための、指定されたウイルスまたは腫瘍細胞を標的とする有望な候補として使用される。

【0082】

図６は、本発明の実施形態に従った、精密免疫療法のための強化学習と突然変異ポリシーとを用いたＴ細胞受容体の最適化のための例示的な方法のブロック／フロー図である。

【0083】

ブロック６０１では、ウイルスまたは腫瘍細胞を特定するためにペプチドを抽出する。

【0084】

ブロック６０３では、標的患者からＴＣＲのライブラリを収集する。

【0085】

ブロック６０５では、深層ニューラルネットワークによって、抽出されたペプチドと標的患者からのＴＣＲとの間の相互作用スコアを予測する。

【0086】

ブロック６０７では、ＴＣＲ突然変異ポリシーを用いた深層強化学習（ＤＲＬ）フレームワークを発展させて、結合スコアが最大となるＴＣＲを生成する。

【0087】

ブロック６０９では、再構成ベースのスコアと密度推定ベースのスコアとに基づいて報酬関数を定義する。

【0088】

ブロック６１１では、ＴＣＲのバッチをランダムにサンプリングし、ポリシーネットワークに従ってＴＣＲを変異させる。

【0089】

ブロック６１３では、変異したＴＣＲを出力する。

【0090】

ブロック６１５では、出力されたＴＣＲをランク付けして、免疫療法のためのウイルスまたは腫瘍細胞を標的とする上位ランクのＴＣＲ候補を利用する。

【0091】

結論として、例示的な方法は、与えられたペプチド抗原を認識する結合ＴＣＲを作製するための、ＴＣＲ突然変異ポリシーを用いたＤＲＬシステムを提案するものである。提示されたシステムは、特定のタイプのウイルスや腫瘍を標的とする免疫療法のためのＴＣＲの生成に使用することができる。報酬設計は、ＴＣＲ分布内スコアと結合相互作用スコアとに基づいている。例示的な方法は、ＰＰＯを用いてＤＲＬモデルを最適化し、最終的な変異ＴＣＲを出力し、コンパイルされた変異ＴＣＲの集合をランク付けする。上位にランクされたものは、特定のウイルスや腫瘍を標的とする有望な候補として免疫療法に用いられる。

【0092】

本明細書で使用される場合、「データ」、「コンテンツ」、「情報」、および同様の用語は、様々な例示的実施形態に従って捕捉、送信、受信、表示、および／または保存することができるデータを指すために互換的に使用することができる。したがって、このような用語の使用は、本開示の精神と範囲を制限するものと解釈すべきではない。さらに、演算装置が他の演算装置からデータを受信するように本明細書で説明される場合、データは、他の演算装置から直接受信することができ、または、例えば、１つまたは複数のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局、および／またはそのようなもののような、１つまたは複数の仲介演算装置を介して間接的に受信することができる。

【0093】

当業者には理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、完全なハードウェアの実施形態、完全なソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書では一般に「回路」、「モジュール」、「計算機」、「装置」、または「システム」と呼ぶことができる。さらに、本発明の態様は、その上に具現化されたコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。

【0094】

１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、電子式、磁気式、光学式、電磁式、赤外線式、半導体式のシステム、装置、デバイス、またはこれらの任意の適切な組み合わせであるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）としては、１本以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルＣＤ－ＲＯＭ、光データ記憶装置、磁気データ記憶装置、または前述の任意の適切な組み合わせが挙げられる。本明細書において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含むことができる、または格納することができる任意の有形媒体である。

【0095】

コンピュータ可読信号媒体は、例えばベースバンドまたは搬送波の一部として、その中にコンピュータ可読プログラムコードが具現化された伝搬データ信号を含むことができる。このような伝搬信号は、電磁波、光学、またはそれらの適切な組み合わせを含むが、これらに限定されない様々な形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを通信、伝搬、または伝送することができる任意のコンピュータ可読媒体であっても良い。

【0096】

コンピュータ可読媒体に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、または前述の任意の適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を使用して伝送することができる。

【0097】

本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、完全にユーザのコンピュータ上で実行しても良いし、一部はユーザのコンピュータ上で実行しても良いし、スタンドアロンソフトウェアパッケージとして実行しても良いし、一部はユーザのコンピュータ上で実行し、一部はリモートコンピュータ上で実行しても良いし、完全にリモートコンピュータまたはサーバ上で実行しても良い。後者のシナリオでは、リモートコンピュータは、ＬＡＮやＷＡＮを含むあらゆるタイプのネットワークを介してユーザのコンピュータに接続されても良いし、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部のコンピュータに接続されても良い。

【0098】

本発明の態様を、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して以下に説明する。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図ブロックまたはモジュールで指定された機能／動作を実施するための手段を作成するように、機械を製造することができる。

【0099】

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶され、コンピュータ可読媒体に記憶された命令が、フローチャート及び／又はブロック図のブロック又はブロック又はモジュールで指定された機能／動作を実施する命令を含む製造品を製造するように、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置に特定の方法で機能するように指示することができるコンピュータ可読媒体に記憶され得る。

【0100】

また、コンピュータプログラム命令をコンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードして、コンピュータ、他のプログラマブル装置、または他の装置上で一連の動作ステップを実行させ、コンピュータまたは他のプログラマブル装置上で実行される命令が、フローチャートおよび／またはブロック図ブロックまたはブロックまたはモジュールで指定された機能／動作を実施するためのプロセスを提供するように、コンピュータ実装プロセスを生成することもできる。

【0101】

本明細書で使用される「プロセッサ」という用語は、例えば、ＣＰＵおよび／または他の処理回路を含むものなど、あらゆる処理装置を含むことが意図されていることを理解されたい。また、「プロセッサ」という用語は複数の処理装置を指す場合があり、処理装置に関連する様々な要素が他の処理装置によって共有される場合があることも理解されたい。

【0102】

本明細書で使用される「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリ装置（例えば、ハードドライブ）、リムーバブルメモリ装置（例えば、ディスケット）、フラッシュメモリなどのプロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータ読み取り可能な記憶媒体と考えられる。

【0103】

さらに、本明細書で使用される「入力／出力装置」または「Ｉ／Ｏ装置」という語句は、例えば、処理ユニットにデータを入力するための１つまたは複数の入力装置（例えば、キーボード、マウス、スキャナなど）、および／または処理ユニットに関連する結果を提示するための１つまたは複数の出力装置（例えば、スピーカ、ディスプレイ、プリンタなど）を含むことを意図している。

【0104】

上記は、あらゆる点で例示的かつ例示的であるが、制限的なものではないと理解され、ここに開示された発明の範囲は、詳細な説明からではなく、特許法によって許される全幅に従って解釈された請求項から決定されるものである。本明細書に示され説明された実施形態は、本発明の原理を例示するものに過ぎず、当業者は、本発明の範囲及び精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者であれば、本発明の範囲と精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、特許法が要求する詳細さと特殊性をもって本発明の側面を説明したが、特許状によって請求され、保護されることを望むものは、添付の特許請求の範囲に記載されている通りである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】