特表 2024-513242 アーチファクト領域回避による細胞核のクラス分け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-22

(54)【発明の名称】アーチファクト領域回避による細胞核のクラス分け

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240314BHJP

   G06T 1/40 20060101ALI20240314BHJP

   G06T 3/4046 20240101ALI20240314BHJP

   G06T 5/60 20240101ALI20240314BHJP

【ＦＩ】

G06T1/00 295

G06T1/40

G06T3/4046

G06T5/60

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023561308

(86)(22)【出願日】2022-04-04

(85)【翻訳文提出日】2023-10-18

(86)【国際出願番号】 US2022023278

(87)【国際公開番号】W WO2022216590

(87)【国際公開日】2022-10-13

(31)【優先権主張番号】63/170,677

(32)【優先日】2021-04-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/711,546

(32)【優先日】2022-04-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】コサット、 エリック

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA10

5B057CA01

5B057CB01

5B057CC03

5B057CD08

5B057CE04

5B057CE17

5B057DA02

5B057DA12

5B057DC09

(57)【要約】

ニューラルネットワークモデルを訓練するための方法およびシステムは、オリジナルデータセットのオリジナル画像の一部に画像アーチファクトを適用してアーチファクト画像を生成することにより、オリジナル訓練データセットを拡張して、拡張訓練データセットを生成する（３０６）ことを含む。アーチファクトの位置でターゲット画像からラベルを削除することにより、アーチファクト画像に対応するターゲット画像が生成される（３０８）。拡張された訓練データセットと対応するターゲット画像とを用いてニューラルネットワークモデルが訓練され（２０４）、ニューラルネットワークモデルは、アーチファクト領域を特定する第１の出力と、オブジェクトを特定する他の出力とを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

ニューラルネットワークモデルを訓練するための、コンピュータに実装された方法であって、
オリジナルデータセットのオリジナル画像の一部に画像アーチファクトを適用してアーチファクトの画像を生成することにより、オリジナルの訓練データセットを拡張して、拡張訓練データセットを生成する（３０６）ことと、
前記アーチファクトの位置でターゲット画像からオブジェクトのラベルを削除することにより、前記アーチファクトの画像に対応する前記ターゲット画像を生成する（３０８）ことと、
前記拡張訓練データセットと、対応する前記ターゲット画像とを用いて、アーチファクト領域を特定する第１の出力とオブジェクトを特定する他の出力とを含むニューラルネットワークモデルを訓練する（２０４）こととを含む方法。

【請求項2】

前記画像アーチファクトを適用することは、前記画像アーチファクトが適用される前記オリジナル画像の領域を特定するマスクを決定することを含む、請求項１に記載の方法。

【請求項3】

前記画像アーチファクトを適用することは、前記特定された領域の画像をガウスカーネルで畳み込んでぼかしを加えることをさらに含む、請求項２に記載の方法。

【請求項4】

前記画像アーチファクトを適用することは、インクをシミュレートするために前記特定された領域においてカラーシフトを適用することをさらに含む、請求項３に記載の方法。

【請求項5】

マスクを決定することは、ランダムな数の領域を生成することを含み、前記ランダムな数の領域の各々は、ランダムに生成された形状を有する、請求項２に記載の方法。

【請求項6】

前記ニューラルネットワークモデルを訓練することは、前記第１の出力からの損失項とオブジェクトを特定する前記他の出力からのそれぞれの損失項との加重和を含む損失関数を最小化することを含む、請求項１に記載の方法。

【請求項7】

前記ニューラルネットワークモデルが、出力マップを有する完全畳み込みニューラルネットワークモデルである、請求項１に記載の方法。

【請求項8】

完全畳み込みニューラルネットワークモデルの前記第１の出力はマップであり、前記ターゲット画像は前記画像アーチファクトのマスクを表し、前記ターゲット画像を生成することは、前記アーチファクトのマスク内のオブジェクトのラベルを削除することを含む、請求項７に記載の方法。

【請求項9】

組織サンプルを分析するための、コンピュータに実装された方法であって、
細胞を特定する第１の出力、腫瘍細胞を特定する第２の出力、およびアーチファクト領域を特定する第３の出力を含むニューラルネットワークモデルを使用して、組織サンプル画像を分析すること（２０９）と、
１つ以上の検出されたアーチファクト領域内の前記組織サンプル画像の割合が閾値を超えるという判定に応答して、補正された組織サンプル画像を生成するために補正アクションを実行する（２１０）ことと、
前記補正された組織サンプル画像の分析を行う（２０９）こととを含む方法。

【請求項10】

前記補正アクションが、対応する組織サンプルを再スキャンすることを含む、請求項９に記載の方法。

【請求項11】

前記補正アクションが、新たな組織サンプルを得ること、および該新たな組織サンプルをスキャンすることを含む、請求項９に記載の方法。

【請求項12】

前記分析が、前記補正された組織サンプル画像のアーチファクト領域を含まない部分について腫瘍細胞比を決定することを含む、請求項９に記載の方法。

【請求項13】

ニューラルネットワークモデルを訓練するシステムであって、
ハードウェアプロセッサ（６１０）と、
コンピュータプログラムを記憶するメモリ（６３０）とを有し、
前記コンピュータプログラムは、前記ハードウェアプロセッサに、
オリジナルデータセットのオリジナル画像の一部に画像アーチファクトを適用してアーチファクトの画像を生成することにより、オリジナルの訓練データセットを拡張して、拡張訓練データセットを生成する（３０６）手順と、
前記アーチファクトの位置でターゲット画像からラベルを削除することにより、前記アーチファクトの画像に対応する前記ターゲット画像を生成する（３０８）手順と、
前記拡張訓練データセットと、対応する前記ターゲット画像とを用いて、アーチファクト領域を特定する第１の出力とオブジェクトを特定する他の出力とを含むニューラルネットワークモデルを訓練する（２０４）手順とを実行させるシステム。

【請求項14】

前記コンピュータプログラムは、前記ハードウェアプロセッサにさらに、前記画像アーチファクトが適用される前記オリジナル画像の領域を特定するマスクを決定する手順を実行させる、請求項１３記載のシステム。

【請求項15】

前記コンピュータプログラムは、前記ハードウェアプロセッサにさらに、前記特定された領域の画像をガウスカーネルで畳み込んで、ぼかしを加える手順を実行させる、請求項１４記載のシステム。

【請求項16】

前記コンピュータプログラムは、前記ハードウェアプロセッサにさらに、インクをシミュレートするために前記特定された領域においてカラーシフトを適用する手順を実行させる、請求項１５記載のシステム。

【請求項17】

前記コンピュータプログラムは、前記ハードウェアプロセッサにさらに、前記マスクのためのランダムな数の領域を生成する手順を実行させ、前記ランダムな数の領域の各々は、ランダムに生成された形状を有する、請求項１４記載のシステム。

【請求項18】

前記コンピュータプログラムは、前記ハードウェアプロセッサにさらに、前記第１の出力からの損失項と、オブジェクトを特定する前記他の出力からのそれぞれの損失項との加重和を含む損失関数を最小化する手順を実行させる、請求項１３に記載のシステム。

【請求項19】

前記ニューラルネットワークモデルは、出力マップを有する完全畳み込みニューラルネットワークモデルである、請求項１３に記載のシステム。

【請求項20】

完全畳み込みニューラルネットワークモデルの前記第１の出力はマップであり、前記ターゲット画像は前記画像アーチファクトのマスクを表し、前記コンピュータプログラムは、前記ハードウェアプロセッサにさらに、アーチファクトマスク内のオブジェクトのラベルを削除する手順を実行させる、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願情報
本出願は、２０２２年４月１日に出願された米国非仮特許出願第１７／７１１，５４６号および２０２１年４月５日に出願された米国特許出願第６３／１７０，６７７号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

技術分野
本発明は、腫瘍細胞の検出と分類に関し、より詳細には、アーチファクトを含む組織画像の領域を特定するための機械学習モデルの訓練に関する。

【0003】

関連技術の説明
癌の攻撃性の指標である腫瘍細胞比率を得るには、腫瘍領域の細胞数を数える必要がある。組織サンプルによっては、細胞の数が数百万個になることもある。しかし、インクのついた部分、ぼやけた部分、組織のひだ、過剰染色部分などの画像アーチファクトは、細胞の分類を損なう可能性がある。

【発明の概要】

【0004】

ニューラルネットワークモデルを訓練する方法は、オリジナルの訓練データセットを拡張して拡張訓練データセットを生成することを含み、オリジナルのデータセットのオリジナルの画像の一部に画像アーチファクトを適用してアーチファクト画像を生成する。アーチファクトの位置でターゲット画像からラベルを削除することにより、アーチファクト画像に対応するターゲット画像が生成される。ニューラルネットワークモデルは、拡張訓練データセットと、対応するターゲット画像とを用いて訓練され、ニューラルネットワークモデルは、アーチファクト領域を特定する第１の出力と、オブジェクトを特定する他の出力とを含む。

【0005】

組織サンプルを分析する方法は、細胞を特定する第１の出力、腫瘍細胞を特定する第２の出力、およびアーチファクト領域を特定する第３の出力を含むニューラルネットワークモデルを用いて組織サンプル画像を分析することを含む。１つ以上の検出されたアーチファクト領域内の組織サンプル画像の割合が閾値を超えたという判定に応答して、補正された組織サンプル画像を生成するための補正アクションが実行される。補正された組織サンプル画像の分析が行われる。

【0006】

ニューラルネットワークモデルを訓練するシステムは、ハードウェアプロセッサと、コンピュータプログラムを格納するメモリを含む。コンピュータプログラムは、ハードウェアプロセッサによって実行されると、ハードウェアプロセッサに、オリジナルデータセットのオリジナル画像の一部に画像アーチファクトを適用してアーチファクト画像を生成することにより、オリジナルの訓練データセットを拡張して拡張訓練データセットを生成する手順と、アーチファクトの位置でターゲット画像からラベルを削除することによって、アーチファクト画像に対応するターゲット画像を生成する手順と、拡張訓練データセットと、対応するターゲット画像とを用いてニューラルネットワークモデルを訓練する手順と、を実行させ、ニューラルネットワークモデルは、アーチファクト領域を特定する第１の出力と、オブジェクトを特定する他の出力とを含む。

【0007】

これらおよび他の特徴および利点は、添付図面と関連して読まれる、その例示的実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0008】

本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。

【0009】

【図1】本発明の一実施形態による、スキャンされたスライド画像のアーチファクト領域を特定し、除外することができるスライド分析システムのブロック図である。

【0010】

【図2】本発明の一実施形態による、スキャンされたスライド画像のアーチファクト領域を特定し、除外することができる分析を用いた、スキャンされたスライド画像に基づく診断および治療のための方法のブロック／フロー図である。

【0011】

【図3】本発明の一実施形態による、アーチファクトを含む訓練サンプルを有するように訓練データセットを拡張する方法のブロック／フロー図である。

【0012】

【図4】本発明の一実施形態による、それぞれの機能ごとに異なる出力層を持つニューラルネットワークモデルのブロック図である。

【0013】

【図5】本発明の一実施形態による、アーチファクト領域を含むスライド画像の分析を示す図である。

【0014】

【図6】本発明の一実施形態による、モデルを訓練し、スライド画像のアーチファクト検出を用いて診断および治療を実行するソフトウェアを含む演算装置のブロック図である。

【0015】

【図7】本発明の一実施形態による、モデルの一部を実装するために使用することができるニューラルネットワークアーキテクチャの図である。

【0016】

【図8】本発明の一実施形態による、モデルの一部を実装するために使用することができる深層ニューラルネットワークアーキテクチャの図である。

【発明を実施するための形態】

【0017】

腫瘍細胞比（ＴＣＲ）を特定するために、組織サンプルの所定領域について正常細胞と腫瘍細胞とを自動的にカウントすることができる。高倍率の画像は個々の細胞の詳細を示すために使用され、低倍率の画像は腺などの大きな構造において細胞がどのように配置されているかを明らかにする。癌細胞は、個々の細胞の特徴、細胞の並び方、あるいはその両方によって、健康な細胞と対比することができる。

【0018】

ただし、例えば、スライドにアーチファクトのある領域が含まれている場合など、ＴＣＲ計算を避けるべき領域が含まれている可能性がある。このようなアーチファクト領域がスライド面積の多くを占めている場合、スライドを再スキャンするか、交換する必要があるかもしれない。このような領域は、細胞の特定および分類機能とともに、アーチファクトを特定するように訓練された機械学習モデルを用いて検出することができる。これはスライドの品質を示す指標となり、スライド分析結果の信頼性を判断するのに利用できる。

【0019】

機械学習モデルは、異なる分類タスクを実行する複数の出力層を持つ畳み込みニューラルネットワークを含むことができる。例えば、１つはすべての核の位置を特定するため、１つは腫瘍核を特異的に特定するため、１つはアーチファクト領域を特定するための３つの異なる出力層を使用することができる。アーチファクト検出が他の出力層を圧倒しないようにする方法で機械学習モデルを訓練するために、例えば個々の出力層の損失の加重和として、損失関数を使用することができる。

【0020】

機械学習モデルは、アーチファクト情報を含むように拡張されたデータセットを用いて訓練することができる。例えば、ラベル付けされた細胞や腫瘍細胞を含む画像を含むオリジナルの訓練データセットから始めて、オリジナルの訓練サンプルにアーチファクトを追加する拡張訓練サンプルを導入することができる。これは、例えば、オリジナルの訓練サンプルにぼかしやカラーシフトを加えることで行うことができる。機械学習モデルがアーチファクト領域と正常領域との境界を正しく学習するようにするため、オリジナルの訓練サンプル全体に対して修正を行うのではなく、ランダムに生成されたマスクに基づいて修正を行っても良い。核ラベルは、核がその領域で検出されるのを防ぐために、拡張されたサンプルのアーチファクト領域から除去することができる。

【0021】

ここで、同様の数字が同一または類似の要素を表す図を詳細に参照し、最初に図１を参照すると、組織サンプルを分析し、ＴＣＲ報告書を提供するシステムが示されている。組織サンプル１０２を採取し、スライドにのせる。スライドはホールスライドスキャナ１０４でスキャンされ、スライド画像が生成され、スライドデータベース１０６に保存される。

【0022】

スライド分析１０８は、各画像を処理タイルに分割してもよく、これは、規則的なグリッドに従って実行されてもよく、および／または、スライド画像の注目すべき切片のユーザの指示に従って決定されてもよい。スライド分析１０８は、例えばＴＣＲ、癌細胞の位置などを含む、スライド１０２から得られた情報を特徴付ける報告書１１０を生成することができる。この報告書１１０は、医療専門家が患者の診断に役立てたり、癌の種類や程度を特定したり、遺伝子検査が可能な組織上の領域を特定したり、治療方針を特定したりするためなどに使用することができる。

【0023】

本明細書で説明するように、スライド分析１０８は、インク領域、ぼやけた領域、組織のひだ、または過剰染色領域などのアーチファクトを含むスライド画像の部分の特定を含むことができる。これらの領域は、報告書１１０の決定から除外する必要があり、アーチファクト領域がスライド画像の閾値以上の量を占める場合、組織サンプル１０２の再スキャンまたは交換を促すことがある。

【0024】

次に図２を参照すると、組織サンプルの分析を行う方法が示されている。ブロック２０１における多分類モデルの作成と、ブロック２０５における診断と治療とを含む２つのフェーズが示されている。この２つのフェーズは、別々の時期に別々の場所で行われることもある。例えば、ブロック２０１における多分類モデルの作成は、病院や研究センターで使用するために配布された訓練されたモデルで、かなり前もって実行することができる。ブロック２０５における診断と治療は、患者から最近採取された組織サンプルに基づいて、事前に訓練されたモデルを用いて実行されることがある。注目すべきは、これらの各フェーズは、異なる主体によって独立して実行されうるということである。

【0025】

ブロック２０１での多分類モデルの作成は、ブロック２０２で訓練データセットを拡張することから始まる。この拡張については後ほど詳しく説明するが、既存の訓練データセットの画像を処理して、人為的に生成されたアーチファクトを含むバージョンの画像を追加することも含まれる。次に、ブロック２０４は、拡張されたデータセットを用いて、多出力スライド分類器を訓練する。訓練データセットの画像は、スライド全体が大きすぎて一度に処理できない場合があるため、画像タイルに分割することができる。その後、各タイルはモデルに入力されるが、この処理は複数のタイルに対して並行して実行される。異なるタイルの分類器の出力をまとめて、スライド全体の報告書にまとめても良い。分類器の異なる出力は、例えば、細胞特定情報、腫瘍細胞分類情報、アーチファクト領域情報を生成しても良い。細胞および腫瘍細胞の特定情報には、それぞれ各細胞および各腫瘍細胞の所与のスライド画像内の位置が含まれ得る。アーチファクト領域情報は、例えば、アーチファクトを含むスライド画像の1つまたは複数の領域を特定する境界を含んでも良く、さらに、アーチファクト領域によって占められるスライド画像の割合などの統計情報を含んでも良い。

【0026】

診断と治療２０５には、組織サンプルをスキャンして新たなスライド画像２０６を生成することが含まれる。組織サンプルは適切な手段で採取し、ホールスライドスキャナ１０４でスキャンしても良い。ブロック２０８は、訓練された多分類モデルへの入力としてスライド画像を使用し、スライド画像内に示されたあらゆる細胞、あらゆる腫瘍細胞、あらゆるアーチファクト領域に関する情報を生成する。アーチファクト領域情報は、例えば、スライド画像の各画素について、その画素がアーチファクトに属する可能性を示す値を含んでも良い。アーチファクト領域は、閾値を適用することによって定義され、十分に高い値の画素がアーチファクト領域に追加される。

【0027】

ブロック２０９は、分類された画像に対して分析を実行し、例えばＴＣＲ値を決定する。分析２０９は、アーチファクト領域を考慮から除外して、それらの領域内の細胞や腫瘍細胞の情報が分析に影響しないようにしても良い。ブロック２１０は、多分類モデルの出力に基づいて、例えば遺伝子検査などのさらなる検査を要求したり、化学療法剤を投与したり、手術を行ったりするなどの治療を行う。

【0028】

次に図３を参照すると、訓練データセットを拡張する方法が示されている。ブロック３０２は、オリジナルの訓練データセットから訓練画像をコピーする。ブロック３０４は、コピー画像内のアーチファクト領域を定義するマスクを生成する。マスクは、画像のランダムな部分を１つ以上の離散的な領域で特定することができる。

【0029】

ブロック３０６は、コピー画像のマスク領域にアーチファクトを適用する。例えば、アーチファクトの適用には、合成ぼかしを追加するために画像にガウスカーネルを畳み込むことが含まれ、インクは、ぼかしとカラーシフトとの組み合わせを適用することによってシミュレートすることができる。各アーチファクトのターゲットマップは、完全畳み込みモデルにおけるラベルに相当すると理解され、損失を計算するために使用されても良い。損失は、例えば、出力とターゲットとの各画素の差の２乗を平均することによって得られる平均２乗誤差であっても良い。ブロック３０８は次に、マスクされた領域内の核のラベルを除去し、アーチファクトのある領域で核が検出されないようにする。

【0030】

次に図４を参照すると、ニューラルネットワークモデルのブロック図が示されている。このモデルは、任意の適切なサイズの入力を受け取り、同じサイズの１つ以上の出力マップを生成する、任意の適切な完全畳み込みネットワークに基づいても良い。入力画像から抽出される情報に応じて、同じ完全畳み込みネットワーク４０２を異なる出力層に使用することができる。したがって、モデルは全細胞出力層４０４、腫瘍細胞出力層４０６、およびアーチファクト領域出力層４０８を含むことができる。

【0031】

モデルを訓練する際、各出力に重みをつける損失関数を最適化することができる。例えば、損失関数は次のように表される：
Ｌ_totai＝ａＬ（出力１，目標１）＋ｂＬ（出力２，目標２）＋ｃＬ（出力３，目標３）
ここで、関数Ｌ（・，・）は平均２乗誤差やバイナリクロスエントロピーのような損失関数であり、ａ，ｂ，ｃは全細胞タスク、腫瘍細胞タスク、アーチファクト分割タスクに与えられる重みである。それぞれの場合において、出力値と目標値とは、それぞれのタスクの出力とそれぞれの期待値とを反映している。

【0032】

次に図５を参照すると、ブロック２０８でアーチファクト領域を特定した後の例示的なスライド画像５００が示されている。スライド画像５００には、スキャンされた組織サンプル５０２が含まれる。この例では、スキャンされた組織画像５０２上にグリッドを適用することによって、画像内で多数のタイル５０４が特定され、それぞれのグリッド内にある画素がそれぞれのタイルを構成する。タイル５０４がマーカ５０６によって確立された境界内にのみ決定されるように、タイルを制限するために、人間のオペレータによって提供されたマーカ５０６のセットも示されている。いくつかの例では、ＴＣＲ分析および他の分析は、マークされた領域に限定されても良い。

【0033】

さらに、アーチファクト領域５０８が示されている。人間のオペレータによってマークされた領域から独立したアーチファクト領域では、細胞情報は考慮されない。したがって、マークされた領域がアーチファクト領域の一部または全部を含む場合、アーチファクト領域内に存在する細胞は分析にカウントされない。

【0034】

次に図６を参照すると、本発明の実施形態に従った、例示的な演算装置６００が示されている。演算装置６００は、分類器の強化を実行するように構成されている。

【0035】

演算装置６００は、限定されないが、コンピュータ、サーバ、ラックベースのサーバ、ブレードサーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、モバイル演算装置、ウェアラブル演算装置、ネットワーク機器、ウェブ機器、分散演算システム、プロセッサベースのシステム、および／または利用者電子装置など、本書に記載される機能を実行できる任意のタイプの計算またはコンピュータ装置として具現化することができる。さらにまたは代替的に、演算装置６００は、１つまたは複数のコンピュートスレッド、メモリスレッド、または他のラック、スレッド、演算シャーシ、または物理的に分解された演算装置の他の構成要素として具現化されてもよい。

【0036】

図６に示すように、演算装置６００は、例示的に、プロセッサ６１０、入力／出力サブシステム６２０、メモリ６３０、データ記憶装置６４０、および通信サブシステム６５０、および／またはサーバまたは同様の演算装置に一般的に見られる他の構成要素およびデバイスを含んでいる。演算装置６００は、他の実施形態において、サーバコンピュータに一般的に見られるような他のまたは追加の構成要素（例えば、様々な入力／出力デバイス）を含んでもよい。さらに、いくつかの実施形態では、例示的な構成要素の１つ以上が、別の構成要素に組み込まれるか、さもなければ、別の構成要素の一部を形成することができる。例えば、メモリ６３０、またはその一部は、いくつかの実施形態において、プロセッサ６１０に組み込まれてもよい。

【0037】

プロセッサ６１０は、本明細書に記載された機能を実行することができる任意のタイプのプロセッサとして具現化することができる。プロセッサ６１０は、シングルプロセッサ、マルチプロセッサ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、シングルまたはマルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、またはその他のプロセッサやプロセスシング／制御回路として具現化されてもよい。

【0038】

メモリ６３０は、本明細書に記載された機能を実行することができる任意のタイプの揮発性または不揮発性メモリまたはデータストレージとして具現化され得る。動作中、メモリ６３０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、およびドライバなど、演算装置６００の動作中に使用される様々なデータおよびソフトウェアを格納することができる。メモリ６３０は、Ｉ／Ｏサブシステム６２０を介してプロセッサ６１０と通信可能に結合され、プロセッサ６１０メモリ６３０、および演算装置６００の他の構成要素との入出力動作を容易にするための回路および／または構成要素として具現化され得る。例えば、Ｉ／Ｏサブシステム６２０は、メモリコントローラハブ、入力／出力制御ハブ、プラットフォームコントローラハブ、集積制御回路、ファームウェアデバイス、通信リンク（例えば、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、ライトガイド、プリント回路基板トレースなど）および/または、入力/出力操作を容易にするための他の構成要素およびサブシステムとして具現化されてもよく、さもなければ、これらを含んでいても良い。いくつかの実施形態では、Ｉ／Ｏサブシステム６２０は、システムオンチップ（ＳＯＣ）の一部を形成し、プロセッサ６１０、メモリ６３０、および演算装置６００の他の構成要素と共に、単一の集積回路チップに組み込まれてもよい。

【0039】

データ記憶装置６４０は、例えば、メモリ装置および回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、または他のデータ記憶装置など、データの短期または長期記憶用に構成された任意のタイプの装置またはデバイスとして具現化することができる。データ記憶装置６４０は、変異ポリシーモデルを訓練するためのプログラムコード６４０Ａと、変異ポリシーモデルに従ってペプチド配列を変異させるためのプログラムコード６４０Ｂとを格納することができる。演算装置６００の通信サブシステム６５０は、ネットワークを介して演算装置６００と他のリモート装置との間の通信を可能にすることができる、任意のネットワークインターフェースコントローラまたは他の通信回路、装置、またはその集合体として具現されることができる。通信サブシステム６５０は、任意の１つ以上の通信技術（例えば、有線または無線通信）および関連するプロトコル（例えば、イーサネット、ＩｎｆｉｎｉＢａｎｄ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）など）を使用してそのような通信を実現するように構成され得る。

【0040】

図示のように、演算装置６００は、１つ以上の周辺装置６６０も含むことができる。周辺装置６６０は、任意の数の追加の入出力装置、インタフェース装置、および／または他の周辺装置を含んでもよい。例えば、いくつかの実施形態では、周辺装置６６０は、ディスプレイ、タッチスクリーン、グラフィック回路、キーボード、マウス、スピーカシステム、マイク、ネットワークインターフェース、および／または他の入力／出力装置、インタフェース装置、および／または周辺装置を含むことができる。

【0041】

もちろん、演算装置６００は、当業者が容易に思いつくように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、様々な他のセンサ、入力装置および／または出力装置は、当業者によって容易に理解されるように、同じものの特定の実装に依存して、演算装置６００に含まれることが可能である。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、プロセッサ、コントローラ、メモリなどを追加して、様々な構成で利用することも可能である。処理システム６００のこれらおよび他の変形例は、本明細書に提供される本発明の教示を考慮すれば、当業者によって容易に企図されるものである。

【0042】

次に図７と図８とを参照する。図７と図８とを参照すると、例示的なニューラルネットワークアーキテクチャが示されており、これらは本モデルの一部を実装するために使用することができる。ニューラルネットワークは汎化されたシステムであり、追加的な経験的データにさらされることでその機能と精度が向上する。ニューラルネットワークは、経験的データにさらされることによって学習される。訓練中、ニューラルネットワークは、入力される経験的データに適用される複数の重みを記憶し、調整する。調整された重みをデータに適用することで、データがクラスの集合からあらかじめ定義された特定のクラスに属することを識別したり、入力されたデータが各クラスに属する確率を出力したりすることができる。

【0043】

一連の例から得られた経験的データ（訓練データとも呼ばれる）は、値の文字列としてフォーマットされ、ニューラルネットワークの入力に供給される。各例は、既知の結果または出力と関連付けられる。各列は、（ｘ，ｙ）の組として表され、ｘは入力データ、ｙは既知の出力を表す。入力データには様々なデータタイプがあり、複数の異なる値が含まれていても良い。ネットワークは、例の入力データを構成する各値に対して１つの入力ノードを持つことができ、各入力値には別々の重みを適用することができる。入力データは、例えば、構築され訓練されるニューラルネットワークのアーキテクチャに応じて、ベクトル、配列、または文字列としてフォーマットすることができる。

【0044】

ニューラルネットワークは、入力データから生成されたニューラルネットワーク出力を例の既知の値と比較し、記憶された重みを調整して出力値と既知の値の差を最小にすることで「学習」する。調整は、逆伝搬を通じて記憶された重みに対して行うことができ、出力値に対する重みの影響は、数学的勾配を計算し、出力を最小差にシフトさせる方法で重みを調整することによって決定される。勾配降下法と呼ばれるこの最適化は、訓練がどのように行われるかの非限定的な例である。訓練に使用されなかった既知の値を持つ例のサブセットは、ニューラルネットワークの精度をテストし、検証するために使用することができる。

【0045】

運用中、訓練されたニューラルネットワークは、汎化によって、以前に訓練や検証に使用されなかった新たなデータに使用することができる。調整されたニューラルネットワークの重みは、新たなデータに適用することができ、重みは訓練例から開発された関数を推定する。重みによって捕捉される推定関数のパラメータは、統計的推論に基づいている。

【0046】

レイヤードニューラルネットワークでは、ノードは層の形で配置される。例示的な単純ニューラルネットワークは、ソースノード７２２の入力層７２０と、出力ノードとしても機能する１つまたは複数の計算ノード７３２を有する単一の計算層７３０とを有し、入力例が分類され得る各可能なカテゴリに対して単一の計算ノード７３２が存在する。入力層７２０は、入力データ７１０のデータ値７１２の数に等しい数のソースノード７２２を有することができる。入力データ７１０のデータ値７１２は列ベクトルとして表すことができる。計算層７３０の各計算ノード７３２は、入力ノード７２０に供給された入力データ７１０から重み付けされた値の線形結合を生成し、合計に微分可能な非線形活性化関数を適用する。例示的な単純ニューラルネットワークは、線形分離可能な例（例えば、パターン）に対して分類を実行することができる。

【0047】

多層パーセプトロンなどの深層ニューラルネットワークは、ソースノード７２２の入力層７２０、１つまたは複数の計算ノード７３２を有する１つまたは複数の計算層７３０、および入力例が分類される可能性のあるカテゴリごとに１つの出力ノード７４２がある出力層７４０を有することができる。入力層７２０は、入力データ７１０のデータ値７１２の数に等しい数のソースノード７２２を有することができる。計算層７３０の計算ノード７３２は、ソースノード７２２と出力ノード７４２との間にあり、直接観察されないため、隠れ層とも呼ばれる。計算層の各ノード７３２，７４２は、前の層のノードから出力された値から重み付けされた値の線形結合を生成し、線形結合の範囲にわたって微分可能な非線形活性化関数を適用する。各前のノードからの値に適用される重みは、例えばｗ₁，ｗ₂，．．．ｗ_n-i，ｗ_nで表すことができる。出力層は、入力されたデータに対するネットワークの全体的な応答を提供する。深層ニューラルネットワークは、計算レイヤの各ノードが前のレイヤのすべてのノードに接続されている完全接続の場合もあれば、レイヤ間の接続が他の構成になっている場合もある。ノード間のリンクが欠落している場合、ネットワークは部分的に接続されていると呼ばれる。

【0048】

深層ニューラルネットワークの訓練には、各ノードの重みを固定し、入力をネットワークに伝搬させるフォワードフェーズと、エラー値をネットワークに逆伝搬させ、重み値を更新するバックワードフェーズの２つのフェーズがある。

【0049】

１つ以上の計算（隠れ）層７３０の計算ノード７３２は、特徴空間を生成する入力データ７１２に対して非線形変換を実行する。クラスやカテゴリは、元のデータ空間よりも特徴空間の方がより簡単に分離できるかもしれない。

【0050】

本明細書に記載する実施形態は、完全にハードウェアであってもよく、完全にソフトウェアであってもよく、または、ハードウェア要素とソフトウェア要素との両方を含むものであってもよい。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアで実施される。

【0051】

実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供する、コンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含むことができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、またはトランスポートする任意の装置を含むことができる。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム（または装置またはデバイス）、または伝搬媒体とすることができる。媒体は、半導体または固体ステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスクおよび光ディスクなどのコンピュータ読み取り可能な記憶媒体を含むことができる。

【0052】

各コンピュータプログラムは、本明細書に記載する手順を実行するために、記憶媒体または装置がコンピュータによって読み取られるときに、コンピュータの操作を構成し制御するために、汎用または特殊目的のプログラム可能コンピュータによって読み取り可能な、機械読み取り可能な記憶媒体または装置（例えば、プログラムメモリまたは磁気ディスク）に実体的に記憶することができる。本発明のシステムはまた、コンピュータプログラムで構成された、コンピュータ読み取り可能な記憶媒体で実施されるものと考えることができ、その場合、構成された記憶媒体は、コンピュータを特定の所定の方法で動作させて、本明細書に記載する機能を実行させる。

【0053】

プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接的または間接的に結合された少なくとも１つのプロセッサを含んでもよい。メモリ要素は、プログラムコードの実際の実行中に採用されるローカルメモリ、バルクストレージ、および実行中にバルクストレージからコードが検索される回数を減らすために少なくとも何らかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力／出力またはＩ／Ｏ装置（キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない）は、直接または介在するＩ／Ｏコントローラを介してシステムに結合され得る。

【0054】

ネットワークアダプタは、データ処理システムが、介在するプライベートまたはパブリックネットワークを介して他のデータ処理システムまたはリモートプリンタまたはストレージデバイスに結合されるようになることを可能にするために、システムに結合されることもできる。モデム、ケーブルモデム、イーサネットカードは、現在利用可能なネットワークアダプタの種類のほんの一部に過ぎない。

【0055】

本明細書で採用されるように、「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェアまたはそれらの組み合わせを指すことができる。有用な実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行デバイスなど）を含むことができる。１つまたは複数のデータ処理要素は、中央処理ユニット、画像処理ユニットおよび／または別個のプロセッサまたはコンピューティング要素ベースのコントローラ（たとえば、論理ゲートなど）に含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリなど）を含むことができる。いくつかの実施形態では、ハードウェアプロセッササブシステムは、オンボードまたはオフボードにすることができるか、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）など）によって使用するために専用にすることができる１つ以上のメモリを含むことができる。

【0056】

ある実施形態では、ハードウェアプロセッササブシステムは、１つ以上のソフトウェア要素を含むことができ、実行することができる。１つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステムおよび／または１つ以上のアプリケーションおよび／または特定のコードを含むことができる。

【0057】

他の実施形態では、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用の専用回路を含むことができる。そのような回路は、１つまたは複数のアプリケーション専用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／またはプログラマブルロジックアレイ（ＰＬＡ）を含むことができる。

【0058】

ハードウェアプロセッササブシステムのこれらおよび他の変形もまた、本発明の実施形態に従って企図される。

【0059】

明細書において、本発明の「一実施形態」または「一実施形態」、およびその他の変形例への言及は、実施形態に関連して説明した特定の特徴、構造、特性などが、本発明の少なくとも一実施形態に含まれることを意味する。したがって、本明細書中の各所に現れる「一実施形態において」または「一実施形態において」という表現、および他の任意の変形は、必ずしもすべてが同じ実施形態を指すとは限らない。しかしながら、本明細書で提供される本発明の教示を考慮して、１つ以上の実施形態の特徴を組み合わせることができることは理解されるであろう。

【0060】

例えば「Ａ／Ｂ」の場合、「Ａおよび／またはＢ」、「ＡとＢとの少なくとも１つ」のような、以下の「／」、「および／または」、「少なくとも1つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含すると意図していると理解されよう。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または第３のリストされた選択肢（Ｃ）のみの選択、または第１および第２のリストされた選択肢（ＡおよびＢ）のみの選択、第１および第３のリストされた選択肢（ＡおよびＣ）のみの選択、第２および第３のリストされた選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択を包含すると意図されている。このことは、記載された項目の数だけ拡張することができる。

【0061】

上記は、あらゆる点で例示的かつ例示的であるが、制限的なものではないと理解され、ここに開示された発明の範囲は、詳細な説明からではなく、特許法によって許される全幅に従って解釈された請求項から決定されるものである。本明細書に示され説明された実施形態は、本発明の例示に過ぎず、当業者は、本発明の範囲及び精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者であれば、本発明の範囲と精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、特許法が要求する詳細さと特殊性をもって本発明の側面を説明したが、特許状によって請求され、保護されることを望むものは、添付の特許請求の範囲に記載されているとおりである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】