(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-13
(54)【発明の名称】人工知能(AI)モデルを使用した非侵襲的遺伝子検査を行う方法及びシステム
(51)【国際特許分類】
G16B 20/00 20190101AFI20221206BHJP
G01N 33/483 20060101ALI20221206BHJP
G06T 7/00 20170101ALN20221206BHJP
C12Q 1/02 20060101ALN20221206BHJP
C12N 5/07 20100101ALN20221206BHJP
C12N 15/01 20060101ALN20221206BHJP
【FI】
G16B20/00
G01N33/483 C
G06T7/00 350B
C12Q1/02
C12N5/07
C12N15/01 Z
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022518893
(86)(22)【出願日】2020-09-25
(85)【翻訳文提出日】2022-05-23
(86)【国際出願番号】 AU2020000111
(87)【国際公開番号】W WO2021056046
(87)【国際公開日】2021-04-01
(32)【優先日】2019-09-25
(33)【優先権主張国・地域又は機関】AU
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】521441320
【氏名又は名称】プレサーゲン プロプライアトリー リミテッド
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ホール,ジョナサン マイケル マクギリブレー
(72)【発明者】
【氏名】ペルジーニ,ドナート
(72)【発明者】
【氏名】ペルジーニ,ミシェル
(72)【発明者】
【氏名】グエン,トゥック ヴァン
(72)【発明者】
【氏名】ディアキウ,ソニア マレー
【テーマコード(参考)】
2G045
4B063
4B065
5L096
【Fターム(参考)】
2G045AA25
2G045FA15
2G045FA16
2G045JA01
2G045JA03
4B063QA17
4B063QQ02
4B063QQ08
4B063QQ42
4B063QS39
4B063QS40
4B063QX10
4B065AA90X
4B065BA22
4B065CA46
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096DA02
5L096EA02
5L096EA03
5L096EA12
5L096FA04
5L096FA06
5L096FA16
5L096FA32
5L096FA62
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
人工知能(AI)ベースのコンピュータ計算システムが、着床前の胚の画像における異数性及びモザイク現象の範囲の存在を非侵襲的に推定するために使用される。有害事象のリスクが類似している異数性及びモザイク現象がグループ化され、訓練画像が、それらの群でラベルされる。別々のAIモデルが、同じ訓練データセットを使用して、群ごとに訓練され、次に、別々のモデルは、広範囲の異数性及びモザイク現象のリスクを特定することができるモデルを展開するために、例えばアンサンブル又は蒸留アプローチを使用することによって組み合わされる。群に対するAIモデルは、バイナリモデル、階層モデル、及び多クラスモデルを含む多数のモデルを訓練することによって作成される。特に、階層モデルは、画像に品質ラベルを与えることによって生成される。各層において、訓練セットは、最良の品質の画像及び他の画像に分割される。その層におけるモデルは、最良の品質の画像において訓練され、他の画像は、次の層に伝えられ、プロセスは繰り返される(従って、残りの画像は、次の最良の品質の画像と他の画像とに分けられる)。次に、最終モデルを使用して、着床前の胚の画像から、異数性及びモザイク現象、並びに関連する有害事象のリスクを非侵襲的に特定することができる。
【特許請求の範囲】
【請求項1】
異数性の存在について胚画像をスクリーニングするための異数性スクリーニング人工知能(AI)モデルをコンピュータ計算で作成する方法であって、
複数の染色体群ラベルを定めるステップであり、各群が、異なる遺伝子変異又は染色体異常を含む1つ以上の異なる異数性を含む、ステップと、
第1の画像セットから訓練データセットを作成するステップであり、各画像は、体外受精後にキャプチャされた胚の画像を含み、1つ以上の染色体群ラベルでラベルされ、各ラベルは、それぞれの染色体群に関連する少なくとも1つの異数性が前記胚の少なくとも1つの細胞に存在するかどうかを示し、前記訓練データセットは、前記染色体群の各々でラベルされた画像を含む、ステップと、
第2の画像セットからテストデータセットを作成するステップであり、各画像は、体外受精後に得られた胚の画像を含み、1つ以上の染色体群ラベルでラベルされ、各ラベルは、それぞれの染色体群に関連する少なくとも1つの異数性が存在するかどうかを示し、前記テストデータセットは、前記染色体群の各々でラベルされた画像を含む、ステップと、
全てのモデルを訓練するための前記訓練データセットを使用して、染色体群ごとに少なくとも1つの染色体群AIモデルを別々に訓練するステップであり、各染色体群AIモデルは、関連する染色体群ラベルでラベルされた画像における形態学的特徴を特定するように訓練されるステップ、及び/又は、前記訓練データにおいて少なくとも1つの多群AIモデルを訓練するステップであり、各多群AIモデルは、関連する染色体群ラベルの各々でラベルされた画像における形態学的特徴を独立して特定し、入力画像において多群出力を作成して、前記染色体群の各々に関連する少なくとも1つの異数性が前記画像に存在するか又は存在しないかを示すように訓練されるステップと、
前記テストデータセットを使用して、前記染色体群の各々に対して最良の染色体群AIモデル又は最良の多群AIモデルを選択するステップと、
選択した前記AIモデルを展開して、1つ以上の異数性の存在について胚画像をスクリーニングするステップと、
を含む方法。
【請求項2】
前記染色体群ごとに少なくとも1つの染色体群AIモデルを別々に訓練するステップ、及び/又は、前記少なくとも1つの多群AIモデルを訓練するステップは、階層モデルを訓練することを含み、前記階層モデルを訓練することは、
階層的シーケンスの層モデルを訓練することを含み、各層において、1つの染色体群に関連する画像には第1のラベルが与えられ、第2の画像セットに対して訓練され、前記第2の画像セットは、最大レベルの品質に基づきグループ化され、各系列層において、前記第2の画像セットは、前の層における第2のセットからの画像のサブセットであり、前記前の層における第2のセットの最大品質よりも低い品質を有している、請求項1に記載の方法。
【請求項3】
前記階層モデルを訓練することは、
前記複数の画像における各画像に品質ラベルを割り当てることであって、前記品質ラベルのセットは、少なくとも「生存可能な正倍数体の胚」、「正倍数体の生育不能な胚」、「非重篤な異数体の胚」、及び「重篤な異数体の胚」を含む品質ラベルの階層的セットを含むこと、
前記訓練セットを「生存可能な正倍数体の胚」というラベルを有する第1の品質のデータセット及び他の全ての画像を含む別のデータセットに分割し、前記染色体群でラベルされた画像及び前記第1の品質のデータセット内の画像においてモデルを訓練することによって、最上層モデルを訓練すること、
1つ以上の中間層モデルを順次訓練することであって、各中間層において、次の品質レベルのデータセットが、他のデータセットにおいて最高品質のラベルを有する画像を選択することから作成され、モデルは、前記染色体群でラベルされた画像及び次の品質のデータセット内の画像において訓練されること、及び、
前記染色体群でラベルされた画像及び前の層からの他のデータセット内の画像において基層モデルを訓練すること、
を含む、請求項2に記載の方法。
【請求項4】
第1の染色体群について第1のベースレベルモデルを訓練した後、他の染色体群各々に対して階層モデルを訓練することが、前記第1のベースレベルモデルを訓練するために使用された他のデータセットに対して前記他の染色体群を訓練することを含む、請求項3に記載の方法。
【請求項5】
前記染色体群ごとに少なくとも1つの染色体群AIモデルを別々に訓練するステップは、染色体群ごとに1つ以上のバイナリモデルを訓練することをさらに含み、
前記染色体群を存在のラベルとマッチさせるラベルで前記訓練データセット内の画像をラベルすること、及び、非存在のラベルで前記訓練セット内の他の全ての画像をラベルすること、並びに、前記存在のラベル及び前記非存在のラベルを使用してバイナリモデルを訓練し、入力画像においてバイナリ出力を作成して、前記染色体群に関連する染色体異常が前記画像に存在するかどうかを示すこと、
を含む、請求項2乃至4のいずれか一項に記載の方法。
【請求項6】
前記階層モデルは各バイナリモデルである、請求項2乃至5のいずれか一項に記載の方法。
【請求項7】
各染色体群が、複数の相互排他的な異数性クラスをさらに含み、染色体群内の前記異数性クラスの確率が合計して1になり、前記AIモデルのうち1つ以上が、染色体群内の各異数性クラスの確率を推定するように訓練された多クラスAIモデルである、請求項1乃至5のいずれか一項に記載の方法。
【請求項8】
前記異数性クラスは、「減少」、「増加」、「重複」、「欠失」、「正常」を含む、請求項7に記載の方法。
【請求項9】
染色体群ごとにアンサンブルモデルを作成するステップをさらに含み、前記染色体群ごとにアンサンブルモデルを作成するステップは、
複数の最終モデルを訓練することであって、前記複数の最終モデルの各々は、それぞれの群に対する最良の染色体群AIモデルに基づいており、前記複数の最終モデルの各々は、異なる初期条件及び画像順序付けのセットを有する前記訓練データセットにおいて訓練されること、及び、
アンサンブル多数決戦略に従って、複数の訓練された前記最終モデルを組み合わせること、
を含む、請求項1乃至8のいずれか一項に記載の方法。
【請求項10】
染色体群ごとに蒸留モデルを作成するステップをさらに含み、前記染色体群ごとに蒸留モデルを作成するステップは、
複数の教師モデルを訓練することであって、前記複数の教師モデルの各々は、それぞれの群に対する最良の染色体群AIモデルに基づいており、前記複数の教師モデルの各々は、異なる初期条件及び画像順序付けのセットを有する前記訓練データセットの少なくとも一部において訓練されること、及び、
蒸留損失関数を使用して、前記訓練データセットにおいて複数の訓練された教師モデルを使用して生徒モデルを訓練すること、
を含む、請求項1乃至9のいずれか一項に記載の方法。
【請求項11】
複数の画像を受信するステップであって、各画像は、体外受精後に得られた胚の画像及び1つ以上の異数性の結果を含む、ステップと、
前記複数の画像を前記第1の画像セットと前記第2の画像セットとに分け、関連する前記1つ以上の異数性の結果に基づき、1つ以上の染色体群ラベルを各画像に与えるステップであって、前記第1の画像セット及び前記第2の画像セットは、前記染色体群ラベルの各々の割合が類似している、ステップと、
をさらに含む、請求項1乃至10のいずれか一項に記載の方法。
【請求項12】
各群が、有害事象のリスクが類似している複数の異なる異数性を含む、請求項1乃至11のいずれか一項に記載の方法。
【請求項13】
前記複数の染色体群ラベルは、少なくとも低リスク群及び高リスク群を含む、請求項12に記載の方法。
【請求項14】
前記低リスク群は、少なくとも染色体1、3、4、5、17、19、20、及び「47,XYY」を含み、前記高リスク群は、少なくとも染色体13、16、21、及び「45,X」、「47,XXY」、及び「47,XXX」を含む、請求項13に記載の方法。
【請求項15】
前記画像は、受精後3から5日以内にキャプチャされる、請求項1乃至14のいずれか一項に記載の方法。
【請求項16】
前記テストデータセット内の前記染色体群の各々の相対的割合が、前記訓練データセット内の前記染色体群の各々の相対的割合に類似している、請求項1乃至15のいずれか一項に記載の方法。
【請求項17】
胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成する方法であって、
請求項1乃至16のいずれか一項に記載の方法に従って、異数性スクリーニングAIモデルをコンピュータ計算システムにおいて作成するステップと、
前記コンピュータ計算システムのユーザインターフェースを介してユーザから、体外受精後にキャプチャされた胚を含有する画像を受信するステップと、
前記異数性スクリーニングAIモデルに前記画像を提供して、前記画像における1つ以上の異数性の存在の推定値を得るステップと、
前記画像における1つ以上の異数性の存在に関するレポートを、前記ユーザインターフェースを介して前記ユーザに送信するステップと、
を含む方法。
【請求項18】
胚の画像における1つ以上の異数性の存在の推定値を得る方法であって、
画像における1つ以上の異数性の存在の推定値を生成するように構成されたクラウドベースの人工知能(AI)モデルに、体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を、ユーザインターフェースを介してアップロードするステップであり、前記AIモデルは、請求項1乃至16のいずれか一項に記載の方法に従って作成されている、ステップと、
前記ユーザインターフェースを介して、胚の画像における1つ以上の異数性の存在の推定値を受信するステップと、
含む方法。
【請求項19】
請求項1乃至16のいずれか一項に記載の方法に従って構成された異数性スクリーニング人工知能(AI)モデルをコンピュータ計算で作成するように構成されたクラウドベースのコンピュータ計算システム。
【請求項20】
胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成するように構成されたクラウドベースのコンピュータ計算システムであって、
1つ以上のプロセッサと、胚の画像における1つ以上の異数性の存在の推定値を生成するように構成された異数性スクリーニング人工知能(AI)モデルを格納するように構成された1つ以上のメモリとを含む1つ以上のコンピュータ計算サーバを含み、前記異数性スクリーニング人工知能(AI)モデルは、請求項1乃至16のいずれか一項に記載の方法に従って作成され、前記1つ以上のコンピュータ計算サーバは、
前記コンピュータ計算システムのユーザインターフェースを介してユーザから画像を受信する、
前記異数性スクリーニング人工知能(AI)モデルに前記画像を提供して、前記画像における1つ以上の異数性の存在の推定値を得る、及び、
前記画像における1つ以上の異数性の存在に関するレポートを、前記ユーザインターフェースを介して前記ユーザに送信する、
ように構成されている、クラウドベースのコンピュータ計算システム。
【請求項21】
胚の画像における1つ以上の異数性の存在の推定値を生成するように構成されたコンピュータ計算システムであって、前記コンピュータ計算システムは、
少なくとも1つのプロセッサと、
体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を受信する、
請求項1乃至16のいずれか一項に記載の方法に従って作成された、胚の画像における1つ以上の異数性の存在の推定値を生成するように構成されたクラウドベースの人工知能(AI)モデルに、前記体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を、ユーザインターフェースを介してアップロードする、
前記ユーザインターフェースを介して、胚の画像における1つ以上の異数性の存在の推定値を受信する、さらに
前記ユーザインターフェースを介して、前記胚の画像における1つ以上の異数性の存在の推定値を表示する、
ように前記少なくとも1つのプロセッサを構成するための命令を含む少なくとも1つのメモリと、
を含む、コンピュータ計算システム。
【発明の詳細な説明】
【技術分野】
【0001】
優先権書類
本願は、“Method and System for performing non-invasive genetic testing using an Artificial Intelligence (AI) Model”と題され、2019年9月25日に出願された豪国仮特許出願第2019903584号の優先権を主張し、その内容全体を参照により本明細書に援用する。
【0002】
本開示は、コンピュータビジョン及びディープラーニングに基づく画像の分類を含む人工知能(AI)に関する。特定の形態において、本開示は、体外受精(IVF)のために胚における異数性を非侵襲的に特定するためのコンピュータ計算AI法に関する。
【背景技術】
【0003】
放射線照射による細胞障害等の副作用、又は遺伝的状態/先天性疾患を患っていない限り、ヒト細胞は、23対(全部で46)の染色体を有している。これらの場合、染色体のうち1つ以上を、全体的又は部分的に改変することができる。これは、成人期まで続く発生中の胚に対する広範且つ長期的な健康影響を及ぼす可能性があり、適切に治療することができるように、患者がそのような染色体異常を示すかどうか、又は子供をそのような疾患に罹らせやすくする染色体変異の保有者であるかどうかを理解することに、高いレベルの価値がある。将来の親が1つ又は多数の遺伝的素因を有している可能性があるけれども、子孫が実際に1つ又は複数の遺伝子異常を示すことになるかどうかを事前に予測することは可能ではない。
【0004】
一般的に使用されている生殖補助医療(ART)の1つは、受精後の胚を検査し、胚の遺伝的健全性を計測するために遺伝子配列決定を行い、さらに、それを「正倍数体(euploid)」(遺伝的に典型的)又は「異数体(aneuploid)」(遺伝子変異を示す)に分類することである。
【0005】
このスクリーニング技術は、胚が体外で受精させられ、受精後約3から5日以内に将来の母親に再移植されるIVFプロセスにおいて特に顕著である。これは、夫婦が経験する可能性のある妊娠合併症の診断を支援するプロセスの一部として、又は任意の疾患リスクを早期に診断するため、及びそれらのリスクに対して選択するために、患者がIVFの医師と相談して行う決定であることが多い。
【0006】
このスクリーニングプロセスは、着床前遺伝子スクリーニング(PGS)、又は着床前胚染色体異数性検査(PGT-A)として知られており、理想的とは言えないものにする多くの特徴を有しているが、依然として現在でも胚に関する遺伝情報を得るための妊娠産業において最も実行可能な選択肢として残っている。
【0007】
PGT-Aを行う際の最大の危険因子は、この検査が侵襲性の高いことであり、典型的には、この検査を行うためには(様々な生検技術の1つを使用して)発生中の胚から少数の細胞を取り除く必要がある。この技術による胚発生への長期的な影響は不明であり、完全には特徴づけられていない。さらに、PGT-Aを受ける全ての胚が、生検を試みる実験室まで且つ実験室から運ばれる必要があり、クリニックが結果を受け取るのに数日又は数週間の遅れが生じる。これは、体外受精の成功の重要な尺度である「妊娠までの時間」が延ばされることを意味し、そのような胚は全て凍結を経なければならないことも意味する。ガラス化等の現代の凍結技術は、胚生存の観点から「緩慢凍結」と比較して近年著しく改善されているため、現在では、PGT-Aが実行される場合でも、多くのIVFクリニックの間で一般的に実施されている。これの背後にある理由は、胚が着床する可能性を増やすために、過剰排卵(hyper-ovulation)の刺激後に将来の母親のホルモンレベルが再びバランスを取るのを可能にするためである。
【0008】
現代のガラス化技術が胚に有害であるかどうかは不明である。ガラス化技術及びPGT-Aの使用は、特に米国において普及しており、広く受け入れられているため、PGT-Aはルーチンとして実行され、ほとんどの胚がこのプロセスを経て、クリニック及び患者に対する遺伝学的データが得られている。
【0009】
PGT-Aの性能におけるさらなる問題は、胚の「モザイク現象」によるものである。この用語は、生検において採取された個々の細胞の染色体プロファイルが、胚発生の初期の細胞分裂段階においてさえ、胚全体を表していない可能性があるということを意味する。すなわち、モザイク胚は、正倍数体(染色体的に正常な)細胞と異数体細胞(染色体の過剰/欠失/改変)の混合物であり、異なる細胞に多数の異なる異数体が存在することがある(全ての細胞が異数体細胞であり、胚には正倍数体細胞が存在しない場合を含む)。その結果、同じ胚に由来する異なる細胞から得られたPGT-Aの結果は、互いに一致しないことがある。生検が代表的なものであるかどうかを評価する方法がないため、そのようなPGT-A検査の全体的な精度/信頼性は低下する。
【0010】
従って、胚の遺伝子スクリーニングを行うための改善された方法を提供すること、又は少なくとも既存の方法に代わる有用な代替物を提供することが必要である。
【先行技術文献】
【非特許文献】
【0011】
【非特許文献1】Griffiths AJF, Miller JH, Suzuki DT, et al., “An Introduction to Genetic Analysis”, 7th edition, New York: W. H. Freeman; 2000
【発明の概要】
【0012】
本発明の第1の態様によると、異数性の存在について胚画像をスクリーニングするための異数性スクリーニング人工知能(AI)モデルをコンピュータ計算で作成する方法が提供され、当該方法は:
複数の染色体群ラベルを定めるステップであり、各群が、異なる遺伝子変異又は染色体異常を含む1つ以上の異なる異数性を含む、ステップ;
第1の画像セットから訓練データセットを作成するステップであり、各画像は、体外受精後にキャプチャされた胚の画像を含み、1つ以上の染色体群ラベルでラベルされ、各ラベルは、それぞれの染色体群に関連する少なくとも1つの異数性が胚の少なくとも1つの細胞に存在するかどうかを示し、訓練データセットは、染色体群の各々でラベルされた画像を含む、ステップ;
第2の画像セットからテストデータセットを作成するステップであり、各画像は、体外受精後に得られた胚の画像を含み、1つ以上の染色体群ラベルでラベルされ、各ラベルは、それぞれの染色体群に関連する少なくとも1つの異数性が存在するかどうかを示し、テストデータセットは、染色体群の各々でラベルされた画像を含む、ステップ;
全てのモデルを訓練するための訓練データセットを使用して、染色体群ごとに少なくとも1つの染色体群AIモデルを別々に訓練するステップであり、各染色体群AIモデルは、関連する染色体群ラベルでラベルされた画像における形態学的特徴を特定するように訓練されるステップ、及び/又は、訓練データにおいて少なくとも1つの多群AIモデルを訓練するステップであり、各多群AIモデルは、関連する染色体群ラベルの各々でラベルされた画像における形態学的特徴を独立して特定し、入力画像において多群出力を作成して、染色体群の各々に関連する少なくとも1つの異数性が画像に存在するか又は存在しないかを示すように訓練されるステップ;
テストデータセットを使用して、染色体群の各々に対して最良の染色体群AIモデル又は最良の多群AIモデルを選択するステップ;及び、
選択したAIモデルを展開して、1つ以上の異数性の存在について胚画像をスクリーニングするステップ;
を含む。
【0013】
一形態において、染色体群ごとに少なくとも1つの染色体群AIモデルを別々に訓練するステップは、階層モデル(a hierarchical layered model)を訓練すること、及び/又は、少なくとも1つの多群AIモデルを訓練することを含み、階層モデルを訓練することは:
階層的シーケンスの層モデルを訓練することを含んでもよく、各層において、1つの染色体群に関連する画像には第1のラベルが与えられ、第2の画像セットに対して訓練され、第2の画像セットは、最大レベルの品質に基づきグループ化され、各系列層(sequential layer)において、第2の画像セットは、前の層における第2のセットからの画像のサブセットであり、前の層における第2のセットの最大品質よりも低い品質を有している。
【0014】
さらなる形態において、階層モデルを訓練することは:
複数の画像における各画像に品質ラベルを割り当てることであって、品質ラベルのセットは、少なくとも「生存可能な正倍数体の胚」、「正倍数体の生育不能な胚」、「非重篤な異数体の胚」、及び「重篤な異数体の胚」を含む品質ラベルの階層的セットを含むこと;
訓練セットを「生存可能な正倍数体の胚」というラベルを有する第1の品質のデータセット及び他の全ての画像を含む別のデータセットに分割し、染色体群でラベルされた画像及び第1の品質のデータセット内の画像においてモデルを訓練することによって、最上層モデルを訓練すること;
1つ以上の中間層モデルを順次訓練することであって、各中間層において、次の品質レベルのデータセットが、他のデータセットにおいて最高品質のラベルを有する画像を選択することから作成され、モデルは、染色体群でラベルされた画像及び次の品質のデータセット内の画像において訓練されること;及び、
染色体群でラベルされた画像及び前の層からの他のデータセット内の画像において基層モデルを訓練すること;
を含んでもよい。
【0015】
さらなる形態では、第1の染色体群について第1のベースレベルモデルを訓練した後、他の染色体群各々に対して階層モデルを訓練することが、第1のベースレベルモデルを訓練するために使用された他のデータセットに対して他の染色体群を訓練することを含む。
【0016】
さらなる形態では、染色体群ごとに少なくとも1つの染色体群AIモデルを別々に訓練するステップは、染色体群ごとに1つ以上のバイナリモデルを訓練することをさらに含んでもよく:
染色体群を存在のラベルとマッチさせるラベルで訓練データセット内の画像をラベルすること、及び、非存在のラベルで訓練セット内の他の全ての画像をラベルすること、並びに、存在のラベル及び非存在のラベルを使用してバイナリモデルを訓練し、入力画像においてバイナリ出力を作成して、染色体群に関連する染色体異常が画像に存在するかどうかを示すことを含む。
【0017】
さらなる形態において、階層モデルは各バイナリモデルである。
【0018】
一形態では、各染色体群ラベルが、複数の相互排他的な異数性クラスをさらに含み、染色体群内の異数性クラスの確率が合計して1になり、AIモデルは、染色体群内の各異数性クラスの確率を推定するように訓練された多クラスAIモデルである。さらなる形態において、異数性クラスは、「減少」、「増加」、「重複」、「欠失」、「正常」を含んでもよい。
【0019】
一形態において、当該方法は:
染色体群ごとにアンサンブルモデルを作成するステップをさらに含んでもよく、染色体群ごとにアンサンブルモデルを作成するステップは:
複数の最終モデルを訓練することであって、複数の最終モデルの各々は、それぞれの群に対する最良の染色体群AIモデルに基づいており、複数の最終モデルの各々は、異なる初期条件及び画像順序付けのセットを有する訓練データセットにおいて訓練されること;
アンサンブル多数決戦略に従って、複数の訓練された最終モデルを組み合わせること;
を含む。
【0020】
一形態において、当該方法は:
染色体群ごとに蒸留モデルを作成するステップをさらに含んでもよく、染色体群ごとに蒸留モデルを作成するステップは:
複数の教師モデルを訓練することであって、複数の教師モデルの各々は、それぞれの群に対する最良の染色体群AIモデルに基づいており、複数の教師モデルの各々は、異なる初期条件及び画像順序付けのセットを有する訓練データセットの少なくとも一部において訓練されること;
蒸留損失関数を使用して、訓練データセットにおいて複数の訓練された教師モデルを使用して生徒モデルを訓練すること;
を含む。
【0021】
一形態において、当該方法は:
複数の画像を受信するステップであって、各画像は、体外受精後に得られた胚の画像及び1つ以上の異数性の結果を含む、ステップ;
複数の画像を第1の画像セットと第2の画像セットとに分け、関連する1つ以上の異数性の結果に基づき、1つ以上の染色体群ラベルを各画像に与えるステップであって、第1の画像セット及び第2の画像セットは、染色体群ラベルの各々の割合が類似している、ステップ;
をさらに含んでもよい。
【0022】
一形態では、各群が、有害事象のリスクが類似している複数の異なる異数性を含む。さらなる形態において、複数の染色体群ラベルは、少なくとも低リスク群及び高リスク群を含む。さらなる形態において、低リスク群は、少なくとも染色体1、3、4、5、17、19、20、及び「47,XYY」を含み、高リスク群は、少なくとも染色体13、16、21、及び「45,X」、「47,XXY」、及び「47,XXX」を含む。
【0023】
一形態において、画像は、受精後3から5日以内にキャプチャされてもよい。
【0024】
一形態では、テストデータセット内の染色体群の各々の相対的割合が、訓練データセット内の染色体群の各々の相対的割合に類似している。
【0025】
本発明の第2の態様によると、胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成する方法が提供され、当該方法は:
第1の態様の方法に従って、異数性スクリーニングAIモデルをコンピュータ計算システムにおいて作成するステップ;
コンピュータ計算システムのユーザインターフェースを介してユーザから、体外受精後にキャプチャされた胚を含有する画像を受信するステップ;
異数性スクリーニングAIモデルに画像を提供して、画像における1つ以上の異数性の存在の推定値を得るステップ;及び、
画像における1つ以上の異数性の存在に関するレポートを、ユーザインターフェースを介してユーザに送信するステップ;
を含む。
【0026】
本発明の第3の態様によると、胚の画像における1つ以上の異数性の存在の推定値を得る方法が提供され、当該方法は:
画像における1つ以上の異数性の存在の推定値を生成するように構成されたクラウドベースの人工知能(AI)モデルに、体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を、ユーザインターフェースを介してアップロードするステップであり、AIモデルは、第1の態様の方法に従って作成されている、ステップ;
ユーザインターフェースを介して、胚の画像における1つ以上の異数性の存在の推定値を受信するステップ;
を含む。
【0027】
本発明の第4の態様によると、第1の態様の方法に従って構成された異数性スクリーニング人工知能(AI)モデルをコンピュータ計算で作成するように構成されたクラウドベースのコンピュータ計算システムが提供される。
【0028】
本発明の第5の態様によると、胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成するように構成されたクラウドベースのコンピュータ計算システムが提供され、当該コンピュータ計算システムは:
1つ以上のプロセッサと、胚の画像における1つ以上の異数性の存在の推定値を生成するように構成された異数性スクリーニング人工知能(AI)モデルを格納するように構成された1つ以上のメモリとを含む1つ以上のコンピュータ計算サーバを含み、異数性スクリーニング人工知能(AI)モデルは、第1の態様の方法に従って作成され、1つ以上のコンピュータ計算サーバは:
コンピュータ計算システムのユーザインターフェースを介してユーザから画像を受信する;
異数性スクリーニング人工知能(AI)モデルに画像を提供して、画像における1つ以上の異数性の存在の推定値を得る;及び、
画像における1つ以上の異数性の存在に関するレポートを、ユーザインターフェースを介してユーザに送信する;
ように構成されている。
【0029】
本発明の第6の態様によると、胚の画像における1つ以上の異数性の存在の推定値を生成するように構成されたコンピュータ計算システムが提供され、当該コンピュータ計算システムは:
少なくとも1つのプロセッサと、
体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を受信する;
請求項1乃至13のいずれか一項に記載の方法に従って作成された、胚の画像における1つ以上の異数性の存在の推定値を生成するように構成されたクラウドベースの人工知能(AI)モデルに、体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を、ユーザインターフェースを介してアップロードする;
ユーザインターフェースを介して、胚の画像における1つ以上の異数性の存在の推定値を受信する;及び、
ユーザインターフェースを介して、胚の画像における1つ以上の異数性の存在の推定値を表示する;
ように少なくとも1つのプロセッサを構成するための命令を含む少なくとも1つのメモリと、
を含む。
【図面の簡単な説明】
【0030】
本開示の実施形態が、添付の図面を参照して論じられる。
【
図1A】一実施形態による、異数性の存在について胚画像をスクリーニングするための異数性スクリーニング人工知能(AI)モデルをコンピュータ計算で作成する方法の流れ図である。
【
図1B】一実施形態による、訓練された異数性スクリーニングAIモデルを使用して、胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成する方法の流れ図である。
【
図2A】一実施形態による、バイナリモデルを訓練するステップの流れ図である。
【
図2B】一実施形態による、階層モデルを訓練するステップの流れ図である。
【
図2C】一実施形態による、多クラスモデルを訓練するステップの流れ図である。
【
図2D】一実施形態による、最良の染色体群AIモデルを選択するステップの流れ図である。
【
図3】一実施形態による、異数性スクリーニングAIモデルをコンピュータ計算で作成し且つ使用するように構成されたクラウドベースのコンピュータ計算システムの概略的なアーキテクチャ図である。
【
図4】一実施形態による、着床のための胚の選択を支援するために異数性スクリーニングAIモデルを使用したIVF法の概略図である。
【
図5A】一実施形態による、クラウドベースのコンピュータ計算システムを使用した異数性スクリーニングモデルの作成の概略的な流れ図である。
【
図5B】一実施形態による、訓練サーバ上のモデル訓練プロセスの概略的な流れ図である。
【
図5C】一実施形態による、訓練後の、入力画像を予測に変換する畳み込み層を含む、ディープラーニング法の概略的なアーキテクチャ図である。
【
図6A】一実施形態による、ブラインドテストセットにおける異数体21番染色体の胚を検出する21番染色体AIモデルの信頼性のプロットを示した図であり、ここで、低い信頼性の推定値は、左側の斜めのフォワードスラッシュで満たされた棒グラフで示され、高い信頼性の推定値は、右側の斜めのバックスラッシュで満たされた棒グラフで示されている。
【
図6B】一実施形態による、ブラインドテストセットにおける正倍数体生存可能胚を検出する21番染色体AIモデルの信頼性のプロットを示した図であり、ここで、低い信頼性の推定値は、左側の斜めのフォワードスラッシュで満たされた棒グラフで示され、高い信頼性の推定値は、右側の斜めのバックスラッシュで満たされた棒グラフで示されている。
【
図7A】一実施形態による、ブラインドテストセットにおける異数体16番染色体胚を検出する16番染色体AIモデルの信頼性のプロットを示した図であり、ここで、低い信頼性の推定値は、左側の斜めのフォワードスラッシュで満たされた棒グラフで示され、高い信頼性の推定値は、右側の斜めのバックスラッシュで満たされた棒グラフで示されている。
【
図7B】一実施形態による、ブラインドテストセットにおける正倍数体生存可能胚を検出する16番染色体AIモデルの信頼性のプロットを示した図であり、ここで、低い信頼性の推定値は、左側の斜めのフォワードスラッシュで満たされた棒グラフで示され、高い信頼性の推定値は、右側の斜めのバックスラッシュで満たされた棒グラフで示されている。
【
図8A】一実施形態による、ブラインドテストセットにおける染色体14、16、18、21、及び45,Xにおいて異数性を検出する染色体重篤群(14、16、18、21、及び45,X)AIモデルの信頼性のプロットを示した図であり、ここで、低い信頼性の推定値は、左側の斜めのフォワードスラッシュで満たされた棒グラフで示され、高い信頼性の推定値は、右側の斜めのバックスラッシュで満たされた棒グラフで示されている。
【
図8B】一実施形態による、ブラインドテストセットにおける正倍数体生存可能胚を検出する染色体重篤群(14、16、18、21、及び45,X)AIモデルの信頼性のプロットを示した図であり、ここで、低い信頼性の推定値は、左側の斜めのフォワードスラッシュで満たされた棒グラフで示され、高い信頼性の推定値は、右側の斜めのバックスラッシュで満たされた棒グラフで示されている。
【発明を実施するための形態】
【0031】
以下の記載において、同様の参照符号は、図全体を通して同様の又は対応する部分を示している。
【0032】
異数性(遺伝子変異)の存在/可能性について胚をスクリーニングする非侵襲的方法の実施形態が記載される。これらの異数性、すなわち遺伝子変異は、染色体の一部分若しくは染色体全体さえの改変、欠失、又はさらなるコピーをもたらす。多くの場合、これらの染色体異常は、胚の画像内の染色体の外観においてわずかな(時には明らかな)変化をもたらすことになる。当該方法の実施形態は、コンピュータビジョンに基づく人工知能(AI)/機械学習モデルを使用して、胚の位相差顕微鏡画像(又は類似の胚の画像)から抽出された形態学的データに完全に基づき異数性(すなわち、染色体異常)の存在を検出する。AIモデルは、コンピュータビジョン技術を使用して、様々な異数性の存在(又は非存在)の確率又は可能性を推定するために、胚画像におけるわずかな形態学的特徴を検出することが多い。次に、この推定値/情報を使用して、着床の決定又はどの胚を侵襲的PGT-A検査に対して選択するかの決定を支援することができる。
【0033】
このシステムは、非侵襲的(すなわち、ただ顕微鏡画像上で作業するもの)であり、クラウドベースのユーザインターフェースを使用して画像をアップロードすることによって画像の収集後数秒以内に分析を行うことができ、これは、クラウドベースのサーバ上で事前に訓練されたAIモデルを使用して画像を分析して、異数性(又は特定の異数性)の可能性の推定値を臨床医に迅速に戻すという利点を有している。
【0034】
図1Aは、異数性の存在について胚画像をスクリーニングするための異数性スクリーニング人工知能(AI)モデルをコンピュータ計算で作成する方法100の流れ図である。
図1Bは、訓練された異数性スクリーニングAIモデル(すなわち、
図1Aに従って作成されたもの)を使用して、胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成する方法110の流れ図である。
【0035】
22のタイプの非性(non-sex)染色体に対しては、考慮される染色体異常のタイプには:正常な染色体構造と比較して、完全な増加、完全な減少、欠失(染色体内での部分的欠失)、重複(染色体内での部分的重複)が含まれる。性染色体に対しては、考慮される異常のタイプには:正常なXX染色体又は正常なXY染色体と比較して、欠失(染色体内での部分的欠失)、重複(染色体内での部分的重複)、完全な減少「45,X」、3種類の完全な増加「47,XXX」、「47,XXY」、「47,XYY」が含まれる。
【0036】
胚は、胚内の異なる細胞が異なる染色体セットを有するモザイク現象を示すこともある。すなわち、胚は、1つ以上の正倍数体細胞及び1つ以上の異数体細胞を含んでもよい(すなわち、1つ以上の染色体異常を有する)。さらに、異なる異数性を有する異なる細胞では、多数の異数性が存在してもよい(例えば、1つの細胞は染色体1上に欠失を有してもよく、同時に、別の細胞は47,XXX等、Xの増加を有してもよい)。一部の極端な場合には、モザイク胚内の各細胞が異数性を示す(すなわち、正倍数体細胞は存在しない)。従って、AIモデルは、胚の1つ以上の細胞における異数性を検出するように訓練されてもよく、従って、モザイク現象の存在を検出することができる。
【0037】
AIモデルの出力は、異数性リスクスコア等、結果の可能性として、又は胚生存性スコアとして表すことができる。胚生存性及び異数性リスクは、相補的な用語であると理解されることになる。例えば、それらが確率である場合、胚生存性リスクと異数性リスクの合計は1であり得る。すなわち、いずれも流産又は重篤な遺伝性障害のリスク等の有害事象の可能性を測定する。従って、この結果を異数性リスク/胚生存性スコアと呼ぶことにする。また結果は、非常に低いリスク、低リスク、中リスク、高リスク、非常に高いリスク等、有害事象の特定のリスクカテゴリーにある可能性であってもよい。各リスクカテゴリーは、有害事象の確率が類似している少なくとも1つ、典型的にはより多くの特定の染色体異常の群を含んでもよい。例えば、非常に低いリスクは異数性が検出されないものであってもよく、低リスク群は染色体(1、3、10、12、及び19)において異数性/モザイク現象のものであってもよく、中リスク群は染色体4、5、及び47,XXYにおいて異数性/モザイク現象のものであってもよい。可能性は、既定のスケールに対するスコア、0から1.0までの確率、又は、厳格なバイナリ分類(異数性の有無)等の厳格な分類若しくはいくつかのグループ(低リスク、中リスク、高リスク、非常に高いリスク)の1つへの厳格な分類として表すことができる。
【0038】
ステップ101において、本発明者等は、複数の染色体群ラベルを定めている。各群は、異なる遺伝子変異又は染色体異常を含む1つ以上の異なる異数性を含む。異数性/遺伝子変異によって、胚に対する影響は異なり、異なる染色体異常につながる。染色体群ラベル内では、別のモザイク現象カテゴリーが定められてもよく、これは、存在する場合、低、中、又は高であってもよく、同じ胚が異なるタイプの染色体異常を示し得るということを示している。モザイク現象の重篤度(リスク)のレベルは、モザイク現象を示す細胞の数及び/又は存在する異数性のタイプも考慮に入れることができる。従って、染色体群ラベルは、影響を受けた染色体数だけでなく、(ある程度)モザイク現象が存在するかどうかも含み得る。これによって、胚の異数性の進行レベル又は遺伝的健全性をより詳細に記述することが可能になる。以下の表1において記載されているように、存在するモザイク現象の重篤度のレベルは、モザイク現象に関与する染色体の重篤度のレベル次第である。加えて、重篤度のレベルは、モザイク現象を示す細胞の数に関連してもよい。臨床的証拠に基づき、例えば、PGT-A検査及び妊娠の結果に基づき、有害事象のリスク及び重症度に基づいて異なる異数性/染色体異常をグループ化することが可能であり、従って、着床に対する優先順位(異数性リスク/胚生存性スコア)を与えることができる。表1は、非特許文献1からの100,000の妊娠での自然流産及び出生における染色体異常の数及びタイプを列挙している。
【0039】
【0040】
【表1-2】
表1、又は他の臨床研究から得られた類似のデータを使用して、リスクレベルに基づき異数性をグループ化することができる。最もリスクの高いものは、移植の優先順位が最も低いとみなされ、着床後の有害事象を回避するために特定する優先順位が最も高いとみなされる。例えば、自然流産の数が100,000の妊娠あたり100未満であることに基づき、染色体1、3、4、5、17、19、20、及び「47,XYY」で構成される第1の低リスク群を形成することができた。染色体2、及び6~12で構成される中リスク群を、自然流産の数が100,000の妊娠あたり200未満である(及び100を超える)ことに基づき定めることができる。染色体14、15、18、及び22で構成される高リスク群を、自然流産の数が100,000の妊娠あたり200を超えることに基づき定めることができる。染色体13、16、21、及び「45,X」、「47,XXY」、及び「47,XXX」で構成される最後の非常に高いリスク群を、自然流産の数が100,000の妊娠あたり1000を超えること、又は有害な健康への影響を伴う出生をもたらすことが知られていることに基づき定めることができる。他の分割も使用することができ、例えば、第1の群は、染色体1、3、10、12、19、及び20と、染色体4、5、及び「47,XYY」の第2のわずかに高いリスクグループに分けることができる。また、染色体は、完全な付加(トリソミー)、正常な対(ダイソミー)、及び完全な欠失(モノソミー)に基づき別々に分類することができる。例えば、第3染色体(ダイソミー)は、第3染色体(トリソミー)とは異なる群にあり得る。一般的に、トリソミー(完全な付加)は高リスクとみなされ、回避される。
【0041】
染色体群は、単一の染色体、又は、例えば類似のリスクプロファイル若しくはリスク閾値未満である染色体のサブセットを含んでもよい。染色体群は、胚における染色体のタイプ及び異数体細胞の数等、モザイク現象の特定のタイプ又はクラスを定めることができる。次に、これらの染色体は、その染色体に対する改変に関連する形態学的特徴を特定することになるAI/機械学習モデルの構築の焦点となる。一実施形態において、各画像は、着床の優先順位/リスクプロファイルに基づく、例えば、表1において列挙されたリスクに基づいた上記の概説したグループ分けに基づくクラスラベルを使用してラベルされる(例えば、「低リスク」群における胚画像には、クラスラベル1が与えられてもよく、「中リスク」群における胚画像には、クラスラベル2が与えられてもよい)。上記のグループ分けは単に例示的であり、他の実施形態では、他の臨床リスクプロファイル又は他の臨床データ又は危険因子を使用して、(異なる)染色体群を定め、染色体群ラベルを画像に与えることができるということに留意されたい。上述したように、胚はモザイク現象を示すことがあり、その場合、(モザイク)胚が、正倍数体(染色体的に正常な)細胞と異数体(過剰な/欠失した/改変した染色体の)細胞との混合物であるように、胚内の異なる細胞は異なる染色体セットを持っている。従って、リスク群は、モザイク現象の存在、並びに存在する異数性のタイプ及び数/広がりに基づき定められてもよい。一部の実施形態において、リスクは、(単一の細胞のみに存在する場合でさえも)胚に存在する最も重篤な異数性に基づいてもよい。他の実施形態では、低リスク異数性の閾値数を定めることができ、その後、異数性の存在量(すなわち、異数性の数が閾値を超えること)により、胚はより高いリスクとして再分類される。
【0042】
ステップ102において、本発明者等は、第1の画像セットから訓練データセット120を作成する。各画像は、体外受精後にキャプチャされた胚の画像を含み、1つ以上の染色体群ラベルでラベルされる。各ラベルは、それぞれの染色体群に関連する少なくとも1つの異数性が存在するかどうかを示す。訓練データセットは、染色体群の各々でラベルされた画像を含むように構成されるため、モデルは、検出されることになる染色体群の各々に曝される。さらに、個々の胚/画像が多数の異なる異数性を有し、従って、多数の染色体群でラベルされ、多数の染色体群に含まれるということに留意されたい。
【0043】
同様に、ステップ103において、本発明者等は、第2の画像セットからテストデータセット140を作成する。ここでも、各画像は、体外受精後に撮影された胚の画像を含み、1つ以上の染色体群ラベルでラベルされる。各ラベルは、それぞれの染色体群に関連する少なくとも1つの異数性が存在するかどうかを示す。訓練データセット120と同様に、テストデータセット140は、染色体群の各々でラベルされた画像を含む。
【0044】
訓練セット120及びテストセット140は、画像をラベルするために使用することができるPGT-Aの結果及び/又は(例えば、着床された胚に対する)妊娠の結果が入手可能な胚の画像を使用して作成することができる。典型的には、画像は体外受精(IVF)の3~5日後にキャプチャされた胚の位相差顕微鏡画像である。そのような画像は、発生学者がどの胚を着床のために選択するかを決定する際に支援するように、IVF法の間に日常的にキャプチャされる。しかし、他の照明条件又は倍率範囲の下で他の時間にキャプチャされた他の顕微鏡画像を使用することができるということが理解されることになる。一部の実施形態において、画像のタイムラプスシーケンスを、例えば、AIモデルによって分析される単一の画像に一連の画像を組み合わせる/連結することによって使用することができる。典型的には、利用可能な画像のプールは、画像の約90%を有する大きな訓練セットと、小さな(残りの10%の)ブラインドホールドアウトテストセットに分けられ、すなわち、テストデータセットは、モデルの訓練には使用されない。訓練セット120のうち10%等の小さい割合も、検証データセットに割り当てることができる。好ましくは、テストデータセット120における染色体群の各々の相対的割合は、(例えば、10%以内、好ましくは5%以内又はそれ以下等)訓練データセット140における染色体群の各々の相対的割合と類似している。
【0045】
ステップ104において、本発明者等は、全てのモデルを訓練するために同じ訓練データセット120を使用して、染色体群ごとに少なくとも1つの染色体群AIモデルを別々に訓練する。各染色体群AIモデルは、関連する染色体群ラベルでラベルされた画像における形態学的特徴を特定するように訓練される。追加的又は代替的に、少なくとも1つの多群AIモデルを、訓練データにおいて訓練することができる。各多群AIモデルは、関連する染色体群ラベルの各々でラベルされた画像における形態学的特徴を独立して特定し、入力画像において多群出力を作成して、染色体群の各々に関連する少なくとも1つの異数性が画像に存在するか又は存在しないかを示すように訓練される。
【0046】
ステップ105において、本発明者等は、次に、(ステップ104において作成されたものに応じて)テストデータセットを使用して、染色体群の各々に対する最良の染色体群AIモデル又は最良の多群AIモデルを選択する。一部の実施形態において、最終的に選択されたモデルは、さらなるアンサンブル又は知識蒸留モデルを作成するために使用されることになる。ステップ106において、本発明者等は、選択されたAIモデルを展開して、1つ以上の異数性の存在について胚画像をスクリーニングする。
【0047】
従って、広範囲の染色体欠失を検出/予測することができる異数性スクリーニングAIモデルを構築することに対するアプローチは、この問題を解消し、染色体欠失のサブセットに対する個々の標的にされたAIモデルを訓練し、次に、別々のAIモデルを組み合わせて、より広範囲の染色体欠失のセットを検出することである。上述のように、各染色体群は、互いに独立して扱われることになる。各胚(又は胚画像)が多数の染色体欠失を有してもよく、単一の画像が多数の染色体群に関連してもよい。すなわち、異なる細胞が異なる異数性を有するモザイク胚は、胚に存在する各異数性に対応する多数のグループラベルを有し得る。いずれの場合も、機械学習モデル(又はアンサンブル/蒸留モデル)が作成されるように、完全な訓練データセットが活用されることになる。これは、(機械学習モデルを作成できるようにデータセットの品質及び合計サイズによって制限されるように)関心のある染色体群ごとに複数回繰り返されるため、同じ訓練データセットから異なる染色体改変をカバーする多数のモデルを作成することができる。場合によっては、同じ「ベース」モデルから確立されたモデルは互いに非常に類似していてもよいが、最終層において別々の分類子が、考慮される各染色体に対応している。他の場合には、モデルは1つの染色体のみを個々に扱うことができ、アンサンブル法又は蒸留法を使用して共に組み合わされる。これらのシナリオは、最良のモデルの選択に関して以下において論じられる。
【0048】
一実施形態では、染色体群ごとに少なくとも1つの染色体群AIモデル103を別々に訓練するステップは、染色体群ごとに、バイナリモデル、階層(多層)モデル、又は単一の多群モデルのうち1つ以上を訓練し、次に、テストデータセットを使用して、その染色体群に対する最良のモデルを選択することを含む。これは、
図2A乃至2Dにおいてさらに例示され、以下において論じられる。
図2A、2B、及び2Cは、一実施形態による、バイナリモデル137、階層モデル138、及び多群モデル139を訓練するステップの流れ図を示している。
図2Dは、一実施形態による、テストデータセット140を使用して最良の染色体群AIモデル146を選択するステップの流れ図である。
【0049】
図2Aは、染色体群に対するバイナリモデルを訓練するステップ104aの流れ図である。訓練セット120内の画像は、「存在」のラベル(又は「Yes」若しくは1)等、i番目の染色体群にマッチするラベルでラベルされて、i番目の染色体群の画像121を作成する。次に、本発明者等は、訓練セット内の他の全ての画像を「非存在のラベル」(又は「No」若しくは0)でラベルして、他の全ての画像122のセットを作成する。次に、本発明者等は、バイナリモデル127が入力画像においてバイナリ出力を作成して、i番目の染色体群に関連する染色体異常が画像内に存在するか(又は存在しないか)を示すことになるように、存在及び非存在のラベルを使用して(すなわち、i番目の染色体群121及び他の全ての画像122において)バイナリモデル131を訓練する。存在のラベルは、典型的には、(例えば、モザイクの場合に)少なくとも1つの細胞における存在を示すことになるが、胚内の細胞の閾値数、又は全ての細胞における存在を示すこともできる。
【0050】
図2Bは、階層モデル(又は多層モデル)と呼ぶことになる、染色体群(i番目の染色体群121)に対する階層的シーケンスの層モデルを訓練するステップ104bの流れ図である。この実施形態において、これは、(以下において論じられるように、バイナリモデルの要件は、緩和され得るけれども)階層的シーケンスの層バイナリモデルを訓練することを含む。各層において、i番目の染色体群121に関連する画像には、第1のラベルが与えられ、訓練データセット120からの第2の画像セットに対して訓練され、第2の画像セットは、最大レベルの品質(品質群)に基づきグループ化される。各系列層において、訓練において使用される第2の画像セットは、前の層における第2のセットからの画像のサブセットであり、前の層における第2のセットの最大品質よりも低い品質を有している。すなわち、本発明者等は最初に、データセットを、i番目の染色体群とラベルされた(関連した)画像と、データセット内の残りの画像とに分割する。データセット内の残りの画像には、品質ラベルが与えられる。次に、各レベルにおいて、本発明者等は、現在のデータセットを、データセット内に残っている最高品質レベルに対応する第1の群と、残りの低品質の画像(すなわち、残りの画像群)に分割する。次のレベルにおいて、前の残りの群は、(残りの)データセット内の最高品質レベルに対応する第1の群と、(更新される残りの画像群になる)残りの低品質画像とにさらに分割される。これは、本発明者等が最低レベルに達するまで繰り返される。
【0051】
すなわち、第2の群(又は第2の分類)は、遺伝的完全性(モザイク現象を含む染色体欠失)及び生存性(患者に着床された場合、生存可能な胚が妊娠に至り、「良好」であるとみなされる)に基づく様々なレベルの品質の胚画像を含む。階層モデルアプローチの背後にある理論的根拠は、高品質とみなされる胚画像が、異常が最小で、画像において最高品質の形態学的特徴を有する可能性が高く(すなわち、「最良の胚のように見え」)、従って、染色体欠失を含む胚画像(すなわち、「不良に見える、又は異常な特徴を有するように見える」)と比較して、最大の形態学的相違/差異を有することになり、従って、AIアルゴリズムが、これら2つの(極端な)画像の分類間の形態学的特徴をより良く検出し、予測するのを可能にするということである。
【0052】
図2Bに示されている実施形態において、本発明者等は、訓練データセット120内の各画像に品質ラベルを割り当てており、品質ラベルのセットは、訓練データセット120を異なる品質サブセットに分割するために使用することができる品質ラベルの階層的セットを含んでいる。各画像は、単一の品質ラベルを有している。この実施形態において、それらは、「生存可能な正倍数体の胚」123、「正倍数体の生育不能な胚」125、「非重篤な異数体の胚」127、及び「重篤な異数体の胚」129を含む。他の実施形態において、それらは、非常に低いリスク、低リスク、中リスク、高リスク、若しくは非常に高いリスク、又は単に低リスク、中リスク、及び高リスク等、有害事象のリスクカテゴリーであり得る。次に、訓練データセットは、上記の概説のように、関心のあるi番目の染色体群と、残りの画像とに分割される。次に、本発明者等は、訓練セットを「生存可能な正倍数体の胚」のラベル123を有する第1の品質のデータセットと、他の全ての画像を含む別のデータセット124とに分割し、さらに、i番目の染色体群121でラベルされた画像及び第1の品質のデータセット123内の画像においてバイナリモデルを訓練することによって、最上層のバイナリモデル132を訓練する。次に、本発明者等は、1つ以上の、この場合は2つの中間層のバイナリモデル132 133を順次訓練し、ここで、各中間層において、次の品質レベルのデータセットが、他のデータセットにおいて最高品質のラベルを有する画像を選択することから作成され、バイナリモデルが、染色体群でラベルされた画像及び次の品質のデータセット内の画像において訓練される。このように、本発明者等は、最上層における他の低い品質の画像124から「正倍数体の生育不能な胚」125を選択し、i番目の染色体群121及び「正倍数体の生育不能な胚」125からの画像において第1の中間層モデル133を訓練する。残りの他の低い品質の画像126は、「非重篤な異数体の胚」127及び「重篤な異数体の胚」129を含む。次の中間層において、ここでも、次の品質レベルの画像、すなわち「非重篤な異数体の胚」127を抽出し、i番目の染色体群121及び「非重篤な異数体の胚」127からの画像において別の中間層モデル133を訓練する。残りの他の低い品質の画像128は、ここで、「重篤な異数体の胚」129を含む。次に、本発明者等は、i番目の染色体群121でラベルされた画像及び前の層からの他のデータセット内の画像、すなわち「重篤な異数体の胚」129の画像129においてバイナリ基層モデル135を訓練する。このステップの出力は、訓練された階層(バイナリ)モデル138であり、入力画像においてバイナリ出力を生成して、i番目の染色体群に関連する染色体異常が画像内に存在するか(又は存在しないか)を示す。層/品質ラベルの数を(例えば、5:(非常に低いリスク、低リスク、中リスク、高リスク、非常に高いリスク)から3(低リスク、中リスク、高リスク)まで)変えることによって、これを何度も繰り返して、比較/選択のための多数の異なるモデルを作成することができる。
【0053】
一部の実施形態では、第1の染色体群に対する第1のバイナリベースレベルモデルを訓練した後、次に、本発明者等は、各他の染色体群を訓練するために「重篤な異数体の胚」129の画像を再利用する。すなわち、階層モデルを訓練することは、第1のバイナリベースレベルモデルを訓練するために使用される他のデータセット(「重篤な異数体の胚」129)に対して他の染色体群を訓練することを含む。一部の実施形態において、本発明者等は、中間層をスキップし、単に、最上層モデル及び基層モデルを使用してもよい(この場合、基層は、多数の品質レベルを有する画像において訓練されるが、「生存可能な正倍数体の胚」123においては訓練されない)。
【0054】
上記の例において、モデルは、各ラベルが単に(ある確率で)存在/非存在である単一ラベルのモデルである。しかし、別の実施形態において、モデルは、各独立ラベルが多数の独立異数性クラスを含む多クラスモデルでもあり得る。例えば、群ラベルが「重篤」、「中程度」又は「軽度」である場合、ラベルは各々「減少」、「増加」、「重複」、「欠失」、「正常」等の異数性クラスを有することができる。群ラベルは独立しているため、ある1つの染色体群の異数性のタイプにおける信頼性は、別の染色体群の異数性におけるモデルの信頼性に影響を与えず、例えば、それらは、高い信頼性でも低い信頼性でもあり得るということに留意されたい。ラベル内の異なるクラスの確率が合計して1になる(例えば、同じ染色体において減少と増加の両方を有することができない)ように、ラベル内のクラスは相互に排他的である。従って、各群に対する出力は、バイナリ/yesの出力ではなく、各クラスに対する確率のリストである。さらに、ラベルは独立しているため、異なるラベル/染色体群は、異なるバイナリ/多クラスのクラスを有することができ、例えば、一部はバイナリ(正倍数体、異数体)であってもよく、他は多クラス(「減少」、「増加」、「重複」、「欠失」、「正常」)であってもよい。すなわち、モデルは、ラベル内の各異数性クラスの確率を推定するように訓練される。すなわち、mのクラスが存在する場合、出力は、mnのyes/no(存在/非存在、又は1/0の値)の(例えば、リスト又は類似のデータ構造における)結果のセット、クラスに対する確率、並びにラベルの全体的な確率である。
【0055】
別の実施形態において、階層的シーケンスの層モデルは、多クラスモデル及びバイナリモデルの混合であってもよく、又は、全てが多クラスモデルであってもよい。すなわち、上記の考察を参照して、本発明者等は、バイナリモデルのうち1つ以上(又は全て)を多クラスモデルに置き換えてもよく、品質ラベルに加えて染色体群のセットにおいて訓練することができる。この点において、完全な階層的シーケンスの層モデルは、訓練セットにおいて利用可能な全ての利用可能な群ラベルをカバーする。しかし、シーケンス内の各モデルは、1つ以上の染色体群のサブセットにおいてのみ訓練されてもよい。この様式で、トップレベルモデルを、大きなデータセットにおいて訓練し、データセットを1つ以上の予測される結果にトリアージすることができる。次に、シーケンスにおける後続のモデルが、結果のうち1つに関係するデータのサブセットにおいて訓練され、さらに、このセットをより細かいサブグループに分類する。このプロセスを複数回繰り返して、モデルのシーケンスを作成することができる。このプロセスを繰り返し、どのレベルがバイナリモデルを使用し、どのレベルが多クラスモデルを使用するかだけでなく、異なる品質ラベルの数も変更することによって、様々なモデルを訓練データセットの異なるサブセットにおいて訓練することができる。
【0056】
別の実施形態では、モデルを、多群モデル(単一又は多クラス)として訓練することができる。すなわち、nの染色体ラベル/群が存在する場合、各群に対してモデルを別々に訓練するのではなく、本発明者等は、データの単一のパススルーでnの群ラベルの各々を同時に推定する単一の多群モデルを訓練する。
図2Cは、染色体群(i番目の染色体群121)に対して単一の多群モデル136を訓練するステップ104cの流れ図である。次に、本発明者等は、多群モデル139を作成するために、染色体群120の各々及び他の全ての画像122に対して、(バイナリの場合には)存在のラベル及び非存在のラベルを使用して、訓練データ120において単一の多群モデル136を訓練する。入力画像と共に提示される場合、多群モデル139は、多群出力を生成して、染色体群の各々に関連する少なくとも1つの異数性が画像内に存在するか又は存在しないかを示す。すなわち、nの染色体群が存在する場合、出力は、nのyes/no(存在/非存在、又は1/0の値)の(例えば、リスト又は類似のデータ構造における)結果のセットである。多クラスの場合には、加えて、染色体群におけるクラスの各々に対する確率の推定値が存在する。特定のモデルのアーキテクチャ(例えば、畳み込み層及びプーリング層の構成等)は、上述した単一染色体群のモデルに対するものと類似しているが、特定の染色体群に対するバイナリ又は多クラスの分類ではなく、出力層は、染色体群ごとに独立した推定値を生成しなければならないため、最後の出力層において異なるということに留意されたい。出力層におけるこの変化は、最適化問題を効果的に変化させ、従って、上述した複数の単一染色体群モデルと比較して異なる性能/結果を与え、従って、モデル/結果においてさらなる多様性を与え、これは、最適な全体のAIモデルを見つけるのを支援し得る。加えて、多群モデルは、全ての染色体群を推定/分類する必要はなく、代わりに、本発明者等は、各々が染色体群の異なるサブセットを推定/分類するいくつかの(M>1)多群モデルを訓練することができた。例えば、nの染色体群が存在する場合、本発明者等は、Mの多群モデルを別々に訓練することができ、ここで、各モデルは、kの群を同時に推定し、M、k、及びnは、n=M.kとなるような整数である。しかし、各多群モデルは、同じ数の染色体群を推定/分類する必要はなく、例えば、本発明者等が、Mの多群モデルを訓練し且つ各多群モデルがk
mの染色体群を共に分類する場合、
【0057】
【0058】
別の実施形態では、多群モデルを、
図2Bに例示されている階層モデルのアプローチにおいて使用することもできる。すなわち、(例えば、nの染色体群に対するnの階層モデル等)染色体群ごとに階層モデルを別々に訓練する代わりに、本発明者等は、階層的アプローチを使用して全ての染色体群に対して単一の多群モデルを訓練することができ、ここで、データセットは、データセットに残る画像の品質レベルに基づき連続的に分割される(さらに、本発明者等は、各層において新しい多群モデルを訓練する)。加えて、本発明者等は、階層的アプローチを使用していくつかの(M>1)多群モデルを訓練することができ、ここで、多群モデルの各々は、全ての群がMの多群モデルの1つによって分類されるように、染色体群の異なるサブセットを分類する。さらに、多群モデルの各々は、バイナリモデル又は多クラスモデルであってもよい。
【0059】
図2Dは、i番目の染色体群に対する最良の染色体群AIモデル又は最良の多群モデルを選択するステップ105の流れ図である。テストデータセットは、モデルを訓練するために選択された正倍数体及び異数体のカテゴリーの全てにわたる画像を有している。本発明者等は、テストデータセット140を得て、
図2A乃至2Dからのバイナリモデル137、階層モデル128、及び多群モデル139の各々に対する入力として(未ラベルの)画像を提供する。本発明者等は、バイナリモデルのテスト結果141、階層モデルのテスト結果142、及び多群モデルのテスト結果143を得て、i番目の染色体群ラベル145を使用してモデル結果144を比較した。次に、例えば1つ以上の指標を計算し、指標のうち1つ以上を使用してモデルを互いに比較することに基づき、選択基準を使用して最良性能のモデル146が選択される。指標は:全体正解率、平均正解率、F1スコア、平均クラス正解率、適合率、再現率、Log Loss、又は以下に記載されるもの(例えば、式(7))等、カスタム信頼性若しくは損失指標等の一般的に受け入れられている性能指標のリストから選ばれてもよい(が、これに限定されない)。検証画像のセットにおけるモデルの性能は、指標に関して測定され、次に、それに応じて最良性能のモデルが選択される。これらのモデルは、さらに、二次指標でソートされ、このプロセスは、最終モデル又は(必要に応じて、アンサンブルモデルを作成するための)モデルの選択が得られるまで、複数回繰り返されてもよい。
【0060】
最良性能のモデルは、アンサンブル又は知識蒸留法を使用してさらに精緻化することができる。一実施形態では、各染色体群に対するアンサンブルモデルを、複数の最終モデルを訓練することによって作成することができ、ここで、複数の最終モデルの各々は、それぞれの群(又は、多群モデルが選択された場合は複数の群)に対する最良の染色体群AIモデルに基づいており、さらに、複数の最終モデルの各々は、異なる初期条件及び画像順序付けのセットを有する訓練データセットにおいて訓練される。最終アンサンブルモデルは、アンサンブル多数決戦略に従って複数の訓練された最終モデルを組み合わせることによって、上記のリストからの1つ以上の指標に対するそれらの性能に従って、対照的又は相補的な挙動を示すモデルを組み合わせることによって得られる。
【0061】
一実施形態では、各染色体群に対する蒸留モデルが作成される。これは、複数の教師モデルを訓練することを含み、複数の教師モデルの各々は、それぞれの群(又は、多群モデルが選択された場合は複数の群)に対する最良の染色体群AIモデルに基づいており、さらに、複数の教師モデルの各々は、異なる初期条件及び画像順序付けのセットを有する訓練データセットの少なくとも一部において訓練される。次に、本発明者等は、蒸留損失関数を使用して、訓練データセットにおいて、複数の訓練された教師モデルを使用して生徒モデルを訓練する。
【0062】
これを、染色体群の各々に対して繰り返して、総合的な異数性スクリーニングAIモデル150が作成される。異数性スクリーニングAIモデル150が訓練されると、コンピュータ計算システムにおいて展開して、リアルタイム(又はほぼリアルタイム)のスクリーニング結果を提供することができる。
図1Bは、一実施形態による、訓練された異数性スクリーニングAIモデルを使用して、胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成する方法110の流れ図である。
【0063】
ステップ111において、本発明者等は、コンピュータ計算システムにおいて、上記の方法100に従って異数性スクリーニングAIモデル150を作成する。ステップ112において、本発明者等は、コンピュータ計算システムのユーザインターフェースを介してユーザから、体外受精後にキャプチャされた胚を含有する画像を受信する。ステップ113において、本発明者等は、画像を異数性スクリーニングAIモデル150に提供して、画像における1つ以上の異数性の存在の推定値を得る。次に、ステップ114において、本発明者等は、画像内の1つ以上の異数性の存在に関するレポートを、ユーザインターフェースを介してユーザに送信する。
【0064】
訓練方法100に従って構成された異数性スクリーニング人工知能(AI)モデル150をコンピュータ計算で作成し、さらに、胚の画像における1つ以上の異数性の存在(モザイク現象の場合は少なくとも1つの細胞、又は胚の全細胞における存在を含む)を推定する(方法110)ように構成された関連するクラウドベースのコンピュータ計算システムも提供することができる。これは、
図3、4、5A、及び5Bにおいてさらに例示されている。
【0065】
図3は、異数性スクリーニングAIモデル150をコンピュータ計算で作成し、次に、このモデルを使用して、受信した胚の画像における1つ以上の異数性の存在の推定値を有するレポートを作成するように構成されたクラウドベースのコンピュータ計算システム1の概略的なアーキテクチャ図である。入力10は、ラベル(分類)を生成するために使用され得る、胚の画像及び結果情報(1つ以上の異数性の存在、出生若しくは未出生、又は成功した着床)等のデータを含む。これは、入力画像を分析するために異数性スクリーニングAIモデルを作成するように組み合わされるコンピュータビジョンモデル及びディープラーニングモデルを作成するモデル作成プロセス20への入力として提供される。これはまた、異数性スクリーニング人工知能(AI)モデル又は異数性スクリーニングAIモデルと呼ばれてもよい。モデルモニタと呼ばれるクラウドベースのモデル管理及びモニタリングツール21が、AIモデルを作成(又は生成)するために使用される。これは、画像分析に特有であるモデルの訓練、ロギング、及びトラッキング及びそのモデルを管理するAmazon Web Services(AWS)等の一連のリンクされたサービスを使用する。他のクラウドプラットフォーム上の他の類似のサービスが使用されてもよい。これらは、ディープラーニング法22、コンピュータビジョン法23、分類法24、統計法25、及び物理学に基づくモデル26を使用することができる。モデル作成は、例えば、コンピュータビジョンモデルにおいてどのような特徴を抽出し、使用するかについてのもの等、発生学者、コンピュータ科学者、科学/技術文献等からのもの等、入力としてドメイン専門知識12を使用することもできる。モデル作成プロセスの出力は、異数性スクリーニングAIモデルの一例であり、この実施形態においては、検証された異数性スクリーニング(又は胚評価)AIモデル150である。他の異数性スクリーニングAIモデル150を、関連する結果データを有する他の画像データを使用して作成することができる。
【0066】
クラウドベースのデリバリープラットフォーム30が使用され、ユーザ40のためにシステムにユーザインターフェース42が提供される。これは、
図4を参照してさらに例示され、
図4は、一実施形態による、着床のための胚の選択、又は、どの胚を拒否するか、若しくはどの胚に侵襲的なPGDテストを受けさせるかの選択を支援するために、異数性スクリーニングAIモデル150を使用するIVF法200の概略図である。0日目に、回収した卵子が受精させられる(202)。これらは、次に、数日間in vitroで培養され、次に、例えば位相差顕微鏡を使用して胚の画像がキャプチャされる(204)。好ましくは、モデルは、同じ日又は特定のエポックを参照した特定の時間窓の間にキャプチャされた胚の画像において訓練及び使用される。一実施形態において、時間は24時間であるが、12時間、36時間、又は48時間等の他の時間窓を使用することもできる。さらなる外観の類似性を確実にするためには、一般的に24時間以下の短い時間窓が好ましい。一実施形態において、これは、その日の始まり(0:00)から始まってその日の終わり(23:39)までの24時間の窓である特定の日、又は4又は5日目(4日目の始まりから始まる48時間の窓)等の特定の日であり得る。或いは、時間窓は、5日目を中心とした24時間(すなわち、4.5日目から5.5日目)等、窓サイズ及びエポックを定めることができる。時間窓は、少なくとも5日間等、下限を有して変更可能であり得る。上述したように、5日目あたりの24時間の時間窓からの胚の画像を使用することが好ましいけれども、3日目又は4日目の画像を含むそれよりも早い段階の胚を使用することができるということが理解されたい。
【0067】
典型的には、いくつかの卵子が同時に受精させられることになり、従って、どの胚が着床させるのに最良であるか(すなわち、最も生存可能であるか)を考慮する(どの胚を、重大な欠陥の高いリスクのために排除するべきであるかを特定することを含み得る)ために、多数の画像が得られることになる。ユーザは、例えば「ドラッグアンドドロップ」機能を使用して、ユーザインターフェース42を介して、キャプチャされた画像をプラットフォーム30にアップロードする。ユーザは、例えば、多数の胚のセットからどの胚が着床に対して(又は拒否するよう)考慮されるかの選択を支援するために、単一の画像又は多数の画像をアップロードすることができる。プラットフォーム30は、画像リポジトリを含むデータベース36に格納される1つ以上の画像を受信する(312)。クラウドベースのデリバリープラットフォームは、画像前処理(例えば、物体検出、セグメンテーション、パディング、正規化、クロップ、中央寄せ等)を行い、次に、処理された画像を、オンデマンドのクラウドサーバ32のうち1つで実行され、画像を分析して、異数性リスク/胚生存性スコアを生成する(314)訓練されたAI(異数性スクリーニング)モデル150に提供するように構成されたオンデマンドのクラウドサーバ32を含む。例えば、1つ以上の異数性の存在の可能性、又はバイナリコール(使用する/使用しない)、又はモデルから得られた他の情報等、モデルの結果のレポートが生成され(316)、これは、ユーザインターフェース42を介して等、ユーザ40に送信されるか、又は他の方法で提供される。ユーザ(例えば、発生学者等)は、ユーザインターフェースを介して異数性リスク/胚生存性スコア及びレポートを受け取り、次に、そのレポート(可能性)を使用して、その胚を着床させるかどうか、又は着床させるのにセット内のどれが最良の胚であるかの決定を支援することができる。次に、選択された胚は着床させられる(205)。AIモデルのさらなる改良を支援するために、着床後(通常は受精後6~10週頃)の最初の超音波スキャンにおける心拍の検出(又は不検出)等の妊娠結果データ、又は、PGT-Aテストからの異数性の結果をシステムに提供することができる。これは、さらなるデータが利用可能になったときに、AIモデルが再訓練及び更新されるのを可能にする。
【0068】
画像は、既存のIVFクリニックで見られるもの等、様々なイメージングシステムを使用してキャプチャされてもよい。これは、IVFクリニックが新しいイメージングシステムを購入する又は特定のイメージングシステムを使用する必要がないという利点を有する。イメージングシステムは、典型的には、胚の単相コントラスト画像をキャプチャするように構成された光学顕微鏡である。しかし、他のイメージングシステム、特に、様々なイメージングセンサ及び画像キャプチャ技術を使用する光学顕微鏡システムを使用することができるということが理解されることになる。これらには、位相差顕微鏡、偏光顕微鏡、微分干渉(DIC)顕微鏡、暗視野顕微鏡、及び明視野顕微鏡が含まれてもよい。画像は、カメラ又は画像センサを備え付けた従来の光学顕微鏡を使用してキャプチャされてもよく、又は、画像は、スマートフォンシステムを含む、高解像度又は高倍率の画像を撮影することができる一体型光学系を有するカメラによってキャプチャされてもよい。画像センサは、CMOSセンサチップ又は電荷結合素子(CCD)であってもよく、各々が関連する電子機器を有する。光学系は、特定の波長を収集するか、又は特定の波長を収集(又は排除)するためのバンドパスフィルタを含むフィルタを使用するように構成されてもよい。一部の画像センサは、特定の波長の光、又は赤外線(IR)若しくは近赤外線を含む光学範囲を超える波長の光に対して動作又は感受性を有するように構成されてもよい。一部の実施形態において、イメージングセンサは、多数の異なる波長範囲で画像を収集するマルチスペクトルカメラである。照明システムはまた、特定の波長、特定の波長バンド、又は特定の強度の光で胚を照射するために使用されてもよい。ストップ及び他の構成要素が、画像の特定の部分(又は画像平面)への照明を制限又は修正するために使用されてもよい。
【0069】
さらに、本明細書において記載される実施形態で使用される画像は、ビデオ及びタイムラプスイメージングシステムから供給されてもよい。ビデオストリームは、画像フレーム間の間隔がキャプチャフレームレート(例えば、1秒あたり24又は48フレーム等)によって定められる周期的な画像フレームのシーケンスである。同様に、タイムラプスシステムは、非常に遅いフレームレート(例えば、1時間あたり1枚の画像)で画像のシーケンスをキャプチャして、胚が成長するに従い(受精後の)画像のシーケンスを得る。従って、本明細書において記載される実施形態で使用される画像は、胚の画像のビデオストリーム又はタイムラプスシーケンスから抽出された単一の画像であってもよいことが理解されることになる。画像がビデオストリーム又はタイムラプスシーケンスから抽出される場合、使用することになる画像は、受精後5.0日又は5.5日等の基準時点に最も近いキャプチャ時間を有する画像として選択されてもよい。
【0070】
一部の実施形態において、前処理は、画像が画質評価事項を満たさない場合にその画像が排除され得るように、画質評価を含んでもよい。元の画像が画質評価事項を満たさない場合に、さらなる画像をキャプチャすることができる。画像がビデオストリーム又はタイムラプスシーケンスから選択される実施形態において、選択された画像は、基準時間に最も近い画質評価を通過する最初の画像である。或いは、基準時間窓を、画質基準と共に(例えば、5.0日目の始まりから30分後等と)定めることができる。この実施形態において、選択される画像は、基準時間窓の間に最も高い画質を有する選択された画像である。画質評価を行う際に使用される画質基準は、ピクセルの色の分布、輝度範囲、及び/又は低い画質若しくは装置故障を示す異常な画像特性又は特徴に基づいてもよい。閾値が、基準の画像セットを分析することによって決定されてもよい。これは、手動の評価、又は分布から外れ値を抽出する自動システムに基づき得る。
【0071】
異数性スクリーニングAIモデル150の作成は、
図5Aを参照してさらに理解することができ、
図5Aは、一実施形態による、画像における(モザイク現象を含む)異数性の存在を推定するように構成されたAIモデル100を作成及び使用するように構成されたクラウドベースのコンピュータ計算システム1を使用した異数性スクリーニングAIモデル150の作成の概略的な流れ図である。
図5Bを参照すると、この作成方法は、モデルモニタ21によって扱われる。
【0072】
モデルモニタ21は、ユーザ40が画像データ及びメタデータ14を、データリポジトリを含むデータ管理プラットフォームに提供するのを可能にする。データ準備ステップは、例えば、画像を特定のフォルダに移動させるため、及び、画像の名前を変更し、画像に対して、物体検出、セグメンテーション、アルファチャンネル削除、パディング、クロッピング/局在化、正規化、スケーリング等の前処理を行うために行われる。特徴記述子を計算し、拡張した画像を予め生成することもできる。しかし、拡張を含むさらなる前処理を、訓練中に(すなわち、オンザフライで)行うこともできる。明らかに劣った画像の拒絶を可能にし、さらに、置き換え画像のキャプチャを可能にするために、画像は画質評価を受けることもできる。同様に、患者記録又は他の臨床データを、(例えば、生存可能又は生育不能、異数性の存在及びタイプ等の)追加の生存性分類に対して処理(準備)して、これは、機械学習及びディープラーニングモデルの訓練における使用を可能にするために、各画像にリンク又は関連付けられる。準備したデータは、最新バージョンの訓練アルゴリズムと共に、クラウドプロバイダ(例えばAWS等)のテンプレートサーバ28にロードされる(16)。テンプレートサーバは保存され、訓練サーバ35を形成する(CPU、GPU、ASIC、FPGA、又はTPU(テンソルプロセッシングユニット)ベースであってもよい)様々な訓練サーバクラスタ37にわたって多数のコピーが作成される。
【0073】
モデルモニタのウェブサーバ31は、次に、ユーザ40によってジョブが提出されるごとに、複数のクラウドベースの訓練サーバ35からの訓練サーバ37に適用される。各訓練サーバ35は、Pytorch、Tensorflow、又は同等物等のライブラリを使用して、AIモデルを訓練するために(テンプレートサーバ28からの)予め準備されたコードを実行し、さらに、OpenCV等のコンピュータビジョンライブラリを使用してもよい。PyTorch及びOpenCVは、CV機械学習モデルを構築するための低レベルコマンドを有するオープンソースライブラリである。
【0074】
訓練サーバ37は、訓練プロセスを管理する。これは、例えば、無作為割当プロセスを使用して、画像を訓練セット、検証セット、及びブラインド検証セットに分割することを含んでもよい。さらに、訓練検証サイクルの間に、訓練サーバ37は、サイクルごとに異なる画像のサブセットが分析されるか又は異なる順序で分析されるように、サイクルの開始時に画像のセットを無作為化することもできる。前処理が以前に行われなかったか、又は(例えば、データ管理の間に)不完全であった場合、物体検出、セグメンテーション、及びマスクされたデータセット(例えばIZCだけの画像等)の生成、CV特徴記述子の計算/推定、及びデータ拡張の生成を含むさらなる前処理が行われてもよい。前処理はまた、必要に応じて、パディング、正規化等を含んでもよい。すなわち、前処理ステップ102が、訓練に先立ち、訓練中、又は何らかの組み合わせで(すなわち、分散された前処理で)行われてもよい。実行されている訓練サーバ35の数は、ブラウザインターフェースから管理することができる。訓練が進行するに従い、訓練の状態に関するロギング情報が、クラウドウォッチ60等の分散されたロギングサービスに記録される(62)。鍵となる患者情報及び精度情報もログから解析され、関係データベース36に保存される。モデルも、(例えば、エラー又は他の停止の場合に再始動するために)後日検索及びロードすることができるように、データストレージ(例えば、AWS Simple Storage Service(S3)又は類似のクラウドストレージサービス)50に定期的に保存される(51)。訓練サーバのジョブが完了した場合又はエラーに遭遇した場合に、訓練サーバのステータスに関する電子メール更新がユーザ40に送信される(44)。
【0075】
各訓練クラスタ37内では、多数のプロセスが行われる。クラスタがウェブサーバ31を介して開始されると、スクリプトが自動的に実行され、これは、準備された画像及び患者記録を読み取り、要求された特定のPytorch/OpenCV訓練コードを開始する(71)。モデル訓練に対する入力パラメータ28が、ブラウザインターフェース42を介して又は構成スクリプトを介してユーザ40によって供給される。次に、訓練プロセス72は、要求されたモデルパラメータに対して開始され、長くて集中的なタスクであり得る。従って、訓練の進行中に進行を失わないように、ログが、ロギング(例えばAWSクラウドウォッチ)サービス60に定期的に保存され(62)、モデルの現在のバージョンは(訓練されながら)、後の検索及び使用のためにデータ(例えばS3)ストレージサービスに保存される(51)。訓練サーバ上のモデル訓練プロセスの概略的な流れ図の一実施形態が
図5Bにおいて示されている。データ記憶サービス上の様々な訓練されたAIモデルが入手可能で、例えば、アンサンブル、蒸留、又は類似のアプローチを使用して多数のモデルを組み合わせて、様々なディープラーニングモデル(例えば、PyTorch等)及び/又は目標とされたコンピュータビジョンモデル(例えば、OpenCV等)を組み込んで、クラウドベースのデリバリープラットフォーム30に提供されるよりロバストな異数性スクリーニングAIモデル100を作成することができる。
【0076】
次に、クラウドベースのデリバリープラットフォーム(又はシステム)30は、ユーザ10がウェブアプリケーション34に直接画像をドラッグアンドドロップするのを可能にし、ウェブアプリケーション34は、画像を準備し、生存性スコア(又は異数性リスク)を得るために訓練された/検証された異数性スクリーニングAIモデル30に画像を渡し、(
図4において例示されているように)生存性スコア(又は異数性リスク)は直ちにレポートに戻される。ウェブアプリケーション34は、クリニックが画像及び患者情報等のデータをデータベース36に格納し、データに関する種々のレポートを作成し、それらの組織、グループ、又は特定のユーザのためのツールの使用だけでなく、請求書及びユーザアカウント(例えば、ユーザを作成する、ユーザを削除する、パスワードをリセットする、アクセスレベルを変更する等)に関する監査報告を作成することも可能にする。クラウドベースのデリバリープラットフォーム30は、製品管理者がシステムにアクセスして、新しい顧客アカウント及びユーザを作成し、パスワードをリセットするだけでなく、(データ及び画面を含む)顧客/ユーザアカウントにアクセスして、技術サポートを容易にするのも可能にする。
【0077】
画像から異数性リスク/胚生存性スコアを推定するように構成されたAIモデルの実施形態の作成における様々なステップ及びバリエーションが、次に、さらに詳細に論じられる。
図3を参照すると、モデルは、訓練され、受精後5日目(すなわち、5日目:00:00から5日目:23:59までの24時間)にキャプチャされた画像を使用している。しかし、上述のように、12時間等のより短い時間窓、48時間のより長い時間窓、又は0の時間窓(すなわちオープンエンド)さえも使用して、効果的なモデルを依然として開発することができる。さらなる画像を、1、2、3、若しくは4日目、又は少なくとも3日目若しくは少なくとも5日目等の受精後の最短時間(例えば、オープンエンドの時間窓)等、他の日に得ることができる。しかし、AIモデルの訓練のために使用される画像、及び訓練されたAIモデルによるその後の分類に使用される画像が、類似の、好ましくは同じ時間窓(例えば、同じ12、24、又は48時間の時間窓)の間に撮影されることが一般的には好ましい(が、必ずしも必要というわけではない)。
【0078】
分析に先立ち、各画像は前処理(画像準備)手順を受ける。様々な前処理ステップ又は技術が適用されてもよい。これらは、データ記憶装置14に追加した後に、又は訓練サーバ37による訓練中に行われてもよい。一部の実施形態において、胚に対する画像の位置を検出及び特定するために物体検出(局在化)モジュールが使用される。物体検出/局在化は、胚を含有するバウンディングボックスを推定することを含む。これは、画像のクロッピング及び/又はセグメンテーションのために使用することができる。また画像には、所与の境界でパディングが行われてもよく、次に、カラーバランス及び輝度が正規化される。画像は、次に、胚の外側の領域が画像の境界に近くなるようにクロップされる。これは、AI物体検出モデルの使用を含む、境界選択のためのコンピュータビジョン技術を使用して達成される。
【0079】
画像セグメンテーションは、透明帯内空洞(IZC)、胚内の個々の細胞(すなわち、モザイク現象を特定するのを支援するための細胞境界)、又は透明帯等の他の領域等、着目されることになるモデル訓練に関連する領域を選ぶために、特定のモデルに対する画像を準備するのに有用なコンピュータビジョン技術である。上記の概説のように、モザイク現象は、胚における異なる細胞が異なる染色体のセットを持つ場合に発生する。すなわち、モザイク胚は、正倍数体(染色体的に正常の)細胞及び異数体(過剰な/欠失した/改変した染色体の)細胞の混合物であり、多数の異なる異数性が存在してもよく、場合によっては、正倍数体細胞は存在しなくてもよい。セグメンテーションを使用して、IZC又は細胞境界を特定し、従って、胚を個々の細胞にセグメント化することができる。一部の実施形態において、多数のマスクされた(拡張された)胚の画像が生成され、各画像は、単一細胞を除いてマスクされる。画像はまた、IZCのみの画像を生成する、従って、透明帯及び背景を排除するためにマスクされてもよく、又は、これらは、画像内に残ってもよい。次に、例えば、IZCのみを有するようにマスクされたIZC画像、又は胚における個々の細胞を特定するようにマスクされた画像等、マスクされた画像を使用して異数性AIモデルが訓練されてもよい。スケーリングは、訓練されている特定のモデルに合うように、既定のスケールに画像を再スケーリングすることを含む。拡張は、胚用ディッシュの方向を制御するために、画像の回転等、画像のコピーへの少しの変更を組み込むことを含む。ディープラーニングに先立つセグメンテーションの使用は、ディープラーニング法の性能に有意な影響を及ぼすことが分かった。同様に、拡張は、ロバストなモデルを作成するために重要であった。
【0080】
例えば、画像が標準化されることを確実にするために等、様々な画像前処理技術を使用して、分析のために胚画像を準備することができる。例として:
アルファチャンネルストリッピングであって、例えば透明マップを除去するために、アルファチャンネルの画像を(存在する場合に)ストリップして、3チャンネルフォーマット(例えば、RGB等)でコードされることを確実にすることを含む、アルファチャンネルストリッピング;
セグメンテーション、クロッピング、又は境界発見に先立ち、スクエアアスペクト比を生成するために、パディング境界線で各画像にパディング/ボルスタリングを行うことであって、このプロセスは、画像寸法に一貫性があり、比較可能であり、且つ、典型的には入力として正方形の画像を必要とするディープラーニング法に適合性があることを確実にする一方、画像の主要な構成要素がクロップされないことも確実にすること;
画像全てに対する固定平均値にRGB(赤-緑-青)又はグレースケール画像を正規化することであって、例えば、これは、各RGBチャンネルの平均をとり、各チャンネルをその平均値で割ることを含み、次に、RGB空間における各画像の平均値が(100,100,100)であることを確実にするために、各チャンネルに100/255の固定値を掛け、このステップによって、画像間のカラーバイアスが抑制されること、及び各画像の輝度が正規化されることが確実になること;
バイナリ法、大津法、又は適応法を使用した画像のしきい値処理であって、膨張(オープニング)、収縮(クロージング)、スケール勾配を使用した、及び、形状の外側及び内側の境界を抽出するためにスケールマスクを使用した画像のモルフォロジー処理を含む、しきい値処理;
画像の物体検出/クロッピングを行って、胚に対する画像の位置を特定し、画像の端の周囲にアーチファクトがないことを確実にすることであって、これは、画像が十分に中央に寄せられ且つ胚をクロップするように、胚(IZC又は透明帯)等、画像の主な特徴を有するバウンディングボックスを推定するように訓練された(以下に論じられる)物体検出モデルを使用する物体検出器を使用して行われてもよいこと;
例えば、画像の二値化しきい値マップ上で計算された楕円ハフ変換からの最良の楕円当てはめ等、画像輪郭の楕円ハフ変換を使用して境界の幾何学的特性を抽出することであって、この方法は、画像内の胚の硬境界を選択することによって、並びに、新しい楕円の最長半径が新しい画像の幅及び高さによって包含されるように、及び、楕円の中心が新しい画像の中心であるように、新しい画像の正方形境界をクロップすることによって作用すること;
楕円領域の周囲に一貫した境界サイズを有する一貫して中心を持つ画像を確実にすることによって画像をズームすること;
画像をセグメントに分けて細胞質の透明帯内空洞(IZC)領域、透明帯領域、及び/又は細胞境界を特定することであって、セグメンテーションは、所与の領域内で幾何学的動的輪郭(GAC)モデル又はモルフォロジカルスネークを使用して非楕円画像の周囲の最良当てはめ輪郭を計算することによって行われてもよく、スネークの内側及び他の領域は、胚盤胞を有し得る細胞質の透明帯内空洞(IZC)又は胚盤胞内の細胞上の訓練されたモデルの着目点に応じて異なって処理することができ、或いは、画像内のピクセルごとにクラスを特定するセマンティックセグメンテーションモデルが訓練されてもよく、例えば、セマンティックセグメンテーションモデルを、背景、透明帯、及びIZCをセグメントに分ける又はIZC内の細胞をセグメントに分けるために事前学習されたResNet-50エンコーダを有するU-Netアーキテクチャを使用して展開させ、バイナリ交差エントロピー損失関数を使用してこのモデルを訓練したこと;
特徴記述子を選択することによって画像に注釈を付け、記述子のキーポイントの所与の半径内のものを除いて、画像の全ての領域をマスクすること;
指定された解像度に画像のセット全体をリサイズ/スケール調整すること;
視覚的に表示可能な画像ではなくテンソルに各画像を変換することを含むテンソル変換であって、これは、このデータフォーマットが、ディープラーニングモデルによってより使用可能であるためであり、一実施形態において、テンソル正規化は、例えば平均(0.485,0.456,0.406)及び標準偏差(0.299,0.224,0.225)で、標準的な事前学習されたImageNet値から得られる、テンソル変換;
が挙げられる。
【0081】
別の実施形態において、物体検出器は、胚を有するバウンディングボックスを推定するように訓練された物体検出モデルを使用する。物体検出の目標は、その物体に関連するピクセルの全てを有する最も大きなバウンディングボックスを特定することである。これは、モデルが、物体の位置及びカテゴリー/ラベル(すなわち、ボックス内に何があるか)の両方をモデル化することを必要とし、従って、検出モデルは、典型的には、物体分類器ヘッド及びバウンディングボックス回帰ヘッドの両方を有する。
【0082】
1つのアプローチは、高価な探索プロセスを使用する領域ベースの畳み込みニューラルネットワーク(又はR‐CNN)が適用されて、画像パッチ提案(潜在的なバウンディングボックス)を探索することである。次に、これらのバウンディングボックスを使用して、関心のある画像の領域がクロップされる。次に、クロップされた画像には、画像領域の内容を分類するために分類モデルが実行される。このプロセスは、複雑であり、計算コストが高い。代替案は、画像パッチ提案の探索ではなく、特徴領域を提案したCNNを使用するFast CNNである。このモデルは、CNNを使用して、典型的には100から2000の間に設定された固定数の候補ボックスを推定する。さらに速い代替のアプローチは、アンカーボックスを使用して必要なボックスの探索スペースを制限するFaster RCNNである。デフォルトによって、(各々が異なるサイズの)9つのアンカーボックスの標準セットが使用される。Faster RCNN。これは、関心のある特徴領域を予測するように併せて学習する小さなネットワークを使用し、これは、高価な領域探索を置き換えることができるため、R-CNN又はFast CNNと比較してランタイムを速めることができる。
【0083】
後ろからくる全ての特徴活性化に対して、1つのモデルが、アンカーポイント(以下の画像では赤)とみなされる。全てのアンカーポイントに対して、9(又は問題に応じてそれ以上、それ以下)のアンカーボックスが生成される。アンカーボックスは、訓練データセット内の共通の物体サイズに対応する。多数のアンカーボックスを有する多数のアンカーポイントが存在するため、これは、数万の領域提案をもたらす。次に、提案には、非最大抑制(Non-Maximal Suppression(NMS))と呼ばれるプロセスを介してフィルタがかけられ、これによって、確信的なより小さなボックスをその中に有する最も大きなボックスが選択される。これは、物体ごとに1つのボックスのみ存在することを確実にする。NMSは各バウンディングボックス予測の信頼性に依存するため、いつ物体を同じオブジェクトインスタンスの一部とみなすかに対して閾値を設定しなければならない。アンカーボックスは物体に完全には適合しないため、回帰ヘッドのジョブは、最良適合バウンディングボックスに変態させるこれらのアンカーボックスへのオフセットを予測することである。
【0084】
検出器を特殊化することもでき、例えば、歩行者検出器に対して人のみ等、物体のサブセットに対するボックスのみを推定することもできる。関心のない物体のカテゴリーは、背景クラスに対応する0クラスにエンコードされる。訓練の間、背景クラスに対するパッチ/ボックスは、通常、バウンディングボックス情報を有さない画像領域から無作為にサンプリングされる。このステップは、モデルがそれらの望ましくない物体に対して不変になるのを可能にし、例えば、それらの物体を不正確に分類するのではなく、それらを無視するということを学習することができる。バウンディングボックスは、通常、2つの異なるフォーマットで表され、最も一般的なのは、(x1,y1,x2,y2)であり、ここで、ポイントp1=(x1,y1)は、ボックスの左上隅であり、p2=(x2,y2)は、右下側である。もう1つの一般的なボックスフォーマットは、(cx,cy,高さ,幅)であり、ここで、バウンディングボックス/矩形はボックスの中心点(cx,cy)及びボックスのサイズ(高さ,幅)としてエンコードされる。検出方法によって、タスク及び状況に応じて異なるエンコーディング/フォーマットを使用する。
【0085】
回帰ヘッドは、L1損失を使用して訓練されてもよく、分類ヘッドは、交差エントロピー損失を使用して訓練されてもよい。Objectness損失(これは背景であるか又は物体であるか)も使用することができ、最終損失が、これらの損失の合計として計算される。個々の損失はまた、以下のように重み付けされてもよい:
【0086】
【数2】
一実施形態では、Faster RNNに基づく胚検出モデルを使用した。この実施形態では、約2000の画像を、グラウンドトゥルースバウンディングボックスを用いて手動でラベルした。透明帯領域を含む完全な胚がバウンディングボックスの内側にあるようにボックスをラベルした。二胚移植としても知られる2つ以上の胚が存在する場合には、モデルが二胚移植と単一胚移植とを区別するのを可能にするために、両方の胚をラベルした。どちらの胚が二胚移植のものであるかを一致させることは不可能であるため、二胚移植が検出された場合に、使用に対してエラーを生じさせるようにモデルを構成した。多数の「ローブ」を有するモデルは、単一の胚であるとしてラベルされる。
【0087】
GACセグメンテーションに代わるものとして、セマンティックセグメンテーションが使用されてもよい。セマンティックセグメンテーションは、全てのピクセルに対してカテゴリー又はラベルを予測しようとするタスクである。セマンティックセグメンテーションのようなタスクは、全ての入力ピクセルに対して出力が必要とされるため、ピクセルごとの高密度予測タスクと呼ばれる。セマンティックセグメンテーションモデルは、全画像出力を必要とするため、標準的なモデルとは異なって設定される。典型的には、セマンティックセグメンテーション(又は任意の高密度予測モデル)は、エンコードモジュール及びデコードモジュールを有することになる。エンコードモジュールは、画像の(特徴表現と呼ばれることもある)低次元表現の作成に対して責任がある。次に、この特徴表現は、デコードモジュールを介して最終出力画像にデコードされる。訓練の間に、(セマンティックセグメンテーションに対する)予測ラベルマップが、次に、各ピクセルにカテゴリーを割り当てるグラウンドトゥルースラベルマップと比較され、損失が計算される。セグメンテーションモデルに対する標準的な損失関数は、(問題が多クラスであるかどうかに応じて)バイナリ交差エントロピー、標準的な交差エントロピー損失のいずれかである。これらの実装は、損失がピクセルごとに(テンソルの画像チャンネル寸法にわたって)適用されることを除いて、それらの画像分類同類(image classification cousins)と同じである。
【0088】
完全畳み込みネットワーク(FCN)スタイルのアーキテクチャが、一般的なセマンティックセグメンテーションタスクに対してこの分野で一般的に使用されている。このアーキテクチャでは、(ResNet等の)事前学習されたモデルが、第一に、(元の解像度の約1/32であるが、拡張畳み込みが使用される場合には1/8でもあり得る)低解像度画像をエンコードするために使用される。この低解像度ラベルマップは、次に、元の画像解像度までアップサンプリングされ、損失がコンピュータ計算される。低解像度ラベルマップを予測したことの背後にある直観は、セマンティックセグメンテーションマスクが非常に低い頻度であり、より大きなデコーダの余分なパラメータ全てを必要としないということである。セグメンテーション結果を改善するために多段階アップサンプリングを使用する、このモデルのより複雑なバージョンが存在する。簡単に言うと、損失は、各スケールでの予測を洗練させるために、漸進的な様式で多数の解像度でコンピュータ計算される。
【0089】
このタイプのモデルの1つの欠点は、入力データが高解像度であるか又は高周波情報を有する(すなわち、より小さい/より薄い物体である)場合に、低解像度のラベルマップは、(特に、エンコードモデルが拡張畳み込みを使用しない場合に)これらの小さな構造を捕捉することができないということである。標準的なエンコーダ/畳み込みニューラルネットワークにおいて、入力画像/画像特徴は、モデルが深くなるに従い漸進的にダウンサンプリングされる。しかし、画像/特徴がダウンサンプリングされるに従い、主要な高周波詳細が失われる恐れがある。従って、これに取り組むために、エンコーダ及びデコーダの対称的な構成要素間でスキップ接続を代わりに使用する代替のU-Netアーキテクチャを使用することができる。簡単に言うと、全てのエンコードブロックは、デコーダにおいて対応するブロックを有する。次に、各段階における特徴は、最も低い解像度の特徴表現に沿ってデコーダに渡される。デコードブロックの各々について、入力特徴表現は、その対応するエンコードブロックの解像度に一致するようにアップサンプリングされる。次に、エンコードブロック及びアップサンプリングされた低解像度の特徴からの特徴表現は、連結され、2D畳み込み層を通過させられる。このように特徴を連結することによって、デコーダは、各ブロックにおける入力を洗練させるように学習することができ、その入力に応じてどの詳細(低解像度の詳細又は高解像度の詳細)を統合するかを選ぶことができる。FCNスタイルのモデルとU-Netスタイルのモデルとの主な相違点は、FCNモデルにおいて、エンコーダが低解像度のラベルマップを予測し、それを次に(おそらく漸進的に)アップサンプリングすることに対して責任があるということである。一方、U-Netモデルは、最終層まで十分完全なラベルマップの予測を有さない。最終的に、これらのモデルの多くの変形(例えば、ハイブリッド等)が存在し、これらのモデルの相違点をトレードオフする。U-netアーキテクチャは、モデルをスクラッチから訓練するのには不十分なデータの場合に使用するために、ResNet-18又はResNet-50等の事前学習された重みを使用することもできる。
【0090】
一部の実施形態において、セグメンテーションを、バイナリ交差エントロピーを使用して訓練された事前学習されたResNet-50エンコーダを用いてU-Netアーキテクチャを使用して行って、透明帯領域、透明帯内空洞領域、及び/又は細胞境界を特定した。セグメントに分けられると、所望の領域以外の全ての領域がマスクされた画像セットが生成され得る。次に、AIモデルを、これらの特定の画像セットにおいて訓練することができる。すなわち、AIモデルを2つのグループに分けることができ、すなわち、第一に、さらなる画像セグメンテーションを含むものと、第二に、全体的にセグメントに分けられていない画像を必要とするものに分けることができる。IZCをマスクし、透明帯領域を露出させた画像において訓練されたモデルを、透明帯モデルとして示した。透明帯をマスクした画像において訓練されたモデル(IZCモデルと示した)及び完全胚画像において訓練されたモデル(すなわち、第2のグループ)も、訓練において考慮した。
【0091】
一実施形態では、各画像の一意性を確実にするために、記録のコピーが結果にバイアスをかけないように、新しい画像の名前は、png(ロスレス)ファイルとして、元の画像内容のハッシュに等しく設定される。実行されると、データパーサーが、出力ディレクトリにおいてすでに存在しないいかなる画像(存在しない場合には作成することになる)に対しても、マルチスレッド方式で画像を出力することになり、従って、長い処理である場合は、中断されたとしても同じポイントからリスタートさせることができる。データ準備ステップはまた、一貫性のない又は矛盾した記録に関連する画像を排除し且ついかなる誤った臨床記録も特定するためにメタデータを処理することを含んでもよい。例えば、スクリプトをスプレッドシート上で実行して、既定のフォーマットにメタデータを適合させることができる。これは、モデルを作成及び訓練するために使用されるデータが高品質なものであり、均一な特徴(例えば、サイズ、色、スケール等)を有するということを確実にする。
【0092】
データが適切に準備されると、次に、上記のようにAIモデルを訓練するために使用することができる。一実施形態において、複数のコンピュータビジョン(CV)モデルは機械学習法を使用して作成され、複数のディープラーニングモデルはディープラーニング法を使用して作成される。ディープラーニングモデルは、完全胚画像又はマスクされた画像セットにおいて訓練されてもよい。コンピュータビジョン(CV)モデルは、各画像から計算された特徴記述子のセットを使用した機械学習法を使用して作成されてもよく、個々のモデルの各々は、画像における胚の異数性リスク/胚生存性スコア等の可能性を推定するように構成され、AIモデルは、選択されたモデルを組み合わせて、全体的な異数性リスク/胚生存性スコア、又は類似の全体的な可能性若しくはハード分類を生成する。個々の染色体群について作成したモデルは、アンサンブル及び知識蒸留技術を使用して改善することができる。訓練は、無作為化されたデータセットを使用して行われる。複雑な画像データのセットは、特に、データセットが約10,000の画像より小さい場合に、不均等分布を受ける可能性があり、ここで、主要な生存可能又は生育不能な胚の例は、セットを通して均等に分布されない。従って、データのいくつかの(例えば、20の)無作為化が一度に考慮され、次に、以下に定められる訓練、検証、及びブラインドテストのサブセットに分割される。全ての無作為化は、どれが訓練のための最良の分布を示すかを計測するために、単一の訓練例に対して使用される。当然の結果として、生存可能な胚と生育不能な胚の数の比が全てのサブセットにわたって同じであることを確実にすることも有益である。胚の画像は非常に多様であり、従って、テスト及び訓練セットにわたる画像の均一な分布を使用して性能を改善することができるということを確実にする。従って、無作為化を行った後で、訓練セット、検証セット、及びブラインド検証セットの各々における、生存可能の分類を有する画像と生育不能の分類を有する画像との比が計算及びテストされて、比が類似していることを確実にする。例えばこれは、比の範囲が、画像の数を考慮したある分散内であるかどうか又は閾値未満であるかどうかテストすることを含んでもよい。その範囲が類似していない場合、無作為化は廃棄され、その比が類似している無作為化が得られるまで、新たな無作為化が生成及びテストされる。より一般的には、結果が、nの状態を有するn項の結果である場合、無作為化が行われた後、計算ステップは、訓練セット、検証セット、及びブラインド検証セットの各々におけるn項の結果の状態の各々の頻度を計算すること、及び、頻度が類似していることをテストし、頻度が類似していない場合は、その頻度が類似している無作為化が得られるまで、割り当てを廃棄し、無作為化を繰り返すことを含んでもよい。
【0093】
訓練は、複数の訓練検証サイクルを行うことをさらに含む。各訓練検証サイクルにおいて、全使用可能データセットの各無作為化は、訓練、検証、及びブラインド検証のデータセットとして知られる典型的に3つの別々のデータセットに分割される。一部の変形では、4つ以上のデータセットを使用することができ、例えば、検証及びブラインド検証のデータセットを、異なる困難性の多数のサブテストセットに層別化することができる。
【0094】
第1のセットは訓練データセットであり、少なくとも60%、好ましくは70~80%の画像を含む。これらの画像は、ディープラーニングモデル及びコンピュータビジョンモデルによって、異数性スクリーニングAIモデルを作成して生存可能な胚を正確に特定するために使用される。第2のセットは検証データセットであり、これは、典型的には、約(又は少なくとも)10%の画像である。このデータセットは、訓練データセットを使用して作成したモデルの精度を検証又はテストするために使用される。これらの画像は、モデルを作成するために使用される訓練データセットから独立しているけれども、検証データセットは、モデル訓練の進行をモニター及び最適化するために使用されるため、精度において小さな正のバイアスを依然として有する。従って、訓練は、この特定の検証データセットの精度を最大化するモデルをターゲットにする傾向があり、これは、より一般的に他の胚画像に適用される場合には必ずしも最良のモデルであるわけではない。第3のデータセットは、ブラインド検証データセットであり、これは、典型的には、約10~20%の画像である。上記の検証データセットを用いて正のバイアスに取り組むために、第3のブラインド検証データセットを使用して、最終モデルの最終的なバイアスのない精度評価が行われる。この検証は、モデリング及び検証プロセスの最後に、最終モデルが作成及び選択されたときに生じる。最終モデルの精度が検証データセットと比較的一貫していることを確実にして、モデルが全ての胚画像に対して一般化できることを確実にすることが重要である。上記の理由により、検証データセットの精度はブラインド検証データセットよりも高くなる可能性が高い。ブラインド検証データセットの結果は、モデルの精度のより信頼性の高い尺度である。
【0095】
一部の実施形態において、データを前処理することは、画像を拡張することをさらに含み、画像に変更が加えられる。これは、訓練に先立ち又は訓練の間に(即ち、オンザフライで)行われてもよい。拡張は、直接画像を拡張(変更)するか又は小さな変化を有する画像のコピーを作成することによって拡張(変更)することを含んでもよい。画像の90度回転、ミラー、フリップ、背景色に合わせるために斜めの境界線が埋め込まれている場合の非90度回転、画像ぼかしの量を変えて、強度ヒストグラムを使用して画像のコントラストを調整して、及び、水平方向及び/又は垂直方向の両方における1つ以上の小さなランダム変換、ランダム回転を適用して、JPEG(又は圧縮)ノイズ、ランダム画像のサイズ変更、ランダム色相ジッタ、ランダム輝度ジッタ、コントラスト制限付き適応ヒストグラム均等化、ランダムフリップ/ミラー、画像鮮鋭化、画像エンボス処理、ランダム輝度及びコントラスト、RGBカラーシフト、ランダム色相及び飽和、チャンネルシャッフル、RGBからBGR又はRBG又は他のものへのスワップ、粗いドロップアウト、モーションブラー、中央ブラー、ガウスブラー、ランダムシフトスケール回転(すなわち、3つが全て組み合わされたもの)を加えて、任意の数の拡張を行うことができる。同じ拡張された画像のセットが多数の訓練検証サイクルに使用されてもよく、又は、新しい拡張が、各サイクルの間にオンザフライで生成されてもよい。CVモデル訓練に使用されるさらなる拡張は、特徴記述子を抽出するための乱数発生器の「シード」の変更である。コンピュータビジョン記述子を得るための技術は、特徴のサンプルを抽出することにおける乱数性の要素を有する。CVモデルに対するよりロバストな訓練を提供するために、この乱数を拡張間で変更し且つ含めることができる。
【0096】
コンピュータビジョンモデルは、主要な画像の特徴を特定すること、及び、それらを記述子の観点から表現することに依存する。これらの記述子は、ピクセル変動、グレーレベル、テクスチャの粗さ、固定されたコーナーポイント、又は画像勾配の向き等の品質をエンコードすることができ、これらは、OpenCV又は類似のライブラリに実装される。各画像において探索するためにそのような特徴を選択することによって、モデルを、どの特徴の配置が異数性/胚生存性に対する良好な指標であるかを発見することにより構築することができる。この手順は、ランダムフォレスト又はサポートベクトルマシン等の機械学習プロセスによって最良に実行され、これらは、コンピュータビジョン分析から、それらの記述子の観点から画像を分けることができる。
【0097】
小規模な特徴及び大規模な特徴の両方を包含する、様々なコンピュータビジョン記述子が使用され、これらは、従来の機械学習法と組み合わされて、異数性及びモザイク現象を特定するための「CVモデル」が生成される。これらは、任意選択で、後にディープラーニング(DL)モデルと組み合わされて、例えば、アンサンブルモデルになるか、又は、蒸留に使用されて、生徒モデルを訓練することができる。適したコンピュータビジョン画像記述子には以下が含まれる:
ハフ変換を介した透明帯:内側及び外側の楕円を発見して、透明帯及び透明帯内空洞のスプリットを近似し、半径の平均値及び差を特徴として記録する;
グレーレベル同時生起行列(GLCM)テクスチャ解析:領域内の隣接するピクセルを比較することによって、異なる領域の粗さを検出する。使用されるサンプル特徴記述子は:角二次モーメント(ASM)、均一性、相関、コントラスト、及びエントロピーである。領域の選択は、所定のサイズの画像の所与の数の正方形サブ領域を無作為にサンプリングすることによって得られ、各領域に対する5つの記述子の各々の結果を、全特徴のセットとして記録する;
勾配方向ヒストグラム(HOG):スケール不変特徴変換記述子及びシェイプコンテキストを使用して、物体及び特徴を検出する。この方法は、発生学及び他の医学的画像診断に使用されることに対して勝っているが、それ自体は機械学習モデルを構成しない;
方向付き加速化断片試験による特徴抽出(FAST)及び回転バイナリロバスト独立基本特徴(BRIEF)(ORB):SIFT及びSURF特徴に代わる業界標準であり、FASTキーポイント検出器(特定のピクセル)とBRIEF記述子との組み合わせに依存し、回転不変性を含むように修正されている;
バイナリロバスト不変スケーラブルキーポイント(BRISK):ピクセルの強度比較のアセンブリと組み合わせたFASTベースの検出器であり、これは、キーポイントで指定された特徴の周りの各近傍をサンプリングすることによって達成される;
最大安定極値領域(MSER):画像から抽出された1つ以上のグレーレベルセットに関する安定した接続成分である共変領域の抽出を介した局所形態学的特徴検出アルゴリズムである;
追跡に向いた特徴(GFTT):コーナーのテクスチャを検出するために適応ウィンドウサイズを使用する特徴検出器であり、Harrisコーナー検出又はShi-Tomasiコーナー検出を使用し、それらの空間強度プロファイルにおいて高い標準偏差を示すポイントを抽出して特定される。
【0098】
コンピュータビジョン(CV)モデルは、以下の方法によって構築される。上記のコンピュータビジョン画像記述子技術のうち1つ(又はそれ以上)が選択され、特徴が、訓練データセット内の画像の全てから抽出される。これらの特徴は、組み合わされたアレイに配列され、次に、K平均法の教師なしクラスタリングアルゴリズムに供給され、このアレイは、「バッグオブビジュアルワード」に対するコードブックと呼ばれる。クラスタの数は、モデルの自由パラメータである。このポイントからのクラスタ化された特徴は、アルゴリズムのいずれかの組み合わせを通して使用される「カスタム特徴」を表し、それに対して、検証又はテストセット内の各個々の画像が比較されることになる。各画像は、抽出される特徴を有し、個々にクラスタ化される。クラスタ化される特徴を有する所与の画像に対して、コードブック内のクラスタの各々への(特徴空間における)「距離」が、最も近いクラスタ化される特徴を与えるKDTreeのクエリアルゴリズムを使用して測定される。次に、ツリークエリからの結果を、ヒストグラムとして表し、各特徴がその画像において生じる頻度を示すことができる。最後に、これらの特徴の特定の組み合わせが異数性リスク/胚生存性の尺度に対応するかどうかという問題が、機械学習を使用して評価される必要がある。ここでは、ヒストグラム及びグラウンドトゥルースの結果を使用して、教師あり学習が実行される。最終選択モデルを得るために使用される方法は、ランダムフォレスト又はサポートベクトルマシン(SVM)を含む。
【0099】
複数のディープラーニングモデルを作成することもできる。ディープラーニングモデルは、ニューラルネットワーク法、典型的には、複数の結合層から成る畳み込みニューラルネットワーク(CNN)に基づいており、「ニューロン」の各層は、「整流器」、「シグモイド」等の非線形活性化関数を有している。特徴ベースの方法(すなわち、CVモデル)と対照をなして、ディープラーニング及びニューラルネットワークは、手動で設計された特徴記述子に依存するのではなく、代わりに特徴を「学習」する。これは、それらが所望のタスクに合わせた「特徴表現」を学習するのを可能にする。
【0100】
これらの方法は、全体的な分類に到達するために、小さな細部及び全体的な形態学的形状の両方をピックアップすることができるため、画像分析に適している。種々のディープラーニングモデルが利用可能であり、各々が、残差ネットワーク(例えば、ResNet-18、ResNet-50、及びResNet-101)、高密度に接続されたネットワーク(例えば、DenseNet-121及びDenseNet-161)、並びに他のバリエーション(例えば、InceptionV4及びInception-ResNetV2)等、異なるアーキテクチャ(すなわち、異なる数の層及び層間の接続)を有している。ディープラーニングモデルは、安定性(訓練プロセスにわたって検証セットに対して精度値がどの程度安定していたか)、転移性(transferability)(訓練データにおける精度が検証セットにおける精度とどの程度良く相関していたか)、及び予測精度(どのモデルが、生存可能及び生育不能な胚の両方について、最良の検証精度、総精度、及び胚のクラスタイプ両方にわたる重み付け平均精度として定められる均衡化精度を提供したか)に基づき評価することができる。訓練には、入力画像解像度、最適化アルゴリズムの選択、学習速度値及びスケジューリング、モーメンタム値、ドロップアウト、及び重みの初期化(事前学習)を含む、モデルパラメータ及びハイパーパラメータの異なる組み合わせを試すことが含まれる。損失関数は、モデルの実行を評価するために定められてもよく、訓練の間に、ディープラーニングモデルは、学習速度を変えることによって最適化されて、ネットワークの重みパラメータに対する更新機構を駆動して、目的/損失関数を最小化する。
【0101】
ディープラーニングモデルは、種々のライブラリ及びソフトウェア言語を使用して実装されてもよい。一実施形態において、PyTorchライブラリが、pythonの言語でニューラルネットワークを実装するために使用される。ライブラリのPytorchは、加えて、ハードウェア(GPU、TPU)加速を利用するテンソルが作成されるのを可能にし、ニューラルネットワークに対する多数の層を構築するためのモジュールを含む。ディープラーニングは、画像分類のための最も強力な技術の一つであるけれども、上記のセグメンテーション又は拡張の使用を介したガイダンスを提供することによって改善することができる。ディープラーニングに先立つセグメンテーションの使用は、ディープラーニング法の性能に著しい影響を及ぼすことが分かり、対照的なモデルの作成を支援した。従って、好ましくは、少なくとも一部のディープラーニングモデルを、IZC又は細胞境界が特定された画像等のセグメントに分けられた画像、又は、IZC又は細胞境界の外側の領域を排除するためにマスクされた画像において訓練した。一部の実施形態において、複数のディープラーニングモデルは、セグメントに分けられた画像において訓練された少なくとも1つのモデルと、セグメンテーションを受けていない画像において訓練された1つのモデルとを含む。同様に、拡張が、ロバストなモデルを作成するために重要であった。
【0102】
アプローチの有効性は、ディープニューラルネットワーク(DNN)のアーキテクチャによって決定される。しかし、特徴記述子法とは異なり、DNNは、分類器を利用する前に、畳み込み層全体を通して特徴自体を学習する。すなわち、提案された特徴を手動で組み込むことなく、DNNは、文献中の既存の実践をチェックするために使用することができ、並びに、以前には推測できなかった記述子、特に、ヒトの目が検出及び測定するのが困難な記述子を開発することができる。
【0103】
DNNのアーキテクチャは、入力としての画像のサイズ、DNNを記述するテンソルの次元を有する隠れ層、及び出力としてクラスラベルの数を有する線形分類器によって制約される。ほとんどのアーキテクチャは、左右、上下、及び中心の概念を捉えるために、小さな(3×3ピクセル)フィルタを用いて、多数のダウンサンプリング比を利用する。a)畳み込み2d層、b)整流線形ユニット(ReLU)、及びc)最大プーリング層のスタックは、DNNを通るパラメータの数が扱いやすいままであるのを可能にする一方で、フィルタが、画像の高レベル(トポロジー)の特徴上を通過し、それらを画像に埋め込まれた中間の及び最後に顕微鏡レベルの特徴上にマッピングするのを可能にする。最上層は、典型的には、SVMと同様に、分類器として作用する1つ以上の全結合ニューラルネットワーク層を含む。典型的には、ソフトマックス層が、全結合分類器の後の確率を有するように、結果として生じるテンソルを正規化するために使用される。従って、モデルの出力は、画像が生育不能又は生存可能のいずれかである確率のリストである。AIアーキテクチャの範囲は、ResNetの種類(18、34、50、101、152)、Wide ResNetの種類(50-2、101-2)、ResNeXtの種類(50-32×4d、1-1-32×8d)、DenseNetの種類(121、161、169、201)、Inception (v4)、Inception-ResNet (v2)、EffficientNetの種類(b0、b1、b2、b3)等のニューラルネットワークアーキテクチャに基づいてもよい。
【0104】
図5Cは、一実施形態による、入力画像を予測に変換するRESNET 152アーキテクチャに基づく一連の層を含むAIモデル151の概略的なアーキテクチャ図である。これらには、下層からの入力の相互相関を計算する、
図5Cにおいて「CONV」と注釈が付けられた2D畳み込み層が含まれる。畳み込み層内の各要素又はニューロンは、その受容野、例えば3×3又は7×7ピクセルからの入力のみを処理する。これによって、層を記述するのに必要な学習可能なパラメータの数が減り、全結合層から構築されるものよりもディープなニューラルネットワークが形成されるのが可能になる。これらの層では、全てのニューロンが後続の層における他の全てのニューロンに接続され、これは、メモリ負荷が高く、オーバーフィッティングさせる傾向がある。畳み込み層は空間移動不変性でもあり、これは、主題が正確に中心合わせされることを保証することができない画像を処理するのに有用である。
図5CにおけるAIアーキテクチャは、
図5Cにおいて「POOL」と注釈が付けられた最大プーリング層をさらに含み、これは、ダウンサンプリング法であり、それによって、所与の領域内で代表的なニューロンの重みのみが選択され、ネットワークの複雑さが低減され、オーバーフィッティングも低減される。例えば、畳み込み層の4×4の正方形領域内の重みについては、各2×2のコーナーブロックの最大値が計算され、これらの代表値が、次に、正方形領域のサイズを2×2の大きさまで減らすために使用される。アーキテクチャはまた、非線形活性化関数として作用する整流線形ユニットの使用を含んでもよい。一般的な例として、ランプ関数が、所与のニューロンからの入力xについて以下の形式:
【0105】
【数3】
をとり、生物学におけるニューロンの活性化と類似している。
【0106】
入力が畳み込み層の全てを通過した後の、ネットワークの終わりにおける最終層は、典型的には、分類器として作用する全結合(FC)層である。この層は、最終入力を得て、分類カテゴリーと同じ数の次元のアレイを出力する。例えば「異数性が存在する」及び「異数性が存在しない」等、2つのカテゴリーでは、最終層は長さ2のアレイを出力することになり、これは、入力画像がそれぞれのカテゴリーと共に整列する特徴を有する割合を示す。最終ソフトマックス層が加えられることが多くあり、これは、出力アレイにおける最終的な数を0から1に適合するパーセンテージに変換し、両方を合わせて合計1にすることによって、最終的な出力を、画像がカテゴリーの1つに分類されるための信頼限界として解釈することができる。
【0107】
1つの適したDNNアーキテクチャは、ResNet152、ResNet101、ResNet50、又はResNet-18等のResNet(及びその種類;https://ieeexplore.ieee.org/document/7780459を参照されたい)である。ResNetは、極めて多くの隠れ層を使用すること、及び、「残差接続」としても知られる「スキップ接続」を導入することによって、2016年にこの分野を著しく前進させた。1つの層から次の層への差のみが計算され、これは、より時間費用効果が高く、特定の層において変化がほとんど検出されない場合、その層はスキップされ、従って、画像内の小さい特徴と大きい特徴の組み合わせに非常に迅速に合わせるネットワークを作成する。
【0108】
別の適したDNNアーキテクチャは、DenseNet161、DenseNet201、DenseNet169、DenseNet121を含むDenseNetの種類(https://ieeexplore.ieee.org/document/8099726)である。DenseNetは、ResNetの発展形であり、現在、全ての層は、最大数のスキップ接続を有して、いかなる他の層にもスキップすることができる。このアーキテクチャは、はるかに多くのメモリを必要とし、従って効率も悪いが、ResNetよりも改善された性能を示すことができる。多数のモデルパラメータで、オーバートレーニング/オーバーフィッティングすることも容易である。全てのモデルアーキテクチャは、これを制御する方法と組み合わされることが多くある。
【0109】
別の適したDNNアーキテクチャは、InceptionV4、InceptionResNetV2等のInception(-ResNet)(https://www.aaai.org/ocs/index.php/AAAI/AAAI17/paper/viewPaper/14806)である。Inceptionは、より複雑な畳み込みユニットを表し、それによって、セクション3.2に記載されるような固定サイズのフィルタ(例えば、3×3ピクセル等)を単に使用する代わりに、いくつかのサイズのフィルタが、自由パラメータである重み付きで、並列に(5×5、3×3、1×1ピクセル)計算されるため、ニューラルネットワークは、DNNにおける各層において、どのフィルタが最も適しているかを優先することができる。この種のアーキテクチャの発展は、ResNetと同じ方法でそれをスキップ接続と組み合わせて、Inception-ResNetを作成することである
上記のように、コンピュータビジョン及びディープラーニング法の両方が、前処理されたデータにおいて複数の訓練検証サイクルを使用して訓練される。訓練検証サイクルは、以下のフレームワークに従う。
【0110】
訓練データは前処理され、バッチに分割される(各バッチにおけるデータの数は自由モデルパラメータであるが、どのくらい速く及びどのくらい安定してアルゴリズムが学習するかを制御する)。拡張は、分割に先立ち又は訓練の間に行われてもよい。
【0111】
各バッチの後で、ネットワークの重みが調整され、これまでの総実行精度(running total accuracy)が評価される。一部の実施形態において、重みは、例えば勾配累積を使用して、バッチの間に更新される。全ての画像が評価され、1エポックが実行されたとき、訓練セットはシャッフルされ(すなわち、セットを用いた新しい無作為化が得られ)、訓練が、次のエポックに対して、最初から再び開始される。
【0112】
訓練の間に、データセットのサイズ、データの複雑さ、及び訓練されているモデルの複雑さに応じて、多数のエポックが実行されてもよい。最適なエポック数は、典型的には、2から100の範囲であるが、特定のケースに応じてより大きくてもよい。各エポックの後で、モデルは、いかなる訓練も行われることなく、検証セットに対して実行されて、モデルがどのくらい正確であるかにおいて進行の尺度が提供され、より多くのエポックを実行するべきであるか、又はより多くのエポックがオーバートレーニングをもたらすかどうかをユーザにガイドする。
【0113】
検証セットは、全モデルパラメータ又はハイパーパラメータの選択をガイドするものであり、従って、真のブラインドセットではない。しかし、検証セットの画像の分布が、訓練後に実行されることになる最終ブラインドテストセットと非常に類似していることが重要である。
【0114】
検証セットの結果を報告する際に、拡張を、各画像に対して含めるか(all)又は含めない(noaug)こともできる。さらに、各画像に対する拡張は、画像に対するよりロバストな最終結果を提供するために組み合わされてもよい。平均信頼度(拡張全てにわたるモデルの推論の平均値をとる)、中央信頼度、大数平均信頼度(大数生存性評価をとり、同意するものの平均信頼のみを提供し、大数に達しない場合には、平均をとる)、最大信頼度、加重平均、大数最大信頼度等を含むいくつかの組み合わせ/多数決戦略を使用することができる。
【0115】
機械学習の分野において使用される別の方法は転移学習であり、ここでは、以前に訓練されたモデルが、新しいモデルを訓練するための出発点として使用される。これは、事前学習とも呼ばれる。事前学習は広く使用され、新しいモデルが迅速に構築されるのを可能にしている。2種類の事前学習がある。事前学習の一実施形態は、ImageNet事前学習である。ほとんどのモデルアーキテクチャには、標準画像データベースImageNetを使用して、事前学習された重みのセットが提供される。これは医用画像に特有ではなく、1000の異なるタイプの物体を含むけれども、モデルが形状を特定することをすでに学習する方法を提供する。1000の物体の分類器は完全に除去され、生存性に対する新しい分類器がそれに取って代わる。この種の事前学習は、他の初期化戦略よりも性能が優れている。事前学習の別の実施形態は、異なる結果のセット又は異なる画像(生存性の代わりにPGS、又は無作為に割り当てられた結果)を有する研究からの、以前に訓練された胚モデルを使用するカスタム事前学習である。これらのモデルは、分類にわずかな利益しかもたらさない。
【0116】
事前学習を受けていないモデル、又は分類器等の事前学習の後に加えられる新しい層については、重みを初期化する必要がある。初期化方法は、訓練の成功に影響を及ぼす恐れがある。例えば、0又は1に設定された全ての重みは、非常に性能が良くない。乱数の均一の配置又は乱数のガウス分布も、一般的に使われる選択肢を表す。これらは、Xavier又はKaimingアルゴリズム等の正規化法と組み合わされることも多くある。これは、ニューラルネットワークにおけるノードが、飽和(1に近い)状態又はデッド(0に近い)状態になることによって、特定の状態において「トラップ」される恐れがあり、その特定のニューロンに関連する重みを調整する方向を測定することが困難であるという問題に取り組む。これは、特に、双曲線正接関数又はシグモイド関数を導入する場合に普及しており、Xavier初期化によって対処される。
【0117】
Xavier初期化プロトコルでは、活性化関数への各層の入力が、飽和の一番端又はデッドの一番端のいずれにも近づき過ぎないように、ニューラルネットワークの重みは無作為化される。しかし、ReLUの使用が、より良く動作し、異なる初期化は、Kaiming初期化等、より小さい利点を提供する。Kaiming初期化は、ReLUがニューロンの非線形活性化プロファイルとして使用される場合により適している。これは、Xavierの初期化と同じプロセスを効果的に達成する。
【0118】
ディープラーニングでは、様々な自由パラメータが使用されて、検証セットにおけるモデル訓練が最適化される。主要なパラメータの1つは学習速度であり、これは、基礎となるニューロンの重みが各バッチ後にどのくらい調整されるかによって決定される。選択モデルを訓練する場合、データのオーバートレーニング又はオーバーフィッティングは回避されるべきである。これは、モデルがあまりにも多くのパラメータを有するためフィットさせることができず、本質的にデータを「記憶」し、一般化可能性と引き換えに訓練又は検証セットにおける精度を得る場合に起こる。一般化可能性は、データのノイズの中でも、胚の健全性を示す真の基礎となるパラメータをモデルが正確に特定し、これを損なわずに訓練セットを完全にフィットさせたかどうかの真の尺度であるため、これは回避されることになる。
【0119】
検証及びテストのフェーズの間に、訓練フェーズ中のオーバーフィッティングのために、成功率が突然低下することがあり得る。これは、減速若しくは減衰学習速度(例えば、nのエポックごとに学習速度を半減させる等)、又は、上述のテンソル初期化若しくは事前学習の方法及びドロップアウト層等のノイズの追加若しくはバッチ正規化を組み込んだコサインアニーリングの使用を含む、種々の戦法を介して回復させることができる。バッチ正規化は、消失又は爆発する勾配に対抗するために使用され、大きいモデルの訓練の安定性を改善し、結果として一般化を改善する。ドロップアウト正則化は、整流器の受容範囲内で全ての入ってくる重みをゼロに設定する無作為な機会を導入することによって、ネットワークを効果的に単純化する。ノイズを導入することによって、残りの整流器が、過度の特殊化に依存することなく、データの表現に正確にフィットすることを効果的に確実にする。これは、DNNがより効果的に一般化され、ネットワークの重みの特定の値に対する感度が低下するのを可能にする。同様に、バッチ正規化は、非常にディープなニューラルネットワークの訓練安定性を改善し、これは、整流段階の前駆体として入力重みをゼロ平均及び単位分散にシフトさせることによって、より速い学習及びより良好な一般化を可能にする。
【0120】
ディープラーニングを行う際に、許容可能な分類を達成するためにニューロンの重みを変更するための方法論は、最適化プロトコルを指定する必要性を含む。すなわち、(以下に論じられる)「精度」又は「損失」の所与の定義、正確にどのくらい重みが調整されるべきか及びどのようにして学習速度の値が使用されるべきかに対しては、多くの技術が指定される必要がある。適した最適化技術には、モーメンタム法(及び/又はNesterovの加速勾配法)を伴う確率的勾配降下法(SGD)、デルタを伴う適応勾配(Adadelta)、適応モーメント推定(Adam)、二乗平均平方根のプロパゲーション(RMSProp)、及び記憶制限ブロイデン・フレッチャー・ゴールドファーブ・シャンノ法(L-BFGS)アルゴリズムが含まれる。これらのうち、SGDに基づく技術は、一般的に、他の最適化技術よりも性能が優れていた。ヒト胚の位相差顕微鏡画像に対する典型的な学習速度は0.01から0.0001の範囲にあった。しかし、学習速度はバッチサイズに依存し、これは、ハードウェア容量に依存する。例えば、GPUが大きいほど、より大きなバッチサイズ及びより速い学習速度が可能になる。
【0121】
モーメンタム法(及び/又はNesterovの加速勾配法)を伴う確率的勾配降下法(SGD)は、最もシンプルで一般的に使用される最適化アルゴリズムを表す。勾配降下アルゴリズムは、典型的に、精度に対する所与の重みの影響の勾配(傾き)を計算する。重みの更新を行うためにデータセット全体に対する勾配を計算する必要がある場合にこれは遅いけれども、確率的勾配降下法は、1つずつ、訓練画像ごとに更新を行う。これは、達成される全体目標の精度又は損失に変動をもたらし得るけれども、損失パラメータランドスケープの新しい領域に飛び込み、新しい最小損失関数を見つけることができるため、他の方法よりも良く一般化する傾向を有する。胚選択等の難しい問題における目立つ損失ランドスケープに対して、SGDは良好に機能する。SGDは、一方の側で他方よりも急な非対称損失関数表面曲線をナビゲートするのに問題がある恐れがあり、これは、モーメンタムと呼ばれるパラメータを加えることによって補償することができる。これは、前の状態から得られる重みの更新に余分なフラクションを加えることによって、その方向においてSGDを加速し、精度における高い変動を弱めるのに寄与する。この方法の発展は、次の状態における重みの推定位置も含めることであり、この発展形はNesterovの加速勾配法として知られている。
【0122】
デルタを伴う適応勾配(Adadelta)は、学習速度を重み自体に適応させるためのアルゴリズムであり、頻繁に発生するパラメータに対してより小さな更新、及び稀に発生する特徴に対してより大きな更新を行い、スパースデータによく適している。これは、データセット全体にわたる数回のエポックの後で、学習速度を突然低下させることができるけれども、ウィンドウを制限するためにデルタパラメータを追加することが、累積された過去の勾配をある一定のサイズにするのを可能にした。しかし、このプロセスは、デフォルトの学習速度を冗長にし、さらなる自由パラメータの自由度は、最良の全体選択モデルを見つける際にある程度の制御を提供する。
【0123】
適応モーメント推定(Adam)は、過去の二乗及び非二乗勾配の両方の指数関数的減衰平均を格納し、それら両方を重み更新に組み込む。これは、重み更新の方向に対して「摩擦」を提供する効果があり、大きな変動を有することなく、比較的浅い又は平坦な損失最小を有する問題に適している。胚選択モデルにおいて、Adamを用いた訓練は、訓練セットにおいては良好に機能する傾向を有するが、オーバートレーニングであることが多く、モーメンタム法を伴うSGDほど適していない。
【0124】
二乗平均平方根のプロパゲーション(RMSProp)は、上記の適応勾配最適化アルゴリズムに関し、重みに対する更新項が二乗勾配の指数関数的減衰平均で学習速度を割ることを除いて、Adadeltaとほぼ同一である。
【0125】
記憶制限ブロイデン・フレッチャー・ゴールドファーブ・シャンノ法(L-BFGS)アルゴリズム。計算機負荷が高いけれども、L-BFGSアルゴリズムは、この推定の欠如を追加項で補償しようとする他の方法ではなく、損失ランドスケープの曲率を実際に推定する。データセットが小さい場合は、Adamよりも性能が優れている傾向があるが、スピード及び精度の点では必ずしもSGDよりも性能が優れているとは限らない。
【0126】
上記の方法に加えて、不均一な学習速度を含めることも可能である。すなわち、畳み込み層の学習速度は、分類器の学習速度よりもはるかに大きいか又は小さいように指定することができる。これは、事前学習がさらなる再訓練によって元に戻されないように、分類器の下のフィルタに対する変更をさらに「凍結」で保ち、分類器を再訓練するべきである事前学習モデルの場合に有用である。
【0127】
最適化アルゴリズムは、特定の損失又は精度の尺度を与えられた重みを更新する方法を指定するけれども、一部の実施形態において、損失関数は、分布効果を組み込むように修正される。これらは、交差エントロピー(CE)損失、重み付けCE、残差CE、推論分布、又はカスタム損失関数を含み得る。
【0128】
交差エントロピー損失は、一般的に使用される損失関数であり、グラウンドトゥルースと予測値との間のシンプルな平均二乗誤差よりも性能が優れている傾向がある。ここでの場合のように、ネットワークの結果がソフトマックス層を通過する場合、交差エントロピーの分布はより良い精度をもたらす。これは、当然、かけ離れた外れ値をあまり重視しないことによって、正確に入力データを分類する可能性を最大化するためである。入力アレイ、バッチ、画像のバッチを表すこと、及び生存可能又は生育不能を表すクラスに対して、交差エントロピー損失は:
【0129】
【数4】
として定められ、ここで、Cはクラスの数である。二値の場合は、これは、
【0130】
【数5】
に簡略化することができる。最適化されたバージョンは:
【0131】
【0132】
データがクラスバイアスを有する場合、すなわち、生育不能な例よりも多くの生存可能な例を有する(又はその逆の)場合、損失関数は、比例して重み付けされるべきであるため、より数の少ないクラスの要素を誤って分類することは、より重く罰せられる。これは、式(2)の右辺に係数を予め掛けることによって達成され:
【0133】
【数7】
ここで、N[class]はクラスごとの総画像数であり、Nはデータセットにおける総サンプル数であり、Cはクラスの数である。必要に応じて、偽陽性と比較して偽陰性の数を減らすために、生存可能な胚に向けて重みに手動でバイアスをかけることも可能である。
【0134】
一部の実施形態において、推論分布が使用されてもよい。胚の分類において高いレベルの精度を求めることは重要であるけれども、モデルにおいて高いレベルの移植性を求めることも重要である。すなわち、スコアの分布を理解する、及び、高い精度を求めることは重要な目標であるけれども、生存可能な胚と生育不能な胚を、確信をもって区別することは、モデルがテストセットによく一般化されていることを示す指標であるということを理解するのは有益であることが多い。テストセットにおける精度は、同じ胚における発生学者の分類の精度等、重要な臨床ベンチマークとの比較を引用するために使用されることが多いため、一般化可能性を確実にすることは、エポックごとに、モデルの成功のバッチごとの評価に組み込まれるべきでもある。
【0135】
一部の実施形態では、カスタム損失関数が使用される。一実施形態において、最適化サーフェスが大域最適解をより明確にし、従ってモデルのロバスト性を改善するように変更されるように、損失関数をどのように定めるかをカスタマイズした。これを達成するために、ネットワークの重みの観点から定められる、残差項と呼ばれる微分可能性を維持する新しい項が損失関数に追加される。これは、モデルからの予測値及び各画像に対するターゲットとなる結果における集合的な差をエンコードし、それを正常の交差エントロピー損失関数へのさらなる寄与として含む。残差項に対する式は、Nの画像について:
【0136】
【0137】
このカスタム損失関数では、生存可能及び生育不能な胚のスコアのウェルスペースクラスタが、従って、改善された損失評価と一致すると考慮される。このカスタム損失関数は胚検出アプリケーションに特有ではなく、他のディープラーニングモデルにおいて使用することができるということに留意されたい。
【0138】
一部の実施態様において、カスタム信頼度に基づく損失関数が使用される。これは、2つのバリアント(線形及び非線形)を有する重み付けされた損失関数である。いずれの場合も、損失関数への寄与としてスコアの分離をエンコードすることを意図しているが、予測スコアにおけるクラス間の差を損失関数の重みとして共に統合することによって、上記のものとは異なる様式である。差が大きいほど、損失は大きく減少する。この損失関数は、予測モデルが2つのクラス間の差を拡大し、結果におけるモデルの信頼性を高めるよう駆動するのに寄与するであろう。信頼できる重み付けのために、i番目の入力サンプルのバイナリターゲットラベルは、グラウンドトゥルースクラスを指定する
【0139】
【0140】
【0141】
【数11】
が、i番目の入力と一致し且つそれぞれ生育不能及び生存可能な結果に対するモデルの推定された確率の出力である。線形設定に対して
【0142】
【0143】
【数13】
と定義すると、パラメータdは、クラス0とクラス1の予測結果間のモデルの確率の差を表す。
【0144】
標準的なログソフトマックス関数については、本発明者等は、以下のようにptを定義する(log(pt)は、標準的な交差エントロピー損失関数として損失関数において得られる)。
【0145】
【数14】
クラスの重み付けについては、クラス1に対する重み付け係数
【0146】
【0147】
【数16】
で、本発明者等は、p
tの定義の方法に類似して
【0148】
【0149】
【数18】
フォーカシングパラメータγは、結果スコアの差が損失関数に影響する速度を滑らかに調整する。最後に、3つの異なる重み付け戦略全てを組み込んだ損失関数を考え出す:
【0150】
【数19】
一部の実施形態では、ラベル平滑化と呼ばれる技術を使用するソフト損失関数が使用される。結果又はクラスのタイプ(例えば、バイナリ分類の問題では、生存可能、生育不能等)ごとに、任意のクラス又は全てのクラスがラベル平滑化を示すことができる。ラベル平滑化を導入してソフト損失関数を作成するために、重み付けされた交差エントロピー損失等の損失関数がある。次に、損失関数が計算されるとき、いずれかのクラスがラベル平滑化を含む場合、Kullback-Leibler (KL)-Divergence損失が、損失関数への入力、すなわち現在のバッチに対するスコアの分布と、ラベル平滑化を示すクラスの各々が、実際の値(例えば、0又は1)から分数e/(クラス数-1)だけ変更されたスコアの分布の修正版との間で計算される。従って、このパラメータeは、導入されているラベル平滑化の量を制御する自由パラメータである。このKL Divergence損失は、次に、損失関数として戻される。
【0151】
一部の実施形態において、モデルは、よりロバストな最終AIモデル100を作成するために組み合わされる。すなわち、ディープラーニング及び/又はコンピュータビジョンモデルを共に組み合わせて、異数性の全体的な予測に寄与する。
【0152】
一実施形態では、アンサンブル法が使用される。第一に、良好に機能するモデルが選択される。次に、各モデルが、画像の1つに(拡張を使用して又はその他の方法で)「多数決」を行い、最良の結果をもたらす多数決戦略が選択される。例となる多数決戦略には、最大信頼度、平均値、大数平均値、中央値、平均信頼度、中央信頼度、大数平均信頼度、加重平均、大数最大信頼度等が含まれる。多数決戦略が選択されると、拡張の組み合わせに対する評価方法も選択されなければならず、これは、上述のように、回転の各々がアンサンブルによってどのように処理されるべきかを記述する。この実施形態において、最終AIモデル100は、従って、個々のAIモデルの結果がどのように組み合わされることになるかを定める多数決戦略をエンコードするモード、及び、(存在する場合)拡張がどのように組み合わされることになるかを定める評価モードと共に、ディープラーニング及び/又はコンピュータビジョンモデルを使用した、訓練されたAIモデルの集合として定めることができる。
【0153】
モデルの選択を、それらの結果が互いに対比する、すなわち、それらの結果が可能な限り独立しており、スコアが良好に分布されるように行うことができる。この選択手順は、モデルごとにテストセット内のどの画像が正確に特定されたかを調べることによって実行される。2つのモデルを比較する際に、正確に特定された画像のセットが非常に類似している場合、又は各モデルによって提供されるスコアが所与の画像について互いに類似している場合、モデルは対照的なモデルとはみなされない。しかし、正確に特定された画像の2つのセット間に重複がほとんどない場合、又は各画像に対して提供されるスコアが互いに著しく異なる場合、モデルは対照的であるとみなされる。この手順は、2つの異なるモデルについてのテストセットにおける胚スコアの分布が類似しているかどうかを効果的に評価する。対照基準は、異なる入力画像又はセグメンテーションのために、多様な予測結果分布でモデル選択を駆動する。この方法は、特定のクリニックのデータセットにおいてのみ良好に機能したモデルの選択を回避することによって移動可能性(translatability)を確実にし、従って、オーバーフィッティングを防いだ。加えて、モデル選択は、多様性基準を使用することもできる。多様性基準は、異なるモデルのハイパーパラメータ及び構成を含むようにモデル選択を駆動する。その理由は、実際には、類似のモデル設定が、類似の予測結果をもたらし、従って、最終的なアンサンブルモデルには有用でない可能性があるためである。
【0154】
一実施形態において、これは、カウントアプローチを使用すること、及び、2つのセットにおける50%、75%、又は90%の重複画像等の閾値類似性を指定することによって実施することができる。他の実施形態では、画像のセット(例えば、生存可能なセット)におけるスコアを合計し、2つのセット(合計)を比較し、2つの合計が閾値量未満である場合に同様にランク付けすることができる。統計に基づく比較も、例えば、セットにおける画像の数を考慮するか、又さもなければ、セットの各々における画像の分布を比較して、使用することができる。
【0155】
AI及び機械学習における別のアプローチは、「知識蒸留」(蒸留に省略)モデル又は「生徒-教師」モデルとして知られており、これらのモデルでは、1つ(又は多数)のモデル(1つ又は複数の教師)から得られた重みパラメータの分布を使用して、生徒モデルの損失関数を介して別のモデル(生徒)の重みの更新に関する情報を提供する。本発明者等は、「蒸留」という用語を使用して、1つ又は複数の教師モデルを使用した生徒モデルを訓練するプロセスを説明する。この手順の背後にあるアイデアは、1つ又は複数の教師モデルのセットを模倣するように生徒モデルを訓練することである。このプロセスの背後にある直観は、教師モデルが、1つ又は複数の教師モデルからの分布の非存在下でモデルの結果から直接得られた元の予測確率(ハードラベル)には存在しない予測出力確率(ソフトラベル)間にわずかではあるが重要な関係を有しているということである。
【0156】
第一に、1つ又は複数の教師モデルのセットは、関心のあるデータセットにおいて訓練される。教師モデルは、任意のニューラルネットワーク又はモデルアーキテクチャのものであってもよく、互いに又は生徒モデルとは完全に異なるアーキテクチャでさえあってもよい。それらは、正確に同じデータセットを共有するか、又は、元のデータセットのばらばらの若しくは重複するサブセットを有することもできる。教師モデルが訓練されると、生徒が、教師モデルの出力を模倣するために蒸留損失関数を使用して訓練される。蒸留プロセスは、第一に、「転移データセット(transfer dataset)」として知られる教師モデルと生徒モデルの両方に利用可能にされたデータセットに教師モデルを適用することから始まる。転移データセットは、元のデータセットから引き出されたホールドアウトブラインドデータセットであってもよく、又は元のデータセット自体であってもよい。さらに、転移データセットは、完全にラベルされる必要はなく、すなわち、データの一部は、既知の結果と関連していない。このラベル制限の除去によって、データセットのサイズが人工的に増加させられるのが可能になる。次に、生徒モデルが、転移データセットに適用される。教師モデルの出力確率(ソフトラベル)が、分布から計算されたKL-Divergence又は「相対エントロピー」関数等のダイバージェンス尺度関数を介した生徒モデルの出力確率と比較される。ダイバージェンス尺度は、2つの確率分布間の「距離」を測定するための容認された数学的方法である。次に、ダイバージェンス尺度は、標準的な交差エントロピー分類損失関数と共に合計され、その結果、損失関数は、分類損失を効果的に最小化し、モデル性能を改善し、同時に教師モデルからの生徒モデルのダイバージェンスも改善する。典型的には、ソフトラベルマッチング損失(新しい損失のダイバージェンス成分)及びハードラベル分類損失(損失の元の成分)は、新しい損失関数における2つの項の各々の寄与を制御するために、互いに対して重み付けされる(訓練プロセスに余分な調整可能なパラメータを導入する)。
【0157】
モデルは、そのネットワークの重みによって定めることができる。一部の実施形態において、これは、機械学習コード/APIの適切な関数を使用してチェックポイントファイル又はモデルファイルをエクスポート又は保存することを含んでもよい。チェックポイントファイルは、機械学習コード/APIの一部として供給される標準的な関数(例えば、ModelCheckpoint()及びload_weights()等)を使用してエクスポートされ、次にリードバック(リロード)され得る定められたフォーマットを有する機械学習コード/ライブラリによって作成されるファイルであってもよい。ファイルフォーマットは、直接送信若しくはコピー(例えば、ftp又は類似のプロトコル)されてもよく、又はJSON、YAML若しくは類似のデータ転送プロトコルを使用してシリアライズ及び送信されてもよい。一部の実施形態では、モデルをさらに特徴付けることができるか、さもなければ、別のモデル(例えば、生徒モデル等)を別のノード/サーバ上で構築するのを支援することができる、モデル精度、エポック数等、さらなるモデルメタデータをエクスポート/保存し、ネットワークの重みと共に送信することができる。
【0158】
当該方法の実施形態は、胚の画像における1つ以上の異数性の存在の推定値を得るためのAIモデルを作成するために使用されてもよい。これらは、異数性スクリーニング人工知能(AI)モデルをコンピュータ計算で作成するように構成されたクラウドベースのコンピュータ計算システムにおいて実装され得る。モデルが作成されると、これを、胚の画像における1つ以上の異数性の存在の推定値をコンピュータ計算で生成するように構成されたクラウドベースのコンピュータ計算システムにおいて展開することができる。このシステムでは、クラウドベースのコンピュータ計算システムは、以前に作成された(訓練された)異数性スクリーニング人工知能(AI)モデルを含み、コンピュータ計算システムは、コンピュータ計算システムのユーザインターフェースを介してユーザから、異数性スクリーニング人工知能(AI)モデルに提供される画像を受信して、画像における1つ以上の異数性の存在の推定値を得るように構成される。画像における1つ以上の異数性の存在に関するレポートが、ユーザインターフェースを介してユーザに提供される。同様に、コンピュータ計算システムは、画像が得られるクリニック又は類似の位置に設けられてもよく、胚の画像における1つ以上の異数性の存在の推定値を生成するように構成される。この実施形態において、コンピュータ計算システムは、少なくとも1つのプロセッサと、少なくとも1つのメモリとを含み、少なくとも1つのメモリは、体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を受信し、さらに、ユーザインターフェースを介して、体外受精(IVF)後の所定の時間窓の間にキャプチャされた画像を、胚の画像における1つ以上の異数性の存在の推定値を生成するように構成されたクラウドベースの人工知能(AI)モデルにアップロードするようにプロセッサを構成する命令を含む。胚の画像における1つ以上の異数性の存在の推定値は、ユーザインターフェースを介して受信され、ユーザインターフェースによって表示される。
【0159】
結果
純粋に位相差顕微鏡画像から特定の染色体又は染色体群に対応する形態学的特徴を単離するAIモデルの能力を実証する結果が以下に示されている。これは、表1に従って、最も重篤な染色体欠陥(すなわち、着床後の有害事象の高いリスク)のいくつかに焦点を当てた一連の例となる研究を含む。最初の3つのケースでは、シンプルな例が、特定の染色体異常に対応する形態学的特徴があるかどうかを例示するために構築される。これは、影響を受けた染色体及び正倍数体の生存可能な胚のみを含めることによって行われる。これらの簡略化された例は、各々が異なる染色体欠陥/遺伝子欠損に焦点を当てた別々のモデルを組み合わせることに基づき、全体的なモデルを作成することが実行可能であるという証拠を提供する。表1に列挙した異数性を含む染色体群を使用するさらなる例も作成した。
【0160】
AIモデルが、正倍数体の生存可能な胚と、ダウン症候群と関連している21番染色体(モザイク胚を含む)を含む何らかの異常を含む胚との差を検出することができるかどうかを評価するために第1の研究を実行した。214の画像のブラインドデータセットにおける訓練されたモデルの結果は、71.0%の総合精度を達成した。
【0161】
AIモデル訓練に先立ち、(表1から)異数性に関与する場合に重篤な健康リスクとみなされる全ての染色体の表現及び生存可能な正倍数体の画像を有するブラインドテストセットを、訓練されたモデルに対する共通のテストセットとして使用することができるように抑えた。研究に関与した総画像数が表2に示されている:
【0162】
【表2】
テストセットにおける精度結果は以下の通りである:
- 21番染色体に何らかの異常を示す胚: 76.47%(52/68が正確に特定);及び
- 生存可能な正倍数体の胚: 68.49%(100/146が正確に特定)。
【0163】
結果の分布が、異数体の胚及び正倍数体の生存可能な胚についてそれぞれ
図6A及び6Bに示されている。異数体分布600は、左側のAIモデルによって不正確に特定された(見落とされた)21番染色体異常胚の小さなセット610(左側の斜めのフォワードスラッシュで満たされた棒グラフ)と、AIモデルによって正確に特定された21番染色体異常胚の大きなセット620(右側の斜めのバックスラッシュで満たされた棒グラフ)とを示している。同様に、正倍数体分布630は、左側のAIモデルによって不正確に特定された(見落とされた)21番染色体正常胚の小さなセット640(左側の斜めのフォワードスラッシュで満たされた棒グラフ)と、AIモデルによって正確に特定された21番染色体正常胚の大きなセット650(右側の斜めのバックスラッシュで満たされた棒グラフ)とを示している。どちらのプロットにおいても、異数体及び正倍数体の胚画像は、AIモデルによって提供されるように、それらの倍数性状態の結果スコアの明確なクラスタ化を有して十分に分離される。
【0164】
21番染色体の研究と同じ様式で、この方法論を、16番染色体について繰り返し、その改変は自閉症と関連付けられている。この研究に関与する総画像数が表3に示されている。
【0165】
【表3】
テストセットにおける精度結果は以下の通りである:
- 16番染色体に何らかの異常を示す胚: 70.21%(33/47が正確に特定);及び
- 生存可能な正倍数体の胚: 73.97%(108/146が正確に特定)。
【0166】
結果の分布が、異数体の胚及び正倍数体の生存可能な胚についてそれぞれ
図7A及び7Bに示されている。異数体分布700は、左側のAIモデルによって不正確に特定された(見落とされた)16番染色体異常胚の小さなセット710(左側の斜めのフォワードスラッシュで満たされた棒グラフ)と、AIモデルによって正確に特定された16番染色体異常胚の大きなセット750(右側の斜めのバックスラッシュで満たされた棒グラフ)とを示している。同様に、正倍数体分布730は、左側のAIモデルによって不正確に特定された(見落とされた)16番染色体正常胚の小さなセット740(左側の斜めのフォワードスラッシュで満たされた棒グラフ)と、AIモデルによって正確に特定された16番染色体正常胚の大きなセット750(右側の斜めのバックスラッシュで満たされた棒グラフ)とを示している。
【0167】
第3のケーススタディとして、この方法論が、パトウ症候群と関連している13番染色体について繰り返される。この研究に関与する総画像数が表4に示されている。
【0168】
【表4】
精度結果は以下の通りである:
- 13番染色体に何らかの異常を示す胚: 54.55%(24/44が正確に特定);及び
- 生存可能な正倍数体の胚: 69.13%(103/149が正確に特定)。
【0169】
この特定の染色体に対する精度は、21番及び16番染色体に対する精度よりも低いけれども、染色体によって、所与のデータセットサイズに対して、それらの特定の関連する異数性に対応する画像を特定することができる信頼性のレベルは異なるということが予想される。すなわち、各遺伝子異常は異なる目に見える特徴を示すことになり、従って、一部の異常は他の異常よりも容易に検出可能であると予想される。しかし、ほとんどの機械学習システムと同様に、訓練データセットのサイズ及び多様性を増大させることによって、特定の染色体異常の存在を検出するモデルの能力を最大限にすることが予想される。その結果、多数の異数性を別々に、全て一度に評価することができる複合アプローチは、訓練に組み込まれたケースの希少性に応じて、異なるレベルの信頼性で、胚に関連している遺伝子異常に関する有用な全体像を提供することができる。
【0170】
第4のケーススタディとして、この方法論は、染色体群分析において使用され、ここで、生存可能な正倍数体の胚が、(表1に従って)染色体13、14、16、18、21、及び45,Xを含む「重篤」とみなされる染色体変化の染色体群とともに含まれる。この実施例の目的のために、モザイク現象及び非モザイク現象が共に含まれ、全てのタイプの染色体変化が共に含まれる。この研究に関与する総画像数が表5に示されている。
【0171】
【表5】
精度結果は以下の通りである:
- 重篤な染色体に何らかの異常を示す胚: 54.95%(50/91が正確に特定);及び
- 生存可能な正倍数体の胚: 64.41%(38/59が正確に特定)。
【0172】
結果の分布が、異数体の胚及び正倍数体の生存可能な胚についてそれぞれ
図8A及び8Bに示されている。異数体分布800は、染色体重篤群にあるとして左側のAIモデルによって不正確に特定された(見落とされた)異数体/異常の胚の小さなセット810(左側の斜めのフォワードスラッシュで満たされた棒グラフ)と、染色体重篤群にあるとしてAIモデルによって正確に特定された異数体/異常の胚の大きなセット820(右側の斜めのバックスラッシュで満たされた棒グラフ)とを示している。同様に、正倍数体分布830は、染色体重篤として左側のAIモデルによって不正確に特定された(見落とされた)正常な正倍数体の胚の小さなセット840(左側の斜めのフォワードスラッシュで満たされた棒グラフ)と、AIモデルによって正確に特定された正常な正倍数体の胚の大きなセット850(右側の斜めのバックスラッシュで満たされた棒グラフ)とを示している。
【0173】
この染色体群に対する精度は、個々の染色体に対する精度よりも低いけれども、類似のレベルの重篤度のグループ化された染色体、又は形態学的ベースの特定の組み合わせを、所与のデータセットサイズに対して、それらの特定の関連している異数性に対応して特定することができるということが予想される。すなわち、各遺伝子異常は異なる目に見える特徴を示すことになり、従って、一部の異常は他の異常よりも容易に検出可能であると予想される。しかし、ほとんどの機械学習システムと同様に、訓練データセットのサイズ及び多様性を増大させることによって、特定の染色体異常の存在を検出するモデルの能力を最大限にすることが予想される。その結果、多数の異数性を別々に、全て一度に評価することができる複合アプローチは、訓練に組み込まれたケースの希少性に応じて、異なるレベルの信頼性で、胚に関連している遺伝子異常に関する有用な全体像を提供することができる。
【0174】
これら4つの研究は、AI/機械学習及びコンピュータビジョン技術が21番、16番、及び13番染色体及び組み合わされた染色体群における異常に関連している形態学的特徴を別々に特定することができるということを示している。
【0175】
AIモデルは各々、ある程度の信頼性で、特定の重篤な染色体異常に関連している形態学的特徴を検出することができる。選択モデルによって提供される倍数性状態に関連しているスコアのヒストグラムは、正倍数体の胚画像と異数体の胚画像との合理的な分離を示している。
【0176】
染色体異常に関連している形態学的特徴は潜在的にわずかで複雑である可能性があり、小さなデータセットにおいて訓練することによってこれらのパターンを効果的に発見することを課題にしている。本研究は、画像における胚形態と染色体異常との強い相関を示すけれども、AIモデルを訓練するためのはるかに大きく多様なデータセットを用いて、より高い精度が達成されるということが予想される。
【0177】
これらの研究は、一般的な異数性評価モデルの構築の実行可能性が、各々が異なる染色体異常に焦点を当てた別々のモデルを組み合わせることに基づいているということを例示している。そのようなより一般的な異数性評価モデルは、表1において概説されているように、又は臨床診療に従って判定されるように、重度及び軽度の両方の染色体異常のより広範な種類を組み込むことができた。すなわち、典型的には全ての異数性(及びモザイク現象)を単にまとめて存在/非存在のコールを与える従来のシステムとは対照的に、本システムは、広範な染色体異常の検出を可能にするために個々のモデルをまとめる前に、問題を独立した染色体群に分け、各群においてこれらのモデルを別々に訓練することによって、性能を改善している。問題をより小さな染色体群に分け、次に、各々が異なる方法で訓練されるか又は異なる構成若しくはアーキテクチャ(例えば、階層、バイナリ、多クラス、多群)を有する多数の異なるモデルを訓練することによって、各々が異なる最適化問題を効果的に解決し、従って入力画像において異なる結果をもたらす多様なモデルが作成される。この多様性は、次に、最適なモデルが選択されるのを可能にする。加えて、このアプローチは、侵襲的なスクリーニング方法では現在検出可能ではないモザイク現象を特定するように設計されている。IVFサイクルの間、胚は貴重で限られた資源である。現在の成功率は(実行可能な妊娠の観点から)低く、追加サイクルの経済的及び感情的コストは高い。従って、有害事象の重症度に基づく等、染色体群を定めることに基づく、改善された非侵襲的な異数性評価ツールを提供することによって、臨床医及び患者にとってより微妙な差異を明らかにする有益な結果がもたらされる。これによって、特に、(現在のサイクルに対する)全ての利用可能な胚が異数性又はモザイク現象を示す困難な状況において、より多くの情報に基づいた決定を行うことが可能となり、従って、臨床医及び患者が、あり得るリスクのバランスをとり、どの胚を着床させるかについて、より多くの情報に基づいた選択決定を行うのが可能となる。
【0178】
階層モデル及びバイナリモデル、並びに単一群又は多群モデルを含むいくつかの実施形態が論じられている。特に、胚画像に品質ラベルを与えることによって、階層モデルを使用してAIモデルを訓練することができる。この実施形態では、階層的シーケンスの層モデルが作成され、染色体群ごとに別々の階層モデルが作成され得る。各層において、画像は品質に基づき分けられ、最良の品質の画像がその層においてモデルを訓練するために使用される。すなわち、各層において、訓練セットは、最良の品質の画像及び他の画像に分割される。その層におけるモデルは、最良の品質の画像において訓練され、他の画像は次の層に渡され、処理が繰り返される(従って、残りの画像は、次の最良の品質の画像と他の画像に分けられる)。階層モデルにおけるモデルは、全てバイナリモデル、全て多クラスモデル、又は複数の層にわたってバイナリモデルと多クラスモデルの両方の組み合わせであり得る。加えて、この階層的訓練方法を、多群モデルを訓練するために使用することもできる。階層モデルアプローチの背後にある理論的根拠は、高品質とみなされた胚画像が、異常が最小限の(すなわち、「最高の胚のように見える」)画像において最高品質の形態学的特徴を有する可能性が高く、従って、染色体欠陥を含む(すなわち、「不良又は異常な特徴を有するように見える」)胚画像と比較して形態学的格差/差異が最も大きいということである。従って、これによって、AIアルゴリズムが、画像のこれら2つの(極端な)分類間の形態学的特徴をより良く検出し及び予測するのが可能になる。このプロセスを、異なる数の層/品質ラベルを用いて何度も繰り返して、階層モデルのセットを作成することができる。染色体群ごとに多数の独立した階層モデルが作成され、この階層モデルのセットから、最良の階層モデルを選択することができる。これは、品質測定基準に基づいてもよく、又はアンサンブル若しくは蒸留技術が使用されてもよい。
【0179】
一部の実施形態において、バイナリモデルのセットが、染色体群ごとに、又は染色体群の全て(又は少なくとも多数の染色体群)を分類する1つ以上の多群モデルに対して作成され得る。階層多群モデルを含む多群モデルと同様に、多数の異なるバイナリモデルのセット及び多数の多クラスモデルが作成されてもよい。これらは、AIモデルのさらなる多様性を提供する。候補モデルのセットが作成されると、これらを使用し、最終AIモデルを作成して、画像における染色体群の各々を特定することができる。これは、さらに、アンサンブル、蒸留、又は、多数のモデルに基づき最終的な単一モデルを訓練するための他の類似の方法を使用して精緻化又は作成することができる。最終モデルが選択されると、次に、これを展開して、IVFの間の新たな画像を分類することができ、従って、例えば、高い胚を特定及び排除することによって、或いは異数性のリスクが最も低い胚を特定することによって、着床のための(1つ又は複数の)胚の選択を支援することができる。
【0180】
従って、染色体異常に関する研究の組み合わせで開発された方法論を使用して、プレスクリーニングツールとして、着床前遺伝子診断(PGD)に先立ち胚画像を特徴付けるか、又は容易に利用可能なPGD技術を使用することができないクリニックを補完するための一連の高レベルの遺伝子解析を提供することができる。例えば、画像が有害な染色体異常の存在の高い確率/信頼性を示唆する場合、低リスクであると考えられる胚のみが移植されるように胚を廃棄するか、又は侵襲的な(及び高リスクの)PGD技術を受けさせることができる。
【0181】
情報及び信号が種々のテクノロジー及び技術のいずれかを使用して表現され得るということを当業者は理解するであろう。例えば、上記の説明全体を通して言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場若しくは磁性粒子、光学場若しくは光学粒子、又はそれらの任意の組み合わせによって表現されてもよい。
【0182】
当業者は、さらに、本明細書において開示される実施形態に関連して記載される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア若しくは命令、ミドルウェア、プラットフォーム、又はそれらの組み合わせとして実装され得ることを正しく理解するであろう。ハードウェア及びソフトウェアのこの互換性を明確に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップが、それらの機能性の観点から一般的に記載されてきた。そのような機能性がハードウェア又はソフトウェアとして実装されるかどうかは、特定の用途及びシステム全体に課される設計上の制約次第である。当業者は、各特定の用途に対して様々な方法で、記載される機能性を実装することができるが、そのような実装決定は、本発明の範囲から逸脱させるものとして解釈されるべきではない。
【0183】
本明細書において開示される実施形態に関連して記載される方法又はアルゴリズムのステップは、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、又はクラウドベースのシステムを含む2つの組み合わせにおいて直接具体化されてもよい。ハードウェア実装のために、処理が、1つ以上の特定用途向け集積回路(ASICs)、デジタルシグナルプロセッサ(DSPs)、デジタル信号処理デバイス(DSPDs)、プログラマブルロジックデバイス(PLDs)、フィールドプログラマブルゲートアレイ(FPGAs)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、若しくは本明細書において記載される機能を行うように設計された他の電子ユニット、又はそれらの組み合わせ内で実装されてもよい。様々なミドルウェア及びコンピューティングプラットフォームが使用されてもよい。
【0184】
一部の実施形態において、プロセッサモジュールは、方法のステップの一部を行うように構成された1つ以上の中央処理装置(CPUs)、グラフィックスプロセッシングユニット(GPU)、及び/又はテンソルプロセッシングユニット(TPU)を含む。同様に、コンピュータ計算装置は、1つ以上のCPU、GPU、及び/又はTPUを含んでもよい。CPUは、入出力インターフェース、演算装置(ALU)、並びに、入出力インターフェースを介して入力及び出力装置と通信する制御装置及びプログラムカウンタ要素を含んでもよい。入出力インターフェースは、既定の通信プロトコル(例えば、IEEE 802.11、IEEE 802.15、TCP/IP、UDP等)を使用して、別のデバイスにおける同等の通信モジュールと通信するためのネットワークインターフェース及び/又は通信モジュールを含んでもよい。コンピュータ計算装置は、単一のCPU(コア)若しくは多数のCPU(マルチコア)、又は多数のプロセッサを含んでもよい。コンピュータ計算装置は、典型的には、GPU又はTPUクラスタを使用するクラウドベースのコンピュータ計算装置であるが、パラレルプロセッサ、ベクトルプロセッサ、又は分散コンピューティングデバイスであってもよい。メモリが、1つ又は複数のプロセッサに動作可能に結合され、RAM及びROM構成要素を含んでもよく、デバイス又はプロセッサモジュールの内部又は外部に提供されてもよい。オペレーティングシステム及びさらなるソフトウェアモジュール又は命令を格納するためにメモリを使用することができる。1つ又は複数のプロセッサは、メモリに格納されたソフトウェアモジュール又は命令をロード及び実行するように構成されてもよい。
【0185】
コンピュータプログラム、コンピュータコード、又は命令としても知られるソフトウェアモジュールは、多数のソースコード又はオブジェクトコードのセグメント又は命令を有してもよく、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、DVD-ROM、ブルーレイディスク、又は任意の他の形態のコンピュータ読み取り可能媒体等、任意のコンピュータ読み取り可能媒体内に存在してもよい。一部の態様において、コンピュータ読み取り可能媒体は、非一時的なコンピュータ読み取り可能媒体(例えば、有形媒体等)を含んでもよい。加えて、他の態様では、コンピュータ読み取り可能媒体は、一時的なコンピュータ読み取り可能媒体(例えば、信号等)を含んでもよい。上記の組み合わせも、コンピュータ読み取り可能媒体の範囲内に含まれるべきである。別の態様では、コンピュータ読み取り可能媒体は、プロセッサに一体化されてもよい。プロセッサ及びコンピュータ読み取り可能媒体は、ASIC又は関連装置内に存在してもよい。ソフトウェアコードは、メモリユニットに格納されてもよく、プロセッサは、それらを実行するように構成されてもよい。メモリユニットは、プロセッサ内に実装されてもよく、又はプロセッサの外部に実装されてもよく、その場合、当技術分野において既知の様々な手段を介してプロセッサに通信的に結合することができる。
【0186】
さらに、本明細書において記載される方法及び技術を行うためのモジュール及び/又は他の適切な手段は、ダウンロードすることができる及び/又は他の方法でコンピュータ計算装置によって得ることができるということが正しく理解されるべきである。例えば、そのような装置は、本明細書において記載される方法を行うための手段の転送を容易にするためにサーバに結合することができる。或いは、コンピュータ計算装置が、記憶手段を装置に結合又は提供する際に様々な方法を得ることができるように、本明細書において記載される様々な方法は、記憶手段(例えば、RAM、ROM、コンパクトディスク(CD)又はフロッピーディスク等の物理記憶媒体等)を介して提供することができる。さらに、本明細書において記載される方法及び技術を装置に提供するための任意の他の適した技術を利用することができる。
【0187】
本明細書において開示される方法は、記載される方法を達成するための1つ以上のステップ又はアクションを含む。当該方法のステップ及び/又はアクションは、特許請求の範囲から逸脱することなく、互いに交換されてもよい。言い換えると、特定のステップ又はアクションの順序が指定されない限り、特定のステップ及び/又はアクションの順序及び/又は使用を、特許請求の範囲から逸脱することなく修正することができる。
【0188】
本明細書及び添付の特許請求の範囲を通して、文脈上他の意味に解すべき場合を除き、「含む」という用語及び「含んでいる」等の変形は、記載された整数又は整数のグループを含むことを意味するが、任意の他の整数又は整数のグループを除外することは意味しないと理解されることになる。本明細書における任意の先行技術の参照は、そのような先行技術が技術常識の一部を形成することを示唆する何らかの形態の認知ではなく、そのように解釈されるべきではない。
【0189】
本発明は、その使用において、記載される特定の用途に限定されないことが、当業者によって正しく理解されることになる。また、本発明は、その好ましい実施形態において、本明細書において記載される又は描かれる特定の要素及び/又は特徴に関して限定されない。本発明は、開示される1つ又は複数の実施形態に限定されるものではないが、添付の特許請求の範囲によって明記され且つ定められた本発明の範囲から逸脱することなく、多くの再構成、修正、及び置換が可能であることが正しく理解されることになる。
【国際調査報告】