IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エーライフ ヘルス インコーポレイテッドの特許一覧

特表2024-513659人工知能を使用して胚生存能力を評価するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】人工知能を使用して胚生存能力を評価するためのシステムおよび方法
(51)【国際特許分類】
   G06V 10/82 20220101AFI20240319BHJP
   G06T 7/00 20170101ALI20240319BHJP
   G06V 20/69 20220101ALI20240319BHJP
   G01N 33/48 20060101ALI20240319BHJP
【FI】
G06V10/82
G06T7/00 350C
G06V20/69
G06T7/00 630
G01N33/48 M
G01N33/48 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023553282
(86)(22)【出願日】2022-03-03
(85)【翻訳文提出日】2023-09-28
(86)【国際出願番号】 US2022018743
(87)【国際公開番号】W WO2022187516
(87)【国際公開日】2022-09-09
(31)【優先権主張番号】63/157,433
(32)【優先日】2021-03-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/256,332
(32)【優先日】2021-10-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.TENSORFLOW
2.PYTHON
(71)【出願人】
【識別番号】523306726
【氏名又は名称】エーライフ ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ロブケ, ケビン
(72)【発明者】
【氏名】ラウン, マーク
(72)【発明者】
【氏名】テラン, メリッサ
(72)【発明者】
【氏名】メーダー-ヨーク, パクストン
【テーマコード(参考)】
2G045
5L096
【Fターム(参考)】
2G045AA24
2G045FA19
2G045JA03
5L096BA18
5L096CA02
5L096DA03
5L096FA06
5L096GA30
5L096HA11
5L096JA16
5L096KA04
5L096MA07
(57)【要約】
1つまたはそれを上回る胚の生存能力を予測するためのシステムおよび方法が、本明細書に説明される。いくつかの変形例では、方法は、画像捕捉デバイスとのリアルタイム通信リンクを介して、胚の単一画像を受信することと、少なくとも1つの畳み込みニューラルネットワークを介して、単一画像を分類することによって、胚に関する生存能力スコアを発生させることとを含み得る。いくつかの変形例では、方法は、複数の単一画像を受信することであって、各単一画像は、複数の胚の異なる個別の胚を描写する、ことと、少なくとも1つの畳み込みニューラルネットワークを介して、各単一画像を分類することによって、胚毎の生存能力スコアを発生させることと、複数の胚に関する生存能力スコアに基づいて、複数の胚をランク付けすることとを含み得る。
【特許請求の範囲】
【請求項1】
胚の生存能力を予測するためのコンピュータ実装方法であって、前記方法は、
画像捕捉デバイスとのリアルタイム通信リンクを経由して単一画像を受信することと、
第1の畳み込みニューラルネットワークを介して、前記単一画像を前記胚の境界までクロッピングすることと、
少なくとも第2の畳み込みニューラルネットワークを介して、前記クロッピングされた単一画像を分類することによって、前記胚に関する生存能力スコアを発生させることと
を含む、方法。
【請求項2】
前記単一画像は、時系列の画像の一部ではない、請求項1に記載の方法。
【請求項3】
前記胚に関する前記生存能力スコアを発生させることは、前記単一画像が胚を描写することを決定することに応答して実施される、請求項1に記載の方法。
【請求項4】
前記単一画像が胚を描写していないことを決定することに応答して、前記画像捕捉デバイスのユーザにアラートを提供することをさらに含む、請求項1に記載の方法。
【請求項5】
前記胚が単一の胚盤胞である確率を決定することをさらに含む、請求項1に記載の方法。
【請求項6】
前記リアルタイム通信リンクは、前記画像捕捉デバイスに通信可能に結合されるコンピューティングデバイス上で実行されるアプリケーションによって提供される、請求項1に記載の方法。
【請求項7】
前記アプリケーションは、前記コンピューティングデバイス上の表示に、捕捉ボタンを表示させる、請求項6に記載の方法。
【請求項8】
ユーザが前記捕捉ボタンを選択することに応答して、前記画像捕捉デバイスは、前記胚の第1の単一画像を捕捉する、請求項7に記載の方法。
【請求項9】
前記生存能力スコアは、前記胚が臨床的妊娠に到達する尤度を表す、請求項1に記載の方法。
【請求項10】
前記生存能力スコアは、前記胚が生児出生に到達する尤度を表す、請求項1に記載の方法。
【請求項11】
前記胚が臨床的妊娠に到達する尤度は、胎児心臓活動の転帰と関連付けられる、請求項1に記載の方法。
【請求項12】
前記生存能力スコアは、少なくとも部分的に、患者と関連付けられるデータに基づく、請求項1に記載の方法。
【請求項13】
前記データは、年齢、肥満度指数、画像捕捉の日、およびドナーステータスのうちの少なくとも1つを含む、請求項12に記載の方法。
【請求項14】
データベース内に前記生存能力スコアを記憶することをさらに含む、請求項1に記載の方法。
【請求項15】
前記生存能力スコアを患者および臨床医のうちの少なくとも1人に通信することをさらに含む、請求項1に記載の方法。
【請求項16】
第4の畳み込みニューラルネットワークを介して、前記胚が正倍数体であるかまたは異数体であるかを予測することをさらに含む、請求項1に記載の方法。
【請求項17】
前記胚が正倍数体であるかまたは異数体であるかを予測することは、少なくとも部分的に、対象と関連付けられるデータに依存する、請求項16に記載の方法。
【請求項18】
前記データは、年齢および生検の日のうちの少なくとも1つである、請求項17に記載の方法。
【請求項19】
前記胚が正倍数体であるかまたは異数体であるかに基づいて、倍数性転帰を発生させることと、
少なくとも部分的に、前記倍数性転帰および前記データに基づいて、少なくとも前記第4の畳み込みニューラルネットワークを更新することと
をさらに含む、請求項17に記載の方法。
【請求項20】
前記胚は、生検および凍結のうちの少なくとも1つを受けるべきであり、前記方法はさらに、生検または凍結に先立つ前記胚の単一画像を受信することと、生検および凍結のうちの少なくとも1つに先立つ前記胚の生存能力を決定することとを含む、請求項1に記載の方法。
【請求項21】
前記胚は、凍結および解凍されており、前記方法はさらに、解凍後の前記胚の単一画像を受信することと、前記第2の畳み込みニューラルネットワークを介して、解凍後の前記胚の生存能力を決定することとを含む、請求項1に記載の方法。
【請求項22】
解凍後の前記胚の生存能力を決定することは、前記単一画像を、前記胚が解凍後に生存していることを示す第1のクラスまたは前記胚が解凍後に生存していないことを示す第2のクラスのいずれかに分類することを含む、請求項21に記載の方法。
【請求項23】
複数の単一画像を受信することであって、各単一画像は、複数の胚の個別の胚を描写する、ことと、前記第2の畳み込みニューラルネットワークを介して、各単一画像を分類することによって、胚毎の生存能力スコアを発生させることと、前記複数の胚に関する前記生存能力スコアに基づいて、前記複数の胚をランク付けすることとをさらに含む、請求項1に記載の方法。
【請求項24】
複数の胚を特性評価するためのコンピュータ実装方法であって、前記方法は、
複数の単一画像を受信することであって、各単一画像は、複数の胚の異なる個別の胚を描写する、ことと、
少なくとも1つの畳み込みニューラルネットワークを介して、各単一画像を分類することによって、胚毎の生存能力スコアを発生させることと、
前記複数の胚に関する前記生存能力スコアに基づいて、前記複数の胚をランク付けすることと
を含む、方法。
【請求項25】
前記単一画像は、時系列の画像の一部ではない、請求項24に記載の方法。
【請求項26】
前記複数の胚のランク付けに従って、表示上で前記複数の単一画像を表示することをさらに含む、請求項24に記載の方法。
【請求項27】
前記複数の胚に関する前記生存能力スコアを表示することをさらに含む、請求項26に記載の方法。
【請求項28】
前記少なくとも1つの畳み込みニューラルネットワークは、複数の畳み込みニューラルネットワークを含む、請求項24に記載の方法。
【請求項29】
前記胚毎の生存能力スコアを発生させることは、前記複数の畳み込みニューラルネットワークの第1の畳み込みニューラルネットワークを介して、前記単一画像のうちの少なくとも1つを前記胚の境界までクロッピングすることを含む、請求項28に記載の方法。
【請求項30】
前記生存能力スコアは、前記胚が臨床的妊娠に到達する尤度を表す、請求項24に記載の方法。
【請求項31】
前記胚が臨床的妊娠に到達する尤度は、胎児心臓活動の転帰と関連付けられる、請求項30に記載の方法。
【請求項32】
前記第1のスコアは、少なくとも部分的に、患者と関連付けられるデータに基づく、請求項24に記載の方法。
【請求項33】
前記データは、年齢、肥満度指数、画像捕捉の日、およびドナーステータスのうちの少なくとも1つを含む、請求項32に記載の方法。
【請求項34】
前記少なくとも1つの畳み込みニューラルネットワークを介して、前記胚が正倍数体であるかまたは異数体であるかを予測することをさらに含む、請求項24に記載の方法。
【請求項35】
前記胚が正倍数体であるかまたは異数体であるかを予測することは、少なくとも部分的に、対象と関連付けられるデータに依存する、請求項34に記載の方法。
【請求項36】
前記データは、年齢および生検の日のうちの少なくとも1つである、請求項35に記載の方法。
【請求項37】
前記胚が正倍数体であるかまたは異数体であるかに基づいて、倍数性転帰を発生させることと、
少なくとも部分的に、前記倍数性転帰および前記データに基づいて、前記少なくとも1つの畳み込みニューラルネットワークを更新することと
をさらに含む、請求項35に記載の方法。
【請求項38】
前記胚は、凍結および解凍されており、前記方法はさらに、解凍後の前記胚の単一画像を受信することと、前記少なくとも1つの畳み込みニューラルネットワークを介して、解凍後の前記胚の生存能力を決定することとを含む、請求項24に記載の方法。
【請求項39】
解凍後の前記胚の生存能力を決定することは、前記少なくとも1つの畳み込みニューラルネットワークを介して、前記単一画像を、前記胚が解凍後に生存していることを示す第1のクラスまたは前記胚が解凍後に低減された生存能力を有することを示す第2のクラスのいずれかに分類することを含む、請求項38に記載の方法。
【請求項40】
胚の生存能力を予測するためのコンピュータ実装方法であって、前記方法は、
画像捕捉デバイスを用いて捕捉された前記胚の単一画像を受信することと、
少なくとも1つの畳み込みニューラルネットワークを介して、各単一画像を分類することによって、胚毎の生存能力スコアを発生させることと
を含み、
前記少なくとも1つの畳み込みニューラルネットワークは、複数の画像捕捉デバイスを用いて捕捉された胚の複数の単一画像を備える訓練データに基づいて訓練される、方法。
【請求項41】
前記単一画像は、時系列の画像の一部ではない、請求項40に記載の方法。
【請求項42】
前記生存能力スコアは、前記胚が臨床的妊娠に到達する確率を表す、請求項40に記載の方法。
【請求項43】
前記少なくとも1つの畳み込みニューラルネットワークは、少なくとも部分的に、各個別の画像捕捉デバイスと関連付けられる転帰の出現率を平衡させることによって訓練される、請求項40に記載の方法。
【請求項44】
前記転帰の出現率は、各個別の画像捕捉デバイスと関連付けられる陽性妊娠転帰のパーセンテージを表す対応するバイアスを含む、請求項43に記載の方法。
【請求項45】
胚の生存能力を予測するためのコンピュータ実装方法であって、前記方法は、
前記胚の単一画像を受信することと、
少なくとも1つの畳み込みニューラルネットワークを介して、各単一画像を分類することによって、胚毎の生存能力スコアを発生させることと
を含み、
前記少なくとも1つの畳み込みニューラルネットワークは、少なくとも部分的に、複数の胚の複数の拡張画像を備える訓練データに基づいて訓練される、方法。
【請求項46】
前記単一画像は、時系列の画像の一部ではない、請求項45に記載の方法。
【請求項47】
前記生存能力スコアは、前記胚が臨床的妊娠に到達する確率を表す、請求項45に記載の方法。
【請求項48】
前記複数の拡張画像は、前記複数の胚の回転、反転、スケーリング、および変動された画像のうちの少なくとも1つを含み、前記変動された画像は、コントラスト、輝度、および彩度のうちの1つまたはそれを上回るものの変化を含む、請求項45に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、そのそれぞれが、本参照によってその全体として本明細書に組み込まれる、2021年10月15日に出願された米国仮特許出願第63/256,332号および2021年3月5日に出願された米国仮特許出願第63/157,433号の優先権を主張する。
【0002】
本発明は、概して、胚生存能力を評価する分野に関する。
【背景技術】
【0003】
体外受精(IVF)は、広く公知の生殖補助技術である。IVFは、卵巣刺激、卵母細胞回収、卵母細胞受精、胚培養、胚選択、および胚移植等のいくつかの複雑なステップを伴う。典型的には、胚は、胚盤胞段階(例えば、胚移植段階)まで培養される。すなわち、卵母細胞回収および受精に続いて、胚は、内部細胞塊および栄養外胚葉構造への明確な分化が存在するまで培養される。より能力の低い胚は、多くの場合、胚盤胞段階に先立ってそれらの発達を止める。概して、胚の一群が、胚盤胞段階まで到達し得る。したがって、胚盤胞段階まで生存する胚は、胚が移植のために選択される前に、査定される必要がある。査定に基づいて、単一の胚(または、稀な場合では、複数の胚)が、移植のために選択され得る。
【0004】
故に、胚選択は、IVFプロセスの重要な側面である。従来的に、胚選択は、胚培養士が胚を手動で検査および査定することによって実施される。胚培養士は、顕微鏡下で胚を検査することによって、等級を胚に割り当て得る。胚培養士は、胚を等級付けするために、胚盤胞拡大の程度、内部細胞塊の品質、および栄養外胚葉の品質等の特徴を査定し得る。しかしながら、胚を手動で等級付けすることは、非常に主観的なプロセスであり得る。異なる胚培養士は、自身の個別の手動検査に基づいて、胚を異なるように等級付けし得る。研究は、手動検査および等級付けが、多くの場合、直感に頼ったアプローチであり得ることを見出している。したがって、等級は、胚を検査する胚培養士に応じて、大幅に変動し得る。
【0005】
より最近では、非手動技法が、胚選択のプロセスをより一貫したものにするために探求されている。しかしながら、これらの既存の技法は、幅広い採用を得ることができていない。例えば、周期的様式で胚の画像のシーケンスを捕捉する、タイムラプス撮像が、広範に研究されている。しかしながら、タイムラプス撮像は、高価である傾向がある、特殊化された顕微鏡を要求する。その配設の高い費用は、診療所および実験室がその技術を採用することを阻んでいる。最近研究されている別の技法は、着床前胚染色体異数性試験(PGT-A)である。既存のPGT-A試験は、侵襲性試験である。これらの試験に続く胚の健常性についての懸念が、提起されている。加えて、既存のPGT-A試験は、単に、正倍数体および異数体胚を識別する。異数体胚が、正常な妊娠転帰を有する可能性が低いことが公知であるが、必ずしも全ての正倍数体胚が正常な妊娠転帰につながるわけではない。したがって、既存のPGT-A試験は、依然として、胚生存能力を査定する問題を完全には解決し得ない。
【0006】
したがって、胚の等級付けを標準化し、胚の生存能力を予測する正確度を改良するための新しい改良された方法の満たされていない必要性が、存在する。さらに、費用効果があり、実装が容易であり、採用が容易である、胚生存能力を評価する新しい改良された方法の満たされていない必要性が、存在する。
【発明の概要】
【課題を解決するための手段】
【0007】
概して、いくつかの変形例では、胚の生存能力を予測するためのコンピュータ実装方法は、胚の単一画像を受信することと、少なくとも1つの畳み込みニューラルネットワークを介して、単一画像を分類することによって、胚に関する生存能力スコアを発生させることであって、生存能力スコアは、胚の予測生存能力を表す、こととを含んでもよい。いくつかの変形例では、少なくとも1つの畳み込みニューラルネットワークを介して分類される単一画像は、時系列の画像の一部ではない。生存能力スコアは、例えば、胚が臨床的妊娠に到達する予測尤度(例えば、胚が臨床的妊娠に到達する尤度は、胎児心臓活動の転帰と関連付けられてもよい)、胚が生児出生に到達する尤度、および/または同等物を表してもよい。いくつかの変形例では、生存能力スコアは、少なくとも部分的に、年齢、肥満度指数、画像捕捉の日、およびドナーステータス等の患者と関連付けられるデータに基づいてもよい。いったん発生されると、生存能力スコアは、患者(例えば、胚が着床され得る患者)と関連付けられるデータベース内に記憶される、および/または患者、臨床医、画像捕捉デバイスのユーザ等に通信されてもよい。
【0008】
例えば、いくつかの変形例では、コンピュータ実装方法は、画像捕捉デバイスとのリアルタイム通信リンクを経由して単一画像を受信することと、第1の畳み込みニューラルネットワークを介して、単一画像を胚の境界までクロッピングすることと、少なくとも第2の畳み込みニューラルネットワークを介して、単一画像を分類することによって、胚に関する生存能力スコアを発生させることとを含んでもよい。いくつかの変形例では、分類される単一画像は、時系列の画像の一部ではない。上記に説明されるように、生存能力スコアは、例えば、胚が臨床的妊娠に到達する予測尤度(例えば、胚が臨床的妊娠に到達する尤度は、胎児心臓活動の転帰と関連付けられてもよい)を表してもよい。別の実施例として、生存能力スコアは、胚が生児出生に到達する尤度を表してもよい。いくつかの変形例では、生存能力スコアは、少なくとも部分的に、年齢、肥満度指数、画像捕捉の日、およびドナーステータス等の患者と関連付けられるデータに基づいてもよい。いったん発生されると、生存能力スコアは、患者(例えば、胚が着床され得る患者)と関連付けられるデータベース内に記憶される、および/または患者、臨床医、画像捕捉デバイスのユーザ等に通信されてもよい。
【0009】
いくつかの変形例では、リアルタイム通信リンクは、画像捕捉デバイスに通信可能に結合されるコンピューティングデバイス上で実行されるアプリケーションによって提供されてもよい。アプリケーションは、ユーザが捕捉ボタンを選択することに応答して、画像捕捉デバイスが、胚の1つまたはそれを上回る単一画像を捕捉するように、コンピューティングデバイス上の表示に、捕捉ボタンを表示させてもよい。
【0010】
さらに、いくつかの変形例では、本方法は、(例えば、第3の畳み込みニューラルネットワークを介して)単一画像が胚を描写するかどうかを決定することおよび/または単一画像内の胚が単一の胚盤胞である確率を決定すること等、単一画像に対して1つまたはそれを上回る品質制御手段を実施することを含んでもよい。さらに、いくつかの変形例では、本方法は、単一画像が胚を描写することを決定することに応答して、胚に関する生存能力スコアを発生させることを含んでもよい。加えて、または代替として、いくつかの変形例では、本方法は、単一画像が胚を描写していないことを決定することに応答して、画像捕捉デバイスのユーザにアラートを提供することを含んでもよい。
【0011】
加えて、または代替として、本方法はさらに、第4の畳み込みニューラルネットワークを介して、胚が正倍数体であるかまたは異数体であるかを予測することを含んでもよい。本予測することはまた、いくつかの変形例では、少なくとも部分的に、対象と関連付けられるデータ(例えば、年齢、生検の日等)に依存してもよい。本方法は、胚が正倍数体であるかまたは異数体であるかに基づいて、倍数性転帰を発生させることと、少なくとも部分的に、倍数性転帰およびデータに基づいて、少なくとも第4の畳み込みニューラルネットワークを更新することとを含んでもよい。
【0012】
本方法は、凍結されていない胚の生存能力および/または凍結および解凍されている胚の生存能力を予測するために使用されてもよい。例えば、いくつかの変形例では、胚は、凍結および解凍されており、本方法は、解凍後の胚の単一画像を受信することと、第2の畳み込みニューラルネットワークを介して、解凍後の胚の生存能力を決定することとを含んでもよい。解凍後の胚の生存能力を決定することは、単一画像を、胚が解凍後に生存していることを示す第1のクラスまたは胚が解凍後に低減された生存能力を有する(例えば、より低いレベルの生存能力、生存していない等)ことを示す第2のクラスのいずれかに分類することを含んでもよい。いくつかの変形例では、本方法は、生検および/または凍結を受けるべきである胚の生存能力を予測するために使用されてもよい。例えば、本方法は、生検および/または凍結に先立つ胚の単一画像を受信することと、生検および/または凍結に先立つ胚の生存能力を決定することとを含んでもよい。
【0013】
加えて、または代替として、本方法は、複数の単一画像を受信することであって、各単一画像は、複数の胚の個別の胚を描写する、ことと、少なくとも1つの畳み込みネットワークを介して、各単一画像を分類することによって、複数の胚の胚毎の生存能力スコアを発生させることと、複数の胚に関する生存能力スコアに基づいて、胚をランク付けすることとを含んでもよい。さらに、いくつかの変形例では、本方法は、複数の胚のランク付けに従って、表示上で複数の単一画像を表示することおよび/または複数の胚に関する生存能力スコアを表示することを含んでもよい。
【0014】
いくつかの変形例では、少なくとも1つの畳み込みニューラルネットワークを介して分類される単一画像は、時系列の画像の一部ではない。いくつかの変形例では、複数の画像のうちのいくつかは、異なる画像捕捉デバイス(例えば、画像捕捉デバイスの異なる事例および/または画像捕捉デバイスの異なるタイプ)から生じてもよい。
【0015】
上記に説明されるように、生存能力スコアは、例えば、胚が臨床的妊娠に到達する予測尤度(例えば、胚が臨床的妊娠に到達する尤度は、胎児心臓活動の転帰と関連付けられてもよい)を表してもよい。いくつかの変形例では、生存能力スコアは、少なくとも部分的に、年齢、肥満度指数、画像捕捉の日、およびドナーステータス等の患者と関連付けられるデータに基づいてもよい。いったん発生されると、生存能力スコアは、患者(例えば、胚が着床され得る患者)と関連付けられるデータベース内に記憶される、および/または患者、臨床医、画像捕捉デバイスのユーザ等に通信されてもよい。
【0016】
加えて、または代替として、本方法はさらに、第4の畳み込みニューラルネットワークを介して、胚が正倍数体であるかまたは異数体であるかを予測することを含んでもよい。本予測することはまた、いくつかの変形例では、少なくとも部分的に、対象と関連付けられるデータ(例えば、年齢、生検の日等)に依存してもよい。本方法は、胚が正倍数体であるかまたは異数体であるかに基づいて、倍数性転帰を発生させることと、少なくとも部分的に、倍数性転帰およびデータに基づいて、少なくとも第4の畳み込みニューラルネットワークを更新することとを含んでもよい。
【0017】
上記に説明されるように、本方法は、凍結されていない胚の生存能力および/または凍結および解凍されている胚の生存能力を予測するために使用されてもよい。例えば、いくつかの変形例では、胚は、凍結および解凍されており、本方法は、解凍後の胚の単一画像を受信することと、第2の畳み込みニューラルネットワークを介して、解凍後の胚の生存能力を決定することとを含んでもよい。解凍後の胚の生存能力を決定することは、単一画像を、胚が解凍後に生存していることを示す第1のクラスまたは胚が解凍後に生存していないことを示す第2のクラスのいずれかに分類することを含んでもよい。
【0018】
概して、いくつかの変形例では、本方法は、少なくとも部分的に、特殊化された訓練データを用いて訓練される、少なくとも1つの畳み込みニューラルネットワークを利用してもよい。例えば、胚の生存能力を予測するための方法は、画像捕捉デバイスを用いて捕捉された胚の単一画像を受信することと、少なくとも1つの畳み込みニューラルネットワークを介して、各単一画像を分類することによって、胚毎の生存能力スコアを発生させることとを含んでもよく、少なくとも1つの畳み込みニューラルネットワークは、例えば、胚に関する生存能力スコアを発生させるように構成されてもよく、複数の画像捕捉デバイスを用いて捕捉された胚の複数の単一画像を備える、訓練データに基づいて訓練されてもよい。加えて、または代替として、少なくとも1つの畳み込みニューラルネットワークは、少なくとも部分的に、各個別の画像捕捉デバイスと関連付けられる転帰の出現率を平衡させることによって訓練されてもよい。例えば、転帰の出現率は、各個別の画像捕捉デバイスと関連付けられる陽性妊娠転帰のパーセンテージを表す、対応するバイアスを含んでもよい。いくつかの変形例では、分類される単一画像は、時系列の画像の一部ではない。上記に説明されるように、生存能力スコアは、例えば、胚が臨床的妊娠に到達する予測尤度(例えば、胚が臨床的妊娠に到達する尤度は、胎児心臓活動の転帰と関連付けられてもよい)を表してもよい。いくつかの変形例では、生存能力スコアは、少なくとも部分的に、年齢、肥満度指数、画像捕捉の日、およびドナーステータス等の患者と関連付けられるデータに基づいてもよい。いったん発生されると、生存能力スコアは、患者(例えば、胚が着床され得る患者)と関連付けられるデータベース内に記憶される、および/または患者、臨床医、画像捕捉デバイスのユーザ等に通信されてもよい。
【0019】
別の実施例として、いくつかの変形例では、胚の生存能力を予測するための方法は、胚の単一画像を受信することと、少なくとも1つの畳み込みニューラルネットワークを介して、各単一画像を分類することによって、胚毎の生存能力スコアを発生させることとを含んでもよく、少なくとも1つの畳み込みニューラルネットワークは、少なくとも部分的に、複数の胚の複数の拡張画像を含む、訓練データに基づいて訓練されてもよい。拡張画像は、例えば、複数の胚の回転、反転、スケーリング、および/または変動された(例えば、コントラスト、輝度、彩度等における変化を有する)画像を含んでもよい。いくつかの変形例では、分類される単一画像は、時系列の画像の一部ではない。上記に説明されるように、生存能力スコアは、例えば、胚が臨床的妊娠に到達する予測尤度(例えば、胚が臨床的妊娠に到達する尤度は、胎児心臓活動の転帰と関連付けられてもよい)を表してもよい。いくつかの変形例では、生存能力スコアは、少なくとも部分的に、年齢、肥満度指数、画像捕捉の日、およびドナーステータス等の患者と関連付けられるデータに基づいてもよい。いったん発生されると、生存能力スコアは、患者(例えば、胚が着床され得る患者)と関連付けられるデータベース内に記憶される、および/または患者、臨床医、画像捕捉デバイスのユーザ等に通信されてもよい。
【図面の簡単な説明】
【0020】
図1図1は、胚生存能力を評価するためのシステムの例示的変形例を図示する。
【0021】
図2図2は、人工知能を使用して胚生存能力を評価するための方法の例示的変形例を図示する、フロー図である。
【0022】
図3A図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
図3B図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
図3C図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
図3D図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
図3E図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
図3F図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
図3G図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
図3H図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。
【0023】
図4図4は、一連の畳み込みニューラルネットワークを使用して胚生存能力を評価するための方法の例示的変形例を図示する、フロー図である。
【0024】
図5図5は、画像クロッピングおよび画像セグメント化のために胚の入力画像上に畳み込みニューラルネットワークを実装する例示的変形例である。
【0025】
図6図6は、品質制御を実施するための畳み込みニューラルネットワークを実装する例示的変形例である。
【0026】
図7図7は、品質制御を実施する、畳み込みニューラルネットワークの例示的展開を図示する。
【0027】
図8図8は、画像分類およびスコア発生のための畳み込みニューラルネットワークを実装する例示的変形例である。
【0028】
図9図9は、胚に関する全体的生存能力スコアを表示するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、GUIの例示的変形例を図示する。
【0029】
図10図10は、それらがランク付けされる順序で胚の画像を表示するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、GUIの例示的変形例を図示する。
【0030】
図11図11は、画像へのランダム変換の適用に続く、拡張画像の実施例を図示する。
【0031】
図12図12は、7つの異なる診療所からの妊娠転帰を伴う2,000個以上の移植胚の画像を含む、訓練データセット内の特性の概観を図示する。
【0032】
図13図13は、ガードナー等級付けシステムと比較される、本明細書に説明される技術を使用した新鮮胚移植に関する受信者動作特性曲線を図示する。
【0033】
図14図14は、異数体胚の画像の例示的変形例を図示する。
【0034】
図15図15は、7つの異なる診療所からの倍数性ステータスを伴う2,000個以上の移植胚の画像を含む、訓練データセット内の特性の概観を図示する。
【0035】
図16図16は、単一の施設からの解凍後生存能力査定結果を図示する。
【0036】
図17図17Aおよび17Bは、手動ガードナー等級付けシステムと比較される、本明細書に説明されるCNNを使用した例示的胚移植に関する受信者動作特性(ROC)曲線を図示する。
【0037】
図18A図18Aは、本明細書に説明される技術によって最上位にランク付けされる、例示的胚画像を図示する。
【0038】
図18B図18Bは、本明細書に説明される技術によって最下位にランク付けされる、例示的胚画像を図示する。
【0039】
図19A図19Aは、本明細書に説明される技術によって高くスコア化された、例示的胚画像に関する統合勾配およびオクルージョン感度を図示する。
【0040】
図19B図19Bは、本明細書に説明される技術によって低くスコア化された、例示的胚画像に関する統合勾配およびオクルージョン感度を図示する。
【0041】
図20図20は、例示的胚画像に基づいて、本明細書に説明される技術によって割り当てられたスコアが、観察された妊娠率に関連することを図示する。
【0042】
図21図21A-21Dは、2つの異なる診療所の2つの異なる画像捕捉デバイスからの画像の一意の光学シグネチャによって導入されるバイアスを描写するための対照実験からの例示的画像およびデータを図示する。
【0043】
図22図22は、異なる診療所に関する転帰の出現率に基づく例示的な訓練データの平衡を図示する、表を図示する。
【0044】
図23図23Aおよび23Bは、画像内のマイクロピペットの存在によって導入されるバイアスを描写するための対照実験からのデータを図示する。
【発明を実施するための形態】
【0045】
詳細な説明
本発明の種々の側面および変形例の非限定的実施例が、本明細書に説明され、付随の図面に図示される。
【0046】
体外受精(IVF)は、実験室設定における体外での卵子の受精を伴う、複雑な生殖補助技術である。受精された胚は、実験室の培養皿(例えば、ペトリ皿)内で培養され、受精後に子宮に移植される。典型的には、胚は、受精から約5~6日後に、胎児を形成する内部細胞塊と、胎盤を形成する栄養外胚葉構造との間の明確な分化を示し始める。本段階は、胚盤胞段階と称される。胚盤胞段階の間、胚は、「孵化」に備えて胚を囲繞する透明帯膜から脱する。胚は、これが子宮の内壁において着床し得る前に、胚盤胞段階に到達し、孵化しなければならない。したがって、胚が胚盤胞段階に到達するまで胚培養を延長させることは、胚培養士が胚の生存能力を観察および査定する時間をより長くする。さらに、より能力の低い胚は、胚盤胞段階に先立ってそれらの発達を止める。故に、典型的には、胚盤胞段階まで進行する胚は、妊娠を形成するより高い潜在性を有する胚の選択された一群である。
【0047】
胚盤胞段階に到達する胚は、最初に移植されるべきである胚に優先順位を付けるために、それらが移植される前に評価される。従来的に、胚は、ガードナーまたは生殖補助技術学会(SART)等級付けシステムを使用して、胚培養士によって手動で等級付けされる。これらのシステムは、胚培養士が、顕微鏡下で胚を手動で検査し、その形態の3つの構成要素、すなわち、胚盤胞拡大の程度、内部細胞塊の品質、および栄養外胚葉の品質を査定することを要求する。等級が、最終的な英数字の等級を発生させるために、各構成要素に割り当てられる。しかしながら、手動等級付けは、複雑であり得、絶対的な等級を割り当てることは、困難であり得る。例えば、数値等級が、昇順で、すなわち、超早期胚盤胞(50~75個の細胞を有する)、拡大された胚盤胞(100~125個の細胞を有する)、孵化している胚盤胞、および孵化した胚盤胞に割り当てられ得、そのそれぞれは、胚盤胞拡大の程度を表す。例えば、等級「4」は、拡大された胚盤胞を表し得る一方、等級「5」は、孵化している胚盤胞を表し得、等級「6」は、孵化した胚盤胞を表し得る。
【0048】
しかしながら、これらの段階のそれぞれにおける内部細胞塊の品質および栄養外胚葉の品質は、スコア化システムを複雑にし得る。例えば、英字等級が、内部細胞塊の品質および栄養外胚葉の品質の両方を表すために割り当てられ得る。したがって、等級「AA」は、良好な品質の内部細胞塊および良好な品質の栄養外胚葉を表し得る。しかしながら、等級「AB」は、良好な品質の内部細胞塊およびより低い品質の栄養外胚葉を表し得る。故に、等級「4AA」は、良好な品質の内部細胞塊および良好な品質の栄養外胚葉を伴う拡大された胚盤胞を表し得る。つまり、拡大された胚盤胞が、最高品質の内部細胞塊および栄養外胚葉を有することが、可能性として考えられ得る。同様に、孵化している胚盤胞(例えば、透明帯から孵化するプロセスにおける胚盤胞)が、拡大された胚盤胞よりもわずかにより低い品質の栄養外胚葉を有することが、可能性として考えられ得る。そのような状況では、例えば、4AA胚(最高品質の内部細胞塊および栄養外胚葉を伴う拡大された胚盤胞を表す)が、5AB胚(わずかにより低い品質の栄養外胚葉を伴う孵化している胚盤胞を表す)よりも生存能力が低いと見なされるべきであるかどうかを決定することは、困難である。したがって、胚培養士は、直感を使用してそのような決定を行う。異なる胚培養士が異なる胚を選択することが、可能性として考えられ得、それによって、選択プロセスを標準化することを困難にする。
【0049】
長年にわたって、胚選択を改良する目的で導入された、いくつかの技術が、存在している。それらの技術のうちの1つは、タイムラプス撮像である。タイムラプス撮像を使用して、顕微鏡が、周期的様式で胚の画像のシーケンスを捕捉し得る。より具体的には、胚の顕微鏡画像のシーケンスが、一定の間隔(例えば、5~20分間隔)で捕捉され得る。その構想は、経時的に捕捉された画像の周期的シーケンスを分析することによって、細胞動態および細胞の挙動を観察するというものである。例えば、細胞分裂タイミング、多核細胞化、および逆卵割等の事象の測定が、胚画像の周期的シーケンスを観察することによって行われ得る。これらの測定は、移植のための胚を選択するために使用され得る。これは、手動等級付けと比較して、胚選択プロセスに関する若干より標準化されたアプローチを提供するが、タイムラプス撮像は、高価である傾向がある、特殊化されたタイムラプス撮像システムを要求する。全ての既存の顕微鏡が、タイムラプス撮像に適応することができるわけではない。故に、タイムラプス撮像技術は、ハードウェア駆動型であり得る。すなわち、特殊化された器具類を伴わないと、本技術は、実装することが困難である。加えて、タイムラプス撮像は、胚が特殊化されたペトリ皿内で培養されることを要求し得る。そのような特殊化されたペトリ皿に胚を装填し、それから胚を装填解除することは、より長い時間がかかり、それによって、胚を損傷させるリスクを増加させ得る。そのような器具類の高い費用および診療所および実験室におけるすでに存在するワークフローの他の要求される変更(例えば、特殊化されたペトリ皿を使用すること)は、タイムラプス撮像が幅広い臨床的採用を得ることを困難にしている。
【0050】
胚選択を改良する目的でより最近導入されている別の技術は、着床前胚染色体異数性試験(PGT-A)である。PGT-Aは、栄養外胚葉の生検を実施し、次いで、生検を配列決定し、胚が正しい数の染色体を有するかどうかを決定することを伴い得る。これは、移植のために異数体胚(失敗した妊娠転帰につながる)を排除し得るが、これは、全ての正倍数体胚が正常な転帰(例えば、正常な妊娠)につながり得るわけではないため、正倍数体胚の生存能力を十分に特性評価しない。研究は、正倍数体胚の一群内で、より高い品質の形態を伴うものが、正常な転帰のより高い尤度を有することを示している。したがって、PGT-Aサイクルであっても、正倍数体胚は、移植のために適切な胚を識別するために、等級付けされる必要があり得る。
【0051】
既存の技術とは対照的に、本明細書に説明される技術は、採用することが容易であり、費用効果がある、胚を評価するデータ駆動型の標準化されたアプローチを提供する。例えば、本明細書に説明される技術は、ハードウェア非依存であり得る。全ての撮像デバイス、顕微鏡、顕微鏡撮像デバイス、および/または同等物(集合的に、本明細書では「画像捕捉デバイス」と称される)と互換性があり得る、プラグアンドプレイソフトウェアが、画像捕捉デバイスが胚の画像をリアルタイムで捕捉することを可能にし得る。故に、本技術は、いかなる付加的ハードウェア配設および/または費用負担も伴わずに、すでに存在するハードウェア(例えば、顕微鏡)を伴う任意の診療所または実験室によって採用され得る。
【0052】
本明細書に説明される技術は、臨床的妊娠に到達するそれらの尤度に従って胚をスコア化するために、深層学習を実装してもよい。例えば、本技術は、胚の画像を分析および分類するために、一連の1つまたはそれを上回る畳み込みニューラルネットワークを実装してもよい。一連の畳み込みニューラルネットワークはまた、胚をスコア化する正確度を改良し得る。いくつかの変形例では、第1の畳み込みニューラルネットワークが、画像内の胚をセグメント化およびクロッピングするために訓練されてもよい。第2の畳み込みニューラルネットワークが、品質制御を実施するように訓練されてもよい。第3の畳み込みニューラルネットワークが、画像分類およびスコア化を実施するように訓練されてもよい。上記に議論されるように、本明細書に説明される技術は、ハードウェア非依存であり得る。したがって、本明細書に説明される畳み込みニューラルネットワークは、任意のタイプの画像捕捉デバイスに適応し、胚生存能力を評価する正確度を改良しながら、全ての診療所および実験室の既存のワークフローに適合するように訓練されてもよい。
【0053】
いくつかの変形例では、本明細書に説明される技術が広範囲の画像捕捉デバイスと互換性があることを可能にするために、畳み込みニューラルネットワークは、異なる画像捕捉デバイス(例えば、異なる顕微鏡)からの画像を用いて訓練されてもよい。異なる画像捕捉デバイスからの画像は、異なる光学系および異なる分解能を有し得る。このため、畳み込みニューラルネットワークが、異なる光学系および異なる分解能を有する画像を用いて訓練されるとき、ある他の画像捕捉デバイスと比較して、バイアスが、具体的画像捕捉デバイスからの画像に関して導入されることが、可能性として考えられ得る。これを克服するために、本明細書に説明される技術は、本明細書にさらに説明されるように、訓練データを拡張する。例えば、訓練データは、異なる光学系および異なる分解能に適応するために、ランダムに反転、回転、スケーリング、および/または変動(例えば、輝度、コントラスト、および/または彩度を変化させる)され得る画像を含んでもよい。
【0054】
別の実施例として、異なる診療所を横断して使用される画像捕捉デバイスにおけるさらに微小な差異(例えば、顕微鏡における微小な差異)に適応するために、畳み込みニューラルネットワークは、診療所および/または画像捕捉デバイス毎の転帰の出現率を平衡させることによって、訓練されてもよい。例えば、診療所Aからの訓練データが、60%の陽性妊娠転帰を有する一方、残りの診療所に関する訓練データがそれぞれ、40%のみの陽性妊娠転帰を有する場合、畳み込みニューラルネットワークが、診療所Aからの全ての画像に関して正のバイアス(例えば、より高いスコア)を適用するように学習し得る可能性が高くあり得る。これは、ひいては、施設毎の胚の準最適な分析につながり得る。したがって、本明細書に説明される技術は、診療所および/または画像捕捉デバイス毎の転帰の出現率を平衡させるように、全ての診療所および/または全ての画像捕捉デバイスが、同一の陽性対陰性画像の比を有するように、訓練データを再サンプリングしてもよい。
【0055】
本明細書に説明される技術は、類似する様式で(例えば、転帰の出現率を平衡させることによって)他のバイアスを識別および軽減してもよい。例えば、胚のいくつかの捕捉された画像は、胚を保持するマイクロピペット(例えば、胚保持マイクロピペット)の画像を含み得る。訓練データとして使用され得る画像内のマイクロピペットの存在は、バイアスを導入し得る。例えば、訓練データが、マイクロピペットを伴う画像と、マイクロピペットを伴わない画像とを含む場合、畳み込みニューラルネットワークが、マイクロピペットを伴う全ての画像に関して正のバイアス(例えば、より高いスコア)または負のバイアス(例えば、より低いスコア)のいずれかを適用するように学習し得る可能性が高くあり得る。畳み込みニューラルネットワークは、例えば、画像を分類およびスコア化するために、胚ではなく、画像内のマイクロピペットにほぼ排他的に焦点を当て得る。これは、ひいては、撮像の間にマイクロピペットによって保持され得る胚の準最適な分析につながり得る。本明細書に説明される技術は、転帰の出現率を平衡させるように、マイクロピペットを伴う画像が、同一の陽性対陰性画像の比(すなわち、陽性妊娠訓練画像対陰性妊娠訓練画像の比)を有し得るように、訓練データを再サンプリングしてもよい。類似する様式で、画像内の胚盤胞の段階(例えば、早期胚盤胞、拡大する胚盤胞、孵化している胚盤胞、孵化した胚盤胞等)に基づいて導入されたバイアスもまた、転帰の出現率を平衡させることによって、識別および軽減されてもよい。
【0056】
随意に、予測の正確度をさらに改良するために、本明細書に説明される技術は、年齢、肥満度指数、ドナーステータス、および/または同等物等の患者データを含んでもよい。例えば、患者の年齢は、胚の生存能力にかかわらず、移植の転帰に有意に影響を及ぼし得る。したがって、患者データを組み込むことは、胚生存能力を評価する正確度を改良する。加えて、または代替として、本明細書に説明される技術は、予測の正確度をさらに改良するために、出生前遺伝子試験、親の遺伝子試験等の遺伝子試験結果からの結果を含んでもよい。
【0057】
さらに、本明細書に説明される技術は、胚の単一画像を分析し、分類し、スコア化してもよい。これは、胚をスコア化するために、時系列の胚画像を集合的に分析する、既存のタイムラプス撮像技術との有意な差異である。時系列画像の分析とは対照的に、胚の複数の画像(例えば、必ずしも時系列ではない)が、(異なる焦点面および/または回転において等)捕捉される場合であっても、本明細書に説明される技術は、胚に関する全体的スコアを生成するために、各画像を個々に分析する。例えば、各個々の画像が、分類およびスコア化されてもよい。全ての画像を横断するスコアの代表値が、胚の生存能力を表す胚の最終スコアであってもよい。代替として、各個々の画像が、分類およびスコア化されてもよい。全ての画像を横断するスコアの中央値および/または最頻値が、胚の生存能力を表す胚の最終スコアであってもよい。これは、スコアを胚に割り当てる正確度を改良し得る。例えば、胚の1つの画像が、(例えば、胚培養士による焦点面の選択、照明における変動等に起因して)良好に捕捉されない場合であっても、胚に割り当てられる全体的スコアは、全ての画像が、個々に分類およびスコア化され得るため、有意に影響を受け得ない。
【0058】
加えて、プラグアンドプレイソフトウェアは、個々の画像のそれぞれがリアルタイムで分析されることを可能にし得る。例えば、プラグアンドプレイソフトウェアは、胚培養士が複数の胚の画像をリアルタイムで捕捉することを可能にし得る。これらの画像は、リアルタイムで分析およびスコア化されてもよい。プラグアンドプレイソフトウェアは、次いで、胚の全体的生存能力スコアをリアルタイムで表示してもよい。いくつかの変形例では、画像はまた、その画像内の胚の全体的生存能力スコアに基づいてリアルタイムでランク付けされてもよい。プラグアンドプレイソフトウェアは、次いで、それらがランク付けされる順序で画像を表示してもよい。これは、それらがランク付けされる順序で胚の画像を表示しない、既存の技術とは対照的である。故に、最も生存能力のある胚が、最初に表示され、移植のための最も生存能力のある胚を見分け、選択することをより速くし得る。
【0059】
上記に加えて、本技術は、異数性予測を実施してもよい。加えて、および/または代替として、本技術は、胚が凍結-解凍プロセスから生存しているかどうかを決定するために、凍結および解凍された胚の査定を提供してもよい。
システム概観
【0060】
図1は、胚生存能力を評価するためのシステム100の例示的変形例の概観を図示する。システム100は、画像捕捉デバイス104等の既存のハードウェアを伴う任意の診療所および/または実験室102(本明細書では「診療所」と称される)によって採用されてもよい。画像捕捉デバイス104は、胚の1つまたはそれを上回る画像を捕捉してもよい。診療所102におけるコンピューティングデバイス上で実行されるアプリケーション106が、画像捕捉デバイス104とコントローラ108との間のリアルタイム通信リンクを提供してもよい。コントローラ108は、胚生存能力を評価するために、人工知能を使用し、胚の画像を分析してもよい。いくつかの変形例では、コントローラ108は、随意に、評価の正確度を改良するために、データ110を組み込んでもよい。コントローラ108は、各個々の画像内の胚をスコア化してもよい。コントローラ108は、各画像内の胚に割り当てられるスコアに基づいて、胚の生存能力を評価してもよい。胚の全体的生存能力スコアは、胚の画像をランク付けするために使用されてもよい。全体的生存能力スコアおよび画像がランク付けされる順序は、患者アプリケーション112、臨床医アプリケーション114、およびデータポータル116に伝送されてもよい。患者アプリケーション112、臨床医アプリケーション114、およびデータポータル116はそれぞれ、それらがランク付けされる順序で画像を表示してもよい。
【0061】
上記に議論されるように、任意の診療所102が、システム100をそれらの既存のワークフローに採用してもよい。診療所102は、例えば、IVF治療を提供する任意の実験室、不妊治療センター、または診療所であってもよい。診療所102は、胚を培養するためのインフラストラクチャを含んでもよい。例えば、診療所102は、インキュベータ、マイクロマニピュレータシステム、医療冷蔵庫、凍結機械、ペトリ皿、試験管、4ウェル培養皿、ピペット、胚移植カテーテル、針等の生殖補助技術のために必要とされる重要な機器を含んでもよい。加えて、診療所102は、胚を培養するための安定した非毒性の病原体のない環境を提供してもよい。
【0062】
診療所102における既存の画像捕捉デバイス104は、胚の1つまたはそれを上回る画像を捕捉してもよい。画像捕捉デバイス104は、任意の好適な光学系および任意の好適な分解能を有してもよい。画像捕捉デバイス104は、顕微鏡、顕微鏡撮像デバイス、または胚の画像を捕捉することが可能な任意の他の好適な撮像デバイスであってもよい。例えば、画像捕捉デバイス104は、明視野顕微鏡、暗視野顕微鏡、倒立顕微鏡、位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、電子顕微鏡等の任意の好適な顕微鏡であってもよい。加えて、または代替として、画像捕捉デバイス104は、胚のデジタル画像を捕捉することが可能な顕微鏡カメラに動作可能に結合される、任意の好適なデバイスであってもよい。例えば、画像捕捉デバイス104は、ハンドヘルドデバイス(例えば、コンピュータタブレット、スマートフォン等)、ラップトップ、デスクトップコンピュータ等に動作可能に結合される、顕微鏡カメラを含んでもよい。また別の代替変形例では、画像捕捉デバイス104は、胚の画像を捕捉することが可能な顕微鏡アプリケーションを起動する、任意の好適なコンピューティングデバイス(例えば、コンピュータタブレット、スマートフォン、ラップトップ、および/または同等物)であってもよい。
【0063】
診療所102におけるコンピューティングデバイス上で実行されるアプリケーションソフトウェア106(本明細書では「アプリケーション」と称される)は、画像捕捉デバイス104が胚の1つまたはそれを上回る画像を捕捉することを可能にし得る。コンピューティングデバイスのいくつかの非限定的実施例は、コンピュータ(例えば、デスクトップ、パーソナルコンピュータ、ラップトップ等)、タブレットおよび電子書籍リーダ(例えば、Apple iPad(登録商標)、Samsung Galaxy(登録商標) Tab、Microsoft Surface(登録商標)、Amazon Kindle(登録商標)等)、モバイルデバイスおよびスマートフォン(例えば、Apple iPhone(登録商標)、Samsung Galaxy(登録商標)、Google Pixel(登録商標)等)等を含む。
【0064】
いくつかの変形例では、アプリケーション106(例えば、ウェブアプリ、デスクトップアプリ、モバイルアプリ等)は、コンピューティングデバイス上にプリインストールされてもよい。代替として、アプリケーション106は、任意の好適な方法でコンピューティングデバイス上にレンダリングされてもよい。例えば、いくつかの変形例では、アプリケーション106(例えば、ウェブアプリ、デスクトップアプリ、モバイルアプリ等)は、アプリストアまたはアプリケーションストア(例えば、Chrome(登録商標)ウェブストア、Apple(登録商標)ウェブストア等)等のデジタル配信プラットフォームからコンピューティングデバイス上にダウンロードされてもよい。加えて、または代替として、コンピューティングデバイスは、コンピューティングデバイス上にウェブブラウザ(例えば、Google(登録商標)、Mozilla(登録商標)、Safari(登録商標)、Internet Explorer(登録商標)等)をレンダリングしてもよい。ウェブブラウザは、コンピューティングデバイス上にアプリケーション106をレンダリングし得る、ブラウザ拡張機能、ブラウザプラグイン等を含んでもよい。また別の代替変形例では、ブラウザ拡張機能、ブラウザプラグイン等は、コンピューティングデバイス上にアプリケーション106をインストールするためのインストール命令を含んでもよい。
【0065】
アプリケーション106は、任意のタイプのコンピューティングデバイスと互換性があり得る、プラグアンドプレイソフトウェアであってもよい。加えて、アプリケーション106は、任意のタイプの画像捕捉デバイス104と互換性があってもよい。いくつかの変形例では、アプリケーション106は、画像捕捉デバイス104を通して見られるような胚の画像を表示し得る、ライブビューアソフトウェアを含んでもよい。例えば、従来的に、顕微鏡等の画像捕捉デバイス104が、胚を視認するために使用されている。しかしながら、ライブビューアソフトウェア(アプリケーション106内に含まれる)を用いることで、コンピューティングデバイスは、画像捕捉デバイス104を通して見られるような胚の画像(例えば、2次元画像)を表示してもよい。ユーザ(例えば、胚培養士)は、アプリケーション106を実行するコンピューティングデバイスの表示上で胚の画像を視認してもよい。アプリケーション106は、ユーザが、ユーザが捕捉することを所望する画像を選択することを可能にし得る。アプリケーション106は、選択された画像を捕捉するために、画像捕捉デバイス104に命令を伝送してもよい。いくつかの変形例では、アプリケーション106は、選択された画像を捕捉するために、画像捕捉デバイス104に命令を伝送する前に、品質チェックを実施してもよい。例えば、アプリケーション106は、選択された画像の性質(例えば、分解能、輝度等)がさらなる分析を可能にするであろうかどうかを決定するために、選択された画像を分析してもよい。品質チェックを満たすことに応答して、アプリケーション106は、選択された画像を捕捉するために、画像捕捉デバイス104に命令を伝送してもよい。代替として、アプリケーション106は、最初に、選択された画像を捕捉するために、画像捕捉デバイス104に命令を伝送してもよい。いったん選択された画像が捕捉されると、アプリケーション106は、捕捉された画像の性質(例えば、分解能、輝度等)がさらなる分析を可能にするであろうかどうかを決定するために、捕捉された画像を分析してもよい。
【0066】
ユーザが捕捉のために1つまたはそれを上回る画像を選択することを可能にするために、アプリケーション106は、アプリケーション106がコンピューティングデバイス上で実行されるとき、ウィジェット(例えば、捕捉ボタン)をレンダリングしてもよい。ウィジェットは、ユーザがウィジェットと相互作用し得るように設計されてもよい。ウィジェットは、(例えば、タッチスクリーンまたはマウス等のコントローラを介して)押下またはクリックされてもよい。ユーザが、捕捉のために画像を選択することを所望するとき、ユーザは、ウィジェット上を押下またはクリックしてもよい。押下またはクリックに応答して、画像捕捉デバイス104は、胚のその具体的画像を捕捉してもよい。ユーザは、ウィジェットを繰り返し押下またはクリックすることによって、複数の画像を捕捉することを選定してもよい。いくつかの変形例では、ウィジェット(例えば、捕捉ボタン)は、任意の好適な形状における(例えば、円、楕円形、長方形等の形態における)独立型ボタンであってもよい。いくつかの変形例では、C++等のオブジェクト指向プログラミング言語が、アプリケーション106を設計および実行するために使用されてもよい。
【0067】
上記に議論されるように、アプリケーション106は、画像捕捉デバイス104とコントローラ108との間のリアルタイム通信リンクを提供してもよい。故に、胚の捕捉された画像は、アプリケーション106を介してコントローラ108にリアルタイムで伝送されてもよい。いくつかの変形例では、コントローラ108は、クラウドプラットフォーム(例えば、Microsoft Azure(登録商標)、Amazon(登録商標)ウェブサービス、IBM(登録商標)クラウドコンピューティング等)上で起動する1つまたはそれを上回るサーバおよび/または1つまたはそれを上回るプロセッサを含んでもよい。サーバおよび/またはプロセッサは、命令またはコードのセットを起動および/または実行するように構成される、任意の好適な処理デバイスであってもよく、1つまたはそれを上回るデータプロセッサ、画像プロセッサ、グラフィックス処理ユニット、デジタル信号プロセッサ、および/または中央処理ユニットを含んでもよい。サーバおよび/またはプロセッサは、例えば、汎用プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、および/または同等物であってもよい。
【0068】
いくつかの変形例では、コントローラ108は、(例えば、本明細書に説明される1つまたはそれを上回るプロセスをローカルで実施するために)その上でアプリケーション106が実行され得る、コンピューティングデバイス内に含まれてもよい。代替として、コントローラ108は、その上でアプリケーション106がローカルで(例えば、診療所102において配置されるコントローラ108)または遠隔で(例えば、クラウドベースのプラットフォームの一部として)のいずれかで実行され得る、コンピューティングデバイスとは別個であり、それに動作可能に結合されてもよい。いくつかの変形例では、コントローラ108は、プロセッサ(例えば、CPU)を含んでもよい。プロセッサは、命令またはコードのセットを起動および/または実行するように構成される、任意の好適な処理デバイスであってもよく、1つまたはそれを上回るデータプロセッサ、画像プロセッサ、グラフィックス処理ユニット、物理処理ユニット、デジタル信号プロセッサ、および/または中央処理ユニットを含んでもよい。プロセッサは、例えば、汎用プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、および/または同等物であってもよい。プロセッサは、アプリケーションプロセスおよび/または本システムおよび/またはそれと関連付けられるネットワークと関連付けられる他のモジュール、プロセス、および/または機能を起動および/または実行するように構成されてもよい。基礎となるデバイス技術は、様々な構成要素タイプ(例えば、相補型金属酸化膜半導体(CMOS)のようなMOSFET技術、エミッタ結合論理(ECL)のようなバイポーラ技術、ポリマー技術(例えば、シリコン共役ポリマーおよび金属共役ポリマー-金属構造)、複合アナログおよびデジタル、および/または同等物)において提供されてもよい。
【0069】
コントローラ108は、人工知能を使用し、胚の生存能力を評価してもよい。例えば、コントローラ108は、1つまたはそれを上回る畳み込みニューラルネットワークを実装し、捕捉された画像を分析および分類してもよい。より具体的には、畳み込みニューラルネットワークは、胚生存能力を評価するために、各捕捉された画像を分析および分類してもよい。
【0070】
ユーザが、具体的胚の複数の画像を捕捉することを選定し得るが、これらの画像が、必ずしもタイムラプス画像(例えば、時系列における)ではない場合があることが容易に明白となるはずである。例えば、タイムラプス撮像では、胚の2つまたはそれを上回る画像が、周期的または断続的な時間間隔(例えば、5~20分の時間間隔)において系列において捕捉される。タイムラプス画像を捕捉するために、タイムラプス顕微鏡が、要求され得る。対照的に、上記に議論されるように、システム100は、任意のタイプの画像捕捉デバイス104と互換性がある。故に、システム100は、必ずしも周期的時間間隔において系列における画像を捕捉しない場合がある。これは、システム100の1つの可能性として考えられる変形例であり得るが、本明細書に説明されるシステム100は、(種々のタイプの画像捕捉デバイスとのその互換性のため)任意の好適な様式で複数の画像を捕捉してもよい。例えば、胚の第2の画像は、胚の第1の画像が捕捉された3秒後に捕捉されてもよい。しかしながら、胚の第3の画像は、第2の画像の5秒後に捕捉されてもよく、胚の第4の画像は、第3の画像の2秒後に捕捉されてもよい。故に、胚の複数の画像が、捕捉および分析され得る場合であっても、これらの画像は、タイムラプス画像ではない場合がある。例示的変形例では、胚の複数の画像(例えば、少なくとも2つの連続する画像)は、約60秒またはそれを下回る時間間隔内で捕捉されてもよい。例えば、胚の2つまたはそれを上回る連続する画像が、約1秒~約60秒、約5秒~約60秒、約10秒~約60秒、約20秒~約60秒、約30秒~約60秒、約1秒~約30秒、約1秒~約20秒、約1秒~約10秒、または約1秒~約5秒に及ぶ時間間隔内で捕捉されてもよい。加えて、胚毎に周期的時間間隔において系列における設定された数の画像を捕捉するタイムラプス画像と異なり、システム100は、胚毎に異なる数の画像を捕捉してもよい。例えば、タイムラプス画像は、胚の生存能力を決定するために、胚毎に周期的間隔において系列における3つの画像を捕捉してもよい。対照的に、システム100は、第1の胚の3つの画像および第2の胚の2つの画像を捕捉してもよい。システム100は、3つの画像から第1の胚の生存能力を決定し、2つの画像から第2の胚の生存能力を決定してもよい。故に、胚に関して捕捉される画像の数は、異なる胚に関して異なってもよい。
【0071】
畳み込みニューラルネットワークは、胚の全体的生存能力スコアを発生させるために、各捕捉された画像を個々に分析および分類してもよい。例えば、アプリケーション106が、画像捕捉デバイス104を使用して、5日目の胚の3つの画像を捕捉する場合、3つの画像はそれぞれ、畳み込みニューラルネットワークによって個々かつ別個に評価されてもよい。本明細書の議論の目的のために、別様に明示的に示唆されない限り、用語「画像(an image)」、「各画像(each image)」、「画像(the image)」、「捕捉された画像(a captured image)」、「各捕捉された画像(each captured image)」、「捕捉された画像(the captured image)」、「別個の画像(a separate image)」、および「個々の画像(an individual image)」は、単一の個々の画像と見なされてもよい。各画像の評価は、3つの画像の個別の画像と関連付けられ得る、胚に関する個別のスコアを発生させてもよい。胚の全体的スコアは、各個々の画像と関連付けられる各個々のスコアの関数であってもよい。例えば、胚の全体的スコアは、3つの個々の画像と関連付けられる3つの個々のスコアの代表値であってもよい。代替として、別の実施例では、胚の全体的スコアは、3つの個々の画像と関連付けられる3つの個々のスコアの中央値であってもよい。いくつかの変形例では、畳み込みニューラルネットワークによって発生される胚の全体的生存能力スコアは、胚が移植される場合に臨床的妊娠をもたらす尤度(例えば、正常な転帰の尤度)を示してもよい。
【0072】
畳み込みニューラルネットワークは、以下、すなわち、(1)画像セグメント化および画像クロッピング、(2)品質制御、(3)画像分類、および(4)随意に、正確な全体的胚生存能力スコアを発生させるためにデータ110を組み込むことのうちの1つまたはそれを上回るものを実施するために、一連の畳み込みニューラルネットワークを含んでもよい。一連の畳み込みニューラルネットワークは、サーバおよび/またはプロセッサによって実装されてもよい。例えば、サーバおよび/またはプロセッサは、畳み込みニューラルネットワークのそれぞれを実装するためのソフトウェアコードを含んでもよい。より具体的には、各畳み込みニューラルネットワークは、別個のモジュールとしてソフトウェアコード内に含まれてもよい。サーバおよび/またはプロセッサが、ソフトウェアコードを実行するとき、個々のモジュールは、(1)画像セグメント化および画像クロッピング、(2)品質制御、(3)画像分類、または(4)データ110を組み込むことを実施するための命令を発生させてもよい。加えて、または代替として、ソフトウェアコードは、個別の畳み込みニューラルネットワークを実装する別個のモジュールへの呼出を含んでもよい。具体的モジュールへの呼出は、そのモジュール内に含まれる具体的畳み込みニューラルネットワークを実装するために、サーバおよび/またはプロセッサによって実施される処理をリダイレクトしてもよい。いくつかの変形例では、2つまたはそれを上回る畳み込みニューラルネットワークが、サーバおよび/またはプロセッサによって同時に実装されてもよい。代替として、畳み込みニューラルネットワークは、次々に系列において実装されてもよい。いくつかの変形例では、畳み込みニューラルネットワークは、PyTorchまたはTensorflowを使用して実装および/または訓練されてもよい。
【0073】
上記に議論されるように、胚に割り当てられる全体的生存能力スコアを精緻化するために、いくつかの変形例では、システム100は、データ110(例えば、患者データおよび/または胚データ)を組み込んでもよい。データ110は、例えば、患者の年齢、患者の肥満度指数、および/または同等物等の1人またはそれを上回る患者と関連付けられる患者データ、および/または胚データを含んでもよい。例えば、患者データは、IVF治療を受ける患者の年齢を含んでもよい。これは、妊娠転帰に対する影響を有し得る。2つの同様にスコア化された胚が、患者の年齢に応じて、異なる妊娠転帰につながり得ることが、可能性として考えられ得る。加えて、または代替として、患者データは、ドナーの年齢、ドナーのステータス、ドナーの肥満度指数、および/または同等物等の患者と関連付けられる1人またはそれを上回るドナーに関連するデータを含んでもよい。例えば、患者データは、患者の肥満度指数を含んでもよい。これは、胚の健常性に寄与する因子として作用し得る。別の実施例として、患者データは、患者が初診患者であるかどうかのインジケーションを含んでもよい。該当しない場合、患者データは、加えて、患者と関連付けられる胚がこれまで正常な転帰を有したことがあったかどうかを含んでもよい。このように、患者データは、不妊治療専門医、胚培養士、および/または臨床医がIVF治療を個人化することを可能にし得る。いくつかの変形例では、患者データは、出生前遺伝子試験結果、胚レベル遺伝子試験結果、親の遺伝子試験結果等の1つまたはそれを上回る遺伝子試験結果に関連するデータを含んでもよい。加えて、または代替として、いくつかの変形例では、データ110は、例えば、異数性、疾患に対する体内動態、潜在的な将来の形質、性別等に関する遺伝子試験結果等の胚データを含んでもよい。さらに、いくつかの変形例では、胚の画像が捕捉された日、胚が移植される日、および/または同等物等の他の胚特有データが、予測の正確度をさらに改良するために使用されてもよい。
【0074】
本明細書の議論の目的のために、データ110は、例えば、(1)記述、内容、記録の値、それらの組み合わせ、および/または同等物を含み得る、1人またはそれを上回る患者および/または1人またはそれを上回るドナーと関連付けられるデータおよび/または(2)該データに関するコンテキストを提供するメタデータを指し得る。例えば、データ110は、患者記録および/またはドナー記録と関連付けられるデータおよびメタデータのうちの一方または両方を含んでもよい。データ110は、信頼性のある電子医療記録から抽出されてもよい。例えば、システム100は、eIVFTM患者ポータル、ArtisanTM不妊治療ポータル、BabysentryTM管理システム、EPICTM患者ポータル、Mellowood MedicalからのIDEASTM等の電子医療記録、または任意の好適な電子医療記録管理ソフトウェアを含み得る、1つまたはそれを上回る第三者データベースにアクセスしてもよい。
【0075】
上記に議論されるように、コントローラ108上で実装される畳み込みニューラルネットワークは、臨床的妊娠に到達するそれらの尤度に従って、胚をスコア化してもよく(例えば、全体的生存能力スコアを発生させる)、いくつかの変形例では、また、画像をランク付けしてもよい(例えば、その画像内の胚の全体的生存能力スコアに基づいて、各画像をランク付けする)。個別の全体的生存能力スコアおよび画像がランク付けされる順序は、患者アプリケーション112、臨床医アプリケーション114、およびデータポータル116に伝送されてもよい。いくつかの変形例では、患者アプリケーション112は、患者と関連付けられるコンピューティングデバイス(例えば、コンピュータ、タブレット、電子書籍リーダ、スマートフォン、モバイルデバイス、および/または同等物)上で実行されてもよい。患者は、胚に関する全体的生存能力スコアおよび画像のランクを視認するために、コンピューティングデバイス上の患者アプリケーション112にアクセスしてもよい。患者アプリケーション112は、それらのランクの順序で胚の画像を表示してもよい。したがって、最も生存能力のある胚が、表示上に最初に現れてもよい。これは、患者が、最も生存能力のある胚を識別し、IVF治療に関連する重要な決定を行うことを容易にする。
【0076】
類似する様式で、臨床医アプリケーション114は、臨床医(例えば、胚培養士、不妊治療専門医等)と関連付けられるコンピューティングデバイス(例えば、コンピュータ、タブレット、電子書籍リーダ、スマートフォン、モバイルデバイス、および/または同等物)上で実行されてもよい。臨床医は、胚の全体的生存能力スコアおよび画像のランクを視認するために、コンピューティングデバイス上の臨床医アプリケーション112にアクセスしてもよい。臨床医アプリケーション112は、それらのランクの順序で胚を表示してもよい。いくつかの変形例では、臨床医アプリケーション114は、上記に説明されるアプリケーション106と同一であってもよい。例えば、画像捕捉デバイス104が胚の画像を捕捉することを可能にするアプリケーション106はまた、胚がコントローラ108によって評価された後、全体的生存能力胚スコアおよび画像がランク付けされる順序を表示してもよい。同等に、全体的生存能力および画像がランク付けされる順序を表示することに加えて、臨床医アプリケーション114は、画像捕捉デバイス104が胚の画像を捕捉することを可能にし得る。代替として、臨床医アプリケーション114は、上記に説明されるアプリケーション106と異なってもよい。例えば、臨床医アプリケーション114は、アプリケーション106を実行するコンピューティングデバイスと異なり得るコンピューティングデバイス上で実行されてもよい。
【0077】
データポータル116は、コントローラ108によって発生されたスコア(例えば、各個々の画像と関連付けられるスコアおよび胚に関する全体的生存能力スコア)および/またはランクを記憶し得る、データ収集ソフトウェアであってもよい。収集されたデータは、システム100の正確度をさらに改良するために、データポータル116において分析されてもよい。例えば、収集されたデータは、処理され、コントローラ108によって実装される畳み込みニューラルネットワークに付加的訓練データとして提供されてもよい。故に、畳み込みニューラルネットワークは、より知的になり、胚生存能力を予測する正確度をさらに強化し得る。いくつかの変形例では、データポータル116は、1つまたはそれを上回るデータベースに接続されてもよい。データベースは、スコア(例えば、各個々の画像と関連付けられるスコアおよび胚に関する全体的生存能力スコア)、ランク、患者データ、および/または胚に関連する他の関連データを記憶してもよい。いくつかの変形例では、データポータル116は、これらのデータベースを記憶するメモリに接続されてもよい。代替として、データポータル116は、これらのデータベースを記憶し得る、遠隔サーバに接続されてもよい。いくつかの変形例では、コントローラ108からの結果は、eIVFTM患者ポータル、ArtisanTM不妊治療ポータル、BabysentryTM管理システム、EPICTM患者ポータル、Mellowood MedicalからのIDEASTM等の電子医療記録を含み得る、1つまたはそれを上回る第三者データベースに伝送されてもよい。これらの結果は、胚の全体的生存能力スコア、ランク等を含んでもよい。
胚生存能力を評価するための例示的方法
【0078】
図2は、人工知能を使用して胚生存能力を評価するための方法200の高レベル概観の例示的変形例を図示する、フロー図である。いくつかの変形例では、方法200は、図1に説明されるシステム100等のシステムを使用して実装されてもよい。202において、方法200は、胚の1つまたはそれを上回る画像を捕捉することを含んでもよい。特に、胚の画像は、いったん胚が胚盤胞段階(例えば、受精後5日目、6日目、および/または7日目)に到達すると捕捉される画像であってもよい。すなわち、捕捉された画像は、胚盤胞の顕微鏡画像であってもよい。いくつかの変形例では、胚は、凍結に先立つ、または凍結および解凍後等の凍結-解凍プロセスの異なる段階のうちのいずれかにおいて評価されてもよい。加えて、または代替として、胚は、生検に先立って評価されてもよい。他の変形例では、胚は、生検または凍結を受けることを意図していない。
【0079】
204において、各画像は、少なくとも1つの深層畳み込みニューラルネットワーク(D-CNN)によってリアルタイムで個々に分析および分類されてもよい。D-CNNは、図1のコントローラ108等のコントローラ上で実装されてもよい。例えば、D-CNNは、単一画像をリアルタイムで評価してもよい。胚の複数の画像(例えば、胚盤胞の複数の画像)が、捕捉される場合、各画像は、胚に関する全体的生存能力スコアを発生させるために、個々に分析および分類されてもよい。D-CNNはまた、画像内の胚の全体的生存能力スコアに基づいて、画像をランク付けしてもよい。いくつかの変形例では、D-CNNは、胚に割り当てられる全体的スコアの正確度を改良するために、年齢、肥満度指数、ドナーステータス等の患者データ206(例えば、患者特有メタデータ)を組み込んでもよい。
【0080】
208において、方法200は、D-CNNによって発生された胚の全体的生存能力スコアに基づいて、胚が臨床的妊娠に到達する尤度を予測してもよい。いくつかの変形例では、臨床的妊娠(例えば、正常な転帰)の尤度を示す全体的生存能力スコアは、1つまたはそれを上回る表示上に表示されてもよい。いくつかの変形例では、画像のランク(例えば、D-CNNによって決定された画像のランク)もまた、表示されてもよい。例えば、胚の画像は、それらのランクの順序で表示されてもよい。このように、臨床医(例えば、胚培養士、不妊治療専門医、臨床医等)は、D-CNNによって発生された胚の全体的生存能力スコアおよび画像のランクに基づいて、患者と協議してリアルタイムで移植のための胚を選択してもよい。
胚の画像の捕捉
【0081】
上記に議論されるように、本明細書に開示される技術は、すでに存在するハードウェアを伴う任意の診療所(例えば、図1の診療所102)によって採用されてもよい。本明細書に開示される技術は、任意のタイプの画像捕捉デバイス(例えば、図1の画像捕捉デバイス104)と互換性があってもよく、それらの既存のワークフローを変更する必要性を伴わずに、診療所によって採用されてもよい。故に、図1のアプリケーション106等のプラグアンドプレイソフトウェアは、臨床医が、既存の画像捕捉デバイスを使用して胚の1つまたはそれを上回る画像を捕捉することを可能にし得る。図3A-3Hは、胚の画像を捕捉するために、コンピューティングデバイスの表示上にレンダリングされるプラグアンドプレイソフトウェアの一部であり得る、グラフィカルユーザインターフェース(GUI)の例示的変形例を図示する。いくつかの変形例では、コンピューティングデバイスは、アプリケーションをプリインストールされてもよい。代替として、アプリケーションは、ウェブストアからコンピューティングデバイス上にダウンロードされてもよい。また別の代替変形例では、具体的ブラウザ拡張機能を伴うウェブブラウザをレンダリングすることが、コンピューティングデバイス上にアプリケーションをレンダリングしてもよい。
【0082】
アプリケーションは、コンピューティングデバイスに、種々の機能性を表示させてもよい。例えば、アプリケーションは、コンピューティングデバイスに、患者と関連付けられる画像捕捉および他のアクションを管理させてもよい。例証的実施例として、図3Aに示されるように、アプリケーションは、ダッシュボード351を含み得る、表示350をレンダリングしてもよい。ダッシュボード351は、胚生存能力を決定することに向けたワークフローにおける初期ステップを表してもよい。いくつかの変形例では、ダッシュボード352は、種々の患者(例えば、「Ashley Smith」353a、「Jane Doe」353b等)の一部の情報を含んでもよい。例えば、ダッシュボード351は、患者の患者ID(例えば、図3Aに「患者ID」として表される)、患者と関連付けられる移植サイクルの数(例えば、図3Aに「サイクル」として表される)、患者と関連付けられる胚移植のステータス(例えば、図3Aに「ステータス」として表される)等を含んでもよい。
【0083】
いくつかの変形例では、表示350は、ウィジェット「新しい患者」352等のユーザ相互作用のために設計されたウィジェットを含んでもよい。例えば、「新しい患者」352上をクリックおよび/または押下することによって、ユーザは、患者と関連付けられる情報(例えば、患者ID、サイクルの数、ステータス等)を含む、ダッシュボード351上にまだ列挙されていない患者を追加してもよい。いくつかの変形例では、情報は、表示350と相互作用するユーザによって手動で入力されてもよい。代替として、情報は、データベース(例えば、第三者電子医療記録データベース)から抽出されてもよい。例えば、アプリケーションは、患者に関連する情報にアクセスし、それを抽出するために、電子医療記録データベースと相互作用してもよい。図3Aのウィジェット「新しい患者」352は、形状が楕円形であるボタンとして図示され得るが、任意の好適なウィジェットが、提供され得ることが容易に明白となるはずである。例えば、「新しい患者」は、円形形状のウィジェット、三角形形状のウィジェット等であってもよい。
【0084】
具体的患者の情報にアクセスするために、ユーザは、患者の情報を含有する行上を押下および/またはクリックしてもよい。例えば、「Ashley Smith」353aに関連する情報を含有する行上を押下および/またはクリックすることによって、アプリケーションは、図3Aの表示350から、「Ashley Smith」353aと関連付けられるさらなる具体的情報を含み得る、別の表示(例えば、図3Bの表示360)に遷移してもよい。
【0085】
図3Bの表示360は、患者(例えば、「Ashley Smith」353a)のサイクルと関連付けられる付加的情報(例えば、「サイクル情報」363として表される)を含んでもよい。本情報は、患者ID、年齢、肥満度指数、卵子がドナーに属するかどうか等を含んでもよい。表示360はさらに、現在のサイクルおよび/または以前のサイクルと関連付けられる過去のデータおよび/または履歴(例えば、「サイクル履歴」364として表される)を含んでもよい。例えば、これは、過去のサイクルと関連付けられる胚スコアおよびサイクルの対応する転帰を含んでもよい。現在のサイクルに関連する胚画像が、存在しない(例えば、アプリケーションが、現在のサイクルにおいて「Ashley Smith」353aに関するいかなる胚画像も有していない)場合、表示360は、新しい画像を捕捉する、または新しい画像を(例えば、既存のデータベースから)アップロードするためのオプションを含んでもよい。例えば、表示360は、ウィジェット「新しい画像を捕捉する」361、「新しい画像をアップロードする」362等のユーザ相互作用のために設計された1つまたはそれを上回るウィジェットを含んでもよい。「新しい画像を捕捉する」361上をクリックおよび/または押下することによって、ユーザは、アプリケーションを使用し、胚の画像を捕捉するように画像捕捉デバイスに命令してもよい。より具体的には、アプリケーションは、図3Bの表示360から図3Cの表示370に遷移してもよい。「新しい画像をアップロードする」362上をクリックおよび/または押下することによって、ユーザは、胚のすでに捕捉された画像をアプリケーションにアップロードしてもよい。図3Bのウィジェット「新しい画像を捕捉する」361およびウィジェット「新しい画像をアップロードする」362は、形状において楕円形であるボタンとして図示され得るが、任意の好適なウィジェットが、提供され得ることが容易に明白となるはずである。
【0086】
アプリケーションは、コンピューティングデバイスに、胚画像の捕捉を促進するための1つまたはそれを上回るユーザインターフェース要素を表示させてもよい。例えば、アプリケーションは、画像捕捉デバイス(例えば、顕微鏡)を通して見られるような胚の画像を表示するためのライブビューアソフトウェアを含んでもよい。例証的実施例として、図3Cに示されるように、画像302は、顕微鏡を通して見られるような胚の画像である。捕捉ボタン313等のユーザ相互作用のために設計されたウィジェットは、ユーザが、画像捕捉デバイスを介して画像302を捕捉することを可能にし得る。例えば、図3Cでは、ウィジェットは、テキスト「捕捉する」を含む捕捉ボタン313であってもよい。例えば、捕捉ボタン313上をクリックおよび/または押下することによって、画像302等の画像が、捕捉されてもよい。このように、胚の1つまたはそれを上回る画像は、プラグアンドプレイソフトウェアを使用してリアルタイムで捕捉されてもよい。表示370はまた、以前に捕捉された画像およびそれらの個別のスコアを含んでもよい。例えば、図3Cに見られるように、画像302は、具体的患者(例えば、「Ashley Smith」353a)のために捕捉されるべき第4の画像であってもよい。他の3つの画像が、捕捉された画像315の下に表示されてもよい。これらの3つの画像のうちのいくつかは、同一の胚の画像であってもよい一方、画像捕捉315の下の他の画像は、異なる胚の画像であってもよい。加えて、または代替として、3つの画像のうちのいくつかは、同一の日に捕捉されてもよい一方、3つの画像のうちのいくつかの他の画像は、異なる日に捕捉されてもよい。図3Cでは、3つの画像は、異なる胚の画像である。胚毎の生存能力スコアは、個別の画像に隣り合って表される。画像315は、画像と関連付けられる胚IDおよび個別の生存能力スコアに関する情報を含んでもよい。加えて、ユーザは、表示370を介して画像に関連する注記を打ち込んでもよい。
【0087】
図3Dは、胚画像の捕捉を促進するための1つまたはそれを上回るユーザインターフェース要素を伴う表示375の別の変形例を図示する。上記に議論されるように、アプリケーションは、画像捕捉デバイス(例えば、顕微鏡)を通して見られるような胚の画像を表示するためのライブビューアソフトウェアを含んでもよい。図3Dでは、画像302aは、顕微鏡を通して見られるような胚の第1の画像である。
【0088】
図3Cと異なり、図3Dの捕捉ボタン313等のユーザ相互作用のために設計されたウィジェットは、テキスト「捕捉する」の代わりに、アイコン(例えば、カメラアイコン)を含んでもよい。捕捉ボタン313上をクリックおよび/または押下することによって、画像302a等の第1の画像が、捕捉されてもよい。代替として、ユーザは、ウィジェット314をクリックおよび/または押下し、以前に捕捉された胚の画像をアップロードしてもよい。
【0089】
同一の胚の複数の画像を捕捉するために、ユーザは、捕捉ボタン313を複数回クリックおよび/または押下してもよい。加えて、または代替として、ユーザが少なくとも所定の持続時間にわたって捕捉ボタン313をクリックする、押下する、および/または保持することに応答して、アプリケーションは、胚の複数の画像を連続して捕捉してもよい(例えば、バーストモード)。加えて、または代替として、捕捉ボタン313は、ユーザが捕捉ボタンをクリックする、押下する、および/または保持することに応答して、アプリケーションが、タイマによって設定された、配分された、または所定の期間内に複数の画像を捕捉し得るように、タイマと関連付けられてもよい。
【0090】
上記に議論されるように、アプリケーションは、同一の胚の複数の画像を捕捉することができる。各画像は、個々にスコア化されてもよい。いくつかの変形例では、1つまたはそれを上回る外れ値画像が、フラグ付けされる、拒否される、および/または排除されてもよい。例えば、大幅に異なる(例えば、少なくとも、同一の胚の全ての他の画像と関連付けられる生存能力スコア、同一の胚の他の画像の平均生存能力スコア等から所定の閾値だけ異なる)生存能力スコアを伴う胚の画像は、(例えば、ユーザによる)精査のために自動的にフラグ付けされ、自動的に拒否され、胚の特性評価から除外されるが、視認のために依然として存在する、および/または自動的に完全に破棄または削除されてもよい。胚の全体的生存能力スコアは、個々のスコアのそれぞれの数学的関数(例えば、代表値、中央値、最頻値等)であってもよい。ユーザが胚の画像を捕捉するにつれて、アプリケーションは、画像をリアルタイムでスコア化する。いくつかの変形例では、これらの捕捉された画像および/またはスコアは、ユーザにリアルタイムで表示されてもよい。例えば、図3Dにおいて捕捉された第1の画像302aは、図3Eのすでに捕捉された画像315aとして表示されてもよい。図3Dにおいて捕捉された第1の画像302aのスコアは、図3Eの画像315a(例えば、画像302aと同一)に隣り合って表示されてもよい。図3Eでは、画像315aのスコアは、0.52である。胚の第2の画像302bが、ライブビューアソフトウェアを通して視認されてもよい。第2の画像302bは、捕捉ボタン313上をクリックおよび/または押下することによって、または以前に捕捉された胚の画像をアップロードするためにウィジェット314をクリックおよび/または押下することによって、捕捉されてもよい。
【0091】
図3Dにおいて捕捉された第1の画像302aおよび図3Eにおいて捕捉された第2の画像302bは、それぞれ、図3Fの画像315aおよび画像315bとして表示されてもよい。図3Dにおいて捕捉された第1の画像302aのスコアは、図3Fの画像315a(例えば、画像302aと同一)に隣り合って表示されてもよい。図3Eに見られるように、画像315aのスコアは、0.52である。同様に、図3Eにおいて捕捉された第2の画像302bのスコアは、図3Fの画像315b(例えば、画像302bと同一)に隣り合って表示されてもよい。図3Fでは、第2の画像315bのスコアは、0.62である。胚の全体的生存能力スコアは、画像315aおよび画像315bの下方に表示されてもよい。例えば、図3Fでは、全体的生存能力スコア(例えば、0.57)は、画像315aのスコア(例えば、0.51)および画像315bのスコア(例えば、0.62)の代表値である。言い換えると、胚に関する移動平均生存能力スコアが、画像が捕捉される際に胚の複数の捕捉された画像に基づいて、リアルタイムで計算されてもよく、画像が捕捉および/または削除される際にアップロードされてもよい。胚の第3の画像302cが、ライブビューアソフトウェアを通して視認されてもよい。第3の画像302cは、捕捉ボタン313上をクリックおよび/または押下することによって、または以前に捕捉された胚の画像をアップロードするためにウィジェット314をクリックおよび/または押下することによって、捕捉されてもよい。
【0092】
図3Dにおいて捕捉された第1の画像302a、図3Eにおいて捕捉された第2の画像302b、および図3Fにおいて捕捉された第3の画像302cは、それぞれ、図3Gの画像315a、画像315b、および画像315cとして表示されてもよい。図3Dにおいて捕捉された第1の画像302aのスコアは、図3Gの画像315a(例えば、画像302aと同一)に隣り合って表示されてもよい。前述に見られるように、画像315aのスコアは、0.52である。同様に、図3Eにおいて捕捉された第2の画像302bのスコアは、図3Fの画像315b(例えば、画像302bと同一)に隣り合って表示されてもよい。前述に見られるように、画像315bのスコアは、0.62である。同様に、図3Fにおいて捕捉された第3の画像302cのスコアは、図3Gの画像315c(例えば、画像302cと同一)に隣り合って表示されてもよい。画像315cのスコアは、0.63である。胚の更新された全体的生存能力スコアは、画像315a、画像315b、および画像315cの下方に表示されてもよい。例えば、図3Gでは、全体的生存能力スコア(例えば、0.59)は、画像315aのスコア(例えば、0.51)、画像315bのスコア(例えば、0.62)、および画像315cのスコア(例えば、0.63)の代表値である。胚の第4の画像302dが、ライブビューアソフトウェアを通して視認されてもよい。第4の画像302dは、捕捉ボタン313上をクリックおよび/または押下することによって、または以前に捕捉された胚の画像をアップロードするためにウィジェット314をクリックおよび/または押下することによって、捕捉されてもよい。図3Gは、捕捉され得る第4の画像302dを図示するが、任意の好適な数の画像(例えば、1つ、2つ、3つ、4つ、5つ、またはそれを上回るもの)が、胚に関して捕捉される、表示される、および/または胚の全体的生存能力スコアに関する基礎を提供し得ることを理解されたい。
【0093】
ユーザが、異なる胚の画像を捕捉することを選定する場合、ユーザは、新しい胚ウィジェット316上を押下および/またはクリックしてもよい。アプリケーションは、図3Gの表示380から図3Hの表示381に遷移してもよい。ライブビューアソフトウェアは、画像捕捉デバイス(例えば、顕微鏡)を通して見られるような別の胚の画像(例えば、画像302e)を表示してもよい。すでにスコア化された胚(例えば、図3D-3Fの胚)の全体的生存能力スコアは、画像382aに隣り合って表示されてもよい。例えば、画像382aは、図3Dにおいて捕捉された以前にスコア化された胚の第1の画像302a、図3Eにおいて捕捉された以前にスコア化された胚の第2の画像302b、または図3Fにおいて捕捉された以前にスコア化された胚の第3の画像302cのうちの1つであってもよい。全体的生存能力スコア(例えば、図3Gに見られるような0.59)は、画像382aに隣り合って表示されてもよい。ユーザは、図3Gに見られる胚の全体的生存能力スコアを決定するために、図3D-3Gに概説されるようなプロセスを繰り返すことができる。
胚生存能力の評価
【0094】
いったん画像が捕捉されると、画像は、評価のためにコントローラ(例えば、図1のコントローラ108)にリアルタイムで送信されてもよい。コントローラは、1つまたはそれを上回る畳み込みニューラルネットワーク(CNN)を実装し、画像をリアルタイムで査定および分類してもよい。いくつかの変形例では、CNNは、一連のCNNであってもよい。図4は、一連のCNNを使用して胚生存能力を評価するための方法400の例示的変形例を図示する、フロー図である。
【0095】
402において、コントローラは、プラグアンドプレイソフトウェアによって捕捉された図3の画像302等の入力画像を受信してもよい。入力画像は、それぞれ、(1)404における画像セグメント化および画像クロッピング、(2)随意に、406における品質制御、(3)408における画像分類、および(4)随意に、410における患者データを組み込むことを実施するために実装される、一連のCNNによって分析されてもよい。412において、方法400は、(例えば、408における)画像分類からの出力に基づいて、および随意に、(例えば、410における)患者データを組み込むことからの出力に基づいて、胚の生存能力を予測してもよい。いくつかの変形例では、胚の生存能力は、胚が臨床的妊娠に到達する尤度(例えば、0~1の値)を表す。いくつかの変形例では、陽性胎児心臓活動または陰性胎児心臓活動が、臨床的妊娠のインジケータと見なされてもよい。
【0096】
CNNは、典型的には、画像から特徴を抽出するための1つまたはそれを上回る畳み込み層から成る。畳み込み層は、具体的特徴を検出するためのフィルタ(例えば、加重ベクトル)を含んでもよい。フィルタは、特徴を抽出するために、入力画像の高さおよび幅寸法を横断して段階的に偏移されてもよい。フィルタの偏移(すなわち、異なる空間場所におけるフィルタの適用)は、平行移動不変性を提供する。例えば、胚の境界を表す特徴が、1つの画像内の第1の空間場所に現れ、同一の特徴が、別の画像内の第2の異なる空間場所に現れる場合、CNNの平行移動不変性のため、これらの特徴は、第1の空間場所および第2の空間場所の両方から抽出されることができる。故に、平行移動不変性は、入力画像のエンコードが視覚的変動に対する強化された安定性を有し得る、特徴空間を提供する。すなわち、胚が、1つの画像から別の画像にわずかに平行移動および/または回転する場合であっても、出力値は、あまり変動しない。
【0097】
上記に議論されるように、一連のCNNが、特徴を抽出する、および/または入力画像を分類するために実装されてもよい。これらのCNNおよびそれらのアーキテクチャは、下記にさらに説明される。
画像クロッピング
【0098】
画像セグメント化および画像クロッピング(例えば、図4の404における)を実装するCNNは、胚の境界までクロッピングされる出力画像を発生させるために、胚の入力画像を取り込んでもよい。図5は、画像クロッピングおよび画像セグメント化のために胚の入力画像上にCNNを実装する例示的変形例である。例示的変形例では、U-Net501アーキテクチャが、画像セグメント化および画像クロッピングのために使用されてもよい。U-Net501アーキテクチャは、胚の精密かつ高速のセグメント化を提供し得る。U-Net501アーキテクチャの左部分は、入力画像の低次元表現を生成し得る、収縮経路を含んでもよく、U-Net501アーキテクチャの右部分は、セグメント化マップを生成するために低次元表現をアップサンプリングし得る、拡張経路を含んでもよい。
【0099】
訓練されたU-Net501アーキテクチャは、胚のセグメント化のためのU-Netマスク504を発生させてもよい。U-Netマスク504は、グラウンドトゥルースバイナリセグメント化マスクであってもよい。U-Net501は、入力画像502をU-Netマスク504と比較し、入力画像内の胚の周囲に正方形クロップを作成してもよい。U-Net501は、次いで、胚の境界までクロッピングされた出力画像506を発生させてもよい。例示的変形例では、U-Net501アーキテクチャに関するハイパーパラメータは、40個のエポック、lr=0.0005、およびバッチ=32を含んでもよい。
【0100】
代替変形例では、画像クロッピングおよび画像セグメント化のためのCNNのアーキテクチャは、Mask R-CNN、完全畳み込みネットワーク(FCN)等の任意の好適なCNNを含んでもよい。
品質制御
【0101】
画像クロッピングおよび画像セグメント化を実装するCNNによって発生された出力画像(例えば、図5の出力画像506)は、品質制御を実施するCNNへの入力として作用してもよい。画像の品質制御は、画像が胚を含むかどうかを検証することおよび/または胚が胚盤胞である確率を決定することを含んでもよい。そのような検証を実施することに対する第1のステップとして、画像は、(例えば、図5のU-Net501を使用して)胚の境界まですでにクロッピングおよびセグメント化されているため、クロッピングを実施するCNNは、前景結果を有していない(例えば、いかなる胚も描写しない)画像を排除してもよい。代替として、クロッピングを実施するCNNは、前景結果を有していない(例えば、いかなる胚も描写しない)画像を排除するために、(例えば、コンピューティングデバイス上で実行されるアプリケーション106を介して)ユーザに警告メッセージおよび/または警告信号等のアラートを伝送してもよい。また別の代替変形例では、クロッピングを実施するCNNは、画像内に胚を含め、画像の品質を改良するように、画像を変化させるために(例えば、コンピューティングデバイス上で実行されるアプリケーション106を介して)修正を伝送してもよい。これは、第1のフィルタとして作用し得る。残りの画像(すなわち、排除されなかった画像)は、図6に示される品質制御CNNを実装することによって、検証されてもよい。
【0102】
図6は、品質制御を実施するためのCNNを実装する例示的変形例である。例示的変形例では、オートエンコーダが、品質制御を実施するために使用されてもよい。アーキテクチャは、畳み込み層と、プーリング層と、入力層と、出力層とを含む、2次元畳み込みの5つの層を含んでもよい。例えば、2次元畳み込みの5つの層は、ストライドと、バッチ正規化と、ReLUアクティブ化とを含んでもよい。層601aは、エンコーダを表してもよく、601bは、潜在空間を表してもよく、層601cは、オートエンコーダのデコーダを表してもよい。図6に見られるように、画像の次元数は、最初に、低減されてもよい(例えば、エンコーダ層601a)。本低減されたエンコードから、CNNは、(例えば、デコーダ層601cを使用して)画像を再構築してもよい。潜在空間601bは、データの圧縮された状態を表してもよい。オートエンコーダは、潜在空間601b内の外れ値を識別してもよい。圧縮および後続再構築に起因して、モデルは、いかなる外部の雑音も取り除かれ、それによって、重要な特徴に焦点を当て得る。図6は、図6に示されるオートエンコーダを実装することによって発生される、例示的入力602および対応する再構築された出力606を示す。
【0103】
例示的変形例では、オートエンコーダのためのハイパーパラメータは、200個のエポック、lr=0.003、およびバッチ=32を含んでもよい。学習された潜在空間は、N=4096であってもよい。
【0104】
図7は、品質制御を実施する畳み込みニューラルネットワーク(例えば、図6のオートエンコーダ)の例示的展開を図示する。オートエンコーダは、100個のランダムの訓練画像に関する学習された潜在空間を抽出してもよい。オートエンコーダは、次いで、潜在空間の代表値をとってもよい。例えば、図7に提供される実施例では、代表値は、N=2000を生成する。潜在空間クラスタリング方法が、外れ値を識別するために使用されてもよい。例えば、潜在空間内のサンプル点と基準点との間の距離(例えば、コサイン類似度)が、算出されてもよい。類似するデータ点がともにクラスタ化することが、観察され得る。例えば、ほぼ1に等しいコサイン距離を伴う点は、グラフ702において(例えば、クラスタ702aとして)ともにクラスタ化する類似するデータ点であり得る。閾値よりも低い(例えば、図7において0.87よりも低い)コサイン距離を伴う点は、外れ値(例えば、外れ値702b)であり得る。ともにクラスタ化する(例えば、点702aに対応する)高い類似度を伴う胚の画像が、704aに示される。外れ値であり得る(例えば、点702bに対応する)胚の画像が、704bに示される。上記に説明されるような品質制御を実施し得る任意の好適なCNNが、使用されてもよい(例えば、通常のCNN分類器)。
画像分類
【0105】
入力画像をクロッピングおよびセグメント化し、随意に、いくつかの変形例では、品質制御を実施した後、画像は、別のCNNを使用して分類されてもよい。図8は、画像分類およびスコア発生のためのCNNを実装する例示的変形例である。CNNは、画像スコア801d(例えば、生存能力スコア)を発生させるために、画像を分類するように訓練されてもよい。画像スコア801dは、その画像の評価に基づいて、画像内の胚が臨床的妊娠に到達するであろう確率、画像内の胚が生児出生に到達するであろう確率、および/または同等物を示してもよい。
【0106】
例示的変形例では、resnet-18モデル801aアーキテクチャが、画像分類のために転移学習と併用されてもよい。resnet-18モデル801aは、18層の深さである残差ネットワークであってもよい。resnet-18モデル801aは、1つまたはそれを上回る残差ブロックを含んでもよい。残差ブロックによって作成される識別マッピングは、残差ブロックが、残差ネットワークの性能に影響を及ぼすことなく、接続を省略することを可能にし得る。転移学習は、resnet-18モデル801aが、異なるデータセットのための類似するタスクを実施することによって学習される知識を転移することを可能にし得る。すなわち、resnet-18モデル801aは、異なるデータセット(例えば、ImageNet)上で事前訓練された、事前訓練モデルであってもよい。転移学習は、いくつかまたは全ての層に関してresnet-18モデル801aを微調整し、胚の画像を分類するためにresnet-18モデル801aを再利用するために実施されてもよい。いくつかの変形例では、図8に示されるようなresnet-18モデル801aの浅いアーキテクチャが、実装されてもよい。これは、オーバーフィッティングのリスクを最小限にし得、算出要件を低減させ得る。代替変形例では、DenseNet、Inception、Alexnet、および/またはGoogLeNetの修正されたバージョンが、resnetモデルの代わりに、画像分類のために使用されてもよい。
【0107】
いくつかの変形例では、随意のステップとして、患者データが、胚生存能力を予測する正確度を改良するために、組み込まれてもよい。いくつかの変形例では、患者年齢、肥満度指数、および/またはドナーステータス等の変数が、電子医療記録から取得されてもよい。患者データは、各画像スコア801d(例えば、具体的画像内の胚に関して発生された生存能力スコア)を対応する患者データおよび/または患者メタデータと連結することによって組み込まれてもよい。小さいフィードフォワードニューラルネットワークまたはロジスティック回帰モデル801cが、これらの連結された画像スコアおよび患者データを組み込んでもよい。例えば、フィードフォワードニューラルネットワーク801cは、画像スコアおよび患者データの連結された値に対して訓練されてもよい(CNNの訓練に関するさらなる詳細は下記)。フィードフォワードニューラルネットワーク801cは、バッチ正規化、ReLU、およびドロップアウトを伴う層を含んでもよい。フィードフォワードニューラルネットワーク801cは、次いで、クロッピングおよび分類された具体的画像内の胚に関する正常な妊娠の尤度を表す、最終スコアを発生させてもよい。他の実装では、患者データは、画像および患者データに対する並行した訓練のために、画像分類モデル801a内の最終特徴ベクトル層と連結されることができる。
【0108】
胚の1つを上回る画像が、捕捉される場合、胚の全体的生存能力は、個々の画像に関して発生され得る個々の生存能力スコアの関数であってもよい。例えば、全体的生存能力スコアは、個々の画像に関して発生された個々の生存能力スコアの平均値および/または中央値であってもよい。このように、一連のCNNが、胚生存能力を評価するために使用されてもよい。
出力の表示
【0109】
上記に議論されるように、図1のアプリケーション106等のプラグアンドプレイソフトウェアが、胚の画像をリアルタイムで捕捉してもよい。各画像は、1つまたはそれを上回る畳み込みニューラルネットワーク(CNN)によってリアルタイムで評価されてもよい。故に、CNNは、画像毎のスコアをリアルタイムで発生させてもよい。捕捉された画像に関するリアルタイムで発生される本スコアは、スコアを臨床医(例えば、胚培養士、不妊治療専門医等)に表示するように、アプリケーション106に伝送されてもよい。いくつかの変形例では、胚の複数の画像が、数秒のスパン内で捕捉されてもよい。そのような変形例では、CNNは、捕捉された画像毎の個々のスコアをリアルタイムで発生させてもよい。しかしながら、胚に関する全体的生存能力スコアは、各個々のスコアの関数であってもよい。そのような変形例に関して、全体的生存能力スコアは、全体的生存能力スコアを臨床医に表示するように、アプリケーション106にリアルタイムで伝送されてもよい。
【0110】
胚のスコアは、任意の好適な様式で表示されてもよい。例えば、スコアは、正常な臨床的妊娠の尤度を示すパーセンテージ(例えば、90%は、胚が正常な臨床的妊娠の90%の可能性を有することを示す)として表示されてもよい。代替として、スコアは、数値スケールからの数(例えば、0が最も生存能力のない胚を表し、10が最も生存能力のある胚を表す、0~10の数、0が最も生存能力のない胚を表し、100が最も生存能力のある胚を表す、0~100の数等)として表示されてもよい。また別の代替変形例では、スコアは、胚を文字スケール(例えば、「A」が最も生存能力のない胚を表す、「A」、「B」、「C」、「D」等)に分けてもよい。また別の代替変形例では、スコアは、胚をカテゴリ(例えば、「良好」、「不良」等)に分けてもよい。また別の代替変形例では、表示され得る胚の画像の少なくとも一部は、胚の生存能力を表す色を用いて色分けされてもよい。例えば、胚の画像のフレームまたは境界線は、色が数値スコア上にマッピングされ得るように色分けされてもよい。いくつかの実施例では、胚は、少なくとも部分的に、数値生存能力スコアを1つまたはそれを上回る所定の閾値と比較することによって、文字スケール、カテゴリ、色、および/または同等物に分けられてもよい。
【0111】
図9は、胚に関する全体的生存能力スコアを表示するために、コンピューティングデバイスの表示900上にレンダリングされるプラグアンドプレイソフトウェアの例示的変形例を図示する。表示900は、捕捉903と、精査905と、エクスポート907とを含んでもよい。ユーザは、アプリケーションに、そのオプションと関連付けられるウィジェットおよび情報を表示させるように、具体的オプションと相互作用してもよい。図9では、精査905のオプション上をクリックすることは、アプリケーションに、精査905の機能性と関連付けられるウィジェットおよび情報を表示させてもよい。
【0112】
図9は、患者「Jane Doe」に関する精査905の事例を図示する。図9では、画像10は、リアルタイムで捕捉され、分析のためにコントローラに送信されてもよい。コントローラは、画像を分類し、画像10内に示される胚に関する90%の全体的生存能力スコア(例えば、患者に移植される場合、正常な臨床的妊娠をもたらす推定される90%の尤度)を発生させてもよい。アプリケーションは、表示900に、画像(例えば、画像902)および画像902内の胚に関する全体的生存能力スコアを表示させてもよい。表示900はまた、胚に関連する分析909を含んでもよい。例えば、分析909は、胚ID、受精後日数、画像が撮影された日付、および胚等級(例えば、胚に関する全体的生存能力スコア)等の情報を含んでもよい。
【0113】
加えて、ユーザ(例えば、胚培養士)は、各胚の全体的生存能力スコアに基づいて、各胚を用いて行うこと(例えば、移植、凍結、廃棄等に関する胚ステータスを表す)を選定してもよく、胚ステータスは、任意の好適な様式(例えば、アイコン、テキスト、色分け等)で示されてもよい。例えば、図9では、ユーザは、画像1、画像6、および画像8(画像上に「X」とともに示される)の胚を廃棄することを選定してもよい。ユーザは、画像2、画像3、画像4、画像5、画像7、および画像9(雪片アイコンとともに示される)の胚を凍結させることを選定してもよい。ユーザは、画像10(「T」とともに示される)の胚を移植することを選定してもよい。このように、ユーザは、各画像を用いて行うことを決定するためのオプションを提示され、胚毎の所望のアクションを示してもよい。これらのアクションを促進するためのユーザインターフェースの他の変形例が、図10に関して下記にさらに説明される。
【0114】
胚に関する全体的生存能力スコア(例えば、臨床的妊娠の尤度のインジケーション)をリアルタイムで表示することに加えて、アプリケーションはまた、それらがランク付けされる順序で画像(例えば、臨床的妊娠の最も高い尤度を有する胚を伴う画像から臨床的妊娠の最も低い尤度を有する胚を伴う画像まで)を表示してもよい。図10は、それらがランク付けされる順序で胚の画像を表示するために、コンピューティングデバイスの表示1000上にレンダリングされるプラグアンドプレイソフトウェアの例示的変形例を図示する。図10では、表示1000上に表示される画像は、異なる胚の画像(例えば、胚ID 31HG201-3-3を伴う画像、胚ID 31HG201-3-2を伴う画像、および31HG201-3-1を伴う画像)である。図10の全ての3つの画像は、同一の日(例えば、5日目)に捕捉される。しかしながら、画像は、任意の好適な日(例えば、3日目、4日目、6日目、7日目等)に捕捉されてもよい。
【0115】
各胚の画像が、分析のためのCNNを実装するコントローラに送信されると、コントローラは、各胚の全体的生存能力スコアを発生させてもよい。例えば、コントローラは、胚ID 31HG201-3-3を伴う胚に関して捕捉された各画像を個々に分析し、個々にスコア化してもよい。胚ID 31HG201-3-3を伴う胚の全体的生存能力スコアは、各捕捉された画像のスコアの関数であってもよい。図10では、胚ID 31HG201-3-3を伴う胚の全体的生存能力スコアは、0.8であることが決定された。類似する様式で、コントローラは、胚ID 31HG201-3-2を伴う胚に関して捕捉された各画像を個々に分析し、個々にスコア化してもよい。胚ID 31HG201-3-2を伴う胚の全体的生存能力スコアは、各捕捉された画像のスコアの関数であってもよい。図10では、胚ID 31HG201-3-2を伴う胚の全体的生存能力スコアは、0.62であることが決定された。同様に、胚ID 31HG201-3-1を伴う胚の全体的生存能力スコアは、0.12であることが決定された。
【0116】
コントローラは、次いで、画像内の胚の全体的生存能力スコアに基づいて、胚をランク付けしてもよい。例えば、図10の実施例では、コントローラは、胚ID 31HG201-3-3および0.8の全体的生存能力スコアを伴う胚を第1としてランク付けし、胚ID 31HG201-3-2および0.62の全体的生存能力スコアを伴う胚を第2としてランク付けし、胚ID 31HG201-3-1および0.12の全体的生存能力スコアを伴う胚を第3としてランク付けしてもよい。このように、各胚の少なくとも1つの画像が、それらがランク付けされる順序で表示されてもよい。
【0117】
いくつかの変形例では、胚の全体的生存能力スコアは、胚の各画像に近接して表示されてもよい。例えば、図10では、0.8の全体的生存能力スコアは、画像1に近接して表示される。加えて、表示1000は、胚ステータスを選択するためのオプションを伴う、胚の各画像の下方のドロップダウンメニュー(例えば、画像1のためのドロップダウンメニュー1002a、画像2のための1002b、および画像3のための1002c)を含んでもよい。ユーザは、ドロップダウンメニュー1002aを介してステータス(例えば、「凍結移植」、「凍結」、「凍結および生検」、「廃棄」等)を選定してもよい。ステータスは、テキスト、記号または他のアイコン、色分けを用いて、および/または任意の好適な様式で示されてもよい。表示1000はまた、胚についての臨床医による注記を表示する、各画像の下方の注記を含んでもよい。表示1000はまた、表示1000上で視認されている胚を示す胚IDを示してもよい。
畳み込みニューラルネットワークの訓練
【0118】
胚査定に対する真のデータ駆動型アプローチを実施するために、本明細書に説明されるCNNは、大量のデータに対して訓練されてもよい。データは、臨床パートナーのコンソーシアム、胚の顕微鏡画像を備えるデータベース、電子医療記録、および/または同等物を含む、様々な源から収集されてもよい。収集されたデータは、移植胚に関する妊娠転帰、ガードナー等級、生検および試験された場合がある胚に関する着床前胚染色体異数性試験(PGT-A)結果、および患者データを含有し得る、電子医療記録データとともに、胚の顕微鏡画像を含んでもよい。データを収集した後、収集されたデータにおける顕微鏡画像は、それらの妊娠転帰に基づいて、2つの群に分配されてもよい。例えば、収集されたデータにおける顕微鏡画像は、陽性妊娠転帰を表す陽性胎児心臓活動(FCA)および陰性妊娠転帰を表す陰性胎児心臓活動(FCA)に分配されてもよい。
【0119】
収集された顕微鏡画像を陽性FCAおよび陰性FCAに分配した後、これらの個々の群における画像はさらに、70%の訓練データおよび30%の試験データ等の訓練データおよび試験データを形成するために、任意の好適な比に分割されてもよい。例えば、陽性FCAを伴う顕微鏡画像は、70%の訓練および30%の試験に分配されてもよい。同様に、陰性FCAを伴う顕微鏡画像は、70%の訓練および30%の試験に分配されてもよい。類似する様式で、患者データを組み込むために、画像毎の胚スコアは、患者データと連結されてもよい。連結されたデータは、70%の訓練データおよび30%の試験データに分配されてもよい。
【0120】
本技術は、任意の画像捕捉デバイスと互換性があるように設計されるため、CNNを訓練するための訓練データは、異なる画像捕捉デバイスからの画像の組み合わせを含む必要性があり得る。異なる画像捕捉デバイスは、異なる光学系および異なる分解能を有し得るため、訓練データは、そのような差異を考慮する必要性があり得る。
訓練データの拡張
【0121】
光学系および分解能における差異を考慮するための一方法は、訓練データを拡張することであってもよい。訓練データにおける各画像は、オンザフライで拡張されてもよい。例えば、1つまたはそれを上回る変換が、各画像に適用されてもよい。ランダム変換のいくつかの非限定的実施例は、画像を上下にランダムに反転させること、画像を左右にランダムに反転させること、画像をランダムにスケーリングすること(例えば、画像を元の画像サイズから約5%だけスケーリングすること)、画像を-90度~90度にランダムに回転させること、画像のコントラスト、輝度、および/または彩度をランダムに変動させること、それらの組み合わせ、および/または同等物を含む。図11は、胚の1つまたはそれを上回る画像へのランダム変換の適用に続く、拡張画像の実施例の例示的変形例を図示する。このように、訓練データを拡張することによって、CNNは、画像を分析しながら、光学系および分解能の少なくともある程度の変化を考慮することが可能であり得る。
転帰の出現率の平衡
【0122】
訓練データを拡張することにもかかわらず、CNNが、診療所毎の転帰の出現率に基づいて、画像をスコア化するとき、依然としてバイアスを導入し得ることが、可能性として考えられ得る。例えば、1つの診療所からの訓練データが、全ての他の診療所と比較して、陽性転帰のかなりより高いパーセンテージを有する場合、CNNは、その診療所からの全ての画像に関して正のバイアスを適用するように学習し得る。これは、訓練データにおいてより高い陽性転帰を伴う診療所からの胚が、偽陽性を発生させ得るため、胚の準最適な分析につながり得る。同様に、訓練データが、胚を保持するためのマイクロピペットを含む画像を有する場合、CNNは、マイクロピペットを伴う全ての画像に関して正または負のバイアスを適用するように学習し得る。
【0123】
故に、本問題を解決するために、訓練データは、全ての診療所および/または施設が、訓練の各エポックにおいて同一の陽性対陰性画像の比を有し得るように、再サンプリングされてもよい。同様に、訓練データは、マイクロピペットを伴う画像が、訓練の各エポックにおいてマイクロピペットを伴わない画像と同一の陽性対陰性画像の比を有するように、再サンプリングされてもよい。このように訓練されたCNNは、転帰の出現率を平衡させることが可能であり得、より良好な正確度を伴う(例えば、バイアスを導入することなく)画像をスコア化することが可能であり得る。
【0124】
このように、訓練データを拡張し、転帰の出現率を平衡させることの組み合わせを実装することによって、本技術は、任意のタイプの画像捕捉デバイスに適応し得、任意の診療所および/または施設に関する任意の既存のワークフローに適合し得る。
例示的訓練実施例
【0125】
いくつかの変形例では、訓練データセットは、妊娠転帰を伴う移植胚の画像(例えば、7つの異なる診療所からの妊娠転帰を伴う1,000個、2,000個、3,000個、4,000個、5,000個、10,000個以上、またはそれを上回る移植胚の画像)を含んでもよい。いくつかの変形例では、PythonおよびオープンソースフレームワークのPyTorchが、CNNを訓練するために使用されてもよい。いくつかの変形例では、訓練は、例えば、50個のエポックにわたって実施されてもよい。最終モデルが、最も高い正確度を伴うエポックから選択されてもよい。いくつかの変形例では、一連のモデルが、学習率およびバッチサイズ等のパラメータに関する最適な値を見出すために、ハイパーパラメータ探索を使用して訓練されてもよい。様々なデータサンプリング、ハイパーパラメータ、および/またはアーキテクチャを用いて訓練された2つまたはそれを上回るモデルのアンサンブルが、最終予測(例えば、胚生存能力の評価)を実施するために展開されてもよい。
【0126】
画像クロッピングおよび画像セグメント化のためのU-Netの訓練:いくつかの変形例では、上記に説明されるU-Netのための訓練データは、数百個の未加工胚画像に関する手動前景標識、数千個の画像およびマスクを作成するためのランダム反転および/または回転を伴う拡張画像訓練データ、および正方形にパディングされ、次いで、112×112等にリサイズされる画像およびマスクを含んでもよい。
【0127】
品質制御のためのオートエンコーダの訓練:いくつかの変形例では、上記に説明されるオートエンコーダのための訓練データは、2つの診療所からの数千個の画像を含んでもよい。本データは、凍結胚の画像および新鮮胚の画像の組み合わせを含んでもよい。上記に議論されるように、収集された画像データ(例えば、凍結胚の画像および新鮮胚の画像の収集されたデータ)は、70%の訓練データおよび30%の試験データ等の訓練データおよび試験データを形成するために、任意の好適な比に分割されてもよい。いくつかの変形例では、訓練データはまた、128×128等の好適なサイズにリサイズされた、胚クロッピング画像(例えば、U-Netモデルによってクロッピングされた画像)を含んでもよい。
【0128】
患者データを組み込むための完全に接続されたニューラルネットワークの訓練:いくつかの変形例では、上記に説明される完全に接続されたニューラルネットワークのための訓練データは、患者データと連結された画像毎の胚スコアを含んでもよい。本データは、70%の訓練および30%の試験等の訓練データおよび試験データを形成するために、任意の好適な比に分割されてもよい。
【0129】
いくつかの変形例では、訓練データセットは、7つの異なる診療所からの妊娠転帰を伴う移植胚(または他の好適な数)の画像を含んでもよい。図12は、本訓練データセット内の特性の概観を図示する。関連付けられる移植転帰を伴う胚の画像毎に、患者年齢、移植の日、ドナーステータス、および/または同等物に関する情報が、収集されてもよい。いくつかの変形例では、CNNにおいて潜在的バイアスを導入し得る重要となるパラメータが、追跡されてもよい。これらのパラメータは、患者年齢、民族性、移植の日(5、6、または7日目)、ドナー対非ドナー卵母細胞、新鮮移植対凍結移植、およびガードナー等級を含んでもよい。図12のプロットは、転帰毎の胚データセットの分布を示す。
例示的性能データ
【0130】
本技術の性能(例えば、CNNの性能)を評価するために、主要な性能メトリックは、曲線下面積(AUC)であってもよい。AUCは、受信者動作特性(ROC)曲線から導出されてもよい。AUCは、二項分類問題において事例をランク付けするためのモデルの能力として定義されてもよい。本実施例では、AUCは、本明細書に説明されるCNNが、陰性転帰(例えば、陰性FCA)を伴う胚よりも陽性転帰(例えば、陽性FCA)を伴う胚を正確にスコア化し得る程度を測定してもよい。
【0131】
参照標準を作成するために、ガードナー等級が、IVF診療所から収集された。英数字のガードナー等級(例えば、3AAまたは5AB)が、数値スコア(1~43)にマッピングされた。マッピングは、胚盤胞拡大の程度に関して1<2<4<5<6であると仮定し、内部細胞塊品質および栄養外胚葉品質の両方に関してC<B<Aであると仮定する、順序技法を使用して実施された。故に、等級付けの順序は、以下であり得る。
【化1-1】
【化1-2】
【0132】
図13は、ガードナー等級付けシステムと比較される、本明細書に説明される技術を使用した新鮮胚移植に関する受信者動作特性曲線を図示する。N=334を伴う試験データに関する結果は、本明細書に説明される技術が、画像のみを使用した0.702および画像および患者データの組み合わせを使用した0.734のAUCを伴う、臨床的妊娠に到達するそれらの尤度に従って胚をスコア化することを示す。手動ガードナー等級付けシステムに関するAUCは、0.585である。これは、標準治療と比較して、本明細書に説明される技術を使用することによる15%の絶対的改良を表す。
非侵襲性異数性予測
【0133】
胚をスコア化し、胚の生存能力スコアに基づいて画像をランク付けすることに加えて、本技術はまた、非侵襲性異数性予測および解凍後生存能力査定を実施してもよい。着床前胚染色体異数性試験(PGT-A)は、胚が正しい数の染色体を有するかどうかを決定するために配列決定される、栄養外胚葉の生検を実施することを伴い得る。異常な数の染色体を伴う胚は、異数性胚である一方、正常な数の染色体を伴う胚は、正倍数体胚である。異数体胚を排除することは、失敗した妊娠転帰につながり得る胚を排除し得る。換言すると、PGT-Aを実施することによって、異数体胚は、移植されないように排除され得る。しかしながら、PGT-A予測を実施する既存の方法は、侵襲性である。実際、胚の安全性についての懸念が、現在まで存在している。より最近では、PGT-A分野は、非侵襲性無細胞デオキシリボ核酸(DNA)試験に移行し始めている。しかしながら、無細胞DNA試験は、まだ広く採用されていない。したがって、より高い正確度で胚の倍数性ステータスを非侵襲的に予測するための満たされていない必要性が、存在する。
【0134】
加えて、侵襲性PGT-A試験および/または無細胞DNA試験が、普及した状態になることになる場合であっても、1つを上回る正倍数体胚が、移植のために利用可能であることが、依然として可能性として考えられ得る。全ての正倍数体胚が、正常な転帰につながり得るわけではない。したがって、PGT-Aサイクルであっても、正倍数体胚は、移植のための順序に優先順位を付けるために、等級付けされる必要があり得る。加えて、PGT-Aサイクルにおいて胚を等級付けすること(例えば、形態学的等級付け)は、異数性の尤度および妊娠につながる可能性に関する付属情報を提供し得る。
【0135】
故に、本明細書に説明される技術は、胚の倍数性ステータスを非侵襲的に予測してもよい。
胚の画像の捕捉
【0136】
アプリケーション106等の本明細書に説明されるプラグアンドプレイソフトウェアは、胚の1つまたはそれを上回る画像を捕捉するために使用されてもよい。アプリケーションは、画像を図1のコントローラ108等のコントローラにリアルタイムで送信してもよい。倍数性ステータスを予測するために胚の画像を捕捉するための方法および/またはシステムは、(上記に説明されるような)生存能力スコアを発生させるために胚の画像を捕捉するための方法および/またはシステムと同一であってもよい。
倍数性ステータスの予測
【0137】
コントローラは、画像から倍数性ステータスを予測するために、1つまたはそれを上回る深層CNNを実装してもよい。いくつかの変形例では、これらのCNNは、上記に説明されるCNN(すなわち、胚生存能力を査定するためのCNN)と異なってもよい。例えば、これらのCNNは、胚の画像から倍数性ステータスを予測するように具体的に訓練およびモデル化されてもよい。すなわち、胎児心拍を予測するためのCNNを構築する代わりに、CNNは、異数性と関連付けられ得る画像内の形態学的特徴を識別するようにモデル化されてもよい。
【0138】
代替として、胚に関するスコアを発生させることに加えて、上記に説明されるCNNは、胚の倍数性ステータスを予測するように訓練されてもよい。例えば、図1のアプリケーション106等のプラグアンドプレイソフトウェアを介して捕捉された画像は、胚の倍数性ステータスを発生せるために、CNNによってリアルタイムで分析および分類されてもよい。図14は、異数体胚の画像の例示的変形例を図示する。CNNは、異数性と関連付けられ得る画像内の形態学的特徴を識別するように訓練されてもよい。
【0139】
本明細書に説明されるように、一連のCNNが、画像を分析および分類するために実装されてもよい。一実施例では、入力画像が、U-Netモデル(図5のU-Net501等)等のCNNによってクロッピングおよびセグメント化されてもよい。U-Netモデルは、胚の画像をセグメント化し、胚の境界までクロッピングするように訓練されてもよい。図6のオートエンコーダ等の品質制御を実施するためのCNNは、学習された潜在空間クラスタリング方法を使用して、外れ値を識別するように訓練されてもよい。オートエンコーダは、画像が異数体胚を含有するかどうか、およびこれが該当する場合、異数体胚が正確に標識化されているかどうかを検証してもよい。図8のresnet-18等の画像分類のためのCNNは、倍数性ステータスを表す二進出力を発生させるために、画像を分類するように訓練されてもよい。例えば、resnet-18は、胚が異数体胚ではないことを示す出力「1」を発生させてもよく、胚が異数体胚であることを示す出力「0」を発生させてもよい。いくつかの変形例では、倍数性ステータスを予測するために訓練されたCNNは、予測の正確度を改良するために、患者データを組み込んでもよい。
【0140】
いくつかの変形例では、倍数性ステータスを識別するように訓練されたCNNは、予測の正確度を改良するために、患者データを組み込んでもよい。例えば、患者の年齢は、胚の倍数性ステータスと非常に相関され得る。
出力の表示
【0141】
出力は、上記に説明されるような胚の生存能力に関する出力を表示することに類似する様式で表示されてもよい。例えば、アプリケーション106等の本明細書に説明されるプラグアンドプレイソフトウェアが、胚に関する倍数性ステータスを表示してもよい。
CNNの訓練
【0142】
データは、臨床パートナーのコンソーシアム、胚の顕微鏡画像を備えるデータベース、電子医療記録、および/または同等物を含む、様々な源から収集されてもよい。収集されたデータは、移植胚に関する妊娠転帰、生検および試験された場合がある胚に関する着床前胚染色体異数性試験(PGT-A)結果、および患者データを含有し得る、電子医療記録データとともに、胚の顕微鏡画像を含んでもよい。データを収集した後、収集されたデータにおける顕微鏡画像は、それらの倍数性ステータスに基づいて、2つの群に分配されてもよい。例えば、収集されたデータにおける顕微鏡画像は、正倍数体胚および異数体胚に分配されてもよい。
【0143】
いくつかの変形例では、訓練データは、妊娠転帰および倍数性ステータスの組み合わせを含んでもよい。例えば、陰性妊娠転帰を伴う全ての正倍数体胚は、陰性転帰群に入れられてもよい。全ての異数体胚は、陰性転帰群に入れられてもよい。陽性妊娠転帰を伴う全ての正倍数体胚は、陽性転帰群に入れられてもよい。このように、妊娠転帰および倍数性ステータスの両方を示すために訓練データを組み合わせることによって、本明細書に説明される技術は、胚の倍数性ステータスおよび倍数性ステータスに基づく胚の生存能力の両方を正確に予測するために、シームレスに統合されてもよい。
【0144】
いくつかの変形例では、訓練データセットは、7つの異なる診療所からの妊娠転帰を伴う2,000個を上回る移植胚の画像を含んでもよい。図15は、本訓練データセット内の特性の概観を図示する。関連付けられる倍数性ステータスを伴う胚の画像毎に、患者年齢、移植の日、および/または同等物に関する情報が、収集されてもよい。いくつかの変形例では、CNNにおいて潜在的バイアスを導入し得る重要となるパラメータが、追跡されてもよい。これらのパラメータは、患者年齢、移植の日(5、6、または7日目)を含んでもよい。図15のプロットは、倍数性ステータス毎の胚データセットの分布を示す。
解凍後生存能力査定
【0145】
いくつかの変形例では、本明細書に開示される技術は、加えて、または代替として、解凍後生存能力査定を実施するために使用されてもよい。例えば、上記に説明されるように、本明細書に開示される技術は、胚盤胞段階における胚の生存能力を評価してもよい。しかしながら、胚盤胞段階における胚を移植する代わりに、生存能力があると見なされた胚が、凍結保存を受けてもよい。胚を移植する前の凍結保存は、全てを凍結させるサイクルであってもよい。これは、ひいては、過剰刺激のリスクを最小限にし得、ホルモンレベルが胚移植に先立って再設定されることを可能にし得る。胚は、凍結保存および解凍後に移植され得る。解凍後生存能力査定は、凍結および解凍後にそれらの生存能力の少なくとも一部を喪失した場合がある胚を検出してもよい。すなわち、胚盤胞段階において生存能力があると見なされている場合があるいくつかの胚は、凍結および解凍のプロセスに続いて、低減された生存能力を有し得る(例えば、より低いレベルの生存能力を有する、または生存していない)。解凍後生存能力査定は、そのような胚を識別してもよい。
【0146】
故に、本明細書に説明される技術は、凍結-解凍プロセスから生存していない胚を識別するために、解凍後生存能力分析を実施してもよい。しかしながら、そのような解凍後分析が、凍結に先立つ分析と組み合わせて、または独立型の様式で実施され得ることを理解されたい。例えば、いくつかの変形例では、胚は、凍結に先立って(例えば、胚盤胞段階において)、および解凍後を含む、複数の時点で撮像およびスコア化および/またはランク付けされてもよい。代替として、いくつかの変形例では、胚は、解凍後にのみ撮像およびスコア化および/またはランク付けされてもよい。
解凍後の胚の画像の捕捉
【0147】
アプリケーション106等の本明細書に説明されるプラグアンドプレイソフトウェアは、解凍後の胚の1つまたはそれを上回る画像を捕捉するために使用されてもよい。アプリケーションは、これらの画像を図1のコントローラ108等のコントローラにリアルタイムで送信してもよい。解凍後生存能力を予測するために胚の画像を捕捉するための方法および/またはシステムは、胚盤胞段階における(上記に説明されるような)生存能力スコアを発生させるために胚の画像を捕捉するための方法および/またはシステムと同一であってもよい。
解凍後生存能力の予測
【0148】
コントローラは、画像から解凍後生存能力を予測するために、1つまたはそれを上回る深層CNNを実装してもよい。いくつかの変形例では、これらのCNNは、上記に説明されるCNN(すなわち、胚生存能力を査定するためのCNN)と異なってもよい。例えば、これらのCNNは、画像から解凍後生存能力を予測するように具体的に訓練およびモデル化されてもよい。より具体的には、種々のアーキテクチャ、ハイパーパラメータ最適化、およびアンサンブル技法が、画像から解凍後生存能力を予測し得るCNNを訓練およびモデル化するために実装されてもよい。CNNは、胚が凍結-解凍プロセスから生存しているかどうかを示し得る、確率スコアを発生させるように訓練されてもよい。確率スコアが、閾値を下回る場合、解凍後胚は、生存能力がないと見なされてもよい。
【0149】
代替として、胚に関するスコアを発生させることに加えて、上記に説明されるCNNは、解凍後生存能力を予測するように訓練されてもよい。本明細書に説明されるように、一連のCNNが、画像を分析および分類するために実装されてもよい。一実施例では、入力画像が、U-Netモデル(図5のU-Net501等)等のCNNによってクロッピングおよびセグメント化されてもよい。U-Netモデルは、解凍後胚の画像をセグメント化し、解凍後胚の境界までクロッピングするように訓練されてもよい。図6のオートエンコーダ等の品質制御を実施するためのCNNは、学習された潜在空間クラスタリング方法を使用して、外れ値を識別するように訓練されてもよい。オートエンコーダは、画像が解凍後胚を含有するかどうか、およびこれが該当する場合、解凍後胚が正確に標識化されているかどうかを検証してもよい。図8のresnet-18等の画像分類のためのCNNは、解凍後生存能力を表す二進出力を発生させるために、画像を分類するように訓練されてもよい。例えば、resnet-18は、凍結-解凍プロセスに続いて、解凍後胚が生存能力があることを示す出力「1」を発生させてもよく、解凍後胚が低減された生存能力を有する(例えば、より低いレベルの生存能力、生存していない等)ことを示す出力「0」を発生させてもよい。いくつかの変形例では、解凍後生存能力のために訓練されたCNNは、予測の正確度を改良するために、患者データを組み込んでもよい。
出力の表示
【0150】
出力は、二進数「1」および「0」および/または「はい」および「いいえ」として表示されてもよい。換言すると、任意の胚の確率および/またはスコアを表示する代わりに、解凍後生存能力査定は、単に、胚が凍結-解凍プロセスから生存しているかどうかを示してもよい。これは、臨床医が、別の胚を解凍するべきかどうか、または分析された解凍後胚が移植されるべきであるかどうかを決定することを可能にする。
CNNの訓練
【0151】
データは、臨床パートナーのコンソーシアム、胚の顕微鏡画像を備えるデータベース、電子医療記録、および/または同等物を含む、様々な源から収集されてもよい。収集されたデータは、移植された解凍後胚に関する妊娠転帰および患者データを含有し得る、電子医療記録データとともに、解凍後胚の顕微鏡画像を含んでもよい。
例示的性能データ
【0152】
図16は、単一の施設からの解凍後生存能力査定結果を図示する。1702aの下に示されるより薄い色の点は、陰性転帰を表す。1702bの下に示されるより濃い色の点は、陽性転帰を表す。線1704は、閾値を表す。線1704の下方の胚は、凍結-解凍プロセスから生存していない胚である。図16に見られるように、いかなる偽陽性も、存在しない。故に、本技術は、解凍後画像を使用し、凍結-解凍プロセスから生存していない胚を識別することができる。
例示的性能データの付加的実施例
【0153】
遡及的研究が、米国全体を通した11個の異なるIVF診療所から収集されたデータを使用して行われた。胚盤胞段階の胚の画像および関連付けられるメタデータが、2015年~2020年に開始されたIVFサイクルに関して収集された。各診療所は、倒立顕微鏡、ステレオズーム顕微鏡、タイムラプスインキュベートシステム等の既存のハードウェアを使用して、胚の単一画像を捕捉した。胚盤胞段階の胚の画像は、移植、生検、または凍結保存に先立つ5、6、または7日目に捕捉された。単一胚の新鮮、凍結、および凍結正倍数体移植からの約5,900個の胚盤胞が、6~8週目における胎児心拍(FHB)によって決定されるような臨床的妊娠転帰に合致された。凍結移植における胚が、各診療所における標準慣行に従って加温のために選択された。付加的な2,600個の胚盤胞が、異数体(異常)PGT-A結果に合致された。
【0154】
訓練データは、胚の顕微鏡画像を含んでいた。画像は、ともに集約され、次いで、訓練、検証、および試験データセットにソートされた。5つの臨床施設が、それぞれ、既知の胎児心拍転帰を伴う、600~2,000個の画像を提供した。これらの画像は、それらが取得された診療所、サイクルタイプ(例えば、PGTまたは非PGTサイクル)、および転帰によって層別化された。これらの画像はまた、検証(例えば、3重交差検証)のために群にランダムに分配された。別の5つの診療所が、それぞれ、既知の胎児心拍転帰を伴う、250個を下回る画像を提供した。これらの画像は全て、訓練内に含まれていた。タイムラプスシステムによって捕捉された1,000個の画像を伴う1つの診療所が、試験データセットとして確保された。胚が、それらが陽性胎児心拍をもたらした場合、陽性クラスにソートされ、それらが陽性胎児心拍をもたらさなかった場合、陰性クラスにソートされた。移植胚のみに対する訓練の潜在的バイアスを低減させるために、異数体として診断された非移植胚が、陰性クラスに追加された。
【0155】
ある実施例として、本明細書に説明されるCNNは、上記に説明される訓練データを使用して訓練された。図17Aおよび17Bは、手動ガードナー等級付けシステムと比較される、本明細書に説明されるCNNを使用した例示的胚移植に関する受信者動作特性(ROC)曲線を図示する。上記に説明されるように、PGT-Aは、生検を実施し、胚が正しい数の染色体を有する(正倍数体胚)かどうかを決定することを伴い得る。非PGTサイクルは、PGT-Aを実施することを伴わない胚移植を含み得る。図17Aは、PGT-Aを実施することを伴わない胚移植に関するROC曲線を図示する。図17Aに見られるように、本明細書に説明されるCNNは、画像のみを使用した0.669(図17Aのトレース1804)および画像および患者データの組み合わせを使用した0.675(図17Aのトレース1806)のAUCを伴う、臨床的妊娠に到達するそれらの尤度に従って胚(非PGTサイクル胚)をスコア化する。手動ガードナー等級付けシステムのAUCは、0.560(図17Aのトレース1802)である。故に、本明細書に説明される技術を使用して胚をスコア化することは、手動ガードナー等級付けシステムを使用して胚をスコア化することと比較して、大幅な改良を示す。
【0156】
図17Bは、PGT-Aを実施した後の例示的胚移植に関するROC曲線を図示する。PGT-Aは、異常な数の染色体を伴う異数体胚を排除し得る。異数体胚は、失敗した妊娠につながり得る。図17Bの実施例に見られるように、本明細書に説明されるCNNは、画像のみを使用した0.608(図17Bのトレース1804)および画像および患者データの組み合わせを使用した0.634(図17Bのトレース1806)のAUCを伴う、臨床的妊娠に到達するそれらの尤度に従って胚(正倍数体胚)をスコア化する。手動ガードナー等級付けシステムのAUCは、0.496(図17Bのトレース1802)である。故に、図17Aと同様に、図17Bは、本明細書に説明される技術を使用して胚をスコア化することが、手動ガードナー等級付けシステムを使用して胚をスコア化することと比較して、大幅な改良を図示することを示す。
【0157】
本明細書に説明される技術の性能をさらに例証するために、胚が、3つの異なる部分群に分割された。3つの異なる部分群は、0.9に近いスコアを伴う最上位にランク付けされる胚、0.5に近いスコアを伴う中間にランク付けされる胚、および0.1に近いスコアを伴う最下位にランク付けされる胚であった。これらの部分群毎の胚画像は、目視検査された。図18Aは、本明細書に説明される技術(例えば、CNN)によって最上位にランク付けされる(例えば、高いスコア)、胚画像を図示する。図18Aに見られるように、最上位にランク付けされる胚は、最上位にランク付けされる胚が、非常に生存能力のある胚と正しく一貫する、緊密に充塞され、焦点の合った内部細胞塊を伴う、殆ど完全に拡大された胚盤胞であることを描写する。栄養外胚葉もまた、玉石または波形パターン化を伴って対称的であり、焦点の合ったものである。図18Bは、本明細書に説明される技術(例えば、CNN)によって最下位にランク付けされる、胚画像を図示する。本明細書に説明される技術は、内部細胞塊が、画像内で可視ではないとき、これらの胚を最下位にランク付けされる胚としてランク付けし、これは、より生存能力のない胚と正しく一貫する。
【0158】
いくつかの変形例では、統合勾配およびオクルージョンマップを含む、帰属アルゴリズムが、本明細書に説明される技術が関連する特徴に焦点を当てていたかどうかを決定するために使用された。統合勾配は、本明細書に説明される技術の予測に帰属した画像のピクセルを決定するために使用された一方、オクルージョンマップは、本明細書に説明される技術が局所構造(例えば、胚盤胞構造)に敏感であることを示すために使用された。図19Aは、本明細書に説明される技術によって高くスコア化された、胚画像を図示する。図19Aに見られるように、緊密に充塞された内部細胞塊および対称的な栄養外胚葉を伴う完全に拡大された胚盤胞構造は、正の帰属および感度を示した(例えば、陽性転帰画像として分類された)。図19Bは、本明細書に説明される技術によって低くスコア化された、胚画像を図示する。図19Bに見られるように、細胞凝集を伴う断片化された胚盤胞構造は、負の帰属および感度を示した(例えば、陰性転帰画像として分類された)。
【0159】
本明細書に説明される技術によって割り当てられたスコアは、妊娠率(例えば、較正曲線)と比較された。図20は、本明細書に説明される技術によって割り当てられたスコアが、観察された妊娠率に関連することを図示する。図20は、全ての胚(移植および異数体)、全ての移植胚、および非PGT移植に関する妊娠率の単調な増加を描写する。
バイアス除去
【0160】
上記に議論されるように、異なる画像捕捉デバイスからの画像は、異なる光学および異なる分解能(例えば、一意の光学シグネチャ)を有するため、CNNが、異なる画像捕捉デバイスからの画像を用いて訓練されるとき、ある他の画像捕捉デバイスと比較して、バイアスが、具体的画像捕捉デバイスからの画像に関して導入されることが、可能性として考えられ得る。異なる診療所の間の画像捕捉デバイスにおける差異は、バイアスされた訓練データセットにつながり得る。例えば、図21A-21Dは、2つの異なる診療所の2つの異なる画像捕捉デバイスからの画像の一意の光学シグネチャによって導入されるバイアスを描写するための対照実験を図示する。図21Aは、施設A(第1の診療所)における画像捕捉デバイスによって捕捉された胚の画像を図示する。図21Bは、施設B(第2の診療所)における異なる画像捕捉デバイスによって捕捉された胚の画像を図示する。図21Cは、施設Aおよび施設Bからの異なる光学シグネチャに起因するバイアスされたデータセットを図示する。図21Cに見られるように、バイアスされたデータセットは、本明細書に説明されるCNNが、陰性胎児心拍として分類される施設Aからの胚よりも低いスコアで施設Bからの胚を陽性胎児心拍として分類する結果をもたらし得る。これに対抗するために、CNNは、転帰の出現率を平衡させることによって訓練されてもよい。
【0161】
図22は、異なる診療所(例えば、施設A、施設B、施設C、施設D)に関する転帰の出現率に基づく訓練データの平衡を図示する、表を図示する。訓練データは、診療所毎の転帰の出現率を平衡させるように、全ての診療所が、同一の陽性対陰性画像の比を有するように、再サンプリングされてもよい。図21Dは、転帰の出現率に基づいて平衡された、バイアスされていないデータセットを図示する。図21Dに見られるように、バイアスされていないデータセットは、本明細書に説明されるCNNが、施設Aからの胚の分類と同様に、施設Bからの胚をより高いスコアで陽性胎児心拍として分類し、より低いスコアで陰性胎児心拍として分類する結果をもたらす。
【0162】
上記に議論されるように、バイアスの別の源は、画像内の胚保持マイクロピペットの存在であり得る。図23Aおよび23Bは、画像内のマイクロピペットの存在によって導入されるバイアスを描写するための対照実験を図示する。図23Aは、バイアスされたデータセットを用いて訓練されたCNNが、胚ではなく、マイクロピペットにほぼ排他的に焦点を当て得ることを図示する。これに対抗するために、訓練データは、マイクロピペットを伴う画像が、マイクロピペットを伴わない画像と同一の陽性対陰性画像の比を有するように、再サンプリングされた。図23Bは、転帰の出現率を平衡させるために再サンプリングされた訓練データが、CNNがマイクロピペットを伴う画像内の胚にも焦点を当てる結果をもたらしたことを図示する。前述の説明は、解説の目的のために、本発明の徹底的な理解を提供するために、具体的名称を使用した。しかしながら、具体的詳細が、本発明を実践するために要求されないことが当業者に明白となるであろう。したがって、本発明の具体的実施形態の前述の説明は、例証および説明の目的のために提示される。それらは、網羅的である、または本発明を開示される精密な形態に限定することを意図しておらず、明白なこととして、多くの修正および変形例が、上記の教示の観点から可能性として考えられる。実施形態は、本発明の原理およびその実践的用途を解説するために選定および説明され、それらは、それによって、当業者が、想定される特定の使用に適しているように、種々の修正を伴う本発明および種々の実施形態を利用することを可能にする。以下の請求項およびそれらの均等物が、本発明の範囲を定義することを意図している。
図1
図2
図3A
図3B
図3C
図3D
図3E
図3F
図3G
図3H
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18A
図18B
図19A
図19B
図20
図21
図22
図23
【国際調査報告】