特許7553467 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ジェネンテック，　インコーポレイテッドの特許一覧

特許7553467深層学習を用いた病理組織学的画像における卵巣毒性評価

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】深層学習を用いた病理組織学的画像における卵巣毒性評価

(51)【国際特許分類】

G06T 7/00 20170101AFI20240910BHJP

G01N 33/48 20060101ALI20240910BHJP

G01N 33/483 20060101ALI20240910BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 630

G01N33/48 P

G01N33/483 C

【請求項の数】 47

(21)【出願番号】P 2021560893

(86)(22)【出願日】2020-04-14

(65)【公表番号】

(43)【公表日】2022-06-20

(86)【国際出願番号】 US2020028100

(87)【国際公開番号】W WO2020214580

(87)【国際公開日】2020-10-22

【審査請求日】2023-04-11

(31)【優先権主張番号】62/834,237

(32)【優先日】2019-04-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】509012625

【氏名又は名称】ジェネンテック，インコーポレイテッド

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】フー，ファン－ヤオ

【審査官】佐藤実

(56)【参考文献】

【文献】Charlotte Sonigo et al.，High-throughput ovarian follicle counting by an innovative deep learning approach，Scientific Reports，2018年09月10日，volume 8，https://www.nature.com/articles/s41598-018-31883-8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００

Ｇ０１Ｎ３３／４８

Ｇ０１Ｎ３３／４８３

(57)【特許請求の範囲】

【請求項1】

ある量の化合物によって処理された１つ以上の卵巣から組織スライスの画像のセットを取得することと、
損失関数の少なくとも一部として焦点損失を使用する１段階検出器として構築されたニューラルネットワークモデルに前記画像のセットを入力することと、
前記ニューラルネットワークモデルを使用して、黄体（ＣＬ）として識別される前記画像のセット内の１つ以上のオブジェクトの周りの境界ボックスの座標を予測することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された前記座標に基づいて前記ＣＬとして識別された前記１つ以上のオブジェクトの周りに前記境界ボックスを有する前記画像のセットを出力することと、
前記ニューラルネットワークから出力された前記画像のセット内の前記境界ボックスをカウントし、前記卵巣のＣＬカウントを取得することと、
前記卵巣についての前記ＣＬカウントに基づいて、前記ある量の化合物の卵巣毒性を判定することと、を含む、方法。

【請求項2】

前記組織スライスがヘマトキシリン・エオシン（Ｈ＆Ｅ）によって染色される、請求項１に記載の方法。

【請求項3】

さらに、
前記１つ以上の卵巣から前記組織スライスを取得することと、
前記組織スライスを複数のスライド上に載置することと、
前記複数のスライドをヘマトキシリン・エオシン（Ｈ＆Ｅ）染色剤によって処理することと、
前記複数のスライドの各スライドを撮像装置によって撮像して、前記組織スライスの前記画像のセットを生成することと、を含む、請求項１または２に記載の方法。

【請求項4】

前記１つ以上の卵巣が、複数の卵巣であり、前記画像のセットが、前記複数の卵巣の各卵巣からの組織スライスの少なくとも１つの画像を含む、請求項１、２または３に記載の方法。

【請求項5】

前記１つ以上の卵巣が、１つ以上の被験体からのものである、請求項１、２、３または４に記載の方法。

【請求項6】

前記ニューラルネットワークモデルが、シングルショットマルチボックス検出器（ＳＳＤ）アーキテクチャ、ユー・オンリー・ルック・ワンス（ＹＯＬＯ）アーキテクチャ、およびＲｅｔｉｎａＮｅｔアーキテクチャからなる群から選択されたモデルアーキテクチャに基づいて構築される、請求項１、２、３、４または５に記載の方法。

【請求項7】

前記ニューラルネットワークモデルが、訓練データのセットを使用して訓練された複数のパラメータを含み、前記訓練データのセットが、
卵巣からの組織切片のＨ＆Ｅ染色スライドの複数の画像の訓練セットであって、前記複数の画像の訓練セットからの画像の各訓練セットが、複数の異なる被験体のうちの１つからのものであり、前記複数の異なる被験体が、（ｉ）同じまたは異なる化合物によって処理されている、（ｉｉ）前記同じまたは異なる化合物によって処理されていない、または（ｉｉｉ）それらの組み合わせである、複数の画像の訓練セットと、
複数の境界ボックスのセットであって、各境界ボックスが、前記複数の画像の訓練セットからの画像のうちの１つにおいて識別された前記ＣＬに関連する、複数の境界ボックスのセットと、を含み、
前記損失関数が、前記パラメータおよび前記複数の画像の訓練セットを前記複数の境界ボックスのセットに関連させ、前記焦点損失が、前記複数の画像の訓練セット内の非ＣＬ形態または背景についての訓練中に予測された境界ボックスをダウンウェイトし、前記ＣＬについて予測された境界ボックスに訓練を集中させる、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記複数の画像の訓練セットのうちの少なくとも１つの画像の訓練セットが、前記少なくとも１つの画像の訓練セット内の画像の複数の色チャネルのそれぞれについての画像平均の差に従って訓練に使用される前に調整され、前記画像平均の差が、前記複数の画像の訓練セットのうちの別の画像の訓練セットに対して計算される、請求項７に記載の方法。

【請求項9】

前記画像の複数の色チャネルのそれぞれについての前記画像平均が、前記少なくとも１つの画像の訓練セット内の画像にわたる前記色チャネルの平均値として計算される、請求項８に記載の方法。

【請求項10】

前記ニューラルネットワークモデルを使用して、前記画像のセット内の前記１つ以上のオブジェクトを前記ＣＬであると識別することをさらに含み、前記識別することが、前記ＣＬとして識別される前記１つ以上のオブジェクトのうちの各オブジェクトについての確率スコアを生成することを含み、前記カウントすることが、前記ＣＬとして識別され、且つ所定の確率スコア閾値よりも大きい確率スコアを有する前記１つ以上のオブジェクトの周りの前記画像のセット内の前記境界ボックスをカウントすることのみを含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記卵巣毒性を判定することが、前記卵巣についての前記ＣＬカウントを所定の毒性閾値と比較することと、前記ＣＬカウントが前記所定の毒性閾値を上回る場合、前記ある量の化合物が前記卵巣に対して毒性でないと判定することと、前記ＣＬカウントが前記所定の毒性閾値以下である場合、前記ある量の化合物が前記卵巣に対して毒性であると判定することと、を含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記組織スライスの前記画像のセットが、前記ある量の化合物によって処理された被験体の卵巣から取得され、前記方法が、
前記ある量の化合物によって処理された前記被験体の別の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記別の卵巣の別のＣＬカウントを取得することと、
前記卵巣についての前記ＣＬカウントおよび前記別の卵巣についての前記別のＣＬカウントを平均化し、平均ＣＬカウントを取得することと、をさらに含み、
前記ある量の化合物の前記卵巣毒性が前記平均ＣＬに基づいて判定される、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

未処理のまたは異なる量の前記化合物によって処理されたかのいずれかである１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記卵巣の別のＣＬカウントを取得することと、をさらに含み、
前記ある量または前記異なる量の化合物の前記卵巣毒性が、前記１つ以上の卵巣についての前記ＣＬカウントと前記１つ以上の他の卵巣についての前記別のＣＬカウントとの間の傾向に基づいて判定される、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

ある量の異なる化合物によって処理された１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記別の被験体の前記卵巣についての別のＣＬカウントを取得することと、
前記１つ以上の他の卵巣についての前記ＣＬカウントに基づいて、前記ある量の異なる化合物の卵巣毒性を判定することと、を含む、請求項１から１２のいずれか一項に記載の方法。

【請求項15】

前記画像のセットに、前記ＣＬとして識別される前記オブジェクトのうちの各オブジェクトの周りの前記境界ボックス、前記１つ以上の卵巣についての前記ＣＬカウント、前記ある量の化合物の前記卵巣毒性、またはそれらの任意の組み合わせを付与することをさらに含む、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

前記ある量の化合物の前記卵巣毒性に基づいて前記化合物による処理を施すことをさらに含む、請求項１５に記載の方法。

【請求項17】

前記ある量の化合物の前記卵巣毒性に基づいて前記化合物を製造することまたは製造したことをさらに含む、請求項１５に記載の方法。

【請求項18】

１つ以上のデータプロセッサに、動作を実行させるように構成された命令を含むコンピュータプログラムであって、前記動作が、
ある量の化合物によって処理された１つ以上の卵巣から組織スライスの画像のセットを取得することと、
損失関数の少なくとも一部として焦点損失を使用する１段階検出器として構築されたニューラルネットワークモデルに前記画像のセットを入力することと、
前記ニューラルネットワークモデルを使用して、黄体（ＣＬ）として識別される前記画像のセット内の１つ以上のオブジェクトの周りの境界ボックスの座標を予測することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された前記座標に基づいて前記ＣＬとして識別された前記１つ以上のオブジェクトの周りに前記境界ボックスを有する前記画像のセットを出力することと、
前記ニューラルネットワークから出力された前記画像のセット内の前記境界ボックスをカウントし、前記卵巣のＣＬカウントを取得することと、
前記卵巣についての前記ＣＬカウントに基づいて、前記ある量の化合物の卵巣毒性を判定することと、を含む、コンピュータプログラム。

【請求項19】

前記組織スライスがヘマトキシリン・エオシン（Ｈ＆Ｅ）によって染色される、請求項１８に記載のコンピュータプログラム。

【請求項20】

前記動作が、
前記１つ以上の卵巣から前記組織スライスを取得することと、
前記組織スライスを複数のスライド上に載置することと、
前記複数のスライドをヘマトキシリン・エオシン（Ｈ＆Ｅ）染色剤によって処理することと、
前記複数のスライドの各スライドを撮像装置によって撮像して、前記組織スライスの前記画像のセットを生成することと、をさらに含む、請求項１８または１９に記載のコンピュータプログラム。

【請求項21】

前記１つ以上の卵巣が、複数の卵巣であり、前記画像のセットが、前記複数の卵巣の各卵巣からの組織スライスの少なくとも１つの画像を含む、請求項１８、１９または２０に記載のコンピュータプログラム。

【請求項22】

前記１つ以上の卵巣が、１つ以上の被験体からのものである、請求項１８、１９、２０または２１に記載のコンピュータプログラム。

【請求項23】

前記ニューラルネットワークモデルが、シングルショットマルチボックス検出器（ＳＳＤ）アーキテクチャ、ユー・オンリー・ルック・ワンス（ＹＯＬＯ）アーキテクチャ、およびＲｅｔｉｎａＮｅｔアーキテクチャからなる群から選択されたモデルアーキテクチャに基づいて構築される、請求項１８、１９、２０、２１または２２に記載のコンピュータプログラム。

【請求項24】

【請求項25】

【請求項26】

前記画像の複数の色チャネルのそれぞれについての前記画像平均が、前記少なくとも１つの画像の訓練セット内の画像にわたる前記色チャネルの平均値として計算される、請求項２５に記載のコンピュータプログラム。

【請求項27】

前記動作が、前記ニューラルネットワークモデルによって、前記画像のセット内の前記１つ以上のオブジェクトを前記ＣＬであると識別することをさらに含み、前記識別することが、前記ＣＬとして識別される前記１つ以上のオブジェクトのうちの各オブジェクトについての確率スコアを生成することを含み、前記カウントすることが、前記ＣＬとして識別され、且つ所定の確率スコア閾値よりも大きい確率スコアを有する前記１つ以上のオブジェクトの周りの前記画像のセット内の前記境界ボックスをカウントすることのみを含む、請求項１８から２６のいずれか一項に記載のコンピュータプログラム。

【請求項28】

前記卵巣毒性を判定することが、前記卵巣についての前記ＣＬカウントを所定の毒性閾値と比較することと、前記ＣＬカウントが前記所定の毒性閾値を上回る場合、前記ある量の化合物が前記卵巣に対して毒性でないと判定することと、前記ＣＬカウントが前記所定の毒性閾値以下である場合、前記ある量の化合物が前記卵巣に対して毒性であると判定することと、を含む、請求項１８から２７のいずれか一項に記載のコンピュータプログラム。

【請求項29】

前記組織スライスの前記画像のセットが、前記ある量の化合物によって処理された被験体の卵巣から取得され、前記動作が、
前記ある量の化合物によって処理された前記被験体の別の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記別の卵巣の別のＣＬカウントを取得することと、
前記卵巣についての前記ＣＬカウントおよび前記別の卵巣についての前記別のＣＬカウントを平均化し、平均ＣＬカウントを取得することと、をさらに含み、
前記ある量の化合物の前記卵巣毒性が前記平均ＣＬに基づいて判定される、請求項１８から２８のいずれか一項に記載のコンピュータプログラム。

【請求項30】

前記動作が、
未処理のまたは異なる量の前記化合物によって処理されたかのいずれかである１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記卵巣の別のＣＬカウントを取得することと、をさらに含み、
前記ある量または前記異なる量の化合物の前記卵巣毒性が、前記１つ以上の卵巣についての前記ＣＬカウントと前記１つ以上の他の卵巣についての前記別のＣＬカウントとの間の傾向に基づいて判定される、請求項１８から２８のいずれか一項に記載のコンピュータプログラム。

【請求項31】

前記動作が、
ある量の異なる化合物によって処理された１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記別の被験体の前記卵巣についての別のＣＬカウントを取得することと、
前記１つ以上の他の卵巣についての前記ＣＬカウントに基づいて、前記ある量の異なる化合物の卵巣毒性を判定することと、をさらに含む、請求項１８から２８のいずれか一項に記載のコンピュータプログラム。

【請求項32】

前記動作が、前記画像のセットに、前記ＣＬとして識別される前記オブジェクトのうちの各オブジェクトの周りの前記境界ボックス、前記１つ以上の卵巣についての前記ＣＬカウント、前記ある量の化合物の前記卵巣毒性、またはそれらの任意の組み合わせを付与することをさらに含む、請求項１８から３１のいずれか一項に記載のコンピュータプログラム。

【請求項33】

１つ以上のデータプロセッサと、
前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
ある量の化合物によって処理された１つ以上の卵巣から組織スライスの画像のセットを取得することと、
損失関数の少なくとも一部として焦点損失を使用する１段階検出器として構築されたニューラルネットワークモデルに前記画像のセットを入力することと、
前記ニューラルネットワークモデルを使用して、１つ以上のオブジェクトの分類に基づいて黄体（ＣＬ）として識別される前記画像のセット内の前記オブジェクトの周りの境界ボックスの座標を予測することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された前記座標に基づいて前記ＣＬとして識別された前記１つ以上のオブジェクトの周りに前記境界ボックスを有する前記画像のセットを出力することと、
前記ニューラルネットワークから出力された前記画像のセット内の前記境界ボックスをカウントし、前記卵巣のＣＬカウントを取得することと、
前記卵巣についての前記ＣＬカウントに基づいて、前記ある量の化合物の卵巣毒性を判定することと、を含む、システム。

【請求項34】

前記組織スライスがヘマトキシリン・エオシン（Ｈ＆Ｅ）によって染色される、請求項３３に記載のシステム。

【請求項35】

【請求項36】

前記１つ以上の卵巣が、複数の卵巣であり、前記画像のセットが、前記複数の卵巣の各卵巣からの組織スライスの少なくとも１つの画像を含む、請求項３３、３４または３５に記載のシステム。

【請求項37】

前記１つ以上の卵巣が、１つ以上の被験体からのものである、請求項３３、３４、３５または３６に記載のシステム。

【請求項38】

前記ニューラルネットワークモデルが、シングルショットマルチボックス検出器（ＳＳＤ）アーキテクチャ、ユー・オンリー・ルック・ワンス（ＹＯＬＯ）アーキテクチャ、およびＲｅｔｉｎａＮｅｔアーキテクチャからなる群から選択されたモデルアーキテクチャに基づいて構築される、請求項３３、３４、３５、３６または３７に記載のシステム。

【請求項39】

前記ニューラルネットワークモデルが、訓練データのセットを使用して訓練された複数のパラメータを含み、前記訓練データのセットが、
卵巣からの組織切片のＨ＆Ｅ染色スライドの複数の画像の訓練セットであって、前記複数の画像の訓練セットからの画像の各訓練セットが、複数の異なる被験体のうちの１つからのものであり、前記複数の異なる被験体が、（ｉ）同じまたは異なる化合物によって処理されている、（ｉｉ）前記同じまたは異なる化合物によって処理されていない、または（ｉｉｉ）それらの組み合わせである、複数の画像の訓練セットと、
複数の境界ボックスのセットであって、各境界ボックスが、前記複数の画像の訓練セットからの画像のうちの１つにおいて識別された前記ＣＬに関連する、複数の境界ボックスのセットと、を含み、
前記損失関数が、前記パラメータおよび前記複数の画像の訓練セットを前記複数の境界ボックスのセットに関連させ、前記焦点損失が、前記複数の画像の訓練セット内の非ＣＬ形態または背景についての訓練中に予測された境界ボックスをダウンウェイトし、前記ＣＬについて予測された境界ボックスに訓練を集中させる、請求項３３から３８のいずれか一項に記載のシステム。

【請求項40】

【請求項41】

前記画像の複数の色チャネルのそれぞれについての前記画像平均が、前記少なくとも１つの画像の訓練セット内の画像にわたる前記色チャネルの平均値として計算される、請求項４０に記載のシステム。

【請求項42】

前記動作が、前記ニューラルネットワークモデルによって、前記画像のセット内の前記１つ以上のオブジェクトを前記ＣＬであると識別することをさらに含み、前記識別することが、前記ＣＬとして識別される前記１つ以上のオブジェクトのうちの各オブジェクトについての確率スコアを生成することを含み、前記カウントすることが、前記ＣＬとして識別され、且つ所定の確率スコア閾値よりも大きい確率スコアを有する前記１つ以上のオブジェクトの周りの前記画像のセット内の前記境界ボックスをカウントすることのみを含む、請求項３３から４１のいずれか一項に記載のシステム。

【請求項43】

前記卵巣毒性を判定することが、前記卵巣についての前記ＣＬカウントを所定の毒性閾値と比較することと、前記ＣＬカウントが前記所定の毒性閾値を上回る場合、前記ある量の化合物が前記卵巣に対して毒性でないと判定することと、前記ＣＬカウントが前記所定の毒性閾値以下である場合、前記ある量の化合物が前記卵巣に対して毒性であると判定することと、を含む、請求項３３から４２のいずれか一項に記載のシステム。

【請求項44】

前記組織スライスの前記画像のセットが、前記ある量の化合物によって処理された被験体の卵巣から取得され、前記動作が、
前記ある量の化合物によって処理された前記被験体の別の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記別の卵巣の別のＣＬカウントを取得することと、
前記卵巣についての前記ＣＬカウントおよび前記別の卵巣についての前記別のＣＬカウントを平均化し、平均ＣＬカウントを取得することと、をさらに含み、
前記ある量の化合物の前記卵巣毒性が前記平均ＣＬに基づいて判定される、請求項３３から４３のいずれか一項に記載のシステム。

【請求項45】

前記動作が、
未処理のまたは異なる量の前記化合物によって処理されたかのいずれかである１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記卵巣の別のＣＬカウントを取得することと、をさらに含み、
前記ある量または前記異なる量の化合物の前記卵巣毒性が、前記１つ以上の卵巣についての前記ＣＬカウントと前記卵巣についての前記別のＣＬカウントとの間の傾向に基づいて判定される、請求項３３から４３のいずれか一項に記載のシステム。

【請求項46】

前記動作が、
ある量の異なる化合物によって処理された１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、
前記ニューラルネットワークモデルを使用して、前記境界ボックスについて予測された座標に基づいて、前記別の画像のセット内の前記ＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りに境界ボックスを有する前記別の画像のセットを生成することと、
前記ニューラルネットワークから出力された前記別の画像のセット内の前記境界ボックスをカウントし、前記別の被験体の前記卵巣についての別のＣＬカウントを取得することと、
前記１つ以上の他の卵巣についての前記ＣＬカウントに基づいて、前記ある量の異なる化合物の卵巣毒性を判定することと、をさらに含む、請求項３３から４３のいずれか一項に記載のシステム。

【請求項47】

前記動作が、前記画像のセットに、前記ＣＬとして識別される前記オブジェクトのうちの各オブジェクトの周りの前記境界ボックス、前記１つ以上の卵巣についての前記ＣＬカウント、前記ある量の化合物の前記卵巣毒性、またはそれらの任意の組み合わせを付与することをさらに含む、請求項３３から４６のいずれか一項に記載のシステム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１９年４月１５日に出願された「ＯＶＡＲＩＡＮＴＯＸＩＣＩＴＹＡＳＳＥＳＳＭＥＮＴＩＮＨＩＳＴＯＰＡＴＨＯＬＯＧＩＣＡＬＩＭＡＧＥＳＵＳＩＮＧＤＥＥＰＬＥＡＲＮＩＮＧ」という名称の米国仮出願第６２／８３４，２３７号の優先権および利益を主張し、その全内容は、あらゆる目的のために参照により本明細書に組み込まれる。

【技術分野】

【0002】

本開示は、卵巣毒性評価に関し、特に、卵巣内の黄体を識別することができる深層学習ニューラルネットワーク、および卵巣内で識別された黄体をカウントし、黄体のカウントに基づいて化合物の卵巣毒性を推測することができるルールベースの技術に関する。

【背景技術】

【0003】

前臨床試験における卵巣病変の識別は、卵母細胞が再生能力を有さず、卵巣の任意の異常が女性の生殖能力の障害に直接関連し得るため、新規治療薬の一般的な安全性評価において重要である。卵巣の病態の識別および卵巣の病態に関する特定の情報の提供は、典型的には、卵巣内の卵胞の定性的および定量的評価を含む。卵巣は複雑な構造であり、その形態は発情周期と共に変化するため、卵巣機能障害の検出は、正常な卵巣形態および発情周期を通じた卵巣形態の変動の完全な理解を必要とする。特に、卵胞の成長およびそれらの退行、ならびに視床下部－下垂体－性腺制御系の知識は、卵巣の異常の評価に不可欠である。

【0004】

卵巣内の始原生殖細胞は、胎児発達中に増殖する。出生時に、卵巣は、一次卵母細胞を含有する数千個の原始卵胞を含有する。これらの一次卵母細胞は、それ以上の有糸分裂を受けず、それらは、性的成熟まで、減数分裂Ｉの初期段階に停止したままである。性的成熟において、脳下垂体によって産生される２つのホルモン：卵胞刺激ホルモン（ＦＳＨ）および黄体形成ホルモン（ＬＨ）は、これらの原始卵胞を発達させる。各発情周期において、いくつかの原始卵胞が活性化されて成熟を開始する。しかしながら、全ての卵胞が完全に成熟するわけではなく、残りは卵巣の内分泌機能に寄与する。活性化されると、第１の減数分裂が完了し、一次卵胞が成熟して二次卵胞になる。次いで、第２の分裂が開始し、グラフィア卵胞が形成される。グラフィア卵胞は、二次卵母細胞を含有する。この第２の分裂は、卵子が受精しない限り完了しない。

【0005】

グラフィア卵胞への始原卵胞の発達および成熟は、エストロゲンが卵胞細胞によって分泌されるため、エストロゲンレベルの増加をもたらす。このエストロゲンレベルの増加は、下垂体にフィードバックし、ＦＳＨのさらなる放出を抑制する（負のフィードバック）。卵胞はまた、インヒビンと呼ばれる第２のホルモンを放出し、これもＦＨＳのさらなる産生を抑制する。エストロゲンレベルが上昇するにつれて、これは、ＬＨにおける中周期サージを引き起こし、それにより、グラフィア卵胞を破裂させる（排卵）。ＬＨはまた、破裂したグラフィア卵胞を黄体化させ、黄体（ＣＬ）と呼ばれる一時的な内分泌器官を形成する。これは、その色素性ルテイン細胞のために黄色に見える。ＣＬは、プロゲステロンおよびエストロゲンを分泌する。プロゲステロンレベルは、下垂体にフィードバックし、ＬＨのさらなる放出を抑制する。受精が起こらない場合、ＣＬは、白体と呼ばれる小さな白色の線維性瘢痕に変性する。結果として生じるプロゲステロン（およびある程度のエストロゲン）レベルの低下は、月経を促進する。エストロゲンレベルの低下は、下垂体にフィードバックし、対応するＦＳＨの増加があり、再び発情周期を開始する。卵巣の連続切片を使用する定性的および定量的な卵胞分析は、妊孕性および毒物学の双方の評価に受け入れられるが、このアプローチは、非常に面倒で時間がかかる。

【発明の概要】

【0006】

様々な実施形態では、ある量の化合物によって処理された１つ以上の卵巣から組織スライスの画像のセットを取得することと、損失関数の少なくとも一部として焦点損失を使用する１段階検出器として構築されたニューラルネットワークモデルに画像のセットを入力することと、ニューラルネットワークモデルを使用して、ＣＬとして識別される画像のセット内の１つ以上のオブジェクトの周りの境界ボックスの座標を予測することと、ニューラルネットワークモデルを使用して、境界ボックスについて予測された座標に基づいてＣＬとして識別された１つ以上のオブジェクトの周りに境界ボックスを有する画像のセットを出力することと、深層学習ニューラルネットワークから出力された画像のセット内の境界ボックスをカウントし、卵巣のＣＬカウントを取得することと、卵巣についてのＣＬカウントに基づいて、ある量の化合物の卵巣毒性を判定することと、を含む、方法が提供される。

【0007】

いくつかの実施形態では、組織スライスがヘマトキシリン・エオシン（Ｈ＆Ｅ）によって染色される。

【0008】

いくつかの実施形態では、方法は、１つ以上の卵巣から組織スライスを取得することと、組織スライスを複数のスライド上に載置することと、複数のスライドをヘマトキシリン・エオシン（Ｈ＆Ｅ）染色剤によって処理することと、複数のスライドの各スライドを撮像装置によって撮像して、組織スライスの画像のセットを生成することと、をさらに含む。

【0009】

いくつかの実施形態では、１つ以上の卵巣は、複数の卵巣であり、画像のセットは、複数の卵巣の各卵巣からの組織スライスの少なくとも１つの画像を含む。

【0010】

いくつかの実施形態では、１つ以上の卵巣は、１つ以上の被験体からのものである。

【0011】

いくつかの実施形態では、ニューラルネットワークモデルは、シングルショットマルチボックス検出器（ＳＳＤ）アーキテクチャ、ユー・オンリー・ルック・ワンス（ＹＯＬＯ）アーキテクチャ、およびＲｅｔｉｎａＮｅｔアーキテクチャからなる群から選択されたモデルアーキテクチャに基づいて構築される。

【0012】

いくつかの実施形態では、ニューラルネットワークモデルは、訓練データのセットを使用して訓練された複数のパラメータを含み、訓練データのセットが、卵巣からの組織切片のＨ＆Ｅ染色スライドの画像の複数の訓練セットであって、複数の画像の訓練セットからの画像の各訓練セットが、複数の異なる被験体のうちの１つからのものであり、複数の異なる被験体が、（ｉ）同じまたは異なる化合物によって処理されている、（ｉｉ）同じまたは異なる化合物によって処理されていない、または（ｉｉｉ）それらの組み合わせを含む、複数の画像の訓練セットと、境界ボックスの複数のセットであって、各境界ボックスが、複数の画像の訓練セットからの画像のうちの１つにおいて識別されたＣＬに関連し、損失関数が、パラメータおよび複数の画像の訓練セットを複数の境界ボックスのセットに関連させ、焦点損失が、複数の画像の訓練セット内の非ＣＬ形態または背景についての訓練中に予測された境界ボックスをダウンウェイトし、ＣＬについて予測された境界ボックスに訓練を集中させる、境界ボックスの複数のセットと、を含む。

【0013】

いくつかの実施形態では、複数の画像の訓練セットのうちの少なくとも１つの画像の訓練セットは、少なくとも１つの画像の訓練セット内の画像の複数の色チャネルのそれぞれについての画像平均の差に従って訓練に使用される前に調整され、画像平均の差は、複数の画像の訓練セットのうちの別の画像の訓練セットに対して計算される。

【0014】

いくつかの実施形態では、画像の複数の色チャネルのそれぞれについての画像平均は、少なくとも１つの画像の訓練セット内の画像にわたる色チャネルの平均値として計算される。

【0015】

いくつかの実施形態では、方法は、ニューラルネットワークモデルを使用して、画像のセット内の１つ以上のオブジェクトをＣＬであると識別することをさらに含み、識別することは、ＣＬとして識別された１つ以上のオブジェクトのうちの各オブジェクトについての確率スコアを生成することを含み、カウントすることは、ＣＬとして識別され、且つ所定の確率スコア閾値よりも大きい確率スコアを有する１つ以上のオブジェクトの周りの画像のセット内の境界ボックスをカウントすることのみを含む。

【0016】

いくつかの実施形態では、卵巣毒性を判定することは、卵巣についてのＣＬカウントを所定の毒性閾値と比較することと、ＣＬカウントが所定の毒性閾値を上回る場合、ある量の化合物が卵巣に対して毒性でないと判定することと、ＣＬカウントが所定の毒性閾値以下である場合、ある量の化合物が卵巣に対して毒性であると判定することと、を含む。

【0017】

いくつかの実施形態では、組織スライスの画像のセットは、ある量の化合物によって処理された被験体の卵巣から取得され、方法は、ある量の化合物によって処理された被験体の別の卵巣から組織スライスの別の画像のセットを取得することと、ニューラルネットワークモデルを使用して、境界ボックスについて予測された座標に基づいて、別の画像のセット内のＣＬとして識別されるオブジェクトのうちの各オブジェクトの周りに境界ボックスを有する別の画像のセットを生成することと、深層学習ニューラルネットワークから出力された別の画像のセット内の境界ボックスをカウントし、別の卵巣の別のＣＬカウントを取得することと、卵巣についてのＣＬカウントおよび別の卵巣についての別のＣＬカウントを平均化し、平均ＣＬカウントを取得することと、をさらに含み、ある量の化合物の卵巣毒性が平均ＣＬに基づいて判定される。

【0018】

いくつかの実施形態では、方法は、未処理のまたは異なる量の化合物によって処理された１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、ニューラルネットワークモデルを使用して、境界ボックスについて予測された座標に基づいて、別の画像のセット内のＣＬとして識別されるオブジェクトのうちの各オブジェクトの周りに境界ボックスを有する別の画像のセットを生成することと、深層学習ニューラルネットワークから出力された別の画像のセット内の境界ボックスをカウントし、卵巣の別のＣＬカウントを取得することと、をさらに含み、ある量または異なる量の化合物の卵巣毒性が、１つ以上の卵巣についてのＣＬカウントと１つ以上の他の卵巣についての別のＣＬカウントとの間の傾向に基づいて判定される。

【0019】

いくつかの実施形態では、方法は、ある量の異なる化合物によって処理された１つ以上の他の卵巣から組織スライスの別の画像のセットを取得することと、ニューラルネットワークモデルを使用して、境界ボックスについて予測された座標に基づいて、別の画像のセット内のＣＬとして識別されるオブジェクトのうちの各オブジェクトの周りに境界ボックスを有する別の画像のセットを生成することと、深層学習ニューラルネットワークから出力された別の画像のセット内の境界ボックスをカウントし、別の被験体の卵巣についての別のＣＬカウントを取得することと、１つ以上の他の卵巣についてのＣＬカウントに基づいて、ある量の異なる化合物の卵巣毒性を判定することと、をさらに含む。

【0020】

いくつかの実施形態では、方法は、ＣＬとして識別されるオブジェクトのうちの各オブジェクトの周りの境界ボックス、１つ以上の卵巣についてのＣＬカウント、ある量の化合物の卵巣毒性、またはそれらの任意の組み合わせを有する画像のセットを提供することをさらに含む。

【0021】

いくつかの実施形態では、方法は、ある量の化合物の卵巣毒性に基づいて化合物による処理を施すことをさらに含む。

【0022】

いくつかの実施形態では、方法は、ある量の化合物の卵巣毒性に基づいて化合物を製造することまたは製造したことをさらに含む。

【0023】

いくつかの実施形態では、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。

【0024】

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含むコンピュータプログラム製品が提供される。

【0025】

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0026】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【図面の簡単な説明】

【0027】

本開示は、以下の添付の図面と併せて説明される：

【0028】

【図1】様々な実施形態にかかる卵巣毒性評価のための例示的なコンピューティング環境を示している。

【0029】

【図2】様々な実施形態にかかるＲｅｔｉｎａＮｅｔアーキテクチャを表す例示的な概略図を示している。

【0030】

【図3】様々な実施形態にかかる卵巣毒性を評価するプロセスを示している。

【0031】

【図4】様々な実施形態にかかる、卵巣毒性を検出する例示的な方法および例示的なモデルを示すフローチャートを示している。

【0032】

【図5A】様々な実施形態にかかる、訓練された例示的なモデルがＣＬを正確に検出することができることを示している。

【図5B】様々な実施形態にかかる、訓練された例示的なモデルがＣＬを正確に検出することができることを示している。

【図5C】様々な実施形態にかかる、訓練された例示的なモデルがＣＬを正確に検出することができることを示している。

【図5D】様々な実施形態にかかる、訓練された例示的なモデルがＣＬを正確に検出することができることを示している。

【0033】

【図6A】様々な実施形態にかかる、訓練されたモデルからのＣＬカウントの誤差が病理学者間の変動に類似しており、訓練されたモデルからのＣＬカウントが病理学者の結果と非常に相関があった例示的なモデルの性能を示している。

【図6B】様々な実施形態にかかる、訓練されたモデルからのＣＬカウントの誤差が病理学者間の変動に類似しており、訓練されたモデルからのＣＬカウントが病理学者の結果と非常に相関があった例示的なモデルの性能を示している。

【図6C】様々な実施形態にかかる、訓練されたモデルからのＣＬカウントの誤差が病理学者間の変動に類似しており、訓練されたモデルからのＣＬカウントが病理学者の結果と非常に相関があった例示的なモデルの性能を示している。

【図6D】様々な実施形態にかかる、訓練されたモデルからのＣＬカウントの誤差が病理学者間の変動に類似しており、訓練されたモデルからのＣＬカウントが病理学者の結果と非常に相関があった例示的なモデルの性能を示している。

【0034】

【図7A】様々な実施形態にかかる、ＣＬカウントが卵巣組織面積およびレベルによって影響を受けることを示す例示的な結果を示している。

【図7B】様々な実施形態にかかる、ＣＬカウントが卵巣組織面積およびレベルによって影響を受けることを示す例示的な結果を示している。

【図7C】様々な実施形態にかかる、ＣＬカウントが卵巣組織面積およびレベルによって影響を受けることを示す例示的な結果を示している。

【0035】

【図8A】様々な実施形態にかかる、卵巣毒性を有する組織が、組織面積に対して正規化された有意に低いＣＬカウントを示したことを示す例示的な結果を示している。

【図8B】様々な実施形態にかかる、卵巣毒性を有する組織が、組織面積に対して正規化された有意に低いＣＬカウントを示したことを示す例示的な結果を示している。

【図8C】様々な実施形態にかかる、卵巣毒性を有する組織が、組織面積に対して正規化された有意に低いＣＬカウントを示したことを示す例示的な結果を示している。

【0036】

添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じ種類の様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別することができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。

【発明を実施するための形態】

【0037】

Ｉ．概要
本開示は、卵巣毒性を評価する技術を記載する。より具体的には、本開示の様々な実施形態は、卵巣内のＣＬを識別することができる深層学習ニューラルネットワーク、および卵巣内で識別されたＣＬをカウントし、ＣＬのカウントに基づいて化合物の卵巣毒性を推測することができるルールベースの技術を提供する。

【0038】

動物毒性試験（例えば、マウス試験）における卵巣病理の識別は、新規治療薬の一般的な安全性評価において重要である。いくつかの患者集団では、薬物関連卵巣毒性の耐容性は、患者のリスク／利益に関して慎重に考慮する必要があり、卵巣病理に関する特定の情報は、卵保存および他の生殖補助手順の潜在的必要性などの生殖毒性の臨床管理に情報を提供することができる。

【0039】

一般毒性および妊孕性試験における卵巣の評価のための現在のゴールドスタンダードは、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色切片の病理学者による組織病理学的検査である。病理学者は、典型的には、ＣＬの有無、卵胞の段階および数を評価し、生殖管の他の器官の組織学的変化との関連で卵巣の病理学的変化を統合する。ラットの約４～６日の短い発情周期を考えると、げっ歯類の卵巣にはかなりの動的な構造的および生理学的不均一性がある。これは、標準的な単一切片評価を使用して明確な試験物関連の効果（例えば、治療候補化合物からの効果）を識別することを困難にする場合がある。

【0040】

反復用量および受精能試験からの単一のＨ＆Ｅ切片の卵巣組織病理評価の妥当性を比較する産業横断的共同試験では、ＣＬ数の有意な増加および減少の双方が卵巣毒性の証拠として病理学者によって識別された。（Ｓａｎｂｕｉｓｓｈｏ，Ａ．，Ｙｏｓｈｉｄａ，Ｍ．，Ｈｉｓａｄａ，Ｓ．，Ｓａｇａｍｉ，Ｆ．，Ｋｕｄｏ，Ｓ．，Ｋｕｍａｚａｗａ，Ｔ．，Ｕｂｅ，Ｍ．，Ｋｏｍａｔｓｕ，Ｓ．，Ｏｈｎｏ，Ｙ．，２００９．Ｃｏｌｌａｂｏｒａｔｉｖｅｗｏｒｋｏｎｅｖａｌｕａｔｉｏｎｏｆｏｖａｒｉａｎｔｏｘｉｃｉｔｙｂｙｒｅｐｅａｔｅｄ－ｄｏｓｅａｎｄｆｅｒｔｉｌｉｔｙｓｔｕｄｉｅｓｉｎｆｅｍａｌｅｒａｔｓ．ＪＴｏｘｉｃｏｌＳｃｉ３４Ｓｕｐｐｌ１，ＳＰ１－２２）。しかしながら、単一組織切片からのＣＬの列挙は、サンプリング誤差を被ることが報告されている。（Ｍｅｒｅｄｉｔｈ，Ｓ．，Ｄｕｄｅｎｈｏｅｆｆｅｒ，Ｇ．，Ｊａｃｋｓｏｎ，Ｋ．，１９９９．Ｓｉｎｇｌｅ－ｓｅｃｔｉｏｎｃｏｕｎｔｉｎｇｅｒｒｏｒｗｈｅｎｄｉｓｔｉｎｇｕｉｓｈｉｎｇｂｅｔｗｅｅｎｐｒｉｍｏｒｄｉａｌａｎｄｅａｒｌｙｐｒｉｍａｒｙｆｏｌｌｉｃｌｅｓｉｎｓｅｃｔｉｏｎｓｏｆｒａｔｏｖａｒｙｏｆｄｉｆｆｅｒｅｎｔｔｈｉｃｋｎｅｓｓ．ＪＲｅｐｒｏｄＦｅｒｔｉｌ１１７（２），３３９－３４３）。さらに、Ｂｕｃｃｉらはまた、１％サンプル戦略からの卵胞数がより大きな誤差項を有することを実証した。（Ｂｏｌｏｎ，Ｂ．，Ｂｕｃｃｉ，Ｔ．Ｊ．，Ｗａｒｂｒｉｔｔｏｎ，Ａ．Ｒ．，Ｃｈｅｎ，Ｊ．Ｊ．，Ｍａｔｔｉｓｏｎ，Ｄ．Ｒ．，Ｈｅｉｎｄｅｌ，Ｊ．Ｊ．，１９９７．Ｄｉｆｆｅｒｅｎｔｉａｌｆｏｌｌｉｃｌｅｃｏｕｎｔｓａｓａｓｃｒｅｅｎｆｏｒｃｈｅｍｉｃａｌｌｙｉｎｄｕｃｅｄｏｖａｒｉａｎｔｏｘｉｃｉｔｙｉｎｍｉｃｅ：ｒｅｓｕｌｔｓｆｒｏｍｃｏｎｔｉｎｕｏｕｓｂｒｅｅｄｉｎｇｂｉｏａｓｓａｙｓ．ＦｕｎｄａｍＡｐｐｌＴｏｘｉｃｏｌ３９（１），１－１０）。さらに、各組織切片で評価される必要がある多数の卵巣構造が組み合わされた単一の試験に含まれる多数の動物を考えると、これらの切片の組織病理学的評価は、時間がかかり、誤差の可能性を有する。単一のＨ＆Ｅ切片を用いた試験からのＣＬの定量化は、卵巣毒性を検出することができるが、限られた試験では、組織学的に検査された切片の切片化位置および数に起因して、卵巣切片化位置または組織面積がＣＬカウントおよび潜在的な試験品（例えば、治療候補化合物）の解釈に及ぼさない影響が調査されている。この全てを考慮すると、卵巣の完全な形態学的特徴付けのために、ＣＬまたは卵胞を定量化するための立体学または修正された立体学的アプローチが実行されるべきであるが、この種の分析は、病理学者による時間のかかる検査および連続切片の手動注釈を必要とする。

【0041】

これらの制限および問題に対処するために、卵巣毒性を評価するための本明細書に記載の技術は、卵巣の黄体を識別することができる深層学習ニューラルネットワークの使用、および卵巣において識別されたＣＬをカウントし、ＣＬのカウントに基づいて化合物の卵巣毒性を推測することができるルールベースの技術を含む。本開示の１つの例示的な実施形態は、ある量の化合物によって処理された１つ以上の卵巣から組織スライスの画像のセットを取得することと、損失関数の少なくとも一部として焦点損失を使用する１段階検出器として構築されたニューラルネットワークモデルに画像のセットを入力することと、ニューラルネットワークモデルを使用して、画像のセットの各画像内のオブジェクトを識別することと、ニューラルネットワークモデルを使用して、オブジェクトを識別することに基づいてＣＬとして識別されるオブジェクトのうちの１つ以上のオブジェクトの周りの境界ボックスの座標を予測することと、ニューラルネットワークモデルを使用して、境界ボックスについて予測された座標に基づいてＣＬとして分類された１つ以上のオブジェクトのうちの各オブジェクトの周りに境界ボックスを有する画像のセットを出力することと、深層学習ニューラルネットワークから出力された画像のセット内の境界ボックスをカウントし、卵巣のＣＬカウントを取得することと、卵巣についてのＣＬカウントに基づいて、ある量の化合物の卵巣毒性を判定することと、を含む、方法に関する。

【0042】

有利には、これらのアプローチは、卵巣のＣＬを正確に識別し、卵巣毒性を再現可能に検出することができる深層ニューラルネットワークアーキテクチャを提供し、これは、卵巣の連続切片の検査および手動注釈の時間および費用の削減を含む病理学者の作業負荷を潜在的に低減する。さらに、これらのアプローチは、ゴールドスタンダードの病理学者の光学顕微鏡評価と同様の精度で卵巣（例えば、哺乳動物の卵巣）のＣＬを定量化するためのヘマトキシリン・エオシン染色（Ｈ＆Ｅ染色）切片の自動デジタル画像分析を提供することができる。Ｈ＆Ｅ染色切片を利用することによって、治療候補化合物の日常的なスクリーニングにおいてコストおよび時間遅延を追加するであろう特別な染色の必要性（例えば、ＣＬを強調するためのプロゲステロン／プロラクチン）が回避されることができる。
ＩＩ．定義

【0043】

本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0044】

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられることができ、パーセンテージは、０．１、１、５、および１０％を含む。

【0045】

本明細書で使用される場合、「被験体」は、１つ以上の細胞、組織、または生物を包含する。被験体は、インビボ、エクスビボ、またはインビトロ、雄性または雌性を問わず、ヒトまたは非ヒトとすることができる。被験体は、ヒト、マウス、またはラットなどの哺乳動物とすることができる。

【0046】

本明細書で使用される場合、「化合物」は、化学的に一体に結合した２つ以上の異なる元素である。化合物は、抗体または薬理学的薬物などの治療候補化合物とすることができる。
ＩＩＩ．卵巣毒性の評価技術

【0047】

様々な実施形態では、卵巣毒性の評価は、２つの部分に分けられる。評価の第１の部分は、卵巣のＣＬを識別するために深層学習ニューラルネットワークを使用することを含む。深層学習ニューラルネットワークは、簡単な例をダウンウェイトするために修正損失関数（すなわち、焦点損失）によって構築され、したがって、ハードネガティブに焦点を合わせて訓練し、深層学習ニューラルネットワークを訓練するために使用される訓練データの不均衡な性質を解消する。さらに、深層学習ニューラルネットワークは、訓練された深層学習ニューラルネットワークが、卵巣スライスの典型的な使用事例の画像に見られる拡張された範囲の色および／または彩度レベルにわたって卵巣形態内のＣＬを識別することができるように、拡張データセットを使用して訓練されてもよい。訓練された深層学習ニューラルネットワークは、卵巣スライスの入力画像として取り込み、卵巣スライス内の推測されたＣＬの各インスタンスの周りに境界ボックスを有する画像を出力する。いくつかの例では、各境界ボックスは、境界ボックス内に存在するＣＬの関連確率スコアを有する。評価の第２の部分は、境界ボックスに基づいて卵巣のＣＬをカウントし、ＣＬのカウントに基づいて化合物の卵巣毒性を推測するためにルールベースの技術を使用することを含む。その後、ＣＬのインスタンス、ＣＬのカウント、および／または化合物の卵巣毒性についての境界ボックスおよび確率スコアを有する画像が、エンドユーザによる保存および使用のために出力される。
ＩＩＩ．Ａ例示的なコンピューティング環境

【0048】

図１は、様々な実施形態にかかる、深層学習ニューラルネットワークを使用した卵巣毒性評価のための例示的なコンピューティング環境１００（すなわち、データ処理システム）を示している。図１に示すように、この例でコンピューティング環境１００によって実行される卵巣毒性評価は、いくつかの段階、すなわち、モデル訓練段階１０５、ＣＬ識別段階１１０、ＣＬカウント段階１１５、および卵巣毒性評価段階１２０を含む。モデル訓練段階１０５は、他の段階によって使用されるべき１つ以上のモデル１２５ａ～１２５ｎ（「ｎ」は任意の自然数を表す）（本明細書では個別にモデル１２５と呼ばれてもよく、まとめてモデル１２５と呼ばれてもよい）を構築して訓練する。モデル１２５は、例えば、例えば初期ニューラルネットワークなどの畳み込みニューラルネットワーク（「ＣＮＮ」）、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、ＲｅｔｉｎａＮｅｔ、シングルショットマルチボックス検出器（「ＳＳＤ」）ネットワーク、ユー・オンリー・ルック・ワンス（「ＹＯＬＯ」）ネットワークなどの機械学習（「ＭＬ」）モデル、または、例えば、長・短期記憶（「ＬＳＴＭ」）モデルもしくはゲーティッドリカレントユニット（「ＧＲＵ」）モデルなどのリカレントニューラルネットワーク（「ＲＮＮ」）、またはそれらの任意の組み合わせとすることができる。モデル１２５はまた、三次元ＣＮＮ（「３ＤＣＮＮ」）、動的時間圧伸（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）など、またはそのような技術のうちの１つもしくは複数の組み合わせ、例えば、ＣＮＮ－ＨＭＭもしくはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）など、画像からのオブジェクト検出において訓練された任意の他の適切なＭＬモデルとすることができる。コンピューティング環境１００は、卵巣内のＣＬの識別のために同じタイプのモデルまたは異なるタイプのモデルを使用することができる。特定の例では、モデル１２５は、本明細書においてさらに詳細に説明するように、卵巣の非ＣＬ形態と卵巣のＣＬとの間の各画像内の不均衡な性質を補償する損失関数としての焦点損失によって構築される。

【0049】

この例でモデル１２５を訓練するために、デジタル画像を取得し、画像を訓練用の画像のサブセット１３０ａ（例えば、９０％）と検証用の画像のサブセット１３０ｂ（例えば、１０％）とに分割し、画像のサブセット１３０ａと画像のサブセット１３０ｂとを前処理し、画像のサブセット１３０ａを増強し、画像のサブセット１３０ａにラベル１３５によって注釈を付けることによってサンプル１３０が生成される。画像は、卵巣組織切片のものであり、データベース、画像システム（例えば、光学顕微鏡カメラ）などのデータ記憶構造から取得されることができる（例えば、卵巣組織切片の５倍の拡大走査が光学顕微鏡のカメラによって取得された２０倍の走査から抽出されることができる）。画像は、１つ以上の被験体の右および／または左卵巣内の様々なレベルからの卵巣組織切片のものとすることができる。いくつかの例では、画像は、カルミン、硝酸銀、ギムザ、トリクローム染色、グラム染色、ヘマトキシリン、およびＨ＆Ｅ染色などの組織学的染色によって染色された卵巣組織切片のものである。特定の例では、組織学的染色は、Ｈ＆Ｅ染色である。特定の例では、訓練のための画像サブセット１３０ａ内の画像は、画像の実質的に全てまたは全てが化合物によって処理されておらず且つＣＬの正常なカウントを有する（例えば、１から１．５カウント／組織面積ｍｍ^２）被験体の卵巣のものであるように、プロトコルまたは制約に従って取得される。一方、検証のための画像サブセット１３０ｂ内の画像は、画像の一部が化合物によって治療されておらず且つＣＬの正常なカウントを有する（例えば、１．０から１．５カウント／組織面積ｍｍ^２）被験体の卵巣のものであり、画像の一部が化合物によって処理されており且つＣＬのカウントが低下して異常である（例えば、０．５から１．０カウント／組織面積ｍｍ^２）被験体の卵巣のものであり、および／または画像の一部が化合物によって処理されており且つＣＬのカウントが非常に低く異常である（例えば、０．０から０．５カウント／組織面積ｍｍ^２）被験体の卵巣のものであるように、異なるプロトコルまたは制約に従って取得される。

【0050】

分割は、ランダムに（例えば、９０／１０％または７０／３０％）実行されてもよく、または、分割は、サンプリングバイアスおよびオーバーフィッティングを最小限に抑えるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などのより複雑な検証技術に従って実行されてもよい。前処理は、各画像が単一の卵巣切片のみを含むように画像を切り取ることを含むことができる。いくつかの例では、前処理は、全ての特徴を同じスケール（例えば、本明細書においてさらに詳細に説明するように、同じサイズスケールまたは同じカラースケールまたは彩度スケール）に置くための標準化または正規化をさらに含むことができる。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小辺（幅または高さ）または所定の画素（例えば、３０００画素）の最大辺（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。

【0051】

増強が使用されて、データセット内に画像の修正バージョンを作成することによって、画像のサブセット１３０ａのサイズを人工的に拡大することができる。画像データ増強は、元の画像と同じクラスに属するデータセット内の画像の変換バージョンを作成することによって実行されることができる。変換は、シフト、フリップ、ズームなどの画像操作の分野からの動作の範囲を含む。いくつかの例では、動作は、モデル１２５が画像のサブセット１３０ａから利用可能な状況外の状況下で実行することができることを保証するために、ランダム消去、シフト、輝度、回転、ガウスぼかし、および／または弾性変換を含む。追加的または代替的に、本明細書においてさらに詳細に説明するように、増強が使用されて、展開後にモデル１２５が入力として取り込むことができる画像の色スペクトルおよび／または彩度レベルを人工的に拡張することができる。色スペクトルおよび／または彩度レベル増強は、画像サブセット１３０ａの画像群の画像（例えば、第１の毒物学的試験から取得された画像）間の色および／または彩度（例えば、赤色チャネル）の画像平均と、画像サブセット１３０ａの画像の１つ以上の他の群（例えば、他の毒物学的試験から取得された画像）の色および／または彩度（例えば、赤色チャネル）の画像平均との差を取得し、差にランダム係数（例えば、－２０から－４０の範囲）を乗算して拡張色スペクトルおよび／または彩度レベルを取得し、さらなるデータ増強のために画像サブセット１３０ａの画像の異なる群に拡張色スペクトルおよび／または彩度レベルを追加することによって実行されることができる。このさらなるデータ増強は、様々なソースまたは試験からの推測のために入力された画像に対するモデル１２５の性能を改善することができる。

【0052】

注釈付けは、画像サブセット１３０ａの各画像内のＣＬの１つ以上のインスタンスの存在を確認し、ＣＬの１つ以上のインスタンスにラベル１３５を提供する、例えば、注釈ソフトウェアを使用して、ＣＬの１つ以上のインスタンスを含むように人間によって確認された領域の周りに境界ボックス（グラウンドトゥルース）を描画する、１人以上の人間（病理学者などの注釈者）によって手動で実行されることができる。特定の例では、境界ボックスは、ＣＬである確率が５０％を超えるインスタンスついてのみ描画されてもよい。複数の注釈者によって注釈付けされる画像については、全ての注釈者からの境界ボックスが使用される。同じＣＬが複数の注釈者によって識別された場合、個々の注釈は、単一の境界ボックスに結合される。より小さい境界ボックスは、より大きい境界ボックスに置き換えられる。各画像についての総ＣＬカウントは、各卵巣切片の境界ボックスの数をカウントすることによって計算されることができ、ラベル１３５を使用して情報が画像に注釈付けされることができる。

【0053】

モデル１２５の訓練プロセスは、モデル１２５のハイパーパラメータを選択することと、モデル１２５の損失または誤差関数を最小化するモデルパラメータ（例えば、重みおよび／またはバイアス）のセットを見つけるために、画像のサブセット１３０ａからモデル１２５に画像を入力する反復動作を実行することとを含む。ハイパーパラメータは、モデル１２５の挙動を制御するために調整または最適化されることができる設定である。ほとんどのモデルは、メモリまたは実行コストなどのモデルの異なる態様を制御するハイパーパラメータを明示的に定義する。しかしながら、モデルを特定のシナリオに適合させるために、追加のハイパーパラメータが定義されることができる。例えば、ハイパーパラメータは、モデルの隠れユニットの数、モデルの学習率、またはモデルの畳み込みカーネル幅を含むことができる。訓練の各反復は、モデルパラメータのセットを使用する損失または誤差関数の値が、前の反復におけるモデルパラメータの異なるセットを使用する損失または誤差関数の値よりも小さくなるように、（ハイパーパラメータの定義されたセットによって構成された）モデル１２５のモデルパラメータのセットを見つけることを含むことができる。損失または誤差関数は、モデル１２５を使用して推測された出力（この例では、ＣＬの１つ以上のインスタンスの周りの境界ボックス）と、ラベル１３５を使用して画像に注釈付けされたグラウンドトゥルース境界ボックスとの間の差を測定するように構築されることができる。

【0054】

モデルパラメータのセットが識別されると、モデル１２５は、訓練されており、画像のサブセット１３０ａ（試験または検証データセット）を使用して検証されることができる。検証プロセスは、ハイパーパラメータを調整し、最終的に最適なハイパーパラメータのセットを見つけるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などの検証技術を使用して、画像のサブセット１３０ｂからモデル１２５に画像を入力する反復動作を含む。最適なハイパーパラメータのセットが取得されると、画像のサブセット１３０ｂからの画像の予約試験セットがモデル１２５に入力されて出力（この例では、ＣＬの１つ以上のインスタンスの周りの境界ボックス）を取得し、ブランドアルトマン法およびスピアマンの順位相関係数などの相関技術を使用し、誤差、精度、正確さ、再現率、受信機動作特性曲線（ＲＯＣ）などの性能メトリックを計算して、出力がグラウンドトゥルース境界ボックスに対して評価される。

【0055】

理解されるべきであるように、他の訓練／検証機構が想定され、コンピューティング環境１００内に実装されてもよい。例えば、モデルは、訓練されてもよく、ハイパーパラメータは、画像のサブセット１３０ａからの画像上で調整されてもよく、画像のサブセット１３０ｂからの画像は、モデルの性能を試験および評価するためにのみ使用されてもよい。さらに、本明細書において説明される訓練機構は、新たなモデル１２５を訓練することに焦点をあてている。これらの訓練機構はまた、他のデータセットから訓練された既存のモデル１２５を微調整するために利用されることができる。例えば、いくつかの例では、モデル１２５は、他の生物学的構造の画像（非卵巣切片）を使用して、または他の被験体もしくは試験からの卵巣切片（例えば、ヒト試験またはマウス実験）から事前訓練されていてもよい。それらの場合、モデル１２５は、転移学習に使用され、本明細書において説明するようにサンプル１３０を使用して再訓練／検証されることができる。

【0056】

モデル訓練段階１０５は、１つ以上の訓練されたＣＬオブジェクト検出モデル１４０を含む訓練されたモデルを出力する。ＣＬ識別段階１１０では、１つ以上のＣＬオブジェクト検出モデル１４０が使用されて、ＣＬの関連する確率スコアが境界ボックスに存在する推定ＣＬの各インスタンスの周りの境界ボックスを取得することができる。ＣＬ識別段階１１０は、画像データ１４５を取得するためのプロセス（例えば、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令）を含むことができる。いくつかの例では、取得することは、データベース、画像システムなどのデータ記憶構造から卵巣組織切片の画像を取得することを含む。画像は、１つ以上の被験体の右および／または左卵巣内の様々なレベルからの卵巣組織切片のものとすることができる。いくつかの例では、画像は、カルミン、硝酸銀、ギムザ、トリクローム染色、グラム染色、ヘマトキシリン、およびＨ＆Ｅ染色などの組織学的染色によって染色された卵巣組織切片のものである。画像データ１４５内の画像は、未処理のまたは同じまたは異なる化合物によって処理された同じまたは異なる被験体の卵巣のものとすることができる。

【0057】

ＣＬ識別段階１１０は、画像データ１４５を前処理するための任意のプロセスをさらに含んでもよい。いくつかの例では、前処理は、全ての特徴を同じスケール（例えば、本明細書においてさらに詳細に説明するように、同じサイズスケールまたは同じカラースケールまたは彩度スケール）に置くための標準化または正規化を含む。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小辺（幅または高さ）または所定の画素（例えば、３０００画素）の最大辺（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。ＣＬ識別段階１１０は、画像データ１４５を（前処理の有無にかかわらず）ＣＬオブジェクト検出モデル１４０に入力してＣＬオブジェクト検出モデル１４０を実行するプロセスをさらに含む。ＣＬオブジェクト検出モデル１４０は、モデルパラメータに基づいて各画像内のＣＬの１つ以上のインスタンスを推測し、推測されたＣＬの各インスタンスの周りに境界ボックスを有する画像１５０を出力する。特定の例では、各境界ボックスは、境界ボックス内に存在するＣＬの関連する確率スコアを有する。

【0058】

ＣＬカウント段階１１５は、ＣＬ識別段階１１０から出力画像１５０を取得または受信するためのプロセス（例えば、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令）を含む。ＣＬカウント段階１１５は、出力画像１５０内のＣＬの推測された１つ以上のインスタンスをカウントするためにルールベースの技術を実行するためのプロセスをさらに含む。いくつかの例では、ルールベースの技術は、非験体からの卵巣に関連する各画像内の境界ボックスをカウントし、卵巣のＣＬの総カウント１５５を取得することができる。他の例では、ルールベースの技術は、被験体からの第１の卵巣（例えば、左卵巣）に関連する各画像内の境界ボックスをカウントして、第１の卵巣のＣＬの総カウント１５５を取得し、被験体からの第２の卵巣（例えば、右卵巣）に関連する各画像内の境界ボックスをカウントして、第２の卵巣のＣＬの総カウント１５５を取得することができる。特定の例では、ルールベースの技術は、被験体についての平均ＣＬカウント１５５を取得するために、第１の卵巣についてのＣＬの総カウントおよび第２の卵巣についてのＣＬの総カウントの平均をとる（または別の同様の統計的アプローチを適用する）ことができる。所定の閾値（例えば、０．５または０．７５）未満の確率スコアを有する境界ボックスは、ルールベース技術によってカウントされなくてもよい。さらに他の例では、ルールベースの技術は、サンプルに関連する各画像内の境界ボックスに対して任意の他のカウント方法を使用することができ、これは、任意に関連する確率スコアを考慮して、サンプルのＣＬの総カウントを取得する。

【0059】

ＣＬ卵巣毒性評価段階１２０は、ＣＬカウント段階１１５から総カウントまたは平均カウント１５５を取得または受信するためのプロセス（例えば、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令）を含む。ＣＬ卵巣毒性評価段階１２０は、総カウントまたは平均カウント１５５に基づいて化合物の卵巣毒性１６０（哺乳動物の卵巣毒性）を推測するためのルールベースの技術を実行するためのプロセスをさらに含む。卵巣毒性は、同じＣＬオブジェクト検出モデル１４０を使用して、異なる量および異なる化合物にわたって判定されることができる。第一に、驚くべきことに、（実施例に関して本明細書に記載されるデータによって裏付けされるように）化合物の卵巣毒性を伴うＣＬトラックの個々のカウントがどの程度良好且つ正確であるかが発見された。従来、化合物または環境の卵巣毒性評価は、ＣＬの有無と組み合わせた卵胞の形態および数を含むいくつかの因子の定性的および定量的分析に基づいている。第二に、驚くべきことに、（複数の化合物についての実施例に関して本明細書で論じられるデータによって支持されるように）広範囲の異なる化合物の卵巣毒性評価を用いてＣＬトラックの個々のカウントがどの程度良好且つ正確であるかが発見された。

【0060】

いくつかの例では、ルールベースの技術は、所定の毒性閾値（例えば、１．５カウント／組織面積ｍｍ^２未満の総ＣＬカウントまたは平均ＣＬカウントは、卵巣に対する化合物の毒性を示す）に基づいて、総カウントまたは平均カウント１５５からバイナリ結果（例えば、化合物が毒性であるか、または化合物が毒性でないか）として卵巣毒性１６０を推測することができる。他の例では、ルールベースの技術は、化合物の２つ以上の用量レベル（例えば、ベースラインまたは被験体に導入された化合物なし、および被験体に導入された化合物の用量レベル）に関連する総カウントまたは平均カウント１５５の傾向からバイナリ結果（例えば、化合物が毒性であるか、または化合物が毒性でないか）として卵巣毒性１６０を推測することができる。さらに他の例では、ルールベースの技術は、サンプルに関連する毒性評価のための任意の他の推測方法（例えば、非バイナリ）を使用することができ、これは、任意に化合物の２つ以上の用量レベルを考慮して、化合物の卵巣毒性１６０を判定する。

【0061】

明示的に示されていないが、コンピューティング環境１００は、開発者に関連付けられた開発者装置をさらに含むことができることが理解されよう。開発者装置からコンピューティング環境１００の構成要素への通信は、深層学習ニューラルネットワークにどの種類の入力画像が使用されるべきか、使用されるべき深層学習ニューラルネットワークの数および種類、各深層学習ニューラルネットワークのハイパーパラメータ、例えば、学習率および隠れ層の数、データ要求がどのようにフォーマットされるべきか、どの訓練データが使用されるべきか（例えば、および訓練データへのアクセスを得る方法）およびどの検証技術が使用されるべきか、および／またはルールベース技術がどのように構成されるべきかを示すことができる。
ＩＩＩ．Ｂモデル訓練のための例示的なデータ増強

【0062】

いくつかの実施形態では、深層学習ニューラルネットワークは、化合物によって処理されておらず、且つカルミン、硝酸銀、ギムザ、トリクローム染色、グラム染色、ヘマトキシリン、およびＨ＆Ｅ染色などの組織学的染色によって染色された被験体の卵巣からの卵巣切片の画像に対して訓練される。組織学的染色剤は、サンプル内の天然の形態を可視化するために使用される着色剤であり、サンプル内の特定の構造を選択的に同定するための免疫組織化学染色剤などの染色剤ではない。これは、免疫組織化学染色などのより高価で複雑な染色プロセスを介して取得される画像と比較して、Ｈ＆Ｅ染色などの安価でかなり単純な染色プロセスを介して取得される画像に対して深層学習ニューラルネットワークが訓練および使用されることを可能にする。

【0063】

しかしながら、組織学的染色によって染色されたサンプルは、色の変動の傾向を有する（例えば、Ｈ＆Ｅ染色は、濃い紫から薄いピンクの間の色スペクトルに沿って染色されるサンプルの同じ構造をもたらすことができる）。この色の変動は、染色または染色プロセスの変動に起因することができ、例えば、染色プロセスのタイミングの変動、例えば、短期間に対して染色剤をスライド上に長期間放置することは、暗い色または明るい色をもたらすことができ、染色剤を作製するために使用される成分の変動、例えば、顔料または染料を再構成するために使用される水中の異なる化学物質は、スペクトルに沿って異なる色をもたらすことができる。色および／または彩度レベルのこの変動に対処するために、訓練データの画像は、拡張された範囲の色および／または彩度レベルにわたって卵巣形態内のＣＬを識別するように深層学習ニューラルネットワークが訓練されるように増強される。さらに、他のデータセットからの画像のＲＧＢ色のカラーマッピングなどの従来の技術は、そのような変化が通常は再マッピングされた色のノイズ（色相、彩度、または値のいずれかにおける）を導入し、モデル性能に影響を与えるため、この変動問題に対処するには不十分である。代わりに、これらの制限および問題に対処するために、訓練データの異なるサブセット間の色および／または彩度の差をキャプチャし、キャプチャされた差によって訓練データの１つ以上のサブセットを増強して訓練データの増強サブセットを取得し、訓練データの元のサブセットおよび訓練データの増強サブセットを使用して深層学習ニューラルネットワークを訓練して、展開後に深層学習ニューラルネットワークが入力としてとることができる色空間および彩度レベルを拡張するための増強技術が提供される。

【0064】

より具体的には、増強は、訓練データからの画像群の画像（例えば、第１の毒物学試験から取得された画像）間の色および／または彩度（例えば、赤色チャネル）についての画像平均と、訓練データからの１つ以上の他の画像（例えば、他の毒物学試験から取得された画像）群の色および／または彩度（例えば、赤色チャネル）についての画像平均との差を取得することによって実行されてもよい。次いで、計算された差は、ランダム係数（例えば、－２０から－４０、０から－４０、－１０から－６０などのランダム値の範囲）によって乗算されて、拡張色スペクトルおよび／または彩度レベルを取得する。拡張された色スペクトルおよび／または彩度が加算され（増強画像＝元の画像＋差＊ランダム係数）、データ増強のための訓練データの１つ以上の画像群を生成する。

【0065】

例として、仮想試験Ａは、訓練データとして使用されるべき２つの画像（画像－１および画像－２）を有し、仮想試験Ｂは、訓練データとして使用されるべき２つの画像（画像－３および画像－４）を有すると仮定する。試験Ａでは、画像－１－赤（画像－１－Ｒ）チャネル（各画像全体の合計）および画像－２－Ｒチャネルは、単一数ｍｅａｎＡＲに平均化され、同様に緑および青チャネルについても数ｍｅａｎＡＧおよびｍｅａｎＡＢを生成する。試験Ｂでは、画像－１－Ｒチャネルおよび画像－２－Ｒチャネルは、単一数ｍｅａｎＢＲに、同様に緑色チャネルおよび青色チャネルについてもｍｅａｎＢＧおよびｍｅａｎＢＢに平均化される。

【0066】

次いで、（各色についての）画像平均の差が以下のように計算されることができる：
赤色の差ｄＲ＝ｍｅａｎＡＲ－ｍｅａｎＢＲ
緑色の差ｄＧ＝ｍｅａｎＡＧ－ｍｅａｎＢＧ
青色の差ｄＢ＝ｍｅａｎＡＲ－ｍｅａｎＢＢ
赤色、緑色、および青色の差（ｄＲ、ｄＢ、およびｄＧ）は、ランダム係数（例えば、－２０から－４０、０から－４０、－１０から－６０などのランダム値の範囲）によって乗算されて、拡張色スペクトルおよび／または彩度レベル（ｅｘＲ、ｅｘＢ、ｅｘＧ）を取得する。拡張色スペクトルおよび／または彩度レベル（ｅｘＲ、ｅｘＢ、ｅｘＧ）は、試験Ａの２つの画像および／または試験Ｂの２つの画像のＲＧＢチャネルに加算され、増強画像のセットを取得する。次いで、試験Ａおよび試験Ｂのそれぞれからの元の２つの画像および増強画像が使用されてモデルを訓練する。このデータ増強は、様々なソースまたは試験からの推測のために入力される画像（色および／または彩度の変動を有する傾向がある画像）についてのモデルの性能を改善することができる。
ＩＩＩ．Ｃ．例示的な深層学習ニューラルネットワーク

【0067】

様々な実施形態では、卵巣のＣＬを識別することができる深層学習ニューラルネットワーク（境界ボックスを記述する４つの座標値の全てを予測することを含むオブジェクト検出タスク）が提供される。オブジェクト検出タスクの場合、２つの異なるアプローチが使用されることができる。（ｉ）グリッド上で固定数の予測を行い（１段階）、（ｉｉ）または提案ネットワークを活用してオブジェクトを見つけ、次いで第２のネットワークを使用して提案を微調整し、最終予測を出力する（２段階）。利用可能な訓練データのより小さいセットで訓練することがより容易であり、モデルアーキテクチャがはるかに単純で高速であるため、本実施形態の深層学習ネットワークには１段階の検出（すなわち、直接）が選択された。いくつかの例では、深層学習ニューラルネットワークは、ＣＮＮ、例えば、初期ニューラルネットワーク、Ｒｅｓｎｅｔ、ＲｅｔｉｎａＮｅｔ、またはそれらの任意の組み合わせである。

【0068】

深層学習ニューラルネットワークは、発情周期の様々な段階における被験体の卵巣からの卵巣切片の画像に対して訓練され、化合物（例えば、治療候補化合物）によって処理されていない。これは、各スライスについて平均して卵巣あたり約１０から３０ＣＬおよび約１から１．５ＣＬカウント／組織面積ｍｍ^２のＣＬカウントを有する、訓練のための画像の十分大きなプールを確保する。しかしながら、画像は、存在する場合、少量のＣＬと比較して多量の非ＣＬ卵巣形態および背景を有し、したがって、容易に分類される背景の例によって支配される境界ボックスの候補位置の大きなセットを有する。訓練中、モデルは、候補オブジェクト位置の数をより少ない数に絞り込むための領域的提案の中間ステップを有しない我々の「グリッド上の予測」アプローチの性質に起因してオブジェクトが含まれない大量の境界ボックスで終わることが多いため、１段階検出器についてのクラス不均衡問題を引き起こす。従来、このクラス不均衡問題は、ブートストラッピングまたはオンラインハードサンプルマイニングによって対処されている。しかし、これらの技術は、以下のためにこの例では効率的に機能しない：（ｉ）使用される訓練サンプルは、全てＣＬ（正のクラス）を含み、したがって、ＣＬのない一連の画像は、ブートストラップ目的に使用されることができず、（ｉｉ）オンラインハードの実例マイニングは、別のクラス不均衡問題を引き起こす訓練データセットの大部分である容易な例を完全に破棄する。

【0069】

クラス不均衡問題を解消し、限られた訓練データセットによるＣＬの正確な識別および定量化を達成するために、深層学習ニューラルネットワークは、修正損失関数（すなわち、焦点損失）によって構築される。焦点損失は、クロスエントロピー損失を再成形することによって画像の不均衡な性質を補償し、その結果、十分に分類された例に割り当てられた損失をダウンウェイトし、ハードネガティブに対する訓練に焦点をあてる。例えば、バイナリ分類の交差エントロピー損失は、以下のように表される：

ここで、ｙ∈｛±１｝は、グランドトゥルースクラスであり、ｐ∈［０，１］は、モデルの推定確率である。表記の便宜上、ｐ_ｔが定義され、ＣＥは、以下のように書き換えられる：

この交差エントロピー損失関数ＣＥは、交差エントロピー損失ＣＥに変調係数（１－ｐ_ｔ）^γを加えることによって再成形され、γは、所定の正のスカラー値または集束パラメータである。

【0070】

したがって、ある例が誤って分類され、ｐ_ｔが小さい場合、変調因子（１－ｐ_ｔ）^γは、１に近く、損失は影響を受けない。ｐ_ｔ→１として、変調因子（１－ｐ_ｔ）^γは０になり、十分に分類された例の損失はダウンウェイトされる。焦点パラメータγは、容易な例がダウンウェイトされる速度を滑らかに調整する。γ＝０の場合、ＦＬはＣＥに相当する。γが増加すると、同様に、変調因子（１－ｐ_ｔ）^γの効果が増加する。焦点損失は、本質的に、容易な例（例えば、全ての非ＣＬ卵巣形態および背景）の損失の累積によって勾配が超えられることを回避する手段である。代わりに、焦点損失は、ハード例のまばらなセット（例えば、稀な例のＣＬ）に訓練を集中させ、訓練中に膨大な数の容易なネガティブ（例えば、非ＣＬ卵巣形態および背景）が検出器を圧倒するのを防ぐ。

【0071】

様々な実施形態では、焦点損失は、分類損失関数としてＲｅｔｉｎａＮｅｔに実装される。図２に示すように、ＲｅｔｉｎａＮｅｔ２００は、以下から構成されることができる：（ｉ）バックボーンネットワーク２０５が任意のサイズの画像を撮像し且つ特徴ピラミッドネットワーク２１０内の複数のレベルにおいて比例サイズの特徴マップを出力することを可能にする、完全に畳み込み的な方法でＲｅｓＮｅｔ２１５の上に構築された特徴ピラミッドネットワーク２１０から構成されるバックボーンネットワーク２０５、（ｉｉ）バックボーンの出力を使用して各アンカーボックスおよびオブジェクトクラスについて、各空間位置にオブジェクトが存在する確率を予測する役割を担う第１のサブネットワーク２２０、（ｉｉｉ）バックボーンの出力を使用して各グランドトゥルースオブジェクトについてアンカーボックスからの境界ボックスのオフセットを回帰する役割を担う第２のサブネットワーク２２５。ＲｅｓＮｅｔ２１５は、ボトムアップ経路を提供し、これは、入力画像サイズまたはバックボーンに関係なく、異なるスケールで特徴マップを計算する。ＲｅｓＮｅｔ２１５のいくつかの連続層は、同じスケールの特徴マップを出力することができるが、一般に、より深い層の特徴マップは、より小さいスケール／解像度を有する。ボトムアップ経路は、同じスケールの特徴マップを出力する連続層の各群の最後の特徴マップを選択することによって達成される。

【0072】

これらの選択された特徴マップは、トップダウン経路および横方向接続を提供する特徴ピラミッドネットワーク２１０の基礎として使用される。トップダウン経路は、より高いピラミッドレベルから空間的に粗い特徴マップをアップサンプリングし、横方向接続は、同じ空間サイズを有するトップダウン層とボトムアップ層とをマージする。より具体的には、最近傍アップサンプリングを使用して、ボトムアップ経路からの最後の特徴マップは、最後から２番目の特徴マップと同じスケールに拡張される。次いで、これらの２つの特徴マップは、要素ごとの加算によってマージされて、新たな特徴マップを形成する。このプロセスは、ボトムアップ経路からの各特徴マップが、横方向接続によって接続された対応する新たな特徴マップを有するまで繰り返される。より高いレベルの特徴マップは、画像のより大きな領域をカバーするグリッドセルを含み、したがって、より大きなオブジェクトを検出するのにより適している。対照的に、より低いレベルの特徴マップからのグリッドセルは、より小さいオブジェクトを検出するのにより優れている。これらの特徴マップは、境界ボックスの予測を行うために独立して使用されることができ、したがって、スケール不変であり且つ速度および精度の双方に関してより良好な性能を提供することができるモデルに寄与する。

【0073】

第１のサブネットワーク２２０は、特徴ピラミッドネットワーク２１０の各レベルに搭載された完全畳み込みネットワーク（ＦＣＮ）であり、各アンカーボックス（Ａ）およびオブジェクトクラス（Ｋ）についての各空間位置にオブジェクトが存在する確率を予測する。第１のサブネットワーク２２０は、複数のフィルタ（例えば、２５６）を有する複数の（例えば、４つの）畳み込み層と、それに続く整流線形ユニット（ＲＥＬＵ）アクティベーションとから構成されてもよい。続いて、Ｋ×ＡＫ×Ａフィルタを有する別の畳み込み層が適用され、続いてシグモイドアクティベーションすることができる。第１のサブネットワーク２２０は、全レベルにわたってパラメータを共有している。出力特徴マップの形状は、（Ｗ，Ｈ，ＫＡ）であってもよく、ここで、ＷおよびＨは、入力特徴マップの幅および高さに比例し、ＫおよびＡは、オブジェクトクラスおよびアンカーボックスの数である。各アンカーボックスは、それがカバーする領域内のＫ個のクラスからのオブジェクトの存在を検出する役割を担う。したがって、各アンカーボックスは、クラス確率を示すＫ個の数字に対応し、グリッドごとにＡ個の境界ボックスがあるため、第１のサブネットワーク２２０の出力特徴マップは、ＫＡ個のチャネルを有する。

【0074】

第２のサブネットワーク２２５は、特徴ピラミッドネットワーク２１０の各特徴マップに搭載され且つ第１のサブネットワーク２２０と並列な回帰サブネットである。第２のサブネットワーク２２５の設計は、最後の畳み込み層が４Ａ個のフィルタを有することを除いて、第１のサブネットワーク２２０の設計と同一である。したがって、出力特徴マップの形状は、（Ｗ，Ｈ，４Ａ）であり、ここで、ＷおよびＨは、入力特徴マップの幅および高さに比例し、Ａは、アンカーボックスの数である。第１のサブネットワーク２２０および第２のサブネットワーク２２５は双方とも、幅Ｗおよび高さＨを有する出力特徴マップを有し、Ｗ×Ｈ個のスライスのそれぞれは、入力画像内の領域に対応する。第１のサブネットワーク２２０がオブジェクトの存在／クラスを検出することに加えて、各アンカーボックスはまた、オブジェクトのサイズ／形状を検出する役割も担う。これは、アンカーボックスとグラウンドトゥルースボックスとの間の相対オフセット（中心座標、幅、および高さに関して）を予測する各アンカーボックスについて４つの数を出力する、第２のサブネットワーク２２５を介して行われる。したがって、回帰サブネットの出力特徴マップは、４Ａ個のチャネルを有する。したがって、サブネットは、以下のように表される総カウントに対して複数の値（第１のサブネットワーク２２０からのＫ、第２のサブネットワーク２２５からの４Ａ個のチャネル）を生成する：

ここで、ｌは、ピラミッドのレベルを示し、ＷおよびＨは、アンカーボックスのサブネットの出力特徴マップの幅および高さである。これらの数を使用してアンカーボックスを改良することにより、モデルが境界ボックスの４つの座標の予測を出力することが可能である。

【0075】

ＲｅｔｉｎａＮｅｔ２００を訓練するための損失を計算するために、境界ボックスの４つの座標の予測とグラウンドトゥルースの境界ボックスの座標との間で比較が行われる。ＲｅｔｉｎａＮｅｔの損失は、以下の２つの項を含むマルチタスク損失である：一方は局在化（Ｌ_ｌｏｃとして示される）であり、他方は分類（Ｌ_ｃｌｓとして示される）である。マルチタスク損失は、以下のように表されることができる：

ここで、λは、２つのタスク損失Ｌ_ｌｏｃとＬ_ｃｌｓとの間のバランスを制御するハイパーパラメータである。局在化損失（Ｌ_ｌｏｃ）および分類損失（Ｌ_ｃｌｓ）は、境界ボックスの４つの座標の予測とグラウンドトゥルースの境界ボックスの座標との間で行われる比較に基づいて計算される。局在化損失（Ｌ_ｌｏｃ）は、回帰損失である。本明細書において説明するように、一致するアンカーボックスごとに、第２のサブネット２２５は、４つの数を予測する。最初の２つの数は、アンカーボックスの中心とグラウンドトゥルースとの間のオフセットを指定する一方で、最後の２つの数は、アンカーボックスの幅／高さとグラウンドトゥルースとの間のオフセットを指定する。これに対応して、これらの予測のそれぞれについて、アンカーボックスとグラウンドトゥルースとの間のオフセットとして計算された回帰ターゲットがある。この回帰ターゲットに基づいて回帰損失が定義されることができる。分類損失（Ｌ_ｃｌｓ）は、本明細書において詳細に説明するように、焦点損失である。焦点損失は、容易な例からの損失寄与を低減し、誤って分類された例を修正する重要性を高める。

【0076】

ＲｅｔｉｎａＮｅｔ２００は、卵巣内のＣＬの推定インスタンスの周りの境界ボックスを記述する４つの座標値の予測を生成する。卵巣切片の各入力画像について、以下のように表される特徴ピラミッドネットワーク２１０の全てのレベルからのいくつかのアンカーボックスがある：

各アンカーボックスについて、第１のサブネットワーク２２０は、画像中のＣＬの存在の確率分布を示すＫ個の数を予測する一方で、第２のサブネットワーク２２５は、各アンカーボックスと対応する境界ボックスとの間のオフセットを示す４つの数を予測する。性能を考慮するために、ＲｅｔｉｎａＮｅｔ２００のハイパーパラメータは、モデルが特徴ピラミッドネットワーク２１０の各レベルから境界ボックス内に存在するＣＬの最も高い確率スコアを有するせいぜい所定数のアンカーボックス（例えば、１００）を選択するように、または特徴ピラミッドネットワーク２１０の各レベルからアンカーボックス内に存在するＣＬの所定の閾値確率スコア（例えば、０．７５）を超えるアンカーボックス（例えば、１００）を選択するように、または所定数のアンカーボックスおよび所定の閾値確率スコアに基づくそれらの組み合わせで設定されることができる。これらのアンカーボックスのみが、ＲｅｔｉｎａＮｅｔ２００によって実行される残りの段階に含まれる。この段階で、複数のアンカーボックスを用いて画像内のＣＬが予測されることができる。冗長性を除去するために、非最大抑制（ＮＭＳ）がＣＬ予測に適用されることができ、これは、最も高い確率スコアを有するアンカーボックスを繰り返し選択し、０．５などの設定値よりも大きいＩｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒＵｎｉｏｎを有する任意の重複するアンカーボックスを除去する。最後の段階では、ＣＬ識別のための残りの各アンカーボックスについて、第２のサブネットワーク２２５は、識別されたＣＬの各インスタンスの最終的な境界ボックス予測を得るためにアンカーボックスを改良するために使用されることができるオフセット予測を与える。
ＩＶ．卵巣毒性評価のための技術

【0077】

図３は、様々な実施形態にかかる卵巣毒性評価のためのプロセス３００を示している。

【0078】

プロセス３００は、ブロック３０５で始まり、ここで、組織スライスが、１つまたは複数の被験体の１つまたは複数の卵巣から取得される（例えば、マウス被験体の左および右卵巣）。いくつかの例では、被験体は、ある量の化合物（例えば、ある用量の治療薬）によって処理されている。他の例では、被験体は、ある量の化合物（例えば、ベースライン）によって処理されていない。ブロック３１０において、組織スライスがスライド上に載置される。スライドは、顕微鏡によって使用するための基材である。ブロック３１５において、スライドは、Ｈ＆Ｅ染色などの組織学的染色によって処理される。特定の例では、複数のスライドは、Ｈ＆Ｅ染色剤以外の任意の他の染色剤によって処理されない。ブロック３２０において、各スライドは、組織スライスについての画像を生成するために、撮像装置（例えば、顕微鏡に取り付けられたカメラ）を用いて撮像される。画像は、複数の卵巣の各卵巣からの組織スライスの少なくとも１つの画像を含む画像のセットとすることができる。画像と卵巣との関連付けは、メタデータタグなどの識別子を使用して画像データ内で維持されてもよい。

【0079】

任意のブロック３２５において、組織スライスの画像が前処理される。前処理は、各画像が単一の卵巣切片のみを含むように画像を切り取ることを含むことができる。いくつかの例では、前処理は、全ての特徴を同じスケール（例えば、本明細書においてさらに詳細に説明するように、同じサイズスケールまたは同じカラースケールまたは彩度スケール）に置くための標準化または正規化をさらに含むことができる。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小辺（幅または高さ）または所定の画素（例えば、３０００画素）の最大辺（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。

【0080】

ブロック３３０において、画像は、損失関数の少なくとも一部として焦点損失を使用して１段階検出器として構築されたニューラルネットワークモデルに入力される。入力することは、１つの卵巣からの組織スライスの画像のセットからの各画像を反復的に入力し、次いで、別の卵巣からの組織スライスの別の画像のセットからの各画像を反復的に入力し、画像内の全ての画像のセットがニューラルネットワークモデルによって処理されるまでこのプロセスを繰り返すことを含むことができる。

【0081】

ニューラルネットワークモデルは、ＳＳＤアーキテクチャ、ＹＯＬＯアーキテクチャ、またはＲｅｔｉｎａＮｅｔアーキテクチャなどのオブジェクト検出モデルアーキテクチャに基づいて構築することができる。いくつかの例では、ニューラルネットワークモデルは、訓練データのセットを使用して訓練された複数のパラメータを含み、（ｉ）卵巣からの組織切片のＨ＆Ｅ染色スライドなどの染色スライドの画像の複数の訓練セットであって、複数の訓練セットの画像からの画像の各訓練セットが、複数の異なる被験体のうちの１つからのものである、複数の訓練セットと、（ｉｉ）複数の訓練セットの画像からの画像のうちの１つにおいて識別されたＣＬに関連付けられた境界ボックスの複数のセットとを含む、複数のパラメータを含む。ニューラルネットワークモデルの損失関数は、パラメータおよび複数の画像の訓練セットを複数の境界ボックスのセットに関連させ、焦点損失は、複数の画像の訓練セット内の非ＣＬ形態または背景についての訓練中に予測された境界ボックスをダウンウェイトし、ＣＬについて予測された境界ボックスに訓練を集中させる。特定の例では、複数の画像の訓練セットのうちの少なくとも１つの画像の訓練セットは、少なくとも１つの画像の訓練セット内の画像の複数の色チャネルのそれぞれについての画像平均の差に従って訓練に使用される前に調整され、画像平均の差は、複数の画像の訓練セットのうちの別の画像の訓練セットに対して計算される。画像の複数の色チャネルのそれぞれについての画像平均は、少なくとも１つの画像の訓練セット内の画像にわたる色チャネルの平均値として計算される。

【0082】

ブロック３３５において、画像内の１つ以上のオブジェクトは、ニューラルネットワークモデルを使用してＣＬであるとして識別される（例えば、識別することは、背景オブジェクトからのＣＬオブジェクトの分類スキーマの一部として、または他の卵巣構造および／または細胞種類および背景オブジェクトからのＣＬオブジェクトのマルチクラス分類スキーマとして実行されることができる）。いくつかの例では、ＣＬは、ニューラルネットワークモデル内の特徴ピラミッドネットワークを介して生成された特徴マップに基づいて識別または分類される。特定の例では、識別または分類することは、ＣＬとして識別または分類された１つ以上のオブジェクトのうちの各オブジェクトについて確率スコアを生成することを含む。ブロック３４０において、ブロック３３５からのオブジェクトの識別または分類に基づいて、ＣＬとして識別されたオブジェクトのうちの１つ以上のオブジェクトの周りの境界ボックスについての座標が予測される。ブロック３４５において、ＣＬとして識別されたオブジェクトのうちの１つ以上のオブジェクトの周りの境界ボックスを有する画像は、境界ボックスについて予測された座標に基づいて出力される。

【0083】

ブロック３５０において、深層学習ニューラルネットワークから出力された画像内の境界ボックスがカウントされて、１つまたは複数の被験体の１つまたは複数の卵巣についてのＣＬカウントを取得する。ＣＬカウントは、被験体ごとのカウントに基づいて生成されることができ、所与の被験体（被験体の１つまたは複数の卵巣）に関連する画像内の全ての境界ボックスがＣＬカウントを取得するためにカウントされる。あるいは、ＣＬカウントは、所与の卵巣に関連する画像内の全ての境界ボックスがＣＬカウントを取得するためにカウントされる卵巣ごとのカウントに基づいて生成されることができる。その後、同じ被験体に関連付けられた各卵巣について生成されたＣＬアカウントが平均化されて、被験体についての平均ＣＬカウントを取得することができる。特定の例では、カウントすることは、ＣＬとして分類され且つ所定の確率スコア閾値よりも大きい確率スコアを有するオブジェクトの周りの画像内の境界ボックスをカウントすることのみを含む。他の例では、

【0084】

ブロック３５５において、卵巣または被験体のＣＬカウント、または被験体の平均ＣＬカウントに基づいて、ある量の化合物（例えば、ある用量の治療薬）について卵巣毒性が判定される。卵巣毒性は、同じニューラルネットワークモデルを使用して、異なる量および異なる化合物にわたって判定されることができる。いくつかの例では（例えば、画像が単一量の化合物に曝露された被験体から取得される場合）、卵巣毒性を判定することは、卵巣もしくは被験体についてのＣＬカウントまたは被験体についての平均ＣＬカウントを所定の毒性閾値と比較することを含む。卵巣もしくは被験体についてのＣＬカウント、または被験体についての平均ＣＬカウントが所定の毒性閾値を超える場合、ある量の化合物は、卵巣に対して毒性ではないと判定される。卵巣もしくは被験体についてのＣＬカウント、または被験体についての平均ＣＬカウントが所定の毒性閾値以下である場合、ある量の化合物は、卵巣に対して毒性であると判定される。他の例（例えば、画像が複数量の化合物に曝露された複数の被験体から取得される場合（複数量の化合物によって処理された被験体からの画像および任意量の化合物によって処理されていない被験体からのベースライン画像））では、卵巣毒性を判定することは、卵巣または被験体についての第１のＣＬカウント、または被験体についての平均ＣＬカウントを、別の卵巣または被験体についての第２、第３、第４などのＣＬカウント、または別の被験体についての平均ＣＬカウントと比較することと、比較に基づいて、第１、第２、第３、第４などのＣＬカウントの間の傾向を判定することと、傾向に基づいて卵巣毒性を判定することと、を含む。例えば、傾向が化合物の量が増加するにつれてＣＬカウントが減少することを示す場合、化合物が卵巣に対して毒性であると判定されることができる。一方、傾向が、傾向が化合物の量が増加するにつれてＣＬカウントが安定していることを示す場合、化合物が卵巣に対して毒性ではないと判定されることができる。この傾向に基づく判定は、化合物が卵巣に対して毒性であるかまたは毒性でない量をよりよく理解および推測するために、所定の毒性閾値をさらに考慮に入れることができる。

【0085】

ブロック３６０において、ＣＬ、卵巣のＣＬカウント、ある量の化合物の卵巣毒性、またはそれらの任意の組み合わせとして分類されるオブジェクトのうちの各オブジェクトの周りの境界ボックスを有する画像のセットが提供される。例えば、画像のセット、卵巣のＣＬカウント、ある量の化合物の卵巣毒性、またはそれらの任意の組み合わせは、局所的に提示されるか、または別の装置に送信されることができる。画像のセット、卵巣のＣＬカウント、ある量の化合物の卵巣毒性、またはそれらの任意の組み合わせは、被験体の識別子と共に出力されることができる。いくつかの例では、画像のセット、卵巣のＣＬカウント、ある量の化合物の卵巣毒性、またはそれらの任意の組み合わせは、エンドユーザまたは記憶装置に出力される。任意のブロック３６５において、化合物は、ある量の化合物の卵巣毒性に基づいて製造されるかまたは製造されている。任意のブロック３７０において、ある量の化合物の卵巣毒性に基づいて、化合物による処理が実施される。
Ｖ．実施例

【0086】

様々な実施形態において実装されるシステムおよび方法は、以下の実施例を参照することによってよりよく理解されることができる。
Ｖ，Ａ．実施例１．－５つの反復投与毒性試験からの卵巣切片

【0087】

完了した化合物開発プログラムをサポートして行われた５つの反復用量毒性試験からの卵巣切片をこの遡及的試験に含めた。雌のＳｐｒａｇｕｅ－Ｄａｗｌｅｙラットを５つ全ての試験に使用した。
Ｖ．Ａ．１試験設計および訓練の概要

【0088】

図４は、この実施例の試験設計をまとめたものである。本明細書において説明する例示的な実施形態では、ＲｅｔｉｎａＮｅｔであるオブジェクト検出深層学習ニューラルネットワークを、試験１からの全ての切片（訓練セットの切片の９０％および検証セットの切片の１０％）によって訓練してＣＬを識別した。モデルは、訓練セットにおいて病理学者ＡおよびＢからの注釈によって訓練された。試験１における切片のサブセット（試験１サブセット）もまた、病理学者Ａおよび病理学者Ｂの双方によって注釈が付けられ、検証セットの一部として機能した。このサブセット内で、病理学者ＡおよびＢは、互いの注釈を見えなくし、変動を計算した。次に、試験２の切片のサブセットにおいて、ＣＬを病理学者ＡおよびＣによってカウントし、ゴールドスタンダード試験セットとして使用した。訓練されたモデルをこの同じ試験セットに適用して、ゴールドスタンダードと比較したＣＬカウントにおけるモデルの精度を評価した。試験セットのモデルからのＣＬカウントの精度を試験１の病理学者間の変動と比較した。検証の最後のステップでは、モデルを卵巣病理所見の有無にかかわらず試験に適用して、深層学習方法が病理学者からの所見と同様の所見をもたらすかどうかを調査した。試験３、４および５について、処理群と対照群との間のモデルＣＬカウントを比較した。試験３では、組織面積とＣＬカウントとの関係も調査した。表１は、５つの毒性試験、および各試験について病理学者が卵巣病理を所見したか否かをまとめたものである。

【0089】

表１は、試験設計の概要を示している。試験１は、２人の病理学者が注釈を付け、モデルの訓練および検証に使用した。試験２は、モデルと病理学者との間の一致を評価するために使用された。試験３、４、５のＣＬカウントをモデルから取得した。＊５０匹のラットは、２６週間の投与後、１５週間の回復期間を経た。＊＊１００匹の動物のうち７９匹のみが病理学者からの手動ＣＬカウントを有していた。

Ｖ．Ａ．２組織切片およびデジタル化

【0090】

試験では、ラットを剖検時に肉眼的に検査し、顕微鏡検査のために切片に加工するために固定した。単一のＨ＆Ｅ切片が本発明者らの分析に適切であると予想されたが、卵巣の段階切片が個々の試験結果の一般的結論（対照と比較したＣＬカウントの変化）を潜在的に変化させるか否かを調べ、したがって、１５０μｍ離れた６つの５μｍ厚の切片を前向きに分析した。切片を、それぞれ、（第１の段階切片によって定義されるように）Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５およびＬ６（最後の段階切片は、ブロック内の組織の量が最も少ない可能性が高い）とラベリングした。複数の切片において同じＣＬを捕捉する可能性を制限しながら、ほとんどの個々のＣＬを検出するために、ＣＬのサイズに基づいて個々の１５０μｍの段階切片を選択した。段階切片の分析からの知見に基づいて、試験２、４および５について、各卵巣からの単一の５μｍ厚のＨ＆Ｅ切片を使用して試験を進めた。全スライド明視野スキャナを使用して、全てのＨ＆Ｅ切片をデジタル化した。試験１、２および３からの切片をＮａｎｏｚｏｏｍｅｒスキャナによってスキャンし、試験４および５からの切片をＡｐｅｒｉｏスキャナによって２０倍の倍率でスキャンした。
Ｖ．Ａ．３病理学者からの手動注釈

【0091】

試験１の全てのＨ＆Ｅ切片は、ＣＬについて病理学者Ａおよび病理学者Ｂによって手動で注釈が付けられた。ＡｐｅｒｉｏＩｍａｇｅＳｃｏｐｅを使用して識別目的のために、組織切片に存在する全てのＣＬの周りに境界ボックスを描いた。総ＣＬカウントは、各卵巣部分の境界ボックスの数をカウントすることによって計算した。病理学者間の変動を評価するために、全てのレベルから２２４個の卵巣Ｈ＆Ｅ切片をランダムに選択し、双方の病理学者によって注釈を付けた。これらの２２４個の切片は、前述のように試験１サブセットとして定義された。残りの卵巣切片を半分に分割し、病理学者Ａまたは病理学者Ｂのいずれかによって注釈を付けた。試験２では、試験セット（１５５個の卵巣切片）からの総ＣＬカウントのみが病理学者ＡおよびＣから報告された。試験２では、残りの卵巣切片について総ＣＬカウントは報告されなかった。試験３、４および５の病理学者が手動で注釈を付けたＣＬはなかった。
Ｖ．Ａ．４画像処理、モデル訓練および推測

【0092】

５倍の倍率の画像を、全ての試験について２０倍のスキャンから抽出した。画像をグレースケールに変換した後、Ｏｔｓｕの方法を使用して卵巣組織を識別した。次に、各画像が単一の卵巣のみを含むように画像を切り取った。卵巣の面積は、Ｏｔｓｕの閾値を適用した後の正の画素数を合計することによって計算した。

【0093】

例示的な一実施形態では、バックボーンとしての深層残差ニューラルネットワーク（５０層バージョン）から構成されるＲｅｔｉｎａＮｅｔをＣＬ検出に使用した。ＩｍａｇｅＮｅｔからの事前訓練された深層残差ニューラルネットワークを転移学習に使用した。試験１の切り取られた卵巣画像および注釈を使用して、ＲｅｔｉｎａＮｅｔを訓練した。病理学者Ａおよび病理学者Ｂの双方が注釈付けした試験１サブセットについては、双方の病理学者からの境界ボックスを使用した。同じＣＬが双方の病理学者によって識別された場合、個々の注釈を単一の境界ボックスに組み合わせた。より小さい境界ボックスは、より大きい境界ボックスに置き換えられた。

【0094】

試験１の切片をランダムに訓練セット（９０％）と検証セット（１０％）とに分割した。切り取られた画像は、２５００画素の最小辺（幅または高さ）または３０００画素の最大辺（幅または高さ）でサイズ変更され、元のアスペクト比を維持した。ランダム消去、シフト、輝度、回転、ガウスぼかし、および弾性変換をデータ増強に使用して、モデルが訓練データのみから利用可能な状況外の状況下で実行することができることを保証した。特に、様々な試験は、試験１と同様の方法で捕捉された画像に対してモデルが実行された可能性があるが、必ずしも他の試験（例えば、試験４および５）ではないように、異なるシナリオで捕捉された。

【0095】

さらに、他の試験画像のＲＧＢ色のカラーマッピングなどの従来の増強技術は不十分であった。そのような変化は、通常、再マッピングされた色のノイズ（色相、彩度、または値のいずれかにおける）を導入し、これは、モデル性能に影響を与える。この問題に対処するために、試験１の画像間の画像平均と他の試験の画像の画像平均との間の差にランダム係数（－２０から－４０の範囲）を乗算し、さらなるデータ増強のために元の訓練画像に加算した。このさらなるデータ増強は、様々な試験からの推測のために挿入された画像のモデル性能を改善した。

【0096】

モデル訓練は、１のバッチサイズを使用して３０エポックについて３０００のステップサイズで行った。平滑Ｌ１損失（σ＝３）を回帰損失に使用し、焦点損失（α＝０．４およびγ＝２）を分類損失に使用した。Ａｄａｍ最適化装置を最適化のために使用した（学習率＝１×１０－５）。

【0097】

訓練されたモデルを、試験２、３、４および５における切り取られた卵巣画像に適用した。推測中、切り取られた卵巣画像は、最初に上記と同じ方法を使用してサイズ変更され、次いで訓練されたモデルに供給された。ＣＬの確率スコアを有する境界ボックスは、訓練されたモデルを切り取られた卵巣画像に適用した後に生成された。確率スコアが０．５未満の境界ボックスは無視した。各卵巣について、識別されたモデルＣＬの総カウントをカウントした。左右の卵巣の双方からの平均ＣＬカウントも計算した。
Ｖ．Ａ．５統計分析

【0098】

前のセクションに記載した例示的なモデルの総ＣＬカウントの精度を評価するために、訓練されたモデルを異なる実験プロトコルを用いた試験で試験し、試験セットの病理学者ＡおよびＣからの共評価に対して検証した。ブランドアルトマン法およびスピアマンの順位相関係数を使用して、試験１サブセットにおける病理学者Ａと病理学者Ｂとの間の卵巣あたりの総ＣＬカウントの一致、ならびに病理学者（ＡおよびＣ）からの共評価と試験セットにおける訓練されたモデルとの間の一致を評価した。

【0099】

組織面積は、ＣＬカウントと直線的に相関があることが予想された。切片化レベルに関連して組織面積とＣＬカウントとの間の関係を評価するために、スピアマンの順位相関係数を、試験３の全てのレベルおよび各レベルからの組織面積とＣＬカウントとの間で計算した。面積がより小さい組織は、ＣＬがより少ない可能性が高いため、正規化のためにＣＬカウントを卵巣組織面積で除算した。クラスカル・ワリス検定を、全てのレベルからの正規化されたＣＬカウントの間ならびに試験３の全ての処理群および対照群からの正規化されたＣＬカウントの間で実施した。次に、全てのレベルから組織面積に対して正規化した平均ＣＬカウントをラットごとに計算した。試験３、４および５の処理群（低用量、中用量および高用量）と対照群との間の組織面積に正規化した平均ＣＬカウントを、それぞれウィルコクソン順位和検定を用いて比較した。画像分析および統計分析をＰｙｔｈｏｎによって行った。モデルを、Ｋｅｒａｓ／Ｔｅｎｓｏｒｆｌｏｗを使用して訓練した。訓練および推測は、単一のグラフィックス処理装置（Ｎｖｉｄｉａ、Ｐ６０００）を使用して実行した。
Ｖ．Ａ．６各毒性試験の詳細な試験プロトコル

【0100】

試験１：合計８０匹のラットを試験１に含めた。ラットを、２０対照群、低用量群、中用量群および高用量群に分け、化合物Ａを、それぞれ、２６週間、ビヒクル（逆浸透水中０．５％（ｗ／ｖ）ヒドロキシプロピルメチルセルロースおよび０．２％（ｗ／ｖ）ポリソルベート８０、ｐＨ３．０）中、０、１５、５０および１００（ｍｇ／ｋｇ／日）の用量レベルで、強制経口投与により１日２回投与した。

【0101】

試験２：合計１００匹の雌ラットを試験２に含めた。ラットを２つの終末群と２つの回復群とに分けた（ｎ＝２５ラット／群）。２つの終末群を、それぞれ１日２回の強制経口投与により、０および１００（ｍｇ／ｋｇ／日）のビヒクルおよびビヒクル中の化合物Ｂ（逆浸透水中０．５％（ｗ／ｖ）ヒドロキシプロピルメチルセルロースおよび０．２％（ｗ／ｖ）ポリソルベート８０）によって処理した。処理された終末群を、最終用量投与の５日後に未処理ラットと交配させた。共存期間の終了後、処理および未処理の雌ラットを、推定妊娠の１３日目に病理検査のために安楽死させた。同じ投与プロトコルを２つの回復群に適用し、回復群の処理ラットを最終用量投与後１５週間の回復後に未処理雄ラットと交配させた。共生期間後、雌を推定妊娠の１３日目に安楽死させた。

【0102】

試験３：７５匹のラットを試験３に含めた。ラットを対照、低、中、中－高、および高用量群に分割した（ｎ＝１５ラット／群）。化合物Ａを、それぞれ、１３週間、０、１０、１５、１５０および５００（ｍｇ／ｋｇ／日）の用量レベルで、経口胃管栄養法によって１日２回投与した。

【0103】

試験４：４０匹のラットを４つの群（ｎ＝１０ラット／群；対照、低、中および高用量群）に割り当てた。動物に、ビヒクル（１０％ポリエチレングリコール４００（ＰＥＧ）／１００ｍＭＮ－メチルグルカミン（ＮＭＧ）、ｐＨ８．５）またはビヒクル中の化合物Ｃのいずれかを、５０、１００または２００ｍｇの化合物Ｃ／ｋｇ体重（ｍｇ／ｋｇ）の用量レベルで、１３週間にわたって１日１回経口投与した。

【0104】

試験５：４０匹のラットを４つの群（ｎ＝１０ラット／群；対照、低、中および高用量群）に割り当てた。動物に、ビヒクル（注射用水（ｐＨ６．７±０．３）中０．５％（ｗ／ｖ）メチルセルロース（２０から３０ｃｐｓ）および０．２％（ｗ／ｖ）ポリソルベート８０）またはビヒクル中の化合物Ｄのいずれかを、１０、３０または１００ｍｇ／ｋｇ体重（ｍｇ／ｋｇ）の化合物Ｄの用量レベルで、４週間にわたって１日１回経口投与した。
Ｖ．Ａ．６分析された全体的な組織面積は、存在するＣＬの数に影響を与える

【0105】

方法を開発および試験する最初のステップは、組織中のＣＬを正確に識別するようにモデルを訓練することであった。図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄは、試験２、３、４および５からの複数のＣＬを含むかまたはＣＬを含まない代表的な画像を示している。ＣＬは、卵巣組織に存在する場合に正確に識別され、逆もまた同様であった。境界ボックスの上方の数字は、ボックス内に存在するＣＬの確率スコアを示している。（スケールバー：１ｍｍ）。ＣＬの存在は、代表的な画像において病理学者によって確認された。ＣＬを含む確率が５０％を超える領域に境界ボックスを描いた。次に、ＣＬカウントにおける訓練されたモデルの精度を定量化するために、訓練されたモデルを試験２に適用し、結果を試験１サブセットにおける病理学者間の変動と比較した。図６Ａは、試験１における２２４個の卵巣組織からのＣＬカウントの病理学者間変動（病理学者Ａと病理学者Ｂとの間）を評価するブランドアルトマンプロットを示している。図６Ｂは、病理学者（病理学者ＡおよびＣの双方によって検討された）と、１５５個の卵巣組織についての試験３におけるＣＬカウントの訓練されたモデルとの間の一致を評価するブランドアルトマンプロットである。試験２は、訓練プロセスにおいてモデルに対して盲検化される。ＣＬカウントの平均絶対差は、試験１のサブセットでは病理学者Ａと病理学者Ｂとの間で０．６４±０．０８８（平均および標準誤差）であり、ＣＬカウントの平均絶対差は、試験セットでは病理学者と訓練されたモデルとの間で０．５７±０．０９６であった。図６Ｃおよび図６Ｄは、試験１サブセットにおける病理学者Ａおよび病理学者ＢからのＣＬカウント、ならびに試験セットにおける病理学者および訓練されたモデルからのＣＬカウントの散布図をそれぞれ示している。破線赤色線は、９５％の一致限界を示している。実線赤色線は、病理学者Ａ対病理学者Ｂまたは病理学者（ＡおよびＣ）対モデルのＣＬカウントの平均差を示している。ドットサイズは、同一のＣＬカウント数をｌｏｇスケールで表したものである。黒色破線は、ＣＬカウントの完全な一致を示している。ＣＬカウントを、試験１サブセットの病理学者ＡおよびＢからの最大ＣＬカウント、ならびに可視化目的のためにそれぞれ試験セットの病理学者およびモデルからの最大ＣＬカウントで除算した。病理学者ＡとＢとの間のＣＬカウントは強い相関があり（Ｒ＝０．９９、ｐ＜＜０．０１）、病理学者と訓練されたＲｅｔｉｎａＮｅｔとの間のＣＬカウントも強い相関があった（Ｒ＝０．９７ｐ＜＜０．０１）。
Ｖ．Ａ．７分析された全体的な組織面積は、存在するＣＬの数に影響を与える

【0106】

卵巣のさらなる切片化が、（標準的な一枚のスライドと比較して）試験所見のＣＬ列挙数および全体的な解釈に影響を及ぼすかどうかに関する疑問に対処するために、１５０μｍ離れた６個の段階切片を評価に使用した。図７Ａは、試験３の全レベルからのＣＬカウントに対する卵巣組織面積の散布図を示している。全てのレベルの全てのＣＬカウントを使用すると、ＣＬカウントと卵巣組織面積との間に強い相関（Ｒ＝０．７３、ｐ＜＜０．０１）が観察され、評価された組織面積が少ないほど、存在するＣＬの数が少ないことを示した。各レベルにおいて、ＣＬカウントおよび卵巣組織面積も有意に相関があった（Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５およびＬ６について、それぞれ、Ｒ＝０．５７、０．５２、０．６４、０．７３、０．７５、０．７３、全てｐ＜＜０．０１）。ＣＬカウントは、各レベルにおいて組織面積と有意に相関があったため、組織面積によってＣＬカウントを正規化すると、組織面積の影響を軽減することができた。各レベルにおけるＣＬカウントおよび組織面積ならびに正規化ＣＬカウントの平均および標準誤差を表２にまとめた。

【0107】

表２は、試験３における各レベルでのＣＬカウントおよび組織面積の要約を示している。ＣＬカウント、組織面積および正規化ＣＬカウントの平均および標準誤差を計算した。切片化レベルがレベル１から６に変化したとき、ＣＬカウントおよび組織面積は、約５０％減少したが、正規化ＣＬカウントは、比較的同じままであった。（Ｎ＝７５個の卵巣切片）

【0108】

レベルが増加すると、ＣＬカウントおよび組織面積の双方が減少した。正規化されたＣＬカウントは、レベルが増加したときに比較的安定していた。図７Ｂは、異なるレベルの切片化において組織面積に対して正規化されたＣＬカウントを示している。クラスカル・ワリス検定から、全レベル間で組織面積に対する正規化ＣＬカウントに有意差は認められなかった。試験３における各レベルおよび各用量群のＣＬカウントと組織面積との関係を調査するために、全ての用量群の各レベルでのＣＬカウントおよび組織面積ならびに正規化ＣＬカウントの平均および標準誤差を表３に要約した。

【0109】

表３は、試験３における各用量群についての各レベルでのＣＬエンドポイントの要約である。ＣＬカウントエンドポイントの平均および標準誤差を計算した。ＣＬカウントおよび組織面積の双方は、レベルの増加と共に減少したが、正規化されたＣＬカウントは、各用量群について比較的同じままである。さらに、同じ切片化レベル内において、ＣＬカウントおよび組織面積は、毒性が全ての用量群について卵巣に示されなかった場合、比較的同じであった。同じ切片化レベルを維持することは困難であり得るため、正規化が推奨される。（Ｎ＝１５個の卵巣切片／用量群あたりのレベル）

【0110】

レベルが増加すると、ＣＬカウントおよび組織面積の双方が各用量群について減少した。全ての用量群間のＣＬカウントおよび組織面積は、各レベル内で同様の範囲であったが、正規化は、依然としてＣＬカウントに対する組織面積の影響を低減することができ、したがって推奨される。図７Ｃから、組織面積に対して正規化されたＣＬカウントは、全ての用量群について組織面積に対して正規化されたＣＬカウントが有意に異ならなかったことを示している。組織面積に対して正規化されたＣＬカウントは、未処理ＣＬカウントと比較して、異なるレベルおよび用量群にわたって比較的安定していた。
Ｖ．Ａ．８組織面積に対して正規化した場合、モデル生成ＣＬカウントは病理学者の試験解釈と一致する

【0111】

画像の病理学者の全体的な解釈および試験の結論に対する方法を試験するために、卵巣毒性所見を有する試験３に加えて、病理学者によってＣＬカウントの用量依存的変化が観察された２つの試験からの切片を使用した。図８Ａ、図８Ｂおよび図８Ｃは、試験３、４および５の対照群ならびに処理群のラットの組織面積に対して正規化した平均ＣＬカウントを示している。試験３では、化合物Ａを用いたラットについて卵巣毒性は識別されなかった（図８Ａを参照）。試験４では化合物Ｃ（図８Ｂを参照）および試験５では化合物Ｄ（図８Ｃを参照）によって処理したラットについて卵巣毒性を識別した。対照ラットは、試験４および５の双方において、処理ラットよりも組織面積に対して正規化されたＣＬカウントを有意に示したが、対照ラットおよび処理ラットの組織面積に対して正規化されたＣＬカウントは類似していた。さらに、１００ｍｇ／ｋｇ／日の用量群のラットは、１０ｍｇ／ｋｇ／日の用量群よりも有意に組織面積に正規化されたＣＬカウントを示した。Ｐ値をウィルコクソン順位和検定（＊：ｐ＜０．０５、＊＊：ｐ＜０．０１）から計算した。試験４および５における対照群の組織面積に対して正規化されたＣＬカウントは、双方とも、双方の試験において全ての処理群よりも有意に高かった（対照群を任意の処理群と比較した場合、ｐ＜＜０．０１）が、試験３では正規化されたＣＬカウントに有意差は観察されなかった（ｐ＝０．２７）。興味深いことに、図８Ｃでは、組織面積に対して正規化されたＣＬカウントは、試験５の高用量群と比較した場合、低用量群において有意に低かった（ｐ＜０．０５）。
ＶＩ．さらなる考察

【0112】

【0113】

【0114】

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

【0115】

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1】