IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ザ ブリガム アンド ウィメンズ ホスピタル インコーポレイテッドの特許一覧 ▶ ザ ジェネラル ホスピタル コーポレイションの特許一覧

特表2022-547900生殖補助手順に用いられる品質保証の評価指標の自動評価
<>
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図1
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図2
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図3
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図4
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図5
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図6
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図7
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図8
  • 特表-生殖補助手順に用いられる品質保証の評価指標の自動評価 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-16
(54)【発明の名称】生殖補助手順に用いられる品質保証の評価指標の自動評価
(51)【国際特許分類】
   G06V 20/69 20220101AFI20221109BHJP
   G06V 10/82 20220101ALI20221109BHJP
   G06T 7/00 20170101ALI20221109BHJP
【FI】
G06V20/69
G06V10/82
G06T7/00 630
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022514760
(86)(22)【出願日】2020-09-08
(85)【翻訳文提出日】2022-04-29
(86)【国際出願番号】 US2020049685
(87)【国際公開番号】W WO2021046521
(87)【国際公開日】2021-03-11
(31)【優先権主張番号】62/897,053
(32)【優先日】2019-09-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/897,049
(32)【優先日】2019-09-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/897,045
(32)【優先日】2019-09-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/897,043
(32)【優先日】2019-09-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
(71)【出願人】
【識別番号】503146324
【氏名又は名称】ザ ブリガム アンド ウィメンズ ホスピタル インコーポレイテッド
【氏名又は名称原語表記】The Brigham and Women’s Hospital, Inc.
(71)【出願人】
【識別番号】592017633
【氏名又は名称】ザ ジェネラル ホスピタル コーポレイション
(74)【代理人】
【識別番号】100128347
【弁理士】
【氏名又は名称】西内 盛二
(72)【発明者】
【氏名】シャフィイ,ハディ
(72)【発明者】
【氏名】ボーマン,チャールズ,エル.
(72)【発明者】
【氏名】カナカサバパシー,マノジュ,クマール
(72)【発明者】
【氏名】ティルマラジュ,プラディヴィ
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA13
5L096CA04
5L096DA02
5L096DA03
5L096FA69
5L096GA30
5L096GA51
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
【要約】
生殖細胞構造に品質パラメータを割り当てるためのシステム及び方法を提供する。生殖細胞構造の画像を取得する。生殖細胞構造の画像をニューラルネットワークに提供して、該生殖細胞構造の形態を表す値を生成する。該値を所定の基準と比較して、医療関係者、機関、成長培地、及び生殖細胞構造のアイデンティティのうちの1つを表す品質保証の評価指標を提供する。
【選択図】図5
【特許請求の範囲】
【請求項1】
生殖細胞構造に品質パラメータを割り当てる方法であって、
前記生殖細胞構造の画像を取得する工程と、
前記生殖細胞構造の画像をニューラルネットワークに提供して、前記生殖細胞構造の形態を表す値を生成する工程と、
前記値を所定の基準と比較して、医療関係者、機関、成長培地、及び前記生殖細胞構造のアイデンティティのうちの1つを表す品質保証の評価指標を提供する工程とを含む、方法。
【請求項2】
前記生殖細胞構造の画像は、第1時間にキャプチャされた前記生殖細胞構造の第1画像であり、
前記方法は、
前記第1時間よりも前の第2時間に前記生殖細胞構造の第2画像を取得する工程と、
前記生殖細胞構造の第2画像を前記ニューラルネットワークに提供して、前記所定の基準を生成する工程とをさらに含む、請求項1に記載の方法。
【請求項3】
前記品質保証の評価指標は、
ユニークキーが前記所定の基準とマッチングする場合に前記第1画像と前記第2画像が同一の生殖細胞構造を表すことを示す第1値と、
ユニークキーが前記所定の基準とマッチングしない場合に前記第1画像と前記第2画像が異なる生殖細胞構造を表すことを示す第2値と、を有するカテゴリ値である、請求項2に記載の方法。
【請求項4】
無線周波数識別(RFID)タグに前記所定の基準をコード化する工程と、
前記RFIDタグを前記生殖細胞構造を保存するディッシュに付ける工程とをさらに含む、請求項2に記載の方法。
【請求項5】
前記生殖細胞構造の画像を取得する工程は、前記生殖細胞構造を表す複数の画像を取得することを含み、
前記生殖細胞構造の画像をニューラルネットワークに提供する工程は、前記複数の画像のそれぞれを前記ニューラルネットワークに提供して、前記複数の生殖細胞構造の形態を表す複数の値を生成することを含む、請求項1に記載の方法。
【請求項6】
前記複数の生殖細胞構造の形態を表す複数の値から代表値を生成し、前記代表値を前記所定の基準と比較する工程をさらに含む、請求項5に記載の方法。
【請求項7】
前記生殖細胞構造は、胚であり、
前記代表値は、前記胚の移植が妊娠成功の結果に至る可能性を表す、請求項6に記載の方法。
【請求項8】
前記生殖細胞構造は、胚であり、
前記複数の画像のそれぞれは、発達の異なる日の胚を表す、請求項5に記載の方法。
【請求項9】
前記生殖細胞構造の画像を取得する工程は、複数の生殖細胞構造のそれぞれを表す複数の画像を取得することを含み、
前記生殖細胞構造の画像を前記ニューラルネットワークに提供する工程は、前記複数の画像のそれぞれを前記ニューラルネットワークに提供して、前記複数の生殖細胞構造の形態を表す複数の値を生成することを含む、請求項1に記載の方法。
【請求項10】
前記複数の生殖細胞構造のそれぞれは、胚であり、
前記複数の生殖細胞構造の形態を表す前記複数の値のそれぞれは、それぞれの胚の移植が妊娠成功の結果に至る可能性を表す、請求項9に記載の方法。
【請求項11】
前記複数の胚は、いずれも所与の成長培地で培養され、
前記代表値は、前記胚の移植が妊娠成功の結果に至ると予期される複数の胚のパーセンテージを表し、
前記所定の基準は、閾値パーセンテージであり、
前記方法は、
前記代表値が前記閾値パーセンテージを下回ると、ユーザに警告する工程をさらに含む、請求項10に記載の方法。
【請求項12】
前記複数の胚は、いずれも、所与の胎生学者により受精され、
前記代表値は、前記胚の移植が妊娠成功の結果に至ると予期される複数の胚のパーセンテージを表し、
前記所定の基準は、閾値パーセンテージであり、
前記代表値が前記閾値パーセンテージを下回ると、ユーザに警告する工程をさらに含む、請求項10に記載の方法。
【請求項13】
前記胚の画像をニューラルネットワークに提供する工程は、前記胚の画像を畳み込みニューラルネットワークに提供することを含む、請求項1に記載の方法。
【請求項14】
プロセッサと、
出力デバイスと、
品質保証の評価指標を胚に割り当てるためのマシン実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体とを含むシステムであって、
前記マシン実行可能命令は、
関連するイメージャから前記胚の画像を受信するイメージャインターフェースと、
前記胚の画像に基づき、前記胚が成功結果に至る可能性を表す値を決定する畳み込みニューラルネットワークと、
複数の胚に対する医療専門家、機関及び成長培地のうちの1つのパフォーマンスを表す値を算出し、前記値を閾値と比較して前記品質保証の評価指標を生成する品質分析コンポーネントと、
前記出力デバイスでユーザに前記品質保証の評価指標を表示するユーザインターフェースとを含む、システム。
【請求項15】
前記畳み込みニューラルネットワークは、前記胚が成功結果に至る可能性を表す値をカテゴリパラメータとして決定し、
前記品質分析コンポーネントは、前記胚が成功結果に至る可能性を表す値とする第1値が前記畳み込みニューラルネットワークにより割り当てられた複数の胚の、胚のパーセンテージとして、前記医療専門家、前記機関及び前記成長培地のうちの1つのパフォーマンスを表す値を決定する、請求項14に記載のシステム。
【請求項16】
前記畳み込みニューラルネットワークは、前記胚の移植後の妊娠成功の可能性を表す値を決定する、請求項14に記載のシステム。
【請求項17】
前記畳み込みニューラルネットワークは、発達の1日目の胚に対して撮影された複数の画像上で、前記成長培地のパフォーマンスを表す値を算出する前記品質分析コンポーネントにより訓練される、請求項14に記載のシステム。
【請求項18】
前記畳み込みニューラルネットワークは、発達の3日目の胚に対して撮影された複数の画像上で、前記医療専門家及び前記機関のうちの1つのパフォーマンスを表す値を算出する前記品質分析コンポーネントにより訓練される、請求項14に記載のシステム。
【請求項19】
プロセッサと、
出力デバイスと、
卵母細胞の品質を表す値を割り当てるためのマシン実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体とを含むシステムであって、
前記マシン実行可能命令は、
関連するイメージャから前記卵母細胞の画像を受信するイメージャインターフェースと、
前記卵母細胞の画像に基づき、前記卵母細胞の受精成功の可能性及び前記卵母細胞の極体の位置のうちの1つを表す値を決定する畳み込みニューラルネットワークと、
前記卵母細胞の受精成功の可能性及び前記卵母細胞の極体の位置のうちの1つを表す値を前記出力デバイスでユーザに表示するユーザインターフェースとを含む、システム。
【請求項20】
前記値は、前記卵母細胞の受精成功の可能性を表し、
前記畳み込みニューラルネットワークは、卵母細胞に対して撮影された複数の画像上で訓練され、
前記複数の画像のそれぞれは、授精から18時間後に決定された受精クラスがラベル付けされている、請求項19に記載のシステム。
【請求項21】
品質分析コンポーネントをさらに含み、
前記品質分析コンポーネントは、
複数の卵母細胞の受精成功の可能性を表す複数の値から予期される受精成功率を生成し、
前記予期される受精成功率に基づき、前記複数の卵母細胞に対する医療専門家及び機関のうちの1つのパフォーマンスを表す値を算出する、請求項19に記載のシステム。
【請求項22】
前記値は、前記卵母細胞の極体の位置を表し、
前記畳み込みニューラルネットワークは、卵母細胞に対して撮影された複数の画像上で訓練され、
前記複数の画像のそれぞれは、前記極体が位置する前記卵母細胞のセクションを表すクラスでラベル付けされている、請求項19に記載のシステム。
【請求項23】
プロセッサと、
出力デバイスと、
生殖細胞構造のアイデンティティを確認するためのマシン実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体とを含むシステムであって、
前記マシン実行可能命令は、
関連するイメージャから、第1時間に撮影された前記生殖細胞構造の第1画像と、第2時間に撮影された前記生殖細胞構造の第2画像とを受信するイメージャインターフェースと、
前記生殖細胞構造の第1画像から識別子キーと、前記第2画像から前記生殖細胞構造の形態を表す値とを生成するニューラルネットワークと、
前記生殖細胞構造の形態を表す値を前記識別子キーと比較して、前記生殖細胞構造が前記識別子キーに関連する患者に属するか否かを決定するアイデンティティ検証コンポーネントと、
前記生殖細胞構造が前記識別子キーに関連する患者に属するか否かの決定結果を、前記出力デバイスでユーザに表示するユーザインターフェースとを含む、システム。
【請求項24】
前記ニューラルネットワークは、畳み込みニューラルネットワークである、請求項23に記載のシステム。
【請求項25】
前記ニューラルネットワークは、敵対的生成ニューラルネットワークである、請求項23に記載のシステム。
【請求項26】
前記ニューラルネットワークは、グラフニューラルネットワークである、請求項23に記載のシステム。
【請求項27】
前記ニューラルネットワークは、オートエンコーダに基づくニューラルネットワークである、請求項23に記載のシステム。
【請求項28】
前記生殖細胞構造の第2画像は、前記胚の移植の直前に撮影された胚の画像である、請求項23に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
<関連出願>
本願は、2019年9月6日に提出された、発明の名称が「IVFの実践におけるエラー最小化のためのディープニューラルネットワークによる胚追跡及び標本識別システム(DEEP NEURAL NETWORK-ENABLED EMBRYO TRACKING AND SPECIMEN IDENTIFICATION SYSTEM FOR ERROR MINIMIZATION IN IVF PRACTICES)」である米国仮特許出願シリアル番号62/897,043と、2019年9月6日に提出された、発明の名称が「ディープラーニングによる受精と胚の等級付け技術を使用してICSIを施行する個々の胎生学者の自動品質評価(AUTOMATED QUALITY ASSESSMENT OF INDIVIDUAL EMBRYOLOGISTS PERFORMING ICSI USING DEEP LEARNING-ENABLED FERTILIZATION AND EMBRYO GRADING TECHNOLOGY)」である米国仮特許出願シリアル番号62/897,045と、2019年9月6日に提出された、発明の名称が「ディープラーニングに由来する重要業績評価指標(KPI)を使用したヒト胚培養条件の観測(MONITORING OF HUMAN EMBRYO CULTURE CONDITIONS USING A DEEP LEARNING-DERIVED KEY PERFORMANCE INDICATOR (KPI))」である米国仮特許出願シリアル番号62/897,049と、2019年9月6日に提出された、名称が「卵母細胞の形態学的品質に基づく受精のディープラーニングによる予測(DEEP LEARNING-ENABLED PREDICTION OF FERTILIZATION BASED ON OOCYTE MORPHOLOGICAL QUALITY)」である米国仮特許出願シリアル番号62/897,053とのそれぞれの優先権を主張している。これらの出願の全部内容は、いずれも引用により全体として本願に組み込まれている。
【0002】
本発明は、概ねに医療意思決定支援の分野に関し、具体的には、生殖補助手順に用いられる品質保証の評価指標(Metric)の自動評価に関する。
【背景技術】
【0003】
不妊症は、過小評価されているヘルスケアの問題であり、世界中で4,800万以上のカップルに影響を及ぼし、悩み、うつ病や差別の原因となっている。生殖補助技術(assisted reproductive technologies;ART)(例えば、体外受精(IVF))は、不妊の負担をある程度軽減したが、効率が極めて低く、米国では2015年に報告された平均成功率は26%であった。IVFは、依然として高価な解決手段であり、米国ではARTサイクル毎に7,000~20,000ドルの費用がかかるが、この費用は、一般的に保険の対象外である。さらに、多くの患者によって、妊娠を達成するために複数のIVFのサイクルが必要である。
【0004】
データ分析は、生殖補助手順に用いられる効果的な品質評価(QA)プログラムの重要な構成要件である。識別された重要業績評価指標(key performance indicator;KPI)の定期的なレビューは、適切なラボ機能を確保するために重要であり、そして、より重要なのは、潜在的な問題を確認してタイムリーな修正を可能にすることであるかもしれない。受精評価は、卵細胞質内精子注入法(ICSI)を施行する胎生学スタッフの習熟度を測定するための主要な評価項目である。しかしながら、これと比べて、ICSIからの胚の発達運命を追跡することにより、この手順がどの程度うまく実行されているかをより完全に把握できる。
【発明の概要】
【0005】
本発明の一態様によれば、生殖細胞構造に品質パラメータを割り当てるための方法を提供する。生殖細胞構造の画像を取得する。生殖細胞構造の画像をニューラルネットワークに提供して、生殖細胞構造の形態を表す値を生成する。該値を所定の基準と比較して、医療関係者、機関、成長培地及び生殖細胞構造のアイデンティティのうちの1つを表す品質保証の評価指標を提供する。
【0006】
本発明の別の一態様によれば、プロセッサと、出力デバイスと、品質保証の評価指標を胚に割り当てるためのマシン実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体とを含むシステムである。マシン実行可能命令は、関連するイメージャから胚の画像を受信するイメージャインターフェースと、胚の画像に基づき該胚の結果が成功になる可能性を表す値を決定する畳み込みニューラルネットワークと、を含む。また、品質分析コンポーネントは、複数の胚に対する医療専門家、機関及び成長培地のうちの1つのパフォーマンスを表す値を算出し、該値を閾値と比較して、品質保証の評価指標を生成する。ユーザインターフェースは、出力デバイスでユーザに品質保証の評価指標を表示する。
【0007】
本発明のさらなる一態様によれば、プロセッサと、出力デバイスと、卵母細胞の品質を表す値を割り当てるためのマシン実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体とを含むシステムである。マシン実行可能命令は、関連するイメージャから卵母細胞の画像を受信するイメージャインターフェースと、卵母細胞の画像に基づき卵母細胞の受精成功の可能性及び卵母細胞の極体の位置のうちの1つを表す値を決定する畳み込みニューラルネットワークとを含む。ユーザインターフェースは、出力デバイスでユーザに卵母細胞の受精成功の可能性を表す値を表示する。
【0008】
本発明の別の一態様によれば、プロセッサと、出力デバイスと、生殖細胞構造のアイデンティティを確認するためのマシン実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体とを含むシステムである。マシン実行可能命令は、関連するイメージャから第1時間に撮影された生殖細胞構造の第1画像と第2時間に撮影された生殖細胞構造の第2画像とを受信するイメージャインターフェースを含む。ニューラルネットワークは、生殖細胞構造の第1画像に基づき識別子キー(identifier key)を生成し、第2画像に基づき生殖細胞構造の形態を表す値を生成する。アイデンティティ検証コンポーネントは、生殖細胞構造の形態を表す値を識別子キーと比較して、生殖細胞構造が識別子キーに関連する患者に属するか否かを決定する。ユーザインターフェースは、出力デバイスでユーザに生殖細胞構造が識別子キーに関連する患者に属するか否かの決定を表示する。
【図面の簡単な説明】
【0009】
下記の図面を参照して行われる以下の説明を閲読することにより、本発明の前述した特徴及び他の特徴は、当業者にとって明らかになる。
【0010】
図1】生殖細胞構造に品質保証の評価指標を割り当てるためのシステムを示している。
【0011】
図2】胚に品質保証の評価指標を割り当てるためのシステムの例示的な一実施形態を提供する。
【0012】
図3】卵母細胞に品質指標を割り当てるためのシステムの例示的な一実施形態を提供する。
【0013】
図4】生殖細胞構造のアイデンティティを検証するためのシステムの例示的な一実施形態を示している。
【0014】
図5】生殖細胞構造に品質保証の評価指標を割り当てるための方法を示している。
【0015】
図6】胚に品質保証の評価指標を割り当てるための方法を示している。
【0016】
図7】卵母細胞の品質を表す値を割り当てるための方法を示している。
【0017】
図8】生殖細胞構造のアイデンティティを検証するための方法を示している。
【0018】
図9】本明細書で開示されるシステム及び方法の実施例を実施可能である、例示的なハードウェアコンポーネントのシステムを示している概略ブロック図である。
【発明を実施するための形態】
【0019】
本明細書で使用される「生殖細胞構造」とは、受精前又は受精後の卵母細胞を指す。したがって、当該用語は、患者又は被験者に移植する前の任意の発達段階における卵母細胞及び胚の両方を包含することを意図するように使用されている。
【0020】
本明細書で使用される「品質保証の評価指標」とは、生殖補助手順の過程中の一連の慣行との追従性(compliance)を表す連続値、序数値、又はカテゴリ値を指す。
【0021】
胚及び卵母細胞の評価に用いられる従来のコンピュータビジョン方法は、半自動的であり、胎生学者によるさらなる分析を必要とし、且つ厳密に制御された画像化システムを必要とする評価指標を提供する特定のパラメータの測定に限られている。生殖補助の過程中で機械学習方法を使用してシステムを開発する以前の試みにおいては、集中的な画像前処理と、その後に分類のために人間により実行される、特徴のセグメンテーションとが必要である。機械学習方法は、画像処理とセグメンテーションに依存しているため、このような方法は、コンピュータビジョン技術と同様な制限がある。
【0022】
ここで、我々は、臨床的に関連する発達段階での生殖細胞構造の分類を転移学習するために、大量の画像で事前訓練されたディープニューラルネットワークを採用することによって、この課題の解決に至った。生殖細胞構造の評価に用いられる従来のコンピュータ支援アルゴリズムとは異なり、本明細書で提供されるシステム及び方法は、胎生学者による支援なしに、ピクセルレベルでの自動的な特徴の選択及び分析を可能にする。一例では、畳み込みニューラルネットワークを応用することにより、形態学的に複雑な複数の生殖細胞構造の間の形状、構造、及びテクスチャの変化を識別する。このシステムは、複数の設備を使用してデータを収集することに起因する、画像の照度と品質の変化を回復することができる。
【0023】
図1は、生殖細胞構造に品質保証の評価指標を割り当てるためのシステム100を示している。システム100は、生殖細胞構造の画像を取得するイメージャ102を含む。例えば、イメージャ102は、適宜な光学素子と組み合わせて生殖細胞構造の画像を提供するための、可視光又は赤外線の範囲に画像を生成可能な1つ又は複数のカメラを含んでもよい。実際には、イメージャ102は、卵母細胞/胚の低速度(time-lapse)イメージングシステムの一部として、発達中の複数日に生殖細胞構造の画像をキャプチャするように実施されてもよい。一実施形態では、イメージャ102は、携帯機器のカメラとともに動作して生殖細胞構造の画像を提供するための、前記携帯機器の付属部材を含む。付属部材のハウジングは、82×34×48mmの寸法を有する、ポリ乳酸で3Dプリントされたものであってもよい。画像に適切な倍率を提供するために、アクリルレンズを前記ハウジングに含んでもよい。
【0024】
別の一実施形態では、イメージャ102は、ポリ乳酸で3Dプリントされた光学ハウジングを有する、全体の寸法が62×92×175mmであるスタンドアロンシステムとして実施されてもよい。該ハウジングには、白色発光ダイオード、3Vのバッテリー、及び単極双投スイッチを備えた電子回路が収容されている。生殖細胞構造は、画像拡大用の10倍のプランアクロマート対物レンズと画像データ収集用の相補型金属酸化物半導体(complementary metal-oxide-semiconductor;CMOS)画像センサで透照される。CMOSセンサは、シングルボードコンピュータに接続されて、キャプチャされた画像を処理してもよい。イメージャ102は、データ処理及び視覚化のために、無線接続(例えば、Wi-Fi、ブルートゥース、又は類似の接続)により携帯機器に接続されてもよい。
【0025】
イメージャ102で取得された1つ又は複数の画像は、生殖細胞構造の画像から生殖細胞構造の形態を表す少なくとも1つの出力値を算出するニューラルネットワーク104に提供される。例えば、前記出力値は、生殖細胞構造の形態に基づく生殖細胞構造の品質、又はその形態学的特徴に基づいて胚を識別するキーを表すことができる。なお、ニューラルネットワークは、非一時的なコンピュータ読み取り可能な媒体に記憶され、関連するプロセッサによって実行されるソフトウェア命令として実施されてもよい。一例では、ニューラルネットワーク104は、クラウドコンピューティングシステムで実施されてもよい。
【0026】
一実施形態では、ニューラルネットワーク104は、畳み込み層を含む順伝播型人工ニューラルネットワークである畳み込みニューラルネットワークであってもよい。前記畳み込み層は、ネットワークにおける前の層の値に畳み込みを効果的に応用して、画像内の各セットの特徴を強調する。畳み込み層の各ニューロンは、前の層のニューロンの適切なサブセット(「ニューロンの受容野」と呼ばれる。)にのみ接続される。図示の例では、畳み込みニューラルネットワークは、Xceptionアーキテクチャを使用して実施されている。一実施形態では、各ピクセルに関連する少なくとも1つの色度値(例えば、RGBカラーチャネル、YCrCbカラーチャネル、又はグレースケール明度の値)が、初期入力として畳み込みニューラルネットワークに提供される。
【0027】
別の一実施形態では、ニューラルネットワーク104は、回帰型ニューラルネットワークとして実施されてもよい。回帰型ニューラルネットワークにおいては、ネットワーク内のノード同士の間の接続が、シーケンスに沿って有向グラフを形成するように選択されて、動的な時間的挙動を示すことが可能になる。別の一実施形態において、ニューラルネットワーク104が、敵対的生成モデルにおける識別ネットワークとして実施、訓練されており、前記敵対的生成モデルにおいて、生成ニューラルネットワークと前記識別ネットワークが互いにフィードバックを提供することにより、前記生成ニューラルネットワークが、前記識別ネットワークによる分類試行のために、ますます複雑なサンプルを生成する。
【0028】
さらに別の一応用において、グラフニューラルネットワークを使用することができる。グラフニューラルネットワークは、グラフのノード同士の間で伝達されるメッセージを介してグラフの依存関係をキャプチャするコネクショニストモデルである。標準的なニューラルネットワークとは異なり、グラフニューラルネットワークは、任意の深さを有する近傍からの情報を表すことができる状態を保持する。グラフニューラルネットワークは、グラフ内のノード同士の間の関係をモデル化し、数値表現を生成することができる。さらなる一実施形態では、オートエンコーダによるニューラルネットワークを使用してもよい。オートエンコーダは、ニューラルネットワークに有用な形式で入力データを表させるようにニューラルネットワークを訓練する教師なし生成モデルである。一実施形態では、オートエンコーダは、出力層で入力層を再構築すると同時に、当該ネットワークの隠れ層でデータの代替表現を生成するように訓練される。
【0029】
本発明者らは、ニューラルネットワーク104を別のエキスパートシステム(図示せず)と組み合わせて使用することによって、ニューラルネットワーク104の予測能力を強化できることを発見した。実際には、サポートベクターマシン、ランダムフォレスト、自己組織化マップ、ファジー論理システム、データ融合プロセス、アンサンブル法、ルールベースのシステム、遺伝的アルゴリズム、及び人工ニューラルネットワークなどの、さまざまなエキスパートシステムのいずれかは、畳み込みニューラルネットワーク又は回帰型ニューラルネットワークと組み合わせて利用されてもよい。なお、追加のエキスパートシステムは、胚発達の複数の段階からの特徴、及び画像の外部特徴(例えば、卵子ドナー、精子ドナー、又は胚のレシピエントの生体認証パラメータ)によって訓練されてもよい。
【0030】
ニューラルネットワーク104からの出力値は、出力値を所定の基準と比較して品質保証の評価指標を提供する品質保証コンポーネント106に提供することができる。品質保証の評価指標は、例えば、卵母細胞の抽出と受精、及び移植の時点までの胚の培養における医療関係者、機関、及び成長培地のうちの1つのパフォーマンスを表すことができ、所定の基準は、生殖細胞構造の品質を表す。このように使用すると、前記品質保証の評価指標は、受精や妊娠成功などの測定結果の代替手段として使用されてもよく、前記測定結果を確認するためにかなりの追加時間がかかる可能性のある。なお、この場合、所与の医療関係者、機関、又は成長培地に品質保証の評価指標を提供するために、評価された複数の生殖細胞構造から記述統計データを生成してもよい。
【0031】
一実施形態では、ニューラルネットワーク104は、受精前に撮影された卵母細胞の複数の画像又は画像セットで訓練され、前記卵母細胞の複数の画像又は画像セットは、胚の正常な受精を表す第1クラス、又は胚の異常な受精を表す第2クラスに分類される。本願の目的のために、正常に受精した胚は、2つの前核を含む胚であり、異常に受精した胚は、他の数の前核を含む胚である。ニューラルネットワークの出力は、受精を「成功」又は「失敗」に規定するための閾値と比較できる、胚の品質を表す連続値であってもよい。したがって、この実施形態では、卵母細胞抽出手順を実施する胎生学者又は機関のパフォーマンスは、受精成功の結果に至ると予期される、抽出された卵母細胞のパーセンテージとして評価することができる。代替的に、前記ニューラルネットワークの出力を使用して、胎生学者又は機関が受精手順(例えば、卵細胞質内精子注入法(ICSI))を実行する際に予期される受精成功のパーセンテージを生成してもよく、前記品質保証の評価指標は、前記予期される値を胎生学者又は機関による実際の成功率と比較することによって決定してもよい。
【0032】
別の一実施形態では、ニューラルネットワーク104は、胚発達における選択された1つ又は複数の段階で撮影された胚の複数の画像又は画像セットで訓練され、前記胚の複数の画像又は画像セットは、妊娠成功を表すもの、又は妊娠成功を表さないものとして分類される。一例では、各胚は、胚の発達の3日目(例えば、受精から70時間後)に撮影された画像によって表される。当該ニューラルネットワークの出力は、受精を「成功」又は「失敗」に規定するための閾値と比較できる、胚の品質を表す連続値であってもよい。したがって、この実施形態では、受精手順を実行する胎生学者又は機関、又は胚を培養するために用いられる成長培地のパフォーマンスは、妊娠成功の結果に至ると予期される受精後の卵母細胞のパーセンテージとして評価されてもよい。代替的に、当該ニューラルネットワークの出力を使用して、胎生学者、機関、又は培地による胚を移植する際の予期される移植成功率を生成してもよく、前記品質評価指標は、前記予期される値を胎生学者、機関、又は培地による実際の成功率と比較することによって決定されてもよい。
【0033】
さらなる一実施形態では、ニューラルネットワーク104の出力は、生殖細胞構造の形態を表す特徴に基づいて、生殖細胞構造のアイデンティティを識別子キーとして表す。当該実施形態では、第1時間で撮影された生殖細胞構造の画像をニューラルネットワークに提供して第1識別子キーを生成することができ、そのとき、提供された識別子キーで生殖細胞構造を含むディッシュをラベル付けしてもいよい。ディッシュ中の胚のアイデンティティを確認することが望ましい場合(例えば、レシピエントの子宮に移す直前)、別の画像を収集して前記ニューラルネットワークに提供し、第2識別子キーを生成してもよい。前記2つのキーを比較して、胚が適切にラベル付けされているか否かを判断することができ、また、この情報は、前記品質保証の評価指標としてユーザに提供することができる。一例では、第1時間として、授精から113時間後であってもよく、第2時間として、授精から115時間後であってもよい。
【0034】
前記品質保証の評価指標、及び、生殖補助プロセスに関与する機関、医療専門家、又は培地の品質を保証するために関心可能な任意の関連値は、関連するユーザインターフェース108でユーザに提供するしてもよい。例えば、前記ユーザインターフェース108は、少なくとも、出力デバイス(例えば、ディスプレイ)と適切なソフトウェアとを含んでもよく、前記適切なソフトウェアは、非一時的媒体に記憶され、関連するプロセッサによって実行されるものであり、ニューラルネットワーク104の出力を受信して出力デバイスに表示するのに用いられる。一実施形態では、ユーザインターフェース108は、ニューラルネットワークと無線で通信する携帯機器を含んでもよい。
【0035】
図2は、胚に品質保証の評価指標を割り当てるためのシステム200の例示的な一実施形態を提供する。生殖補助技術の重要な方面は、ラボの胚培養条件である。体外受精(IVF)サイクルの臨床的成果は、おそらく、システム効率の最良の指標であり、妊娠継続率とともに胚の品質の最もロバストなマーカーを提供する。いくつかの初期発達段階マーカーは、培養条件を監視するために広く使用されているが、それらの臨床的成果との関連は不明である。同様に、データ分析は、IVF品質評価(QA)プログラムの重要な構成である。識別された重要業績評価指標(KPI)の定期的なレビューは、適切なラボ機能を確保するために重要であり、より重要なのは、潜在的な問題を確認してタイムリーな修正を可能にすることであるかもしれない。受精評価は、卵細胞質内精子注入法(ICSI)を施行する胎生学スタッフの習熟度を測定するための主要な評価項目である。しかしながら、これと比べて、ICSIからの胚の発達の運命を追跡することで、この手順がどの程度うまく実行されているかをより完全に把握できる。現在の品質評価では、受精状態と胚発達スコアを手動で検査して記録する必要がある。これらのプロセスは、労働集約的であり、本質的に非常に主観的である。さらに、特定の発達評価指標(例えば、妊娠評価項目の結果)は、深刻な遅延の後にのみ利用可能である。
【0036】
図示のシステム200は、手動の支援を必要とせずに、機関、人員、及びIVFラボ中の成長培地のKPIを監視するための代替方法として使用してもよい。当該システムは、発達中の胚の潜在的な移植能力の差を検出するために使用しても良い。胚の移植を正確に予測する能力により、培養条件と技術的熟練度の変動を検出して修正することを、妊娠評価項目の結果に依存する場合よりも、数週間早く実行することができる。図示の例では、品質保証の評価指標は、胚の形態学的特徴から予期される該胚の移植成功を表すカテゴリパラメータである。複数の胚の品質保証の評価指標を使用して、所与の医療専門家、成長培地、又は機関が胚の品質に与える影響を評価し、これらの要因のいずれかの欠陥の修正を可能にする。例えば、成長培地が高品質の胚を閾値より低いパーセンテージで提供している場合、前記成長培地を交換してもよい。受精手順(例えば、ICSI)を実行する胎生学者又は機関が、高品質の胚を閾値より低いパーセンテージで提供している場合、胎生学者又は機関の人員に、再訓練又は追加の指導を受けさせてもよい。
【0037】
この例では、システム200は、発達の3日目に各胚の画像を取得するイメージャ202を含む。しかしながら、胚の画像をキャプチャする具体的な時間は、所望の応用領域に応じて変化してもよく、いくつかの実施形態では、発達の様々な段階で複数の画像をキャプチャして、各胚の画像セットを提供する。例えば、一実施形態では、特に医療関係者又は機関の受精プロセス中のパフォーマンスにアクセスしている場合に、発達の初日にキャプチャされた画像を使用して胚を評価することができる。イメージャ202は、図1に示されるイメージャ102と類似した方式で実施されてもよい。イメージャ202でキャプチャされた画像は、胚分析システム210に提供することができる。
【0038】
胚分析システム210は、プロセッサ212と、ディスプレイなどの出力デバイス214と、医療専門家、機関、又は成長培地のパフォーマンスを表す品質保証の評価指標を提供するための実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体220とを含む。前記実行可能命令は、イメージャ202から画像を受信して分析のためにそれらを適切な形式で畳み込みニューラルネットワーク224に提供するイメージャインターフェース222を含む。
【0039】
一実施形態では、胚画像の訓練セットは、各胚と胚移植の既知の結果とを表す画像又は画像セットから生成し、畳み込みニューラルネットワーク224を訓練するために使用することができ、その結果、各画像の出力が、胚移植が成功した結果に至る可能性を表す重要業績評価指標の値である。図示の実施形態において、成功した結果は、妊娠成功であるが、いくつかの実施形態において成功した結果は、胚が胚盤胞へ発達したこと、又は胚が選択された発達時点(例えば、発達の5日目)に選択されたグレードを達成したことであってもよい。なお、各胚の特徴は、患者の生体認証パラメータなどの画像の外部の値と、畳み込みニューラルネットワーク224に提供される画像とを含むことができる。一例では、畳み込みニューラルネットワーク224によって出力される値は、妊娠成功の可能性を表す連続値、又は1つ又は複数の可能性の等級(range)を表すカテゴリ値であってもよい。例えば、前記重要業績評価指標は、移植後に妊娠が成功する可能性が高いことを示す第1値、及び妊娠が成功する可能性が低いことを示す第2値に設定することができるカテゴリパラメータとして表すことができる。
【0040】
畳み込みニューラルネットワーク224の出力は、医療専門家、機関、又は成長培地のパフォーマンスを評価する品質分析コンポーネント226に提供される。図示の例では、品質分析コンポーネント226は、定義されたウィンドウにわたる移動平均を維持し、前記移動平均は、定義されたウィンドウ内における全ての胚の重要業績評価指標の値の平均、又は畳み込みニューラルネットワークによって妊娠成功の結果に至る可能性が高いと示された胚のパーセンテージを表す。例えば、前記移動平均は、定義された期間又は生成された胚の定義された数にわたって維持されてもよい。品質分析コンポーネント226は、この移動平均を監視して、品質保証の評価指標を提供すべきであると定義された閾値を満たしているか否かを決定することができる。例えば、妊娠成功に対応すると予め定義された閾値は、50パーセントにすることができる。
【0041】
一例では、品質保証の評価指標は、移動平均が閾値を超えたときに第1値に設定し、移動平均が閾値を下回ったときに第2値に設定するカテゴリ値である。別の一例において、移動平均が閾値を下回ることが所定の時間にわたって持続するか、又は所定の移植回数に達するまでに、品質保証の値は、第1値を維持する。品質保証の評価指標及び他の関心値(例えば、移動平均)は、関連するユーザインターフェース228を介して出力デバイス214でユーザに提供することができる。一例では、品質保証の値が第1値から第2値に変化すると、ローカル又はワイドエリアネットワーク接続により警報を電子メール、SMSメッセージ、又は類似の通信手段としてユーザに提供することができる。
【0042】
図3は、卵母細胞に品質の評価指標を割り当てるためのシステム300の例示的な実施形態を提供する。卵母細胞の受精失敗は、男性と女性の両方の要因に関連している可能性がある。しかしながら、特定の女性、特に早発卵巣不全、卵巣予備能の低下、又は遺伝的病気のある女性にとって、健康な子供を出産するために利用可能な手段は、ドナーから卵子(以下、「ドナー卵子」とも呼ばれる。)を獲得することしかない。サイクルにドナー卵子を追加すると、患者の自己負担費用を大幅に増加してしまう。高い成功可能性を有する高品質の卵子を入手することにより、妊娠率を向上する可能性があるだけでなく、患者側の不確実性の低減に寄与する。現在、卵母細胞の品質を評価してその発達能力を予測できる客観的なシステムはない。図示のシステム300は、卵母細胞の潜在的な受精能力を正確に予測するために使用することができ、これにより、受精及び移植のための最高品質の卵母細胞の選択を可能にする。また、当該システム300は、機関又は胎生学者のパフォーマンスを、使用された卵母細胞に対して予測された潜在的な受精能力に基づき予期される成功率と比較することにより、受精プロセスにおける機関又は胎生学者のパフォーマンスを評価するために使用することもできる。図示の例において、システム300は、卵母細胞の形態学的特徴に基づき予期された卵母細胞の受精成功を表す連続パラメータを生成することができる。
【0043】
システム300は、受精前に各卵母細胞の画像を取得するイメージャ302を含む。イメージャ302は、図1に示されるイメージャ102と類似した方式で実施されてもよい。イメージャ302でキャプチャされた画像は、プロセッサ312と、出力デバイス314(例えば、ディスプレイ)と、卵母細胞の潜在的な受精能力を表す値を提供するための実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体320とを含む卵母細胞分析システム310に提供されてもよい。前記実行可能命令は、イメージャ302から画像を受信して分析のためにそれらを適切な形式で畳み込みニューラルネットワーク324に提供するイメージャインターフェース322を含む。
【0044】
一実施形態では、卵母細胞画像の訓練セットは、各卵母細胞と該卵母細胞の既知の受精結果とを表す1つ又は複数の画像から生成し、畳み込みニューラルネットワーク324を訓練するために使用してもよく、その結果、各画像の出力は、卵母細胞の受精が成功した結果に至る可能性を表す値である。図示の実施形態では、各訓練画像の受精結果は、授精から18時間後に確認される。なお、各胚の特徴は、画像の外部の値(例えば、卵母細胞ドナーの生体認証パラメータ)、及び畳み込みニューラルネットワーク324から抽出された特徴を含んでもよい。なお、畳み込みニューラルネットワーク324により出力された値は、受精成功の可能性を表す連続値、又は1つ又は複数の可能性の等級を表すカテゴリ値であってもよい。一例において、畳み込みニューラルネットワーク324によって出力される値は、受精成功の可能性が高いことを示す第1値と、受精成功の可能性が低いことを示す第2値に設定することができるカテゴリパラメータである。畳み込みニューラルネットワーク324の出力は、関連するユーザインターフェース326を介して出力デバイス314でユーザに提供される。
【0045】
別の一実施形態では、畳み込みニューラルネットワーク324の出力は、卵母細胞上の極体の位置を表すことができる。卵細胞質内精子注入法は、分裂中期(MII)の卵母細胞の整列、精子の選択と固定化、及び有糸分裂紡錘体に干渉しないように正確な位置への精子の注入を含む手順である。紡錘体は、押し出された極体付近に位置し、明視野顕微鏡を使用する場合に目視できない。そのため、極体の位置に基づいて卵母細胞を整列させ、目視可能な構造から90度で精子を注入することは、標準的な操作である。この実施形態では、畳み込みニューラルネットワークは、画像化された卵母細胞の別々のセクションを表すクラスでラベル付けされた極体の既知位置を持つ卵母細胞の複数の画像上で訓練される。一例では、12個のクラスが使用され、各クラスが、画像化された卵母細胞における30度のセクションを表す。新画像の畳み込みニューラルネットワークの出力は、極体が位置するセクションを表すクラスである。
【0046】
図4は、胚のアイデンティティを検証するためのシステム400の例示的な一実施形態を示している。電子目撃システム(Electronic Witnessing System)の使用は、追跡可能性を改善し、不正確な胚を患者に移植する事故を減らすため、IVFラボで推奨される操作である。このようなエラーの検出は困難であり、一般的に、主にカップルが自分とは明らかに異なる遺伝子構造を有する赤ちゃんを出産したときに明らかになる。そのため、実際のエラー数の推定は困難であり、このような生物学的サンプルの誤認は、診療所、診療所スタッフ、特に患者にとって壊滅的打撃になる可能性がある。IVFラボは、法定責任を懸念しており、目撃システムは、識別エラーを最小限に抑えるのに重要な役割を果たす。
【0047】
図示のシステム400は、マルチレベル追跡可能性システムを利用し、前記マルチレベル追跡可能性システムは、ハードウェアに基づく無線周波数識別(RFID)タグを、ソフトウェアに基づくディープ畳み込みニューラルネットワークと組み合わせて使用し、前記ソフトウェアに基づくディープ畳み込みニューラルネットワークは、患者の卵細胞及び胚の独特な形態学的特徴を認識する。この目的を達成するために、システム400は、発達の特定段階での生殖細胞構造の画像を取得するイメージャ402を含む。なお、生殖細胞構造の画像をキャプチャする具体的な時間は、所望の応用領域に応じて変化してもよく、いくつかの実施形態では、発達の様々な段階で複数の画像をキャプチャして、各生殖細胞構造に画像セットを提供する。イメージャ402は、図1に示されるイメージャ102と類似した方式で実施されてもよい。イメージャ402でキャプチャされた画像は、デジタル目撃システム410に提供することができる。
【0048】
デジタル目撃システム410は、プロセッサ412と、ディスプレイなどの出力デバイス414と、胚又は卵母細胞のアイデンティティを検証するための実行可能命令を記憶する非一時的なコンピュータ読み取り可能な媒体420とを含む。前記実行可能命令は、イメージャ402から画像を受信して分析のためにそれらを適切な形式でニューラルネットワーク424に提供するイメージャインターフェース422を含む。前記ニューラルネットワークは、例えば、畳み込みニューラルネットワーク、グラフニューラルネットワーク、オートエンコーダに基づくニューラルネットワーク、又は敵対的生成ニューラルネットワークとして実施されてもよい。一実施形態では、ニューラルネットワーク424は、画像セットで事前訓練されて提供された画像からの形態学的特徴を提供してもよく、これにより、胚又は卵母細胞の所与の画像に関連する出力が、胚又は卵母細胞の形態を表す識別子キーである。胚又は卵母細胞の形態は、発達のさまざまな期間にわたって安定であることが可能であり、これにより、第1時間に撮影された画像から生成された識別子キーは、第2時間に撮影された画像から生成された識別子キーとマッチングすると予想される。一例において、識別子キーは、所与の生殖細胞構造に対して第1時間に生成され、また、例えば、ディッシュに貼り付けられるRFIDタグ中に識別子キーをコード化することによって、該生殖細胞構造を収容するディッシュに付けられてもよい。
【0049】
アイデンティティ検証コンポーネント426は、2つの識別子キーを比較して、それらが同一の生殖細胞構造を表すか否かを確認する。一例において、第2識別子キーは、卵母細胞の受精直前又は胚を患者に移植する直前などの生殖補助プロセスの重要な時点に生成してもよい。アイデンティティ検証コンポーネント426は、第2識別子キーが第1識別子キーと同一の生殖細胞構造を表し、したがって第1識別子キーに関連する患者も表す可能性を表す品質保証の評価指標を生成することができる。一例において、前記品質保証の評価指標は、カテゴリ値であり、その中、第1値は、第1識別子キーと第2識別子キーとのマッチ成功を表し、第2値は、第1識別子キーと第2識別子キーとのマッチ失敗を表す。代替的に、品質保証の評価指標は、前記2つのキーが同一の胚を表す可能性を表す連続値であってもよい。品質保証の評価指標は、関連するユーザインターフェース428を介して出力デバイス414でユーザに提供することができる。一例において、品質保証の値が、生殖細胞構造が間違った患者に属すると誤認することを表す値にされると、ローカル又はワイドエリアネットワーク接続により警報を電子メール、SMSメッセージ、又は類似の通信手段としてユーザに提供することができる。
【0050】
上記説明した構造的及び機能的特徴を考慮して、本発明の様々な態様による方法は、図5図8を参照してよりよく理解される。説明を簡単にするために、図5図8の方法は、順次に実行するものとして示して説明するが、本発明によれば、いくつかの態様が、異なる順序で、及び/又は本明細書に示して説明する他の態様と同時に発生する可能性があるため、本発明は図示の順序に制限されないと理解される。さらに、本発明の一態様による方法を実施するために、図示されたすべての特徴が必要とされるわけではない。
【0051】
図5は、生殖細胞構造に品質保証の評価指標を割り当てる方法500を示している。502では、生殖細胞構造の画像を取得する。実際には、各生殖細胞構造は、生殖細胞構造の発達過程中のさまざまな時期に撮影された1つ又は複数の画像のセットで表されてもよく、前記時期として、例えば、受精前、胚発達の初日、胚発達の3日目、胚発達の5日目、及び胚移植の直前が挙げられる。通常、画像は、可視光顕微鏡により取得されるが、応用領域によっては、他の形式の画像化手段も利用可能である。
【0052】
504では、前記生殖細胞構造の画像をニューラルネットワークに提供して、生殖細胞構造の形態を表す値を生成する。一実施形態で、前記ニューラルネットワークは、畳み込みニューラルネットワークである。他の一実施形態で、前記ニューラルネットワークは、敵対的生成ニューラルネットワーク、グラフニューラルネットワーク、又はオートエンコーダに基づくニューラルネットワークであってもよい。いくつかの例で、502及び504の工程を繰り返して、複数の生殖細胞構造の形態を表すそれぞれの値を提供することができる。さらに、いくつかの実施例では、各生殖細胞構造に対して複数の画像からなるセットを取得して前記ニューラルネットワークに提供することができ、前記複数の画像からなるセットのうちの各画像は、発達の異なる段階での生殖細胞構造を表す。
【0053】
506では、複数の生殖細胞構造の形態を表す値を所定の基準と比較して、医療関係者、機関、成長培地、及び生殖細胞構造のアイデンティティのうちの1つを表す品質保証の評価指標を提供する。一例で、前記所定の基準は、画像が506で取得される前に生殖細胞構造の第2画像を取得し、該第2画像をニューラルネットワークに提供することにより決定され、該所定の基準を生殖細胞構造のための識別子キーとしてを提供する。次に、この識別子キーを無線周波数識別(RFID)タグにコード化して生殖細胞構造を保存しているディッシュに貼り付けても良い。一実施形態で、品質保証の評価指標は、ユニークキーが前記所定の基準とマッチングする場合に第1画像と第2画像が同一の生殖細胞構造を表すことを示す第1値と、ユニークキーが前記所定の基準とマッチングしない場合に第1画像と第2画像が異なる生殖細胞構造を表すことを示す第2値とを有するカテゴリ値である。
【0054】
別の一例では、複数の生殖細胞構造の形態を表す複数の値から代表値を生成し、該代表値を前記所定の基準と比較してもよい。一例で、複数の生殖細胞構造のそれぞれは、所与の胎生学者又は所与の機関により実施された受精プロセスの結果である胚であってもよく、所与の生殖細胞構造の形態を表す各値は、胚移植が妊娠成功の結果に至る可能性を表す。前記代表値は、妊娠成功の結果に至る可能性が高いと示された複数の胚のパーセンテージを表すことができ、品質保証の評価指標は、前記パーセンテージが閾値を超えたときに第1値に設定し、前記パーセンテージが閾値を下回ったときに第2値に設定してもよい。一例では、品質保証の評価指標が第1値から第2値に変化する時に、ユーザを変更することができる。
【0055】
同様に、複数の生殖細胞構造のそれぞれは、所与の成長培地で培養される胚であってもよく、所与の生殖細胞構造の形態を表す各値は、胚移植が妊娠成功の結果に至る可能性を表す。前記代表値は、妊娠成功の結果に至る可能性が高いと示された複数の胚のパーセンテージを表すことができ、品質保証の評価指標は、前記パーセンテージが閾値を超えたときに第1値に設定し、前記パーセンテージが閾値を下回ったときに第2値に設定するカテゴリ値であってもよい。一例では、品質保証の評価指標が第1値から第2値に変化するときにユーザを変更することができる。508では、ユーザに品質保証の評価指標を表示する。
【0056】
図6は、胚に品質保証の評価指標を割り当てる方法600を示している。602では、医療専門家、機関、又は成長培地のそれぞれに関連する複数の胚の複数の画像を取得する。例えば、前記複数の胚は、いずれも、所与の胎生学者又は所与の機関により受精されるか、又は同一の成長培地で培養されることができる。各胚は、胚の発達過程中の様々な時点で撮影された1つ又は複数の画像からなるセットにより表すことができ、前記時点として、例えば、胚発達の初日及び胚の3日目が挙げられる。通常、画像は可視光顕微鏡により取得されるが、応用領域によっては、他の形式の画像化手段も使用可能である。604では、複数の画像のそれぞれを畳み込みニューラルネットワークに提供して、胚が成功した結果に至る(例えば、胚盤胞までの発達、発達の5日目に特定のグレードの達成、又は移植後の妊娠成功)可能性をそれぞれ表す複数の値を生成する。いくつかの実施例では、各生殖細胞構造に対して複数の画像からなるセットを取得してニューラルネットワークに提供することができ、前記複数の画像からなるセットのうちの各画像は、発達の異なる段階での前記生殖細胞構造を表す。
【0057】
606では、医療専門家、機関、及び成長培地のうちの1つのパフォーマンスを表す値は、複数の胚について、前記胚が成功した結果に至る可能性を表す複数の値に基づき決定される。一例で、複数の値のそれぞれは、成功した結果に至る可能性の等級を表すカテゴリパラメータであり、所与のカテゴリを表す値のパーセンテージは、代表値として生成される。別の一例で、複数の値のそれぞれは、連続パラメータであり、前記代表値は、複数の値の平均(例えば、平均値又は中央値)である。608では、この値を閾値と比較して、品質保証の評価指標を生成する。例えば、品質保証の評価指標は、代表値が閾値を超えたときに第1値に設定し、代表値が閾値を下回ったときに第2値に設定してもよい。610では、出力デバイスでユーザに品質保証の評価指標を表示する。
【0058】
図7は、卵母細胞の品質を表す値を割り当てる方法700を示している。702では、関連するイメージャから卵母細胞の画像を取得する。通常、画像は、可視光顕微鏡により取得されるが、応用領域によっては、他の形式の画像化手段も使用可能である。704では、画像を畳み込みニューラルネットワークに提供し、前記畳み込みニューラルネットワークは、卵母細胞の画像から卵母細胞の受精成功の可能性を表す値を決定する。一例で、前記畳み込みニューラルネットワークは、既知の結果を有し、且つ授精から18時間後の卵母細胞の受精により得られた胚の受精状態でラベル付けされた卵母細胞の画像上で訓練される。706では、出力デバイスで卵母細胞の受精成功の可能性を表す値をユーザに表示する。
【0059】
図8は、生殖細胞構造のアイデンティティを検証する方法800を示している。802では、第1時間に生殖細胞構造の第1画像を取得する。実際に、各生殖細胞構造は、生殖細胞構造の発達過程中のさまざまな時点で撮影された1つ又は複数の画像からなるセットで表すことができ、前記時点として、例えば、受精前、胚発達の初日、胚発達の3日目、胚発達の5日目、及び胚移植の直前が挙げられる。804では、第1画像をニューラルネットワークに提供して、生殖細胞構造の形態を表す識別子キー(K)を提供する。一例で、ニューラルネットワークは、畳み込みニューラルネットワークである。別の一例で、ニューラルネットワークは、敵対的生成ニューラルネットワーク、グラフニューラルネットワーク、又はオートエンコーダに基づくニューラルネットワークである。
【0060】
806では、第2時間に生殖細胞構造の第2画像を取得する。808では、前記第2画像をニューラルネットワークに提供して、生殖細胞構造の形態を表す値(V)を提供する。810では、該値が前記識別子キーとマッチングするか否かを確認する。そうであれば(Y)、812では、生殖細胞構造が該識別子キーに関連する患者に属すると決定する。そうでなければ(N)、814では、生殖細胞構造が該識別子キーに関連する患者に属しておらず、エラーが発生した可能性が高いと決定する。
【0061】
図9は、図1図8に開示されるシステム及び方法の実例を実施可能である、ハードウェアコンポーネントからなる例示的なシステム900(例えば、図1に示される生殖細胞構造に品質保証の評価指標を割り当てるためのシステム)を示す概略ブロック図である。システム900は、様々なシステム及びサブシステムを含んでもよい。システム900は、パーソナルコンピュータ、ラップトップコンピュータ、ワークステーション、コンピュータシステム、アプライアンス、特定用途向け集積回路(application-specific integrated circuit;ASIC)、サーバ、サーバブレードセンター、又はサーバファームのうちのいずれかであってもよい。
【0062】
システム900は、システムバス902、処理ユニット904、システムメモリ906、メモリデバイス908及び910、通信インターフェース912(例えば、ネットワークインターフェース)、通信リンク914、ディスプレイ916(例えば、ビデオ画面)、及び入力デバイス918(例えば、キーボード及び/又はマウス)を含んでもよい。システムバス902は、処理ユニット904及びシステムメモリ906と通信することができる。付加のメモリデバイス908及び910も、システムバス902と通信することができ、前記メモリデバイス908及び910の例として、ハードディスクドライブ、サーバ、スタンドアロンデータベース、及び他の不揮発性メモリなどが挙げられる。システムバス902は、処理ユニット904、メモリデバイス906~910、通信インターフェース912、ディスプレイ916、及び入力デバイス918を相互接続する。いくつかの例において、システムバス902はまた、ユニバーサルシリアルバス(universal serial bus;USB)ポートなどの付加のポート(図示せず)を相互接続する。
【0063】
システム900は、コンピューティングクラウドに実施されてもよい。この場合、システム900の構成(例えば、処理ユニット904、通信インターフェース912、及びメモリデバイス908及び910)は、単一のハードウェアインスタンス、又はアプリケーション付きの複数のハードウェアインスタンスを代表し、前記アプリは、前記複数(すなわち、分散型)のハードウェアインスタンス(例えば、コンピュータ、ルータ、メモリ、プロセッサ、又はこれらの組み合わせ)で実行される。代替的に、システム900は、単一の専用サーバで実施されてもよい。
【0064】
処理ユニット904は、コンピューティングデバイスであってもよく、特定用途向け集積回路(ASIC)を含んでもよい。処理ユニット904は、本明細書に開示される実例の動作を実施するために命令セットを実行する。前記処理ユニットは、処理コアを含んでもよい。
【0065】
付加のメモリデバイス906、908、及び910は、データ、プログラム、命令、テキスト又はコンパイルされた形式のデータベースクエリ、及び、コンピュータを操作するために必要とされる他の任意の情報を記憶してもよい。メモリ906、908、及び910は、コンピュータ読み取り可能な媒体(統合式又はリムーバブル式)として実施されてもよく、前記コンピュータ読み取り可能な媒体の例として、メモリカード、ディスクドライブ、コンパクトディスク(CD)又はネットワークによりアクセス可能なサーバなどが挙げられる。一部の実例において、メモリ906、908、及び910は、テキスト、画像、ビデオ、及び/又はオーディオを含むことができ、その一部は、人間が理解可能なフォーマットで利用可能である。
【0066】
追加的又は代替的に、システム900は、システムバス902及び通信リンク914と通信可能な通信インターフェース912を介して、外部データソース又はクエリソースにアクセスすることができる。
【0067】
実施中に、システム900は、本発明にかかる生殖細胞構造に品質保証の評価指標を割り当てるためのシステムにおける1つ又は複数の部分を実施するために使用することができる。一部の実例によれば、品質保証システムを実施するためのコンピュータ実行可能ロジックは、システムメモリ906、並びにメモリデバイス908及び910のうちの1つ又は複数に存在する。処理ユニット904は、システムメモリ906ならびにメモリデバイス908及び910から由来する1つ又は複数のコンピュータ実行可能命令を実行する。なお、コンピュータ読み取り可能な媒体は、複数包含されてもよく、この場合、各コンピュータ読み取り可能な媒体は、前記処理ユニットに動作可能に接続される。
【0068】
本発明の実施形態を完全に理解させるために、上記の説明において各実施形態の具体的な細部を記載している。しかしながら、各実施形態は、これらの具体的な細部を有しなくても実施可能であると理解される。例えば、回路は、必須でない細部により実施形態を曖昧にしないために、ブロック図で示すことができる。他の場合、実施形態を曖昧にすることを回避するために、必須でない細部なしに、周知の回路、プロセス、アルゴリズム、構造、及び技術を示すことができる。
【0069】
上記の技術、ブロック、工程、及び手段の実施は、様々な方法で行うことができる。例えば、これらの技術、ブロック、工程、及び手段は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実施されてもよい。ハードウェア実施の場合、処理ユニットは、1つ又は複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(digital signal processor;DSP)、デジタル信号処理デバイス(digital signal processing device;DSPD)、プログラマブルロジックデバイス(programmable logic device;PLD)、フィールドプログラマブルゲートアレイ(field programmable gate array;FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、上記の機能を実行するように設計されたその他の電子ユニット、及び/又はこれらの組み合わせで実施されてもよい。
【0070】
また、各実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として示されるプロセスとして説明することができる。フローチャートでは操作を逐次プロセスとして説明することができるが、多くの操作を並行的又は同時に実行してもよい。さらに、操作の順序を再配置してもよい。プロセスは、その操作が完了すると終了するが、図に含まれていない追加の工程を含む可能性もある。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応可能である。プロセスが関数に対応する場合、その終了は、呼び出す関数又はメイン関数への関数の戻りに対応する。
【0071】
また、本発明による実施形態は、ハードウェア、ソフトウェア、スクリプト言語、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、及び/又はこれらの任意の組み合わせによって実施されてもよい。ソフトウェア、ファームウェア、ミドルウェア、スクリプト言語、及び/又はマイクロコードで実施される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体などの機械読み取り可能な媒体に記憶することができる。コードセグメント又はマシン実行可能命令は、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、スクリプト、又はクラスを表してもよく、命令、データ構造、及び/又はプログラムステートメントからなる群から選べれるものの任意の組み合わせを表してもよい。コードセグメントは、情報、データ、引数、パラメータ、及び/又はメモリ内容を送信及び/又は受信することによって、別のコードセグメント又はハードウェア回路に結合することができる。情報、引数、パラメータ、データなどは、任意の適切な手段を介して、送信、転送、又は伝送することができ、前記適切な手段として、メモリ共有、メッセージ送信、チケット送信、ネットワーク伝送などが挙げられる。
【0072】
ファームウェア及び/又はソフトウェア実施の場合、方法は、本明細書に記載の機能を実行するモジュール(例えば、手順、関数など)を用いて実施されてもよい。本明細書に記載の方法を実施する際に、命令を明白に実現する任意の機械読み取り可能な媒体を使用することができる。例えば、ソフトウェアコードはメモリに記憶されてもよい。メモリは、プロセッサ内又はプロセッサ外で実施されてもよい。本明細書で使用される場合、「メモリ」という用語は、長期や短期、及び揮発性や不揮発性のうちの任意のタイプの記憶媒体、又は他の記憶媒体を指し、メモリの特定タイプ若しくは特定数量、又はメモリが記憶される媒体の特定タイプに限定されない。
【0073】
さらに、本明細書で開示されるように、「記憶媒体」という用語は、データを記憶するための1つ又は複数のメモリを表すことができ、このようなメモリの例として、読み取り専用メモリ(read only memory;ROM)、ランダムアクセスメモリ(random access memory;RAM)、磁気RAM、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び/又は情報記憶のための他の機械読み取り可能な媒体が挙げられる。「コンピュータ読み取り可能な媒体」及び「機械読み取り可能な媒体」という用語は、携帯式又は固定式の記憶デバイス、光学記憶デバイス、無線チャネル、及び/又は、命令及び/又はデータを記憶する(含む又は持つ)ことが可能である、他の様々な記憶媒体を含むが、これらに限定されない。なお、「コンピュータ読み取り可能な媒体」又は「機械読み取り可能な媒体」は、複数の媒体を含んでもよく、前記複数の媒体は、いずれも、処理ユニットに動作可能に接続される。
【0074】
上記に記載されたのは例示的なものである。もちろん、構成要件又は方法の考えられるすべての組み合わせを説明することは不可能であるが、当業者であれば、さらに多くの組み合わせ及び順列を認識可能であると理解される。したがって、本開示は、添付の特許請求の範囲を含む本願の範囲内に収まるこのようなすべての代替、修正、及び変更を包含することを意図している。本明細書で使用される場合、「含む」という用語は、関連要素を含むがそれに限定されないと意味する。「基づく」という用語は、少なくとも部分的に基づくと意味する。さらに、本開示又は請求項において「一」、「1つ」、「第1」、「別の一」、または類似の表現により列挙する場合、1つ又は複数の関連要素を含むと解釈するべきであり、2つ以上の関連要素の要求も除外もしない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
【手続補正書】
【提出日】2022-05-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
生殖細胞構造に品質パラメータを割り当てる方法であって、
前記生殖細胞構造の画像を取得する工程と、
前記生殖細胞構造の画像をニューラルネットワークに提供して、前記生殖細胞構造の形態を表す値を生成する工程と、
前記値を所定の基準と比較して、医療関係者、機関、成長培地、及び前記生殖細胞構造のアイデンティティのうちの1つを表す品質保証の評価指標を提供する工程とを含む、方法。
【請求項2】
前記生殖細胞構造の画像は、第1時間にキャプチャされた前記生殖細胞構造の第1画像であり、
前記方法は、
前記第1時間よりも前の第2時間に前記生殖細胞構造の第2画像を取得する工程と、
前記生殖細胞構造の第2画像を前記ニューラルネットワークに提供して、前記所定の基準を生成する工程とをさらに含み、
前記品質保証の評価指標は、
ユニークキーが前記所定の基準とマッチングする場合に前記第1画像と前記第2画像が同一の生殖細胞構造を表すことを示す第1値と、
ユニークキーが前記所定の基準とマッチングしない場合に前記第1画像と前記第2画像が異なる生殖細胞構造を表すことを示す第2値と、を有するカテゴリ値である、請求項1に記載の方法。
【請求項3】
無線周波数識別(RFID)タグに前記所定の基準をコード化する工程と、
前記RFIDタグを前記生殖細胞構造を保存するディッシュに付ける工程とをさらに含む、請求項2に記載の方法。
【請求項4】
前記生殖細胞構造の画像を取得する工程は、複数の生殖細胞構造のそれぞれを表す複数の画像を取得することを含み、
前記生殖細胞構造の画像を前記ニューラルネットワークに提供する工程は、前記複数の画像のそれぞれを前記ニューラルネットワークに提供して、前記複数の生殖細胞構造の形態を表す複数の値を生成することを含み、
前記複数の生殖細胞構造は、いずれも胚であり、
前記複数の生殖細胞構造の形態を表す複数の値のそれぞれは、それぞれの胚の移植が妊娠成功の結果に至る可能性を表す、請求項1に記載の方法。
【請求項5】
前記複数の胚は、いずれも所与の成長培地で培養され、
前記代表値は、前記胚の移植が妊娠成功の結果に至ると予期される複数の胚のパーセンテージを表し、
前記所定の基準は、閾値パーセンテージであり、
前記方法は、
前記代表値が前記閾値パーセンテージを下回ると、ユーザに警告する工程をさらに含む、請求項に記載の方法。
【請求項6】
前記複数の胚は、いずれも、所与の胎生学者により受精され、
前記代表値は、前記胚の移植が妊娠成功の結果に至ると予期される複数の胚のパーセンテージを表し、
前記所定の基準は、閾値パーセンテージであり、
前記代表値が前記閾値パーセンテージを下回ると、ユーザに警告する工程をさらに含む、請求項に記載の方法。
【請求項7】
前記生殖細胞構造は、卵母細胞であり、
前記ニューラルネットワークは、前記卵母細胞の画像に基づき、前記卵母細胞のの極体の位置を表す値、及び前記卵母細胞の受精成功の可能性を表す値のうちの一つを決定する、請求項1に記載の方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正の内容】
【0037】
この例では、システム200は、発達の3日目に各胚の画像を取得するイメージャ202を含む。しかしながら、胚の画像をキャプチャする具体的な時間は、所望の応用領域に応じて変化してもよく、いくつかの実施形態では、発達の様々な段階で複数の画像をキャプチャして、各胚の画像セットを提供する。例えば、一実施形態では、特に医療関係者又は機関の受精プロセス中のパフォーマンスを評価する場合に、発達の初日にキャプチャされた画像を使用して胚を評価することができる。イメージャ202は、図1に示されるイメージャ102と類似した方式で実施されてもよい。イメージャ202でキャプチャされた画像は、胚分析システム210に提供することができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0054
【補正方法】変更
【補正の内容】
【0054】
別の一例では、複数の生殖細胞構造の形態を表す複数の値から代表値を生成し、該代表値を前記所定の基準と比較してもよい。一例で、複数の生殖細胞構造のそれぞれは、所与の胎生学者又は所与の機関により実施された受精プロセスの結果である胚であってもよく、所与の生殖細胞構造の形態を表す各値は、胚移植が妊娠成功の結果に至る可能性を表す。前記代表値は、妊娠成功の結果に至る可能性が高いと示された複数の胚のパーセンテージを表すことができ、品質保証の評価指標は、前記パーセンテージが閾値を超えたときに第1値に設定し、前記パーセンテージが閾値を下回ったときに第2値に設定してもよい。一例では、品質保証の評価指標が第1値から第2値に変化する時に、ユーザに警報を送信することができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0055
【補正方法】変更
【補正の内容】
【0055】
同様に、複数の生殖細胞構造のそれぞれは、所与の成長培地で培養される胚であってもよく、所与の生殖細胞構造の形態を表す各値は、胚移植が妊娠成功の結果に至る可能性を表す。前記代表値は、妊娠成功の結果に至る可能性が高いと示された複数の胚のパーセンテージを表すことができ、品質保証の評価指標は、前記パーセンテージが閾値を超えたときに第1値に設定し、前記パーセンテージが閾値を下回ったときに第2値に設定するカテゴリ値であってもよい。一例では、品質保証の評価指標が第1値から第2値に変化するときにユーザに警報を送信することができる。508では、ユーザに品質保証の評価指標を表示する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0056
【補正方法】変更
【補正の内容】
【0056】
図6は、胚に品質保証の評価指標を割り当てる方法600を示している。602では、医療専門家、機関、又は成長培地のそれぞれに関連する複数の胚の複数の画像を取得する。例えば、前記複数の胚は、いずれも、所与の胎生学者又は所与の機関により受精されるか、又は同一の成長培地で培養されることができる。各胚は、胚の発達過程中の様々な時点で撮影された1つ又は複数の画像からなるセットにより表すことができ、前記時点として、例えば、胚発達の初日及び胚発達の3日目が挙げられる。通常、画像は可視光顕微鏡により取得されるが、応用領域によっては、他の形式の画像化手段も使用可能である。604では、複数の画像のそれぞれを畳み込みニューラルネットワークに提供して、胚が成功した結果に至る(例えば、胚盤胞までの発達、発達の5日目に特定のグレードの達成、又は移植後の妊娠成功)可能性をそれぞれ表す複数の値を生成する。いくつかの実施例では、各生殖細胞構造に対して複数の画像からなるセットを取得してニューラルネットワークに提供することができ、前記複数の画像からなるセットのうちの各画像は、発達の異なる段階での前記生殖細胞構造を表す。
【手続補正6】
【補正対象書類名】図面
【補正対象項目名】図1
【補正方法】変更
【補正の内容】
図1
【手続補正7】
【補正対象書類名】図面
【補正対象項目名】図8
【補正方法】変更
【補正の内容】
図8
【国際調査報告】