IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エーアイブイエフ リミテッドの特許一覧

特許7592602体外受精着床の成功の予測因子を識別するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-22
(45)【発行日】2024-12-02
(54)【発明の名称】体外受精着床の成功の予測因子を識別するためのシステム及び方法
(51)【国際特許分類】
   G01N 33/483 20060101AFI20241125BHJP
   G06T 7/00 20170101ALI20241125BHJP
   C12M 1/34 20060101ALI20241125BHJP
   C12N 5/073 20100101ALI20241125BHJP
【FI】
G01N33/483 C
G06T7/00 630
C12M1/34 D
C12M1/34 B
C12N5/073
【請求項の数】 13
(21)【出願番号】P 2021541325
(86)(22)【出願日】2019-09-20
(65)【公表番号】
(43)【公表日】2022-01-11
(86)【国際出願番号】 IB2019057982
(87)【国際公開番号】W WO2020058931
(87)【国際公開日】2020-03-26
【審査請求日】2022-09-09
(31)【優先権主張番号】62/733,663
(32)【優先日】2018-09-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521120584
【氏名又は名称】エーアイブイエフ リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】マーダー ギルボア、ダニエラ
(72)【発明者】
【氏名】マオール、ロン ウリエル
(72)【発明者】
【氏名】ウェイナー、ロン
(72)【発明者】
【氏名】シードマン、ダニエル エス.
【審査官】草川 貴史
(56)【参考文献】
【文献】特表2013-502233(JP,A)
【文献】ALISON Campbell 他5名,Retrospective analysis of outcomes after IVF using an aneuploidy risk model derived from time-lapse imaging without PGS,Reproductive BioMedicine Online,2013年,Vol.27,No.2,Page.140-146,PMID: 23683847,DOI: 10.1016/j.rbmo.2013.04.013
【文献】KHAN AISHA SAJJAD,Automated Monitoring of Early Stage Human Embryonic Cells in Time-lapse Microscopy Images,A thesis submitted for the degree of Doctor of Philosophy at the Australian National University,2016年09月09日
【文献】SUJATA N Patil 他4名,Deep Learning Techniques for Automatic Classification and Analysis of Human in Vitro Fertilized (IVF) embryos.,Journal of Emerging Technologies and Innovative Research,2018年,Vol.5, No.2,Page.100-106,https://www.jetir.org/papers/JETIR1802014.pdf
(58)【調査した分野】(Int.Cl.,DB名)
G01N 33/48-33/98
G06T 7/00-7/90
C12M 1/00-3/00
C12N 1/00-7/08
G06V 10/00-20/90
(57)【特許請求の範囲】
【請求項1】
体外受精(IVF)着床の成功の予測因子を識別するためのシステムであって、
メモリと、
プロセッサと、を備え、前記プロセッサが、
(a)着床に成功すると認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第1シーケンスを取得し、
(b)着床に成功しないと認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第2シーケンスを取得し、
(c)タイムスタンプ付き画像の前記第1シーケンスを、タイムスタンプ付き画像の前記第2シーケンスにコンピュータ処理上で整列させて、タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとの発生時間を一致させ、
(d)タイムスタンプ付き画像の前記第1シーケンスと前記第2シーケンスとの各画像をコンピュータ処理して、着床に成功する胚の固有の特徴を、IVF着床に成功する予測因子として使用するために識別して追跡する
ように構成され、
前記胚の固有の特徴は、タイムスタンプ付き画像の前記第1シーケンス及びタイムスタンプ付き画像の前記第2シーケンスに表れた、前記胚におけるオブジェクト、テキスチャ、色、又は形状のうちの少なくとも1つを含み、
前記固有の特徴を識別して追跡することが、
前記画像内の各ピクセル又はピクセル群に対する複数の対数尤度比を決定し、前記複数の対数尤度比のそれぞれは前記固有の特徴の異なる特性に関するものであり、
ターゲット領域内の前記ピクセルの前記複数の対数尤度比に基づいて、前記画像のターゲット領域に対する信頼値を決定し、前記信頼値は前記固有の特徴が前記画像の前記ターゲット領域によって表されるか否かを示すこと
を含む、システム。
【請求項2】
(c)は、タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとにおける胚の特定の発生段階を示す特徴を識別し、前記発生段階を示す特徴に基づいて共通の発生時間を設定することにより実行される、請求項1に記載のシステム。
【請求項3】
タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとはビデオシーケンスである、請求項1に記載のシステム。
【請求項4】
タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとはタイムラプスシーケンスである、請求項1に記載のシステム。
【請求項5】
前記固有の特徴は、(i)前記固有の特徴の形態、(ii)前記固有の特徴の発現時間、(iii)前記固有の特徴の消滅時間、(iv)前記固有の特徴の経時的な形態変化の大きさ、(v)前記固有の特徴の発現時間の長さ、(vi)前記固有の特徴の形態変化時間の長さ、及び(vii)前記固有の特徴と遺伝マーカーとの関連性、によって特徴づけられる、請求項1に記載のシステム。
【請求項6】
前記プロセッサは、(d)の前に、タイムスタンプ付き画像の前記第1シーケンスと前記第2シーケンスとの各画像を修正するように更に構成される、請求項1に記載のシステム。
【請求項7】
前記修正は、カラーシフティング、カラーフィルタリング、エンボス加工からなる群から選択される、請求項6に記載のシステム。
【請求項8】
体外受精(IVF)着床に成功する予測因子を識別する方法であって、
(a)着床に成功すると認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第1シーケンスを取得し、
(b)着床に成功しないと認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第2シーケンスを取得し、
(c)タイムスタンプ付き画像の前記第1シーケンスをタイムスタンプ付き画像の前記第2シーケンスにコンピュータ処理上で整列させて、タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとの発生時間を一致させ、
(d)タイムスタンプ付き画像の前記第1シーケンスと前記第2シーケンスとの各画像をコンピュータ処理して、着床に成功する胚の固有の特徴を、IVF着床に成功する予測因子として使用するために識別して追跡する
ことを含み、
前記胚の固有の特徴は、タイムスタンプ付き画像の前記第1シーケンス及びタイムスタンプ付き画像の前記第2シーケンスに表れた、前記胚におけるオブジェクト、テキスチャ、色、又は形状のうちの少なくとも1つを含み、
前記固有の特徴を識別して追跡することが、
前記画像内の各ピクセル又はピクセル群に対する複数の対数尤度比を決定し、前記複数の対数尤度比のそれぞれは前記固有の特徴の異なる特性に関するものであり、
ターゲット領域内の前記ピクセルの前記複数の対数尤度比に基づいて、前記画像のターゲット領域に対する信頼値を決定し、前記信頼値は前記固有の特徴が前記画像の前記ターゲット領域によって表されるか否かを示すこと
を含む、方法。
【請求項9】
(c)は、タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとにおける胚の特定の発生段階を示す特徴を識別し、前記発生段階を示す特徴に基づいて共通の発生時間を設定することにより実行される、請求項8に記載の方法。
【請求項10】
タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとはビデオシーケンスである、請求項8に記載の方法。
【請求項11】
タイムスタンプ付き画像の前記第1シーケンスとタイムスタンプ付き画像の前記第2シーケンスとはタイムラプスシーケンスである、請求項8に記載の方法。
【請求項12】
前記固有の特徴は、(i)前記固有の特徴の形態、(ii)前記固有の特徴の発現時間、(iii)前記固有の特徴の消滅時間、(iv)前記固有の特徴の経時的な形態変化の大きさ、(v)前記固有の特徴の発現時間の長さ、(vi)前記固有の特徴の形態変化時間の長さ、及び(vii)前記固有の特徴と遺伝マーカーとの関連性、によって特徴づけられる、請求項8に記載の方法。
【請求項13】
(d)の前に、タイムスタンプ付き画像の前記第1シーケンスと前記第2シーケンスとの各画像を修正することを更に含む、請求項8に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像特徴の検出方法及びシステムに関する。いくつかの実施例において、本システム及び方法は、体外胚の形態変化又は形態動態学的パラメータの認識に使用可能である。ただし、本システムおよび方法の態様は広範囲に適用可能である。
【背景技術】
【0002】
コンピュータビジョンの分野は、コンピュータが画像や映像から詳細な情報を取得できるようにする技術及び手法の開発に関する。この分野の1つは「特徴検出」に関し、そこでは画像処理が画像又は映像の特定の特徴又は特性の識別に使用される。近年、画像内の特徴の有無又はその特性を識別するための多くの画像処理技術が開発されてきた。
【0003】
現在では、既存の画像解析法は機械学習アルゴリズム及び人工ニューラルネットワークを活用することが多い。これらの手法は、その一部に対象とする特徴が含まれた多量の画像サンプルでのシステムの「トレーニング」に依存する。画像がその特徴を含むか否かの知識をシステムに与えることによって、システムは、将来の「未学習」の画像内の特徴の識別の仕方を「学習」する。一般的に、トレーニング段階で提供されるサンプルが多いほど、後続する画像内での特徴の存在予測におけるシステムの信頼性は高くなる。
【0004】
これらの機械学習技術は広く使用されているが、いくつかの欠点も有する。第1に、トレーニング過程は、信頼性のある結果を得るためには多量のサンプルを必要とするため、長時間を要し、かつ計算集約的であることが多い。これはまた、システムを初めて使用する前に多くのサンプルが利用可能である必要がある。ただし、新しい研究分野や、サンプルに簡単にアクセスできない領域においては、必ずしもそうでない場合がある。
【0005】
第2に、これらの方法は、特徴が微妙であるか又は明確に画定されないような環境におけるエッジ検出法などのプロセスで苦労することが多い。例えば、今日の多くの手法では画像内の犬の存在を識別して強調表示することは容易であり得るが、その同じアルゴリズムでは、その特徴の境界が同じように明確には定義されないために蒸気や煙の存在又は位置の把握には苦労することがある。機械学習アルゴリズムが、そのための学習をすることは可能であるが、そのトレーニングには非現実的なほどの膨大なサンプルの画像を必要とする可能性が高い。
【0006】
このような問題が頻出する適用分野の一例が体外受精(IVF)のスクリーニングである。この手順においては、着床過程の間及びその後の成功確率を決定するために、着床前に受精した胚の画像が解析される。これは、機械学習のトレーニングを行うために、十分に多数の成功及び不成功のサンプル胚画像を入手することが必ずしも可能ではない領域である。さらに、画像内で識別されるべき特徴(例えば前核)は、熟練の観察者(すなわち胚培養士)でさえも判別が非常に困難なことが多く、その外観が大きく変動する可能性がある。このことは、アルゴリズムを信頼性のある基準にまでトレーニングするためにはさらに多くのサンプルを必要とすることを意味する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、画像における特徴検出の改善されたシステムおよび方法を提供しようとするものである。
【課題を解決するための手段】
【0008】
本発明は添付の特許請求の範囲による、画像内の特徴を識別するための方法及びシステムを提供する。
【0009】
本発明の一態様によれば、画像の特徴を識別する方法が提供され、この方法は、画像内の各ピクセル又はピクセル群に対する複数の特性値を決定し、複数の特性値のそれぞれは特徴の異なる特性に関するものであり、ターゲット領域内のピクセルの複数の特性値を基に、画像のターゲット領域に対する信頼値を決定し、信頼値は特徴が画像のターゲット領域によって表されるか否かを示すこと、を含む。
【0010】
特性値は、ピクセル又はピクセル群がそれぞれの特性を含むか否かの確率に関するものであってよい。
【0011】
複数の特性値を決定することは、ピクセル又はピクセル群に対する各特性の対数尤度比を決定することを含んでよい。
【0012】
対数尤度比はピクセル又はピクセル群と背景領域とに基づいて決定されてよい。
【0013】
複数の特性値の1つ以上は、ピクセル又はピクセル群と背景領域との間のコントラストのレベルに関係してよい。
【0014】
特性値が関係する異なる特性は、特徴の境界領域、特徴の高コントラスト部分、特徴の粗さ、及び特徴の滑らかさ、のうちの1つ以上に対応してよい。
【0015】
背景領域は、特徴値が関係する前記特徴に基づいて選択されてよい。
【0016】
複数の特性値の1つ以上は、ピクセル又はピクセル群の、背景領域に対する相対的な明るさ又は暗さに関係してよい。
【0017】
背景領域はピクセル又はピクセル群の隣接ピクセルに限定されてもよい。
【0018】
隣接ピクセルはピクセル又はピクセル群の上又は下にのみ位置してもよい。
【0019】
複数の特性値のそれぞれは、特徴に関して位置特有のものであってよい。
【0020】
ターゲット領域に対する信頼値を決定することは、ターゲット領域に対する、各ピクセル又はピクセル群の位置を決定し、位置に基づいて各ピクセル又はピクセル群に適用される特性値を選択し、ピクセル又はピクセル群に対する選択された特性値を用いて信頼値を決定すること、を含んでよい。
【0021】
信頼値を決定することは、ターゲット領域の外にあるピクセルの特性値を減算することを更に含んでよい。
【0022】
本方法は、複数の異なるターゲット領域の信頼値を取得することを更に含んでよい。
【0023】
異なるターゲット領域は、位置、サイズ、形状の1つ以上によって区別されてよい。
【0024】
ターゲット領域は特徴に対応する形状を有してよい。
【0025】
ターゲット領域は丸くてもよい。
【0026】
画像はサンプルの画像であってもよい。本方法は、サンプルの異なる画像の対応するターゲット領域に対する信頼値を決定することを更に含んでよい。
【0027】
異なる画像は異なる焦点面で撮影されてよい。
【0028】
異なる画像は時間的に分離されていてよい。
【0029】
画像は生物学的サンプルであってよい。
【0030】
生物学的サンプルは、体外胚であってよい。
【0031】
1以上の特徴は前核であってよい。
【0032】
本開示の別の態様によれば、本開示に従う方法を実行するように動作可能な装置が提供される。
【0033】
本開示の別の態様によれば、適切なコンピュータによって実行されると、本開示に従う方法をコンピュータに実行させる命令を含む、コンピュータ可読媒体が提供される。
【0034】
本開示の一態様によれば、成功するIVF着床の予測因子を識別するシステムが提供される。このシステムは、着床に成功することが認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第1のシーケンスを取得し、着床に成功しないことが認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第2のシーケンスを取得し、タイムスタンプ付き画像の第1シーケンスをタイムスタンプ付き画像の第2シーケンスにコンピュータ処理上で整列させて、タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとの発生時間を一致させ、タイムスタンプ付き画像の第1のシーケンスと第2のシーケンスとの各画像をコンピュータ処理して、着床に成功する胚の固有の特徴を識別して追跡し、それによりIVF着床に成功する予測因子を識別すること、を含む。
【0035】
整列させることは、タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとにおける特定の発生特徴を識別し、発生特徴に基づいて共通の発生時間を設定することにより実行してよい。
【0036】
タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとはビデオシーケンスであってよい。
【0037】
タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとはタイムラプスシーケンスであってよい。
【0038】
固有の特徴は、形態、発現時間、消滅時間、経時的な形態変化の大きさ、発現時間の長さ、形態変化時間の長さ、及び遺伝マーカーとの関連によって特徴づけられてよい。
【0039】
画像処理は、深層学習アルゴリズム及び/又は本開示の任意の方法により実行されてよい。
【0040】
本システムは、処理の前にタイムスタンプ付き画像の第1のシーケンスと第2のシーケンスとの各画像を修正することを更に含んでよい。その修正は、カラーシフティング、カラーフィルタリング、エンボス加工からなる群から選択されてよい。
【0041】
本開示の別の態様によれば、成功するIVF着床の予測因子を識別する方法が提供され得る。この方法は、着床に成功することが認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第1のシーケンスを取得し、着床に成功しないことが認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第2のシーケンスを取得し、タイムスタンプ付き画像の第1シーケンスをタイムスタンプ付き画像の第2シーケンスにコンピュータ処理上で整列させて、タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとの発生時間を一致させ、タイムスタンプ付き画像の第1と第2のシーケンスの各画像をコンピュータ処理して、着床に成功する胚の固有の特徴を識別して追跡し、それによりIVF着床に成功する予測因子を識別すること、を含む。
【0042】
整列させることは、タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとにおける特定の発生特徴を識別し、発生特徴に基づいて共通の発生時間を設定することにより実行されてよい。
【0043】
タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとはビデオシーケンスであってよい。タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとはタイムラプスシーケンスであってよい。
【0044】
固有の特徴は、形態、発現時間、消滅時間、経時的な形態変化の大きさ、発現時間の長さ、形態変化時間の長さ、及び遺伝マーカーとの関連によって特徴づけられてよい。
【0045】
相互に排他的である場合を除いて、本開示内の任意の1つの態様、例又は実施形態に関連して説明される特徴は、他の任意の態様、例、実施形態又は特徴に適用され得ることが理解されるであろう。例えば、画像の特徴の決定に使用される画像解析法の様々な態様及び特徴は、成功するIVF着床の予測因子を識別するための方法及びシステムに、部分的又は全体的に使用可能であり、その逆もまた同様である。
【0046】
さらに、任意の態様、例又は特徴の説明は、特許請求の範囲で定義される本発明の実施形態の一部または全体を形成し得る。本明細書に記載の任意の例は、特許請求の範囲で定義される本発明を具現化する一例であり、したがって本発明の一実施形態であり得る。
【0047】
本発明の例示的実施形態を添付の図面を参照して説明する。
【図面の簡単な説明】
【0048】
図1】画像内の特徴を識別する方法を示す図である。
図2】ピクセル又はピクセル群に対する特性値を決定する方法のステップを示す図である。
図3】画像のターゲット領域に対する信頼値を決定する方法のステップを示す図である。
図4】特性値を用いて画像の信頼値を決定する方法のステップを示す図である。
図5a】サンプルの画像の図式表示の簡略図であり、ここでピクセルは様々な特性値を有する。
図5b】サンプルの画像の図式表示の簡略図であり、ここでピクセルは様々な特性値を有する。
図5c】サンプルの画像の図式表示の簡略図であり、ここでピクセルは様々な特性値を有する。
図5d】サンプルの画像の図式表示の簡略図であり、ここでピクセルは様々な特性値を有する。
図5e】サンプルの画像の図式表示の簡略図であり、ここでピクセルは様々な特性値を有する。
図5f】サンプルの画像の図式表示の簡略図であり、ここでピクセルは様々な特性値を有する。
図5g図5aに対応する、サンプルの画像の図式表示の図であり、ここでピクセルは様々な特性値を有する。
図5h図5bに対応する、サンプルの画像の図式表示の図であり、ここでピクセルは様々な特性値を有する。
図5i図5cに対応する、サンプルの画像の図式表示の図であり、ここでピクセルは様々な特性値を有する。
図5j図5dに対応する、サンプルの画像の図式表示の図であり、ここでピクセルは様々な特性値を有する。
図5k図5eに対応する、サンプルの画像の図式表示の図であり、ここでピクセルは様々な特性値を有する。
図5l図5fに対応する、サンプルの画像の図式表示の図であり、ここでピクセルは様々な特性値を有する。
図6a】本明細書に記載の方法からの可能な出力の簡略図を示す。
図6b】本明細書に記載の方法からの可能な出力を示す。
図7】本明細書に記載の方法の対象となり得る体外胚の4つの画像を示す。
図8】本開示によるシステムの一例のブロック図である。
図9】本開示の予測因子識別手法の一例の概要を示すフローチャートである。
【発明を実施するための形態】
【0049】
本開示は、画像内に特徴が存在するか否かの尤度を決定するために使用可能な、画像解析システムまたは方法に関する。このシステムおよび方法は、その特徴が所望の、又は必要な特性を有するか否かの判定に使用でき、それにより画像の主題(被写体)が関心のあるものであるか否かに関する評価を下すことを可能とする。
【0050】
本開示のシステムおよび方法は、人間のオペレータによる目視で認識することが困難な1以上の特徴を有し得る画像に対して特に好適である。特徴は複数の特性を有し、個別には被写体の決定力を有さないが、他の特性と集合的に扱うことにより画像内に特徴及び/又は被写体が存在することを示唆することが可能である。特徴の存在の示唆は、尤度又は確率により提供することができる。
【0051】
本開示のシステムおよび方法は、画像の静的又は動的変化の識別に使用することが可能である。したがって、共通の被写体に関する単一画像又は異なる画像に対して、本方法を遂行可能である。異なる画像は同一被写体の異なる態様(例えば異なる焦点面、視点又は倍率)から撮影されてもよいし、及び/又は、時間的に分離された画像であって、開始、成長、劣化又は運動などの動的態様を観察可能なものであってもよい。時間分離画像は、所定のプロセス段階によって定義されるタイムスタンプ付き画像であってもよい。時間分離画像は、タイムラプス画像又はタイムラプス動画記録によって提供することが可能である。
【0052】
関心の対象(被写体)は、本質的に生物学的なものであってよい。したがって、画像は、1以上の細胞などの1以上の生物学的構造、又は体外受精などの生物学的プロセスを表してもよい。その他の適用も可能であり、そのような適用のいくつかの例も本明細書で考慮される。
【0053】
一般的に、本開示の文脈においては、画像は対象物の形態に関する情報の任意の視覚的表示として解釈可能である。画像は、写真、あるいは適切なカメラ又はその他のデバイスで撮像された電子画像などの電磁放射の撮像に基づくその他の表示であってよい。画像は、光学顕微鏡又は電子顕微鏡などの顕微鏡で取得されてもよい。画像は、超音波、磁気共鳴又はコンピュータトモグラフィなどの医用画像システムで取得されてもよい。画像は、物理的物体の形状の直接的な撮像以外の手段によって取得された図面又はその他の画像であってもよい。さらに、「画像」はそのような視覚的表示の全て又は一部を指し得るものと理解される。すなわち、画像に対して行われる任意の方法のステップが、代わりに画像全体の一部分についてのみ行われてもよい。例えば、写真の小部分が、写真全体の中で特定の関心領域であるために、本方法の対象として選択されることもある。画像はサンプルの画像であってもよい。
【0054】
画像は画像データによって表されて、マトリックス、ベクトル又はデータベースの1つ又は複数などの何らかの電子形式で表示されてもよい。これらはコンピュータメモリ内に保存可能であり、1以上の画像処理技術によって処理される。画像及び画像データという用語は、それが妥当である場合には本明細書を通じて互換的に使用することが可能である。
【0055】
画像(又は画像データ)は当分野で知られているように、複数のピクセル又はピクセル群を含み得る。ピクセル群は、相互に直接隣接して、1つの連続形状を画定する複数のピクセルであってよい。ピクセル群は2以上のピクセルからなっていてよい。2以上のピクセルは、画像の所定の特徴又はパラメータの予想される形状を基に選択されてよい。特に断らない限り、1つのピクセルに関する言及は、ピクセル群に関する言及とみなしてよい。
【0056】
画像の特徴は、関心のある画像の任意の1つ以上の特定部分に関係し得ると理解される。例えば、特徴は、オブジェクト(対象物)、テキスチャ、色、形状、あるいはその他の画像内に描写されたものであってよい。画像内の特徴は、人間の目又は何らかのコンピュータビジョン技術によって識別することが困難な場合がある。これは、その特徴に明確な境界がなかったり、特徴部分ではない他の画像と類似の性質を有したりするからである。特徴は、その特徴の最外境界を画定する境界領域を有する場合がある。
【0057】
図1に、本開示による画像内の特徴を識別する方法を示す。この方法は、画像内の各ピクセル又はピクセル群に対して複数の特性値を決定することを含んでよい(110)。複数の特性値のそれぞれは、画像内の関心のある特徴の異なる特性に関係し得る。本方法はさらに、ターゲット領域内のピクセルの複数の特性値に基づいて、画像のターゲット領域に対する信頼値を決定することを含んでよい(120)。信頼値は、その特徴が画像のターゲット領域によって表示されているか否かを示し得る。
【0058】
前述したように、複数の特性値のそれぞれは、特徴の異なる特性に関係し得る。特性は特徴の様々な視覚的性質を表してもよい。特性は、色、コントラストレベル、テキスチャ、粗さ、滑らかさ、明るさ、暗さ、又は特徴のその他の視覚的性質に関係してもよい。追加又は代替的に、特性は、特徴の1以上の寸法、及び特徴内の位置に特有の性質の少なくとも一方に関係してもよい。例えば特性は、境界領域に特有の属性を有し得る、特徴の境界領域に関係してもよい。
【0059】
特性は、特性値で表現されるか又は特性値に関係することが可能である。特性値は数値であってよい。例えば、特徴的な黒点によって特徴が識別可能である場合、特性値は1以上のピクセルを周囲のピクセルと比較し、隣接するピクセルとの間のコントラストの形態で特性値を決定することを含んでもよい。追加又は代替的に、特性値は所定の範囲の暗さ又は何らかの他のパラメータを有するピクセルの広がりを表してもよい。更なる特性値は、画像内の暗さ(又は明るさ)の程度又は相対的な暗さ又は明るさによって与えられてもよい。したがって、特性値は、ピクセル又はピクセル群がどの程度まで特性を含むかを示し得る。特性値は、ピクセル又はピクセル群がそれぞれの特性を含むか否かの確率に関するものであってよい。特性値は、特徴内のピクセルの、そのピクセルがどれだけ特徴的であるかに相関する大きさを有してもよい。特性値は、異なるピクセルの特徴に相対する特性に関連してもよい。
【0060】
いくつかの例において、その特徴を表す尤度の高いものには高い特性値を選択し、その特徴を表さない、尤度の低いものには低い特性値を関係づけるように選択されてもよい。
【0061】
ピクセルに対して特性値が決定されると、ステップ120において、画像のターゲット領域に対する信頼値を、そのターゲット領域内のピクセルの複数の特性値に基づいて決定することができる。
【0062】
ターゲット領域は、特徴が見つかることが予想される所定の領域を表し得る。例えば、関心の特徴が特定の形状、例えば円形やほぼ円形などを有することが分かっている場合、ターゲット領域をその形状に設定し、その形状を探索してどの特性が存在するかを判定してもよい。特性の存在は、各ピクセル及びピクセル群の少なくとも一方を観察し、それぞれの特性値を用いてターゲット領域に対する信頼スコアを決定することによって判定することができる。
【0063】
画像のターゲット領域は画像のピクセルの部分集合であってもよい。ターゲット領域は、1つの連続形状を画定するピクセルの部分集合であってもよい。ターゲット領域は、複数の個別の形状を画定するピクセルの部分集合であってもよい。ターゲット領域は、位置、サイズ、厚さ(例えば壁又は膜の)、対称性、形状、色、テキスチャ又は特徴の配向、の1つ以上に対する推定値であってもよい。任意の数のターゲット領域が画像内で探索されてもよい。
【0064】
信頼値は、その特徴が画像のターゲット領域によって表されているか否かを示し得る。信頼値は、その特徴が画像のターゲット領域によって表される確率に関係するか、あるいはその確率であってよい。信頼値は、その特徴が画像のターゲット領域によって表される尤度に相関する大きさを有してもよい。
【0065】
次に図2において、ピクセル又はピクセル群に対して特性値を決定する方法の一例を説明する。ステップ210において画像のピクセル又はピクセル群が識別される。ピクセル又はピクセル群の識別はランダムに行われるか、又は各ピクセル又はピクセル群が1列ずつ順番に選択されるラスタースキャンなどの所定のパターンにより行われてよい。代替又は追加的に、ピクセルは、画像内の位置によって、又は画像内の他の特徴との関連によって選択することができる。例えば、画像には、画像内の関心の可能性のある領域を識別する1以上のマーカーが含まれてもよい。この1以上のマーカーは、画像の被写体内に自然発生するものであってもよいし、あるいは特定の領域を強調するために導入されてもよい。1以上のマーカーは、例えば関心領域を区切る境界線状のものであってもよい。ラスター以外の他のスキャンパターンも使用され得ることを理解されたい。また、1つのピクセルを分析するかピクセル群を分析するかの選択は、関心の特徴及び関心の特性によって決定されることも理解されたい。例えば、いくつかの特性は単一のピクセルから検出可能な場合があり、別のものはピクセル群としてより検出されやすい場合がある。
【0066】
上述のことから、図2のステップ220で提供される特性の選択は、ピクセルの選択の前に行われてもよいことを理解されたい。また、特性の選択は、関心の特徴を基に決定されるが、各特徴に関して、各ピクセル又はピクセル群で順番に選択され得る所定の特性のリストが存在してもよいことも理解されたい。
【0067】
ステップ230において背景領域が選択可能である。背景領域は関心のある特性を基に選択され得る。いくつかの特性値は、ピクセル又はピクセル群から所定の距離内にあるピクセルに基づいて決定されてよい。例えば、黒点があるかどうかを判定するために、所定のピクセル半径内の他のピクセルとの関係でピクセルの暗さ又はコントラストを評価することが必要な場合がある。所定の距離又は半径は、例えば画像を横断して測定される距離、又は特定数のピクセルによって定義可能であることが理解される。例えば、所定の距離は、特徴のサイズによって決定されてもよい。所定の距離は、特徴の半径又は直径であってもよい。あるいは、所定の距離は、その特徴の半径又は直径の、0.5倍、1.5倍、2倍又は別の倍数であってもよい。
一例では、特定されるべき特徴が10ピクセルにわたるとすると、所定の距離はその特徴の境界から10ピクセルであってよい。すなわち、背景領域は特徴の境界から10ピクセル内の全ピクセルから構成され得る。このことは、画像の無関係な部分を回避するためにその特徴に近接して存在する必要性と、有意な出力を得るために背景領域内に十分な数のピクセルを有する必要性との間の折衷案を提供する。
【0068】
他の例では、特性は、特徴の境界又は他の要素に関連するピクセルの存在に関係してもよく、その場合にはそのピクセルとの所定の幾何学的関係、例えば上、下、左、右などの関係で選択されてもよい。
【0069】
例えば、特性が特徴の境界部分に関係する場合、背景領域はピクセル又はピクセル群の直近の隣接ピクセルのみから構成されてよい。具体的には、背景領域はピクセル又はピクセル群の直上又は直下にのみ位置する隣接ピクセルに限定されてよい。特性が特徴の上部境界部又は底部境界部の一部であるか否かに関係する場合には、背景領域をこのように限定してもよい。ここで、下、上、左、右という用語は任意に、また解析中の画像の配向に関係して使用され得ることを理解されたい。
【0070】
別の例では、特性が特徴の粗さ又は滑らかさに関係する場合、背景領域は、そのピクセル又はピクセル群に直接隣接する全ての隣接ピクセルを含んでよい(つまり、隣接ピクセルとそのピクセル又はピクセル群との間に中間的なピクセルはない)。あるいは、背景領域はそのピクセル又はピクセル群に直接または間接的に隣接するすべての隣接ピクセルを含んでよい(つまり、隣接しているとみなされる、所定の範囲のピクセルが存在してもよい)。
【0071】
更なる例において、特性が特徴の高コントラスト部分に関係する場合には、背景領域は問題のピクセル又はピクセル群の他に、その画像内の大多数又はすべてのピクセルを含んでよい。
【0072】
上述によれば、背景領域は、探索のために選択されたピクセルの外側の残りの画像の一部またはすべてとして定義されてもよい。背景領域は、選択されたピクセル又はピクセル群ではない、画像内の全ピクセルを含んでもよい。背景領域は、ピクセル又はピクセル群の隣接ピクセルに限定されてもよい。背景領域は、選択された特性(すなわち特性値が関係する特性)に基づいて選択されてもよい。
【0073】
ステップ240において、背景領域が選択された後、特性値が、ピクセル又はピクセル群及び背景領域に基づいて決定可能である。この決定には、ピクセル又はピクセル群と背景領域との比較が含まれてよい。特性値はピクセルと背景領域との間のコントラストのレベルに関係してもよい。特性値は背景領域に対するピクセルの明るさ又は暗さに関係してもよい。
【0074】
上記の例に戻ると、特性値が境界領域に関係する場合、特に特性が、ピクセルが上部境界又は底部境界の一部であるかどうかに関係するとき、ピクセルは、そのピクセルの上又は下の隣接ピクセルと比較されることができる。そうして、そのピクセルが隣接ピクセルよりも明るいか暗いかを示す特性値をピクセルに割り当てることができる。
【0075】
特性が粗さ又は滑らかさに関係する場合、ピクセルは隣接ピクセルと比較されて、ピクセルのコントラストが、隣接ピクセルのコントラストとどの程度類似しているかが判定できる。ピクセルが隣接ピクセルと類似のコントラストである場合に、高い特性値が割り当て可能である。ピクセルが隣接ピクセルとは類似のコントラストではない場合に、低い特性値が割り当てられ得る。あるいは、高い特性値及び低い特性値をこれらとは逆に割り当ててもよい。ピクセルと隣接ピクセルとの比較において、隣接ピクセルのコントラストの平均レベルが用いられる場合もある。
【0076】
特性値が特徴の高コントラスト部分に関係する場合、ピクセルが、背景領域の全ピクセルのコントラストの平均レベルに比較されてもよい。このことは、ピクセルが画像のその他の部分と比較して高コントラストピクセルであるか否かを示すことになる。
【0077】
前に述べたように、特性値は、特徴に関して位置特有のものであってよい。特性は、対応する特性値が特徴に対して位置特有であるように選択できる。言い換えると、ピクセルは、そのピクセルが特徴に対してどこに位置するかを示す特性値を持ち得る。例えば、特徴の外側にあるピクセルは、特徴の内側にあるピクセルに比べてより明るいかより暗い、又はより粗いかより滑らかであり得る。特徴の外側にあるピクセルは、その隣接ピクセルに対する、特徴の内側にあるピクセルのコントラストよりも大きい又は小さいコントラストレベルを有していてよい。同様に、この例は、特徴の内側、特徴の境界上、特徴から特定の距離だけ内側又は外側、特徴の中心、あるいは特徴に対してどこか別のところにあるピクセルに適用することが可能である。このように特性値は、特徴に対してピクセルが近似的にどこに位置するかを示す指標として個別的又は集合的に機能し得る。
【0078】
ピクセル又はピクセル群に関して特性値が決定されると、ステップ250において、そのピクセル又はピクセル群に関して関心の全ての特性値が決定されたか否かが問合せされてよい。まだすべての特性値が決定されていない場合には、プロセスはステップ220に戻って更なる特性を選択して上述のようにプロセスを繰り返してもよい。
【0079】
全ての特性値が決定されていれば、ステップ260において、すべてのピクセル又はピクセル群が識別されたか否かに関する問合せが行われてもよい。すなわち、画像内又は画像内の対象領域内の全ピクセルに対して特性値が割り当てられたかどうかが問合せされる。特性値が割り当てられていないピクセルが画像内にまだ残っている場合には、すべてのピクセルが考慮されるまでプロセスはステップ210から反復されてよい。全ピクセルに特性値が割り当てられていれば、プロセスはステップ120に移ることができる。
【0080】
次に図3において、ターゲット領域に対する信頼値の例示的決定方法を説明する。必要とする全ピクセルに対して特性値が決定されると、これらの特性値を使用して、1以上のターゲット領域に関する信頼値を決定し得る。このプロセスのステップ310において、ターゲット領域が選択される。前述したように、ターゲット領域は画像内のピクセルの部分集合を定義してもよい。ターゲット領域はピクセルの部分集合を囲む境界を含んでもよい。
【0081】
ターゲット領域は、ターゲット領域を設定するための1以上の基準に基づいて選択可能である。この1以上の基準は、特徴が満たす既知の基準に依存してもよい。言い換えると、ターゲット領域は、特徴の可能な構成を表すように選択することができる。基準は例えば、ターゲット領域の幾何形状を定義してもよい。そのような形状基準は、全てのターゲット領域が共通の形状を持つことを指定する場合がある。形状基準は、それがどの形状であるか指定し得る。ターゲット領域は、例えば丸い形であってよい。例えば、ターゲット形状は円形、楕円形又は競走場の形状であってよい。あるいは、ターゲット領域は他の形状であってもよい。この形状は、特徴の既知形状を基に選択され得る。言い換えれば、ターゲット領域は、その特徴に対応する形状を有し得る。さらにはそれに代わって、形状基準はターゲット領域が複数の形状の内の任意のものであってよいことを指定する場合もある。そのような場合には、識別されるターゲット領域は全てが異なる形状となることもあり得る。例えば、特徴が円形、正方形又は三角形であり得ることが分かっている場合には、そのような各形状をした1以上のターゲット領域が選択され得る。
【0082】
形状と共に、あるいは形状の他に、基準は他の性質に基づいてもよい。例えば、基準は画像に対するターゲット領域の位置に関係してもよい。基準は、その画像内に収まるターゲット領域の数に依存してもよい。これは、ターゲット領域の重複を許す場合と許さない場合がある。基準は、ターゲット領域の位置、サイズ、形状、色、テキスチャ又は配向の内の1以上に関係し得る。
【0083】
ターゲット領域が選択されると、ステップ320でターゲット領域に対するピクセルの位置を決定可能である。この決定は、画像内の全ピクセルに対して実行されてもよい。あるいは、画像の関心領域内にあると思われる、画像内のいくつかのピクセルに対してのみこの決定が実行されてもよい。ピクセルの可能な位置としては、ターゲット領域内、ターゲット領域外、ターゲット領域の境界上、ターゲット領域から所定の距離内若しくは所定の距離外、及び/又はターゲット領域の中心、などがあり得る。そのような位置は、さらにより詳細に特定されてもよい。例えば、「ターゲット領域内」のピクセルは、ターゲット領域内の所定の区域内にあるように決定することが可能である。この区域は、上半分又は下半分、所定の象限、ターゲット領域の中心からの所定の半径範囲、あるいはターゲット領域内の別の区域であってよい。
【0084】
特定のピクセルが特徴の一部であるか否かを検討する際、特性の一部だけしか関連しないことがあり得る。したがって、ピクセルの位置が決定された後、その位置に基づいて、各ピクセルに適用される特性値を選択可能である(330)。すなわち、特性値は、問題の特定のピクセルのターゲット領域に対する位置に基づいて、それが関連する場合に選択可能である。例えば、特性値は、ピクセルがターゲット領域の中にあるか、ターゲット領域の外にあるかに基づいて選択されてよい。特性値はターゲット領域内の特定の位置、あるいはターゲット領域外の特定の位置に基づいて選択されてよい。一例では、前述したように、特徴が特定の特性を有する境界を含む場合には、ターゲット領域の境界区域のピクセルは、信頼スコアを決定するために選択された境界条件を表す特性値を有し得る。ピクセルに対して決定されたが境界区域には関連しないその他の特性値は無視してよい。或いは、そのような特性値を使用して、そのピクセルが境界ピクセルではないという決定を提供又は強化してもよい。したがって、特定のピクセルが暗点を形成する高い信頼値がある場合には、これを使用してそのピクセルが境界ピクセルではないことを示すことが可能である。
【0085】
ステップ340に進むと、ピクセルに対して選択された特性値を使用して信頼値が決定され得る。上述のように、信頼値は、選択されたターゲット領域が特徴を表していることの尤度すなわち確率を示し得る。特性値を用いて信頼値を決定するプロセスは、図4を参照して以下でより詳細に説明する。
【0086】
信頼値を決定すると、ステップ350において、関心のすべてのターゲット領域、例えばターゲット領域選択のための全ての基準、が調査されたかどうかが問合せされ得る。言い換えると、それまでに選択されたターゲット領域が、基準の全ての順列を網羅したか否かが判定される。まだすべてが調査されていない場合には、方法はステップ310に戻り、異なるターゲット領域が選択されてプロセスが反復される。したがって、本方法には、複数の異なるターゲット領域の信頼値を取得することが含まれ得る。
【0087】
異なるターゲット領域及びその選択は、全ての順列に関して実行されてもよいが、実際にはターゲット領域は基準のある範囲内で調査される。例えば、体外胚の発生能力の有無の調査においては、前核が円形であり、かつ所与のサイズを有することを必要とする場合がある。したがって基準には、既知の範囲で規定されるような、サイズの許容範囲及び許容可能な形状が含まれ得る。追加又は代替的に、発生可能な胚における前核は、画像の特定の1以上の領域にのみ存在することが、一般的に、又は画像の1以上の他の要素または特徴に関連して、知られている場合がある。従って、ターゲット領域を探索する画像部分は、所定の範囲に限定されてもよい。
【0088】
上述によれば、異なるターゲット領域は1以上の基準によって区別され得る。異なるターゲット領域は、具体的に、位置、サイズ、形状の1つ以上によって区別される。例えば、ターゲット領域の基準は、ターゲット領域が円形で、所定の範囲の半径内にあって、かつ画像内のいくつかの異なる位置の内の1つに位置しなければならないことを条件としてもよい。ステップ310において、これらの基準を満たす第1ターゲット領域が選択される。ステップ350において、これまでにこれらの基準に一致する1つのターゲット領域のみが選択されたこと、したがって、全てが満足されたわけではない(すなわち、すべての順列が網羅されたわけではない)ことが判定される。プロセスはステップ310に戻り、そこで別のターゲット領域が選択される。この次のターゲット領域は、異なる半径を有する円形であってもよいし、異なる位置にある円であってもよい。ステップ350では、基準の全順列が満足された場合にのみ、出力として「はい」を返してもよい(すなわち、この場合には、特定された全てのそれぞれの位置において、範囲内の全半径区域に対して1つのターゲット領域がある)。或いは、所定数の順列が満たされた場合にのみ、ステップ350はその出力として「はい」を返してもよい。
【0089】
全てのターゲット領域が調査され終わると、収集されたデータから関連する出力が選択されて、出力が返されてよい。関連する出力は、恐らくはグラフィカルユーザインタフェースによって、あるいは、コンピュータや他のデータ処理ユニットによって、ユーザに返されてもよい。「全ての基準」が満たされるということは、そうではなく所定数の基準、又は各基準の特定の順列のみが満たされる場合もあり得るということが理解される。
【0090】
いくつかの例では、結果を出力する前に、本方法が同一画像上で反復されてもよい。例えば、結果の信頼性を検査するため、又は結果の精度や信頼度を改善するために、本方法が繰り返されてもよい。この方法を繰り返して、ユーザが第1回目の結果を基に、ターゲット領域を変更、拡張又は狭めることができるようにしてもよい。
【0091】
いくつかの例では、方法は1以上の異なる画像上で繰り返されてもよい。第1の画像はサンプルの画像であってもよい。1以上の異なる画像は同一サンプルの画像であってもよい。異なる画像は、異なる焦点面、及び/又は異なる視野もしくは視点から撮影されてもよい。特徴は、異なる焦点面、及び/又は異なる視野もしくは視点のそれぞれにおいて、異なった程度で視認可能であり得る。異なる焦点面を使用することにより、この方法を適用し得る画像の数が増加し、得られる信頼値が潜在的に改善される。さらに、これによって、特徴がいずれの画像においても認識されない場合にでも、高い信頼値が達成され得る。異なる倍率で撮影された画像に対しても、同じような利点が達成され得る。
【0092】
異なる画像は時間的に分離されたものであってよい。画像は特徴のいかなる時間的発生又は時間的変化をもキャプチャし得る。方法のパラメータ(例えば、選択された特性、決定された特性値、ターゲット領域基準、選択されたターゲット領域)は、時間分離によって、異なる画像のそれぞれに対して変更、除去又は追加可能となる。言い換えると、方法のパラメータは時間依存性を有し得る。例えば、選択されたターゲット領域の形状は、特徴の形状が時間と共に変化するとすれば、時間分離された各画像に関して変化され得る。例えば、特徴が第1の時間区間では円形であり、次いでこの時間区間の後には楕円形に変化することが知られているとする。その場合、ターゲット領域を、第1の時間区間では円形であり、その後で楕円形となることを満たすように選択してもよい。更なる関心のパラメータ及びタイムラプス画像の使用について以下で説明する。
【0093】
結果が関連出力を返すこととなる例においては、これらの出力はデータであってよい。例えば、本方法は、各ターゲット領域の信頼値を示すデータと共に、各ターゲット領域の位置を表すデータを返してもよい。本方法は特性を表すデータ及び各ピクセルの特性値の少なくとも一方を返すことができる。出力は結果のグラフィカル表現を提供するために処理されてもよい。本方法は、特徴及び画像の少なくとも一方に対するターゲット領域の位置を示すグラフィカル表現を返してもよい。グラフィカル表現は、そのターゲット領域に係わる信頼値のグラフィカル表示を含んでもよい。例えば、グラフィカル表示は、ターゲット領域のグラフィカル表現の色又は輝度であってもよい。グラフィカル表現は、ターゲット領域内の関連する特性値及び信頼値の少なくとも一方の視覚的表示を提供する、いわゆる「ヒートマップ」であってよい。
【0094】
ステップ360において、最高の信頼値を有するターゲット領域を選択する、追加的な方法ステップが提供される。最高ということは、信頼値が、このターゲット領域が関心の特徴を表す可能性が最も高いことを示すことを意味する。本方法はそれにより、その特徴を表す可能性の最も高いターゲット領域及び/又は信頼値のみを返すことができる。或いは、追加の方法ステップで所定の閾値より高い信頼値を有する1以上のターゲット領域を選択することも可能である。この場合、本方法は、この所定の閾値より高いターゲット領域及び/又は信頼値を返してもよい。
【0095】
次に図4では、図3のステップ330とステップ340とを置き替える、例示的な方法ステップが示されている。図4の例示的ステップは、特性値の選択、及びそれを使用した信頼値の決定に使われるステップをより詳細に示す。図4はピクセル位置が決定されるステップ320から続行されてもよい。
【0096】
信頼値の決定にはこのように、ターゲット領域外にあるピクセルの特性値を減算することが更に含まれ得る。よって、ステップ410において、ピクセルがターゲット領域内にあるか否かが問合せされてもよい。ピクセルがターゲット領域内にないことが識別された場合、プロセスはステップ420bに進むことができる。このステップでは、ピクセルの特性値が信頼値から差し引かれてもよい。
【0097】
ピクセルの特性値は、ターゲット領域外の任意の場所にあるすべてのピクセルに対する信頼値から差し引かれてもよい。あるいは、特性値は、ターゲット領域外にある選択されたピクセルのみに対する信頼値から差し引かれてもよい。これは、例えば、ターゲット領域に隣接するピクセルに係わる特性値のみを差し引くことを含んでもよい。「隣接」は、ピクセルがターゲット領域に直接隣接することを意味するか、あるいはピクセルがターゲット領域から所定の距離内にあることを意味し得ることが理解される。
【0098】
ピクセルに負の特性値が割り当てられた場合には、この特性値を信頼値から差し引くことは、その特性値の絶対値を加える効果があることが理解されるであろう。
【0099】
代わりに、ピクセルがターゲット領域内にあることが識別される場合には、方法はステップ420aに進む。このステップでは、ターゲット領域内のピクセルの位置が決定され得る。この位置は、ターゲット領域の特徴に対するピクセルの近似的位置を識別することができる。例えば、ピクセルが、ターゲット領域内、ターゲット領域の境界上、ターゲット領域の境界上の特定の位置(例えば、上境界、下境界、左境界、右境界)、ターゲット領域内の特定の半分もしくは象限又はその他ターゲット領域の一部分、ターゲット領域の中心、及びターゲット領域の中心から特定の距離、の少なくとも一つにあるものとして決定されてよい。
【0100】
ターゲット領域内のピクセルの位置が決定されると、本方法はステップ430に進み、そこでターゲット領域内の位置に基づいて特性値が選択される。前述したように、ターゲット領域内のピクセルの位置に基づいて、1つだけ又はいくつかの特性値だけが関連する場合もあり得る。
【0101】
例えば、ピクセルがターゲット領域の上境界にある場合、この境界ピクセルの直上又は直下の隣接ピクセルに対する、このピクセルのコントラストを考慮することが(つまり、境界の存在を示唆し得る、コントラストの顕著な変化があるか否かを知るために)適切なことがある。この例では、この性質を表す特性値を選択することができる。境界ピクセルのすぐ両側にある隣接ピクセルに対するコントラストを考慮することが(つまり、この方向に境界が続くことを示唆し得る、コントラストがほぼ一定しているか否かを知るために)重要な場合もある。他方で、境界ピクセルについては、例えばその領域の平均コントラストに比較したコントラストを示す特性値は、ピクセルが境界を表すか否かの示唆を与えない場合があるため、重要ではない場合がある。したがって本例においては、この特性値はこのピクセルに対しては選択されない可能性がある。ピクセルが境界以外のどこかに位置する場合、特性値の選択には同様のプロセスを適用してもよいが、異なる値が選択されるであろう。ステップ440に進むと、このピクセルに対して選択された特性値が信頼値に加算される。これが終了すると、ステップ450において、すべてのピクセルが識別されたか否かを問合せることができる。まだである場合、プロセスが繰り返されてピクセルの特性値を信頼値に加算/減算することが継続される。すべてのピクセルの識別が完了すると、図3に示して説明したように、プロセスはステップ350に進む。
【0102】
選択した特性値を信頼値に加算又は減算するこのプロセスは、ターゲット領域が特徴を表すか否かを示し得る信頼値を計算することになる。具体的には、特性値は、そのピクセルがどれだけ特徴内のピクセルを表しているかに関連する大きさを有する。したがって、これらの特性値をこのように結合させたときに得られる信頼値は、ターゲットが全体としてどれだけその特徴を表しているかに相関した大きさを有し得る。
【0103】
上記を満たす値の一つの例は、対数尤度比である。1以上の特性値、及び/又は信頼値は、対数尤度比であってよい。特性値を決定することは、特徴に対するピクセルの特性の対数尤度比を決定することを含むことができ、これにより、背景領域に対して、ピクセル又はピクセル群が特性を表す確率が与えられる。
【0104】
対数尤度比は、第1仮説の尤度Hと第2仮説の尤度Hから計算される検定統計量である。対数尤度比LLRは次式で与えられる。
【数1】

【0105】
対数尤度比は、最大で定数倍までしか定義されない。すなわち、上記の計算のある場合には、自然対数が定数倍されてもよい。例えば、自然対数が-2倍されてもよい。現在の形式であるとすれば、この式から対数尤度は、第1仮説の確度が最も高い場合には、値が大きくて正であり、第1仮説と第2仮説の確度が同程度である場合には、値が小さく、第2仮説の確度が最も高い場合には、値が大きくて負である。このように、対数尤度比は、第1仮説が満たされる尤度すなわち確率を表すものとして理解することができる。
【0106】
特性値を考慮するとき、第1仮説は、問題のピクセルが特徴に属することであってよく、第2仮説は問題のピクセルが特徴に属さないことであってよい。尤度H及びHはしたがって、考慮している特性に基づいて、ピクセルがそれぞれ特徴に属するか属さないかの尤度である。実際には、これらの尤度は、特徴の既知の特性に基づいて、前もって決定されてもよい。すなわち、特定の特性がその特徴に典型的であることが知られている場合がある。したがって、ピクセルがこれらの特定の特性を同様に共有するか否かによって、尤度をピクセルに割り当てることが可能となる。
【0107】
別の例では、例えば、その特徴が滑らかであることが分かっているとき、ピクセルの滑らかさの特性を考慮する。「滑らかさ」によって、ピクセルが隣接ピクセルに対してどれだけ類似しているかが表される。あるピクセルが、例えばコントラスト、色及び/又は明るさにおいて、選択された背景領域にある隣接ピクセルと類似であれば、そのピクセルは滑らかであると考えられる。そのピクセルがこれらの観点で類似してなければ、そのピクセルは粗いと考えられる。問題のピクセルが滑らかであれば、Hに対して高い値が、Hに対して低い値が割り当てられる(滑らかさだけに基づいて、ピクセルがその特徴に属する可能性が属さない可能性よりも高いからである)。したがって対数尤度比は大きくて正であり、この特性だけから、そのピクセルが特徴に属する可能性が高いことを示す。
【0108】
同じ例において、問題のピクセルが粗ければ、そのピクセルはHに対して低い値が、Hに対して高い値が割り当てられる(この場合には、滑らかさだけに基づいて、ピクセルがその特徴に属さない可能性が高いからである)。したがって対数尤度比は大きくて負であり、この特性だけから、そのピクセルが特徴に属する可能性が低いことを示す。
【0109】
再び同じ例において、問題のピクセルが特に粗くもなく、また特に滑らかでもなければ、(滑らかさだけによれば、ピクセルがその特徴に属するか属さないかは同程度に可能であるので)HとHの両方に同じような大きさの値が割り当てられる。したがって対数尤度比は大きさが小さく、負又は正であり得、この特性だけから、そのピクセルが特徴に帰属する可能性が特に高くも、特に低くもないことを示す。
【0110】
いくつかの例では、尤度はターゲット領域の内外の特定のピクセルの頻度又は発生率に基づいていてもよい。例えば、ピクセルが、ターゲット領域の内側にあることが多く、ターゲット領域の外側にはあまりない、という関連する特性を有する場合、H:Hの比はそのピクセルに対して高いであろう。別の例では、外側より内側で特性が例えば1000倍高ければ、LLR=ln1000となる。また、内側より外側で特性が1000倍高ければ、LLR=ln1/1000=-ln1000となる。この頻度又は発生率は、サンプルの画像全体にわたって異なる値のピクセルを数えることによって計算可能である。
【0111】
特性値を構成する対数尤度比が上記のように相互に加算及び減算されるとき、それらは信頼値を形成する対数尤度比となる。上述の計算例に基づくと、これは、ターゲット領域が特徴を非常によく表す場合には信頼値は大きくて正であり、ターゲット領域が弱くしか特徴を表さない場合には小さく、またターゲット領域が特徴をほとんど表さない場合には、大きくて負であることを意味する。
【0112】
上で検討した第1の場合(ピクセルが滑らかであって特徴の特性であり、したがって大きな正の対数尤度比が割り当てられている)においては、(ピクセルがターゲット領域内にあるために)特性値が信頼値に加算されると、信頼値は増加する。このことは、このピクセルと特性値の寄与に基づいて、ターゲット領域は特徴を表す可能性がより高いことを示す。或いは、(ピクセルがターゲット領域にないために)特性値が信頼値から差し引かれると、信頼値は減少する。このことは、このピクセルと特性値の寄与に基づいて、ターゲット領域は特徴を表す可能性がより低いことを示す。このように、特徴に特有なピクセルは、特徴内にあることが予測されると信頼度を高め、特徴の外側にあると予測されると信頼度を低下させる。
【0113】
上で検討した第2の場合(ピクセルが粗くて特徴の特性ではなく、したがって大きな負の対数尤度比が割り当てられている)においては、(ピクセルがターゲット領域内にあるために)特性値が信頼値に加算されると、信頼値は減少する。このことは、このピクセル及び特性値の寄与に基づいて、ターゲット領域は特徴を表す可能性がより低いことを示す。或いは、(ピクセルがターゲット領域にないために)特性値が信頼値から差し引かれると、信頼値は増加する。このことは、このピクセルと特性値の寄与に基づいて、ターゲット領域は特徴を表す可能性がより高いことを示す。このように、特徴に特有でないピクセルは、特徴内にあることが予測されると信頼度を低下させ、特徴外にあると予測されると信頼度を向上させる。
【0114】
上で検討した第3の場合(ピクセルは特に粗くも滑らかでもなく、特徴に関して特に特性的でも非特性的でもなく、したがって大きさの小さい対数尤度が割り当てられている)においては、特性値の加算又は減算に拘わらず信頼値は僅かしか変化しない。このように、特徴に特性的であるともないともいえるピクセルは、信頼値に対して実質的な影響を与えない。
【0115】
本方法の例示的なグラフィック表示を図5a~図5l、図6a及び6bに示す。図5a~図5f及び図6aは、図5g~図5l及び図6bに示されるグラフィック表示の簡単な模式図を表す。図5a~図5fの特徴に対する任意の言及は、図5g~図5lの特徴に適用され、その逆も同様であることが理解されるであろう。簡潔にするために、それぞれのセットに関して、対応する説明は繰り返さない。図5a~図5fから始まって、これらの図は方法ステップ110(及びそれに対応する図2図4の詳細な同等ステップ)の例を図示する。図5a~図5fのそれぞれにおいて、画像は複数のピクセル又はピクセル群に分割されており、各ピクセル(又はピクセル群)には、対応する特性に基づいた特性値が割り当てられている。特性値が関係する異なる特性は、特徴の境界領域、特徴の明るさ、特徴の暗さ、特徴の高コントラスト部分、特徴の粗さ、及び特徴の滑らかさ、の内の1以上に対応し得る。そのような特性に関係し得る特性値の例を、図5a~図5fを参照して以下に記述する。
【0116】
いくつかのピクセルには、視覚的指標510~560が重ねられている。ここに示す例においては、この特性値の大きさは、これらのピクセルの視覚的指標510~560の明るさに対応する。各図において考慮される特性値は以下の通りである。
図5a-滑らかさ(すなわち隣接ピクセルとの類似性)-より明るい視覚的指標510=より滑らかなピクセル
図5b-局所平均と比較した明るさ-より明るい視覚的指標520=より明るいピクセル
図5c-局所平均と比較した暗さ-より明るい視覚的指標530=より暗いピクセル
図5d-上又は下のピクセルと比較した明るさ-より明るい視覚的指標540=より明るいピクセル
図5e-上又は下のピクセルと比較した暗さ-より明るい視覚的指標550=より暗いピクセル
図5f-局所平均と比較して特に暗い又は明るいスポット-より明るい視覚的指標560=局所平均より顕著に明るい/暗いピクセル
【0117】
図5a~図5fは、どのようにこれらの値をグラフィカル形式で、この場合にはヒートマップとして、表示するかの例を提供している。本明細書で説明するように、これらの特性値を組み合わせる(したがってヒートマップを組み合わせる)ことで、信頼値の更なるヒートマップを取得可能である。上に詳細を説明したように、これらの信頼値を使用して特徴を表す1以上のターゲット領域を選択した場合、図6aに示すような表示を得ることが可能である。
【0118】
本開示のいくつかの例では、画像は生物学的サンプルに関するものである。例えば、生物学的サンプルは胚であってよい。生物学的サンプルは、例えば、IVFスクリーニングの前に本方法が使用される胚であってもよい。胚は、体外胚であってもよい。あるいは、生物学的サンプルは単一の細胞であってもよい。例えば生物学的サンプルは、未受精卵又は精子細胞であってもよい。生物学的サンプルは、上記のいずれかの1つ以上であってもよい。上述の方法で説明した1以上の特徴は、前核であってよい。
【0119】
図6aは、本明細書に記載の方法から得られる可能性のある出力を示す。上述の方法を適用することにより、最高の信頼値を有するか、所定の閾値より高い信頼値を有するかによって選択可能な1以上のターゲット領域に基づいて、特徴の位置に関する1以上の予測を取得することが可能である。この例では、2つのターゲット領域610と620が識別された。ターゲット領域610と620は、画像内の特徴の位置、サイズ及び形状を視覚的に描写するために強調表示されている。ターゲット領域610はターゲット領域620よりも高い信頼値を有し、したがってターゲット領域620よりも明るい。このように、エンドユーザに対して特徴の可能な位置を描写し、予測が実際の特徴にどの程度一致し得るかについての視覚的表示を提供することが可能である。
【0120】
上述の方法は、多くの異なる用途に使用可能であることは当業者には容易に明らかであろう。そのような用途の例としては、製造業における工業材料の欠陥の検出、自動運転車両における衝突回避のための物体の位置と動きの追跡、セキュリティと監視における望まれない侵入者の検出、気象観測における特定の気象パターンの検出、娯楽写真における写真内の関心のあるアイテムの識別、自然観察における動物や植物の種類の識別、及び関心となる特徴が変化可能であって不明瞭な性質を有する他の任意の用途、などがある。
【0121】
前に述べたように、この方法の用途の一例はIVFスクリーニングの分野である。IVFの手順には、ヒト又は動物の体外で卵を精子で受精し、着床前胚を形成することが含まれる。次にこの胚を代理宿主に着床させて胚の妊娠を可能とする。ただし、IVFプロセスは成功率が低く、着床の多くは出生にまで至る完全な妊娠とはならない。第6週における超音波で定義される臨床的妊娠及び/又は出生をもたらすIVF胚は、成功胚とみなされることが多い。これらの結果をもたらさない胚は、したがって不成功とみなされる。
【0122】
IVF治療が高価であり、かつ精神的外傷を与えることが多いために、着床前に胚の成功又は不成功の可能性を予測するためのIVFスクリーニング技術が開発されてきた。そのような技術では、高度な資格と経験を有する培養士が胚の画像を検査し、胚の成功の可能性を予測する予測因子である特徴を識別することを通常必要とする。
【0123】
これらの技術における大きな困難の1つは、これらの特徴の識別が非常に難しいことである。画像内にある特徴は、非常に微妙であって外見が変化しやすいことが多く、熟練の培養士にとっても非常に認識がしにくいことが多い。したがって、胚の生存能力の評価を開始可能となる前に培養士がしばしば直面する困難は、画像内の特徴を識別することである。
【0124】
図7は、IVFスクリーニングの前に識別する必要のあるそのような特徴の一例を示す。図7は、前核720と呼ばれる2つのかすかな灰色の円を含む、胚710の4つの異なる画像を示す。前核720は、受精プロセスの間に出現する卵子710の核である。これらは、胚発生の初期段階で出現することが多く、いくつかの特有な特性を有する。例えば、前核720はほぼ円形であることが多く、またその内部に核小体を含むことが多い。核小体は通常小さいスポットにように見え、それは周囲に比べて特に暗いか、又は特に明るい場合がある。前核720の外観及びその特徴は曖昧であって、その実際の特性と、配置や照明の人工物との両者によって、画像間で大きく変化することが多い。このことが図7の画像ではっきりとわかる。前核720は、一部の画像においては他のもののようには簡単に見分けられない。
【0125】
このような課題を解決するために、本明細書に記載の方法を着床前胚の画像に適用して、培養士の検査の前に、前核の位置、サイズ、形状を識別することが可能である。
上述したように、いくつかの例では、上記の方法の背後にある一般概念として、尤度比検定が使用されることができ、これは潜在的な関心の特徴を画像の残り(又はその一部)と比較し、潜在的な特徴内のピクセルに基づいて判断する。これは、スコア、例えば特性値、を提供し、それを用いて潜在的な特徴を画像内の他の潜在的特徴と比較することができる。すなわち、いくつかのレベルで、関心の特徴として個別に適格性を有し得る複数の領域が存在する可能性があるが、複数の特性に基づいて、潜在的な特徴のいずれが特徴として尤度あるいは確率が最も高いかを決定することによってのみ、実際の関心のある特徴がどれであるかを判断することができる。
【0126】
尤度比検定を使用することは、与えられた特徴の相対的視野を取ることができるために有効な方法である。暗いスポットのような単純な特徴を例にとると、アプリケーションに特有のデータから導かれる何らかの基準を用いて、全ピクセルを「黒」と「黒以外」に分類し、黒いピクセルで満たされたスポットを見つけることで、この暗いスポットを見つけることができる。ただし、複雑な特徴に関しては、画像化されて調査される被写体の性質を含む複数の因子によって決定されるので、それに属するピクセルの値と、属さないピクセルの値との分離は明確とはならない可能性がある。すなわち、画像データの多くの異なるピクセルにおいて、関心の特徴として適格性を有するものは、一定範囲の可能な特性値を有する可能性がある。しかしながら、すべてのピクセルは視覚的な外観に基づいて、特徴に属するか否かの確率を有し、本明細書に開示の方法は、この確率を定量化することができる。この確率を使用して判断することが可能である。
【0127】
本明細書に開示の方法においては、各ピクセル又はピクセル群は1つ以上のスコアを与えられる。各スコアは、そのピクセルが特徴内に出現する頻度を、特徴外に出現する頻度で割ったものの対数を表す、対数尤度比であってよい。こうして、その特徴に「非常に特性的」であるピクセルには非常に高いスコアが与えられ、その特徴に対して「少し特性的」でしかないピクセルには低いスコアが与えられる。その特徴よりもむしろ背景に特性的なピクセルには負のスコアが与えられる。
【0128】
このようにして、ピクセルをより多くの特性に分類できれば、それだけこの方法は関心の特徴をより正確に識別することができるようになる。したがって、解析される特性の選択は、新規の特性の発見に連れて時間と共に適応させることができ、この方法が段階的に更新可能であることが理解されるであろう。
【0129】
本方法は、画像の各ピクセルに対して全体スコア、例えば信頼スコアを決定することを含み得る。この結果、仮想的な「ヒートマップ」が得られ、それを使用して、各ピクセルがある特徴にどれだけ関連するかを示す視覚化したカラーマップを提供することができる。
【0130】
ピクセルの集合のスコアの合計(各スコアが尤度比の対数であれば、これは尤度比の積の対数となる)は従って、そのピクセルの集合が背景ではなくその特徴にどれだけ属する可能性があるかを示す表示となり得る。
【0131】
本発明の実施に使用される装置は、評価対象の画像を取得する撮像器と1以上のコンピュータ装置とからなってよい。コンピュータ装置には、1以上のプロセッサ及びメモリの少なくとも一方が含まれてよい。
【0132】
画像は、撮像器から直接取得してもよいし、あるいはコンピュータ装置あるいはその他のメモリユニットであり得る記憶装置から呼び出されてもよい。したがって、画像は1つの電子ファイル、又は一連のファイルとして保存することができ、これは、固定ディスク又はリムーバブルディスクなどの記憶媒体に保存可能である。画像には、その画像に関するメタデータ、及び/又は注釈やマーキングを含むことが可能であって、これらは本開示の方法の実行を支援する。コンピュータは上述の方法を実行するために、画像処理ソフトを実行可能である。ソフトウェアは、リムーバブルディスク又は固体メモリなどの媒体に記憶されてもよいし、あるいはローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、イントラネット、インターネットなどのネットワークを通してダウンロードされてもよい。
【0133】
本開示の実施形態はコンピュータシステムによって実行するためのプログラム可能コードとして実装されてもよい。
【0134】
コンピュータシステムは1つ以上のプロセッサを含むことができ、それは、特定用途向け又は汎用のデジタル信号プロセッサを含むがこれらに限らない、任意の種類のプロセッサであってよい。プロセッサは通信インフラストラクチャ(例えばバス又はネットワーク)に接続可能である。コンピュータシステムはまた、好ましくはランダムアクセスメモリ(RAM)であるメインメモリを含み、また二次メモリも含んでよい。二次メモリには、例えば、ハードディスクドライブ、及び/又は、フロッピーディスク(登録商標)、磁気テープドライブ、光ディスクドライブなどのリムーバブル記憶ドライブが含まれてよい。リムーバブル記憶ドライブは、周知の方法でリムーバブル記憶部との間で読み出し及び/又は書き込みが可能である。リムーバブル記憶部は、リムーバブル記憶ドライブとの間で読み出し及び書込みが行われる、フロッピーディスク(登録商標)、磁気テープ、光ディスクなどの1以上を含んでよい。理解されるように、リムーバブル記憶部は、その内部にコンピュータソフトウェア及びデータの少なくとも一方を格納したコンピュータ可読記憶媒体を含むことができる。
【0135】
代替的な実装形態において、二次メモリは、コンピュータプログラム又は他の命令をコンピュータシステムにロードさせるための他の類似の装置を含んでもよい。そのような装置は、例えばリムーバブル記憶部及びインタフェースを含んでもよい。そのような装置の例には、リムーバブルメモリチップ(EPROM又はPROM又はフラッシュメモリなど)と関連するソケット、並びに他のリムーバブル記憶部と、ソフトウェアおよびデータをリムーバブル記憶部からコンピュータシステムへ転送可能とするインタフェースが含まれてよい。これに代わって、コンピュータシステムのプロセッサを用いて、リムーバブル記憶部から、プログラムの実行及びデータのアクセスの少なくとも一方が行われてもよい。
【0136】
コンピュータシステムには通信インタフェースも含まれてよい。通信インタフェースは、ソフトウェアおよびデータがコンピュータシステムと外部装置との間で転送されることを可能とする。通信インタフェースの例としては、モデム、ネットワークインタフェース(イーサネット(登録商標)カードなど)、通信ポート、パーソナルコンピュータメモリカード国際協会(PCMCIA)スロットとカード、などが含まれてよい。通信インタフェースを介して転送されるソフトウェアおよびデータは、信号の形態をしており、これは電子信号、電磁信号、光学信号、あるいは通信インタフェースによって受信可能な他の信号であってよい。
【0137】
コンピュータプログラム(コンピュータ制御ロジックとも呼ばれる)は、メインメモリ及び二次メモリの少なくとも一方に格納可能である。コンピュータプログラムは通信インタフェースを介して受信することも可能である。そのようなコンピュータプログラムは実行されると、コンピュータシステムに、本明細書で議論した本発明を実施させることができる。したがって、そのようなコンピュータプログラムは、コンピュータシステムのコントローラに相当する。本発明がソフトウェアを用いて実施される場合、ソフトウェアはコンピュータプログラム製品に格納され、リムーバブル記憶ドライブ、ハードディスク記憶ドライブ又は通信インタフェースを用いてコンピュータシステムにロードされて、いくつかの例を提供可能となる。
【0138】
代替的な実施形態において、本開示の方法及びシステムは、ハードウェア、ファームウェアもしくはソフトウェア、又はそれらの任意の組合せにおける制御ロジックとして実装可能である。
【0139】
上述のように、本開示は、人間のオペレータが達成できない画像解析の複数の異なるシナリオや、最新のコンピュータビジョン、機械学習アルゴリズムで使用され得る。本方法が最適な適用となり得るそのような領域の1つは、成功するIVF着床の予測因子を識別することである。したがって、本発明の実施形態は、着床に成功した胚と着床に成功しなかった胚の静止画像及び動画像を比較して、それにより着床に成功した胚に特有のタイムスタンプ付き特徴を識別することが可能なシステムに関する。そのような特徴は、EMRデータ(例えば遺伝マーカーなど)にも相関させることが可能である。
【0140】
体外受精(IVF)は1978年以来、不妊問題を成功裡に治療することに使用されてきた。現在進行中の研究にも拘らず、これは使用可能な最良のリソースを使用しても、未だに成功率が20%に過ぎない複雑な手順である。
【0141】
IVFは、患者にとって心理的な外傷性を有する高価な手順である。したがって、治療の前にIVFの成功可能性の低い受容者、あるいは着床に最も適する胚を識別することが、IVF手順に係わるコスト、及びそのような手順が患者にもたらす不快さを低減可能とする。
【0142】
IVFの主要な課題の1つは、多胎妊娠とそれに関連する胎児及び母体の合併症の増加である。この問題を制限するために、専門病院は移植する胚の数を減らし、その結果、一部の地域では高次の多胎妊娠の割合が劇的に減少した。双子の割合をさらに減らすために、選択的単一胚移植(eSET)が広く提唱されている。これにより、2以上の胚の移植に比べて妊娠率の低下がもたらされる可能性がある。eSETに関する妊娠率を増加させることが、IVF研究機関の意思決定プロセスにおいて主要な役割を果たす。
【0143】
したがって、IVF手順の胚選択ステップは着床成功のために極めて重要である。
【0144】
選択は一般的に、発生サイクル全体を通した手動の胚の顕微鏡スクリーニングによって遂行される。より最近では、タイムラプスビデオ顕微鏡法により、後での解析のために保存可能な、顕微鏡画像の長時間タイムラプス撮像が可能となった。ただし、保存された画像データは通常は手動で解析されるので、着床成功に関する全ての予測は、キャプチャ画像を精査する専門技術者の技術と経験に頼っている。
【0145】
したがって、着床の前に胚を認定する自動的アプローチが必要であり、それがあれば非常に有利となるであろう。
【0146】
別段の定義がない限り、本開示で使用する全ての技術的および科学的用語は、本発明が属する技術分野の当業者に一般的に理解されるものと同じ意味を有する。本明細書に記述のものと類似又は同等の方法及び材料が、本発明の実施及び検査に使用可能であるが、適切な方法及び材料を以下に記述する。矛盾する場合には、定義を含め本発明の明細書が優先される。さらに、材料、方法及び実施例は、例示にすぎず、限定することを意図するものではない。
【0147】
本開示の方法及びシステムの実施は、選択されたタスクまたはステップを手動、自動、又はそれらの組み合わせで実行又は完了させることを含み得る。さらに、本発明の方法及びシステムの好適な実施形態の実際の計装機器及び設備によれば、いくつかの選択されたステップは、ハードウェアによって、あるいは任意のファームウェアの任意のオペレーティングシステム上のソフトウェアによって、あるいはそれらの組み合わせによって実施できる。例えばハードウェアとしては、本発明の選択されたステップは、チップ又は回路として実装することができる。ソフトウェアとしては、本発明の選択されたステップは、任意の適切なオペレーティングシステムを用いるコンピュータによって実行される、複数のソフトウェア命令として実装することができる。いずれの場合においても、本発明の方法及びシステムの選択されたステップは、複数の命令を実行するためのコンピュータプラットフォームなどの、データプロセッサによって実行されるものとして記述可能である。
【0148】
本開示は、成功するIVF着床の予測因子を識別するために使用可能なシステムを提供することができる。具体的には、本開示は着床に成功した胚及び失敗した胚の画像/ビデオの処理及び比較をし、それにより着床の成功又は失敗の予測因子を識別することに使用可能である。
【0149】
IVF手順における胚選択は、着床の成功にとって極めて重要である。発生中の胚の画像キャプチャにおいては進歩がみられるが、キャプチャされた画像の解析は未だに技術者によって実行され、したがって手順の成功は技術者の技術と経験に頼っている。これが、最良のIVFクリニックが通常高い成功率を有する理由の1つである。
【0150】
本開示を実行するに当たり、出願人は、着床に成功した胚と成功しなかった胚からキャプチャされた画像(例えばタイムラプスビデオ)から、IVF着床に成功する予測因子を識別するための自動化システムを考案した。
【0151】
したがって、本開示の一態様によれば、成功するIVF着床の予測因子を識別するシステムが提供される。
【0152】
本明細書で使用されるように、成功する着床とは、第6週における超音波で定義される臨床的妊娠、及び出生の少なくとも一方をもたらす、IVF胚の着床を指す。したがって、成功しない着床又は失敗の着床とは、着床に至らないIVF胚の着床を指す。
【0153】
図8は、本明細書においてシステム10として参照されるシステムの一実施形態を示す。システム10は、画像取得装置14から読み出された認定胚の画像シーケンスを格納するデータ記憶装置12と(例えば、クラウド13を介して、又は有線接続により)通信することができる。一つ以上の画像シーケンスに言及するいかなる場合も、これが一組すなわち複数のそのような画像シーケンスを含むことは理解されるであろう。言い換えれば、1つの画像シーケンスに適用される任意の方法ステップは、一組の画像シーケンスに対しても適用され得る。
【0154】
システム10は、着床に成功することが認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第1シーケンスと、着床に成功しないことが認定された着床前胚の発生を追跡するタイムスタンプ付き画像の第2シーケンスとを取得し、任意で記憶するように構成された、コンピュータプラットフォーム16を含む。
【0155】
タイムスタンプ付き画像は、ビデオキャプチャ、タイムラプスキャプチャ又は様々な時間間隔での静止キャプチャから求めることが可能である。例えば、画像は、eSETされてその後子宮での着床に成功したか、あるいは2胚移植されて臨床的に双子妊娠となった、10~100又はそれ以上の胚から取得された、タイムラプス/ビデオ/静止画と、eSET又は2胚移植されてすべて胚着床しなかった、10~100又はそれ以上の胚から取得された、タイムラプス/ビデオ/静止画と、を含む記憶済画像から求めることができる。
【0156】
画像は手動又は自動で、(胚を患者のEMRデータに相関させて)成功あるいは不成功として注釈付けされてもよい。各画像のタイムスタンプは、画像が記録された時刻であって、受精後の時間として報告された正確な時刻を指す。
【0157】
いずれの場合においても、タイムスタンプ付きの画像は、0時間から約150時間までの胚発生の約150時間の期間(受精から受精後6日までの時間)を表し得るもので、1秒から20分の間隔を空けることが可能である。
【0158】
以下に、本発明によって利用される画像のタイムスタンプシーケンスに含まれ得る、発生の典型的な時点を表す。
【0159】
t0:通常のIVFにおける受精が発生する時刻。タイムラプスモニタシステムとその実行が可能なICSI/IMSIの場合、卵母細胞ごとに精子注入の時刻が記録され得るが、それ以外の場合には、患者の卵母細胞群に対して注入が開始されてから終了するまでの中間時点となる。この時点は開始時刻として使用可能である。
【0160】
tPB2:第2極体(PB2)が放出される時刻。これは、PB2が卵母細胞膜から完全に分離されたように見える最初のフレームに注釈される。第2極体の放出は、ウェル内の卵母細胞の位置によって、あるいは通常のIVF受精における卵丘細胞によって、見えない場合がある。
【0161】
tPN:受精状態が確認される時刻。受精は前核が消失する(tPNf)の直前、したがってtZ(前核スコアリングの時刻)に一致して、注釈付けすることが推奨される。これは、それ以上の観察上の動的変化の発生が期待されないからである。個々の前核の出現は、tPNna(個々の前核「n」に対する出現「a」の順番)として更に注釈をつけることができる。例えば第1、第2、第3などの前核が視認可能になった最初の時刻tPN1a、tPN2a、tPN3aなど。
【0162】
tPNf:両方の(あるいは最後の)PNが消失する時刻。この注釈は、胚はまだ1細胞期にあるが、前核がもはや視認できない最初のフレームにつけられる。前核の消失は、個別の前核tPN1f、tPN2fなどに従ってさらに記録され、第1、第2又は更なる前核の消失時刻が(すなわちその出現の注釈と同様に)示され得る。
【0163】
tZ:タイムラプスPN評価の時刻。PNは動的構造であり、運動し、かつ形態がtPNaとtPNfの間で変化し得る(Azzarelloら(2012年)による)。細胞質内での前核の運動と、核膜の消失は、その後の胚盤胞の発生ポテンシャルを示し、胚の発生ポテンシャルの初期兆項を提供する新たなパラメータとなり得ることが最近報告された(Wirkaら(2013年)による)。前核の外観と位置の変化は、前核内部の核小体前駆体(NPBs)の運動に一致し、微分PNスコアリングの推定を可能とする。タイムラプスのユーザグループは、前核の形態変化が完了し終えることから、前核が消失する(すなわちtPNf)前の最後のフレームに、必要であればPNスコアリングの注釈をすることを推奨する。
【0164】
t2:最初の卵割すなわち有糸分裂の時刻。t2は、2つの割球細胞が個別の細胞膜で完全に分離された最初のフレームである。
【0165】
t3:3つの分離した細胞の最初の観測。3細胞期は卵割の第2期の開始を表す。
【0166】
tn:この数の分離した細胞が観測される最初の時刻(割球の接着(compaction)が個別細胞の視覚化を妨げるまで)。
【0167】
tSC:接着の証拠が存在する最初のフレーム。任意の(2つの)細胞の接着が観測される最初のフレーム。
【0168】
tMf/p:これは接着プロセスの終わりを表す。すなわち観測可能な接着が完了するとき。桑実胚は完全又は部分的に接着され得る。ここでfは完全、pは部分を指し、桑実胚は放出された材料を有する。接着の度合い及び時間は、胚盤胞の形成と質に関連することが報告されている(Ivec et al., Fertility and sterility,96巻,6号,2011年12月,1473-1478ページ,e2 2011)。
【0169】
胚盤胞形成の動的発生段階は、既存の静的等級方式では簡単にはスコアをつけることができない(Gardner and Schoolcraft,Fertility and Sterility,72巻,4号,1999年10月,604-609ページ)。例えば、胞胚腔が胚の半分未満の容積を占めるとき(初期胚盤胞)の時刻は、それが胚盤胞の半分以上であるとき(胚盤胞)と明確に差別化することはできない可能性がある。したがって、タイムラプスのユーザグループは、胚盤胞の発生段階を描写する新規のスコアリングシステムの採用を推奨している。ただし、内細胞塊(y)と栄養外胚葉(z)の形態は、固定時点においては動的発生段階に関して記述される時間フレーム内の静的パラメータと一致する等級付けをすることが推奨される。このグループは、割球生検が胚発生及び胚盤胞拡張の動力学を変化させ、それによって非生検胚との形態動態学的比較を混同させ得ることを認めている(Kirkegaard et al., Human Reproduction,28巻,10号,2013年10月1日,2643-2651ページ)。ただし、生検のために栄養外胚葉のヘルニア促進をする、卵割初期における透明帯の促進的なレーザブリーチングは、ブリーチ制御なしの場合に比べて、完全な胚盤胞段階までの下流の発育には影響しないことが報告されている(Campbell et al., 2013 Human Reproduction,28巻,10号,2013年10月1日,2643-2651ページ)。
【0170】
tSB=胞胚形成の開始/スタート。空洞形成の開始が観察される最初のフレーム。
【0171】
tByz=完全胚盤胞。透明帯が薄くなり始める前の最後のフレーム。
【0172】
tEyz=拡張の開始。透明帯が薄くなり始める最初のフレーム。
【0173】
tHNyz=ヘルニア化。透明帯からの細胞の押し出しが観察される最初のフレーム。これは、拡張フェーズの終了と孵化プロセスの開始を示す。
【0174】
tHDyz=孵化した胚盤胞。胚が全体として透明帯から分離する最初のフレーム。
【0175】
初期の着床前期間の動力学に関連するイベントの期間VPは、前核が視認可能な期間である。VP(可視PN)=tPNf-tPNaとして計算される。前核が個別に注釈付けられている場合には、それぞれの期間が計算可能である(例えば、tPN1f-tPN1a)。
【0176】
細胞周期は、細胞がその内容を複製してから2分割する、規則正しいイベントのシーケンスである。細胞周期の継続時間は、単一細胞分裂に従って、あるいは割球数が2倍になる有糸分裂の1ラウンドとして、のいずれかによって、タイムラプス注釈を用いて計算される。最初の細胞周期は、発生が単一細胞で始まるために、両者は同じである。ただし、第2の細胞周期は2つの細胞で始まり、そのいずれもその後分裂してそれぞれが2つの娘細胞を形成することになる。したがって、単一胚細胞サイクルを除いて、2つの個別の割球細胞サイクルがあり、それが2細胞から4細胞へ倍増することになる。
【0177】
胚細胞周期(ECC)は、2から4へ、そして4から8へ細胞の倍増をもたらす。割球「a」の細胞サイクルはt3-t2として計算されてcc2aとして記録される。そして割球bは、t4-t2として計算されてcc2bとして記録される。胚が2細胞から4細胞に達する細胞周期(ECC2)はまた(t4-t2)で計算される。したがって、最後の分裂割球が分裂に要する時間(t2からt4まで)は、ECCの継続時間に等しい。すべての個別の割球はこの時間枠内で分裂する。同じことが第3の細胞サイクルについても当てはまる。胚の第3周期(ECC3)の継続時間は、胚が4細胞から8細胞へ発育するのにかかる時間であり、4つの割球/細胞サイクルa、b、c及びdを含む。ここで、cc3aがt5-t4、cc3bがt6-t4、cc3cがt7-t4、そしてcc3dがt8-t4である。ECC3はt8-t4である。
【0178】
上述のように、初期胚の発生は、等比数列の分裂パターン{1細胞,2細胞,4細胞,8細胞,...}に従う。したがって、同調は、姉妹細胞が2つの新しい細胞に分裂して等比数列の次のステップに達するのに要する時間として測定可能である。
【0179】
s2=第2細胞サイクル内の2つの割球分裂の同調。t4-t3として計算される。
【0180】
s3=第3細胞サイクル内の4つの割球分裂の同調。t8-t5として計算される。
各細胞質分裂の継続時間もまた、(イベントの速さと、画像キャプチャ能力とに関係して)、分裂溝が観察される最初のフレームと細胞質分裂が完了する時点とから計算可能である。
【0181】
接着の継続時間(dcom)は、接着の開始から停止までの時間である。完全接着については、(dcom)=tMf-tSCである。部分接着については、(dcom)=tMp-tSCである。
【0182】
胞胚形成の継続時間(dB)は、胞胚形成の開始から、完全胚盤胞形成までの時間(tB-tSB)である。
【0183】
胚盤胞拡張の継続時間(dexp)は、拡張の開始からヘルニア化までの時間(tHN-tE)である。
【0184】
胚盤胞の消滅/再拡張の継続時間(dcol/dre-exp)は、それぞれ事象の開始及び終了に対する、tBCi(n)及びtBCend(n)として定義される。ここで、「n」は続いて起こる事象に対応する(例えば、tBCi1=胚盤胞腔の最初の拡張であり、これはtBCend1=胞胚腔の最初の消滅に続く)。拡張-縮小サイクルの各フェーズの継続時間は計算可能である。消滅の開始は、胞胚腔の体積が、その前のフレーム上の体積(直径)に比較して視覚的に減少する最初のフレームに従って注釈をつけられる。再拡張開始前の最終フレーム(tBCend)が消滅事象の終わりを示す。その間の期間が「消滅継続時間(dcol)」であり、tBCend(n)-tBCi(n)である。再拡張の開始は、胞胚腔の体積が、その前のフレーム上の体積(直径)に比較して視覚的に増大する最初のフレームに従って注釈をつけられる。再拡張の継続時間(dre-exp)は、tre-expend(n)-tre-expi(n)である。
【0185】
ヘルニアの継続時間(dHN)は、ヘルニアの開始から、孵化までの時間(tHN-tHD)である。
【0186】
タイムスタンプ付き画像データに加えて、本システムは電子カルテ(EMR)から患者の特性に関するデータを収集することもできる。そのようなデータには、血液処置、放射線医学、投与薬品、医療診断などのその患者の全医療履歴が含まれ得る。
【0187】
本システムのコンピュータプラットフォームには、取得した画像を修正/変換するソフトウェアが含まれ得る。そのような修正/変換には、カラーフィルタリング/シフティング、カラー変換、画像サイズ変更、エンボス加工、シャープ化加工、エッジ強調などを含むことができる。
【0188】
コンピュータプラットフォームはさらに、着床に成功した胚の特有の特徴を識別して追跡するための、タイムスタンプ付き画像の第1及び第2シーケンスの各画像を処理するためのソフトウェアアプリケーションを含む。そのような特徴は、次いで成功又は不成功の着床の予測因子としてタグ付けされて、未認定の解析画像との比較のために本システムに保存される。
【0189】
これまでに述べたように、本開示は着床前に胚を認定するためのアプロ―チを使用し、これは一人の患者の時系列画像の手動解析により実行される。したがって、手動のアプローチでは、異なる胚の画像シーケンスの比較はしないし、そのような比較の必要性も利点もない。
【0190】
本開示では、着床の成功又は失敗をもたらす胚に特有のタイムスタンプ付き特徴を識別するために、2つ以上の画像シーケンスを横並びに直接比較するので、特徴の極めて重要な変数であるタイムスタンプが正しく整列することを確保するために、これらの画像シーケンスのタイムラインは、整列されなければならない。
【0191】
したがって、本開示のコンピュータプラットフォームは、タイムスタンプ付き画像の第1シーケンスをタイムスタンプ付き画像の第2シーケンスに整列させて、タイムスタンプ付き画像の第1シーケンスとタイムスタンプ付き画像の第2シーケンスとで発生時間を一致させるようにするソフトウェアアプリケーションも含み得る。
【0192】
このような整列はいくつかの手法のうちの1つを用いて実行可能である。例えば、コンピュータプラットフォームが画像の各シーケンスにおける、既知の時点を表す特徴を特定可能である(以下の表1~表3を参照)。この特徴は次いで、全画像シーケンスに対してタイムラインをリセットする(例えば時刻0)ために使用可能である。
【0193】
本システムは、画像間の差異を特定するために、各シーケンス(成功、失敗)の画像を解析可能である。そのような差異は、発生の既知の標識を表す画像特徴や、未知であるが、画像の2つのシーケンスの間の比較が可能な特徴(例えば膜の厚さ)である。様々な特徴に対して、システムは画像の更なる解析を行い、出現時間(特徴が最初に現れる時点)、消失時間、経時的な(特徴の)形態変化の大きさ、出現している時間の長さ、形態変化する時間の長さを求める。特徴と遺伝マーカー(例えば、既知の臨床的突然変異/欠失/挿入)との間のこれまでに分かっていない関連を確立するために、いくつかの特徴は遺伝マーカー(患者の電子カルテ、あるいは着床前の遺伝子検査が行われる場合には胚の全ゲノム配列からわかる)との相関づけが行われる場合もある。
【0194】
本システムで照会及び注釈を行うことができる特徴のリストを以下の表1~表3に既知のタイムスタンプと共に示す。
【表1】

【表2】

【表3】
【0195】
本開示は(静止画又は動画のキャプチャ)画像比較のためのアルゴリズムを使用するので、訓練を積んだ技術者でも検出できないであろう特徴を検出可能である。例えば、本システムでは容易に認識可能である形態変化(例えばの膜の小胞の大きさや厚さの変化)の大きさ又は特徴の初期外観は、非常に小さいか又は微妙であるので、技術者ではその検出又は特徴の初出時間の検知ができない可能性がある。
【0196】
画像の解析は、ANN(人工ニューラルネットワーク)の拡張版である深層学習アルゴリズムによって実行可能である。
【0197】
本発明においては、モデル実装のために、2つの主要な解析アプローチを使用可能である。
【0198】
第1のアプローチでは、いくつかの異なるCNN(畳み込みニューラルネットワーク)モデルを以下の様にパイプライン処理に使用可能である。
(i)CNNモデルを、既存の各特徴に対して、画像セグメンテーションとインスタンスセグメンテーションに使用可能である。
(ii)RNNモデルは、CNNモデルからの出力を利用して、各画像(ビデオフレーム)に対して関連する状態(すなわちst)を分類することができる。
異なる各状態にはそれ自身のCNNがあり、それがその状態の質の格付けを担っている。これはまたいくつかの方法で実装可能である。
(a)グレードを予測するためのRNNモデル
(b)各フレームに対するグレード分類と全フレームに対する計算された平均グレード
(iii)これにより、DNN(ディープニューラルネットワーク)が状態グレード、タイミング及び患者の医療ファイル(EMR)からのデータを処理して、胚移植のチャンスを推定することができる。
【0199】
第2のアプローチでは、1つ以上の教師あり学習モデルを使用可能である。
(i)ConvNetを使用したフレームごとの分類
(ii)1つのネットワークで時間分散ConvNetを使用し、RNNへ特徴を伝送
(iii)3D畳み込みネットワークを使用
(iv)ConvNetで各フレームから特徴を抽出し、そのシーケンスを別個のRNNへ伝送
(v)ConvNetで各フレームから特徴を抽出し、そのシーケンスを別個のMLPへ伝送
【0200】
一例では、図1図7のいずれかとの関連で前に説明した画像解析方法の使用を実装することで、上記の様々な形態動態学的パラメータを決定し得る。従って、例えば図1の画像解析法を使用して、第1のタイムラプス画像における体外胚の1つ以上の特徴的な特徴と、第2のタイムラプス画像における同じ1つ以上の特徴的な特徴を識別することが可能である。この特徴は、上記の表1~表3で述べたパラメータのいずれかに関係し得る。例えば、特徴は、極体、前核、割球、胚盤胞、透明帯などの1つ以上を含むことができる。特徴が識別されると、位置、サイズ、形状、壁又は膜の厚さ、色、テキスチャ、又は特徴の配向などの特徴から、様々なパラメータを測定又は決定することが可能である。さらに、特徴の動的挙動も決定可能である。そのような特徴には、運動、速度、成長、衰退、ヘルニア化、開始、及び有糸分裂イベントが含まれてよい。これにより、画像解析を用いて、上で説明したように、前述の形態動態学的パラメータを正確に検出して測定することが可能となり得る。
【0201】
上で識別される形態動態学的パラメータのいくつかは当分野では知られているが、これまでに開示されていないのは、どのように形態動態学的パラメータ用いて体外胚の生存能力をうまく予測するかである。本開示によるシステム及び方法を提供することで、出願人は、形態動態学的パラメータがより密接にモニタ出来るように、特徴を正確に識別する信頼性のある方法を提供する。
【0202】
本開示の方法は、上に述べた形態動態学的パラメータの一部分のみの使用を含んでもよい。本方法は、パラメータを2つあるいは3つしか使用しなくてもよい。或いは、本方法は、3から30の間の異なる形態動態学的パラメータの内の任意の数のパラメータを使用してもよい。
【0203】
一例において、関心のある特徴は、前核に限られてもよい。具体的には一例において、前核の半径、消失、及び運動のみが、生存能力の決定に使用されるパラメータであってよい。
【0204】
半径は前核の平均半径であってよい。平均半径は、本開示の方法を用いて識別された前核、具体的には前核である最も高い確率を有すると判定されたものにより測定可能である。
【0205】
前核のそれぞれの平均半径を相互に比較して、平均半径への近さを決定することができる。これにより、胚の生存能力の第1の指標因子を与えることができ、これは単独では決定的ではないかもしれないが、他の1以上のパラメータと集合的に考慮することで有意な示唆を提供し得る。
【0206】
上述したように、平均半径と共に使用され得る別のパラメータとしては、前核が消失する間の時間経過がある。したがって、本開示の方法を使用することで、両方の前核の消失イベントを正確に評価し、より正確にモニタすることができる。これにより、2つの前核の消失の比較方法の決定も、より正確に評価可能となる。
【0207】
更なるパラメータは平均的な動きに係わるものであってもよい。これは上で説明した画像解析技術によって提供される特徴の正確な認識によって促進可能である。
【0208】
図9は、記憶装置からの画像シーケンスの読み出しから、保存、準備、構造化データの付加、解析、アルゴリズムパスを介して、予測因子として供し得る特徴の識別に至るまでの、本発明のアプローチを概説するフローチャートである。フローチャートは本システムの全体構成内の各モジュールにおけるデータフローを表す。
【0209】
本開示の文脈においては、画像シーケンスの読み出しは、サンプル及び特徴の画像の読み出しに関係し得ることが理解されよう。画像シーケンスは、時間的に分離した画像及びは異なる焦点面の画像の少なくとも一方であってよい。これらの画像は次いで(例えばEMR及びビデオ記憶装置の少なくとも一方に)記憶されてよい。これらの画像はそれにより、本明細書で説明したような任意の方法での使用に備えることができる。このような方法には、当分野で知られている、通常の画像処理技術の任意のものが含まれてよい。あるいは、画像の準備には、本明細書で説明したような画像処理法の使用が含まれてもよい。次いで構造化データが追加されてよい。データは解析及びアルゴリズム的な経路に進んでもよく、これは本明細書に記載の任意の方法の使用を含むことができる。前に説明したように、予測因子として使用するための特徴が識別され得る。このプロセスからの最終出力は、ウェブAPIに、そして随意でモバイル装置及び/又はコンピュータなどの最終ユーザ装置へ転送されることができる。
【0210】
本特許の特許期間の間に、多くの関連する画像キャプチャ法が開発されることが予想されるが、画像という用語の範囲は、そのような新技術の製品を先見的に含むことを意図している。本明細書で使用される「約」という用語は±10%を指す。
【0211】
本発明の特定の特徴は、わかりやすくするために別々の実施形態の文脈に記述されているものであっても、組み合わせて1つの実施形態として提供可能であることが理解される。逆に、簡潔にするために単一の実施形態の文脈で記述されている、本発明の様々な特徴は、別々に提供されることも、また適切な部分的組合せで提供されることも可能である。
【0212】
本明細書に記載の各方法ステップは、互いの方法ステップと組み合わせて使用することも、あるいは個別に使用することも可能であること、またこれらの方法ステップの順序は特許請求される本発明の範囲から逸脱することなく変更し得ることを理解されたい。
【0213】
本発明は、その特定の実施形態とともに説明したが、多くの代替、修正、及び変形が当業者に明らかなことは明白である。したがって、添付の特許請求の範囲の精神及び広い範囲内にあるそのような代替、修正及び変形の全てを包含することが意図されている。本明細書で言及したすべての刊行物、特許及び特許出願は、各個別の刊行物、特許及び特許出願が具体的かつ個別的に参照により本明細書に組み込まれるように表示された場合と同じ程度に、参照によってその全体が本明細書に組み込まれる。さらに、本出願中のいかなる文献の引用または特定も、承認として解釈されるべきではない。
図1
図2
図3
図4
図5a
図5b
図5c
図5d
図5e
図5f
図5g
図5h
図5i
図5j
図5k
図5l
図6a
図6b
図7
図8
図9