特開 2022-143662 受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022143662

(43)【公開日】2022-10-03

(54)【発明の名称】受精卵の発生ステージ判定方法、プログラム、記録媒体、撮像方法および撮像装置

(51)【国際特許分類】

   C12Q 1/02 20060101AFI20220926BHJP

   C12M 1/34 20060101ALI20220926BHJP

   G01N 21/17 20060101ALI20220926BHJP

   G03B 35/00 20210101ALI20220926BHJP

   G03B 15/00 20210101ALI20220926BHJP

【ＦＩ】

C12Q1/02

C12M1/34 A

G01N21/17 630

G03B35/00

G03B15/00 U

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021044304

(22)【出願日】2021-03-18

(71)【出願人】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(71)【出願人】

【識別番号】521115155

【氏名又は名称】三宅医院

(74)【代理人】

【識別番号】100105935

【弁理士】

【氏名又は名称】振角 正一

(74)【代理人】

【識別番号】100136836

【弁理士】

【氏名又は名称】大西 一正

(72)【発明者】

【氏名】長谷部 涼

(72)【発明者】

【氏名】黒見 靖

(72)【発明者】

【氏名】小見山 純一

(72)【発明者】

【氏名】沖津 摂

【テーマコード（参考）】

2G059

2H059

4B029

4B063

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059BB14

2G059DD13

2G059EE02

2G059EE09

2G059FF02

2G059FF03

2G059GG02

2G059HH01

2G059JJ01

2G059JJ17

2G059JJ22

2G059KK04

2G059MM01

2G059MM04

2G059MM05

2G059MM09

2G059MM10

2H059AC01

4B029AA07

4B029BB11

4B029FA15

4B063QA18

4B063QQ08

4B063QS40

4B063QX01

(57)【要約】

【課題】受精卵を光学顕微鏡撮像して得られる画像データを用いて、当該受精卵の発生ステージを客観的にかつ精度よく判定する。
【解決手段】本発明に係る受精卵の発生ステージ判定方法は、受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、画像データに基づき画像中の受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、画像データに基づき、画像中の受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、一致度を表す指標値および厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、受精卵の発生ステージを判定する工程とを備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、
前記画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、
前記画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、
前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する工程と
を備える、受精卵の発生ステージ判定方法。

【請求項2】

前記判定基準は、複数の受精卵の画像から求められた前記一致度および前記厚さそれぞれを表す指標値と、前記複数の受精卵それぞれの発生ステージを示す情報とに基づき定められる請求項１に記載の受精卵の発生ステージ判定方法。

【請求項3】

前記判定基準は、前記一致度を表す指標値と前記厚さを表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けたものである請求項２に記載の受精卵の発生ステージ判定方法。

【請求項4】

前記一致度を表す指標値と前記厚さを表す指標値とのそれぞれに閾値を設定し、前記二次元特徴量空間を前記閾値により複数の領域に区分する請求項３に記載の受精卵の発生ステージ判定方法。

【請求項5】

前記複数の受精卵の画像が前記二次元特徴量空間において形成される発生ステージごとのクラスタの境界により、前記二次元特徴量空間を複数の領域に区分する請求項３に記載の受精卵の発生ステージ判定方法。

【請求項6】

前記判定基準は、前記一致度を表す指標値と、事前に撮像された基準画像に対する前記厚さの変化を表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けたものである請求項２に記載の受精卵の発生ステージ判定方法。

【請求項7】

前記一致度を表す指標値は、前記画像中の前記受精卵の外接矩形の長辺と短辺との比として表される請求項１ないし６のいずれかに記載の受精卵の発生ステージ判定方法。

【請求項8】

前記厚さを表す指標値は、前記透明帯に対応する領域の厚さの経時的な変化量に対応する値である請求項１ないし７のいずれかに記載の受精卵の発生ステージ判定方法。

【請求項9】

前記受精卵の発生ステージが、拡張胚盤胞期以前、拡張胚盤胞期、および拡張胚盤胞期以降のいずれであるかを判定する請求項１ないし８のいずれかに記載の受精卵の発生ステージ判定方法。

【請求項10】

前記厚さを表す指標値が当該指標値に対し設定された閾値より大きいとき、前記受精卵の発生ステージが拡張胚盤胞期以前であると判定する請求項９に記載の受精卵の発生ステージ判定方法。

【請求項11】

前記厚さを表す指標値が当該指標値に対し設定された閾値より小さく、かつ、前記一致度を表す指標値が当該指標値に対し設定された閾値より大きいとき、前記受精卵の発生ステージが拡張胚盤胞期であると判定する請求項９または１０に記載の受精卵の発生ステージ判定方法。

【請求項12】

前記透明帯に対応する領域の抽出は、光学顕微鏡撮像された前記透明帯の画像を教師画像として予め機械学習された分類アルゴリズムを用いて行う請求項１ないし１１のいずれかに記載の受精卵の発生ステージ判定方法。

【請求項13】

前記分類アルゴリズムとしてセマンティックセグメンテーション法を用いる請求項１２に記載の受精卵の発生ステージ判定方法。

【請求項14】

前記受精卵の光学顕微鏡撮像は焦点深さを異ならせて複数回実行され、それらの画像のうち、前記透明帯に対応する領域の面積が最大のものから、前記透明帯の厚さが求められる請求項１２または１３に記載の受精卵の発生ステージ判定方法。

【請求項15】

請求項１ないし１４のいずれかに記載の受精卵の発生ステージ判定方法により、前記受精卵の発生ステージを判定する工程と、
判定の結果に応じて前記受精卵を光干渉断層撮像する工程と
を備える撮像方法。

【請求項16】

受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、
前記画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、
前記画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、
前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する工程と
を、コンピューターに実行させるためのプログラム。

【請求項17】

請求項１６に記載のプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。

【請求項18】

受精卵を光学顕微鏡撮像し二次元画像データを取得する二次元画像取得部と、
前記受精卵を光干渉断層撮像し三次元画像データを取得する三次元画像取得部と、
前記二次元画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求めるとともに、前記二次元画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求め、前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する画像処理部と
を備え、
前記画像処理部による判定の結果に応じて、前記三次元画像取得部により前記受精卵の光干渉断層撮像を行う撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、受精卵を撮像して得られる画像データを用いて、当該受精卵の発生ステージを判定する技術に関するものである。

【背景技術】

【0002】

例えば不妊治療を目的とした生殖補助医療においては、体外で受精させ一定期間培養した胚（受精卵）を体内に戻すことが行われる。しかしながら、その（生殖補助医療における）妊娠成功率は必ずしも高くなく、患者の精神的および経済的な負担も大きい。この問題を解決するために、培養される胚の状態を的確に判断する方法が模索されている。

【0003】

従来、胚培養が良好に進行しているか否かの評価については、例えば顕微鏡観察により医師や胚培養士が目視で行うことが一般的である。その判断指標として例えばVeeck分類やGardner分類などが広く用いられているが、これらは胚の形態学的特徴に対するおおよその判断基準を示したものにすぎず、最終的な評価は評価者の主観的判断に依存しているのが現状である。このため、客観的かつ定量的な評価を可能とするための技術が求められる。

【0004】

このような要求に応えるべく、本願出願人は先に特許文献１、２を開示した。これらの特許文献には、光干渉断層撮像（光コヒーレンストモグラフィ、Optical Coherence Tomography；ＯＣＴ）等の非侵襲の断層撮像技術により撮像した胚（受精卵）の三次元像から、栄養外胚葉と内細胞塊とを識別し分割する方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１３２７１０号公報

【特許文献2】特開２０１９－１３３４２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

受精卵の状態、特にその変化を観察する上では、一定の時間間隔をおいて繰り返し撮像を行う必要がある。しかしながら、例えば光学顕微鏡撮像に比べて、ＯＣＴ撮像には長い撮像時間を要する。そのため、特に複数の受精卵を並行して観察する場合には、それらの全てをＯＣＴ撮像しようとすると撮像間隔が長くなってしまうという問題がある。このことから、常に全ての受精卵を順番にＯＣＴ撮像することは困難であり、特に経過観察を要する受精卵を選択して優先的に撮像するのが現実的である。ここで優先的に撮像されるべき受精卵とは、例えば発生ステージが変化する過渡期にある受精卵である。

【0007】

受精卵の発生ステージを判定する手段としては、受精卵の構成要素である栄養外胚葉、内細胞塊、透明帯等を画像解析により定量化し評価する方法が考えられる。しかしながら、現時点ではＯＣＴ画像の輝度情報からステージ判定を精度よく行う方法は確立されていない。また、上記したようにＯＣＴ撮像に時間を要するため、多数の受精卵をそれぞれステージ判定することが求められるような用途には適しているとは言えない。

【0008】

これらの問題を解決するために、より短時間で撮像が可能な、例えば光学顕微鏡撮像により定期的に撮像された画像から、受精卵がどの発生ステージにあるかを客観的に、かつ精度よく判定する方法の確立が望まれる。

【0009】

この発明は上記課題に鑑みなされたものであり、受精卵を光学顕微鏡撮像して得られる画像データを用いて、当該受精卵の発生ステージを客観的にかつ精度よく判定することのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

この発明の一の態様は、上記目的を達成するため、受精卵を光学顕微鏡撮像した画像に対応する画像データを取得する工程と、前記画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求める工程と、前記画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求める工程と、前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する工程とを備える、受精卵の発生ステージ判定方法である。

【0011】

このように構成された発明では、受精卵の発生ステージのうち胚盤胞期以降において、まず透明帯が薄くなってゆき（拡張胚盤胞期）、その後に内部の細胞が透明帯から突出してくる（ハッチング）現象に着目して、光学顕微鏡画像から受精卵の発生ステージ判定を行う。具体的には、画像から抽出される透明帯に対応する領域の厚さの指標値と、受精卵の外形が円にどの程度近いかを表す指標値との組み合わせにより発生ステージの判定を行う。詳しくは後述するが、このように各発生ステージにおける受精卵の形態的特徴に鑑み定量化した指標値を用いて自動的に判定を行うことで、客観的かつ精度のよい判定が可能となった。

【0012】

また、この発明の他の態様は、上記方法の各工程をコンピューターに実行させるためのプログラム、およびそれを記録したコンピューター読み取り可能な記録媒体である。上記方法はコンピューター装置により実行するのに好適なものであり、プログラムとして実現することで、既存のハードウェア資源を用いて判定を行うことが可能となる。

【0013】

また、この発明の他の一の態様は、上記した受精卵の発生ステージ判定方法により、前記受精卵の発生ステージを判定する工程と、該判定の結果に応じて前記受精卵を光干渉断層撮像する工程とを備える撮像方法である。

【0014】

また、この発明の他の一の態様は、受精卵を光学顕微鏡撮像し二次元画像データを取得する二次元画像取得部と、前記受精卵を光干渉断層撮像し三次元画像データを取得する三次元画像取得部と、前記二次元画像データに基づき、前記画像中の前記受精卵に対応する領域を抽出し、当該領域の円に対する一致度を表す指標値を求めるとともに、前記二次元画像データに基づき、前記画像中の前記受精卵の透明帯に対応する領域を抽出し、当該領域の厚さを表す指標値を求め、前記一致度を表す指標値および前記厚さを表す指標値と、これらの組み合わせに対して予め定められた判定基準とに基づき、前記受精卵の発生ステージを判定する画像処理部とを備え、前記画像処理部による判定の結果に応じて、前記三次元画像取得部により前記受精卵の光干渉断層撮像を行う撮像装置である。

【0015】

このように構成された発明では、光学顕微鏡画像から受精卵の発生ステージが判定され、その結果に応じて光干渉断層撮像、すなわちＯＣＴ撮像が実行される。このように、短時間で撮像が可能な光学顕微鏡撮像で得られた画像から受精卵のステージ判定を行い、その結果から、受精卵の詳細な三次元像を取得可能なＯＣＴ撮像を必要なタイミングで実行することで、受精卵の状態変化を効率的に観察することが可能となる。

【発明の効果】

【0016】

上記のように、本発明によれば、短時間で撮像可能な光学顕微鏡撮像により取得された画像を用い、かつ受精卵の発生ステージにおいて特徴的な形状を踏まえた定量化を行うことで、受精卵の発生ステージを客観的にかつ精度よく判定することが可能である。またその判定結果を用いることで、ＯＣＴ撮像を行うべきタイミングを的確に把握することが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の実行主体として好適な画像処理装置の構成例を示す図である。

【図2】本実施形態において試料となる胚の構造を模式的に示す図である。

【図3】胚の透明帯厚さの分布を示す図である。

【図4】胚のアスペクト比の分布を示す図である。

【図5】２つの指標値を組み合わせた場合の胚の分布を示す図である。

【図6】本実施形態における画像処理を示すフローチャートである。

【図7】分類モデルを構築するための具体的手法の一例を示すフローチャートである。

【図8】透明帯に合焦した画像を選出するための処理を示すフローチャートである。

【図9】画像処理の変形例を示すフローチャートである。

【図10】胚の透明帯の厚さ変化量の分布を示す図である。

【発明を実施するための形態】

【0018】

図１は本発明の実行主体として好適な画像処理装置の構成例を示す図である。この画像処理装置１は、液体中に担持された試料、例えば培養液中で培養された胚（受精卵）を断層撮像し、得られた断層画像を画像処理して、試料の一の断面の構造を示す断面画像を作成する。また、複数の断面画像から試料の立体像を作成する。以下の各図における方向を統一的に示すために、図１に示すようにＸＹＺ直交座標軸を設定する。ここでＸＹ平面が水平面を表す。また、Ｚ軸が鉛直軸を表し、より詳しくは（－Ｚ）方向が鉛直下向き方向を表している。

【0019】

画像処理装置１は保持部１０を備えている。保持部１０は、撮像対象物となる試料Ｓを収容する試料容器１１を水平姿勢に保持する。試料容器１１は例えば板状部材の上面に液体を担持可能な窪部が形成された、ディッシュと称される平底で浅皿形状の容器である。試料容器１１には培養液などの培地Ｍが注入されており、その内部に試料Ｓとしての受精卵が担持される。

【0020】

この例では単一の窪部を有する試料容器１１に複数の試料Ｓが担持されているが、これに限定されない。例えば試料容器１１は、ウェルと呼ばれる窪部が１つのプレート状部材に複数配置されたウェルプレートであってもよい。この場合、複数の試料Ｓを１つずつ、複数のウェルにそれぞれ担持させることができる。また例えば、それぞれが試料Ｓを担持する複数のディッシュが、水平方向に並んだ状態で保持部１０に保持され、撮像に供される態様であってもよい。

【0021】

保持部１０に保持された試料容器１１の下方に、撮像部２０が配置される。撮像部２０には、被撮像物の断層画像を非接触、非破壊（非侵襲）で撮像することが可能な光干渉断層撮像（Optical Coherence Tomography；ＯＣＴ）装置が用いられる。詳しくは後述するが、ＯＣＴ装置である撮像部２０は、被撮像物への照明光を発生する光源２１と、光ファイバカプラ２２と、物体光学系２３と、参照光学系２４と、分光器２５と、光検出器２６とを備えている。

【0022】

撮像部２０はさらに、光学顕微鏡撮像を行うための顕微鏡撮像ユニット２８を備えている。より具体的には、顕微鏡撮像ユニット２８は、撮像光学系２８１と、撮像素子２８２とを備えている。撮像光学系２８１は、焦点が試料容器１１内の試料Ｓに合わせられる対物レンズを含む。また撮像素子２８２としては、例えばＣＣＤ撮像素子、ＣＭＯＳセンサー等を用いることができる。顕微鏡撮像ユニット２８としては、明視野撮像または位相差撮像が可能なものが好適である。物体光学系２３と顕微鏡撮像ユニット２８とは、水平方向に移動可能な支持部材（図示省略）により支持されており、水平方向における位置を変更可能となっている。

【0023】

画像処理装置１はさらに、装置の動作を制御する制御ユニット３０と、撮像部２０の可動部を駆動する駆動部４０とを備えている。制御ユニット３０は、ＣＰＵ（Central Processing Unit）３１、Ａ／Ｄコンバータ３２、信号処理部３３、撮像制御部３４、インターフェース（ＩＦ）部３５、画像メモリ３６およびメモリ３７を備えている。

【0024】

ＣＰＵ３１は、所定の制御プログラムを実行することで装置全体の動作を司り、ＣＰＵ３１が実行する制御プログラムや処理中に生成したデータはメモリ３７に保存される。Ａ／Ｄコンバータ３２は、撮像部２０の光検出器２６および撮像素子２８２から受光光量に応じて出力される信号をデジタルデータに変換する。信号処理部３３は、Ａ／Ｄコンバータ３２から出力されるデジタルデータに基づき後述する信号処理を行って、被撮像物の画像を作成する。こうして作成された画像データは、画像メモリ３６により適宜記憶保存される。

【0025】

撮像制御部３４は、撮像部２０の各部を制御して撮像処理を実行させる。具体的には、撮像制御部３４は、ＯＣＴ撮像用の物体光学系２３と光学顕微鏡撮像用の顕微鏡撮像ユニット２８とを選択的に、撮像試料Ｓを撮像視野に収める所定の撮像位置に位置決めする。物体光学系２３が撮像位置に位置決めされると、撮像制御部３４は、撮像部２０に後述するＯＣＴ撮像処理を実行させて、試料Ｓの立体構造を表す三次元画像データを取得させる。一方、顕微鏡撮像ユニット２８を撮像位置に位置決めしたときには、撮像制御部３４は、撮像光学系２８１により撮像素子２８２の受光面に結像される試料Ｓの平面像を表す二次元画像データを、顕微鏡撮像ユニット２８に取得させる。

【0026】

インターフェース部３５は画像処理装置１と外部との通信を担う。具体的には、インターフェース部３５は、外部機器と通信を行うための通信機能と、ユーザからの操作入力を受け付け、また各種の情報をユーザに報知するためのユーザインターフェース機能とを有する。この目的のために、インターフェース部３５には、装置の機能選択や動作条件設定などに関する操作入力を受け付け可能な例えばキーボード、マウス、タッチパネルなどの入力デバイス３５１と、信号処理部３３により作成された断層画像や３Ｄ復元部３４により作成された立体像など各種の処理結果を表示する例えば液晶ディスプレイからなる表示部３５２とが接続されている。

【0027】

撮像部２０では、例えば発光ダイオードまたはスーパールミネッセントダイオード（ＳＬＤ）などの発光素子を有する光源２１から、広帯域の波長成分を含む低コヒーレンス光ビームが出射される。細胞等の試料を撮像する目的においては、入射光を試料の内部まで到達させるために、例えば近赤外線が用いられることが好ましい。

【0028】

光源２１は光ファイバカプラ２２を構成する光ファイバの１つである光ファイバ２２１に接続されており、光源２１から出射される低コヒーレンス光は、光ファイバカプラ２２により２つの光ファイバ２２２，２２４への光に分岐される。光ファイバ２２２は物体系光路を構成する。より具体的には、光ファイバ２２２の端部から出射される光は物体光学系２３に入射する。

【0029】

物体光学系２３は、コリメータレンズ２３１と対物レンズ２３２とを備えている。光ファイバ２２２の端部から出射される光はコリメータレンズ２３１を介して対物レンズ２３２に入射する。対物レンズ２３２は、光源２１からの光（観察光）を試料に収束させる機能と、試料から出射される反射光を集光して光ファイバカプラ２２に向かわせる機能とを有する。図では単一の対物レンズ２３２が記載されているが、複数の光学素子が組み合わされていてもよい。被撮像物からの反射光は対物レンズ２３２、コリメータレンズ２３１を介し信号光として光ファイバ２２２に入射する。対物レンズ２３２の光軸は試料容器１１の底面に直交しており、この例では光軸方向は鉛直軸方向と一致している。

【0030】

ＣＰＵ３１が撮像制御部３４に制御指令を与え、これに応じて撮像制御部３４は撮像部２０に所定方向への移動を行わせる。より具体的には、撮像制御部３４は、撮像部２０を水平方向（ＸＹ方向）および鉛直方向（Ｚ方向）に移動させる。撮像部２０の水平方向の移動により、撮像範囲が水平方向に変化する。また、撮像部２０の鉛直方向の移動により、対物レンズ２３２の光軸方向における焦点位置が、被撮像物である試料Ｓに対して変化する。

【0031】

光源２１から光ファイバカプラ２２に入射した光の一部は光ファイバ２２４を介して参照光学系２４に入射する。参照光学系２４は、コリメータレンズ２４１および参照ミラー２４３を備えており、これらが光ファイバ２２４とともに参照系光路を構成する。具体的には、光ファイバ２２４の端部から出射される光がコリメータレンズ２４１を介して参照ミラー２４３に入射する。参照ミラー２４３により反射された光は参照光として光ファイバ２２４に入射する。

【0032】

参照ミラー２４３は、撮像制御部３４からの制御指令によって作動する進退部材（図示省略）により支持されて、Ｙ方向に進退移動可能である。参照ミラー２４３がＹ方向、つまりコリメータレンズ２４１に対し接近および離間方向に移動することで、参照ミラー２４３により反射される参照光の光路長が調整される。

【0033】

試料の表面もしくは内部の反射面で反射された反射光（信号光）と、参照ミラー２４３で反射された参照光とは光ファイバカプラ２２で混合され光ファイバ２２６を介して光検出器２６に入射する。このとき、信号光と参照光との間で位相差に起因する干渉が生じるが、干渉光の分光スペクトルは反射面の深さにより異なる。つまり、干渉光の分光スペクトルは被撮像物の深さ方向の情報を有している。したがって、干渉光を波長ごとに分光して光量を検出し、検出された干渉信号をフーリエ変換することにより、被撮像物の深さ方向における反射光強度分布を求めることができる。このような原理に基づくＯＣＴ撮像技術は、フーリエドメイン（Fourier Domain）ＯＣＴ（ＦＤ－ＯＣＴ）と称される。

【0034】

この実施形態の撮像部２０は、光ファイバ２２６から光検出器２６に至る干渉光の光路上に分光器２５が設けられている。分光器２５としては、例えばプリズムを利用したもの、回折格子を利用したもの等を用いることができる。干渉光は分光器２５により波長成分ごとに分光されて光検出器２６に受光される。

【0035】

光検出器２６が検出した干渉光に応じて光検出器２６から出力される干渉信号をフーリエ変換することで、試料のうち、照明光の入射位置における深さ方向、つまりＺ方向の反射光強度分布が求められる。試料容器１１に入射する光ビームをＸ方向に走査することで、ＸＺ平面と平行な平面における反射光強度分布が求められ、その結果から当該平面を断面とする試料の断層画像を作成することができる。その原理は周知であるため、詳細な説明は省略する。

【0036】

また、Ｙ方向におけるビーム入射位置を多段階に変更しながら、その都度断層画像の撮像を行うことで、試料をＸＺ平面と平行な断面で断層撮像した多数の断層画像を得ることができる。Ｙ方向の走査ピッチを小さくすれば、試料の立体構造を把握するのに十分な分解能の画像データを得ることができる。これらの断層画像データから、試料の立体像に対応する三次元画像データ（いわゆるボクセルデータ）を作成することができる。

【0037】

このように、この画像処理装置１は、試料容器１１に培地Ｍとともに担持された試料Ｓの画像を取得する機能を有する。画像としては、光学顕微鏡撮像により得られる二次元画像データと、ＯＣＴ撮像により得られる断層画像データおよびそれに基づく三次元画像データとを取得可能である。

【0038】

以下、上記のように構成された画像処理装置１を用いて実行可能な画像処理の一態様について説明する。この画像処理は、本発明に係る受精卵の発生ステージ判定方法および撮像方法の一実施形態に該当するものである。この実施形態における画像処理は、試料Ｓとして胚盤胞期前後の受精卵（以下、単に「胚」という）の三次元像を必要なタイミングで取得するための処理である。

【0039】

例えばGardner分類として知られているように、胚の発生過程はいくつかの発生ステージに分類されており、特に１つのステージから次のステージに移行した直後の胚の観察および評価において三次元像が有用である。ＯＣＴ撮像は、評価対象である胚の三次元像を得られることから、胚を種々の方向から多面的に観察して評価を行うのに適しているが、撮像に比較的長い時間（例えば数分）を要する。このため、複数の胚を順に撮像して評価する場合には１つの胚に対する撮像間隔が長くなってしまい、必要なタイミングで三次元像を取得することができなくなるという問題が生じ得る。

【0040】

そこで、この実施形態では、より短時間で画像を取得可能な顕微鏡撮像ユニット２８により胚を一定の時間間隔でタイムラプス撮像し、得られた画像に基づきＣＰＵ３１が胚の発生ステージ判定を行う。その結果から必要と判断された胚につき、撮像部２０がＯＣＴ撮像を行う。

【0041】

一連の処理は、制御ユニット３０、より具体的にはＣＰＵ３１が予め準備された制御プログラムを実行して、装置各部に所定の動作を行わせることにより実行される。制御プログラムについては、当該制御プログラムを非一時的に記録した適宜の記録媒体から読み込むことによって、あるいは電気通信回線を介して受信することによって、制御ユニット３０に実装することが可能である。

【0042】

図２は本実施形態において試料となる胚の構造を模式的に示す図である。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。図２（ａ）は桑実胚期の胚Ｅ１を模式的に示している。この状態の胚Ｅ１は、卵割により生成された多数の細胞Ｃの塊が、糖タンパク質を主体とする略均一な厚みを有する膜である透明帯ＺＰに包まれた構造を有している。

【0043】

図２（ｂ）は初期胚盤胞期の胚Ｅ２を模式的に示している。初期胚盤胞期においては、胚Ｅ２は内部に胞胚腔Ｂと呼ばれる空洞が形成される。より具体的には、卵割の進んだ細胞Ｃが胚の表面（透明帯ＺＰの内側）に層状に並んで栄養外胚葉Ｔを形成し、栄養外胚葉Ｔで囲まれる内部空間が胞胚腔Ｂを形成する。

【0044】

栄養外胚葉Ｔは、位置により様々な厚みを有し、透明帯ＺＰの内側表面全体に貼り付くように分布しているが、さらに成長すると、図２（ｃ）に示す胚Ｅ３のように、栄養外胚葉Ｔは概ね１層の細胞Ｃからなる薄い層となり、また多数の細胞が一部に密集した内細胞塊Ｉが形成される（胚盤胞期）。成長が進むにつれて胞胚腔Ｂが拡張して胚Ｅ３は大きくなる一方、透明帯ＺＰは薄くなってゆく（拡張胚盤胞期）。

【0045】

そして、図２（ｄ）に示す胚Ｅ４のように、透明帯ＺＰから内部の細胞の脱出（ハッチング）が始まり（脱出胚盤胞期）、最終的には全ての細胞が脱出して子宮に着床することで妊娠が成立する。生殖補助医療においては、外部刺激によって人為的にハッチングを誘発するアシストハッチングも行われる。

【0046】

本実施形態の画像処理では、拡張胚盤胞期を中心として概ね初期胚盤胞期から脱出胚盤胞期までの発生ステージを、光学顕微鏡画像から自動的に判定する。まず、その原理について説明し、次いで具体的な処理内容について説明する。なお、以下の説明において、「拡張胚盤胞期以前」は、拡張胚盤胞期よりも前の発生ステージ（例えば桑実胚期、初期胚盤胞期）を総称する概念であり、拡張胚盤胞期を含まないものとする。また、「拡張胚盤胞期以降」は、拡張胚盤胞期よりも後の発生ステージ（例えば脱出胚盤胞期、孵化後胚盤胞期）を総称する概念であり、拡張胚盤胞期を含まないものとする。また、以下では「発生ステージ」を単に「ステージ」と略称することがある。

【0047】

光学顕微鏡撮像により得られる明視野画像または位相差画像においては、その輝度およびテクスチャの違いから透明帯を他の構造体と区別することは比較的容易である。そして、良好に培養された胚では、透明帯は概ね均一な厚みを有している。拡張胚盤胞期よりも前の段階、すなわち発生の初期段階から初期胚盤胞期においては、透明帯ＺＰの厚さに大きな変化はないが、拡張胚盤胞期では透明帯ＺＰが薄くなってくる。このことから、拡張胚盤胞期とそれ以前のステージとは、画像に現れた透明帯の厚さを指標として識別することができると期待される。

【0048】

一方、拡張胚盤胞期とそれ以降のステージとの識別においては、透明帯ＺＰの厚さは有効な指標とならない。この識別には、胚の外形形状を指標として用いることが考えられる。発生の初期段階から拡張胚盤胞期までは、胚の外形はほぼ球形であり、画像においてはほぼ円形となる。これに対しハッチングが始まって以降では、胚の外形が球形から大きく外れてくる。このことから、画像において胚の外形が円にどの程度近いかを指標として、張胚盤胞期とそれ以降のステージとを識別することができると期待される。

【0049】

以上より、本願発明者は、透明帯ＺＰの厚さを表す指標値と、胚の外形、より具体的には円に対する一致度を表す指標値とを組み合わせることにより、胚が拡張胚盤胞期以前、拡張胚盤胞期、拡張胚盤胞期以降のどの発生ステージにあるかを自動的に判定するとの技術思想を着想した。その準備段階として、熟練した胚培養士により発生ステージが判定された胚の画像を多数収集し、それらの画像から求められる上記指標値と判定結果との間にどのような相関性があるかを調査した。その結果を以下に示す。

【0050】

図３は胚の透明帯厚さの分布を示す図である。透明帯ＺＰの厚さについては、１つの胚につき複数箇所で計測し、それらの計測値の中央値または平均値を、当該胚の透明帯の厚さを代表的に示す指標値とした。透明帯ＺＰの厚さには、胚により３μｍ程度から２０μｍ以上まで大きな個体差がある。しかしながら、図３に示すように、拡張胚盤胞期では透明帯ＺＰは比較的厚く、それ以前ではより薄い範囲に分布するという顕著な傾向がみられる。その境界は、概ね１３μｍ程度である。したがってこの値を閾値Ｔ１として透明帯ＺＰの厚さを評価することで、拡張胚盤胞期とそれ以前とを識別することが可能である。

【0051】

図４は胚のアスペクト比の分布を示す図である。画像における胚の形状と円との一致度を表す指標値としては種々のものが考えられるが、ここでは胚の外接矩形、すなわち胚の周縁に外接する矩形のうち面積が最小となるものを特定し、その短辺と長辺との比であるアスペクト比により表した。胚が円形であれば外接矩形は正方形となり、アスペクト比は１である。そうでない場合にはアスペクト比は１より小さくなり、胚の形状が円から乖離するほどアスペクト比は小さくなる。したがって、このようにして定義されるアスペクト比により、胚の形状と円との一致度を表すことができる。

【0052】

画像オブジェクトの外接矩形を特定するための演算は、一般的な画像処理ソフトウェアに標準的な機能として実装されているものである。このため、その結果を用いたアスペクト比を胚の形状の指標値とすることは、処理を容易にするものである。これ以外に、例えば胚の輪郭について求めた円形度を指標値としても同様の結果が得られると予想される。

【0053】

図４に示されるように、拡張胚盤胞期およびそれ以前のステージでは、アスペクト比は概ね１に近い値であり、しかも両ステージの間で有意な違いが見られない。一方、拡張胚盤胞期以降の胚では、分布の中心はよりアスペクト比の低い領域に広がっている。

【0054】

図５は２つの指標値を組み合わせた場合の胚の分布を示す図である。より具体的には、図５は２つの指標値（透明帯厚さ、アスペクト比）をそれぞれ横軸、縦軸とした二次元座標平面において、各胚が占める位置をこれらの指標値によってプロットした散布図である。また、２つの指標値をそれぞれ特徴量とみなしたときの二次元特徴量空間における分布を表す図であるとも言える。

【0055】

この図から、丸印で示される拡張胚盤胞期以前の胚は図中の右上に、三角形で示される拡張胚盤胞期の胚は図中の左上に、また四角形で示される拡張胚盤胞期以降の胚は図中の下部に、それぞれ集中していることがわかる。このような分布傾向から、図５に点線で示される閾値Ａ１，Ｔ１，Ｔ２を用いて座標平面を６つの領域（１）～（６）に分割することができる。散布図から実験的に求められた閾値Ａ１の値は、約０．８８である。また、閾値Ｔ１、Ｔ２の値は、それぞれ約１３μｍ、２μｍである。

【0056】

これらの領域のうち、領域（３）は、透明帯が閾値Ｔ１より厚く、またアスペクト比が１に近く胚の外形も概ね円形であることから、拡張杯盤期以前の発生ステージに対応していると考えられる。また領域（２）については、胚の外形は概ね円形であるが透明帯ＺＰが閾値Ｔ１より薄いことから、拡張胚盤胞期に対応すると考えられる。

【0057】

また、領域（５）については、透明帯が薄く、またアスペクト比が閾値Ａ１より小さく胚の外形が円から乖離していることから、拡張胚盤胞期以降のステージに対応していると考えられる。孵化後の胚盤胞にあっては、球形（画像においては円形）の外形形状を持ちながら検出される透明帯ＺＰの厚さが実質的にゼロとなるものも存在する。透明帯ＺＰが極めて薄い、すなわち閾値Ｔ２よりも小さい領域（１）、（４）は、このような状態に対応するものと考えることができる。

【0058】

領域（６）では、透明帯ＺＰの厚さについては閾値Ｔ１よりも大きく、この点では拡張胚盤胞期以前の状態であるが、アスペクト比が小さく胚の外形は円形から大きく乖離している。この状態はアシストハッチングが施された胚に対応していると考えられる。アシストハッチングは、例えばレーザー光を用いて透明帯の一部を切断し受精卵の孵化を促進する処置である。領域（６）は、透明帯が十分に薄くなる前に透明帯が切断されたことによりハッチングが開始され、外形の崩れが生じた状態に対応していると考えることができる。

【0059】

このように、透明帯ＺＰの厚さに対応する指標値と、外形形状を表す指標値との組み合わせによって胚の状態を定量化し、それぞれの評価値に設けた閾値に基づき判定を行うことにより、評価対象の胚がどの発生ステージにあるかを客観的かつ自動的に判定することが可能である。閾値については、十分に訓練された専門家（具体的には、胚培養士）による判定結果に基づいて定めることにより、専門家による判定と遜色のない判定結果を得ることが可能となる。

【0060】

ここでは、単純な閾値によって特徴量空間を複数の領域に分割し、各領域にそれぞれ発生ステージを対応付けることにより、２つの指標値から胚がどの発生ステージにあるかを判定するための判定基準を作成する方法について説明した。この他にも、例えば公知のクラス分類技術を用いて判定基準を作成することも可能である。すなわち、各発生ステージにある胚は、二次元特徴量空間において発生ステージごとのクラスタを形成していると考えることができる。そこで、適宜の学習アルゴリズムを用いて各発生ステージが二次元特徴量空間において占めるクラスタの境界を特定しておけば、評価対象の胚について求めた特徴量から当該胚がどのクラスタに属するかによってステージ判定を行うことが可能となる。

【0061】

以上、本実施形態における胚の発生ステージ判定の原理について説明した。続いて、上記原理に基づくステージ判定を組み込んだ、本実施形態の画像処理の具体的な処理内容について説明する。ここでは、判定基準として図５に示す閾値を用いた方法を採用するものとする。

【0062】

図６は本実施形態における画像処理を示すフローチャートである。前記したように、この処理は、ＣＰＵ３１が予め用意された制御プログラムを実行し装置各部に所定の動作を行わせて、試料Ｓを定期的に撮像することにより実現される。評価対象となる胚が収容された試料容器１１がインキュベータから取り出されて保持部１０にセットされると（ステップＳ１０１）、当該胚を撮像対象物として、顕微鏡撮像ユニット２８による光学顕微鏡撮像が実行される。

【0063】

ステップＳ１０２ないしＳ１０５の処理では、胚を光学顕微鏡撮像することで胚の二次元画像データを取得し、画像データに基づき透明帯の厚さを算出する。具体的には、顕微鏡撮像ユニット２８が評価対象の胚を撮像視野に収めることのできる撮像位置に位置決めされ、焦点位置が深さ方向（Ｚ方向）に多段階に変更設定されるとともにその都度撮像が行われる。これにより、焦点深さを互いに異ならせた複数の画像セット、いわゆるＺスタック画像が取得される（ステップＳ１０２）。

【0064】

これらの画像の各々から、透明帯ＺＰに対応する領域が抽出される（ステップＳ１０３）。そして、複数の画像のうち、透明帯ＺＰに最もよく合焦した１枚が選出され（ステップＳ１０４）、選出された画像に基づき、透明帯ＺＰの厚さが算出される（ステップＳ１０５）。これらの処理、すなわち透明帯ＺＰに対応する領域を抽出する処理（ステップＳ１０３）、最も合焦した画像を選出する処理（ステップＳ１０４）および透明帯ＺＰの厚さを算出する処理（ステップＳ１０５）の詳細については後述する。ここまでの処理により、評価対象の胚Ｅにおける透明帯ＺＰの厚さが既知となっている。こうして求められた透明帯ＺＰの厚さを、第１の指標値とする。

【0065】

また、透明帯ＺＰに最も合焦した画像、つまり胚の輪郭が最も鮮明である画像から、１つの胚の全体に対応する全体領域が抽出される（ステップＳ１０６）。全体領域の抽出は、透明帯ＺＰの抽出と同様の画像処理により実行可能である。こうして抽出された全体領域から胚のアスペクト比が算出される（ステップＳ１０７）。具体的には、全体領域の抽出結果に基づき画像を二値化する。そして、長辺、短辺および回転角度が変更可能な矩形を全体領域にフィッティングし、全体領域の周縁に外接する矩形（外接矩形）のうち面積が最小のものを探索する。この外接矩形の長辺に対する短辺の比をアスペクト比とし、これを第２の指標値とする。

【0066】

こうして求められた２つの指標値を所定の判定基準に適用することにより、胚の発生ステージが判定される（ステップＳ１０８）。具体的には、透明帯厚さおよびアスペクト比の２つの指標値と、上記原理に基づき予め求められているそれぞれの指標値に対する閾値とを比較し、評価対象の胚が上記（１）～（６）のどの領域に位置しているかにより、当該胚の発生ステージが判定される。

【0067】

続いて、当該胚の発生ステージ判定結果が、先の撮像による判定結果と比較される（ステップＳ１０９）。先の撮像から発生ステージが変化したと判断すると（ステップＳ１０９においてＹＥＳ）、当該胚が撮像部２０によりＯＣＴ撮像される。こうすることで、胚の発生ステージが変化するごとに当該胚の三次元像が取得される。一方、発生ステージに変化がない場合には（ステップＳ１０９においてＮＯ）、ＯＣＴ撮像はスキップされる。こうすることで必要のないＯＣＴ撮像は省かれるため、他の胚についての撮像が遅延することが防止される。

【0068】

胚の撮像は一定の周期で定期的に実行される。すなわち、撮像が終了すると試料容器１１はインキュベータに戻され、次の撮像タイミングが到来すると再び取り出されて、ステップＳ１０１からの処理が繰り返される。保持部１０が培養環境内に置かれるなど画像処理装置１とインキュベータとが一体化されている場合には、ステップＳ１０１を省略することが可能であり、次の撮像タイミングが到来するまで装置は待機状態となる。これにより、胚のタイムラプス観察が可能となる。

【0069】

このように、比較的短時間で撮像が可能な光学顕微鏡撮像による画像に基づき発生ステージを判定しつつ、必要なタイミングでＯＣＴ撮像を行うことで、この実施形態では、比較的短い周期でのタイムラプス観察を可能にしつつ、必要と判断されたときにＯＣＴ撮像を実行することで、胚の評価に必要な三次元像についても確実に取得することが可能となっている。

【0070】

次に、上記処理の各工程（ステップＳ１０３～Ｓ１０５、Ｓ１０６）を実行するための各要素技術について順に分説する。なお、ステップＳ１０２のＺスタック画像を取得するための処理は周知であるため、説明を省略する。

【0071】

ステップＳ１０３では、胚を光学顕微鏡撮像して得られた二次元画像データから、透明帯ＺＰに対応する領域が抽出される。この処理は適宜の画像処理技術を用いて実行することが可能である。例えば、画像内から特定の特徴を有する領域を抽出するパターン認識技術を適用することができる。具体的には、予め取得された透明帯の画像を教師画像とする教師付き学習により分類モデルを構築し、これを用いて評価対象の胚の光学顕微鏡画像を領域分割することにより、画像から透明帯ＺＰに対応する領域を抽出することができる。

【0072】

この実施形態では、領域分割処理の一例として公知のセマンティックセグメンテーション法を用いる。セマンティックセグメンテーション法は、ディープラーニングアルゴリズムにより予め構築された分類モデルを用いて、画像内の各画素にラベル付けを行う技術である。本実施形態では、次のようにしてこの方法を利用することができる。

【0073】

まず、透明帯が良好な画像品質で撮像された胚の光学顕微鏡画像を用意し、当該画像中の透明帯に対応する領域の各画素に、その旨を表すラベル付けを行う。そして、元の顕微鏡画像を入力データ、ラベル画像を正解データとしてディープラーニングを実行することで、分類モデルが構築される。こうして予め構築された分類モデルに未知の画像を入力データとして与えることで、当該画像のうち透明帯に対応する領域にその旨のラベルが付された出力画像を得ることができる。このような領域を出力画像から抽出することで、結果的に透明帯を抽出することが可能である。

【0074】

図７は分類モデルを構築するための具体的手法の一例を示すフローチャートである。この処理は、画像を表示する機能およびユーザからの操作入力を受け付ける機能を有する各種のコンピューター装置により実行可能である。例えば画像処理装置１、あるいはパーソナルコンピューター等の汎用コンピューター装置によって実行することが可能である。

【0075】

最初に、透明帯に合焦した（ピントが合った）状態で予め撮像された、胚の光学顕微鏡画像を表示する（ステップＳ２０１）。画像処理装置１では、表示部３５２に当該画像を表示させることができる。こうして表示された画像に対し、ピントの合った透明帯に相当する領域を指定するためのユーザからの教示入力を受け付ける（ステップＳ２０２）。この場合のユーザは、胚の画像に対する十分な知見を有する熟練者であることが望ましい。また、画像処理装置１が用いられる場合、入力デバイス３５１を介して教示入力を受け付けることができる。

【0076】

透明帯として指定された領域にはその旨を示すラベルが付与される（ステップＳ２０３）。こうしてラベル付けされた画像を正解データとし、元の画像を入力データとしてディープラーニングを実行することで、画像から透明帯を抽出するための分類モデルが構築される（ステップＳ２０４）。必要に応じ、透明帯以外のラベルが用いられてもよい。

【0077】

この分類モデルは、透明帯にピントの合った画像を入力画像として構築されたものである。そのため、これを未知のテスト画像に適用してセマンティックセグメンテーション法を実行すると、テスト画像から透明帯としての特徴を強く有する領域が抽出されることになる。こうして透明帯が抽出されると、その厚さを求めることが可能となる。厚さを精度よく求めるためには、画像内のできるだけ広い領域で、透明帯に合焦していることが望ましい。すなわち、透明帯の厚さの算出は、セマンティックセグメンテーション法で抽出される領域の面積ができるだけ広い画像に基づき行われることが望ましいと言える。なお面積については画素数によって表すことが可能である。

【0078】

一方、評価対象の胚は立体的構造を有しているため、焦点深さを適宜に定めて撮像した画像では、透明帯ＺＰへの合焦状態が必ずしも良好でない場合があり得る。そこで、深さ方向（Ｚ方向）に焦点位置を異ならせて取得されたＺスタック画像から、透明帯ＺＰに相当するものとして抽出される領域の面積が最も大きい１つの画像を選出し、この画像を透明帯ＺＰの厚さ算出に用いる。

【0079】

ステップＳ１０４では、Ｚスタック画像から透明帯ＺＰに最も合焦した画像が選出される。この実施形態におけるセマンティックセグメンテーション法では、画像からピントが合った透明帯の領域が抽出されるから、この領域の面積が最大である画像が、透明帯ＺＰに最も合焦した画像である蓋然性が高いと言える。そのような条件に該当する画像を選出すればよい。

【0080】

ただし、例えば撮像時の振動等に起因して、画像にブレが生じ、結果として透明帯の見かけ上の面積が実際より大きく画像に現れる場合があり得る。そうすると、透明帯に相当するとして抽出される面積は見かけ上大きくなり、この位置が合焦位置と誤判定されるおそれがある。

【0081】

抽出された領域の周縁部を挟む画素の間の輝度差を用いることで、この問題の解消を図ることが可能である。すなわち、よく合焦した画像では、透明帯に対応する領域とその周囲領域との境界が明りょうであり、したがってそれらの領域の輝度の間にも明確なコントラストがあると考えられる。一方、合焦していない画像では、これらの領域間の境界が明確でなく、したがってコントラストも鮮明でない。

【0082】

このことから、単に抽出された領域の面積（画素数）の大小だけで評価するのに代えて、当該領域のエッジ部分における輝度変化の大きさ、すなわちシャープネスも反映させた評価値を導入することで、上記のような誤判定を低減することができると考えられる。このようなエッジ変化量を定量化する方法としては種々のものがあり、それらを適宜選択して適用可能である。

【0083】

この実施形態ではその一例として、抽出された領域の面積に、エッジ部分における輝度変化の大きさを反映した係数を乗じた値を評価値とする。この係数としては、例えばエッジを挟んだ画素間における輝度の差を二乗した値を用いることができる。より具体的には、抽出された領域のうちエッジに隣接する全ての画素の輝度の平均値と、当該エッジの外側でエッジに隣接する全ての画素の起動の平均値との差を求め、それを二乗することで上記係数が求められる。

【0084】

このようにすると、画像におけるズレの影響による抽出面積の増大が合焦位置の誤判定の原因となるリスクを低減させることができる。なお、ここでは係数を正の値とするために輝度差を二乗しているが、これに代えて輝度差の絶対値を係数として用いてもよい。

【0085】

図８は透明帯に合焦した画像を選出するための処理を示すフローチャートであり、この処理内容は、図６のステップＳ１０４に相当するものである。Ｚスタック画像を構成する各画像に対しては、ステップＳ１０３において透明帯に相当する領域が抽出されている。こうして抽出された領域の面積を求めるため、当該領域に属する画素の数を画像ごとに計数する（ステップＳ３０１）。そして、抽出された領域のエッジの内外においてそれぞれ隣接する画素の平均輝度を求め、その差を算出する（ステップＳ３０２）。これらの値に基づき、各画像の合焦度合いを示す評価値を算出する（ステップＳ３０３）。具体的には、抽出領域の画素数に、エッジ内外での輝度差の二乗で表される係数を乗じることで、評価値を算出する。こうして求められる評価値が最大の画像が、透明帯に最も合焦した画像として選出される。

【0086】

次に、Ｚスタック画像から選出された１つの光学顕微鏡画像から透明帯ＺＰの厚さを算出する、ステップＳ１０５の処理内容について説明する。選出された画像については、ステップＳ１０３において透明帯ＺＰに相当する領域の抽出が行われる。良好に培養された胚においては、概ね一定の幅を有する円環状の領域が、透明帯ＺＰに相当する領域として抽出されていると考えられる。透明帯ＺＰに合焦した画像では、この円環の幅、つまり円環の内側のエッジと外側のエッジとの距離が、透明帯ＺＰの厚さに対応している。

【0087】

円環の幅を求める方法としては種々のものが考えられるが、簡便なものとしては、ＯｐｅｎＣＶ（Open Source Computer Vision）ライブラリに装備されているDistance
Transform関数を利用した方法がある。円環の内側エッジ上の１つの画素を注目画素としてDistance Transform関数を適用することで、当該画素から最も近い、円環の外側エッジ上の画素までの距離を特定することができる。この距離が当該位置における円環の幅、つまり透明帯Ｚの厚さを表す。これとは逆に、円環の外側エッジ上の画素を注目画素とし、これから内側エッジまでの最短距離を求めても等価である。こうして円環上の各位置で求められる幅の平均値または中央値を、透明帯ＺＰの厚さを代表的に表す指標値とすることができる。

【0088】

以上、ステップＳ１０３～Ｓ１０５の詳細な処理内容について説明した。一方、胚の全体領域を抽出するステップＳ１０６についても、基本的は透明帯ＺＰを抽出する処理と同様にすることができる。具体的には、図７のステップＳ２０２において、「透明帯に相当する領域」について教示入力を受けるのに代えて、「細胞の周縁に相当する領域」について教示入力が受け付けられるようにすればよい。この場合の教師用画像としては、拡張胚盤胞期以降の胚の画像も含まれていることが望ましい。

【0089】

こうして教示された画像を正解データとしてディープラーニングを行うことにより構築される分類モデルは、入力画像からセマンティックセグメンテーション法により細胞の全体に対応する領域を抽出する機能を有したものとなる。これ以外の処理については、透明帯の抽出処理と同様にすることができる。こうして得られた学習モデルを用いることで、画像から全体領域を抽出するステップＳ１０６の処理を実行することが可能となる。

【0090】

次に、上記実施形態の画像処理の変形例について説明する。図３に示したように、拡張胚盤胞期以前のステージにある胚では透明帯厚さのばらつきが比較的大きい。これは、受精卵の大きさが発生当初から異なるなどの個体ばらつきに起因するものと考えられる。このため、透明帯厚さに対して設定される閾値については、収集される画像によってばらつきが生じるおそれがある。

【0091】

この点に鑑み、以下に示す変形例では、透明帯の厚さそのものを指標値とするのに代えて、発生の初期段階からの透明帯厚さの変化量を指標値として用いることで、個体差に起因するばらつきの抑制が図られている。

【0092】

図９は画像処理の変形例を示すフローチャートである。この変形例では、ステップＳ１０１の前にステップＳ１２１が、またステップＳ１０５の後にステップＳ１２２がそれぞれ追加されている。この点を除く処理内容は図６のものと同一であるため、同一内容の処理ステップには同一符号を付して説明を省略することとする。

【0093】

最初に、基準画像が撮像され、基準画像内の胚における透明帯ＺＰの厚さが算出される（ステップＳ１２１）。基準画像は、上記した発生の初期段階にある胚の画像であり、拡張胚盤胞期以前のステージにあることが予めわかっている胚を光学顕微鏡撮像することにより得られる。このような胚を試料Ｓとして用い、ステップＳ１０１～Ｓ１０５と同様の処理を実行することで、基準画像における透明帯厚さを求めることができる。

【0094】

ステップＳ１２２では、成長が進んだ胚について求められた透明帯厚さについて、基準画像における透明帯厚さとの差または比が「厚さ変化量」として求められる。この厚さ変化量は、初期段階と比べて透明帯の厚さがどの程度変化したかを表す。これを指標値の１つとして、上記画像処理と同様にアスペクト比との組み合わせでステージ判定を行うことができる。

【0095】

図１０は胚の透明帯の厚さ変化量の分布を示す図である。図３と比較すると、特に拡張胚盤胞期以前における値のばらつきが抑えられていることがわかる。このことから、厚さ変化量を第１の指標値とし、胚の外形形状に関する第２の指標値とを組み合わせてステージ判定を行うことで、判定精度がより向上することが期待される。

【0096】

以上説明したように、上記実施形態の画像処理装置１は、本発明の「撮像装置」の一実施形態に該当するものである。この実施形態において、撮像部２０のうち、顕微鏡撮像ユニット２８が本発明の「二次元画像取得部」として機能する一方、その他の部分が本発明の「三次元画像取得部」として機能している。また、制御ユニット３０、特にＣＰＵ３１および信号処理部３３が、本発明の「画像処理部」として機能している。

【0097】

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態における画像処理には、ステージ判定の結果に基づきＯＣＴ撮像を行うか否かを判断し、必要な場合にはＯＣＴ撮像を行う工程までが含まれている。しかしながら、本発明に係る受精卵の発生ステージ判定方法の構成要素は、光学顕微鏡画像を取得して胚の発生ステージを判定するまでの工程であり、判定結果の利用態様は上記のようなＯＣＴ撮像の要否判断に限られず任意である。したがって、ＯＣＴ撮像機能を持たない光学顕微鏡を用いて本発明のステージ判定方法を実行することも可能である。

【0098】

また例えば、上記実施形態の画像処理装置１は、試料ＳをＯＣＴ撮像および光学顕微鏡撮像する機能、ならびに撮像データから出力画像を作成し出力する機能を有するものである。しかしながら、本発明の発生ステージ判定方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた撮像データを取得したコンピューター装置によって実行することも可能である。これを可能とするために、図６の各処理ステップのうちステップＳ１０１以外をコンピューター装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。

【0099】

このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを非一時的に記録したコンピューター読み取り可能な記録媒体を配布することによっても可能である。また、光学顕微鏡撮像機能とＯＣＴ撮像機能とを有する既存の撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。

【0100】

また、上記実施形態は、発生ステージの判定結果から発生ステージの変化があった胚についてＯＣＴ撮像を実行するように構成されている。すなわち、ＯＣＴ撮像の要否判断基準は、発生ステージの変化があったか否かである。しかしながら、ステージ判定の結果からＯＣＴ撮像の要否を判断する基準はこれに限定されるものではない。

【0101】

以上、具体的な実施形態を例示して説明してきたように、本発明に係る発生ステージ判定方法において、判定基準は例えば、複数の受精卵の画像から求められた一致度および厚さそれぞれを表す指標値と、複数の受精卵それぞれの発生ステージを示す情報とに基づき定めることが可能である。どの発生ステージにあるかを表す情報が利用できる胚の画像が複数あれば、それらの画像から求められる指標値と当該胚の発生ステージとの相関性を特定することが可能であり、その結果を未知の胚のステージ判定における判定基準として利用することが可能となる。

【0102】

また例えば、判定基準は、一致度を表す指標値と厚さを表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けることによって定めることが可能である。より具体的には、一致度を表す指標値と厚さを表す指標値とのそれぞれに閾値を設定し、前記二次元特徴量空間を前記閾値により複数の領域に区分する方法、あるいは、複数の受精卵の画像が二次元特徴量空間において形成される発生ステージごとのクラスタの境界により、二次元特徴量空間を複数の領域に区分する方法が適用可能である。

【0103】

また例えば、判定基準は、一致度を表す指標値と、事前に撮像された基準画像に対する厚さの変化を表す指標値とをそれぞれ特徴量とする二次元特徴量空間をこれらの指標値の値に応じて複数の領域に区分し、各領域と発生ステージとを対応付けたものとすることもできる。受精卵の個体差により、同じ発生ステージにある胚の間でも透明帯の厚さにばらつきが生じることがあり得る。したがって、透明帯の厚さをそのまま指標値に用いた場合、判定結果にばらつきが生じるおそれがある。例えば各胚における透明帯の厚さの経時的な変化量を指標値に用いれば、このような個体差に起因するばらつきを抑制することが可能となる。

【0104】

これらの方法において、一致度を表す指標値は、例えば画像中の受精卵の外接矩形の長辺と短辺との比として表すことが可能である。画像オブジェクトの外接矩形を探索する演算機能は、一般的な画像処理ソフトウェアに標準的に装備されているものである。これを利用することで、胚の判定基準となる指標値の１つを容易に導出することが可能となる。

【0105】

本発明に係る発生ステージ判定方法は、受精卵の発生ステージが、拡張胚盤胞期以前、拡張胚盤胞期、および拡張胚盤胞期以降のいずれであるかを判定する目的に利用することができる。上記した本願発明者の知見によれば、透明帯の厚さに関する指標値と胚全体の外形に関する指標値とを組み合わせることで、これらの各発生ステージを効果的に識別することが可能である。

【0106】

例えば厚さを表す指標値が当該指標値に対し設定された閾値より大きいとき、受精卵の発生ステージは拡張胚盤胞期以前であると判定することができる。また、厚さを表す指標値が当該指標値に対し設定された閾値より小さく、かつ、一致度を表す指標値が当該指標値に対し設定された閾値より大きいときには、受精卵の発生ステージが拡張胚盤胞期であると判定することができる。

【0107】

また、本発明に係る発生ステージ判定方法においては、透明帯に対応する領域の抽出は、光学顕微鏡撮像された透明帯の画像を教師画像として予め機械学習された分類アルゴリズムを用いて行われてもよい。このような構成によれば、適宜の分類アルゴリズムを用いることで、光学顕微鏡撮像画像から透明帯の形態的特徴を強く有する領域を高い精度で抽出することが可能である。

【0108】

例えば、分類アルゴリズムとして、セマンティックセグメンテーション法を用いることができる。この方法によれば、画像をその特徴に応じて画素単位で分割することが可能である。このため、顕微鏡画像から透明帯の領域を精度よく抽出し、その厚さを適正に評価することができる。

【0109】

また例えば、受精卵の光学顕微鏡撮像は焦点深さを異ならせて複数回実行され、それらの画像のうち、透明帯に対応する領域の面積が最大のものから、透明帯の平均厚さが求められてもよい。広い範囲で透明帯が抽出される画像は、透明帯に最も合焦した、つまり透明帯が明りょうな状態で撮像された画像である蓋然性が高い。このような画像を用いることで、透明帯の厚さを精度よく求めることが可能である。

【産業上の利用可能性】

【0110】

この発明は、培養された胚の状態を評価する作業を支援する目的に適用することが可能であり、例えば生殖補助医療において、胚を定期的に観察して必要なタイミングで胚の三次元像を撮像する目的に好適である。

【符号の説明】

【0111】

１ 画像処理装置
１０ 保持部
１１ 試料容器
２０ 撮像部（三次元画像取得部）
２８ 顕微鏡撮像ユニット（二次元画像取得部）
３０ 制御部（画像処理部）
Ｓ 試料

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】