(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-08
(45)【発行日】2023-11-16
(54)【発明の名称】画像処理方法、プログラムおよび記録媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20231109BHJP
G01N 21/17 20060101ALI20231109BHJP
【ＦＩ】
G06T7/00 614
G01N21/17 620
【請求項の数】
11
(21)【出願番号】P 2020106271
(22)【出願日】2020-06-19
(65)【公開番号】P2022001983
(43)【公開日】2022-01-06
【審査請求日】2022-12-19
(73)【特許権者】
【識別番号】000207551
【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス
(74)【代理人】
【識別番号】100105935
【弁理士】
【氏名又は名称】振角 正一
(74)【代理人】
【識別番号】100136836
【弁理士】
【氏名又は名称】大西 一正
(72)【発明者】
【氏名】長谷部 涼
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１９－１３２７１０（ＪＰ，Ａ）
【文献】特開２０１９－１３３４２９（ＪＰ，Ａ）
【文献】特表２０１２－５３１５８４（ＪＰ，Ａ）
【文献】特表２０１７－５２１０６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０１Ｎ ２１／１７
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
胚盤胞期の受精卵を光干渉断層撮像した三次元画像データと光学顕微鏡撮像した二次元画像データとを取得する工程と、前記三次元画像データから、前記受精卵の構造体に対応する構造領域を抽出する工程と、
前記二次元画像データから、前記受精卵の透明帯に対応する領域を抽出し、その平均厚さを求める工程と、
前記構造領域を、外縁から前記構造領域の内部に向かって前記平均厚さの範囲にある領域とそれ以外の領域とに分割する工程と
を備える画像処理方法。
【請求項2】
前記透明帯に対応する領域の抽出は、光学顕微鏡撮像された前記透明帯の画像を教師画像として予め機械学習された分類アルゴリズムを用いて行う請求項１に記載の画像処理方法。
【請求項3】
前記分類アルゴリズムとしてセマンティックセグメンテーション法を用いる請求項２に記載の画像処理方法。
【請求項4】
前記受精卵の光学顕微鏡撮像は焦点深さを異ならせて複数回実行され、それらの画像のうち、前記透明帯に対応する領域の面積が最大のものから、前記透明帯の平均厚さが求められる請求項２または３に記載の画像処理方法。
【請求項5】
前記分類アルゴリズムを用いて抽出された領域の面積に、当該領域の内部と外部との境界における輝度変化の大きさに基づき定めた係数を乗じた値を、前記透明帯に対応する領域の面積を指標する値とする請求項４に記載の画像処理方法。
【請求項6】
前記係数は、前記境界の内部と外部とにおける輝度値の差分の二乗として求められる請求項５に記載の画像処理方法。
【請求項7】
前記構造領域のうち、前記外縁から前記平均厚さの範囲にある領域を、前記透明帯とみなす請求項１ないし６のいずれかに記載の画像処理方法。
【請求項8】
前記構造領域のうち、前記透明帯以外の領域を、内細胞塊および栄養外胚葉の領域とみなす請求項７に記載の画像処理方法。
【請求項9】
前記三次元画像データから、所定値以上の輝度値を有する画素が占める領域を抽出し、当該領域を前記構造領域とみなす請求項１ないし８のいずれかに記載の画像処理方法。
【請求項10】
胚盤胞期の受精卵を光干渉断層撮像した三次元画像データから、前記受精卵の構造体に対応する構造領域を抽出する工程と、前記受精卵を光学顕微鏡撮像した二次元画像データから、前記受精卵の透明帯に対応する領域を抽出し、その平均厚さを求める工程と、
前記構造領域を、外縁から前記構造領域の内部に向かって前記平均厚さの範囲にある領域とそれ以外の領域とに分割する工程と
を、コンピュータに実行させるためのプログラム。
【請求項11】
請求項１０に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、受精卵を断層撮像することで得られる三次元像に対応するデータから、当該受精卵を評価するユーザに有用な情報を提供するための画像処理技術に関するものである。
【背景技術】
【0002】
例えば不妊治療を目的とした生殖補助医療においては、体外で受精させ一定期間培養した胚（受精卵）を体内に戻すことが行われる。しかしながら、その（生殖補助医療における）妊娠成功率は必ずしも高くなく、患者の精神的および経済的な負担も大きい。この問題を解決するために、培養される胚の状態を的確に判断する方法が模索されている。
【0003】
従来、胚培養が良好に進行しているか否かの評価については、例えば顕微鏡観察により医師や胚培養士が目視で行うことが一般的である。その判断指標として例えばVeeck分類やGardner分類などが広く用いられているが、これらは胚の形態学的特徴に対するおおよその判断基準を示したものにすぎず、最終的な評価は評価者の主観的判断に依存しているのが現状である。このため、客観的かつ定量的な評価を可能とするための技術が求められる。
【0004】
このような要求に応えるべく、本願出願人は先に特許文献１、２を開示した。これらの特許文献には、光干渉断層撮像（光コヒーレンストモグラフィ、Optical Coherence Tomography；ＯＣＴ）等の非侵襲の断層撮像技術により撮像した胚（受精卵）の三次元像から、栄養外胚葉と内細胞塊とを識別し分割する方法が記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１９－１３２７１０号公報
【文献】特開２０１９－１３３４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
胚盤胞期の胚（受精卵）において主要な評価対象となる構成要素としては、上記した栄養外胚葉および内細胞塊の他に透明帯がある。しかしながら、特許文献１、２では透明帯に対応する領域を抽出する技術については言及されていない。現実問題としては、胚において栄養外胚葉は透明帯の内側に貼り付くように分布しており、しかもＯＣＴ画像においては両者の輝度情報にほとんど差異がない。このため、ＯＣＴ画像から栄養外胚葉と透明帯とを見分けることは困難である。
【0007】
このように、ＯＣＴ画像において栄養外胚葉と透明帯とを明確に区別して扱う方法は確立されておらず、上記した特許文献１、２に記載の技術でもこの点には未対応である。このことから、これらを個別に評価したいユーザに対し有用な情報を提供するために、ＯＣＴ画像において栄養外胚葉と透明帯とをより精度よく識別することのできる技術が求められる。
【0008】
この発明は上記課題に鑑みなされたものであり、ＯＣＴ撮像により得られる画像データを用いて栄養外胚葉と透明帯とを識別することで、ユーザによる胚（受精卵）の評価作業を効果的に支援することを目的とする。
【課題を解決するための手段】
【0009】
この発明の一の態様は、上記目的を達成するため、胚盤胞期の受精卵を光干渉断層撮像した三次元画像データと光学顕微鏡撮像した二次元画像データとを取得する工程と、三次元画像データから、受精卵の構造体に対応する構造領域を抽出する工程と、二次元画像データから、受精卵の透明帯に対応する領域を抽出し、その平均厚さを求める工程と、構造領域を、外縁から構造領域の内部に向かって平均厚さの範囲にある領域とそれ以外の領域とに分割する工程とを備える画像処理方法である。
【0010】
また、この発明の他の一の態様は、上記各工程をコンピュータに実行させるためのプログラムである。また、この発明の他の一の態様は、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体である。
【0011】
詳しくは後述するが、特に哺乳類の胚盤胞期の胚（受精卵）の外形は略球形であり、その表面は概ね一定の厚さを有する透明帯で覆われている。そして、透明帯の内面に、位置により様々な厚みを有する栄養外胚葉が貼り付くように分布している。また光干渉断層撮像（ＯＣＴ）により得られた胚の三次元像においては、栄養外胚葉と透明帯との間で輝度の差はほとんど見られない。つまり、ＯＣＴ画像においては、栄養外胚葉と透明帯とを単に輝度値によって区別することは困難である。
【0012】
そこで、本発明では、ＯＣＴ画像と光学顕微鏡画像とを併用することで、ＯＣＴ画像において栄養外胚葉と透明帯とを区別することができるようにしている。具体的には、ＯＣＴ画像からは、胚（受精卵）の構造体に対応する構造領域を抽出する。この時点では、栄養外胚葉、透明帯および内細胞塊の区別は不要であり、受精卵の三次元像において何らかの構造体が占める領域が特定されればよい。ここで、透明帯の厚さが概ね一定であるという知見に基づけば、ＯＣＴ画像から抽出された構造領域のうちその外縁から内側に向かって一定の距離の範囲は透明帯が占めていると仮定することができる。
【0013】
一方、同じ受精卵を光学顕微鏡撮像することで得られた画像からは、透明帯の厚さが見積もられる。光学顕微鏡画像では、栄養外胚葉と透明帯とをその輝度の違いに基づき識別することがＯＣＴ画像よりも容易である。このことを利用して、光学顕微鏡画像から透明帯の厚さを見積もることが可能である。
【0014】
これらの情報から、ＯＣＴ画像において栄養外胚葉と透明帯とを区別することが可能となる。すなわち、ＯＣＴ撮像で得られた受精卵の三次元像のうち、その外縁から起算して、光学顕微鏡画像から求められた透明帯の厚さに対応する範囲は、透明帯が占める領域であるとみなすことができる。一方、ＯＣＴ画像においては透明帯と区別できない構造体のうち、外縁から起算して透明帯の厚さに対応する範囲よりも内側の領域については、栄養外胚葉が占める領域であるとみなすことができる。
【0015】
このように、ＯＣＴ撮像で得られた受精卵の三次元像を、外縁から構造領域の内部に向かって、光学顕微鏡画像から導出された透明帯の厚さの範囲にある領域とそれ以外の領域とに分割することで、透明帯とそれ以外の構造体とを区別することが可能となる。
【発明の効果】
【0016】
上記のように、本発明によれば、ＯＣＴ画像から得られる情報と光学顕微鏡画像から得られる情報とを組み合わせることで、胚（受精卵）のＯＣＴ画像において透明帯が占める領域とその他の領域とを精度よく識別することが可能である。
【図面の簡単な説明】
【0017】
【図1】本発明の画像処理方法を実行する画像処理装置の構成例を示す図である。
【図2】本実施形態において試料となる胚の構造を模式的に示す図である。
【図3】本実施形態における画像処理を示すフローチャートである。
【図4】分類モデルを構築するための具体的手法の例を示すフローチャートである。
【図5】焦点深さと抽出される透明帯の面積との関係を示す図である。
【図6】透明帯に合焦した画像を選出するための処理を示すフローチャートである。
【図7】本実施形態における領域分割の様子を模式的に示す図である。
【発明を実施するための形態】
【0018】
図１は本発明に係る画像処理方法の実行主体として好適な画像処理装置の構成例を示す図である。この画像処理装置１は、液体中に担持された試料、例えば培養液中で培養された胚（受精卵）を断層撮像し、得られた断層画像を画像処理して、試料の一の断面の構造を示す断面画像を作成する。また、複数の断面画像から試料の立体像を作成する。以下の各図における方向を統一的に示すために、図１に示すようにＸＹＺ直交座標軸を設定する。ここでＸＹ平面が水平面を表す。また、Ｚ軸が鉛直軸を表し、より詳しくは（－Ｚ）方向が鉛直下向き方向を表している。
【0019】
画像処理装置１は保持部１０を備えている。保持部１０は、撮像対象物となる試料Ｓを収容する試料容器１１を水平姿勢に保持する。試料容器１１は例えばディッシュと称される平底で浅皿形状の容器である。あるいは例えば、試料容器１１は板状部材の上面に液体を担持可能な窪部（ウェル）Ｗが多数形成されたウェルプレートである。試料容器１１には培養液などの培地Ｍが注入されており、その内部に試料Ｓが担持される。
【0020】
保持部１０に保持された試料容器１１の下方に、撮像部２０が配置される。撮像部２０には、被撮像物の断層画像を非接触、非破壊（非侵襲）で撮像することが可能な光干渉断層撮像（Optical Coherence Tomography；ＯＣＴ）装置が用いられる。詳しくは後述するが、ＯＣＴ装置である撮像部２０は、被撮像物への照明光を発生する光源２１と、光ファイバカプラ２２と、物体光学系２３と、参照光学系２４と、分光器２５と、光検出器２６とを備えている。
【0021】
撮像部２０はさらに、光学顕微鏡撮像を行うための顕微鏡撮像ユニット２８を備えている。より具体的には、顕微鏡撮像ユニット２８は、撮像光学系２８１と、撮像素子２８２とを備えている。撮像光学系２８１は、焦点が試料容器１１内の試料Ｓに合わせられる対物レンズを含む。また撮像素子２８２としては、例えばＣＣＤ撮像素子、ＣＭＯＳセンサー等を用いることができる。顕微鏡撮像ユニット２８としては、明視野撮像または位相差撮像が可能なものが好適である。物体光学系２３と顕微鏡撮像ユニット２８とは、水平方向に移動可能な支持部材（図示省略）により支持されており、水平方向における位置を変更可能となっている。
【0022】
画像処理装置１はさらに、装置の動作を制御する制御ユニット３０と、撮像ユニット２０の可動部を駆動する駆動部４０とを備えている。制御ユニット３０は、ＣＰＵ（Central Processing Unit）３１、Ａ／Ｄコンバータ３２、信号処理部３３、撮像制御部３４、インターフェース（ＩＦ）部３５、画像メモリ３６およびメモリ３７を備えている。
【0023】
ＣＰＵ３１は、所定の制御プログラムを実行することで装置全体の動作を司り、ＣＰＵ３１が実行する制御プログラムや処理中に生成したデータはメモリ３７に保存される。Ａ／Ｄコンバータ３２は、撮像ユニット２０の光検出器２６および撮像素子２８２から受光光量に応じて出力される信号をデジタルデータに変換する。信号処理部３３は、Ａ／Ｄコンバータ３２から出力されるデジタルデータに基づき後述する信号処理を行って、被撮像物の画像を作成する。こうして作成された画像データは、画像メモリ３６により適宜記憶保存される。
【0024】
撮像制御部３４は、撮像部２０の各部を制御して撮像処理を実行させる。具体的には、撮像制御部３４は、ＯＣＴ撮像用の物体光学系２３と光学顕微鏡撮像用の顕微鏡撮像ユニット２８とを選択的に、撮像試料Ｓを撮像視野に収める所定の撮像位置に位置決めする。物体光学系２３が撮像位置に位置決めされると、撮像制御部３４は、撮像部２０に後述するＯＣＴ撮像処理を実行させて、試料Ｓの立体構造を表す三次元画像データを取得させる。一方、顕微鏡撮像ユニット２８を撮像位置に位置決めしたときには、撮像制御部３４は、撮像光学系２８１により撮像素子２８２の受光面に結像される試料Ｓの平面像を表す二次元画像データを、光学撮像ユニット２８に取得させる。
【0025】
インターフェース部３５は画像処理装置１と外部との通信を担う。具体的には、インターフェース部３５は、外部機器と通信を行うための通信機能と、ユーザからの操作入力を受け付け、また各種の情報をユーザに報知するためのユーザインターフェース機能とを有する。この目的のために、インターフェース部３５には、装置の機能選択や動作条件設定などに関する操作入力を受け付け可能な例えばキーボード、マウス、タッチパネルなどの入力デバイス３５１と、信号処理部３３により作成された断層画像や３Ｄ復元部３４により作成された立体像など各種の処理結果を表示する例えば液晶ディスプレイからなる表示部３５２とが接続されている。
【0026】
撮像部２０では、例えば発光ダイオードまたはスーパールミネッセントダイオード（ＳＬＤ）などの発光素子を有する光源２１から、広帯域の波長成分を含む低コヒーレンス光ビームが出射される。細胞等の試料を撮像する目的においては、入射光を試料の内部まで到達させるために、例えば近赤外線が用いられることが好ましい。
【0027】
光源２１は光ファイバカプラ２２を構成する光ファイバの１つである光ファイバ２２１に接続されており、光源２１から出射される低コヒーレンス光は、光ファイバカプラ２２により２つの光ファイバ２２２，２２４への光に分岐される。光ファイバ２２２は物体系光路を構成する。より具体的には、光ファイバ２２２の端部から出射される光は物体光学系２３に入射する。
【0028】
物体光学系２３は、コリメータレンズ２３１と対物レンズ２３２とを備えている。光ファイバ２２２の端部から出射される光はコリメータレンズ２３１を介して対物レンズ２３２に入射する。対物レンズ２３２は、光源２１からの光（観察光）を試料に収束させる機能と、試料から出射される反射光を集光して光ファイバカプラ２２に向かわせる機能とを有する。図では単一の対物レンズ２３２が記載されているが、複数の光学素子が組み合わされていてもよい。被撮像物からの反射光は対物レンズ２３２、コリメータレンズ２３１を介し信号光として光ファイバ２２２に入射する。対物レンズ２３２の光軸は試料容器１１の底面に直交しており、この例では光軸方向は鉛直軸方向と一致している。
【0029】
ＣＰＵ３１が撮像制御部３４に制御指令を与え、これに応じて撮像制御部３４は撮像部２０に所定方向への移動を行わせる。より具体的には、撮像制御部３４は、撮像部２０を水平方向（ＸＹ方向）および鉛直方向（Ｚ方向）に移動させる。撮像部２０の水平方向の移動により、撮像範囲が水平方向に変化する。また、撮像部２０の鉛直方向の移動により、対物レンズ２３２の光軸方向における焦点位置が、被撮像物である試料Ｓに対して変化する。
【0030】
光源２１から光ファイバカプラ２２に入射した光の一部は光ファイバ２２４を介して参照光学系２４に入射する。参照光学系２４は、コリメータレンズ２４１および参照ミラー２４３を備えており、これらが光ファイバ２２４とともに参照系光路を構成する。具体的には、光ファイバ２２４の端部から出射される光がコリメータレンズ２４１を介して参照ミラー２４３に入射する。参照ミラー２４３により反射された光は参照光として光ファイバ２２４に入射する。
【0031】
参照ミラー２４３は、撮像制御部３４からの制御指令によって作動する進退部材（図示省略）により支持されて、Ｙ方向に進退移動可能である。参照ミラー２４３がＹ方向、つまりコリメータレンズ２４１に対し接近および離間方向に移動することで、参照ミラー２４３により反射される参照光の光路長が調整される。
【0032】
試料の表面もしくは内部の反射面で反射された反射光（信号光）と、参照ミラー２４３で反射された参照光とは光ファイバカプラ２２で混合され光ファイバ２２６を介して光検出器２６に入射する。このとき、信号光と参照光との間で位相差に起因する干渉が生じるが、干渉光の分光スペクトルは反射面の深さにより異なる。つまり、干渉光の分光スペクトルは被撮像物の深さ方向の情報を有している。したがって、干渉光を波長ごとに分光して光量を検出し、検出された干渉信号をフーリエ変換することにより、被撮像物の深さ方向における反射光強度分布を求めることができる。このような原理に基づくＯＣＴ撮像技術は、フーリエドメイン（Fourier Domain）ＯＣＴ（ＦＤ－ＯＣＴ）と称される。
【0033】
この実施形態の撮像部２０は、光ファイバ２２６から光検出器２６に至る干渉光の光路上に分光器２５が設けられている。分光器２５としては、例えばプリズムを利用したもの、回折格子を利用したもの等を用いることができる。干渉光は分光器２５により波長成分ごとに分光されて光検出器２６に受光される。
【0034】
光検出器２６が検出した干渉光に応じて光検出器２６から出力される干渉信号をフーリエ変換することで、試料のうち、照明光の入射位置における深さ方向、つまりＺ方向の反射光強度分布が求められる。試料容器１１に入射する光ビームをＸ方向に走査することで、ＸＺ平面と平行な平面における反射光強度分布が求められ、その結果から当該平面を断面とする試料の断層画像を作成することができる。その原理は周知であるため、詳細な説明は省略する。
【0035】
また、Ｙ方向におけるビーム入射位置を多段階に変更しながら、その都度断層画像の撮像を行うことで、試料をＸＺ平面と平行な断面で断層撮像した多数の断層画像を得ることができる。Ｙ方向の走査ピッチを小さくすれば、試料の立体構造を把握するのに十分な分解能の画像データを得ることができる。これらの断層画像データから、試料の立体像に対応する三次元画像データ（いわゆるボクセルデータ）を作成することができる。
【0036】
このように、この画像処理装置１は、試料容器１１に培地Ｍとともに担持された試料Ｓの画像を取得する機能を有する。画像としては、光学顕微鏡撮像により得られる二次元画像データと、ＯＣＴ撮像により得られる断層画像データおよびそれに基づく三次元画像データとを取得可能である。
【0037】
以下、上記のように構成された画像処理装置１を用いて実行可能な、本発明に係る画像処理方法の一実施形態について説明する。この実施形態における画像処理は、試料Ｓとして胚盤胞期の受精卵（以下、単に「胚」という）を撮像し、その画像から、当該胚を構成する主たる構造体である透明帯、栄養外胚葉および内細胞塊に対応する領域を個別に抽出する、という内容を有するものである。
【0038】
これにより得られたデータに基づき、ユーザ（具体的には医師または胚培養士）による胚の評価作業を効果的に支援することが可能となる。例えば不妊治療を目的とする胚の培養において、培養が良好に進行しているか否かを判断するための知見を得ることを目的として、本実施形態の画像処理方法を適用することができる。
【0039】
図２は本実施形態において試料となる胚の構造を模式的に示す図である。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。図２は胚盤胞期における胚の内部構造を模式的に示すものである。胚盤胞期においては、胚Ｅは内部に胞胚腔Ｂとよばれる空洞を有している。より具体的には、卵割の進んだ細胞が胚の表面に薄い層として並び栄養外胚葉Ｔを形成し、栄養外胚葉Ｔで囲まれる内部空間が胞胚腔Ｂを形成する。また、内部空間の一部に、多数の細胞が密集した内細胞塊Ｉが形成される。
【0040】
さらに、栄養外胚葉Ｔの外側表面を覆うように透明帯ＺＰが形成される。透明帯ＺＰは糖タンパク質を主体とする略均一な厚みを有する膜である。一方、多数の細胞が集まって形成される栄養外胚葉Ｔは、位置により様々な厚みを有し、透明帯ＺＰの内側表面全体に貼り付くように分布している。なお、図２においては、栄養外胚葉Ｔの厚さのばらつきが実際よりも強調されている。
【0041】
胚Ｅを構成するこれらの構造体、すなわち透明帯ＺＰ、栄養外胚葉Ｔおよび内細胞塊Ｉは、胚の評価における着目領域として重要な意味を有するものである。このため、撮像された画像からこれらの構造体に対応する領域を自動的に抽出する技術は、ユーザによる胚の評価作業を支援する上で大きな意義を有するものとなる。しかしながら、ＯＣＴ撮像により得られる断層画像あるいは三次元画像では、これらの構造体の間で輝度情報にほとんど差異がない。このため、単純な輝度の違いによる分離では、これらの構造体を精度よく分離することが困難である。
【0042】
このように、ＯＣＴ画像から透明帯ＺＰ、栄養外胚葉Ｔおよび内細胞塊Ｉを自動的に分離する技術は、これまで確立されていなかった。本願出願人が先に開示した特許文献２は、このような問題に鑑み、ＯＣＴ画像から栄養外胚葉と内細胞塊とに対応する領域を分離することができるようにしたものである。ただし、この技術においても、透明帯と栄養外胚葉とが明確に分離されているとは言えなかった。具体的には、この技術により栄養外胚葉として抽出される領域が、透明帯に対応する領域まで包含している可能性がある。
【0043】
本実施形態における画像処理は、光学顕微鏡撮像により得られた二次元画像から得られる情報を利用してＯＣＴ画像を解析することにより、透明帯と栄養外胚葉とを分離しようとするものである。まず、その原理について説明し、次いで具体的な処理内容について説明する。
【0044】
光学顕微鏡撮像により得られる明視野画像または位相差画像においては、その輝度およびテクスチャの違いから透明帯と栄養外胚葉とを区別することは比較的容易である。そして、良好に培養された胚盤胞期の胚では、透明帯は概ね均一な厚みを有している。言い換えれば、胚のうち、その表面から一定の深さまでの領域は透明帯が占めていると考えることができる。これらのことから、光学顕微鏡撮像により得られた二次元画像データから透明帯ＺＰの厚さを特定し、ＯＣＴ撮像により得られた三次元画像データから、胚Ｅの表面から見て透明帯ＺＰの厚さに相当する深さまでの領域を特定することで、透明帯ＺＰに対応する領域を栄養外胚葉Ｔとは分離して抽出することが可能である。
【0045】
図３は本実施形態における画像処理を示すフローチャートである。この処理は、ＣＰＵ３１が予め用意された制御プログラムを実行し、装置各部に所定の動作を行わせることにより実現される。評価対象となる胚が収容された試料容器１１が保持部１０にセットされると（ステップＳ１０１）、当該胚を撮像対象物として、撮像部２０による光学顕微鏡撮像およびＯＣＴ撮像が実行される。
【0046】
図３において、ステップＳ１０２ないしＳ１０５は、光学顕微鏡撮像およびこれにより得られる二次元画像データを用いたデータ処理を表す。一方、ステップＳ１１１およびＳ１１２は、ＯＣＴ撮像およびこれにより得られる三次元画像データを用いた画像処理を表す。これら２つの処理は、時系列的に前後して行われてもよく、この場合いずれの処理を先に行うかは任意である。また、これらの処理を併行して行うことで処理時間の短縮が図られてもよい。
【0047】
まずステップＳ１０２ないしＳ１０５の処理の概要について説明する。この処理では、胚を光学顕微鏡撮像することで胚の二次元画像データを取得し、画像データに基づき透明帯の厚さを算出する。具体的には、顕微鏡撮像ユニット２８が撮像位置に位置決めされ、焦点位置が深さ方向（Ｚ方向）に多段階に変更設定されるとともにその都度撮像が行われる。これにより、焦点深さを互いに異ならせた複数の画像セット、いわゆるＺスタック画像が取得される（ステップＳ１０２）。
【0048】
これらの画像の各々から、透明帯ＺＰに対応する領域が抽出される（ステップＳ１０３）。そして、複数の画像のうち、透明帯ＺＰに最もよく合焦した１枚が選出され（ステップＳ１０４）、選出された画像に基づき、透明帯ＺＰの厚さが算出される（ステップＳ１０５）。これらの処理、すなわち透明帯ＺＰに対応する領域を抽出する処理（ステップＳ１０３）、最も合焦した画像を選出する処理（ステップＳ１０４）および透明帯ＺＰの厚さを算出する処理（ステップＳ１０５）の詳細については後述する。ここまでの処理により、評価対象の胚Ｅにおける透明帯ＺＰの厚さが既知となっている。
【0049】
一方、ステップＳ１１１では、物体光学系２３が撮像位置に位置決めされ、撮像位置を走査させながら胚Ｅが断層撮像されることにより、胚Ｅの三次元画像データが取得される。三次元画像データで示される各部の輝度が所定の閾値で二値化されることにより、胚Ｅの三次元像は、比較的高密度な何らかの構造体で占められて高輝度となる領域（以下、「構造領域」と称する）と、これより低密度で低輝度の領域とに分離される。例えば培地ＭはＯＣＴ画像において低輝度である。
【0050】
構造領域を占める構造体としては、前述の通り、透明帯ＺＰ、栄養外胚葉Ｔおよび内細胞塊Ｉを含み得る。ステップＳ１１３、Ｓ１１４ではこれらが相互に分離される。具体的には、ステップＳ１１３において、透明帯ＺＰに対応する領域が他の構造領域とは分離される。そして、ステップＳ１１４において、栄養外胚葉Ｔと内細胞塊Ｉとが分離される。
【0051】
以下では、上記処理の各工程（ステップＳ１０３～Ｓ１０５、Ｓ１１１）を実行するための各要素技術について順に分説する。なお、ステップＳ１０２のＺスタック画像を取得するための処理は周知であるため、説明を省略する。また、ステップＳ１１４の処理についても、特許文献２に記載された技術を適用可能であるため説明を省略する。
【0052】
ステップＳ１０３では、胚Ｅを光学顕微鏡撮像して得られた二次元画像データから、透明帯ＺＰに対応する領域が抽出される。この処理は適宜の画像処理技術を用いて実行することが可能である。例えば、画像内から特定の特徴を有する領域を抽出するパターン認識技術を適用することができる。具体的には、予め取得された透明帯の画像を教師画像とする教師付き学習により分類モデルを構築し、これを用いて評価対象の胚Ｅの光学顕微鏡画像を領域分割することにより、画像から透明帯ＺＰに対応する領域を抽出することができる。
【0053】
この実施形態では、領域分割処理の一例として公知のセマンティックセグメンテーション法を用いる。セマンティックセグメンテーション法は、ディープラーニングアルゴリズムにより予め構築された分類モデルを用いて、画像内の各画素にラベル付けを行う技術である。本実施形態では、次のようにしてこの方法を利用することができる。
【0054】
まず、透明帯が良好な画像品質で撮像された胚の光学顕微鏡画像を用意し、当該画像中の透明帯に対応する領域の各画素に、その旨を表すラベル付けを行う。そして、元の顕微鏡画像を入力データ、ラベル画像を正解データとしてディープラーニングを実行することで、分類モデルが構築される。こうして予め構築された分類モデルに未知の画像を入力データとして与えることで、当該画像のうち透明帯に対応する領域にその旨のラベルが付された出力画像を得ることができる。このような領域を出力画像から抽出することで、結果的に透明帯を抽出することが可能である。
【0055】
図４は分類モデルを構築するための具体的手法の一例を示すフローチャートである。この処理は、画像を表示する機能およびユーザからの操作入力を受け付ける機能を有する各種のコンピュータ装置により実行可能である。例えば画像処理装置１、あるいはパーソナルコンピュータ等の汎用コンピュータ装置によって実行することが可能である。
【0056】
最初に、透明帯に合焦した（ピントが合った）状態で予め撮像された、胚の光学顕微鏡画像を表示する（ステップＳ２０１）。画像処理装置１では、表示部３５２に当該画像を表示させることができる。こうして表示された画像に対し、ピントの合った透明帯に相当する領域を指定するためのユーザからの教示入力を受け付ける（ステップＳ２０２）。この場合のユーザは、胚の画像に対する十分な知見を有する熟練者であることが望ましい。また、画像処理装置１が用いられる場合、入力デバイス３５１を介して教示入力を受け付けることができる。
【0057】
透明帯として指定された領域にはその旨を示すラベルが付与される（ステップＳ２０３）。こうしてラベル付けされた画像を正解データとし、元の画像を入力データとしてディープラーニングを実行することで、画像から透明帯を抽出するための分類モデルが構築される（ステップＳ２０４）。必要に応じ、透明帯以外のラベルが用いられてもよい。
【0058】
この分類モデルは、透明帯にピントの合った画像を入力画像として構築されたものである。そのため、これを未知のテスト画像に適用してセマンティックセグメンテーション法を実行すると、テスト画像から透明帯としての特徴を強く有する領域が抽出されることになる。こうして透明帯が抽出されると、その厚さを求めることが可能となる。厚さを精度よく求めるためには、画像内のできるだけ広い領域で、透明帯に合焦していることが望ましい。すなわち、透明帯の厚さの算出は、セマンティックセグメンテーション法で抽出される領域の面積ができるだけ広い画像に基づき行われることが望ましいと言える。なお面積については画素数によって表すことが可能である。
【0059】
一方、評価対象の胚Ｅは立体的構造を有しているため、焦点深さを適宜に定めて撮像した画像では、透明帯ＺＰへの合焦状態が必ずしも良好でない場合があり得る。そこで、深さ方向（Ｚ方向）に焦点位置を異ならせて取得されたＺスタック画像から、透明帯ＺＰに相当するものとして抽出される領域の面積が最も大きい１つの画像を選出し、この画像を透明帯ＺＰの厚さ算出に用いる。
【0060】
ステップＳ１０４では、Ｚスタック画像から透明帯ＺＰに最も合焦した画像が選出される。この実施形態におけるセマンティックセグメンテーション法では、画像からピントが合った透明帯の領域が抽出されるから、この領域の面積が最大である画像が、透明帯ＺＰに最も合焦した画像である蓋然性が高いと言える。そのような条件に該当する画像を選出すればよい。
【0061】
図５は焦点深さと抽出される透明帯の面積との関係を示す図である。図５（ａ）の上部には、深さ方向における種々の焦点位置で撮像される光学顕微鏡画像（Ｚスタック画像）と、それらの画像からセマンティックセグメンテーション法により抽出される領域（透明帯ＺＰに相当する領域）との関係が模式的に示されている。また、図５（ａ）の下部のグラフは、撮像時の焦点位置と抽出された領域の面積（画素数）との関係が例示されている。これらに示されるように、Ｚスタック画像のうち最もよく合焦し透明帯ＺＰが鮮明である画像Ｉａにおいて、抽出される領域の面積が最大になる。言い換えれば、Ｚスタック画像のうち抽出された面積が最大である画像に対応する焦点位置を合焦位置とみなすことができる。したがって、この画像Ｉａを、透明帯ＺＰの厚さ算出の基となる画像として選出すればよい。
【0062】
ただし、例えば撮像時の振動等に起因して、画像にブレが生じ、結果として透明帯の見かけ上の面積が実際より大きく画像に現れる場合があり得る。図５（ｂ）はこのような状況を表したものである。例えば画像Ｉｂにおいて、振動に起因する画像のブレが生じているとする。そうすると、透明帯に相当するとして抽出される面積は見かけ上大きくなり、この位置が合焦位置と誤判定されるおそれがある。
【0063】
この実施形態では、抽出された領域の周縁部を挟む画素の間の輝度差を用いることで、この問題の解消が図られている。すなわち、よく合焦した画像では、透明帯に対応する領域とその周囲領域との境界が明りょうであり、したがってそれらの領域の輝度の間にも明確なコントラストがあると考えられる。一方、合焦していない画像では、これらの領域間の境界が明確でなく、したがってコントラストも鮮明でない。
【0064】
このことから、単に抽出された領域の面積（画素数）の大小だけで評価するのに代えて、当該領域のエッジ部分における輝度変化の大きさ、すなわちシャープネスも反映させた評価値を導入することで、上記のような誤判定を低減することができると考えられる。このようなエッジ変化量を定量化する方法としては種々のものがあり、それらを適宜選択して適用可能である。
【0065】
この実施形態ではその一例として、抽出された領域の面積に、エッジ部分における輝度変化の大きさを反映した係数を乗じた値を評価値とする。この係数としては、例えばエッジを挟んだ画素間における輝度の差を二乗した値を用いることができる。より具体的には、抽出された領域のうちエッジに隣接する全ての画素の輝度の平均値と、当該エッジの外側でエッジに隣接する全ての画素の起動の平均値との差を求め、それを二乗することで上記係数が求められる。
【0066】
このようにすると、図５（ｂ）下部のグラフに示されるように、画像Ｉｂにおけるズレの影響による抽出面積の増大が合焦位置の誤判定の原因となるリスクを低減させることができる。なお、ここでは係数を正の値とするために輝度差を二乗しているが、これに代えて輝度差の絶対値を係数として用いてもよい。
【0067】
図６は透明帯に合焦した画像を選出するための処理を示すフローチャートであり、この処理内容は、図３のステップＳ１０４に相当するものである。Ｚスタック画像を構成する各画像に対しては、ステップＳ１０３において透明帯に相当する領域が抽出されている。こうして抽出された領域の面積を求めるため、当該領域に属する画素の数を画像ごとに計数する（ステップＳ３０１）。そして、抽出された領域のエッジの内外においてそれぞれ隣接する画素の平均輝度を求め、その差を算出する（ステップＳ３０２）。これらの値に基づき、各画像の合焦度合いを示す評価値を算出する（ステップＳ３０３）。具体的には、抽出領域の画素数に、エッジ内外での輝度差の二乗で表される係数を乗じることで、評価値を算出する。こうして求められる評価値が最大の画像が、透明帯に最も合焦した画像として選出される。
【0068】
次に、Ｚスタック画像から選出された１つの光学顕微鏡画像から透明帯ＺＰの厚さを算出する、ステップＳ１０５の処理内容について説明する。選出された画像については、ステップＳ１０３において透明帯ＺＰに相当する領域の抽出が行われる。良好に培養された胚Ｅにおいては、概ね一定の幅を有する円環状の領域が、透明帯ＺＰに相当する領域として抽出されていると考えられる。透明帯ＺＰに合焦した画像では、この円環の幅、つまり円環の内側のエッジと外側のエッジとの距離が、透明帯ＺＰの厚さに対応している。
【0069】
円環の幅を求める方法としては種々のものが考えられるが、簡便なものとしては、ＯｐｅｎＣＶ（Open Source Computer Vision）ライブラリに装備されているDistance Transform関数を利用した方法がある。円環の内側エッジ上の１つの画素を注目画素としてDistance Transform関数を適用することで、当該画素から最も近い、円環の外側エッジ上の画素までの距離を特定することができる。この距離が当該位置における円環の幅、つまり透明帯ＺＰの厚さを表す。これとは逆に、円環の外側エッジ上の画素を注目画素とし、これから内側エッジまでの最短距離を求めても等価である。こうして円環上の各位置で求められる幅の平均値を、透明帯ＺＰの厚さの平均値とすることができる。以下ではこの厚さの平均値を符号Ｔａにより表すこととする。
【0070】
以上、ステップＳ１０３～Ｓ１０５の詳細な処理内容について説明した。次に、ステップＳ１１３における、透明帯の分離処理について説明する。ここでは、ＯＣＴ撮像により得られた胚Ｅの三次元像のうち、表面から深さＴａまでの範囲を透明帯ＺＰとみなす。したがって、三次元像からこの範囲のみを抽出することで、透明帯ＺＰに対応する構造体のみを取り出すことができる。一方、この範囲の構造体を消去することで、透明帯ＺＰ以外の構造体、すなわち栄養外胚葉Ｔと内細胞塊Ｉとを取り出すことができる。
【0071】
透明帯ＺＰに相当する領域が消去された三次元像に対しては、特許文献２に記載されているように、残された構造体に対し例えばLocal Thickness演算を利用した領域分割処理を実行することで、栄養外胚葉Ｔに相当する領域と、内細胞塊Ｉに相当する領域とを分離することができる。このようにして、胚Ｅの三次元像から、透明帯ＺＰ、栄養外胚葉Ｔおよび内細胞塊Ｉがそれぞれ占める領域を個別に抽出することができる。
【0072】
図７は本実施形態における領域分割の様子を模式的に示す図である。ここでは理解を容易にするために胚Ｅを二次元像として表現しているが、実際にはＯＣＴ撮像で得られる三次元像に対する処理である。図７（ａ）に示すように、胚Ｅの像の表面Ｅｓから厚さＴａの範囲に含まれる領域が、透明帯ＺＰに相当する領域として扱われる。
【0073】
また、図７（ｂ）に示すように、胚Ｅの三次元像から透明帯ＺＰに相当する領域を消去したものに対しLocal Thickness演算を実行したとき、比較的小さな球体の集合体として表される領域が栄養外胚葉Ｔ、より大きな球体の集合体として表される領域が内細胞塊Ｉとして扱われる。この区別は、例えばLocal Thickness演算により生成される内接球の半径に対して適宜の閾値を設定し、閾値より小さな半径を有する球で表される領域を栄養外胚葉Ｔ、閾値より大きな半径を有する球で表される領域を内細胞塊Ｉとすることにより実現可能である。
【0074】
このようにして分離された各領域をさらに細分化する必要があるときには、特許文献２に記載されたように、分離後の各領域に対し、例えばWatershed法による領域分割を実行するようにしてもよい。
【0075】
以上のように、この実施形態では、胚盤胞期の胚（受精卵）をＯＣＴ撮像して得られる三次元画像データから、胚を構成する構造体のうち透明帯を他の構造体、特にＯＣＴ画像では透明帯との輝度の差が生じにくい栄養外胚葉から分離するために、同じ胚を光学顕微鏡撮像して得られる二次元画像データから得られる情報を利用している。具体的には、透明帯と栄養外胚葉との間でテクスチャの差が現れやすい光学顕微鏡画像から透明帯の平均厚さを算出し、三次元像における構造体のうちその表面から平均厚さの範囲内の領域を、透明帯が占める領域とみなす。透明帯の厚さは概ね一様であることを利用し、光学顕微鏡画像から求められた透明帯の厚さの情報を三次元像に反映させて領域の分割が行われる。こうすることで、透明帯と栄養外胚葉とを精度よく分離することができる。
【0076】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の画像処理装置１は、試料ＳをＯＣＴ撮像および光学顕微鏡撮像する機能、ならびに撮像データから出力画像を作成し出力する機能を有するものである。しかしながら、本発明の画像処理方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた撮像データを取得したコンピュータ装置によって実行することも可能である。これを可能とするために、図３の各処理ステップのうちステップＳ１０１以外をコンピュータ装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。
【0077】
このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを記録したコンピュータ読み取り可能な記録媒体を配布することによっても可能である。また、既存のＯＣＴ撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。
【0078】
また例えば、上記実施形態では、胚Ｅの三次元像から透明帯を分離した後、残った構造体をさらに栄養外胚葉と内細胞塊とに分離しているが、本発明の趣旨においては、透明帯を他の構造体と分離することができれば足り、それ以上の分離は必須ではない。また、これらの領域に分離された画像がさらに加工されてもよい。
【0079】
また例えば、上記実施形態では、ＯＣＴ撮像により得られた三次元像を二値化することで、比較的高密度な構造体が存在する構造領域とそれ以外の領域とを分離している。このようにすることで、画像中の構造体の位置およびそれが占める範囲を明確化することで、例えば胚の表面の位置を、表面の微細な構造や画像ノイズ等の影響を受けることなく明確に特定することができるという利点がある。しかしながら、このような二値化を行わずに透明帯の分離を実行することも可能である。
【0080】
また、上記実施形態は、ＯＣＴ撮像により得られる三次元像から透明帯が占める領域を他の領域とは区別して示すことで、ユーザによる評価作業に有用な情報を提示するものである。ユーザへの情報提示としてはこれに限定されず、三次元像の解析より得られる種々の定量的情報と組み合わせてユーザに提示する態様であってもよい。
【0081】
以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像処理方法においては、透明帯に対応する領域の抽出は、光学顕微鏡撮像された透明帯の画像を教師画像として予め機械学習された分類アルゴリズムを用いて行われてもよい。このような構成によれば、適宜の分類アルゴリズムを用いることで、光学顕微鏡撮像画像から透明帯の形態的特徴を強く有する領域を高い精度で抽出することが可能である。
【0082】
例えば、分類アルゴリズムとして、セマンティックセグメンテーション法を用いることができる。この方法によれば、画像をその特徴に応じて画素単位で分割することが可能である。このため、顕微鏡画像から透明帯の領域を精度よく抽出し、その厚さを適正に評価することができる。
【0083】
また例えば、受精卵の光学顕微鏡撮像は焦点深さを異ならせて複数回実行され、それらの画像のうち、透明帯に対応する領域の面積が最大のものから、透明帯の平均厚さが求められてもよい。広い範囲で透明帯が抽出される画像は、透明帯に最も合焦した、つまり透明帯が明りょうな状態で撮像された画像である蓋然性が高い。このような画像を用いることで、透明帯の厚さを精度よく求めることが可能である。
【0084】
この場合、例えば、分類アルゴリズムを用いて抽出された領域の面積に、当該領域の内部と外部との境界における輝度変化の大きさに基づき定めた係数を乗じた値を、透明帯に対応する領域の面積を指標する値としてもよい。例えば、境界の内部と外部とにおける輝度値の差分の二乗を係数とすることができる。このような構成によれば、撮像時のブレ等によって見かけ上の透明帯の面積が大きくなっている画像を合焦画像と誤判定するリスクを低減させることができる。
【0085】
また例えば、構造領域のうち、外縁から平均厚さの範囲にある領域を透明帯とみなすようにしてもよい。適切に培養された受精卵では、その表面を覆う透明帯の厚さは概ね均一である。したがって、三次元像における受精卵の外縁から見れば、顕微鏡画像から求められた平均厚さに対応する深さまでの領域が透明帯の占める領域であると言える。
【0086】
この場合さらに、構造領域のうち透明帯以外の領域を、内細胞塊および栄養外胚葉の領域とみなしてもよい。適切に培養された胚盤胞期の受精卵を構成する主要な構造体は、透明帯、栄養外胚葉および内細胞塊である。したがって、構造領域のうち透明帯以外の領域については、栄養外胚葉および内細胞塊が占めていると考えることができる。
【0087】
また例えば、三次元画像データから、所定値以上の輝度値を有する画素が占める領域を抽出し、当該領域を構造領域とみなしてもよい。ＯＣＴ画像では、比較的高密度の構造体において輝度が高く、その周囲の低密度領域は低輝度となる。したがって、ある程度の輝度を有する領域を抽出すれば、その領域は高密度の構造体が占める構造領域である蓋然性が高い。
【産業上の利用可能性】
【0088】
この発明は、培養された胚の状態を評価する作業を支援する目的に適用することが可能であり、例えば生殖補助医療における、より妊娠確率が高い良好な胚を選択する目的に利用することができる。
【符号の説明】
【0089】
１ 画像処理装置
１０ 保持部
１１ 試料容器
２０ 撮像部
２１ 光源
２２ 光ファイバカップラ
２３ 物体光学系
２４ 基準ミラー
２６ 光検出器
２８ 顕微鏡撮像ユニット
３４ 撮像制御部
Ｓ 試料
１０ 保持部
１１ 試料容器
２０ 撮像部
２１ 光源
２２ 光ファイバカップラ
２３ 物体光学系
２４ 基準ミラー
２６ 光検出器
２８ 顕微鏡撮像ユニット
３４ 撮像制御部
Ｓ 試料
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】