特許 7097686 画像解析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-30

(45)【発行日】2022-07-08

(54)【発明の名称】画像解析装置

(51)【国際特許分類】

   C12M 1/34 20060101AFI20220701BHJP

   C12Q 1/06 20060101ALI20220701BHJP

   G06T 7/00 20170101ALI20220701BHJP

【ＦＩ】

C12M1/34 B

C12Q1/06

G06T7/00 612

【請求項の数】 7

(21)【出願番号】P 2017220350

(22)【出願日】2017-11-15

(65)【公開番号】P2019088243

(43)【公開日】2019-06-13

【審査請求日】2020-08-07

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(73)【特許権者】

【識別番号】515264012

【氏名又は名称】福永 憲隆

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100101203

【弁理士】

【氏名又は名称】山下 昭彦

(74)【代理人】

【識別番号】100104499

【弁理士】

【氏名又は名称】岸本 達人

(72)【発明者】

【氏名】佐波 晶

(72)【発明者】

【氏名】赤井 智紀

(72)【発明者】

【氏名】都築 勇司

(72)【発明者】

【氏名】福永 憲隆

【審査官】山内 達人

(56)【参考文献】

【文献】国際公開第２０１７／１３２６７４（ＷＯ，Ａ１）

【文献】特表２０１２－５３１５８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ１２Ｍ １／３４

Ｃ１２Ｑ １／０６

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／４８

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＣＡｐｌｕｓ／ＭＥＤＬＩＮＥ／ＥＭＢＡＳＥ／ＢＩＯＳＩＳ（ＳＴＮ）

(57)【特許請求の範囲】

【請求項1】

受精処置を施した処置卵の撮影画像から、当該処置卵に含まれる前核の輪郭候補を検出する前核輪郭候補検出器と、
前記前核輪郭候補検出器により検出された輪郭候補の画像と、撮影画像とから、前記前核の個数毎の確率を算出する確率検出器と、
前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する結果出力部と、
を備えることを特徴とする画像解析装置。

【請求項2】

前記結果出力部は、前記所定期間において得られた個数のうち最大の個数を、当該処置卵に含まれる前核の個数と判定することを特徴とする請求項１に記載の画像解析装置。

【請求項3】

前記結果出力部は、前記個数を経時的に示すグラフを表示することを特徴とする請求項１又は２に記載の画像解析装置。

【請求項4】

前記結果出力部は、前記個数の変化点を示す情報を出力することを特徴とする請求項２又は３に記載の画像解析装置。

【請求項5】

前記前核輪郭候補検出器は、前記処置卵の撮影画像である入力データと、当該撮影画像に含まれる前記輪郭候補の形状を示す教師データとを含む複数の学習データにより学習済みであることを特徴とする請求項１乃至４のいずれか一項に記載の画像解析装置。

【請求項6】

前記輪郭候補の形状は円形であり、前記教師データは、前記前核の円周を示すデータであることを特徴とする請求項５に記載の画像解析装置。

【請求項7】

受精処置を施した処置卵の撮影画像から当該処置卵に含まれる前核の輪郭候補を検出し、検出された輪郭候補の画像と、撮影画像とから前記前核の個数毎の確率を算出する検出器と、
前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する結果出力部と、
を備えることを特徴とする画像解析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、受精処置をした卵における前核の状態を判定する技術に関する。

【背景技術】

【0002】

不妊治療分野では、治療率や患者のＱＯＬ（Ｑｕａｌｉｔｙ Ｏｆ Ｌｉｆｅ）の観点から、胚の着床率を予測し、移植対象の胚を選別することが行われている。従来、胚を非侵襲的に評価する手法として、顕微鏡による形態観察と、その際の形態から発育状況を判定することが行われてきた。

【0003】

近年、タイムラプス装置の普及により、上記に加えて経時的な変化をも捉えることが可能となり、ある工程中・ある工程間の形態の時間的長さを指標とする試みもなされてきた。このような発育予測指標としては、これまで、胚の形態、卵割球の数や断片化の程度、これらの時間的関係性などが報告されている。また、形態以外の指標としては、胚の呼吸量（酸素消費量）や代謝物濃度などが知られている。この種の手法は、例えば特許文献１、２などに記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５４８１６９６号公報

【文献】特許第５８０７２８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来は、上記のような様々な指標が提案されてきたが、胚の発育の最も初期のイベントである受精の確認については、確立された方法がない状況であった。本発明は、受精処置をした卵（以下、「処置卵」と呼ぶ。）の撮影画像を経時的に解析し、処置卵に含まれる前核の状態を解析する手法を提供することを主な目的とする。

【課題を解決するための手段】

【0006】

本発明の１つの観点では、画像解析装置は、受精処置を施した処置卵の撮影画像から、当該処置卵に含まれる前核の輪郭候補を検出する前核輪郭候補検出器と、前記前核輪郭候補検出器により検出された輪郭候補の画像と、撮影画像とから、前記前核の個数毎の確率を算出する確率検出器と、前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する結果出力部と、を備える。

【0007】

上記の画像解析装置は、受精処置を施した処置卵の撮影画像から、前記処置卵に含まれる前核の輪郭候補を検出する。次に、画像解析装置は、前記前核輪郭候補検出器により検出された輪郭候補の画像と、撮影画像とから、前記前核の個数毎の確率を算出する。そして、画像解析装置は、前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する。これにより、前核の個数毎の確率に基づいて、前核の個数を自動検出することができる。

【0008】

上記の画像解析装置の他の一態様では、前記結果出力部は、処置卵における前核の性質に関する制約条件下で前記前核の個数毎の確率を分析して前記前核の個数を判定する。この態様では、処置卵における前核の性質に関する制約条件を利用して、前核の個数を判定する。好適には、前記結果出力部は、前記所定期間において得られた個数のうち最大の個数を、当該処置卵に含まれる前核の個数と判定する。

【0009】

上記の画像解析装置の他の一態様では、前記結果出力部は、前記個数を経時的に示すグラフを表示する。この態様では、グラフにより、前核の個数の推移を把握することができる。

【0010】

上記の画像解析装置の他の一態様では、前記結果出力部は、前記個数の変化点を示す情報を出力する。これにより、前核の個数の変化点を提示することができる。

【0011】

上記の画像解析装置の他の一態様では、前記前核輪郭候補検出器は、前記処置卵の撮影画像である入力データと、当該撮影画像に含まれる前記輪郭候補の形状を示す教師データとを含む複数の学習データにより学習済みである。この態様では、前核輪郭候補の形状に基づいた機械学習により、前核の検出精度を向上させることができる。好適な例では、前記輪郭候補の形状は円形であり、前記教師データは、前記前核の円周を示すデータである。

【0012】

本発明の他の観点では、画像解析装置は、受精処置を施した処置卵の撮影画像から当該処置卵に含まれる前核の輪郭候補を検出し、検出された輪郭候補の画像と、撮影画像とから前記前核の個数毎の確率を算出する検出器と、前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する結果出力部と、を備える。

【0013】

上記の画像解析装置は、受精処置を施した処置卵の撮影画像から当該処置卵に含まれる前核の輪郭候補を検出し、検出された輪郭候補の画像と、撮影画像とから前記前核の個数毎の確率を算出する。そして、前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する。これにより、前核の個数毎の確率に基づいて、前核の個数を自動検出することができる。

【発明の効果】

【0014】

本発明によれば、処置卵の撮影画像を経時的に解析することにより、処置卵に含まれる前核の状態を解析することが可能となる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る処置卵の画像解析システムの構成を示す。

【図2】培養容器及び処置卵の撮影画像の例を示す。

【図3】前核輪郭候補検出処理に利用される学習データの例を示す。

【図4】前核輪郭候補を検出する方法を説明する図である。

【図5】前核数の確率を算出する方法を説明する図である。

【図6】前核数の確率を算出する処理に利用されるデータの例を示す。

【図7】前核数推定処理のフローチャートである。

【図8】処置卵の検出方法を説明する図である。

【図9】各時刻での前核数を判定する例を示す。

【図10】全時刻での前核数の判定結果を示すグラフである。

【図11】前核輪郭候補検出処理の方法に応じた前核数の判定精度を示す表である。

【図12】前核数を離散値により表示した例を示す。

【発明を実施するための形態】

【0016】

以下、本発明の好適な実施形態について説明する。
［システム構成］
図１は、実施形態に係る処置卵の画像解析システムの構成を示す。図示のように、画像解析システム１００は、大別して、培養装置５０と、記憶装置５５と、画像解析装置６０とを備える。

【0017】

培養装置５０は、撮影装置の組み込まれたタイプの培養装置であり、図示しないチャンバ（室）に載置された培養容器１０内の処置卵の画像を撮影し、記憶する。各培養容器１０内には複数の処置卵が載置されており、培養装置５０は処置卵を識別するための識別情報、例えば、処置卵が収容されているウェルの識別情報などと対応付けて撮影画像を記憶装置５５に送信する。具体的には、培養装置５０は、予め培養容器１０内の各ウェル位置に対応したＸＹ座標を記録しており、そのＸＹ座標情報から、各ウェルを識別してもよいし、撮影開始時などに、各ウェル位置に対応付けるＸＹ座標を微調整して、個別にウェル位置として座標登録をしてもよい。

【0018】

培養装置５０は、撮影装置を構成する要素として、光源５１と、カメラ５２と、制御部５３と、通信部５４とを備える。光源５１は、撮影のために培養容器１０内の処置卵を上方から照明する。光源５１は、点光源であっても面光源であっても、複数の点光源、面光源であってもよい。光源５１による照明は、制御部５３により制御される。

【0019】

カメラ５２は、培養容器１０の下方に移動可能に配置され、光源５１により照明された状態の処置卵を撮影する。カメラ５２は図示しないアクチュエータなどにより移動する。アクチュエータによるカメラ５２の移動、及び、カメラ５２による撮影は、制御部５３により制御される。カメラ５２は、観察開始から所定時間において、同じ培養容器１０内の複数の処置卵を異なる時刻で撮影する。なお、同じ培養容器１０内の複数の処置卵を撮影する場合、カメラ５２が移動する代わりに培養容器１０が移動する構造でもよく、カメラ５２と培養容器１０のいずれも移動せずに培養容器１０内の処置卵全体を撮影する構造であってもよい。

【0020】

制御部５３は、光源５１による照明、カメラ５２の移動及びカメラ５２による撮影を制御する。また、制御部５３は、カメラ５２から撮影画像を取得した場合、通信部５４を制御することで、撮影画像を記憶装置５５に送信する。

【0021】

記憶装置５５は、図示しない制御部、記憶部、通信部などを有し、各培養装置５０から送信される撮影画像を受信し、受信した撮影画像を記憶する。この場合、例えば、記憶装置５５は、培養装置５０ごとにフォルダを設け、撮影画像を対応するフォルダに対応付けて記憶する。なお、記憶装置５５は、上述のフォルダに対してチャンバごとのサブフォルダをさらに設け、撮影画像をチャンバごとに分類して記憶してもよい。また、記憶装置５５は、画像解析装置６０から撮影画像の取得要求を受信した場合に、当該取得要求により指定された撮影画像を画像解析装置６０へ送信する。

【0022】

画像解析装置６０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などにより構成され、処置卵の撮影画像に基づいて、処置卵に含まれる前核を検出する。画像解析装置６０は、主に、通信部６１と、入力部６２と、記憶部６３と、表示部６４と、制御部６５とを備える。

【0023】

通信部６１は、制御部６５の制御に基づき、記憶装置５５から処置卵の撮影画像を受信する。入力部６２は、キーボード、マウス、回転操作が可能なホイールデバイス、タッチパネル、音声入力装置などであり、後述する前核数推定処理において使用される処置卵やその撮影画像などを指定する入力信号などを生成して制御部６５へ供給する。記憶部６３は、制御部６５が実行するプログラム及びプログラムの実行に必要な情報を記憶する。例えば、記憶部６３は、前核数推定処理に必要なプログラムを記憶する。表示部６４は、制御部６５の制御に基づき、前核数の検出結果を表示する。制御部６５は、画像解析装置６０の全体の制御を行う。制御部６５は本発明の「前核輪郭候補検出器」、「確率検出器」の一例であり、表示部６４は本発明の「結果出力部」の一例である。なお、「前核輪郭候補検出器」及び「確率検出器」は事前に正解データを与えることにより学習を行ったものである。

【0024】

［撮影画像］
図２は、培養容器１０及び処置卵の撮影画像の例を示す。培養容器１０は円形の容器であり、中央部に収容部１１が形成されている。収容部１１内には、複数（図２の例では５×５＝２５個）のウェル１２が形成されている。ウェル１２は処置卵を収容するための窪みであり、１つのウェル１２に１つの処置卵が収容される。図２（Ａ）に示すように、収容部１１は培養液１３で満たされている。

【0025】

図２（Ｂ）には、１つのウェル１２の部分の撮影画像２０が示されている。ウェル１２内に処置卵が収容されている場合、撮影画像２０は、ウェル１２と、ウェル１２内にある処置卵３０とを含む。図２（Ｂ）の例では、処置卵３０は２つの前核３２を含んでいる。培養装置５０は、いわゆるタイムラプス観察により、同一の処置卵（即ち、同一のウェル１２）についての撮影画像を所定時間間隔で複数生成し、記憶する。なお、培養装置５０は、ウェル１２毎に画像を撮影するものとする。

【0026】

［事前学習処理］
本実施形態では、処置卵の撮影画像のタイムラプス観察により、処置卵に含まれる前核数を推定する。前核数の推定においては、後述するように、処置卵内に存在する前核の輪郭の候補（以下、「前核輪郭候補」と呼ぶ。）を検出する前核輪郭候補検出処理、及び、前核数の確率を算出する前核数確率算出処理が行われる。ここで、本実施形態では、前核数輪郭候補検出処理及び前核数確率算出処理は、それぞれニューラルネットワークを用いた機械学習（ディープラーニング）を利用して行われる。そこで、まず、これらの実際の処理に先立って行われる事前学習について説明する。

【0027】

（前核輪郭候補検出処理のための事前学習）
画像解析装置６０は、ニューラルネットワークを用いた機械学習を利用して前核輪郭候補検出処理を行う。なお、通常、前核は円形に近い形状であるため、前核輪郭候補は円周に近い形状である。図３は、機械学習に利用する学習データの例を示す。学習データは、学習用入力データと、ニューラルネットワークからの目標出力である教師データとを含む。図示のように、学習用入力データとしては、処置卵３０の画像（以下、「処置卵画像」とも呼ぶ。）２５を用いる。なお、処置卵画像２５は、ウェル１２全体を含む撮影画像２０から、処置卵３０の部分を切り出した画像である。

【0028】

図４は、前核輪郭候補検出処理に用いるニューラルネットワークを事前学習する方法を模式的に示す。学習時には、図３に示す学習データ、即ち、学習用入力データと教師データとをニューラルネットワーク７１に与え、機械学習させる。この際、具体的には、図４に示すように、処置卵画像２５から所定サイズの領域（例えば、３０×３０画素の領域。以下、「画像パッチ」と呼ぶ。）２１を抽出し、画像パッチ２１の単位で学習用入力データをニューラルネットワーク７１に入力する。画像パッチ２１は、処置卵画像２５内で１画素ずつ位置をシフトしつつ切り出される。一方、教師データは、１つの画像パッチ２１毎に、その中心の画素値（白／黒）として用意される。画像パッチ２１毎の目標出力を示す画素値を処置卵画像２５の分だけ統合したものが、図３に示す教師データとなる。このように、制御部６５は、予め用意した学習用入力データと教師データを画像パッチ２１の単位でニューラルネットワーク７１に与えて学習を行う。

【0029】

（前核数確率算出処理のための事前学習）
画像解析装置６０は、ニューラルネットワークを用いた機械学習を利用して前核数確率算出処理を行う。図５は、前核数確率算出処理に用いるニューラルネットワークを事前学習する方法を模式的に示す。図６は、前核数確率検出処理における入出力データの例を示す。学習データは、学習用入力データとして、処置卵画像２５と、前核輪郭候補の検出結果とを含む。教師データは、前核数０個、１個、２個（それぞれ、「０ＰＮ」、「１ＰＮ」、「２ＰＮ」と記す。）の確率である。学習時には、上記の学習データを多数用いてニューラルネットワーク７２を学習させる。

【0030】

［前核数推定処理］
次に、前核数推定処理について説明する。前核数推定処理は、処置卵の撮影画像に基づいて、処置卵に含まれる前核を検出し、前核の数を推定する処理であり、画像解析装置６０により実行される。図７は、前核数推定処理のフローチャートである。この処理は、画像解析装置６０の制御部６５が、予め用意されたプログラムを実行することにより実現される。なお、制御部６５は、予め用意されたプログラムを実行する前に、ディープラーニングによる学習で判定用パラメータの最適化を事前に行っているものとする。

【0031】

まず、制御部６５は、処理の対象となる処置卵の各時刻の撮影画像を記憶装置５５から取得する（ステップＳ１１）。具体的には、制御部６５は、処理の対象となる処置卵について、受精処置後所定時間（例えば２４時間程度）の間に所定の時間間隔で得られた撮影画像を記憶装置５５から取得する。

【0032】

次に、制御部６５は処置卵検出処理を行う（ステップＳ１２）。処置卵検出処理は、ステップＳ１１で得られた各画像から処置卵を検出する処理である。本実施形態では、制御部６５は、ハフ変換により処置卵を検出する。ハフ変換とは、画像中から特定の構造（直線、真円、楕円など）を検出する手法であり、部分的に隠れている対象物や、僅かに変形している対象物なども検出することができる。受精卵は真円に近いので、ここでは制御部６５はハフ変換により真円を検出する。

【0033】

図８（Ａ）に処置卵の撮影画像２０の一例を示す。制御部６５は、ウェル１２の内部の画素の明るさ（輝度）を解析し、明るさが隣の画素から急激に変わる画素を円周候補画素として検出する。そして、図８（Ｂ）に示すように、制御部６５は、円周候補画素と最も多く重なる真円を処置卵３０として検出する。なお、制御部６５は、一般的な処置卵のサイズの範囲に属する真円を処置卵として検出する。ハフ変換は、円周候補画素との重なりの多少に基づいて検出を行うので、処置卵の一部が隠れていたり、部分的に変形している場合でも、処置卵３０を正しく検出することができる。

【0034】

次に、制御部６５は、前核輪郭候補検出処理を行う（ステップＳ１３）。図４に示すように、制御部６５は、学習済のニューラルネットワーク７１を利用して、実際の計算、即ち、処置卵画像２５からの前核輪郭候補の検出を行う。具体的には、制御部６５は、実際の処置卵画像２５を学習済のニューラルネットワーク７１に入力し、実際の検出結果を出力する。これにより、図４に示すように、実際の処置卵画像２５から、処置卵に含まれる前核輪郭候補３２ａが検出される。

【0035】

前核輪郭候補が検出されると、次に制御部６５は前核数確率算出処理を行う（ステップＳ１４）。図５に示すように、制御部６５は、入力データとして、実際の処置卵画像２５と、それに対応する実際の前核輪郭候補の検出結果をニューラルネットワーク７２に入力する。なお、前核輪郭候補検出処理により前核の輪郭候補が検出されなかった場合は、その時の画像（通常は真っ黒な画像）が前核輪郭候補の検出結果としてニューラルネットワーク７２に入力される。ニューラルネットワーク７２は、実際の処置卵画像２５及び実際の前核輪郭候補の検出結果に基づいて前核数の確率を計算し、出力する。こうして、１つの処置卵画像２５について、その処置卵画像２５に含まれる前核数が０個（０ＰＮ）である確率、１個（１ＰＮ）である確率、及び、２個（２ＰＮ）である確率がそれぞれ得られる。

【0036】

次に、制御部６５は、予め用意された全ての処置卵画像２５について、ステップＳ１２～Ｓ１４の処理が完了したか否かを判定する（ステップＳ１５）。全ての処置卵画像２５について処理が完了していない場合（ステップＳ１５：Ｎｏ）、処理はステップＳ１２へ戻り、制御部６５は、次の処置卵画像２５についてステップＳ１２～Ｓ１４の処理を実行する。

【0037】

こうして、全ての処置卵画像２５についてステップＳ１２～Ｓ１４の処理が完了すると（ステップＳ１５：Ｙｅｓ）、制御部６５は、各処置卵画像２５について算出された前核数の確率を統合し、各時刻での前核数を判定する（ステップＳ１６）。具体的には、まず制御部６５は、図６に例示するように全時刻における各前核数（０ＰＮ、１ＰＮ、２ＰＮ）の確率をグラフ化する。次に、制御部６５は、各前核数のグラフに基づいて、所定の事前知識（制約条件）の下で最大の確率を有する前核数を決定する。本実施形態では、隠れマルコフモデルにより、全時刻において算出された前核数の確率と、事前知識（制約条件）から、最も確率の高い前核数の推移を計算する。

【0038】

詳しくは、本実施形態では、処置卵における前核の性質に基づき、以下の少なくとも１つを事前知識（制約条件）として使用する。
（１）起こりうる前核数は０ＰＮ、１ＰＮ、２ＰＮの３状態であり、観察開始時の前核数は０ＰＮである。
（２）時間の経過によって前核数が増加することはあるが、減少することは無い。
（３）統計的に、前核が発生しやすい時刻、消失しやすい時刻がある。典型的には、前核は観察開始から５時間程度で発生し、２０時間程度で消失する。
（４）統計的に、０ＰＮ、１ＰＮ、２ＰＮ、それぞれの発生頻度が既知である。典型的には、０ＰＮ、１ＰＮ、２ＰＮの発生頻度は、それぞれ１０％、１０％、８０％程度である。

【0039】

図９（Ａ）は、上記の事前知識（制約条件）を用いた前核数の判定例を示す。各前核数（０ＰＮ、１ＰＮ、２ＰＮ）の確率の推移が図９（Ａ）の各グラフのように得られたものとする。この例では、観察開始から１５～１８時間の辺りで一時的に１ＰＮの確率が高くなっているが、上記の事前知識（１）～（４）を考慮すると、判定結果は２ＰＮとすることが妥当である。

【0040】

図９（Ｂ）は、前核数の他の判定例を示す。各前核数（０ＰＮ、１ＰＮ、２ＰＮ）の確率の推移が図９（Ｂ）の各グラフのように得られたものとする。この場合、観察開始から１２～２２時間の期間では確率が１ＰＮと２ＰＮの間で頻繁に入れ替わっているが、上記の事前知識（１）～（４）を考慮すると、判定結果は２ＰＮとすることが妥当である。

【0041】

こうして、制御部６５は、隠れマルコフモデルにより、各時刻における前核数を判定する。そして、各時刻における前核数が得られると、次に制御部６５は全時刻での最大前核数を出力する（ステップＳ１７）。即ち、制御部６５は、全時刻を通した最大前核数を、その処置卵の最終的な前核数として出力する。図１０（Ａ）は、ある処置卵について、各時刻における前核数の判定結果を示すグラフの一例である。図１０（Ａ）の例では、前時刻を通した最大前核数は２ＰＮであるので、その処置卵の前核数の判定結果は２ＰＮとなる。図１０（Ｂ）は、他の処置卵について、各時刻における前核数の判定結果を示すグラフである。図１０（Ｂ）の例では、全時刻を通した最大前核数は１ＰＮであるので、その処置卵の前核数の判定結果は１ＰＮとなる。こうして、１つの処置卵について前核数が推定され、前核数推定処理は終了する。

【0042】

図１１は、本実施形態による前核輪郭候補検出処理の方法に応じた前核数の判定精度を示す表である。図１１の表において、「元画像」とあるのは、機械学習による前核輪郭候補の検出を行わず、処置卵画像２５の画像解析により前核数を検出した結果である。この場合、各前核数の判定の正解率は４０～６０％程度、２ＰＮの判定の正解率は５２％にとどまっている。

【0043】

次に、「元画像＋前核輪郭候補」とあるのは、前述の前核輪郭候補検出処理を実行した場合、即ち、機械学習により前核輪郭候補を検出した場合の結果である。この場合、各前核数の判定の正解率は６０％以上、２ＰＮの判定の正解率は７４％となっており、前核輪郭候補の検出を行わない場合より判定精度は高くなっている。

【0044】

［前核数の表示］
次に、前核数推定処理により得られた前核数の表示例を説明する。制御部６５は、前核数推定処理により得られた前核数を画像解析装置６０の表示部６４に表示する。図１２は、前核数を離散値として表示する場合の表示例を示す。図１２（Ａ）は、前核数の経時的な推移を折れ線グラフにより示す例である。図１２（Ｂ）は、前核数の経時的な推移を色分けにより示す例である。図１２（Ｃ）は、前核数の経時的な推移をグラデーションを伴う色づけにより示す例である。この例では、前核数が変化する期間がグラデーションにより表現されている。図１２（Ｄ）は、前核数の経時的な推移を色の面積により示す例である。この例では、前核数が変化する期間が面積の変化により表現されている。

【0045】

［変形例］
（変形例１）
図１に示す画像解析システムでは、撮影装置の組み込まれた培養装置５０で培養容器１０内の処置卵を撮影し、その撮影画像を画像解析装置６０で解析しているが、本発明の適用はこの形態には限られない。例えば、培養装置と撮影装置とを別個に構成し、培養容器から撮影装置へ培養容器１０を移動して処置卵を撮影し、その撮影画像を画像解析装置６０で解析してもよい。また、別の場所で撮影された撮影画像を画像解析装置６０に入力し、解析してもよい。

【0046】

（変形例２）
上記の実施形態では、説明の便宜上、前核数が０、１、２のいずれかであるものとしているが、本発明は、前核数が０、１、２、３又はそれ以上である場合や、０、１、２、３、４又はそれ以上である場合にも適用可能である。

【0047】

（変形例３）
上記の実施形態では、処置卵検出処理においてハフ変換を利用して処置卵を検出しているが、その代わりに、ニューラルネットワークを利用して処置卵の候補を検出する処理として行ってもよい。

【0048】

（変形例４）
上記の前核数推定処理では、ステップＳ１６において制御部６５が所定の事前知識（制約条件）の下で最大の確率を有する前核数を決定する際に、処置卵の正常状態の制約条件として
「（１）起こりうる前核数は０ＰＮ、１ＰＮ、２ＰＮの３状態であり、観察開始時の前核数は０ＰＮである。
（２）時間の経過によって前核数が増加することはあるが、減少することは無い。」
との条件を使用している。これは即ち、「前核数は時間の経過とともに０ＰＮ→１ＰＮ→２ＰＮと増加する」という制約条件を意味しているが、これに加えて、処置卵の異常状態の制約条件として、「前核数が時間の経過とともに０ＰＮ→２ＰＮ→１ＰＮと変化する」などを定義してもよい。この場合には、制御部６５は、正常状態の制約条件と異常状態の制約条件を選択的に適用し、当てはまる方の制約条件を用いて前核数を決定すればよい。これにより、処置卵が異常状態であるような場合には、最大の確率を有する前核数以外の前核数を正しい前核数として判定することができる。

【0049】

（変形例５）
上記の実施形態では、前核輪郭候補検出処理を行うニューラルネットワーク７１と、前核数確率算出処理を行うニューラルネットワーク７２とを別個に構成して２段階のニューラルネットワーク構成としているが、その代わりに、入力画像から前核数の判定結果を出力するような１段階のニューラルネットワークを構成してもよい。

【0050】

（変形例６）
上記の前核数推定処理では、ステップＳ１７において、全時刻での最大前核数を出力しているが、ステップＳ１６における前核数の判定処理においては、図１０に示すように前核数の時間毎の推移が取得されているので、これに基づいて前核数の変化点、例えば前核数が０ＰＮ→１ＰＮ、１ＰＮ→２ＰＮと変化した時刻を示す情報を併せて出力してもよい。具体的には、前核数の変化点の時刻自体を出力することとしてもよいし、図１２（Ａ）～（Ｄ）の如きグラフを出力する際にそのグラフ上に前核数の変化点を示すようにしてもよい。

【0051】

（変形例７）
上記の前核数推定処理では、ステップＳ１６において、所定の制約条件下で最大の確率を有する前核数を決定しているが、その代わりに、制約条件を用いない方法で前核数を決定することとしてもよい。例えば、前核数０、１、２などの確率のうち１つが最大となった状態が予め定めた時間以上継続した場合に、確率が最大となった個数であるとして前核数を判定してもよい。

【0052】

（変形例８）
上記の前核数推定処理では、ステップＳ１３において教師データにより学習済のニューラルネットワーク７１を用いて前核輪郭候補の検出を行っているが、これ以外の方法で前核輪郭候補を検出してもよい。例えば、ハフ変換により標準的な前核のサイズに近い円形部分を前核輪郭候補として検出してもよく、処置卵画像を２値化するなどの既知の手法により前核輪郭候補を検出してもよい。

【符号の説明】

【0053】

１０ 培養容器
１２ ウェル
２０ 撮影画像
２５ 処置卵画像
３０ 処置卵
５０ 撮影装置
５１ 光源
５２ カメラ
５５ 記憶装置
６０ 画像解析装置
６４ 表示部
６５ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】