IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -イメージングシステム 図1
  • -イメージングシステム 図2
  • -イメージングシステム 図3
  • -イメージングシステム 図4
  • -イメージングシステム 図5
  • -イメージングシステム 図6
  • -イメージングシステム 図7
  • -イメージングシステム 図8
  • -イメージングシステム 図9
  • -イメージングシステム 図10
  • -イメージングシステム 図11
  • -イメージングシステム 図12
  • -イメージングシステム 図13
  • -イメージングシステム 図14
  • -イメージングシステム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2026-02-02
(45)【発行日】2026-02-10
(54)【発明の名称】イメージングシステム
(51)【国際特許分類】
   C12M 1/34 20060101AFI20260203BHJP
   C12Q 1/02 20060101ALI20260203BHJP
   G02B 21/00 20060101ALI20260203BHJP
【FI】
C12M1/34 B
C12Q1/02
G02B21/00
【請求項の数】 4
(21)【出願番号】P 2023502107
(86)(22)【出願日】2021-12-22
(86)【国際出願番号】 JP2021047726
(87)【国際公開番号】W WO2022181023
(87)【国際公開日】2022-09-01
【審査請求日】2024-09-09
(31)【優先権主張番号】P 2021031210
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】山本 拓明
【審査官】▲高▼橋 明日香
(56)【参考文献】
【文献】特開2018-093795(JP,A)
【文献】国際公開第2018/158947(WO,A1)
【文献】国際公開第2018/235476(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
C12M 1/00-3/00
C12Q 1/00-3/00
G02B 19/00-21/36
JSTPlus/JMEDPlus/JST7580(JDreamIII)
CAplus/MEDLINE/EMBASE/BIOSIS(STN)
(57)【特許請求の範囲】
【請求項1】
光源及び撮像センサを有し、培養容器内に播種された受精卵を撮像することにより干渉縞像を含む画像データを生成する撮像装置と、前記画像データを無線送信する通信部と、を備えたインキュベータと、
前記インキュベータから無線送信された前記画像データを受信し、受信した前記画像データに基づいて再構成処理を行うことにより、任意の焦点位置における再構成画像を生成する情報処理装置と、
を備えるイメージングシステムであって、
前記インキュベータは、前記培養容器を収容する培養室と、前記培養室を気密状態とするための蓋とを有し、
前記光源は、前記蓋に設けられており、
前記撮像センサは、前記培養容器が載置される前記培養室の底部に設けられている、
イメージングシステム
【請求項2】
前記情報処理装置は、
前記撮像装置が前記画像データを生成するたびに前記再構成処理を行い、
前記再構成処理により生成した再構成画像をディスプレイに表示させる、
請求項に記載のイメージングシステム。
【請求項3】
前記光源は、複数の発光点を有し、
前記撮像装置は、前記発光点を順に発光させながら複数回の撮像動作を行うことにより、複数の前記画像データを生成する、
請求項1又は請求項2に記載のイメージングシステム。
【請求項4】
前記情報処理装置は、
複数の前記画像データに基づいて高解像度の画像データを生成し、
生成した高解像度の画像データに基づいて前記再構成処理を行う、
請求項に記載のイメージングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、撮像装置、情報処理装置、イメージングシステム、及び観察方法に関する。
【背景技術】
【0002】
近年、不妊治療の需要が高まっている。体外受精の処置がなされた受精卵の培養には、受精卵用のインキュベータが用いられている。インキュベータで培養された受精卵(胚)は、胚移植又は凍結される。なお、胚とは、分裂状態にある受精卵を指す。
【0003】
従来、培養中の受精卵を観察するには、インキュベータから受精卵が入った培養ディッシュ(トレイともいう。)を取り出した後、顕微鏡で観察する必要があった。インキュベータから培養ディッシュを取り出すと、温度変化などにより受精卵にストレスが加わることが問題となっていた。
【0004】
そこで、特開2018-093795号公報において、培養ディッシュを取り出さずに培養中の受精卵を観察することを可能とするインキュベータが提案されている。特開2018-093795号公報に記載のインキュベータは、複数の培養ディッシュを培養環境に保持する培養部と、培養部に保持された培養ディッシュに対応して設けられた撮像部とを含む。特開2018-093795号公報に記載のように、受精卵を培養ディッシュで培養しながら、培養ディッシュを培養部から取り出さずに受精卵を観察することを可能とするインキュベータは、タイムラプスインキュベータと呼ばれている。
【0005】
また、特開2018-093795号公報に記載の撮像部は、レンズを有する光学カメラであるので、レンズを光軸に沿って移動させることにより焦点調節が行われている。人の卵子は、ほぼ球状であって、直径は100~150μm程度である。卵子の受精を判断する際に手がかりとなる前核等の存在位置が卵子のいずれの位置に存在するかは分からない。このため、特開2018-093795号公報に記載の撮像部は、焦点位置が異なる画像を複数撮像している。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特開2018-093795号公報に記載のようなタイムラプスインキュベータは、培養部に撮像部が組み込まれた一体型の装置であるため高価である。このようなタイムラプスインキュベータは、規模の小さいクリニック等では導入が難しいことが課題となっている。また、特開2018-093795号公報に記載のインキュベータでは、撮像部として光学カメラが用いられているため、焦点調整が難しいといった課題がある。
【0007】
本開示の技術は、受精卵用のインキュベータに用いることが可能であって、安価でかつ焦点調節が不要である撮像装置、情報処理装置、イメージングシステム、及び観察方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本開示の撮像装置は、光源及び撮像センサを備え、培養容器内に播種された受精卵を撮像することにより干渉縞像を含む画像データを生成する撮像装置であって、受精卵用のインキュベータに設けられた培養室に出し入れ可能である。
【0009】
高さを調整可能とする高さ調整機構を備えることが好ましい。
【0010】
光源を支持する支柱を備え、高さ調整機構は、支柱の長さを変更可能とすることが好ましい。
【0011】
高さが10cm未満であることが好ましい。
【0012】
インキュベータには、培養室が複数設けられており、培養室の各々に出し入れ可能であることが好ましい。
【0013】
画像データを、無線送信する通信部を備えることが好ましい。
【0014】
本開示の情報処理装置は、上記撮像装置から送信された画像データを受信し、受信した画像データに基づいて再構成処理を行うことにより、任意の焦点位置における再構成画像を生成することを可能とする。
【0015】
情報処理装置は、培養室に収容された撮像装置から定期的に送信される画像データを受信し、画像データを受信するたびに再構成処理を行い、再構成処理により生成した再構成画像をディスプレイに表示させることが好ましい。
【0016】
光源は、複数の発光点を有し、撮像装置は、発光点を順に発光させながら複数回の撮像動作を行うことにより、複数の画像データを生成することが好ましい。
【0017】
複数の画像データに基づいて高解像度の画像データを生成し、生成した高解像度の画像データに基づいて再構成処理を行うことが好ましい。
【0018】
本開示のイメージングシステムは、光源及び撮像センサを有し、培養容器内に播種された受精卵を撮像することにより干渉縞像を含む画像データを生成する撮像装置を備えたインキュベータと、画像データに基づいて再構成処理を行うことにより、任意の焦点位置における再構成画像を生成する情報処理装置とを備える。
【0019】
情報処理装置は、撮像装置が画像データを生成するたびに再構成処理を行い、再構成処理により生成した再構成画像をディスプレイに表示させることが好ましい。
【0020】
インキュベータは、培養容器を収容する培養室と、培養室を気密状態とするための蓋とを有し、光源は、蓋に設けられていることが好ましい。
【0021】
撮像センサは、培養容器が載置される培養室の底部に設けられていることが好ましい。
【0022】
光源は、複数の発光点を有し、撮像装置は、発光点を順に発光させながら複数回の撮像動作を行うことにより、複数の画像データを生成することが好ましい。
【0023】
情報処理装置は、複数の画像データに基づいて高解像度の画像データを生成し、生成した高解像度の画像データに基づいて再構成処理を行うことが好ましい。
【0024】
本開示の観察方法は、培養容器内に播種された受精卵を撮像することにより干渉縞像を含む画像データを生成し、生成した画像データに基づいて再構成処理を行うことにより、任意の焦点位置における再構成画像を生成することにより、受精卵を観察する観察方法であって、受精卵の直径は、100μm以上200μm未満である。
【0025】
受精卵は、培養容器に滴下された培養液中に浮遊しており、培養液の高さは、1mm以上20mm未満であることが好ましい。
【発明の効果】
【0026】
本開示の技術によれば、受精卵用のインキュベータに用いることが可能であって、安価でかつ焦点調節が不要である撮像装置及び情報処理装置を提供することができる。
【図面の簡単な説明】
【0027】
図1】撮像装置の一例を示す斜視図である。
図2】培養容器が載置された撮像装置の側面図である。
図3】撮像センサの構成の一例を示す図である。
図4】受精卵に照明光が入射することにより干渉縞像が生成される様子を示す図である。
図5】タイムラプスイメージングシステムの構成の一例を示す模式図である。
図6】撮像装置及び情報処理装置の内部構成の一例を示すブロック図である。
図7】情報処理装置の機能構成の一例を示すブロック図である。
図8】再構成位置の一例を示す図である。
図9】タイムラプスイメージングシステムの全体動作の一例を示すフローチャートである。
図10】変形例に係る撮像装置の側面図である。
図11】変形例に係る撮像装置の高さ調整を説明する図である。
図12】変形例に係る光源の発光面の構成を示す模式図である。
図13】変形例に係るタイムラプスイメージングシステムの構成を示す模式図である。
図14】変形例に係るインキュベータの構成を示す模式図である。
図15】受精卵の直径及び培養液の高さについて説明する図である。
【発明を実施するための形態】
【0028】
添付図面に従って本開示の技術に係る実施形態の一例について説明する。
【0029】
図1は、撮像装置の一例を示す。撮像装置10は、光源11、撮像センサ12、支柱13、基台14、及びステージ15を有する。光源11は、例えばレーザーダイオードである。撮像装置10は、光学レンズを用いずに観察対象物を撮像する、いわゆるレンズフリーイメージングを行う。
【0030】
光源11は、発光ダイオードとピンホールとを組み合わせて構成されたものであってもよい。光源11は、放射状の照明光16を、ステージ15に向けて出射する。照明光16は、コヒーレントな光である。照明光16の波長は、640nm、780nm等である。
【0031】
光源11は、ほぼL字状の支柱13の一端に接続されている。支柱13の他端は、基台14に接続されている。基台14は、平板状であって、ほぼ中央にステージ15が設けられている。ステージ15には、受精卵を培養するための培養容器20が載置される凹状の載置部15Aが設けられている。支柱13は、光源11が撮像センサ12の撮像面12Aに対向するように、光源11を支持している。
【0032】
以下、光源11と撮像面12Aとが対向する方向をZ方向という。Z方向は、照明光16の照射方向でもある。また、Z方向に直交する一方向をX方向という。そして、Z方向及びX方向に直交する方向をY方向という。撮像面12Aは、Z方向に直交し、かつX方向及びY方向に平行である。
【0033】
撮像センサ12は、例えば、モノクロのCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサにより構成されている。撮像センサ12の撮像面12A上に培養容器20が載置される。培養容器20は、円筒状の浅い容器であり、培養ディッシュとも称される。培養容器20は、図示しない蓋とともに用いられる。培養容器20は、透明であり、照明光16を透過させる。なお、培養容器20の直径は、30~60mm程度である。培養容器20の厚みは、10~20mm程度である。
【0034】
培養容器20には、体外受精の処置がなされた受精卵21が播種されている。体外受精の処置には、顕微鏡下で行なわれる顕微授精による処置と、卵子と精子を所定の容器内で一緒にして行なわれる通常の体外受精による処置とが含まれる。培養する受精卵21の受精の手法は問わない。受精卵21は、例えば、人の受精卵である。受精卵21は、ほぼ球形であって、直径は100~200μm程度である。
【0035】
受精卵21は、培養容器20に滴下された培養液22中に浮遊している。培養液22は、培養容器20に充填されたオイル23で覆われている。オイル23は、培養液22の蒸発及びpHの変化を抑制する。なお、分裂状態にある受精卵21は、胚とも称される。本開示における受精卵21には、胚が含まれる。
【0036】
基台14は、X方向及びY方向に平行な辺を有する平板状の部材である。基台14のX方向への長さをXiとし、Y方向への長さをYiとする。本実施形態では、長さXiは、撮像装置10のX方向への最大の長さであり、長さYiは、撮像装置10のX方向への最大の長さである。
【0037】
図2は、培養容器20が載置された撮像装置10の側面図である。図2に示すように、基台14の底面から光源11の上端までの長さをZiとする。本実施形態では、長さZiは、撮像装置10のZ方向への最大の長さである。以下、長さZiを、撮像装置10の高さともいう。すなわち、撮像装置10の大きさは、長さXi、Yi、及びZiにより規定される。
【0038】
撮像センサ12は、光源11から出射され、培養容器20を透過した照明光16を検出する。具体的には、培養容器20に、照明光16が入射し、受精卵21で照明光16が回折されることにより、受精卵21の形状及び内部構造が反映された干渉縞像が生じる。干渉縞像は、ホログラム画像とも称される。撮像センサ12は、受精卵21により生成される干渉縞像を撮像する。
【0039】
図3は、撮像センサ12の構成の一例を示す。撮像センサ12は、撮像面12Aに配置された複数の画素12Bを有する。画素12Bは、入射光を光電変換することにより、入射光量に応じた画素信号を出力する光電変換素子である。
【0040】
画素12Bは、X方向及びY方向に沿って等ピッチで配列されている。画素12Bの配列は、いわゆる正方配列である。なお、X方向は、Z方向に直交する方向である。Y方向は、X方向及びZ方向に直交する方向である。画素12Bは、X方向に第1配列ピッチΔxで配列されており、かつ、Y方向に第2配列ピッチΔyで配列されている。
【0041】
撮像センサ12は、撮像面12Aに入射する光を撮像し、画素12Bの各々から出力される画素信号により構成される画像データを出力する。
【0042】
図4は、受精卵21に照明光16が入射することにより干渉縞像が生成される様子を示す。培養容器20に入射した照明光16は、一部が受精卵21によって回折される。すなわち、照明光16は、受精卵21によって回折される回折光30と、受精卵21によって回折されず、培養容器20を透過する透過光31とに分かれる。透過光31は球面波あるいは平面波である。回折光30及び透過光31は、培養容器20の底面を透過して、撮像センサ12の撮像面12Aに入射する。
【0043】
回折光30と透過光31とは、互いに干渉することにより、干渉縞像33を生成する。干渉縞像33は、明部36及び暗部38により構成される。図4では、干渉縞像33は、明部36及び暗部38をそれぞれ円形として図示しているが、干渉縞像33の形状は、受精卵21の形状及び内部構造に応じて変化する。撮像センサ12は、撮像面12Aに形成された干渉縞像33を含む光像を撮像し、干渉縞像33を含む画像データを出力する。
【0044】
図5は、タイムラプスイメージングシステムの構成の一例を示す。図5に示すように、タイムラプスイメージングシステム2には、撮像装置10、インキュベータ40、及び情報処理装置50が含まれる。インキュベータ40は、受精卵用のマルチルームインキュベータであり、胚培養装置とも称される。受精卵21は、インキュベータ40内で所定の期間(例えば、7日間)培養される。
【0045】
インキュベータ40は、受精卵以外の細胞を培養するための一般的なインキュベータのように1つの培養室を有するものではなく、複数の培養室41を有する。これは、培養室41の各々に撮像装置10を収容することで、受精卵21を他人の受精卵21と取り違えることのないよう個別に管理するためである。培養室41は、培養チャンバとも称される。なお、図5に示すインキュベータ40には、2つの培養室41が設けられているが、培養室41の数はこれには限定されず、適宜変更可能である。
【0046】
培養室41の各々には、開閉式の蓋42が設けられている。インキュベータ40には、培養室41ごとに、蓋42を開閉するためのスイッチ43が設けられている。ユーザがスイッチ43を操作することにより、図示しない駆動機構によって蓋42が開閉動作を行う。なお、蓋42は、手動で開閉する構成であってもよい。培養室41は、蓋42が閉じると、気密状態に保たれる。
【0047】
培養室41には、図示しない外部のガスボンベから二酸化炭素(CO)ガス、及び窒素(N)ガスと、外気(空気)とを混合した混合ガスが、HEPAフィルタ(High Efficiency Particulate Air Filter)を介して供給される。また、培養室41の側面及び底面には、図示しないヒータが設けられている。培養室41は、混合ガスの濃度、温度、及び湿度が一定となるように制御されることで、培養環境が一定に保たれる。
【0048】
撮像装置10は、培養室41内に出し入れ可能な大きさである。図5に示すように、1つの培養室41には、1つの撮像装置10が挿入される。すなわち、培養容器20が載置された撮像装置10を培養室41内に挿入した状態で、蓋42を閉じることが可能である。これにより、培養室41内で受精卵21を培養しながら、培養室41から培養容器20を取り出すことなく、撮像装置10により受精卵21を撮像することができる。
【0049】
例えば、培養室41は、ほぼ直方体形状の空間である。培養室41のX方向への長さをXcとし、Y方向への長さをYcとし、Z方向への長さをZcとする。以下、長さZcを培養室41の高さともいう。受精卵21の培養に用いられる培養容器20の高さは、通常10~20mm程度であるため、培養室41の高さZcは、受精卵以外の細胞を培養するための一般的なインキュベータの培養室の高さよりも低く、例えば10cm未満である。このため、撮像装置10の高さZiは、Zi<Zcの関係を満たし、かつZi<10cmの関係を満たすことが好ましい
【0050】
また、撮像装置10の長さXi及びYiは、Xi<Xcの関係、及びYi<Ycの関係を満たす。また、撮像装置10の長さXi及びYiは、それぞれ10cm程度である。
【0051】
情報処理装置50は、例えば、デスクトップ型のパーソナルコンピュータである。情報処理装置50には、ディスプレイ51、キーボード52、及びマウス53などが接続されている。キーボード52及びマウス53は、ユーザが情報を入力するための入力デバイス54を構成する。入力デバイス54には、タッチパネル等も含まれる。
【0052】
情報処理装置50は、無線通信により、培養室41の各々に収容された撮像装置10との間でデータの授受を行う。撮像装置10は、定期的(例えば、5~15分ごと)に撮像を行う。情報処理装置50は、定期的に撮像装置10から干渉縞像33(図4参照)を含む画像データを受信し、受信した画像データに基づいて再構成処理を行い、再構成処理により生成した再構成画像を表示する。再構成画像は、断層画像とも称される。
【0053】
図6は、撮像装置10及び情報処理装置50の内部構成の一例を示す。図6に示すように、撮像装置10は、光源11及び撮像センサ12の他に、プロセッサ60、記憶装置61、通信部62、給電部63、及びバッテリ64を備え、これらはバスライン65を介して相互接続されている。
【0054】
プロセッサ60は、例えば、FPGA(Field Programmable Gate Array)であり、撮像装置10内の各部の動作を制御する。記憶装置61は、RAM(Random Access Memory)又はフラッシュメモリなどである。記憶装置61は、撮像装置10により生成された画像データ、及び各種データを記憶する。
【0055】
通信部62は、情報処理装置50との間で無線通信を行う通信回路である。プロセッサ60は、通信部62を介して、画像データを情報処理装置50に送信する。
【0056】
バッテリ64は、リチウムポリマーバッテリ等の二次電池である。給電部63は、電源回路及び充電制御回路を含む。給電部63は、バッテリ64から供給される電力を、プロセッサ60等に供給する。また、給電部63は、外部から供給される電力によるバッテリ64の充電を制御する。なお、給電部63は、バッテリ64を無線により充電することが可能に構成されていてもよい。
【0057】
情報処理装置50は、プロセッサ55、記憶装置56、及び通信部57を備え、これらはバスライン58を介して相互接続されている。また、バスライン58には、前述のディスプレイ51及び入力デバイス54が接続されている。
【0058】
プロセッサ55は、例えばCPU(Central Processing Unit)により構成されており、記憶装置56に格納された作動プログラム56A及び各種データを読み出して処理を実行することにより、各種機能を実現する。
【0059】
記憶装置56は、例えば、RAM、ROM(Read Only Memory)、又はストレージ装置等を含む。RAMは、例えば、ワークエリア等として用いられる揮発性メモリである。ROMは、例えば、作動プログラム56A及び各種データを保持するフラッシュメモリ等の不揮発性メモリである。ストレージ装置は、例えば、HDD(Hard Disk Drive)又はSSD(Solid State Drive)である。ストレージは、OS(Operating System)、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。
【0060】
通信部57は、撮像装置10の通信部62との間で無線通信を行う通信回路である。プロセッサ55は、通信部57を介して撮像装置10から送信された画像データを受信する。また、プロセッサ55は、通信部57を介して、撮像装置10に撮像を制御するための制御信号を送信する。
【0061】
ディスプレイ51は、各種画面を表示する。情報処理装置50は、各種画面を通じて、入力デバイス54からの操作指示の入力を受け付ける。
【0062】
図7は、情報処理装置50の機能構成の一例を示す。情報処理装置50の機能は、作動プログラム56Aに基づいてプロセッサ55が処理を実行することにより実現される。図7に示すように、プロセッサ55には、撮像制御部70、画像データ取得部71、再構成処理部72、及び表示制御部73が構成される。
【0063】
撮像制御部70は、撮像装置10の動作を制御する。具体的には、撮像制御部70は、撮像装置10に制御信号を送信することにより、光源11による照明光16の発生動作、及び撮像センサ12の撮像動作を制御する。以下、光源11による照明光16の発生動作と、撮像センサ12の撮像動作とを合わせて、撮像装置10の撮像動作という。撮像制御部70は、入力デバイス54から入力される操作信号に基づいて、撮像装置10に撮像動作を開始させる。
【0064】
画像データ取得部71は、撮像装置10が培養容器20内の受精卵21を撮像した後、撮像装置10から送信される生成される画像データを取得する。画像データ取得部71は、取得した画像データを再構成処理部72に供給する。
【0065】
再構成処理部72は、画像データに基づいて演算を行うことにより、再構成画像を生成する。例えば、図8に示すように、再構成処理部72は、再構成位置PをZ方向に一定値ずつ変更しながら、再構成位置Pを変更するたびに再構成画像を生成する。再構成位置Pは、撮像センサ12の撮像面12Aから光源11の方向への距離dにより表される位置(いわゆる深さ位置)である。以下、再構成位置Pを焦点位置ともいう。
【0066】
再構成処理部72は、例えば、下式(1)~(3)で表されるフレネル変換式に基づいて再構成処理を行う。
【0067】
【数1】

【0068】
【数2】

【0069】
【数3】

【0070】
ここで、I(x,y)は、画像データを表す。xは、撮像センサ12の画素12B(図3参照)のX方向に関する座標を表す。yは、画素12BのY方向に関する座標を表す。Δxは、前述の第1配列ピッチであり、Δyは、前述の第2配列ピッチである(図3参照)。λは、照明光16の波長である。
【0071】
式(1)に示すように、Γ(m,n)は、画像データに含まれる干渉縞像がフレネル変換された複素振幅画像である。ここで、m=1,2,3,・・・Nx-1、及びn=1,2,3,・・・Ny-1である。Nxは、画像データのX方向への画素数を表している。Nyは、画像データのY方向への画素数を表している。
【0072】
式(2)に示すように、A(m,n)は、複素振幅画像Γ(m,n)の強度成分を表す強度分布画像である。式(3)に示すように、φ(m,n)は、複素振幅画像Γ(m,n)の位相成分を表す位相分布画像である。
【0073】
再構成処理部72は、式(1)に基づいて複素振幅画像Γ(m,n)を求め、求めた複素振幅画像Γ(m,n)を、式(2)又は式(3)に適用することにより、強度分布画像A(m,n)又は位相分布画像φ(m,n)を求める。再構成処理部72は、強度分布画像A(m,n)と位相分布画像φ(m,n)とのうちのいずれか1つを求めて、再構成画像として出力する。
【0074】
本実施形態では、再構成処理部72は、位相分布画像φ(m,n)を再構成画像として出力する。位相分布画像φ(m,n)は、観察対象物体の屈折率分布を表す画像である。本実施形態での観察対象物体である受精卵21は、半透明であるので、照明光16の大部分は、受精卵21により吸収されずに、透過するか、又は回折されるので、強度分布には像がほとんど現れない。このため、本実施形態では、再構成画像として位相分布画像φ(m,n)を用いることが好ましい。
【0075】
再構成処理部72は、フレネル変換式を用いる方法に限られず、フーリエ反復位相回復法等により再構成処理を行ってもよい。
【0076】
表示制御部73は、再構成処理部72により生成された再構成画像をディスプレイ51に表示させる。ディスプレイ51に、1つの焦点位置における再構成画像を表示してもよいし、複数の焦点位置における再構成画像を表示してもよい。また、ディスプレイ51に表示される再構成画像の焦点位置を、ユーザが入力デバイス54を操作することにより設定又は選択可能としてもよい。
【0077】
受精卵21は、100~200μm程度の厚みがあり、かつ培養液22中に浮遊しているため、従来の顕微鏡観察では、受精卵21の内部の前核等に対する焦点位置の調整が難しい。このため、特開2018-093795号公報に記載の従来技術では、焦点位置が異なる画像を複数撮像している。これに対して、本開示のレンズフリーイメージングでは、1回の撮像で得られた画像データに基づいて、任意の焦点位置における再構成画像を生成することが可能である。
【0078】
次に、タイムラプスイメージングシステム2の全体動作の一例を、図9に示すフローチャートを用いて説明する。まず、ユーザは、培養容器20を撮像装置10のステージ15に載置させた後、撮像装置10をインキュベータ40の培養室41内に挿入する(ステップS10)。なお、複数の培養室41のうち、少なくとも1つの培養室41に撮像装置10を挿入すればよい。
【0079】
次に、ユーザは、培養室41の蓋42を閉め、インキュベータ40に培養を開始させる(ステップS11)。インキュベータ40が培養を開始すると、情報処理装置50からの制御に基づき、撮像装置10は培養容器20内の受精卵21を撮像する(ステップS12)。撮像装置10は、撮像動作を行うことにより生成した画像データを、情報処理装置50に無線送信する(ステップS13)。
【0080】
情報処理装置50は、撮像装置10から送信された画像データを受信する(ステップS14)。情報処理装置50の再構成処理部72は、画像データに基づいて再構成処理を行うことにより、少なくとも1枚の再構成画像を生成する(ステップS15)。表示制御部73は、再構成処理部72により生成された再構成画像をディスプレイ51に表示させる(ステップS16)。
【0081】
次に、情報処理装置50は、インキュベータ40による培養が終了したか否かを判定する(ステップS17)。培養は、培養開始から、例えば最長7日間行われる。情報処理装置50は、例えば、培養開始からの経過時間に基づいて培養が終了したか否かを判定する。情報処理装置50は、培養が終了していないと判定した場合には(ステップS17:NO)、前回の撮像から一定時間(例えば、10分間)が経過したか否かを判定する(ステップS18)。
【0082】
情報処理装置50は、前回の撮像から一定時間が経過したと判定した場合には(ステップS18:YES)、処理をステップS12に戻す。ステップS12~S18の処理は、ステップS17において判定が肯定されるまでの間、繰り返し実行される。ステップS17において、情報処理装置50がインキュベータ40による培養が終了したと判定した(ステップS17:YES)後、ユーザによりインキュベータ40の培養室41から撮像装置10が取り出される(ステップS19)。
【0083】
以上のように、本開示の技術に係る撮像装置10は、受精卵用のインキュベータ40の培養室41に出し入れ可能である。受精卵用のインキュベータ40は、光学カメラ等が一体化されたものでないため、安価である。また、本開示の技術に係る撮像装置10は、レンズフリーイメージングにより干渉縞像を撮像するものであるので、撮像時に焦点調節を行う必要はない。
【0084】
[変形例]
次に、撮像装置10の変形例について説明する。図10は、変形例に係る撮像装置10Aを示す。撮像装置10Aは、高さZiが変更可能である点が、上記実施形態に係る撮像装置10と異なる。撮像装置10Aの高さZiは、支柱13の長さを変更することにより、変更可能となっている。
【0085】
具体的には、本変形例に係る撮像装置10Aの支柱13は、上部13Aと下部13Bとに分離されている。上部13Aには、光源11が接続されている。下部13Bは、基台14に接続されている。上部13Aと下部13Bとは、スライド自在に、互いに勘合されている。上部13A及び下部13Bは、本開示の技術に係る「高さ調整機構」の一例である。
【0086】
図11に示すように、下部13Bに対して上部13Aをスライドさせることにより、撮像装置10Aの高さZiを変更することができる。支柱13には、上部13Aと下部13Bに対して固定するための固定ねじ17が設けられている。ユーザは、下部13Bに対する上部13Aの位置を調整し、撮像装置10Aの高さZiを所望の値とした状態で固定ねじ17を操作することにより、下部13Bに対して上部13Aを固定する。
【0087】
下部13Bに対して上部13Aが、図示しない駆動機構によってスライドするように構成されていてもよい。この場合、図示しないスイッチを操作することにより、上部13Aが移動するように構成することが好ましい。
【0088】
なお、撮像装置10Aの高さZiを調整可能とする高さ調整機構は、上述した構成に限られず、適宜変更可能である。
【0089】
受精卵用のインキュベータ40は、様々なメーカから販売されており、培養室41の高さZcも統一された規格はなく様々である。本変形例に係る撮像装置10Aは、高さZiを変更することが可能であるので、様々なメーカのインキュベータ40の培養室41に挿入することができる。
【0090】
図11に示すように、撮像装置10Aの高さZiを低くすることにより、光源11が撮像センサ12に近づいた場合に、光源11からの照明光16が撮像面12Aの全体を照射するように、照明光16は放射状の光であることが好ましい。
【0091】
さらに、撮像装置10は種々の変形が可能である。上記実施形態では、基台14上に撮像センサ12を有するステージ15を設けているが、ステージ15は、基台14と一体化されていてもよい。また、上記実施形態では、基台14を矩形平板状としているが、基台14は、円形等の形状であってもよい。
【0092】
また、上記実施形態では、光源11は支柱13の端部に接続されているが、光源11は支柱13に埋め込まれていてもよい。
【0093】
また、光源11は、複数の発光点(例えば、36個の発光点)が2次元アレー状に配列されたレーザ光源であってもよい。このレーザ光源として、垂直共振器型面発光レーザ(Vertical Cavity Surface Emitting Laser)を用いることが可能である。複数の発光点を順に発光させながら、撮像センサ12により得られた複数の画像データを合成することにより、高解像度の干渉縞像(いわゆる超解像の干渉縞像)を含む画像データが得られる。この画像データを再構成することにより、高画質の再構成画像が得られる。
【0094】
図12は、複数の発光点11Bを有する光源11の発光面11Aの構成を示す。発光面11Aは、撮像センサ12に対向する位置に配置されている。発光面11Aには、複数の発光点11Bが2次元アレー状に配列されている。発光点11Bの配列ピッチは、10μmから100μm程度である。発光点11Bの各々は、順に選択されて、照明光16を出射する。複数の発光点11Bの発光時間間隔は、数ミリ秒である。
【0095】
なお、発光点11Bの配列ピッチは、画素12Bの配列ピッチ(第1配列ピッチΔx及び第2配列ピッチΔy)と異なっていればよく、必ずしも画素12Bの配列ピッチよりも小さい必要はない。例えば、発光点11Bが隣の画素12Bの真上に位置していても、発光点11Bの配列ピッチが画素12Bの配列ピッチと一致していなければよい。この場合、画素12B上の異なる位置に照明光16が照明されるので、複数の画像データを合成する際に、各々の発光点11Bの真下にあり、照明光16が照明された異なる画素12Bを同一の画素と見なして、1画素以下の精度で位置合わせを行うことにより、超解像の干渉縞像を含む画像データを生成することが可能である。
【0096】
なお、図12では、発光点11Bを6×6の正方配列とし、発光面11Aに36個の発光点11Bを設けているが、発光点11Bの数及び配列パターンは、図12に示す数及び配列パターンに限定されない発光点11Bの数が多いほど、干渉縞像の高解像度化を図ることが可能である一方で、合成処理及び再構成処理の演算時間が長くなる。このため、要求される画質及び演算時間に合わせて、発光点11Bの数を最適化することが好ましい。
【0097】
また、上記実施形態では、撮像装置10をインキュベータ40の培養室41内に出し入れ可能としているが、撮像装置10とインキュベータ40とを一体化することも可能である。
【0098】
図13は、撮像装置が一体的に組み込まれたインキュベータ40Aと、情報処理装置50とにより構成されたタイムラプスイメージングシステム2Aを示す。図14は、撮像装置が一体的に組み込まれたインキュベータ40Aを示す。なお、タイムラプスイメージングシステム2Aは、本開示の技術に係る「イメージングシステム」の一例である。
【0099】
本変形例に係るインキュベータ40Aは、上記実施形態に係るインキュベータ40(図5参照)と同様に、複数の培養室41が設けられている。培養室41の各々には、開閉式の蓋42が設けられている。本変形例では、蓋42に光源11が設けられている。具体的には、光源11は、蓋42の内面側に埋め込まれており、培養室41内に向けて照明光16を発する。光源11は、図12に示す複数の発光点11Bを有するものであってもよい。
【0100】
本変形例では、撮像センサ12は、培養室41の底部41Aに設けられている。具体的には、撮像センサ12は、培養室41の底部41Aに埋め込まれており、培養室41内に撮像面12Aが露出している。なお、底部41Aは、インキュベータ40Aを構成する筐体の一部である。
【0101】
光源11は、蓋42を閉めた状態で、撮像センサ12に対向する位置に配置されている。培養室41の底部41Aには、培養容器20が載置される。光源11から出射された照明光16は、培養容器20を介して撮像センサ12に入射する。撮像センサ12は、受精卵21により生成される干渉縞像を撮像する。撮像センサ12は、上記実施形態と同様の動作を行う。本変形例では、光源11及び撮像センサ12が撮像装置を構成している。
【0102】
本変形例に係るインキュベータ40Aには、図6に示した撮像装置10に含まれるプロセッサ60、記憶装置61、及び通信部62が設けられている。インキュベータ40Aは、情報処理装置50と有線又は無線により通信を行う。情報処理装置50の構成及び動作は、上記実施形態と同様である。情報処理装置50は、撮像装置が画像データを生成するたびに再構成処理を行うことにより、再構成処理を生成する。
【0103】
本変形例に係るタイムラプスイメージングシステム2Aによれば、培養室41内で受精卵21を培養しながら受精卵21を観察することができる。なお、情報処理装置50をインキュベータ40Aに組み込むことにより、タイムラプスイメージングシステム2Aを1つの装置とすることも好ましい。
【0104】
また、上記実施形態及び上記変形例では、撮像装置10に1つの撮像センサ12が設けられているが、撮像センサ12の数は1つに限られず、2以上であってもよい。
【0105】
図15は、培養容器20内の受精卵21の直径D及び培養液22の高さHについて説明する図である。上記実施形態又は上記変形例に係るタイムラプスイメージングシステムを用いて受精卵21を観察する観察方法において、前述のように受精卵21は、培養液22中に浮遊している。受精卵21は、人の卵子であって、ほぼ球状である。受精卵21の直径Dは、100μm以上200μm未満であることが好ましい。
また、培養液22の高さHは、受精卵21を浮遊させるために、1m以上20mm未満であることが好ましい。なお、培養液22の高さHとは、培養容器20の内側底面20Aから培養液22の頂部までのZ方向への長さである。
【0106】
上記実施形態に係るタイムラプスイメージングシステム2は、撮像装置10に光学レンズを備えない、いわゆるレンズフリーイメージングと呼ばれる技術に関する。本開示の技術は、デジタルホログラフィ全般(例えば、参照光を用いる場合など)に適用可能である。
【0107】
情報処理装置50を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理装置50を、処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。
【0108】
このように、情報処理装置50のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム56A等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化すること、あるいは、複数のストレージデバイスに分散して格納することも可能である。
【0109】
上記実施形態において、例えば、撮像制御部70、画像データ取得部71、再構成処理部72、及び表示制御部73といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム56A)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device: PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0110】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、及び/又は、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0111】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip: SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0112】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
【0113】
また、上記実施形態及び各変形例は、矛盾が生じない範囲で適宜組み合わせ可能である。
【0114】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15