(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132298
(43)【公開日】2023-09-22
(54)【発明の名称】3次元画像撮像装置
(51)【国際特許分類】
G01N 15/14 20060101AFI20230914BHJP
G01N 21/64 20060101ALI20230914BHJP
G02B 21/06 20060101ALI20230914BHJP
G02B 21/36 20060101ALI20230914BHJP
【FI】
G01N15/14 D
G01N21/64 E
G02B21/06
G02B21/36
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022037527
(22)【出願日】2022-03-10
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進(CREST)事業、「多次元・ネットワーク化計測による細胞外微粒子の多様性と動態の解明」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100194250
【弁理士】
【氏名又は名称】福原 直志
(72)【発明者】
【氏名】太田 禎生
(72)【発明者】
【氏名】鵜川 昌士
【テーマコード(参考)】
2G043
2H052
【Fターム(参考)】
2G043AA03
2G043BA16
2G043CA04
2G043DA05
2G043EA01
2G043FA01
2G043FA02
2G043FA03
2G043FA06
2G043GA03
2G043GA06
2G043GB03
2G043GB21
2G043HA01
2G043HA02
2G043HA09
2G043JA03
2G043KA08
2G043KA09
2G043LA03
2G043NA04
2H052AC09
2H052AC15
2H052AC16
2H052AF14
(57)【要約】
【課題】蛍光を用いて撮像を行う場合に高速に3次元画像を撮像できること。
【解決手段】3次元画像撮像装置は、観測対象物に帯状の励起光を所定の時間間隔で照射する照射部と、観測対象物と励起光との相対位置を所定の走査方向について変化させる相対位置変化部と、相対位置変化部によって相対位置が変化させられることによって励起光が照射される観測対象物の部分が走査方向について変化させられながら照射部によって励起光が観測対象物の複数の部分それぞれに所定の時間間隔で照射されて複数の部分それぞれから発せられる蛍光を撮像素子上の異なる位置にそれぞれ結像することによって、一度の露光で複数の部分を撮像する撮像部と、を備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
観測対象物に帯状の励起光を所定の時間間隔で照射する照射部と、
前記観測対象物と前記励起光との相対位置を所定の走査方向について変化させる相対位置変化部と、
前記相対位置変化部によって前記相対位置が変化させられることによって前記励起光が照射される前記観測対象物の部分が前記走査方向について変化させられながら前記照射部によって前記励起光が前記観測対象物の複数の部分それぞれに所定の時間間隔で照射されて前記複数の部分それぞれから発せられる蛍光を撮像素子上の異なる位置にそれぞれ結像することによって、一度の露光で前記複数の前記部分を撮像する撮像部と、
を備える3次元画像撮像装置。
【請求項2】
前記相対位置変化部は、前記観測対象物を前記走査方向とは異なる方向である移動方向に移動させ、かつ前記照射部が照射する帯状の前記励起光の長手方向を帯状の前記励起光の短手方向からみた場合に前記移動方向に対して所定の角度だけ傾けることによって前記相対位置を前記走査方向について変化させる
請求項1に記載の3次元画像撮像装置。
【請求項3】
前記撮像素子は、複数の素子が行列状に配置され行または列を単位として信号が読み出される素子の集まりであり、
前記撮像素子は、前記複数の素子の信号が読み出される行または列の方向を、前記複数の部分それぞれから発せられる蛍光が結像される前記撮像素子上の異なる位置が並ぶ方向に応じた方向にして配置される
請求項2に記載の3次元画像撮像装置。
【請求項4】
前記相対位置変化部は、固定されている前記観測対象物に対して前記励起光が照射される方向を変更することによって前記相対位置を前記走査方向について変化させる
請求項1に記載の3次元画像撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元画像撮像装置に関する。
【背景技術】
【0002】
イメージングフローサイトメトリーにおいて、3次元画像は取得に時間がかかるため、一般的なフローサイトメトリーで用いられる流速(1-10メートル毎秒)で流れる細胞の3次元画像を取得することができなかった。
走査方向に傾けたライトシートを用いて観測対象物の断面を撮像することによって、観測対象物の3次元画像を高速に撮像する3次元顕微鏡法が知られている(非特許文献1)。また、複数の波長の光を用いたストロボ撮影によって、フェムト秒からピコ秒程度の非常に短い撮像時間において観測対象物の3次元画像を撮像する撮像方法が知られている(非特許文献2)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】「NATURE PHOTONICS」、2015年1月19日、9巻、2015年2月号、p.113-119
【非特許文献2】「NATURE PHOTONICS」、2014年8月10日、8巻、2014年9月号、p.695-700
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献1に記載の3次元顕微鏡法では、1枚のライトシートで1フレームの画像が撮像されるため、複数の断面を撮像する場合複数のフレームを必要とする。そのため、フローサイトメトリーのように高速で流れる細胞の断面を撮像する場合には、高いフレームレートを必要とする。一方、非特許文献2に記載の撮像方法では、波長毎に信号を取得しているため、蛍光を撮像する場合には適していない。
【0005】
一般的なフローサイトメトリーにおける3次元イメージングの実装のためには、一般的なフローサイトメトリーで用いられる流速(1-10メートル毎秒)で流れる細胞の3次元画像を、細胞から発せられる蛍光を用いて撮像することが求められる。
上述したように、蛍光を用いて撮像を行う場合に高速に3次元画像を撮像できることが求められている。
【0006】
本発明は上記の点に鑑みてなされたものであり、蛍光を用いて撮像を行う場合に高速に3次元画像を撮像できる3次元画像撮像装置を提供する。
【課題を解決するための手段】
【0007】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、観測対象物に帯状の励起光を所定の時間間隔で照射する照射部と、前記観測対象物と前記励起光との相対位置を所定の走査方向について変化させる相対位置変化部と、前記相対位置変化部によって前記相対位置が変化させられることによって前記励起光が照射される前記観測対象物の部分が前記走査方向について変化させられながら前記照射部によって前記励起光が前記観測対象物の複数の部分それぞれに所定の時間間隔で照射されて前記複数の部分それぞれから発せられる蛍光を撮像素子上の異なる位置にそれぞれ結像することによって、一度の露光で前記複数の前記部分を撮像する撮像部と、を備える3次元画像撮像装置である。
【0008】
また、本発明の一態様は、上記の3次元画像撮像装置において、前記相対位置変化部は、前記観測対象物を前記走査方向とは異なる方向である移動方向に移動させ、かつ前記照射部が照射する帯状の前記励起光の長手方向を帯状の前記励起光の短手方向からみた場合に前記移動方向に対して所定の角度だけ傾けることによって前記相対位置を前記走査方向について変化させる。
【0009】
また、本発明の一態様は、上記の3次元画像撮像装置において、前記撮像素子は、複数の素子が行列状に配置され行または列を単位として信号が読み出される素子の集まりであり、前記撮像素子は、前記複数の素子の信号が読み出される行または列の方向を、前記複数の部分それぞれから発せられる蛍光が結像される前記撮像素子上の異なる位置が並ぶ方向に応じた方向にして配置される。
【0010】
また、本発明の一態様は、上記の3次元画像撮像装置において、前記相対位置変化部は、固定されている前記観測対象物に対して前記励起光が照射される方向を変更することによって前記相対位置を前記走査方向について変化させる。
【発明の効果】
【0011】
本発明によれば、蛍光を用いて撮像を行う場合に高速に3次元画像を撮像できる。
【図面の簡単な説明】
【0012】
【
図1】本発明の第1の実施形態に係る細胞測定システムの外観構成を示す図である。
【
図2】本発明の第1の実施形態に係るイメージングフローサイトメーターの機能構成の一例を示す図である。
【
図3】本発明の第1の実施形態に係る流路に照射されるライトシート照明光の一例を示す図である。
【
図4】本発明の第1の実施形態に係るライトシート照明光と細胞との位置関係の一例を示す図である。
【
図5】本発明の第1の実施形態に係る撮像部によって撮像された撮像画像の一例を示す図である。
【
図6】本発明の第1の実施形態に係る撮像結果の一例を示す図である。
【
図7】本発明の第1の実施形態に係る3次元画像生成部によって生成された3次元画像の一例を示す図である。
【
図8】本発明の第2の実施形態に係る細胞測定システムの構成の一例を示す図である。
【
図9】本発明の第2の実施形態に係るライトシート照明光と細胞との位置関係の一例を示す図である。
【発明を実施するための形態】
【0013】
(第1の実施形態)
以下、図面を参照して本発明の第1の実施形態について説明する。
図1は、細胞測定システム1の外観構成を示す図である。細胞測定システム1は、イメージングフローサイトメーター20と、表示部10とを備える。イメージングフローサイトメーター20は、観測対象物が流される少なくとも1つの流路を備える。なお、本実施形態では、観測対象物が細胞である場合について説明するが、観測対象物は細胞に限られない。観測対象物は、光を透過するものであればよい。この細胞は、蛍光染色された細胞である。
【0014】
イメージングフローサイトメーター20は、流路を流れる細胞の3次元画像を生成する。表示部10は、イメージングフローサイトメーター20が生成した3次元画像を表示する。表示部10は、例えば、液晶ディスプレイを備えており、さまざまな画像を表示する。この表示部10に表示される画像には、イメージングフローサイトメーター20が生成する細胞の3次元画像が含まれている。
【0015】
[イメージングフローサイトメーター20の機能構成]
次に
図2を参照し、イメージングフローサイトメーター20の機能構成について説明する。
図2は、本実施形態に係るイメージングフローサイトメーター20の機能構成の一例を示す図である。イメージングフローサイトメーター20は、上述した流路21と、照射部22と、光学系23と、撮像部24と、制御部25とを備える。
【0016】
流路21は、細胞C1を流体とともに流すことによって細胞C1を流速の方向に移動させる。当該流体の流速は、一例として、1-10メートル毎秒である。当該流体は、例えば、シース液である。
【0017】
照射部22は、流路21に対して励起光P1を照射する。照射部22は、光源221を含む。光源は、励起光P1として帯状のコヒーレント光を発生させる。励起光P1は、コヒーレント光を絞ることにより、帯状にした励起光である。帯状にした励起光の具体的な形状については後述する。
【0018】
照射部22は、細胞C1に帯状の励起光を所定の時間間隔で照射する。イメージングフローサイトメーター20では、細胞C1に所定の時間間隔で帯状の励起光を照射することによってストロボ撮影を行う。
【0019】
本実施形態では、光源221は、一例として、パルスレーザである。本実施形態では、照射部22は、励起光P1としてパルス光を細胞C1に照射する。パルス光である励起光P1に含まれる複数のパルスそれぞれが帯状の励起光である。照射部22がパルス光を照射する場合、所定の時間間隔とは、所定の周期である。当該帯状の励起光をライトシート照明光LS1という。
【0020】
なお、光源221は、CW(Continuous Wave)レーザであってもよい。光源221がCWレーザである場合、照射部22は、励起光P1として、連続波であるレーザ光が所定の周期で変調された光を細胞C1に照射する。
【0021】
光学系23は、光源221が発生させた励起光P1を、流路21の所定の位置に照射させる。光学系23は、照射部22が照射する帯状のライトシート照明光LS1の長手方向を流路21の側面からみた場合に流路21の流速の方向に対して所定の角度だけ傾ける。本実施形態では、励起光P1が照射される流路21の所定の位置は、予め決められており時間について変化しない。光学系23は、例えば、ダイクロイックミラー、対物レンズを含む各種のレンズを含む。
【0022】
以下の説明では、流路21の励起光P1が照射される位置のことを、照射位置とも記載する。この照射位置を通過した細胞C1は、励起光P1によって蛍光分子が励起されることにより発光する。この発光による光が、蛍光F1である。
【0023】
撮像部24は、励起光P1が照射される流路21の位置を通過した細胞C1からの蛍光F1を撮像する。これにより、撮像部24は、細胞C1のある部分を撮像する。ここで、ある部分とは、励起光P1によって蛍光分子が励起された部分である。当該ある部分は、細胞C1に帯状の励起光が照射されることに応じて、当該励起光の厚さ程度の厚さをもつ。当該ある部分の上面または下面を、細胞C1の断面ともいう。
【0024】
撮像部24は、一度の露光で細胞C1の複数の部分を撮像する。撮像部24は、一例として、カメラを含む。当該カメラは、高速撮像可能なカメラが好ましい。当該カメラは、例えば、CCD(Charge Coupled Device)カメラやCMOS(Complementary MOS)カメラなどである。当該カメラは、撮像素子241を備える。撮像素子241は、CCDやCMOSなどの固体撮像素子である。
【0025】
本実施形態では、撮像素子241は、複数の素子が行列状に配置され行または列を単位として信号が読み出される素子の集まりである。撮像素子241は、横方向の画素数が縦方向の画素数より多い長方形の形状である。撮像素子241の読み出し回路は、撮像素子241の横方向の画素列毎に、検出された光の強さを取得するように構成される。後述するように、撮像素子241は、複数の素子の信号が読み出される横方向(行の方向)と、細胞C1の複数の部分それぞれから発せられる蛍光F1が結像される撮像素子241上の異なる位置が並ぶ方向とが一致する向きに配置される。
【0026】
この一例では、撮像素子241は、sCMOS(Scientific CMOS;科学計測用CMOS)などから構成される撮像素子である。sCMOSは、従来のCCDや、CMOSによって構成される撮像素子よりも、高速かつ画質よく撮像できる。
なお、撮像部24は、細胞C1からの蛍光F1を撮像素子241上に集光するための光学系を含む。当該光学系の一部は、上述した光学系23の一部と兼ねられていてもよい。
【0027】
制御部25は、例えばCPUや、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)などを備えており、種々の演算や情報の授受を行う。制御部25は、3次元画像生成部251を、その機能部として備える。
【0028】
3次元画像生成部251は、撮像素子241から撮像画像を取得する。3次元画像生成部251は、取得した撮像画像に含まれる複数の断面画像に基づいて、細胞C1の3次元画像を生成する。3次元画像を生成することを、3次元画像を再構成するともいう。
【0029】
[撮像方法]
ここで
図3から
図5を参照し、イメージングフローサイトメーター20による撮像方法について説明する。
図3は、本実施形態に係る流路21に照射されるライトシート照明光LS1の一例を示す図である。
図4は、本実施形態に係るライトシート照明光LS1と細胞C1との位置関係の一例を示す図である。
【0030】
図3及び
図4には、3次元直交座標系として、xyz座標系を示す。本実施形態において、x軸方向は、流路21の長さ方向である。x軸方向が流路21における細胞C1が流される方向である。細胞C1は、x軸方向の+x方向に流される。また、y軸方向は、流路21の幅方向(奥行き方向ともいう)である。z軸方向は、流路21の高さ方向である。以下の説明では、流路21の幅方向において、y軸方向の正の側を「右側」と呼ぶ場合があり、y軸方向の負の側を「左側」と呼ぶ場合がある。また、z軸方向の正の側を「上側」と呼ぶ場合があり、z軸方向の負の側を「下側」と呼ぶ場合がある。
【0031】
図3(A)は、流路21を上側からみた場合の流路21を示す。
図3(B)は、流路21を側面(例えば、左側)からみた場合の流路21を示す。本実施形態では、流路21を流れる流体は定常流の状態に維持されている。そのため、細胞C1は、流路21を流れている間、少なくとも撮像部24による撮像の途中においては、流路21の幅方向の位置、流路21の高さ方向の位置、及び流路21の上面または底面に対する向きは変わらない。つまり、細胞C1は、少なくとも撮像部24による撮像の途中においては、流路21を真っすぐに上流から下流の向き(+x方向)へと回転せずに流れる。
【0032】
図3(B)に示すように、ライトシート照明光LS1は、流路21の底面と平行(xy平面と平行)な向きから流路21の幅方向に平行な方向(y軸方向)を回転軸として回転させられた向きにされて、流路21において細胞C1が流される方向(x軸方向)に対して所定の角度だけ傾けられて照射されている。
イメージングフローサイトメーター20に備えられる光学系は、照射部22が照射するライトシート照明光LS1の面の方向を流速の方向に対して所定の角度だけ傾ける。
【0033】
なお、
図3(B)では、ライトシート照明光LS1が、流路21の側面からみた場合に上流の側の高さが下流の側の高さに比べて低くなる向きに傾いている場合の一例について説明したが、これに限られない。ライトシート照明光LS1が、流路21の側面からみた場合に上流の側の高さが下流の側の高さに比べて高くなる向きに傾いていてもよい。
【0034】
上述したように本実施形態では、励起光P1はパルス光である。ライトシート照明光LS1は、励起光P1に含まれる1つのパルスである。したがって、励起光P1に含まれるパルスが流路21に照射されている場合に、流路21はライトシート照明光LS1が照射された状態となる。
図4は、ライトシート照明光LS1が流路21に照射されている場合に対応する。一方、当該パルスが流路21に照射されていない場合には、流路21はライトシート照明光LS1が照射されていない状態となる。
【0035】
流路21及び光学系23は、相対位置変化部の一例である。つまり、本実施形態において相対位置変化部は、流路21によって細胞C1を走査方向とは異なる方向である流路21の流速の方向に移動させ、かつ光学系23によって照射部22が照射する帯状のライトシート照明光LS1の長手方向を帯状のライトシート照明光LS1の短手方向からみた場合に流路21の流速の方向に対して所定の角度だけ傾けることによって、細胞C1とライトシート照明光LS1との相対位置を走査方向について変化させる。したがって、相対位置変化部は、細胞C1とライトシート照明光LS1との相対位置を所定の走査方向について変化させる。なお、本実施形態において、帯状のライトシート照明光LS1の短手方向は、流路21の幅方向(奥行き方向またはy軸方向)と一致している。
【0036】
なお、本実施形態において、走査とは、観測対象物の複数の部分(断面)にそれぞれに所定の時間間隔において励起光をそれぞれ照射して、当該複数の部分それぞれから発せられる蛍光に基づいて、当該複数の部分の画像を撮像することをいう。走査方向とは、所定の時間間隔において励起光が照射される観測対象物の複数の部分(断面)の並ぶ方向である。
【0037】
図4では、ライトシート照明光LS1が流路21に照射されている複数の時刻について、流路21を流れる細胞C1の各部分が発光する様子が時系列で示されている。当該複数の時刻は、
図4では、「t=1」から「t=6」の6つ時刻によって示されている。本実施形態では、励起光P1はパルス光である。つまり、ライトシート照明光LS1は所定の周期で流路21に照射される。
【0038】
上述したようにライトシート照明光LS1が流路21において細胞C1が流される方向(x軸方向)に対して所定の角度だけ傾いている。そのため、細胞C1の部分のうちライトシート照明光LS1が照射される部分は、細胞C1が流路21を流れるにつれて所定の走査方向について変化する。走査方向は、ライトシート照明光LS1の面の法線方向である。励起光P1に含まれる複数のパルスであるライトシート照明光LS1はそれぞれ、細胞C1の異なる部分に照射される。換言すれば、流路21を流れる細胞C1の部分は、帯状のライトシート照明光LS1の面の法線方向について走査される。
【0039】
本実施形態では、流路21に対して位置が変化しないライトシート照明光LS1が照射される領域を、流路21を流れる細胞C1が一定の速度で通過する。そのため、細胞C1の各部分(断面)には、走査方向について等間隔でライトシート照明光LS1が照射される。
【0040】
ライトシート照明光LS1が照射される部分は、帯状のライトシート照明光LS1と細胞C1とが交差する平面状の部分である。ライトシート照明光LS1が照射された細胞C1の部分は発光する。ライトシート照明光LS1が照射される部分が流路21を流れるにつれて変化するため、細胞C1の部分のうち発光する部分は細胞C1が流路21を流れるにつれて変化する。
【0041】
ここで上述したようにライトシート照明光LS1は、帯状にした励起光である。ライトシート照明光LS1の幅方向は、流路21の幅方向と一致している。ライトシート照明光LS1の長さ方向は、流路21の長さ方向に対して所定の角度だけ傾いている。ライトシート照明光LS1の厚さ(高さ)方向は、流路21を側面からみた場合に流路21の高さ方向に対して所定の角度だけ傾いている。所定の角度とは、例えば、0度より大きく45度未満の角度である。
【0042】
ライトシート照明光LS1の幅は、観測対象物である細胞C1の径よりも十分に長い。本実施形態では、ライトシート照明光LS1の幅は、流路21の幅よりも長い。ライトシート照明光LS1の高さ(厚み)は、細胞C1の径よりも十分に短い。ライトシート照明光LS1と細胞C1とが交差する部分の位置は、細胞C1が流路21を流れるにつれて変化するが、ライトシート照明光LS1のうちそれらの部分からなる領域は、撮像部24に含まれる撮像素子241の垂直画角に含まれる程度に狭い。撮像素子241の垂直画角の方向は、ライトシート照明光LS1の長さ方向である。
【0043】
撮像部24は、カメラのレンズの光軸の方向と、ライトシート照明光LS1の面の法線の方向とが一致するように設置される。なお、撮像部24に備えられるカメラのレンズの光軸の方向は、ライトシート照明光LS1の面の法線の方向から傾いていてもよい。
撮像部24は、ライトシート照明光LS1が細胞C1の複数の部分それぞれに所定の時間間隔で照射されて細胞C1の複数の部分から発せられる蛍光それぞれを撮像素子241上の異なる位置に結像することによって、一度の露光で細胞C1の複数の部分を撮像する。撮像部24は、1個の細胞C1について当該細胞C1の複数の部分を撮像する間、露光状態を維持する。
【0044】
撮像部24は、例えば、以下のシャッターの開閉の条件に基づいてシャッターの開閉を行うことが好ましい。なお、以下のシャッターの開閉の条件は必須でなない。例えば、撮像部24は、流路21を流れる細胞C1が流路21の所定の位置(露光開始位置)を通過した場合に、シャッターを開いて露光を開始する。露光開始位置は、例えば、流路21において励起光P1の照射位置よりも上流側の位置であって、撮像素子241の画角外の位置である。撮像部24は、露光を開始してから所定時間が経過するとシャッターを閉じて露光を終了する。なお、撮像部24は、細胞C1が流路21の所定の位置(露光終了位置)を通過した場合に、露光を終了してもよい。露光終了位置は、例えば、流路21において励起光P1の照射位置よりも下流側の位置であって、撮像素子241の画角外の位置である。
撮像部24は、流路21を流れる細胞C1の位置に応じてシャッターを開閉する。したがって、撮像部24は、観測対象物の動きに同期させて、シャッターを開閉する。
【0045】
流路21には、複数の細胞C1が流されて、撮像部24は、複数の細胞C1それぞれを撮像してもよい。その場合、撮像部24は、一度の露光につき1個の細胞C1を撮像する。撮像部24は、シャッターの開閉を繰り返して、流路21を流れる複数の細胞C1それぞれを順に撮像する。
【0046】
なお、流路21に複数の細胞C1が流される場合、それら複数の細胞C1同士の間隔は、撮像部24がある細胞C1の撮像を行う間に、撮像素子241の画角内間に別の細胞C1が入ってしまわない程度に離される。
なお、流路21の幅が十分に広ければ、流路21の幅方向について異なる位置を流れる複数の細胞について、一度の露光で撮像してもよい。
【0047】
図5は、本実施形態に係る撮像部24によって撮像された撮像画像T1の一例を示す図である。
図5には、2次元直交座標系として、XY座標系を示す。本実施形態において、X方向は、撮像素子241の横方向である。X方向は、流路21の流速の方向(
図3及び
図4におけるx軸方向)と一致している。Y方向は、撮像素子241の縦方向である。
【0048】
図5では、複数の時刻においてそれぞれ発光した細胞C1の部分の画像である断面画像が、撮像素子241上の互いに異なる位置に1フレームの画像として撮像されている。撮像画像T1では、「t=1」から「t=6」によってそれぞれ示される6つ時刻において細胞C1の部分から発せられる蛍光が撮像素子241上の互いに異なる位置に結像されて、1フレームの画像として撮像されている。
【0049】
撮像部24は、流路21及び光学系23によってライトシート照明光LS1との相対位置が変化させられることによってライトシート照明光LS1が照射される細胞C1の部分が走査方向について変化させられながら照射部22によってライトシート照明光LS1が細胞C1の複数の部分それぞれに所定の時間間隔で照射されて細胞C1の複数の部分それぞれから発せられる蛍光を撮像素子241上の異なる位置にそれぞれ結像することによって、一度の露光で細胞C1の複数の部分を撮像する。つまり、撮像部24では、複数のフレームを必要とせずに1枚のフレームで細胞C1の複数の部分を撮像する。
【0050】
上述したように撮像素子241では、横方向(X方向)の画素列について、検出された光の強さを同時に取得する。さらに、撮像素子241では、縦方向(Y方向)に並ぶ横方向の画素列の全てについて同時に光の強さを取得する処理を行う。つまり、撮像部24に備えられるカメラでは、グローバルシャッターが用いられる。そのため、1枚の撮像画像T1を撮像するのに要する撮像時間は、縦方向(Y方向)を走査する時間に比例して長くなる。つまり、1枚の撮像画像T1を撮像するのに要する撮像時間は、縦方向の画素数に比例して長くなる。したがって、撮像素子241が単位時間当たりに撮像できる画像の枚数は、縦方向の画素数に反比例し、横方向の画素数には依存しない。
【0051】
本実施形態では、撮像素子241は、複数の素子の信号が読み出される横方向(X方向)と、細胞C1の複数の部分それぞれから発せられる蛍光F1が結像される撮像素子241上の異なる位置が並ぶ方向とが一致する向きに配置される。そのため、イメージングフローサイトメーター20による撮像速度は撮像素子241の横方向の画素数には依存しない。イメージングフローサイトメーター20による撮像速度は、撮像部24に用いるカメラ自体の撮像速度による制限を受けない。
【0052】
なお、撮像素子241は、複数の素子の信号が読み出される横方向(X方向)と、細胞C1の複数の部分それぞれから発せられる蛍光F1が結像される撮像素子241上の異なる位置が並ぶ方向とが一致する向き以外の向きに配置されてもよい。その場合であっても、撮像素子241は、複数の素子の信号が読み出される行または列の方向を、細胞C1の複数の部分それぞれから発せられる蛍光が結像される撮像素子241上の異なる位置が並ぶ方向に応じた方向にして配置されることが好ましい。当該異なる位置が並ぶ方向に応じた方向とは、例えば、当該異なる位置が並ぶ方向から0度より大きい角度であって所定の角度(例えば、45度)未満の角度だけ傾いた方向である。
【0053】
また、本実施形態では、撮像素子241は、複数の素子が行列状に配置され行または列を単位として信号が読み出される素子の集まりであり、横方向に配置される画素の数が縦方向に配置される画素の数よりも多い長方形の形状である場合の一例について説明したが、これに限られない。撮像素子241は、横方向に配置される画素の数と縦方向に配置される画素の数とが等しい正方形の形状であってもよい。
【0054】
本実施形態では、3次元画像生成部251は、撮像画像T1に撮像された細胞C1の複数の断面画像を、走査方向に基づく順序で結合する。3次元画像生成部251は、走査方向と撮像素子241の縦方向及び横方向との関係を示す情報を予め取得する。3次元画像生成部251は、当該関係を示す情報に基づいて、撮像画像T1に撮像された複数の断面画像について結合する順序を判定する。3次元画像生成部251は、判定した順序に基づいて当該複数の断面画像を結合することによって、3次元画像を生成する。
【0055】
ライトシート照明光LS1の傾きは、例えば、流路21を流れる流体の流速、励起光P1に含まれるパルスの周期、及び、細胞C1の部分の奥行(厚さ)方向についての所望の解像度に基づいて決定される。細胞C1の部分の奥行(厚さ)方向とは、細胞C1がライトシート照明光LS1によって走査される方向である。
【0056】
[撮像結果]
図6は、本実施形態に係る撮像結果の一例を示す図である。なお、
図6に示す撮像画像には、スケールとして「30μm」が示されている。
撮像画像T10は、流路21を流れる流体の流速が1.3m/sであって、光源221として、50kHzの周波数で変調されたCWレーザが用いられた場合の撮像結果である。
撮像画像T20は、流路21を流れる流体の流速が11.8m/sであって、光源221として、500kHzの周波数で変調されたCWレーザが用いられた場合の撮像結果である。
撮像画像T30は、流路21を流れる流体の流速が0.98m/sであって、光源221としてパルス周波数が48kHzのQスイッチレーザが用いられた場合の撮像結果である。
【0057】
撮像画像T20の撮像条件と撮像画像T10、撮像画像T30の撮像条件とを比較すると、撮像画像T20の撮像条件では、流速が撮像画像T10、撮像画像T30の撮像条件の流速の約10倍である。これに応じて、撮像画像T20の撮像では、CWレーザの周波数は、撮像画像T10の撮像に用いられたCWレーザの周波数、または撮像画像T30の撮像に用いられたQスイッチレーザの周波数の約10倍に設定されている。
【0058】
なお、一般に、Qスイッチレーザの方がCWレーザに比べてパルス当たりの光量が多い。そのため、光源221としてQスイッチレーザが用いられた場合、光源221としてCWレーザが用いられる場合に比べて、断面画像に撮像される細胞C1の断面画像のコントラストを高くできる。
【0059】
図7は、本実施形態に係る3次元画像生成部251によって生成された3次元画像の一例を示す図である。
図7では、細胞C1の3次元画像が再構成された結果が示されている。
【0060】
なお、本実施形態では、光学系23によってライトシート照明光LS1の面の方向が流路21の流速の方向に対して所定の角度だけ傾ける場合の一例について説明したが、これに限られない。光学系23は、ライトシート照明光LS1の面を流路21の上面(または下面)と平行にして、ライトシート照明光LS1の位置を深さ方向について変化させてもよい。
【0061】
なお、本実施形態では、照射部22は所定の周期でライトシート照明光LS1を細胞C1に照射する場合の一例について説明したが、これに限られない。照射部22は、周期的でない時間間隔でライトシート照明光LS1を細胞C1に照射してもよい。例えば、上述したようにライトシート照明光LS1の面を流路21の上面(または下面)と平行にして、ライトシートの位置を深さ方向について変化させる場合、照射部22は、周期的でない時間間隔でライトシート照明光LS1を細胞C1に照射してもよい。
【0062】
また、例えば、位置の変化しないライトシート照明光LS1が照射される領域を通過する間に、細胞C1の移動速度が変化する場合、当該移動速度の変化に応じて、照射部22は、周期的でない時間間隔でライトシート照明光LS1を細胞C1に照射してもよい。
【0063】
なお、本実施形態では、細胞C1は、少なくとも撮像部24による撮像の途中においては、流路21を真っすぐに上流から下流の向き(+x方向)へと回転せずに流れる場合の一例について説明したが、これに限られない。例えば、制御部25は、細胞C1が回転した場合に、細胞C1の向きについて回転前からのずれを検出する検出部を備えてもよい。3次元画像生成部251は、3次元画像を再構成する過程において、検出部が検出したずれに基づいて細胞C1が回転したことによるずれを補正する。
【0064】
以上に説明したように、本実施形態に係る3次元画像撮像装置(本実施形態において、イメージングフローサイトメーター20)は、照射部22と、相対位置変化部(本実施形態において、流路21及び光学系23)と、撮像部24とを備える。
照射部22は、観測対象物(本実施形態において、細胞C1)に帯状の励起光(本実施形態において、ライトシート照明光LS1)を所定の時間間隔で照射する。
相対位置変化部(本実施形態において、流路21及び光学系23)は、観測対象物(本実施形態において、細胞C1)と励起光(本実施形態において、ライトシート照明光LS1)との相対位置を所定の走査方向(本実施形態において、ライトシート照明光LS1の面の法線方向)について変化させる。
撮像部24は、相対位置変化部(本実施形態において、流路21及び光学系23)によって相対位置(本実施形態において、細胞C1とライトシート照明光LS1との相対位置)が変化させられることによって励起光(本実施形態において、ライトシート照明光LS1)が照射される観測対象物(本実施形態において、細胞C1)の部分が走査方向(本実施形態において、ライトシート照明光LS1の面の法線方向)について変化させられながら照射部22によって励起光(本実施形態において、ライトシート照明光LS1)が観測対象物(本実施形態において、細胞C1)の複数の部分それぞれに所定の時間間隔で照射されて複数の部分(本実施形態において、細胞C1の複数の部分)それぞれから発せられる蛍光を撮像素子241上の異なる位置にそれぞれ結像することによって、一度の露光で複数の部分(本実施形態において、細胞C1の複数の部分)を撮像する。
【0065】
この構成により、本実施形態に係る3次元画像撮像装置(本実施形態において、イメージングフローサイトメーター20)では、一度の露光で観測対象物の複数の部分を撮像できるため、蛍光を用いて撮像を行う場合に、高速に3次元画像を撮像できる。ここで高速とは、観測対象物の複数の部分それぞれを複数のフレームそれぞれで撮像する場合に比べて高速であることを意味する。本実施形態に係る3次元画像撮像装置では、一度の露光で観測対象物の複数の部分を撮像できるため高いフレームレートを必要としない。
【0066】
また、本実施形態に係る3次元画像撮像装置(本実施形態において、イメージングフローサイトメーター20)では、相対位置変化部(本実施形態において、流路21及び光学系23)は、観測対象物(本実施形態において、細胞C1)を走査方向(本実施形態において、ライトシート照明光LS1の面の法線方向)とは異なる方向である移動方向(本実施形態において、流路21の流速の方向)に移動させ、かつ照射部22が照射する帯状の励起光(本実施形態において、ライトシート照明光LS1)の長手方向を帯状の励起光(本実施形態において、ライトシート照明光LS1)の短手方向からみた場合に移動方向(本実施形態において、流路21の流速の方向)に対して所定の角度だけ傾けることによって相対位置(本実施形態において、細胞C1とライトシート照明光LS1との相対位置)を走査方向(本実施形態において、ライトシート照明光LS1の面の法線方向)について変化させる。
【0067】
この構成により、本実施形態に係る3次元画像撮像装置(本実施形態において、イメージングフローサイトメーター20)では、移動している観測対象物の3次元画像を撮像する場合に一度の露光で観測対象物の複数の部分を撮像できるため、蛍光を用いて撮像を行う場合に、高速に3次元画像を撮像できる。ここで高速とは、移動している観測対象物の複数の部分それぞれを複数のフレームそれぞれで撮像する場合に比べて高速であることを意味する。
【0068】
本実施形態に係る3次元画像撮像装置は、上記に説明したようにイメージングフローサイトメーター20として用いることが好適である。シース流を用いるフローサイトメトリーでは、流速1-10m/sで細胞が流路を流れる。イメージングフローサイトメーター20では、上記の構成により、流速1-10m/sで流れる細胞を撮影できる。
また、イメージングフローサイトメーター20では、流路21を流れる細胞の3次元画像を即時に取得できるため、機械学習によって細胞を即時に判別すること、及びセルソーターの実装が可能である。
【0069】
なお、本実施形態では、観測対象物である細胞C1を流路21に流すことによって細胞C1を走査方向とは異なる方向である移動方向に移動させる場合の一例について説明したが、これに限られない。観測対象物を走査方向とは異なる方向である移動方向に移動させられさえすれば、流路以外の機構が用いられてもよい。
【0070】
また、本実施形態に係る3次元画像撮像装置(本実施形態において、イメージングフローサイトメーター20)では、撮像素子241は、複数の素子が行列状に配置され行または列を単位として信号が読み出される素子の集まりであり、撮像素子241は、複数の素子の信号が読み出される行または列の方向を、観測対象物(本実施形態において、細胞C1)の複数の部分それぞれから発せられる蛍光F1が結像される撮像素子241上の異なる位置が並ぶ方向に応じた方向にして配置される。
【0071】
この構成により、本実施形態に係る3次元画像撮像装置(本実施形態において、イメージングフローサイトメーター20)では、撮像素子241が複数の素子の信号が読み出される行または列の方向を、観測対象物(本実施形態において、細胞C1)の複数の部分それぞれから発せられる蛍光F1が結像される撮像素子241上の異なる位置が並ぶ方向に応じた方向にして配置されない場合に比べて撮像速度は撮像素子241の読み出し速度による制限を受けないため、3次元画像の撮像速度を高速化することができる。特に、撮像素子241が複数の素子の信号が読み出される行または列の方向と、観測対象物(本実施形態において、細胞C1)の複数の部分それぞれから発せられる蛍光F1が結像される撮像素子241上の異なる位置が並ぶ方向とが一致する向きに配置される場合には、撮像速度は撮像素子241の読み出し速度による制限を受けない。
【0072】
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
上記第1の実施形態では、3次元画像撮像装置は、観測対象物が流路に流されることによって観測対象物と励起光(ライトシート照明光)との相対位置が変化する場合について説明をした。本実施形態では、観測対象物の位置は固定されており、ポリゴナルミラーを用いて励起光の観測対象物に対する相対位置を変化させる場合について説明をする。
本実施形態に係る細胞測定システムを細胞測定システム1aという。
【0073】
図8は、本実施形態に係る細胞測定システム1aの構成の一例を示す図である。
図9は、本実施形態に係るライトシート照明光LS2と細胞C2との位置関係の一例を示す図である。
図8及び
図9には、3次元直交座標系として、xyz座標系を示す。z軸の向きは、鉛直上向きである。x軸、及びy軸は、水平面に平行である。
【0074】
細胞測定システム1aは、光源D1と、カメラCM1と、光学系O1とを備える。光学系O1は、各種のレンズと、各種のミラー、絞りA1などを備える。光学系O1が備える各種のレンズには、レンズL1と、レンズL2と、レンズL3と、対物レンズL4と、レンズL5と、レンズL6と、レンズL7とが含まれる。光学系O1が備える各種のミラーには、ダイクロイックミラーM1と、ポリゴナルミラーM2と、ハーフミラーM3と、ティルテッドミラーM4とが含まれる。
【0075】
レンズL1、レンズL2、レンズL3、レンズL5、レンズL7はそれぞれ、一例として、チューブレンズであって、かつアクロマティックレンズ(アクロマートレンズ)であるレンズである。アクロマティックレンズとは、例えば、低屈折ガラスのクラウンガラスと、高屈折率ガラスのフリントガラスの2枚の光学素子を貼り合わせて作られたレンズである。
【0076】
光源D1は、励起光E1を射出する。励起光E1は、パルス光である。励起光E1に含まれるパルスは、それぞれが帯状のコヒーレント光である。光源D1は、一例として、パルスレーザである。
光源D1から射出された励起光E1は、ダイクロイックミラーM1によって反射される。ダイクロイックミラーM1によって反射された励起光E1は、レンズL1によって集光される。
【0077】
レンズL1によって集光された励起光E1は、励起光E2としてポリゴナルミラーM2によって反射される。ポリゴナルミラーM2によって反射された励起光E2は、レンズL2によって集光され、絞りA1を通過した後、レンズL3によって集光されて対物レンズL4に入射する。励起光E2に含まれる複数のパルスそれぞれは、対物レンズL4を介して、ライトシート照明光LS2として観測対象物である細胞C2に照射される。
【0078】
ここでポリゴナルミラーM2は、複数の反射面を備える。
図8に示す例では、ポリゴナルミラーM2は、8つの反射面を備える。ポリゴナルミラーM2は、回転機構を有し、y軸方向と平行な回転軸の周りに高速に回転可能である。
【0079】
ポリゴナルミラーM2は、回転軸の周りに回転することによって反射面の励起光E2の入射方向に対する角度を変化させながら、励起光E2に含まれる複数のパルスを反射面の1つによって反射する。複数のパルスが反射面によって反射される過程において、反射面の励起光E2の入射方向に対する角度を変化するため、複数のパルスはそれぞれ異なる方向に反射される。ポリゴナルミラーM2は、複数のパルスそれぞれが観測対象物である細胞C2の異なる部分それぞれに照射されるような回転速度において回転する。
【0080】
図9に、本実施形態に係るライトシート照明光LS2と細胞C2との位置関係の一例を示す。ライトシート照明光LS2は、励起光E2に含まれる複数のパルスのうちの1つのパルスに対応する。ポリゴナルミラーM2の回転に伴う反射面の向きの変化に応じて、ライトシート照明光LS2が照射される細胞C2の部分は、所定の方向にについて変化する。当該所定の方向は、例えば、ライトシート照明光LS2の面の法線方向(
図9では、矢印AR1によって示される方向)である。換言すれば、細胞C2の部分は、所定の方向(走査方向)について走査される。
【0081】
ポリゴナルミラーM2は、相対位置変化部の一例である。つまり、ポリゴナルミラーM2は、固定されている観測対象物に対して励起光が照射される方向を変更することによって、観測対象物と励起光との相対位置を走査方向について変化させる。
【0082】
図8に戻って細胞測定システム1aの構成の説明を続ける。
ライトシート照明光LS2が細胞C2の部分に照射されて、当該部分から発せられた蛍光F1は、対物レンズL4、レンズL3、絞りA1、レンズL2を介してポリゴナルミラーM2へと入射する。ポリゴナルミラーM2へ入射した蛍光F1は、ポリゴナルミラーM2の反射面によってレンズL1の方向へ反射される。
【0083】
ポリゴナルミラーM2の反射面によって反射された蛍光F1は、レンズL1によって集光された蛍光F1は、蛍光F2としてダイクロイックミラーM1に入射する。ダイクロイックミラーM1は、入射した蛍光F2をレンズL5の方へと透過させる。ダイクロイックミラーM1を透過した蛍光F2は、レンズL5によって集光されて、蛍光F3としてハーフミラーM3に入射する。ハーフミラーM3は、入射した蛍光F3をレンズL6の方へと透過させる。
【0084】
レンズL6は、入射する蛍光F3を結像させて細胞C2の部分(断面)の像を形成する。レンズL6によって像を形成した蛍光F3は、ティルテッドミラーM4によって反射される。ここでティルテッドミラーM4は、レンズL6の光軸に対して所定の角度(例えば45度)だけ傾けられている。
【0085】
ティルテッドミラーM4によって反射された蛍光F3は、蛍光F4としてレンズL6を介してハーフミラーM3へと入射する。ハーフミラーM3へと入射した蛍光F4は、ハーフミラーM3によってレンズL7の方へと反射される。レンズL7は、ハーフミラーM3によって反射された蛍光F4を集光する。レンズL7によって集光された蛍光F4は、カメラCM1の撮像素子上に結像される。
【0086】
カメラCM1は、ライトシート照明光LS2が所定の時間間隔で照射されて細胞C2の複数の部分から発せられる蛍光それぞれを撮像素子上の異なる位置に結像することによって、一度の露光で細胞C2の複数の部分を撮像する。カメラCM1は、1個の細胞C2について当該細胞C2の複数の部分を撮像する間、露光状態を維持する。
【0087】
以上に説明したように、本実施形態に係る3次元画像撮像装置(本実施形態において、細胞測定システム1a)では、相対位置変化部(本実施形態において、ポリゴナルミラーM2)は、固定されている観測対象物(本実施形態において、細胞C2)に対して励起光(本実施形態において、ライトシート照明光LS2)が照射される方向を変更することによって相対位置(本実施形態において、細胞C2とライトシート照明光LS2との相対位置)を走査方向(本実施形態において、ライトシート照明光LS2の面の法線方向)について変化させる。
【0088】
この構成により、本実施形態に係る3次元画像撮像装置(本実施形態において、細胞測定システム1a)では、停止している観測対象物の3次元画像を撮像する場合に一度の露光で観測対象物の複数の部分を撮像できるため、停止している観測対象物の複数の部分それぞれを複数のフレームそれぞれで撮像する場合に比べて高速に3次元画像を撮像できる。
【0089】
なお、上述した各実施形態においては、観測対象物の複数の部分は帯状の励起光が照射されるに際の走査方向は、直線によって示される方向である場合の一例について説明したが、これに限られない。走査方向は、角度方向であってもよい。つまり、観測対象物の角度方向についての観測対象物を異なる方向からみた複数の部分(断面)それぞれに励起光が所定の時間間隔においてそれぞれ照射されて、当該異なる方向の複数の部分の断面画像が撮像されてもよい。
【0090】
なお、上述した各実施形態においては、観測対象物の複数の部分が走査される順番は、走査方向について連続して並んでいなくてもよい。例えば、第1の実施形態において、ライトシート照明光LS1の面が流路21の上面(下面)に対して傾けられておらずライトシート照明光LS1の位置を深さ方向について変化させる場合に、ライトシート照明光LS1が所定の時間間隔でそれぞれ照射される細胞C1の複数の部分の順番は、走査方向である高さ方向(z軸方向)について連続して並んでいなくてもよい。
【0091】
なお、上述した各実施形態においては、3次元画像を撮像する対象である観測対象物が、細胞である場合の一例について説明したが、これに限られない。当該観測対象物は、励起光が照射されて蛍光を発する物質であれば、微粒子、マクロな物体などであってもよい。
【0092】
なお、上述の各装置は内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0093】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0094】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0095】
1、1a…細胞測定システム、20…イメージングフローサイトメーター、21…流路、22…照射部、23…光学系、24…撮像部、241…撮像素子、LS1、LS2…ライトシート照明光、C1、C2…細胞