特許 6544600 動的高速高感度イメージング装置及びイメージング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6544600

(24)【登録日】2019年6月28日

(45)【発行日】2019年7月17日

(54)【発明の名称】動的高速高感度イメージング装置及びイメージング方法

(51)【国際特許分類】

   G01B 11/25 20060101AFI20190705BHJP

【ＦＩ】

   G01B11/25 H

【請求項の数】15

【全頁数】20

(21)【出願番号】特願2017-502419(P2017-502419)

(86)(22)【出願日】2016年2月24日

(86)【国際出願番号】JP2016055412

(87)【国際公開番号】WO2016136801

(87)【国際公開日】20160901

【審査請求日】2017年8月17日

(31)【優先権主張番号】特願2015-33520(P2015-33520)

(32)【優先日】2015年2月24日

(33)【優先権主張国】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２６年度文部科学省独立行政法人科学技術振興機構さきがけ（統合１細胞解析のための革新的技術基盤）事業、産業技術力強化法第１９条の適用を受けるもの

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(72)【発明者】

【氏名】太田 禎生

(72)【発明者】

【氏名】堀▲崎▼ 遼一

(72)【発明者】

【氏名】橋本 和樹

【審査官】 眞岩 久恵

(56)【参考文献】

【文献】 Enrong Li, et al.，Ghost imaging of a moving target with an unknown constant speed，APPLIED PHYSICS LETTERS，２０１４年，Vol.104，pp. 251120-1 〜 251120-3

【文献】 Leihong Zhang, et al.，Study on ghost imaging via compressive sensing for a reflected object，Optik，２０１３年，Vol. 124，pp. 2334 〜 2338

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

観測対象物を観察する間に構造が時間変化しない構造化された照明パターンを有する光学系と，前記光学系が有する前記照明パターンと光学的に連絡し，前記観測対象物を観察する間に時間変化しない光特性が異なる複数の領域を有する一又は少数画素検出素子とを用い，
前記観測対象物の前記光学系に対する相対位置を変化させつつ，前記一又は少数画素検出素子で前記観測対象物からの光信号を前記照明パターンを通じて検出して，前記光信号の強度の時間変化を示す時系列信号情報を得て，前記時系列信号情報から前記観測対象物に対する画像を再構成する，
イメージング方法。

【請求項2】

観測対象物（１３）を観察する間に時間変化しない光特性が異なる複数の領域を有する構造化された照明パターンを有する光学系（１１）と，
前記観測対象物（１３）が前記光学系（１１）から放出された光を受けて発する光信号を検出する一又は少数画素検出素子（１５）と，
前記光学系（１１）と前記観測対象物（１３）との相対位置を変動させる相対位置制御機構（１７）と，
前記一又は少数画素検出素子（１５）が検出した前記光信号を用いて，前記光信号の強度の時間変化を示す時系列信号情報を得て，前記時系列信号情報から前記観測対象物に対する画像を再構成する像再構成部（１９）と，
を有するイメージング装置。

【請求項3】

請求項２に記載のイメージング装置であって，前記光信号は，蛍光，発光，透過光，又は反射光である，イメージング装置。

【請求項4】

請求項２に記載のイメージング装置であって，前記光特性は，光強度，光波長，及び偏光のいずれか１つ以上である，イメージング装置。

【請求項5】

請求項２に記載のイメージング装置であって，
前記相対位置制御機構（１７）は，前記観測対象物（１３）の位置を変動させる機構である，
イメージング装置。

【請求項6】

請求項２に記載のイメージング装置であって，
前記相対位置制御機構（１７）は，前記光学系（１１）の位置を変動させる機構である，
イメージング装置。

【請求項7】

請求項２に記載のイメージング装置であって，
前記像再構成部（１９）は，前記一又は少数画素検出素子（１５）が検出した前記光信号と，前記光学系（１１）に含まれる複数の領域に関する情報とを用いて，前記観測対象物の像を再構成する要素である，
イメージング装置。

【請求項8】

請求項２に記載のイメージング装置であって，
前記構造化された照明パターンの光特性は画素毎にランダムである，
イメージング装置。

【請求項9】

請求項２に記載のイメージング装置であって，
前記構造化された照明パターンは複数のデルタ関数から構成される，
イメージング装置。

【請求項10】

請求項２に記載のイメージング装置であって，
前記構造化された照明パターンは，光が透過しない領域を光が透過する領域に比べて多く含む，
イメージング装置。

【請求項11】

光学系（５１）と，
観測対象物（５３）が前記光学系（５１）から放出された光を受けて発する光信号を検出する一又は少数画素検出素子（５５）と，
前記光学系（５１）と観測対象物（５３）との相対位置，又は前記観測対象物（５３）と前記一又は少数画素検出素子（５５）との相対位置を変動させる相対位置制御機構（５７）と，
前記一又は少数画素検出素子（５５）が検出した前記光信号を用いて，前記光信号の強度の時間変化を示す時系列信号情報を得て，前記時系列信号情報から前記観測対象物に対する画像を再構成する像再構成部（５９）と，
を有するイメージング装置であって，
前記一又は少数画素検出素子（５５）は，前記観測対象物（５３）を観察する間に時間変化しない光特性が異なる複数の領域を有する，
イメージング装置。

【請求項12】

請求項１１に記載のイメージング装置であって，
前記相対位置制御機構（５７）は，前記観測対象物（５３）の位置を変動させる機構である，
イメージング装置。

【請求項13】

請求項１１に記載のイメージング装置であって，
前記相対位置制御機構（５７）は，前記一又は少数画素検出素子（５５）の位置を変動させる機構である，
イメージング装置。

【請求項14】

請求項１１に記載のイメージング装置であって，
前記像再構成部（５９）は，前記一又は少数画素検出素子（５５）が検出した前記光信号と，前記一又は少数画素検出素子（５７）に含まれる複数の領域に関する情報とを用いて，前記観測対象物の像を再構成する要素である，
イメージング装置。

【請求項15】

観測対象物を観察する間に構造が時間変化しない構造化された照明パターンを有する光学系と，前記光学系が有する前記照明パターンと光学的に連絡し，前記観測対象物を観察する間に時間変化しない光特性が異なる複数の領域を有する一又は少数画素検出素子とを用い，
前記観測対象物の，前記光学系に対する相対位置を変化させつつ，前記一又は少数画素検出素子で前記観測対象物からの光信号を前記照明パターンを通じて検出して，前記光信号の強度の時間変化を示す時系列信号情報を得る方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は，観測対象物と構造照明を投影する光学系又は構造を有する検出系が相対的に変位する動的高速高感度イメージング技術に関する。
本願は，２０１５年２月２４日に，日本に出願された特願２０１５−０３３５２０号に基づき優先権を主張し，その内容をここに援用する。

【背景技術】

【0002】

特開２０１４−１７５８１９号公報（特許文献１）には，二次元アレイ状に配列された電磁波検出素子を含むイメージングシステムが開示されている。アレイ型検出素子を用いたイメージング装置は，素子を動作する電気的制約から撮像速度に限界があり，また高価でサイズも大きいという問題がある。

【0003】

特表２００６−５２０８９３号公報（特許文献２）は，単一画素検出装置を開示する。また，特許３４４４５０９号公報（特許文献３）は， 一画素検出手段を有する画像読取装置を開示する。一画素検出を行うイメージング装置は，画像を撮影するために照明光を時空間的に構造化する必要があった。このため，一画素検出を行うイメージング装置は，照明光を時空間的に変化させることに伴う，機械的・電気的な制約が生じ，イメージング速度に限界があった。

【0004】

例えば，共焦点顕微鏡は，機械的にレーザを空間スキャンする速度に限界があり，高速に像を撮像できない。ゴーストイメージングは，異なる数多くの構造化照明を空間光変調器等を用いて照射し，検出を繰り返して画像を再構築する方法である。この方法は，照明を照射する速度が制約となるので，イメージングが低速である。

【0005】

特開２０１３−１５３５７号公報（特許文献４）には，連続時間符号化振幅顕微鏡法（ＳＴＥＡＭ）を用いたフローサイトメータが開示されている。この公報では，レーザ照射部から波長幅の十分に広いレーザパルスを一定時間間隔で出射し，２次元空間分散器により各パルスを２次元的に波長分散させる。２次元空間分散器により分散された各波長のレーザ光は試料上の異なる位置に照射され，反射される。この反射された各波長のレーザ光は２次元空間分散器を逆に通過することにより，１つのパルスに戻る。このパルスをフーリエ変換器に通し，周波数成分を時間に変換したうえでフォトダイオードにより検出する。連続時間符号化振幅顕微鏡法では周波数（波長）は試料上の位置に対応し，周波数成分がフーリエ変換器により時間に変換されるので，時間が試料上の位置の情報を持つことになる。すなわち，２次元的な強度分布を時系列に変換したものになる。このように取得された各パルスの強度信号の時間変化から，被検粒子の表面構造の情報を得ることができる。

【0006】

連続時間符号化振幅顕微鏡法（ＳＴＥＡＭ）では，パルスレーザーの繰り返し周波数が制約となる。また，ＳＴＥＡＭを用いるイメージング装置は，非常に高価でサイズも大きく，適用光波長域は長い波長に限られ，可視光領域では高感度を達成するのは難しい。このため，ＳＴＥＡＭは，生命科学・医療分野への応用に必要な可視蛍光波長域には適用できないという問題がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１４−１７５８１９号公報

【特許文献2】特表２００６−５２０８９３号公報

【特許文献3】特許３４４４５０９号公報

【特許文献4】特開２０１３−１５３５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

そこで，本発明は，高速，高感度，低コストかつコンパクトなイメージング装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の第１の側面は，高速イメージング方法に関する。この方法は，観測対象物を観察する間に構造が時間変化しない構造化された照明パターンを有する光学系と，前記光学系が有する前記照明パターンと光学的に連絡し，前記観測対象物を観察する間に時間変化しない光特性が異なる複数の領域を有する一又は少数画素検出素子とを用いる。そして，観測対象物の光学系に対する相対位置を変化させつつ，一又は少数画素検出素子で観測対象物からの光信号を照明パターンを通じて検出して，光信号の強度の時間変化を示す時系列信号情報を得て，時系列信号情報から観測対象物に対する画像を再構成する。

【0010】

本発明の第２の側面は，イメージング装置に関する。
このイメージング装置の第１の態様は，構造化された照明パターンを有する光学系を有するものに関する。

【0011】

このイメージング装置は，光学系１１，一又は少数画素検出素子１５，相対位置制御機構１７，及び像再構成部１９を有する。
光学系１１は，観測対象物１３を観察する間に時間変化しない光特性が異なる複数の領域を有する構造化された照明パターンを有する光学系である。
一又は少数画素検出素子１５は，観測対象物１３が光学系１１から放出された光を受けて発する光信号を検出する検出素子である。
相対位置制御機構１７は，光学系１１と観測対象物１３との相対位置を変動させる機構である。
像再構成部１９は，一又は少数画素検出素子１５が検出した光信号を用いて，光信号の強度の時間変化を示す時系列信号情報を得て，時系列信号情報から観測対象物に対する画像を再構成するための要素である。
構造化された照明パターンを有する光学系１１は，観測対象物１３を観察する間に時間変化しない光特性が異なる複数の領域を有する。

【0012】

光信号の例は，蛍光，発光，透過光，又は反射光であるが，これらに限定されない。

【0013】

光特性の例は，光強度，光波長，及び偏光のいずれか１つ以上の特性（例えば，透過特性）であるが，これらに限定されない。

【0014】

相対位置制御機構１７の例は，観測対象物１３の位置を変動させる機構であるか，光学系１１の位置を変動させる機構である。

【0015】

像再構成部１９の例は，一又は少数画素検出素子１５が検出した光信号と，構造化された照明パターンを有する光学系１１に含まれる複数の領域に関する情報とを用いて，観測対象物の像を再構成する要素である。

【0016】

このイメージング装置の第２の態様は，一又は少数画素検出素子５５が，観測対象物５３を観察する間に時間変化しない光特性が異なる複数の領域を有するものに関する。
このイメージング装置は，光学系５１，一又は少数画素検出素子５５，相対位置制御機構５７，及び像再構成部５９を有する。
光学系５１は，観測対象物に光を照射するための要素である。
一又は少数画素検出素子５５は，観測対象物５３が光学系５１から放出された光を受けて発する光信号を検出する要素である。
相対位置制御機構５７は，光学系５１と観測対象物５３との相対位置，又は観測対象物５３と一又は少数画素検出素子５５との相対位置を変動させる機構である。
像再構成部５９は，一又は少数画素検出素子５５が検出した光信号を用いて，光信号の強度の時間変化を示す時系列信号情報を得て，時系列信号情報から観測対象物に対する画像を再構成するための要素である。

【0017】

相対位置制御機構５７の例は，観測対象物５３の位置を変動させる機構又は一又は少数画素検出素子５５の位置を変動させる機構である。

【0018】

像再構成部５９の例は，一又は少数画素検出素子５５が検出した光信号と，一又は少数画素検出素子５７に含まれる複数の領域に関する情報とを用いて，観測対象物の像を再構成する要素である。

【発明の効果】

【0019】

本発明によれば，単一又は非アレイ型の高速・高感度検出素子の帯域（信号検出限界速度）を世界で初めて完全に生かすことができ（〜ＧＨｚであれば１０^９枚（ライン）／秒），従来の連続撮影技術の速度限界を大きく超える高速なイメージング装置を提供できる。

【0020】

本発明によれば，普遍的な光学系を活用することで，従来単一素子イメージングでは不可能であった可視蛍光イメージングを含む，汎用的かつ様々な種類の高感度撮影を行うことができる。また，本発明によれば，シンプルな光学系を採用できるため，光信号が失われにくく，またノイズが入りにくいため，高いＳ／Ｎ比を有する撮像を行うことができる。

【0021】

本発明によれば，用いられる光学系及び電気系がシンプルであることから，従来の全てのイメージング技術に比較して大きくコストを下げることができ，またコンパクトさを達成できる。

【図面の簡単な説明】

【0022】

【図1】図１は，イメージング装置の第１の態様のうち，観測対象物が移動するものを示す概略構成図である。

【図2】図２は，イメージング装置の第１の態様のうち，光学系１１の位置を変動させる機構を有するものを示す概略構成図である。

【図3】図３は，イメージング装置の第２の態様のうち，観測対象物が移動するものを示す概略構成図である。

【図4】図４は，イメージング装置の第２の態様のうち，観測対象物が移動するものを示す概略構成図である。

【図5】図５は，観測対象物が，パターン化された照明を通過することを示す概念図である。

【図6】図６は，図５に示される観測対象物が発した蛍光の様子を示す概念図である。

【図7】図７は，図５に示される観測対象物が発した蛍光を検出した際の検出信号を示す概念図である。

【図8】図８は，検出信号の強度から求めた蛍光分子の位置及び蛍光強度を示す概念図である。

【図9】図９は，像再現原理を説明するための図である。

【図10】図１０は，画像再現工程の例を説明するための図である。

【図11】図１１は，画像再構成過程の例を示すフローチャートである。

【図12】図１２は，行列Ｈを説明するための図である。

【図13】図１３は，対象データベクトルｆの構成を説明するための図である。

【図14】図１４は，本発明のイメージング装置のある態様を示す概略図である。

【図15】図１５は，本発明のイメージング装置のある態様を示す概略図である。

【図16】図１６は，実施例１における装置の概略図である。

【図17】図１７は，観測対象からの反射光を検出することで像を再現する構成を示す概略構成図である。

【図18】図１８は，観測対象からの蛍光を検出することで像を再現する構成を示す概略構成図である。

【図19】図１９は，ＯＨＰシート上に黒三角を印字したものを観測対象物とし，このシートを移動させた際のイメージングを示す図である。

【図20】図２０は，時間ごとに観測された検出結果を示す。上から下に行くにつれて時間が経過したものを示す。

【図21】図２１は，観測対象がパターン照明を通過した際に得られた光信号の総光量の時間変化を示すグラフである。

【図22】図２２は，図２１のグラフから再構成した観測対象の像である。

【発明を実施するための形態】

【0023】

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜修正したものも含む。なお，以下に説明する光信号に変えて，無線信号，テラヘルツ信号，ラジオ周波数信号，音響信号，Ｘ線，γ線，粒子線又は電磁波を用いてもよい。この場合，光源に変えて，これらの信号を発生させるものを適宜用い，複数の領域としてこれらの透過特性や反射特性等が異なるものを適宜用いればよい。また，構造化された照明パターンや，構造化された検出系として，アルミニウム，銀又は鉛などの透過性を変化させる物質を部分的に塗布又は描画したフィルムを用いたものを適宜採用することができる。

【0024】

図１は，イメージング装置の第１の態様のうち，観測対象物が移動するものを示す概略構成図である。イメージング装置の第１の態様は，構造化された照明パターンを有する光学系を有するものに関する。構造化された照明パターンとは，観測対象物に照射される光の領域内において，光の特性が異なる複数の領域が存在することを意味する。

【0025】

図１に示されるように，このイメージング装置は，光学系１１，一又は少数画素検出素子１５，相対位置制御機構１７，及び像再構成部１９を有する。

【0026】

光学系１１は，光特性が異なる複数の領域を有する構造化された照明パターンを有する光学系（システム）である。光学系１１は，図示しない光源を有していてもよい。すなわち，光学系の例は，図示しない光源と，光源からの光を受けて，構造化された照明パターンを形成するためのフィルタとを有する光学素子群である。光学系の別の例は，照明パターンを構成する複数の光源を有する光源群（又は光源群と光学素子を含む光学素子群）である。光源からの光は，例えば，図示される光特性のパターンを有するフィルタを通すことで，測定対象物に図示されるような光のパターンをもって照射される。光源は，連続光であってもパルス光であってもよいが，連続光が好ましい。光源は，白色光であっても，単色光であってもよい。光特性の例は，光強度，光波長，及び偏光のいずれか１つ以上に関する特性（例えば透過率）であるが，これらに限定されない。光特性が異なる複数の領域を有する構造化された照明パターンの例は，第１の光強度を有する複数の領域と，第２の光強度を有する複数の領域とを有するものである。光特性が異なる複数の領域の例は，一定領域内にランダムに散らばった光特定の異なる部位を有するものである。また，光特性が異なる複数の領域の別の例は，格子状に区分された複数の領域が存在し，その複数の領域が，少なくとも第１の光強度を有する領域と，第２の光強度を有する領域とを有するものである。この光特性が異なる複数の領域を有する構造化された照明パターンは，実施例において説明するものの他，例えば，透明フィルム上にパターンを印刷したものに，光源からの光を照射することにより得ることができる。この構造化された照明パターンが，観測対象物に照射されることとなる。

【0027】

観測対象物１３は，用途に応じて各種のものを観測対象物とすることができる。観測対象物の例は，細胞，体液，及び眼球（動く眼球であってもよい）であるが，これらに限定されるものではない。

【0028】

一又は少数画素検出素子１５は，観測対象物１３が光学系１１から放出された光を受けて発する光信号を検出する検出素子である。光信号の例は，蛍光，発光，透過光，又は反射光である。一又は少数画素検出素子の例は，光電子倍増管や，マルチチャネルプレート光電子倍増管であるが，これらに限定されない。少数画素検出素子は，コンパクトであり，各素子を並列に高速作動できるので，本発明に好ましく用いることができる。一画素検出素子の例は，特許４６７９５０７及び特許３４４４５０９に開示される。

【0029】

相対位置制御機構１７は，光学系１１と観測対象物１３との相対位置を変動させる機構である。相対位置制御機構１７の例は，観測対象物１３の位置を変動させる機構であるか，光学系１１の位置を変動させる機構である。観測対象物１３の位置を変動させる機構の例は，観測対象物１３を搭載することができるステージと，そのステージを移動させるアクチュエータとを有するものである。光学系１１の位置を変動させる機構は，例えば，光学系１１のうち，複数の領域を有する構造化された照明パターン形成する部分（例えば光源とフィルタや光源のみ）をアクチュエータなどで移動させるものである。観測対象物１３の位置を変動させる機構を有するイメージング装置は，例えば，細胞フローサイトメトリーに用いることができる。また，この態様のイメージング装置は，サイズを小さくすることができるため，例えば，動いている人の目を観測対象物とするウェアラブルデバイスにおけるイメージング装置として用いることができる。また，光学系１１の位置を変動させる機構を有するイメージング装置は，顕微鏡におけるイメージング装置として用いることができる。このような顕微鏡の例は，点走査型顕微鏡，共焦点顕微鏡，電子顕微鏡，光音響顕微鏡，及び超音波顕微鏡である。

【0030】

図２は，イメージング装置の第１の態様のうち，光学系１１の位置を変動させる機構を有するものを示す概略構成図である。図２に示す例では，パターン化された照明が移動することで，観測対象物１３の各箇所が時間の変化と共に，パターン化された照明のパターンに応じた光特定で光照射されることとなる。

【0031】

像再構成部１９は，一又は少数画素検出素子１５が検出した光信号を用いて，観測対象物の像を再構成する装置である。像再構成部１９の例は，一又は少数画素検出素子１５が検出した蛍光と，構造化された照明パターンを有する光学系１１に含まれる複数の領域に関する情報とを用いて，観測対象物の像を再構成するものである。

【0032】

像再構成部１９は，例えば，一又は少数画素検出素子１５と接続された制御装置（例えば，コンピュータ）により実現できる。この制御装置は，入出力部，記憶部，演算部，及び制御部が，バスなどにより接続され情報の授受を行うことができるようにされている。そして，記憶部には，各種プログラムやパラメータ等の数値が記憶されている。入出力部から所定の情報が入力された場合，この制御装置は，記憶部から必要なプログラム及び数値を読み出し，プログラムに従って演算部が所定の演算を行い，演算結果を適宜記憶部に記憶するほか，入出力部から出力する。

【0033】

像再構成部１９は，例えば，光信号を一定期間受信し，光信号の時系列信号情報を取得する時系列信号情報取得部と，時系列信号情報から観測対象の部分領域における部分時系列信号情報を分離する部分信号分離部と，得られた観測対象の部分時系列信号情報から，観測対象の各部分の像（発光強度など）に関する情報を抽出又は再構築する部分像再構築部と，部分像再構築部が再構築した観測対象の各部分の像を用いて，観測対象に関する画像を再構成する画像再構築部と，を有する。

【0034】

検出信号は，時間変化ごとの検出強度の情報を含む。
時系列信号情報取得部は，光信号の時系列信号情報を取得する。時系列信号情報取得部の例は，一又は少数画素検出素子１５が一定時間受信し検出及び記憶した検出信号を時系列信号情報として受け取るものである。時系列信号情報取得部が取得した時系列信号情報は，記憶部に適宜記憶されてもよい。また，時系列信号情報取得部が取得した時系列信号情報は，部分信号分離部による演算処理に用いられるために，部分信号分離部へと送られてもよい。
部分信号分離部は，時系列信号情報から観測対象の部分領域における部分時系列信号情報を分離するための要素である。時系列信号情報は，観測対象物の各部分に由来する検出信号が含まれている。このため，部分信号分離部は，時系列信号情報から観測対象の各部分領域における時系列信号情報である部分時系列信号情報を分離する。この際，部分信号分離部は，記憶されていた照明パターンに関する情報Ｈを読み出し，読み出した照明パターンに関する情報Ｈと，時系列信号情報とを用いて部分時系列信号情報を分離する。つまり，時系列信号情報は，照明パターンに関する情報Ｈに対応した変動が存在しているため，照明パターンに関する情報Ｈを用いることで，時系列信号情報を部分時系列信号情報に分離できる。時系列信号情報から観測対象の各部分領域における時系列信号情報である部分時系列信号情報は，適宜記憶部に記憶されてもよい。また，部分時系列信号情報は，部分像再構築部による演算処理のために，部分像再構築部へ送られてもよい。
部分像再構築部は，部分時系列信号情報から，観測対象の各部分の像（発光強度など）に関する情報を抽出又は再構築するための要素である。部分時系列信号情報は，各部分領域における時系列信号情報であるから，各領域における光強度に関する情報ｆを求めることができる。観測対象の各部分の像（発光強度など）に関する情報は，適宜記憶部に記憶されてもよい。また，観測対象の各部分の像（発光強度など）に関する情報は，画像再構築部による演算処理のために，画像再構築部へ送られてもよい。
画像再構築部は，部分像再構築部が再構築した観測対象の各部分の像を用いて，観測対象に関する画像を再構成する要素である。観測対象の各部分の像は，観測対象物のそれぞれの領域の像であるから，この像を合わせることで，観測対象に関する画像を再構成できる。

【0035】

このイメージング装置の第２の態様は，一又は少数画素検出素子５５が，光透過性能が異なる複数の領域を有するものに関する。図３は，イメージング装置の第２の態様のうち，観測対象物が移動するものを示す概略構成図である。図３に示されるように，このイメージング装置は，光学系５１，一又は少数画素検出素子５５，相対位置制御機構５７，及び像再構成部５９を有する。光学系５１は，観測対象物に光を照射させることができるものであれば，公知のものを用いることができる。先に説明したイメージング装置の第１の態様の光学系１１を用いてもよい。

【0036】

一又は少数画素検出素子５５は，観測対象物５３が光学系５１から放出された光を受けて発する光信号を検出する要素である。一又は少数画素検出素子５５は，先に説明したイメージング装置の第１の態様の一又は少数画素検出素子１５に加えて，光透過性能が異なる複数の領域を有する部位を有する。この光透過性能が異なる複数の領域は，例えば，検出部の前に存在する光フィルタによって構成してもよい。この光フィルタは，光透過性能が異なる複数の領域を有している。この複数の領域は例えば格子状に分かれており，それぞれの格子は，光透過性が２段階又はそれ以上の段階に分かれていてもよい。

【0037】

相対位置制御機構５７は，光学系５１と観測対象物５３との相対位置，又は観測対象物５３と一又は少数画素検出素子５５との相対位置を変動させる機構である。相対位置制御機構５７の例は，観測対象物５３の位置を変動させる機構又は一又は少数画素検出素子５５の位置を変動させる機構である。前者は，例えば，細胞フローサイトメトリー，埋め込み型微小フローサイトメトリー，及びウェアラブルデバイスに用いることができる。一又は少数画素検出素子５５の位置を変動させる機構を有するイメージング装置は，例えば，変位部分（例えば，車や，車の車輪）に装着させるイメージング装置として用いることができる。

【0038】

像再構成部５９は，一又は少数画素検出素子５５が検出した光信号を用いて，観測対象物の像を再構成するための要素である。像再構成部５９は，先に説明したイメージング装置の第１の態様の像再構成部１９を用いてもよい。像再構成部５９の例は，一又は少数画素検出素子５５が検出した蛍光と，一又は少数画素検出素子５７に含まれる複数の領域に関する情報とを用いて，観測対象物の像を再構成するものである。

【0039】

次に，本発明のイメージング装置の動作例を説明する。
図５は，観測対象物が，パターン化された照明を通過することを示す概念図である。図５に示されるとおり，観測対象物１３は，相対位置制御機構により移動させられ，光学系のうちパターン化された照明を通過することとなる。この観測対象物１３は，光学的な空間情報，例えばＦ_１〜Ｆ_４で示される蛍光分子を有している。そして，これらの蛍光分子は，受けた光の強度により蛍光を発しないか，発する蛍光の強度が異なる。すなわち，この例では，Ｆ_２で示される蛍光分子がはじめに蛍光を発し，その発光強度は，通過するパターン化された照明の影響を受けることとなる。観測対象物１３からの光は適宜レンズなどにより集光されてもよい。そして，観測対象物１３からの光は一又は少数画素検出素子へと伝わることなる。図５の例では，観測対象物の進行方向をｘ軸とし，ｘ軸と同一平面状にあるｘ軸と垂直な方向にｙ軸を設けている。この例では，Ｆ_１及びＦ_２は，同じｙ座標であるｙ_１上の蛍光（これをＨ（ｘ，ｙ_１）と表記する。）として観測される。また．Ｆ_３及びＦ_４は，同じｙ座標であるｙ_２上の蛍光（これをＨ（ｘ，ｙ_２）と表記する。）として観測される。

【0040】

図６は，図５に示される観測対象物が発した蛍光の様子を示す概念図である。図６に示されるように，各蛍光分子から蛍光が発せされるが，例えば，Ｆ_１及びＦ_２は，同じ照明パターンを経験するため，類似した時間応答パターン又は出力パターンを有すると考えられる。一方，発光強度は，Ｆ_１及びＦ_２では，異なることが考えられる。このため，Ｆ_１及びＦ_２の発光強度は，それぞれの発光分子に特異的な係数であるＦ_１及びＦ_２と座標ｙ_１に共通の時間応答パターンであるＨ（ｘ，ｙ_１）の積であると近似できる。Ｆ_３及びＦ_４についても同様である。

【0041】

図７は，図５に示される観測対象物が発した蛍光を検出した際の検出信号を示す概念図である。この検出信号は，図６で示される蛍光信号の和信号として観測されたものである。すると，この信号は，複数の強度の時間変化パターンＨ（ｘ，ｙ_ｎ）を含んでいることとなる。すると，この検出信号の強度（Ｇ（ｔ））とＨ（ｘ，ｙ_ｎ）から、各座標及び各座標における蛍光係数（蛍光強度）を求めることができる。

【0042】

図８は，検出信号の強度から求めた蛍光分子の位置及び蛍光強度を示す概念図である。図８に示されるように，検出信号Ｇ（ｔ）から，蛍光係数（蛍光強度）Ｆ_１〜Ｆ_４を求めることができる。

【0043】

上記の原理をより詳細に説明する。図９は，像再現原理を説明するための図である。たとえば，対象内座標としてＦ（１）及びＦ（２）が存在したとする。そして，時間１では，Ｆ（１）に第１のパターンの光が照射され，Ｆ（２）には照射されない。時間２では，Ｆ（１）に第２のパターンの光が照射され，Ｆ（２）には第１のパターンの光が照射される。時間３では，Ｆ（１）には光が照射されず，Ｆ（２）には，第２のパターンの光が照射される。すると，検出信号Ｇ（ｔ）は，以下のようになる。Ｇ（１）＝Ｆ（１）Ｈ（１），Ｇ（２）＝Ｆ（１）Ｈ（２）＋Ｆ（２）Ｈ（１），Ｇ（３）＝Ｆ（２）Ｈ（２）。これを解けば，Ｆ（１）及びＦ（２）を解析できる。この原理を用いれば，対象内座標が増えても同様にして解析をすることで，Ｆ（１）〜Ｆ（ｎ）を求めることができる。

【0044】

次に，対象が２次元である場合は，観測対象物の内部座標をＦ（ｘ、ｙ）とする。一方，パターン照明も同様に座標を有しているとする。観測対象物の内部座標をｘ軸方向にｎ，ｙ軸方向にｎとると，Ｆ（ｘ、ｙ）の未知数はｎ×ｎ個である。上記と同様に信号を測定し，得られた信号Ｇ（ｔ）を解析することで，Ｆ（ｘ、ｙ）（０≦ｘ≦ｎ，０≦ｙ≦ｎ）を再構成できる。

【0045】

図１０は，画像再現工程の例を説明するための図である。この例では，像をｆ（対象位置情報ベクトル）として，行列式で表現する。そして，パターン化された照明をＨ（Ｘ，ｙ）のように表現し，Ｘは時間より変化する変数で表す。また，検出した信号強度をｇ（計測信号ベクトル）として表現する。すると，これらは，ｇ＝Ｈｆとして表現できる。図１０に示したとおり，ｆを求めるためには，Ｈの逆行列Ｈ^−１を左からかければよい。一方，Ｈが大きすぎてＨの逆行列Ｈ^−１を容易に求められない場合がある。その場合，例えば，Ｈの転置行列Ｈ^ｔを逆行列の変わりに用いればよい。この関係を用いて，ｆの初期推定値ｆ_ｉｎｔを求めることができる。その後，ｆの初期推定値ｆ_ｉｎｔを用いて，ｆを最適化することで，観測対象の像を再現できる。

【0046】

言い換えると、図１０は，画像再現工程の例を説明するための図である。この例では，像をｆ（対象位置情報ベクトル）として，行列式で表現する。そして，パターン化された照明をＨ（Ｘ，ｙ）のように表現し，Ｘは時間より変化する変数で表す。また，検出した信号強度をｇ（計測信号ベクトル）として表現する。すると，これらは，ｇ＝Ｈｆとして表現できる。図１０に示したとおり，ｆを求めるためには，Ｈの逆行列Ｈ^−１を左からかければよい。一方，Ｈが大きすぎてＨの逆行列Ｈ^−１を容易に求められない場合がある。その場合，例えば，Ｈの転置行列Ｈ^Ｔとｇとの乗算結果としてｆの初期推定値ｆ_ｉｎｉｔを求めることができる。その後，ｆの初期推定値ｆ_ｉｎｉｔを用いて，ｆを最適化することで，観測対象の像を再現できる。

【0047】

図１１は，画像再構成過程の例を示すフローチャートである。図１２は，行列Ｈを説明するための図である。図１３は，対象データベクトルｆの構成を説明するための図である。

【0048】

本発明の他の態様に関するイメージング装置も，上記の原理を応用することで，同様にして観測対象物の像を再現できる。

【0049】

図１４は，本発明のイメージング装置の別の態様を示すものである。このイメージング装置は，図１のイメージング装置において，一又は少数画素検出素子上に光透過性能が異なる複数の領域を有する部位を有するものである。このイメージング装置は，照明側及び検出器側の負担を分配することができる。このため，例えば，散乱過程の観測といった対象の特性のうち従来観測しにくかったものを観測することができる。

【0050】

図１５は，本発明のイメージング装置の別の態様を示すものである。このイメージング装置は，図２のイメージング装置において，一又は少数画素検出素子上に光透過性能が異なる複数の領域を有する部位を有するものである。このイメージング装置は，照明側及び検出器側の負担を分配することができる。このため，例えば，散乱過程の観測といった対象の特性のうち従来観測しにくかったものを観測することができる。

【0051】

次に圧縮センシングについて説明する。
イメージング装置が用いる構造化された照明パターンの光特性を画素毎に異なるランダム分布にすることにより，サンプリング回数を低減しつつ，観測対象物の像を再構成するために必要な情報の取得をする。つまり，構造化されたランダムな照明パターンを通して得られる散乱光と，観測対象物の疎性とに基づき，サンプリング回数を低減しつつ観測対象物の像を再構成する。

【0052】

具体的には，イメージング装置が，ランダム分布された構造化された照明パターンを用いて観測対象物を観測し，像の再構成を複数回行うことにより，観測対象物の大きさの範囲を把握する。次に，観測対象物の像を再構成するために必要な領域をカバーできるように，測定対象物の大きさの範囲に基づき，構造化された照明パターンの領域を縮小する。もしくは，イメージング装置が観測する領域を，観測対象物が存在する領域に合わせて拡大する。
このように，構造化された照明パターンを設計することにより，イメージング装置は，イメージフローサイトメトリーにおけるスループットを向上することが実現できる。

【0053】

なお，構造化された照明パターンを，光構造と光構造自身との自己相関がするどいピークを持つ状態となるデルタ関数状になるように設計してもよい。光構造の自己相関がデルタ関数状となるように設計することにより，構造化された照明パターンと観測対象物が発した蛍光を検出した際の検出信号とが一意に定まるため，観測対象物の像を再構成することができる。

【0054】

また，構造化された照明パターンにおいて，光を透過しない領域を多く含むように設計すれば，観測対象物が発した蛍光を検出した際の検出信号の重なりが減り，より高いＳ／Ｎ比を有する撮像を行うことができる。

【実施例1】

【0055】

次に実施例を用いて本発明を具体的に説明する。
図１６は，実施例１における装置の概略図である。この装置は，観測対象が移動し，光源と鏡とを用いて観測対象に照射される照射パターンを得て，観測対象を透過した光を観測することで，観測対象の像を再現する装置に関する。

【0056】

光源として，Ｍ４７０Ｌ３−Ｃ１／青（波長４７ ｎｍ） オリンパスＢＸ ＆ ＩＸ用コリメートＬＥＤ,１０００ ｍＡ,ソーラボ（Ｔｈｏｒｌａｂｓ）社製を用いた。なお，レーザ等のコヒーレント光を用いた場合に比べ，ＬＥＤやランプ等の非コヒーレント光を用いたほうが，斑点が観測されないため精度が向上した。さらに，連続光を用いたほうが，パルス光を用いたものよりも高速撮影には適していた。

【0057】

鏡として，ソーラボ（Ｔｈｏｒｌａｂｓ）社製銀ミラーを用いた。この銀ミラーを用いて，空間変調器へ入射光の光軸を調整した。空間変調器として，テキサスインスツルメンツ（Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔ）社製ＤＭＤ:（デジタルマイクロミラー装置：Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）ＤＬＰＬＣＲ９０００ＥＶＭを用いた。この空間変調器により光源からの光を，照明パターンを有するものへと構造化した。なお，本実施例では，ＤＭＤを用いたが，空間変調できるものであればＤＭＤ以外の物を用いて構造化を行ってもよい。例えば，ＯＨＰシートに印刷を施し，光の透過性を印刷に従って変化させたものを用いても良いし，微細構造を有する透過シートでも良い。この照明パターン化は，特に二値（明と暗）変調が好ましい。照明パターンを得るために，空間光変調器を用いてもよいが，空間光変調器を用いた場合はゼロ次回折光などの問題が生じる。

【0058】

レンズとして，ソーラボ（Ｔｈｏｒｌａｂｓ）社製両凸レンズを用いた。レンズを用いて，対物レンズとともに４ｆシステムを構築し，空間変調器上の構造を正確に観測対象物（サンプル）上に光学的に転送した。後半（観測対象物の後方）の４ｆシステムは本質的に重要では無く，サンプルからの透過光をＳ／Ｎよく検出出来れば十分である。

【0059】

対物レンズとして，オリンパス社製ＵＰＬＳＡＰＯ２０Ｘを用いた。対物レンズは，パターン化された照明である構造照明を観測対象物に結像させる機能と，観測対象物からの光信号を集める機能を有する。対物レンズは，より細かく多くの構造化照明を結像するため高い開口数（ＮＡ）と広い視野を有するものが好ましい。

【0060】

観測対象物を移動させるためのサンプルステージとして，シグマ工機社製電動１軸ステージ ＨＰＳ６０−２０ｘ−ＳＥＴと，２つの回転ステージ ＫＳＰＢ−９０６Ｍ−Ｍ６を用いた。１軸ステージを用いて観測対象物を移動させつつ，２つの回転ステージを用いて観測対象物の向きを３次元的に調整した。

【0061】

検出器として，浜松ホトニクス社ｓＣＭＯＳカメラ Ｆｌａｓｈ ４．０を用いた。このカメラによる撮影画像の画素値を計算機で積算し，一画素検出素子で得られるであろう透過シグナルとした。このカメラは，原理実証実験用のものであり，高速な一画素又は少数検出素子を用いることが好ましい。

【0062】

図１７は，観測対象からの反射光を検出することで像を再現する構成を示す概略構成図である。図１８は，観測対象からの蛍光を検出することで像を再現する構成を示す概略構成図である。

【0063】

図１９は，ＯＨＰシート上に黒三角を印字したものを観測対象物とし，このシートを移動させた際のイメージングを示す図である。図２０は，時間ごとに観測された検出結果を示す。上から下に行くにつれて時間が経過したものを示す。一番上の検出結果では，左の部位に黒三角が存在する。そして，下の観測結果ほど，黒三角の位置が右方向へ移動している。これから，観測対象物が移動すれば，その変位に伴って放出される信号を検出できることがわかる。図２１は，観測対象がパターン照明を通過した際に得られた光信号の総光量の時間変化を示すグラフである。図２２は，図２１のグラフから再構成した観測対象の像である。図２２から，観測対象物の形状を把握できるように像を再現できることが示された。

【実施例2】

【0064】

次に，多色イメージングについて説明する。多色イメージングとは，複数の細胞蛍光標識によって多色に染色された観察対象物を，複数の光学素子を組み合わせて観測することで，カラー画像を再構成する技術の事である。なお，観察対象物は細胞に限られない。また，観測する光は，蛍光に限られない。さらに，観察対象を染色する手段は，細胞蛍光標識に限られず，染料などを用いてもよい。また，多色イメージングによって観測される対象物は染色された観測対象に限られず，観測対象物そのものが色を持つものでもよい。
上述した実施例１にて示す装置に，さらに，複数の細胞蛍光標識と，ダイクロイックミラーと，アクロマティックレンズと，バンドパスフィルタとを組み合わせて用いることにより，従来のＦＡＣＳ（ｆｌｕｏｒｅｓｃｅｎｃｅ ａｃｔｉｖａｔｅｄ ｃｅｌｌ ｓｏｒｔｉｎｇ）において行われている，細胞核，細胞質及び細胞膜などを多色に染色した細胞の多色イメージングを行うことが可能となる。なお，ダイクロイックミラーの代わりに，回折素子などの光学素子を用いることで，多色に染色した細胞からの蛍光発光を分光するようにしてもよい。すなわち，多色イメージングのための分光には，屈折や回折を利用した様々な素子を用いることができる。
具体的には，実施例２にて示す装置は，赤色に蛍光染色した細胞膜の画像と，緑色に蛍光染色した細胞質の画像と，青色に蛍光染色した細胞核の画像とをそれぞれ再構成する。次に，実施例２にて示す装置は，再構成したそれぞれの画像を重ね合わせることにより，多色に染色した細胞の画像を生成することができる。実施例２にて示す装置が生成する多色に染色した細胞の画像は，カラー撮像ができるカメラを用いて撮像する多色に染色した細胞の画像と比較しても，遜色の無い画像である。

【0065】

なお，これまで，イメージング装置の一例として，構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系のいずれか又は両方を用い，観測対象と，上述の光学系又は検出系のいずれかの相対位置を変化させつつ，一又は少数画素検出素子で観測対象からの光信号を検出して，光信号の時系列信号情報を得て，時系列信号情報から観測対象に関する画像を再構成する装置について説明したが，これに限られない。すなわち，イメージング装置は，上述した光信号の時系列信号情報を得れば足り，時系列信号情報から観測対象に関する画像を再構成することまでは必須ではない。

【産業上の利用可能性】

【0066】

本発明は，基本的には，光学機器の分野に属するが，医療機器やウェアラブルデバイスといった様々な分野において利用されうる。

【符号の説明】

【0067】

１１ 構造化された照明パターンを有する光学系
１３ 観測対象物
１５ 一又は少数画素検出素子
１７ 相対位置制御機構
１９ 像再構成部
５１ 光学系
５３ 観測対象物
５５ 一又は少数画素検出素子
５７ 相対位置制御機構
５９ 像再構成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】