【国等の委託研究の成果に係る記載事項】(出願人による申告)平成26年度文部科学省独立行政法人科学技術振興機構さきがけ(統合1細胞解析のための革新的技術基盤)事業、産業技術力強化法第19条の適用を受けるもの
【文献】
Ori Katz et al.,Compressive ghost imaging,APPLIED PHYSICS LETTERS,2009年,Vol.95,pp.131110-1 - 131110-3
【文献】
Yuanyuan Han & Yu-Hwa Lo,Imaging Cells in Flow Cytometer Using Spatial-Temporal Transformation,www.nature.com/scientificreports,2015年08月18日,pp.1-10,DOI:10.1038/sep13267
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0023】
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜修正したものも含む。
【0024】
図1に,本発明の第1の側面に関する分析装置を示す。
図1に示されるように,この分析装置は,光源1と,光源1からの光が照射される光照射領域3と,光照射領域3に存在する観測対象物5からの散乱光(ラマン散乱を含む),透過光,蛍光,又は電磁波を受け取り,電気信号に変換する受光部7と,受光部7から電気信号を受け取って記録する記憶部9と,記憶部9が記録した,散乱光,透過光,蛍光,又は電磁波に関する電気信号を分析して,分析結果を記録する分析部11と,分析結果に基づいて,光照射領域3を機械学習などにより最適化する光学系制御部13と,を有する。
【0025】
この分析装置は,好ましくは,受光部7から電気信号を受け取り,受光部7へ光が照射される領域である受光領域25を最適化する受光系制御部27を更に有するものである。この分析装置は,好ましくは,受光系制御部27は,機械学習により受光領域25を最適化する。なお,分析装置は,光学系制御部13が存在せず,受光系制御部27のみを有するものも,迅速かつ精度よい分析を行なうことができる。そのような分析装置は,光源1と,光源1からの光が照射される光照射領域3と,光照射領域3に存在する観測対象物5からの散乱光,透過光,蛍光,又は電磁波を受け取り,電気信号に変換する受光部7と,受光部7から電気信号を受け取って記録する記憶部9と,記憶部9が記録した,散乱光,透過光,蛍光,又は電磁波に関する電気信号を分析して,分析結果を記録する分析部11と,受光部7から電気信号を受け取り,受光部7へ光が照射される領域である受光領域25を最適化する受光系制御部27と,を有する分析装置である。
【0026】
以下,本発明の概要について説明する。
【0027】
人知バイアスから解放された高精度・高感度な細胞分類法
先端光技術が生み出す細胞形態・核形態・分子局在・分子情報を含む大量の細胞情報を機械学習によりフェノタイピングする事により,人知バイアスの極力入らない客観的で正確な最適細胞分類を行う。一方で,機械の分類結果をヒトや生物・遺伝学見地から解釈し,機械に教育するなど,インタラクティブに評価することもできる。機械に教育を行うことにより,特定の標的細胞への感度を向上することも可能である。
【0028】
図2は,機械学習により,1細胞画像より生成したGMI時系列1細胞信号を分類した結果である。例えば,複雑で大量なサンプル(例えば血液)内の1細胞群が生成するGMI時系列細胞信号群に対して,まず教師無し機械学習により分類(同類分類された細胞画像群,
図2左))を行い,各グループの典型的代表例(テンプレート画像,
図2右)をヒトに提示する。そしてそのテンプレートを基に,ヒトが目的に沿った細胞を選択する(機械への教育)。その結果に基づき,機械が判断基準を修正し,目標細胞をより高感度に高速に分類することができるようになる。
【0029】
図3は,機械学習により1細胞画像より生成したGMI時系列1細胞信号を分類した結果である。ランダムに撮影した画像のため,必ずしも単一細胞でない場合も含まれる。それぞれのグループにおいて,左図が同一分類に属するGMI時系列1細胞信号の元の細胞画像,右図が同一分類に属するGMI時系列1細胞信号の平均信号からGMI再構成処理により生成した,同一分類に代表的なテンプレート細胞画像である。1細胞か,複数細胞かどうかも判別する事ができており,フローサイトメトリー応用を考慮した際には,偽陽性率を低減する上で効果的なアプローチである。例えば,蛍光分子総量を計測して細胞を判別している現在のフローサイトメトリーにおいて,1細胞か複数細胞か,混入した異物か,などが主な偽陽性結果である。本発明は,既存のフローサイトメトリーの情報に追加の空間情報を与えうるものであり,偽陽性率を低減する。また,同一分類に代表的なテンプレート画像の生成は,機械学習による分類が使用者の意図に従っているかどうかを確認できるため,実用に有用である。
【0030】
上記機械学習の導入は,フローサイトメトリー技術とGMI等の高速イメージング技術の融合のみならず,フローサイトメトリー技術と非線形分子スペクトロスコピー技術(ラマンスペクトロスコピー,誘導ラマン散乱スペクトロスコピー,コヒーレントアンチストークスラマン散乱スペクトロスコピー)の融合を含む。この場合,画像や時間波形ではなく,散乱スペクトルの時系列信号を機械学習し,フーリエ変換を経ずに分析時間を大きく短縮し,人知バイアスの入らない分類を行う。またインタラクティブなシステムも構築できる。例えば,教師無し機械学習により細胞分類を行い,テンプレートスペクトルを生成し,このテンプレートを見てヒトが教育し,教師有り機械学習に基づいてより精度の高く目的に沿った細胞分類を行うことができる。
【0031】
細胞「画像」を撮らずに細胞空間情報を得る高速の撮影・解析法
例えばGMI法において1画素検出素子を用いた高速撮影技術過程で得られる時間波形信号には,(ヒトの目では認識できないが)撮影対象の空間情報が効果的に圧縮され含まれている。この一次元の時間波形データを機械に学習させる事は,二次元画像を学習させるのと同等である。そのため,画像再構成プロセスを経ない事により処理速度を飛躍的に向上できる一方で,情報や判別精度が落ちることはない。細胞空間情報を,「画像」を再構成することなく迅速・高精度・高感度処理することが可能となる。例えば,
図2や
図3に示される教師無し細胞分類も,圧縮時間波形信号を用いたものである。人知バイアスから解放された高精度・高感度な細胞分類においても,画像再構成プロセスを経ることなく圧縮時系列信号を直接用いることができる。
【0032】
対象に応じて自動的に最適化する光撮影法
例えばGMI画像と従来カメラ画像との間で機械学習を行うことにより,GMIの用いられる光構造をダイナミックに修正する。また,サイトメトリー結果(観察対象の特異的な情報が欲しい,等のヒトの判断を含む)を光撮影法に反映することもできる。
【0033】
光撮影プロセスに自動機械学習を導入
図4のように,目的や研究者によって,観察対象の特徴は大きく異なる(細菌や血液など)。光撮影プロセスに自動機械学習を導入することにより,必要な光構造を光空間変調器などを用いて自動最適化する。光構造は,全体の形状(長方形か,菱形か,楕円か),大きさ,ランダムパターンの明部の密度,各明部パターンの大きさ等のパラメータが存在する。機械学習により,光撮影や情報処理を高速化する一方で,精度を向上するように,本パラメータ群を最適化する。
【0034】
多次元大量の情報を生み出す次世代フローサイトメトリーの観察対象に対して機械学習を導入することで,a.大量・多次元のデータを処理できる,b.高速な解析・判別処理,c.高精度化,d.ヒト個人差やヒトの疲れ等が介入しない,e.ヒトの限られた知識や知覚では認識することができなかった細胞の特徴を正確に捉える事ができる,という効果が得られる。蛍光イメージングなどにより細胞の空間情報を撮影する際だけでなく,分子スペクトロスコピーにおいても,ヒトの目では見分けられないスペクトルデータから,精度の高い解析・判断を高速に実行することが可能になる。
【0035】
細胞の画像という二次元情報ではなく,細胞空間情報を光撮影法の中で効果的に圧縮した時間波形信号を処理することにより,情報の質を落とさずに,処理の高速化が可能となる。
【0036】
観察対象に応じて光撮影法が最適化されることにより,対象情報を効果的に圧縮しながら正確に収集することができるようになり,サイトメトリー精度を落とさずに,光撮影の高速化,情報処理の高速化することができる。また,サイトメトリー結果(観察対象の特異的な情報が欲しい,等のヒトの判断を含む)を光撮影法に反映することで,目的にあった修正を行い,サイトメトリーの高感度化も可能である。
【0037】
以下,本発明の分析装置における各要素について説明する。
【0038】
光学系
光源1と,光源1からの光が照射される光照射領域3とは,観測対象物に光を照射するための光学系を形成する。光学系は,図示しないミラーやレンズ,空間光変調器,フィルタを含む光学素子を適宜有していてもよい。光学系は,光特性が異なる複数の領域を有する構造化された照明パターンを有する光学系(システム)であってもよい。光学系の例は,光源と,光源からの光を受けて,構造化された照明パターンを形成するためのフィルタとを有する光学素子群であってもよい。光学系の別の例は,照明パターンを構成する複数の光源を有する光源群(又は光源群と光学素子を含む光学素子群)である。
【0039】
光源からの光は,例えば,光特性のパターンを有するフィルタを通すことで,測定対象物に光のパターンをもって照射される。光源は,連続光であってもパルス光であってもよいが,連続光が好ましい。光源は,単一の光源からなっていてもよいし,複数の光源が規則正しく配置された複数の光源を含むもの(例えば,縦方向及び横方向に等間隔で配置された複数の光源を含むもの)であってもよい。この場合,複数の光源の強度及び波長のいずれか又は両方を制御できるものであることが好ましい。
【0040】
光源は,白色光であっても,単色光であってもよい。光特性の例は,光強度,光波長,及び偏光のいずれか1つ以上に関する特性(例えば透過率)であるが,これらに限定されない。光特性が異なる複数の領域を有する構造化された照明パターンの例は,第1の光強度を有する複数の領域と,第2の光強度を有する複数の領域とを有するものである。光特性が異なる複数の領域の例は,一定領域内にランダムに散らばった光特性の異なる部位を有するものである。また,光特性が異なる複数の領域の別の例は,格子状に区分された複数の領域が存在し,その複数の領域が,少なくとも第1の光強度を有する領域と,第2の光強度を有する領域とを有するものである。この光特性が異なる複数の領域を有する構造化された照明パターンは,例えば,複数の光源に含まれるそれぞれの光源の強度や周波数を調整することにより達成できるし,また透明フィルム上にパターンを印刷したものに,光源からの光を照射することにより得ることができる。好ましくは,この構造化された照明パターンが,観測対象物に照射されることとなる。
【0041】
観測対象物5が,例えば,特定のステージに搭載されているか,特定のステージ上を移動する場合,そのステージのうち光源からの光が照射される領域が光照射領域3である。通常,観測対象物5は,光照射領域3に存在するか,光照射領域3を通過する。
【0042】
観測対象物5は,用途に応じて各種のものを観測対象物とすることができる。観測対象物の例は,細胞,体液,及び眼球(動く眼球であってもよい)であるが,これらに限定されるものではない。
【0043】
受光部(撮影部)
受光部7は,光照射領域3に存在する観測対象物5からの散乱光(ラマン散乱を含む),透過光,蛍光,又は電磁波(以下単に「光信号」ともよぶ)を受け取り,電気信号に変換する検出要素である。電磁波を受け取る場合は,各種分光技術に基づく解析を行うことができる。受光部7は,例えば,光空間変調器などの光学素子を含んでもよく,観測対象物5からの光信号を適宜調整できるものであってもよい。光照射領域3に存在する観測対象5からの光信号のうち,受光部7に届く領域を光受光領域とすれば,これらの光学素子により光受光領域が制御されてもよい。
【0044】
言い換えると,受光部7は,光特性が異なる複数の領域を有する構造化された検出系であってもよい。受光部7は,光学素子として,光空間変調器や,アルミニウム,銀又は鉛などの透過性を変化させる物質を部分的に塗布又は描画したフィルムを用いたものを含んで構成されてもよい。つまり、受光部7は、一様な照明が照射される観測対象物5と、受光部7との間に上述した光学素子を配置するなどして構成されてもよい。光照射領域3に存在する観測対象5からの光信号のうち,受光部7に届く領域を光受光領域とすれば,これらの光学素子により光受光領域が制御されてもよい。
【0045】
受光部7は,受光装置(撮影装置)を有しており,一又は少数画素検出素子を有することが好ましい。一又は少数画素検出素子の例は,光電子倍増管や,マルチチャネルプレート光電子倍増管であるが,これらに限定されない。少数画素検出素子は,コンパクトであり,各素子を並列に高速作動できるので,本発明に好ましく用いることができる。一画素検出素子の例は,特許4679507及び特許3444509に開示される。受光装置の例は,PMT(photomultiplier tube;光電子倍増管),ライン型PMT素子,APD (Avalanche Photo−diode,アバランシェフォトダイオード),Photo−detector(PD:光検出器)などの単一または少数受光素子,またはCCDカメラ,CMOSセンサである。
【0046】
受光部7は,複数種類の検出装置を有していても良い。最適化に画像の再構成を必要とする場合,例えば,一方の検出装置がGMIに基づく検出系であり,もう一方の検出装置は通常のカメラであってもよい。この場合,
図4に示されるようにGMI由来の画像と,カメラ由来の画像とが比較されて,GMI由来の再構成された画像が,カメラ由来の画像との差が少なくなるように,光学系や検出系が調整されればよい。
【0047】
記憶部
記憶部は,受光部等の要素と情報の授受を行うことができるように接続され情報を記録する要素である。受光部がメモリやハードディスクなどの記憶装置を有する場合は,それらが記憶部として機能する。また受光部がコンピュータと接続される場合,そのコンピュータの記憶装置(メモリやハードディスク等)の他,コンピュータと接続されたサーバ等が記憶部として機能する。記憶部は,受光部7から電気信号を受け取って記録する。
【0048】
分析部は,記憶部9が記録した,散乱光,透過光,蛍光,又は電磁波に関する電気信号を判別・分類してこの結果を記録するものである。分析に機械学習を用いることにより,人の目には読み取れないGMI圧縮時系列信号のような細胞データを判別や分類できる。すなわち分析部は,機械学習を行うためのプログラムを格納し,与えられた情報に対して,機械学習を行うことができるようにされていることが好ましい。判別や分類の具体的な詳細は実施例に示すが,分析部は,例えば,観測対象がどのようなクラスに所属するものであるかを判別する。例えばk−means法を用いた判別では,事前に得られている各クラスのテンプレートとなる電気信号パターンと新たに得られた電気信号パターンの距離が最小になるクラスをこの新たに得られた電気信号パターンのクラスとする。ほかには,観測される電気信号を蓄積し,蓄積された電気信号のパターン群を分類する。この分類には,各クラスの電気信号平均パターンからの各電気信号パターンが最小になるように分類を行う。また,この蓄積データや分類データにもとづき,新たな電気信号パターンを判別する。さらに必要に応じて新たな電気信号パターンにもとづきこの蓄積データや分類データを更新する。分類データの更新は各クラスの平均データや中間値データの算出に新たな電気信号パターンを用いることを指す。分類データの更新は,例えば,これまで電気信号パターンaとbの平均値で(a+b)/2だったものを,新しい電気信号パターンcを加え,(a+b+c)/3とするものを意味する。
【0049】
分析部は,例えば,光信号を一定期間受信し,光信号の時系列信号情報を取得する時系列信号情報取得部と,時系列信号情報から観測対象の部分領域における部分時系列信号情報を分離する部分信号分離部を有するものであってもよい。例えば,観測対象物が細胞ではない混入物などの場合の時系列信号情報を蓄積しておき,ある観測部分の部分時系列信号情報が細胞ではない混入物などの部分時系列信号情報に分類されるパターンに分類される場合,その観測部分には細胞が存在しないと把握できる。すると画像を再構築せずに細胞が存在しない領域を把握できるため,処理が迅速となるし,後述するようにこの部分に光を照射しないか,この部分からの時系列信号情報をそれ以降採用しないように制御することで,情報量を軽減し,エラーを低減し,処理を迅速化できることとなる。分析部は,用途によっては,さらに,得られた観測対象の部分時系列信号情報から,観測対象の各部分の像(発光強度など)に関する情報を抽出又は再構築する部分像再構築部を有するものであってもよい。なお,分析部は,部分像再構築部が再構築した観測対象の各部分の像を用いて,観測対象に関する画像を再構成する画像再構築部を有してもよい。この場合は,ヒトが検証作業を行うことができるため好ましいものの,観測対象物の像が一度再構築されるため,分析及び判定に時間がかかることとなる。
【0050】
検出信号は,時間変化ごとの検出強度の情報を含む。時系列信号情報取得部は,光信号の時系列信号情報を取得する。時系列信号情報取得部の例は,一又は少数画素検出素子などの受光部が一定時間受信し,検出及び記憶した検出信号を時系列信号情報として受け取るものである。時系列信号情報取得部が取得した時系列信号情報は,記憶部に適宜記憶されてもよい。また,時系列信号情報取得部が取得した時系列信号情報は,部分信号分離部による演算処理に用いられるために,部分信号分離部へと送られてもよい。
【0051】
部分信号分離部は,時系列信号情報から観測対象の部分領域における部分時系列信号情報を分離するための要素である。時系列信号情報は,観測対象物の各部分に由来する検出信号が含まれている。このため,部分信号分離部は,時系列信号情報から観測対象の各部分領域における時系列信号情報である部分時系列信号情報を分離する。この際,部分信号分離部は,記憶されていた照明パターンに関する情報Hを読み出し,読み出した照明パターンに関する情報Hと,時系列信号情報とを用いて部分時系列信号情報を分離する。つまり,時系列信号情報は,照明パターンに関する情報Hに対応した変動が存在しているため,照明パターンに関する情報Hを用いることで,時系列信号情報を部分時系列信号情報に分離できる。時系列信号情報から観測対象の各部分領域における時系列信号情報である部分時系列信号情報は,適宜記憶部に記憶されてもよい。また,部分時系列信号情報は,用途によっては,部分像再構築部による演算処理のために,部分像再構築部へ送られてもよい。
【0052】
部分像再構築部は,部分時系列信号情報から,観測対象の各部分の像(発光強度など)に関する情報を抽出又は再構築するための要素である。部分時系列信号情報は,各部分領域における時系列信号情報であるから,各領域における光強度に関する情報fを求めることができる。観測対象の各部分の像(発光強度など)に関する情報は,適宜記憶部に記憶されてもよい。また,観測対象の各部分の像(発光強度など)に関する情報は,画像再構築部による演算処理のために,画像再構築部へ送られてもよい。この場合,例えば,画像を再構築する前に観測対象を分析することができるため,迅速に光源系や検出系を最適化できると共に,観測対象の画像をも得ることができることとなる。
【0053】
画像再構築部は,部分像再構築部が再構築した観測対象の各部分の像を用いて,観測対象に関する画像を再構成する要素である。観測対象の各部分の像は,観測対象物のそれぞれの領域の像であるから,この像を合わせることで,観測対象に関する画像を再構成できる。
【0054】
この分析装置は,好ましくは,分析部11の判別アルゴリズムを機械学習により最適化するものである。つまり分析部11は,各種分析を行うための判別アルゴリズムを備えており,この判別アルゴリズムは,機械学習により最適化される。判別アルゴリズムは,上記した観測対象の分類や,観測対象が存在しない場合の信号の分類を用いて判別するアルゴリズムを含む。分析の例は,観測対象に特徴的な光信号成分を把握することや,判別作業に用いられる閾値の設定,光学系及び検出系の最適化条件である。
【0055】
機械学習は,例えば,特許5574407号公報,特許5464244号公報,及び特許第5418386号公報に開示されるとおり,公知である。機械学習の例は,Ada Boostingのアルゴリズムを用いた学習である。機械学習は,例えば,観測対象物のうち複数の対象物についての光信号を得て,得られた光信号から観測対象物の特徴を学習するものである。機械学習を行うことで,特定の細胞の有無といった検出を極めて効率的且つ迅速に行うことができるようになる。機械学習の対象は画像に限らず,例えば,ラマン分光を用いた場合のように画像化されない振動を検出して,その検出した信号を分析対象に用いればよい。例えば,分析部により,複数の観測対象の光信号を機械学習により分析し,観測対象の光信号の分類・判別といった分析をすることができる。
【0056】
この分析装置は,好ましくは,分析部11が,散乱光,透過光,蛍光,又は電磁波に関する電気信号を観測対象の像を再構築することなく,観測対象を分析するものである。分析部11は,例えば,上記した時系列信号情報,部分時系列信号情報,又はGMIを用いて,観測対象を分析する。この例では,複数の対象について,機械学習によりパターン等を認識しておき,時系列信号情報,部分時系列信号情報,又はGMIとパターン等を照合することで,観測対象が特定の対象であるか否かを分析できるほか,観測対象の大きさや位置を含めた観測対象に関する情報を分析することができる。
【0057】
光学系制御部
光学系制御部13は,分析結果に基づいて,光源1又は光照射領域3を最適化するための要素である。
受光部7,光源1又は光学系を構成する光学素子を制御するための制御信号(制御命令)は,先に説明した分析部において求められても良いし,光学系制御部13において求められも良い。分析部において,制御命令が求められる場合,光学系制御部13は,分析部3が求めた制御信号(制御命令)に従って,光源1又は光学系を構成する光学素子を制御することで,光源系を最適化することができる。
【0058】
光学系制御部13の例は,受光部7,光源1又は光学系を構成する光学素子を制御する制御装置と情報の授受を行うことができるように接続されたコンピュータである。そして,このコンピュータは,特定の演算処理や入出力を行うことができるようにプログラムがインストールされている。このプログラムの例は,機械学習を行うためのプログラムである。
GMIのような画像撮影機構において光学系制御部13は,受光部7から電気信号に基づいて,観測対象の像を再構成することなく,時間波形電気信号(GMI)のまま処理を行うものが好ましい。用途によっては観測対象物の像を再構成する機能を有していてもよく,その場合,画像クオリティを検証することができる。
【0059】
ラマン分光測定のようなスペクトル時間波形記録機構において光学系制御部13は,受光部7から電気信号に基づいて,スペクトルをフーリエ変換して分子スペトルを周波数空間で解析することなく,時間波形電気信号のまま処理を行うものが好ましい。しかし用途によっては,光学系制御部13は,電磁波スペクトルをフーリエ変換することで,周波数空間上で分子スペクトルを解析するものであってもよい。
【0060】
この分析装置は,好ましくは,光学系制御部13が,機械学習により光源1又は光照射領域3を最適化するものである。光源1の最適化の例は,光源1の光強度を調整するものである。この分析装置は,好ましくは,光源1からの光は,複数の光領域21を有し,光学系制御部13は,複数の光領域21の光構造を制御するものである。この分析装置は,好ましくは,光学系制御部13が,電気信号に基づいて観測対象物5の存在領域を分析し,光照射領域3を限定するように制御するものである。
【0061】
この分析装置は,好ましくは,光学系制御部13が,電気信号に基づいて観測対象物5の粗密を分析して観測対象の粗密情報を得て,粗密情報に基づいて,光源1又は光照射領域3を制御するものである。
【0062】
受光系制御部
この分析装置は,好ましくは,受光部7から電気信号を受け取り,受光部7へ光が照射される領域である受光領域25を最適化する受光系制御部27を更に有するものである。受光系制御部27は,先に説明した分析部が受光系の分析を行っても良い。つまり,分析部は,例えば,機械学習用のプログラムを採用しており,受光部のうち有益な情報が得られていない部分の受光信号を分類しておく。そして,受光部のうちある部分の受光信号がこの分類に分類される場合は,例えば,この部分からの情報を解析に用いないように処理を行う。このようにすることで,分析の処理量を軽減することができ,処理を迅速に行うことができることとなる。この分析装置は,好ましくは,受光系制御部27が,機械学習により受光領域25を最適化する。この好ましい態様では,光学系制御部13による光学系の最適化と同様の手法を用いて,光源1又は受光領域25を最適化するものであってもよい。受光系制御部25の例は,受光部7,光源1又は受光系や受光領域25を構成する光学素子を制御する制御装置と情報の授受を行うことができるように接続されたコンピュータである。つまり,本明細書は,光学系を最適化するほか,受光系も最適化するもののみならず,受光系のみを最適化するものをも開示する。
【0063】
分析装置は,公知の分析装置における各種の要素を含んでも良い。そのような要素の例は,相対位置制御機構である。
【0064】
次に,本発明のイメージング装置の動作例を説明する。
図5は,観測対象物が,パターン化された照明を通過することを示す概念図である。
図5に示されるとおり,観測対象物5は,相対位置制御機構により移動させられ,光学系のうちパターン化された照明を通過することとなる。このパターン化された照明光構造はこれをH(x,y)の行列でその強度分布が示される。この観測対象物5は,光学的な空間情報,例えばF
1〜F
4で示される蛍光分子を有している。そして,これらの蛍光分子は,受けた光の強度により蛍光を発しないか,発する蛍光の強度が異なる。すなわち,この例では,F
2で示される蛍光分子がはじめに蛍光を発し,その発光強度は,通過するパターン化された照明の影響を受けることとなる。観測対象物5からの光は適宜レンズなどにより集光されてもよい。そして,観測対象物5からの光は一又は少数画素検出素子へと伝わることなる。
図5の例では,観測対象物の進行方向をx軸とし,x軸と同一平面状にあるx軸と垂直な方向にy軸を設けている。この例では,F
1及びF
2は,同じy座標であるy
1上の蛍光(これをH(x,y
1)と表記する。)として観測される。また.F
3及びF
4は,同じy座標であるy
2上の蛍光(これをH(x,y
2)と表記する。)として観測される。
【0065】
図6は,
図5に示される観測対象物が発した蛍光の様子を示す概念図である。
図6に示されるように,各蛍光分子から蛍光が発せされるが,例えば,F
1及びF
2は,同じ照明パターンを経験するため,類似した時間応答パターン又は出力パターンを有すると考えられる。一方,発光強度は,F
1及びF
2では,異なることが考えられる。このため,F
1及びF
2の発光強度は,それぞれの発光分子に特異的な係数であるF
1及びF
2と座標y
1に共通の時間応答パターンであるH(x,y
1)の積であると近似できる。F
3及びF
4についても同様である。
【0066】
図7は,
図5に示される観測対象物が発した蛍光を検出した際の検出信号を示す概念図である。この検出信号は,
図6で示される蛍光信号の和信号として観測されたものである。すると,この信号は,複数の強度の時間変化パターンH(x,y
n)を含んでいることとなる。すると,この検出信号の強度(G(t))とH(x,y
n)から,各座標及び各座標における蛍光係数(蛍光強度)を求めることができる。
【0067】
図8は,検出信号の強度から求めた蛍光分子の位置及び蛍光強度を示す概念図である。
図8に示されるように,検出信号G(t)から,蛍光係数(蛍光強度)F
1〜F
4を求めることができる。
【0068】
上記の原理をより詳細に説明する。
図9は,像再現原理を説明するための図である。たとえば,対象内座標としてF(1)及びF(2)が存在したとする。そして,時間1では,F(1)に第1のパターンの光が照射され,F(2)には照射されない。時間2では,F(1)に第2のパターンの光が照射され,F(2)には第1のパターンの光が照射される。時間3では,F(1)には光が照射されず,F(2)には,第2のパターンの光が照射される。すると,検出信号G(t)は,以下のようになる。G(1)=F(1)H(1),G(2)=F(1)H(2)+F(2)H(1),G(3)=F(2)H(2)。これを解けば,F(1)及びF(2)を解析できる。この原理を用いれば,対象内座標が増えても同様にして解析をすることで,F(1)〜F(n)を求めることができる。
【0069】
次に,対象が2次元である場合は,観測対象物の内部座標をF(x,y)とする。一方,パターン照明も同様に座標を有しているとする。観測対象物の内部座標をx軸方向にn,y軸方向にnとると,F(x,y)の未知数はn×n個である。上記と同様に信号を測定し,得られた信号G(t)を解析することで,F(x,y)(0≦x≦n,0≦y≦n)を再構成できる。
【0070】
図10は,画像再現工程の例を説明するための図である。この例では,像をf(対象位置情報ベクトル)として,行列式で表現する。そして,パターン化された照明をH(X,y)のように表現し,Xは時間より変化する変数で表す。また,検出した信号強度をg(計測信号ベクトル)として表現する。すると,これらは,g=Hfとして表現できる。
図10に示したとおり,fを求めるためには,Hの逆行列H
−1を左からかければよい。一方,Hが大きすぎてHの逆行列H
−1を容易に求められない場合がある。その場合,例えば,Hの転置行列H
tを逆行列の変わりに用いればよい。この関係を用いて,fの初期推定値f
intを求めることができる。その後,fの初期推定値f
intを用いて,fを最適化することで,観測対象の像を再現できる。
【0071】
言い換えると,
図10は,画像再現工程の例を説明するための図である。この例では,像をf(対象位置情報ベクトル)として,行列式で表現する。そして,パターン化された照明をH(X,y)のように表現し,Xは時間より変化する変数で表す。また,検出した信号強度をg(計測信号ベクトル)として表現する。すると,これらは,g=Hfとして表現できる。
図10に示したとおり,fを求めるためには,Hの逆行列H
−1を左からかければよい。一方,Hが大きすぎてHの逆行列H
−1を容易に求められない場合がある。その場合,例えば,Hの転置行列H
Tとgとの乗算結果としてfの初期推定値f
initを求めることができる。その後,fの初期推定値f
initを用いて,fを最適化することで,観測対象の像を再現できる。
【0072】
観察対象の形状に合わせた光構造の形状
細胞など,サイトメトリーにおける観察対象は球形であることが多い。この際,光構造の全体の形が長方形である必要はない。例えば,クオリティの落ちない範囲で,光構造の四隅の明部を暗部に変え,暗部を増やす。そしてクオリティが落ちたら,新しく数点を四隅に足す,というサイクルを繰り返せばよい。
【0073】
細胞イメージングの際,細胞質や核などの密な構造と,細胞膜や局在分子,特異的染色体ラベル(FISH法等)などの疎な構造が存在する。GMIにおいては,基本的に,密な対象構造には疎な光構造が望ましく,疎な対象構造には密な光構造をデザインすることが望ましい。まずGMI電気信号を元に,対象物の疎密を判断する。例えば,対象信号の時間積分値の,対象信号の最大値と対象信号の時間幅の積に対する比(対象信号の時間積分値/対象信号の最大値と対象信号の時間幅の積)が一定値以上の時には対象は密であり,一定値以下の際には対象は疎である。この値はサンプルや対象構造によって,調整される。
この判断を元に,より疎または密な光構造をデザインする。例えば,構造全体に対するランダムな明部の占有率を増加または減少させ,新しいランダムパターンを作成する(現在のGMI光構造はDMD・光マスクを用いており,構造は単純にランダムである。そのため,明暗の二値であり,明部を全体の何%と指定し,ランダムに散らばらせる)。最終的に,前記比(対象信号の時間積分値の,対象信号の最大値と対象信号の時間幅の積に対する比)が,ある一定の範囲内(対象に依る)に入るまで上記サイクルを繰り返す。
【0074】
対象シグナルS/Nの強度
対象によっては非常に光信号強度が微弱で,S/N比が悪い事があり,これが悪化すると高精度な細胞情報処理およびサイトメトリーはできなくなる。
GMIにおいてS/N比を高める手法の一つは,空間光変調器のピクセルを複数ビニングし,GMI光構造の単位ピクセルとすることである。これにより,GMI光構造の単位ピクセルの光量が増加し,S/Nを向上することができる。
またラマン分光法において,S/N比を高める手法の一つは,対象物の通らない部分への光照射を減らすことである。これによりノイズ光量を下げることでき,S/Nを向上することができる。
【0075】
最も単純なビニング手法は2*2,3*3など,縦横方向同じ数ずつをビニングする方法である。しかし,これにより空間変調器の構造サイズ(サンプル上におけるGMI光構造実サイズに対応)が大きくなり,スループット及び情報量及びクオリティが悪化する。
【0076】
ビニングを横長の四角形,例えば縦1*横2で行う。すると,GMIにおける空間解像度は縦ピクセルのサイズにより決定されるため,空間解像度は悪化しない。しかし,空間変調器の横ピクセル数(サンプル上におけるGMI光構造実横幅に対応)が大きくなり,スループットは犠牲になる。
【0077】
ビニングを縦長の四角形,縦2*横1で行う。すると,GMIにおける空間解像度は縦ピクセルのサイズにより決定されるため,空間解像度は悪化する。しかし,空間変調器の横ピクセル数(サンプル上におけるGMI光構造実横幅に対応)は変わらず,スループットは悪化しない。
【0078】
細胞イメージングの際,細胞骨格構造や,ウィルス感染経路,細胞シグナルネットワークなどの複雑な構造を有する。このような複雑な構造体に対して,最適な光構造をデザインすることは難しい。この際,GMI電気信号を元に,機械学習により,例えば再構成画像のクオリティを向上させる目的で,光構造を自動的に最適化することができる。なお機械学習による光構造の最適化は,目的関数を,例えば,撮影スループットの向上,電気信号の計算量・画像情報量軽減,画像クオリティの向上,目標特徴量への感度向上(核/細胞質比,細胞サイズ,染色体凝集像,染色体数等),シグナルS/N向上,判別精度向上などに設定することで,上記例を含む最適化を達成する。
【0079】
例えばGMIによる細胞イメージングの際,光構造を公知の機械学習・最適化アルゴリズムで,最適化できる。公知の機械学習・最適化アルゴリズムは,進化的アルゴリズムやシミュレーテッドアニーリングを含む。例えば,照明領域の面積の最小化,画質クオリティや判別精度の最大化,S/Nの最大化,などを最適化アルゴリズムの目的関数に設定することにより,上記目的を達成して,機械学習により光構造を最適化することができる。
【0080】
図11は,照明パターンを最適化する工程例を示す概念図である。この例では,先に説明したイメージング装置を用いて,光信号(GMI信号,ゴーストモーションイメージング信号,g)を得て,観測対象物5を再構成した像(F)を得る。一方,撮像部が同じ観測対象物5を撮影し,観測対象物の撮影像(C)を得る。そして,光学系制御部は,再構成した像(F)と撮影像(C)とを比較する。この比較は,例えば,再構成した像(F)と撮影像(C)とが同じ大きさとなるように調整した後,各画素に含まれる色彩又は強度のコントラストの差を合計し(又は,差の絶対値,差の2乗を合計し),得られた値を比較値(ε)とすればよい。そして,光学系制御部は,適宜,照明パターンを変化させ,先の観測対象物5と同じ観測対象物であるか,同じ種類の観測対象物を用いて,改めて比較値を得る。このようにして,照明パターンと比較値との組合せを複数得た後に,照明パターンが有する情報量をも考慮して,最適な照明パターンを決定すればよい。
【0081】
また,再構成した像(F)に基づいて,観測対象物の大きさを把握し,把握した大きさに応じた照明パターンとなるように照明パターンを制御しても良い。これは,例えば,1又は複数の観測対象物について再構成した像を得て,これらから必要な照射領域の大きさを分析し,その大きさとなるように照明パターンを制御すればよい。この場合,光学系制御部は,照明パターンが求めた最適化された照明パターンとなるように光学系を制御する。光源系は,光学系制御部からの制御信号に従って,照明パターンを調整する。このようにして,最適化された照明パターンを得ることが得きることとなる。
【0082】
図12は,実際に様々な観測対象物について,照明パターンを最適化した例を示す図面に替わる写真である。この例では,まず,像の再構成を複数回行い,観測対象物の大きさの範囲を把握した。これは,再構成された像が存在する領域を分析することで,容易に実装できる。その上で,観測対象物を撮像するために必要な領域をカバーできる照明パターンの大きさを求め,その大きさに含まれる照明パターンを様々に変化させ,比較値(ε)を得て,各照明パターンの比較値(ε)から最適な照明パターンを見出した。この最適化した照明パターンを用いることで,情報量を著しく軽減することができ,それ以降の像を再構成するために要する処理量が著しく軽減され,高速なイメージングを行うことができるようになった。
【0083】
このイメージング装置の好ましい例は,まずは上記の方法に基づいて観測対象物の大きさを把握し,照射パターンの大きさを調整する。その後,調整された大きさ(領域)にわたる照明パターン内のパターン自体を変化させ,複数のパターンにおける比較値(ε)を得る。その上で,比較値(ε)を比較することで,最適な照明パターンを得ればよい。比較値(ε)は,各画素の差分値の2乗値の合計であっても良い。
【0084】
図13は,照明パターンを最適化する工程例を示す概念図である。この例では,像を再構成せずに,光信号(GMIイメージ)に基づいて,照明パターンを最適化するものである。この例は,観測対象物5を撮像する検出系と,検出系が撮像した観測対象物の撮影像に基づいて一又は少数画素検出素子が検出した光信号を推定した推定信号g
Cを求める推定信号算定部と,一又は少数画素検出素子が検出した光信号gと,推定信号算定部が推定した推定信号g
Cを比較しつつ,照明パターンを変化させる演算部と,を更に有するものである。
【0085】
この例は,例えば,検出系が観測対象物を撮影し,撮影像を得る。そして,撮影像を画像解析し,各部位の組成や組織を把握する。そして,光照射がなされた場合における各組成や組織から出射等される光(例えば蛍光)に関する情報を記憶したテーブルから,各組成や組織に対応した光情報を得る。このようにして,観測対象に光が照射された際に,どのような光応答がなされるかを把握する。すると,撮影像に基づいて,光信号gを推定することができる。これが,推定信号算定部が推定した推定信号g
Cである。光信号gは,たとえば
図7に示されるようなスペクトルである。すると,第2の照明パターン制御部107は,推定信号g
Cと光信号gとの相対強度が同程度のなるように調整し,さらにスペクトルの形状のオートマッチング(重複する量が最大になるように調整する)ことにより,推定信号g
Cと光信号gの対応する位置関係が正しくなるように調整した後に,推定信号g
Cと光信号gとの評価値(ε)を求めればよい。εは,例えば,単位時間ごとの推定信号g
Cと光信号gの相対強度の差(又は差の絶対値,又は差の2乗)の合計であってもよい。あるいは例えば,推定信号g
Cと光信号gを新しい座標空間に変換し,その空間内における相対強度などの差を図っても良い。様々な照明パターンに基づいて評価値(ε)を求め,評価値(ε)を用いて照明パターンを最適化すればよい。
【0086】
図14は,照明パターンを最適化する工程例を示す概念図である。この例は,例えば,観測対象物に関する情報(例えば,像再構成部が観測対象物を再構築して得られる像のパターン)をすでに記憶している場合に用いられる。すなわち,この例は,像再構成部が再構築した観測対象物の像(F)を用いて照明パターンを変化させる制御部と,を更に有するものである。この例では,例えば,制御部が,再構築した観測対象物の像(F)とあらかじめ記憶した像のパターンとパターン認証を行う。パターン認証技術は公知なので,公知のパターン認証用のプログラムをコンピュータにインストールすることで,パターン認証を実装することができる。この例は,例えば,対象物(合格品又は不合格品)を選定したり,対象物の存在の有無を検査する際に効果的に用いることができる。また,この例は,特定領域に含まれる細胞数を自動的に計測するといった用途に用いることができる。すなわち,イメージング装置の好ましい例は,像再構成部が再構築した観測対象物の像を用いて,観測対象物を判別する観測対象物判定部を更に有するものである。
【0087】
図15は,照明パターンを最適化する工程例を示す概念図である。この例は,例えば,観測対象物に関する情報(例えば,光信号gのパターン)をすでに記憶している場合に用いられる。この例は,一又は少数画素検出素子が検出した光信号gを用いて照明パターンを変化させる制御部と,を更に有するものである。この例では,例えば,制御部が,一又は少数画素検出素子が検出した光信号gとあらかじめ記憶した光信号gのパターンとパターン認証を行う。パターン認証技術は公知なので,公知のパターン認証用のプログラムをコンピュータにインストールすることで,パターン認証を実装することができる。あるいは例えば,両信号gを新しい座標空間に変換し,その空間内における相対強度などの差を図っても良い。また
【0088】
イメージング装置の好ましい例は,像再構成部が再構築した観測対象物の像を複数用いて,観測対象の再構築像を分類する再構築像分類部を更に有するものである。この再構築像分類部が分類した像(F)は,制御部や判定部によって用いることとなる。
【0089】
この分析装置の好ましい利用態様は,上記したいずれかの分析装置を有するフローサイトメータである。このフローサイトメータは,光照射領域3を含むフローセルを有する。
【0090】
このフローサイトメータは,好ましくは,分析部11の分析結果に基づいて,観測対象を判別し,観測対象物5を分別する分別部を有する。具体的に説明すると,観測対象物5が目的物である場合と,目的物ではない場合とで,分別部を経過した後の経路を異ならせることで,目的物を分別することができる。
【0091】
フローサイトメータでは,あらかじめ目的物を分析し,記憶部に目的物を示す情報(閾値等)が記憶されていても良い。また,目的物を多く含む対象を観察し,判別部に観測対象物として,判別させ,目的物に関する判別情報を機械学習させても良い。この判別情報は,例えば,各種スペクトルに含まれる特徴的なピークである。
【0092】
観測対象物が,フローセルを移動し,光照射領域に到達すると,光源からの光が観測対象物に照射される。そして,観測対象物からの光信号を受光部が受光する。分析部は,光信号を解析する。その際,分析部は,記憶部に記憶される目的物の判別情報を読み出し,光信号と比較することで,観測した観測対象物が目的物かどうか判断する。分析部が,観測した観測対象物が目的物であると判断した場合,分析部は,判別部に対して,観測対象物が目的物であったことに対応する制御信号を送る。制御信号を受け取った判別部は,経路を調整し,観測対象物を,目的物の経路へと導く。このようにして,目的物と目的物以外のものとを判別し,分別することができる。
【0093】
この際,複数の観測対象物を測定し,分析部は,光学系又は検出系の最適化を適宜行えばよい。すると,判別を適切な精度で,迅速に行うことができることとなる。
【実施例1】
【0094】
以下,実施例を用いて本発明を具体的に説明する。
<実施例1−1>(教師有り機械学習,光構造を用いて画像を時系列信号に非圧縮変換,判別器形成および判別)
【0095】
本実施例に用いた計算機はプロセッサ: 2.8GHz Intel Core i7, メモリ: 16GBである。
まず学習用の対象サンプルとして,縦19画素,横19画素の顔画像群及び非顔画像群を,1000枚を学習用に,100枚を判別精度測定用に,それぞれ計1100枚を用意した(
図16,画像のソース:Center for Biological and Computational Learning at MIT)。
【0096】
計算機内で,上記画像群にノイズ(S/N=30dB)を与え,光構造に通す前記GMIプロセスを仮想的に実行し,時間列信号を発生させた。光構造は,実験系におけるパターン化された照明光構造または検出光構造であって,ここにおいて用いた光構造は横19画素,縦343画素(
図17)であって,時系列信号が1x192画素分生成された(元画像と同じ)。全ての波形信号に顔または非顔のラベルを付け,線形分類型のサポートベクターマシン手法を用いて,学習用の1000波形を学習させることにより,判別器を形成した。そして判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を元に,同様の光構造を用いて時系列信号を用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
【0097】
一方,同じ画像サンプルにノイズ(S/N=30dB)を与え,顔または非顔のラベルを付け,サポートベクターマシン手法を用いて,学習用の1000画像を学習させることにより,判別器を形成した。そして,判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を同様に用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
【0098】
その結果,時系列信号サンプルの学習を行った判別器による,顔または非顔の時系列信号の判別精度(顔と非顔の正解数/全体数×100)は87%であり,画像サンプルの学習を行った判別器による,画像の顔または非顔の判別精度は82%であった。この結果により画像を光構造に通すことにより生成する時系列信号を学習・判別しても,元画像を学習・判別するのと同等以上の判別結果が得られることがわかった。
【0099】
また1000枚のサンプルの学習,100枚のサンプルの判別に掛かった時間は,画像の場合においても,時系列信号においても,変化はなかった。
【0100】
<実施例1−2>(教師有り機械学習,光構造を用いて画像を時系列信号に圧縮変換,判別器形成および判別)
本実施例に用いた計算機はプロセッサ: 2.8GHz Intel Core i7, メモリ: 16GBである。まず学習用の対象サンプルとして,縦19画素,横19画素の顔画像群及び非顔画像群を,1000枚を学習用に,100枚を判別精度測定用に,それぞれ計1100枚を用意した(
図16)。
【0101】
計算機内で,上記画像群にノイズ(S/N=30dB)を与え,光構造に通す前記GMIプロセスを仮想的に実行し,時間波形信号(例えばGMI波形)を発生させた。光構造は,実験系におけるパターン化された照明光構造または検出光構造であって,ここにおいて用いた光構造は横19画素,縦50画素(
図18)であり,時系列信号が68画素生成されることになり,元画像総画素数より81%圧縮されている。全ての圧縮時系列信号に顔または非顔のラベルを付け,サポートベクターマシン手法を用い,学習用の1000波形を学習させることにより,判別器を形成した。そして判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を元に,同様の光構造を用いて圧縮時系列信号を用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
【0102】
一方で,同じ画像サンプルにノイズ(S/N=30dB)を与え,顔または非顔のラベルを付け,線形分類型のサポートベクターマシン手法を用いて,学習用の1000画像を学習させることにより,判別器を形成した。そして,判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を同様に用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
【0103】
その結果,圧縮時間波形信号サンプルの学習を行った判別器による,顔または非顔の圧縮時間波形信号の判別精度(顔と非顔の正解数/全体数×100)は75%であり,画像サンプルの学習を行った判別器による,画像の顔または非顔の判別精度は82%であった。この結果により,光構造を通した光学的画像圧縮を通しても,機械学習による判別精度は,同等の精度を維持できることが分かった。
【0104】
また1000枚の時間波形サンプルを学習するのにかかった時間は399秒であり,1000枚の画像サンプルを学習するのにかかった時間は475秒であった。この結果より,同じサンプルの学習において,圧縮時間信号の場合は元の画像に比べて,16%の時間短縮が可能となることがわかった。
【0105】
さらに100の圧縮時系列サンプルを判別するのにかかった時間は0.0065秒であり,100枚の画像サンプルを判別するのにかかった時間は0.0147秒であった。この結果より,同じサンプルの判別において,圧縮時間信号判別の場合は元画像判別に比べて,56%の短縮が可能となることがわかった。
【実施例2】
【0106】
実施例2(教師無し機械学習による細胞分類)
本実施例に用いた計算機はプロセッサ: 2.8GHz Intel Core i7, メモリ: 16GBである。
サンプルとして,マウス脾臓を分散させることにより生成した一細胞群にたいして,calceinAMを用いて生細胞染色を行った。上記のように蛍光標識された一細胞溶液をスライドガラス上に広げ,蛍光顕微鏡を用いて,一細胞群の蛍光画像を,sCMOS camera(浜松ホトニクス社製 Flash 4.0)により,大量に撮影した。この画像データを計算機内で読み取り,ソフトウェア(imagej)により一細胞の位置を特定し,一細胞周辺を,縦横70画素で分画し切り出すことにより,大量の一細胞画像群サンプル2165枚を用意した(
図19)。この一細胞画像群は,大小異なる一細胞を含む他,複数細胞や細胞以外の物体が含まれている画像を含んでいる。
【0107】
計算機内で,上記画像群にノイズ(S/N=30dB)を与え,光構造に通す前記GMIプロセスを仮想的に実行し,時間波形信号(例えばGMI波形)を発生させ,仮想フローサイトメトリー細胞時間波形群を用意した(
図20)。ここにおいて用いた光構造は縦70画素,横400画素であり,時系列信号が470画素になる(
図21)。(一方で,同じ画像サンプルにノイズ(S/N=30dB)を与え,仮想フローサイトメトリー細胞画像を用意した。)
【0108】
上記のように用意した一細胞時間波形サンプルを,ソフトウェア(matlab)を用いて,教師無し機械学習分類を行った。具体的には,k−means手法を用い,20種の細胞群に分類した。それぞれの同じ分類群に入った細胞時間波形群から,それぞれ代表(平均)的な時系列信号を生成し,この時系列信号を元に細胞画像を生成した(
図22及び
図23)。その結果,一細胞か複数細胞か,ゴミか,細胞サイズ,などが正しく分類されていることがわかる。これらは従来サイトメトリーの最も大きなエラー源の一つであり,光構造を通した圧縮時間波形信号を用いた教師無し機械学習においても正しく判別されることが示された。
【実施例3】
【0109】
実施例3(教師有り機械学習による光構造の最適化)
本実施例においては,実施例1に用いたサンプルと同様のサンプルを用いた。
初期光構造として,縦80画素,横20画素で,ランダム構造を用意し,実施例1の画像サンプルを通して,時間波形信号群サンプルを用意した。実施例1と同様に線形分類型のサポートベクターマシン手法を用いて学習し,判別精度(顔と非顔の正解数/全体数×100)を求めた。この判別精度を,目的関数とし,目的関数を最大化するために,光構造を機械学習により最適化した(
図24)。具体的には,遺伝的アルゴリズムを用いた。個体数を200,世代数を16000,選択にはルーレット選択,交叉には一様交叉を用いた。その結果,実施例1と同様に,最適化に用いない画像サンプルを用いて評価を行ったところ,初期ランダム光構造では判別精度は65%であり,最適化後の光構造では判別精度が75%となり,10%の判別精度の向上が示された。
【0110】
次に,
図25を参照して,分析部11の一例について説明する。
図25は,分析システム200の一例を示す一例である。
分析システム200は,フローサイトメータ300と,分析部11と,コンピュータ400とを備える。フローサイトメータ300は,観測対象物5を観測及び分別する。フローサイトメータ300は,観測した観測対象物5に関する光信号を,分析部11に対して出力する。分析部11は,フローサイトメータ300から観測対象物5に関する光信号に基づいて,観測対象物5を判別する。コンピュータ400は,フローサイトメータ300が観測した観測対象物5に関する光信号を機械学習する。コンピュータ400は,機械学習した結果に基づいて,判別部101の判別アルゴリズムを変更する。
【0111】
フローサイトメータ300は,受光部7と,分別部33とを備える。
受光部7は,観測対象物5からの光信号を受け取り,電気信号ESへ変換する。受光部7は,変換した電気信号ESを,信号入力部100に対して出力する。
分別部33は,分析部11が電気信号ESを分析した結果を示す信号判別結果Rに基づいて,観測対象物5を分別する。
【0112】
コンピュータ400は,記憶部9と,機械学習部401とを備える。
記憶部9には,入力信号SSが記憶される。機械学習部401は,記憶部9に記憶される光信号を機械学習する。
【0113】
この一例において,分析部11は,信号入力部100と,判別部101とを備える。判別部101は,論理回路構成を変更可能な論理回路を備える。論理回路は,FPGA(field−programmable gate array)などのプログラマブルロジックデバイスや,ASIC(application specific integrated circuit)などであってもよい。
【0114】
機械学習部401は,機械学習した結果に基づいて,分析部11が備える判別部101の判別アルゴリズムを変更する。この一例では,機械学習部401は,機械学習した結果に基づいて,判別部101の論理回路構成を変更する。具体的には,機械学習部401は,機械学習した結果に基づいて,観測対象物5に適した判別アルゴリズムの論理回路構成である判別ロジックLPを構成し,論理回路を変更する。
【0115】
信号入力部100は,受光部7から電気信号ESを取得する。信号入力部100は,受光部7から取得した電気信号ESを入力信号SSとして,記憶部9及び判別部101に対して出力する。
【0116】
信号入力部100は,電気信号ESにフィルタをかけることにより,電気信号ESのノイズを除去してもよい。ノイズは,一例としては,高周波ノイズ,ショットノイズなどである。信号入力部100は,電気信号ESのノイズを除去することにより,電気信号ESを入力信号SSとして取得し始めるトリガー位置を安定させることができる。信号入力部100は,トリガー位置を安定させることにより,機械学習に用いるのに適した信号を入力信号SSとして出力することができる。
また,信号入力部100は,観測対象物5が一細胞か複数細胞か,観測対象物5がゴミか,観測対象物5の細胞サイズなどで区別し,入力信号SSとして出力するか否かを決定してもよい。
【0117】
上述したフィルタは,観測対象物5に併せて変更される。フィルタは,電気信号ESをなだらかな波形にすることにより,ノイズを除去する。具体的には,フィルタには,電気信号ESの閾値と比較するフィルタ,電気信号ESを移動平均した後に閾値と比較するフィルタ,電気信号ESを移動平均した値を微分した後に閾値と比較するフィルタなどがある。
【0118】
判別部101は,信号入力部100から入力信号SSを取得する。判別部101は,信号入力部100から取得した入力信号SSに基づいてフローサイトメータ300が観測した観測対象物5を判別する。
【0119】
判別部101は,論理回路によって入力信号SSを判別することにより,観測対象物5を判別する。判別部101は,論理回路によって観測対象物5を判別することで,汎用コンピュータよりも高速に観測対象物5を判別することができる。
【0120】
以上説明したように,受光部7は,光源からの光が照射される光照射領域に存在する観測対象物からの散乱光,透過光,蛍光,又は電磁波を受け取り,電気信号に変換する。分析部11は,受光部7から出力される電気信号ESの時間軸に基づいて抽出される信号に基づいて観測対象物5を分析する。
また,分析部11は,信号入力部100を備える。信号入力部100は,フローサイトメータ300が出力する電気信号ESにフィルタをかける。信号入力部100は,電気信号ESにフィルタをかけることにより,ノイズを低減した信号を入力信号SSとして,判別部101及び記憶部9に出力する。機械学習部401は,ノイズが低減された入力信号SSに基づいて機械学習を行うことができ,観測対象物5の判別の精度を高めることができる。なお,信号入力部100は,論理回路によって構成されてもよい。信号入力部100が論理回路によって構成される場合には機械学習結果に基づいて,フィルタ構成を変更してもよい。
また,分析部11は,判別部101を備える。判別部101は,論理回路を備える為,汎用コンピュータによる演算よりも短い時間で,観測対象物5を判別することができる。
【0121】
次に,
図26を参照して,上述した分析部11の判別アルゴリズムの一例である,サポートベクターマシン手法について説明する。
図26は,分析部11の判別式計算回路の一例を示す図である。
【0122】
サポートベクターマシン手法の判別式は,式(1)によって表すことができる。判別は,式(1)の結果の正負に基づいて行われる。
【0123】
【数1】
【0124】
式(1)に含まれるbは,定数である。ここで,式(1)に含まれるbを変化させることにより,サポートベクターマシン手法の判別の条件を調節することができる。例えば,式(1)に含まれるbを,判別の条件が厳しくなるよう変化させる場合には,偽陽性率を低く抑えることができる。式(1)に含まれるα及びYは,機械学習により得られる値である。
ここで,式(1)に含まれるXの上部に^(ハット記号)が付されたものは,X(ハット)と記載する。式(1)に含まれるX(ハット)は,式(2)によって表すことができる。
【0125】
【数2】
【0126】
式(2)に含まれるXは,機械学習によって得られる行列である。式(2)に含まれるX(ハット)
jkは,機械学習によって得られる行列Xを正規化した値である。
【0127】
【数3】
【0128】
式(3)に含まれるxは,分析部11に入力されるデータである。分析部11に入力されるデータとは,この一例では,受光部7から出力される電気信号の時間軸に基づいて抽出される信号である。式(3)に含まれるxの上部に^(ハット記号)が付されたものは,x(ハット)と記載する。式(3)に含まれるx(ハット)
kは,xを正規化した値である。
【0129】
ここで,上述した式(1)を論理回路として実装する場合に,論理回路規模が膨大となり,FPGAやPLDの論理回路規模に収まらない場合がある。そこで,判別部101に実装される論理回路には,式(4)に基づく論理回路を実装した。
【0130】
【数4】
【0131】
式(4)に含まれるKの上部に〜(チルダ記号)が付されたものは,K(チルダ)と記載する。式(4)に含まれるXの上部に〜(チルダ記号)が付されたものは,X(チルダ)と記載する。式(4)に含まれるσの上部に〜(チルダ記号)が付されたものは,σ(チルダ)と記載する。
式(4)に含まれるβ
j,K(チルダ),X(チルダ)
jk及びσ(チルダ)
kは,式(5)によって表すことができる。式(5)は,予めコンピュータ400が備える機械学習部401が算出される。算出された結果は,分析部11が備える論理回路に組み込まれる。式(4)に含まれるb及びK(チルダ)は定数,β
j及びσ(チルダ)
kはベクトル,X(チルダ)
jkは行列である。
【0132】
【数5】
【0133】
図26(a)は,上述した式(4)の判別式計算回路である。式(4)に含まれるkの加算を並列して算出することにより,演算時間を短縮している。分析部11は,演算時間を短縮することにより,観測対象物5の判別にかかる時間を短縮することができる。
【0134】
図26(b)は,上述した式(4)を,より高速に演算する判別式計算回路である。
図26(b)に示す判別式計算回路では,上述したkの加算を並列する構成に加えて,式(4)に含まれるjの加算を並列して演算する。これにより,分析部11は,
図26(a)に示す判別式計算回路よりも高速に観測対象物5を判別することができる。
【0135】
以上,サポートベクターマシン手法を判別式計算回路によって実装する方法について説明したが,判別部101の判別アルゴリズムはこれに限られない。
【0136】
次に,フローサイトメトリーで観察する観測対象物5を,分析装置が機械学習する際の,一例について説明する。
【0137】
図27は,従来のサイトメトリーについて示す図である。従来のサイトメトリーでは,高速に観察対象物を観察し,かつ測定目的ごとに測定方法を変えることが難しいという課題があった。
図28は,上述した課題を解決するGMI法の観察対象物を観察する処理方法の一例を示す図である。GMI法は,流路を移動する細胞などの観察対象物に対して,パターン照明を照射する。パターン照明を照射された観察対象物は,電磁波を放出する。観察対象物から放出された電磁波を検出する。なお,細胞に照射されるパターン照明は均一な光を照射する照明であってもよい。観察対象物に均一な光を照射する場合には,GMI法は,観察対象物から放出される電磁波を,電磁波の透過特性が異なる複数の領域を有するパターン構造を透過させる。GMI法は,パターン構造を透過させた電磁波を検出する。
図29はその概念を示す。時間波形信号に直接機械学習を適用することにより,画像再構成および画像からの特徴量抽出及び解析にかかる時間を短縮し,圧縮された小さいデータのままに解析する事により,処理速度を飛躍的に短縮する。
【0138】
図30以降は細胞分類におけるその具体的な実装例を示す。
図30は具体的に用いた細胞3種を例示する。Miapaca,MCf7は同様な大きさと似たような特徴を有し,k562は一回り小さい。全て死細胞染色(LIVE/DEAD Fixable Green Dead Cell Stain Kit, for 488 nm excitaion, ThermoFisher scientific)により緑に染められており機械学習により判別を受ける。MCF7のみ青色で核染色(DAPI)されており,これは後に判別精度検証のために用いられる。
【0139】
図30は判別器の形成方法を示す。Miapaca,MCF7,k562を別々に流路に流し,GMI法撮影時に発生する時間波形信号を生成する。発生した信号に閾値処理を行い,それぞれの細胞種ラベルをつける。この細胞種ラベルつきの波形信号群を計算機内で混合し,これを分類する判別器を形成する。判別器形成方法の一つとして,Support Vecter Machine法を適用した。
【0140】
次に,
図31に示す異なる細胞種(ここではMCF7とMiapaca)を実験的に混合し,GMIによる発生する時間波形信号に対し,先に用意した判別器を用いて細胞判別(分類)を行い,判別結果の検証をDAPI信号強度総量により行った。
【0141】
図32はその結果である。混合液中のMCF7濃度を変化させた際の,DAPI(青色,正解)判別によるMCF7濃度に対する,緑色蛍光信号の時間波形に対する機械学習判別によるMCF7濃度を図示しており,高い精度(>87%)で正解を示している。緑色蛍光画像でMCF7とMiapacaを比較した際に,ヒトの目での判別は困難であり,機械学習の有用性は明白である。高速・高精度な細胞分類実現が実証されている。
【0142】
さらに,
図33から
図35ではフローサイトメトリー実装における流体系の工夫実装例を示している。ここでは流体実験系を変化させた際の上記細胞分類精度を検証しているが,DAPI信号強度により正解付けはなされておらず,細胞種ラベルつきの時間波形群を計算機内で混合し,これを(正解は機械には教えずに)判別し,精度検証している。
図8に示すように,一般にマイクロ流体工学(フローフォーカシング法)を用いる事により,細胞を同一流線上に一定の幅(ブレ)で整列する事ができることが知られている。
【0143】
図34及び
図35では,流体系を変化させた際に,学習に用いる時間波形数に対して,判別精度がどれだけ向上するかをプロットしている。なお,学習する細胞時間波形はそれぞれの細胞をランダムに混ぜ合わせたものを用いている。理想的な流体実験系において,細胞は同一の流線を流れており,非常に均一なGMI時間波形を生成する。この際,
図34(a)に示すように,判別精度は急激に上昇し,98%程度に達する。一方で
図34(b)に示すように,フローフォーカスを緩めて流線に幅を与えると,精度の上昇はやや緩やかになり,達成精度も若干低下するが,それでも95%を超える精度を達成できる。しかし現実の流体実験使用においては,流路の振動や光学系の不安定さなどが存在し,ロバストな判別方法が必要とされる。この際,フローフォーカスを緩めた際の波形信号で学習し,フォローフォーカスを強めた波形信号を判別すると,
図35(a)に示すようにロバストに90%程度の判別精度を得ることができ,精度も安定している。一方で,
図35(b)に示すようにフローフォーカスを強めた際の波形信号で学習し,フローフォーカスを緩めた波形信号を判別すると,判別精度は90%に達さず,精度も不安定となる。このことから,より幅のあるデータで学習することにより,機械学習の汎化を実現することができ,実用性を向上できることを示した。また,上述した
図7に示す実験では,学習にフローフォーカスを強めたデータと緩めたデータとを混合して用いている。
つまり,フローフォーカスを緩めて学習して得た教師情報に基づき,フローフォーカスを強めてテストすると,最もロバストな判別精度が得られる。一方,フローフォーカスを強めて学習して得た教師情報に基づき,フローフォーカスを強めてテストすると,条件が均一ならば最も正確な判別精度を得られる。
また,フローフォーカスを緩めて学習したデータと,フローフォーカスを強めて学習したデータとを組み合わせた教師情報に基づいて,テストすると,ロバストかつ正確な判別精度が得られる。
【0144】
言い換えると,分析装置は,フローサイトメータ300が備える流路幅調整部によって調節される流線幅に応じて観測対象物5を機械学習する。なお,以下の説明では,流線幅を流路幅とも記載する。分析装置は,観測対象物5を,流線幅を観測対象物5の径よりも広い状態で機械学習したデータと流線幅を観測対象物5の径に応じた流線幅の状態で機械学習したデータとを組み合わせた教師情報に基づいて,観測対象物5を分析することにより,より精度が高い判別を行うことができる。
【0145】
本実施形態の分析装置は,観察対象物が移動可能な流路と,流路の光照射領域に照射される光を出射する光出射部と,光の透過特性が異なる複数の領域を有するパターン構造部と,流路を移動する観察対象物の移動可能な流路幅を可変に制御する流路幅制御部と,光照射領域の観察対象物に光が照射されることにより,光が照射された観察対象物から放出される電磁波を,領域と,光と観察対象物との流路内の相対的な移動とに基づいて検出する検出部と,検出部が検出する電磁波の強さの時間変化を,観察対象物に光が照射された観察対象物の状態を示す観察結果信号として取得する取得部と,取得部が取得する観察結果信号と,当該観察結果信号が取得された際の流路幅とに基づいて,観察対象物の状態を判別する基準を示す教師情報を機械学習によって生成する教師情報生成部と,取得部が取得する観察結果信号と教師情報生成部が生成する教師情報とに基づいて,流路を移動する観察対象物の状態を推定する推定部と,を備える。
【0146】
また,分析装置は,分析装置が備える流路幅制御部は,観察対象物の径に応じた幅である第1の流路幅に流路幅を制御し,教師情報生成部は,流路幅制御部が制御した第1の流路幅において検出部が検出する第1の観察結果信号に基づく第1の教師情報を教師情報として生成し,推定部は,教師情報生成部が生成する第1の教師情報と,取得部が取得する観察結果信号とに基づいて,流路を移動する観察対象物の状態を推定してもよい。
【0147】
また,分析装置は,分析装置が備える流路幅制御部は,観察対象物の径に基づく幅であり,かつ,第1の流路幅よりも幅が広い第2の流路幅に流路幅を制御し,教師情報生成部は更に,流路幅制御部が制御した第2の流路幅において検出部が検出する第2の観察結果信号に基づく第2の教師情報を教師情報として生成し,推定部は,教師情報生成部が生成する第1の教師情報と,教師情報生成部が生成する第2の教師情報と,取得部が取得する観察結果信号とに基づいて,流路を移動する観察対象物の状態を推定してもよい。
【0148】
また,分析装置は,分析装置が備える流路幅制御部は,観察対象物の径に基づく幅であり,かつ,第2の流路幅よりも幅が狭い第1の流路幅に流路幅を制御し,教師情報生成部は更に,流路幅制御部が制御した第1の流路幅において検出部が検出する第1の観察結果信号に基づく第1の教師情報を教師情報として生成し,推定部は,教師情報生成部が生成する第1の教師情報と,教師情報生成部が生成する第2の教師情報と,取得部が取得する観察結果信号とに基づいて,流路を移動する観察対象物の状態を推定してもよい。