(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】観測値の推定方法及び装置、並びに、画像再構成方法及び装置
(51)【国際特許分類】
G06N 3/094 20230101AFI20231219BHJP
G01J 3/44 20060101ALI20231219BHJP
G01N 21/27 20060101ALI20231219BHJP
G01N 21/65 20060101ALI20231219BHJP
G06N 20/00 20190101ALI20231219BHJP
G06N 5/04 20230101ALI20231219BHJP
G06N 3/088 20230101ALI20231219BHJP
【FI】
G06N3/094
G01J3/44
G01N21/27 A
G01N21/65
G06N20/00 160
G06N5/04
G06N3/088
(21)【出願番号】P 2020073406
(22)【出願日】2020-04-16
【審査請求日】2022-07-25
(73)【特許権者】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】110001069
【氏名又は名称】弁理士法人京都国際特許事務所
(72)【発明者】
【氏名】野田 陽
【審査官】佐藤 実
(56)【参考文献】
【文献】国際公開第2019/123683(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00
G06N 5/00
G06N 20/00
G01J 3/00
G01N 21/00
(57)【特許請求の範囲】
【請求項1】
一つ又は複数のセンサを用い、観測場の状態が同一であるとみなせる時間範囲内で該観測場内の複数の観測位置についての実測観測値を取得し、且つ、該観測場の状態が同一であるとみなせない時間に亘って該観測場内の複数の観測位置についての実測観測値を取得する測定ステップと、
前記測定ステップにおいて取得された複数の観測位置と実測観測値
、及び、ランダムに与えられた、観測場の状態を表す状態変数、又は学習が進んだ状況において観測位置と実測観測値から推定される、観測場の状態を表す状態変数、を用いた敵対的学習を行うことにより、観測場の状態と観測位置とを引数にとる観測値の分布関数を得る学習ステップと、
前記観測値の分布関数を用いて、前記観測場内の前記複数の観測位置以外の観測位置を含む任意の観測位置における推定観測値を求める推定ステップと、
を含む観測値の推定方法。
【請求項2】
前記推定ステップでは、1回の観測から最尤推定された観測場の状態における推定観測値を求める、請求項1に記載の観測値の推定方法。
【請求項3】
前記推定ステップでは、ベイズ推定により求まる事後確率が最大となる観測場の状態における推定観測値を求める、請求項1に記載の観測値の推定方法。
【請求項4】
前記推定ステップでは、ベイズ推定により求まる観測場の状態の事後確率分布に対応した推定観測値の分布を求める、請求項1に記載の観測値の推定方法。
【請求項5】
前記一つ又は複数のセンサは、前記観測場にプローブ光を照射して観測値を得るものであり、
前記プローブ光の照射により得られた複数の観測位置における実測観測値と前記推定ステップで求まった推定観測値とに基いて、前記観測場全体の観測値の分布を示す画像を再構成する画像処理ステップ、をさらに含む、請求項1~4のいずれか1項に記載の観測値の推定方法を用いた画像再構成方法。
【請求項6】
前記観測場は、細胞が配置された容器の全体又はその一部であり、
前記一つ又は複数のセンサは、ラマン分光測定のためのセンサである、請求項5に記載の画像再構成方法。
【請求項7】
一つ又は複数のセンサを用いて、観測場の状態が同一であるとみなせる時間範囲内で取得された該観測場内の複数の観測位置についての実測観測値であり、且つ、該観測場の状態が同一であるとみなせない時間に亘って取得された該観測場内の複数の観測位置についての実測観測値を受け取る観測値入力部と、
前記観測値入力部により受け取られた複数の観測位置と実測観測値
、及び、ランダムに与えられた、観測場の状態を表す状態変数、又は学習が進んだ状況において観測位置と実測観測値から推定される、観測場の状態を表す状態変数、とを用いた敵対的学習を行うことにより、観測場の状態と観測位置とを引数にとる観測値の分布関数を得る学習部と、
前記観測値の分布関数を用いて、前記観測場内の前記複数の観測位置以外の観測位置を含む任意の観測位置における推定観測値を求める推定処理部と、
を備える観測値推定装置。
【請求項8】
前記推定処理部は、1回の観測から最尤推定された観測場の状態における推定観測値を求める、請求項7に記載の観測値推定装置。
【請求項9】
前記推定処理部は、ベイズ推定により求まる事後確率が最大となる観測場の状態における推定観測値を求める、請求項7に記載の観測値推定装置。
【請求項10】
前記推定処理部は、ベイズ推定により求まる観測場の状態の事後確率分布に対応した推定観測値の分布を求める、請求項7に記載の観測値推定装置。
【請求項11】
前記一つ又は複数のセンサは、前記観測場にプローブ光を照射して観測値を得るものであり、
前記プローブ光の照射により得られた複数の観測位置における実測観測値と前記推定処理部で求まった推定観測値とに基いて、前記観測場全体の観測値の分布を示す画像を再構成する画像処理部、をさらに備える、請求項7~10のいずれか1項に記載の観測値推定装置を用いた画像再構成装置。
【請求項12】
前記観測場は、細胞が配置された容器の全体又はその一部であり、
前記一つ又は複数のセンサは、ラマン分光測定のためのセンサである、請求項11に記載の画像再構成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観測場内の観測値を推定する方法及び装置、並びに、それを利用した画像再構成方法及び装置に関する。
【背景技術】
【0002】
例えば容器内で培養している細胞の状態を把握する場合に、2次元的な範囲について、個々の細胞の種類や形態に係る測定値の分布を調べることがある。また、充電池の充放電中の原子分布の過渡応答の解析などの際には、2次元的又は3次元的な範囲について、短時間の間に生じる反応の分布を分析装置を用いて観測する必要がある。さらにまた、河川、湖沼、海洋等における水質調査や大気中の汚染物観測などの際には、2次元的又は3次元的な広い範囲について、特定の化学物質の分布などを分析装置を用いて調べる必要がある。以下の説明では、n次元(nは1以上の整数)の観測対象範囲を単に「観測場」という。
【0003】
上述したような観測場における物理量(又は化学量)の分布情報を取得する際には、その観測場内に設定された複数の観測位置(観測点)における物理量をそれぞれ測定するのが一般的である。但し、多くの場合、観測位置の数は多く、そうした多数の観測位置全てにおける物理量を同時に測定することはできない。そのため、例えば特許文献1に記載されているラスタースキャン法のように、予め決められた順序に従って、各観測位置における物理量を一つ又は複数の分析装置で順番に測定する方法が採られている。このときの観測場内の観測位置の間隔や総数は、周知のサンプリング定理に従って、要求される観測結果の空間分解能に応じて決定される。
【0004】
目的の観測場についての一連の観測をラスタースキャン等によるスキャン測定で以て行う場合、その観測場内の全ての観測位置についての観測が終了するまで、その観測場の状態が変化しない(つまりはその観測場全体の観測対象の物理量の分布が変化しない)又は実質的に変化しないとみなせることが前提である。ところが、生体の活動、化学反応、自然現象などを対象とした観測では、スキャンする速度に比べて観測対象の状態の変化のほうが速い場合がしばしばある。例えば、生きた状態の細胞の形態観察では、細胞がブラウン運動等によって移動したり変形したりするため、一連のスキャン測定の間に観察対象の状態が変動してしまい、正確な分布を求めることができない。これを避けるには、できるだけ多数の分析装置を用い複数の観測位置を同時に観測することで、観測場全体の一連の測定に要する時間を短くする必要があるが、コスト等の制約から、そうした手法を採ることが難しい場合も多い。また、そうした測定が物理的に不可能である場合もある。
【0005】
上記問題を解決する有効な手法として、圧縮センシング(Compressed Sensing)と呼ばれる手法が知られている。圧縮センシングは、n次元空間に存在する観測対象のデータがスパース性を有することを利用して又はそうであることを仮定して、サンプリング定理の下で要求される数よりも少ない数の観測データから観測対象全体の分布等を復元する手法である。こうした圧縮センシングは、医療用のMRI(Magnetic Resonance Imaging)装置での画像撮影及び画像再構成などに広く利用されている。
【0006】
但し、圧縮センシングを適用するには、観測対象データの分布に関しての事前の情報が必要である。そのため、そうした分布が全く未知である観測対象に対しては圧縮センシングを適用することができない、という制約がある。これに対し、非特許文献1には、圧縮センシングのための観測対象の真値の分布を機械学習を用いて予め学習する手法が開示されている。
【先行技術文献】
【特許文献】
【0007】
【非特許文献】
【0008】
【文献】ヤン・ウー(Yan Wu)、ほか2名、「ディープ・コンプレスド・センシング(Deep Compressed Sensing)」、[online]、[2020年2月17日検索]、インターネット<URL: https://arxiv.org/pdf/1905.06723.pdf>
【文献】マンジル・ザヒール(Manzil Zaheer)、ほか5名、「ディープ・セッツ(Deep Sets)」、[online]、[2020年2月17日検索]、インターネット<URL: https://arxiv.org/pdf/1703.06114.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1に開示されている手法によれば、観測データの分布に関する事前の知識や情報が与えられていない場合であっても、圧縮センシングに必要である、適切な制約条件となる観測データの分布に関する関数(生成関数)を機械学習によって取得することができる。しかしながら、その機械学習のためには、本物のデータ、つまりは観測場全体について収集された実観測データが必要であり、こうしたデータを事前に用意しなければならない。
【0010】
即ち、上記の従来方法では、目的とする観測場について分析装置等によりデータを収集する際には圧縮センシングの手法を利用して観測位置の数を減らすことができるものの、その前提として、スキャン測定等により観測場全体の実観測データの収集を実施しなければならず、その手間とコストが大きな負担であるという問題があった。
【0011】
本発明はこうした課題を解決するために成されたものであり、その主たる目的は、観測場についての詳細な測定や観測を行うことなく、少ない観測データに基いて圧縮センシングなどに利用可能である分布情報を得ることができる観測値の推定方法及び装置を提供することである。
【0012】
また本発明の別の目的は、そうした観測値の推定方法及び装置を用いて、観測場全体又はその一部における精度の高い観測値の分布を示す画像を得ることができる画像再構成方法及び装置を提供することである。
【課題を解決するための手段】
【0013】
上記課題の一つを解決するために成された本発明に係る観測値の推定方法の一態様は、
一つ又は複数のセンサを用い、観測場の状態が同一であるとみなせる時間範囲内で該観測場内の複数の観測位置についての実測観測値を取得し、且つ、該観測場の状態が同一であるとみなせない時間に亘って該観測場内の複数の観測位置についての実測観測値を繰り返し取得する測定ステップと、
前記測定ステップにおいて取得された複数の観測位置と実測観測値とを用いた敵対的学習を行うことにより、観測場の状態を示す変数と観測位置とを引数にとる観測値の分布関数を得る学習ステップと、
前記観測値の分布関数を用いて、前記観測場内の前記複数の観測位置以外の観測位置を含む任意の観測位置における推定観測値を求める推定ステップと、
を含むものである。
【0014】
また上記課題の一つを解決するために成された本発明に係る観測値推定装置の一態様は、
一つ又は複数のセンサを用いて、観測場の状態が同一であるとみなせる時間範囲内で取得された該観測場内の複数の観測位置についての実測観測値であり、且つ、該観測場の状態が同一であるとみなせない時間に亘って繰り返し取得された該観測場内の複数の観測位置についての実測観測値を受け取る観測値入力部と、
前記観測値入力部により受け取られた複数の観測位置と実測観測値とを用いた敵対的学習を行うことにより、観測場の状態を示す変数と観測位置とを引数にとる観測値の分布関数を得る学習部と、
前記観測値の分布関数を用いて、前記観測場内の前記複数の観測位置以外の観測位置を含む任意の観測位置における推定観測値を求める推定処理部と、
を備えるものである。
【0015】
また、上記課題の一つを解決するためになされた本発明に係る画像再構成方法の一態様は、本発明に係る観測値の推定方法の一態様を用いた画像再構成方法であって、
前記一つ又は複数のセンサは、前記観測場にプローブ光を照射して観測値を得るものであり、
前記プローブ光の照射により得られた複数の観測位置における実測観測値と前記推定ステップで求まった推定観測値とに基いて、前記観測場全体の観測値の分布を示す画像を再構成する画像処理ステップ、をさらに含むものである。
【0016】
また、上記課題の一つを解決するためになされた本発明に係る画像再構成装置の一態様は、本発明に係る観測値推定装置の一態様を用いた画像再構成装置であって、
前記一つ又は複数のセンサは、前記観測場にプローブ光を照射して観測値を得るものであり、
前記プローブ光の照射により得られた複数の観測位置における実測観測値と前記推定処理部で求まった推定観測値とに基いて、前記観測場全体の観測値の分布を示す画像を再構成する画像処理部、をさらに備えるものである。
【0017】
ここで「観測場」は、上述したようにn次元の空間(nは1以上の整数)である。また、「敵対的学習」は典型的には、その改良版を含む敵対的生成ネットワーク(Generative Adversarial Networks:以下「GAN」と略す)とすることができるが、それに限るものではない。
【0018】
また、典型的には、上記「観測場の状態が同一であるとみなせない時間」は上記「観測場の状態が同一であるとみなせる時間」に比べて十分に長いものとすることができる。
【発明の効果】
【0019】
非特許文献1に記載の技術でもそうであるが、一般的なGANでは、データの分布を学習して、本物データの分布に類似する偽のデータ分布を生成可能な生成器を得る。これに対し、本発明に係る観測値の推定方法及び装置の一態様では、GAN等の敵対的学習において関数自体の分布を学習する。即ち、この関数は観測場の状態に応じて変化する関数であり、関数の分布は観測場の状態に応じた確率的な分布である。
【0020】
観測場における観測対象の分布が時間的に明確な周期性を有していない場合であっても、いつかは実質的に同じであるとみなせる分布が現れるという仮定が可能であれば、観測値の分布のパターンは有限であるといえる。つまりは、観測場の状態も有限である。そうした仮定の下では、少数の観測位置における観測結果に基く敵対的学習によって、観測場の状態を表す変数と観測位置を示す変数とを引数にとる生成関数を求めることができる。
【0021】
本発明に係る観測値の推定方法及び装置の一態様によれば、要求される空間分解能に対応する観測場全体の観測位置の数に比べて、かなり少ない数の観測位置における観測値に基いて、観測場全体又はその一部の範囲についての観測値の分布を推定可能な関数を取得することができる。それにより、例えば観測場内の全ての観測位置における観測値を取得するためにスキャンを行う速度に比べて高速に変動する現象や状態を観測したい場合に、物理的な或いはコスト的な制約条件にとらわれることなく、また全体を測定した過去のデータに基く統計的な分布に頼ることなく、比較的少数の観測値に基いて取得した分布情報に依る圧縮センシングを実施することができる。その結果、手間とコストとを節約しながら、広い観測場についての観測値の分布を的確に把握することができる。
【0022】
また、本発明に係る画像再構成方法及び装置の一態様によれば、観測場内の比較的少数の観測位置における観測値に基いて、該観測場全体についての精度の高い観測値の分布を示す画像を得ることができる。
【図面の簡単な説明】
【0023】
【
図1】本発明に係る観測値推定装置に用いられる関数推定装置の一実施形態のブロック構成図。
【
図2】本発明に係る観測値推定装置の一実施形態のブロック構成図。
【
図3】本発明に係る画像再構成装置の一実施形態のブロック構成図。
【
図4】
図1に示した関数推定装置におけるGANの機能ブロック構成図。
【
図5】
図4中の生成関数Gの内部で共有される関数fの概念図。
【
図6】
図4中の識別関数Dに用いられるディープセッツによる畳込演算部の概念図。
【
図7】
図4中の生成器におけるスキップドコネクションの概念図。
【
図9】観測場の状態が変化する場合における一般的な観測手法の説明図。
【
図10】観測場の状態が変化する場合における圧縮センシングを用いた観測手法の説明図。
【
図11】状態が変化する2次元観測場を表すシミュレーションデータ(真値の分布)の一例を示す図。
【
図12】
図11に示した真値の分布から各時点でそれぞれ9点をサンプリングした場合の測定例を示す図。
【
図13】
図12に示した観測値データを入力データとしたときに
図4に示したGANにより生成される生成器を用いて生成される模擬的な画像の一例を示す図。
【発明を実施するための形態】
【0024】
以下、本発明の一実施形態について、添付図面を参照して説明する。
[本発明に係る観測値推定方法の概要]
一例として、容器内で培養している細胞の種類や分化状態などを判断することを目的として、ラマン分光分析装置を用い、各細胞の種類や状態に関連する細胞固有の情報の2次元的な分布を示す画像を作成する場合を挙げる。この場合の観測場は、培養中の細胞が収容されている容器内の2次元的な領域である。
図8に2次元の観測場の一例を示す。
【0025】
図8に示すように、矩形状である観測場は格子状に細かく区切られ、その区切られた小領域の一つ一つがラマン分光分析装置による観測位置である。この観測位置のサイズは、サンプリング定理に従い、要求される分布画像の空間分解能に応じて決まる。したがって、例えば各観測位置について一箇所ずつ、ラマン分光分析装置によりプローブ光を照射しそれに対するラマンスペクトルを取得していけば、所望の空間分解能を有する観測値の分布画像の作成が可能である。
【0026】
観測場内の全ての観測位置についての測定を行う一つの方法は、
図8中に矢印で示すように、ラスタースキャンにより順番に一つずつ各観測位置における測定を行う方法である。観測対象である細胞の分化状態などの時間的な変動を把握するには、
図9に示すように、全観測位置に亘るラスタースキャンを時間経過に伴って繰り返し行う必要がある。しかしながら、観測場内の全ての観測位置についての一通りの測定を行うのに要する測定時間Tは少なくとも、[観測位置数]×[一観測位置当たりの測定時間]だけ掛かる。その測定時間Tの間に観測場内の細胞の状態が変動してしまうと、正確な分布を反映した画像を得ることができない。
【0027】
ラマン分光分析装置の数を増やすことなく測定時間Tを短縮するために、周知の圧縮センシングは一つの有効な手法である。
図10は、一時点当たり9点(9個の観測位置)ずつの測定を繰り返すように圧縮センシングを行う場合の状態を示す図である。圧縮センシングを利用すれば、実際に測定を行う対象の観測位置の数を大幅に減らすことができる。したがって、細胞の状態が変動しないとみなせる程度まで上記測定時間Tを短縮することができる可能性がある。
【0028】
しかしながら、周知のように、圧縮センシングは観測データのスパース性を利用した手法であり、スパース性が保証された又は仮定できるような観測データの分布に関する情報が既知である必要がある。ここでの観測対象物の分布は時間経過に伴って変化するものの、細胞の分化には周期性があるため、或る程度の長い時間に亘って観測を行えば、いずれは同じ状態が再び現れると仮定することができる。即ち、観測対象物が採り得る分布の状態は整然とした周期性は有しないにしても、有限の状態をとると仮定することができる。これは、この例のような細胞の観測に限らず、様々な現象や化学反応などに当てはまる。但し、こうした有限である観測データの分布の状態を、少数の観測位置の観測結果に基いて直接的に推定することは困難である。そこで、本発明では、その推定に敵対的学習、具体的にはGANを利用する。
【0029】
よく知られているように、GANは、本物の画像にきわめて近い偽物の画像を生成する生成器を得るような場合にしばしば利用される。こうした場合、GANでは、データ(画素データ)の空間的な分布を学習し、画像内の位置を引数とする関数を生成器として得る。これに対し、ここではその関数自体が変化し、しかもその変化の様相が未知である。そこで、GANによって、状態の変化に応じた関数の分布を学習し、画像内の位置と状態(状態を表す変数)とを引数とする関数を生成器として取得する。この点で、本発明において用いられるGANは従来の一般的なGANとは一線を画すものである。
【0030】
[一実施形態による観測値推定装置]
図2は、本発明の一実施形態である観測値推定装置のブロック構成図である。
この観測値推定装置は、機能ブロックとして、入力部11と、観測値推定部12と、出力部13と、を含む。観測値推定部12は分布関数情報記憶部120を含み、該記憶部120に格納されている分布関数情報に基いて観測値を推定する。入力部11、出力部13については後述する。この観測値推定装置は、CPU、RAM、ROM等を含むコンピュータにより構成することができ、ROM或いはそのほかのHDD等の記憶装置に格納された所定のプログラムを実行することでその機能が具現化されるものとすることができる。
【0031】
図1は、
図2中の分布関数情報記憶部120に格納される分布関数を推定するための分布関数推定装置の一形態を示すブロック構成図である。この分布関数推定装置は、機能ブロックとして、入力部1と、分布関数推定部2と、出力部3と、を含む。この分布関数推定装置も、CPU、RAM、ROM等を含むコンピュータにより構成することができ、ROMやそのほかのHDD等の記憶装置に格納された所定のプログラムを実行することでその機能が具現化されるものとすることができる。
【0032】
図4は、
図1中の分布関数推定部2における中心的な演算処理を行うGAN学習部の機能ブロック構成図である。
図4において、このGAN学習部は、主演算部200と、副演算部210とを含む。主演算部200は、生成部(Generator)201と、識別部(Discriminator)202と、判定部203と、更新部204と、を含む。一方、副演算部210は、逆関数生成部211と、ペナルティ項生成部212と、更新部213と、を含む。
まず、主演算部200におけるGANによるネットワークの学習について説明する。
【0033】
従来の一般的なGANでは、観測値Yと潜在変数Zとが存在する場合に、生成器における生成関数G(Z)によって出力されるベクトルの分布が本物データである観測値Yの分布と一致するように、生成器のネットワークを学習する。これに対し本実施形態では、観測場内で観測位置を示す変数Xを導入し、観測位置Xと観測値Yとの組(X,Y)として観測結果が得られるものとする。これに伴い、生成部201における生成関数はG(X,Z)、識別部202における識別関数はD(X,Y)に拡張される。ここで、潜在変数Zに具体的な値z0を代入すると、生成関数G(X,z0)は観測位置Xを引数にとる関数とみることができ、一般的なGANを用いた圧縮センシングと同様に、潜在変数Zが決まれば観測場全体の分布を予測できる関数となる。
【0034】
図4において、主演算部200への入力はZ、X、及びY_realである。ここで、Zは有限の状態を示す変数である。通常のGANではこれは正規分布からなる変数のベクトルであるが、ここでは分布が未知である変数のベクトルである。Xは観測位置に相当する情報を示す座標変数である。ここでは、観測場は2次元であるので、Xも2次元座標の変数である。また、Y_realは実際に観測された観測値である。既出の
図10に示した例のように、観測場が同一状態であるとみなせる時間内に、9個の観測位置での観測が可能であるとすると、一時点において、観測位置がxi、観測値がyi(但し、i=1~9)であるデータの組が9個得られる。
【0035】
入力部1は、ラスタースキャン等の適宜の手法で実際に観測された、観測値と観測位置とを組とする上記のようなデータを受け取る。生成部201は、そのデータに含まれる9個の観測位置Xの情報と、乱数発生器で発生させた一つの状態変数zとを生成関数G(X,z)に代入することで、9個の偽の観測値Y_fakeを出力する。
【0036】
上述した9個のデータはそれぞれ独立に処理しても、まとめて処理しても同じである。そこで、生成部201の演算は、状態変数zに応じて一つの観測位置xを入力し一つの観測値yを出力するという関数f(x│z)を、観測位置のベクトルXの各要素に適用している処理であると捉えることもできる。即ち、生成部201のニューラルネットワークでは、
図5に示すように、ベクトルXの各要素(x
1~x
9)に対して関数f(x│z)を共有したネットワーク構造をとっていることになる。
【0037】
上述したように偽の観測値Y_fakeが得られると、識別部202では識別関数D(X,Y)に観測位置Xと偽の観測値Y_fakeとの組であるデータ(X,Y_fake)を代入して、真偽の識別結果を判定部203に送る。判定部203はその識別結果が正しいか否かを判定し、更新部204はそのときの識別結果が偽となるように識別部202のニューラルネットワークを学習する。それとともに、そのときの識別結果が真となるように生成部201のニューラルネットワークを学習する。次に、識別部202では識別関数D(X,Y)に観測位置Xと本物の観測値Y_realの組であるデータ(X,Y_real)を代入し、その真偽の識別結果を判定部203に送る。
【0038】
判定部203はその識別結果が正しいか否かを判定し、更新部204はそのときの識別結果が真となるように識別部202のニューラルネットワークを学習する。即ち、データの真偽を正しく判定できるように識別部202のニューラルネットワークを学習する一方、識別部202で偽と判定されない(つまりは真であると判定される)偽データを生成するように生成部201のニューラルネットワークを学習する。即ち、生成部201と識別部202とを競わせるように両方のニューラルネットワークの学習を行う。
【0039】
上述したように、観測場の状態は時間経過に伴って変動し、それに伴い観測値の分布が変化するので、或る時点(状態が同一であるとみなせる時間内)において9個の観測位置での観測を実行し観測結果を取得したならば、観測場の状態が変化していると想定される次の時点で、同じ観測場に対する9個の観測位置での観測を実行して観測結果を取得する。なお、観測位置自体は各測定時点で同じである必要はなく、むしろ測定毎に異なる観測位置であるほうがよい。こうした観測を或る程度の長い時間(つまり、状態が同一であるとみなせない時間)に亘って繰り返し行い、各時点で得られたデータ(X,Y_real)を入力部1から入力し、上述したようなGANによる学習を繰り返す。
【0040】
ここでは、状態Zが有限であること、つまりは、観測を継続していると実質的に同じ状態がいつかは現れることを仮定している。したがって、少なくとも、実質的に同じ状態が現れることが複数回、できれるだけ多く現れるまで、観測を継続することが好ましい。何故なら、同一であるとみなせる状態が再現する回数が多くなるほど、生成関数の分布の推定精度が高まるためである。
【0041】
ここで、学習対象であるデータ(X,Y_real)は、状態zが同一であるとみなせる時間内での複数の観測位置における観測値であるが、その集合におけるデータの順番に意味はない。そこで、生成関数G(X,z)については
図5に示したようなネットワーク構造を採ることもできるし、観測位置x
1、…、x
nを繰り返し適用し、得られた偽のデータの集合をそのまま出力してもよい。一方、識別部202における識別関数D(X,Y)では、データの順番については意味がないもののデータの集合自体には意味がある。即ち、例えば特定の状態変数zの下で得られるデータ(X,Y)は超平面上に並ぶといった制約を課すなど、(x,y)の組には相互に依存する関係がある。そこで、情報を畳み込んでベクトルに入力される順番の情報を消すために、識別関数D(X,Y)への入力には、非特許文献2に開示されているようなディープセット(Deep Sets)利用することができる。
【0042】
図6は、識別関数Dに用いられるディープセッツによる畳込演算部の概念図である。
図6では、多次元ベクトルを出力するフルコネクトニューラルネットワークk(x,y)を用意し、観測位置と観測値との組であるデータを上記ニューラルネットワークに通した結果を加算したΣk(x
i,y
i)を算出する。そして、これを識別部202への入力とする。
【0043】
また、本実施形態のGAN学習部において、生成部201には全層結合型のニューラルネットワークを用いることができる。但し、一般にGANでは、生成器を複雑にしすぎると識別器に比べて学習が遅くなるため、結果的に、生成器に対する勾配が消失し、GANの学習がうまくいかなくなることが知られている。したがって、全層結合型のニューラルネットワークの層数を極端に多くすることはできず、分布の細かい凹凸を表現できないという問題がある。これに対し、ここでは、自然に分布するデータを観測することを想定し、局所的には比較的単純な微分方程式が成り立つと仮定することで、この問題を実質的に解消することができる。
【0044】
具体的には、
図7に示すように、ニューラルネットワークの各層からスキップして最終層で結合させるスキップドネットワークの構成を採用することができる。概略的には、このスキップによる経路のバイパスによって、学習の初期には高速に粗く低次多項式近似を行い、学習が進むに伴い徐々に高次近似を行う。これにより、学習を良好に行いながら、層数を増やして分布の推定精度を高めることができる。
【0045】
本実施形態におけるGANでは、基本的に、上述したような主演算部200における演算処理によって生成関数G(X,z)を得ることができるが、状態変数zは乱数発生器で与えられるだけである。この状態変数zの分布を或る程度与えることができれば、GANの学習をより効率的に行うことができる。副演算部210はこのために設けられている。次に、副演算部210の機能と動作を説明する。
【0046】
一般的なGANでは、一つの観測データに対して一つの潜在変数Zが対応するのに対して、本実施形態におけるGANでは、複数の(x,y)の組が一つの状態変数zに結びついている。このため、生成関数G(X,z)の学習が或る程度進んだ状況においては、複数組の観測結果(x,y)から一つの状態変数(ベクトル)zを推定できる可能性がある。また、特に圧縮センシングに利用する場合であれば、状態変数zが推定できるような最低限の観測位置の数を逆に求めることも可能である。
【0047】
そこで、主演算部200における生成関数の生成に対し、副演算部210では、多くの場合において、生成関数G(X,z)の逆関数であるInvG(X,Y)=zを用いることで複数の観測により求まるベクトルX、Yから状態変数zを推定できる、ということを利用した追加的な制約を加える。ここでは、逆関数生成部211における逆関数InvG(X,Y)もニューラルネットワークとし、更新部213は、GANの学習時に生成した偽の観測値Yfake=G(X,Z)のYfakeと、観測位置X、及び状態変数Zとを用いて、Z≒InvG(X,Yfake)を満たすようにそのネットワークを学習する。即ち、z=InvG(X,Y)となるような回帰モデルのニューラルネットワークを構築すればよい。
【0048】
また、これに加えて、ペナルティ項生成部212は逆関数により得られる状態変数の推定結果を利用し、Yreal≒G(X,InvG(X,Yreal))の関係を求め、これをペナルティ項として更新部204に渡す。更新部204は、生成関数G(X,z)のネットワークを学習する際に、その生成関数の勾配に上記ペナルティ項を加算して学習する。
【0049】
なお、逆関数InvG(X,Y)のネットワーク構造は、上述した識別部202と同様に、ディープセットを含む全層結合型のニューラルネットワークとすることができる。また、それらは共に回帰問題であるため、損失関数として二乗誤差を用いることができる。
【0050】
本実施形態におけるGAN学習部では、GANによる生成関数G(X,z)の学習に加えて、ペナルティ項Y_real=G(X,InvG(X,Y_real))を最小化するように生成関数G(X,z)のニューラルネットワークを回帰として学習することができる。このためには、上述したように、GANの生成関数G(X,z)の更新のための損失関数に、Y_realとG(X,InvG(X,Y_real))の二乗誤差等の回帰用の損失関数を加算することにより両者を併せて学習するようにしてもよいし、GANによる学習と回帰による学習とを交互に繰り返す手法でも構わない。
【0051】
なお、実際の観測においては、逆関数InvG(X,Y)を用いて状態zを求めるか、生成関数G(X,Z)が観測値Yに合うように状態変数Zを最適化することでZ_estを求め、このZ_estと所望の解像度を示すXaとを併せてペナルティ項G(Xa,Z_est)=Y_estを得ることによって、実質的に圧縮センシングと同様の効果を得ることができる。
【0052】
また、ここで、生成関数G、識別関数D、及び逆関数InvGにはそれぞれ全層結合型のニューラルネットワークを用い、損失関数としては一般的なGANで用いられるソフトプラス(softplus)関数を使用することができるが、当然のことながら、これらは適用する分野等についての事前知識などに基いて適宜選択することができる。例えば生成関数Gが連続した分布形状になると予想されるのであれば、ニューラルネットワークの最終層にガウス分布状の場を出力する層を設ける、などの各種の変形が可能である。
【0053】
上記GAN学習部における上述したような観測データに基く学習によって、最終的に、観測位置と状態変数を引数にとる生成関数(X,Z)を得ることができるから、
図1に示した分布関数推定装置における出力部3は、得られた生成関数を出力する。この生成関数は
図2に示した観測値推定装置の分布関数情報記憶部120に格納される。
【0054】
この観測値推定装置において、入力部11は、観測値の分布状態を知りたい観測場の状態を示す変数(ベクトル)と、観測位置の情報を受け取る。観測値推定部12は、分布関数情報記憶部120に格納されている生成関数Gを利用して、目的とする状態における特定の観測位置における観測値を算出する。
【0055】
入力される状態変数は、その目的等に応じた適宜のものとすることができる。例えば、観測場についての或る一連の測定で得られた観測結果から最尤推定により求まった状態を表す変数を用いることができる。また、生成関数を得る際に求まった状態の分布(確率密度分布)を事前分布としたベイズ推定を実行し、そのベイズ推定による事後確率が最大となる状態を表す変数を用いてもよい。さらにまた、上記ベイズ推定による事後確率分布に従って発生させた状態を表す変数を入力するようにしてもよい。
【0056】
一方、入力される観測位置は、観測場内の任意の一つの観測位置でもよいし、最大限、全ての観測位置でもよい。或る一つの観測位置を示す変数を入力した場合には、その観測位置における観測値のみを求めることができる。他方、全ての観測位置を示す変数を入力した場合には、観測場全体の観測値の分布を求めることができる。そうして得られた観測値を示す情報が出力部13から出力される。したがって、例えば状態変数として上述したベイズ推定による事後確率分布に従って発生させた状態を表す変数を入力し、観測場全体の観測位置を観測位置を示す変数として入力すれば、状態が発生する確率に応じた観測値の分布情報を模擬的に得ることができる。
【0057】
この観測値推定装置で得られる観測値の分布情報は例えば、観測場内の少数の観測位置に対する観測値をラマン分光分析装置でそれぞれ取得した結果から、その観測場全体の観測値の分布を示す画像を復元する際の圧縮センシングに利用することが可能である。
また、圧縮センシング以外にもスパース性を利用した画像ノイズ除去などにも利用することができる。
【0058】
図3は、本発明に係る画像再構成装置の一実施形態である細胞観測装置のブロック構成図である。
図3において、計測部21はラマン分光分析装置であり、観測場内の小さな領域(観測位置)にプローブ光を照射し、それにより得られるラマン散乱光を検出しラマンスペクトルを求め、該ラマンスペクトルに基く観測値を得るものである。画像再構成部22は観測値推定部12を含み、圧縮センシングによる画像情報の取得及び取得した観測値を用いた画像の再構成を実行するものである。また、表示部23は、再構成された画像を表示するものである。
【0059】
計測部21は、観測場内の所定の数の観測位置に対する測定を順番に行い、各観測位置における観測値を取得する。このときの観測位置の数は画像再構成部22からの指示に基いて決められるが、サンプリング定理に従って所望の空間分解能に対して必要となる観測位置数に比べれば遙かに少ない。したがって、観測場内の上記所定数の観測位置に対する測定を行う間、観測場における細胞の状態は同一であるとみなすことができる。
【0060】
画像再構成部22は、計測部21において得られる所定数の観測位置に対する観測値を受け取り、観測値推定部12による推定結果を利用して、実際には観測していない観測位置における観測値を含めた観測値の分布を算出し、該分布を示す画像を再構成する。即ち、圧縮センシングによる画像の復元を行う。表示部23は、こうして再構成された画像をモニタ画面上に表示し、ユーザに提供する。
【0061】
以上のようにして、本実施形態の細胞観測装置では、少ない観測位置に対する測定結果に基いて、細胞の分化状態などが反映された高精度、高分解能の画像を得ることができる。
【0062】
[本実施形態におけるGANによるシミュレーション結果]
次に、上述した観測値推定方法を2次元の観測場に適用した場合のシミュレーション結果を説明する。観測場が2次元であるから、観測位置の変数Xは2次元である。一方、状態を表す変数は4次元とした。
図11は、2次元観測場を表すシミュレーションデータ(真値の分布)の一例を示す図である。
図11において、一つの分布画像の縦、横の座標がXであり、該画像内の濃度が観測値Yを示す。また、一つの分布画像は或る一つの状態(或る一つのベクトルZ)を示しているから、
図11では49個の状態における分布を示している。但し、これはシミュレーションデータのごく一部であり、実際には、さらに多くの状態における分布を用いる。
【0063】
図12は、
図11に示した真値の分布から各時点で、つまりは各分布画像についてそれぞれ9点をサンプリングした場合の測定例を示す図である。即ち、各分布画像内の9個の観測値のみが実際に測定されるデータである。このデータ(X,Y)が上述したようにGANによる学習に供され、それによって生成関数G(X,Z)が得られる。
【0064】
図13は、上述したように得られる生成関数G(X,Z)を用いて生成される模擬的な分布画像の一例を示す図である。この結果を見ると、元の画像にかなり類似した分布形状の画像が再現されていることが分かる。このことから、上述の手法により生成された生成関数は、真の観測値の分布をかなり的確に反映した分布関数であると結論付けることができる。したがって、例えば、こうした分布関数を利用した圧縮センシングは、十分な精度で以て本来の観測値の分布に近い分布を得ることができるものであるということができる。
【0065】
なお、上記説明では、状態が変化しないとみなせる時間内での観測値の個数を9としていたが、当然のことながら、その数はこれに限らず、複数個であればいくつであってもよい。
【0066】
また、上記説明では、GAN学習部として一般的なGANを基本としてこれを拡張したものを用いたが、元のGANはごく一般的なGANに限らず、WGAN、WGAN-gpといった、GANを基本とする様々な改良型のGANの手法を利用することが可能である。
【0067】
また、上記実施形態はあくまでも本発明の一例にすぎず、本願請求項に記載の範囲で適宜変形、追加、削除等を行っても本発明に包含されることは明らかである。
【0068】
[種々の態様]
上述した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0069】
(第1項)本発明に係る観測値の推定方法の一態様は、
一つ又は複数のセンサを用い、観測場の状態が同一であるとみなせる時間範囲内で該観測場内の複数の観測位置についての実測観測値を取得し、且つ、該観測場の状態が同一であるとみなせない時間に亘って該観測場内の複数の観測位置についての実測観測値を繰り返し取得する測定ステップと、
前記測定ステップにおいて取得された複数の観測位置と実測観測値とを用いた敵対的学習を行うことにより、観測場の状態を示す変数と観測位置とを引数にとる観測値の分布関数を得る学習ステップと、
前記観測値の分布関数を用いて、前記観測場内の前記複数の観測位置以外の観測位置を含む任意の観測位置における推定観測値を求める推定ステップと、
を含む。
【0070】
(第7項)また本発明に係る観測値推定装置の一態様は、
一つ又は複数のセンサを用いて、観測場の状態が同一であるとみなせる時間範囲内で取得された該観測場内の複数の観測位置についての実測観測値であり、且つ、該観測場の状態が同一であるとみなせない時間に亘って繰り返し取得された該観測場内の複数の観測位置についての実測観測値を受け取る観測値入力部と、
前記観測値入力部により受け取られた複数の観測位置と実測観測値とを用いた敵対的学習を行うことにより、観測場の状態を示す変数と観測位置とを引数にとる観測値の分布関数を得る学習部と、
前記観測値の分布関数を用いて、前記観測場内の前記複数の観測位置以外の観測位置を含む任意の観測位置における推定観測値を求める推定処理部と、
を備える。
【0071】
第1項に記載の観測値の推定方法及び第7項に記載の観測値推定装置の一態様によれば、要求される空間分解能に対応する観測場全体の観測位置の数に比べて、かなり少ない数の観測位置における観測値に基いて、観測場全体又はその一部の範囲についての観測値の分布を推定可能な関数を取得することができる。それにより、例えば観測場内の全ての観測位置における観測値を取得するためにスキャンを行う速度に比べて高速に変動する現象や状態を観測したい場合に、物理的な或いはコスト的な制約条件にとらわれることなく、また全体を測定した過去のデータに基く統計的な分布に頼ることなく、比較的少数の観測値に基いて取得した分布情報に依る圧縮センシングを実施することができる。その結果、手間とコストとを節約しながら、広い観測場についての観測値の分布を的確に把握することができる。
【0072】
(第2項)第1項に記載の観測値の推定方法において、前記推定ステップでは、1回の観測から最尤推定された観測場の状態における推定観測値を求めるものとすることができる。
【0073】
(第8項)また同様に、第7項に記載の観測値推定装置において、前記推定処理部は、1回の観測から最尤推定された観測場の状態における推定観測値を求めるものとすることができる。
【0074】
(第3項)第1項に記載の観測値の推定方法において、前記推定ステップでは、ベイズ推定により求まる事後確率が最大となる観測場の状態における推定観測値を求めるものとすることができる。
【0075】
(第9項)また同様に、第7項に記載の観測値推定装置において、前記推定処理部は、ベイズ推定により求まる事後確率が最大となる観測場の状態における推定観測値を求めるものとすることができる。
【0076】
第2項及び第3項に記載の観測値の推定方法、並びに、第8項及び第9項に記載の観測値推定装置によれば、起こる可能性が高い状態における観測値の分布を得ることができる。
【0077】
(第4項)第1項に記載の観測値の推定方法において、前記推定ステップでは、ベイズ推定により求まる観測場の状態の事後確率分布に対応した推定観測値の分布を求めるものとすることができる。
【0078】
(第10項)また同様に、第7項に記載の観測値推定装置において、前記推定処理部は、ベイズ推定により求まる観測場の状態の事後確率分布に対応した推定観測値の分布を求めるものとすることができる。
【0079】
第4項に記載の観測値の推定方法、及び、第10項に記載の観測値推定装置によれば、或る一つの状態における観測値の分布だけではなく、起こる得る確率を反映した観測値の分布を得ることができる。
【0080】
(第5項)本発明に係る画像再構成方法の一態様は、第1項~第4項のいずれか1項に記載の観測値の推定方法を用いた画像再構成方法であって、
前記一つ又は複数のセンサは、前記観測場にプローブ光を照射して観測値を得るものであり、
前記プローブ光の照射により得られた複数の観測位置における実測観測値と前記推定ステップで求まった推定観測値とに基いて、前記観測場全体の観測値の分布を示す画像を再構成する画像処理ステップ、をさらに含むものである。
【0081】
(第11項)本発明に係る画像再構成装置の一態様は、第7項~第10項のいずれか1項に記載の観測値推定装置を用いた画像再構成装置であって、
前記一つ又は複数のセンサは、前記観測場にプローブ光を照射して観測値を得るものであり、
前記プローブ光の照射により得られた複数の観測位置における実測観測値と前記推定処理部で求まった推定観測値とに基いて、前記観測場全体の観測値の分布を示す画像を再構成する画像処理部、をさらに備えるものである。
【0082】
第5項に記載の画像再構成方法及び第11項に記載の画像再構成装置によれば、観測場内の比較的少数の観測位置における観測値に基いて、該観測場全体についての精度の高い観測値の分布を示す画像を得ることができる。
【0083】
(第6項)第5項に記載の画像再構成方法において、前記観測場は、細胞が配置された容器の全体又はその一部であり、前記一つ又は複数のセンサは、ラマン分光測定のためのセンサであるものとすることができる。
【0084】
(第12項)また同様に、第11項に記載の画像再構成装置において、前記観測場は、細胞が配置された容器の全体又はその一部であり、前記一つ又は複数のセンサは、ラマン分光測定のためのセンサであるものとすることができる。
【0085】
第6項に記載の画像再構成方法及び第12項に記載の画像再構成装置によれば、細胞についてのラマンスペクトルから得られる情報、例えば各細胞の種類や状態に関連する細胞固有の情報の2次元的な分布を示す精度の高い画像を得ることができる。
【符号の説明】
【0086】
1、11…入力部
12…観測値推定部
120…分布関数情報記憶部
3、13…出力部
2…分布関数推定部
200…主演算部
201…生成部
202…識別部
203…判定部
204…更新部
210…副演算部
211…逆関数生成部
212…ペナルティ項生成部
213…更新部
21…計測部
22…画像再構成部
23…表示部