(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6894620
(24)【登録日】2021年6月8日
(45)【発行日】2021年6月30日
(54)【発明の名称】物理厚さ推定プログラム及び屈折率データ推定プログラム、並びに、物理厚さデータ推定システム及び屈折率データ推定システム
(51)【国際特許分類】
G01N 21/41 20060101AFI20210621BHJP
G01B 11/06 20060101ALI20210621BHJP
G01B 11/24 20060101ALI20210621BHJP
【FI】
G01N21/41 Z
G01B11/06 G
G01B11/24 D
【請求項の数】4
【全頁数】11
(21)【出願番号】特願2017-22657(P2017-22657)
(22)【出願日】2017年2月9日
(65)【公開番号】特開2018-128400(P2018-128400A)
(43)【公開日】2018年8月16日
【審査請求日】2020年1月31日
(73)【特許権者】
【識別番号】304021831
【氏名又は名称】国立大学法人千葉大学
(74)【代理人】
【識別番号】100098729
【弁理士】
【氏名又は名称】重信 和男
(74)【代理人】
【識別番号】100163212
【弁理士】
【氏名又は名称】溝渕 良一
(74)【代理人】
【識別番号】100204467
【弁理士】
【氏名又は名称】石川 好文
(74)【代理人】
【識別番号】100148161
【弁理士】
【氏名又は名称】秋庭 英樹
(74)【代理人】
【識別番号】100156535
【弁理士】
【氏名又は名称】堅田 多恵子
(74)【代理人】
【識別番号】100195833
【弁理士】
【氏名又は名称】林 道広
(72)【発明者】
【氏名】津村 徳道
(72)【発明者】
【氏名】栗田 幸樹
(72)【発明者】
【氏名】清光 薫
【審査官】
▲高▼場 正光
(56)【参考文献】
【文献】
特開2015−146747(JP,A)
【文献】
特開2014−039535(JP,A)
【文献】
特開平11−211423(JP,A)
【文献】
特表2005−512127(JP,A)
【文献】
米国特許出願公開第2014/0160236(US,A1)
【文献】
KEMPER, B. 外1名,“Digital holographic microscopy for live cell applications and technical inspection”,APPLIED OPTICS,2008年 2月 1日,Volume 47, Issue 4,Pages A52-A61,URL,DOI:10.1364/AO.47.000A52
【文献】
RAPPAZ, B. 外5名,“Measurement of the integral refractive index and dynamic cell morphometry of living cells with digital holographic microscopy”,OPTICS EXPRESS,2005年11月14日,Volume 13, Issue 23,Pages 9361-9373,URL,DOI:10.1364/OPEX.13.009361
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 − G01N 21/61
G03H 1/08
(57)【特許請求の範囲】
【請求項1】
コンピュータに、
ホログラム画像データに基づき所定の焦点間隔で複数の再生画像データを作成し、前記複数の再生画像データ各々に対応する焦点位置抽出画像データを作成し、複数の前記焦点位置抽出画像データの輪郭内の領域における各画素に付された所定の値を画素毎に合計し、その合計値に前記所定の焦点間隔を乗算して得られる各画素における物理厚さデータに基づき測定対象物の物理厚さデータを求めるステップ、
ホログラム画像データに基づき前記測定対象物の位相差データを求めるステップ、
前記物理厚さデータ及び前記位相差データに基づき前記測定対象物の屈折率データを求めるステップ、を実行させるための、屈折率データ推定プログラム。
【請求項2】
前記屈折率データに基づき、屈折率マップデータを作成する請求項1記載の屈折率データ推定プログラム。
【請求項3】
前記屈折率データに基づき、屈折率差が濃淡により表現される屈折率マップデータを作成し、この濃淡の表現により測定対象物であるミドリムシの脂質の割合が大きい部分を可視化する請求項1記載の屈折率データ推定プログラム。
【請求項4】
測定対象物を配置する測定対象物配置部と、
前記測定対象物配置部に配置された測定対象物を撮影し、ホログラム画像データを取得するためのホログラム画像データ取得装置と、
前記画像データ取得装置に接続され、前記画像データの処理を行う情報処理装置と、を備える屈折率推定システムであって、
前記情報処理装置は、ホログラム画像データに基づき所定の焦点間隔で複数の再生画像データを作成し、前記複数の再生画像データ各々に対応する焦点位置抽出画像データを作成し、複数の前記焦点位置抽出画像データの輪郭内の領域における各画素に付された所定の値を画素毎に合計し、その合計値に前記所定の焦点間隔を乗算して得られる各画素における物理厚さデータに基づき測定対象物の物理厚さデータを求めるステップ、ホログラム画像データに基づき測定対象物の位相差データを求めるステップ、前記物理厚さデータ及び前記位相差データに基づき前記測定対象物の屈折率データを求めるステップ、を実行する、屈折率データ推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物理厚さ推定プログラム及び屈折率データ推定プログラム、並びに、物理厚さデータ推定システム及び屈折率データ推定システムに関する。
【背景技術】
【0002】
現在、顕微鏡下で、様々な物質の屈折率分布を計測することが多くの産業において求められている。例えば、細胞評価の分野においては、細胞の屈折率分布を得ることで、細胞を構成する成分量の定量化を行うことができる。すなわち、従来の技術によると、試料の光学的厚さを計測することは可能であった。例えば下記特許文献1には、光学的な厚さを得ることのできる細胞観察装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】WO2011/132587号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載のように、従来の装置では光学的厚さを図ることができるとしても、屈折率の値の空間的な分布を得ることはできず、物理的な厚さを得ることは極めて困難であった。
【0005】
そこで、本発明は、上記課題に鑑み、物理厚さデータを推定することのできる物理厚さ推定プログラム、及びこれを用いた物理厚さデータ推定システム、並びに、これらを用いる屈折率データ推定プログラム、並びに、屈折率データ推定システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決する本発明の一観点に係る屈折率データ推定プログラムは、コンピュータに、ホログラム画像データに基づき所定の焦点間隔で複数の再生画像データを作成し、前記複数の再生画像データ各々に対応する焦点位置抽出画像データを作成し、複数の前記焦点位置抽出画像データ
の輪郭内の領域における各画素に付された所定の値を画素毎に合計し、その合計値に前記所定の焦点間隔を乗算して
得られる各画素における物理厚さデータに基づき測定対象物の物理厚さデータを求めるステップ、ホログラム画像データに基づき測定対象物の位相差データを求めるステップ、物理厚さデータ及び前記位相差データに基づき前記測定対象物の屈折率データを求めるステップ、を実行するためのものである。
【0007】
また、本発明の他の一観点に係る屈折率データ推定システムは、測定対象物を配置する測定対象物配置部と、測定対象物配置部に配置された測定対象物を撮影し、ホログラム画像データを取得するためのホログラム画像データ取得装置と、画像データ取得装置に接続され、画像データの処理を行う情報処理装置と、を備える屈折率推定システムであって、情報処理装置は、ホログラム画像データに基づき所定の焦点間隔で複数の再生画像データを作成し、前記複数の再生画像データ各々に対応する焦点位置抽出画像データを作成し、複数の前記焦点位置抽出画像データ
の輪郭内の領域における各画素に付された所定の値を画素毎に合計し、その合計値に前記所定の焦点間隔を乗算して
得られる各画素における物理厚さデータに基づき測定対象物の物理厚さデータを求めるステップ、ホログラム画像データに基づき測定対象物の位相差データを求めるステップ、物理厚さデータ及び位相差データに基づき測定対象物の屈折率データを求めるステップ、を実行するものである。
【発明の効果】
【0010】
以上、本発明により、物理厚さデータを推定することのできる物理厚さ推定プログラム、及びこれを用いた物理厚さデータ推定システム、並びに、これらを用いる屈折率データ推定プログラム、並びに、屈折率データ推定システムを提供することができる。
【図面の簡単な説明】
【0011】
【
図1】実施形態に係る物理厚さデータ推定システムの概略を示す図である。
【
図2】実施形態に係る測定対象物配置部のイメージを示す図である。
【
図3】実施形態において焦点高さの異なる複数の再生画像データを作成する場合のイメージ図である。
【
図4】実施形態において各再生画像データに対し輪郭抽出処理を行う場合のイメージ図である。
【
図5】実施形態における位相差データのイメージを示す図である。
【
図6】実施形態における応用例に係るミドリムシの体内における脂質の分布のイメージ図である。
【
図7】実施例において作成した再生画像を示す図である。
【
図8】実施例において作成した焦点位置抽出画像を示す図である。
【
図9】実施例において作成した焦点位置抽出画像で塗りつぶした場合を示す図である。
【
図10】実施例において作成した焦点位置抽出画像を合成した場合の図である。
【
図11】実施例において作成した屈折率差のマップ画像を示す図である。
【発明を実施するための最良の形態】
【0012】
以下、本発明の実施形態について図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例における具体的な例示にのみ限定されるわけではない。
【0013】
(物理厚さデータ推定システム)
図1は、本実施例に係る物理厚さデータ推定システム(以下「本システム」という。)S1の概略を示す図である。本図で示すように、本システムS1は、測定対象物Mを配置する測定対象物配置部1と、対象物配置部1に配置された測定対象物Mを撮影しホログラム画像データを取得するためのホログラム画像データ取得装置2と、ホログラム画像データ取得装置2に接続されホログラム画像データの処理を行う情報処理装置3と、を備える物理厚さデータ推定システムである。また、本システムS1において、情報処理装置3は、(P1)ホログラム画像データに基づき測定対象物の物理厚さデータを求めるステップ、を実行することができる。
【0014】
本システムS1において、測定対象物配置部1は、文字通り測定対象物Mを保持することができるものである。ここで測定対象物Mは、特に限定されるわけではないが、光を透過することができるものであることが好ましい。具体的には、植物や動物等の生物細胞、ミドリムシ、ゾウリムシ及びミジンコ等の動物プランクトン、及び、ミカヅキモ、ハネケイソウ、ボルボックス等の植物性プランクトンといったプランクトン等を例示することができる。また、生物以外であっても、微小なレンズ等の透過物体を含む工業製品等に対しても応用が可能である。なお、光透過性の低い物体の場合や、光を反射する物体である場合、反射顕微鏡用のデジタルホログラムを用いることで、測定対象物とすることは可能である。
【0015】
また、本システムS1における測定対象物配置部1の具体的な構造としては、測定時において安定的に測定対象物を配置することができる限りにおいて限定されるわけではないが、例えば平滑な表面を備えた基板、光透過性を備え測定対象物を内部に保持することができる中空の管、容器等を用いることができる。また、測定対象物配置部1が中空の管である場合、この中空の部分に測定対象物1を流す構成としてもよい。測定対象物1を流すことのできる構成とすれば、流れに合わせて連続的に撮影し、大量の測定対象物を高速に処理することが可能となるといった利点がある。
【0016】
また、本システムS1における測定対象物配置部1において、測定対象物Mは、既知の屈折率からなる流体により均一に囲まれた状態となっていることが好ましい。この理由については後述の記載から明らかとなるが、このようにすることで、位相差を求める精度を向上させることができる。この場合において、流体としては、測定対象物Mを安定的に保持し、測定対象物Mの状態に対し影響を与えないものであることが好ましく、例えばプランクトン等の生体である場合、純水や生理食塩水であることが好ましい例であり、空気中で安定的に配置することができるのであれば空気、窒素等の非酸化性のガス等であることが好ましい。この場合のイメージを
図2に示しておく。なお本図では、スライドガラスに測定対象物としてミドリムシ等の微生物を配置した場合のイメージを示している。
【0017】
また、本システムS1において、ホログラム画像データ取得装置2は、上記の通り、対象物配置部1に配置された測定対象物Mを撮影し、ホログラム画像データを取得するために用いられるものである。またここで「ホログラム画像データ」とは、測定対象物の情報を干渉縞として記録した画像データであり、具体的には、位置データと、この位置データそれぞれにおける位相データ及び振幅データの組を複数備えたものである。ホログラム画像データは、複数の位置データを備えているが、イメージとして、ホログラム画像は複数の画素の集合であると考えることがデータ処理上非常に効率的であるため、位置データは、複数の画素の位置データとして考えることが好ましい。本システムS1では、ホログラム画像データに基づき、回折計算を施すことによって、三次元的な形状を定量的に求めることが可能となる。
【0018】
また、ホログラム画像データ取得装置2の具体的な構造としては、限定されるわけではないが、例えば、レーザー光を発する光源と、このレーザー光を参照光と測定対象物照射用の光にそれぞれ照射するよう分割するビームスプリッタと、参照光と測定対象物に照射され反射した光を干渉させるための光学部材と、この干渉後の光を画像として記録する撮像装置と、を備えたものを例示することができる。
【0019】
また、本システムS1では、微小な物の厚みをより正確に測定する観点から、上記構成にさらに拡大レンズ(対物レンズ)を備えた、いわゆるホログラフィック顕微鏡を用いることが好ましい。
【0020】
また、本システムS1において、情報処理装置3は、上記の通り、ホログラム画像データ取得装置2に接続され、ホログラム画像データの処理を行うことができる装置である。
【0021】
また、本システムS1の情報処理装置3としては、入力されたデータに基づき所望の計算処理を施し、所望のデータを得るために用いられる装置であって、本システムS1の機能を達成するための特定の処理及びデータの格納を行うことができる集積回路を組み合わせて基板上に配置した半導体基板を備えた特別の装置であってもよいが、いわゆるコンピュータであることは、データ処理の最適化のための改変、様々なデータ処理機能の付加を容易に行うことができる観点から好ましい。
【0022】
本システムS1の情報処理装置3がコンピュータである場合、限定されるわけではないが、例えば中央演算装置(CPU)、ハードディスクやメモリ等の記録媒体、キーボードやマウス等の入力装置、液晶ディスプレイ等の表示装置、これらを電気的に接続するために用いられるバスライン、を備えていることが好ましい。そして、上記の記録媒体に、所定の処理を実行させるためのプログラムを格納し、使用者の要求に応じてこのプログラムを実行することで所望の処理を実行することができ、必要に応じ、様々なデータ処理機能等を付加させやすくなる。
【0023】
本システムS1の情報処理装置3は、上記の通り、(P1)ホログラム画像データに基づき測定対象物の物理厚さデータを求めるステップ、を実行することができる。
【0024】
またこのステップは、限定されるわけではないが、例えば、(P1−1)ホログラム画像データに基づき焦点高さの異なる複数の再生画像データを作成し、(P1−2)複数の再生画像データ各々における焦点位置抽出画像データを作成し、(P1−3)複数の焦点位置抽出画像データに基づき物理厚さを求める、という細かなステップにより構成されていることが好ましい。
【0025】
ここでより具体的に説明すると、まず、(P1−1)ホログラム画像データに基づき焦点高さの異なる複数の再生画像データを作成する。この場合のイメージ図を
図3に示しておく。
【0026】
本システムS1においてホログラム画像データは、各画素の位置において位相データ及び振幅データを備えているため、焦点の高さを変更しながら二次元の再生画像データとしてそれぞれ再生することができる。ここで「焦点の高さを変更しながら再生する」とは、特定の方向に沿った異なる位置(具体的には撮影方向に沿った異なる深さ)に焦点を合わせた二次元の再生画像を複数作成することをいう。ここで、特定の方向としては特に限定されるわけではないが、画像の深さ方向であることが好ましい。またこの場合において、焦点の高さの間隔を「焦点間隔」という。
【0027】
また、本システムS1では、(P1−2)複数の再生画像データ各々における焦点位置抽出画像データを作成する。上記の処理において作成された再生画像データには、測定対象物において焦点が合っている部分と焦点が合っていない部分が存在する。ここで焦点が合っている位置は、測定対象物の輪郭の部分であり、他の部分と明確に区別することができる。そのため、本処理では、焦点が合っている位置を抽出することで、その焦点位置における輪郭抽出処理が可能となる。
【0028】
より具体的に本処理は、各再生画像データに対し、輪郭抽出処理を行い、焦点位置抽出画像データを作成する。このイメージを
図4に示しておく。
【0029】
またこの処理において、輪郭抽出処理を行った後、この輪郭内の領域に所定の値を付しておく処理を行うことが好ましい。より具体的には、この輪郭内の領域を塗りつぶしておくことが好ましい。このようにすることで、後に各再生画像データを合成したときに、その値により物理的厚さを判定することができるようになる。
【0030】
また、本システムS1では、(P1−3)複数の前記焦点位置抽出画像データに基づき物理厚さデータを求める処理を行う。具体的には、上記処理により得た各再生画像データを合成する、更に具体的には、上記作成した各再生画像データの各画素データにおける値を合計し、その合計値に焦点間隔に応じた値を乗じて、各画素における物理的厚みデータを得ることができる。
【0031】
以上、本システムS1により、物理厚さデータを求めることのできる物理厚さ推定システム及びこれに用いられる物理厚さ推定プログラムを実現することができる。
【0032】
(屈折率推定システム)
次に、上記物理厚さ推定システムを用いて、屈折率推定を行う屈折率推定システム(以下「本システム」という。)S2について説明する。本システムS2の概略は、基本的には上記
図1と同様の構成となっているが、情報処理装置3の内部処理が異なる。この点について説明する。
【0033】
本システムS2における情報処理装置3は、(P1)ホログラム画像データに基づき測定対象物の物理厚さデータを求めるステップ、(P2)ホログラム画像データに基づき測定対象物の位相差データを求めるステップ、(P3)物理厚さデータ及び位相差データに基づき前記測定対象物の屈折率データを求めるステップ、を実行する。なお本システムS2における(P1)ホログラム画像データに基づき測定対象物の物理厚さデータを求めるステップは、上記システムS1と同様であるため、その説明は省略する。
【0034】
本システムS2によると、後述の説明から明らかとなるが、測定対象物の屈折率を推定することが可能となる。これは測定対象物全体の屈折率を求めることもでき、また、測定対象物の一部領域における屈折率を求めることができる。もちろん、本システムS2によると、屈折率そのものだけでなく、測定対象物の周囲に存在する流体との屈折率差を求めておくこともできる。その意味において「屈折率」には「屈折率差」を含むものとする。
【0035】
本システムS2における情報処理装置3は、上記の通り(P2)ホログラム画像データに基づき測定対象物の位相差データを求めるステップを実行する。
【0036】
ここで「位相差データ」とは、測定対象物の位置における位相と、測定対象物を透過していない部分の光の位相の差に関するデータをいう。この場合における位相差のイメージを
図5に示しておく。
【0037】
本図で示すように、より具体的に説明すると、測定対象物が存在する位置における位相をφ
m、測定対象物が存在していない位置の位相をφ
refとすると、この位相差は、下記式であらわされる。
【数1】
【0038】
ここで、測定対象物の存在していない位置の位相については、限定されるわけではないが、例えば測定対象物の存在していない特定の領域を抽出し、その箇所における位相の値の平均値を取ることが精度向上の観点から好ましい。
【0039】
また本システムS2における情報処理装置3は、上記の通り、(P3)物理厚さデータ及び前記位相差データに基づき前記測定対象物の屈折率データを求めるステップを実行する。
【0040】
ここで、測定対象物の屈折率データを求める方法について上記
図5を改めて用いて説明する。
【0041】
まず、測定対象物が存在する位置及び存在しない位置にそれぞれ波長λの光が侵入する。すると、存在しない位置では、流体のみの位相変化を受けることにある。この結果、測定対象物が存在しない領域の位相はφ
refとなる。一方、存在する領域では、流体と測定対象物を通り抜け、位相はφ
mとなる。この位相の差が上記位相差となる。なおこの位相差は、純粋に測定対象物の物理的高さdに依存した値となる。
【0042】
一方、流体の屈折率は予め求めることができるため、n
refは既知の値にできる。測定対象物の屈折率をn
mとすると、光路差は、下記の通りとなる。
【数2】
【0043】
また光路差は、上記位相差を用いて表すことも可能であるため、下記の指揮を満たすことになる。
【数3】
【0044】
そして、上記式において、未知数は測定対象物の屈折率n
refのみとなるため、式を整理すると下記のようになる。
【数4】
【0045】
以上の通り、測定対象物の物理厚さdを取得することによって、測定対象物の屈折率を求めることができる。しかも、この屈折率は測定対象物の各位置において可能であるため、測定対象内の屈折率分布を求めることが可能である。この場合、屈折率分布を表すマップ画像データとして得ることが可能である。
【0046】
もちろん、n
m−n
refをそのまま屈折率差として求めておくことも可能である。
【0047】
以上、本実施形態により、物理厚さデータを推定することのできる物理厚さ推定プログラム、及びこれを用いた物理厚さデータ推定システム、並びに、これらを用いる屈折率データ推定プログラム、並びに、屈折率データ推定システムを提供することができる。
【0048】
ところで、上記システムを用いると、測定対象物内の屈折率及びその分布を求めることが可能となるため、様々な判断を行うことができ、例えば、測定対象物をミドリムシとし、このミドリムシの屈折率及びその分布を求めることで、個体間の脂質含有量を判断することができるようになる。これを用いた応用について以下具体的に説明する。
【0049】
ミドリムシは体内に脂質を有しており、この脂質は高エネルギーであるため、バイオ燃料等に応用が期待されている。そして、体内に脂質を多く含有するミドリムシを選択的に抽出し、繁殖させ、更に高い資質を含むミドリムシを選択するといった工程を繰り返すことで、非常に高い脂質含有量のミドリムシを得ることができるようになる。
【0050】
そして、この脂質はミドリムシ本体とは異なる組織成分を有しているため屈折率が異なる。より具体的には脂質の屈折率はそれ以外の組織成分よりも高いと考えられているため、ミドリムシ全体の屈折率が高いほど、脂質の割合が大きいと判断できる。この場合のイメージを
図6に示しておく。
【0051】
以上、本システムは、様々な応用が可能である。
【実施例】
【0052】
ここで、上記システムに関し、二匹のミドリムシに対し、上記に従い実際の測定を行いその効果を確認した。測定は、スライドガラス上にミドリムシと水を配置し、ホログラフィック顕微鏡によってホログラム画像を取得し、各処理を施すことで行った。
【0053】
まず、ホログラム画像データから、焦点高さの異なる複数の再生画像データを作成した。この作製した結果のうちの数枚を
図7に示す。
【0054】
また、この再生画像から焦点位置抽出画像データを作成した。具体的には、輪郭抽出を行った。この結果の画像を
図8に示す。なお、この抽出した輪郭内について塗りつぶした画像を
図9に示しておく。なお、この焦点位置抽出画像の焦点間隔は0.29μmである。
【0055】
そして、上記塗りつぶした画像を合成し、高さを明暗で表した。この結果を
図10に示しておく。この結果、厚さとしては8.7μmであった。
【0056】
次に、屈折率差について算出した。具体的には、位相画像において、水部分の位相の平均を1.27radと求め、水の屈折率を1.33、波長を0.532μmとし、物理厚さをミドリムシのそれぞれの位置において屈折率差の分布を求めた。この屈折率差のマップ画像を
図11に示しておく。本図で示すミドリムシでは、屈折率差が濃淡により表現され、白く明るい部分が屈折率差の大きい部分すなわち脂質の割合が大きい部分と判定できた。この結果、ミドリムシ全体の屈折率は1.3544であると求めることができた。なおこれを、複数のミドリムシで行ったところ、様々な形状のミドリムシにそれぞれ異なる屈折率分布のものが存在していることが確認でき、より多くの脂質を含むミドリムシを選別できる可能性があることを確認した。
【0057】
以上、本発明の効果について確認することができた。
【産業上の利用可能性】
【0058】
本発明は、物理厚さ推定プログラム及び屈折率データ推定プログラム、並びに、物理厚さデータ推定システム及び屈折率データ推定システムとして産業上の利用可能性がある。