IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

特許7322683画像処理方法、画像生成装置及び画像処理システム
<>
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図1
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図2
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図3
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図4
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図5
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図6
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図7
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図8
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図9
  • 特許-画像処理方法、画像生成装置及び画像処理システム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-31
(45)【発行日】2023-08-08
(54)【発明の名称】画像処理方法、画像生成装置及び画像処理システム
(51)【国際特許分類】
   G01B 11/04 20060101AFI20230801BHJP
   G01N 21/45 20060101ALI20230801BHJP
   G01J 9/02 20060101ALI20230801BHJP
   G02B 21/00 20060101ALN20230801BHJP
【FI】
G01B11/04 H
G01N21/45 A
G01J9/02
G02B21/00
【請求項の数】 10
(21)【出願番号】P 2019220771
(22)【出願日】2019-12-05
(65)【公開番号】P2021089244
(43)【公開日】2021-06-10
【審査請求日】2022-10-21
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】内田 和歌奈
(72)【発明者】
【氏名】坂神 純子
(72)【発明者】
【氏名】魚住 孝之
(72)【発明者】
【氏名】土田 翔大
【審査官】櫻井 仁
(56)【参考文献】
【文献】国際公開第2019/097587(WO,A1)
【文献】特開昭61-153507(JP,A)
【文献】特開2007-233908(JP,A)
【文献】特開2012-232414(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G01N 21/00
G01J 9/00
G02B 21/00
(57)【特許請求の範囲】
【請求項1】
写体を透過した光の波面の変化と、前記写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、
前記位相算出工程により生成された前記定量位相画像に基づいて、前記写体の高を算出する高さ算出工程と、
前記高さ算出工程により算出された前記写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、
前記分類用閾値設定工程により設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程とを備え、
前記被写体分類工程は、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域内の高さ、あるいは、前記高さ算出部で算出した高さが前記分類用閾値を超える前記被写体の領域の面積に基づいて、前記被写体を分類する
画像処理方法。
【請求項2】
前記高さ算出工程により算出された前記被写体の高さを視認可能な態様で表示する画像を生成する画像生成工程を更に備え、
前記被写体分類工程は、前記分類用閾値を超える高さを有する前記被写体ごとに高さを決定し、各被写体の高さに基づいて前記分類用閾値を超える高さを有する被写体を分類し、
前記画像生成工程は、分類された前記被写体を前記高さに応じた態様で表示部に表示する、
請求項1に記載の画像処理方法
【請求項3】
前記画像生成工程は、
表示されている前記高さに対して表示変更用閾値を設定する表示変更用閾値設定工程と、
表示されている前記高さが前記表示変更用閾値を超えている領域又は前記高さが前記表示変更用閾値以下である領域を前記表示部に表示する態様を変更させる表示制御工程とを備える、
請求項2に記載の画像処理方法
【請求項4】
前記表示制御工程は、前記表示されている高さが前記表示変更用閾値を超えている領域を前記表示部に表示する態様を変更させた場合又は前記表示されている高さが前記表示変更用閾値以下である領域を前記表示部に表示する態様を変更させた場合、表示される前記高さの最小値から高さの最大値までの範囲を変更する、
請求項3に記載の画像処理方法。
【請求項5】
被写体を透過した光の波面の変化と、前記被写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出部と、
前記位相算出部により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出部と、
前記高さ算出部により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定部と、
前記分類用閾値設定部で設定された前記分類用閾値と、前記高さ算出部により算出された前記被写体の高さとに基づいて前記被写体を分類する被写体分類部と、
前記高さ算出部により算出された前記被写体の高さに基づいて画像データを生成する画像データ生成部と、
前記被写体分類部によって分類された分類情報に基づいて、前記画像データ生成部で生成された画像データを処理する画像データ処理部と、
を備える画像生成装置。
【請求項6】
前記被写体分類部は、前記分類用閾値を超える高さを有する前記被写体ごとに高さを決定し、被写体の高さに基づいて前記分類用閾値を超える高さを有する被写体を分類し、
前記画像データ処理部は、分類された前記被写体を前記高さに応じた態様で前記画像データを表示部に表示する、
請求項5に記載の画像生成装置。
【請求項7】
前記画像データ処理部は、前記高さ算出部で高さを算出された各被写体のうち、前記分類用閾値設定部で設定された閾値を超える高さ情報を有する被写体が表示部に表示されないよう処理する、
請求項5または請求項6のいずれか一項に記載の画像生成装置。
【請求項8】
前記画像データ処理部は、前記被写体分類部で分類された各被写体のうち、所定の分類に属する被写体が表示部に表示されないよう処理する、
請求項5または請求項6のいずれか一項に記載の画像生成装置。
【請求項9】
顕微鏡に用いられる画像処理システムにおいて、
被写体に照明光を照射する光源と、
対物光学系を含み、前記照明光が照射された被写体の像を結像する結像光学系と、
前記結像光学系からの前記被写体の像を撮像し、電気信号に変換するイメージセンサと、
マイクロプロセッサを含む制御部とを備え、
前記制御部は、前記マイクロプロセッサに次の工程を実行させる、
前記電気信号に基づいて前記被写体からの光の波面の変化及び前記対物光学系の光軸と交差する計測面上の光強度分布を導出し、前記光の波面の変化と前記計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、
前記位相算出工程により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出工程と、
前記被写体の高さを視認可能な態様で表示している画素を含む画像データを生成する画像生成工程と、
前記高さ算出工程により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、
前記分類用閾値設定工程で設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程と、
前記被写体分類工程で分類された前記被写体を前記高さに応じた視認可能な態様で前記画像データを表示部に表示する画像データ処理工程とを実行する
画像処理システム
【請求項10】
前記被写体分類工程は、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域内の高さ、あるいは、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域の面積に基づいて、前記被写体を分類する
請求項9に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像生成装置及び画像処理システムに関する。
【背景技術】
【0002】
神経細胞は、分化誘導の方法や分化誘導の段階によりGABAニューロンやDOPAニューロンのように単一の細胞種のみが含まれる場合と神経細胞以外の細胞が混在しているヘテロな細胞集団を形成している場合とがある。これら細胞集団に含まれる個々の細胞を染色及び侵襲的な処置を行わずに、生きている状態で観察する技術は、神経細胞を含むにとどまらず、さまざま細胞の様解析や、薬剤スクリーニング等のアッセイを行う上で有効である。また、このような技術は、機能補助等を目的として、神経細胞と異なる細胞の層の上に神経細胞を播種し、神経細胞を培養する上でも有効である。このような技術に適用され得る画像として、例えば、特許文献1に記載されている定量位相画像が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2019/097587号
【発明の概要】
【0004】
本発明の一態様は、写体を透過した光の波面の変化と、前記写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、
前記位相算出工程により生成された前記定量位相画像に基づいて、前記写体の高を算出する高さ算出工程と、前記高さ算出工程により算出された前記写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、前記分類用閾値設定工程により設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程とを備え、前記被写体分類工程は、前記高さ算出工程で算出した高さが前記分類用閾値を超える前記被写体の領域内の高さ、あるいは、前記高さ算出部で算出した高さが前記分類用閾値を超える前記被写体の領域の面積に基づいて、前記被写体を分類する画像処理方法である。
本発明の一態様は、被写体を透過した光の波面の変化と、前記被写体を透過した光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出部と、前記位相算出部により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出部と、前記高さ算出部により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定部と、前記分類用閾値設定部で設定された前記分類用閾値と、前記高さ算出部により算出された前記被写体の高さとに基づいて前記被写体を分類する被写体分類部と、前記高さ算出部により算出された前記被写体の高さに基づいて画像データを生成する画像データ生成部と、前記被写体分類部によって分類された分類情報に基づいて、前記画像データ生成部で生成された画像データを処理する画像データ処理部と、を備える画像生成装置である。本発明の一態様は、顕微鏡に用いられる画像処理システムにおいて、被写体に照明光を照射する光源と、対物光学系を含み、前記照明光が照射された被写体の像を結像する結像光学系と、前記結像光学系からの前記被写体の像を撮像し、電気信号に変換するイメージセンサと、マイクロプロセッサを含む制御部とを備え、前記制御部は、前記マイクロプロセッサに次の工程を実行させる、前記電気信号に基づいて前記被写体からの光の波面の変化及び前記対物光学系の光軸と交差する計測面上の光強度分布を導出し、前記光の波面の変化と前記計測面上の光強度分布との関係に基づいて、前記被写体を透過した光の位相分布データを算出し、定量位相画像を生成する位相算出工程と、前記位相算出工程により生成された前記定量位相画像に基づいて、前記被写体の高さを算出する高さ算出工程と、前記被写体の高さを視認可能な態様で表示している画素を含む画像データを生成する画像生成工程と、前記高さ算出工程により算出された前記被写体の高さに対して分類用閾値を設定する分類用閾値設定工程と、前記分類用閾値設定工程で設定された前記分類用閾値と前記高さ算出工程により算出された前記被写体の高さとに基づいて、前記被写体を分類する被写体分類工程と、前記被写体分類工程で分類された前記被写体を前記高さに応じた視認可能な態様で前記画像データを表示部に表示する画像データ処理工程とを実行する
画像処理システムである。
【図面の簡単な説明】
【0005】
図1】実施形態に係る画像処理システムの一例を示す図である。
図2】実施形態に係る画像生成装置の一例を示す図である。
図3】実施形態に係る被写体を透過する光の位相の変化により、計測面上の光強度分布が変化することを示す概念図である。
図4】実施形態に係る計測面を説明するための概念図である。
図5】実施形態に係る焦点間隔を説明するための概念図である。
図6】実施形態に係るサンプリング間隔を説明するための概念図である。
図7】実施形態に係る定量位相画像の一例を示す図である。
図8】実施形態に係る測定軌跡上の輝度の一例を示す図である。
図9】実施形態に係る測定軌跡上の一部を拡大した図である。
図10】実施形態に係る画像生成装置が実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0006】
以下では、適宜図面を参照しながら、実施形態に係る画像生成装置及び画像処理システムについて説明する。実施形態に係る画像処理システムは、被写体において間隔Δz離れた複数の位置各々に対物レンズの焦点を配置しつつ、光を照射し、焦点が配置された領域各々からの光を検出し、当該検出により取得したデータに基づいて定量位相画像を作成する。そして、画像処理システムは、定量位相画像に含まれる画素が表示している高さに基づいて当該画像に描出されている被写体を分類する。
【0007】
ここで言う定量位相画像は、被写体における厚さの変化と屈折率の変化を積とする位相を可視化した画像である。定量位相画像は、被写体の位相が2倍、3倍、4倍等の様々な値に変化しても位相を定量的に表すことができるため、被写体の位相を定量化した画像ともいえる。一方、既存の位相差画像や微分干渉画像は、位相に振幅が混ざる干渉画像であるため、被写体の位相を完全に定量化することはできない。
【0008】
図1は、実施形態に係る画像処理システムの一例を示す図である。画像処理システム1は、顕微鏡を含んでおり、顕微鏡本体部100と、画像生成装置40とを備える。顕微鏡本体部100は、被写体Sに光を照射する透過照明光学系10と、ステージ8と、結像光学系7と、落射照明光学系110と、検出部9とを備える。結像光学系7は、対物光学系20と、フィルターキューブ120と、リレー光学系30とを備える。なお、画像生成装置40の機能は顕微鏡本体部100から物理的に離れた電子計算機等に配置してもよい。
【0009】
透過照明光学系10は、光源11と、レンズ12と、バンドパスフィルター13と、視野絞り14と、レンズ15と、開口絞り16と、集光レンズ17とを備える。対物光学系20は、対物レンズ21を備える。対物レンズ21は、複数の対物レンズ、例えば、対物レンズ21a、対物レンズ21b及び対物レンズ21cの中の一つを選択して使用する。リレー光学系30は、結像レンズ31と、ビームスプリッター32と、ミラー33a、ミラー33b及びミラー33cと、レンズ34a、レンズ34b及びレンズ34cと、接眼レンズ35とを備える。接眼レンズ35は眼Eを近づけて覗き込むことができるように構成されている。なお、対物レンズ21に含まれる対物レンズの数は特に限定されない。また、顕微鏡本体部100に含まれる光学系の態様は、被写体Sの所望の面の画像を撮像により取得することができれば特に限定されない。
【0010】
図1は、顕微鏡本体部100の光学系の光軸を一点鎖線L1で示し、光源11からの照明光、すなわち光束を二点鎖線L2で示している。対物レンズ21のうち被写体Sに焦点を配置しているレンズを対物レンズ21aとすると、後に詳述する対物レンズ21aの光軸Loは、顕微鏡本体部100の光軸L1と一致しているため、これを図1においてL1(Lo)と示した。検出部9で検出された光の検出信号の流れを実線矢印A1で示し、画像生成装置40による顕微鏡本体部100の制御を実線矢印A2で模式的に示した。一点鎖線L1、一点鎖線L2、実線矢印A1及び実線矢印A2は、以下の説明でも同様のものを示す。
【0011】
光源11は、ハロゲンランプ等の非コヒーレント光源装置を含み、被写体Sに照射する光L2を出射する。光源11は、非コヒーレント光を出射し、出射された非コヒーレント光が後述する開口絞り16を含む透過照明光学系10の各部により、位相復元が可能な光軸に略垂直な波面を有する光とされて被写体Sに照射される構成となっている。また、ここで言う位相復元とは、後に詳述するが、計測した被写体Sからの光の強度から、強度輸送方程式を用いて被写体Sの位相値を算出することである。光L2は、被写体Sの位相計測が可能であればどのような波長の光でも構わないが、可視光で見えづらい被写体Sを位相計測により可視化できる観点では、そのまま可視光を使用することが簡素で好ましい。
【0012】
なお、被写体Sに照射する光L2は、可視光でなくてもよく、紫外光や赤外光であってもよい。さらに、光L2の波面は光軸に略垂直でなくとも、波面の形状が既知であればよく、例えば、光L2の波面は略球面であってもよい。また、光源11は、パルスレーザや連続発振(CW)レーザなどのコヒーレント光源を含み、光L2としてコヒーレント光を出射してもよい。
【0013】
光源11から出射した光L2は、レンズ12に入射する。レンズ12に入射した光L2は、レンズ12により屈折され、略平行な光となってレンズ12を透過し、バンドパスフィルター13に入射する。バンドパスフィルター13に入射した光L2は、所望の波長範囲の波長成分の光のみがバンドパスフィルター13により透過されて視野絞り14に入射する。ここで、バンドパスフィルター13により透過される光の波長範囲は、軸上色収差によって発生する、位相復元誤差、すなわち位相を復元する際の位相の実測値と実際の位相との誤差が大きくなり過ぎないように適宜設定される。バンドパスフィルター13は、適宜光路外の位置P1に退避可能に構成される。
【0014】
なお、光源11としてレーザ光等の波長範囲が狭い光源を用いる際は、バンドパスフィルター13を光路に配置する必要は無い。また、バンドパスフィルター13を使用せず、被写体Sに対して結像側に配置されたフィルターキューブ120のフィルターにより検出する波長範囲を制限してもよい。
【0015】
視野絞り14に入射した光L2は、その光束径が調節されて視野絞り14を出射し、レンズ15に入射する。レンズ15に入射した光L2は、レンズ15により収束されてレンズ15を出射し、開口絞り16に入射する。開口絞り16に入射した光L2は、その波面が球面状になるように変換され、開口絞り16を出射し、集光レンズ17に入射する。集光レンズ17に入射した光L2は、集光レンズ17により屈折され、被写体Sに照射される際に光軸に略垂直な波面を有する光となり、被写体Sに照射される。
【0016】
被写体Sは、位相の計測を行う対象となる部分又は当該部分の近傍に対物レンズ21aの焦点位置が含まれるようにステージ8上に配置される。被写体Sは、特に限定されないが、光L2が被写体Sに照射され透過する際に、振幅の変化の割合は比較的小さく、一方、位相の変化の割合は大きい場合に、本実施形態に係る位相計測の効果がより顕著に得られるので好ましい。このような物体を位相物体と呼ぶ。被写体Sとしては、上記の観点から、特に神経細胞等の細胞のような位相物体が好ましい。
【0017】
ステージ8は、対物レンズ21aの光軸及び当該光軸に垂直な軸に沿って移動可能に構成されている。ここで、対物レンズ21aの光軸とは、図5に示すように、対物レンズ21aの被写体S側のレンズ面の光学中心と対物レンズ21aの焦点を通る直線で示される軸(光軸Lo)を指す。ステージ8は、モータ等の移動装置による電動駆動により、被写体Sを撮像する際に、対物レンズ21aの光軸Loに沿った移動が可能に構成されている。図5では、対物レンズ21aの光軸Loが、顕微鏡本体部100の光軸L1と一致している点を、Lo(L1)と示した。以下の説明では、図1に座標軸900として示すように、顕微鏡本体部100の光軸L1、すなわち対物レンズ21aの光軸Loに平行にz軸をとり、z軸に垂直であって紙面に平行にx軸を取り、x軸及びz軸に垂直にy軸をとる。
【0018】
対物光学系20は、対物レンズ21を含んで構成される。対物レンズ21は、対物レンズ21a、対物レンズ21b及び対物レンズ21cを備える。画像処理システム1は、開口数NA等が異なる対物レンズ21a、対物レンズ21b及び対物レンズ21cを交換して被写体Sを撮像して、それぞれの対物レンズ21により得たデータに基づいて位相計測を行う際、得られる位相値のばらつきを抑制するように構成されている。対物レンズ21を変更した際に計測される位相値の変化が大きいと、異なる対物レンズ21を用いて取得したデータの間の比較が難しくなる。また、異なる対物レンズ21を用いて取得したデータのうちどの対物レンズ21を用いて取得したデータが位相を復元する際の精度が高いのか判断が難しい等の理由により、一連の測定に係る作業に負担が生じる。
【0019】
落射照明光学系110は、水銀ランプ111等を含んで構成されている。落射照明光学系110から出射した光は、フィルターキューブ120に入射する。
【0020】
フィルターキューブ120は、励起フィルター121と、ダイクロイックミラー122と、吸収フィルター123とを含んで構成され、落射照明光学系110から入射した光を被写体Sへと反射する。フィルターキューブ120は、光路外の位置P2に適宜、退避できるように構成されている。
【0021】
励起フィルター121は、落射照明光学系110から入射した励起光の波長範囲を、ダイクロイックミラー122の反射波長領域にするように透過波長域が設定されており、これにより、励起光の一部の波長範囲の励起光を透過させる。ダイクロイックミラー122は、励起フィルター121を透過した励起光を被写体Sに向けて反射する。吸収フィルター123は、ダイクロイックミラー122から入射した光のうち被写体Sや光学系からの不要な散乱光を吸収し、必要な光のみをリレー光学系30の結像レンズ31に出射する。
【0022】
リレー光学系30の結像レンズ31は、フィルターキューブ120から入射した光を検出部9に結像するように屈折させてビームスプリッター32に出射する。ビームスプリッター32は、フィルターキューブ120から入射した光の一部を検出部9へと反射し、残りは透過させてミラー33aに出射する。ミラー33aで反射した光は、レンズ34a、ミラー33b、レンズ34b、レンズ34c及びミラー33cの順で、ミラーでの反射またはレンズでの屈折を経て接眼レンズ35に入射する。接眼レンズ35に入射した光は接眼レンズ35により屈折されてユーザの眼Eに入射して知覚される。
【0023】
検出部9は、イメージセンサ、例えば、CCD、CMOSを含んで構成され、リレー光学系30のビームスプリッター32により反射された光を検出する。検出した光に対応する検出信号は不図示のA/D変換器等により適宜A/D変換されて画像生成装置40に出力される。言い換えると、検出部9は、被写体Sの画像を撮像する。
【0024】
なお、画像処理システム1は、被写体Sの位相計測に際し、検出部9が、透過照明光学系10からの照明光L2が照射された被写体Sの像を撮像する構成にしたが、落射照明光学系110からの照明光が照射された被写体Sの像を撮像する構成にしてもよい。この場合、落射照明光学系110からの照明光は、対物レンズ21aを介して被写体Sに照射され、被写体Sで反射した光に基づく被写体Sの像を検出部9で撮像する。
【0025】
図2は、実施形態に係る画像生成装置の一例を示す図である。画像生成装置40は、入力部41と、表示部42と、通信部43と、記憶部44と、制御部50とを備える。制御部50は、装置制御部51と、演算部52とを備える。装置制御部51は、最適条件計算部511を備える。演算部52は、位相算出部521と、高さ算出部522と、画像生成部523と、分類用閾値設定部524と、被写体分類部525と、表示変更用閾値設定部526と、表示制御部527とを備える。
【0026】
入力部41は、入力装置、例えば、キーボード、マウス、タッチパネルを含んでおり、顕微鏡本体部100による被写体Sの撮像や演算部52による当該撮像により得られたデータの解析に必要な情報等を含む入力データを受け付ける。入力部41は、受け付けた入力データを、後述の記憶部44に適宜記憶させる。なお、入力部41は、入力データを後述の通信部43を介して取得してもよい。
【0027】
表示部42は、液晶モニタ等の表示装置により構成され、顕微鏡本体部100による撮像の条件、当該撮像により得られたデータに基づいて演算部52が生成した解析結果、定量位相画像等を表示する。
【0028】
通信部43は、インターネット等の通信網を利用して通信を行う通信装置により構成され、例えば、顕微鏡本体部100による撮像の条件、当該撮像により得られたデータに基づいて演算部52が生成した解析結果、定量位相画像を送信したり、適宜必要なデータを送受信したりする。
【0029】
記憶部44は、不揮発性メモリ等の記憶装置により構成され、例えば、制御部50に処理を行わせるプログラム、顕微鏡本体部100による撮像に必要なデータ、当該撮像により得られたデータ、当該データに基づいて演算部52が生成した解析結果及び定量位相画像を記憶する。
【0030】
制御部50は、CPU等のマイクロプロセッサ等を含むプロセッサにより構成され、画像処理システム1を制御する動作の主体として機能する。すなわち、記憶部44等に格納されているプログラムを実行することにより、顕微鏡本体部100による被写体Sの撮像を行う装置制御処理、当該撮像により得られたデータの位相復元処理等の解析処理、出力処理等の各種処理を行う。
【0031】
最適条件計算部511は、顕微鏡本体部100が被写体Sにおける複数の位置のそれぞれに対物レンズ21aの焦点を順次配置して検出部9により被写体Sからの光を検出する際に設定するための、当該複数の位置の間隔Δzを算出する。この間隔Δzを焦点間隔と呼ぶ。焦点間隔Δzは、精度良く位相計測を行うために重要なパラメータである。以下、この点に関し、強度輸送方程式を利用した位相計測の方法に基づいて説明する。
【0032】
図3は、実施形態に係る被写体を透過する光の位相の変化により、計測面上の光強度分布が変化することを示す概念図である。被写体Sは、細胞等の位相物体であり、波面W1、波面W2及び波面W3により模式的に示されているように、互いに平行で光軸に略垂直な波面を有する平面波が照射されている。平面波の進行方向は矢印A3で示した。被写体Sを透過した光は、振幅は大きく変化しないものの、位相が変化することにより、例えば、図3に波面W4で示すように、等位相面、すなわち波面が変化する。ホイヘンス=フレネルの原理で、曲線状の波面を構成する光は、実線矢印A4で示されるように計測面i1に到達する。ここで、後に詳述するように、一例として対物レンズ21aの焦点が配置される被写体Sにおける特定の面、すなわち対物レンズ21aの合焦面を計測面i1と称する。計測面i1は、対物レンズ21aの光軸に実質的に垂直な面である。図3では、計測面i1は平面波の波面W1、波面W2及び波面W3と実質的に平行である。計測面i1上では、上述のように被写体Sによる波面の変化に伴い所定の光の強度分布が形成される。被写体Sによる透過光の位相の変化と光強度分布との関係に基づいて、透過光の強度を解析することにより、位相の変化を計測する方法が提案されている。本実施形態では、以下に説明する強度輸送方程式を用いた方法を利用する。
【0033】
伝播する波動における、強度Iと位相φの関係は、強度輸送方程式により記述される。強度輸送方程式は、以下の式(1)及び式(2)による連立方程式である。詳細は、Paganin D and Nugent KA, “Noninterferometric Phase Imaging withPartially Coherent Light,” Physical Review Letters, Volume 88, pp.2586-2589を参照されたい。
【0034】
【数1】
【0035】
【数2】
【0036】
ここで、∇の添字であるxyは、XY平面を示す。XY平面は、光の伝搬方向に垂直な平面、すなわち本実施形態ではz軸に垂直な平面である。式(2)の左辺に現れる∇xyφは、XY平面における位相φの勾配(gradient)を示す。式(1)の左辺と式(2)の右辺に現れるΦは、式(1)をポアソン方程式の形にして計算しやすいように導入された関数であり、検出したXY平面における強度Iのzに関する微分係数の分布を得て、ポアソン方程式(1)を解くことにより導出できる。式(1)を解いて得た関数Φと光強度分布から、式(2)を解いて位相φを算出することができる。
【0037】
図4は、実施形態に係る計測面を説明するための概念図である。まず、被写体Sの計測面i1における光強度分布及び計測面i1におけるzに関する微分係数分布を得る必要がある。このため、装置制御部51は、図4で示すように、対物レンズ21aの焦点が所望の計測面i1に含まれるように設定して、結像光学系7により検出部9の検出面に被写体Sの像を結像させて被写体Sからの光を検出部9に検出させる。検出部9の各画素からの検出信号は、図2に示した制御部50に入力され、演算部52により各画素の位置と検出信号に基づいた光強度とが対応付けられた光強度分布データが生成される。
【0038】
光強度分布データは、ある座標zの値に対応する計測面上での座標(x、y)の位置に対応する、検出部9における各画素で検出された光の強度分布を表すデータである。光強度分布データは、当該座標x、y、zの値に対応する光強度を示すデータであり、ルックアップテーブルの形式で構築されている。例えば、あるzの値に対応する計測面上での光強度分布を色または階調で区別して二次元にマッピングすることにより、当該zの位置における光の強度分布を示す画像である光強度画像を作成することができる。なお、所定の座標x、y、zの値に対応する光強度の値を取り出すことができれば、光強度分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
【0039】
計測面i1の位置、すなわち対物レンズ21aの焦点位置は、検出部9により検出される被写体Sからの光の光強度のコントラストに基づいた位置に設定されることが好ましい。装置制御部51は、位相計測の前に取得した被写体Sの三次元の光強度分布データから算出したパラメータ、例えば、以下に示す分散vz等の被写体Sからの光の光強度のコントラストを示すパラメータに基づいて、計測面i1の位置を設定することができる。上記三次元の光強度分布データを事前に撮像により取得する場合、この光強度分布データの取得のための撮像の際の被写体Sにおける焦点の位置は特に限定されず、適宜設定すればよい。
【0040】
装置制御部51は、事前に取得した三次元の光強度分布データについて、各zの値に対応した、x方向及びy方向についての二次元の光強度分布をIz(x、y)としたとき、各zの値に対応する光強度分布の分散vzを以下の式(3)により算出する。
【0041】
【数3】
【0042】
ここで、Nxは事前に取得した光強度分布データのx方向のピクセル数、Nyは事前に取得した光強度分布データのy方向のピクセル数、Izの上にバーが示されたものは各zの値に対応する、当該光強度分布データ上の全ての(x,y)についてのIz(x,y)の算術平均等の平均値である。装置制御部51は、算出した各zの値に対応する分散vzに基づいて計測面i1の位置、すなわち対物レンズ21aの焦点位置を設定する。例えば、装置制御部51は、算出した分散vzのうち極小となる分散vzに対応するz方向の位置に計測面i1の位置を設定する。言い換えると、装置制御部51は、計測面i1の位置をコントラストが低い光強度分布データに対応するzの値に設置する。
【0043】
装置制御部51は、最適条件計算部511が算出した焦点間隔Δzに基づいて、対物レンズ21aの焦点位置が、計測面i1上の位置からz軸に沿って-Δz及び+Δzの距離ずれたそれぞれの位置となるように計測面i2及び計測面i3上に当該焦点位置を順次設定する。焦点間隔Δzの具体的な値の決定方法は後述する。装置制御部51は、これらの計測面i2及び計測面i3にそれぞれ対物レンズ21aの焦点を配置した際に、結像光学系7により検出部9の検出面に被写体Sの像を結像させて被写体Sからの光を検出部9に検出させる。計測面i2及び計測面i3に対物レンズ21aの焦点を配置したそれぞれの場合に対応する検出部9の各画素からの検出信号は、制御部50に入力され、演算部52により各画素の位置と検出信号に基づいた光強度とが対応付けられた光強度分布データがそれぞれ生成される。なお、計測面i1、計測面i2又は計測面i3上に配置される、それぞれの対物レンズ21aの焦点の位置は、それぞれ計測面i1、計測面i2又は計測面i3上に存在すれば、XY平面上の位置は特に限定されない。
【0044】
生成された計測面i2と計測面i3のそれぞれの計測面に対応するそれぞれの光強度分布データは、計測面i1における光強度のzに関する微分係数を算出するのに用いられる。演算部52は、計測面i2上の点及び計測面i3上の点であって、XY平面上での座標が同じ位置等の互いに対応する位置にある2点の強度の値の差分を、計測面i2及びi3の間の距離である2Δzで割ることにより、計測面i1における光強度のzに関する微分係数に相当するdI/dz=(I3-I2)/2Δzを算出する。演算部52は、算出された光強度のzに関する微分係数分布に対応する微分係数分布データを適宜、記憶部44等に記憶させる。微分係数分布データは、座標x、y、zの値に対応する光強度のzに関する微分係数の分布を示すデータであり、ルックアップテーブルの形式で構築されている。なお、所定の座標x、y、zの値に対応するzに関する微分係数の値を取り出すことができれば、微分係数分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
【0045】
図5は、実施形態に係る焦点間隔を説明するための概念図である。図5では、ステージ8上に被写体Sが載置されている。図5では、対物レンズ21aの光軸Loに平行にz軸が設定され、被写体Sから対物レンズ21aへ向かう向きをz軸の+の向きとしている。また、焦点位置Fから対物レンズ21aに入射する光の光束を二点鎖線L200で模式的に示した。図5では、対物レンズ21aの焦点位置Fをz=z0とし、z=z0の点を含んでz軸に垂直な面を計測面i1として示している。
【0046】
装置制御部51は、モータ等の移動装置を介して電動駆動することによりステージ8を移動させ、計測面i1、計測面i2又は計測面i3上にそれぞれ対物レンズ21aの焦点位置を設定する。装置制御部51は、対物レンズ21aの光軸Loに沿って互いに焦点間隔Δz離れた複数の位置のそれぞれに対物レンズ21aの焦点を順次配置する。ここで、対物レンズ21aの光軸Loに沿って互いに焦点間隔Δz離れた複数の位置とは、当該複数の位置を対物レンズ21aの光軸Loに射影した際に、互いにΔzの距離離れる複数の位置を指す。また、対物レンズ21aは結像光学系7においてステージ8側にあるため、対物レンズ21aの焦点位置Fは、対物光学系20又は結像光学系7の焦点位置と言い換えることもできる。
【0047】
装置制御部51の最適条件計算部511は、本実施形態における顕微鏡本体部100の設定情報と後に詳述する位相復元パラメータkを用い、焦点間隔Δzを以下の式(4)により算出する。ここで、顕微鏡本体部100の設定情報とは、定量位相画像の生成のために顕微鏡本体部100に設定される情報であり、例えば、対物レンズ21aの開口数、照明光L2の波長、対物レンズ21aと被写体Sとの間の屈折率の情報である。
【0048】
【数4】
【0049】
ここで、λは、照明光L2の波長であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。nは、対物レンズ21aと被写体Sとの間の屈折率であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。装置制御部51は、対物レンズ21aが乾燥対物レンズの場合、対物レンズ21aと被写体Sとの間の雰囲気は空気であるため、空気の屈折率として例えばn=1.00に設定する。一方、対物レンズ21aが液浸対物レンズの場合、装置制御部51は、対物レンズ21aと被写体Sとの間に満たされる浸液の屈折率を屈折率nとして設定する。NAは、対物レンズ21aの開口数であり、入力部41へのユーザの入力等に基づいて装置制御部51が設定する。そして、最適条件計算部511は、顕微鏡本体部100の設定情報に基づいて、焦点間隔Δzを算出する。具体的には、最適条件計算部511は、式(4)に示されたように、対物レンズ21aの開口数NA、照明光L2の波長λ、及び対物レンズ21aと被写体Sとの間の屈折率nの情報に基づいて焦点間隔Δzを算出する。
【0050】
また、位相復元パラメータkは1以上の値であり、式(4)において、k=1の場合には、対物レンズ21aの性能を最大限に生かす遮断空間周波数まで、強度輸送方程式により位相復元を行うことができる。kの値が1より大きくなるに従って、強度輸送方程式により位相復元を行うことができる空間周波数は低くなる。さらに、位相復元の精度は、焦点間隔Δz及び被写体S上のサンプリング間隔の少なくとも一方を調節することにより高めることができる。
【0051】
図6は、実施形態に係るサンプリング間隔を説明するための概念図である。図3を参照しながら説明した通り、被写体Sを透過して非平面となった波面W4は、計測面i1、計測面i2及び計測面i3(以下、計測面i1、計測面i2及び計測面i3を総称して計測面iと呼ぶ)に位相の変化に基づいた光強度分布を形成する。図6の右側の図は、計測面iを対物レンズ21aの光学中心から見た概念図で、検出部9の個々の画素に対応する部分Gを示した。個々の画素に対応する部分Gは、被写体Sに対応する領域を格子状に覆うように配列される。以下の説明において、サンプリング間隔Δx及びサンプリング間隔Δyは、このように対物レンズ21aの焦点位置が設定された計測面iにおける個々の画素に対応する部分Gの幅である。
【0052】
サンプリング間隔Δx及びサンプリング間隔Δyは、検出部9の画素サイズをP、結像光学系7の横倍率をβとしたとき、Δx=Δy=P/βとなる。ここで、検出部9の画素サイズとは、CCD等の場合、各画素の幅を示し、変形例6で後述するレーザ走査型蛍光観察ユニットを用いた走査型顕微鏡の場合、画素サイズPは、視野数(対角)をスキャン倍率で割ったサイズである。以下では、サンプリング間隔をΔxとして記述する。結像光学系7の横倍率βは、対物レンズ21aの倍率β1とリレー光学系30の倍率β2との積となる。
【0053】
最適条件計算部511が上述のように対物レンズ21aの焦点を配置する位置の数及び焦点間隔Δzを設定したら、装置制御部51は、設定された対物レンズ21aの焦点を配置する位置の数及び焦点間隔Δzに基づいて被写体Sの撮像を行う。被写体Sからの光を検出部9が検出して得られた検出信号は、演算部52に入力される。
【0054】
演算部52は、検出部9から入力された検出信号を処理する。演算部52は、当該検出信号から光強度分布データを生成し、この光強度分布データに基づいて定量位相画像を生成する画像生成部として機能する。また、演算部52は、光強度分布データに基づいて復元した被写体Sの位相に基づいて解析を行う。
【0055】
演算部52は、検出部9の各画素の位置と、入力された検出信号に基づいた光強度とが対応付けられた光強度分布データを生成し、適宜、記憶部44等に記憶させる。演算部52は、上述した式(1)、式(2)及び最適条件計算部511が設定した焦点間隔Δz等に基づいて、生成した光強度分布データから計測面i1等を含む被写体Sにおける位相φに対応する位相分布データを生成し、適宜、記憶部44等に記憶させる。位相分布データは、座標x、y、zの値に位相が対応付けられているデータであり、ルックアップテーブルの形式で構築されている。なお、所定の座標x、y、zの値に対応する位相値を取り出すことができれば、位相分布データのデータ構造は特に限定されず、他の既存のデータ構造であってもよい。
【0056】
なお、式(3)に基づいて、最適条件計算部511が対物レンズ21aの焦点を配置する位置の数を、3を超える値に設定した場合は、演算部52は、以下に詳述するようにSavitzky-Golay法を用いて光強度分布データから位相を復元することが好ましい。
【0057】
演算部52は、位相分布データに基づいて、2次元または3次元の定量位相画像を構築し、記憶部44等に記憶させる。ここで、定量位相画像とは、被写体における厚さの変化と屈折率の変化を積とする位相を可視化した画像である。具体的には、一例として、定量位相画像は、式(1)及び式(2)で算出した位相値に応じて階調値を設定した画像である。定量位相画像は、一例として、位相値の大きさに比例した階調のグレースケールを設定した画像である。この場合、定量位相画像では、位相値の大小を示す階調値から被写体Sのz方向の寸法である高さを視認することができる。なお、定量位相画像は、式(1)及び式(2)で算出された位相値に応じて階調値を設定した画像に限られず、既存の他の方法で算出した位相値に応じて階調値を設定した画像であってもよい。
【0058】
また、上述した通り、演算部52は、位相算出部521と、高さ算出部522と、画像生成部523と、分類用閾値設定部524と、被写体分類部525と、表示変更用閾値設定部526と、表示制御部527とを備える。
【0059】
位相算出部521は、被写体Sからの光の波面の変化と光が入射する対物レンズ21a、対物レンズ21b又は対物レンズ21cの光軸と交差する計測面i1上の光強度分布との関係に基づいて、被写体Sを透過した光の位相を計測面i1上の所定の第一領域ごとに算出する。また、位相算出部521は、計測面i2及び計測面i3についても同様の方法を使用して被写体Sを透過した光の位相を所定の第一領域ごとに算出する。具体的な算出方法は、上述した通りである。
【0060】
高さ算出部522は、所定の第一領域ごとに算出された位相に基づいて、計測面i1と交差する方向の寸法である高さを所定の第二領域ごとに算出する。すなわち、高さ算出部522は、所定の第一領域ごとに算出された位相を所定の第二領域ごとに計測面i1と交差する方向の寸法である高さに変換する。例えば、高さ算出部522は、次の式(5)を使用して高さを算出する。また、第一領域及び第二領域は、いずれも任意に決定されてよい。
【0061】
【数5】
【0062】
は、例えば、被写体Sの屈折率である。nは、例えば、被写体Sの一例である神経細胞の周囲に存在する培養液の屈折率である。dは、被写体Sの一例である神経細胞各部の高さである。
【0063】
また、高さ算出部522は、計測面i2及び計測面i3についても同様の方法を使用して高さを所定の第二領域ごとに算出する。なお、第二領域は、第一領域と一致していてもよいし、第一領域と一致していなくてもよい。
【0064】
画像生成部523は、所定の第二領域ごとに算出された高さを視認可能な態様で表示している画素を含む画像を生成する。当該画素は、第一領域及び第二領域の少なくとも一方と一致していてもよいし、第一領域及び第二領域の少なくとも一方と一致していなくてもよい。
【0065】
分類用閾値設定部524は、画素により表示されている高さに対して分類用閾値を設定する。分類用閾値は、例えば、定量位相画像に描出されている細胞の状態や細胞の種類を分類するために使用される。ここで言う細胞の状態は、例えば、生きている状態及び死んでいる状態を含む。また、ここで言う細胞の種類は、神経細胞、アストロサイト様の物質、死細胞である。なお、分類用閾値は、入力部41を使用して入力されたデータに基づいて設定されてもよいし、過去に収集されたデータ等に基づいて事前に設定されていてもよい。
【0066】
被写体分類部525は、画素により表示されている高さに基づいて画像に描出されている被写体Sを分類する。例えば、被写体分類部525は、画素により表示されている高さが分類用閾値を超えている領域の面積に基づいて被写体Sを分類する。或いは、被写体分類部525は、画素により表示されている高さが分類用閾値を超えている領域内の高さに基づいて算出された値に基づいて被写体Sを分類する。また、当該値は、当該領域内の高さの標準偏差、平均値、中央値、最大値、最小値等の統計値である。
【0067】
例えば、被写体分類部525は、被写体Sの高さの標準偏差が比較的小さい場合、被写体Sがアストロサイト様の物質であることを示すデータを生成して記憶部44等に格納してもよい。また、被写体分類部525は、被写体Sの高さの標準偏差が比較的大きい場合、被写体Sが細胞体であることを示すデータを生成して記憶部44等に格納してもよい。また、被写体分類部525は、画素により表示されている高さが分類用閾値を超えている領域の面積が比較的小さい場合、被写体Sが死細胞であることを示すデータを生成して記憶部44等に格納してもよい。また、被写体分類部525は、被写体Sが描出されている領域に高さのピークが所定の数以上存在する場合、被写体Sが複数の細胞が凝集しているものであることを示すデータを生成して記憶部44等に格納してもよい。
【0068】
表示変更用閾値設定部526は、画素により表示されている高さに対して表示変更用閾値を設定する。なお、表示変更用閾値は、入力部41を使用して入力されたデータに基づいて設定されてもよいし、過去に収集されたデータ等に基づいて事前に設定されていてもよい。
【0069】
表示制御部527は、画素により表示されている高さが表示変更用閾値を超えている領域又は画素により表示されている高さが表示変更用閾値以下である領域を表示部42に表示する態様を変更させる。表示部42に表示する態様の変更の一例としては、これらの領域に対応する部分を表示部42に表示しないようにすることが挙げられる。
【0070】
また、表示制御部527は、画素により表示されている高さが表示変更用閾値を超えている領域を表示部42に表示する態様を変更させた場合、画像に含まれる画素により表示される高さの最小値から高さの最大値までの範囲を変更してもよい。さらに、表示制御部527は、画素により表示されている高さが表示変更用閾値以下である領域を表示部42に表示する態様を変更させた場合、画像に含まれる画素により表示される高さの最小値から高さの最大値までの範囲を変更してもよい。
【0071】
図7は、実施形態に係る定量位相画像の一例を示す図である。図7に示した定量位相画像Imは、細胞c1と、細胞c2と、細胞c3と、細胞c4と、測定軌跡Lとを示す。ここで細胞c1及び細胞c2は、例えば、死細胞である。細胞c3は、例えば、神経細胞である。細胞c4は、例えば、アストロサイト様の物質である。ここで、死細胞、神経細胞及びアストロサイト様の物質は、それぞれ互いにz軸方向の高さが異なる。表示制御部527は、被写体Sの高さに応じた態様(例えば、輝度、色など)によって、被写体Sを区別して表示する。
【0072】
図8は、実施形態に係る測定軌跡上の輝度の一例を示す図である。図9は、実施形態に係る測定軌跡上の一部を拡大した図である。
表示制御部527は、例えば、細胞c1に対応する位置P1と、細胞c2に対応する位置P2と、細胞c3に対応する位置P3と、細胞c4に対応する位置P4を区別して表示する。同図に示すように、表示制御部527は、測定軌跡Lに沿った被写体Sの高さをグラフ表示することもできる。
【0073】
次に、図10を参照しながら、画像生成装置40が実行する処理の一例を説明する。図10は、実施形態に係る画像生成装置が実行する処理の一例を示す図である。
【0074】
ステップS10において、位相算出部521は、被写体からの光の波面の変化と光が入射する対物レンズの光軸と交差する計測面上の光強度分布との関係に基づいて、被写体を透過した光の位相を計測面上の所定の第一領域ごとに算出する。
【0075】
ステップS20において、高さ算出部522は、所定の第一領域ごとに算出された位相に基づいて、計測面と交差する方向の寸法である高さを所定の第二領域ごとに算出する。
【0076】
ステップS30において、画像生成部523は、所定の第二領域ごとに算出された高さを視認可能な態様で表示している画素を含む画像を生成する。
【0077】
ステップS40において、分類用閾値設定部524は、画素により表示されている高さに対して分類用閾値を設定する。
【0078】
ステップS50において、被写体分類部525は、画素により表示されている高さに基づいて画像に描出されている被写体を分類する。
【0079】
ステップS60において、表示変更用閾値設定部526は、画素により表示されている高さに対して表示変更用閾値を設定する。
【0080】
ステップS70において、表示制御部527は、画素により表示されている高さが表示変更用閾値を超えている領域又は画素により表示されている高さが表示変更用閾値以下である領域を表示部に表示する態様を変更させる。
【0081】
以上説明したように、本実施形態の画像生成装置40は、被写体Sの高さを視認可能な態様で表示することができる。
【0082】
本発明の実施形態について図面を参照しながら説明した。ただし、画像処理システム1は、上述した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形、置換、組み合わせ及び設計変更の少なくとも一つを加えることができる。
【符号の説明】
【0083】
1…画像処理システム、40…画像生成装置、521…位相算出部、522…高さ算出部、523…画像生成部、524…分類用閾値設定部、525…被写体分類部、526…表示変更用閾値設定部、527…表示制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10