特許第6886306号(P6886306)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許6886306位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6886306
(24)【登録日】2021年5月18日
(45)【発行日】2021年6月16日
(54)【発明の名称】位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラム
(51)【国際特許分類】
   G01N 21/45 20060101AFI20210603BHJP
   G02B 21/00 20060101ALI20210603BHJP
   G03B 15/00 20210101ALI20210603BHJP
   G02B 27/52 20060101ALI20210603BHJP
   G01N 21/17 20060101ALI20210603BHJP
   G06T 7/00 20170101ALI20210603BHJP
   G06T 1/00 20060101ALI20210603BHJP
【FI】
   G01N21/45 A
   G02B21/00
   G03B15/00 H
   G03B15/00 T
   G02B27/52
   G01N21/17 A
   G06T7/00 630
   G06T1/00 295
【請求項の数】12
【全頁数】23
(21)【出願番号】特願2017-17994(P2017-17994)
(22)【出願日】2017年2月2日
(65)【公開番号】特開2018-124215(P2018-124215A)
(43)【公開日】2018年8月9日
【審査請求日】2020年1月22日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】石渡 裕
【審査官】 横尾 雅一
(56)【参考文献】
【文献】 特開2001−272603(JP,A)
【文献】 米国特許出願公開第2014/0227682(US,A1)
【文献】 特開2016−028607(JP,A)
【文献】 特開2014−209085(JP,A)
【文献】 特開平06−094435(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00−21/61
G02B 21/00
G02B 27/52
G03B 15/00
G06T 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、
前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正し、
前記第1の位相分布を補正することは、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定することと、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
前記減衰特性を算出することは、
前記物体領域と前記注目領域との面積比率を算出することと、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
ことを特徴とする位相分布算出方法。
【請求項2】
位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、
前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正し、
前記第1の位相分布を補正することは、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
前記減衰特性を算出することは、
前記計測領域と前記注目領域との面積比率を算出することと、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
ことを特徴とする位相分布算出方法。
【請求項3】
請求項又は請求項に記載の位相分布算出方法において、
前記第1の閾値は、ミトコンドリアに対応する位相量である
ことを特徴とする位相分布算出方法。
【請求項4】
請求項1又は請求項2に記載の位相分布算出方法において、
前記第1の位相分布を補正することは、さらに、
前記第1の位相分布に基づいて、前記3次元領域中から前記物体領域を前記注目領域として特定することを含み、
前記減衰特性を算出することは、前記注目領域の平均位相量の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することを含む
ことを特徴とする位相分布算出方法。
【請求項5】
請求項1又は請求項2に記載の位相分布算出方法で前記第1の位相分布を補正することで第2の位相分布を算出し、
前記第2の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記3次元領域中から第1の比較対象領域を特定し、
前記第2の位相分布と前記第1の閾値よりも小さな位相量である第2の閾値とに基づいて、前記3次元領域中から第2の比較対象領域を特定し、
前記第1の比較対象領域と前記第2の比較対象領域の比較結果に基づいて、前記位相物体を評価する
ことを特徴とする評価方法。
【請求項6】
請求項に記載の評価方法において、
前記位相物体を評価することは、
前記第1の比較対象領域のサイズと前記第2の比較対象領域のサイズの比率を算出することと、
前記算出したサイズの比率に基づいて、前記位相物体を評価することと、を含む
ことを特徴とする評価方法。
【請求項7】
顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、
前記顕微鏡装置は、
位相分布を像強度分布に変換する光学系を備え、
前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
前記画像処理装置は、
前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、
前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され
前記第1の位相分布を補正することは、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定することと、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
前記減衰特性を算出することは、
前記物体領域と前記注目領域との面積比率を算出することと、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
ことを特徴とする画像処理装置。
【請求項8】
位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、
前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の画像に対応する3次元領域の第1の位相分布を算出し、
前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され
前記第1の位相分布を補正することは、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定することと、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
前記減衰特性を算出することは、
前記物体領域と前記注目領域との面積比率を算出することと、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
ことを特徴とする画像処理システム。
【請求項9】
顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、
前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、
前記画像処理装置を、
前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出する手段、
前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正する手段、として機能させ
前記第1の位相分布を補正する手段は、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定する手段と、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、
前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、
前記減衰特性を算出する手段は、
前記物体領域と前記注目領域との面積比率を算出する手段と、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む
ことを特徴とするプログラム。
【請求項10】
顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、
前記顕微鏡装置は、
位相分布を像強度分布に変換する光学系を備え、
前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、
前記画像処理装置は、
前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、
前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され、
前記第1の位相分布を補正することは、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
前記減衰特性を算出することは、
前記計測領域と前記注目領域との面積比率を算出することと、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
ことを特徴とする画像処理装置。
【請求項11】
位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、
前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の画像に対応する3次元領域の第1の位相分布を算出し、
前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され、
前記第1の位相分布を補正することは、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記3次元領域中から選択された計測領域前記注目領域を特定することと、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、
前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、
前記減衰特性を算出することは、
前記計測領域と前記注目領域との面積比率を算出することと、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む
ことを特徴とする画像処理システム。
【請求項12】
顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、
前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、
前記画像処理装置を、
前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出する手段、
前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正する手段、として機能させ、
前記第1の位相分布を補正する手段は、
前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、
前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定する手段と、
前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、
前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、
前記減衰特性を算出する手段は、
前記計測領域と前記注目領域との面積比率を算出する手段と、
前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位相分布算出方法、評価方法、画像処理装置、画像処理システム、プログラムに関する。
【背景技術】
【0002】
従来から、位相差顕微鏡や微分干渉顕微鏡などを用いて生体細胞等の位相物体の位相分布を算出して位相物体を可視化することで、位相物体を観察する技術が知られている。また、位相物体内での光の散乱による位相量の減衰分を補償することで、位相分布を高い精度で算出する技術も知られている。このような技術は、例えば、特許文献1に記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−272603号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
細胞が立体的な集合体を形成したスフェロイドやコロニーなどのような比較的大きな位相物体を観察対象物とする場合、減衰した位相量を補償する技術は特に効果的であり、当該技術の更なる改善が求められている。
【0005】
以上のような実情を踏まえ、本発明の一側面に係る目的は、位相物体の位相分布を高精度に算出する技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係る位相分布算出方法は、位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正し、前記第1の位相分布を補正することは、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記物体領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の別の態様に係る位相分布算出方法は、位相分布を像強度分布に変換する光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記複数の位置で取得した複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正し、前記第1の位相分布を補正することは、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記計測領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
【0007】
本発明の一態様に係る評価方法は、上記態様に記載の位相分布算出方法で前記第1の位相分布を補正することで第2の位相分布を算出し、前記第2の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記3次元領域中から第1の比較対象領域を特定し、前記第2の位相分布と前記第1の閾値よりも小さな位相量である第2の閾値とに基づいて、前記3次元領域中から第2の比較対象領域を特定し、前記第1の比較対象領域と前記第2の比較対象領域の比較結果に基づいて、前記位相物体を評価する。
【0008】
本発明の一態様に係る画像処理装置は、顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記画像処理装置は、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され、前記第1の位相分布を補正することは、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記物体領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
【0009】
本発明の一態様に係る画像処理システムは、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、前記画像処理装置は、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され、前記第1の位相分布を補正することは、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記物体領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
【0013】
本発明の一態様に係るプログラムは、顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、前記画像処理装置を、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出する手段、前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正する手段、として機能させ、前記第1の位相分布を補正する手段は、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値とに基づいて、前記注目領域を特定する手段と、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、前記減衰特性を算出する手段は、前記物体領域と前記注目領域との面積比率を算出する手段と、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む
【0014】
本発明の別の態様に係る画像処理装置は、顕微鏡装置で取得された複数の画像を処理する画像処理装置であって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得し、前記画像処理装置は、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され、前記第1の位相分布を補正することは、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記計測領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の別の態様に係る画像処理システムは、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得する顕微鏡装置と、前記複数の位置で前記顕微鏡装置により取得された複数の画像を処理する画像処理装置と、を備え、前記画像処理装置は、前記複数の画像に対応する3次元領域の第1の位相分布を算出し、前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正するように構成され、前記第1の位相分布を補正することは、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定することと、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記3次元領域中から選択された計測領域前記注目領域を特定することと、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、前記減衰特性に基づいて、前記物体領域の位相量を補正すること、を含み、前記減衰特性を算出することは、前記計測領域と前記注目領域との面積比率を算出することと、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出することと、を含む。
本発明の別の態様に係るプログラムは、顕微鏡装置で取得された複数の画像を処理する画像処理装置のプログラムであって、前記顕微鏡装置は、位相分布を像強度分布に変換する光学系を備え、前記光学系の焦点位置を前記光学系の光軸方向に異なる位相物体内の複数の位置に順次移動させて、前記複数の位置の各々で前記光学系を介して画像を取得するように構成され、前記画像処理装置を、前記複数の位置で前記顕微鏡装置により取得された前記複数の画像に基づいて、前記複数の画像に対応する3次元領域の第1の位相分布を算出する手段、前記第1の位相分布に基づいて前記3次元領域中から特定された注目領域の前記光軸方向の変化に基づいて、前記第1の位相分布を補正する手段、として機能させ、前記第1の位相分布を補正する手段は、前記第1の位相分布に基づいて、前記3次元領域中から前記3次元領域のうちの前記位相物体が存在する物体領域を特定する手段と、前記第1の位相分布と前記位相物体内の特定の構造に対応する位相量である第1の閾値と前記3次元領域中から選択された計測領域とに基づいて、前記計測領域中から前記注目領域を特定する手段と、前記注目領域の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、前記減衰特性に基づいて、前記物体領域の位相量を補正する手段、を含み、前記減衰特性を算出する手段は、前記計測領域と前記注目領域との面積比率を算出する手段と、前記面積比率の前記光軸方向の変化に基づいて、前記位相物体の減衰特性を算出する手段と、を含む。
【発明の効果】
【0015】
上記の態様によれば、位相物体の位相分布を高精度に算出することができる。
【図面の簡単な説明】
【0016】
図1】画像処理システム100の構成を例示した図である。
図2】顕微鏡装置20の構成を例示した図である。
図3】画像処理装置30の構成を例示した図である。
図4】補正位相分布算出処理のフローチャートの一例である。
図5】画像取得処理のフローチャートの一例である。
図6】位相分布算出処理のフローチャートの一例である。
図7】位相物体を側面から見た図である。
図8A】撮像領域P1の位相量のヒストグラムである。
図8B】撮像領域P2の位相量のヒストグラムである。
図9】位相分布補正処理のフローチャートの一例である。
図10A】補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した図である。
図10B】補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。
図10C】補正後における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。
図11】位相分布補正処理のフローチャートの別の例である。
図12】位相分布補正処理のフローチャートの更に別の例である。
図13】位相物体評価処理のフローチャートの一例である。
図14】位相物体評価処理のフローチャートの別の例である。
【発明を実施するための形態】
【0017】
[第1の実施形態]
図1は、画像処理システム100の構成を例示した図である。図2は、顕微鏡装置20の構成を例示した図である。図3は、画像処理装置30の構成を例示した図である。図1から図3を参照しながら、画像処理システム100の構成について説明する。
【0018】
本実施形態に係る画像処理システム100は、生体細胞等の位相物体の画像を取得し、取得した画像を処理することで、位相物体を可視化し評価するシステムである。画像処理システム100は、図1に示すように、顕微鏡装置20と、顕微鏡装置20で取得した画像を処理する画像処理装置30と、画像処理装置30で処理された画像を表示する表示装置40と、入力装置(キーボード51、マウス52)を備えている。
【0019】
顕微鏡装置20は、図1に示すように、位相物体であるサンプルSの画像を取得する顕微鏡本体1と、顕微鏡本体1を制御する制御装置14と、を備えている。顕微鏡本体1は、図2に示すように、位相分布を像強度分布に変換する光学系1aと、光学系1aに含まれている光学素子を動かす複数の駆動装置(駆動装置15、16、17、18)と、撮像装置13を備えている。制御装置14は、顕微鏡本体1と一体的に構成されてもよく、顕微鏡本体1とは別体であってもよい。
【0020】
光学系1aは、照明系と、ステージ8と、検出系を備えている。照明系には、光源2と、レンズ3と、視野絞り4と、像コントラスト変化ユニット5と、ノマルスキープリズム6と、コンデンサレンズ7が含まれる。像コントラスト変化ユニット5は、偏光子5aとλ/4板5bを有している。検出系には、対物レンズ9、ノマルスキープリズム10、検光子11、及び結像レンズ12が含まれる。撮像装置13は、例えば、CCD(Charge Coupled Device)イメージセンサを備えるカメラである。複数の駆動装置は、例えば、ステッピングモータなどのモータである。
【0021】
光源2から出射した光は、レンズ3及び視野絞り4を介して入射する偏光子5aで直線偏光に変換され、λ/4板5bで円偏光又は楕円偏光に変換される。その後、光はノマルスキープリズム6で常光線と異常光線とに分離されて、コンデンサレンズ7によりステージ8上に配置されたサンプルSに照射される。サンプルSを透過した常光線と異常光線は、対物レンズ9を介して入射するノマルスキープリズム10で合成される。合成された光は、検光子11を介して入射した結像レンズ12によってCCDカメラ13の受光面に集光し、サンプルSの微分干渉像を形成する。このようにして微分干渉像が得られる。
【0022】
常光線と異常光線は、サンプルSにおいてわずかに異なる位置に入射する。この位置ずれ量をシアー量といい、位置ずれの方向をシアー方向という。駆動装置16、駆動装置18は、ノマルスキープリズム6、ノマルスキープリズム10を回転させる装置である。制御装置14が駆動装置16及び駆動装置18を制御することで、顕微鏡装置20は、シアー方向の異なる微分干渉像を得ることができる。
【0023】
異なる位置からサンプルSに入射した常光線と異常光線は、サンプルSの厚みや屈折率が異なる位置を通過することになる。このため、常光線と異常光線の間の光路長差によってノマルスキープリズム10で合成された光に位相差が生じる。この位相差はリターデーションともいう。駆動装置15は、偏光子5aを回転させる装置である。制御装置14が駆動装置15を制御することで、顕微鏡装置20は、ノマルスキープリズム6へ入射した時点における光の位相差(リタデーション)を変更することができる。これにより、撮像装置13へ入射した時点における光の位相差(リタデーション)も変化するため、微分干渉像の像コントラストを変更することができる。
【0024】
駆動装置17は、ステージ8を光学系1aの光軸方向に移動させる装置である。制御装置14が駆動装置17を制御することで、顕微鏡装置20は、光学系1aの焦点位置を光学系1aの光軸方向に異なるサンプルS内の複数の位置に順次移動させて、それら複数の位置の各々で光学系1aを介して微分干渉像を取得することができる。
【0025】
画像処理装置30は、例えば、標準的なコンピュータである。画像処理装置30は、図3に示すように、プロセッサ31、メモリ32、入出力インターフェース33、ストレージ34、及び、可搬記録媒体36が挿入される可搬記録媒体駆動装置35を備え、これらがバス37によって相互に接続されている。
【0026】
プロセッサ31は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などであり、プログラムを実行してプログラムされた処理、例えば、後述する補正位相分布算出処理、位相物体評価処理などを行う。メモリ32は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、ストレージ34または可搬記録媒体36に記録されているプログラムまたはデータを一時的に記憶する。
【0027】
入出力インターフェース33は、画像処理装置30以外の装置(例えば、顕微鏡装置20、表示装置40、キーボード51、マウス52など)と信号をやり取りする回路である。ストレージ34は、例えば、ハードディスク、フラッシュメモリであり、主に各種データやプログラムの記録に用いられる。可搬記録媒体駆動装置35は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記録媒体36を収容するものである。可搬記録媒体36は、ストレージ34を補助する役割を有する。ストレージ34及び可搬記録媒体36は、それぞれプログラムを記録した非一過性のコンピュータ読取可能媒体の一例である。
【0028】
なお、図3に示す構成は、画像処理装置30のハードウェア構成の一例であり、画像処理装置30はこの構成に限定されるものではない。画像処理装置30は、汎用装置ではなく専用装置であってもよい。画像処理装置30は、プログラムを実行するプロセッサの代わりに又は加えて、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの電気回路を備えてもよく、それらの電気回路により、後述する処理が行われてもよい。
【0029】
表示装置40は、例えば、液晶ディスプレイ、有機ELディスプレイである。表示装置40は、タッチパネルを備えてもよく、その場合、表示装置40は、入力装置としても機能する。
【0030】
図4は、補正位相分布算出処理のフローチャートの一例である。図5は、画像取得処理のフローチャートの一例である。図6は、位相分布算出処理のフローチャートの一例である。図7は、位相物体であるサンプルSを側面から見た図である。図8Aは、撮像領域P1の位相量のヒストグラムである。図8Bは、撮像領域P2の位相量のヒストグラムである。図9は、位相分布補正処理のフローチャートの一例である。図10Aは、補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した図である。図10Bは、補正前における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。図10Cは、補正後における物体領域と注目領域との面積比率の深さ方向の変化を示した拡大図である。図4から図10Cを参照しながら、画像処理システム100で行われる処理について説明する。
【0031】
図4に示す補正位相分布算出処理は、位相物体であるサンプルSの位相分布を高精度に算出する処理であり、画像取得処理(ステップS10)、位相分布算出処理(ステップS20)、位相分布補正処理(ステップS30)の3つの処理を含んでいる。なお、画像取得処理は、顕微鏡装置20で行われ、位相分布算出処理及び位相分布補正処理は、画像処理装置30で行われる。
【0032】
画像処理システム100は、補正位相分布算出処理を開始すると、顕微鏡装置20で画像取得処理を行う(ステップS10)。画像取得処理では、顕微鏡装置20は、図5に示すように、まず、像コントラストの異なる複数の画像を取得する(ステップS11)。
【0033】
より詳細には、制御装置14は、シアー方向が基準方向に対して45°方向になるように、駆動装置16、駆動装置18にノマルスキープリズム6、ノマルスキープリズム10を回転させる。その後、制御装置14は、駆動装置15に偏光板5aを回転させることによりノマルスキープリズム6へ入射した時点でのリターデーションを±θ、0に順番に変化させて、撮像装置13に像コントラストの異なる3枚の微分干渉画像I1(−θ)、I1(0)、I1(θ)を取得させる。さらに、制御装置14は、シアー方向が基準方向に対して−45°方向になるように、駆動装置16、駆動装置18にノマルスキープリズム6、ノマルスキープリズム10を回転させる。その後、制御装置14は、駆動装置15に偏光板5aを回転させることによりノマルスキープリズム6へ入射した時点でのリターデーションを±θ、0に順番に変化させて、撮像装置13に再び像コントラストの異なる3枚の微分干渉画像I2(−θ)、I2(0)、I2(θ)を取得させる。撮像装置13が取得した微分干渉画像は、画像処理装置30へ送信され、画像処理装置30のストレージ34に格納される。
【0034】
次に、顕微鏡装置20は、光学系1aの焦点位置を光軸方向に移動する(ステップS12)。ここでは、制御装置14が駆動装置17にステージ8を光軸方向に所定距離Δzだけ移動させることで、焦点位置が光軸方向に移動する。
【0035】
焦点位置の移動が完了すると、顕微鏡装置20は、移動後の焦点位置が位相分布を算出する所定の3次元領域内か否かを判定する(ステップS13)。そして、顕微鏡装置20は、焦点位置が所定の3次元領域外になるまで、ステップS11からステップS13の処理を繰り返し、その後、画像取得処理を終了する。これにより、顕微鏡装置20によって、光学系1aの焦点位置が光軸方向にΔzずつ異なる位相物体S内の複数の位置に順次移動し、それら複数の位置の各々で光学系1aを介して像コントラストの異なる複数の微分干渉画像が取得される。なお、所定の3次元領域は、位相分布を算出する対象とする領域として予め設定された領域である。
【0036】
画像取得処理が終了すると、画像処理システム100は、画像処理装置30で位相分布算出処理を行う(ステップS20)。位相分布算出処理では、画像処理装置30は、図6に示すように、まず、同じ焦点位置で取得された複数の微分干渉画像をストレージ34からメモリ32へ読み出す(ステップS21)。
【0037】
次に、画像処理装置30は、位相成分画像を生成する(ステップS22)。ここでは、プロセッサ31は、ステップS21で読み出した取得した複数の微分干渉画像を用いて以下の演算を行うことで、規格化された位相成分画像をシアー方向毎に生成する。ここで、Def1、Def2は、規格化された位相成分画像である。
Def1={I1(θ)−I1(−θ)}/{I1(θ)+I1(−θ)−I1(0)}
Def2={I2(θ)−I2(−θ)}/{I2(θ)+I2(−θ)−I2(0)}
規格化された位相分布画像を形成することにより、位相物体内の吸収による強度変化の影響を小さくすることができる。
【0038】
その後、画像処理装置30は、規格化された位相成分画像Def1、Def2を空間周波数で分解する(ステップS23)。ここでは、画像処理装置30は、サイズの異なる複数のカーネルを用いることで、規格化された位相成分画像を、空間周波数が最も低い背景成分の画像と、サンプルS内部で屈折した光によって生成される屈折成分の画像と、サンプルS内部の構造で回折した光によって生成される空間周波数が最も高い構造成分の画像とに分解する。
【0039】
より詳細には、プロセッサ31は、規格化された位相成分画像Def1、Def2のそれぞれに対して、平均化領域(カーネルサイズ)が100x100の平均化フィルターで平均化処理を数回行い、背景成分の画像BG1、BG2を生成する。さらに、プロセッサ31は、規格化された位相成分画像Def1、Def2のそれぞれから背景成分の画像BG1、BG2を差し引く。さらに、プロセッサ31は、その結果得られた視野ムラなどの外乱が除去された画像(Def1−BG1)、(Def2−BG2)のそれぞれに対して、平均化領域(カーネルサイズ)が20x20の平均化フィルターで平均化処理を数回行い、屈折成分の画像GR1、GR2を生成する。さらに、プロセッサ31は、規格化された位相成分画像Def1、Def2から背景成分の画像BG1、BG2と屈折成分の画像GR1、GR2を差し引き、構造成分の画像ST1(=Def1−BG1−GR1)、ST2(=Def2−BG2−GR2)を生成する。
【0040】
空間周波数で分解されると、画像処理装置30は、位相分布を算出する(ステップS24)。ここでは、画像処理装置30は、まず、構造成分の画像ST1、ST2に光学系1aの合焦状態における光学伝達関数(OTF)を用いてデコンボリューション処理を行い、物体の微細構造を表す構造成分の位相分布PhS1、PhS2を算出する。その後、画像処理装置30は、構造成分の位相分布PhS1、PhS2を合成して、新たな位相分布を算出する。
【0041】
なお、構造成分の位相分布PhS1、PhS2は、同じ物体(サンプルS)に対して異なるシアー方向を設定して算出した構造成分の位相分布である。このため、それぞれのシアー方向に対して略垂直な構造に関する位相分布以外は類似している。この点を利用して、構造成分の位相分布PhS1、PhS2に例えば位相限定相関法を適用して2つの画像間の相対的な位置ずれ量(δx、δy)を算出してもよい。算出した相対的な位置ずれ量を用いて構造成分の位相分布PhS1、PhS2間の位置ずれを補正した後に合成し、位相分布を算出してもよい。
【0042】
位相分布の算出が完了すると、画像処理装置30は、プロセッサ31から全ての焦点位置の微分干渉画像を読み出したか否かを判定する(ステップS25)。全ての焦点位置の微分干渉画像が読み出されていない場合には、画像処理装置30は、ステップS21の焦点位置の次の焦点位置で取得された複数の微分干渉画像をストレージ34からメモリ32へ読み出す(ステップS26)。
【0043】
その後、画像処理装置30は、全ての焦点位置の微分干渉画像が読み出されるまで、ステップS22からステップS26の処理を繰り返し、位相分布算出処理を終了する。これにより、画像処理装置30によって、顕微鏡装置20が光軸方向に異なる複数の位置で取得した複数の微分干渉画像に基づいて、複数の画像に対応する所定の3次元領域の位相分布が算出される。なお、以降では、図6に示す位相分布算出処理で算出された3次元領域の位相分布を第1の位相分布と記す。
【0044】
ところで、図2に示す倒立型の顕微鏡装置で図7に示すサンプルSの画像を取得する場合を例にすると、焦点位置Z2で取得した画像は、サンプルSの表面(底面)からより離れた位置で取得した画像であるので、焦点位置Z1で取得した画像よりも光の散乱の影響を大きく受ける。このため、図6に示す位相分布算出処理で算出された第1の位相分布は、焦点位置Z2において散乱の影響により焦点位置Z1に比べて大きく減衰した位相量を示す。
【0045】
位相物体であるサンプルSが生体細胞等である場合、細胞内でミトコンドリアなどの細胞小器官は一様に分布しているとみなし得る。このため、図8A及び図8Bに示すように、ヒストグラムH1の形状とヒストグラムH2の形状は、散乱による減衰の影響を受けることなく、また、サンプルSの形状によらず、ほぼ相似になる。なお、ヒストグラムH1は、図7に示す焦点位置Z1で取得した画像から算出される位相量のヒストグラムであり、ヒストグラムH2は、焦点位置Z2で取得した画像から算出される位相量のヒストグラムである。一方、散乱による位相量の減衰は、両ヒストグラムの分布位置を異ならせる。なお、細胞に一様に分布するミトコンドリアなどの特定の構造に対応する位相量を閾値T1とするとき、このヒストグラムの分布位置の違いは、ヒストグラムに占める閾値T1以上の位相量の割合の違いとして算出することができる。
【0046】
細胞による散乱は弱散乱であり、Lambert-Beer則に従って位相量(位相分布)が減衰することを考慮すると、閾値T1以上の位相量の割合の違いと焦点位置間の距離(図7に示す距離d)に基づいて減衰特性を算出することが可能であり、これにより、散乱による減衰の影響を見積もることができる。このため、画像処理システム100では、位相分布算出処理が終了すると、画像処理装置30が、位相物体内での光の散乱による位相量の減衰分が補償されるように、第1の位相分布を補正する位相分布補正処理を行う(ステップS30)。
【0047】
位相分布補正処理では、画像処理装置30は、図9に示すように、まず、所定の3次元領域から物体領域を特定する(ステップS31)。なお、所定の3次元領域とは、顕微鏡装置20で取得した複数の画像に対応する領域である。ここでは、プロセッサ31は、位相分布算出処理で算出された第1の位相分布に基づいて、所定の3次元像領域中からサンプルSが存在する物体領域を特定する。例えば、位相物体であるサンプルSが存在しない領域では位相量が極めて小さな値となることを利用して、プロセッサ31は、第1の位相分布から所定値以上の位相量を有する領域を抽出し、抽出した領域を物体領域と特定してもよい。
【0048】
物体領域が特定されると、画像処理装置30は、所定の3次元領域から注目領域を特定する(ステップS32)。なお、注目領域とは、サンプルS中の特定の構造に対応する位相量である閾値T1以上の位相量を有する領域であり、例えば、サンプルS中のミトコンドリアに対応する位相量以上の位相量を有する領域である。閾値T1は、ステップS31で用いる所定値よりも大きな位相量を示している。ここでは、プロセッサ31は、位相分布算出処理で算出された第1の位相分布と閾値T1とに基づいて、注目領域を特定する。
【0049】
物体領域と注目領域が特定されると、画像処理装置30は、サンプルSの減衰特性を算出する(ステップS33)。ここでは、プロセッサ31は、ステップS32で特定した注目領域の光軸方向(深さ方向)の変化に基づいて、サンプルSの減衰特性を算出する。より具体的には、プロセッサ31は、まず、物体領域と注目領域との面積比率をサンプル底面からの距離毎に算出する。物体領域と注目領域との面積比率とは、物体領域に占める注目領域の割合であり、“注目領域の面積÷物体領域の面積”で算出される。その後、プロセッサ31は、算出した面積比率の光軸方向の変化に基づいて、サンプルSの減衰特性を算出する。なお、正立顕微鏡の場合には、基準面はサンプル底面ではなくサンプル上面となるため、サンプル上面からの距離毎に面積比率を算出すればよい。
【0050】
図10Aの線L1は、サンプルSの底面からの距離毎に算出した面積比率をプロットしたものである。なお、図10Aに示すサンプルSの底面からの距離が小さいほど、図7に示すz位置も小さくなる。サンプルSの底面から遠くなるほど、光の散乱の影響を大きく受けることになる。このため、底面からの距離によらず一定の割合で存在すると考えられる注目領域が、底面からの距離が長くなるほど小さくなり、その結果、線L1に示すように、面積比率が小さくなる。
【0051】
サンプルSでの散乱は弱散乱であり、Lambert-Beer則に従って位相量(位相分布)が減衰するため、深さ方向に距離dだけ異なる2点での位相量ΦZ1、ΦZ2は、下式(1)で表される関係を有する。なお、kは位相量に関するサンプルSの減衰特性を示す係数(以降、位相減衰係数と記す。)である。
ΦZ2=ΦZ1×exp(−kd) ・・・(1)
【0052】
式(1)における位相量は、物体領域と注目領域との面積比率に置き換え可能である。このため、深さ方向に距離dだけ異なる2点での面積比率SRZ1、SRZ2は、下式(2)で表される関係を有する。
SRZ2=SRZ1×exp(−kd) ・・・(2)
【0053】
つまり、面積比率は、式(2)に示すように、サンプルSの位相減衰係数kに応じて光軸方向に指数関数的に変化する。この特性を利用することで、プロセッサ31は、位相減衰係数kを算出する。プロセッサ31は、底面からの距離毎に算出した面積比率に対して、例えば、最小二乗法等を適用して式(2)に示す関係を有する近似関数を算出することで、位相減衰係数kを算出してもよい。なお、図10Aの線L2は、プロセッサ31によって算出された近似関数を示している。
【0054】
なお、式(1)、式(2)は、dが小さい場合には、指数関数を展開して下式のように近似することが可能である。
ΦZ2=ΦZ1(1−kd) ・・・(1−1)
SRZ2=SRZ1(1−kd) ・・・(2−1)
【0055】
つまり、面積比率は、式(2−1)に示すように、局所的にはサンプルSの位相減衰係数kに応じて光軸方向に直線的に変化するとみなすことができる。図10Bは、図10Aに示す拡大範囲を拡大した図であり、図10Bでは、線L2がおよそ直線で表されている。
【0056】
最後に、画像処理装置30は、減衰特性に基づいて物体領域の位相量を補正する(ステップS34)。ここでは、プロセッサ31は、ステップS33で算出した減衰特性に基づいて、所定の3次元領域のうちのステップS31で特定された物体領域の位相量を補正する。より具体的には、プロセッサ31は、減衰特性に基づいて算出される底面からの距離毎の位相量の減衰分を補償するように、物体領域の位相量を補正する。これは、近似関数である線L2を底面からの距離に寄らず一定値を示す近似関数である線L4に変換することにより行われる。なお、図10Cの線L4が示す一定値は、図7に示すサンプルSの底面における面積比率に相当する。これにより、図10Cの線L3に示すように、面積比率が底面からの距離によらずサンプルSの底面における比率に近づき、ほぼ一定になる。
【0057】
以上のように、画像処理装置30が図9に示す位相分布補正処理を行うことで、3次元領域中から特定された注目領域の光軸方向の変化に基づいて第1の位相分布が補正されて、散乱による位相量の減衰が抑制された第2の位相分布が算出される。
【0058】
本実施形態に係る画像処理システム100によれば、図4に示す補正位相分布算出処理を行うことで、散乱による位相量の減衰の影響を補正により小さく抑えることができる。このため、位相物体の位相分布を高精度に算出することができる。従って、例えば、細胞が立体的な集合体を形成したスフェロイドやコロニーなどのような比較的大きな位相物体を観察対象物とする場合であっても、位相物体を良好に可視化することができる。
【0059】
さらに、第2の位相分布に基づいて位相物体を可視化した画像を表示することで、例えば、多能性細胞の良否判断の精度が向上する、多能性細胞のコロニー内の変質を3次元的に評価できる、スフェロイド内の各細胞の観察が可能となる、などの効果が期待できる。また、スフェロイド内の細胞の変性や壊死などの検出精度が向上する、スフェロイド上部細胞(つまり、スフェロイドの深部)の画像が従来に比べて強調されてはっきりと観察できる、などの効果も期待できる。
【0060】
図11は、位相分布補正処理のフローチャートの別の例である。画像処理システム100では、図9に示す位相分布補正処理の代わりに、図11に示す位相分布補正処理が行われてもよい。
【0061】
図11に示す位相分布補正処理は、図9に示す位相分布補正処理と同様に、画像処理装置30により行われる。まず、画像処理装置30は、所定の3次元領域から物体領域を特定する(ステップS41)。ステップS41の処理は、図9のステップS31と同様である。
【0062】
次に、画像処理装置30は、計測領域の選択を受け付ける(ステップS42)。ここでは、システムの利用者が、ステップS41で特定された物体領域中からキーボード51、マウス52を用いて計測領域を選択し、画像処理装置30が、利用者の操作を検出して選択された計測領域を特定する。なお、選択した計測領域が狭すぎると、計測領域にサンプルS中のある特定の構造のみが含まれてしまうことがあり、サンプルSを代表する領域として相応しくない場合がある。このため、画像処理装置30は、選択された計測領域が狭すぎる場合には、利用者に再設定を促すようにしてもよい。
【0063】
計測領域が選択されて特定されると、画像処理装置30は、計測領域から注目領域を特定する(ステップS43)。ここでは、プロセッサ31は、第1の位相分布と第1の閾値T1とステップS42で選択された計測領域とに基づいて、計測領域中から注目領域を特定する。なお、注目領域とは、閾値T1以上の位相量を有する領域であり、例えば、サンプルS中のミトコンドリアに対応する位相量以上の位相量を有する領域である。
【0064】
計測領域と注目領域が特定されると、画像処理装置30は、サンプルSの減衰特性を算出する(ステップS44)。ここでは、プロセッサ31は、ステップS43で算出した注目領域の光軸方向(深さ方向)の変化に基づいて、サンプルSの減衰特性を算出する。より具体的には、プロセッサ31は、まず、計測領域と注目領域との面積比率をサンプルSの底面からの距離毎に算出する。計測領域と注目領域との面積比率とは、計測領域に占める注目領域の割合であり、“注目領域の面積÷計測領域の面積”で算出される。その後、プロセッサ31は、算出した面積比率の光軸方向の変化に基づいて、サンプルSの減衰特性を算出する。なお、減衰特性は、例えば、上述した位相減衰係数として算出される。
【0065】
最後に、画像処理装置30は、減衰特性に基づいて物体領域の位相量を補正する(ステップS45)。ステップS45の処理は、図9のステップS34の処理と同様である。
【0066】
図11に示す位相分布補正処理は、物体領域の一部である計測領域と計測領域中の注目領域との面積比率から減衰特性を算出する点が、図9に示す位相分布補正処理とは異なる。減衰特性の算出に用いられる面積比率は、閾値T1に対応する特定の構造が一様に分布している領域とその領域中の注目領域との面積比率であればよい。従って、本実施形態に係る画像処理システム100によれば、図9に示す位相分布補正処理の代わりに、図11に示す位相分布補正処理が行割れた場合であっても、位相量の減衰の影響を補正により小さく抑えて、位相物体の位相分布を高精度に算出することができる。
【0067】
図12は、位相分布補正処理のフローチャートの更に別の例である。画像処理システム100では、図9に示す位相分布補正処理の代わりに、図12に示す位相分布補正処理が行われてもよい。
【0068】
図12に示す位相分布補正処理は、図9に示す位相分布補正処理と同様に、画像処理装置30により行われる。まず、画像処理装置30は、所定の3次元領域から物体領域を特定する(ステップS51)。ステップS51の処理は、図9のステップS31と同様である。ただし、ステップS51で特定した物体領域は、以降では、注目領域としても特定される。
【0069】
次に、画像処理装置30は、物体領域(注目領域)の平均位相量をサンプルSの底面からの距離毎に算出する(ステップS52)。ここでは、プロセッサ31は、第1の位相分布とステップS51で算出した物体領域とに基づいて、物体領域の平均位相量を底面からの距離毎に算出する。
【0070】
平均位相量が算出されると、画像処理装置30は、サンプルSの減衰特性を算出する(ステップS53)。ここでは、プロセッサ31は、ステップS52で算出した物体領域の平均位相量の光軸方向(深さ方向)の変化に基づいて、サンプルSの散乱係数を算出する。なお、ステップS52で算出した物体領域の平均位相量は、上述した式(1)及び式(1−1)に示す位相量に相当し、ひいては式(2)及び式(2−1)の面積比率に相当する。このため、ステップS53では、面積比率の光軸方向の変化の代わりに、平均位相量の光軸方向の変化を用いる点を除き、図9のステップS33と同様の手順で、減衰特性を算出することができる。
【0071】
最後に、画像処理装置30は、減衰特性に基づいて物体領域の位相量を補正する(ステップS54)。ステップS54の処理は、図9のステップS34の処理と同様である。
【0072】
本実施形態に係る画像処理システム100によれば、図9に示す位相分布補正処理の代わりに、図12に示す位相分布補正処理が行われた場合であっても、位相量の減衰の影響を補正により小さく抑えて、位相物体の位相分布を高精度に算出することができる。
【0073】
図13は、位相物体評価処理のフローチャートの一例である。画像処理システム100は、高精度に算出された位相分布に基づいて位相物体を評価してもよい。以下、図13を参照しながら、サンプルSが多能性細胞であるiPS細胞を含む位相物体である場合を例に、位相物体であるサンプルSの多能性を評価する位相物体評価処理について説明する。
【0074】
なお、人工多能性を持つように誘導された体細胞である未分化のiPS細胞では、通常の体細胞とは、ミトコンドリアの形態、数量が異なる。また、iPS細胞でも、分化誘導後は、ミトコンドリアの形態、数量は、通常の体細胞におけるミトコンドリアの形態、数量に近くなる。このため、iPS細胞を含む位相物体の多能性は、未分化のiPS細胞と分化誘導後のiPS細胞及び他の体細胞との割合や、それらの分布状況によって評価することができる。
【0075】
画像処理システム100は、位相物体評価処理を開始すると、補正位相分布算出処理を行い、第2の位相分布を算出する(ステップS61)。ステップS61の処理は、図4に示す補正位相分布算出処理と同様である。
【0076】
次に、画像処理システム100は、閾値T1に基づいて、所定の3次元領域中から第1の比較対象領域を特定する(ステップS62)。ここでは、プロセッサ31は、ステップS61で算出した第2の位相分布と閾値T1に基づいて、第1の比較対象領域を特定する。なお、閾値T1は、細胞に一様に分布するミトコンドリアなどの特定の構造に対応する位相量であり、より詳細には、iPS細胞ではない通常の体細胞におけるミトコンドリアに対応する位相量である。なお、未分化のiPS細胞におけるミトコンドリアに対応する位相量は、閾値T1よりも小さい。また、第1の比較対象領域とは、所定の3次元領域のうちの閾値T1以上の位相量を有する領域であり、多能性を有しない細胞(つまり、通常の体細胞及び分化誘導後のiPS細胞)が存在する領域である。
【0077】
さらに、画像処理システム100は、閾値T2に基づいて、所定の3次元領域中から第2の比較対象領域を特定する(ステップS63)。ここでは、プロセッサ31は、ステップS61で算出した第2の位相分布と閾値T2に基づいて、第2の比較対象領域を特定する。なお、閾値T2は、閾値T1よりも小さな位相量であり、例えば、未分化のiPS細胞におけるミトコンドリアに対応する位相量である。また、第2の比較対象領域とは、所定の3次元領域のうちの閾値T2以上の位相量を有する領域であり、細胞(通常の体細胞、未分化のiPS細胞、分化誘導後のiPS細胞を含む)が存在する領域である。
【0078】
最後に、画像処理システム100は、第1の比較対象領域と第2の比較対象領域の比較結果に基づいて、サンプルSを評価する(ステップS64)。ここでは、プロセッサ31は、まず、第1、第2の比較対象領域のサイズを算出して、さらに、第1の比較対象領域のサイズと第2の比較対象領域のサイズの比率を算出する。なお、サイズとは、大きさのことであり、例えば、面積又は体積のことである。サイズの比率とは、第2の比較対象領域に対する第1の比較対象領域の割合のことであり、“第1の比較対象領域のサイズ÷第2の比較対象領域のサイズ”で算出される。その後、算出したサイズの比率に基づいて、サンプルSを評価する。例えば、比率が高いほど多能性を有しない細胞の存在割合が大きく、多能性が低いと判断することができる。このため、プロセッサ31は、比率に基づいてサンプルSの多能性の高低を判定してもよい。また、プロセッサ31は、判定結果を表示装置40へ出力し表示してもよい。また、プロセッサ31は、第2の位相分布に基づいて可視化したサンプルSの画像上で、第1の比較対象領域と第2の比較対象領域を識別可能に表示してもよい。
【0079】
本実施形態に係る画像処理システム100によれば、図13に示す位相物体評価処理を行うことで、サンプルSの位相分布を高い精度で算出することできる。また、複数の閾値を用いることで壊死などによってコロニー内で細胞が存在しない領域を誤って評価対象に加えてしまうことを防止することができる。従って、サンプルSの位相分布に基づいて、サンプルSを正しく評価することができる。
【0080】
以上では、サンプルSの多能性を評価する例を示したが、位相物体評価処理で評価する対象は、サンプルSの多能性に限らない。異なる位相量を示す複数の閾値に基づいて、サンプルSを様々な観点から評価することができる。例えば、閾値T1を通常の体細胞におけるミトコンドリアに対応する位相量に設定し、閾値T2にガン細胞におけるミトコンドリアに対応する位相量を設定しても良い。これらの閾値に基づいて、第1の比較対象領域のサイズと第2の比較対象領域のサイズの比率を算出することで、細胞のガン化の進行度合いを評価してもよい。また、閾値には、ミトコンドリアに限らず、任意の細胞小器官に対応する位相量が設定されてもよい。また、第1の比較対象領域のサイズと第2の比較対象領域のサイズの比率は、体積比率であっても面積比率であってもよい。例えば、所定の3次元領域中の特定の断面に注目し、注目した断面中における第1、第2の比較対象領域の面積比率を算出することで、位相物体の多能性等を評価してもよい。
【0081】
また、第1、第2の比較対象領域を所定の3次元領域から特定する例を示したが、例えば、細胞単位で、第1、第2の比較対象領域を特定しても良い。この場合、サンプルS単位ではなく、細胞単位で多能性等を評価することができる。
【0082】
[第2の実施形態]
図14は、本実施形態に係る位相物体評価処理のフローチャートの一例である。なお、本実施形態に係る画像処理システム(以降、単に画像処理システムと記す)の構成は、画像処理システム100と同様である。画像処理システムは、画像処理装置30が位相分布補正処理を行わない点が、画像処理システム100とは異なる。以下、図14を参照しながら、本実施形態に係る位相物体評価処理について説明する。
【0083】
画像処理システムは、位相物体評価処理を開始すると、顕微鏡装置20が画像取得処理を行い(ステップS71)、画像処理装置30が位相分布算出処理を行う(ステップS72)。これにより、第1の位相分布が算出される。なお、ステップS71、ステップS72の処理は、それぞれ、図4のステップS10、ステップS20の処理と同様である。
【0084】
その後、画像処理システムは、閾値T1に基づいて、所定の3次元領域中から第1の比較対象領域を特定し(ステップS73)、閾値T2に基づいて、所定の3次元領域中から第2の比較対象領域を特定する(ステップS74)。ここで、閾値T1、閾値T2は、それぞれ、例えば、iPS細胞ではない通常の体細胞におけるミトコンドリアに対応する位相量、未分化のiPS細胞におけるミトコンドリアに対応する位相量である。また、閾値T2は、閾値T1よりも小さな位相量である。なお、ステップS73、ステップS74の処理は、それぞれ、図13のステップS62、ステップS63の処理と同様である。
【0085】
最後に、画像処理システムは、第1の比較対象領域と第2の比較対象領域の比較結果に基づいて、サンプルSを評価する(ステップS75)。ステップS75の処理は、図13のステップS64の処理と同様である。
【0086】
本実施形態に係る画像処理システムによっても、複数の閾値が用いられるため、壊死などによってコロニー内で細胞が存在しない領域を誤って評価対象に加えてしまうことを防止することができる。従って、図13に示す位相物体評価処理を行うことで、サンプルSの位相分布に基づいてサンプルSを正しく評価することができる。
【0087】
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。位相分布算出方法、評価方法、画像処理装置、及び、画像処理システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。例えば、図2には、サンプルSの構造(位相分布)を像強度分布として撮像素子の受光面に投影する微分干渉顕微鏡の光学系1aを例示したが、顕微鏡装置の光学系は位相分布を像強度分布に変換する光学系であればよく、例えば、位相差顕微鏡の光学系であってもよい。
【符号の説明】
【0088】
1・・・顕微鏡本体、2・・・光源、3・・・レンズ、4・・・視野絞り、5・・・像コントラスト変化ユニット、5a・・・偏光子、5b・・・λ/4板、6、10・・・ノマルスキープリズム、7・・・コンデンサレンズ、8・・・ステージ、9・・・対物レンズ、11・・・検光子、12・・・結像レンズ、13・・・撮像装置、14・・・制御装置、15、16、17、18・・・駆動装置、20・・・顕微鏡装置、30・・・画像処理装置、31・・・プロセッサ、32・・・メモリ、33・・・入出力インターフェース、34・・・ストレージ、35・・・可搬記録媒体駆動装置、36・・・可搬記録媒体、37・・・バス、40・・・表示装置、51・・・キーボード、52・・・マウス、100・・・画像処理システム、H1、H2・・・ヒストグラムL1、L2、L3、L4・・・線、S・・・サンプル
図1
図2
図3
図4
図5
図6
図7
図8A
図8B
図9
図10A
図10B
図10C
図11
図12
図13
図14