(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-27
(45)【発行日】2022-05-11
(54)【発明の名称】画像再構成方法、装置及び顕微結像装置
(51)【国際特許分類】
G01N 21/64 20060101AFI20220428BHJP
【FI】
G01N21/64 E
(21)【出願番号】P 2020541842
(86)(22)【出願日】2018-09-29
(86)【国際出願番号】 CN2018108865
(87)【国際公開番号】W WO2019076192
(87)【国際公開日】2019-04-25
【審査請求日】2020-06-12
(31)【優先権主張番号】201710959434.8
(32)【優先日】2017-10-16
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520129595
【氏名又は名称】蘇州微景医学科技有限公司
【氏名又は名称原語表記】SUZHOU MICROVIEW MEDICAL TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Room B902,No.388 Ruoshui Road,Suzhou Industrial Park Suzhou,Jiangsu 215123 China
(74)【代理人】
【識別番号】110002871
【氏名又は名称】特許業務法人坂本国際特許商標事務所
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際特許業務法人
(72)【発明者】
【氏名】邵 金華
(72)【発明者】
【氏名】孫 錦
(72)【発明者】
【氏名】段 后利
(72)【発明者】
【氏名】王 強
【審査官】吉田 将志
(56)【参考文献】
【文献】米国特許出願公開第2009/0092363(US,A1)
【文献】特開2013-192063(JP,A)
【文献】特開2016-109579(JP,A)
【文献】Anant Shinde et al.,Pixelate Removal in an Image Fiber Probe Endoscope Incorporating Comb Structure Removal Methods,J. Med. Imaging Health Inf.,American Scientific Publishers,2014年,Vol. 4, No. 2,203-211
【文献】Nenad Bozinovic et al.,Fluorescence endomicroscopy with structured illumination,OPTICS EXPRESS,OSA,2008年,Vol. 16, No. 11,8016-8025
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 - G01N 21/958
(57)【特許請求の範囲】
【請求項1】
画像再構成方法であって、
1つ又は複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得して、前記再構成画像を形成するステップと、を含
み、
前記1つ又は複数のサンプル画像で各光ファイバの中心位置のグレースケール値を確定する前記ステップの後に、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うステップと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、を更に含むことを特徴とする方法。
【請求項2】
均一な蛍光の光ファイバ束の原画像を取得するステップと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するステップとを更に含むことを特徴とする請求項1に記載の方法。
【請求項3】
均一な蛍光の光ファイバ束の原画像を取得する前記ステップは、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するステップと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するステップと、を含むことを特徴とする請求項2に記載の方法。
【請求項4】
前記空間補間を行う前に、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するステップを更に含むことを特徴とする請求項1に記載の方法。
【請求項5】
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、
前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することによって、前記補間重みを確定するステップを更に含むことを特徴とする請求項4に記載の方法。
【請求項6】
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN-1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得することによって、複数枚のサンプル画像を取得するステップを更に含むことを特徴とする請求項1に記載の方法。
【請求項7】
前記予め設定された位相間隔は120度であり、
N=3であることを特徴とする請求項6に記載の方法。
【請求項8】
複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する前記ステップは、
各光ファイバの中心位置の前記複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するステップを含むことを特徴とする請求項1に記載の方法。
【請求項9】
画像再構成装置であって、
1つ又は複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュールと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するための形成モジュールと、を備え
、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュールと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第1処理モジュールと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第2処理モジュールと、を更に備えることを特徴とする装置。
【請求項10】
均一な蛍光の光ファイバ束の原画像を取得するための第1取得モジュールと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第1確定モジュールとを更に備えることを特徴とする請求項
9に記載の装置。
【請求項11】
前記第1取得モジュールは、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュールと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュールと、を含むことを特徴とする請求項
10に記載の装置。
【請求項12】
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するための第2確定モジュールを更に備えることを特徴とする請求項
9に記載の装置。
【請求項13】
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第3確定モジュールを更に備えることを特徴とする請求項
12に記載の装置。
【請求項14】
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN-1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得するための第2取得モジュールを更に備えることを特徴とする請求項
9に記載の装置。
【請求項15】
前記予め設定された位相間隔は120度であり、
N=3であることを特徴とする請求項
14に記載の装置。
【請求項16】
前記計算モジュールは、具体的には各光ファイバの中心位置の前記複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用されることを特徴とする請求項
9に記載の装置。
【請求項17】
顕微結像装置であって、発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備え、
前記発光ユニットは、励起光を放射するために使用され、
前記位相調節ユニットは、前記励起光の光路の出口に設けられ、前記処理ユニットに接続され、前記処理ユニットによって送信された位相調節量に従って、前記励起光の位相を調節して、異なる位相の励起光を取得するために使用され、
前記転向ユニットは、
前記異なる位相の励起光を転向させて、転向後の励起光を前記光ファイバ束に沿って検出される組織に集光し、前記検出される組織によって返される異なる位相の蛍光を通過するために使用され、
前記検出ユニットは、
前記異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用され、
前記処理ユニットは、前記検出ユニットに接続され、前記複数のサンプル画像を受信し、複数のサンプル画像で確定された前記光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するために使用され
、
前記処理ユニットはさらに、前記複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に対して飽和度判断を行い、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算し、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するために使用されることを特徴とする顕微結像装置。
【請求項18】
前記位相調節ユニットはモーターと光学格子を含み、
前記モーターは、前記処理ユニット及び前記光学格子にそれぞれ接続され、前記処理ユニットによって送信された位相調節量に従って、前記光学格子をドラッグして移動させて、前記励起光が前記光学格子を透過した後に前記位相調節量に対応する励起光を取得するために使用されることを特徴とする請求項
17に記載の装置。
【請求項19】
前記モーターは直流モーターを含み、
それに対応して、前記処理ユニットは、予め設定された位相間隔に従って等間隔の位相調節量を確定し、前記直流モーターは、前記等間隔の位相調節量を受信し、前記光学格子をドラッグして、1つの光学格子間隔範囲内で等間隔距離移動させ、それにより、前記処理ユニットは前記予め設定された位相間隔に対応する複数のサンプル画像を取得することを特徴とする請求項
18に記載の装置。
【請求項20】
前記予め設定された位相間隔は120度であり、前記位相調節量は3個であることを特徴とする請求項
19に記載の装置。
【請求項21】
前記発光ユニットは、励起光を放射するためのレーザーを含み、さらに、前記レーザーの励起光の出口に設けられ、前記励起光の光束を拡張して線状光束に1次元集光するための光束拡張線集束装置を含むことを特徴とする請求項
17に記載の装置。
【請求項22】
前記転向ユニットは、ダイクロイックミラーであることを特徴とする請求項
17に記載の装置。
【請求項23】
光フィルターを更に備え、前記光フィルターは、前記位相調節ユニットと前記転向ユニットとの間に配置され、迷光を除去するために使用されることを特徴とする請求項
17に記載の装置。
【請求項24】
前記検出ユニットは電荷結合素子CCDを含むことを特徴とする請求項
17に記載の装置。
【請求項25】
複数のレンズからなる対物レンズを更に備え、前記対物レンズは、前記転向ユニットと前記光ファイバ束との間に配置され、前記転向ユニットによって転向した励起光を集光処理するために使用されることを特徴とする請求項
17に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理技術に関し、特に、画像再構成方法、装置及び顕微結像装置に関する。
【背景技術】
【0002】
構造化照明(structured illumination)に基づく顕微鏡は、焦点はずれ(out of focus)ノイズを抑制するセクショニング(sectioning)結像機能を有し、共焦点顕微鏡と比較すると、構造が簡単で結像速度が速いという利点を有する。現在の技術では、それは従来の内視鏡としてよく利用され、人の消化管などの臓器をスキャンして細胞の形状変化を観察することで、腫瘍の発生や進展を事前に予測することができ、癌検診にとって重要な指針となる。
【0003】
この構造化光照明に基づく顕微鏡では、具体的には、励起器によって、生体蛍光を励起する蛍光を放出し、次に、この蛍光が光学格子を通過して、黒白の縞模様の正弦波光源が形成される。次に、毎回光学格子の1/3の光学格子間隔を移動することで、人の細胞をスキャンした後に返された複数枚の画像、例えば、画像I
1、画像I
2、画像I
3を収集する。次に、自乗平均根式
に従って、画像I
1、画像I
2、画像I
3を再構成して、再構成後の画像Iを取得する。しかしながら、その再構成方法では、画像I
1、画像I
2、画像I
3内の全ての画素のグレースケールを自乗平均根式で計算する必要がある。そのため、計算に時間がかかり、再構成された画像内の光学格子及び光ファイバ束(fiber bundle)のハニカム状グリッドが明らかに残り、結像品質が低下する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
構造化光照明に基づく顕微鏡が画像の再構成に対して効率的ではなく、画像内の残留光学格子が明らかであり、結像の品質が低下するという従来技術の技術的問題を解決するために、本発明は、画像再構成方法、装置及び顕微結像装置を提供して、画像再構成の速度を上げ、再構成画像内の光学格子の残留を除去し、再構成された画像の品質を向上させる。
【0005】
本発明は画像再構成方法を提供する。この方法は、
1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するステップと、を含む。
【0006】
オプションで、
均一な蛍光の光ファイバ束の原画像を取得するステップと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するステップとを更に含む。
【0007】
オプションで、均一な蛍光の光ファイバ束の原画像を取得する前記ステップは、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するステップと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するステップと、を含む。
【0008】
オプションで、前記空間補間を行うステップの前に、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するステップを更に含む。
【0009】
オプションで、以下の方法を使用して補間重みを確定するステップをさらに含む:
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、
前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定する。
【0010】
オプションで、以下の方法を使用して複数枚のサンプル画像を取得するステップを更に含む。
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN-1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得する。
【0011】
オプションで、前記予め設定された位相間隔は120度であり、N=3である。
【0012】
オプションで、1枚又は複数枚のサンプル画像で各光ファイバの中心位置のグレースケール値を確定する前記ステップの後に、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うステップと
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、
再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、を更に含む。
【0013】
オプションで、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する前記ステップは、
各光ファイバの中心位置の前記複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するステップを含む。
【0014】
本発明は画像再構成装置を更に提供する。この装置は、
1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュールと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するための形成モジュールと、を備える。
【0015】
オプションで、
均一な蛍光の光ファイバ束の原画像を取得するための第1取得モジュールと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第1確定モジュールとを更に備える。
【0016】
オプションで、前記第1取得モジュールは、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュールと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュールと、を含む。
【0017】
オプションで、前記装置は、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するための第2確定モジュールを更に備える。
【0018】
オプションで、前記装置は、
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第3確定モジュールを更に備える。
【0019】
オプションで、前記装置は、
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN-1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得するための第2取得モジュールを更に備える。
【0020】
オプションで、前記予め設定された位相間隔は120度であり、
N=3である。
【0021】
オプションで、前記装置は、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュールと
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第1処理モジュールと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第2処理モジュールと、を更に備える。
【0022】
オプションで、前記計算モジュールは、具体的には各光ファイバの中心位置の前記複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用される。
【0023】
本発明は顕微結像装置を更に提供する。この顕微結像装置は、
発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備え、
前記発光ユニットは、励起光を放射するために使用され、
前記位相調節ユニットは、前記励起光の光路の出口に設けられ、前記処理ユニットに接続され、前記処理ユニットによって送信された位相調節量に従って、前記励起光の位相を調節して、異なる位相の励起光を取得するために使用され、
前記転向ユニットは、異なる位相の励起光を転向させて、転向後の励起光を前記光ファイバ束に沿って検出される組織に集光し、前記検出される組織によって返される異なる位相の蛍光を通過するために使用され、
前記検出ユニットは、異なる位相の蛍光を収集して、複数枚のサンプル画像を形成するために使用され、
前記処理ユニットは、前記検出ユニットに接続され、前記複数枚のサンプル画像を受信し、複数枚のサンプル画像で確定された前記光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するために使用される。
【0024】
オプションで、前記位相調節ユニットはモーターと光学格子を含み、
前記モーターは、前記処理ユニット及び前記光学格子にそれぞれ接続され、前記処理ユニットによって送信された位相調節量に従って、前記光学格子をドラッグして移動させて、前記励起光が前記光学格子を透過した後に前記位相調節量に対応する励起光を取得するために使用される。
【0025】
オプションで、前記モーターは直流モーターを含み、
それに対応して、前記処理ユニットは、予め設定された位相間隔に従って等間隔の位相調節量を確定し、前記直流モーターは、前記等間隔の位相調節量を受信し、前記光学格子をドラッグして、1つの光学格子間隔範囲内で等間隔距離移動させ、それにより、前記処理ユニットは前記予め設定された位相間隔に対応する複数枚のサンプル画像を取得する。
【0026】
オプションで、前記予め設定された位相間隔は120度であり、前記位相調節量は3個である。
【0027】
オプションで、前記発光ユニットは、励起光を放射するためのレーザーを含み、さらに、前記レーザーの励起光の出口に設けられ、前記励起光の光束を拡張して線状光束に1次元集光するための光束拡張線集束装置を含む。
【0028】
オプションで、前記転向ユニットはダイクロイックミラーである。
【0029】
オプションで、光フィルターを更に備え、前記光フィルターは、前記位相調節ユニットと前記転向ユニットとの間に配置され、迷光を除去するために使用される。
【0030】
オプションで、前記検出ユニットは電荷結合素子CCDを含む。
【0031】
オプションで、複数のレンズからなる対物レンズを更に備え、前記対物レンズは、前記転向ユニットと前記光ファイバ束との間に配置され、前記転向ユニットによって転向した励起光を集光処理するために使用される。
【0032】
本発明の画像再構成方法、装置及び顕微結像装置では、1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
【図面の簡単な説明】
【0033】
【
図1】例示的な実施例で示される本発明の画像再構成方法のフローチャートである。
【
図2】
図1に示される実施例の構造化光顕微内視鏡装置の模式図である。
【
図3】別の例示的な実施例で示される本発明の画像再構成方法のフローチャートである。
【
図4】
図3に示される実施例の光ファイバ画素三角形構造の模式図である。
【
図5】例示的な実施例で示される本発明の画像再構成装置の構造模式図である。
【
図6】別の例示的な実施例で示される本発明の画像再構成装置の構造模式図である。
【
図7】例示的な実施例で示される本発明の顕微結像装置の構造模式図である。
【
図8】別の例示的な実施例で示される本発明の顕微結像装置の構造模式図である。
【発明を実施するための形態】
【0034】
本発明の実施例の目的、技術的解決手段及び利点をさらに明確にするために、以下、本発明の実施例に添付の図面を参照しながら、本発明の実施例の技術的解決手段を明確かつ完全に説明する。当然のことながら、ここで説明する実施例は本発明の実施例の全てではなく一部にすぎない。当業者が創造的な作業なしに本発明の実施例に基づいて得られる他の全ての実施例は、本発明の保護範囲に含まれるべきである。
【0035】
図1は、例示的な実施例で示される本発明の画像再構成方法のフローチャートである。
図1に示すように、本発明の画像再構成方法は、すべての光学的に結像された画像の再構成に適し、特に、構造化光に基づく画像再構成に適している。まず、本実施例では、構造化光に基づく内視鏡を例として、構造化光結像の原理を簡単に説明する。
【0036】
図2に示すような構造化光に基づく顕微内視鏡装置では、励起装置によって放出された光源は光学格子を通して正弦波光に変調され、正弦波光は、ダイクロイックミラー(即ち、特定の周波数の光を透過させ、非特定の周波数の光を反射する)、対物レンズを経て、光ファイバ束に沿って染色された組織(例えば、人体内の細胞組織)を励起して、励起された蛍光は、光ファイバ束、対物レンズ、ダイクロイックミラーを経て電荷結合素子(Charge-coupled Device、「CCD」と略称)に達して、画像が収集される。CCDは、画像センサー又は画像コントローラーとも呼ばれ、半導体素子であり、光学画像を電気信号に変換できる。変調された正弦波光源を組織のある焦平面に集光し、複数の位相(例えば、3つの位相)の蛍光結像を励起し、Neilを使用して、焦平面外の背景蛍光を除去することによって、セクショニング結像を実現する。セクショニング結像技術は、医学CTを参考にして、放射線走査に基づいて、得られた情報を逆計算し、測定される範囲内の岩盤の弾性波と電磁波パラメータ分布法則の画像を再構成することによって、地質学的異常に丸をつけて選定する物理探査逆解析方法である。
【0037】
光学格子によって変調された構造化光光源は次の式で表すことができる。
式では、mは変調コントラスト(modulation contrast)である。
は正規化された空間周波数であり、
値が変更された後、異なる深さ(軸方向の深さ、axial depth)の画像のセクショニングを実現するために使用され得る。βは試料平面(specimen plane)とグリッド平面(grid plane)との間の拡張倍率であり、λは波長であり、vは実際の空間周波数であり、NAは開口数(numerical aperture )である。
【0038】
本実施例では、構造化光が染色組織を照射した後に返される蛍光情報を正確に取得し、その情報に対して鮮明で正確な画像を形成するために、
図2の光ファイバ束の各光ファイバ中から伝送された画素情報を確定する必要がある。本実施例の画像再構成方法の具体的な実現ステップは、以下のステップ101~ステップ102を含む。
ステップ101では、1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
【0039】
具体的には、
図2に示すような構造化光顕微内視鏡装置では、光学格子をドラッグして移動させるように直流モーターを駆動することによって、1枚又は複数枚のサンプル画像を取得する。サンプル画像には、光ファイバ束の各光ファイバによって伝送された画素情報が含まれる。光ファイバ束の場合、1つの光ファイバ束は通常、3万本近くの光ファイバ(数の差は数千に達し得る)からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束はマルチセンサーとも呼ばれてもよい。光ファイバの結像は、一般に、画像内で六角のハニカム状を呈し、各光ファイバの直径は5~6個の画素であることが好ましい。複数枚のサンプル画像では、各光ファイバの中心位置を確定し、各中心位置の画素点のグレースケール値を取得する。中心位置のグレースケール値を確定する方法は、上記の自乗平均根式を使用して行うことができる。即ち、複数枚のサンプル画像内の同じ中心位置のグレースケール値に対してそれらのグレースケール値の平均値を計算し、計算されたグレースケール値の平均値を、再構成された画像内の光ファイバの中心のグレースケール値として使用して、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を取得する。
【0040】
ステップ102では、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
【0041】
具体的には、各光ファイバの中心位置を基準として、各光ファイバの他の画素点と該中心位置の画素点との間の線形関係を見つけ、それにより、中心位置の画素点に対する各光ファイバのすべての画素点の補間重み、即ち、中心位置の画素点に対する各光ファイバの他の画素点の重み値を確定する。各画素点と光ファイバの中心との間の補間重みに基づいて、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
【0042】
本実施例の画像再構成方法では、1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
【0043】
図3は、別の例示的な実施例で示される本発明の画像再構成方法のフローチャートである。
図3に示すように、本実施例の画像再構成方法は、ステップ301~ステップ305を含む。
ステップ301では、均一な蛍光の光ファイバ束の原画像を取得する。
ステップ302では、原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、目標画素点を光ファイバ束の各光ファイバの中心位置として確定する。
【0044】
具体的には、画像の再構成前に、光ファイバを正確に位置決めするための均一な蛍光の画像を撮影することができる。光ファイバ束の場合、1つの光ファイバ束は通常、3万本近くの光ファイバ(数の差は数千に達し得る)からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束はマルチセンサーとも呼ばれてもよい。光ファイバの結像は、画像内で六角のハニカム状を呈し、各光ファイバの直径は5~6個の画素であることが好ましい。光ファイバ間の相互干渉を低減するために、光ファイバを行又は列に配置するのではなく、空間に不規則に配置する。本実施例における光ファイバの中心位置とは、光ファイバの中心の最も明るい点を光ファイバの中心と意味する。いわゆる最も明るい点とは、原画像において、画素値が周囲の画素値よりも高いことが確認される目標画素点を意味する。目標画素点を光ファイバ束の各光ファイバの中心位置として確定し、該中心の最も明るい点の座標を光ファイバの座標として使用して、各光ファイバの他の画素点を位置決めする。グリッド、即ち、光ファイバの六角ハニカムを除去するために、光ファイバの中心のグレースケールを使用して空間補間を行い、光ファイバ束範囲全体における他の画素のグレースケールを取得する必要がある。通常、光学格子を取り付けた後、撮影される位置決め画像、即ち、原画像には光学格子が存在するため、光学格子を取り外して撮影することによって、均一な蛍光の光ファイバ束の原画像を取得することができる。オプションで、1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集し、複数の光ファイバ束の画像に対してそれらの平均画像を取得し、均一な蛍光の光ファイバ束の原画像を形成することもできる。即ち、
図2の直流モーターを、1つの光学格子間隔範囲において幾つかの同じ変位均等に移動させ、収集した平均画像を取得する。当業者は、均一な蛍光の光ファイバ束の原画像を取得する方法を自分から決定することができ、これは、本実施例では特に限定されない。
【0045】
ステップ303では、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
【0046】
サンプル画像の取得は、予め設定された位相間隔に従って、1つの光学格子間隔距離内でN-1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得することによって実行され得る。例えば、光学格子を取り付け、モーターにより光学格子をドラッグして移動させることによって、N枚の光ファイバ束のサンプル画像を取得する。例えば、サンプル画像の収集を開始する前に、モーターの初期位置でサンプル画像を撮影する。その後、モーターが別の位置に移動し、サンプル画像を撮影する。モーターが再移動し、再撮影して、それにより、N枚のサンプル画像を取得する。取得したサンプル画像の精度を保証するために、モーターを時計回りに複数の位置に回転させて、上記のN枚のサンプル画像を取得しており、しばらく待ってから、モーターを反時計回りに逆方向に移動させて、N枚のサンプル画像を取得する。このようにして、2枚の構造化光の画像を再構成することができる。比較を通して、再構成画像の精度を保証することができる。好ましくは、予め設定された位相間隔は120度であり、N=3である。これに対応して、モーターは光学格子をドラッグして水平方向に移動し、毎回移動する予め設定された位相間隔閾値が1/3の光学格子間隔である。収集を開始する前に、モーターの移動の初期位置で、カメラにより1枚の写真を撮影し、モーターが移動し、撮影し、モーターが再移動し、撮影して、3つの位相のサンプル画像を取得した後に画像を再構成する。その後、サイクルの一貫性を保つために、一定時間待機する。次に、再撮影し、逆方向に移動し......これにより、モーターが1回往復移動すると、2枚の構造化光の画像を再構成することができる。3枚のサンプル画像は、それぞれ0度位相のサンプル画像I
1(初期位相)、120度位相のサンプル画像I
2(1つの予め設定された位相間隔閾値を移動)、240度位相のサンプル画像I
3(2つの予め設定された位相間隔閾値を移動)であってもよい。3枚のサンプル画像において、光ファイバの中心位置に応じて、3つの位相の画像の光ファイバの中心のグレースケールを検索すると、0度位相のサンプル画像I
1の光ファイバの中心のグレースケール値G
1、120度位相のサンプル画像I
2の光ファイバの中心のグレースケール値G
2、及び240度位相のサンプル画像I
3の光ファイバの中心のグレースケール値G
3を取得する。オプションで、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値の計算では、各光ファイバの中心位置の複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得する方法を使用することができる。例えば、Neil式
に基づいて、3枚のサンプル画像内の3つの中心のグレースケール値の2つごとの差を計算し、差値を2乗し、2乗された差値を加算してから平方根を求める。それにより、再構成画像内の光ファイバの中心のグレースケール値を算出する。
【0047】
しかしながら、上記のNeil式は、サンプル画像が過飽和になると、中心のグレースケール値を2つごとに減算すると、中心点で算出されたグレースケール値が非常に小さいグレースケールの黒い点になり、それにより、再構成された画像に黒色領域が出現し、細胞を明瞭に結像することができなくなるという欠点を有する。画像飽和が再構成画像の結像を不明瞭にするという問題を回避するために、光ファイバの中心点のグレースケールを飽和校正することができる。この方法でのみ、再構成された画像は良好なセクショニング効果を有する。
【0048】
オプションで、1枚又は複数枚のサンプル画像で各光ファイバの中心位置のグレースケール値を確定するステップの後に、各光ファイバの中心位置のグレースケール値の飽和度を判断するステップを追加することができる。即ち、サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定する。再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正し、校正されたサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
【0049】
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
【0050】
予め設定された飽和度閾値は、CCDの性能に応じて決定することができる。例えば、0度位相のサンプル画像I
1の光ファイバの中心のグレースケール値G
1、120度位相のサンプル画像I
2の光ファイバの中心のグレースケール値G
2、240度位相のサンプル画像I
3の光ファイバの中心のグレースケール値G
3の3つのグレースケール値は4095、(4095は、12ビット画像の最大値に対応し、CCD飽和を示す)を超えたか否かを判断する。その後、上記のNeil式
を使用して再構成画像の中心点のグレースケール値を計算する代わりに、4095の予め設定された飽和度閾値を該中心点のグレースケール値として直接素量する。このような処理は、サンプル画像と再構成された構造化光画像が視覚的に白黒反転になるという問題を回避する。しかしながら、このような処理は、やむを得ず採用される救済措置であり、当業者にとっては、サンプル画像を収集するときの画像飽和の問題を回避するように努めるべきである。例えば、カメラパラメータの露出時間が長すぎることやゲインが過剰になることを回避する措置、試料の蛍光染色物質が多すぎることを回避する措置、レーザーから放出されたレーザー光の光強度が強すぎることを回避する措置などを採用してもよい。
【0051】
同様に、再構成画像において、光ファイバの中心位置のグレースケール値が、予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定する再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正する。即ち、算出された
の値が予め設定された飽和度閾値を超えた場合、この光ファイバを校正対象の光ファイバとして確定し、予め設定された飽和度閾値をこの光ファイバの中心位置のグレースケール値として使用する。これにより、サンプル画像の飽和校正が実現される。
【0052】
ステップ304では、各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みを確定する。
【0053】
具体的には、上記のように、サンプル画像でも原画像でも、同じ構造の光ファイバ束に対する光学結像である。そのため、原画像で確定された各光ファイバの中心位置に基づいて、サンプル画像内の対応する光ファイバの中心位置を見つけ、該中心点のグレースケール値を読み取る。N枚のサンプル画像内の各光ファイバをいずれも位置決めし、グレースケール値を取得する。従って、各光ファイバは、N個の中心位置のグレースケール値に対応する。予め設定されたアルゴリズム(例えば、上記の自乗平均根のNeil式)に従って、N個の中心位置のグレースケール値に対して、グレースケール値の平均値を求め、算出されたグレースケール値の平均値を再構成された画像内の該光ファイバの中心のグレースケール値として使用する。
【0054】
光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みについては、各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成しており、三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することができる。
【0055】
具体的には、領域最大値法により光ファイバの中心座標を取得することができる。即ち、
図4に示される光ファイバAの中心位置を1つの頂点として、光ファイバAとそれに隣接する光ファイバB及び光ファイバCの3つの中心位置が三角形を構成することにより、光ファイバ束範囲全体が複数の三角形に分割される。これらの三角形により、画素と光ファイバとの補間関係が確立される。光線はほぼ六辺形であるため、分布は不規則である。隣接する光ファイバには、横方向又は縦方向の座標位置合わせ関係がないため、通常の双線形補間のように、4つの規則的な頂点によって中央の画素を補間することができない。ただし、このような三角形構造を使用すると、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することもできる。
【0056】
ステップ305では、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
【0057】
具体的には、均一な蛍光の光ファイバ束の原画像を取得した後、原画像で光ファイバ束に含まれるすべての光ファイバの中心位置、即ち、各光ファイバの最も明るい画素点の位置座標を確定する。各光ファイバの中心位置を基準として、各光ファイバの他の画素点と該中心位置の画素点との間の線形関係を見つけ、それにより、中心位置の画素点に対する各光ファイバのすべての画素点の補間重み、即ち、中心位置の画素点に対する各光ファイバの他の画素点の重み値を確定する。その後、構造化光が組織に照射された後に得られたサンプル画像の再構成では、事前に計算された線形重み値に基づいて、再構成時に光ファイバのグレースケール値を乗算して、補間される画素のグレースケール値を取得して、再構成画像を形成することができる。
【0058】
本実施例の画像再構成方法では、三角形の画素空間に基づいて、光ファイバで位置決めすることによって、構造化光結像の再構成を取得する。光ファイバの中心点の画素のみに対して、Neil式を使用してグレースケール値を計算し、補間して、構造化光画像全体を再構成する。計算時間を大幅に節約し、光ファイバのハニカム構造を除去することができる。N枚のサンプル画像、例えば、3枚のサンプル画像の位相の差がちょうど120度となる場合、光学格子の痕跡はない。従って、本発明の画像再構成方法は、各画素点のグレースケール値を計算するための計算量を大幅に削減し、画像再構成の速度を大幅に加速することができる。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
【0059】
図5は、例示的な実施例で示される本発明の画像再構成装置の構造模式図である。
図5に示すように、本実施例の画像再構成装置は、
1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュール1と、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するための形成モジュール2と,
を備える。
【0060】
本実施例は、
図1に示される実施例を実現することができる。その実現原理は同様であり、ここでは繰り返し説明しない。
【0061】
本実施例の画像再構成装置では、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
【0062】
図6は、別の例示的な実施例で示される本発明の画像再構成装置の構造模式図である。
図6に示すように、上記の実施例に基づいて、本実施例の画像再構成装置は、
均一な蛍光の光ファイバ束の原画像を取得するための第1取得モジュール3と、
原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第1確定モジュール4とを更に備える。
【0063】
オプションで、第1取得モジュール3は、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュール31と、
複数の光ファイバ束の画像に対してそれらの平均画像を取得し、均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュール32と、を含む。
【0064】
オプションで、この装置は、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みを確定するための第2確定モジュール5を更に備える。
【0065】
オプションで、この装置は、
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第3確定モジュール6を更に備える。
【0066】
オプションで、この装置は、
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN-1回移動して、初期位相を含む、初期位相から毎回予め設定された位相間隔を移動したN枚のサンプル画像を取得するための第2取得モジュール7を更に備える。
【0067】
オプションで、予め設定された位相間隔は120度であり、N=3である。
【0068】
オプションで、この装置は、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュール8と、
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正し、校正されたサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第1処理モジュール9と、
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第2処理モジュール10と、を更に備える。
【0069】
オプションで、計算モジュール1は、具体的には各光ファイバの中心位置の複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用される。
【0070】
本実施例は、
図3に示される実施例を実現することができる。その実現原理は同様であり、ここでは繰り返し説明しない。
【0071】
図7は、例示的な実施例で示される本発明の顕微結像装置の構造模式図である。
図7に示すように、本実施例は顕微結像装置を提供し、この装置は、発光ユニット01と、位相調節ユニット02と、転向ユニット03と、複数の光ファイバを含む光ファイバ束04と、検出ユニット05と、処理ユニット06とを備える。
発光ユニット01は、励起光を放射するために使用される。
位相調節ユニット02は、励起光の光路の出口に配置され、処理ユニット06に接続され、処理ユニット06によって送信された位相調節量に従って、励起光の位相を調節して、異なる位相の励起光を取得するために使用される。
転向ユニット03は、異なる位相の励起光を転向させて、転向後の励起光を光ファイバ束04に沿って検出対象の組織に集光し、検出対象の組織によって返される異なる位相の蛍光を通過させるために使用される。
検出ユニット05は、異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用される。
処理ユニット06は、検出ユニット05に接続され、複数のサンプル画像を受信し、複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するために使用される。
【0072】
具体的には、発光ユニット01によって放出された励起光は、転向ユニット03(即ち、特定の周波数の光を透過させ、非特定の周波数の光を反射する)を経て、光ファイバ束04に沿って染色された組織(例えば、人体内の細胞組織)を励起し、励起された蛍光は光ファイバ束、転向ユニット03に沿って検出ユニット05に達して、画像が収集される。検出ユニット05は、電荷結合素子(Charge-coupled Device、「CCD」と略称される)であってもよい。電荷結合素子は、画像センサー又は画像コントローラーとも呼ばれ、半導体素子であり、光学画像を電気信号に変換できる。発光ユニット01から放出された励起光は、組織のある焦平面に集光される。位相調節ユニット02によって、処理ユニット06から送信された位相調節量に従って、励起光の位相が調節され、異なる位相の励起光が取得される。処理ユニット06は、複数の位相(例えば、3つの位相)の蛍光結像を励起し、Neil式を使用して、焦平面外の背景蛍光を除去することによって、セクショニング結像を実現する。セクショニング結像技術は、医学CTを参考にして、放射線走査に基づいて、得られた情報を逆計算し、測定される範囲内の岩盤の弾性波と電磁波パラメータ分布法則の画像を再構成することによって、地質学的異常に丸をつけて選定する物理探査逆解析方法である。具体的には、処理ユニット06は、複数の位相の複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
【0073】
本実施例の顕微結像装置は、発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備える。発光ユニットは、励起光を放射するために使用される。位相調節ユニットは、励起光の光路の出口に配置され、処理ユニットに接続され、処理ユニットによって送信された位相調節量に従って、励起光の位相を調節して、異なる位相の励起光を取得するために使用される。転向ユニットは、異なる位相の励起光を転向させて、転向後の励起光を光ファイバ束に沿って検出対象の組織に集光し、検出対象の組織によって返される異なる位相の蛍光を通過させるために使用される。検出ユニットは、異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用される。処理ユニットは、検出ユニットに接続され、複数のサンプル画像を受信し、複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するために使用される。位相調節ユニットが処理ユニットから送信された位相調節量に従って励起光の位相を調節し、処理ユニットが所望の位相の複数のサンプル画像を取得できるようにすることによって、複数のサンプル画像を処理した後に得られた再構成画像の結像品質が向上する。また、この装置を使用することによって、再構成画像内の画素点のグレースケール値の計算量が削減され、画像再構成の速度が加速される。
【0074】
図8は、別の例示的な実施例で示される本発明の顕微結像装置の構造模式図である。
図8に示すように、前の実施例に基づいて、位相調節ユニット02は、モーター021と光学格子022を含む。
モーター021は、処理ユニット06及び光学格子022にそれぞれ接続され、処理ユニット06から送信された位相調節量に従って、光学格子022をドラッグして移動させて、励起光が光学格子022を透過した後に位相調節量に対応する励起光を取得するために使用される。
【0075】
オプションで、モーター021は直流モーターを含む。処理ユニット06は、予め設定された位相間隔に従って、等間隔の位相調節量を確定する。直流モーターは、等間隔の位相調節量を受信し、光学格子022をドラッグして、1つの光学格子間隔範囲内で等間隔距離移動させる。それにより、処理ユニット06は、予め設定された位相間隔に対応する複数枚のサンプル画像を取得する。
【0076】
具体的には、処理ユニット06は、光学格子022をドラッグして移動させるように直流モーターを駆動することによって、複数枚のサンプル画像を取得する。サンプル画像には、光ファイバ束04の各光ファイバによって伝送された画素情報が含まれる。光ファイバ束04の場合、1つの光ファイバ束04は通常、3万本近くの光ファイバ(数の差は数千に達し得る)からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束04はマルチセンサーと呼ばれてもよい。光ファイバ結像の模式図は
図4に示される。光ファイバの結像は、画像内で六角のハニカム状を呈し、各光ファイバの直径は5~6個の画素であることが好ましい。複数枚のサンプル画像では、各光ファイバの中心位置を確定し、各中心位置の画素点のグレースケール値を取得する。中心位置のグレースケール値を確定する方法は、自乗平均根式を使用して行うことができる。即ち、複数枚のサンプル画像内の同じ中心位置のグレースケール値に対してそれらのグレースケール値の平均値を計算し、計算されたグレースケール値の平均値を、再構成された画像内の該光ファイバの中心のグレースケール値として使用して、再構成画像内の光ファイバ束04の各光ファイバの中心のグレースケール値を取得する。
【0077】
オプションで、予め設定された位相間隔は120度であり、位相調節量は3個である。
【0078】
例えば、光学格子022を取り付け、モーター021により光学格子022をドラッグして移動させることによって、N枚の光ファイバ束のサンプル画像を取得する。例えば、サンプル画像の収集を開始する前に、モーター021の初期位置でサンプル画像を撮影する。その後、モーター021が別の位置に移動し、サンプル画像を撮影する。モーター021が再移動し、再撮影して、それにより、N枚のサンプル画像を取得する。取得したサンプル画像の精度を保証するために、モーター021を時計回りに複数の位置に回転させて、上記のN枚のサンプル画像を取得しており、しばらく待ってから、モーター021を反時計回りに逆方向に移動させて、N枚のサンプル画像を取得する。このようにして、2枚の構造化光の画像を再構成することができる。比較を通して、再構成画像の精度を保証することができる。予め設定された位相間隔が120度であり、位相調節量が3個(即ち、N=3)である場合、モーター021は光学格子をドラッグして水平方向に移動し、毎回移動する予め設定された位相間隔閾値が1/3の光学格子022間隔である。収集を開始する前に、モーター021の移動の初期位置で、カメラにより1枚の写真を撮影し、モーター021が移動し、撮影し、モーター021が再移動し、撮影して、3つの位相のサンプル画像を取得した後に画像を再構成する。その後、サイクルの一貫性を保つために、一定時間待機する。次に、再撮影し、逆方向に移動し......これにより、モーター021が1回往復移動すると、2枚の構造化光の画像を再構成することができる。3枚のサンプル画像は、それぞれ0度位相のサンプル画像I1(初期位相)、120度位相のサンプル画像I2(1つの予め設定された位相間隔閾値を移動)、240度位相サンプル画像I3(2つの予め設定された位相間隔閾値を移動)であってもよい。3枚のサンプル画像において、光ファイバの中心位置に応じて、3つの位相の画像の光ファイバの中心のグレースケールを検索すると、0度位相のサンプル画像I1の光ファイバの中心のグレースケール値G1、120度位相のサンプル画像I2の光ファイバの中心のグレースケール値G2、及び240度位相のサンプル画像I3の光ファイバの中心のグレースケール値G3を取得する。
【0079】
オプションで、発光ユニット01は、励起光を放射するためのレーザー装置011を含み、さらに、レーザー装置011の励起光の出口に設けられ、励起光の光束を拡張して線状光束に1次元集光するための光束拡張線集束装置012を含む。
【0080】
レーザー装置011は、励起光を放射するために使用される。それは、特定の波長のコリメートレーザー光を放射するレーザー装置であってもよい。前記特定の波長範囲は20nm~2000nmであってもよい。この波長範囲内のレーザー光は、広い範囲の蛍光体を励起することができる。レーザー011は、量子井戸レーザー、固体レーザー、気体レーザー(例えば、アルゴンイオンレーザー)又はレーザーダイオードであってもよい。光束拡張線集束装置012は、レーザー011の励起光の出口に設けられ、励起光の光束を拡張して線状光束に1次元集光するために使用される。それは、光束拡張レンズと柱レンズを含み得る。光束拡張レンズは、レーザー011から放出されたコリメート光束を拡張して、コリメート光束の直径を変化させる。柱レンズは、拡張された光束を線状光束に1次元集光して転向ユニット03に伝送する。
【0081】
オプションで、転向ユニット03はダイクロイックミラーであり、二色鏡とも呼ばれる。その波長範囲は40nm~2200nmの波長範囲であり、特定の周波数の光を透過し、非特定の周波数の光を反射させることができる。
【0082】
オプションで、光フィルター07を更に備える。光フィルター07は、位相調節ユニット02と転向ユニット03との間に配置され、迷光を除去することによって、サンプル画像の結像品質を向上させ、さらに、再構成画像の結像品質を向上させるために使用される。
【0083】
オプションで、検出ユニット05は電荷結合素子CCDを含む。この検出ユニット05は、ラインスキャン検出ユニットであってもよいし、エリアスキャン検出ユニットであってもよいし。例えば、CCD(電荷結合素子)ラインスキャンカメラ又はCMOS(相補型金属酸化膜半導体)ラインスキャンカメラなどが挙げられる。ラインスキャン検出ユニットの結像速度は、数十フレームから数千万フレームの範囲内である。
【0084】
オプションで、複数のレンズからなる対物レンズ08を更に備える。対物レンズ08は、転向ユニット03と光ファイバ束04との間に配置され、転向ユニット03によって転向した励起光を集光処理するために使用される。
【0085】
この顕微結像装置は、
図1、
図3のいずれかの方法実施例の画像再構成方法を実現するために使用することができる。実現原理は同様であり、ここでは繰り返し説明しない。
【0086】
当業者によって理解されるように、前述の各方法の実施例におけるステップの全部または一部を実現することは、プログラムコマンドに関連するハードウェアにより完成することができる。上記のプログラムは、コンピュータの読み取り可能な記憶媒体に記憶されていてもよい。該プログラムが実行されると、上述した各方法の実施例におけるステップは実行される。前述の記憶媒体は、ROM、RAM、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶することができる各種の媒体を含む。
【0087】
なお、以上の各実施例は、本発明の技術的手段を説明するためのものに過ぎず、それを制限するものではない。上記の各実施例を参照して本発明について詳述したが、当業者であれば、上記の各実施例に記載の技術的手段を修正し、又は技術的特徴の一部もしくは全部を均等物で置き換えることができる。これらの修正や置き換えは、対応する技術的解決手段の本質を本発明の各実施例の技術的手段の範囲から逸脱させない。
【符号の説明】
【0088】
発光ユニット01、レーザー装置011、光束拡張線集束装置012、位相調節ユニット02、モーター021、光学格子022、転向ユニット03、光ファイバ束04、検出ユニット05、処理ユニット06、光フィルター07、対物レンズ08。