IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 蘇州微景医学科技有限公司の特許一覧

<>
  • 特許-光ファイバー束画像処理方法及び装置 図1
  • 特許-光ファイバー束画像処理方法及び装置 図2
  • 特許-光ファイバー束画像処理方法及び装置 図3
  • 特許-光ファイバー束画像処理方法及び装置 図4
  • 特許-光ファイバー束画像処理方法及び装置 図5
  • 特許-光ファイバー束画像処理方法及び装置 図6
  • 特許-光ファイバー束画像処理方法及び装置 図7
  • 特許-光ファイバー束画像処理方法及び装置 図8
  • 特許-光ファイバー束画像処理方法及び装置 図9
  • 特許-光ファイバー束画像処理方法及び装置 図10
  • 特許-光ファイバー束画像処理方法及び装置 図11A
  • 特許-光ファイバー束画像処理方法及び装置 図11B
  • 特許-光ファイバー束画像処理方法及び装置 図11C
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-28
(45)【発行日】2022-01-19
(54)【発明の名称】光ファイバー束画像処理方法及び装置
(51)【国際特許分類】
   G06T 1/00 20060101AFI20220112BHJP
【FI】
G06T1/00 500A
【請求項の数】 8
(21)【出願番号】P 2020541844
(86)(22)【出願日】2018-10-15
(65)【公表番号】
(43)【公表日】2020-12-17
(86)【国際出願番号】 CN2018110250
(87)【国際公開番号】W WO2019076265
(87)【国際公開日】2019-04-25
【審査請求日】2020-06-12
(31)【優先権主張番号】201710959003.1
(32)【優先日】2017-10-16
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520129595
【氏名又は名称】蘇州微景医学科技有限公司
【氏名又は名称原語表記】SUZHOU MICROVIEW MEDICAL TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Room B902,No.388 Ruoshui Road,Suzhou Industrial Park Suzhou,Jiangsu 215123 China
(74)【代理人】
【識別番号】110002871
【氏名又は名称】特許業務法人坂本国際特許商標事務所
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際特許業務法人
(72)【発明者】
【氏名】邵 金華
(72)【発明者】
【氏名】段 后利
(72)【発明者】
【氏名】孫 錦
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開平08-191440(JP,A)
【文献】特表2012-514248(JP,A)
【文献】特開平11-355574(JP,A)
【文献】Michael Hughes et al.,Color reflectance fiber bundle endomicroscopy without back-reflections,Journal of Biomedical Optics,vol.19, no 3,米国,SPIE,2014年03月,https://spiral.imperial.ac.uk/bitstream/10044/1/31102/6/Hughes2014.pdf
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00 - 1/40
G06T 3/00 - 9/40
H04N 5/222- 5/257
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
光ファイバー束画像処理方法であって、
サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
確定された画素情報を校正するステップと、
校正後の画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を含み、
確定された画素情報を校正する前記ステップは、以下の式に基づいて校正後の画素値を計算するステップを含み、
F=(I -I )xK、
Fは前記校正後の画素値を表し、I は確定された画素値を表し、I は背景画像内の対応する画素の画素値を表し、Kは校正係数を表し、
確定された画素情報を校正する前記ステップの前に、参照画像と前記背景画像に基づいて、以下の式で前記校正係数Kを計算するステップを更に含み、
K=k/(I -I )、
は前記参照画像内の対応する画素の画素値を表し、kは、比例係数を表し、前記参照画像内の画素の画素値それぞれの前記背景画像内の対応する画素の画素値との差の中央値に等しい、ことを特徴とする方法。
【請求項2】
均一な蛍光サンプルをサンプリングして参照画像を取得するステップと、
無蛍光サンプルをサンプリングして前記背景画像を取得するステップと更に含む、ことを特徴とする請求項に記載の方法。
【請求項3】
校正後の画素情報に基づいて前記サンプル画像を再構成する前記ステップは、
画素の重みと前記校正後の画素情報に基づいて、補間方法を使用して、前記画素の再構成画素値を取得するステップを含む、ことを特徴とする請求項1に記載の方法。
【請求項4】
前記画素の再構成画素値を取得するステップは、
前記確定された画素情報に基づいて、前記サンプル画像を三角形分割するステップと、
前記三角形分割により取得された前記画素のある三角形に基づいて、前記画素の重みを確定するステップと、
前記画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算するステップと、を含む、ことを特徴とする請求項に記載の方法。
【請求項5】
前記画素の重みを確定する前記ステップは、
前記画素から前記画素のある三角形の各頂点までの距離を確定するステップと、
前記三角形の各頂点に対応する前記画素の重みのそれぞれを、前記画素と前記各頂点との間の距離に反比例するように設定するステップとを含む、ことを特徴とする請求項に記載の方法。
【請求項6】
前記画素の再構成画素値を計算する前記ステップでは、以下の式に従って計算を行い、
Gx=Wa*Ga+Wb*Gb+Wc*Gc、
Gxは画素xの再構成画素値を表し、
WaとGaは、画素xのある三角形の頂点aに対応する画素xの重みと前記頂点aの校正後の画素値をそれぞれ表し、
WbとGbは、前記画素xのある三角形の頂点bに対応する前記画素xの重みと前記頂点bの校正後の画素値をそれぞれ表し、
WcとGcはそれぞれ、前記画素xのある三角形の頂点cに対応する前記画素xの重みと前記頂点cの校正後の画素値を表す、ことを特徴とする請求項又はに記載の方法。
【請求項7】
前記再構成画像と別の画像に対して位置合わせ処理を行うステップを更に含む、ことを特徴とする請求項1に記載の方法。
【請求項8】
光ファイバー束画像処理装置であって、
プログラムを記憶するためのメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、前記プロセッサで実行されるとき、
サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
確定された画素情報を校正するステップと、
校正された画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を行うために使用され
確定された画素情報を校正する前記ステップは、以下の式に基づいて校正後の画素値を計算するステップを含み、
F=(I -I )xK、
Fは前記校正後の画素値を表し、I は確定された画素値を表し、I は背景画像内の対応する画素の画素値を表し、Kは校正係数を表し、
前記プログラムは、前記プロセッサで実行されるとき、確定された画素情報を校正する前記ステップの前に、参照画像と前記背景画像に基づいて、以下の式で前記校正係数Kを計算するステップを行うためにさらに使用され、
K=k/(I -I )、
は前記参照画像内の対応する画素の画素値を表し、kは、比例係数を表し、前記参照画像内の画素の画素値それぞれの前記背景画像内の対応する画素の画素値との差の中央値に等しい、ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療画像処理の分野に関し、より具体的には、光ファイバー束画像処理方法及び装置に関する。
【背景技術】
【0002】
社会の進歩と科学技術の発展に伴い、ますます多くの電子撮影デバイスは医療分野に応用されている。その結果、医療画像の後処理の精度と速度についても、ますます要求が高まっている。
【0003】
例えば、光ファイバー顕微鏡は、生物組織のトモグラフィー検査を実現することができ、生物組織の腫瘍病変の傾向を事前に検出できるだけでなく、臨床患者への穿刺手術に起因する痛みを回避することもできる。光ファイバー顕微鏡は、臨床患者の検査、スクリーニング、医学的及び生物学的研究において幅広い市場の見通しを持っている。
【0004】
図1は、既存の光ファイバー束画像の一部を例示的に示している。図1に示すように、既存の光ファイバー束画像は、ハニカム状のノイズを有し、生物組織の目標領域をうまく表現することができない。現在、光ファイバー束画像の再構成に関する技術が幾つかあるが、それらは一般に計算量が大きく時間がかかる。
【発明の概要】
【0005】
本発明は、上記の問題を考慮してなされた。本発明は、光ファイバー束画像処理方法及び装置を提供する。
本発明の一態様によれば、光ファイバー束画像処理方法が提供される。この方法は、
サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
確定された画素情報を校正するステップと、
校正後の画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を含む。
【0006】
例示的には、確定された画素情報を校正する前記ステップは、以下の式に基づいて校正後の画素値を計算するステップを含む。
F=(I-I)xK
Fは前記校正後の画素値を表し、Iは確定された画素値を表し、Iは背景画像内の対応する画素の画素値を表し、Kは校正係数を表す。
【0007】
例示的には、前記校正ステップの前に、参照画像と前記背景画像に基づいて、以下の式で前記校正係数Kを計算するステップが更に含まれる。
K=k/(I-I
は前記参照画像内の対応する画素の画素値を表し、kは、比例係数を表し、前記参照画像内の画素の画素値それぞれの前記背景画像内の対応する画素の画素値との差の中央値に等しい。
【0008】
例示的には、前記方法は、
均一な蛍光サンプルをサンプリングして参照画像を取得するステップと、
無蛍光サンプルをサンプリングして前記背景画像を取得するステップと更に含む。
【0009】
例示的には、校正後の画素情報に基づいて、前記サンプル画像を再構成する前記ステップは、画素の重みと前記校正後の画素情報に基づいて、補間方法を使用して、前記画素の再構成画素値を取得するステップを含む。
【0010】
例示的には、前記画素の再構成画素値を取得する前記ステップは、
前記確定された画素情報に基づいて、前記サンプル画像を三角形分割するステップと、
前記三角形分割により取得された前記画素のある三角形に基づいて、前記画素の重みを確定するステップと、
前記画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算するステップと、を含む。
【0011】
例示的には、前記画素の重みを確定する前記ステップは、
前記画素から前記画素のある三角形の各頂点までの距離を確定するステップと、
前記三角形の各頂点に対応する前記画素の重みのそれぞれを、前記画素と前記各頂点との間の距離に反比例するように設定するステップとを含む。
【0012】
例示的には、前記画素の再構成画素値を計算する前記ステップは、以下の式に従って計算を行う。
Gx=Wa*Ga+Wb*Gb+Wc*Gc
Gxは画素xの再構成画素値を表し、
WaとGaは、画素xのある三角形の頂点aに対応する画素xの重みと前記頂点aの校正後の画素値をそれぞれ表し、
WbとGbは、前記画素xのある三角形の頂点bに対応する前記画素xの重みと前記頂点bの校正後の画素値をそれぞれ表し、
WcとGcはそれぞれ、前記画素xのある三角形の頂点cに対応する前記画素xの重みと前記頂点cの校正後の画素値を表す。
【0013】
例示的には、前記方法は、前記再構成画像と別の画像に対して位置合わせ処理を行うステップを更に含む。
【0014】
本発明の別の態様によれば、光ファイバー束画像処理装置がさらに提供される。この装置は、
プログラムを記憶するためのメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、前記プロセッサで実行されるとき、
サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
確定された画素情報を校正するステップと、
校正後の画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を含む。
【0015】
前記光ファイバー束画像処理方法と装置は、より理想的な処理画像を取得できるだけでなく、計算量が少なく、計算プロセス全体にかかる時間が短くなる。
【図面の簡単な説明】
【0016】
図面を参照しながら、本発明の実施例をより詳細に説明することによって、本発明の上記及び他の目的、特徴及び利点は、より明らかになる。図面は、本発明の実施例を更に理解させ、本明細書の一部を構成し、本発明の実施例と共に本発明を説明するためのものであり、本発明を制限するものではない。図面では、同じ参照番号は、通常、同じ又は類似の部品又はステップを表す。
図1】既存の光ファイバー束画像の一部を例示的に示す。
図2】本発明の一実施例に係る光ファイバー束画像処理方法の例示的なフローチャートを示す。
図3】本発明の一実施例に係る、図1示される光ファイバー束画像の再構成画像の一部拡大模式図を示す。
図4】本発明の具体的な実施例に係る光ファイバー束画像分析方法の例示的なフローチャートを示す。
図5】本発明の一実施例に係る、均一な蛍光サンプルをサンプリングして得られた参照画像を示す。
図6】本発明の一実施例に係る参照画像の一部拡大模式図を示す。
図7】本発明の一実施例に係る、光ファイバーの中心に対応する画素がマークされた参照画像の一部拡大模式図を示す。
図8】本発明の一実施例に係る、光ファイバーの中心に対応する画素がマークされた光ファイバー束画像の模式図を示す。
図9】本発明の一実施例に係る再構成ステップの例示的なフローチャートを示す。
図10】本発明の一実施例に係るドローネ(Delaunay)三角形分割されたサンプル画像の一部拡大模式図を示す。
図11A】本発明の一実施例に係る位置合わせされる再構成画像と別の画像をそれぞれ示す。
図11B】本発明の一実施例に係る位置合わせされる再構成画像と別の画像をそれぞれ示す。
図11C図11A図11Bに示す2つの画像の非剛体位置合わせの結果の模式図を示す。
【発明を実施するための形態】
【0017】
本発明の目的、技術的解決策及び利点をより明らかにするために、添付の図面を参照しながら以下に本発明の例示的な実施例を詳細に説明する。明らかに、説明される実施例は、本発明の全ての実施例ではなく、本発明の実施例の一部に過ぎず、本発明は、本明細書に記載の例示的な実施例によって限定されないことを理解されたい。当業者が創造的な努力なしに本発明に記載された本発明の実施例に基づいて得る他の全ての実施例は、本発明の保護範囲に含まれるべきである。
【0018】
図2は、本発明の一実施例に係る光ファイバー束画像処理方法200を示す。光ファイバー束画像処理方法200は、元の光ファイバー束画像を再構成して、より理想的に生物組織の目標領域を表示するために使用され得る。
【0019】
図2に示したように、ステップS210では、サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定する。
【0020】
サンプル画像は、光ファイバー束によって取得された光ファイバー束画像である。光ファイバー束は、多くの光ファイバー、例えば、30,000本を超える光ファイバーを含む。光ファイバー束のこれらの光ファイバーの配置は不規則である。各光ファイバーは、1つの光路として使用することができる。これらの光路は、生物組織の目標領域内の情報を伝送し、画像形成デバイスに光ファイバー束画像を生成することができる。同じ光ファイバー束によって得られる光ファイバー束画像のサイズは一致し、つまり、つまり解像度、幅、及び高さは同じである。幾つかの例では、光ファイバー束画像内の光ファイバー束の画像形成領域は、例えば、円形領域であってもよい。光ファイバー束は複数の光ファイバーを含むため、図1の光ファイバー束画像に示すように、光ファイバー束画像においてハニカム状のノイズの出現を回避することが困難である。各ハニカムは、おおよそ1つの光ファイバーに対応する。ハニカム状のノイズの存在は、ユーザーが光ファイバー束画像を利用して生物組織の目標領域を観察することに大きな困難をもたらし、ユーザー体験に強い影響を与える。
【0021】
光ファイバー束画像内の1つのハニカムは、通常、複数の複数の画素を含む。言い換えれば、光ファイバー束中の各光ファイバーは、光ファイバー束画像内の複数の画素、例えば、約20個の画素に対応し得る。これらの複数の画素の中には、その光ファイバーの中心に一対一に対応する1つの画素が存在する。同じ光ファイバー束を使用して異なる光ファイバー束画像を撮影するプロセスでは、光ファイバー束の遠端又は近端がいずれも変化しないと仮定すると、光ファイバー束画像内の画素と光ファイバー束中の光ファイバーとの対応関係は変化しない。これにより、各光ファイバーの中心に対応する画素の光ファイバー束画像における位置は変化しない。また、光ファイバーの中心に対応する画素値は、生物組織の目標領域の真の状況を理想的に反映することができる。
【0022】
このステップS210では、サンプル画像内の光ファイバー束の各光ファイバーの中心に対応する画素を確定し、その画素の画素情報を抽出する。オプションで、確定される画素情報は、画素の位置と画素値を含む。画素の位置は、サンプル画像内の画素の行列値で表すことができる。具体的には、これらの画素の位置は、1次元配列で表すことができる。配列内の1つの要素は、1つの画素の位置を表す値である。画素xの位置Pxは、次の式で表すことができる。
Px=画素xが位置する行数xサンプル画像の幅+画素xが位置する列数。
【0023】
画素xの位置Pxは、光ファイバー束画像の1行1列目の画素から1つずつカウントされて、画素xが何番目の画素であるかを示す。画素の位置によってサンプル画像を検索すると、その画素の画素値を取得することができる。
【0024】
ステップS220では、ステップS210で確定された画素情報を校正する。
【0025】
ステップS210で説明したように、確定される画素情報は、光ファイバー中心に対応する画素の位置と画素値を含み得る。ステップS220では、サンプル画像内の光ファイバー中心位置に対応する部分の画素の画素値のみを校正して、目標領域をよりリアルに反映させる。
【0026】
ステップS230では、ステップS220で校正された画素情報に基づいて、サンプル画像を再構成して、再構成画像を取得する。ステップS220では、サンプル画像内の光ファイバー中心に対応する部分の画素のみの画素値を調整する。この調整結果に基づいて、サンプル画像内の他の画素、即ち、光ファイバー中心位置に対応していない画素の画素値を調整し、それにより、サンプル画像の再構成を完了する。図3は、本発明の一実施例に係る、図1に示される光ファイバー束画像の再構成画像の一部拡大模式図を示す。
【0027】
画像の観点から見ると、図3に示すように、上記の画像処理操作によって再構成された画像から、元のサンプル画像内のハニカム形状のノイズを除去する。また、再構成画像全体の輝度は比較的均一であり、縁部が暗いが中央が明るいという問題を回避する。画像処理の観点から見ると、処理プロセス全体の計算量は少なく、それにかかる時間も短い。
【0028】
本発明の一実施例によれば、光ファイバー束画像分析方法が提供される。この分析方法を使用して、光ファイバー束画像内の光ファイバー中心に対応する位置の画素情報をより正確に確定することができる。上記のように、同じ光ファイバー束を使用して異なる光ファイバー束画像を撮影するプロセスでは、該光ファイバー束の遠端又は近端がいずれも変化しない場合、撮影された光ファイバー束画像内の画素と該光ファイバー束中の光ファイバーとの対応関係は変化しない。従って、この観点から、1つの光ファイバー束画像を使用して、同じ光ファイバー束で撮影された他の全ての光ファイバー束画像を分析することができる。図4は、本発明の具体的な実施例に係る光ファイバー束画像分析方法400の例示的なフローチャートを示す。
【0029】
ステップS410では、光ファイバー束を使用して、光ファイバー束画像を参照画像として収集する。この参照画像の分析結果は、同じ光ファイバー束で撮影された他の全ての光ファイバー束画像に適用することができる。
【0030】
オプションで、光ファイバー束を使用して、均一に発光するサンプルをサンプリングして参照画像を取得する。論理的には、参照画像は、画素値が均一で、輝度が一致する光ファイバー束画像であるべきである。均一に発光するサンプルによって形成される画像の画素は一致し、それ自体が分析方法400に悪影響を及ぼさないため、参照画像内の光ファイバー中心位置に対応する画素情報をより正確に確定することを保証する。
【0031】
均一に発光するサンプルは、均一な蛍光サンプルであってもよい。これにより、参照画像は、蛍光率が一定の光ファイバー束画像となる。図5は、本発明の一実施例に係る、均一な蛍光サンプルをサンプリングして得られた参照画像を示す。光ファイバー束画像の実際の応用では、一般的に、蛍光を発するサンプルに対して画像形成を行う。従って、均一な蛍光サンプルをサンプリングして得られた参照画像は、分析方法の精度をよりよく保証する。なお、均一な蛍光サンプルは例に過ぎず、他の可視光を発するサンプルをサンプリングすることで参照画像を取得することもできる。
【0032】
ステップS420では、ステップS410で収集された参照画像内の参照画素を確定する。この参照画素の画素値は、その周囲の画素の画素値よりも高い。参照画素は、光ファイバー束内の唯一の光ファイバーの中心に対応する。
【0033】
上記のように、且つ図1に示すように、光ファイバー束画像には、各光ファイバーに一対一に対応するハニカムが存在する。このハニカムの画素値情報を使用して、光ファイバー束中の光ファイバーの中心に対応する参照画素を確定することができる。一般に、光ファイバー束中の光ファイバーの中心に対応する参照画素は、その光ファイバーに対応するすべての画素の中で最も輝度が高い画素であり、即ち、画素値が最も大きい画素である。言い換えれば、光ファイバーの中心に対応する参照画素の画素値は、その周囲の画素(即ち、同じ光ファイバーに対応する他の画素)の画素値よりも高い。図6は、本発明の一実施例に係る参照画像の一部拡大模式図を示す。図7は、本発明の一実施例に係る図6に示される参照画像の一部拡大模式図における、光ファイバーの中心に対応する画素の模式図を示す。明確にするために、図7に示される模式図では、光ファイバーの中心に対応する参照画素の画素値は、「+」記号でマークされている。
【0034】
オプションで、上記のように、1次元配列を使用して、確定された参照画素の位置を表すことができる。
【0035】
ステップS430では、参照画像内の参照画素の画素位置に基づいて、同じ光ファイバー束で収集された光ファイバー束画像内の光ファイバーの中心に対応する画素位置を確定する。
【0036】
上記のように、光ファイバー束中の光ファイバーの相対位置は固定されているため、同じ光ファイバー束で収集された光ファイバー束画像内の光ファイバーの中心に対応する画素の間の相対位置も固定されている。それにより、特に光ファイバー束の遠端と近端が変化しない場合、参照画像内の参照画素の画素位置に基づいて、同じ光ファイバー束で収集された全ての光ファイバー束画像内の光ファイバーの中心に対応する位置を確定することができる。
【0037】
図8は、本発明の一実施例に係る、光ファイバーの中心に対応する画素がマークされた光ファイバー束画像の模式図を示す。図8に示される模式図では、光ファイバーの中心に対応する画素の画素値に、0の値が割り当てられる。
【0038】
上記の光ファイバー束画像の分析方法では、参照画像を使用して、他の光ファイバー束画像内の光ファイバーの中心に対応する位置の画素情報を確定する。直接に光ファイバー束画像自体の画素値に基づいて光ファイバーの中心に対応する位置の画素情報を確定するのと比較して、上記の分析方法の結果は、光ファイバー束画像内の画像形成対象の影響を受けず、結果はより正確で、実現が簡単である。
【0039】
オプションで、上記のステップS420は、具体的には、ステップS421とステップS422を含み得る。
【0040】
ステップS421では、参照画像に対して画像分割を行って、参照画像内の光ファイバー束画像形成領域を確定する。図5に示される参照画像のように、参照画像は、光ファイバー束画像形成領域と実際的な意味のない背景領域を含む。光ファイバー束画像形成領域は、中央の円形領域である。背景領域は、円形領域の周囲の黒い領域であり、画像の分析に無意味である。画像分割は、閾値分割や、領域成長法などの画像分割処理を採用することができる。画像分割操作は、画像処理方法全体の計算量をさらに減らすことができる。
【0041】
ステップS422では、光ファイバー束画像形成領域で参照画素を確定する。
【0042】
一例では、まず、領域最大値法を使用して、光ファイバー束画像形成領域を処理する。次に、画素値が領域最大値である画素を参照画素として確定する。領域最大値法は、画像分割方法である。上記のように、光ファイバー束中の光ファイバーの中心に対応する画素は、その光ファイバーに対応するすべての画素の中で、最も輝度が高い画素であり、即ち、ハニカム内で最も明るい画素である。領域最大値法を使用して参照画像に対して画像分析を行って、領域最大値を取得する画素を、光ファイバーの中心に対応する参照画素として使用する。
【0043】
上記の例では、領域最大値法を採用して参照画素を確定する。その方法は、次の客観的な法則を効果的に利用する。参照画像内の1つの光ファイバーに対応するすべての画素について、光ファイバーの中心に対応する画素は、他の画素と比較して、最も高い画素値を有する。従って、この方法は、参照ファイバーの中心の画素値を迅速かつ正確に確定できるため、光ファイバー束画像の迅速かつ正確な分析を保証することができる。
【0044】
当業者は、領域最大値法が本発明に対する限定ではなくて単なる例であり、経験閾値法などの他の方法を採用して参照光ファイバー中心画素値を確定できることを理解することができる。
【0045】
理解されるように、上記の光ファイバー束画像分析方法は、光ファイバー束画像処理方法に含まれてもよい。この光ファイバー束画像分析方法を使用して、サンプル画像を含む光ファイバー束画像における、光ファイバーの中心に対応する位置の画素の情報を確定することができる。その結果、より正確な情報が取得される。具体的には、光ファイバー束画像分析方法で確定された、参照画像内の光ファイバーの中心に対応する画素の位置に基づいて、サンプル画像の対応する位置を照会することができる。まず、参照画素yの位置Py及び光ファイバー束画像の幅に基づいて、画素yの位置の行数と列数を確定する。次に、画素yの位置の行数と列数に基づいて、サンプル画像のその位置の画素値を照会すると、サンプル画像内の該画素の画素情報を取得することができる。
【0046】
それにより、上記の光ファイバー束画像分析方法は、光ファイバー束画像処理方法に正確な分析結果を提供して、光ファイバー束画像処理方法の計算量が少なく、処理効果がよいことを保証する。
【0047】
一実施例では、背景画像を用いて、ステップS210で確定された画素情報を校正する。具体的には、以下の式に従って、ステップS210で確定された画素情報を校正することができる。
F=(I-I)xK
【0048】
Fは、サンプル画像内の画素を校正した後の画素値を表し、Iは、ステップS210で確定された画素値を表し、Iは、背景画像内の対応する画素の画素値を表し、Kは、校正係数を表す。
【0049】
オプションで、背景画像は、発光しないサンプルの画像形成で生成された画像であり、例えば、蛍光率がゼロの光ファイバー束画像である。例えば、無蛍光サンプルをサンプリングしてその背景画像を取得することができる。光ファイバー束の近端が変化しない限り、背景画像内の画素値は変化しない。本明細書の「対応する画素」とは、画素がそれぞれの画像において同じ位置にあることを意味する。実質的には、画素は、光ファイバー束中の同じ光ファイバーの同じ位置(例えば、光ファイバーの中心)に対応する。従って、ステップS210で確定された光ファイバーの中心に対応する画素の位置に基づいて、背景画像内の対応する位置を照会して、背景画像内の対応する画素の画素値を取得することができる。
【0050】
上記の光ファイバー束画像分析方法400によってステップS210での光ファイバーの中心に対応する画素位置を確定すると、参照画素の参照画像での位置に基づいて、背景画像内の対応する位置を直接照会することができる。画素の位置に基づいて背景画像を照会すると、その背景画像内の対応する画素の画素値を取得することができる。その背景画像内の対応する画素も同じ光ファイバーの中心に対応することが理解される。
【0051】
上記の実施例では、ステップS210で確定された各画素値Iについて、まず、その画素値Iと背景画像内の対応する画素の画素値Iとの差値を計算して、第1差値と略称する。次に、その差値と校正係数との相乗積を計算する。校正係数Kは、0.5~1.5の任意の実数であり得る。校正係数Kは、経験に応じて設定することができる。
【0052】
オプションで、背景画像と参照画像に基づいて、次の式を使用して校正係数K:K=k/(I-I)を計算することもできる。ここで、Iは、参照画像内の対応する画素の画素値を表し、Iは、背景画像内の対応する画素の画素値を表し、kは、比例係数を表し、参照画像内の画素の画素値それぞれの背景画像内の対応する画素の画素値との差の中央値に等しい。
【0053】
参照画像は、前述した光ファイバー束画像分析方法に関連する参照画像であってもよい。1つの例では、まず、参照画像内の光ファイバーの中心に対応する位置の画素の各々に対して、それと背景画像内の対応する画素との差をそれぞれ計算して、標準差を略称する。この方法で標準差を計算することによって、計算精度を保証するとともに、計算量を小さくする。あるいは、参照画像内の各画素に対して、それと背景画像内の対応する画素との差をそれぞれ計算して、標準差を取得することもできる。すべての標準差の中央値kを計算する。次に、ステップS210で確定された画素値Iについて、参照画像内の対応する画素の画素値Iと背景画像内の対応する画素の画素値Iと差値を計算して、第2差値と略称する。最後に、中央値kと第2差値との商に基づいて、校正係数Kを確定する。
【0054】
この例の校正操作は、より理想的な校正效果を得るために複雑な計算を必要とせず、所望の画像処理結果を得ることができる。
【0055】
オプションで、上記のステップS230は、画素の重みとステップS220の校正後の画素情報に基づいて、補間方法を使用して画素の再構成画素値を取得するステップを含む。校正後の画素情報は、画像形成目標をより真に反映するが、上記の校正操作は、光ファイバーの中心に対応する画素のみを対象とする。従って、光ファイバー束画像内の各画素について、その重みは、それにより近くの、光ファイバーの中心に対応する画素の位置に基づいて確定することができる。
【0056】
図9は、本発明の一実施例に係るステップS230の例示的なフローチャートを示す。図9に示すように、ステップS230は、ステップS231を含み得る。
ステップS231では、ステップS210で確定された画素情報に基づいて、サンプル画像を三角形分割する。
【0057】
具体的には、光ファイバー束中の光ファイバーの中心に対応する画素は、サンプル画像内の有限点のセットである。この点のセットは、三角形の全ての頂点を構成する。サンプル画像を複数の三角形に分割する。それらのうち、任意の2つの三角形は、交差しないか、又はちょうど共通の辺で交差する。
【0058】
restart
オプションで、上記の三角形分割は、ドローネ三角形分割アルゴリズムを使用して実現される。光ファイバー束での光ファイバーの配列は不規則であるが、隣接する光ファイバーの中心の距離はほぼ一致し、光ファイバーの直径とほぼ同じである。図10は、本発明の一実施例に係るドローネ三角形分割されたサンプル画像の一部を示す。図10に示すように、ドローネ三角形分割アルゴリズムを使用して唯一の三角形分割結果を取得することができ、いずれかの三角形の外接円内に他の三角形の頂点がないことが保証される。この三角形分割アルゴリズムは、本発明の実施例に係る画像処理方法により適し、より理想的な画像処理結果を取得することができる。
【0059】
ステップS232では、前記三角形分割により取得された、画素の位置する三角形に基づいて、前記画素の重みを確定する。
【0060】
光ファイバー束画像内の任意の画素について、その重みは複数の数値を有し得る。各重みは、それにより近くの、光ファイバーの中心に対応する位置の画素に対応する。簡単にするために、重みに対応する画素を基準画素と称することができる。各基準画素は三角形分割により取得された三角形の頂点であることが理解される。画素の重み及びそれに対応する基準画素の画素値に基づいて、その画素の最終的な画素値を確定することができる。
【0061】
オプションで、光ファイバー束画像内の任意の画素について、ある基準画素から遠いほど、その画素の基準画素に対する重みが小さくなる。そうでない場合は、逆になる。
【0062】
例示的には、光ファイバー束画像内の各画素について、その重みは、3つの基準画素の位置に基づいて確定される。3つの基準画素のうちの各基準画素に対して1つの重みを確定することができ、それにより重みルックアップテーブルを形成する。表1は、本発明の一実施例に係る重みルックアップテーブルを示す。表1では、第1重み、第2重み及び第3重みは、重みが確定される画素の第1基準画素、第2基準画素及び第3基準画素に対する重みをそれぞれ表す。表1に示すように、画素xの場合、第1重みと第3重みは等しく比較的小さく、これは、第1基準画素及び第3基準画素との距離が等しく、かつその距離が比較的遠いことを示す。第2重みは比較的大きく、これは、第2基準画素との距離が比較的近いことを示す。
【0063】
表1 重みルックアップテーブル
【0064】
三角形分割の結果に基づいて、サンプル画像内の各画素について、この画素がある唯一の三角形があり、それは、三角形の3つの辺で位置するか、又は三角形の内部に位置する。この画素がある唯一の三角形の3つの頂点を画素の基準画素として使用することができる。この画素と3つの基準画素との距離に基づいて、この画素の各基準画素に対応する重みを確定することができる。
【0065】
サンプル画像内の各画素に対して、まず、この画素からこの画素のある三角形の各頂点(即ち、基準画素)までの距離を確定することができる。画素は、三角形の辺又は内部に位置し得る。次に、この画素とこの画素のある三角形の3つの頂点との距離に基づいて、この画素のある三角形の3つの頂点にそれぞれ対応するこの画素重みを確定する。オプションで、この三角形の1つの頂点について、この頂点に対応するこの画素の重みを、この画素とこの頂点との距離に反比例するように設定する。例えば、三角形の外心に位置する画素の場合、その各基準画素に対応する重みはいずれも0.333である。三角形の頂点に位置する画素の場合、それが位置する頂点に対応する重みは1であり、他の2つの頂点に対応する重みは0である。この方法によって各画素の重みを確定することで、再構成効果がより理想的になり、プロセスが簡単で実現しやすい。
【0066】
三角形分割に基づいて光ファイバー束画像内の各画素の重みを取得することで、計算結果の精度を保証するとともに、計算量を小さくする。
【0067】
上記のドローネ三角形分割アルゴリズムは例に過ぎず、例えばKrig法などの他の方法を使用して各画素の重みを取得することもできる。
【0068】
重みを確定する上記の方法は単なる例示であり、限定ではないことが理解できる。例えば、上記の例では、各画素の重みは3つの参照画素の位置に基づいて確定されるが、これは単なる例示であり、本発明を限定するものではない。例えば、各画素の重みは、それに最も近い1つの基準画素、4つ以上の基準画素に基づいて確定することもできる。また、例えば、画素の重みは、経験に基づいて設定することができる。
【0069】
ステップS233では、その画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算する。
【0070】
オプションで、以下の式に従って、再構成画像の画素xの再構成画素値Gxを計算する。
Gx=Wa*Ga+Wb*Gb+Wc*Gc
WaとGaは、画素xのある三角形の頂点aに対応する画素xの重みと頂点aの校正後の画素値をそれぞれ表し、
WbとGbは、前記画素xのある三角形の頂点bに対応する前記画素xの重みと前記頂点bの校正後の画素値をそれぞれ表し、
WcとGcは、前記画素xのある三角形の頂点cに対応する前記画素xの重みと前記頂点cの校正後の画素値をそれぞれ表す。
【0071】
本発明の一実施例によれば、光ファイバー束画像処理方法は、上記の再構成画像と別の画像を位置合わせするステップを更に含む。その別の画像も、再構成画像であってもよい。画像位置合わせは、2つの画像の相対的な変位を計算するために使用される。画像位置合わせ後、2つの画像の同じ内容が空間的に重なるようになる。
【0072】
オプションで、位置合わせ操作は、相関係数法を採用することができる。すべての可能な変位に対応する相関係数の最大値を検索して、2つの画像の位置合わせに使用できる正しい変位を確定する。相関係数法を使用することによって、位置合わせの計算時間が短く、リアルタイムのニーズを満たすことができる。
【0073】
相関係数位置合わせ方法は比較的速いが、位置合わせの精度は比較的低い。オプションで、位置合わせ操作は、反復位置合わせ法を採用することもできる。反復位置合わせ法は低速であるが、より高い精度の要件を満たすことができる。
【0074】
本発明の一実施例によれば、直接に上述した光ファイバー束中の光ファイバーの中心に対応する画素の位置、上記の校正後の画素情報及び上記の別の画像に基づいて、前記再構成画像と前記別の画像を反復位置合わせする。この実施例では、位置合わせ操作は、光ファイバー束中の光ファイバーの中心に対応する関連要素のみを利用し、他の要素、例えば、光ファイバー束の光ファイバーの中心に対応していない再構成画像内の画素を無視する。これにより、反復位置合わせの計算の精度を保証するとともに、反復位置合わせの計算速度を効果的に向上させることができる。
【0075】
実際の応用では、剛体位置合わせに加えて、非剛体位置合わせが必要になる場合がある。例えば、医師が検査する人体組織は、サンプル画像の収集中に蠕動が発生する。また、例えば、サンプル画像の収集中に、プローブの圧力変化は目標組織の局所的な変形を引き起こしたなどがある。従って、オプションで、再構成画像と別の画像の位置合わせは以下の操作を含む。まず、再構成画像と別の画像に対して剛体位置合わせを行う。次に、剛体位置合わせの結果に基づいて、別の画像を再サンプリングする。最後に、再サンプリングされた別の画像と再構成画像との重畳部分を非剛体位置合わせする。オプションで、この非剛体位置合わせは、自由変形法又はデーモン(Demons)位置合わせアルゴリズムを採用することができる。図12A図12B及び図12Cは、上記の非剛体位置合わせのプロセスを例示する。図12A図12Bは、本発明の一実施例に係る位置合わせされる再構成画像と別の画像をそれぞれ示す。点線の矩形部分は、剛体位置合わせによって確定された両者の重畳部分を示す。この重畳部分に対して、別の画像を再サンプリングする。図12Cは、再サンプリングされた別の画像と再構成画像との重畳部分に対する非剛体位置合わせの結果の模式図を示す。
【0076】
前の画像処理操作では、理想的な再構成画像が迅速に得られるため、画像位置合わせ、つなぎ合わせ操作もより迅速かつ正確である。
【0077】
本発明の別の態様によれば、光ファイバー束画像処理装置がさらに提供される。この光ファイバー束画像処理装置はメモリとプロセッサを含む。メモリは、プログラムを記憶するために使用される。プロセッサは、前記プログラムを実行するために使用される。前記プログラムは、前記プロセッサで実行されるとき、以下のステップを実行するために使用される。ステップS1では、サンプル画像内の光ファイバー中心に対応する位置の画素情報を確定する。ステップS2では、確定された画素情報を校正する。ステップS3では、校正された画素情報に基づいて、前記サンプル画像を再構成して、再構成画像を取得する。
【0078】
オプションで、前記光ファイバー束画像処理装置は画像収集デバイスを更に含む。前記画像収集デバイスは、均一な蛍光サンプルをサンプリングして前記参照画像を取得し、無蛍光サンプルをサンプリングして前記背景画像を取得するために使用される。
【0079】
オプションで、ステップS2を実行するとき、具体的には、以下の式に従って校正後の画素値を計算する。
F=(I-I)xK
Fは前記校正後の画素値を表し、Iは確定された画素値を表し、Iは背景画像内の対応する画素の画素値を表し、Kは校正係数を表す。
【0080】
オプションで、ステップS2を実行する前に、参照画像と前記背景画像に基づいて、以下の式で前記校正係数Kを計算するステップをさらに実行する。
K=k/(I-I
は前記参照画像内の対応する画素の画素値を表し、kは、比例係数を表し、前記参照画像内の画素の画素値それぞれの前記背景画像内の対応する画素の画素値との差の中央値に等しい。
【0081】
オプションで、ステップS3を実行するとき、画素の重み及び前記校正後の画素情報に基づいて、補間方法でその画素の再構成画素値を取得するステップをさらに実行する。
【0082】
オプションで、ステップS3を実行するとき、
前記確定された画素情報に基づいて、前記サンプル画像を三角形分割するステップと、
前記三角形分割により取得された前記画素のある三角形に基づいて、前記画素の重みを確定するステップと、
前記画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算するステップと、をさらに実行する。
【0083】
オプションで、その画素の重みを確定するステップを実行するとき、
前記画素から前記画素のある三角形の各頂点までの距離を確定するステップと、
前記三角形の各頂点に対応する前記画素の重みのそれぞれを、前記画素と前記各頂点との間の距離に反比例するように設定するステップとをさらに実行する。
【0084】
オプションで、その画素の再構成画素値を計算するステップを実行するとき、式Gx=Wa*Ga+Wb*Gb+Wc*Gcに従って計算するステップを更に実行する。
Gxは画素xの再構成画素値を表し、
WaとGaは、画素xのある三角形の頂点aに対応する画素xの重みと前記頂点aの校正後の画素値をそれぞれ表し、
WbとGbは、前記画素xのある三角形の頂点bに対応する前記画素xの重みと前記頂点bの校正後の画素値をそれぞれ表し、
WcとGcはそれぞれ、前記画素xのある三角形の頂点cに対応する前記画素xの重みと前記頂点cの校正後の画素値を表す。
【0085】
オプションで、前記プログラムは、前記プロセッサで実行されるとき、さらに以下のステップを行うために使用される。即ち、前記再構成画像と別の画像に対して位置合わせ処理を行う。
【0086】
上記の光ファイバー束画像処理方法及び光ファイバー束画像解析方法の詳細な説明を読むことにより、光ファイバー束画像処理装置の構成及び技術的効果を理解することができる。簡潔にするため、ここでは繰り返し説明しない。
【0087】
また、本発明の実施例によれば、記憶媒体がさらに提供される。前記記憶媒体にはプログラム命令が格納される。プログラム命令がコンピュータ又はプロセッサによって実行されるとき、前記コンピュータ又はプロセッサは、本発明の実施例の光ファイバー束画像処理方法の対応するステップを実行し、本発明の実施例の光ファイバー束画像処理装置の対応するモジュール又はユニットを実装するために使用される。前記記憶媒体は、例えば、スマートフォン用メモリカード、タブレット用ストレージパーツ、パーソナルコンピューター用ハードディスク、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、USBメモリ、又は上記の記憶媒体の任意の組み合わせを含み得る。前記コンピュータ読取可能な記憶媒体は、1つ又は複数のコンピュータ可読記憶媒体の任意の組み合わせであってよい。
【0088】
本明細書では、図面を参照して例示的な実施例を説明したが、上記例示的な実施例は、例示的なものに過ぎず、本発明の範囲をそれらに限定するものではない。当業者は、本発明の範囲及び精神から逸脱することなく、その中で様々な変更及び修正を行うことができる。そのようなすべての変更及び修正は、添付の特許請求の範囲で請求される本発明の範囲内に含まれることが意図されている。
【0089】
当業者は、本明細書に開示された実施例に関連して説明された様々な例のユニットやアルゴリズムステップが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実施され得ることを理解するであろう。これらの機能が、ハードウェアで実行されるか又はソフトウェアで実行されるかは、技術的な解決策の特定のアプリケーション及び設計の制約に依存する。専門技術者は、特定のアプリケーションごとに異なる方法を使用して、説明した機能を実現することができるが、このような実現は本発明の範囲を超えると見なされるべきではない。
【0090】
本発明による幾つかの実施例において、理解されるように、開示されたデバイスと方法は、他の方式で実現されてもよい。例えば、上述のようなデバイス実施例は、単なる例示的なものにすぎない。例えば、前記ユニットの区分は、単なる論理的な機能による区分であり、実際に実現するとき他の区分方式であってもよく、例えば、複数のユニット又はアセンブリが別のデバイスに合わせ又は一体化してもよく、或いは幾つかの特徴が無視され又は実行されなくてもよい。
【0091】
ここで提供される明細書では、多くの具体的な詳細を説明した。しかしながら、本発明の実施例は、これらの具体的な詳細がなくても実施できることが理解できる。幾つかの例では、本明細書の理解を曖昧にしないように、公知の方法、構造及び技術は詳細に示されていない。
【0092】
同様に、本発明を簡素化し、様々な発明の態様の1つ又は複数を理解するのを助けるために、本発明の例示的な実施例の説明において、本発明の各特徴が単一の実施例、図面、又はその説明に時々一緒にグループ化されることを理解されたい。しかしながら、本発明のこの方法は、特許請求される本発明が各請求項に明示的に記載された特徴よりも多くの特徴を必要とするという意図を反映するものおして解釈されるべきではない。より正確には、対応する請求項に反映されているように、その発明は、単一の開示された実施例のすべての特徴よりも少ない特徴で対応する技術的問題を解決できるという点にある。したがって、具体的な実施形態に従う請求項は、明確にその具体的なの実施形態に組み込まれ、各請求項自体が本発明の別個の実施形態としての役割を果たす。
【0093】
当業者は、特徴が相互に排他的でない限り、本明細書(添付の請求項、要約、及び図面を含む)に開示されたすべての特徴の任意の組み合わせ、及びそのように開示された方法又はデバイスのすべてのプロセス又はユニットは、任意の組み合わせで組み合わせることができることを理解できる。特に明記されていない限り、本明細書(添付の請求項、要約、及び図面を含む)に開示されている各特徴は、同じ、同等、又は同様の目的を果たす代替の特徴で置き換えることができる。
【0094】
また、当業者は、本明細書に記載されている幾つかの実施例が他の特徴の代わりに他の実施例に含まれる特定の特徴を含むが、異なる実施例の特徴の組み合わせが本発明の範囲内にあり且つ異なる実施例を形成することを意味することを理解できる。例えば、特許請求の範囲では、特許請求される実施例のいずれか1つを任意の組み合わせで使用することができる。
【0095】
本発明の各部品の実施例は、ハードウェアにより実現されてもよく、1つ又は複数のプロセッサーで実行されるソフトウェアモジュールにより実現されてもよく、又はそれらの組み合わせにより実現されてもよい。当業者は、実際的応用で、マイクロプロセッサー又はデジタル信号プロセッサ(DSP)を使用して、本発明の実施例による光ファイバー束画像処理装置内のモジュールの一部若しくは全ての機能を実現してもよいことを理解するであろう。本発明は、本明細書に記載の方法を実行するための装置プログラム(例えば、コンピュータプログラムやコンピュータプログラム製品)の一部又は全部として実現されてもよい。本発明を実施するそのようなプログラムは、コンピュータ可読媒体に格納されてもよく、或いは、1つ又は複数の信号の形態を有してもよい。そのような信号は、インターネットのウェブサイトからダウンロードするか、キャリア信号で提供するか、或いは、他の形態で提供することができる。
【0096】
上記の実施例は、本発明を限定するのではなく本発明を例示するものであり、当業者は、添付の特許請求の範囲から逸脱することなく代替実施例を設計できることに留意されたい。請求項では、括弧の間の参照符号は請求項に対する制限として解釈されるべきではない。「含む」という用語は、請求項に記載されていない素子又はステップの存在を排除するものではない。素子の前の「1つ」又は「1個」という用語は、そのような素子が複数存在することを排除するものではない。本発明は、幾つかの異なる素子を含むハードウェアによって、及び適切にプログラムされたコンピュータによって実現することができる。幾つかの装置を列挙するユニット請求項では、これらの装置の幾つかは、同じハードウェアアイテムによって具現化され得る。第1、第2、及び第3などの用語の使用は、順序を示すものではない。これらの用語は名前として解釈され得る。
【0097】
以上は、本発明の具体的な実施形態又は具体的な実施形態の説明に過ぎず、本発明の保護範囲はこれに限定されるものではなく、当業者が本発明の開示した技術範囲内において、容易に想到するすべての変更又は変換は、本発明の保護範囲内に含まれるべきである。本発明の保護範囲は、特許請求の範囲で指定された範囲を基準とする。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図11C