(58)【調査した分野】(Int.Cl.,DB名)
前記涙液干渉縞画像とは、動画像を構成する複数のフレーム画像であり、前記フレーム画像ごとに、所定領域における色情報を取得し、取得した前記色情報から色の多様性を示す数値を算出することを特徴とする請求項1乃至3のいずれか1項に記載の涙液状態評価方法。
【背景技術】
【0002】
眼球、ならびに、まぶたは涙液によって、異物の侵入、乾燥、摩擦による損傷などから保護されている。涙液はその大半を占める水と糖たんぱく質(ムチン)からなる液層とそれを覆う油層の2層からなっており、油層は液相が直接空気に触れることを防ぐことにより液相の蒸発を防いでいる。油層の成分はまぶたに存在するマイボーム腺から分泌される。加齢や炎症、ならびに、擦傷などによりマイボーム腺が損傷すると正常な油層の形成が起こらなくなり、ドライアイといわれる症状の原因となる。そのため、涙液の油層を評価することはドライアイの重症度の診断に有効である。
【0003】
涙液の油層を評価する方法として、油層で形成される干渉縞を撮影し、その状態を目視判断して5段階の指標(グレード)に分けて診断するための装置および方法が提案されている(特許文献1、特許文献2)。涙液の干渉縞も基本的にはシャボン玉、あるいは、水面に張った薄層の油膜などで観察されるものと同じであるが、涙液の場合は油層の表面で反射した光と油層の下面と液層の境界で反射した光とが干渉して干渉縞を形成している。
【0004】
液層に累層した油層が安定していて厚みが均一な場合は光の干渉が起こらずに涙液の画像はモノトーンの灰色に見える(グレード1)。油層の厚みが薄くなるにつれ、つまり、ドライアイの症状がすすむにつれて、油層の厚みと光の波長の長さが干渉を起こす条件に重なり干渉縞が見え始める。最初、異なった灰色の干渉縞が見えるが(グレード2)、油層の厚みが不均一になると、様々な色の干渉縞が発生し(グレード3)、さらに油層が不均一になることで、これら多彩な色の干渉縞が入り乱れる(グレード4)。重症のドライアイでは油層の形成が著しく損なわれていて、もはや、干渉縞は認められず、全体的に灰色に見えるが、グレード1とは画像の滑らかさが明らかに異なっており、それを指標にグレード5と判断できる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、このような目視によるドライアイのグレード判定は正確な診断をできるようになるまでに熟達を要す。また、仮に熟達した観察者であったとしても、先入観や錯覚で診断結果の判定にバラツキがでたり、異なる観察者間でその個々の主観により判定結果に相違が発生したりする問題があった。そのため、涙液の油層の状態を目視によるグレード判定に似た方法を用いて自動的に数値化できる手法が望まれていた。
【0007】
さらに、涙液画像は画像が連続した映像としても得ることができるが、目視による涙液状態の診断をする限りにおいては、時間的・空間的な解析は不可能であり、測定データに内含される涙液の流動性や状態の変遷などといった情報を動的に解析することができなかった。
【0008】
本発明は以上のような従来の問題点に鑑みてなされたものであり、涙液干渉縞画像における色の多様性から涙液の状態を評価する涙液状態評価方法およびその装置を提供するものである。
【課題を解決するための手段】
【0009】
本発明に係る涙液状態評価方法およびその装置は、以下に示すステップまたは手段を備えるものである。
(1)涙液干渉縞画像の所定領域における色情報を取得し、取得した前記色情報から色の多様性を示す数値を算出し、算出された色の多様性を示す数値を涙液状態の評価のための指標とするものである。
(2)上記(1)において、前記色情報とは、一つの画素が持つ赤、緑、青(R,G,B)の色要素の少なくとも1つ以上の輝度であり、前記色の多様性を示す数値とは、複数の画素におけるそれぞれの輝度のばらつきである。
(3)上記(2)において、前記輝度のばらつきとは、輝度の分散または輝度の標準偏差とする場合が多いが、それに限定されることなく、類似のあるいは統計的に同等の数値であればよいので、ばらつきを示す数値は適宜選択すればよい。
(4)上記(1)において、前記色情報は色相であってよく、また、前記色の多様性を示す数値とは、前記所定領域を所定の区分に区分けし要素数が空でない区分数と空の区分数の割合であってよい。
(5)上記(1)乃至(4)において、前記涙液干渉縞画像とは、動画像を構成する連続する複数のフレーム画像であり、前記フレーム画像ごとに、所定領域における色情報を取得し、取得した前記色情報から色の多様性を示す数値を算出するものである。
なお、ここでは色情報について、上記(2)に記したように輝度値で表現される場合(RGBの値)と、上記(4)で記したように色相で表現される場合(色相リング等)と、について説明したが、本発明はこれらに限定されるものではなく、色情報をどのように表現するかは種々の方法があり適宜選択すればよい。
【発明の効果】
【0010】
本発明は、以下の効果を奏する。注目する画像中の領域に含まれる画素の色情報をもとにその領域の色の多様性を判断することにより、涙液の干渉縞の状態を数値化することができ、その色の多様性を示す数値を涙液の状態を評価するための指標として利用することができる。そのため、観察者の主観や経験等によらずに、客観的に涙液の状態(ドライアイの重症度や角膜上のどの部位で涙液の状態が悪いか)を評価することができる。
【0011】
また、涙液干渉縞画像を無数の領域に分解して、各々の領域について色の多様性に係る数値を算出する、または、各画素、あるいは、少数の画素集団に対してそれを取り囲む領域について色の多様性に係る数値を算出するようにすることで、涙液の状態の平面的(あるいは、空間的)な分布について評価することができる。これにより、角膜上のどの部位で涙液の状態が悪いかを容易、かつ、客観的に知ることができる。
【0012】
さらには、動画像中における2フレーム以上の画像を取り出して解析することにより、涙液の状態の時間的推移について解析して評価することができる。これにより、時間的に涙液の状態が悪くなっていく速度など、涙液の状態を別の指標で評価することができる。
【発明を実施するための形態】
【0014】
以下、実施例を交えて本発明の実施の形態を説明する。本発明は画像全体領域、あるいは、画像中に設けられた少なくとも1つ以上の小領域について、当該領域中のすべて、あるいは、一部の画素について色情報を取得し、少なくとも2つ以上の画素からなる色情報の多様性を算出することにより、涙液の干渉縞が当該領域内で持つ色の多様性をもとにして涙液の状態を判定するものである。
【0015】
<画像の取得>
眼表面の涙液の画像を取得するための装置(涙液干渉縞画像取得装置)については、撮影した涙液の干渉縞を示す画像をデジタルデータとして記録できるものであればよく、従来既知のものを適宜用いればよい。例えば、
図6に概略を示すように、涙液干渉縞画像取得装置は、白色LED等で構成される光源11から発せられ、絞りを通過した光線は、順にレンズ12、スプリッタ13、対物レンズ14を経て、被検者の被検眼の前眼部15に集光される。前眼部15からの反射光は、対物レンズ14およびスプリッタ13を通過し、結像レンズ16を経て撮像素子17上に結像される。撮像素子17に結像された撮影データは、画像処理エンジンによる所定の処理が施され、画像データ、動画像データに変換される。
【0016】
涙液干渉縞画像取得装置は、本発明に係る涙液状態評価装置と物理的又は論理的に接続される。当該涙液状態評価装置は、データを演算および処理する処理手段、涙液干渉縞画像取得装置により取得された画像データ、動画像データおよびその他のデータを記憶する記憶手段を備えるものであり、当該記憶手段には、本発明を実施するためのコンピュータプログラムや所定のデータがそれぞれ記憶されており、処理手段は、当該コンピュータプログラム等による所定の命令に従ってデータの処理を行うものである。
【0017】
<画像の色情報取得>
以下、涙液状態評価装置の具体的な処理について述べる。以上のように得られた涙液の干渉縞の画像データ(涙液干渉縞画像)から色情報を取得し、その色情報の多様性を算出し、涙液の状態の評価の指標とするものである。使用する色情報としては、多くの電子画像機器で用いられている方式である、赤、緑、青の3色の色要素(RGB色空間の数値)を用いてもよいし、あるいは、より直感的に色を表すことができる色相を用いる色空間、具体的には「HSV色空間」や「HLS色空間」による数値を用いてもよい。
【0018】
一般的に、色相(H)の取得は、以下の式に示されるように、RGB色空間の数値から変換されることが知られているので、これを利用すればよい。
(Max=Rのとき)
H = 60 * (G - B) / (max - min)
(Max=Gのとき)
H = (60 * (B - R) / (max - min)) + 120
(Max=Bのとき)
H = (60 * (R - G) / (max - min)) + 240
【0019】
また、別の方法として、波長ごとの画像を取得できる特別な機器を使用して得てもよい。具体例としては、透過する光の波長を漸次、あるいは、段階的に変化させることができる分光フィルターをモノクロのカメラと接続して、分光フィルターごとの画像を取得して求める方法がある。
【0020】
さらには、色情報から算出される二次的な数値を求めて使用してもよい。具体的には、RGB色空間においては赤、緑、青の少なくとも1つ以上の色要素の輝度をそのまま、あるいは、所定の方法により処理してグレースケール階調にしたものが挙げられる。例えば、ヒトの色覚にあったグレースケールを作成する方法として、赤、緑、青それぞれの輝度に対して、それぞれ所定の係数(例えば、赤「0.298912」、緑「0.586611」、青「0.114478」)を掛け合わせた後に足し合わせて算出する方法が知られているが、このようにしてもよい。
【0021】
また、それぞれの色要素における輝度のいずれかを単独で使用、あるいは、2つ以上を組み合わせて算出するようにしてもよい。例えば、平均値による場合、2つ以上の色要素を単に平均して算出してもよいし、各要素に対して異なる所定の重み付け係数をかけ合わせて与えてもよい。また、色相を用いる色空間、例えば、HSV色空間においては、明度(V)をそのまま、あるいは、適宜加工して使用するようにすればよい。
【0022】
<色の多様性の算出>
前記のような方法により取得した色情報から色の多様性を算出する方法としては、例えば、画像中のある所定の領域(区分)にどれだけ多くの色が含まれるかを算出する方法、あるいは、前記の方法で取得した色情報の少なくとも1つ以上の要素について領域内でどれぐらいばらつきがあるかを算出する方法などを挙げることができる。
【0023】
まず、前者について「HSV色空間」などの色相を扱うことができる色空間を用いた場合について説明する。色相を所定の数に分割した区分を作り、画像中の所定領域内の各画素の色相を色情報として取得し、その色情報を区分ごとに区分けする。そして、それぞれの区分について入った要素の数をカウントし、それぞれの区分ごと所定の閾値よりも小さい場合はその区分は空であったとして、空ではなかった区分の数を計数する。これにより色情報の多様性を評価できる。
【0024】
また、後者について、すなわち、取得した色情報の少なくとも1つ以上の要素について領域内でどれぐらいばらつきがあるかを調べる方法について説明する。RGB色空間の色情報を画像内の所定の領域内の各画素について調べ、赤、緑、青の少なくとも1つ以上の色要素の強度が領域内部でどれぐらいばらついているかを評価することにより得る。ばらつきに関しては、各要素の値から得られる分散値を用いてもよいし、そこから算出される偏差による値(標準偏差等)を用いてもよい。これらの値は必要により任意に選択して用いればよい。
【0025】
<画像中における色の多様性算出の対象領域>
このように得られた涙液干渉縞画像の色情報の多様性は画像全体に対して算出するようにしてもよいが、あるいは、涙液干渉縞画像を格子状に任意に区分して、それぞれの格子内の領域について色の多様性を算出するようにしてもよい。
【0026】
画像全体、または、区分された領域が大きい場合、計算にかかるコストが低いため、複数の涙液干渉縞画像を即時的に解析し数値を表示することができる。
【0027】
一方、格子状に区分した領域の数を増やし、大きさを小さくすることによって、より微小領域における色の多様性を評価することが可能である。この場合、区分された領域の数が増加するにしたがって計算コストが増大するため、解析の即時性は失われていく。
【0028】
また、画像中の各画素、あるいは、いくつかの隣接する画素を一纏めにした画素領域とし、その周囲の画素、あるいは、画素領域について色情報の多様性を求めるようにしてもよい。このようにして求めた色情報の多様性は、画像を格子状に区分けする前述の方法よりもさらに解像度が高く、且つ、空間的位置情報が元の涙液画像と完全に一致しているという利点がある一方、多大な計算コストがかかるため即時性は低い。そのため、一度記録した画像や映像に対して詳細な解析を行う場合に用いるのがよい。
なお、色の多様性を計算する際、元の涙液干渉縞画像を、適宜、拡大、または、縮小してもよい。拡大の方法としてはバイリニア法、バイキュービック法、Lanczos法など間を埋める画素の輝度を関数で補完する方法が好ましい。拡大の効果としては、それぞれの部位によって異なる状態の情報を、より詳細に取得できることにある。一方、縮小の方法としてはニアレストネイバー法、バイリニア法、バイキュービック法、Lanczos法などいずれの方法を用いてもよく、縮小の効果として解析時間の短縮がある。これらは必要に応じて使い分ければよい。
【0029】
涙液干渉縞画像から、格子、あるいは、画素、または、画素集合などの領域ごとに得られた色の多様性は、2次元に配置することにより涙液の状態を示す画像として保存、表示するようにしてもよい。画像化する際には多様性の値によって輝度を増加、あるいは、減少させるグレースケールで表現してもよいし、違いをより認知しやすくするために多様性の値をもとにして得られたヒートマップカラーを用いてもよい。
【0030】
また、このようにして得られた涙液干渉縞画像における色の多様性を単一の画像だけではなく、撮影時間が異なる2枚以上の画像(静止画像)や映像(動画像)に対して同様に解析していくことで、時間的・空間的な涙液の状態の解析が可能となり、涙液の状態が観察領域のどの部分から劣化していくのか、あるいは、涙液がどれぐらいの流動性を持っているのか、さらには、涙液がどの時点で崩壊するのかなど、動的な解析を非侵襲的に行うことができる。こうした解析によれば、ドライアイの重症度の診断において、単なるグレード評価だけでなく、ドライアイの症状の角膜上における位置関係や進行状況等についての詳細な情報を得ることができ、その後の治療に活かすことが可能となる。
【実施例1】
【0031】
図1AおよびBは、涙液干渉縞画像の色の多様性を評価する方法として、HSV色空間を用い、目視判定においてグレード1と判別された画像(
図1A)と、目視判定においてグレード4と判別された画像(
図1B)をそれぞれ用意し、画像の中心部分の320×320画素の領域について含まれる各画素について色相を色情報として求め、その色情報が色相を180分割した区分のどこに属すかを調べてヒストグラムを作成し、要素数が空でない区分の割合を算出したものである。
【0032】
結果として、グレードが低い画像(グレード1、
図1A)においては、要素数が空でない区分の割合は低く、グレードが高い画像(グレード4、
図1B)においては、要素数が空でない区分の割合は高いという結果となった。
【0033】
また、さまざまなグレードからなる計15枚の画像について、前述の方法と同様の方法で評価した結果を表1に示す。
【表1】
【0034】
この表1に示されたデータをグラフ化したところ、
図1Cに示すような結果となった。ややばらつきは大きいものの、グレードと要素数が空でない区分の間には正の相関が認められた。すなわち、グレード1と判断された涙液干渉縞画像は、要素数が空でない区分の割合は低い、つまり色の多様性が低いと評価でき、グレードが高くなるにつれて、要素数が空でない区分の割合が高くなる、つまり色の多様性が高くなっていくと評価できることがわかる。
【実施例2】
【0035】
続いて、RGB色空間を用いて評価を行った結果を
図2に示す。実施例1で使用したものと同じ画像を用い、実施例1と同じく画像の中心部分の320×320画素の領域について含まれる各画素について、赤、青、緑の輝度値のヒストグラムを作成し、ヒストグラムのばらつきを標準偏差に注目して評価した。
【0036】
その結果、グレードの低い画像では領域内のRGB各要素の輝度の標準偏差は小さかったが(
図2A)、グレードが高い画像では大きな標準偏差を示した(
図2B)。
【0037】
実施例1に用いたものと同じように計15枚の画像を評価した結果を表2に示す。
【表2】
【0038】
またこの表2のデータについて赤色要素の標準偏差、ならびに、3色の要素の標準偏差の平均値についてグレードに対してマッピングした結果を
図3Cおよび
図3Dに示す。これらに示すように、いずれにおいても高い正の相関を示し、かつ、実施例1による方法よりもばらつきが小さい良好な結果を得た。
【0039】
これらの結果から、涙液干渉縞の色の標準偏差は色の多様性を評価するのに適した指標であることがわかる。ある領域における輝度の標準偏差が大きいということは、色の多様性が高いと評価でき、一方、標準偏差が小さいということは、色の多様性が低いと評価できるものである。このように、涙液干渉縞画像における色の多様性を評価するための指標として輝度の標準偏差は優れた指標であり、グレード評価に類似した数値化を行うことが可能であることがわかる。
【実施例3】
【0040】
図3は、ある涙液干渉縞画像について、画像全体(A)、画像を4分割(B)、16分割(C)、64分割(D)、256分割(E)したときに得られる色の多様性を示した一例である。数値は各領域が示す色の多様性を示す値であり、0から9までの10段階の数値をとる。ここでは、小さな格子を用いることにより涙液干渉縞における微小な変化を検出可能であることを示している。色の多様性が6以上の場合を涙液の状態が悪いと判断し、その区分に関しては区分内に×印を付与してある。
【0041】
画像全体が1つの格子である場合、4という10段階評価で中程度の値となっているが、格子の辺の長さを2分の1、4分の1、8分の1、16分の1と小さくするに従って解像度が増加するため、微小領域における涙液の状態を把握することができる。
【0042】
また、この他、
図4に示すように、画像を領域化するのではなく、個々の画素、あるいは、画素の集合に注目して、それらを取り囲む周囲の画素の色の多様性を求めることで、元の涙液干渉縞画像と同等の解像度で涙液の状態を評価することが可能である。
図4Aは、ある涙液干渉縞画像における各画素の輝度の数値を示すものであり、
図4Bは、ある画素とその画素を取り囲む画素を標本として標準偏差を算出したものである。
【0043】
図4Bに示す例では、注目画素1およびこれを取り囲む領域1における標準偏差は、「2.2」と小さいが、注目画素2およびこれを取り囲む領域2においては「7.1」と大きいため、領域1と比較して領域2の方が色の多様性が高く、領域2の方が涙液の状態が悪いと判断することができる。こうして、涙液の状態について、角膜上の具体的な位置ごとに把握し、評価することができる。
【実施例4】
【0044】
実施例3における涙液の状態を干渉縞の色の多様性から評価する方法において、周辺画素の持つ色から各画素の色の多様性を評価する方法を用いて涙液干渉縞の映像の評価を行った。具体的に、ある涙液干渉縞の映像の各フレームの画像について、赤、緑、青(RGB)の3要素について注目画素を中心に含む5×5の合計25画素の値から輝度の標準偏差をそれぞれ求めたのち平均した値を算出した。
【0045】
このように、映像の各フレームの画像に対して前記の方法で色の多様性を評価したところ、
図5に示すような、角膜上の涙液において下まぶた側から亀裂が入り、その亀裂が成長していく過程を捉えることができた。
【0046】
図5Aは涙液干渉縞画像の下部の亀裂を含む領域における水平方向の色の多様性、
図5Bは水平に対して垂直方向の色の多様性の時間経過を見たものである。亀裂付近はさまざまな色が出現するため、干渉縞の色の多様性が増加するものであるが、水平方向には亀裂の多様性が増加しないものの、垂直方向には増加していく、即ち、亀裂が下まぶた側から上方に陥入していくことがわかる。これにより、角膜のどこの位置で涙液が崩壊するのか、また、どのタイミングで涙液が崩壊するのかを解析することが可能になり、涙液全体を見てグレードの判断をするよりも詳細な診断が可能となる。
【実施例5】
【0047】
実施例3、ならびに実施例4記載の方法で得られる涙液干渉縞の色の多様性として赤色と青色の標準偏差を計算し、青色の標準偏差を赤色の標準偏差で除算する方法を検討した。赤色の標準偏差はグレード4までは直線的に増加するがグレード5においては涙液干渉縞画像が全体的に暗いため小さい数値となってしまう。一方、青色の標準偏差はグレード5まで増加するので、青色の標準偏差を赤色の標準偏差で除算することによりグレード5の画像を特異的に検出することが可能であった。
【0048】
以上、本発明について説明したが、本発明は上述の実施例に限定されず種々の変形した形での応用が可能なものである。上述の説明では、涙液干渉縞画像取得装置と涙液状態評価装置とが別々のハードウェアであるように記載したが、涙液干渉縞画像取得装置と画像処理装置とは、一体のハードウェアとして構成されていてもよいし、内蔵する情報処理のための処理手段や記憶手段等は、涙液干渉縞画像取得装置と涙液状態評価装置とで各々備えても、一部兼用としてもよい。涙液状態評価装置として涙液干渉縞画像に対して、これまで説明してきた処理を行える構成であればよい。
また、輝度の標準偏差を算出する領域については、画像全体でも良いし、格子状に分割した画像の小片(区分)でも良いし、また、各々の画素とその周辺領域から算出しても良い。
このように領域を画像全体、画像全体を無数の領域に分解し各々の分割された領域、または、各画素、あるいは、少数の画素集団に対してそれを取り囲む領域、を適宜選択し、干渉縞の色の状態を領域単位で解析して数値化する方法により、涙液の状態の平面的(、あるいは、空間的)な分布について評価することができる。