特開 2024-60426 眼観察装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024060426

(43)【公開日】2024-05-02

(54)【発明の名称】眼観察装置

(51)【国際特許分類】

   A61B 3/14 20060101AFI20240424BHJP

【ＦＩ】

A61B3/14

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022167789

(22)【出願日】2022-10-19

(71)【出願人】

【識別番号】510064440

【氏名又は名称】株式会社ナノルクス

(74)【代理人】

【識別番号】110003753

【氏名又は名称】弁理士法人シエル国際特許事務所

(72)【発明者】

【氏名】祖父江 基史

(72)【発明者】

【氏名】高田 浩和

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA01

4C316AA09

4C316AA11

4C316AB06

4C316AB16

4C316FA06

4C316FA19

4C316FB21

4C316FB22

4C316FB23

(57)【要約】

【課題】赤外光による眼球内部の観察において、鮮明な眼内像又は眼底像が得られる眼観察装置を提供する。
【解決手段】被検眼５０の内部を観察する眼観察装置に、赤外光により被検眼の内部を動画撮影する撮像部１と、撮像部１で撮影された動画から眼底又は眼内の静止画を生成する画像生成部２を設け、画像生成部２では、画像取込部２１において撮像部１から出力された画像信号を取り込んで観察対象領域を切り出し、マーカー検出部２２において画像取込部２１で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出し、除外処理部２３において抽出された静止画像フレームを判定して位置ずれ量が閾値を超える画像を積算対象から除外し、積算部２４において積算対象と判定された画像を積算して眼底像又は眼内像を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

赤外光により被検眼の内部を動画撮影する撮像部と、
前記撮像部で撮影された動画から眼底及び／又は眼内の静止画を生成する画像生成部と
を有し、
前記画像生成部は、
前記撮像部から出力された画像信号を取り込み、観察対象領域を切り出す画像取込部と、
前記画像取込部で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出するマーカー検出部と、
前記マーカー検出部で抽出された静止画像フレームを判定し、位置ずれ量が閾値を超える画像を積算対象から除外する除外処理部と、
前記除外処理部で積算対象と判定された画像を積算して、眼底像及び／又は眼内像を生成する積算部と
を備える眼観察装置。

【請求項2】

前記マーカー検出部では、分離度フィルタを用いた位置検出を行う請求項１に記載の眼観察装置。

【請求項3】

更に、前記画像生成部において生成した眼底像及び／又は眼内像に対してデコンボリューション処理を行い、画像内のボケを除去するボケ処理部を有する請求項１に記載の眼観察装置。

【請求項4】

更に、前記ボケ処理部においてボケが除去された画像に対して特徴点を強調する補正を行う画像補正部を有する請求項３に記載の眼観察装置。

【請求項5】

前記積算部では、テンプレートマッチング法により積算する画像の位置補正を行う請求項１に記載の眼観察装置。

【請求項6】

前記マーカー検出部では、網膜上の視神経乳頭をマーカーとして位置合わせを行う請求項１又は２に記載の眼観察装置。

【請求項7】

前記撮像部は、赤外光と可視光の両方を出射する光源を備え、前記赤外光と前記可視光とが同一光路を通過して前記被検眼に照射される請求項１に記載の眼観察装置。

【請求項8】

前記撮像部は中心波長が異なる３以上の赤外光により被検眼内部を動画撮影し、前記画像生成部は眼底及び／又は眼内のカラーの静止画を生成する請求項１又は７に記載の眼観察装置。

【請求項9】

前記画像生成部で生成した眼底像及び／又は眼内像を表示する表示部を有する請求項１に記載の眼観察装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検者の眼球内部を観察する眼観察装置に関し、より詳しくは赤外光により眼内又は眼底を画像観察する装置に関する。

【背景技術】

【0002】

一般に、眼底検査をする際は、被検眼に可視光を照射し、眼底からの反射光を検出して画像化しているが、可視光照射による撮影は、眩しく、被検者に負担をかけるため、近年、赤外光を用いて眼底を撮影する方法が検討されている（例えば、特許文献１～３参照。）。特許文献１に記載の赤外光眼底撮影方法では、被検眼に６８０～７８０ｎｍの波長の赤外光を照射し、撮像素子によりその反射光を受光することで網膜上から網膜下の血管を選択的に撮影している。

【0003】

また、特許文献２に記載の眼底撮影装置では、被検眼に円偏光の赤外光を照射し、その反射光を直線偏光に変換して偏光方向毎に撮影することで、同一被検者の眼底を異なる偏光状態で撮影している。一方、特許文献３に記載の眼撮影装置では、２以上の波長成分を含む近赤外光を被検眼に照射し、撮像素子によって被検眼の眼底又は眼内の任意の位置で反射した近赤外光に由来する２以上の反射光を同時に検出することで、可視光により撮影した画像と同様のカラー画像を生成している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－１１０２０２号公報

【特許文献2】特開２０１２－３４７２４号公報

【特許文献3】特許第６８８６７４８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、赤外光を用いた従来の眼観察装置には、以下に示す問題がある。可視光による通常の眼底撮影と同様に赤外光で静止画フラッシュ撮影を行う場合、安全性の観点から光量を極力少なくすることが望ましいが、光量の小ささを補うためにカメラのゲインを上げると画像にノイズがのりやすく、また、カメラの露光時間を長くすると眼球運動による画像のボケが大きくなる。このため、赤外光によるフラッシュ撮影では、鮮明な眼内像や眼底像を得ることが難しい。

【0006】

一方、赤外光による観察では眼球内部の動画撮影が可能となるため、撮影した動画から静止画フレームを複数枚抽出して蓄積し、それらを画像処理することによって鮮明な静止画を生成する方法も考えられる。ただし、人の眼は一点を見つめた状態でも「固視微動」と呼ばれる微小な動きがあり、また、眼底の形状にも個人差があるため、眼球内部の動画撮影には、連続する画像フレーム間で画像の位置ずれが発生しやすく、また、眼球内で赤外光が反射して画像がぼけるという問題がある。このため、赤外光を用いて撮影した動画から静止画を生成しても、前述したフラッシュ撮影と同様に、眼内及び眼底の鮮明な画像を得ることは難しい。

【0007】

そこで、本発明は、赤外光による眼球内部の観察において、鮮明な眼内像又は眼底像が得られる眼観察装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る眼観察装置は、赤外光により被検眼の内部を動画撮影する撮像部と、前記撮像部で撮影された動画から眼底及び／又は眼内の静止画を生成する画像生成部とを有し、前記画像生成部は、前記撮像部から出力された画像信号を取り込み、観察対象領域を切り出す画像取込部と、前記画像取込部で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出するマーカー検出部と、前記マーカー検出部で抽出された静止画像フレームを判定し、位置ずれ量が閾値を超える画像を積算対象から除外する除外処理部と、前記除外処理部で積算対象と判定された画像を積算して、眼底像及び／又は眼内像を生成する積算部とを備える。
前記マーカー検出部では、分離度フィルタを用いた位置検出を行ってもよい。
本発明の眼観察装置は、更に、前記画像生成部において生成した眼底像及び／又は眼内像に対してデコンボリューション処理を行い、画像内のボケを除去するボケ処理部を有していてもよい。
その場合、前記ボケ処理部においてボケが除去された画像に対して特徴点を強調する補正を行う画像補正部を更に有することもできる。
前記積算部では、テンプレートマッチング法により積算する画像の位置補正を行ってもよい。
前記マーカー検出部では、網膜上の視神経乳頭をマーカーとして位置合わせを行ってもよい。
前記撮像部は、赤外光と可視光の両方を出射する光源を備え、前記赤外光と前記可視光とが同一光路を通過して前記被検眼に照射される構成とすることもできる。
記撮像部は中心波長が異なる３以上の赤外光により被検眼内部を動画撮影し、前記画像生成部は眼底及び／又は眼内のカラーの静止画を生成してもよい。
本発明の眼観察装置は、前記画像生成部で生成した眼底像及び／又は眼内像を表示する表示部を有していてもよい。

【発明の効果】

【0009】

本発明によれば、赤外光による眼球内部の観察において、鮮明な眼内像や眼底像が得られる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態の眼観察装置の構成を示すブロック図である。

【図2】図１に示す撮像部１の構成例を示す図である。

【図3】図１に示す撮像部１の他の構成例を示す図である。

【図4】Ａ～Ｃは半径の異なる３種の半円形分離度フィルタを示す図である。

【図5】半円形分離度フィルタの適用方法を示す図である。

【図6】視神経乳頭が画面中央寄りにある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図である。

【図7】視神経乳頭が画面周辺部にある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図である。

【図8】半円形分離度フィルタで計算された１フレーム目からの位置ずれ量（ｄｘ，ｄｙ）と視神経乳頭中心点の検出位置を示す図面代用写真である。

【図9】本発明の第２の実施形態の眼観察装置の構成を示すブロック図である。

【図10】Ａは血管強調処理前の赤外光画像（図面代用写真）であり、Ｂはモルフォロジーフィルタバンクにより血管を強調した赤外光画像（図面代用写真）である。

【図11】Ａ～Ｃは図９に示す眼観察装置で撮影した眼底像であり、Ａは動画の１フレーム、Ｂは積算処理後の画像、Ｃはデコンボリューション後の画像である。

【図12】本発明の実施例で撮影した眼底像（図面代用写真）である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。

【0012】

（第１の実施形態）
先ず、本発明の第１の実施形態に係る眼観察装置について説明する。図１は本実施形態の眼観察装置の構成を示すブロック図である。図１に示すように、本実施形態の眼観察装置は、赤外光により被検眼５０の内部を動画撮影する撮像部１と、撮像部１から出力された画像信号から眼底などの観察対象部分の画像（静止画）を生成する画像生成部２を備える。また、本実施形態の眼内観察装置では、生成した眼底像、眼内像又はその両方を表示する表示部３が設けられていてもよい。

【0013】

前述した眼球運動は不随意運動であり、意識しても完全に止めることはできない。そして、固視微動は、短時間で早い動きのマイクロサッケード、緩やかな動きのドリフト、細かな動きのトレモアの三種類に大別できることが知られている。とりわけ、マイクロサッケードは高速で移動量の比較的大きな動き（～１０ｄｅｇ／秒）であり、連続する画像フレーム間の画像の不連続の原因となっている。

【0014】

一般に、眼底は１００Ｈｚ程度の動きをするといわれている。そこで、本実施形態の眼観察装置では、撮像部１において、露光時間が１００分の１秒で、かつ、グローバルシャッターのイメージセンサーを用いることとした。

【0015】

また、眼底像の動画撮影において、画像積算によってノイズ低減を行うには、固視微動の影響を考慮しつつ、眼底像の各フレームの位置合わせをして画像を積算しなければならないが、正確な位置合わせは固視微動および眼底形状の個人差により困難である。そこで、本実施形態の眼観察装置では、画像生成部２において、「マーカー検出力の改善」、「適切な成否判定基準の設定」及び「積算精度の改善」を行った。

【0016】

［撮像部１］
図２及び図３は撮像部１の構成例を示す図である。撮像部１は、被検眼５０に赤外光を照射し、被検眼５０の内部で反射した光を結像して眼底像や眼内像を撮像するものであり、例えば図２に示すように、光源１１、ライトパイプ１２、コンデンサレンズ１３、分光素子１４、対物レンズ１５、フォーカスレンズ１６及び撮像素子１７などで構成されている。

【0017】

光源１１は、１種又は２種以上の赤外光を発するものであればよく、例えば、７００～１１００ｎｍといった広帯域の近赤外光を出射可能なもの、発光波長が異なる複数の発光ダイオード（ＬＥＤ：light emitting diode）を組み合わせたものなどを用いることができる。

【0018】

ライトパイプ１２は、入射した光を多角柱や多角錐の側面で複数回反射することで均一化して出射する光学素子であり、ホモジナイザーとも呼ばれる。光源１１を発光波長が異なる複数のＬＥＤを組み合わせた構成にすると、各ＬＥＤの配置や特性、光源１１の位置ずれなどによって照射斑が発生することがある。そのような場合は、光源１１と被検眼５０との間にライトパイプ１２を配置すれば、ライトパイプ１２内で均一化された光が出射されるため、被検眼５０に２以上の波長成分を含む赤外光を均一に照射することができる。

【0019】

なお、１種の赤外光のみ照射する場合や、２以上の波長成分を含む赤外光を均一に照射することが可能な光源を用いた場合は、ライトパイプ１２は設けなくてもよい。ここで、均一照射が可能な光源としては、例えば、発光波長が異なる複数のＬＥＤを近接配置して封止し、中心波長が異なる２以上の赤外光の出射位置を近接させたものや、短波長ＬＥＤと近赤外蛍光体を使用して、広帯域の近赤外光を同一位置から出射するようにしたものなどが挙げられる。また、ライトパイプ１２の後方（出射側）に拡散板及び／又は絞りを配置すれば、擬似的な点光源を生成することができるため、照射斑を更に低減することが可能となる。

【0020】

分光素子１４は、光源１１から発せられた赤外光の一部を反射して被検眼５０に向けて出射すると共に、眼底及び／又は眼内で反射した光を透過するものであり、例えばビームスプリッターなどを用いることができる。なお、ライトパイプ１２と分光素子１４の間には、照明光（近赤外光）を集光するコンデンサレンズ１３、光源の反射像を除去するための偏光シート（図示せず）及び照明形状を成形するためのマスク（図示せず）を配置することもできる。その場合、偏光シートには、近赤外光にも対応したワイヤーグリッド偏光子を用いることが好ましい。

【0021】

対物レンズ１５は、照明光である赤外光を被検眼５０に集光させるものであり、例えば両凸レンズなどを用いることができる。なお、対物レンズ１５は、被検眼５０からの反射光を集光する役割もある。

【0022】

フォーカスレンズ１６は、被検眼５０の内部で反射され、対物レンズ１５及び分光素子１４を通過した光を結像するものである。なお、ライトパイプ１２と分光素子１４の間に偏光シートを配置する代わりに、分光素子１４とフォーカスレンズ１６の間に偏光シート（図示せず）を設けてもよい。これにより、レンズや眼球表面での反射や被検眼５０からの反射光の写り込みを抑制できる。この場合も、偏光シートには近赤外光にも対応したワイヤーグリッド偏光子などを用いることができる。

【0023】

撮像素子１７は、フォーカスレンズ１６で結像された眼底像及び／又は眼内像を撮像して波長成分毎の画像信号を出力するものであり、撮像部１内に１又は２以上設けられている。撮像素子１７には、例えばＰＣＴ／ＪＰ２０１８／００６１９３、ＰＣＴ／ＪＰ２０１８／０１７９２５及び特許６８８６７４８号に記載されているような波長が異なる複数の赤外光を同時検出可能な固体撮像素子を用いることができる。この場合、１つの撮像素子１７で、被検眼５０の眼内及び／又は眼底で反射した複数の光（赤外光）を検出することができる。

【0024】

そして、例えば、第１近赤外画素で赤色光（Ｒ）と相関関係にある近赤外領域の光を検出し、第２近赤外画素で青色光（Ｂ）と相関関係にある近赤外領域の光を検出し、第３近赤外画素で緑色光（Ｇ）と相関関係にある近赤外領域の光を検出することで後述する画像生成部２において可視光によるカラー撮影と同様のカラー画像を生成することができる。ここで、赤色光（Ｒ）と相関関係にある近赤外領域の光は７００～８３０ｎｍの範囲で任意の波長の光であり、青色光（Ｂ）と相関関係にある近赤外領域の光は８３０～８８０ｎｍの範囲で任意の波長の光であり、緑色光（Ｇ）と相関関係にある近赤外領域の光は８８０～１２００ｎｍの範囲で任意の波長の光であり、それぞれ異なる波長の光である。

【0025】

又は、単一波長の赤外光を検出する複数の撮像素子１７を設けると共に、その手前に被検眼５０からの反射光を特定波長毎に分光して各撮像素子１７に向けて出射する分光素子（プリズム）を設けてもよい。この場合も、例えば、第１撮像素子で赤色光（Ｒ）と相関関係にある近赤外領域の光を検出し、第２撮像素子で青色光（Ｂ）と相関関係にある近赤外領域の光を検出し、第３撮像素子で緑色光（Ｇ）と相関関係にある近赤外領域の光を検出することで、可視光によるカラー撮影と同様のカラー画像を生成することができる。

【0026】

本実施形態の眼観察装置における撮像部１は、図２に示す構成に限定されるものではなく、例えば図３に示すように可視光と近赤外光の両方を出射する光源と、固視灯投影マスクを設け、可視光と近赤外光とが同一光路を通過し、被検眼５０に照射される構成にすることもできる。図３に示す構成では、光源１８から固視標用の可視光ＶＩＳと、観察用の近赤外光ＮＩＲを出射する。そして、光源１８から出射された可視光ＶＩＳ及び近赤外光ＮＩＲは、ライトパイプ１２で均一化された後、固視灯投影マスク１９及びコンデンサレンズ１３を通過し、分光素子１４で反射され、対物レンズ１５を経由して被検眼５０に照射される。

【0027】

一方、被検眼５０で反射された光は、対物レンズ１５、分光素子１４及びフォーカスレンズ１６を透過し、撮像素子１７に入射する。撮像部１を図３に示す構成にすることにより、可視光の固定標により視線を固定した状態で、近赤外光による眼底及び／又は眼内の連続撮影（動画撮影）を行うことができる。また、図３に示す構成は、固視標用の可視光ＶＩＳと観察用の近赤外光ＮＩＲの光路が共通しているため、観察用の近赤外光ＮＩＲとは別に、固視標用の可視光ＶＩＳを照射する光学系を設ける場合に比べて、撮像部１の構成を簡素化することができる。

【0028】

［画像生成部２］
画像生成部２は、撮像部１から出力された各画像信号から被検眼５０の眼底像及び／又は眼内像を生成するものであり、画像取込部２１、マーカー検出部２２、除外処理部２３及び積算部２４などが設けられている。

【0029】

＜画像取込部２１＞
画像取込部２１では、撮像部１から出力された画像信号を取り込み、観察対象となる領域を切り出す。

【0030】

＜マーカー検出部２２＞
マーカー検出部２２では、画像取込部２１で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出する。その際、画像の位置合わせを行うための基準位置の位置合わせ用マーカーとして、例えば眼球内部の赤外光画像において血管や脈絡膜のパターンよりも比較的判別しやすい網膜上の視神経乳頭を用いる。

【0031】

従来、視神経乳頭周辺のエッジは、ガウシアンフィルタによるノイズ除去後に勾配フィルタ（Gradient Filter）を適用して検出していたが、視神経乳頭が画像周辺部に位置すると正確に検出できなくなる。特に、眼底検診においては、黄斑部を画面中央に撮影することが多いため、視神経乳頭は画面周辺部に位置することになり、その解決が求められている。

【0032】

そこで、本実施形態の眼観察装置では、マーカー検出部２２における検出に分離度フィルタ（Separability Filter）を用いる。分離度フィルタは、顔画像からの瞳検出など画像中から円形または楕円形の領域を安定かつ高精度に検出可能な手法である。本実施形態の眼観察装置において使用する分離度フィルタは、特に限定されるものではないが、視神経乳頭が画像の外周部に写る場合でも対応できるようにするため、単純な円形ではなく、半円形を検出対象とする半円形分離度フィルタを使用することが好ましい。

【0033】

図４Ａ～Ｃは半径の異なる３種の半円形分離度フィルタを示す図であり、図５はその適用方法を示す図である。視神経乳頭の大きさは直径で約１．１～１．９ｍｍと個人差があるため、本実施形態の眼観察装置では、例えば図４Ａ～Ｃに示すような半径が異なる３種類の半円形分離度フィルタを用いる。これにより、汎用性を高めることができる。

【0034】

半円形分離度フィルタを用いた位置検出では、半円形の外部（図５に示す半円のハッチング部分）と半円形の内部（図５に示す半円の白抜き部分）の画素の輝度値に基づいて求めた分離度が最大となる位置を探索することによって、画像中心から放射状に引いた線上にある視神経乳頭に一致する半円を見つけて位置検出を行うことができる。このように、マーカー検出部２２において半円形分離度フィルタを使用することにより、視神経乳頭が半分程度しか写っていないような場合でも、画像の中心寄りの半円部分で位置検出ができるようになり、広範囲な視神経乳頭の位置検出が可能となる。

【0035】

具体的には、先ず、画像の各画素において、２０度刻みで１８方向に分割した半円のうち、図５に示す画素Ｐの極座標の角度θに最も近い２０度刻みで１８方向に分割した角度θ’の半円を用いて、分離度を半円形の内部領域と外部領域のそれぞれ輝度を積算しその比として計算する。そして、同様の計算を半径の異なる３種類の半円ごとに行い、最後に画面の全領域を対象に計算された３種類の半円形分離度を比較して分離度が最大値となる領域を探索する。

【0036】

図６は視神経乳頭が画面中央寄りにある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図であり、図７は視神経乳頭が画面周辺部にある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図である。図６に示す視神経乳頭が画面中央に位置する動画では、勾配フィルタ方式、分離度フィルタ方式とも同等に乳頭神経の位置を検知できることが確認できる。従来の課題であった視神経乳頭が画面周辺部に位置する動画では、勾配フィルタ方式では検出困難であったが、分離度フィルタ方式を適用することにより検出が可能となる。そして、図７に示す視神経乳頭が画面周辺部にある場合では、分離度フィルタ方式でトラッキングが正確に行われていることが示されている。

【0037】

図８は半円形分離度フィルタで計算された１フレーム目からの位置ずれ量（ｄｘ，ｄｙ）と視神経乳頭中心点の検出位置を示す図面代用写真である。本発明者は、図８に示すように、動画フレームのうち、１００フレーム目、２００フレーム目の視神経乳頭の検出位置を画像上にプロットすることで、分離度フィルタによる位置検出結果が正しいかどうかを確認した。

【0038】

評価用の動画は、図６に示す視神経乳頭が画面中央寄りの鮮明化処理後の画像にガウシアン（Gaussian）フィルタを適用して画像をぼかした基準画像を作成し、その画像に対して眼底像の位置を人工的にずらした画像２５６枚を作成し、さらに眼底像とノイズが同様のシフト量とならないように、各画像にランダムノイズを付加した。その際、シフト量は、実際の眼底の動きに近似させるため、図６及び図７の分離度フィルタで求めた位置ズレ量を使用した。

【0039】

このように作成した評価用の動画に対して、分離度フィルタ方式で位置ずれ量を計算したところ、ずれ量推計誤差（絶対値誤差、ピクセル数）は、平均でＸ軸方向１．１、Ｙ軸方向１．０と、１９２０×１０８０ピクセルの画像に対してほぼ正確にトラッキングできることが確認できた。

【0040】

また、演算速度に関しては、半円形分離度フィルタでは円形分離度フィルタに比べて演算量が増えるものの、分離度フィルタ方式で８秒と高速化を達成できた。この方法は、全画素（２００万画素）に対して３種類のフィルタ毎の分離度を計算するため、計算量が膨大になるが、水平方向のインテグラルイメージ（積分画像）を事前に計算しておき、水平方向の半円の起点と終点位置から高速に領域ごとの積算値を求めることにより、計算効率を高めることができる。更に、ＧＰＵを用いた高速並列演算処理の適用及び探索履歴を用いた効率的な探索範囲の設定することにより、処理時間を短縮し、実用度を高めることができる。

【0041】

＜除外処理部２３＞
除外処理部２３は、マーカー検出部２２で処理した画像を判定して、不適切な画像を積算対象から除外するものであり、具体的には、マイクロサッケードなどの固視微動によって画像が大きくずれた場合に、その画像を積算対象から除外する。本実施形態の眼観察装置では、例えば６０ｆｐｓで約５秒間、被検眼５０の内部の動画を撮影し、３００枚程度の画像フレームを取得する。このうち、しきい値を超える位置変化のあった画像を、除外処理部２３において除外することで、積算対象となる画像の絞り込みを行う。

【0042】

その際の閾値は、画像積算による画像劣化を抑えつつ、ある程度の積算枚数が確保できるような値とする。具体的には、視神経乳頭位置の位置ずれ量の観測結果から閾値を設定し、（１）第１フレームからのずれ量が６０ピクセル以下の画像、又は、（２）直前フレームからのずれ量が４ピクセル以下の画像を積算対象とする。そして、積算画像数を変えて生成される画像を比較したところ、積算画像数が多い方が鮮明な画像が得られるため望ましいが、１００枚程度の画像フレームの積算で、目的とするランダムノイズの低減の効果が確認された。そこで、除外処理部２３では、積算対象となる画像が少なくとも１００枚となるようにする。

【0043】

＜積算部２４＞
積算部２４は、除外処理部２３で積算対象と判定した画像を積算して、眼底像又は眼内像を生成するものである。画像積算により鮮明な画像を得るには、正確な位置合わせが必要である。分離度フィルタによる位置合わせだけでも、画素ずれなく位置合わせを行うこともできるが、マーカーである視神経乳頭が不鮮明な場合などでは、より精密な位置ずれ量の計測が必要となる。

【0044】

そこで、本実施形態の眼撮影装置では、視神経乳頭の中心位置の周辺画像について、範囲を限定して演算量の負荷を抑えつつ、テンプレートマッチングによって位置ずれ量を計測する。これにより、高精度な位置補正を演算時間の遅延なく実施することが可能となる。その際、テンプレートマッチングのテンプレート画像としては、分離度フィルタで最初に正常検出したフレームの視神経乳頭の領域切り出したものを使用することができる。

【0045】

また、テンプレートマッチングの手法としては、例えば、高速性を重視し、単純な画素値差分の二乗和（Sum of Squared Difference）によりテンプレート画像との類似度を求める方法を適用できる。一般に、画素値差分の二乗和を用いる方法よりも、零平均正規化相互相関（Zero-means Normalized Cross-Correlation）を使用する方法の方が、照明変化に対するロバスト性が高いと言われているが、本実施形態の眼撮影装置では、照明変化が少ないため、より高速で処理できる画素値差分の二乗和を用いるアルゴリズムを採用することとした。

【0046】

［表示部３］
表示部３は、画像生成部２で生成した眼底像及び／又は眼内像を表示するものである。表示部３は眼観察装置内に設けられていてもよいが、眼観察装置とは別に設けられた表示装置（モニター）でもよく、また、眼観察装置と接続されたコンピュータの表示部で代用することもできる。

【0047】

以上詳述したように、本実施形態の眼観察装置は、画像生成部において、赤外光で撮影した動画から静止画を切り出し、マーカー検出を行った後、除外処理部において画像のずれの有無・程度を判定し、その結果積算対象となった画像をテンプレートマッチングによって位置ずれ量を計測し、位置補正しつつ積算する。これより、固視微動や眼底形状の個人差に起因するノイズを低減することができるため、赤外光による眼球内部の観察において、鮮明な眼内像及び／又は眼底像が得られる。

【0048】

また、本実施形態の眼観察装置は、医療機関において医師が操作して眼底像又は眼内像の撮影を行ってもよいが、例えば「顔を顎乗せ台に乗せて下さい」、「内部の固視灯を見つめて下さい」、「撮影を始めます。５秒間瞬きせずに動かないで下さい。」といった音声ガイダンスを流すことで、被検者が自分自身で装置を操作し、眼底像及び／又は眼内像の撮影することもできる。

【0049】

（第２の実施形態）
次に、本発明の第２の実施形態の眼観察装置について説明する。図９は本実施形態の眼観察装置の構成を示すブロック図である。なお、図９においては、図１に示す眼観察装置の構成要素と同じものには同じ符号を付し、その詳細な説明を省略する。図９に示すように、本実施形態の眼観察装置には、前述した撮像部１、画像生成部２に加えて鮮明化処理部４が設けられている。

【0050】

［鮮明化処理部４］
鮮明化処理部４は、画像生成部２で生成した画像を鮮明化するものであり、ボケ処理部４１及び画像補正部４２などを備える。生体組織は、赤外領域の光に対して強い散乱性を示ため、光源から照射された赤外光は眼球の内部で多重散乱を繰り返し、生体内の空間を拡散する。このため、赤外光により眼球内部を撮影した画像にはボケが発生しやすく、鮮明な眼底像又は眼内像を得るには、生体組織における光伝搬の特性に基づいた近赤外光の空間的な広がりの効果を想定し、散乱によるボケを除去する処理が必要となる。

【0051】

そこで、本実施形態の眼観察装置では、鮮明化処理部４において、デコンボリューション処理を行ってボケの除去を行った後、更に、診察に適するよう特定部位の強調などの画像補正を行う。

【0052】

＜ボケ処理部４１＞
ボケ処理部４１は、画像生成部２で生成した画像（眼底像・眼内像）に対してデコンボリューション処理を行うものである。画像のデコンボリューション処理には、例えば反復により高速に画像のボケを除去することが可能なアルゴリズムとして知られているRichardson-Lucyデコンボリューション法（以下、ＲＬ法という。）を適用することができる。

【0053】

ＲＬ法は、画像の点広がり関数（Point Spread Function；ＰＳＦ）が既知である必要があるという制約はあるが、本実施形態の眼観察装置では、Gauss関数を想定し、繰り返し回数とカーネル画像のサイズをパラメータとして与える。ＲＬ法は、高速に処理でき、かつ、ノイズに強い反面、リンギングノイズを発生しやすい欠点があるが、本実施形態の眼観察装置では、実行時にパラメータをユーザがＧＵＩで設定可能とすることで、ノイズを抑えた鮮明化を実現可能とした。

【0054】

なお、デコンボリューション処理としては、ＰＳＦやパラメータを自動推定するブラインド・デコンボリューション手法を用いることもできるが、この方法には、演算処理に非常に時間がかかるというデメリットがある。一方、眼底像又は眼内像の撮影では、撮影結果をできるだけ早く確認できることが重要となるため、撮影直後に画像確認する際の応答時間を重視すると、ブラインド・デコンボリューション法は不向きである。ただし、高速処理が求められない用途では、ブラインド・デコンボリューション法を適用することも可能である。

【0055】

＜画像補正部４２＞
画像補正部４２は、ボケ処理部４１で処理した画像に対して、特徴点を強調する補正を行うものである。画像診断を行う場合、異常や疾患の有無をより判別しやすいよう画像の調整が必要となる場合がある。そこで、本実施形態の眼観察装置では、デコンボリューション処理後の画像（眼底像・眼内像）に対して、画像補正部４２において色調整及び／又はコントラスト調整を行う。

【0056】

画像補正部４２では、また、後処理として、血管抽出のためのフィルタ処理を行ってもよい。血管特徴を抽出する方法としては、例えばGaborフィルタやモルフォロジーフィルタバンクを用いた血管抽出アルゴリズムを適用することができる。図１０Ａは血管強調処理前の赤外光画像（眼底像）であり、図１０Ｂはモルフォロジーフィルタバンクにより血管を強調した赤外光画像（眼底像）である。図１０Ａ，Ｂに示すように、画像補正部４２での処理により、眼底像に含まれる血管部分が強調され、診断を容易にすることができる。

【0057】

本実施形態の眼観察装置では、前述した画像生成部の処理に加えて、鮮明化処理部において、「デコンボリューションの適用」及び「特徴点の強調処理」を行っているため、赤外光撮影に起因するボケを除去すると共に、画像診断に適した鮮明な画像を得ることができる。即ち、本実施形態の眼観察装置は、赤外マルチスペクトルを用いたカラー暗視技術を活用した上で、不規則な固視微動に対応したトラッキング手法及び生体内のボケを解消するデコンボリューション（deconvolution）による画像処理を行っているため、眩しくない赤外光のみで、カラーで鮮明な眼底画像を取得することができる。

【0058】

図１１Ａ～Ｃは本実施形態の眼観察装置で撮影した眼底像であり、図１１Ａは動画の１フレーム、図１１Ｂは積算処理後の画像、図１１Ｃはデコンボリューション後の画像である。図１１Ａに示す動画から抽出したフレーム（静止画）は全体的にノイズ及びボケが強いが、図１１Ｂに示すように、積算処理を行うことによりノイズを低減させることができる。更にデコンボリューション処理を行うことで、図１１Ｃに示すように、欠陥などの細部を明確に確認することが可能となる。

【0059】

本実施形態の眼観察装置は、医療現場で実務的に活用可能であり、撮影された画像は眼疾患及び生活習慣病疾患の検出に有用である。なお、本実施形態における上記以外の構成及び効果は、前述した第１の実施形態と同様である。

【実施例0060】

以下、実施例により、本発明の効果について具体的に説明する。本実施例では、図９に示す眼観察装置を用いて、２１人の被検者（男性１０名、女性１１名）について、両眼の内部の観察及び撮影を行った。撮影は、被検者が医師の指示のもと、顔を顎乗せ台に乗せ静止し、医師がカメラの位置を調整した後、誘導灯で被検者の視線を誘導し、パーソナルコンピュータの操作画面を操作して眼底の画像を撮影した。撮影時間は５秒間とし、撮影した動画は直ちにコンピュータに転送して保存し、追加のコンピュータ操作で、画像蓄積後及び鮮明化後の眼底像（静止画）をモニタに表示して保存した。

【0061】

図１２は本実施例で撮影した眼底像である。図１２に示すように、本発明の眼観察装置を用いて撮影した画像では、血管形状が鮮明に捉えられ、高血圧や動脈硬化の所見である高血圧性変化や動脈硬化性変化、糖尿病網膜症所見である網膜出血を確認することができた。

【0062】

以上の結果から、本発明によれば、実際の医療現場において、眼科眼底検査を受ける患者について、眼疾患及び生活習慣病の症状高血圧・動脈硬化、糖尿病網膜などを判断できる画像を、患者が目を開け続けられる５秒以内の撮影時間で記録し、高齢者を含む眼科患者で撮影を成功し、医師がその場で画像観察できることを確認できた。

【0063】

なお、本発明は、以下の形態を採ることもできる。
〔１〕
赤外光により被検眼の内部を動画撮影する撮像部と、
前記撮像部で撮影された動画から眼底及び／又は眼内の静止画を生成する画像生成部と
を有し、
前記画像生成部は、
前記撮像部から出力された画像信号を取り込み、観察対象領域を切り出す画像取込部と、
前記画像取込部で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出するマーカー検出部と、
前記マーカー検出部で抽出された静止画像フレームを判定し、位置ずれ量が閾値を超える画像を積算対象から除外する除外処理部と、
前記除外処理部で積算対象と判定された画像を積算して、眼底像及び／又は眼内像を生成する積算部と
を備える眼観察装置。
〔２〕
前記マーカー検出部では、分離度フィルタを用いた位置検出を行う〔１〕に記載の眼観察装置。
〔３〕
更に、前記画像生成部において生成した眼底像及び／又は眼内像に対してデコンボリューション処理を行い、画像内のボケを除去するボケ処理部を有する〔１〕又は〔２〕に記載の眼観察装置。
〔４〕
更に、前記ボケ処理部においてボケが除去された画像に対して特徴点を強調する補正を行う画像補正部を有する〔３〕に記載の眼観察装置。
〔５〕
前記積算部では、テンプレートマッチング法により積算する画像の位置補正を行う〔１〕～〔４〕のいずれかに記載の眼観察装置。
〔６〕
前記マーカー検出部では、網膜上の視神経乳頭をマーカーとして位置合わせを行う〔１〕～〔５〕のいずれかに記載の眼観察装置。
〔７〕
前記撮像部は、赤外光と可視光の両方を出射する光源を備え、前記赤外光と前記可視光とが同一光路を通過して前記被検眼に照射される〔１〕～〔６〕のいずれかに記載の眼観察装置。
〔８〕
前記撮像部は中心波長が異なる３以上の赤外光により被検眼内部を動画撮影し、前記画像生成部は眼底及び／又は眼内のカラーの静止画を生成する〔１〕～〔７〕のいずれかに記載の眼観察装置。
〔９〕
前記画像生成部で生成した眼底像及び／又は眼内像を表示する表示部を有する〔１〕～〔８〕のいずれかに記載の眼観察装置。

【符号の説明】

【0064】

１ 撮像部
２ 画像生成部
３ 表示部
４ 鮮明化処理部
１１、１８ 光源
１２ ライトパイプ
１３ コンデンサレンズ
１４ 分光素子
１５ 対物レンズ
１６ フォーカスレンズ
１７ 撮像素子
１９ 固視灯投影マスク
２１ 画像取込部
２２ マーカー検出部
２３ 除外処理部
２４ 積算部
４１ ボケ処理部
４２ 画像補正部
５０ 被検眼
５１ 眼内像・眼底像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】