特許第6241091号(P6241091)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニデックの特許一覧

<>
  • 特許6241091-画像処理装置および画像処理プログラム 図000002
  • 特許6241091-画像処理装置および画像処理プログラム 図000003
  • 特許6241091-画像処理装置および画像処理プログラム 図000004
  • 特許6241091-画像処理装置および画像処理プログラム 図000005
  • 特許6241091-画像処理装置および画像処理プログラム 図000006
  • 特許6241091-画像処理装置および画像処理プログラム 図000007
  • 特許6241091-画像処理装置および画像処理プログラム 図000008
  • 特許6241091-画像処理装置および画像処理プログラム 図000009
  • 特許6241091-画像処理装置および画像処理プログラム 図000010
  • 特許6241091-画像処理装置および画像処理プログラム 図000011
  • 特許6241091-画像処理装置および画像処理プログラム 図000012
  • 特許6241091-画像処理装置および画像処理プログラム 図000013
  • 特許6241091-画像処理装置および画像処理プログラム 図000014
  • 特許6241091-画像処理装置および画像処理プログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6241091
(24)【登録日】2017年11月17日
(45)【発行日】2017年12月6日
(54)【発明の名称】画像処理装置および画像処理プログラム
(51)【国際特許分類】
   A61B 3/14 20060101AFI20171127BHJP
   A61B 3/10 20060101ALI20171127BHJP
【FI】
   A61B3/14 M
   A61B3/10 R
【請求項の数】5
【全頁数】24
(21)【出願番号】特願2013-135628(P2013-135628)
(22)【出願日】2013年6月27日
(65)【公開番号】特開2015-8841(P2015-8841A)
(43)【公開日】2015年1月19日
【審査請求日】2016年6月22日
(73)【特許権者】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(72)【発明者】
【氏名】吉原 佑器
(72)【発明者】
【氏名】羽根渕 昌明
(72)【発明者】
【氏名】柴田 尚久
【審査官】 増渕 俊仁
(56)【参考文献】
【文献】 特開2010−259531(JP,A)
【文献】 特開2013−085583(JP,A)
【文献】 特開2012−213555(JP,A)
【文献】 米国特許出願公開第2013/0010259(US,A1)
【文献】 米国特許出願公開第2005/0270486(US,A1)
【文献】 特開2013−063215(JP,A)
【文献】 特開2013−063216(JP,A)
【文献】 特開2011−200635(JP,A)
【文献】 特開2011−120657(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00−3/18
(57)【特許請求の範囲】
【請求項1】
記憶装置に記憶される複数の被検眼画像を処理する画像処理装置であって、
前記記憶装置に記憶される複数の被検眼画像が撮像されるときの被検眼の動きを検出する動作検出手段と、
固視が安定しているときに連続して撮像された複数の被検眼画像を含む画像セットを、前記記憶装置に記憶される複数の被検眼画像から、前記動作検出手段の検出結果に基づいて取得する取得手段と、
画像処理のテンプレートに用いられる基準画像を、前記取得手段によって取得された画像セットに含まれる複数の被検眼画像を複合することで生成する基準画像生成手段と、を備えていることを特徴とする画像処理装置。
【請求項2】
前記記憶装置に記憶される被検眼画像を水平移動および回転移動の少なくとも一方によって互いに重ねて位置あわせを行う位置あわせ手段と、
前記基準画像生成手段によって複合される領域を、前記位置あわせ手段によって前記被検眼画像の位置あわせがされた前記画像セットに対して設定する領域設定手段と、を備えていることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記位置あわせ手段は、前記記憶装置に記憶される複数の被検眼画像の一部を含む第2基準画像に対して、前記複数の被検眼画像を順に位置あわせし、
所定枚の被検眼画像が前記位置あわせ手段によって位置あわせされる度に、位置あわせされた所定枚の被検眼画像の少なくとも一部と前記第2基準画像とを含む新たな第2基準画像を生成する第2基準画像更新手段を備えていることを特徴とする請求項2記載の画像処理装置。
【請求項4】
前記画像セットが前記取得手段によって複数セット取得され得る場合に、前記取得手段は、時間的に連続する被検眼画像の数が最も多い画像セットを少なくとも取得することを特徴とする請求項1から3の何れかに記載の画像処理装置。
【請求項5】
記憶装置に記憶される複数の被検眼画像を処理する画像処理プログラムであって、
画像処理装置のプロセッサで実行されることにより、
前記記憶装置に記憶される複数の被検眼画像が撮像されるときの被検眼の動きを検出する動作検出ステップと、
固視が安定しているときに連続して撮像された複数の被検眼画像を含む画像セットを、前記記憶装置に記憶される複数の被検眼画像から、前記動作検出ステップの検出結果に基づいて取得する取得ステップと、
画像処理のテンプレートに用いられる基準画像を、前記取得ステップによって取得された画像セットに含まれる複数の被検眼画像を複合することで生成する基準画像生成ステップと、が前記画像処理装置によって実行されることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
被検眼画像を用いた画像処理のテンプレートとして用いられる基準画像を生成する画像処理装置、および画像処理プログラムに関する。
【背景技術】
【0002】
被検眼を撮像する眼科撮像装置の一例として、被検眼の眼底を光によって走査し、眼底からの反射光を受光することで眼底画像を撮像する装置が知られている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−115301号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
眼科撮像装置によって被検眼の同一位置を複数回撮像して得られた複数枚の被検眼画像から、被検眼の観察または解析等に使用される被検眼画像を生成する画像処理が行われる場合がある。例えば、複数の被検眼画像の一部または全部を用いて動画像が生成されたり被検眼画像の加算平均画像が生成されたりする場合がある。
【0005】
眼科撮像装置で撮像されたそれぞれの被検眼画像は、固視微動等の被検眼の時間的な変化の影響を受けるので、それぞれの被検眼画像同に他の画像との差異があるおそれがある。そこで、複数枚の被検眼画像から、画像間の差異を補正することが考えられる。このとき、1枚の被検眼画像を画像処理のテンプレートに用いて、複数の被検眼画像を補正する方法が考えられる。
【0006】
しかしながら、固視微動が生じたタイミングで被検眼画像が撮像されると、画像に歪み等が生じやすい。このため、例えば、テンプレートに用いる画像が、固視微動によって歪んでいると、複数の被検眼画像における画像間の差異を適正に補正することが難しくなってしまうおそれがあった。それ故、画像間の差異が補正された複数の被検眼画像から、良好な加算平均画像等が得られ難い。
【0007】
本発明は、上記従来技術の問題点に鑑み、複数の被検眼画像から画像処理のテンプレートとして好適な画像を生成する画像処理装置、および画像処理プログラムを提供することを技術課題とする。
【課題を解決するための手段】
【0008】
本発明の第1態様にかかる画像処置装置は、記憶装置に記憶される複数の被検眼画像を処理する画像処理装置であって、前記記憶装置に記憶される複数の被検眼画像が撮像されるときの被検眼の動きを検出する動作検出手段と、固視が安定しているときに連続して撮像された複数の被検眼画像を含む画像セットを、前記記憶装置に記憶される複数の被検眼画像から、前記動作検出手段の検出結果に基づいて取得する取得手段と、画像処理のテンプレートに用いられる基準画像を、前記取得手段によって取得された画像セットに含まれる複数の被検眼画像を複合することで生成する基準画像生成手段と、を備えている。
【0009】
本発明の第2態様に係る画像処理プログラムは、記憶装置に記憶される複数の被検眼画像を処理する画像処理プログラムであって、画像処理装置のプロセッサで実行されることにより、前記記憶装置に記憶される複数の被検眼画像が撮像されるときの被検眼の動きを検出する動作検出ステップと、固視が安定しているときに連続して撮像された複数の被検眼画像を含む画像セットを、前記記憶装置に記憶される複数の被検眼画像から、前記動作検出ステップの検出結果に基づいて取得する取得ステップと、画像処理のテンプレートに用いられる基準画像を、前記取得ステップによって取得された画像セットに含まれる複数の被検眼画像を複合することで生成する基準画像生成ステップと、が前記画像処理装置によって実行される。
【発明の効果】
【0010】
本発明によれば、複数の被検眼画像から画像処理のテンプレートとして好適な画像を生成できるという効果がある。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態であるPCの概略構成を示したブロック図である。
図2】本実施形態における眼科撮像装置の概略構成を示したブロック図である。
図3】モニタに表示されるコントローラを示した模式図である。
図4】サムネイル一覧ウインドウを示した模式図である。
図5】広域一覧ウインドウを示した模式図である。
図6】解析データ生成処理を示すフローチャートである。
図7】画像調節処理の一部を示すフローチャートである。
図8】画像調節処理の図7の続きを示すフローチャートである。
図9】画像調節処理における画像の位置あわせを説明するための図である。
図10】ROI設定ウインドウを示した模式図である。
図11】ROI設定処理を示すフローチャートである。
図12】視細胞点修正ウインドウを示す模式図である。
図13】フォローアップウインドウを示す模式図である。
図14】視細胞の表示態様の変容パターンの一例である。
【発明を実施するための形態】
【0012】
以下、本発明の例示的な実施形態について説明する。まず、図1を参照して、本実施形態の画像処理装置であるパーソナルコンピュータ1(以下、「PC1」と称す。)の概略構成について説明する。
【0013】
本実施形態では、PC1は、眼科撮像装置100で撮像された被検眼の画像を、ネットワークおよび外部メモリ等の少なくともいずれかを介して取得する。PC1は、取得した画像の処理を行う。但し、画像処理装置として動作することができるのは、PC1に限定されない。例えば、眼科撮像装置100で撮像された画像を、眼科撮像装置100自身が処理してもよい。この場合、眼科撮像装置100が画像処理装置として動作する。
【0014】
図1に示すように、PC1は、CPU2を備える。CPU2は、PC1の各種の処理を実行するための処理装置(プロセッサ)である。CPU2には、ROM3、RAM4、HDD5、通信I/F6、表示制御部7、操作処理部8、および外部メモリI/F9が、バスを介して接続されている。
【0015】
ROM3は、BIOS等のプログラムが格納された不揮発性の記憶媒体である。RAM4、は各種情報を一時的に記憶する揮発性の記憶媒体である。HDD5(ハードディスクドライブ5)は、不揮発性の記憶媒体である。なお、不揮発性の記憶媒体として、フラッシュROM等の他の記憶媒体を用いてもよい。HDD5には、被検眼の画像を処理するための画像処理プログラムが記憶されている。例えば、本実施形態では、図6図8、及び図11のフローチャートに示す処理をPC1に実行させるプログラムが、HDD5に記憶されている。また、HDD5には、眼科撮像装置100で撮像された画像のデータが記憶される。なお、以下の説明では、便宜上、HDD5等には、同一の被検眼を撮像した画像のデータが記憶されるものとする。
【0016】
通信I/F6は、PC1を眼科撮像装置100等の外部機器に接続する。本実施形態のPC1は、眼科撮像装置100によって撮像された画像のデータを、通信I/F6を介して取得することができる。本実施形態では、通信I/F6を介して取得された画像は、HDD5に記憶される。外部メモリI/F9は、外部メモリ15をPC1に接続する。外部メモリ15には、例えばUSBメモリ、CD−ROM等の種々の記憶媒体を使用することができる。本実施形態のPC1は、眼科撮像装置100によって撮像された画像のデータを、外部メモリ15を介して取得することもできる。例えば、ユーザは、外部メモリ15を眼科撮像装置100に装着し、眼科撮像装置100によって撮像された画像のデータを外部メモリ15に記憶させる。次いで、ユーザは、外部メモリ15をPC1に装着し、外部メモリ15に記憶された画像のデータをPC1に読み込ませる。その結果、眼科撮像装置100によって撮像された画像のデータをPC1が取得する。
【0017】
ここで、図2を参照して、本実施形態の眼科撮像装置100の概略構成を説明する。本実施形態では、眼科撮像装置100として、波面補償付きレーザ検眼装置(AO−SLO)を用いる場合について説明する。眼科撮像装置100は、眼底撮像光学系101と、波面センサ102と、波面補償デバイス103と、視標呈示光学系104と、第2撮像ユニット105と、を有している。なお、特開2013−070941の記載内容によって、眼科撮像装置100の詳細構成を例示することができる。
【0018】
眼底撮像光学系101は、被検眼の眼底上にて照明光束(レーザ光)を2次元的に走査させる。また、眼底撮像光学系101は、眼底で反射された照明光束の反射光(反射光束)を受光して被検眼の画像(すなわち、眼底画像)を取得する。これにより、眼底撮像光学系101は、眼底を高解像度(高分解能)・高倍率で撮像する。本実施形態では、細胞レベルでの観察等をするために、約1.5度程度の画角で撮像するものとする。眼底撮像光学系101は、照明光束の走査範囲を被検眼の上下左右に移動させることで、撮像部位を変えることができる。また、本実施形態では、眼底撮像光学系101は、同一の範囲で連続して撮像を行う。本実施形態では、例えば、眼底撮像光学系101は、約3秒間連続して撮像して、約150枚の眼底画像を取得する。すなわち、眼底撮像光学系101では、一連の撮像で、複数枚の連続した静止画像からなる画像群が1つ取得される。なお、眼底撮像光学系101は、例えば、共焦点光学系を用いた走査型レーザ検眼鏡の構成とすることができる。
【0019】
眼底撮像光学系101で撮像された画像のデータは、上述の方法によって、PC1に取得される。PC1によって取得される画像のデータには、画像を形成するためのデータとして、階調情報および座標情報等が含まれている。他にも、本実施形態では、画像のデータには、例えば、被検眼のID、画像の撮像日時を示すタイムスタンプ、眼底における撮像部位を示す情報、および、撮像時の固視標の呈示位置を示す情報等が含まれている。
【0020】
本実施形態の眼科撮像装置100では、眼底画像が撮像される場合に、波面センサ102、および波面補償デバイス103を用いて、被検眼による波面収差が補償される。波面センサ102は、低次収差及び高次収差を含む波面収差を検出するための素子である。本実施形態では、波面センサ102は、眼底で反射された反射光束を受光して、被検眼による波面収差を検出する。波面センサ102には、例えば、ハルトマンシャック検出器、光強度の変化を検出する波面曲率センサ等を用いることができる。
【0021】
波面補償デバイス103は、眼底撮像光学系101によって被検眼に照射される照明光を中継する。その際、波面補償デバイス103は、例えば、波面センサ102の検出結果に基づいて照明光の反射面を変形させる。これにより、波面補償デバイス103は、照明光の波面を制御して被検眼による波面収差を補償する。波面補償デバイス103には、例えば、反射型のLCOS(Liquid Crystal On Silicon)、デフォーマブルミラー等を用いることができる。
【0022】
視標呈示光学系104は、眼科撮像装置100によって眼底を撮像する際に、被検眼に対して固視標を呈示する。本実施形態の眼科撮像装置では、視標呈示光学系104は、固視標の呈示位置を切り換えることができる。本実施形態では、視標の呈示位置は、被検眼の上下方向および左右方向に各3列ずつ、計9箇所に設定されている。視標の呈示位置を切り換えて被検眼の視線を誘導することで、眼底において照明光が照射され得る範囲を変更する。なお、視標呈示光学系104において固視標を移動させることで、被検眼の視線を誘導してもよい。
【0023】
第2撮像ユニット105は、眼底撮像光学系101よりも広画角の眼底画像(即ち、広域画像)を取得する。第2撮像ユニット105によって取得される眼底画像は、例えば、眼底撮像光学系101によって眼底の撮像位置を指定、又は確認するための画像として用いられる。第2撮像ユニット105は、既存の眼底カメラの観察・撮像光学系、及び走査型レーザ検眼鏡(SLO)の光学系等を用いることができる。詳細は後述するが、本実施形態の装置は、眼底撮像光学系101で撮像された画像群だけでなく、第2撮像ユニット105によって撮像された眼底画像も、PC1に取得させる。このとき、PC1では、PC1で取得される画像群と固視標の呈示位置を同一にして撮像された広画角の眼底画像が、少なくとも取得される。これにより、PC1のHDD5および外部メモリ15等に広画角の眼底画像を記憶させることができる。
【0024】
図1に戻って画像処理装置1についての説明を続ける。表示制御部7は、モニタ13の表示を制御する。操作処理部8は、操作部14(例えば、キーボード、マウス等)に接続されている。操作処理部8は、ユーザによる操作部14の操作を検知して操作信号をCPU2へ出力する。これにより、操作部14に対するユーザの操作がCPU2に受け付けられる。なお、本実施形態では、外付けのモニタ13および操作部14が用いられる。しかし、モニタ13および操作部14の少なくとも一部がPC1に組み込まれていてもよい。
【0025】
本実施形態において、ユーザによる操作部14の操作は、モニタ13に表示される各種のGUIに対して行われる。GUIの一種として、モニタ13には、ユーザによる操作を主に受け付けるコントローラ20が表示される。
【0026】
ここで、図3を参照して、コントローラ20の概略構成を説明する。コントローラ20には、設定ウインドウ30が表示される。設定ウインドウ30は、データリスト31と、コントロールボックス32とを有する。データリスト31には、HDD5および外部メモリ15に格納された画像のリストが表示される。データリスト31には、各画像群のファイル名(例えば、「画像群1」、「画像群2」)の一覧が表示される。本実施形態では、PC1が眼科撮像装置100から取得した、眼底撮像光学系101で撮像された画像には、画像群毎に1つのファイル名が付けられて管理される。前述したように、各々の画像群には、眼底撮像光学系101で連続的に撮像した複数の静止画像が含まれている。
【0027】
また、図3に示すように、データリスト31では、画像群のファイル名の下に、その画像群から生成された解析結果画像のファイル名の一覧が表示される。例えば、図3では、「画像群1」の下に、「画像群1」から生成された「解析結果画像1a」および「解析結果画像1b」が表示される。詳細は後述するが、解析結果画像は、被検眼の視細胞解析に用いられる静止画像である。このように、本実施形態では、画像群および解析結果画像のファイル名の一覧が、データリスト31に表示される。
【0028】
データリスト31に表示される各々のファイル名の先頭には、チェックボックス31aが設けられている。本実施形態の装置では、各々のチェックボックス31aに対して行われるユーザのチェック操作(例えば、マウスによるクリック)を受け付ける。ユーザは、チェックボックス31aをチェックすることで、表示等の処理が行われる画像を選択できる。
【0029】
コントロールボックス32は、複数のボタンおよび入力欄を有している。詳細は後述するが、ボタンおよび入力欄へのユーザによる操作に応じて、コントローラ20内にウインドウが展開されたり、視細胞解析に用いられるパラメータが変更されたりする。例えば、データリスト31にある何れかの画像が選択された状態で「表示」ボタン32bが操作されると、コントローラ20において、図3に示すような画像表示ウインドウ40が展開される。
【0030】
画像表示ウインドウ40には、データリスト31で選択されている画像が表示される。本実施形態では、図3に示すように、データリスト31で複数の画像が選択されている場合は、何れか1の画像が画像表示ウインドウ40に表示される。このとき、画像表示ウインドウ40に表示される画像は、「ページ送り」ボタン41を操作することで、切り換えることができる。なお、データリスト31で解析結果画像が選択されている場合は、解析結果画像を用いて行われた解析処理の結果が、ウインドウ40内に表示される。また、データリスト31で画像群が選択されている場合は、画像群に含まれる各静止画像が、撮像された順に連続表示される。つまり、画像表示ウインドウ40には、動画像が表示される。なお、データリスト31で複数の画像が選択された状態で「表示」ボタン32bが操作された場合に、モニタ13には、選択された画像を複数表示しても良い。
【0031】
次に、図4以下を参照してPC1の動作について説明する。
【0032】
<画像の選択>
前述したように、データリスト31のチェックボックス31aに対するユーザの操作に基づいて、CPU2は、解析等の画像処理、またはモニタ14への表示処理がされる画像を選択する。本実施形態のPC1には、他にも、解析等の処理に用いる画像を選択する方法が用意されている。例えば、図4に示すサムネイル一覧ウインドウ50および図5に示す広域一覧ウインドウ60から、解析等の処理に用いる画像を選択することもできる。
【0033】
図4に示すサムネイル一覧ウインドウ50では、データリスト31にファイル名が示される画像群のサムネイル画像(画像インデックスの一例)の一覧表示がされている。コントロールボックス32の「読み込み」ボタン32aに対する操作が装置に受け付けられた場合に、CPU2によって、サムネイル一覧ウインドウ50が表示される。「表示種別切換」ボタン51がユーザに操作された場合に、画面上に表示されるサムネイル画像の種別が、CPU2によって切り換えられる。例えば、図4に示すように画像群のサムネイル画像が表示されているときに、「表示種別切換」ボタン51が操作されると、サムネイル一覧ウインドウ50に表示されるサムネイル画像が、解析結果画像のサムネイル画像に切り換わる。なお、本実施形態において、視細胞の解析処理が行われていない画像群を示すサムネイル画像には、画像群に含まれるいずれかの静止画像の縮小画像が使用される。例えば、各画像群の中で最初に撮像された先頭画像の縮小画像をサムネイル画像に用いることができる。また、視細胞の解析処理が既に行われている画像群のサムネイル画像には、例えば、解析の過程で生成された解析結果画像の縮小画像が使用される。サムネイル画像は、HDD5等に予め格納されていてもよい。また、「読み込み」ボタン32aが操作された場合に、PC1がサムネイル画像を作成してもよい。
【0034】
図4に示すように、CPU2は、サムネイル画像と共に、視細胞の解析処理の履歴(例えば、解析処理の有無)を示す情報を、サムネイル一覧ウインドウ50に表示させる。図4において、「解析済」の表示は、表示の付されたサムネイル画像に対応する画像群の解析は既に行われており、解析結果がHDD5等に記憶されていることを示す。また、「未解析」の表示は、表示の付されたサムネイル画像に対応する画像群の解析が行われていないことを示す。これにより、サムネイル一覧ウインドウ50が表示された場合に、サムネイル画像によって示される画像群に解析処理が行われたか否かを、ユーザに容易に把握させることができる。なお、本実施形態では、「解析済」および「未解析」の表示を、各々のサムネイル画像と共に必ず表示させたが、「解析済」および「未解析」の表示のうち、いずれか一方だけを表示させてもよい。
【0035】
図5に示す広域一覧ウインドウ60は、サムネイル一覧ウインドウ50において「表示形式切換」ボタン52が操作された場合に、サムネイル一覧ウインドウ50から切り換えて表示される。CPU2は、広画角の眼底画像W(広域眼底画像W)を、広域一覧ウインドウ60のサムネイル表示領域全体に表示させる。広域眼底画像Wは、眼科撮像装置100の第2撮像ユニット105で撮像された眼底画像である。前述したように、本実施形態において、広域眼底画像Wは、PC1が眼科撮像装置100から事前に取得した画像である。
【0036】
CPU2は、サムネイル画像を広域眼底画像Wの上に重ねて表示させる。このとき、CPU2は、サムネイル画像によって示される画像(画像群または解析結果画像)の撮像部位の位置関係に応じて、サムネイル画像が配置される位置を定める。例えば、図5では、CPU2は、広域眼底画像Wにおいて各画像群のサムネイル画像が配置される位置を、各画像群の撮像部位(撮像範囲)に一致させる。広画角の眼底画像に対するサムネイル画像の位置あわせは、例えば、各々の画像データに含まれる眼底における撮像部位を示す情報に基づいて行うことができる。なお、眼底における撮像部位を示す情報としては、例えば、広画角の眼底画像の画像中心に対する位置情報、及び、黄斑に対する位置情報等を使用できる。
【0037】
本実施形態では、同一の部位を撮像した画像群が複数存在する場合は、それぞれの画像群のサムネイル画像を、広域眼底画像Wの同一位置に重ねて表示させる。サムネイル画像が複数重なっている場合は、サムネイル画像の周囲に、各サムネイル画像によって示される画像群のファイル名等(画像インデックスの一例)を表示させる。画面上のファイル名に対してユーザの選択操作(例えば、マウスによるクリック)が行われることで、サムネイル画像が複数重なった状態でも、CPU2が個別の画像群を選択できる。
【0038】
図5に示すように、広域一覧ウインドウ60には、解析の状況に応じて選択的にサムネイル画像を表示させるためのチェックボックス61a〜61cが設けられている。図5では、「全て表示」のチェックボックス61aが選択されている。「解析済みのみ」のチェックボックス61bが選択されると、CPU2は、解析済みの画像群を示すサムネイル画像を表示させる。この場合、CPU2は、未解析の画像群を示すサムネイル画像を表示させない。また、「未解析のみ」のチェックボックス61cが選択されると、CPU2は、未解析の画像群を示すサムネイル画像を表示させる。この場合、CPU2は、解析済みの画像群を示すサムネイル画像を表示させない。このため、PC1では、未解析の画像群、および解析済みの画像群の一方を、ユーザが選択し易い。
【0039】
また、広域一覧ウインドウ60では、サムネイル画像の一覧表示が、画像群の撮像時に呈示されていた固視標の呈示位置毎に行われる。広域一覧ウインドウ60には、固視標位置選択・表示ボックス62が設けられている。本実施形態では、固視標位置選択ボックス62は、上下方向および左右方向に3マスずつ、計9マスのチェックボックスを有している。9マスのチェックボックスは、眼科撮像装置100の視標呈示光学系104における固視標の呈示位置に各々対応する。ユーザは、何れかのチェックボックスをチェック(選択)することで、画面上に表示されるサムネイル画像を指示できる。いずれかのチェックボックスがチェック(選択)された場合、CPU2は、チェック位置に対応する固視位置で撮像された画像群のサムネイル画像を、画面上に表示させる。例えば、図5(a)に示すように、9マスの中央にあるチェックボックスがチェックされる場合は、固視標の呈示位置が中央であるときに撮像された画像群のサムネイル画像が表示される。また、図5(b)に示すように、9マスの上列右側にあるチェックボックスがチェックされる場合は、右上の呈示位置で固視標が呈示されたときに撮像された画像群のサムネイル画像が表示される。
【0040】
また、図5(a)、図5(b)に示すように、本実施形態では、広域一覧ウインドウ60に表示される広域眼底画像Wも、チェックボックスへのチェックと連動して選択される。CPU2は、予め各固視位置で撮像された複数の眼底画像から、広域一覧ウインドウ60へのチェック位置に対応する固視位置で撮像された広域眼底画像Wを表示させる。
【0041】
「表示種別切換」ボタン63は、サムネイル一覧ウインドウ50の「表示種別切換」ボタン51と同様の役割を持つ。また、広域一覧ウインドウ60において「表示形式切換」ボタン64がユーザに操作された場合は、CPU2によって、サムネイル一覧ウインドウ50に表示が切り換えられる。
【0042】
以上の通り、本実施形態の広域一覧ウインドウ60では、広域眼底画像Wの上で、各々の画像の撮像位置と対応する位置に各々の画像群または解析結果画像を示すサムネイル画像(画像インデックスの一例)が各々配置される。このため、サムネイル画像の示す画像群等が被検眼のどの位置を撮像したものかを、ユーザに把握させやすい。 また、このため、画像処理に用いる画像群等を、ユーザが選択し易い。
【0043】
また、被検眼における撮像位置が同じであっても、固視標の呈示位置が互いに異なる画像群等は、別々に扱いたい場合がある。例えば、AO−SLOでは、同一の部位を撮像した2以上の画像でも、それぞれの画像の撮像時における固視標の位置が異なっていると、それぞれの画像の内容が異なるおそれがある。これに対し、広域一覧ウインドウ60では、各々のサムネイル画像が示す画像群等の撮像時の固視標位置毎に、サムネイル画像が切り換えて表示される。従って、PC1では、異なる固視位置で撮像された画像群等がHDD5等に記憶されていても、所望する画像群等をユーザに選択させ易い。
【0044】
なお、撮像時の固視標の呈示位置が異なる画像群等を、一枚の広域広域眼底画像Wに重ねて表示させても良い。この場合、例えば、画像データに含まれる固視標の定時位置を示す情報、および、撮像位置を示す情報を用いて、広域眼底画像Wにおけるそれぞれの画像の位置が定められる。
【0045】
また、本実施形態では、サムネイル画像の表示が固視位置毎に切り替わる場合に、広域一覧ウインドウ60に表示される広域眼底画像Wが、サムネイル画像が示す画像群等と同じ固視位置で撮像された画像に切り替わる。よって、サムネイル画像の示す画像群等の撮像位置をユーザに一層適正に把握させることができる。
【0046】
また、広域一覧ウインドウ60では、サムネイル一覧ウインドウ50と同様に、CPU2によって、視細胞の解析処理の履歴を示す情報がサムネイル画像と共に表示される。よって、PC1では、サムネイル画像によって示される画像群に解析処理が行われたか否かを、ユーザに容易に把握させることができる。
【0047】
なお、本実施形態では、画像(画像群または解析結果画像)を示す画像インデックスとして、サムネイル画像およびファイル名を例示したが、アイコン、および撮影日、画質、信頼度等、画像を特定する他の情報を画像インデックスに用いても良い。
【0048】
<画像の解析>
上述の方法によって一以上の画像群が選択されている場合に、コントロールボックス32の「解析」ボタン32c(図3参照)がユーザに操作されると、CPU2によって、解析データ生成処理(図6参照)が実行される。解析データ生成処理では、各々の画像群から加算平均画像が生成される。また、各々の加算平均画像に対して解析処理が行われ、解析結果が導出される。
【0049】
ここで、図6を参照して解析データ生成処理について説明する。初めに、CPU2は、データリスト等で選択されている画像群のうち、本解析データ生成処理によって、処理が行われていない画像群を、今回の処理対象として選択する(S11)。ここで、S11の処理で選択される画像群を、データセットL(画像セットL)=[L0,L1,・・・,LN]で示す。各々の画像を、Lnで示す。但し、Lnは、添え字nの値が小さいほど、早い時刻に撮像されたことを示す。
【0050】
次に、CPU2は、画像調節処理を実行する(S12)。本実施形態において、画像調節処理では、S11の処理によって選択された画像群に含まれる複数の画像のうち、固視が安定しているときに眼科撮像装置100で撮像された一部または全部の画像から、基準画像(第1の基準画像)が生成される。本実施形態の画像調節処理(S12)において、基準画像は、画像群の一部または全部の画像を互いに重ね合わせて画像間の差異を補正する際のテンプレートとして用いられる。詳細は後述するが、画像調節処理によって画像間の差異が調節された画像が、続くS13の処理によって加算平均される。
【0051】
ここで、図7及び図8を参照して画像調節処理について説明する。
【0052】
まず、CPU2は、S21からS28の処理を実行して、S11の処理で選択された画像群(即ち、データセットL)に含まれる画像同士の、粗い位置あわせを行う。ここでいう、粗い位置あわせは、それぞれの画像の歪みを少なくとも補正せずに行う位置あわせである。本実施形態では、眼底画像Lnを平行移動させることによって、粗い位置あわせが行われる。しかし、粗い位置あわせは、平行移動に限られるものではなく、例えば、回転移動、および、平行移動と回転移動との組み合わせであっても良い。粗い位置あわせは、黒画像Eの上で行う。黒画像Eの大きさは、横幅MW、縦幅MHである。但し、Wは、眼底画像Lnの横幅であり、Hは、眼底画像Lnの縦幅である。Mは、1以上の定数(例えば、M=3)であり、画像間の位置ズレが許容される範囲を定めている。また、CPU2は、粗い位置あわせ後の各画像と、各々の画像のズレ量(詳細は後述する)とを、RAM4に記憶する。粗い位置あわせが行われた各画像のデータセットを、G=[G0,G1,・・・,GN]で示す。
【0053】
S21の処理では、参照画像R(第2の基準画像)の初期設定がCPU2によって行われる(S21)。参照画像Rは、眼底画像Lnを粗く位置あわせする際の基準として用いられる。詳細は後述するが、本実施形態では、参照画像Rは、参照画像Rに対して眼底画像Lnが位置あわせされる度に更新される。以下、n回更新された参照画像を、Rnと示す。本実施形態において初期設定される参照画像R0は、図9(a)に示すように、黒画像Eと重心位置が重なるようにして、黒画像E上に画像L0が配置された画像である。
【0054】
S21の実行後、CPU2は、S22からS28の処理を繰り返し実行し、データセットLに含まれる画像を一枚ずつ、参照画像Rnに対して粗く位置あわせする。まず、粗い位置あわせが未完了で撮像時刻の最も早い画像Lnが、次に位置あわせされる画像として、CPU2に選択される(S22)。例えば、直前に行われたS22からS28の処理において、画像Lkが位置合わせされた場合は、次のS22の処理では、画像Lk+1がCPU2によって選択される。なお、S21の処理が実行された直後のS22の処理では、画像L0がCPU2に選択される。
【0055】
次のS23の処理では、直前のS22の処理で選択された画像Ln(以下、「選択画像」と称す)が、平行移動によって、参照画像Rnに位置あわせされる(S23)。位置あわせ方法としては、種々の画像処理手法を用いることが可能である。例えば、参照画像Rnに対して選択画像Lnを1画素ずつ位置ズレさせ、両画像のデータが最も一致する位置(相関が最も高くなる位置)に選択画像Lnを位置あわせする手法が考えられる。また、参照画像Rnと選択画像Lnとから共通の特徴点を抽出したうえで、互いの特徴点が重なる位置に、選択画像Lnを位置あわせする手法が考えられる。
【0056】
本実施形態においては、参照画像Rnに対して選択画像Lnを1画素単位でずらしながら、選択画像Lnと参照画像Rnとの相関値を逐次算出して位置あわせを行う。なお、ここでの相関値の最大値は1であり、値が大きいほど画像間の相関が高いことを示す。次に、CPU2は、Rnとの相関が最も高くなる位置へ移動させた選択画像Lnを、黒画像E上に複製することで、画像Gnを生成する(S24)。例えば、画像L0を位置あわせする場合は、画像L0は、初期設定時の参照画像R0に含まれる眼底画像部分と完全に一致する。よって、画像G0は、参照画像R0と同じになる(図9(a)参照)。また、図9(b)に示すように、画像G1では、画像G0における眼底画像部分L´0と画像L1との重複範囲が重なるようにL1が移動されたうえで、黒画像Eに画像L1が複製されている。生成された画像Gnは、CPU2によって、RAM4に格納される。
【0057】
また、このとき、CPU2は、Rnとの相関が最も高くなる位置へ移動された選択画像Lnの重心位置cnを取得する(S24)。さらに、CPU2は、選択画像Lnの位置ズレ量(シフト量)dn=[dxn,dyn]をRAM4に記憶する(S25)。本実施形態において、位置ズレ量dnは、選択画像Lnと、Lnの直前に撮像された選択画像Ln−1との撮像範囲の変位を示す。撮像範囲の変位は、固視微動に起因するので、位置ズレ量dnは、選択画像Ln−1を撮像してから選択画像Lnを撮像するまでの間に生じた固視微動の大きさと方向とを表している。よって、ズレ量dnに基づいて、CPU2は、撮像時における被検眼の動きを検出できる。なお、本実施形態では、選択画像Lnの位置ズレ量dnを、選択画像Lnと、Lnより前の時刻に撮像された画像Ln−1との変位としているが、Lnより後の時刻に撮像された画像との変位とすることもできる。dxn,dynは、それぞれ、位置ズレ量における、横方向成分、縦方向成分を示す。本実施形態では、位置ズレ量dnは、例えば、重心位置cnと、予め取得していた重心位置cn−1との差分から得ることができる。
【0058】
次に、CPU2は、参照画像Rnを更新する(S27)。本実施形態では、CPU2は、参照画像Rnと、粗い位置あわせ後の選択画像Gnとから更新後の参照画像Rn+1を生成する。例えば、参照画像Rnと、画像Gnとの加算平均画像を、更新後の参照画像Rn+1とすることができる。この場合、更新後の参照画像Rn+1において任意の位置にある画素の階調値rn+1は、例えば、次の式(1)で示すことができる。
【0059】
rn+1={(n×rn)+gn}/n+1・・・(1)
但し、rn、r0、およびgnは、それぞれ、参照画像Rn、初期設定時の参照画像R0、画像Gnにおいて、上記任意の位置と同一の位置にある画素の階調値を示す。これにより、図9(c)に示すように、更新後の参照画像Rn+1には、参照画像Rnの眼底画像部分R´nと、画像Gnの眼底画像部分L´nとが加算平均される。
【0060】
次に、CPU2は、データセットLに含まれる全ての画像の位置あわせが完了したか否かを判定する(S28)。データセットLに、位置あわせ未完了の画像が残っている場合は(S28:No)、CPU2は、S22の処理に戻って、S22からS28の処理を繰り返し実行する。一方、データセットLに含まれる全ての画像の位置あわせが完了した場合は(S28:Yes)、S29の処理に移行する。なお、本実施形態では、S22からS28の処理において、データセットLに含まれる画像のうち、撮像時刻が早い画像から参照画像への位置あわせを行ったが、撮像時刻が遅い画像から参照画像への位置あわせを行ってもよい。
【0061】
S29の処理では、CPU2が、粗い位置あわせがされた画像群のデータセットG=[G0,G1,・・・,Gn]を分割して、被検眼の固視の状態と時間的に対応する複数のデータセットF1=[G0,G1,・・・,Ga],F2=[Ga+1,・・・,Gb],・・・,Fq=[・・・,GN]を作成する。ここで、本実施形態におけるデータセットGの分割方法について説明する。本実施形態では、S26の処理で求めたズレ量dnを用いてデータセットを分割する。例えば本実施形態では、データセットGに含まれる画像Gnに対応するズレ量dnを、添え字の順に(即ち、画像Lnの撮像順に)積算していく。なお、前述したように、ズレ量dnは、眼科撮像装置100において連続する2枚の画像を撮像する間に生じた固視微動による撮像範囲の位置ズレの大きさを表している。よって、積算値Sは、ある時点からの固視微動による撮像範囲の位置ズレの大きさを示す。ズレ量gnの積算値Sが所定の閾値Θを超えた段階で、積算値Sにズレ量gnが含まれている画像GnからなるデータセットFmを、データセットGから分割する。ズレ量の積算値を初期化(ゼロに)して、残りのデータセットGに対しても、同様の処理が繰り返し行われることで、データセットGから、複数のデータセットF1,F2,・・・,Fqが生成される。ここで、データセットFmに含まれる画像Gnの枚数が、データセットFmに含まれる画像Gnの撮像時における被検眼の固視の安定度合いを示していると考えられる。固視が安定している場合ほど、即ち、撮像範囲の時間的な変化が小さい場合ほど、撮像範囲がΘだけ位置ズレする間に、眼科撮像装置100で撮像できる画像の枚数は多くなると考えられるからである。よって、S29の処理で生成されるデータセットF1,F2・・・Fqは、それぞれ、被検眼の固視の状態と時間的に対応する。なお、本実施形態では、閾値Θを、画像Lnの大きさの1/8程度(即ち、(Θx,Θy)≒(W/8,H/8))とする。但し、閾値Θは、求められる精度との関係で適宜設定することができる。なお、本実施形態では、積算値Sのx成分およびy成分の何れかが、閾値ΘxまたはΘyを超えた段階で、データセットを分割するものとする。なお、本実施形態では、位置ズレ量dnは、連続して撮像された2枚の画像の撮像範囲の変位としたが、これに限定されない。例えば、選択画像と、その選択画像が含まれるデータセットFの先頭画像画像との撮像範囲の変位を用いてもよい。この場合、位置ズレ量dnが閾値Θを超えた段階でデータセットを分割することができる。
【0062】
図8に移ってフローチャートの説明を続ける。次に、CPU2は、S29の処理によって作成されたデータセットF1,F2・・・Fqから、最も多くの画像を含むデータセットFsを選択する(S30)。よって、S30の処理では、被検眼の固視が最も安定しているときに撮像された複数の画像が選択される。
【0063】
次に、CPU2は、S30の処理で選択されたデータセットFsの重心位置Cを取得する(S31)。重心位置Cは、データセットFsに含まれる各画像Gnの眼底画像部分の重心位置cnから求めることができる。例えば、各画像の重心cnの積算値を画像の枚数で除算することで、重心位置Cを求めることができる。
【0064】
ところで、データセットFsに含まれる各画像Gnは、本実施形態では、横幅MW、縦幅MHの大きさを持っている。S32の処理では、CPU2は、データセットFsに含まれる各画像Gnを、重心位置Cを中心として、横幅W、縦幅Hの大きさで切り出す(S32)。その結果、横幅W、縦幅Hの大きさの画像OnからなるデータセットOa=[Oa1,Oa2,・・・,Oap]が作成される。
【0065】
次に、CPU2は、データセットOaに含まれる各画像を加算平均して、基準画像Obを生成する(S33)。基準画像Obでは、データセットOaの各画像に含まれる固視微動による歪が平均化される。基準画像Obは、次のあわせこみ処理(S34)において、画像処理のテンプレートとして用いられる。
【0066】
次に、CPU2は、あわせこみ処理を実行する(S34)。あわせこみ処理では、CPU2は、基準画像Obを基準(テンプレート)にして、データセットOaに含まれる各画像の歪みを補正する。歪みの補正には、種々の方法を用いることができる。例えば、基準画像Obに適合するように、データセットOaに含まれる各画像の局所的な領域を変換する。このような補正方法は、文献に記載されている(例えば、A.Dubra, & Z.Harvey, Registration of 2D Images from Fast Scanning Ophthalmic Instruments. Carlos.O. & S.sorzano et al,Elastic Registration of Biological Images Using Vector-Spline Regularicalization等)。これによって、精度よく重なり合う画像からなる画像データセットO=[O1,O2,・・・,Op]が作成される。あわせこみ処理の実行後は、解析データ生成処理(図6参照)に戻って、CPU2は、S13から処理を続ける。
【0067】
図6に戻って説明を続ける。CPU2は、画像データセットOに含まれる画像を加算平均処理して、静止画像を作成する(S13)。
【0068】
次に、CPU2は、光学歪補正処理(S14)を実行する。これによって、S13の処理で作成された静止画像から、被検眼および眼科撮像装置100等の光学的な像歪みが補正される。
【0069】
次に、CPU2は、信頼度取得処理を実行する(S15)。S15の処理において、CPU2は、像歪みの補正された静止画像の信頼度を取得する。信頼度は、静止画像を用いた解析から導かれる解析結果の信頼性(または妥当性)を示す情報である。信頼度は、信頼性の高い画像か否かを示す情報であってもよく、信頼性の度合いを示す情報(例えば、数値等)であってもよい。信頼度は、ユーザが、観察・比較する画像を選ぶ目安となる。一般に、静止画像の画質が高いほど、信頼度が高い。そこで、例えば、CPU2は、静止画像のコントラスト、及び、明るさ等の情報から、信頼度を取得できる。例えば、コントラストが大きいほど、信頼度が高い。そこで、例えば、静止画像のコントラストの分布を用いて、CPU2は信頼度を取得してもよい。
【0070】
ところで、静止画像の画質が悪くなる要因(信頼度が低くなる要因)には、固視微動や装置の設定等、撮像時の状況に起因するものと、瞳孔径、眼の収差、および中間透光体の混濁等、被検眼の個体差に起因するものとが含まれる。信頼度の低さが撮像時の状況に起因する場合は、再度の撮像を行えばよい。一方、信頼度の低さが被検眼の個体差に起因する場合は、信頼度の低い静止画像であっても、ユーザが観察・比較に用いる画像として選びたい場合がある。そこで、例えば、瞳孔径、収差情報、及び、中間透光体の混濁を示す情報の少なくとも何れか等に基づいて、被検眼の個体差を加味した信頼度を、S15の処理において、CPU2に取得させても良い。なお、本実施形態では、瞳孔径および中間透光体の混濁程度を示す情報は、眼科装置100以外の眼科装置で事前に測定された値を用いることができる。また、中間透光体の混濁程度は、撮影位置におけるPSF(点拡がり関数)画像のプロファイルからも求めることができる。この場合、例えば、予めPC1に、眼科撮像装置100で取得された眼底画像と同一の撮影位置のPSF画像を転送させておくこともできる。
【0071】
次に、CPU2は、視細胞解析処理を実行する(S16)。本実施形態の視細胞解析処理では、CPU2は、光学歪補正処理(S14)による補正後の静止画像から視細胞を検出する。光学歪補正処理(S14)による補正後の静止画像に対し、検出された視細胞には、視細胞点が設定される。これによって、本実施形態では、解析結果画像が作成される。なお、解析結果画像は、解析、検査、または他画像との比較等に用いることのできる画像であればよく、必ずしも視細胞点が設定されていなくてもよい。また、解析結果画像を用いて、解析結果画像全体における視細胞密度、六角形細胞出現率、正六角形細胞出現率等を算出する。解析結果画像の画像データ、および、算出された各種の解析結果は、HDD5に記憶される(S17)。
【0072】
S17の実行後、CPU2は、データリスト31等によってユーザに選択された画像群を、全て処理したか否かを判定する(S18)。未処理の画像群が残っている場合は(S18:No)、CPU2は、S11の処理に戻って、S11からS18の処理を繰り返し実行する。一方、全ての画像群が処理されていれば(S18:Yes)、CPU2は、解析データ生成処理を終了させる。
【0073】
以上説明したように、本実施形態のPC1では、固視が安定しているときに連続して撮像された複数の被検眼画像を含むデータセットFs(画像セットFs)が、基準画像に複合されるために取得される(S30)。固視が安定しているときに連続して撮像された複数の被検眼画像は、固視が不安定なときに撮像された被検眼画像と比べて、画像間の差異が少ない。このため、S30の処理で取得されたデータセットFsに含まれる複数の被検眼画像を複合することで、良好な基準画像Obが生成されやすい。例えば、固視微動に基づく被検眼の網膜に沿う方向の歪み、および、網膜と交差する方向の歪みが、基準画像Obでは抑制されやすい。よって、PC1で生成された基準画像Obをテンプレートとして用いる被検眼画像の画像処理(例えば、被検眼画像の歪み補正、位置あわせ等)が適正に行われやすい。従って、PC1によれば、画像処理のテンプレートとして好適な基準画像Obを得ることができる。
【0074】
また、本実施形態のPC1では、S23の処理によって互いに位置あわせされた複数の被検眼画像を含むデータセットFsに対して、基準画像に複合される領域(各々の被検眼画像から切り出す範囲)がCPU2によって設定される(S32)。データセットFsの各々の被検眼画像における基準画像に複合される領域は、位置ズレが補正されているので、PC1では、良好な基準画像Obが生成されやすい。
【0075】
また、S23の処理によって位置あわせされた状態にあるデータセットFsの重心位置の周囲に、基準画像に複合される領域がCPU2に設定される(S32)。このため、データセットFsに含まれるそれぞれの被検眼画像において、基準画像に複合される領域がそれぞれ広くなりやすい。従って、一層良好な基準画像が生成されやすい。なお、基準画像に複合される領域は、本実施形態のように、データセットFsの重心位置を中心にして設定された領域に限定されるものではない。
【0076】
また、S31の処理では、複数のデータセットF1,F2,・・・Fqの中から、連続して撮像された被検眼画像の数が最も多いデータセットが少なくとも取得される。撮像時に被検眼の固視がより安定していたデータセットほど、画像セットに含まれる被検眼画像の数が多くなる。このため、連続して撮像された被検眼画像の数が最も多いデータセットからは、良好な基準画像が作成されやすい。
【0077】
ところで、仮に、S23の処理で参照画像Rn(第2基準画像)に被検眼画像を各々位置あわせする際に、被検眼画像Lnと、参照画像Rnとの撮像位置のズレが大きいと、被検眼画像Lnと、参照画像Rnとの位置あわせが適正になされないおそれがある。例えば、被検眼画像Lnと、参照画像Rnとに、互いに重複する領域が少ないと、位置あわせの信頼性が低くなってしまう。それ故、良好な基準画像が生成され難くなってしまうおそれがある。
【0078】
これに対し、本実施形態では、1の被検眼画像が位置あわせされる度に、位置あわせされた被検眼画像Lnを用いて参照画像Rnが更新される。よって、参照画像Rnには、撮像位置の異なる複数の被検眼画像Lnの情報が含まれる。このため、被検眼画像Lnと参照画像Rnとの重複する領域が確保されやすい。従って、参照画像Rnに対する被検眼画像Lnの位置あわせが良好に行われやすい。
【0079】
なお、所定枚数の被検眼画像が位置あわせされる度に、所定枚数の被検眼画像Lnの少なくともいずれかを用いて参照画像Rnを更新するようにしてもよい。この場合、本実施形態に比べて、参照画像Rnの更新頻度を少なくすることができる。よって、その分だけ、基準画像が短時間で生成されやすくなる。
【0080】
また、本実施形態では、参照画像Rnに対して被検眼画像Lnが位置あわせされる(S23)場合に、参照画像Rnには、直前の更新(S27)で、被検眼画像Lnと連続して撮像された被検眼画像Ln−1が含まれた状態となっている。このため、連続して撮像された被検眼画像Ln−1,Lnは、固視微動による撮像位置のズレの影響を受け難い。このため、被検眼画像Lnと参照画像Rnとに重複する領域は確保されやすい。よって、PC1では、参照画像Rnに対する被検眼画像Lnの位置あわせが一層良好に行われやすい。
【0081】
<ROIの設定>
本実施形態のPC1には、上記の解析データ生成処理(図6参照)で作成された解析結果画像を用いて、解析データの修正、および、再解析を行う機能が用意されている。例えば、解析結果画像において解析される対象をユーザの指示に応じて変更したうえで、再解析を行うことができる。例えば、ユーザは、解析結果画像において解析に用いる範囲(即ち、ROI:Region of Interest)を指定して、再解析を行うことができる。データリスト31等で1以上の解析結果画像が選択されて、コントロールボックス32の「ROI設定」ボタン32dが操作された場合、CPU2は、図10に示すようなROI設定ウインドウ70を、コントローラ20に表示させる。
【0082】
図10に示すように、ROI設定ウインドウ70では、画像表示領域Tに表示される解析結果画像上で、ユーザがROIを指定できる。ユーザに指定された範囲で、CPU2はROIを設定する。本実施形態では、ROIの設定された範囲は、一点鎖線で囲まれて示される。
【0083】
データリスト31等において複数の解析結果画像が予め選択されている場合は、CPU2は、「ページ送り」ボタン71の操作に基づいて、選択中の別の解析結果画像を画像表示領域Tに表示させる。また、「解析」ボタン72が操作された場合は、CPU2は、データリスト31等において選択されている解析結果画像の再解析を行う。本実施形態において、再解析では、解析データ生成処理(図6参照)に含まれる視細胞解析処理と同様の処理が行われる。解析結果画像にROIが設定されている場合は、ROIに含まれる眼底組織が解析の対象となる。よって、PC1によれば、視細胞を検出し難い部位(例えば血管など)を除外してROIを設定しておくことで、適正な解析結果が再解析によって得られやすくなる。なお、コントロールボックス32等に用意されている他の「解析」ボタンが操作されても、同様の再解析が行われる。
【0084】
また、本実施形態では、データリスト31等において複数の解析結果画像が予め選択されている場合は、複数の画像に対してROIを一括して設定できる。解析結果画像に対してユーザからROIが指示された場合、CPU2は、ROI設定処理(図11参照)を実行する。
【0085】
図11に示すROI設定処理では、まず、CPU2は、表示中の解析結果画像に対して、ユーザから指示された範囲にROIを設定する(S40)。次に、CPU2は、データリスト31等において複数の解析結果画像が事前に選択されているか否かを判別する(S41)。解析結果画像が1枚だけ選択されている場合は(S41:No)、CPU2は、S42からS46の処理をスキップして、ROI設定処理を終了する。一方、複数の解析結果画像が事前に選択されている場合は(S41:Yes)、S42の処理に移行する。
【0086】
S42の処理において、CPU2は、後述するS43以下によって処理されていない画像を1枚選択する(S42)。次に、CPU2は、S40の処理でROIの設定された画像と、S42の処理で選択した画像とが、同一の固視標の呈示位置で撮像されたものか否かを判定する(S43)。この判定は、例えば、互いの画像データに含まれる、撮像時の固視標の呈示位置を示す情報を比較することで行うことができる。撮像時の固視標の呈示位置が、互いの画像で異なっている場合は(S43:No)、後述のS46の処理に移行する。
【0087】
一方、撮像時の固視標の呈示位置が同一である場合は(S43:Yes)、S44の処理に移行する。S44の処理では、S42の処理で選択された画像の中に、S40の処理で設定されたROI内の眼底組織が含まれているか否かが、CPU2によって判定される(S44)。例えば、表示中の解析結果画像におけるROI内の領域をS42の処理で選択した画像に対して平行移動および回転移動の少なくとも一方によってずらしながら、逐次算出した相関値に基づいてS44の判定を行うことができる。例えば、相関値の最大値が所定の閾値を超えている場合に、S42の処理で選択した画像の中に、S40の処理で設定されたROI内の眼底組織が含まれていると判定する。また、S44の処理では、表示中の解析結果画像におけるROI内の領域、および、S42の処理で選択した画像のそれぞれから抽出した特徴点のパターンマッチングの結果に基づいてS44の判定を行うことができる。
【0088】
S44の処理において、S42の処理で選択された画像の中に、表示中の解析結果画像に設定されたROI内の眼底組織が含まれていない場合は(S44:No)、S46の処理に移行する。一方、S42の処理で選択された画像の中に、S40の処理で設定されたROI内の眼底組織が含まれている場合(S44:Yes)、CPU2は、S42の処理で選択された画像に対してROIを設定する(S45)。S45の処理では、表示中の解析結果画像においてROIの設定された部位と、同一の部位に対してROIが設定される。
【0089】
S46の処理では、データリスト31等で選択中の画像が全て処理されたか否かがCPU2によって判定される(S46)。データリスト31等で選択中の画像の中に、S43以下の処理が行われていない画像が含まれていれば(S46:No)、S42に移行して、S42以下の処理を再度実行する。一方、データリスト31等で選択中の画像全てに、S43以下の処理が行われている場合は(S46:Yes)、処理を終了させる。
【0090】
<視細胞の検出結果の修正>
また、本実施形態のPC1では、解析結果画像における視細胞の検出結果を修正することでも、解析結果画像において解析される対象を変更できる。視細胞の検出結果の修正は、図12に示す視細胞点修正ウインドウ80上で行われる。データリスト31等で1以上の解析結果画像が選択されて、コントロールボックス32の「視細胞点修正」ボタン32eが操作された場合、CPU2は、視細胞点修正ウインドウ80を、コントローラ20に表示させる。
【0091】
図12(a)に示すように、視細胞点修正ウインドウ80には、データリスト31等で選択された解析結果画像のいずれかが、画像表示領域Tに表示される。「ページ送り」ボタン81の役割は、上述した他の「ページ送り」ボタンと同様である。
【0092】
図12(b)に示すように、「追加」ボタン83がユーザによって操作されると、解析結果画像において、視細胞点を追加する位置を、ユーザが指示できるようになる。視細胞点を追加する位置がユーザから指示されると、CPU2は、アイコンIaを、解析結果画像上のユーザから指示された位置に設定する。一方、図12(c)に示すように、「削除」ボタン84がユーザによって操作されると、解析結果画像において、削除する視細胞点を、ユーザが指示できるようになる。削除する視細胞点がユーザから指示されると、CPU2は、ユーザによって削除された視細胞点の位置に、アイコンIbを設定する。
【0093】
アイコンIaおよびアイコンIbのいずれかが設定された状態で「解析」ボタン82が操作されると、CPU2は、表示されている解析結果画像の視細胞点を修正する。例えば、CPU2は、アイコンIaが設定された位置には、視細胞点を追加する。一方、CPU2は、アイコンIbが設定された位置にある視細胞点を削除する。視細胞点が修正された画像は、新たな解析結果画像として、HDD5に格納される。また、CPU2は、新たな解析結果画像に対して、解析データ生成処理(図6参照)に含まれる視細胞解析処理と同様の処理を行う。これによって、新たな解析結果画像に対する各種の解析結果が出力される。
【0094】
なお、複数の解析結果画像を選択してROIを設定する場合と同様に、複数の解析結果画像を選択して視細胞点の検出結果を修正する場合においても、一の解析結果画像に対して行った視細胞点の修正を、同じ視細胞点を持つ他の解析結果画像へ、CPU2が反映させても良い。
【0095】
<眼軸長の情報の変更>
本実施形態のPC1では、被検眼の眼軸長の情報を変更して被検眼の再解析を行うことができる。ユーザが、コントロールボックス32の眼軸長入力ボックス32g(図3参照)に被検眼の眼軸長を入力し、データリスト31等で1以上の解析結果画像を選択してから、「解析」ボタン32cを操作する。これによって、CPU2は、眼軸長入力ボックス32gに入力されている眼軸長に基づいて、選択されている解析結果画像の再解析を行う。ここでは、解析データ生成処理(図6参照)に含まれる視細胞解析処理と同様の処理が、変更された眼軸長で行われる。被検眼の眼軸長の情報が変更されることで、視細胞解析処理において、視細胞の大きさの推定値が変更される。よって、眼軸長測定装置等で測定した正確な眼軸長を、眼軸長入力ボックス32gに入力することで、より正確な視細胞密等の解析結果を得ることができる。
【0096】
本実施形態では、被検眼の眼軸長を変更して再解析を行う場合について説明したが、再解析において正確な視細胞の大きさを使用できれば、他の方法を採用してもよい。例えば、再解析する場合に、被検眼の角膜曲率半径を変更できるようにしてもよい。例えば、本実施形態で眼軸長入力ボックス32gに眼軸長を入力させたように、ユーザに角膜曲率半径を入力させることができる。なお、眼軸長と角膜曲率半径との一方だけを変更できるようにしてもよいが、両方変更できるようにすれば、再解析においてより正確な視細胞の大きさを用いることができる。よって、この場合、より適正な解析結果を得ることができる。
【0097】
<フォローアップ表示>
本実施形態のPC1には、撮像日時の異なる画像を同一の配置で一画面上に(即ち、同時に)表示できるフォローアップ表示機能が用意されている。フォローアップ表示によって、ユーザは、眼底の特定位置が時間経過に伴ってどのように変化したかを比較できる。
【0098】
ユーザがコントロールボックス32(図3参照)の「ベース画像設定」ボタン32fを操作することで、ベース画像の設定が可能になる。ベース画像は、比較の基準に用いる画像である。本実施形態では、まず、ユーザに、ベース画像設定ボタン32を操作させてから、データリスト31に並んだ何れかの解析結果画像のファイル名を選択させる。これにより、ユーザの選択したファイル名の画像が、CPU2によって、ベース画像に設定される。次に、ユーザに、ベース画像以外の解析結果画像のチェックボックス31aを1つ以上チェックさせる。これにより、ユーザにチェックされた画像が、ベース画像と同時に表示する比較画像に、CPU2によって設定される。なお、ベース画像および比較画像を、図5に示す広域一覧ウインドウ60から選択させてもよい。同一の撮像位置で撮像された解析結果画像のサムネイル画像が、広域眼底画像Wにおいて同一の位置に表示されるので、ユーザがベース画像および比較画像を選択し易い。
【0099】
ベース画像および比較画像が設定された状態で、ユーザによって「解析」ボタン32cが操作されると、CPU2は、フォローアップ表示ウインドウ90(図13参照)を表示させる。図13に示すように、フォローアップ表示ウインドウ90には、ベース画像と、比較画像の少なくとも何れかと、が表示される。なお、図13では、解析結果画像2が比較画像として表示されている。比較画像は、ベース画像に対して位置あわせされた状態で、フォローアップ表示ウインドウ90に表示される。位置あわせは、CPU2が、ベース画像に対して比較画像を回転移動および平行移動させることによって行われる。例えば、ベース画像と比較画像との相関を求めた場合に、相関値が最も高くなる位置まで、比較画像を移動させればよい。
【0100】
また、フォローアップ表示ウインドウ90には、ベース画像および比較画像の解析結果がCPU2によってそれぞれ表示される。例えば、予めHDD5に格納されている各画像の解析結果を表示してもよい。しかし、ベース画像と比較画像と撮像位置がずれていると、ベース画像と比較画像との視細胞密度等の解析結果を正確に比較することが難しい。そこで、本実施形態では、ベース画像と比較画像とに、共通のROIを設定して、再解析を行ってもよい。例えば、上記したROI設定ウインドウ70(図10参照)のように、フォローアップ表示ウインドウ90のベース画像上で(または、比較画像上で)、ユーザがROIを指定できるようにしても良い。例えば、ベース画像に対してROIが指定されてから、「解析」ボタン92が操作された場合に、CPU2は、ベース画像と比較画像とに対して、前述のROI設定処理を実行する。これにより、ベース画像と比較画像とで共通の領域にROIを設定できる。共通の眼底組織が写っている領域を探索して、それぞれの画像で共通する領域にROIを設定しても良い。ベース画像と比較画像とのそれぞれに共通のROIを設定すると、CPU2は、細胞密度等の解析結果を求め、解析結果を画面等に出力する。これにより、ユーザは、ベース画像と比較画像との視細胞密度等の解析結果を比較し易くなる。
【0101】
また、図13に示すように、フォローアップ表示ウインドウ90には、それぞれの画像の信頼度が表示される。信頼度を目安に、比較する画像をユーザに選ばせることができる。よって、ユーザは、画像同士の比較を適正に行いやすい。
【0102】
また、図14に示すように、ベース画像および比較画像において、六角形細胞を、他の形状の細胞と異なる態様で表示させても良い。例えば、六角形細胞に、他の形状の細胞と異なる色を付したり、ハッチングなどを施したりしてもよい。正常な網膜には六角形の細胞が規則的に並んでいる。六角形の細胞は、病変等の異常によって形が崩れていく過程で、角が増減することが知られている。或いは、六角形細胞のうち、正六角形細胞を、正六角形細胞以外の細胞と異なる態様で表示させてもよい。
【0103】
以上に説明した通り、本実施形態のPC1では、ROI設定ウインドウ70、フォローアップウインドウ90等が表示されている場合に、視細胞の解析処理によって解析される対象を、複数の眼底画像において変更させるユーザからの指示を、操作部14および操作処理部8を介してCPU2が受け付ける。CPU2によって受け付けた指示に関わる対象が、複数の画像の重複部分に含まれている場合に(S44:Yes)、視細胞の解析処理が行われると、複数の画像のそれぞれに対してユーザからの指示を反映させた解析結果が、CPU2によって出力される。このように、ユーザからの指示で、複数の画像において解析される対象がまとめて変更される。よって、互いの少なくとも一部に重複部分を持つ複数の画像を解析する場合に、解析対象を変更させる指示を行うユーザの負担が抑制されやすい。特に、本実施形態では、CPU2は、ROI設定ウインドウ70、フォローアップウインドウ90等に表示されるいずれか1の画像を用いて、ユーザからの指示を受け付ける。このため、ユーザは、解析対象を変更させる指示を行いやすい。
【0104】
また、本実施形態では、ユーザから指示されたROIがCPU2によって受け付けられた場合、複数の画像のそれぞれに設定されるROI内の眼底組織が、CPU2によってそれぞれ解析される。よって、ユーザの負担を抑制しつつ、ユーザの所望する範囲での解析を、複数の画像のそれぞれで行うことができる。
【0105】
以上、実施形態に基づき説明したが、本発明は、上記実施形態に限定されずに、様々に変形できる。
【0106】
例えば、上記実施形態では、連続して撮像された画像間の撮像位置のズレ量をCPU2に求めさせることで、撮像時における被検眼の動きを検出した。しかし、撮像時における被検眼の動きを、他の方法によっても検出してもよい。例えば、眼科撮像装置100の眼底撮像光学系101によって1の画像群が撮像される間、第2撮像ユニット105においても、広域の眼底画像(眼底の正面画像)を連続して撮像させておく。PC1に、連続して撮像された広域の眼底画像を、画像群と共に取得させる。そのうえで、CPU2では、連続して撮像された広域の眼底画像によって示される血管および黄斑等の特徴部位の動きに基づいて、画像群の撮像時における被検眼の動きを検出してもよい。また、被検眼が動くと、波面センサ102で検出される収差が変化する。そこで、例えば、眼底撮像光学系101によって1の画像群が撮像される間、波面センサ102で検出される収差(主に、被検眼による波面収差)を、逐次、眼科撮像装置100に取得させておく。PC1に、画像群が撮像される間の収差の検出結果を、画像群と共に取得させる。そのうえで、PC1では、収差の検出結果に基づいて、画像群の撮像時における被検眼の動きを、CPU2に検出させてもよい。いずれの方法を用いても、特別な装置を必要とせずに、画像群の撮像時における被検眼の動きを検出できる。
【0107】
また、上記実施形態の解析データ生成処理では、一つの画像群から、一組の解析データ(解析結果画像、および視細胞密度等の解析データ)が得られる。しかし、複数の画像群から、一組の解析データを作成してもよい。例えば、同一の撮像日に、被検眼の同一位置を撮像した画像群が、データリスト31等で複数選択されている場合に、選択された複数の画像群を、1の画像群とみなして解析データ生成処理(図6参照)を実行させればよい。仮に、同一の撮像日の解析データが複数存在した場合、ユーザは、どのデータを用いるかの判断が難しい。これに対し、同一の撮像日に、被検眼の同一位置で撮像された複数の画像群を、1の画像群とみなして解析データ生成処理が行われた場合、その日のうちで、最も固視が安定していたときの解析データを得ることができる。
【0108】
また、第1の画像群から生成された基準画像Ob1を、第1の画像群とは撮像日時が異なる第2の画像群の位置あわせ等を行う場合のテンプレートとしてもよい。この場合、例えば、第2の画像群において固視が安定したデータセットf2が、CPU1によって、基準画像Ob1に対して位置あわせされたうえで歪みが補正される。更に、CPU2が、基準画像Ob1の範囲でデータセットf2を切り出して、解析結果画像を生成する。これにより、第1の画像群から生成された解析結果画像と、第2の画像群から生成された解析結果画像とは、同じ基準画像をテンプレートとして用いているので、ユーザが解析結果の比較を行いやすい。
【0109】
上記実施形態では、S13の処理で加算平均された画像に対して画像の信頼度を求める場合について説明したが、これに限定されるものではない。例えば、画像を加算する前の画像の信頼度を求めても良い。
【0110】
また、上記実施形態では、ROI設定処理(図11参照)によって、複数の解析結果画像にROIが設定される場合、1枚の解析結果画像に対してユーザが設定したROIの設定された領域を、CPU2が、他の解析結果画像からも検索した。
そのうえで、CPU2は、他の解析結果画像において検索された領域にROIを設定した。しかし、必ずしも、1枚の解析結果画像に対してユーザが設定したROIの設定された領域を、CPU2が他の解析結果画像で検索しなくてもよい。例えば、解析結果画像同士の撮像範囲の差異が十分少ない場合であれば、ユーザによって指示されたROIと、画像上の同じ位置(座標)に、CPU2が、他の解析結果画像のROIを設定してもよい。
【0111】
なお、上記実施形態では、PC1では、眼科撮像装置100として、AO−SLOで撮像された眼底画像を処理する場合について説明した。しかし、本発明によれば、AO−SLOの他にも、被検眼を撮像することが可能な種々のデバイスで撮像された画像を、PC1で処理できる。例えば、前眼部または眼底における断層画像を取得する光断層干渉計(OCT)を、眼科撮像装置100として用いてもよい。
【符号の説明】
【0112】
1 PC
2 CPU
5 HDD
13 モニタ
15 外部メモリ
Ob 基準画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14