(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-13
(45)【発行日】2024-12-23
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20241216BHJP
【FI】
A61B3/10 100
(21)【出願番号】P 2020170762
(22)【出願日】2020-10-08
【審査請求日】2023-08-21
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】岩瀬 好彦
(72)【発明者】
【氏名】嵯峨野 治
(72)【発明者】
【氏名】内田 弘樹
(72)【発明者】
【氏名】堀江 寿雲
(72)【発明者】
【氏名】▲高▼橋 理宇眞
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】特開2022-013341(JP,A)
【文献】米国特許出願公開第2022/0000361(US,A1)
【文献】特開2019-180692(JP,A)
【文献】特開2017-074325(JP,A)
【文献】特開2018-171141(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
光コヒーレンストモグラフィを用いて被検眼の眼底の視神経乳頭部を含む領域を第1の時間に撮影して得た前記視神経乳頭部に関する第1の3次元データの解析結果である第1の解析マップと、光コヒーレンストモグラフィを用いて前記眼底の黄斑部を含む領域を前記第1の時間に撮影して得た前記黄斑部に関する第2の3次元データの解析結果である第2の解析マップと、光コヒーレンストモグラフィを用いて前記視神経乳頭部と前記黄斑部とを含む領域を前記第1の時間の後である第2の時間に撮影して得た第3の3次元データの解析結果である前記視神経乳頭部に関する第3の解析マップと前記黄斑部に関する第4の解析マップと、を取得する取得部と、
前記第1の解析マップと前記第3の解析マップとを時系列に並べて第1の表示領域に表示させるように表示部を制御し、前記第2の解析マップと前記第4の解析マップとを時系列に並べて前記第1の表示領域とは異なる第2の表示領域に表示させるように前記表示部を制御する表示制御部と、
前記第1の3次元データ、前記第2の3次元データ、前記第3の3次元データにおける前記視神経乳頭部の3次元データ、前記第3の3次元データにおける前記黄斑部の3次元データ、の少なくとも1つの3次元データの解像度を、正常眼の統計情報の解像度に基づいて調整する調整部と、
を備える画像処理装置。
【請求項2】
前記表示制御部は、前記視神経乳頭部と前記黄斑部とを含む領域に関する2次元画像と、前記視神経乳頭部に関する前記第1の解析マップと前記第3の解析マップと、前記黄斑部に関する前記第2の解析マップと前記第4の解析マップとを並べて表示部に表示させる請求項1に記載の画像処理装置。
【請求項3】
前記視神経乳頭部に関する前記第1の解析マップは、前記第1の3次元データを解析して得た前記視神経乳頭部に関する層厚情報と、前記視神経乳頭部に関する正常眼の統計情報との比較結果を示す第1の比較マップであり、
前記黄斑部に関する前記第2の解析マップは、前記第2の3次元データを解析して得た前記黄斑部に関する層厚情報と、前記黄斑部に関する正常眼の統計情報との比較結果を示す第2の比較マップである請求項2に記載の画像処理装置。
【請求項4】
前記2次元画像は、前記被検眼の深さ方向における前記第3の3次元データの少なくとも一部のデータを用いて得た正面画像、または、前記被検眼の深さ方向における前記第3の3次元データの少なくとも一部のデータを解析して得た層厚情報を色情報として、前記正面画像に重畳して得られる層厚マップである請求項3に記載の画像処理装置。
【請求項5】
検者からの指示に応じて前記層厚マップに対応する層と前記第2の比較マップに対応する層とのいずれか一方を別の層に切り替えると、他方が連動して前記別の層に切り替わることにより、前記層厚マップと前記第2の比較マップとが前記別の層に対応する解析マップに表示が変更され、
前記視神経乳頭部に関する前記第1の解析マップに対応する層は前記指示があっても変更されないように構成される請求項4に記載の画像処理装置。
【請求項6】
前記表示制御部は、前記視神経乳頭部に関する前記第1の解析マップの位置を示す情報と、前記黄斑部に関する前記第2の解析マップの位置を示す情報とを、前記2次元画像に重ねて前記表示部に表示させる請求項2乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記調整部は、前記第3の3次元データにおける前記視神経乳頭部または前記黄斑部の位置に基づいて、正常眼の統計情報と比較するための前記第3の3次元データにおける一部の領域の位置及び大きさを調整することにより、前記第3の3次元データにおけるAスキャン及びBスキャンの数を調整する請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
前記第3の3次元データは、前記視神経乳頭部と前記黄斑部とを含む領域を撮影することで得られる、単一の3次元データである請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
前記表示制御部は、前記第1の解析マップと、前記第2の解析マップと、前記第3の解析マップ及び前記第4の解析マップとが異なる撮影モードで撮影して得た3次元データの解析結果であることが識別可能なことを示す情報を前記表示部に表示させる請求項1乃至8のいずれか1項に記載の画像処理装置。
【請求項10】
測定光を照射した前記眼底からの戻り光と参照光との干渉光を検出する検出部と、前記光コヒーレンストモグラフィとを含む眼科撮影装置と、
請求項1乃至9のいずれか1項に記載の画像処理装置と、
を備えるシステム。
【請求項11】
光コヒーレンストモグラフィを用いて被検眼の眼底の視神経乳頭部を含む領域を第1の時間に撮影して得た前記視神経乳頭部に関する第1の3次元データの解析結果である第1の解析マップと、光コヒーレンストモグラフィを用いて前記眼底の黄斑部を含む領域を前記第1の時間に撮影して得た前記黄斑部に関する第2の3次元データの解析結果である第2の解析マップと、光コヒーレンストモグラフィを用いて前記視神経乳頭部と前記黄斑部とを含む領域を前記第1の時間の後である第2の時間に撮影して得た第3の3次元データの解析結果である前記視神経乳頭部に関する第3の解析マップと前記黄斑部に関する第4の解析マップと、を取得する工程と、
前記第1の解析マップと前記第3の解析マップとを時系列に並べて第1の表示領域に表示させるように表示部を制御し、前記第2の解析マップと前記第4の解析マップとを時系列に並べて前記第1の表示領域とは異なる第2の表示領域に表示させるように前記表示部を制御する工程と、
前記第1の3次元データ、前記第2の3次元データ、前記第3の3次元データにおける前記視神経乳頭部の3次元データ、前記第3の3次元データにおける前記黄斑部の3次元データ、の少なくとも1つの3次元データの解像度を、正常眼の統計情報の解像度に基づいて調整する工程と、
を含む画像処理方法。
【請求項12】
請求項11に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
【請求項13】
光コヒーレンストモグラフィを用い
て視神経乳頭部
と黄斑部とを含む領域を第1の時間に撮影して得た第1の3次元データの解析結果である前記視神経乳頭部に関する第1の解析マップと前記黄斑部に関する第2の解析マップと、光コヒーレンストモグラフィを用いて前記視神経乳頭部と前記黄斑部とを含む領域を前記第1の時間の後である第2の時間に撮影して得た第2の3次元データの解析結果である前記視神経乳頭部に関する第3の解析マップと前記黄斑部に関する第4の解析マップと、を取得する取得部と、
前記第1の解析マップと前記第3の解析マップとを時系列に並べて第1の表示領域に表示させるように表示部を制御し、前記第2の解析マップと前記第4の解析マップとを時系列に並べて前記第1の表示領域とは異なる第2の表示領域に表示させるように前記表示部を制御する表示制御部と、
前記第1の3次元データにおける前記視神経乳頭部の3次元データ、前記第1の3次元データにおける前記黄斑部の3次元データ、前記第2の3次元データにおける前記視神経乳頭部の3次元データ、前記第2の3次元データにおける前記黄斑部の3次元データ、の少なくとも1つの3次元データの解像度を、正常眼の統計情報の解像度に基づいて調整する調整部と、
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
開示の技術は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
被検眼の撮影を行うための眼科撮影装置として光干渉断層計が知られている。光干渉断層計は、光コヒーレンストモグラフィ(OCT)を利用して眼底や前眼部の断面像や3次元画像を取得する。更に、光干渉断層計により取得されたデータは、被検眼の状態を把握するための解析処理に利用される。
【0003】
解析処理として、眼底の層組織の厚さの解析(眼底層厚解析)などがある。眼底層厚解析では、所定の層組織の厚さ分布の生成や、正常眼データベースとの比較が行われる。対象となる層組織は、網膜神経線維層(RNFL)、神経節細胞層(GCL)、神経節細胞層と内網状層(IPL)との複合層、神経節細胞層と内網状層と網膜神経線維層との複合層などがある。
【0004】
解析処理を広範囲にわたって行うことが望ましい場合がある。緑内障に関する眼底層厚解析では、視神経乳頭部を含む領域と黄斑部を含む領域との双方を対象とすることが望ましい。従来技術では、視神経乳頭部を含む領域のデータ収集と、黄斑部を含む領域のデータ収集とを個別に行い、収集されたデータを個別に解析している。
【0005】
ここで、特許文献1では、光コヒーレンストモグラフィ(OCT)を用いて、眼底の広域にわたる領域として、視神経乳頭部と黄斑部とを含む領域を撮影する技術が開示されている。そして、特許文献1には、眼底の広域にわたる状態を容易に把握するために、視神経乳頭部を含む領域と黄斑部を含む領域とを個別に解析することにより得られる視神経乳頭部に関する解析マップと黄斑部に関する解析マップとを、被検眼の正面画像に重ねて表示させる技術が開示されている。このとき、特許文献1には、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとが互いに部分的に重ねて表示されることが開示されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、緑内障の診断では、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとを経過観察するために、同一被検眼で取得された、過去のデータと現在のデータとを比較したい場合がある。このとき、過去のデータの状況によっては、例えば、過去において視神経乳頭部を含む領域と黄斑部を含む領域とを個別に撮影して得た3次元データをそれぞれ解析することで得られる解析マップと、現在において視神経乳頭部と黄斑部とを含む領域を撮影して得た3次元データを解析することで得られるそれぞれの解析マップとを比較せざるを得ない場合がある。
【0008】
開示の技術は、検者が診断する上での利便性を向上させることを目的の一つとする。
【0009】
なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の一つとして位置付けることができる。
【課題を解決するための手段】
【0010】
開示の画像処理装置の一つは、
光コヒーレンストモグラフィを用いて被検眼の眼底の視神経乳頭部を含む領域を第1の
時間に撮影して得た前記視神経乳頭部に関する3次元データの解析結果である第1の解析
マップと、光コヒーレンストモグラフィを用いて前記眼底の黄斑部を含む領域を前記第1
の時間に撮影して得た前記黄斑部に関する3次元データの解析結果である第2の解析マッ
プと、光コヒーレンストモグラフィを用いて前記視神経乳頭部と前記黄斑部とを含む領域
を前記第1の時間の後である第2の時間に撮影して得た3次元データの解析結果である前
記視神経乳頭部に関する第3の解析マップと前記黄斑部に関する第4の解析マップと、を
取得する取得部と、
前記第1の解析マップと前記第3の解析マップとを時系列に並べて第1の表示領域に表
示させるように表示部を制御し、前記第2の解析マップと前記第4の解析マップとを時系
列に並べて前記第1の表示領域とは異なる第2の表示領域に表示させるように前記表示部
を制御する表示制御部と、
正常眼の統計情報と比較するために、前記3次元データにおける前記視神経乳頭部または前記黄斑部の解像度を調整する調整部と、
を備える。
【発明の効果】
【0011】
開示の技術の一つによれば、検者が診断する上での利便性を向上させることができる。
【図面の簡単な説明】
【0012】
【
図2】眼部の構造と断層画像と眼底画像を説明するための図。
【
図3】画像処理システムにおける処理の流れを示すフローチャート。
【
図9】時系列データ選択の流れを示すフローチャート。
【
図10】時系列データ選択について説明をするための図。
【
図12】画像処理システムにおける処理の流れを示すフローチャート。
【
図13】モーションコントラストデータを説明するための図。
【発明を実施するための形態】
【0013】
(第一の実施形態)
以下、図面を参照しながら、第一の実施形態について説明する。本実施形態の一つによれば、光コヒーレンストモグラフィ(OCT)を用いて、1回のスキャンパターン(例えば、ラスタスキャン)で得た眼底の単一の3次元データに対して、視神経乳頭部を含む領域の解析と黄斑部(中心窩)を含む領域の解析とを行い、これらの解析による結果(解析マップ)を並べて表示部に表示させる。すなわち、本実施形態の一つによれば、光コヒーレンストモグラフィを用いて、被検眼の眼底の視神経乳頭部と黄斑部とを含む領域を撮影して得た3次元データの解析結果である視神経乳頭部に関する解析マップと黄斑部に関する解析マップとを取得し、これらの解析マップを並べて表示部に表示させる。このとき、本実施形態の一つによれば、これらの解析マップと、視神経乳頭部と黄斑部とを含む領域に関する2次元画像とを並べて表示部に表示させる。これにより、検者が診断する上での利便性を向上させることができる。例えば、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとが互いに部分的に重なることによって一方の解析マップの一部が見えなくなってしまうような、従来技術によって生じる状況がなくなるためである。
【0014】
ここで、視神経乳頭部に関する解析マップとは、視神経乳頭部を含む領域の解析結果を示す2次元画像であれば何でもよい。また、黄斑部に関する解析マップとは、黄斑部を含む領域の解析結果を示す2次元画像であれば何でもよい。なお、解析結果を示す2次元画像は、例えば、後述する層厚マップや、血管密度マップ、解析して得た解析情報(例えば、層厚情報)と正常眼の統計情報(ノーマティブデータ)との比較結果を示すマップ等である。また、視神経乳頭部と黄斑部とを含む領域に関する2次元画像は、例えば、視神経乳頭部と黄斑部とを含む領域を撮影して得たSLO画像(あるいはカラー眼底画像やモノクロ眼底画像)等である。また、視神経乳頭部と黄斑部とを含む領域に関する2次元画像は、例えば、OCTを用いて得た3次元データであって、被検眼の深さ方向における3次元データの少なくとも一部のデータを用いて得た正面画像(Enface画像)等である。また、視神経乳頭部と黄斑部とを含む領域に関する2次元画像は、例えば、被検眼の深さ方向における3次元データの少なくとも一部のデータを解析して得た層厚情報を(所定の透明度が設定された)色情報として、上記正面画像に重畳して得られる層厚マップ等である。
【0015】
なお、本実施形態の他の一つによれば、視神経乳頭部と黄斑部とを含む領域に関する2次元画像と、視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップのうち一方の解析マップとを重ねて表示部に表示させてもよい。このとき、本実施形態の他の一つによれば、他方の解析マップと2次元画像とを並べて表示部に表示させてもよい。これにより、例えば、視神経乳頭部に関する解析マップと黄斑部に関する解析マップとが互いに部分的に重ならないように表示させることができる。このため、検者が診断する上での利便性を向上させることができる。なお、2次元画像に重ねて表示される解析マップは、2次元画像上の対応する位置に重ねて表示されてもよい。また、他方の解析マップは、別の2次元画像に重ねて表示部に表示させてもよい。このとき、解析マップが重ねて表示される2つの2次元画像は、同種の2次元画像であってもよいし、異なる種類の2次元画像であってもよい。
【0016】
以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。
【0017】
図1は、本実施形態に係る画像処理装置300を備える画像処理システム100の構成を示す図である。
図1に示すように、画像処理システム100は、画像処理装置300が、インタフェースを介して断層画像撮影装置200、眼底画像撮影装置400、外部記憶部500、表示部600、入力部700と接続されることにより構成されている。
【0018】
断層画像撮影装置200は、眼部の断層画像を撮影する装置である。断層画像撮影装置200は、例えばSD-OCT(Spectral domain OCT)や、SS-OCT(Swept Source OCT)などの光干渉断層計(光コヒーレンストモグラフィ、OCT;Optical Coherence Tomography)により構成される。ここで、SD-OCTは、広帯域光源を用い、分光器でインターフェログラムを取得するOCTである。また、SS-OCTは、光源として、高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測するOCTである。このとき、断層画像撮影装置200は、測定光を照射した眼底からの戻り光と参照光との干渉光を検出する検出部(不図示)を有し、OCTを含む眼科撮影装置の一例である。なお、断層画像撮影装置200は、既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置300からの指示により行われる断層画像の撮影から解析処理について説明を行う。
【0019】
図1において、ガルバノミラー201は、測定光の眼底における走査を行うためのものであり、OCTによる眼底の撮影範囲を規定する。また、駆動制御部202は、ガルバノミラー201の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数(平面方向の走査速度)を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはXスキャン用のミラーとYスキャン用のミラーとで構成され、眼底上で所望の範囲を測定光で走査できる。
【0020】
フォーカス203は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、不図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。
【0021】
内部固視灯204は、表示部241、レンズ242で構成される。表示部241として複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部202の制御により撮影したい部位に合わせて変更される。固視灯の位置は、黄斑部周辺を撮影するための黄斑部固視灯位置、視神経乳頭部周辺を撮影するための視神経乳頭部固視灯位置、黄斑部と視神経乳頭部とを両方含むように撮影するための後極部中心固視灯位置などとする。表示部241からの光は、レンズ242を介し、被検眼に導かれる。表示部241から出射される光は520nmで、駆動制御部202により所望のパターンが表示される。
【0022】
コヒーレンスゲートステージ205は、被検眼の眼軸長の相違等に対応するため、駆動制御部202により制御されている。コヒーレンスゲートとは、OCTにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について
図2を用いて説明する。
【0023】
図2(a)に眼球の模式図を示す。
図2(a)において、Cは角膜、CLは水晶体、Vは硝子体、Mは黄斑部(黄斑の中心部は中心窩を表す)、Dは視神経乳頭部を表す。本実施形態にかかる断層画像撮影装置200は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、断層画像撮影装置200は、角膜、水晶体の前眼部を撮影することも可能である。
【0024】
図2(b)に断層画像撮影装置200が取得する網膜を撮影した場合の断層画像の例を示す。
図2(b)において、ASはAスキャンというOCT断層画像における画像取得の単位を表す。このAスキャンが複数集まって一つのBスキャンを構成する。そしてこのBスキャンのことを断層画像(あるいは断層像)と呼ぶ。
図2(b)において、Vは硝子体、Mは黄斑部、Dは視神経乳頭部、Laは篩状板を表す。を表す。また、L1は内境界膜(ILM)と神経線維層(NFL)との境界、L2は神経線維層と神経節細胞層(GCL)との境界、L3は視細胞内節外節接合部(ISOS)、L4は網膜色素上皮層(RPE)、L5はブルッフ膜(BM)、L6は脈絡膜を表す。断層画像において、横軸(OCTの主走査方向)をx軸、縦軸(深さ方向)をz軸とする。
【0025】
図2(c)に眼底画像撮影装置400が取得する眼底画像の例を示す。眼底画像撮影装置400は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやSLO(Scanning Laser Ophothalmoscope)等が挙げられる。
図2(c)において、Mは黄斑部、Dは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸(OCTの主走査方向)をx軸、縦軸(OCTの副走査方向)をy軸とする。なお、断層画像撮影装置200と眼底画像撮影装置400の装置構成は、一体型でもよいし別体型でもよい。
【0026】
画像処理装置300は、画像取得部301、記憶部302、画像処理部303、指示部304、表示制御部305を備える。画像取得部301は、断層画像生成部311からなり、断層画像撮影装置200により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成を行う。また、眼底画像撮影装置400により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部302に格納する。画像処理部303は、層検出部331、解析部332、特徴検出部333、領域調整比較部334、2次元データ生成部335からなる。
【0027】
層検出部331は、断層画像から各層の境界線を検出する。解析部332は、層検出部331が検出した境界線情報に基づいて各層の厚みを計算する。特徴検出部333は、断層画像あるいは眼底画像の少なくとも一方を用いて、視神経乳頭部や黄斑部中心窩を検出する。領域調整比較部334は、特徴検出部333により検出された部位の位置に基づいて、後述するノーマティブデータ(複数データから算出した統計値)と比較するための領域の位置や大きさの調整を行った後にデータの比較を行う。2次元データ生成部336は、解析部332の解析結果や領域調整比較部334の比較結果に基づいて2次元データの生成を行う。
【0028】
外部記憶部500は、被検眼に関する情報(患者の氏名、年齢、性別など)と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。さらに、複数の正常眼の情報から生成されたノーマティブデータも保持している。例えば、ノーマティブデータは、視神経乳頭部周囲のNFLの厚みや、黄斑部中心窩周囲のNFLとGCLとIPLの複合層の厚み等である。
【0029】
入力部700は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部700を介して、画像処理装置300や断層画像撮影装置200、眼底画像撮影装置400へ指示を行う。
【0030】
次に、
図3を参照して本実施形態の画像処理装置300の処理手順を示す。
図3は、本実施形態における本システム全体の動作処理を示すフローチャートである。
【0031】
<ステップS301>
ステップS301では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部500が保持している当該被検眼に関する情報を取得して記憶部302に記憶する。
【0032】
<ステップS302>
ステップS302では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が不図示のスキャン開始を選択すると、断層画像撮影装置200は、駆動制御部202を制御し、ガルバノミラー201を動作させて断層画像のスキャンを行う。ガルバノミラー201は、水平方向用のXスキャナと垂直方向用のYスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向(X)、垂直方向(Y)それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。
【0033】
撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部202は、表示部241の発光ダイオードを制御して、後極中心、黄斑部中心、視神経乳頭中心に撮影を行うように内部固視灯204の位置を制御する。スキャンパターンは3次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。なお、本実施形態においては、固視灯の位置は後極中心、スキャンパターンはラスタスキャンとし、スキャン範囲は視神経乳頭部から黄斑部をすべてカバーする広範囲(広域)の撮影を行う場合について説明をする。例えば、本実施形態においては13×10mmの範囲とし、主走査の方向が垂直方向のラスタスキャンとする。さらに、撮影範囲の中心を水平スキャンで撮影する。水平スキャンは、3次元のラスタスキャンの前か後に撮影をする。水平スキャンは、1枚、あるいは複数枚(例えば10枚程度)撮影をする。これら撮影パラメータの調整終了後、操作者が不図示の撮影開始を選択することで撮影を行う。なお、断層画像撮影装置200は、被検眼のトラッキングを行うことも可能である。これにより、固視微動の影響を少なくすると共に、まばたき等によりデータが欠損する場合にはデータが欠損した場所のみ再度スキャンを行うことで状態のよい3次元データが取得できる。
【0034】
<ステップS303>
ステップS303では、断層画像の生成を行う。断層画像生成部311は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。
【0035】
まず、断層画像生成部311は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部311は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、FFT処理を行う事によって断層信号を生成する。
【0036】
<ステップS304>
ステップS304では、層検出部331が層検出を行う。層検出部331は、処理の対象とする断層画像に対して、ノイズ除去とエッジ強調処理を行う。ノイズ除去処理としては、例えばメディアンフィルタやガウシアンフィルタを適用する。エッジ強調処理としては、SobelフィルタやHessianフィルタを適用する。ここで、二次元のHessianフィルタを用いて、二次元断層画像に対するエッジ強調処理について説明をする。Hessianフィルタは、ヘッセ行列の2つの固有値(λ1、λ2)の関係に基づいて、二次元濃淡分布の二次局所構造を強調することが出来る。ヘッセ行列の固有値と固有ベクトル(e1、e2)の関係を用いて二次元の線構造を強調する。二次元断層画像における線構造とは網膜層に相当するため、網膜層の構造を強調することになる。なお、厚みの異なる網膜層を検出するには、ヘッセ行列を計算する際に行うガウス関数による平滑化の解像度を変更すればよい。なお、二次元のHessianフィルタを適用する際には、画像のXZの物理サイズを合わせるようにデータを変形した後に適用することが望ましい。一般的なOCTの場合、XY方向とZ方向の物理サイズが異なる。そのため、ピクセル毎の網膜層の物理サイズを合わせてフィルタを適用する。あるいは、物理サイズを正規化しない場合には、ガウス関数による平滑化の解像度を変更することでも近似的に対応できる。上記では、二次元断層画像での処理について説明をしたが、これに限らない。断層画像を撮影した際のデータ構造がラスタスキャンによる三次元断層画像である場合、三次元のHessianフィルタを適用することも可能である。この場合、隣接する断層画像間において不図示の位置合わせ部において、XZの位置合わせ処理を行った後に、ヘッセ行列の3つの固有値(λ1、λ2、λ3)の関係に基づいて、三次元濃淡分布の二次局所構造を強調することが出来る。ヘッセ行列の固有値と固有ベクトル(e1、e2、e3)の関係を用いて三次元の層構造を強調することで、三次元的にエッジを強調することも可能である。
【0037】
層検出部331は、エッジ強調処理をした断層画像703から境界線を検出する。本実施形態では、ILMとNFLとの境界、RPEをまず求めて、続けて、ISOS、NFLとGCL境界を検出する。なお、図示はしないが、その他の境界線として、外網状層(OPL)と外顆粒層(ONL)境界、内網状層(IPL)と内顆粒層(INL)境界、INLとOPL境界、GCLとIPL境界、脈絡膜と強膜の境界等を検出してもよい。境界の検出方法としては、各Aスキャンにおいてエッジ強度が強い箇所を境界候補として複数検出し、隣接するAスキャンにおいて境界候補同士の連続性を基に点を線としてつなげる処理を行う。点を線としてつなげた場合に、線の滑らかさを評価することで、外れ値を除去する。そして、上下の境界線との距離や位置関係に基づいて境界線を決定する。なお、各Aスキャンにおいて外れ値を除去した結果として検出された境界線がない場合には、周囲の境界線から補間で求めてもよい。あるいは、周囲の境界線からエッジを頼りに水平方向に境界線候補を探索していき、周囲の境界線から探索した境界線候補を基にして再度、境界線を決定するようにしてもよい。
【0038】
そして、検出した境界線に対して、境界線の形状を滑らかに補正する処理を実行する。例えば、Snakesなどにより、画像特徴と形状特徴とを用いて境界線の形状を滑らかにしてもよい。あるいは、境界線形状の座標値を信号による時系列データとみなして、Savitzky-Golayフィルタや、単純移動平均、加重移動平均、指数移動平均等の平滑化処理で形状を滑らかにしてもよい。あるいは、全Aスキャンについて境界線を検出するのではなく、離散的(例えば、5Aスキャン間隔)に検出をして、検出をしていないAスキャンの境界線位置は、検出した境界線から補間によって求めるようにしてもよい。
【0039】
<ステップS305>
ステップS305では、解析部331が層検出部331の検出結果に基づいて、任意の層の厚みを計算する。例えば、NFLの厚みの場合、
図2(b)において、境界線L1とL2で規定される領域の深さ方向の差が層の厚みとなる。NFLに限らず、NFLとGCLとIPLを複合した層の厚みを計算してもよいし、NFL(あるいはILM)~BM(あるいはRPE)までの全ての層を含む全層の厚みを計算してもよい。計算した結果は、1Aスキャンあたり1点の値になるため、全Aスキャン・Bスキャンにおいて厚みを計算し、2次元の層厚マップとする。なお、計算対象とする層の種類が複数あれば、出力される2次元の層厚マップも複数となる。
【0040】
<ステップS306>
ステップS306では、特徴検出部333が視神経乳頭部、黄斑部中心窩を検出する。まず、視神経乳頭部に関する検出の一例について示す。特徴検出部333は、SLO画像あるいは複数枚のOCT断層画像から生成するEnface画像(網膜正面画像)に対して、コントラスト調整を行うことで画像の明るさをある基準に揃える。そして、ガウシアンフィルタ、メディアンフィルタのような平滑化フィルタを用いて画像を滑らかにする。さらに、画像の特徴を強調するために、CLAHE(Contrast Limited Adaptive Histogram Equalization)のような処理を行うことでコントラストを強調してもよい。これらの前処理により画像から輝度値の低い円形(楕円形)の領域が抽出出来るため、その領域を視神経乳頭部とする。さらに、SLOやEnfaceのような網膜正面画像だけではなく、OCT断層画像における層境界線結果を用いてもよい。例えば、
図2(b)のDで示したように、視神経乳頭部は大きなくぼみ領域である。そのため、層境界線の検出結果による形の特徴から視神経乳頭部を抽出してもよい。
【0041】
次に、黄斑部中心窩に関する検出の一例を示す。黄斑部中心窩は、
図2(b)のMで示したように小さなくぼみ領域である。さらに、ILMとIS/OSとの距離が他の場所と比べても近くなっている。そのため、ILMとIS/OSとの距離を用いることで黄斑部中心窩の陥凹領域を求めることが出来る。なお、同じくぼみ領域であるが視神経乳頭部においては、IS/OSが存在しないので、視神経乳頭部でILMとIS/OSとの距離を用いた特徴は無効領域となる。
【0042】
なお、ステップS304、ステップS306において、画像処理を用いた層境界や特徴部の検出例について説明したが、これに限らない。Deep Learningのような機械学習手法を用いて、画像と正解ラベルとを学習しておくことで、入力画像から任意の層や特徴部を検出するようにしてもよい。
【0043】
<ステップS307>
ステップS307では、領域調整比較部334が、特徴抽出部333が抽出した視神経乳頭部と黄斑部との位置に基づいてノーマティブデータと比較する領域の調整を行う。これについて、
図4を用いて説明をする。なお、本実施形態のノーマティブデータは、視神経乳頭部周囲のデータ、黄斑部周囲のデータはそれぞれ別々に記憶しているものとして説明を行う。
【0044】
図4(a)の実線で示す矩形領域401は、本実施形態において視神経乳頭部から黄斑部をすべてカバーする広範囲撮影領域の例を示している。例えば、本実施形態においては13×10mmの範囲とする。一点鎖線で示す矩形領域402は、視神経乳頭部におけるノーマティブデータの範囲を示し、例えば、6×6mmの範囲とする。点線で示す矩形領域403は、黄斑部におけるノーマティブデータの範囲を示し、例えば、10×10mmの範囲とする。
図4(b)は、
図4(a)において重複している領域を別々に示したものである。
図4(a)と(b)は領域をサイズで示した例であるが、OCTの場合、ある範囲を何本のAスキャンで、かつ何枚のBスキャンで撮影するかによって解像度が異なる。これを
図4(c)に示す。
図4(c)では、説明のため、視神経乳頭部、黄斑部、血管の特徴は省略し、AスキャンとBスキャンの比率のみを示す。
図4(c)において、矩形領域411が矩形領域401に対応するAスキャンとBスキャンの比率を示したサイズであり、矢印421は主走査方向を示している。本実施形態において矩形領域411は、Aスキャン500本、Bスキャン250枚のサイズを示す例である。同様にして、矩形領域412が矩形領域402に対応し、矩形領域413が矩形領域403に対応し、それぞれAスキャンとBスキャンの比率を示したサイズを表す。矩形領域412は、Aスキャン500本、Bスキャン500枚のサイズを示し、矩形領域413は、Aスキャン1000本、Bスキャン125枚のサイズを示す例である。
【0045】
図4に示すように、広範囲撮影時の撮影範囲は、ノーマティブデータ取得時の撮影範囲をカバーしていても、撮影時の解像度と、ノーマティブデータ取得時の解像度が異なる場合がある。そのため、領域調整比較部334は、ステップS305で求めた層厚マップ領域の調整を行う。ここでは、領域調整の一例を示す。領域調整比較部334は、矩形領域411に相当する層厚マップを撮影領域に対応するように、13:10の比率に拡縮を行う。それにより、
図4(b)で示したような撮影領域401に相当する層厚マップとなる。層厚マップは2次元であるため、拡縮の方法は、Bicubic、Bilinearのような一般的な画像処理でもよいし、機械学習により事前に学習済みの超解像処理を適用してもよい。拡縮済みの層厚マップから、ステップS306で特徴抽出部333が抽出した視神経乳頭部と黄斑部の位置に対応する箇所を中心として、それぞれ6:6、10:10の範囲を特定する。視神経乳頭部、黄斑部に対応するノーマティブデータも6:6、10:10となるように拡縮を行い、層厚マップと比較をする。
【0046】
なお、上記は撮影時のAスキャンとBスキャンのスキャン数に関係なく、単純な拡縮を行う例について説明をしたがこれに限らない。例えば、データ取得時の解像度が高いデータを間引いた後に、拡縮をしてもよい。例えば、矩形領域412は、6×6mmの範囲を500×500でデータを取得してノーマティブデータが生成されている例である。これを、本実施形態の矩形領域411に合わせるようにデータを間引いた後に拡縮を行うようにしてもよい。例えば、500×500のデータを115×300に間引いた後に拡縮処理を実行することで、矩形領域411の拡縮とほぼ同じスケール変換となり、拡縮による補間処理もほぼ同じ補間処理となる。そのため、撮影時とノーマティブデータ取得時の解像度が異なっていても、データ比較時の解像度をほぼ同じに揃えることが出来る。
【0047】
ここで、領域調整比較部334は、3次元データにおける視神経乳頭部または黄斑部の位置に基づいて、正常眼の統計情報と比較するための3次元データにおける一部の領域の位置及び大きさを調整することにより、3次元データにおけるAスキャン及びBスキャンの数を調整する調整部の一例である。
【0048】
なお、本実施形態ではステップS305で層厚マップを作成し、ステップS307で視神経乳頭部と黄斑部とに対応する箇所を中心に比較範囲を特定するフローで説明をしたが、処理フローはそれに限らない。例えば、眼底正面画像において視神経乳頭部と黄斑部とに対応する箇所を中心に比較範囲を特定した後に、その範囲に含まれる境界線データを基に層厚マップを作成するようにしてもよい。
【0049】
<ステップS308>
ステップS308では、2次元データ生成部335は、領域調整比較部334によって、ノーマティブデータと比較された視神経乳頭部周囲や黄斑部中心窩周囲の2次元データ(解析マップとも言う)を生成する。本実施形態では、2次元データ生成部335が生成する解析マップは、SignificanceマップやDeviationマップとする。Significanceマップは、ノーマティブデータに基づき、計測値を信頼区間の1パーセントタイル未満を異常、5パーセントタイル未満を境界域、残りを正常範囲内として、それぞれ表示色を変えたマップである。Deviationマップは、ノーマティブデータから算出した層厚マップの平均画像との差を色で表したマップである。なお、層厚マップは解析部332において、層厚計算をした際に作成済みである。
【0050】
2次元データ生成部335は、視神経乳頭部周囲においては、例えば、NFLのSignificanceマップ、Deviationマップを生成する。また、黄斑部中心窩周囲においては、NFLとGCLとIPLを複合した層や、NFL(あるいはILM)~BM(あるいはRPE)までの全ての層を含む全層のSignificanceマップ、Deviationマップを生成する。なお、SignificanceマップやDeviationマップは、解析結果を示す2次元画像(解析マップ)の一例である。
【0051】
ここで、視神経乳頭部に関する解析マップは、3次元データを解析して得た視神経乳頭部に関する層厚情報と、視神経乳頭部に関する正常眼の統計情報(ノーマティブデータ)との比較結果を示す第1の比較マップであってもよい。また、黄斑部に関する解析マップは、3次元データを解析して得たに黄斑部に関する層厚情報と、黄斑部に関する正常眼の統計情報(ノーマティブデータ)との比較結果を示す第2の比較マップであってもよい。このとき、SignificanceマップやDeviationマップは、第1の比較マップや第2の比較マップの一例である。
【0052】
また、2次元データ生成部335は、光コヒーレンストモグラフィを用いて、被検眼の眼底の視神経乳頭部と黄斑部とを含む領域を撮影して得た3次元データの解析結果である視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップを取得する取得部の一例である。このとき、取得部は、上記3次元データを解析することにより、視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップを生成することができる。なお、取得部は、有線または無線による通信により、外部の記憶部や外部のシステム等から、視神経乳頭部に関する解析マップ及び黄斑部に関する解析マップをデータとして取得するように構成されてもよい。
【0053】
<ステップS309>
ステップS309では、撮影した画像と層厚マップ、解析マップなどを表示部600に表示する。
図5に表示部600に表示する画面の一例を示す。505は画面全体、501は患者タブ、502は撮影タブ、503はレポートタブ、504は設定タブを表し、503のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。
図5(a)と(b)には、2種類のレポート画面の表示例を示す。本実施形態では、広範囲のスキャンを行うことで、視神経乳頭部、黄斑部をカバーする撮影を行っている。そのため、例えば、
図5(a)では視神経乳頭部を中心としたレイアウトで、例えば、緑内障診断向けのレポート例を示す。また、
図5(b)では黄斑部を中心としたレイアウトで、黄斑疾患診断向けのレポート例を示す。これらのレイアウトは一例であり、2種類に限るものではないが、一つのスキャンパターンから用途に応じた複数のレイアウトを選択出来るものとする。
【0054】
図5(a)において、510は眼底写真、511は眼底写真から視神経乳頭部周辺を拡大した画像である。なお、眼底写真510を撮影していない場合、SLO画像、赤外線画像など、眼底正面を撮影している他の画像を表示する。512は網膜厚全体の厚みを表す層厚マップであり、視神経乳頭部と黄斑部とを含む領域に関する2次元画像の一例である。また、513は、ETDRSグリッドを網膜厚全体の層厚マップに重畳表示している。ETDRSグリッド513は、各セクタにおいて領域内の網膜厚全体の厚みの平均値を表示する。514はRNFLの厚みを表す層厚マップを示す。また、黄斑部周辺の範囲(例えば、10×10mmの範囲)を示す情報515は、上記2次元画像における黄斑部に関する解析マップの位置を示す情報の一例である。なお、層厚マップ514は、RNFLの層の厚みを表す層厚マップと、NFLとGCLとIPLを複合した層の厚み(あるいは、GCLとIPLを複合した層の厚み)を表す層厚マップとのうち、いずれか一方の層厚マップであればよい。なお、これらの層厚マップは、一方から他方に切り替えて表示されるように構成されてもよい。この表示の切り替えは、例えばSplitButtonを用いて実行可能に構成されてもよい。なお、SplitButtonである必要はなく、RadioButtonでもよく、複数の選択肢のうちから一つを選択することができるものであればよい。視神経乳頭部周辺の範囲(例えば、6×6mmの範囲)を示す情報516は、上記2次元画像における視神経乳頭部に関する解析マップの位置を示す情報の一例である。517は視神経乳頭部周囲のサークルを示し、例えば直径3.45mmのサークルとする。518と519は、516で示す6×6mmの範囲とし、RNFL厚に関してノーマティブデータに基づいて生成したSignificanceマップ、Deviationマップを示す。520と521は、515で示す10×10mmの範囲とし、NFLとGCLとIPLを複合した層の厚みに関してノーマティブデータに基づいて生成したSignificanceマップ、Deviationマップを示す。なお、層厚マップ、Significanceマップ、Deviationマップは、断層像から生成した眼底正面の画像に結果をカラーで重畳表示しており、透過度設定により半透明(所定の透明度)で重畳しているものとする。
【0055】
また、522は、517で示すサークルの断層画像、523はサークル断層画像517におけるRNFLの厚みプロファイルを示す。厚みプロファイル523において、太線は計測したRNFLの厚みの値、細線がノーマティブデータの正常、境界域、異常範囲を示している。なお、厚みプロファイル523はTSNIT(Temporal、Superior、Nasal、Inferior)で表示しているが、NSTINの順番で表示することも可能である。TSNITかNSTINの表示の切り替えについて、例えば、不図示の設定画面において、TSNITかNSTINの初期表示を設定できる。あるいは、画面上で右クリックによるメニューを表示して、そこで表示を切り替えられるようにしてもよい。524は視神経乳頭部、RNFL厚に関する計測値を示し、例えば、Disc面積、Rim面積、C/D比、RNFLのTSNITの厚みの平均値等を表示する。525は視神経乳頭部でのRNFLの厚みグリッドで、4分割、12分割したものを示す。なお、分割数はこれに限らず6分割としてもよい。グリッド内のセクタにおいては、厚みの平均値と、その値が正常、境界域、異常であるかを色で示す。526は黄斑部でのNFLとGCLとIPLを複合した層の厚みグリッドで、上下左右9分割、全体、上下2分割したものを示す。526のグリッドも525のグリッド同様に、グリッド内のセクタにおいては、厚みの平均値と、その値が正常、境界域、異常であるかを色で示す。
【0056】
なお、
図5(a)において、520、521、526はNFLとGCLとIPLを複合した層に関する情報を表示しているが、GCLとIPLを複合した層に関する情報を表示してもよい。表示の切り替えに関して、不図示の設定画面において、NFLとGCLとIPLを複合した層かGCLとIPLを複合した層の初期表示を設定できる。あるいは、画面上で右クリックによるメニューを表示して、そこで表示を切り替えられるようにしてもよい。なお、右クリックによる切り替え(検者からの指示の一例)の場合、520、521、526のいずれかの表示領域上で選択処理を実行すると、これら3種類(520、521、526)の表示が連動して切り替わるものとする。このとき、層厚マップ514がRNFLではなく、NFLとGCLとIPLを複合した層の厚みを表示している場合、層厚マップ514もGCLとIPLを複合した層の厚みを表す層厚マップの表示に連動して切り替わるように構成されてもよい。すなわち、検者からの指示に応じて層厚マップ514に対応する層と上記第2の比較マップ(520や521)に対応する層とのいずれか一方を別の層(例えば、2種類の複合層のいずれか)に切り替えると、他方が連動して別の層に切り替わるように構成されてもよい。これにより、層厚マップ514と上記第2の比較マップとが別の層に対応する解析マップに表示が変更されるように構成することができる。このとき、視神経乳頭部の解析マップに対応する層(例えば、RNFL)は上記指示があっても変更されないように構成されてもよい。これにより、黄斑部と視神経乳頭部とで互いに異なる層に対応する解析マップを観察することができるため、例えば、緑内障の診断を効率よく行うことができる。なお、ここでの表示切り替えに連動して、以下で説明を行う
図5(b)の表示も替わる。
【0057】
図5(b)においては、
図5(a)との差異を説明する。530は水平スキャンの断層画像である。本実施形態では、ステップS302で示したように3次元撮影と水平スキャンをする。水平スキャン530は、1枚、あるいは複数枚(例えば10枚程度)撮影をする。複数枚撮影をする場合には、不図示の位置合わせ部により、複数の断層画像同士の位置合わせをした後に加算平均処理をして1枚の断層画像を生成することが望ましい。そして、その加算平均処理をした断層画像を水平スキャン530として表示する。なお、図示はしないが、水平スキャン530の代わりに、3次元撮影をした垂直スキャンの断層画像を表示するか、水平スキャン530と並べて垂直スキャンの断層画像を表示してもよい。532は網膜厚全体の厚みに関してノーマティブデータに基づいて生成したSignificanceマップ、533はNFLとGCLとIPLを複合した層の厚みを表す層厚マップを示す。なお、533、520はNFLとGCLとIPLを複合した層に関する情報を表示しているが、これは
図5(a)で説明した種類と連動して切り替わるものとする。すなわち、
図5(a)の画面において、GCLとIPLを複合した層の表示に切り替えている場合、
図5(b)における2種類(533、520)の表示は、GCLとIPLを複合した層に関する情報を表示する。
図5(a)で説明したのと同様に
図5(b)においても層の種別の表示を切り替えることが出来る。なお、
図5(b)において532、520、518はSignificanceマップを表示し、Deviationマップを表示していないが、これらは切り替えて表示することが可能である。SignificanceマップとDeviationマップの表示切り替えは、例えば、SplitButtonによって切り替えることが出来る。また、どれか一つのSignificanceマップをDeviationマップに変更することで、その他のSignificanceマップが連動して切り替わるようにしてもよい。
【0058】
図5では片眼を表示する場合の表示例について示した。
図6では両眼を同時に表示する例について示す。
図6では
図5で説明した画像と解析マップをそれぞれ比較可能な状態で表示をする。なお、
図6は、両眼を同時に表示する例について示したがこれに限らず、例えば、同一眼で撮影時刻が異なる画像と解析マップをそれぞれ比較可能な状態で表示する例であってもよい。
【0059】
なお、表示画面において、不図示の出力手段によりレポート画面で表示する画像を印刷可能な形式でレポートとして出力をすることが可能である。
【0060】
<ステップS310>
ステップS310において、不図示の指示取得部は、画像処理システム100による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部700を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム100はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップS302に処理を戻して撮影を続行する。以上によって、画像処理システム100の処理が行われる。
【0061】
以上で述べた構成によれば、視神経乳頭部を中心としたレイアウトでの緑内障診断向けのレポートや、黄斑部を中心としたレイアウトでの黄斑疾患診断向けのレポートを表示することが出来る。そのため、広域で取得した断層画像において、部位に応じた処理を好適に行い、解析結果を効果的に提示することが出来る。
【0062】
(第二の実施形態)
第一の実施形態においては、広範囲な撮影を行い、視神経乳頭部や黄斑部における解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、広範囲な撮影を行った時系列の画像データを表示する例について説明をする。上記第一の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。
【0063】
図7は、本実施形態に係る画像処理装置3007を備える画像処理システム1007の構成を示す図である。
図7に示すように、画像処理装置3007は画像処理部703を備え、画像処理部703は時系列部731を備える。時系列部731は経過観察として比較するためのデータ選択を行う。
【0064】
本実施形態においては、上記第一の実施形態で説明したような撮影を複数回、異なる日に行っており、複数のデータが取得済みであるものとして説明を行う。これに関して、
図8には経過観察として複数の時系列データを並べて表示する例を示している。
図8において、
図8(a)は、広範囲な撮影を行ったデータから領域調整比較部334が視神経乳頭部と黄斑部の領域をそれぞれ抽出したデータを時系列に並べる例である。
図8(b)は、広範囲な撮影を行ったデータと視神経乳頭部や黄斑部を詳細に撮影したデータとを時系列に並べる例である。
図9は、本実施形態における時系列部731による時系列データのデータ選択の流れを示すフローチャートである。
図10は、複数の選択データ候補日からデータ選択を説明するための図である。
【0065】
ここでは
図8~
図10を用いて、時系列データの選択と表示に関する説明を行う。
【0066】
<ステップS901>
ステップS901~ステップS903においては、基準データの他に選択するデータの条件を取得する。データ条件としては、例えば0か1のフラグを取得する。条件が複数ある場合には、フラグは0か1に限る必要はない。
【0067】
ステップS901では、同一日に複数回同じスキャンパターンで撮影がされている時に、同一日のデータを選択可能とするか否かを取得する。同一日のデータ選択不可の場合は1のフラグを取得し、同一日のデータ選択可能の場合は0のフラグを取得する。同一日のデータ選択不可の場合において、同一日に複数のデータが存在する場合には、撮影データとしてNGが設定されておらず、同一日の中で最新のデータを選択するものとする。なお、本実施形態では1のフラグを取得するとして説明をする。
【0068】
<ステップS902>
ステップS902では、広範囲撮影だけではなく、視神経乳頭部、黄斑部データを撮影している時に、比較対象として視神経乳頭部、黄斑部データを含めるか否かを取得する。比較対象として広範囲撮影だけとする場合は1のフラグを取得し、視神経乳頭部、黄斑部を撮影したデータを含める場合には0のフラグを取得する。本実施形態では、ステップS902で1のフラグを取得する場合の表示例を
図8(a)に示し、ステップS902で0のフラグを取得する場合の表示例を
図8(b)に示す。
図8の説明については後述する。
【0069】
<ステップS903>
ステップS903では、基準データの他に選択するデータに関するフラグを取得する。例えば、選択方法として、最新の日付のデータを複数個選択するか、基準データと最新の日付のデータの間を等間隔で選択するかとする。本実施形態では1のフラグを取得するとするが、次のステップS905と
図10を用いてデータ選択の例について説明をする。
【0070】
<ステップS904>
ステップS904では、時系列部731は基準データの選択を行う。基準データとは解析値の変化を計測する際の基準とするデータの事である。基準データは対象とする被検眼のデータにおいて最初に広範囲撮影したデータを選択する。あるいは、不図示の基準データ設定手段を用いて操作者が任意の基準データを選択出来る。なお、ステップS902において0のフラグを取得している場合、広範囲撮影したデータ、視神経乳頭部と黄斑部を撮影したデータの中から被検眼のデータにおいて最初に撮影したデータを基準データとして選択する。
【0071】
<ステップS905>
ステップS905では、基準データと最新データ以外のデータを選択する。
このデータ選択に関して
図10を用いて説明をする。ここでは、選択データ候補日が10日間あるとし、選択データが3日分の場合の説明をする。なお、各日付共に、所望のスキャンパターンで撮影されたデータが存在している。
図10(a)には最新の日付のデータを複数個選択する例(ステップS903において、フラグが1)を示す。
図10(b)には基準データと最新の日付のデータの間を等間隔で選択する例(ステップS903において、フラグが0)を示す。1001の丸印は基準データ、1002の丸印は最新データ、1003の矩形は選択した比較データの例である。
【0072】
図10では、選択データ候補日として10日間のデータを示している。本実施形態では、選択データ候補日として表示する日付リストには広範囲の撮影データ、視神経乳頭部撮影データ、黄斑部撮影データが取得済みの日付を表示している。所望の撮影データが存在しない場合には、選択データ候補日のリストに候補として表示されない。すなわち、ステップS902において、フラグが1の場合、広範囲の撮影データが取得されている日付を選択データ候補日のリストに表示する。ステップS902において、フラグが0の場合、広範囲の撮影データ、あるいは視神経乳頭部、黄斑部を撮影したデータが取得されている日付を選択データ候補日のリストに表示する。
【0073】
図10では、選択データよりも撮影データの方が多い場合の例を示した。選択データよりも撮影データの方が少ない場合には、ステップS903のフラグの設定に関わらず、選択するデータは同じになる。例えば、選択データ候補日が4日間の場合、基準データと最新データを除くと、比較データ数は2日分となる。その場合、選択データが3日分だとすると、どちらの条件だとしても比較データ2日分を選択する。
【0074】
<ステップS906>
ステップS906では、時系列データの表示を行う。時系列データの表示に関して
図8を用いて説明を行う。
【0075】
図8において、
図8(a)は、広範囲な撮影を行ったデータから領域調整比較部334が視神経乳頭部と黄斑部の領域をそれぞれ抽出したデータを時系列に並べる例である。すなわち、ステップS901のフラグ1、ステップS902のフラグ1、ステップS903のフラグ1を取得している場合である。
図8(a)において、810は操作者が任意のデータを選択するためのボタンを示す。時系列データの表示は、
図9のフローに基づき選択された画像を自動的に表示する。しかし操作者は、ボタン810を押下することで、自動的に選択されたデータとは異なるデータを選択することが出来る。811は眼底写真から視神経乳頭部周辺を拡大した画像を示す。なお、眼底写真を撮影していない場合、SLO画像、赤外線画像など、眼底正面を撮影している他の画像から視神経乳頭部周辺を拡大した画像を表示する。
【0076】
また、812は、RNFLの厚みを表す層厚マップを示す。また、813はNFLとGCLとIPLを複合した層の厚みを表す層厚マップを示す。ここで、これらの層厚マップが時系列に複数並べられた表示を時系列データの表示と呼ぶものとする。このとき、層厚マップ812、813それぞれの時系列データにおける過去の層厚マップは、光コヒーレンストモグラフィを用いて視神経乳頭部と黄斑部とを含む領域を第1の時間に撮影して得た3次元データの解析結果である視神経乳頭部に関する第1の解析マップと黄斑部に関する第2の解析マップとの一例である。また、層厚マップ812、813それぞれの時系列データにおける現在(最新)の層厚マップは、光コヒーレンストモグラフィを用いて視神経乳頭部と黄斑部とを含む領域を第1の時間の後である第2の時間に撮影して得た3次元データの解析結果である視神経乳頭部に関する第3の解析マップと黄斑部に関する第4の解析マップとの一例である。このとき、表示制御部305は、視神経乳頭部に関する複数の解析マップ(第1の解析マップと第3の解析マップと)を時系列に並べて第1の表示領域(例えば、層厚マップ812の時系列データが表示される領域)に表示させるように表示部600を制御することができる。また、表示制御部305は、黄斑部に関する複数の解析マップ(第2の解析マップと第4の解析マップと)を時系列に並べて第1の表示領域とは異なる第2の表示領域(例えば、層厚マップ813の時系列データが表示される領域)に表示させるように表示部600を制御することができる。
【0077】
また、814は、視神経乳頭部周囲のサークル位置におけるRNFLの厚みプロファイルを示し、時系列データ分の複数の厚みプロファイルを示す。815はTSNITの厚みの経時変化グラフを示す。グラフの縦軸は厚み、グラフの横軸は撮影日を示している。817と818は視神経乳頭部、RNFL厚に関する計測値を示し、例えば、Disc面積、Rim面積、C/D比、RNFLのTSNITの厚みの平均値等を時系列に表示する。816はNFLとGCLとIPLを複合した層の厚みの経時変化グラフを示す。819はNFLとGCLとIPLを複合した層の厚みの平均値等を時系列に表示する。
【0078】
ここで、812と813には厚みを表す層厚マップを時系列に表示する例を示した。しかし、これに限らず、Significanceマップ、Deviationマップを表示してもよい。さらには、ベースとするマップとの差分を表したDifferenceマップを表示してもよい。これらのマップ画像の切り替えは、1か所を変更すると残りのマップも連動して切り替わるものとする。
【0079】
図8(b)は、広範囲な撮影を行ったデータと視神経乳頭部や黄斑部を詳細に撮影したデータとを時系列に並べる例である。すなわち、ステップS901のフラグ1、ステップS902のフラグ0、ステップS903のフラグ1を取得している場合である。
図8(b)において、822、823が視神経乳頭部や黄斑部を詳細に撮影したデータの例を示しており、残りのデータは広範囲な撮影を行ったデータ(視神経乳頭部と黄斑部とを含む領域を撮影する撮影モードで撮影して得た3次元データの解析結果の一例)の例である。822には、視神経乳頭部を撮影したデータ(視神経乳頭部を個別に撮影する撮影モードで撮影して得た3次元データの解析結果の一例)である事が分かるアイコンを表示している。また、823には、黄斑部を撮影したデータ(黄斑部を個別に撮影する撮影モードで撮影して得た3次元データの解析結果の一例)である事が分かるアイコンを表示している。なお、アイコンである必要はなく、画像の周囲に色を表示する、画像の上部に表示している日付の色を変えるなど、操作者に対して広角撮影とは異なる事が分かる指標を表示するように構成されればよい。すなわち、表示制御部305は、後述する第1の解析マップ、第2の解析マップと、第3の解析マップ及び第4の解析マップとが異なる撮影モードで撮影して得た3次元データの解析結果であることが識別可能なことを示す情報を表示部600に表示させてもよい。また、視神経乳頭部や黄斑部を詳細に撮影したデータ選択に伴い、814から819に表示するグラフや計測値もそこから算出した数値を表示する。
【0080】
すなわち、時系列データのうち視神経乳頭部の詳細な撮影に関するデータは、例えば、光コヒーレンストモグラフィを用いて視神経乳頭部を含む領域を第1の時間に撮影して得た視神経乳頭部に関する3次元データの解析結果である第1の解析マップである。また、時系列データのうち黄斑部の詳細な撮影に関するデータは、例えば、光コヒーレンストモグラフィを用いて黄斑部を含む領域を第1の時間に撮影して得た黄斑部に関する3次元データの解析結果である第2の解析マップである。なお、視神経乳頭部を含む領域を撮影する第1の時間と、黄斑部を含む領域を撮影する第1の時間とは、全く同じ時間である必要はなく、例えば、同じ日付であればよい。また、時系列データのうち広範囲な撮影に関するデータは、例えば、光コヒーレンストモグラフィを用いて視神経乳頭部と黄斑部とを含む領域を第1の時間の後である第2の時間に撮影して得た3次元データの解析結果である視神経乳頭部に関する第3の解析マップと黄斑部に関する第4の解析マップとである。このとき、表示制御部305は、第1の解析マップと第3の解析マップとを時系列に並べて第1の表示領域(例えば、層厚マップ812の時系列データが表示される領域)に表示させるように表示部600を制御することができる。また、表示制御部305は、第2の解析マップと第4の解析マップとを時系列に並べて第1の表示領域とは異なる第2の表示領域(例えば、層厚マップ813の時系列データが表示される領域)に表示させるように表示部600を制御することができる。
【0081】
図8(a)では、広範囲な撮影を行ったデータから視神経乳頭部と黄斑部の領域をそれぞれ抽出したデータを並べる例を示した。広範囲な撮影を行ったデータを時系列に並べて表示する例はこれに限らず、例えば、
図11の様に表示してもよい。
図11には広範囲な撮影を行ったデータから視神経乳頭部と黄斑部の領域をそれぞれ抽出して表示をせずに、広範囲な画像全体を表示する例を示している。1111は眼底写真、1113は網膜全体の層の厚みを表すマップを示す。1116は網膜全体の層の厚みの経時変化グラフを表し、1119は網膜全体の層の厚みの平均値等を時系列に表示する。図では網膜全体の層の厚みを表す層厚マップを示しているが、RNFLの厚みを表す層厚マップ、NFLとGCLとIPLを複合した層の厚みを表す層厚マップ、Significanceマップ、Deviationマップを表示してもよい。
【0082】
以上で述べた構成によれば、広範囲な撮影を行ったデータから視神経乳頭部や黄斑部における解析結果を時系列の画像データとして表示することが出来る。さらには、広範囲な撮影を行ったデータと詳細な撮影を行ったデータとを時系列の画像データとして表示することが出来る。
【0083】
(第三の実施形態)
第一、第二の実施形態においては、広範囲のOCTを撮影して、視神経乳頭部や黄斑部における解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、広範囲のOCTを撮影すると共に、広範囲のOCTアンギオグラフィ(OCTA)を生成して表示する例について、
図12、
図13を参照して本実施形態の処理を示す。なお、本実施形態において、
図1や7のような画像処理装置を備える画像処理システムの構成を示さないが、モーションコントラストデータ生成部を備えているものとする。
【0084】
図12は、本実施形態における本システム全体の動作処理、
図13は、本実施形態における処理を示すフローチャートである。上記第一、第二の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。
【0085】
<ステップS1202>
ステップS1202では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が不図示のスキャン開始を選択すると、断層画像撮影装置200は、駆動制御部202を制御し、ガルバノミラー201を動作させて断層画像のスキャンを行う。
【0086】
本実施形態においては、スキャンパターンはラスタスキャンによる三次元ボリュームで、例えば、13×10mmの範囲を500×250(主走査×副走査)の間隔で撮影を行うとして説明をする。三次元ボリュームにおいては、モーションコントラストを計算するために同一のライン箇所をM回(Mは2以上)繰り返し撮影する。すなわち、Mが2回だとする場合、実際には500×500のデータを撮影し、そこから500×250の三次元モーションコントラストデータを生成する。本実施形態においても、第一の実施形態で説明をしたように三次元データと水平スキャン撮影を行う。水平スキャンは、1枚、あるいは複数枚(例えば10枚程度)撮影をする。本実施形態においては、水平スキャンは複数枚撮影するとして説明をする。
【0087】
なお、断層画像撮影装置200は、加算平均用に同じ場所を撮影するために、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行うことも可能である。さらに、まばたきなどの画像を生成するにあたりアーティファクトとなる動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行う。
【0088】
<ステップS1204>
ステップS1204では、モーションコントラストデータ生成部がモーションコントラストデータの生成を行う。このデータ生成について
図13を用いて説明を行う。MCは三次元のモーションコントラストデータを示し、LMCは三次元のモーションコントラストデータを構成する二次元のモーションコントラストデータを示している。さらに、LMC’は三次元領域の中心を撮影する水平スキャンを示している。本実施形態では、水平スキャンLMC’の生成を例に説明する。
【0089】
モーションコントラストデータ生成部は、まず被検眼の同一範囲で撮影された複数の断層像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラスト生成部は、同一範囲をM’回撮影し、同一箇所に相当する断層像データ同士について、眼底形状等の特徴等を利用して位置合わせを行う。なお、本実施形態による同一とは、完全に一致する箇所の事だけではなく、トラッキングによる眼の位置ずれを補正したとしても生じる数μm~数10μm程度のずれを含む箇所とする。
【0090】
具体的には、M’個の断層像データのうちの1つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層像データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラスト生成部は、求めた位置ずれ量に基づいて、各断層像データを補正する。
【0091】
次にモーションコントラスト生成部は、各断層像データに関する撮影時間が互いに連続する、2つの断層像データ間で式1により脱相関値M(x,z)を求める。
【0092】
【0093】
ここで、A(x,z)は断層像データAの位置(x、z)における輝度、B(x,z)は断層像データBの同一位置(x、z)における輝度を示している。
【0094】
脱相関値M(x,z)は0~1の値となり、2つの輝度の差が大きいほどM(x,z)の値は大きくなる。モーションコントラスト生成部は、同一位置で繰り返し取得したM’が3以上の場合には、同一位置(x、z)において複数の脱相関値M(x,z)を求めることができる。モーションコントラスト生成部は、求めた複数の脱相関値M(x,z)の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数Mが2の場合、最大値演算や平均演算などの統計的な処理は行わず、隣接する二つの断層像AとBの脱相関値M(x,z)が、位置(x、z)におけるモーションコントラストの値となる。
【0095】
式1に示したモーションコントラストの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層像データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラスト生成部は、前処理として、所定の閾値を下回る断層データはノイズとみなして、ゼロに置き換えることができる。これにより、画像生成部332は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。
【0096】
さらに、モーションコントラスト生成部は、三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像(OCTA画像とも言う)を生成する。モーションコントラスト生成部は、三次元のモーションコントラストデータに対して指定された生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影し、OCTA画像を生成する。具体的には、モーションコントラスト生成部が、全体のモーションコントラストデータのうち生成範囲上端と生成範囲下端の間の範囲に対応するモーションコントラストデータに基づいて、その範囲内のモーションコントラストデータを平均値投影(AIP)、あるいは最大値投影(MIP)などの処理を行うことで、モーションコントラスト画像の正面画像であるOCTA画像を生成する。OCTA画像の生成方法は平均値や最大値に限らない。最小値、中央値、分散、標準偏差、総和などの値で生成してもよい。
【0097】
例えば、網膜表層部(Superficial)を生成するOCTA画像として、生成範囲上端をILM/NFL境界線とし、生成範囲下端をGCL/IPLから深度方向に50μm下端の境界線とする。そして、最大値投影法でOCTA画像を生成する。
【0098】
なお、OCTA画像を生成するタイミングとして、何種類かの深度範囲が異なる画像を事前に生成しておいてもよいし、表示部に表示するタイミングで、ユーザーインターフェイスで指定されている生成範囲上端と生成範囲下端に対応する画像を生成するのでもよい。
【0099】
ステップS1205からステップS1208は、第一の実施形態で説明をしたステップS304からステップS307と同等であるため、説明を省略する。
【0100】
<ステップS1209>
ステップS1209では、ステップS308で説明をした解析マップを生成するほかに、2次元データ生成部335は、OCTA画像から解析マップを生成する。解析マップは、ヘシアンフィルタ及びエッジ選択鮮鋭化に基づく血管強調処理を行い、2種類の血管強調画像を用いて2値化処理を行い、整形処理を行うことで血管領域を特定する。血管検出に関して、画像処理を用いた検出例について説明したが、これに限らない。Deep Learningのような機械学習手法を用いて、画像と正解ラベルとを学習しておくことで、入力画像から血管を検出するようにしてもよい。
【0101】
OCTA画像を解析する場合には、血管領域の面積に基づく血管密度(Vessel Area Density;VAD)や血管長に基づく血管密度(Vessel Length Density;VLD)マップを生成する。VADは、計測対象に含まれる血管領域の割合で定義される血管密度(単位:%)である。また、VLDは、単位面積あたりに含まれる血管の長さの総和(単位:mm-1)で定義される血管密度である。
【0102】
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、VADが最もよく用いられている。ただし、VADでは計測値に占める大血管領域の寄与分が大きくなるため、糖尿病網膜症のように毛細血管の病態に注目して計測したい場合には(より毛細血管の閉塞に敏感な指標として)VLDが用いられる。
【0103】
これに限らず、例えば血管構造の複雑さを定量化するFractal Dimensionや、血管径の分布(血管の瘤や狭窄の分布)を表すVessel Diameter Indexを計測してもよい。
【0104】
<ステップS1210>
ステップS1210では、撮影した画像と層厚マップ、解析マップなどを表示部600に表示する。
図14に表示部600に表示する画面の一例を示す。
【0105】
図14では、
図5(b)で示した表示例を基にモーションコントラスト断層画像、モーションコントラスト正面画像(OCTA画像)を表示する例を示す。
【0106】
1401は網膜表層部(Superficial)のOCTA画像、1402は網膜深層部(Deep)のOCTA画像、1403は脈絡毛細管板(Choriocapillaris)のOCTA画像を表示している。図ではOCTA画像の表示を示しているが、OCTA画像だけではなく、不図示のユーザーインターフェイス(例えば、ボタン、右クリックメニュー、タブ切換、チェックボックス、ロングタップ、マルチタップなど)を用いて、血管密度(VADやVLD)を疑似カラーで表したマップをOCTA画像に透過度を設定して重畳表示することが出来る。
【0107】
1430は水平スキャンの断層画像、領域1431は、複数の水平スキャン断層画像から生成したモーションコントラストデータにおいて、閾値以上のデータを断層画像1430に重畳表示する例を示している。モーションコントラストデータの重畳表示に関しては、表示と非表示を切り替えることが出来る。さらに、プロジェクションアーティファクトの抑制処理の実行も指定することが出来る。なお、図示はしないが、水平スキャン1430の代わりに、3次元撮影をした垂直スキャンの断層画像を表示するか、水平スキャン1430と並べて垂直スキャンの断層画像を表示してもよい。その際に、垂直スキャンにおいてもモーションコントラストデータを重畳して表示することが望ましい。
【0108】
なお、
図5(b)で示した表示例と比較して、NFLとGCLとIPLを複合した層の厚み、Significanceマップ、Deviationマップを表示していないが、網膜厚全体の厚みを表すマップ512、網膜厚全体の厚みに対するSignificanceマップの代わりに、切り替えて表示することが可能である。網膜厚全体の厚み、NFLとGCLとIPLを複合した層の厚みとを切り替えた場合、それに応じて、計測値を表示するグリッドも513から526に切り替えて表示する。
【0109】
なお、図示はしないが、
図8や11で例示したように層厚マップ、Significanceマップ、Deviationマップの他に、OCTA画像や血管密度マップ画像を時系列で表示することが出来る。例えば、
図11を用いて説明をすると、網膜全体の層の厚みを表す層厚マップ1113の代わりに、OCTA画像1401や、そのOCTA画像に血管密度マップを重畳表示して表示してもよい。
【0110】
以上で述べた構成によれば、広範囲のOCTを撮影すると共に、広範囲のOCTアンギオグラフィを生成して表示することが出来、部位に応じた処理を好適に行い、解析結果を効果的に提示することが出来る。
【0111】
(第四の実施形態)
第一から第三の実施形態においては、広範囲のOCTを撮影して、視神経乳頭部や黄斑部における解析結果、OCTAの解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、高画質化手段を用いて、広範囲のOCT画像、OCTA画像、眼底画像の少なくとも一つに対して高画質化処理を行う例について説明をする。なお、高画質化処理とは、ノイズ除去、超解像、コントラスト調整処理の事を示す。
【0112】
図15は、本実施形態に係る画像処理装置3015を備える画像処理システム1015の構成を示す図である。
図15に示すように、画像処理装置3015は画像処理部1503を備え、画像処理部1503は高画質化部1531を備える。高画質化部1531は、機械学習モデルを用いて、画像の高画質化を行う。
【0113】
本実施形態においては、ノイズ除去による高画質化について後述する。
図16に本実施形態における機械学習モデルの構成の一例を示す。
図16で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、上記構成に含まれる層の種類としては、
図16に示すように、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、合成(Merger)層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Max Pooling処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力された画像Im1610を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力された画像Im1610を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Im1620に成形される。
図16のIm1610とIm1620は断層画像を示しているが、モーションコントラスト断層画像、モーションコントラスト正面画像(OCTA画像)、Enface画像やSLO画像、眼底写真のような網膜正面画像も可能である。撮影範囲は網膜の後眼部に限らず、前眼部でもよい。
【0114】
なお、図示はしないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしてもよい。
【0115】
本実施形態の高画質化エンジンは、撮影装置200や他の装置から得た画像に第一のノイズ成分を付加した低画質画像を入力し、出力データとしては、撮影装置200や他の装置から得た画像に第二のノイズ成分を付加した画像を高画質画像としてトレーニングしている。すなわち、本実施形態の学習時の教師画像は、低画質画像と高画質画像とが共通の画像を用いており、それぞれの画像におけるノイズ成分が異なるものとなる。画像としては同じものを用いているため、ペア画像とする際の位置合わせは不要である。
【0116】
ここで、不図示の学習部は、誤差検出部と、更新部と、を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
【0117】
このとき、GPUはデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはGPUで処理を行うことが有効である。そこで、本実施形態では、学習部による処理にはCPUに加えてGPUを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習部の処理はCPUまたはGPUのみにより演算が行われてもよい。また、高画質化部1531も学習部と同様にGPUを用いてもよい。
【0118】
また、ノイズ成分としては、ガウシアンノイズ、対象画像特有のノイズをモデル化したもの等をノイズとして付加する。ただし、第一と第二のノイズはそれぞれ異なるノイズとする。異なるノイズとは、ノイズを付加する空間的な場所(画素の位置)が異なる、あるいはノイズの値が異なるなどを意味する。対象画像特有のノイズとしては、例えばOCTの場合、模型眼や被検眼を置かない状態で撮影したデータを基にノイズを推定し、それらをノイズモデルとして使用することが出来る。OCTAの場合では、無血管領域(FAZ)の範囲に現れるノイズや、血液の流れを模式的に再現した模型眼を撮影した画像に現れるノイズを基に、ノイズモデルとして使用することが出来る。
【0119】
ここで、ガウシアンノイズの場合は、ノイズの大きさとして標準偏差、あるいは分散値を定義し、それらの数値に基づいて画像にランダムにノイズを与える。ランダムノイズを与えた結果として、全体としての平均値は変わらないようにしてもよい。すなわち、1画像の各画素に付加されるノイズの平均値は0となるようにする。ここで、平均値は0となるようにする必要はなく、入力データと出力データとに対して互いに異なるパターンのノイズが付加できればよい。
【0120】
なお、本実施形態では、撮影装置200や他の装置から入手した低画質画像に第一のノイズ成分と第一のノイズ成分とは異なる第二のノイズ成分を付加した画像を用いて高画質画像を生成したが、これらの処理を行う構成はこれに限られない。例えば、ノイズを付加する画像は、位置合わせをして加算平均処理(重ね合わせ)をした高画質画像に対して第一および第二のノイズ成分を付加するようにしてもよい。すなわち、重ね合わせ処理画像に第一のノイズ成分を付加した画像を低画質画像、重ね合わせ処理画像に第二のノイズ成分を付加した画像を高画質画像として学習する構成としてもよい。さらには、本実施形態では、第一と第二のノイズ成分を用いて学習する例について説明したがこれに限らない。例えば、低画質画像とする方にのみ第一のノイズ成分を付加し、高画質画像とする方にはノイズ成分を付加せずに学習を行う構成としてもよい。
【0121】
高画質化処理に関して、超解像処理とする場合、低解像度画像と高解像度画像とをペア画像として学習を行えばよい。また、コントラスト調整処理とする場合、低コントラスト画像と高コントラスト画像とをペア画像として学習する。正解とする高コントラスト画像は、画面全体で一律の調整を行う必要はなく、局所的、領域毎に適切なコントラスト調整を行った画像として学習をしておくことが可能である。これらの高画質化処理は、一つの画面において一つだけしか実行できない訳ではない。それぞれ別々に学習をしたモデルを複数持つことで、任意の高画質化処理を実行することが可能であり、一種類あるいは複数種類の高画質化処理を実施できる。高画質化処理の実施に関しては、レポート画面への遷移に伴い自動的に実行するようにしてもよいし、操作者が実行する高画質化処理を選択出来るようにしてもよい。なお、複数の高画質化処理を実行する場合、どの高画質化処理を実行しているか操作者に対して表示(ボタン等の色変更、メッセージ表示、アイコン表示、チェックボックス表示など)することが望ましい。
【0122】
レポート画面における画像表示において、操作者は不図示のユーザーインターフェイス(例えば、ボタン、右クリックメニュー、タブ切換、チェックボックス、ロングタップ、マルチタップなど)を用いて本実施形態で示した高画質化処理の実施・非実施を選択出来る。例えば、断層画像、モーションコントラスト断層画像、モーションコントラスト正面画像(OCTA)に関しての高画質化処理を行う場合について、
図14を用いて説明をする。
図14において、不図示の高画質化ボタンを押下することにより、断層画像1430、モーションコントラスト断層画像1431、OCTA画像1401~1403の画像に対して高画質化処理を実行し、高画質化した画像を表示する。OCTAの血管密度マップは高画質化した画像に対してなお、高画質化処理の実行に関して、必ずしも操作者が選択する必要はなく、操作者が検査データを選択してレポート画面に遷移したタイミングで自動的に実行するようにしてもよい。
【0123】
なお、図示はしないが、実施形態1から3で説明をしたように時系列画面においても高画質化処理を実行することが出来る。例えば、実施形態3で説明をしたように時系列の眼底写真、OCT画像、あるいはOCTA画像のいずれかに対して高画質化処理を実行することで、時系列画像を一括して高画質化な画像にすることが出来る。
【0124】
以上で述べた構成によれば、広範囲のOCTを撮影すると共に、広範囲のOCTアンギオグラフィを生成して表示することが出来、高画質化した画像ならびに、解析結果を効果的に提示することが出来る。
【0125】
(第五の実施形態)
第一から第四の実施形態においては、広範囲のOCTを撮影して、視神経乳頭部や黄斑部における解析結果、OCTAの解析結果を容易に把握可能とする表示形態について示した。本実施形態においては、視神経乳頭部や黄斑部をそれぞれ別々に詳細に撮影したデータを一つの画面に表示する例を示す。
【0126】
ここでは、
図5(a)を例に説明を行う。本実施形態においては視神経乳頭部や黄斑部をそれぞれ別々に詳細に撮影したデータを
図5(a)で示したように一つの画面にレイアウトする。例えば、
図5(a)において、511、518、519、522、523、524、525の視神経乳頭部に関する画像と解析データは、視神経乳頭部を撮影したデータから情報を取得して、それ以外の黄斑部に関する画像と解析データは、黄斑部を撮影したデータから情報を取得する。なお、別々に撮影したデータを一つの画面に表示する際には、不図示のデータ選択ボタンを押下することで、視神経乳頭部撮影データ、黄斑部撮影データを操作者が選択して表示してもよい。あるいは、操作者が選択した日において、同一日に同一眼の視神経乳頭部と黄斑部を撮影したデータがあれば、不図示のデータ選択部が自動的にデータを選択して表示するようにしてもよい。
【0127】
以上で述べた構成によれば、視神経乳頭部や黄斑部をそれぞれ別々に詳細に撮影したデータを一つの画面で確認することができるため、データ表示の切り替えなどが無く、解析結果を効果的に提示することができる。
【0128】
(変形例1)
本実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて解析を行ってもよい。その場合、撮影に関する処理をスキップし、その代わりに撮影済みの画像を取得する。これにより、撮影時に解析処理をしなくても、必要な時にレポート表示を実行することが出来る。そのため、撮影時には撮影だけに集中することが出来る。
【0129】
(変形例2)
本実施形態においては、ノーマティブデータとして視神経乳頭部周囲のデータ、黄斑部周囲のデータはそれぞれ別々に記憶しているものとして説明をしたがこれに限らない。例えば、ノーマティブデータとして視神経乳頭部と黄斑部を含む広範囲スキャンのデータを記憶してあれば、そのデータと比較を行えばよい。
【0130】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述した様々な実施形態及び変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
【0131】
このとき、プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。