IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

特開2023-89158画像処理方法、画像処理プログラム、及び画像処理装置
<>
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図1
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図2
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図3
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図4
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図5
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図6
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図7
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図8
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図9
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図10
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図11
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図12
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図13
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図14
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図15
  • 特開-画像処理方法、画像処理プログラム、及び画像処理装置 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023089158
(43)【公開日】2023-06-27
(54)【発明の名称】画像処理方法、画像処理プログラム、及び画像処理装置
(51)【国際特許分類】
   A61B 3/10 20060101AFI20230620BHJP
【FI】
A61B3/10 100
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023065918
(22)【出願日】2023-04-13
(62)【分割の表示】P 2020562294の分割
【原出願日】2018-12-28
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
(72)【発明者】
【氏名】田邉 泰士
(57)【要約】      (修正有)
【課題】眼底画像から無灌流領域を特定する画像処理方法を提供する。
【解決手段】画像処理方法は、被検眼の眼底画像を取得するステップと、前記眼底画像のうち、眼底の後極部である後極領域から無灌流領域候補となる候補領域を抽出するステップと、前記被検眼の断層画像を取得するステップと、前記断層画像に基づいて、前記眼底画像撮影時の撮影光が届かない前記眼底画像上の所定領域を抽出するステップと、前記候補領域から、前記所定領域を除外して、前記眼底画像から無灌流領域を特定するステップと、を含む。
【選択図】図7
【特許請求の範囲】
【請求項1】
被検眼の眼底画像を取得するステップと、
前記眼底画像のうち、眼底の後極部である後極領域から無灌流領域候補となる候補領域を抽出するステップと、
前記被検眼の断層画像を取得するステップと、
前記断層画像に基づいて、前記眼底画像撮影時の撮影光が届かない前記眼底画像上の所定領域を抽出するステップと、
前記候補領域から、前記所定領域を除外して、前記眼底画像から無灌流領域を特定するステップと、
を含む画像処理方法。
【請求項2】
前記候補領域を抽出するステップでは、
前記眼底画像から抽出された前記眼底上の血管に沿う領域、且つ、所定の閾値以下の領域を、前記候補領域として抽出する、請求項1に記載の画像処理方法。
【請求項3】
前記候補領域を抽出するステップでは、
前記眼底画像から抽出された複数の前記候補領域の明度、彩度、色相の少なくとも1つから求まる画素値の平均を前記閾値として設定する、請求項2に記載の画像処理方法。
【請求項4】
前記眼底画像のうち、前記後極部周辺の周辺部である周辺領域に対して、前記候補領域を抽出する処理とは異なる処理を行い周辺無灌流領域を抽出するステップ、を含む、請求項1から請求項3の何れか1項に記載の画像処理方法。
【請求項5】
前記周辺無灌流領域を抽出するステップでは、
前記眼底画像から抽出された前記眼底上の血管から所定距離以上離れた領域を、前記周辺無灌流領域として抽出する、請求項4に記載の画像処理方法。
【請求項6】
前記眼底画像は、蛍光撮影された眼底画像、あるいは、光干渉断層計により取得されたOCT画像である、請求項1から請求項5の何れか1項に記載の画像処理方法。
【請求項7】
コンピュータに、請求項1から請求項6の何れか1項に記載の画像処理方法を実行させる画像処理プログラム。
【請求項8】
被検眼の眼底画像を取得する眼底画像取得部と、
前記被検眼の断層画像を取得する断層画像取得部と、
前記眼底画像のうち、眼底の後極部である後極領域から無灌流領域候補となる候補領域を抽出する第1抽出部と、
前記断層画像に基づいて、前記眼底画像撮影時の撮影光が届かない前記眼底画像上の所定領域を抽出する第2抽出部と、
前記候補領域から、前記所定領域を除外して、前記眼底画像から無灌流領域を特定する特定部と、
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理方法、画像処理プログラム、及び画像処理装置に関する。
【背景技術】
【0002】
特許文献1には、眼底の断層画像を解析し異常が生じている領域を抽出することが開示されている。眼底画像を解析することにより異常を確認できることが望まれている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2015/0366452号明細書
【発明の概要】
【0004】
本開示の技術の第1の態様は、
被検眼の眼底画像を取得するステップと、
前記眼底画像のうち、眼底の後極部である後極領域から無灌流領域候補となる候補領域を抽出するステップと、
前記被検眼の断層画像を取得するステップと、
前記断層画像に基づいて、前記眼底画像撮影時の撮影光が届かない前記眼底画像上の所定領域を抽出するステップと、
前記候補領域から、前記所定領域を除外して、前記眼底画像から無灌流領域を特定するステップと、
を含む画像処理方法である。
【0005】
本開示の技術の第2の態様は、
コンピュータに、第1の態様の画像処理方法を実行させる画像処理プログラムである。
【0006】
本開示の技術の第3の態様は、
被検眼の眼底画像を取得する眼底画像取得部と、
前記被検眼の断層画像を取得する断層画像取得部と、
前記眼底画像のうち、眼底の後極部である後極領域から無灌流領域候補となる候補領域を抽出する第1抽出部と、
前記断層画像に基づいて、前記眼底画像撮影時の撮影光が届かない前記眼底画像上の所定領域を抽出する第2抽出部と、
前記候補領域から、前記所定領域を除外して、前記眼底画像から無灌流領域を特定する特定部と、
を備えた画像処理装置である。
【図面の簡単な説明】
【0007】
図1】実施形態に係る眼科システムのブロック図である。
図2】実施形態に係る眼科装置の全体構成を示す概略構成図である。
図3】実施形態に係る管理サーバの電気系の構成のブロック図である。
図4】実施形態に係る画像ビューワの電気系の構成のブロック図である。
図5】実施形態に係る管理サーバのCPUの機能のブロック図である。
図6】実施形態に係る画像ビューワのCPUの機能のブロック図である。
図7】実施形態に係る管理サーバによる画像処理プログラムのフローチャートである。
図8】実施形態に係る眼底画像における眼底領域を示す図である。
図9】実施形態に係る眼底後極部の無灌流領域を検出する処理の流れを示すフローチャートである。
図10】実施形態に係る眼底後極部の無灌流領域を検出する処理の説明図であり、(A)は1次候補を示し、(B)は除外される1次候補を示し(C)は特定された眼底後極部の無灌流領域を示す。
図11】実施形態に係る眼底周辺の無灌流領域を検出する処理の流れを示すフローチャートである。
図12】実施形態に係る画像ビューワのディスプレイに表示する表示画面を示す図である。
図13】実施形態に係る画像ビューワのディスプレイに表示する表示画面を示す図である。
図14】第1の変形例に係る処理の流れを示すフローチャートである。
図15】第2の変形例に係る処理の流れを示すフローチャートである。
図16】第8の変形例に係る処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して本開示の技術の実施の形態を詳細に説明する。
【0009】
図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、レーザ治療装置120と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、を備えている。
【0010】
眼科装置110は、眼底画像と断層画像とを取得する。レーザ治療装置120は、患者の被検眼12の病変部の治療を支援する装置である。レーザ治療装置120には、例えば、患者の眼底の病変部における病気の進行を抑えるために、レーザ光を照射して照射部位を光凝固させるレーザ光凝固装置等の治療器が挙げられる。レーザ治療装置120は、被検眼12に処置した治療に関する情報を管理サーバ140に送信する。例えば、被検眼12の網膜の特定部位を治療した場合、特定部位の位置、治療時間及び治療方法を処置情報として管理サーバ140に送信する。
【0011】
管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像を、患者のIDに対応して記憶する。また、管理サーバ140は、指定された眼底画像から無灌流領域(NPA(Non Perfusion Area))を検出する。画像ビューワ150は、管理サーバ140により眼底画像の解析結果、例えば推定された無灌流領域(NPA)、の画像を表示する。
【0012】
ここで、無灌流領域(NPA)は、眼底において、網膜毛細血管床の閉塞などにより、血液が流れていない又はほとんど流れていない領域である。また、灌流障害により網膜虚血を起こしている領域でもある。
【0013】
眼科装置110、レーザ治療装置120、管理サーバ140、画像ビューワ150は、ネットワーク160を介して、相互に接続されている。
【0014】
上記のように、図1では、眼科システム100がレーザ治療装置120を備えているが、本開示の技術はこれに限定されない。例えば、眼科システム100は、レーザ治療装置120を、患者の視野を測定する視野測定器や被検眼12の眼軸方向の長さである眼軸長を測定する眼軸長測定器などの測定器に代替してもよい。また、当該測定器をさらに追加し、ネットワーク130に接続してもよい。
【0015】
管理サーバ140は、本開示の技術の「画像処理装置」の一例である。画像ビューワ150は、本開示の技術の「画像表示装置」の一例である。
【0016】
なお、以降では、説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
【0017】
次に、図2を参照して、眼科装置110の構成を説明する。
【0018】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0019】
眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18およびOCTユニット20を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
【0020】
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
【0021】
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
【0022】
また、制御装置16は、I/Oポート16Dに接続された画像処理装置17を備えている。画像処理装置17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、制御装置16は、図示しない通信インターフェースを介してネットワーク130に接続される。
【0023】
上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの表示制御部204の制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、表示制御部204が出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
【0024】
撮影装置14は、制御装置16の撮影制御部202の制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、および広角光学系30を含む。
【0025】
第1光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、およびY方向に2次元走査する。第1光学スキャナ22および第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
【0026】
広角光学系30は、共通光学系28を有する対物光学系(図2では不図示)、およびSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
【0027】
なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部(眼底後極部)だけでなく眼底周辺部の網膜を撮影することが可能となる。
【0028】
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0029】
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底Fへ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
【0030】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。
【0031】
SLOシステムは、図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
【0032】
SLOユニット18は、B(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射又は透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
【0033】
SLOユニット18は、R光およびG光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2に示す例では、G光の光源42、R光の光源44、およびIR光の光源46の3つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、更に、B光(青色光)の光源や白色光の光源を更に備え、G光、R光、およびB光を発するモードや、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
【0034】
SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
【0035】
SLOユニット18は、被検眼12の後眼部(眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0036】
広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置17は、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
【0037】
UWF-SLO画像には、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)と、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
【0038】
また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、およびB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。
【0039】
UWF-SLO画像には、造影剤により蛍光撮影されたUWF-SLO蛍光画像もある。
【0040】
B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像、およびUWF-SLO蛍光画像の各画像データは、図示しない通信IFを介して眼科装置110から管理サーバ140へ送付される。
【0041】
OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
【0042】
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
【0043】
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
【0044】
第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。画像処理制御部206の制御下で動作する画像処理装置17は、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
【0045】
なお、OCTユニット20は、被検眼12の断層画像であるOCT画像のOCTデータを得ることができる。OCT画像の一例として、1次元OCT画像は、眼科装置110によって所謂Aスキャンが行われて得られたAスキャン画像であり、2次元OCT画像は、眼科装置110によって所謂Bスキャンが行われて得られたBスキャン画像であり、3次元OCT画像は、眼科装置110によって所謂Cスキャンが行われて得られたCスキャン画像である。
【0046】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT眼底画像をUWF-OCT画像と称する。
【0047】
UWF-OCT画像の画像データは、図示しない通信IFを介して眼科装置110から管理サーバ140へ送付され、記憶装置254に記憶される。
【0048】
なお、本実施の形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
【0049】
次に、図3を参照して、管理サーバ140の電気系の構成を説明する。図3に示すように、管理サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、CPU262、RAM266、ROM264、入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、管理サーバ140は、眼科装置110、レーザ治療装置120、および画像ビューワ150と通信することができる。
【0050】
管理サーバ140は、眼科装置110およびレーザ治療装置120から受信した各データを、記憶装置254に記憶する。
【0051】
次に、図4を参照して、画像ビューワ150の電気系の構成を説明する。図4に示すように、画像ビューワ150は、コンピュータ本体152を備えている。コンピュータ本体152は、CPU162、RAM166、ROM164、入出力(I/O)ポート168を有する。入出力(I/O)ポート168には、記憶装置154、ディスプレイ156、マウス155M、キーボード155K、および通信インターフェース(I/F)158が接続されている。記憶装置154は、例えば、不揮発メモリで構成される。入出力(I/O)ポート168は、通信インターフェース(I/F)158を介して、ネットワーク130に接続されている。従って、画像ビューワ150は、眼科装置110および管理サーバ140と通信することができる。
【0052】
次に、図5を参照して、管理サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。図5に示すように、画像処理プログラムは、表示制御機能、画像処理制御機能、および処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、図5に示すように、表示制御部204、画像処理制御部206、および処理部208として機能する。
【0053】
次に、図6を参照して、画像ビューワ150のCPU162が画像処理プログラムを実行することで実現される各種機能について説明する。図6に示すように、画像処理プログラムは、表示制御機能、画像処理制御機能、および処理機能を備えている。CPU162がこの各機能を有する画像処理プログラムを実行することで、CPU162は、図6に示すように、表示制御部104、画像処理制御部106、および処理部108として機能する。
【0054】
画像処理制御部206は、本開示の技術の「眼底画像取得部」、「第1無灌流領域抽出部」、および「第2無灌流領域抽出部」の一例である。
画像処理制御部106は、本開示の技術の「取得部」の一例であり、ディスプレイ156は、本開示の技術の「表示部」の一例である。
【0055】
次に、図7を参照して、管理サーバ140による画像処理を詳細に説明する。管理サーバ140のCPU262が画像処理プログラムを実行することで、図7のフローチャートに示された画像処理が実現される。
図7に示す画像処理は、本開示の技術の画像処理方法の一例である。また、図7に示す画像処理により得られた画像を表示する表示処理は、本開示の技術の画像表示方法の一例である。
【0056】
なお、ここでは、UWF-SLO画像処理、及びUWF-OCT画像処理が実行され、その実行処理により得られた各データ(例えば、UWF-SLO画像の画像データ、及びUWF-OCT画像の画像データ)が、記憶装置254に保存されているものとする。
【0057】
本実施形態では、NPAを検出するためのUWF-SLO画像の一例として、フルオレセイン蛍光眼底撮影(fluorescein angiography:FA)により得られたUWF-SLO画像(以下、FA画像という。)を用いた場合を説明する。FA画像では網膜の毛細血管の解像度が高く撮影されているので無潅流領域を検出するのに好適である。このFA画像の画像データは、図示しない通信IFを介して眼科装置110から管理サーバ140へ送付され、記憶装置254に記憶される。
なお、造影剤にインドシアニングリーン(indocyanine green:ICG)を用いた蛍光眼底造影(indocyanine green angio-graphy:IA)により撮影されたUWF-SLO画像(以下、IA画像という)を用いることもできる。FA画像やIA画像では、眼底の血管は白く写る。
【0058】
まず、図7に示すステップS102で、管理サーバ140で機能される画像処理制御部206は、FA画像を、記憶装置254から取得する。FA画像は眼科装置110で撮影され記憶装置254に記憶されている。
【0059】
次のステップS104で、画像処理制御部206は、取得したFA画像から、被検眼12の眼底領域を検出する。このステップS104では、患者のまつ毛及び瞼等の被検眼12の周辺部位、及び眼科装置110を構成するエレメントが映りこんだ領域を除去し、除去後の領域を眼底領域として抽出することで、被検眼12の眼底領域を検出する。この眼底領域を抽出する処理は、二値化及びモルフォロジ処理等の公知の処理を組み合わせた画像処理を実行することで、実現可能である。図8は、ステップ104の処理がなされた後の眼底領域が抽出された画像を示している。図8の破線は眼底領域の辺縁を模式的に示す線であり、ステップS104の処理を行った画像には破線は無い。
【0060】
次に、画像処理制御部206は、検出された眼底領域から、無灌流領域(NPA)を検出する。
【0061】
ここで、本実施形態では、眼底後極部とその周辺である眼底周辺部とは網膜血管の分布などの相違により、被検眼12の眼底領域の部位に応じた画像処理を実行することが好ましい。そこで、本実施形態では、眼底領域における無灌流領域(NPA)を、眼底後極部の無潅流領域(以下、後極部NPAという。)と、眼底周辺の無潅流領域(以下、UWF-NPAという。)とに分類して可視化可能な画像処理を行う。後極部NPAは網膜血管が密集した眼底領域が探索対象であり、UWF-NPAは眼底周辺領域が探索対象である。そのため、本実施例では、後極部NPAの検出に最適な処理(後述する図9、あるいは図16の処理)とUWF-NPAの検出に最適な処理(後述する図11の処理)をFA画像に対して実行する。
【0062】
具体的には、画像処理制御部206は、ステップS106で、被検眼12の眼底領域における後極部NPAを検出し、ステップS108で、検出された後極部NPAの中から誤検出された後極部NPAを識別する後極部NPAの画像処理を行う。これと共に、画像処理制御部206は、ステップS110で、被検眼12の眼底領域におけるUWF-NPAを検出するUWF-NPAの画像処理を行う。ここで、誤検出された後極部NPAとは、後極部NPAとして検出されたものの、後極部NPAである可能性が低い領域をいう。
【0063】
被検眼12の眼底後極部は、本開示の技術の「第1領域」の一例であり、後極部NPAは、本開示の技術の「第1無灌流領域」の一例である。また、被検眼12の眼底後極部の周辺である眼底周辺は、本開示の技術の「第2領域」の一例であり、UWF-NPAは、本開示の技術の「第2無灌流領域」の一例である。また、後極部NPAである可能性が低い領域である誤検出された後極部NPAは、本開示の技術の「第3無灌流領域」の一例である。
【0064】
なお、ステップS106及びステップS108と、ステップS110とは、何れを先に実行してもよく、同時でもよい。画像処理制御部206は、ステップS106及びステップS108と、ステップS110との処理終了後、ステップS112で、表示画面を生成する画像処理を実行する。詳細には後述するが、生成される表示画面は、FA画像において、後極部NPAの位置を簡単に認識できるように後極部NPAの輪郭と、UWF-NPAの位置を簡単に認識できるようにUWF-NPAの輪郭と、をFA画像上に重畳して表示されるようにした表示画像である。ステップ114で、処理部208は、生成された表示画面の表示画像を画像ビューワ150へ送信する。
【0065】
次に、図9及び図10を参照して、後極部NPAの画像処理について説明する。
図9に示すように、ステップS304で、画像処理制御部206は、取得されたFA画像に対し、血管部分を強調する強調画像処理を行う。これは、毛細血管を含む血管を際立たせる処理であり、後極部NPAを精度よく推定するための処理である。
【0066】
強調画像処理は、ヒストグラム平均化または適応ヒストグラム均等化(CLAHE(Contrast Limited Adaptive Histogram Equalization))のような画像ヒストグラムを用いた強調処理の他、階調変換に基づくコントラスト変換処理、アンシャープマスクなど特定周波数帯域の周波数強調処理、ウィーナーフィルターなどのデコンボリューション処理、血管部の形状を強調するモルフォロジ処理などの種々の方法を用いることができるが、ヒストグラム平均化または適応ヒストグラム均等化であることが好ましい。強調画像処理により、血管が強調される。
【0067】
次に、画像処理制御部206は、血管が強調されたFA画像から複数の後極部NPAを推定する。具体的には、ステップS306で、画像処理制御部206は、後極部NPAの1次候補を選定する。より具体的には、血管が強調されたFA画像から、第1の暗さ以下の複数の画素を抽出し、当該第1の暗さ以下の暗い画素が連続する所定面積以上の面積を有する単数または複数の領域を、後極部NPAの1次候補として、選定する。
【0068】
ここで、第1の暗さ以下の暗い画素とは、当該画素における画素値が第1の所定値以下の画素をいう。なお、画素値としては、例えば、明度を表す輝度値を用いてもよいが、輝度値に代えてまたは輝度値と共に、彩度及び色相の少なくとも一方を表す値を用いてもよい。
【0069】
次に、画像処理制御部206は、ステップS308、ステップS310の画像処理を実行する。
【0070】
ステップS308で、画像処理制御部206は、後極部NPAの単数又は複数の1次候補から、各候補の領域内の画素値の平均値に基づいて、1次候補から暗い候補のみを選定する。具体的には、後極部NPAの単数または複数の1次候補の各々の領域内の画素値の平均値を計算し、計算した平均値が、第2の所定値よりも小さい単数または複数の候補を、暗領域として、選定する。第2の所定値は、第1の所定値よりも所定値小さい値である。つまり、第1の暗さの1次候補のなかから、第1の暗さよりも暗い第2の暗さ以下の暗い暗領域である候補(所定の平均画素値以下の候補)のみを抽出し、第1の2次候補とする。
【0071】
ステップS310で、画像処理制御部206は、後極部NPAの複数の1次候補から血管に沿う領域のみ絞り込む。具体的には、まず、画像処理制御部206は、(1)血管を抽出する。血管は、画素値に基づくモルフォロジ処理や2値化などの方法で、抽出される。なお、抽出した領域を血管領域という。次に、画像処理制御部206は、(2)当該血管領域と、後極部NPAの単数または複数の1次候補または候補群の各々の領域群の周縁とのなす距離を距離変換などの方法で算出し、当該距離が一定の範囲にある領域を選定する。
ここで、一定の範囲にあるとは、第1の所定の距離よりも大きいと共に、第1の所定の距離よりも大きい第2の所定の距離よりも小さい第1の範囲である(すなわち走行する血管に沿う場合)。
【0072】
このようにステップS310では、画像処理制御部206は、1次候補の中から、血管との距離が第1の距離以下である領域を、第2の2次候補として抽出する。なお、第2の2次候補としては、血管の終端から一定の範囲にある領域を第2の2次候補としてもよい。
【0073】
ステップS308とステップS310とは、何れを先に実行してもよく、同時でもよい。画像処理制御部206は、ステップS308とステップS310との処理が終了後、ステップS312に示す画像処理を実行する。
【0074】
ステップS312で、画像処理制御部206は、第1の2次候補と第2の2次候補とを統合する統合処理を行う。具体的には、第1の2次候補(複数の暗領域)であると共に、第2の2次候補(血管に沿う複数の領域)でもある領域を抽出し、後極部NPAとして特定する。
【0075】
図10は、ステップS306からステップS312の処理結果を簡略化して表現した図であり、FA画像の一部分を拡大表示した模式図である。図10(A)には、血管400と共に、ステップS306の処理後の後極部NPAの4つの1次候補406、408、410、412が示されている。説明の都合上、図10では血管400を黒線で表示している。図10(B)には、ステップS308及びステップS310の処理で推定される1次候補の一例として1次候補406A、408A、410Aが実線で示されている。また、図10(B)には、除外される1次候補の一例として1次候補412が点線で示されている。図10(C)には、1次候補の中から、第1の2次候補と第2の2次候補とに共通する2次候補に絞り込まれた推定候補406NPA、408NPA、410NPAが、特定された後極部NPAとして示されている。
【0076】
次に、図9に示すステップS314で、画像処理制御部206は、FA画像において、後極部NPAの輪郭を抽出する。後極部NPAの輪郭は、FA画像上に後極部NPAの位置を簡単に認識できるように、FA画像上に重畳して表示するための画像である。
以上のようにして、後極部NPAに関する画像処理が行われる。
【0077】
次に、図7に示すステップS108の後極部NPAに関する誤検出の識別処理を説明する。
【0078】
上述のようにして後極部NPAとして検出された領域(ステップS106)は、後極部NPAではない領域(以下、非NPAという。)である場合がある。誤検出される非NPAの一例には、光凝固斑、軟性白斑、白内障による撮影光が網膜に届かないことによる班などの領域が挙げられる。
【0079】
そこで、画像処理制御部206は、図7のステップS108で、ステップS106において検出された後極部NPAについて誤検出された後極部NPAであるかを識別する。具体的には、次の判別方法によって、検出された後極部NPAについて誤検出された後極部NPAであるかを識別する。
【0080】
第1の判別方法は、既知の光凝固斑の画像データを用いて、光凝固斑を検出する画像フィルタによる画像処理を行い、後極部NPAと、光凝固斑とを判別し、光凝固斑と判別された場合は光凝固斑と判別された後極部NPAを、非NPAと識別する。なお、第1の判別方法で用いる画像フィルタは、光凝固斑の検出に限定されるものではなく、軟性白斑、及び白内障による撮影光が網膜に届かないことによる班などの領域を検出する画像フィルタを用いることが可能である。
【0081】
第2の判別方法は、既知の光凝固斑の画像データを機械学習させた人工知能を用いて、後極部NPAと光凝固斑とを判別し、光凝固斑と判別された場合は光凝固斑と判別された後極部NPAを、非NPAと識別する。なお、第2の判別方法では、光凝固斑の画像データを機械学習させることに限定されるものではなく、軟性白斑、及び白内障による撮影光が網膜に届かないことによる班などの領域を示す画像データを機械学習させて用いてもよい。
【0082】
第3の判別方法は、他の画像機器から非NPAを示すデータを取得し、取得したデータを用いて、検出された後極部NPAから非NPAを識別する。
例えば、軟性白斑では、OCTのBスキャン画像で特定された軟性白斑の位置を特定する。特定された位置の後極部NPAは軟性白斑として除外する。また、光凝固班では、レーザ治療装置120によるレーザ照射の位置を特定する。特定されたレーザ照射位置の後極部NPAは光凝固班として除外する。これらの第3の判別方法で用いる他の画像機器から非NPAを示すデータは、非NPAを特定するためのデータの一例であり、これに限定されるものではなく、非NPAを特定するためのデータであればどのようなデータであってもよい。
【0083】
このように、検出された後極部NPAについて誤検出された後極部NPAであるかを識別することで、後極部NPAの検出精度を向上させることが可能になる。
さらに、誤検出された後極部NPAを排除することにより、光凝固治療が必要な無潅流領域である後極部NPAのみを抽出することが可能となる。
【0084】
次に、図11を参照して、UWF-NPAの画像処理について説明する。UWF-NPAは、眼底周辺部に位置し網膜血管が存在しない領域である。
図11に示すように、ステップS400で、画像処理制御部206は、取得されたFA画像に対し、血管部分を強調する強調画像処理を行う。これは、毛細血管を含む血管を際立たせる処理であり、UWF-NPAを精度よく推定するための処理である。
【0085】
ステップS402で、画像処理制御部206は、血管部分を強調した血管強調画像を二値化する血管二値化処理を行う。ステップS404で、画像処理制御部206は、血管部分が強調された血管強調画像を二値化した血管二値化画像を用いて、距離画像を作成する距離画像作成処理を行う。距離画像は、二値化画像における線分(血管部分に相当)のエッジからの距離が大きくなるにしたがって輝度が大きくなる画像である。
【0086】
ステップS406で、画像処理制御部206は、距離画像を二値化する二値化処理を行う。この距離画像の二値化処理では、距離画像が二値化され、二値化距離画像として、眼底後極部の周辺である眼底周辺の領域が白領域に変換される(後極部の一部にも白領域が残存する場合もある)。
【0087】
ステップS408で、画像処理制御部206は、予め定めた一定画素数以下の領域を除去する処理を行う。この処理は、距離画像を二値化した二値化距離画像から、白領域が一定画素数以下の領域を黒領域に変換する処理である。具体的には、二値化距離画像から、複数の白画素を抽出し、白画素が連続する所定面積以下の面積を有する単数または複数の領域を、黒画素が連続する領域に変換することである。二値化距離画像は、白領域の眼底後極部における血管部分と、眼底後極部の周辺である眼底周辺の領域とを含む。眼底後極部における血管部分の大きさ、例えば幅に対応する画素数を、一定画素数として予め定めておくことで、二値化距離画像における眼底後極部の血管部分を黒領域に変換することができる。これによって、二値化距離画像は、眼底周辺の白領域が残存することになる。
【0088】
ステップS410で、画像処理制御部206は、一定画素数以下の白領域除去後の二値化距離画像に残存した白領域の輪郭を抽出することで、UWF-NPAの輪郭を抽出する。UWF-NPAの輪郭は、FA画像上にUWF-NPAの位置を簡単に認識できるように、FA画像上に重畳して表示するための画像である。
以上のようにして、UWF-NPAに関する画像処理が行われる。
【0089】
次に、無灌流領域(NPA)の表示方法を、図12及び図13に示した画像ビューワ150のディスプレイ156の画面500を参照して、より詳細に説明する。
図12及び図13は、本開示の技術の「画像表示方法」の実行により表示した被検眼12の眼底画像に関する画像の一例である。
【0090】
画像ビューワ150は、オペレータにより眼底画像観察を行う患者IDが入力されると、患者情報を出力するように、管理サーバ140に命令を出す。管理サーバ140は、患者IDに対応する患者情報を読み出す。そして、管理サーバ140は、FA画像を読み出して図7で説明した画像処理を行う。そして、得られたFA画像に対応する眼底領域の輪郭画像、後極部NPAの輪郭画像、UWF-NPAの輪郭画像、及び誤検出された後極部NPAの輪郭画像を管理サーバの記憶装置154に保存するとともに、画像処理した眼底領域の輪郭画像、後極部NPAの輪郭画像、UWF-NPAの輪郭画像、及び誤検出された後極部NPAの輪郭画像を、FA画像に重畳した画像を生成し、画像ビューワ150用の表示画面を生成して、表示画面の画像データを画像ビューワ150へ送信する。画像ビューワ150の表示制御部104は、管理サーバ140からの表示画面の画像データによる画像をディスプレイ156に表示する制御を行う。
【0091】
画像ビューワ150は、オペレータにより後述する輪郭画像の表示形態が指示された場合、指示に応じた表示画面を生成し、表示画面の画像データを出力するように、管理サーバ140に命令を出す。画像ビューワ150の処理部108は、指示された輪郭画像の表示形態に対応する表示画面の画像データを受け取り、表示制御部104は、当該画像をディスプレイ156に表示する制御を行う。
【0092】
図12に示す例では、画像ビューワ150のディスプレイ156の無灌流領域(NPA)の表示内容が画面500に示されている。画面500は、患者情報表示欄502、眼底画像表示欄504、及びオプション指示表示欄506を有する。
【0093】
患者情報表示欄502は、患者ID表示欄502A、患者氏名表示欄502B、年齢表示欄502C、対象眼球表示欄502D、撮影日時表示欄502E、眼軸長表示欄502F、及び視力表示欄502Gを有する。画像ビューワ150は、管理サーバ140に記憶されている患者ID、患者氏名、年齢、対象眼球、撮影日時、眼軸長、及び視力を取得する。画像ビューワ150は、取得した患者ID、患者氏名、年齢、対象眼球、撮影日時、眼軸長、及び視力をそれぞれ患者ID表示欄502A、患者氏名表示欄502B、対象眼球表示欄502D、撮影日時表示欄502E、眼軸長表示欄502F、及び視力表示欄502Gに表示する。
【0094】
画像ビューワ150は、画面500の眼底画像表示欄504に、患者のFA画像を表示する。また、画像ビューワ150は、被検眼12における眼底の観察及び診断を行いやすくするために、FA画像に無灌流領域(NPA)の輪郭画像を重畳して表示する。
【0095】
図12に示す例では、FA画像における眼底領域の輪郭画像504A、後極部NPAの輪郭画像504B、504C、及びUWF-NPAの輪郭画像504Dが表示された表示形態が示されている。図13に示す例では、FA画像における眼底領域の輪郭画像504Aが表示されず、後極部NPAの輪郭画像504B、504C、UWF-NPAの輪郭画像504D、及び誤検出された後極部NPA504Eが表示された表示形態が示されている。
【0096】
画像ビューワ150のオペレータ(例えば医者)は、眼底画像表示欄504に表示される画像の表示形態の変更を希望する場合がある。そこで、オプション指示表示欄506は、眼底画像表示欄504に表示される画像の表示形態について、選択指示するための指示ボタン及び指示結果を表示する表示欄を有する。
【0097】
図12に示す例では、オプション指示表示欄506は、FA画像における眼底領域の輪郭画像の表示の有無及び表示色をプルダウン形式で指示する指示ボタン506A及び指示結果を表示する表示欄506Bを有している。画像ビューワ150のオペレータ(例えば医者)による指示ボタン506Aの選択指示によって、眼底画像表示欄504に表示される眼底領域の輪郭画像の表示形態が変更される。例えば、オペレータはマウス155Mなどの入力手段を操作し、眼底領域の輪郭画像の表示の有無及び表示色を指定する。眼底領域の輪郭画像の表示の有無及び表示色が指定されると、画像ビューワ150は、指定された表示の有無及び表示色で、眼底領域の輪郭画像を表示する。
【0098】
また、オプション指示表示欄506は、後極部NPAの輪郭画像の表示の有無及び表示色をプルダウン形式で指示する指示ボタン506C及び指示結果を表示する表示欄506Dを有している。画像ビューワ150のオペレータによる指示ボタン506Cの選択指示によって、眼底画像表示欄504に表示される後極部NPAの輪郭画像の表示形態が変更される。例えば、オペレータはマウス155Mなどの入力手段を操作し、後極部NPAの輪郭画像の表示の有無及び表示色を指定する。後極部NPAの輪郭画像の表示の有無及び表示色が指定されると、画像ビューワ150は、指定された表示の有無及び表示色で、後極部NPAの輪郭画像を表示する。
【0099】
また、オプション指示表示欄506は、UWF-NPAの輪郭画像の表示の有無及び表示色をプルダウン形式で指示する指示ボタン506E及び指示結果を表示する表示欄506Fを有している。画像ビューワ150のオペレータによる指示ボタン506Eの選択指示によって、眼底画像表示欄504に表示されるUWF-NPAの輪郭画像の表示形態が変更される。例えば、オペレータはマウス155Mなどの入力手段を操作し、UWF-NPAの輪郭画像の表示の有無及び表示色を指定する。UWF-NPAの輪郭画像の表示の有無及び表示色が指定されると、画像ビューワ150は、指定された表示の有無及び表示色で、UWF-NPAの輪郭画像を表示する。
【0100】
また、オプション指示表示欄506は、後極部NPAとして検出されたものの後極部NPAである可能性が低い領域である誤検出された後極部NPAの輪郭画像の表示の有無及び表示色をプルダウン形式で指示する指示ボタン506G及び指示結果を表示する表示欄506Hを有している。画像ビューワ150のオペレータによる指示ボタン506Gの選択指示によって、眼底画像表示欄504に表示される誤検出された後極部NPAの輪郭画像の表示形態が変更される。例えば、オペレータはマウス155Mなどの入力手段を操作し、誤検出された後極部NPAの輪郭画像の表示の有無及び表示色を指定する。誤検出された後極部NPAの輪郭画像の表示の有無及び表示色が指定されると、画像ビューワ150は、指定された表示の有無及び表示色で、誤検出された後極部NPAの輪郭画像を表示する。
【0101】
画像ビューワ150は、管理サーバ140からFA画像、眼底領域の輪郭画像、後極部NPAの輪郭画像、UWF-NPAの輪郭画像、及び誤検出された後極部NPAの輪郭画像を取得する。そして、FA画像に、眼底領域の輪郭画像、後極部NPAの輪郭画像、UWF-NPAの輪郭画像、及び誤検出された後極部NPAの輪郭画像のうち、オペレータの指示に応じた輪郭画像を重畳して表示する。なお、FA画像に無灌流領域(NPA)などの輪郭画像を重畳して表示する表示画像の生成は、管理サーバ140及び画像ビューワ150の何れでもよい。
【0102】
なお、画像ビューワ150によって、画面500の眼底画像表示欄504に表示される輪郭画像の表示形態は、図12及び図13に示される表示形態に限定されるものではない。例えば、輪郭画像の線の太さ及び点線や実線などの線の種類を変化させてもよい。これにより、オペレータは、眼底領域、後極部NPA、UWF-NPA、及び誤検出された後極部NPAについて、相違を確認可能に、輪郭画像の色を異なる色で表示させたり、輪郭画像の線の種類を変化させたり、輪郭画像の色及び線の種類の両方を変化させたりすることが可能になる。
【0103】
画像ビューワ150によって、画面500の眼底画像表示欄504に表示され、後極部NPAの輪郭画像によって特定される後極部NPAは、医者が糖尿病性網膜症、糖尿病黄斑浮腫、及び網膜静脈閉塞症などの診断、進行具合、治療効果の判断及び確認を行うにあたっての情報の一つとなる。
また、UWF-NPAの輪郭画像によって特定されるUWF-NPAは、医者が早期診断の確認を行うにあたっての情報の一つとなる。例えば、「前増殖糖尿病網膜症」「増殖性糖尿病網膜症」「網膜静脈分岐閉塞症」「Coats病」「非感染性ぶどう膜炎」などの眼底周辺部から発病する/眼底部の観察が診断確定に有用であるような症状を、眼科医が診断するのに役に立つ。
さらに、後極部NPAを検出することにより、光凝固などの治療効果や追加手術の必要か否かの判断に役立てることができる。
そして、UWF-NPAの可視化により、糖尿病網膜症などの早期診断、病態進行の把握、抗VEGF薬(Vascular Endothelial Growth Factor)(抗血管新生薬)など薬剤治療や血圧コントロールの効果の定量的把握に役立てることができる。
【0104】
次に、本開示の技術の種々の変形例を説明する。
【0105】
<第1の変形例>
上記実施形態では、画像処理制御部206が、後極部NPAの画像処理(ステップS106及びステップS108)と、UWF-NPAの画像処理(ステップS110)とを、実行する場合を説明したが、本開示の技術はこれに限定されない。例えば、図14に示すように、画像処理制御部206が、UWF-NPAの画像処理のみを、実行するようにしてもよい。図14に示す各処理は、上記と同様のため、詳細な説明を省略する。
【0106】
なお、第1の変形例は、次の技術内容を含む。
【0107】
(1)画像処理方法であって、
眼底画像を取得するステップと、
前記眼底画像から、眼底領域の周辺を含む領域における無灌流領域(UWF-NPA)を抽出するステップと、
を含む画像処理方法。
【0108】
(2)画像表示方法であって、
眼底画像と、前記眼底画像から抽出された眼底領域の周辺を含む領域における無灌流領域(UWF-NPA)に関する情報を取得するステップと、
前記眼底画像に、前記無灌流領域を重畳表示するステップと、
を含む画像表示方法。
【0109】
(3)画像処理プログラムであって、
コンピュータに、(1)に記載の画像処理方法を実行させる画像処理プログラム。
【0110】
(4)画像表示プログラムであって、
コンピュータに、(2)に記載の画像表示方法を実行させる画像表示プログラム。
【0111】
(5)画像処理装置であって、
眼底画像を取得する眼底画像取得部と、
前記眼底画像から、眼底領域の周辺を含む領域における無灌流領域(UWF-NPA)を抽出する無灌流領域抽出部と、
を備えた画像処理装置。
【0112】
(6)画像表示装置であって、
眼底画像と、前記眼底画像から抽出された眼底領域の周辺を含む領域における無灌流領域(UWF-NPA)に関する情報を取得する取得部と、
前記眼底画像に、前記無灌流領域を重畳表示する表示部と、
を備えた画像表示装置。
【0113】
<第2の変形例>
上記実施形態では、画像処理制御部206が、後極部NPAの画像処理と、UWF-NPAの画像処理とを実行する場合、第1の変形例では、画像処理制御部206が、UWF-NPAの画像処理のみを実行する場合を説明したが、本開示の技術はこれに限定されない。例えば、図15に示すように、画像処理制御部206が、後極部NPAの画像処理のみを、実行するようにしてもよい。図15に示す各処理は、上記と同様のため、詳細な説明を省略する。
【0114】
なお、第2の変形例は、次の技術内容を含む。
【0115】
(7)画像処理方法であって、
眼底画像を取得するステップと、
前記眼底画像から、眼底領域の中心を含む領域における無灌流領域(NPA)を抽出するステップと、
を含む画像処理方法。
【0116】
(8)(7)記載の画像処理方法であって、
抽出された前記無灌流領域から、誤検出の可能性のある領域を抽出するステップと、
抽出された前記無灌流領域から、前記誤検出の可能性のある領域を除外するステップと、
をさらに含む画像処理方法。
【0117】
(9)画像表示方法であって、
眼底画像と、前記眼底画像から抽出された眼底領域の中心を含む領域における無灌流領域(NPA)に関する情報を取得するステップと、
前記眼底画像に、前記無灌流領域を重畳表示するステップと、
を含む画像表示方法。
【0118】
(10)画像処理プログラムであって、
コンピュータに、(7)又は(8)に記載の画像処理方法を実行させる画像処理プログラム。
【0119】
(11)画像表示プログラムであって、
コンピュータに、(9)に記載の画像表示方法を実行させる画像表示プログラム。
【0120】
(12)画像処理装置であって、
眼底画像を取得する眼底画像取得部と、
前記眼底画像から、眼底領域の後極部を含む領域における無灌流領域(NPA)を抽出する無灌流領域抽出部と、
を備えた画像処理装置。
【0121】
(13)画僧表示装置であって、
眼底画像と、前記眼底画像から抽出された眼底領域の後極部を含む領域における無灌流領域(NPA)に関する情報を取得する取得部と、
前記眼底画像に、前記無灌流領域を重畳表示する表示部と、
を備えた画像表示装置。
【0122】
<第3の変形例>
【0123】
上記実施の形態では、管理サーバ140が、予め図7に示す画像処理プログラムを実行しているが、本開示の技術はこれに限定されない。画像ビューワ150が管理サーバ140に画像処理命令を送信し、これに応じて管理サーバ140が、図6の画像処理プログラムを実行するようにしてもよい。
【0124】
<第4の変形例>
【0125】
上記実施の形態では、眼科装置110により内部光照射角が200度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、内部照射角で100度以下の眼科装置で撮影された眼底画像でもよいし、眼底画像を複数合成したモンタージュ画像でも本開示の技術を適用してもよい。
【0126】
<第5の変形例>
【0127】
上記実施の形態では、SLO撮影ユニットを備えた眼科装置110により眼底画像を撮影しているが、OCTアンジオグラフィーにより得られた画像でも本開示の技術を適用してもよい。
【0128】
<第6の変形例>
【0129】
上記実施の形態では、管理サーバ140が画像処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置110又は画像ビューワ150が画像処理プログラムを実行するようにしてもよい。
【0130】
<第7の変形例>
【0131】
上記実施の形態では、眼科装置110、レーザ治療装置120、管理サーバ140、及び画像ビューワ150を備えた眼科システム100を例として説明したが、本開示の技術はこれに限定されない。例えば、第1の例として、レーザ治療装置120を省略し、眼科装置110が、レーザ治療装置120の機能を更に有してもよい。また、第2の例として、眼科装置110が、管理サーバ140及び画像ビューワ150の少なくとも一方の機能を更に有してもよい。例えば、眼科装置110が管理サーバ140の機能を有する場合、管理サーバ140を省略することができる。この場合、画像処理プログラムは、眼科装置110又は画像ビューワ150が実行する。また、眼科装置110が画像ビューワ150の機能を有する場合、画像ビューワ150を省略することができる。第3の例として、管理サーバ140を省略し、画像ビューワ150が管理サーバ140の機能を実行するようにしてもよい。
【0132】
<第8の変形例>
上記実施形態では、画像処理制御部206が、図9に示した処理を実行することにより、後極部NPAを検出する場合を説明したが、本開示の技術はこれに限定されない。例えば、図16に示した処理により後極部NPAを検出するようにしてもよい。
【0133】
図16を参照して、後極部NPAの画像処理について説明する。
図16に示すように、ステップS1304で、取得されたFA画像に対し網膜血管を除去する処理を行う。そして、網膜血管が処理された画像に対してガウシアンフィルタを用いて高周波成分を除去し、低周波成分画像を作成する。
【0134】
次に、画像処理制御部206は、ステップS1306で、FA画像から低周波成分画像を除去することにより、眼底周辺部の輝度補正をする。
そして、画像処理制御部206は、ステップS1308で、NPA検出処理を行う。より具体的には、S1306で得られた、眼底周辺部の輝度補正がなされた眼底画像から、第1の暗さ以下の複数の画素を抽出し、当該第1の暗さ以下の暗い画素が連続する所定面積以上の面積を有する単数または複数の領域を、後極部NPAとして、検出する。そして、ステップS1310で、画像処理制御部206は、検出された後極部NPAの輪郭を抽出し、処理を終了する。
【0135】
以上のようにして、第8の変形例における、後極部NPAに関する画像処理が行われる。図9に示す後極部NPA処理に比べて、ステップS308やS310における抽出処理を行う必要がなく、高速処理が可能となり、単位時間当たりの眼底画像処理を枚数を増やすことができる。
【0136】
<第9の変形例>
上記実施形態では、眼底領域の輪郭画像、後極部NPAの輪郭画像、UWF-NPAの輪郭画像、及び誤検出された後極部NPAの輪郭画像を、FA画像に重畳した画面500を画像ビューワ150が表示するようにしたが、本開示の技術はこれに限定されない。例えば、眼底領域の輪郭画像、後極部NPAの輪郭画像、UWF-NPAの輪郭画像、及び誤検出された後極部NPAの輪郭画像を、カラー眼底画像やOCTデータから得られた正面画像(en-face画像)に重畳した画像を表示するようにしてもよい。この場合、FA画像とカラー眼底画像などの他の画像との位置合わせを行い、カラー眼底画像上で正しい位置に各輪郭画像が重畳表示される。
【0137】
<その他の変形例>
【0138】
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0139】
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【符号の説明】
【0140】
100 眼科システム
110 眼科装置
120 レーザ治療装置
140 管理サーバ
150 画像ビューワ
204 表示制御部
206 画像処理制御部
208 処理部
262 CPU
254 記憶装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16