IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

2026-53653画像処理方法、画像処理装置、及びプログラム
<>
  • -画像処理方法、画像処理装置、及びプログラム 図1
  • -画像処理方法、画像処理装置、及びプログラム 図2
  • -画像処理方法、画像処理装置、及びプログラム 図3
  • -画像処理方法、画像処理装置、及びプログラム 図4
  • -画像処理方法、画像処理装置、及びプログラム 図5
  • -画像処理方法、画像処理装置、及びプログラム 図6
  • -画像処理方法、画像処理装置、及びプログラム 図7
  • -画像処理方法、画像処理装置、及びプログラム 図8
  • -画像処理方法、画像処理装置、及びプログラム 図9
  • -画像処理方法、画像処理装置、及びプログラム 図10
  • -画像処理方法、画像処理装置、及びプログラム 図11
  • -画像処理方法、画像処理装置、及びプログラム 図12
  • -画像処理方法、画像処理装置、及びプログラム 図13
  • -画像処理方法、画像処理装置、及びプログラム 図14
  • -画像処理方法、画像処理装置、及びプログラム 図15
  • -画像処理方法、画像処理装置、及びプログラム 図16
  • -画像処理方法、画像処理装置、及びプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2026053653
(43)【公開日】2026-03-25
(54)【発明の名称】画像処理方法、画像処理装置、及びプログラム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20260317BHJP
   A61B 3/12 20060101ALI20260317BHJP
【FI】
A61B3/10 100
A61B3/12
【審査請求】有
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2025283017
(22)【出願日】2025-12-25
(62)【分割の表示】P 2024514933の分割
【原出願日】2023-04-06
(31)【優先権主張番号】P 2022066636
(32)【優先日】2022-04-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】吉 媛テイ
(72)【発明者】
【氏名】田邉 泰士
(72)【発明者】
【氏名】葛西 洋志
(57)【要約】      (修正有)
【課題】被検眼のボリュームデータに基づいて血管を可視化することが望まれている。
【解決手段】プロセッサが行う画像処理方法であって、脈絡膜を含むOCTボリュームデータを取得するステップと、前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、前記複数のen-face画像の各々における画像特徴量を導出するステップと、前記画像特徴量の各々に基づいて、前記画像特徴量が脈絡膜血管の有無の切り替わりを示すen-face画像の間を境界として決定するステップと、を含む。
【選択図】図9
【特許請求の範囲】
【請求項1】
プロセッサが行う画像処理方法であって、
脈絡膜を含むOCTボリュームデータを取得するステップと、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
前記複数のen-face画像の各々において明るさに関する標準偏差を画像特徴量として演算し、前記複数のen-face画像の間における前記画像特徴量の変化傾向を導出するステップと、
前記画像特徴量の前記変化傾向に基づいて、脈絡膜血管の有無の切り替わりを示すen-face画像の位置に対応する層を境界として特定するステップと、
を含む、画像処理方法。
【請求項2】
前記変化傾向を導出するステップは、前記複数のen-face画像の前記明るさに関する標準偏差の特性曲線の微分値により前記変化傾向が示される、
請求項1に記載の画像処理方法。
【請求項3】
前記位置に対応する層を特定するステップは、
前記画像特徴量の前記変化傾向と予め定めた前記画像特徴量の前記変化傾向の閾値とに基づいて、前記脈絡膜血管の有無の切り替わりを示す、
請求項1に記載の画像処理方法。
【請求項4】
前記境界として特定するステップは、
前記複数のen-face画像の各々の標準偏差に基づいて、前記標準偏差が収束するen-face画像の位置に対応する層を特定するステップを含む、
請求項1に記載の画像処理方法。
【請求項5】
前記境界として特定するステップは、前記標準偏差が収束するen-face画像の位置に対応する層に基づいて、前記境界を決定する標準偏差の閾値を決定する、
請求項3に記載の画像処理方法。
【請求項6】
前記複数のen-face画像の各々から脈絡膜血管を抽出するステップと、
前記抽出された前記脈絡膜血管の太さが深さ方向に対応して変化する度合いを検出するステップと、を更に含み、
前記境界として特定するステップは、予め定めた閾値と前記脈絡膜血管の太さが深さ方向に対応して変化する度合いとに基づいて前記境界を特定することを含む、
請求項1に記載の画像処理方法。
【請求項7】
前記画像特徴量を導出するステップは、生成された前記複数のen-face画像のうち、一部のen-face画像のみから前記画像特徴量を導出する、
請求項1に記載の画像処理方法。
【請求項8】
前記OCTボリュームデータを取得するステップは、眼底の少なくとも渦静脈を含む領域をスキャンして前記OCTボリュームデータを得る、
請求項1から7の何れか一項に記載の画像処理方法。
【請求項9】
プロセッサが行う画像処理方法であって、
脈絡膜を含むOCTボリュームデータを取得するステップと、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
前記複数のen-face画像の各々において明るさに関する標準偏差を画像特徴量として演算し、前記複数のen-face画像の間における前記画像特徴量の変化傾向を導出するステップと、
前記画像特徴量の前記変化傾向に基づいて、脈絡膜血管の有無の切り替わりを示すen-face画像の間の境界を特定するステップと、
を含む、画像処理方法。
【請求項10】
プロセッサを備えた画像処理装置において、
前記プロセッサは、
脈絡膜を含むOCTボリュームデータを取得するステップと、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
前記複数のen-face画像の各々において明るさに関する標準偏差を画像特徴量として演算し、前記複数のen-face画像の間における前記画像特徴量の変化傾向を導出するステップと、
前記画像特徴量の前記変化傾向に基づいて、脈絡膜血管の有無の切り替わりを示すen-face画像の位置に対応する層を境界として特定するステップと、
を実行する、画像処理装置。
【請求項11】
前記変化傾向を導出するステップは、前記複数のen-face画像の前記明るさに関する標準偏差の特性曲線の微分値により前記変化傾向が示される、
請求項10に記載の画像処理装置。
【請求項12】
前記位置に対応する層を特定するステップは、
前記画像特徴量の前記変化傾向と予め定めた前記画像特徴量の前記変化傾向の閾値とに基づいて、前記脈絡膜血管の有無の切り替わりを示す、
請求項10に記載の画像処理装置。
【請求項13】
プロセッサを備えた画像処理装置において、
前記プロセッサは、
脈絡膜を含むOCTボリュームデータを取得するステップと、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
前記複数のen-face画像の各々において明るさに関する標準偏差を画像特徴量として演算し、前記複数のen-face画像の間における前記画像特徴量の変化傾向を導出するステップと、
前記画像特徴量の前記変化傾向に基づいて、脈絡膜血管の有無の切り替わりを示すen-face画像の間の境界を特定するステップと、
を実行する、画像処理装置。
【請求項14】
画像処理を行うためのプログラムであって、
プロセッサに、
脈絡膜を含むOCTボリュームデータを取得するステップと、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
前記複数のen-face画像の各々において明るさに関する標準偏差を画像特徴量として演算し、前記複数のen-face画像の間における前記画像特徴量の変化傾向を導出するステップと、
前記画像特徴量の前記変化傾向に基づいて、脈絡膜血管の有無の切り替わりを示すen-face画像の位置に対応する層を境界として特定するステップと、
を処理する、プログラム。
【請求項15】
前記変化傾向を導出するステップは、前記複数のen-face画像の前記明るさに関する標準偏差の特性曲線の微分値により前記変化傾向が示される、
請求項14に記載のプログラム。
【請求項16】
前記位置に対応する層を特定するステップは、
前記画像特徴量の前記変化傾向と予め定めた前記画像特徴量の前記変化傾向の閾値とに基づいて、前記脈絡膜血管の有無の切り替わりを示す、
請求項14に記載のプログラム。
【請求項17】
画像処理を行うためのプログラムであって、
プロセッサに、
脈絡膜を含むOCTボリュームデータを取得するステップと、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
前記複数のen-face画像の各々において明るさに関する標準偏差を画像特徴量として演算し、前記複数のen-face画像の間における前記画像特徴量の変化傾向を導出するステップと、
前記画像特徴量の前記変化傾向に基づいて、脈絡膜血管の有無の切り替わりを示すen-face画像の間の境界を特定するステップと、
を処理する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理方法、画像処理装置、及びプログラムに関する。
【背景技術】
【0002】
米国特許第10238281号公報には、光干渉断層計を用いて被検眼のボリュームデータを生成する技術が開示されている。従来、被検眼のボリュームデータに基づいて血管を可視化することが望まれている。
【発明の概要】
【0003】
第1態様は、プロセッサが行う画像処理方法であって、脈絡膜を含むOCTボリュームデータを取得するステップと、前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、前記複数のen-face画像の各々における画像特徴量を導出するステップと、前記画像特徴量の各々に基づいて、前記画像特徴量が脈絡膜血管の有無の切り替わりを示すen-face画像の間を境界として特定するステップと、を含む、画像処理方法である。
【0004】
第2態様は、プロセッサを備えた画像処理装置において、前記プロセッサは、脈絡膜を含むOCTボリュームデータを取得するステップと、前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、前記複数のen-face画像の各々における画像特徴量を導出するステップと、前記画像特徴量の各々に基づいて、前記画像特徴量が脈絡膜血管の有無の切り替わりを示すen-face画像の間を境界として特定するステップと、を実行する、画像処理装置である。
【0005】
第3態様は、画像処理を行うためのプログラムであって、プロセッサに、脈絡膜を含むOCTボリュームデータを取得するステップと、前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、前記複数のen-face画像の各々における画像特徴量を導出するステップと、前記画像特徴量の各々に基づいて、前記画像特徴量が脈絡膜血管の有無の切り替わりを示すen-face画像の間を境界として特定するステップと、を処理させる、プログラムである。
【図面の簡単な説明】
【0006】
図1】実施形態に係る眼科システムの概略構成図である。
図2】実施形態に係る眼科装置の概略構成図である。
図3】サーバの概略構成図である。
図4】サーバのCPUにおいて、画像処理プログラムによって実現される機能の説明図である。
図5】サーバによる画像処理の流れの一例を示すフローチャートである。
図6】画像に対して施された画像処理に関する説明図である。
図7】血管成分の有無で変化する画像特徴量の説明図である。
図8】OCTボリュームデータにおける複数のen-face画像に対する標準偏差の特性を示す図である。
図9】血管成分有無境界取得処理の流れの一例を示すフローチャートである。
図10】脈絡膜血管の画像形成処理の流れの一例を示すフローチャートである。
図11】第3の血管抽出処理による第3の画像処理の流れの一例を示すフローチャートである。
図12】眼球と渦静脈の位置との関係を示す模式図である。
図13】OCTボリュームデータとen-face画像の関係を示す図である。
図14】渦静脈を含む脈絡膜血管の眼底画像の一例を示す図である。
図15】渦静脈の立体画像の概念図である。
図16】渦静脈の周辺における脈絡膜血管の立体画像の一例を示す図である。
図17】渦静脈の立体画像を用いた表示画面の一例を示す図である。
【発明を実施するための形態】
【0007】
以下、本開示の実施形態に係る眼科システム100について図面を参照して説明する。
図1には、眼科システム100の概略構成が示されている。図1に示すように、眼科システム100は、眼科装置110と、サーバ装置(以下、「サーバ」という。)140と、表示装置(以下、「ビューワ」という。)150と、を備えている。眼科装置110は、眼底画像を取得する。サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像と、図示しない眼軸長測定装置により測定された眼軸長とを、患者IDに対応して記憶する。ビューワ150は、サーバ140により取得した眼底画像や解析結果を表示する。
【0008】
サーバ140は、本開示の「画像処理装置」の一例である。
【0009】
眼科装置110、サーバ140、ビューワ150は、ネットワーク130を介して、相互に接続されている。ネットワーク130は、LAN、WAN、インターネットや広域イーサ網等の任意のネットワークである。例えば、眼科システム100が1つの病院に構築される場合には、ネットワーク130にLANを採用することができる。
【0010】
ビューワ150は、クライアントサーバシステムにおけるクライアントであり、ネットワークを介して複数台が接続される。また、サーバ140も、システムの冗長性を担保するために、ネットワークを介して複数台が接続されていてもよい。又は、眼科装置110が画像処理機能及びビューワ150の画像閲覧機能を備えるのであれば、眼科装置110がスタンドアロン状態で、眼底画像の取得、画像処理及び画像閲覧が可能となる。また、サーバ140がビューワ150の画像閲覧機能を備えるのであれば、眼科装置110とサーバ140との構成で、眼底画像の取得、画像処理及び画像閲覧が可能となる。
【0011】
なお、他の眼科機器(視野測定、眼圧測定などの検査機器)やAI(Artificial Intelligence)を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、サーバ140、及びビューワ150に接続されていてもよい。
【0012】
次に、図2を参照して、眼科装置110の構成を説明する。
【0013】
説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
【0014】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0015】
眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18およびOCTユニット20を備えており、被検眼12の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
【0016】
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only Memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
【0017】
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
【0018】
また、制御装置16は、I/Oポート16Dに接続された画像処理器17を備えている。画像処理器17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、制御装置16は、通信インターフェース(I/F)16Fを介してネットワーク130に接続される。
【0019】
上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの表示制御部204の制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、表示制御部204が出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
【0020】
撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、光学スキャナ22、および広角光学系30を含む。
【0021】
光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。光学スキャナ22は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
【0022】
広角光学系30は、SLOユニット18からの光とOCTユニット20からの光とを合成する。
【0023】
なお、広角光学系30は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
【0024】
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0025】
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施形態では、内部照射角は200度としている。
【0026】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。眼底の視野角(FOV)を超広角な角度とした広角光学系30により、被検眼12の眼底の後極部から赤道部を超える領域を撮影することができ、渦静脈などの眼底周辺部に存在する構造物を撮影できる。
【0027】
眼科装置110は、被検眼12の眼球中心Oを基準位置として内部照射角が200°の領域12Aを撮影することができる。なお、200°の内部照射角は、被検眼12の眼球の瞳孔を基準とした外部照射角では110°である。つまり、広角光学系30は外部照射角110°の画角で瞳からレーザ光を照射させ、内部照射角で200°の眼底領域を撮影する。
【0028】
SLOシステムは、図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
【0029】
SLOユニット18は、B光(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射又は透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、56は、ミラーであり、光学系50、52、54は、ビームスプリッタである。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
【0030】
SLOユニット18は、R光およびG光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2に示す例では、B光の光源40、G光の光源42、R光の光源44、およびIR光の光源46の4つの光源を備えるが、本開示は、これに限定されない。例えば、SLOユニット18は、白色光の光源を更に備え、G光、R光、およびB光を発するモードや、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
【0031】
SLOユニット18から撮影光学系19に入射された光は、光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された反射光は、広角光学系30および光学スキャナ22を経由してSLOユニット18へ入射される。
【0032】
SLOユニット18は、被検眼12の後眼部(眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0033】
広角光学系30および光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理器17は、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
【0034】
B光検出素子70で検出された信号を用いて生成されたUWF-SLO画像をB-UWF-SLO画像(B色眼底画像)という。G光検出素子72で検出された信号を用いて生成されたUWF-SLO画像をG-UWF-SLO画像(G色眼底画像)という。R光検出素子74で検出された信号を用いて生成されたUWF-SLO画像をR-UWF-SLO画像(R色眼底画像)という。IR光検出素子76で検出された信号を用いて生成されたUWF-SLO画像をIR-UWF-SLO画像(IR眼底画像)という。UWF-SLO画像には、これらのR色眼底画像、G色眼底画像、B色眼底画像からIR眼底画像までが含まれる。また、蛍光を撮影した蛍光のUWF-SLO画像も含まれる。
【0035】
また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、およびB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。また、G色眼底画像、R色眼底画像及びB色眼底画像を用いてフルカラー眼底画像を生成するようにしてもよい。
【0036】
広角光学系30により、眼底の視野角(FOV:Field of View)を超広角な角度とし、被検眼12の眼底の後極部から赤道部を超える領域を撮影することができる。
【0037】
OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、眼底周辺部のOCT撮影を可能とする。つまり、眼底の視野角(FOV)を超広角な角度とした広角光学系30により、被検眼12の眼底の後極部から赤道部178を超える領域のOCT撮影を行うことができる。渦静脈などの眼底周辺部に存在する構造物のOCTデータを取得でき、渦静脈の断層像や、OCTデータを画像処理することにより渦静脈の3D構造を得ることができる。
【0038】
OCTユニット20は、光源20A、センサ(検出素子)20B、第一の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
【0039】
光源20Aから射出された光は、第一の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、および広角光学系30を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第一の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
【0040】
光源20Aから射出され、第一の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
【0041】
第2の光カプラ20Fに入射されたこれらの光、すなわち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。画像処理部206の制御下で動作する画像処理器17は、センサ20Bで検出されたOCTデータを生成する。当該OCTデータに基づいて断層画像やen-face画像などのOCT画像を画像処理器17で生成することも可能である。
【0042】
ここで、OCTユニット20は、所定範囲(例えば6mm×6mmの矩形範囲)を一回のOCT撮影で走査することができる。当該所定範囲は6mm×6mmに限らず、12mm×12mmや23mm×23mmの正方形の範囲でもよいし、14mm×9mm、6mm×3.5mmなど長方形の範囲でもよく、任意の矩形範囲とすることができる。また、直径6mm、12mm、23mmなどの円径の範囲であってもよい。
【0043】
広角光学系30を用いることにより、眼科装置110は、内部照射角が200°の領域12Aが走査対象とすることができる。つまり、光学スキャナ22を制御することにより、渦静脈を含む所定範囲のOCT撮影を行う。眼科装置110は、当該OCT撮影によってOCTデータを生成することが可能となる。
【0044】
よって、眼科装置110は、OCT画像である、渦静脈を含む眼底の断層画像(B-スキャン画像)、渦静脈を含むOCTボリュームデータや、当該OCTボリュームデータの断面であるen-face画像(OCTボリュームデータに基づいて生成された正面画像)を生成することができる。なお、OCT画像には、眼底中心部(黄斑や視神経乳頭などが存在する眼球の後極部)のOCT画像を含まれることは言うまでもない。
【0045】
OCTデータ(あるいはOCT画像の画像データ)は、通信インターフェース16Fを介して眼科装置110からサーバ140へ送付され、記憶装置254に記憶される。
【0046】
なお、本実施形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
【0047】
次に、図3を参照して、サーバ140の電気系の構成を説明する。図3に示すように、サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、CPU262、RAM266、ROM264、入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、サーバ140は、眼科装置110、およびビューワ150と通信することができる。
【0048】
ROM264又は記憶装置254には、画像処理プログラムが記憶されている。
【0049】
ROM264又は記憶装置254は、本開示の「メモリ」の一例である。CPU262は、本開示の「プロセッサ」の一例である。画像処理プログラムは、本開示の「プログラム」の一例である。
【0050】
サーバ140は、眼科装置110から受信した各データを、記憶装置254に記憶する。
【0051】
サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。図4に示すように、CPU262で実行される画像処理プログラムは、表示制御機能、画像処理機能、および処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、表示制御部204、画像処理部206、および処理部208として機能する。
【0052】
次に、図5を用いて、サーバ140による画像処理のメインフローチャートを説明する。サーバ140のCPU262が画像処理プログラムを実行することで、図5に示す画像処理(画像処理方法)が実現される。
【0053】
まず、ステップS10で、画像処理部206は、記憶装置254から眼底画像を取得する。当該眼底画像は、ユーザの指示に基づき、立体表示対象の渦静脈に関係するデータを含む。
【0054】
次に、ステップS20で、画像処理部206は、記憶装置254から眼底画像に対応する脈絡膜を含むOCTボリュームデータを取得する。
【0055】
OCTボリュームデータを取得すると、画像処理部206は、ステップS22で、脈絡膜血管の有無の境界を取得する血管成分有無境界取得処理(詳細は後述)を実行する。
【0056】
次のステップS30で、画像処理部206は、前記OCTボリュームデータに基づいて脈絡膜血管を抽出し、渦静脈血管の立体画像(3D画像)を生成する脈絡膜血管の画像形成処理(詳細は後述)を実行する。
【0057】
渦静脈血管の立体画像(3D画像)が生成されると、ステップS40で、処理部208は、生成された渦静脈血管の立体画像(3D画像)を出力、具体的には、RAM266または記憶装置254に保存し、画像処理を終了する。
【0058】
ここでは、ユーザの指示に基づき、渦静脈の立体画像を含むディスプレイ・スクリーン(後述する図17に、ディスプレイ・スクリーンの例を示す)が表示制御部204により生成される。生成されたディスプレイ・スクリーンが画像信号として、処理部208により、ビューワ150に出力される。ビューワ150のディスプレイにディスプレイ・スクリーンが表示される。
【0059】
ここで、眼球における脈絡膜12Mと渦静脈12V1、V2との位置関係を、図12を用いて説明する。
図12において、網目状の模様は脈絡膜12Mの脈絡膜血管を示している。脈絡膜血管は脈絡膜全体に血液をめぐらせる。そして、被検眼12に複数(通常4つから6つ)存在する渦静脈から眼球の外へ血液が流れる。図12では眼球の片側に存在する上側渦静脈12V1と下側渦静脈12V2が示されている。渦静脈は、赤道部の近傍に存在する場合が多い。そのため、被検眼12に存在する渦静脈及び渦静脈周辺の脈絡膜血管を撮影するには、例えば内部照射角が200°で走査できる眼科装置110を用いて行われる。
【0060】
まず、画像処理部206は、眼底画像を取得し(ステップS10)、立体表示対象の渦静脈(VV)を特定する。ここでは、一例として、UWF-SLO画像をUWF眼底画像として記憶装置254から取得する。次に、画像処理部206は、取得したUWF-SLO画像から、二値化画像である脈絡膜血管画像を作成する。そして、ユーザにより指示された部位を、立体表示対象の渦静脈として特定する。
【0061】
図14は、渦静脈を含む脈絡膜血管の眼底画像である。図14に示す眼底画像は、UWF-SLO画像から、作成された二値化画像である脈絡膜血管画像の一例である。脈絡膜血管画像は、図14に示すように、脈絡膜血管や渦静脈に相当する画素が白で、他の領域の画素は黒で二値化された画像である。
【0062】
また、図14は、渦静脈に接続している脈絡膜血管が存在していることを示す画像302である。画像302は、ユーザによる指示領域310Aに含まれる上側渦静脈12V1の画像である渦静脈310V1が、立体表示対象の渦静脈(VV)として特定され、脈絡膜血管を含む領域が特定された場合を示している。
【0063】
渦静脈(VV)を含む脈絡膜血管画像は、赤色光(波長630~660nmのレーザ光)で撮影されたR-UWF-SLO画像(R色眼底画像)と緑色光(波長500~550nmのレーザ光)で撮影されたG-UWF-SLO画像(G色眼底画像)の画像データを画像処理することにより生成される。具体的には、G色眼底画像から網膜血管を抽出し、R色眼底画像から網膜血管を除去し、脈絡膜血管を強調処理する画像処理を行うことにより脈絡膜血管画像が生成される。なお、脈絡膜血管画像を生成する方法について、国際公開WO2019/181981の開示は、その全体が参照により、本明細書に取り込まれる。
【0064】
また、上記では、ユーザの指示により立体表示対象の渦静脈を特定する場合を説明したが、本開示はこれに限定されない。立体表示対象の渦静脈の位置は、手動検出でもよく、自動検出でもよい。例えば、手動検出の場合、表示された脈絡膜血管をユーザが目視して指示した位置を検出すればよい。自動検出する場合、例えば、脈絡膜血管画像から脈絡膜血管を抽出し、各脈絡膜血管の移動方向(血管走行方向)を推定し、脈絡膜血管が集まる位置に基づいて、渦静脈の位置を推定すればよい。
【0065】
ところで、脈絡膜血管の画像形成を行う場合、予め定めた所定径を越える脈絡膜血管(以下、太い血管という。)から所定径未満の脈絡膜血管(以下、細い血管という。)の各々を抽出することが要求される場合がある。細い血管は太い血管に比べて画像のコントラストが低いため、太い血管と細い血管とに共通の画像処理を施したのでは細い血管について連続する線構造として抽出することが困難である。このため、太い血管と細い血管とを別々の画像処理によって抽出することが考えられる。これらの太い血管と細い血管とを別々の画像処理によって抽出する処理の詳細は後述する。ところが、細い血管を抽出する処理では、ノイズの画像が細い血管として抽出される虞があり、血管が存在しない領域まで血管が存在されると判定されることがある。よって、血管の存在に関する血管成分の有無の境界(例えば、強膜)の位置精度が低下する。
【0066】
OCTボリュームデータ400は、図13に示すように、被検眼に複数存在する渦静脈VVの1つを眼科装置110によりOCT撮影をして得られた、渦静脈VVを含む所定面積、例えば、6mm×6mmの矩形領域のOCTボリュームデータ400である。OCTボリュームデータ400に対して第1面f401から第N面f40Nまでの深さの異なるN枚の面が設定される。OCTボリュームデータ400は、被検眼に複数存在する渦静脈VVの各々が眼科装置110によりOCT撮影して得ておくようにしてもよい。
【0067】
本実施の形態では、OCTボリュームデータ400Dとして、渦静脈と当該渦静脈の周辺の脈絡膜血管を含んだOCTボリュームデータ400を例に説明をする。この場合、脈絡膜血管は、渦静脈と当該渦静脈の周辺の脈絡膜血管を指す。
【0068】
図6に、脈絡膜血管の画像に対して画像処理を施した場合の一例を示す。図6には、脈絡膜血管の画像として血管が存在しない領域のen-face画像に対して、太い血管に対する画像処理と細い血管に対する画像処理を施した場合の結果が示されている。
図6に示すように、血管が存在しない領域のen-face画像f40Kに、ノイズ成分の画像が存在する場合、太い血管を抽出する処理を施し(画像f40KL1)、その後に二値化処理を施した画像f40KL2からは、ノイズ成分が除去されている。一方、細い血管を抽出する処理を施し(画像f40KS1)、その後に二値化処理を施した画像f40KS2には、ノイズ成分が残存されている。従って、細い血管を抽出する処理を施すと、ノイズの画像が細い血管として抽出される場合があり、血管が存在しない領域まで血管が存在されると判定されることがある。
【0069】
血管成分が存在する画像と、ノイズ成分が残存する画像とは画像特徴量に差異が生じる。画像特徴量の一例には、画像の明るさに関する標準偏差、標準偏差の変化傾向、及び画像の明るさに関するエントロピ等の特徴量が適用可能である。画像の明るさに関する標準偏差には、en-face画像の各々の明るさに関する標準偏差を用いることが可能である。また、標準偏差の変化傾向には、複数のen-face画像の標準偏差の特性曲線の微分値により示される特徴量を用いることが可能である。画像の明るさに関するエントロピには、en-face画像における画素の明るさの総和に関する物理量を特徴量として用いることが可能である。本実施形態では、画像特徴量として画像の明るさに関する標準偏差を適用する場合を説明する。
【0070】
図7に、血管成分の有無により変化する画像特徴量(ここでは標準偏差)の一例の説明図を示す。脈絡膜血管の画像に対して画像処理を施した場合の一例を示す。
【0071】
まず、脈絡膜血管の画像として血管が存在する領域(血管成分有)のen-face画像f40Hに対して、画像処理を施した画像f40HS1について標準偏差を検討する。画像f40HS1における標準偏差値は、信号強度と頻度との特性における分布幅TH1に対応する。信号強度は、画像f40HS1における画像の明るさを示す物理量を示し、頻度は当該物理量が画像f40HS1で出現した頻度を示す。同様に、血管が存在しない領域(血管成分無)のen-face画像f40Kに画像処理を施した画像f40KS1では、標準偏差値は、分布幅TH2に対応する。幅の観点では、血管成分有のen-face画像f40Hの標準偏差値を示す幅TH1に対して、血管成分無のen-face画像f40KS1では、幅TH1より小さい標準偏差値を示す幅TH2(<TH1)である。このことは、血管成分が少なくなるに従って、標準偏差値が小さくなる傾向になることを意味する。従って、血管の有無、すなわち血管成分有無の切り替わりを示す境界判定値を予め定めることにより、血管成分有無の境界を定めることが可能となる。当該境界判定値は、幅TH1より小さくかつ幅TH2より大きいまたは一致する値の幅TH0(TH2≦TH0<TH1)による標準偏差値を定める。よって、幅TH0で示される標準偏差値より大きい標準偏差値の面(層)のen-face画像は血管成分有と判定でき、幅TH0で示される標準偏差値より小さい又は同じ標準偏差値の面(層)のen-face画像は血管成分無と判定できる。
【0072】
上述した境界判定値は、予め導出することが可能である。
図8に、OCTボリュームデータ400における複数のen-face画像に対する標準偏差の特性を示す。図8に示すように、標準偏差の特性は、第1面f401から第N面f40Nに向かって、第u面で最大値Huとなり、その後徐々に小さくなり、第v面で最小値Hvに収束する。よって、最大値Huより小さく、最小値Hv以上の標準偏差の値を境界判定値Hoとして定めればよい。この境界判定値Hoは、標準偏差が収束する最小値Hvに近い値である可能性が高く、予め計測した結果を反映させることも可能である。なお、最小値Hvを境界判定値としてもよい。
【0073】
また、標準偏差の特性変化の観点では、標準偏差の特性曲線の微分値を示す傾きwを適用ことも可能である。
【0074】
そこで、本実施形態では、前記OCTボリュームデータに基づいて、画像の特徴量を用いて脈絡膜血管の有無に関する境界を取得する血管成分有無境界取得処理を実行する。
次に、図9を用いて血管成分有無境界取得処理(ステップS22)を詳細に説明する。サーバ140のCPU262が画像処理プログラムを実行することで、図9のフローチャートに示された画像処理(画像処理方法)が実現される。
【0075】
具体的には、ステップS220で、画像処理部206は、OCTデータであるOCTボリュームデータ400を血管成分有無境界取得処理用に取得する。OCTボリュームデータ400には、第1面f401から第N面f40Nまでの深さの異なるN枚の面が設定される。
【0076】
ステップS221で、画像処理部206は、パラメータnを1に設定する。当該パラメータnはen-face画像の枚数(面数、層数)を示すパラメータである。
【0077】
ステップS222で、画像処理部206は、OCTボリュームデータ400を解析し、例えば、OCTボリュームデータ400中の網膜色素上皮細胞層(Retinal Pigment Epithelium、以下、RPE層と称する)から第1面を設定する。第1面は、RPE層から所定画素数下、例えば、10画素下の面を設定してもよい。画像処理部206は、第1面f401としてRPE層400Rを基準面として特定することが可能である。RPE層400Rは、OCTボリュームデータ400に対し所定のセグメンテーション処理を行うことにより特定可能である。また、RPE層を、OCTボリュームデータ400の中で最も高輝層をRPE層として、特定するようにしてもよい。
【0078】
RPE層から10画素下の面を第1面として設定することは、RPE層より深い領域(眼球の中心から見てRPE層より遠い領域)が脈絡膜の領域であり、脈絡膜血管が存在する領域のen-face画像を生成するために有効である。このRPE層から10画素下の面を第1面として設定することに限定されず、例えば、RPE層のすぐ下に存在するブルッフ膜から10画素下の面を第1面としてもよい。ブルッフ膜も、OCTボリュームデータ400に対しRPE層のためのものとは異なる他の所定のセグメンテーション処理を行うことにより特定される。なお、10画素下の位置を特定するために、OCTボリュームデータを生成したときのA-スキャンの方向の10画素下としてもよい。
【0079】
また、RPE層又はブルッフ膜から10画素下の面を、第1面として特定することに限定されず、任意の画素数で設定するようにしてもよい。また画素数での定義ではなく、ミリメートルやナノメートルなどの長さで定義してもよい。また、基準面として、瞳孔あるいは眼球中心から、一定距離を保った球面を基準面として定義してもよい。
【0080】
ステップS223で、画像処理部206は、設定された第1面に対応する第1のen-face画像を生成する。当該en-face画像は第1面に存在する画素の画素値から生成されてもよいし、第1面を含む浅い方向の画素群および深い方向の画素群をOCTボリュームデータ400から抽出し、これらの画素群の輝度値の平均値あるいは中央値として画素値を求めてもよい。画素値を求める場合にノイズ除去などの画像処理を用いてもよい。生成された第1面に対応する1枚目のen-face画像は、処理部208によりRAM266に保存される。
【0081】
ステップS224で、画像処理部206は、n枚目(ここでは、第1面)のen-face画像に関する画像特徴量を導出する。ここでは、第1面のen-face画像に関する標準偏差値を導出する。標準偏差値は、en-face画像に存在する画素の画素値を用いて導出される。当該画像特徴量を導出する際には、層の適用範囲を定めてもよい。例えば、予め定めた所定の層範囲を、画像特徴量を導出する範囲として決定する処理を行い、決定された層範囲について画像特徴量を導出することが可能である。予め定めた所定の層範囲には、境界が存在する深さが経験的に確認されている層範囲(例えば、80層から120層等の層範囲)を適用することが可能である。
【0082】
ステップS225で、画像処理部206は、境界判定値Hoを用いて、標準偏差値が境界判定値Hoに該当するかを判別することで、血管有無の境界を判定する。当該血管有無の境界の判定は、血管成分が存在しないen-face画像、又は血管有無の切り替えが生じた隣り合うen-face画像間を境界として判定する。
【0083】
ステップS226で、画像処理部206は、血管有無の境界の判定結果に基づいて、境界を検出したかを判断し、肯定判断の場合はステップS229へ処理を移行し、否定判断の場合はステップS227へ処理を移行する。
【0084】
血管有無の境界が判定されてステップS229に処理が移行されると、画像処理部206は、血管有無の境界を示す情報を保存する。具体的には、ステップS229で、処理部208は、判定されたen-face画像の位置、又は隣り合うen-face画像の間の位置をRAM266あるいは記憶装置254に保存し、処理を終了する。
【0085】
一方、ステップS227で、画像処理部206は、パラメータnをインクリメントし(n=n+1)、ステップS228で第n面を設定し、ステップS223へ処理を戻す。
【0086】
このようにして、画像処理部206は、ステップS223からステップS228のループをパラメータnが最大数Nになるまで繰り返す。
【0087】
図9に示す画像処理を、画像処理部206が実行することにより、血管有無の境界を特定可能になり、当該境界を脈絡血管画像に重畳することで、血管画像とノイズ画像との境界、例えば強膜に対応する部分を可視化することができる。
【0088】
次に、ステップS30の渦静脈(VV)に関する立体画像を生成する脈絡膜血管の画像形成処理を、図10を用いて詳細に説明する。
【0089】
図10のステップS31で、画像処理部206は、ステップS20で取得したOCTボリュームデータ400(図13を参照)から脈絡膜に相当する領域を抽出し、抽出された領域に基づいて、脈絡膜部分のOCTボリュームデータを抽出(取得)する。
【0090】
具体的には、画像処理部206は、脈絡膜血管抽出用にOCTボリュームデータを取得する。OCTボリュームデータを取得は、渦静脈と当該渦静脈の周辺の脈絡膜血管とを含むようにスキャンされたOCTボリュームデータの一部を抽出する処理を行ってもよい。例えば、RPE層から下の領域のOCTボリュームデータ400Dを抽出してもよい。また、上述した血管成分有無境界取得処理で血管成分有と判定された領域のOCTボリュームデータ400Dを抽出してもよい。
【0091】
次に、ステップS32で、画像処理部206は、OCTボリュームデータ400Dを用いて第1の血管抽出処理(膨大部抽出)を実行する。第1の血管抽出処理は、第1の血管である膨大部を形成する脈絡膜血管(以下、膨大部という。)を抽出する処理である。
【0092】
画像処理部206は、第1の血管抽出処理(膨大部抽出)の前処理として、OCTボリュームデータ400Dに対して二値化処理を施す処理を実行し、その後にノイズ除去処理を実行する。ノイズ領域を削除するために、画像処理部206は、メディアンフィルター、opening処理、又は、収縮処理などを二値化されたOCTボリュームデータ400Dに施し、ノイズ領域を削除する。
【0093】
次に、画像処理部206は、抽出した膨大部の表面平滑化のため、上記ノイズ領域が削除されたOCTボリュームデータに、セグメンテーション処理(動的輪郭、グラフカット、又はU-netなどの画像処理)を実行する。なお、「セグメンテーション」とは、解析を行う画像に対して背景と前景を分離する二値化処理を行う画像処理のことをいう。
【0094】
このような第1の血管抽出処理を行うことにより、OCTボリュームデータ400Dから膨大部の領域のみが残ることになり、図15に示す膨大部の血管の立体画像680Bが生成される。膨大部の血管の立体画像680Bの画像データは処理部208によりRAM266に保存される。
【0095】
また、画像処理部206は、図10に示すステップS33で、OCTボリュームデータ400Dを用いて第2の血管抽出処理(太い血管抽出)を実行する。第2の血管抽出処理は、膨大部から進展する太い線状の第2の血管である、予め定めた閾値、すなわち予め定めた所定径を越える脈絡膜血管(太い血管)を抽出する処理である。第2の血管抽出処理(太い血管抽出)では、膨大部から進展する線状の第2の血管を抽出する。当該太い血管は、主として、ハーラ(Haller)層に配置される血管を示す。
【0096】
なお、予め定めた閾値(すなわち予め定めた所定径)は、数100μm径の血管を太い血管として残すように予め定めた数値を用いることが可能である。また、後述する細い血管を残すように定める閾値は、太い血管として残すように定めた数100μm径未満の数値を用いてもよく、太い血管として残すように予め定めた数値より小さい数値を定めてもよい。例えば、数10μm径の血管を細い血管として残すように予め定めた数値を用いることが可能である。
【0097】
画像処理部206は、OCTボリュームデータ400Dに対して前処理を施す画像処理を実行する。前処理の一例には、ノイズ除去などのぼかし処理が挙げられる。当該ぼかし処理には、スペックルノイズの影響を排除し、正しく血管形状を反映した線状血管抽出を行う処理が適用可能である。スペックルノイズ処理としては、ガウシアンぼかし処理などが挙げられる。
【0098】
次に、画像処理部206は、前処理が施されたOCTボリュームデータ400Dに対して、線抽出処理(太い線状血管抽出)を施すことにより、OCTボリュームデータ400Dから太い線状部である第2の脈絡膜血管を抽出する。第2の脈絡膜血管の抽出処理では、例えば、固有値フィルター、ガボールフィルターなどを用いた画像処理を行い、OCTボリュームデータ400Dから、線状血管の領域を抽出する。
【0099】
画像処理部206は、OCTボリュームデータ400Dに対して二値化処理を施す処理を実行し、二値化された線状血管の領域に対して、周囲の血管とつながっていない孤立している領域を削除する処理、メディアンフィルター処理、オープニング処理、及び収縮処理などの画像処理を行い、離散的な微小領域を除去する。
【0100】
以上の画像処理によって、太い血管である第2の脈絡膜血管に関する第2の立体画像が生成される。
【0101】
上述した第2の血管抽出処理を行うことにより、OCTボリュームデータ400Dから太い血管の領域のみが残ることになり、図15に示す太い血管の立体画像680Lが生成される。太い血管の立体画像680Lの画像データは処理部208によりRAM266に保存される。
【0102】
また、図16に、上述した画像処理(図5)により得られる渦静脈VVの周辺における脈絡膜血管の立体画像の一例を示す。
上述した第2の血管抽出処理を行うことにより、OCTボリュームデータ400Dから太い血管の領域のみが残ることになり、図16に示す太い血管の立体画像681Lが生成される。この太い血管の立体画像681Lの画像データも処理部208によりRAM266に保存される。
【0103】
画像処理部206は、膨大部の立体画像680Bと線状血管の立体画像680Lとに、両方の立体画像の位置合わせを行い、両方の画像の論理和を演算することにより、線状血管の立体画像680Lと膨大部の立体画像680Bとが合成される。これにより、太い血管である渦静脈を含む脈絡膜血管の立体画像680M(図15)を生成することが可能である。上述した太い血管を抽出する処理では、上記所定径より小さい細い血管が除去されることがある。
【0104】
ところで、渦静脈を観察する場合、ハーラ(Haller)層に位置する太い血管に加えて、主としてサトラ(Sattler)層に配置される細い血管を観察することも重要である。例えば、パキコロイド疾患などの診断には、サトラ層における細い血管の解析が有効に機能する。そこで、本開示は、膨大部から進展する細い線状の第3の血管である、予め定めた閾値、すなわち予め定めた所定径以下の脈絡膜血管(細い血管)を抽出する処理を含む。
【0105】
具体的には、画像処理部206は、図10に示すステップS34で、OCTボリュームデータ400Dを用いて第3の血管抽出処理(細い血管抽出)を実行する。第3の血管抽出処理は、膨大部から進展する細い線状の第3の血管である、予め定めた閾値、すなわち予め定めた所定径以下の脈絡膜血管(細い血管)を抽出する処理である。第3の血管抽出処理(細い血管抽出)では、膨大部から進展する線状の第3の血管を抽出する。当該細い血管は、主として、サトラ(Sattler)層に配置される血管を示す。第3の血管抽出処理(細い血管抽出)では、図11に示す第3の画像処理が実行される。
【0106】
画像処理部206は、細い血管である第3の血管を抽出する処理において、第1前処理及び第2前処理を含む細い血管用の前処理をOCTボリュームデータ400Dに施す。まず、図11に示すステップS341で、OCTボリュームデータ400Dに対して第1前処理を施す画像処理を実行する。第1前処理の一例には、ノイズ除去を行う処理の一例として、ぼかし処理が挙げられる。
【0107】
次のステップS342で、画像処理部206は、第1前処理が施されたOCTボリュームデータ400Dに対して、第2前処理を施す画像処理を実行する。第2前処理の一例には、コントラスト強調処理が適用される。コントラスト強調処理は、細い血管を抽出する際に有効に機能する。コントラスト強調処理は、画像のコントラストを処理前より大きくする、すなわち、明暗の差を大きくする処理である。例えば、明るさの度合い(例えば、輝度)の最大値及び最小値の差を処理前の差の値から所定値より大きくする。当該所定値は適宜設定可能である。
【0108】
上述したコントラスト強調処理を施した画像を二値化すると、細い血管が連続する線状となって表れ、連続する細い血管が分離されることを低減可能となる。
【0109】
なお、ステップS342では、画像処理部206は、例えば、固有値フィルター、ガボールフィルターなどを用いた画像処理を行い、OCTボリュームデータ400Dから、細い血管である線状血管の領域を抽出することが可能である。
【0110】
次に、画像処理部206は、図11に示すステップS343で、コントラスト強調処理が施されたOCTボリュームデータ400Dに対して二値化処理を施す画像処理を実行する。具体的には、二値化の閾値を、細い血管を残すような所定の閾値に設定することにより、OCTボリュームデータDは、細い血管が黒画素、それ以外の部分が白画素となる。
【0111】
さらに、画像処理部206は、ステップS344で、二値化された画像(細い血管を含む領域)に対して、離散的な微小領域を除去する。ここでは、例えば、スペックルノイズ及び周囲の血管に連続しないことが推定される所定距離を隔てて孤立している領域を削除する処理などの画像処理を行い、離散的な微小領域を除去する。
【0112】
次のステップS345では、画像処理部206は、後処理として、微小領域が除去されたOCTボリュームデータ400Dに対して、微細領域接続処理を施すことにより、OCTボリュームデータ400Dから細い線状部の細い血管である第3の脈絡膜血管を抽出する。具体的には、画像処理部206は、例えば、クロージング処理等のモルフォルジ処理などを用いた画像処理を行い、離散的に検出された細い血管を連結することにより、OCTボリュームデータ400Dから細い血管である第3の脈絡膜血管を抽出する。具体的には、予め定めた所定距離以内の第3の脈絡膜血管を連結する。当該微細領域接続処理を施した画像は、曲率が大きい部位を有する細い血管であっても、連続する線状となって表れ、連続する細い血管が分離されることを低減可能となる。
【0113】
また、画像処理部206は、ステップS346で、抽出した細い血管の表面平滑化のため、上記微細領域が接続されたOCTボリュームデータに、セグメンテーション処理(動的輪郭、グラフカット、又はU-netなどの画像処理)を実行する。すなわち、解析を行う画像に対して背景と前景を分離する処理を行う。
【0114】
以上の画像処理によって、細い血管である第3の脈絡膜血管に関する第3の立体画像が生成される。
【0115】
上述した第3の血管抽出処理を行うことにより、OCTボリュームデータ400Dから細い血管の領域のみが残ることになり、図16に示す細い血管の立体画像681Sが生成される。細い血管の立体画像681Sの画像データは処理部208によりRAM266に保存される。
【0116】
ステップS32、S33、S34の処理は、上述した処理順序に限定されるものではなく、何れかの処理を先に実行してもよいし、同時に並行して進めてもよい。
【0117】
ステップS32、S33、S34の処理が完了すると、ステップS35で、画像処理部206は、膨大部の立体画像、太い血管の立体画像、及び細い血管の立体画像をRAM266から読み出す。そして、これらの立体画像の位置合わせを行い、各々の画像の論理和を演算することにより、膨大部の立体画像、太い血管の立体画像、及び細い血管の立体画が合成される。これにより、渦静脈を含む脈絡膜血管の立体画像381M(図16参照)が生成される。立体画像681Mの画像データは、処理部208によりRAM266や記憶装置254に保存される。
【0118】
また、上述した血管成分有無境界取得処理(図9)により得られた血管有無の境界を示す情報もRAM266から読み出し、合成した立体画像に合成する。血管有無の境界を示す情報が構成された立体画像681Mの画像データは、処理部208によりRAM266や記憶装置254に保存される。
【0119】
以下、生成された渦静脈を含む脈絡膜血管の立体画像(3D画像)を表示するためのディスプレイ・スクリーンについて説明する。当該ディスプレイ・スクリーンは、ユーザの指示に基づきサーバ140の表示制御部204により生成され、処理部208により、ビューワ150に画像信号として出力される。ビューワ150は、当該画像信号に基づき、ディスプレイ・スクリーンをディスプレイに表示する。
【0120】
図17には、ディスプレイ・スクリーン500Aが示されている。図17に示すように、ディスプレイ・スクリーン500Aは、インフォメーションエリア502と、イメージディスプレイエリア504Aとを有する。イメージディスプレイエリア504Aには、患者の治療歴を表示するコメントフィールド506を含む。
【0121】
インフォメーションエリア502には、患者IDディスプレイフィールド512、患者名ディスプレイフィールド514、年齢ディスプレイフィールド516、視力ディスプレイフィールド518、右眼/左眼ディスプレイフィールド520、及び眼軸長ディスプレイフィールド522を有する。患者IDディスプレイフィールド512から眼軸長ディスプレイフィールド522の各表示領域には、ビューワ150が、サーバ140から受信した情報に基づいて、各々の情報を表示する。
【0122】
イメージディスプレイエリア504Aは、主として被検眼像等を表示する領域である。イメージディスプレイエリア504Aには、以下の各表示フィールドが設けられている、具体的には、UWF眼底画像表示フィールド542、及び脈絡膜血管の立体画像表示フィールド548を含む。図示は省略したが、イメージディスプレイエリア504Aには、OCTボリュームデータ概念図表示フィールド、及び断層画像表示フィールド546を重畳表示可能である。
【0123】
イメージディスプレイエリア504Aに含まれるコメントフィールド506は、患者の治療歴の表示、及びユーザである眼科医が観察した結果、並びに診断結果を任意に入力できる備考欄として機能する。
【0124】
UWF眼底画像表示フィールド542には、被検眼の眼底を眼科装置110で撮影したUWF-SLO眼底画像542Bが表示されている。UWF-SLO眼底画像542Bには、OCTボリュームデータを取得した位置を示す範囲542Aが重畳表示されている。当該UWF-SLO画像に関連付けられたOCTボリュームデータが複数存在する場合は、複数の範囲が重畳表示するようにし、ユーザは、複数の範囲から、1つの位置を選択するようにしてもよい。図17では、UWF-SLO画像の右上の渦静脈を含む範囲をスキャンしたことを示している。
【0125】
脈絡膜血管の立体画像表示フィールド548には、OCTボリュームデータを画像処理して得られた脈絡膜血管の立体画像(3D画像)548Bが表示される。当該立体画像548Bは、ユーザの操作により立体画像を3軸で回転できる。また、脈絡膜血管の立体画像548Bは、膨大部548Xから進展する第2の脈絡膜血管の画像(太い血管の立体画像)及び第3の脈絡膜血管の画像(細い血管の立体画像)を異なる表示形態で表示可能である。図17では、膨大部548Xから進展する太い血管の立体画像548Lを実線で示し、細い血管の立体画像548Sを点線で示している。また、太い血管の立体画像548Lと、細い血管の立体画像548Sとを異なる色彩で表示するようにしてもよし、画像の背景(塗りつぶし)の形態を異ならせてもよい。
【0126】
また、脈絡膜血管の立体画像表示フィールド548には、上述した血管成分有無境界取得処理によって取得された脈絡膜血管の有無の境界を重畳表示する。図17では、太実線で層の境界548Pを表示した一例が示されている。この境界548Pは、脈絡膜血管の有無に関する境界であり、血管成分を含む部位を確認でき、患者に対する治療を的確に行うことが可能となる。また、血管の深さなどの定量計測を高精度で実行することも可能となる。
【0127】
ディスプレイ・スクリーン500Aのイメージディスプレイエリア504Aによれば、太い血管及び細い血管を含む脈絡膜血管の立体画像を確認することができる。渦静脈を含む範囲をスキャンすれば、渦静脈とその周辺の太い血管及び細い血管を含む脈絡膜血管を立体画像で表示することができ、さらに、脈絡膜血管の有無の境界を重畳表示することで、ユーザは診断のためのより多くの情報を得ることが可能となる。
【0128】
以上説明したように本実施の形態では、脈絡膜を含むOCTボリュームデータに基づいて脈絡膜血管の有無の境界を取得可能であるので、脈絡膜血管の有無を示す境界を脈絡膜血管と併せて立体的に可視化することが可能となる。
【0129】
なお、上記では、画像特徴量を用いて境界を特定する場合を説明したが、血管成分の有無により変化する画像特徴量に限定されない。例えば、脈絡膜血管に関する情報を用いて境界を特定することも可能である。脈絡膜血管は、層が深くなると徐々に細くなる。本開示では、眼底における層の深さに関する情報と当該深さにおける脈絡膜血管の径に関する情報との情報を補助的に用いて、境界を特定することも可能である。具体的には、脈絡膜血管の太さ、又は脈絡膜血管の太さが深さ方向に対応して変化する度合いを検出し、当該太さ又は度合いと、予め定めた閾値とに基づいて境界を特定することが可能である。例えば、脈絡膜血管の太さと閾値との各情報を用いる場合、境界に対応する前記太さを示す閾値を予め定めておき、脈絡膜血管の太さが閾値以下になる層を境界として特定することが可能である。また、前記度合いと閾値との各情報を用いる場合、境界に対応する前記変化する度合いを示す閾値を予め定めておき、脈絡膜血管の太さに関して前記変化する度合いが閾値以下になる層を境界として特定することが可能である。
【0130】
上記実施の形態では、画像処理(図5)は、サーバ140が実行しているが、本開示はこれに限定されず、眼科装置110、ビューワ150、又は、ネットワーク130に更に設けた追加画像処理装置が実行してもよい。
【0131】
本開示において、各構成要素(装置等)は、矛盾が生じない限りは、1つのみ存在しても2つ以上存在してもよい。
【0132】
以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示はこれに限定されるものではなく、少なくとも一部の処理をハードウェア構成で実現してもよい。また、上記では、汎用的なプロセッサの一例としてCPUを用いて説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。従って、ハードウェア構成のみによって、画像処理が実行されるようにしてもよいし、画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【0133】
また、上述したプロセッサの動作は、1つのプロセッサによって成すのみでなく、複数のプロセッサが連携して成すものであってもよく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。
【0134】
また、上述した処理をコンピュータにより実行させるために、上述した処理をコンピュータで処理可能なコードで記述したプログラムを光ディスク等の記憶媒体等に記憶して流通するようにしてもよい。
【0135】
このように本開示は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合とされない場合とを含むので、以下の技術を含む。
【0136】
(第1の技術)
脈絡膜を含むOCTボリュームデータを取得する取得部と、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成する生成部と、
前記複数のen-face画像の各々における画像特徴量を導出する導出部と、
前記画像特徴量の各々に基づいて、前記画像特徴量が脈絡膜血管の有無の切り替わりを示すen-face画像の間を境界として決定する決定部と、
を備える画像処理装置。
【0137】
(第2の技術)
取得部が、脈絡膜を含むOCTボリュームデータを取得するステップと、
生成部が、前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
導出部が、前記複数のen-face画像の各々における画像特徴量を導出するステップと、
決定部が、前記画像特徴量の各々に基づいて、前記画像特徴量が脈絡膜血管の有無の切り替わりを示すen-face画像の間を境界として決定するステップと、
を含む画像処理方法。
画像処理部206は、本開示の「取得部」、「生成部」、導出部及び決定部の一例である。
以上の開示内容から以下の技術が提案される。
【0138】
(第3の技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
プロセッサに、
脈絡膜を含むOCTボリュームデータを取得するステップと、
前記OCTボリュームデータに基づいて、深さが異なる複数の面に対応する複数のen-face画像を生成するステップと、
前記複数のen-face画像の各々における画像特徴量を導出するステップと、
前記画像特徴量の各々に基づいて、前記画像特徴量が脈絡膜血管の有無の切り替わりを示すen-face画像の間を境界として決定するステップと、
を処理させる、
コンピュータープログラム製品。
サーバ140は、本開示の「コンピュータープログラム製品」の一例である。
【0139】
以上、本開示の技術を実施形態を用いて説明したが、上述した画像処理はあくまでも一例であり、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。従って、主旨を逸脱しない範囲内で不要な処理を削除したり、新たな処理を追加したり、処理順序を入れ替えたりする等の上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本開示の技術的範囲に含まれる。
【0140】
なお、日本国特許出願第2022-066636号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17