特許 7579889 画像処理方法、プログラム、画像処理装置、眼科システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-30

(45)【発行日】2024-11-08

(54)【発明の名称】画像処理方法、プログラム、画像処理装置、眼科システム

(51)【国際特許分類】

   A61B 3/10 20060101AFI20241031BHJP

【ＦＩ】

A61B3/10 300

【請求項の数】 16

(21)【出願番号】P 2022576259

(86)(22)【出願日】2021-01-19

(86)【国際出願番号】 JP2021001731

(87)【国際公開番号】W WO2022157838

(87)【国際公開日】2022-07-28

【審査請求日】2023-07-13

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(73)【特許権者】

【識別番号】518148973

【氏名又は名称】株式会社シンクアウト

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】田邉 泰士

(72)【発明者】

【氏名】向井 真梨子

(72)【発明者】

【氏名】吉 媛テイ

(72)【発明者】

【氏名】田淵 仁志

【審査官】後藤 昌夫

(56)【参考文献】

【文献】特開２０２０－０５８６４７（ＪＰ，Ａ）

【文献】特開２０１９－２０２２２９（ＪＰ，Ａ）

【文献】特開２０１８－０２００２４（ＪＰ，Ａ）

【文献】特開２０１４－１１０８８４（ＪＰ，Ａ）

【文献】米国特許第０８８７９８１３（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

眼科装置で撮影して得られた広角眼底画像を取得する処理と、
異常所見が付与された前記広角眼底画像から複数の部分画像を抽出する処理と、
前記異常所見の根拠となる異常領域が示される第一部分画像を前記複数の部分画像から選択する選択処理と、
前記第一部分画像を表示する表示処理と、
を含む画像処理方法。

【請求項2】

前記表示処理は、前記複数の部分画像のうち、前記異常領域が示されない第二部分画像を、前記第一部分画像と同時に表示する処理である請求項１に記載の画像処理方法。

【請求項3】

前記表示処理は、前記第一部分画像と前記第二部分画像とを異なる表示形態で表示する処理である請求項２に記載の画像処理方法。

【請求項4】

前記表示処理は、前記第一部分画像を前記第二部分画像よりも大きいサイズで表示する請求項３に記載の画像処理方法。

【請求項5】

前記表示処理は、前記第一部分画像から前記異常領域を抽出し、前記第二部分画像よりも高い表示倍率で前記異常領域を表示する請求項３または請求項４に記載の画像処理方法。

【請求項6】

前記表示処理は、前記広角眼底画像における前記第一部分画像の位置を表示する位置表示画像を、前記第一部分画像と同時に表示する処理である請求項１から請求項５のいずれか一項に記載の画像処理方法。

【請求項7】

前記第一部分画像の中の前記異常領域を強調表示する処理をさらに含む、請求項１ないし６のいずれか１に記載の画像処理方法。

【請求項8】

前記強調表示は、前記異常所見の種別に応じて変更される、請求項７に記載の画像処理方法。

【請求項9】

異常所見を推定する推定器に前記広角眼底画像を入力する処理と、
前記推定器に、前記広角眼底画像における前記異常所見を推定させる推定処理と、をさらに含む、請求項１から８のいずれか一項に記載の画像処理方法。

【請求項10】

前記推定器は、異常所見を推定する学習済みモデルである、請求項９に記載の画像処理方法。

【請求項11】

前記広角眼底画像について異常所見に関するアノテーションの追加を受け付ける処理と、
前記アノテーションと前記広角眼底画像とにより前記学習済みモデルを再学習させる処理と、をさらに含む請求項１０に記載の画像処理方法。

【請求項12】

前記推定処理は、前記推定器に前記異常所見の深刻度を推定させる処理をさらに含み、
前記表示処理は、
前記深刻度に応じて前記第一部分画像の表示方法を変更する処理を含む、請求項９から１１のいずれか一項に記載の画像処理方法。

【請求項13】

前記広角眼底画像での前記異常領域の位置に対してＯＣＴシステムによる撮影を行い、前記位置における断層画像を取得する処理と、
をさらに含む、請求項１から１２のいずれか１項に記載の画像処理方法。

【請求項14】

請求項１から１３のいずれか１項に記載の画像処理方法を、コンピュータに実行させるプログラム。

【請求項15】

請求項１から１３のいずれか１項に記載の画像処理方法を実行する処理部を備える、画像処理装置。

【請求項16】

請求項１から１３のいずれか１項に記載の画像処理方法を実行する処理部を備える、眼科システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、プログラム、画像処理装置、及び眼科システムに関する。

【背景技術】

【0002】

従来、眼底画像中の詳細観察のため、ユーザの操作により拡大画像を表示する方法が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第2020/0069175号明細書

【発明の概要】

【0004】

本開示の技術は、新規な画像処理方法を提供する。

【課題を解決するための手段】

【0005】

本発明の一実施態様は、眼科装置で撮影して得られた広角眼底画像を取得する処理と、異常所見が付与された前記広角眼底画像から複数の部分画像を抽出する処理と、前記異常所見の根拠となる異常領域が示される第一部分画像を前記複数の部分画像から選択する選択処理と、前記第一部分画像を表示する表示処理と、を含む画像処理方法である。

【図面の簡単な説明】

【0006】

【図1】第１実施形態に係る情報処理システムの全体構成図である。

【図2】第１実施形態に係る情報処理装置のハードウェア構成を示す図である。

【図3】第１実施形態に係る眼科装置の構成を示す図である。

【図4】第１実施形態に係るサーバの機能構成を示す図である。

【図5】第１実施形態に係る検出部の構成を示す図である。

【図6】第１実施形態に係る処理概要を示すフローチャートである。

【図7】第１実施形態に係る推定処理を示すフローチャートである。

【図8】第１実施形態に係る出力処理を示すフローチャートである。

【図9】第１実施形態に係る追加処理を示すフローチャートである。

【図10】広角眼底画像の部分領域設定例と、生成された部分画像を用いたＧＵＩの一例を示す図である。

【図11】広角眼底画像の部分領域設定例と、生成された部分画像を用いたＧＵＩの一例を示す図である。

【図12】ＧＵＩの一例を示す図である。

【図13】ＧＵＩの一例を示す図である。

【図14】ＧＵＩの一例を示す図である。

【図15】第２実施形態に係るサーバの機能構成を示す図である。

【図16】第２実施形態に係る推定処理を示すフローチャートである。

【発明を実施するための形態】

【0007】

＜第１実施形態＞
以下、本発明をその一実施形態である第１実施形態に即して図面を参照しつつ説明する。

【0008】

〔構成〕
図１に本発明の一実施形態に係る情報処理システム１の構成を示す。情報処理システム１は、サーバ１０、端末２０、及び眼科装置３０を含む。サーバ１０、端末２０、および眼科装置３０は、ネットワーク５を介して互いにデータの送受信が可能となるように接続されている。

【0009】

ネットワーク５は、無線方式または有線方式の通信手段であり、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆通信網、専用線等である。なお、本実施形態による情報処理システム１は複数の情報管理装置によって構成されているが、本発明はこれらの装置の数を限定するものではない。そのため、情報処理システム１は、以下のような機能を備えるものであれば、１以上の装置によって構成することができる。

【0010】

サーバ１０及び端末２０は、病院や診療所等の医療機関に備えられている情報処理装置であり、主に医療機関の従事者によって操作され、眼科装置３０で撮影された画像の取得、ならびに画像の編集及び解析の処理を行う。

【0011】

眼科装置３０は、ＳＬＯ（Scanning. Laser Ophthalmoscope）やＯＣＴ（光干渉断層撮影）を行う装置である（図３）。眼科装置３０は、制御装置３１と、撮影装置３２とを有する。

【0012】

図２は、サーバ１０、端末２０、及び眼科装置３０の制御装置３１の実現に用いるハードウェア（以下、「情報処理装置１００」と称する。）の一例である。同図に示すように、情報処理装置１００は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、入力装置１０４、出力装置１０５、および通信装置１０６を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。

【0013】

尚、情報処理装置１００は、その全ての構成が必ずしもハードウェアで実現されている必要はなく、構成の全部又は一部が、例えば、クラウドシステム（cloud system）のクラウドサーバ（cloud server）のような仮想的な資源によって実現されていてもよい。

【0014】

プロセッサ１０１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等を用いて構成される。プロセッサ１０１が、主記憶装置１０２に格納されているプログラムを読み出して実行することにより、サーバ１０や端末２０、及び制御装置３１の機能が実現される。

【0015】

主記憶装置１０２は、プログラムやデータを記憶する装置であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性半導体メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。

【0016】

補助記憶装置１０３は、例えば、ＳＳＤ（Solid State Drive）、ＳＤメモリカード等の各種不揮発性メモリ（NVRAM:Non-volatile memory）、ハードディスクドライブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等）、クラウドサーバの記憶領域等である。補助記憶装置１０３に格納されているプログラムやデータは主記憶装置１０２に随時読み込まれる。

【0017】

入力装置１０４は、情報の入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置（マイクロフォン等）、音声認識装置等である。情報処理装置１００が通信装置１０６を介して他の装置との間で情報の入力を受け付ける構成としてもよい。

【0018】

出力装置１０５は、各種の情報を出力するインタフェースであり、例えば、画面表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、印字装置等）、音声出力装置（スピーカ等）、音声合成装置等である。情報処理装置１００が通信装置１０６を介して他の装置との間で情報の出力を行う構成としてもよい。出力装置１０５は本発明における表示部に相当する。

【0019】

通信装置１０６は、ネットワーク５を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、シリアル通信モジュール等である。

【0020】

眼科装置３０が備える構成を図３に示す。眼科装置３０は、撮影装置３２及び制御装置３１を含む。なお、制御装置３１は、撮影装置３２と同じ筐体内に設けられてよいし、撮影装置３２とは別体としてもよい。

【0021】

撮影装置３２は、制御装置３１の制御下で作動する。撮影装置３２は、ＳＬＯユニット３３、撮影光学系３４、及びＯＣＴユニット３５を含む。撮影光学系３４は、光学スキャナ３４１及び広角光学系３４２を含む。撮影装置３２は、被検眼の画像を撮影する。撮影装置３２は、例えば被検眼の眼底を撮像し、後述する眼底画像や断層画像（ＯＣＴ画像）を取得する。

【0022】

ＳＬＯユニット１８は被検眼１２の眼底１２Ａの画像を取得する。ＯＣＴユニット２０は被検眼１２の断層画像を取得する。以下では、ＳＬＯユニット１８により取得されたＳＬＯデータに基づいて作成された網膜の正面視画像をＳＬＯ画像と称し、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）等をＯＣＴ画像と称する。なお、ＳＬＯ画像は、二次元眼底画像と言及されることもある。また、ＯＣＴ画像は、被検眼１２の撮影部位に応じて、眼底断層画像、後眼部断層画像、前眼部断層画像と言及されることもある。

【0023】

以下、眼科装置３０で撮影された画像を被検眼画像と称することもある。また、被検眼画像が、後述の通り広角光学系を用いて眼底を撮影した画像である場合には、広角眼底画像Ｐと称することもある。

【0024】

光学スキャナ３４１は、ＳＬＯユニット３３から射出された光をＸ方向、及びＹ方向に走査する。光学スキャナ３４１は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーやガルバノミラー等を用いることができる。

【0025】

広角光学系３４２は、対物光学系を含む。広角光学系３４２によって、眼底において広角の視野が得られる。ＳＬＯシステムは、図３に示す制御装置３１、ＳＬＯユニット３３、及び撮影光学系３４によって実現される。ＳＬＯシステムは、広角光学系３４２を備えるため、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）での観察が実現される。ＦＯＶは、撮影装置３２によって撮影可能な範囲を示している。ＦＯＶは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、ＵＷＦ眼科装置１１０から被検眼へ照射される光束の照射角を、瞳孔を基準として規定した照射角である。また、内部照射角とは、眼底１２Ａへ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施の形態では、内部照射角は２００度としている。ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像と称する。

【0026】

広角光学系３４２は楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示および国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。

【0027】

ＳＬＯユニット３３は、青色光（Ｂ光）の光源３３１Ｂ、緑色光（Ｇ光）の光源３３１Ｇ、赤色光（Ｒ光）の光源３３１Ｒ、及び、近赤外光などの赤外線（ＩＲ光）の光源３３１ＩＲと、これらの光源からの光を反射又は透過して１つの光路に導く光学系３３５とを備えている。また、ＳＬＯユニット３３は、ビームスプリッタ３３２、Ｂ光、Ｇ光、Ｒ光及び、ＩＲ光をそれぞれ検出する検出素子３３３Ｂ、３３３Ｇ、３３３Ｒ、及び、３３３ＩＲを備える。

【0028】

ＳＬＯユニット３３は、Ｂ光、Ｒ光及びＧ光を発するモードと、ＩＲ光を発するモードなど、発光させる光源あるいは発光させる光源の組合せを切り替え可能である。

【0029】

ビームスプリッタ３３２は、眼底からの反射光を、Ｂ光、Ｒ光、Ｇ光、及びＩＲ光に分解し、それぞれの光を、検出素子３３３Ｂ、３３３Ｇ、３３３Ｒ、３３３ＩＲへ向けて反射する機能を有する。

【0030】

検出素子３３３Ｂ、３３３Ｇ、３３３Ｒ、３３３ＩＲは、それぞれ、Ｂ光、Ｒ光、Ｇ光、及びＩＲ光を検出することができる。

【0031】

ＳＬＯユニット３３から撮影光学系３４に入射した光は、光学スキャナ３４１によってＸ方向およびＹ方向に走査される。走査光は広角光学系３４２を経由して、眼底に照射される。眼底により反射された反射光は、広角光学系３４２および光学スキャナ３４１を経由してＳＬＯユニット３３へ入射する。

【0032】

眼底により反射された反射光は、広角光学系３４２および光学スキャナ３４１を経由してＳＬＯユニット３３へ入射し、ビームスプリッタ３３２によってＢ光、Ｒ光、Ｇ光、及びＩＲ光に分解される。これらの光は、それぞれ検出素子３３３Ｂ、３３３Ｇ、３３３Ｒ、３３３ＩＲに検出される。

【0033】

検出素子３３３Ｂ、３３３Ｇ、３３３Ｒ、３３３ＩＲが検出したＢ光、Ｒ光、Ｇ光、及びＩＲ光の情報を収集することにより、制御装置３１のプロセッサ１０１は、ＳＬＯ眼底画像を生成することができる。

【0034】

ＯＣＴシステムは、図３に示す制御装置３１、ＯＣＴユニット３５、及び撮影光学系３４によって構成される。ＯＣＴユニット３５は、光源３５１、センサ３５２、第１の光カプラ３５３、参照光学系３５４、コリメートレンズ３５５、及び第２の光カプラ３５６を備える。

【0035】

光源３５１から射出された光は、第１の光カプラ３５３で分岐される。分岐された一方の光は、測定光として、コリメートレンズ３５５で平行光化され、撮影光学系３４に入射する。撮影光学系３４に入射した光は光学スキャナ３４１によってＸ方向およびＹ方向に走査される。走査光は広角光学系３４２を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系３４２を経由してＯＣＴユニット３５へ入射し、コリメートレンズ３５５及び第１の光カプラ３５３を介して、第２の光カプラ３５６に入射する。

【0036】

光源３５１が出射し、第１の光カプラ３５３で分岐された他方の光は、参照光として、参照光学系３５４を経由して、第２の光カプラ３５６に入射する。

【0037】

参照光、及び眼底で反射された測定光は、第２の光カプラ３５６で干渉されて干渉光を生成する。干渉光はセンサ３５２で受光される。制御装置３１は、センサ３５２からの信号を受信し、断層画像を生成する。なお、ＯＣＴシステムを用いて撮影を行うこと、及び撮影によって得られた画像を、以下では簡略に、それぞれＯＣＴ撮影及びＯＣＴ画像と称する場合がある。

【0038】

〔ソフトウェア構成〕
サーバ１０が備える主な機能（機能構成）を図４に示す。同図に示すように、サーバ１０は、データベース１１４、及び管理部１２０の各機能を備える。管理部１２０は、特に画像処理部１１６、検出部１１８の各機能を備える。データベース１１４は、サーバ１０の主記憶装置１０２に格納されている。管理部１２０の各機能は、サーバ１０のプロセッサ１０１がサーバ１０の主記憶装置１０２に格納されているプログラムを読み出して実行することにより実現される。

【0039】

またサーバ１０は、上記の機能に加えて、オペレーティングシステム、ファイルシステム、デバイスドライバ、ＤＢＭＳ（DataBase Management System）等の機能を備える。

【0040】

管理部１２０は、画像の取得や管理等、サーバ１０が実行する処理を行う。管理部において取得および管理される画像は、眼科装置３０で撮影された画像を含む。画像処理部１１６は、ＧＵＩの生成や、眼科装置３０で撮影された画像に対する処理を主に行う。

【0041】

検出部１１８は、網膜または脈絡膜などを含む眼底において、出血や網膜剥離等の異常があるとの所見（以下、「異常所見」と称する）の有無、及びその詳細を、眼科装置３０で撮影された画像から推定する機能を有する。検出部１１８において、異常所見の有無及びその詳細は、被検眼画像内における異常領域を根拠として推定される。本実施形態において検出部１１８は、機械学習により生成された学習済みモデルである。

【0042】

詳細には、検出部１１８は、被検眼画像内における異常領域の画像特徴量を学習するディープラーニングを行うモデルである。検出部１１８は、入力された被検眼画像に対し、異常所見の有無の推定結果を示す情報を出力するニューラルネットワークを構築する。例えばニューラルネットワークは、深層ニューラルネットワーク（ＤＮＮ:Deep Neural Network）である。

【0043】

検出部１１８は、被検眼画像の入力を受け付ける入力層と、異常所見の有無の推定結果を出力する出力層と、被検眼画像の画像特徴量を抽出する中間層とを有する（図５）。入力層、出力層、及び中間層の各層は、ノード（図中、白丸で示す）を備えており、これらの各層のノードは、エッジ（図中、矢印で示す）によって接続されている。なお、図５に示す検出部１１８の構成は例示であり、ノード及びエッジの数、中間層の数などは適宜変更可能である。

【0044】

検出部１１８がＣＮＮ（Convolutional Neural Network）である場合、中間層は、入力層から入力された被検眼画像における各画素の画素値を畳み込む畳み込み層と、画素値をマッピングするプーリング層とを有し、これらの層を用いて被検眼画像の特徴量を抽出する。出力層は、入力された被検眼画像の異常所見を推定した結果を出力する、一つ又は複数のニューロンを有する。

【0045】

検出部１１８は、推定結果と共に、推定結果の確からしさを併せて出力することも可能である。確からしさは、例えば検出部１１８の出力層から出力される確率値であり、例えば、推定された異常所見がどの程度の信頼性を持つかを「０」から「１」までの値で示される。確からしさをユーザに通知することで、ユーザは推定結果がどの程度正確なものかを知ることができる。

【0046】

また、検出部１１８は、異常所見の深刻度を併せて出力する。深刻度とは、症状の重篤度や、症状のグレード、進行の速さ、症状が人体に与える影響の大きさなどと説明できる。症状などが例えば出血である場合、検出部１１８は、出血の大きさ、量などから、出血の深刻度を推定する。網膜剥離や新生血管など、他の異常所見に対しても同様に、検出部１１８は深刻度を出力する。

【0047】

特に本実施形態においては、検出部１１８がＣＮＮであるものとして説明するが、検出部１１８はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワークや、他の学習アルゴリズムで構築された学習済みモデルであってよい。

【0048】

データベース１１４には、広角眼底画像Ｐ、ＯＣＴ画像など、網膜及び脈絡膜など有する眼底組織を撮影して得られた画像が保存される。また、被検眼画像には、アノテーションも医療従事者等によって付与することができ、データベース１１４には、被検眼画像、及び、被検眼画像の一部を示す画像と関連付けて画像中においてアノテーションが付与された箇所及びアノテーションの内容を併せて保存することができる。保存されたデータは、検出部１１８の学習及び再学習に用いられる。アノテーションには、眼底の異常領域と、異常領域に付された黄斑変性など異常所見の詳細とを示す情報が含まれる。したがって検出部１１８の学習に用いられる際、アノテーションは、入力画像の異常所見及び異常領域の、正解を示すデータとしての機能を有する。このほかにもデータベース１１４は、被検眼画像の過去の記録を含む、電子カルテなどの患者の診療記録、患者ID、及び、その他データを保存する。また、データベース１１８は後述する検出部１１８で得られた所見に関する情報も、画像と関連付けられて保存する。

【0049】

検出部１１８の深層学習には、出血、新生血管などの異常領域を含む多数の画像と、これらの画像に対して付されたアノテーションとを含むデータセットが用いられる。このデータセットを検出部１１８に学習または再学習させることにより、検出部１１８の深層学習が行われる。

【0050】

〔処理〕
情報処理システム１によって実行される処理の一例について、図６～図９のフローチャートを用いて以下に説明する。サーバ１０の主記憶装置１０２に保存されたプログラムが起動され、サーバ１０の管理部１２０によって、情報処理システム１の処理が以下のように実行される。なお、以下ではサーバ１０の管理部１２０によって実行される処理を、簡略に「サーバ１０」が実行するものとして記載する場合がある。

【0051】

サーバ１０が行う処理の概要は、図６に示すように、大きく４つのステップによって構成される。まず、サーバ１０は、眼科装置３０が網膜を撮影することによって得られた被検眼画像の取得を行う（Ｓ１）。この例では、眼科装置３０により撮影された画像として広角眼底画像Ｐを用いるものとする。広角眼底画像Ｐは、上記のとおり、眼科装置３０のＳＬＯシステムによって撮影されたものである。管理部１２０は、ネットワーク５を介して眼科装置３０に保存された広角眼底画像Ｐを取得する。

【0052】

次に、管理部１２０は、取得した広角眼底画像Ｐ内における異常所見の有無を推定する（Ｓ３）。その後、管理部１２０は、異常所見の有無を推定した被検眼画像の出力処理を行う（Ｓ５）。

【0053】

次に、管理部１２０は追加処理を行う（Ｓ７）。追加処理は、電子カルテへの記入や、再学習などであり、主にユーザからの指示に応じて実行される。

【0054】

（推定処理）
推定処理（Ｓ３）の詳細を、図７に示すとともに、以下に説明する。ステップＳ３１において管理部１２０は、検出部１１８に広角眼底画像Ｐを入力する。

【0055】

次に、管理部１２０は、検出部１１８の異常の有無に関する推定結果を取得する（Ｓ３３）。異常があると推定される場合、検出部１１８の出力には、異常所見の種別、及び異常領域を特定する情報が含まれる。異常領域とは、正常眼との差異が生じている領域である。被検眼画像において撮影される異常領域の例としては、網膜または脈絡膜における、出血点、新生血管領域、網膜剥離領域、無灌流領域等が挙げられる。異常領域を根拠として付された所見が異常所見であり、異常所見の種別としては、網膜または脈絡膜における、出血、新生血管、網膜剥離、無灌流領域の有無や程度などがあげられる。図１０には、異常所見の一例として、黄斑Ｍを含む広角眼底画像Ｐが示されている。推定結果では、異常領域を含むと推定される画像領域、異常所見の種別を識別した識別結果が取得される。

【0056】

検出部１１８は、推定結果の確からしさ、及び、異常所見の深刻度を併せて出力する。そして、管理部１２０は、異常領域を含むと推定される画像領域、異常所見の種別等を識別した識別結果、推定結果の確からしさ、及び、異常所見の深刻度などを含む異常所見情報を生成する。

【0057】

上記の結果、充分な確からしさを持った異常所見が出力される場合、広角眼底画像Ｐには、異常所見情報が関連付けられて保存された状態となる。推定処理により、異常所見情報が関連付けられた広角眼底画像Ｐが生成される。

【0058】

（出力処理）
出力処理（Ｓ５）の詳細を、図８、図１０及び図１１を用いて以下に説明する。図１０は、推定処理（Ｓ３）によって異常所見が付与された広角眼底画像Ｐの例を示す。以下では出血を異常所見の例として用い、説明を行う。広角眼底画像Ｐには、異常領域として、出血点Ｂが広角眼底画像Ｐに表示されている。

【0059】

管理部１２０は、画像処理部１１６を用いて、広角眼底画像Ｐにおける部分領域を示す部分画像の抽出を行う（Ｓ５１）。管理部１２０は、広角眼底画像Ｐの部分領域設定を行い、部分画像を生成する。部分画像は複数枚抽出され、複数の部分画像は互いに重複する領域を有してもよく、また互いに重複していなくてもよい。異常所見が付与されている場合、異常領域が複数の部分画像のいずれかに含まれるように、部分画像の領域が決定される。複数の異常領域が互いに離れて位置する場合には、一つの部分画像がすべての異常領域を含むように部分画像の領域が決定されてもよく、複数の部分画像が異常領域を含むように部分画像の領域が決定されてもよい。

【0060】

図１０および図１１において、広角眼底画像Ｐに重ねて示す枠Ｆ１、Ｆ２、Ｆ３、Ｆ４は、広角眼底画像Ｐから抽出される４つの部分領域を示している。また、各図の右側には、広角眼底画像Ｐが各部分領域を抽出した結果生成された、４つの部分画像Ｄ１、Ｄ２、Ｄ３、Ｄ４が示されている。部分画像Ｄ１、Ｄ２、Ｄ３、Ｄ４はそれぞれ、枠Ｆ１、Ｆ２、Ｆ３、Ｆ４の示す各領域に対応している。

【0061】

画像処理部１１６は、部分領域のいずれかが異常領域である出血点Ｂを含むように、広角眼底画像Ｐから部分画像を抽出する。図１０および図１１の例においては、枠Ｆ２の領域が出血点Ｂを含み、それ以外の領域（Ｆ１、Ｆ３、Ｆ４）では、出血点Ｂが含まれない。図１０に一例として示すように、画像処理部１１６は、部分画像Ｄ１、Ｄ２、Ｄ３、Ｄ４がいずれも黄斑Ｍの全体を含むように領域の大きさと配置とを決定する。同時に画像処理部１１６は、出血点Ｂがいずれかの領域に含まれるように、換言すれば、出血点Ｂがいずれかの部分画像に表示されるように、領域の大きさと配置とを決定する。その結果、図１０の右側に示すように、部分画像Ｄ１、Ｄ２、Ｄ３、Ｄ４には、いずれも黄斑Ｍが表示される。また、部分画像Ｄ２には出血点Ｂが表示される。

【0062】

本実施形態のように、各部分画像に黄斑や視神経乳頭等の眼底の特徴的構造物が表示される場合、各部分画像や異常領域の広角眼底画像Ｐにおける位置が、ユーザにとって理解しやすい。

【0063】

図１１の部分画像抽出例では、画像処理部１１６は、黄斑Ｍを中心とし、枠Ｆ１～Ｆ４、すなわち部分画像Ｄ１～Ｄ４に対応する各領域に重複が無いように分割位置を決定する。また、画像処理部１１６は、出血点Ｂがいずれかの部分画像に表示されるように、部分画像の配置及び大きさを調整する。この結果、部分画像Ｄ１には出血点Ｂが表示される。

【0064】

なお、異常領域が無い場合、部分画像の設定の方法は、予め定められた方法に従って決定される。例えば、枠Ｆ１～Ｆ４、すなわち部分画像Ｄ１～Ｄ４がいずれも黄斑Ｍの全体を含むように各画像の配置、大きさが定められてもよい（図１０）。あるいは、黄斑Ｍを中心とし、枠Ｆ１～Ｆ４、すなわち部分画像Ｄ１～Ｄ４の各領域が重複しないように分割位置が決定されてもよい（図１１）。

【0065】

画像処理部１１６は、上記のようにして広角眼底画像Ｐから部分画像を抽出し、部分画像Ｄ１、Ｄ２、Ｄ３、Ｄ４を作成する。

【0066】

次に画像処理部１１６は、異常領域を鮮明化する画像処理を行う（Ｓ５３）。図１０及び図１１の例では、出血点Ｂを表示する部分画像Ｄ２において、出血点Ｂを視認し易いように、出血点Ｂ及びそれ以外の領域の画素値を変更する処理が行われる。また、画像処理部１１６は、部分画像Ｄ１、Ｄ２、Ｄ３、Ｄ４及び広角眼底画像Ｐから睫毛の映り込みや、その他のアーチファクトを除去し、画像を視認し易い状態にする。

【0067】

画像処理部１１６は、さらに異常領域の強調方法を設定する処理を行う（Ｓ５５）。強調方法は、異常所見の種別、深刻度、確からしさに応じて適宜選択される。例えば、複数個所において異常所見が認められる場合、深刻度の高い異常領域を含む部分画像が、後の表示処理（Ｓ５９）において優先して表示されるように設定される。また画像処理部１１６は、複数の部分画像のうち、異常領域が表示される部分画像を、異常領域が表示されない部分画像と区別する形で表示する表示方法を設定する処理を行う。具体的には、異常領域が表示される部分画像の拡大率や表示順を、異常所見の種別、または確からしさに応じて選択する。さらに画像処理部１１６は、強調する部分に重ねて表示する枠やアイコン等の画像を、異常所見の種別、または確からしさに応じて選択し、後の表示処理（Ｓ５９）において強調表示として表示されるように設定する。なお、これらの強調方法はユーザの入力を受け付けて設定してもよい。

【0068】

画像処理部１１６は、ステップＳ５５までに選択された、部分画像抽出方法、異常領域強調方法、及び強調表示にしたがって、ＧＵＩ（Graphical User Interface）を作成する（Ｓ５７）。このＧＵＩがネットワーク５を介して端末２０に送信され、端末２０の出力装置１０５に表示される（Ｓ５９）。ＧＵＩは、端末２０を操作するユーザの指示を受け付け、この指示に応じて表示を変え、また、アイコンや枠などの画像をさらに加えて表示する。

【0069】

ＧＵＩの例を図１０～図１４に示す。各図に示すように、ＧＵＩでは広角眼底画像Ｐが左側に配置され、その右方には４つの部分画像Ｄ１～Ｄ４が配置される。広角眼底画像Ｐには、部分画像Ｄ１、Ｄ２、Ｄ３、Ｄ４に対応する枠Ｆ１、Ｆ２、Ｆ３、Ｆ４が重ねて表示される。この枠Ｆ１～Ｆ４の表示により、部分画像Ｄ１～Ｄ４のそれぞれが、広角眼底画像Ｐのどの領域を示しているか、理解が容易となっている。

【0070】

図１０では、異常領域である出血点Ｂが表示される部分画像Ｄ２が優先して、最も大きく表示されている。

【0071】

図１２では、異常領域を含む部分画像をさらに拡大して示す強調方法（Ｓ５５参照）が選択された場合のＧＵＩを示している。また、部分画像Ｄ１～Ｄ４は、いずれも黄斑Ｍを表示するように、設定されている（Ｓ５１参照）。図示のように、出血点Ｂが表示される部分画像Ｄ２の拡大率が、他の部分画像Ｄ１、Ｄ３、Ｄ４に比較して大きい。このためユーザは、出血点Ｂを確認し易い。

【0072】

図１３のＧＵＩでは、部分画像Ｄ２に表示された出血点Ｂに対して、小枠Ｓによる強調表示が付されている（Ｓ５５参照）。ユーザの指示に応じて、画像処理部１１６は、小枠Ｓ内の画像をさらに拡大し、拡大画像Ｌとして表示させる。これにより、ユーザは容易に出血点Ｂを確認できる。ユーザの指示は、例えば小枠Ｓの画像をマウスクリックする、表示画面上でタップするなどの操作によって行われる。

【0073】

なお、拡大画像Ｌの表示は、１枚だけでなく、複数枚同時に表示させることも可能である。また、異常領域が複数ある場合に、ユーザの指示に応じて拡大画像Ｌを順次表示させる方式としてもよい。また、全ての拡大画像Ｌを順次並べ、サムネイル表示させてもよい。この際、異常所見の種別、深刻度、または確からしさの大きさに基づいて、拡大画像Ｌを並べることが望ましい。

【0074】

拡大画像Ｌの拡大率又は画角は、任意に設定される。例えば、医師が視認しやすい拡大率５倍、画角３０度に設定される。拡大率又は画角をユーザの指示に応じて変える態様としてもよい。また、医師が予め設定した拡大率又は画角としてもよい。また、ユーザは、枠Ｆ１～Ｆ４の位置及び大きさを操作して、部分画像Ｄ１～Ｄ４の位置を変更したり、拡大の範囲を変更したりすることができる。

【0075】

図１４のＧＵＩでは、アイコンＩＣ１～ＩＣ４による強調表示が付されている。これらの強調表示は、異常所見の種別に応じて異なる。図１４においては、医師が異常であると判断して表示を加えた領域、ＡＩが出力した異常領域、医師及びＡＩによって異常であると判断された領域、及び医師によって異常ではないと判断してＧＵＩ上で表示を変更するように指示した領域、の４つの種別に対して、互いに表示が異なるアイコンＩＣ１～ＩＣ４が用いられる。このようにして、強調表示の方法が異常所見の種別に応じて区別されている。アイコンＩＣ１～ＩＣ４は、例えば、線種、形状、及び色などを互いに変えることにより、互いに異なるように表示される。

【0076】

また、異常領域が複数ある場合、拡大画像を異常所見の深刻度順に表示することが可能である。また、深刻度に応じて部分画像Ｄ１～Ｄ４の表示順、または拡大画像Ｌの表示態様が変更される。

【0077】

強調表示についても、深刻度に応じてその態様が変更される。例えば、深刻度がより高い異常領域に対しては、明度、または彩度の高い色による強調表示が用いられる。

【0078】

また、図１０～図１４に示したような強調は画像の分割方法やＧＵＩの表示態様に依存せず、任意の種類の選択が可能である。また、複数の強調方法を組み合わせることも可能である。例えば、図１１に示すような部分画像Ｄ２を拡大したＧＵＩ表示において、さらに小枠Ｓ及び拡大画像Ｌを部分画像Ｄ２上に重ねて表示させてもよい。

【0079】

画像処理部１１６は、眼科装置３０と連携してＯＣＴシステムによるＯＣＴ撮影を行い、断層画像を取得することも可能である（Ｓ６１）。ＯＣＴ撮影の指示は、表示処理（Ｓ５９）においてＧＵＩを経由して受け付けることも可能である。例として、ＯＣＴ撮影を行いたい異常領域をマウスクリックなどの操作により、ユーザが指示することができる。

【0080】

ユーザの指示がある場合、画像処理部１１６は、異常領域がある眼底位置を特定し、ネットワーク５を介して眼科装置３０に撮影を指示する。この指示に基づき眼科装置３０は、ＯＣＴシステムを用いて、異常領域に対してＯＣＴ撮影を実行する。ＯＣＴ撮影により取得された網膜の断層画像は、サーバ１０が取得し、さらに端末２０の出力装置１０５に表示される。その際、ＧＵＩ上に広角眼底画像Ｐまたは部分画像Ｄ１～Ｄ４とともに表示されてもよい。

【0081】

ユーザの指示によらずに、ＯＣＴ撮影がなされてもよい。例えば、異常所見がある場合に画像処理部１１６は、異常領域が有る眼底位置を特定し、ネットワーク５を介して眼科装置３０に撮影を指示する。この指示に基づき眼科装置３０は、ＯＣＴシステムを用いて、異常領域に対してＯＣＴ撮影を実行する。

【0082】

ＯＣＴ撮影の際、患者の情報に応じて撮影が行われてもよい。例えば、データベース１１４に保存された電子カルテにおいて、黄斑変性などの診断が得られていた場合、サーバ１０は、黄斑Ｍ付近のＯＣＴ撮影を眼科装置３０に指示する。この指示に基づいて、眼科装置３０は、異常領域に対してＯＣＴ撮影を実行する。

【0083】

（追加処理）
追加処理を図９のフローを用いて説明する。ユーザは、表示処理（Ｓ５９）において異常所見、及びその領域を確認し、その後、推定結果に対してアノテーションを加えて保存することができる（Ｓ７１）。保存されたアノテーションは、データベース１１４に保存され、広角眼底画像Ｐ及び推定結果と互いに関連付けられた状態で保存される。

【0084】

保存された、アノテーション及び広角眼底画像Ｐは検出部１１８の再学習に使用される（Ｓ７３）。検出部１１８は、例えば、異常所見の種別と、正しい異常領域とを示すアノテーションとともに広角眼底画像Ｐを学習することにより、異常所見を推定する能力を向上させることができる。

【0085】

＜第２実施形態＞
上記の第１実施形態では、検出部１１８はＣＮＮを有する学習済みモデルを用いていた。第１実施形態とは異なる実施形態として、異常所見の推定のために機械学習を実施した学習済みモデルではなく、画像処理アルゴリズムを用いてもよい。第２実施形態として以下に説明する。

【0086】

第２実施形態によるサーバ１０のソフトウェア構成を図１５に示す。第２実施形態では、画像処理アルゴリズムによって構成された検出部１１９を備える。

【0087】

第２実施形態では、サーバ１０、端末２０、眼科装置３０における、検出部１１９以外の構成は第１実施形態と同じである。第１実施形態と同じ構成については、第１実施形態で用いたものと同じ参照番号を付して、説明を省略する。

【0088】

第２実施形態における、検出部１１９による推定処理（Ｓ３）を以下に説明する。この例においては、広角眼底画像Ｐにおいて出血等の異常所見の有無を推定するためのアルゴリズムについて説明する。

【0089】

ステップＳ３５において、検出部１１９は、血液領域の抽出を行う。ここで血液領域とは、広角眼底画像Ｐのうち、血管を示す血管領域と、血管からの出血によって形成された出血領域とを含む領域である。ステップＳ３５の処理の結果、広角眼底画像Ｐから血液領域を抽出した画像が得られる。

【0090】

ステップＳ３６では、検出部１１９は、血管領域だけの抽出を行う。

【0091】

ステップＳ３５及びＳ３６における領域の抽出では、一般的な画像解析手法が応用される。例えば、広角眼底画像Ｐを２５６階調などに階調表示し、閾値と各画素の階調値とを比較することによって二値化画像に変換する。

【0092】

二値化する際、ステップＳ３５では、血液領域とその他の領域とを区別するように閾値が設定される。ステップＳ３６では、血管領域とその他領域を区別するように閾値が設定される。閾値の設定方法についてはモード法など様々な方法が採り得る。

【0093】

ステップＳ３７において、検出部１１９は、二値化画像中、特に血管領域周辺のノイズを除去する。ノイズ除去処理では、例えば膨張処理（Dilation）、及び収縮処理（Erosion）が用いられる。ステップＳ３７を経ることにより、広角眼底画像Ｐから血管領域を抽出した画像が得られる。

【0094】

ステップＳ３８において、検出部１１９は、血液領域を示す画像と血管領域を示す画像との差分を取ることによって出血領域を示す画像を取得することができる。

【0095】

検出部１１９は、このように取得した画像を元に、出血の有無を推定する（Ｓ３９）。検出部１１９は、出血が有ると判断した場合、出血という異常所見と、出血領域を示す画像とを出力する。

【0096】

上記では出血に関する推定処理の例を示したが、その他、新生血管などの異常所見の場合も上記と同様に処理を実行する。その際には、二値化する際の閾値の設定など、領域の抽出に用いるパラメータは、異常所見の種別に応じて適切に設定される。

【0097】

＜効果＞
上記の実施形態における画像処理は、眼科装置で撮影して得られた広角眼底画像（Ｐ）を取得する処理（Ｓ１）と、異常所見が付与された前記広角眼底画像から複数の部分画像（Ｄ１－Ｄ４）を抽出する処理（Ｓ１）と、前記異常所見の根拠となる異常領域(Ｂ)が示される第一部分画像を前記複数の部分画像から選択する選択処理（Ｓ５１）と前記第一部分画像を表示する表示処理（Ｓ５９）とを含む画像処理方法。
を含む。

【0098】

上記構成により、眼底の広範囲の異常所見を網羅しつつ、異常領域を容易に視認可能な表示を得ることができる。

【0099】

表示処理（Ｓ５９）では、広角眼底画像Ｐ上に、異常所見が見られる部分領域を区別できるように表示する。また、部分画像Ｄ１～Ｄ４のうち、異常所見のある部分画像を拡大表示できる。

【0100】

このような構成により、ユーザは、異常所見の詳細、及び異常領域を容易に視認することができる。

【0101】

また表示処理（Ｓ５９）では、異常領域を強調表示することも可能である。この強調表示は、異常所見の種別に応じて変更される。

【0102】

上記構成により、異常所見の詳細、及び異常領域が容易に視認可能となる。また、ユーザは、異常所見の種別が複数ある場合などにおいても、異常所見の種別ごとに整理して確認することができる。

【0103】

上記実施形態は、広角眼底画像Ｐにおける異常所見を推定する推定処理（Ｓ３）を含む。推定処理は、異常所見を推定する検出部１１８、１１９に広角眼底画像Ｐを入力する処理（Ｓ３１）と、検出部１１８、１１９に異常所見を推定させる処理と、を含む。

【0104】

このような推定処理により、医師や医療従事者の診断、所見を補助することが可能となる。異常の見落としを防止することも可能となる。

【0105】

上記実施形態は、広角眼底画像Ｐについて異常所見に関するアノテーションの追加を受け付ける処理（Ｓ７１）と、アノテーションと広角眼底画像Ｐとにより検出部１１８を再学習させる処理（Ｓ７３）と、を含む。

【0106】

アノテーションを付したデータを用いて、検出部１１８が再学習するため、検出部１１８の推定処理の精度を向上させることができる。すなわち、擬陽性や偽陰性などが出力される確率を低下させることができる。

【0107】

推定処理（Ｓ３）では、異常所見の深刻度が推定される。また、推定された深刻度に応じて第１領域の表示方法が変更される。

【0108】

上記実施形態は、異常領域の眼底上での位置を特定する処理（Ｓ６１）と、特定した位置に対してＯＣＴシステムによるＯＣＴ撮影を行い、特定した位置における断層画像を取得する処理（Ｓ６１）とをさらに含む。

【0109】

上記構成により、広角眼底画像Ｐを確認するだけでなく、異常所見をさらに確認したい場合に、断層画像を正確に、または容易に取得することが可能となる。

【0110】

＜変形例＞
上記の実施形態において広角眼底画像Ｐの部分領域設定は矩形の領域によって行われていたが、本発明はこれに限定されない。例えば、放射状に分割線を伸ばして分割してもよいし、スリット状に分割するなど、分割線及び部分領域の形状は、任意の形状が採用され得る。

【0111】

アノテーションには、部分領域設定の形状も含まれ得る。例えば、ユーザが最適と判断した部分領域設定形状をアノテーションに含め、検出部１１９に学習及び再学習させてもよい。この場合、検出部１１９が推定した異常所見に対応して、最適な部分領域形状、部分領域位置を出力する。部分画像抽出処理（Ｓ５１）において、検出部１１９の出力した部分画像抽出方法にしたがって広角眼底画像Ｐの部分画像抽出が行われてもよい。

【0112】

表示処理（Ｓ５９）などにおける表示態様は、画像を用いて異常領域などを色や形状によって区別して表示する態様としていたが、本発明はそのような視認による態様に限定されない。例えば、音声によって表示のバリエーションを設定する態様を用いてもよい。

【0113】

上記実施形態では、ＯＣＴシステムを有する眼科装置３０を用いたが、本発明はこれに限定されず、ＯＣＴシステムを有していない眼科装置、その他のシステムを用いる眼科装置であってもよい。

【0114】

上記実施形態においては、１つのサーバ１０に対して複数の端末が接続し、上記のような機能を発揮する態様としていた。本発明は、サーバの数や端末の数を限定するものではなく、例えば、１つの装置のみによって、上記のような機能を実現してもよい。また、端末の数やサーバの数をさらに増やしてもよい。また、各機能は、必ずしもサーバ１０などによって実現される必要はなく、複数の装置で分担して、機能を実現する態様とすることができる。すなわち、本発明は制御部または装置の数、装置間での機能の分担を限定するものではない。

【符号の説明】

【0115】

１ 情報処理システム
１０ サーバ
２０ 端末
３０ 眼科装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】