特開 2023-39046 眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023039046

(43)【公開日】2023-03-20

(54)【発明の名称】眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体

(51)【国際特許分類】

   A61B 3/135 20060101AFI20230313BHJP

【ＦＩ】

A61B3/135

【審査請求】未請求

【請求項の数】30

【出願形態】ＯＬ

(21)【出願番号】P 2021145994

(22)【出願日】2021-09-08

(71)【出願人】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100124626

【弁理士】

【氏名又は名称】榎並 智和

(72)【発明者】

【氏名】東 神之介

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA01

4C316AA03

4C316AB11

4C316AB19

4C316FB05

4C316FB21

4C316FB27

(57)【要約】

【課題】眼画像に基づく炎症状態の評価を自動化する。
【解決手段】例示的な実施形態に係る眼科装置１０００は、画像取得部１０１０と、データ処理部１０２０とを含んでいる。画像取得部１０１０は、被検眼のシャインプルーフ画像を取得するように構成されている。データ処理部１０２０は、画像取得部１０１０により取得されたシャインプルーフ画像から被検眼の炎症状態を示す炎症状態情報を生成するための処理を実行するように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

被検眼のシャインプルーフ画像を取得する画像取得部と、
前記被検眼の炎症状態を示す炎症状態情報を前記シャインプルーフ画像から生成するための処理を実行するデータ処理部と
を含む、眼科装置。

【請求項2】

前記炎症状態情報は、前記被検眼の前房内の炎症性細胞に関する評価情報である細胞評価情報を含み、
前記データ処理部は、前記前房に相当する前房領域を特定するための第１セグメンテーションと、前記炎症性細胞に相当する細胞領域を特定するための第２セグメンテーションと、前記細胞評価情報を生成するための細胞評価情報生成処理とのうちの少なくとも１つを実行する、
請求項１の眼科装置。

【請求項3】

前記データ処理部は、前記シャインプルーフ画像から前記前房領域を特定するための前記第１セグメンテーションと、前記第１セグメンテーションにより特定された前記前房領域から前記細胞領域を特定するための前記第２セグメンテーションと、前記第２セグメンテーションにより特定された前記細胞領域から前記細胞評価情報を生成するための前記細胞評価情報生成処理とを実行する、
請求項２の眼科装置。

【請求項4】

前記データ処理部は、予め構築された第１推論モデルを用いて前記第１セグメンテーションを実行し、
前記第１推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第１ニューラルネットワークを含み、
前記第１ニューラルネットワークは、シャインプルーフ画像の入力を受け、前房領域を出力するように構成されている、
請求項３の眼科装置。

【請求項5】

前記データ処理部は、予め構築された第２推論モデルを用いて前記第２セグメンテーションを実行し、
前記第２推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第２ニューラルネットワークを含み、
前記第２ニューラルネットワークは、シャインプルーフ画像における前房領域の入力を受け、細胞領域を出力するように構成されている、
請求項３又は４の眼科装置。

【請求項6】

前記データ処理部は、シャインプルーフ画像の前房領域を前記第２ニューラルネットワークの入力層に対応した構造の画像データに変換する変換処理を更に実行し、
前記第２ニューラルネットワークは、前記変換処理により生成された前記画像データの入力を受け、細胞領域を出力するように構成されている、
請求項５の眼科装置。

【請求項7】

前記データ処理部は、予め構築された第３推論モデルを用いて前記細胞評価情報生成処理を実行し、
前記第３推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第３ニューラルネットワークを含み、
前記第３ニューラルネットワークは、シャインプルーフ画像における細胞領域の入力を受け、細胞評価情報を出力するように構成されている、
請求項３～６のいずれかの眼科装置。

【請求項8】

前記データ処理部は、前記シャインプルーフ画像から前記細胞領域を特定するための前記第２セグメンテーションと、前記第２セグメンテーションにより特定された前記細胞領域から前記細胞評価情報を生成するための前記細胞評価情報生成処理とを実行する、
請求項２の眼科装置。

【請求項9】

前記データ処理部は、予め構築された第４推論モデルを用いて前記第２セグメンテーションを実行し、
前記第４推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第４ニューラルネットワークを含み、
前記第４ニューラルネットワークは、シャインプルーフ画像の入力を受け、細胞領域を出力するように構成されている、
請求項８の眼科装置。

【請求項10】

前記データ処理部は、予め構築された第５推論モデルを用いて前記細胞評価情報生成処理を実行し、
前記第５推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第５ニューラルネットワークを含み、
前記第５ニューラルネットワークは、シャインプルーフ画像における細胞領域の入力を受け、細胞評価情報を出力するように構成されている、
請求項８又は９の眼科装置。

【請求項11】

前記データ処理部は、前記シャインプルーフ画像から前記細胞評価情報を生成するための前記細胞評価情報生成処理を実行する、
請求項２の眼科装置。

【請求項12】

前記データ処理部は、予め構築された第６推論モデルを用いて前記細胞評価情報生成処理を実行し、
前記第６推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第６ニューラルネットワークを含み、
前記第６ニューラルネットワークは、シャインプルーフ画像の入力を受け、細胞評価情報を出力するように構成されている、
請求項１１の眼科装置。

【請求項13】

前記データ処理部は、前記シャインプルーフ画像から前記前房領域を特定するための前記第１セグメンテーションと、前記第１セグメンテーションにより特定された前記前房領域から前記細胞評価情報を生成するための前記細胞評価情報生成処理とを実行する、
請求項２の眼科装置。

【請求項14】

前記データ処理部は、予め構築された第７推論モデルを用いて前記第１セグメンテーションを実行し、
前記第７推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第７ニューラルネットワークを含み、
前記第７ニューラルネットワークは、シャインプルーフ画像の入力を受け、前房領域を出力するように構成されている、
請求項１３の眼科装置。

【請求項15】

前記データ処理部は、予め構築された第８推論モデルを用いて前記細胞評価情報生成処理を実行し、
前記第８推論モデルは、眼画像を少なくとも含む訓練データを用いた機械学習により構築された第８ニューラルネットワークを含み、
前記第８ニューラルネットワークは、シャインプルーフ画像における前房領域の入力を受け、細胞評価情報を出力するように構成されている、
請求項１３又は１４の眼科装置。

【請求項16】

前記データ処理部は、シャインプルーフ画像の前房領域を前記第８ニューラルネットワークの入力層に対応した構造の画像データに変換する変換処理を更に実行し、
前記第８ニューラルネットワークは、前記変換処理により生成された前記画像データの入力を受け、細胞評価情報を出力するように構成されている、
請求項１５の眼科装置。

【請求項17】

前記データ処理部は、前記シャインプルーフ画像に第１解析処理を適用して前記前房領域を特定するための前記第１セグメンテーションと、前記第１セグメンテーションにより特定された前記前房領域に第２解析処理を適用して前記細胞領域を特定するための前記第２セグメンテーションと、前記第２セグメンテーションにより特定された前記細胞領域に第３解析処理を適用して前記細胞評価情報を生成するための前記細胞評価情報生成処理とを実行する、
請求項２の眼科装置。

【請求項18】

前記データ処理部は、前記第３解析処理において、前記第１セグメンテーションにより特定された前記前房領域の部分領域を特定し、前記部分領域に属する前記細胞領域の個数を求め、前記個数と前記部分領域の寸法とに基づいて前記炎症性細胞の密度を算出し、
前記細胞評価情報は、前記密度を含む、
請求項１７の眼科装置。

【請求項19】

前記画像取得部は、
前記被検眼にスリット光を投射する照明系と、
前記被検眼を撮影する撮影系と
を含み、
前記照明系及び前記撮影系は、シャインプルーフの条件を満足するように構成されている、
請求項１～１８のいずれかの眼科装置。

【請求項20】

前記画像取得部は、前記被検眼の３次元領域を前記スリット光でスキャンして一連のシャインプルーフ画像を収集する、
請求項１９の眼科装置。

【請求項21】

前記データ処理部は、前記一連のシャインプルーフ画像に含まれるシャインプルーフ画像から前記炎症状態情報を生成する、
請求項２０の眼科装置。

【請求項22】

前記データ処理部は、前記一連のシャインプルーフ画像を加工して加工画像データを生成し、前記加工画像データから前記炎症状態情報を生成する、
請求項２０の眼科装置。

【請求項23】

前記撮影系は、前記被検眼を互いに異なる方向からそれぞれ撮影する第１撮影系及び第２撮影系を含む、
請求項１９～２２のいずれかの眼科装置。

【請求項24】

前記第１撮影系の光軸と前記第２撮影系の光軸とは、前記照明系の光軸に対して互いに反対の方向に傾斜して配置され、
前記データ処理部は、前記第１撮影系により取得された第１シャインプルーフ画像及び前記第２撮影系により取得された第２シャインプルーフ画像の一方を選択し、選択されたシャインプルーフ画像に基づいて前記炎症状態情報を生成する、
請求項２３の眼科装置。

【請求項25】

前記データ処理部は、前記第１シャインプルーフ画像及び前記第２シャインプルーフ画像のうち角膜反射アーティファクトを含まないシャインプルーフ画像を選択する、
請求項２４の眼科装置。

【請求項26】

前記画像取得部は、予め取得された前記シャインプルーフ画像を受け付ける画像受付部を含む、
請求項１～２５のいずれかの眼科装置。

【請求項27】

プロセッサを含む眼科装置を制御する方法であって、
前記眼科装置に、被検眼のシャインプルーフ画像を取得させ、
前記プロセッサに、前記被検眼の炎症状態を示す炎症状態情報を前記シャインプルーフ画像から生成するための処理を実行させる、
方法。

【請求項28】

眼の画像を処理する方法であって、
被検眼のシャインプルーフ画像を取得し、
前記被検眼の炎症状態を示す炎症状態情報を前記シャインプルーフ画像から生成するための処理を実行する、
方法。

【請求項29】

請求項２７又は２８の方法をコンピュータに実行させるプログラム。

【請求項30】

請求項２９のプログラムが記録されたコンピュータ可読な非一時的記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体に関する。

【背景技術】

【0002】

眼科分野において画像診断は重要な位置を占める。眼科画像診断では、各種の眼科装置が用いられる。眼科装置には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡（ＳＬＯ）、光干渉断層計（ＯＣＴ）などがある。また、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータなどの各種の検査装置や測定装置にも、前眼部や眼底を撮影する機能が搭載されている。

【0003】

これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置の１つが、眼科医にとっての聴診器とも呼ばれるスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を側方から顕微鏡で観察したり撮影したりするための眼科装置である（例えば、特許文献１、２を参照）。また、シャインプルーフの条件を満足するように構成された光学系を用いることにより被検眼の３次元領域を高速でスキャンすることが可能なスリットランプ顕微鏡も知られている（例えば、特許文献３を参照）。なお、スリットランプ顕微鏡の他にも、スリット光で対象物をスキャンする撮像方式としてローリングシャッターカメラなどがある。

【0004】

スリット光を用いて測定を行う眼科装置として、被検眼の炎症状態を評価するためのフレアセルメータがある（例えば、特許文献４、５を参照）。フレアセルメータは、前房内に浮遊している炎症性細胞の個数や前房内の蛋白質濃度（フレア濃度）を測定するための眼科装置であり、例えばレーザー光を１次元的にスキャンすることによって又はＬＥＤ光をスリット開口で制限することによってスリット光を生成する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６－１５９０７３号公報

【特許文献2】特開２０１６－１７９００４号公報

【特許文献3】特開２０１９－２１３７３３号公報

【特許文献4】特開２００５－１０２９３８号公報

【特許文献5】国際公開第２０１８／００３９０６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の１つの目的は、眼画像に基づく炎症状態の評価を自動化することにある。

【課題を解決するための手段】

【0007】

例示的な実施形態に係る眼科装置は、画像取得部と、データ処理部とを含んでいる。画像取得部は、被検眼のシャインプルーフ画像を取得する。データ処理部は、画像取得部により取得されたシャインプルーフ画像から被検眼の炎症状態を示す炎症状態情報を生成するための処理を実行する。

【発明の効果】

【0008】

例示的な実施形態によれば、眼画像に基づく炎症状態の評価を自動化することが可能である。

【図面の簡単な説明】

【0009】

【図1】例示的な態様に係る眼科装置の構成を表す概略図である。

【図2A】例示的な態様に係る眼科装置の構成を表す概略図である。

【図2B】例示的な態様に係る眼科装置の構成を表す概略図である。

【図2C】例示的な態様に係る眼科装置の構成を表す概略図である。

【図3】例示的な態様に係る眼科装置の構成を表す概略図である。

【図4】例示的な態様に係る眼科装置の構成を表す概略図である。

【図5】例示的な態様に係る眼科装置の構成を表す概略図である。

【図6】例示的な態様に係る眼科装置の構成を表す概略図である。

【図7】例示的な態様に係る眼科装置の構成を表す概略図である。

【図8】例示的な態様に係る眼科装置の構成を表す概略図である。

【図9】例示的な態様に係る眼科装置の構成を表す概略図である。

【図10】例示的な態様に係る眼科装置の構成を表す概略図である。

【図11】例示的な態様に係る眼科装置の構成を表す概略図である。

【図12】例示的な態様に係る眼科装置の構成を表す概略図である。

【図13】例示的な態様に係る眼科装置の構成を表す概略図である。

【図14】例示的な態様に係る眼科装置の構成を表す概略図である。

【図15】例示的な態様に係る眼科装置の構成を表す概略図である。

【図16】例示的な態様に係る眼科装置の構成を表す概略図である。

【図17】例示的な態様に係る眼科装置の構成を表す概略図である。

【図18】例示的な態様に係る眼科装置の構成を表す概略図である。

【図19】例示的な態様に係る眼科装置が実行する処理を表すフロー図である。

【図20】例示的な態様に係る眼科装置が実行する処理を表すフロー図である。

【図21】例示的な態様に係る眼科装置が実行する処理を表すフロー図である。

【図22】例示的な態様に係る眼科装置が実行する処理を表すフロー図である。

【図23】例示的な態様に係る眼科装置の構成を表す概略図である。

【図24】例示的な態様に係る眼科装置の構成を表す概略図である。

【図25A】例示的な態様に係る眼科装置の動作を説明するための概略図である。

【図25B】例示的な態様に係る眼科装置の動作を説明するための概略図である。

【図26】例示的な態様に係る眼科装置の動作を説明するための概略図である。

【図27】例示的な態様に係る眼科装置の構成を表す概略図である。

【発明を実施するための形態】

【0010】

実施形態の幾つかの例示的な態様について、図面を参照しながら詳細に説明する。なお、任意の公知技術を実施形態に組み合わせることができる。例えば、本明細書で引用した文献において開示された任意の事項など、当該技術分野の任意の公知技術を、いずれかの実施形態に組み合わせることが可能である。特に、特許文献３（特開２０１９－２１３７３３号公報）に開示されている全ての内容は、参照によって本開示に援用される。同様に、本開示に関連する技術について本願の出願人により開示された任意の技術事項（特許出願、論文などにおいて開示された事項）を、いずれかの実施形態に組み合わせることができる。また、本開示に係る様々な態様のうちのいずれか２つ以上を少なくとも部分的に組み合わせることが可能である。

【0011】

本開示において説明される要素の機能の少なくとも一部は、回路構成（ｃｉｒｃｕｉｔｒｙ）又は処理回路構成（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び／又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、プログラマブル論理デバイス（例えば、ＳＰＬＤ（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び／又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び／又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び／又はプロセッサを構成するために使用される。

【0012】

＜実施形態の概要＞
実施形態は、シャインプルーフの条件を満足する光学系を用いて被検眼を撮影することによって生成されたデジタル画像（シャインプルーフ画像と呼ぶ）から被検眼の炎症状態を示す情報（炎症状態情報と呼ぶ）を生成する技術に関する。

【0013】

実施形態によって処理されるシャインプルーフ画像の個数は任意であってよく、幾つかの実施形態は１つのシャインプルーフ画像を処理し、幾つかの実施形態は複数の画像を処理する。この複数の画像は、例えば、スリット光を用いたスキャン（スリットスキャンと呼ぶ）によって収集される。スリットスキャンは、本願の出願人により開発された、被検眼の３次元領域をスリット光でスキャンして一連の画像を収集する眼科イメージング技術であり、特許文献３（特開２０１９－２１３７３３号公報）などにおいて説明されている。

【0014】

幾つかの実施形態によって処理されるシャインプルーフ画像は、シャインプルーフ画像を加工して作成された画像でもよい。シャインプルーフ画像を加工して作成された画像の例としては、補正、編集、強調などの任意のデジタル画像処理をシャインプルーフ画像に適用して作成された画像や、複数のシャインプルーフ画像から構築された３次元画像（ボリューム画像）や、３次元画像に任意のレンダリングを適用して作成された画像などがある。

【0015】

実施形態によって生成される炎症状態情報は、被検眼の炎症状態に関連した任意の情報であってよい。実施形態の炎症状態情報は、前房内に存在する炎症性細胞（前房セル）に関する情報、前房内に存在する蛋白質（前房フレア）に関する情報、水晶体の混濁に関する情報、疾患の発症・経過に関する情報、及び、疾患の活動性に関する情報のうちのいずれか１つ以上を含んでいてよい。幾つかの実施形態は、２つ以上の情報に基づいて総合的な情報（例えば、総合的な評価情報）を生成してもよい。

【0016】

炎症性細胞に関する情報としては、炎症性細胞の密度（濃度）、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。炎症性細胞に関する評価情報を細胞評価情報と呼ぶ。前房フレアに関する情報としては、フレアの濃度、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。水晶体混濁に関する情報としては、混濁の濃度、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。疾患の発症・経過に関する情報としては、発症の有無、発症の状態、罹患期間、経過の状態などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。疾患の活動性に関する情報としては、疾患の活動の状態などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。

【0017】

炎症状態に関する評価情報を生成する実施形態の例示的な態様は、この評価情報を生成する処理を行う眼科装置により生成された情報だけでなく、当該眼科装置に外部から入力された情報（例えば、他の眼科装置により取得された情報、医師により入力された情報）にも基づいて、評価情報を生成するように構成されていてもよい。

【0018】

以上に例示した炎症状態情報を生成するために参照される情報は任意であってよく、例えば、Ｔｈｅ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｏｆ Ｕｖｅｉｔｉｓ Ｎｏｍｅｎｃｌａｔｕｒｅ（ＳＵＮ） Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案されたぶどう膜炎疾患の分類基準を含んでいてもよい（“Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｏｆ ｕｖｅｉｔｉｓ ｎｏｍｅｎｃｌａｔｕｒｅ ｆｏｒ ｒｅｐｏｒｔｉｎｇ ｃｌｉｎｉｃａｌ ｄａｔａ． Ｒｅｓｕｌｔｓ ｏｆ ｔｈｅ Ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ”、Ａｍｅｒｉｃａｎ Ｊｏｕｒｎａｌ ｏｆ Ｏｐｈｔｈａｌｍｏｌｏｇｙ、Ｖｏｌｕｍｅ １４０、Ｉｓｓｕｅ ３、Ｓｅｐｔｅｍｂｅｒ ２００５、Ｐａｇｅ ５０９－５１６）。

【0019】

なお、実施形態の炎症状態情報は、上記の例に限定されるものはない。また、実施形態の炎症状態情報を生成するための参照情報も、上記の例に限定されるものではない。

【0020】

実施形態では、被検眼の前眼部にスリットスキャンを適用可能な例示的な態様についても説明する。スリットスキャンが適用される被検眼の部位は、炎症状態情報の生成に使用されるデータを取得するためのスリットスキャンが適用される部位の一部又は全体を少なくとも含む。例えば、炎症性細胞に関する情報及び／又は前房フレアに関する情報を含む炎症状態情報を生成する場合、前房の少なくとも一部を含む領域に対してスリットスキャンが適用される。また、水晶体混濁に関する情報を含む炎症状態情報を生成する場合、水晶体の少なくとも一部を含む領域に対してスリットスキャンが適用される。スリットスキャン以外の手法で２つ以上のシャインプルーフ画像を取得する場合や、シャインプルーフ画像を１つのみ取得する場合においても同様である。

【0021】

一般に、スリットスキャンが適用される被検眼の領域（部位）は、前眼部の少なくとも一部（例：角膜、虹彩、前房、隅角、毛様体、チン小帯、水晶体、神経、血管などの組織；病変部；治療痕；眼内レンズ、低侵襲緑内障手術（ＭＩＧＳ）デバイスなどの人工物）、及び／又は、後眼部の少なくとも一部（例：硝子体、網膜、脈絡膜、強膜、視神経乳頭、篩状板、黄斑、神経、血管などの組織；病変部；治療痕；人工網膜などの人工物）を含む。幾つかの例示的な態様では、瞼やマイボーム腺などの眼球近傍組織の少なくとも一部にスリットスキャンを適用してもよい。幾つかの例示的な態様では、前眼部の少なくとも一部、後眼部の少なくとも一部、及び、眼球近傍組織の少なくとも一部のうちのいずれか２つを含む３次元領域又は全てを含む３次元領域に対してスリットスキャンを適用してもよい。

【0022】

前述した細胞評価情報を含む炎症状態情報を生成することが可能な実施形態は、次の３つの処理のうちの少なくとも１つを実行するように構成されていてよい：（１）被検眼の前房に相当する画像領域（前房領域と呼ぶ）を特定するためのセグメンテーション（第１セグメンテーション又は前房セグメンテーションと呼ぶ）；（２）炎症性細胞に相当する画像領域（細胞領域と呼ぶ）を特定するためのセグメンテーション（第２セグメンテーション又は細胞セグメンテーションと呼ぶ）；（３）細胞評価情報を生成するための処理（細胞評価情報生成処理と呼ぶ）。このような実施形態の幾つかの例示的な態様を以下に説明する。

【0023】

第１の例示的な態様は、シャインプルーフ画像から前房領域を特定するための第１セグメンテーションと、この第１セグメンテーションにより特定された前房領域から細胞領域を特定する第２セグメンテーションと、この第２セグメンテーションにより特定された細胞領域から細胞評価情報を生成する細胞評価情報生成処理とのうちの少なくとも１つの処理を実行するように構成されている。本態様の第１セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の第２セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。

【0024】

第２の例示的な態様は、前房領域を特定するための第１セグメンテーションを実行することなく、シャインプルーフ画像から細胞領域を特定するための第２セグメンテーションと、この第２セグメンテーションにより特定された細胞領域から細胞評価情報を生成する細胞評価情報生成処理とのうちの少なくとも１つの処理を実行するように構成されている。本態様の第２セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。

【0025】

第３の例示的な態様は、前房領域を特定するための第１セグメンテーション及び細胞領域を特定するための第２セグメンテーションを実行することなく、シャインプルーフ画像から細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成されている。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。

【0026】

第４の例示的な態様は、細胞領域を特定するための第２セグメンテーションを実行することなく、シャインプルーフ画像から前房領域を特定するための第１セグメンテーションと、この第１セグメンテーションにより特定された前房領域から細胞評価情報を生成するための細胞評価情報生成処理とのうちの少なくとも１つを実行するように構成されている。本態様の第１セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。

【0027】

第５の例示的な態様は、機械学習により訓練されたニューラルネットワークを用いることなく実行される。本態様は、シャインプルーフ画像を解析して前房領域を特定するための第１セグメンテーションと、この第１セグメンテーションにより特定された前房領域を解析して細胞領域を特定するための第２セグメンテーションと、第２セグメンテーションにより特定された細胞領域に基づいて細胞評価情報を生成するための細胞評価情報生成処理とを実行するように構成されている。本態様の詳細については後述する。

【0028】

第６の例示的な態様は、第１セグメンテーションの少なくとも一部、第２セグメンテーションの少なくとも一部、及び、細胞評価情報生成処理の少なくとも一部のうちのいずれか１つ以上を機械学習ベースの構成で実行するとともに、機械学習ベースの構成で実行される処理以外の処理を非機械学習ベースの構成で実行するように構成されている。本態様は、例えば、上記した第１～第４の例示的な態様のいずれかと、第５の例示的な態様とを部分的に組み合わせることによって実現されるものであるから、その詳細な説明については省略する。

【0029】

＜眼科装置＞
実施形態に係る眼科装置の例示的な態様を提供する。本態様に係る眼科装置の具体例（実施例）については後述する。

【0030】

図１は、本態様に係る眼科装置の構成を示す。眼科装置１０００は、画像取得部１０１０と、データ処理部１０２０とを含んでいる。

【0031】

画像取得部１０１０は、被検眼のシャインプルーフ画像を取得するように構成されている。幾つかの例示的な態様の画像取得部１０１０は、被検眼を撮影してシャインプルーフ画像を取得するように構成されている。このような画像取得部１０１０の構成例を図２Ａに示す。

【0032】

図２Ａに示す画像取得部１０１０Ａは、照明系１０１１及び撮影系１０１２を含む。照明系１０１１は、被検眼にスリット光を投射するように構成されている。撮影系１０１２は、被検眼の撮影を行うように構成されており、撮像素子１０１３と、被検眼からの光を撮像素子１０１３に導く光学系（図示せず）とを含んでいる。

【0033】

照明系１０１１と撮影系１０１２とは、シャインプルーフの条件を満足するように構成されており、シャインプルーフカメラとして機能する。より具体的には、照明系１０１１の光軸を通る平面（物面を含む平面）と、撮影系１０１２の主面と、撮像素子１０１３の撮像面とが、同一の直線上にて交差するように、照明系１０１１及び撮影系１０１２は構成されている。これにより、物面内の全ての位置（照明系１０１１の光軸に沿う方向における全ての位置）に撮影系１０１２のピントが合った状態で撮影を行うことができる。

【0034】

幾つかの例示的な態様において、図２Ａに示す画像取得部１０１０Ａは、被検眼の３次元領域をスリット光でスキャンして一連のシャインプルーフ画像を収集するように構成されている。本例の画像取得部１０１０Ａは、被検眼の３次元領域に対するスリット光の投射位置を移動しながら繰り返し撮影を行うことによって一連のシャインプルーフ画像を収集するように構成されている。

【0035】

幾つかの例示的な態様において、画像取得部１０１０Ａは、スリット光の長手方向に直交する方向にスリット光を平行移動することによって被検眼の３次元領域をスキャンするように構成されてよい。このようなスキャン態様は、スリット光を回転させて前眼部をスキャンする従来の前眼部撮影装置のそれとは異なっている。

【0036】

ここで、スリット光の長手方向は、被検眼への投射位置におけるスリット光のビーム断面の長手方向、換言すると、被検眼上に形成されたスリット光の像の長手方向であり、被検者の体軸に沿う方向（体軸方向）に略一致していてよい。また、長手方向におけるスリット光の寸法は、被検体の体軸方向における角膜径以上であってよく、スリット光の平行移動の距離は、被検体の体軸方向に直交する方向における角膜径以上であってよい。

【0037】

本例の画像取得部１０１０Ａにより収集された一連のシャインプルーフ画像は、時間的に連続して収集された画像群（フレーム群）ではあるが、被検眼の３次元領域における異なる複数の位置から逐次に収集された画像群であるから、一般的な動画像とは異なり、空間的に分布する画像群である。

【0038】

本例の画像取得部１０１０Ａにおいて、照明系１０１１は、スリット光を被検眼の３次元領域に投射し、撮影系１０１２は、照明系１０１１からのスリット光が投射されている被検眼の３次元領域を撮影する。本例の画像取得部１０１０Ａは、更に、照明系１０１１及び撮影系１０１２を移動するための機構を含んでいる。

【0039】

本例の画像取得部１０１０Ａが適用された眼科装置１０００のデータ処理部１０２０は、画像取得部１０１０Ａにより収集された一連のシャインプルーフ画像に含まれるシャインプルーフ画像から炎症状態情報を生成するように構成されていてよい。本例のデータ処理部１０２０は、画像取得部１０１０Ａにより収集された一連のシャインプルーフ画像に含まれる１つ以上のシャインプルーフ画像を処理することによって炎症状態情報の生成を実行する。ここで、炎症状態情報の生成に使用されるシャインプルーフ画像の個数は任意であってよい。

【0040】

また、本例の画像取得部１０１０Ａが適用された眼科装置１０００のデータ処理部１０２０は、画像取得部１０１０Ａにより収集された一連のシャインプルーフ画像を加工して加工画像データを生成する処理と、生成された加工画像データに基づいて炎症状態情報を生成する処理とを実行するように構成されていてよい。

【0041】

例えば、本例のデータ処理部１０２０は、一連のシャインプルーフ画像に含まれる複数のシャインプルーフ画像から３次元画像（加工画像データの例である）を構築する処理と、この３次元画像に基づいて炎症状態情報を生成する処理とを実行するように構成されていてよい。或いは、本例のデータ処理部１０２０は、一連のシャインプルーフ画像に含まれる複数のシャインプルーフ画像から３次元画像を構築する処理と、この３次元画像からレンダリング画像（加工画像データの例である）を生成する処理と、このレンダリング画像に基づいて炎症状態情報を生成する処理とを実行するように構成されていてよい。

【0042】

幾つかの例示的な態様において、画像取得部１０１０Ａの撮影系１０１２は、２つ以上の撮影系を含んでいてよい。例えば、図２Ｂに示す画像取得部１０１０Ｂの撮影系１０１２Ａは、互いに異なる方向からそれぞれ撮影する第１撮影系１０１４及び第２撮影系１０１５を含んでいる。

【0043】

本例の画像取得部１０１０Ｂは、一連のシャインプルーフ画像を収集するためのスリットスキャンにおいて被検眼の３次元領域を互いに異なる方向からそれぞれ第１撮影系１０１４及び第２撮影系１０１５で撮影するように構成されていてよい。例えば、被検眼への入射位置におけるスリット光のビーム断面の長手方向が上下方向（Ｙ方向）であり、且つ、スリット光の移動方向が水平方向（左右方向、Ｘ方向）であるように画像取得部１０１０Ｂが構成されている場合において、第１撮影系１０１４及び第２撮影系１０１５は、一方が左斜方から被検眼を撮影し、且つ、他方が右斜方から被検眼を撮影するように配置されていてよい。

【0044】

第１撮影系１０１４により収集される一連のシャインプルーフ画像を第１シャインプルーフ画像群と呼び、第２撮影系１０１５により収集される一連のシャインプルーフ画像を第２シャインプルーフ画像群と呼ぶ。このような画像取得部１０１０Ｂにより収集される一連のシャインプルーフ画像は、第１シャインプルーフ画像群と第２シャインプルーフ画像群とを含んでいる。

【0045】

なお、スリットスキャンを行うことなく、第１撮影系１０１４により１枚のシャインプルーフ画像（第１シャインプルーフ画像）を取得し、第２撮影系１０１５により１枚のシャインプルーフ画像（第２シャインプルーフ画像）を取得する場合においても、用語の便宜上、第１撮影系１０１４により取得された１枚のシャインプルーフ画像を第１シャインプルーフ画像群と呼ぶことがあり、第２撮影系１０１５により取得された１枚のシャインプルーフ画像を第２シャインプルーフ画像群と呼ぶことがある。このように、本開示において、用語「群」は、複数の要素が含まれる場合だけでなく、１つの要素のみが含まれる場合にも使用されることがある。

【0046】

本例の画像取得部１０１０Ｂがスリットスキャンを実行する場合において、第１撮影系１０１４による被検眼の撮影と第２撮影系１０１５による被検眼の撮影とは、互いに並行して実行される。すなわち、画像取得部１０１０Ｂは、被検眼の３次元領域に対するスリット光の投射位置を移動しつつ、第１撮影系１０１４による撮影と第２撮影系１０１５による撮影とを並行して行う。

【0047】

更に、本例の画像取得部１０１０Ｂは、第１撮影系１０１４による撮影（シャインプルーフ画像の収集）と第２撮影系１０１５による撮影（シャインプルーフ画像の収集）とを互いに同期して実行するように構成されていてよい。この同期関係を参照することで、第１シャインプルーフ画像群と第２シャインプルーフ画像群との間の関連付けを、画像処理等を用いることなく、容易に行うことができる。この関連付けは、例えば、互いの取得時間の差が小さいシャインプルーフ画像同士を対応付けるように実行される。

【0048】

このような態様において、眼科装置１０００は、第１撮影系１０１４による撮影と第２撮影系１０１５による撮影との相互同期関係を参照して、当該スリットスキャンに対応する一連のシャインプルーフ画像を第１シャインプルーフ画像群及び第２シャインプルーフ画像群から再構成することができる。

【0049】

図２Ｂに示す画像取得部１０１０Ｂが適用されている眼科装置１０００の構成例を図２Ｃに示す。本例の画像取得部１０１０Ｂにおいて、第１撮影系１０１４の光軸と第２撮影系１０１５の光軸とは、照明系１０１１の光軸に対して互いに反対の方向に傾斜して配置されている。更に、本例のデータ処理部１０２０Ａは、画像選択部１０２１及び炎症状態情報生成部１０２２を含んでいる。

【0050】

画像選択部１０２１は、第１撮影系１０１４により取得された第１シャインプルーフ画像群及び第２撮影系１０１５により取得された第２シャインプルーフ画像群のうちから画像を選択するように構成されている。例えば、画像選択部１０２１は、第１撮影系１０１４により取得された第１シャインプルーフ画像及び第２撮影系１０１５により取得された第２シャインプルーフ画像の一方を選択するように構成されていてよい。

【0051】

画像選択部１０２１は、第１撮影系１０１４による撮影と第２撮影系１０１５による撮影との同期に基づきそれぞれ収集された第１シャインプルーフ画像群と第２シャインプルーフ画像群との間の対応関係に基づいて、第１シャインプルーフ画像群及び第２シャインプルーフ画像群を収集したスリットスキャンに対応する新たな一連のシャインプルーフ画像を第１シャインプルーフ画像群及び第２シャインプルーフ画像群から選択するように構成されている。端的に言うと、画像選択部１０２１は、第１撮影系１０１４及び第２撮影系１０１５によりそれぞれ収集された第１シャインプルーフ画像群及び第２シャインプルーフ画像群から一連のシャインプルーフ画像を再構成するように構成されている。

【0052】

画像選択部１０２１が実行する画像選択処理の手法は任意であってよい。例えば、第１撮影系１０１４及び第２撮影系１０１５の構成及び／又は配置や、画像選択の目的及び／又は用途など、所定の条件や所定のパラメータに基づいて、画像選択処理の手法を決定及び／又は選択することができる。

【0053】

画像取得部１０１０Ｂは、第１撮影系１０１４による撮影と第２撮影系１０１５による撮影とを相互同期的に実行する。また、前述したように、第１撮影系１０１４の光軸と第２撮影系１０１５の光軸とが、照明系１０１１の光軸に対して互いに反対の方向に傾斜して配置されている。例えば、第１撮影系１０１４の光軸は、照明系１０１１の光軸に対して左方に傾斜して配置されており、且つ、第２撮影系１０１５の光軸は、照明系１０１１の光軸に対して右方に傾斜して配置されている。このように配置された第１撮影系１０１４及び第２撮影系１０１５をそれぞれ左撮影系及び右撮影系と呼ぶことがある。

【0054】

照明系１０１１の光軸に対する第１撮影系１０１４の光軸の傾斜角度と、照明系１０１１の光軸に対する第２撮影系１０１５の光軸の傾斜角度とは、互いに等しくてもよいし、互いに相違してもよい。また、これらの傾斜角度は固定されていてもよいし、可変であってもよい。

【0055】

本例の照明系１０１１は、断面の長手方向がＹ方向に配向されたスリット光を被検眼に対して正面方向から投射するように構成及び配置される。また、本例の画像取得部１０１０Ｂは、照明系１０１１、第１撮影系１０１４、及び第２撮影系１０１５を一体的にＸ方向に移動することによって、被検眼の前眼部の３次元領域に対してスリットスキャンを適用する。

【0056】

本例の画像選択部１０２１は、第１撮影系１０１４により収集された第１シャインプルーフ画像群と第２撮影系１０１５により収集された第２シャインプルーフ画像群との間の対応関係に基づき、アーティファクトを含まない複数のシャインプルーフ画像を第１シャインプルーフ画像群及び第２シャインプルーフ画像群から選択することによって、第１シャインプルーフ画像群及び第２シャインプルーフ画像群を収集したスリットスキャンに対応する新たな一連のシャインプルーフ画像の選択を行う。このアーティファクトは、任意の種類のアーティファクトであってよい。本例のように前眼部スキャンを行う場合、このアーティファクトは、角膜反射に起因するアーティファクト（角膜反射アーティファクトと呼ぶ）であってよい。以下、画像選択部１０２１が実行する処理について幾つかの例を説明する。

【0057】

角膜反射アーティファクトが生じるスリット光の投射位置（シャインプルーフ画像、フレーム）は、左撮影系と右撮影系とで異なる。例えば、本例のように、断面の長手方向がＹ方向に配向されたスリット光を被検眼に対して正面方向から投射しつつ、照明系１０１１、第１撮影系１０１４、及び第２撮影系１０１５を一体的にＸ方向に移動することによってスリットスキャンを行う場合、スリット光の角膜反射光は、角膜頂点よりも左方の位置にスリット光が投射されているときには左撮影系に入射しやすく、角膜頂点よりも右方の位置にスリット光が投射されているときには右撮影系に入射しやすい。

【0058】

このような事情を考慮し、幾つかの例示的な態様の画像選択部１０２１は、まず、左撮影系としての第１撮影系１０１４により収集された第１シャインプルーフ画像群のうちから角膜頂点に対応するシャインプルーフ画像（第１角膜頂点画像）を特定するとともに、右撮影系としての第２撮影系１０１５により収集された第２シャインプルーフ画像群のうちから角膜頂点に対応するシャインプルーフ画像（第２角膜頂点画像）を特定するように構成される。

【0059】

幾つかの例示的な態様において、角膜頂点画像を特定する処理は、第１シャインプルーフ画像群に含まれる各シャインプルーフ画像から角膜表面に相当する画像を検出する処理と、これらの検出画像のピクセルのＺ座標に基づき本例の眼科装置１０００に最も近いピクセルを特定する処理と、特定されたピクセルを含むシャインプルーフ画像を第１角膜頂点画像に設定する処理とを含んでいてよい。第２角膜頂点画像の設定も同じ要領で実行されてよい。

【0060】

次に、画像選択部１０２１は、第１シャインプルーフ画像群のうちから第１角膜頂点画像よりも右方に位置するシャインプルーフ画像群を選択するとともに、第２シャインプルーフ画像群のうちから第２角膜頂点画像よりも左方に位置するシャインプルーフ画像群を選択し、選択された２つのシャインプルーフ画像群（並びに、第１角膜頂点画像及び／又は第２角膜頂点画像）からなる一連のシャインプルーフ画像を形成する。これにより、スリットスキャンが適用された前眼部の３次元領域にわたり、且つ、角膜反射アーティファクトを含まない（その可能性が高い）一連のシャインプルーフ画像が得られる。

【0061】

角膜頂点画像を特定する処理の他の例を説明する。幾つかの例示的な態様の画像選択部１０２１は、第１撮影系１０１４（例えば左撮影系）及び第２撮影系１０１５（例えば右撮影系）により実質的に同時に取得された２つの画像のいずれかに角膜反射アーティファクトが含まれているか判定するように構成される。この角膜反射アーティファクト判定処理は、所定の画像解析を含んでおり、例えば、ピクセルに割り当てられた輝度情報に関する閾値処理を含む。なお、実質的に同時に取得された２つの画像を決定する処理は、第１撮影系１０１４による撮影と第２撮影系１０１５による撮影との間の同期関係に基づき実行することができる。

【0062】

アーティファクト判定処理に用いられる閾値処理は、例えば、予め設定された閾値を超える輝度値が割り当てられたピクセルを特定するように実行される。典型的には、閾値は、画像中のスリット光像（スリット光の投射領域）の輝度値よりも高く設定されてよい。これにより、画像選択部１０２１は、スリット光像をアーティファクトとして判定することなく、スリット光像よりも明るい像をアーティファクトとして判定するように構成される。シャインプルーフ画像においてスリット光像よりも明るい像は、角膜での正反射に起因する像である可能性が高いことを考慮すると、このように構成された画像選択部１０２１により検出されるアーティファクトは、角膜反射アーティファクトである可能性が高いと考えることができる。

【0063】

画像選択部１０２１は、アーティファクト判定のために、例えば、パターン認識、セグメンテーション、エッジ検出など、閾値処理以外の任意の画像解析を実行してもよい。一般に、画像解析、画像処理、機械学習、人工知能、コグニティブ・コンピューティングなど、任意の情報処理技術を、アーティファクト判定に適用することが可能である。

【0064】

アーティファクト判定の結果、第１撮影系１０１４及び第２撮影系１０１５により実質的に同時に取得された２つの画像の一方の画像にアーティファクトが含まれると判定されたとき、画像選択部１０２１は、他方の画像を選択する。つまり、画像選択部１０２１は、第１撮影系１０１４及び第２撮影系１０１５により実質的に同時に取得された２つの画像のうち、アーティファクトが含まれると判定された一方の画像ではない他方の画像を選択する。

【0065】

双方の画像にアーティファクトが含まれると判定された場合を想定し、画像選択部１０２１は、例えば、アーティファクトが観察や診断に与える悪影響の大きさを評価する処理と、悪影響が小さい側の画像を選択する処理とを実行するように構成されてよい。この評価処理は、例えば、アーティファクトの寸法、強度、形状、及び位置のいずれか１つ以上の条件に基づき実行されてよい。典型的には、寸法が大きいアーティファクト、強度が高いアーティファクト、スリット光像などの注目領域やその近傍に位置するアーティファクトなどは、悪影響が大きいと評価される。

【0066】

なお、双方の画像にアーティファクトが含まれる場合などにおいて、特許文献３（特開２０１９－２１３７３３号公報）に開示されているアーティファクト除去を適用してもよい。

【0067】

以上に説明したような画像選択部１０２１を設けることにより、観察や解析や診断の妨げになるアーティファクトを含まない、被検眼の３次元領域の画像を提供することが可能になる。更に、アーティファクトを含まない被検眼の３次元領域の画像を後段の処理に提供することが可能になる。例えば、アーティファクトを含まない画像群に基づいて被検眼の３次元画像やレンダリング画像を構築することが可能になる。

【0068】

実質的に同一の位置を撮影して得られた画像であっても、左撮影系で得られた画像と右撮影系で得られた画像とでは、描出された所定部位の寸法が互いに異なる場合がある。例えば、実質的に同一の位置を左撮影系及び右撮影系でそれぞれ撮影して得られた左画像及び右画像において、描出されている角膜の厚さや炎症性細胞の寸法や前房フレアの寸法が互いに異なる場合がある。このような場合においても、画像選択部１０２１を用いることによって所定部位の寸法を合わせることが可能になる。

【0069】

炎症状態情報生成部１０２２は、選択部１０２１により選択されたシャインプルーフ画像に基づいて炎症状態情報を生成するように構成されている。炎症状態情報の生成に使用されるシャインプルーフ画像の個数は任意に設定されてよい。また、炎症状態情報生成部１０２２は、選択部１０２１により選択された一連のシャインプルーフ画像群に含まれる１以上のシャインプルーフ画像を加工して加工画像データを生成する処理と、生成された加工画像データに基づいて炎症状態情報を生成する処理とを実行するように構成されていてもよい。

【0070】

前述したように、データ処理部１０２０により生成される炎症状態情報は、被検眼の前房内の炎症性細胞に関する評価情報である細胞評価情報を含んでいてよい。この場合、データ処理部１０２０は、第１セグメンテーション、第２セグメンテーション、及び細胞評価情報生成処理のうちの少なくとも１つの処理を実行するように構成されていてよい。ここで、第１セグメンテーションは前房に相当する前房領域を特定するための処理であり、第２セグメンテーションは炎症性細胞に相当する細胞領域を特定するための処理であり、細胞評価情報生成処理は細胞評価情報を生成するための処理である。

【0071】

第１セグメンテーションは、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。第２セグメンテーションは、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。細胞評価情報生成処理は、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。

【0072】

第１セグメンテーションに投入されるデータの種類、第２セグメンテーションに投入されるデータの種類、及び、細胞評価情報生成処理に投入されるデータの種類は、いずれも任意であってよい。以下、第１セグメンテーション、第２セグメンテーション、及び細胞評価情報生成処理を含む複数の処理の可能な組み合わせの幾つかの例について説明する。

【0073】

図３に示すデータ処理部１０３０は、図１のデータ処理部１０２０の構成の例である。本例のデータ処理部１０３０は、第１セグメンテーション部１０３１、第２セグメンテーション部１０３２、及び細胞評価情報生成処理部１０３３を含んでいる。

【0074】

第１セグメンテーション部１０３１は、前房領域を特定するための第１セグメンテーションを実行するプロセッサを含み、画像取得部１０１０により取得されたシャインプルーフ画像から前房領域を特定するように構成されている。

【0075】

機械学習を用いて本例の第１セグメンテーションを実行する場合における第１セグメンテーション部１０３１の構成例を図４に示す。本例の第１セグメンテーション部１０３１Ａは、予め構築された推論モデル１０３４（第１推論モデルと呼ぶ）を用いて第１セグメンテーションを実行するように構成されている。第１推論モデル１０３４は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０３５（第１ニューラルネットワークと呼ぶ）を含んでいる。

【0076】

第１ニューラルネットワーク１０３５に入力されるデータはシャインプルーフ画像であり、第１ニューラルネットワーク１０３５から出力されるデータは前房領域である。すなわち、第１セグメンテーション部１０３１Ａは、画像取得部１０１０により取得されたシャインプルーフ画像（例えば、１つ以上のシャインプルーフ画像、１つ以上の加工画像データ、又は、１つ以上のシャインプルーフ画像及び１つ以上の加工画像データ）を受け、このシャインプルーフ画像を第１推論モデル１０３４の第１ニューラルネットワーク１０３５に入力し、第１ニューラルネットワーク１０３５からの出力データ（入力されたシャインプルーフ画像における前房領域）を取得するように構成されている。

【0077】

第１推論モデル１０３４を構築する装置（推論モデル構築装置）は、眼科装置１０００に設けられていてもよいし、眼科装置１０００の周辺機器（コンピュータなど）に設けられてもよいし、他のコンピュータであってもよい。

【0078】

図５に示すモデル構築部２０００は、推論モデル構築装置の例であり、学習処理部２０１０とニューラルネットワーク２０２０とを含む。

【0079】

ニューラルネットワーク２０２０は、典型的には、畳み込みニューラルネットワーク（ＣＮＮ）を含む。図５の符号２０３０は、畳み込みニューラルネットワークの構造の一例を示している。

【0080】

入力層には、画像が入力される。入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。図５に示す例には畳み込み層とプーリング層とのペアが３つ設けられているが、ペアの個数は任意であってよい。

【0081】

畳み込み層では、画像から特徴（輪郭など）を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数（重み係数、フィルタカーネル）の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各ピクセルの値に、そのピクセルに対応するフィルタ関数の値（重み）を乗算して積を算出し、この部分画像の複数のピクセルにわたって積の総和を求める。このように得られた積和値は、出力される画像における対応ピクセルに代入される。フィルタ関数を適用する箇所（部分画像）を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。

【0082】

プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮（データの間引きなど）が行われる。より具体的には、プーリング層では、特徴マップ内の注目ピクセルの所定の近傍ピクセルにおける統計値を所定のピクセル間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値（ｍａｘ ｐｏｏｌｉｎｇ）又は平均値（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）である。また、プーリング演算に適用されるピクセル間隔は、ストライド（ｓｔｒｉｄｅ）と呼ばれる。

【0083】

畳み込みニューラルネットワークは、畳み込み層とプーリング層との複数のペアによって処理を行うことにより、入力された画像から多くの特徴を抽出することができる。

【0084】

畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。図５に示す例においては２つの全結合層が設けられているが、全結合層の個数は任意であってよい。全結合層では、畳み込みとプーリングとの組み合わせによって圧縮された特徴量を用いて、画像分類、画像セグメンテーション、回帰などの処理を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。

【0085】

幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし（例えば、全層畳み込みネットワーク（ＦＣＮ））、サポートベクターマシンや再帰型ニューラルネットワーク（ＲＮＮ）などを含んでいてもよい。また、ニューラルネットワーク２０２０に対する機械学習は、転移学習を含んでいてもよい。つまり、ニューラルネットワーク２０２０は、他の訓練データ（訓練画像）を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、モデル構築部２０００（学習処理部２０１０）は、学習済みのニューラルネットワーク（ニューラルネットワーク２０２０）にファインチューニングを適用可能に構成されてもよい。ニューラルネットワーク２０２０は、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってもよい。

【0086】

学習処理部２０１０は、訓練データを用いた機械学習をニューラルネットワーク２０２０に適用する。ニューラルネットワーク２０２０が畳み込みニューラルネットワークを含んでいる場合、学習処理部２０１０によって調整されるパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとを含む。

【0087】

前述したように、訓練データは、１以上の眼について取得された１以上のシャインプルーフ画像を含んでいてよい。眼のシャインプルーフ画像は、第１ニューラルネットワーク１０３５に入力される画像と同種の画像であるから、他の種類の画像のみを含む訓練データを用いて機械学習を行う場合と比較して、第１ニューラルネットワーク１０３５の出力の品質（正確度、精度など）の向上を図ることができる。

【0088】

訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティ（眼底カメラ、ＯＣＴ装置、ＳＬＯ、手術用顕微鏡など）により取得された画像や、任意の診療科の画像診断モダリティ（超音波診断装置、Ｘ線診断装置、Ｘ線ＣＴ装置、磁気共鳴イメージング（ＭＲＩ）装置など）により取得された画像や、実際の眼の画像を加工して生成された画像（加工画像データ）や、擬似的な画像などを含んでいてもよい。また、データ拡張、データオーギュメンテーションなどの技術を利用して、訓練データに含まれる画像等の個数を増加させてもよい。

【0089】

第１ニューラルネットワーク１０３５を構築するための訓練の手法（機械学習の手法）は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか２以上の組み合わせであってよい。

【0090】

幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の前房領域を特定してラベルを付す。前房領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも１つによって実行される。学習処理部２０１０は、このような訓練データを用いた教師あり学習をニューラルネットワーク２０２０に適用することによって第１ニューラルネットワーク１０３５を構築することができる。

【0091】

このようにして構築された第１ニューラルネットワーク１０３５を含む第１推論モデル１０３４は、シャインプルーフ画像（例えば、画像取得部１０１０により取得されたシャインプルーフ画像、その加工画像データ）を入力とし、且つ、入力されたシャインプルーフ画像中の前房領域（例えば、前房領域の範囲又は位置を示す情報）を出力とした学習済みモデルである。

【0092】

第１ニューラルネットワーク１０３５の特定のユニットに処理が集中することを避けるために、学習処理部２０１０は、ニューラルネットワーク２０２０の幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を行ってもよい（ドロップアウト）。

【0093】

推論モデル構築に用いられる手法は、ここに示した例に限定されない。例えば、サポートベクターマシン、ベイズ分類器、ブースティング、ｋ平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク（ＧＡＮ）といった任意の手法を、推論モデルを構築するために利用することが可能である。

【0094】

本例の第１セグメンテーション部１０３１Ａは、このような第１推論モデル１０３４（第１ニューラルネットワーク１０３５）を用いることによって、被検眼のシャインプルーフ画像から前房領域を特定する処理を実行する。

【0095】

第２セグメンテーション部１０３２は、細胞領域を特定するための第２セグメンテーションを実行するプロセッサを含み、第１セグメンテーション部１０３１により特定された前房領域から細胞領域を特定するように構成されている。

【0096】

機械学習を用いて本例の第２セグメンテーションを実行する場合における第２セグメンテーション部１０３２の構成例を図６に示す。本例の第２セグメンテーション部１０３２Ａは、予め構築された推論モデル１０３６（第２推論モデルと呼ぶ）を用いて第２セグメンテーションを実行するように構成されている。第２推論モデル１０３６は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０３７（第２ニューラルネットワークと呼ぶ）を含んでいる。

【0097】

本例の訓練データに含まれる眼画像は、眼の前房の少なくとも一部に相当する画像（前房画像と呼ぶ）を含んでいる。本例の訓練データに含まれる眼画像は、前眼部画像（例えば、シャインプルーフ画像、他のモダリティで取得された画像）に対する手動セグメンテーション又は自動セグメンテーションの結果を含んでいてよく、例えば、前眼部画像から抽出された前房画像、又は、前眼部画像中の前房画像の範囲若しくは位置を示す情報であってよい。

【0098】

第２ニューラルネットワーク１０３７に入力されるデータは第１セグメンテーション部１０３１によりシャインプルーフ画像から特定された前房領域（又は、特定及び抽出された前房領域（以下同様））であり、第２ニューラルネットワーク１０３７から出力されるデータは細胞領域である。すなわち、第２セグメンテーション部１０３２Ａは、第１セグメンテーション部１０３１により特定された前房領域を受け、この前房領域を第２推論モデル１０３６の第２ニューラルネットワーク１０３７に入力し、第２ニューラルネットワーク１０３７からの出力データ（入力された前房領域における細胞領域）を取得するように構成されている。

【0099】

第２推論モデル１０３６（第２ニューラルネットワーク１０３７）の構築は、第１推論モデル１０３４（第１ニューラルネットワーク１０３５）の構築と同じ要領で実行されてよい。例えば、第２推論モデル１０３６（第２ニューラルネットワーク１０３７）の構築は、図５に示すモデル構築部２０００によって実行される。特に言及しない限り、本例のモデル構築部２０００（学習処理部２０１０及びニューラルネットワーク２０２０）は、第１推論モデル１０３４（第１ニューラルネットワーク１０３５）の構築におけるそれと同じであってよい。

【0100】

第２ニューラルネットワーク１０３７の構築に用いられる訓練データは、１以上の眼について取得された１以上のシャインプルーフ画像（例えば、前房領域が特定された前眼部画像、前房画像）を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。

【0101】

第２ニューラルネットワーク１０３７を構築するための訓練の手法（機械学習の手法）は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか２以上の組み合わせであってよい。

【0102】

幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の細胞領域を特定してラベルを付す。細胞領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも１つによって実行される。学習処理部２０１０は、このような訓練データを用いた教師あり学習をニューラルネットワーク２０２０に適用することによって第２ニューラルネットワーク１０３７を構築することができる。

【0103】

このようにして構築された第２ニューラルネットワーク１０３７を含む第２推論モデル１０３６は、第１セグメンテーション部１０３１により特定された前房領域を入力とし、且つ、入力された前房領域中の細胞領域（例えば、細胞領域の範囲又は位置を示す情報）を出力とした学習済みモデルである。

【0104】

本例の第２セグメンテーション部１０３２Ａは、このような第２推論モデル１０３６（第２ニューラルネットワーク１０３７）を用いることによって、被検眼のシャインプルーフ画像中の前房領域から細胞領域を特定する処理を実行する。

【0105】

細胞評価情報生成処理部１０３３は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第２セグメンテーション部１０３２により特定された細胞領域から細胞評価情報を生成する。

【0106】

機械学習を用いて本例の細胞評価情報生成処理を実行する場合における細胞評価情報生成処理部１０３３の構成例を図７に示す。本例の細胞評価情報生成処理部１０３３Ａは、予め構築された推論モデル１０３８（第３推論モデルと呼ぶ）を用いて細胞評価情報生成処理を実行するように構成されている。第３推論モデル１０３８は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０３９（第３ニューラルネットワークと呼ぶ）を含んでいる。

【0107】

本例の訓練データに含まれる眼画像は、炎症性細胞の画像が描出されている前房画像を少なくとも含み、炎症性細胞の画像が描出されていない前房画像を更に含んでいてもよい。本例の訓練データに含まれる眼画像は、前眼部画像（例えば、シャインプルーフ画像、他のモダリティで取得された画像）に対する手動セグメンテーション又は自動セグメンテーションの結果を含んでいてよく、例えば、前眼部画像中の前房画像から抽出された細胞画像、又は、前房画像中の細胞領域の範囲若しくは位置を示す情報であってよい。

【0108】

第３ニューラルネットワーク１０３９に入力されるデータは第２セグメンテーション部１０３２からの出力又はそれに基づくデータ（例えば、細胞領域の範囲、位置、分布などを示すデータ、又は、細胞領域の特定結果が付された前房領域）であり、第３ニューラルネットワーク１０３９から出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部１０３３Ａは、第２セグメンテーション部１０３２による細胞領域の特定結果又はそれに基づくデータを受け、細胞領域の特定結果又はそれに基づくデータを第３推論モデル１０３８の第３ニューラルネットワーク１０３９に入力し、第３ニューラルネットワーク１０３７からの出力データ（細胞評価情報）を取得するように構成されている。前述したように、細胞評価情報は、炎症性細胞に関する所定のパラメータ（例えば、炎症性細胞の密度、個数、位置、分布など）についての評価情報である。

【0109】

第３推論モデル１０３８（第３ニューラルネットワーク１０３９）の構築は、第１推論モデル１０３４（第１ニューラルネットワーク１０３５）の構築と同じ要領で実行されてよい。例えば、第３推論モデル１０３８（第３ニューラルネットワーク１０３９）の構築は、図５に示すモデル構築部２０００によって実行される。特に言及しない限り、本例のモデル構築部２０００（学習処理部２０１０及びニューラルネットワーク２０２０）は、第１推論モデル１０３４（第１ニューラルネットワーク１０３５）の構築におけるそれと同じであってよい。

【0110】

第３ニューラルネットワーク１０３９の構築に用いられる訓練データは、１以上の眼について取得された１以上のシャインプルーフ画像（例えば、細胞領域が特定された前房領域を含む前眼部画像、細胞領域が特定された前房画像）を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。

【0111】

第３ニューラルネットワーク１０３９を構築するための訓練の手法（機械学習の手法）は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか２以上の組み合わせであってよい。

【0112】

幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像（細胞領域が特定されている）に対して、その画像から生成された細胞評価情報がラベルとして付される。画像からの細胞評価情報の生成は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも１つによって実行される。学習処理部２０１０は、このような訓練データを用いた教師あり学習をニューラルネットワーク２０２０に適用することによって第３ニューラルネットワーク１０３９を構築することができる。

【0113】

このようにして構築された第３ニューラルネットワーク１０３９を含む第３推論モデル１０３８は、第２セグメンテーション部１０３２による細胞領域の特定結果又はそれに基づくデータを入力とし、且つ、入力された細胞領域の特定結果又はそれに基づくデータに基づく細胞評価情報を出力とした学習済みモデルである。

【0114】

本例の細胞評価情報生成処理部１０３３Ａは、このような第３推論モデル１０３８（第３ニューラルネットワーク１０３９）を用いることによって、被検眼のシャインプルーフ画像中の前房領域における細胞領域から細胞評価情報を生成する処理を実行する。

【0115】

図８に示すデータ処理部１０４０は、図１のデータ処理部１０２０の構成の例である。本例のデータ処理部１０４０は、第１セグメンテーション部１０４１、変換処理部１０４２、第２セグメンテーション部１０４３、及び細胞評価情報生成処理部１０４４を含んでいる。

【0116】

第１セグメンテーション部１０４１は、図３の第１セグメンテーション部１０３１（例えば、図４の第１セグメンテーション部１０３１Ａ）と同様の構成及び機能を有し、画像取得部１０１０により取得されたシャインプルーフ画像から前房領域を特定するための第１セグメンテーションを実行するように構成されている。

【0117】

変換処理部１０４２は、第１セグメンテーション部１０４１により特定された前房領域を、第２セグメンテーション部１０４３が実行する第２セグメンテーションに応じた構造のデータに変換する。本例の第２セグメンテーション部１０４３は、図６の第２セグメンテーション部１０３２Ａのように、機械学習で構築されたニューラルネットワーク（第２ニューラルネットワーク）を用いて第２セグメンテーションを実行するように構成されている。変換処理部１０４２は、第１セグメンテーション部１０４１によりシャインプルーフ画像から特定された前房領域を、第２セグメンテーション部１０４３の第２ニューラルネットワークの入力層に対応した構造の画像データに変換するための変換処理を実行するように構成されている。

【0118】

例えば、第２セグメンテーション部１０４３の第２ニューラルネットワーク（畳み込みニューラルネットワーク）の入力層が既定の構造（形態、形式）のデータを受け付けるように構成されている場合がある。この既定のデータ構造は、例えば、既定の画像サイズ（例えば、縦方向のピクセル数及び横方向のピクセル数）、既定の画像形状（例えば、正方形又は長方形）などであってよい。一方、眼科装置の仕様、撮影時の条件や設定、被検眼の寸法や形態の個人差などの影響により、第１セグメンテーション部１０４１によって特定される前房領域の画像サイズや画像形状は様々である。変換処理部１０４２は、第１セグメンテーション部１０４１により特定された前房領域の構造（例えば、画像サイズ及び／又は画像形状）を、第２セグメンテーション部１０４３の第２ニューラルネットワークの入力層が受け付け可能な構造に変換する。

【0119】

画像サイズの変換は、任意の公知の画像サイズ変換技術を用いて実行されてよく、例えば、第１セグメンテーション部１０４１により特定された前房領域を入力層に応じた画像サイズの複数の部分画像に分割する処理、又は、第１セグメンテーション部１０４１により特定された前房領域を入力層に応じた画像サイズの単一の画像にリサイズする処理を含んでいてよい。画像形状の変換は、任意の公知の画像変形技術を用いて実行されてよい。他のデータ構造の変換処理についても同様であってよい。

【0120】

なお、本開示では、ニューラルネットワークの構造に対応した変換処理をシャインプルーフ画像の前房領域に適用する場合について幾つかの例を詳細に説明しているが、変換処理の態様やそのための構成はそれらに限定されない。

【0121】

例えば、ニューラルネットワークに入力される画像がシャインプルーフ画像である場合には、入力されるシャインプルーフ画像に同様の変換処理を適用する構成を採用することが可能である。また、ニューラルネットワークに入力される画像がシャインプルーフ画像の任意の加工画像データである場合には、入力される加工画像データに同様の変換処理を適用するように構成を採用することが可能である。

【0122】

また、変換処理を実行する要素（変換処理を実行するプロセッサ。変換処理部と呼ぶ。）の配置も任意であってよい。例えば、変換処理部は、取得されたシャインプルーフ画像に基づき実行される一連の処理の流れにおいて、対象となるニューラルネットワークよりも前の段階（例えば、このニューラルネットワークを含む推論モデルよりも前の段階、又は、この推論モデルの内部であってこのニューラルネットワークよりも前の段階）に配置されていてよく、又は、対象となるニューラルネットワークの内部に配置されていてよい。対象となるニューラルネットワークの内部に配置される場合、このニューラルネットワークの出力に直接に対応する入力を受け付ける入力層よりも前の段階に変換処理部が配置される。

【0123】

第２セグメンテーション部１０４３は、図６の第２セグメンテーション部１０３２Ａと同様の構成及び機能を有し、変換処理部１０４２によりデータ構造が変換された前房領域から細胞領域を特定するための第２セグメンテーションを実行するように構成されている。第２セグメンテーション部１０４３の第２ニューラルネットワークは、変換処理部１０４２により生成された画像データ（データ構造が変換された前房領域）の入力を受け、細胞領域を出力するように構成されている。本例の第２ニューラルネットワークを構築するための機械学習は、図６の第２ニューラルネットワーク１０３７を構築するための機械学習と同じ要領で実行されてよい。

【0124】

細胞評価情報生成処理部１０４４は、図３の細胞評価情報生成処理部１０３３（例えば、図７の細胞評価情報生成処理部１０３３Ａ）と同様の構成及び機能を有し、第２セグメンテーション部１０４３により特定された細胞領域から細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成されている。

【0125】

このように、本例のデータ処理部１０４０は、図３のデータ処理部１０３０の第１セグメンテーション部１０３１と第２セグメンテーション部１０３２との間に変換処理部１０４２を配置した構成であってよい。しかしながら、本例のデータ処理部１０４０の構成はこれに限定されない。

【0126】

図９に示すデータ処理部１０５０は、図１のデータ処理部１０２０の構成の例である。本例のデータ処理部１０５０は、第２セグメンテーション部１０５１と細胞評価情報生成処理部１０５２とを含んでいる。

【0127】

第２セグメンテーション部１０５１は、細胞領域を特定するための第２セグメンテーションを実行するプロセッサを含み、画像取得部１０１０により取得されたシャインプルーフ画像から細胞領域を特定するように構成されている。

【0128】

機械学習を用いて本例の第２セグメンテーションを実行する場合における第２セグメンテーション部１０５１の構成例を図１０に示す。本例の第２セグメンテーション部１０５１Ａは、予め構築された推論モデル１０５３（第４推論モデルと呼ぶ）を用いて第２セグメンテーションを実行するように構成されている。第４推論モデル１０５３は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０５４（第４ニューラルネットワークと呼ぶ）を含んでいる。

【0129】

幾つかの例示的な態様において、第４ニューラルネットワーク１０５４は、図４の第１ニューラルネットワーク１０３５の少なくとも一部と図６の第２ニューラルネットワーク１０３７の少なくとも一部とを含んでいてもよい。例えば、第４ニューラルネットワーク１０５４は、第１ニューラルネットワーク１０３５と第２ニューラルネットワーク１０３７とを直列に配置したニューラルネットワークであってよい。このような構成の第４ニューラルネットワーク１０５４は、シャインプルーフ画像から前房領域を特定する機能と、前房領域から細胞領域を特定する機能とを有する。

【0130】

幾つかの例示的な態様において、第４ニューラルネットワーク１０５４は、前房領域の特定を行うことなく、シャインプルーフ画像から細胞領域を直接に特定するように機械学習が施されていてもよい。第４ニューラルネットワーク１０５４の態様はこれらに限定されるものではなく、シャインプルーフ画像から細胞領域を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。

【0131】

第４ニューラルネットワーク１０５４に入力されるデータはシャインプルーフ画像であり、第４ニューラルネットワーク１０５４から出力されるデータは細胞領域である。すなわち、第２セグメンテーション部１０５１Ａは、シャインプルーフ画像を受け、このシャインプルーフ画像を第４推論モデル１０５３の第４ニューラルネットワーク１０５４に入力し、第４ニューラルネットワーク１０５４からの出力データ（入力されたシャインプルーフ画像における細胞領域）を取得するように構成されている。

【0132】

第４推論モデル１０５３（第４ニューラルネットワーク１０５４）の構築は、第１推論モデル１０３４（第１ニューラルネットワーク１０３５）の構築と同じ要領で実行されてよい。例えば、第４推論モデル１０５３（第４ニューラルネットワーク１０５４）の構築は、図５に示すモデル構築部２０００によって実行される。特に言及しない限り、本例のモデル構築部２０００（学習処理部２０１０及びニューラルネットワーク２０２０）は、第１推論モデル１０３４（第１ニューラルネットワーク１０３５）の構築におけるそれと同じであってよい。

【0133】

第４ニューラルネットワーク１０５４の構築に用いられる訓練データは、１以上の眼について取得された１以上のシャインプルーフ画像を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。

【0134】

訓練データに含まれるいずれかの画像は、第４ニューラルネットワーク１０５４により実行される処理を補助するための情報が付されていてもよい。例えば、事前のアノテーションによって画像中の前房領域にラベルが付されていてもよい。

【0135】

第４ニューラルネットワーク１０５４を構築するための訓練の手法（機械学習の手法）は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか２以上の組み合わせであってよい。

【0136】

幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の細胞領域を特定してラベルを付す。細胞領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも１つによって実行される。学習処理部２０１０は、このような訓練データを用いた教師あり学習をニューラルネットワーク２０２０に適用することによって第４ニューラルネットワーク１０５４を構築することができる。

【0137】

このようにして構築された第４ニューラルネットワーク１０５４を含む第４推論モデル１０５３は、画像取得部１０１０により取得されたシャインプルーフ画像（又は、その加工画像データなど）を入力とし、且つ、入力されたシャインプルーフ画像中の細胞領域（例えば、細胞領域の範囲又は位置を示す情報）を出力とした学習済みモデルである。

【0138】

本例の第２セグメンテーション部１０５１Ａは、このような第４推論モデル１０５３（第４ニューラルネットワーク１０５４）を用いることによって、被検眼のシャインプルーフ画像から細胞領域を特定する処理を実行する。

【0139】

細胞評価情報生成処理部１０５２は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第２セグメンテーション部１０５１により特定された細胞領域から細胞評価情報を生成する。

【0140】

機械学習を用いて本例の細胞評価情報生成処理を実行する場合における細胞評価情報生成処理部１０５２の構成例を図１１に示す。本例の細胞評価情報生成処理部１０５２Ａは、予め構築された推論モデル１０５５（第５推論モデルと呼ぶ）を用いて細胞評価情報生成処理を実行するように構成されている。第５推論モデル１０５５は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０５６（第５ニューラルネットワークと呼ぶ）を含んでいる。

【0141】

第５ニューラルネットワーク１０５６に入力されるデータは第２セグメンテーション部１０５１からの出力又はそれに基づくデータ（例えば、細胞領域の範囲、位置、分布などを示すデータ、又は、細胞領域の特定結果が付された前房領域）であり、第５ニューラルネットワーク１０５６から出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部１０５２Ａは、第２セグメンテーション部１０５１による細胞領域の特定結果又はそれに基づくデータを受け、細胞領域の特定結果又はそれに基づくデータを第５推論モデル１０５５の第５ニューラルネットワーク１０５６に入力し、第５ニューラルネットワーク１０５６からの出力データ（細胞評価情報）を取得するように構成されている。

【0142】

第５推論モデル１０５５（第５ニューラルネットワーク１０５６）を構築するための機械学習の手法は、図７の細胞評価情報生成処理部１０３３の第３ニューラルネットワーク１０３９を構築するための機械学習の手法と同様であってよい。また、第５推論モデル１０５５（第５ニューラルネットワーク１０５６）を構築するための機械学習に用いられる訓練データは、第３ニューラルネットワーク１０３９を構築するための機械学習に用いられる訓練データと同様であってよい。

【0143】

第５ニューラルネットワーク１０５６を含む第５推論モデル１０５５は、第２セグメンテーション部１０５１による細胞領域の特定結果又はそれに基づくデータを入力とし、且つ、入力された細胞領域の特定結果又はそれに基づくデータに基づく細胞評価情報を出力とした学習済みモデルである。

【0144】

本例の細胞評価情報生成処理部１０５２Ａは、このような第５推論モデル１０５５（第５ニューラルネットワーク１０５６）を用いることによって、被検眼のシャインプルーフ画像中の細胞領域から細胞評価情報を生成する処理を実行する。

【0145】

図１２に示すデータ処理部１０６０は、図１のデータ処理部１０２０の構成の例である。本例のデータ処理部１０６０は、細胞評価情報生成処理部１０６１を含んでいる。

【0146】

細胞評価情報生成処理部１０６１は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、画像取得部１０１０により取得されたシャインプルーフ画像から細胞評価情報を生成する。

【0147】

機械学習を用いて本例の細胞評価情報生成処理を実行する場合における細胞評価情報生成処理部１０６１の構成例を図１３に示す。本例の細胞評価情報生成処理部１０６１Ａは、予め構築された推論モデル１０６２（第６推論モデルと呼ぶ）を用いて細胞評価情報生成処理を実行するように構成されている。第６推論モデル１０６２は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０６３（第６ニューラルネットワークと呼ぶ）を含んでいる。

【0148】

幾つかの例示的な態様において、第６ニューラルネットワーク１０６３は、図４の第１ニューラルネットワーク１０３５の少なくとも一部と図６の第２ニューラルネットワーク１０３７の少なくとも一部と図７の第３ニューラルネットワーク１０３９の少なくとも一部とを含んでいてもよい。例えば、第６ニューラルネットワーク１０６３は、第１ニューラルネットワーク１０３５と第２ニューラルネットワーク１０３７と第３ニューラルネットワーク１０３９とを直列に配置したニューラルネットワークであってよい。このような構成の第６ニューラルネットワーク１０６３は、シャインプルーフ画像から前房領域を特定する機能と、前房領域から細胞領域を特定する機能と、細胞領域から細胞評価情報を生成する機能とを有する。

【0149】

幾つかの例示的な態様において、第６ニューラルネットワーク１０６３は、前房領域の特定及び／又は細胞領域の特定を行うことなく、シャインプルーフ画像から細胞評価情報を直接に生成するように機械学習が施されていてもよい。第６ニューラルネットワーク１０６３の態様はこれらに限定されるものではなく、シャインプルーフ画像から細胞評価情報を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。

【0150】

第６ニューラルネットワーク１０６３に入力されるデータは画像取得部１０１０からの出力又はそれに基づくデータであり、第６ニューラルネットワーク１０６３から出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部１０６１Ａは、画像取得部１０１０により取得されたシャインプルーフ画像（及び／又は、このシャインプルーフ画像に基づくデータ）を受け、このシャインプルーフ画像又はそれに基づくデータを第６推論モデル１０６２の第６ニューラルネットワーク１０６３に入力し、第６ニューラルネットワーク１０６３からの出力データ（細胞評価情報）を取得するように構成されている。

【0151】

第６推論モデル１０６２（第６ニューラルネットワーク１０６３）を構築するための機械学習の手法は、図７の細胞評価情報生成処理部１０３３の第３ニューラルネットワーク１０３９を構築するための機械学習の手法と同様であってよい。また、第６推論モデル１０６２（第６ニューラルネットワーク１０６３）を構築するための機械学習に用いられる訓練データは、第３ニューラルネットワーク１０３９を構築するための機械学習に用いられる訓練データと同様であってよい。

【0152】

第６ニューラルネットワーク１０６３を含む第６推論モデル１０６２は、画像取得部１０１０により取得されたシャインプルーフ画像（及び／又は、このシャインプルーフ画像に基づくデータ）を入力とし、且つ、入力されたシャインプルーフ画像（及び／又は、このシャインプルーフ画像に基づくデータ）に基づく細胞評価情報を出力とした学習済みモデルである。

【0153】

本例の細胞評価情報生成処理部１０６１Ａは、このような第６推論モデル１０６２（第６ニューラルネットワーク１０６３）を用いることによって、被検眼のシャインプルーフ画像（及び／又は、このシャインプルーフ画像に基づくデータ）から細胞評価情報を生成する処理を実行する。

【0154】

図１４に示すデータ処理部１０７０は、図１のデータ処理部１０２０の構成の例である。本例のデータ処理部１０７０は、第１セグメンテーション部１０７１と細胞評価情報生成処理部１０７２とを含んでいる。

【0155】

第１セグメンテーション部１０７１は、前房領域を特定するための第１セグメンテーションを実行するプロセッサを含み、画像取得部１０１０により取得されたシャインプルーフ画像から前房領域を特定するように構成されている。

【0156】

機械学習を用いて本例の第１セグメンテーションを実行する場合における第１セグメンテーション部１０７１の構成例を図１５に示す。本例の第１セグメンテーション部１０７１Ａは、予め構築された推論モデル１０７３（第７推論モデルと呼ぶ）を用いて第１セグメンテーションを実行するように構成されている。第７推論モデル１０７３は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０７４（第７ニューラルネットワークと呼ぶ）を含んでいる。

【0157】

第７推論モデル１０７３（第７ニューラルネットワーク１０７４）を構築するための機械学習の手法は、図４の第１セグメンテーション部１０３１Ａの第１ニューラルネットワーク１０３５を構築するための機械学習の手法と同様であってよい。また、第７推論モデル１０７３（第７ニューラルネットワーク１０７４）を構築するための機械学習に用いられる訓練データは、第１ニューラルネットワーク１０３５を構築するための機械学習に用いられる訓練データと同様であってよい。幾つかの例示的な態様において、第７ニューラルネットワーク１０７４は第１ニューラルネットワーク１０３５と同一又は類似であってよく、第７推論モデル１０７３は第１推論モデル１０３４と同一又は類似であってよい。

【0158】

第７ニューラルネットワーク１０７４を含む第７推論モデル１０７３は、画像取得部１０１０により取得されたシャインプルーフ画像（又は、その加工画像データなど）を入力とし、且つ、入力されたシャインプルーフ画像中の前房領域（例えば、前房領域の範囲又は位置を示す情報）を出力とした学習済みモデルである。

【0159】

本例の第１セグメンテーション部１０７１Ａは、このような第７推論モデル１０７３（第７ニューラルネットワーク１０７４）を用いることによって、被検眼のシャインプルーフ画像中から前房領域を特定する処理を実行する。

【0160】

細胞評価情報生成処理部１０７２は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第１セグメンテーション部１０７１により特定された前房領域から細胞評価情報を生成する。

【0161】

機械学習を用いて本例の細胞評価情報生成処理を実行する場合における細胞評価情報生成処理部１０７２の構成例を図１６に示す。本例の細胞評価情報生成処理部１０７２Ａは、予め構築された推論モデル１０７５（第８推論モデルと呼ぶ）を用いて細胞評価情報生成処理を実行するように構成されている。第８推論モデル１０７５は、眼画像（例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像）を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク１０７６（第８ニューラルネットワークと呼ぶ）を含んでいる。

【0162】

幾つかの例示的な態様において、第８ニューラルネットワーク１０７６は、図６の第２ニューラルネットワーク１０３７の少なくとも一部と図７の第３ニューラルネットワーク１０３９の少なくとも一部とを含んでいてもよい。例えば、第８ニューラルネットワーク１０７６は、第２ニューラルネットワーク１０３７と第３ニューラルネットワーク１０３９とを直列に配置したニューラルネットワークであってよい。このような構成の第８ニューラルネットワーク１０７６は、前房領域から細胞領域を特定する機能と、細胞領域から細胞評価情報を生成する機能とを有する。

【0163】

幾つかの例示的な態様において、第８ニューラルネットワーク１０７６は、細胞領域の特定を行うことなく、前房領域から細胞評価情報を直接に生成するように機械学習が施されていてもよい。第８ニューラルネットワーク１０７６の態様はこれらに限定されるものではなく、前房領域から細胞評価情報を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。

【0164】

第８ニューラルネットワーク１０７６に入力されるデータは第１セグメンテーション部１０７１からの出力又はそれに基づくデータであり、第８ニューラルネットワーク１０７６から出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部１０７２Ａは、第１セグメンテーション部１０７１によりシャインプルーフ画像から特定された前房領域（及び／又は、この前房領域に基づくデータ）を受け、この前房領域又はそれに基づくデータを第８推論モデル１０７５の第８ニューラルネットワーク１０７６に入力し、第８ニューラルネットワーク１０７６からの出力データ（細胞評価情報）を取得するように構成されている。

【0165】

第８推論モデル１０７５（第８ニューラルネットワーク１０７６）を構築するための機械学習の手法は、図７の細胞評価情報生成処理部１０３３の第３ニューラルネットワーク１０３９を構築するための機械学習の手法と同様であってよい。また、第８推論モデル１０７５（第８ニューラルネットワーク１０７６）を構築するための機械学習に用いられる訓練データは、第３ニューラルネットワーク１０３９を構築するための機械学習に用いられる訓練データと同様であってよい。

【0166】

第８ニューラルネットワーク１０７６を含む第８推論モデル１０７５は、第１セグメンテーション部１０７１により特定された前房領域（及び／又は、この前房領域に基づくデータ）を入力とし、且つ、入力された前房領域（及び／又は、この前房領域に基づくデータ）に基づく細胞評価情報を出力とした学習済みモデルである。

【0167】

本例の細胞評価情報生成処理部１０７２Ａは、このような第８推論モデル１０７５（第８ニューラルネットワーク１０７６）を用いることによって、被検眼のシャインプルーフ画像中の前房領域（及び／又は、この前房領域に基づくデータ）から細胞評価情報を生成する処理を実行する。

【0168】

図１７に示すデータ処理部１０８０は、図１のデータ処理部１０２０の構成の例である。本例のデータ処理部１０８０は、第１セグメンテーション部１０８１、変換処理部１０８２、及び細胞評価情報生成処理部１０８３を含んでいる。

【0169】

第１セグメンテーション部１０８１は、図３の第１セグメンテーション部１０３１（例えば、図４の第１セグメンテーション部１０３１Ａ）と同様の構成及び機能を有し、画像取得部１０１０により取得されたシャインプルーフ画像から前房領域を特定するための第１セグメンテーションを実行するように構成されている。

【0170】

変換処理部１０８２は、第１セグメンテーション部１０８１により特定された前房領域を、細胞評価情報生成処理部１０８３が実行する細胞評価情報生成処理に応じた構造のデータに変換する。本例の細胞評価情報生成処理部１０８３は、図１６の細胞評価情報生成処理部１０７２Ａのように、機械学習で構築されたニューラルネットワーク（第８ニューラルネットワーク）を用いて細胞評価情報生成処理を実行するように構成されている。変換処理部１０８２は、第１セグメンテーション部１０８１によりシャインプルーフ画像から特定された前房領域を、細胞評価情報生成処理部１０８３の第８ニューラルネットワークの入力層に対応した構造の画像データに変換するための変換処理を実行するように構成されている。

【0171】

例えば、細胞評価情報生成処理部１０８３の第８ニューラルネットワーク（畳み込みニューラルネットワーク）の入力層が既定の構造（形態、形式）のデータを受け付けるように構成されている場合がある。この既定のデータ構造は、例えば、既定の画像サイズ（例えば、縦方向のピクセル数及び横方向のピクセル数）、既定の画像形状（例えば、正方形又は長方形）などであってよい。一方、眼科装置の仕様、撮影時の条件や設定、被検眼の寸法や形態の個人差などの影響により、第１セグメンテーション部１０８１によって特定される前房領域の画像サイズや画像形状は様々である。変換処理部１０８２は、第１セグメンテーション部１０８１により特定された前房領域の構造（例えば、画像サイズ及び／又は画像形状）を、細胞評価情報生成処理部１０８３の第８ニューラルネットワークの入力層が受け付け可能な構造に変換する。

【0172】

画像サイズの変換は、任意の公知の画像サイズ変換技術を用いて実行されてよく、例えば、第１セグメンテーション部１０８１により特定された前房領域を入力層に応じた画像サイズの複数の部分画像に分割する処理、又は、第１セグメンテーション部１０８１により特定された前房領域を入力層に応じた画像サイズの単一の画像にリサイズする処理を含んでいてよい。画像形状の変換は、任意の公知の画像変形技術を用いて実行されてよい。他のデータ構造の変換処理についても同様であってよい。

【0173】

細胞評価情報生成処理部１０８３は、図１４の細胞評価情報生成処理部１０７２（例えば、図１６の細胞評価情報生成処理部１０７２Ａ）と同様の構成及び機能を有し、第１セグメンテーション部１０８１により特定された前房領域を変換処理部１０８２により加工することによって得られたデータから細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成されている。

【0174】

このように、本例のデータ処理部１０８０は、図１４のデータ処理部１０７０の第１セグメンテーション部１０７１と細胞評価情報生成処理部１０７２との間に変換処理部１０８２を配置した構成であってよい。しかしながら、本例のデータ処理部１０８０の構成はこれに限定されない。

【0175】

ここまでは、主に、機械学習を用いて構築された推論モデル（ニューラルネットワーク）を含むデータ処理部１０２０の幾つかの例について説明した。しかし、データ処理部１０２０は、このような機械学習ベースの構成に限定されない。本開示に係るデータ処理部１０２０は、機械学習ベースの構成のみによって実施されてもよいし、機械学習ベースの構成と非機械学習ベースの構成との組み合わせによって実施されてもよいし、非機械学習ベースの構成のみによって実施されてもよい。

【0176】

以下、非機械学習ベースの構成のみによるデータ処理部１０２０の幾つかの例について説明する。機械学習ベースの構成と非機械学習ベースの構成との組み合わせによるデータ処理部１０２０の態様については、当業者であれば、前述した機械学習ベースの構成の幾つかの例と、後述する非機械学習ベースの構成のみによるデータ処理部１０２０の幾つかの例とに基づいて理解することができるであろう。

【0177】

図１８に示すデータ処理部１０９０は、図１のデータ処理部１０２０の構成の例であり、非機械学習ベースの構成を備えている。本例のデータ処理部１０９０は、第１解析処理部１０９１と、第２解析処理部１０９２と、第３解析処理部１０９３とを含んでいる。

【0178】

第１解析処理部１０９１は、前房領域を特定するための第１セグメンテーションを実行するプロセッサを含み、画像取得部１０１０により取得されたシャインプルーフ画像（及び／又は、その加工画像データ）に所定の解析処理（第１解析処理と呼ぶ）を適用して、このシャインプルーフ画像中の前房領域を特定するように構成されている。

【0179】

第１解析処理は、シャインプルーフ画像中の前房領域を特定するための任意の公知のセグメンテーションを含んでいてよい。例えば、前房領域を特定するためのセグメンテーションは、角膜（特に、角膜後面）に相当する画像領域を特定するためのセグメンテーションと、水晶体（特に、水晶体前面）に相当する画像領域を特定するためのセグメンテーションとを含んでいる。角膜に相当する画像領域を角膜領域と呼び、角膜後面に相当する画像領域を角膜後面領域と呼び、水晶体に相当する画像領域を水晶体領域と呼び、水晶体前面に相当する画像領域を水晶体前面領域と呼ぶ。

【0180】

角膜後面領域のセグメンテーションは、任意の公知のセグメンテーションを含んでいてよい。角膜後面領域のセグメンテーションでは、シャインプルーフ画像中のアーティファクトや、ピクセル値のサチュレーションなどが問題となる。これらの問題を解消するために、例えば、図２Ｃに示す構成を採用することができる。すなわち、第１撮影系１０１４及び第２撮影系１０１５を用いた撮影方法と、画像選択部１０２１を用いたシャインプルーフ画像の選択方法とを組み合わせることによって、アーティファクトもサチュレーションも無いシャインプルーフ画像を選択し、このシャインプルーフ画像から角膜後面領域を特定することができる。

【0181】

水晶体前面領域のセグメンテーションは、任意の公知のセグメンテーションを含んでいてよい。水晶体前面領域のセグメンテーションでは、被検眼の瞳孔の状態（例えば、散瞳状態、無散瞳状態、小瞳孔眼など）によってシャインプルーフ画像の表現状態（シャインプルーフ画像の見え方）が変化することなどが問題となる。例えば、被検眼が無散瞳状態又は小瞳孔眼である場合、被検眼が散瞳状態である場合と比較して、画像化される水晶体の範囲が小さくなってしまう。このような問題を解消するために、例えば、シャインプルーフ画像に描出されている水晶体前面領域に基づいて画像化されていない水晶体前面の部分（瞳孔に覆われている部分）の位置や形状を推測する処理など、シャインプルーフ画像の表現状態を均一化するための処理を適用することができる。シャインプルーフ画像の表現状態を均一化するための処理は、機械学習ベースで実行されてもよいし、非機械学習ベースで実行されてもよい。また、水晶体前面の位置や形状を推測する処理は、例えば、任意の公知の外挿処理を含んでいてよい。

【0182】

画像取得部１０１０がスリットスキャンによって一連のシャインプルーフ画像を収集する場合、問題の有る画像と問題の無い画像とが混在していたり、画像間において問題の程度にばらつきがあったりすることがある。例えば、アーティファクトやサチュレーションが有る画像と無い画像とが混在していたり、様々な異なる状態のアーティファクト（位置、寸法、形状など）が幾つかの画像に混入していたりすることがある。これらの現象は、データ処理部１０９０が実行する処理の品質（例えば、安定性、ロバスト性、再現性、正確度、精度など）に悪影響を与えるおそれがある。幾つかの例示的な態様では、これらの現象を発生させないための対策を講じたり、これらの現象に起因する悪影響を小さくするための対策を講じたりすることができる。前者の対策の例として、第１撮影系１０１４及び第２撮影系１０１５を用いた撮影方法と、画像選択部１０２１を用いたシャインプルーフ画像の選択方法とを組み合わせることがある。後者の対策の例として、画像の補正・ノイズ除去・ノイズ低減、画像パラメータの調整などがある。

【0183】

第２解析処理部１０９２は、細胞領域を特定するための第２セグメンテーションを実行するプロセッサを含み、第１解析処理部１０９１によりシャインプルーフ画像から特定された前房領域に第２解析処理を適用して細胞領域を特定するように構成されている。

【0184】

幾つかの例示的な態様において、第２解析処理部１０９２は、前房領域内の各ピクセルの値（例えば、輝度値、Ｒ値、Ｇ値、及びＢ値のうちの少なくとも１つ）に基づいて、細胞領域を特定するように構成されていてよい。幾つかの例示的な態様において、第２解析処理部１０９２は、細胞領域を特定するためのセグメンテーションを前房領域に適用するように構成されていてよい。このセグメンテーションは、例えば、炎症性細胞（細胞領域）の標準的な形態（例えば、寸法、形状など）に基づき作成されたプログラムにしたがって実行される。幾つかの例示的な態様において、第２解析処理部１０９２は、これら２つの手法の少なくとも部分的な組み合わせによって細胞領域を特定するように構成されていてよい。

【0185】

画像取得部１０１０がスリットスキャンによって一連のシャインプルーフ画像を収集する場合に講じうる対策については、第１解析処理部１０９１の場合と同様であってよい。また、一般的に細胞領域は微小な画像領域であることを考慮し、細胞領域と微小なアーティファクトとを識別するための対策を講じてもよい。例えば、アーティファクト（ゴーストなど）を除去するための処理を実行することで、細胞領域の検出においてアーティファクトが誤検出されることを防止することができる。

【0186】

第３解析処理部１０９３は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第２解析処理部１０９２によりシャインプルーフ画像の前房領域から特定された細胞領域に第３解析処理を適用して細胞評価情報を生成するように構成されている。

【0187】

前述したように、細胞評価情報は炎症性細胞に関する任意の評価情報であってよく、例えば、炎症性細胞の状態（例えば、密度、個数、位置、分布などの任意のパラメータ）を表す情報を含んでいてもよいし、炎症性細胞の状態に関する所定のパラメータの情報に基づき生成された評価情報を含んでいてもよい。

【0188】

幾つかの例示的な態様において、第３解析処理部１０９３は、第２解析処理部１０９２により特定された１つ以上の細胞領域について、密度、個数、位置、分布などを求めることができる。

【0189】

炎症性細胞の密度を求める処理は、例えば、所定寸法の画像領域（例えば、１ミリメートル四方の画像領域）を設定する処理と、設定された画像領域において第２解析処理部１０９２により検出された細胞領域の個数をカウントする処理とを含んでいる。ここで、画像領域の寸法（例えば「１ミリメートル」のように、実空間における寸法）は、例えば、眼科装置１０００の光学系の仕様（例えば、光学系の設計データ及び／又は光学系の実測データ）に基づいて定義され、典型的にはピクセルと実空間における寸法との対応関係（例えば、ドットピッチ）として定義される。細胞評価情報は、このようにして求められた炎症性細胞の密度の情報を含んでいてもよいし、この密度の情報から得られる評価情報を含んでいてもよい。この評価情報は、例えば、ＳＵＮ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案されたぶどう膜炎疾患の分類基準を用いた評価結果を含んでいてよい。この分類基準は、１視野（１ミリメートル四方の大きさの視野）に存在する炎症性細胞の個数（すなわち、炎症性細胞の密度（濃度））に応じたグレードを定義したものであり、グレード「０」は細胞数１個未満、グレード「０．５＋」は細胞数１～５個、グレード「１＋」は細胞数６～１５個、グレード「２＋」は細胞数１６～２５個、グレード「３＋」は細胞数２６～５０個、グレード「４＋」は細胞数５０個以上として定義されている。なお、この分類基準のグレード区分をより細かくしてもよいし、より粗くしてもよい。また、他の分類基準に基づいて細胞評価情報を生成してもよい。

【0190】

幾つかの例示的な態様において、データ処理部１０９０（第３解析処理部１０９３）は、第１解析処理部１０９１によりシャインプルーフ画像から特定された前房領域の部分領域（例えば、１ミリメートル四方の画像領域）を特定する処理と、この部分領域に属する細胞領域の個数を求める処理と、この個数と部分領域の寸法とに基づいて炎症性細胞の密度を算出する処理とを実行するように構成されていてよい。ここで、データ処理部１０９０は、第２解析処理部１０９２により前房領域全体から検出された細胞領域のうち当該部分領域内に位置している細胞領域を選択し、選択された細胞領域に基づいて第３解析処理部１０９３により密度を求めるように構成されていてもよい。或いは、データ処理部１０９０は、第２解析処理部１０９２により当該部分領域を解析して細胞領域を特定し、当該部分領域から特定された細胞領域に基づいて第３解析処理部１０９３により密度を求めるように構成されていてもよい。

【0191】

炎症性細胞の個数を求める処理は、例えば、第２解析処理部１０９２により検出された細胞領域の個数をカウントする処理を含んでいる。細胞評価情報は、このようにして求められた炎症性細胞の個数の情報を含んでいてもよいし、この個数の情報から得られる評価情報を含んでいてもよい。例えば、細胞評価情報は、前房領域全体から検出された細胞領域の個数を前房領域の寸法（例えば、面積、体積など）で除算することによって、前房領域全体における炎症性細胞の平均密度を求めることができる。また、細胞評価情報は、前房領域全体から検出された細胞領域の個数に基づく評価結果（例えば、グレード）を含んでいてもよいし、前房領域の部分領域における細胞領域の個数及び／又はそれに基づく評価結果を含んでいてもよい。

【0192】

炎症性細胞の位置を求める処理は、例えば、第２解析処理部１０９２により検出された細胞領域の位置を特定する処理を含んでいてよい。細胞領域の位置は、例えば、シャインプルーフ画像の定義座標系の座標として表現されてもよいし、又は、シャインプルーフ画像に描出されている所定の画像領域（基準領域）に対する相対位置（例えば、距離、方向など）として表現されてもよい。この基準領域は、例えば、角膜領域、角膜後面領域、水晶体領域、水晶体前面領域、眼の軸に相当する画像領域（例えば、角膜の頂点位置と水晶体前面の頂点位置とを結ぶ直線）などであってよい。細胞評価情報は、このようにして求められた炎症性細胞の位置の情報を含んでいてもよいし、この位置の情報から得られる評価情報を含んでいてもよい。例えば、細胞評価情報は、炎症性細胞の分布（複数の細胞領域の分布）を表す情報を含んでいてもよいし、１つ以上の炎症性細胞の位置に基づく評価結果（例えば、グレード）を含んでいてもよいし、複数の炎症性細胞の位置（分布）に基づく評価結果（例えば、グレード）を含んでいてもよい。

【0193】

眼科装置１０００の動作について説明する。なお、以下に説明する動作は例示に過ぎない。例えば、本開示に係る任意の事項、本開示において引用された文献に係る任意の事項、本開示に係る実施形態が属する技術分野に係る任意の事項、本開示に係る実施形態に関連する技術分野に係る任意の事項などを、下記の動作例に組み合わせることができる。

【0194】

眼科装置１０００の第１の動作例を図１９に示す。眼科装置１０００による撮影の前に実行される各種の動作（準備的動作）は済んでいるものとする。準備的動作としては、眼科装置１０００が設置されたテーブルの調整、被検者が使用している椅子の調整、眼科装置１０００の顔受け（顎受け、額当てなど）の調整、被検眼に対する眼科装置１０００の位置合わせ（アライメント）、スリット光の調整（例えば、光量調整、幅調整、長さ調整、向き調整）などがある。

【0195】

撮影開始の指示を受けて、眼科装置１０００は、画像取得部１０１０によって、被検眼のシャインプルーフ画像を取得する（Ｓ１）。

【0196】

更に、眼科装置１０００は、データ処理部１０２０によって、ステップＳ１で取得されたシャインプルーフ画像に基づいて、被検眼の炎症状態を示す炎症状態情報を生成する（Ｓ２）。

【0197】

本動作例のステップＳ１で取得されるシャインプルーフ画像の枚数は予め設定されていてよく、１枚であってもよいし、２枚以上（例えば、スリットスキャンで収集される一連のシャインプルーフ画像）であってもよい。ステップＳ２においては、ステップＳ１で取得されたシャインプルーフ画像の枚数に応じて、前述した様々なデータ処理のうちのいずれかが実行される。このデータ処理は、機械学習ベースの処理でもよいし、非機械学習ベースの処理でもよいし、機械学習ベースの処理と非機械学習ベースの処理との組み合わせでもよい。

【0198】

眼科装置１０００が２つ以上の撮影系を含んでいる場合、これら撮影系により取得された複数のシャインプルーフ画像を処理することができる。例えば、図２Ｃに示すように眼科装置１０００が第１撮影系１０１４及び第２撮影系１０１５を含んでいる場合、第１撮影系１０１４及び第２撮影系１０１５により取得された２つ以上のシャインプルーフ画像をデータ処理部１０２０Ａ（画像選択部１０２１、炎症状態情報生成部１０２２）によって処理することができる。データ処理部１０２０Ａにより実行されるデータ処理は、機械学習ベースの処理でもよいし、非機械学習ベースの処理でもよいし、機械学習ベースの処理と非機械学習ベースの処理との組み合わせでもよい。

【0199】

眼科装置１０００は、ステップＳ１で取得されたシャインプルーフ画像及び／又はステップＳ２で生成された炎症状態情報を表示装置に表示させることができる。表示装置は、眼科装置１０００の要素であってもよいし、眼科装置１０００に接続された外部機器であってもよい。

【0200】

以下、眼科装置１０００により実行可能な情報表示の幾つかの例について説明する。情報表示の態様はこれらの例に限定されない。これらの例のうちの少なくとも２つを少なくとも部分的に組み合わせることが可能である。

【0201】

情報表示の第１の例において、眼科装置１０００は、ステップＳ１で取得されたシャインプルーフ画像及び／又はステップＳ２で生成された炎症状態情報をそのまま表示装置に表示させる。眼科装置１０００は、シャインプルーフ画像及び／又は炎症状態情報とともに他の情報（付加情報と呼ぶ）を表示させてもよい。付加情報は、シャインプルーフ画像及び／又は炎症状態情報とともに被検眼の診療のために役立つ任意の情報であってよい。

【0202】

情報表示の第２の例において、眼科装置１０００は、従来のスリットランプ顕微鏡により取得された眼の画像（スリットランプ画像と呼ぶ）を摸擬した画像をシャインプルーフ画像から生成し、生成された摸擬画像を表示装置に表示させる。これにより、被検眼の炎症状態の観察に従来から使用されてきており多くの医師が見慣れているスリットランプ画像を模した画像を提供することが可能になる。

【0203】

スリットランプ画像から摸擬画像を生成する処理は、機械学習ベースの処理及び／又は非機械学習ベースの処理によって形成される。

【0204】

機械学習ベースの処理は、例えば、シャインプルーフ画像とスリットランプ画像との複数のペアを含む訓練データを用いた機械学習によって構築されたニューラルネットワークを用いて実行される。このニューラルネットワークは、畳み込みニューラルネットワークを含む。この畳み込みニューラルネットワークは、シャインプルーフ画像の入力を受け、摸擬画像を出力するように構成されている。

【0205】

非機械学習ベースの処理は、例えば、摸擬的なボケを生成する処理や色変換や画質変換など、画像の見え方を変換する処理を含んでいてよい。非機械学習ベースの処理の例示的な態様は、スリットスキャンで収集された一連のシャインプルーフ画像から３次元画像（例えば、８ビットのグレースケールボリューム）を構築する処理と、ピクセル値レンジの最大値（ピクセル値の階調）を低下させる処理（例えば、２５６階調を１０階調に低下させる処理）と、階調が変換された３次元画像の関心領域（例えば、所定寸法の直方体領域）を設定する処理と、設定された関心領域の正面画像（ｅｎｆａｃｅ画像）を構築する処理（例えば、最大値投影処理（ＭＩＰ））とを含んでいる。

【0206】

摸擬画像は、広範囲にピントが合ったシャインプルーフ画像と同じ領域を表す画像であってもよいし、シャインプルーフ画像が表す領域の部分領域（例えば、ＳＵＮ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案されたぶどう膜炎疾患の分類基準における評価範囲である１視野、つまり１ミリメートル四方の大きさの視野）であってもよい。

【0207】

眼科装置１０００は、例えば、摸擬画像中の注目部分を強調表示させることができる。この注目部分の例として、炎症性細胞に相当する画像領域、前房フレアに相当する画像領域、水晶体の混濁に相当する画像領域などがある。

【0208】

情報表示の第３の例において、眼科装置１０００は、被検眼の炎症状態を表すマップ（炎症状態マップと呼ぶ）を作成して表示装置に表示させる。

【0209】

炎症状態マップの例として、前房内における炎症性細胞の位置（分布）を表す炎症性細胞マップや、前房内における炎症性細胞の密度（又は、個数）の分布を表す炎症性細胞密度マップ（炎症性細胞個数マップ）などがある。これらの炎症性細胞に関するマップを作成する処理は、例えば、スリットスキャンで収集された一連のシャインプルーフ画像のそれぞれから炎症性細胞に相当する画像領域（細胞領域）を特定する処理（第２セグメンテーション）と、特定された各細胞領域の位置（例えば、シャインプルーフ画像の定義座標系における２次元座標、又は、一連のシャインプルーフに基づく３次元画像の定義座標系における３次元座標）を求める処理と、求められた各細胞領域の位置に基づきマップを作成する処理とを含んでいる。

【0210】

眼科装置１０００は、シャインプルーフ画像及び／又は炎症状態情報とともに炎症状態マップを表示させることができる。例えば、眼科装置１０００は、スリットスキャンで収集された一連のシャインプルーフ画像に基づく正面画像と、同じ一連のシャインプルーフ画像に基づき生成された炎症状態マップとを表示させることができる。その具体例として、正面画像に炎症状態マップを重ねて表示させることや、正面画像と炎症状態マップとを並べて表示させることができる。

【0211】

眼科装置１０００の第２の動作例を図２０に示す。本動作例は、細胞評価情報を取得するために実行される。特に言及しない限り、図１９の動作例に関して説明された任意の事項を本動作例に組み合わせることが可能である。

【0212】

まず、眼科装置１０００は、画像取得部１０１０によって、被検眼のシャインプルーフ画像を取得する（Ｓ１１）。

【0213】

次に、眼科装置１０００は、データ処理部１０２０によって、前述した第１セグメンテーション、第２セグメンテーション、及び細胞評価情報生成処理のうちの少なくとも１つの処理を、ステップＳ１１で取得されたシャインプルーフ画像に適用する（Ｓ１２）。

【0214】

眼科装置１０００が第１セグメンテーションと第２セグメンテーションと細胞評価情報生成処理とをシャインプルーフ画像に適用する場合、例えば、眼科装置１０００のデータ処理部１０２０として図３のデータ処理部１０３０又は図８のデータ処理部１０４０が採用される。更に、本例のデータ処理部１０２０は、図４の第１セグメンテーション部１０３１Ａ、図６の第２セグメンテーション部１０３２Ａ、及び図７の細胞評価情報生成処理部１０３３Ａのうちの少なくとも１つを含んでいてよい。

【0215】

眼科装置１０００が第１セグメンテーションと第２セグメンテーションと細胞評価情報生成処理とをシャインプルーフ画像に適用する場合の他の例では、眼科装置１０００のデータ処理部１０２０として図１８のデータ処理部１０９０が採用される。

【0216】

眼科装置１０００が第２セグメンテーションと細胞評価情報生成処理とをシャインプルーフ画像に適用する場合（換言すると、第１セグメンテーションを実行しない場合）、例えば、眼科装置１０００のデータ処理部１０２０として図９のデータ処理部１０５０が採用される。更に、本例のデータ処理部１０２０は、図１０の第２セグメンテーション部１０５１Ａ、及び／又は、図１１の細胞評価情報生成処理部１０５２Ａを含んでいてよい。

【0217】

眼科装置１０００が細胞評価情報生成処理をシャインプルーフ画像に適用する場合（換言すると、第１セグメンテーション及び第２セグメンテーションを実行しない場合）、例えば、眼科装置１０００のデータ処理部１０２０として図１２のデータ処理部１０６０が採用される。更に、本例のデータ処理部１０２０は、図１３の細胞評価情報生成処理部１０６１Ａを含んでいてよい。

【0218】

眼科装置１０００が第１セグメンテーションと細胞評価情報生成処理とをシャインプルーフ画像に適用する場合（換言すると、第２セグメンテーションを実行しない場合）、例えば、眼科装置１０００のデータ処理部１０２０として図１４のデータ処理部１０７０又は図１７のデータ処理部１０８０が採用される。更に、本例のデータ処理部１０２０は、図１５の第１セグメンテーション部１０７１Ａ、及び／又は、図１６の細胞評価情報生成処理部１０７２Ａを含んでいてよい。

【0219】

ステップＳ１２を実行するために採用可能な構成はこれらに限定されない。例えば、幾つかの例示的な態様に係る眼科装置１０００のデータ処理部１０２０は、第１セグメンテーション、第２セグメンテーション、及び細胞評価情報生成処理のうち、第１セグメンテーションのみを実行可能に構成されてもよいし、第２セグメンテーションのみを実行可能に構成されてもよいし、第１セグメンテーションと第２セグメンテーションのみを実行可能に構成されてもよい。

【0220】

次に、眼科装置１０００は、データ処理部１０２０によって、細胞評価情報を生成する（Ｓ１３）。なお、ステップＳ１２で細胞評価情報生成処理が実行された場合であって、本検査で取得されるべき全ての細胞評価情報がステップＳ１２で取得された場合には、ステップＳ１３を実行する必要はない（換言すると、ステップＳ１３はステップＳ１２に含まれる）。

【0221】

ステップＳ１２及び／又はステップＳ１３は、ユーザーによる操作を部分的に含んでいてもよい。例えば、ユーザーによる操作の例として、シャインプルーフ画像中の前房領域を指定するための操作、シャインプルーフ画像中の細胞領域を指定するための操作、前房領域中の細胞領域を指定するための操作、前房領域から細胞評価情報を作成するための操作、細胞領域から細胞評価情報を作成するための操作、第１セグメンテーションで特定された前房領域を編集（補正）するための操作、第２セグメンテーションで特定された細胞領域を編集（補正）するための操作、細胞評価情報生成処理で生成された細胞評価情報を編集（補正）するための操作、細胞評価情報生成処理で生成された細胞評価情報から他の細胞評価情報を作成するための操作などがある。

【0222】

これらの操作は、ユーザーインターフェイスを用いて行われる。ユーザーインターフェイスは、表示デバイスや操作デバイスを含む。眼科装置１０００は、ユーザーインターフェイスの少なくとも一部を含んでいてもよい。

【0223】

次に、眼科装置１０００は、ステップＳ１１で取得されたシャインプルーフ画像、ステップＳ１２で取得された情報（例えば、シャインプルーフ画像に基づく情報、前房領域、前房領域に基づく情報、細胞領域、細胞領域に関する情報、細胞評価情報）、ステップＳ１３で生成された細胞評価情報などを、表示装置に表示させる（Ｓ１４）。

【0224】

眼科装置１０００の第３の動作例を図２１に示す。本動作例は、細胞評価情報を取得するために実行される。特に言及しない限り、図１９の動作例に関して説明された任意の事項及び／又は図２０の動作例に関して説明された任意の事項を本動作例に組み合わせることが可能である。

【0225】

本例に係る眼科装置１０００のデータ処理部１０２０は、畳み込みニューラルネットワークを含む第２セグメンテーション部（例えば、第２セグメンテーション部１０３２Ａ又は第２セグメンテーション部１０５１Ａ）と、この畳み込みニューラルネットワークに合わせたデータ構造変換を行う要素（例えば、変換処理部１０４２又は変換処理部１０８２）とを含んでいる。

【0226】

まず、眼科装置１０００は、画像取得部１０１０によって、被検眼のシャインプルーフ画像を取得する（Ｓ２１）。

【0227】

次に、眼科装置１０００は、データ処理部１０２０によって、シャインプルーフ画像から前房領域を特定するための第１セグメンテーション（前房セグメンテーション）を、ステップＳ２１で取得されたシャインプルーフ画像に適用する（Ｓ２２）。本ステップの前房セグメンテーションの手法は任意であってよく、データ処理部１０２０によるデータ処理及びユーザーによる操作の一方又は双方を含んでいてよい。ここで、データ処理部１０２０による前房セグメンテーションは、前述した様々な手法のうちのいずれかの手法であってよい。

【0228】

次に、データ処理部１０２０は、ステップＳ２２の前房セグメンテーションで特定された前房領域内のゴーストを除去する（Ｓ２３）。これにより、後述するステップＳ２５の細胞セグメンテーションにおいてゴーストが細胞領域として誤検出されてしまう不都合を防止することができる。

【0229】

次に、データ処理部１０２０は、ステップＳ２３でゴーストが除去された前房領域を、次のステップＳ２５に用いられる畳み込みニューラルネットワークの入力層に対応した構造の画像データに変換する（Ｓ２４）。

【0230】

なお、幾つかの例示的な態様において、前房領域からのゴースト除去（本例のステップＳ２３）と、前房領域のデータ構造変換（本例のステップＳ２４）との順序が逆であってもよい。

【0231】

次に、データ処理部１０２０は、ステップＳ２４で取得された画像データ（前房領域の変換データ）を、細胞セグメンテーションを実行するように構成された第２セグメンテーション部の畳み込みニューラルネットワークに入力する（Ｓ２５）。これにより、ステップＳ２２で取得された前房領域内の細胞領域が特定される。

【0232】

次に、データ処理部１０２０は、ステップＳ２５で実行された細胞領域特定の結果に基づいて、被検眼の前房内における炎症性細胞の密度を評価する（Ｓ２６）。本ステップの処理は、例えば、前述した様々な細胞評価情報生成処理部のうちのいずれかによって実行される。

【0233】

次に、データ処理部１０２０は、ステップＳ２６で実行された評価の結果に基づいて、細胞評価情報を生成する（Ｓ２７）。本ステップの処理は、例えば、前述した様々な細胞評価情報生成処理部のうちのいずれかによって実行される。

【0234】

次に、眼科装置１０００は、ステップＳ２１～Ｓ２７で取得された情報を表示装置に表示させる（Ｓ２８）。

【0235】

本ステップで表示される情報の例として、ステップＳ２１で取得されたシャインプルーフ画像、ステップＳ２２で取得された情報（例えば、シャインプルーフ画像に基づく情報、前房領域、前房領域に基づく情報）、ステップＳ２３で取得された情報（例えば、ゴーストが除去された前房領域、ゴーストが除去された前房領域に基づく情報）、ステップＳ２４で取得された情報（例えば、成形された前房領域、成形された前房領域に基づく情報）、ステップＳ２５で取得された情報（例えば、細胞領域、細胞領域に基づく情報）、ステップＳ２６で取得された情報（例えば、炎症性細胞の密度、密度の評価情報、密度の評価情報に基づく情報）、ステップＳ２７で取得された情報（例えば、細胞評価情報、細胞評価情報に基づく情報）などがある。

【0236】

幾つかの例示的な態様では、ステップＳ２７において、ＳＵＮ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案された評価に使用されている炎症性細胞の密度の値（１ミリメートル四方の大きさの領域に存在する炎症性細胞の個数）、及び／又は、この密度の値に対応するグレードが求められ、更に、ステップＳ２８において、少なくともステップＳ２７で求められた密度の値及び／又はグレードが表示される。

【0237】

眼科装置１０００の第４の動作例を図２２に示す。本動作例は、細胞評価情報を取得するために実行される。特に言及しない限り、図１９の動作例に関して説明された任意の事項、図２０の動作例に関して説明された任意の事項、及び図２１の動作例に関して説明された任意の事項のうちの少なくとも１つを本動作例に組み合わせることが可能である。

【0238】

本例に係る眼科装置１０００のデータ処理部１０２０は、畳み込みニューラルネットワークを含む細胞評価情報生成処理部（例えば、細胞評価情報生成処理部１０３３Ａ、細胞評価情報生成処理部１０５２Ａ、細胞評価情報生成処理部１０６１Ａ、又は、細胞評価情報生成処理部１０７２Ａ）と、この畳み込みニューラルネットワークに合わせたデータ構造変換を行う要素（例えば、変換処理部１０４２又は変換処理部１０８２）とを含んでいる。

【0239】

まず、眼科装置１０００は、画像取得部１０１０によって、被検眼のシャインプルーフ画像を取得する（Ｓ３１）。

【0240】

次に、眼科装置１０００は、データ処理部１０２０によって、シャインプルーフ画像から前房領域を特定するための第１セグメンテーション（前房セグメンテーション）を、ステップＳ３１で取得されたシャインプルーフ画像に適用する（Ｓ３２）。第３の動作例のステップＳ２２と同様に、本ステップの前房セグメンテーションの手法は任意であってよい。

【0241】

次に、データ処理部１０２０は、ステップＳ３２の前房セグメンテーションで特定された前房領域内のゴーストを除去する（Ｓ３３）。これにより、後述するステップＳ３５の細胞評価情報生成処理においてゴーストが評価結果に反映されてしまう不都合を防止することができる。

【0242】

次に、データ処理部１０２０は、ステップＳ３３でゴーストが除去された前房領域を、次のステップＳ３５に用いられる畳み込みニューラルネットワークの入力層に対応した構造の画像データに変換する（Ｓ３４）。

【0243】

なお、幾つかの例示的な態様において、前房領域からのゴースト除去（本例のステップＳ３３）と、前房領域のデータ構造変換（本例のステップＳ３４）との順序が逆であってもよい。

【0244】

次に、データ処理部１０２０は、ステップＳ３４で取得された画像データ（前房領域の変換データ）を、細胞評価情報生成処理を実行するように構成された細胞評価情報生成処理部の畳み込みニューラルネットワークに入力する。これにより、ステップＳ３２で取得された前房領域に基づく細胞評価情報が生成される（Ｓ３５）。

【0245】

次に、眼科装置１０００は、ステップＳ３５で生成された細胞評価情報を表示装置に表示させる（Ｓ３６）。

【0246】

幾つかの例示的な態様では、ステップＳ３５において、ＳＵＮ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案された評価に使用されている炎症性細胞の密度の値（１ミリメートル四方の大きさの領域に存在する炎症性細胞の個数）、及び／又は、この密度の値に対応するグレードが求められ、更に、ステップＳ３６において、少なくともステップＳ３５で求められた密度の値及び／又はグレードが表示される。

【0247】

また、幾つかの例示的な態様では、ステップＳ３５において、ＳＵＮ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案された評価に使用されている炎症性細胞の密度の値（１ミリメートル四方の大きさの領域に存在する炎症性細胞の個数）が求められる。本態様のデータ処理部１０２０は、密度値とグレードとの対応関係を表す既定のデータを参照して、ステップＳ３５で求められた密度値に対応するグレードを求める。本態様のステップＳ３６では、データ処理部１０２０により求められたグレード（及び、本態様のステップＳ３５で求められた密度値）が表示される。

【0248】

ステップＳ３５で生成された細胞評価情報及び／又はそれに基づく情報に加えて、眼科装置１０００は、ステップＳ３１～Ｓ３４で取得された任意の情報を表示装置に表示させることができる。細胞評価情報に加えて表示される情報の例として、ステップＳ３１で取得されたシャインプルーフ画像、ステップＳ３２で取得された情報（例えば、シャインプルーフ画像に基づく情報、前房領域、前房領域に基づく情報）、ステップＳ３３で取得された情報（例えば、ゴーストが除去された前房領域、ゴーストが除去された前房領域に基づく情報）、ステップＳ３４で取得された情報（例えば、成形された前房領域、成形された前房領域に基づく情報）などがある。

【0249】

細胞評価情報以外の炎症状態情報を生成する場合においても、細胞評価情報を生成する場合と同じ要領で炎症状態情報を生成することができる。前述したように、細胞評価情報以外の炎症状態情報の例として、前房フレアに関する情報、水晶体の混濁に関する情報、疾患の発症・経過に関する情報、疾患の活動性に関する情報などがある。

【0250】

これらの例示的な炎症状態情報はいずれも、細胞評価情報の場合と同様に、ＳＵＮ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案されたぶどう膜炎疾患の分類基準を参照して生成及び評価されてよい。

【0251】

これらの例示的な炎症状態情報を生成及び評価する処理は、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。機械学習ベースの処理を行うためのニューラルネットワークの構築は、細胞評価情報を生成するためのニューラルネットワークの構築と同じ要領で実行されてよい。非機械学習ベースの処理を行うためのプロセッサは、例えば、評価対象（例えば、前房フレア、水晶体の混濁、疾患の発症・経過、疾患の活動性など）を求めるための処理を少なくとも実行するように構成され、更に、求められた評価対象に基づき評価を行う処理を実行するように構成されていてよい。

【0252】

以上に説明した眼科装置１０００として機能することが可能な眼科装置の具体的構成の例を図２３に示す。本例の眼科装置は、スリットランプ顕微鏡とコンピュータ（情報処理装置）とを組み合わせたシステム（スリットランプ顕微鏡システム１）である。

【0253】

スリットランプ顕微鏡システム１は、照明系２と、撮影系３と、動画撮影系４と、光路結合素子５と、移動機構６と、制御部７と、データ処理部８と、通信部９と、ユーザーインターフェイス１０とを含む。被検眼Ｅの角膜を符号Ｃで示し、水晶体を符号ＣＬで示す。前房は、角膜Ｃと水晶体との間の領域に相当する

【0254】

スリットランプ顕微鏡システム１の要素群の配置の非限定的な例として、幾つかの例示的な態様のスリットランプ顕微鏡システム１は、顕微鏡本体、コンピュータ、及び顕微鏡本体とコンピュータとの間の通信を担う通信デバイスを含んでいる。顕微鏡本体は、照明系２、撮影系３、動画撮影系４、光路結合素子５、及び移動機構６を含む。コンピュータは、制御部７、データ処理部８、通信部９、及びユーザーインターフェイス１０を含む。コンピュータは、例えば、顕微鏡本体の近傍に設置されていてもよいし、ネットワーク上に設置されていてもよい。

【0255】

照明系２、撮影系３、及び移動機構６の組み合わせは、眼科装置１０００の画像取得部１０１０の例である。照明系２は、眼科装置１０００の照明系１０１１の例である。撮影系３は、眼科装置１０００の撮影系１０１２の例である。

【0256】

照明系２は、被検眼Ｅの前眼部にスリット光を投射する。符号２ａは、照明系２の光軸（照明光軸と呼ぶ）を示す。照明系２は、従来のスリットランプ顕微鏡の照明系と同様の構成を備えていてよい。例えば、図示は省略するが、照明系２は、被検眼Ｅから遠い側から順に、照明光源と、正レンズと、スリット形成部と、対物レンズとを含む。照明光源から出力された照明光は、正レンズを通過してスリット形成部に投射される。スリット形成部は、照明光の一部を通過させてスリット光を生成する。スリット形成部は、一対のスリット刃を有する。これらスリット刃の間隔（スリット幅と呼ぶ）を変化させることで、スリット光の幅を変化させることができる。また、一対のスリット刃を回転させることで、スリット光の長手方向の向きを変化させることができる。また、スリット形成部は、スリット光の長手方向の寸法を変化させることができる。スリット形成部により生成されたスリット光は、対物レンズにより屈折されて被検眼Ｅの前眼部に投射される。なお、スリット光を生成するための構成は本例に限定されず、スリット光の生成に使用可能な任意の構成であってもよい。照明系２は、スリット光のフォーカス位置を変更するための合焦機構を含んでいてもよい。この合焦機構は、例えば、対物レンズを照明光軸２ａに沿って移動させる。或いは、合焦機構は、対物レンズとスリット形成部との間に配置された合焦レンズを移動させる。

【0257】

図２３は上面図であり、被検眼Ｅの軸に沿う方向をＺ方向とし、これに直交する方向のうち被検者にとって左右の方向をＸ方向とし、Ｘ方向及びＺ方向の双方に直交する方向（上下方向、体軸方向）をＹ方向とする。本態様では、照明光軸２ａが被検眼Ｅの軸に一致するように被検眼Ｅに対するスリットランプ顕微鏡システム１のアライメントを行うことができ、より広義には、照明光軸２ａが被検眼Ｅの軸に平行に配置されるようにアライメントを行うことができる。

【0258】

撮影系３は、照明系２からのスリット光が投射されている前眼部を撮影する。符号３ａは、撮影系３の光軸（撮影光軸と呼ぶ）を示す。撮影系３は、光学系３Ａと、撮像素子３Ｂとを含む。光学系３Ａは、スリット光が投射されている被検眼Ｅの前眼部からの光を撮像素子３Ｂに導く。光学系３Ａは、従来のスリットランプ顕微鏡の撮影系と同様の構成を備えていてよい。例えば、光学系３Ａは、被検眼Ｅに近い側から順に、対物レンズと、変倍光学系と、結像レンズとを含む。スリット光が投射されている被検眼Ｅの前眼部からの光は、対物レンズ及び変倍光学系を通過し、結像レンズにより撮像素子３Ｂの撮像面に結像される。撮像素子３Ｂは、光学系３Ａにより導かれた光を撮像面にて受光する。撮像素子３Ｂは、２次元の撮像エリアを有するエリアセンサを含む。このエリアセンサは、例えば、電荷結合素子（ＣＣＤ）イメージセンサ、又は相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサであってよい。撮影系３は、そのフォーカス位置を変更するための合焦機構を含んでいてもよい。この合焦機構は、例えば、対物レンズを撮影光軸３ａに沿って移動させる。或いは、合焦機構は、対物レンズと結像レンズとの間に配置された合焦レンズを撮影光軸３ａに沿って移動させる。

【0259】

照明系２及び撮影系３は、シャインプルーフカメラとして機能する。すなわち、照明光軸２ａに沿う物面と、光学系３Ａと、撮像素子３Ｂの撮像面とが、いわゆるシャインプルーフの条件を満足するように、照明系２及び撮影系３が構成されている。より具体的には、照明光軸２ａを通るＹＺ面（物面を含む）と、光学系３Ａの主面と、撮像素子３Ｂの撮像面とが、同一の直線上にて交差する。これにより、物面内の全ての位置（照明光軸２ａに沿う方向における全ての位置）にピントを合わせて撮影を行うことができる。

【0260】

本態様では、例えば、少なくとも角膜Ｃの後面から水晶体ＣＬの前面までの範囲（前房）に撮影系３のピントがあるように、照明系２及び撮影系３が構成されている。なお、実用性などを考慮して、例えば、少なくとも角膜Ｃの前面から水晶体ＣＬの後面までの範囲に撮影系３のピントが合うように、照明系２及び撮影系３を構成してもよい。これにより、スリットランプ顕微鏡システム１は、角膜Ｃの前面の頂点（Ｚ＝Ｚ１）から水晶体ＣＬの後面の頂点（Ｚ＝Ｚ２）までの範囲の全体に撮影系３のピントが合っている状態で、被検眼Ｅの前眼部の撮影を行うことができる。なお、照明光軸２ａと撮影光軸３ａとの交点は、座標Ｚ＝Ｚ０に位置している。このような条件は、照明系２に含まれる要素の構成及び配置、撮影系３に含まれる要素の構成及び配置、並びに、照明系２と撮影系３との相対位置などにしたがって実現される。照明系２と撮影系３との相対位置を示すパラメータは、例えば、照明光軸２ａと撮影光軸３ａとがなす角度θを含む。角度θは、例えば、１７．５度、３０度、又は４５度に設定される。角度θは可変であってもよい。

【0261】

動画撮影系４は、照明系２及び撮影系３による被検眼の撮影と並行して被検眼Ｅの前眼部を動画撮影する。動画撮影系４は、ビデオカメラとして機能する。

【0262】

光路結合素子５は、照明系２の光路（照明光路）と、動画撮影系４の光路（動画撮影光路）とを結合している。光路結合素子５は、例えば、ハーフミラー又はダイクロイックミラーなどのビームスプリッタであってよい。

【0263】

照明系２、撮影系３、動画撮影系４、及び光路結合素子５を含む光学系の具体例を図２４に示す。本例において、撮影系３は、２つの撮影系（第１撮影系及び第２撮影系）を含んでいる。幾つかの例示的な態様において、スリットランプ顕微鏡システム１の光学系は、図２４に示す要素群に加えて、又はそれらのいずれかの代わりに、他の要素（例えば、眼科装置１０００の説明における任意の要素、公知のスリットランプ顕微鏡の任意の要素、公知の眼科装置の任意の要素）を含んでいてもよい。

【0264】

図２４に示す光学系は、照明系２０と、左撮影系３０Ｌと、右撮影系３０Ｒと、動画撮影系４０とを含んでいる。照明系２０は照明系２の例である。左撮影系３０Ｌ及び右撮影系３０Ｒの組み合わせは、撮影系３の例であり、眼科装置１０００の第１撮影系１０１４及び第２撮影系１０１５の組み合わせの例である。動画撮影系４０は、動画撮影系４の例である。ビームスプリッタ４７は、光路結合素子５の例である。

【0265】

図２４において、符号２０ａは照明系２０の光軸（照明光軸と呼ぶ）を示し、符号３０Ｌａは左撮影系３０Ｌの光軸（左撮影光軸と呼ぶ）を示し、符号３０Ｒａは右撮影系３０Ｒの光軸（右撮影光軸と呼ぶ）を示す。左撮影光軸３０Ｌａの向きと右撮影光軸３０Ｒａの向きとは互いに異なっている。照明光軸２０ａと左撮影光軸３０Ｌａとがなす角度をθＬで示し、照明光軸２０ａと右撮影光軸３０Ｒａとがなす角度をθＲで示す。角度θＬと角度θＲとは、互いに等しくてもよいし互いに異なってもよい。角度θＬ及び角度θＲのそれぞれは可変であってもよい。照明光軸２０ａと左撮影光軸３０Ｌａと右撮影光軸３０Ｒａとは、一点で交差する。図２３と同様に、この交点のＺ座標をＺ０で示す。

【0266】

本例の移動機構６は、照明系２０、左撮影系３０Ｌ、及び右撮影系３０Ｒを、矢印４９で示す方向（Ｘ方向）に移動するように構成されている。幾つかの例示的な態様において、照明系２０、左撮影系３０Ｌ、及び右撮影系３０Ｒは、少なくともＸ方向に移動可能なステージ上に載置されており、且つ、移動機構６は、制御部７からの制御信号にしたがってこの可動ステージをＸ方向に移動する。

【0267】

照明系２０は、被検眼Ｅの前眼部にスリット光を投射する。照明系２０は、従来のスリットランプ顕微鏡の照明系と同様に、被検眼Ｅから遠い側から順に、照明光源２１と、正レンズ２２と、スリット形成部２３と、対物レンズ群２４及び２５とを含む。

【0268】

照明光源２１から出力された照明光（例えば可視光）は、正レンズ２２により屈折されてスリット形成部２３に投射される。投射された照明光の一部は、スリット形成部２３が形成するスリットを通過してスリット光となる。生成されたスリット光は、対物レンズ群２４及び２５により屈折された後、ビームスプリッタ４７により反射され、被検眼Ｅの前眼部に投射される。

【0269】

左撮影系３０Ｌは、反射器３１Ｌと、結像レンズ３２Ｌと、撮像素子３３Ｌとを含む。反射器３１Ｌ及び結像レンズ３２Ｌは、照明系２０によりスリット光が投射されている前眼部からの光（左撮影系３０Ｌの方向に進行する光）を撮像素子３３Ｌに導く。

【0270】

前眼部から左撮影系３０Ｌの方向に進行する光は、スリット光が投射されている前眼部からの光であって、照明光軸２０ａから離れる方向に進行する光である。反射器３１Ｌは、当該光を照明光軸２０ａに近づく方向に反射する。結像レンズ３２Ｌは、反射器３１Ｌにより反射された光を屈折して撮像素子３３Ｌの撮像面３４Ｌに結像する。撮像素子３３Ｌは、当該光を撮像面３４Ｌにて受光する。

【0271】

左撮影系３０Ｌは、移動機構６による照明系２０、左撮影系３０Ｌ及び右撮影系３０Ｒの移動と並行して繰り返し撮影を行う。これにより複数の前眼部画像（一連のシャインプルーフ画像）が得られる。

【0272】

照明光軸２０ａに沿う物面と、反射器３１Ｌ及び結像レンズ３２Ｌを含む光学系と、撮像面３４Ｌとは、シャインプルーフの条件を満足する。より具体的には、反射器３１Ｌによる撮影系３０Ｌの光路の偏向を考慮すると、照明光軸２０ａを通るＹＺ面（物面を含む）と、結像レンズ３２Ｌの主面と、撮像面３４Ｌとが、同一の直線上にて交差する。これにより、左撮影系３０Ｌは、物面内の全ての位置（例えば、角膜前面から水晶体後面までの範囲）にピントを合わせて撮影を行うことができる。

【0273】

右撮影系３０Ｒは、反射器３１Ｒと、結像レンズ３２Ｒと、撮像素子３３Ｒとを含む。反射器３１Ｒ及び結像レンズ３２Ｒは、照明系２０によりスリット光が投射されている前眼部からの光（右撮影系３０Ｒの方向に進行する光）を撮像素子３３Ｒに導く。右撮影系３０Ｒは、移動機構６による照明系２０、左撮影系３０Ｌ及び右撮影系３０Ｒの移動と並行して繰り返し撮影を行うことで、複数の前眼部画像（一連のシャインプルーフ画像）を取得する。照明光軸２０ａに沿う物面と、反射器３１Ｒ及び結像レンズ３２Ｒを含む光学系と、撮像面３４Ｒとは、シャインプルーフの条件を満足する。

【0274】

左撮影系３０Ｌによるシャインプルーフ画像収集と右撮影系３０Ｒによるシャインプルーフ画像収集とは、互いに並行して行われる。左撮影系３０Ｌにより収集される一連のシャインプルーフ画像と右撮影系３０Ｒにより収集される一連のシャインプルーフ画像との組み合わせは、第１シャインプルーフ画像群と第２シャインプルーフ画像群との組み合わせに相当する。

【0275】

制御部７は、左撮影系３０Ｌによる繰り返し撮影と、右撮影系３０Ｒによる繰り返し撮影とを同期させることができる。これにより、左撮影系３０Ｌにより得られた一連のシャインプルーフ画像と、右撮影系３０Ｒにより得られた一連のシャインプルーフ画像との間の対応関係が得られる。この対応関係は、時間的な対応関係であり、より具体的には、実質的に同時に取得された画像同士をペアリングするものである。

【0276】

或いは、制御部７又はデータ処理部８は、左撮影系３０Ｌにより得られた複数の前眼部画像と、右撮影系３０Ｒにより得られた複数の前眼部画像との間の対応関係を求める処理を実行することができる。例えば、制御部７又はデータ処理部８は、左撮影系３０Ｌから逐次に入力される前眼部画像と、右撮影系３０Ｒから逐次に入力される前眼部画像とを、それらの入力タイミングによってペアリングすることができる。

【0277】

動画撮影系４０は、左撮影系３０Ｌによる撮影及び右撮影系３０Ｒによる撮影と並行して、被検眼Ｅの前眼部を固定位置から動画撮影する。ここで、動画撮影系４０は移動機構６によって移動されなくてもよい。動画撮影系４０は、照明系２０と同軸に配置されているが、その配置はこれに限定されない。幾つかの例示的な態様では、照明系２０と非同軸に動画撮影系を配置することができる。

【0278】

ビームスプリッタ４７を透過した光は、反射器４８により反射されて動画撮影系４０に入射する。動画撮影系４０に入射した光は、対物レンズ４１により屈折された後、結像レンズ４２によって撮像素子４３の撮像面に結像される。撮像素子４３はエリアセンサである。

【0279】

動画撮影系４０は、被検眼Ｅの動きのモニタ、アライメント、トラッキングなどに利用することができる。更に、動画撮影系４０は、一連のシャインプルーフ画像を処理するために利用することができる。

【0280】

図２３の参照に戻る。移動機構６は、照明系２及び撮影系３を一体的にＸ方向に移動するように構成されている。

【0281】

制御部７は、スリットランプ顕微鏡システム１の各部を制御するように構成されている。例えば、制御部７は、照明系２の要素（照明光源、スリット形成部、合焦機構など）、撮影系３の要素（光学系３Ａの合焦機構、撮像素子３Ｂなど）、動画撮影系４の要素（合焦機構、撮像素子など）、移動機構６、データ処理部８、通信部９、ユーザーインターフェイス１０などを制御する。

【0282】

制御部７は、照明系２、撮影系３及び移動機構６の制御と、動画撮影系４の制御とを、互いに並行して実行することができる。これにより、眼科装置１０００の画像取得部１０１０によるスリットスキャン（一連のシャインプルーフ画像の収集）と、動画撮影（一連の時系列画像の収集）とを互いに並行して実行することが可能になる。更に、制御部７は、照明系２、撮影系３及び移動機構６の制御と、動画撮影系４の制御とを、互いに同期して実行することができる。これにより、眼科装置１０００の画像取得部１０１０によるスリットスキャンと動画撮影とを互いに同期させることが可能になる。

【0283】

撮影系３が左撮影系３０Ｌ及び右撮影系３０Ｒを含む態様において、制御部７は、左撮影系３０Ｌによる繰り返し撮影（第１シャインプルーフ画像群の収集）と、右撮影系３０Ｒによる繰り返し撮影（第２シャインプルーフ画像群の収集）とを互いに同期して実行することができる。

【0284】

制御部７は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、各種の制御プログラム等のコンピュータプログラムが記憶されている。これらのコンピュータプログラムは、スリットランプ顕微鏡システム１がアクセス可能なコンピュータや記憶装置に格納されていてもよい。制御部７の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。

【0285】

制御部７は、被検眼Ｅの前眼部の３次元領域をスリット光でスキャンするために、照明系２、撮影系３及び移動機構６に対して次のような制御を適用することができる。

【0286】

まず、制御部７は、照明系２及び撮影系３を所定のスキャン開始位置に配置するように移動機構６を制御する（アライメント制御）。スキャン開始位置は、例えば、Ｘ方向における角膜Ｃの端部（第１端部）に相当する位置、又は、それよりも被検眼Ｅの軸から離れた位置である。図２５Ａにおける符号Ｘ０は、Ｘ方向における角膜Ｃの第１端部に相当するスキャン開始位置を示している。また、図２５Ｂの符号Ｘ０’は、Ｘ方向における角膜Ｃの第１端部に相当する位置よりも被検眼Ｅの軸ＥＡから離れたスキャン開始位置を示している。

【0287】

制御部７は、照明系２を制御して、被検眼Ｅの前眼部に対するスリット光の投射を開始させる（スリット光投射制御）。また、制御部７は、撮影系３を制御して、被検眼Ｅの前眼部の動画撮影を開始させる（撮影制御）。アライメント制御、スリット光投射制御、及び撮影制御の実行後、制御部７は、移動機構６を制御して、照明系２及び撮影系３の移動を開始する（移動制御）。移動制御により、照明系２及び撮影系３が一体的に移動される。つまり、照明系２と撮影系３との相対位置（角度θなど）を維持しつつ（シャインプルーフの条件を満足した状態で）照明系２及び撮影系３が移動される。照明系２及び撮影系３の移動は、前述したスキャン開始位置から所定のスキャン終了位置まで行われる。スキャン終了位置は、例えば、スキャン開始位置と同様に、Ｘ方向において第１端部の反対側の角膜Ｃの端部（第２端部）に相当する位置、又は、それよりも被検眼Ｅの軸から離れた位置である。

【0288】

本例のスリットスキャンは、スキャン開始位置からスキャン終了位置までの範囲に適用される。このスリットスキャンは、Ｘ方向を幅方向とし且つＹ方向を長手方向としたスリット光の前眼部への投射と、照明系２及び撮影系３のＸ方向への一体的な移動と、撮影系３による動画撮影とを、互いに並行して（連係して、同期して）実行することによって実現される。スリット光の長さ（つまり、Ｙ方向におけるスリット光のビーム断面の寸法）は、例えば、被検眼Ｅの表面において角膜Ｃの径以上に設定されている。また、移動機構６による照明系２及び撮影系３の移動距離は、Ｘ方向における角膜径以上に設定されている。これにより、角膜Ｃ全体を含む３次元領域にスリットスキャンを適用することが可能になり、前房の広い範囲を撮像することが可能になる。

【0289】

このようなスリットスキャンにより、スリット光の投射位置が異なる複数の前眼部画像（一連のシャインプルーフ画像）が得られる。換言すると、スリット光の投射位置がＸ方向に移動する様が描写された動画像が得られる。このような複数の前眼部画像（つまり、動画像を構成するフレーム群）の例を図２６に示す。

【0290】

図２６は、複数の前眼部画像（フレーム群）Ｆ１、Ｆ２、Ｆ３、・・・、ＦＮを示す。これら前眼部画像Ｆｎ（ｎ＝１、２、・・・、Ｎ）の添字ｎは、時系列順序を表している。つまり、第ｎ番目に取得された前眼部画像が符号Ｆｎで表される。前眼部画像Ｆｎには、スリット光像Ａｎが含まれている。図２６に示すように、スリット光像Ａ１、Ａ２、Ａ３、・・・、ＡＮは、時系列に沿って右方向に移動している。図２６に示す例では、スキャン開始位置及びスキャン終了位置は、Ｘ方向における角膜Ｃの両端に対応する。なお、スキャン開始位置及び／又はスキャン終了位置は本例に限定されず、例えば、角膜端部よりも被検眼Ｅの軸から離れた位置であってよい。また、スキャンの向きや回数についても任意に設定することが可能である。

【0291】

データ処理部８は、各種のデータ処理を実行するように構成されている。処理されるデータは、スリットランプ顕微鏡システム１により取得されたデータ、及び、外部から入力されたデータのいずれでもよい。

【0292】

データ処理部８は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、各種のデータ処理プログラム等のコンピュータプログラムが記憶されている。これらのコンピュータプログラムは、スリットランプ顕微鏡システム１がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。データ処理部８の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。

【0293】

データ処理部８は、眼科装置１０００のデータ処理部１０２０の説明におけるいずれかの構成を備えていてよい（図２Ｃ、図３～図１８を参照）。データ処理部８の構成は、それらに限定されない。

【0294】

データ処理部８が画像選択部１０２１（図２Ｃを参照）を備えている場合について説明する。本態様の画像選択部１０２１は、スリットスキャンにおいて左撮影系３０Ｌにより収集された一連のシャインプルーフ画像と右撮影系３０Ｒにより収集された一連のシャインプルーフ画像との間の対応関係（第１シャインプルーフ画像群と第２シャインプルーフ画像群との間の対応関係）に基づいて、当該スリットスキャンに対応する新たな一連のシャインプルーフ画像をこれら２つの一連のシャインプルーフ画像から選択する。データ処理部８は、図２Ｃの炎症状態情報生成部１０２２と同様に、画像選択部１０２１により選択された新たな一連のシャインプルーフ画像に基づいて炎症状態情報を生成する。

【0295】

データ処理部８の構成はこれらの例に限定されない。幾つかの例示的な態様のデータ処理部８は、特許文献３（特開２０１９－２１３７３３号公報）に開示されている任意のデータ処理機能など、本願の出願人のいずれかにより開示された当該技術に関する任意のデータ処理機能を有していてよい。

【0296】

通信部９は、スリットランプ顕微鏡システム１と他の装置との間におけるデータ通信を行う。すなわち、通信部９は、他の装置へのデータの送信と、他の装置から送信されたデータの受信とを行う。

【0297】

通信部９が実行するデータ通信の方式は任意であってよい。例えば、通信部９は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、ＬＡＮに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなど、各種の通信インターフェイスのうちの１つ以上を含む。データ通信は有線通信でも無線通信でもよい。

【0298】

通信部９により送受信されるデータは暗号化されていてよい。その場合、例えば、制御部７及び／又はデータ処理部８は、通信部９により送信されるデータを暗号化する暗号化処理部、及び、通信部９により受信されたデータを復号化する復号化処理部の少なくとも一方を含む。

【0299】

ユーザーインターフェイス１０は、表示デバイス、操作デバイスなど、任意のユーザーインターフェイスデバイスを含む。医師、被検者、補助者などのユーザーは、ユーザーインターフェイス１０を用いることによって、スリットランプ顕微鏡システム１の操作や、スリットランプ顕微鏡システム１への情報入力を行うことができる。

【0300】

表示デバイスは、制御部７の制御を受けて各種の情報を表示する。表示デバイスは、液晶ディスプレイ（ＬＣＤ）などのフラットパネルディスプレイを含んでいてよい。操作デバイスは、スリットランプ顕微鏡システム１を操作するためのデバイスや、情報を入力するためのデバイスを含む。操作デバイスは、例えば、ボタン、スイッチ、レバー、ダイアル、ハンドル、ノブ、マウス、キーボード、トラックボール、操作パネルなどを含む。タッチスクリーンのように、表示デバイスと操作デバイスとが一体化したデバイスを用いてもよい。

【0301】

ユーザーインターフェイスの少なくとも一部がスリットランプ顕微鏡システム１の周辺機器として配置されていてもよい。

【0302】

スリットランプ顕微鏡システム１の要素は、以上に説明したものに限定されない。スリットランプ顕微鏡システム１は、スリットランプ顕微鏡に組み合わせることが可能な任意の要素を含んでいてもよく、より一般に、眼科装置に組み合わせることが可能な任意の要素を含んでいてもよい。また、スリットランプ顕微鏡システム１は、スリットランプ顕微鏡により取得された被検眼のデータを処理するための任意の要素を含んでいてもよく、より一般に、任意の眼科データを処理するための任意要素を含んでいてもよい。

【0303】

例えば、スリットランプ顕微鏡システム１は、被検眼Ｅを固視させるための光（固視光）を出力する固視系を備えていてよい。固視系は、典型的には、少なくとも１つの可視光源（固視光源）、又は、風景チャートや固視標等の画像を表示する表示デバイスを含む。固視系は、例えば、照明系２又は撮影系３と同軸又は非同軸に配置される。

【0304】

以上に説明した眼科装置１０００及びスリットランプ顕微鏡システム１は、被検眼を撮影する機能（撮影機能、画像取得部１０１０）を備えているが、本開示に係る眼科装置はそのようなもの（眼科撮影装置）に限定されない。幾つかの例示的な態様の眼科装置は、撮影機能の代わりに（又は、撮影機能に加えて）、被検眼の画像を外部から受け付ける機能を有するコンピュータ（情報処理装置）を含んでいる。

【0305】

そのような情報処理装置としての眼科装置の構成例を図２７に示す。本例の眼科装置３０００は、画像取得部３０１０とデータ処理部３０２０とを含んでいる。画像取得部３０１０は、画像受付部３０１１を含んでいる。なお、画像取得部３０１０は、眼科装置１０００の画像取得部１０１０と同様の構成を更に備えていてもよい。データ処理部３０２０は、眼科装置１０００のデータ処理部１０２０の説明における任意の構成を備えていてよいが、それに限定されない。

【0306】

画像受付部３０１１は、予め取得された被検眼のシャインプルーフ画像（換言すると、過去の撮影によって取得された被検眼のシャインプルーフ画像）を受け付けるように構成されている。画像受付部３０１１は、例えば、通信デバイス及び／又はメディアドライブを含む。通信デバイスは、例えばスリットランプ顕微鏡システム１の通信部９と同様に、外部の記憶装置に保存されているデータを受信するように構成されている。メディアドライブは、記録媒体に記録されているデータを読み出すように構成されている。

【0307】

データ処理部３０２０は、画像受付部３０１１により受け付けられたシャインプルーフ画像から被検眼の炎症状態を示す炎症状態情報を生成するための処理を実行するように構成されている。データ処理部３０２０により実行可能な処理については、眼科装置１０００の説明やスリットランプ顕微鏡システム１の説明を参照されたい。

【0308】

本開示は、実施形態の幾つかの例示的な態様を提示するものである。これらの態様は、本発明の例示に過ぎない。したがって、本発明の要旨の範囲内における任意の変形（省略、置換、付加など）を本開示に適用することが可能である。

【0309】

本開示で説明された任意の１つ以上の処理をコンピュータに実行させるプログラムを構成することが可能である。また、そのようなプログラムを記録した記録媒体を作成することが可能である。記録媒体は、コンピュータによって読み取り可能な非一時的記録媒体である。このような記録媒体の形態は任意であり、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。

【0310】

本発明は、本開示で説明された任意の１つ以上の工程を含む方法を含んでいてよい。幾つかの例示的な態様に係る方法は、プロセッサを含む眼科装置（例えば、眼科装置１０００、スリットランプ顕微鏡システム１、又は眼科装置３０００）を制御する方法であり、眼科装置に被検眼のシャインプルーフ画像を取得させる工程（第１の取得工程と呼ぶ）と、被検眼の炎症状態を示す炎症状態情報をこのシャインプルーフ画像から生成するための処理をプロセッサに実行させる工程（第１の生成工程と呼ぶ）とを含んでいる。

【0311】

第１の取得工程及び／又は第１の生成工程は、眼科装置１０００の説明における任意の事項、スリットランプ顕微鏡システム１の説明における任意の事項、及び、眼科装置３０００の説明における任意の事項のうちのいずれかによって具体化されてもよい。また、眼科装置１０００の説明における任意の工程、スリットランプ顕微鏡システム１の説明における任意の工程、及び、眼科装置３０００の説明における任意の工程のうちのいずれかを、第１の取得工程及び第１の生成工程に組み合わせてもよい。

【0312】

また、幾つかの例示的な態様に係る方法は、眼の画像を処理する方法であり、被検眼のシャインプルーフ画像を取得する工程（第２の取得工程と呼ぶ）と、被検眼の炎症状態を示す炎症状態情報をシャインプルーフ画像から生成するための処理を実行する工程（第２の生成工程と呼ぶ）とを含んでいる。

【0313】

第２の取得工程及び／又は第２の生成工程は、眼科装置１０００の説明における任意の事項、スリットランプ顕微鏡システム１の説明における任意の事項、及び、眼科装置３０００の説明における任意の事項のうちのいずれかによって具体化されてもよい。また、眼科装置１０００の説明における任意の工程、スリットランプ顕微鏡システム１の説明における任意の工程、及び、眼科装置３０００の説明における任意の工程のうちのいずれかを、第２の取得工程及び第２の生成工程に組み合わせてもよい。

【0314】

本発明は、眼科装置を制御する方法をコンピュータに実行させるプログラム（第１のプログラムと呼ぶ）を含んでいてもよい。また、本発明は、眼の画像を処理する方法をコンピュータに実行させるプログラム（第２のプログラムと呼ぶ）を含んでいてもよい。更に、本発明は、第１のプログラムを記録したコンピュータ可読な非一時的記録媒体を含んでいてもよい。また、本発明は、第２のプログラムを記録したコンピュータ可読な非一時的記録媒体を含んでいてもよい。このような非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。

【0315】

上記の実施形態では、前房内に存在する炎症性細胞の密度の自動評価について特に詳細に説明した。炎症性細胞の密度の自動評価に際して着目すべき事項には様々なものがあるが、本発明者は、上記の実施形態で説明した各種の事項に加えて、次のような事項についても検討した：（１）シャインプルーフ画像（特に前房領域）内のアーティファクトと細胞領域とを識別すること；（２）スリットランプ顕微鏡を用いて行われていた従来の評価手法（例えば、ＳＵＮ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐにより提案された評価手法）との整合性を図ること；（３）撮影条件（例えば、カメラのゲイン）の調整や変更にかかわらず、評価の品質（例えば、安定性、ロバスト性、再現性、正確度、精度など）を担保すること。

【0316】

（１）については、上記の実施形態でも幾つかの解決手段が提案されているが、その他にも、睫毛に起因するアーティファクトの検出や除去など、任意の公知のアーティファクト検出技術やアーティファクト除去技術を用いることが可能である。

【0317】

（２）についても、上記の実施形態で幾つかの解決手段が提案されているが、その他にも、例えば、従来の評価手法で得たデータ群と本開示に係る評価手法で得たデータ群との間の対応関係を求め、この対応関係に基づいて従来の評価手法との整合性を向上させることができる。データ群の間の対応関係の作成には、機械学習ベースの処理及び／又は非機械学習ベースの処理が用いられる。機械学習ベースの処理では、例えば、従来の評価手法で得たデータ群と本開示に係る評価手法で得たデータ群との複数のペアを含む訓練データを用いた機械学習が実行される。これにより構築される推論モデルは、本開示に係る評価手法で取得されたデータを入力とし、従来の評価手法で取得されたデータに模したデータを出力としたニューラルネットワークを含むものである。

【0318】

（３）についても同様に、様々な撮影条件（例えば、カメラのゲインの様々な値）に対応して得られた様々なデータの間の対応関係を求め、この対応関係に基づいて評価品質の安定化を図ることができる。データ間の対応関係の作成には、機械学習ベースの処理及び／又は非機械学習ベースの処理が用いられる。機械学習ベースの処理では、例えば、第１の条件で得たデータと第２の条件で得たデータとの複数のペアを含む訓練データを用いた機械学習が実行される。これにより構築される推論モデルは、第１の条件（又は、第２の条件）で取得されたデータを入力とし、第２の条件（又は、第１の条件）で取得されたデータに模したデータを出力としたニューラルネットワークを含むものである。

【0319】

本開示に係る眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体によれば、従来は手動（手作業）で行われていた眼画像に基づく炎症状態の評価を少なくとも部分的に自動化することが可能である。

【0320】

本開示では、シャインプルーフ画像に基づき炎症状態の評価を行っているので、広い範囲にピントが合った高品質の画像に基づき評価を行うことができる。よって、被検眼の広い範囲の評価を高い品質で行うことが可能である。

【0321】

また、スリットスキャンを組み合わせることで、被検眼の広い３次元領域にピントが合った高品質のシャインプルーフ画像群（一連のシャインプルーフ画像）を迅速に取得することができ、このシャインプルーフ画像群に基づき評価を行うことが可能となるため、被検眼の非常に広い範囲の評価を高い品質で行うことが可能になる。例えば、前房の広い範囲を評価対象とすることが可能となり、水晶体や角膜なども評価対象に加えることも可能になる。

【0322】

なお、特許文献５（国際公開第２０１８／００３９０６号）に記載されている発明では、ビデオレートなど１フレームの撮影にかける露光時間が短いと散乱光を検出することができないため、１フレームの撮影に掛ける露光時間を１００ミリ秒～１秒程度に設定しているが、被検眼の眼球運動や瞬きの影響を考慮すると、本開示のようなスリットスキャンを行うことはできない。

【0323】

また、特許文献５（国際公開第２０１８／００３９０６号）に記載されている発明では、角膜におけるスリット光の投影像の寸法を０．２ミリメートル×２ミリメートルに設定しているため、前眼部の広い範囲を画像化することは難しい。これに対し、本実施形態では、例えば、角膜におけるスリット光の投影像の寸法を０．０５ミリメートル×８～１２ミリメートル程度に設定することができ、それにより前眼部の広い範囲を画像化することが可能になる。

【0324】

更に、本実施形態では、特許文献５（国際公開第２０１８／００３９０６号）に記載されている発明のような青色ＬＥＤではなく白色ＬＥＤなどを用いることができるとともに、モノクロカメラではなくカラーカメラを用いて色情報（Ｒ信号、Ｇ信号、Ｂ信号）を利用して評価を行うことができる。

【0325】

このように、本実施形態によれば、前眼部の広い範囲を画像化することができ、前眼部画像や炎症性細胞の像や炎症状態情報の取得に加えて前眼部形状の提示や解析も可能になるため、様々な情報を医師に提供することができるという利点もある。

【符号の説明】

【0326】

１０００ 眼科装置
１０１０ 画像取得部
１０１１ 照明系
１０１２ 撮影系
１０２０ データ処理部
１０２１ 画像選択部
１０２２ 炎症状態情報生成部
１０３１ 第１セグメンテーション部
１０３２ 第２セグメンテーション部
１０３３ 細胞評価情報生成処理部
３０００ 眼科装置
３０１０ 画像取得部
３０１１ 画像受付部
３０２０ データ処理部

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25A】

【図25B】

【図26】

【図27】