特許 7483247 検査対象分類システム、検査対象分類方法および検査対象分類プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】検査対象分類システム、検査対象分類方法および検査対象分類プログラム

(51)【国際特許分類】

   A61B 3/135 20060101AFI20240508BHJP

【ＦＩ】

A61B3/135

【請求項の数】 6

(21)【出願番号】P 2020071450

(22)【出願日】2020-04-13

(65)【公開番号】P2021166657

(43)【公開日】2021-10-21

【審査請求日】2023-04-03

(73)【特許権者】

【識別番号】501299406

【氏名又は名称】株式会社トーメーコーポレーション

(74)【代理人】

【識別番号】110000660

【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ弁理士法人

(72)【発明者】

【氏名】辺 光春

(72)【発明者】

【氏名】山岸 幸治

(72)【発明者】

【氏名】後藤 佳人

(72)【発明者】

【氏名】高田 英夫

【審査官】冨永 昌彦

(56)【参考文献】

【文献】特開２０１８－１２１８８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２２１３１３（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１６８１４２（ＷＯ，Ａ１）

【文献】特開２０１９－００５３１９（ＪＰ，Ａ）

【文献】特開２０１９－０２４７３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

(57)【特許請求の範囲】

【請求項1】

前眼部または前記前眼部の周囲の検査部の画像である検査対象画像を取得する検査対象画像取得部と、
前記検査部の画像に基づいて前記検査部の状態を分類する機械学習モデルに対して、前記検査対象画像を入力し、分類結果を取得する分類部と、
前記分類結果を表示する表示部と、
を備え、
前記分類部は、
複数の前記機械学習モデルのそれぞれによって前記分類結果を取得し、
前記表示部は、
複数の前記機械学習モデルのそれぞれにおける前記分類結果を対比可能に表示する、
検査対象分類システム。

【請求項2】

前記検査部の状態は、予め決められた複数のグループのいずれかに分類され、
前記分類部は、
複数の前記機械学習モデルのそれぞれに基づいて、前記検査部の状態が前記グループに属する確率を、複数の前記グループのそれぞれについて取得し、
前記表示部は、
複数の前記グループ毎に、複数の前記機械学習モデルのそれぞれによって取得された前記確率を対比可能に表示する、
請求項１に記載の検査対象分類システム。

【請求項3】

前記検査部の状態は、予め決められた複数のグループのいずれかに分類され、
前記表示部は、
複数の前記グループのそれぞれに属する前記検査部の状態を示す画像として予め用意された画像の中から、前記分類結果に対応した前記グループに属する前記検査部の状態を示す画像を選択して表示する、
請求項１に記載の検査対象分類システム。

【請求項4】

前記機械学習モデルは、
前記検査部を含む画像から前記検査部以外の部分を除去した画像と前記検査部の状態の分類結果とを対応づけた教師データに基づいて機械学習され、
前記検査対象画像は、
前記検査部を撮影した画像から前記検査部以外の部分を除去することで取得される、
請求項１～請求項３のいずれか一項に記載の検査対象分類システム。

【請求項5】

前眼部または前記前眼部の周囲の検査部の画像である検査対象画像を取得する検査対象画像取得工程と、
前記検査部の画像に基づいて前記検査部の状態を分類する機械学習モデルに対して、前記検査対象画像を入力し、分類結果を取得する分類工程と、
前記分類結果を表示する表示工程と、
を含み、
前記分類工程においては、
複数の前記機械学習モデルのそれぞれによって前記分類結果を取得し、
前記表示工程においては、
複数の前記機械学習モデルのそれぞれにおける前記分類結果を対比可能に表示する、
検査対象分類方法。

【請求項6】

コンピュータを、
前眼部または前記前眼部の周囲の検査部の画像である検査対象画像を取得する検査対象画像取得部、
前記検査部の画像に基づいて前記検査部の状態を分類する機械学習モデルに対して、前記検査対象画像を入力し、分類結果を取得する分類部、
前記分類結果を表示する表示部、
として機能させ、
前記分類部は、
複数の前記機械学習モデルのそれぞれによって前記分類結果を取得し、
前記表示部は、
複数の前記機械学習モデルのそれぞれにおける前記分類結果を対比可能に表示する、
ようにコンピュータを機能させる、
検査対象分類プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象分類システム、検査対象分類方法および検査対象分類プログラムに関する。

【背景技術】

【0002】

従来、前眼部や前眼部の周囲を検査対象とし、検査対象を評価する技術が知られている。例えば、特許文献１，２においては、ドライアイのタイプ評価や涙液層の動態の評価を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－４７０８３号公報

【文献】国際公開ＷＯ２０１８／２０３５１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術においては、評価に際して人為的に決定された評価基準に即して自動で判断を行うシステムを構築する必要があり、評価基準の決定に主観が伴うため評価の信頼性を向上させることが困難であった。
本発明は、前記課題にかんがみてなされたもので、客観的に分類を行うことが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

上述の目的を達成するため、検査対象分類システムは、前眼部または前眼部の周囲の検査部の画像である検査対象画像を取得する検査対象画像取得部と、検査部の画像に基づいて検査部の状態を分類する機械学習モデルに対して、検査対象画像を入力し、分類結果を取得する分類部と、分類結果を表示する表示部と、を備える。

【0006】

すなわち、検査対象分類システムにおいては、前眼部または前眼部の周囲の検査部の画像に基づいて、検査部の状態を分類する機械学習モデルが予め生成される。従って、前眼部または前眼部の周囲の検査部の画像が取得されれば、機械学習モデルに基づいて、自動的に検査対象を分類することができる。機械学習モデルは、画像と分類結果とを対応づけた教師データを学習用に用意して機械学習することによって得られる。従って、機械学習モデルによれば、主観に頼ることなく分類を行うことができる。

【図面の簡単な説明】

【0007】

【図1】検査対象分類システムが備える光学系を模式的に示す図である。

【図2】ヘッド部および本体部の内部の構成を説明するブロック図である。

【図3】図３Ａは機械学習システムの構成を説明するブロック図、図３Ｂは機械学習処理のフローチャートである。

【図4】機械学習のモデルを示す図である。

【図5】図５Ａは光調整部材の組み合わせの例を示す図であり、図５Ｂは撮影画像を示す図であり、図５Ｃは検査対象画像を示す図である。

【図6】図６Ａは検査対象分類処理のフローチャートであり、図６Ｂは分類結果の表示態様の例を示す図である。

【図7】図７Ａ、図７Ｂは分類結果の表示例を示す図である。

【発明を実施するための形態】

【0008】

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）眼科装置の構成：
（２）機械学習モデルの生成：
（３）検査対象分類処理：
（４）他の実施形態：

【0009】

（１）眼科装置の構成：
本発明の一実施形態にかかる検査対象分類システムは、眼科装置に含まれている。眼科装置は、種々の態様で構成されて良く、例えば、光学系を備えるヘッド部と本体部とを備える構成を想定する事ができる。この場合、例えば、本体部は机等の設置部位に設置され、ヘッド部は本体部に対して相対的に移動可能である。本体部には、眼科装置の各部を制御し、また、検査部の状態を分類する制御部が含まれる。ヘッド部は、眼科装置に対して相対的に移動可能であり、ヘッド部の移動によって被検眼に対してアライメントが行われる。むろん、当該眼科装置の態様は一例であり、他にも種々の態様であって良い。

【0010】

光学系は、検査対象の検査部を撮影可能であればよく、この限りにおいて、その配置や光学部品等は限定されない。図１は、本実施形態にかかる眼科装置１の光学系を模式的に示す図である。なお、本実施形態においては、図１の右上に示すように、被検眼Ｅを有する被検者から見た方向を基づいて上下左右前後を表現する。図面の手前側が上方向、奥側が下方向である。なお、本実施形態にかかる眼科装置１は、これらの方向にＸ方向、Ｙ方向、Ｚ方向を対応づけている。本実施形態において、前後方向はＺ軸方向であり後方が＋Ｚ方向、上下方向はＹ軸方向であり上方が＋Ｙ方向、左右方向はＸ軸方向であり左方が＋Ｘ方向である。むろん、各方向と軸との対応関係や正負の方向は異なっていてもよい。

【0011】

本実施形態においては、被検眼Ｅに対して複数の検査を実施可能であり、検査の一部として、被検眼Ｅまたは被検眼Ｅの周囲の検査部の画像から検査対象を分類する機能を実行可能である。当該分類としては、例えば、被検眼Ｅの充血の重症度の分類等が挙げられる。眼科装置１は、各種の検査のために被検眼の画像を撮影する機能を有している。本実施形態においては、被検者Ｓの正面ではない位置から斜め方向に投光した光によって撮影を行う。そして、斜めからの光が被検者Ｓの鼻に邪魔されないようにするために、被検眼の右眼に対して右側から投光し、左眼に対して左側から投光するように構成される。すなわち、投光光学系が２個設けられる。

【0012】

図２は眼科装置１の構成を光学系等への制御に着目して示すブロック図である。眼科装置１の本体部Ｂは、図２に示すように、ヘッド部ＨをＸＹＺ方向に移動させるＸＹＺ駆動制御部９１、ヘッド部Ｈの空間位置の調整等を指示するジョイスティック９２、制御部９０の制御処理において利用されるメモリ９３を備えている。

【0013】

また、ヘッド部Ｈは、左眼に対して投光するための第１投光光学系１０、右眼に対して投光するための第２投光光学系２０、撮影を行うための受光光学系３０、Ｘ－Ｙ方向のアライメントを行うためのＸ－Ｙアライメント光学系４０、Ｚ方向のアライメントを行うためのＺアライメント光学系５０、固視状態を実現するための固視光学系６０、撮影された被検眼の画像や検査モード選択のためのユーザインタフェース等を表示する表示部７０、検査項目等の指示を受け付けるタッチパネル８０を備えている。

【0014】

（第１投光光学系）
図１においては、被検眼Ｅから前方を見た場合の方向と、ヘッド部Ｈの内部で前後方向に延びる受光光学系３０の光軸Ｏｃとが一致するようにして各光学系の位置を示している。第１投光光学系１０は、光軸Ｏｃに対して左側に配置されており、複数の第１光源１０ａと、レンズ１０ｂ，１０ｄと、光調整部材１０ｃとを含む。図１に示されるように、それぞれの第１光源１０ａから延びるそれぞれの光軸上に、レンズ１０ｂ、光調整部材１０ｃ、レンズ１０ｄが備えられる。

【0015】

本実施形態において、第１光源１０ａは、白色ＬＥＤであり、可視光の全範囲に渡る波長の光を含む第１測定光を出力可能である。第１光源１０ａは、斜め後方に向けられており、レンズ１０ｂ，１０ｄを通る光軸Ｏｌが光軸Ｏｃと交わるように構成されている。なお、光軸Ｏｌは、第１光源１０ａのそれぞれと被検眼Ｅとの間の各光軸の総称である。

【0016】

レンズ１０ｂ，１０ｄの間には、光調整部材１０ｃが配置されている。光調整部材１０ｃは、第１光源１０ａから出力された光を調整するための部材である。本実施形態において光調整部材１０ｃは、ディフューザー，波長選択フィルタおよびスリット光生成部材である。ディフューザーは、第１光源１０ａから出力された光を拡散させるフィルタであり、被検眼Ｅに対してスポット状の第１測定光が投光されることを防止し、被検眼Ｅから反射される反射光が局所的に強くなることを防止するための光調整部材である。

【0017】

本実施形態において波長選択フィルタは、青色バンドパスフィルタである。すなわち、波長選択フィルタは、第１光源１０ａから出力された第１測定光から青色以外の光を減衰させ、青色の光を透過させる光調整部材である。スリット光生成部材は、スリットを有する光調整部材である。スリット光生成部材は、第１光源１０ａの光軸上に配置されることによって、第１光源１０ａから出力された第１測定光の一部を通過させ、光軸に垂直な方向の断面の形状が略矩形であるスリット光に変換する。なお、本実施形態のスリット光生成部材は、スリットの幅が異なる２種類の部材が存在する。

【0018】

光調整部材１０ｃは、以上のように、複数の光調整部材によって構成される。本実施形態においては、第１光源１０ａのいずれかが点灯されることによって、各第１光源１０ａから出力された光が光軸を通って被検眼Ｅに達する。本実施形態においては、このように光が通る光軸を、有効な光軸と呼ぶ。本実施形態においては、第１光源１０ａのいずれかが点灯される。この場合、点灯された光源と被検眼Ｅとの間にある光調整部材１０ｃは、有効な光軸上に配置された状態になる。点灯されていない光源と被検眼Ｅとの間にある光調整部材１０ｃは、有効な光軸上には配置されていない。

【0019】

なお、本実施形態において第１投光光学系１０は、第１光源１０ａ以外の光源１１ａ，１１ｂを含んでいる。これらの光源１１ａ，１１ｂから出力された光は被検眼Ｅに投光され、被検眼Ｅを照明する。本実施形態においては、光源１１ａ，１１ｂから出力された光を調整しないため、光調整部材１０ｃを介することなく光源１１ａ，１１ｂから出力された光が被検眼Ｅに投光される。従って、本実施形態において、光源１１ａ，１１ｂは、光調整部材１０ｃよりも被検眼Ｅ側に配置されている。光調整部材による調整が必要であれば、光源１１ａ，１１ｂを被検眼Ｅから見て光調整部材１０ｃより後方側に配置し、光調整部材による調整が行われるように構成しても良い。また、光源１１ａ，１１ｂの種類は限定されず、例えば、赤外線を出力するＬＥＤ等が挙げられる。

【0020】

（第２投光光学系）
第２投光光学系２０は、光軸Ｏｃに対して右側に配置されており、第２光源２０ａと、レンズ２０ｂ，２０ｄと、光調整部材２０ｃとを含む。第２投光光学系２０を構成する各要素や、光源２１ａ，２１ｂの構成は、第１投光光学系１０と同一である。本実施形態において、第１投光光学系１０および第２投光光学系２０は、光軸Ｏｃを挟む反対側に配置されている。本実施形態において、光軸Ｏｌ，Ｏｃ，Ｏｒは同一面上（水平面上）に存在し、光軸Ｏｌと光軸Ｏｒは、光軸Ｏｃに対して対称である。そして、第１投光光学系１０と第２投光光学系２０とは、光軸Ｏｃに対して線対称の位置に各部材が配置されている。なお、本実施形態において、光調整部材１０ｃおよび光調整部材２０ｃが備える光調整部材は同一の部材であるが、各光調整部材の配置は線対称でなくてもよい。

【0021】

（受光光学系）
受光光学系３０は、前後方向に延びる光軸Ｏｃ上に、撮像素子３０ａと、レンズ３０ｂ，３０ｄと、受光調整ユニット３２ｃとを備えている。光軸Ｏｃは、撮像素子３０ａおよびレンズ３０ｂ，３０ｄの中央を通る直線状の軸であり、被検眼Ｅが既定の位置にアライメントされた場合に角膜頂点を通ることが想定されている。

【0022】

第１投光光学系１０によって第１測定光が被検眼Ｅに投光された場合や、第２投光光学系２０によって第２測定光が被検眼Ｅに投光された場合には、投光された光が被検眼Ｅによって反射される。反射光は光軸Ｏｃに沿って進行し、レンズ３０ｄ、受光調整ユニット３２ｃ、レンズ３０ｂを通って撮像素子３０ａに受光される。本実施形態において、撮像素子３０ａは、画素毎にＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の各色の強度を検出してカラー画像を生成する撮像素子である。

【0023】

レンズ３０ｂ，３０ｄの間には、受光調整ユニット３２ｃが配置されている。本実施形態において受光調整ユニット３２ｃは、光調整部材３０ｃとしての複数の波長選択フィルタを備えている。本実施形態において波長選択フィルタは、緑色バンドパスフィルタおよびロングパスフィルタである。緑色バンドパスフィルタは、被検眼Ｅによって反射された反射光から緑色以外の光を減衰させ、緑色の光を透過させる光調整部材である。ロングパスフィルタは、被検眼Ｅによって反射された反射光から短波長側の光を減衰させ、長波長側の光を透過させる光調整部材である。ロングパスフィルタにおいて減衰または透過させる波長域は種々の波長域であってよく、例えば、赤色の色を透過させるフィルタや赤外線を透過させるフィルタ等であってよい。

【0024】

受光調整ユニット３２ｃは、以上のように、複数の光調整部材３０ｃを備えており、いずれかの光調整部材を光軸Ｏｃ上に配置した状態と、光軸Ｏｃ上に光調整部材を配置しない状態（光調整部材が存在しない部分を光が通過する状態）を切り替える機構を備えている。従って、被検眼Ｅから反射された反射光は、緑色光、または短波長側の光が減衰された光、または調整されていない反射光として撮像素子３０ａに受光される。

【0025】

なお、被検眼Ｅに投光されている場合には、被検眼Ｅからの反射光が光軸Ｏｃを通るため、光軸Ｏｃが有効な状態になる。このため、受光調整ユニット３２ｃによって波長選択フィルタのいずれかが光軸Ｏｃ上に配置されることで有効な光軸に光調整部材３０ｃが配置された状態になる。受光調整ユニット３２ｃにおいては、各種の機構によって光調整部材３０ｃを選択可能であって良い。例えば、モータの駆動力によって光調整部材３０ｃが移動され、光軸Ｏｃ上に配置される部材が選択可能な構成を採用可能である。

【0026】

以上のように、本実施形態においては、光調整部材１０ｃと光調整部材２０ｃとは、同一である。すなわち、第１投光光学系１０および第２投光光学系２０のそれぞれは、同一のディフューザー、青色バンドパスフィルタ、スリット光生成部材を備えている。一方、光調整部材３０ｃは、光調整部材１０ｃおよび光調整部材２０ｃと異なる。すなわち、受光調整ユニット３２ｃは、緑色バンドパスフィルタと、ロングパスフィルタとを備える。これらのフィルタは、光調整部材１０ｃおよび光調整部材２０ｃのいずれにも備えられていない。

【0027】

このように、本実施形態において、投光される光を調整する光調整部材１０ｃ，２０ｃと、被検眼Ｅで反射された光を調整する光調整部材３０ｃとは、異なっている。このため、投光される光と、反射された光とに対して同一の調整が行われることはなく、異なる調整を行うことができる。従って、ヘッド部Ｈ内で光調整部材を効率的に配置することができる。さらに、光調整部材１０ｃおよび光調整部材２０ｃと、光調整部材３０ｃのそれぞれは、複数の光調整部材を含む。従って、光調整部材が選択されることにより、投光される光と反射された光とに対して多様な調整を行うことができる。

【0028】

図１において、レンズ３０ｂは模式的に表現されている。本実施形態にけるレンズ３０ｂは、オートフォーカス機能を実現する図示しないオートフォーカス機構によって構成されている。すなわち、レンズ３０ｂは、光軸Ｏｃ方向に移動可能な１個以上のレンズを備えており、制御部９０は、受光光学系３０に制御信号を出力することによって被検眼Ｅの像が結像する光軸Ｏｃ方向の位置を変化させることができる。本実施形態においては、レンズ３０ｂの位置を変化させた複数の画像を撮影し、最も画質がよい画像を取得することでオートフォーカスを実現する。なお、画質は、画質がよいほど合焦状態がよくなるように評価できれば良く、例えば、コントラストや輝度が大きいほど画質がよいと評価する構成等を採用可能である。

【0029】

図２に示す制御部９０は、撮影が開始されると、受光光学系３０のレンズ３０ｂを含むオートフォーカス機構を制御し、既定の移動開始位置から移動終了位置までレンズ３０ｂを移動させながら、所定周期で撮像素子３０ａによる撮影を行う。そして、制御部９０は、被検眼Ｅの検査部を含む既定の領域（例えば、矩形の領域）におけるフォーカスを合わせるための制御を行う。本実施形態においては、画質に基づいて合焦状態を判定するため、制御部９０は、検査部を含む領域内の画質を画像間で比較し、最も画質がよい画像を取得してメモリ９３に記録する。この結果、検査部に合焦した画像を記録することができる。

【0030】

むろん、オートフォーカスの方式については、種々の方式が採用されてよい。図１においては、レンズ３０ｂの上部に矢印を付記することによってオートフォーカスが実行可能であることが示されている。このように、オートフォーカスを実行可能な構成によれば、自動で鮮明な画像を撮影することが可能であり、検査が容易になる。また、検者は、検査部の差異に応じて画像内の異なる位置に対して合焦させるべきであることを意識することなく、検査部が鮮明に撮影された画像を利用することが可能になる。

【0031】

以上の構成により、受光光学系３０においては、第１投光光学系１０や第２投光光学系２０（あるいは後述する他の光学系）によって投光された光の、被検眼Ｅからの反射光に基づいて、被検眼Ｅを撮影することができる。撮影された画像はメモリ９３に記録される。

【0032】

（Ｘ－Ｙアライメント光学系）
Ｘ－Ｙアライメント光学系４０は、Ｘ－Ｙアライメント用光源４０ａと、レンズ４０ｂと、ハーフミラー４０ｃを備えている。Ｘ－Ｙアライメント光学系４０においては、光軸Ｏｃと垂直な方向において、遠方側からＸ－Ｙアライメント用光源４０ａ、レンズ４０ｂ、ハーフミラー４０ｃの順に配置されている。Ｘ－Ｙアライメント用光源４０ａは、その光軸が光軸Ｏｃと垂直になるように向けられている。

【0033】

ハーフミラー４０ｃは、レンズ４０ｂを通過したＸ－Ｙアライメント用光源４０ａの出力光が、光軸Ｏｃ方向に反射するように配向されている。従って、Ｘ－Ｙアライメント用光源４０ａから出力された出力光は、レンズ４０ｂを通過し、ハーフミラー４０ｃで反射され、被検眼Ｅに達して反射される。被検眼Ｅで反射された反射光は、光軸Ｏｃに沿って進み、ハーフミラー４０ｃを通過し、レンズ３０ｄ、ハーフミラー６０ｄ、受光調整ユニット３２ｃ、レンズ３０ｂを通過して撮像素子３０ａに受光される。

【0034】

本実施形態においては、Ｘ－Ｙ平面内（上下左右方向の平面内）において被検眼Ｅの角膜頂点が、光軸Ｏｃ上に存在する場合に、Ｘ－Ｙアライメント用光源４０ａの出力光が撮像素子３０ａの基準位置（例えば中央）になるように、Ｘ－Ｙアライメント光学系４０が設計されている。従って、撮像素子３０ａで検出された輝点の位置と、基準位置との関係を特定すれば、被検眼Ｅの角膜頂点が光軸Ｏｃ上になるようにヘッド部Ｈを移動させるべきＸ－Ｙ平面内での方向および移動量を特定することができる。

【0035】

そこで、制御部９０は、Ｘ－Ｙアライメントを行う際、Ｘ－Ｙアライメント光学系４０を制御してＸ－Ｙアライメント用光源４０ａを点灯させる。この状態で、制御部９０は、受光光学系３０が備える撮像素子３０ａによってＸ－Ｙアライメント用光源４０ａが出力したアライメント光を検出する。そして、制御部９０は、当該アライメント光の検出結果を参照し、ヘッド部Ｈの移動方向および移動量を特定する。ＸＹＺ駆動制御部９１は、ヘッド部Ｈを光学系とともにＸＹＺ方向に移動させる機構を備えている。そこで、制御部９０は、ヘッド部Ｈの移動方向および移動量をＸＹＺ駆動制御部９１に指示する。この結果、ヘッド部Ｈおよびその内部の光学系が一体となって移動し、被検眼Ｅに対してＸ－Ｙ方向にアライメントされる。

【0036】

（Ｚアライメント光学系）
Ｚアライメント光学系５０は、Ｚアライメント用光源５０ａと、レンズ５０ｂ，５０ｃと、位置検出センサ５０ｄを備えている。Ｚアライメント光学系５０においては、光軸Ｏｃに対して水平面内で角度γの方向に光軸が向くようにＺアライメント用光源５０ａがヘッド部Ｈに取り付けられる。さらに、Ｚアライメント光学系５０においては、光軸Ｏｃに対して水平面内で角度δの方向に傾斜した光軸に沿って、被検眼Ｅ側から順にレンズ５０ｂ，５０ｃ、位置検出センサ５０ｄが並んでいる。

【0037】

本実施形態において、角度γと角度δとは同一であり、被検眼Ｅの角膜頂点が、光軸Ｏｃ上であり、かつ、Ｚ方向の既定位置に存在する場合に、Ｚアライメント用光源５０ａの出力光が位置検出センサ５０ｄの基準位置（例えば中央）になるように、Ｚアライメント光学系５０が設計されている。従って、位置検出センサ５０ｄで検出された輝点の位置と、基準位置との関係を特定すれば、被検眼Ｅの角膜頂点が光軸Ｏｃ上であり、かつ、Ｚ方向の既定位置に存在するようにヘッド部Ｈを移動させるべきＺ軸上での移動方向および移動量を特定することができる。

【0038】

そこで、制御部９０は、Ｚアライメントを行う際、Ｚアライメント光学系５０を制御してＺアライメント用光源５０ａを点灯させる。この状態で、制御部９０は、位置検出センサ５０ｄによってＺアライメント用光源５０ａが出力したアライメント光を検出する。そして、制御部９０は、当該アライメント光の検出結果を参照し、ヘッド部Ｈの移動方向および移動量を特定する。ＸＹＺ駆動制御部９１は、内部の光学系等を一体としてヘッド部ＨをＸＹＺ方向に移動させる機構を備えている。そこで、制御部９０は、ヘッド部Ｈの移動方向および移動量をＸＹＺ駆動制御部９１に指示する。この結果、ヘッド部Ｈおよびその内部の光学系が一体となって移動し、被検眼Ｅに対してＺ方向にアライメントされる。

【0039】

（固視光学系６０）
固視光学系６０は、固視用光源６０ａと、固視標６０ｂと、レンズ６０ｃと、ハーフミラー６０ｄを備えている。固視光学系６０においては、光軸Ｏｃと垂直な方向において、遠方側から固視用光源６０ａ、固視標６０ｂ、レンズ６０ｃ、ハーフミラー６０ｄの順に配置されている。固視用光源６０ａは、その光軸が光軸Ｏｃと垂直になるように向けられている。ハーフミラー６０ｄは、レンズ６０ｃおよび固視標６０ｂを通過した固視用光源６０ａの出力光が、光軸Ｏｃ方向に反射するように配向されている。

【0040】

固視標６０ｂは、ピンホールと拡散板（拡散板は省略されてもよい）を備えている。以上の構成において、固視用光源６０ａから出力された出力光は、固視標６０ｂの拡散板およびピンホールを通過し、レンズ６０ｃを通過し、ハーフミラー６０ｄで反射され、被検眼Ｅに到達し、被検眼Ｅの網膜上で結像する。そのため、固視標６０ｂのピンホールは被検眼Ｅの眼底の位置と共役になる。なお、図１に示す光学系においては、レンズ等の配置は模式図であり、実際の配置と異なり得る。被検眼Ｅは、固視標６０ｂを通過した光を固視することで固視状態となる。

【0041】

（２）機械学習モデルの生成：
本実施形態にかかる眼科装置１においては、被検眼Ｅを撮影し、撮影された画像に含まれる検査部を分類することができる。本実施形態において、当該分類は機械学習モデルに基づいて実行される。このため、本実施形態においては、検査部の画像に基づいて検査部の状態を分類する機械学習モデルが機械学習によって複数個生成され、眼科装置１のメモリ９３に記録されている（機械学習モデル９３ａ～９３ｆ）。

【0042】

図３Ａは、機械学習モデル９３ａ～９３ｆを生成する機械学習システム１００のハードウェア構成を示すブロック図であり、図３Ｂは機械学習処理を示すフローチャートである。機械学習システム１００は、制御部２００，記録媒体３００，ユーザＩ／Ｆ部４００を備えている。

【0043】

制御部２００は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ，ＧＰＵを備えており、記録媒体３００等に記憶された各種プログラムを実行することができる。ユーザＩ／Ｆ部４００は、ディスプレイ等の表示部と、キーボードやマウス等の入力部を備える。制御部２００、記録媒体３００、ユーザＩ／Ｆ部４００は、一体的なコンピュータで構成されていても良いし、少なくとも一部が別の装置であり、ＵＳＢケーブル等によって接続される構成であっても良い。

【0044】

本実施形態において、制御部２００は、機械学習プログラム２１０を実行することができる。機械学習プログラム２１０は、眼科装置１で撮影された検査対象画像に含まれる検査部の状態を検査結果として出力するモデルを機械学習する機能を制御部２００に実行させるプログラムである。機械学習プログラム２１０が実行されると、制御部２００は、機械学習部２１０ａとして機能する。

【0045】

機械学習処理は、予め教師データ３００ａが用意された状態で実行される。制御部２００は、当該教師データ３００ａに基づいてニューラルネットワークのモデルを最適化し、最適化されたモデルを機械学習モデル９３ａ～９３ｆとして記録媒体３００に記憶させる。

【0046】

機械学習は、種々の手法で行われて良いが、ここではＣＮＮ（Convolutional Neural Network）を含むモデルが機械学習によって最適化される例を説明する。モデルを機械学習によって最適化するため、教師データ３００ａは、モデルに入力すべき画像と、当該画像に含まれる検査部の分類結果を示す情報とが対応づけられて定義されている。本実施形態において、分類は、検査部の症状の重症度等に対応している。例えば、前眼部（の白目部分）の充血の重症度が検査対象である場合、充血の重症度が複数のグループに分類される。

【0047】

図４は本実施形態において利用されるモデルの構造を模式的に示した図である。同図４においては、ＣＮＮによるデータフォーマットの変化を直方体の変化で示しており、ニューラルネットワークのノードを白丸で示している。本実施形態のモデルは、検査対象画像をＣＮＮの入力層Ｌ_ｉ１への入力データとし、全結合層Ｌ_ｎ１を経て分類結果を出力する出力層Ｌｏに推定値を出力する。ＣＮＮに入力される検査対象画像は縦Ｈピクセル、横Ｗピクセルであり、各ピクセルの色がＲ：赤、Ｇ：緑、Ｂ：青の３チャンネルの階調値で表現される。

【0048】

従って、図４において入力層Ｌ_ｉ１の画像は縦Ｈ，横Ｗ，奥行き３の直方体で模式的に示されている。図４においては、画像が入力層に入力された後、ＣＮＮを経て、すなわち、所定の大きさおよび数のフィルタによる畳み込み演算、活性化関数による演算およびプーリング層の演算を経てＨ_１１×Ｗ_１１×Ｄ_１１個の出力値に変換される例を示している。図４においては、この後、複数の層（図示省略）を経てＨ_ｍ１×Ｗ_ｍ１×Ｄ_ｍ１個の出力値に変換される例を示している。ＣＮＮによってＨ_ｍ１×Ｗ_ｍ１×Ｄ_ｍ１個の出力値が得られた後、全結合層Ｌ_ｎ１を経て、出力層Ｌｏによって複数のグループのそれぞれに対応したノードＮ₁～Ｎ₄の出力値が得られる。

【0049】

ノードＮ₁～Ｎ₄の出力値は、入力された画像の検査部が複数のグループのそれぞれに属する確率を示す。例えば、重症度が低い順にグループ１、２、３、４と呼び、グループ１、２、３、４のそれぞれがノードＮ₁～Ｎ₄のそれぞれに対応づけられることが予め決められる。そして、ノードＮ₁～Ｎ₄の出力が０．９５、０．０３、０．０１、０．０１である場合、検査部の状態がグループ１、２、３、４のそれぞれである確率が９５％、３％、１％、１％であると推定される。なお、本実施形態において、ノードＮ₁～Ｎ₄の出力値の和は１である。

【0050】

教師データ３００ａは、このようなモデルに入力可能なフォーマットの画像と、ノードＮ₁～Ｎ₄の出力値とが対応づけられたデータである。なお、教師データ３００ａにおいて、ノードＮ₁～Ｎ₄の出力値は、いずれかのノードが１であり、他のノードが０である。モデルに入力可能なフォーマットは、縦がＨ画素、横がＷ画素であり３色の画像であるが、本実施形態においては、さらに、検査部を含む画像から検査部以外の部分が除去される。

【0051】

図５Ｂは、充血の重症度を検査するための前眼部の画像の例を示している。充血は前眼部の白目部分で生じるため、充血の重症度を分類するために白目部分以外の部分は必要ではない。そこで、この場合、図５Ｃのように白目部分が残され、他の部分が除去された画像（他の部分が特殊色（例えば黒）に置換された画像）が教師データ３００ａとされる。

【0052】

機械学習処理が開始されると、制御部２００は、機械学習部２１０ａの機能により、教師データ３００ａを取得する（ステップＳ１００）。次に、制御部２００は、機械学習部２１０ａの機能により、テストデータを取得する（ステップＳ１０５）。本実施形態において制御部２００は、教師データ３００ａの一部を抽出し、学習の汎化が行われたか否かを確認するためのテストデータとする。なお、テストデータは、機械学習には使用されない。

【0053】

次に、制御部２００は、機械学習部２１０ａの機能により、訓練モデルを取得する（ステップＳ１１０）。本実施形態において、制御部２００は、訓練モデルを示す層毎の各ノードについてのパラメーター（フィルタや活性化関数等）を取得する。本実施形態において、訓練モデルは、教師データ３００ａと異なる教師データに基づいて予め機械学習が行われたモデルである。例えば、検査対象画像と異なる画像に対して、充血の重症度と異なる出力が対応づけられた教師データに基づいて機械学習が行われたモデルが訓練モデルとなる。

【0054】

このような訓練モデルは、インターネット等を利用して入手することができるが、検査対象画像と分類結果とを対応づけた教師データ３００ａと異なる教師データに基づいて機械学習が行われるため、図４に示すモデルとは異なっている。

【0055】

そこで、制御部２００は、機械学習部２１０ａの機能により、最終層を置き換える（ステップＳ１１５）。すなわち、制御部２００は、ステップＳ１１０で取得された訓練モデルの出力層を図４に示すノードＮ₁～Ｎ₄に置き換え、ノードＮ₁～Ｎ₄と直前の層とを全結合によって結合させる。当該結合は、フィルタや活性化関数等を定義し直すことで実現される。むろん、入力層のフォーマットが検査対象画像と異なるフォーマットの場合、入力層についての置き換えが行われてもよい。また、訓練モデルの入力層のフォーマットに合わせて検査対象画像のフォーマットが規定されても良い。

【0056】

次に、制御部２００は、機械学習部２１０ａの機能により、初期層の凍結を行う（ステップＳ１２０）。すなわち、制御部２００は、効率的な学習を行うため、初期の層（例えば、１００層以上の訓練モデルにおける１０層）について学習によるパラメーターの更新を行わない層とする。この結果、機械学習を早期に収束させることができる。むろん、凍結する層の数は限定されないし、中間層や出力側に近い層が凍結されても良いし、機械学習が完了するならば凍結が行われなくても良い。

【0057】

次に、制御部２００は、機械学習部２１０ａの機能により、初期値を決定する（ステップＳ１２５）。すなわち、制御部２００は、ステップＳ１２０で凍結された層以外の層について、ステップＳ１１０において取得された訓練モデルについてのパラメーターを学習対象の初期値として決定する。また、最終層については、予め決められた初期値とする。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良い。

【0058】

次に、制御部２００は、機械学習部２１０ａの機能により、学習を行う（ステップＳ１３０）。すなわち、制御部２００は、ステップＳ１１５で置き換えが行われた後のモデルにステップＳ１００で取得した教師データ３００ａの画像を入力し、出力値を取得する。制御部２００は、当該出力値と、教師データ３００ａに対応づけられた分類結果との差分を示す損失関数に基づいて誤差を特定する。そして、制御部２００は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部２００は、損失関数のパラメーターによる微分に基づいて、誤差が小さくなるようにパラメーターを更新する処理を既定回数繰り返す。なお、ここで変更対象となるパラメーターはステップＳ１２０で凍結されていないパラメーターである。

【0059】

以上のようにして、既定回数のパラメーターの更新が行われると、制御部２００は、モデルの汎化が完了したか否かを判定する（ステップＳ１３５）。すなわち、制御部２００は、ステップＳ１０５で取得したテストデータをモデルに入力して、画像の分類結果を示す出力値を取得する。そして、制御部２００は、当該出力値と、テストデータに対応づけられた分類結果とが一致している数を取得し、サンプル数で除することで推定精度を取得する。本実施形態において、制御部２００は、推定精度が閾値以上である場合に汎化が完了したと判定する。

【0060】

なお、汎化性能の評価に加え、ハイパーパラメーターの妥当性の検証が行われてもよい。すなわち、学習対象となる可変のパラメーター以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、制御部２００は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップＳ１１０と同様の処理により、教師データ３００ａから検証データを予め抽出し、訓練に用いないデータとして確保しておくことで取得すれば良い。

【0061】

ステップＳ１３５において、モデルの汎化が完了したと判定されない場合、制御部２００は、ステップＳ１３０を繰り返す。すなわち、さらに学習対象となる可変のパラメーターを更新する処理を行う。一方、ステップＳ１３５において、モデルの汎化が完了したと判定された場合、制御部２００は、機械学習モデルを記録する（ステップＳ１４０）。すなわち、制御部２００は、汎化が完了したモデルを機械学習モデルとして記録媒体３００に記録する。

【0062】

なお、本実施形態においては、機械学習モデルが予め複数個用意される。このため、機械学習処理の少なくともＳ１００～Ｓ１４０が機械学習モデルの数と同数回実施され、得られた機械学習モデルが記録媒体３００に記録される。本実施形態においては、６個のモデルが機械学習され、図３Ａにおいては、これらのモデルを機械学習モデル９３ａ～９３ｆとして表記している。なお、機械学習モデル９３ａ～９３ｆは、基になった訓練モデルが異なっている。すなわち、本実施形態においては、機械学習済のモデルの一部の層を修正することによって機械学習モデル９３ａ～９３ｆを取得するため、これらの機械学習モデル９３ａ～９３ｆは、基の訓練モデルの特徴を一部保持している。そこで、複数の機械学習モデル９３ａ～９３ｆを利用する構成とすることにより、一部のモデルによって特定の特徴のある検査対象画像についての分類精度が低下しても、他のモデルによって補える可能性が高い。従って、本実施形態によれば、正確に分類が行われる可能性を高めることができる。

【0063】

以上のようにして機械学習モデル９３ａ～９３ｆが得られると、任意の転送方法で機械学習モデル９３ａ～９３ｆが眼科装置１のメモリ９３に記録される。本実施形態にかかる眼科装置１は、機械学習モデル９３ａ～９３ｆがメモリ９３に記録された状態で検査部の検査を実行可能である。なお、本実施形態においては、１種類の検査部を分類するために６個の機械学習モデル９３ａ～９３ｆが利用される。従って、Ｎ種類の検査部を分類するのであれば６Ｎ個の機械学習モデルが予め生成され、メモリ９３に記録される。

【0064】

（３）検査対象分類処理：
以下、眼科装置１において被検眼Ｅを撮影し、撮影された画像に含まれる検査部を分類する検査対象分類処理について説明する。制御部９０は、検査対象分類プログラムを実行することで、検査対象画像取得部９０ａおよび分類部９０ｂとして機能する。検査対象画像取得部９０ａは、第１光源１０ａ、第２光源２０ａの点灯および非点灯の制御や、検査部の画像である検査対象画像を取得するための制御を行う機能である。分類部９０ｂは、機械学習モデルに対して、検査対象画像を入力し、分類結果を取得する機能である。検査対象分類処理は、制御部９０が検査対象画像取得部９０ａおよび分類部９０ｂとして機能することによって実行される。

【0065】

図６Ａは、検査対象分類処理を示すフローチャートである。本実施形態にかかる眼科装置１においては、検査対象となる検査部を撮影し、撮影結果に基づいて検査部を複数のグループに分類する。本実施形態において、眼科装置１は、検査対象が異なる複数の検査モードを有しており、制御部９０は、検査対象画像取得部９０ａの機能により、タッチパネル８０を介して検者による検査モードの選択を受け付ける。

【0066】

また、制御部９０は、検査対象画像取得部９０ａの機能により、タッチパネル８０を介して検者による検査対象分類処理の開始指示を受け付ける。当該開始指示を受け付けると、制御部９０は、検査モード毎の検査部に対応した検査対象分類処理を実行する。検査対象分類処理が開始されると、制御部９０は、検査対象画像取得部９０ａの機能により画像を撮影する（ステップＳ２００）。この際、被検者は、自身の頭部をヘッド部Ｈの所定位置にセットする。

【0067】

制御部９０は、検査モードに応じて、第１投光光学系１０、第２投光光学系２０に対して点灯させるべき光源を指示する。第１投光光学系１０、第２投光光学系２０のそれぞれにおいては、指示された光源が点灯され、指示されなかった光源は点灯されない。この結果、点灯された光源の光軸上に存在する光調整部材が選択された状態になる。制御部９０は、検査対象画像取得部９０ａの機能により、検査モードに応じて、受光調整ユニット３２ｃで使用する光調整部材３０ｃを指示する。受光光学系３０においては受光調整ユニット３２ｃが図示しない機構を駆動し、指示された光調整部材３０ｃを光軸Ｏｃ上に移動させる。この結果、第１投光光学系１０、第２投光光学系２０、受光光学系３０のそれぞれにおいて、図５Ａに示すような検査モードに応じた光調整部材が光軸上に配置される。

【0068】

図５Ａは、検査モード毎の光調整部材の組み合わせ例を示す図である。本実施形態において、検査モードには、前眼部スリット撮影、水晶体観察、前眼部撮影、染色観察、マイボーム腺撮影の各モードが存在する。例えば、前眼部撮影が選択された場合、制御部９０は、第１投光光学系１０、第２投光光学系２０においてディフューザーに対応する第１光源１０ａ、第２光源２０ａを点灯させる。さらに、制御部９０は、受光光学系３０において受光調整ユニット３２ｃを動作させて光軸上に光調整部材３０ｃが存在しない状態を選択する。この結果、左眼または右眼の前眼部を撮影可能になる。制御部９０は、以上のように、検査モード毎の検査部に応じて図５Ａに示された光調整部材を光軸上に配置する。

【0069】

なお、図５Ａに示す検査モードのうち、前眼部スリット撮影は、細いスリットを通過した細いスリット光を被検眼Ｅに照射し、当該被検眼Ｅの角膜等が線状に照らされた状態の画像を撮影する検査モードである。水晶体観察は、太いスリットを通過した太いスリット光を被検眼に照射し、水晶体を観察するための画像を撮影する検査モードである。

【0070】

前眼部撮影は、被検眼を白色光で照明した状態の画像を撮影する検査モードである。染色観察は、フルオレセイン染色液によって被検眼Ｅを染色した状態の画像を撮影する検査モードである。マイボーム腺撮影は、赤外線を被検眼Ｅに投光し、被検眼Ｅの上瞼または下瞼の裏に存在するマイボーム腺を撮影するモードである。従って、第１投光光学系１０の第１光源１０ａと第２投光光学系２０の第２光源２０ａは消灯されるが、赤外線を出力する光源１１ａ，２１ａは点灯される。以上のように、本実施形態においては検査モードに応じて異なる光調整部材を組み合わせて使用するが、本実施形態によれば検者は、検査モード毎に異なる光調整部材の組み合わせを意識することなく、検査モードを指示すれば正しい組み合わせとなるように設定することができる。

【0071】

なお、本実施形態において、第１投光光学系１０は、被検者Ｓの左眼を被検眼Ｅとして投光を行う際に使用され、第２投光光学系２０は、被検者Ｓの右眼を被検眼Ｅとして投光を行う際に使用される。このため、各投光光学系における光調整部材は、少なくとも、投光が行われる際に光軸上に配置されていればよい。従って、検査モードの選択に応じて光調整部材が選択される構成以外にも、各投光光学系の光源が点灯される際に光調整部材の選択が行われる構成等が採用され得る。例えば、前眼部撮影において点灯される光源は、いずれか一方（左眼の場合、第１光源１０ａ、右眼の場合、第２光源２０ａ）であってもよい。

【0072】

以上のように、眼科装置１においては、複数の検査対象を検査することができるが、ここでは、前眼部の白目部分が検査部であり、当該検査部における充血の重症度を分類する例を主に説明する。

【0073】

光調整部材の設定が行われると、制御部９０は、Ｘ－Ｙアライメント光学系４０、Ｚアライメント光学系５０を制御してＸ－ＹアライメントおよびＺアライメントを実行する。さらに、制御部９０は、オートフォーカス機構を利用し、検査モードに応じた検査部に合焦した状態の画像を取得してメモリ９３に記録する。この結果、図５Ｂに例示されたような前眼部の撮影画像が得られる。

【0074】

画像の撮影が行われると、次に、制御部９０は、検査部を抽出する（ステップＳ２０５）。すなわち、検査部は検査モード毎に異なっており、制御部９０は、ステップＳ２００で撮影された画像から検査モードに応じた検査部を抽出する画像処理を実行する。充血の重症度を検査する場合、制御部９０は、ステップＳ２００で撮影された画像から白目部分を抽出し、他を除去（画像データを特殊色（例えば黒）に置換）する。

【0075】

白目部分の抽出は種々の手法で実行されてよく、制御部９０は、前眼部が撮影された検査対象画像に対して、例えば、エッジ検出処理を行い、上瞼の下端と下瞼の上端とを特定する。そして、上瞼の下端と下瞼の上端とに挟まれた、黒目ではない部分を検査部として抽出する。得られた画像は検査対象画像としてメモリ９３に記録される。むろん、当該抽出処理は一例であり、画像の色に基づいて検査部が抽出されても良い。図５Ｃは、図５Ｂのような画像から白目部分が検査部として抽出されて得られた検査対象画像の例を示している。以上の構成によれば、検査部以外の画像を含む場合と比較して、より正確に検査部の状態を分類することが可能になる。

【0076】

なお、検査部の抽出によって得られた検査対象画像は、機械学習モデルに応じたフォーマットである。すなわち、機械学習モデル９３ａ～９３ｆに対する入力画像のフォーマット（縦横の画素数および色数）は予め決められている。例えば、充血の重症度の検査のためにはカラー画像が必要になるため、ＲＧＢの各色が必要である。また、機械学習モデル９３ａ～９３ｆに入力可能な画像の大きさは予め決まっているため、各色の画像が、既定の縦画素数および横画素数となるように、検査対象画像が取得される。

【0077】

次に、制御部９０は、ステップＳ２１０～Ｓ２２５を実行して検査部の状態を分類する。具体的には、制御部９０は、分類部９０ｂの機能により、機械学習モデルを選択する（ステップＳ２１０）。すなわち、制御部９０は、検査モードに対応した検査部を検査するための機械学習モデルを選択する。そして、選択した機械学習モデルの中で、ステップＳ２１０～Ｓ２２５の処理に使用されていないモデルを一つ選択する。例えば、機械学習モデル９３ａ～９３ｆが、充血の重症度の検査のために用意されたモデルである場合、制御部９０は、これらの中からステップＳ２１０～Ｓ２２５の処理に使用されていないモデルを一つ選択する。

【0078】

次に、制御部９０は、分類部９０ｂの機能により、検査対象画像を機械学習モデルに入力する（ステップＳ２１５）。すなわち、制御部９０は、ステップＳ２０５で取得された検査対象画像を、ステップＳ２１０で選択された機械学習モデルに入力する。すなわち、制御部９０は、検査対象画像を入力とし、機械学習モデルに基づいて、各層の演算を行って出力層のノードＮ₁～Ｎ₄の出力値を取得する。

【0079】

次に、制御部９０は、分類部９０ｂの機能により、分類結果を取得する（ステップＳ２２０）。すなわち、制御部９０は、ステップＳ２１５で取得された各ノードＮ₁～Ｎ₄の出力値を、検査対象画像に含まれる白目部分の充血度が各ノードＮ₁～Ｎ₄に対応したグループのそれぞれである確率として取得する。例えば、ノードＮ₁～Ｎ₄の出力が０．９５、０．０３、０．０１、０．０１である場合、制御部９０は、検査部の状態がグループ１、２、３、４のそれぞれである確率が９５％、３％、１％、１％であると推定する。

【0080】

次に、制御部９０は、分類部９０ｂの機能により、全モデルについて処理が終了したか否かを判定する（ステップＳ２２５）。すなわち、制御部９０は、検査モードに対応した検査部を検査するために用意された機械学習モデルの全てについてステップＳ２１０～Ｓ２２５の処理を行ったか否か判定する。充血の重症度が検査される場合、制御部９０は、機械学習モデル９３ａ～９３ｆの全てについてステップＳ２１０～Ｓ２２５の処理を行ったか否か判定する。

【0081】

ステップＳ２２５において、全モデルについて処理が終了したと判定されない場合、制御部９０は、ステップＳ２１０以降の処理を繰り返す。ステップＳ２２５において、全モデルについて処理が終了したと判定された場合、制御部９０は、検査対象画像に対応づけて分類結果を対比可能に表示する（ステップＳ２３０）。

【0082】

すなわち、制御部９０は、ステップＳ２００で撮影された画像を表示部７０に表示させる。また、制御部９０は、ステップＳ２２０で取得された分類結果を、当該画像に対応づけて表示部７０に表示させる。分類結果は、１つの機械学習モデルについてグループ数分存在する。例えば、上述の例のように充血度がグループ１，２，３，４に分類される場合、１つの機械学習モデルによる出力値が全グループ数である４個得られる。そして、６個の機械学習モデル９３ａ～９３ｆについて出力値が得られると、４×６＝２４個の出力値が得られる。

【0083】

そこで、制御部９０は、これらの出力値をグループ毎に対比可能に表示し、また、複数のグループ毎に、複数の機械学習モデル９３ａ～９３ｆのそれぞれによって取得された出力値（確率）を対比可能に表示する。図７Ａは、表示例を示す図である。図７Ａにおいては、左右眼の撮影画像が同時に示されており、左側に右眼、右側に左眼の撮影画像が表示されている。

【0084】

また、各撮影画像の下方には、出力値が示されている。本実施形態にかかる出力値は、各ノードＮ₁～Ｎ₄のそれぞれにおいて０～１の値域を有するため、制御部９０は、当該出力値に１００を乗じることで出力値を％に変換する。そして、制御部９０は、表示部７０を制御してグループ毎の表示領域を描画し、各表示領域に、６個の機械学習モデル９３ａ～９３ｆの出力値を棒グラフで表示させる。

【0085】

すなわち、図７Ａにおいては、各撮影画像の下方に矩形で囲まれたグループ１，２，３，４の文字が表示され、各矩形によって各グループの表示領域が示されている。そして、各表示領域には、各グループに分類される確率を示す出力値（％）に相当する長さの棒グラフが表記されている。なお、図７Ａに示す例においては、グループ毎に出力値の平均値も表示されている。

【0086】

そして、図７Ａに示す例では、左側に示す右眼のグループ２に対応する出力値の平均値が最大（８９．２）である。従って、検者は、充血の重症度がグループ２であると判断することができる。右側に示す左眼のグループ１に対応する出力値の平均値が最大（８９．２）である。従って、検者は、充血の重症度がグループ１であると判断することができる。

【0087】

また、以上の構成によれば、複数の機械学習モデルによる出力を対比することができるため、検者は、同一グループ内の出力や異なるグループ間での出力を対比することにより、分離結果が妥当か否か等を判断することができる。さらに、本実施形態においては、分類結果が機械学習モデルの演算によって得られるため、機械学習の汎化が完了したか否かを判断するための閾値以上の正確性があることが統計的に期待される。従って、主観に頼ることなく、この正確性で分類を行うことができる。

【0088】

（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、機械学習モデルによって検査部の状態を分類する限りにおいて、他にも種々の実施形態を採用可能である。例えば、眼科装置は、上述のようにヘッド部と本体部とを備える構成に限定されず、他にも種々の要素を備える眼科装置であって良い。また、光学系の構成も一例であり、他にも種々の光学系が採用されてよい。

【0089】

検査対象画像取得部は、前眼部または前眼部の周囲の検査部の画像である検査対象画像を取得することができればよい。すなわち、検査対象の状態の分類は、前眼部または検査部の外観的な特徴に基づいて得られる。そこで、検査対象画像取得部は、当該特徴を含む検査対象画像を取得することができればよい。

【0090】

検査対象は、前眼部における検査部と、前眼部の周囲における検査部との少なくとも一方である。前眼部における検査部は、被検眼に向けられたカメラで撮影された画像に含まれる前眼部の全てであっても良いし一部であっても良い。前眼部の周囲の検査部は、前眼部の周囲に存在する部分であれば良く、被検眼に向けられたカメラで撮影された画像に含まれる前眼部の周囲の全域であっても良いし一部であっても良い。また、検査部は、通常は隠れている部分、例えば、瞼の裏の部分であっても良い。

【0091】

分類部は、検査部の画像に基づいて検査部の状態を分類する機械学習モデルに対して、検査対象画像を入力し、分類結果を取得することができればよい。すなわち、分類部は、予め機械学習された機械学習モデルに基づいて、検査対象画像が取得された検査部の分類を推定ことができればよい。

【0092】

検査部の状態は、予め決められた複数のグループに分類されていれば良い。すなわち、教師データとしての画像には、当該複数のグループのいずれかが対応づけられている。そして、当該教師データによって機械学習された機械学習モデルに対して、検査対象画像が入力されることで、分類が行われる。

【0093】

機械学習モデルを機械学習する処理において、教師データを生成する際に画像が人為的に分類されることはあり得るが、個別の分類の評価基準を人為的に決定することはない。従って、評価基準の決定に主観が伴うことはなく、客観的に分類を行うことが可能である。

【0094】

状態は、検査部の検査結果に対応していれば良く、上述のように充血の重症度を検査したいのであれば、例えば、充血の重症度が状態に対応する。また、ドライアイのタイプ分類を取得したいのであれば、例えば、ドライアイのタイプが状態に対応する。この場合、例えば上述の眼科装置１において、撮影画像から検査部としての黒目部分（角膜部分）の画像が抽出され、機械学習や機械学習モデルによる分類が行われればよい。なお、撮影画像は、例えば、図５Ａに示す染色観察の検査モードによって撮影された画像を利用することが可能である。

【0095】

さらに、マイボーム腺の脱落度合いを検査したいのであれば、例えば、マイボーム腺の脱落度合いの重症度が状態に対応する。この場合、例えば上述の眼科装置１において、撮影画像から検査部としての上瞼または下瞼の裏側の画像が抽出され、機械学習や機械学習モデルによる分類が行われればよい。なお、撮影画像は、例えば、図５Ａに示すマイボーム腺の検査モードによって撮影された画像（赤外線で撮影された画像）を利用することが可能である。

【0096】

さらに、涙液量を検査したいのであれば、例えば、涙液メニスカスの高さや面積等が状態に対応する。この場合、例えば上述の眼科装置１において、撮影画像から検査部としての涙液メニスカスの画像が抽出され、機械学習や機械学習モデルによる分類が行われればよい。なお、撮影画像は、例えば、図５Ａに示すスリット撮影の検査モードによって撮影された画像を利用することが可能である。このように、状態は、検査部に応じて種々の要素によって定義可能であるし、これらの例以外にも、任意の検査に応じて状態を定義可能である。

【0097】

機械学習モデルに対する検査対象画像の入力と、分類結果の取得は、種々の態様であって良い。例えば、検査対象画像は、機械学習モデルに入力できるように拡大、縮小等が行われてもよい。また、検査部の大きさを揃えるために拡大、縮小等が行われてもよい。むろん、明るさやコントラストの調整などの画像処理が行われてもよい。分類結果の出力は、種々の態様であって良い。すなわち、出力ノードのそれぞれに対する出力値の和が１に規格化されている構成以外にも、種々の態様で出力が行われてもよい。

【0098】

上述の実施形態においては、ＣＮＮによって機械学習が行われる構成が採用されているが、むろん、機械学習の手法は、他にも種々の手法を採用可能である。また、各種のネットワーク構造が付加されても良い。機械学習の態様は限定されず、例えば、モデルを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングやストライドの種類、プーリング層の種類や有無、、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。

【0099】

さらに、モデルの構造（例えば、層の数や層毎のノードの数等）が自動的に最適化される機械学習が行われてもよい。さらに、機械学習は、各種の装置で行われて良く、例えば、サーバにおいて機械学習が行われてもよい。この構成においては、例えば、複数のクライアントから教師データが収集され、この教師データに基づいてサーバにおいて機械学習が行われる構成であっても良い。

【0100】

表示部は、分類結果を表示することができればよい。すなわち、分類結果を検者に提示できるのであれば、種々の態様で分類結果が表示されて良い。分類結果の表示態様は、上述の実施形態に限定されず、種々の態様が想定される。例えば、分類結果を対比可能に表示するのではなく、分類結果の推定値の中で最大の値に対応する分類を分類結果として表示し、他の推定値に対応する分類については表示しない構成等であっても良い。

【0101】

さらに、分類結果の表示態様は、出力値を表示する態様に限定されない。例えば、分類結果の推定値の中で最大の値に対応する分類結果を示す際に、画像が表示されても良い。より具体的な例としては、上述の眼科装置１において、複数のグループのそれぞれに属する検査部の状態を示す画像として予め用意された、典型例を示す画像が予めメモリ９３に記録される構成を想定可能である。この構成において制御部９０は、分類結果を表示する際に、当該典型例を示す画像を表示する。

【0102】

図７Ｂは、このような表示の例を示す図である。図７Ｂにおいても図７Ａと同様に、左側に右眼、右側に左眼の撮影画像が表示されている。各撮影画像の下方には、グループ１，２，３，４のそれぞれにおける典型例を示す画像が左から順に並べて表示されている。制御部９０は、検査部の分類を示す出力値を、複数の機械学習モデルに基づいて取得し、例えば、その平均値が最大のグループが検査部の充血の重症度であるとみなす。

【0103】

当該重症度が特定されると、制御部９０は、典型例を示す画像のうち、分類結果に対応したグループに属する検査部の状態を示す画像を選択して強調表示する。図７Ｂに示す例においては、典型例を示す画像の枠が太い線で強調されることによって、充血の重症度に該当する画像が示されている。すなわち、図７Ｂに示す例では、左側に示す右眼の充血の重症度がグループ２であることが想定されており、左から２番目の画像Ｂｒが強調されている。従って、検者は、充血の重症度がグループ２であると判断することができる。また、右側に示す左眼の充血の重症度は、グループ１であることが想定されており、左から１番目の画像Ｂｌが強調されている。従って、検者は、充血の重症度がグループ１であると判断することができる。以上の構成によれば、検者は分類結果と充血の程度を直感的に対応づけて認識することができる。

【0104】

さらに、分類結果の表示態様は、上述の態様に限定されない。例えば、グループの数は４に限定されず、より少なくても良いし多くても良い。グループの数が予め決められた数であっても、分類の際には重症度が連続的に変化するように表示されても良い。例えば、図７Ａやより多数のグループの分類結果に基づいて、重症度の代表的な度合いについての確率が取得され、分類結果の数値が得られていない重症度については連続的に変化するように確率が取得され、表示されても良い。図６Ｂは、このような表示の例を示している。

【0105】

さらに、機械学習モデルによって検査部の状態を分類する手法は、方法やプログラムの発明としても適用可能である。また、以上のような眼科装置、方法やプログラムは、単独の装置として実現される場合や、複数の機能を有する装置の一部として実現される場合が想定可能であり、各種の態様を含むものである。

【符号の説明】

【0106】

１０…第１投光光学系、１０ａ…第１光源、１０ｂ…レンズ、１０ｃ…光調整部材、１０ｄ…レンズ、１１ａ…光源、１１ｂ…光源、２０…第２投光光学系、２０ａ…第２光源、２０ｂ…レンズ、２０ｃ…光調整部材、２０ｄ…レンズ、２１ａ…光源、２１ｂ…光源、３０…受光光学系、３０ａ…撮像素子、３０ｂ…レンズ、３０ｃ…光調整部材、３０ｄ…レンズ、３２ｃ…受光調整ユニット、４０…Ｘ－Ｙアライメント光学系、４０ａ…Ｘ－Ｙアライメント用光源、４０ｂ…レンズ、４０ｃ…ハーフミラー、５０…Ｚアライメント光学系、５０ａ…Ｚアライメント用光源、５０ｂ…レンズ、５０ｃ…レンズ、５０ｄ…位置検出センサ、６０…固視光学系、６０ａ…固視用光源、６０ｂ…固視標、６０ｃ…レンズ、６０ｄ…ハーフミラー、７０…表示部、８０…タッチパネル、９０…制御部、９０ａ…検査対象画像取得部、９０ｂ…分類部、９１…ＸＹＺ駆動制御部、９２…ジョイスティック、９３…メモリ、９３ａ…機械学習モデル、９５…調整ユニット駆動部、１００…機械学習システム、２００…制御部、２１０…機械学習プログラム、２１０ａ…機械学習部、３００…記録媒体、３００ａ…教師データ、４００…ユーザＩ／Ｆ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】