特開 2024-173368 眼科装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173368

(43)【公開日】2024-12-12

(54)【発明の名称】眼科装置

(51)【国際特許分類】

   A61B 3/15 20060101AFI20241205BHJP

   A61B 3/10 20060101ALI20241205BHJP

【ＦＩ】

A61B3/15

A61B3/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023091738

(22)【出願日】2023-06-02

(71)【出願人】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】岩渕 玲

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA01

4C316AA06

4C316AA09

4C316AB02

4C316AB11

4C316AB16

4C316FA06

4C316FB21

4C316FB26

4C316FY01

4C316FZ01

(57)【要約】

【課題】瞳孔検出の際、学習済みモデルを用いるＡＩ画像認識によりロバストに瞳孔領域を検出できる眼科装置を提供すること。
【解決手段】眼科装置Ａは、被検眼Ｅの前眼部を撮影する前眼部ステレオカメラ２２を備え、学習済みモデル設定部６２１と、瞳孔検出処理部６３２と、を有する。学習済みモデル設定部６２１は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデルに教師データを読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定する。瞳孔検出処理部６３２は、学習済み瞳孔領域予測モデルに、前眼部ステレオカメラ２２から取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、被検眼Ｅの瞳孔領域を検出する。
【選択図】図６

【特許請求の範囲】

【請求項1】

被検眼の前眼部を撮影する前眼部カメラを備える眼科装置であって、
前記被検眼の前眼部画像に関する学習済みモデルを設定する学習済みモデル設定部と、前記被検眼の瞳孔領域を検出する瞳孔検出処理部と、を有し、
前記学習済みモデル設定部は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデルに前記教師データを読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定し、
前記瞳孔検出処理部は、前記学習済み瞳孔領域予測モデルに、前記前眼部カメラから取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、前記被検眼の前記瞳孔領域を検出する
ことを特徴する眼科装置。

【請求項2】

請求項１に記載された眼科装置において、
前記学習済みモデル設定部は、眼科装置の種類や型式を問わずに前記前眼部カメラ画像データを多数収集し、前記前眼部カメラ画像データに前記瞳孔領域情報を付加して前記教師データを作成し、前記教師データを用いて作成される前記学習済み瞳孔領域予測モデルを設定する
ことを特徴する眼科装置。

【請求項3】

請求項２に記載された眼科装置において、
前記瞳孔検出処理部は、前記前眼部カメラ画像データをモデル入力する前記推論実行によって、前記前眼部カメラ画像データに瞳孔確率値がピクセル単位で書き込まれた瞳孔確率マップを取得し、前記瞳孔確率マップでの前記瞳孔確率値の分布識別処理によって抽出される高確率値領域を瞳孔候補領域として検出する
ことを特徴する眼科装置。

【請求項4】

請求項３に記載された眼科装置において、
前記瞳孔検出処理部は、前記瞳孔候補領域が複数検出されたとき、それぞれの候補領域をラベリングし、瞳孔可能性が最も高い候補領域に瞳孔ラベルを付与し、前記瞳孔ラベルが付与された前記瞳孔候補領域を、瞳孔領域として検出する
ことを特徴する眼科装置。

【請求項5】

請求項４に記載された眼科装置において、
前記瞳孔検出処理部は、前記瞳孔領域が検出されると、検出された前記瞳孔領域の形状に基づいて瞳孔位置座標を取得する
ことを特徴する眼科装置。

【請求項6】

請求項５に記載された眼科装置において、
前記瞳孔検出処理部は、検出された前記瞳孔領域の領域面積が設定面積範囲内であることを確認する第１瞳孔判定条件と、検出された前記瞳孔領域における閾値以上の瞳孔確率値の集約を前記瞳孔確率マップにより確認する第２瞳孔判定条件と、を判断し、
前記第１瞳孔判定条件と前記第２瞳孔判定条件のうち、少なくとも一方の条件が成立しないと瞳孔領域検出失敗をあらわすエラー設定とし、前記第１瞳孔判定条件と前記第２瞳孔判定条件が共に成立すると瞳孔領域検出成功の検出処理結果を出力する
ことを特徴する眼科装置。

【請求項7】

請求項１から６までの何れか一項に記載された眼科装置において、
光学系を内蔵する本体部と、前記本体部を架台部に対して三次元方向に移動させる駆動部と、装置各部を制御する制御部と、を備え、
前記前眼部カメラは、前記本体部に有する対物レンズの外周位置に設けられ、前記被検眼の前眼部に向かってレンズ光軸を傾斜配置した少なくとも２つ以上のカメラによって構成され、
前記制御部は、前記被検眼と前記本体部との相対位置関係を調整する制御を行うアライメント制御部に、前記瞳孔検出処理部と、瞳孔に対するオートアライメントを実行するオートアライメント部と、を有し、
前記瞳孔検出処理部は、前記前眼部カメラからのカメラ画像と、前記学習済みモデル設定部に設定されている前記学習済み瞳孔領域予測モデルと、を用いて瞳孔領域を検出し、
前記オートアライメント部は、瞳孔に対するオートアライメントの際、被検眼に対する瞳孔領域の検出が成功すると２つの瞳孔位置座標を取得し、前記２つの瞳孔位置座標に基づいて算出される瞳孔の三次元現在座標を、瞳孔の三次元目標座標に収束させる移動指令を前記駆動部に対し出力する
ことを特徴する眼科装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、眼科装置に関する。

【背景技術】

【0002】

従来、被検眼と装置光学系との間の位置合わせを好適に行うことが可能な眼科装置を提供することを目的とし、前眼部カメラとして、対物レンズの両側位置にステレオカメラを配置し、被検眼の前眼部を異なる方向から同時に撮影する眼科装置が知られている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－２４８３７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、顎受け部に被検者が顎を支持した状態で被検眼の眼特性検査又は撮影する際、被検者が変わる毎に被検眼の位置がずれるため、被検眼と本体部（＝装置光学系）との相対位置関係を調整するアライメント制御（位置合わせ制御）が必要である。

【0005】

しかし、ステレオカメラにより撮影されるステレオカメラ画像は、瞼や睫毛などの映り込みにより瞳孔が隠れてしまうケラレが生じ易くなる。特に、撮影画角が広角の眼底カメラなどの眼科装置の場合、撮影画角の広角化に伴う光学的な制約から対物レンズのレンズ径が大きくなり、カメラ取付け角度が、レンズ径が小さい場合のカメラ取付け角度に比べて鋭角になる。このため、被検眼の瞳孔形状が細長い楕円形状になるし、瞼や睫毛などの映り込みにより瞳孔が隠れてしまうケラレがさらに生じ易くなる。

【0006】

これに対し、従来の瞳孔領域検出手法は、ステレオカメラ画像から輝点を探索し、輝点が探索されないと画像全体、輝点が探索されると輝点周辺画像を、画像中で最も輝度が低い瞳孔を判別する輝度閾値を用いて二値化し、二値化画像から検出する手法を採用している。したがって、ステレオカメラ画像を用いて瞳孔領域を検出する従来技術の場合、瞼や睫毛の映り込みなどがあると、二値化により瞳孔領域の一部が欠落した瞳孔領域形状の画像になる。このように、瞳孔画像中に輝度レベルが瞳孔輝度よりも高くなった部分が存在すると、輝度が高くなった部分は瞳孔領域として認識されず、認識された瞳孔領域の円形度や領域面積が低下し、正確で安定して瞳孔領域を検出することが難しい、という課題がある。

【0007】

本開示は、上記課題に着目してなされたもので、瞳孔検出の際、学習済みモデルを用いるＡＩ画像認識によりロバストに瞳孔領域を検出できる眼科装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本開示の眼科装置は、被検眼の前眼部を撮影する前眼部カメラを備える。前記被検眼の前眼部画像に関する学習済みモデルを設定する学習済みモデル設定部と、前記被検眼の瞳孔領域を検出する瞳孔検出処理部と、を有する。前記学習済みモデル設定部は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデルに前記教師データを読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定する。前記瞳孔検出処理部は、前記学習済み瞳孔領域予測モデルに、前記前眼部カメラから取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、前記被検眼の前記瞳孔領域を検出する。

【発明の効果】

【0009】

本開示の眼科装置では、瞳孔領域の検出情報を、映り込みなどの瞳孔検出を阻害する影響を受ける前眼部カメラ画像情報ではなく、推論実行により学習済み瞳孔領域予測モデルからモデル出力される瞳孔領域の予測情報としている。よって、瞳孔検出の際、学習済みモデルを用いるＡＩ画像認識によりロバストに瞳孔領域を検出することができる。

【図面の簡単な説明】

【0010】

【図1】実施例１の眼科装置を顎受け部側から視た外観構成を示す斜視図である。

【図2】実施例１の眼科装置をコントロールパネル側から視た外観構成を示す斜視図である。

【図3】実施例１の眼科装置を顎受け部側から本体部の正面を視た外観構成を示す正面図である。

【図4】実施例１の眼科装置の内蔵品及び付属品の概要構成を示す側面図である。

【図5】実施例１の眼科装置における光学系構成を示す概要図である。

【図6】実施例１の眼科装置における制御系構成を示すブロック図である。

【図7】実施例１の眼科装置により被検眼の前眼部像、眼底像、眼底断層像の何れかを撮影するときの基本操作の流れを示すフローチャートである。

【図8】実施例１の瞳孔検出処理部での瞳孔検出処理において機械学習モデルとして選定したＰＳＰＮｅｔ構造を示す概要図である。

【図9】実施例１の瞳孔検出処理部における瞳孔検出処理の流れを示すフローチャートである。

【図10】背景技術において瞳孔に対するオートアライメントに先行して被検眼の瞳孔を検出する瞳孔検出処理の流れを示すフローチャートである。

【図11】背景技術の瞳孔検出処理での前眼部カメラ画像例(a)、前眼部画像からの輝点探索例(b)、輝点周辺の二値化例(c)、輪郭エッジに対する楕円近似の適用による瞳孔中心座標の取得例(d)、を示す画像説明図である。

【図12】実施例１の瞳孔検出処理での前眼部カメラ画像例(a)、瞳孔確率マップ例(b)、瞳孔候補領域のうち瞳孔ラベルが付された瞳孔領域例(c)、楕円近似の適用による瞳孔中心座標の取得例(d)、を示す画像説明図である。

【図13】実施例２の眼科装置において３つのカメラによる前眼部３方向カメラが取り付けられた対物レンズユニットを示す斜視図である。

【発明を実施するための形態】

【0011】

本開示に係る眼科装置を実施するための形態を、図面に示す実施例１及び実施例２に基づいて説明する。実施例１及び実施例２は、被検眼の前眼部像、被検眼の眼底像、被検眼の眼底断層像を観察、撮影及び記録し、電子画像として診断のために提供する眼科装置への適用例である。なお、各図面において、被検眼を基準として眼科装置の本体部に対峙したときの左右方向（水平方向）の左右軸をＸ軸で示し、上下方向（鉛直方向）の上下軸をＹ軸で示し、Ｘ軸及びＹ軸と直交する前後方向（奥行き方向）の前後軸をＺ軸で示す。

【実施例0012】

［装置全体構成（図１～図４）］
眼科装置Ａは、図１～図４に示すように、架台部１０と、本体部２０と、顎受け部３０と、コントロールパネル部４０と、光学系５０と、制御部６０と、を備えている。

【0013】

眼科装置Ａは、被検眼Ｅの眼底像を取得する眼底カメラと、被検眼Ｅの眼底断層像を取得するＯＣＴ（「Optical Coherence Tomography」の略）と、を含む。ここで、「眼底カメラ」とは、被検眼Ｅの奥にある網膜や視神経、毛細血管などの眼底状態を画像化し、眼底像を撮影するカメラをいう。「ＯＣＴ」とは、光の干渉を利用して被検眼Ｅの眼底に存在する網膜の断層を画像化し、眼底断層像を撮影する光干渉断層計をいう。

【0014】

架台部１０は、図４に示すように、高さ調整が可能な検眼用テーブルＴなどに載置される。架台部１０の上面位置には、本体部２０がＸ軸、Ｙ軸、Ｚ軸の三軸方向に移動可能に支持される。架台部１０の前面位置には、顎受け部３０が固定される。架台部１０の側面位置には、電源スイッチ１１と、電源インレット１２と、ＵＳＢ端子１３と、ＬＡＮ端子１４と、が設けられる。なお、ＵＳＢは「Universal Serial Bus」の略であり、ＬＡＮは「Local Area Network」の略である。ＵＳＢ端子１３は、外部メモリ接続用端子であり、ＨＤＤ（「Hard Disk Drive」の略）やＵＳＢメモリなどが接続される。ＬＡＮ端子１４は、ＬＡＮケーブル１５を介して専用ソフトウェアなどがインストールされているパーソナルコンピュータ１６が接続される。

【0015】

架台部１０の内部空間には、図４に示すように、電源部１７と、ＸＹＺ駆動部１８と、が内蔵される。電源部１７には、電源スイッチ１１と電源インレット１２とＵＳＢ端子１３とＬＡＮ端子１４などを含む。ＸＹＺ駆動部１８は、アライメント制御において架台部１０に対して本体部２０を移動させるとき、本体部２０をＸＹＺ軸の三軸方向（三次元方向）に駆動するモータ及びモータ駆動回路を有するモータアクチュエータである。

【0016】

本体部２０は、顎受け部３０が固定される架台部１０に対してＸＹＺ駆動部１８によりＸ軸方向とＹ軸方向とＺ軸方向に移動可能に設けられる。本体部２０は、顎受け部３０に被検者が顎を支持した状態で、被検眼Ｅの眼特性検査、又は、被検眼Ｅの前眼部観察や眼底観察をするための光学系５０及び制御部６０が、全体を覆う本体カバー２１に内蔵される。本体カバー２１の背面上部位置には、図１，２，４に示すようにコントロールパネル部４０が配置される。

【0017】

本体カバー２１の前面位置には、図３に示すように、中央部に被検眼Ｅと対峙する光学系５０の対物レンズ５１を有する。そして、対物レンズ５１の周辺部には、前眼部ステレオカメラ２２（前眼部カメラの一例）と、周辺固視灯２３と、前眼部観察フィルター２４と、を有する。

【0018】

前眼部ステレオカメラ２２は、被検者の前眼部撮影により前眼部画像を取得するカメラである。この前眼部ステレオカメラ２２は、対物レンズ５１の両側位置に、検査又は観察の対象である被検眼Ｅの前眼部に向かってレンズ光軸を傾斜配置した２個の右カメラ２２ａと左カメラ２２ｂによって構成される。右カメラ２２ａと左カメラ２２ｂは、被検眼Ｅの選択とそのときの画角に応じて顎受け部３０に支持された被検者の顔の一部を切り取った右側前眼部画像及び左側前眼部画像を取得する。また、前眼部ステレオカメラ２２は、Ｘ軸方向の取付け幅寸法と取付け角度を決めて配置した２個の右カメラ２２ａと左カメラ２２ｂにより構成している。このため、２つの前眼部画像に基づいて２つの二次元の瞳孔位置情報が得られると、既知の情報や公知の三角関数を用いる計算処理により、瞳孔の三次元座標位置を特定することが可能である。

【0019】

周辺固視灯２３は、点灯することによって被検眼Ｅの視線を固定させるために用いられる固視灯であり、対物レンズ５１の外周位置に等間隔で８個配置される。前眼部観察フィルター２４は、前眼部観察や前眼部ＯＣＴのときに光量調整するために用いられるフィルターであり、右カメラ２２ａの外側位置の縦方向と左カメラ２２ｂの外側位置の縦方向にそれぞれ２個（合計４個）配置される。

【0020】

顎受け部３０は、架台部１０に固定された顎受け支持部３１に対して高さ位置（Ｙ軸方向の位置）が調整可能に設けられ、被検者の顎を支持する。顎受け部３０は、内蔵された顎受け駆動部３２により昇降する昇降ロッド３０ａと、該昇降ロッド３０ａの上端位置に固定された顎受け台３０ｂと、該顎受け台３０ｂの両側位置に設けられた顎受け紙止めピン３０ｃと、を有している。顎受け駆動部３２は、アライメント制御において顎受け支持部３１（＝架台部１０）に対して顎受け部３０をＹ軸方向に移動させるとき、昇降ロッド３０ａをＹ軸方向に駆動するモータ及びモータ駆動回路を有するモータアクチュエータである。

【0021】

顎受け支持部３１は、Ｔ字形状の両端部位置に、顎受け部３０に顎を支持した被検者の顔を３方向で囲う形状による顔支持フレーム部３３が固定される。顔支持フレーム部３３のうちＹ軸方向に延びる一対の垂直フレームには、被検眼Ｅの高さ位置の目安となる高さマーク３３ａが設けられている。顔支持フレーム部３３のうち一対の垂直フレームの上端を結ぶ水平フレームには、シリコーンゴムなどで形成された着脱可能な額当て面３３ｂが設けられている。さらに、顔支持フレーム部３３のうち水平フレームの中央上部位置には、多段階に折り曲げ可能なアーム３４が設けられ、アーム３４の先端部に外部固視標３５が設けられている。

【0022】

コントロールパネル部４０は、本体カバー２１の背面上部位置に配置され、前眼部ステレオカメラ２２からの被検眼Ｅの前眼部画像や光学系５０からの被検眼Ｅの前眼部観察像などをカラー表示する表示画面４１を有している。表示画面４１は、表示されたボタン像や画像などを検者が指によってタッチ操作することが制御部６０への入力操作になるタッチパネルになっている。コントロールパネル部４０の本体部２０に対する連結支持部４２は、折れ曲げ支持と回転支持の組み合わせ支持構造にしている。この支持構造により、表示画面４１を本体部２０に対して全周方向の何れの位置にも設定可能であるとともに、表示画面４１の傾斜角度も自由に設定可能としている。

【0023】

遠隔操作用タブレット４０’は、検者が眼特性の検査などを被検者から離れた位置からの遠隔操作により行うときに、コントロールパネル部４０に代えて用いられる。遠隔操作用タブレット４０’は、タッチパネルによる表示画面４１’を有してコントロールパネル部４０と同等の入力操作機能を備えるのに加え、本体部２０との通信機能を備える。

【0024】

光学系５０は、顎受け部３０に被検者が顎を支持した状態で被検眼Ｅの観察や被検眼Ｅの眼特性検査をするもので、図４に示すように、対物レンズ５１を有する眼底カメラユニット５２と、ＯＣＴユニット５３と、を有している。眼底カメラユニット５２は、照明光学系と撮影光学系とを含み、レンズや撮像素子などにより被検眼Ｅの眼底像を取得する眼底カメラを構成するユニットである。ＯＣＴユニット５３は、波長可変光源やファイバカプラなどにより被検眼Ｅの眼底断層像を取得するＯＣＴを構成するユニットである。なお、光学系５０からは、被検眼Ｅの眼底像と眼底断層像を取得できる以外に、被検眼Ｅの前眼部観察像を取得できる。光学系５０の詳しい構成の説明は後述する。

【0025】

制御部６０は、コントロールパネル部４０の表示画面４１へのタッチ操作などを含む各種の入力操作に基づいて、装置各部（眼底カメラユニット５２、ＯＣＴユニット５３、顎受け部３０、本体部２０など）を制御する。制御部６０は、ハードウェア構成として、図４に示すように、制御基板６０ａと、ＣＰＵ基板６０ｂと、画像ボード６０ｃと、を有している。

【0026】

［光学系構成（図５）］
光学系５０は、図５に示すように、対物レンズ５１を有する眼底カメラユニット５２と、ＯＣＴユニット５３と、を備えている。眼底カメラユニット５２は、アライメント光学系５２１と、撮影光学系５２２と、フォーカス光学系５２３と、照明光学系５２４と、ＯＣＴ光学系５２５と、を備えている。

【0027】

アライメント光学系５２１は、光源であるＬＥＤ５２１ａからの出力光を、対物レンズ５１を介して被検眼Ｅの前眼部Ｅａ（＝角膜表面）及び眼底Ｅｆに投影することでアライメント輝点を生成する。すなわち、ＬＥＤ５２１ａからの出力光（アライメント光）は、絞り５２１ｂ，５２１ｃ及びリレーレンズ５２１ｄを経由してダイクロイックミラー５２１ｅにより反射される。そして、孔開きミラー５２４ｋの孔部を通過し、ダイクロイックミラー５２５ｇを透過し、対物レンズ５１により被検眼Ｅの前眼部Ｅａ及び眼底Ｅｆに投影される。

【0028】

撮影光学系５２２は、ＣＣＤイメージセンサ５２２ａにより被検眼Ｅの前眼部正面画像と眼底正面画像を取得する。結像レンズ５２２ｂは、光路挿入状態で前眼部Ｅａにピントを合わせ、撮影光学系５２２の光路離脱状態で眼底Ｅｆにピントを合わせる。すなわち、アライメント光の前眼部反射光は、対物レンズ５１、ダイクロイックミラー５２５ｇを透過し、孔開きミラー５２４ｋの孔部を経由し、その一部がダイクロイックミラー５２１ｅを透過する。そして、合焦レンズ５２２ｅ、集光レンズ５２２ｃ、結像レンズ５２２ｂを通過し、ＣＣＤイメージセンサ５２２ａに投影される。一方、アライメント光の眼底反射光は、対物レンズ５１、ダイクロイックミラー５２５ｇを透過し、孔開きミラー５２４ｋの孔部を経由し、その一部がダイクロイックミラー５２１ｅを透過する。そして、合焦レンズ５２２ｅ、集光レンズ５２２ｃを通過し、ＣＣＤイメージセンサ５２２ａに投影される。

【0029】

フォーカス光学系５２３は、眼底Ｅｆに対してフォーカス（ピント）を合わせるための指標（スプリット指標）を生成する。フォーカス調整を行う際には、照明光学系５２４の光路上に反射部材５２３ｇの反射面が斜めに配置される。フォーカス光学系５２３のＬＥＤ５２３ａから出力された光（フォーカス光）は、リレーレンズ５２３ｂを通過し、スプリット指標板５２３ｃにより２つの光束に分離される。そして、二孔絞り５２３ｄを通過し、ミラー５２３ｅに反射され、集光レンズ５２３ｆにより反射部材５２３ｇの反射面に一旦結像されて反射される。さらに、フォーカス光は、リレーレンズ５２４ｊを経由し、孔開きミラー５２４ｋに反射され、ダイクロイックミラー５２５ｇを透過し、対物レンズ５１により屈折されて眼底Ｅｆに投影される。なお、フォーカス光の眼底反射光は、アライメント光の眼底反射光と同様の経路を通ってＣＣＤイメージセンサ５２２ａにより検出される。

【0030】

照明光学系５２４は、眼底Ｅｆに観察照明光を照射する。観察光源５２４ａから出力された光（観察照明光）は、曲面状の反射面を有する反射ミラー５２４ｂにより反射され、集光レンズ５２４ｃを経由し、可視カットフィルタ５２４ｄを透過して近赤外光となる。さらに、観察照明光は、撮影光源５２４ｅの近傍にて一旦集束し、ミラー５２４ｆにより反射され、リレーレンズ５２４ｇ、５２４ｈ、絞り５２４ｉ及びリレーレンズ５２４ｊを経由する。そして、観察照明光は、孔開きミラー５２４ｋの周辺部（孔部の周囲の領域）にて反射され、ダイクロイックミラー５２５ｇを透過し、対物レンズ５１により屈折されて眼底Ｅｆを照明する。観察照明光の眼底反射光は、対物レンズ５１により屈折され、ダイクロイックミラー５２５ｇを透過し、孔開きミラー５２４ｋの中心領域に形成された孔部を通過し、ダイクロイックミラー５２１ｅを透過する。そして、合焦レンズ５２２ｅと集光レンズ５２２ｃを経由してＣＣＤイメージセンサ５２２ａに投影される。なお、結像レンズ５２２ｂの挿入により撮影光学系５２２のピントが前眼部Ｅａに合わせられている場合、被検眼Ｅの前眼部の観察画像が表示される。

【0031】

ＯＣＴ光学系５２５は、ＯＣＴユニット５３からの信号光を、撮影光学系５２２を経由して眼底Ｅｆに導くとともに、眼底Ｅｆからの反射光を、撮影光学系５２２を経由してＯＣＴユニット１００に導くＯＣＴ計測用光路を形成する。ＯＣＴ計測用光路上には、コリメータレンズユニット５２５ａと、光路長変更部５２５ｂと、ガルバノスキャナ５２５ｃと、合焦レンズ５２５ｄと、ミラー５２５ｅと、リレーレンズ５２５ｆと、ダイクロイックミラー５２５ｇと、を有する。ダイクロイックミラー５２５ｇは、眼底撮影用の光路からＯＣＴ計測用光路を分岐させるもので、ＯＣＴ計測に用いられる波長帯の光を反射し、前眼部撮影用及び眼底撮影用の光を透過させる。

【0032】

［制御系構成（図６）］
眼科装置Ａの制御系は、図６に示すように、制御部６０を備えている。そして、制御部６０に対しては、ＸＹＺ駆動部１８と、前眼部ステレオカメラ２２と、顎受け駆動部３２と、コントロールパネル部４０と、光学系５０と、が接続されている。

【0033】

制御部６０は、眼底カメラユニット５２及びＯＣＴユニット５３を制御する主制御部６１と、必要データを記憶しておく記憶部６２と、アライメント制御部６３と、を備えている。アライメント制御部６３は、前眼部ステレオカメラ２２により取得された前眼部画像及び光学系５０により取得された前眼部正面画像と眼底正面画像に基づいて被検眼Ｅと本体部２０（対物レンズ５１）との相対位置関係を調整するアライメント制御を行う。記憶部６２は、学習済みモデル設定部６２１を有している。アライメント制御部６３は、顎受け高さ調整部６３１と、瞳孔検出処理部６３２と、オートアライメント部６３３と、マニュアルアライメント部６３４と、を有している。

【0034】

アライメント制御部６３は、前眼部ステレオカメラ２２（右カメラ２２ａ、左カメラ２２ｂ）により被検者の顔の左前眼部と右前眼部のそれぞれを異なる２方向から撮影することで前眼部画像を取得する。また、光学系５０により被検眼Ｅの右眼と左眼のそれぞれの前眼部と眼底を撮影することで前眼部正面画像及び眼底正面画像を取得する。アライメント制御部６３は、ＸＹＺ駆動部１８と顎受け駆動部３２の少なくとも一方へ出力する駆動指令により、被検眼Ｅと本体部２０に設けられた対物レンズ５１との相対位置関係の調整を行う。ここで、ＸＹＺ駆動部１８と顎受け駆動部３２の使い分けは、調整移動量がＸＺ軸方向移動量のみであればＸＹＺ駆動部１８を用いる。一方、調整移動量にＹ軸方向移動量を含む場合は、ＸＹＺ駆動部１８の移動許容範囲より顎受け駆動部３２のＹ軸移動許容範囲が広いため、ＸＹＺ駆動部１８と顎受け駆動部３２を使い分ける。例えば、Ｙ軸移動の際、顎受け高さ調整では顎受け駆動部３２を用い、オートアライメントではＸＹＺ駆動部１８を用いる。

【0035】

顎受け高さ調整部６３１は、画面表示される前眼部画像に被検眼Ｅが映っていることが確認されると、被検眼Ｅの瞳孔中心が前眼部画像の中央部付近に存在するように顎受け駆動部３２により顎受け部３０の高さを調整する。

【0036】

顎受け高さ調整は、検者がコントロールパネル部４０に表示されている前眼部正面像と前眼部画像を見ながら、表示画面４１に対する検者のマニュアル操作で行われる。具体的な操作は、表示画面４１に表示された前眼部正面像において、前眼部正面像の表示枠内に瞳孔が入るように、表示されている瞳孔を検者がタップ操作する。次いで、表示画面４１に表示された撮影眼に近い方のカメラが取得した前眼部画像において、瞳孔表示ラインを目安に顎受け部３０の高さマーク３３ａを被検眼Ｅの高さに合わせるように、表示されている顎受け上下動ボタンを検者がタッチ操作することで行われる。

【0037】

瞳孔検出処理部６３２は、学習済み瞳孔領域予測モデルに、前眼部ステレオカメラ２２から取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、被検眼Ｅの瞳孔領域を検出する。ここで、「学習済み瞳孔領域予測モデル」とは、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデル（ＡＩモデル）に教師データを読み込ませる学習処理により作成された学習済みモデルをいう。学習済み瞳孔領域予測モデルは、記憶部６２の学習済みモデル設定部６２１から読み出される。ここで、眼科装置Ａの記憶部６２に学習済みモデル設定部６２１を設けるのは、瞳孔に対するオートアライメントをリアルタイムで処理するため、エッジコンピューティング（装置の近くにエッジ処理のデバイスを配置するネットワーク技法のひとつ）になることによる。前眼部カメラ画像データは、前眼部ステレオカメラ２２の右カメラ２２ａの図外のイメージセンサと、左カメラ２２ｂの図外のイメージセンサと、からそれぞれ取得される。

【0038】

ここで、学習済み瞳孔領域予測モデルの作成について説明する。まず、瞳孔領域予測に適切な機械学習モデルを選定する。実施例１では、機械学習モデルとしてピラミッド型解析ネットワークモデルであるＰＳＰＮｅｔ（「Pyramid Scene Parsing Network」の略）を選定している。次に、ＰＳＰＮｅｔの選定に伴い、各ピクセル（画素）に対して特徴領域をラベル付けする手法であるセマンティックセグメンテーションを採用し、例えば、人がマニュアルで操作するアノテーション手法により前眼部カメラ画像データに瞳孔領域情報を付加した教師データを作成する。つまり、予め収集した前眼部カメラ画像データに、ピクセル単位により瞳孔領域情報を付加した教師データを多数用意する。この教師データは、カメラ画像データにおいて瞳孔が存在する本来の瞳孔領域を付加したものとし、収集した前眼部カメラ画像データに瞼や睫毛などの映り込みがあってもこれを度外視する。教師データのデータ数については、狙っている瞳孔領域の予測精度を得るのに必要とされるデータ数（例えば、数百データ）を用意する。そして、正規化によりデータサイズを揃えた多数の教師データを、選定したＰＳＰＮｅｔに読み込ませる学習処理により学習済み瞳孔領域予測モデルを作成する。

【0039】

学習済み瞳孔領域予測モデルの作成数については、眼科装置別ではなく、様々な眼科装置に対して１つの学習済み共通モデルを作成することを目指している。例えば、眼科装置の種類や型式を問わずに前眼部ステレオカメラ画像データを多数収集し、前眼部ステレオカメラ画像データに瞳孔領域情報を付加して教師データを作成し、教師データを用いて様々な眼科装置に共通する学習済み瞳孔領域予測モデルを作成する。但し、装置設計が異なると前眼部カメラの配置が異なるのに合わせ、カメラ配置の違いより分けて収集した前眼部カメラ画像データを用い、装置別やカメラ配置別に学習済み瞳孔領域予測モデルを作成してもよい。なお、瞳孔検出処理部６３２における詳しい瞳孔検出処理については後述する。

【0040】

オートアライメント部６３３は、前眼部ステレオカメラ２２を用いる場合、瞳孔検出処理部６３２にて２方向からのカメラ画像データに基づく瞳孔検出が成功すると、成功した２つの瞳孔中心座標に基づいて瞳孔に対するオートアライメントを実行する。

【0041】

ここで、瞳孔に対するオートアライメントの実行について説明する。まず、瞳孔中心の三次元現在座標（ｘｏ，ｙｏ，ｚｏ）を算出する。次に、瞳孔中心の三次元目標座標（ｘｔ，ｙｔ，ｚｔ）と算出した三次元現在座標（ｘｏ，ｙｏ，ｚｏ）を用い、Ｘ軸差分Δｘ（＝ｘｔ－ｘｏ）、Ｙ軸差分Δｙ（＝ｙｔ－ｙｏ）、Ｚ軸差分Δｚ（＝ｚｔ－ｚｏ）をそれぞれ算出する。次に、Ｘ軸差分Δｘ、Ｙ軸差分Δｙ、Ｚ軸差分Δｚに応じて本体部２０を移動させる駆動指令をＸＹＺ駆動部１８に出力する。次に、駆動指令の出力により本体部２０が移動した後のＸ軸差分Δｘ、Ｙ軸差分Δｙ、Ｚ軸差分Δｚのそれぞれがアライメント閾値（例えば、±０．２ｍｍ程度の値）以下になったか否かを判断する。Ｘ軸差分Δｘ、Ｙ軸差分Δｙ、Ｚ軸差分Δｚのそれぞれがアライメント閾値を超えていると判断されている間は差分算出と駆動が繰り返される。そして、Ｘ軸差分Δｘ、Ｙ軸差分Δｙ、Ｚ軸差分Δｚのそれぞれがアライメント閾値以下になったと判断されると瞳孔に対するオートアライメントを終了する。

【0042】

瞳孔中心の三次元現在座標（ｘｏ，ｙｏ，ｚｏ）の算出について説明する。まず、瞳孔検出処理部６３２から瞳孔検出に成功した２つの瞳孔中心座標を取得する。次に、取得した２つの瞳孔中心座標と、既知の左右カメラ取付けスパン、既知のカメラ取付け位置、既知のカメラレンズ光軸の設定角度を用い、現在瞳孔中心位置と左カメラ位置と右カメラ位置との３点を結ぶ三角形を三次元空間に描く。次に、描かれた三角形に対して公知の三角関数を用いることで瞳孔中心の三次元現在座標（ｘｏ，ｙｏ，ｚｏ）を算出する。なお、瞳孔中心の三次元目標座標（ｘｔ，ｙｔ，ｚｔ）は、Ｚ軸方向において被検眼Ｅの前眼部に合焦する位置を瞳孔中心のＺ軸の目標座標ｚｔに設定する。そして、目標座標ｚｔの位置でのＸＹ座標面において対物レンズ５１の光軸ＯＡと瞳孔中心とが一致する位置をＸＹ軸の目標座標ｘｔ，ｙｔに設定する。このように、瞳孔に対するオートアライメントは、撮影眼に対して２方向からの瞳孔検出成功を条件として実行される。

【0043】

マニュアルアライメント部６３４は、開始からの経過時間が制限時間になってもオートアライメントが終了しないとき、又は、検者が積極的にマニュアル操作を選択したとき、検者による表示画面４１への手動操作によるマニュアルアライメント制御を実行する。

【0044】

マニュアルアライメント制御では、オートアライメント画面に表示されているマニュアルモードボタンをタップすると、瞳孔に対するオートアライメントを中止し、手動で撮影眼の調整を行う「マニュアル調整モード」へ移行する。「マニュアル調整モード」では、コントロールパネル部４０の表示画面４１に表示されている２つの前眼部画像の瞳孔マークをタップ操作する。このタップ操作に基づくＸＹＺ駆動部１８の駆動により、前眼部画像の中央位置に２つの瞳孔マークが重なって配置されるように、ＸＹＺ軸アライメント調整が行われる。

【0045】

［被検眼画像の撮影処理動作（図７）］
制御部６０において実行される被検眼画像（例えば、前眼部像、眼底像、眼底断層像の何れかの画像）を撮影するときの撮影処理動作を、図７に示すフローチャートを参照しながら説明する。なお、撮影処理動作は、電源スイッチをオンにした眼科装置Ａによる被検者が確定したらスタートする。

【0046】

ステップＳ１では、スタートに続き、患者（＝被検者）を特定する氏名や患者ＩＤによる患者登録を行う。ここで、「患者ＩＤ」とは、被検者の眼科検査に係る個人情報を管理するための識別番号であり、年齢や性別やフォローアップのための過去の検査情報などを含めることができる。

【0047】

ステップＳ２では、ステップＳ１での患者登録に続き、検者によるマニュアル操作により顎受け高さを調整する。この顎受け高さ調整は、アライメント制御部６３の顎受け高さ調整部６３１によって行われる。

【0048】

ステップＳ３では、ステップＳ２での顎受け高さ調整に続き、撮影種別の選択をする。この撮影種別の選択は、コントロールパネル部４０の表示画面４１に表示される撮影アイコン選択画面から撮影モード（前眼部像撮影モード、眼底像撮影モード、眼底断層像撮影モードなど）の何れかをタッチ操作により選択することで行われる。なお、撮影眼の選択についても、撮影種別の選択と併せて、表示ボタンをタッチ操作することにより撮影眼が選択される。

【0049】

ステップＳ４では、ステップＳ３での撮影種別の選択に続き、被検眼Ｅ（＝撮影眼）に対する瞳孔検出処理を実行する。瞳孔検出処理は、アライメント制御部６３の瞳孔検出処理部６３２によって実行される。

【0050】

ステップＳ５では、ステップＳ４での瞳孔検出処理での２方向からの瞳孔検出成功に続き、瞳孔に対するオートアライメント（自動調整）を実行する。オートアライメントは、アライメント制御部６３のオートアライメント部６３３によって実行される。なお、オートアライメント時間が長引いたときや検者が積極的に希望したときは、瞳孔に対するオートアライメントに代え、瞳孔に対するマニュアルアライメント（手動調整）がマニュアルアライメント部６３４により行われる。

【0051】

ステップＳ６では、ステップＳ５のオートアライメント、或いは、ステップＳ８でのプレビュー確認ＮＧに続き、自動的に焦点調整するオートフォーカスを行う。このオートフォーカスにおいては、前眼部像撮影モードのとき被検眼Ｅの前眼部Ｅａに対して焦点の調整をし、眼底像撮影モード及び眼底断層像撮影モードのとき被検眼Ｅの眼底Ｅｆに対して焦点の調整をする。

【0052】

ステップＳ７では、ステップＳ６でのオートフォーカスに続き、被検眼画像（例えば、前眼部像、眼底像、眼底断層像の何れかの画像）を撮影する。この撮影では、表示画面４１に表示される撮影画面にて「ＯＫボタン」をタップ操作したら今回の撮影をし、次の撮影に移行する。そして、１回の撮影毎に撮影画像のプレビューが表示される。

【0053】

ステップＳ８では、ステップＳ７での撮影に続き、撮影画像のプレビューを確認し、プレビュー確認ＯＫかプレビュー確認ＮＧかを判断する。プレビュー確認ＯＫと判断したらステップＳ９へ進み、プレビュー確認ＮＧと判断したらステップＳ６へ戻る。つまり、プレビュー確認ＮＧと判断したら、ステップＳ６へ戻って再びオートフォーカスを行い、ステップＳ８にてプレビュー確認ＯＫと判断されるまで、ステップＳ７にて撮影を試みることができる。

【0054】

ステップＳ９では、ステップＳ８でのプレビュー確認ＯＫとの判断に続き、撮影画像を記憶部６２に保存し、エンドへ進む。

【0055】

［ＰＳＰＮｅｔ構造について（図８）］
瞳孔検出処理部６３２において機械学習モデルの一例として選定したＰＳＰＮｅｔ構造について図８を参照しながら説明する。ＰＳＰＮｅｔは、終盤層で空間ピラミッドプーリングを利用することで、追加で４スケールのコンテキスト特徴も使用できるようにし、広範囲コンテキストが必要な入力画像への精度を高めたＦＣＮ（「Fully Convolution Network」の略）である。なお、「ＦＣＮ」とは、ＣＮＮをセマンティックセグメンテーションタスクに利用した手法であり、全結合層を用いず、畳み込み層だけで構成するモデルをいう。

【0056】

ＰＳＰＮｅｔ８０は、図８に示すように、入力画像データ８１と、ＣＮＮ８２（ＣＮＮは「Convolutional Neural Network」の略）と、特徴マップ８３と、ピラミッドプーリングモジュール８４と、畳み込み層８５と、出力予測データ８６と、を備えている。

【0057】

ＣＮＮ８２は、畳み込みニューラルネットワークと呼ばれ、入力画像データ８１から直接学習するディープラーニングのためのネットワークアーキテクチャであり、特徴マップ８３を生成する。つまり、入力画像データ８１をＣＮＮ８２に入力すると、各ピクセルの特徴ベクトルについて、広範囲の全域的な周辺情報（広範囲コンテキスト）を収集した特徴マップ８３（Ｄチャンネル）が生成される。

【0058】

ピラミッドプーリングモジュール８４は、４つのピラミッドレベルで平均プーリングを行い、拡張特徴マップ８４１を生成する。まず、画像全体を、それぞれ［６×６］、［３×３］、［２×２］、［１×１］のグリッドにより、プーリングが実施され、４つのプーリング後特徴マップが作成される。次に、４つのプーリング後特徴マップを、それぞれ１×１畳み込み層により、元の特徴マップ８３のＤチャンネルからＤ／４チャンネルへと次元が削減される。次に、４つのプーリング後特徴マップがアップサンプリングされ、元の特徴マップ８３の空間サイズに揃えられる。最後に、元の特徴マップ８３の後ろのチャンネルに４つのプーリング後特徴マップを結合することで、拡張特徴マップ８４１が生成される。ここで、「プーリング」とは、画像サイズを規則にしたがって縮小する処理をいう。「アップサンプリング」とは、特徴マップの空間的な解像度を上げる処理をいう。

【0059】

畳み込み層８５は、ピラミッドプーリングモジュール８４の拡張特徴マップ８４１に基づいて、出力予測データ８６を獲得する。つまり、拡張特徴マップ８４１を畳み込み層８５に入力すると、ピクセル（画素）毎のクラス識別が実施され、最終的な出力予測データ８６が獲得される。

【0060】

よって、入力画像データ８１をステレオカメラ画像データとし、特徴マップを瞳孔領域にすると、最終的に獲得される出力予測データ８６はモデル出力瞳孔確率マップになる。モデル出力瞳孔確率マップは、ステレオカメラ画像データをピクセル単位で細分割したとき、瞳孔確率の高い領域に瞳孔確率レベルが高いほど大きな値がピクセル単位により書き込まれたものになる。例えば、図８に記載した出力予測データ８６（＝モデル出力瞳孔確率マップ）は、黒い背景がゼロ値などの低い瞳孔確率値が書き込まれた瞳孔以外の領域を示し、白抜きの部分が高い瞳孔確率値が書き込まれた瞳孔予測領域を示す。

【0061】

［瞳孔検出処理構成（図９）］
瞳孔検出処理部６３２において実行される瞳孔検出処理構成を、図９のフローチャートを参照しながら説明する。なお、図９のフローチャートは、前眼部のステレオカメラ画像のうち、一方のカメラ画像に対する瞳孔検出処理が終了すると、他方のカメラ画像に対する瞳孔検出処理を行うシリアル処理により実行される。また、右カメラ画像データと左カメラ画像データは何れも動画データであるため、瞳孔検出処理の開始タイミングで取得される１フレームの静止カメラ画像を入力画像とし、所定の制御周期（例えば、8msec）により繰り返し実行される。なお、瞳孔検出処理としては、シリアル処理ではなく、右カメラ画像に対する瞳孔検出処理と左カメラ画像に対する瞳孔検出処理とを同時に実行する並列処理としてもよい。

【0062】

ステップＳ４０１では、開始に続き、前眼部ステレオカメラ２２の片方のカメラからの前眼部カメラ静止画像を取得し、前処理として、学習済み瞳孔領域予測モデルに合わせた入力サイズへのリサイズと正規化を適用する。リサイズでは、例えば、取得した前眼部カメラ静止画像のサイズを半分のサイズとして解像度を下げている。

【0063】

ステップＳ４０２では、ステップＳ４０１でのリサイズ／正規化に続き、リサイズした前眼部カメラ静止画像を、学習済み瞳孔領域予測モデルに入力する推論を実行する。前眼部カメラ静止画像と学習済み瞳孔領域予測モデルを用いて推論を実行することで、モデル出力情報としてのモデル出力瞳孔確率マップを取得する。

【0064】

ステップＳ４０３では、ステップＳ４０２でのモデル出力瞳孔確率マップの取得に続き、モデル出力瞳孔確率マップに書き込まれた瞳孔確率値に対して活性化関数により数値変換処理を施すことで、瞳孔確率マップを取得する。ここで、「活性化関数」とは、ニューラルネットワークの非線形変換処理関数であり、任意の値を０．０から１．０の間の値に変換するシグモイド関数が代表例である。つまり、学習済み瞳孔領域予測モデルから出力されるモデル出力瞳孔確率マップには、瞳孔確率値の数値が制限を受けることなく書き込まれるために数値幅が広くなる。これに対し、シグモイド関数により数値変換処理を施すと、瞳孔確率値の数値幅が［０．０～１．０］による狭い数値幅に変換される。

【0065】

ステップＳ４０４では、ステップＳ４０３での瞳孔確率マップの取得に続き、閾値処理により瞳孔候補領域を取得する。ここで、「閾値処理」とは、［０．０～１．０］の数値幅による瞳孔確率値が書き込まれた瞳孔確率マップのうち、瞳孔確率値の第１閾値（例えば、０．６程度）以上の領域を瞳孔候補領域として残す抽出処理をいう。言い換えると、瞳孔確率マップから瞳孔確率値の第１閾値未満の領域を削除する処理をいう。なお、第１閾値を用いて瞳孔候補領域を抽出する閾値処理は、瞳孔確率マップでの瞳孔確率値の分布識別処理の一例である。

【0066】

ステップＳ４０５では、ステップＳ４０４の瞳孔候補領域の取得に続き、取得された瞳孔候補領域に対してラベル付けするラベリングを行う。

【0067】

ステップＳ４０６では、ステップＳ４０５でのラベリングに続き、ラベル付けした数が複数であるか否かを判断する。ＹＥＳ（複数）の場合はステップＳ４０８へ進み、ＮＯ（１つ）の場合はステップＳ４０７へ進む。

【0068】

ステップＳ４０７では、ステップＳ４０６でのＮＯ（１つ）の判断に続き、ラベル付けした１つの瞳孔候補領域に対して瞳孔ラベルを付与する。つまり、１つの瞳孔候補領域に瞳孔ラベルを付与することによって、瞳孔ラベルが付与された瞳孔候補領域を瞳孔領域として検出する。ステップＳ４０８では、ステップＳ４０６でのＹＥＳ（複数）の判断に続き、ラベル付けした複数の瞳孔候補領域のうち、最大ラベル（領域面積が最大）の瞳孔候補領域に瞳孔ラベルを付与する。つまり、領域面積が最大の瞳孔候補領域に瞳孔ラベルを付与することによって、瞳孔ラベルが付与された瞳孔候補領域を瞳孔領域として検出する。なお、瞳孔候補領域が複数の場合、領域面積が最大の瞳孔候補領域は、瞳孔可能性が最も高い候補領域であることを判断する手法の一例である。

【0069】

ステップＳ４０９では、ステップＳ４０７、或いは、ステップＳ４０８での瞳孔ラベルが付与された瞳孔領域の検出に続き、検出された瞳孔領域に対して楕円近似を適用し、楕円中心点の位置をあらわす瞳孔中心座標（ＸＹ座標）を取得する。なお、楕円近似の適用により取得される瞳孔中心座標は、検出された瞳孔領域の形状に基づく瞳孔位置座標の一例である。

【0070】

ステップＳ４１０では、ステップＳ４０９での瞳孔中心座標の取得に続き、検出された瞳孔領域の領域面積が設定面積範囲内であるか否かを判断する（第１瞳孔判定条件）。ＯＫ（第１瞳孔判定条件成立）の場合はステップＳ４１１へ進み、ＮＧ（第１瞳孔判定条件不成立）の場合はステップＳ４１２へ進む。ここで、設定面積範囲としては、例えば、上限面積は大きいとされる瞳孔径８ｍｍの１．２倍の径（９．６ｍｍ）による瞳孔面積、下限面積は小さいとされる瞳孔径２ｍｍの０．５倍の径（１ｍｍ）による瞳孔面積が設定される。

【0071】

ステップＳ４１１では、ステップＳ４１０でのＯＫとの判断に続き、瞳孔確率マップに基づき、検出された瞳孔領域の全体に対して第１閾値より高い第２閾値以上の瞳孔確率値の占有比率が設定比率以上であるか否かを判断する（第２瞳孔判定条件）。ＯＫ（第２瞳孔判定条件成立）の場合はステップＳ４１３へ進み、ＮＧ（第２瞳孔判定条件不成立）の場合はステップＳ４１２へ進む。ここで、「第２閾値」は、第１閾値（例えば、０．６程度）より高い値（例えば、０．８程度）に設定される。「設定比率」は、検出された瞳孔領域が真の瞳孔領域である場合の占有比率実験データに基づいて高い値の占有比率（例えば、７０％～８０％程度）に設定される。なお、ステップＳ４１１での第２瞳孔判定条件は、検出された瞳孔領域における閾値以上の瞳孔確率値の集約を瞳孔確率マップにより確認する条件の一例である。

【0072】

ステップＳ４１２では、ステップＳ４１０での第１瞳孔判定条件とステップＳ４１１での第２瞳孔判定条件のうち少なくとも一方の条件が成立しないと、瞳孔領域検出失敗をあらわすエラー設定とし、終了へ進む。

【0073】

ステップＳ４１３では、ステップＳ４１１でのＯＫとの判断に続き、カメラ静止画像をリサイズして元のサイズに戻すとともに、第１瞳孔判定条件と第２瞳孔判定条件が共に成立すると瞳孔領域検出成功として検出処理結果を出力し、終了へ進む。ここで、「検出処理結果」とは、オートアライメント部６３３へ出力する瞳孔中心座標のことをいう。

【0074】

［背景技術と課題（図１０、図１１）］
眼科装置Ａの場合、顎受け部３０に被検者が顎を支持した状態で被検眼Ｅの眼特性検査又は撮影する際、被検者が変わる毎に被検眼Ｅの位置がずれるため、被検眼Ｅと本体部２０との相対位置関係を調整するアライメント制御が必要である。

【0075】

しかし、前眼部ステレオカメラ２２により撮影されるステレオカメラ画像は、瞼や睫毛などの映り込みにより瞳孔が隠れてしまうケラレが生じ易くなる。特に、撮影画角が広角の眼底カメラ及びＯＣＴを備える眼科装置Ａの場合、撮影画角の広角化に伴う光学的な制約から対物レンズ５１のレンズ径が大きくなる。このため、対物レンズ５１の両側に配置される右カメラ２２ａと左カメラ２２ｂで構成される前眼部ステレオカメラ２２のカメラ取付け角度が、レンズ径が小さい場合のカメラ取付け角度に比べて鋭角になる（図２及び図５を参照）。よって、被検眼Ｅの瞳孔形状が細長い楕円形状になるし、瞼や睫毛などの映り込みにより瞳孔が隠れてしまうケラレがさらに生じ易くなる。なお、図５に示す前眼部ステレオカメラ２２の右カメラ２２ａと左カメラ２２ｂは、正しくは図２に示す通りに左右の位置関係で配置されるが、便宜上、上下の位置関係の配置で図示している。

【0076】

これに対し、背景技術では、前眼部を撮影したステレオカメラ画像から瞳孔領域を認識する画像処理により取得される二値化画像に基づいて、被検眼Ｅの瞳孔を検出している。この背景技術における瞳孔検出処理構成を、図１０のフローチャートを参照しながら説明する。なお、図１０のフローチャートは、図９と同様に、前眼部のステレオカメラ画像のうち、右カメラ画像に対する瞳孔検出処理と、左カメラ画像に対する瞳孔検出処理と、がシリアル処理により実行される。また、右カメラ画像データと左カメラ画像データは何れも動画データであるため、瞳孔検出処理の開始タイミングで取得される１フレームの静止カメラ画像を入力画像とし、所定の制御周期により繰り返し実行される。

【0077】

ステップＳ５０１では、開始に続き、ステレオカメラからの前眼部静止カメラ画像を切り取った１／４画像が作成される。次のステップＳ５０２では、アライメント光学系５２１から被検眼Ｅの前眼部Ｅａに投影された輝点（＝アライメント輝点）が１／４画像から探索される。ステップＳ５０３では、１／４画像中にアライメント輝点が有るか無いかが判断される。輝点有りの場合はステップＳ５０３からステップＳ５０４へと進み、輝点無しの場合はステップＳ５０３からステップＳ５０５へと進む。

【0078】

ステップＳ５０４では、輝点周辺を切り取った一部画像が二値化される。ステップＳ５０５では、全体画像が二値化される。ここで、「二値化」とは、瞳孔領域の抽出を狙って低い輝度に設定された輝度閾値によって低輝度領域と高輝度領域の二つに分けた画像にすることをいう。

【0079】

ステップＳ５０６では、ステップＳ５０４又はステップＳ５０５での二値化に続いて、二値化により抽出された低輝度領域（１つ又は複数）にラベリングされる。次のステップＳ５０７では、二値化により抽出された低輝度領域のうち、設定された瞳孔面積閾値以下の小面積による低輝度領域が削除される。

【0080】

ステップＳ５０８では、小面積による低輝度領域の削除後に残った低輝度領域のラベル数ｎが判断される。ラベル数ｎがｎ＝０の場合にステップＳ５０９へと進み、ラベル数ｎがｎ＞１の場合にステップＳ５１０へと進み、ラベル数ｎがｎ＝１の場合にステップＳ５１１へと進む。ステップＳ５０９では、ステップＳ５０８でのｎ＝０という判断に続いて、瞳孔領域検出失敗をあらわすエラー設定とされ、終了へ進む。

【0081】

ステップＳ５１０では、ステップＳ５０８でのｎ＞０という判断に続いて、複数残った低輝度領域のうち円形度が最大となるラベルが選択される。ここで、「円形度」とは、領域面積と周囲長の関係から求められる円らしさを表す指標値で、円形度＝４πＳ／Ｌ^２（Ｓは面積、Ｌは周囲長）の式により算出される。ステップＳ５１１では、ステップＳ５０８でのｎ＝１という判断に続いて、ｎ＝１と判断された低輝度領域が瞳孔候補として取得される。或いは、ステップＳ５１０でのラベル選択に続いて、選択された低輝度領域が瞳孔候補として取得される。次のステップＳ５１２では、ステップＳ５１１での瞳孔候補の取得に続いて、瞳孔候補の輪郭エッジに対して楕円近似を適用し、瞳孔中心座標（ＸＹ座標）が取得される。

【0082】

ステップＳ５１３では、ステップＳ５１２での輪郭エッジに対する楕円近似に続いて、形状による瞳孔判定条件が成立するか否かが判断される。ＯＫ（瞳孔判定条件成立）の場合は、瞳孔領域検出成功として検出処理結果（瞳孔中心座標）が出力され、終了へ進む。一方、ＮＧ（瞳孔判定条件不成立）の場合は、ステップＳ５０９へと進み、瞳孔領域検出失敗をあらわすエラー設定とされ、終了へ進む。ここで、「形状による瞳孔判定条件」とは、瞳孔候補の円形度計算値が円形度判定閾値以上であるという円形度条件と、瞳孔候補の領域面積計算値が面積判定閾値以上であるという領域面積条件と、をいう。よって、瞳孔候補の円形度条件と領域面積条件のうち、両条件が共に成立のときにのみ瞳孔検出成功と判定され、両条件の少なくとも一方の条件が成立しないと瞳孔検出失敗と判定されることになる。

【0083】

次に、背景技術における瞳孔検出の課題について、図１１を参照しながら説明する。なお、背景技術においては、入力情報を、図１１(a)に示すように、瞳孔Ｐの上部分に瞼ＬＩと睫毛ＬＡが映り込んだステレオカメラ画像とする。

【0084】

背景技術における瞳孔領域の検出手法は、図１０に示すフローチャート通りである。すなわち、図１１(a)に示すステレオカメラ画像から、前眼部Ｅａに投影される輝点ＢＳが検知できたかどうかが探索される。そして、輝点ＢＳが探索されないと画像全体を、画像中で最も輝度が低い瞳孔Ｐを判別する輝度閾値を用いて二値化し、図１１(b)に示すように輝点ＢＳが探索されると輝点周辺画像を、画像中で最も輝度が低い瞳孔Ｐを判別する輝度閾値を用いて二値化する。そして、取得した二値化画像から瞳孔領域を認識して検出する手法を採用している。

【0085】

したがって、ステレオカメラ画像を用いて瞳孔領域を検出する背景技術の場合、図１１(c)に示すように、瞳孔Ｐよりも輝度が高い瞼ＬＩや睫毛ＬＡの映り込みがあると、二値化により瞳孔領域の一部が欠落してしまい、いびつな瞳孔領域形状ＰＳの画像になる。このように、瞼ＬＩや睫毛ＬＡの映り込みなどによって、瞳孔画像中に輝度レベルが瞳孔輝度よりも高くなった部分が存在すると、輝度が高くなった部分は瞳孔領域として認識されず、認識された瞳孔領域の円形度や領域面積が低下する。

【0086】

このため、二値化により瞳孔領域の一部が欠落したことで、瞳孔領域形状ＰＳの面積が小面積であると判断されると、図１０のフローチャートのステップＳ５０７にて小面積による低輝度領域が削除される。この削除によって、ステップＳ５０８においてラベル数ｎがｎ＝０と判断されるとステップＳ５０９へと進み、ステップＳ５０９では、瞳孔領域検出失敗をあらわすエラー設定とされる。

【0087】

一方、二値化により瞳孔領域の一部が欠落しても瞳孔領域形状ＰＳの面積が小面積ではないと判断されると、図１０のフローチャートのステップＳ５０７にて低輝度領域が削除されない。そして、ステップＳ５０８においてラベル数ｎがｎ＞１と判断された場合は、ステップＳ５１０→ステップＳ５１１→ステップＳ５１２へと進む。また、ステップＳ５０８においてラベル数ｎがｎ＝１と判断された場合は、ステップＳ５１１→ステップＳ５１２へと進む。ステップＳ５１１では、低輝度領域が瞳孔候補として取得され、ステップＳ５１２では、図１１(d)に示すように、瞳孔候補の輪郭エッジに対して楕円近似ＥＡを適用することで瞳孔中心座標ＰＣが取得される。

【0088】

しかし、ステップＳ５１２の次のステップＳ５１３では、形状による瞳孔判定条件（円形度条件、領域面積条件）が成立するか否かが判断される。このため、瞳孔候補が取得されたとしても、図１１(c)の瞳孔領域形状ＰＳに示すように、映り込みを原因として瞳孔候補の円形度や瞳孔候補の領域面積が低下していると、形状による瞳孔判定条件が成立しなくなる。そして、ステップＳ５１３において円形度条件と領域面積条件の両条件の少なくとも一方の条件が成立しないとステップＳ５０９へと進み、ステップＳ５０９では、瞳孔領域検出失敗をあらわすエラー設定とされる。

【0089】

このように、前眼部を撮影したステレオカメラ画像を認識する画像処理により被検眼Ｅの瞳孔を検出する背景技術の場合、瞼ＬＩや睫毛ＬＡの映り込みなどにより瞳孔領域の円形度や領域面積が低下すると、正確で安定して瞳孔領域を検出することが難しい。なお、白内障や瞳孔縮小などの疾患眼についても、本来の瞳孔領域に対して二値化による低輝度領域の円形度が低下したり、二値化による低輝度領域の面積が低下したりすることで、正確で安定して瞳孔領域を検出することが難しい。さらに、瞳孔に対するオートアライメントについても、撮影眼に対して２方向からの瞳孔検出成功を条件として実行されるため、瞳孔領域の検出に安定性を欠くという課題がそのまま反映され、瞳孔に対するオートアライメントの安定性が低下する。

【0090】

［瞳孔検出作用（図９、図１２）］
上記背景技術での瞳孔検出の課題に対し、眼科装置での瞳孔検出手法に、学習済みモデルを用いるＡＩ画像認識技術を採用すると、背景技術手法において瞳孔検出を阻害する影響が排除されることで、正確で安定して瞳孔領域を検出できる点に着目した。

【0091】

すなわち、眼科装置Ａは、被検眼Ｅの前眼部画像に関する学習済みモデルを設定する学習済みモデル設定部６２１と、被検眼Ｅの瞳孔領域を検出する瞳孔検出処理部６３２と、を有する。学習済みモデル設定部６２１は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、教師データを選定した機械学習モデルに読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定する。瞳孔検出処理部６３２は、学習済み瞳孔領域予測モデルに、前眼部ステレオカメラ２２から取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、被検眼Ｅの瞳孔領域ＰＡを検出する構成を採用した。

【0092】

このように、瞳孔領域の検出情報を、映り込みなどの瞳孔検出を阻害する影響を受ける前眼部カメラ画像情報ではなく、推論実行により学習済み瞳孔領域予測モデルからモデル出力される瞳孔領域の予測情報としている。したがって、モデル出力される瞳孔領域の予測情報は、映り込みなどの瞳孔検出を阻害する影響とは無関係に、瞳孔Ｐが存在する本来の瞳孔領域を精度よく予測する情報になる。このため、瞼ＬＩや睫毛ＬＡの映り込みなどによって瞳孔画像中に輝度レベルが瞳孔輝度よりも高くなった部分が存在しても、輝度が高くなった部分を含めて瞳孔Ｐが存在する本来の領域が、瞳孔領域として認識されることになる（図１２(c)の瞳孔領域ＰＡを参照）。よって、瞳孔検出の際、学習済みモデルを用いるＡＩ画像認識によりロバストに瞳孔領域ＰＡを検出することができる。

【0093】

次に、実施例１での瞳孔検出処理作用を、図９及び図１２を参照しながら説明する。なお、実施例１では、背景技術との対比ができるように、学習済み瞳孔領域予測モデルに入力する前眼部カメラ静止画像を、図１２(a)に示すように、瞳孔Ｐの上部分に瞼ＬＩと睫毛ＬＡが映り込んだ背景技術（図１１(a)）と同様の画像としている。

【0094】

実施例１における瞳孔領域の検出処理は、ステップＳ４０１にて取得した前眼部カメラ静止画像に対する前処理としてリサイズと正規化が適用される。次のステップＳ４０２にてリサイズした前眼部右カメラ静止画像を、学習済み瞳孔領域予測モデルに入力する推論を実行することでモデル出力瞳孔確率マップが取得される。次のステップＳ４０３にてモデル出力瞳孔確率マップに書き込まれた瞳孔確率値に対して活性化関数により数値変換処理を施すことで、瞳孔確率マップＭが取得される。この瞳孔確率マップＭは、例えば、図１２(b)に示すように、瞳孔Ｐの上部分に瞼ＬＩと睫毛ＬＡが映り込んでいるにもかかわらず、映り込みのない本来の瞳孔領域全体で瞳孔確率値が高く表現されたマップになる。なお、図１２(b)に示す瞳孔確率マップＭは、瞳孔確率値を濃淡のある白黒画像により表現したものである。

【0095】

次のステップＳ４０４にて閾値処理により瞳孔候補領域が取得される。次のステップＳ４０５にて取得された瞳孔候補領域に対してラベル付けするラベリングが行われる。次のステップＳ４０６にてラベル付けした数が複数であるか否かが判断される。ＮＯ（１つ）と判断された場合はステップＳ４０７へと進み、ラベル付けした１つの瞳孔候補領域に対して瞳孔ラベルが付与される。一方、ＹＥＳ（複数）と判断された場合はステップＳ４０８へと進み、ラベル付けした複数の瞳孔候補領域のうち、最大ラベルが付けられた瞳孔候補領域に対して瞳孔ラベルが付与される。ステップＳ４０７、或いは、ステップＳ４０８において瞳孔ラベルが付与された瞳孔候補領域が、瞳孔領域として検出される。瞳孔ラベルが付与された瞳孔領域ＰＡは、例えば、図１２(c)に示すように、瞳孔Ｐの上部分に映り込んでいる瞼ＬＩと睫毛ＬＡとは無関係に、被検眼Ｅの瞳孔Ｐによる領域形状とほぼ合致する。つまり、実施例１での瞳孔検出処理作用にて取得される瞳孔ラベルが付与された瞳孔領域ＰＡは、円形度が高く、かつ、面積が広い領域形状になる。

【0096】

次のステップＳ４０９にて瞳孔ラベルが付与された瞳孔領域ＰＡに対して楕円近似が適用され、瞳孔中心座標ＰＣ（ＸＹ座標）が取得される。瞳孔中心座標ＰＣは、例えば、図１２(d)に示すように、瞳孔ラベルが付与された瞳孔領域ＰＡに対して楕円近似ＥＡを適用することで、楕円中心点の位置座標として取得される。

【0097】

次のステップＳ４１０にて瞳孔ラベルが付与された瞳孔領域ＰＡの領域面積が設定面積範囲内であるか否かという第１瞳孔判定条件が判断される。ＮＧ（第１瞳孔判定条件不成立）と判断された場合はステップＳ４１２へ進み、瞳孔領域検出失敗をあらわすエラー設定とされ、終了へ進む。ＯＫ（第１瞳孔判定条件成立）と判断された場合はステップＳ４１１へ進む。ここで、第１瞳孔判定条件は、瞳孔ラベルが付与された瞳孔領域ＰＡの領域面積が、誤検出などを原因とし、実際にはあり得ないとされる小面積になった場合や大面積になった場合を排除する領域面積確認条件である。よって、第１瞳孔判定条件は、正常に取得された瞳孔確率マップＭに基づいて瞳孔領域ＰＡが予測されている限りＯＫと判断される。

【0098】

次のステップＳ４１１にて瞳孔確率マップＭの第１閾値以上の瞳孔候補領域に対して瞳孔確率値が第１閾値より高い第２閾値以上の領域が占有する比率が瞳孔判定比率閾値以上であるか否かという第２瞳孔判定条件が判断される。ＮＧ（第２瞳孔判定条件不成立）と判断された場合はステップＳ４１２へと進み、瞳孔領域検出失敗をあらわすエラー設定とされ、終了へ進む。ＯＫ（第１瞳孔判定条件成立）と判断された場合はステップＳ４１３へと進み、カメラ静止画像をリサイズして元のサイズに戻されるとともに、瞳孔領域検出成功として検出処理結果を出力し、終了へ進む。ここで、第２瞳孔判定条件は、瞳孔確率マップに基づいて予測される瞳孔領域ＰＡの瞳孔確率値の分布状況に基づいて、検出された瞳孔領域ＰＡの予測精度が高いことを確認する予測精度確認条件である。よって、第２瞳孔判定条件は、正常に取得された瞳孔確率マップＭに基づいて瞳孔領域ＰＡが予測されている限りＯＫと判断される。

【0099】

このように、モデル出力瞳孔確率マップに基づいて瞳孔領域ＰＡを検出する実施例１の場合、入力する前眼部カメラ静止画像に瞼ＬＩや睫毛ＬＡの映り込みなどがあっても映り込み影響を受けないことで、正確で安定して瞳孔領域を検出できる。つまり、瞳孔領域検出での正確性と安定性は、瞳孔領域ＰＡの検出手法として、瞳孔検出を阻害する影響を排除できる学習済み瞳孔領域予測モデルを用いるＡＩ画像認識を採用することにより獲得される。特に、瞳孔領域検出での正確性については、予測される瞳孔領域ＰＡに対し、第１瞳孔判定条件（領域面積確認条件）の成立と、第２瞳孔判定条件（予測精度確認条件）の成立と、を瞳孔領域ＰＡの検出成功条件として含めていることにより向上する。

【0100】

なお、白内障や瞳孔縮小などの疾患眼についても、学習済み瞳孔領域予測モデルを用いるＡＩ画像認識を採用することにより、背景技術のように、低輝度領域の形状がいびつになったり、低輝度領域の面積が狭くなったりする影響を受けない。このため、正確で安定して瞳孔領域ＰＡを検出することができる。さらに、瞳孔Ｐに対するオートアライメントについても、撮影眼に対して２方向からの瞳孔検出成功が条件であるが、安定して２方向からの瞳孔領域ＰＡの検出ができる瞳孔検出処理のメリットが反映され、瞳孔Ｐに対するオートアライメントの安定性が向上する。

【0101】

以上説明したように、実施例１の眼科装置Ａにあっては、下記に列挙する効果を奏する。
（１）眼科装置Ａは、被検眼Ｅの前眼部Ｅａを撮影する前眼部カメラ（前眼部ステレオカメラ２２）を備える。被検眼Ｅの前眼部画像に関する学習済みモデルを設定する学習済みモデル設定部６２１と、被検眼Ｅの瞳孔領域ＰＡを検出する瞳孔検出処理部６３２と、を有する。学習済みモデル設定部６２１は、予め収集した前眼部カメラ画像データに瞳孔領域情報を付加した教師データを多数用意し、選定した機械学習モデルに教師データを読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを設定する。瞳孔検出処理部６３２は、学習済み瞳孔領域予測モデルに、前眼部カメラ（前眼部ステレオカメラ２２）から取得した前眼部カメラ画像データを入力する推論実行によってモデル出力される瞳孔領域の予測情報に基づいて、被検眼Ｅの瞳孔領域ＰＡを検出する。
このため、瞳孔検出の際、学習済みモデルを用いるＡＩ画像認識によりロバストに瞳孔領域ＰＡを検出することができる。

【0102】

（２）学習済みモデル設定部６２１は、眼科装置の種類や型式を問わずに前眼部カメラ画像データを多数収集し、前眼部カメラ画像データに瞳孔領域情報を付加して教師データを作成し、教師データを用いて作成される学習済み瞳孔領域予測モデルを設定する。
このため、学習済み瞳孔領域予測モデルとして、１つの学習済み共通モデルの設定を目指すことで、眼科装置の種類や型式にかかわらず、入力される前眼部カメラ画像データの特徴を捉える推論実行により瞳孔領域ＰＡを検出することができる。ここで、「前眼部カメラ画像データの特徴」とは、前眼部カメラ画像としてフレーム内に映っている被検眼Ｅ、瞼ＬＩ、睫毛ＬＡなどのそれぞれの形状特徴やフレーム全体に対する各部位の位置関係の特徴をいう。

【0103】

（３）瞳孔検出処理部６３２は、前眼部カメラ画像データをモデル入力する推論実行によって、前眼部カメラ画像データに瞳孔確率値がピクセル単位で書き込まれた瞳孔確率マップＭを取得する。瞳孔確率マップＭでの瞳孔確率値の分布識別処理（二値化する閾値処理）によって抽出される高確率値領域を瞳孔候補領域として検出する。
このため、瞳孔候補領域を検出する際、推論実行によって取得される瞳孔確率マップＭから高確率領域を抽出する瞳孔確率値の分布識別処理により、瞳孔確率値が高い適切な領域を瞳孔候補領域として検出することができる。

【0104】

（４）瞳孔検出処理部６３２は、瞳孔候補領域が複数検出されたとき、それぞれの候補領域をラベリングし、瞳孔可能性が最も高い候補領域（面積最大の候補領域）に瞳孔ラベルを付与し、瞳孔ラベルが付与された瞳孔候補領域を、瞳孔領域ＰＡとして検出する。
このため、瞳孔候補領域が複数検出されたとき、瞳孔可能性が最も高い候補領域に瞳孔ラベルを付与し、瞳孔ラベルが付与された瞳孔候補領域として選択する処理により、適切な領域を瞳孔領域ＰＡとして検出できる。

【0105】

（５）瞳孔検出処理部６３２は、瞳孔領域ＰＡが検出されると、検出された瞳孔領域ＰＡの形状に基づいて瞳孔位置座標（瞳孔中心座標ＰＣ）を取得する。
このため、瞳孔位置座標（瞳孔中心座標ＰＣ）を取得する際、検出された瞳孔領域ＰＡの形状に基づいて瞳孔位置を特定する処理により、瞳孔位置情報として出力される瞳孔位置座標を取得することができる。

【0106】

（６）瞳孔検出処理部６３２は、検出された瞳孔領域ＰＡの領域面積が設定面積範囲内であることを確認する第１瞳孔判定条件と、検出された瞳孔領域ＰＡにおける閾値以上の瞳孔確率値の集約を瞳孔確率マップＭにより確認する第２瞳孔判定条件と、を判断する。第１瞳孔判定条件と第２瞳孔判定条件のうち、少なくとも一方の条件が成立しないと瞳孔領域検出失敗をあらわすエラー設定とし、第１瞳孔判定条件と第２瞳孔判定条件が共に成立すると瞳孔領域検出成功の検出処理結果を出力する。
このため、瞳孔領域ＰＡを検出する際、領域面積確認条件の成立と予測精度確認条件の成立を、瞳孔領域ＰＡの検出成功条件として判断することで、瞳孔領域ＰＡの検出であることの確実性を向上させることができる。

【0107】

（７）光学系を内蔵する本体部２０と、本体部２０を架台部１０に対して三次元方向に移動させる駆動部（ＸＹＺ駆動部１８）と、装置各部を制御する制御部６０と、を備える。前眼部カメラ（前眼部ステレオカメラ２２）は、本体部２０に有する対物レンズ５１の外周位置に設けられ、被検眼Ｅの前眼部Ｅａに向かってレンズ光軸を傾斜配置した少なくとも２つ以上のカメラ（右カメラ２２ａ、左カメラ２２ｂ）によって構成される。制御部６０は、被検眼Ｅと本体部２０との相対位置関係を調整する制御を行うアライメント制御部６３に、瞳孔検出処理部６３２と、瞳孔Ｐに対するオートアライメントを実行するオートアライメント部６３３と、を有する。瞳孔検出処理部６３２は、前眼部カメラからのカメラ画像と、学習済みモデル設定部６２１に設定されている学習済み瞳孔領域予測モデルと、を用いて瞳孔領域を検出する。オートアライメント部６３３は、瞳孔Ｐに対するオートアライメントの際、被検眼Ｅに対する瞳孔領域ＰＡの検出が成功すると２つの瞳孔位置座標（瞳孔中心座標ＰＣ）を取得する。２つの瞳孔位置座標に基づいて算出される瞳孔Ｐの三次元現在座標を、瞳孔Ｐの三次元目標座標に収束させる移動指令を駆動部（ＸＹＺ駆動部１８）に対し出力する。
このため、瞳孔Ｐに対するオートアライメントの際、映り込みが生じやすい前眼部カメラからの画像を用いながらも、瞳孔領域ＰＡを安定に検出できる瞳孔検出処理のメリットが反映され、オートアライメントの安定性を向上させることができる。

【実施例0108】

実施例２は、前眼部カメラとして、前眼部ステレオカメラ２２を用いる実施例1に対し、前眼部３方向カメラ２２’を用いる例である。

【0109】

前眼部３方向カメラ２２’は、図１３に示すように、対物レンズユニット７０の構成部品として対物レンズユニットケース７１に設けられた右カメラ２２ａと左カメラ２２ｂと下カメラ２２ｃとを備えている。さらに、対物レンズユニット７０は、前眼部３方向カメラ２２’に付属するカメラ用撮影ライト２５として、右カメラ用撮影ライト２５ａと左カメラ用撮影ライト２５ｂと下カメラ用撮影ライト２５ｃとを備えている。ここで、対物レンズユニット７０とは、光学系５０の対物レンズ５１に、前眼部３方向カメラ２２’とカメラ用撮影ライト２５を一体に組付けて構成したユニットをいう。

【0110】

前眼部３方向カメラ２２’は、対物レンズ５１の外周位置であって、対物レンズ５１の光軸ＯＡを通ってレンズを上下方向に２分割する水平分割線ＨＬを引いたとき、水平分割線ＨＬより下側領域に３つのカメラ２２ａ，２２ｂ，２２ｃを配置している。カメラ用撮影ライト２５は、右カメラ２２ａの上部位置に１つ右カメラ用撮影ライト２５ａと、左カメラ２２ｂの上部位置に１つの左カメラ用撮影ライト２５ｂと、下カメラ２２ｃの両側位置に２つの下カメラ用撮影ライト２５ｃとを有する。

【0111】

ここで、前眼部３方向カメラ２２’としては、レンズユニットとイメージセンサを備える小型カメラが用いられている。また、カメラ用撮影ライト２５としては、被検眼Ｅに向けて赤外光を照射することで、撮影された前眼部画像において瞳孔Ｐの部分とそれ以外の部分との輝度差を拡大する赤外線ＬＥＤ（「Light Emitting Diode」の略）が用いられている。

【0112】

右カメラ２２ａと左カメラ２２ｂは、対物レンズ５１の光軸ＯＡを通ってレンズを左右方向に２分割する垂直分割線ＶＬを引いたとき、垂直分割線ＶＬに対して線対称による左右両側位置に配置される。下カメラ２２ｃは、垂直分割線ＶＬの線上位置に配置される。そして、右カメラ２２ａと左カメラ２２ｂと下カメラ２２ｃは、それぞれのカメラレンズ光軸が被検眼Ｅの瞳孔Ｐに向かうように上向き傾斜角度を持たせて配置されている。

【0113】

瞳孔Ｐに対するオートアライメント作用を説明する。実施例２の場合は、前眼部３方向カメラ２２’を用いているため、右カメラ２２ａと左カメラ２２ｂと下カメラ２２ｃという３つのカメラからのカメラ画像データが取得される。よって、３つのカメラ２２ａ，２２ｂ，２２ｃの全てのカメラ画像データで瞳孔検出が成功する場合は、瞳孔Ｐに対するオートアライメントの際、２つのカメラを自動的に選択し、選択された２つのカメラからの瞳孔位置座標に基づいて瞳孔Ｐの三次元現在座標が算出される。ここで、２つのカメラの自動的な選択手法は、例えば、円形度の高さや確率値の高さを選択基準とし、３つのうち最も低いと判断された１つを排除し、高い２つを残す手法により選択される。

【0114】

また、実施例２の場合は、前眼部３方向カメラ２２’を用いているため、３つのカメラ２２ａ，２２ｂ，２２ｃのうち１つのカメラ画像データで瞳孔検出が失敗しても、瞳孔検出の失敗が許容される。つまり、２つのカメラ画像データで瞳孔検出が成功すると、実施例１と同様に、瞳孔Ｐに対するオートアライメントの際、２つの瞳孔位置座標に基づいて瞳孔Ｐの三次元現在座標を算出できる。なお、他の構成、並びに、作用効果については、実施例１と同様であるので、図示及び説明を省略する。

【0115】

以上、本開示の眼科装置を実施例１及び実施例２に基づき説明してきた。しかし、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加などは許容される。

【0116】

実施例１では、前眼部カメラとして、瞳孔Ｐに対するオートアライメントに適合するように、１つの撮影眼に対して左右方向から前眼部撮影する右カメラ２２ａと左カメラ２２ｂによる前眼部ステレオカメラ２２の例を示した。実施例２では、１つの撮影眼に対して左右方向と下方向から前眼部撮影する右カメラ２２ａと左カメラ２２ｂと下カメラ２２ｃによる前眼部３方向カメラ２２’の例を示した。しかし、前眼部カメラとしては、前眼部ステレオカメラや前眼部３方向カメラに限定されない。例えば、本体部に有する対物レンズの外周位置に設けられた４以上のカメラによる構成としてもよい。さらに、本開示の瞳孔検出処理を、オートアライメント以外の様々な用途に適用する場合は、それぞれの用途に適合させて、例えば、１つの撮影眼に対して１方向から前眼部撮影する単独の前眼部カメラとしてもよい。また、右眼との左眼のそれぞれの撮影眼に対して同時に右眼前眼部と左眼前眼部を撮影する前眼部カメラとしてもよい。

【0117】

実施例１では、学習済みモデル設定部６２１を、眼科装置Ａの制御部６０に有する記憶部６２に設ける内蔵例を示した。しかし、学習済みモデル設定部を設ける部位は、眼科装置の制御部への内蔵例に限られることはない。例えば、内蔵例であっても眼科装置の制御部以外の部位に、学習済みモデルを記憶設定する学習済みモデル設定専用の記憶部を設ける例としてもよい。要するに、瞳孔に対するオートアライメントをリアルタイムで処理できるエッジコンピューティングによるエッジ処理が行える部位への設置であればよい。よって、エッジ処理を満足できる部位であれば、例えば、外部メモリ接続端子に接続される外部メモリを学習済みモデル設定部としてもよい。

【0118】

実施例１では、学習済みモデル設定部６２１として、眼科装置の種類や型式を問わずに収集した多数の前眼部ステレオカメラ画像データに瞳孔領域情報を付加して作成した教師データを用い、１つの学習済み共通モデルの設定を目指す例を示した。しかし、学習済みモデル設定部としては、前眼部カメラ画像データを前眼部カメラの配置の違いより分けて収集し、前眼部カメラ画像データに瞳孔領域情報を付加して教師データを作成する。そして、教師データを用いて眼科装置別やカメラ配置別に作成した学習済み瞳孔領域予測モデルを設定する例としてもよい。この場合、瞳孔領域を検出する際、前眼部カメラ画像データの特徴が前眼部カメラの配置の違いよって異なるのに対応でき、カメラ配置の違いにかかわらず精度良く瞳孔領域を検出できる。また、カメラ配置を系統別に大まかに分類し、分類したカメラ配置系統毎に作成した学習済み瞳孔領域予測モデルを設定する例としてもよい。

【0119】

実施例１では、機械学習モデルとして、ＰＳＰＮｅｔを選定し、多数用意した教師データをＰＳＰＮｅｔに読み込ませる学習処理により作成される学習済み瞳孔領域予測モデルを学習済みモデル設定部６２１に設定する例を示した。しかし、機械学習モデルとしては、ＰＳＰＮｅｔの選定に限られない。例えば、機械学習モデルとして、ＵＮｅｔを選定してもよい。なお、「ＵＮｅｔ」とは、ＦＣＮの１つで、生物医学画像セグメンテーションのために開発された畳み込みニューラルネットワークによるモデルである。ＵＮｅｔでは、デコーダ側で特徴マップを拡大して処理する際、エンコーダ側の特徴マップを同じサイズになるように切り出して利用される。さらに、機械学習モデルとしては、ＰＳＰＮｅｔやＵＮｅｔ以外のモデルを選定してもよい。特に、カメラ画像から特徴部位を認識する画像認識を得意とするディープラーニングのためのネットワークアーキテクチャである畳み込みニューラルネットワーク構造（ＣＮＮ構造）を持つ機械学習モデルが好ましい。

【0120】

実施例１では、瞳孔検出処理部６３２として、瞳孔確率マップＭでの瞳孔確率値を第１閾値により二値化する閾値処理によって抽出した高確率値領域を瞳孔候補領域として検出する例を示した。しかし、瞳孔検出処理部としては、瞳孔確率マップでの瞳孔確率値の分布識別処理によって抽出される高確率値領域を瞳孔候補領域として検出する例であれば、二値化する閾値処理例に限られない。例えば、複数の閾値を用いて複数の瞳孔候補領域を抽出し、複数の瞳孔候補領域に対して総合的に瞳孔確率値の分布解析を行って瞳孔候補領域を抽出するような例としてもよい。

【0121】

実施例１では、瞳孔検出処理部６３２として、瞳孔候補領域が複数検出されたとき、それぞれの候補領域をラベリングし、瞳孔候補領域面積が最大の候補領域に瞳孔ラベルを付与する例を示した。しかし、瞳孔検出処理部としては、瞳孔可能性が最も高い候補領域に瞳孔ラベルを付与できる例であれば、瞳孔候補領域面積が最大の候補領域に瞳孔ラベルを付与する例に限られない。例えば、瞳孔候補領域のうちモデル出力される瞳孔確率値の平均値が最も高い候補領域に瞳孔ラベルを付与する例としてもよいし、瞳孔候補領域のうちモデル出力される瞳孔確率値の最大値を有する候補領域に瞳孔ラベルを付与する例としてもよい。

【0122】

実施例１では、瞳孔検出処理部６３２として、瞳孔領域ＰＡが検出されると、検出された瞳孔領域ＰＡの形状に対して楕円近似ＥＡを適用し、瞳孔中心座標ＰＣ（近似楕円の中心座標）を取得する例を示した。しかし、瞳孔検出処理部としては、瞳孔領域の形状に基づいて瞳孔位置座標が取得できれば、瞳孔中心座標を取得する例に限られない。例えば、瞳孔領域の形状に基づいて、瞳孔重心座標（形状バランスが保たれる位置の座標）を取得する例としてもよい。

【0123】

実施例１では、瞳孔検出処理部６３２として、瞳孔領域ＰＡの全体に対して第１閾値より高い第２閾値以上の瞳孔確率値の占有比率が設定比率以上であることを第２瞳孔判定条件とする例を示した。しかし、瞳孔検出処理部としては、第２瞳孔判定条件を、検出された瞳孔領域における閾値以上の瞳孔確率値の集約を瞳孔確率マップにより確認する条件とする例であれば、実施例１の例に限られない。例えば、第２瞳孔判定条件を、瞳孔領域の全体の瞳孔確率値の平均値を求め、その平均値が高瞳孔確率値の集約をあらわす集約判定値以上とする例としてもよいし、瞳孔領域の全体の瞳孔確率値の分布を求め、分布形態が高瞳孔確率値の集約をあらわす形態を判定する例としてもよい。

【0124】

実施例１では、オートアライメント部６３３として、瞳孔Ｐに対するオートアライメントの際、被検眼Ｅに対して２方向からの瞳孔領域ＰＡの検出が成功すると、２つの瞳孔中心座標ＰＣに基づいて瞳孔Ｐの三次元現在座標を算出する例を示した。実施例２では、被検眼Ｅに対して３方向からの瞳孔領域ＰＡの検出が成功すると、自動的に選択した２つの瞳孔中心座標ＰＣに基づいて瞳孔Ｐの三次元現在座標を算出する例を示した。しかし、オートアライメント部としては、２方向や３方向からの瞳孔領域の検出成功に限られない。すなわち、三次元現在座標を算出するには最低でも２方向からの瞳孔位置情報が必要であるため、４方向以上からのカメラ画像で瞳孔の検出に成功した場合は、成功した方向のカメラのうち２つを自動的に選択する例としてもよい。

【0125】

実施例１では、ＡＩ画像認識による瞳孔検出処理技術を用いて瞳孔Ｐに対するオートアライメントを実行する眼科装置であって、広角の眼底カメラ及びＯＣＴを備える眼科装置に適用する例を示した。しかし、本開示の瞳孔検出処理技術を用いる眼科装置の適用としては、広角の眼底カメラ及びＯＣＴを備える眼科装置への適用例に限られない。例えば、被検眼を観察する前、又は、被検眼の眼科特性検査の前に、瞳孔に対するオートアライメントを実行する必要がある眼科装置であれば、実施例１以外の様々な眼科装置に対しても適用することができる。

【0126】

本開示の瞳孔検出処理技術は、入力画像として前眼部カメラ画像データ（動画データ）を用い、所定の制御周期により瞳孔領域を繰り返し検出するため、取得される瞳孔位置座標を時間軸に沿ってプロットすると被検眼の視線移動軌跡（アイトラッキング）になる。よって、例えば、本開示の瞳孔検出処理技術を視線移動の検出に用いるものであって、被検者が注視する視標を規定に通りに動かしたときに被検眼（左右眼）の瞳孔位置がどのように移動するかの視線移動検査を行う眼科装置に適用することができる。また、例えば、本開示の瞳孔検出処理技術を被検者の視線方向の検出に用いるものであって、ヘッドマウントディスプレイを被検者が装着し、被検者の視線方向を監視しながら表示された自覚検査画面により様々な自覚検査を行う眼科装置に適用することができる。