特開 2024-104125 眼科装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024104125

(43)【公開日】2024-08-02

(54)【発明の名称】眼科装置

(51)【国際特許分類】

   A61B 3/15 20060101AFI20240726BHJP

   A61B 3/10 20060101ALI20240726BHJP

   A61B 3/12 20060101ALI20240726BHJP

   G06T 7/00 20170101ALI20240726BHJP

   G06T 7/73 20170101ALI20240726BHJP

【ＦＩ】

A61B3/15

A61B3/10 100

A61B3/12

G06T7/00 350B

G06T7/73

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023008200

(22)【出願日】2023-01-23

(71)【出願人】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】氏家 拓海

(72)【発明者】

【氏名】大原 龍一

【テーマコード（参考）】

4C316

5L096

【Ｆターム（参考）】

4C316AA09

4C316AB11

4C316AB16

4C316FA06

4C316FA18

4C316FB07

4C316FB21

4C316FB26

4C316FY04

4C316FY05

4C316FZ01

5L096AA06

5L096BA06

5L096CA02

5L096DA02

5L096FA02

5L096FA04

5L096FA62

5L096FA69

5L096HA11

5L096JA11

5L096JA13

(57)【要約】

【課題】前眼部の撮影開始モードのとき、前眼部画像の中に被検眼が映っていない場合、自動的に被検眼が映る位置へのアライメント調整を行う眼科装置を提供すること。
【解決手段】本体部２０と、前眼部ステレオカメラ２２と、顎受け部３０と、制御部６０と、を備える眼科装置Ａであって、制御部６０は、前眼部画像に基づいて被検眼Ｅと本体部２０との相対位置関係を調整する制御を行うアライメント制御部６３を備える。アライメント制御部６３は、前眼部ステレオカメラ２２による前眼部の撮影開始モードのとき、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、該判断に続いて自動で、前眼部画像に映っている顔部位の画像認識に基づき被検眼Ｅの予測位置を算出し、算出した被検眼Ｅの予測位置に向かって移動させる制御を行う撮影開始モード制御部６３１を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

顎受け部に被検者が顎を支持した状態で被検眼の眼特性を測定する測定光学系を内蔵する本体部と、前記本体部に設けられ、前記被検者の前眼部撮影により前眼部画像を取得する前眼部カメラと、装置各部を制御する制御部と、を備える眼科装置であって、
前記制御部は、前記前眼部画像に基づいて前記被検眼と前記本体部との相対位置関係を調整する制御を行うアライメント制御部を備え、
前記アライメント制御部は、前記前眼部カメラによる前眼部の撮影開始モードのとき、前記前眼部画像の中に前記被検眼が映っていないと判断された場合、該判断に続いて自動で、又は、該判断に続いて少なくとも報知してから自動で、前記前眼部画像に映っている顔部位の画像認識に基づき前記被検眼の予測位置を算出し、算出した前記被検眼の予測位置に向かって移動させる制御を行う撮影開始モード制御部を有する
ことを特徴する眼科装置。

【請求項2】

請求項１に記載された眼科装置において、
前記撮影開始モード制御部は、予測した前記被検眼の存在位置に向かって移動させる制御を開始した後、前記前眼部カメラからの前記前眼部画像に前記被検眼が検出されると、検出された段階で移動を停止し、通常アライメント制御に切り替える
ことを特徴する眼科装置。

【請求項3】

請求項１に記載された眼科装置において、
前記撮影開始モード制御部は、前記前眼部画像の中に前記被検眼が映っていないと判断された場合であって、前記被検眼の存在位置を予測できなかったとき、前記前眼部カメラの倍率を下げ、再度、前記前眼部カメラから前記前眼部画像を取得する
ことを特徴する眼科装置。

【請求項4】

請求項１から３までの何れか一項に記載された眼科装置において、
前記撮影開始モード制御部は、前記前眼部画像の中に前記被検眼が映っていないと判断された場合、前記被検眼が映っていない前記前眼部画像から顔の特徴部位を検出し、検出した前記特徴部位と前記被検眼の顔全体像における位置関係により前記被検眼の予測位置を算出する
ことを特徴する眼科装置。

【請求項5】

請求項４に記載された眼科装置において、
前記撮影開始モード制御部は、多数生成した特徴部位画像の機械学習データセットと、選定した機械学習モデルと、を用いる機械学習の実行により予め構築しておいた学習済み特徴部位検出モデルを有し、
前記被検眼が映っていない前記前眼部画像と、前記学習済み特徴部位検出モデルと、を用いる画像認識に基づいて前記顔の特徴部位を検出する
ことを特徴する眼科装置。

【請求項6】

請求項４に記載された眼科装置において、
前記撮影開始モード制御部は、多数生成した特徴部位画像の機械学習データセットと、選定した機械学習モデルと、を用いる機械学習の実行により予め構築しておいた眉毛、輪郭、鼻及び口についての学習済み個別部位検出モデルを有し、
前記被検眼が映っていない前記前眼部画像と、前記学習済み個別部位検出モデルと、を用いる画像認識に基づいて前記顔の特徴部位を検出するとき、前記眉毛の検出を、前記輪郭の検出、前記鼻及び口の検出より優先する特徴部位別の順序設定とする
ことを特徴する眼科装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、眼科装置に関する。

【背景技術】

【0002】

眼科装置において、観察手段により被検眼外眼部を含む被検者の顔の像を観察する倍率を変化させる変倍手段を備える。変倍手段は、被検眼が測定手段の光軸上にあることが検出された場合に、観察手段に与える像を高倍率の像とし、被検眼が測定手段の光軸上にないことが検出された場合に、観察手段に与える像を低倍率の像とすることを特徴とする眼科装置が知られている（特許文献１を参照）。

【0003】

被検眼を検査する眼科装置であって、調整手段によって移動される検眼部の位置に基づく関心領域を、撮影画像に設定する。関心領域における画像信号を処理する演算処理手段は、関心領域における画像信号に基づいて顔撮影手段による撮影条件を制御する。制御された撮影条件にて取得された撮影画像に基づいて調整手段による検眼手段の移動を制御することを特徴とする眼科装置が知られている（特許文献２を参照）。

【0004】

学習済モデルの入力データとして、光学ヘッド部を用いて取得された被検眼に関する画像を用いることにより、被検眼及び光学ヘッド部の少なくとも一方に関する位置の情報を学習済モデルからの出力データとして取得する情報取得部を備える。駆動制御部は、取得した位置の情報に基づいて、支持部及び光学ヘッド部の少なくとも一方の駆動を制御し、被検眼及び光学ヘッド部の少なくとも一方を該位置へ移動させる、眼科装置が知られている（特許文献３を参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平８－２２４２１３号公報

【特許文献2】特許第６８４３６２７号公報

【特許文献3】特許第７１９４１３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、顎受け部に被検者が顎を支持した状態で被検眼の眼特性を測定する際、前眼部の撮影を開始するとき、前眼部画像の中に被検眼が映っていることを条件とし、被検眼と本体部との相対位置関係の調整制御であるアライメント制御が行われる。しかし、被検者の顔が正面を向いていなく傾いているとき、被検者の顎が顎受け部に正しく載っていないとき、顎受け部の初期高さ位置が前回の被検者との年齢差によりずれがあるとき、などの状況では、前眼部画像の中に被検眼が映っていない場合がある。したがって、撮影開始モードのとき、前眼部画像の中に被検眼が映っていない場合は、検者が被検者の顔の傾きを修正する、或いは、検者がマニュアル操作によってアライメント調整を行うなど、前眼部画像の中に被検眼が映るようにする準備作業が必要になる、という課題がある。

【0007】

特に、検者が被検者から離れた位置や別室からの遠隔操作により眼特性を測定するときは、検者による被検眼と本体部の相対位置関係の目視確認や検者のマニュアル操作による対応が困難である。このため、遠隔操作時において前眼部画像の中に被検眼が映っていない場合、検者が被検者の位置まで移動して準備作業を行う必要があり、検者の位置移動を含めて作業工数を要する。

【0008】

これに対し、特許文献１に開示されている技術は、変倍手段が必須要件になり、変倍手段が無い場合は撮影開始モードでの課題解決ができない。特許文献２には、顔撮影部からの前眼部画像に映っている被検眼の位置を検出し、前眼撮影光学系からの前眼部画像に被検眼が検出できたか否かを判定してアライメント制御を行う技術が開示されている。特許文献３には、光学ヘッド部を用いて取得された被検眼に関する画像と学習済モデルとを用い、被検眼と光学ヘッド部の少なくとも一方の位置情報を取得し、アライメント制御を行う技術が開示されている。しかし、特許文献２，３に開示された技術は、何れも前眼部画像の中に被検眼が映っていることを条件とするアライメント技術であるため、被検眼が映っていない場合の上記課題を解決できない。

【0009】

本開示は、上記課題に着目してなされたもので、前眼部の撮影開始モードのとき、前眼部画像の中に被検眼が映っていない場合、自動的に被検眼が映る位置へのアライメント調整を行う眼科装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本開示の眼科装置は、顎受け部に被検者が顎を支持した状態で被検眼の眼特性を測定する測定光学系を内蔵する本体部と、前記本体部に設けられ、被検者の前眼部撮影により前眼部画像を取得する前眼部カメラと、装置各部を制御する制御部と、を備える。前記制御部は、前記前眼部画像に基づいて前記被検眼と前記本体部との相対位置関係を調整する制御を行うアライメント制御部を備える。前記アライメント制御部は、前記前眼部カメラによる前眼部の撮影開始モードのとき、前記前眼部画像の中に前記被検眼が映っていないと判断された場合、該判断に続いて自動で、又は、該判断に続いて少なくとも報知してから自動で、前記前眼部画像に映っている顔部位の画像認識に基づき前記被検眼の予測位置を算出し、算出した前記被検眼の予測位置に向かって移動させる制御を行う撮影開始モード制御部を有する。

【発明の効果】

【0011】

本開示の眼科装置では、前眼部の撮影開始モードのとき、前眼部画像の中に被検眼が映っていない場合、自動的に被検眼が映る位置へのアライメント調整を行うことができる。

【図面の簡単な説明】

【0012】

【図1】実施例１の眼科装置を顎受け部側から斜め方向に視た外観構成を示す斜視図である。

【図2】実施例１の眼科装置をコントロールパネル側から斜め方向に視た外観構成を示す斜視図である。

【図3】実施例１の眼科装置を顎受け部側から本体部の正面を視た外観構成を示す正面図である。

【図4】実施例１の眼科装置の内蔵品及び付属品の概要構成を示す側面図である。

【図5】実施例１の眼科装置における制御系構成を示すブロック図である。

【図6】実施例１の撮影開始モード制御部におけるアライメント制御処理の流れを示すフローチャートである。

【図7】撮影開始モード制御時にコントロールパネルの表示画面に表示される撮影開始モードアライメント画像の一例を示す図である。

【図8】被検眼が映っていない撮影開始モードアライメント画像から被検眼の予測位置算出による画像移動例及び顔の特徴部位が検出されないときの低倍率画像変更例を示す説明図である。

【図9】被検眼が映っていない撮影開始モードアライメント画像における被検者の顔の特徴部位の検出例を示す説明図である。

【図10】粗アライメント制御時にコントロールパネルの表示画面に表示される瞳孔高さ位置のアライメント画像の一例を示す図である。

【図11】精密アライメント制御時にコントロールパネルの表示画面に表示される瞳孔位置のオートアライメント画像の一例を示す図である。

【図12】精密アライメント制御時にコントロールパネルの表示画面に表示される瞳孔位置のマニュアルアライメント画像の一例を示す図である。

【図13】実施例２の撮影開始モード制御部におけるアライメント制御処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0013】

本開示に係る眼科装置を実施するための形態を、図面に示す実施例１，２に基づいて説明する。実施例１，２は、被検眼の前眼部像、被検眼の眼底像、被検眼の眼底断層像を観察、撮影及び記録し、電子画像として診断のために提供する眼科装置への適用例である。なお、各図面において、被検眼を基準として眼科装置の本体部に対峙したときの左右方向（水平方向）の左右軸をＸ軸で示し、上下方向（鉛直方向）の上下軸をＹ軸で示し、Ｘ軸及びＹ軸と直交する前後方向（奥行き方向）の前後軸をＺ軸で示す。

【実施例0014】

［装置全体構成（図１～図４）］
眼科装置Ａは、“３次元眼底像撮影装置”と呼ばれ、図１～図４に示すように、架台部１０と、本体部２０と、顎受け部３０と、コントロールパネル部４０と、測定光学系５０と、制御部６０と、を備える。

【0015】

眼科装置Ａは、被検眼Ｅの眼底像を取得する眼底カメラと、被検眼Ｅの眼底断層像を取得するＯＣＴ（「Optical Coherence Tomography」の略）と、を含む。ここで、「眼底カメラ」とは、被検眼Ｅの奥にある網膜や視神経、毛細血管などの眼底状態を画像化し、眼底像を撮影するカメラをいう。「ＯＣＴ」とは、光の干渉を利用して被検眼Ｅの眼底に存在する網膜の断層を画像化し、眼底断層像を撮影する光干渉断層計をいう。

【0016】

架台部１０は、高さ調整が可能な図外の検眼用テーブルＴなどに載置される。架台部１０の上面位置には、本体部２０がＸ軸、Ｙ軸、Ｚ軸の三軸方向に移動可能に支持される。架台部１０の前面位置には、顎受け部３０が固定される。架台部１０の側面位置には、電源スイッチ１１と、電源インレット１２と、ＵＳＢ端子１３と、ＬＡＮ端子１４とが設けられる。なお、ＵＳＢは「Universal Serial Bus」の略であり、ＬＡＮは「Local Area Network」の略である。ＵＳＢ端子１３は、外部メモリ接続用端子であり、図４に示すように、ＨＤＤ（「Hard Disk Drive」の略）やＵＳＢメモリなどが接続される。ＬＡＮ端子１４は、ＬＡＮケーブル１５を介して専用ソフトウェアなどがインストールされているパーソナルコンピュータ１６が接続される。

【0017】

架台部１０の内部空間には、図４に示すように、電源部１７と、ＸＹＺ駆動部１８と、が内蔵される。電源部１７には、電源スイッチ１１と電源インレット１２とＵＳＢ端子１３とＬＡＮ端子１４などを含む。ＸＹＺ駆動部１８は、アライメント制御において架台部１０に対して本体部２０を移動させるとき、本体部２０をＸＹＺ軸の三軸方向に駆動するモータ及びモータ駆動回路を有するモータアクチュエータである。

【0018】

本体部２０は、顎受け部３０が固定される架台部１０に対してＸＹＺ駆動部１８によりＸ軸方向とＹ軸方向とＺ軸方向に移動可能に設けられる。本体部２０は、顎受け部３０に被検者が顎を支持した状態で被検眼Ｅの眼特性を測定する測定光学系５０が、全体を覆う本体カバー２１に内蔵される。本体カバー２１の背面上部位置には、図１，２，４に示すようにコントロールパネル部４０が配置される。本体カバー２１の内部空間には、図４に示すように、測定光学系５０以外に制御部６０が内蔵される。

【0019】

本体カバー２１の前面位置には、図３に示すように、中央部に被検眼Ｅと対峙する測定光学系５０の対物レンズ５１を有する。そして、対物レンズ５１の周辺部に、前眼部ステレオカメラ２２（前眼部カメラ）と、周辺固視灯２３と、前眼部観察フィルター２４と、を有する。

【0020】

前眼部ステレオカメラ２２は、被検者の前眼部撮影により前眼部画像を取得するカメラである。この前眼部ステレオカメラ２２は、対物レンズ５１の両側位置に、測定対象である被検眼Ｅの前眼部に向かってレンズ光軸を傾斜配置した２個の第１カメラ２２ａと第２カメラ２２ｂによって構成される。第１カメラ２２ａと第２カメラ２２ｂは、高倍率と低倍率の切り替えや無段階の倍率変更が可能な変倍カメラであり、被検眼Ｅの選択とそのときの画角に応じて顎受け部３０に支持された被検者の顔の一部を切り取った右側前眼部画像及び左側前眼部画像を取得する。また、前眼部ステレオカメラ２２は、Ｘ軸方向の幅寸法と傾斜角を決めて配置した２個の第１カメラ２２ａと第２カメラ２２ｂにより構成しているため、２つの前眼部画像に基づく計算処理により被検眼Ｅの三次元座標位置を特定可能である。

【0021】

周辺固視灯２３は、点灯することによって被検眼Ｅの視線を固定させるために用いられる固視灯であり、対物レンズ５１の外周位置に等間隔で８個配置される。前眼部観察フィルター２４は、前眼部観察や前眼部ＯＣＴのときに光量調整するために用いられるフィルターであり、第１カメラ２２ａの外側位置と第２カメラ２２ｂの外側位置の縦方向にそれぞれ２個（合計４個）配置される。

【0022】

顎受け部３０は、架台部１０に固定された顎受け支持部３１に対して高さ位置（Ｙ軸方向の位置）が調整可能に設けられ、被検者の顎を支持する。顎受け部３０は、内蔵された顎受け駆動部３２により昇降する昇降ロッド３０ａと、該昇降ロッド３０ａの上端位置に固定された顎受け台３０ｂと、該顎受け台３０ｂの両側位置に設けられた顎受け紙止めピン３０ｃと、を有している。顎受け駆動部３２は、アライメント制御において顎受け支持部３１（＝架台部１０）に対して顎受け部３０をＹ軸方向に移動させるとき、昇降ロッド３０ａをＹ軸方向に駆動するモータ及びモータ駆動回路を有するモータアクチュエータである。

【0023】

顎受け支持部３１は、Ｔ字形状の両端部位置に、顎受け部３０に顎を支持した被検者の顔を３方向で囲う形状による顔支持フレーム部３３が固定される。顔支持フレーム部３３のうちＹ軸方向に延びる一対の垂直フレームには、被検眼Ｅの高さ位置の目安となる高さマーク３３ａが設けられている。顔支持フレーム部３３のうち一対の垂直フレームの上端を結ぶ水平フレームには、シリコーンゴムなどで形成された着脱可能な額当て面３３ｂが設けられている。さらに、顔支持フレーム部３３のうち水平フレームの中央上部位置には、多段階に折り曲げ可能なアーム３４が設けられ、アーム３４の先端部に外部固視標３５が設けられている。

【0024】

コントロールパネル部４０は、本体カバー２１の背面上部位置に配置され、前眼部ステレオカメラ２２からの被検眼Ｅの前眼部画像や測定光学系５０からの被検眼Ｅの前眼部観察像などをカラー表示する表示画面４１を有している。表示画面４１は、表示されたボタン像や画像などを検者が指によってタッチ操作することが制御部６０への入力操作になるタッチパネルになっている。コントロールパネル部４０の本体部２０に対する連結支持部４２は、表示画面４１を本体部２０に対して全周方向の何れの位置にも設定可能であると共に、表示画面４１の傾斜角度も自由に設定可能な折れ曲げ支持と回転支持の組み合わせ支持構造にしている。つまり、本体部２０に備えるコントロールパネル部４０は、検者が被検者の傍に寄り添って眼特性の検査を行うときに用いられる。このため、検者が眼科装置Ａの周囲のどこの位置にいても表示画面４１を検者にとって操作しやすい位置に配置にすることができる機能を、連結支持部４２によって確保している。

【0025】

ここで、検者が眼特性の検査を、被検者から離れた位置からの遠隔操作により行うときは、例えば、図２に示すように、コントロールパネル部４０と同等の入力操作機能に加えて本体部２０との通信機能を備える遠隔操作用タブレット４０’が用いられる。よって、遠隔操作用タブレット４０’にもタッチパネルによる表示画面４１’を有している。

【0026】

測定光学系５０は、顎受け部３０に被検者が顎を支持した状態で被検眼Ｅの眼特性を測定するもので、図４に示すように、対物レンズ５１を有する眼底カメラユニット５２と、ＯＣＴユニット５３と、を有している。眼底カメラユニット５２は、照明光学系と撮影光学系とを含み、レンズや撮像素子などにより被検眼Ｅの眼底像を取得する眼底カメラを構成するユニットである。ＯＣＴユニット５３は、波長可変光源やファイバカプラなどにより被検眼Ｅの眼底断層像を取得するＯＣＴを構成するユニットである。なお、測定光学系５０からは、被検眼Ｅの眼底像と眼底断層像を取得することができる以外に、被検眼Ｅの前眼部観察像を取得することができる。

【0027】

制御部６０は、コントロールパネル部４０の表示画面４１へのタッチ操作などを含む各種の入力操作に基づいて、装置各部（眼底カメラユニット５２、ＯＣＴユニット５３、顎受け部３０、本体部２０など）を制御する。制御部６０は、ハードウェア構成として、図４に示すように、制御基板６０ａと、ＣＰＵ基板６０ｂと、画像ボード６０ｃと、を有している。

【0028】

［制御系構成（図５）］
眼科装置Ａの制御系構成は、図５に示すように、コントロールパネル部４０（表示部４１）と、測定光学系５０（眼底カメラユニット５２、ＯＣＴユニット５３）と、制御部６０と、を有している。

【0029】

制御部６０は、眼底カメラユニット５２及びＯＣＴユニット５３を制御する主制御部６１と、必要データを記憶しておく記憶部６２と、アライメント制御部６３と、を備えている。アライメント制御部６３は、前眼部ステレオカメラ２２により取得された前眼部画像に基づいて被検眼Ｅと本体部２０（本体部２０に有する対物レンズ５１）との相対位置関係を調整するアライメント制御を行う。アライメント制御部６３は、撮影開始モード制御部６３１と、粗アライメント制御部６３２と、精密アライメント制御部６３３と、を有している。ここで、前眼部画像の中に被検眼が映っているときに実行される粗アライメント制御と精密アライメント制御を合わせて、以下、“通常アライメント制御”という。

【0030】

アライメント制御部６３は、前眼部ステレオカメラ２２（第１カメラ２２ａ、第２カメラ２２ｂ）により被検者の顔の左側と右側のそれぞれを２方向から撮影することで前眼部画像を取得し、測定光学系５０により右眼と左眼を撮影することで前眼部観察像を取得する。アライメント制御部６３は、ＸＹＺ駆動部１８と顎受け駆動部３２の少なくとも一方へ出力する駆動指令により、被検眼Ｅと本体部２０に設けられた対物レンズ５１との相対位置関係の調整を行う。ここで、ＸＹＺ駆動部１８と顎受け駆動部３２の使い分けは、調整移動量がＸＺ軸方向移動量のみであればＸＹＺ駆動部１８を用いる。一方、調整移動量にＹ軸方向移動量を含む場合は、Ｙ軸移動許容範囲は、ＸＹＺ駆動部１８の移動許容範囲より顎受け駆動部３２の移動許容範囲が広いため、ＸＹＺ駆動部１８と顎受け駆動部３２を使い分ける。例えば、Ｙ軸移動の際、粗アライメント制御では顎受け駆動部３２を用い、精密アライメント制御ではＸＹＺ駆動部１８を用いる。

【0031】

撮影開始モード制御部６３１は、前眼部ステレオカメラ２２による前眼部の撮影開始モードのとき、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、該判断に続いて自動で、前眼部画像に映っている顔部位の画像認識に基づき被検眼Ｅの予測位置を算出する。そして、算出した被検眼Ｅの予測位置に向かって移動させる制御を行う。さらに、撮影開始モード制御部６３１は、予測した被検眼Ｅの存在位置に向かって移動させる制御を開始した後、前眼部ステレオカメラ２２からの前眼部画像に被検眼Ｅが検出されると、検出された段階で移動を停止し、通常アライメント制御に切り替える制御を行う。

【0032】

加えて、撮影開始モード制御部６３１は、前眼部画像の中に被検眼Ｅが映っていないと判断された場合であって、被検眼Ｅの存在位置を予測できなかったとき、前眼部ステレオカメラ２２の倍率を下げ、再度、前眼部ステレオカメラ２２から前眼部画像を取得する。ここで、実施例１において「被検眼Ｅの存在位置を予測できなかったとき」とは、前眼部画像から被検眼Ｅの存在位置の予測に用いる顔の特徴部位が検出されなかったときをいう。

【0033】

粗アライメント制御部６３２は、表示される前眼部画像に被検眼Ｅが映っていることが確認されると、被検眼Ｅの瞳孔の位置が画像の中央部付近に存在するようにラフにアライメント制御を行う。この粗アライメント制御は、検者が前眼部画像と前眼部観察像の表示画像を見ながらマニュアル操作により行う。

【0034】

精密アライメント制御部６３３は、瞳孔の位置が表示画像の中央部付近に存在することが確認されると、瞳孔の位置が画像の中央位置になるように、瞳孔に対するアライメント制御を行う。この精密アライメント制御は、前眼部ステレオカメラ２２からの２つの前眼部画像に基づいて自動制御により行うが、検者の選択によりマニュアル操作により行うことも可能である。

【0035】

［撮影開始モード制御の処理構成及び処理作用（図６）］
撮影開始モード制御部６３１において実行される撮影開始モード制御の処理構成を、図６に示すフローチャートを参照しながら説明する。なお、撮影開始モード制御処理は、電源スイッチをオンにした眼科装置Ａの前に被検者が着座し、顎受け部３０に顎を支持したことを確認した後、所定の操作によりスタートする。ここで、「所定の操作」とは、例えば、図外の撮影アイコン選択画面にて撮影眼選択ボタンのタップ操作により切り替えられた撮影開始オート調整モード画面４３（図７を参照）にてキャプチャ開始ボタン４３７をタップする操作をいう。

【0036】

ステップＳ１では、スタートに続き、前眼部ステレオカメラ２２により前眼部撮影を開始し、ステップＳ２へ進む。ここで、撮影開始モード制御の処理動作がスタートすると、前眼部ステレオカメラ２２による前眼部撮影が開始され、前眼部画像の撮影開始以降は動画による前眼部画像の取得が継続される。

【0037】

ステップＳ２では、ステップＳ１での前眼部撮影、或いは、ステップＳ６での被検眼位置への調整移動、或いは、ステップＳ７での低倍率撮影に続き、撮影開始オート調整モード画面４３に表示されている前眼部画像の中に被検眼Ｅが検出されたか否かを判断する。ステップＳ２にてＹＥＳ（被検眼Ｅの検出）と判断されるとステップＳ３へ進む。一方、ステップＳ２にてＮＯ（被検眼Ｅの非検出）と判断されるとステップＳ４へと進む。

【0038】

ここで、前眼部画像の中に被検眼Ｅが検出されたか否かの判断は、前眼部画像の中に被検眼Ｅの瞳孔が映っているか否かの判断により行う。つまり、前眼部画像を輝度の高低をあらわす輝度画像に変換する画像処理を行い、変換した輝度画像において最も輝度が低い円形状の瞳孔が検出されると、前眼部画像の中に被検眼Ｅが映っていると判断し、前眼部画像の中に被検眼Ｅが検出されていると判断する。一方、輝度画像において最も輝度が低い円形状の瞳孔が検出されないと、前眼部画像の中に被検眼Ｅが映っていないと判断し、前眼部画像の中に被検眼Ｅが検出されていないと判断する。

【0039】

また、ステップＳ２における前眼部画像の中に被検眼Ｅが検出されるという判断は、第１カメラ２２ａと第２カメラ２２ｂの両方からの前眼部画像の中に被検眼Ｅ（瞳孔）が検出される判断をいう。よって、第１カメラ２２ａと第２カメラ２２ｂのうち片方からの前眼部画像のみに被検眼Ｅ（瞳孔）が検出されても、ステップＳ２では、前眼部画像の中に被検眼Ｅが検出されていないと判断される。

【0040】

ステップＳ３では、ステップＳ２での被検眼Ｅの検出との判断に続き、通常アライメント制御、つまり、粗アライメント制御の実行に続いて精密アライメント制御を実行し、エンドへ進む。

【0041】

ステップＳ４では、ステップＳ２での被検眼Ｅの非検出との判断に続き、被検眼Ｅが映っていない前眼部画像と、学習済み特徴部位検出モデルと、を用いる機械学習検出処理により、顔の特徴部位が検出されたか否かを判断する。ステップＳ４にてＹＥＳ（特徴部位の検出）と判断されるとステップＳ５へ進む。一方、ステップＳ４にてＮＯ（特徴部位の非検出）と判断されるとステップＳ７へと進む。すなわち、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、該判断に続いて自動で、学習済み特徴部位検出モデルを用い、被検眼Ｅが映っていない前眼部画像から抽出される顔の特徴部位を検出する。ここで、「顔の特徴部位」とは、被検眼Ｅ以外の顔の部位のうち、部分的に映った顔部位を画像認識により特定することで、顔全体像における位置関係により被検眼Ｅの位置を予測することが可能な顔の一部（例えば、眉や輪郭や鼻や口や耳など）をいう。

【0042】

「学習済み特徴部位検出モデル」とは、特徴部位画像データと特徴部位情報とを関連させて多数生成した機械学習データセットと、選定した機械学習モデルと、を用いる機械学習の実行により予め構築されたモデルをいう。ここで、「特徴部位画像データ」とは、サンプルとして多数取得した顔画像データから眼以外の顔の特徴部位を切り取ることにより取得した画像データをいう。「特徴部位情報」とは、取得した画像データが表す顔の特徴部位の名称や顔全体像に対する位置を表す情報をいう。「機械学習モデル」とは、顔の特徴部位を認識する画像認識の精度要求レベルに応じて様々な機械学習アルゴリズムモデル中から選定されたモデルをいう。「機械学習モデル」としては、例えば、画像認識にディープラーニング（深層学習）の手法が用いられ、画像が持っている局所的な特徴の検出が可能な“畳み込みニューラルネットワークモデル”などが選定される。「学習済み特徴部位検出モデル」は、例えば、パーソナルコンピュータ１６によって予め構築され、撮影開始モード制御部６３１による制御処理のとき、ＬＡＮケーブル１５を介しての接続により読み出し可能に記憶設定される。なお、学習済み特徴部位検出モデルは、機械学習データセットの変更や追加によるモデル更新を適宜行うようにしても良い。

【0043】

ステップＳ５では、ステップＳ４にて顔の特徴部位が検出されたとの判断に続き、被検眼Ｅの予測位置を算出し、ステップＳ６へ進む。つまり、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、被検眼Ｅが映っていない前眼部画像から顔の特徴部位が検出されると、検出された特徴部位と被検眼Ｅの顔全体像における位置関係により被検眼Ｅの予測位置を算出する。被検眼Ｅの予測位置は、例えば、ＸＹ軸の二次元座標面において、被検眼Ｅが映っていない前眼部画像の中央位置を基準位置（ｘｏ，ｙｏ）としたとき、顔全体像における被検眼Ｅの瞳孔予測位置である予測目標位置（ｘｔ，ｙｔ）を算出する。

【0044】

ステップＳ６では、ステップＳ５での被検眼の予測位置の算出に続き、算出された被検眼の予測位置への調整移動を行い、ステップＳ２へ進む。ここで、「被検眼Ｅの予測位置への調整移動」は、Ｘ軸方向への移動はＸＹＺ駆動部１８を用い、Ｙ軸方向への移動はＹ軸移動量が所定量以下で小さいとＸＹＺ駆動部１８を用い、Ｙ軸移動量が所定量を超えて大きいと顎受け駆動部３２を用いる。なお、顎受け駆動部３２を用いて顎受け部３０をＹ軸方向に上下動させる場合、被検者に対して急な動作により驚きや違和感を与えないようにするため、音声アナウンスによって顎受け部３０を上方に動かす、又は、下方に動かすことを予め知らせておく。

【0045】

ステップＳ７では、ステップＳ４にて顔の特徴部位が検出されなかったとの判断に続き、前眼部ステレオカメラ２２の倍率を下げて撮影し、再度、前眼部ステレオカメラ２２から前眼部画像を取得し、ステップＳ２へ進む。つまり、前眼部ステレオカメラ２２の倍率を下げて撮影することで、通常の高倍率による前眼部画像の画角に比べ、前眼部画像の画角が全体に拡大することになり、被検者が顎受け部３０に顎を載せていれば前眼部画像の中に被検眼Ｅを映り込ませることができる。

【0046】

次に、前眼部ステレオカメラ２２により前眼部撮影を開始するときの撮影開始モード制御の処理作用を、図６を参照しながら説明する。

【0047】

ステップＳ１にて前眼部が撮影され、次のステップＳ２にて撮影開始時点における前眼部画像の中に被検眼Ｅが検出されると、図６のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ３→エンドへと進む。つまり、ステップＳ２にて前眼部画像の中に被検眼Ｅが検出されるとステップＳ３へ進み、ステップＳ３では、粗アライメント制御部６３２による粗アライメント制御の実行に続いて精密アライメント制御部６３３による精密アライメント制御が実行される。なお、アライメント制御の終了後は、例えば、眼底に対するオートフォーカス制御などが実行される。

【0048】

一方、ステップＳ１にて前眼部が撮影され、次のステップＳ２にて撮影開始時点における前眼部画像の中に被検眼Ｅが検出されていないと、図６のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ４へと進む。ステップＳ４では、被検眼Ｅが映っていない前眼部画像と学習済み特徴部位検出モデルとを用いる機械学習検出処理により、顔の特徴部位が検出されたか否かが判断される。ステップＳ４にて顔の特徴部位が検出されたと判断されると、ステップＳ４からステップＳ５へと進み、ステップＳ５では被検眼Ｅの予測位置が算出される。次のステップＳ６では、算出された被検眼Ｅの予測位置への調整移動が行われ、ステップＳ６からはステップＳ２へ戻り、ステップＳ２では、被検眼Ｅの予測位置への調整移動により、前眼部画像の中に被検眼Ｅが検出されたか否かが判断される。

【0049】

ステップＳ２において被検眼Ｅの予測位置への調整移動にかかわらず前眼部画像の中に被検眼Ｅが検出されない間は、ステップＳ２→ステップＳ４→ステップＳ５→ステップＳ６へと進む流れが繰り返される。そして、被検眼Ｅの予測位置への調整移動量が増えることにより、ステップＳ２において前眼部画像の中に被検眼Ｅが検出されると、被検眼Ｅの予測位置への調整移動を停止し、ステップＳ２からステップＳ３→エンドへと進む。

【0050】

さらに、ステップＳ２にて撮影開始時点における前眼部画像の中に被検眼Ｅが検出されていなく、かつ、ステップＳ４にて被検眼Ｅの位置予測に必要な顔の特徴部位が検出されないと判断されると、ステップＳ４からステップＳ７へ進む。ステップＳ７では、前眼部ステレオカメラ２２の倍率を下げて撮影され、再度、前眼部ステレオカメラ２２から前眼部画像が取得されてステップＳ２へ進む。そして、ステップＳ２において、前眼部ステレオカメラ２２の倍率を低倍率にしての撮影により前眼部画像の中に被検眼Ｅが検出されると、ステップＳ２からステップＳ３→エンドへと進む。

【0051】

［撮影開始モード制御作用（図７～図９）］
撮影開始モード制御作用を、図７～図９を参照しながら説明する。自動アライメントによる撮影開始モード制御では、コントロールパネル部４０の表示画面４１、又は、遠隔操作用タブレット４０’の表示画面４１’が、図７に示す撮影開始オート調整モード画面４３になる。

【0052】

撮影開始オート調整モード画面４３は、メニューボタン４３１と、患者ＩＤ表示エリア４３２と、撮影情報表示エリア４３３と、第１動画エリア４３４と、第２動画エリア４３５と、処理中メッセージ表示部４３６と、キャプチャ開始ボタン４３７と、を有する。メニューボタン４３１は、タップすると撮影アイコン選択画面に移行する。患者ＩＤ表示エリア４３２は、患者ＩＤを表示する。撮影情報表示エリア４３３は、撮影眼や画角の情報を表示する。第１動画エリア４３４は、前眼部ステレオカメラ２２のうち第１カメラ２２ａからの前眼部動画を表示する。第２動画エリア４３５は、前眼部ステレオカメラ２２のうち第２カメラ２２ｂからの前眼部動画を表示する。処理中メッセージ表示部４３６は、現在処理中の状態（「オートアライメント中」）を表示する。キャプチャ開始ボタン４３７は、タップすると撮影を開始する。なお、「患者ＩＤ」とは、「被検者ＩＤ」のことをいう。

【0053】

例えば、第１動画エリア４３４に表示される前眼部画像と第２動画エリア４３５に表示される前眼部画像において、図７に示すように、両前眼部画像に被検眼Ｅ（瞳孔）が映っていなく、両前眼部画像の中に眉毛Ｂが映っているとする。この場合、第１動画エリア４３４と第２動画エリア４３５の両前眼部画像から顔の特徴部位である眉毛Ｂが検出される。そして、図８の左部に示すように、検出された眉毛Ｂと被検眼Ｅの顔全体像における位置関係により被検眼Ｅの予測位置が算出され、算出された被検眼Ｅの予測位置への調整移動が行われる。この被検眼Ｅの予測位置へのＸ軸方向とＹ軸方向の調整移動を前眼部画像の移動に置き換えると、第１動画エリア４３４が図８の矢印Ｃに示す方向へ移動し、第１動画エリア４３４’になる。そして、被検眼Ｅの予測位置への調整移動により、矢印Ｃに示す方向への移動量が所定量に達すると、第１動画エリア４３４’における前眼部画像の中に被検眼Ｅ（瞳孔）が検出されることになる。ここで、顔の特徴部位としては、被検眼Ｅ以外の顔の部位であれば良く、眉毛Ｂに限らず、図９に示すように、顔の輪郭Ｆや鼻及び口Ｎなどであっても勿論良いし、それ以外の耳などであっても良い。

【0054】

さらに、前眼部画像の中に被検眼Ｅが映っていない場合であって、顔の特徴部位を検出できなかったとき、前眼部ステレオカメラ２２の倍率を下げて、再度、前眼部ステレオカメラ２２から前眼部画像が取得される。つまり、前眼部ステレオカメラ２２の倍率を下げることで、図８の右部に示すように、第１動画エリア４３４に表示される前眼部画像の画角が拡大し、第１動画エリア４３４”の画角になり、第１動画エリア４３４”に表示される前眼部画像の画角内に被検眼Ｅが入ることになる。

【0055】

ところで、眼科装置でのアライメント制御の背景技術は、少なくとも前眼部画像の中に被検眼Ｅが映っているという条件成立時に実行される制御であり、被検眼Ｅが映っていない場合はアライメント制御の対象外であり、検者による対応に委ねられていた。これに対し、本発明者等は、前眼部画像の中に被検眼Ｅが映っていない状況であっても、前眼部画像に映っている顔部位を画像認識により把握できればアライメント制御の対象に含めることができる点に着目した。

【0056】

すなわち、アライメント制御部６３は、前眼部ステレオカメラ２２による前眼部の撮影開始モードのとき、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、該判断に続いて自動で、前眼部画像に映っている顔部位の画像認識に基づき被検眼Ｅの予測位置を算出する。そして、算出した被検眼Ｅの予測位置に向かって移動させる制御を行う撮影開始モード制御部６３１を有する構成を採用した。

【0057】

したがって、前眼部の撮影開始モードのとき、前眼部画像の中に被検眼Ｅが映っていない場合、自動的に被検眼Ｅが映る位置へのＸＹ軸アライメント調整を行うことができる。この結果、検者が被検者の顔の傾きを修正する、或いは、検者がマニュアル操作によりアライメント調整を行うなどにより、前眼部画像の中に被検眼Ｅが映るように対応する準備作業が不要になり、検者負担が軽減される。さらに、検者が被検者から離れた位置や別室からの遠隔操作により眼特性を測定するとき、検者が被検者の位置まで移動して準備作業を行う必要がなく、作業工数の削減になる。また、特許文献１に対しては、変倍手段が無い場合であっても、被検眼Ｅの位置予測によって被検眼Ｅが映る位置へのＸＹ軸オートアライメント調整を行うことができる。

【0058】

［粗アライメント制御作用（図１０）］
前眼部ステレオカメラ２２により前眼部撮影を開始する撮影開始モード制御に続いて実行される粗アライメント制御作用を、図１０を参照しながら説明する。粗アライメント制御は、コントロールパネル部４０、又は、遠隔操作用タブレット４０’に表示された図１０に示す粗マニュアル調整モード画面４４に基づいて、検者のマニュアル操作により行われる。

【0059】

粗マニュアル調整モード画面４４は、メニューボタン４４１と、患者ＩＤ表示エリア４４２と、撮影情報表示エリア４４３と、操作方法ガイド４４４と、第１動画エリア４４５と、第２動画エリア４４６と、を有する。さらに、顎受け上下動ボタン４４７と、撮影眼選択ボタン４４８と、外部固視ボタン４４９と、アドバンスボタン４５０と、キャプチャ開始ボタン４５１と、を有する。なお、操作方法ガイド４４４は、この画面の操作方法を表示する。第１動画エリア４４５は、測定光学系５０からの前眼部観察像を表示する。第２動画エリア４４６は、撮影眼に近い方の前眼部ステレオカメラ２２の画像を表示する。顎受け上下動ボタン４４７は、タッチ操作により顎受け部３０を上下動させる。撮影眼選択ボタン４４８は、撮影眼を選択する。外部固視ボタン４４９は、タップすると外部固視標３５に切り替わり、外部固視標３５のON/OFF状態を表示すると共に、外部固視標３５のON/OFFの切り替えをする。アドバンスボタン４５０は、タップするとアドバンスモードに切り替わる。

【0060】

粗アライメント制御は、前眼部画像によるＹ軸マニュアルアライメント調整と、前眼部観察像によるＸＹ軸マニュアルアライメント調整により行われる。前眼部画像によるＹ軸マニュアルアライメント調整は、第２動画エリア４４６に表示されたラインＬ１，Ｌ２を目安に、顎受け部３０の高さマーク３３ａを被検眼Ｅの高さに合わせるように、顎受け上下動ボタン４４７をマニュアル操作することで行われる。前眼部観察像によるＸＹ軸マニュアルアライメント調整は、第１動画エリア４４５に表示された前眼部観察像の瞳孔が枠Ｇに入るように前眼部観察像に映っている被検眼Ｅの瞳孔をタッチ操作することで行われる。

【0061】

［精密アライメント制御作用（図１１、図１２）］
粗アライメント制御に続いて実行される精密アライメント制御作用を、図１１及び図１２を参照しながら説明する。精密アライメント制御には、瞳孔に対するオートアライメントを行う精密オートアライメント制御と、瞳孔に対するマニュアルアライメントを行う精密マニュアルアライメント制御と、の二種類がある。

【0062】

精密オートアライメント制御では、コントロールパネル部４０の表示画面４１、又は、遠隔操作用タブレット４０’の表示画面４１’が、図１１に示す精密オート調整モード画面４６になる。精密オート調整モード画面４６は、メニューボタン４６１と、患者ＩＤ表示エリア４６２と、撮影情報表示エリア４６３と、動画エリア４６４と、マニュアルモードボタン４６５と、処理中メッセージ４６６と、を有する。動画エリア４６４は、前眼部ステレオカメラ２２の第１カメラ２２ａからの前眼部画像と第２カメラ２２ｂからの前眼部画像とが上部領域と下部領域に分けて表示される。マニュアルモードボタン４６５は、ボタンをタップすると、自動アライメント調整を中止し、手動で撮影眼の調整を行う後述の精密マニュアル調整モード画面４７に切り替わる。処理中メッセージ４６６は、現在処理中の状態（「オートアライメント中」）を表示する。

【0063】

瞳孔に対する精密オートアライメント制御では、動画エリア４６４に表示されている上部領域の瞳孔マークＭ１と下部領域の瞳孔マークＭ２が一致するように、ＸＹＺ駆動部１８により自動的にＸＹ軸アライメント調整が行われる。なお、瞳孔マークＭ１，Ｍ２は、前眼部画像の瞳孔位置を示すマークである。

【0064】

次に、精密オートアライメント制御においてマニュアルモードボタン４６５をタップすることで実行される精密マニュアルアライメント制御作用を、図１２を参照しながら説明する。マニュアルモードボタン４６５をタップすると、コントロールパネル部４０の表示画面４１、又は、遠隔操作用タブレット４０’の表示画面４１’が、図１１に示す精密オート調整モード画面４６から図１２に示す精密マニュアル調整モード画面４７に切り替わる。

【0065】

精密マニュアル調整モード画面４７は、メニューボタン４７１と、患者ＩＤ表示エリア４７２と、撮影情報表示エリア４７３と、操作方法ガイド４７４と、第１動画エリア４７５と、第２動画エリア４７６と、を有する。さらに、処理中メッセージ４７７と、戻るボタン４７８と、キャプチャ開始ボタン４７９と、を有する。操作方法ガイド４７４は、この画面の操作方法を表示する。第１動画エリア４７５は、前眼部ステレオカメラ２２の第１カメラ２２ａからの前眼部画像を表示する。第２動画エリア４７６は、前眼部ステレオカメラ２２の第２カメラ２２ｂからの前眼部画像を表示する。処理中メッセージ４７７は、現在処理中の状態（「マニュアルアライメント」）を表示する。戻るボタン４７８は、タップすると粗マニュアル調整モード画面４４に戻る。

【0066】

瞳孔に対する精密マニュアルアライメント制御では、第１動画エリア４７５に表示されている前眼部画像の瞳孔マークＭ１と第２動画エリア４７６に表示されている前眼部画像の瞳孔マークＭ２をそれぞれタップする。このタップ操作に基づき、ＸＹＺ駆動部１８により前眼部画像の中央位置に瞳孔マークＭ１と瞳孔マークＭ２とがそれぞれ配置されるようにＸＹ軸アライメント調整が行われる。

【0067】

以上説明したように、実施例１の眼科装置Ａにあっては、下記に列挙する効果を奏する。
（１）本体部２０と、前眼部カメラ（前眼部ステレオカメラ２２）と、制御部６０と、を備える眼科装置Ａであって、制御部６０は、前眼部画像に基づいて被検眼Ｅと本体部２０との相対位置関係を調整する制御を行うアライメント制御部６３を備える。アライメント制御部６３は、前眼部カメラによる前眼部の撮影開始モードのとき、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、該判断に続いて自動で、前眼部画像に映っている顔部位の画像認識に基づき被検眼Ｅの予測位置を算出し、算出した被検眼Ｅの予測位置に向かって移動させる制御を行う撮影開始モード制御部６３１を有する。このため、前眼部の撮影開始モードのとき、前眼部画像の中に被検眼Ｅが映っていない場合、自動的に被検眼Ｅが映る位置へのアライメント調整を行うことができる。

【0068】

（２）撮影開始モード制御部６３１は、予測した被検眼Ｅの存在位置に向かって移動させる制御を開始した後、前眼部カメラ（前眼部ステレオカメラ２２）からの前眼部画像に被検眼Ｅが検出されると、検出された段階で移動を停止し、通常アライメント制御に切り替える。このため、既存の通常アライメント制御を変更することなく、撮影開始モード制御によって前眼部画像に被検眼Ｅが検出されると、撮影開始モード制御から通常アライメント制御へと繋ぐことができる。

【0069】

（３）撮影開始モード制御部６３１は、前眼部画像の中に被検眼Ｅが映っていないと判断された場合であって、被検眼Ｅの存在位置を予測できなかったとき、前眼部カメラ（前眼部ステレオカメラ２２）の倍率を下げ、再度、前眼部カメラから前眼部画像を取得する。このため、前眼部画像の中に被検眼Ｅが映っていない場合であって、被検眼Ｅの存在位置を予測できなかったとき、前眼部画像の画角を拡大することで、前眼部画像の中に被検眼Ｅが検出される確率を高めることができる。

【0070】

（４）撮影開始モード制御部６３１は、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、被検眼Ｅが映っていない前眼部画像から顔の特徴部位を検出し、検出した特徴部位と被検眼Ｅの顔全体像における位置関係により被検眼Ｅの予測位置を算出する。このため、顔の特徴部位の検出に基づき、検出した特徴部位と被検眼Ｅの顔全体像における位置関係により被検眼Ｅの予測位置を精度良く算出できる。

【0071】

（５）撮影開始モード制御部６３１は、多数生成した特徴部位画像の機械学習データセットと、選定した機械学習モデルと、を用いる機械学習の実行により予め構築しておいた学習済み特徴部位検出モデルを有し、被検眼Ｅが映っていない前眼部画像と、学習済み特徴部位検出モデルと、を用いる画像認識に基づいて顔の特徴部位を検出する。このため、学習済み特徴部位検出モデルを用いる画像認識手法により、被検眼Ｅが映っていない前眼部画像から顔の特徴部位を精度良く検出できる。

【実施例0072】

実施例２は、画像認識によって顔の特徴部位を個別に分けて検出し、かつ、眉毛Ｂの検出を、輪郭Ｆの検出、鼻及び口Ｎの検出より優先する検出順序の設定により撮影開始モード制御を行う例である。なお、実施例２の眼科装置Ａの構成については、実施例１の図１～図５に示す構成と同様であるので、図示並びに説明を省略する。

【0073】

［撮影開始モード制御の処理構成及び処理作用（図１３）］
実施例２の撮影開始モード制御部６３１において実行される撮影開始モード制御の処理構成を、図１３に示すフローチャートを参照しながら説明する。なお、図１３のステップＳ２１、Ｓ２２、Ｓ２３、Ｓ２５、Ｓ２６、Ｓ２７は、図６のステップＳ１、Ｓ２、Ｓ３、Ｓ５、Ｓ６、Ｓ７と同じ処理を行うステップであるので説明を省略する。

【0074】

ステップＳ２４ａでは、ステップＳ２２での被検眼非検出との判断に続き、被検眼Ｅが映っていない前眼部画像と、学習済み眉毛検出モデル（学習済み個別部位検出モデル）と、を用いる機械学習検出処理により、眉毛Ｂが検出されたか否かを判断する。ステップＳ２４ａにてＹＥＳ（眉毛Ｂの検出）と判断されるとステップＳ２５へ進む。一方、ステップＳ２４ａにてＮＯ（眉毛Ｂの非検出）と判断されるとステップＳ２４ｂへと進む。すなわち、前眼部画像の中に被検眼Ｅが映っていない場合、学習済み眉毛検出モデルを用いて被検眼Ｅが映っていない前眼部画像から眉毛Ｂを検出することを最優先する。そして、眉毛Ｂが検出されないときに輪郭Ｆの検出を行い、輪郭Ｆが検出されないとき鼻及び口Ｎの検出を行うというように、個別の特徴部位の検出順序を規定している。

【0075】

ここで、「学習済み個別部位検出モデル」とは、特徴部位を眉毛Ｂと輪郭Ｆと鼻及び口Ｎの個別部位に分け、それぞれの部位について多数生成した機械学習データセットと、選定した機械学習モデルと、を用いる機械学習の実行により予め構築されたモデルをいう。つまり、「学習済み個別部位検出モデル」としては、眉毛Ｂと輪郭Ｆと鼻及び口Ｎのそれぞれの個別部位の検出に特化した“学習済み眉毛検出モデル”と“学習済み輪郭検出モデル”と“学習済み鼻及び口検出モデル”とを予め用意しておく（図９を参照）。

【0076】

ステップＳ２４ｂでは、ステップＳ２４ａでの眉毛Ｂの非検出判断に続き、被検眼Ｅが映っていない前眼部画像と、学習済み輪郭検出モデルと、を用いる機械学習検出処理により、輪郭Ｆが検出されたか否かを判断する。ステップＳ２４ｂにてＹＥＳ（輪郭Ｆの検出）と判断されるとステップＳ２５へ進む。一方、ステップＳ２４ｂにてＮＯ（輪郭Ｆの非検出）と判断されるとステップＳ２４ｃへと進む。

【0077】

ステップＳ２４ｃでは、ステップＳ２４ｂでの輪郭Ｆの非検出判断に続き、被検眼Ｅが映っていない前眼部画像と、学習済み鼻及び口検出モデルと、を用いる機械学習検出処理により、鼻及び口Ｎが検出されたか否かを判断する。ステップＳ２４ｃにてＹＥＳ（鼻及び口Ｎの検出）と判断されるとステップＳ２５へ進む。一方、ステップＳ２４ｃにてＮＯ（鼻及び口Ｎの非検出）と判断されるとステップＳ２７へと進む。

【0078】

次に、前眼部ステレオカメラ２２により前眼部撮影を開始するときの撮影開始モード制御の処理作用を、図１３を参照しながら説明する。

【0079】

ステップＳ２１にて前眼部が撮影され、次のステップＳ２２にて撮影開始時点における前眼部画像の中に被検眼Ｅが検出されると、図１３のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２３→エンドへと進む。つまり、ステップＳ２にて前眼部画像の中に被検眼Ｅが検出されるとステップＳ３へ進み、ステップＳ３では、粗アライメント制御部６３２による粗アライメント制御の実行に続いて精密アライメント制御部６３３による精密アライメント制御が実行される。

【0080】

一方、ステップＳ２１にて前眼部が撮影され、次のステップＳ２２にて撮影開始時点における前眼部画像の中に被検眼Ｅが検出されていないと、図１３のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２４ａへと進む。ステップＳ２４ａでは、被検眼Ｅが映っていない前眼部画像と学習済み眉毛検出モデルとを用いる機械学習検出処理により、眉毛Ｂが検出されたか否かが判断される。ステップＳ２４ａにて眉毛Ｂが検出されたと判断されると、ステップＳ２４ａからステップＳ２５へと進み、ステップＳ２５では被検眼Ｅの予測位置が算出される。次のステップＳ２６では、算出された被検眼Ｅの予測位置への調整移動が行われ、ステップＳ２６からはステップＳ２２へ戻り、ステップＳ２２では、被検眼Ｅの予測位置への調整移動により、前眼部画像の中に被検眼Ｅが検出されたか否かが判断される。そして、ステップＳ２２において前眼部画像の中に被検眼Ｅが検出されると、被検眼Ｅの予測位置への調整移動を停止し、ステップＳ２２からステップＳ２３→エンドへと進む。

【0081】

次に、ステップＳ２２にて撮影開始時点における前眼部画像の中に被検眼Ｅが検出されていなく、かつ、ステップＳ２４ａにて眉毛Ｂが検出されないと判断されると、ステップＳ２４ａからステップＳ２４ｂへと進む。ステップＳ２４ｂでは、被検眼Ｅが映っていない前眼部画像と学習済み輪郭検出モデルとを用いる機械学習検出処理により、輪郭Ｆが検出されたか否かが判断される。ステップＳ２４ｂにて輪郭Ｆが検出されたと判断されると、ステップＳ２４ｂからステップＳ２５へと進み、ステップＳ２５では被検眼Ｅの予測位置が算出される。次のステップＳ２６では、算出された被検眼Ｅの予測位置への調整移動が行われ、ステップＳ２６からはステップＳ２２へ戻り、ステップＳ２２では、被検眼Ｅの予測位置への調整移動により、前眼部画像の中に被検眼Ｅが検出されたか否かが判断される。そして、ステップＳ２２において前眼部画像の中に被検眼Ｅが検出されると、被検眼Ｅの予測位置への調整移動を停止し、ステップＳ２２からステップＳ２３→エンドへと進む。

【0082】

次に、ステップＳ２２にて撮影開始時点における前眼部画像の中に被検眼Ｅが検出されていなく、かつ、ステップＳ２４ｂにて輪郭Ｆが検出されないと判断されると、ステップＳ２４ｂからステップＳ２４ｃへと進む。ステップＳ２４ｃでは、被検眼Ｅが映っていない前眼部画像と学習済み鼻及び口検出モデルとを用いる機械学習検出処理により、鼻及び口Ｎが検出されたか否かが判断される。ステップＳ２４ｃにて鼻及び口Ｎが検出されたと判断されると、ステップＳ２４ｃからステップＳ２５へと進み、ステップＳ２５では被検眼Ｅの予測位置が算出される。次のステップＳ２６では、算出された被検眼Ｅの予測位置への調整移動が行われ、ステップＳ２６からはステップＳ２２へ戻り、ステップＳ２２では、被検眼Ｅの予測位置への調整移動により、前眼部画像の中に被検眼Ｅが検出されたか否かが判断される。そして、ステップＳ２２において前眼部画像の中に被検眼Ｅが検出されると、被検眼Ｅの予測位置への調整移動を停止し、ステップＳ２２からステップＳ２３→エンドへと進む。

【0083】

次に、ステップ２４ｃにて鼻及び口Ｎが検出されないと判断されると、ステップＳ２４ｃからステップＳ２７へ進む。ステップＳ２７では、前眼部ステレオカメラ２２の倍率を下げて撮影され、再度、前眼部ステレオカメラ２２から前眼部画像が取得されてステップＳ２２へ進む。そして、ステップＳ２２において、前眼部ステレオカメラ２２の倍率を低倍率にしての撮影により前眼部画像の中に被検眼Ｅが検出されると、ステップＳ２２からステップＳ２３→エンドへと進む。

【0084】

［撮影開始モード制御作用］
実施例２は、画像認識によって顔の特徴部位を個別に分けて検出し、かつ、眉毛Ｂの検出を、輪郭Ｆの検出、鼻及び口Ｎの検出より優先する検出順序の設定としている。この理由は、前眼部画像の中に被検眼Ｅが検出されなかったとき、顔の特徴部位のうち眉毛Ｂが検出される頻度が最も高いことを発明者が知見したことに基づく。

【0085】

すなわち、被検者の顔が正面を向いていなく傾いているときには、被検者の左右眼のうち、高さ位置が高くなる片方の被検眼Ｅが前眼部画像の中に検出されても、高さ位置が低くなる他方の前眼部画像の中に被検眼Ｅが検出されず眉毛Ｂが検出される。また、前回の被検者が成人であり今回の被検者が子供であるとき、成人の顔で前眼部画像の中に左右の被検眼Ｅが検出されるＹ軸方向の高さ位置に顎受け部３０が設定されている状態で被検者が子供に切り替わると、前眼部画像の中に左右の眉毛Ｂが検出される。

【0086】

したがって、眉毛Ｂの検出を、輪郭Ｆの検出、鼻及び口Ｎの検出より優先する検出順序の設定にすると、画像認識によって顔の中に複数ある特徴部位の一つを抽出して検出する場合に比べ、より早期タイミングにて眉毛Ｂを検出することが可能である。そして、早期タイミングにて眉毛Ｂが検出されると、眉毛Ｂを検出してから、被検眼Ｅの予測位置の算出と予測位置への調整移動とを経由し、撮影開始モード制御を終了させるのに要する所要時間も短縮できる。

【0087】

上記のように、実施例２の眼科装置Ａにあっては、実施例１の（１）～（４）の効果に加え、下記の効果を奏する。

【0088】

（６）撮影開始モード制御部６３１は、多数生成した特徴部位画像の機械学習データセットと、選定した機械学習モデルと、を用いる機械学習の実行により予め構築しておいた眉毛Ｂ、輪郭Ｆ、鼻及び口Ｎについての学習済み個別部位検出モデルを有する。被検眼Ｅが映っていない前眼部画像と、学習済み個別部位検出モデルと、を用いる画像認識に基づいて顔の特徴部位を検出するとき、眉毛Ｂの検出を、輪郭Ｆの検出、鼻及び口Ｎの検出より優先する特徴部位別の順序設定とする。このため、学習済み個別部位検出モデルを用いる画像認識手法により、被検眼Ｅが映っていない前眼部画像から顔の個別部位を精度良く検出できると共に、頻度の高い眉毛Ｂの検出を優先することで、撮影開始モード制御の所要時間を短縮できる。

【0089】

以上、本開示の眼科装置を実施例１，２に基づき説明してきた。しかし、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加などは許容される。

【0090】

実施例１，２では、撮影開始モード制御部６３１として、前眼部ステレオカメラ２２による前眼部の撮影開始モードのとき、前眼部画像の中に被検眼Ｅが映っていないと判断された場合、該判断に続いて自動で、顔部位の画像認識に基づくアライメント制御を行う例を示した。しかし、撮影開始モード制御部としては、前眼部カメラによる前眼部の撮影開始モードのとき、前眼部画像の中に被検眼が映っていないと判断された場合、該判断に続いて少なくとも報知してから自動で、顔部位の画像認識に基づくアライメント制御を行う例としても良い。すなわち、被検眼が映っていないとの判断に続き、報知をしてから自動で、顔部位の画像認識に基づくアライメント制御を行っても良い。又は、被検眼が映っていないとの判断に続き、報知をし、かつ、検者による所定操作を受けてから自動で、顔部位の画像認識に基づくアライメント制御を行っても良い。ここで、「報知」とは、アライメント制御の実行により本体部又は顎受け部が動くことを、被検者に対してアナウンスなどにより予め知らせることをいう。

【0091】

実施例１，２では、撮影開始モード制御部６３１として、予測した被検眼Ｅの存在位置に向かって移動させる制御を開始した後、前眼部ステレオカメラ２２からの前眼部画像に被検眼Ｅが検出されると、検出された段階で移動を停止し、通常アライメント制御に切り替える例を示した。しかし、撮影開始モード制御部としては、予測した被検眼の存在位置まで移動させる制御を終了させた後、前眼部画像に被検眼が検出されていることを確認して通常アライメント制御に切り替える例としても良い。

【0092】

実施例１では、顔の特徴部位を検出できなかったときに低倍率撮影に進む例を示した。実施例２では、眉毛Ｂの検出、輪郭Ｆの検出、鼻及び口Ｎの検出が何れもできなかったときに低倍率撮影に進む例を示した。しかし、実施例１，２において、顔の特徴部位を検出できたが被検眼の予測位置が算出できなかったときも「被検眼Ｅの存在位置を予測できなかったとき」に含め、低倍率撮影に進む例としても良い。

【0093】

実施例１では、撮影開始モード制御部６３１として、被検眼Ｅが映っていない前眼部画像と、学習済み特徴部位検出モデルと、を用いる画像認識に基づいて、顔の特徴部位を検出する例を示した。実施例２では、撮影開始モード制御部６３１として、被検眼Ｅが映っていない前眼部画像と、学習済み個別部位検出モデルと、を用いる画像認識に基づいて、眉毛Ｂ、輪郭Ｆ、鼻及び口Ｎを個別に検出する例を示した。しかし、撮影開始モード制御部としては、機械学習による学習済み特徴部位検出モデルや学習済み個別部位検出モデルを用いることなく、パターンマッチングやランドマークマッチングの手法などにより顔の特徴部位や顔の個別部位を検出する例としても良い。ここで、「パターンマッチング」とは、特徴部位を形状パターンにより予めデータ化したパターンマップを用意しておき、被検眼が映っていない前眼部画像の画像処理により取得された形状パターンとパターンマップとのマッチング判定を行って特徴部位を特定する手法をいう。なお、形状パターン以外に、色パターンや輝度パターンを含めてパターンマッチングをしても良い。「ランドマークマッチング」とは、目や鼻の位置など顔の特徴を検出する上で重要なキーポイントになる顔のランドマーク（番号を付した特徴点）を決めておき、被検眼が映っていない前眼部画像から取得されるランドマークの番号により特徴部位を特定する手法をいう。

【0094】

実施例１，２では、撮影開始モード制御部６３１として、電源スイッチをオンにした眼科装置Ａの前に被検者が着座し、顎受け部３０に顎を支持したことを確認した後、所定の操作により撮影開始モード制御処理がスタートする例を示した。しかし、撮影開始モード制御部としては、センサやスイッチにより被検者が顎を顎受け部に支持し額を押し当てたことを検出すると、撮影開始モード制御処理がスタートする例としても良い。

【0095】

実施例１，２では、前眼部カメラとして、前眼部ステレオカメラ２２を用いる例を示した。しかし、前眼部カメラとしては、ステレオカメラに限定されず、例えば、単眼カメラを用いる例であっても良い。また、倍率を変更するズーム機能を有さないカメラを用いる例であっても良い。

【0096】

実施例１，２では、眼科装置として、被検眼の前眼部像、被検眼の眼底像、被検眼の眼底断層像を観察、撮影及び記録し、電子画像として診断のために提供する眼科装置Ａへの適用例を示した。しかし、眼科装置としては、眼科装置Ａへの適用に限られるものではない。すなわち、本発明のアライメント制御技術は、被検眼と装置本体部との相対位置関係を調整する制御を行うアライメント制御を必要とする眼科装置であれば、自覚眼科装置であるか他覚眼科装置であるかを問わず適用することができる。