(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】眼科装置、および眼科装置制御プログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20240521BHJP
A61B 3/103 20060101ALI20240521BHJP
【FI】
A61B3/10
A61B3/103
(21)【出願番号】P 2020551128
(86)(22)【出願日】2019-10-04
(86)【国際出願番号】 JP2019039384
(87)【国際公開番号】W WO2020075656
(87)【国際公開日】2020-04-16
【審査請求日】2022-08-24
(31)【優先権主張番号】P 2018192184
(32)【優先日】2018-10-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(72)【発明者】
【氏名】橋本 真一
(72)【発明者】
【氏名】有川 徹
【審査官】山口 裕之
(56)【参考文献】
【文献】特開2004-041470(JP,A)
【文献】特開2013-081518(JP,A)
【文献】福井 和広 他,「形状抽出とパターン照合の組合せによる顔特徴点抽出」,電子情報通信学会論文誌D-II,1997年08月25日,Vol.J80-D-II、No.8,pp.2170-2177
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/10
A61B 3/103
(57)【特許請求の範囲】
【請求項1】
被検眼を検査する眼科装置であって、
前記被検眼を検査するための検眼手段と、
前記被検眼と前記検眼手段との3次元的な相対位置を調整する調整手段と、
左右の前記被検眼のうち少なくとも一方を含む顔画像を撮影する顔撮影手段と、
前記調整手段を制御する制御手段と、を備え、
前記制御手段は、
異なるタイミングで撮影された複数の前記顔画像に基づいて
算出された前記被検眼の特徴量を含む複数の検出データ
のうち、少なくとも一部の前記検出データが安定しているか否かに基づいて、前記被検眼の開瞼が安定しているか否かを判定し、前記被検眼の開瞼が安定していると判定したときの前記顔画像に基づいて、前記検眼手段と前記被検眼との3次元的な相対位置を調整
する際に、
前記特徴量と、予め設定された前記特徴量の閾値との比較結果に基づいて、前記複数の検出データのうち、前記少なくとも一部の検出データを選択するときの選択処理を、時系列の新しさに基づいて前記検出データを選択する第1選択処理と、前記特徴量の大きさに基づいて前記検出データを選択する第2選択処理と、で切り換えるにあたり、
時系列の新しいK個(K≧2)の前記特徴量が前記閾値以上であった場合に前記第1選択処理を行い、時系列の新しいK個の前記特徴量の少なくとも1つが前記閾値未満であり、かつ、蓄積された前記検出データがJ個(J>K)以上であった場合に前記第2選択処理を行うことを特徴とする眼科装置。
【請求項2】
前記制御手段は、前記顔画像から前記検出データを検出する際に、前記顔画像上の位置に応じて、前記特徴量に重み付けを行うことを特徴とする請求項
1の眼科装置。
【請求項3】
前記制御手段は、前記顔画像から前記検出データを検出する際に、前記特徴量の大きい前記検出データのうち、輝度値の低いものを検出することを特徴とする請求項
1の眼科装置。
【請求項4】
被検眼を検査する眼科装置において実行される眼科装置制御プログラムであって、前記眼科装置のプロセッサによって実行されることで、
左右の前記被検眼のうち少なくとも一方を含む顔画像を撮影する顔撮影ステップと、
異なるタイミングで撮影された複数の前記顔画像に基づいて
算出された前記被検眼の特徴量を含む複数の検出データ
のうち、少なくとも一部の前記検出データが安定しているか否かに基づいて、前記被検眼の開瞼が安定しているか否かを判定し、前記被検眼の開瞼が安定していると判定したときの前記顔画像に基づいて、検眼手段と前記被検眼との3次元的な相対位置を調整する制御ステップと、
前記制御ステップにおいて、前記特徴量と、予め設定された前記特徴量の閾値との比較結果に基づいて、前記複数の検出データのうち、前記少なくとも一部の検出データを選択するときの選択処理を、時系列の新しさに基づいて前記検出データを選択する第1選択処理と、前記特徴量の大きさに基づいて前記検出データを選択する第2選択処理と、で切り換えるにあたり、時系列の新しいK個(K≧2)の前記特徴量が前記閾値以上であった場合に前記第1選択処理を行い、時系列の新しいK個の前記特徴量の少なくとも1つが前記閾値未満であり、かつ、蓄積された前記検出データがJ個(J>K)以上であった場合に前記第2選択処理を行う選択ステップと、
を前記眼科装置に実行させることを特徴とする眼科装置制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被検眼を検査するための眼科装置、および眼科装置制御プログラムに関する。
【背景技術】
【0002】
従来の眼科装置としては、例えば、眼屈折力測定装置、角膜曲率測定装置、眼圧測定装置、眼底カメラ、OCT、SLO等が知られている。これらの眼科装置では、例えば、ジョイスティック等の操作による手動アライメントと、前眼部画像の輝点検出による自動アライメントなどによって、被検眼に対して検眼部を所定の位置にアライメントすることが一般的である(特許文献1参照)。
【0003】
また、特許文献2では、被検者の顔を撮影した画像に基づいて被検眼に対する検眼部の位置合わせを行う装置が提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2013-066760
【文献】特開平10-216089
【発明の概要】
【0005】
しかしながら、従来の装置において、例えば、被検眼が瞬きをした際に、被検眼の位置を誤検出してしまい、適正にアライメントできない場合があった。
【0006】
本開示は、従来の問題点に鑑み、好適にアライメントできる眼科装置、及び眼科装置制御プログラムを提供することを技術課題とする。
【0007】
上記課題を解決するために、本開示は以下のような構成を備えることを特徴とする。
【0008】
(1) 被検眼を検査する眼科装置であって、前記被検眼を検査するための検眼手段と、前記被検眼と前記検眼手段との3次元的な相対位置を調整する調整手段と、左右の前記被検眼のうち少なくとも一方を含む顔画像を撮影する顔撮影手段と、前記調整手段を制御する制御手段と、を備え、前記制御手段は、異なるタイミングで撮影された複数の前記顔画像に基づいて算出された前記被検眼の特徴量を含む複数の検出データのうち、少なくとも一部の前記検出データが安定しているか否かに基づいて、前記被検眼の開瞼が安定しているか否かを判定し、前記被検眼の開瞼が安定していると判定したときの前記顔画像に基づいて、前記検眼手段と前記被検眼との3次元的な相対位置を調整する際に、前記特徴量と、予め設定された前記特徴量の閾値との比較結果に基づいて、前記複数の検出データのうち、前記少なくとも一部の検出データを選択するときの選択処理を、時系列の新しさに基づいて前記検出データを選択する第1選択処理と、前記特徴量の大きさに基づいて前記検出データを選択する第2選択処理と、で切り換えるにあたり、時系列の新しいK個(K≧2)の前記特徴量が前記閾値以上であった場合に前記第1選択処理を行い、時系列の新しいK個の前記特徴量の少なくとも1つが前記閾値未満であり、かつ、蓄積された前記検出データがJ個(J>K)以上であった場合に前記第2選択処理を行うことを特徴とする。
(2) 被検眼を検査する眼科装置において実行される眼科装置制御プログラムであって、前記眼科装置のプロセッサによって実行されることで、左右の前記被検眼のうち少なくとも一方を含む顔画像を撮影する顔撮影ステップと、異なるタイミングで撮影された複数の前記顔画像に基づいて算出された前記被検眼の特徴量を含む複数の検出データのうち、少なくとも一部の前記検出データが安定しているか否かに基づいて、前記被検眼の開瞼が安定しているか否かを判定し、前記被検眼の開瞼が安定していると判定したときの前記顔画像に基づいて、検眼手段と前記被検眼との3次元的な相対位置を調整する制御ステップと、前記制御ステップにおいて、前記特徴量と、予め設定された前記特徴量の閾値との比較結果に基づいて、前記複数の検出データのうち、前記少なくとも一部の検出データを選択するときの選択処理を、時系列の新しさに基づいて前記検出データを選択する第1選択処理と、前記特徴量の大きさに基づいて前記検出データを選択する第2選択処理と、で切り換えるにあたり、時系列の新しいK個(K≧2)の前記特徴量が前記閾値以上であった場合に前記第1選択処理を行い、時系列の新しいK個の前記特徴量の少なくとも1つが前記閾値未満であり、かつ、蓄積された前記検出データがJ個(J>K)以上であった場合に前記第2選択処理を行う選択ステップと、を前記眼科装置に実行させることを特徴とする。
【図面の簡単な説明】
【0009】
【
図4】本実施例の制御動作を示すフローチャートである。
【
図7】特徴量の重み付けについて説明する図である。
【
図12】フレーム毎の特徴量の一例を示す図である。
【
図13】装置のアライメントに動作について説明する図である。
【
図14】装置のアライメントに動作について説明する図である。
【発明を実施するための形態】
【0010】
<実施形態>
以下、本開示に係る実施形態について説明する。本実施形態の眼科装置(例えば、眼科装置1)は、被検眼を検査する。眼科装置は、例えば、検眼部(例えば、検眼部2)と、調整部(例えば、駆動部4、顎台駆動部12など)と、顔撮影部(例えば、顔撮影部90)と、制御部(例えば、制御部70)を備える。検眼部は、被検眼を検査する。調整部は、被検眼と検眼部との3次元的な相対位置を調整する。顔撮影部は、左右の被検眼のうち少なくとも一方を含む顔画像を撮影する。制御部は、調整部を制御する。なお、制御部は、顔画像に基づいて被検眼の開瞼が安定しているか否かを判定し、被検眼の開瞼が安定していると判定したときの顔画像に基づいて、検眼部と被検眼との3次元的な相対位置を調整する。これによって、被検眼が眼を開けているときの顔画像に基づいて的確にアライメントを行うことができる。
【0011】
なお、制御部は、顔画像に基づいて検出された被検眼の検出データが安定しているか否かに基づいて、被検眼の開瞼が安定しているか否かを判定してもよい。この場合、安定していると判定したとき検出データに基づいて、検眼部と被検眼とのアライメントを行ってもよい。
【0012】
なお、制御部は、異なるタイミングで撮影された複数の顔画像に基づいて検出された複数の検出データのうち、少なくとも一部の検出データが安定しているか否かを判定してもよい。
【0013】
なお、制御部は、複数の検出データのうち、少なくとも一部の検出データを選択してもよい。また、制御部は、複数の検出データのうち、少なくとも一部の検出データを選択するときの選択処理を切り換えてもよい。これによって、適切な検出データを用いて、検眼部と被検眼とのアライメントを行うことができる。
【0014】
なお、検出データは、顔画像に基づいて算出された被検眼の特徴量を含んでもよい。この場合、制御部は、特徴量に基づいて検出データの選択処理を切り換えてもよい。検出データは、被検眼の座標などを含んでもよい。
【0015】
なお、制御部は、顔画像に基づいて算出された被検眼の特徴量と、予め設定された特徴量の閾値との比較結果に基づいて、検出データの選択処理を切り換えてもよい。これによって、被検者の開瞼状態に応じた適切な検出データを選択することができる。
【0016】
なお、制御部は、時系列の新しさに基づいて検出データを選択する第1選択処理と、特徴量の大きさに基づいて検出データを選択する第2選択処理と、を切り換えてもよい。これによって、被検者の開瞼状態に応じた適切な検出データを選択することができる。
【0017】
なお、制御部は、時系列の新しいK個(K≧1)の特徴量が閾値以上であった場合に第1選択処理を行い、時系列の新しいK個の特徴量の少なくとも1つが閾値未満であり、かつ、蓄積された検出データがJ個(J≧K)以上であった場合に第2選択処理を行ってもよい。
【0018】
なお、制御部は、時系列の新しいK個(K≧1)の特徴量が閾値以上であった場合に第1選択処理または第2選択処理を行い、時系列の新しいK個(K≧1)の特徴量が閾値未満であり、かつ、蓄積された検出データがJ個(J≧K)未満であった場合に選択処理を行わず、時系列の新しいK個(K≧1)の特徴量が閾値未満であり、かつ、蓄積された前記検出データがJ個(J≧K)以上であった場合に第1選択処理または第2選択処理を行ってもよい。
【0019】
なお、制御部は、複数の検出データの座標が互いの所定範囲内にある場合、検出データが安定していると判定してもよい。
【0020】
なお、制御部は、顔画像から検出データを検出する際に、顔画像上の位置に応じて、特徴量に重み付けを行ってもよい。これによって、例えば、眉などを検出してしまう可能性を低減できる。
【0021】
なお、制御部は、顔画像から検出データを検出する際に、特徴量の大きい検出データのうち、輝度値の低いものを検出してもよい。これによって、例えば、瞳孔以外を検出してしまう可能性を低減できる。
【0022】
なお、特徴量は、顔画像に対する画像処理によって算出された被検眼の瞳孔の円形分離度であってもよい。また、特徴量は、瞳孔の円形度であってもよいし、ハフ変換で得られる円の中心候補点であってもよい。
【0023】
なお、制御部は、異なるタイミングで撮影された複数の顔画像に基づいて被検眼と検眼部との3次元的な相対位置を調整してもよい。例えば、制御部は、顔撮影部によって同じ方向から撮影された複数の顔画像に基づいて被検眼と検眼部との3次元的な装置位置を調整してもよい。また、制御部は、顔画像が相対位置の検出に適するか否かを判定してもよい。
【0024】
なお、制御部は、記憶部(例えば、記憶部74)などに記憶された眼科装置制御プログラムを実行してもよい。眼科装置制御プログラムは、例えば、顔撮影ステップと、制御ステップを含む。顔撮影ステップは、例えば、左右の被検眼のうち少なくとも一方を含む顔画像を撮影するステップである。制御ステップは、顔画像に基づいて被検眼の開瞼が安定しているか否かを判定し、被検眼の開瞼が安定していると判定したときの顔画像に基づいて、検眼部と被検眼との3次元的な相対位置を調整するステップである。
【0025】
<実施例>
本開示に係る眼科装置を図面に基づいて説明する。本実施例の眼科装置は、例えば、被検眼を検査する。なお、以下の説明では、眼科装置として眼屈折力測定装置を例に説明するが、角膜曲率測定装置、角膜形状測定装置、眼圧測定装置、眼軸長測定装置、眼底カメラ、OCT(optical coherence tomography)、SLO(Scanning Laser Ophthalmoscope)等の他の眼科装置にも適用可能である。例えば、本実施例の眼科装置は、片眼毎に検査を行ってもよいし、両眼同時に(両眼視で)検査を行う装置であってもよい。
【0026】
<外観>
図1に基づいて、眼科装置の外観を説明する。
図1に示すように、本実施例の眼科装置1は、検眼部2と、顔撮影部90と、駆動部4と、を主に備える。検眼部2は、被検眼を検査する。検眼部2は、例えば、被検眼の眼屈折力、角膜曲率、眼圧等を測定する光学系を備えてもよい。また、検眼部2は、被検眼の前眼部、眼底等を撮影するための光学系等を備えてもよい。本実施例では、屈折力を測定する検眼部2を例に説明する。顔撮影部90は、例えば、被検眼の顔を撮影する。顔撮影部90は、例えば、左右の被検眼のうち少なくとも一方を含む顔を撮影する。駆動部4は、例えば、検眼部2および顔撮影部90を基台5に対して上下左右前後方向(3次元方向)に移動させる。
【0027】
さらに、本実施例の眼科装置1は、例えば、筐体6、表示部7、操作部8、顔支持部9等を備えてもよい。例えば、筐体6は、検眼部2、顔撮影部90、駆動部4等を収納する。表示部7は、例えば、被検眼の観察画像および測定結果等を表示させる。表示部7は、例えば、装置1と一体的に設けられてもよいし、装置とは別に設けられてもよい。眼科装置1は、操作部8を備えてもよい。操作部8は、装置1の各種設定、測定開始時の操作に用いられる。操作部8には、検者による各種操作指示が入力される。例えば、操作部8は、タッチパネル、ジョイスティック、マウス、キーボード、トラックボール、ボタン等の各種ヒューマンインターフェイスであってもよい。顔支持部9は、例えば、額当て10と顎台11を備えてもよい。顎台11は、顎台駆動部12の駆動によって上下方向に移動されてもよい。顔支持部9は、顎台11に顎が載っているか否かを検知する顎台センサ113を備えてもよい。例えば、顎台センサ13は、例えば、顎台11が被検者の顎で下方向に押し込まれたことを検知する。顎台センサ13は、例えば、フォトセンサ、磁気センサ、圧力センサ、接触センサなどであってもよい。
【0028】
<制御系>
図2に示すように、本装置1は制御部70を備える。制御部70は、本装置1の各種制御を司る。制御部70は、例えば、一般的なCPU(Central Processing Unit)71、ROM72、RAM73等を備える。例えば、ROM72には、眼科装置を制御するための眼科装置制御プログラム、初期値等が記憶されている。例えば、RAMは、各種情報を一時的に記憶する。制御部70は、検眼部2、顔撮影部90、駆動部4、表示部7、操作部8、顎台駆動部12、顎台センサ13、記憶部(例えば、不揮発性メモリ)74等と接続されている。記憶部74は、例えば、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。例えば、ハードディスクドライブ、着脱可能なUSBフラッシュメモリ等を記憶部74として使用することができる。
【0029】
<検眼部>
検眼部2は、被検眼の測定,検査,撮影などを行う。検眼部2は、例えば、被検眼の屈折力を測定する測定光学系を備えてもよい。例えば、
図3に示すように、検眼部2は、測定光学系20と、固視標呈示光学系40と、指標投影光学系50と、前眼撮影光学系60と、を備えてもよい。
【0030】
測定光学系20は、投影光学系(投光光学系)20aと、受光光学系20bと、を有してもよい。投影光学系20aは、被検眼の瞳孔を介して眼底Efに光束を投影する。また、受光光学系20bは、瞳孔周辺部を介して眼底Efからの反射光束(眼底反射光)をリング状に取り出し、主に屈折力の測定に用いるリング状の眼底反射像を撮像してもよい。
【0031】
例えば、投影光学系20aは、測定光源21と、リレーレンズ22と、ホールミラー23と、対物レンズ24と、を光軸L1上に有している。光源21は、リレーレンズ22から対物レンズ24、および、瞳孔中心部を介して眼底Efにスポット状の光源像を投影する。光源21は、移動機構33によって光軸L1方向に移動される。ホールミラー23には、リレーレンズ22を介した光源21からの光束を通過させる開口が設けられている。ホールミラー23は、被検眼の瞳孔と光学的に共役な位置に配置されている。
【0032】
例えば、受光光学系20bは、ホールミラー23と、対物レンズ24と、を投影光学系20aと共用する。また、受光光学系20bは、リレーレンズ26と、全反射ミラー27と、を有している。更に、受光光学系20bは、受光絞り28と、コリメータレンズ29と、リングレンズ30と、撮像素子32と、をホールミラー23の反射方向の光軸L2上に有している。撮像素子32には、エリアCCD等の二次元受光素子を用いることができる。受光絞り28、コリメータレンズ29、リングレンズ30、及び撮像素子32は、移動機構33によって、投影光学系20aの測定光源21と一体的に光軸L2方向に移動される。移動機構33によって光源21が眼底Efと光学的に共役な位置に配置される場合、受光絞り28及び撮像素子32も、眼底Efと光学的に共役な位置に配置される。
【0033】
リングレンズ30は、対物レンズ24からコリメータレンズ29を介して導かれる眼底反射光を、リング状に整形するための光学素子である。リングレンズ30は、リング状のレンズ部と、遮光部と、を有している。また、受光絞り28及び撮像素子32が、眼底Efと光学的に共役な位置に配置される場合、リングレンズ30は、被検眼の瞳孔と光学的に共役な位置に配置される。撮像素子32では、リングレンズ30を介したリング状の眼底反射光(以下、リング像という)が受光される。撮像素子32は、受光したリング像の画像情報を、制御部70に出力する。その結果、制御部70では、表示部7でのリング像の表示、およびリング像に基づく屈折力の算出等が行われる。
【0034】
また、
図3に示すように、本実施例では、対物レンズ24と被検眼との間に、ダイクロイックミラー39が配置されている。ダイクロイックミラー39は、光源21から出射された光、および、光源21からの光に応じた眼底反射光を透過する。また、ダイクロイックミラー39は、後述の固視標呈示光学系40からの光束を被検眼に導く。更に、ダイクロイックミラー39は、後述の指標投影光学系50からの光の前眼部反射光を反射して、その前眼部反射光を前眼撮影光学系60に導く。
【0035】
図3に示すように、被検眼の前方には、指標投影光学系50が配置されてもよい。指標投影光学系50は、主に、被検眼に対する光学系の位置合わせ(アライメント)に用いられる指標を前眼部に投影する。ここで、指標投影光学系50は、眼Eの前眼部を照明する前眼部照明としても用いられてもよい。
【0036】
指標投影光学系50は、被検眼にアライメント指標を投影する。例えば、指標投影光学系50は、第1指標投影光学系51と、第2指標投影光学系52と、を備えてもよい。第1指標投影光学系51は、被検眼Eの角膜に拡散光を投影し、有限遠の指標を投影する。第1指標投影光学系51は、本実施例の眼科装置1では、被検眼Eの前眼部を照明する前眼部照明としても用いられる。第2指標投影光学系52は、被検眼の角膜に平行光を投影し、無限遠の指標を投影する。制御部70は、前眼部画像から第1指標投影光学系51と第2指標投影光学系によって被検眼に投影された輝点の位置を検出することによって、被検眼の位置情報を取得する。
【0037】
視標呈示光学系40は、被検眼を固視させるための視標呈示光学系であってもよい。視標呈示光学系40は、例えば、光源41、固視標42を少なくとも備える。
図3では、光源41、固視標42、リレーレンズ43は、反射ミラー46の反射方向の光軸L4上に設けられている。固視標42は、他覚屈折力測定時に被検眼を固視させるために使用される。例えば、光源41によって固視標42が照明されることによって、被検眼に呈示される。
【0038】
光源41及び固視標42は、駆動機構48によって光軸L4の方向に一体的に移動される。光源41及び固視標42の移動によって、固視標の呈示位置(呈示距離)を変更してもよい。これによって、被検眼に雲霧をかけて屈折力測定を行うことができる。
【0039】
前眼撮影光学系60は、被検眼の前眼部画像を撮像するために設けられてもよい。例えば、前眼撮影光学系60は、撮像レンズ61と、撮像素子62とを少なくとも備える。
図3では、撮像レンズ61と、撮像素子62が、ハーフミラー63の反射方向の光軸L3上に設けられている。撮像素子62は、被検眼の前眼部と光学的に共役な位置に配置される。撮像素子62は、指標投影光学系51によって照明される前眼部を撮像する。撮像素子62からの出力は、制御部70に入力される。その結果、撮像素子62によって撮像される被検眼の前眼部画像95が、表示部7に表示される(
図2参照)。また、撮像素子62では、指標投影光学系50によって被検眼の角膜に形成されるアライメント指標(本実施例では、有限遠指標および無限遠指標)が撮像される。その結果、制御部70は、撮像素子62の撮像結果に基づいてアライメント指標を検出できる。また、制御部70は、アライメント状態の適否を、アライメント指標が検出される位置に基づいて判定できる。例えば、制御部70は、有限遠指標と無限遠指標との位置関係に基づいて、作動距離を検出してもよい。なお、前眼撮影光学系60の光軸L3は、ハーフミラー63およびダイクロイックミラー39によって測定光軸L1と同軸とされる。
【0040】
<顔撮影部>
顔撮影部90は、例えば、左右の被検眼のうち少なくとも一方を含む顔を撮影するための光学系を備えてもよい。例えば、
図3に示すように、本実施例の顔撮影部90は、例えば、撮像素子91と、撮像レンズ92を主に備える。
【0041】
顔撮影部90は、例えば、検眼部2が初期位置にある場合に被検眼の両眼を撮影できる位置に設けられる。本実施例において、検眼部2の初期位置は、右眼を検査し易いように検眼部2の検査光軸に対して右側にずれた位置に設定される。したがって、顔撮影部90は、検眼部2が右側にずれた初期位置にある状態で、被検眼の両眼を撮影できる位置に設けられる。例えば、顔撮影部90は、検眼部2が初期位置にある状態で機械中心に配置される。初期位置は、例えば、瞳孔間距離の半分、つまり片眼瞳孔間距離に基づいて設定される場合、顔撮影部90は、装置本体の機械中心に対して片眼瞳孔間距離だけ左右にずれた位置に配置されてもよい。なお、片眼瞳孔間距離の平均値はおよそ32mmである。
【0042】
本実施例の顔撮影部90は、駆動部4によって検眼部2とともに移動される。もちろん、顔撮影部90は、例えば、基台5に対して固定され、移動しない構成でもよい。
【0043】
<顔照明光学系>
顔照明光学系80は、被検眼の顔を照明する。顔照明光学系80は、被検者の両眼を含む被検者の顔を照明するために設けられてもよい。顔照明光学系80は、例えば、照明光源81を備える。照明光源81は、赤外光を発する。なお、顔照明光学系80は、顔撮影部90の光軸の周辺を均一に被検眼の顔を照明できるとよい。本実施例では、検眼窓の左右の位置に照明光源81が設けられている。なお、顔照明光学系80は、顔撮影部90を基準として対称的な位置に設けられてもよい。例えば、顔撮影部90を中心として左右対称な位置に設けられてもよいし、上下対称な位置に設けられてもよい。なお、顔照明光学系80は、アライメント用の指標光源よりも指向性の低い光源が用いられる。
【0044】
<制御方法>
以下、本装置1の制御動作について
図4を用いて説明する。本装置1は、例えば、被検眼を検査するために、検眼部2と被検眼との位置合わせ(アライメント)を自動で行う。
【0045】
(ステップS1:被検者検知)
制御部70は、被検者の有無を検出する。例えば、制御部70は、顎台センサ13からの出力によって人の有無を判定する。制御部70は、顎台センサ13からの出力がある場合は被検者がいると判定し、顎台センサ13からの出力が無い場合は被検者がいないと判定する。制御部70は、被検者がいると判定した場合、ステップS3に進む。なお、制御部70は、顎台センサ13の出力に限らず、顔撮影部からの出力などに基づいて被検者の有無を検出してもよい。例えば、顔撮影部90によって撮影された画像の輝度値、輝度の変化などに基づいて被検者の有無を検出してもよい。
【0046】
(ステップS2:顔撮影)
制御部70は、顔支持部9に支持された被検者の顔を顔撮影部90によって撮影し、
図5のような顔画像96を取得する。
【0047】
(ステップS3:眼検出)
制御部70は、顔画像96への画像処理によって最も眼らしい領域A1を決定する。例えば、制御部70は、被検眼または眉等の顔の特徴に基づいて領域A1を決定する。制御部70は、この領域A1に対して、眼の中心(例えば、瞳孔)を探す。例えば、制御部70は、領域A1に対して円形分離度フィルタを適用し、各画素の円形分離度を算出する。円形分離度フィルタは、例えば、
図6のような5×5個の矩形などが用いられる。例えば、制御部70は、
図6の中央部の3×3の領域A2と、領域A2の周辺の領域A3の2つの領域の平均輝度等の分離程度を円形分離度として求める。具体的には、以下の式(1)~(3)を用いて円形分離度ηを求める。
【0048】
【0049】
【0050】
【0051】
式(1)~(3)において、Nは2つの領域の全矩形数、n1,n2はそれぞれ領域A2,領域A3内の矩形数、σTは領域全体の全分散値、Piバーは矩形iの平均輝度値、P1バー,P2バーはそれぞれ領域A2,領域A3の平均輝度値、Pmバーは領域全体の平均輝度値を示している。
【0052】
上記の処理だけでは中心が明るい円形も検出されてしまう。このため、制御部70は、中心が暗い点を瞳孔の候補点として残す。例えば、制御部70は、中心の輝度が極小となる点を瞳孔の候補点とする。
【0053】
また、瞳孔より眉の方が、円形分離度が高くなる場合がある。ここで、瞳孔と眉の位置関係に着目すると、画像上で瞳孔に対して眉の位置は上になる。そこで、制御部70は、領域A1の上側にある円形分離度の高い点は瞳孔である可能性が低いとして、
図7のように、領域A1の上側にある座標の円形分離度は小さくなるように、重み係数で円形分離度の重み付けを行ってもよい。なお、顔画像96から領域A1を検出するときの方法によって、領域A1における瞳孔のおおよその上下位置が既知である場合は、その位置より下の重み係数は1.0としてもよい。
【0054】
また、瞳孔より目頭付近の方が、円形分離度が高くなる場合がある。このため、制御部70は、瞳孔のほうが目頭付近よりも輝度が低いという関係を利用して、円形分離度が高く、5×5個の矩形の中心領域が暗い点を候補点として残す処理を行う。例えば、制御部70は、ここまでの処理で残った瞳孔の候補点の中で最大円形分離度を算出し、最大円形分離度の60%以上の円形分離度を持つ候補点の中で、中心輝度の最低値を算出する。そして、制御部70は、最低輝度の130%以下の中心輝度を持つ点を候補点として残す。制御部70は、例えば、上記の処理で絞り込まれた候補点の中から、最も円形分離度が高いものを瞳孔とする。制御部70は、瞳孔の検出データを記憶部74に記憶させる。なお、検出データは、例えば、瞳孔の座標と円形分離度等を含む。
【0055】
(ステップS4:データ個数判定(1))
制御部70は、データ個数を判定する。例えば、制御部70は、記憶部74に記憶された検出データがK個以上であるか否か判定する。本実施例では、制御部70は、検出データが2個以上あるか判定する。検出データが2個以上ある場合はステップS5に進み、検出データが2個未満である場合はステップS2に戻り、顔撮影と眼検出を行う。
【0056】
(ステップS5:閾値判定)
制御部70は、最新のK個の検出データの特徴量が閾値以上か否かを判定する。制御部70は、例えば、特徴量として円形分離度を用いる。円形分離度は、瞳孔のような円形部分は特徴量が大きくなり、そうではない部分は小さくなる。眼が開いている状態の円形分離度に比べ、眼を閉じた状態の円形分離度は小さくなる。この特徴を利用して、制御部70は、特徴量の時系列的な変化をみることで、安定して目を大きく開いているか、またはそれ以外であるかを判定する。本実施例では、制御部70は、最新2個の検出データの円形分離度が閾値以上か否かを判定する。円形分離度が閾値以上であった場合はステップS6に進み、円形分離度が閾値未満であった場合はステップS7に進む。
【0057】
例えば、被検者が瞬きをしていない場合、
図8に示すような特徴量が得られる。この場合、最新2個の1フレーム目と2フレーム目ともに特徴量は閾値を超えているため、2フレーム目で眼検出できた時点でステップS6に移行する。
【0058】
(ステップS6:データ選択(1))
制御部70は、最新のK個の検出データを選択する。本実施例の場合、制御部70は、最新の2個の検出データを選択する。
【0059】
(ステップS7:データ個数判定(2))
制御部70は、データ個数を判定する。例えば、制御部70は、被検眼の検出データがJ個以上であるか否かを判定する。本実施例では、制御部70は、検出データが4個以上あるか判定する。
【0060】
(ステップS8:データ選択(2))
制御部70は、検出データを蓄積した蓄積データのうち、特徴量の大きい順にK個のデータを選択する。本実施例の場合、制御部70は特徴量の大きい順に2個のデータを選択する。
【0061】
例えば、被検者が瞬きをした場合、
図9に示すような特徴量が得られる。この場合、ステップS5において、4フレーム目解析後に閾値判定を行うが、3フレーム目の特徴量が閾値を超えておらず、2フレーム連続で閾値を超えるという条件(安定して目を大きく開けていると判定する条件)を満たしていないため、ステップS7へ進む。その後、ステップS8へ進み、過去4フレーム分の蓄積データをさかのぼる。例えば、制御部70は、過去4フレーム分の蓄積データを特徴量の高い順にソートして、特徴量の高い検出データを選択する。これによって、特徴量の低い瞬きの瞬間の検出データを除外することができる。例えば、
図10Aに示すように、被検者が瞬きをしているときの検出データは座標D1,D2が眼の下辺りになり、
図10Bに示すように眼を開けているときの瞳孔の位置とずれている。したがって、上記のように、特徴量の高い検出データを選択することによって、瞳孔の位置とずれた検出データが選択される可能性が低減される。
【0062】
なお、
図11に示すように、被検者が細目の場合、どのフレームの特徴量も閾値を超えないことがある(
図12参照)。このような場合も、過去Jフレーム(例えば、過去4フレーム)分の検出データの中で信頼性の高い(特徴量が大きい)フレームの検出データを選択することで、もっともらしい解析結果を得ることができる。
【0063】
なお、制御部70は、特徴量の大きい順にK個のデータを選択する際に、蓄積データすべての中で選択しなくてもよく、J個のデータの中から選択してもよい。
【0064】
(ステップS9:安定条件の判定)
制御部70は、被検眼の検出データが安定しているか否かを判定する。例えば、制御部70は、複数の検出データの座標が近い(例えば、32ピクセル以内)場合に、検出データが安定していると判定する。
【0065】
(ステップS10:検出データの採用)
制御部70は、安定していると判定された検出データを採用する。例えば、制御部70は、複数の検出データのうち、時系列で最新に近い検出データを採用してもよいし、特徴量の大きい検出データを採用してもよい。また、制御部70は、複数の検出データのうち、特徴量が最大または最小の検出データを採用してもよいし、特徴量が中央値をとる検出データを採用してもよいし、複数の検出データの平均値を採用してもよい。なお、制御部70は、制御フローに応じて採用する検出データを変更してもよい。例えば、制御部70は、ステップS6を経由している場合は最新の検出データを採用し、ステップS8を経由している場合は特徴量の大きい検出データを採用してもよい。
【0066】
(ステップS11:アライメント)
制御部70は、採用された被検眼の検出データに基づいてアライメントを行う。制御部70は、顔撮影部90によって撮影された顔画像96に基づいて、顔撮影部90から見た被検眼Eの方向を求める。被検眼の方向は、例えば、3次元的な方向(例えば、空間ベクトル)である。
【0067】
ここで、被検眼Eの3次元座標を(Xe,Ye,Ze)とすると、採用された検出データによって得られる顔画像96上の被検眼(例えば、瞳孔)の座標(xe,ye)と、実際の被検眼Eの座標(Xe,Ye,Ze)との関係は数4のように表される。
【0068】
【0069】
なお、数4において、数5はカメラ内部パラメータで、fx,fyは焦点距離、sはスキュー歪み、(cx,cy)は画像上の光学中心である。これらは予め顔撮影部90のキャリブレーションを行うことで取得される。また、数6は顔撮影部90のカメラ外部パラメータで、数7は顔撮影部90の回転成分である。(tX,tY,tZ)は顔撮影部90の平行移動成分(顔撮影部90の位置)である。また、hは任意のスケールである。
【0070】
【0071】
【0072】
【0073】
ここで、顔撮影部90から見た被検眼Eの位置をE'=(Xe',Ye',Ze')=(Xe-tX,Ye-tY,Ze-tZ)とする。すると、顔撮影部90から見た被検眼の方向はE'の方向ベクトルVとなる。ここで、数4より数8が成り立つ。
【0074】
【0075】
ここで、E'の方向ベクトルVを求めるためにはXe':Ye':Ze'の比が分かればよいから、数8において、Xe'=mZe,Ye'=nZeとおくと数9となる。
【0076】
【0077】
ただし、h'=h/Zeとする。ここで、未知数はh',m,nの3つであり、数9を展開した連立方程式を解くことによってm,nが求まる。これによって、Xe':Ye':Ze'の比が求まり、その結果E’の方向ベクトルVが求まる。このようにして、制御部70は、顔撮影部90から見た被検眼の方向を求める。
【0078】
制御部70は、検出された被検眼の方向に基づいて駆動部4を制御し、検眼部2を移動させる。例えば、制御部70は、
図13に示すように、前眼撮影光学系60によるアライメント可能領域Aaを顔撮影部90と被検眼とを結ぶ直線B上に移動させる。ここで、アライメント可能領域Aaは、例えば、ある位置において前眼撮影光学系60によって撮影された前眼部画像95から被検眼の3次元的な位置を検出できる領域である。顔撮影部90の位置(t
X,t
Y,t
Z)と、前眼撮影光学系60によるアライメント可能領域Aaとの位置関係は、装置の設計上既知であるため、制御部70は、駆動部4によってアライメント可能領域Aaを直線Bに移動させることができる。例えば、制御部70は、アライメント可能領域Aaの領域内に直線Bが含まれるように、前眼撮影光学系60を位置Q1から位置Q2に移動させる。ここで、位置Q2は、例えば、直線Bにおいて検眼部2による測定が可能な測定可能範囲Eaの最も顔撮影部90側の位置G1がアライメント可能領域Aaの重心と一致する位置である。なお、測定可能範囲Eaは、例えば、検眼部2の作動距離と駆動部4の駆動範囲によって定まる。
【0079】
制御部70は、例えば、前眼撮影光学系60を位置Q2に移動させ、アライメント可能領域Aaを直線B上に位置させる。そして、制御部70は、前眼撮影光学系60によって被検眼の撮影を行いながら、前眼撮影光学系60をさらに直線Bに基づく方向に移動させる。例えば、
図14のように、前眼撮影光学系60を位置Q2から位置Q3に向けて移動させる。ここで、位置Q3は、例えば、測定可能範囲Eaの原点Oと最も離れた位置G2がアライメント可能領域Aaの重心と一致する位置である。
【0080】
制御部70は、例えば、アライメント可能領域Aaが直線Bの少なくとも一部を含むように、前眼撮影光学系60を直線Bに沿う方向に移動させることによって、位置Q2から位置Q3に移動する間にアライメント可能領域Aaに被検眼を位置させることができる。アライメント可能領域Aaに被検眼が入った場合、制御部70は、前眼撮影光学系60によって撮影された前眼部画像95から被検眼と検眼部2のアライメントを行うことができる。
【0081】
制御部70は、被検眼に方向に移動しながら撮影される前眼部画像95を随時解析し、指標投影光学系50によって被検眼に投影された輝点T、または瞳孔Uを検出する。例えば、制御部70は、前眼部画像95の輝度情報に基づいて輝点Tを検出する。また、制御部70は、前眼部画像95のエッジを検出し、その形状などに基づいて瞳孔Uを検出する。
【0082】
制御部70は、検出された輝点Tまたは瞳孔Uに基づいて、駆動部4を制御し、被検眼に対する検眼部2のアライメントを行う。
【0083】
(ステップS12:測定)
制御部70は、アライメントが完了すると、検眼部2によって被検眼の測定を開始する。例えば、検眼部2は被検眼の眼屈折力の測定を行う。もちろん、屈折力の測定に限らず、検眼部の種類に応じた種々の測定・撮影等が実行されてもよい。
【0084】
上記のように、眼検出処理中に、被検者が瞬きをしているフレームの解析結果は使用しないようにすることによって、顔撮影部90における眼検出処理において、瞳孔ではない座標が検出されることが低減される。これによって、アライメントがより好適に行われる。
【0085】
なお、上記の実施例では、ステップS3の眼の中心の検出及び、ステップS5の特徴量に円形分離度を使用しているが、これに限定されない。例えば、二値画像の形状特徴の一種である円形度を使用しても良い。円形度とは、二値化画像の形状がどれだけ円に近いか表す尺度で、面積をS、周囲長をLとした時、4πS/L^2で計算される。円形度は、真円に近いほど1に近い値となり、複雑な形状になるほど値は小さくなる。この場合、顔画像96に二値化を行った画像に対して、円形度を使用する。眼の中心(例えば瞳孔)は二値化画像で黒い円形状になるため、円形度が高くなる。
【符号の説明】
【0086】
1 眼科装置
2 検眼部
4 駆動部
5 基台
6 筐体
9 顔支持部
60 前眼撮影光学系
70 制御部
71 CPU
72 ROM
73 RAM
90 顔撮影部