ホーム > 特許ランキング > 国立大学法人富山大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人富山大学の特許一覧 ▶ 株式会社ユニメックの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024024307
(43)【公開日】2024-02-22
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240215BHJP
A61B 3/113 20060101ALI20240215BHJP
【ＦＩ】
G06T7/20 300Z
A61B3/113
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022127065
(22)【出願日】2022-08-09
(71)【出願人】
【識別番号】305060567
【氏名又は名称】国立大学法人富山大学
(71)【出願人】
【識別番号】599091704
【氏名又は名称】株式会社ユニメック
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】將積 日出夫
(72)【発明者】
【氏名】高倉 大匡
(72)【発明者】
【氏名】田里 博
【テーマコード（参考）】
4C316
5L096
【Ｆターム（参考）】
4C316AA22
4C316AA30
4C316FA19
4C316FB13
4C316FB22
4C316FB26
5L096BA03
5L096BA06
5L096BA13
5L096DA02
5L096FA04
5L096FA06
5L096FA14
5L096FA52
5L096FA59
5L096FA62
5L096FA66
5L096FA69
5L096GA51
5L096HA05
(57)【要約】
【課題】瞳孔の中心位置を精度良く特定することが可能な画像処理装置を提供する。
【解決手段】画像処理装置は、被検者３の眼の写る映像の各フレームから、瞳孔に対応する輝度範囲に含まれる輝度値を有し、かつ、隣り合う連続する対象画素群５０を検出する。画像処理装置は、対象画素群５０の複数の輪郭画素の中から、被検者３の左右方向に沿った軸の座標値が最小となる第１画素６１と、当該軸の座標値が最大となる第２画素６２と、第１画素６１よりも下方に位置する１以上の第３画素６３と、第２画素６２よりも下方に位置する１以上の第４画素６４と、を抽出する。画像処理装置は、第１画素６１、第２画素６２、１以上の第３画素６３、および１以上の第４画素６４の近似円７０を求め、近似円７０の中心７１を瞳孔の中心位置として決定する。
【選択図】図９
【解決手段】画像処理装置は、被検者３の眼の写る映像の各フレームから、瞳孔に対応する輝度範囲に含まれる輝度値を有し、かつ、隣り合う連続する対象画素群５０を検出する。画像処理装置は、対象画素群５０の複数の輪郭画素の中から、被検者３の左右方向に沿った軸の座標値が最小となる第１画素６１と、当該軸の座標値が最大となる第２画素６２と、第１画素６１よりも下方に位置する１以上の第３画素６３と、第２画素６２よりも下方に位置する１以上の第４画素６４と、を抽出する。画像処理装置は、第１画素６１、第２画素６２、１以上の第３画素６３、および１以上の第４画素６４の近似円７０を求め、近似円７０の中心７１を瞳孔の中心位置として決定する。
【選択図】図９
【特許請求の範囲】
【請求項1】
画像処理装置であって、
被検者の眼の写る画像を取得する取得部と、
前記画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出する検出部と、
前記対象画素群の輪郭を構成する複数の輪郭画素の中から、前記被検者の左右方向に沿った軸の座標値が最小となる第１画素と、前記軸の座標値が最大となる第２画素と、前記第１画素よりも下方に位置する１以上の第３画素と、前記第２画素よりも下方に位置する１以上の第４画素と、を抽出する抽出部と、
前記第１画素、前記第２画素、前記１以上の第３画素、および前記１以上の第４画素の近似円を求め、前記近似円の中心を前記瞳孔の中心位置として決定する瞳孔位置決定部と、を備える画像処理装置。
被検者の眼の写る画像を取得する取得部と、
前記画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出する検出部と、
前記対象画素群の輪郭を構成する複数の輪郭画素の中から、前記被検者の左右方向に沿った軸の座標値が最小となる第１画素と、前記軸の座標値が最大となる第２画素と、前記第１画素よりも下方に位置する１以上の第３画素と、前記第２画素よりも下方に位置する１以上の第４画素と、を抽出する抽出部と、
前記第１画素、前記第２画素、前記１以上の第３画素、および前記１以上の第４画素の近似円を求め、前記近似円の中心を前記瞳孔の中心位置として決定する瞳孔位置決定部と、を備える画像処理装置。
【請求項2】
前記検出部は、
前記画像から、前記輝度範囲に含まれる輝度値を有する画素が連続する１以上の候補画素群を特定し、
前記１以上の候補画素群のうち面積が予め定められた面積範囲に含まれる候補画素群を前記対象画素群として決定する、請求項１に記載の画像処理装置。
前記画像から、前記輝度範囲に含まれる輝度値を有する画素が連続する１以上の候補画素群を特定し、
前記１以上の候補画素群のうち面積が予め定められた面積範囲に含まれる候補画素群を前記対象画素群として決定する、請求項１に記載の画像処理装置。
【請求項3】
前記瞳孔位置決定部は、最小二乗法を用いて前記近似円の中心を計算する、請求項１に記載の画像処理装置。
【請求項4】
前記抽出部は、
前記複数の輪郭画素のうちの前記第１画素よりも下方の画素の中から、前記第１画素または既に抽出された前記第３画素のいずれかとの距離が予め定められた閾値以下の画素を前記第３画素として抽出することにより、予め定められた個数だけ前記第３画素を抽出し、
前記複数の輪郭画素のうちの前記第２画素よりも下方の画素の中から、前記第２画素または既に抽出された前記第４画素のいずれかとの距離が前記予め定められた閾値以下の画素を前記第４画素として抽出することにより、予め定められた個数だけ前記第４画素を抽出し、請求項１に記載の画像処理装置。
前記複数の輪郭画素のうちの前記第１画素よりも下方の画素の中から、前記第１画素または既に抽出された前記第３画素のいずれかとの距離が予め定められた閾値以下の画素を前記第３画素として抽出することにより、予め定められた個数だけ前記第３画素を抽出し、
前記複数の輪郭画素のうちの前記第２画素よりも下方の画素の中から、前記第２画素または既に抽出された前記第４画素のいずれかとの距離が前記予め定められた閾値以下の画素を前記第４画素として抽出することにより、予め定められた個数だけ前記第４画素を抽出し、請求項１に記載の画像処理装置。
【請求項5】
前記画像は、前記被検者の前記瞳孔の写る動画の各フレームであり、
前記画像処理装置は、
前記瞳孔位置決定部によって決定された前記中心位置の軌跡を示す情報を提供する提供部をさらに備える、請求項１から４のいずれか１項に記載の画像処理装置。
前記画像処理装置は、
前記瞳孔位置決定部によって決定された前記中心位置の軌跡を示す情報を提供する提供部をさらに備える、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項6】
画像処理方法であって、
被検者の眼の写る画像を取得するステップと、
前記画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出するステップと、
前記対象画素群の輪郭を構成する複数の輪郭画素の中から、前記被検者の左右方向に沿った軸の座標値が最小となる第１画素と、前記軸の座標値が最大となる第２画素と、前記第１画素よりも下方に位置する１以上の第３画素と、前記第２画素よりも下方に位置する１以上の第４画素と、を抽出するステップと、
前記第１画素、前記第２画素、前記１以上の第３画素、前記１以上の第４画素から近似円を計算し、近似円の中心を前記瞳孔の中心位置として決定するステップと、を備える画像処理方法。
被検者の眼の写る画像を取得するステップと、
前記画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出するステップと、
前記対象画素群の輪郭を構成する複数の輪郭画素の中から、前記被検者の左右方向に沿った軸の座標値が最小となる第１画素と、前記軸の座標値が最大となる第２画素と、前記第１画素よりも下方に位置する１以上の第３画素と、前記第２画素よりも下方に位置する１以上の第４画素と、を抽出するステップと、
前記第１画素、前記第２画素、前記１以上の第３画素、前記１以上の第４画素から近似円を計算し、近似円の中心を前記瞳孔の中心位置として決定するステップと、を備える画像処理方法。
【請求項7】
画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、
被検者の眼の写る画像を取得するステップと、
前記画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出するステップと、
前記対象画素群の輪郭を構成する複数の輪郭画素の中から、前記被検者の左右方向に沿った軸の座標値が最小となる第１画素と、前記軸の座標値が最大となる第２画素と、前記第１画素よりも下方に位置する１以上の第３画素と、前記第２画素よりも下方に位置する１以上の第４画素と、を抽出するステップと、
前記第１画素、前記第２画素、前記１以上の第３画素、前記１以上の第４画素から近似円を計算し、近似円の中心を前記瞳孔の中心位置として決定するステップと、を含むプログラム。
前記画像処理方法は、
被検者の眼の写る画像を取得するステップと、
前記画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出するステップと、
前記対象画素群の輪郭を構成する複数の輪郭画素の中から、前記被検者の左右方向に沿った軸の座標値が最小となる第１画素と、前記軸の座標値が最大となる第２画素と、前記第１画素よりも下方に位置する１以上の第３画素と、前記第２画素よりも下方に位置する１以上の第４画素と、を抽出するステップと、
前記第１画素、前記第２画素、前記１以上の第３画素、前記１以上の第４画素から近似円を計算し、近似円の中心を前記瞳孔の中心位置として決定するステップと、を含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
従来、被検者の眼の写る映像から眼球の動き（以下、眼振とも称する。）を解析することにより、めまい疾患の診断および鑑別が行なわれている。映像は、例えばフレンチェル眼鏡を用いて、赤外線が照射された眼を撮影することにより得られる。ただし、映像には眼球の一部のみが記録されるため、通常、瞳孔の中心位置を特定し、特定した中心位置の軌跡から眼振が解析される。
【0003】
特開２００２－０００５６７号公報（特許文献１）は、画像に写る瞳孔の中心位置を特定するための画像処理方法を開示している。当該画像処理方法は、各画像について、瞳孔の輪郭を構成する３つの輪郭点を任意に検出し、検出した３つの輪郭点を通る円の中心座標を計算するステップを複数回実施し、得られた中心座標群の重心座標を瞳孔の中心位置として特定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００２－０００５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載の画像処理方法では、瞳孔の輪郭を構成する３つの輪郭点が任意に検出される。しかしながら、映像の各フレームにおいて、瞳孔の全体が写るとは限らない。特に高齢者の場合、垂れ下がった瞼によって瞳孔の一部が覆われることが有り得る。このような場合、特許文献１に記載の特定方法では、瞳孔と瞳孔を覆う瞼との境界点が輪郭点として検出される可能性がある。このような輪郭点が検出されることにより、特定される瞳孔の中心位置の精度が低下する。
【0006】
本開示は、このような実情を鑑みてなされたものであり、その目的は、瞳孔の中心位置を精度良く特定することが可能な画像処理装置、画像処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示の一側面に係る画像処理装置は、取得部と、検出部と、抽出部と、瞳孔位置決定部と、を備える。取得部は、被検者の眼の写る画像を取得する。検出部は、画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出する。抽出部は、対象画素群の輪郭を構成する複数の輪郭画素の中から、被検者の左右方向に沿った軸の座標値が最小となる第１画素と、軸の座標値が最大となる第２画素と、第１画素よりも下方に位置する１以上の第３画素と、第２画素よりも下方に位置する１以上の第４画素と、を抽出する。瞳孔位置決定部は、第１画素、第２画素、１以上の第３画素、および１以上の第４画素の近似円を求め、近似円の中心を瞳孔の中心位置として決定する。
【0008】
本開示の一側面に係る画像処理方法は、第１～第４ステップを備える。第１ステップは、被検者の眼の写る画像を取得するステップである。第２ステップは、画像から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群を検出するステップである。第３ステップは、対象画素群の輪郭を構成する複数の輪郭画素の中から、被検者の左右方向に沿った軸の座標値が最小となる第１画素と、軸の座標値が最大となる第２画素と、第１画素よりも下方に位置する１以上の第３画素と、第２画素よりも下方に位置する１以上の第４画素と、を抽出するステップである。第４ステップは、第１画素、第２画素、１以上の第３画素、１以上の第４画素から近似円を計算し、近似円の中心を瞳孔の中心位置として決定するステップである。
【0009】
本開示の一側面に係るプログラムは、上記の画像処理方法をコンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、瞳孔の中心位置を精度良く特定できる。
【図面の簡単な説明】
【0011】
【図1】実施の形態に係るシステムの構成を示す図である。
【図4】瞳孔に対応する輝度範囲に含まれる輝度値を有する画素の抽出処理の一例を示す図である。
【図5】ラベリング処理の一例を示す図である。
【図6】検出部によって検出された対象画素群の一例を示す図である。
【図7】検出部によって検出された対象画素群の別の例を示す図である。
【図8】抽出部の処理を説明する図である。
【図9】瞳孔位置決定部の処理を説明する図である。
【図10】提供部によって提供されるユーザインターフェイス画面の一例を示す図である。
【図11】提供部によって提供されるユーザインターフェイス画面の別の例を示す図である。
【図12】画像処理装置の処理の流れを示すフローチャートである。
【図13】第１参考形態に係る画像処理方法によって特定される瞳孔の中心位置の一例を示す図である。
【図14】第１参考形態に係る画像処理方法において実施される補正処理を説明する図である。
【発明を実施するための形態】
【0012】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【0013】
（参考形態）
本発明の実施の形態を説明する前に、瞳孔の中心位置を特定するための画像処理方法の参考形態とその問題点について説明する。瞳孔の中心位置を特定するための画像処理方法として、特許文献１に記載の方法の他に、第１，第２参考形態に係る画像処理方法が考えられる。
本発明の実施の形態を説明する前に、瞳孔の中心位置を特定するための画像処理方法の参考形態とその問題点について説明する。瞳孔の中心位置を特定するための画像処理方法として、特許文献１に記載の方法の他に、第１，第２参考形態に係る画像処理方法が考えられる。
【0014】
第１参考形態に係る画像処理方法は、第１～第３処理を含む。第１処理は、ユーザ操作に応じて、映像において瞳孔の写る画素が取りうる輝度範囲を設定する処理である。第２処理は、映像の各フレームから、設定された輝度範囲内の輝度値を有する画素を検出する処理である。第３処理は、検出された画素群の面積重心を瞳孔の中心位置として特定する処理である。
【0015】
図１３は、第１参考形態に係る画像処理方法によって特定される瞳孔の中心位置の一例を示す図である。図１３に示す例では、第２処理によって検出された画素群１５０は、瞳孔の写る画素だけでなく、目尻付近の部分の写る画素も含む。これは、目尻付近の部分が瞼の影となり、当該部分の写る画素の輝度値が、第１処理において設定された輝度範囲に含まれるためである。画素群１５０が目尻付近の部分の写る画素を含むため、第３処理において特定された中心位置１７１は、瞳孔の中心からずれている。このように、第１参考形態に係る画像処理方法の場合、瞳孔の中心位置の特定精度が低下しうるという問題が生じる。
【0016】
また、瞳孔の一部が瞼に覆われていると、瞳孔の残りの部分に対応する画素群の面積重心が瞳孔の中心位置として特定される。その結果、瞳孔の中心位置の特定精度が低下する。そのため、一部が瞼に覆われている瞳孔の写るフレームをエラーフレームとして除外することが考えられる。しかしながら、この場合、垂れ下がった瞼を有する高齢者を被検者とする映像において、エラーフレームとして除外されるフレームの枚数が多くなり、正常にめまい疾患の診断および鑑別ができないという問題が生じる。
【0017】
図１３に示されるように、画像の中には、赤外線ライトの反射光によって輝度の高くなっている部分１８０が生じうる。部分１８０が瞳孔の写る領域内に含まれると、瞳孔の中心位置の特定精度が低下する。また、一般に、瞳孔の外縁部分の写る画素の輝度値は、瞳孔の中心部分の写る画素の輝度値よりも高い。そのため、瞳孔の外縁部分の写る画素の輝度値が第１処理によって設定される輝度範囲から外れて、当該外縁部分の写る画素が画素群１５０として検出されないことも起こり得る。その結果、瞳孔の中心位置の特定精度が低下する。これらのことを考慮して、第１参考形態に係る画像処理方法において、第２処理の後に、対象フレームの前後のフレームを用いて、対象フレームから検出された画素群１５０を補正する補正処理を実施することが考えられる。
【0018】
【0019】
図１４の上部に示されるように、瞳孔の写る領域内において、赤外線ライトの反射光によって輝度の高くなっている部分１８０が存在する。さらに、瞳孔の外縁部分が写っているにもかかわらず、輝度値が輝度範囲よりも高くなる部分１８２が存在する。そのため、第２処理において、瞳孔の写っている領域のうち部分１８０，１８２が欠損した領域に含まれる画素のみが、輝度範囲内の輝度値を有する画素群１５０として検出される。図１４の上部に示される画素群１５０の面積重心は、瞳孔の中心位置からずれる。そのため、図１４の上部に示される画素群１５０を用いた第３処理が実施されると、瞳孔の中心位置の特定精度が低下する。
【0020】
そこで、前後のフレームの瞳孔の輪郭と重ね合わせて相関処理を施すことにより、欠損している部分を埋め合わせる補正処理が実施される。これにより、図１４の下部に示されるように、画素群１５０は、瞳孔の写っている領域と一致するように補正される。補正処理後の画素群１５０を用いて第３処理を実施することにより、瞳孔の中心位置の特定精度が向上する。
【0021】
しかしながら、補正処理に要する演算負荷が大きい。そのため、瞳孔の中心位置の特定に要する時間が長くなるという問題が生じる。
【0022】
第２参考形態に係る画像処理方法は、高解像度画像処理、高性能演算処理、高負荷ロジックを含むＡＩ（Artificial Intelligence）を用いて、一部が瞼、まつ毛等で覆われた瞳孔の写るフレームを、瞳孔全体が写るフレームに変換し、変換後のフレームを用いて瞳孔の中心位置を特定する。第２参考形態に係る画像処理方法を実現するためには、多数の教師データを準備するとともに、高性能なコンピュータを準備する必要がある。
【0023】
近年、在宅医療の要望が増大しており、在宅医療支援システムの研究および実用化が進められている。在宅医療の現場では、高性能のコンピュータを持ち込むことが困難である。そのため、第２参考形態に係る画像処理方法は、在宅医療の現場に適用しにくいという問題がある。
【0024】
実施の形態に係る画像処理装置、画像処理方法およびプログラムは、これらの問題も解消しうる。
【0025】
【0026】
ゴーグル２は、被検者３の頭部に装着される。ゴーグル２は、例えばフレンチェル眼鏡であり、赤外線ライトと撮像素子とを含む。ゴーグル２は、暗視状態において、ゴーグル２を装着している被検者３の眼に赤外線を照射した状態で、当該眼を撮像する。
【0027】
さらに、ゴーグル２は、通信デバイス２０１を含む。通信デバイス２０１は、撮像により得られた映像データ（以下、単に「映像」と称する。）を画像処理装置１に送信する。通信デバイス２０１は、無線通信方式を用いて映像を画像処理装置１に送信してもよいし、有線通信方式を用いて映像を画像処理装置１に送信してもよい。
【0028】
画像処理装置１は、ローコストおよびロースペックのコンピュータ（例えばスマートフォン、タブレット、ノート型コンピュータ）である。画像処理装置１は、ゴーグル２から映像を取得し、取得した映像の各フレームに写る瞳孔の中心位置を特定するための画像処理を実行する。
【0029】
（画像処理装置のハードウェア構成）
図２は、図１に示す画像処理装置のハードウェア構成の一例を示す図である。図２に示されるように、画像処理装置１は、プロセッサ１０１と、ＲＡＭ（Random Access Memory）１０２と、ストレージ１０３と、通信インターフェイス１０４と、ディスプレイ１０５と、入力デバイス１０６と、を備える。これらの構成は、バス１０７を介して互いにデータ通信が可能なように接続されている。
図２は、図１に示す画像処理装置のハードウェア構成の一例を示す図である。図２に示されるように、画像処理装置１は、プロセッサ１０１と、ＲＡＭ（Random Access Memory）１０２と、ストレージ１０３と、通信インターフェイス１０４と、ディスプレイ１０５と、入力デバイス１０６と、を備える。これらの構成は、バス１０７を介して互いにデータ通信が可能なように接続されている。
【0030】
プロセッサ１０１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などで構成される。プロセッサ１０１は、ストレージ１０３に記憶されているプログラムをＲＡＭ１０２に展開して実行することで、本実施の形態に従う各種処理を実現する。ＲＡＭ１０２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、ストレージ１０３から読み出されたプログラムなどを記憶する。ストレージ１０３は、典型的には、ハードディスクトライブなどの不揮発性の磁気記憶装置である。ストレージ１０３は、プロセッサ１０１によって実行される画像処理プログラム１１０を記憶する。
【0031】
通信インターフェイス（通信ＩＦ）１０４は、無線通信方式または有線通信方式を用いて、外部デバイス（ゴーグル２を含む）との間でデータをやり取りする。
【0032】
ディスプレイ１０５は、例えば液晶ディスプレイである。入力デバイス１０６は、例えばタッチパッド、マウス、キーボードなどを含む。なお、ディスプレイ１０５および入力デバイス１０６は、一体化されたタッチパネルであってもよい。
【0033】
（画像処理装置の機能構成）
図３～図１１を参照して、画像処理装置の機能構成について説明する。図３は、図１に示す画像処理装置の機能構成の一例を示す図である。図３に示されるように、画像処理装置１は、記憶部１０と、取得部１１と、検出部１２と、抽出部１３と、瞳孔位置決定部１４と、提供部１５と、を備える。記憶部１０は、図２に示すストレージ１０３およびＲＡＭ１０２によって実現される。取得部１１は、通信インターフェイス１０４と画像処理プログラム１１０を実行するプロセッサ１０１とによって実現される。検出部１２、抽出部１３および瞳孔位置決定部１４は、プロセッサ１０１が画像処理プログラム１１０を実行することにより実現される。提供部１５は、ディスプレイ１０５と入力デバイス１０６と画像処理プログラム１１０を実行するプロセッサ１０１とによって実現される。
図３～図１１を参照して、画像処理装置の機能構成について説明する。図３は、図１に示す画像処理装置の機能構成の一例を示す図である。図３に示されるように、画像処理装置１は、記憶部１０と、取得部１１と、検出部１２と、抽出部１３と、瞳孔位置決定部１４と、提供部１５と、を備える。記憶部１０は、図２に示すストレージ１０３およびＲＡＭ１０２によって実現される。取得部１１は、通信インターフェイス１０４と画像処理プログラム１１０を実行するプロセッサ１０１とによって実現される。検出部１２、抽出部１３および瞳孔位置決定部１４は、プロセッサ１０１が画像処理プログラム１１０を実行することにより実現される。提供部１５は、ディスプレイ１０５と入力デバイス１０６と画像処理プログラム１１０を実行するプロセッサ１０１とによって実現される。
【0034】
取得部１１は、ゴーグル２から、被検者３の眼の写る画像を取得する。画像は、画素ごとの輝度値を示す。具体的には、取得部１１は、被検者３の眼の写る映像２０を取得する。映像２０の各フレーム２１は、被検者３の眼の写る画像である。取得部１１は、取得した映像２０を記憶部１０に格納する。記憶部１０には、１以上の映像２０が格納され得る。
【0035】
検出部１２は、指定された映像２０を記憶部１０から読み出し、読み出した映像２０の各フレーム２１から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が隣り合いながら連続する対象画素群を検出する。すなわち、対象画素群に含まれる各画素は、上、下、左、右、左上、右上、左下、および右下のいずれかの方向に存在する、対象画素群に含まれる別の画素と隣り合う。輝度範囲は、ユーザ操作に応じて予め設定される。すなわち、ユーザは、瞳孔の写る画素が取りうる輝度値を確認することにより、輝度範囲を設定すればよい。
【0036】
図４から図７を参照して、検出部１２の処理内容を説明する。図４は、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素の抽出処理の一例を示す図である。図４に示されるように、検出部１２は、輝度範囲に含まれる輝度値を有する画素４２を抽出し、抽出した画素４２の値を「１」とし、残りの画素の値を「０」とする２値画像４４を生成する。
【0037】
図５は、ラベリング処理の一例を示す図である。図５に示されるように、検出部１２は、２値画像４４に対して公知のラベリング処理を実施し、値「１」を有する画素が隣り合いながら連続する１以上の候補画素群４０を特定する。図５に示す例では、候補画素群４０ａ～４０ｃが特定されている。
【0038】
検出部１２は、１以上の候補画素群４０のうち面積が予め定められた面積範囲に含まれる候補画素群４０を対象画素群５０として決定する。面積範囲は、ユーザ操作に応じて、予め定められる。面積範囲の上限として、例えば、瞳孔全体が写る画像において瞳孔の占める領域の面積よりも大きな値が設定される。面積範囲の下限として、例えば、フレーム２１において瞳孔の３０％が占める領域の面積が設定される。なお、面積は、例えば画素数によって表される。
【0039】
【0040】
図７は、検出部によって検出された対象画素群の別の例を示す図である。図７には、上半分が瞼に覆われている瞳孔の写るフレーム２１が示される。図７に示す例では、３つの候補画素群４０ｄ～４０ｆが特定されている。候補画素群４０ｄは、瞳孔の下半分の写る領域に対応する。候補画素群４０ｅは、瞼の影となっている、目尻付近の微小部分に対応する。候補画素群４０ｆは、瞳孔の微小領域に対応する。候補画素群４０ｄ～４０ｆのうち候補画素群４０ｄのみ、予め定められた面積範囲に含まれる面積を有する。そのため、瞳孔の下半分の写る領域に対応する候補画素群４０ｄが対象画素群５０として決定される。
【0041】
抽出部１３は、対象画素群５０の輪郭を構成する複数の輪郭画素の中から、瞳孔の中心位置を特定するために用いる画素を抽出する。輪郭画素とは、対象画素群５０に含まれる画素のうち、対象画素群５０の周囲の画素と隣接する画素である。
【0042】
図８は、抽出部の処理を説明する図である。フレーム２１の画素の位置は、被検者３の上下方向に沿ったＸ軸および被検者３の左右方向に沿ったＹ軸の座標によって表される。フレーム２１の左上の画素の座標が（０，０）である。Ｘ軸の正方向は、被検者３の下方向に対応し、Ｙ軸の正方向は、被検者３の左方向に対応する。フレーム２１のＸ軸方向の画素数がＭ、Ｙ軸方向の画素数がＮである場合、フレーム２１の画素の座標は、（ｍ、ｎ）で表される。ｍは、０からＭ－１のいずれかの整数であり、ｎは、０からＮ－１のいずれかの整数である。
【0043】
抽出部１３は、対象画素群５０に含まれる画素の値が「１」であり、対象画素群５０に含まれない画素の値が「０」である２値画像５２を生成する。抽出部１３は、２値画像５２を用いて、対象画素群５０の輪郭を構成する複数の輪郭画素６０を特定する。具体的には、抽出部１３は、２値画像５２において、Ｘ＝ｋ（ｋは、０～Ｍ－１の整数）の各ラインに沿って、Ｙ座標を０～Ｎ－１まで走査し、値が「０」から「１」に変化するときの当該「１」を有する画素と、値が「１」から「０」に変化するときの当該「１」を有する画素とを輪郭画素６０として特定する。
【0044】
次に、抽出部１３は、複数の輪郭画素６０の中から、Ｙ軸の座標値が最小となる第１画素６１と、Ｙ軸の座標値が最大となる第２画素６２と、第１画素６１よりも下方に位置する１以上の第３画素６３と、第２画素６２よりも下方に位置する１以上の第４画素６４と、を抽出する。
【0045】
具体的には、抽出部１３は、第１画素６１のＸ座標ｐを特定する。次に、抽出部１３は、Ｘ＝ｐ＋１～Ｍ－１の順に、Ｙ軸に平行な対象ラインを選択する。抽出部１３は、対象ライン上の輪郭画素６０のうち、第１画素６１または既に抽出された第３画素６３との距離が予め定められた閾値（例えば、３画素分の距離）以下である輪郭画素６０を第３画素６３として抽出する。抽出部１３は、予め定められた個数（例えば５０個）の第３画素６３が抽出されるまで、対象ラインの選択処理を繰り返す。
【0046】
同様に、抽出部１３は、第２画素６２のＸ座標ｑを特定する。次に、抽出部１３は、Ｘ＝ｑ＋１～Ｍ－１の順に、Ｙ軸に平行な対象ラインを選択する。抽出部１３は、対象ライン上の輪郭画素６０のうち、第２画素６２または既に抽出された第４画素６４との距離が予め定められた閾値（例えば、３画素分の距離）以下である輪郭画素６０を第４画素６４として抽出する。抽出部１３は、予め定められた個数（例えば５０個）の第４画素６４が抽出されるまで、対象ラインの選択処理を繰り返す。
【0047】
図９は、瞳孔位置決定部の処理を説明する図である。図９に示されるように、瞳孔位置決定部１４は、抽出部１３によって抽出された、第１画素６１、第２画素６２、１以上の第３画素６３、および１以上の第４画素６４の近似円７０の求め、近似円７０の中心７１を瞳孔の中心位置として決定する。瞳孔位置決定部１４は、最小二乗法を用いて近似円７０の中心７１の座標を計算すればよい。
【0048】
第１画素６１、第２画素６２、第３画素６３、および第４画素６４の総画素数をＰ、第１画素６１、第２画素６２、第３画素６３、および第４画素６４の座標を（ｘi，ｙi）（ｉは１～Ｐの整数）とするとき、近似円の中心の座標（ａ，ｂ）は、以下のようにして計算される。
【0049】
第１画素６１、第２画素６２、第３画素６３、および第４画素６４が座標（ａ，ｂ）を中心とする円周上の点とするとき、円の方程式は、式（１）で表される。ｒは、半径である。
（ｘi－ａ）2＋（ｙi－ｂ）2－ｒ2＝０ ・・・式（１）
（ｘi－ａ）2＋（ｙi－ｂ）2－ｒ2＝０ ・・・式（１）
【0050】
式（１）の両辺を二乗することにより得られる式（２）を変形することにより、式（３）が得られる。
｛（ｘi－ａ）2＋（ｙi－ｂ）2－ｒ2｝2＝０ ・・・式（２）
｛ｘi 2＋ｙi 2＋Ａｘi＋Ｂｙi＋Ｃ｝2＝０ ・・・式（３）
｛（ｘi－ａ）2＋（ｙi－ｂ）2－ｒ2｝2＝０ ・・・式（２）
｛ｘi 2＋ｙi 2＋Ａｘi＋Ｂｙi＋Ｃ｝2＝０ ・・・式（３）
【0051】
式（３）のＡ，Ｂ，Ｃは、それぞれ以下の通りである。
Ａ＝－２ａ
Ｂ＝－２ｂ
Ｃ＝ａ2＋ｂ2－ｒ2
Ａ＝－２ａ
Ｂ＝－２ｂ
Ｃ＝ａ2＋ｂ2－ｒ2
【0052】
式（３）をｉ＝１～Ｐについて合計し、Ａ，Ｂ，Ｃで偏微分することにより、式（４）～（６）が得られる。式（４）～（６）は、式（７）～（９）にそれぞれ変形される。
【0053】
【数1】
【0054】
【数2】
【0055】
【数3】
【0056】
【数4】
【0057】
式（１１）を変形すると、
Ｓ＝Ｍ-1Ｎ ・・・式（１２）
が得られる。Ｍ-1は、行列Ｍの逆行列である。
Ｓ＝Ｍ-1Ｎ ・・・式（１２）
が得られる。Ｍ-1は、行列Ｍの逆行列である。
【0058】
瞳孔位置決定部１４は、式（１２）を用いて、Ａ，Ｂ，Ｃを計算する。そして、瞳孔位置決定部１４は、
ａ＝－Ａ／２
ｂ＝－Ｂ／２
に従って、近似円７０の中心７１の座標（ａ，ｂ）を計算する。
ａ＝－Ａ／２
ｂ＝－Ｂ／２
に従って、近似円７０の中心７１の座標（ａ，ｂ）を計算する。
【0059】
瞳孔位置決定部１４は、映像２０の各フレーム２１から決定された座標（ａ，ｂ）を示す軌跡データ１６を生成し、軌跡データ１６を記憶部１０に格納する。
【0060】
提供部１５は、ユーザインターフェイス画面を生成し、生成したユーザインターフェイス画面を提供する。具体的には、提供部１５は、ユーザインターフェイス画面をディスプレイ１０５に表示させる。
【0061】
図１０は、提供部によって提供されるユーザインターフェイス画面の一例を示す図である。図１０に示されるように、ユーザインターフェイス画面８０は、入力欄８１，８２ａ，８２ｂと、読込ボタン８３と、領域８４と、を含む。
【0062】
入力欄８１は、輝度範囲を設定するために使用される。ユーザは、輝度範囲の上限値を入力欄８１に入力する。提供部１５は、入力欄８１に入力された値以下の範囲を輝度範囲として設定する。
【0063】
入力欄８２ａ，８２ｂは、面積範囲を設定するために使用される。ユーザは、面積範囲の上限値を入力欄８２ａに入力し、面積範囲の下限値を入力欄８２ｂに入力する。提供部１５は、入力欄８２ｂに入力された値以上、入力欄８２ａに入力された値以下の範囲を面積範囲として設定する。
【0064】
読込ボタン８３は、映像２０を指定するために使用される。提供部１５は、読込ボタン８３が押下されたことに応じて、記憶部１０が記憶する映像２０の一覧を表示するウィンドウをディスプレイ１０５に表示させる。提供部１５は、当該一覧から選択された映像２０を解析対象として指定し、当該解析対象に対する検出部１２、抽出部１３および瞳孔位置決定部１４の処理を開始させる。
【0065】
領域８４には、解析対象の映像２０が再生される。さらに、提供部１５は、領域８４に表示されているフレーム２１に、当該フレーム２１から抽出された第１画素６１，第２画素６２，第３画素６３および第４画素６４と、近似円７０と、近似円７０の中心７１と、を重ねて表示する。
【0066】
提供部１５は、中心７１の軌跡を示す軌跡線７２を領域８４に表示してもよい。さらに、提供部１５は、フレーム２１から検出された対象画素群５０の面積を示すテキスト７３を領域８４に表示してもよい。
【0067】
図１１は、提供部によって提供されるユーザインターフェイス画面の別の例を示す図である。図１１に示されるように、ユーザインターフェイス画面９０は、瞳孔の中心位置の軌跡を示すグラフ９１を含む。提供部１５は、記憶部１０が記憶する軌跡データ１６に基づいて、グラフ９１を作成する。
【0068】
医療従事者は、図１０に示す領域８４または図１１に示すグラフ９１を確認することにより、被検者３の瞳孔の中心位置の動きを把握できる。その結果、医療従事者は、めまい疾患の診断および鑑別を行なうことができる。
【0069】
（画像処理装置の処理の流れ）
図１２は、画像処理装置の処理の流れを示すフローチャートである。図１２に示されるように、プロセッサ１０１は、ゴーグル２から、被検者３の眼の写る映像を取得する（ステップＳ１）。
図１２は、画像処理装置の処理の流れを示すフローチャートである。図１２に示されるように、プロセッサ１０１は、ゴーグル２から、被検者３の眼の写る映像を取得する（ステップＳ１）。
【0070】
次に、プロセッサ１０１は、取得した映像の各フレーム（画像）から、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が隣り合いながら連続する対象画素群５０を検出する（ステップＳ２）。
【0071】
次に、プロセッサ１０１は、対象画素群５０の輪郭を構成する複数の輪郭画素６０の中から、被検者３の左右方向に沿ったＹ軸の座標値が最小となる第１画素６１と、Ｙ軸の座標値が最大となる第２画素６２と、第１画素６１よりも下方に位置する１以上の第３画素６３と、第２画素６２よりも下方に位置する１以上の第４画素６４と、を抽出する（ステップＳ３）。
【0072】
次に、プロセッサ１０１は、第１画素６１、第２画素６２、１以上の第３画素６３、および１以上の第４画素６４の近似円７０を求め、近似円７０の中心を瞳孔の中心位置として決定する（ステップＳ４）。
【0073】
最後に、プロセッサ１０１は、瞳孔の中心位置の軌跡を含む解析結果を提供する（ステップＳ５）。具体的には、プロセッサ１０１は、解析結果をディスプレイ１０５に表示させる。
【0074】
（利点）
以上のように、本実施の形態に係る画像処理装置１は、取得部１１と、検出部１２と、抽出部１３と、瞳孔位置決定部１４と、を備える。取得部１１は、被検者３の眼の写る映像（複数のフレーム（画像）を含む）を取得する。検出部１２は、各フレームから、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群５０を検出する。抽出部１３は、対象画素群５０の輪郭を構成する複数の輪郭画素６０の中から、被検者３の左右方向に沿ったＹ軸の座標値が最小となる第１画素６１と、Ｙ軸の座標値が最大となる第２画素６２と、第１画素６１よりも下方に位置する１以上の第３画素６３と、第２画素６２よりも下方に位置する１以上の第４画素６４と、を抽出する。瞳孔位置決定部１４は、第１画素６１、第２画素６２、１以上の第３画素６３、および１以上の第４画素６４の近似円７０を求め、近似円７０の中心７１を瞳孔の中心位置として決定する。
以上のように、本実施の形態に係る画像処理装置１は、取得部１１と、検出部１２と、抽出部１３と、瞳孔位置決定部１４と、を備える。取得部１１は、被検者３の眼の写る映像（複数のフレーム（画像）を含む）を取得する。検出部１２は、各フレームから、瞳孔に対応する輝度範囲に含まれる輝度値を有する画素が連続する対象画素群５０を検出する。抽出部１３は、対象画素群５０の輪郭を構成する複数の輪郭画素６０の中から、被検者３の左右方向に沿ったＹ軸の座標値が最小となる第１画素６１と、Ｙ軸の座標値が最大となる第２画素６２と、第１画素６１よりも下方に位置する１以上の第３画素６３と、第２画素６２よりも下方に位置する１以上の第４画素６４と、を抽出する。瞳孔位置決定部１４は、第１画素６１、第２画素６２、１以上の第３画素６３、および１以上の第４画素６４の近似円７０を求め、近似円７０の中心７１を瞳孔の中心位置として決定する。
【0075】
上記の構成によれば、対象画素群５０は、瞳孔に対応する輝度範囲に含まれる輝度値を有する。そのため、対象画素群５０に含まれる画素は、瞳孔の写っている領域の画素である確率が高い。
【0076】
人間の眼において、上眼瞼の動きが下眼瞼の動きよりも大きい。そのため、瞼によって瞳孔の一部が覆われたとしても、通常、瞳孔の下部を確認できる。上記の構成によれば、Ｙ軸の座標値が最小となる第１画素６１と、Ｙ軸の座標値が最大となる第２画素６２と、第１画素６１よりも下方に位置する１以上の第３画素６３と、第２画素６２よりも下方に位置する１以上の第４画素６４とが抽出される。そのため、図９に示されるように、第１画素６１、第２画素６２、第３画素６３、および第４画素６４として、瞳孔と虹彩との境界付近に写る画素が抽出されやすくなる。その結果、第１画素６１、第２画素６２、第３画素６３、および第４画素６４の近似円７０の中心７１が瞳孔の中心位置として決定されることにより、瞳孔の中心位置を精度良く特定できる。
【0077】
このように、本実施の形態によれば、瞼によって瞳孔の一部が覆われていたとしても、瞳孔の中心位置を精度良く特定できる。
【0078】
また、対象フレームに写る瞳孔の中心位置は、当該対象フレームのみを用いて特定される。そのため、第１参考形態に係る画像処理方法において実施される、前後フレームを用いた補正処理が不要である。その結果、短時間で瞳孔の中心位置を特定できる。
【0079】
さらに、上記の構成によれば、第２参考形態に係る画像処理方法のようにＡＩを用いることがないため、ローコスト、ロースペックのコンピュータ（例えばスマートフォン、タブレットなど）を画像処理装置１として使用することができる。そのため、画像処理装置１は、在宅医療の現場に適用しやすい。例えば、医療従事者は、ゴーグル２と画像処理装置１として動作するスマートフォンとを持って患者宅を訪問し、スマートフォンの画面を確認しながら、めまい疾患の診断および鑑別を行なうことができる。
【0080】
検出部１２は、フレームから、輝度範囲に含まれる輝度値を有する画素が連続する１以上の候補画素群４０を特定する。検出部１２は、１以上の候補画素群４０のうち面積が予め定められた面積範囲に含まれる候補画素群４０を対象画素群５０として決定する。
【0081】
上記の構成によれば、瞳孔の写る領域が取りうる面積範囲が予め定められることにより、例えば目尻付近の部分が瞼の影となることにより、当該部分の輝度値が輝度範囲に含まれたとしても、当該部分が対象画素群５０として決定されることが抑制される。これにより、瞳孔の中心位置の特定精度が向上する。
【0082】
瞳孔位置決定部１４は、最小二乗法を用いて近似円の中心を計算する。これにより、比較的簡易な演算手法により、瞳孔の中心位置が特定される。
【0083】
抽出部１３は、複数の輪郭画素６０のうちの第１画素６１よりも下方の画素の中から、第１画素６１または既に抽出された第３画素６３のいずれかとの距離が予め定められた閾値以下の画素を第３画素６３として抽出することにより、予め定められた個数だけ第３画素６３を抽出する。同様に、抽出部１３は、複数の輪郭画素６０のうちの第２画素６２よりも下方の画素の中から、第２画素６２または既に抽出された第４画素６４のいずれかとの距離が予め定められた閾値以下の画素を第４画素６４として抽出することにより、予め定められた個数だけ第４画素６４を抽出する。
【0084】
瞳孔と虹彩との境界は、円状または円弧状となる。そのため、当該境界の写る画素は、連続して存在する。一方、フレーム２１によっては、画像の乱れ等の原因によって、瞳孔と虹彩との境界とは異なる部分の写る画素（以下、「特異画素」と称する。）が輪郭画素６０として抽出される場合も有り得る。しかしながら、上記の構成によれば、第１画素６１または既に抽出された第３画素６３のいずれかとの距離が閾値以下の画素が第３画素６３として抽出される。そのため、第１画素６１または既に抽出された第３画素６３と連続して存在しない特異画素が第３画素６３として抽出されることが防止される。同様に、第２画素６２または既に抽出された第４画素６４と連続して存在しない特異画素が第４画素６４として抽出されることが防止される。その結果、瞳孔の中心位置の特定精度が向上する。
【0085】
上述したように、瞳孔の中心位置の特定対象となる画像は、被検者３の瞳孔の写る映像２０の各フレーム２１である。画像処理装置１は、瞳孔位置決定部１４によって決定された中心位置の軌跡を示す情報を提供する提供部１５をさらに備える。
【0086】
上記の構成によれば、例えば医療従事者は、提供部１５によって提供される情報を確認することにより、めまい疾患の診断および鑑別を行なうことができる。
【0087】
（変形例）
上記の説明では、画像処理装置１は、ゴーグル２から映像２０を取得するものとした。しかしながら、画像処理装置１は、赤外線カメラを備えており、当該赤外線カメラから映像２０を取得してもよい。この場合、画像処理装置１は、被検者３の眼を撮像できる位置に固定される。例えば、画像処理装置１は、ゴーグル形状の治具に取付けられる。被検者３が当該治具を装着して状態で、赤外線カメラの撮像を開始すればよい。
上記の説明では、画像処理装置１は、ゴーグル２から映像２０を取得するものとした。しかしながら、画像処理装置１は、赤外線カメラを備えており、当該赤外線カメラから映像２０を取得してもよい。この場合、画像処理装置１は、被検者３の眼を撮像できる位置に固定される。例えば、画像処理装置１は、ゴーグル形状の治具に取付けられる。被検者３が当該治具を装着して状態で、赤外線カメラの撮像を開始すればよい。
【0088】
上記の説明では、提供部１５は、中心位置の軌跡を示す情報をディスプレイ１０５に表示させるものとした。しかしながら、提供部１５は、中心位置の軌跡を示す情報を外部の表示装置に表示させてもよい。あるいは、提供部１５は、中心位置の軌跡を示す情報を外部のコンピュータ（クラウドサーバを含む）に提供してもよい。医療従事者は、当該外部のコンピュータにアクセスすることにより、被検者３の瞳孔の中心位置の軌跡を確認し、めまい疾患の診断および鑑別を行なえばよい。
【0089】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0090】
１ 画像処理装置、２ ゴーグル、３ 被検者、１０ 記憶部、１１ 取得部、１２ 検出部、１３ 抽出部、１４ 瞳孔位置決定部、１５ 提供部、１６ 軌跡データ、２０ 映像、２１ フレーム、４０，４０ａ～４０ｆ 候補画素群、４２ 画素、４４，５２ ２値画像、５０ 対象画素群、６０ 輪郭画素、６１ 第１画素、６２ 第２画素、６３ 第３画素、６４ 第４画素、７０ 近似円、７１ 中心、７２ 軌跡線、７３ テキスト、８０，９０ ユーザインターフェイス画面、８１，８２ａ，８２ｂ 入力欄、８３ 読込ボタン、８４ 領域、９１ グラフ、１０１ プロセッサ、１０２ ＲＡＭ、１０３ ストレージ、１０４ 通信インターフェイス、１０５ ディスプレイ、１０６ 入力デバイス、１０７ バス、１１０ 画像処理プログラム、１５０ 画素群、１７１ 中心位置、１８０，１８２ 部分、２０１ 通信デバイス。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
