特許 7540711 眼球運動自動記録システム、演算装置、演算方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】眼球運動自動記録システム、演算装置、演算方法およびプログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20240820BHJP

【ＦＩ】

A61B3/113

【請求項の数】 8

(21)【出願番号】P 2020207084

(22)【出願日】2020-12-14

(65)【公開番号】P2022094363

(43)【公開日】2022-06-27

【審査請求日】2023-12-07

【新規性喪失の例外の表示】特許法第３０条第２項適用 開催日（公開日） 令和２年１１月５日 集会名、開催場所 第７４回日本臨床眼科学会（会期：令和２年１１月５日～１２月６日） ＷＥＢ開催視聴システム「ＭＩＣＥｎａｖｉ」を使用したオンライン開催 主管校 金沢大学医薬保健研究域医学系眼科学 研究発表抄録・研究発表データ公開ＵＲＬ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｉｃｅｎａｖｉ．ｊｐ／７４ｒｉｎｇａｎ／ｒｅｆｒｅｓｈ ＞ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｉｃｅｎａｖｉ．ｊｐ／７４ｒｉｎｇａｎ／ｓｅａｒｃｈ／ｄｅｔａｉｌ＿ｂｒａｎｃｈ／ｉｄ：７ ＞ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｉｃｅｎａｖｉ．ｊｐ／７４ｒｉｎｇａｎ／ｓｅａｒｃｈ／ｄｅｔａｉｌ＿ｓｅｓｓｉｏｎ／ｉｄ：１０１３５ ＞ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｉｃｅｎａｖｉ．ｊｐ／７４ｒｉｎｇａｎ／ｓｅａｒｃｈ／ｄｅｔａｉｌ＿ｐｒｏｇｒａｍ／ｉｄ：４２５ ＞

【新規性喪失の例外の表示】特許法第３０条第２項適用 プレプリントサーバー公開日 令和２年１１月１２日／令和２年１１月１６日 刊行物 研究論文 『Ａｕｔｏｍａｔｉｃ Ｍｅａｓｕｒｅｍｅｎｔｓ ｏｆ Ｓｍｏｏｔｈ Ｐｕｒｓｕｉｔ Ｅｙｅ Ｍｏｖｅｍｅｎｔｓ ｂｙ Ｖｉｄｅｏ－Ｏｃｕｌｏｇｒａｐｈｙ ａｎｄ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ－Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ』 〔プレプリントサーバー ＭｅｄＲｘｉｖ 投稿公開ＵＲＬ〕（イエール大学・ＣＳＨＬ・ＢＭＪ共同運営） ［初稿投稿］ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｅｄｒｘｉｖ．ｏｒｇ／ｃｏｎｔｅｎｔ／１０．１１０１／２０２０．１１．０９．２０２２７７３６ｖ１ ＞ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｅｄｒｘｉｖ．ｏｒｇ／ｃｏｎｔｅｎｔ／１０．１１０１／２０２０．１１．０９．２０２２７７３６ｖ１．ｆｕｌｌ．ｐｄｆ ＞ ［第２版投稿］ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｅｄｒｘｉｖ．ｏｒｇ／ｃｏｎｔｅｎｔ／１０．１１０１／２０２０．１１．０９．２０２２７７３６ｖ２ ＞ ＜ ｈｔｔｐｓ：／／ｗｗｗ．ｍｅｄｒｘｉｖ．ｏｒｇ／ｃｏｎｔｅｎｔ／１０．１１０１／２０２０．１１．０９．２０２２７７３６ｖ２．ｆｕｌｌ．ｐｄｆ ＞

(73)【特許権者】

【識別番号】399086263

【氏名又は名称】学校法人帝京大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100206999

【弁理士】

【氏名又は名称】萩原 綾夏

(72)【発明者】

【氏名】広田 雅和

【審査官】渡戸 正義

(56)【参考文献】

【文献】特開２０１３－２２３７１３（ＪＰ，Ａ）

【文献】特開２０１５－２１１７４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０２９０４０１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ ー ３／１８

(57)【特許請求の範囲】

【請求項1】

被験者の眼の画像である第１画像を撮影する第１撮影部と、
被験者の視標追跡検査に用いられる視標を含む画像である第２画像を撮影する第２撮影部と、
演算装置とを備える眼球運動自動記録システムであって、
前記演算装置は、
前記第１撮影部によって撮影された前記第１画像を取得する第１画像取得部と、
ＶＯＧ（Video-oculography）を用いることにより、前記第１画像取得部によって取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測部と、
前記第２撮影部によって撮影された前記第２画像を取得する第２画像取得部と、
物体認識アルゴリズムを用いることにより、前記第２画像取得部によって取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定部と、
前記２次元領域特定部によって特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出部と、
前記視線位置計測部によって計測された被験者の視線位置であって、前記第２画像取得部によって取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理部とを備える、
眼球運動自動記録システム。

【請求項2】

前記２次元領域特定部は、前記物体認識アルゴリズムとして、ＳＳＤ（Single Shot MultiBox Detector）を用いる、
請求項１に記載の眼球運動自動記録システム。

【請求項3】

前記２次元領域はバウンディングボックスであり、
前記視標位置算出部は、前記視標の位置として、前記バウンディングボックスの重心位置を算出する、
請求項２に記載の眼球運動自動記録システム。

【請求項4】

前記演算装置は、
前記視標位置算出部によって算出された前記視標の位置に対する、前記視線位置計測部によって計測された被験者の視線位置のずれ量を算出する位置ずれ量算出部を備える、
請求項１に記載の眼球運動自動記録システム。

【請求項5】

前記演算装置は、
前記視標位置算出部によって算出された前記視標の位置の移動速度と、前記視線位置計測部によって計測された被験者の視線位置の移動速度との差を算出する移動速度差算出部を備える、
請求項１に記載の眼球運動自動記録システム。

【請求項6】

第１撮影部によって撮影された被験者の眼の画像である第１画像を取得する第１画像取得部と、
ＶＯＧを用いることにより、前記第１画像取得部によって取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測部と、
第２撮影部によって撮影された被験者の視標追跡検査に用いられる視標を含む画像である第２画像を取得する第２画像取得部と、
物体認識アルゴリズムを用いることにより、前記第２画像取得部によって取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定部と、
前記２次元領域特定部によって特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出部と、
前記視線位置計測部によって計測された被験者の視線位置であって、前記第２画像取得部によって取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理部とを備える、
演算装置。

【請求項7】

第１撮影部によって撮影された被験者の眼の画像である第１画像を取得する第１画像取得ステップと、
ＶＯＧを用いることにより、前記第１画像取得ステップにおいて取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測ステップと、
第２撮影部によって撮影された被験者の視標追跡検査に用いられる視標を含む画像である第２画像を取得する第２画像取得ステップと、
物体認識アルゴリズムを用いることにより、前記第２画像取得ステップにおいて取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定ステップと、
前記２次元領域特定ステップにおいて特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出ステップと、
前記視線位置計測ステップにおいて計測された被験者の視線位置であって、前記第２画像取得ステップにおいて取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理ステップとを備える、
演算方法。

【請求項8】

コンピュータに、
第１撮影部によって撮影された被験者の眼の画像である第１画像を取得する第１画像取得ステップと、
ＶＯＧを用いることにより、前記第１画像取得ステップにおいて取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測ステップと、
第２撮影部によって撮影された被験者の視標追跡検査に用いられる視標を含む画像である第２画像を取得する第２画像取得ステップと、
物体認識アルゴリズムを用いることにより、前記第２画像取得ステップにおいて取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定ステップと、
前記２次元領域特定ステップにおいて特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出ステップと、
前記視線位置計測ステップにおいて計測された被験者の視線位置であって、前記第２画像取得ステップにおいて取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理ステップとを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼球運動自動記録システム、演算装置、演算方法およびプログラムに関する。

【背景技術】

【0002】

従来から、ＶＯＧ（Video-oculography）ゴーグル、解析部、入力部、出力部およびデータベースから構成されている眼振解析システムが知られている（特許文献１参照）。特許文献１に記載された技術では、ＶＯＧゴーグルが、カメラとマイクと頭位センサとを備えている。ＶＯＧゴーグルは、カメラとして、ホットミラーとカメラレンズとカメラ本体とを備えている。さらに、ＶＯＧゴーグルは、撮像ＩＣ（集積回路）としてのＣＭＯＳ（complementary metal-oxide semiconductor）基板と、光源としての赤外線ＬＥＤ（Light Emitting Diode）とを備えている。
ところで、特許文献１に記載された技術では、被験者の眼振の有無を解析することができるものの、被験者の視標追跡検査を行うことができない。

【0003】

また従来から、被験者の視標追跡検査を行うことができるビデオ式眼振計測装置が知られている（例えば下記ＵＲＬ参照）。
http://0c7.co.jp/products/interacoustics/products/vog/

【0004】

ところで、上述したビデオ式眼振計測装置では、視標として、ディスプレイに表示される視標が用いられるため、ビデオ式眼振計測装置が眼科診察室に設置される場合には、眼科診察室のスペースを圧迫してしまうおそれがある。
また、視標追跡検査が必要な被験者の多くは、眼球運動異常を有する子どもであるため、視標として、ディスプレイに表示される視標が用いられる場合には、被験者（子ども）が視標を追跡してくれないおそれがある。
さらに、視標として、ディスプレイに表示される視標が用いられる場合には、視標の動き等が予め設定されたものであるため、例えば被験者の状況に応じて臨機応変に視標を呈示する等の対応を行うことができない。
一方、ディスプレイに表示される視標の代わりに、実物の視標が用いられる従来技術においては、定性的な視標追跡検査を行うことができるものの、定量的な視標追跡検査を行うことができなかった。
また、視標追跡検査中の視標を撮影した動画像を構成する多数の静止画像のそれぞれに含まれる視標の位置を特定する処理が、例えば検査技師、医師などによって手動で行われる場合には、視標の位置の特定に膨大な時間を要してしまう。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２０－０１８７０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した問題点に鑑み、本発明は、定量的な視標追跡検査および迅速な視標の位置の特定を実現することができる眼球運動自動記録システム、演算装置、演算方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様は、被験者の眼の画像である第１画像を撮影する第１撮影部と、被験者の視標追跡検査に用いられる視標を含む画像である第２画像を撮影する第２撮影部と、演算装置とを備える眼球運動自動記録システムであって、前記演算装置は、前記第１撮影部によって撮影された前記第１画像を取得する第１画像取得部と、ＶＯＧ（Video-oculography）を用いることにより、前記第１画像取得部によって取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測部と、前記第２撮影部によって撮影された前記第２画像を取得する第２画像取得部と、物体認識アルゴリズムを用いることにより、前記第２画像取得部によって取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定部と、前記２次元領域特定部によって特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出部と、前記視線位置計測部によって計測された被験者の視線位置であって、前記第２画像取得部によって取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理部とを備える、眼球運動自動記録システムである。

【0008】

本発明の一態様は、第１撮影部によって撮影された被験者の眼の画像である第１画像を取得する第１画像取得部と、ＶＯＧを用いることにより、前記第１画像取得部によって取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測部と、第２撮影部によって撮影された被験者の視標追跡検査に用いられる視標を含む画像である第２画像を取得する第２画像取得部と、物体認識アルゴリズムを用いることにより、前記第２画像取得部によって取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定部と、前記２次元領域特定部によって特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出部と、前記視線位置計測部によって計測された被験者の視線位置であって、前記第２画像取得部によって取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理部とを備える、演算装置である。

【0009】

本発明の一態様は、第１撮影部によって撮影された被験者の眼の画像である第１画像を取得する第１画像取得ステップと、ＶＯＧを用いることにより、前記第１画像取得ステップにおいて取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測ステップと、第２撮影部によって撮影された被験者の視標追跡検査に用いられる視標を含む画像である第２画像を取得する第２画像取得ステップと、物体認識アルゴリズムを用いることにより、前記第２画像取得ステップにおいて取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定ステップと、前記２次元領域特定ステップにおいて特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出ステップと、前記視線位置計測ステップにおいて計測された被験者の視線位置であって、前記第２画像取得ステップにおいて取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理ステップとを備える、演算方法である。

【0010】

本発明の一態様は、コンピュータに、第１撮影部によって撮影された被験者の眼の画像である第１画像を取得する第１画像取得ステップと、ＶＯＧを用いることにより、前記第１画像取得ステップにおいて取得された前記第１画像に基づいて被験者の視線位置を計測する視線位置計測ステップと、第２撮影部によって撮影された被験者の視標追跡検査に用いられる視標を含む画像である第２画像を取得する第２画像取得ステップと、物体認識アルゴリズムを用いることにより、前記第２画像取得ステップにおいて取得された前記第２画像に含まれる前記視標に対応する２次元領域を特定する２次元領域特定ステップと、前記２次元領域特定ステップにおいて特定された前記２次元領域に基づいて前記視標の位置を算出する視標位置算出ステップと、前記視線位置計測ステップにおいて計測された被験者の視線位置であって、前記第２画像取得ステップにおいて取得された前記第２画像が前記第２撮影部によって撮影された時点における被験者の視線位置を、前記第２画像にマージするマージ処理ステップとを実行させるためのプログラムである。

【発明の効果】

【0011】

本発明によれば、定量的な視標追跡検査および迅速な視標の位置の特定を実現することができる眼球運動自動記録システム、演算装置、演算方法およびプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態の眼球運動自動記録システムの構成の一例を示す図である。

【図2】第１実施形態の眼球運動自動記録システムにおいて実行される処理の一例を示すフローチャートである。

【図3】実施例において第１実施形態の眼球運動自動記録システム１の一部として用いた機器を示す図である。

【図4】図４は図３に示すカメラモジュールを拡大して示した図である。

【図5】実施例において用いた視標を示す図である。

【図6】実施例において用いたＳＳＤを説明するための図である。

【図7】図６に示すソース１（３８×３８）、ソース５（３×３）およびソース６（１×１）を説明するための図である。

【図8】ＳＳＤの訓練を説明するための図である。

【図9】データ解析について説明するための図である。

【図10】実施例の結果の代表例を示す図である。

【図11】図１０に示す代表例における水平垂直眼位と視標位置との関係を可視化した図である。

【図12】実施例において得られた眼位（被験者の視線位置）と視標の位置との関係を示す図である。

【図13】実施例において得られたＳＰＥＭ速度と視標速度との関係を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照し、本発明の眼球運動自動記録システム、演算装置、演算方法およびプログラムの実施形態について説明する。

【0014】

［第１実施形態］
図１は第１実施形態の眼球運動自動記録システム１の構成の一例を示す図である。
図１に示す例では、第１実施形態の眼球運動自動記録システム１が、第１撮影部１１と、第２撮影部１２と、演算装置１３とを備えている。第１撮影部１１は、被験者の眼の画像である第１画像を撮影する。第２撮影部１２は、被験者の視標追跡検査に用いられる視標１０（図５参照）を含む画像である第２画像を撮影する。
演算装置１３は、第１画像取得部１３Ａと、視線位置計測部１３Ｂと、第２画像取得部１３Ｃと、２次元領域特定部１３Ｄと、視標位置算出部１３Ｅと、マージ処理部１３Ｆと、位置ずれ量算出部１３Ｇと、移動速度差算出部１３Ｈとを備えている。

【0015】

第１画像取得部１３Ａは、第１撮影部１１によって撮影された第１画像（被験者の眼の画像）を取得する。
視線位置計測部１３Ｂは、ＶＯＧ（Video-oculography）を用いることにより、第１画像取得部１３Ａによって取得された第１画像（被験者の眼の画像）に基づいて被験者の視線位置を計測する。ＶＯＧは、近赤外光を被験者の両眼に照射し、角膜反射と瞳孔の相対位置関係から被験者の視線情報を取得する技術である。ＶＯＧでは、被験者の眼球運動を数値化・可視化することができる。

【0016】

第２画像取得部１３Ｃは、第２撮影部１２によって撮影された第２画像（視標１０を含む画像）を取得する。
２次元領域特定部１３Ｄは、物体認識アルゴリズムを用いることにより、第２画像取得部１３Ｃによって取得された第２画像に含まれる視標１０に対応する２次元領域１０Ａ（図１０参照）を特定する。つまり、２次元領域特定部１３Ｄは、第２画像上のどの領域が視標１０に対応する２次元領域１０Ａであるかを特定する。
２次元領域特定部１３Ｄは、物体認識アルゴリズムとして、ＳＳＤ（Single Shot MultiBox Detector）を用いる。ＳＳＤは、画像内に含まれる物体が何であるかを予測し、物体の領域と予測値とを出力する物体認識深層学習アルゴリズムである。また、２次元領域特定部１３Ｄによって特定される２次元領域１０Ａは、「バウンディングボックス」と称される矩形領域である。
図１に示す例では、２次元領域１０Ａ（バウンディングボックス）が、第２画像上の視標１０を囲う矩形領域（第２画像上の視標１０に外接する矩形領域）であるが、他の例では、第２画像上の視標１０が、２次元領域１０Ａ（バウンディングボックス）からはみ出していてもよい。

【0017】

図１に示す例では、視標位置算出部１３Ｅが、２次元領域特定部１３Ｄによって特定された２次元領域１０Ａに基づいて視標１０の位置（第２画像上の視標１０の位置）を算出する。詳細には、視標位置算出部１３Ｅは、視標１０の位置として、バウンディングボックスの重心位置を算出する。
他の例では、視標位置算出部１３Ｅが、移動平均、移動中央値などを用いることによって、第２画像上の視標１０の位置を算出してもよい。

【0018】

図１に示す例では、マージ処理部１３Ｆが、視線位置計測部１３Ｂによって計測された被験者の視線位置であって、第２画像取得部１３Ｃによって取得された第２画像が第２撮影部１２によって撮影された時点における被験者の視線位置を、その第２画像にマージする。その結果、第２画像上の視標１０の位置と、その第２画像が撮影された時点における被験者の視線位置（視標１０を追跡する被験者の視線位置）とを、第２画像上において比較できるようになる。
位置ずれ量算出部１３Ｇは、視標位置算出部１３Ｅによって算出された視標１０の位置に対する、視線位置計測部１３Ｂによって計測された被験者の視線位置のずれ量を算出する。
図１に示す例では、演算装置１３が位置ずれ量算出部１３Ｇを備えているが、他の例では、演算装置１３が位置ずれ量算出部１３Ｇを備えていなくてもよい（例えば、視標１０の位置に対する被験者の視線位置のずれ量が、演算装置１３の外部において算出されてもよい）。

【0019】

図１に示す例では、移動速度差算出部１３Ｈが、視標位置算出部１３Ｅによって算出された視標１０の位置の移動速度と、視線位置計測部１３Ｂによって計測された被験者の視線位置の移動速度との差を算出する。
図１に示す例では、演算装置１３が移動速度差算出部１３Ｈを備えているが、他の例では、演算装置１３が移動速度差算出部１３Ｈを備えていなくてもよい（例えば、視標１０の位置の移動速度と被験者の視線位置の移動速度との差が、演算装置１３の外部において算出されてもよい）。

【0020】

図２は第１実施形態の眼球運動自動記録システム１において実行される処理の一例を示すフローチャートである。
図２に示す例では、ステップＳ１１において、第１撮影部１１が、被験者の眼の画像である第１画像を撮影する。
また、ステップＳ１２では、第２撮影部１２が、被験者の視標追跡検査に用いられる視標１０を含む画像である第２画像を撮影する。
次いで、ステップＳ１３では、演算装置１３が演算などの処理を実行する。

【0021】

具体的には、ステップＳ１３Ａでは、第１画像取得部１３Ａが、ステップＳ１１において撮影された第１画像（被験者の眼の画像）を取得する。
次いで、ステップＳ１３Ｂでは、視線位置計測部１３Ｂが、ＶＯＧを用いることにより、ステップＳ１３Ａにおいて取得された第１画像（被験者の眼の画像）に基づいて被験者の視線位置を計測する。

【0022】

また、ステップＳ１３Ｃでは、第２画像取得部１３Ｃが、ステップＳ１２において撮影された第２画像（視標１０を含む画像）を取得する。
次いで、ステップＳ１３Ｄでは、２次元領域特定部１３Ｄが、物体認識アルゴリズムを用いることにより、ステップＳ１３Ｃにおいて取得された第２画像に含まれる視標１０に対応する２次元領域１０Ａを特定する。
次いで、ステップＳ１３Ｅでは、視標位置算出部１３Ｅが、ステップＳ１３Ｄにおいて特定された２次元領域１０Ａに基づいて視標１０の位置（第２画像上の視標１０の位置）を算出する。

【0023】

次いで、ステップＳ１３Ｆでは、マージ処理部１３Ｆが、ステップＳ１３Ｂにおいて計測された被験者の視線位置であって、ステップＳ１３Ｃにおいて取得された第２画像が第２撮影部１２によって撮影された時点における被験者の視線位置を、その第２画像にマージする。
次いで、ステップＳ１３Ｇでは、位置ずれ量算出部１３Ｇが、ステップＳ１３Ｅにおいて算出された視標１０の位置に対する、ステップＳ１３Ｂにおいて計測された被験者の視線位置のずれ量を算出する。
また、ステップＳ１３Ｈでは、移動速度差算出部１３Ｈが、ステップＳ１３Ｅにおいて算出された視標１０の位置の移動速度と、ステップＳ１３Ｂにおいて計測された被験者の視線位置の移動速度との差を算出する。

【0024】

以下、実施例を示して本発明を詳細に説明するが、本発明は以下の実施例に限定されるものではなく、その要旨を逸脱しない範囲で適宜変更して実施することができる。

【0025】

＜実施例＞
本発明者は、第１実施形態の眼球運動自動記録システム１を用いて滑動性追従眼球運動（ＳＰＥＭ）の評価を行った。滑動性追従眼球運動は、動く物体を中心窩付近で捉え続けるための眼球運動である（Robinson DA, J Physiol, 1965）。
眼科臨床においては、９方向むき眼位検査を行うことでＳＰＥＭから眼球運動異常をスクリーニングしているが、検者が肉眼的に判定するため、検査中の記録が残らないことや検査結果が定性的である問題を抱えている。

【0026】

眼球運動は近赤外光を両眼に照射し、角膜反射と瞳孔の位置関係から非侵襲的に両眼の眼位を計測するＶＯＧを用いることで他覚的定量評価できる。先行研究において、斜視患者のＳＰＥＭ速度は健常者よりも有意に遅いことが報告されている（Lions C et al., Plos one, 2013）。
ＶＯＧは実験室レベルにおいては眼球運動を他覚的定量評価する機器として頻繁に用いられているが、眼科臨床においてはまだ普及していない。その原因として、視標の動きが限定されること、即ち、プログラムされた動作を繰り返すため異常が疑われる部位を重点的に検査できないことや、検査方法が変わるため、以前の検査結果との比較が困難であることが挙げられる。
従って、眼科外来で実施されている９方向むき眼位検査と同じ方法でＳＰＥＭを他覚的定量評価する必要がある。

【0027】

そこで本発明者は、人工知能技術である畳み込みニューラルネットワーク（ＣＮＮ）に着目した。ＣＮＮは画像の各ピクセルにおける輝度値に対して複数のフィルタを掛けることにより特徴量を抽出する。
先行研究において、ＣＮＮを利用した物体検出アルゴリズムであるＳＳＤは従来の物体検出法であるラスタースキャン法よりも２倍以上の処理速度を有すことが報告されており（Liu W et al., arXiv, 2015）、リアルタイム解析にも応用が見込める。

【0028】

本発明者は、ＶＯＧとＳＳＤを組み合わせたＳＰＥＭ計測システムを開発し、その測定精度を評価した。

【0029】

評価の対象は屈折異常以外に眼科的疾患のない健常者１１名とした。平均年齢は２１．３歳、等価球面屈折度数（ＳＥ）は右眼が－２．９５Ｄ、左眼が－２．７０Ｄだった。立体視は全例が４０秒だった。交代プリズム遮蔽試験は近見－３．１ＰＤ、遠見－０．９ＰＤだった（「－」は外方偏位、「＋」は内方偏位を示す）。

【0030】

図３は実施例において第１実施形態の眼球運動自動記録システム１の一部として用いた機器を示す図である。
本実施例では、NAC Image Technology Inc.製のＥＭＲ－９を眼球運動計測用ＶＯＧとして使用した。本機器はカメラモジュールで取得した外界の映像と被験者の眼位から計算した視線位置をコントローラで結合し、測定画面に出力する。

【0031】

図４は図３に示すカメラモジュールを拡大して示した図である。
カメラモジュールは全体を水平垂直に８ｃｍ移動可能で、中央に取り付けられたシーンカメラはサンプリングレートが２９．９７Ｈｚ、視野角６２度、中央位置をｐｉｔｃｈ方向に６０度旋回可能である。
左右眼の上方に設置されたアイカメラはサンプリングレート２４０Ｈｚ、視野角は水平４３度、垂直２８．６度で、中心位置を水平方向に各眼１．３ｃｍ調整可能である。アイカメラから照射された近赤外光はハーフミラーによって反射する。ハーフミラーも調整が可能であり、垂直方向に２．５ｃｍ、ｐｉｔｃｈ方向に３０度回旋可能である。

【0032】

測定画面の左下部分および右下部分には、アイカメラの画像が表示可能であり、測定画面の左上部分には、一眼の２値化画像が表示可能である。角膜反射と瞳孔の位置関係から眼位が計算され、被験者の視線位置が計測される。計測された被験者の視線位置は、遅延時間５２ｍｓ以下で、測定画面の右上部分のシーンカメラの映像に含められて表示可能である。

【0033】

図５は実施例において用いた視標１０を示す図である。
本実施例では、眼球運動検査（視標追跡検査）の視標１０として、１０ｃｍ×１０ｃｍのキャラクターの固視目標を用い、９方向むき眼位検査を視距離１．０ｍで実施した（視標１０の視角は５．７°）。検査中、各被験者にはキャラクターの鼻を固視し続けるように指示した。

【0034】

図６は実施例において用いたＳＳＤを説明するための図である。
図６に示すように、ＳＳＤは、ＣＮＮのモデルであるＶＧＧ１６に物体認識用のエクストラモジュールを追加したモデルである。ＳＳＤは、ＶＧＧネットワークの４ブロック目における３層目の畳み込み層の特徴量をソース１、最終出力層における特徴量をソース２とし、ソース２に対して特徴量が１０×１０、５×５、３×３、１×１になる畳み込みを行い、ソース３からソース６までの特徴量を出力する。

【0035】

図７は図６に示すソース１（３８×３８）、ソース５（３×３）およびソース６（１×１）を説明するための図である。
図６に示すＶＧＧネットワークの４ブロック、３番目の畳み込み層から出力したソース１は、図７に示すように、特徴量マップが３８×３８である。ソース５は、特徴量マップが３×３であり、ソース６は、特徴量マップが１×１である。各ソースは特徴量マップの数が異なり、特徴量マップが細かいほど小さい物体の検出精度が高くなる。

【0036】

図８はＳＳＤの訓練を説明するための図である。
ＳＳＤの訓練では、グランドトゥルースと呼ばれる、物体の正解位置ラベルに対して、いくつものバウンディングボックスを用意し、訓練を繰り返す内に正解のボックスに近いバウンディングボックスを学習する。

【0037】

本実施例では、ＥＭＲ－９のシーンカメラで測定した被験者の９方向むき眼位検査中の画像５００枚をデータセットとして使用した。
６４０×４８０ピクセルの全ての画像を３００×３００ピクセルにリサイズし、データセットをランダムに訓練用３００枚選択し、訓練は１００ｅｐｏｃｈとした。訓練画像はランダムに輝度、コントラスト、色、カラーチャンネルを不規則に変えるスワップ、画像拡大、切り取りを実施した。
検証用データは１００枚として、１０ｅｐｏｃｈ毎に検証データで精度を評価した。また、テストデータを１００枚用意した。

【0038】

図９はデータ解析について説明するための図である。
本実施例では、ＳＳＤの精度は７５％ ａｖｅｒａｇｅ ｐｒｅｃｉｓｉｏｎ （ＡＰ７５）で評価した。ＡＰ７５はテストデータにおける正解のボックスに対するＳＳＤが予測したバウンディングボックスが対象となる。
ＳＳＤ予測したバウンディングボックスが正解のボックスに対して７５％以上重なっており、物体のラベルも正しい場合をＴｒｕｅ ｐｏｓｉｔｉｖｅ（ＴＰ）とし、７５％以下の重なりであればＦａｌｓｅ ｐｏｓｉｔｉｖｅ（ＦＰ）とする。また、画像内に正解のボックスが存在するが、ＳＳＤが物体を検出しなかった場合はＦａｌｓｅ ｎｅｇａｔｉｖｅ（ＦＮ）とし、ｐｒｅｃｉｓｉｏｎはＴＰをＴＰとＦＰの合計で除した値、ｒｅｃａｌｌはＴＰをＴＰとＦＮの合計で除した値とし、横軸にｒｅｃａｌｌ、縦軸にｐｒｅｃｉｓｉｏｎを取ったグラフの面積がＡＰ７５となる。

【0039】

本実施例では、統計解析は、ＶＯＧで計測した両眼の眼位（被験者の視線位置）とＳＳＤが予測したバウンディングボックスの中心座標（重心座標）から計算した視標位置の関係および、ＳＰＥＭの速度と視標の速度の関係について、ｓｉｍｐｌｅ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓを実施した。

【0040】

図１０は実施例の結果の代表例を示す図である。詳細には、図１０は第２撮影部１２によって撮影された第２画像（視標１０を含む画像）に、その第２画像が撮影された時点における被験者の視線位置（視線位置計測部１３Ｂによって計測された被験者の視線位置）がマージされたものを示す図である。
図１０において、「右眼」は被験者の右眼の視線位置（視線位置計測部１３Ｂによって計測された被験者の右眼の視線位置）を示しており、「左眼」は被験者の左眼の視線位置（視線位置計測部１３Ｂによって計測された被験者の左眼の視線位置）を示している。
図１０に示す例では、ＳＳＤが視標１０を高精度で認識しており、テストデータにおけるＡＰ７５は９７．７％であった。

【0041】

図１１は図１０に示す代表例における水平垂直眼位と視標位置との関係を可視化した図である。詳細には、図１１（Ａ）は代表例における水平眼位と視標位置との関係を示しており、図１１（Ｂ）は代表例における垂直眼位と視標位置との関係を示している。
図１１（Ａ）および図１１（Ｂ）において、「Ｄｏｍｉｎａｎｔ ｅｙｅ」は優位眼の視線位置を示しており、「Ｎｏｎｄｏｍｉｎａｎｔ ｅｙｅ」は非優位眼の視線位置を示しており、「Ｔａｒｇｅｔ」は視標１０の位置を示している。

【0042】

図１２は実施例において得られた眼位（被験者の視線位置）と視標１０の位置との関係を示す図である。詳細には、図１２（Ａ）は優位眼の水平眼位（横軸）と視標１０の水平位置（縦軸）との関係を示しており、図１２（Ｂ）は非優位眼の水平眼位（横軸）と視標１０の水平位置（縦軸）との関係を示している。
図１２（Ａ）および図１２（Ｂ）に示すように、両眼とも水平眼位が水平方向の視標位置と有意な正の相関があることを確認できた。

【0043】

図１３は実施例において得られたＳＰＥＭ速度と視標速度との関係を示す図である。詳細には、図１３（Ａ）は優位眼の水平方向のＳＰＥＭ速度（横軸）と水平方向の視標速度（縦軸）との関係を示しており、図１３（Ｂ）は非優位眼の水平方向のＳＰＥＭ速度（横軸）と水平方向の視標速度（縦軸）との関係を示している。
図１３（Ａ）および図１３（Ｂ）に示すように、両眼とも水平方向のＳＰＥＭ速度が水平方向の視標速度と有意な正の相関があることを確認できた。

【0044】

上述したように、本実施例では、ＳＳＤが高精度で視標を検出することを確認した。ＶＯＧで検出した両眼の眼位とＳＳＤを用いて計算した視標位置とが有意な正の相関を有することを確認した。

【0045】

第１実施形態の眼球運動自動記録システム１を用いることによって、眼科臨床における検査の方法を変更することなく、被験者の眼球運動を数値化・可視化することができる。
また、第１実施形態の眼球運動自動記録システム１を用いることによって、過去に実施した検査結果との比較を行うことができ、疾患の判定基準を明確にすることができる。
また、ＳＳＤを用いて高精度に位置を算出可能な視標１０として、子どもが興味を持つ視標１０を使用することにより、視標追跡検査中に被験者（子ども）が視標１０を追跡してくれないおそれを抑制することができ、その結果、検査時間を短縮することができる。

【0046】

［第２実施形態］
以下、本発明の眼球運動自動記録システム、演算装置、演算方法およびプログラムの第２実施形態について説明する。
第２実施形態の眼球運動自動記録システム１は、後述する点を除き、上述した第１実施形態の眼球運動自動記録システム１と同様に構成されている。従って、第２実施形態の眼球運動自動記録システム１によれば、後述する点を除き、上述した第１実施形態の眼球運動自動記録システム１と同様の効果を奏することができる。

【0047】

上述したように、第１実施形態の眼球運動自動記録システム１では、２次元領域特定部１３Ｄが、物体認識アルゴリズムとして、ＳＳＤを用いる。
一方、第２実施形態の眼球運動自動記録システム１では、２次元領域特定部１３Ｄが、ＳＳＤ以外の物体認識アルゴリズム（例えばＲ－ＣＮＮ、ＹＯＬＯ等）を用いるか、あるいは、物体検出法としてラスタースキャン法を用いる。

【0048】

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。

【0049】

なお、上記の実施形態における眼球運動自動記録システム１の全部または一部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、眼球運動自動記録システム１の全部または一部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、眼球運動自動記録システム１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【符号の説明】

【0050】

１…眼球運動自動記録システム、１０…視標、１０Ａ…２次元領域、１１…第１撮影部、１２…第２撮影部、１３…演算装置、１３Ａ…第１画像取得部、１３Ｂ…視線位置計測部、１３Ｃ…第２画像取得部、１３Ｄ…２次元領域特定部、１３Ｅ…視標位置算出部、１３Ｆ…マージ処理部、１３Ｇ…位置ずれ量算出部、１３Ｈ…移動速度差算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】