特許 7510401 データ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】データ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20240626BHJP

   A61B 5/11 20060101ALI20240626BHJP

   A61B 10/00 20060101ALI20240626BHJP

【ＦＩ】

A61B3/113

A61B5/11

A61B10/00 W

【請求項の数】 13

(21)【出願番号】P 2021167969

(22)【出願日】2021-10-13

(65)【公開番号】P2023058161

(43)【公開日】2023-04-25

【審査請求日】2023-04-07

(73)【特許権者】

【識別番号】000138185

【氏名又は名称】株式会社モリタ製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】吉川 英基

(72)【発明者】

【氏名】伊藤 豊

(72)【発明者】

【氏名】山田 冬樹

【審査官】牧尾 尚能

(56)【参考文献】

【文献】特開平０６－０７０８８４（ＪＰ，Ａ）

【文献】国際公開第２０１６／１９５０６６（ＷＯ，Ａ１）

【文献】特表２０２１－５０１３８５（ＪＰ，Ａ）

【文献】国際公開第２０１２／１７２７１９（ＷＯ，Ａ１）

【文献】国際公開第２０２１／１００５５３（ＷＯ，Ａ１）

【文献】特開２０１４－０１１６２４（ＪＰ，Ａ）

【文献】国際公開第２０２１／１０６５０２（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１７０８５４（ＷＯ，Ａ１）

【文献】特開２００９－１２３０４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－ ３／１８

Ａ６１Ｂ ９／００－１０／０６

(57)【特許請求の範囲】

【請求項1】

医療において眼を撮像する撮像装置からのデータを処理するデータ処理装置であって、
被検者の頭部に装着する前記撮像装置の筐体に保持された撮像部で撮像した前記被検者の眼の画像データが入力される入力部と、
前記入力部で入力された画像データに基づいて、前記被検者の頭部と前記筐体とのズレ量を導出する導出部と、を備え、
前記導出部は、導出したズレ量に基づいて、前記筐体に保持され、前記被検者の頭部の動きを検出する検出部からの検出データを補正する、データ処理装置。

【請求項2】

前記導出部は、前記撮像部で撮像した画像データから前記被検者の特徴点を検出し、当該特徴点の移動量から前記被検者の頭部と前記筐体とのズレ量を導出する、請求項１に記載のデータ処理装置。

【請求項3】

前記特徴点は、前記被検者の目頭および目尻のうち少なくとも一方を含む、請求項２に記載のデータ処理装置。

【請求項4】

前記導出部は、少なくとも、前記撮像部で撮像した画像データと、機械学習によって生成された推定モデルとに基づき、前記被検者の目頭および目尻のうち少なくとも一方の位置を推定する、請求項３に記載のデータ処理装置。

【請求項5】

前記推定モデルは、目頭および目尻のうち少なくとも一方を含む画像データと、当該画像データでの目頭および目尻のうち少なくとも一方の位置情報とに基づき、あらかじめ機械学習されている、請求項４に記載のデータ処理装置。

【請求項6】

前記撮像部は、前記筐体内に２つ保持され、前記被検者のそれぞれの眼を個別に撮影し、
前記導出部は、前記撮像部で撮像した個別の眼の画像データに基づいて、前記被検者の頭部と前記筐体とのズレ量をそれぞれ導出する、請求項１～請求項５のいずれか１項に記載のデータ処理装置。

【請求項7】

前記導出部は、導出したズレ量に基づいて、前記撮像部で撮像した画像データにおける眼球の位置を補正する、請求項１～請求項６のいずれか１項に記載のデータ処理装置。

【請求項8】

前記導出部は、前記撮像部で時系列に撮像した複数の画像データから、前記被検者の眼球の水平方向、垂直方向、および回旋方向の動きのうち少なくとも１つの動きのデータを含む眼球運動データとして算出し、
導出したズレ量に基づいて、前記眼球運動データを補正する、請求項１～請求項７のいずれか１項に記載のデータ処理装置。

【請求項9】

導出したズレ量が所定の閾値より大きい場合、前記筐体のズレを報知する報知部をさらに備える、請求項１～請求項８のいずれか１項に記載のデータ処理装置。

【請求項10】

前記導出部は、導出したズレ量が所定の閾値より大きいと判断したタイミングで導出された前記眼球運動データと関連させて、ズレ量が前記所定の閾値より大きい旨を示すデータを記憶部へ記憶する、請求項８に記載のデータ処理装置。

【請求項11】

平衡機能検査における眼球運動データを処理する眼球運動データ処理システムであって、
被検者の眼球を撮像する撮像装置と、
前記撮像装置からのデータが入力されて、当該データの処理を行うデータ処理装置と、を備え、
前記撮像装置は、
前記被検者の頭部に装着する筐体と、
前記筐体に保持され、前記被検者の眼を撮像する撮像部と、を含み、
前記データ処理装置は、
前記撮像部で撮像した前記被検者の眼の画像データが入力される入力部と、
前記入力部で入力された画像データに基づいて、前記被検者の頭部と前記筐体とのズレ量を導出する導出部と、を含み、
前記導出部は、導出したズレ量に基づいて、前記筐体に保持され、前記被検者の頭部の動きを検出する検出部からの検出データを補正する、眼球運動データ処理システム。

【請求項12】

医療において眼を撮像する撮像装置からのデータを処理するデータ処理方法であって、
被検者の頭部に装着する前記撮像装置の筐体に保持された撮像部で撮像した前記被検者の眼の画像データが入力されるステップと、
入力された画像データに基づいて、前記被検者の頭部と前記筐体とのズレ量を導出するステップと、
前記筐体に保持され、前記被検者の頭部の動きを検出する検出部からの検出データを、導出したズレ量に基づいて補正するステップと、を備える、データ処理方法。

【請求項13】

医療において眼を撮像する撮像装置からのデータを処理するデータ処理装置で実行されるプログラムであって、
被検者の頭部に装着する前記撮像装置の筐体に保持された撮像部で撮像した前記被検者の眼の画像データが入力されるステップと、
入力された画像データに基づいて、前記被検者の頭部と前記筐体とのズレ量を導出するステップと、
前記筐体に保持され、前記被検者の頭部の動きを検出する検出部からの検出データを、導出したズレ量に基づいて補正するステップと、を備える、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、耳鼻科、神経内科、脳神経外科などで、めまいや平衡機能障害などの診断においては、目への刺激、頭部への刺激、あるいは耳への刺激に対して、眼球がどのような運動をするかを調べる平衡機能検査が広く行なわれている。特許文献１では、カメラ、頭位センサを内蔵したゴーグル（撮像装置）を装着して被検者の眼球運動を撮像する眼振解析システムが開示されている。特許文献２では、被検者から独立した場所に固定されたカメラで被検者の視線を追跡する視線追跡システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１８７０４号公報

【文献】特表２０１９－５１９８５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された眼振解析システムでは、ゴーグルを装着した状態で被検者の頭部を動かすため、最初に付けたゴーグルの位置からゴーグルの位置がずれる場合がある。ゴーグルの位置がずれると正確な測定ができない。また、ゴーグルの位置がずれることを回避するため、特許文献２に開示された視線追跡システムを採用することも考えられるが、視線追跡できる範囲外となるような頭部を動かす検査（回転刺激検査など）には採用することができない。

【0005】

本開示は、このような問題を解決するためになされたものであり、医療において眼を撮像する撮像装置からのデータを処理するデータ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に従うデータ処理装置は、医療において眼を撮像する撮像装置からのデータを処理する。データ処理装置は、被検者の頭部に装着する撮像装置の筐体に保持された撮像部で撮像した被検者の眼の画像データが入力される入力部と、入力部で入力された画像データに基づいて、被検者の頭部と筐体とのズレ量を導出する導出部と、を備え、導出部は、導出したズレ量に基づいて、筐体に保持され、被検者の頭部の動きを検出する検出部からの検出データを補正する。

【0007】

本開示に従う眼球運動データ処理システムは、平衡機能検査における眼球運動データを処理する。眼球運動データ処理システムは、被検者の眼球を撮像する撮像装置と、撮像装置からのデータが入力されて、当該データの処理を行うデータ処理装置と、を備える。撮像装置は、被検者の頭部に装着する筐体と、筐体に保持され、被検者の眼を撮像する撮像部と、を含み、データ処理装置は、撮像部で撮像した被検者の眼の画像データが入力される入力部と、入力部で入力された画像データに基づいて、被検者の頭部と筐体とのズレ量を導出する導出部と、を含み、導出部は、導出したズレ量に基づいて、筐体に保持され、被検者の頭部の動きを検出する検出部からの検出データを補正する。

【0008】

本開示に従うデータ処理方法は、医療において眼を撮像する撮像装置からのデータを処理する方法である。データ処理方法は、被検者の頭部に装着する撮像装置の筐体に保持された撮像部で撮像した被検者の眼の画像データが入力されるステップと、入力された画像データに基づいて、被検者の頭部と筐体とのズレ量を導出するステップと、筐体に保持され、被検者の頭部の動きを検出する検出部からの検出データを、導出したズレ量に基づいて補正するステップと、を含む。

【0009】

本開示に従うプログラムは、医療において眼を撮像する撮像装置からのデータを処理するデータ処理装置で実行される。プログラムは、被検者の頭部に装着する撮像装置の筐体に保持された撮像部で撮像した被検者の眼の画像データが入力されるステップと、入力された画像データに基づいて、被検者の頭部と筐体とのズレ量を導出するステップと、筐体に保持され、被検者の頭部の動きを検出する検出部からの検出データを、導出したズレ量に基づいて補正するステップと、を含む。

【発明の効果】

【0010】

本開示によれば、撮像部で撮像した眼の画像から被検者の頭部と筐体とのズレ量を導出することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１に係る眼球運動データ処理システムの構成を示す模式図である。

【図2】実施の形態１に係る撮像装置の構成を説明するための模式図である。

【図3】実施の形態１に係る眼球運動データ処理システムの全体構成を示すブロック図である。

【図4】眼振検査の一例を説明するための模式図である。

【図5】実施の形態１に係る眼球運動データ処理システムにおける被検者の頭部と筐体とのズレ量の導出処理を説明するため図である。

【図6】実施の形態１に係るデータ処理装置において処理する眼の画像データを示す図である。

【図7】実施の形態１に係るデータ処理装置において画像データにおける眼球の位置、および頭部角速度のデータを補正する処理を説明するための概略図である。

【図8】実施の形態１に係るデータ処理装置におけるデータ処理を説明するためのフローチャートである。

【図9】実施の形態２に係るデータ処理装置において推定モデルを用いて特徴点を推定する処理を説明するためのブロック図である。

【図10】実施の形態２に係るデータ処理装置において推定モデルの学習段階を説明するためのブロック図である。

【発明を実施するための形態】

【0012】

本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

【0013】

［実施の形態１］
図１～図３を参照して、実施の形態１に係る眼球運動データ処理システムおよび撮像装置について説明する。なお、以下に説明する眼球運動データ処理システム１０は一例であって、医療において眼を撮像する撮像装置と、当該撮像装置からのデータを処理するデータ処理装置とを含むシステムであれば、眼球運動データ処理システムに限定されない。

【0014】

術者１は、眼球運動データ処理システム１０を用いることで、被検者２のめまいについて診断することができる。なお、「術者」は、クリニック、総合病院、および大学病院などに属する医師などの術者、医科大学の先生または生徒など、眼球運動データ処理システム１０を使用する者であればいずれであってもよい。なお、術者が所属する医科は、眼科や耳鼻科のようなめまいの治療を専門とするものに限らず、内科や歯科など、その他のものであってもよい。「被検者」は、クリニック、総合病院、および大学病院の患者、医科大学における対象者など、眼球運動データ処理システム１０の診断対象となる者であればいずれであってもよい。「めまい」は、目の前の世界がぐるぐる回る回転性めまい、自身がふわふわするように感じる浮動性めまい、目の前の世界が真っ暗になる失神性めまいなど、被検者２の視覚に何らかの異常が生じている状態を含む。

【0015】

図１に示すように、実施の形態１に係る眼球運動データ処理システム１０は、データ処理装置１００を備える。データ処理装置１００には、ディスプレイ３００と、撮像装置４００と、キーボード５０１と、マウス５０２とが接続されている。ディスプレイ３００は、表示装置の一例である。また、キーボード５０１およびマウス５０２は、入力装置の一例である。

【0016】

一般的に、めまいの診断においては、眼振（律動的に動く眼球の不随意運動）を観察することによって行われる。眼振には、何らの刺激も与えられていない状態で自発的に起こる自発眼振と、刺激が与えられることで起こる誘発眼振とが含まれる。さらに、誘発眼振には、頭部の位置が変位したときに誘発される頭位眼振と、体の位置が変位したときに誘発される頭位変換眼振とが含まれる。誘発眼振について、特に、頭部に生理的な回転刺激などを与えると、視野を安定させるために頭部と反対に眼球が動くことが知られており、このような現象を前庭動眼反射（ＶＯＲ：Vestibulo Ocular Reflex）ともいう。

【0017】

具体的に、眼球運動データ処理システム１０では、被検者２の眼振を観察するために、被検者２の眼球を撮像装置４００で撮像し、撮像した画像データをデータ処理装置１００で加工、保存、表示などの処理を実施する。そのため、データ処理装置１００は、撮像装置４００に接続されている。撮像装置４００は、被検者２の頭部に装着するゴーグル形状の装置で、めまいの診断に用いるため被検者２の眼球を撮像し、眼球運動の画像データを取得する装置である。図１に示すように、術者１は、被検者２に撮像装置４００を装着させた状態で、眼振検査を行い、そのときに得られた被検者２の眼球運動の画像データをデータ処理装置１００に入力する。データ処理装置１００では、撮像装置４００で取得された画像データを処理して、めまいの診断に必要な情報を術者１に提供する。

【0018】

図２（Ａ）に示す撮像装置４００は、前面側に遮光カバー４０２が取り付けられた状態である。筐体４０１の上面には、データ処理装置１００と接続するための配線４０３が設けられている。なお、撮像装置４００とデータ処理装置１００との接続は、有線に限られず画像データの送信に十分な通信速度を確保できるのであれば無線であってよい。

【0019】

図２（Ｂ）に示す撮像装置４００は、上側の筐体４０１ａと、下側の筐体４０１ｂと、被検者２と接する接眼部４０１ｃとに分解されて図示されている。下側の筐体４０１ｂには、被検者２の右目を撮像する赤外線撮像装置の第１撮像部４１１と、被検者２の左目を撮像する赤外線撮像装置の第２撮像部４１２とが設けられている。一方、上側の筐体４０１ａには、図示していないが、図３に示す演算処理部４２０が設けられている。本開示では、第１撮像部４１１および第２撮像部４１２を撮像装置４００に設けた構成について説明するが、撮像装置に設ける撮像部は１つでもよく、１つの撮像部でいずれか一方の目または両方の目を撮像する構成でもよい。

【0020】

接眼部４０１ｃは、被検者２の前眼部を覆いつつ、被検者２の眼球を第１撮像部４１１および第２撮像部４１２で撮像できるように開口部４０１ｄを有している。接眼部４０１ｃは、装着時に被検者２の顔面に密着させるために適度の可撓性および弾発性を有する合成樹脂または軟質ゴムで形成されている。

【0021】

遮光カバー４０２は、たとえばマグネットが設けてあり撮像装置４００に対して簡単に取り付け、取り外しができるようになっている。遮光カバー４０２を撮像装置４００から取り外した場合、被検者２は、ホットミラー４１０を介して前方を見ることができ、視刺激信号処理装置６００から発せられる指標などを見ることができる。なお、ホットミラー４１０は、ガラスまたは樹脂の板に、可視光は透過し近赤外光は反射するコーティングを施してあり、被検者の視野を確保しつつ、眼球の赤外線画像を取得するための光学部品である。第１撮像部４１１および第２撮像部４１２は、このホットミラー４１０で反射した被検者２の眼球を撮像している。

【0022】

撮像装置４００は、図３に示すように第１撮像部４１１からの画像データＡと、第２撮像部４１２からの画像データＢとを演算処理部４２０で処理して画像データＣとしてデータ処理装置１００に送信している。第１撮像部４１１および第２撮像部４１２は、６０フレーム／秒または２４０フレーム／秒で画像を撮像することができる。また、第１撮像部４１１および第２撮像部４１２に用いる赤外線撮像素子は、例えば、赤外線を撮像できるＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、ＣＣＤ（Charge Coupled Device）などである。

【0023】

撮像装置４００は、図３に示すように被検者２の頭の動きを検出する頭部センサ４５０を筐体４０１に設けてある。頭部センサ４５０は、例えば、加速度センサ、角速度センサ、地磁気センサをそれぞれ３軸方向に設けて９つのセンサで構成する。加速度センサは、重力加速度を検知することで被検者２の頭部の姿勢を検知できる。角速度センサは、被検者２の頭部の角速度を検知できる。地磁気センサは、被検者２の頭部の向き（方位）を検知できる。演算処理部４２０では、頭部センサ４５０からの測定信号に基づき頭部角度および頭部角速度などについて演算で求める。なお、撮像装置４００では、頭部センサ４５０を設ける構成について説明するが、頭部センサ４５０を設けない構成でもあっても、頭部センサ４５０以外に、装着センサ、遮光センサなどのセンサをさらに設けてもよい。

【0024】

演算処理部４２０は、第１撮像部４１１で撮像した画像データＡと、第２撮像部４１２で撮像した画像データＢと、視刺激信号処理装置６００からの外部信号とを同期させて、画像データＣを生成する演算処理を行っている。そのため、演算処理部４２０は、画像データの処理を実行する演算主体であり、コンピュータの一例であり、たとえば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）などで構成される。また、演算処理部４２０は、画像などを記憶させるＲＡＭ（Random Access Memory）、プログラムなどが記憶されたＲＯＭ（Read only Memory）などのメモリを有している。なお、演算処理部４２０は、画像データＣを生成する構成以外に、生成した画像を外部へ送信する通信部として実行される構成も有している。

【0025】

ここで、視刺激信号処理装置６００は、図３に示すようにレーザ装置であり、スクリーンにレーザポイントを生成し視標として表示するための装置である。視刺激信号処理装置６００は、データ処理装置１００との間でデータを送受信することが可能である。

【0026】

めまいの診断で用いられる眼振検査を行う場合、図１に示すように、被検者２に撮像装置４００を装着させた状態で、被検者２の頭部の位置を変位させる必要がある。図４は、眼振検査の一例を説明するための模式図である。眼振検査は、所定の条件下において行われる。たとえば、自発眼振の検査においては、術者１は、被検者２の頭部を固定して正面で注視させた状態で、そのときの被検者２の眼球運動に基づいてめまいを診断する。頭位眼振の検査においては、図４に示すように、術者１は、被検者２の頭部の位置を様々な状態に変位させ、そのときに誘発される被検者２の眼球運動に基づいてめまいを診断する。

【0027】

このとき、最初に付けた撮像装置４００の位置から撮像装置４００の位置がずれる場合がある。撮像装置４００の位置が最初に付けた位置からずれると正確な測定ができない。そこで、データ処理装置１００では、取得した眼の画像データから被検者２の頭部と撮像装置４００（筐体４０１）とのズレ量を導出して、補正可能な範囲であれば当該ズレ量に基づいて眼球運動データを補正する。なお、データ処理装置１００は、導出したズレ量が補正可能な範囲を超えていれば、測定エラーとしてディスプレイ３００、スピーカ（図示せず）などで筐体４０１のズレを報知する。なお、ディスプレイ３００、スピーカなどは、測定エラーを使用者に報知する報知部として機能する。または、データ処理装置１００は、導出したズレ量が補正可能な範囲を超えていれば、そのタイミングで導出された眼球運動データと関連させて、その旨を示すデータを記憶装置７００（例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）など）へ記憶する。

【0028】

データ処理装置１００は、図３に示すようにＩ／Ｏインターフェイス１１０と、制御部１２０と、画像処理部１３０とを含む。Ｉ／Ｏインターフェイス１１０は、撮像装置４００の筐体４０１に保持された撮像部（第１撮像部４１１および第２撮像部４１２）で撮像した被検者の眼の画像データが入力される入力部として機能する。さらに、Ｉ／Ｏインターフェイス１１０は、ディスプレイ３００、入力装置５００などの間でも信号、データなどを入出力している。

【0029】

制御部１２０は、特徴点の移動量から被検者２と筐体４０１とのズレ量を導出し、導出したズレ量からに基づいて、眼球運動データを補正するなどの処理を実行する演算主体である。具体的に、データ処理装置１００は、コンピュータが一例であり、たとえば、ＣＰＵ、ＦＰＧＡなどが制御部１２０に相当する。また、制御部１２０は、画像などを記憶させるＲＡＭ、プログラムなどが記憶されたＲＯＭなどのメモリを有している。

【0030】

画像処理部１３０は、ＧＰＵ（Graphics Processing Unit）などで構成されており、画像データＣの画像をディスプレイ３００に表示させたり、画像データＣの画像に眼球の瞳孔の輪郭および中心を示す画像を重畳してディスプレイ３００に表示させたりすることができる。

【0031】

データ処理装置１００は、メディア読込装置を有していてもよい。メディア読込装置は、各種のプログラムおよびデータを記憶する記憶媒体を受け付け、記憶媒体からプログラムおよびデータを読み込むことができる。記憶媒体としては、ＣＤ（Compact Disk）、ＳＤカード（Secure Digital card）、ＵＳＢメモリ（Universal Serial Bus memory）などが挙げられる。本実施の形態において、ＲＯＭなどにプログラムを記憶させずに、記憶媒体に格納されたプログラムをメディア読込装置で読み込んで、メモリにプログラムを記憶させてもよい。もちろん、データ処理装置１００は、ネットワークを介してプログラムをダウンロードし、メモリにプログラムを記憶させてもよい。

【0032】

次に、データ処理装置１００が、被検者２の頭部と筐体４０１とのズレ量を導出し、導出したズレ量からに基づいて、眼球運動データなどを補正する処理について具体的に説明する。図５は、実施の形態１に係る眼球運動データ処理システム１０における被検者２の頭部と筐体４０１とのズレ量の導出処理を説明するため図である。図５に示す例では、被検者２の眼を撮像したＮフレーム目（Ｎは自然数）の画像と、Ｎ－１フレーム目の画像とに基づいて、被検者２の頭部と筐体４０１とのズレ量を導出する。なお、被検者２の頭部と筐体４０１とのズレ量の導出は、１フレーム単位ごとに行う必要はなく、数フレーム単位ごと、数十フレーム単位ごとに行ってもよい。

【0033】

まず、撮像装置４００は、第１撮像部４１１および第２撮像部４１２でＮ－１フレーム目における被検者２の眼の画像データを取得する（Ｓ１）。眼の画像データは、演算処理部４２０において、Ｎ－１フレーム目における第１撮像部４１１の画像データＡと第２撮像部４１２の画像データＢとを合わせた画像データＣとして生成され、データ処理装置１００に送られる。

【0034】

撮像装置４００は、Ｎ－１フレーム目撮像時の頭部センサ４５０から頭部角速度のデータを取得する（Ｓ２）。頭部角速度のデータは、演算処理部４２０において、Ｎ－１フレーム目撮像時のタイミングで取得した頭部センサ４５０の信号に基づいてデータＨとして生成され、データ処理装置１００に送られる。

【0035】

データ処理装置１００は、取得した画像データ（画像データＣ）から被検者２の特徴点を検出する（Ｓ３）。被検者２の目の画像データから特徴点を検出する場合、例えば、被検者２の目頭および目尻のうち少なくとも一方を特徴点とする。具体的に、図を用いて説明する。図６は、実施の形態１に係るデータ処理装置１００において処理する眼の画像データを示す図である。図６では、第１撮像部４１１で撮像した被検者２の右目の画像データＡと、第２撮像部４１２で撮像した被検者２の左目の画像データＢとを合わせた画像データＣが図示されている。

【0036】

図６を用いて、データ処理装置１００が、被検者２の左目の特異点として目頭を特定する処理を説明する。なお、制御部１２０は、あらかじめ人間の目頭の形状パターンを複数記憶してあるものとする。まず、制御部１２０は、Ｎ－１フレーム目の画像データＣを取得すると、あらかじめ記憶している目頭の形状パターンとマッチングする形状が当該画像データＣ内に存在するか否かを検出する。制御部１２０は、目頭の形状パターンと合う形状を画像データＣ内で見つけた場合、図６に示すように目頭の領域Ｒを特定する。制御部１２０は、特定した目頭の領域Ｒの左上の座標ｒを、被検者２の左目における目頭（特徴点）の位置データとして出力する。なお、画像データＣには、例えば、左上の座標を（０，０）とするｘ，ｙ座標が設定されている。なお、座標の設定は、画像データＡおよび画像データＢのそれぞれに対して行ってもよい。例えば、画像データＣの左上の座標を（０，０）として画像データＡのｘ，ｙ座標を設定し、画像データＣの右上の座標を（０，０）として画像データＢのｘ，ｙ座標を設定する。

【0037】

ここで、画像データＣから目頭の形状パターンとマッチングする領域を特定するアルゴリズムは、例えば、画像データＣ全体に対して形状パターンとの一致度（類似度）を算出し、算出した一致度（類似度）を比較し、最も一致度（類似度）が高いところを探し出す。一致度（類似度）を算出する方法として、例えば、ＳＡＤ（Sum of Absolute Difference）があり、対象画像のすべての画素において、形状パターンとの差分の絶対値を求め、その総和を一致度（類似度）とする方法がある。なお、画像データＣから目頭の形状パターンとマッチングする領域を特定するアルゴリズムは、これに限られず、公知のアルゴリズムであれば何れのアルゴリズムも適用することができる。

【0038】

次に、制御部１２０は、前フレーム（Ｎ－２フレーム）の特徴点から現フレーム（Ｎ－１フレーム）の特徴点への変化から被検者２の頭部と筐体４０１とのズレ量を導出する（Ｓ４）。なお、Ｎ＝１の場合、前フレーム（Ｎ－２フレーム）が存在しないので、制御部１２０は、被検者２の頭部と筐体４０１とのズレ量の導出を行わない。

【0039】

さらに、制御部１２０は、導出した被検者２の頭部と筐体４０１とのズレ量から、画像データＣにおける眼球の位置、および頭部角速度のデータを補正する（Ｓ５）。なお、Ｎ＝１の場合、前フレーム（Ｎ－２フレーム）が存在しないので、制御部１２０は、被検者２の頭部と筐体４０１とのズレ量が導出できないので、画像データＣにおける眼球の位置、および頭部角速度のデータについて補正を行わない。

【0040】

制御部１２０は、補正した画像データＣにおける眼球の位置、および頭部角速度のデータを取得し、保存する（Ｓ６）。なお、Ｎ＝１の場合、前フレーム（Ｎ－２フレーム）が存在しないので、制御部１２０は、最初の画像データＣにおける眼球の位置、および頭部角速度のデータを取得し、保存する。

【0041】

次に、撮像装置４００は、第１撮像部４１１および第２撮像部４１２でＮフレーム目における被検者２の眼の画像を取得する（Ｓ１１）。眼の画像は、演算処理部４２０において、Ｎフレーム目における第１撮像部４１１の画像データＡと第２撮像部４１２の画像データＢとを合わせた画像データＣとして生成され、データ処理装置１００に送られる。

【0042】

撮像装置４００は、Ｎフレーム目撮像時の頭部センサ４５０から頭部角速度のデータを取得する（Ｓ１２）。頭部角速度のデータは、演算処理部４２０において、Ｎフレーム目撮像時のタイミングで取得した頭部センサ４５０の信号に基づいてデータＨとして生成され、データ処理装置１００に送られる。

【0043】

データ処理装置１００は、取得した画像データ（画像データＣ）から被検者２の特徴点を検出する（Ｓ１３）。被検者２の目の画像から特徴点を検出する場合、例えば、被検者２の目頭および目尻のうち少なくとも一方を特徴点とする。図６で説明したように、制御部１２０は、目頭の形状パターンと合う形状を画像データＣ内で見つけた場合、目頭の領域Ｒを特定する。制御部１２０は、特定した目頭の領域Ｒの左上の座標ｒを、被検者２の左目における目頭（特徴点）の位置データとして出力する。

【0044】

次に、制御部１２０は、前フレーム（Ｎ－１フレーム）の特徴点から現フレーム（Ｎフレーム）の特徴点への変化から被検者２の頭部と筐体４０１とのズレ量を導出する（Ｓ１４）。さらに、制御部１２０は、導出した被検者２の頭部と筐体４０１とのズレ量から、画像データＣにおける眼球の位置、および頭部角速度のデータを補正する（Ｓ１５）。図７は、実施の形態１に係るデータ処理装置１００において画像データＣにおける眼球の位置、および頭部角速度のデータを補正する処理を説明するための概略図である。なお、図７では、説明を分かりやすくするため、被検者２の左目および領域Ｒ以外の図示を省略している。

【0045】

図７（ａ）は、被検者２の頭部と筐体４０１とのズレ量に基づいて画像データＣにおける眼球の位置を補正する処理を説明する図である。制御部１２０は、図７（ａ）に示すように、Ｎ－１フレーム目の座標ｒ（Ｎ－１）が（Ａ，Ｂ）で、Ｎフレーム目の座標ｒ（Ｎ）が（Ａ＋ａ，Ｂ＋ｂ）である場合、被検者２の頭部と筐体４０１とのズレ量を（ａ，ｂ）と導出できる。制御部１２０は、導出したズレ量を（ａ，ｂ）に基づいて、Ｎ－１フレーム目の画像データＣの座標（ａ，ｂ）をＮフレーム目の画像データＣの座標（０，０）として、画像データＣにおける眼球の位置を補正する。

【0046】

図７（ｂ）は、被検者２の頭部と筐体４０１とのズレ量に基づいて頭部角速度のデータを補正する処理を説明する図である。制御部１２０は、図７（ｂ）に示すように、Ｎ－１フレーム目の座標ｒ（Ｎ－１）と、Ｎフレーム目の座標ｒ（Ｎ）との回転中心Ｏ１における成す角θを被検者２の頭部と筐体４０１とのズレ量と導出する。制御部１２０は、１フレームの時間と、ズレ量θとから角速度の補正値を求め、当該補正値を頭部角速度のデータに対して増減を行う。なお、ズレ量θは、時計回りを正、反時計回りを負とする。また、正確に頭部角速度のデータを補正するには、頭部角速度の回転中心Ｏと、回転中心Ｏ１との差異を考慮する必要がある。

【0047】

制御部１２０は、さらに第１画像４１から眼球水平角度（右）、眼球垂直角度（右）、および眼球回旋角度（右）について、第２画像４２から眼球水平角度（左）、眼球垂直角度（左）、および眼球回旋角度（左）についてそれぞれ演算で求める。具体的に、制御部１２０は、第１画像４１および第２画像４２のフレーム毎に検出したそれぞれの眼球の瞳孔の輪郭および中心の位置を求め、当該位置から眼球水平角度（右，左）、眼球垂直角度（右，左）、および眼球回旋角度（右，左）を算出する。制御部１２０は、ズレ量に基づいて画像データＣにおける眼球の位置を補正した値を用いて、眼球水平角度（右，左）、眼球垂直角度（右，左）、および眼球回旋角度（右，左）を算出しているので、被検者２と筐体４０１とのズレを測定結果から無視することができる。

【0048】

なお、制御部１２０は、ズレ量に基づいて画像データＣにおける眼球の位置を補正するのではなく、算出した眼球水平角度（右，左）、眼球垂直角度（右，左）、および眼球回旋角度（右，左）に対してズレ量を適用して補正を行ってもよい。同じように、被検者２と筐体４０１とのズレを測定結果から無視することができる。ここで、眼球水平角度（右，左）、眼球垂直角度（右，左）、および眼球回旋角度（右，左）は、眼球運動データの一例である。眼球運動データは、被検者２の眼球の水平方向、垂直方向、および回旋方向の動きのうち少なくとも１つの動きのデータを含めばよい。

【0049】

しかし、被検者２の頭部と筐体４０１とのズレ量が大きい場合、眼球運動データを算出することができない。そこで、制御部１２０は、導出したズレ量が補正可能な範囲内か否かを判断して、導出したズレ量が補正可能な範囲を超えていれば、測定エラーとして再測定を術者１に促してもよい。具体的に、フローチャートを用いて、導出したズレ量が補正可能な範囲内か否かを判断する処理を説明する。図８は、実施の形態１に係るデータ処理装置１００におけるデータ処理を説明するためのフローチャートである。

【0050】

まず、制御部１２０は、Ｎ－１フレーム目の処理を開始する（ステップＳ１０１）。制御部１２０は、第１撮像部４１１および第２撮像部４１２で撮像したＮ－１フレーム目における被検者２の眼の画像データ（画像データＣ）が入力される（ステップＳ１０２）。被検者２の眼の画像データ（画像データＣ）が入力されていない場合（ステップＳ１０２でＮＯ）、制御部１２０は、処理をステップＳ１０２に戻して、被検者２の眼の画像データ（画像データＣ）が入力される状態を続ける。

【0051】

被検者２の眼の画像データ（画像データＣ）が入力された場合（ステップＳ１０２でＹＥＳ）、制御部１２０は、画像データＣにおいて被検者２の目頭を特徴点として特定する（ステップＳ１０３）。制御部１２０は、例えば画像のパターンマッチングで画像データＣから被検者２の目頭の領域を探し出し、当該領域を特徴点として特定する。

【0052】

制御部１２０は、特徴点として特定した目頭の領域の左上の座標を目頭の位置として記憶部に保持する（ステップＳ１０４）。目頭の領域の左上の座標を目頭の位置とするのは一例であり、当該領域に右下の座標、当該領域の中心座標、当該領域の重心座標などでもよい。

【0053】

次に、制御部１２０は、Ｎフレーム目の処理を開始する（ステップＳ１０５）。制御部１２０は、第１撮像部４１１および第２撮像部４１２で撮像したＮフレーム目における被検者２の眼の画像データ（画像データＣ）が入力される（ステップＳ１０６）。被検者２の眼の画像データ（画像データＣ）が入力されない場合（ステップＳ１０６でＮＯ）、制御部１２０は、処理をステップＳ１０６に戻して、被検者２の眼の画像データ（画像データＣ）が入力される状態を続ける。

【0054】

被検者２の眼の画像データ（画像データＣ）が入力された場合（ステップＳ１０６でＹＥＳ）、制御部１２０は、画像データＣにおいて被検者２の目頭を特徴点として特定する（ステップＳ１０７）。制御部１２０は、例えば画像のパターンマッチングで画像データＣから被検者２の目頭の領域を探し出し、当該領域を特徴点として特定する。

【0055】

制御部１２０は、Ｎ－１フレーム目の画像から特徴点として特定した目頭の位置に対して、Ｎフレーム目の画像から特徴点として特定した目頭の位置のズレ量（目頭のズレ量）を導出する（ステップＳ１０８）。なお、目頭のズレ量には、画像のｘ，ｙ座標のズレ量以外に、角速度のズレ量を含んでもよい。

【0056】

制御部１２０は、目頭のズレ量が閾値以下か否かを判断する（ステップＳ１０９）。ここで、閾値は、補正可能な範囲に設定してあり、例えば、被検者２の眼球の瞳孔や虹彩模様の一部が撮像領域外とならない距離を補正可能な範囲とする。

【0057】

目頭のズレ量が閾値以下と判断した場合（ステップＳ１０９でＹＥＳ）、制御部１２０は、目頭のズレ量に基づいて眼球運動データを補正する（ステップＳ１１０）。ここで、制御部１２０は、目頭のズレ量が０である場合は、眼球運動の補正をしない。なお、制御部１２０は、目頭のズレ量に基づいて画像データにおける眼球の位置を補正し、補正した眼球の位置から眼球運動データを算出してもよい。また、制御部１２０は、画像処理を伴うので処理負荷が重い場合、ステップＳ１１０において目頭のズレ量に基づいて眼球運動データを補正せず、目頭のズレ量のみを出力し、検査後に眼球運動データを補正してもよい。これにより、制御部１２０は、メイン機能であるめまい診断機能へ悪影響を及ぼす可能性を抑えることができる。制御部１２０は、一定の場合（例えば、制御部１２０の処理能力が高い場合など）にはステップＳ１１０において目頭のズレ量に基づいて眼球運動データを補正を実行してもよい。

【0058】

制御部１２０は、術者１から検査終了の操作を受け付けたか否かを判断する（ステップＳ１１１）。術者１から検査終了の操作は、例えばディスプレイ３００に表示されている検査終了ボタンをマウス５０２でクリックする操作などが含まれる。検査終了の操作を受け付けていないと判断した場合（ステップＳ１１１でＮＯ）、制御部１２０は、Ｎ＝Ｎ＋１とＮ値を更新する（ステップＳ１１２）。制御部１２０は、ステップＳ１１２後に、処理をステップＳ１０６に戻し、検査を継続する。一方、検査終了の操作を受け付けたと判断した場合（ステップＳ１１１でＹＥＳ）、制御部１２０は、検査を終了する。

【0059】

目頭のズレ量が閾値より大きいと判断した場合（ステップＳ１０９でＮＯ）、制御部１２０は、ゴーグル（撮像装置４００）のズレを術者１に報知する（ステップＳ１１３）。具体的に、被検者２からゴーグルがずれたことを示す警告音をスピーカから出力する、または警告表示をディスプレイ３００に表示する。制御部１２０は、被検者２からゴーグルがずれて正しい検査ができないと判断して、ゴーグルのズレを術者１に報知した後、処理を終了する。なお、検査終了する際に、制御部１２０は、ゴーグルがずれた眼球運動データを自動的に記憶装置７００から削除してもよい。逆に、制御部１２０は、導出したズレ量が閾値より大きいと判断した場合（ステップＳ１０９でＮＯ）、そのタイミングで導出された眼球運動データと関連させて、その旨を示すデータを記憶装置７００に記憶してもよい。

【0060】

撮像装置４００は、筐体４０１内に第１撮像部４１１および第２撮像部４１２の２つの撮像部が保持され、被検者２のそれぞれの眼を個別に撮影している。そのため、制御部１２０は、第１撮像部４１１および第２撮像部４１２で撮像した個別の眼の画像に基づいて、被検者２の頭部と筐体４０１とのズレ量をそれぞれ導出することができる。前述の説明では、制御部１２０が、被検者２の左目の画像データＢに基づいて、被検者２の頭部と筐体４０１とのズレ量を導出することを説明したが、被検者２の右目の画像データＡについても右目の目頭を特異点として特定して被検者２の頭部と筐体４０１とのズレ量を同様に導出することができる。これにより、制御部１２０は、画像データＡでのズレ量に基づいて、画像データＡにおける眼球の位置、および頭部角速度のデータを補正し、画像データＢでのズレ量に基づいて、画像データＢにおける眼球の位置、および頭部角速度のデータを補正することが可能となる。

【0061】

もちろん、制御部１２０は、被検者２の右目または左目の一方の画像から目頭を特異点として特定して被検者２の頭部と筐体４０１とのズレ量を導出し、被検者２の両目の画像データにおける眼球の位置、および頭部角速度のデータを補正してもよい。

【0062】

（実施の形態２）
実施の形態１に係る眼球運動データ処理システム１０では、データ処理装置１００が画像のパターンマッチングで画像データＣから被検者２の目頭の領域を探し出し、当該領域を特徴点として特定すると説明した。本実施の形態では、特徴点である被検者２の目頭の領域を特定するためにＡＩ（Artificial Intelligence）を用いたデータの分析・学習を活用する。

【0063】

実施の形態１に係る眼球運動データ処理システムは、図１～図３に示した眼球運動データ処理システム１０の構成と同じ構成であり、同じ構成については同じ符号を付して詳細な説明を繰り返さない。データ処理装置１００は、撮像装置４００で撮像した画像データに基づき、画像の中から特徴点を推定する推定部を有している。なお、推定部は、制御部１２０において実行されるプログラムにより実現できる。

【0064】

図９は、実施の形態２に係るデータ処理装置において推定モデルを用いて特徴点を推定する処理を説明するためのブロック図である。推定部１４０は、撮像装置４００で撮像した画像データＣと、ニューラルネットワーク１７２を含む推定モデル１７１とに基づき、被検者２の目頭の領域を探し出し、当該領域を特徴点として推定する。推定部１４０は、推定した目頭の領域Ｒの枠を重畳した画像データＣａを出力する。なお、画像データＣは、被検者２の眼を含む画像データである。また、領域Ｒは、矩形の領域であり、図９で示すように長方形であってもよい。

【0065】

ここで、推定モデル１４１は、ニューラルネットワーク１４２と、当該ニューラルネットワーク１４２によって用いられるパラメータ１４３とを含む。パラメータ１４３は、ニューラルネットワーク１４２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか１つを含む。

【0066】

ニューラルネットワーク１４２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。

【0067】

推定モデル１４１は、学習段階において、被検者２の眼を含む画像データと、目頭の領域を特定した結果とに基づき学習されることで最適化（調整）される。具体的に、図１０は、実施の形態２に係るデータ処理装置１００において推定モデルの学習段階を説明するためのブロック図である。推定モデル１４１は、図１０に示すように、教師データとして目頭の領域Ｒ１を特定した画像データＣｂが入力されると、当該画像データＣｂに基づきニューラルネットワーク１４２によって被検者２の眼の画像から目頭の領域を推定する。そして、推定モデル１４１は、自身の推定結果と、入力された画像データＣｂに関連付けられた正解データである目頭の領域Ｒ１とが一致するか否かを判定し、両者が一致すればパラメータ１４３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１４３を更新することで、パラメータ１４３を最適化する。なお、推定モデル１４１の学習は、学習段階に限らず、運用段階においても行われてもよい。

【0068】

推定部１４０は、撮像装置４００で撮像した画像データＣと、ニューラルネットワーク１７２を含む推定モデル１７１とに基づき、被検者２の目頭の領域Ｒを推定する。制御部１２０は、特定した目頭の領域Ｒ、つまり、矩形の領域Ｒの左上の座標ｒを、被検者２の左目における目頭（特徴点）の位置データとして出力する。実施の形態１で説明したように、制御部１２０は、前フレーム（Ｎ－１フレーム）の特徴点から現フレーム（Ｎフレーム）の特徴点への変化から被検者２の頭部と筐体４０１とのズレ量を導出し、導出した被検者２の頭部と筐体４０１とのズレ量から、画像データＣにおける眼球の位置、および頭部角速度のデータを補正する。

【0069】

これにより、推定部１４０は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像データに基づき、正確かつ容易に被検者２の特徴点（目頭の領域Ｒ）を推定することができ、より利便性のある歯科診療を実現することができる。

【0070】

推定部１４０は、データ処理装置１００内に設ける場合に限られず、データ処理装置１００が設置された空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、推定部１４０は、データ処理装置１００に接続されるとともに、他の場所に設置された複数のデータ処理装置１００にも接続され、これら複数のデータ処理装置１００の各々について、画像データに基づき被検者２の特徴点を推定してもよい。このようにすれば、推定部１４０による機械学習の頻度がさらに上がり、推定部１４０は、より精度良く被検者２の特徴点を推定することができる。

【0071】

［変形例について］
実施の形態１および２に係る眼球運動データ処理システム１０では、データ処理装置１００が特徴点の変化から被検者２の頭部と筐体４０１とのズレ量を導出し、導出した被検者２の頭部と筐体４０１とのズレ量から、画像データＣにおける眼球の位置、および頭部角速度のデータを補正すると説明した。しかし、撮像装置４００に設けた演算処理部４２０の処理能力が高ければ、演算処理部４２０が特徴点の変化から被検者２の頭部と筐体４０１とのズレ量を導出し、導出した被検者２の頭部と筐体４０１とのズレ量から、画像データＣにおける眼球の位置、および頭部角速度のデータを補正してもよい。

【0072】

これにより、撮像装置４００から出力される画像データＣは、被検者２と筐体４０１とのずれが考慮された画像データとなり、データ処理装置１００での処理負担が軽減される。

【0073】

実施の形態１および２に係る眼球運動データ処理システム１０では、目頭の形状を含む矩形の領域Ｒを探し出すことで目頭（特徴点）の位置データを特定すると説明したが、目頭または目尻の端部を探し出して、当該端部の位置を、目頭または目尻の特徴点の位置データとして特定してもよい。また、実施の形態１および２に係る眼球運動データ処理システム１０では、目頭または目尻を含む領域Ｒを矩形で特定するのではなく他の形状（例えば、三角形、円など）で特定してもよい。例えば、目頭または目尻を含む領域Ｒを三角形で特定した場合、三角形の重心座標を、目頭または目尻を含む領域Ｒを円で特定した場合、円の中心座標をそれぞれ目頭または目尻の特徴点の位置データとして特定する。

【0074】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0075】

１ 術者、２ 被検者、１０ 眼球運動データ処理システム、１００ データ処理装置、１１０ Ｉ／Ｏインターフェイス、１２０ 制御部、１３０ 画像処理部、１４０ 推定部、３００ ディスプレイ、４００ 撮像装置、４０１，４０１ａ，４０１ｂ 筐体、４０１ｃ 接眼部、４０１ｄ 開口部、４０２ 遮光カバー、４０３ 配線、４１０ ガラス板、４１１ 第１撮像部、４１２ 第２撮像部、４２０ 演算処理部、４５０ 頭部センサ、５０１ キーボード、５０２ マウス、６００ 刺激信号処理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】