知財求人 - 知財ポータルサイト「IP Force」
特開2024-105203眼科システム、眼科装置、情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024105203
(43)【公開日】2024-08-06
(54)【発明の名称】眼科システム、眼科装置、情報処理方法、及びプログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20240730BHJP
【ＦＩ】
A61B3/10
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2024008116
(22)【出願日】2024-01-23
(31)【優先権主張番号】63/481,526
(32)【優先日】2023-01-25
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
２．ＴＥＮＳＯＲＦＬＯＷ
３．ＭＡＴＬＡＢ
(71)【出願人】
【識別番号】520228991
【氏名又は名称】ＤｅｅｐＥｙｅＶｉｓｉｏｎ株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】シアマック ヨーゼフィ
(72)【発明者】
【氏名】▲高▼橋 秀徳
(72)【発明者】
【氏名】ハゼム アブデルモタール
(72)【発明者】
【氏名】ロッセン ミハイロフ ハザルバッサノフ
(72)【発明者】
【氏名】アリ エイチ． アルーティメミー
(72)【発明者】
【氏名】アレクサンドル ラブリック
【テーマコード（参考）】
4C316
【Ｆターム（参考）】
4C316AA02
4C316AA03
4C316AA24
4C316AA25
4C316AB01
4C316FA20
4C316FB05
4C316FB21
4C316FB22
4C316FB26
4C316FB27
4C316FZ01
(57)【要約】
【課題】眼科の効率的な診断を支援すること。
【解決手段】被検者に対向する撮像装置により撮像される被検眼の動画像を取得する取得部と、前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する解析部と、前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する評価部と、前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成する診断支援情報生成部と、前記診断支援情報の出力を制御する出力制御部と、を有する、眼科システム。
【選択図】図３
【解決手段】被検者に対向する撮像装置により撮像される被検眼の動画像を取得する取得部と、前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する解析部と、前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する評価部と、前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成する診断支援情報生成部と、前記診断支援情報の出力を制御する出力制御部と、を有する、眼科システム。
【選択図】図３
【特許請求の範囲】
【請求項1】
被検者に対向する撮像装置により撮像される被検眼の動画像を取得する取得部と、
前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する解析部と、
前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する評価部と、
前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成する診断支援情報生成部と、
前記診断支援情報の出力を制御する出力制御部と、
を有する、眼科システム。
前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する解析部と、
前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する評価部と、
前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成する診断支援情報生成部と、
前記診断支援情報の出力を制御する出力制御部と、
を有する、眼科システム。
【請求項2】
前記眼疾患が、ドライアイであり、
前記被検眼表面の特徴が、前記被検眼における瞬目前後の干渉縞及び／又は涙液メニスカス高である、
請求項１に記載の眼科システム。
前記被検眼表面の特徴が、前記被検眼における瞬目前後の干渉縞及び／又は涙液メニスカス高である、
請求項１に記載の眼科システム。
【請求項3】
前記眼疾患が、円錐角膜であり、
前記被検眼表面の特徴が、前記被検眼に対する外部ストレスに対する応答として現れる前記被検眼の角膜形状の動きである、
請求項１に記載の眼科システム。
前記被検眼表面の特徴が、前記被検眼に対する外部ストレスに対する応答として現れる前記被検眼の角膜形状の動きである、
請求項１に記載の眼科システム。
【請求項4】
前記分類群は、前記被検眼が前記眼疾患に罹患している可能性の高さに応じた分類群であり、前記可能性が第１基準値以上である群と、前記可能性が第２基準値以下である群とを含む、
請求項１から３のいずれか一項に記載の眼科システム。
請求項１から３のいずれか一項に記載の眼科システム。
【請求項5】
前記解析部及び／又は前記評価部は、参照眼の動画像に基づいて訓練された学習済み数理モデルを使用し、前記学習済み数理モデルの訓練に用いられる参照眼の動画像は、参照眼の患者により回答される主観的な報告に関する指標及び／又は医師により回答される臨床パラメータの指標を用いて前記眼疾患に関して分類され、当該分類結果をラベル付けされた動画像である、
請求項１から３のいずれか一項に記載の眼科システム。
請求項１から３のいずれか一項に記載の眼科システム。
【請求項6】
前記解析部は、前記動画像を構成する１以上の各フレームを逐次的に処理することにより、前記特徴に関する情報の分布の経時的な変化を解析し、
前記評価部は、前記解析対象領域と前記特徴に関する情報の分布と前記分布の経時的な変化との少なくとも１つ以上に基づいて、前記被検眼が前記眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する、
請求項１から３のいずれか一項に記載の眼科システム。
前記評価部は、前記解析対象領域と前記特徴に関する情報の分布と前記分布の経時的な変化との少なくとも１つ以上に基づいて、前記被検眼が前記眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する、
請求項１から３のいずれか一項に記載の眼科システム。
【請求項7】
前記解析部は、前記動画像を構成する１以上のフレームを処理した結果を比較することにより、前記特徴に関する情報の分布の経時的な変化を評価し、
前記評価部は、前記解析対象領域と前記特徴に関する情報の分布と前記分布の経時的な変化との少なくとも１つ以上に基づいて、前記被検眼が前記眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する、
請求項１から３のいずれか一項に記載の眼科システム。
前記評価部は、前記解析対象領域と前記特徴に関する情報の分布と前記分布の経時的な変化との少なくとも１つ以上に基づいて、前記被検眼が前記眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する、
請求項１から３のいずれか一項に記載の眼科システム。
【請求項8】
前記解析部は、前記解析対象領域における前記特徴に関する情報の分布に基づいて、前記解析対象領域を所定の比率で区分した１以上の各区分の重要度を算出し、前記重要度が所定の閾値以上である区画の空間的及び／又は時間的分布を解析し、
前記評価部は、前記解析対象領域と前記特徴に関する情報の分布と前記区分の分布との少なくとも１つ以上に基づいて、前記被検眼が前記眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記被検眼の罹患に関する所定の分類群に分類した分類結果を生成する、
請求項１から３のいずれか一項に記載の眼科システム。
前記評価部は、前記解析対象領域と前記特徴に関する情報の分布と前記区分の分布との少なくとも１つ以上に基づいて、前記被検眼が前記眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記被検眼の罹患に関する所定の分類群に分類した分類結果を生成する、
請求項１から３のいずれか一項に記載の眼科システム。
【請求項9】
前記分類群は、前記被検眼が前記眼疾患に罹患している可能性の高さに応じた分類群であり、前記可能性が第１基準値以上である群と、前記可能性が第２基準値以上である群とを含み、
前記診断支援情報は、前記被検眼を前記分類群に分類した分類結果と、前記分類結果の生成の根拠となった１以上のフレームに基づいて生成される静止画像及び／又は１以上の動画像とを含む、
請求項１から３のいずれか一項に記載の眼科システム。
前記診断支援情報は、前記被検眼を前記分類群に分類した分類結果と、前記分類結果の生成の根拠となった１以上のフレームに基づいて生成される静止画像及び／又は１以上の動画像とを含む、
請求項１から３のいずれか一項に記載の眼科システム。
【請求項10】
一又は複数のコンピュータが、
被検者に対向する撮像装置により撮像される被検眼の動画像を取得するステップと、
前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析するステップと、
前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成するステップと、
前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成するステップと、
前記診断支援情報の出力を制御するステップと、
を含む、情報処理方法。
被検者に対向する撮像装置により撮像される被検眼の動画像を取得するステップと、
前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析するステップと、
前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成するステップと、
前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成するステップと、
前記診断支援情報の出力を制御するステップと、
を含む、情報処理方法。
【請求項11】
一又は複数のコンピュータに、
被検者に対向する撮像装置により撮像される被検眼の動画像を取得するステップと、
前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析するステップと、
前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成するステップと、
前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成するステップと、
前記診断支援情報の出力を制御するステップと、
を実行させる、プログラム。
被検者に対向する撮像装置により撮像される被検眼の動画像を取得するステップと、
前記動画像に基づいて、前記被検眼における解析対象領域を特定し、前記解析対象領域において、前記被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析するステップと、
前記特徴に関する情報の分布に基づいて、前記被検眼が所定の眼疾患に罹患している可能性を評価し、前記可能性の高さに応じて、前記被検眼を前記眼疾患の罹患に関する所定の分類群に分類した分類結果を生成するステップと、
前記分類結果に基づいて、前記被検眼における前記眼疾患の診断を支援する診断支援情報を生成するステップと、
前記診断支援情報の出力を制御するステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、眼科システム、眼科装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
眼科では、画像を基に被検眼の状態を評価し、診断や診療的判断を行うことがよく行われており、眼科画像の画像処理に関する多くの手段が開発されている。例えば、特許文献１に記載されるように、角膜の状態を評価する手段として、角膜トポグラフィーは被検眼の状態を検査するために臨床現場で広く使用されている。
【0003】
しかしながら、角膜トポグラフィーを用いた判断は、トポグラフィーマップの主観的観察の結果に依拠することから、先入観が介入する懸念がある。また、角膜の前方突出を特徴とする円錐角膜や、涙液層の不安定化を特徴とするドライアイ等、様々な疾患に適応することができる手段の開発が求められている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－９８０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の目的の１つは、眼科の効率的な診断を支援することにある。
【課題を解決するための手段】
【0006】
本開示の一態様に係る眼科システムは、被検者に対向する撮像装置により撮像される被検眼の動画像を取得する取得部と、当該動画像に基づいて、当該被検眼における解析対象領域を特定し、当該解析対象領域において、当該被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する解析部と、当該特徴に関する情報の分布に基づいて、当該被検眼が所定の眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を当該眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する評価部と、当該分類結果に基づいて、当該被検眼における当該眼疾患の診断を支援する診断支援情報を生成する診断支援情報生成部と、当該診断支援情報の出力を制御する出力制御部と、を有する。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
【0007】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、眼疾患が、ドライアイであり、被検眼表面の特徴が、前記被検眼における瞬目前後の干渉縞及び／又は涙液メニスカス高である。
この態様によれば、眼科システムは、ドライアイの効率的な診断を支援することができる。
この態様によれば、眼科システムは、ドライアイの効率的な診断を支援することができる。
【0008】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、眼疾患が、円錐角膜であり、被検眼の眼表面の特徴が、被検眼に対する外部ストレスに対する応答として現れる被検眼の角膜形状の動きである。
この態様によれば、眼科システムは、円錐角膜の効率的な診断を支援することできる。
この態様によれば、眼科システムは、円錐角膜の効率的な診断を支援することできる。
【0009】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、分類群は、被検眼が眼疾患に罹患している可能性の高さに応じた分類群であり、当該可能性が第１基準値以上である群と、当該可能性が第２基準値以下である群とを含む。
この態様によれば、眼科システムは、被検眼が眼疾患に罹患している可能性の高さに応じて分類を行うことができ、眼科の効率的な診断を支援することができる。
この態様によれば、眼科システムは、被検眼が眼疾患に罹患している可能性の高さに応じて分類を行うことができ、眼科の効率的な診断を支援することができる。
【0010】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、解析部及び／又は評価部は、参照眼の動画像に基づいて訓練された学習済み数理モデルを使用し、当該学習済み数理モデルの訓練に用いられる参照眼の動画像は、参照眼の患者により回答される主観的な報告に関する指標及び／又は医師により回答される臨床パラメータの指標を用いて所定の眼疾患に関して分類され、当該分類結果をラベル付けされた動画像である。
この態様によれば、眼科システムは、学習済み数理モデルを用いて分類の精度を向上させることができる。
この態様によれば、眼科システムは、学習済み数理モデルを用いて分類の精度を向上させることができる。
【0011】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、解析部は、当該動画像を構成する１以上の各フレームを逐次的に処理することにより、当該特徴に関する情報の分布の経時的な変化を解析し、評価部は、当該解析対象領域と当該特徴に関する情報の分布と当該分布の経時的な変化との少なくとも１つ以上に基づいて、当該被検眼が当該眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を所定の眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する。
この態様によれば、眼科システムは、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
この態様によれば、眼科システムは、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
【0012】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、解析部は、当該動画像を構成する１以上の各フレームを処理した結果を比較することにより、当該特徴に関する情報の分布の経時的な変化を解析し、評価部は、当該解析対象領域と当該特徴に関する情報の分布と当該分布の経時的な変化との少なくとも１つ以上に基づいて、当該被検眼が当該眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を所定の眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する。
この態様によれば、眼科システムは、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
この態様によれば、眼科システムは、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
【0013】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、解析部は、当該解析対象領域における当該特徴に関する情報の分布に基づいて、当該解析対象領域を所定の比率で区分した１以上の各区分の重要度を算出し、当該重要度が所定の閾値以上である区画の空間的及び／又は時間的分布を解析し、評価部は、当該解析対象領域と当該特徴に関する情報の分布と当該区分の分布との少なくとも１つ以上に基づいて、当該被検眼が当該眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を当該被検眼の罹患に関する所定の分類群に分類した分類結果を生成する。
この態様によれば、眼科システムは、被検眼表面の特徴に関する情報の分布に基づく重要度の高い領域の分布を用いて評価を行うことができる。
この態様によれば、眼科システムは、被検眼表面の特徴に関する情報の分布に基づく重要度の高い領域の分布を用いて評価を行うことができる。
【0014】
本開示の一態様に係る眼科システムは、上記眼科システムにおいて、分類群は、当該被検眼が当該眼疾患に罹患している可能性の高さに応じた分類群であり、当該可能性が第１基準値以上である群と、当該可能性が第２基準値以上である群とを含み、記診断支援情報は、当該被検眼を当該分類群に分類した分類結果と、当該分類結果の生成の根拠となった１以上のフレームに基づいて生成される静止画像及び／又は１以上の動画像とを含む。
この態様によれば、眼科システム１は、ユーザに本実施形態の眼科システムの分類判断の根拠となったフレームを視認可能に提示することができるので、診断支援情報の信頼性を高めることができる。
この態様によれば、眼科システム１は、ユーザに本実施形態の眼科システムの分類判断の根拠となったフレームを視認可能に提示することができるので、診断支援情報の信頼性を高めることができる。
【0015】
本開示の他の態様に係る情報処理方法は、一又は複数のコンピュータが、被検者に対向する撮像装置により撮像される被検眼の動画像を取得するステップと、当該動画像に基づいて、当該被検眼における解析対象領域を特定し、当該解析対象領域において、当該被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析するステップと、当該特徴に関する情報の分布に基づいて、当該被検眼が所定の眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を当該眼疾患の罹患に関する所定の分類群に分類した分類結果を生成するステップと、当該分類結果に基づいて、当該被検眼における当該眼疾患の診断を支援する診断支援情報を生成するステップと、当該診断支援情報の出力を制御するステップと、を含む。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
【0016】
本開示の他の態様に係るプログラムは、一又は複数のコンピュータに、被検者に対向する撮像装置により撮像される被検眼の動画像を取得するステップと、当該動画像に基づいて、当該被検眼における解析対象領域を特定し、当該解析対象領域において、当該被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析するステップと、当該特徴に関する情報の分布に基づいて、当該被検眼が所定の眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を当該眼疾患の罹患に関する所定の分類群に分類した分類結果を生成するステップと、当該分類結果に基づいて、当該被検眼における当該眼疾患の診断を支援する診断支援情報を生成するステップと、当該診断支援情報の出力を制御するステップと、を実行させる。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
【0017】
本開示の他の態様に係る眼科装置は、被検者に対向する撮像装置により撮像される被検眼の動画像を取得する取得部と、当該動画像に基づいて、当該被検眼における解析対象領域を特定し、当該解析対象領域において、当該被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する解析部と、当該特徴に関する情報の分布に基づいて、当該被検眼が所定の眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を当該眼疾患の罹患に関する所定の分類群に分類した分類結果を生成する評価部と、当該分類結果に基づいて、当該被検眼における当該眼疾患の診断を支援する診断支援情報を生成する診断支援情報生成部と、当該診断支援情報の出力を制御する出力制御部と、を有する。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
この態様によれば、眼科システムは、眼科の効率的な診断を支援することができる。
【発明の効果】
【0018】
本開示によれば、眼科の効率的な診断を支援することができる。
【図面の簡単な説明】
【0019】
【図1】本開示の一態様に係る眼科システムの構成例を示す図である。
【図2】本開示の一態様に係る眼科装置のハードウェア構成例を示す図である。
【図3】本開示の一態様に係る眼科装置の機能構成例を示す図である。
【図4】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図5】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図6】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図7】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図8】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図9】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図10】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図11】本開示の一態様に係る眼科システムによる処理フロー例を示す図である。
【図12】学習済み数理モデルの構成例を示す図である。
【図13】試験例１を説明するための図である。
【図14】試験例１を説明するための図である。
【図15】試験例１を説明するための図である。
【図16】試験例１を説明するための図である。
【図17】試験例１を説明するための図である。
【図18】試験例１を説明するための図である。
【図19】試験例１を説明するための図である。
【図20】試験例２を説明するための図である。
【図21】試験例２を説明するための図である。
【図22】試験例２を説明するための図である。
【図23】試験例２を説明するための図である。
【図24】試験例２を説明するための図である。
【図25】試験例２を説明するための図である。
【図26】試験例２を説明するための図である。
【図27】試験例２を説明するための図である。
【図28】試験例２を説明するための図である。
【図29】試験例２を説明するための図である。
【図30】試験例２を説明するための図である。
【図31】試験例３を説明するための図である。
【図32】試験例３を説明するための図である。
【図33】試験例３を説明するための図である。
【図34】試験例３を説明するための図である。
【図35】試験例３を説明するための図である。
【図36】試験例３を説明するための図である。
【発明を実施するための形態】
【0020】
添付図面を参照して、本発明の実施形態（以下、「本実施形態」と称する。）について説明する。以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。例えば、情報処理のステップは、処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。各図において、同一の符号を付したものは、同一又は同様の構成を有する。図面の寸法比率は図示の比率に限られるものではない。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。
【0021】
＜システム構成＞
図１は、本実施形態に係る眼科システム１の構成例を示す図である。
図１に示す眼科システム１は、眼科装置１０と、１つ以上の撮像装置２０と、を備える。図１に示すように、眼科装置１０と、撮像装置２０とは、インターネット、イントラネット、無線ＬＡＮ又は移動通信等の無線又は有線の通信ネットワークを介して通信可能に接続されていてもよい。
本開示において、眼科システム１が撮像装置２０を備えるとして説明するが、眼科システム１は、眼科装置１０を備えている限り、必ずしも撮像装置２０の構成を備えている必要はないし、これらの機能を眼科装置１０が担うようにしてもよい。
図１は、本実施形態に係る眼科システム１の構成例を示す図である。
図１に示す眼科システム１は、眼科装置１０と、１つ以上の撮像装置２０と、を備える。図１に示すように、眼科装置１０と、撮像装置２０とは、インターネット、イントラネット、無線ＬＡＮ又は移動通信等の無線又は有線の通信ネットワークを介して通信可能に接続されていてもよい。
本開示において、眼科システム１が撮像装置２０を備えるとして説明するが、眼科システム１は、眼科装置１０を備えている限り、必ずしも撮像装置２０の構成を備えている必要はないし、これらの機能を眼科装置１０が担うようにしてもよい。
【0022】
眼科装置１０は、眼科の効率的な診断を支援する機能を担う情報処理装置である。例えば、被検眼の動画像を取得して、当該動画像に基づいて、被検眼の眼表面の特徴に関する情報の空間的分布や時間的分布を解析して、当該分布に基づいて、被検眼が所定の眼疾患に罹患している可能性を評価し、当該被検眼を当該眼疾患に関する所定の分類群に分類し、分類の結果に基づいて、診断を支援する情報を生成する。
【0023】
眼科装置１０は、１又は複数の情報処理装置から構成されていてもよい。眼科装置１０は、仮想的なサーバ（クラウドサーバ等）を用いて構成されていてもよい。眼科装置１０は、コンピュータにより構成されていてもよい。
【0024】
撮像装置２０は、被検眼を対象とした眼表面の動画像を撮影することができるものであれば特に限定されず、従来公知のものを用いればよい。例えば、赤外線を出力可能な照明系と、動画撮影が可能なデジタルカメラを含む撮影系とを有する撮像装置２０が挙げられる。
【0025】
＜ハードウェア構成＞
図２は、眼科装置１０のハードウェア構成例を示す図である。眼科装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ７１、無線又は有線通信を行う通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）７２、メモリ（例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及び／又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置７３、入力操作を受け付ける入力装置７４及び情報の出力を行う出力装置７５を有する。入力装置７４は、例えば、キーボード、タッチパネル、マウス及び／又はマイク等である。出力装置７５は、例えば、ディスプレイ、タッチパネル及び／又はスピーカ等である。プロセッサ７１、通信ＩＦ７２、記憶装置７３、入力装置７４及び出力装置７５は、１つ又は複数の通信バス７６により接続される。
図２は、眼科装置１０のハードウェア構成例を示す図である。眼科装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ７１、無線又は有線通信を行う通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）７２、メモリ（例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及び／又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置７３、入力操作を受け付ける入力装置７４及び情報の出力を行う出力装置７５を有する。入力装置７４は、例えば、キーボード、タッチパネル、マウス及び／又はマイク等である。出力装置７５は、例えば、ディスプレイ、タッチパネル及び／又はスピーカ等である。プロセッサ７１、通信ＩＦ７２、記憶装置７３、入力装置７４及び出力装置７５は、１つ又は複数の通信バス７６により接続される。
【0026】
＜機能構成＞
図３は、眼科装置１０の機能構成例を示す図である。眼科装置１０は、記憶部１１０と、取得部１２０と、解析部１３０と、評価部１４０と、診断支援情報生成部１５０と、出力制御部１６０と、モデル構築部１７０とを有する。記憶部１１０は、眼科装置１０が有する記憶装置７３を用いて実現することができる。取得部１２０と、解析部１３０と、評価部１４０と、診断支援情報生成部１５０と、出力制御部１６０と、モデル構築部１７０とは、眼科装置１０が有するプロセッサ７１が、記憶装置７３に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ又はＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体であってもよい。
図３は、眼科装置１０の機能構成例を示す図である。眼科装置１０は、記憶部１１０と、取得部１２０と、解析部１３０と、評価部１４０と、診断支援情報生成部１５０と、出力制御部１６０と、モデル構築部１７０とを有する。記憶部１１０は、眼科装置１０が有する記憶装置７３を用いて実現することができる。取得部１２０と、解析部１３０と、評価部１４０と、診断支援情報生成部１５０と、出力制御部１６０と、モデル構築部１７０とは、眼科装置１０が有するプロセッサ７１が、記憶装置７３に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ又はＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体であってもよい。
【0027】
本開示において、眼科装置１０が、記憶部１１０と、取得部１２０と、解析部１３０と、評価部１４０と、診断支援情報生成部１５０と、出力制御部１６０と、モデル構築部１７０とを有するとして説明するが、眼科装置１０は、必ずしもモデル構築部１７０を有している必要はなく、当該機能を他の情報処理装置が担うようにしてもよい。
【0028】
また、本開示において、１つの眼科装置１０が、記憶部１１０と、取得部１２０と、解析部１３０と、評価部１４０と、診断支援情報生成部１５０と、出力制御部１６０と、モデル構築部１７０と、を有するとして説明するが、必ずしも１つの眼科装置１０により上記全ての機能構成が提供される必要はなく、これらの機能を複数の眼科装置１０が担うようにしてもよい。
【0029】
（記憶部）
記憶部１１０は、眼科装置１０が眼科の効率的な診断を支援するために必要な各種データを記憶する。
記憶部１１０は、眼科装置１０が眼科の効率的な診断を支援するために必要な各種データを記憶する。
【0030】
（取得部）
取得部１２０は、被検眼の動画像を取得する機能を有する。被検眼の動画像は、被検者に対向する撮像装置２０により撮像される。
取得部１２０は、被検眼の動画像を取得する機能を有する。被検眼の動画像は、被検者に対向する撮像装置２０により撮像される。
【0031】
本開示において、「動画像を取得する」とは、動画像の入力を受け付けることを含む。取得部１２０が入力を受け付ける被検眼の動画像は、撮像装置２０から送信されるものであってもよく、外部の情報処理装置から送信されるものであってもよく、外部の情報処理装置を介して撮像装置２０から送信されるものであってもよい。
【0032】
被検眼の動画像の長さや解像度は特に限定されるものではなく、従来公知の眼科で用いられる撮像装置により撮像される動画像の長さや解像度であってよい。
【0033】
本開示において、被検眼の動画像は、被検者に対向する撮像装置２０により撮像される動画像であるとして説明するが、必ずしもこのようにして撮像された動画像に限られるものではない。本実施形態の眼科システム１は眼球の動画像に映り込んだ眼表面に生じている異常を捉えて、眼疾患に罹患している可能性を評価するので、被検眼表面の特徴に関する情報を捉えた動画像であれば、異なる様々な態様によって撮像された動画像であっても用いることが可能であることを、当業者は理解するであろう。
【0034】
（解析部）
解析部１３０は、取得部１２０で取得された動画像に基づいて、被検眼における解析対象領域を特定し、当該解析対象領域において、当該被検眼表面の特徴に関する情報（以降、単に「特徴に関する情報」という場合がある。）の空間的及び／又は時間的分布を解析する機能を有する。
解析部１３０は、取得部１２０で取得された動画像に基づいて、被検眼における解析対象領域を特定し、当該解析対象領域において、当該被検眼表面の特徴に関する情報（以降、単に「特徴に関する情報」という場合がある。）の空間的及び／又は時間的分布を解析する機能を有する。
【0035】
本開示において、解析対象領域は、被検眼表面の特徴に関する情報を含む領域である。解析対象領域は、被検眼表面の像の一部であってもよく、全部であってもよい。
【0036】
一実施形態において、解析部１３０は、被検眼の動画像に基づいて、当該被検眼における解析対象領域を特定する。解析部１３０は、被検眼の動画像を構成する１以上の各フレームにおける、当該被検眼表面の特徴に関する情報を有する領域を探索することにより、解析対象領域を特定してもよい。その他にも、解析部１３０は、公知の画像処理のプロセスを適用することにより、被検眼表面の所望の特徴に関する情報を含む領域を解析対象領域として特定してもよい。
【0037】
本開示において、被検眼表面の特徴に関する情報は、当該被検眼を所定の眼疾患に関する分類群に分類する処理に資する情報である。
【0038】
一実施形態において、被検眼表面の特徴に関する情報は、当該被検眼の眼表面の特徴であって、当該被検眼が所定の眼疾患に罹患している可能性を提示する被検眼表面の特徴に関する情報である。
【0039】
一実施形態において、被検眼が所定の眼疾患に罹患している可能性を提示する被検眼眼表面の特徴は、角膜や強膜の脆弱性を反映した眼表面の特徴である。本実施形態の眼科システム１は、眼球の動画像に映り込んだ眼表面に生じている異常を捉えて、眼疾患に罹患している可能性を評価するので、角膜や強膜の脆弱性を反映した眼表面の特徴を捉えることにより、角膜や強膜に脆弱性を呈する眼疾患に関する分類を行うことが可能である。角膜や強膜の脆弱性を反映した眼表面の特徴は、例えば、柔らかさ、脆さ、変形しやすさ及び柔軟性等から選択される１つ以上又はそれらの組合せであってもよい。
【0040】
また、例えば、角膜や強膜の脆弱性を反映した眼表面の特徴は、被検眼に対する外部ストレスに対する応答として現れる当該被検眼の角膜や強膜の形状の動きであってもよい。ここで、被検眼に対する外部ストレスは、空気パルス等の物理的な圧力を負荷する操作によって作成し得る。そのような操作は、例えば、一般に眼圧を検査する際に行われる操作であってもよい。また、そのような操作は、接触型であっても、非接触型であってもよい。本実施形態の眼科システム１は、眼球の動画像に移り込んだ眼表面に生じている異常を捉えて、眼疾患に罹患している可能性を評価するので、被検眼表面の特徴に関する情報として外部ストレスに対する応答を捉えた動画像であれば、異なる様々な態様によって被検眼に対して外部ストレスを付与し得ることを、当業者は理解するであろう。
【0041】
一実施形態において、被検眼が所定の眼疾患に罹患している可能性を提示する被検眼眼表面の特徴は、瞬目前後の干渉縞、涙液層の構成及び涙液メニスカス高から選択される１つ以上又はそれらの組合せである。
【0042】
一実施形態において、所定の眼疾患に罹患している可能性を提示する眼表面の特徴は、眼表面に生じている病変である。本実施形態の眼科システム１は、眼球の動画像に映り込んだ眼表面に生じている異常を捉えて、眼疾患に罹患している可能性を評価するので、眼表面に病変を生じている眼疾患に関する分類を行うことが可能である。ここで、眼表面に生じている病変は、被検者に対向する撮像装置２０により撮像される静止画によっては、確認することが困難である病変であってもよい。眼表面に生じている病変は、医師又はその他の専門家が動画像を目視することによっては、確認することが困難である病変であってもよい。
【0043】
角膜や強膜の脆弱性を有したり、眼表面に病変を生じ得る眼疾患として、例えば、緑内障（Glaucoma）、角膜変性（corneal degeneration）、角膜混濁（corneal opacity）、兎眼（lagophthalmos）、円錐角膜（keratoconus）、ドライアイ、モーレン潰瘍（Mooren's ulcer）、アレルギー性結膜炎（allergic conjunctivitis）、感染性結膜炎（infectious conjunctivitis）、強膜炎（scleritis）、狭角（narrow angle）、ぶどう膜炎（uveitis）、隅角や虹彩の新生血管（形成）（angle or iris neovascularization）、網膜剥離（retinal detachment）、脈絡膜剥離（choroidal detachment）、硝子体混濁（vitreous opacity）、強度近視（high myopia）等が挙げられる。また、眼疾患は、角膜ジストロフィー（corneal dystrophy）であってもよい。これらの眼疾患は、角膜や強膜に脆弱性を呈したり、眼表面に病変を生じ得るので、本実施形態の眼科システム１により、これらの眼疾患に関する分類を行うことが可能である。
【0044】
また、ドライアイには、蒸発性ドライアイ（evaporative DED）と、シェーグレン症候群を主な原因とする房水不足性ドライアイ（acquisition DED）の２つのサブタイプがある。房水不足性ドライアイの原因としては、リウマチ性関節炎（Rheumatoid arthritis）、全身性エリテマトーデス（Systemic lupus erythematosus)、乾癬性関節炎（Psoriatic arthritis）等の自己免疫疾患が挙げられる。したがって、本実施形態の眼科システム１でドライアイに罹患している可能性を評価することにより、これらの疾患に関する分類を行うことも可能である。
【0045】
本実施形態の眼科システム１によれば、眼疾患の進行が緩やかで、静止画像の撮影によってはなかなか早期の発見や発見すること自体が難しい眼疾患であっても、眼球の動画像から簡便に眼疾患の罹患可能性を発見することができる。
【0046】
本開示において、被検眼表面の特徴に関する情報の空間的分布は、被検眼の動画像を構成する１以上の各フレームにおける被検眼表面の像において、当該特徴に関する情報がどのように配置されているかを示す。被検眼表面の特徴に関する情報の空間的分布は、例えば、被検眼表面の特徴に関する情報の局在、被検眼表面の特徴に関する情報が基準値以上含まれる領域の局在、被検眼表面の特徴に関する情報が基準値以上含まれる領域の面積、被検眼表面の特徴に関する情報が被検眼表面の像における単位面積当たりに存在する量、被検眼表面の特徴に関する情報が被検眼表面の像上で配置されているパターン、被検眼表面の特徴に関する情報の散らばり方等が挙げられる。
【0047】
本開示において、被検眼表面の特徴に関する情報の時間的分布は、被検眼の動画像を構成する１以上のフレームを時系列に沿って並べたときに、当該特徴に関する情報が、各時間単位においてどのように配置されているかを示す。被検眼表面の特徴に関する情報の時間的分布は、例えば、動画像の一部又は全部における当該特徴に関する情報の出現頻度、動画像を構成する１以上の各フレームにおける当該特徴に関する情報の出現頻度等が挙げられる。
【0048】
本開示において、被検眼表面の特徴に関する情報の空間的分布の経時的な変化は、被検眼の動画像を構成する１以上のフレームを時系列に沿って並べたときに、当該特徴に関する情報の分布が、時間の経過とともにどのように変化しているかを示す。
【0049】
一実施形態において、解析部１３０は、参照眼の動画像に基づいて訓練された学習済み数理モデルであって、当該学習済み数理モデルの訓練に用いられる参照眼の動画像が、参照眼の患者により回答される主観的な報告に関する指標及び／又は医師により回答される臨床パラメータの指標を用いて所定の眼疾患に関して分類され、当該分類結果をラベル付けされた動画像である、学習済み数理モデルを使用する。
解析部１３０が用いる学習済み数理モデルは、本開示のモデル構築部１７０によって構築された数理モデルであってもよいし、眼科装置１０とは異なる情報処理装置から入力された数理モデルであってもよい。解析部１３０及び評価部１４０が学習済み数理モデルを使用する場合、同一の仕様を有する数理モデルを使用することが好ましいが、必ずしも同一の仕様を有する数理モデルを使用することに限られず、解析部１３０と評価部１４０とがそれぞれ異なる仕様の数理モデルを使用してもよい。
解析部１３０は、解析部１３０が行う処理の一部に学習済み数理モデルを用いてもよいし、解析部１３０が行う処理の全部に学習済み数理モデルを用いてもよい。
この態様によれば、眼科システム１は、学習済み数理モデルを用いて分類の精度を向上させることができる。
解析部１３０が用いる学習済み数理モデルは、本開示のモデル構築部１７０によって構築された数理モデルであってもよいし、眼科装置１０とは異なる情報処理装置から入力された数理モデルであってもよい。解析部１３０及び評価部１４０が学習済み数理モデルを使用する場合、同一の仕様を有する数理モデルを使用することが好ましいが、必ずしも同一の仕様を有する数理モデルを使用することに限られず、解析部１３０と評価部１４０とがそれぞれ異なる仕様の数理モデルを使用してもよい。
解析部１３０は、解析部１３０が行う処理の一部に学習済み数理モデルを用いてもよいし、解析部１３０が行う処理の全部に学習済み数理モデルを用いてもよい。
この態様によれば、眼科システム１は、学習済み数理モデルを用いて分類の精度を向上させることができる。
【0050】
一実施形態において、解析部１３０は、被検眼の動画像を構成する１以上のフレームに対する処理を行う際に、解析のプロセスを終了するか否かを判定し、当該判定の結果に基づいて、当該１以上のフレームに対する処理を継続させる又は終了させる。
解析部１３０は、所定の眼疾患に関する分類に資する情報を所定の基準値以上含むフレームの存在を確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、所定の眼疾患に関する分類に資する情報の存在を所定の基準値以上確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、所定の眼疾患に関する分類に資する情報を所定の基準値以上含むフレームが所定個数存在することを確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、所定の眼疾患に関する分類に資する情報を所定の基準値以上含むフレームが所定個数連続して存在することを確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、評価部１４０による評価のプロセスの進行度に基づいて、解析のプロセスを終了すると判定してもよい。
この態様によれば、眼科システム１は、被検眼の動画像を構成するフレームを複数処理する場合であっても、自動的に解析を行うことが可能となり、ユーザの手間を省き、眼科の効率的な診断を支援することができる。
解析部１３０は、所定の眼疾患に関する分類に資する情報を所定の基準値以上含むフレームの存在を確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、所定の眼疾患に関する分類に資する情報の存在を所定の基準値以上確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、所定の眼疾患に関する分類に資する情報を所定の基準値以上含むフレームが所定個数存在することを確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、所定の眼疾患に関する分類に資する情報を所定の基準値以上含むフレームが所定個数連続して存在することを確認したことに対応して、解析のプロセスを終了すると判定してもよい。解析部１３０は、評価部１４０による評価のプロセスの進行度に基づいて、解析のプロセスを終了すると判定してもよい。
この態様によれば、眼科システム１は、被検眼の動画像を構成するフレームを複数処理する場合であっても、自動的に解析を行うことが可能となり、ユーザの手間を省き、眼科の効率的な診断を支援することができる。
【0051】
（評価部）
評価部１４０は、被検眼表面の特徴に関する情報の分布に基づいて、当該被検眼が所定の眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を当該眼疾患に関する所定の分類群に分類した分類結果を生成する機能を有する。
評価部１４０は、被検眼表面の特徴に関する情報の分布に基づいて、当該被検眼が所定の眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、当該被検眼を当該眼疾患に関する所定の分類群に分類した分類結果を生成する機能を有する。
【0052】
一実施形態において、評価部１４０は、被検眼が所定の眼疾患を罹患している可能性の高さに応じて、当該被検眼を２つ以上の分類群に分類した分類結果を生成する。
この態様によれば、眼科システム１は、被検眼が眼疾患に罹患している可能性の高さに応じて分類を行うことができ、眼科の効率的な診断を支援することができる。
分類結果は、疾患眼群と、健常眼群とのいずれかであることに限られない。また、いずれの分類群を「健常眼」と評価するかは特に限定されず、ユーザが適宜判断すればよい。例えば、眼疾患Ａに罹患している可能性が第１基準値以上である「高程度の眼疾患Ａの罹患可能性を有する群」、当該可能性が第２基準値以上第１基準値未満である「中程度の眼疾患Ａの罹患可能性を有する群」、及び当該可能性が第２基準値未満である「低程度の眼疾患Ａの罹患可能性を有する群」（ここで第１基準値＞第２基準値である）に分類した結果である。例えば、眼疾患Ｂに罹患している可能性が第１基準値以上である「眼疾患Ｂの罹患可能性を有する群」、及び当該可能性が第２基準値以下である「眼疾患Ｂの罹患可能性を有しない群」（ここで第１基準値＞第２基準値である）に分類した結果である。例えば、眼疾患Ｃに罹患している可能性が第１基準値以上である「眼疾患Ｃの罹患可能性を有する群」、及び当該可能性が第１基準値未満である「眼疾患Ｃの罹患可能性を有しない群」に分類した結果である。
分類の際に用いる可能性の高さの基準値は、被検者が指示してもよいし、医師が指示してもよいし、コンピュータが指定してもよい。基準値は１つ以上、２つ以上、又は３つ以上用いてもよい。
この態様によれば、眼科システム１は、被検眼が眼疾患に罹患している可能性の高さに応じて分類を行うことができ、眼科の効率的な診断を支援することができる。
分類結果は、疾患眼群と、健常眼群とのいずれかであることに限られない。また、いずれの分類群を「健常眼」と評価するかは特に限定されず、ユーザが適宜判断すればよい。例えば、眼疾患Ａに罹患している可能性が第１基準値以上である「高程度の眼疾患Ａの罹患可能性を有する群」、当該可能性が第２基準値以上第１基準値未満である「中程度の眼疾患Ａの罹患可能性を有する群」、及び当該可能性が第２基準値未満である「低程度の眼疾患Ａの罹患可能性を有する群」（ここで第１基準値＞第２基準値である）に分類した結果である。例えば、眼疾患Ｂに罹患している可能性が第１基準値以上である「眼疾患Ｂの罹患可能性を有する群」、及び当該可能性が第２基準値以下である「眼疾患Ｂの罹患可能性を有しない群」（ここで第１基準値＞第２基準値である）に分類した結果である。例えば、眼疾患Ｃに罹患している可能性が第１基準値以上である「眼疾患Ｃの罹患可能性を有する群」、及び当該可能性が第１基準値未満である「眼疾患Ｃの罹患可能性を有しない群」に分類した結果である。
分類の際に用いる可能性の高さの基準値は、被検者が指示してもよいし、医師が指示してもよいし、コンピュータが指定してもよい。基準値は１つ以上、２つ以上、又は３つ以上用いてもよい。
【0053】
一実施形態において、評価部１４０は、参照眼の動画像に基づいて訓練された学習済み数理モデルであって、当該学習済み数理モデルの訓練に用いられる参照眼の動画像が、参照眼の患者により回答される主観的な報告に関する指標及び／又は医師により回答される臨床パラメータの指標を用いて所定の眼疾患に関して分類され、当該分類結果をラベル付けされた動画像である、学習済み数理モデルを使用する。
評価部１４０が用いる学習済み数理モデルは、本開示のモデル構築部１７０によって構築された数理モデルであってもよいし、眼科装置１０とは異なる情報処理装置から入力された数理モデルであってもよい。
評価部１４０は、評価部１４０が行う処理の一部に学習済み数理モデルを用いてもよいし、評価部１４０が行う処理の全部に学習済み数理モデルを用いてもよい。
この態様によれば、眼科システム１は、学習済み数理モデルを用いて分類の精度を向上させることができる。
評価部１４０が用いる学習済み数理モデルは、本開示のモデル構築部１７０によって構築された数理モデルであってもよいし、眼科装置１０とは異なる情報処理装置から入力された数理モデルであってもよい。
評価部１４０は、評価部１４０が行う処理の一部に学習済み数理モデルを用いてもよいし、評価部１４０が行う処理の全部に学習済み数理モデルを用いてもよい。
この態様によれば、眼科システム１は、学習済み数理モデルを用いて分類の精度を向上させることができる。
【0054】
（診断支援情報生成部）
診断支援情報生成部１５０は、評価部１４０により生成された分類結果に基づいて、被検眼における眼疾患の診断を支援する診断支援情報を生成する機能を有する。診断支援情報は、医師や患者に提供されて、効率的な診断を支援する。
診断支援情報生成部１５０は、評価部１４０により生成された分類結果に基づいて、被検眼における眼疾患の診断を支援する診断支援情報を生成する機能を有する。診断支援情報は、医師や患者に提供されて、効率的な診断を支援する。
【0055】
一実施形態において、診断支援情報は、被検眼を所定の分類群に分類した分類結果と、当該分類結果の生成の根拠となった１以上フレームに基づいて生成される静止画像及び／又は動画像とを含む。
評価部１４０による分類結果が複数の分類群を含む場合は、各分類群の判断の根拠となった１以上のフレームに基づいて生成される静止画像及び／又は動画像とを含む。
この態様によれば、ユーザに本実施形態の眼科システム１の分類判断の根拠となったフレームを視認可能に提示することができるので、診断支援情報の信頼性を高めることができる。
評価部１４０による分類結果が複数の分類群を含む場合は、各分類群の判断の根拠となった１以上のフレームに基づいて生成される静止画像及び／又は動画像とを含む。
この態様によれば、ユーザに本実施形態の眼科システム１の分類判断の根拠となったフレームを視認可能に提示することができるので、診断支援情報の信頼性を高めることができる。
【0056】
一実施形態において、診断支援情報は、被検眼の動画像の解析の際に取得したその他の補足情報を含む。補足情報は、評価部１４０で評価した眼疾患を罹患している可能性の高さに応じて、治療や医師や医療機関に関する情報を含んでもよい。捕捉情報は、評価部１４０が評価した被検眼が所定の眼疾患に罹患している可能性に基づいて算出した、分類結果の確信度に関する情報を含んでもよい。補足情報は、アルファブレンディングにより、取得部１２０が取得した被検眼の動画像又は被検眼の動画像を構成する１以上のフレームに、分類に寄与した領域を可視化したヒートマップを重畳したものを含んでもよい。
この態様によれば、ユーザにとって分かりやすい情報を提示することができるので、眼科の効率的な診断を支援することができる。
この態様によれば、ユーザにとって分かりやすい情報を提示することができるので、眼科の効率的な診断を支援することができる。
【0057】
（出力制御部）
出力制御部１６０は、診断支援情報生成部１５０により生成された診断支援情報の出力を制御する機能を有する。本開示において、診断支援情報は、医師、技師、患者、看護師等に提供され、眼科の効率的な診断を支援する。
出力制御部１６０は、診断支援情報生成部１５０により生成された診断支援情報の出力を制御する機能を有する。本開示において、診断支援情報は、医師、技師、患者、看護師等に提供され、眼科の効率的な診断を支援する。
【0058】
（モデル構築部）
モデル構築部１７０は、被検眼の動画像を解析するための数理モデルＭを構築する機能を有する。本開示において、数理モデルＭは、少なくとも画像の処理を行うことのできる数理モデルである。本開示において、「数理モデルを構築する」は、数理モデルを作成することと学習させることとを含む。本開示において、「学習させること」は訓練させることと同義に用いられる場合がある。本開示において、被検眼の動画像を解析するための数理モデルＭは、被検眼の動画像を入力データとして受け取り、入力データに基づいて推論を行い、被検眼を疾患眼群と健常眼群とのいずれかに分類する数理モデルである。
モデル構築部１７０は、被検眼の動画像を解析するための数理モデルＭを構築する機能を有する。本開示において、数理モデルＭは、少なくとも画像の処理を行うことのできる数理モデルである。本開示において、「数理モデルを構築する」は、数理モデルを作成することと学習させることとを含む。本開示において、「学習させること」は訓練させることと同義に用いられる場合がある。本開示において、被検眼の動画像を解析するための数理モデルＭは、被検眼の動画像を入力データとして受け取り、入力データに基づいて推論を行い、被検眼を疾患眼群と健常眼群とのいずれかに分類する数理モデルである。
【0059】
一実施形態において、モデル構築部１７０は、参照眼の患者により回答される主観的な報告に関する指標及び／又は医師により回答される臨床パラメータの指標を用いて、所定の眼疾患に関して分類され、当該分類結果をラベル付けされた参照眼の動画像を教師データとして用いて、数理モデルＭを構築する。すなわち、被検眼の動画像を解析するための数理モデルＭは、参照眼の患者により回答される主観的な報告に関する指標及び／又は医師により回答される臨床パラメータの指標を用いて、所定の眼疾患に関して分類された参照眼の動画像であって、当該分類結果をラベル付けされた動画像の教師データに基づいて、機械学習により訓練された学習済み数理モデルである。
【0060】
一実施形態において、教師データのラベルには、参照眼の患者により回答される主観的な報告に関する指標に基づく情報や、医師により回答される臨床パラメータの指標に基づく情報を含む。
この態様によれば、モデル構築部１７０は、症状の程度や眼疾患の進行程度や専門家である医師の判断を数理モデルＭに学習させることができる。また、モデル構築部１７０は、構築する数理モデルＭの分類精度を向上させることができる。そして、このように学習させて構築された数理モデルＭによれば、向上された分類精度を有する分類の処理を行うことが可能である。
この態様によれば、モデル構築部１７０は、症状の程度や眼疾患の進行程度や専門家である医師の判断を数理モデルＭに学習させることができる。また、モデル構築部１７０は、構築する数理モデルＭの分類精度を向上させることができる。そして、このように学習させて構築された数理モデルＭによれば、向上された分類精度を有する分類の処理を行うことが可能である。
【0061】
一実施形態において、参照眼の患者により回答される主観的な報告に関する指標は、主観的な症状の有無に関する情報を含む。例えば、Ｏｃｕｌａｒ Ｓｕｒｆａｃｅ Ｄｉｓｅａｓｅ Ｉｎｄｅｘ（ＯＳＤＩ）アンケートに従って回答される情報を含む。例としてＯＳＤＩアンケートを用いる場合、例えば、［（すべての質問に対するスコアの合計）×１００］／［（回答された質問の総数）×４］として、０から１００までの範囲で総合ＯＳＤＩスコアを算出し、総合ＯＳＤＩスコアが高い程、障害が大きいことの指標として用いることができる。
【0062】
一実施形態において、医師により回答される臨床パラメータの指標は、臨床で医師が診察する際に用いられている眼疾患の診断項目に基づいて被検眼を評価した情報を含む。例えば、ＴＭＨ、ＮＩＫＢＵＴ、スリットランプ顕微鏡等を用いて観察される被検眼の眼瞼の異常、シルマーテスト、フルオレセイン染料を用いた角膜や結膜表面の染色、角膜トポグラフィー、眼球断層像に関する情報を含む。
【0063】
一実施形態において、被検眼の動画像を解析するための数理モデルＭは、畳み込みニューラルネットワーク（ＣＮＮ）、畳み込みニューラルネットワーク以外の種類のニューラルネットワーク、長・短期記憶モデル（ＬＳＴＭ）等のニューラルネットワーク以外の種類の数理モデルのうちの１つ以上の数理モデルを含む。
【0064】
一実施形態において、畳み込みニューラルネットワークは、全結合層を含まない全層畳み込みネットワーク（ＦＣＮ）、サポートベクターマシン、再帰型ニューラルネットワーク（ＲＮＮ）等を含む。
【0065】
一実施形態において、モデル構築部１７０は、転移学習を用いて数理モデルＭを構築する。すなわち、モデル構築部１７０は、他の訓練データを用いた機械学習が既に行われてパラメータ調整がなされた学習済みニューラルネットワークを用いて、数理モデルＭを構築する。学習済みニューラルネットワークは、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってもよい。図１２は、転移学習を用いて構築された数理モデルＭの概念図の一例である。
【0066】
一実施形態において、モデル構築部１７０は、サポートベクターマシン、ベイズ分類器、ブースティング、カーネル密度推定、主成分分析、ｋ平均法、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク（ＧＡＮ）といった任意の手法を用いて数理モデルＭを構築する。
【0067】
一実施形態において、モデル構築部１７０は、教師あり学習、教師なし学習、及び強化学習のうちの１つ以上の訓練手法を用いて数理モデルＭを構築する。
【0068】
一実施形態において、モデル構築部１７０は、構築した数理モデルＭを定期的又は不定期に学習させることにより、更新する。
【0069】
一実施形態において、モデル構築部１７０は、取得部１２０により取得された動画像を学習データとして用いて、数理モデルＭを学習させる。
【0070】
一実施形態において、数理モデルＭによって分類される分類結果は、評価部１４０が、教師データとの一致度や逸脱度に応じて、被検眼が眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、被検眼を１以上の分類群に分類した結果である。
【0071】
一実施形態において、モデル構築部１７０は、数理モデルＭが推測した結果と学習データにラベル付けを含む教師データとの誤差を最小化するように、数理モデルＭを学習させる。
【0072】
一実施形態において、モデル構築部１７０は、参照眼から収集された動画像をコンピュータで加工して得られた加工画像を用いて数理モデルＭを構築する。加工画像は、例えば、データ拡張（ｄａｔａ ａｒｇｕｍｅｎｔａｔｉｏｎ）により加工された加工画像が挙げられる。
この態様によれば、モデル構築部１７０は、過学習のリスクを低減させた数理モデルＭを構築することができる。
この態様によれば、モデル構築部１７０は、過学習のリスクを低減させた数理モデルＭを構築することができる。
【0073】
＜動作＞
（動作例１：図４参照）
図４は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ１１０）。眼科システム１は、解析部１３０により、被検眼の動画像を解析する（ステップＳ１２０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼を所定の眼疾患に関して分類した分類結果を生成する（ステップＳ１３０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ１４０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ１５０）。
（動作例１：図４参照）
図４は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ１１０）。眼科システム１は、解析部１３０により、被検眼の動画像を解析する（ステップＳ１２０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼を所定の眼疾患に関して分類した分類結果を生成する（ステップＳ１３０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ１４０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ１５０）。
【0074】
（動作例２：図５参照）
図５は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ２１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する（ステップＳ２２０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼を所定の眼疾患に関して分類した分類結果を生成する（ステップＳ２３０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ２４０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ２５０）。
図５は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ２１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する（ステップＳ２２０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼を所定の眼疾患に関して分類した分類結果を生成する（ステップＳ２３０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ２４０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ２５０）。
【0075】
（動作例３：図６参照）
図６は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ３１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する（ステップＳ２２０）。眼科システム１は、解析部１３０により、解析のプロセスを終了するか否かを判定する（ステップＳ３３０）。
図６は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ３１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布を解析する（ステップＳ２２０）。眼科システム１は、解析部１３０により、解析のプロセスを終了するか否かを判定する（ステップＳ３３０）。
【0076】
解析を終了しない場合（ステップＳ３３０：ＮＯ）、ステップＳ３２０に戻り、解析を終了すると判断するまで処理を繰り返す。解析を終了する場合（ステップＳ３３０：ＹＥＳ）、眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼を所定の眼疾患に関して分類した分類結果を生成する（ステップＳ３４０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ３５０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ３６０）。
【0077】
（動作例４：図７参照）
図７は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ４１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、当該被検眼における解析対象領域を特定する（ステップＳ４２０）。
図７は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ４１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、当該被検眼における解析対象領域を特定する（ステップＳ４２０）。
【0078】
眼科システム１は、解析部１３０により、解析対象領域を所定の比率で区分した１以上の各区分の重要度を算出する（ステップＳ４３０）。重要度は、予め設定される所定の基準からの解離度、逸脱度及び所定の基準との一致度等から選択される１つ以上に基づいて、算出してもよい。
【0079】
眼科システム１は、解析部１３０により、重要度が所定値以上である区分の空間的及び／又は時間的分布を解析する（ステップＳ４４０）。眼科システム１は、解析部１３０により、解析のプロセスを終了するか否かを判定する（ステップＳ４５０）。解析を終了しない場合（ステップＳ４５０：ＮＯ）、ステップＳ４４０に戻り、解析を終了するまで処理を繰り返す。解析を終了する場合（ステップＳ４５０：ＹＥＳ）、眼科システム１は、評価部１４０により、解析部１３０の解析の結果に基づいて、被検眼を所定の眼疾患に関して分類した分類結果を生成する（ステップＳ４６０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ４７０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ４８０）。
【0080】
（動作例５：図８参照）
図８は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ５１０）。眼科システム１は、解析部１３０により、被検眼の動画像を解析する（ステップＳ５２０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼が所定の眼疾患に罹患している可能性を評価し（ステップＳ５３０）、当該可能性の高さに応じて、被検眼を眼疾患に関する分類群に分類する（ステップＳ５４０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ５５０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ５６０）。
図８は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ５１０）。眼科システム１は、解析部１３０により、被検眼の動画像を解析する（ステップＳ５２０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼が所定の眼疾患に罹患している可能性を評価し（ステップＳ５３０）、当該可能性の高さに応じて、被検眼を眼疾患に関する分類群に分類する（ステップＳ５４０）。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ５５０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ５６０）。
【0081】
（動作例６：図９参照）
図９は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ６１０）。眼科システム１は、解析部１３０により、学習済み数理モデルを用いて、被検眼の動画像を解析する（ステップＳ６２０）。眼科システム１は、評価部１４０により、学習済み数理モデルを用いて、眼疾患に関する分類結果を生成する（ステップＳ６３０）。このとき、学習済み数理モデルは、ステップＳ６２０で解析した解析結果を使用してよい。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ６４０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ６５０）。
図９は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ６１０）。眼科システム１は、解析部１３０により、学習済み数理モデルを用いて、被検眼の動画像を解析する（ステップＳ６２０）。眼科システム１は、評価部１４０により、学習済み数理モデルを用いて、眼疾患に関する分類結果を生成する（ステップＳ６３０）。このとき、学習済み数理モデルは、ステップＳ６２０で解析した解析結果を使用してよい。眼科システム１は、診断支援情報生成部１５０により、評価部１４０が生成した分類結果に基づいて、診断支援情報を生成する（ステップＳ６４０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ６５０）。
【0082】
（動作例７：図１０参照）
図１０は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ７１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、当該被検眼における解析対象領域を特定し（ステップＳ７２０）、ドライアイに罹患している可能性の高さに応じた分類群に被検眼を分類する処理に資する情報（ここでは、瞬目前後の干渉縞に関する情報）の分布を解析する（ステップＳ７３０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼がドライアイに罹患している可能性の高さを評価し、当該可能性の高さに応じて、被検眼を分類する（ステップＳ７４０）。
図１０は、眼科システム１による処理フロー例を示す図である。眼科システム１は、取得部１２０により、被検眼の動画像を取得する（ステップＳ７１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、当該被検眼における解析対象領域を特定し（ステップＳ７２０）、ドライアイに罹患している可能性の高さに応じた分類群に被検眼を分類する処理に資する情報（ここでは、瞬目前後の干渉縞に関する情報）の分布を解析する（ステップＳ７３０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼がドライアイに罹患している可能性の高さを評価し、当該可能性の高さに応じて、被検眼を分類する（ステップＳ７４０）。
【0083】
眼科システム１は、解析部１３０により、解析のプロセスを終了するか否かを判定する（ステップＳ７５０）。解析を終了しない場合（ステップＳ７５０：ＮＯ）、ステップＳ７４０に戻り、解析を終了するまで処理を繰り返す。解析を終了する場合（ステップＳ７５０：ＹＥＳ）、眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼をドライアイに関して分類した分類結果（ここでは、ドライアイを罹患している可能性の高さに応じて分類した分類結果）を生成する（ステップＳ７６０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ７７０）。
【0084】
（動作例８：図１１参照）
図１１は、眼科システム１による処理フロー例を示す図である。被検眼に空気パルスを当てて、外部ストレスを与える（ステップＳ８００）。眼科システム１は、取得部１２０により、空気パルスに対する応答として現れる被検眼の角膜形状の動きを捉えた動画像を取得する（ステップＳ８１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、当該被検眼における解析対象領域を特定し（ステップＳ８２０）、円錐角膜に罹患している可能性の高さに応じた分類群に被検眼を分類する処理に資する情報（ここでは、空気パルスに対する応答として合わられる被検眼の角膜形状の動きに関する情報）の分布を解析する（ステップＳ８３０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼がドライアイに罹患している可能性の高さを評価し、当該可能性の高さに応じて、被検眼を分類する（ステップＳ８４０）。
図１１は、眼科システム１による処理フロー例を示す図である。被検眼に空気パルスを当てて、外部ストレスを与える（ステップＳ８００）。眼科システム１は、取得部１２０により、空気パルスに対する応答として現れる被検眼の角膜形状の動きを捉えた動画像を取得する（ステップＳ８１０）。眼科システム１は、解析部１３０により、被検眼の動画像に基づいて、当該被検眼における解析対象領域を特定し（ステップＳ８２０）、円錐角膜に罹患している可能性の高さに応じた分類群に被検眼を分類する処理に資する情報（ここでは、空気パルスに対する応答として合わられる被検眼の角膜形状の動きに関する情報）の分布を解析する（ステップＳ８３０）。眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼がドライアイに罹患している可能性の高さを評価し、当該可能性の高さに応じて、被検眼を分類する（ステップＳ８４０）。
【0085】
眼科システム１は、解析部１３０により、解析のプロセスを終了するか否かを判定する（ステップＳ８５０）。解析を終了しない場合（ステップＳ８５０：ＮＯ）、ステップＳ８４０に戻り、解析を終了するまで処理を繰り返す。解析を終了する場合（ステップＳ８５０：ＹＥＳ）、眼科システム１は、評価部１４０により、解析部１３０の解析結果に基づいて、被検眼をドライアイに関して分類した分類結果（ここでは、円錐角膜を罹患している可能性の高さに応じて分類した分類結果）を生成する（ステップＳ８６０）。眼科システム１は、出力制御部１６０により、診断支援情報の出力を制御する（ステップＳ８７０）。
【0086】
＜実施例＞
（実施例１）
一実施形態において、評価部１４０は、複数の眼疾患に関する分類を行う。
一実施形態において、眼疾患に関する評価情報は、被検眼が罹患しているか罹患している可能性がある２以上の眼疾患を特定する情報を含む。
本実施形態の眼科システム１は、眼球の動画像に映り込んだ眼表面に生じている異常を捉えて、眼疾患に罹患している可能性を評価するので、角膜や強膜の脆弱性を有していたり、眼表面に病変を生じ得る眼疾患を罹患しているか罹患している可能性のある眼球と、健常眼とに分類することが可能であり、様々な眼疾患に関する分類に適用することが可能である。したがって、所定の眼疾患に関する分類の際に、その他の潜在的な眼疾患に関する分類を並行して行ってもよい。
診断情報生成部は、評価部１４０によって生成された複数の分類結果に基づいて、被検眼における当該複数の眼疾患の診断を支援する診断支援情報を生成する。
この態様によれば、複数の眼疾患に罹患している可能性を知ることができるので、眼科の効率的な診断を支援することができる。
（実施例１）
一実施形態において、評価部１４０は、複数の眼疾患に関する分類を行う。
一実施形態において、眼疾患に関する評価情報は、被検眼が罹患しているか罹患している可能性がある２以上の眼疾患を特定する情報を含む。
本実施形態の眼科システム１は、眼球の動画像に映り込んだ眼表面に生じている異常を捉えて、眼疾患に罹患している可能性を評価するので、角膜や強膜の脆弱性を有していたり、眼表面に病変を生じ得る眼疾患を罹患しているか罹患している可能性のある眼球と、健常眼とに分類することが可能であり、様々な眼疾患に関する分類に適用することが可能である。したがって、所定の眼疾患に関する分類の際に、その他の潜在的な眼疾患に関する分類を並行して行ってもよい。
診断情報生成部は、評価部１４０によって生成された複数の分類結果に基づいて、被検眼における当該複数の眼疾患の診断を支援する診断支援情報を生成する。
この態様によれば、複数の眼疾患に罹患している可能性を知ることができるので、眼科の効率的な診断を支援することができる。
【0087】
（実施例２）
一実施形態において、解析部１３０は、被検眼の動画像を構成する１以上の各フレームを逐次的に処理することにより、被検眼の眼表面の特徴に関する情報の空間的及び／又は時間的分布の経時的な変化を解析する。
評価部１４０は、解析対象領域と、当該特徴に関する情報の分布と、当該分布の経時的な変化との少なくとも１つ以上に基づいて、当該被検眼が眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、被検眼を所定の眼疾患に関する分類群に分類する。
この態様によれば、眼科システム１は、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
一実施形態において、解析部１３０は、被検眼の動画像を構成する１以上の各フレームを逐次的に処理することにより、被検眼の眼表面の特徴に関する情報の空間的及び／又は時間的分布の経時的な変化を解析する。
評価部１４０は、解析対象領域と、当該特徴に関する情報の分布と、当該分布の経時的な変化との少なくとも１つ以上に基づいて、当該被検眼が眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、被検眼を所定の眼疾患に関する分類群に分類する。
この態様によれば、眼科システム１は、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
【0088】
（実施例３）
一実施形態において、解析部１３０は、被検眼の動画像を構成する１以上のフレームを処理した結果を比較することにより、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布の経時的な変化を解析する。
例えば、解析部１３０は、第１の期間における１以上のフレームを含む第１フレーム群と、第２の期間における１以上のフレームを含む第２フレーム群との間で、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布の平均値を比較することにより、当該被検眼表面の特徴に関する情報の空間的及び／又は時間的分布の経時的な変化を解析してもよい。解析部１３０は、第１の時点における第１フレームと、第２の時点における第２フレームとの間で、被検眼表面の特徴に関する情報の空間的分布を比較することにより、当該被検眼表面の特徴に関する情報の空間的分布の経時的な変化を解析してもよい。
評価部１４０は、解析対象領域と、当該特徴に関する情報の分布と、当該分布の経時的な変化との少なくとも１つ以上に基づいて、当該被検眼が眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、被検眼を所定の眼疾患に関する分類群に分類する。
この態様によれば、眼科システム１は、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
一実施形態において、解析部１３０は、被検眼の動画像を構成する１以上のフレームを処理した結果を比較することにより、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布の経時的な変化を解析する。
例えば、解析部１３０は、第１の期間における１以上のフレームを含む第１フレーム群と、第２の期間における１以上のフレームを含む第２フレーム群との間で、被検眼表面の特徴に関する情報の空間的及び／又は時間的分布の平均値を比較することにより、当該被検眼表面の特徴に関する情報の空間的及び／又は時間的分布の経時的な変化を解析してもよい。解析部１３０は、第１の時点における第１フレームと、第２の時点における第２フレームとの間で、被検眼表面の特徴に関する情報の空間的分布を比較することにより、当該被検眼表面の特徴に関する情報の空間的分布の経時的な変化を解析してもよい。
評価部１４０は、解析対象領域と、当該特徴に関する情報の分布と、当該分布の経時的な変化との少なくとも１つ以上に基づいて、当該被検眼が眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、被検眼を所定の眼疾患に関する分類群に分類する。
この態様によれば、眼科システム１は、被検眼の動画像に含まれる情報の経時的な変化を追跡して評価を行うことができる。
【0089】
（実施例４）
一実施形態において、解析部１３０は、解析対象領域における、被検眼の眼表面の特徴に関する情報の分布に基づいて、当該解析対象領域を所定の比率で区分した１以上の各区分の重要度を算出し、当該重要度が所定の閾値以上である区画の空間的及び／又は時間的分布を解析する。
評価部１４０は、当該解析対象領域と、当該特徴に関する情報の分布と、当該区分の分布との少なくとも１つ以上に基づいて、当該被検眼が眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、被検眼を所定の眼疾患に関する分類群に分類する。
一実施形態において、解析部１３０は、解析対象領域における、被検眼の眼表面の特徴に関する情報の分布に基づいて、当該解析対象領域を所定の比率で区分した１以上の各区分の重要度を算出し、当該重要度が所定の閾値以上である区画の空間的及び／又は時間的分布を解析する。
評価部１４０は、当該解析対象領域と、当該特徴に関する情報の分布と、当該区分の分布との少なくとも１つ以上に基づいて、当該被検眼が眼疾患に罹患している可能性を評価し、当該可能性の高さに応じて、被検眼を所定の眼疾患に関する分類群に分類する。
【0090】
区分の重要度は、例えば、学習済み数理モデルＭにおける、眼疾患Ａを罹患している疾患眼の教師データ（正解データ）の動画像に含まれる、眼疾患Ａを罹患していることを示す特徴ｃ１に関する情報と、被検眼の動画像に含まれる眼疾患Ａを罹患していることを示す特徴ｃ１に関する情報との照合により算出される。すなわち、重要度は、被検眼の動画像をサンプルとして、正解データからの解離度に基づいて、算出される。ここで、正解データからの解離度は、各画素の輝度に基づいて判断してもよい。
【0091】
一実施形態において、所定の眼疾患はドライアイであり、評価部１４０は解析部１３０が算出する重要度が所定の閾値以上である区分の空間的な散らばり方に基づいて、被検眼がドライアイに罹患している可能性を評価する。
【0092】
一実施形態において、所定の眼疾患は円錐角膜であり、評価部１４０は解析部１３０が算出する重要度が所定の閾値以上である区分の時間的な散らばり方に基づいて、被検眼が円錐角膜に罹患している可能性を評価する。また、例えば、評価部１４０は解析部１３０が算出する重要度が所定の閾値以上である区分の空間的な散らばり方に基づいて、被検眼が円錐角膜に罹患している可能性を評価する。
【0093】
（実施例５）
一実施形態において、所定の眼疾患はドライアイであり、被検眼の眼表面の特徴は、瞬目前後の干渉縞、又は涙液メニスカス高である。
以下に、ドライアイの診断支援に関する試験例を示す。
一実施形態において、所定の眼疾患はドライアイであり、被検眼の眼表面の特徴は、瞬目前後の干渉縞、又は涙液メニスカス高である。
以下に、ドライアイの診断支援に関する試験例を示す。
【0094】
試験例１：ドライアイの診断支援
ドライアイは、様々な要因により涙液層の安定性が低下する眼疾患であり、眼不快感や視機能に異常を来し、眼表面の障害を伴うケースも存在する。ドライアイでは、涙液の量が低下したり、質が低下したりすると、涙液層の安定性が低下し、まばたきをせずに涙液層を安定な分布に維持できる時間が短くなる。涙液の量の低下や質の低下の程度や出現は、ヒトによってさまざまである。
ドライアイは、様々な要因により涙液層の安定性が低下する眼疾患であり、眼不快感や視機能に異常を来し、眼表面の障害を伴うケースも存在する。ドライアイでは、涙液の量が低下したり、質が低下したりすると、涙液層の安定性が低下し、まばたきをせずに涙液層を安定な分布に維持できる時間が短くなる。涙液の量の低下や質の低下の程度や出現は、ヒトによってさまざまである。
【0095】
ヒトがドライアイを診断するには、複数の臨床パラメータに基づいて総合的な判断が必要となり、たとえ専門医であっても、眼表面の動画像のみからドライアイを診断することは難しい。例えば、専門医であっても、眼表面の動画像に含まれるマイヤーリング像の僅かな変化や涙液層の干渉縞等の動態を精度高く確認することは困難である。
【0096】
近年、眼科診断を効率化する観点から、簡便なドライアイの診断システムの開発も進んでいるが、臨床的な検査を行うことなく患者によって回答される主観的な指標を基に判断していることから、臨床所見との間に不一致が存在するリスクを免れることが難しい。
【0097】
本発明者らは、被検眼の眼表面の動画像を用いてドライアイの診断支援を行う試験を実施した。方法及び結果を以下に記載する。
【0098】
１．方法
１－１．被検眼
眼科医療機関を訪れたドライアイの患者１２８人の合計１２８眼と、健常者１１６人の合計１１６眼とを被検眼とした。
１－１．被検眼
眼科医療機関を訪れたドライアイの患者１２８人の合計１２８眼と、健常者１１６人の合計１１６眼とを被検眼とした。
【0099】
１－２．疾患眼と健常眼の事前分類
全被検者について、主観的な目の症状の有無に関する質問と、臨床パラメータ指標による検査を行った。
主観的な症状の有無に関する質問検査は、１２項目のＯｃｕｌａｒ Ｓｕｒｆａｃｅ Ｄｉｓｅａｓｅ Ｉｎｄｅｘ（ＯＳＤＩ）アンケートに従って、０から４の数値スケールで評価した。総合ＯＳＤＩスコアは、次の式に基づいて計算された：ＯＳＤＩ＝［（すべての質問に対するスコアの合計）×１００］／［（回答された質問の総数）×４］。総合ＯＳＤＩは、０から１００までの範囲で、高いスコアほど障害が大きいことを示す。
臨床パラメータ指標による検査は、以下の項目で行った。
（１）ＴＭＨ及びＮＩＢＵＴの測定
（２）スリットランプ顕微鏡による瞼縁の観察
（３）フルオレセインブレークアップタイム（ＦＢＵＴ）の測定、
（４）フルオレセイン染料を使用した角膜及び結膜表面の染色、並びに
（５）シルマーテスト
全被検者について、主観的な目の症状の有無に関する質問と、臨床パラメータ指標による検査を行った。
主観的な症状の有無に関する質問検査は、１２項目のＯｃｕｌａｒ Ｓｕｒｆａｃｅ Ｄｉｓｅａｓｅ Ｉｎｄｅｘ（ＯＳＤＩ）アンケートに従って、０から４の数値スケールで評価した。総合ＯＳＤＩスコアは、次の式に基づいて計算された：ＯＳＤＩ＝［（すべての質問に対するスコアの合計）×１００］／［（回答された質問の総数）×４］。総合ＯＳＤＩは、０から１００までの範囲で、高いスコアほど障害が大きいことを示す。
臨床パラメータ指標による検査は、以下の項目で行った。
（１）ＴＭＨ及びＮＩＢＵＴの測定
（２）スリットランプ顕微鏡による瞼縁の観察
（３）フルオレセインブレークアップタイム（ＦＢＵＴ）の測定、
（４）フルオレセイン染料を使用した角膜及び結膜表面の染色、並びに
（５）シルマーテスト
【0100】
ＦＢＵＴは、通常の生理食塩水の一滴を点眼した後、下眼瞼結膜にフルオレセインストリップを適用して測定された。三回の試験の平均時間が記録された。
ＦＢＵＴの測定後、角膜及び結膜の染色はＮａｔｉｏｎａｌ Ｅｙｅ Ｉｎｓｔｉｔｕｔｅ（ＮＥＩ） Ｉｎｄｕｓｔｒｙ Ｗｏｒｋｓｈｏｐスケールに従って０から３で評価され、スリットランプ顕微鏡で観察されたフルオレセイン染色のパターンに基づいて０から３３で評価された。
シルマーテストＩは局所麻酔無しで実施され、５分後の湿潤量が記録された。
ＦＢＵＴの測定後、角膜及び結膜の染色はＮａｔｉｏｎａｌ Ｅｙｅ Ｉｎｓｔｉｔｕｔｅ（ＮＥＩ） Ｉｎｄｕｓｔｒｙ Ｗｏｒｋｓｈｏｐスケールに従って０から３で評価され、スリットランプ顕微鏡で観察されたフルオレセイン染色のパターンに基づいて０から３３で評価された。
シルマーテストＩは局所麻酔無しで実施され、５分後の湿潤量が記録された。
【0101】
健常眼は以下の基準を使用して定義した：
（１）ＯＳＤＩが１２未満、
（２）フルオレセイン染色による角膜又は結膜上皮の損傷が無い、
（３）涙膜の異常が無い（ＮＩＫＢＵＴ（＞５秒）、ＦＢＵＴ（＞５秒）、ＴＭＨ≧０．２０ｍｍ、及びシルマーテスト値が５分後に＞５ｍｍ）、並びに
（４）瞼の縁の異常が無い。
疾患眼は以下の基準を使用して定義した：
（１）ＤＥ症状がある（ＯＳＤＩ≧１２）、
（２）フルオレセイン染色による角膜又は結膜上皮の損傷の存在、並びに
（３）ＮＩＫＢＵＴ（≦５秒）及び／又はＦＢＵＴ（≦５秒）ＴＢＵＴによる涙膜の不安定さ、ＴＭＨ ＜０．２０ ｍｍ及び／又はシルマーテストＩ（５分後に≦５ｍｍ）による涙の異常な生成の存在。
（１）ＯＳＤＩが１２未満、
（２）フルオレセイン染色による角膜又は結膜上皮の損傷が無い、
（３）涙膜の異常が無い（ＮＩＫＢＵＴ（＞５秒）、ＦＢＵＴ（＞５秒）、ＴＭＨ≧０．２０ｍｍ、及びシルマーテスト値が５分後に＞５ｍｍ）、並びに
（４）瞼の縁の異常が無い。
疾患眼は以下の基準を使用して定義した：
（１）ＤＥ症状がある（ＯＳＤＩ≧１２）、
（２）フルオレセイン染色による角膜又は結膜上皮の損傷の存在、並びに
（３）ＮＩＫＢＵＴ（≦５秒）及び／又はＦＢＵＴ（≦５秒）ＴＢＵＴによる涙膜の不安定さ、ＴＭＨ ＜０．２０ ｍｍ及び／又はシルマーテストＩ（５分後に≦５ｍｍ）による涙の異常な生成の存在。
【0102】
１－３．動画像撮影
ケラトグラフ５Ｍ（Ｏｃｕｌｕｓ Ｇｍｂｈ）を用いて、被検眼の動画像を撮影した。動画像の撮影は、１秒当たり３２フレームのスピードで撮影した。また、被検者に通常どおり瞬きをするよう指示し、各被検眼あたり、２～３回の瞬きがなされる時間、撮影した。撮影に際し、白色光プラチドリング照明を使用し、涙液層に干渉縞を生じる５ｍｍ視野で倍率の調整を行いながら撮影した。
ケラトグラフ５Ｍ（Ｏｃｕｌｕｓ Ｇｍｂｈ）を用いて、被検眼の動画像を撮影した。動画像の撮影は、１秒当たり３２フレームのスピードで撮影した。また、被検者に通常どおり瞬きをするよう指示し、各被検眼あたり、２～３回の瞬きがなされる時間、撮影した。撮影に際し、白色光プラチドリング照明を使用し、涙液層に干渉縞を生じる５ｍｍ視野で倍率の調整を行いながら撮影した。
【0103】
１－４．動画像前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）
全ての被検眼から、合計２４４本のビデオクリップを回収した。疾患眼群は、１２８本のビデオを含んでおり、健常眼群は、１１６本のビデオを含んでいた。記録されたビデオは、１秒当たり８フレーム、１３６０×１０２４の解像度で、Ｍａｔｒｏｓｋａ ｖｉｄｅｏ（ＭＫＶ）及びａｕｄｉｏ ｖｉｄｅｏ ｉｎｔｅｒｌｅａｖｅｄ（ＡＶＩ）フォーマットにサンプリングした。各群からランダムに選抜された２０本のビデオが、開発（訓練／試験）データセットとは独立した最終的な再テスト用サブセットとして使用された。
全ての被検眼から、合計２４４本のビデオクリップを回収した。疾患眼群は、１２８本のビデオを含んでおり、健常眼群は、１１６本のビデオを含んでいた。記録されたビデオは、１秒当たり８フレーム、１３６０×１０２４の解像度で、Ｍａｔｒｏｓｋａ ｖｉｄｅｏ（ＭＫＶ）及びａｕｄｉｏ ｖｉｄｅｏ ｉｎｔｅｒｌｅａｖｅｄ（ＡＶＩ）フォーマットにサンプリングした。各群からランダムに選抜された２０本のビデオが、開発（訓練／試験）データセットとは独立した最終的な再テスト用サブセットとして使用された。
【0104】
１－５．訓練サブセットと試験サブセットの準備
計２０４眼の動画像フレームを抽出して、１０２４×１０２４ピクセルの解像度の画像を得るために、同じ像高を維持したまま、中央部の正方形部分に水平にトリミングした。次に、１人の研究者が、ドライアイ群及び健常群の両方において、画像セット（イメージ）全体を手作業で見直し、画質の悪い画像（イメージ）を除外し、まばたき中に瞼が閉じている、又は半分閉じている画像（イメージ）全てに手作業でラベルを付けた。これらの画像（イメージ）は「まばたき（ｂｌｉｎｋｉｎｇ）」グループとして分類した。そして、全ての画像を２２４×２２４ピクセルの解像度にリサイズした。
これらと同じプロセスを行い、最終的な再テスト用サブセットを含む４０本の動画像を準備した。全ての画像処理ステップは、ＯｐｅｎＣＶライブラリ（ｖｅｒｓｉｏｎ ４．５．４）を用いて行われた。
計２０４眼の動画像フレームを抽出して、１０２４×１０２４ピクセルの解像度の画像を得るために、同じ像高を維持したまま、中央部の正方形部分に水平にトリミングした。次に、１人の研究者が、ドライアイ群及び健常群の両方において、画像セット（イメージ）全体を手作業で見直し、画質の悪い画像（イメージ）を除外し、まばたき中に瞼が閉じている、又は半分閉じている画像（イメージ）全てに手作業でラベルを付けた。これらの画像（イメージ）は「まばたき（ｂｌｉｎｋｉｎｇ）」グループとして分類した。そして、全ての画像を２２４×２２４ピクセルの解像度にリサイズした。
これらと同じプロセスを行い、最終的な再テスト用サブセットを含む４０本の動画像を準備した。全ての画像処理ステップは、ＯｐｅｎＣＶライブラリ（ｖｅｒｓｉｏｎ ４．５．４）を用いて行われた。
【0105】
１－６．数理モデル構築
２７００万以下のパラメータで事前に訓練された３つのＣＮＮアーキテクチャ（ＤｅｎｓｅＮｅｔ１２１、Ｒｅｓｎｅｔ５０Ｖ２、及びＩｎｃｅｐｔｉｏｎＶ３）に基づく転移学習を採用した。これらのモデルを、２２４×２２４サイズの入力画像（イメージ）に適合するよう調整し、出力（分類）層を切り捨て、疾患眼、健常眼及びｂｌｉｎｋｉｎｇの３つのクラスの尤度を提供するために、Ｓｏｆｔｍａｘ関数による活性化で重ねて訓練可能な重みをもつカスタムモデルに置換した。
図１３は、構築したモデルのアーキテクチャを示す。事前に訓練されたＣＮＮアーキテクチャは、ロードされたＩｍａｇｅＮｅｔの重みで初期化され、これらの重みがカスタムデザインモデルが訓練される間凍結（訓練不可能）の状態であった。
２７００万以下のパラメータで事前に訓練された３つのＣＮＮアーキテクチャ（ＤｅｎｓｅＮｅｔ１２１、Ｒｅｓｎｅｔ５０Ｖ２、及びＩｎｃｅｐｔｉｏｎＶ３）に基づく転移学習を採用した。これらのモデルを、２２４×２２４サイズの入力画像（イメージ）に適合するよう調整し、出力（分類）層を切り捨て、疾患眼、健常眼及びｂｌｉｎｋｉｎｇの３つのクラスの尤度を提供するために、Ｓｏｆｔｍａｘ関数による活性化で重ねて訓練可能な重みをもつカスタムモデルに置換した。
図１３は、構築したモデルのアーキテクチャを示す。事前に訓練されたＣＮＮアーキテクチャは、ロードされたＩｍａｇｅＮｅｔの重みで初期化され、これらの重みがカスタムデザインモデルが訓練される間凍結（訓練不可能）の状態であった。
【0106】
１－７．データ補強及びモデル訓練
過学習のリスクを最小化するために、伝統的な画像補強（Ｉｍａｇｅ ａｒｇｕｍｅｎｔａｔｉｏｎ）を行い、訓練画像の数を人為的に増加させて補強する処理を行った。この補強する処理は、最小限の回転、幅シフト、高さシフト、スケーリング、水平反転、ズームを含んでいた。各モデルは２００エポック（反復）訓練され、損失関数にはカテゴリー・交差・エントロピーを用いた。最適化は、全てのモデルで８に設定されたＡｄａｍ ｏｐｔｉｍｉｚｅｒ Ｂａｔｃｈ ｓｉｚｅを用いて行われた。
過学習のリスクを最小化するために、伝統的な画像補強（Ｉｍａｇｅ ａｒｇｕｍｅｎｔａｔｉｏｎ）を行い、訓練画像の数を人為的に増加させて補強する処理を行った。この補強する処理は、最小限の回転、幅シフト、高さシフト、スケーリング、水平反転、ズームを含んでいた。各モデルは２００エポック（反復）訓練され、損失関数にはカテゴリー・交差・エントロピーを用いた。最適化は、全てのモデルで８に設定されたＡｄａｍ ｏｐｔｉｍｉｚｅｒ Ｂａｔｃｈ ｓｉｚｅを用いて行われた。
【0107】
１－８．モデル試験
訓練後、交差エントロピー損失が最も小さい、最もパフォーマンスの良いモデルが選択された。選択されたモデルのパフォーマンスについて、再テスト用サブセットに基づいて評価を行った。評価には、いくつかの客観的指標（精度、再現率、正確度、特異度、Ｆ１スコア、混同行列、受信者操作特性（ＲＯＣ）曲線、ＡＵＣ等）を用いた。
訓練後、交差エントロピー損失が最も小さい、最もパフォーマンスの良いモデルが選択された。選択されたモデルのパフォーマンスについて、再テスト用サブセットに基づいて評価を行った。評価には、いくつかの客観的指標（精度、再現率、正確度、特異度、Ｆ１スコア、混同行列、受信者操作特性（ＲＯＣ）曲線、ＡＵＣ等）を用いた。
【0108】
１－９．ヒト専門家とのパフォーマンス比較
モデルのパフォーマンスを、ヒト専門家のパフォーマンスと比較するために、健常眼群と疾患眼群から１００フレームを選抜し、マスクされた専門家の、試験・再試験のばらつきを測定するために、１０枚の複製画像を含めた。経験豊富な２人の角膜専門医が、正しい画像（イメージ）クラスを推測するために、画像のレビューを行った。これと同様の操作を１０の動画像（うち５本の動画像はドライアイ群（クラス）に対応し、５本の動画像は健常群（クラス）に対応する）において繰り返した。この二値分類タスクに対する３つのＣＮＮモデルについての推論結果も得た。
モデルのパフォーマンスを、ヒト専門家のパフォーマンスと比較するために、健常眼群と疾患眼群から１００フレームを選抜し、マスクされた専門家の、試験・再試験のばらつきを測定するために、１０枚の複製画像を含めた。経験豊富な２人の角膜専門医が、正しい画像（イメージ）クラスを推測するために、画像のレビューを行った。これと同様の操作を１０の動画像（うち５本の動画像はドライアイ群（クラス）に対応し、５本の動画像は健常群（クラス）に対応する）において繰り返した。この二値分類タスクに対する３つのＣＮＮモデルについての推論結果も得た。
【0109】
各ネットワークパフォーマンスとの比較を可能にするベンチマークパフォーマンスの指標を得るために、疾患眼群と健常眼群を、年齢、ＯＳＤＩスコア、及び他の眼試験パラメータ（ＴＭＨ、ＮＩＫＢＵＴ、ＦＢＵＴ、フルオレセイン染色スコア、シルマーテストの記録等）に基づいて区別するための二値分類にて訓練されたｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ）も用いた。
ＣＮＮモデルのパフォーマンスと、ＳＶＭモデルのパフォーマンスは、ｃｏｎｆｉｓｉｎｇ ｍａｔｒｉｘ、ＲＯＣ曲線、ＡＵＣ、Ｄｅｔｅｃｔｉｏｎ ｅｒｒｏｒ ｔｒａｄｅｏｆｆ（ＤＥＴ）曲線を用いて比較された。ＤＥＴ曲線は、ＲＯＣ曲線に比べて、分類アルゴリズムの全てのパフォーマンスを視覚的に評価する上で有用である。また、偽陰性エラー率が改善するポイントを抽出する為の操作点解析が容易になる。
ＣＮＮモデルのパフォーマンスと、ＳＶＭモデルのパフォーマンスは、ｃｏｎｆｉｓｉｎｇ ｍａｔｒｉｘ、ＲＯＣ曲線、ＡＵＣ、Ｄｅｔｅｃｔｉｏｎ ｅｒｒｏｒ ｔｒａｄｅｏｆｆ（ＤＥＴ）曲線を用いて比較された。ＤＥＴ曲線は、ＲＯＣ曲線に比べて、分類アルゴリズムの全てのパフォーマンスを視覚的に評価する上で有用である。また、偽陰性エラー率が改善するポイントを抽出する為の操作点解析が容易になる。
【0110】
未見の動画像を試験するために、動画像ストリームを初期化し、各フレームにおいて推測を行い、以前の推測に対する推測を反復的に平均化することによって推測キューを更新し、出力フレームに推測活性をタイムリーに描画し、最後にフレームを動画像フォーマットで保存するＰｙｔｈｏｎスクリプトを開発した。
【0111】
キューあたりの推測の数は最適化された。より具体的には、キューあたりの推測の数（最後のラベルを得るために平均化されるべき）は、フレームがモデルによって分類されたときに推測のちらつきを効果的に防止する閾値まで徐々に増加させた。
【0112】
これらの動画の分類精度は、２０フレームにおける推測を平均化した後、正しく分類されたフレームの数に基づいて定義された。平均化された推測の合計数の５０％以上が正しい場合、全てのビデオが正しく分類されたものとした。
【0113】
１－１０．クラス活性化マップ（ＣＡＭ）
それぞれのクラスを同定するＣＮＮのために、領域をハイライトする特定のクラスのためのクラス活性化マップ（ＣＡＭ）は、より重要であった。これにより、ＣＮＮモデルの決定基盤を視覚的に検査することができる。最終的なソフトマックス活性化の前に、出力層の重みを逆投影することで、望ましいＣＡＭを生成した。
それぞれのクラスを同定するＣＮＮのために、領域をハイライトする特定のクラスのためのクラス活性化マップ（ＣＡＭ）は、より重要であった。これにより、ＣＮＮモデルの決定基盤を視覚的に検査することができる。最終的なソフトマックス活性化の前に、出力層の重みを逆投影することで、望ましいＣＡＭを生成した。
【0114】
モデル決定に影響を与えた最も重要な画像領域をより深く理解するために、試験サブセットの画像の平均と、それに対応する平均化されたＣＡＭを生成した。誤分類されたフレームとそれらに対応するＣＡＭは除外された。各カテゴリの平均画像を計算するために、次元削減のための主成分分析（ＰＣＡ）を採用し、ＲｅｓＮｅｔ５０Ｖ２を用いてＣＡＭを生成した。さらに、連続したフレームを使用して、連続したＣＡＭを生成した。これらのＣＡＭフレームは、モデルの推測に影響を与える領域を示すＣＡＭビデオクリップ全体を作成するために使用された。
【0115】
１－１１．統計解析
全ての統計解析は、Ｓｃｉｐｙ（Ｐｙｔｈｏｎのための計算ツール）及びＰｙｔｈｏｎのｓｃｉｋｉｔ－ｌｅａｒｎライブラリ（ｖｅｒｓｉｏｎ ０．２１．３．３５）を用いて行われた。ｓｃｉｋｉｔ－ｌｅａｒｎは、Ｓｃｉｐｙの上に構築された機械学習のためのＰｙｔｈｏｎモジュールである。被検者データは、平均±ＳＤで提示された。変数の正規性は、Ｋｏｌｍｏｇｏｒｏｖ－Ｓｍｉｒｎｏｖ検定を用いて確認された。
全ての統計解析は、Ｓｃｉｐｙ（Ｐｙｔｈｏｎのための計算ツール）及びＰｙｔｈｏｎのｓｃｉｋｉｔ－ｌｅａｒｎライブラリ（ｖｅｒｓｉｏｎ ０．２１．３．３５）を用いて行われた。ｓｃｉｋｉｔ－ｌｅａｒｎは、Ｓｃｉｐｙの上に構築された機械学習のためのＰｙｔｈｏｎモジュールである。被検者データは、平均±ＳＤで提示された。変数の正規性は、Ｋｏｌｍｏｇｏｒｏｖ－Ｓｍｉｒｎｏｖ検定を用いて確認された。
【0116】
バイタル染色のスコアとシルマーテストの記録は、一対のスチューデントのｔ検定を用いて分析した。全ての解析において、Ｐ≦０．０５を統計的に有意とみなした。
【0117】
ＭｃＮｅｍａｒ検定を行って、ＣＮＮモデルと角膜専門医の二値分類のパフォーマンスの比較を行った。
【0118】
それぞれ陽性クラスと定義されたクラスと、陰性クラスと定義された他のクラスの３クラス問題にＲＯＣ曲線に使用を拡張するために、１対全アプローチが適用された。ＤＥＴ曲線は、二値分類のパフォーマンスを比較するために使用された。
【0119】
Ｐｙｔｈｏｎプログラミング言語（ｖｅｒｓｉｏｎ３．９．９）をコードスクリプトに使用した。ＴｅｎｓｏｒＦｌｏｗライブラリ（ｖｅｒｓｉｏｎ２．７．０）のインターフェースとして、Ｋｅｒａｓ Ｏｐｅｎ－ｓｏｕｒｃｅソフトウェアライブラリ（ｖｅｒｓｉｏｎ２．７．０）を使用した。
【0120】
サンプルサイズの計算には、Ｐｙｔｈｏｎにおけるコア計算ライブラリであるＮｕｍＰｙ（Ｎｕｍｅｒｉｃａｌ Ｐｙｔｈｏｎ）を使用した。２つの独立サンプルに対してはｔ検定を用いた統計的検出力の計算にはＴＴｅｓｔＩｎｄＰｏｗｅｒを用いた。各群に少なくとも１１４の被検者のサンプルサイズが必要であった（効果量＝０．３５、α誤差＝０．０５、検出力＝０．７５）。
【0121】
深層学習計算には、ＣＵＤＡ １１．０．１２６ドライブを搭載したＮｖｉｄｉａ Ｔｕｒｉｎｇアーキテクチャで提供されるＧｅＦｏｒｃｅＲＴＸ ２０６０ ＳＵＰＥＲグラフィックカードを搭載したパーソナルコンピュータから構成されるｇｒａｐｈｉｃａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＧＰＵ）上で行われた。
【0122】
２．結果
図１４は、各モデルの訓練プロセスにおける評価である。ＲｅｓＮｓｔ５０Ｖ２モデルにより、ドライアイ群、健常群、及びｂｌｉｎｋｉｎｇ群を正しく分類するため、ＡＵＣはそれぞれ０．９９、０．９９及び１．０であった。
図１４は、各モデルの訓練プロセスにおける評価である。ＲｅｓＮｓｔ５０Ｖ２モデルにより、ドライアイ群、健常群、及びｂｌｉｎｋｉｎｇ群を正しく分類するため、ＡＵＣはそれぞれ０．９９、０．９９及び１．０であった。
【0123】
図１５は、３つのＣＮＮモデルに対応する混同行列を示す。
【0124】
図１６及び１７は、ヒト専門家とＳＶＭモデルの二値分類パフォーマンスの比較を示す。２人の角膜専門医について、１０複製フレームに基づく同意率は、それぞれ９０％及び８０％であった。
二値分類タスクに関し、２人の専門医の分類パフォーマンスは、それぞれ０．８６５及び０．７１０であった。ＳＶＭ分類の精度は０．９５０であり、２人の専門医よりも有意に高かった（２人の専門医それぞれに対し、ｐ＝０．０２２及びｐ＜０．００１）。ＤｅｎｓｅＮｅｔ２０１、ＲｅｓＮｅｔ５０２、及びＩｎｃｅｐｔｉｏｎ Ｖ３ ＣＮＮモデルの精度スコアは、それぞれ０．８３５、０．９１５、及び０．７１０であった。３つのＣＮＮモデルは、ＳＶＭ分類よりも低いスコアを示した（それぞれｐ＝０．０３２、０．１８２、及びｐ＜０．００１）。
二値分類タスクに関し、２人の専門医の分類パフォーマンスは、それぞれ０．８６５及び０．７１０であった。ＳＶＭ分類の精度は０．９５０であり、２人の専門医よりも有意に高かった（２人の専門医それぞれに対し、ｐ＝０．０２２及びｐ＜０．００１）。ＤｅｎｓｅＮｅｔ２０１、ＲｅｓＮｅｔ５０２、及びＩｎｃｅｐｔｉｏｎ Ｖ３ ＣＮＮモデルの精度スコアは、それぞれ０．８３５、０．９１５、及び０．７１０であった。３つのＣＮＮモデルは、ＳＶＭ分類よりも低いスコアを示した（それぞれｐ＝０．０３２、０．１８２、及びｐ＜０．００１）。
【0125】
全ての動画像は、全てのＣＮＮモデルによって正確に分類された。試験ビデオの平均分類精度は、ＤｅｎｓｅＮｅｔ１２１、ＲｅｓＮｓｔ５０Ｖ２、及びＩｎｃｅｐｔｉｏｎ Ｖ３モデルで、それぞれ０．８４、０．９１、及び０．８０であった。
【0126】
図１８は、ＲｅｓＮｓｔ５０Ｖ２及びＤｅｎｓｅＮｅｔ１２１モデルによって生成されたＣＡＭの１５の例を示す。ＣＡＭは、臨床的に妥当な空間的推論が可能であると思われる。健常と正しく分類されたほとんどの画像において、より重要な領域が角膜表面上のマイヤー反射で広く散らばっていた。
【0127】
図１９は、再試験サブセットに基づく平均化されたＣＡＭに対応する平均化された画像を示す。誤分類されたフレームとそれらに対応するＣＡＭは除外されている。
【0128】
（実施例６）
一実施形態において、所定の眼疾患は円錐角膜であり、眼表面の特徴は、空気パルスを発すること等の被検眼に対する外部ストレスに対する応答として現れる被検眼の角膜形状の動きである。
以下に、円錐角膜の診断支援に関する試験例を示す。
一実施形態において、所定の眼疾患は円錐角膜であり、眼表面の特徴は、空気パルスを発すること等の被検眼に対する外部ストレスに対する応答として現れる被検眼の角膜形状の動きである。
以下に、円錐角膜の診断支援に関する試験例を示す。
【0129】
試験例２：円錐角膜の診断支援
円錐角膜は、角膜の希薄化と前方突出を特徴とする進行性の眼疾患であり、発症と進行時期が異なることもあり、早期の発見が難しい眼疾患である。進行により近視や乱視等の視機能障害を来し、角膜移植を必要とするケースも存在する。
円錐角膜は、角膜の希薄化と前方突出を特徴とする進行性の眼疾患であり、発症と進行時期が異なることもあり、早期の発見が難しい眼疾患である。進行により近視や乱視等の視機能障害を来し、角膜移植を必要とするケースも存在する。
【0130】
ヒトが円錐角膜を診断するには、細隙灯顕微鏡検査や角膜形状解析（角膜トポグラフィー）を用いるが、前者ではある程度角膜の突出が進行しなければ判断が難しいことから早期発見が困難であり、後者では角膜トポグラフィーの主観的観察に依拠することから、先入観が介入する懸念がある。
【0131】
本発明者らは、被検眼の眼表面の動画像を用いて円錐角膜の診断支援を行う試験を実施した。方法及び結果を以下に記載する。
【0132】
１．方法
１－１．被検眼
２つの被検眼データセットを準備した。第１の被検眼データセットとして、ブラジルの眼科医療機関を訪れた２３２人の合計４４７眼（うち１３１が健常眼であり１０１が疾患眼）を被検眼とした。第２の被検眼データセットとして、イランの眼科医療機関を訪れた５０２人の合計５０２眼（うち２５９が健常眼であり２４３が疾患眼）を被検眼とした。
１－１．被検眼
２つの被検眼データセットを準備した。第１の被検眼データセットとして、ブラジルの眼科医療機関を訪れた２３２人の合計４４７眼（うち１３１が健常眼であり１０１が疾患眼）を被検眼とした。第２の被検眼データセットとして、イランの眼科医療機関を訪れた５０２人の合計５０２眼（うち２５９が健常眼であり２４３が疾患眼）を被検眼とした。
【0133】
１－２．疾患眼と健常眼の事前分類
全被検眼について、２人の独立した角膜の専門医により、ＦｌｅｉｃｈｅｒリングやＶｏｇｔ ｓｔｒｉａｅを伴う角膜中心突出のスリットランプ証拠や、ゆがんだｋｅｒａｔｏｍｅｔｒｙ ｍｉｒｅｓや、網膜赤色反射のゆがみに基づく不規則な角膜の存在を含む臨床指標に基づいて、被検眼の円錐角膜眼と健常眼との分類を行った。
全被検眼について、２人の独立した角膜の専門医により、ＦｌｅｉｃｈｅｒリングやＶｏｇｔ ｓｔｒｉａｅを伴う角膜中心突出のスリットランプ証拠や、ゆがんだｋｅｒａｔｏｍｅｔｒｙ ｍｉｒｅｓや、網膜赤色反射のゆがみに基づく不規則な角膜の存在を含む臨床指標に基づいて、被検眼の円錐角膜眼と健常眼との分類を行った。
【0134】
１－３．動画像撮影
Ｃｏｒｖｉｓ ＳＴ装置（Ｏｃｕｌｕｓ Ｏｐｔｉｋｇｅｒａｔｅ ＧｍｂＨ）を用いて、被検眼に空気パルスを発射し、空気パルスに対する応答としての角膜の形状が変化する動画を撮影した。動画像の撮影は、１秒当たり４３００フレームのスピードで撮影した。空気パルスが最大になったときが、角膜の最凹時である。空気パルスをオフにしたとき、角膜は、第２のアプラネーション状態を経由してオリジナルの形状に戻る。角膜が最終的にナチュラルな凸形状に戻ったとき、動画像の撮影を終了した。撮影に際し、青色ＬＥＤ光（４７０ｎｍ、紫外線無し）を用いて角膜からの散乱光を記録した。
Ｃｏｒｖｉｓ ＳＴ装置（Ｏｃｕｌｕｓ Ｏｐｔｉｋｇｅｒａｔｅ ＧｍｂＨ）を用いて、被検眼に空気パルスを発射し、空気パルスに対する応答としての角膜の形状が変化する動画を撮影した。動画像の撮影は、１秒当たり４３００フレームのスピードで撮影した。空気パルスが最大になったときが、角膜の最凹時である。空気パルスをオフにしたとき、角膜は、第２のアプラネーション状態を経由してオリジナルの形状に戻る。角膜が最終的にナチュラルな凸形状に戻ったとき、動画像の撮影を終了した。撮影に際し、青色ＬＥＤ光（４７０ｎｍ、紫外線無し）を用いて角膜からの散乱光を記録した。
【0135】
１－４．動画像前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）
１－４－１．角膜の骨格像を用いたピクセル間距離測定
各マスク処理及び二値化処理を行い、角膜の形態学的な骨格を示すピクセルを残すようにして、角膜像を細線化した。得られた角膜の骨格像を、各リファレンスセグメントと比較して、ピクセル間のずれを計算した。
図２０は、角膜の骨格像と、リファレンスセグメントとの各ピクセル間の距離の計算のフローチャートである。各骨格像について、１４０の動画像フレームを表現する１４０の数値配列を得るまで処理は繰り返した。図２０に示すように、３つのリファレンスセグメントを設けており、Ａは第１のリファレンスセグメント（オリジナルリファレンスセグメント）、Ｂは第２のリファレンスセグメント（アプラネーションリファレンスセグメント）、Ｃは第３のリファレンスセグメント（最凹時リファレンスセグメント）である。１～３は、骨格像の状態を示しており、Ａ－１、Ｂ－１及びＣ－１はオリジナルポジションにある角膜骨格像、Ａ－２、Ｂ－２及びＣ－２はアプラネーション角膜骨格像、Ａ－３、Ｂ－３及びＣ－３は最凹時角膜骨格像である。
１－４－１．角膜の骨格像を用いたピクセル間距離測定
各マスク処理及び二値化処理を行い、角膜の形態学的な骨格を示すピクセルを残すようにして、角膜像を細線化した。得られた角膜の骨格像を、各リファレンスセグメントと比較して、ピクセル間のずれを計算した。
図２０は、角膜の骨格像と、リファレンスセグメントとの各ピクセル間の距離の計算のフローチャートである。各骨格像について、１４０の動画像フレームを表現する１４０の数値配列を得るまで処理は繰り返した。図２０に示すように、３つのリファレンスセグメントを設けており、Ａは第１のリファレンスセグメント（オリジナルリファレンスセグメント）、Ｂは第２のリファレンスセグメント（アプラネーションリファレンスセグメント）、Ｃは第３のリファレンスセグメント（最凹時リファレンスセグメント）である。１～３は、骨格像の状態を示しており、Ａ－１、Ｂ－１及びＣ－１はオリジナルポジションにある角膜骨格像、Ａ－２、Ｂ－２及びＣ－２はアプラネーション角膜骨格像、Ａ－３、Ｂ－３及びＣ－３は最凹時角膜骨格像である。
【0136】
１－４－２．測定したピクセル間距離の可視化
３つのリファレンスセグメントとから算出された数値アレイをヒートマップに変換し、測定したピクセル間距離を可視化した。
図２１は、ピクセル間距離の可視化像を示す。計１４０フレームについて、各可視化像は、縦方向に１４０の数値配列、横方向に４５０のカラムを有する。
３つのリファレンスセグメントとから算出された数値アレイをヒートマップに変換し、測定したピクセル間距離を可視化した。
図２１は、ピクセル間距離の可視化像を示す。計１４０フレームについて、各可視化像は、縦方向に１４０の数値配列、横方向に４５０のカラムを有する。
【0137】
１－４－３．可視化像から疑似画像の生成
同じ動画像から得た３つの可視化像に対応する数値アレイを連結して疑似画像を生成した。
図２２は、疑似画像の生成のイメージを示す。１－ａ、１－ｂ及び１－ｃは、第１のビデオから得た３つの数値アレイをカラーチャネルに基づいて連結して生成した疑似画像であり、２－ａ、２－ｂ及び２－ｃは、第２のビデオから得た３つの数値アレイをカラーチャネルに基づいて連結して生成した疑似画像である。
同じ動画像から得た３つの可視化像に対応する数値アレイを連結して疑似画像を生成した。
図２２は、疑似画像の生成のイメージを示す。１－ａ、１－ｂ及び１－ｃは、第１のビデオから得た３つの数値アレイをカラーチャネルに基づいて連結して生成した疑似画像であり、２－ａ、２－ｂ及び２－ｃは、第２のビデオから得た３つの数値アレイをカラーチャネルに基づいて連結して生成した疑似画像である。
【0138】
１－５．数理モデル構築
１－５－１．数理モデル構築
事前に訓練されたＣＮＮアーキテクチャ（ＤｅｎｓｅＮｅｔ１２１）に基づく転移学習を採用した。当該アーキテクチャは、１０００カテゴリの１４００万のイメージを含むＩｍａｇｅＮｅｔ ｄａｔａｓｅｔに基づいており、高い精度を有する。事前に学習された当該アーキテクチャによって、各フレームを個別に解析した。
図２３は、構築したモデルのアーキテクチャとモデルに画像を入力するイメージを示す。準備した疑似画像をクロッピングし、リサイズし、構築したモデルへ入力した。
１－５－１．数理モデル構築
事前に訓練されたＣＮＮアーキテクチャ（ＤｅｎｓｅＮｅｔ１２１）に基づく転移学習を採用した。当該アーキテクチャは、１０００カテゴリの１４００万のイメージを含むＩｍａｇｅＮｅｔ ｄａｔａｓｅｔに基づいており、高い精度を有する。事前に学習された当該アーキテクチャによって、各フレームを個別に解析した。
図２３は、構築したモデルのアーキテクチャとモデルに画像を入力するイメージを示す。準備した疑似画像をクロッピングし、リサイズし、構築したモデルへ入力した。
【0139】
２．結果
図２４は、構築したモデルの訓練のエポック数（反復数）に対する精度（左上図）と損失関数（左下図）と混同行列（右図）とを示す。
図２４は、構築したモデルの訓練のエポック数（反復数）に対する精度（左上図）と損失関数（左下図）と混同行列（右図）とを示す。
【0140】
図２５はＲＯＣ曲線及びＹｏｕｄｅｎインデックスを示す。
【0141】
図２６は、外部検証データセットにおける円錐角膜と健常の二項分類タスクのための、各種分類器の受信者操作特性（ＲＯＣ）曲線を示す。
【0142】
図２７は、外部検証データセットにおける円錐角膜と健常の二項分類タスクのための、各種分類器の検出誤差トレードオフ曲線、および混同行列を示す。
【0143】
図２８は、健常群と円錐角膜群における各パラメータ間のスピアマン順位相関係数とそのヒートマップ、またＰ値が０．０５未満のみの表示を示す。
【0144】
図２９は、構築したモデルの健常眼の分類に関するＣＡＭ活性化マップを示す。
【0145】
図３０は、構築したモデルの疾患眼の分類に関するＣＡＭ活性化マップを示す。
【0146】
試験例３：円錐角膜の診断支援
本発明者らは、被検眼の眼表面の動画像を用いて円錐角膜の診断支援を行う試験を実施した。方法及び結果を以下に記載する。
本発明者らは、被検眼の眼表面の動画像を用いて円錐角膜の診断支援を行う試験を実施した。方法及び結果を以下に記載する。
【0147】
１．方法
１－１．被検眼
２つの被検眼データセットを準備した。第１の被検眼データセットとして、イランの眼科医療機関を訪れた２２４人の合計４４７眼を被検眼とした。第２の被検眼データセットとして、ブラジルの眼科医療機関を訪れた１１０人の合計２１９眼を被検眼とした。
１－１．被検眼
２つの被検眼データセットを準備した。第１の被検眼データセットとして、イランの眼科医療機関を訪れた２２４人の合計４４７眼を被検眼とした。第２の被検眼データセットとして、ブラジルの眼科医療機関を訪れた１１０人の合計２１９眼を被検眼とした。
【0148】
１－２．疾患眼と健常眼の事前分類
試験例２と同様にして、被検眼の疾患眼と健常眼の事前分類を行った。
試験例２と同様にして、被検眼の疾患眼と健常眼の事前分類を行った。
【0149】
１－３．動画像撮影
試験例２と同様にして、被検眼の動画像撮影を行った。
試験例２と同様にして、被検眼の動画像撮影を行った。
【0150】
１－４．動画像前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）
各動画像について、合計時間は約１０秒間であり、各フレームの解像度は、５７６×２２４で、ＲＣＧ（ルート・クロック・ジェネレーター）動画像符号化／復号化フォーマットで毎秒３０フレームであった。動画像をＡＶＩコーデックに変換し（Ｍａｔｌａｂプラットフォームでフレームにアクセスするため）、フレームの解像度を調整し、ディープラーニングモデルに対応するようにフレームをトリミングした。
図３１は、被検眼の動画像における前処理によって得られた画像を示す。中央トリミングマスクを使用したマスク処理の後、各フレームに対する処理を行った。
各動画像について、合計時間は約１０秒間であり、各フレームの解像度は、５７６×２２４で、ＲＣＧ（ルート・クロック・ジェネレーター）動画像符号化／復号化フォーマットで毎秒３０フレームであった。動画像をＡＶＩコーデックに変換し（Ｍａｔｌａｂプラットフォームでフレームにアクセスするため）、フレームの解像度を調整し、ディープラーニングモデルに対応するようにフレームをトリミングした。
図３１は、被検眼の動画像における前処理によって得られた画像を示す。中央トリミングマスクを使用したマスク処理の後、各フレームに対する処理を行った。
【0151】
また、図３２は、本試験の概要を示すフローチャート図である。
【0152】
１－５．角膜動画像の解析（特徴抽出）
被検眼の動画像を、事前に訓練されたＧｏｏｇｌｅＮｅｔ畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを用いて、一連の特徴ベクトルシーケンスに変換した。当該アーキテクチャは、１０００カテゴリの１４００万のイメージを含むＩｍａｇｅＮｅｔ ｄａｔａｓｅｔに基づいており、高い精度を有する。
被検眼の動画像を、事前に訓練されたＧｏｏｇｌｅＮｅｔ畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを用いて、一連の特徴ベクトルシーケンスに変換した。当該アーキテクチャは、１０００カテゴリの１４００万のイメージを含むＩｍａｇｅＮｅｔ ｄａｔａｓｅｔに基づいており、高い精度を有する。
【0153】
１－６．長・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）の訓練
空気パルスに対する応答としての角膜形状の変形を記録した動画像には、時間的特徴が含まれるため、円錐角膜を検出するための特徴の時間的特性を利用するＬＳＴＭモデルを開発した。ＬＳＴＭモデルには、ベクトルのフォーマットの入力層、２０００の隠れユニットを伴う双方向ＬＳＴＭ（ＢｉＬＳＴＭ）層、ドロップアウト層、２の出力サイズを伴う完全結合層、ソフトマックス層、及び分類層が含まれる。約９０％のデータをＬＳＴＭモデルの訓練に用い、約１０％のデータをモデルの検証に用いた。
空気パルスに対する応答としての角膜形状の変形を記録した動画像には、時間的特徴が含まれるため、円錐角膜を検出するための特徴の時間的特性を利用するＬＳＴＭモデルを開発した。ＬＳＴＭモデルには、ベクトルのフォーマットの入力層、２０００の隠れユニットを伴う双方向ＬＳＴＭ（ＢｉＬＳＴＭ）層、ドロップアウト層、２の出力サイズを伴う完全結合層、ソフトマックス層、及び分類層が含まれる。約９０％のデータをＬＳＴＭモデルの訓練に用い、約１０％のデータをモデルの検証に用いた。
【0154】
（全体のフレームワークについて）
図３３は、本試験のアプローチの時系列順のステップの概要を示すフローチャート図である。動画像は、まずそれぞれ１０２４の特徴を有する１３９のシーケンスに変換した（特徴抽出）。これらのシーケンスは展開され、平坦化された（１３９×１０２４の要素を伴うベクトルに変換された）後、円錐角膜検出のための動画像の時間的特性を活用するため、ＬＳＴＭ訓練層に入力された。本試験のアプローチはこのようなフレームワークを有しており、構築されたモデルが、入力された動画像を直接分類できることを利点の一つとして有する。
図３３は、本試験のアプローチの時系列順のステップの概要を示すフローチャート図である。動画像は、まずそれぞれ１０２４の特徴を有する１３９のシーケンスに変換した（特徴抽出）。これらのシーケンスは展開され、平坦化された（１３９×１０２４の要素を伴うベクトルに変換された）後、円錐角膜検出のための動画像の時間的特性を活用するため、ＬＳＴＭ訓練層に入力された。本試験のアプローチはこのようなフレームワークを有しており、構築されたモデルが、入力された動画像を直接分類できることを利点の一つとして有する。
【0155】
（シナリオデザインについて）
本試験では、２つの異なるシナリオをデザインした。第１のシナリオでは、異なる地域において収集された全てのデータセットを組合わせて、合計６６６眼から入手した合計６６６の動画像のうち、８５％を開発、１０％を微調整（ｆｉｎｅ ｔｕｎｉｎｇ）、５％をテストとして選択し、モデルのパフォーマンスを評価した。第２のシナリオでは、一般化可能性を担保するために、ブラジルで収集されたデータセット（開発用データセット）に基づいてモデルを開発し、イランで収集されたデータセット（独立検証用データセット）に基づいてモデルを検証／再テストした。
本試験では、２つの異なるシナリオをデザインした。第１のシナリオでは、異なる地域において収集された全てのデータセットを組合わせて、合計６６６眼から入手した合計６６６の動画像のうち、８５％を開発、１０％を微調整（ｆｉｎｅ ｔｕｎｉｎｇ）、５％をテストとして選択し、モデルのパフォーマンスを評価した。第２のシナリオでは、一般化可能性を担保するために、ブラジルで収集されたデータセット（開発用データセット）に基づいてモデルを開発し、イランで収集されたデータセット（独立検証用データセット）に基づいてモデルを検証／再テストした。
【0156】
（ヒト専門家と構築したモデルのパフォーマンスの比較）
第２の被検眼データセット（独立検証用データセット）から、健常眼の３０本の動画像と、円錐角膜眼の３０本の動画像をランダムに選抜し、３人の角膜専門医に対し、これらの動画像のみから円錐角膜か否かを診断させた。モデルの出力と、ヒト専門家の回答とを、ＡＵＣ指標に基づいて比較した。
第２の被検眼データセット（独立検証用データセット）から、健常眼の３０本の動画像と、円錐角膜眼の３０本の動画像をランダムに選抜し、３人の角膜専門医に対し、これらの動画像のみから円錐角膜か否かを診断させた。モデルの出力と、ヒト専門家の回答とを、ＡＵＣ指標に基づいて比較した。
【0157】
２．結果
図３４は、ＬＳＴＭ訓練のエポック数（反復数）に対する精度（上段）と損失関数（下段）を示す。エポック数が約３０００を超えると、ＬＳＴＭモデルは約９０％以上の精度を達成した。
図３４は、ＬＳＴＭ訓練のエポック数（反復数）に対する精度（上段）と損失関数（下段）を示す。エポック数が約３０００を超えると、ＬＳＴＭモデルは約９０％以上の精度を達成した。
【0158】
第１のシナリオに基づくモデルでは、０．９４のＡＵＣと、９０％の精度を達成した。
図３５は、ＲＯＣ曲線と混同行列を示す。
図３５は、ＲＯＣ曲線と混同行列を示す。
【0159】
第２のシナリオに基づくモデルでは、０．８６のＡＵＣと６７％の精度を達成した。図３６はＲＯＣ曲線と混同行列を示す。
【産業上の利用可能性】
【0160】
本発明により、複雑な機械や検査を必要とせず、眼球の動画を撮影し入力するという簡便な操作によって、眼疾患に罹患している可能性を発見できることから、比較的安価に定期的な眼の健診サービスを提供したり、被検者の自己診断ツールとして使用されたり、これにより眼科診療の発展や世界的な喫緊の課題である健康寿命の延伸に資することも期待できる。
【0161】
また、眼球や眼球の動画像に対する観察者の主観的な意見や偏見が介入することなく、眼疾患に罹患している可能性を発見できることから、本実施形態の診断支援情報は、ユーザにとって安心できるセカンドオピニオン的な存在として寄与することが期待できる。
【0162】
また、複雑な検査や知見を必要とせず、眼球の動画を撮影し入力するという操作によって、眼疾患に罹患している可能性を発見できることから、高度な専門性や知見を有する医師が在籍していない医療機関や、経験の乏しい医師であっても、本実施形態の診断支援情報を活用して、より簡便に、効率的な診断を提供することができる。
【0163】
さらにはビッグデータとしてＡＩにより解析を行い、眼科の医師の診断精度を向上させることが期待できる。
【符号の説明】
【0164】
１…眼科システム、１０…眼科装置、２０…撮像装置、Ｎ…通信ネットワーク、７１…プロセッサ、７２…通信ＩＦ、７３…記憶装置、７４…入力装置、７５…出力装置、１１０…記憶部、１２０…取得部、１３０…解析部、１４０…評価部、１５０…診断支援情報生成部、１６０…出力制御部、１７０…モデル構築部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
