特許 7513239 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム

(51)【国際特許分類】

   A61B 3/00 20060101AFI20240702BHJP

   A61B 10/00 20060101ALI20240702BHJP

【ＦＩ】

A61B3/00

A61B10/00 E

【請求項の数】 20

(21)【出願番号】P 2023577479

(86)(22)【出願日】2022-06-30

(65)【公表番号】

(43)【公表日】2024-06-21

(86)【国際出願番号】 KR2022009452

(87)【国際公開番号】W WO2023277622

(87)【国際公開日】2023-01-05

【審査請求日】2023-12-14

(31)【優先権主張番号】10-2021-0085542

(32)【優先日】2021-06-30

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0080423

(32)【優先日】2022-06-30

(33)【優先権主張国・地域又は機関】KR

【早期審査対象出願】

(73)【特許権者】

【識別番号】523433859

【氏名又は名称】サイロスコープ インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】シン、キュボ

(72)【発明者】

【氏名】キム、ジョンチャン

(72)【発明者】

【氏名】パク、ジャエミン

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特表２０２０－５２８８１７（ＪＰ，Ａ）

【文献】特表２０１９－５２１３７９（ＪＰ，Ａ）

【文献】米国特許第１１６１２３１４（ＵＳ，Ｂ２）

【文献】米国特許出願公開第２０１８／０２８９２５３（ＵＳ，Ａ１）

【文献】Hiroki Masumoto, et al.，Severity Classification of Conjunctival Hyperaemia by Deep Neural Network Ensembles，Journal of Ophthalmology，2019年，Volume 2019, Artilce ID 7820971，pp. 1-10，https://doi.org/10.1155/2019/7820971

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ａ６１Ｂ １０／００

(57)【特許請求の範囲】

【請求項1】

トレーニングセットを使用して結膜充血予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされ、前記トレーニング画像は、眼の少なくとも一部を含む、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
前記少なくとも一方の眼の前記輪郭の前記外側領域に基づいて、前記第１の画像を、クロッピング、左右反転、又はリサイズして、変換画像を取得する段階、
プロセッサ上で実行されている前記トレーニングされた結膜充血予測モデルに前記変換画像を入力して、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を取得する段階、
予め定められた設定に基づいて、５つの第１の予測値の中でも、前記結膜充血に関する前記第１の予測値を選択する段階、及び、
前記結膜充血に関する選択された第１の予測値に基づいて、スコアに基づいて診察を受けることを前記対象者に推奨するために使用される前記結膜充血に関する前記スコアを生成する段階
を備える、甲状腺眼症の治療のためのコンピュータ実装方法。

【請求項2】

前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
請求項１に記載のコンピュータ実装方法。

【請求項3】

前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記結膜充血予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、５つの第２の予測値の中でも、前記結膜充血に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記結膜充血に関するスコアを前記生成する段階は、前記結膜充血に関する前記選択された第１の予測値及び前記結膜充血に関する前記選択された第２の予測値を考慮して前記結膜充血に関するスコアを生成する段階である
請求項２に記載のコンピュータ実装方法。

【請求項4】

前記結膜充血に関する前記スコアを前記生成する段階は、
前記結膜充血に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記結膜充血に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記結膜充血に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、請求項３に記載のコンピュータ実装方法。

【請求項5】

トレーニングセットを使用して結膜浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされ、前記トレーニング画像は、眼の少なくとも一部を含む、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
前記少なくとも一方の眼の前記輪郭の前記外側領域に基づいて、前記第１の画像を、クロッピング、左右反転、又はリサイズして、変換画像を取得する段階、
プロセッサ上で実行されている前記トレーニングされた結膜浮腫予測モデルに前記変換画像を入力して、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を取得する段階、
予め定められた設定に基づいて、５つの第１の予測値の中でも、前記結膜浮腫に関する前記第１の予測値を選択する段階、及び、
前記選択された結膜浮腫に関する第１の予測値に基づいて、スコアに基づいて診察を受けることを前記対象者に推奨するために使用される前記結膜浮腫に関する前記スコアを生成する段階
を備える、甲状腺眼症の治療のためのコンピュータ実装方法。

【請求項6】

前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
請求項５に記載のコンピュータ実装方法。

【請求項7】

前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記結膜浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、５つの第２の予測値の中でも、前記結膜浮腫に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記結膜浮腫に関するスコアを前記生成する段階は、前記結膜浮腫に関する前記選択された第１の予測値及び前記結膜浮腫に関する前記選択された第２の予測値を考慮して前記結膜浮腫に関するスコアを生成する段階である
請求項６に記載のコンピュータ実装方法。

【請求項8】

前記結膜浮腫に関する前記スコアを前記生成する段階は、
前記結膜浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記結膜浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記結膜浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、請求項７に記載のコンピュータ実装方法。

【請求項9】

トレーニングセットを使用して涙丘浮腫の予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされ、前記トレーニング画像は、眼の少なくとも一部を含む、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
前記少なくとも一方の眼の前記輪郭の前記外側領域に基づいて、前記第１の画像を、クロッピング、左右反転、又はリサイズして、変換画像を取得する段階、
プロセッサ上で実行されている前記トレーニングされた涙丘浮腫の予測モデルに前記変換画像を入力して、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を取得する段階、
予め定められた設定に基づいて、５つの第１の予測値の中でも、前記涙丘浮腫に関する第１の予測値を選択する段階、及び、
前記選択された涙丘浮腫に関する前記第１の予測値に基づいて、スコアに基づいて診察を受けることを前記対象者に推奨するために使用される前記涙丘浮腫に関する前記スコアを生成する段階
を備える、甲状腺眼症の治療のためのコンピュータ実装方法。

【請求項10】

前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
請求項９に記載のコンピュータ実装方法。

【請求項11】

前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記涙丘浮腫の予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、５つの第２の予測値の中でも、前記涙丘浮腫に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記涙丘浮腫に関するスコアを前記生成する段階は、前記涙丘浮腫に関する前記選択された第１の予測値及び前記涙丘浮腫に関する前記選択された第２の予測値を考慮して前記涙丘浮腫に関するスコアを生成する段階である
請求項１０に記載のコンピュータ実装方法。

【請求項12】

前記涙丘浮腫に関する前記スコアを前記生成する段階は、
前記涙丘浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記涙丘浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記涙丘浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、請求項１１に記載のコンピュータ実装方法。

【請求項13】

トレーニングセットを使用して瞼発赤の予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、前記瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされ、前記トレーニング画像は、眼の少なくとも一部を含む、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
前記少なくとも一方の眼の前記輪郭の前記外側領域に基づいて、前記第１の画像を、クロッピング、左右反転、又はリサイズして、変換画像を取得する段階、
プロセッサ上で実行されている前記トレーニングされた瞼発赤の予測モデルに前記変換画像を入力して、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を取得する段階、
予め定められた設定に基づいて、５つの第１の予測値の中でも、前記瞼発赤に関する第１の予測値を選択する段階、及び、
前記選択された瞼発赤に関する前記第１の予測値に基づいて、スコアに基づいて診察を受けることを前記対象者に推奨するために使用される前記瞼発赤に関する前記スコアを生成する段階
を備える、甲状腺眼症の治療のためのコンピュータ実装方法。

【請求項14】

前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
請求項１３に記載のコンピュータ実装方法。

【請求項15】

前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記瞼発赤の予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、５つの第２の予測値の中でも、前記瞼発赤に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記瞼発赤に関するスコアを前記生成する段階は、前記瞼発赤に関する前記選択された第１の予測値及び前記瞼発赤に関する前記選択された第２の予測値を考慮して前記瞼発赤に関するスコアを生成する段階である
請求項１４に記載のコンピュータ実装方法。

【請求項16】

前記瞼発赤に関する前記スコアを前記生成する段階は、
前記瞼発赤に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記瞼発赤に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記瞼発赤に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、請求項１５に記載のコンピュータ実装方法。

【請求項17】

トレーニングセットを使用して瞼浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
プロセッサ上で実行されている前記瞼浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、
予め定められた設定に基づいて、５つの第１の予測値の中でも、前記瞼浮腫に関する前記第１の予測値を選択する段階、及び、
前記瞼浮腫に関する前記選択された第１の予測値に基づいて前記瞼浮腫に関するスコアを生成する段階
をさらに備える、請求項１３から１６のいずれか一項に記載のコンピュータ実装方法。

【請求項18】

前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
請求項１７に記載のコンピュータ実装方法。

【請求項19】

前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記瞼浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、５つの第２の予測値の中でも、前記瞼浮腫に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記瞼浮腫に関するスコアを前記生成する段階は、前記瞼浮腫に関する前記選択された第１の予測値及び前記瞼浮腫に関する前記選択された第２の予測値を考慮して前記瞼浮腫に関するスコアを生成する段階である
請求項１８に記載のコンピュータ実装方法。

【請求項20】

前記瞼浮腫に関する前記スコアを前記生成する段階は、
前記瞼浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記瞼浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記瞼浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、請求項１９に記載のコンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこの方法を実行するためのシステムに関する。

【背景技術】

【0002】

眼疾患とは、眼球及び周辺部に生じる疾患である。世界中の多くの人が眼疾患を患っており、眼疾患は、重症の場合には視野を損なう等の生活における大きな不便を引き起こし、そのため、眼疾患の発生又は範囲をモニタリングすることが必要である。

【0003】

一方で、眼疾患は、他の疾患によって引き起こされた複数の合併症のうちの１つであり得る。例えば、甲状腺眼症は、甲状腺機能異常によって引き起こされた合併症である。

【0004】

甲状腺眼症が悪化すると、眼球が突出し、手術無しに治療することはできない。したがって、甲状腺眼症の治療のためには、甲状腺眼症の早期診断が非常に重要である。しかしながら、甲状腺眼症は明らかな予後症状を示さないので、この疾患を早期に診断することは困難である。医学界では、１９８９年に提案された臨床活動性スコア（ＣＡＳ）を用いた評価方法を通じて甲状腺眼症を早期に診断する努力が行われてきた。

【0005】

甲状腺眼症に関する臨床活動性スコアの判定においては合計７項目が考慮され、７項目とは、１）自発性の（ｓｐｏｎｔａｎｅｏｕｓ）眼球後痛、２）上方又は下方注視を試みたときの痛み、３）瞼（ｅｙｅｌｉｄ）の発赤、４）結膜の発赤、５）瞼の腫れ、６）結膜の腫れ、及び７）涙丘の腫れである。

【0006】

臨床活動性スコアを判定するために、個人が病院又はクリニックを直接訪問し、医師が問診及び肉眼での観察を通じて診察を行うことが不可欠である。例えば、自発性の眼球後痛及び上方又は下方注視を試みたときの痛みは、医師による問診を通じて検査することができ、瞼の発赤、結膜の発赤、瞼の腫れ、結膜の腫れ、及び涙丘の腫れは、医師による肉眼での観察によって検査することができる。臨床活動性スコアを判定するための医師による肉眼での診察及び問診方法は、前提条件として、甲状腺眼症の診断のために患者が直接病院訪問する必要があり、そのため、甲状腺眼症を早期に診断することが困難である。

【0007】

したがって、連続的なモニタリングを行うことができるように直接病院訪問することなく個人がより容易に且つ迅速に眼疾患のリスクを認識することを可能にする方法を開発することが望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本願における開示は、プロフェッショナルな医学的診断デバイスではなく一般の人々が使用できるデジタルカメラで取得された画像を使用することによって甲状腺眼症に関する臨床活動性スコアを予測することに使用される学習モデルを提供することを対象とする。

【0009】

さらに、本願における開示は、一般の人々が、医師の助け及び直接の病院訪問無しに甲状腺眼症に関する臨床活動性スコアを連続的にモニタリングすることを可能にするための方法及びシステムを提供することを対象とする。

【0010】

本願によって解決されることになる技術的課題は、上述の技術的課題に限定されず、言及されていない他の技術的課題は、本明細書及び添付図面から当業者には明らかに理解される。

【課題を解決するための手段】

【0011】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して結膜充血予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる；対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階；プロセッサ上で実行されている前記結膜充血予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階；予め定められた設定に基づいて、５つの第１の予測値の中でも、前記結膜充血に関する前記第１の予測値を選択する段階；及び、前記結膜充血に関する選択された第１の予測値に基づいて前記結膜充血に関するスコアを生成する段階を備える。

【0012】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0013】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記結膜充血予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記結膜充血に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記結膜充血に関するスコアを前記生成する段階は、前記結膜充血に関する前記選択された第１の予測値及び前記結膜充血に関する前記選択された第２の予測値を考慮して前記結膜充血に関するスコアを生成する段階である。

【0014】

いくつかの実施形態において、前記結膜充血に関する前記スコアを前記生成する段階は、前記結膜充血に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記結膜充血に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記結膜充血に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0015】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して結膜浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記結膜浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記結膜浮腫に関する前記第１の予測値を選択する段階、及び、前記選択された結膜浮腫に関する第１の予測値に基づいて前記結膜浮腫に関するスコアを生成する段階を備える。

【0016】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0017】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記結膜浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記結膜浮腫に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記結膜浮腫に関するスコアを前記生成する段階は、前記結膜浮腫に関する前記選択された第１の予測値及び前記結膜浮腫に関する前記選択された第２の予測値を考慮して前記結膜浮腫に関するスコアを生成する段階である。

【0018】

いくつかの実施形態において、前記結膜浮腫に関する前記スコアを前記生成する段階は、前記結膜浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記結膜浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記結膜浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0019】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して涙丘浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記涙丘浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記涙丘浮腫に関する第１の予測値を選択する段階、及び、前記選択された涙丘浮腫に関する前記第１の予測値に基づいて前記涙丘浮腫に関するスコアを生成する段階を備える。

【0020】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0021】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記涙丘浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記涙丘浮腫に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記涙丘浮腫に関するスコアを前記生成する段階は、前記涙丘浮腫に関する前記選択された第１の予測値及び前記涙丘浮腫に関する前記選択された第２の予測値を考慮して前記涙丘浮腫に関するスコアを生成する段階である。

【0022】

いくつかの実施形態において、前記涙丘浮腫に関する前記スコアを前記生成する段階は、前記涙丘浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記涙丘浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記涙丘浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0023】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して瞼発赤予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記瞼発赤予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記瞼発赤に関する第１の予測値を選択する段階、及び、前記選択された瞼発赤に関する前記第１の予測値に基づいて前記瞼発赤に関するスコアを生成する段階を備える。

【0024】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0025】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記瞼発赤予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記瞼発赤に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記瞼発赤に関するスコアを前記生成する段階は、前記瞼発赤に関する前記選択された第１の予測値及び前記瞼発赤に関する前記選択された第２の予測値を考慮して前記瞼発赤に関するスコアを生成する段階である。

【0026】

いくつかの実施形態において、前記瞼発赤に関する前記スコアを前記生成する段階は、前記瞼発赤に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記瞼発赤に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記瞼発赤に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0027】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して瞼浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記瞼浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記瞼浮腫に関する前記第１の予測値を選択する段階、及び、前記瞼浮腫に関する前記選択された第１の予測値に基づいて前記瞼浮腫に関するスコアを生成する段階を備える。

【0028】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0029】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記瞼浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記瞼浮腫に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記瞼浮腫に関するスコアを前記生成する段階は、前記瞼浮腫に関する前記選択された第１の予測値及び前記瞼浮腫に関する前記選択された第２の予測値を考慮して前記瞼浮腫に関するスコアを生成する段階である。

【0030】

いくつかの実施形態において、前記瞼浮腫に関する前記スコアを前記生成する段階は、前記瞼浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記瞼浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記瞼浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【発明の効果】

【0031】

本願における開示によれば、プロフェッショナルな医学的診断デバイスではなく、一般の人々が使用できるデジタルカメラを通じて取得された画像を使用して、甲状腺眼症に関する臨床活動性スコアを予測することができる。

【図面の簡単な説明】

【0032】

【図1】本願に記載の一実施形態による甲状腺眼症に関する臨床活動性スコアを予測するためのシステムを示す図である。

【0033】

【図2】本願において提供されるユーザー端末を示すブロック図である。

【0034】

【図3】本願に記載のサーバーを示すブロック図である。

【0035】

【図4】カメラを使用して顔のピクチャが取得された場合、眼及び周辺組織がカメラによって捕捉されるように、外部に露出した眼及び周辺組織を示す図である。

【0036】

【図5】外部に露出した眼球を示す図である。

【0037】

【図6】外部に露出した角膜を示す図である。

【0038】

【図7】外部に露出した結膜を示す図である。

【0039】

【図8】顔画像及び両眼画像を示す図である。

【0040】

【図9】眼の輪郭を検出する方法を示す図である。

【0041】

【図10】第１のクロッピング領域を示す図である。

【0042】

【図11】第１のクロッピング済み画像の例を示す図である。

【0043】

【図12】様々なやり方で判定された第２のクロッピング領域の例を示す図である。

【0044】

【図13】第２のクロッピング済み画像の例を示す図である。

【0045】

【図14】第３のクロッピング領域を判定する方法を示す図である。

【0046】

【図15】第３のクロッピング領域の一例を示す図である。

【0047】

【図16】第３のクロッピング済み画像の例を示す図である。

【0048】

【図17】元画像及び左右反転画像の様々な例を示す図である。

【0049】

【図18】リサイズ画像の例を示す図である。

【0050】

【図19】結膜充血予測方法を示すフローチャートである。

【0051】

【図20】結膜浮腫予測方法を示すフローチャートである。

【0052】

【図21】涙丘浮腫予測方法を示すフローチャートである。

【0053】

【図22】瞼発赤予測方法を示すフローチャートである。

【0054】

【図23】瞼浮腫予測方法を示すフローチャートである。

【0055】

【図24】甲状腺眼症に関する臨床活動性スコアを予測する方法を示す図である。

【発明を実施するための形態】

【0056】

本願の上述した目的、特徴、及び利点は、添付図面を参照する以下の詳細な説明からより明らかとなる。さらに、本願には様々な変更が加えられてよく、本願の様々な実施形態が実践されてよい。したがって、以下では、添付図面を参照しながら具体的な実施形態が詳細に説明される。

【0057】

明細書全体を通して、同じ参照番号は、原理的に同じ要素を示している。さらに、実施形態の図面に示されている同じ範囲内の同じ機能を有する要素は、同じ参照番号を使用して説明されており、冗長な説明は省略される。

【0058】

本願の性質及び趣旨を不明瞭にすると判断された場合、本願に関するよく知られた機能又は構成の詳細な説明は省略される。さらに、本明細書全体を通して、第１、第２等の用語は、或る要素を別のものから区別するためにのみ使用されている。

【0059】

さらに、以下の説明において要素を挙げるために使用されている「モジュール」及び「部」という用語は、本明細書の書きやすさのみを考慮して、使用されている。それらの用語は、異なる特別な意味又は機能を有するものとしては意図されておらず、それゆえ、個々に又は交換可能に使用され得る。

【0060】

以下の実施形態において、単数形で使用されている表現は、それがその文脈において明らかに異なる意味を有するのでない限り、複数形の表現も包含する。

【0061】

以下の実施形態において、「含む」、「有する」等のような用語は、明細書において開示される特徴又は要素の存在を示すことを意図されており、１又は複数の他の特徴又は要素が追加され得る可能性を排除することは意図されていないことが理解されるべきである。

【0062】

図面中の要素のサイズは、説明の便宜上、誇張又は縮小されている場合がある。例えば、図面に示されている各要素の任意のサイズ及び厚さは、説明の便宜上示されており、本開示はこれに限定されるものではない。

【0063】

特定の実施形態が別様に実現される場合において、説明された順序から外れて、特定のプロセスが行われてよい。例えば、連続して説明された２つのプロセスは、実質的に同時に実行されてもよいし、又は、説明された順序とは反対の順序で進められてもよい。

【0064】

以下の実施形態において、要素が互いに接続されていると言及される場合、それらの要素は、互いに直接接続されているか、又は、それらの要素は、それらの間に介入する要素を伴って、互いに間接的に接続されている。例えば、本明細書において、要素が互いに電気的に接続されていると言及される場合、それらの要素は、互いに直接電気的に接続されているか、又は、それらの要素は、それらの間に介入する要素を伴って、間接的に電気的に接続されている。

【0065】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して結膜充血予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる；対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階；プロセッサ上で実行されている前記結膜充血予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階；予め定められた設定に基づいて、５つの第１の予測値の中でも、前記結膜充血に関する前記第１の予測値を選択する段階；及び、前記結膜充血に関する選択された第１の予測値に基づいて前記結膜充血に関するスコアを生成する段階を備える。

【0066】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0067】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記結膜充血予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記結膜充血に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記結膜充血に関するスコアを前記生成する段階は、前記結膜充血に関する前記選択された第１の予測値及び前記結膜充血に関する前記選択された第２の予測値を考慮して前記結膜充血に関するスコアを生成する段階である。

【0068】

いくつかの実施形態において、前記結膜充血に関する前記スコアを前記生成する段階は、前記結膜充血に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記結膜充血に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記結膜充血に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0069】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して結膜浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記結膜浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記結膜浮腫に関する前記第１の予測値を選択する段階、及び、前記選択された結膜浮腫に関する第１の予測値に基づいて前記結膜浮腫に関するスコアを生成する段階を備える。

【0070】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0071】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記結膜浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記結膜浮腫に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記結膜浮腫に関するスコアを前記生成する段階は、前記結膜浮腫に関する前記選択された第１の予測値及び前記結膜浮腫に関する前記選択された第２の予測値を考慮して前記結膜浮腫に関するスコアを生成する段階である。

【0072】

いくつかの実施形態において、前記結膜浮腫に関する前記スコアを前記生成する段階は、前記結膜浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記結膜浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記結膜浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0073】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して涙丘浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記涙丘浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記涙丘浮腫に関する第１の予測値を選択する段階、及び、前記選択された涙丘浮腫に関する前記第１の予測値に基づいて前記涙丘浮腫に関するスコアを生成する段階を備える。

【0074】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0075】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記涙丘浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記涙丘浮腫に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記涙丘浮腫に関するスコアを前記生成する段階は、前記涙丘浮腫に関する前記選択された第１の予測値及び前記涙丘浮腫に関する前記選択された第２の予測値を考慮して前記涙丘浮腫に関するスコアを生成する段階である。

【0076】

いくつかの実施形態において、前記涙丘浮腫に関する前記スコアを前記生成する段階は、前記涙丘浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記涙丘浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記涙丘浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0077】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して瞼発赤予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記瞼発赤予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記瞼発赤に関する第１の予測値を選択する段階、及び、前記選択された瞼発赤に関する前記第１の予測値に基づいて前記瞼発赤に関するスコアを生成する段階を備える。

【0078】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0079】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記瞼発赤予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記瞼発赤に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記瞼発赤に関するスコアを前記生成する段階は、前記瞼発赤に関する前記選択された第１の予測値及び前記瞼発赤に関する前記選択された第２の予測値を考慮して前記瞼発赤に関するスコアを生成する段階である。

【0080】

いくつかの実施形態において、前記瞼発赤に関する前記スコアを前記生成する段階は、前記瞼発赤に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記瞼発赤に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記瞼発赤に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0081】

本願の１つの態様によれば、コンピュータ実装方法が開示される。上記方法は、トレーニングセットを使用して瞼浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、プロセッサ上で実行されている前記瞼浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、予め定められた設定に基づいて、５つの第１の予測値の中でも、前記瞼浮腫に関する前記第１の予測値を選択する段階、及び、前記瞼浮腫に関する前記選択された第１の予測値に基づいて前記瞼浮腫に関するスコアを生成する段階を備える。

【0082】

いくつかの実施形態において、前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、前記生成された予測値は、前記一方の眼に関する予測値である。

【0083】

いくつかの実施形態において、上記方法は、前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、前記プロセッサ上で実行されている前記瞼浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び、予め定められた設定に基づいて、５つの第２の予測値の中でも、前記瞼浮腫に関する前記第２の予測値を選択する段階をさらに備え、ここで、前記瞼浮腫に関するスコアを前記生成する段階は、前記瞼浮腫に関する前記選択された第１の予測値及び前記瞼浮腫に関する前記選択された第２の予測値を考慮して前記瞼浮腫に関するスコアを生成する段階である。

【0084】

いくつかの実施形態において、前記瞼浮腫に関する前記スコアを前記生成する段階は、前記瞼浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、前記瞼浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は、前記瞼浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、予め定められた値を前記スコアに割り当てる段階を有する。

【0085】

【0086】

本願によれば、ユーザーの甲状腺眼症に関する臨床活動性スコア（ＣＡＳ）を予測するためのシステムが開示される。

【0087】

【0088】

１．システム全体

【0089】

［（１）システムのハードウェア構築］

【0090】

図１は、本願に記載の一実施形態による甲状腺眼症に関する臨床活動性スコアを予測するためのシステムを示す図である。

【0091】

図１を参照すると、システム１は、複数のユーザー端末１０及びサーバー２０を備える。

【0092】

以下、複数のユーザー端末１０及びサーバー２０を詳細に説明する。

【0093】

【0094】

［（２）ユーザー端末の機能］

【0095】

複数のユーザー端末１０は、様々なネットワークを介してサーバー２０に情報を送信し、サーバー２０から情報を受信する。

【0096】

複数のユーザー端末１０は、ユーザーの上瞼、下瞼、及び、上瞼及び下瞼によって外部に露出した眼球の画像（以下、眼画像と称される）を取得する。複数のユーザー端末１０は、取得された眼画像に対して必要な処理を実行してもよいし、又は、取得された眼画像又は処理済み眼画像をサーバー２０に送信してもよい。

【0097】

複数のユーザー端末１０は、サーバー２０から、サーバー２０によって処理された臨床活動性スコアについての予測結果を受信してよい。

【0098】

【0099】

［（３）サーバーの機能］

【0100】

サーバー２０は、様々なネットワークを介して複数のユーザー端末１０に情報を送信し、複数のユーザー端末１０から情報を受信する。

【0101】

サーバー２０は、複数のユーザー端末１０から眼画像を受信してよい。ここで、サーバー２０は、眼画像を処理してよい。代替的に、サーバー２０は、処理済み眼画像を受信してよい。

【0102】

サーバー２０は、処理済み眼画像に基づいて、ユーザーの甲状腺眼症に関する臨床活動性スコアについての予測結果を取得してよい。

【0103】

サーバー２０は、臨床活動性スコアについての予測結果を複数のユーザー端末１０に送信してよい。

【0104】

【0105】

［（４）システムのソフトウェア構築］

【0106】

システム１が動作するために、複数のソフトウェア構築が必要である。

【0107】

ユーザー端末１０及びサーバー２０間の通信を実行するために、複数のユーザー端末１０にターミナルソフトウェアがインストールされる必要があり、サーバー２０にサーバーソフトウェアがインストールされる必要がある。

【0108】

眼画像に必要な前処理を実行するために、様々な前処理アルゴリズムが使用されてよい。

【0109】

前処理済み眼画像に基づいて臨床活動性スコアを予測するための複数の予測モデルが使用されてよい。

【0110】

複数の前処理アルゴリズムは、ユーザー端末１０にインストールされたターミナルソフトウェアによって実行されてもよいし、又は、サーバー２０にインストールされたソフトウェアによって実行されてもよい。代替的に、複数の前処理アルゴリズムのうちのいくつかは、ユーザー端末１０によって実行されてよく、他は、サーバー２０によって実行されてよい。

【0111】

複数の予測モデルは、サーバー２０にインストールされたソフトウェアによって実行されてよい。代替的に、複数の予測モデルは、ユーザー端末１０にインストールされたターミナルソフトウェアによって実行されてよい。代替的に、複数の予測モデルのうちのいくつかは、ユーザー端末１０によって実行されてよく、他は、サーバー２０によって実行されてよい。

【0112】

［（５）ユーザー端末の要素］

【0113】

図２は、本願に記載のユーザー端末を示すブロック図である。

【0114】

図２を参照すると、本願に記載のユーザー端末１０は、出力部１１０、通信部１２０、メモリ１３０、カメラ１４０、及びコントローラ１５０を有する。

【0115】

出力部１１０は、コントローラ１５０の制御コマンドに従って、様々なタイプの情報を出力する。一実施形態によれば、出力部１１０は、ユーザーに対して情報を視覚的に出力するためのディスプレイ１１２を含んでよい。代替的に、図面には示していないが、ユーザーに対して情報を聴覚的に出力するためのスピーカ及びユーザーに対して情報を触覚的に出力するための振動モーターが含まれてよい。

【0116】

通信部１２０は、無線通信モジュール及び／又は優先通信モジュールを含んでよい。ここで、無線通信モジュールの例としては、Ｗｉ－Ｆｉ（登録商標）通信モジュール、セルラ通信モジュール等が挙げられ得る。

【0117】

メモリ１３０は、コントローラ１５０によって可読な実行可能コード、処理済み結果値、必要なデータ等を記憶する。メモリ１３０の例としては、ハードディスクドライブ（ＨＤＤ）、ソリッドステートディスク（ＳＳＤ）、シリコンディスクドライブ（ＳＤＤ）、ＲＯＭ、ＲＡＭ等が挙げられ得る。メモリ１３０は、上述したターミナルソフトウェアを記憶してよく、上述した様々な前処理アルゴリズム及び／又は学習モデルを実現するための実行可能コードを記憶してよい。さらに、メモリ１３０は、カメラ１４０を通じて取得された眼画像、前処理済み眼画像等を記憶してよい。

【0118】

カメラ１４０は、デジタルカメラであり、イメージセンサ及びイメージプロセッサを含んでよい。イメージセンサは、光学画像を電気信号に変換するためのデバイスであり、複数のフォトダイオードが組み込まれたチップとして提供されてよい。イメージセンサの例としては、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）等が挙げられ得る。一方で、イメージプロセッサは、捕捉された結果に対して画像処理を実行してよく、画像情報を生成してよい。

【0119】

コントローラ１５０は、少なくとも１つのプロセッサを含んでよい。ここで、プロセッサのそれぞれは、メモリ１３０に記憶された少なくとも１つの命令を実行することによって所定の動作を実行してよい。具体的には、コントローラ１５０は、ユーザー端末１０上で動作している、ターミナルソフトウェア、前処理アルゴリズム、及び／又は学習モデルに従って情報を処理してよい。一方で、コントローラ１５０は、ユーザー端末１０の動作全体を制御する。

【0120】

図面には示していないが、ユーザー端末１０は、ユーザー入力部を有してよい。ユーザー端末１０は、ユーザー入力部を通じて、ユーザーから、ユーザー端末１０の動作に必要な様々なタイプの情報を受信してよい。

【0121】

【0122】

［（６）サーバーの要素］

【0123】

図３は、本願に記載のサーバーを示すブロック図である。

【0124】

図３を参照すると、本願に記載のサーバー２０は、通信部２１０、メモリ２２０、及びコントローラ２３０を有する。

【0125】

通信部２１０は、無線通信モジュール及び／又は優先通信モジュールを含んでよい。ここで、無線通信モジュールの例としては、Ｗｉ－Ｆｉ通信モジュール、セルラ通信モジュール等が挙げられ得る。

【0126】

メモリ２２０は、コントローラ２３０によって可読な実行可能コード、処理済み結果値、必要なデータ等を記憶する。メモリ２２０の例としては、ハードディスクドライブ（ＨＤＤ）、ソリッドステートディスク（ＳＳＤ）、シリコンディスクドライブ（ＳＤＤ）、ＲＯＭ、ＲＡＭ等が挙げられ得る。メモリ２２０は、上述したサーバーソフトウェアを記憶してよく、上述した様々な前処理アルゴリズム及び／又は学習モデルを実現するための実行可能コードを記憶してよい。さらに、メモリ２２０は、ユーザー端末１０から受信された眼画像、前処理済み眼画像等を記憶してよい。

【0127】

コントローラ２３０は、少なくとも１つのプロセッサを含んでよい。ここで、プロセッサのそれぞれは、メモリ２２０に記憶された少なくとも１つの命令を実行することによって所定の動作を実行してよい。具体的には、コントローラ２３０は、サーバー２０上で動作している、サーバーソフトウェア、前処理アルゴリズム、及び／又は学習モデルに従って情報を処理してよい。一方で、コントローラ２３０は、サーバー２０の動作全体を制御する。

【0128】

【0129】

以下、本願に記載の技術をより明らかに且つ容易に理解するために、眼、眼球、及び、上瞼、下瞼、及び涙丘を含む眼球付近の組織を簡単に説明し、本明細書において使用される眼及び周辺部に関連する用語を定義する。

【0130】

【0131】

２．眼の構築及び用語の定義

【0132】

［（１）眼球及び周辺組織］

【0133】

図４は、カメラを使用して顔のピクチャが取得された場合、眼及び周辺組織がカメラによって捕捉されるように、外部に露出した眼及び周辺組織を示す図である。

【0134】

図４は、以下のもの：瞼（上瞼及び下瞼）；涙丘；上瞼、下瞼、及び涙丘によって部分的に露出し且つ部分的に覆われた結膜又は白目；角膜又は虹彩；及び眉を示している。

【0135】

一般に、眼又は眼球は、図４に示されているよりも大きい。しかしながら、眼球は、上瞼及び下瞼等の組織によって外部から保護されており、それゆえ、人が自身の眼を開いている場合であっても、眼球の一部のみが外部に露出する。

【0136】

【0137】

［（２）用語の定義］

【0138】

結膜、白目

【0139】

以下、結膜は、白目の位置に概ね対応し、そのため、結膜及び白目という用語は、交換可能に使用され得る。

【0140】

角膜、虹彩

【0141】

以下、角膜は、眼の虹彩の位置に概ね対応し、そのため、角膜及び虹彩という用語は、交換可能に使用され得る。一方で、本明細書において、「虹彩」という用語は、瞳孔領域を含む意味で使用される。

【0142】

瞼

【0143】

瞼は、眼球の前部を覆う、上側及び下側の２つの皮膚のひだである。瞼は、眼瞼（ｐａｌｐｅｂｒａｅ）とも呼ばれる。眼球の上方の瞼は、上瞼と呼ばれ、眼球の下方の瞼は、下瞼と呼ばれる。皮膚の外表面及び内表面は、結膜であり、それらの間に、瞼を動かす筋肉及び皮脂腺であるマイボーム腺を含む瞼板が存在し、そうして瞼の形状を維持している。瞼は眼球を保護し、同時に、まばたきによって涙で眼球をきれいにする、又は、角膜に光沢を与えかつ透明にする。

【0144】

眉

【0145】

眉は、眼の上方の骨稜に沿って弧状に生えた体毛を指す。

【0146】

睫毛

【0147】

睫毛は、上及び下瞼の縁部にある、長さが約１０ｍｍの体毛を指す。

【0148】

外部に露出した眼球

【0149】

以下、「外部に露出した眼球」とは、人が自身の眼を開いている場合に、上瞼、下瞼、及び涙丘によって覆われていない部分、すなわち、上瞼、下瞼、及び涙丘によって外部に露出した部分を意味する。例えば、図５に示されている点線の内側は、「外部に露出した眼球」と呼ばれる。

【0150】

眼の輪郭

【0151】

以下、「眼の輪郭」とは、人が自身の眼を開いている場合に、外部に露出した眼球及び瞼（上瞼及び下瞼）の間の境界を意味する。すなわち、外部に露出した眼球の輪郭が、「眼の輪郭」と呼ばれる。例えば、図５に示されている点線は、「眼の輪郭」と呼ばれる。

【0152】

外部に露出した角膜（外部に露出した虹彩）

【0153】

以下、「外部に露出した角膜」とは、人が自身の眼を開いている場合に、上瞼及び下瞼によって覆われていない角膜の部分、すなわち、上瞼及び下瞼によって外部に露出した角膜の部分を意味する。例えば、図６に示されている点線の内側は、「外部に露出した角膜」と呼ばれる。

【0154】

外部に露出した結膜（外部に露出した白目）

【0155】

以下、「外部に露出した結膜」とは、上瞼、下瞼、及び涙丘によって覆われていない結膜の部分、すなわち、人が自身の眼を開いている場合に、上瞼、下瞼、及び涙丘によって外部に露出した結膜の部分を意味する。例えば、図７に示されている点線の内側は、「外部に露出した結膜」と呼ばれる。

【0156】

【0157】

以下、本願に記載の画像前処理を実行するための様々な画像前処理アルゴリズムを説明する。

【0158】

【0159】

３．画像前処理アルゴリズム

【0160】

［（１）画像前処理の必要性］

【0161】

本願は、プロフェッショナルな医学的診断デバイスではなく、一般の人々が使用できるデジタルカメラによって取得された画像を使用することによって甲状腺眼症に関する臨床活動性スコアを予測するための学習モデルを提供することを対象とする。

【0162】

このために、甲状腺眼症に関する臨床活動性スコアを予測することにおいて、眼球及び眼球付近の組織に関して一般の人々によって容易に取得できる画像が使用される必要がある。例えば、画像分析は、医療機関において使用される特殊な医療デバイスによって取得されるデジタル画像ではなく、一般の人々によって容易に使用できるデジタルカメラ又はスマートフォン内に構築されたカメラによって取得されたデジタル画像を使用する。

【0163】

この環境下では、ユーザーによって取得されたデジタル画像を標準化することが困難であり、ユーザーによって取得されたデジタル画像をより正確かつ迅速に認識するために、取得された画像の様々なタイプの前処理が必要とされる。

【0164】

一方で、本願の発明者らは、図８に示されているような顔画像を使用することによって、甲状腺眼症に関連する５つの項目に関するスコアを予測するためのシステムを構築したが、予測の正確度が低いことがわかった。

【0165】

本願の発明者らは、顔画像が分析に不必要な多くの領域を含んでいたことから、予測の正確度が低いと判断し、より精緻なクロッピング済み画像を取得する必要があると判断した。

【0166】

【0167】

［（２）異なるクロッピング方法を適用する必要性］

【0168】

一方で、甲状腺眼症に関する臨床活動性スコアを評価するための７項目のうちの５つは、医師によるユーザーの眼球及び周辺領域の肉眼での観察によって評価される項目であることが説明された。医師による肉眼での観察によって評価される５つの項目とは、以下の通りである。

【0169】

１）結膜充血（結膜の発赤）、

【0170】

２）結膜浮腫（結膜の腫れ）、

【0171】

３）涙丘浮腫（涙丘の腫れ）、

【0172】

４）瞼の発赤、及び

【0173】

５）瞼浮腫（瞼の腫れ）。

【0174】

以下、後で説明するように、本願において提供される、甲状腺眼症に関する臨床活動性スコアの評価のためには、肉眼での観察の対象を「結膜」、「涙丘」、及び「瞼」の３つの部分に分割する点に着目して、合計５つの症状についての予測を実行可能な合計３つの予測モデルを生成することが、予測モデルの正確度を高め得ると判断された。すなわち、３つの予測モデルのトレーニングにおいて、予測モデルが、トレーニングデータとして使用されることになる画像のための異なるクロッピング方法を有することがより有利であろうと判断された。

【0175】

以下、「結膜」の分析のためにより有利なクロッピング方法、「涙丘」の分析のためにより有利なクロッピング方法、及び「瞼」の分析のためにより有利なクロッピング方法を説明する。

【0176】

【0177】

［（３）第１のクロッピング（外部露出眼球クロッピング）］

【0178】

以下、結膜分析のためにより有利なクロッピング方法を説明する。このクロッピング方法は、第１のクロッピング又は外部露出眼球クロッピングと呼ばれる。第１のクロッピングは、右眼画像及び左眼画像の両方に適用されてよいが、便宜上、左眼クロッピング済み画像を取得する場合に基づいて説明が与えられる。

【0179】

第１のクロッピングの目的

【0180】

第１のクロッピングは、後で説明されることになる予測モデルの中でも、結膜の発赤があるか否かを予測するためのモデル、及び、結膜の腫れがあるか否かを予測するためのモデルの入力画像として使用されることになる画像を生成することである。第２のクロッピングは、外部に露出した角膜についての情報が最大化され、他の領域についての情報が最小化された画像を生成することである。

【0181】

入力画像

【0182】

第１のクロッピングは、両眼を含む顔画像又は顔画像の部分に適用されてよい。

【0183】

眼の輪郭の検出

【0184】

一実施形態によれば、眼の輪郭を検出するために、ランドマーク検出アルゴリズムが使用されてよい。例えば、眼の輪郭に位置するピクセルを検出するために、ｄｌｉｂによって提供される顔ランドマーク検出アルゴリズムを使用してよい。

【0185】

眼の輪郭に対応するピクセルの数は、ランドマーク検出アルゴリズムのタイプに応じて変化し得る。しかしながら、上述した顔ランドマーク検出アルゴリズムによれば、６つのピクセルが、両眼の輪郭のそれぞれに対応してよく、検出されてよい。６つのピクセルのうちの１つ（例えば、図９の（ａ）に示されているＰ_４）は、画像内で眼の輪郭の最左部として判定されたピクセルに対応してよい。６つのピクセルのうちの別の１つ（例えば、図９の（ａ）に示されているＰ_１）は、画像内で眼の輪郭の最右部として判定されたピクセルに対応してよい。６つのピクセルのうちの２つの他のピクセル（例えば、図９の（ａ）に示されているＰ_２及びＰ_３）は、画像内で外部に露出した眼球及び上瞼間の境界に対応するピクセルであってよい。６つのピクセルのうちの他の２つ（例えば、図９の（ａ）に示されているＰ_５及びＰ_６）は、画像内で外部に露出した眼球及び下瞼間の境界に対応するピクセルであってよい。

【0186】

本明細書において、眼の輪郭を検出することは、眼の輪郭に対応する全てのピクセルを検出することを意味してもよいし、又は、ランドマーク検出等を使用することによって眼の輪郭に対応するピクセルのうちのいくつかを検出することを意味してもよい。

【0187】

以下、眼の輪郭に対応する６つのピクセルを検出する場合を仮定して説明を与える。

【0188】

第１のクロッピング領域の判定

【0189】

検出されたピクセルを判定するとき、全ての６つのピクセルを含む最小サイズの矩形が設定される。例えば、６つのピクセルのＸ座標値の最大値Ｘ_ｍａｘ、６つのピクセルのＸ座標値の最小値Ｘ_ｍｉｎ、６つのピクセルのＹ座標値の最大値Ｙ_ｍａｘ、及び６つのピクセルのＹ座標値の最小値Ｙ_ｍｉｎが判定される。判定されたＸ_ｍａｘ、Ｘ_ｍｉｎ、Ｙ_ｍａｘ、及びＹ_ｍｉｎに基づいて、頂点として以下の４点を有する矩形が生成されてよく、この矩形の内側に含まれる領域が、第１のクロッピング領域と判定されてよい。

【0190】

（Ｘ_ｍｉｎ，Ｙ_ｍａｘ）、

【0191】

（Ｘ_ｍａｘ，Ｙ_ｍａｘ）、

【0192】

（Ｘ_ｍａｘ，Ｙ_ｍｉｎ）、及び

【0193】

（Ｘ_ｍｉｎ，Ｙ_ｍｉｎ）

【0194】

図１０は、第１のクロッピング領域を示す図である。特に、図１０の（ａ）は、上述した６つのピクセルのＸ座標値の最大値Ｘ_ｍａｘ、６つのピクセルのＸ座標値の最小値Ｘ_ｍｉｎ、６つのピクセルのＹ座標値の最大値Ｙ_ｍａｘ、及び６つのピクセルのＹ座標値の最小値Ｙ_ｍｉｎの判定を示す図である。図１０の（ｂ）は、Ｘ座標の判定された最大値及び最小値、及び、Ｙ座標の判定された最大値及び最小値を使用して生成された第１のクロッピング領域を示す図である。

【0195】

上で説明したように、第１のクロッピング領域は、右眼と同じ方式で判定されてよい。

【0196】

第１のクロッピング済み画像の生成

【0197】

第１のクロッピング領域が判定され、判定された第１のクロッピング領域に基づいて、一例として図１１に示されているように、第１のクロッピング領域の内側に含まれるピクセルを使用することによって、両眼を含む顔画像又は顔画像の部分から、第１のクロッピング済み画像が生成されてよい。第１のクロッピング済み画像は、右眼に関して生成された第１の右眼クロッピング済み画像（図１１の（ｂ））及び左眼に関して生成された第１の左眼クロッピング済み画像（図１１の（ａ））を含む。

【0198】

【0199】

以下、「第１のクロッピング済み画像」という用語及び「外部露出眼球クロッピング済み画像」という用語は、交換可能に使用され得る。「第１の右眼クロッピング済み画像」という用語及び「右外部露出眼球クロッピング済み画像」という用語は、交換可能に使用され得る。「第１の左眼クロッピング済み画像」という用語及び「左外部露出眼球クロッピング済み画像」という用語は、交換可能に使用され得る。

【0200】

さらに、以下で特に言及の無い場合、「第１のクロッピング済み画像（又は外部露出眼球クロッピング済み画像）」という用語は、第１の右眼クロッピング済み画像又は第１の左眼クロッピング済み画像のいずれかを意味してもよいし、又は、文脈に応じて両方を意味してもよい。

【0201】

第１のクロッピング済み画像は、外部に露出した眼球に対応するピクセルの数とクロッピング済み画像に含まれる全てのピクセルの数の比が最大化される方法でクロッピングされた画像を意味する。上述した方法とは異なる方法で生成されたクロッピング済み画像は、外部に露出した眼球についての情報が可能な限り多く含まれるようにそのクロッピング領域が生成されているのであれば、第１のクロッピング済み画像（外部露出眼球クロッピング済み画像）と称される。

【0202】

一方で、本願におけるＸ座標値及びＹ座標値は、参照点に対する相対位置に応じて異なるサイズ及び方向を有し、そのため、最大値及び最小値という用語は、絶対的な意味ではなく、相対的な意味で理解されるべきである。すなわち、座標系の原点の位置が変化すると、上述したＸ座標値の最大値は、原点が変化した座標系におけるＸ座標値の最小値であってよく、Ｘ座標値の最小値は、原点が変化した座標系におけるＸ座標値の最大値であってよい。これは、Ｙ座標値にも等しく適用され得る。

【0203】

【0204】

［（４）第２のクロッピング（瞼包含クロッピング）］

【0205】

以下、瞼分析のためにより有利なクロッピング方法を説明する。このクロッピング方法は、第２のクロッピング又は瞼包含クロッピングと呼ばれる。第２のクロッピングは、右眼画像及び左眼画像の両方に適用されてよいが、便宜上、左眼クロッピング済み画像を取得する場合に基づいて説明が与えられる。

【0206】

第２のクロッピングの目的

【0207】

第２のクロッピングは、後で説明されることになる予測モデルの中でも、瞼の発赤があるか否かを予測するためのモデル、及び、瞼の腫れがあるか否かを予測するためのモデルの入力画像として使用されることになる画像を生成することである。第２のクロッピングは、画像内の瞼についての情報を含む。ここで、瞼に対応するピクセルのみでクロッピングするのではなく、眼の輪郭に含まれている全てのピクセルが含まれるようにクロッピング済み画像を生成することがより良い場合がある。これは、なぜなら、瞼発赤があるか否かを予測するために、カラー値に関して推論及び判定が必要であり、虹彩及び／又は白目に対応するピクセルのカラー値が使用され得るからである。

【0208】

入力画像

【0209】

第２のクロッピングは、両眼を含む顔画像又は顔画像の部分に適用されてよい。

【0210】

眼の輪郭の検出、及び輪郭ピクセルのＸ及びＹ座標の最大値及び最小値の判定

【0211】

一実施形態によれば、第１のクロッピングにおいて説明された眼輪郭検出方法が、そのまま適用されてよい。眼の輪郭の最も外側の部分に対応する輪郭ピクセルが検出されてよい。検出されたピクセルを判定するとき、Ｘ座標値の最大値Ｘ_ｍａｘ、Ｘ座標値の最小値Ｘ_ｍｉｎ、Ｙ座標値の最大値Ｙ_ｍａｘ、及びＹ座標値の最小値Ｙ_ｍｉｎが判定されてよい。以下、説明の便宜上、上述した方法を使用して判定された点を頂点として生成された矩形が、参照矩形と呼ばれる。一方で、参照矩形の水平方向長さは、参照水平方向長さ又は眼の輪郭の水平方向長さと呼ばれる。参照矩形の垂直方向長さは、参照垂直方向長さ又は眼の輪郭の垂直方向長さと呼ばれる。

【0212】

クロッピング領域判定

【0213】

矩形の形状を有する第２のクロッピング領域を判定するために、垂直方向長さ、水平方向長さ、及び第２のクロッピング領域の中心点が判定される。第２のクロッピング領域の頂点の座標が、（Ｘａ，Ｙａ）、（Ｘａ，Ｙｂ）、（Ｘｂ，Ｙａ）、及び（Ｘｂ，Ｙｂ）である場合（ここで、Ｘａの値は、Ｘｂの値よりも小さく、Ｙａの値は、Ｙｂの値よりも小さい）、中心点の座標は、（（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２）又は（（Ｘａ＋（Ｘｂ－Ｘａ）／２，Ｙａ＋（Ｙｂ＋Ｙａ）／２）であると判定される。

【0214】

垂直方向長さ及び水平方向長さ判定＃１

【0215】

複数の実施形態によれば、第２のクロッピング領域の垂直方向長さは、参照垂直方向長さに予め定められた数を掛けることによって取得されてよい。予め定められた数は、１．６、１．７、１．８、１．９、２．０、２．１、２．２、２．３、２．４、２．５、２．６、２．７、２．８、２．９、３．０、３．１、３．２、３．３、３．４、３．５、３．６、３．７、３．８、３．９、又は４．０であってよい。さらに、第２のクロッピング領域の水平方向長さは、参照水平方向長さに予め定められた数を掛けることによって取得されてよい。予め定められた数は、１．１、１．２、１．３、１．４、１．５、１．６、１．７、１．８、１．９、２．０、２．１、２．２、２．３、２．４、又は２．５であってよい。ここで、参照垂直方向長さに掛けられる予め定められた数及び参照水平方向長さに掛けられる予め定められた数は、互いに独立に判定される。したがって、生成された第２のクロッピング領域の形状は、矩形であってよい。

【0216】

垂直方向長さ及び水平方向長さ判定＃２

【0217】

他の複数の実施形態によれば、第２のクロッピング領域の形状は、正方形であってよい。正方形の第２のクロッピング領域の１辺の長さは、参照垂直方向長さに予め定められた数を掛けることによって取得された値及び参照水平方向長さに予め定められた数を掛けることによって取得された値に基づいて判定されてよい。例えば、参照垂直方向長さに予め定められた数を掛けることによって取得された値及び参照水平方向長さに予め定められた数を掛けることによって取得された値のうちのより大きい方の値が、１辺の長さとして判定されてよい。ここで、参照垂直方向長さに掛けられる予め定められた数及び参照水平方向長さに掛けられる予め定められた数は、互いに独立に判定される。

【0218】

中心点の位置の判定

【0219】

第２のクロッピング領域の中心点の位置は、参照矩形の中心点の位置とは異なってよい。参照矩形の中心点の位置及び第２のクロッピング領域の中心点の位置が互いに異なると判定される理由は、上瞼及び下瞼の形状が互いに対称でなく、上瞼及び下瞼の形状は、通常は、参照矩形の中心を通る垂直線に関して線対称でないからである。

【0220】

一般に第２のクロッピング領域の中心点のＹ座標値が、参照矩形の中心点のＹ座標値よりも大きいほど、眉についての情報が多くなる。第２のクロッピング領域の中心点のＹ座標値が、参照矩形の中心点のＹ座標値よりも小さいほど、眉についての情報は少なくなる。

【0221】

左眼に関して、一般に、第２のクロッピング領域の中心点のＸ座標値が、参照矩形の中心点のＸ座標値よりも大きいほど、両眼間の領域についての情報が少なくなる。第２のクロッピング領域の中心点のＸ座標値が、参照矩形の中心点のＸ座標値よりも小さいほど、眼及びこめかみ間の領域についての情報が少なくなる。

【0222】

本願の複数の実施形態において、第２のクロッピング領域の中心点のＹ座標値は、参照矩形の中心点のＹ座標値よりも小さくてよい。

【0223】

本願の複数の実施形態において、左眼に関して、第２のクロッピング領域の中心点のＸ座標値は、参照矩形の中心点のＸ座標値よりも大きくてよい。しかしながら、右眼に関して、第２のクロッピング領域の中心点のＸ座標値は、参照矩形の中心点のＸ座標値よりも小さくてよい。

【0224】

しかしながら、本願の目的を達成するためには、第２のクロッピング領域の中心点の位置及び参照矩形の中心点の位置間の関係は必ずしも上述した関係でなく、本願の目的を達成可能な範囲内の適切な変更が許容されることが当業者には明らかである。

【0225】

図１２は、様々なやり方で判定された第２のクロッピング領域の例を示す図である。図１２の（ａ）は、第２のクロッピング領域が矩形であり、第２のクロッピング領域の中心点及び参照矩形の中心点が合致する、第２のクロッピング領域の一例を示している。図１２の（ｂ）は、第２のクロッピング領域が矩形であり、第２のクロッピング領域の中心点及び参照矩形の中心点が合致しない、第２のクロッピング領域の一例を示している。図１２の（ｃ）は、第２のクロッピング領域が正方形であり、第２のクロッピング領域の中心点及び参照矩形の中心点が合致する、第２のクロッピング領域の一例を示している。図１２の（ｄ）は、第２のクロッピング領域が正方形であり、第２のクロッピング領域の中心点及び参照矩形の中心点が合致しない、第２のクロッピング領域の一例を示している。

【0226】

以下、便宜上、第２のクロッピング領域が図１２の（ｄ）に示されているように設定される場合に基づいて説明が与えられる。

【0227】

第２のクロッピング済み画像の生成

【0228】

第２のクロッピング領域が判定され、判定された第２のクロッピング領域に基づいて、図１３に示されているように、第２のクロッピング領域の内側に含まれるピクセルを使用することによって、両眼を含む顔画像又は顔画像の部分から、第２のクロッピング済み画像が生成されてよい。第２のクロッピング済み画像は、右眼に関して生成された第２の右眼クロッピング済み画像（図１３の（ｂ））及び左眼に関して生成された第２の左眼クロッピング済み画像（図１３の（ａ））を含む。

【0229】

以下、「第２のクロッピング済み画像」という用語及び「瞼包含クロッピング済み画像」という用語は、交換可能に使用され得る。「第２の右眼クロッピング済み画像」という用語及び「右瞼包含クロッピング済み画像」という用語は、交換可能に使用され得る。「第２の左眼クロッピング済み画像」という用語及び「左瞼包含クロッピング済み画像」という用語は、交換可能に使用され得る。

【0230】

さらに、以下で特に言及の無い場合、「第２のクロッピング済み画像（又は瞼包含クロッピング済み画像）」という用語は、第２の右眼クロッピング済み画像又は第２の左眼クロッピング済み画像のいずれかを意味してもよいし、又は、文脈に応じて両方を意味してもよい。

【0231】

第２のクロッピング済み画像とは、その画像が瞼についての情報を含むように生成された画像を意味する。上述した方法とは異なる方法で生成されたクロッピング済み画像は、瞼に対応するピクセルが追加で含まれるようにクロッピング領域の境界が判定されるのであれば、第２のクロッピング済み画像（瞼包含クロッピング済み画像）と称される。

【0232】

【0233】

［（５）第３のクロッピング（涙丘包含クロッピング）］

【0234】

以下、涙丘分析のためにより有利なクロッピング方法を説明する。このクロッピング方法は、第３のクロッピング又は涙丘包含クロッピングと呼ばれる。第３のクロッピングは、右眼画像及び左眼画像の両方に適用されてよいが、便宜上、左眼クロッピング済み画像を取得する場合に基づいて説明が与えられる。

【0235】

第３のクロッピングの目的

【0236】

第３のクロッピングは、後で説明されることになる予測モデルの中でも、涙丘の腫れがあるか否かを予測するためのモデルの入力画像として使用されることになる画像を生成することである。第３のクロッピングは、画像内の涙丘についての情報を含むことである。

【0237】

入力画像

【0238】

第３のクロッピングは、両眼を含む顔画像又は顔画像の部分に適用されてよい。

【0239】

眼の輪郭の検出

【0240】

一実施形態によれば、第１のクロッピングにおける眼輪郭検出方法が、そのまま適用されてよい。すなわち、眼輪郭検出を通じて、６つのピクセル値が取得されてよい。

【0241】

クロッピング領域判定

【0242】

以下、左眼に基づいて説明が与えられる。

【0243】

６つのピクセルの中でも、以下のピクセルが選択される（図１４の（ａ））：涙丘に最も近いピクセル（図９のＰ_４、以下、第１のピクセルと称される）；上瞼又は上瞼側の睫毛及び外部に露出した眼球間の境界にある２つのピクセル（図９のＰ_３及びＰ_２）の中でも、涙丘により近いピクセル（図９のＰ_３、以下、第２のピクセルと称される）；及び、下瞼又は下瞼側の睫毛及び外部に露出した眼球間の境界における２つのピクセル（図９のＰ_５及びＰ_６）の中でも、涙丘により近いピクセル（図９のＰ_５、以下、第３のピクセルと称される）。

【0244】

次に、睫毛及び外部に露出した眼球間の境界における４つのピクセル（Ｐ_３、Ｐ_２、Ｐ_５、及びＰ_６）の中心点に対応するピクセル（以下、第４のピクセルと称される）が判定される（図１４の（ｂ））。

【0245】

次に、上述した４つのピクセル（第１～第４のピクセル）に関して、Ｘ座標値の最大値Ｘ_ｍａｘ、Ｘ座標値の最小値Ｘ_ｍｉｎ、Ｙ座標値の最大値Ｙ_ｍａｘ、及びＹ座標値の最小値Ｙ_ｍｉｎが判定されてよい。

【0246】

判定されたＸ_ｍａｘ、Ｘ_ｍｉｎ、Ｙ_ｍａｘ、及びＹ_ｍｉｎに基づいて、頂点として以下の４点を有する矩形が生成されてよく、この矩形の内側に含まれる領域が、第３のクロッピング領域と判定されてよい。

【0247】

（Ｘ_ｍｉｎ，Ｙ_ｍａｘ）、

【0248】

（Ｘ_ｍａｘ，Ｙ_ｍａｘ）、

【0249】

（Ｘ_ｍａｘ，Ｙ_ｍｉｎ）、及び

【0250】

（Ｘ_ｍｉｎ，Ｙ_ｍｉｎ）

【0251】

図１５は、第３のクロッピング領域を示す図である。特に、図１５の（ａ）は、上述した４つのピクセル（第１～第４のピクセル）のＸ座標値の最大値Ｘ_ｍａｘ、４つのピクセルのＸ座標値の最小値Ｘ_ｍｉｎ、４つのピクセルのＹ座標値の最大値Ｙ_ｍａｘ、及び４つのピクセルのＹ座標値の最小値Ｙ_ｍｉｎの判定を示す図である。図１５の（ｂ）は、Ｘ座標の判定された最大値及び最小値、及び、Ｙ座標の判定された最大値及び最小値を使用して生成された第３のクロッピング領域を示す図である。

【0252】

上で説明したように、第３のクロッピング領域は、右眼と同じ方式で判定されてよい。

【0253】

第３のクロッピング済み画像の生成

【0254】

第３のクロッピング領域が判定され、判定された第３のクロッピング領域に基づいて、図１６に示されているように、第３のクロッピング領域の内側に含まれるピクセルを使用することによって、両眼を含む顔画像又は顔画像の部分から、第３のクロッピング済み画像が生成されてよい。第３のクロッピング済み画像は、右眼に関して生成された第３の右眼クロッピング済み画像（図１６の（ｂ））及び左眼に関して生成された第３の左眼クロッピング済み画像（図１６の（ａ））を含む。

【0255】

以下、「第３のクロッピング済み画像」という用語及び「涙丘包含クロッピング済み画像」という用語は、交換可能に使用され得る。「第３の右眼クロッピング済み画像」という用語及び「右涙丘包含クロッピング済み画像」という用語は、交換可能に使用され得る。「第３の左眼クロッピング済み画像」という用語及び「左涙丘包含クロッピング済み画像」という用語は、交換可能に使用され得る。

【0256】

さらに、以下で特に言及の無い場合、「第３のクロッピング済み画像（又は涙丘包含クロッピング済み画像）」という用語は、第３の右眼クロッピング済み画像又は第３の左眼クロッピング済み画像のいずれかを意味してもよいし、又は、文脈に応じて両方を含んでよい。

【0257】

第３のクロッピング済み画像とは、その画像が涙丘についての情報を含むように生成された画像を意味する。上述した方法とは異なる方法で生成されたクロッピング済み画像は、涙丘に対応するピクセルが追加で含まれるようにクロッピング領域の境界が判定されるのであれば、第３のクロッピング済み画像（涙丘包含クロッピング済み画像）と称される。

【0258】

【0259】

［（６）左右反転］

【0260】

左右反転の必要性

【0261】

本願において提供される、甲状腺眼症に関する臨床活動性スコアを予測する方法によれば、両眼画像を使用する代わりに、左眼及び右眼のクロッピング済み画像が使用される。

【0262】

一方で、眼の輪郭は非対称である。例えば、右眼に関して、涙丘は右眼の左端にあるが、上瞼及び下瞼が自然に交わる点は右眼の右端にある。

【0263】

したがって、より迅速な学習及びより正確な予測にために、右眼に関してトレーニングされた予測モデル及び左眼に関してトレーニングされた予測モデルを区別して使用することがより有効である。

【0264】

しかしながら、左眼及び右眼間の対称軸に基づいて左眼が右眼になるように回転された場合、右眼及び左眼の形状特徴は互いに類似する。

【0265】

したがって、本願によれば、右眼又は左眼のいずれかが左右反転せずに使用され、他方の眼が左右反転して使用され、そのため、１つの予測モデルのみを使用できる。代替的に、左眼及び右眼に関して別々の予測モデルをトレーニングすることが意図される場合、トレーニングデータセットは二倍になってよい。

【0266】

左右反転方法

【0267】

画像を左右反転すること（画像の左右を変換すること）は、反転されることになる画像を縦断し、画像を左右に半分に分割する左右参照線（Ｘ＝ａ）によって、第１のピクセル値が画像におけるピクセル（ａ＋△，Ｙ）に対応し、第２のピクセル値がピクセル（ａ－△，Ｙ）に対応する場合、（ａ＋△，Ｙ）のピクセル値が第１のピクセル値から第２のピクセル値に変更され、（ａ－△，Ｙ）のピクセル値が第２のピクセル値から第１のピクセル値に変更されることを意味する。

【0268】

左右反転ターゲット画像

【0269】

左眼の画像又は右眼の画像のいずれかを左右反転するので十分である。左眼画像及び右眼画像のいずれの一方が左右反転されるかは、後で説明する予測モデルがトレーニングされる場合に左眼画像及び右眼画像のいずれの一方に基づくかに従って、判定される。

【0270】

図１７は、元画像及び左右反転画像の様々な例を示す図である。特に図１７の（ａ）は、第１のクロッピング済み画像及びその左右反転画像を示している。図１７の（ｂ）は、第２のクロッピング済み画像及びその左右反転画像を示している。図１７の（ｃ）は、第３のクロッピング済み画像及びその左右反転画像を示している。

【0271】

左右反転のオプション

【0272】

しかしながら、上で説明したように、左右反転は、左眼のための予測モデル及び右眼のための予測モデルを統合するために又はトレーニングデータの量を増加させるために適用される。したがって、必要な場合、左右反転前処理は省略されてよい。

【0273】

【0274】

［（８）リサイズ］

【0275】

リサイズの必要性

【0276】

上で説明したように、画像が眼の輪郭に関してクロッピングされ、クロッピング済み画像が使用される場合、眼のサイズは人によって変わり、クロッピング済み画像は、人によってサイズが変わる。

【0277】

一方で、左眼画像及び右眼画像が独立してクロッピングされて取得される場合、左眼及び右眼間のサイズの差に起因して、同じ人物の左眼クロッピング済み画像及び右眼クロッピング済み画像が互いに異なる。

【0278】

この理由のために、後で説明する予測モデルに眼画像が入力される前に、それぞれの予測モデルに対応する標準サイズに眼画像をリサイズする必要がある。

【0279】

各予測モデルに関する標準サイズ

【0280】

第１の予測モデル～第５の予測モデルに対応する標準サイズは、それぞれ互いに異なってよい。

【0281】

入力画像として第２のクロッピング済み画像を使用する予測モデルに対応する標準サイズは、同じであってよい。

【0282】

入力画像として第３のクロッピング済み画像を使用する予測モデルに対応する標準サイズは、同じであってよい。

【0283】

入力画像として第２のクロッピング済み画像を使用する予測モデルに対応する標準サイズは、入力画像として第３のクロッピング済み画像を使用する予測モデルに対応する標準サイズとは異なってよい。

【0284】

代替的に、第１の予測モデル～第５の予測モデルに対応する標準サイズは、それぞれ同じであってよい。

【0285】

図１８は、第１の予測モデル～第５の予測モデルの標準サイズが同じである場合のリサイズの例を示している。

【0286】

リサイズ方法

【0287】

リサイズターゲット画像のサイズは、標準サイズに合わせて調整される。

【0288】

リサイズターゲット画像の幅又は高さが、標準サイズの幅又は高さよりも大きい場合、リサイズターゲット画像の幅又は高さを減少させてよい。

【0289】

リサイズターゲット画像の幅又は高さが、標準サイズの幅又は高さよりも小さい場合、リサイズターゲット画像の幅又は高さを増加させてよい。

【0290】

リサイズにおいて、リサイズ前の画像のアスペクト比は、リサイズ後の画像のアスペクト比とは異なってよい。

【0291】

【0292】

４．予測モデル

【0293】

［（１）第１の予測モデル］

【0294】

第１の予測モデルの目的及び動作

【0295】

第１の予測モデルは、結膜充血があるか否かを予測するためのモデルである。

【0296】

第１の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された結膜が充血している確率値を出力してよい。特に、第１の予測モデルは、結膜充血があるか否かを予測するようにトレーニングされた予測モデルであり、したがって、上述した第１のクロッピング済み画像は、第１の予測モデルのために使用されてよい。

【0297】

第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルを含む場合、第１の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された結膜が充血している確率値を出力してよく、第１の右眼予測モデルは、右眼画像を受信してよく、右眼画像に捕捉された結膜が充血している確率値を出力してよい。

【0298】

第１の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第１の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された結膜が充血している確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された結膜が充血している確率値を出力してよい。

【0299】

眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。

【0300】

例えば、眼画像は、第１のクロッピングに従った前処理が実行された画像であってよい。

【0301】

別の例として、眼画像は、第１のクロッピング及びリサイズを含む前処理が実行された画像であってよい。

【0302】

また別の例として、眼画像は、第１のクロッピング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。

【0303】

本明細書において、第１の予測モデルは、結膜充血予測モデルと呼ばれ得る。しかしながら、本願に記載の第１の予測モデルは、結膜充血予測に関する結果値に加えて、結膜浮腫予測に関する結果値、涙丘浮腫予測に関する結果値、及び、瞼発赤及び瞼浮腫予測に関する結果値を出力してよい。

【0304】

人工知能モデルの構造

【0305】

第１の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。

【0306】

人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。

【0307】

第１の予測モデルは、バックボーンアーキテクチャとしてＶｉＴを利用してよい。ＶｉＴモデルは、シングルスケール特徴マップを用いた単純な非階層モデルであり、画像認識（ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ）に有効であることが証明されたモデルである。

【0308】

ＶｉＴは、線形埋め込み、ｔｒａｎｓｆｏｒｍｅｒエンコーダー、及び分類器から構成されており、モデルに入力画像が入力された場合、入力画像は、複数の入力パッチに分割されてよい。分割の結果としてもたらされる入力パッチは、エンコーダーに供給されるとともに分類器に提供され、それにより複数のラベルが予測される。

【0309】

本願において、人工知能モデルは、５つの出力ノードを有してよい。

【0310】

トレーニングデータセットの準備

【0311】

第１の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。

【0312】

トレーニングデータセットは、眼画像、及び、これに対応する複数の評価値を含む。眼画像は、上述した第１のクロッピング済み画像であり、複数の評価値は、眼画像に対応する以下の５つの評価値を含む：結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値。

【0313】

すなわち、結膜充血を分析するための第１の予測モデルをトレーニングするために、第１のクロッピング済み画像及びこれに対応する結膜充血に関する評価値のみを含むトレーニングデータセットが使用されてよいが、本願において、第１の予測モデルをトレーニングするために、第１のクロッピング済み画像及び上述した５つのタイプの評価値の全てが使用される。

【0314】

したがって、本願に記載の第１の予測モデルは、結膜充血の分析において、結膜浮腫、涙丘浮腫、瞼発赤、及び瞼浮腫の症状を考慮するようにトレーニングされ、そのため、結膜充血がより正確に予測されると判断されている。

【0315】

第１の予測モデルのトレーニング

【0316】

上で説明したように準備された複数のトレーニングデータセットを使用して、準備された複数のトレーニングデータセットに含まれる眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用して、トレーニングが実行される。

【0317】

第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルを含む場合、第１の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよく、第１の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第１の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第１の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0318】

第１の予測モデルを二元化せず、むしろ第１の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでもよいし、又は、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよい。

【0319】

一方で、第１の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに結膜充血があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。

【0320】

例えば、第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルを含む場合、第１の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第１の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0321】

第１の予測モデルを二元化せず、むしろ第１の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0322】

【0323】

［（２）第２の予測モデル］

【0324】

第２の予測モデルの目的及び動作

【0325】

第２の予測モデルは、結膜浮腫があるか否かを予測するためのモデルである。

【0326】

第２の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された結膜浮腫の存在の確率値を出力してよい。特に、第２の予測モデルは、結膜浮腫があるか否かを予測するようにトレーニングされた予測モデルであり、したがって、上述した第１のクロッピング済み画像は、第２の予測モデルのために使用されてよい。

【0327】

【0328】

第２の予測モデルが第２の左眼予測モデル及び第２の右眼予測モデルを含む場合、第２の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された結膜浮腫の存在の確率値を出力してよく、第２の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された結膜浮腫の存在の確率値を出力してよい。

【0329】

第２の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第２の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された結膜浮腫の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された結膜浮腫の存在の確率値を出力してよい。

【0330】

眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。

【0331】

例えば、眼画像は、第１のクロッピングに従った前処理が実行された画像であってよい。

【0332】

別の例として、眼画像は、第１のクロッピング及びリサイズを含む前処理が実行された画像であってよい。

【0333】

また別の例として、眼画像は、第１のクロッピング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。

【0334】

本明細書において、第２の予測モデルは、結膜浮腫予測モデルと呼ばれ得る。しかしながら、本願に記載の第２の予測モデルは、結膜浮腫予測に関する結果値に加えて、結膜充血予測に関する結果値、涙丘浮腫予測に関する結果値、及び、瞼発赤及び瞼浮腫予測に関する結果値を出力してよい。

【0335】

人工知能モデルの構造

【0336】

第２の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。

【0337】

人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。

【0338】

本願において、人工知能モデルは、５つの出力ノードを有してよい。

【0339】

第２の予測モデルをトレーニングするための人工知能モデルの説明は、上で説明した第１の予測モデルをトレーニングするそれと同じ又はそれに非常に類似しており、ここでは詳細な説明を省略する。

【0340】

トレーニングデータセットの準備

【0341】

第２の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。

【0342】

トレーニングデータセットは、眼画像、及び、これに対応する複数の評価値を含む。眼画像は、上述した第１のクロッピング済み画像であり、複数の評価値は、眼画像に対応する以下の５つの評価値を含む：結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値。

【0343】

すなわち、結膜浮腫を分析するための第２の予測モデルをトレーニングするために、第１のクロッピング済み画像及びこれに対応する結膜浮腫に関する評価値のみを含むトレーニングデータセットが使用されてよいが、本願において、第２の予測モデルをトレーニングするために、第１のクロッピング済み画像及び上述した５つのタイプの評価値の全てが使用される。

【0344】

したがって、本願に記載の第２の予測モデルは、結膜浮腫の分析において、結膜充血、涙丘浮腫、瞼発赤、及び瞼浮腫の症状を考慮するようにトレーニングされ、そのため、結膜浮腫がより正確に予測されると判断されている。

【0345】

第２の予測モデルのトレーニング

【0346】

上で説明したように準備された複数のトレーニングデータセットを使用して、準備された複数のトレーニングデータセットに含まれる眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用して、トレーニングが実行される。

【0347】

第２の予測モデルが第２の左眼予測モデル及び第２の右眼予測モデルを含む場合、第２の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよく、第２の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第２の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第２の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0348】

第２の予測モデルを二元化せず、むしろ第２の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでもよいし、又は、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよい。

【0349】

一方で、第２の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに結膜浮腫があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。

【0350】

例えば、第２の予測モデルが第２の左眼予測モデル及び第２の右眼予測モデルを含む場合、第２の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第２の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0351】

第２の予測モデルを二元化せず、むしろ第２の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0352】

【0353】

［（３）第３の予測モデル］

【0354】

第３の予測モデルの目的及び動作

【0355】

第３の予測モデルは、涙丘浮腫があるか否かを予測するためのモデルである。

【0356】

第３の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された涙丘浮腫の存在の確率値を出力してよい。特に、第３の予測モデルは、涙丘浮腫があるか否かを予測するようにトレーニングされた予測モデルであり、したがって、上述した第３のクロッピング済み画像は、第３の予測モデルのために使用されてよい。

【0357】

第３の予測モデルが第３の左眼予測モデル及び第３の右眼予測モデルを含む場合、第３の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された涙丘浮腫の存在の確率値を出力してよく、第３の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された涙丘浮腫の存在の確率値を出力してよい。

【0358】

第３の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第３の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された涙丘浮腫の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された涙丘浮腫の存在の確率値を出力してよい。

【0359】

眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。

【0360】

例えば、眼画像は、第３のクロッピングに従った前処理が実行された画像であってよい。

【0361】

別の例として、眼画像は、第３のクロッピング及びリサイズを含む前処理が実行された画像であってよい。

【0362】

また別の例として、眼画像は、第３のクロッピング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。

【0363】

本明細書において、第３の予測モデルは、涙丘浮腫予測モデルと呼ばれ得る。しかしながら、本願に記載の第３の予測モデルは、涙丘浮腫予測に関する結果値に加えて、結膜充血予測に関する結果値、結膜浮腫予測に関する結果値、及び、瞼発赤及び瞼浮腫予測に関する結果値を出力してよい。

【0364】

人工知能モデルの構造

【0365】

第３の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。

【0366】

人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。

【0367】

本願において、人工知能モデルは、５つの出力ノードを有してよい。

【0368】

第３の予測モデルをトレーニングするための人工知能モデルの説明は、上で説明した第１の予測モデルをトレーニングするそれと同じ又はそれに非常に類似しており、ここでは詳細な説明を省略する。

【0369】

トレーニングデータセットの準備

【0370】

第３の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。

【0371】

トレーニングデータセットは、眼画像、及び、これに対応する複数の評価値を含む。眼画像は、上述した第３のクロッピング済み画像であり、複数の評価値は、眼画像に対応する以下の５つの評価値を含む：結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値。

【0372】

すなわち、涙丘浮腫を分析するための第３の予測モデルをトレーニングするために、第３のクロッピング済み画像及びこれに対応する涙丘浮腫に関する評価値のみを含むトレーニングデータセットが使用されてよいが、本願において、第３の予測モデルをトレーニングするために、第３のクロッピング済み画像及び上述した５つのタイプの評価値の全てが使用される。

【0373】

したがって、本願に記載の第３の予測モデルは、涙丘浮腫の分析において、結膜充血、結膜浮腫、瞼発赤、及び瞼浮腫の症状を考慮するようにトレーニングされ、したがって、涙丘浮腫がより正確に予測されると判断されている。

【0374】

第３の予測モデルのトレーニング

【0375】

上で説明したように準備された複数のトレーニングデータセットを使用して、準備された複数のトレーニングデータセットに含まれる眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用して、トレーニングが実行される。

【0376】

第３の予測モデルが第３の左眼予測モデル及び第３の右眼予測モデルを含む場合、第３の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよく、第３の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第３の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第３の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0377】

第３の予測モデルを二元化せず、むしろ第３の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでもよいし、又は、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよい。

【0378】

一方で、第３の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに涙丘浮腫があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。

【0379】

例えば、第３の予測モデルが第３の左眼予測モデル及び第３の右眼予測モデルを含む場合、第３の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第３の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0380】

第３の予測モデルを二元化せず、むしろ第３の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0381】

【0382】

［（４）第４の予測モデル］

【0383】

第４の予測モデルの目的及び動作

【0384】

第４の予測モデルは、瞼発赤があるか否かを予測するためのモデルである。

【0385】

第４の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された瞼発赤の存在の確率値を出力してよい。

【0386】

第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルを含む場合、第４の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された瞼発赤の存在の確率値を出力してよく、第４の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された瞼発赤の存在の確率値を出力してよい。

【0387】

第４の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第４の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された瞼発赤の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された瞼発赤の存在の確率値を出力してよい。

【0388】

眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。

【0389】

例えば、眼画像は、第２のクロッピングに従って前処理が実行された画像であってよい。

【0390】

別の例として、眼画像は、第２のクロッピング及びリサイズを含む前処理が実行された画像であってよい。

【0391】

また別の例として、眼画像は、第２のクロッピング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。

【0392】

本明細書において、第４の予測モデルは、瞼発赤予測モデルと呼ばれ得る。しかしながら、本願に記載の第４の予測モデルは、瞼発赤予測に関する結果値に加えて、結膜充血予測に関する結果値、結膜浮腫予測に関する結果値、涙丘浮腫予測に関する結果値、及び、瞼浮腫予測に関する結果値を出力してよい。

【0393】

人工知能モデルの構造

【0394】

第４の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。

【0395】

人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。

【0396】

本願において、人工知能モデルは、５つの出力ノードを有してよい。

【0397】

第４の予測モデルをトレーニングするための人工知能モデルの説明は、上で説明した第１の予測モデルをトレーニングするそれと同じ又はそれに非常に類似しており、ここでは詳細な説明を省略する。

【0398】

トレーニングデータセットの準備

【0399】

第４の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。

【0400】

トレーニングデータセットは、眼画像、及び、これに対応する複数の評価値を含む。眼画像は、上述した第２のクロッピング済み画像であり、複数の評価値は、眼画像に対応する以下の５つの評価値を含む：結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値。

【0401】

すなわち、瞼発赤を分析するための第４の予測モデルをトレーニングするために、第２のクロッピング済み画像及びこれに対応する瞼発赤に関する評価値のみを含むトレーニングデータセットが使用されてよいが、本願において、第４の予測モデルをトレーニングするために、第２のクロッピング済み画像及び上述した５つのタイプの評価値の全てが使用されてよい。

【0402】

したがって、本願に記載の第４の予測モデルは、瞼発赤の分析において、結膜充血、結膜浮腫、涙丘浮腫、及び瞼浮腫の症状を考慮するようにトレーニングされ、そのため、瞼発赤がより正確に予測されると判断されている。

【0403】

第４の予測モデルのトレーニング

【0404】

上で説明したように準備された複数のトレーニングデータセットを使用して、準備された複数のトレーニングデータセットに含まれる眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用して、トレーニングが実行される。

【0405】

第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルを含む場合、第４の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよく、第４の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第４の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第４の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0406】

第４の予測モデルを二元化せず、むしろ第４の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでもよいし、又は、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよい。

【0407】

一方で、第４の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに瞼発赤があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。

【0408】

例えば、第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルを含む場合、第４の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第４の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0409】

第４の予測モデルを二元化せず、むしろ第４の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0410】

【0411】

［（５）第５の予測モデル］

【0412】

第５の予測モデルの目的及び動作

【0413】

第５の予測モデルは、瞼浮腫があるか否かを予測するためのモデルである。

【0414】

第５の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された瞼浮腫の存在の確率値を出力してよい。

【0415】

第５の予測モデルが第５の左眼予測モデル及び第５の右眼予測モデルを含む場合、第５の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された瞼浮腫の存在の確率値を出力してよく、第５の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された瞼浮腫の存在の確率値を出力してよい。

【0416】

第５の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第５の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された瞼浮腫の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された瞼浮腫の存在の確率値を出力してよい。

【0417】

眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。

【0418】

例えば、眼画像は、第２のクロッピングに従って前処理が実行された画像であってよい。

【0419】

別の例として、眼画像は、第２のクロッピング及びリサイズを含む前処理が実行された画像であってよい。

【0420】

また別の例として、眼画像は、第２のクロッピング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。

【0421】

本明細書において、第５の予測モデルは、瞼浮腫予測モデルと呼ばれ得る。しかしながら、本願に記載の第５の予測モデルは、瞼浮腫予測に関する結果値に加えて、結膜充血予測に関する結果値、結膜浮腫予測に関する結果値、涙丘浮腫予測に関する結果値、及び、瞼発赤予測に関する結果値を出力してよい。

【0422】

人工知能モデルの構造

【0423】

第５の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。

【0424】

人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。

【0425】

本願において、人工知能モデルは、５つの出力ノードを有してよい。

【0426】

第５の予測モデルをトレーニングするための人工知能モデルの説明は、上で説明した第１の予測モデルをトレーニングするそれと同じ又はそれに非常に類似しており、ここでは詳細な説明を省略する。

【0427】

トレーニングデータセットの準備

【0428】

第５の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。

【0429】

トレーニングデータセットは、眼画像、及び、これに対応する複数の評価値を含む。眼画像は、上述した第２のクロッピング済み画像であり、複数の評価値は、眼画像に対応する以下の５つの評価値を含む：結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値。

【0430】

すなわち、瞼浮腫を分析するための第５の予測モデルをトレーニングするために、第２のクロッピング済み画像及びこれに対応する瞼浮腫に関する評価値のみを含むトレーニングデータセットが使用されてよいが、本願において、第５の予測モデルをトレーニングするために、第２のクロッピング済み画像及び上述した５つのタイプの評価値の全てが使用される。

【0431】

したがって、本願に記載の第５の予測モデルは、瞼浮腫の分析において、結膜充血、結膜浮腫、涙丘浮腫、及び瞼発赤の症状を考慮するようにトレーニングされ、そのため、瞼浮腫がより正確に予測されると判断されている。

【0432】

第５の予測モデルのトレーニング

【0433】

上で説明したように準備された複数のトレーニングデータセットを使用して、準備された複数のトレーニングデータセットに含まれる眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用して、トレーニングが実行される。

【0434】

第５の予測モデルが第５の左眼予測モデル及び第５の右眼予測モデルを含む場合、第５の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよく、第５の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第５の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第５の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0435】

第５の予測モデルを二元化せず、むしろ第５の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に対応する、結膜充血に関する評価値、結膜浮腫に関する評価値、涙丘浮腫に関する評価値、瞼発赤に関する評価値、及び瞼浮腫に関する評価値を含んでよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでもよいし、又は、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよい。

【0436】

一方で、第５の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに瞼浮腫があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。

【0437】

例えば、第５の予測モデルが第５の左眼予測モデル及び第５の右眼予測モデルを含む場合、第５の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値を含んでよく、第５の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0438】

第５の予測モデルを二元化せず、むしろ第５の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左右反転が実行された右眼画像、及び、右眼画像に対応する５つのタイプの評価値；左眼画像、及び、左眼画像に対応する５つのタイプの評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に対応する５つのタイプの評価値を含んでよい。

【0439】

【0440】

予測モデルのトレーニングは、電子デバイスによって実行されてよく、特に、上で説明したサーバー２０によって実行されてよい。さらに、電子デバイス又はサーバー２０による予測モデルのトレーニングとは、入力データに関する予測モデルの出力値を、入力データでラベリングされた出力値と同様の値にすることを可能にする一連の処理を意味する。このために、電子デバイス又はサーバー２０は、予測モデルの出力値及びラベリングされた値間の差を使用して、予測モデルに含まれているノードのそれぞれの重み値を変化させてよい。ここで、電子デバイス又はサーバー２０は、様々なフィードバック機能を使用することによって、ノードのそれぞれの重み値の変化量を判定してよい。

【0441】

【0442】

以下、上述のシステム１を通じた以下の方法を説明する：眼画像を前処理すること及び前処理済み眼画像を上述した予測モデルに入力することによって甲状腺眼症に関する臨床活動性スコアに関連する各症状を予測する方法；各症状の予測結果に基づいて臨床活動性スコアを予測する方法；及び、臨床活動性スコアの予測結果をモニタリングするとともに、モニタリングされた結果に従って、ユーザーが病院を訪問して診察を受けるようにガイダンス又は推奨を与える方法。

【0443】

【0444】

５．結膜充血予測方法

【0445】

本願に記載の結膜充血予測方法は、サーバー２０によって実行されてよい。

【0446】

図１９は、結膜充血予測方法を示すフローチャートである。

【0447】

図１９を参照すると、サーバー２０は、ステップＳ１００にて、顔画像を取得し、ステップＳ１１０にて、取得された顔画像を前処理し、ステップＳ１２０にて、前処理済み画像を上述した第１の予測モデル（結膜充血予測モデル）に入力し、ステップＳ１３０にて、第１の予測モデルの出力値を取得する。

【0448】

顔画像の取得

【0449】

サーバー２０は、ステップＳ１００にて顔画像を取得する。サーバー２０は、ユーザー端末１０から顔画像を取得してよい。

【0450】

顔画像の前処理

【0451】

サーバー２０は、ステップＳ１１０にて取得された顔画像を前処理してよい。サーバー２０は、取得された顔画像に対して、上で説明した、第１のクロッピング、左右反転、及びリサイズを実行してよい。

【0452】

クロッピング処理

【0453】

サーバー２０は、両眼を含む顔画像又は顔画像の部分をクロッピングしてよい。サーバー２０は、顔画像等をクロッピングして、左眼クロッピング済み画像及び右眼クロッピング済み画像を生成してよい。結膜充血予測方法の実行において、サーバー２０は、上で説明した３つのクロッピング方法の中でも、第１のクロッピング（外部露出眼球クロッピング）方法を使用してよい。第１のクロッピング方法は既に詳細に説明したので、ここではその詳細な説明は省略する。

【0454】

リサイズ処理及び左右反転処理

【0455】

サーバー２０は、左眼クロッピング済み画像及び右眼クロッピング済み画像のサイズを所定のサイズにリサイズしてよい。

【0456】

一方で、サーバー２０は、上で説明したように左眼クロッピング済み画像又は右眼クロッピング済み画像のいずれかを左右反転してよい。サーバー２０は、左眼クロッピング済み画像及び右眼クロッピング済み画像のうちの他方を左右反転しない。ここで、左眼画像及び右眼画像のいずれの一方が左右反転されるかを判定するための基準は、第１の予測モデルがトレーニングされる場合に適用される基準と同じであると判断された。すなわち、第１の予測モデルのトレーニングにおいて、左眼画像が反転され、右眼画像が反転されない場合、サーバー２０は、左眼画像を反転し、右眼画像を同様に反転しない。

【0457】

上で説明したように、第１の予測モデルの実現において、第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルに二元化されている場合、サーバー２０は、左右反転処理を実行しなくてよい。

【0458】

一方で、前処理が実行される場合、クロッピング処理、リサイズ処理、及び左右反転処理が実行されると説明したが、これらのタイプの前処理の順序は、本願に開示された結膜充血予測方法の目的を達成可能な範囲内で変更されてよい。

【0459】

前処理済み画像の入力

【0460】

サーバー２０は、ステップＳ１２０にて前処理済み画像を第１の予測モデルに入力してよい。

【0461】

第１の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、サーバー２０は、右眼前処理済み画像及び左右反転された左眼前処理済み画像を順に第１の予測モデルに入力する。

【0462】

第１の予測モデルの実現において、第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルに二元化されている場合、サーバー２０は、左眼前処理済み画像を第１の左眼予測モデルに入力し、右眼前処理済み画像を第１の右眼予測モデルに入力する。代替的に、サーバー２０は、左眼前処理済み画像及び左右反転された右眼前処理済み画像を第１の左眼予測モデルに入力してよく、右眼前処理済み画像及び左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力してよい。

【0463】

第１の予測モデルの実現において、第１の予測モデルが二元化されておらず、１つのモデルとして実現されており、同時に、左眼画像及び右眼画像を区別せずに結膜充血があるか否かを判定可能にトレーニングされている場合、サーバー２０は、左眼前処理済み画像及び右眼前処理済み画像を左右反転せずに第１の予測モデルに入力してよい。代替的に、サーバー２０は、左眼前処理済み画像、左右反転された左眼前処理済み画像、右眼前処理済み画像、及び左右反転された右眼前処理済み画像を第１の予測モデルに入力してよい。

【0464】

結膜充血予測結果

【0465】

サーバー２０は、ステップＳ１３０にて、第１の予測モデルからの結果値出力を出力してよい。結果値は、画像に捕捉された結膜充血に関して予測された確率値であってよい。しかしながら、上で説明したように、第１の予測モデルは、結膜充血予測値に加えて、結膜浮腫予測値、涙丘浮腫予測値、瞼発赤予測値、及び瞼浮腫予測値を出力するようにトレーニングされるので、サーバー２０は、第１の予測モデルから、５つのタイプの評価値に関連する全ての結果値を取得してよい。ここで、サーバー２０は、結膜充血予測値、結膜浮腫予測値、涙丘浮腫予測値、瞼発赤予測値、及び瞼浮腫予測値の中でも、結膜充血予測値のみを選択する。さらに、選択された結膜充血予測値及び閾値間の関係及び左眼及び右眼に関する予測結果に基づいて、結膜充血があるか否かに関する結果が最終的に出力される。

【0466】

サーバー２０が左眼前処理済み画像を第１の左眼予測モデルに入力し、左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力し、右眼前処理済み画像を第１の右眼予測モデルに入力し、左右反転された右眼前処理済み画像を第１の左眼予測モデルに入力する場合、サーバー２０は、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果の両方を考慮した左眼に関する予測結果を取得してよい。ここで、サーバー２０は、右眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果及び左右反転された右眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果の両方を考慮した右眼に関する予測結果を取得してよい。

【0467】

例えば、サーバー２０は、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果の平均値が閾値に等しいか又はそれよりも高いか否かに基づいた左眼に関する予測結果を取得してよい。

【0468】

別の例として、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果、又は、左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果のいずれかの値が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。

【0469】

また別の例として、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果の両方が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。

【0470】

サーバー２０が、左眼前処理済み画像、左右反転された左眼前処理済み画像、右眼前処理済み画像、及び左右反転された右眼前処理済み画像を二元化されていない第１の予測モデルに入力する場合、サーバー２０は、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の両方を考慮した左眼に関する予測結果を取得してよい。ここで、サーバー２０は、右眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された右眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の両方を考慮した右眼に関する予測結果を取得してよい。

【0471】

例えば、サーバー２０は、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の平均値が閾値に等しいか又はそれよりも高いか否かに基づいた左眼に関する予測結果を取得してよい。

【0472】

別の例として、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果、又は、左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果のいずれかの値が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。

【0473】

また別の例として、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の両方が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。

【0474】

上述した方法は、右眼の結膜充血があるか否かの判定にも同様に適用されてよい。

【0475】

【0476】

６．結膜浮腫予測方法

【0477】

本願に記載の結膜浮腫予測方法は、サーバー２０によって実行されてよい。

【0478】

図２０は、結膜浮腫予測方法を示すフローチャートである。

【0479】

図２０を参照すると、サーバー２０は、ステップＳ２００にて、顔画像を取得し、ステップＳ２１０にて、取得された顔画像を前処理し、ステップＳ２２０にて、前処理済み画像を上述した第２の予測モデル（結膜浮腫予測モデル）に入力し、ステップＳ２３０にて、第２の予測モデルの出力値を取得する。

【0480】

結膜浮腫予測方法は、第１の予測モデルの代わりに第２の予測モデルが使用され、最終的に取得される結果値が、結膜浮腫があるか否かに関する予測値である（５つのタイプの結果値の中でも、結膜浮腫に関する結果値のみが選択される）ことを除き、結膜充血予測方法と同じ又はこれに非常に類似しており、したがって、結膜浮腫予測方法の詳細な説明は省略する。

【0481】

【0482】

７．涙丘浮腫予測方法

【0483】

本願に記載の涙丘浮腫予測方法は、サーバー２０によって実行されてよい。

【0484】

図２１は、涙丘浮腫予測方法を示すフローチャートである。

【0485】

図２１を参照すると、サーバー２０は、ステップＳ３００にて、顔画像を取得し、ステップＳ３１０にて、取得された顔画像を前処理し、ステップＳ３２０にて、前処理済み画像を上述した第３の予測モデル（涙丘浮腫予測モデル）に入力し、ステップＳ３３０にて、第３の予測モデルの出力値を取得する。

【0486】

涙丘浮腫予測方法は、第１の予測モデルの代わりに第３の予測モデルが使用され、第１のクロッピング済み画像の代わりに第３のクロッピング済み画像が使用され、最終的に取得される結果値が、涙丘浮腫があるか否かに関する予測値である（５つのタイプの結果値の中でも、涙丘浮腫に関する結果値のみが選択される）ことを除き、結膜充血予測方法と同じ又はこれに非常に類似しており、したがって、涙丘浮腫予測方法の詳細な説明は省略する。

【0487】

【0488】

８．瞼発赤予測方法

【0489】

本願に記載の瞼発赤予測方法は、サーバー２０によって実行されてよい。

【0490】

図２２は、瞼発赤予測方法を示すフローチャートである。

【0491】

図２２を参照すると、サーバー２０は、ステップＳ４００にて、顔画像を取得し、ステップＳ４１０にて、取得された顔画像を前処理し、ステップＳ４２０にて、前処理済み画像を上述した第４の予測モデル（瞼発赤予測モデル）に入力し、ステップＳ４３０にて、第４の予測モデルの出力値を取得する。

【0492】

瞼発赤予測方法は、第１の予測モデルの代わりに第４の予測モデルが使用され、第１のクロッピング済み画像の代わりに第２のクロッピング済み画像が使用され、最終的に取得される結果値が、瞼発赤があるか否かに関する予測値である（５つのタイプの結果値の中でも、瞼発赤に関する結果値のみが選択される）ことを除き、結膜充血予測方法と同じ又はこれに非常に類似しており、したがって、瞼発赤予測方法の詳細な説明は省略する。

【0493】

【0494】

９．瞼浮腫予測方法

【0495】

本願に記載の瞼浮腫予測方法は、サーバー２０によって実行されてよい。

【0496】

図２３は、瞼浮腫予測方法を示すフローチャートである。

【0497】

図２３を参照すると、サーバー２０は、ステップＳ５００にて、顔画像を取得し、ステップＳ５１０にて、取得された顔画像を前処理し、ステップＳ５２０にて、前処理済み画像を上述した第５の予測モデル（瞼浮腫予測モデル）に入力し、ステップＳ５３０にて、第５の予測モデルの出力値を取得する。

【0498】

瞼浮腫予測方法は、第１の予測モデルの代わりに第５の予測モデルが使用され、第１のクロッピング済み画像の代わりに第２のクロッピング済み画像が使用され、最終的に取得される結果値が、瞼浮腫があるか否かに関する予測値である（５つのタイプの結果値の中でも、瞼浮腫に関する結果値のみが選択される）ことを除き、結膜充血予測方法と同じ又はこれに非常に類似しており、したがって、瞼浮腫予測方法の詳細な説明は省略する。

【0499】

【0500】

１０．甲状腺眼症に関する臨床活動性スコアを予測する方法

【0501】

以下、本願に記載の、甲状腺眼症に関する臨床活動性スコアを予測する方法を説明する。

【0502】

図２４は、甲状腺眼症に関する臨床活動性スコアを予測する方法を示す図である。

【0503】

サーバー２０は、顔画像を取得してよい。

【0504】

サーバー２０は、１つの顔画像に対して３つの異なるタイプの前処理を実行する。第１の前処理（以下、第１の前処理）は、第１のクロッピング（外部露出眼球クロッピング）、リサイズ、及び左右反転を含む。第２の前処理（以下、第２の前処理）は、第２のクロッピング（瞼包含クロッピング）、リサイズ、及び左右反転を含む。第３の前処理（以下、第３の前処理）は、第３のクロッピング（涙丘包含クロッピング）、リサイズ、及び左右反転を含む。しかしながら、上で説明したように、左右反転を実行するか否かは、全ての前処理方法において省略されてよく、左右反転を実行するか否かは、予測モデルのそれぞれのトレーニング方法のためにどの方法が使用されるかに従って判断されてよい。

【0505】

サーバー２０は、取得された顔画像に対して第１の前処理を実行することによって第１の前処理済み画像を取得し、第１の前処理済み画像は、第１の左眼前処理済み画像及び第１の右眼前処理済み画像を含む。ここで、第１の左眼前処理済み画像又は第１の右眼前処理済み画像のいずれかは、左右反転処理された画像であってよい。代替的に、第１の左眼前処理済み画像、左右反転された第１の左眼前処理済み画像、第１の右眼前処理済み画像、及び左右反転された第１の右眼前処理済み画像が生成されてよい。さらに、既に詳細に説明したように、第１の前処理済み画像は、第１のクロッピングを使用して取得された画像であり、第１の前処理済み画像内で瞼に対応するピクセルの数が最小化されており、外部に露出した眼球に対応するピクセルが含まれている。

【0506】

さらに、サーバー２０は、取得された顔画像に対して第２の前処理を実行することによって第２の前処理済み画像を取得し、第２の前処理済み画像は、第２の左眼前処理済み画像及び第２の右眼前処理済み画像を含む。ここで、第２の左眼前処理済み画像又は第２の右眼前処理済み画像のいずれかは、左右反転処理された画像であってよい。代替的に、第２の左眼前処理済み画像、左右反転された第２の左眼前処理済み画像、第２の右眼前処理済み画像、及び左右反転され第２の右眼前処理済み画像が生成されてよい。さらに、既に詳細に説明したように、第２の前処理済み画像は、第２のクロッピングを使用することによって取得された画像であり、第２の前処理済み画像は、瞼に対応する十分なピクセルを含む。

【0507】

さらに、サーバー２０は、取得された顔画像に対して第３の前処理を実行することによって第３の前処理済み画像を取得し、第３の前処理済み画像は、第３の左眼前処理済み画像及び第３の右眼前処理済み画像を含む。ここで、第３の左眼前処理済み画像又は第３の右眼前処理済み画像のいずれかは、左右反転処理された画像であってよい。代替的に、第３の左眼前処理済み画像、左右反転された第３の左眼前処理済み画像、第３の右眼前処理済み画像、及び左右反転された第３の右眼前処理済み画像が生成されてよい。さらに、既に詳細に説明したように、第３の前処理済み画像は、第３のクロッピングを使用することによって取得された画像であるので、第３の前処理済み画像は、涙丘に対応する十分なピクセルを含む。

【0508】

サーバー２０は、第１の前処理済み画像（第１の左眼前処理済み画像及び第１の右眼前処理済み画像）を第１の予測モデルに順に入力する。サーバー２０は、第１の左眼前処理済み画像に関する第１の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の結膜充血があるか否かを判定する。さらに、サーバー２０は、第１の右眼前処理済み画像に関する第１の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の結膜充血があるか否かを判定する。

【0509】

サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両眼の結膜充血があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の結膜充血があると判定した場合、サーバー２０は、結膜充血があると最終的に判定する。

【0510】

次に、サーバー２０は、第１の前処理済み画像（第１の左眼前処理済み画像及び第１の右眼前処理済み画像）を第２の予測モデルに順に入力する。サーバー２０は、第１の左眼前処理済み画像に関する第２の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の結膜浮腫があるか否かを判定する。さらに、サーバー２０は、第１の右眼前処理済み画像に関する第２の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の結膜浮腫があるか否かを判定する。

【0511】

サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両眼の結膜浮腫があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の結膜浮腫があると判定した場合、サーバー２０は、結膜浮腫があると最終的に判定する。

【0512】

次に、サーバー２０は、第３の前処理済み画像（第３の左眼前処理済み画像及び第３の右眼前処理済み画像）を第３の予測モデルに順に入力する。サーバー２０は、第３の左眼前処理済み画像に関する第３の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の涙丘浮腫があるか否かを判定する。さらに、サーバー２０は、第３の右眼前処理済み画像に関する第３の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の涙丘浮腫があるか否かを判定する。

【0513】

サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両眼の涙丘浮腫があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の涙丘浮腫があると判定した場合、サーバー２０は、涙丘浮腫があると最終的に判定する。

【0514】

サーバー２０は、第２の前処理済み画像（第２の左眼前処理済み画像及び第２の右眼前処理済み画像）を第４の予測モデルに順に入力する。サーバー２０は、第２の左眼前処理済み画像に関する第４の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の瞼発赤があるか否かを判定する。さらに、サーバー２０は、第２の右眼前処理済み画像に関する第４の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の瞼発赤があるか否かを判定する。

【0515】

サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両眼の瞼発赤があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の瞼発赤があると判定した場合、サーバー２０は、瞼発赤があると最終的に判定する。

【0516】

サーバー２０は、第２の前処理済み画像（第２の左眼前処理済み画像及び第２の右眼前処理済み画像）を第５の予測モデルに順に入力する。サーバー２０は、第２の左眼前処理済み画像に関する第５の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の瞼浮腫があるか否かを判定する。さらに、サーバー２０は、第２の右眼前処理済み画像に関する第５の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の瞼浮腫があるか否かを判定する。

【0517】

サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両眼の瞼浮腫があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の瞼浮腫があると判定した場合、サーバー２０は、瞼浮腫があると最終的に判定する。

【0518】

予測モデルを通じて症状があると判定された場合、サーバー２０は、その症状に関する所定のスコア（例えば、１のスコア）を与えてよい。サーバーは、５つの予測モデルに関する判定結果に従った５つのそれぞれの症状に関するスコアを与えてよく、全てのスコアを加算することによって取得された値も取得してよい。

【0519】

一方で、サーバー２０は、予測モデルによって判断された結果及び／又はこの結果に基づいて与えられたスコアに関する情報を、ユーザー端末１０に送信してよい。

【0520】

さらに、ユーザー端末１０又はサーバー２０は、自発性の眼球後痛及び上方又は下方注視を試みたときの痛みを含む２項目に対するユーザーの応答を取得してよく、取得されたユーザーの応答に基づいて、ユーザー端末１０又はサーバー２０は、項目のそれぞれに関する所定のスコア（例えば、１のスコア）与えてよい。例えば、ユーザーが自発性の眼球後痛を有するという入力をユーザーが提供する場合、１のスコアが与えられてよい。さらに、ユーザーが上方又は下方注視を試みたときの痛みを有するという入力をユーザーが提供する場合、１のスコアが与えられてよい。

【0521】

サーバー２０又はユーザー端末１０は、予測モデルによって判定された結果に基づくスコア及び自発性の眼球後痛及び上方又は下方注視を試みたときの痛みに関して判定されたスコアを考慮して、ユーザーが病院を訪問して詳細な診察を受けることを推奨してよい。

【0522】

【0523】

本願に記載の、甲状腺眼症に関する臨床活動性スコアを予測する上述した方法は、サーバー２０によって実行されると説明した。しかしながら、上述した方法は、ユーザー端末１０によって実行されてよい。代替的に、上述した方法の前処理は、ユーザー端末１０によって実行されてよく、症状のそれぞれに関する判定は、サーバーによって実行されてよい。すなわち、上述したステップは、ユーザー端末１０及びサーバー２０に適切に分散されて、実行されてよい。

【0524】

【0525】

１１．実験例＃１

【0526】

［（１）顔画像の準備］

【0527】

１，０２０の顔画像が準備された。顔画像のそれぞれが、左眼及び右眼の両方を含む画像であり、予め定められた撮影構造に従って取得された画像であった。

【0528】

［（２）顔画像のラベリング情報の確保］

【0529】

１，０２０の顔画像のそれぞれに関して、左眼に関する結膜充血、結膜浮腫、涙丘浮腫、瞼発赤、及び瞼浮腫に関する情報、及び、右眼に関する結膜充血、結膜浮腫、涙丘浮腫、瞼発赤、及び瞼浮腫に関する情報が確保され、そのデータがラベリングデータとして使用された。

【0530】

１，０２０のデータセットの中でも、トレーニングデータセット（トレーニングセット）として７１４のデータセットが使用され、バリデーションセットとして１０２のデータセットが使用され、テストセットとして２０４のデータセットが使用された。

【0531】

さらに、１，０２０のデータセットをトレーニングデータセット、バリデーションセット、及びテストセットに分割することは、３０回ランダムに実行され、したがって、第１のトレーニングデータセット群～第３０のトレーニングデータセット群が作成された。

【0532】

［（３）顔画像の前処理済み画像の確保］

【0533】

１，０２０の顔画像のそれぞれに関して、左眼及び右眼のそれぞれに対して上述した方式で第１のクロッピング処理（外部露出眼球クロッピング）が実行され、第１の左眼前処理済み画像及び第１の右眼前処理済み画像を確保した。ここで、第１の右眼前処理済み画像として左右反転画像が使用され、第１の左眼前処理済み画像として左右反転されていない画像が使用された。

【0534】

１，０２０の顔画像のそれぞれに関して、上述した方式で左眼及び右眼のそれぞれに対して第２のクロッピング処理（瞼包含クロッピング）が実行されて、第２の左眼前処理済み画像及び第２の右眼前処理済み画像を確保した。ここで、第２の右眼前処理済み画像として左右反転画像が使用され、第２の左眼前処理済み画像として左右反転されていない画像が使用された。

【0535】

１，０２０の顔画像のそれぞれに関して、上述した方式で左眼及び右眼のそれぞれに対して第３のクロッピング処理（涙丘包含クロッピング）が実行されて、第３の左眼前処理済み画像及び第３の右眼前処理済み画像を確保した。ここで、第３の右眼前処理済み画像として左右反転画像が使用され、第３の左眼前処理済み画像として左右反転されていない画像が使用された。

【0536】

上述した画像処理は、３０のデータセット群全てに対して実行された。

【0537】

［（４）実験例＃１に従った第１～第５の予測モデルのトレーニング］

【0538】

確保された前処理済み画像及び確保された複数のラベリング情報を使用して、予測モデルがトレーニングされた。予測モデルとして、バックボーンアーキテクチャとして上述したＶｉＴを使用するモデルが使用され、最終的に５つの出力ノードが設計された。トレーニング方法として、モデルのそれぞれのトレーニングにおいて全ての５つのタイプの評価値が使用される方法が、上で説明したように使用された。

【0539】

一方で、バックボーンアーキテクチャとして上述したＶｉＴを使用するモデルが、予測モデルとして使用され、予測モデルのそれぞれは、左眼予測モデル及び右眼予測モデルに分割せずに１つのモデルとして統合してトレーニングされた。

【0540】

［（５）予測モデルを使用することによる、各症状に関する予測結果の取得］

【0541】

トレーニングされた第１～第５の予測モデルのためのテストデータセットを使用して、予測結果が取得された。ここで、右眼画像として左右反転された前処理済み画像が使用され、左眼画像として左右反転されていない前処理済み画像が使用された。

【0542】

［（６）実験例＃１による予測モデルの正確度、感度、特異度、陽性適中率（ＰＰＶ）、及び陰性適中率（ＮＰＶ）］

【0543】

［表１］に示されている値は、上述した実験例＃１に従って３０のデータセット群のそれぞれに関してトレーニングされた第１～第５の予測モデルに関して測定された、正確度、感度、特異度、ＰＰＶ、及びＮＰＶの平均値である。

【0544】

【表1】

【0545】

１２．比較例＃１

【0546】

［（１）顔画像の準備］

【0547】

実験例＃１において使用された顔画像が、そのまま使用された。

【0548】

［（２）顔画像のラベリング情報の確保］

【0549】

実験例＃１において使用された顔画像の複数のラベリング情報が、そのまま使用された。しかしながら、データセットの生成において、全ての５つのタイプの評価値を画像のそれぞれに合致させることによってデータセットを生成する方法ではなく、モデルのそれぞれに関して異なる評価値を合致させることによってデータセットを生成する方法が使用された。

【0550】

［（３）顔画像に関する眉包含前処理済み画像の確保］

【0551】

実験例＃１において使用された前処理済み画像が、そのまま使用された。

【0552】

上述した画像処理は、３０のデータセット群全てに対して実行された。

【0553】

［（４）比較例＃２に従った第１～第５の予測モデルのトレーニング］

【0554】

確保された前処理済み画像及び確保された複数のラベリング情報を使用して、予測モデルがトレーニングされた。実験例＃１とは異なり、バックボーンアーキテクチャとして上述したＶｉＴを使用するモデルが予測モデルとして使用され、最終的に、１つの出力ノードが設計された。

【0555】

ここで、第１の予測モデルは、結膜充血に関する評価値を使用してトレーニングされ、第２の予測モデルは、結膜浮腫に関する評価値を使用してトレーニングされ、第３の予測モデルは、涙丘浮腫に関する評価値を使用してトレーニングされ、第４の予測モデルは、瞼発赤に関する評価値を使用してトレーニングされ、第５の予測モデルは、瞼浮腫に関する評価値を使用してトレーニングされた。

【0556】

［（５）予測モデルを使用することによる、各症状に関する予測結果の取得］

【0557】

トレーニングされた第１～第５の予測モデルのためのテストデータセットを使用して、予測結果が取得された。ここで、右眼画像として左右反転された前処理済み画像が使用され、左眼画像として左右反転されていない前処理済み画像が使用された。

【0558】

［（６）比較例＃２による予測モデルの正確度、感度、特異度、陽性適中率（ＰＰＶ）、及び陰性適中率（ＮＰＶ）］

【0559】

［表２］に示されている値は、上述した実験例＃２に従って３０のデータセット群のそれぞれに関してトレーニングされた第１～第５の予測モデルに関して測定された、正確度、感度、特異度、ＰＰＶ、及びＮＰＶの平均値である。

【0560】

【表2】

【0561】

１３．実験例＃２

【0562】

［（１）顔画像の準備］

【0563】

実験例＃１において使用された顔画像が、そのまま使用された。

【0564】

［（２）顔画像のラベリング情報の確保］

【0565】

実験例＃１において使用された顔画像の複数のラベリング情報が、そのまま使用された。

【0566】

［（３）顔画像に関する眉包含前処理済み画像の確保］

【0567】

１，０２０の顔画像のそれぞれに関して、上述した方式で左眼及び右眼のそれぞれに対して第２のクロッピング処理（瞼包含クロッピング）が実行されて、第２の左眼前処理済み画像及び第２の右眼前処理済み画像を確保した。ここで、第１の右眼前処理済み画像として左右反転画像が使用され、第１の左眼前処理済み画像として左右反転されていない画像が使用された。

【0568】

［（４）実験例＃２による第４及び第５の予測モデルのトレーニング］

【0569】

確保された前処理済み画像及び確保された複数のラベリング情報を使用して、予測モデルがトレーニングされた。予測モデルとして、バックボーンアーキテクチャとして上述したＶｉＴを使用するモデルが使用され、最終的に５つの出力ノードが設計された。トレーニング方法として、モデルのそれぞれのトレーニングにおいて全ての５つのタイプの評価値が使用される方法が、上で説明したように使用された。

【0570】

［（５）実験例＃２による瞼発赤予測モデル及び瞼浮腫予測モデルの正確度、感度、特異度、陽性適中率（ＰＰＶ）、及び陰性適中率（ＮＰＶ）］

【0571】

［表３］に示されている値は、上述した実験例＃２に従って３０のデータセット群のそれぞれに関してトレーニングされた第４及び第５の予測モデルに関して測定された、正確度、感度、特異度、ＰＰＶ、及びＮＰＶの平均値である。

【0572】

【表3】

【0573】

１４．実験例＃３

【0574】

［（１）顔画像の準備］

【0575】

実験例＃１において使用された顔画像が、そのまま使用された。

【0576】

［（２）顔画像のラベリング情報の確保］

【0577】

実験例＃１において使用された顔画像の複数のラベリング情報が、そのまま使用された。

【0578】

［（３）顔画像に関する眉包含前処理済み画像の確保］

【0579】

１，０２０の顔画像のそれぞれに関して、上述した方式で左眼及び右眼のそれぞれに対して第２のクロッピング処理（瞼包含クロッピング）が実行された。しかしながら、実験例＃２とは異なり、第２のクロッピング領域は、第２のクロッピング領域の中心位置が参照矩形の中心位置よりも高い位置にあるように判定された。したがって、第２のクロッピング済み画像は、眉を含んでいた。ここで、第２の左眼前処理済み画像及び第２の右眼前処理済み画像の確保において、左右反転処理は実行されなかった。

【0580】

［（４）実験例＃３による第４及び第５の予測モデルのトレーニング］

【0581】

確保された前処理済み画像及び確保された複数のラベリング情報を使用して、予測モデルがトレーニングされた。予測モデルとして、バックボーンアーキテクチャとして上述したＶｉＴを使用するモデルが使用され、最終的に５つの出力ノードが設計された。トレーニング方法として、モデルのそれぞれのトレーニングにおいて全ての５つのタイプの評価値が使用される方法が、上で説明したように使用された。

【0582】

［（５）実験例＃３による瞼発赤予測モデル及び瞼浮腫予測モデルの正確度、感度、特異度、陽性適中率（ＰＰＶ）、及び陰性適中率（ＮＰＶ）］

【0583】

［表４］に示されている値は、上述した実験例＃３に従って３０のデータセット群のそれぞれに関してトレーニングされた第４及び第５の予測モデルに関して測定された、正確度、感度、特異度、ＰＰＶ、及びＮＰＶの平均値である。

【0584】

【表4】

【0585】

【0586】

１：システム

【0587】

１０：ユーザー端末

【0588】

２０：サーバー
（他の可能な項目）
［項目１］
トレーニングセットを使用して結膜充血予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
プロセッサ上で実行されている前記結膜充血予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、
予め定められた設定に基づいて、前記５つの予測値の中でも、前記結膜充血に関する前記第１の予測値を選択する段階、及び、
前記結膜充血に関する選択された第１の予測値に基づいて前記結膜充血に関するスコアを生成する段階
を備えるコンピュータ実装方法。
［項目２］
前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
項目１に記載のコンピュータ実装方法。
［項目３］
前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記結膜充血予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、前記５つの予測値の中でも、前記結膜充血に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記結膜充血に関するスコアを前記生成する段階は、前記結膜充血に関する前記選択された第１の予測値及び前記結膜充血に関する前記選択された第２の予測値を考慮して前記結膜充血に関するスコアを生成する段階である
項目２に記載のコンピュータ実装方法。
［項目４］
前記結膜充血に関する前記スコアを前記生成する段階は、
前記結膜充血に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記結膜充血に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記結膜充血に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、項目３に記載のコンピュータ実装方法。
［項目５］
トレーニングセットを使用して結膜浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、結膜浮腫に関する評価値、瞼発赤に関する評価値、瞼浮腫に関する評価値、及び涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
プロセッサ上で実行されている前記結膜浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、
予め定められた設定に基づいて、前記５つの予測値の中でも、前記結膜浮腫に関する前記第１の予測値を選択する段階、及び、
前記選択された結膜浮腫に関する第１の予測値に基づいて前記結膜浮腫に関するスコアを生成する段階
を備えるコンピュータ実装方法。
［項目６］
前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
項目５に記載のコンピュータ実装方法。
［項目７］
前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記結膜浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、前記５つの予測値の中でも、前記結膜浮腫に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記結膜浮腫に関するスコアを前記生成する段階は、前記結膜浮腫に関する前記選択された第１の予測値及び前記結膜浮腫に関する前記選択された第２の予測値を考慮して前記結膜浮腫に関するスコアを生成する段階である
項目６に記載のコンピュータ実装方法。
［項目８］
前記結膜浮腫に関する前記スコアを前記生成する段階は、
前記結膜浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記結膜浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記結膜浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、項目７に記載のコンピュータ実装方法。
［項目９］
トレーニングセットを使用して涙丘浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
プロセッサ上で実行されている前記涙丘浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、
予め定められた設定に基づいて、前記５つの予測値の中でも、前記涙丘浮腫に関する第１の予測値を選択する段階、及び、
前記選択された涙丘浮腫に関する前記第１の予測値に基づいて前記涙丘浮腫に関するスコアを生成する段階
を備えるコンピュータ実装方法。
［項目１０］
前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
項目９に記載のコンピュータ実装方法。
［項目１１］
前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記涙丘浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、前記５つの予測値の中でも、前記涙丘浮腫に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記涙丘浮腫に関するスコアを前記生成する段階は、前記涙丘浮腫に関する前記選択された第１の予測値及び前記涙丘浮腫に関する前記選択された第２の予測値を考慮して前記涙丘浮腫に関するスコアを生成する段階である
項目１０に記載のコンピュータ実装方法。
［項目１２］
前記涙丘浮腫に関する前記スコアを前記生成する段階は、
前記涙丘浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記涙丘浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記涙丘浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、項目１１に記載のコンピュータ実装方法。
［項目１３］
トレーニングセットを使用して瞼発赤予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
プロセッサ上で実行されている前記瞼発赤予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、
予め定められた設定に基づいて、前記５つの予測値の中でも、前記瞼発赤に関する第１の予測値を選択する段階、及び、
前記選択された瞼発赤に関する前記第１の予測値に基づいて前記瞼発赤に関するスコアを生成する段階
を備えるコンピュータ実装方法。
［項目１４］
前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
項目１３に記載のコンピュータ実装方法。
［項目１５］
前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記瞼発赤予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、前記５つの予測値の中でも、前記瞼発赤に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記瞼発赤に関するスコアを前記生成する段階は、前記瞼発赤に関する前記選択された第１の予測値及び前記瞼発赤に関する前記選択された第２の予測値を考慮して前記瞼発赤に関するスコアを生成する段階である
項目１４に記載のコンピュータ実装方法。
［項目１６］
前記瞼発赤に関する前記スコアを前記生成する段階は、
前記瞼発赤に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記瞼発赤に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記瞼発赤に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、項目１５に記載のコンピュータ実装方法。
［項目１７］
トレーニングセットを使用して瞼浮腫予測モデルをトレーニングする段階、ここで、前記トレーニングセットは、トレーニング画像、結膜充血に関する評価値、前記結膜浮腫に関する評価値、前記瞼発赤に関する評価値、前記瞼浮腫に関する評価値、及び前記涙丘浮腫に関する評価値を含み、ここで、前記トレーニング画像は、前記トレーニング画像の診断に従って前記評価値で注釈付けされる、
対象者の少なくとも一方の眼及び前記少なくとも一方の眼の輪郭の外側領域を含む第１の画像を取得する段階、
プロセッサ上で実行されている前記瞼浮腫予測モデルによって、結膜充血に関する第１の予測値、前記結膜浮腫に関する第１の予測値、瞼発赤に関する第１の予測値、瞼浮腫に関する第１の予測値、及び涙丘浮腫に関する第１の予測値を出力する段階、
予め定められた設定に基づいて、前記５つの予測値の中でも、前記瞼浮腫に関する前記第１の予測値を選択する段階、及び、
前記瞼浮腫に関する前記選択された第１の予測値に基づいて前記瞼浮腫に関するスコアを生成する段階
を備えるコンピュータ実装方法。
［項目１８］
前記第１の画像は、両眼のうちのいずれか一方の眼に関して生成され、かつ、
前記生成された予測値は、前記一方の眼に関する予測値である
項目１７に記載のコンピュータ実装方法。
［項目１９］
前記対象者の他方の眼及び前記他方の眼の輪郭の外側領域を含む第２の画像を取得する段階、
前記プロセッサ上で実行されている前記瞼浮腫予測モデルによって、前記結膜充血に関する第２の予測値、前記結膜浮腫に関する第２の予測値、前記瞼発赤に関する第２の予測値、前記瞼浮腫に関する第２の予測値、及び前記涙丘浮腫に関する第２の予測値を出力する段階、及び
予め定められた設定に基づいて、前記５つの予測値の中でも、前記瞼浮腫に関する前記第２の予測値を選択する段階
をさらに備え、
ここで、前記瞼浮腫に関するスコアを前記生成する段階は、前記瞼浮腫に関する前記選択された第１の予測値及び前記瞼浮腫に関する前記選択された第２の予測値を考慮して前記瞼浮腫に関するスコアを生成する段階である
項目１８に記載のコンピュータ実装方法。
［項目２０］
前記瞼浮腫に関する前記スコアを前記生成する段階は、
前記瞼浮腫に関する前記第１の予測値が閾値よりも大きいと判定したことに応答して、
前記瞼浮腫に関する前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、又は
前記瞼浮腫に関する前記第１の予測値及び前記第２の予測値が前記閾値よりも大きいと判定したことに応答して、
予め定められた値を前記スコアに割り当てる段階
を有する、項目１９に記載のコンピュータ実装方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9(a)】

【図9(b)】

【図10(a)】

【図10(b)】

【図11(a)】

【図11(b)】

【図12(a)】

【図12(b)】

【図12(c)】

【図12(d)】

【図13(a)】

【図13(b)】

【図14】

【図15(a)】

【図15(b)】

【図16(a)】

【図16(b)】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】