知財求人 - 知財ポータルサイト「IP Force」
特許7525851活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-23
(45)【発行日】2024-07-31
(54)【発明の名称】活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
(51)【国際特許分類】
A61B 3/00 20060101AFI20240724BHJP
A61B 10/00 20060101ALI20240724BHJP
【ＦＩ】
A61B3/00
A61B10/00 E
【請求項の数】
20
(21)【出願番号】P 2023571557
(86)(22)【出願日】2022-06-29
(65)【公表番号】
(43)【公表日】2024-06-21
(86)【国際出願番号】 KR2022009356
(87)【国際公開番号】W WO2023277589
(87)【国際公開日】2023-01-05
【審査請求日】2023-12-14
(31)【優先権主張番号】10-2021-0085542
(32)【優先日】2021-06-30
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0079770
(32)【優先日】2022-06-29
(33)【優先権主張国・地域又は機関】KR
【早期審査対象出願】
(73)【特許権者】
【識別番号】523433859
【氏名又は名称】サイロスコープ インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】シン、キュボ
(72)【発明者】
【氏名】パク、ジャエミン
(72)【発明者】
【氏名】キム、ジョンチャン
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特表２０２０－５２８８１７（ＪＰ，Ａ）
【文献】特表２０１９－５２１３７９（ＪＰ，Ａ）
【文献】米国特許第１１６１２３１４（ＵＳ，Ｂ２）
【文献】米国特許出願公開第２０１８／０２８９２５３（ＵＳ，Ａ１）
【文献】Hiroki Masumoto, et al.，Severity Classification of Conjunctival Hyperaemia by Deep Neural Network Ensembles，Journal of Ophthalmology，2019年，Volume 2019, Artilce ID 7820971，pp. 1-10，https://doi.org/10.1155/2019/7820971
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
Ａ６１Ｂ １０／００
(57)【特許請求の範囲】
【請求項1】
甲状腺眼症を管理するコンピュータ実装方法であって、
ユーザー端末を通じてユーザーの主観的な痛みの評価を受信するための第１の画面を出力する段階；
予め記憶されたスコア判定アルゴリズム及び第１のユーザー入力に基づいて、自発性の眼球後痛のスコア及び上方又は下方注視を試みたときの痛みのスコアを計算する段階、ここで、前記第１のユーザー入力は、前記第１の画面に対する応答として取得された入力を含む；
顔画像を受信するための第２の画面を出力する段階、ここで、前記第２の画面において、前記ユーザーの少なくとも一方の眼が前記顔画像上に現れるように前記ユーザー端末上に撮影ガイドが現れる；
１又は複数の兆候予測モデル及び前記顔画像に基づいて、結膜充血のスコア、結膜浮腫のスコア、涙丘浮腫のスコア、瞼発赤のスコア、及び瞼浮腫のスコアを取得する段階、ここで、前記１又は複数の兆候予測モデルは、病院で捕捉された臨床画像及び前記臨床画像に対する医師の判断を含むトレーニングデータセットで予めトレーニングされている；
前記自発性の眼球後痛、前記上方又は下方注視を試みたときの痛み、前記結膜充血、前記結膜浮腫、前記涙丘浮腫、前記瞼発赤、及び前記瞼浮腫の前記スコアを同じ重みで加算することによって、最終スコアを計算する段階；及び
前記最終スコア及び最終基準を比較することによって、前記ユーザーが病院を訪問することが推奨されるか否かを判定する段階
を備える、方法。
【請求項2】
前記ユーザーが訪問することが推奨されるか否かを判定する段階は、前記最終スコアが３又はそれよりも大きい場合に、前記病院の訪問を推奨するように判定する段階を有する、請求項１に記載の方法。
【請求項3】
前記ユーザーが訪問することが推奨されるか否かを判定する段階は、
前記最終スコアが５又はそれよりも大きい場合に、前記病院の訪問を推奨するように判定する段階、及び
前記最終スコアが３又は４であり、予め定められた期間の最終スコアの少なくとも１つが３又はそれよりも大きい場合に、前記病院の訪問を推奨するように判定する段階
を有する、請求項１に記載の方法。
【請求項4】
前記予め定められた期間は、前記最終スコアが計算された日の少し前の１週間として設定される
請求項３に記載の方法。
【請求項5】
前記結膜充血の前記スコアは、前記顔画像、第１の予測モデル、及び第１の評価基準に基づいて計算され、
前記結膜浮腫の前記スコアは、前記顔画像、第２の予測モデル、及び第２の評価基準に基づいて計算され、
前記涙丘浮腫の前記スコアは、前記顔画像、第３の予測モデル、及び第３の評価基準に基づいて計算され、
前記瞼発赤の前記スコアは、前記顔画像、第４の予測モデル、及び第４の評価基準に基づいて計算され、かつ、
前記瞼浮腫の前記スコアは、前記顔画像、第５の予測モデル、及び第５の評価基準に基づいて計算される
請求項１に記載の方法。
【請求項6】
前記第１の評価基準は、前記第１の予測モデルの確率値が第１の閾値よりも大きい場合に満たされ、
前記第２の評価基準は、前記第２の予測モデルの確率値が第２の閾値よりも大きい場合に満たされ、
前記第３の評価基準は、前記第３の予測モデルの確率値が第３の閾値よりも大きい場合に満たされ、
前記第４の評価基準は、前記第４の予測モデルの確率値が第４の閾値よりも大きい場合に満たされ、かつ、
前記第５の評価基準は、前記第５の予測モデルの確率値が第５の閾値よりも大きい場合に満たされる
請求項５に記載の方法。
【請求項7】
前記第１の閾値、前記第２の閾値、前記第３の閾値、前記第４の閾値、及び前記第５の閾値のうちの少なくとも１つは、前記第１の閾値、前記第２の閾値、前記第３の閾値、前記第４の閾値、及び前記第５の閾値のうちの別の１つとは異なる
請求項６に記載の方法。
【請求項8】
前記結膜充血の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第１の予測モデルの確率値が前記第１の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第１の予測モデルの確率値が前記第１の閾値よりも大きい
場合に１と判定され、
前記結膜浮腫の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第２の予測モデルの確率値が前記第２の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第２の予測モデルの確率値が前記第２の閾値よりも大きい
場合に１と判定され、
前記涙丘浮腫の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第３の予測モデルの確率値が前記第３の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第３の予測モデルの確率値が前記第３の閾値よりも大きい、
場合に１と判定され、
前記瞼発赤の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第４の予測モデルの確率値が前記第４の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第４の予測モデルの確率値が前記第４の閾値よりも大きい
場合に１と判定され、かつ、
前記瞼浮腫の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第５の予測モデルの確率値が前記第５の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第５の予測モデルの確率値が前記第５の閾値よりも大きい
場合に１と判定される
請求項６に記載の方法。
【請求項9】
前記第１の画面において、前記自発性の眼球後痛が感じられたか否かに関する第１の質問及び前記上方又は下方注視を試みたときの痛みが感じられたか否かに関する第２の質問が、前記ユーザー端末上に現れる
請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記第１の画面において、前記第１の質問に関する肯定を受信するための第１のインタフェース、前記第１の質問に関する否定を受信するための第１のインタフェース、前記第２の質問に関する肯定を受信するための第２のインタフェース、及び前記第２の質問に関する否定を受信するための第２のインタフェースも、前記ユーザー端末上に現れる
請求項９に記載の方法。
【請求項11】
前記自発性の眼球後痛のスコアは、前記第１のインタフェースに対応するユーザー入力が受信された場合に１と判定され、
前記上方又は下方注視を試みたときの痛みのスコアは、第３のインタフェースに対応するユーザー入力が受信された場合に１と判定される
請求項１０に記載の方法。
【請求項12】
コンピューティングデバイスであって、
プロセッサ；及び
前記プロセッサに作動的に結合されたメモリ、前記メモリは、
ユーザー端末を通じてユーザーの主観的な痛みの評価を受信するための第１の画面を出力すること；
予め記憶されたスコア判定アルゴリズム及び第１のユーザー入力に基づいて、自発性の眼球後痛のスコア及び上方又は下方注視を試みたときの痛みのスコアを計算すること、ここで、前記第１のユーザー入力は、前記第１の画面に対する応答として取得された入力を含む；
顔画像を受信するための第２の画面を出力すること、ここで、前記第２の画面において、ユーザーの少なくとも一方の眼が前記顔画像上に現れるように前記ユーザー端末上に撮影ガイドが現れる；
１又は複数の兆候予測モデル及び前記顔画像に基づいて、結膜充血のスコア、結膜浮腫のスコア、涙丘浮腫のスコア、瞼発赤のスコア、及び瞼浮腫のスコアを取得すること、ここで、前記１又は複数の兆候予測モデルは、病院で捕捉された臨床画像及び前記臨床画像に対する医師の判断を含むトレーニングデータセットで予めトレーニングされている；
前記自発性の眼球後痛、前記上方又は下方注視を試みたときの痛み、前記結膜充血、前記結膜浮腫、前記涙丘浮腫、前記瞼発赤、及び前記瞼浮腫の前記スコアを同じ重みで加算することによって、最終スコアを計算すること；及び
前記最終スコア及び最終基準を比較することによって、前記ユーザーが病院を訪問することが推奨されるか否かを判定すること
を含む動作を前記コンピューティングデバイスに実行させるように前記プロセッサによって実行可能な命令を有する
を備える、コンピューティングデバイス。
【請求項13】
前記ユーザーが訪問することが推奨されるか否かを判定することは、前記最終スコアが３又はそれよりも大きい場合に、前記病院の訪問を推奨するように判定することを含む
請求項１２に記載のコンピューティングデバイス。
【請求項14】
前記ユーザーが訪問することが推奨されるか否かを判定する段階は、
前記最終スコアが５又はそれよりも大きい場合に、前記病院の訪問を推奨するように判定する段階、及び
前記最終スコアが３又は４であり、予め定められた期間の最終スコアの少なくとも１つが３又はそれよりも大きい場合に、前記病院の訪問を推奨するように判定する段階
を有する、請求項１２に記載のコンピューティングデバイス。
【請求項15】
前記予め定められた期間は、前記最終スコアが計算された日の少し前の１週間として設定される
請求項１４に記載のコンピューティングデバイス。
【請求項16】
前記結膜充血の前記スコアは、前記顔画像、第１の予測モデル、及び第１の評価基準に基づいて計算され、
前記結膜浮腫の前記スコアは、前記顔画像、第２の予測モデル、及び第２の評価基準に基づいて計算され、
前記涙丘浮腫の前記スコアは、前記顔画像、第３の予測モデル、及び第３の評価基準に基づいて計算され、
前記瞼発赤の前記スコアは、前記顔画像、第４の予測モデル、及び第４の評価基準に基づいて計算され、かつ、
前記瞼浮腫の前記スコアは、前記顔画像、第５の予測モデル、及び第５の評価基準に基づいて計算される
請求項１５に記載のコンピューティングデバイス。
【請求項17】
前記結膜充血の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第１の予測モデルの確率値が第１の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第１の予測モデルの確率値が前記第１の閾値よりも大きい
場合に１と判定され、
前記結膜浮腫の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第２の予測モデルの確率値が第２の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第２の予測モデルの確率値が前記第２の閾値よりも大きい
場合に１と判定され、
前記涙丘浮腫の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第３の予測モデルの確率値が第３の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第３の予測モデルの確率値が前記第３の閾値よりも大きい、
場合に１と判定され、
前記瞼発赤の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第４の予測モデルの確率値が第４の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第４の予測モデルの確率値が前記第４の閾値よりも大きい
場合に１と判定され、かつ、
前記瞼浮腫の前記スコアは、
１）前記顔画像の左眼画像を入力することによる前記第５の予測モデルの確率値が第５の閾値よりも大きい、及び／又は
２）前記顔画像の右眼画像を入力することによる前記第５の予測モデルの確率値が前記第５の閾値よりも大きい
場合に１と判定される
請求項１６に記載のコンピューティングデバイス。
【請求項18】
前記第１の画面において、前記自発性の眼球後痛が感じられたか否かに関する第１の質問及び前記上方又は下方注視を試みたときの痛みが感じられたか否かに関する第２の質問が、前記ユーザー端末上に現れ、
前記第１の質問に関する肯定を受信するための第１のインタフェース、前記第１の質問に関する否定を受信するための第１のインタフェース、前記第２の質問に関する肯定を受信するための第２のインタフェース、及び前記第２の質問に関する否定を受信するための第２のインタフェースも、前記ユーザー端末上に現れる
請求項１２から１７のいずれか一項に記載のコンピューティングデバイス。
【請求項19】
前記自発性の眼球後痛のスコアは、前記第１のインタフェースに対応するユーザー入力が受信された場合に１と判定され、
前記上方又は下方注視を試みたときの痛みのスコアは、第３のインタフェースに対応するユーザー入力が受信された場合に１と判定される
請求項１８に記載のコンピューティングデバイス。
【請求項20】
コンピューティングデバイスの１又は複数のプロセッサによって実行されると、
ユーザー端末を通じてユーザーの主観的な痛みの評価を受信するための第１の画面を出力すること；
予め記憶されたスコア判定アルゴリズム及び第１のユーザー入力に基づいて、自発性の眼球後痛のスコア及び上方又は下方注視を試みたときの痛みのスコアを計算すること、ここで、前記第１のユーザー入力は、前記第１の画面に対する応答として取得された入力を含む；
顔画像を受信するための第２の画面を出力すること、ここで、前記第２の画面において、ユーザーの少なくとも一方の眼が前記顔画像上に現れるように前記ユーザー端末上に撮影ガイドが現れる；
１又は複数の兆候予測モデル及び前記顔画像に基づいて、結膜充血のスコア、結膜浮腫のスコア、涙丘浮腫のスコア、瞼発赤のスコア、及び瞼浮腫のスコアを取得すること、ここで、前記１又は複数の兆候予測モデルは、病院で捕捉された臨床画像及び前記臨床画像に対する医師の判断を含むトレーニングデータセットで予めトレーニングされている；
前記自発性の眼球後痛、前記上方又は下方注視を試みたときの痛み、前記結膜充血、前記結膜浮腫、前記涙丘浮腫、前記瞼発赤、及び前記瞼浮腫の前記スコアを同じ重みで加算して、最終スコアを計算すること；及び
前記最終スコア及び最終基準を比較することによって、前記ユーザーが病院を訪問することが推奨されるか否かを判定すること
を含む動作を前記コンピューティングデバイスに実行させる、コンピュータ実行可能命令を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこの方法を実行するためのシステムに関する。
【背景技術】
【0002】
眼疾患とは、眼球及び周辺部に生じる疾患である。世界中の多くの人が眼疾患を患っており、眼疾患は、重症の場合には視野を損なう等の生活における大きな不便を引き起こし、そのため、眼疾患の発生又は範囲をモニタリングすることが必要である。
【0003】
一方で、眼疾患は、他の疾患によって引き起こされた複数の合併症のうちの１つであり得る。例えば、甲状腺眼症は、甲状腺機能異常によって引き起こされた合併症である。
【0004】
甲状腺眼症が悪化すると、眼球が突出し、手術無しに治療することはできない。したがって、甲状腺眼症の治療のためには、甲状腺眼症の早期診断が非常に重要である。しかしながら、甲状腺眼症は明らかな予後症状を示さないので、この疾患を早期に診断することは困難である。医学界では、１９８９年に提案された臨床活動性スコア（ＣＡＳ）を用いた評価方法を通じて甲状腺眼症を早期に診断する努力が行われてきた。
【0005】
甲状腺眼症に関する臨床活動性スコアの判定においては合計７項目が考慮され、７項目とは、１）自発性の（ｓｐｏｎｔａｎｅｏｕｓ）眼球後痛、２）上方又は下方注視を試みたときの痛み、３）瞼（ｅｙｅｌｉｄ）の発赤、４）結膜の発赤、５）瞼の腫れ、６）結膜の腫れ、及び７）涙丘の腫れである。
【0006】
臨床活動性スコアを判定するために、個人が病院又はクリニックを直接訪問し、医師が問診及び肉眼での観察を通じて診察を行うことが不可欠である。例えば、自発性の眼球後痛及び上方又は下方注視を試みたときの痛みは、医師による問診を通じて検査することができ、瞼の発赤、結膜の発赤、瞼の腫れ、結膜の腫れ、及び涙丘の腫れは、医師による肉眼での観察によって検査することができる。臨床活動性スコアを判定するための医師による肉眼での診察及び問診方法は、前提条件として、甲状腺眼症の診断のために患者が直接病院訪問する必要があり、そのため、甲状腺眼症を早期に診断することが困難である。
【0007】
したがって、連続的なモニタリングを行うことができるように直接病院訪問することなく個人がより容易に且つ迅速に眼疾患のリスクを認識すること、及び、必要な場合には病院を訪問するよう患者を誘導するように眼疾患のリスクを患者に通知することを可能にする方法を開発することが望まれる。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本願における開示は、プロフェッショナルな医学的診断デバイスではなく一般の人々が使用できるデジタルカメラで取得された画像を使用することによって甲状腺眼症に関する臨床活動性スコアを予測することに使用される学習モデルを提供することを対象とする。
【0009】
さらに、本願における開示は、一般の人々が、医師の助け及び直接の病院訪問無しに甲状腺眼症に関する臨床活動性スコアを連続的にモニタリングすることを可能にするための方法及びシステムを提供することを対象とする。
【0010】
さらに、本願における開示は、臨床活動性スコアのモニタリングの結果に従って活動性甲状腺眼症に関する医学的治療のために病院訪問を推奨する方法、及び、この方法を実行するためのシステムを提供することを対象とする。
【0011】
本願によって解決されることになる技術的課題は、上述の技術的課題に限定されず、言及されていない他の技術的課題は、本明細書及び添付図面から当業者には明らかに理解される。
【課題を解決するための手段】
【0012】
本願の１つの態様によれば、甲状腺眼症を予測するコンピュータ実装方法が開示される。上記方法は、結膜充血予測モデル、結膜浮腫予測モデル、涙丘浮腫予測モデル、瞼発赤予測モデル、及び瞼浮腫予測モデルを準備する段階、対象の顔画像を取得する段階、前記顔画像から第１の処理済み画像及び第２の処理済み画像を取得する段階、ここで、前記第１の処理済み画像は、前記第２の処理済み画像とは異なる、前記第１の処理済み画像を、前記結膜充血予測モデル、前記結膜浮腫予測モデル、及び涙丘浮腫予測モデルに適用することによって、結膜充血、結膜浮腫、及び涙丘浮腫のそれぞれに関する予測値を取得する段階、前記第２の処理済み画像を前記瞼発赤予測モデル及び前記瞼浮腫予測モデルに適用することによって瞼発赤及び瞼浮腫のそれぞれに関する予測値を取得する段階、及び、前記結膜充血、前記結膜浮腫、前記涙丘浮腫、前記瞼発赤、及び前記瞼浮腫に関する前記予測値に基づいて、前記対象が甲状腺眼症を有する可能性を判定する段階を備える。ここで、前記第１の処理済み画像は、虹彩の輪郭の内側に対応する領域及び眼の輪郭の外側に対応する領域をマスキングされ、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記眼の輪郭を含む第１の領域に沿ってクロッピングされた画像であり、かつ、ここで、前記第２の処理済み画像は、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記第１の領域よりも広い第２の領域に沿ってクロッピングされた画像である。
【0013】
いくつかの実施形態において、前記眼に含まれる前記虹彩の前記輪郭に対応する前記ピクセルの位置情報及び前記眼の前記輪郭に対応する前記ピクセルの位置情報は、セグメンテーションモデルによって取得される。
【0014】
いくつかの実施形態において、前記第１の処理済み画像は、第１の処理済み左眼画像及び第１の処理済み右眼画像を含み、かつ、前記第２の処理済み画像は、第２の処理済み左眼画像及び第２の処理済み右眼画像を含む。
【0015】
いくつかの実施形態において、前記結膜充血予測モデルは、左眼結膜充血予測モデル及び右眼結膜充血予測モデルを含み、前記結膜浮腫予測モデルは、左眼結膜浮腫予測モデル及び右眼結膜浮腫予測モデルを含み、前記涙丘浮腫予測モデルは、左眼涙丘浮腫予測モデル及び右眼涙丘浮腫予測モデルを含み、前記瞼発赤予測モデルは、左眼瞼発赤予測モデル及び右眼瞼発赤予測モデルを含み、かつ、前記瞼浮腫予測モデルは、左眼瞼浮腫予測モデル及び右眼瞼浮腫予測モデルを含む。
【0016】
いくつかの実施形態において、前記結膜充血に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜充血予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼結膜充血予測モデルに入力することによって取得される結果に基づいて判定され、前記結膜浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を右眼結膜浮腫予測モデルに入力することによって取得される結果に基づいて判定され、前記涙丘浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼涙丘浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼涙丘浮腫予測モデルに入力することによって取得される結果に基づいて判定され、前記瞼発赤に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼発赤予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼発赤予測モデルに入力することによって取得される結果に基づいて判定され、かつ、前記瞼浮腫に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼浮腫予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼浮腫予測モデルに入力することによって取得される結果に基づいて判定される。
【0017】
いくつかの実施形態において、上記方法は、前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階、及び、前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階をさらに備える。
【0018】
いくつかの実施形態において、前記結膜充血に関する前記予測値は、前記結膜充血予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、前記結膜浮腫に関する前記予測値は、前記結膜浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、前記涙丘浮腫に関する前記予測値は、前記涙丘浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、前記瞼発赤に関する前記予測値は、前記瞼発赤予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、かつ、前記瞼浮腫に関する前記予測値は、前記瞼浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定される。
【0019】
いくつかの実施形態において、上記方法は、前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像をリサイズする段階、及び、前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像をリサイズする段階をさらに備える。
【発明の効果】
【0020】
本願における開示によれば、プロフェッショナルな医学的診断デバイスではなく、一般の人々が使用できるデジタルカメラを通じて取得された画像を使用して、甲状腺眼症に関する臨床活動性スコアを予測することができる。
【0021】
さらに、本願における開示によれば、一般の人々が、医師の助け及び直接の病院訪問無しに、甲状腺眼症に関する臨床活動性スコアを連続的にモニタリングすることができ、必要な場合に病院訪問が推奨される。
【図面の簡単な説明】
【0022】
【図1】本願に記載の一実施形態による甲状腺眼症に関する臨床活動性スコアを予測するためのシステムを示す図である。
【0023】
【図2】本願において提供されるユーザー端末を示すブロック図である。
【0024】
【図3】本願に記載のサーバーを示すブロック図である。
【0025】
【図4】カメラを使用して顔のピクチャが取得された場合、眼及び周辺組織がカメラによって捕捉されるように、外部に露出した眼及び周辺組織を示す図である。
【0026】
【図5】外部に露出した眼球を示す図である。
【0027】
【図6】眼の輪郭を示す図である。
【0028】
【図7】外部に露出した角膜を示す図である。
【0029】
【図8】外部に露出した結膜を示す図である。
【0030】
【図9】顔画像及び両眼画像を示す図である。
【0031】
【図10】左眼画像及び右眼画像を示す図である。
【0032】
【図11】輪郭ピクセルのＸｍａｘ、Ｘｍｉｎ、Ｙｍａｘ、及びＹｍｉｎを示す図である。
【0033】
【図12】判定された第２のクロッピング領域を示す図である。
【0034】
【図13】第２のクロッピング済み画像の一例を示す図である。
【0035】
【図14】第３のクロッピング済み画像の例を示す図である。
【0036】
【0037】
【図17】眼輪郭セグメンテーションを示す図である。
【0038】
【図18】第１のマスキング画像の例を示す図である。
【0039】
【図19】第２のマスキング画像の一例を示す図である。
【0040】
【0041】
【図23】結膜充血予測方法を示すフローチャートである。
【0042】
【図24】結膜浮腫予測方法を示すフローチャートである。
【0043】
【図25】涙丘浮腫予測方法を示すフローチャートである。
【0044】
【図26】瞼発赤予測方法を示すフローチャートである。
【0045】
【図27】瞼浮腫予測方法を示すフローチャートである。
【0046】
【図28】甲状腺眼症に関する臨床活動性スコアを予測する方法を示す図である。
【0047】
【図29】甲状腺眼症に関する臨床活動性スコアを連続的にモニタリングする方法、及び、前者に基づいて、病院訪問を推奨する方法を示す図である。
【発明を実施するための形態】
【0048】
本願の上述した目的、特徴、及び利点は、添付図面を参照する以下の詳細な説明からより明らかとなる。さらに、本願には様々な変更が加えられてよく、本願の様々な実施形態が実践されてよい。したがって、以下では、添付図面を参照しながら具体的な実施形態が詳細に説明される。
【0049】
明細書全体を通して、同じ参照番号は、原理的に同じ要素を示している。さらに、実施形態の図面に示されている同じ範囲内の同じ機能を有する要素は、同じ参照番号を使用して説明されており、冗長な説明は省略される。
【0050】
本願の性質及び趣旨を不明瞭にすると判断された場合、本願に関するよく知られた機能又は構成の詳細な説明は省略される。さらに、本明細書全体を通して、第１、第２等の用語は、或る要素を別のものから区別するためにのみ使用されている。
【0051】
さらに、以下の説明において要素を挙げるために使用されている「モジュール」及び「部」という用語は、本明細書を書く容易さのみを考慮して、使用されている。それらの用語は、異なる特別な意味又は機能を有するものとしては意図されておらず、それゆえ、個々に又は交換可能に使用され得る。
【0052】
以下の実施形態において、単数形で使用されている表現は、それがその文脈において明らかに異なる意味を有するのでない限り、複数形の表現も包含する。
【0053】
以下の実施形態において、「含む」、「有する」等のような用語は、明細書において開示される特徴又は要素の存在を示すことを意図されており、１又は複数の他の特徴又は要素が追加され得る可能性を排除することは意図されていないことが理解されるべきである。
【0054】
図面中の要素のサイズは、説明の便宜上、誇張又は縮小されている場合がある。例えば、図面に示されている各要素の任意のサイズ及び厚さは、説明の便宜上示されており、本開示はこれに限定されるものではない。
【0055】
特定の実施形態が別様に実現される場合において、説明された順序から外れて、特定のプロセスが行われてよい。例えば、連続して説明された２つのプロセスは、実質的に同時に実行されてもよいし、又は、説明された順序とは反対の順序で進められてもよい。
【0056】
以下の実施形態において、要素が互いに接続されていると言及される場合、それらの要素は、互いに直接接続されているか、又は、それらの要素は、それらの間に介在する要素を伴って、互いに間接的に接続されている。例えば、本明細書において、要素が互いに電気的に接続されていると言及される場合、それらの要素は、互いに直接電気的に接続されているか、又は、それらの要素は、それらの間に介在する要素を伴って、間接的に電気的に接続されている。
【0057】
【0058】
本願の１つの態様によれば、甲状腺眼症を予測するコンピュータ実装方法が開示される。上記方法は、結膜充血予測モデル、結膜浮腫予測モデル、涙丘浮腫予測モデル、瞼発赤予測モデル、及び瞼浮腫予測モデルを準備する段階、対象の顔画像を取得する段階、前記顔画像から第１の処理済み画像及び第２の処理済み画像を取得する段階、ここで、前記第１の処理済み画像は、前記第２の処理済み画像とは異なる、前記第１の処理済み画像を、前記結膜充血予測モデル、前記結膜浮腫予測モデル、及び涙丘浮腫予測モデルに適用することによって、結膜充血、結膜浮腫、及び涙丘浮腫のそれぞれに関する予測値を取得する段階、前記第２の処理済み画像を前記瞼発赤予測モデル及び前記瞼浮腫予測モデルに適用することによって瞼発赤及び瞼浮腫のそれぞれに関する予測値を取得する段階、及び、前記結膜充血、前記結膜浮腫、前記涙丘浮腫、前記瞼発赤、及び前記瞼浮腫に関する前記予測値に基づいて、前記対象が甲状腺眼症を有する可能性を判定する段階を備える。ここで、前記第１の処理済み画像は、虹彩の輪郭の内側に対応する領域及び眼の輪郭の外側に対応する領域をマスキングされ、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記眼の輪郭を含む第１の領域に沿ってクロッピングされた画像であり、かつ、ここで、前記第２の処理済み画像は、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記第１の領域よりも広い第２の領域に沿ってクロッピングされた画像である。
【0059】
いくつかの実施形態において、前記眼に含まれる前記虹彩の前記輪郭に対応する前記ピクセルの位置情報及び前記眼の前記輪郭に対応する前記ピクセルの位置情報は、セグメンテーションモデルによって取得される。
【0060】
いくつかの実施形態において、前記第１の処理済み画像は、第１の処理済み左眼画像及び第１の処理済み右眼画像を含み、かつ、前記第２の処理済み画像は、第２の処理済み左眼画像及び第２の処理済み右眼画像を含む。
【0061】
いくつかの実施形態において、前記結膜充血予測モデルは、左眼結膜充血予測モデル及び右眼結膜充血予測モデルを含み、前記結膜浮腫予測モデルは、左眼結膜浮腫予測モデル及び右眼結膜浮腫予測モデルを含み、前記涙丘浮腫予測モデルは、左眼涙丘浮腫予測モデル及び右眼涙丘浮腫予測モデルを含み、前記瞼発赤予測モデルは、左眼瞼発赤予測モデル及び右眼瞼発赤予測モデルを含み、かつ、前記瞼浮腫予測モデルは、左眼瞼浮腫予測モデル及び右眼瞼浮腫予測モデルを含む。
【0062】
いくつかの実施形態において、前記結膜充血に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜充血予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼結膜充血予測モデルに入力することによって取得される結果に基づいて判定され、前記結膜浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を右眼結膜浮腫予測モデルに入力することによって取得される結果に基づいて判定され、前記涙丘浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼涙丘浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼涙丘浮腫予測モデルに入力することによって取得される結果に基づいて判定され、前記瞼発赤に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼発赤予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼発赤予測モデルに入力することによって取得される結果に基づいて判定され、かつ、前記瞼浮腫に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼浮腫予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼浮腫予測モデルに入力することによって取得される結果に基づいて判定される。
【0063】
いくつかの実施形態において、上記方法は、前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階、及び、前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階をさらに備える。
【0064】
いくつかの実施形態において、前記結膜充血に関する前記予測値は、前記結膜充血予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、前記結膜浮腫に関する前記予測値は、前記結膜浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、前記涙丘浮腫に関する前記予測値は、前記涙丘浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、前記瞼発赤に関する前記予測値は、前記瞼発赤予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、かつ、前記瞼浮腫に関する前記予測値は、前記瞼浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定される。
【0065】
いくつかの実施形態において、上記方法は、前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像をリサイズする段階、及び、前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像をリサイズする段階をさらに備える。
【0066】
【0067】
本願によれば、ユーザーの甲状腺眼症に関する臨床活動性スコア（ＣＡＳ）を予測するための、及び、ＣＡＳに基づいて、ユーザーが病院を訪問する必要性についてのガイダンスを提供するためのシステムが開示される。
【0068】
【0069】
１．システム全体
【0070】
［（１）システムのハードウェア構築］
【0071】
図１は、本願に記載の一実施形態による甲状腺眼症に関する臨床活動性スコアを予測するためのシステムを示す図である。
【0072】
図１を参照すると、システム１は、複数のユーザー端末１０及びサーバー２０を備える。
【0073】
以下、複数のユーザー端末１０及びサーバー２０を詳細に説明する。
【0074】
【0075】
［（２）ユーザー端末の機能］
【0076】
複数のユーザー端末１０は、様々なネットワークを介してサーバー２０に情報を送信し、サーバー２０から情報を受信する。
【0077】
複数のユーザー端末１０は、ユーザーの上瞼、下瞼、及び、上瞼及び下瞼によって外部に露出した眼球の画像（以下、眼画像と称される）を取得する。複数のユーザー端末１０は、取得された眼画像に対して必要な処理を実行してもよいし、又は、取得された眼画像又は処理済み眼画像をサーバー２０に送信してもよい。
【0078】
複数のユーザー端末１０は、サーバー２０から、サーバー２０によって処理された臨床活動性スコアについての予測結果を受信してよい。
【0079】
【0080】
［（３）サーバーの機能］
【0081】
サーバー２０は、様々なネットワークを介して複数のユーザー端末１０に情報を送信し、複数のユーザー端末１０から情報を受信する。
【0082】
サーバー２０は、複数のユーザー端末１０から眼画像を受信してよい。ここで、サーバー２０は、眼画像を処理してよい。代替的に、サーバー２０は、処理済み眼画像を受信してよい。
【0083】
サーバー２０は、処理済み眼画像に基づいて、ユーザーの甲状腺眼症に関する臨床活動性スコアについての予測結果を取得してよい。
【0084】
サーバー２０は、臨床活動性スコアについての予測結果を複数のユーザー端末１０に送信してよい。
【0085】
【0086】
［（４）システムのソフトウェア構築］
【0087】
システム１が動作するために、複数のソフトウェア構築が必要である。
【0088】
ユーザー端末１０及びサーバー２０間の通信を実行するために、複数のユーザー端末１０にターミナルソフトウェアがインストールされる必要があり、サーバー２０にサーバーソフトウェアがインストールされる必要がある。
【0089】
眼画像に必要な前処理を実行するために、様々な前処理アルゴリズムが使用されてよい。
【0090】
前処理済み眼画像に基づいて臨床活動性スコアを予測するための複数の学習モデルが使用されてよい。
【0091】
複数の前処理アルゴリズムは、ユーザー端末１０にインストールされたターミナルソフトウェアによって実行されてもよいし、又は、サーバー２０にインストールされたソフトウェアによって実行されてもよい。代替的に、複数の前処理アルゴリズムのうちのいくつかは、ユーザー端末１０によって実行されてよく、他は、サーバー２０によって実行されてよい。
【0092】
複数の学習モデルは、サーバー２０にインストールされたソフトウェアによって実行されてよい。代替的に、複数の学習モデルは、ユーザー端末１０にインストールされたターミナルソフトウェアによって実行されてよい。代替的に、複数の学習モデルのうちのいくつかは、ユーザー端末１０によって実行されてよく、他は、サーバー２０によって実行されてよい。
【0093】
［（５）ユーザー端末の要素］
【0094】
図２は、本願に記載のユーザー端末を示すブロック図である。
【0095】
図２を参照すると、本願に記載のユーザー端末１０は、出力部１１０、通信部１２０、メモリ１３０、カメラ１４０、及びコントローラ１５０を有する。
【0096】
出力部１１０は、コントローラ１５０の制御コマンドに従って、様々なタイプの情報を出力する。一実施形態によれば、出力部１１０は、ユーザーに対して情報を視覚的に出力するためのディスプレイ１１２を含んでよい。代替的に、図面には示していないが、ユーザーに対して情報を聴覚的に出力するためのスピーカ及びユーザーに対して情報を触覚的に出力するための振動モーターが含まれてよい。
【0097】
通信部１２０は、無線通信モジュール及び／又は優先通信モジュールを含んでよい。ここで、無線通信モジュールの例としては、Ｗｉ－Ｆｉ（登録商標）通信モジュール、セルラ通信モジュール等が挙げられ得る。
【0098】
メモリ１３０は、コントローラ１５０によって可読な実行可能コード、処理済み結果値、必要なデータ等を記憶する。メモリ１３０の例としては、ハードディスクドライブ（ＨＤＤ）、ソリッドステートディスク（ＳＳＤ）、シリコンディスクドライブ（ＳＤＤ）、ＲＯＭ、ＲＡＭ等が挙げられ得る。メモリ１３０は、上述したターミナルソフトウェアを記憶してよく、上述した様々な前処理アルゴリズム及び／又は学習モデルを実現するための実行可能コードを記憶してよい。さらに、メモリ１３０は、カメラ１４０を通じて取得された眼画像、前処理済み眼画像等を記憶してよい。
【0099】
カメラ１４０は、デジタルカメラであり、イメージセンサ及びイメージプロセッサを含んでよい。イメージセンサは、光学画像を電気信号に変換するためのデバイスであり、複数のフォトダイオードが組み込まれたチップとして提供されてよい。イメージセンサの例としては、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）等が挙げられ得る。一方で、イメージプロセッサは、捕捉された結果に対して画像処理を実行してよく、画像情報を生成してよい。
【0100】
コントローラ１５０は、少なくとも１つのプロセッサを含んでよい。ここで、プロセッサのそれぞれは、メモリ１３０に記憶された少なくとも１つの命令を実行することによって所定の動作を実行してよい。具体的には、コントローラ１５０は、ユーザー端末１０上で動作している、ターミナルソフトウェア、前処理アルゴリズム、及び／又は学習モデルに従って情報を処理してよい。一方で、コントローラ１５０は、ユーザー端末１０の動作全体を制御する。
【0101】
図面には示していないが、ユーザー端末１０は、ユーザー入力部を有してよい。ユーザー端末１０は、ユーザー入力部を通じて、ユーザーから、ユーザー端末１０の動作に必要な様々なタイプの情報を受信してよい。
【0102】
【0103】
［（６）サーバーの要素］
【0104】
図３は、本願に記載のサーバーを示すブロック図である。
【0105】
図３を参照すると、本願に記載のサーバー２０は、通信部２１０、メモリ２２０、及びコントローラ２３０を有する。
【0106】
通信部２１０は、無線通信モジュール及び／又は優先通信モジュールを含んでよい。ここで、無線通信モジュールの例としては、Ｗｉ－Ｆｉ通信モジュール、セルラ通信モジュール等が挙げられ得る。
【0107】
メモリ２２０は、コントローラ２３０によって可読な実行可能コード、処理済み結果値、必要なデータ等を記憶する。メモリ２２０の例としては、ハードディスクドライブ（ＨＤＤ）、ソリッドステートディスク（ＳＳＤ）、シリコンディスクドライブ（ＳＤＤ）、ＲＯＭ、ＲＡＭ等が挙げられ得る。メモリ２２０は、上述したサーバーソフトウェアを記憶してよく、上述した様々な前処理アルゴリズム及び／又は学習モデルを実現するための実行可能コードを記憶してよい。さらに、メモリ２２０は、ユーザー端末１０から受信された眼画像、前処理済み眼画像等を記憶してよい。
【0108】
コントローラ２３０は、少なくとも１つのプロセッサを含んでよい。ここで、プロセッサのそれぞれは、メモリ２２０に記憶された少なくとも１つの命令を実行することによって所定の動作を実行してよい。具体的には、コントローラ２３０は、サーバー２０上で動作している、サーバーソフトウェア、前処理アルゴリズム、及び／又は学習モデルに従って情報を処理してよい。一方で、コントローラ２３０は、サーバー２０の動作全体を制御する。
【0109】
【0110】
以下、本願に記載の技術をより明らかに且つ容易に理解するために、眼、眼球、及び、上瞼、下瞼、及び涙丘を含む眼球付近の組織を簡単に説明し、本明細書において使用される眼及び周辺部に関連する用語を定義する。
【0111】
【0112】
２．眼の構築及び用語の定義
【0113】
［（１）眼球及び周辺組織］
【0114】
図４は、カメラを使用して顔のピクチャが取得された場合、眼及び周辺組織がカメラによって捕捉されるように、外部に露出した眼及び周辺組織を示す図である。
【0115】
図４は、瞼（上瞼及び下瞼）、涙丘、及び、上瞼及び下瞼によって部分的に露出し且つ部分的に覆われた結膜及び角膜、及び涙丘を示している。
【0116】
一般に、眼又は眼球は、図４に示されているよりも大きい。しかしながら、眼球は、上瞼及び下瞼等の組織によって外部から保護されており、それゆえ、人が自身の眼を開いている場合であっても、眼球の一部のみが外部に露出する。
【0117】
【0118】
［（２）用語の定義］
【0119】
結膜、白目
【0120】
以下、結膜は、白目の位置に概ね対応し、そのため、結膜及び白目という用語は、交換可能に使用され得る。
【0121】
角膜、虹彩
【0122】
以下、角膜は、眼の虹彩の位置に概ね対応し、そのため、角膜及び虹彩という用語は、交換可能に使用され得る。一方で、本明細書において、「虹彩」という用語は、瞳孔領域を含む意味で使用される。
【0123】
瞼
【0124】
瞼は、眼球の前部を覆う、上側及び下側の２つの皮膚のひだである。瞼は、眼瞼（ｐａｌｐｅｂｒａｅ）とも呼ばれる。眼球の上方の瞼は、上瞼と呼ばれ、眼球の下方の瞼は、下瞼と呼ばれる。皮膚の外表面及び内表面は、結膜であり、それらの間に、瞼を動かす筋肉及び皮脂腺であるマイボーム腺を含む瞼板が存在し、そうして瞼の形状を維持している。瞼は眼球を保護し、同時に、まばたきによって涙で眼球をきれいにする、又は、角膜に光沢を与えかつ透明にする。
【0125】
眉
【0126】
眉は、眼の上方の骨稜に沿って弧状に生えた体毛を指す。
【0127】
睫毛
【0128】
睫毛は、上及び下瞼の縁部にある、長さが約１０ｍｍの体毛を指す。
【0129】
外部に露出した眼球
【0130】
以下、「外部に露出した眼球」とは、人が自身の眼を開いている場合に、上瞼、下瞼、及び涙丘によって覆われていない部分、すなわち、上瞼、下瞼、及び涙丘によって外部に露出した部分を意味する。例えば、図５に示されている点線の内側は、「外部に露出した眼球」と呼ばれる。
【0131】
眼の輪郭
【0132】
以下、「眼の輪郭」とは、人が自身の眼を開いている場合に、外部に露出した眼球及び涙丘領域の両方を含む部分の輪郭を意味する。すなわち、外部に露出した眼球及び涙丘の組み合わせである領域の輪郭は、「眼の輪郭」と呼ばれる。例えば、図６に示されている点線は、「眼の輪郭」と呼ばれる。
【0133】
外部に露出した角膜（外部に露出した虹彩）
【0134】
以下、「外部に露出した角膜」とは、人が自身の眼を開いている場合に、上瞼及び下瞼によって覆われていない角膜の部分、すなわち、上瞼及び下瞼によって外部に露出した角膜の部分を意味する。例えば、図７に示されている点線の内側は、「外部に露出した角膜」と呼ばれる。
【0135】
外部に露出した結膜（外部に露出した白目）
【0136】
以下、「外部に露出した結膜」とは、上瞼、下瞼、及び涙丘によって覆われていない結膜の部分、すなわち、人が自身の眼を開いている場合に、上瞼、下瞼、及び涙丘によって外部に露出した結膜の部分を意味する。例えば、図８に示されている点線の内側は、「外部に露出した結膜」と呼ばれる。
【0137】
【0138】
以下、本願に記載の画像前処理を実行するための様々な画像前処理アルゴリズムを説明する。
【0139】
【0140】
３．画像前処理アルゴリズム
【0141】
［（１）画像前処理の必要性］
【0142】
本願は、プロフェッショナルな医学的診断デバイスではなく、一般の人々が使用できるデジタルカメラによって取得された画像を使用することによって甲状腺眼症に関する臨床活動性スコアを予測するための学習モデルを提供することを対象とする。
【0143】
このために、甲状腺眼症に関する臨床活動性スコアを予測することにおいて、眼球及び眼球付近の組織に関して一般の人々によって容易に取得できる画像が使用される必要がある。例えば、画像分析は、医療機関において使用される特殊な医療デバイスによって取得されるデジタル画像ではなく、一般の人々によって容易に使用できるデジタルカメラ又はスマートフォン内に構築されたカメラによって取得されたデジタル画像を使用する。
【0144】
この環境下では、ユーザーによって取得されたデジタル画像を標準化することが困難であり、ユーザーによって取得されたデジタル画像をより正確かつ迅速に認識するために、取得された画像の様々なタイプの前処理が必要とされる。
【0145】
【0146】
［（２）第１のクロッピング（両眼画像クロッピング）］
【0147】
甲状腺眼症に関する臨床活動性スコアを予測することにおいて使用される画像は、左眼、右眼、及び周辺領域を含む必要がある。
【0148】
しかしながら、より迅速かつ正確な分析のために、画像分析において、顔全体の画像（以下、顔画像と称される）ではなく、複数の不必要な領域（例えば、鼻、口、額等に対応する領域）を含まない両眼及び周辺領域のみの画像（以下、両眼画像と称される）を使用することがより効率的である。
【0149】
したがって、ユーザーによって取得された顔全体の画像（以下、顔画像と称される）から両眼（左眼／右眼）（以下、両眼画像と称される）を含む画像を切り出す必要がある。
【0150】
例えば、図９の（ａ）に示されているユーザーによって取得された顔画像から、図９の（ｂ）に示されているような両眼画像（点線で印された矩形の内側領域）が取得されてよい。以下、このようにユーザーによって取得された顔画像から両眼画像を取得することは、両眼画像クロッピング又は第１のクロッピングと呼ばれる。
【0151】
【0152】
［（３）追加のクロッピング方法を適用する必要性］
【0153】
本願の発明者らは、上で説明した第１のクロッピング済み画像（両眼画像）を使用して、後で説明する予測モデルを通じて、甲状腺眼症に関連する５つの項目に関するスコアを予測するためのシステムを構築したが、予測の正確度が低いことがわかった。
【0154】
本願の発明者らは、両眼画像が分析に不必要な多くの領域を含んでいたことから、予測の正確度が低いと判断し、より精緻なクロッピング済み画像を取得する必要があると判断した。すなわち、左眼及び右眼が１つの画像に含まれている、図１０の（ａ）に示されているような両眼画像を使用することよりも、図１０の（ｂ）に示されているような左眼画像及び右眼画像を別個に取得して使用することが効率的であると判断された。
【0155】
【0156】
［（４）異なるクロッピング方法を適用する必要性］
【0157】
甲状腺眼症に関する臨床活動性スコアを評価するための７項目のうちの５つは、医師によるユーザーの眼球及び周辺領域の肉眼での観察によって評価される項目であることが説明された。その５つの項目とは、以下の通りである。
【0158】
１）結膜充血（結膜の発赤）、
【0159】
２）結膜浮腫（結膜の腫れ）、
【0160】
３）涙丘浮腫（涙丘の腫れ）、
【0161】
４）瞼の発赤、及び
【0162】
５）瞼浮腫（瞼の腫れ）。
【0163】
以下、後で説明されるように、甲状腺眼症に関する臨床活動性スコアを評価するために、本願において提供される独立予測モデルは、５つの症状に適用されている。
【0164】
５つの独立予測モデルを通じて異なるクロッピング方法が適用された画像を使用する方法が存在し得るが、本願の発明者らは、結膜及び涙丘を解析するための画像クロッピング方法及び瞼を解析するための画像クロッピング方法を適用することによって十分な予測正確度を得ることができると判断した。
【0165】
【0166】
［（５）第２のクロッピング（眼輪郭に基づいたクロッピング）］
【0167】
以下、眼輪郭に基づいたクロッピング（第２のクロッピング）を説明する。第２のクロッピングは、右眼画像及び左眼画像の両方に適用されてよいが、便宜上、右眼クロッピング済み画像を取得する場合に基づいて説明が与えられる。
【0168】
第２のクロッピングの目的
【0169】
第２のクロッピングは、後で説明される予測モデルの中でも、結膜の発赤があるか否かを予測するためのモデル、結膜の腫れがあるか否かを予測するためのモデル、及び涙丘の腫れがあるか否かを予測するためのモデルの入力画像として使用されることになる画像を生成することである。第２のクロッピングは、角膜及び涙丘についての情報が最大化されており、他の領域についての情報が最小化されている画像を生成することである。
【0170】
入力画像
【0171】
第２のクロッピングは、顔画像又は両眼画像（第１のクロッピング済み画像）に適用されてよい。
【0172】
眼の輪郭の検出
【0173】
一実施形態によれば、右眼の輪郭を検出するために、上瞼及び眼球間の境界に及び下瞼及び眼球間の境界に対応するピクセルが検出されてよい。さらに、右眼の輪郭を検出するために上瞼及び下瞼が交わる点に対応するピクセルが検出されてよい。さらに、右眼の輪郭を検出するために、涙丘に対応するピクセルが検出されてよい。
【0174】
別の実施形態によれば、眼の輪郭の最も外側の部分に対応する輪郭ピクセルは、眼輪郭セグメンテーションモデルを使用して検出されてよく、これは後で説明する。
【0175】
輪郭ピクセルのＸ及びＹ座標の最大値及び最小値の判定
【0176】
検出されたピクセルを判定するとき、Ｘ座標値の最大値Ｘｍａｘ、Ｘ座標値の最小値Ｘｍｉｎ、Ｙ座標値の最大値Ｙｍａｘ、及びＹ座標値の最小値Ｙｍｉｎが判定される。
【0177】
図１１は、輪郭ピクセルのＸｍａｘ、Ｘｍｉｎ、Ｙｍａｘ、及びＹｍｉｎを示す図である。
【0178】
クロッピング領域判定
【0179】
輪郭ピクセルの判定されたＸｍａｘ、Ｘｍｉｎ、Ｙｍａｘ、及びＹｍｉｎに基づいて、頂点として以下の４点を有する矩形が生成され、矩形の内側に含まれる領域がクロッピング領域と判定される。
【0180】
（Ｘｍｉｎ，Ｙｍａｘ）、
【0181】
（Ｘｍａｘ，Ｙｍａｘ）、
【0182】
（Ｘｍａｘ，Ｙｍｉｎ）、及び
【0183】
（Ｘｍｉｎ，Ｙｍｉｎ）
【0184】
図１２は、判定された第２のクロッピング領域を示す図である。
【0185】
上で説明したように、第２のクロッピング領域は、左眼についても同じ方式で判定されてよい。
【0186】
第２のクロッピング済み画像の生成
【0187】
第２のクロッピング領域が判定され、判定された第２のクロッピング領域に基づいて、図１３に示されているように、上で説明したように判定された第２のクロッピング領域の内側に含まれているピクセルを使用することによって、顔画像又は両眼画像から第２のクロッピング済み画像（第２の右眼クロッピング済み画像及び第２の左眼クロッピング済み画像）が生成されてよい。
【0188】
【0189】
以下、「第２の右眼クロッピング済み画像」という用語及び「右眼輪郭クロッピング済み画像」という用語は、交換可能に使用され得、「第２の左眼クロッピング済み画像」という用語及び「左眼輪郭クロッピング済み画像」という用語は、交換可能に使用され得る。
【0190】
さらに、以下での具体的な言及無しに、「第２のクロッピング済み画像（又は輪郭クロッピング済み画像）」という用語は、第２の右眼クロッピング済み画像又は第２の左眼クロッピング済み画像のいずれかを意味し得る、又は、文脈に応じて両方を意味し得る。
【0191】
第２のクロッピング済み画像は、「眼の輪郭」に関してクロッピングされた画像を意味する。「眼の輪郭」の上部、下部、最右、及び最左のピクセルがクロッピング領域に含まれるようにクロッピング済み画像が生成されるのであれば、上述した方法とは異なる方法で生成されたクロッピング済み画像は、第２のクロッピング済み画像（輪郭クロッピング済み画像）と称される。
【0192】
一方で、本願におけるＸ座標値及びＹ座標値は、参照点に対する相対位置に応じて異なるサイズ及び方向を有し、そのため、最大値及び最小値という用語は、絶対的な意味ではなく、相対的な意味で理解されるべきである。すなわち、座標系の原点の位置が変化すると、上述したＸ座標値の最大値は、原点が変化した座標系におけるＸ座標値の最小値であってよく、Ｘ座標値の最小値は、原点が変化した座標系におけるＸ座標値の最大値であってよい。これは、Ｙ座標値にも等しく適用され得る。
【0193】
【0194】
［（６）第３のクロッピング（瞼包含クロッピング）］
【0195】
以下、瞼包含クロッピング（第３のクロッピング）を説明する。第３のクロッピングは、右眼画像及び左眼画像の両方に適用されてよいが、便宜上、右眼クロッピング済み画像を取得する場合に基づいて説明が与えられる。
【0196】
第３のクロッピングの目的
【0197】
第３のクロッピングは、後で説明する予測モデルの中でも、瞼の発赤があるか否かを予測するためのモデル及び瞼の腫れがあるか否かを予測するためのモデルの入力画像として使用されることになる画像を生成することである。第３のクロッピングは、画像における瞼についての情報を含むようになっている。ここで、瞼に対応するピクセルのみでクロッピングするのではなく、眼の輪郭に含まれている全てのピクセルが含まれるようにクロッピング済み画像を生成することがより良い場合がある。これは、なぜなら、瞼発赤があるか否かを予測するために、カラー値に関して推論及び判定が必要であり、虹彩及び／又は白目に対応するピクセルのカラー値が使用され得るからである。
【0198】
入力画像
【0199】
第３のクロッピングは、顔画像又は両眼画像（第１のクロッピング済み画像）に適用されてよい。
【0200】
眼の輪郭の検出、及び輪郭ピクセルのＸ及びＹ座標の最大値及び最小値の判定
【0201】
一実施形態によれば、第２のクロッピングにおいて説明した眼輪郭検出方法がそのまま適用されてもよいし、又は、眼の輪郭の最も外側の部分に対応する輪郭ピクセルが検出されてもよい。検出されたピクセルを判定するとき、Ｘ座標値の最大値Ｘｍａｘ、Ｘ座標値の最小値Ｘｍｉｎ、Ｙ座標値の最大値Ｙｍａｘ、及びＹ座標値の最小値Ｙｍｉｎが判定されてよい。
【0202】
クロッピング領域判定＃１
【0203】
判定されたＹｍａｘ値及びＹｍｉｎ値に基づいて、所定の基準に従って判定された第１の拡張値ＹｅがＹｍａｘ値に加算され、所定の基準に従って判定された第２の拡張値Ｙｅ'は、Ｙｍｉｎ値から減算され、第３のクロッピング領域は、第２のクロッピング領域を判定する上述した方法と同様に判定されてよい。
【0204】
すなわち、頂点として以下の４点を有する矩形が生成され、矩形の内側に含まれる領域が第３のクロッピング領域として判定される。
【0205】
（Ｘｍｉｎ，Ｙｍａｘ＋Ｙｅ）
【0206】
（Ｘｍａｘ，Ｙｍａｘ＋Ｙｅ）、
【0207】
（Ｘｍａｘ，Ｙｍｉｎ－Ｙｅ'）、及び
【0208】
（Ｘｍｉｎ，Ｙｍｉｎ－Ｙｅ'）
【0209】
このように第３のクロッピング領域が判定される場合、第２のクロッピング領域と比較して、上瞼及び下瞼に対応するより多くのピクセルが画像に含まれてよい。
【0210】
ここで、第１の拡張値及び第２の拡張値は、同じであってよいが、必ずしも同じではない。
【0211】
一方で、第１の拡張値を判定するための基準及び第２の拡張値を判定するための基準は、同じであってよいが、必ずしも同じではない。
【0212】
第１の拡張値及び第２の拡張値は、第２のクロッピング領域のサイズに基づいて判定されてよい。例えば、第１の拡張値及び第２の拡張値は、第２のクロッピング領域の水平方向長さに拡張パーセンテージを掛けることによって計算された長さに対応する数のピクセルを使用して判定されてよい。別の例として、第１の拡張値及び第２の拡張値は、第２のクロッピング領域の垂直方向長さに拡張パーセンテージを掛けることによって計算された長さに対応する数のピクセルを使用して判定されてよい。
【0213】
ここで、具体的なパーセンテージは、以下：１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、５０、５１、５２、５３、５４、５５、５６、５７、５８、５９、及び６０％のいずれか１つであってよい。
【0214】
第１の拡張値の判定において使用される拡張パーセンテージ及び第２の拡張値の判定に使用される拡張パーセンテージは、同じであってよいが、必ずしも同ではなく、互いに異なってよい。
【0215】
第２のクロッピング領域の水平方向長さが第１の拡張値の判定に使用される場合、水平方向長さは、第２の拡張値の判定においても使用されてよいが、これに限定されるものではなく、第２の拡張値の判定においては垂直方向長さが使用されてよい。
【0216】
クロッピング領域判定＃２
【0217】
判定されたＸｍａｘ値及びＸｍｉｎ値に基づいて、所定の基準に従って第１の幅拡張値Ｘｗｅが判定され、所定の基準に従って第２の幅拡張値Ｘｗｅが判定される。
【0218】
判定されたＹｍａｘ値及びＹｍｉｎ値に基づいて、所定の基準に従って第１の高さ拡張値Ｙｈｅが判定され、所定の基準に従って第２の高さ拡張値Ｙｈｅが判定される。
【0219】
第１の幅拡張値ＸｗｅをＸｍａｘ値に加算することによって取得された値、Ｘｍｉｎ値から第２の幅拡張値Ｘｗｅ'を減算することによって取得された値、第１の高さ拡張値ＹｈｅをＹｍａｘ値に加算することによって取得された値、及びＹｍｉｎ値から第２の高さ拡張値Ｙｈｅ'を減算することによって取得された値に基づいて、第２のクロッピング領域を判定する上述した方法と同様に、第３のクロッピング領域が判定されてよい。
【0220】
すなわち、頂点として以下の４点を有する矩形が生成され、矩形の内側に含まれる領域が第３のクロッピング領域として判定される。
【0221】
（Ｘｍｉｎ－Ｘｗｅ'，Ｙｍａｘ＋Ｙｈｅ）、
【0222】
（Ｘｍａｘ＋Ｘｗｅ，Ｙｍａｘ＋Ｙｈｅ）、
【0223】
（Ｘｍａｘ＋Ｘｗｅ，Ｙｍｉｎ－Ｙｈｅ'）、及び
【0224】
（Ｘｍｉｎ－Ｘｗｅ'，Ｙｍｉｎ－Ｙｈｅ'）
【0225】
このように第３のクロッピング領域が判定される場合、第２のクロッピング領域と比較して、上瞼及び下瞼に対応するより多くのピクセルが画像に含まれてよい。
【0226】
さらに、クロッピング済み画像は、左右方向において、方法「クロッピング領域判定＃１」によってクロッピングされた画像より多くのピクセルを含む。結果として、クロッピング済み画像は、上瞼及び下瞼についてのより多くの情報を含む。上瞼及び下瞼の幅は、外部に露出した眼球の幅よりも通常は広いので、垂直方向拡張及び水平方向拡張を通じて、上瞼及び下瞼に対応するより多くのピクセルが含まれる。
【0227】
ここで、第１の幅拡張値及び第２の幅拡張値は、同じであってよいが、必ずしも同じではない。
【0228】
一方で、第１の高さ拡張値を判定するための基準及び第２の高さ拡張値を判定するための基準は、同じであってよいが、必ずしも同じではない。
【0229】
第１の幅拡張値及び第２の幅拡張値は、第２のクロッピング領域のサイズに基づいて判定されてよい。例えば、第１の幅拡張値及び第２の幅拡張値は、第２のクロッピング領域の水平方向長さに拡張パーセンテージを掛けることによって計算された長さに対応する数のピクセルを使用して判定されてよい。別の例として、第１の幅拡張値及び第２の幅拡張値は、第２のクロッピング領域の垂直方向長さに拡張パーセンテージを掛けることによって計算された長さに対応する数のピクセルを使用して判定されてよい。
【0230】
ここで、具体的なパーセンテージは、以下：１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、５０、５１、５２、５３、５４、５５、５６、５７、５８、５９、及び６０％のいずれか１つであってよい。
【0231】
第１の幅拡張値の判定において使用される拡張パーセンテージ及び第２の幅拡張値の判定に使用される拡張パーセンテージは、同じであってよいが、必ずしも同ではなく、互いに異なってよい。
【0232】
第２のクロッピング領域の水平方向長さが第１の幅拡張値の判定に使用される場合、水平方向長さは、第２の拡張値の判定においても使用されてよいが、これに限定されるものではなく、第２の幅拡張値の判定においては垂直方向長さが使用されてよい。
【0233】
一方で、第１の高さ拡張値及び第２の高さ拡張値を判定する方法は、第１の拡張値及び第２の拡張値を判定する上述した方法と同じであり、そのため、詳細な説明は省略される。
【0234】
第３のクロッピング済み画像の生成
【0235】
第３のクロッピング領域が判定され、判定された第３のクロッピング領域に基づいて、図１４に示されているように、上で説明したように判定された第３のクロッピング領域の内側に含まれているピクセルを使用することによって、顔画像又は両眼画像から第３のクロッピング済み画像（第３の右眼クロッピング済み画像及び第３の左眼クロッピング済み画像）が生成されてよい。
【0236】
参考のために、図１４の（ａ）は、上述した方法「クロッピング領域判定＃１」によってクロッピングされた第３のクロッピング済み画像を示しており、図１４の（ｂ）は、上述した方法「クロッピング領域判定＃２」によってクロッピングされた第３のクロッピング済み画像を示している。
【0237】
【0238】
以下、「第３の右眼クロッピング済み画像」という用語及び「右瞼包含クロッピング済み画像」という用語は、交換可能に使用され得、「第３の左眼クロッピング済み画像」という用語及び「左瞼包含クロッピング済み画像」という用語は、交換可能に使用され得る。
【0239】
さらに、以下での具体的な言及無しに、「第３のクロッピング済み画像（又は瞼包含クロッピング済み画像）」という用語は、第３の右眼クロッピング済み画像又は第３の左眼クロッピング済み画像のいずれかを意味し得る、又は、文脈に応じて両方を意味し得る。
【0240】
第３のクロッピング済み画像とは、画像が瞼についての情報を含むように生成された画像を意味する。上述した方法とは異なる方法で生成されたクロッピング済み画像は、瞼に対応するピクセルが追加で含まれるようにクロッピング領域の境界が判定されるのであれば、第３のクロッピング済み画像（瞼包含クロッピング済み画像）と称される。
【0241】
【0242】
［（７）虹彩セグメンテーション］
【0243】
以下、虹彩セグメンテーションを説明する。
【0244】
虹彩セグメンテーションは、眼球及び周辺部の画像から虹彩又は角膜に対応する領域を区別するモデルによって実行されてよい。
【0245】
虹彩セグメンテーションを使用することによって、図１５に示されているように、画像内の虹彩に対応するピクセルが推論されてよい。
【0246】
虹彩セグメンテーションを使用することによって、図１６に示されているように、画像内の外部に露出した虹彩に対応するピクセルが推論されてよい。
【0247】
虹彩セグメンテーションのためのモデルは、入力データとして顔画像を受信してよく、顔画像内の虹彩に対応するピクセルであることが推論されたピクセルに関して「１」を出力してよく、他のピクセルに関して「０」を出力してよい。
【0248】
虹彩セグメンテーションモデルは、顔画像、及び、顔画像内の虹彩に対応するピクセルのピクセル値が「１」であり、残りのピクセルのピクセル値が「０」である画像を含むトレーニングデータを使用して、トレーニングされてよい。
【0249】
顔画像が入力データとして受信され、虹彩セグメンテーションを受けることが説明されたが、虹彩セグメンテーションは、入力データとして上述した両眼画像を使用して実行されてもよい。
【0250】
【0251】
［（８）眼輪郭セグメンテーション］
【0252】
以下、眼輪郭セグメンテーションを説明する。
【0253】
眼輪郭セグメンテーションは、眼球及び周辺部の画像から眼の輪郭の内側に対応する領域を区別するモデルによって実行されてよい。
【0254】
眼輪郭セグメンテーションを使用することによって、図１７に示されているように、画像内の眼の輪郭の内側に対応するピクセルが推論されてよい。
【0255】
眼輪郭セグメンテーションのためのモデルは、入力データとして顔画像を受信してよく、顔画像内の眼の輪郭の内側に対応するピクセルであることが推論されたピクセルに関して「１」を出力してよく、他のピクセルに関して「０」を出力してよい。
【0256】
眼輪郭セグメンテーションモデルは、顔画像、及び、顔画像内の眼の輪郭の内側に対応するピクセルのピクセル値が「１」であり、残りのピクセルのピクセル値が「０」である画像を含むトレーニングデータを使用して、トレーニングされてよい。
【0257】
【0258】
［（９）マスキング］
【0259】
第１のマスキング
【0260】
本願において、第１のマスキングとは、画像において、結膜及び涙丘に対応するピクセルを除外した領域に対応するピクセル値に反映された情報が除去されることを意味する。
【0261】
ピクセル値に反映された情報を除去することは、その情報が除去されたピクセルのピクセル値を予め定められた特定の値に変更することを意味する。例えば、その情報が除去されることになるピクセルの全てのピクセル値は、０に変更されてよい。
【0262】
第１のマスキングは、甲状腺眼症に関する臨床活動性スコアを予測するための上述した予測モデルの中でも、結膜及び涙丘に関連する症状を予測するためのモデルに画像が入力される前に実行されてよい。
【0263】
第２のマスキング
【0264】
本願において、第２のマスキングとは、画像において、外部に露出した角膜（外部に露出した虹彩）に対応する領域に対応するピクセル値に反映された情報が除去されることを意味する。
【0265】
第２のマスキングは、甲状腺眼症に関する臨床活動性スコアを予測するための上述した予測モデルの中でも、瞼（上瞼及び下瞼）に関連する症状を予測するためのモデルに画像が入力される前に実行されてよい。
【0266】
第１のマスキングの方法
【0267】
第１のマスキングは、顔画像、第１のクロッピング済み画像（両眼画像）、及び第２のクロッピング済み画像（輪郭クロッピング済み画像）の群から選択された１つである第１のマスキングターゲット画像に対して実行されてよい。
【0268】
第１のマスキングターゲット画像、眼輪郭セグメンテーション結果、及び虹彩セグメンテーション結果に基づいて、第１のマスキング画像が生成されてよい。例えば、第１のマスキングターゲット画像から、眼の輪郭の内側に対応するピクセルを除外したピクセルの値、及び虹彩（又は、外部に露出した虹彩）に対応するピクセルのピクセル値が除去されてよい。
【0269】
図１８は、第１のマスキング画像の例を示す図である。
【0270】
第２のマスキングの方法
【0271】
第２のマスキングは、顔画像、第１のクロッピング済み画像（両眼画像）、及び第３のクロッピング済み画像（瞼包含クロッピング済み画像）の群から選択された１つである第２のマスキングターゲット画像に対して実行されてよい。
【0272】
第２のマスキングターゲット画像、眼輪郭セグメンテーション結果、及び虹彩セグメンテーション結果に基づいて、第２のマスキング画像が生成されてよい。例えば、第２のマスキングターゲット画像から、眼の輪郭の内側に対応する、及び、同時に虹彩（又は、外部に露出した虹彩）に対応するピクセルのピクセル値が除去されてよい。
【0273】
図１９は、第２のマスキング画像の一例を示す図である。
【0274】
第１のマスキングの別の実施形態
【0275】
上記説明によれば、第１のマスキングが、結膜及び涙丘に対応するピクセルを除外した領域に対応するピクセルの全てのピクセル値を除去することを説明したが、第１のマスキングは、必要な場合、角膜（虹彩）に対応するピクセルのピクセル値を除去しなくてもよい。
【0276】
しかしながら、虹彩の色は、人種によって変わり得るので、虹彩に対応するピクセルのピクセル値を除去することは、より迅速な学習及びより高い正確度のために有利である。
【0277】
第２のマスキングのオプション
【0278】
上記説明によれば、第２のマスキングは、虹彩に対応するピクセルの全てのピクセル値を除去することを説明したが、第２のマスキングが全く実行されないことも許容される。
【0279】
しかしながら、虹彩の色は、人種によって変わり得るので、第２のマスキングを実行することによって虹彩に対応するピクセルのピクセル値を除去することは、より迅速な学習及びより高い正確度のために有利である。
【0280】
【0281】
［（１０）左右反転］
【0282】
左右反転の必要性
【0283】
本願において提供される、甲状腺眼症に関する臨床活動性スコアを予測する方法によれば、両眼画像を使用する代わりに、左眼及び右眼のクロッピング済み画像が使用される。
【0284】
一方で、眼の輪郭は非対称である。例えば、右眼に関して、涙丘は右眼の左端にあるが、上瞼及び下瞼が自然に交わる点は右眼の右端にある。
【0285】
したがって、より迅速な学習及びより正確な予測にために、右眼に関してトレーニングされた学習モデル及び左眼に関してトレーニングされた学習モデルを区別して使用することがより有効である。
【0286】
しかしながら、左眼及び右眼間の対称軸に基づいて左眼が右眼になるように回転された場合、右眼及び左眼の形状特徴は互いに類似する。
【0287】
したがって、本願によれば、右眼又は左眼のいずれかが左右反転せずに使用され、他方の眼が左右反転して使用され、そのため、１つの学習モデルのみを使用できる。
【0288】
左右反転方法
【0289】
画像を左右反転すること（画像の左右を変換すること）は、反転されることになる画像を縦断し、画像を左右に半分に分割する左右参照線（Ｘ＝ａ）によって、第１のピクセル値が画像におけるピクセル（ａ＋△，Ｙ）に対応し、第２のピクセル値がピクセル（ａ－△，Ｙ）に対応する場合、（ａ＋△，Ｙ）のピクセル値が第１のピクセル値から第２のピクセル値に変更され、（ａ－△，Ｙ）のピクセル値が第２のピクセル値から第１のピクセル値に変更されることを意味する。
【0290】
左右反転ターゲット画像
【0291】
左眼の画像又は右眼の画像のいずれかを左右反転することが十分である。左眼画像及び右眼画像のいずれの一方が左右反転されるかは、後で説明する予測モデルがトレーニングされる場合に左眼画像及び右眼画像のいずれの一方に基づくかに従って、判定される。
【0292】
一方で、左右反転は、マスキング及びクロッピング（第２のクロッピング又は第３のクロッピング）の両方が実行された画像に対して実行されてもよいし、又は、左右反転は、クロッピングだけは実行されているが、マスキングは実行されていない画像に対して実行されてもよい。
【0293】
【0294】
左右反転のオプション
【0295】
しかしながら、上で説明したように、左右反転は、左眼のための予測モデル及び右眼のための予測モデルを統合するように適用される。したがって、左眼のための予測モデル及び右眼のための予測モデルが異なるモデルとして実現される場合、左右反転前処理は省略されてよい。
【0296】
【0297】
［（１１）リサイズ］
【0298】
リサイズの必要性
【0299】
上で説明したように、画像が眼の輪郭に関してクロッピングされ、クロッピング済み画像が使用される場合、眼のサイズは人によって変わり、クロッピング済み画像は、人によってサイズが変わる。
【0300】
一方で、左眼画像及び右眼画像が独立してクロッピングされて取得される場合、左眼及び右眼間のサイズの差に起因して、同じ人物の左眼クロッピング済み画像及び右眼クロッピング済み画像が互いに異なる。
【0301】
この理由のために、後で説明する予測モデルに眼画像が入力される前に、それぞれの予測モデルに対応する標準サイズに眼画像をリサイズする必要がある。
【0302】
各予測モデルに関する標準サイズ
【0303】
第１の予測モデル～第５の予測モデルに対応する標準サイズは、それぞれ互いに異なってよい。
【0304】
入力画像として第２のクロッピング済み画像を使用する予測モデルに対応する標準サイズは、同じであってよい。
【0305】
入力画像として第３のクロッピング済み画像を使用する予測モデルに対応する標準サイズは、同じであってよい。
【0306】
入力画像として第２のクロッピング済み画像を使用する予測モデルに対応する標準サイズは、入力画像として第３のクロッピング済み画像を使用する予測モデルに対応する標準サイズとは異なってよい。
【0307】
代替的に、第１の予測モデル～第５の予測モデルに対応する標準サイズは、それぞれ同じであってよい。
【0308】
リサイズ方法
【0309】
リサイズターゲット画像のサイズは、標準サイズに合わせて調整される。
【0310】
リサイズターゲット画像の幅又は高さが、標準サイズの幅又は高さよりも大きい場合、リサイズターゲット画像の幅又は高さを減少させてよい。
【0311】
リサイズターゲット画像の幅又は高さが、標準サイズの幅又は高さよりも小さい場合、リサイズターゲット画像の幅又は高さを増加させてよい。
【0312】
リサイズにおいて、リサイズ前の画像のアスペクト比は、リサイズ後の画像のアスペクト比とは異なってよい。
【0313】
【0314】
４．予測モデル
【0315】
［（１）第１の予測モデル］
【0316】
第１の予測モデルの目的及び動作
【0317】
第１の予測モデルは、結膜充血があるか否かを予測するためのモデルである。
【0318】
第１の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された結膜が充血している確率値を出力してよい。
【0319】
第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルを含む場合、第１の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された結膜が充血している確率値を出力してよく、第１の右眼予測モデルは、右眼画像を受信してよく、右眼画像に捕捉された結膜が充血している確率値を出力してよい。
【0320】
第１の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第１の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された結膜が充血している確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された結膜が充血している確率値を出力してよい。
【0321】
眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。
【0322】
例えば、眼画像は、第２のクロッピングに従って前処理が実行された画像であってよい。
【0323】
別の例として、眼画像は、第２のクロッピング及びリサイズを含む前処理が実行された画像であってよい。
【0324】
また別の例として、眼画像は、第２のクロッピング、第１のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0325】
またさらに別の例として、眼画像は、第２のクロッピング、第１のマスキング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。
【0326】
本明細書において、第１の予測モデルは、結膜充血予測モデルと呼ばれ得る。
【0327】
第１の予測モデルのトレーニング
【0328】
第１の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。トレーニングデータセットは、眼画像、及び、眼画像に捕捉された結膜充血に関する評価値を含んでよい。眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。例えば、眼画像は、第２のクロッピング、第１のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0329】
第１の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。
【0330】
人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。
【0331】
次に、準備された複数のトレーニングデータセットに含まれている眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用してトレーニングが実行される。
【0332】
第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルを含む場合、第１の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値を含んでよく、第１の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第１の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値を含んでよく、第１の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値を含んでよい。
【0333】
第１の予測モデルを二元化せず、むしろ第１の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値を含んでもよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値を含んでもよく、又は、左右反転が実行された右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値を含んでよい。
【0334】
一方で、第１の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに結膜充血があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。
【0335】
例えば、第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルを含む場合、第１の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値を含んでよく、第１の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値を含んでよい。
【0336】
第１の予測モデルを二元化せず、むしろ第１の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値；左右反転が実行された右眼画像、及び、右眼画像に捕捉された結膜充血に関する評価値；及び、左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された結膜充血に関する評価値を含んでよい。
【0337】
【0338】
［（２）第２の予測モデル］
【0339】
第２の予測モデルの目的及び動作
【0340】
第２の予測モデルは、結膜浮腫があるか否かを予測するためのモデルである。
【0341】
第２の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された結膜浮腫の存在の確率値を出力してよい。
【0342】
第２の予測モデルが第２の左眼予測モデル及び第２の右眼予測モデルを含む場合、第２の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された結膜浮腫の存在の確率値を出力してよく、第２の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された結膜浮腫の存在の確率値を出力してよい。
【0343】
第２の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第２の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された結膜浮腫の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された結膜浮腫の存在の確率値を出力してよい。
【0344】
眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。
【0345】
例えば、眼画像は、第２のクロッピングに従って前処理が実行された画像であってよい。
【0346】
別の例として、眼画像は、第２のクロッピング及びリサイズを含む前処理が実行された画像であってよい。
【0347】
また別の例として、眼画像は、第２のクロッピング、第１のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0348】
またさらに別の例として、眼画像は、第２のクロッピング、第１のマスキング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。
【0349】
本明細書において、第２の予測モデルは、結膜浮腫予測モデルと呼ばれ得る。
【0350】
第２の予測モデルのトレーニング
【0351】
第２の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。トレーニングデータセットは、眼画像、及び、眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでよい。眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。例えば、眼画像は、第２のクロッピング、第１のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0352】
第２の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。
【0353】
人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。
【0354】
次に、準備された複数のトレーニングデータセットに含まれている眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用してトレーニングが実行される。
【0355】
第２の予測モデルが第２の左眼予測モデル及び第２の右眼予測モデルを含む場合、第２の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでよく、第２の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第２の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた右眼画像、及び、右眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでよく、第２の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた左眼画像、及び、左眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでよい。
【0356】
第２の予測モデルを二元化せず、むしろ第２の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでもよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでもよく、又は、左右反転が実行された右眼画像、及び、右眼画像に捕捉された結膜浮腫の存在に関する評価値を含んでよい。
【0357】
一方で、第２の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに結膜浮腫があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。
【0358】
例えば、第２の予測モデルが第２の左眼予測モデル及び第２の右眼予測モデルを含む場合、第２の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された結膜浮腫に関する評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に捕捉された結膜浮腫に関する評価値を含んでよく、第２の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜浮腫に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された結膜浮腫に関する評価値を含んでよい。
【0359】
第２の予測モデルを二元化せず、むしろ第２の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された結膜浮腫に関する評価値；左右反転が実行された右眼画像、及び、右眼画像に捕捉された結膜浮腫に関する評価値；及び、左眼画像、及び、左眼画像に捕捉された結膜浮腫に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された結膜浮腫に関する評価値を含んでよい。
【0360】
【0361】
［（３）第３の予測モデル］
【0362】
第３の予測モデルの目的及び動作
【0363】
第３の予測モデルは、涙丘浮腫があるか否かを予測するためのモデルである。
【0364】
第３の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された涙丘浮腫の存在の確率値を出力してよい。
【0365】
第３の予測モデルが第３の左眼予測モデル及び第３の右眼予測モデルを含む場合、第３の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された涙丘浮腫の存在の確率値を出力してよく、第３の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された涙丘浮腫の存在の確率値を出力してよい。
【0366】
第３の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第３の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された涙丘浮腫の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された涙丘浮腫の存在の確率値を出力してよい。
【0367】
眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。
【0368】
例えば、眼画像は、第２のクロッピングに従って前処理が実行された画像であってよい。
【0369】
別の例として、眼画像は、第２のクロッピング及びリサイズを含む前処理が実行された画像であってよい。
【0370】
また別の例として、眼画像は、第２のクロッピング、第１のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0371】
またさらに別の例として、眼画像は、第２のクロッピング、第１のマスキング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。
【0372】
本明細書において、第３の予測モデルは、涙丘浮腫予測モデルと呼ばれ得る。
【0373】
第３の予測モデルのトレーニング
【0374】
第３の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。トレーニングデータセットは、眼画像、及び、眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでよい。眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。例えば、眼画像は、第２のクロッピング、第１のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0375】
第３の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。
【0376】
人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。
【0377】
次に、準備された複数のトレーニングデータセットに含まれている眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用してトレーニングが実行される。
【0378】
第３の予測モデルが第３の左眼予測モデル及び第３の右眼予測モデルを含む場合、第３の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでよく、第３の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第３の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた右眼画像、及び、右眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでよく、第３の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた左眼画像、及び、左眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでよい。
【0379】
第３の予測モデルを二元化せず、むしろ第３の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでもよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでもよく、又は、左右反転が実行された右眼画像、及び、右眼画像に捕捉された涙丘浮腫の存在に関する評価値を含んでよい。
【0380】
一方で、第３の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに涙丘浮腫があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。
【0381】
例えば、第３の予測モデルが第３の左眼予測モデル及び第３の右眼予測モデルを含む場合、第３の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された涙丘浮腫に関する評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に捕捉された涙丘浮腫に関する評価値を含んでよく、第３の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された涙丘浮腫に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された涙丘浮腫に関する評価値を含んでよい。
【0382】
第３の予測モデルを二元化せず、むしろ第３の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された涙丘浮腫に関する評価値；左右反転が実行された右眼画像、及び、右眼画像に捕捉された涙丘浮腫に関する評価値；及び、左眼画像、及び、左眼画像に捕捉された涙丘浮腫に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された涙丘浮腫に関する評価値を含んでよい。
【0383】
【0384】
［（４）第４の予測モデル］
【0385】
第４の予測モデルの目的及び動作
【0386】
第４の予測モデルは、瞼発赤があるか否かを予測するためのモデルである。
【0387】
第４の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された瞼発赤の存在の確率値を出力してよい。
【0388】
第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルを含む場合、第４の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された瞼発赤の存在の確率値を出力してよく、第４の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された瞼発赤の存在の確率値を出力してよい。
【0389】
第４の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第４の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された瞼発赤の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された瞼発赤の存在の確率値を出力してよい。
【0390】
眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。
【0391】
例えば、眼画像は、第３のクロッピングに従った前処理が実行された画像であってよい。
【0392】
別の例として、眼画像は、第３のクロッピング及びリサイズを含む前処理が実行された画像であってよい。
【0393】
また別の例として、眼画像は、第３のクロッピング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。
【0394】
また別の例として、眼画像は、第３のクロッピング、第２のマスキング、及びリサイズを含む前処理を実行された画像であってよい。
【0395】
またさらに別の例として、眼画像は、第３のクロッピング、第２のマスキング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。
【0396】
本明細書において、第４の予測モデルは、瞼発赤予測モデルと呼ばれ得る。
【0397】
第４の予測モデルのトレーニング
【0398】
第４の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。トレーニングデータセットは、眼画像、及び、眼画像に捕捉された瞼発赤に関する評価値を含んでよい。眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。例えば、眼画像は、第２のクロッピング、第１のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0399】
第４の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。
【0400】
人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。
【0401】
次に、準備された複数のトレーニングデータセットに含まれている眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用してトレーニングが実行される。
【0402】
第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルを含む場合、第４の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値を含んでよく、第４の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第４の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値を含んでよく、第４の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値を含んでよい。
【0403】
第４の予測モデルを二元化せず、むしろ第４の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値を含んでもよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値を含んでもよく、又は、左右反転が実行された右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値を含んでよい。
【0404】
一方で、第４の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに瞼発赤があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。
【0405】
例えば、第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルを含む場合、第４の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値を含んでよく、第４の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値を含んでよい。
【0406】
第４の予測モデルを二元化せず、むしろ第４の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値；左右反転が実行された右眼画像、及び、右眼画像に捕捉された瞼発赤に関する評価値；及び、左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された瞼発赤に関する評価値を含んでよい。
【0407】
［（５）第５の予測モデル］
【0408】
第５の予測モデルの目的及び動作
【0409】
第５の予測モデルは、瞼浮腫があるか否かを予測するためのモデルである。
【0410】
第５の予測モデルは、入力データとして眼画像を受信してよく、入力された眼画像に捕捉された瞼浮腫の存在の確率値を出力してよい。
【0411】
第５の予測モデルが第５の左眼予測モデル及び第５の右眼予測モデルを含む場合、第５の左眼予測モデルは、左眼画像を受信して、左眼画像に捕捉された瞼浮腫の存在の確率値を出力してよく、第５の右眼予測モデルは、右眼画像を受信して、右眼画像に捕捉された瞼浮腫の存在の確率値を出力してよい。
【0412】
第５の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、第５の予測モデルは、右眼画像又は左眼画像のいずれかを受信して、入力画像に捕捉された瞼浮腫の存在の確率値を出力してよく、他方の画像を受信して、入力画像に捕捉された瞼浮腫の存在の確率値を出力してよい。
【0413】
眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。
【0414】
例えば、眼画像は、第３のクロッピングに従った前処理が実行された画像であってよい。
【0415】
別の例として、眼画像は、第３のクロッピング及びリサイズを含む前処理が実行された画像であってよい。
【0416】
また別の例として、眼画像は、第３のクロッピング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。
【0417】
また別の例として、眼画像は、第３のクロッピング、第２のマスキング、及びリサイズを含む前処理を実行された画像であってよい。
【0418】
またさらに別の例として、眼画像は、第３のクロッピング、第２のマスキング、左右反転、及びリサイズを含む前処理が実行された画像であってよい。
【0419】
本明細書において、第５の予測モデルは、瞼浮腫予測モデルと呼ばれ得る。
【0420】
第５の予測モデルのトレーニング
【0421】
第５の予測モデルをトレーニングするために、複数のトレーニングデータセットが準備されてよい。トレーニングデータセットは、眼画像、及び、眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでよい。眼画像は、上述した前処理アルゴリズムによって前処理された画像であってよい。例えば、眼画像は、第３のクロッピング、第２のマスキング、及びリサイズを含む前処理が実行された画像であってよい。
【0422】
第５の予測モデルをトレーニングするために、人工知能モデルが準備されてよい。
【0423】
人工知能モデルの例は、サポートベクターマシン（ＳＶＭ）、ランダムフォレスト、勾配ブースティングアルゴリズム、ＲｅｓＮｅｔ、ＶＧＧ、ＧｏｏｇＬｅＮｅｔ、モバイルネット、及びＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒであってよい。
【0424】
次に、準備された複数のトレーニングデータセットに含まれている眼画像が人工知能モデルに入力され、入力された眼画像のそれぞれに対応する評価値及び人工知能モデルから出力された出力値を使用してトレーニングが実行される。
【0425】
第５の予測モデルが第５の左眼予測モデル及び第５の右眼予測モデルを含む場合、第５の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでよく、第５の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでよい。一方で、トレーニングデータセットの数を増加させるために、第５の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた右眼画像、及び、右眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでよく、第５の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左右反転処理がされた左眼画像、及び、左眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでよい。
【0426】
第５の予測モデルを二元化せず、むしろ第５の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでもよいし、又は、左右反転が実行された左眼画像、及び、左眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでもよい。代替的に、複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでもよく、又は、左右反転が実行された右眼画像、及び、右眼画像に捕捉された瞼浮腫の存在に関する評価値を含んでよい。
【0427】
一方で、第５の予測モデルのトレーニングにおいて、右眼画像及び左眼画像を区別せずに瞼浮腫があるか否かを予測するために、全ての右眼画像、左右反転が実行された右眼画像、左眼画像、及び左右反転が実行された左眼画像が、１つのモデルをトレーニングするためのトレーニングデータとして使用される。
【0428】
例えば、第５の予測モデルが第５の左眼予測モデル及び第５の右眼予測モデルを含む場合、第５の左眼予測モデルをトレーニングするための複数のトレーニングデータセットは、左眼画像、及び、左眼画像に捕捉された瞼浮腫に関する評価値；及び、左右反転が実行された右眼画像、及び、右眼画像に捕捉された瞼浮腫に関する評価値を含んでよく、第５の右眼予測モデルをトレーニングするための複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼浮腫に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された瞼浮腫に関する評価値を含んでよい。
【0429】
第５の予測モデルを二元化せず、むしろ第５の予測モデルを１つのモデルとして実現することが意図されている場合、複数のトレーニングデータセットは、右眼画像、及び、右眼画像に捕捉された瞼浮腫に関する評価値；左右反転が実行された右眼画像、及び、右眼画像に捕捉された瞼浮腫に関する評価値；及び、左眼画像、及び、左眼画像に捕捉された瞼浮腫に関する評価値；及び、左右反転が実行された左眼画像、及び、左眼画像に捕捉された瞼浮腫に関する評価値を含んでよい。
【0430】
【0431】
予測モデルのトレーニングは、電子デバイスによって実行されてよく、特に、上で説明したサーバー２０によって実行されてよい。さらに、電子デバイス又はサーバー２０による予測モデルのトレーニングとは、入力データに関する予測モデルの出力値を、入力データでラベリングされた出力値と同様の値にすることを可能にする一連の処理を意味する。このために、電子デバイス又はサーバー２０は、予測モデルの出力値及びラベリングされた値間の差を使用して、予測モデルに含まれているノードのそれぞれの重み値を変化させてよい。ここで、電子デバイス又はサーバー２０は、様々なフィードバック機能を使用することによって、ノードのそれぞれの重み値の変化量を判定してよい。
【0432】
【0433】
以下、上述のシステム１を通じた以下の方法を説明する：眼画像を前処理すること及び前処理済み眼画像を上述した予測モデルに入力することによって甲状腺眼症に関する臨床活動性スコアに関連する各症状を予測する方法；各症状の予測結果に基づいて臨床活動性スコアを予測する方法；及び、臨床活動性スコアの予測結果をモニタリングするとともに、モニタリングされた結果に従って、ユーザーが病院を訪問して診察を受けるようにガイダンス又は推奨を与える方法。
【0434】
【0435】
５．結膜充血予測方法
【0436】
本願に記載の結膜充血予測方法は、サーバー２０によって実行されてよい。
【0437】
図２３は、結膜充血予測方法を示すフローチャートである。
【0438】
図２３を参照すると、サーバー２０は、ステップＳ１００にて顔画像を取得し、ステップＳ１１０にて取得された顔画像を前処理し、ステップＳ１２０にて前処理済み画像を上述した第１の予測モデル（結膜充血予測モデル）に入力し、ステップＳ１３０にて第１の予測モデルの出力値を取得する。
【0439】
顔画像の取得
【0440】
サーバー２０は、ステップＳ１００にて顔画像を取得する。サーバー２０は、ユーザー端末１０から顔画像を取得してよい。
【0441】
顔画像の前処理
【0442】
サーバー２０は、ステップＳ１１０にて取得された顔画像を前処理してよい。サーバー２０は、取得された顔画像に対して、上で説明された、虹彩セグメンテーション、眼輪郭セグメンテーション、マスキング、クロッピング、及びリサイズを実行してよい。
【0443】
セグメンテーション処理
【0444】
サーバー２０は、虹彩セグメンテーション及び眼輪郭セグメンテーションを実行してよく、サーバー２０は、したがって、取得された顔画像内の虹彩に対応するピクセル及び眼の輪郭の内側に対応するピクセルを判定してよい。サーバー２０は、虹彩に対応するピクセルの座標値及び眼の輪郭の内側に対応するピクセルの座標値を判定してよい。
【0445】
マスキング処理
【0446】
サーバー２０は、判定されたピクセルについての情報に基づいて、第１のマスキングを顔画像に対して実行してよい。第１のマスキング処理を通じて、サーバー２０は、顔画像に含まれているピクセルの中でも、外部に露出した結膜及び涙丘に対応するピクセルを除外したピクセルのピクセル値を除去してよい。したがって、左眼の結膜及び涙丘に、及び、右眼の結膜及び涙丘に対応するピクセルのピクセル値は、元のピクセル値のままであってよいが、左眼の虹彩（又は角膜）に、右眼の虹彩（又は角膜）に、左眼の輪郭の外部に、及び、右眼の輪郭の外部に対応するピクセルのピクセル値は、除去されるか又は他の値に変更されてよい。
【0447】
クロッピング処理
【0448】
サーバー２０は、マスキングされた顔画像をクロッピングしてよい。サーバー２０は、マスキングされた顔画像をクロッピングして、左眼クロッピング済み画像及び右眼クロッピング済み画像を生成してよい。結膜充血予測方法の実行において、サーバー２０は、上で説明したクロッピング方法の中でも、第２のクロッピング（眼輪郭クロッピング）方法を使用してよい。第２のクロッピング方法は既に詳細に説明したので、その詳細な説明はここでは省略する。
【0449】
リサイズ処理及び左右反転処理
【0450】
サーバー２０は、左眼クロッピング済み画像のサイズ及び右眼クロッピング済み画像のサイズを所定のサイズにリサイズしてよい。
【0451】
一方で、第１の予測モデルが二元化されておらず、むしろ１つのモデルとして実現されている場合、サーバー２０は、上で説明したように左眼クロッピング済み画像又は右眼クロッピング済み画像のいずれかを左右反転してよい。サーバー２０は、左眼クロッピング済み画像及び右眼クロッピング済み画像のうちの他方を左右反転しない。ここで、左眼画像及び右眼画像のいずれの一方が左右反転されるかを判定するための基準は、第１の予測モデルがトレーニングされる場合に適用される基準と同じであると判断された。すなわち、第１の予測モデルのトレーニングにおいて、左眼画像が反転され、右眼画像が反転されない場合、サーバー２０は、左眼画像を反転し、右眼画像を同様に反転しない。
【0452】
上で説明したように、第１の予測モデルの実現において、第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルに二元化されている場合、サーバー２０は、左右反転処理を実行しなくてよい。
【0453】
一方で、前処理が実行される場合、セグメンテーション、マスキング処理、クロッピング処理、リサイズ処理、及び左右反転処理が実行されることを説明したが、これらのタイプの前処理の順序は、本願において開示された結膜充血予測方法の目的を達成可能な範囲内で変更されてよい。
【0454】
前処理済み画像の入力
【0455】
サーバー２０は、ステップＳ１２０にて前処理済み画像を第１の予測モデルに入力してよい。
【0456】
第１の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、サーバー２０は、右眼前処理済み画像及び左右反転された左眼前処理済み画像を順に第１の予測モデルに入力する。
【0457】
第１の予測モデルの実現において、第１の予測モデルが第１の左眼予測モデル及び第１の右眼予測モデルに二元化されている場合、サーバー２０は、左眼前処理済み画像を第１の左眼予測モデルに入力し、右眼前処理済み画像を第１の右眼予測モデルに入力する。代替的に、サーバー２０は、左眼前処理済み画像を第１の左眼予測モデルに入力してよく、左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力してよく、右眼前処理済み画像を第１の右眼予測モデルに入力してよく、左右反転された右眼前処理済み画像を第１の左眼予測モデルに入力してよい。
【0458】
第１の予測モデルの実現において、第１の予測モデルが二元化されておらず、１つのモデルとして実現されており、同時に、左眼画像及び右眼画像を区別せずに結膜充血があるか否かを判定可能にトレーニングされている場合、サーバー２０は、左眼前処理済み画像及び右眼前処理済み画像を左右反転せずに第１の予測モデルに入力してよい。代替的に、サーバー２０は、左眼前処理済み画像、左右反転された左眼前処理済み画像、右眼前処理済み画像、及び左右反転された右眼前処理済み画像を第１の予測モデルに入力してよい。
【0459】
結膜充血予測結果
【0460】
サーバー２０は、ステップＳ１３０にて、第１の予測モデルからの結果値出力を出力してよい。結果値は、画像に捕捉された結膜充血に関して予測された確率値であってよい。所定の閾値に基づいて、予測された確率値が閾値に等しいか又はそれよりも高い場合、サーバー２０は、結膜が充血していると判定し、又は、予測された確率値が閾値未満である場合、サーバー２０は、結膜が充血していないと判定する。
【0461】
サーバー２０は、左眼に関する予測結果及び右眼に関する予測結果の両方を取得してよい。
【0462】
サーバー２０が左眼前処理済み画像を第１の左眼予測モデルに入力し、左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力し、右眼前処理済み画像を第１の右眼予測モデルに入力し、左右反転された右眼前処理済み画像を第１の左眼予測モデルに入力する場合、サーバー２０は、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果の両方を考慮した左眼に関する予測結果を取得してよい。ここで、サーバー２０は、右眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果及び左右反転された右眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果の両方を考慮した右眼に関する予測結果を取得してよい。
【0463】
例えば、サーバー２０は、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果の平均値が閾値に等しいか又はそれよりも高いか否かに基づいた左眼に関する予測結果を取得してよい。
【0464】
別の例として、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果、又は、左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果のいずれかの値が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。
【0465】
また別の例として、左眼前処理済み画像を第１の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の右眼予測モデルに入力することによって取得される結果の両方が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。
【0466】
サーバー２０が、左眼前処理済み画像、左右反転された左眼前処理済み画像、右眼前処理済み画像、及び左右反転された右眼前処理済み画像を二元化されていない第１の予測モデルに入力する場合、サーバー２０は、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の両方を考慮した左眼に関する予測結果を取得してよい。ここで、サーバー２０は、右眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された右眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の両方を考慮した右眼に関する予測結果を取得してよい。
【0467】
例えば、サーバー２０は、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の平均値が閾値に等しいか又はそれよりも高いか否かに基づいた左眼に関する予測結果を取得してよい。
【0468】
別の例として、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果、又は、左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果のいずれかの値が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。
【0469】
また別の例として、左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第１の予測モデルに入力することによって取得される結果の両方が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の結膜が充血していると予測してよい。
【0470】
上述した方法は、右眼の結膜充血があるか否かの判定にも同様に適用されてよい。
【0471】
【0472】
６．結膜浮腫予測方法
【0473】
本願に記載の結膜浮腫予測方法は、サーバー２０によって実行されてよい。
【0474】
図２４は、結膜浮腫予測方法を示すフローチャートである。
【0475】
図２４を参照すると、サーバー２０は、ステップＳ２００にて顔画像を取得し、ステップＳ２１０にて取得された顔画像を前処理し、ステップＳ２２０にて前処理済み画像を上述した第２の予測モデル（結膜浮腫予測モデル）に入力し、ステップＳ２３０にて第２の予測モデルの出力値を取得する。
【0476】
この結膜浮腫予測方法は、第１の予測モデルの代わりに第２の予測モデルが使用され、最終的に取得される結果値が、結膜浮腫があるか否かに関する予測値であることを除き、結膜充血予測方法と同じ又はこれに非常に類似しており、この結膜浮腫予測方法の詳細な説明は省略する。
【0477】
【0478】
７．涙丘浮腫予測方法
【0479】
本願に記載の涙丘浮腫予測方法は、サーバー２０によって実行されてよい。
【0480】
図２５は、涙丘浮腫予測方法を示すフローチャートである。
【0481】
図２５を参照すると、サーバー２０は、ステップＳ３００にて顔画像を取得し、ステップＳ３１０にて取得された顔画像を前処理し、ステップＳ３２０にて前処理済み画像を上述した第３の予測モデル（涙丘浮腫予測モデル）に入力し、ステップＳ３３０にて第３の予測モデルの出力値を取得する。
【0482】
この涙丘浮腫予測方法は、第１の予測モデルの代わりに第３の予測モデルが使用されることを除き、結膜充血予測方法と同じ又はこれに非常に類似しており、この涙丘浮腫予測方法の詳細な説明は省略する。
【0483】
【0484】
上で説明したように、結膜充血予測方法、結膜浮腫予測方法、及び涙丘浮腫予測方法は、同じ画像前処理方法を使用するが、前処理済み画像が入力される予測モデルだけは互いに異なる。したがって、上で説明した画像前処理の後、画像は、異なる予測モデルに入力されてよい。
【0485】
しかしながら、涙丘浮腫予測方法が、結膜充血及び結膜浮腫予測方法と同じ画像前処理方法を使用することを説明したが、いくつかの場合において、涙丘浮腫予測方法は、異なるやり方で前処理された画像を使用してよい。例えば、画像が涙丘及び虹彩の一部を含むようにクロッピングされた前処理済み画像が使用されてよい。代替的に、画像が虹彩を含まないが涙丘を含むようにクロッピングされた前処理済み画像が使用されてよい。
【0486】
【0487】
８．瞼発赤予測方法
【0488】
本願に記載の瞼発赤予測方法は、サーバー２０によって実行されてよい。
【0489】
図２６は、瞼発赤予測方法を示すフローチャートである。
【0490】
図２６を参照すると、サーバー２０は、ステップＳ４００にて顔画像を取得し、ステップＳ４１０にて取得された顔画像を前処理し、ステップＳ４２０にて前処理済み画像を上述した第４の予測モデル（瞼発赤予測モデル）に入力し、ステップＳ４３０にて第４の予測モデルの出力値を取得する。
【0491】
顔画像の取得
【0492】
サーバー２０は、ステップＳ４００にて顔画像を取得する。サーバー２０は、ユーザー端末１０から顔画像を取得してよい。
【0493】
顔画像の前処理
【0494】
サーバー２０は、ステップＳ４１０にて取得された顔画像を前処理してよい。サーバー２０は、取得された顔画像に対して、上で説明された、虹彩セグメンテーション、眼輪郭セグメンテーション、マスキング、クロッピング、及びリサイズを実行してよい。
【0495】
セグメンテーション処理
【0496】
サーバー２０は、虹彩セグメンテーション及び眼輪郭セグメンテーションを実行してよく、サーバー２０は、したがって、取得された顔画像内の虹彩に対応するピクセル及び眼の輪郭の内側に対応するピクセルを判定してよい。サーバー２０は、虹彩に対応するピクセルの座標値及び眼の輪郭の内側に対応するピクセルの座標値を判定してよい。
【0497】
しかしながら、瞼発赤予測方法の実行において、後で説明するように、マスキング処理が実行される場合には、虹彩セグメンテーションが実行される必要があるが、マスキング処理が実行されない場合には、虹彩セグメンテーションを実行しないことが許容される。
【0498】
マスキング処理
【0499】
サーバー２０は、判定されたピクセルについての情報に基づいて、第２のマスキングを顔画像に対して実行してよい。第２のマスキング処理を通じて、サーバー２０は、顔画像に含まれているピクセルの中でも、外部に露出した虹彩（角膜）に対応するピクセルのピクセル値を除去してよい。したがって、左眼の虹彩（角膜）及び右眼の虹彩（角膜）を除外した領域に対応するピクセルのピクセル値は、元のピクセル値のままでよいが、左眼の虹彩（又は角膜）及び右眼の虹彩（又は角膜）に対応するピクセルのピクセル値は、除去されるか又は他の値に変更されてよい。
【0500】
しかしながら、瞼発赤予測方法の実行において、虹彩（角膜）をマスキングする前処理を実行することが複数の態様では有利であるが、虹彩に対してマスキングを実行しないことは許容される。
【0501】
クロッピング処理
【0502】
サーバー２０は、マスキングされた顔画像をクロッピングしてよい。サーバー２０は、マスキングされた顔画像をクロッピングして、左眼クロッピング済み画像及び右眼クロッピング済み画像を生成してよい。瞼発赤予測方法の実行において、サーバー２０は、上で説明したクロッピング方法の中でも、第３のクロッピング（瞼包含クロッピング）方法を使用してよい。第３のクロッピング方法は既に詳細に説明したので、その詳細な説明はここでは省略する。
【0503】
リサイズ処理及び左右反転処理
【0504】
サーバー２０は、左眼クロッピング済み画像のサイズ及び右眼クロッピング済み画像のサイズを所定のサイズにリサイズしてよい。
【0505】
一方で、第４の予測モデルが二元化されておらず、むしろ１つのモデルとして実現されている場合、サーバー２０は、上で説明したように左眼クロッピング済み画像又は右眼クロッピング済み画像のいずれかを左右反転してよい。サーバー２０は、左眼クロッピング済み画像及び右眼クロッピング済み画像のうちの他方を左右反転しない。ここで、左眼画像及び右眼画像のいずれの一方が左右反転されるかを判定するための基準は、第４の予測モデルがトレーニングされる場合に適用される基準と同じであると判断された。すなわち、第４の予測モデルのトレーニングにおいて、左眼画像が反転され、右眼画像が反転されない場合、サーバー２０は、左眼画像を反転し、右眼画像を同様に反転しない。
【0506】
上で説明したように、第４の予測モデルの実現において、第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルに二元化されている場合、サーバー２０は、左右反転処理を実行しなくてよい。
【0507】
一方で、前処理が実行される場合、セグメンテーション、マスキング処理、クロッピング処理、リサイズ処理、及び左右反転処理が実行されることを説明したが、これらのタイプの前処理の順序は、本願において開示された瞼発赤予測方法の目的を達成可能な範囲内で変更されてよい。
【0508】
前処理済み画像の入力
【0509】
サーバー２０は、ステップＳ４２０にて前処理済み画像を第４の予測モデルに入力してよい。
【0510】
第４の予測モデルが二元化されておらず、１つのモデルとして実現されている場合、サーバー２０は、右眼前処理済み画像及び左右反転された左眼前処理済み画像を順に第４の予測モデルに入力する。
【0511】
第４の予測モデルの実現において、第４の予測モデルが第４の左眼予測モデル及び第４の右眼予測モデルに二元化されている場合、サーバー２０は、左眼前処理済み画像を第４の左眼予測モデルに入力し、右眼前処理済み画像を第４の右眼予測モデルに入力する。代替的に、サーバー２０は、左眼前処理済み画像を第４の左眼予測モデルに入力してよく、左右反転された左眼前処理済み画像を第４の右眼予測モデルに入力してよく、右眼前処理済み画像を第４の右眼予測モデルに入力してよく、左右反転された右眼前処理済み画像を第４の左眼予測モデルに入力してよい。
【0512】
第４の予測モデルの実現において、第４の予測モデルが二元化されておらず、１つのモデルとして実現されており、同時に、左眼画像及び右眼画像を区別せずに瞼の発赤があるか否かを判定可能にトレーニングされている場合、サーバー２０は、左眼前処理済み画像及び右眼前処理済み画像を左右反転せずに第４の予測モデルに入力してよい。代替的に、サーバー２０は、左眼前処理済み画像、左右反転された左眼前処理済み画像、右眼前処理済み画像、及び左右反転された右眼前処理済み画像を第４の予測モデルに入力してよい。
【0513】
【0514】
瞼発赤予測結果
【0515】
サーバー２０は、ステップＳ４３０にて、第４の予測モデルからの結果値出力を出力してよい。結果値は、画像に捕捉された瞼発赤に関して予測された確率値であってよい。所定の閾値に基づいて、予測された確率値が閾値に等しいか又はそれよりも高い場合、サーバー２０は、瞼発赤があると判定し、又は、予測された確率値が閾値未満である場合、サーバー２０は、瞼発赤がないと判定する。
【0516】
サーバー２０は、左眼に関する予測結果及び右眼に関する予測結果の両方を取得してよい。
【0517】
サーバー２０が左眼前処理済み画像を第４の左眼予測モデルに入力し、左右反転された左眼前処理済み画像を第４の右眼予測モデルに入力し、右眼前処理済み画像を第４の右眼予測モデルに入力し、左右反転された右眼前処理済み画像を第４の左眼予測モデルに入力する場合、サーバー２０は、左眼前処理済み画像を第４の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第４の右眼予測モデルに入力することによって取得される結果の両方を考慮した左眼に関する予測結果を取得してよい。ここで、サーバー２０は、右眼前処理済み画像を第４の右眼予測モデルに入力することによって取得される結果及び左右反転された右眼前処理済み画像を第４の左眼予測モデルに入力することによって取得される結果の両方を考慮した右眼に関する予測結果を取得してよい。
【0518】
例えば、サーバー２０は、左眼前処理済み画像を第４の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第４の右眼予測モデルに入力することによって取得される結果の平均値が閾値に等しいか又はそれよりも高いか否かに基づいた左眼に関する予測結果を取得してよい。
【0519】
別の例として、左眼前処理済み画像を第４の左眼予測モデルに入力することによって取得される結果、又は、左右反転された左眼前処理済み画像を第４の右眼予測モデルに入力することによって取得される結果のいずれかの値が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼に瞼発赤があると予測してよい。
【0520】
また別の例として、左眼前処理済み画像を第４の左眼予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第４の右眼予測モデルに入力することによって取得される結果の両方が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼に瞼発赤があると予測してよい。
【0521】
サーバー２０が、左眼前処理済み画像、左右反転された左眼前処理済み画像、右眼前処理済み画像、及び左右反転された右眼前処理済み画像を二元化されていない第４の予測モデルに入力する場合、サーバー２０は、左眼前処理済み画像を第４の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第４の予測モデルに入力することによって取得される結果の両方を考慮した左眼に関する予測結果を取得してよい。ここで、サーバー２０は、右眼前処理済み画像を第４の予測モデルに入力することによって取得される結果及び左右反転された右眼前処理済み画像を第４の予測モデルに入力することによって取得される結果の両方を考慮した右眼に関する予測結果を取得してよい。
【0522】
例えば、サーバー２０は、左眼前処理済み画像を第４の予測モデルに入力することによって取得される結果及び左右反転された左眼前処理済み画像を第４の予測モデルに入力することによって取得される結果の平均値が閾値に等しいか又はそれよりも高いか否かに基づいた左眼に関する予測結果を取得してよい。
【0523】
別の例として、左眼前処理済み画像を第４の予測モデルに入力することによって取得された結果、又は、左右反転された左眼前処理済み画像を第４の予測モデルに入力することによって取得された結果のいずれかの値が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の瞼発赤があると予測してよい。
【0524】
また別の例として、左眼前処理済み画像を第４の予測モデルに入力することによって取得された結果及び左右反転された左眼前処理済み画像を第４の予測モデルに入力することによって取得された結果の両方が上述した閾値に等しいか又はそれよりも高い場合、サーバー２０は、左眼の瞼発赤があると予測してよい。
【0525】
上述した方法は、右眼の瞼発赤があるか否かの判定に同様に適用されてよい。
【0526】
【0527】
９．瞼浮腫予測方法
【0528】
本願に記載の瞼浮腫予測方法は、サーバー２０によって実行されてよい。
【0529】
図２７は、瞼浮腫予測方法を示すフローチャートである。
【0530】
図２７を参照すると、サーバー２０は、ステップＳ５００にて顔画像を取得し、ステップＳ５１０にて取得された顔画像を前処理し、ステップＳ５２０にて前処理済み画像を上述した第５の予測モデル（瞼浮腫予測モデル）に入力し、ステップＳ５３０にて第５の予測モデルの出力値を取得する。
【0531】
瞼浮腫予測方法は、第４の予測モデルの代わりに第５の予測モデルが使用され、最終的に取得される結果値が、瞼浮腫があるか否かに関する予測値であることを除き、瞼発赤予測方法と同じ又はこれに非常に類似しており、そのため、瞼浮腫予測方法の詳細な説明を省略する。
【0532】
【0533】
上で説明したように、瞼発赤予測方法及び瞼浮腫予測方法は、同じ画像前処理方法を使用するが、前処理済み画像が入力される予測モデルだけは互いに異なる。したがって、上で説明した画像前処理の後、画像は、異なる予測モデルに入力されてよい。
【0534】
【0535】
１０．甲状腺眼症に関する臨床活動性スコアを予測する方法
【0536】
以下、本願に記載の、甲状腺眼症に関する臨床活動性スコアを予測する方法を説明する。
【0537】
図２８は、甲状腺眼症に関する臨床活動性スコアを予測する方法を示す図である。
【0538】
サーバー２０は、顔画像を取得してよい。
【0539】
サーバー２０は、１つの顔画像に対して２つの異なるタイプの前処理を実行する。第１の前処理（以下、第１の前処理）は、虹彩セグメンテーション、眼輪郭セグメンテーション、第１のマスキング、第２のクロッピング（眼輪郭クロッピング）、リサイズ、及び左右反転を含み、第２の前処理（以下、第２の前処理）は、虹彩セグメンテーション、眼輪郭セグメンテーション、第２のマスキング、第３のクロッピング（瞼包含クロッピング）、リサイズ、及び左右反転を含む。しかしながら、瞼発赤予測方法において説明されたように、虹彩セグメンテーション及び第２のマスキングは省略されてよい。
【0540】
サーバー２０は、取得された顔画像に対して第１の前処理を実行することによって第１の前処理済み画像を取得し、第１の前処理済み画像は、第１の左眼前処理済み画像及び第１の右眼前処理済み画像を含む。ここで、第１の左眼前処理済み画像又は第１の右眼前処理済み画像のいずれかは、左右反転処理がされた画像である。さらに、既に詳細に説明したように、第１の前処理済み画像は、第２のクロッピングを使用して取得された画像であり、第１の前処理済み画像内の瞼に対応するピクセルの数は最小化されており、外部に露出した結膜及び涙丘に対応するピクセルが含まれている。さらに、第１の前処理済み画像は、第１のマスキングを使用して取得された画像であり、虹彩（又は角膜）及び瞼（上瞼及び下瞼）に対応するピクセルのピクセル値は除去されているが、外部に露出した結膜及び涙丘に対応するピクセルのピクセル値は残っている。
【0541】
さらに、サーバー２０は、取得された顔画像に対して第２の前処理を実行することによって第２の前処理済み画像を取得し、第２の前処理済み画像は、第２の左眼前処理済み画像及び第２の右眼前処理済み画像を含む。ここで、第２の左眼前処理済み画像又は第２の右眼前処理済み画像のいずれかは、左右反転が実行された画像である。さらに、既に詳細に説明したように、第２の前処理済み画像は、第３のクロッピングを使用することによって取得された画像であるので、第２の前処理済み画像は、瞼に対応する十分なピクセルを含む。さらに、第２の前処理済み画像を取得するのに第２のマスキング方法が使用される場合、虹彩（又は角膜）及び瞼（上瞼及び下瞼）に対応するピクセルのピクセル値は除去されてよい。
【0542】
サーバー２０は、第１の前処理済み画像（第１の左眼前処理済み画像及び第１の右眼前処理済み画像）を第１の予測モデルに順に入力する。サーバー２０は、第１の左眼前処理済み画像に関する第１の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の結膜充血があるか否かを判定する。さらに、サーバー２０は、第１の右眼前処理済み画像に関する第１の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の結膜充血があるか否かを判定する。
【0543】
サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両方の眼の結膜充血があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の結膜充血があると判定した場合、サーバー２０は、結膜充血があると最終的に判定する。
【0544】
次に、サーバー２０は、第１の前処理済み画像（第１の左眼前処理済み画像及び第１の右眼前処理済み画像）を第２の予測モデルに順に入力する。サーバー２０は、第１の左眼前処理済み画像に関する第２の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の結膜浮腫があるか否かを判定する。さらに、サーバー２０は、第１の右眼前処理済み画像に関する第２の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の結膜浮腫があるか否かを判定する。
【0545】
サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両方の眼の結膜浮腫があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の結膜浮腫があると判定した場合、サーバー２０は、結膜浮腫があると最終的に判定する。
【0546】
次に、サーバー２０は、第１の前処理済み画像（第１の左眼前処理済み画像及び第１の右眼前処理済み画像）を第３の予測モデルに順に入力する。サーバー２０は、第１の左眼前処理済み画像に関する第３の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の涙丘浮腫があるか否かを判定する。さらに、サーバー２０は、第１の右眼前処理済み画像に関する第３の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の涙丘浮腫があるか否かを判定する。
【0547】
サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両方の眼の涙丘浮腫があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の涙丘浮腫があると判定した場合、サーバー２０は、涙丘浮腫があると最終的に判定する。
【0548】
サーバー２０は、第２の前処理済み画像（第２の左眼前処理済み画像及び第２の右眼前処理済み画像）を第４の予測モデルに順に入力する。サーバー２０は、第２の左眼前処理済み画像に関する第４の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の瞼発赤があるか否かを判定する。さらに、サーバー２０は、第２の右眼前処理済み画像に関する第４の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の瞼発赤があるか否かを判定する。
【0549】
サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両方の眼の瞼発赤があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の瞼発赤があると判定した場合、サーバー２０は、瞼発赤があると最終的に判定する。
【0550】
サーバー２０は、第２の前処理済み画像（第２の左眼前処理済み画像及び第２の右眼前処理済み画像）を第５の予測モデルに順に入力する。サーバー２０は、第２の左眼前処理済み画像に関する第５の予測モデルの結果値（確率値）を取得し、結果値に基づいて、左眼の瞼浮腫があるか否かを判定する。さらに、サーバー２０は、第２の右眼前処理済み画像に関する第５の予測モデルの結果値（確率値）を取得し、結果値に基づいて、右眼の瞼浮腫があるか否かを判定する。
【0551】
サーバー２０は、左眼に関する判定結果及び右眼に関する判定結果を合成し、両方の眼の瞼浮腫があるか否かを最終的に判定する。例えば、左眼又は右眼のいずれか又は両方の瞼浮腫があると判定した場合、サーバー２０は、瞼浮腫があると最終的に判定する。
【0552】
予測モデルを通じて症状があると判定された場合、サーバー２０は、その症状に関する所定のスコア（例えば、１のスコア）を与えてよい。サーバーは、５つの予測モデルに関する判定結果に従った５つのそれぞれの症状に関するスコアを与えてよく、全てのスコアを加算することによって取得された値も取得してよい。
【0553】
本願に記載の、甲状腺眼症に関する臨床活動性スコアを予測する上述した方法は、サーバー２０によって実行されると説明した。しかしながら、上述した方法は、ユーザー端末１０によって実行されてよい。代替的に、上述した方法の前処理は、ユーザー端末１０によって実行されてよく、症状のそれぞれに関する判定は、サーバーによって実行されてよい。すなわち、上述したステップは、ユーザー端末１０及びサーバー２０に適切に分散されて、実行されてよい。
【0554】
【0555】
１１．甲状腺眼症に関する臨床活動性スコアの連続的なモニタリングに基づく病院訪問推奨方法
【0556】
以下、甲状腺眼症に関する臨床活動性スコアを連続的にモニタリングする方法、及び、本願に記載のモニタリング方法に基づく病院訪問を推奨する方法を説明する。
【0557】
図２９は、甲状腺眼症に関する臨床活動性スコアを連続的にモニタリングする方法、及び、本願に記載のモニタリング方法に基づいて病院訪問を推奨するための方法を示す図である。
【0558】
ユーザー端末１０は、ステップＳ６００にて、ディスプレイ１１２を通じて、顔画像を取得するためのガイドを出力してよい。
【0559】
ユーザー端末１０は、ディスプレイ１１２を通じて、カメラ１４０を通じてリアルタイムに捕捉された画像（例えば、ユーザーの顔の画像）を出力してよい。ここで、ガイドが一緒に出力されてよい。
【0560】
ユーザー端末１０は、ステップＳ６１０にて、カメラ１４０を通じて、ユーザーの顔の顔画像を取得してよい。
【0561】
ユーザー端末１０は、ステップＳ６２０にて、取得された顔画像をサーバー２０に送信してよい。
【0562】
ユーザー端末１０は、ディスプレイを通じて、甲状腺眼症に関する臨床活動性スコアの判定において考慮される合計７項目の中でも、自発性の眼球後痛及び上方又は下方注視を試みたときの痛みに関するユーザー入力を受信するためのグラフィカルユーザーインタフェース（ＧＵＩ）を出力してよい。次に、ユーザー端末１０は、ステップＳ６３０にて、これら２つの項目に対するユーザーの応答を受信してよい。ユーザー端末１０は、ユーザーの入力応答に基づいて、項目のそれぞれに関する所定のスコア（例えば、１のスコア）を与えてよい。例えば、ユーザーが、ユーザーが自発性の眼球後痛を有するとの入力を提供する場合、ユーザー端末１０は、その項目に関して１のスコアを与えてよい。さらに、ユーザーが、ユーザーが上方又は下方注視を試みたときの痛みを有するとの入力を提供する場合、ユーザー端末１０は、その項目に関して１のスコアを与えてよい。
【0563】
ユーザー端末１０は、ステップＳ６４０にて、サーバー２０から、取得された顔画像に基づく甲状腺眼症に関する臨床活動性スコアの判定において考慮される合計７項目の中でも、結膜の発赤、結膜の腫れ、涙丘の腫れ、瞼の発赤、瞼の腫れに関する判定結果又はその合計スコアを受信してよい。
【0564】
ユーザー端末１０は、ステップＳ６５０にて、ユーザー入力によって判定されたスコア、及び、サーバー２０から受信されたスコア、又は、サーバーから受信された判定結果に基づいて判定されたスコアに基づいて、甲状腺眼症に関する最終的な臨床活動性スコアを計算してよい。
【0565】
ユーザー端末１０は、ユーザーの顔画像が取得された時刻、又は、甲状腺眼症に関する最終的な臨床活動性スコアの計算値が取得された時刻、又は、対応する時刻（以下、測定時刻と言及される、ｙｙ／ｍｍ／ｄｄ，ｈｈ：ｍｍ）を、計算された臨床活動性スコアと一緒にメモリ１３０に記憶してよい。代替的に、ユーザー端末１０は、上述した測定時刻及びこれに対応する臨床活動性スコアをサーバー２０に送信してよい。ここで、サーバー２０は、ステップＳ６６０にて、ユーザー端末１０又はユーザーに関連する測定時刻及び臨床活動性スコアを記憶してよい。
【0566】
一方で、測定時刻は、日付についての情報を含む。測定時刻は、日付についての情報及び時間及び／又は分についての情報の両方を含んでよい。代替的に測定時刻は、日付についての情報のみを含んでよく、時間又は分についての情報を含まなくてよい。
【0567】
ユーザー端末１０は、ステップＳ６７０にて、ディスプレイ１１２を通じて、計算された臨床活動性スコアに基づいて、ユーザーが病院を訪問して詳細な診察を受けることを推奨するための情報を出力してよい。
【0568】
計算された臨床活動性スコアが３のスコア未満である場合、ユーザー端末１０は、ディスプレイ１１２を通じて、甲状腺眼症のリスクが無いことを示す情報を出力してよい。
【0569】
計算された臨床活動性スコアが３又は４のスコアである場合、ユーザー端末１０は、選択によって、ディスプレイ１１２を通じて、甲状腺眼症のリスクが無いことを示す情報を出力してもよいし、又は、ディスプレイ１１２を通じて、ユーザーが病院を訪問して詳細な診察を受けることを推奨するための情報を出力してよい。
【0570】
計算された臨床活動性スコアが、５のスコアに等しいか又はそれよりも高い場合、ユーザー端末１０は、ユーザーが病院を訪問して詳細な診察を受けることを推奨するための情報を、ディスプレイ１１２を通じて出力してよい。
【0571】
計算された臨床活動性スコアが３又は４のスコアである場合、対応する時点の予め定められた期間（例えば、１週間）前に測定された臨床活動性スコアが判定され、対応する時間間隔中（以下、モニタリング時間間隔）に臨床活動性スコアが３又は４のスコアであったか否かが判定されてよい。ここで、３又は４のスコアがモニタリング時間間隔中に１又は複数回生じた場合、ユーザー端末１０は、ディスプレイ１１２を通じて、ユーザーが病院を訪問して詳細な診察を受けることを推奨するための情報を出力する。３又は４のスコアがモニタリング時間間隔中に決して生じなかった場合、ユーザー端末１０は、ディスプレイ１１２を通じて、甲状腺眼症のリスクが無いことを示す情報を出力する。
【0572】
計算された臨床活動性スコアが３のスコアに等しいか又はそれよりも高い場合、ユーザー端末１０は、過去の記録に関する追加の判定を行うことなく、ディスプレイ１１２を通じて、ユーザーが病院を訪問して詳細な診察を受けることを推奨するための情報を出力してよい。
【0573】
上記説明によれば、ユーザー端末１０を通じてユーザーに情報を出力することにおいて、ディスプレイ１１２を通じて視覚的に情報を出力することを一例として説明したが、いくつかの場合において、情報は、スピーカを通じて聴覚的に出力されてよい。
【0574】
さらに、甲状腺眼症に関する臨床活動性スコアを連続的にモニタリングする方法、及び、本願に記載のモニタリング方法に基づいて病院訪問を推奨する方法がユーザー端末１０によって実行されることを説明した。しかしながら、上述した方法のステップは、ユーザー端末１０及びサーバー２０に適切に分散されて実行されてよい。例えば、測定時刻及び臨床活動性スコアがサーバー２０に送信されて記憶された場合、３又は４のスコアがモニタリング時間間隔中に生じたか否かがサーバー２０によって判定されてよい。
【0575】
【0576】
１２．実験例＃１
【0577】
［（１）顔画像の準備］
【0578】
１，０２０の顔画像が準備された。顔画像のそれぞれが、左眼及び右眼の両方を含む画像であり、予め定められた撮影構造に従って取得された画像であった。
【0579】
［（２）顔画像のラベリング情報の確保］
【0580】
１，０２０の顔画像のそれぞれに関して、左眼に関する結膜充血、結膜浮腫、涙丘浮腫、瞼発赤、及び瞼浮腫に関する情報、及び、右眼に関する結膜充血、結膜浮腫、涙丘浮腫、瞼発赤、及び瞼浮腫に関する情報が確保され、そのデータがラベリングデータとして使用された。
【0581】
１，０２０のデータセットの中でも、トレーニングデータセット（トレーニングセット）として７１４のデータセットが使用され、バリデーションセットとして１０２のデータセットが使用され、テストセットとして２０４のデータセットが使用された。
【0582】
さらに、１，０２０のデータセットをトレーニングデータセット、バリデーションセット、及びテストセットに分割することは、３０回ランダムに実行され、したがって、第１のトレーニングデータセット群～第３０のトレーニングデータセット群が作成された。
【0583】
［（３）顔画像の第１の前処理済み画像及び第２の前処理済み画像の確保］
【0584】
１，０２０の顔画像のそれぞれに関して、左眼及び右眼のそれぞれに対して上述した方式で第２のクロッピング処理（眼輪郭クロッピング）が実行され、第１の左眼前処理済み画像及び第１の右眼前処理済み画像を確保した。ここで、第１の右眼前処理済み画像として左右反転画像が使用され、第１の左眼前処理済み画像として左右反転されていない画像が使用された。一方で、第１の左眼前処理済み画像及び第１の右眼前処理済み画像の両方は、上述した第１のマスキング処理が実行された画像であった。
【0585】
１，０２０の顔画像のそれぞれに関して、上述した方式で左眼及び右眼のそれぞれに対して、第３のクロッピング処理（瞼包含クロッピング）が実行されて、第２の左眼前処理済み画像及び第２の右眼前処理済み画像を確保した。ここで、第２の右眼前処理済み画像として左右反転画像が使用され、第２の左眼前処理済み画像として左右反転されていない画像が使用された。一方で、第２の左眼前処理済み画像及び第２の右眼前処理済み画像の両方が、マスキング処理が実行されていない画像であった。
【0586】
［（４）実験例＃１に従った第１～第５の予測モデルのトレーニング］
【0587】
確保された第１の前処理済み画像及びその確保された複数のラベリング情報、及び、確保された第２の前処理済み画像及びその確保された複数のラベリング情報が、第１～第５の予測モデルのトレーニングにおいて使用された。
【0588】
予測モデルとして、バックボーンアーキテクチャとして上述したＶｉＴを使用するモデルが使用され、予測モデルのそれぞれは、左眼予測モデル及び右眼予測モデルに分割されることなく１つのモデルとして統合した状態でトレーニングされた。
【0589】
［（５）予測モデルを使用することによる、各症状に関する予測結果の取得］
【0590】
トレーニングされた第１～第５の予測モデルのためのテストデータセットを使用して、予測結果が取得された。ここで、右眼画像として左右反転された前処理済み画像が使用され、左眼画像として左右反転されていない前処理済み画像が使用された。
【0591】
［（６）実験例＃１に従った瞼発赤予測モデルの正確度、感度、特異度、陽性適中率（ＰＰＶ）、及び陰性適中率（ＮＰＶ）］
【0592】
［表１］に示されている値は、上述した実験例＃１に従って３０のデータセット群のそれぞれに関してトレーニングされた第１～第５の予測モデルに関して測定された、正確度、感度、特異度、ＰＰＶ、及びＮＰＶの平均値である。
【0593】
【表1】
【0594】
【0595】
１３．実験例＃２
【0596】
［（１）顔画像の準備］
【0597】
実験例＃１において使用された顔画像が、そのまま使用された。
【0598】
［（２）顔画像のラベリング情報の確保］
【0599】
実験例＃１において使用された顔画像の複数のラベリング情報が、そのまま使用された。
【0600】
［（３）顔画像の第１の前処理済み画像及び第２の前処理済み画像の確保］
【0601】
１，０２０の顔画像のそれぞれに関して、左眼及び右眼のそれぞれに対して、上述した方式で第２のクロッピング処理（眼輪郭クロッピング）が実行されて、第１の前処理済み画像を確保した。実験例＃１とは異なり、左右反転されていない第１の左眼前処理済み画像、左右反転された第１の左眼前処理済み画像、左右反転されていない第１の右眼前処理済み画像、及び左右反転された第１の右眼前処理済み画像が確保され、トレーニングにおいて使用された。ここで、第１の左眼前処理済み画像及び第１の右眼前処理済み画像の両方は、上述した第１のマスキング処理が実行された画像であった。
【0602】
１，０２０の顔画像のそれぞれに関して、左眼及び右眼のそれぞれに対して、上述した方式で第３のクロッピング処理（瞼包含クロッピング）が実行されて、第２の前処理済み画像を確保した。実験例＃１とは異なり、左右反転されていない第２の左眼前処理済み画像、左右反転された第２の左眼前処理済み画像、左右反転されていない第２の右眼前処理済み画像、及び左右反転された第２の右眼前処理済み画像が確保され、トレーニングにおいて使用された。ここで、第２の左眼前処理済み画像及び第２の右眼前処理済み画像の両方が、マスキング処理が実行されていない画像であった。
【0603】
［（４）実験例＃２に従った第１～第５の予測モデルのトレーニング］
【0604】
確保された第１の前処理済み画像及びその確保された複数のラベリング情報、及び、確保された第２の前処理済み画像及びその確保された複数のラベリング情報が、第１～第５の予測モデルのトレーニングにおいて使用された。
【0605】
予測モデルとして、バックボーンアーキテクチャとして上述したＶｉＴを使用するモデルが使用され、予測モデルのそれぞれは、左眼予測モデル及び右眼予測モデルに二元化されてトレーニングされた。特に、左眼予測モデルがトレーニングされた場合には、左右反転されていない左眼前処理済み画像及び左右反転された右眼前処理済み画像が使用され、右眼予測モデルがトレーニングされた場合には、左右反転されていない右眼前処理済み画像及び左右反転された左眼前処理済み画像が使用された。
【0606】
［（５）予測モデルを使用することによる、各症状に関する予測結果の取得］
【0607】
トレーニングされた第１～第５の予測モデルのためのテストデータセットを使用して、予測結果が取得された。ここで、右眼に関する予測結果は、左右反転されていない右眼前処理済み画像を右眼予測モデルのそれぞれに入力することによって取得され、左眼に関する予測結果は、左右反転されていない左眼前処理済み画像を左眼予測モデルのそれぞれに入力することによって取得された。
【0608】
［（６）実験例＃２に従った瞼発赤予測モデルの正確度、感度、特異度、陽性適中率（ＰＰＶ）、及び陰性適中率（ＮＰＶ）］
【0609】
［表２］に示されている値は、上述した実験例＃２に従って３０のデータセット群のそれぞれに関してトレーニングされた第１～第５の予測モデルに関して測定された、正確度、感度、特異度、ＰＰＶ、及びＮＰＶの平均値である。
【0610】
【表2】
【0611】
【0612】
１：システム
【0613】
１０：ユーザー端末
【0614】
２０：サーバー
（他の可能な項目）
［項目１］
結膜充血予測モデル、結膜浮腫予測モデル、涙丘浮腫予測モデル、瞼発赤予測モデル、及び瞼浮腫予測モデルを準備する段階、
対象の顔画像を取得する段階、
前記顔画像から第１の処理済み画像及び第２の処理済み画像を取得する段階、ここで、前記第１の処理済み画像は、前記第２の処理済み画像とは異なる、
前記第１の処理済み画像を、前記結膜充血予測モデル、前記結膜浮腫予測モデル、及び涙丘浮腫予測モデルに適用することによって、結膜充血、結膜浮腫、及び涙丘浮腫のそれぞれに関する予測値を取得する段階、
前記第２の処理済み画像を前記瞼発赤予測モデル及び前記瞼浮腫予測モデルに適用することによって瞼発赤及び瞼浮腫のそれぞれに関する予測値を取得する段階、及び
前記結膜充血、前記結膜浮腫、前記涙丘浮腫、前記瞼発赤、及び前記瞼浮腫に関する前記予測値に基づいて、前記対象が甲状腺眼症を有する可能性を判定する段階
を備え、
ここで、前記第１の処理済み画像は、虹彩の輪郭の内側に対応する領域及び眼の輪郭の外側に対応する領域をマスキングされ、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記眼の輪郭を含む第１の領域に沿ってクロッピングされた画像であり、かつ、
ここで、前記第２の処理済み画像は、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記第１の領域よりも広い第２の領域に沿ってクロッピングされた画像である、
甲状腺眼症を予測するコンピュータ実装方法。
［項目２］
前記眼に含まれる前記虹彩の前記輪郭に対応する前記ピクセルの位置情報及び前記眼の前記輪郭に対応する前記ピクセルの位置情報は、セグメンテーションモデルによって取得される、項目１に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目３］
前記第１の処理済み画像は、第１の処理済み左眼画像及び第１の処理済み右眼画像を含み、かつ、
前記第２の処理済み画像は、第２の処理済み左眼画像及び第２の処理済み右眼画像を含む
項目１に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目４］
前記結膜充血予測モデルは、左眼結膜充血予測モデル及び右眼結膜充血予測モデルを含み、
前記結膜浮腫予測モデルは、左眼結膜浮腫予測モデル及び右眼結膜浮腫予測モデルを含み、
前記涙丘浮腫予測モデルは、左眼涙丘浮腫予測モデル及び右眼涙丘浮腫予測モデルを含み、
前記瞼発赤予測モデルは、左眼瞼発赤予測モデル及び右眼瞼発赤予測モデルを含み、かつ、
前記瞼浮腫予測モデルは、左眼瞼浮腫予測モデル及び右眼瞼浮腫予測モデルを含む
項目３に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目５］
前記結膜充血に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜充血予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼結膜充血予測モデルに入力することによって取得される結果に基づいて判定され、
前記結膜浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を右眼結膜浮腫予測モデルに入力することによって取得される結果に基づいて判定され、
前記涙丘浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼涙丘浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼涙丘浮腫予測モデルに入力することによって取得される結果に基づいて判定され、
前記瞼発赤に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼発赤予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼発赤予測モデルに入力することによって取得される結果に基づいて判定され、かつ、
前記瞼浮腫に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼浮腫予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼浮腫予測モデルに入力することによって取得される結果に基づいて判定される、
項目４に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目６］
前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階、及び
前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階
をさらに備える、項目３に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目７］
前記結膜充血に関する前記予測値は、前記結膜充血予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、
前記結膜浮腫に関する前記予測値は、前記結膜浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、
前記涙丘浮腫に関する前記予測値は、前記涙丘浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、
前記瞼発赤に関する前記予測値は、前記瞼発赤予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、かつ、
前記瞼浮腫に関する前記予測値は、前記瞼浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定される
項目６に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目８］
前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像をリサイズする段階、及び
前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像をリサイズする段階
をさらに備える、項目３に記載の甲状腺眼症を予測するコンピュータ実装方法。
（他の可能な項目）
［項目１］
結膜充血予測モデル、結膜浮腫予測モデル、涙丘浮腫予測モデル、瞼発赤予測モデル、及び瞼浮腫予測モデルを準備する段階、
対象の顔画像を取得する段階、
前記顔画像から第１の処理済み画像及び第２の処理済み画像を取得する段階、ここで、前記第１の処理済み画像は、前記第２の処理済み画像とは異なる、
前記第１の処理済み画像を、前記結膜充血予測モデル、前記結膜浮腫予測モデル、及び涙丘浮腫予測モデルに適用することによって、結膜充血、結膜浮腫、及び涙丘浮腫のそれぞれに関する予測値を取得する段階、
前記第２の処理済み画像を前記瞼発赤予測モデル及び前記瞼浮腫予測モデルに適用することによって瞼発赤及び瞼浮腫のそれぞれに関する予測値を取得する段階、及び
前記結膜充血、前記結膜浮腫、前記涙丘浮腫、前記瞼発赤、及び前記瞼浮腫に関する前記予測値に基づいて、前記対象が甲状腺眼症を有する可能性を判定する段階
を備え、
ここで、前記第１の処理済み画像は、虹彩の輪郭の内側に対応する領域及び眼の輪郭の外側に対応する領域をマスキングされ、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記眼の輪郭を含む第１の領域に沿ってクロッピングされた画像であり、かつ、
ここで、前記第２の処理済み画像は、前記眼に含まれる前記虹彩の前記輪郭に対応するピクセルの位置情報及び前記眼の前記輪郭に対応するピクセルの位置情報に基づいて、前記第１の領域よりも広い第２の領域に沿ってクロッピングされた画像である、
甲状腺眼症を予測するコンピュータ実装方法。
［項目２］
前記眼に含まれる前記虹彩の前記輪郭に対応する前記ピクセルの位置情報及び前記眼の前記輪郭に対応する前記ピクセルの位置情報は、セグメンテーションモデルによって取得される、項目１に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目３］
前記第１の処理済み画像は、第１の処理済み左眼画像及び第１の処理済み右眼画像を含み、かつ、
前記第２の処理済み画像は、第２の処理済み左眼画像及び第２の処理済み右眼画像を含む
項目１に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目４］
前記結膜充血予測モデルは、左眼結膜充血予測モデル及び右眼結膜充血予測モデルを含み、
前記結膜浮腫予測モデルは、左眼結膜浮腫予測モデル及び右眼結膜浮腫予測モデルを含み、
前記涙丘浮腫予測モデルは、左眼涙丘浮腫予測モデル及び右眼涙丘浮腫予測モデルを含み、
前記瞼発赤予測モデルは、左眼瞼発赤予測モデル及び右眼瞼発赤予測モデルを含み、かつ、
前記瞼浮腫予測モデルは、左眼瞼浮腫予測モデル及び右眼瞼浮腫予測モデルを含む
項目３に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目５］
前記結膜充血に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜充血予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼結膜充血予測モデルに入力することによって取得される結果に基づいて判定され、
前記結膜浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼結膜浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を右眼結膜浮腫予測モデルに入力することによって取得される結果に基づいて判定され、
前記涙丘浮腫に関する前記予測値は、前記第１の処理済み左眼画像を前記左眼涙丘浮腫予測モデルに入力することによって取得される結果、及び、前記第１の処理済み右眼画像を前記右眼涙丘浮腫予測モデルに入力することによって取得される結果に基づいて判定され、
前記瞼発赤に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼発赤予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼発赤予測モデルに入力することによって取得される結果に基づいて判定され、かつ、
前記瞼浮腫に関する前記予測値は、前記第２の処理済み左眼画像を前記左眼瞼浮腫予測モデルに入力することによって取得される結果、及び、前記第２の処理済み右眼画像を前記右眼瞼浮腫予測モデルに入力することによって取得される結果に基づいて判定される、
項目４に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目６］
前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階、及び
前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像のいずれか１つを、左右反転することによって処理する段階
をさらに備える、項目３に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目７］
前記結膜充血に関する前記予測値は、前記結膜充血予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、
前記結膜浮腫に関する前記予測値は、前記結膜浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、
前記涙丘浮腫に関する前記予測値は、前記涙丘浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、
前記瞼発赤に関する前記予測値は、前記瞼発赤予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定され、かつ、
前記瞼浮腫に関する前記予測値は、前記瞼浮腫予測モデルに、左右反転された前記画像を入力することによって及び左右反転されていない前記画像を入力することによって取得される結果に基づいて判定される
項目６に記載の甲状腺眼症を予測するコンピュータ実装方法。
［項目８］
前記第１の処理済み左眼画像及び前記第１の処理済み右眼画像をリサイズする段階、及び
前記第２の処理済み左眼画像及び前記第２の処理済み右眼画像をリサイズする段階
をさらに備える、項目３に記載の甲状腺眼症を予測するコンピュータ実装方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9(a)】
【図9(b)】
【図10(a)】
【図10(b)】
【図11】
【図12】
【図13(a)】
【図13(b)】
【図14(a)】
【図14(b)】
【図15】
【図16】
【図17】
【図18(a)】
【図18(b)】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】