特開2024-138331 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ サイロスコープインコーポレイテッドの特許一覧

特開2024-138331眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138331

(43)【公開日】2024-10-08

(54)【発明の名称】眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体

(51)【国際特許分類】

G16H 30/00 20180101AFI20241001BHJP

G06T 7/00 20170101ALI20241001BHJP

G06T 7/70 20170101ALI20241001BHJP

G06V 40/16 20220101ALI20241001BHJP

A61B 3/10 20060101ALI20241001BHJP

A61B 5/107 20060101ALI20241001BHJP

【ＦＩ】

G16H30/00

G06T7/00 612

G06T7/00 660A

G06T7/70 B

G06V40/16 B

A61B3/10

A61B5/107 110

A61B5/107 300

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024106746

(22)【出願日】2024-07-02

(62)【分割の表示】P 2023580622の分割

【原出願日】2022-06-28

(31)【優先権主張番号】10-2021-0085542

(32)【優先日】2021-06-30

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0078867

(32)【優先日】2022-06-28

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523433859

【氏名又は名称】サイロスコープインコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】シン、キュボ

(72)【発明者】

【氏名】パク、ジャエミン

(72)【発明者】

【氏名】キム、ジョンチャン

(72)【発明者】

【氏名】タク、ヨーンウォン

(72)【発明者】

【氏名】キム、フイイェオン

(72)【発明者】

【氏名】シム、エウンイェオン

(57)【要約】（修正有）

【課題】眼球突出の度合いを分析するための側方画像を取得する方法、撮影デバイス及びそのための記録媒体を提供する。
【解決手段】一実施形態によれば、画像取得方法は、第１の撮影条件を満たすためにガイダンスが与えられる間に、対象者の顔の正面画像を取得する段階、正面画像から抽出された第１のポイント及び第２のポイントの位置情報に基づいてパノラマガイダンスを生成する段階、撮影デバイスの動きに対してガイダンスを提供して、パノラマガイダンスに対応するプレビュー画像を取得する段階及び第２の撮影条件を満たすためにガイダンスが与えられる間に、対象者の顔の側方画像を取得する段階を含む。
【選択図】図１５

【特許請求の範囲】

【請求項1】

ユーザの臨床活動性スコア（ＣＡＳ）を分析するためにユーザ情報を取得する方法であって、前記方法が：
ユーザの顔の適切な位置を示すために撮影デバイスに対してガイダンスを提供する段階；
予め定められた条件を満たしたことに応答して前記ユーザの顔画像を取得する段階、
ここで前記顔画像は、前記ユーザの少なくとも一方の眼を表し、
前記予め定められた条件は：
１）前記顔に関連する位置が予め定められた範囲内にあるかどうか；
２）前記ユーザの前記顔の回転の度合いが予め定められた範囲内であるかどうか；及び
３）前記ユーザの笑顔の度合いが第１の予め定められた値と同じ又はそれより小さいかどうか
を含む；
前記顔画像を取得した後又は取得する前に、前記撮影デバイスに対して問い合わせを出力する段階；及び
前記問い合わせに応答してユーザ入力を取得する段階、
ここで、前記ユーザ入力は、上方又は下方注視を試みたときの痛みに関連する第１の入力及び自発性後眼窩痛に関連する第２の入力を含む
を備える、方法。

【請求項2】

前記顔画像を取得する段階の後に、以下の段階：
前記顔画像から生成されたクロッピングされた画像を出力する段階；及び
前記ユーザの臨床活動性スコア（ＣＡＳ）を分析するための前記顔画像を使用するか判断するために他のユーザ入力を取得する段階
が実行される、請求項１に記載の方法。

【請求項3】

前記ユーザの笑顔の度合いが、顔面表情分析アルゴリズム、ランドマーク検出アルゴリズム、又はそれらの組み合わせから選択されるアルゴリズムによって判断され、
前記第１の予め定められた値が０．１である
請求項１に記載の方法。

【請求項4】

前記顔の回転の前記度合いが、ピッチ検出アルゴリズム、ランドマーク検出アルゴリズム、又はその組み合わせから選択されるアルゴリズムによって判断され、
前記予め定められた範囲が、前記顔の上下回転角に関して－４°～＋４°である
請求項１に記載の方法。

【請求項5】

前記顔の回転の前記度合いが、ヨー推定アルゴリズム、ランドマーク検出アルゴリズム、又はその組み合わせから選択されるアルゴリズムによって判断され、
前記予め定められた範囲が、前記顔の左右回転角に関して－５°～＋５°である
請求項１に記載の方法。

【請求項6】

前記顔の回転の前記度合いが、前記ユーザの鼻の位置及びプレビュー画像上の下顎の位置によって判断され、
前記予め定められた範囲が、基準画像上の鼻の位置及び下顎の位置に基づいて判断され、前記基準画像は、前記プレビュー画像を取得する前に取得されている
請求項１に記載の方法。

【請求項7】

前記顔画像を取得するとき、前記撮影デバイスのフラッシュは作動しない
請求項１に記載の方法。

【請求項8】

前記ガイダンスが、前記顔の適切な位置に対応する円形状のインジケータを含む
請求項１に記載の方法。

【請求項9】

前記顔の前記位置がランドマーク検出アルゴリズム、セグメンテーションモデル、及びバウンディングボックス検出アルゴリズムのうちの少なくとも１つによって判断される
請求項１に記載の方法。

【請求項10】

前記予め定められた条件は：
４）前記顔に関連する第１のポイント及び第２のポイントの間の分離距離が予め定められた範囲内にあるかどうか
を更に含む
請求項１に記載の方法。

【請求項11】

前記顔に関連する前記第１のポイント及び前記第２のポイントが、バウンディングボックス検出アルゴリズムにより判断される
請求項１０に記載の方法。

【請求項12】

１つ又は複数の命令を備えるコンピュータプログラムであって、前記１つ又は複数の命令がコンピューティングデバイスの１つ又は複数のプロセッサによって実行されると、前記１つ又は複数の命令が前記コンピューティングデバイスに、請求項１から１１のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【請求項13】

ユーザの臨床活動性スコア（ＣＡＳ）を分析するためにユーザ情報を取得するための撮影デバイスであって、前記撮影デバイスが：
通信部；
１つ又は複数の命令を内部に記憶するように構成された記憶部；
前記記憶部に記憶された前記１つ又は複数の命令を実行するように構成されたコントローラ
を備え、
前記コントローラは、前記１つ又は複数の命令を実行することによって：
前記ユーザの顔の適切な位置を示すために撮影デバイスに対してガイダンスを提供すること；
予め定められた条件が満たされたことに応答して前記ユーザの顔画像を取得すること、
ここで前記顔画像は前記ユーザの少なくとも一方の眼を表し、
前記予め定められた条件は：
１）前記顔に関連する位置が予め定められた範囲内にあるかどうか；
２）前記ユーザの前記顔の回転の度合いが予め定められた範囲内であるかどうか；及び
３）前記ユーザの笑顔の度合いが第１の予め定められた値と同じ又はそれより小さいかどうか
を含む；
前記顔画像を取得した後又は取得する前に、前記撮影デバイスに対して問い合わせを出力すること；及び
前記問い合わせに応答してユーザ入力を取得すること、
ここで、前記ユーザ入力は、上方又は下方注視を試みたときの痛みに関連する第１の入力及び自発性後眼窩痛に関連する第２の入力を含む；
を行うように構成されている、撮影デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、眼球突出の度合いの分析のための側方画像を取得する方法、方法を実行するための撮影デバイス、及びそのための記録媒体に関する。

【0002】

【背景技術】

【0003】

人工知能技術の開発と共に、ユーザの健康ステータスについての情報を取得するためにユーザを撮影することによって取得された診断的画像を分析するための技術、及び、その情報に基づいて、ユーザが疾患の早期の段階で病院を訪問するために、病院への訪問に対してガイダンスを提供するための技術が活発に開発されている。

【0004】

例えば、出願人であるＴｈｙｒｏｓｃｏｐｅＩｎｃ．は、甲状腺を管理するための解決手段を提供する会社である。甲状腺機能異常症のリスクを予測して病院への訪問に対するガイダンスを提供するソフトウェア医療デバイスを開発した後、出願者は、顔のデジタル画像の学習を使用することによって甲状腺眼症を予測するための人工知能モデルを開発した。また、出願人は、甲状腺眼症のリスクを予測して、病院への訪問に対してガイダンスを提供するためのソフトウェア医療デバイスをリリースしようとしている。

【0005】

甲状腺眼症を予測するためのソフトウェア医療デバイスについて消費者調査を実施したところ、ソフトウェア医療デバイスを、病院訪問の時間をチェックすることを望む患者のために使用することができ、甲状腺眼症のための投薬の臨床プロセスにおける治療の進行を観察するために使用することができることが見出された。そのため、甲状腺眼症の治療の進行を観察し、観察の結果をデータとして記録するために、眼球突出の度合いを分析するのに適切な側方画像を取得するための正確な撮影技術の開発が必要とされている。

【0006】

【発明の概要】

【発明が解決しようとする課題】

【0007】

本願の開示は、病院訪問せずに眼球突出の度合いがモニタリングされるように、顔の側方画像を取得する方法、方法を実行するための撮影デバイス、及びそのための記録媒体を提供することを対象とする。

【0008】

加えて、本願の開示は、画像を取得する方法、方法を実行するための撮影デバイス、及びそのための記録媒体を提供することを対象とし、方法は、顔の上下回転角を正確に検出することが困難である場合でさえも、診断的画像として使用するのに適切な顔画像を取得することができる。

【0009】

加えて、本願の開示は、甲状腺機能異常症について治療を受けている一般の人々又は患者のために早期に甲状腺眼症が発見されるように、甲状腺眼症の臨床活動性スコアをモニタリングするための方法及びシステムを提供することを対象とする。

【0010】

本願によって解決されるべき技術的課題は、前述の技術的課題に限定されず、当業者によって本願から、言及されていない他の技術的課題が明らかに理解される。

【0011】

【課題を解決するための手段】

【0012】

本願の態様によれば、眼球突出の度合いを分析するために対象者の顔画像を取得する方法が開示される。方法は、第１の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の正面画像を取得する段階、ここで前記第１の撮影条件を満たすことは、少なくとも、前記対象者の両方の眼が、第１の取り込まれた画像において予め定められたエリアに配置されているという条件を含む；前記正面画像から抽出された第１のポイント及び第２のポイントの位置情報に基づいてパノラマガイダンスを生成する段階、前記パノラマガイダンスは、前記顔の前部に関して水平方向に生成され、前記第１のポイント及び前記第２のポイントは、前記顔の前記前部に関して互いに鉛直方向に離隔している；撮影デバイスの動きに対してガイダンスを提供して、前記パノラマガイダンスに対応するプレビュー画像を取得する段階、ここで前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有するようにモニタリングが実行される；及び第２の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の側方画像を取得する段階、ここで前記第２の撮影条件を満たすことは、前記第２の取り込まれた画像から抽出された前記第１のポイント及び前記第２のポイントの間の鉛直分離距離、及び前記初期分離距離が、前記予め定められた誤差範囲内の差を有するという条件である、を含んでよい。ここで、取得された前記画像が、前記眼球突出の度合いを計算するために使用されるために、前記第１の取り込まれた画像は前記対象者虹彩エリアを示し、前記第２の取り込まれた画像は、前記対象者の眼のうちの１つの外眼角及び角膜を示す。

【0013】

本願の別の態様によれば、内部に１つ又は複数の命令を記憶するための非一時的コンピュータ可読媒体が開示される。非一時的コンピュータ可読媒体は、コンピューティングデバイスの１つ又は複数のプロセッサによって実行されると、コンピューティングデバイスが上記の方法を実行することを可能にしてよい。

【0014】

本願のさらに別の態様によれば、眼球突出の度合いを分析するために対象者の顔画像を取得するための撮影デバイスが開示される。デバイスは、通信部、内部に１つ又は複数の命令を記憶するように構成された記憶部、及び前記記憶部に記憶された前記１つ又は複数の命令を実行するように構成されたコントローラを含んでよい。前記コントローラは、前記１つ又は複数の命令を実行することによって、第１の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の正面画像を取得すること；前記正面画像から抽出された第１のポイント及び第２のポイントの位置情報に基づいてパノラマガイダンスを生成すること；前記撮影デバイスの動きに対してガイダンスを提供して、前記パノラマガイダンスに対応するプレビュー画像を取得すること；及び第２の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の側方画像を取得することを行うように構成されており、前記第１の撮影条件は、少なくとも、前記対象者の両方の眼が、第１の取り込まれた画像において予め定められたエリアに配置されているという条件を含み、前記パノラマガイダンスは前記顔の前部に関して水平方向に生成され、前記第１のポイント及び前記第２のポイントは前記顔の前記前部に関して鉛直方向に互いに離隔しており、前記第２の撮影条件は、少なくとも、前記第２の取り込まれた画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有するという条件である。

【0015】

しかしながら、本開示の課題の解決手段は、上記の解決手段に限定されるものではなく、言及されていない解決手段が当業者によって本明細書から明らかに理解され得る。

【0016】

【発明の効果】

【0017】

本願の開示によれば、一般の人々が使用することができるスマートフォンなどのデジタルカメラを使用して、眼球突出の度合いにおける変化をモニタリングするのに適切な顔の側方画像を取得することができる。

【0018】

本願の効果は、上述の効果に限定されるものではなく、言及されていない他の効果が当業者によって本願から明らかに理解され得る。

【0019】

【図面の簡単な説明】

【0020】

【図1】一実施形態による、眼疾患管理システムを示す図である。

【0021】

【図2】ユーザ端末を含む眼疾患管理システムを示す図である。

【0022】

【図3】一実施形態によるユーザ端末を示すブロック図である。

【0023】

【図4】一実施形態による眼疾患管理システムの動作を示す図である。

【0024】

【図5】一実施形態による画像取得方法を示す図である。

【0025】

【図6】一実施形態によって提供される撮影ガイダンスの形態及び動作を示す図である。

【0026】

【図7】一実施形態によって提供されるリアルタイム撮影ガイダンスの形態及び動作を示す図である。

【0027】

【図8】一実施形態による、ユーザ端末を用いて画像を撮った後のディスプレイ画面を示す図である。

【0028】

【図9】一実施形態による画像取得方法を示す図である。

【0029】

【図10】一実施形態による基準ガイダンスを生成する動作を示す図である。

【0030】

【図11】一実施形態による画像取得方法を示す図である。

【0031】

【図12】一実施形態による、撮影ガイダンス及び基準ガイダンスを提供するためのディスプレイ画面を示す図である。

【図13】一実施形態による、撮影ガイダンス及び基準ガイダンスを提供するためのディスプレイ画面を示す図である。

【0032】

【図14】一実施形態による画像取得方法を示す図である。

【0033】

【図15】一実施形態による画像取得方法を示す図である。

【0034】

【図16】一実施形態による、正面画像及び側方画像を示す図である。

【0035】

【図17】一実施形態による、甲状腺眼症を予測する方法を示すフローチャートである。

【0036】

【図18】一実施形態による、ユーザ端末の質問入力インタフェース及び確認インタフェースを含むディスプレイ画面を示す図である。

【0037】

【図19】一実施形態による、甲状腺眼症を予測するための指標を示す図である。

【0038】

【図20】一実施形態による、顔の側方画像を分析することによって眼球突出の度合いを予測する方法を示す図である。

【0039】

【図21】一実施形態による、顔の正面画像における虹彩エリアの直径値、及び顔の側方画像における眼球の突出の度合いを示す図である。

【0040】

【発明を実施するための形態】

【0041】

本願の上述した目的、特徴、及び利点は、添付図面を参照する以下の詳細な説明からより明らかとなる。さらに、本願には様々な修正が加えられてよく、本願の様々な実施形態が実践されてよい。したがって、以下では、添付図面を参照しながら具体的な実施形態が詳細に説明される。

【0042】

明細書全体を通して、同じ参照番号は、原理上同じ要素を示している。さらに、実施形態の図面に示されている同じ範囲内の同じ機能を有する要素は、同じ参照番号を使用して説明されており、冗長な説明は省略される。

【0043】

本願の性質及び趣旨を不明瞭にすると判断された場合、本願に関するよく知られた機能又は構成の詳細な説明は省略される。さらに、本明細書全体を通して、第１、第２等の用語は、或る要素を別のものから区別するためにのみ使用されている。

【0044】

さらに、以下の説明において要素を挙げるために使用されている「モジュール」及び「部」という用語は、本明細書の書きやすさのみを考慮して、使用されている。それらの用語は、異なる特別な意味又は機能を有するものとしては意図されておらず、それゆえ、個々に又は交換可能に使用され得る。

【0045】

以下の実施形態では、単数形で使用されている表現は、それがその文脈において明らかに異なる意味を有するのでない限り、複数形の表現も包含する。

【0046】

以下の実施形態では、「含む」、「有する」などのような用語は、明細書において開示される特徴又は要素の存在を示すことを意図されており、１つ又は複数の他の特徴又は要素が追加され得る可能性を排除することは意図されていないことが理解されるべきである。

【0047】

図面中の要素のサイズは、説明の便宜上、誇張又は縮小されている場合がある。例えば、図面に示されている各要素の任意のサイズ及び厚さは、説明の便宜上示されており、本開示はこれに限定されるものではない。

【0048】

特定の実施形態が別様に実現される場合において、説明された順序から外れて、特定のプロセスが行われてよい。例えば、連続して説明された２つのプロセスは、実質的に同時に実行されてもよいし、又は、説明された順序とは反対の順序で進められてもよい。

【0049】

以下の実施形態では、要素が互いに接続されていると言及される場合、それらの要素は、互いに直接接続されているか、又は、それらの要素は、それらの間に介入する要素を伴って、互いに間接的に接続されている。例えば、本明細書において、要素が互いに電気的に接続されていると言及される場合、それらの要素は、互いに直接電気的に接続されているか、又は、それらの要素は、それらの間に介入する要素を伴って、間接的に電気的に接続されている。

【0050】

【0051】

本願の態様によれば、眼球突出の度合いを分析するために対象者の顔画像を取得する方法が開示される。方法は、第１の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の正面画像を取得する段階、ここで前記第１の撮影条件を満たすことは、少なくとも、前記対象者の両方の眼が、第１の取り込まれた画像において予め定められたエリアに配置されているという条件を含む；前記正面画像から抽出された第１のポイント及び第２のポイントの位置情報に基づいてパノラマガイダンスを生成する段階、前記パノラマガイダンスは、前記顔の前部に関して水平方向に生成され、前記第１のポイント及び前記第２のポイントは、前記顔の前記前部に関して互いに鉛直方向に離隔している；撮影デバイスの動きに対してガイダンスを提供して、前記パノラマガイダンスに対応するプレビュー画像を取得する段階、ここで前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有するようにモニタリングが実行される；及び第２の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の側方画像を取得する段階、ここで前記第２の撮影条件を満たすことは、前記第２の取り込まれた画像から抽出された前記第１のポイント及び前記第２のポイントの間の鉛直分離距離、及び前記初期分離距離が、前記予め定められた誤差範囲内の差を有するという条件である、を含んでよい。ここで、取得された前記画像が、前記前記眼球突出の度合いを計算するために使用されるために、前記第１の取り込まれた画像は前記対象者の虹彩エリアを示し、前記第２の取り込まれた画像は、前記対象者の眼のうちの１つの外眼角及び角膜を示す。

【0052】

いくつかの実施形態では、前記第１の撮影条件を満たすことは、少なくとも、前記対象者の顔の左右回転角が、予め定められた第１の基準値を超えないという条件を含んでよい。

【0053】

いくつかの実施形態では、前記第１の撮影条件を満たすことは、少なくとも、前記対象者の顔面表情情報に基づく前記対象者の笑顔のレベルが、予め定められた第２の基準値を超えないという条件を含んでよい。

【0054】

いくつかの実施形態では、前記第１の撮影条件を満たすことは、少なくとも、前記対象者の顔の上下回転角が、予め定められた第３の基準値を超えないという条件を含んでよい。

【0055】

いくつかの実施形態では、前記第１の撮影条件を満たすことは、少なくとも、周囲輝度が第４の基準値を超えないという条件を含んでよい。

【0056】

いくつかの実施形態では、前記第２の撮影条件を満たすことは、少なくとも、前記対象者の耳が、前記第２の取り込まれた画像において予め定められたエリアに配置されているという条件を含んでよい。

【0057】

いくつかの実施形態では、前記第１のポイントが鼻の先端部にあるポイントであってよく、前記第２のポイントが前記顔の輪郭における下顎の先端部にあるポイントであってよい。

【0058】

いくつかの実施形態では、前記撮影デバイスの動きに対してガイダンスを提供して、前記パノラマガイダンスに対応するプレビュー画像を取得する前記段階が：予め定められたフレームレートに従って前記プレビュー画像を取得する段階：取得した前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離、及び前記初期分離距離が前記予め定められた誤差範囲内の差を有するかどうか判定する段階；及び前記差が予め定められた誤差範囲外であると判定した場合に、前記撮影デバイス及び前記顔の間の距離を調整するためのガイダンスを出力する段階を含んでよい。

【0059】

いくつかの実施形態では、前記方法において、前記差が前記予め定められた誤差範囲外であると判定した場合に、前記撮影デバイス及び前記顔の間の前記距離を調整するための前記ガイダンスを出力する段階が：取得した前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離が、前記予め定められた誤差範囲外になる程度まで前記初期分離距離より長いと判定した場合、前記顔から離れるように前記撮影デバイスを移動させるための前記ガイダンスを出力する段階、及び取得した前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離が、前記予め定められた誤差範囲外になる程度まで前記初期分離距離より短いと判定した場合、前記顔に近づくように前記撮影デバイスを移動させるための前記ガイダンスを出力する段階を含んでよい。

【0060】

いくつかの実施形態では、前記撮影デバイスの前記動きに対して前記ガイダンスを提供して、前記パノラマガイダンスに対応する前記プレビュー画像を取得する前記段階が：取得した前記プレビュー画像から抽出された前記第１のポイントの位置が、前記正面画像から抽出された前記第１のポイントの位置から第５の基準値より少ない量だけ移動しているかどうか判定する段階；及び取得した前記プレビュー画像から抽出された前記第１のポイントの前記位置が、前記正面画像から抽出された前記第１のポイントの前記位置から前記第５の基準値より大きい量だけ移動されていると判定した場合、前記撮影デバイスを、前記顔に関して上方又は下方に移動させるためのガイダンスを出力する段階を含んでよい。

【0061】

いくつかの実施形態では、前記撮影デバイスの前記動きに対して前記ガイダンスを提供して、前記パノラマガイダンスに対応する前記プレビュー画像を取得する前記段階が：取得した前記プレビュー画像から抽出された前記第２のポイントの位置が、前記正面画像から抽出された前記第２のポイントの位置から第６の基準値より少ない量だけ移動しているかどうか判定する段階；及び取得した前記プレビュー画像から抽出された前記第２のポイントの前記位置が、前記正面画像から抽出された前記第２のポイントの前記位置から前記第６の基準値より大きい量だけ移動されていると判定した場合、前記撮影デバイスを、前記顔に関して上方又は下方に移動させるための前記ガイダンスを出力する段階を含んでよい。

【0062】

いくつかの実施形態では、前記撮影デバイスの前記動きに対して前記ガイダンスを提供して、前記パノラマガイダンスに対応する前記プレビュー画像を取得する前記段階において、前記プレビュー画像の少なくとも一部が第３の取り込まれた画像として取得されてよく、前記第１の取り込まれた画像、前記第２の取り込まれた画像、及び前記第３の取り込まれた画像が、パノラマ画像へと編集され、前記パノラマ画像として記憶されてよい。

【0063】

いくつかの実施形態では、前記第１の取り込まれた画像が取得された時点から前記第２の取り込まれた画像が取得された時点まで画像を連続的に取得することによって動画が記憶されてよい。

【0064】

いくつかの実施形態では、前記第２の撮影条件を満たすことは、少なくとも、前記対象者の眼のうちの１つが前記第２の取り込まれた画像において検出されないという条件を含んでよい。

【0065】

いくつかの実施形態では、前記方法は、前記第１の取り込まれた画像において検出された前記虹彩エリアの直径値を取得する段階；前記第２の取り込まれた画像において検出された、前記外眼角及び前記外眼角から最も離れた前記角膜の間の距離の値を取得する段階；及び前記距離の値及び前記直径値の間の比率を取得し、前記比率に対して前記虹彩エリアの特性値を適用することによって前記距離の値を予測することにより、前記眼球突出の度合いを取得する段階を含んでよい。

【0066】

本願の別の態様によれば、１つ又は複数の命令が記憶された非一時的コンピュータ可読媒体が開示される。非一時的コンピュータ可読媒体は、コンピューティングデバイスの１つ又は複数のプロセッサによって実行されると、コンピューティングデバイスが上記の方法を実行することを可能にしてよい。

【0067】

【0068】

【0069】

本願によれば、甲状腺眼症を管理するのに使用される画像を取得する方法、及び方法に基づいて甲状腺眼症を管理するためのシステム（例えば、病院訪問ガイダンス）が開示される。

【0070】

【0071】

本明細書では、「眼」という用語は、眼球に関して瞼によって決定される眼の形状を通して外部に露出したエリアを指す。換言すると、本明細書では、「眼」という用語は、概念の観点では「眼球」に含まれてよい。

【0072】

本明細書では、「虹彩エリア」という用語は、眼球の虹彩及び眼球の瞳孔の組み合わせのエリアを指してよい。

【0073】

本明細書では、「対象者」という用語は、その画像が甲状腺眼症システムによって取り込まれるターゲット（例えば、人）を指してよい。

【0074】

本明細書では、「プレビュー画像」という用語は、画像を撮る時点において予め定められたフレームレートに従って取得された画像を指してよい。具体的には、予め記憶された条件が満たされると、ユーザ入力による画像撮影動作が開始される、又は、自動撮影動作が開始される。これに応答して、取り込まれた画像が記憶され、この記憶段階の前に取り込まれた画像が「プレビュー画像」として参照され得る。

【0075】

本明細書では、「取り込まれた画像」という用語は、画像撮影動作によって最終的に取得された画像を指してよい。具体的には、「取り込まれた画像」という用語は、予め記憶された条件が満たされた後に、ユーザ入力による画像撮影動作又は自動撮影動作の開始に応答して記憶された画像を指してよい。

【0076】

本明細書では、「撮影ガイダンス」という用語は、画像を撮るのを補助する機能を実行することを指してよい。例えば、「撮影ガイダンス」は、ユーザ端末のディスプレイ上に出力されているプレビュー画像上に一緒に出力される線又は文字の形態であってよい。別の例として、「撮影ガイダンス」は、ユーザ端末のスピーカを通して撮影を補助するために出力される音声の形態であってよい。しかしながら、これに対する限定は課されない。

【0077】

本明細書では、顔の「左右回転角」という用語は、顔の毛髪側の中心部と通過する仮想の垂直軸上の回転の角度（ヨー）を指してよい。具体的には、顔が前方を向いているとき、顔の左右回転角は０°であってよい。顔が右側に向いているとき、顔の左右回転角は９０°であってよい。顔が左側に向いているとき、顔の左右回転角は－９０°であってよい。

【0078】

本明細書では、「上下回転角」という用語は、顔の耳側の中心部を通過する仮想の水平軸上の回転の角度（ピッチ）を指してよい。具体的には、顔が前方を向いているとき、顔の上下回転角は０°であってよい。顔が上を向いているとき（例えば、空に向かっているとき）、顔の上下回転角は９０°であってよい。顔が下を向いているとき（例えば、地面に向かっているとき）、顔の上下回転角は－９０°であってよい。

【0079】

本明細書では、「眼疾患」という用語は、甲状腺疾患と関連して生じることが知られている自己免疫眼疾患である甲状腺眼症を指してよい。統計学的に、甲状腺眼症には、ほとんどの場合、甲状腺機能亢進症が伴うが、甲状腺機能亢進症が生じる前、又は甲状腺機能が正常な時に生じる場合がある。したがって、本明細書で説明する「眼疾患」は、医療業界において一般的に呼ばれる疾患名として、眼疾患管理システムを使用して管理されるべき疾患を説明しているものとして解釈されるべきであり、モニタリングされている疾患の進行のメカニズムが甲状腺に起因することを意味するものとして解釈されるべきではない。

【0080】

【0081】

１．眼疾患管理システム

【0082】

［（１）一般システム］

【0083】

図１は、一実施形態による、眼疾患管理システム１０を示す図である。

【0084】

眼疾患管理システム１０は、眼疾患を予測する、又は、眼疾患の存在を知った後に疾患の進行をチェック及び管理する。

【0085】

一実施形態によれば、眼疾患管理システム１０は、対象者の画像を取得し、取得した画像を分析して眼疾患の可能性を予測してよい。具体例として、眼疾患管理システム１０は、対象者の正面顔画像を取得してよく、取得した正面顔画像を分析して臨床活動性スコア（ｃｌｉｎｉｃａｌａｃｔｉｖｉｔｙｓｃｏｒｅ：ＣＡＳ）を予測してよく、予測した臨床活動性スコアが基準値を超えるかどうか判定して、甲状腺眼症の発症の可能性を予測してよい。別の具体例として、眼疾患管理システム１０は、対象者の側方の顔画像を取得してよく、取得した側方の顔画像を分析して、眼球突出の度合いを予測する、又は眼球突出の度合いの変化をモニタリングしてよい。

【0086】

【0087】

図２は、ユーザ端末を含む眼疾患管理システムを示す図である。

【0088】

いくつかの実施形態では、ユーザ端末１００は、ネットワークを介して別のユーザ端末１００及び／又は眼疾患管理サーバ２００に接続されてよい。一般に、ネットワークは、通信ネットワーク及び／又はワイドエリアネットワーク（ｗｉｄｅａｒｅａｎｅｔｗｏｒｋ：ＷＡＮ）であってよい。特定の実施形態では、ネットワークはインターネットであってよい。

【0089】

ユーザ端末１００は、対象者の身体部位の画像を取得してよい。取得した画像は、診断のために眼疾患管理サーバ２００によって使用されるための予め定められた条件を満たす、取り込まれた画像であってよい。ユーザ端末１００は、取得した画像を眼疾患管理サーバ２００に伝送してよい。

【0090】

眼疾患管理サーバ２００は、画像を分析することによって、甲状腺眼症についての情報を生成してよい。例えば、眼疾患管理サーバ２００は、画像を分析して臨床活動性スコアを計算してよく、適切なときに甲状腺眼症を治療するための病院訪問を誘導するための情報を提供するための、臨床活動性スコアがスコア３に等しい又はそれより大きいかを評価してよい。別の例として、眼疾患管理サーバ２００は、画像を分析して眼球突出の度合いを推定してよく、眼球突出の度合いについての情報を記憶して、眼球突出の度合いにおける変化についての情報をユーザに提供してよい。

【0091】

眼疾患管理システム１０は、図２に示される要素の少なくとも一部が省略されて、又は、図２に示されていない要素が追加的に含まれて構築されてよい。

【0092】

【0093】

［（２）ユーザ端末の要素］

【0094】

図３は、一実施形態によるユーザ端末を示すブロック図である。

【0095】

一実施形態によれば、ユーザ端末１００は、端末通信部１１０、カメラモジュール１２０、端末記憶部１３０、入力／出力モジュール１４０、及び端末コントローラ１５０を含む。例えば、ユーザ端末１００は、スマートフォン、タブレットデバイス、ラップトップコンピュータ、パーソナルコンピュータ、又はそれらの組み合わせであってよいが、これらに限定されるものではない。

【0096】

端末通信部１１０は、無線通信モジュール及び／又は有線通信モジュールを含んでよい。端末通信部１１０の例は、有線／無線ローカルエリアネットワーク（ｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ：ＬＡＮ）モジュール、ＷＡＮモジュール、Ｅｔｈｅｒｎｅｔ（登録商標）モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、Ｚｉｇｂｅｅ（登録商標）モジュール、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌｓｅｒｉａｌｂｕｓ：ＵＳＢ）モジュール、ＩＥＥＥ１３９４モジュール、Ｗｉ－Ｆｉ（登録商標）モジュール、又はそれらの組み合わせを含んでよいが、これらに限定されるものではない。

【0097】

カメラモジュール１２０はデジタルカメラであり、画像センサ及び画像プロセッサを含んでよい。画像センサは、光学画像を電気信号に変換するためのデバイスであり、複数のフォトダイオードが組み込まれたチップとして提供されてよい。画像センサの例としては、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）などが挙げられ得る。一方で、画像プロセッサは、取り込まれた結果に対して画像処理を実行してよく、画像情報を生成してよい。

【0098】

端末記憶部１３０はメモリであり、メモリは、マイクロプロセッサによって可読であるデータを記憶するための記憶手段であってよい。端末記憶部１３０の例は、ハードディスクドライブ（ｈａｒｄｄｉｓｋｄｒｉｖｅ：ＨＤＤ）、ソリッドステートディスク（ｓｏｌｉｄｓｔａｔｅｄｉｓｋ：ＳＳＤ）、シリコンディスクドライブ（ｓｉｌｉｃｏｎｄｉｓｋｄｒｉｖｅ：ＳＤＤ）、ＲＯＭ、ＲＡＭなどが含まれ得る。端末記憶部１３０において、以下が記憶される：ユーザ端末を実行するためのオペレーティングシステム（ｏｐｅｒａｔｉｎｇｓｙｓｔｅｍ：ＯＳ）、ユーザ端末上で実行される様々なプログラム（及び／又はアプリケーションプログラム１３１）、及びプログラムによって参照される様々なタイプのデータ。

【0099】

入力／出力モジュール１４０は、ユーザ入力部、出力部、及び／又は入出力インタフェースを含んでよい。ユーザ入力部は、ユーザ端末１００に対するユーザの入力を受信する。受信した入力は、端末コントローラ１５０に伝送されてよい。一実施形態によれば、ユーザ入力部は、タッチディスプレイを通してユーザの入力を受信してよい。出力部は、端末コントローラ１５０の制御コマンドに従って様々なタイプの情報を出力する。一実施形態によれば、出力部は、ユーザに対して情報を視覚的に出力するためのディスプレイを含んでよい。代替的に、出力部は、ユーザに対して情報を聴覚的に出力するためのスピーカ、及びユーザに対して情報を触覚的に出力するための振動モータを含んでよい。

【0100】

入出力インタフェースは、例えば、ユーザ又は他の外部デバイスからユーザ端末１００の他の要素に入力されたコマンド又はデータを伝送するためのインタフェースである。さらに、入出力インタフェースは、ユーザ端末１００の他の要素から受信したコマンド又はデータをユーザ又は他の外部デバイスに出力してよい。

【0101】

端末コントローラ１５０は少なくとも１つのプロセッサを含んでよい。本明細書では、各プロセッサは、メモリに記憶された少なくとも１つの命令を実行することによって、予め定められた動作を実行してよい。一実施形態によれば、端末コントローラ１５０は、ユーザ端末１００に含まれるコンポーネントの動作全体を制御してよい。換言すると、ユーザ端末１００は、端末コントローラ１５０によって制御又は操作されてよい。端末コントローラ１５０は、例えば、ユーザ端末１００の１つ又は複数の他の要素の制御及び／又は通信に関連する動作又はデータ処理を実行してよい。

【0102】

端末コントローラ１５０は、以下のうちの１つ又は複数を含んでよい：中央処理装置（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ：ＣＰＵ）、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎｐｒｏｃｅｓｓｏｒ：ＡＰ）、及び通信プロセッサ（ｃｏｍｍｕｎｉｃａｔｉｏｎｐｒｏｃｅｓｓｏｒ：ＣＰ）。

【0103】

ユーザ端末１００は、図３に示される要素の少なくとも一部が省略されて提供されてよく、又は、図３に示されていない要素が追加的に含まれて提供されてよい。

【0104】

以下、別途指定されない限り、ユーザ端末１００の動作は、端末コントローラ１５０によって実行されるものとして解釈されてよい。

【0105】

【0106】

２．眼疾患管理システム－画像取得方法の動作

【0107】

図４は、一実施形態による眼疾患管理システムの動作を示す図である。

【0108】

眼疾患管理システム１０は、ステップＳ１０００において画像を取得してよく、ステップＳ２０００において眼疾患情報を取得してよい。画像取得方法及び画像分析方法は以下で詳細に説明する。

【0109】

一実施形態によれば、画像取得方法及び画像分析方法は両方ともユーザ端末１００によって実行されてよく、本明細書では、ユーザ端末１００は、眼疾患管理システム１０を構成する唯一のデバイスである。

【0110】

別の実施形態によれば、画像取得方法はユーザ端末１００によって実行されてよく、画像分析方法は眼疾患管理サーバ２００によって実行されてよい。本明細書では、眼疾患管理システム１０は、少なくとも、電子デバイス１００及び眼疾患管理サーバ２００を含んでよい。本明細書では、ユーザ端末１００及び眼疾患管理サーバ２００は、必要なデータがそれらの間で伝送及び受信されるように、データを交換するために互いに接続されている。

【0111】

さらに別の実施形態によれば、画像取得方法の部分的動作がユーザ端末１００によって実行されてよく、残りの動作が眼疾患管理サーバ２００によって実行されてよい。加えて、画像分析方法の部分的動作がユーザ端末１００によって実行されてよく、残りの動作が眼疾患管理サーバ２００によって実行されてよい。

【0112】

【0113】

以下、ユーザ端末１００が画像取得方法を独立して実行し、眼疾患管理サーバ２００が画像分析方法を独立して実行すると仮定して、詳細な実施形態が説明される。しかしながら、これは、本明細書で説明される開示が、以下の対象者によって実行されることに限定されることを意味するものではなく、１つの実施形態は説明の便宜のために説明されるに過ぎない。

【0114】

【0115】

［（１）画像取得方法－第１の例示的な実施形態］

【0116】

画像を分析することによって甲状腺眼症を予測するためにシステムにおいて、甲状腺眼症の予測の精度を改良するために、適切な診断的画像を撮ることが必要である。この目的のために、予め定められた撮影条件を満たしながら診断的画像を取得することが必要である。したがって、本実施形態では、甲状腺眼症の分析に使用される画像を取得する方法について詳細に説明する。

【0117】

【0118】

一実施形態による眼疾患管理システム１０において、第１の撮影条件を満たす画像が取得されてよい。

【0119】

第１の撮影条件は、眼疾患管理システム１０の画像取得のための基準であり、以下を評価することによって判定されてよい：対象者の両方の眼が診断的画像において適切な位置に配置されているかどうか；対象者の顔の上下回転角が適切な範囲内であるかどうか；対象者の顔の左右回転角が適切な範囲内であるかどうか；対象者の顔が画像の適切な比率（部分）をなしているかどうか；対象者の笑顔のレベルが適切な範囲内であるかどうか；及び／又は周囲輝度が適切な範囲内であるかどうか。

【0120】

具体例として、第１の撮影条件を満たすことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置されており、対象者の顔の左右回転角が予め定められた第１の基準値を超えず、対象者の顔面表情情報に基づく対象者の笑顔のレベルが予め定められた第２の基準値を超えないことを意味してよい。

【0121】

別の実施形態によれば、第１の撮影条件を満たすことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置されており、対象者の顔の左右回転角が予め定められた第１の基準値を超えず、対象者の顔面表情情報に基づく対象者の笑顔のレベルが予め定められた第２の基準値を超えず、対象者の顔の上下回転角が予め定められた第３の基準値を超えないことを意味してよい。

【0122】

さらに別の実施形態によれば、第１の撮影条件を満たすことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置されており、対象者の顔の左右回転角が予め定められた第１の基準値を超えず、対象者の顔面表情情報に基づく対象者の笑顔のレベルが予め定められた第２の基準値を超えず、対象者の顔の上下回転角が予め定められた第３の基準値を超えず、周囲輝度が第４の基準値を超えないことを意味してよい。

【0123】

これに限定されることなく、甲状腺眼症システム１０は、上記のいくつかの評価指標のうちの少なくともいくつかを分析することによって、又は追加の指標を分析することによって第１の撮影条件が満たされたかどうか判定してよい。以下、図５を参照しながら本開示の画像取得方法の一実施形態を説明する。

【0124】

【0125】

図５は、一実施形態による画像取得方法を示す図である。

【0126】

ステップＳＡ１１００において、ユーザ端末１００が撮影ガイダンスを提供してよい。端末コントローラ１５０は、入力／出力モジュール１４０を介して撮影ガイダンスをユーザに提供してよい。

【0127】

入力／出力モジュール１４０を介してプレビュー画像が取得及び提供される間、ユーザ端末１００は、撮影ガイダンスがプレビュー画像に重なるように撮影ガイダンスを提供してよい。この場合、撮影ガイダンスは入力／出力モジュール１４０上の固定位置に提供され、撮影ガイダンスが提供される位置は、取得されたプレビュー画像の特性によって変更されない。

【0128】

撮影ガイダンスは、上記のいくつかの評価指標のために適切な画像を取得するためにユーザに提供される命令であってよい。撮影ガイダンスは、ユーザ端末１００に記憶された撮影条件に従って評価されるように設定されている評価指標のいくつかについての命令であってよい。例えば、ユーザ端末１００は、対象者の両方の眼が位置付けられる必要があるポイントを表示してよいが、残りの指標に対応する撮影ガイダンスを提供しない場合がある。別の例として、ユーザ端末１００は、対象者の両方の眼が位置付けられる必要があるポイント及び対象者の顔が含まれる必要があるエリアを表示してよいが、残りの指標に対応する撮影ガイダンスを提供しない場合がある。一方で、撮影ガイダンスは、ユーザ端末１００に記憶された撮影条件に従って評価されるように設定された評価指標の全てについての命令であってよい。図６及び図７を参照しながら本開示の撮影ガイダンスの一実施形態を以下で説明する。

【0129】

ステップＳＡ１２００において、ユーザ端末１００がプレビュー画像を取得してよい。ステップＳＡ１２００において、端末コントローラ１５０がカメラモジュール１２０を用いてプレビュー画像を取得してよい。端末コントローラ１５０は、ステップＳＡ１２００において、撮影ガイダンスが入力／出力モジュール１４０を介して提供される間に、プレビュー画像を取得してよい。プレビュー画像は、予め定められたフレームレートに従って取得されてよい。

【0130】

ステップＳＡ１３００において、ユーザ端末１００が、取得したプレビュー画像から複数の指標を抽出してよい。ステップＳＡ１３００において、端末コントローラ１５０が、端末記憶部１３０に記憶されたアルゴリズムを使用することによって、複数の指標を抽出してよい。

【0131】

ユーザ端末１００は、取得したプレビュー画像の少なくとも一部に対してステップＳＡ１３００を実行してよい。これは、プレビュー画像を取得した後に、次のプレビュー画像を取得するのにかかる時間が、１つのプレビュー画像に対してステップＳＡ１３００を実行するのにかかる時間より短い場合があるからである。

【0132】

ステップＳＡ１３００において抽出された複数の指標は、上記のいくつかの評価指標のうちの少なくともいくつかの妥当性を判定するために抽出される情報であってよい。ステップＳＡ１３００において抽出された複数の指標は、ユーザ端末１００に記憶された撮影条件に従って評価されるように設定された評価指標のうちのいくつかについての情報であってよい。具体例として、複数の指標は、瞳孔の位置情報、顔の輪郭情報などを含んでよいが、これらに限定されるものではない。

【0133】

複数の指標は、ランドマーク検出アルゴリズムを通して取得されてよい。例えば、ユーザ端末１００は、ランドマーク検出アルゴリズムを使用することによって、プレビュー画像における眼の位置を判定してよい。本明細書において、判定された眼の座標は、瞳孔の位置に関連する指標であってよい。

【0134】

複数の指標は、セグメンテーションモデルを使用して取得されてよい。例えば、ユーザ端末１００は、プレビュー画像をセグメンテーションモデルに入力してよく、プレビュー画像における眼の位置を判定してよい。本明細書において、判定された眼のエリアは、瞳孔の位置に関連する指標であってよい。

【0135】

複数の指標は、バウンディングボックス検出アルゴリズムを通して取得されてよい。例えば、ユーザ端末１００は、プレビュー画像をバウンディングボックス検出アルゴリズムに入力してよく、プレビュー画像における眼及び顔の位置を判定してよい。本明細書において、判定された眼のエリアは、瞳孔の位置に関連する指標であってよく、判定された顔のエリアは、顔が占める割合に関連する指標であってよい。

【0136】

【0137】

ステップＳＡ１３００において抽出された指標は、上記のいくつかの評価指標のうちのいくつかのための指標に関連してよい。少なくとも２つの指標が抽出される場合、２つの指標は、同じアルゴリズムによって抽出されてよく、又は、異なるアルゴリズムによって抽出されてよい。

【0138】

ステップＳＡ１４００において、ユーザ端末１００は、抽出された指標が適切な位置にあるかどうか判定してよい。端末コントローラ１５０は、端末記憶部１３０に記憶された撮影条件を参照して、抽出された指標がプレビュー画像における適切な位置にあるかどうか評価してよい。換言すると、端末コントローラ１５０は、抽出された指標が基準を満たすかどうか判定してよい。

【0139】

いくつかの実施形態によれば、ユーザ端末１００は、抽出された指標を撮影ガイダンスの位置と比較してよい。例えば、ユーザ端末１００が抽出された指標のピクセルの座標値を取得すると、これは、取得された座標値及び撮影ガイダンスの座標値が基準距離内で互いに離隔しているかどうか評価されてよい。代替的に、いくつかの実施形態によれば、ユーザ端末１００は、抽出された指標を予め記憶された基準と比較してよい。例えば、ユーザ端末１００が、複数の指標を用いてランドマークアルゴリズムを使用して分析された左眼の座標及び右眼の座標を取得した場合、取得された眼の座標が適切な位置として記憶されたピクセル値の範囲内であるかどうか評価されてよい。

【0140】

ステップＳＡ１５００において、ユーザ端末１００は、取得したプレビュー画像に関して顔の左右回転角を評価してよい。端末コントローラ１５０は、端末記憶部１３０に記憶されたアルゴリズムを使用して、取得したプレビュー画像に示される対象者の顔の左右回転角を計算してよく、端末記憶部１３０に記憶された撮影条件を参照して、顔の計算された左右回転角が適切な範囲内にあるかどうか判定してよい。

【0141】

ユーザ端末１００は、取得したプレビュー画像の少なくとも一部に対してステップＳＡ１５００を実行してよい。これは、プレビュー画像を取得した後に、次のプレビュー画像を取得するのにかかる時間が、１つのプレビュー画像に対してステップＳＡ１５００を実行するのにかかる時間より短い場合があるからである。

【0142】

ステップＳＡ１３００が実行されるプレビュー画像は、ステップＳＡ１５００が実行されるプレビュー画像と同じであってよい。代替的に、ステップＳＡ１３００が実行されるプレビュー画像は、ステップＳＡ１５００が実行されるプレビュー画像とは異なっていてよい。これは、ステップＳＡ１３００を実行するのにかかる時間が、ステップＳＡ１５００を実行するのにかかる時間と異なる場合があるからである。

【0143】

顔の左右回転角は、左右回転角検出アルゴリズム（ヨー推定アルゴリズム）を通して取得されてよく、又は、ランドマーク検出アルゴリズムを使用して取得された身体部位の位置を比較することによって計算されてよいが、これらに限定されるものではない。

【0144】

ユーザ端末１００は、顔の左右回転角が適切な範囲（すなわち、第１の基準値）内であるかどうか評価してよい。例えば、顔の左右回転角が第１の基準値に等しい又はそれより小さいかどうか評価することは、顔の左右回転角が±２度以内の角度であるかどうかに基づいてよいが、これに限定が課されるものではない。

【0145】

ステップＳＡ１６００において、ユーザ端末１００は、取得したプレビュー画像に関して顔の上下回転角を評価してよい。端末コントローラ１５０は、端末記憶部１３０に記憶されたアルゴリズムを使用して、取得したプレビュー画像に示される対象者の顔の上下回転角を計算してよく、端末記憶部１３０に記憶された撮影条件を参照して、顔の計算された上下回転角が適切な範囲内にあるかどうか判定してよい。

【0146】

ユーザ端末１００は、取得したプレビュー画像の少なくとも一部に対してステップＳＡ１６００を実行してよい。これは、プレビュー画像を取得した後に、次のプレビュー画像を取得するのにかかる時間が、１つのプレビュー画像に対してステップＳＡ１６００を実行するのにかかる時間より短い場合があるからである。

【0147】

ステップＳＡ１５００が実行されるプレビュー画像は、ステップＳＡ１６００が実行されるプレビュー画像と同じであってよい。代替的に、ステップＳＡ１５００が実行されるプレビュー画像は、ステップＳＡ１６００が実行されるプレビュー画像とは異なっていてよい。これは、ステップＳＡ１５００を実行するのにかかる時間が、ステップＳＡ１６００を実行するのにかかる時間と異なる場合があるからである。

【0148】

顔の上下回転角は、上下回転角検出アルゴリズム（ピッチ検出アルゴリズム、ＰＤＡ）を通して取得されてよく、又は、ランドマーク検出アルゴリズムを使用して取得された身体部位の位置を比較することによって計算されてよいが、これらに限定されるものではない。

【0149】

ユーザ端末１００は、顔の上下回転角が適切な範囲（第３の基準値）内にあるかどうか評価してよい。例えば、顔の上下回転角が第３の基準値に等しい又はそれより小さいかどうか評価することは、顔の上下回転角が±２度以内の角度であるかどうかに基づいてよいが、これに限定が課されるものではない。

【0150】

ステップＳＡ１７００において、ユーザ端末１００は、取得した画像に関して笑顔のレベルを評価してよい。端末コントローラ１５０は、端末記憶部１３０に記憶されたアルゴリズムを使用して、取得したプレビュー画像に示される対象者の顔の表情を分析し、笑顔のレベルを計算してよく、端末記憶部１３０に記憶された撮影条件を参照して、計算された笑顔のレベルが適切な範囲内にあるかどうか判定してよい。

【0151】

ユーザ端末１００は、取得したプレビュー画像の少なくとも一部に対してステップＳＡ１７００を実行してよい。これは、プレビュー画像を取得した後に、次のプレビュー画像を取得するのにかかる時間が、１つのプレビュー画像に対してステップＳＡ１７００を実行するのにかかる時間より短い場合があるからである。

【0152】

ステップＳＡ１７００が実行されるプレビュー画像は、ステップＳＡ１３００が実行されるプレビュー画像と同じであってよい。代替的に、ステップＳＡ１７００が実行されるプレビュー画像は、ステップＳＡ１３００が実行されるプレビュー画像とは異なっていてよい。これは、ステップＳＡ１７００を実行するのにかかる時間が、ステップＳＡ１３００を実行するのにかかる時間と異なる場合があるからである。

【0153】

笑顔のレベルは、顔面表情分析アルゴリズム（顔リーダ）を通して取得されてよく、又は、ランドマーク検出アルゴリズムを使用して取得された身体部位の位置を比較することによって計算されてよいが、これに限定が課されるものではない。

【0154】

ユーザ端末１００は、顔の笑顔のレベルが適切な範囲（第２の基準値）内にあるかどうか評価してよい。本明細書では、適切な範囲（すなわち、第２の基準値）は、人の表情が幸福になるにつれて眼の形状が変化することを防止するために設定された適切な範囲であってよい。例えば、笑顔のレベルが第２の基準値に等しい又はそれより小さいかどうか評価することは、笑顔のレベルが０．１に等しい又はそれより小さいかどうかに基づいてよいが、これに限定が課されるものではない。

【0155】

ユーザ端末１００に記憶された撮影条件に従って評価されるように設定された全ての評価指標が満たされたと判定されると、ステップＳＡ１８００においてユーザ端末１００は画像を取り込んでよい。

【0156】

ステップＳＡ１１００において提供される撮影ガイダンスに関連する全ての評価指標が満たされても、記憶された撮影条件に従って評価されるように設定された全ての評価指標が満たされたと判定されない場合には、ユーザ端末１００は画像を取り込まない。換言すると、ユーザ端末１００は、撮影ガイダンスと共に提供された評価指標に依存することなく、撮影条件に従って評価されるように設定された全ての評価指標が満たされたかどうか判定する。

【0157】

１つのプレビュー画像に関してユーザ端末１００に記憶された撮影条件に従って評価されるように設定された全ての評価指標が満たされたと判定されると、ステップＳＡ１８００においてユーザ端末１００は画像を取り込んでよい。代替的に、ステップＳＡ１８００において画像を取り込む前に、ユーザ端末１００に記憶された撮影条件に従って評価されるように設定された評価指標の各々が満たされたと判定されると、ステップＳＡ１８００においてユーザ端末１００は画像を取り込んでよい。

【0158】

ステップＳＡ１８００において画像を取り込むことは、条件が満たされたと判定された直後にユーザ端末１００によって取得されたプレビュー画像が、取り込まれた画像として記憶されることを意味してよく、又は、条件が満たされたかどうか判定されるときのプレビュー画像が、取り込まれた画像としてユーザ端末１００によって記憶されることを意味してよい。一方で、画像を自動的に取り込む動作の代わりに、ユーザ端末１００は、撮影条件が満たされたと判定された場合にユーザが画像を撮ることができるように、撮影ボタンをアクティブ化する、又は通知を提供してよい。

【0159】

以下では、説明の便宜のために、各実施形態による条件が満たされたときにユーザ端末１００が写真を撮ると説明しているが、例えば、写真を撮るために撮影ボタンがアクティブ化される又は通知が提供されるなどの変更がなされてもよい。

【0160】

加えて、いくつかの実施形態では、ユーザ端末１００は、画像が取り込まれる前に、周囲輝度を評価する段階をさらに実行してよい。端末コントローラ１５０は、端末のセンサ部（図示せず、例えば周囲光センサ）を通して、周囲輝度が適切な範囲内にあるかどうか判定してよい。

【0161】

ユーザ端末１００は、周囲輝度が適切な範囲（すなわち、第４の基準値）内であるかどうか評価してよい。本明細書では、適切な範囲（すなわち、第４の基準値）は：フラッシュを伴わなくても画像分析を可能にするのに十分な明るさを有するための適切な最低基準セット；及び取り込まれた画像の色分析に干渉しないための明るさを有する適切な最大基準セットを含んでよい。例えば、周囲輝度が第４の基準値に等しい又はそれより小さいかどうか評価することは、周囲輝度が１００~１０００ルクスの範囲内であるかどうかに基づいてよいが、これに限定が課されるものではない。

【0162】

加えて、いくつかの実施形態では、プレビュー画像に基づいて判定されたいくつかの評価指標のうちの少なくとも１つが、予め記憶された条件を満たさないと判定された場合には、ユーザ端末１００は撮影を行わない。本明細書では、満たされなかった評価指標についての情報が提供されてよい。本明細書では、提供される情報は、満たされなかった評価指標を報告する形態であってよく、又は、満たされなかった評価指標を満たすために望ましい動作をユーザに通知する形態であってよい。例えば、プレビュー画像に基づいて判定された顔の笑顔のレベルが予め定められた基準を超えると判定された場合、ユーザ端末１００は、ディスプレイを通して、「笑わないでください」というメッセージを提供してよい。

【0163】

加えて、撮影ガイダンスが提供されると仮定して上記の実施形態で動作全体が説明されてきたが、画像取得方法は、撮影ガイダンスを提供する段階が省略されて実行されてもよい。別個に、本明細書で説明する眼疾患管理システム１０は、正確に制御された環境において画像を取得する必要があり、そのため、ユーザ端末１００は、撮影ガイダンスを通してユーザの動作を適切に誘導し、それにより、改良された眼疾患管理を実行する。

【0164】

加えて、別の実施形態によれば、ユーザ端末１００の上記の動作は、眼疾患管理サーバ２００によって実行されてよい。眼疾患管理サーバ２００は、以下を内部に記憶してよい：複数の指標を抽出するためのアルゴリズム、及び関連する基準；上下回転角を検出するためのアルゴリズム、及び関連する基準；左右回転角を検出するためのアルゴリズム、及び関連する基準；及び笑顔のレベルを検出するためのアルゴリズム、及び関連する基準。ユーザ端末１００は、ユーザとの関連の観点でデータを受信及び提供するためのインタフェースとして機能してよい。ユーザ端末１００及び眼疾患管理サーバ２００はリアルタイムでリンクされ、眼疾患管理サーバ２００の独立した動作に応じて、ユーザ端末１００は、適切な撮影ガイダンスを提供してよく、取り込まれた画像を取得して、画像を眼疾患管理サーバ２００に伝送してよい。

【0165】

【0166】

図６は、一実施形態によって提供される撮影ガイダンスの形態及び動作を示す図である。以下では、入力／出力モジュール１４０がスマートフォンのディスプレイであると仮定して説明を行う。

【0167】

図６を参照すると、一実施形態によるユーザ端末１００は、固定の撮影ガイダンスを提供してよい。

【0168】

撮影ガイダンスは、第１のガイダンスＧ１、第２のガイダンスＧ２、第３のガイダンスＧ３、及び第４のガイダンスＧ４を含んでよい。第１のガイダンスＧ１は、対象者の右眼の適切な位置を示すために出力されてよい。第２のガイダンスＧ２は、対象者の左眼の適切な位置を示すために出力されてよい。第３のガイダンスＧ３は、対象者の顔の適切な左右回転角を示すために出力されてよい。第４のガイダンスＧ４は、対象者の顔の適切な網羅割合を示すために出力されてよい。

【0169】

第１のガイダンスＧ１は、対象者の右眼の適切な位置を直接的又は間接的に示すために出力されてよい。例えば、第１のガイダンスＧ１は、対象者の右眼が位置付けられる必要があるポイントに出力されてよく、それにより、ユーザが自身の右眼を第１のガイダンスＧ１に位置合わせすることを補助する。図面に示されるように、第１のガイダンスＧ１は、対象者の眼が適切な位置にあるときに虹彩エリアの縁部を示す形状を有して良い。代替的に、第１のガイダンスＧ１は、対象者の眼が適切な位置にあるときに瞳孔の位置を示す、又は対象者の眼の輪郭を示す形状を有してよい。

【0170】

具体例として、第１のガイダンスＧ１は十字形で提供されてよい。第１のガイダンスＧ１が十字形で提供される場合、第１のガイダンスＧ１は、眼の中心部が適切な位置に置かれている画像が、瞳孔センサを用いずに取り込まれるようにガイダンスを与えてよい。換言すると、第１のガイダンスＧ１が十字形で提供される場合、第１のガイダンスＧ１は、ユーザが自身の左眼の虹彩エリアの中心部を十字形の交差ポイントと一致させるのを誘導する機能を実行してよい。したがって、高精度の分析を実現するために適切な診断的画像が取得されてよい。

【0171】

第２のガイダンスＧ２は、対象者の左眼の適切な位置を直接的又は間接的に示すために出力されてよい。第２のガイダンスＧ２は、第１のガイダンスＧ１とは異なる部分を示すことを意図しているが、同じ又は同様の形状で提供されてよい。換言すると、第１のガイダンスＧ１が右の瞳孔を十字形で示すために出力される場合、第２のガイダンスＧ２は、左の瞳孔を十字形で示すために出力されてよい。

【0172】

第１のガイダンスＧ１及び第２のガイダンスＧ２は、ディスプレイ上に対称的に提供されてよい。第１のガイダンスＧ１及び第２のガイダンスＧ２は、第３のガイダンスＧ３に関して対称になるように提供されてよい。

【0173】

第３のガイダンスＧ３は、対象者の顔の左右回転角を直接的又は間接的に示すために出力されてよい。第３のガイダンスＧ３は、顔の左右回転角を数値的に示してよく、又は、顔の左右回転角をディスプレイの長さに沿って延びる鉛直線として示してよい。本明細書では、鉛直線は、対象者の両方の眼が第１のガイダンスＧ１及び第２のガイダンスＧ２にそれぞれ対応するときに顔の中の鼻が位置付けられる必要があるエリアを通過する鉛直線であってよく、顔の左右回転角は０度の角度である。

【0174】

第４のガイダンスＧ４は、対象者の顔が画像の中でなす適切な割合（部分）を直接的又は間接的に示すために出力されてよい。第４のガイダンスＧ４は、画像において対象者の顔が構成する状態を示す画像が取り込まれるようにガイダンスを与えるために、対象者の顔が位置付けられる必要があるエリアを円形状で示し、又は、対象者の顔及びユーザ端末１００の間の距離を示す。

【0175】

第１のガイダンスＧ１、第２のガイダンスＧ２、及び第４のガイダンスＧ４は、上で説明したステップＳＡ１４００において判定される評価指標に関連付けられてよい。第３のガイダンスＧ３は、上で説明したステップＳＡ１５００において判定される評価指標に関連付けられてよい。

【0176】

【0177】

一実施形態によれば、ユーザ端末１００は、固定の撮影ガイダンス及びプレビュー画像を分析することによって取得された情報に基づいて生成されるリアルタイムの撮影ガイダンスＲＧを一緒に提供してよい。

【0178】

リアルタイムの撮影ガイダンスＲＧは、ユーザ端末１００に提供される撮影ガイダンスに関連する評価指標のために生成されてよい。

【0179】

例えば、リアルタイムの撮影ガイダンスＲＧは、ユーザ端末１００によって提供される撮影ガイダンスに関連する全ての評価指標のために生成されてよい。ユーザ端末１００が４つの評価指標のための撮影ガイダンスを提供する場合、４つの評価指標のためのリアルタイムの撮影ガイダンスＲＧが提供されてよい。別の例として、ユーザ端末１００によって提供される撮影ガイダンスに関連する評価指標のうちのいくつかのためにリアルタイムの撮影ガイダンスＲＧが生成されてよい。ユーザ端末１００が４つの評価指標のための撮影ガイダンスを提供する場合、評価指標のうちの２つのためのリアルタイムの撮影ガイダンスＲＧが提供されてよい。

【0180】

リアルタイムの撮影ガイダンスＲＧは、撮影ガイダンスに対応する形状で提供されてよい。換言すると、撮影ガイダンスは鉛直線の形状である場合、それに対応するリアルタイムの撮影ガイダンスＲＧも鉛直線の形状であってよい。撮影ガイダンスが十字形である場合、それに対応するリアルタイムの撮影ガイダンスＲＧも十字形であってよい。

【0181】

対応する評価指標が満たされたかどうかに応じて、リアルタイムの撮影ガイダンスＲＧの少なくとも１つの特性が変更されてよい。リアルタイムの撮影ガイダンスＲＧに対応する評価指標が、予め記憶された基準を満たすと判定された場合、ユーザ端末１００は、以前に提供されたその特性を変更することによってリアルタイムの撮影ガイダンスＲＧを提供してよく、それにより、ユーザは条件が満たされたかどうかを容易に認識することが可能になる。特性の変更は、点線から実線への変更、色の変更、又は線の太さの変更であってよいが、これらに限定されるものではない。

【0182】

一実施形態によれば、ユーザ端末１００は、プレビュー画像を分析して、評価指標に対応する値（例えば、瞳孔の位置及び顔の左右回転角）を取得してよく、評価指標に対応する値が基準を満たすかどうか評価してよく、評価した値に基づいてリアルタイムの撮影ガイダンスＲＧを提供してよい。

【0183】

別の実施形態によれば、ユーザ端末１００は、プレビュー画像を分析して、評価指標に対応する値（例えば、瞳孔の位置及び顔の左右回転角）を取得してよく、対応するリアルタイムの撮影ガイダンスＲＧを提供してよく、リアルタイムの撮影ガイダンスＲＧを撮影ガイダンスと比較して、評価指標に対応する値が基準を満たすかどうか評価してよい。

【0184】

【0185】

図７は、一実施形態によって提供されるリアルタイム撮影ガイダンスの形態及び動作を示す図である。以下では、ユーザ端末１００を通して、第３のガイダンスＧ３及び第３のガイダンスＧ３に関連付けられるリアルタイムの撮影ガイダンスＲＧを提供する動作を説明する。

【0186】

一実施形態によれば、第３のガイダンスＧ３は、鉛直線の形状で提供されてよい。いくつかの実施形態によれば、第３のガイダンスＧ３は、顔の左右回転角が数値的に提供されるような方法で実現されてよいが、ユーザが姿勢をどのように正すべきかが直感的に理解されないという問題がある。これを解決するために、第３のガイダンスＧ３と同様に、顔の左右回転角はディスプレイ上の鉛直線として示されてよい。例えば、第３のガイダンスＧ３は、ディスプレイの幅に関して中心部を通過し、ディスプレイの長さに沿って延びる鉛直線として提供されてよい。

【0187】

第３のガイダンスＧ３が固定の撮影ガイダンスとして提供される一方、ユーザ端末１００は、顔の左右回転角のためのリアルタイムの撮影ガイダンスＲＧを提供してよい。

【0188】

プレビュー画像における顔の左右回転角が０度の角度である場合、リアルタイムの撮影ガイダンスＲＧは、ディスプレイの幅の中心部を通過し、ディスプレイの長さに沿って延びる鉛直線として提供されてよい。プレビュー画像における顔の左右回転角が９０度の角度である場合、リアルタイムの撮影ガイダンスＲＧは、ディスプレイの幅に関して４分の１のポイントを通過し、ディスプレイの長さに沿って延びる鉛直線として提供されてよい。ユーザ端末１００は、プレビュー画像における顔の左右回転角ごとにディスプレイの幅のポイントを等しく示すために、顔の左右回転角ごとに鉛直線の位置を記憶する。リアルタイムの撮影ガイダンスＲＧは、顔の左右回転角に応じてディスプレイの長さに沿って延びる鉛直線の形状で提供されてよい。

【0189】

図７の（ａ）を参照すると、第３のガイダンスＧ３が提供されている間にユーザ端末１００はプレビュー画像を取得する。取得したプレビュー画像は、顔の左右回転角を計算するために分析されてよく、計算された顔の左右回転角に対応するリアルタイムの撮影ガイダンスＲＧが提供されてよい。

【0190】

対象者の顔は左側を向くため、リアルタイムの撮影ガイダンスＲＧは、第３のガイダンスＧ３と比較して、ユーザ端末１００の幅に関して右側に位置付けられる。本明細書では、取得された顔の左右回転角は適切な範囲（すなわち、第１の基準値）を満たさず、リアルタイムの撮影ガイダンスＲＧは点線として示される。

【0191】

プレビュー画像における顔の左右回転角が第１の基準値を満たさないため、ユーザ端末１００は、ディスプレイを通して、第１の基準値を満たすためにユーザが実行する必要がある動作を提供してよい。例えば、提供される追加の撮影ガイダンスは、「真ん中の線と位置合わせするように、顔の長さの中心線を左右に動かしてください」であってよい。

【0192】

図７の（ｂ）を参照すると、対象者の顔は前方を見ているため、リアルタイムの撮影ガイダンスＲＧは、第３のガイダンスＧ３と同様に、ユーザ端末１００の幅に関して中心部に位置付けられる。取得された顔の左右回転角は適切な範囲（すなわち、第１の基準値）を満たし、リアルタイムの撮影ガイダンスＲＧは実線で示される。

【0193】

プレビュー画像における顔の左右回転角が第１の基準値を満たすため、ユーザ端末１００は任意で情報をユーザに提供してよい。例えば、自動撮影を実行する間、ユーザ端末１００は、ディスプレイを通して、「自動撮影を実行中」を提供してよい。

【0194】

【0195】

眼疾患管理のための画像が取得されると、ユーザ端末１００は、画像を眼疾患管理サーバ２００に伝送してよい。代替的に、眼疾患管理のための画像が取得されると、ユーザ端末１００は画像分析を実施してよい。画像を分析することによって眼疾患の可能性を予測する方法、及び、可能性に基づいてユーザに対して病院訪問ガイダンスを提供する方法を後に説明する。

【0196】

【0197】

眼疾患管理（例えば、予測）のための画像が取得されると、ユーザ端末１００は、ディスプレイを通して画像を出力してよい。例えば、画像が取得されると、ユーザ端末１００は、画像を分析して、画像における眼の位置を判定してよく、画像が眼及び眼の周辺部を含むように画像をクロッピングしてよく、クロッピングされた画像を、ディスプレイを通して出力してよい。

【0198】

いくつかの実施形態では、眼疾患管理サーバ２００は、画像を分析して眼を検出する動作、及び画像が眼及び眼の周辺部を含むように画像をクロッピングする動作を実行してよい。代替的に、ユーザ端末１００は、画像を分析して眼を検出する動作、及び画像が眼及び眼の周辺部を含むように画像をクロッピングする動作を実行して良い。

【0199】

眼を検出するために、ユーザ端末１００及び／又は眼疾患管理サーバ２００は、検出アルゴリズムを内部に記憶してよい。例えば、検出アルゴリズムはランドマーク検出アルゴリズム又はセグメンテーションモデルであってよいが、これらに限定されるものではない。

【0200】

本実施形態では、眼の画像が不適切に取り込まれているかどうかをユーザが肉眼でチェックすることが可能になるように、取り込まれた画像はユーザに提供される。必要であれば、再撮影が実行されてよい。したがって、画像の不適切さに起因する診断の精度の悪化を解決することが可能になる。

【0201】

加えて、本実施形態では、取り込まれた画像がクロッピングされて提供されるため、ユーザは、画像を肉眼でチェックするときに眼をチェックすることに、より集中することが可能になる。したがって、画像の不適切さに起因する診断の精度の悪化を解決することが可能になる。

【0202】

【0203】

図８は、一実施形態による、ユーザ端末を用いて画像を撮った後のディスプレイ画面を示す図である。

【0204】

ユーザ端末１００は、ディスプレイを通して、クロッピングされた画像インタフェースＣＩＩ、確認インタフェースＣＩ、再撮影インタフェースＲＩＩ、及び質問入力インタフェースＱＩＩを提供してよい。

【0205】

クロッピングされた画像インタフェースＣＩＩは、取り込まれた画像の部分エリアを示し、部分エリアは眼を含むエリアであってよい。

【0206】

眼疾患分析においては適切な明るさを維持することが重要であるため、確認インタフェースＣＩは、画像が過剰に明るい又は暗いかどうか、及び両方の眼が同じ明るさで取り込まれているかどうかをチェックするためのインタフェースであってよい。確認インタフェースＣＩは、各項目に対する応答を受信するためのエリアをさらに含んでよい。例えば、画像が実際の見た目よりも過剰に明るい又は暗いかどうかについての応答エリア、及び両方の眼が同じ明るさで取り込まれているかどうかについての応答エリアが、ディスプレイを通して提供されてよい。

【0207】

再撮影インタフェースＲＩＩは、ユーザが、クロッピングされた画像及び／又は確認項目をチェックした後に再撮影を実行することを望む場合にユーザが再撮影機能を実行するために提供される選択インタフェースであってよい。再撮影インタフェースＲＩＩは、確認インタフェースＣＩの応答エリアに対応するユーザ入力があるかどうかにかかわらずアクティブ化される。ユーザ端末１００が再撮影インタフェースＲＩＩの選択のユーザ入力を取得すると、再撮影動作が実行されてよい。

【0208】

質問入力インタフェースＱＩＩは、ユーザが、クロッピングされた画像及び／又は確認項目をチェックした後に次の段階に進むことを望むときにユーザが入力するために提供される選択インタフェースであってよい。質問入力インタフェースＱＩＩは、確認インタフェースＣＩの応答エリアに対応するユーザ入力がある場合にアクティブ化されるインタフェースであってよい。具体的には、適切な応答が確認インタフェースＣＩに入力されないと判定された場合、質問入力インタフェースＱＩＩを選択するユーザ入力が取得された場合であっても、ユーザ端末１００が適切な動作を実行しない場合がある。

【0209】

【0210】

［（２）画像取得方法－第２の例示的な実施形態］

【0211】

甲状腺眼症を正確に予測するために、顔の左右回転角及び顔の上下回転角が適切な範囲内に維持しながら画像を取得することが重要である。これは、同じ眼を撮影したときでも、画像を取り込む時点での顔の左右回転角及び／又は顔の上下回転角に応じて眼の形状が変化し得るからである。これは、甲状腺眼症の可能性の予測又は突出の度合いの分析における精度の低下の要因として作用し得る。

【0212】

しかしながら、スマートフォンを使用して画像を取得する場合、顔の左右回転角及び／又は顔の上下回転角を分析するためのアルゴリズムを選択するにあたり、スマートフォンのＣＰＵ仕様（例えば、動作速度）を考慮する必要がある。したがって、低スループットのアルゴリズムを使用することによって顔の左右回転角及び／又は顔の上下回転角を一貫してモニタリングする方法の開発の必要性がある。

【0213】

特に、顔の左右回転角は顔の対称性を通してある程度判定され得るが、顔の上下回転角は、画像から検出された眼、鼻、及び口（例えば、ランドマーク検出アルゴリズムを通して検出された身体部位）の位置に基づいて計算する必要がある。したがって、顔の上下回転角を一貫してモニタリングする方法を開発する必要がある。

【0214】

したがって、対象者の正しい姿勢の画像を基準画像ＲＩとして選択し、基準ガイダンスＲＧを生成及び提供し、基準ガイダンスＲＧを満たす画像を取得することにより、顔の左右回転角及び／又は上下回転角が一貫して維持されている、取り込まれた画像を取得する方法を説明する。

【0215】

しかしながら、以下の実施形態の説明において、顔の上下回転角についてのガイダンスを与えるための基準ガイダンスＲＧが提供される実施形態が一例として説明され、顔の左右回転角についてのガイダンスを与えるための基準ガイダンスＲＧが提供される一実施形態は詳細に説明されない。しかしながら、顔の左右回転角についてのガイダンスを与えるための基準ガイダンスＲＧは、顔の幅に沿って互いに離隔された複数の基準ガイダンス指標に関連する基準ガイダンスＲＧが提供されるような方法で実装され、この動作は、後に説明される、上下回転角についてのガイダンスを与える動作と同様に実行されてよいため、詳細に説明されない実施形態は、実装されるために十分に説明されていると理解される。

【0216】

同様に、顔の左右回転角及び上下回転角の両方についてのガイダンスを与えるための基準ガイダンスＲＧが提供される一実施形態は詳細に説明されないが、顔の長さに沿って互いに離隔された複数の基準ガイダンス指標に関連する基準ガイダンスＲＧ及び顔の幅に沿って互いに離隔された複数の基準ガイダンス指標に関連する基準ガイダンスＲＧが提供するような方法で実装される。この動作は、後に説明される、上下回転角についてのガイダンスを与える動作と同様に実行されてよいため、詳細に説明されない実施形態は、実装されるために十分に説明されていると理解される。

【0217】

【0218】

図９は、一実施形態による画像取得方法を示す図である。

【0219】

ユーザは基準画像ＲＩを撮ってよい（図９の１日目を参照されたい）。

【0220】

基準画像ＲＩは、眼疾患管理システム１０が提案する環境において取り込まれてよい。例えば、基準画像ＲＩは、ユーザが自身の背中を壁にもたらせながら取り込まれた画像であってよい。基準画像ＲＩは、第１の例示的な実施形態による画像取得方法を使用して取り込まれた画像であってよい。基準画像ＲＩは、病院において医療スタッフ（例えば、看護師）によって取り込まれた画像であってよい。基準画像ＲＩは、以前に取得下診断的画像（すなあｗち、取り込まれた画像）のうち、撮影条件を満たすものとして後に評価された画像であってよい。

【0221】

基準画像ＲＩは、基準ガイダンスＲＧを生成するために分析される。基準ガイダンスＲＧを生成する方法は、以下で詳細に説明する。

【0222】

基準ガイダンスＲＧ（ＲＩ）は、少なくとも２つのポイントについてのガイダンスを与えてよい。例えば、基準ガイダンスＲＧは、第１の基準ガイダンスＲＧ１及び第２の基準ガイダンスＲＧ２を含んでよい。

【0223】

生成された基準ガイダンスＲＧは、ユーザ端末１００の端末記憶部１３０に記憶されてよい。

【0224】

ユーザ端末１００は、基準ガイダンスＲＧを提供してよい（図９の２日目を参照されたい）。ユーザ端末１００は、眼疾患管理のための画像取得動作を実行する時点で基準ガイダンスＲＧを提供してよい。

【0225】

一実施形態によれば、画像取得動作が実行されると、ユーザ端末１００は、ディスプレイを通して、記憶された基準ガイダンスＲＧを提供する。別の実施形態によれば、画像取得動作が実行されると、ユーザ端末１００は、基準ガイダンスＲＧ及び撮影ガイダンスを一緒に提供してよい。基準ガイダンスＲＧはプレビュー画像に提供される。

【0226】

【0227】

図１０は、一実施形態による基準ガイダンスを生成する動作を示す図である。

【0228】

ユーザ端末１０は、ステップＳＢ９１００において基準画像ＲＩを取得してよく、ステップＳＢ９１００において、取得下基準画像ＲＩに基づいて基準ガイダンス指標を抽出してよく、ステップＳＢ９３００において基準ガイダンスＲＧを生成してよい。

【0229】

ステップＳＢ９１００における基準画像ＲＩの取得は、本明細書の一実施形態による画像取得方法を通して実行されてよい。例えば、基準画像ＲＩは、図５を参照して説明した画像取得方法を使用して取得されてよい。いくつかの実施形態によれば、基準画像ＲＩは、甲状腺眼症の発症前に取り込まれた画像であってよい。

【0230】

ユーザ端末１００は、ＳＢ９２００において基準画像ＲＩを分析することによって基準ガイダンス指標を抽出してよい。基準ガイダンス指標は、顔の前部に示され得る身体部位に関連し、少なくとも２つの基準ガイダンス指標が取得されてよい。

【0231】

顔の上下回転角についてのガイダンスを与えるための基準ガイダンス指標は、顔の長さに沿って互いに離隔された少なくとも２つのポイントに関連する。顔の左右回転角についてのガイダンスを与えるための基準ガイダンス指標は、顔の幅に沿って互いに離隔された少なくとも２つのポイントに関連する。

【0232】

基準ガイダンス指標は、鼻の先端部に対応する位置情報及び眼に対応する位置情報であってよい。本明細書では、「位置情報」は、画像における位置を示すための情報であり、例えば、ランドマーク検出アルゴリズムを通して取得された身体部位の座標値であってよい。代替的に、基準ガイダンス指標は、下顎の先端部に対応する位置情報及び眼に対応する位置情報であってよい。しかしながら、眼疾患管理システム１０がモニタリングする疾患が甲状腺眼症であるため、眼は眼球の突出に起因して形状が変更され得るので、基準ガイダンス指標は眼に関連しない身体部位に設定されることが比較的好ましい。

【0233】

基準ガイダンス指標は、鼻の先端部に対応する位置情報及び唇に対応する位置情報であってよい。代替的に、基準ガイダンス指標は、下顎の先端部に対応する位置情報及び唇に対応する位置情報であってよい。しかしながら、基準ガイダンス指標に関連する身体部位は、画像を取得する動作における撮影条件としてモニタリングされるので、基準ガイダンス指標は、大きな動きに関与する、唇などの部位に関連しない身体部位に設定されることが比較的好ましい。

【0234】

基準ガイダンス指標は、鼻の先端部に対応する位置情報及び下顎の先端部に対応する位置情報であってよい。顔の上下回転角についてのガイダンスを与えるための基準ガイダンス指標は、鼻の先端部に対応する位置情報及び下顎の先端部に対応する位置情報であってよい。しかしながら、これに限定されることなく、基準ガイダンス指標は、顔の前部に示され得る身体部位であり、少なくとも２つのポイントを含むように選択されてよい。

【0235】

ステップＳＢ９３００において、ユーザ端末１００は基準ガイダンスＲＧを生成してよい。基準ガイダンスＲＧは、基準画像ＲＩから抽出された基準ガイダンス指標に対応するポイントをディスプレイ上のドットとして示す形態であってよく、又は、基準画像ＲＩから抽出された基準ガイダンス指標に対応するポイントを通過する線の形態で示されてもよい。

【0236】

一実施形態によれば、ユーザ端末１００が、顔の上下回転角についてのガイダンスを与えるために基準ガイダンスＲＧを提供する場合、基準ガイダンスＲＧは以下を含んでよい：第１の基準ガイダンス指標に対応するポイントを通過し、ディスプレイの幅に沿って延びる第１の基準ガイダンスＲＧ１；及び第２の基準ガイダンス指標に対応するポイントを通過し、ディスプレイの幅に沿って延びる第２の基準ガイダンスＲＧ２。

【0237】

別の実施形態によれば、ユーザ端末１００が、顔の左右回転角についてのガイダンスを与えるために基準ガイダンスＲＧを提供する場合、基準ガイダンスＲＧは以下を含んでよい：第１の基準ガイダンス指標に対応するポイントを通過し、ディスプレイの長さに沿って延びる第１の基準ガイダンスＲＧ１；及び第２の基準ガイダンス指標に対応するポイントを通過し、ディスプレイの長さに沿って延びる第２の基準ガイダンスＲＧ２。

【0238】

ユーザ端末１００は、ステップＳＢ９１００～ＳＢ９３００を通して取得した基準ガイダンスＲＧを端末記憶部１３０に記憶してよい。記憶された基準ガイダンスＲＧは、ユーザ端末１００が眼疾患管理のための画像取得動作を実行する度に、ディスプレイ上に提供されてよい。代替的に、ユーザ端末１００は、基準ガイダンスＲＧが提供されていない間に眼疾患を予測するための画像を取り込み、取り込まれた画像を分析して、画像が基準ガイダンスＲＧを満たす写真であるかどうか事後評価する。事後評価された取り込まれた画像が、基準ガイダンスＲＧに関連する基準を満たさない場合、「撮影条件が満たされているが、写真が前回の写真とは異なる特性を有するので、顔の上下回転角が０度の角度であるかどうかが疑わしい」というメッセージがディスプレイを通して示される。本明細書では、ユーザ端末１００は、ディスプレイを通して再撮影インタフェースＲＩＩを提供してよい。

【0239】

一実施形態によれば、ユーザ端末１００にダウンロードされた眼疾患管理アプリケーション１３１が実行されると、ユーザ端末１００は、基準画像ＲＩを取得するためのインタフェースを提供してよく、基準ガイダンスＲＧを生成してよい。換言すると、眼疾患管理アプリケーション１３１がユーザ端末１００にダウンロードされた後に最初に実行された時点で、ユーザ端末１００は、基準画像ＲＩを取得するためにインタフェースを提供してよく、基準ガイダンスＲＧを生成してよい。後に、新たな基準画像ＲＩが取得されるまで、ユーザ端末１００は、眼疾患管理アプリケーション１３１を通して画像が取り込まれる度に、記憶された基準ガイダンスＲＧを提供してよい。本実施形態では、特に、基準ガイダンス指標は眼を含まない。これは、眼が突出すると、眼及び他の指標の間の距離が近いと分析され得、したがって、基準ガイダンスＲＧを通して歪みが生じ得るからである。

【0240】

別の具体的な実施形態によれば、ユーザ端末１００にダウンロードされた眼疾患管理アプリケーション１３１を通して画像が取り込まれると、以前に取り込まれた画像を分析することによって生成された基準ガイダンスＲＧがディスプレイを通して提供されてよい。基準ガイダンスＲＧが提供される間に画像が取り込まれると、ユーザ端末１００は、取り込まれた画像を眼疾患管理サーバ２００に伝送してよい。ユーザ端末１００及び／又は眼疾患管理サーバ２００は、現在取り込まれた画像を使用して基準ガイダンスＲＧを再度生成してよく、眼疾患管理のための次の画像を取り込む時点で、現在取り込まれた画像から取得された基準ガイダンスＲＧを提供してよい。換言すると、取り込まれた画像が取得されると、ユーザ端末１００は、取り込まれた画像が取得される度に基準ガイダンスＲＧが生成され、次の取り込まれた画像が取得されるときに基準ガイダンスＲＧが提供されるように、新たに生成された基準ガイダンスＲＧを端末記憶部１３０に記憶してよい。

【0241】

一実施形態によれば、画像取得動作が実行されると、ユーザ端末１００は、ディスプレイを通して、記憶された基準ガイダンスＲＧを提供してよい。別の実施形態によれば、画像取得動作が実行されると、ユーザ端末１００は、基準ガイダンスＲＧ及び撮影ガイダンスを一緒に提供してよい。

【0242】

図１１は、一実施形態による画像取得方法を示す図である。

【0243】

ユーザ端末１００は、ステップＳＢ１１００において撮影ガイダンス及び基準ガイダンスＲＧを提供してよく、ステップＳＢ１２００においてプレビュー画像を取得してよく、ステップＳＢ１３００において複数の指標を抽出してよく、ステップＳＢ１４００において、抽出された指標が適切な位置にあるかどうか判定してよく、ステップＳＢ１５００において顔の左右回転角を評価してよく、ステップＳＢ１６００において画像を取り込んでよい。

【0244】

本明細書では、図１１のＳＢ１２００、ＳＢ１５００、及びＳＢ１６００は、図５のＳＡ１２００、ＳＡ１５００、及びＳＡ１８００と同様に実行されてよく、そのため、冗長な説明は省略する。

【0245】

図１２を参照すると、ユーザ端末１００は、ディスプレイを通して、第１のガイダンスＧ１、第２のガイダンスＧ２、第３のガイダンスＧ３、第１の基準ガイダンスＲＧ１、及び第２の基準ガイダンスＲＧ２を提供してよい。第１のガイダンスＧ１、第２のガイダンスＧ２、及び第３のガイダンスＧ３は図６を参照して説明され、第１の基準ガイダンスＲＧ１及び第２の基準ガイダンスＲＧ２は図９を参照して説明されているので、詳細な説明は省略する。

【0246】

第１の基準ガイダンスＲＧ１及び第２の基準ガイダンスＲＧ２は、図９に示されるような平行な水平線として示されてよく、又は、ドットガイダンスとして基準ガイダンス指標に対応する位置を示すように示されてよい。

【0247】

【0248】

再び図１１を参照すると、ユーザ端末１００は、撮影ガイダンス及び基準ガイダンスＲＧが提供されている間にプレビュー画像を取得してよく、ステップＳＢ１３００において、取得したプレビュー画像のための複数の指標を抽出してよい。

【0249】

ユーザ端末１００は、基準ガイダンスＲＧに関連する複数の指標をプレビュー画像から抽出してよい。ユーザ端末１００は、基準ガイダンス指標に関連する複数の指標をプレビュー画像から抽出してよい。

【0250】

本明細書では、基準ガイダンスＲＧに関連する複数の指標は、基準ガイダンスＲＧ及び／又は基準ガイダンス指標に対応する同じ身体部位の位置情報であってよく、又は、同様の身体部位の位置情報であってよい。具体例として、基準ガイダンスＲＧが鼻の先端部の位置情報に基づいて生成される場合、基準ガイダンスＲＧに関連する複数の指標は、鼻の先端部の位置情報から抽出されてよい。別の具体例として、基準ガイダンスＲＧが眼の位置情報に基づいて生成される場合、基準ガイダンスＲＧに関連する複数の指標は、瞳孔の位置情報から抽出されてよい。

【0251】

ユーザ端末１００は、撮影ガイダンスに対応する１つ又は複数の指標を抽出してよく、基準ガイダンスＲＧに対応する複数の指標の全てを抽出してよい。具体的に図１２を参照すると、ユーザ端末１００は、第１のガイダンスＧ１及び第２のガイダンスＧ２に対応する両方の眼を検出して複数の指標を抽出してよく、第１の基準ガイダンスＲＧ１及び第２の基準ガイダンスＲＧ２に対応する鼻の先端部及び下顎の先端部を検出して複数の指標を抽出してよい。

【0252】

ステップＳＢ１４００において、ユーザ端末１００は、抽出された指標が適切な位置にあるかどうか判定してよい。端末コントローラ１５０は、端末記憶部１３０に記憶された撮影条件を参照して、抽出された指標がプレビュー画像における適切な位置にあるかどうか評価してよい。換言すると、端末コントローラ１５０は、抽出された指標が基準を満たすかどうか判定してよい。

【0253】

撮影ガイダンスに関連する抽出された指標が適切な位置にあるかどうか判定する方法は、図５を参照して説明したので、詳細な説明は省略する。

【0254】

いくつかの実施形態によれば、ユーザ端末１００は、基準ガイダンスＲＧに関連する抽出された指標を基準ガイダンスＲＧの位置と比較してよい。例えば、ユーザ端末１００が基準ガイダンスＲＧに関連する抽出された指標のピクセルの座標値を取得する場合、取得された座標値及び基準ガイダンスＲＧの座標値が基準距離内で互いに離隔しているかどうか評価されてよい。代替的に、いくつかの実施形態によれば、ユーザ端末１００は、抽出された指標間の距離を基準ガイダンス指標間の距離と比較してよい。例えば、ユーザ端末１００が、複数の指標を使用することによって鼻の先端部の座標及び下顎の先端部座標を取得する場合、ユーザ端末１００は、２つのポイント間の分離距離を計算してよく、取得された分離距離、及び基準ガイダンス指標間の分離距離が予め定められた範囲内で異なるかどうか評価してよい。ステップＳＢ１４００において複数の指標の位置が基準を満たしていると判定され、ステップＳＢ１５００において顔の左右回転角が基準を満足す場合、ステップＳＢ１６００においてユーザ端末１００は画像を取り込んでよい。この場合、顔の上下回転角が分析されなくても、対応する効果が取得され得る。

【0255】

【0256】

ユーザ端末１００は、撮影ガイダンス及び基準ガイダンスＲＧが提供される間にプレビュー画像を取得してよい。取得したプレビュー画像を分析することにより、画像が取り込まれてよい、又は追加のガイダンスが提供されてよい。

【0257】

図１３の（ａ）を参照すると、対象者の顔は下を向いているため、プレビュー画像から抽出された鼻の先端部及び下顎の先端部の間の距離は、第１の基準ガイダンスＲＧ１及び第２の基準ガイダンスＲＧ２の間の距離より短い。プレビュー画像における鼻の先端部の位置情報は第１の基準ガイダンスＲＧ１に対応するが、プレビュー画像における下顎の先端部の位置情報が第２の基準ガイダンスＲＧ２に対応しない。

【0258】

プレビュー画像における顔の上下回転角が第３の基準値を満たさないため、ユーザ端末１００は、第３の基準値を満たすためにユーザが実行する必要がある動作を、ディスプレイを通して提供してよい。例えば、提供される追加の撮影ガイダンスは、「顔を上向きにして、鼻及び下顎の先端部をガイダンスと位置合わせしてください」であってよい。

【0259】

図１３の（ｂ）を参照すると、対象者の顔は前方を向いているため、プレビュー画像から抽出された鼻の先端部及び下顎の先端部の間の距離は、第１の基準ガイダンスＲＧ１及び第２の基準ガイダンスＲＧ２の間の距離に等しい。プレビュー画像における鼻の先端部の位置情報は第１の基準ガイダンスＲＧ１に対応し、プレビュー画像における下顎の先端部の位置情報は第２の基準ガイダンスＲＧ２に対応する。

【0260】

プレビュー画像における顔の上下回転角が第３の基準値を満たすため、ユーザ端末１００は、ユーザに任意で情報を提供してよい。例えば、自動撮影を実行する間、ユーザ端末１００は、ディスプレイを通して、「自動撮影を実行中」を提供してよい。

【0261】

一実施形態によれば、ユーザ端末１００の上記の動作は眼疾患管理サーバ２００によって実行されてよい。ユーザ端末１００は、ユーザとの関連の観点でデータを受信及び提供するためのインタフェースとして機能してよい。ユーザ端末１００及び眼疾患管理サーバ２００はリアルタイムでリンクされ、眼疾患管理サーバ２００の独立した動作に応じて、ユーザ端末１００は、適切な撮影ガイダンスＲＧを提供してよく、取り込まれた画像を取得して、画像を眼疾患管理サーバ２００に伝送してよい。

【0262】

【0263】

［（３）画像取得方法－第３の例示的な実施形態］

【0264】

甲状腺眼症管理システム１０は、健康管理のために甲状腺眼症の可能性を予測する動作を実行してよく、甲状腺眼症によって引き起こされる突出の度合いをモニタリングする動作を実行してよい。特に、甲状腺眼症管理システム１０が、甲状腺眼症のための医薬品を開発する製薬会社による臨床試験に使用される場合、薬の摂取による「治療の進行」をデータとして残すことが必要であるため、甲状腺眼症を予測する動作及び突出の度合いをモニタリングする動作が同時に実行されることが推奨される。

【0265】

しかしながら、甲状腺眼症によって引き起こされる突出の度合いを肉眼で、又は画像分析を通してチェックするためには顔の側方画像ＳＩが要求されるが、一般の人々が医療スタッフの助けを伴わずに顔の側方画像ＳＩを正確に撮ることは困難である。特に、関連技術において、顔の突出の度合いを分析するために、カメラを用いて下から上向きに顔を撮影することによって画像が取得される。しかしながら、一貫した画像を撮ることが不可能であり、さらに、患者は、自身の顔を下から撮った写真を記録することを望まないため、商業科及びサービス適用が困難である。

【0266】

以下では、顔の正面画像及び側方画像ＳＩを取得する画像取得方法を詳細に説明する。

【0267】

【0268】

図１４は、一実施形態による画像取得方法を示す図である。

【0269】

本実施形態は、正面画像ＦＩが最初に取得され、それに応じてパノラマガイダンスが生成及び提供され、パノラマガイダンスに基づいてモニタリング状態で側方画像ＳＩが取得される方法に関連する。

【0270】

加えて、本実施形態では、顔の正面画像ＦＩが取り込まれると、生成されたパノラマガイダンスに従ってユーザ端末１００が移動するよう誘導されることが説明される。この場合、顔の正面画像ＦＩが取り込まれたときの顔及びユーザ端末１００の間の距離は、顔の側方画像ＳＩが取り込まれるときに維持されるので、突出の度合いの分析において正面画像ＦＩにおける虹彩のサイズを使用することができることは非常に有利である。したがって、側方画像ＳＩを分析することによって眼球突出の度合いを予測することが可能となる。

【0271】

【0272】

図１５は、一実施形態による画像取得方法を示す図である。

【0273】

ステップＳＣ１１００において、ユーザ端末１００は正面画像ＦＩを取得してよい。例えば、正面画像ＦＩは、第１の例示的な実施形態による画像取得方法を使用して取り込まれてよい。

【0274】

正面画像ＦＩは、第１の撮影条件を満たすためにガイダンスが与えられる間に取得されてよい。例えば、第１の撮影条件を満たすことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置されていることを意味してよい。別の例として、第１の撮影条件を満たすことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置され、対象者の顔の左右回転角が予め定められた第１の基準値を超えないことを意味してよい。さらに別の例として、第１の撮影条件を満たすことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置され、対象者の顔の左右回転角が予め定められた第１の基準値を超えず、対象者の顔面表情情報に基づく対象者の笑顔のレベルが予め定められた第２の基準値を超えないことを意味してよい。さらに別の例として、第１の撮影条件を満たすことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置され、対象者の顔の左右回転角が予め定められた第１の基準値を超えず、対象者の顔面表情情報に基づく対象者の笑顔のレベルが予め定められた第２の基準値を超えず、対象者の顔の上下回転角が予め定められた第３の基準値を超えないことを意味してよい。さらに別の例として、第１の撮影条件を満足すことは、対象者の両方の眼が第１の取り込まれた画像において予め定められたエリアに配置され、対象者の顔の左右回転角が予め定められた第１の基準値を超えず、対象者の顔面表情情報に基づく対象者の笑顔のレベルが予め定められた第２の基準値を超えず、対象者の顔の上下回転角が予め定められた第３の基準値を超えず、周囲輝度が第４の基準値を超えないことを意味してよい。

【0275】

正面画像ＦＩを取得した後、ステップＳＣ１２００においてユーザ端末１００はパノラマガイダンスを提供してよい。正面画像ＦＩが取得された後にユーザ端末１００によって提供されるパノラマガイダンスは、正面画像ＦＩに基づいて生成されてよい。

【0276】

パノラマガイダンスは、正面画像ＦＩから抽出された情報に基づいて生成されてよい。一実施形態によれば、ユーザ端末１００は、正面画像ＦＩから抽出された第１のポイント及び第２のポイントの位置情報に基づいてパノラマガイダンスを生成してよく、パノラマガイダンスを提供してよい。

【0277】

ステップＳＣ１２１０において、ユーザ端末１００はパノラマガイダンス指標を抽出してよい。パノラマガイダンス指標は、顔の正面画像ＦＩに示され得る身体部位、及び顔の側方画像ＳＩに示され得る身体部位である。パノラマガイダンス指標は、顔の前部の長さに沿って互いに離隔された少なくとも２つのポイントに関連する。

【0278】

パノラマガイダンス指標は、鼻の先端部に対応する位置情報及び眼に対応する位置情報であってよい。代替的に、パノラマガイダンス指標は、下顎の先端部に対応する位置情報及び眼に対応する位置情報であってよい。しかしながら、顔の左側画像ＳＩが取り込まれるとき、右眼が検出されず、又は、顔の右側画像ＳＩが取り込まれるとき、左眼が検出されないという変更があるため、パノラマガイダンス指標が眼を含まないことが好ましい。

【0279】

パノラマガイダンス指標は、鼻の先端部に対応する位置情報及び唇に対応する位置情報であってよい。代替的に、基準ガイダンス指標は、下顎の先端部に対応する位置情報及び唇に対応する位置情報であってよい。側方画像ＳＩが取得されるまでパノラマガイダンス指標に関連する身体部位が撮影条件としてモニタリングされるため、パノラマガイダンス指標は、大きな動きに関与する、唇などの部位に関連しない身体部位に設定されることが比較的好ましい。

【0280】

パノラマガイダンス指標は、鼻の先端部に対応する位置情報及び下顎の先端部に対応する位置情報であってよい。しかしながら、これに限定されることなく、パノラマガイダンス指標は、顔の前部及び側部に示され得る身体部位であり、少なくとも２つのポイントを含むように選択されてよい。

【0281】

ユーザ端末１００は、ステップＳＣ１２２０において抽出されたパノラマガイダンス指標に基づいてパノラマガイダンスを生成してよい。パノラマガイダンスは、正面画像ＦＩから抽出されたパノラマガイダンス指標に対応するポイントをディスプレイ上のドットとして示す形態であってよい。例えば、パノラマガイダンスは、正面画像ＦＩから抽出されたパノラマガイダンス指標に対応するポイントを通過する線の形態であってよく、又は、位置を示すための指標を通して提供されてよい。

【0282】

一実施形態によれば、ユーザ端末１００がパノラマガイダンスを提供すると、パノラマガイダンスは以下を含んでよい：第１のパノラマガイダンス指標に対応するポイントを通過し、ディスプレイの幅に沿って延びる第１のパノラマガイダンス；及び第２のパノラマガイダンス指標に対応するポイントを通過し、ディスプレイの幅に沿って延びる第２のパノラマガイダンス。

【0283】

ステップＳＣ１２３０において、ユーザ端末１００は、ディスプレイを通して、生成されたパノラマガイダンスを提供してよい。パノラマガイダンスがディスプレイを通して提供される間、ステップＳＣ１３００においてユーザ端末１００はパノラマガイダンスをモニタリングしてよい。

【0284】

具体的には、ステップＳＣ１３１０において、ユーザ端末１００は、プレビュー画像から複数の指標を抽出してよい。本明細書では、複数の指標は、ステップＳＣ１２１０におけるパノラマガイダンス指標に対応する指標であってよい。本明細書では、複数の指標は、パノラマガイダンス及び／又はパノラマガイダンス指標に対応する同じ身体部位の位置情報であってよく、又は、同様の身体部位の位置情報であってよい。具体例として、パノラマガイダンスが鼻の先端部の位置情報に基づいて生成される場合、複数の指標は、鼻の先端部の位置情報から抽出されてよい。別の具体例として、パノラマガイダンスが眼の位置情報に基づいて生成される場合、複数の指標は、瞳孔の位置情報から抽出されてよい。

【0285】

いくつかの実施形態によれば、ステップＳＣ１３００においてパノラマガイダンスがモニタリングされる場合、ユーザ端末１００は、正面画像ＦＩが取得されるときに、撮影条件として考慮されるいくつかの評価指標が満たされているかどうか評価しない場合がある。例えば、正面写真が取り込まれたときに両方の眼の位置がモニタリングされていても、両方の眼の位置は、パノラマガイダンスがモニタリングされる間にユーザ端末１００が移動されるとモニタリングされない場合がある。

【0286】

いくつかの実施形態によれば、ステップＳＣ１３００においてパノラマガイダンスがモニタリングされる場合、ユーザ端末１００は、プレビュー画像における対象者の顔の上下回転角を連続的に評価してよい。この場合、変数、例えば、対象者の鼻の先端部及び対象者の下顎の先端部の間の分離距離が、顔の上下回転角に応じて短くなることを防止することが可能であるので、対象者及びユーザ端末１００の間の距離が均一であるかどうかのモニタリングの精度がさらに改良される。

【0287】

ステップＳＣ１３２０において、ユーザ端末１００は、抽出された指標が適切な位置にあるかどうか判定してよい。ステップＳＣ１３３０において、ユーザ端末１００は、ユーザ端末の動きのガイダンスを提供してよい。

【0288】

ユーザ端末１００は、パノラマガイダンスに対応するプレビュー画像が取得されるように、ユーザ端末１００の動きについてのガイダンスを与えてよい。

【0289】

ステップＳＣ１３２０において、ユーザ端末１００は、抽出された指標が適切な位置にあるかどうか判定してよい。

【0290】

いくつかの実施形態によれば、ステップＳＣ１３２０において、ユーザ端末１００は、抽出された指標をパノラマガイダンスの位置と比較してよい。例えば、ステップＳＣ１３２０においてユーザ端末１００が複数の指標の座標値を取得する場合、取得された座標値及びパノラマガイダンスに対応する座標値が基準距離内で互い離隔されているかどうか評価されてよい。

【0291】

具体例として、ユーザ端末１００は、顔における鼻の先端部及び下顎の先端部の位置情報をパノラマガイダンス指標として抽出してよい。パノラマガイダンス指標を使用して生成されたパノラマガイダンスを提供しながら、ユーザ端末１００は、パノラマガイダンスに対応するユーザ端末１００の動きが実行されているかどうかモニタリングしてよい。ユーザ端末１００は、顔における鼻の先端部及び下顎の先端部に対応する位置をプレビュー画像から抽出してよく、鼻の先端部及び下顎の先端部の抽出された位置を一対一の方式でパノラマガイダンス指標と一致させて、予め定められた誤差範囲内の差を達成するためのモニタリングを実行してよい。

【0292】

ユーザ端末１００は、ユーザ端末１００及び顔の間の位置付けを調整するためのガイダンスを出力してよい。具体的には、プレビュー画像から抽出された第１のポイント（例えば、下顎の先端部）が、第５の基準値を超える程度まで正面画像ＦＩから抽出された第１のポイントから移動されたと判定した場合、ユーザ端末１００は、ユーザ端末１００を顔に関して上方又は下方に移動させるためのガイダンスを出力してよい。加えて、プレビュー画像から抽出された第２のポイント（例えば、鼻の先端部）が、第６の基準値を超える程度まで正面画像ＦＩから抽出された第２のポイントから移動されたと判定した場合、ユーザ端末１００は、ユーザ端末１００を顔に関して上方又は下方に移動させるためのガイダンスを出力してよい。

【0293】

代替的に、いくつかの実施形態によれば、ステップＳＣ１３２０において、ユーザ端末１００は、抽出された指標間の分離距離を基準ガイダンス指標間の分離距離と比較してよい。例えば、ステップＳＣ１３２０において、ユーザ端末１００が、複数の指標の鼻の先端部の座標及び下顎の先端部の座標を取得する場合、ユーザ端末１００は、２つのポイント間の分離距離を計算してよく、パノラマガイダンス指標間の、取得された分離距離及び初期分離距離が予め定められた範囲内で異なっているかを評価してよい。

【0294】

具体例として、ユーザ端末１００は、顔における鼻の先端部及び下顎の先端部の位置をパノラマガイダンス指標として抽出してよい。パノラマガイダンス指標を使用して生成されたパノラマガイダンスを提供する間に、ユーザ端末１００は、パノラマガイダンスに従った撮影が実行されているかどうかモニタリングしてよい。ユーザ端末１００は、顔における鼻の先端部及び下顎の先端部の位置をプレビュー画像から抽出して、分離距離を計算してよく、パノラマガイダンス指標間の分離距離及び初期分離距離が予め定められた誤差範囲内の差を有するようにモニタリングを実行してよい。

【0295】

差が予め定められた誤差範囲外であると判定されると、ユーザ端末１００は、ユーザ端末１００及び顔の間の距離を調整するためのガイダンスを出力してよい。具体的には、プレビュー画像から抽出された第１のポイント（例えば、下顎の先端部）及び第２のポイント（例えば、鼻の先端部）の間の鉛直分離距離が、予め定められた誤差範囲外になる程度まで初期分離距離（すなわち、正面画像ＦＩにおける第１及び第２のポイントに対応する位置）より大きいと判定されると、ユーザ端末１００は、ユーザ端末１００を顔から離れるように移動させるためのガイダンスを出力してよい。逆に、プレビュー画像から抽出された第１のポイント及び第２のポイントの間の鉛直分離距離が、予め定められた誤差範囲外になる程度まで初期分離距離より小さいと判定されると、ユーザ端末１００は、ユーザ端末１００を顔に近づくように移動させるためのガイダンスを出力してよい。

【0296】

【0297】

ステップＳＣ１４００において、ユーザ端末１００は側方画像ＳＩを取得してよい。ステップＳＣ１４００において、ユーザ端末１００は、第２の撮影条件を満たすためにガイダンスが与えられる間に側方画像ＳＩを取得してよい。

【0298】

パノラマガイダンスのモニタリングが実行される環境において、顔の側方画像ＳＩが取得される位置にユーザ端末１００が移動されると、ステップＳＣ１４００において、ユーザ端末１００が側方画像ＳＩを取得してよい。

【0299】

第２の撮影条件を満たすことは、顔の側部を認識するための指標に基づいて判定されてよい。加えて、第２の撮影条件を満たすことは、パノラマガイダンスのモニタリングを実行するための基準を満たすこととして判定されたよい。

【0300】

例えば、第２の撮影条件を満たすことは、第２の取り込まれた画像から抽出された第１のポイント及び第２のポイントの間の鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有することを意味してよい。第２の撮影条件を満たすことは、第２の取り込まれた画像から抽出された第１のポイント及び第２のポイントの間の鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有し、対象者の耳が第２の取り込まれた画像において定められたエリアに配置されていることを意味してよい。第２の撮影条件を満たすことは、第２の取り込まれた画像から抽出された第１のポイント及び第２のポイントの間の鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有し、対象者の一方の眼が第２の取り込まれた画像において検出されないことを意味してよい。

【0301】

【0302】

図１６は、一実施形態による、正面画像及び側方画像を示す図である。

【0303】

本実施形態による画像取得方法を使用して取得された正面画像ＦＩの基準分離距離ＲＳＤ及び側方画像ＳＩの側方分離距離ＳＳＤは同様の値を有する。すなわち、正面画像ＦＩが取り込まれた時点及び側方画像ＳＩが取り込まれた時点においてユーザ端末１００及び対象者の間の距離が均一に維持される間に、正面及び側方画像ＳＩが取得されてよい。

【0304】

以下で説明する、眼球突出の度合いを分析する方法を実行するために、実際の距離を推定するための手段が要求される。人の虹彩の直径はほぼ同一であることが見出されているため、本実施形態に従って正面及び側方画像ＳＩを取得する場合、眼球突出の度合いは、正面画像ＦＩから取得される虹彩の直径が、予め記憶された長さであると仮定して推定される。したがって、眼球突出の度合いは、絶対値を取得するための別個の手段を伴わずに推定される。

【0305】

図１４から図１６を参照して説明される画像取得方法は、顔の右側画像ＳＩを取得するために実行されてよく、又は顔の左側画像ＳＩを取得するために実行されてよい。画像取得方法は、顔の左側及び右側画像ＳＩを取得するために２回実行されてよい。

【0306】

上で説明下画像取得方法を通して、顔の正面画像ＦＩ及び顔の側方画像ＳＩが取得されてよい。代替的に、上で説明した画像取得方法を通して、顔の正面画像ＦＩに対応するフレーム及び顔の側方画像ＳＩに対応するフレームを含む動画が取得されてよい。本明細書では、動画は、顔の正面画像ＦＩが取得された時点から開始して、顔の側方画像ＳＩが取得される時点まで連続的に取り込まれる動画であってよい。代替的に、上で説明した画像取得方法を通して、顔の正面画像ＦＩ及び顔の側方画像ＳＩを含むように編集されたパノラマ画像が取得されてよい。

【0307】

加えて、別の一実施形態によれば、ユーザ端末１００の上記の動作は、眼疾患管理サーバ２００によって実行されてよい。ユーザ端末１００は、ユーザとの関連の観点でデータを受信及び提供するためのインタフェースとして機能してよい。ユーザ端末１００及び眼疾患管理サーバ２００はリアルタイムでリンクされ、眼疾患管理サーバ２００の独立した動作に応じて、ユーザ端末１００は、適切なパノラマガイダンスを提供してよく、正面及び側方画像ＳＩを取得して、画像を眼疾患管理サーバ２００に伝送してよい。

【0308】

【0309】

３．眼疾患管理システムの動作－画像分析方法

【0310】

［（１）画像分析方法－第１の例示的な実施形態］

【0311】

図１７は、一実施形態による、甲状腺眼症を予測する方法を示すフローチャートである。

【0312】

ユーザ端末１００によって取得された画像は、眼疾患管理サーバ２００に伝送されてよい。

【0313】

ステップＳＡ２１００において、眼疾患管理サーバ２００は、受信した画像を使用して画像分析を実行してよい。画像分析を通して取得された値は、受信した画像における対象者である人が結膜充血、結膜浮腫、瞼発赤、瞼浮腫、及び涙丘浮腫の症状を有するかどうかについての予測値であってよい。例えば、画像が対象者の顔画像を含む場合、眼疾患管理サーバ２００は、顔画像を分析して、結膜充血が存在すると推定されるかどうか、結膜浮腫が存在すると推定されるかどうか、瞼発赤が存在すると推定されるかどうか、瞼浮腫が存在すると推定されるかどうか、及び／又は涙丘浮腫が存在すると推定されるかどうかについての情報を取得してよい。

【0314】

結膜充血、結膜浮腫、瞼発赤、瞼浮腫、及び涙丘浮腫のうちの少なくとも１つの予測値が人工知能モデルを通して取得されてよい。いくつかの実施形態によれば、眼疾患管理サーバ２００は、少なくとも５つの人工知能モデルを使用することによって予測値を取得してよく、人工知能モデルの各々は、結膜充血、結膜浮腫、瞼発赤、瞼浮腫、又は涙丘浮腫の予測値を出力するように訓練されていてよい。本明細書では、人工知能モデルの入力として使用される画像は、顔画像をクロッピング、マスキング、反転、及び／又はリサイズなどの事前処理を行うことによって取得された画像であってよい。

【0315】

ユーザ端末１００はユーザ応答を眼疾患管理サーバ２００に伝送してよい。ユーザ端末１００は、ユーザが自発性後眼窩痛を有するかどうか、及びユーザが上方又は下方注視を試みたときの痛みを有するかどうかについての各ユーザ応答を取得するためのユーザインタフェースを、入力／出力モジュール１４０を通して出力してよい。眼疾患管理サーバ２００は、受信下ユーザ応答に基づいて、自発性後眼窩痛及び上方又は下方注視を試みたときの痛みの予測値を取得してよい。

【0316】

眼疾患管理サーバ２００は、ステップＳＡ２１００における画像分析を通して取得した予測値及びステップＳＡ２２００におけるユーザ応答を通して取得した予測値を使用して、ステップＳＡ２３００において眼疾患予測スコアを計算してよい。本明細書では、眼疾患予測スコアは、臨床活動性スコアのための眼疾患管理システムの、画像分析などの技術を用いて推定された値であり、以下の各々が存在するかどうかを推定し、各存在について１のスコアを与えることによって計算されてよい：結膜充血、結膜浮腫、瞼発赤、瞼浮腫、涙丘浮腫、自発性後眼窩痛、及び上方又は下方注視を試みたときの痛み。

【0317】

眼疾患予測スコアが基準値に等しい又はそれより大きい場合、眼疾患管理サーバ２００は、ステップＳＡ２４００において、ユーザが病院を訪問するようガイドしてよい。サーバ２００は、ユーザが病院を訪問するようガイドするために、眼疾患予測スコアをユーザ端末１００に提供してよい。サーバ２００は、ユーザ端末１００が眼疾患予測スコア及び／又は病院訪問ガイダンスを出力するように、必要なデータを伝送してよい。

【0318】

ユーザ端末１００は、患者が病院を訪問して治療を受けることを推奨するメッセージを出力してよい。ユーザ端末１００は、患者が、甲状腺眼症治療のために使用される薬を服用することを推奨してよい。これに限定されるものではないが、ユーザ端末１００は、患者が甲状腺眼症を治療するのに必要な手順を行うようにガイダンスを与えてよい。

【0319】

【0320】

図１８は、一実施形態による、ユーザ端末の質問入力インタフェース及び確認インタフェースを含むディスプレイ画面を示す図である。

【0321】

質問入力インタフェースＰＩＩは、ユーザが自発性後眼窩痛を有するかどうか、及び上方又は下方注視を試みたときの痛みをユーザするかどうかについての各ユーザ応答を取得するためのインタフェースであってよい。例えば、「自分の眼の後部から前部に押されるような痛みを感じる」及び「上方及び下方を中止したときに凝りを感じる」が出力され、ユーザのそれぞれの応答を受信するためのインタフェースがユーザ端末１００の入力／出力モジュール１４０を通して提供される。

【0322】

２つの質問に対するユーザ入力がユーザ端末１００を通して取得されると、「次へ」が押され、確認インタフェースＣＩが出力されてよい。

【0323】

確認インタフェースＣＩは、ユーザによって質問入力インタフェースＰＩＩにおいて選択された項目を出力し、それらの項目がユーザによって意図された入力と一致するかどうか確認する機能を実行してよい。これらの応答は眼疾患の予測に使用されるため、質問入力インタフェースＰＩＩを通して取得されたユーザの応答の重要度は高い。したがって、ユーザが応答をもう一回確認し、より高い精度で結果を予測することを可能にするために２段階入力方法が採用されている。

【0324】

同じ理由で、質問入力インタフェースＰＩＩが、「自分の眼の後部から前部に押されるような痛みを感じる」及び「上方及び下方を中止したときに凝りを感じる」のいずれか１つの応答のみを取得した場合、「次へ」のボタンが押されても、確認インタフェースＣＩへの切り替えは行われない場合がある。

【0325】

【0326】

図１９は、一実施形態による、甲状腺眼症を予測するための指標を示す図である。

【0327】

別の実施形態によれば、甲状腺眼症のための病院への訪問に対するガイダンスを提供するかどうかは、７のスコアから計算された臨床活動性スコアが３のスコアに等しい又はそれより大きいかどうかに依存して判定されてよい。しかしながら、本実施形態では、甲状腺眼症のための病院への訪問に対するガイダンスを提供するかどうかは、１０のスコアから計算される臨床活動性スコアが４のスコアに等しい又はそれより大きいかどうかに依存して判定され得る場合について説明する。

【0328】

本明細書では、眼疾患管理サーバ２００は、突出の度合いを分析してよく、眼球の動きの角度を計算してよく、推定される視力を取得してよい。

【0329】

突出の度合いを分析する方法は、下の「画像分析方法－第２の例示的な実施形態」において詳細に説明する。

【0330】

眼球の動きは、動画を分析することによって評価されてよい。例えば、ユーザの正面顔画像が取り込まれる間に、自身の眼を８方向に動かすようユーザにガイダンスが与えられ、眼球の動きの角度は、最大の動きがなされる位置に基づいて取得されてよい。眼球の動きの角度は、人の眼球及び虹彩のサイズが一般的に同様であるという理論を考慮して、人の眼球の直径又は人の虹彩の直径を定数として用いて推定値が計算されるような方法で計算されてよい。具体例として、眼球の直径は２４ｍｍに設定されてよく、虹彩の直径は１１ｍｍに設定されてよい。代替的に、虹彩の直径は、人種、性別、及び年齢に応じて変わるように設定され。眼球の動きの角度が計算されてよい。

【0331】

推定される視力に関して、顔及びユーザ端末１００の間の距離は、顔の正面画像ＦＩから取得された虹彩のサイズを虹彩の絶対的なサイズと比較することによって推定され、ユーザ端末１００を通して出力された文字をユーザが正しく言い当てない場合のサイズは、顔及びユーザ端末１００の間の推定される距離に変換され、それにより視力が推定される。

【0332】

代替的に、近視、遠視などの要因を除外するために、ユーザ端末１００及び顔の間の距離は約３ｍ又は約５ｍに設定されてよく、適切なサイズの文字がディスプレイを通して出力され、ユーザが文字を正しく言い当てるかどうか評価され、それにより、推定される視力が取得される。この場合でさえも、ユーザ端末１００及び顔の間の距離は、顔の正面画像ＦＩから取得された虹彩のサイズに基づいて計算されてよい。

【0333】

【0334】

［（２）画像分析方法－第２の例示的な実施形態］

【0335】

図２０は、一実施形態による、顔の側方画像を分析することによって眼球突出の度合いを予測する方法を示す図である。

【0336】

ステップＳＢ２３１０において、眼疾患管理サーバ２００は、正面画像ＦＩにおける虹彩エリアの直径値を取得してよい。例えば、眼疾患管理サーバ２００は、顔の正面画像ＦＩからのランドマークの抽出を通して虹彩エリアの直径に対応するピクセル値を取得してよい。別の例として、眼疾患管理サーバ２００は、顔の正面画像ＦＩ及びセグメンテーションモデルを使用することによって虹彩エリアの直径に対応するピクセル値を取得してよい。さらに別の例として、眼疾患管理サーバ２００は、顔の正面画像ＦＩを、虹彩エリアの直径値を予測するためのモデルに入力してよく、対応する画素値又は直径の推定値を取得してよい。

【0337】

眼疾患管理サーバ２００が正面画像ＦＩにおける虹彩エリアの直径に対応するピクセル値を取得する場合、１つのピクセルに対応する実際のサイズ値が、虹彩エリアの標準サイズに基づいて計算されて記憶されてよい。

【0338】

ステップＳＢ２３２０において、眼疾患管理サーバ２００は、側方画像ＳＩから外眼角－角膜の距離値を取得してよい。例えば、眼疾患管理サーバ２００は、正面画像ＦＩのためのセグメンテーションモデルを使用することによって、外眼角－角膜の距離に対応するピクセル値を取得してよい。別の例として、眼疾患管理サーバ２００は、顔の側方画像ＳＩを、外眼角－角膜の距離を予測するためのモデルに入力してよく、対応する画素値又は距離の推定値を取得してよい。

【0339】

ステップＳＢ２３３０において、眼疾患管理サーバ２００は、眼球突出の度合いを予測してよい。眼疾患管理サーバ２００は、取得した外眼角－角膜の距離に対応するピクセル値及び虹彩エリアの標準サイズに基づいて計算された１つのピクセルの実際のサイズ値を考慮して眼球突出の度合いを予測してよい。

【0340】

図２１は、一実施形態による、顔の正面画像における虹彩エリアの直径値、及び顔の側方画像における眼球の突出の度合いを示す図である。

【0341】

ステップＳＢ２３１０における上記の動作では、顔の正面画像ＦＩにおける虹彩エリアの直径値ＩＤの推定される長さが計算されてよい。ステップＳＢ２３２０における上記の動作では、顔の側方画像ＳＩにおける外眼角－角膜の距離の推定される長さが計算されてよい。

【0342】

眼疾患管理サーバ２００は、顔の側方写真が取得されたときの日付（及び／又は時間）を、ユーザ端末１００を通して一緒に提供してよい。眼疾患管理サーバ２００は、顔における外眼角－角膜の距離を示すクロッピングされた画像を、画像が取得された日付にマッピングしてよく、ユーザがユーザ端末１００を通して眼球突出の度合いの変化をチェックできるように、マッピングの結果を提供してよい。

【0343】

【0344】

上記の実施形態による方法は、コンピュータ実行可能プログラムとして記述されてよく、コンピュータ可読記録媒体を使用することによってプログラムを実行する汎用デジタルコンピュータにおいて実装されてよい。加えて、本開示の実施形態では使用され得るデータ構造体、プログラム命令、又はデータファイルは、様々な手段を通してコンピュータ可読記録媒体上に記録されてよい。コンピュータ可読記録媒体の例は、コンピュータシステムによって可読なデータが記憶される全てのタイプのストレージデバイスを含んでよい。コンピュータ可読記録媒体の例は：ハードディスク、フロッピディスク、及び磁気テープなどの磁気媒体；ＣＤ－ＲＯＭ及びＤＶＤなどの光学媒体；フロプティカルディスクなどの光磁気媒体；及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのハードウェアデバイスを含み、これらは、プログラム命令を記憶及び実装するように特に構成されている。加えて、コンピュータ可読記録媒体は、プログラム命令、データ構造体などを指定する信号を伝送するための伝送媒体であってよい。プログラム命令の例は、コンパイラによって生成されるものなどの機械言語コード、インタープリタを使用してコンピュータによって実行可能な高レベルの言語コードなどを含む。

【0345】

本願の実施形態は、限定的な実施形態及び図面を参照して説明されてきたが、本明細書において開示される技術的思想又は実施形態は上記の実施形態に限定されるものではなく、様々な修正及び変更が説明からなされ得ることが当業者によって理解される。したがって、本願の範囲は上の説明によってではなく、以下の請求項によって定義され、それらの全ての等価物が本開示の範囲及び趣旨に含まれる。
［発明の形態］

【0346】

上で説明したように、関連する主題は最良の態様で説明されている。
［他の可能な項目］
（項目１）
眼球突出の度合いを分析するために対象者の顔画像を取得する方法であって、前記方法が：
第１の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の正面画像を取得する段階、ここで前記第１の撮影条件を満たすことは、少なくとも、前記対象者の両方の眼が、第１の取り込まれた画像において予め定められたエリアに配置されているという条件を含む；
前記正面画像から抽出された第１のポイント及び第２のポイントの位置情報に基づいてパノラマガイダンスを生成する段階、前記パノラマガイダンスは、前記顔の前部に関して水平方向に生成され、前記第１のポイント及び前記第２のポイントは、前記顔の前記前部に関して互いに鉛直方向に離隔している；
撮影デバイスの動きに対してガイダンスを提供して、前記パノラマガイダンスに対応するプレビュー画像を取得する段階、ここで前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有するようにモニタリングが実行される；及び
第２の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の側方画像を取得する段階、ここで前記第２の撮影条件を満たすことは、前記第２の取り込まれた画像から抽出された前記第１のポイント及び前記第２のポイントの間の鉛直分離距離、及び前記初期分離距離が、前記予め定められた誤差範囲内の差を有するという条件である
を備え、
取得された前記画像が、前記前記眼球突出の度合いを計算するために使用されるために、前記第１の取り込まれた画像は前記対象者の虹彩エリアを示し、前記第２の取り込まれた画像は、前記対象者の眼のうちの１つの外眼角及び角膜を示す
方法。
（項目２）
前記第１の撮影条件を満たすことは、少なくとも、前記対象者の顔の左右回転角が、予め定められた第１の基準値を超えないという条件を含む、項目１に記載の方法。
（項目３）
前記第１の撮影条件を満たすことは、少なくとも、前記対象者の顔面表情情報に基づく前記対象者の笑顔のレベルが、予め定められた第２の基準値を超えないという条件を含む、項目２に記載の方法。
（項目４）
前記第１の撮影条件を満たすことは、少なくとも、前記対象者の顔の上下回転角が、予め定められた第３の基準値を超えないという条件を含む、項目３に記載の方法。
（項目５）
前記第１の撮影条件を満たすことは、少なくとも、周囲輝度が第４の基準値を超えないという条件を含む、項目４に記載の方法。
（項目６）
前記第２の撮影条件を満たすことは、少なくとも、前記対象者の耳が、前記第２の取り込まれた画像において予め定められたエリアに配置されているという条件を含む、項目１に記載の方法。
（項目７）
前記第１のポイントが鼻の先端部にあるポイントであり、前記第２のポイントが前記顔の輪郭における下顎の先端部にあるポイントである、項目１に記載の方法。
（項目８）
前記撮影デバイスの動きに対してガイダンスを提供して、前記パノラマガイダンスに対応するプレビュー画像を取得する前記段階が：
予め定められたフレームレートに従って前記プレビュー画像を取得する段階：
取得した前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離、及び前記初期分離距離が前記予め定められた誤差範囲内の差を有するかどうか判定する段階；及び
前記差が予め定められた誤差範囲外であると判定した場合に、前記撮影デバイス及び前記顔の間の距離を調整するためのガイダンスを出力する段階
を有する、項目１に記載の方法。
（項目９）
前記差が前記予め定められた誤差範囲外であると判定した場合に、前記撮影デバイス及び前記顔の間の前記距離を調整するための前記ガイダンスを出力する段階が：
取得した前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離が、前記予め定められた誤差範囲外になる程度まで前記初期分離距離より長いと判定した場合、前記顔から離れるように前記撮影デバイスを移動させるための前記ガイダンスを出力する段階、及び
取得した前記プレビュー画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離が、前記予め定められた誤差範囲外になる程度まで前記初期分離距離より短いと判定した場合、前記顔に近づくように前記撮影デバイスを移動させるための前記ガイダンスを出力する段階
を有する、項目８に記載の方法。
（項目１０）
前記撮影デバイスの前記動きに対して前記ガイダンスを提供して、前記パノラマガイダンスに対応する前記プレビュー画像を取得する前記段階が：
取得した前記プレビュー画像から抽出された前記第１のポイントの位置が、前記正面画像から抽出された前記第１のポイントの位置から第５の基準値より少ない量だけ移動しているかどうか判定する段階；及び
取得した前記プレビュー画像から抽出された前記第１のポイントの前記位置が、前記正面画像から抽出された前記第１のポイントの前記位置から前記第５の基準値より大きい量だけ移動されていると判定した場合、前記撮影デバイスを、前記顔に関して上方又は下方に移動させるためのガイダンスを出力する段階
を有する、項目８に記載の方法。
（項目１１）
前記撮影デバイスの前記動きに対して前記ガイダンスを提供して、前記パノラマガイダンスに対応する前記プレビュー画像を取得する前記段階が：
取得した前記プレビュー画像から抽出された前記第２のポイントの位置が、前記正面画像から抽出された前記第２のポイントの位置から第６の基準値より少ない量だけ移動しているかどうか判定する段階；及び
取得した前記プレビュー画像から抽出された前記第２のポイントの前記位置が、前記正面画像から抽出された前記第２のポイントの前記位置から前記第６の基準値より大きい量だけ移動されていると判定した場合、前記撮影デバイスを、前記顔に関して上方又は下方に移動させるための前記ガイダンスを出力する段階
を有する、項目１０に記載の方法。
（項目１２）
前記撮影デバイスの前記動きに対して前記ガイダンスを提供して、前記パノラマガイダンスに対応する前記プレビュー画像を取得する前記段階において、前記プレビュー画像の少なくとも一部が第３の取り込まれた画像として取得され、
前記第１の取り込まれた画像、前記第２の取り込まれた画像、及び前記第３の取り込まれた画像が、パノラマ画像へと編集され、前記パノラマ画像として記憶される
項目１に記載の方法。
（項目１３）
前記第１の取り込まれた画像が取得された時点から前記第２の取り込まれた画像が取得された時点まで画像を連続的に取得することによって動画が記憶される、項目１に記載の方法。
（項目１４）
前記第２の撮影条件を満たすことは、少なくとも、前記対象者の眼のうちの１つが前記第２の取り込まれた画像において検出されないという条件を含む、項目１に記載の方法。
（項目１５）
項目１に記載の方法を実行することによって取得された前記画像のための分析方法であって、前記分析方法が：
前記第１の取り込まれた画像において検出された前記虹彩エリアの直径値を取得する段階；
前記第２の取り込まれた画像において検出された、前記外眼角及び前記外眼角から最も離れた前記角膜の間の距離の値を取得する段階；及び
前記距離の値及び前記直径値の間の比率を取得し、前記比率に対して前記虹彩エリアの特性値を適用することによって前記距離の値を予測することにより、前記眼球突出の度合いを取得する段階
を備える、分析方法。
（項目１６）
コンピューティングデバイスの１つ又は複数のプロセッサによって実行されると、前記コンピューティングデバイスに、項目１から１５のいずれか一項に記載の方法を実行させる１つ又は複数の命令を内部に格納する、非一時的コンピュータ可読媒体。
（項目１７）
対象者の顔画像を取得して眼球突出の度合いを分析するための撮影デバイスであって、前記撮影デバイスが：
通信部；
１つ又は複数の命令を内部に記憶するように構成された記憶部；及び
前記記憶部に記憶された前記１つ又は複数の命令を実行するように構成されたコントローラ
を備え、
前記コントローラは、前記１つ又は複数の命令を実行することによって、
第１の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の正面画像を取得すること；
前記正面画像から抽出された第１のポイント及び第２のポイントの位置情報に基づいてパノラマガイダンスを生成すること；
前記撮影デバイスの動きに対してガイダンスを提供して、前記パノラマガイダンスに対応するプレビュー画像を取得すること；及び
第２の撮影条件を満たすためにガイダンスが与えられる間に、前記対象者の顔の側方画像を取得すること
を行うように構成されており、
前記第１の撮影条件は、少なくとも、前記対象者の両方の眼が、第１の取り込まれた画像において予め定められたエリアに配置されているという条件を含み、
前記パノラマガイダンスは前記顔の前部に関して水平方向に生成され、前記第１のポイント及び前記第２のポイントは前記顔の前記前部に関して鉛直方向に互いに離隔しており、
前記第２の撮影条件は、少なくとも、前記第２の取り込まれた画像から抽出された前記第１のポイント及び前記第２のポイントの間の前記鉛直分離距離、及び初期分離距離が、予め定められた誤差範囲内の差を有するという条件である
撮影デバイス。

【図1】