特開2024-156790 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ タイロスコープインコーポレーテッドの特許一覧

特開2024-156790画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024156790

(43)【公開日】2024-11-06

(54)【発明の名称】画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体

(51)【国際特許分類】

A61B 5/00 20060101AFI20241029BHJP

G16H 30/00 20180101ALI20241029BHJP

G16H 50/20 20180101ALI20241029BHJP

G16Y 10/60 20200101ALI20241029BHJP

G16Y 20/40 20200101ALI20241029BHJP

G16Y 40/20 20200101ALI20241029BHJP

【ＦＩ】

A61B5/00 G

G16H30/00

G16H50/20

G16Y10/60

G16Y20/40

G16Y40/20

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2024123724

(22)【出願日】2024-07-30

(62)【分割の表示】P 2023540576の分割

【原出願日】2023-03-16

(31)【優先権主張番号】10-2022-0034726

(32)【優先日】2022-03-21

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】521555281

【氏名又は名称】タイロスコープインコーポレーテッド

【氏名又は名称原語表記】ＴＨＹＲＯＳＣＯＰＥＩＮＣ．

【住所又は居所原語表記】１１４ｄｏｎｇ６０６－９ｈｏ，５０，ＵＮＩＳＴ－ｇｉｌ，Ｅｏｎｙａｎｇ－ｅｕｐＵｌｊｕ－ｇｕｎＵｌｓａｎ４４９１９Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】シンキュボ

(57)【要約】（修正有）

【課題】診断システムを提供する。
【解決手段】この診断システムは、画像を撮るように構成されたユーザー端末と、前記画像に基づいて診断支援情報を取得するように構成されたサーバーとを備える。前記ユーザー端末は、第１撮影パラメーターを取得し、予め記憶された条件が満たされているか否かを決定し、前記予め記憶された条件が満たされていると決定すると、前記第１撮影パラメーター及びキャプチャーされた画像を前記サーバーに送信するように構成される。前記サーバーは、第１検証パラメーターを取得し、前記キャプチャーされた画像を、前記第１検証パラメーターと前記第１撮影パラメーターとの比較を含む診断画像として使用するか否かを決定し、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、前記診断支援情報を取得するように構成される。
【選択図】図３

【特許請求の範囲】

【請求項1】

診断システムであって、画像を撮るように構成されたユーザー端末と、前記画像に基づいて診断支援情報を取得するように構成されたサーバーとを備え、
前記ユーザー端末は、
第１画像分析アルゴリズムを用いてキャプチャーされた画像を分析することにより、診断対象の検出された位置と、診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１撮影パラメーターを取得し、
第１条件を満たしている前記第１撮影パラメーターに応じて予め記憶された条件が満たされているか否かを決定し、
前記予め記憶された条件が満たされていると決定すると、前記キャプチャーされた画像を前記サーバーに送信するように構成され、
前記サーバーは、
第２画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１検証パラメーターを取得し、
第２条件を満たしている前記第１検証パラメーターに応じて前記キャプチャーされた画像を診断画像として使用するか否かを決定し、
前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、前記診断支援情報を取得するように構成され、
前記第１画像分析アルゴリズムと前記第２画像分析アルゴリズムは異なるアルゴリズムであり、
前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である、ことを特徴とする診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、疾患診断に使用される画像検証方法に関する。

【0002】

一実施形態は、疾患診断に使用される画像検証方法を実行するための診断システムに関する。

【0003】

一実施形態は、疾患診断に使用される画像検証方法が記録されたコンピューター読取可能な記録媒体に関する。

【背景技術】

【0004】

画像を分析して癌を診断したり、画像を分析して特定の疾患を早期に診断したりするためのソフトウェアの活発な開発につれて、医療装置の定義は、従来の外科用装置やＸ線撮像装置などを超えて、画像を分析して疾患に関する情報を得る診断装置のソフトウェアにまで拡大されている。

【0005】

ソフトウェアであっても人の健康情報を分析するための診断装置に該当する場合、ソフトウェアの実現と流通には各国の規制に従った承認が不可欠である。したがって、一般的にソフトウェアの精度と結果の一貫性を検証する必要があるため、ソフトウェアという形での医療装置の市場では、精度の向上が非常に重要である。

【0006】

従って、画像分析によって健康情報を提供するソフトウェア分野では、医療装置の精度を落とさない一貫性のある画像取得方法を工夫する必要がある。

【0007】

上記は、本開示の背景の理解を助けることのみを意図し、本開示が当業者に既知の関連技術の範囲内にあることを意味するものではない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

一実施形態は、診断に使用される診断画像を取得する方法を提供する。

【0009】

一実施形態は、適切な画像を診断画像として使用するために画像を検証する画像検証方法を提供する。

【課題を解決するための手段】

【0010】

本出願の一実施形態によれば、診断システムが提供される。この診断システムは、画像を撮るように構成されたユーザー端末と、前記画像に基づいて診断支援情報を取得するように構成されたサーバーとを備え、前記ユーザー端末は、第１画像分析アルゴリズムを用いて第１画像を分析することにより、診断対象の検出された位置と、診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１撮影パラメーターを取得し、前記第１撮影パラメーターが第１条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定し、前記予め記憶された条件が満たされていると決定すると、前記第１撮影パラメーター及びキャプチャーされた画像を前記サーバーに送信するように構成され、前記サーバーは、第２画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１検証パラメーターを取得し、前記キャプチャーされた画像を、前記第１検証パラメーターと前記第１撮影パラメーターとの比較を含む診断画像として使用するか否かを決定し、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、前記診断支援情報を取得するように構成され、前記第１画像分析アルゴリズムと前記第２画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。

【0011】

本出願の一実施形態によれば、診断画像検証方法が提供される。この方法は、第１画像を取得するステップと、第１画像分析アルゴリズムを用いて前記第１画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１撮影パラメーターを取得するステップと、前記第１撮影パラメーターが第１条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、前記予め記憶された条件が満たされていると決定するすると、前記第１撮影パラメーター及びキャプチャーされた画像を記憶するステップと、第２画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１検証パラメーターを取得するステップと、前記キャプチャーされた画像を、前記第１検証パラメーターと前記第１撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を含み、前記第１画像分析アルゴリズムと前記第２画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。

【0012】

本出願の一実施形態によれば、プログラムが記録されたコンピューター読取可能な記録媒体が提供される。前記プログラムは、第１画像を取得するステップと、第１画像分析アルゴリズムを用いて前記第１画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１撮影パラメーターを取得するステップと、前記第１撮影パラメーターが第１条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、前記予め記憶された条件が満たされていると決定するすると、前記第１撮影パラメーター及びキャプチャーされた画像を記憶するステップと、第２画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１検証パラメーターを取得するステップと、前記キャプチャーされた画像を、前記第１検証パラメーターと前記第１撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を実行するためのものである。前記第１画像分析アルゴリズムと前記第２画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。

【発明の効果】

【0013】

本実施形態によれば、診断装置の精度を確保し、製品の承認及び流通を可能にするために、診断画像を取得する改善された方法が提供される。

【0014】

本実施形態によれば、リアルタイム撮影を可能にするために、撮影装置の画像分析方法の演算量を維持しながら、正確な画像を取得することができる画像検証方法が提供される。

【0015】

本出願は、上記の効果に限定されるものではない。本明細書及び添付の図面から、当業者は、上記に記載されていない効果を理解することができる。

【図面の簡単な説明】

【0016】

本開示の上記及びその他の目的、特徴、及びその他の利点は、添付の図面と併せて以下の詳細な説明からより明確に理解されるであろう。

【図1】本出願の一実施形態による診断システムの構成を示す図である。

【図2a】本出願に記載の診断対象ＤＯの例を示す図である。

【図2b】本出願に記載の診断対象ＤＯの例を示す図である。

【図2c】本出願に記載の診断対象ＤＯの例を示す図である。

【図3】本出願の一実施形態による撮影装置１０００とサーバー２０００の構成を示す図である。

【図4】本出願の一実施形態によるユーザー端末１０００のキャプチャーされた画像取得操作を示すフローチャートである。

【図5】本出願の一実施形態によるガイド提供操作Ｓ１１０におけるユーザー端末１０００の第１出力部１７００を示す図である。

【図6】本出願の一実施形態による、撮影条件が満たされているか否かを決定する方法Ｓ１３０を具体的に示す図である。

【図7】本出願の一実施形態による撮影パラメーターを示す図である。

【図8-10】各撮影パラメーターに対応する条件が満たされているか否かを決定する速度に応じて、評価目標画像、撮影パラメーターの評価頻度、及び記憶されたキャプチャーされた画像を具体的に示す図である。

【図11】本出願の一実施形態によるサーバー２０００の画像検証操作を示すフローチャートである。

【図12】本出願の一実施形態による、検証条件が満たされているか否かを決定する方法Ｓ２２０を具体的に示す図である。

【図13】本出願の一実施形態による検証パラメーターを示す図である。

【図14】本出願の一実施形態による、診断画像を記憶し、それを使用して診断支援情報を取得する操作を示す図である。

【図15a】本出願の一実施形態による眼疾患関連画像の方法を示す図である。

【図15b】本出願の一実施形態による眼疾患関連画像の方法を示す図である。

【図16a】本出願の一実施形態による、身体のアンバランス関連画像を取得する方法を示す図である。

【図16b】本出願の一実施形態による、身体のアンバランス関連画像を取得する方法を示す図である。

【発明を実施するための形態】

【0017】

以下、本明細書の実施形態について、当業者が本出願を容易に実施できるように、添付の図面を参照して詳細に説明する。また、本出願に種々の修正を加えてもよく、本出願の様々な実施形態を実践することもできる。従って、具体的な実施形態について、添付の図面を参照して以下に詳細に説明する。本明細書に開示されている技術的アイデアは、添付の図面又は記載された実施形態に限定されず、例示的な実施形態は、本出願の技術概念及び技術範囲におけるすべての変更、同等物又は代替を含むものと解釈することができる。

【0018】

明細書全体にわたって、同じ参照番号は原則として同じ要素を表す。また、実施形態の図に示されているのと同じ範囲で同じ機能を有する元素については、同じ参照番号を用いて記述し、冗長な記述は省略する。

【0019】

本明細書に開示されている実施形態を説明するにあたり、本明細書に開示されている実施形態の要旨を曖昧にするものと判断される場合は、本明細書に関連する周知技術の詳細な説明を省略する。また、本明細書全体を通して、第１、第２などの用語は、ある要素を別の要素と区別するためにのみ使用される。

【0020】

また、以下の説明で要素の名前として使用される「モジュール」や「部分」という用語は、本明細書の記述の容易さのみを考慮して使用されている。これらの用語は、異なる特別な意味や機能を有することを意図したものではないため、個別に使用することも、同じ意味で使用することもできる。

【0021】

以下の実施形態において、単数形で使用される表現は、文脈上明らかに異なる意味を有しない限り、複数形の表現を包含する。

【0022】

以下の実施形態では、「含む」、「有する」などの用語は、明細書に開示された特徴又は要素の存在を示すことを意図したものであり、１つ以上の他の特徴又は要素が追加される可能性を排除することを意図したものではないことを理解しておく必要がある。

【0023】

図面における要素のサイズは、説明の便宜のために誇張されたり縮小されたりすることがある。例えば、図面に示される各要素の任意のサイズ及び厚さは、説明の便宜のために示されている。

【0024】

特定の実施形態が別の方法で実現される場合、以下に説明される方法は、説明された順序以外で実行されてもよい。例えば、連続して説明される２つの操作は、実質的に同時に実行されてもよいし、説明された順序と逆の順序で実行されてもよい。

【0025】

【0026】

診断システムでは、第１撮影パラメーターは、第１画像における診断対象の検出された位置に関する情報を含んでもよく、ユーザー端末は、第１撮影パラメーターと予め記憶された診断対象領域とを比較することによって、予め記憶された条件が満たされているか否かを決定するように構成されてもよい。

【0027】

診断システムにおいて、第１画像分析アルゴリズムは第１ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第１撮影パラメーターは眼のランドマークであってもよい。

【0028】

診断システムにおいて、第１検証パラメーターは、キャプチャーされた画像における診断対象の検出された位置に関する情報を含んでもよい。

【0029】

診断システムにおいて、第２画像分析アルゴリズムは第２ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第１検証パラメーターは眼のランドマークであってもよい。

【0030】

診断システムにおいて、第２画像分析アルゴリズムは画像セグメンテーションアルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第１検証パラメーターは虹彩領域であってもよい。

【0031】

診断システムにおいて、ユーザー端末は、予め設定されたフレームレートに従って画像を取得し、第１画像分析アルゴリズムを用いて取得された画像の少なくとも一部を分析し、取得された画像の１つをキャプチャーされた画像として記憶し、キャプチャーされた画像をサーバーに送信するように構成されてもよい。

【0032】

診断システムにおいて、ユーザー端末は、第１画像のための第１撮影パラメーターが第１条件を満たさないと決定すると、第１画像分析アルゴリズムを用いて第２画像を分析するように構成されてもよい。第２画像は、第１画像のための第１撮影パラメーターが第１条件を満たしていないと決定した後に取得される。

【0033】

診断システムにおいて、ユーザー端末は、第１画像のための第１撮影パラメーターが第１条件を満たしていると決定すると、第２画像をキャプチャーされた画像としてサーバーに送信するように構成されてもよい。第２画像は、第１画像のための第１撮影パラメーターが第１条件を満たしていると決定した後に取得される。

【0034】

診断システムにおいて、第１画像分析アルゴリズムは、リアルタイム処理の利点を有するように、第２画像分析アルゴリズムよりも少ない演算量を有してもよい。

【0035】

診断システムにおいて、ユーザー端末は、第１画像のための第２撮影パラメーターを取得するように構成されてもよく、予め記憶された条件は、第２撮影パラメーターが第２条件を満たしていることをさらに含む。

【0036】

診断システムにおいて、ユーザー端末について、第１撮影パラメーターを取得する期間と、第２撮影パラメーターを取得する期間とが互いに異なっていてもよい。

【0037】

診断システムにおいて、ユーザー端末は、第１画像のための第２～第Ｎ撮影パラメーターを取得するように構成されてもよく、予め記憶された条件は、第２～第Ｎ撮影パラメーターの少なくとも一部が対応する第２～第Ｎ条件をそれぞれ満たしていることを含む。Ｎは、２以上の自然数であってもよい。

【0038】

診断システムにおいて、サーバーは、キャプチャーされた画像のための第２～第Ｍ検証パラメーターを取得するように構成されてもよく、キャプチャーされた画像を診断画像として使用するか否かを決定することは、第２～第Ｍ検証パラメーターが満たされているか否かを決定することをさらに含む。Ｍは、２以上の自然数であってもよい。

【0039】

診断システムにおいて、サーバーは、診断画像及び診断モデルを使用して診断支援情報を取得するように構成されてもよく、診断モデルは、診断対象を含む画像と、目標疾患が発生したか否かに関する情報を使用してトレーニングされてもよい。

【0040】

【0041】

診断画像検証方法において、第１撮影パラメーターは、第１画像における診断対象の検出された位置に関する情報を含んでもよく、予め記憶された条件が満たされているか否かを決定することは、第１撮影パラメーターと予め記憶された診断対象領域とを比較することをさらに含んでもよい。

【0042】

診断画像検証方法において、第１画像分析アルゴリズムは第１ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第１撮影パラメーターは眼のランドマークであってもよい。

【0043】

診断画像検証方法において、第１検証パラメーターは、キャプチャーされた画像における診断対象の検出された位置に関する情報を含んでもよい。

【0044】

診断画像検証方法において、第２画像分析アルゴリズムは第２ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第１検証パラメーターは眼のランドマークであってもよい。

【0045】

診断画像検証方法において、第２画像分析アルゴリズムは画像セグメンテーションアルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第１検証パラメーターは虹彩領域であってもよい。

【0046】

診断画像検証方法は、予め設定されたフレームレートに従って画像を取得するステップと、第１画像分析アルゴリズムを用いて、取得された画像の少なくとも一部を分析するステップと、取得された画像の少なくとも一部について、予め記憶された条件が満たされていると決定すると、取得された画像の１つをキャプチャーされた画像として記憶するステップと、を含んでもよい。

【0047】

診断画像検証方法は、第１画像のための第１撮影パラメーターが第１条件を満たしていないと決定すると、第２画像を取得するステップと、第１分析アルゴリズムを用いて第２画像を分析することによって、第２画像のための第１撮影パラメーターを取得するステップと、予め記憶された条件が満たされているか否かを決定するために、第２画像のための第１撮影パラメーターが第１条件を満たしているか否かを決定するステップと、を含んでもよい。

【0048】

診断画像検証方法は、第１画像のための第１撮影パラメーターが第１条件を満たしていると決定すると、第２画像を取得するステップと、第２画像をキャプチャーされた画像として記憶するステップと、含んでもよい。

【0049】

診断画像検証方法において、第１画像分析アルゴリズムは、リアルタイム処理の利点を有するように、第２画像分析アルゴリズムよりも少ない演算量を有してもよい。

【0050】

診断画像検証方法は、第１画像のための第２撮影パラメーターを取得するステップをさらに含んでもよい。予め記憶された条件は、第２撮影パラメーターが第２条件を満たしていることをさらに含む。

【0051】

診断画像検証方法において、第１撮影パラメーターを取得する期間と、第２撮影パラメーターを取得する期間とが互いに異なっていてもよい。

【0052】

診断画像検証方法は、第１画像のための第２～第Ｎ撮影パラメーターを取得するステップをさらに含んでもよい。Ｎは、２以上の自然数である。予め記憶された条件は、第２～第Ｎ撮影パラメーターの少なくとも一部が、対応する第２～第Ｎ条件をそれぞれ満たしていることをさらに含む。

【0053】

診断画像検証方法は、キャプチャーされた画像のための第２～第Ｍ検証パラメーターを取得するステップをさらに含んでもよい。Ｍは、２以上の自然数である。キャプチャーされた画像を使用するか否かを決定するステップは、第２～第Ｍ検証パラメーターが満たされているか否かを決定することをさらに含んでもよい。

【0054】

診断画像検証方法において、キャプチャーされた画像を診断画像として使用することを決定すると、診断画像を使用して診断支援情報を取得するステップは、診断画像及び診断モデルを使用して診断支援情報を取得することを含んでもよく、診断モデルは、診断対象を含む画像と、目標疾患が発生したか否かに関する情報を使用してトレーニングされてもよい。

【0055】

本出願の一実施形態によれば、プログラムが記録されたコンピューター読取可能な記録媒体が提供される。前記プログラムは、第１画像を取得するステップと、第１画像分析アルゴリズムを用いて前記第１画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１撮影パラメーターを取得するステップと、前記第１撮影パラメーターが第１条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、前記予め記憶された条件が満たされていると決定するすると、前記第１撮影パラメーターを記憶するステップと、第２画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも１つに関する情報を含む第１検証パラメーターを取得するステップと、前記キャプチャーされた画像を、前記第１検証パラメーターと前記第１撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、前記キャプチャーされた画像を前記診断画像として使用すると決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を実行するためのものである。前記第１画像分析アルゴリズムと前記第２画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。

【0056】

本明細書では、画像を使用する診断装置（ソフトウェアを含む）又はシステムを実現するに当たって、高精度な診断結果を導き出すことができる製品の製造、製品の各国の承認手続きに従うために必要な臨床データの確保、及び／又は承認された製品の消費者への提供に使用できる診断画像検証方法、それを使用するサーバー、及び診断システムを記載する。

【0057】

図１は、本出願の一実施形態による診断システムの構成を示す図である。

【0058】

図１に示すように、診断システムは、撮影装置１０００とサーバー２０００を含んでもよく、撮影装置１０００とサーバー２０００は、ネットワークを介してデータ交換のために相互に接続されてもよい。

【0059】

撮影装置１０００は、画像を撮る機能を実行してもよい。例えば、撮影装置１０００は、画像が撮影条件を満たしているか否かを評価してもよい。撮影装置１０００は、画像を取得してもよく、取得した画像が撮影条件を満たしていると決定した場合、撮影装置１０００はキャプチャーされた画像を記憶する。撮影装置１０００は画像が撮影条件を満たしているか否かを決定するプロセスについては、後で詳しく説明する。

【0060】

撮影装置１０００は、画像を撮ることができる電子装置である。撮影装置１０００の例は、携帯電話、スマートフォン、タブレットＰＣ、ラップトップ、通信機能付きポータブルカメラ、及び／又はスタンドアロンカメラを含むが、これらに限定されない。

【0061】

撮影装置１０００は、サーバー２０００と通信し、キャプチャーされた画像をサーバー２０００に送信してもよい。

【0062】

サーバー２０００は、画像を検証する機能を実行してもよい。例えば、サーバー２０００は、受信した画像が検証条件を満たしているか否かを評価し、受信した画像を診断画像として記憶してもよい。サーバー２０００は画像が検証条件を満たしているか否かを決定するプロセスについては、後で詳しく説明する。

【0063】

撮影装置１０００が、目標画像が撮影条件を満たしているか否かを決定するとき、少なくとも１つの撮影パラメーターに対する条件が満たされているか否かが評価されてもよく、少なくとも１つの撮影パラメーターが診断対象ＤＯと関連してもよい。一実施形態によれば、撮影パラメーターは、診断対象ＤＯの検出された位置及び／又は診断対象ＤＯが検出されたか否かに関する情報を含んでもよい。

【0064】

サーバー２０００が、キャプチャーされた画像が検証条件を満たしているか否かを決定するとき、少なくとも１つの検証パラメーターに対する条件が満たされているか否かが評価されてもよく、少なくとも１つの検証パラメーターが診断対象ＤＯと関連してもよい。一実施形態によれば、検証パラメーターは、診断対象ＤＯの検出された位置及び／又は診断対象ＤＯが検出されたか否かに関する情報を含んでもよい。

【0065】

本明細書に記載される診断対象ＤＯは、診断される目標疾患に関連する対象（目標対象）を意味してもよい。例えば、診断対象ＤＯは、目標疾患に関連する身体部位を意味してもよい。

【0066】

本出願の一実施形態によれば、検証パラメーターで評価される診断対象ＤＯと、撮影パラメーターで評価される診断対象ＤＯとは同じであってもよい。あるいは、検証パラメーターで評価される診断対象ＤＯは、撮影パラメーターで評価される診断対象ＤＯに含まれてもよいし、その逆も可能である。

【0067】

サーバー２０００は、診断画像として記憶された画像を使用して、目標疾患に関する情報を取得してもよい。ここで、目標疾患に関する情報は、疾患診断を支援するための情報であってもよい。例えば、目標疾患に関する情報は、画像における撮影された人が目標疾患を患っている確率、又は、その人が目標疾患に関連することがわかっている他の疾患を１つ以上患っている確率であってもよい。

【0068】

図２a、２b及び２cは、本出願に記載の診断対象ＤＯの例を示す図である。

【0069】

一実施形態によれば、顔画像を分析することで、表現型異常を分析するための診断装置に使用される画像は、本出願に記載の診断画像検証方法を使用して検証されてもよい。表現型異常の診断対象ＤＯは「顔」であってもよい（図２aを参照）。

【0070】

別の実施形態によれば、全身画像を分析することで、身体のバランスを分析するための診断装置に使用される画像は、本出願に記載の診断画像検証方法を使用して検証されてもよい。身体のアンバランスの診断対象ＤＯは「全身」であってもよい（図２bを参照）。

【0071】

また別の実施形態によれば、眼画像を分析することで、甲状腺眼症を分析するための診断装置に使用される画像は、本出願に記載の診断画像検証方法を使用して検証されてもよい。甲状腺眼症の診断対象ＤＯは「眼」であってもよい（図２cを参照）。

【0072】

目標疾患に関連する診断対象ＤＯは、目標疾患の診断に使用されることが広く知られている対象（例えば、診断のために検査される身体部位）を意味してもよいが、それに限定されず、目標疾患の診断に使用される情報を取得するための間接的に関連する対象を意味してもよい。

【0073】

具体例として、目標疾患が「脳卒中」の場合、第１診断対象ＤＯは「顔」であってもよい。この技術は、嘉泉大学産学協力団（ＧａｃｈｏｎＵｎｉｖｅｒｓｉｔｙＩｎｄｕｓｔｒｙ－ＡｃａｄｅｍｉｃＣｏｏｐｅｒａｔｉｏｎＦｏｕｎｄａｔｉｏｎ）が出願した韓国特許第１０－２２７４３３０号にも開示されている。

【0074】

別の例として、目標疾患が「甲状腺眼症」の場合、第１診断対象ＤＯは「眼」であってもよく、第２診断対象ＤＯは「眼瞼」であってもよく、第３診断対象ＤＯは「眼及び眼の周囲部分を含む領域」であってもよい。この技術は、会社（ＴｈｙｒｏｓｃｏｐｅＩＮＣ．）が出願した韓国特許出願第１０－２０２１－００８５５４２号にも開示されている。

【0075】

上記の診断対象ＤＯの例は、本明細書に記載されている診断対象ＤＯの概念を明確に理解するのに役立つように記載されている。診断対象ＤＯは、上記の例に限定されず、診断される目標疾患に関連する対象（目標対象、例えば、身体部位）は、診断対象ＤＯとして解釈されてもよい。

【0076】

以下、本出願の幾つかの実施形態を説明するにあたり、説明は、撮影装置１０００が画像を撮り、サーバー２０００がキャプチャーされた画像を検証する場合に基づく。ただし、これは説明の便宜上、実施形態を参照して具体的に説明している。本出願に記載の技術的思想は、サーバー２０００又は撮影装置１０００による単独操作の場合だけでなく、撮影装置１０００、サーバー２０００、及び外部装置による分散操作の場合にも適用可能である。従って、本開示の概念の実装形態は、以下に説明する実施形態に限定されない。

【0077】

図３は、本出願の一実施形態による撮影装置１０００とサーバー２０００の構成を示す図である。

【0078】

撮影装置１０００は、画像取得部１１００、決定部１２０１、１２０２、．．．、１２９９、第１記憶部１３００、第１通信部１４００、第１コントローラ１５００、第１入力部１６００、及び第１出力部１７００を含んでもよい。

【0079】

画像取得部１１００は、画像を撮る機能を実行してもよい。本出願の一実施形態によれば、画像取得部１１００は、予め設定された画像フレームに従って画像（例えば、プレビュー画像）を取得してもよい。画像取得部１１００は、例えばカメラなどの画像を撮るのに適したモジュールであってもよいし、又は、それと同様の機能を実行するための機能モジュールであってもよい。

【0080】

決定部１２０１、１２０２、．．．、１２９９は、目標画像が撮影条件を満たしているか否かを決定する機能を実行してもよい。本出願の一実施形態によれば、決定部１２０１、１２０２、．．．、１２９９は、画像取得部１１００を介して取得された画像が撮影条件を満たしているか否かを決定してもよい。

【0081】

撮影装置１０００は、１つ以上の決定部１２０１、１２０２、．．．、１２９９を含んでもよい。本出願の一実施形態によれば、第１決定部１２０１は、目標画像の第１撮影パラメーターが第１撮影条件を満たしているか否かを決定してもよく、第２決定部１２０２は、目標画像の第２撮影パラメーターが第２撮影条件を満たしているか否かを決定してもよく、第Ｎ決定部は、目標画像の第Ｎ撮影パラメーターが第Ｎ撮影条件を満たしているか否かを決定してもよい。ここで、Ｎは、２以上の自然数であってもよい。これは、撮影パラメーターで評価される項目が複数あることを意味し、かつ撮影パラメーターで評価される項目が１つ又は２つある可能性があることを意味する。

【0082】

本出願の一実施形態によれば、第１撮影パラメーターと第２撮影パラメーターは互いに異なっていてもよい。例えば、第１撮影パラメーターは診断対象ＤＯに関連してもよく、第２撮影パラメーターは写真の明るさに関連してもよい。

【0083】

本出願の一実施形態によれば、第１撮影パラメーターと第２撮影パラメーターは同じであってもよく、第１撮影パラメーターに対応する第１撮影条件と、第２撮影パラメーターに対応する第２撮影条件とは互いに異なっていてもよい。例えば、第１撮影パラメーターと第２撮影パラメーターの両方は診断対象ＤＯに関連してもよく、第１撮影条件は、診断対象ＤＯの位置に関連する基準であってもよく、第２撮影条件は、診断対象ＤＯが検出されたか否かに関連する基準であってもよい。

【0084】

撮影装置１０００に含まれる１つ以上の決定部１２０１、１２０２、．．．、１２９９は、目標画像がそれぞれの撮影条件を満たしているか否かを決定する。決定部１２０１、１２０２、．．．、１２９９が、目標画像がすべての予め記憶された撮影条件を満たしていると決定すると、第１コントローラ１５００は、画像取得部１１００を使用してキャプチャーされた画像を記憶してもよい。

【0085】

第１記憶部１３００には、撮影装置１０００の動作に必要な様々な種類のデータ及びプログラムが記憶されてもよい。システム電源の供給の有無にかかわらずデータを保持するために、第１記憶部１３００は、フラッシュメモリなどの不揮発性メモリ、又はハードディスクドライブとして実現されてもよい。本出願の一実施形態によれば、第１記憶部１３００には、撮影パラメーターを取得するためのアルゴリズム、撮影パラメーターに対応する撮影条件、撮影パラメーターが記憶された撮影条件を満たしているか否かを決定するためのプログラム、及び／又はキャプチャーされた画像が記憶されてもよい。

【0086】

本出願の一実施形態によれば、診断対象ＤＯを検出するための画像分析アルゴリズムは、第１記憶部１３００に記憶されてもよい。言い換えれば、第１記憶部１３００には、診断対象ＤＯに関連する撮影パラメーターを検出するための画像分析アルゴリズム、及びそれに対応する条件が記憶される。例えば、第１画像分析アルゴリズムは、ランドマーク画像分析アルゴリズムであってもよい。別の例として、第１画像分析アルゴリズムは、姿勢推定アルゴリズムであってもよい。また別の例として、第１画像分析アルゴリズムは、色比較アルゴリズムであってもよい。

【0087】

第１通信部１４００は、撮影装置１０００がサーバーなどの外部装置と双方向通信を行うように、データの送受信を行ってもよい。第１通信部１４００は、予め設定された通信プロトコルに従って、有線／無線のワイド／ローカルエリアネットワーク又はローカルアクセス方法を介して、外部装置（例えば、サーバー２０００）にアクセスしてもよい。

【0088】

第１通信部１４００は、それぞれの装置用のアクセスポート又はアクセスモジュールのグループによって実現されてもよいので、アクセス用のプロトコルやアクセスされる外部装置は１つの種類や形式に限定されない。第１通信部１４００は、撮影装置１０００に内蔵されてもよいし、あるいは、構築の全部又は一部は、アドオン又はドングルの形で撮影装置１０００に追加して提供されてもよい。

【0089】

第１コントローラ１５００は、撮影装置１０００の全体的な操作を管理及び制御する機能を実行してもよい。第１コントローラ１５００は、様々な種類の情報を操作及び処理を実行してもよく、端末の要素の操作を制御してもよい。

【0090】

第１コントローラ１５００は、ハードウェア、ソフトウェア、又はそれらの組み合わせに従って、コンピューター又は類似の装置として実現されてもよい。ハードウェアに関しては、第１コントローラ１５００は、電気信号を処理することで制御機能を実行するためのＣＰＵチップなどの電子回路の形で提供されてもよい。ソフトウェアに関しては、第１コントローラ１５００は、ハードウェア第１コントローラ１５００を駆動するためのプログラムの形で提供されてもよい。

【0091】

本出願の一実施形態によれば、第１コントローラ１５００は、決定部１２０１、１２０２、．．．、１２９９を介して、画像取得部１１００によって取得された画像が第１記憶部１３００に記憶された条件を満たしているか否かを決定してもよい。また、画像が予め記憶された撮影条件を満たしていると決定すると、第１コントローラ１５００は、キャプチャーされた画像を第１記憶部１３００に記憶し、第１通信部１４００を介してサーバー２０００に送信してもよい。

【0092】

本出願の一実施形態による撮影装置１０００は、第１入力部１６００及び／又は第１出力部１７００を含んでもよい。
第１入力部１６００は、ユーザーから情報を取得する機能を実行してもよい。第１入力部１６００は、ユーザーからユーザー入力を受信してもよい。ユーザー入力は、キー入力、タッチ入力、及び／又は音声入力であってもよいが、これらに限定されず、様々な形式で提供されてもよい。

【0093】

第１入力部１６００は、一般的に使用されるユーザー入力装置として実現されてもよい。一例として、第１入力部１６００は、ユーザーのタッチを検出するためのタッチセンサーであってもよいが、それに限定されない。ここで、「タッチセンサー」とは、タッチパネル又はディスプレイパネルに取り付けられたタッチフィルムを介してタッチを検出するための圧電タッチセンサー又は静電容量式タッチセンサー、及び／又は光学的方法でタッチを検出する光学式タッチセンサーを意味してもよい。

【0094】

第１出力部１７００は、ユーザーが情報をチェックできるように、情報を出力する機能を実行してもよい。第１出力部１７００は、ユーザーから取得された情報、外部装置から取得及び／又は処理された情報を出力してもよい。情報の出力は、視覚的、聴覚的、及び／又は触覚的な出力であってもよいが、それらに限定されず、様々な形で提供されてもよい。

【0095】

第１出力部１７００は、一般的に使用されるユーザー出力装置として実現されてもよい。例えば、第１出力部１７００は、画像を出力するためのディスプレイ、及び／又は音声を出力するためのスピーカであってもよいが、これらに限定されない。ここで、「ディスプレイ」は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フラットパネルディスプレイ（ＦＰＤ）、透明ディスプレイ、曲面ディスプレイ、フレキシブルディスプレイ、３Ｄディスプレイ、ホログラフィックディスプレイ、プロジェクター、及び／又は画像出力機能を実行できる他の様々な種類のものを含む、広い意味の画像ディスプレイ装置を指してもよい。

【0096】

第１出力部１７００は、第１入力部１６００と一体化されてもよい。例えば、第１出力部１７００がディスプレイである場合、第１出力部１７００は、第１入力部１６００であるタッチセンサーと一体化されたタッチディスプレイの形態であってもよい。

【0097】

サーバー２０００は、第２通信部２１００、検証部２２０１、２２０２、．．．、２２９９、診断部２３００、第２コントローラ２４００、第２入力部２５００、第２出力部２６００、及び第２記憶部２７００を含んでもよい。

【0098】

上記の第１通信部１４００と同様に、第２通信部２１００は、外部装置とデータを交換する機能を実行してもよい。例えば、第２通信部２１００は、第１通信部１４００を介してキャプチャーされた画像を受信してもよい。具体的には、第２通信部２１００は、第１通信部１４００を介して、キャプチャーされた画像、及びキャプチャーされた画像における診断対象ＤＯの位置情報を受信してもよい。

【0099】

検証部２２０１、２２０２、．．．、２２９９は、目標画像が検証条件を満たしているか否かを決定する機能を実行してもよい。本出願の一実施形態によれば、検証部２２０１、２２０２、．．．、２２９９は、第２通信部２１００を介して受信したキャプチャーされた画像が検証条件を満たしているか否かを決定してもよい。

【0100】

サーバー２０００は、１つ以上の検証部２２０１、２２０２、．．．、２２９９を含んでもよい。本出願の一実施形態によれば、第１検証部２２０１は、キャプチャーされた画像の第１検証パラメーターが第１検証条件を満たしているか否かを決定してもよく、第２検証部２２０２は、第２検証パラメーターが第２検証条件を満たしているか否かを決定してもよく、第Ｍ検証部２２９９は、第Ｍ検証パラメーターが第Ｍ検証条件を満たしているか否かを決定してもよい。ここで、Ｍは、２以上の自然数であってもよい。これは、検証パラメーターで評価される項目が複数あることを意味し、かつ検証パラメーターで評価される項目が１つ又は２つある可能性があることを意味する。

【0101】

第１検証パラメーターと第２検証パラメーターは互いに異なっていてもよい。例えば、第１検証パラメーターは診断対象ＤＯに関連してもよく、第２検証パラメーターは写真の明るさに関連してもよい。

【0102】

第１検証パラメーターと第２検証パラメーターは同じであってもよく、第１検証パラメーターに対応する第１検証条件と、第２検証パラメーターに対応する第２検証条件は互いに異なっていてもよい。例えば、第１検証パラメーターと第２検証パラメーターの両方は診断対象ＤＯに関連してもよく、第１検証条件は、診断対象ＤＯの位置に関連する基準であってもよく、第２検証条件は、診断対象ＤＯが検出されたか否かに関連する基準であってもよい。

【0103】

サーバー２０００は、撮影装置１０００によって評価された撮影パラメーター及び撮影条件に対応する検証パラメーター及び検証条件を評価してもよい。具体例として、第１撮影パラメーターと第１検証パラメーターは同じであってもよく、第１撮影パラメーターに対応する第１撮影条件と、第１検証パラメーターに対応する第１検証条件は同じであってもよい。

【0104】

本出願の一実施形態によれば、撮影装置１０００によって既に決定された撮影条件は、サーバー２０００により検証条件として再度評価され、それにより、診断画像の品質（又は精度）の欠如のために診断装置自体による診断の精度が低下することを防止する。

【0105】

サーバー２０００は、撮影装置１０００によって評価された撮影パラメーター及び撮影条件の一部を検証パラメーター及び検証条件として評価しなくてもよい。具体例として、第２撮影パラメーターと第２検証パラメーターは互いに異なっていてもよい。

【0106】

本出願の一実施形態によれば、パラメーターが診断対象ＤＯに関連するものでない限り、撮影条件で既に決定されたパラメーターについて、検証条件を通じて検証を実行する必要がないので、第２撮影パラメーターと第２検証パラメーターとは同じでない可能性がある。この場合、撮影装置１０００が第１～第Ｎ撮影パラメーターを評価し、サーバー２０００が第１～第Ｍ検証パラメーターを評価するとき、Ｎは、Ｍより大きい数であってもよい。

【0107】

サーバー２０００に含まれる１つ以上の検証部２２０１、２２０２、．．．、２２９９は、目標画像がそれぞれの検証条件を満たしているか否かを決定してもよい。検証部２２０１、２２０２、．．．、２２９９が、キャプチャーされた画像がすべての予め記憶された検証条件を満たしているか否かを決定するとき、第２コントローラ２４００は、キャプチャーされた画像を診断画像として決定し、診断部２３００を介して診断支援情報を取得するための操作を実行してもよいし、又は、第２記憶部２７００を介して診断画像を記憶してもよい。

【0108】

診断部２３００は、画像を使用して診断支援情報を取得する機能を実行してもよい。診断部２３００は、第２記憶部２７００に記憶された診断アルゴリズムを使用することで、診断画像に基づいて目標疾患に関する情報（例えば、診断支援情報）を取得する機能を実行してもよい。具体例として、第２記憶部２７００には、診断対象ＤＯを含む画像と目標疾患が発生したか否かに関する情報の両方を使用してトレーニングされた診断モデルが記憶されてもよく、診断部２３００は、第２コントローラ２４００による制御下で診断モデル及び診断画像に基づいて診断支援情報を取得する機能を実行してもよい。診断モデルは、機能及び／又はパラメーターが記憶された人工知能モデルを意味してもよい。

【0109】

本出願の別の実施形態によれば、診断部２３００は別個のサーバーに含まれてもよく、サーバー２０００は、第２通信部２１００を介して別個のサーバーに診断画像を送信することによって、診断支援情報を取得してもよい。

【0110】

第１コントローラ１５００と同様に、第２コントローラ２４００は、サーバー２０００の操作を管理及び制御する機能を実行してもよい。第１入力部１６００と同様に、第２入力部２５００は、ユーザーから情報を取得する機能を実行してもよい。第１出力部１７００と同様に、第２出力部２６００は、ユーザーが情報をチェックできるように情報を出力する機能を実行してもよい。

【0111】

第１記憶部１３００と同様に、第２記憶部２７００には、サーバー２０００の動作に必要な様々な種類のデータ及びプログラムが記憶されてもよい。

【0112】

本出願の一実施形態によれば、第２記憶部２７００は、データベースの形態であってもよい。データベースは、キーワードカテゴリごとに構造化されており、特定のキーワードで所望の情報を見つけることができる。構造化データベースは、データベースの設計や構築方法によって様々な方式で実現されてもよいため、構造化データベースの詳細な説明は省略する。

【0113】

本出願の一実施形態によれば、診断対象ＤＯを検出するための画像分析アルゴリズムは、第２記憶部２７００に記憶されてもよい。言い換えれば、第２記憶部２７００には、診断対象ＤＯに関連する検証パラメーターを検出するための画像分析アルゴリズム、及びそれに対応する条件が記憶される。例えば、第２画像分析アルゴリズムは、ランドマーク画像分析アルゴリズムであってもよい。別の例として、第２画像分析アルゴリズムは、姿勢推定アルゴリズムであってもよい。また別の例として、第２画像分析アルゴリズムは、色比較アルゴリズムであってもよい。

【0114】

一実施形態によれば、サーバー２０００に記憶された画像分析アルゴリズムと、ユーザー端末１０００に記憶された画像分析アルゴリズムは、同じ対象を検出するためのアルゴリズムであってもよい。しかしながら、サーバー２０００に記憶された画像分析アルゴリズムの演算量と、ユーザー端末１０００に記憶された画像分析アルゴリズムの演算量は、互いに異なっていてもよい。具体例として、２つの画像分析アルゴリズムは、写真を撮りながらリアルタイムに演算を実行する必要があるユーザー端末１０００における画像分析アルゴリズムの演算量がサーバー２０００における画像分析アルゴリズムの演算量よりも少なくなるように、選択されてもよい。

【0115】

第２コントローラ２４００、第２入力部２５００、第２出力部２６００、及び第２記憶部２７００に関連する冗長な機能／モジュールの説明は省略する。

【0116】

本出願の一実施形態によるサーバー２０００は、物理的に１つの単一サーバーであってもよいし、スループット又はロールが複数のサーバーに分散される分散サーバーであってもよい。

【0117】

以下、特に明記しない限り、撮影装置１０００の操作は第１コントローラ１５００が実行したものと解釈されてもよく、サーバー２０００の操作は第２コントローラ２４００が実行したものと解釈されてもよい。

【0118】

以下、本出願の幾つかの実施形態による撮影装置１０００（以下、ユーザー端末という）及び／又はサーバー２０００の操作については、詳細に説明する。

【0119】

図４は、本出願の一実施形態によるユーザー端末１０００のキャプチャーされた画像取得操作を示すフローチャートである。

【0120】

ユーザー端末１０００は、ステップＳ１１０でガイドを提供し、ステップＳ１２０でプレビュー画像を取得し、ステップＳ１３０で撮影条件についての決定を実行し、ステップＳ１４０で診断候補画像を記憶し、ステップＳ１５０で診断候補画像を送信してもよい。

【0121】

ユーザー端末１０００の第１コントローラ１５００は、ステップＳ１１０において、第１出力部１７００を使用してガイドが提供されるように制御を実行してもよい。

【0122】

ここで、ガイドは、画像を撮るのを支援する機能を実行する。例えば、ガイドは、ユーザー端末１０００のディスプレイに出力されるプレビュー画像に、一緒に出力される線又は文字の形であってもよい。別の例として、ガイドは、撮影を支援するようにユーザー端末１０００のスピーカを介して出力される音声の形であってもよい。ただし、これに限定されるものではない。

【0123】

ガイドは、撮影条件について設定された複数の撮影パラメーターの一部を支援するために提供されてもよいし、撮影条件について設定されたすべての撮影パラメーターを支援するために提供されてもよい。ガイドによって支援される撮影パラメーターは、診断対象ＤＯに関連する撮影パラメーターを含んでもよい。

【0124】

ガイドは、撮影パラメーターに対応する撮影条件を提示する形で提供されてもよいし、被撮影者の現在の状態を視覚化する形で提供されてもよいし、撮影条件及び現在の状態の両方を出力する形で提供されてもよい。具体例として、ユーザー端末に提供されるガイドは、眼の適切な位置を示すための第１ガイドと、眼の現在の位置を示すための第２ガイドとを含んでもよい。

【0125】

図５は、本出願の一実施形態によるガイド提供操作Ｓ１１０におけるユーザー端末１０００の第１出力部１７００を示す図である。

【0126】

ユーザー端末１０００に出力されるガイドは、第１ガイドＩＧ１、第２ガイドＩＧ２、及び第３ガイドＩＧ３を含んでもよい。第１ガイドＩＧ１は、ユーザーの顔がユーザー端末１０００から適切な距離に保たれるように、ユーザーの顔を第１ガイドＩＧ１の内側に配置するためのガイダンスのインジケータであってもよい。第２ガイドＩＧ２は、ユーザーの眼が所定の位置にある画像を取得するように、ユーザーの眼の位置と第２ガイドＩＧ２の位置合わせを誘導するインジケータであってもよい。第３ガイドＩＧ３は、ユーザーの顔の左右の角度（ヨー）が予め記憶された基準から外れないように、ユーザーの鼻のラインがどの位置にあるべきかを示すガイダンスのインジケータであってもよい。

【0127】

本出願の一実施形態によれば、図５に示すガイドが甲状腺眼症を診断（予測）するための画像を撮る際に提供される場合、第２ガイドＩＧ２は、診断対象ＤＯに関するガイドであってもよい。

【0128】

図４に戻って参照すると、ユーザー端末１０００の第１コントローラ１５００は、ステップＳ１２０において、画像取得部１１００を使用してプレビュー画像が取得されるように、制御を実行してもよい。

【0129】

ここで、プレビュー画像は、画像撮影ステップで決定されたフレームレートに従って取得される画像を意味してもよい。具体的には、ユーザー入力に従って画像撮影操作が開始するか、又は予め記憶された条件が満たされていると自動撮影操作が開始し、それに応じて、キャプチャーされた画像が記憶される。この記憶ステップの前にキャプチャーされた画像は、プレビュー画像を意味してもよい。

【0130】

ユーザー端末１０００の第１コントローラ１５００は、決定部１２０１、１２０２、．．．、１２９９を使用して、取得されたプレビュー画像が撮影条件を満たしているか否かを決定してもよい。

【0131】

目標画像（例えば、チェックされるプレビュー画像）が撮影条件を満たしていると決定すると、ユーザー端末１０００の第１コントローラ１５００は、ステップＳ１４０で第１記憶部１３００を使用してキャプチャーされた画像を記憶してもよく、ステップＳ１５０で第１通信部１４００を使用してキャプチャーされた画像をサーバー２０００に送信してもよい。

【0132】

目標画像が撮影条件を満たしていないと決定すると、ユーザー端末１０００の第１コントローラ１５００は、ステップＳ１３０において、決定部１２０１、１２０２、．．．、１２９９を使用して、ステップＳ１２０で取得された別の画像が撮影条件を満たしているか否かを決定してもよい。

【0133】

図６は、本出願の一実施形態による、撮影条件が満たされているか否かを決定する方法Ｓ１３０を具体的に示す図である。

【0134】

第１記憶部１３００には、目標画像が撮影条件を満たしているか否かを評価するために決定される１つ以上の撮影パラメーターと、撮影パラメーターに対応する条件とが記憶されてもよい。ステップＳ１３０で撮影条件が満たされているか否かを決定するときに評価される撮影パラメーターは、診断対象ＤＯに関連する１つの撮影パラメーター、又はパラメーターの少なくとも一部が診断対象ＤＯに関連する複数の撮影パラメーターであってもよい。

【0135】

本出願の一実施形態によれば、診断対象ＤＯに関連する撮影条件は、診断対象ＤＯの検出全体に関連してもよい。例えば、診断対象ＤＯが「眼」である場合、第１コントローラ１５００は、プレビュー画像において眼が完全に（即ち、全体的に）検出されたか否かを評価してもよい。別の例として、診断対象ＤＯが「全身」である場合、第１コントローラ１５００は、決定された関節のすべてがプレビュー画像において検出されたか否かを評価してもよい。

【0136】

本出願の一実施形態によれば、診断対象ＤＯに関連する撮影条件は、診断対象ＤＯと予め記憶された参照領域とを比較することによって決定されてもよい。例えば、診断対象ＤＯの検出領域が目標領域に位置する場合、診断対象ＤＯに関連する撮影条件は、満たされているように設定されてもよい。具体例として、診断対象ＤＯが「眼」である場合、第１コントローラ１５００は、検出された眼の輪郭が、眼の位置として記憶された領域と重なるか否かを評価してもよい。

【0137】

図７は、本出願の一実施形態による撮影パラメーターを示す図である。

【0138】

具体例として、第１撮影パラメーターＤＰ１がランドマーク検出アルゴリズムを駆動して取得された画像における眼のランドマークである場合、図７に示すように、プレビュー画像における両眼のランドマークは、第１撮影パラメーターＤＰ１として取得されてもよい。第１コントローラ１５００は、第１撮影パラメーターＤＰ１を第２画像ガイドＩＧ２と比較してもよい。あるいは、第１コントローラ１５００は、第１撮影パラメーターＤＰ１を予め記憶された眼の位置と比較してもよい。第１コントローラ１５００は、検出された眼の輪郭（即ち、第１撮影パラメーターＤＰ１）が眼の位置として記憶された領域と重なるか否かを評価し、第１撮影パラメーターＤＰ１が第１撮影条件を満たしているか否かを決定してもよい。

【0139】

別の具体例として、診断対象ＤＯが「眼」である場合、第１コントローラ１５００は、検出された眼の輪郭の中心が、瞳孔の位置として記憶された領域に含まれるか否かを評価してもよい。

【0140】

本出願の一実施形態によれば、ステップＳ１３０で撮影条件が満たされているか否かを決定するときに評価される撮影パラメーターは、撮影品質に関連する一般的な指標を含んでもよい。例えば、第１コントローラ１５００は、目標画像が取得された時点における周囲の明るさが参照値以上であるか否かを評価してもよい。別の例として、第１コントローラ１５００は、目標画像が取得された時点におけるユーザー端末の加速度センサー値が参照値以上であるか否かを評価してもよい。

【0141】

図６に戻って参照すると、ステップＳ１３０で目標画像が撮影条件を満たしているか否かを決定するとき、予め設定された撮影パラメーターのそれぞれが満たされているか否かを評価してもよい。

【0142】

具体例として、第１コントローラ１５００は、ステップＳ１３１において、第１決定部１２０１を使用してプレビュー画像を分析し、第１撮影パラメーターを取得し、第１撮影パラメーターに対応する第１撮影条件が満たされているか否かを評価してもよい。

【0143】

第１コントローラ１５００は、ステップＳ１３２において、第２決定部１２０２を使用してプレビュー画像を分析し、第２撮影パラメーターを取得し、第２撮影パラメーターに対応する第２撮影条件が満たされているか否かを評価してもよい。

【0144】

第１コントローラ１５００は、ステップＳ１３３において、第Ｎ決定部１２９９を使用してプレビュー画像を分析し、第Ｎ撮影パラメーターを取得し、第Ｎ撮影パラメーターに対応する第Ｎ撮影条件が満たされているか否かを評価してもよい。

【0145】

ステップＳ１３１において第１撮影パラメーターに対応する第１撮影条件が満たされているか否かを決定すること、ステップＳ１３２において第２撮影パラメーターに対応する第２撮影条件が満たされているか否かを決定すること、．．．、及び、ステップＳ１３３において第Ｎ撮影パラメーターに対応する第Ｎ撮影条件が満たされているか否かを決定することは、逐次的に又は並行して実行されてもよい。

【0146】

本出願の一実施形態によれば、第１撮影パラメーター～第Ｎ撮影パラメーターのすべてが第１条件～第Ｎ条件をそれぞれ満たしていると決定すると、第１コントローラ１５００は、キャプチャーされた画像を記憶してもよい。この場合、第１条件～第Ｎ条件のすべてが満たされている条件が、予め記憶された条件として定義されてもよい。即ち、第１コントローラ１５００は、予め記憶された条件が満たされていると決定すると、キャプチャーされた画像を記憶してもよい。より具体的には、予め記憶された条件を満たすということは、第１撮影パラメーター～第Ｎ撮影パラメーターのすべてが第１条件～第Ｎ条件をそれぞれ満たしていることを意味してもよい。

【0147】

本出願の別の実施形態によれば、第１撮影パラメーター～第Ｎ撮影パラメーターの一部が第１条件～第Ｎ条件をそれぞれ満たしていると決定すると、第１コントローラ１５００は、キャプチャーされた画像を記憶してもよい。この場合、第１条件～第Ｎ条件の一部が満たされている条件が、予め記憶された条件として定義されてもよい。即ち、第１コントローラ１５００は、予め記憶された条件が満たされていると決定すると、キャプチャーされた画像を記憶してもよい。より具体的には、予め記憶された条件を満たすということは、第１撮影パラメーター～第Ｎ撮影パラメーターの一部が第１条件～第Ｎ条件をそれぞれ満たしていることを意味してもよい。

【0148】

予め記憶された条件は、上記の実施形態に限定されない。例えば、第１撮影パラメーターのみが取得された場合、第１条件が満たされている条件が、予め記憶された条件として定義されてもよい。

【0149】

本出願の一実施形態によれば、第１記憶部１３００には、ステップＳ１３０で撮影条件が満たされているか否かを決定するときに評価される幾つかの撮影パラメーターを検出するためのアルゴリズムが記憶されてもよく、それぞれの撮影パラメーターを検出するためのアルゴリズムの演算量及び／又は処理速度は互いに異なっていてもよい。

【0150】

図８、９及び１０は、各撮影パラメーターに対応する条件が満たされているか否かを決定する速度に応じて、評価目標画像、撮影パラメーターの評価頻度、及び記憶されたキャプチャーされた画像を具体的に示す図である。

【0151】

ユーザー端末１０００は、予め設定されたフレームレートに従ってプレビュー画像を取得してもよい。好ましくは、プレビュー画像が取得される時間と次のプレビュー画像が取得される時間との間の休憩時間内に、各撮影パラメーターに対応する条件が満たされているか否かが決定されるとき、各プレビュー画像について、撮影パラメーターに対応する条件が満たされているか否かが評価されてもよい。

【0152】

しかしながら、ユーザー端末１０００が、プレビュー画像が取得される時間と次のプレビュー画像が取得される時間との間の休憩時間内に、幾つかの撮影パラメーターの少なくとも１つに対応する条件が満たされているか否かを決定できない場合、それぞれの撮影パラメーターの撮影条件について決定期間と、決定期間の間の関係の参照を設定する必要がある。

【0153】

本出願の一実施形態によれば、撮影パラメーターの決定期間は、撮影パラメーターの条件が満たされているか否かを決定するのに最も時間がかかる撮影パラメーターに基づいて同期されてもよい。

【0154】

図８を参照すると、第１画像フレームＩＦ１、第２画像フレームＩＦ２、第３画像フレームＩＦ３、．．．、第１０画像フレームＩＦ１０は、予め設定されたフレームレートに従って取得されてもよい。

【0155】

第１画像フレームＩＦ１の第Ｎ撮影パラメーターが満たされているか否を評価する操作Ｓ１３３が、第１画像フレームＩＦ１を取得し、第２画像フレームＩＦ２を取得した後、かつ第３画像フレームＩＦ３を取得する前に完了したと仮定すると、第１撮影パラメーター～第Ｎ撮影パラメーターのすべては、３つの画像フレームごとに１回、各撮影パラメーターの条件が満たされているか否かを評価するように設計されてもよい。

【0156】

第１画像フレームＩＦ１、第４画像フレームＩＦ４、第７画像フレームＩＦ７、及び第１０画像フレームＩＦ１０はそれぞれの撮影パラメーターの条件を満たしているか否かが評価されてもよく、第２画像フレームＩＦ２、第３画像フレームＩＦ３、第５画像フレームＩＦ５、第６画像フレームＩＦ６などはそれぞれの撮影パラメーターの条件を満たしているか否かが評価されなくてもよい。

【0157】

本出願の別の実施形態によれば、撮影パラメーターについては、各撮影パラメーターは独立して、条件が満たされているか否かを決定するのにかかる時間を有してもよく、それぞれの撮影パラメーターの条件が満たされているか否かが並行して評価されてもよい。

【0158】

図９を参照すると、第１画像フレームＩＦ１、第２画像フレームＩＦ２、第３画像フレームＩＦ３、．．．、第１０画像フレームＩＦ１０は、予め設定されたフレームレートに従って取得されてもよい。

【0159】

第１撮影パラメーターが満たされているか否かを評価する操作Ｓ１３１は、フレーム毎に実行されてもよい。第２撮影パラメーターが満たされているか否かを評価する操作Ｓ１３２は、フレーム毎に実行されてもよい。第Ｎ撮影パラメーターが満たされているか否かを評価する操作Ｓ１３３は、３つの画像フレーム毎に実行されてもよく、条件が満たされているか否かが評価されてもよい。

【0160】

図９を参照して説明した期間に従って、個々の撮影パラメーターに対応する条件が満たされているか否かが評価されるとき、条件が満たされているか否かを決定する結果は、図１０に示す表のように取得されてもよい。

【0161】

第１～第Ｎ撮影パラメーターが満たされているか否かを決定するＳ１３４では、第１撮影パラメーター～第Ｎ撮影パラメーターに対応する条件が満たされているか否かに基づいて決定してもよい。

【0162】

本出願の一実施形態によれば、図１０に示すように、第１コントローラ１５００は、最新の第１～第Ｎ撮影パラメーターが満たされているか否かに基づいて、キャプチャーされた画像を記憶するか否かを決定してもよい。具体例として、キャプチャーされた画像を記憶するか否かは、第９画像フレームＩＦ９についての操作Ｓ１３１が満たされているか否か、第９画像フレームＩＦ９についての操作Ｓ１３２が満たされているか否か、及び、第７画像フレームＩＦ７についての操作Ｓ１３３が満たされているか否かに基づいて決定されてもよい。

【0163】

本出願の別の実施形態によれば、第１コントローラ１５００は、最新の決定された期間内に第１撮影パラメーター又は第Ｎ撮影パラメーターが少なくとも１回満たされているか否かに基づいて、キャプチャーされた画像を記憶するか否かを決定してもよい。具体例として、キャプチャーされた画像を記憶するか否かは、第７画像フレームＩＦ７、第８画像フレームＩＦ８、又は第９画像フレームＩＦ９についての操作Ｓ１３１が満たされているか否か、第７画像フレームＩＦ７、第８画像フレームＩＦ８、又は第９画像フレームＩＦ９についての操作Ｓ１３２が満たされているか否か、及び、第７画像フレームＩＦ７についての操作Ｓ１３３が満たされているか否かに基づいて、決定されてもよい。

【0164】

図６に戻って参照すると、第１～第Ｎ撮影パラメーターがそれらに対応するそれぞれの条件を満たしていると決定すると、診断候補画像は、ステップＳ１４１で選択され、ステップＳ１４２で記憶されてもよい。診断候補画像の選択は、キャプチャーされた画像の決定に対応してもよい。

【0165】

本出願の一実施形態によれば、キャプチャーされた画像（即ち、診断候補画像）は、撮影条件を満たしていると決定された画像であってもよい。図１０を参照すると、第７画像フレームＩＦ７は、キャプチャーされた画像（即ち、診断候補画像）として記憶されてもよい。本出願の別の実施形態によれば、キャプチャーされた画像（即ち、診断候補画像）は、撮影条件が満たされていると決定された直後に取得された画像であってもよい。図１０を参照すると、第１０画像フレームＩＦ１０は、キャプチャーされた画像（即ち、診断候補画像）として記憶されてもよい。

【0166】

図６に戻って参照すると、第１～第Ｎ撮影パラメーターが条件を満たしていないと決定すると、撮影条件がチェックされた画像とは異なる画像についての撮影条件はチェックされてもよい。ここで、撮影条件がチェックされる画像は、撮影条件がチェックされた画像が取得された後に新たに取得された画像であってもよい。

【0167】

本出願の一実施形態によれば、撮影パラメーターが満たされているか否かが決定される画像は、撮影条件がチェックされた画像の次の画像であってもよい。図１０を参照すると、第１画像フレームＩＦ１の撮影条件がチェックされた後、第３画像フレームＩＦ３の撮影条件がチェックされてもよい。本出願の別の実施形態によれば、撮影パラメーターが満たされているか否かが決定される画像は、第１～第Ｎ撮影パラメーターに基づいて撮影条件が満たされているか否かが決定された時間後に最初に取得された画像であってもよい。図１０を参照すると、第１画像フレームＩＦ１の撮影条件がチェックされた後、第４画像フレームＩＦ４の撮影条件がチェックされてもよい。

【0168】

ユーザー端末１０００がキャプチャーされた画像を取得すると、ユーザー端末１０００は、取得したキャプチャーされた画像をサーバー２０００に送信してもよい。ユーザー端末１０００は、キャプチャーされた画像、及び第１撮影パラメーター～第Ｎ撮影パラメーターの少なくとも一部に関する情報を送信してもよい。例えば、ユーザー端末１０００は、キャプチャーされた画像、及び診断対象ＤＯの検出された位置に関する情報をサーバー２０００に送信してもよい。具体例として、診断候補画像が「眼を含む顔画像」であり、「眼の位置」に関する情報が画像分析アルゴリズムを介して取得される場合、眼の位置に関する情報と眼を含む顔画像とは、サーバーに送信されてもよい。

【0169】

図１１は、本出願の一実施形態によるサーバー２０００の画像検証操作を示すフローチャートである。

【0170】

サーバー２０００の第２コントローラ２４００は、第２通信部２１００を使用して、診断候補画像を受信してもよい。サーバー２０００の第２コントローラ２４００は、第２通信部２１００を使用して、キャプチャーされた画像を受信してもよい。

【0171】

本出願の一実施形態によれば、第２コントローラ２４００は、キャプチャーされた画像（即ち、診断候補画像）と、キャプチャーされた画像に関するユーザー端末１０００の検出値を第２記憶部２７００に記憶してもよい。ユーザー端末１０００の検出値は、撮影パラメーターに関するものであってもよい。

【0172】

ステップＳ２２０において、サーバー２０００の第２コントローラ２４００は、検証部２２０１、２２０２、．．．、２２９９を使用して、キャプチャーされた画像（即ち、診断候補画像）が診断条件を満たしているか否かを決定してもよい。

【0173】

本出願の一実施形態によれば、診断条件が満たされているか否かを決定するための基準は、撮影条件として決定された基準の全部又は一部に対応してもよい。診断条件が満たされているか否かの決定は、キャプチャーされた画像が診断画像として使用できるか否かを決定するために、診断対象ＤＯに関する条件を含んでもよい。しかしながら、撮影条件で決定されたすべての撮影パラメーターを診断条件で再度決定する必要がないので、診断条件が満たされているか否かを決定するための基準は、撮影条件として決定された基準の全部又は一部に対応してもよい。

【0174】

具体例として、診断条件が満たされているか否かを決定するための基準に関する診断対象ＤＯは、撮影条件が満たされているか否かを決定するための基準に関する診断対象ＤＯと同じであってもよい。撮影条件で決定される診断対象ＤＯが「全身」である場合、診断条件で決定される診断対象ＤＯも「全身」であってもよい。撮影条件で決定される診断対象ＤＯが「眼」である場合、診断条件で決定される診断対象ＤＯも「眼」であってもよい。

【0175】

キャプチャーされた画像（即ち、診断候補画像）が診断条件を満たしていると決定すると、サーバー２０００の第２コントローラ２４００は、ステップＳ２３０で第２記憶部２７００を使用して画像を診断画像として記憶してもよく、診断部２３００を使用して診断支援情報を取得してもよい。キャプチャーされた画像（即ち、診断候補画像）が診断条件を満たしていないと決定すると、サーバー２０００の第２コントローラ２４００は、ステップＳ２４０において、再撮影を実行するようにユーザー端末Ｓ２４０に要求してもよい。

【0176】

図１２は、本出願の一実施形態による、診断条件が満たされているか否かを決定する方法Ｓ２２０を具体的に示す図である。

【0177】

第２記憶部２７００には、キャプチャーされた画像が診断条件を満たしているか否かを評価するために決定される１つ以上の検証パラメーターと、検証パラメーターに対応する条件が記憶されてもよい。ステップＳ２２０で診断条件が満たされているか否かを決定するときに評価される検証パラメーターは、診断対象ＤＯに関連する１つの検証パラメーター、又はパラメーターの少なくとも一部が診断対象ＤＯに関連する複数の検証パラメーターであってもよい。

【0178】

本出願の一実施形態によれば、診断対象ＤＯに関連する検証条件は、診断対象ＤＯの検出全体に関連してもよい。例えば、診断対象ＤＯが「眼」である場合、第２コントローラ２４００は、キャプチャーされた画像において眼が完全に（即ち、全体的に）検出されたか否かを評価してもよい。別の例として、診断対象ＤＯが「全身」である場合、第２コントローラ２４００は、決定された関節のすべてがキャプチャーされた画像において検出されたか否かを評価してもよい。

【0179】

本出願の一実施形態によれば、診断対象ＤＯに関連する検証条件は、診断対象ＤＯを、ユーザー端末１０００から受信した撮影パラメーターと比較することで決定されてもよい。例えば、撮影条件チェックステップで取得された診断対象ＤＯの検出領域が、検証条件チェックステップで取得された診断対象ＤＯの検出領域と閾値以下で異なる場合に、診断対象ＤＯに関連する検証条件は満たされていると設定されてもよい。

【0180】

具体例として、診断対象ＤＯが「眼」である場合、第２コントローラ２４００は、ユーザー端末１０００によって検出された眼の輪郭が、サーバー２０００によって検出された眼の輪郭と閾値以下で異なる位置に存在するか否かを評価してもよい。

【0181】

図１３は、本出願の一実施形態による検証パラメーターを示す図である。

【0182】

第１検証パラメーターＶＰ１がランドマーク検出アルゴリズムを駆動することで取得された画像における眼のランドマークである場合、図１３に示すように、キャプチャーされた画像における両眼のランドマークは、第１検証パラメーターＶＰ１として取得されてもよい。

【0183】

第２コントローラ２４００は、第１検証パラメーターＶＰ１を第１撮影パラメーターＤＰ１と比較してもよい。具体例として、診断対象ＤＯが「眼」である場合、第２コントローラ２４００は、第１検証パラメーターＶＰ１として検出された眼の輪郭が、ユーザー端末１０００によって第１撮影パラメーターＤＰ１として検出された眼の輪郭に含まれるか否かを評価してもよい。

【0184】

あるいは、第２コントローラ２４００は、第１検証パラメーターＶＰ１を、第１撮影パラメーターＤＰ１が評価されるときの基準となる領域と比較してもよい。具体例として、診断対象ＤＯが「眼」である場合、第２コントローラ２４００は、第１検証パラメーターＶＰ１として検出された眼の輪郭の中心が、虹彩の位置として記憶されている領域を含むか否かを評価してもよい。

【0185】

本出願の一実施形態によれば、ステップＳ２２０で診断条件が満たされているか否かを決定するときに評価される検証パラメーターは、撮影品質に関連する一般的な指標を含んでもよい。例えば、第２コントローラ２４００は、キャプチャーされた画像が撮影中のユーザー端末１０００の移動による揺れに対応する領域を含むか否かを評価してもよい。

【0186】

サーバー２０００に使用されるアルゴリズムの演算量は、ユーザー端末１０００に使用されるアルゴリズムの演算量より多くてもよい。これは、ユーザー端末１０００が撮影パラメーターをチェックするときにリアルタイム撮影が実行されるため、過度な操作を必要とするアルゴリズムは駆動に適さないからである。その結果、診断画像を取得するプロセスでは、撮影パラメーターを用いて分析された診断対象ＤＯは、サーバー２０００によって再度分析され、それにより正確な写真が取得される。

【0187】

本出願の一実施形態によれば、サーバー２０００における診断対象ＤＯを検出するための画像分析アルゴリズムと、ユーザー端末１０００における診断対象ＤＯを検出するための画像分析アルゴリズムとは、異なる種類の画像分析アルゴリズムであってもよい。具体例として、サーバー２０００における診断対象ＤＯを検出するための画像分析アルゴリズムは、画像セグメンテーションアルゴリズムであってもよく、ユーザー端末１０００における診断対象ＤＯを検出するための画像分析アルゴリズムは、ランドマーク検出アルゴリズムであってもよい。

【0188】

本出願の別の実施形態によれば、サーバー２０００における診断対象ＤＯを検出するための画像分析アルゴリズムと、ユーザー端末１０００における診断対象ＤＯを検出するための画像分析アルゴリズムとは、同じ種類の画像分析アルゴリズムであってもよく、ユーザー端末１０００における画像分析アルゴリズムの演算量は、サーバー２０００における画像分析アルゴリズムの演算量よりも少なくてもよい。具体例として、サーバー２０００における診断対象ＤＯを検出するための画像分析アルゴリズムは、ランドマーク検出にＤｌｉｂ^TMのｇｅｔ＿ｆｒｏｎｔａｌ＿ｆａｃｅ＿ｄｅｔｅｃｔｏｒを使用し、ユーザー端末１０００における診断対象ＤＯを検出するための画像分析アルゴリズムは、ランドマーク検出にＧｏｏｇｌｅ^TMのＭＬｋｉｔ－顔検出を使用してもよいが、制限はない。

【0189】

図１２に戻って参照すると、ステップＳ２２０において、キャプチャーされた画像が診断条件を満たしているか否かを決定するとき、所定の検証パラメーターのそれぞれが満たされているか否かを評価してもよい。

【0190】

具体例として、第２コントローラ２４００は、ステップＳ２２１において、第１検証部２２０１を使用してキャプチャーされた画像を分析し、第１検証パラメーターを取得し、第１検証パラメーターに対応する第１検証条件が満たされているか否かを評価してもよい。

【0191】

第２コントローラ２４００は、ステップＳ２２２において、第２検証部２２０２を使用してキャプチャーされた画像を分析し、第２検証パラメーターを取得し、第２検証パラメーターに対応する第２検証条件が満たされているか否かを評価してもよい。

【0192】

第２コントローラ２４００は、ステップＳ２２３において、第Ｍ検証部２２９９を使用してキャプチャーされた画像を分析し、第Ｍ検証パラメーターを取得し、第Ｍ検証パラメーターに対応する第Ｍ検証条件が満たされているか否かを評価してもよい。

【0193】

ステップＳ２２１において第１検証パラメーターに対応する第１検証条件が満たされているか否かを決定すること、ステップＳ２２２において第２検証パラメーターに対応する第２検証条件が満たされているか否かを決定すること、．．．、及び、ステップＳ２２３において第Ｍ検証パラメーターに対応する第Ｍ検証条件が満たされているか否かを決定することは、逐次的に又は並行して実行されてもよい。

【0194】

第１検証パラメーター～第Ｍ検証パラメーターがすべて満たされていると決定すると、第２コントローラ２４００は、ステップＳ２３０において、キャプチャーされた画像を診断画像として記憶してもよい。診断画像を記憶することは、診断支援情報が取得される目標画像としてキャプチャーされた画像が決定されることを意味してもよいし、診断支援情報を取得するために必要な前処理を施した後にキャプチャーされた画像が記憶されることを意味してもよい。

【0195】

診断支援情報が取得される目標画像としてキャプチャーされた画像が決定された場合、サーバー２０００は、診断部２３００を介して目標画像に関する診断支援情報を取得してもよい。ただし、それに限定されずに、キャプチャーされた画像を医師に送信して、医師が遠隔医療を行うことができるという形を実現することも可能である。

【0196】

本出願の別の実施形態によれば、目標画像が診断画像として使用される場合、画像は、診断対象ＤＯに関連付けられた検証パラメーターを参照して、クロッピングされて記憶されてもよい。これについての詳細な説明は、図１４を参照して後述する。

【0197】

本出願の一実施形態によれば、第１～第Ｍ検証パラメーターが条件を満たしていないと決定すると、ユーザー端末１０００は、再撮影を実行するように要求される場合がある。本出願の別の実施形態によれば、第１～第Ｍ検証パラメーターが条件を満たしていないと決定するが、ユーザー端末１０００によって検出された診断対象ＤＯの位置とサーバー２０００によって検出された診断対象ＤＯの位置とが互いに僅かに異なる場合、キャプチャーされた画像の後処理は、サーバー２０００によって検出された診断対象ＤＯの位置が参照領域に配置されるように、平行移動の形で実行されてもよい。

【0198】

図１４は、本出願の一実施形態による、診断画像を記憶し、それを使用して診断支援情報を取得する操作を示す図である。

【0199】

第２コントローラ２４００は、ステップＳ２３１でキャプチャーされた画像に対して前処理を実行して診断画像を取得し、取得した診断画像をステップＳ２３２で記憶してもよい。また、第２コントローラ２４００は、診断画像を診断アルゴリズムに供給して、目標疾患に関する情報を取得してもよい。

【0200】

キャプチャーされた画像に対して実行された前処理は、診断対象ＤＯの領域以外の領域が診断アルゴリズムでノイズとして使用されないように、クロッピングを実行する形であってもよい。

【0201】

第２コントローラ２４００は、ステップＳ２３１において、診断対象ＤＯに関連する検証パラメーターに基づいて、診断画像を前処理してもよい。具体例として、第２コントローラ２４００は、診断対象ＤＯを含む領域のみが残るように、診断対象ＤＯに関連する検証パラメーターである第１検証パラメーターＶＰ１を参照してクロッピングを実行することによって、診断画像を取得してもよい。あるいは、第２コントローラ２４００は、ステップＳ２３１において、診断対象ＤＯに関連する検証パラメーターと診断対象ＤＯに関連する撮影パラメーターとに基づいて、診断画像を前処理してもよい。

【0202】

診断のために使用される診断画像を取得する具体的な方法が記載されている。診断画像を取得する上記の方法は、画像を分析することによって疾患に関する情報を取得する任意の診断装置に適用されてもよい。

【0203】

以下、診断画像を取得する上記の方法の理解を助けるために、本出願で開示される技術的思想について、幾つかの具体的な実施形態を参照して明らかにする。

【0204】

ユーザー端末１０００は、少なくとも第１撮影パラメーターが第１撮影条件を満たしているか否かを評価してもよい。第１撮影パラメーターは、診断対象ＤＯに関連してもよい。ユーザー端末１０００は、プレビュー画像に基づいて第１撮影パラメーターを取得し、取得した第１撮影パラメーターが第１撮影条件を満たしているか否かを評価してもよい。

【0205】

第１撮影パラメーターが取得された場合、第１画像分析アルゴリズムが使用されてもよい。第１画像分析アルゴリズムは、画像における診断対象ＤＯにラベルを付けることによってトレーニングされた検出モデルであってもよい。

【0206】

ユーザー端末１０００は、プレビュー画像に基づいて第１撮影パラメーターを取得し、取得した第１撮影パラメーターが第１撮影条件を満たしているか否かを評価し、第１撮影条件が満たされていると評価すると、キャプチャーされた画像を取得してもよい。

【0207】

ユーザー端末１０００は、キャプチャーされた画像と第１画像分析アルゴリズムの分析値をサーバー２０００に送信してもよい。

【0208】

サーバー２０００は、少なくとも第１検証パラメーターが第１検証条件を満たしているか否かを評価してもよい。第１検証パラメーターは、診断対象ＤＯに関連してもよい。サーバー２０００は、キャプチャーされた画像に基づいて第１検証パラメーターを取得し、取得した第１検証パラメーターが第１検証条件を満たしているか否かを評価してもよい。

【0209】

第１検証パラメーターが取得された場合、第２画像分析アルゴリズムが使用されてもよい。第２画像分析アルゴリズムは、画像における診断対象ＤＯにラベルを付けることによってトレーニングされた検出モデルであってもよい。

【0210】

サーバー２０００は、キャプチャーされた画像に基づいて第１検証パラメーターを取得し、取得した第１検証パラメーターが第１検証条件を満たしているか否かを評価し、第１検証条件が満たされていると評価すると、キャプチャーされた画像を診断画像として記憶してもよい。

【0211】

図１５a及び１５bは、本出願の一実施形態による眼疾患関連画像の方法を示す図である。

【0212】

本出願の一実施形態によれば、第１画像分析アルゴリズムは第１ランドマーク検出アルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象ＤＯは眼であってもよく、第１撮影パラメーターは眼のランドマークであってもよい。第１撮影パラメーターについては、第１ランドマーク検出アルゴリズムを介して得られた顔のランドマークの中から眼のランドマークを選択してもよいし、第１ランドマークアルゴリズムを介して眼のランドマークのみを取得してもよい（図１５aを参照）。本出願の一実施形態によれば、第１ランドマーク検出アルゴリズムが瞳孔ランドマーク及び／又は虹彩ランドマークを検出する場合、第１撮影パラメーターは、瞳孔ランドマーク及び／又は虹彩ランドマークに基づく瞳孔位置であってもよい。本出願の別の実施形態によれば、第１ランドマーク検出アルゴリズムが眼球－眼瞼境界を検出する場合、第１撮影パラメーターは、眼球－眼瞼境界に基づく瞳孔の可能な位置の範囲であってもよい。

【0213】

第２画像分析アルゴリズムは第２ランドマーク検出アルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象ＤＯは眼であってもよく、第１検証パラメーターは眼のランドマークであってもよい。同様に、第１検証パラメーターについては、第２ランドマーク検出アルゴリズムを介して得られた顔のランドマークの中から眼のランドマークを選択してもよいし、第２ランドマークアルゴリズムを介して眼のランドマークのみを取得してもよい。本出願の一実施形態によれば、第２ランドマーク検出アルゴリズムが瞳孔ランドマーク及び／又は虹彩ランドマーク検出する場合、第１検証パラメーターは、瞳孔ランドマーク及び／又は虹彩ランドマークに基づく瞳孔位置であってもよい。本出願の別の実施形態によれば、第２ランドマーク検出アルゴリズムが眼球－眼瞼境界を検出する場合、第１検証パラメーターは、眼球－眼瞼境界に基づく瞳孔の可能な位置の範囲であってもよい。

【0214】

ここで、本出願の一実施形態によれば、第１撮影条件は、ｉ）第１ランドマーク検出アルゴリズムを介して得られた眼のランドマークと、ｉｉ）予め記憶された眼の領域とが閾値以下で互いに異なる条件に設定されてもよい。本出願の別の実施形態によれば、第１撮影条件は、ｉ）第１ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び／又は瞳孔の可能な位置の範囲と、ｉｉ）予め記憶された瞳孔位置及び／又は瞳孔の可能な位置の範囲とが閾値以下で互いに異なる条件に設定されてもよい。

【0215】

ここで、本出願の一実施形態によれば、第１検証条件は、ｉ）第１ランドマーク検出アルゴリズムを介して得られた眼のランドマークと、ｉｉ）第２ランドマーク検出アルゴリズムを介して得られた眼のランドマークとが閾値以下で互いに異なる条件に設定されてもよい。本出願の別の実施形態によれば、第１検証条件は、ｉ）第１ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び／又は瞳孔の可能な位置の範囲と、ｉｉ）第２ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び／又は瞳孔の可能な位置の範囲とが閾値以下で互いに異なる条件に設定されてもよい。

【0216】

本出願の別の実施形態によれば、第１画像分析アルゴリズムは第１ランドマーク検出アルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象ＤＯは眼であってもよく、第１撮影パラメーターは眼のランドマークであってもよい。第１撮影パラメーターについては、第１ランドマーク検出アルゴリズムを介して得られた顔のランドマークの中から眼のランドマークを選択してもよいし、第１ランドマークアルゴリズムを介して眼のランドマークのみを取得してもよい（図１５aを参照）。本出願の一実施形態によれば、第１ランドマーク検出アルゴリズムが瞳孔ランドマーク及び／又は虹彩ランドマークを検出する場合、第１撮影パラメーターは、瞳孔ランドマーク及び／又は虹彩ランドマークに基づく瞳孔位置であってもよい。本出願の別の実施形態によれば、第１ランドマーク検出アルゴリズムが眼球－眼瞼境界を検出する場合、第１撮影パラメーターは、眼球－眼瞼境界に基づく瞳孔の可能な位置の範囲であってもよい。

【0217】

第２画像分析アルゴリズムは画像セグメンテーションアルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象ＤＯは眼であってもよく、第１検証パラメーターは、画像セグメンテーションアルゴリズムを使用して予測された虹彩領域であってもよい（図１５bを参照）。本出願の一実施形態によれば、画像セグメンテーションアルゴリズムが眼球領域を予測する場合、第１検証パラメーターは、眼球－眼瞼境界の内側の領域（即ち、眼球領域）に基づく瞳孔の可能な位置の範囲であってもよい。本出願の別の実施形態によれば、画像セグメンテーションアルゴリズムが角膜領域を予測する場合、第１検証パラメーターは、角膜境界の内側の領域（即ち、角膜領域）に基づく瞳孔位置であってもよい。

【0218】

【0219】

ここで、本出願の一実施形態によれば、第１検証条件は、画像セグメンテーションアルゴリズムを使用して予測された虹彩領域の中心が、第１ランドマーク検出アルゴリズムを介して得られた眼のランドマーク内に含まれる条件に設定されてもよい。本出願の別の実施形態によれば、第１検証条件は、ｉ）第１ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び／又は瞳孔の可能な位置の範囲と、ｉｉ）画像セグメンテーションアルゴリズムを介して得られた瞳孔位置及び／又は瞳孔の可能な位置の範囲とが閾値以下で互いに異なる条件に設定されてもよい。

【0220】

本出願の一実施形態によれば、診断画像に基づいて診断支援情報を取得するための診断モジュールは、上記の手順により検証された画像を使用してトレーニングされてもよい。言い換えれば、診断モジュールをトレーニングする場合でも、上記の画像検証方法を介して画像を取得し、より一貫性のあるデータを使用して診断モジュールをトレーニングすることで、精度を向上させる。

【0221】

図１６a及び１６bは、本出願の一実施形態による、身体のアンバランス関連画像を取得する方法を示す図である。

【0222】

本出願の一実施形態によれば、第１画像分析アルゴリズムは対象検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象ＤＯは全身であってもよく、第１撮影パラメーターは、全身に対応する境界ボックスであってもよい（図１６aを参照）。第２画像分析アルゴリズムは対象検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象ＤＯは全身であってもよく、第１検証パラメーターは、全身に対応する境界ボックスであってもよい。

【0223】

ここで、第１撮影条件は、ｉ）第１画像分析アルゴリズムを介して得られた境界ボックスと、ｉｉ）予め記憶された全身領域とが閾値以下で互いに異なる条件に設定されてもよい。

【0224】

ここで、第１検証条件は、ｉ）第２画像分析アルゴリズムを介して得られた境界ボックスと、ｉｉ）第１画像分析アルゴリズムを介して得られた境界ボックスとが閾値以下で互いに異なる条件に設定されてもよい。

【0225】

本出願の別の実施形態によれば、第１画像分析アルゴリズムは対象検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象ＤＯは全身であってもよく、第１撮影パラメーターは、全身に対応する境界ボックスであってもよい（図１６aを参照）。第２画像分析アルゴリズムは姿勢検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象ＤＯは全身であってもよく、第１検証パラメーターは関節に対応するラインであってもよい。

【0226】

【0227】

ここで、第１検証条件は、第２画像分析アルゴリズムを介して取得された関節に対応するラインが、第１画像分析アルゴリズムを介して取得された境界ボックスの内側にあるという条件に設定されてもよい。

【0228】

個別には示されていないが、上記の説明に限定されることなく、以下の形態が実現され得る。ユーザー端末１０００とサーバー２０００は、脳卒中診断のために顔の特徴点を検出したか否かを決定してもよいし、又は、ユーザー端末１０００は、顔の特徴点を検出したか否かを決定してもよく、サーバー２０００は、顔の特徴点に基づいて特定の部位の縦横比を決定してもよい。ただし、これに限定されるものではない。

【0229】

また、本明細書の概念の説明では、ユーザー端末１０００が画像撮影を実行し、サーバー２０００が画像検証を実行すると説明したが、これは説明の便宜のための一例に過ぎない。以下の形態が実現され得る。ユーザー端末１０００は、本明細書で説明されたすべての操作を実行してもよい。又は、ユーザー端末１０００は、画像取得と記憶のみを実行し、サーバー２０００は、撮影パラメーターが基準を満たしているか否かと、検証パラメーターが基準を満たしているか否かを決定する。ただし、これに限定されるものではない。

【0230】

また、本明細書の概念の説明では、上記の説明は、撮影装置１０００がユーザー端末であると仮定して行ったが、これは説明の便宜のための一例に過ぎない。撮影装置１０００は、画像を撮るためのユーザー端末、眼底画像やＸ線画像を撮るためのユーザー端末であってもよいし、又はユーザー端末以外の医療装置であってもよい。

【0231】

上述した実施形態による方法は、コンピューター実行可能なプログラムとして書かれてもよく、コンピューター読取可能な記録媒体を使用してプログラムを実行する汎用デジタルコンピューターで実装されてもよい。また、本開示の実施形態で使用され得るデータ構造、プログラム命令、又はデータファイルは、様々な手段を介してコンピューター読取可能な記録媒体に記録されてもよい。コンピューター読取可能な記録媒体の例は、コンピューターシステムにより読み取り可能なデータが記憶されるすべての種類の記憶装置を含んでもよい。コンピューター読取可能な記録媒体の例は、プログラム命令を記憶及び実装するように特に構成された、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体と、ＣＤ－ＲＯＭ、及びＤＶＤなどの光学式媒体と、フロプティカルディスクなどの光磁気媒体と、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのハードウェア装置と、を含む。また、コンピューター読取可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送するための伝送媒体であってもよい。プログラム命令の例は、コンパイラーによって生成されたものなどの、及びインタープリターを使用するコンピューターで実行される高級言語コードなどを含む。

【0232】

限定された実施形態および図面を参照して本出願の実施形態を説明したが、本明細書に開示された技術的思想又は実施形態は、上述した実施形態に限定されるものではなく、当業者であれば、本明細書から様々な修正及び変更を行うことができることを理解するであろう。従って、本出願の範囲は、上記の説明ではなく特許請求の範囲によって定義され、それらの均等物はすべて本開示の範囲及び精神に含まれる。

【図1】