(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-03-11
(54)【発明の名称】診断画像の誘導自己捕捉
(51)【国際特許分類】
G16H 80/00 20180101AFI20250304BHJP
【FI】
G16H80/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024546244
(86)(22)【出願日】2023-02-02
(85)【翻訳文提出日】2024-08-19
(86)【国際出願番号】 US2023012218
(87)【国際公開番号】W WO2023150229
(87)【国際公開日】2023-08-10
(32)【優先日】2022-02-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】マヴロマラス, ジョージ
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
画像の誘導自己捕捉のためのアプリは、カメラを伴うモバイルコンピューティングデバイスのスクリーン上にグラフィカルユーザインタフェース(GUI)を表示してもよい。GUIは、所定の位置でポーズをとるユーザの身体の特定の領域のグラフィカル表示を含む、患者の身体上の特定の関心領域の画像を捕捉するための指示を提示してもよい。GUIは、カメラのレンズに現れるビューと併せてグラフィカル表示を表示してもよい。次いで、アプリは、カメラによって捕捉される1つ以上の画像を記憶し、記憶された画像を見直すための指示と共に1つ以上の記憶された画像をGUIに表示してもよい。記憶された画像のうちの1つ以上を承認するユーザ入力の受信に応答して、アプリは、承認された画像を医師又は臨床医と関連付けられるシステムに送信してもよい。
【選択図】
図3
【特許請求の範囲】
【請求項1】
モバイルコンピューティングデバイスによって実行可能なコードを含む1つ以上の画像の誘導自己捕捉のためのソフトウェアを具現化する1つ以上のコンピュータ可読非一時的記憶媒体であって、前記コードは、
前記モバイルコンピューティングデバイスのスクリーン上にグラフィカルユーザインタフェース(GUI)を表示し、前記GUIが、所定の位置でポーズをとるユーザの身体の特定の領域の画像を捕捉するための指示を提示し、前記指示が、前記所定の位置でポーズをとる前記ユーザの身体の前記特定の領域のグラフィカル表示を含み、
前記モバイルコンピューティングデバイスと関連付けられるカメラが使用可能であることを検出すると、前記カメラのレンズに現れるビューの画像を前記GUIに表示し、前記グラフィカル表示が、前記ビューの前記画像と併せて表示され、
前記ビューの1つ以上の画像を捕捉し、捕捉された前記画像が、前記モバイルコンピューティングデバイスに記憶され、
前記GUIに、1つ以上の記憶された前記画像を、前記記憶された画像を見直すための指示と共に表示し、
前記記憶された画像のうちの1つ以上を承認するユーザ入力の受信に応答して、承認された1つ以上の前記画像を、ネットワーク接続を介して、画像解析者と関連付けられるシステムに送信する、
ように実行可能である、1つ以上のコンピュータ可読非一時的記憶媒体。
【請求項2】
前記指示は、前記所定の位置を達成するために前記ユーザの身体の前記特定の領域を操作する方法を記述する少なくとも1つの指示を含み、前記グラフィカル表示は、前記所定の位置でポーズをとった後の前記ユーザの身体の前記特定の領域を描写する静止画像を含む、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項3】
前記ユーザの身体の前記特定の領域が前記ユーザの眼であり、前記眼の前記特定の領域を操作する方法を記述する前記少なくとも1つの指示は、指を使用して前記眼の瞼を持ち上げるための指示と、前記瞼を上げた位置で保持するための指示と、前記眼を前記ユーザの鼻へ向けて下方に回転させるための指示とを含む、請求項2に記載のコンピュータ可読非一時的記憶媒体。
【請求項4】
前記ユーザの身体の前記特定の領域が前記ユーザの眼であり、前記所定の位置は、前記眼の強膜の特定の領域内に埋め込まれているデバイスを露呈させるように策定される、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項5】
前記所定の位置でポーズをとる前記眼の前記グラフィカル表示は、前記眼の上瞼と前記眼の虹彩との間の前記強膜の広い領域、及び前記虹彩と前記眼の外眼角との間の前記強膜の広い領域を露呈するようにポーズをとった眼の様式化された画像を含み、前記上瞼が高く持ち上げられるように描写され、前記虹彩は、前記眼の内眼角に向かって下方内側に回転されるように描写される、請求項4に記載のコンピュータ可読非一時的記憶媒体。
【請求項6】
前記コードは、
前記ビューの前記画像を解析して、特定の関心領域の使用可能な診断画像に関する所定の規格への準拠を評価し、使用可能な診断画像のための前記所定の規格が、画像の写真特性又は使用可能な診断画像に描写された所定の位置のプロファイルに関する所定の規格を含む、
ように更に実行可能である、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項7】
前記ビューの前記画像は、それらが前記カメラの前記レンズに現れるときに解析され、
前記カメラの前記レンズに現れる前記ビューが前記特定の関心領域の使用可能な診断画像に関する前記所定の規格を満たすと決定する際に、自動的に、モバイルデバイスに、前記1つ以上の画像を捕捉するべく前記カメラを起動させる、
請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項8】
前記ビューの前記画像は、記憶された後に解析され、前記コードは、
前記記憶された画像のうちの不満足な1つが、前記特定の関心領域の使用可能な診断画像に関する前記所定の規格を満たさないと決定し、
前記GUIに、不満足な前記画像と、置換画像を捕捉するためのインタラクティブな要素とを表示する、
ように更に実行可能である、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項9】
画像の写真特性に関する前記所定の規格は、輝度、鮮明度、又はコントラストを含む、請求項6に記載のコンピュータ可読非一時的記憶媒体。
【請求項10】
前記ビューの前記画像を解析して、前記特定の関心領域の使用可能な診断画像に関する所定の規格への準拠を評価するように実行可能な前記コードは、
前記ユーザの身体の前記特定の領域の1つ以上の特徴を特定するために画像解析を実行し、
特定された前記特徴のうちの1つ以上の1つ以上の測定可能な属性を評価して、前記所定の位置の前記プロファイルへの準拠を決定する
ように実行可能であるコードを含む、請求項6に記載のコンピュータ可読非一時的記憶媒体。
【請求項11】
前記測定可能な属性は、前記特定された特徴のうちの1つの視認性、前記特定された特徴のうちの1つの色、前記特定された特徴のうちの1つの面積、前記特定された特徴のうちの2つの間の距離、前記特定された特徴のうちの1つの、前記特定された特徴のうちの別の1つに対する割合、前記特定された特徴のうちの1つの形状、前記特定された特徴のうちの1つの位置、前記特定された特徴のうちの1つの場所、前記特定された特徴のうちの1つの向き、特定の種類の前記特定された特徴の数、1つ以上の特定された特徴に関連する角度、又は測定可能な属性の比率を含む、請求項7に記載のコンピュータ可読非一時的記憶媒体。
【請求項12】
使用可能な診断画像に描写された所定の位置の前記プロファイルは、前記測定可能な属性における最小閾値、最大閾値、比率ベースの閾値、許容範囲、許容可能なタイプ、又は許容可能な逸脱度を含む、請求項6に記載のコンピュータ可読非一時的記憶媒体。
【請求項13】
前記1つ以上の記憶された画像は、短時間で迅速に連続して前記カメラの前記レンズに現れる前記ビューを捕捉する画像のセットを含む、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項14】
前記コードは、
前記GUIに、写真を撮るためのインタラクティブな要素を表示し、
前記モバイルコンピューティングデバイスのタッチスクリーンによって、前記インタラクティブな要素とのユーザ対話を検出し、
前記ユーザ対話の検出に応答して、前記モバイルコンピューティングデバイスに前記1つ以上の画像を記憶させる、
ように更に実行可能である、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項15】
前記コードは、
前記モバイルコンピューティングデバイスのマイクロフォンによって、音声コマンドを検出し、
前記音声コマンドの検出に応答して、前記モバイルコンピューティングデバイスに前記1つ以上の画像を記憶させる、
ように更に実行可能である、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項16】
前記コードは、
前記モバイルコンピューティングデバイスの前記カメラによって、ジェスチャを検出し、
前記ジェスチャの検出に応答して、前記モバイルコンピューティングデバイスに前記1つ以上の画像を記憶させる、
ように更に実行可能である、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項17】
前記カメラによって捕捉される前記1つ以上の画像のそれぞれが静止画像又はビデオを含む、請求項1に記載のコンピュータ可読非一時的記憶媒体。
【請求項18】
前記1つ以上の画像が前記カメラによって捕捉されるべきであるという指示を受信すると、前記1つ以上の画像が捕捉されて記憶されている間に経過する期間中に進捗インジケータを表示する、請求項15に記載のコンピュータ可読非一時的記憶媒体。
【請求項19】
モバイルコンピューティングデバイスによって、
前記モバイルコンピューティングデバイスのスクリーン上にグラフィカルユーザインタフェース(GUI)を表示することであって、前記GUIが、所定の位置でポーズをとるユーザの身体の特定の領域の画像を捕捉するための指示を提示し、前記指示が、前記所定の位置でポーズをとる前記ユーザの身体の前記特定の領域のグラフィカル表示を含む、グラフィカルユーザインタフェース(GUI)を表示することと、
前記モバイルコンピューティングデバイスと関連付けられるカメラが使用可能であることを検出すると、前記カメラのレンズに現れるビューを前記GUIに表示することであって、前記グラフィカル表示が、前記ビューと併せて表示される、ビューを前記GUIに表示することと、
前記ビューの1つ以上の画像を捕捉することであって、捕捉された前記画像が、前記モバイルコンピューティングデバイスに記憶される、1つ以上の画像を捕捉することと、
前記GUIに、1つ以上の記憶された前記画像を、前記記憶された画像を見直すための指示と共に表示することと、
前記記憶された画像のうちの1つ以上を承認するユーザ入力の受信に応答して、承認された前記1つ以上の画像を、ネットワーク接続を介して、画像解析者と関連付けられるシステムに送信することと
を含む、方法。
【請求項20】
1つ以上のプロセッサと、前記プロセッサによって実行可能なコードを含む前記プロセッサに結合されるメモリとを備えるシステムであって、前記プロセッサは、前記コードを実行するときに、
前記モバイルコンピューティングデバイスのスクリーン上にグラフィカルユーザインタフェース(GUI)を表示し、前記GUIが、所定の位置でポーズをとるユーザの身体の特定の領域の画像を捕捉するための指示を提示し、前記指示が、前記所定の位置でポーズをとる前記ユーザの身体の前記特定の領域のグラフィカル表示を含み、
前記モバイルコンピューティングデバイスと関連付けられるカメラが使用可能であることを検出すると、前記カメラのレンズに現れるビューを前記GUIに表示し、前記グラフィカル表示が、前記ビューと併せて表示され、
前記ビューの1つ以上の画像を捕捉し、捕捉された前記画像が、前記モバイルコンピューティングデバイスに記憶され、
前記GUIに、1つ以上の記憶された前記画像を、前記記憶された画像を見直すための指示と共に表示し、
前記記憶された画像のうちの1つ以上を承認するユーザ入力の受信に応答して、承認された前記1つ以上の画像を、ネットワーク接続を介して、画像解析者と関連付けられるシステムに送信する、
ように動作可能である、システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
この出願は、2022年2月4日に出願された米国仮出願第63/306,953号の利益を主張し、この仮出願の全内容は参照によりその全体が本明細書に組み込まれる。
【0002】
この出願は、一般に、撮像アプリケーションのためのユーザインタフェースに関する。
【背景技術】
【0003】
遠隔医療システムは、典型的には、患者と臨床医及び/又は医師との間のビデオ会議と、監視デバイスによって捕捉される又は患者自身によって捕捉される(例えば、視覚的に評価することができる患者の身体上の関心領域の写真を撮る)診断情報の提出との組み合わせに依存する。例えば、患者は、疾患の症状が見え得る、インプラントが挿入された、以前に手術が行われた、又は処置が施された、身体の領域の写真を捕捉する必要がある場合がある。患者に画像自体を捕捉させることに伴う問題は、患者が、患者の症状を適切に評価するために臨床医及び/又は医師が必要とする情報の種類又は品質に精通していない場合があることである。
【0004】
例えば、患者によって捕捉された診断写真は、十分な詳細を捕捉するには遠すぎる、又は関心領域全体を捕捉するには近すぎる視点から捕捉される場合がある。例えば、患者によって捕捉された写真は、患者の顔全体を示すが、眼の周りに十分な詳細を示さない場合がある。別の例では、創傷部に焦点を合わせた患者によって捕捉された写真は、浮腫、発赤、変色、又は他の感染の徴候を示し得る身体の隣接領域を含まなかった場合がある。
【0005】
更に、患者の関心領域は、所定の基準を満たさない視点又は角度から不適切に配置されたり、ぼやけたり、不明瞭になったり、又は捕捉されたりする場合がある。例えば、患者は、疾患の症候が視覚的に提示されている場合がある、インプラントが挿入された、以前に手術が行われた、又は処置が施された、身体の領域の写真を捕捉する必要がある場合がある。そのような場合、患者は、四肢を特定の位置に移動させ、皮膚の折り目を引き離し、眼を特定の方向に回転させ、又は関心領域のより良好な視認性を提供するために身体の一部を伸ばす必要があり得る。(例えば、臨床医又は医師による)見直しのために患者の身体上の関心領域の使用可能な診断画像を捕捉するための指示及びガイダンスを患者に提供することができるツールが必要とされている。
【発明の概要】
【0006】
本明細書に記載のソフトウェアアプリケーション(例えば、カメラを含むモバイルデバイス上で実行されるモバイルデバイスアプリ)のユーザインタフェースの例示的な実施形態は、モバイルデバイスのユーザに、ユーザの身体の関心領域の使用可能な診断画像を捕捉する写真を撮るための指示を提供してもよい。モバイルデバイスアプリのユーザインタフェースは、カメラレンズをどのように位置させるか、及び/又はモバイルデバイスのユーザが自分の身体の関心領域の使用可能な診断画像を捕捉するためにどのように自分の身体のポーズをとるべきかに関するテキスト、視覚、及び/又は音声の指示及び/又はフィードバックを提供してもよい。ユーザの身体のポーズをどのようにとるかに関する指示は、ユーザの身体の関心領域の使用可能な診断画像を捕捉するためにユーザの身体のポーズをどのようにとるかを示すグラフィカル表示を含んでもよい。グラフィカル表示は、1つ以上の静止画像又はアニメーションを含んでもよい。グラフィカル表示は、カメラのレンズを通して現れるビューの画像と共に表示されてもよい。
【0007】
特定の実施形態において、モバイルデバイスアプリは、(写真を撮影する前、写真を撮影している間、又は写真が撮影された後に)モバイルデバイスのカメラによって捕捉された画像を解析して、画像が所定の位置のプロファイルに適合するようにしてもよい。解析は、関連する特徴を検出及び特定するための画像解析を含む技術を使用して実行されてもよく、次いで、特定された関連する特徴の属性を測定してもよい。次いで、測定された属性は、所定の位置のプロファイルに照らして評価されてもよい。
【0008】
また、ユーザインタフェースは、カメラ位置及び/又は身体ポーズを調整する必要がある場合、ユーザにフィードバックを提供してもよい。カメラが所定の位置にあって、ユーザの身体のポーズがとられた時点で、ユーザインタフェースは、ユーザが写真を撮る準備ができていることを(例えば、ユーザインタフェースに表示されたボタンなどのインタラクティブな要素をタップすることによって、音声コマンドを話すことによって、又はジェスチャを行うことによって)示すことができるようにしてもよく、その時点で1つ以上の写真を撮ってもよい。或いは、モバイルデバイスアプリは、画像を解析し、画像が関心領域の使用可能な診断描写の範囲内にあると決定するための1つ以上の要因を満たす瞬間を検出し、捕捉されている画像の写真撮影を自動的に開始してもよい。
【0009】
写真は、写真が捕捉されている間の任意の動きを考慮するために、極めて短時間内に幾つかの写真(例えば、毎秒10枚の写真)を迅速に連続して捕捉する「バーストモード」を使用して撮影してもよい。ユーザインタフェースは、写真を再撮影するオプションをユーザに提供してもよく、幾つかの実施形態では、ユーザインタフェースは、写真における捕捉された画像を解析し、写真を再撮影すべきか否かに関する推奨をユーザに提供してもよい。そのような解析は、例えば、画像の写真特性を解析することを含んでもよく、その特性は、写真特性についての所定の基準と比較して、明るさ、鮮明さ、コントラストなどを含む。
【0010】
ユーザインタフェースは、ユーザが画像解析者(例えば、医師又は臨床医)に写真を送信するためのオプションを提供してもよい。ユーザインタフェースは、ユーザに、自分の写真を提出することができる画像解析者のリストから1人の受取人を選択する能力、並びに特定の画像解析者に以前に送信された写真を見直しする能力を提供してもよい。また、ユーザインタフェースは、患者が更新された写真を撮る及び/又は新しい写真を提出する必要があるときに(例えば、定期的に、進行を監視するために)警告又は通知を提供してもよい。
【0011】
幾つかの実施形態において、モバイルデバイスアプリは、画像解析者(例えば、医師又は臨床医)が対象ユーザ(例えば、患者)による写真の再提出を受信、見直し、注釈付け、分類、記憶、及び/又は要求するために使用するように構成されてもよい。また、モバイルデバイスアプリのそのような実施形態は、画像捕捉ワークフローを含んでもよく、それにより、モバイルデバイスは、前述のように対象ユーザによる自己捕捉モードで使用され得る(例えば、医師のオフィスにいる看護師は、モバイルデバイスを患者に渡し、関心領域の写真を撮る方法を患者に教示してもよい)。モバイルデバイスアプリのユーザインタフェースは、最近提出された写真だけでなく、対象ユーザによって提出された全ての写真へのアクセスを提供してもよい。ユーザインタフェースが複数の対象ユーザの写真へのアクセスを提供する場合、画像解析者は、一度に1人の対象ユーザの写真を見直しするか、又は一度に複数のユーザからの写真を見直す及び/又は比較するオプションを有してもよい。また、ユーザインタフェースは、画像解析者が、提出する対象ユーザが写真を再撮影することを要求するためのオプションを提供してもよい。1つ以上の写真を見直すとき、医師は、写真のうちの1つ以上に注釈を追加するオプションを有してもよく、注釈は写真と共に後で記憶及び検索されてもよい。
【図面の簡単な説明】
【0012】
【
図1】診断写真の誘導自己捕捉のための例示的なシステムの概要を示す。
【0013】
【
図2】診断写真の誘導自己捕捉のためのユーザインタフェースを提供するための方法のステップを例示するフローチャートを示す。
【0014】
【
図3】カメラによって捕捉されたユーザの眼の画像と共に描写された所定の位置にある眼のグラフィカル表示を表示する例示的なユーザインタフェースを示す。
【0015】
【
図4】写真撮影プロセス中に状態スメッセージ及び進捗インジケータを表示する例示的なユーザインタフェースを示す。
【0016】
【
図5】必要に応じて写真を再撮影するオプション及び写真を提出するオプションを有するユーザによって撮影された写真を見直すための例示的なユーザインタフェースを示す。
【0017】
【発明を実施するための形態】
【0018】
本明細書に記載のソフトウェアアプリケーション(例えば、カメラを含むモバイルデバイス上で実行されるモバイルデバイスアプリ)のユーザインタフェースの例示的な実施形態は、モバイル装置のユーザに、ユーザの身体の関心領域の使用可能な診断画像を捕捉する方法に関する指示を提供してもよい。モバイルデバイスアプリのユーザインタフェースは、カメラレンズをどのように位置させるか、及び/又はモバイルデバイスのユーザが自分の身体の関心領域の使用可能な診断画像を捕捉するためにどのように自分の身体のポーズをとるべきかに関するテキスト、視覚、及び/又は音声の指示及び/又はフィードバックを提供してもよい。指示は、関心領域に対して特定の距離、高さ、又は角度でカメラレンズを配置するようにユーザに指示してもよい。指示は、関心領域をズームインし、オートフォーカスする特定の機能を特定し、フラッシュを有効又は無効にし、露光時間を増減し、アスペクト比を変更し、又は写真撮影を遅延させるようにタイマを設定するために、カメラに関連付けられたソフトウェアの1つ以上の機能を利用するようにユーザに指示してもよい。指示は、身体部分を露呈する、分離する、強調する、強調する、又はさもなければ身体部分のより大きな視認性を提供するために、身体部分のポーズをとる及び/又は操作する(例えば、ユーザ自身の手又は足で、又は別の人の助けを借りて)ようにユーザに指示してもよい。
【0019】
ユーザの身体のポーズをどのようにとるかに関する指示は、ユーザの身体の関心領域の使用可能な診断画像を捕捉するためにユーザの身体のポーズをどのようにとるかを示すグラフィカル表示を含んでもよい。グラフィカル表示は、1つ以上の静止画像又はアニメーションを含んでもよい。グラフィカル表示は、所望のポーズにおける関心領域の様式化された描写を含んでもよい。グラフィカル表示は、カメラのレンズに現れるビューの画像と共に表示されてもよい(例えば、モバイルデバイスのユーザに向くカメラによって捕捉された患者の顔)。
【0020】
カメラをどのように位置決めするか、及びどのようにユーザの身体のポーズをとるかに関する指示のセットは、アプリが最初に開かれたときに表示されてもよい。指示は、テキスト、他のビジュアルコンテンツ、オーディオコンテンツ、又はそれらの何らかの組み合わせであってもよい。指示は、画像捕捉プロセスの前及び/又は間に提示されてもよい。画像捕捉プロセス中に段階的に指示を提示することにより、ユーザインタフェースは、ユーザが各指示を見かけ通りに実行することを可能にし得る。アプリは、一度に1つの指示を表示し、現在の指示が満たされたことを確認した後にのみ次の指示を表示してもよい。
【0021】
また、ユーザインタフェースは、カメラ位置及び/又は身体ポーズを調整する必要がある場合、ユーザにフィードバックを提供してもよい。カメラが所定の位置にあって、ユーザの身体のポーズがとられた時点で、ユーザインタフェースは、ユーザが写真を撮る準備ができていることを(例えば、ユーザインタフェースに表示されたボタンなどのインタラクティブな要素をタップすることによって、音声コマンドを話すことによって、又はジェスチャを行うことによって)示すことができるようにしてもよく、その時点で1つ以上の写真を撮ってもよい。或いは、モバイルデバイスアプリは、カメラのレンズに現れるビューの画像を解析して、特定の関心領域の使用可能な診断画像に対する所定の基準への準拠を評価してもよい。ユーザが自分の位置を調整するために自分の身体のポーズをとると、モバイルデバイスアプリは、画像が関心領域の使用可能な診断画像の所定の基準に準拠する瞬間を検出し、その瞬間に写真撮影を自動的に開始してもよい。
【0022】
使用可能な診断画像の所定の基準は、画像の写真特性、使用可能な診断画像に描写された所定の位置のプロファイル、又は使用可能な診断画像を達成するための他の要件についての所定の基準を含んでもよい。画像の写真特性は、例えば、輝度、鮮明度、コントラスト、焦点、フレーミングなどを含んでもよい。所定の位置のプロファイルは、最小閾値、最大閾値、比ベースの閾値、許容範囲、許容可能なタイプ、許容可能な逸脱度、又は画像の関連する特徴の測定可能な属性についての任意の他の適切なメトリックを指定してもよい。解析は、関連する特徴を検出及び特定するための画像解析を含む技術を使用して実行されてもよく、特定された関連する特徴の属性を測定することを含んでもよい。測定可能属性は、特定された特徴のうちの1つの視認性、特定された特徴のうちの1つの色、特定された特徴のうちの1つの面積、特定された特徴のうちの2つの間の距離、特定された特徴のうちの1つの、特定された特徴のうちの別の1つに対する割合、特定された特徴のうちの1つの形状、特定された特徴のうちの1つの位置、特定された特徴のうちの1つの場所、特定された特徴のうちの1つの向き、特定の種類の特定された特徴の数、1つ以上の特定された特徴に関連付けられた角度、又は測定可能属性の比率を含んでもよい。
【0023】
写真は、写真が捕捉されている間の任意の動きを考慮するために、極めて短時間内に幾つかの写真(例えば、毎秒10枚の写真)を連続して捕捉する「バーストモード」を使用して撮影されてもよい。ユーザインタフェースは、捕捉された写真のいずれかを再撮影するオプションをユーザに提供してもよい。幾つかの実施形態では、アプリは、捕捉画像を解析して、画像が関心領域の使用可能な診断画像の所定の基準に準拠しているかどうかを評価し、捕捉画像を再撮影すべきかどうかに関する推奨をユーザに提供してもよい。
【0024】
ユーザインタフェースは、ユーザが画像解析者(例えば、医師又は臨床医)に写真を送信するためのオプションを提供してもよい。ユーザインタフェースは、ユーザに、自分の写真を提出することができる画像解析者のリストから1人の受取人を選択する能力、並びに特定の画像解析者に以前に送信された写真を見直しする能力を提供してもよい。また、ユーザインタフェースは、患者が更新された写真を撮る及び/又は新しい写真を提出する必要があるときに(例えば、定期的に、進行を監視するために)警告又は通知を提供してもよい。
【0025】
幾つかの実施形態において、モバイルデバイスアプリは、画像解析者(例えば、医師又は臨床医)が対象ユーザ(例えば、患者)による写真の再提出を受信、見直し、注釈付け、分類、記憶、及び/又は要求するために使用するように構成されてもよい。また、モバイルデバイスアプリのそのような実施形態は、画像捕捉ワークフローを含んでもよく、それにより、モバイルデバイスは、前述のように対象ユーザによる自己捕捉モードで使用され得る(例えば、医師のオフィスにいる看護師は、モバイルデバイスを患者に渡し、関心領域の写真を撮る方法を患者に教示してもよい)。モバイルデバイスアプリのユーザインタフェースは、最近提出された写真だけでなく、対象ユーザによって提出された全ての写真へのアクセスを提供してもよい。ユーザインタフェースが複数の対象ユーザの写真へのアクセスを提供する場合、画像解析者は、一度に1人の対象ユーザの写真を見直しするか、又は一度に複数のユーザからの写真を見直す及び/又は比較するオプションを有してもよい。また、ユーザインタフェースは、画像解析者が、提出する対象ユーザが写真を再撮影することを要求するためのオプションを提供してもよい。1つ以上の写真を見直すとき、医師は、写真のうちの1つ以上に注釈を追加するオプションを有してもよく、注釈は写真と共に後で記憶及び検索されてもよい。
【0026】
前述の要素は、眼の写真を捕捉する例示的なケースに適用することによって例示されてもよい。関連する指示セットは、1)画像捕捉照明が所定の基準又は閾値を確実に満たすようにするためのリマインダ、2)患者がどのようにして上瞼を持ち上げ、次いで瞳孔を下方に動かすべきかを示す又は指示する段階的な指示、3)医療評価のために所定の位置でポーズがとられた眼のグラフィカル表示、(4)画像を捕捉するための指示、及び5)任意の光捕捉後のステップを含んでもよい。指示は、ページごとに少なくとも1つの指示を有する一連のスクリーン上に表示されてもよく、各指示は、視覚及び/又はテキストコンポーネント、並びに注釈又は視覚、聴覚、又は触覚キューを含んでもよい。写真捕捉プロセスの一部として指示を表示することは、最初に良好な照明を備えたスポットを見つけるように患者に依頼し、次に十分な照明が検出されるまで待機してから、次の指示、すなわち、所定の位置でポーズがとられた眼のグラフィカル表示、及び上瞼を引き上げて下及び鼻の方を見ることによって患者がどのように眼のポーズをとるべきかを提示することによって行われてもよい。患者が写真を撮影したことをアプリが検出する(又はユーザが正しく眼のポーズをとったことを検出すると自動的に写真を撮影する)と、次の指示が表示されてもよく、プロセスが最終ステップで繰り返される。事前の指示と短縮された主要な構成要素の両方を表示する場合、事前の指示は前述と同じ方法で行われてもよく、上瞼を持ち上げる方法や視覚的ガイドの使用方法などの重要な構成要素がカメラ上にオーバーレイされてもよい。次いで、オーバーレイは、スクリーンに触れるなどの何らかの単純な動作で容易に除去されてもよい。
【0027】
特定の実施形態では、モバイルデバイスアプリは、(捕捉前又は捕捉中に)カメラからの視覚情報を解析して、捕捉された写真が特定の要件を確実に満たし、カメラ位置及び/又は身体ポーズを調整する必要がある場合にフィードバックを提供してもよい。アプリは、写真が撮影される前、及びおそらく写真が撮影されている間でさえも、写真捕捉プロセスの異なる態様に関するリアルタイムのフィードバックを提供する機能を含んでもよい。そのようなフィードバックは、患者がカメラに近すぎるとき、遠すぎるとき、身体部分が視覚ガイドと十分に密接に位置合わせされていないとき、身体部分が適切に位置合わせされていないとき、身体部分のポーズを適切にとっていないとき、何かが身体部分を遮っているとき、カメラの焦点が合っていないとき、照明が不十分になったとき、カメラが不十分に配置された視点に配置され得るときなどに患者に通知することを含んでもよい。フィードバックは、問題の説明及び患者がどのように問題を解決することができるかを含んでもよい。フィードバックの生成は、前述の問題のうちの1つがいつ発生するかを検出するように訓練された人工知能、統計的、又は機械学習計算モデルなどの任意の手段によって達成されてもよい。
【0028】
計算モデルは、前述した指示に使用される人工知能モデルを拡張するものであっても、完全に別個のモデルであってもよい。異なる手段で異なるフィードバックが生成されてもよい。フィードバックを患者に利用可能にする方法は、多数の方法によって行われてもよい。1つの手法は、関連するフィードバックと共にスクリーンのどこかに通知メッセージを表示することであってもよい。しかしながら、患者の瞳孔がデバイススクリーンから離れるように向けられることを必要とし得る眼の写真が捕捉されている場合など、患者は必ずしも純粋に視覚的な通知に容易に気付くことができない場合があるため、アプリはまた、患者に警告するために何らかの種類の触覚通知を組み込むことができる。アプリはまた、視覚的及び触覚的通知を組み合わせることなどによって、複数の形態の通知を提供してもよい。
【0029】
カメラが適所にあり、患者の身体のポーズがとられると、必要に応じて何度も再撮影するオプションを備えて、任意の数の写真が撮影されてもよい。アプリは、写真を捕捉するための幾つかの「モード」を含んでもよい。モードの1つは、写真が捕捉されている間の移動の影響を軽減するために、極めて短時間(例えば、毎秒10枚の写真)内に幾つかの写真を連続して捕捉する「バーストモード」であってもよい。このモードは、カメラボタンが押されている限り、アプリが写真を撮影し続け、捕捉された写真の総数がボタンが押された時間の長さに比例するように設計されてもよい。バーストモードのモードと同様のモードは、連続して連続的に写真を連続的に捕捉するモードであってもよいが、ボタンを全時間押すことを要求する代わりに、最初のタップが連続捕捉プロセスを開始し、プロセスはボタンの2番目のタップ(「ダブルタッチモード」)又は所定の時間フレーム後(「タイムドモード」)のいずれかで終了する。これらのモードでは、アプリは、患者が毎秒捕捉される写真の数又は所定の捕捉時間の長さを変更することを可能にするなど、様々なレベルのカスタマイズ性を可能にし得る。別の「カウントダウンモード」は、ボタンが最初に押されたときにカウントダウンを導入し、写真が捕捉される前に位置決めを完了するための時間を患者に与えてもよい。
【0030】
これらのモードは、ボタンが解放されるまでにボタンがどれだけ押されたかにかかわらず、ボタンの解放時に単一の写真のみが捕捉される単純な「単一写真モード」も提供するアプリを排除するものではない。アプリは、モードが本質的に互いに対向しない限り、複数のモードを一度にアクティブにすることを可能にしてもよく、それにより、バーストモードはカウントダウンモードと結合してもよいが、バーストモードは単一の写真モードで動作することができない場合がある。時限モード又はカウントダウンモードなどの何らかの種類の時限コンポーネントを含み得るモードでは、患者がスクリーンを見ておらず、したがってプロセスがいつ終了したか分からない場合があるため、アプリは、関連する期間が終了したときに何らかの種類の通知を提供してもよい。患者に通知することにより、アプリは、時限プロセスが終了する前に患者が移動するのを防ぐのに役立ち得る(例えば、患者が捕捉プロセスの状態を確認しようとするときに早すぎる時間に移動する場合)が、時限プロセスが終了した後に患者が位置を保持しすぎる必要がないようにするのにも役立ち得る。
【0031】
捕捉された写真の品質が捕捉処理の途中で突然低下しないようにするために、特に一定時間にわたって迅速に連続して写真を捕捉し得るモードでは、アプリは、視覚的品質の実質的な変化を検出したときに捕捉処理を自動的に終了し得る。この早期終了をトリガする可能性がある変更は、使用不可能な診断写真をもたらす可能性がある任意のものであってもよく、患者がカメラから離れすぎた場合、患者がもはや視覚ガイドに十分に密接に位置合わせされていない場合、又はカメラが突然焦点から外れた場合など、写真を捕捉し始める前にアプリが検出する可能性がある原因と同様であり得る。この早期終了がトリガされた場合、アプリは、その時点までに捕捉されたものを記憶するか、又は単に全てを破棄し、最初から新しい捕捉プロセスを開始する必要がある。アプリは、おそらく機能を完全に無効にするか、又は終了のトリガ閾値を調整するオプションを含む、この機能がユーザによってカスタマイズされることを可能にし得る。
【0032】
写真捕捉プロセス及び関連する特徴のセットはまた、複数の身体部分の写真撮影をサポートするように拡張されてもよい。そのような実施形態では、1つの身体部分についてプロセスが完了すると、別の身体部分でプロセスを再び完了しながら撮影されたばかりの写真をバッファリングするオプションがあり得る。患者は、提出したい全ての身体部分からの全ての写真に満足すると、写真捕捉プロセスを完了し、次のステップに進んでもよい。
【0033】
特定の実施形態では、アプリは、捕捉されたばかりの写真を見直しするために予約された写真捕捉後ステップを有してもよい。アプリ自体は、写真の事前の見直しを実行するために、写真らが捕捉された後に最初に写真を解析してもよい。これは、写真捕捉プロセスの前及び間に視覚情報を解析した同じ人工知能モデルを使用するなど、任意の数の方法で行われてもよい。アプリの人工知能モデルが潜在的に不満足である(例えば、患者のポーズが適切ではなく、何らかの障害物があり、写真がぼやけていることなどが判明した)として検出した任意の写真は、感嘆符などの何らかの方法でマークされて、他の捕捉された写真と共に患者に提示される前にその事実を反映し得る。患者は、撮影した写真を手動で見直ししてもよい。
【0034】
見直しプロセス中、アプリは、患者の見直しを支援するための様々な機能を含んでもよい。アプリは、患者が自分自身の写真を評価するための標準として例の写真を使用し得るように、使用されたばかりの視覚ガイドと共に捕捉されたばかりの同じ身体部分の例の写真を写真の上に重ね合わせて表示してもよい。患者が写真に満足した場合、患者は提出用の写真を承認してもよく、患者が写真に満足しない場合、患者は写真を破棄してもよい。患者が複数の写真を撮影し、したがって現在複数の写真を見直ししている場合、アプリは、一度に1枚の写真を表示し、患者に全ての写真を1枚ずつ見直しさせるか、又は患者が一度に複数の写真を見直し得るように一度に複数の写真を表示してもよい。後者の場合、アプリは、表示された写真のそれぞれが患者がそれらを適切に見直しするのに十分な大きさであることを保証する必要がある場合があり、これにより、任意の所与の時間に表示できる写真の数が制限され得る。アプリはまた、複数の写真が表示されるアプローチをとってもよいが、その後、より詳細な見直しために個々の写真が選択されて拡大されてもよい。この見直しステップは、全ての写真が捕捉された後、又はバーストモードなどのモードを使用する場合は各写真又は写真のセットの後のいずれかに行われるようにスケジュールされてもよい。
【0035】
患者が身体部分のビデオを捕捉した場合、視覚的ガイドは、ビデオ中の任意の時点で指示された位置からあまりにも遠くに移動した可能性があるかどうかを患者が決定するのを助けるために、その全期間にわたって各ビデオにオーバーレイされてもよい。そうでなければ、ビデオの見直しプロセスは、写真の見直しプロセスとほぼ同様であり得る。患者は写真とビデオの両方を撮影している可能性があるため、アプリは、患者が写真とビデオを同時に見直しすることを可能にするか、又は写真とビデオを別々の見直しセッションに分離してもよい。
【0036】
特定の実施形態では、モバイルデバイスアプリは、患者が医師又は臨床医に写真を送信するように構成されてもよい。カメラレンズをどのように配置するか、及び/又はどのように患者の身体のオーズをとるべきかに関するガイダンスを提供するモバイルアプリのユーザインタフェースに加えて、モバイルデバイスアプリは、捕捉された写真をどの医師及び/又は臨床医に提出するかを選択し、以前に捕捉された及び/又は以前に提出された写真を見直しする能力、並びに患者が交換写真を撮る及び/又は新しい写真を提出する必要があるときにアラート又は通知を提供する能力を患者に提供してもよい(例えば、定期的に、進行を監視するために)。捕捉された写真を提出することに関して、患者が捕捉された写真を見直し、写真を送信したい医師及び/又は臨床医を選択した後、アプリは、直ちに写真を提出するか、又は全ての写真を大量に提出する前に、患者が希望する又は撮影する必要がある他の身体部分の写真を撮影し終わるまで最初に写真をローカルにバッファしてもよい。アプリが画像をバッファリングする場合、アプリは、おそらく断続的に、捕捉された写真の送信を確認する必要があるという何らかの通知で患者にリマインダを送ってもよい。リマインダは、バナーとして、ポップアップとして、又はその他の任意の方法で行われてもよい。アプリは、患者がアプリに写真を直ちに送信させるか、又はバッファリングして大量に送信させるかを自由に切り替えることを可能にし得る。
【0037】
特定の実施形態では、モバイルデバイスアプリは、患者の写真の受信、見直し、注釈付け、分類、記憶、及び/又は再提出の要求、並びに患者にモバイルデバイスを渡す医師又は臨床医が、前述のように写真を捕捉する、又は患者自体の写真を捕捉するように構成されてもよい。アプリは、新しい患者写真が提出されるとすぐに医師又は臨床医に通知を警告してもよい。医師又は臨床医は、直近に提出された写真だけでなく、患者に関連する全ての写真にアクセスしてもよい。医師又は臨床医はまた、複数の患者の写真、又はアプリがデータを有する全ての患者の写真にアクセスしてもよい。写真への医師/臨床医のアクセスは完全に制限されない場合があるが、アプリは、医師が個人的に責任を負う患者の写真を閲覧することのみを可能にするなど、様々な管理上の制限を実施するオプションを提供してもよい。
【0038】
医師が写真を見直しするとき、医師は、一度に1人の特定の患者の写真を見直しするか、又は一度に複数の患者からの写真を見直ししてもよい。アプリは、医師が各写真に対して任意の量の注釈を追加することを可能にしてもよく、注釈は、その後、写真と共に記憶され、後で検索され得る。アプリは、医師の見直しプロセスを支援するための幾つかのツールを提供してもよい。例えば、アプリは、医師が注釈をカスタマイズして後でコメントをより容易に特定できるようにしてもよい。注釈は、写真に関連する異なる種類の発現を表すように色分けされてもよく、例えば、患者が診療所訪問をスケジュールすることを必要とする非常に懸念される発現を露呈し得る写真の場合は赤色、後に懸念される可能性があることを示唆し得る写真の場合は黄色、全てが患者にとって良好であることを示唆し得る写真の場合は緑色である。他のツール及び特徴は、特に良質の写真を表す星、患者の状態の良好な又は安全な展開を表すチェックマーク、又は患者が診療所訪問をスケジュールする必要性を表す家など、異なる展開を反映するための内蔵マーキングを含んでもよい。
【0039】
図1は、診断写真の誘導自己捕捉のための例示的なシステム100を示す。モバイルデバイスアプリケーション(例えば、患者アプリ110)は、アプリをサポートするモバイルコンピューティングデバイス(例えば、患者デバイス112)上で実行される。カメラ114は、患者デバイス112に組み込まれてもよい。患者デバイス112が単一のカメラのみを有する場合、カメラが患者デバイス112の表示スクリーン116の上方に配置された前向きカメラ114であろうと、患者デバイス112の表示スクリーン116の反対側に配置された後ろ向きカメラであろうと、カメラは写真を撮るために使用されるものである。患者デバイス112が正面カメラと背面カメラの両方を有する場合、患者アプリ110はいずれかのカメラを使用して写真を撮してもよい。患者アプリ110は、患者デバイス112によって制御される第三者カメラと接続することができてもよい。患者アプリ110は、患者データを臨床データシステム150に送信するためにネットワーク130と接続する。また、アプリのユーザインタフェースは幾つかの方法で行われてもよく、特定のアプローチの例については後の節で論じる。
【0040】
医師は、医師アプリ120をサポートするモバイルデバイス(例えば、医師デバイス122)上で同様に実行し得るモバイルアプリケーション130(例えば、医師アプリ120)と対話してもょい。医師アプリ120は、臨床データシステム150から患者データ及び写真を取得し、注釈又はコメントを送信及び記憶するために、ネットワーク130と接続してもよい。アプリ110とネットワーク130との間の接続を確立するために使用されるのと同じ通信プロトコルを使用して、医師アプリ130とネットワーク130との間の接続を確立してもよい。医師アプリ120のユーザインタフェースは、患者写真の見直し、注釈付け、分類、ランク付け、スコア付け、記憶、及び/又は再提出の要求を可能にし得る。
【0041】
医師アプリ120はまた、医師デバイス122のカメラ124を使用して写真を捕捉する能力を提供してもよい(表示スクリーン126に隣接して配置された前向きカメラとして
図1に示す)。例えば、患者が臨床施設で臨床医にチェックインして関心領域の状態を確認する場合、訪問の一部として、臨床医の助手は、患者が臨床医を待っている間に関心領域の写真を撮ることができるように、医師デバイス122を患者に渡してもよい。そのような写真は、訪問中に収集されたデータの一部として記憶されてもよい。更に、患者が自分で写真を撮る方法を学習する支援を必要とする場合、臨床医は、患者に医師デバイス122を使用して自分自身の写真を捕捉しようとさせることによって訪問中にガイダンスを提供してもよい。
【0042】
臨床データシステム150は、患者アプリ110及び医師アプリ120からの要求に応答するサーバ160と、臨床データを安全かつ確実に記憶するデータストレージ170とを備えてもよい。サーバ160は、新しい患者写真、並びに患者写真に対する医師の注釈及びコメントをチェック、クリーニング、フォーマット、及び記憶してもよい。サーバ160は、患者の写真をクリーニングして、必要でない任意の写真メタデータを除去し、受信した写真が所定の品質基準を満たすか又は合格することを確認し、及び/又は受信した写真が患者の診断特徴を捕捉することを検証してもよい。サーバは、データストレージのタイプ及び設計によって必要とされる場合、写真に対して動作を実行して、写真をデータストレージに効果的に記憶してもよい。サーバは、写真をデータ記憶装置170に記憶してもよい。この特定のサーバ設計及び関連する方法論は単なる例示であり、特定の実施形態は、それらの特定のニーズに適合するようにステップを並べ替え、追加し、又は削除してもよい。
【0043】
患者の写真を見直しするための医師アプリ120からの要求を受信すると、サーバ160は、医師が患者のデータにアクセスすることを許可されていることを確認し、アクセスできない場合は直ちに拒否応答を送信してもよい。そうでなければ、サーバは、記憶装置からデータを取得し、必要に応じて、それらが記憶される方法から人間が読み取り可能なものにデータを再フォーマットし、任意の必要なメタデータを追加し、医師アプリ120に写真を送信してもよい。
【0044】
サーバ160は、セキュリティ及び堅牢性の目的のために幾つかの追加の機能を含んでもよい。例えば、サーバ160は、データ記憶装置に書き込むときにデータを暗号化し、記憶装置から読み出すときに任意のデータを復号してもよい。使用される暗号化方法は、高度暗号化標準(AES)又はRivest-Shamir-Adleman(RSA)などの当技術分野で知られている任意のものであってもよい。サーバの全てのそのような設計は純粋に例示的なものであり、特定の実施形態は、特定のニーズに適合するように必要に応じてプロセスを調整してもよい。最後に、専用のデータ記憶コンポーネント170は、写真、注釈及びコメント、メタデータ、並びに他の関連データを含む臨床データの全てを収容してもよい。
【0045】
特定の実施形態では、臨床データシステム150は、異なる関心領域の誘導自己捕捉のための指示のタイプの選択を提供することができてもよい。医師又は臨床医は、特定の患者に対する指示のタイプのうちの1つを選択することができてもよい。患者アプリは、患者のために表示するために、特定のグラフィカル表示を含む特定の指示を決定及び/又はダウンロードするために臨床データシステム150と接続してもよい。幾つかの実施形態では、指示のタイプは、捕捉される関心領域だけでなく、医師又は臨床医が集中したい特定の症状、指示、又は他の関心によっても異なり得る。
【0046】
図2は、診断写真の誘導自己捕捉のための例示的な方法200を示す。本方法は、ステップ210で開始してもよく、モバイルデバイス上で実行されるモバイルデバイスアプリケーションは、患者の使用可能な診断画像の自己誘導捕捉に関する指示を患者に提供するグラフィカルユーザインタフェース(GUI)を表示してもよい。GUIは、所定の位置でポーズがとられた患者の身体の特定の領域を示すグラフィカル表示を含んでもよい。本明細書で更に説明するように、指示は、幾つかの異なる方法で提示されてもよい。ステップ220において、モバイルデバイスアプリケーションは、カメラのレンズからのビューに関連して表示される身体部分のポーズ付け方法のグラフィカル表示と共に、カメラのレンズに現れるビューの画像を表示してもよい。本明細書で更に説明するように、グラフィカル表示は、幾つかの異なる方法で表示されてもよく、身体部分をどのようにポーズ付けるかについてユーザを案内するために指示と共に動作してもよい。ステップ230において、モバイルデバイスアプリケーションは、カメラのレンズに現れるビューの1つ以上の画像を捕捉し、捕捉された画像をモバイルコンピューティングデバイス上のローカルデータストレージに記憶してもよい。本明細書で更に説明するように、画像は、幾つかの異なる「モード」を介して捕捉されてもよい。ステップ240において、記憶された画像は、画像を見直しするための様々な指示と共にGUIに表示されてもよい。本明細書で更に説明するように、この時点で様々な他の要素をGUIに表示して、ユーザが画像を確認するのを助けてもよい。ステップ250で、記憶された画像のうちの1つ以上を承認するユーザ入力を受信した後、承認された画像は、医師又は臨床医の見直し及び/又は注釈付けのために、医師又は臨床医に関連付けられたシステムに送信されてもよい。
【0047】
特定の実施形態は、適切な場合、
図2の方法の1つ以上のステップを繰り返してもよい。本開示は、
図2の方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、
図2の方法の任意の好適なステップが任意の好適な順序で行われることを企図する。更に、本開示は、
図2の方法の特定のステップを含む診断写真の誘導自己捕捉のための例示的な方法を説明及び図示しているが、本開示は、任意の適切なステップを含む診断写真の誘導自己捕捉のための任意の適切な方法を想定しており、適切な場合には、
図2の方法のステップの全て、一部、又はいずれも含まなくてもよい。更に、本開示は、
図2の方法の特定のステップを行う特定の構成要素、デバイス、又はシステムを説明し、示すが、本開示は、
図2の方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、又はシステムの任意の好適な組合せを企図する。
【0048】
図3は、アプリケーションが事前に定義された位置に向かって患者を案内しているときにプレ写真捕捉中にアプリケーションが示し得るものの一例を示す。この場合、患者は、患者アプリを使用してカメラ114を使用して眼の写真を捕捉しており、眼は、埋め込まれたデバイスが挿入された強膜の領域を露呈するようにポーズがとられる。スクリーンの上部のメッセージ領域310は、指を使用して、眼を下方及び鼻に向けて回転させながら上瞼の皮膚を操作することにより、患者に眼のポーズをとるように指示し、その後、準備ができたときに写真を捕捉するように指示する指示を提示してもよい。図示されるように、指示の重要な態様は、詳細な指示の最初の表示後に、患者がポーズをとる準備をする時点で繰り返されてもよい。表示領域320は、グラフィカル表示330のオーバーレイと共に、カメラ114によって捕捉されている画像を示してもよい。様式化された眼の形態をとるグラフィカル表示330は、眼の上瞼と眼の虹彩との間の強膜の広い領域、及び虹彩と眼の外眼角との間の強膜の広い領域の両方を露呈するように、大きく開いた眼が鼻に向かって下向き及び内側に転がされるポーズ(すなわち、眼の内眼角に向かって)を反映する。「写真を撮る」というテキストを有する下部のカメラボタン340は、患者アプリ112がどのように構成されているかに基づいて、ボタンの解放時に現在のモードが単一の写真又は写真のバーストを撮り得ることを示唆してもよい。
図3に示すように、グラフィカル表示330は、破線を使用して、所望のポーズの様式化された眼の線図として示されているが、特定の実施形態では、グラフィカル表示330は、輪郭、透明画像、又はアニメーションとして描写されてもよい。
【0049】
図4は、患者の眼を能動的に撮影しているときに患者アプリのユーザインタフェースがどのように見えるかを示している。写真捕捉プロセスが継続すると、患者は、同じポーズを維持し、上瞼を引き戻し、眼を下方及び内側に向けたままにしながら、カメラを横方向及び固定距離の固定位置に保持して、グラフィカル表示320との持続的な位置合わせを確保する。スクリーンの上部のメッセージ領域310内のテキスト及び下部の写真捕捉ボタンの上のテキスト410に基づいて、現在の写真モードは、ボタンが押されている限り、複数の写真が連続して撮影されている「バーストモード」であり得る。したがって、ボタンを押し続けるように患者に指示するボタンテキストは、写真の完全なバーストが捕捉されることを保証するためのものであり得る。幾つかの実施形態では、プロセスがいつ完了したかをユーザに知らせるために、写真のバーストが捕捉されて記憶されている間に進捗インジケータ420が表示されてもよい。同様の実施形態を使用して、短いビデオクリップを捕捉してもよい。
【0050】
図5は、患者が捕捉した写真を見直しするときの見直し段階における患者アプリのユーザインタフェースの一例を示す。見直し段階では、ボタン520をクリックして写真を受け入れて提出するか、又はボタン530をクリックして写真を再撮影するかを決定する前に、患者は幾つかの質問510を検討するように求められる。この例では、アプリは、瞳孔を下方に移動させながら上瞼を引っ張る患者の眼の例示的な写真540を表示する。患者が捕捉した写真550は、例写真540の隣に配置され、患者に自身の写真を評価するための容易な基準を与える。質問510は、患者が捕捉した写真をどのように評価すべきかについての更なるガイダンスを提供してもよい。例では1つの捕捉された写真のみが示されているが、これは必ずしも患者が1つの写真のみを捕捉したことを意味するものではなく、患者が複数の写真を捕捉した可能性があり、単にアプリが患者が見直しするために一度に1つの写真のみを表示していることを意味する。自分の写真を確認した後、患者は、写真の結果に満足した場合に写真を提出するか、満足しなかった場合に写真を再撮影するかのいずれかの選択肢を有する。ボタン520をクリックすると、患者アプリは、クリックした直後に写真550をアップロードするか、又は全ての写真がまとめて提出される前に見直されるまで待ってもよい。同様に、再撮影オプションでは、新しい写真を再撮影する前に写真を破棄するか、又は元の写真を保持することができるので、患者は、おそらく見直しページに戻る前に新しい写真と元の写真を比較し、2つのうちの良い方を得る場合がある。
【0051】
図6は、例示的なコンピュータシステム600を示す。特定の実施形態では、1つ以上のコンピュータシステム600は、本明細書で説明又は示される1つ以上の方法の1つ以上のステップを実施する。特定の実施形態では、1つ以上のコンピュータシステム600は、本明細書で説明又は示される機能性を提供する。特定の実施形態では、1つ以上のコンピュータシステム600上で稼働しているソフトウェアは、本明細書で説明又は示される1つ以上の方法の1つ以上のステップを実施するか、或いは本明細書で説明又は示される機能性を提供する。特定の実施形態は、1つ以上のコンピュータシステム600の1つ以上の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得るものであり、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、1つ以上のコンピュータシステムを包含し得る。
【0052】
本開示は、任意の好適な数のコンピュータシステム600を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム600を企図する。限定としてではなく例として、コンピュータシステム600は、組込み型コンピュータシステム、システムオンチップ(SOC)、(例えば、コンピュータオンモジュール(COM)又はシステムオンモジュール(SOM)などの)シングルボードコンピュータシステム(SBC)、デスクトップコンピュータシステム、ラップトップ又はノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末(PDA)、サーバ、タブレットコンピュータシステム、或いはこれらのうちの2つ又はそれ以上の組合せであり得る。適切な場合、コンピュータシステム600は、1つ以上のコンピュータシステム500を含むか、単一又は分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、或いは1つ以上のネットワーク中の1つ以上のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、1つ以上のコンピュータシステム600は、実質的な空間的又は時間的制限なしに、本明細書で説明又は示される1つ以上の方法の1つ以上のステップを実施し得る。限定としてではなく一例として、1つ以上のコンピュータシステム600は、リアルタイムで又はバッチモードで、本明細書で説明又は示される1つ以上の方法の1つ以上のステップを実施し得る。1つ以上のコンピュータシステム600は、適切な場合、異なる時間において又は異なるロケーションにおいて、本明細書で説明又は示される1つ以上の方法の1つ以上のステップを実施し得る。
【0053】
特定の実施形態では、コンピュータシステム600は、プロセッサ602と、メモリ604と、ストレージ606と、入出力(I/O)インタフェース608と、通信インタフェース610と、バス612とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。
【0054】
特定の実施形態では、プロセッサ602は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ602は、内部レジスタ、内部キャッシュ、メモリ604、又はストレージ606から命令を取り出し(又はフェッチし)、それらの命令を復号及び実行し、次いで、内部レジスタ、内部キャッシュ、メモリ604、又はストレージ606に1つ以上の結果を書き込み得る。特定の実施形態では、プロセッサ602は、データ、命令、又はアドレスのための1つ以上の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ602を企図する。限定としてではなく一例として、プロセッサ602は、1つ以上の命令キャッシュと、1つ以上のデータキャッシュと、1つ以上のトランスレーションルックアサイドバッファ(TLB)とを含み得る。命令キャッシュ中の命令は、メモリ604又はストレージ606中の命令のコピーであってもよく、命令キャッシュは、プロセッサ602によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ602において実行する命令が動作する対象のメモリ604又はストレージ606中のデータのコピー、プロセッサ602において実行する後続の命令によるアクセスのための、又はメモリ604もしくはストレージ606に書き込むための、プロセッサ602において実行された前の命令の結果、或いは他の好適なデータであり得る。データキャッシュは、プロセッサ602による読取り又は書込み動作を高速化し得る。TLBは、プロセッサ602のための仮想アドレストランスレーション(virtual-address translation)を高速化し得る。特定の実施形態では、プロセッサ602は、データ、命令、又はアドレスのための1つ以上の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ602を企図する。適切な場合、プロセッサ602は、1つ以上の算術論理ユニット(ALU)を含むか、マルチコアプロセッサであるか、又は1つ以上のプロセッサ602を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。
【0055】
特定の実施形態では、メモリ604は、プロセッサ602が実行するための命令、又はプロセッサ602が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム600は、ストレージ606又は(例えば、別のコンピュータシステム600などの)別のソースからメモリ604に命令をロードし得る。プロセッサ602は、次いで、メモリ604から内部レジスタ又は内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ602は、内部レジスタ又は内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中又は実行後に、プロセッサ602は、(中間結果又は最終結果であり得る)1つ以上の結果を内部レジスタ又は内部キャッシュに書き込み得る。次いで、プロセッサ602は、それらの結果のうちの1つ以上をメモリ604に書き込み得る。特定の実施形態では、プロセッサ602は、(ストレージ606又は他の場所とは対照的に)1つ以上の内部レジスタ又は内部キャッシュ中の或いはメモリ604中の命令のみを実行し、(ストレージ606又は他の場所とは対照的に)1つ以上の内部レジスタ又は内部キャッシュ中の或いはメモリ604中のデータのみに対して動作する。(アドレスバス及びデータバスをそれぞれ含み得る)1つ以上のメモリバスが、プロセッサ602をメモリ604に接続し得る。バス612は、以下で説明されるように、1つ以上のメモリバスを含み得る。特定の実施形態では、1つ以上のメモリ管理ユニット(MMU)が、プロセッサ602とメモリ604との間に常駐し、プロセッサ602によって要求されるメモリ604へのアクセスを容易にする。特定の実施形態では、メモリ604は、ランダムアクセスメモリ(RAM)を含む。このRAMは、必要に応じて揮発性メモリであってもよい。適切な場合には、このRAMは、ダイナミックRAM(DRAM)又はスタティックRAM(SRAM)であってもよい。その上、適切な場合、このRAMは、シングルポートRAM又はマルチポートRAMであり得る。本開示は、任意の好適なRAMを企図する。メモリ604は、適切な場合、1つ以上のメモリ604を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。
【0056】
特定の実施形態では、ストレージ606は、データ又は命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ606は、ハードディスクドライブ(HDD)、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、又はユニバーサルシリアルバス(USB)ドライブ、或いはこれらのうちの2つ又はそれ以上の組合せを含み得る。ストレージ606は、適切な場合、リムーバブル又は非リムーバブル(又は固定)媒体を含み得る。ストレージ606は、適切な場合、コンピュータシステム600の内部又は外部にあり得る。特定の実施形態では、ストレージ606は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ606は、読取り専用メモリ(ROM)を含む。適切な場合、このROMは、マスクプログラムROM、プログラマブルROM(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、電気的書き換え可能ROM(EAROM)、又はフラッシュメモリ、或いはこれらのうちの2つ又はそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ606を企図する。ストレージ606は、適切な場合、プロセッサ602とストレージ606との間の通信を容易にする1つ以上のストレージ制御ユニットを含み得る。適切な場合、ストレージ606は、1つ以上のストレージ606を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。
【0057】
特定の実施形態では、I/Oインタフェース608は、コンピュータシステム600と1つ以上のI/Oデバイスとの間の通信のための1つ以上のインタフェースを提供する、ハードウェア、ソフトウェア、又はその両方を含む。コンピュータシステム600は、適切な場合、これらのI/Oデバイスのうちの1つ以上を含み得る。これらのI/Oデバイスのうちの1つ以上は、人とコンピュータシステム600との間の通信を可能にし得る。限定としてではなく一例として、I/Oデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なI/Oデバイス、又はこれらのうちの2つ又はそれ以上の組合せを含み得る。I/Oデバイスは1つ以上のセンサを含み得る。本開示は、任意の好適なI/Oデバイスと、それらのI/Oデバイスのための任意の好適なI/Oインタフェース608とを企図する。適切な場合、I/Oインタフェース608は、プロセッサ602がこれらのI/Oデバイスのうちの1つ以上を駆動することを可能にする1つ以上のデバイス又はソフトウェアドライバを含み得る。I/Oインタフェース608は、適切な場合、1つ以上のI/Oインタフェース608を含み得る。本開示は、特定のI/Oインタフェースを説明し、示すが、本開示は任意の好適なI/Oインタフェースを企図する。
【0058】
特定の実施形態では、通信インタフェース610は、コンピュータシステム600と、1つ以上の他のコンピュータシステム600又は1つ以上のネットワークとの間の(例えば、パケットベース通信などの)通信のための1つ以上のインタフェースを提供する、ハードウェア、ソフトウェア、又はその両方を含む。限定としてではなく一例として、通信インタフェース610は、イーサネット又は他のワイヤベースネットワークと通信するためのネットワークインタフェースコントローラ(NIC)又はネットワークアダプタ、或いはWI-FIネットワークなどのワイヤレスネットワークと通信するためのワイヤレスNIC(WNIC)又はワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インタフェース610とを企図する。限定としてではなく一例として、コンピュータシステム600は、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、又はインターネットの1つ以上の部分、或いはこれらのうちの2つ又はそれ以上の組合せと通信し得る。これらのネットワークのうちの1つ以上の1つ以上の部分は、ワイヤード又はワイヤレスであり得る。一例として、コンピュータシステム600は、(例えば、BLUETOOTH WPANなどの)ワイヤレスPAN(WPAN)、WI-FIネットワーク、WI-MAXネットワーク、(例えば、モバイル通信用グローバルシステム(GSM)ネットワークなどの)セルラー電話ネットワーク、又は他の好適なワイヤレスネットワーク、或いはこれらのうちの2つ又はそれ以上の組合せと通信し得る。コンピュータシステム600は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インタフェース610を含み得る。通信インタフェース610は、適切な場合、1つ以上の通信インタフェース610を含み得る。本開示は、特定の通信インタフェースを説明し、示すが、本開示は任意の好適な通信インタフェースを企図する。
【0059】
特定の実施形態では、バス612は、コンピュータシステム600の構成要素を互いに接続する、ハードウェア、ソフトウェア、又はその両方を含む。限定としてではなく一例として、バス612は、アクセラレーテッドグラフィックスポート(AGP)又は他のグラフィックスバス、拡張業界標準アーキテクチャ(EISA)バス、フロントサイドバス(FSB)、ハイパートランスポート(HT)相互接続、業界標準アーキテクチャ(ISA)バス、インフィニバンド相互接続、ローピンカウント(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、周辺構成要素相互接続(PCI)バス、PCIエクスプレス(PCIe)バス、シリアルアドバンストテクノロジーアタッチメント(SATA)バス、ビデオエレクトロニクススタンダーズアソシエーションローカル(VLB)バス、又は別の好適なバス、或いはこれらのうちの2つ又はそれ以上の組合せを含み得る。バス612は、適切な場合、1つ以上のバス612を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバス又は相互接続を企図する。
【0060】
本明細書では、1つ以上のコンピュータ可読非一時的記憶媒体は、適切な場合、(例えば、フィールドプログラマブルゲートアレイ(FPGA)又は特定用途向けIC(ASIC)などの)1つ以上の半導体ベース又は他の集積回路(IC)、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAMドライブ、セキュアデジタルカード又はドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、或いはこれらのうちの2つ又はそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性との組合せであり得る。
【0061】
特定の実施形態では、システムのデータ記憶構成要素に使用される特定の種類のストレージは、当技術分野で知られている多くの種類のシステムのいずれかであってもよい。これらには、数ある中でも、PostgreSQL又はMySQLのような従来のリレーショナルデータベース、MONGODB又はBerkeleyDBのようなNoSQLシステム、GOOGLE CLOUD SPANNER又はAZURE COSMOS DBのような分散システム、或いはDATABRICKS又はSNOWFLAKEのようなデータレイクハウスベースのシステムが含まれるが、これらに限定されない。
【0062】
本明細書におけるこの説明のために、本システムに関連する写真を撮影することへの任意の言及は、ビデオの記録にも等しく適用されることが意図されている。写真撮影及びビデオ撮影における現在の技術状態を考えると、当業者がシステム設計及び機能を写真撮影からビデオ撮影へ、又はその逆に移行することは比較的容易であろう。そうでない場合がある場合、説明は、写真撮影及びビデオ撮影に適用されたときに設計及び/又は機能がどのように変化し得るかについての明確な考慮を提供する。
【0063】
本明細書におけるこの説明のために、システム設計又は機能に関連する特定の特徴の言及は、例としてのみ意図されており、決して限定として意図されていない。本明細書では、「又は」は、明確に別段に示されていない限り、又はコンテキストによって別段に示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「A又はB」は、明確に別段に示されていない限り、又はコンテキストによって別段に示されていない限り、「A、B、又はその両方」を意味する。その上、「及び」は、明確に別段に示されていない限り、又はコンテキストによって別段に示されていない限り、共同と個別の両方である。したがって、本明細書では、「A及びB」は、明確に別段に示されていない限り、又はコンテキストによって別段に示されていない限り、「共同で又は個別に、A及びB」を意味する。
【0064】
本開示の範囲は、当業者が理解するであろう、本明細書で説明又は示される例示的な実施形態に対する全ての変更、置換、変形、改変、及び修正を包含する。本開示の範囲は、本明細書で説明又は示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、又はステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明又は示される構成要素、要素、特徴、機能、動作、又はステップのうちのいずれかの任意の組合せ又は置換を含み得る。更に、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、又は実施するように動作する、装置又はシステム或いは装置又はシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、又は構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、又は動作する限り、その装置、システム、構成要素又はその特定の機能が、アクティブにされるか、オンにされるか、又はロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。更に、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するか又は示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、幾つかを提供するか、又は全てを提供し得る。
【国際調査報告】