IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジュンナーカー,サチン・エスの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-15
(54)【発明の名称】電話機ベースのテレヘルス装置
(51)【国際特許分類】
   A61B 7/04 20060101AFI20230908BHJP
   A61B 5/00 20060101ALI20230908BHJP
   A61B 1/227 20060101ALI20230908BHJP
   A61B 1/045 20060101ALI20230908BHJP
   A61B 5/0245 20060101ALI20230908BHJP
   A61B 5/022 20060101ALI20230908BHJP
【FI】
A61B7/04 B
A61B5/00 102C
A61B7/04 N
A61B1/227
A61B1/045 617
A61B5/0245 100B
A61B5/022 400E
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023538874
(86)(22)【出願日】2021-08-27
(85)【翻訳文提出日】2023-04-13
(86)【国際出願番号】 US2021047833
(87)【国際公開番号】W WO2022051172
(87)【国際公開日】2022-03-10
(31)【優先権主張番号】63/072,961
(32)【優先日】2020-09-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/118,751
(32)【優先日】2020-11-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/248,027
(32)【優先日】2021-01-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ANDROID
2.iOS
(71)【出願人】
【識別番号】523072784
【氏名又は名称】ジュンナーカー,サチン・エス
【氏名又は名称原語表記】JUNNARKAR, SACHIN S
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ジュンナーカー,サチン・エス
【テーマコード(参考)】
4C017
4C117
4C161
【Fターム(参考)】
4C017AA02
4C017AA08
4C017AA11
4C017AA12
4C017AB08
4C017AC26
4C017BC14
4C017BC17
4C117XB01
4C117XB04
4C117XB11
4C117XD09
4C117XD23
4C117XD24
4C117XE13
4C117XE15
4C117XE23
4C117XE29
4C117XE37
4C117XE43
4C117XJ17
4C117XK05
4C117XL09
4C161AA11
(57)【要約】
テレヘルス装置は、マイクロホンを有する電話機と、音を取得するための聴診部品と、聴診部品をマイクロホンに音響的に結合する固体媒体とを含む。聴診部品は聴診器の一部であり、固体媒体は聴診器の風管である。テレヘルス装置はまた、電話機のカメラの前に配置されるように動作可能な耳鏡を含む。クリップは、聴診器および耳鏡を保持し、電話機に固定される。電話機にインストールされたソフトウェアモジュールは、テレヘルス装置がリアルタイムでリモートデバイスの医師との双方向音声および/またはビデオ相談にユーザを関与させることを可能にする。
【特許請求の範囲】
【請求項1】
マイクロホンを備える電話機と、
音を取得する聴診部品と、
前記聴診部品を前記マイクロホンに音響的に結合させる固体媒体と
を備えるテレヘルス装置。
【請求項2】
前記聴診部品が聴診器の一部であり、前記固体媒体が前記聴診器の風管である、請求項1に記載のテレヘルス装置。
【請求項3】
前記電話機がカメラをさらに備え、前記テレヘルス装置が、前記カメラの前に配置されるように動作可能な耳鏡をさらに備える、請求項2に記載のテレヘルス装置。
【請求項4】
前記聴診器および前記耳鏡を保持するクリップをさらに備え、前記クリップが前記電話機に固定される、請求項3に記載のテレヘルス装置。
【請求項5】
前記電話機が、
前記マイクロホンから心臓聴診音および肺聴診音を受信し、遠隔医による分析のために前記心臓および肺聴診音をリモート通信デバイスにリアルタイムで送信するように結合される第1のソフトウェアモジュールであって、前記第1のソフトウェアモジュールはまた、前記送信と同期して、前記電話機内の音声レンダリングユニット上で前記聴診音を再生するように結合される、第1のソフトウェアモジュール
をさらに備える、請求項3に記載のテレヘルス装置。
【請求項6】
前記電話機が、
前記耳鏡を介して結合された光によって前記カメラ内で生成された第1の画像セットを受信するように結合された第2のソフトウェアモジュールであって、前記第2のソフトウェアモジュールが、前記遠隔医による分析のために前記第1の画像セットをリモート通信デバイスにリアルタイムで送信する、第2のソフトウェアモジュール
をさらに備える、請求項5に記載のテレヘルス装置。
【請求項7】
前記固体媒体が、少なくとも100センチメートルの長さを有し、その結果、ユーザは、前記電話機を介してリモートデバイスの医師を同時に見て聞くことができ、同時に前記聴診器を操作することができる、請求項2に記載のテレヘルス装置。
【請求項8】
前記カメラが前記電話機の背面にあり、前記耳鏡が、光ファイバを収容するための光ガイドをさらに備え、前記光ファイバが前記電話機のフラッシュ発光ダイオード(LED)に接続され、それによって、前記フラッシュによって照明される対象物からの画像の取り込みを可能にする、請求項3に記載のテレヘルス装置。
【請求項9】
前記耳鏡が第1のレンズと第1の光学フィルタとを含み、前記第1のレンズが、前記観視対象物を拡大し、前記第1の光学フィルタが、赤外光を可視光に変換するように設計されている、請求項3に記載のテレヘルス装置。
【請求項10】
前記第1のソフトウェアモジュールが、前記心臓および肺の聴診音を送信する前に前記心臓聴診音および肺聴診音をそれぞれフィルタリングするための第1のフィルタおよび第2のフィルタを備える、請求項5に記載のテレヘルス装置。
【請求項11】
前記第2のソフトウェアが、前記第1の画像セットを送信する前に前記第1の画像セットの各々をフィルタリングするための第3のフィルタを備える、請求項6に記載のテレヘルス装置。
【請求項12】
前記電話機が、前記カメラ上のユーザの指の押圧によって前記カメラ内で生成された第2の画像セットを受信するように結合された第3のソフトウェアモジュールをさらに備え、前記第3のソフトウェアモジュールが、前記ユーザの血圧、心拍数、体温および血中酸素飽和度レベルのうちの1つまたは複数を決定し、前記第3のソフトウェアモジュールが、前記遠隔医による分析のために、前記血圧、心拍数、体温および血中酸素飽和度レベルのうちの1つまたは複数を前記リモート通信デバイスに送信する、請求項6に記載のテレヘルス装置。
【請求項13】
前記第2の画像セットが一連のRGB(赤、緑、青)画像を含み、前記第3のソフトウェアモジュールが、
前記一連のRGB画像の各々の中の関心領域(ROI)をマークするステップと、
前記一連の中で赤色の強度に基づいて収縮期ピークを表す前記一連の中の第3の画像セットを決定するステップと、
前記第3の画像セットの各々から、前記第3の画像セットの赤色強度の平均値を減算するステップであって、前記平均値が、前記第3の画像セットの血中酸素含有量を表す、ステップと、
前記収縮期ピークおよび拡張期ピークの周りの赤色の強度の変化に基づいて、前記一連における前記収縮期ピークの最初のものの周りの第1の血液量および前記拡張期ピークの最初のものの周りの第2の血液量の変化を決定するステップと、
前記第1の血液量および前記第2の血液量の各々の、時間に対する第1の変化率および時間に対する第2の変化率をそれぞれ決定するステップと、
収縮期血圧値および拡張期血圧値をそれぞれ取得するために、線形変換を使用して前記第1の変化率および前記第2の変化率を変換するステップと
によって前記血圧を決定する、請求項12に記載のテレヘルス装置。
【請求項14】
前記第3のソフトウェアモジュールが、
収縮期ピーク間の期間を平均するステップと、
心拍数として前記平均期間の逆数を計算するステップと
によって前記ユーザの心拍数を決定する、請求項13に記載のテレヘルス装置。
【請求項15】
前記電話機が、外部診断装置の表示領域の第4の画像を受信するように結合された第4のソフトウェアモジュールをさらに備え、前記第4のソフトウェアモジュールが、前記第4の画像に光学文字認識技術を適用して、前記表示領域に表示されたテキスト、数字および記号のうちの1つまたは複数を抽出し、前記第4のソフトウェアモジュールが、前記テキスト、数字および記号のうちの前記1つまたは複数を前記リモート通信デバイスに送信する、請求項12に記載のテレヘルス装置。
【請求項16】
前記電話機が、前記遠隔医療専門家との相談を可能にするために前記リモート通信デバイスとの双方向通信を可能にするように設計され、前記遠隔医療専門家が、前記ユーザに治療アドバイスを提供する、6に記載のテレヘルス装置。
【請求項17】
マイクロホンを備えるスマートフォンと、
前記スマートフォンに取り付けられ、前記マイクロホンに音響的に結合された受動聴診器と
を備えるテレヘルス装置。
【請求項18】
前記スマートフォンがカメラをさらに備え、前記テレヘルス装置が、前記カメラの前に配置されるように動作可能な耳鏡をさらに備える、請求項17に記載のテレヘルス装置。
【請求項19】
前記耳鏡が、光ファイバを収容するための光ガイド経路をさらに備え、前記光ファイバが前記電話機のフラッシュ発光ダイオード(LED)に接続され、それによって、前記フラッシュによって照明される対象物からの画像の取り込みを可能にする、請求項18に記載のテレヘルス装置。
【請求項20】
前記スマートフォンが、ユーザが前記聴診器および前記耳鏡を使用して診断データを収集することを可能にするための1つまたは複数のソフトウェアモジュールをさらに備え、前記スマートフォンが、
リモート通信デバイスとの双方向通信を提供し、
前記診断データを前記リモート通信デバイスに送信し、
それによって遠隔医との相談を可能にし、前記遠隔医は、少なくとも前記診断データに基づいて、前記ユーザに治療アドバイスを提供する、請求項19に記載のテレヘルス装置。
【発明の詳細な説明】
【技術分野】
【0001】
優先権主張
本特許出願は、以下の3つの同時係属中の米国特許出願に関連し、それらの優先権を主張する。
【0002】
A)発明の名称「Synchronous Tele-Health Diagnostic System Integrated With Smart Devices」、出願番号:63072961、出願日:01-SEP-2020、
B)発明の名称「Synchronous Tele-Health Diagnostic System Integrated With Smart Devices」、出願番号:63118751、出願日:27-NOV-2020、および
C)「TELEPHONE BASED TELE-HEALTH APPARATUS」、出願番号第17/248,027号、出願日:06-JAN-2021、
これらは、本明細書の説明と矛盾しない範囲で、その全体が本明細書に組み込まれる。
【背景技術】
【0003】
背景
技術分野
本開示の実施形態は、一般に、ヘルスケア装置に関し、より具体的には、電話機ベースのテレヘルス装置に関する。
【0004】
関連技術
テレヘルス装置は、医師および他の医療従事者が医療支援を必要とする人に遠隔でサービスを提供することを可能にする。電話機は、2人以上の人が音声通話および/またはビデオ通話を行うことを可能にするデバイスを指す。電話機は技術の初期の進化(Plain Old Telephone Systems、POTSと呼ばれる)では有線ベースであったが、電話機は現在、5G/4G/3G、WiFiなどの通信規格で無線通信する携帯電話/スマートフォンの形態で利用可能である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
電話機の普及によって、電話機の能力を活用するテレヘルス装置を提供することが絶えず求められている。
【0006】
図面の簡単な説明
以下に簡単に説明する添付図面を参照して、本開示の例示的な実施形態を説明する。
【図面の簡単な説明】
【0007】
図1】本開示の一実施形態における電話機ベースのテレヘルス装置の異なる図である。
図2】本開示の一実施形態における電話機ベースのテレヘルス装置の異なる図である。
図3】本開示の一実施形態における電話機ベースのテレヘルス装置の異なる図である。
図4】本開示の一実施形態における電話機ベースのテレヘルス装置の異なる図である。
図5A】本開示の一実施形態における電話機ベースのテレヘルス装置の異なる図である。
図5B】本開示の一実施形態における電話機ベースのテレヘルス装置の異なる図である。
図6A】本開示の代替実施形態における電話機ベースのテレヘルス装置の耳鏡の部分を示す分解図である。
図6B】代替実施形態における、組み立てられた形態の耳鏡の異なる図を示す。
図6C】代替実施形態における、組み立てられた形態の耳鏡の異なる図を示す。
図7】本開示の代替実施形態における、電話機ベースのテレヘルス装置の耳鏡に使用されるファイバ・ホルダ・リングを示す図である。
図8】本開示の一実施形態における、電話機ベースのテレヘルス装置で実行されるいくつかのアプリケーションモジュールのブロック図である。
図9A】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9B】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9C】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9D】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9E】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9F】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9G】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9H】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9I】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9J】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9K】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図9L】ユーザと装置によって提供される機能との対話を可能にする電話機ベースのテレヘルス装置に表示される例示的な画面の図である。
図10】本開示のいくつかの態様に従って実装される電話機のブロック図である。
【発明を実施するための形態】
【0008】
図面において、同様の参照番号は、一般に、同一の、機能的に類似の、および/または構造的に類似の要素を示す。要素が最初に現れる図は、対応する参照番号の最も左側の桁によって示されている。
【0009】
詳細な説明
1.概要
本開示の一態様によれば、聴診器および耳鏡が電話機に取り付けられる。電話機は、例えば、携帯電話などの容易に入手可能な既製のデバイスであり得る。聴診器は、電話機のマイクロホンポートに接続され、耳鏡は、電話機内のカメラに光を結合するように電話機に取り付けられる。聴診器は(電話機への)受動的な機械的および音響的アタッチメントであってもよく、耳鏡は(電話機への)受動的な機械的および光学的アタッチメントであってもよい。部品に関する「受動的」という用語は、本明細書に記載の特徴に従って動作するために電力を必要とする部品がその部品に存在しないことを意味する。
【0010】
電話機で実行可能な対応するアプリケーションモジュールと共に、統合テレヘルス装置(電話機+聴診器+耳鏡+アプリケーションモジュール)は、ユーザと遠隔医療専門家または医師との間の双方向の音声および/またはビデオ相談を可能にする。聴診器および耳鏡(遠隔医によって指示されるようにユーザによって操作される)を介して装置によって得られる同期したリアルタイムの診断データが医師に利用可能とされ、医師はその後、必要な治療および薬剤を処方することができる。したがって、テレヘルス装置は、プライマリケア医の診察に相当し得るテレヘルスのソリューションを提供することができる。
【0011】
本開示のいくつかの態様を、説明のための例を参照して以下に説明する。しかしながら、当業者は、特定の詳細のうちの1つまたは複数を用いずに、または他の方法、構成要素、材料などを用いて、本開示を実施することができることを認識するであろう。他の例では、本開示の特徴を不明瞭にすることを避けるために、周知の構造、材料、または動作は詳細には示されていない。さらに、記載された特徴/態様は、様々な組み合わせで実施することができるが、簡潔にするためにいくつかの組み合わせのみが本明細書に記載されている。
【0012】
2.電話機ベースのテレヘルス装置
図1図4図5Aおよび図5Bは、本開示の一実施形態における電話機ベースのテレヘルス装置(装置100)の異なる図である。本実施形態では、電話機としてスマートフォン(110)が用いられる。関連技術でよく知られているように、スマートフォンは、セルラおよびコンピューティング能力を1つのユニットに組み合わせるモバイルデバイスである。スマートフォンは、典型的には、アプリケーションがスマートフォンにロードされることを可能にするモバイル・オペレーティング・システムを含み、それによって、例えば、音声通話などの従来の電話機能に加えて、ウェブブラウジング、音声およびビデオプレーヤ、カメラなどの機能を可能にする。しかしながら、他の実施形態では、(音声通話を可能にする)他のデバイス、例えばタブレットPC(パーソナルコンピュータ)、iPad(登録商標)、インターネット接続クロームブック、コンピュータ、IoT(モノのインターネット)対応デバイス、ならびに有線電話、IP(インターネットプロトコル)電話などを代わりに使用することができる。図1は、スマートフォン110、クリップ120、聴診器130、耳鏡X-Yアジャスタ140および耳鏡150を含んで示されている。
【0013】
スマートフォン110は、オペレーティングシステムを備えた既製の携帯電話を表し、アプリケーションモジュールの追加(インストール)をサポートし、回路交換および/またはパケット交換音声および/またはビデオ通話をサポートする。スマートフォン110は、1つまたは複数のマイクロホン、および1つまたは複数のカメラを備える。マイクロホンのマイクロホンポート180を図5Aに示す。したがって、マイクロホンポート180で受信された音声信号は、他端への送信に適した電子信号に変換され、そこで別の電話、またはコンピュータ、タブレットなどのデバイスが、電子信号から音声信号を再生する。スマートフォン110の背面側のカメラのカメラポート160が図1に示されている。カメラポート160は、後述するように、耳鏡と共に使用される。電話110はまた、ビデオ通話中に使用される前面カメラを有し、したがって遠隔医が患者/ユーザを「見る」ことを可能にする。
【0014】
クリップ120は、機械的なアセンブリまたはハーネスであり、例えばばね作用または締め付けねじを使用してスマートフォン110の外縁および背面を把持するように設計されている。クリップ120は、図1および図3により明確に示されている。聴診器130および耳鏡150は、(後述するように)クリップ120に取り付けられ、それにより、スマートフォン110に固定される。クリップ120は、スマートフォン110上のデバイス制御と干渉しないようなサイズである。クリップ120はまた、もしあれば、デバイス(スマートフォン110)製造業者の取り付け基準を満たすように設計されてもよい。
【0015】
聴診器130は、聴診部品(またはチェストピース)130A、風管130Bおよび結合部品130Cから構成される。聴診部品130Aは、可撓性ダイヤフラム、音響チャンバ、および可撓性/弾性ダイヤフラムを音響チャンバに弾性的に締結するためのリングまたはナットから作られている。図4は、音響チャンバ130A-1をより明確に示す。図5は、可撓性ダイヤフラム130A-2およびリングまたはナット130A-3をより明確に示す。音響チャンバ130A-1は、例えば、金属または硬質非多孔質プラスチックで作られてもよい。聴診部品130は、例えば心音および肺音などの音、または一般に患者の体内の音を取得するために使用される。聴診部品130は、音源の近くに配置される必要があり得る。
【0016】
風管130Bは、聴診部品130Aからの音波をスマートフォン100のマイクロホンポート/開口部に伝えるものであり、例えば中空のゴムチューブ(一般に、固体媒体)であってもよい。風管130Bの一方の端部は聴診部品130Aに接続され、他方の端部は結合部品130Cに接続される。結合部品130Cは、圧縮嵌めによって風管を固定しながら、聴診用音波をスマートフォン110のマイクロホン出口/ポートに結合する。マイクロホンの穴/複数の穴へのクッション性および最適な空気結合のために、1つまたは複数の吸盤またはソフトゴムカプラが使用される。この結合は、ユーザ音声が著しく減衰することなく捕捉されることを可能にし、ユーザは、中断または著しい劣化なしに(マイクロホンを介して)通常の音声および/またはビデオ/ビジュアル通信を継続することができる。
【0017】
聴診部品130は、両面テープまたは接着剤またはフックによってクリップ120に固定される(使用されないとき)。あるいは、聴診部品130は、ねじ、フック、一時的な収容機構を使用してクリップ120に固定することができ、またはクリップ120の一部として恒久的に成形することができ、この場合、チェストピースは取り外すことができないが、コンパクトさの利点を提供する。聴診器130およびスマートフォン110のマイクロホンポートを介して受信された音は、医師(医者)による分析のためにスマートフォン110内のアプリケーションモジュールによって処理され、および/または(例えばリアルタイムで)リモートデバイス(例えば、別の電話など)に送信される。アプリケーションモジュールはまた、スマートフォン110のローカルスピーカ/イヤホンで音を同時に再生するか、またはそれらをスマートフォン110内でローカルに記録することもできる。ここで、電話110のマイクロホンが心臓聴診を受信するために使用されることから、ユーザはマイクロホンなしの(またはマイクロホンが無効化された)イヤホンを使用する必要があることに留意されたい。あるいは、テレヘルスアプリケーションは、(イヤホン+外部マイクロホン)ヘッドセットを制御するソフトウェアに、ヘッドセットに設けられた外部マイクロホンではなく、電話機のマイクロホンポート180を使用させるように設計することができる。
【0018】
図の風管130Bはかなり短いように示されているが、風管130Bの長さは実際にははるかに長くなり得る。一実施形態では、風管130Bの長さは、最小長さ制限なしで最大300センチメートルである。このような長さによって、ユーザは、電話110のディスプレイ上で医師を同時に見ることができ、医師の声を聴き、医師と会話することができ、医師が電話110の前面カメラを介してユーザを見ることを可能にすると共に、心臓および肺の聴診音を捕捉するために聴診器130を同時に動作させることができる。このような設備は、特にユーザが高齢者、異質健常者(differently-abled person)、または病気の患者である場合に、ユーザによる容易な使用を可能にする。これは、ユーザが2つ以上のデバイスを同時に操作して、医師および患者にとって非同期で混乱するデータストリームを同時に生じさせ、それによって診断品質を低下させる必要がなくなるためである。また、遠隔医との接触を失うことに関連するユーザの不安は、この実施形態では存在しない。しかし、別の実施形態では、風管130Bは省略され、チェストピース130Aは結合部品130Cに直接結合される。
【0019】
耳鏡150は、検鏡150Aとレンズホルダ150Bとで構成されている。検鏡150Aおよびレンズホルダ150は、耳鏡X-Yアジャスタ140に取り付けられ、次いでクリップ120上の旋回機構121を介して旋回される。レンズホルダ150Bは、拡大レンズを収容し、レンズの焦点距離は、観視源からの光がカメラポート160に集束されることを可能にするためにねじによって調整可能である。耳鏡150は、カメラポート160の前に配置される半径方向座標を使用して、旋回機構121を介して旋回させることができる。旋回機構121の代替実施形態は、デカルトX-Y並進フレームを使用する。図3は、カメラポートの前に配置された耳鏡150を示す。耳鏡150は、スマートフォン110のユーザ/患者が、検鏡150Aを観視対象部分に配置することによって、ユーザ/患者の例えば耳、鼻および喉などのビデオまたは静止画を取得することを可能にする。耳鏡150およびカメラポート160を使用して得られたビデオおよび静止画(すなわち、画像)は、スマートフォン110内のアプリケーションモジュールによって、医師による分析のためにリモートデバイス(例えば、別の電話、コンピュータ、またはスマート通信デバイスなど)に処理および/または送信(例えばリアルタイムで)される。アプリケーションモジュールはまた、スマートフォン110の表示画面上にビデオおよび/または静止画を同時にレンダリングするか、またはそれらをスマートフォン110内でローカルに記録することもできる。
【0020】
本開示の代替実施形態では、耳鏡機能が拡張されて、観視および分析したい対象物を照らすために、光ガイドと組み合わせてスマートフォン110のフラッシュLED(発光ダイオード)も使用する。図6Aは、代替実施形態における耳鏡の分解図を示す図である。使用時に、そこに示されている耳鏡600は、耳鏡によって収集された光がカメラポート160(図1)などのスマートフォン110のカメラポートに当たるように配置される。耳鏡130と同様に、耳鏡600はまた、図1図4図5Aおよび図5Bに示すように、クリップ120などのクリップ上で旋回するように取り付けられてもよい。あるいは、耳鏡600は、両面粘着テープ(取り外し可能)または弾性バンド機構を使用してスマートフォン110に取り付けられてもよい。
【0021】
図6Aを参照すると、耳鏡600は、検鏡610、光ファイバ・ホルダ・リング620、レンズ630、トンネル640、およびシリンダ660の部品で作られていることが示されている。検鏡610は、図1の検鏡150Aと同様に機能して、観視対象物(耳、鼻など)から光を収集する。さらに、検鏡160は、その上にファイバガイド経路を有し、それを通して光ファイバはスマートフォン110のフラッシュLEDなどの光源からの光を観視対象物に送ることができる。検鏡内にある例示的なガイド経路615を図6Aに示す。
【0022】
ファイバ・ホルダ・リング620は、個々の光ファイバが通過する穴を含み、したがって、図6Aの構成要素が組み立てられるときに所定の位置に固定される。穴は検鏡610内のガイド経路と位置合わせされる。ファイバの数、ファイバの直径、したがってリング620の穴は、フラッシュLEDのサイズに基づいて決定されてもよい。ファイバ・ホルダ・リング620は、図7に別々により詳細に示されており、1つの穴711のみが示されている。個々のファイバ(710など)で作られたファイバ束全体が収集され(マーカ720によって示されるように一緒に束ねられる)、圧縮によってフラッシュLEDに光学的に結合され、それによって、束状ファイバの面(例えば、図7の720)を含む幾何学的平面は、空隙のないLEDフラッシュ外面を含む幾何学的平面と一致し、ファイバ束の中心は、フラッシュから放射されて束状ファイバに入る光の最適な結合を可能にするために、フラッシュの中心とほぼ一致する。
【0023】
シリンダ660は、一端でリング620に取り付けられ、他端は、図1のアジャスタ140などのX-Yアジャスタ(図示せず)に取り付けられる。あるいは、X-Yアジャスタは使用されず、シリンダ660は、カメラポートがシリンダ660の底部(690)の真下にあるように、適切な機構(例えば、両面粘着テープなど)を使用してカメラポートに直接取り付けられる。レンズ630は、拡大のために使用され、シリンダ660内にあり、それと同心になるように取り付けられる。
【0024】
トンネル640は、リング620からファイバ束を受け取り、束をカメラのフラッシュLEDに送る(図7にマーカ720によって示されている)。トンネル640は、可撓性光ファイバ/ファイバまたは光パイプを使用して設計されてもよい。スマートフォン110のカメラのフラッシュレンズ(図示せず)は、トンネル640の底部にある。スロット650は、フラッシュとファイバとを一対一で光結合させながら、光を運ぶファイバ束とフラッシュの中心を一致させるように調整する調整機構である。この機構は、異なるスマートフォンにおけるフラッシュ位置の違いを調整することを可能にする。耳鏡アセンブリ全体を、ピボット点(図1のピボット点121と同様)を中心にして枢動させることができ、あるいはデカルトX-Yステージに取り付けて、ユーザが背面カメラの中心をレンズタワーの中心(すなわち、シリンダ660)にほぼ位置合わせすることを可能にすることができる。タブ640Aおよび640B(図6C)は、フラッシュとファイバの中心位置合わせを可能にするようにアセンブリに出し入れすることができる。光を運ぶファイバ束(例えば、図7に示す720)は、タブ640Bの内側の穴を通して結ばれ、送られて、ファイバ束とフラッシュレンズの平面を位置合わせすることを可能にする。
【0025】
図6Bおよび図6Cは、組み立てられた形態の耳鏡600の2つの異なる図を示す。
ここで、耳鏡(150または600)は、IRを可視波長に変換するための(耳鏡/光学アタッチメントに取り付けられた)光学アタッチメントフィルタを含むことに留意されたい。したがって、図1では、フィルタは、レンズと共にレンズホルダ150Bに収容される。同様に、図6Aでは、フィルタは、レンズ630の近位のシリンダ660内に収容される。フィルタを追加した理由は、電話110のもののようなスマートフォンのカメラではIR(赤外光)を検出できないことがあり、人体からのIRは情報が豊富であるためである。光学フィルタは、IRを有用な可視光スペクトルに変換する。周囲の可視光は、周囲の光が耳鏡に入るのを防止すると共に、スマートフォンカメラレンズ、ボディ、およびフラッシュに傷がつくのを回避するために、底面690に結合された黒色のソフトゴムブロッカーを使用して遮断される。
【0026】
単一の装置(単一部品)である装置100は、患者による容易な使用に役立ち得ることが理解されよう。ここで、ポイントオブケア診断に利用可能な既存のデバイスまたはシステムのほとんどは、デバイス内に追加のハードウェアを実装する必要があり、2つのデバイスの冗長な通信インフラストラクチャおよび/または非同期ストリームが診断を混乱させ、不正確にするという問題を抱えているように見えることに留意されたい。あるいは、従来のシステムは、機能してポイントオブケア診断を提供するために、専用の冗長な通信インフラストラクチャを必要とするように思われる。そのような要件は、ポイントオブケア診断情報を非同期ではあるが医師または医療提供者に中継するために、介護者または患者が少なくとも2つの異なるデバイスを必要とする、使い勝手の問題を表す。患者が非協力的または拘束されている場合、2つのデバイスを使用することは問題であり、診断の不正確さを引き起こす。例えば、高齢者、異質健常者または病気の患者の親または介護者が医師にテレヘルスの要請を行う場合、使い勝手の観点から、彼らは2つのデバイスを同時に操作しなければならず、医師および患者に対して非同期で混乱させるデータストリームを引き起こし、それによって診断品質を低下させる。利用可能なポイントオブケア診断機器がない場合、医師は、ビデオストリームおよび/または患者面接のみに基づいて診断を行い、薬剤を処方しなければならない。これらの欠点により、現在のデバイスまたはシステムは、患者に質の高いヘルスケアを提供するには非常に非効果的である。
【0027】
一方、装置100は、ユーザが、聴診器130を扱っている間であっても、リモートデバイスの医師を見たり話したりすることを可能にする。また、耳鏡を使用するとき、ユーザが耳鏡と同時に使用することが困難であることが分かるヘッドホンを介して音声を送るのとは対照的に、電話110は、ユーザが(例えば、耳の検査のために)耳鏡を使用しているときに電話のスピーカを自動的に起動することによって、医師との音声およびビデオ接触(前面カメラを介したビデオ接触)を無傷に維持する。
【0028】
スマートフォン110は、聴診器130および耳鏡150/600を介して得られた診断情報をリモートデバイスに統合して同期的に(リアルタイムで)送信するアプリケーションモジュールを含む(またはロードすることができる)。スマートフォン110はまた、カメラポート160上の指の押圧から得られた画像/ビデオからユーザの脈拍数、体温、血圧およびパルス酸素含有量を決定するためのアプリケーションモジュールを含む。リモートデバイス/端末上の対応するソフトウェアと組み合わせて、装置100は、遠隔診断、保存、薬剤処方(または治療アドバイス)および課金のための双方向音声および/またはビデオ相談機能を提供する。次に、スマートフォン110の一部のアプリケーションモジュールの動作について説明する。
【0029】
3.アプリケーションモジュール
図8は、スマートフォン110で実行することができるいくつかのアプリケーションブロック/モジュールのブロック図である。特定のブロックは単なる例示として示されており、スマートフォン110で実行することができるより多くのアプリケーションブロックが存在することができる。また、一部のブロックの動作を1つのブロックにまとめることもできる。本明細書で使用される「ソフトウェアモジュール」という用語は、単一のブロックまたは複数のブロックの組み合わせを指すことができる。さらにまた、モバイル・オペレーティング・システム(OS)が電話110に存在してもよい。
【0030】
ここで、図8のブロックの1つまたは複数は、意思決定、次のモジュールへのデータの転送などのために他のアプリケーションモジュール(図示されていないが、テレヘルスアプリケーションに含まれている-全体としてのすべてのモジュールの組み合わせを指す)に依存し得ることに留意されたい。したがって、以下の説明では、テレヘルスアプリケーションは、図8のブロックの制御信号を生成するアプリケーションモジュール制御ブロック(AMCB)を含むものとする(必要な場合)。そのような制御信号の1つまたは複数は、ユーザの対話またはテレヘルスアプリケーションへの入力に基づいて生成されてもよい。一例として、図9Hに示す画面でユーザがボタン941を押すと、テレヘルスアプリケーションは、ユーザが心臓聴診音を取得しようとしていることを「知る」。したがって、AMCBは、マイクロホン・インターフェース・ブロック805に信号を送信して、経路801で受信した音声データを心臓聴診音ブロック810に転送し、肺聴診音ブロック815には転送しない。
【0031】
一実施形態では、図8のブロックの1つまたは複数は、電話110とリモートデバイスとの間で様々な診断情報および他の情報のリアルタイムまたは同期交換を可能にするために、WebRTC(ウェブ・リアルタイム・コミュニケーション)技術に従って設計されてもよい。関連技術でよく知られているように、WebRTCは、ウェブブラウザおよびモバイルアプリケーションに単純なアプリケーション・プログラミング・インターフェース(API)を介してリアルタイム通信(RTC)を提供するフリーのオープンソースプロジェクトを指す。したがって、例えば、マイクロホン・インターフェース・ブロック805およびカメラ・インターフェース・ブロック830は、(WebRTCによって提供される)getUserMedia APIを使用して実装されてもよく、送信ブロック890は、(同じくWebRTCによって提供される)RTCPeerConnection APIを使用して実装されてもよい。
【0032】
ここで図8を参照すると、マイクロホン・インターフェース・ブロック805、心臓聴診音ブロック810、肺聴診音ブロック815および音声再生ブロック820は、デジタル化された音声データに対して動作する。マイクロホン・インターフェース・ブロック805は、デジタル化された音声データを電話110のマイクロホンポートから受信し、また、聴診器130が音声情報を取得するために使用されるときに電話110の音声ハードウェア(アナログ-デジタル変換器(ADC)を含む)を介して受信する。マイクロホン・インターフェース・ブロック805は、電話110内のオペレーティングシステムによって提供されるアプリケーション・プログラマー・インターフェース(API)機能通話を使用して実装されてもよい。マイクロホン・インターフェース・ブロック805は、音声データが心臓聴診音を表すかまたは肺聴診音を表すかに応じて、受信した音声データをブロック810および820のうちの対応するものへ転送する。マイクロホン・インターフェース・ブロックは、上述したように、アプリケーションモジュール制御ブロック(AMCB)からの入力に基づいてそのような決定を行ってもよい。図1を参照すると、心臓または肺の聴診音は、ユーザが聴診部品130Aをユーザの胸部または肺領域のいずれかに配置することによって得られる。ユーザは、聴診部品130Aを適切に配置するように遠隔端部にいる医師によって電話110を介して案内されてもよい。
【0033】
心臓聴診音ブロック810は、デジタルフィルタリングを適用して、受信した心音データからノイズを除去して、フィルタリングされた心音データを得る。上記のアプリケーションモジュール制御ブロックからの入力に基づいて、心臓聴診音ブロック810は、フィルタリングされたデータを音声再生ブロック820、保存ブロック880および送信ブロック890のうちの1つまたは複数に転送し得る。アプリケーションモジュール制御ブロックからの入力は、リアルタイムローカルプレイ、リモートプレイ、ローカルストレージ、リモートまたはクラウドストレージ、アーカイブおよびレトロアクティブプレイが実行される必要があるかどうかに基づいてもよく、これらもテレヘルスアプリケーションへのユーザ入力からもたらされ得る。本開示の一実施形態では、心音聴診データは、(リモートデバイスの医師によって必要とされる同時または遅延送信後に)電話110およびリモートデバイスにおいてローカルで同時に(同期して)再生され、リモートデバイスの医師によるリアルタイムおよび/または非同期診断を可能にする。
【0034】
肺聴診音ブロック815は、デジタルフィルタリングを適用して、受信した肺音データからノイズを除去して、フィルタリングされた肺音データを得る。ユーザ入力またはアプリケーションモジュール制御ブロックからの入力に基づいて、肺聴診音ブロック815は、フィルタリングされたデータを音声再生ブロック820、保存ブロック880および送信ブロック890のうちの1つまたは複数に転送し得る。アプリケーションモジュール制御ブロックからの入力は、リアルタイムローカルプレイ、リモートプレイ、およびローカルストレージが実行される必要があるかどうかに基づいてもよい。本開示の一実施形態では、肺音聴診データはまた、(リモートデバイスの医師によって必要とされる同時または遅延送信後に)電話110およびリモートデバイスにおいてローカルで同時に(同期して)再生され、リモートデバイスの医師によるリアルタイムおよび/または非同期診断を可能にする。
【0035】
ここで、心音は約50~60Hzの周波数範囲を有することに留意されたい。心臓聴診音ブロック810内で使用されるデジタルフィルタは、心音の周波数を捕捉するように最適化された任意の大きさ、ローパスおよびハイブーストフィルタリングを使用してもよい。ハイブーストフィルタリングとは、音声の高周波成分を、低周波成分を除去せずに強調(ブースト)することをいう。肺聴診音ブロック815で使用されるデジタルフィルタは、周波数を約300Hz~約550Hz(呼吸周波数)まで最適化してブーストするように設計される。ブロック810および815のフィルタは、固定FIR(有限インパルス応答)およびIIR(無限インパルス応答)、または適応フィルタとして実装することができる。
【0036】
音声再生ブロック820は、経路821上のデジタル音声データを電話110内のハードウェア音声サブシステム(デジタル-アナログ変換器(DAC)、電力増幅器、およびスピーカを含み得る)へ転送する。音声再生ブロック820は、電話110内のオペレーティングシステムによって提供されるアプリケーション・プログラマー・インターフェース(API)機能通話を使用して実装されてもよい。
【0037】
保存ブロック880は、図8の対応するブロックから音声またはビデオ/画像を表すデータを受信し、対応する保存形式に従ってデータをフォーマットし、経路881上で、フォーマットされたデータを電話110の記憶装置に転送する。保存ブロック880は、電話110内のオペレーティングシステムによって提供されるアプリケーション・プログラマー・インターフェース(API)関数呼び出しを使用して実装されてもよい。
【0038】
送信ブロック890は、図8の対応するブロックから音声またはビデオ/画像を表すデータを受信し、対応する送信形式(パケット化を含む)に従ってデータをフォーマットし、経路891上で、フォーマットされたデータを電話110の送信機に転送する。送信ブロック890は、電話110内のオペレーティングシステムによって提供されるアプリケーション・プログラマー・インターフェース(API)関数呼び出しを使用して実装されてもよい。
【0039】
カメラ・インターフェース・ブロック830、耳鏡検査処理ブロック835、BP/心拍数/体温/酸素濃度計ブロック840、光学式文字認識(OCR)ブロック845、および表示ブロック860は、デジタル化されたビデオまたは画像(静止画)データ上で動作する。
【0040】
表示ブロック860は、経路861上で、電話110のディスプレイハードウェアに対して、それぞれの経路856,836および846上のブロック845,835および840のうちの1つ以上から受信したビデオ/画像を転送する。ディスプレイハードウェアは、ビデオ/画像をディスプレイデバイス(例えば、電話110の画面)上にレンダリングする。表示ブロック890は、電話110内のオペレーティングシステムによって提供されるアプリケーション・プログラマー・インターフェース(API)関数呼び出しを使用して実装されてもよい。
【0041】
カメラ・インターフェース・ブロック830は、経路831上で、カメラポート160から、および電話110のビデオハードウェア(別の(ADC)を含む)を介して、デジタル化されたビデオまたは画像データを受信する。ビデオ/画像は、耳鏡150を使用して、カメラポート上のユーザの指の押圧から、またはデジタルもしくはアナログ体温計、デジタルもしくはアナログ血圧計、デジタルもしくはアナログ酸素濃度計などの1つまたは複数の外部診断装置の表示領域に電話110のカメラを焦点合わせすることによって取得され得る。
【0042】
耳鏡150を使用する場合、耳鏡150の検鏡150Aは観視対象の身体部分(例えば、耳、鼻または喉)に配置され(例えば、ユーザによって)、検鏡150Aおよびレンズ(レンズホルダ150B内)がカメラポート160と位置合わせされるようにX-Yアジャスタ140が調整される。ユーザの指の押圧を捕捉する場合、ユーザは、検鏡150およびレンズがカメラポートから離れるようにX-Yアジャスタ140を調整する。外部診断装置の表示を所望する場合、ユーザは、カメラ110のカメラポートをそのような外部診断装置の表示領域に焦点合わせする。
【0043】
カメラ・インターフェース・ブロック830は、電話110内のオペレーティングシステムによって提供されるAPI関数呼び出しを使用して実装されてもよい。カメラ・インターフェース・ブロック830は、アプリケーションモジュール制御ブロック(上述)からの入力に基づいて、受信したビデオ/画像データを、ビデオデータが耳鏡150、ユーザの指の押圧、または外部診断装置のいずれを使用して取り込まれたかに応じて、ブロック835,840および845の対応する1つに転送する。
【0044】
耳鏡検査処理ブロック835は、耳鏡150を使用して取得された受信したビデオ/画像データをフィルタリングし、アプリケーションモジュール制御ブロック(上述)から受信した対応する入力に応じて、フィルタリングしたデータを表示ブロック860、保存ブロック880、および送信ブロック890のうちの1つまたは複数に転送する。アプリケーションモジュール制御ブロックからの入力は、リアルタイムローカルプレイ、リモートプレイ、およびローカルストレージが実行される必要があるかどうかに基づいてもよく、ひいては、テレヘルスアプリケーションへのユーザ入力に基づいてもよい。本開示の一実施形態では、耳鏡検査処理ブロック835からのフィルタリングされたデータは、電話110の表示ブロック860上ならびにリモートデバイスのディスプレイ内に(リモートデバイスへの同時送信後に)同時に(同期して)ローカルにレンダリングされ、リモートデバイスの医師によるリアルタイム診断を可能にする。
【0045】
OCRブロック845は、(上述のように)外部診断装置の表示領域の画像(例えば、背面カメラによって取り込まれる)を受信し、画像内のテキスト、数字、記号などを抽出するように動作する。OCRブロック845は、アプリケーションモジュール制御ブロック(上述)から受信した対応する入力に応じて、抽出されたデータを表示ブロック860、保存ブロック880、および送信ブロック890のうちの1つまたは複数に転送する。例えば、外部装置はデジタル体温計であってもよい。ユーザは、デジタル体温計を使用して自分の体温を得ることができ、OCRブロック845は、デジタル体温計の表示領域上の読み取りの画像を受信し、そこから温度値を抽出することができる。
【0046】
BP/心拍数/体温/酸素濃度計ブロック840は、カメラポート160上のユーザの指の押圧のビデオ/画像からユーザの血圧(BP)、心拍数、体温および血中酸素飽和度レベルを決定するように動作する。
【0047】
ブロック480の信号処理アルゴリズムは、典型的には、視野(FOV)のおおよその中心の周りの関心領域(この場合、押圧された指のほぼ中心)を選択する。このFOV領域のサイズは、計算の複雑さに直接影響し、サイズに最適なものが存在し、診断品質の結果を提供し、FOVサイズが大きくなると利益の減少が観察される。ブロック840は、時間の関数として、高フレームレートにおける赤/緑/青(RGB)チャネルの平均値を抽出する。次に、BP、心拍数、体温および血中酸素飽和度レベルの各パラメータが決定される方法について説明する。
【0048】
上述したように、ブロック840は、カメラポート160上のユーザの指の押圧によって生成された一連のRGB画像に対して動作する。ブロック840は、一連の画像の各画像内に固定ボリュームまたは関心領域(ROI)を作成する。一連の画像の各々は、光強度I、ならびに巨視的レベルでのROIの内容の関数である。各画像は、カメラのセンサ(例えば、CMOS)出力の赤色、緑色、および青色(RGB)値を含み、ブロック840は、高フレームレートにおける赤色/緑色/青色(RGB)チャネルの平均値を時間の関数として抽出する。
【0049】
時間の関数としての得られた一連の画像(またはより具体的には画像のRGB値)の真皮(皮膚)成分は、任意の所与のシナリオについて一定であり、一連の画像の光レベル変動は、心臓が収縮期および拡張期を通過するときにROIに出入りする血液の影響によるものである。したがって、一連の画像における光レベル変動は、ユーザの血圧の(すなわち、血圧に相関する)関数でもある。したがって、ROIは心機能を表し、時間の関数として血圧と相関する。
【0050】
収縮期のピークでの光レベル値は、収縮期のピーク中の血液中の酸素含有量の関数でもある。ブロック840は、各画像内の赤色強度値に基づいて心拍数に対応する鼓動のピーク(収縮期)を最初に決定することによって酸素含有量変動を補正する。収縮期ピークは、他の収縮期ピークを表すもの以外のすべての画像の中で最大の赤色強度に対応する。次に、ブロック840は、収縮期ピークを表す画像から、収縮期ピークに対応する画像内の赤色強度の平均値を差し引き、フラットフィールド補正強度から酸素含有量を抽出することによって、酸素含有量成分を推定する。当該技術分野でよく知られているように、フラットフィールド補正は、検出器(カメラ)の画素間感度の変動および光路の歪みによって引き起こされる画像アーチファクトの影響を相殺することによってデジタル撮像の品質を改善するために使用される技術である。このようにして得られた(あるいは、数回の反復にわたって血中酸素含有量の推定値を平均することによって得られた)血中酸素含有量成分は、血中酸素飽和度レベルを示す。
【0051】
心拍数は、検出されたピークの周期を平均し(上記)、周期の逆数を取得することによって決定される。体温は心拍数の上昇と相関し、年齢に依存する因子である。ブロック840は、患者の体温を取得するために周知の年齢-心拍-体温関係を使用する。
【0052】
BP決定に関して説明を続けると、血中酸素含有量について補正されると、残りの唯一の従属変数はBPである。ブロック840は、複数の連続するフレーム(画像)(一例として、カメラは、30フレーム/秒以上のフレームレートを提供することができる)を処理して、(すなわち、収縮期ピークを表す画像の直前(一連の画像に対して)および直後の画像における赤色の強度、ならびに拡張期ピークを表す画像の直前および直後の画像における赤色の強度)付近の血液量(画像内の赤色値と相関する)を取得し、時間の関数としての血液の体積変化率、すなわち、収縮期ピークおよび拡張期ピークに対応するdV/dtを決定する。
【0053】
指の画像のほぼ中心に関心領域(ROI)が描画される(すなわち、一連の画像の各々において)。このROIまたは視野(FOV)は、2次元画像上の任意の小さな領域である。時間(dt)の関数としての体積変化(dV)としてのこのFOVの内外の血流量(dV/dt)は、このようにして取得された連続フレームをその対応するタイムスタンプ(dt)で分析することによって、補正された(上述のような)赤色強度を時間の関数としてプロットすることによって決定される。
【0054】
次いで、収縮期ピークおよび拡張期ピークに対応する体積変化率dV/dtは、押圧された指の非常に小さな部分について第1度近似を仮定した線形変換を介して、dP/dtのそれぞれの値、すなわち経時的な圧力変化率に変換され、前述のように視野と呼ばれる画像のより小さなサブセットを任意に選択することによってさらに縮小される。線形変換定数Kは、センサ(カメラセンサ)応答特性の関数であり、デバイスごとに異なり得る。この値、すなわち定数Kは、既知のBPを用いた較正工程を用いて決定される。
【0055】
上記のように決定されたBPは、指の押圧の一連の画像を取得するために使用される光強度(ルーメン)および(異なるカメラにわたる)カメラ解像度の変動に起因する誤差成分を含み得る。このような誤差成分は、一般的に知られているフラットフィールド補正方法を使用して補正され、この方法では、ベースラインを確立するために均一照明下でセンサ(カメラ素子)応答が測定される。このベースラインは、関心対象の信号に寄与しないシステム誘導変動を考慮し、フラットフィールド補正として測定信号から差し引かれる。
【0056】
上で詳細に述べたような心臓聴診および肺聴診音、耳鏡によって取得された画像、BP、体温、血中酸素含有量などのパラメータおよび信号は、診断データと呼ばれることがある。
【0057】
したがって、ユーザの健康に関する様々なパラメータおよび診断データが取得され、遠隔端末の医師にリアルタイムで送信される。説明は、ユーザ/患者が遠隔端末で医師と対話し、診断測定値を取得することなどを可能にするためにスマートフォン110上のアプリケーションモジュール(図8のもの以外)によって提供される例示的なユーザインターフェースの簡単な図で続けられる。
【0058】
4.ユーザインターフェース
遠隔相談が設定されると、患者と医師は、それぞれのスマートフォン上のアプリケーション(上記のテレヘルスアプリケーション)を開くことによって互いに接続する。医師の口頭または非口頭(テキスト)または身振り(ビデオ)の指示を受けた患者がアプリケーション内のメニュー項目(後述する例)をクリックし、診断情報が取得され、ポイントオブケアから遠隔医へ同期して中継される。異なる診断情報は、医療提供者または医師が適合すると見なす医療ニーズに基づいて連続的または並列的に取得される。診断取得が完了すると、処方箋は、電話110で患者、または彼らが選択した薬局に送信される。相談の終わりに、患者と医療提供者との間で請求関連の交換が行われる。
【0059】
図9A図9Lは、ユーザが対話するテレヘルスアプリケーションによって提供される例示的な画面である。図示の各画面では、画面の左上にある「取消」ボタンが現在の操作を取り消し、ユーザに次の適切な画面が提示される。
【0060】
図9Aは、テレヘルスアプリケーションの起動時に電話110のディスプレイ上でユーザに提示される画面である。ユーザは、ボックス901に自分の電子メールIDを入力し、ボックス902にパスワードを入力し、次いでボタン903を押してログインまたは(まだ登録されていない場合)登録することができる。ログインすると、ユーザには図9Bに示す画面が提示される。
【0061】
図9Bでは、ボタン907を押すと、ユーザは医師との予約を確定することができ、ボタン907を押すと、ユーザには図9Eの画面が提示される。図9Eを参照して、ユーザは、参照番号920,921および922で示される医師のうちの1人を選択することができる。ユーザがLisa Su(920)を選択したと仮定すると、ユーザには図9Fの画面が提示され、ユーザは予約の日付(925)および時間(926)を入力することができる。設定ボタン927を押すと、図9Gの画面が生成され、予約の医師の名前(931)、日付(932)、および時間(933)が表示される。ユーザはいつでも「取消」(全画面の右上)を押すことによって前の画面に戻ることができる。あるいは、次に述べるように、ボタン905をクリックし、トリアージ質問表を完成させた後、(上述したように)医師との予約を選択し確定するための機能は(ボタン907の押下を介してではなく)ユーザに自動的に提示される。
【0062】
図9Bでは、ボタン905を押すと、ユーザはトリアージ質問のために図9Cの画面に導かれる。図9Cに示すように、特定の健康状態(911,912,913)に関する質問を含む質問表が提示される。ユーザは、健康状態のうちの1つまたは複数を選択することができ、ボタン914を押すと、ユーザに図9Dの画面が提示される。図9Dでは、健康状態が提示され(915,916,917および918)、ユーザは健康状態に基づいて選択することができる。トリアージ質問表を完成させると、提供された回答が遠隔端末に送信され、遠隔医は診断のためにそれを使用する。さらに、ユーザには、ボタン907の押下および結果として生じる画面に関して上述したように、相談のために利用可能なヘルスケア専門家の選択肢が提示される。
【0063】
図9Bでは、ボタン906は、上述のように予約が既に確定されている医師との相談を開始するためのものである。あるいは、相談は、上記のように医師との予約の確定が完了し、医師が現在相談に対応できる場合に開始することができる。いずれの場合も、ユーザには図9Hの画面が提示される。相談は、テレヘルスアプリケーションが遠隔医と音声および/またはビデオ通話を行うことによって可能になる。通話が確立されると、ユーザに図9Hの画面が提示される。
【0064】
図9Hの画面は、ユーザが、遠隔端部にいる医師の指示下で、聴診器130を使用する心臓/肺聴診音データ、耳鏡150/600を使用する耳鏡検査データ、カメラポート上の指の押圧からの体温、血圧、血中酸素含有量および心拍数に関する診断データ、ならびに上述したように外部装置によって捕捉されOCRブロック845によって取得された診断データなどの診断データを生成することを可能にし、それにより完全な医療検査を容易にする。
【0065】
具体的には、(聴診器(130)の聴診部品130Aをユーザの心臓領域に配置した状態で)ボタン941を押すと、聴診器130を介した心臓聴診音データの捕捉が開始され、ユーザには図9Iの画面が提示される。図9Iは、心臓聴診音ブロック810(図8)によって実行される「フィルタI」によって心臓聴診データがフィルタリングされていることを示している。
【0066】
(聴診器(130)の聴診部品130Aをユーザの肺領域に配置した状態で)ボタン942を押すと、聴診器130を介した肺聴診音データの捕捉が開始され、ユーザには図9Jの画面が提示される。図9Jは、肺聴診音ブロック810(図8)によって実行される「フィルタII」によって肺聴診データがフィルタリングされていることを示している。
【0067】
(耳鏡(150)の検鏡150A/610をユーザの耳/鼻/喉に配置し、耳鏡600を使用するときに任意選択的にカメラのフラッシュを押した状態で)ボタン943を押すと、図9Kの画面がユーザに提示された状態で、耳鏡150を介したビデオデータの取り込みが開始される。図9Kは、耳鏡検査処理ブロック835(図8)によって実行される「フィルタIII」によってビデオデータがフィルタリングされていることを示している。画面はまた、パラメータ1、すなわちブロック840によって決定された患者の体温(951)を表示する。
【0068】
(耳鏡(150)の検鏡150A/610をユーザの耳/鼻/喉に配置し、耳鏡600を使用するときに任意選択的にカメラのフラッシュを押した状態で)ボタン944を押すと、図9Lの画面がユーザに提示された状態で、耳鏡150を介したビデオデータの取り込みが開始される。図9Lは、耳鏡検査処理ブロック835(図8)によって実行される「フィルタIV」によってビデオデータがフィルタリングされていることを示している。画面はまた、ブロック840によって決定されたパラメータ2(血圧)(961)、パラメータ3(パルス酸素含有量)(962)、およびパラメータ4(毎分の脈拍)(963)を表示する。
【0069】
ここで、本開示によって提供されるテレヘルスアプリケーションは、様々な他のオプションおよび情報をユーザに表示するための様々な他の画面も生成することができ、図9A図9Lの画面は単に代表的なものであることに留意されたい。さらに、本開示によって相手側アプリケーションが提供され、リモートデバイスにインストールされて、電話110内のモジュール(またはテレヘルスアプリケーション)の動作を補完し、本明細書で説明される双方向音声/ビデオ相談を可能にする。そのようなアプリケーションは、本明細書の開示を読むと、当業者によって既知の方法で実施することができる。
【0070】
上記で説明されていないテレヘルスアプリケーションのいくつかの他の特徴が以下に要約され、そのうちのいくつかは本開示の他のセクションでも言及されている。
【0071】
(A)規制遵守
1.2要素認証を備えたHIPAA(医療保険の携行性と責任に関する法律)準拠の患者および提供者登録ポータル。
【0072】
2.クラウドまたはプライベートクラウドまたはプライベート・サーバ・マシン上でホストされるHIPAA準拠の患者および提供者のログイン・ウェブ・ポータル。
【0073】
3.以下の機能を有するAndroidおよびiOSアプリへのHIPAA準拠ログイン:
1.ID/電子メールおよびパスワード/指紋/顔IDを用いたログイン
2.オンラインモード
i.ビデオ通話機能と診断機能の両方にアクセスできるようになる。
【0074】
ii.双方向会議通話中に追加機能を使用する能力
3.オフラインモード
i.オンデバイスのアーカイブおよび遠隔地への遅延中継機能を用いて、診断機能のみにアクセス可能である(ビデオ通話なし)。
【0075】
(B)予約およびユーザ管理機能
1.ログインのための2つのモード
1.患者モード
1.患者モードでは、予約が行われると、2人のクライアントがビデオ通話を介して接続することができるリンクをクリックすることによって、電子メールを介してリンクが送信され、電話のカレンダーに追加される。
【0076】
2.提供者モード
1.予約カレンダーのレビュー
2.クリックするとWebRTCビデオ通話が開始されるアクティブリンクを有する予約カレンダー
(C)ビデオ通話機能
1.マイクロホンをミュートする。
【0077】
2.前面カメラの電源を切り、音声通話のみを許可する。
3.前後カメラを切り替える。
【0078】
4.カメラを拡大および縮小する。
5.耳鏡下の対象物がローカル画面および遠隔画面にズームインされて表示される耳鏡モードに切り替える。
【0079】
6.WebRTCまたは同等の技術を介して聴診音のリアルタイム/同期送信のための3つの異なる音声フィルタをシームレスに切り替える。
【0080】
(D)追加機能
1.マイクロホン付きイヤホンが電話機に接続されている場合、テレヘルスアプリケーションは、追加機能(聴診器および耳鏡)を使用できないことを伝えるエラーメッセージを生成する。
【0081】
2.オフラインモードでは、音声は、WebRTCを介してリモートデバイスに送信されず、イヤホン(耳の穴に差し込むタイプのイヤホン、承認されたイヤホン)で利用可能にされる。
【0082】
3.オフラインモードでは、音声は、電話またはクラウドに記録および保存することができ、またはテレヘルスアプリを介してのみ電子メールで送信することができる。
【0083】
4.保存された音声、他のユーザ入力データは、ユーザ名、生年月日、時間、モード(クリーンチャネル、フィルタ1またはフィルタ2)、および記録日のメタデータを有する。
【0084】
5.ユーザは記録を再生することができる。
6.ユーザは記録を削除することができる。
【0085】
7.ユーザは、記録(または他のユーザデータ)を削除する前に、それらが取り戻せないことを警告される。
【0086】
8.異なるフィルタを切り替えるためのアプリボタンがある。フィルタは以下の通りである。
【0087】
1.フィルタリングなしのクリーンチャネル
2.心臓モード聴診
3.肺モード聴診
9.背面カメラ上を患者が指で押した後、対応する画面(図示せず)上でユーザ入力(ボタンを押す)が続く。
【0088】
次に、電話110の例示的な内部詳細について説明する。
5.電話
図10は、本開示の一実施形態における携帯/スマートフォン110の実装詳細を示すブロック図である。携帯電話として記載されているが、デバイス110は、一般に、無線または有線通信機能を有するデジタル処理デバイス、例えば、タブレットPC(パーソナルコンピュータ)、iPad、インターネット接続されたクロームブック、コンピュータ、IoT(モノのインターネット)対応デバイス、ならびに有線電話、IP(インターネットプロトコル)電話などとして実装されてもよい。
【0089】
バッテリ1001、電源1005、マイクロホンインターフェース1010、カメラインターフェース1015、処理ブロック1020、不揮発性メモリ1030、ランダム・アクセス・メモリ(RAM)1040、入力ブロック1050、ディスプレイ1060、送信チェーン1070、受信チェーン1080、スイッチ1090、およびアンテナ1095を含む携帯電話110が示されている。携帯電話1000の特定の構成要素/ブロックは、単なる例示として示されている。しかしながら、携帯電話1000は、より多くのまたはより少ない構成要素/ブロックを含んでもよい。
【0090】
バッテリ1001は、電源1005と共に、ブロック1010、1015、1020、1030、1040、1050、1060、1070および1080の各々に電力を供給する調整電源電圧を提供する。しかしながら、図10では、明確にするために、処理ブロック1020への電力接続のみが示されている。
【0091】
マイクロホンインターフェース1010は、経路180(マイクロホンポート)上で音声信号を受信し、信号を増幅し、ADCを使用して信号を表すデジタルデータを生成する。マイクロホンインターフェース1010は、さらなる処理のためにデジタル音声データを処理ブロック1020に転送する。
【0092】
カメラインターフェース1015は、カメラポート160を介して光(可視/赤外線など)を受信し、既知の方法でデジタルビデオおよび/または静止画像を生成する。したがって、例えば、カメラインターフェース1015は、RGB値のセットの形態でビデオ/画像を生成するために、RGBフィルタ、画像センサ(例えば、CMOS)、ADC、フォーマット回路などを含むことができる。カメラインターフェース1015は、RGB値を処理ブロック1020に転送する。
【0093】
入力/出力ブロック1050は、携帯電話1000にユーザ入力を提供し、携帯電話110からユーザにデータを出力するために使用される1つまたは複数の入力デバイスおよび出力デバイスを表す。したがって、入力/出力ブロック1050は、入力としてキーパッドを含み、出力としてDAC、電力増幅器およびスピーカ/イヤホンを含み得る。ディスプレイ1060は、処理ブロック1020によって生成された画像/テキストを表示するための表示画面(例えば、液晶ディスプレイ)を表す。
【0094】
アンテナ1095は、情報を運ぶ無線信号を無線媒体から受信し、無線媒体に送信するように動作する。スイッチ1090は、携帯電話1000が無線信号を受信するか送信するかに応じて、アンテナ1095を経路1098を介して受信チェーン1080、または経路1079を介して送信チェーン1070のいずれかに接続するように処理ブロック1020によって制御され得る(接続は図示せず)。
【0095】
送信チェーン1070は、処理ブロック1020から送信されたデータ/会話/音声/ビデオを(処理ブロック1020によって実行されたときに送信ブロック890によって生成されたものを含む一般的な情報信号において)受信し、GSM(登録商標)、CDMAなどの対応する規格に従って情報信号によって変調された無線周波数(RF)信号を生成し、スイッチ1090およびアンテナ1095を介してRF信号を送信する。受信チェーン1080は、スイッチ1090、経路1098、およびアンテナ1095を介して情報信号(本明細書で述べるリモートデバイスからのデータを表す信号を含む)を運ぶRF信号を受信し、RF信号を復調し、抽出された情報(データ/会話/音声/ビデオ)を処理ブロック1020に提供する。
【0096】
不揮発性メモリ1030は、処理ブロック1020によって実行されると携帯電話1000に本明細書に記載のいくつかの特徴を提供させる命令を記憶する、非一時的機械可読記憶媒体である。したがって、不揮発性メモリ1030は、図8のものを含む、本明細書に記載のアプリケーションモジュールを表す命令を記憶し得る。不揮発性メモリ1030はまた、経路881(図8)上のものなどのデータを記憶する。RAM1030は、揮発性ランダム・アクセス・メモリであり、命令およびデータを格納するために使用することができる。
【0097】
処理ブロック1020(または一般にプロセッサ)は、内部に複数の処理ユニット(プロセッサ)を含むことができ、各処理ユニットは、特定のタスク用に設計される可能性がある。あるいは、処理ブロック1020は、単一の汎用処理ユニットのみを含んでもよい。処理ブロック1020は、携帯電話110が本明細書に記載の様々な特徴を提供するように動作することを可能にするために、不揮発性メモリ1030またはRAM1040に記憶された命令を実行することができる。具体的には、処理ブロック1020は、図8のアプリケーションモジュール、図9A図9Lの画面を生成するモジュール、アプリケーションモジュール制御ブロックなどを含む、テレヘルスアプリケーションに含まれる命令を実行して、ユーザと遠隔医療専門家または医師との間の双方向音声および/またはビデオ相談をリアルタイムで提供する。図8の経路821,881,891,861,801および831は、それぞれ経路1052、1032、1027、1062、1021および1025に含まれる。
【0098】
6.結論
本明細書を通して「一実施形態」、「実施形態」、または同様の言語への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が本開示の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して「一実施形態では」、「実施形態では」、および同様の文言の出現は、必ずしもそうとは限らないが、すべて同じ実施形態を指し得る。
【0099】
図1図4図5A図5B、および図10の図示では、様々な他の端子への直接接続を有する(すなわち、「に接続されている」)端子/ノードが示されているが、(特定の環境に適した)追加の構成要素も経路内に存在してもよく、したがって、接続は同じ接続された端子に「電気的に結合」されていると見なされてもよいことを理解されたい。
【0100】
以上、本開示の様々な実施形態について説明したが、それらは例としてのみ提示されたものであり、限定するものではないことを理解されたい。したがって、本開示の幅および範囲は、上述の実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。
図1
図2
図3
図4
図5A
図5B
図6A
図6B
図6C
図7
図8
図9A
図9B
図9C
図9D
図9E
図9F
図9G
図9H
図9I
図9J
図9K
図9L
図10
【手続補正書】
【提出日】2022-02-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マイクロホンを有する電話機と組み合わせて使用するための装置であって、
音を取得する聴診部品と、
前記聴診部品を第1の端部において前記マイクロホンに結合させる固体媒体と
前記電話機を把持し、かつ前記固体媒体の第2の端部を前記マイクロホンの近位に配置して、前記取得された音を前記聴診部品から前記マイクロホンに伝達させる機械的構造と、を備え、
前記機械的構造は、前記第2の端部を異なる位置に配置するように動作可能であり、前記電話機の異なるモデルの前記マイクロホンの異なる位置に対応する、装置。
【請求項2】
前記聴診部品が聴診器の一部であり、前記固体媒体が前記聴診器の風管である、請求項1に記載の装置
【請求項3】
前記電話機がカメラをさらに備え、前記装置が、前記カメラの前に配置されるように動作可能な耳鏡をさらに備え、前記耳鏡は、前記機械的構造に機械的に結合される、請求項1に記載の装置
【請求項4】
前記聴診器および前記耳鏡を保持するクリップをさらに備え、前記クリップが前記電話機に固定される、請求項3に記載の装置
【請求項5】
ーザが、前記電話機を介してリモートデバイスの医師を同時に見て聞くことができ、同時に前記聴診器を操作することができるように、前記固体媒体が充分な長さを有する、請求項2に記載の装置
【請求項6】
前記カメラが前記電話機の背面にあり、前記耳鏡が、光ファイバを収容するための光ガイドをさらに備え、前記光ファイバが前記電話機のフラッシュ発光ダイオード(LED)に接続され、それによって、前記フラッシュによって照明される対象物からの画像の取り込みを可能にする、請求項3に記載の装置
【請求項7】
前記耳鏡が第1のレンズと第1の光学フィルタとを含み、前記第1のレンズが、前記観視対象物を拡大し、前記第1の光学フィルタが、赤外光を可視光に変換するように設計されている、請求項3に記載の装置
【請求項8】
医師と患者との間の対話を促進させるための電話機において命令の1つ以上のシーケンスを記憶する、非一時的な機械可読記憶媒体であって、前記電話機に含まれる1つ以上のプロセッサによる前記1つ以上の命令の実行は、前記電話機に、以下の動作を実行させ、前記動作は、
前記電話機のマイクロホンから心臓聴診音及び肺聴診音を受信することと、
前記心臓聴診音及び肺聴診音をリアルタイムで前記医師による分析のためのリモート通信デバイスに送信することと、
前記送信と同期して、前記心臓聴診音を前記電話機内の音声レンダリングユニットで再生することと、を備える、機械可読記憶媒体。
【請求項9】
前記動作は、
耳鏡を介して結合された光によって前記電話機のカメラで生成された第1の画像セットを受信することと、
前記第1の画像セットを、前記医師による分析のためのリモート通信デバイスにリアルタイムで送信することと、をさらに備える、請求項8に記載の機械可読記憶媒体。
【請求項10】
前記動作は、
第1のフィルタおよび第2のフィルタによって、それぞれ、前記心臓聴診音および前記肺聴診音を送信する前に、前記心臓聴診音および前記肺聴診音をフィルタリングする、請求項9に記載の機械可読記憶媒体。
【請求項11】
前記動作は、
前記第1の画像セットを送信する前に、前記第1の画像セットの各々を第3のフィルタによってフィルタリングする、請求項9に記載の機械可読記憶媒体。
【請求項12】
前記動作は、
ユーザの指で前記カメラを押すことによって前記カメラで生成された第2の画像セットを受信することと、
前記ユーザの血圧、心拍数、体温および血液酸素飽和度レベルのうちの1つ以上を決定することと、
前記血圧、心拍数、温度および血液酸素飽和度レベルのうちの前記1つ以上を前記医師による分析のための前記リモート通信デバイスに送信する、請求項9に記載の機械可読記憶媒体。
【請求項13】
前記第2の画像セットは、一連のRGB(赤、緑、青)画像を含み、前記血圧を決定することは、
前記一連のRGB画像の各々内に関心領域(ROI)をマーキングすることと、
収縮期ピークを表す前記一連内の第3の画像のセットを、前記一連における赤色の強度に基づき決定することと、
前記第3の画像セットの各々から、前記第3の画像セットの赤色強度の平均値を減算することであって、前記平均値は、前記第3の画像セットにおける血中酸素含有量を表し、
前記収縮期ピークおよび拡張期ピークの周りの赤色の強度の変化に基づいて、前記一連における前記収縮期ピークのうちの第1のピーク近傍の第1の血液量および拡張期ピークのうちの第1のピーク近傍の第2の血液量の変化を決定することと、
前記第1の血液量および前記第2の血液量の各々の時間に対する第1の変化率および時間に対する第2の変化率をそれぞれ決定することと、
線形変換を用いて前記第1の変化率及び前記第2の変化率を変換して、収縮期血圧値及び拡張期血圧値をそれぞれ得ることと、を含む、請求項12に記載の機械可読記憶媒体。
【請求項14】
前記心拍数を決定することは、
前記収縮期ピーク間の時間を平均して平均時間を得ることと、
前記平均時間の逆数を前記心拍数として計算する、請求項13に記載の機械可読記憶媒体。
【請求項15】
前記動作は、
外部診断装置の表示領域の第4の画像を受信することと、
光学的文字認識技術を前記第4の画像に適用して、前記表示領域上に表示されたテキスト、数字、および記号のうちの1つ以上を抽出することと、
前記テキスト、数字、および記号のうちの前記1つ以上を前記リモート通信デバイスに送信することとを備える、請求項9に記載の機械可読記憶媒体。
【請求項16】
前記電話機は、前記リモート通信デバイスとの双方向通信を可能にし、前記患者に治療助言を提供する医師との相談を可能にするように設計される、請求項9に記載の機械可読記憶媒体。
【国際調査報告】