特許第6335199号(P6335199)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マイクロソフト テクノロジー ライセンシング,エルエルシーの特許一覧

特許6335199ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定
<>
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000002
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000003
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000004
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000005
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000006
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000007
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000008
  • 特許6335199-ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6335199
(24)【登録日】2018年5月11日
(45)【発行日】2018年5月30日
(54)【発明の名称】ハンドヘルド・デバイスを用いた非侵襲的な脈波伝播時間の判定
(51)【国際特許分類】
   A61B 5/02 20060101AFI20180521BHJP
   A61B 5/0408 20060101ALI20180521BHJP
   A61B 5/00 20060101ALI20180521BHJP
   A61B 5/022 20060101ALI20180521BHJP
   G06F 3/01 20060101ALI20180521BHJP
   H04M 1/00 20060101ALI20180521BHJP
   G06T 1/00 20060101ALI20180521BHJP
【FI】
   A61B5/02 ZZDM
   A61B5/02 310H
   A61B5/04 300K
   A61B5/00 101A
   A61B5/02 634E
   G06F3/01 515
   H04M1/00 R
   G06T1/00 290
   A61B5/02 A
【請求項の数】8
【全頁数】17
(21)【出願番号】特願2015-561429(P2015-561429)
(86)(22)【出願日】2014年2月28日
(65)【公表番号】特表2016-515846(P2016-515846A)
(43)【公表日】2016年6月2日
(86)【国際出願番号】US2014019179
(87)【国際公開番号】WO2014137768
(87)【国際公開日】20140912
【審査請求日】2017年1月31日
(31)【優先権主張番号】13/783,395
(32)【優先日】2013年3月4日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】314015767
【氏名又は名称】マイクロソフト テクノロジー ライセンシング,エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】モリス,ダニエル
(72)【発明者】
【氏名】サポナス,ティー. スコット
(72)【発明者】
【氏名】タン,デズニー エス.
(72)【発明者】
【氏名】ディクソン,モーガン
(72)【発明者】
【氏名】クラール,シッダルト
(72)【発明者】
【氏名】ヴァトサンガム,ハルシュヴァルダン
【審査官】 遠藤 直恵
(56)【参考文献】
【文献】 国際公開第2010/125705(WO,A1)
【文献】 特開2003−146107(JP,A)
【文献】 特開2012−239661(JP,A)
【文献】 国際公開第2010/113354(WO,A1)
【文献】 特開昭61−279222(JP,A)
【文献】 特開2004−321793(JP,A)
【文献】 特開2005−253610(JP,A)
【文献】 国際公開第2012/165064(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00−5/22
H04M 1/00
(57)【特許請求の範囲】
【請求項1】
脈波伝播時間(PTT)を非侵襲的に判定するための方法であって、
ハンドヘルド・デバイスのユーザの心電図(EKG)を生成するステップであって、前記EKGは、前記ユーザの身体の2つの部分と、前記ハンドヘルド・デバイスの2つの導電性接触ポイントが接触することから生成される、ステップと、
前記EKGをノイズ除去して、前記PTTの開始時間を特定するステップであって、前記PTTの前記開始時間は、血脈が前記ユーザの心臓を出る時間である、ステップと、
前記ユーザの複数のビデオ画像を受信するステップと、
前記複数のビデオ画像において、前記ユーザの顔を探すステップと、
前記複数のビデオ画像をクロップして、前記ユーザの顔を含むクロップされた画像を生成するステップと、
前記クロップされた画像をノイズ除去して、動脈部位を示す圧波と、前記PTTの終了時間と、を特定するステップであって、前記PTTの前記終了時間は、前記圧波が出現する時間である、ステップと、
前記PTTの前記終了時間と前記PTTの前記開始時間との差を計算することにより、前記PTTを判定するステップと、
前記PTTに基づいて、前記ユーザの血圧測定値を求めるステップと、
を含む、方法であり、
前記方法は、
前記複数のビデオ画像の顔領域を特定するステップと、
前記複数のビデオ画像の左頬領域を特定するステップと、
前記複数のビデオ画像の右頬領域を特定するステップと、
前記顔領域、前記左頬領域、及び前記右頬領域についての赤−緑−青(RGB)信号を生成するステップと、
前記RGB信号に対して独立成分分析(ICA)を実行して、前記ICAの複数の成分を生成するステップと、
前記ICAの前記複数の成分のうち最小尖度を有する前記ICAの成分に基づいて、前記圧波を特定するステップと、
を含む、方法
【請求項2】
前記ハンドヘルド・デバイスを用いて、前記血圧測定値を提示するステップ
を含む、請求項1記載の方法。
【請求項3】
前記2つの導電性接触ポイントのうちの1つは、
前記ハンドヘルド・デバイスの導電性タッチ・スクリーン面上の接触ポイント、
前記ハンドヘルド・デバイスの後面上の接触ポイント、又は
前記ハンドヘルド・デバイスの本体に接続されるイヤフォン内の接触ポイント
を含む、請求項1又は2記載の方法。
【請求項4】
脈波伝播時間(PTT)を非侵襲的に判定するための方法を処理ユニットに実行させるコンピュータ・プログラムであって、前記方法は、
ハンドヘルド・デバイスのユーザの心電図(EKG)を生成するステップであって、前記EKGは、前記ユーザの身体の2つの部分と、前記ハンドヘルド・デバイスの2つの導電性接触ポイントが接触することから生成される、ステップと、
前記ユーザの動きに関連する電気的ノイズを除去するために、前記EKGをノイズ除去するステップと、
前記のノイズ除去されたEKGに基づいて、前記PTTの開始時間を特定するステップであって、前記PTTの前記開始時間は、血脈が前記ユーザの心臓を出る時間である、ステップと、
前記ユーザの複数のビデオ画像を受信するステップと、
前記複数のビデオ画像の顔領域を特定するステップと、
前記複数のビデオ画像をクロップして、前記顔領域を含むクロップされた画像を生成するステップと、
前記クロップされた画像をノイズ除去して、動脈部位を示す圧波と、前記PTTの終了時間と、を特定するステップであって、前記PTTの前記終了時間は、前記圧波が出現する時間である、ステップと、
前記のノイズ除去されたEKGと、前記のノイズ除去されたクロップされた画像と、に基づいて、前記PTTを判定するステップと、
前記PTTに基づいて、前記ユーザの血圧測定値を求めるステップと、
を含
前記方法は、
前記複数のビデオ画像の左頬領域を特定するステップと、
前記複数のビデオ画像の右頬領域を特定するステップと、
前記顔領域、前記左頬領域、及び前記右頬領域についての赤−緑−青(RGB)信号を生成するステップと、
前記RGB信号に対して独立成分分析(ICA)を実行して、前記ICAの複数の成分を生成するステップと、
前記ICAの前記複数の成分のうち最小尖度を有する前記ICAの成分に基づいて、前記圧波を特定するステップと、
を含む、コンピュータ・プログラム。
【請求項5】
前記ハンドヘルド・デバイスは、ゲーム・コントローラを含む、請求項記載のコンピュータ・プログラム。
【請求項6】
請求項又は記載のコンピュータ・プログラムを記憶したコンピュータ読み取り可能記憶媒体。
【請求項7】
脈波伝播時間(PTT)を非侵襲的に判定するためのシステムであって、
処理ユニットと、
コードを含むシステム・メモリと、
を備え、
前記コードは、
ハンドヘルド・デバイスのユーザの心電図(EKG)を生成することであって、前記EKGは、前記ユーザの身体の2つの部分と、前記ハンドヘルド・デバイスの2つの導電性接触ポイントが接触することから生成される、生成することと、
前記EKGをノイズ除去して、前記PTTの開始時間を特定することであって、前記PTTの前記開始時間は、血脈が前記ユーザの心臓を出る時間である、特定することと、
前記ユーザの複数のビデオ画像を受信することと、
前記複数のビデオ画像の顔領域を特定することと、
前記複数のビデオ画像をクロップして、前記顔領域を含むクロップされた画像を生成することと、
前記クロップされた画像をノイズ除去して、動脈部位を示す圧波と、前記PTTの終了時間と、を特定することであって、前記PTTの前記終了時間は、前記圧波が出現する時間である、特定することと、
前記のノイズ除去されたEKGと、前記のノイズ除去されたクロップされた画像と、に基づいて、前記PTTを判定することと、
前記PTTに基づいて、前記ユーザの血圧測定値を求めることと、
を行うよう前記処理ユニットに命令するように構成されており
前記コードは、
前記複数のビデオ画像の左頬領域を特定することと、
前記複数のビデオ画像の右頬領域を特定することと、
前記顔領域、前記左頬領域、及び前記右頬領域についての赤−緑−青(RGB)信号を生成することと、
前記RGB信号に対して独立成分分析(ICA)を実行して、前記ICAの複数の成分を生成することと、
前記ICAの前記複数の成分のうち最小尖度を有する前記ICAの成分に基づいて、前記圧波を特定することと、
を行うよう前記処理ユニットに命令するように構成されている、システム。
【請求項8】
前記2つの導電性接触ポイントのうちの1つは、
前記ハンドヘルド・デバイスの導電性タッチ・スクリーン面上の接触ポイント、
前記ハンドヘルド・デバイスの後面上の接触ポイント、又は
前記ハンドヘルド・デバイスの本体に接続されるイヤフォン内の接触ポイント
を含む、請求項記載のシステム。
【発明の詳細な説明】
【背景技術】
【0001】
脈波伝播時間(PTT:pulse transit time)は、心臓から送り出される血液により発生する圧波(pressure wave)が2つの動脈部位の間を伝播するのに要する時間量である。有利なことに、PTTは、血圧、動脈コンプライアンス、及び動脈壁の硬化等の様々な身体メトリック(body metric)と相関している。身長、体重、2つの動脈部位間の実際の物理的距離等の他の身体メトリックが、血圧に影響を及ぼすが、PTTの測定は、例えば、PTTと血圧との間の相関のため、これらを求めるのに有用である。
【0002】
アメリカ疾病予防管理センタ(CDC)によると、米国人の成人のおよそ3人に1人が、高血圧に苦しんでいる。高血圧は、脳卒中、心臓発作、心不全、動脈瘤の危険因子であり、腎不全の主因である。米国だけでも、高血圧は、年間数十億の直接的ヘルスケア・コストを発生させ、一日に1000人近い死者を出していると推定される。高血圧は、重大な公衆衛生問題であり、血圧をコントロールする以外により多くの命を救うものはないと断言される。
【0003】
残念なことに、高血圧には、目に見える前兆又は兆候がなく、多くの人は、高血圧を患っていると認識すらしていない。さらに、高血圧を予防及び治療するために、運動、食事療法、及び行動管理、並びに薬物治療を行うにしても、順守(コンプライアンス)がしばしば問題である。しかしながら、血圧及び他の身体メトリックを測定するためのツールは、繰り返しの使用により、煩わしく、面倒であり、痛みを伴うものであり得る。
【発明の概要】
【0004】
本明細書で説明するいくつかの態様の基本的な理解を提供するために、以下では、本イノベーションの簡略化した概要が提示される。この概要は、特許請求される主題の詳細な概要ではない。特許請求される主題の主要な要素又は必要不可欠な要素を特定することを意図するものではないし、対象とするイノベーションの範囲を詳細に記述することを意図するものでもない。その唯一の目的は、後で提示されるより詳細な説明の前段として、特許請求される主題のいくつかの概念を簡略化した形で提示することである。
【0005】
特許請求される主題は、ハンドヘルド・デバイスを用いて脈波伝播時間を判定するための方法を提供する。当該方法は、前記ハンドヘルド・デバイスのユーザの心電図を記録するステップを含む。前記ユーザは、前記心電図の記録を可能にするために、前記ハンドヘルド・デバイスの2つのポイントと接触する。前記心電図は、ノイズのためにフィルタリングされる。当該方法はまた、前記ユーザの画像に基づいて、圧波を判定するステップを含む。前記画像は、ノイズのためにフィルタリングされる。前記脈波伝播時間は、前記のフィルタリングされた心電図と、前記圧波と、に基づいて判定される。
【0006】
さらに、特許請求される主題は、コンピュータ読み取り可能記憶媒体を含む。前記コンピュータ読み取り可能記憶媒体は、ハンドヘルド・デバイスのユーザの脈波伝搬時間を判定するようプロセッサに命令するように構成されているコードを含む。
【0007】
以下の説明及び添付の図面は、特許請求される主題の所定の例示的態様を詳細に記載している。しかしながら、これらの態様は、本イノベーションの原理を用いることができる様々な方法のうちのほんのいくつかを示すに過ぎず、特許請求される主題は、全てのそのような態様及びそれらの均等の態様を含むことが意図されている。特許請求される主題の他の利点及び新規な特徴が、図面と併せて検討されるときに本イノベーションの以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0008】
図1】特許請求される主題に従った、心拍数及び血圧の非侵襲的測定のためのシステムのブロック図。
図2】特許請求される主題に従った例示的な生EKG信号及び処理済みEKG信号を示すグラフ。
図3】特許請求される主題の実施形態に従った後続のフィルタリング段階を示すグラフ。
図4】特許請求される主題の実施形態に従った、圧波を特定するために使用される顔の画像を示す図。
図5】特許請求される主題の実施形態に従った独立成分分析のブロック図。
図6】特許請求される主題に従った、PTTの非侵襲的測定のための方法のプロセス・フロー図。
図7】特許請求される主題の態様を用いることができる例示的なネットワーキング環境のブロック図。
図8】特許請求される主題の様々な態様を実施するための例示的な動作環境のブロック図。
【発明を実施するための形態】
【0009】
図面を参照して、特許請求される主題について説明する。図面において、同様の参照符号は、図面を通じて、同様の要素を参照するために使用される。以下の記載において、説明の目的のため、多数の具体的な詳細が、対象とするイノベーションの完全な理解を提供するために記載されている。しかしながら、特許請求される主題は、これらの具体的な詳細なく実施できることは明らかであろう。他の例において、周知の構造及びデバイスが、対象とするイノベーションの説明を円滑にするために、ブロック図の形態で示されている。
【0010】
本明細書において使用されるとき、用語「コンポーネント」、用語「システム」、用語「クライアント」、及び同様のものは、ハードウェア、ソフトウェア(例えば、実行中の)、ファームウェア、又はこれらの組合せのいずれかであるコンピュータ関連エンティティを指すよう意図される。例えば、コンポーネントは、プロセッサ上で実行されるプロセス、オブジェクト、実行可能ファイル、プログラム、ファンクション、ライブラリ、サブルーチン、コンピュータ、又はソフトウェアとハードウェアとの組合せであってよい。
【0011】
例として、サーバ上で実行されるアプリケーション及びそのサーバの両方が、コンポーネントであってよい。1以上のコンポーネントは、プロセス内に存在してよく、コンポーネントは、1つのコンピュータ上に局在してもよいし、且つ/あるいは2以上のコンピュータ間で分散されてもよい。用語プロセッサは、コンピュータ・システムの処理ユニット等のハードウェア・コンポーネントを指すよう一般に理解される。
【0012】
さらに、特許請求される主題は、方法、装置、又は、開示する主題を実施するために、コンピュータを制御するためのソフトウェア、ファームウェア、ハードウェア、若しくはこれらの任意の組合せを作成する標準プログラミング技術及び/又はエンジニアリング技術を用いる製品として実施され得る。本明細書において使用される用語「製品」は、任意のコンピュータ読み取り可能デバイス又は媒体からアクセス可能なコンピュータ・プログラムを含むよう意図される。
【0013】
コンピュータ読み取り可能記憶媒体は、磁気記憶デバイス(例えば、数ある中でも、ハード・ディスク、フロッピ・ディスク、及び磁気ストリップ)、光ディスク(例えば、数ある中でも、コンパクト・ディスク(CD)及びデジタル多用途ディスク(DVD))、スマート・カード、及びフラッシュ・メモリ・デバイス(例えば、数ある中でも、カード、スティック、及びキー・ドライブ)を含み得るが、これらに限定されるものではない。反対に、コンピュータ読み取り可能媒体は、一般に、無線信号及び同様のもののための伝送媒体等の通信媒体(すなわち、記憶媒体ではない)をさらに含み得る。
【0014】
もちろん、当業者は、特許請求される主題の範囲又は主旨から逸脱することなく、この構成に多くの変更を施すことができることを認識するであろう。さらに、用語「例示的」は、例(example、instance、illustration)として機能することを意味するよう、本明細書において使用される。本明細書において「例示的」として説明する任意の態様又は設計は、必ずしも、他の態様又は設計よりも好ましい、あるいは有用であるものとして解釈されるべきではない。
【0015】
連続的な歩行測定が、診断及びモニタリングに有用であるとしても、血圧等の身体メトリックの測定(reading)は、モバイル・コンシューマ・スペース(mobile consumer space)において、それほど注目されていない。これは、一般的な測定デバイスの侵入性(intrusiveness)に起因し得る。例えば、標準的な血圧計は、血流を制限するために上腕に巻きつけられる空気注入式カフと、圧力を測定する水銀圧力計又は機械式圧力計と、から構成される。圧力計は、装着するのに面倒であるだけでなく、繰り返し使用される場合、わずかに痛みを伴うものでもある。
【0016】
特許請求される主題の一実施形態は、ユーザが、ハンドヘルド・デバイスを用いて血圧に対する短期間のアクティビティの影響を追跡することを可能にする。このハンドヘルド・デバイスは、コンシューマが扱いやすいハンドヘルド・デバイスによる、付随的で(incidental)非侵襲的な血圧測定及び心拍数測定を提供する。
【0017】
図1は、特許請求される主題に従った、心拍数及び血圧の非侵襲的測定のためのシステムのブロック図である。システム100は、ハンドヘルド・デバイス104を操作するユーザ102を含む。ハンドヘルド・デバイス104は、ユーザ102がハンドヘルド・デバイス104を保持している間に、ユーザのPTTを判定する。
【0018】
非侵襲的PTT測定のためのフォーム・ファクタ
PTTを判定することは、電気的測定及び機械的測定、すなわち、ユーザの心電図及びユーザの圧波の画像を組み合わせることを伴う。圧波は、ユーザの皮膚を介して目に見える血管の形状の変化である。EKGは、血液が心臓を出るときを示す。圧波がユーザ102の画像に出現する時間は、血液が圧波の動脈位置に到達するときを示す。PTTは、血液が心臓を出てから圧波の動脈部位に到達するまでに経過する時間量を計算することにより判定される。
【0019】
EKGを記録することは、2つの接触ポイント106を用いることを伴い、各接触ポイント106は、ユーザの身体の異なる部分と接触する。特許請求される主題の一実施形態において、接触ポイント106は、2つの導電性パッドを含む。そのような実施形態は、ハンドヘルド・デバイス104上の接触ポイント106の位置が予め定められているものに含まれ得る。いくつかのそのようなデバイスは、ゲーム・コントローラ、(両手で保持されるときの)タブレット、及びキーボードを含むが、これらに限定されるものではない。代替的に、1つの接触ポイント106が、導電性パッドを含んでもよい。例えば、接触ポイント106は、デバイスのタッチ・スクリーンの表面上に導電性のクリア・コーティングを含んでもよい。ユーザ102は、一方の手がスマートフォンの後面と接触し、もう一方の手がタッチ・スクリーンと接触するように、スマートフォンを保持することができる。代替的に、接触ポイントは、デバイス104の横に含まれてもよい。別の実施形態において、接触ポイント106は、デバイス本体上に1つの導電性パッドを含み、デバイス本体に接続されるイヤフォン内に1つの導電性パッドを含む。さらに別の実施形態において、EKG信号内のノイズは、例えば、右脚駆動(right leg drive)といったアクティブ接地システム(active grounding system)を利用する3−4個の電極構成(3-4 electrode setup)を用いて低減され得る。
【0020】
様々なカメラのうちのいずれかを使用して、圧波を特定するために使用されるビデオ画像をキャプチャすることができる。いくつかのカメラは、電話機又はタブレット上の前面対向カメラ(front-facing camera)、コンソール・ドライブ又はデスクトップ・コンピュータにリモート接続されるカメラ、及び、ゲーム・コントローラの接触領域上又は電話機若しくはタブレットの非タッチ・スクリーン領域周辺等においてデバイス104に組み込まれた、例えば、光センサ又は発光ダイオード(LED)ペアといった光学センサを含むが、これらに限定されるものではない。ハンドヘルド・デバイス104上の様々なコンポーネント(図示せず)を使用して、電気的測定値及び機械的測定値を様々な組合せで得ることができる。
【0021】
ハンドヘルド・デバイス104は、例えば、ユーザの左手及び右手と接触する2つの電極を用いて記録され得るEKG信号の少なくとも1つのチャネルを提供する。圧波は、このデバイスを握っている手上で接触光学センサを使用し、ユーザの皮膚の画像をキャプチャすることにより、特定され得る。代替的に、顔又は身体の他のポイントに向けられたカメラを使用して、圧波が出現するときを判定してもよい。EKG及び圧波において提供されるデータは、ノイズを多く含み得るが、特許請求される主題の実施形態は、心臓と予め定められた第2の動脈ポイントとの間のPTTの算出を向上させるために、このノイズを低減させる。
【0022】
さらに、デバイス104は、画像キャプチャ、データ・キャプチャ等を用いて、体重、身長、心臓から圧波の動脈部位までの距離等といったさらなる身体メトリックを提供することができる。さらなる身体メトリックとともに判定されたPTTを用いることで、血圧、脈拍数、及び他の診断測定値(diagnostic measurement)を求めることが可能であり得る。
【0023】
特許請求される主題の実施形態は、ユーザ102が歩行中であり得る、あるいは別の形で動き中であり得るときに測定されるEKGのノイズを低減させるための、電気信号用の信号処理技術を提供する。通常、医師の診療室で測定されるEKGは、患者が動いていないことを想定している。特許請求される主題の実施形態において、動きは、アーチファクトをEKG信号にもたらす。しかしながら、デバイス104は、このアーチファクトを低減させ、より信頼性高くPTTを判定するように、EKG信号を処理する。さらに、接触ポイント106は、デバイス104上の固定された予め定められたポイントではなく、動的であってよい。接触のポイントは、容易には予測できないので、EKG信号は、使用される特定の接触ポイント106がその信号にもたらす影響を低減させるよう、処理される。
【0024】
ロバストなEKG測定のための信号処理
EKG記録のための従来の信号処理技術は、例えば、濡れた臨床電極及び物理的に安定した患者により提供される、測定デバイスと患者との間の安定した低インピーダンス接触に基づく。EKG機器は、そのような接触が提供されない場合又は患者が動く場合、見事に失敗するよう設計されている。しかしながら、EKGが、例えば、コンシューマの電話機、キーボード、又はゲーム・コントローラといったハンドヘルド・デバイスを介して測定されているとき、動き及び予測可能な接触ポイントの欠如が、ノイズをEKGにもたらす。したがって、特許請求される主題の実施形態は、単一チャネルEKG信号のロバスト性を向上させるための信号処理技術を提供する。
【0025】
EKG信号内のノイズの2つのソースは、接触ポイント106と接触する筋肉の相対動きと、EKG信号を得るためにハンドヘルド・デバイス104上のハードウェアにより誘発される60Hzノイズと、である。
【0026】
バンドストップ・フィルタ又はバンドパス・フィルタ等の従来のフィルタリング方法を使用して、そのようなノイズを除去することができる。しかしながら、PTTを判定するために使用される信号プロファイルの性質を考えると、そのようなノイズは、ウェーブレット変換を用いて生EKGデータから除去され、予め定められた波が、EKG脈波の他の成分から分離される。
【0027】
図2は、特許請求される主題に従った例示的な生EKG信号202及び処理済みEKG信号204を示すグラフ200である。このグラフは、時間を表すx軸206と、EKGの単一チャネル電圧を表すy軸208と、を含む。グラフ200は、例1及び例2のR波の例を含む。R波は、ハンドヘルド・デバイス104を用いて判定されたユーザ102の心拍の例を示す。
【0028】
R波は、経時的な大動脈弁のポンプ作用を表す。したがって、クリーンR波信号は、カメラ、フォトダイオード、及び同様のもの等の光学ソースから得られたデータから、ピークとピークとの距離(peak-to-peak distance)を測定するための恒常的な基準ポイント(consistent reference point)を提供する。
【0029】
生EKG信号202及び処理済みEKG信号204は、生データ、及びウェーブレット変換を用いてフィルタリングされた後の生データを示す。処理済みEKG信号204を生成するフィルタは、60Hzノイズ及び他のノイズ成分をクロップする(crop)。一実施形態において、このフィルタは、ドベシィ・ウェーブレット(daubechies wavelet)とともに使用される5レベル非間引き型離散ウェーブレット変換(5-level non-decimated discrete wavelet transform)である。有利なことに、ドベシィ・ウェーブレットは、例1及び例2に示されるR波プロファイルと調和するローパス・フィルタ係数を、スケーリング関数に提供する。
【0030】
図3は、特許請求される主題の実施形態に従った後続のフィルタリング段階を示すサンプル・グラフ300である。グラフ300は、時間を表すx軸302と電圧を表すy軸304とを含む。詳細には、データは、ガウス・ウェーブレットによる連続ウェーブレット変換を用いて処理され、このスケーリング関数は、ガウス分布に類似して見える。この変換から、15Hz〜30Hzの周波数に対応するスケールの範囲が選択される。例えば、15Hz及び30Hzといった、関心バンド(band-of-interest)における値の選択は、人間の心臓のR波に関する事前知識を用いて行われる。
【0031】
グラフ300における値は、その周波数のそのサンプルにおけるエネルギを経時的に表す2次元マップを示す。ピーク信号306を生成するために、エネルギの合計が、このグラフ300の行(row)に沿って算出される。ピーク信号306は、特許請求される主題の実施形態がPPT測定の開始時間を判定するために使用する、ウェーブレット処理された最終EKG信号(final wavelet-processed EKG signal)を表す。
【0032】
PTTの終了時間を判定するために、圧波が、心臓から離れている動脈部位に到達するときに、ユーザの画像がキャプチャされる。画像の予め定められた複数の領域が特定される。さらに、これら領域の各々における画素について、画素プロファイルが生成される。画素プロファイルにおける周期的変化(rhythmic change)は、圧波の存在を示し得る。しかしながら、画像はノイズを含み得る。したがって、画像は、圧波のために解析される前に、処理される。
【0033】
ビデオからのロバストな脈測定のための信号処理
ビデオから脈情報を抽出する従来の方法は、例えば30秒といった長い時間にわたって心拍数を求めるためにロバスト性を制限していた。したがって、このような方法は、光学的又は画像ベースの脈信号における個々のピークを見つけはしない。対照的に、特許請求される主題の実施形態は、よりロバストなビデオ処理パイプラインを用いることにより、経時的に脈ピークを特定する。このセクションで説明する技術は、コンシューマ・グレード・カメラ(consumer-grade camera)が、ユーザ102の顔におおよそ向けられていることを想定している。
【0034】
図4は、特許請求される主題の実施形態に従った、圧波を特定するために使用される顔の画像400を示している。関心領域(ROI)を抽出するために、平滑化画像が処理される。関心領域は、圧波が出現し得る画像の領域である。圧波を特定するために、1−D信号のマトリクスが、各ROIについて生成される。このマトリクスは、本明細書において、画素プロファイルとも呼ばれる。
【0035】
ROI抽出及び信号作成
顔トラッカ(face tracker)を使用して、キャプチャされた画像402内のユーザの顔を見つけることができる。顔トラッカは、一般に、人間の顔を含む画像の潜在領域を特定する画像処理ソフトウェアである。顔トラッカはまた、顔のみを含むように、画像402をクロップすることができる。図示されるように、白のボックス404は、画像402のクロップ線を示す。クロップされた画像が、画像406に示されている。
【0036】
画像のノイズ除去
一般的なコンシューマ用カメラを用いると、センサ・ノイズ408の影響が、記録されたビデオ内で確認できる。このノイズは、ビデオのフレームにわたって、斑点(speckles)として出現する。このセンサ・ノイズは、通常、高周波数であり、ガウス・フィルタ等の平滑化フィルタを用いて除去することができる。しかしながら、ガウス・フィルタ又は他の平均化フィルタの適用は、各画素の時間プロファイル(temporal profile)を歪めることがあり、信号とノイズとの混合をもたらし得る。したがって、信号とノイズとの混合を回避し、圧波をより良く特定するために、特許請求される主題の実施形態は、レベル−4 db2ウェーブレット変換による2−Dウェーブレット変換を通じたソフトウェア・フィルタリングを用いる。非間引き型ウェーブレット変換を用いて、対応するウェーブレット・バンドをゼロに設定し、ノイズ除去された画像を生成するために残りの低周波数サブバンドを再構築することにより、高周波数情報の一部を除去する。このアプローチは、2−Dバンドパス・フィルタを画像に対して実行することに類似している。さらに、このアプローチを用いると、ウェーブレットは、頬領域及び鼻周囲等の低周波数強度プロファイル(low-frequency intensity profile)の整合性(integrity)を保つ。
【0037】
ウェーブレット・ノイズ除去はまた、平均画素プロファイル(複数のフレームにわたる各画像の平均)が、画像キャプチャのために使用されるカメラのノイズ・プロファイルの影響を比較的受けないようにすることを可能にする。したがって、画像406は、ノイズ408を除去しクリーン画像410を生成するために、ウェーブレット・ノイズ除去を用いて平滑化される。
【0038】
クリーン画像410から、3つの赤−緑−青(RGB)画像が生成される。すなわち、閾処理された(thresholded)顔領域(ROI−1)、クロップされ閾処理された左顔領域(ROI−2)、及びクロップされ閾処理された右顔領域(ROI−3)が生成される。これら領域の各々は、圧波のために解析される画像の領域を制限するために、閾処理されている。顔トラッカは、顔の座標を提供する。したがって、クロップされた顔画像406の内部部分が、解析のために抽出される。内部部分ROI−1は、画像の内部部分の予め定められた部分を含む。例えば、ROI−1は、画像406内の顔領域の内部90%を含み得る。
【0039】
顔の頬領域の下にある血管は、通常、異なる照明条件で反射し、頬の画像を圧波の出現のためのターゲットにする。頬は、ROI−2及びROI−3に含まれる。
【0040】
一実施形態において、ROI−2及びROI−3を抽出するために、画像402が、均一な3×3グリッド412状に配置され、中央右グリッド領域、右下グリッド領域、中央左グリッド領域、及び左下グリッド領域内の画素が抽出される。顔トラッカにより判定された瞳孔、鼻、及び口の角の位置を用いて、ROIの中心を決定する。
【0041】
ROIは、予め定められた閾値を用いて低強度画素を除去するよう処理される。例えば、赤チャネルにおいて最大強度を有する画素が、30%以下に除去され得る。各領域及び各フレーム内で、R強度、G強度、及びB強度が平均化され、後続の処理のために使用される計9つのベクトル信号414のために、各領域について3つのベクトル信号が生成される(1フレームにつき1つの値)。
【0042】
別の実施形態においては、顔の2以上の領域を用いて、脈信号を見つけてもよい。そのような実施形態において、ベクトル信号414は、各領域について生成され得る。
【0043】
図5は、特許請求される主題の実施形態に従った独立成分分析のブロック図である。独立成分分析(ICA)502を用いて、9次元入力信号、すなわち、信号414内で脈信号を見つける。
【0044】
関心成分の選択及びIC抽出
ICAは、9つの入力ベクトルから、5つの成分504を生成する。特許請求される主題の一実施形態において、最小尖度(minimum Kurtosis)を有する成分が、圧波を特定するために選択される。最小尖度を有する成分は、通常、他の成分504よりもパターン化されている(patterned)。
【0045】
図6は、特許請求される主題に従った、PTTの非侵襲的測定のための方法600のプロセス・フロー図である。方法600の順序は、図6に示されるブロックの順序により示されるものに限定されないことに留意されたい。ブロック602において、ユーザ102のEKGが記録される。
【0046】
ブロック604において、EKGがノイズ除去され得る。ブロック606において、ユーザ102のビデオ画像もノイズ除去され得る。ノイズ除去された画像を使用して、圧波の時間及び位置を特定することができる。ブロック608において、ノイズ除去されたEKGにより示される開始時間と、ノイズ除去された画像により示される終了時間と、に基づいて、PTTが判定され得る。
【0047】
図7は、特許請求される主題の態様を用いることができる例示的なネットワーキング環境700のブロック図である。さらに、例示的なネットワーキング環境700を用いて、ハンドヘルド・デバイスを非侵襲的に用いて脈波伝播時間を判定するシステム及び方法を実施することができる。
【0048】
ネットワーキング環境700は、1以上のクライアント702を含む。1以上のクライアント702は、ハードウェア及び/又はソフトウェア(例えば、スレッド、プロセス、コンピューティング・デバイス)とすることができる。一例として、1以上のクライアント702は、インターネット等の通信フレームワーク708を介してサーバ704へのアクセスを提供するクライアント・デバイスとすることができる。
【0049】
環境700はまた、1以上のサーバ704を含む。1以上のサーバ704は、ハードウェア及び/又はソフトウェア(例えば、スレッド、プロセス、コンピューティング・デバイス)とすることができる。1以上のサーバ704は、サーバ・デバイスを含み得る。1以上のサーバ704は、1以上のクライアント702によりアクセスされ得る。
【0050】
クライアント702とサーバ704との間の1つの可能な通信は、2以上のコンピュータ・プロセスの間で伝送されるよう適合されたデータ・パケットの形態であり得る。環境700は、1以上のクライアント702と1以上のサーバ704との間の通信を円滑にするために用いることができる通信フレームワーク708を含む。
【0051】
1以上のクライアント702は、1以上のクライアント702のローカルにある情報を記憶するために用いることができる1以上のクライアント・データ・ストア710に動作可能に接続される。1以上のクライアント・データ・ストア710は、1以上のクライアント702内に配置されてもよいし、クラウド・サーバ内等のリモートに配置されてもよい。同様に、1以上のサーバ704は、1以上のサーバ704のローカルにある情報を記憶するために用いることができる1以上のサーバ・データ・ストア706に動作可能に接続される。
【0052】
図8を参照すると、特許請求される主題の様々な態様を実施するための例示的な動作環境800が示されている。例示的な動作環境800は、コンピュータ802を含む。コンピュータ802は、処理ユニット804、システム・メモリ806、及びシステム・バス808を含む。
【0053】
システム・バス808は、システム・メモリ806を含むがこれに限定されないシステム・コンポーネントを、処理ユニット804に接続する。処理ユニット804は、種々の利用可能なプロセッサのいずれであってもよい。デュアル・マイクロプロセッサ及び他のマルチプロセッサ・アーキテクチャも、処理ユニット804として使用することができる。
【0054】
システム・バス808は、当業者に知られている種々の利用可能なバス・アーキテクチャを用いる、メモリ・バス若しくはメモリ・コントローラ、周辺バス若しくは外部バス、及び/又はローカル・バスを含むいくつかのタイプのバス構造のいずれかであってよい。システム・メモリ806は、揮発性メモリ810及び不揮発性メモリ812を含むコンピュータ読み取り可能記憶媒体を含む。
【0055】
起動中等にコンピュータ802内の要素間で情報を転送するための基本ルーチンを含む基本入力/出力システム(BIOS)は、不揮発性メモリ812に記憶されている。限定ではなく、例として、不揮発性メモリ812は、読み取り専用メモリ(ROM)、プログラム可能なROM(PROM)、電気的にプログラム可能なROM(EPROM)、電気的に消去可能なプログラム可能なROM(EEPROM)、又はフラッシュ・メモリを含み得る。
【0056】
揮発性メモリ810は、外部キャッシュ・メモリとして動作するランダム・アクセス・メモリ(RAM)を含む。限定ではなく、例として、RAMは、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブル・データ・レートSDRAM(DDR SDRAM)、エンハンストSDRAM(ESDRAM)、SynchLink DRAM(SLDRAM)、Rambus(登録商標)ダイレクトRAM(RDRAM)、ダイレクトRambus(登録商標)ダイナミックRAM(DRDRAM)、及びRambus(登録商標)ダイナミックRAM(RDRAM)等の多くの形態で利用可能である。
【0057】
コンピュータ802はまた、取り外し可能/取り外し不可能な揮発性/不揮発性コンピュータ記憶媒体等の他のコンピュータ読み取り可能媒体を含む。図8は、例えば、ディスク・ストレージ814を示している。ディスク・ストレージ814は、磁気ディスク・ドライブ、フロッピ・ディスク・ドライブ、テープ・ドライブ、Jazドライブ、Zipドライブ、LS−100ドライブ、フラッシュ・メモリ・カード、又はメモリ・スティック等のデバイスを含むが、これらに限定されるものではない。
【0058】
さらに、ディスク・ストレージ814は、他の記憶媒体とは別個の、又は他の記憶媒体と組み合わせた記憶媒体を含み得る。このような他の記憶媒体は、コンパクト・ディスクROMデバイス(CD−ROM)、CDレコーダブル・ドライブ(CD−Rドライブ)、CDリライタブル・ドライブ(CD−RWドライブ)、又はデジタル多用途ディスクROMドライブ(DVD−ROM)等の光ディスク・ドライブを含むが、これらに限定されるものではない。システム・バス808へのディスク・ストレージ・デバイス814の接続を容易にするために、インタフェース816等の取り外し可能なインタフェース又は取り外し不可能なインタフェースが通常使用される。
【0059】
図8は、ユーザと、適切な動作環境800内の説明した基本コンピュータ・リソースと、の間の仲介として動作するソフトウェアを示していることを理解されたい。そのようなソフトウェアは、オペレーティング・システム818を含む。ディスク・ストレージ814に記憶することができるオペレーティング・システム818は、コンピュータ・システム802のリソースを制御して割り当てるよう動作する。
【0060】
システム・アプリケーション820は、システム・メモリ806又はディスク・ストレージ814に記憶されたプログラム・モジュール822及びプログラム・データ824を介して、オペレーティング・システム818によるリソースの管理を利用する。特許請求される主題は、様々なオペレーティング・システム又はオペレーティング・システムの組合せとともに実施できることを理解されたい。
【0061】
ユーザは、1以上の入力デバイス826を介して、コマンド又は情報をコンピュータ802に入力する。入力デバイス826は、ポインティング・デバイス(マウス、トラックボール、スタイラス、又は同様のもの等)、キーボード、マイクロフォン、ジョイスティック、サテライト・ディッシュ、スキャナ、TVチューナ・カード、デジタル・カメラ、デジタル・ビデオ・カメラ、ウェブ・カメラ、及び同様のものを含むが、これらに限定されるものではない。入力デバイス826は、1以上のインタフェース・ポート828を経由し、システム・バス808を介して、処理ユニット804に接続する。1以上のインタフェース・ポート828は、例えば、シリアル・ポート、パラレル・ポート、ゲーム・ポート、及びユニバーサル・シリアル・バス(USB)を含む。
【0062】
1以上の出力デバイス830は、1以上の入力デバイス826と同じタイプのポートのいくつかを使用する。したがって、例えば、USBポートを使用して、入力をコンピュータ802に提供するとともに、コンピュータ802からの情報を出力デバイス830に出力することができる。
【0063】
アダプタを介してアクセス可能な、出力デバイス830の中でもとりわけ、モニタ、スピーカ、及びプリンタ等のいくつかの出力デバイス830が存在することを示すために、出力アダプタ832が提供される。限定ではなく、例として、出力アダプタ832は、出力デバイス830とシステム・バス808との間の接続の手段を提供するビデオ・カード及びサウンド・カードを含む。1以上のリモート・コンピュータ834等の他のデバイス及びデバイスのシステムが、入力機能及び出力機能の両方を提供することに留意されたい。
【0064】
コンピュータ802は、1以上のリモート・コンピュータ834等の1以上のリモート・コンピュータへの論理接続を用いるネットワーク環境において様々なソフトウェア・アプリケーションをホストするサーバであってよい。1以上のリモート・コンピュータ834は、ウェブ・ブラウザ、PCアプリケーション、携帯電話アプリケーション、及び同様のものを有するよう構成されたクライアント・システムであってよい。
【0065】
1以上のリモート・コンピュータ834は、パーソナル・コンピュータ、サーバ、ルータ、ネットワークPC、ワークステーション、マイクロプロセッサベースの機器、携帯電話機、ピア・デバイス又は他の共通ネットワーク・ノード、及び同様のものであってよく、通常、コンピュータ802に関して説明した要素の多く又は全てを含む。
【0066】
簡潔さのために、メモリ記憶デバイス836だけが、1以上のリモート・コンピュータ834とともに示されている。1以上のリモート・コンピュータ834は、ネットワーク・インタフェース838を介して、次いで、無線通信接続840を介して、コンピュータ802に論理的に接続される。
【0067】
ネットワーク・インタフェース838は、ローカル・エリア・ネットワーク(LAN)及びワイド・エリア・ネットワーク(WAN)等の無線通信ネットワークを含む。LAN技術は、光ファイバ分散データ・インタフェース(FDDI)、銅線分散データ・インタフェース(CDDI)、イーサネット(登録商標)、トークン・リング、及び同様のものを含む。WAN技術は、ポイント・ツー・ポイント・リンク、統合サービス・デジタル通信網(ISDN)及びその変形等の回線交換網、パケット交換網、並びにデジタル加入者回線(DSL)を含むが、これらに限定されるものではない。
【0068】
1以上の通信接続840は、ネットワーク・インタフェース838をバス808に接続するために用いられるハードウェア/ソフトウェアを指す。通信接続840が、例示の明瞭さのために、コンピュータ802内に示されているが、通信接続840はまた、コンピュータ802の外部にあってもよい。ネットワーク・インタフェース838への接続のためのハードウェア/ソフトウェアは、例示の目的に過ぎないが、携帯電話スイッチ、通常の電話用モデムを含むモデム、ケーブル・モデム及びDSLモデム、ISDNアダプタ、並びにイーサネット(登録商標)カード等の内部技術及び外部技術を含み得る。
【0069】
サーバ用の例示的な処理ユニット804は、Intel(登録商標) Xeon CPUを備えるコンピューティング・クラスタであってよい。ディスク・ストレージ814は、例えば、数千ものインプレッション(impression)を保持するエンタープライズ・データ記憶システムを含み得る。
【0070】
上述したものには、対象とするイノベーションの例が含まれる。もちろん、特許請求される主題を説明するために、コンポーネント又は方法の全ての考えられる組合せを説明することは不可能であるが、当業者は、対象とするイノベーションのさらに多くの組合せ及び変形が可能であることを認識できよう。したがって、特許請求される主題は、添付の請求項の主旨及び範囲内に属する全てのそのような変更、修正、及び変形を含むことが意図されている。
【0071】
特に、上述したコンポーネント、デバイス、回路、システム、及び同様ものにより実行される様々な機能に関して、そのようなコンポーネントを説明するために使用された用語(「手段」への言及を含む)は、別途示されない限り、開示した構造に構造上均等でない場合であっても、説明したコンポーネントの特定の機能を実行し、本明細書に記載した、特許請求される主題の例示的態様の機能を実行する任意のコンポーネント(例えば、機能的等価物)に対応することが意図されている。この点に関して、本イノベーションは、システムだけでなく、特許請求される主題の様々な方法の動作及び/又はイベントを実行するためのコンピュータ実行可能命令を有するコンピュータ読み取り可能記憶媒体も含むことも認識されよう。
【0072】
対象とするイノベーションを実施する方法は複数存在する。例えば、適切なAPI、ツール・キット、ドライバ・コード、オペレーティング・システム、コントロール、スタンドアロン又はダウンロード可能なソフトウェア・オブジェクト等が挙げられる。これらにより、アプリケーション及びサービスは、本明細書で説明した技術を用いることができる。特許請求される主題は、API(又は、他のソフトウェア・オブジェクト)の観点からの使用を意図しているだけでなく、本明細書に記載した技術に従って動作するソフトウェア・オブジェクト又はハードウェア・オブジェクトの観点からの使用も意図している。したがって、本明細書で説明した対象とするイノベーションの様々な実施例は、ハードウェア全ての態様、部分的にハードウェアと部分的にソフトウェアとで構成された態様、及びソフトウェアの態様を有し得る。
【0073】
前述のシステムは、複数のコンポーネントの間のインタラクションに関して説明された。そのようなシステム及びコンポーネントは、上述した様々な変形及び組合せに従った、コンポーネント又は特定のサブコンポーネント、特定のコンポーネント又はサブコンポーネントのいくつか、及び/又はさらなるコンポーネントを含み得ることを理解できるであろう。サブコンポーネントは、親コンポーネントに(階層的に)含まれる代わりに、他のコンポーネントに通信可能に接続されるコンポーネントとして実装することもできる。
【0074】
さらに、1以上のコンポーネントは、集約機能を提供する1つのコンポーネントに結合されてもよいし、いくつかの別個のサブコンポーネントに分割されてもよい。また、管理レイヤ等の任意の1以上の中間レイヤが、統合機能を提供するために、このようなサブコンポーネントに通信可能に接続するよう提供されてもよい。本明細書で説明したいかなるコンポーネントも、本明細書で詳細に説明していないが一般的に当業者により知られている1以上の他のコンポーネントとインタラクトすることができる。
【0075】
さらに、対象とするイノベーションの特定の特徴が、いくつかの実施例のうちの1つのみに関して開示されているとしても、そのような特徴は、任意の所与のアプリケーション又は特定のアプリケ−ションに関して望ましく且つ有効であり得る、他の実施例の他の1以上の特徴と組み合されてよい。さらに、用語「含む」、用語「有する」、それらの変形、及び他の同様の表現が、詳細な説明又は請求項において使用される程度について、これらの用語は、さらなる要素又は他の要素を排除しないオープンな移行句として、用語「備える」と同様に非排他的であることが意図されている。
図1
図2
図3
図4
図5
図6
図7
図8