(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-26
(54)【発明の名称】ヘモグロビンレベルを決定するための装置および方法
(51)【国際特許分類】
A61B 5/1455 20060101AFI20230919BHJP
【FI】
A61B5/1455
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023513517
(86)(22)【出願日】2021-08-23
(85)【翻訳文提出日】2023-04-13
(86)【国際出願番号】 IL2021051031
(87)【国際公開番号】W WO2022043998
(87)【国際公開日】2022-03-03
(32)【優先日】2020-08-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523064594
【氏名又は名称】マイ-オア ダイアグノスティックス リミテッド
(74)【代理人】
【識別番号】100114775
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】アシュケナージ,ミハエル
(72)【発明者】
【氏名】パセチニク,アナ
(72)【発明者】
【氏名】エシェット-ケスラー,インバル
(72)【発明者】
【氏名】カッツ,イダン
(72)【発明者】
【氏名】コーン,ロン
(72)【発明者】
【氏名】カッツ,アリエル
(72)【発明者】
【氏名】ブランドヴァイン,マイケル
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038KK00
4C038KL05
4C038KL07
4C038KX01
(57)【要約】
ヘモグロビンレベルを非侵襲的に決定するための装置、キットおよび方法を提供する。本装置は、内部空間を画定する箱であって、(a)その箱の上に配置されたカメラがその内部空間の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部であって、上側開口部とその箱の底との垂直距離は50~400mmである上側開口部、および(b)前記対象の手の挿入のために構成された側面開口部を備えた箱と、カメラを保持し、かつ上側開口部の上でのカメラレンズの位置を保証するためにその箱の上面に取り付けられたアダプタと、前記カメラの視野が爪および皮膚をキャプチャするように、前記対象が爪および皮膚を含む手の一部を前記カメラのレンズに面する方向に配置するのを導くように構成されたテクスチャを有するその箱の底に位置する配置パッドとを備える。
【選択図】
図1C
【特許請求の範囲】
【請求項1】
(i)内部空間を画定する箱であって、
(a)前記箱の上に配置されたカメラが前記内部空間の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部であって、前記上側開口部と前記箱の底との垂直距離は50~400mmである上側開口部、および
(b)前記対象の手の挿入のために構成された側面開口部
を備えた箱と、
(ii)前記カメラを保持し、かつ前記上側開口部の上での前記カメラのレンズの位置を保証するために前記箱の上面に取り付けられたアダプタと、
(iii)前記対象が爪および皮膚を含む手の一部を前記レンズに面する方向に配置するのを導くように構成されたテクスチャを有する前記箱の底に位置する配置パッドと
を備え、
ここでは前記カメラの視野は前記爪および皮膚をキャプチャする、
対象においてヘモグロビンレベルを決定するための装置。
【請求項2】
(i)670~700nm、(ii)520~560nm、および(iii)450~490nmの範囲の波長の反射を特徴とする少なくとも3つの色を表示する、前記箱の底に位置するカラースケールバーをさらに備え、ここでは前記カメラの視野は前記カラースケールバーもキャプチャする、請求項1に記載の装置。
【請求項3】
前記アダプタ上に前記カメラを当て、かつ前記開口部内に前記対象の手を当てた際に前記内部空間内に差し込まれる外部光の量を実質的に遮断するために前記側面開口部を覆うために前記箱に接続されたカバーをさらに備える、請求項1または請求項2に記載の装置。
【請求項4】
前記カメラによってキャプチャされる外部光の最大量は高くても1ルーメンである、請求項3に記載の装置。
【請求項5】
前記カメラはスマートフォンに含められている、請求項1~4のいずれか1項に記載の装置。
【請求項6】
前記内部空間は手を広げた位置での前記対象の手の挿入のために十分な寸法を有する、請求項1~5のいずれか1項に記載の装置。
【請求項7】
前記カラースケールバーは少なくとも1つのグレースケール部分をさらに表示する、請求項2~6のいずれか1項に記載の装置。
【請求項8】
i.内部空間を画定する箱であって、
(a)前記箱の上に配置されたカメラが前記内部空間の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部であって、前記上側開口部と前記箱の底との垂直距離は50~400mmである上側開口部、および
(b)少なくとも対象の手の挿入のために構成された側面開口部
を備えた箱と、
ii.前記カメラを保持し、かつ前記上側開口部の上での前記カメラレンズの位置を保証するために前記箱の上面に取り付け可能なアダプタと、
iii.前記対象が爪および皮膚を含む手の一部を前記カメラのレンズに面する方向に配置するのを導くように構成されたテクスチャを有する前記箱の底に位置づけられる配置パッドと含み、
ここでは前記カメラの視野は前記爪および皮膚をキャプチャする、
キット。
【請求項9】
(i)670~700nm、(ii)520~560nm、および(iii)450~490nmの範囲の波長の反射を特徴とする少なくとも3つの色を表示する、前記箱の底に位置づけられるように構成されたカラースケールバーをさらに備え、ここでは前記カメラの視野は前記カラースケールバーもキャプチャする、請求項8に記載のキット。
【請求項10】
前記アダプタ上に前記カメラを当て、かつ前記開口部内に前記対象の手を当てた際に前記内部空間内に差し込まれる外部光の量を実質的に遮断するために前記箱に接続可能であり、かつ前記側面開口部を覆うように構成されたカバーをさらに含む、請求項8または求項9に記載のキット。
【請求項11】
プログラム命令を実行するように動作し、かつ
i.前記対象の複数の爪および皮膚と前記カラースケールバーとを含む、規定の光条件下でキャプチャされた画像を前記カメラから受信する工程と、
ii.前記画像の前記爪の一部の画素の画像セグメンテーションを行う工程と、
iii.訓練されたニューラルネットワークによって前記画像データをヘモグロビンレベルに変換する工程と、
iv.前記対象の前記ヘモグロビンレベルを表示するために出力する工程と
を含む、
請求項1~7のいずれか1項に記載の装置を用いてそれを必要とする対象においてヘモグロビンレベルを決定するための方法。
【請求項12】
前記プログラム命令はさらに、入力として前記カメラから動画を受信する、請求項9に記載の方法。
【請求項13】
前記プログラム命令はさらに、前記動画から前記対象の心拍数を分析する、請求項9または請求項10に記載の方法。
【請求項14】
前記プログラム命令はさらに、入力として年齢、性別および心拍数からなる群から選択される前記対象の1つ以上のパラメータを受信する、請求項9~11のいずれか1項に記載の方法。
【請求項15】
高くても1ルーメンの規定の光条件下でカメラからキャプチャされた対象の爪の画像を受信する工程を含む、0.95g/dL未満の平均絶対誤差での非侵襲的かつ迅速な血液ヘモグロビンレベルの測定方法。
【請求項16】
爪および皮膚を含むユーザの手の一部を請求項1~7のいずれか1項に記載の装置内に配置する工程をさらに含む、請求項15に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年8月23日に出願された「ヘモグロビンレベルを決定するための装置および方法」という発明の名称の米国仮特許出願第63/069,069号に対する優先権の利益を主張するものであり、その開示内容全体が参照により本明細書に組み込まれる。
【0002】
本発明の出願は一般に、ヘモグロビンレベルを非侵襲的に決定するための装置および方法に関する。
【背景技術】
【0003】
ヘモグロビンは、赤血球が酸素を肺から身体の他の部分に運ぶのを助ける鉄を多く含むタンパク質である。ヘモグロビン中の鉄は酸素を運んで、我々の体内全体で生じる代謝の多くのプロセスに燃料を供給するものであり、健康な細胞、皮膚、毛髪および爪を維持するために必要である。
【0004】
赤血球中の低いヘモグロビンレベルは鉄欠乏を特徴とし、それは世界的に最も一般的な微量栄養素欠乏であり、米国では貧血の主要原因である。鉄欠乏は体による鉄の必要性の増加あるいは摂取された鉄の吸収または量の減少のいずれかに起因する。鉄欠乏の徴候としては疲労、作業能力および学業成績の低下、体温維持の困難、免疫機能の低下および舌炎が挙げられる。
【0005】
幼い子供は急激な成長により鉄要求が高くなるため、特に鉄欠乏リスクの高いグループである。鉄が欠乏した乳児および小児は神経発生の遅れを含む成長および発達の遅れを経験する場合があり、感染し易くなる場合がある。
【0006】
ヘモグロビンレベルの診断のための既存の手法は侵襲的な血液検査を必要とし、従って、非侵襲的かつより利用しやすい手法を用いたヘモグロビンレベルの診断のための新しい装置および方法が必要とされている。
【0007】
従来の技術の上記例およびそれに関連する限界は例示的なものであり、排他的なものではない。従来の技術の他の限界は本明細書を読み、かつ図面を検討すれば当業者に明らかになるであろう。
【発明の概要】
【0008】
以下の実施形態およびそれらの態様はシステム、器具および方法と共に記載および例示されているが、それらは典型的かつ例示的なものであることが意図されており、範囲を限定するものではない。
【0009】
本発明のいくつかの態様は、
(i)内部空間を画定する箱であって、
(a)当該箱の上に配置されたカメラがその内部空間の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部であって、上側開口部と当該箱の底との垂直距離は50~400mmである上側開口部、および
(b)前記対象の手の挿入のために構成された側面開口部
を備えた箱と、
(ii)カメラを保持し、かつ上側開口部の上でのカメラレンズの位置を保証するために当該箱の上面に取り付けられたアダプタと、
(iii)前記対象が爪および皮膚を含む手の一部を前記カメラのレンズに面する方向に配置するのを導くように構成されたテクスチャを有する当該箱の底に位置する配置パッドと
を備え、
ここでは前記カメラの視野は爪および皮膚をキャプチャする、
対象においてヘモグロビンレベルを決定するための装置に関する。
【0010】
いくつかの実施形態では、本装置は、(i)670~700nm、(ii)520~560nm、および(iii)450~490nmの範囲の波長の反射を特徴とする少なくとも3つの色を表示する、当該箱の底に位置するカラースケールバーをさらに備え、ここでは前記カメラの視野はカラースケールバーもキャプチャする。
【0011】
いくつかの実施形態では、本装置は、アダプタ上にカメラを当て、かつ前記開口部内に対象の手を当てた際に前記内部空間内に差し込まれる外部光の量を実質的に遮断するために、側面開口部を覆うために当該箱に接続されたカバーをさらに備える。いくつかの実施形態では、カメラによってキャプチャされる外部光の最大量は高くても1ルーメンである。
【0012】
いくつかの実施形態では、カメラはスマートフォンに含められている。
【0013】
いくつかの実施形態では、その内部空間は手を広げた位置での対象の手の挿入のために十分な寸法を有する。いくつかの実施形態では、カラースケールバーは少なくとも1つのグレースケール部分をさらに表示する。
【0014】
本発明のいくつかのさらなる態様は、
i.内部空間を画定する箱であって、
(a)当該箱の上に配置されたカメラがその内部空間の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部であって、上側開口部と当該箱の底との垂直距離は50~400mmである上側開口部、および
(b)少なくとも対象の手の挿入のために構成された側面開口部
を備えた箱と、
ii.カメラを保持し、かつ上側開口部の上でのカメラレンズの位置を保証するために当該箱の上面に取り付け可能なアダプタと、
iii.前記対象が爪および皮膚を含む手の一部を前記カメラのレンズに面する方向に配置するのを導くように構成されたテクスチャを有する当該箱の底に位置づけられる配置パッドと
を含み、
ここでは前記カメラの視野は爪および皮膚をキャプチャする、
キットに関する。
【0015】
いくつかの実施形態では、本キットは、(i)670~700nm、(ii)520~560nm、および(iii)450~490nmの範囲の波長の反射を特徴とする少なくとも3つの色を表示する、当該箱の底に位置づけられるように構成されたカラースケールバーをさらに備え、ここでは前記カメラの視野はカラースケールバーもキャプチャする。
【0016】
いくつかの実施形態では、本キットはアダプタ上にカメラを当て、かつ前記開口部内に対象の手を当てた際に、前記内部空間内に差し込まれる外部光の量を実質的に遮断するために当該箱に接続可能であり、かつ側面開口部を覆うように構成されたカバーをさらに備える。
【0017】
本発明のいくつかのさらなる態様は、本明細書に開示されている実施形態のいずれかに係る装置を用いてそれを必要とする対象においてヘモグロビンレベルを決定するための方法であって、プログラム命令を実行するように動作し、かつ
i.対象の複数の爪および皮膚とカラースケールバーとを含む、規定の光条件下でキャプチャされた画像を前記カメラから受信する工程と、
ii.画像の爪の一部の画素の画像セグメンテーションを行う工程と、
iii.訓練されたニューラルネットワークによって画像データをヘモグロビンレベルに変換する工程と、
iv.対象のヘモグロビンレベルを表示するために出力する工程と
を含む方法に関する。
【0018】
いくつかの実施形態では、プログラム命令はさらに、入力としてカメラから動画を受信する。
【0019】
いくつかの実施形態では、プログラム命令はさらに、前記動画から対象の心拍数を分析する。
【0020】
いくつかの実施形態では、プログラム命令はさらに、入力として年齢、性別および心拍数からなる群から選択される対象の1つ以上のパラメータを受信する。
【0021】
本発明のいくつかのさらなる態様は、0.95g/dL未満の平均絶対誤差での非侵襲的かつ迅速な血液ヘモグロビンレベルの測定方法であって、高くても1ルーメンの規定の光条件下でカメラからキャプチャされた対象の爪の画像を受信する工程を含む方法に関する。いくつかの実施形態では、本方法は、爪および皮膚を含むユーザの手の一部を本明細書に開示されている実施形態のいずれか1つに係る装置内に配置する工程をさらに含む。
【0022】
例示的な実施形態が参照される図に示されている。図に示されている構成要素および特徴の寸法は一般に説明の便宜上および明確性のために選択されており、必ずしも一定の縮尺で描かれているわけではない。これらの図が以下に列挙されている。
【図面の簡単な説明】
【0023】
【
図1A】本発明のいくつかの実施形態に係る、ヘモグロビンレベルを決定するための装置の非限定的な例示的な構成を示す斜視図を提供する。
【
図1B】本発明のいくつかの実施形態に係る、ヘモグロビンレベルを決定するための装置の別の非限定的な例示的な構成を示す斜視図を提供する。
【
図1C】
図1Bの装置の別の非限定的な例示的な構成を示す別の斜視図を提供する。
【
図2A】本発明のいくつかの実施形態に係る、カメラの視野が対象の手の甲およびカラースケールバーの両方をキャプチャする本装置の内側部分の非限定的な例示的な構成を示す上面図を提供する。
【
図2B】本発明のいくつかの実施形態に係る、カメラの視野が対象の手の甲およびカラースケールバーの両方をキャプチャする本装置の内側部分の別の非限定的な例示的な構成を示す上面図を提供する。
【
図3】本発明のいくつかの実施形態に係る、それを必要とする対象においてヘモグロビンレベルを決定するための非限定的な方法のフローチャートを提供する。
【発明を実施するための形態】
【0024】
装置
本発明はいくつかの実施形態では、それを必要とする対象においてヘモグロビンレベルを決定するための装置を提供する。本明細書で提供される装置の使用のための非限定的な例としては、貧血の非侵襲的検出、予防および治療ならびに貧血に悩まされているか貧血を有すると疑われる対象のパーソナルケアを提供することが挙げられる。
【0025】
いくつかの実施形態では、本装置は、内部空間を画定する箱であって、(i)当該箱の上に配置されたカメラ(例えばフラッシュ装置を備える)がその内部空間の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部であって、上側開口部と当該箱の底との垂直距離は50~400mmである上側開口部、および前記対象の手(例えば乳児の手)の挿入のために構成された側面開口部を備えた箱と、(ii)カメラを保持(例えば装着)するために当該箱の上面に取り付けられたアダプタと、(iii)前記対象が爪および皮膚を含む手の一部を前記カメラのレンズに面する方向に配置するのを導くように構成されたテクスチャを有する当該箱の底に位置する配置パッドとを備える。いくつかの実施形態では、カメラは、前記カメラの視野が爪および皮膚をキャプチャするように装着されている。
【0026】
いくつかの実施形態では、本装置は、(iv)カメラによってキャプチャされる画像の爪の一部および任意に皮膚の画像セグメンテーションプロセスを支援するためなどに、カメラの視野内に位置しているカラースケールバーをさらに備えていてもよい。さらに本発明は、対象の手指の爪の写真を分析することによりヘモグロビンレベルを決定するための方法を提供する。
【0027】
本装置はそのいくつかの実施形態では、壁によって画定された内部空間を有する密閉箱の形態である。本装置は剛体シェルを有する剛体もしくは弾性材料で作られていてもよい。本装置は、カメラの視野がユーザの爪の一部およびカラースケールバーの両方を含む限り、円形、四角形または楕円形などの任意の幾何学的構成を有していてもよい。いくつかの実施形態では、当該箱は四角形であり、60~140mmの範囲の長さ、8~16cmの範囲の高さ、および40~120mmの範囲の深さは有していてもよい。いくつかの実施形態では、カメラと対象の手との距離は60~220mmの範囲であってもよい。非限定的な例では、当該箱は乳児の代用乳のリサイクル箱であってもよい。
【0028】
次に、箱2を備える装置100の非限定的な構成を示す
図1Aを参照する。箱2は4つの垂直側壁10、底面12および上面14有していてもよい。いくつかの実施形態では、箱2は円形の壁または任意の他の形状の垂直壁を有していてもよい。箱2は箱2の上に配置されたカメラ(例えばフラッシュ装置を備える)がその内部空間(例えば、
図1C、
図2Aおよび
図2Bに示されている内部空間13)の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部18を備えていてもよく、ここでは上側開口部と当該箱の底との垂直距離「d」(
図1Cに示されている)は5~40mmである。
【0029】
いくつかの実施形態では、本装置はカメラの視野がユーザの爪の一部を含むように、対象の少なくとも手指の挿入のために構成され、かつそれに適している側面開口部16を備える。任意に側面開口部16は、前記側面開口部16内に対象の手を当てた際に、本装置のその内部空間内に差し込まれる外部光の量を実質的に制限するように弾性材料で作られたカバーを備える。
【0030】
当該開口部は、カメラの視野がユーザの爪の一部を含む限り壁に沿った任意の位置に位置していてもよい。
【0031】
側面開口部16の寸法は、手を広げた位置で手指が配置されている状態で(例えば、
図2の下に示されている)、対象の手または少なくとも手指の挿入のために十分である。手を広げた位置で手指を位置決めすることで、手指が握り締められた場合の血流の途絶を防止することによりヘモグロビン測定を向上させてもよい。
【0032】
本装置は、カメラ(例えばフラッシュ装置を備える)を装着するためにアダプタ20を備える。任意にアダプタ20は、スマートフォンを装着するのに適した溝である。アダプタ20は、前記カメラの視野が当該箱の内部空間をキャプチャし、かつカメラがアダプタからその内部空間に差し込まれる外部光の量を実質的に制限するようにカメラを適所に位置決めする。
【0033】
上面14がアダプタ20を備えていてもよい。あるいは、アダプタは側壁10の1つに位置していてもよい。いくつかの実施形態では、アダプタ20は、カメラの視野が爪および皮膚を含む対象の手の少なくとも一部をキャプチャするように前記カメラを装着する。
【0034】
次に、本発明のいくつかの実施形態に係る、カバーを備える場合と備えていない場合のヘモグロビンレベルを決定するための装置150の別の非限定的な例示的な構成をそれぞれ示す斜視図を示す
図1Bおよび
図1Cを参照する。装置150は装置100の箱2と実質的に同じ箱2を備えていてもよい。箱2は箱2の上に配置されたカメラ(例えばフラッシュ装置を備える)が内部空間13の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部18を備えていてもよく、ここでは上側開口部18と当該箱の底12との垂直距離「d」(
図1Cに示されている)は50~400mmである。箱2は、前記対象の手の挿入のために構成された側面開口部16をさらに備えていてもよい。
【0035】
いくつかの実施形態では、装置150は、カメラを装着し、かつ上側開口部18の上でのカメラレンズの位置を保証するために当該箱の上面14に取り付けられたアダプタ20を備える。アダプタ20は、スマートフォンのカメラなどのカメラを当該箱の上面14に取り付けるのを可能にすることができる任意の装置、要素または構成要素を含んでもよい。非限定的な例では、アダプタ20は、カメラの位置ずれを回避するための唯一の1つの可能な方法でスマートフォンを箱2に取り付けるのを可能にしてもよい。アダプタ20は、接着面、縁からなる要素(図示のとおり)、クリップ、またはカメラ(例えば、スマートフォンに含められるもの)を上面14に取り外し可能に接続するのを可能にする任意の他の要素を含んでもよい。いくつかの実施形態では、アダプタ20はカメラの視野が爪および皮膚をキャプチャするように前記カメラを取り付ける。
【0036】
いくつかの実施形態では、装置150は、前記対象が爪および皮膚を含む手の一部を前記カメラのレンズに面する方向に配置するのを導くように構成されたテクスチャを有する箱2の底12に位置する配置パッド30を備える。いくつかの実施形態では、パッド30はヒトの手指を保持するように成形されたテクスチャ、または任意の他の好適な形状を有していてもよい。いくつかの実施形態では、パッド30の面32は、少なくとも1本の手指/手の一部のパッド30上への配置を導くように構成されたタッチセンサ(例えばタッチスクリーン)を備えていてもよい。いくつかの実施形態では、タッチセンサはバッド上での少なくとも1本の手指/手の一部の位置を提供するように構成されていてもよい。いくつかの実施形態では、タッチセンサはユーザ装置(例えばスマートフォン)にその位置を送信してもよく、かつユーザ装置上で実行されているアプリケーションは、パッド30上への少なくとも1本の手指/手の一部の配置を修正するためにユーザに命令を与えてもよい。
【0037】
いくつかの実施形態では、装置150は、アダプタ上へのカメラの適用および前記開口部を介した対象の手の挿入の際に、前記内部空間内13に差し込まれる外部光の量を実質的に遮断するために側面開口部16を覆うために箱2に接続されたカバー40(
図1Bに示されている)を備える。いくつかの実施形態では、カメラによってキャプチャされる外部光の最大量は高くても1ルーメンである。いくつかの実施形態では、カバー40は不透明な織物および不透明な高分子シートなどの任意の柔軟な不透明な材料で作られていてもよい。いくつかの実施形態では、カバー40は、ユーザがその/自身の手の少なくとも一部を側面開口部16の中に入れるのを可能にするような方法で箱2に接続されているか接続可能であってもよい。
【0038】
いくつかの実施形態では、装置150は、(i)670~700nm、(ii)520~560nm、および(iii)450~490nmの範囲の波長の反射を特徴とする少なくとも3つの色を表示する、当該箱の底に位置するカラースケールバー24または42(
図2Aおよび
図2Bに示されている)を備え、ここでは前記カメラの視野はカラースケールバーもキャプチャする。
【0039】
次に、本装置の内側部分を示す
図2Aおよび
図2Bを参照する。装置100または150は、カメラによってキャプチャされる爪の一部の画像の画像セグメンテーションプロセスを支援するためなどにカメラの視野内に位置決めされる少なくとも1つのカラースケールバー24または42をさらに備えていてもよい。
【0040】
いくつかの実施形態ではカラースケールバー24は、(i)670~700nm、(ii)520~560nm、および(iii)450~490nmの範囲の波長の反射を特徴とする少なくとも3色を表示する。いくつかの実施形態では、カラースケールバー42は4色以上を表示する。
【0041】
いくつかの実施形態では、前記カラースケールバー24または42は少なくとも1つのグレースケール部分をさらに表示する。いくつかの実施形態によれば、前記カラースケールバーは3つの異なるグレースケール部分をさらに表示する。
【0042】
本明細書で考察されているように、本装置はカメラで対象の爪の画像を撮影し、かつ爪26の色を分析することによりヘモグロビンレベルを決定するために使用される。爪は皮膚の他の部分と比較して最小量のメラニンを含み、従って爪における色の主要な提供源はヘモグロビンであるため、ヘモグロビンレベルを決定するために爪を使用することは理想的である。また爪は個人間でサイズおよび形状のばらつきが少ない。本発明は本明細書に記載されている装置および方法を用いることにより、ヘモグロビンレベルの非常に正確な決定を提供することができる。
【0043】
カラースケールバー24または42は、カメラによってキャプチャされた画像からの爪の一部の画像セグメンテーションプロセスのために使用してもよい(例えば、ヘモグロビン測定のために関連する爪の一部を皮膚および背景を含む画像の他の部分から識別する)。有利には、カラースケールバーはヘモグロビンレベルの測定の正確性を向上させる。
【0044】
本方法は、±9g/dLの正確性および95%の感度でヘモグロビンレベルを決定する。
【0045】
いくつかの実施形態では、アダプタ内に位置しているカメラと対象の手11との距離は実質的に一定である。さらに本装置は(例えば当該開口部を介して)、カメラによって撮影される画像の焦点を改善し、かつ測定誤差を減らすような方法で、対象の手のために好適な位置決めを提供してもよい。
【0046】
いくつかの実施形態では、箱2の内部空間13内の外部光を(1ルーメン未満に)制限し、かつカメラのフラッシュ装置のみを使用することにより、ヘモグロビンレベルの測定の正確性を高める。
【0047】
本発明の装置、キットおよび方法は、スマートフォンを持っている誰もがどこでもいつでもヘモグロビンレベルを即座に決定することができるように、画像を撮影するためにスマートフォンで使用するのに適している。
【0048】
キット
いくつかの実施形態では、
i.内部空間を画定する箱2などの箱であって、
(a)当該箱の上に配置されたカメラがその内部空間の中に配置された対象の手の画像をキャプチャするのを可能にするように構成された上側開口部18などの上側開口部であって、上側開口部と当該箱の底との垂直距離は50~400mmである上側開口部、および
(b)少なくとも対象の手の挿入のために構成された側面開口部18などの側面開口部
を備えた箱を含むキットが提供される。
【0049】
いくつかの実施形態では、本キットは、
ii.カメラを保持し、かつ上側開口部の上でのカメラレンズの位置を保証するために当該箱の上面に取り付け可能なアダプタ20などのアダプタと、
iii.前記対象が爪および皮膚を含む手の一部を前記カメラのレンズに面する方向に配置するのを導くように構成されたテクスチャを有する箱2の底12に位置づけられる配置パッド30などの配置パッドと
をさらに含む。
【0050】
いくつかの実施形態では、アダプタは前記カメラの視野が爪および皮膚をキャプチャするようにカメラを装着するように構成されている。
【0051】
いくつかの実施形態では、本キットは、(i)670~700nm、(ii)520~560nm、および(iii)450~490nmの範囲の波長の反射を特徴とする少なくとも3つの色を表示する、当該箱の底に位置づけられるように構成されたカラースケールバー24または42などの少なくとも1つのカラースケールバーをさらに含み、ここでは前記カメラの視野はカラースケールバーもキャプチャする。
【0052】
いくつかの実施形態では、本キットは、アダプタ上にカメラを当て、かつ前記開口部内に対象の手を当てた際に、前記内部空間内に差し込まれる外部光の量を実質的に遮断するために当該箱に接続可能であり、かつ側面開口部を覆うように構成されたカバー40などのカバーをさらに含む。
【0053】
当該箱は手の画像をキャプチャするのに適した条件を可能にする限り、任意のサイズまたは形状であってもよい。いくつかの実施形態では、本装置は乳児用の粉乳のパッケージであってもよい。
【0054】
方法
本発明はシステム、方法および/またはコンピュータプログラム製品をさらに提供する。
【0055】
任意にコンピュータプログラム製品はコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は、それと共に具体化されるプログラムコードを有していてもよい。コンピュータ可読記憶媒体は命令実行装置によって使用される命令を保持および記憶することができる有形の装置であってもよい。コンピュータ可読記憶媒体は例えば、限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の好適な組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例の非包括的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、パンチカードまたは命令が記録されている溝内の凸構造などの機械的符号化装置、および上記の任意の好適な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝搬する電磁波、導波路を通って伝搬する電磁波または他の伝送媒体(例えば、光ファイバーケーブルを通って移動する光パルス)、または電線を通って伝送される電気信号などの、それ自体が一時的信号であるものと解釈されるべきではない。
【0056】
本明細書に記載されているコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの計算/処理装置に、あるいはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび/または無線ネットワークを介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび/またはエッジサーバを含んでもよい。各計算/処理装置におけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、かつそれぞれの計算/処理装置内のコンピュータ可読記憶媒体での記憶のためにそのコンピュータ可読プログラム命令を転送する。
【0057】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはJava、SmalltalkまたはC++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む1つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に、独立型ソフトウェアパッケージとしてユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的に、かつリモートコンピュータ上で部分的に、あるいはリモートコンピュータまたはサーバ上で全体的に実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意の種類のネットワーク、衛星インターネット接続を介してユーザのコンピュータに接続されていてもよく、あるいはその接続は、(例えば、インターネットサービスプロバイダを用いてインターネットを介して)外部コンピュータに対してなされてもよい。いくつかの実施形態では、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブルロジックアレイ(PLA)を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用して本発明の態様を実施するために電子回路をパーソナライズすることにより、コンピュータ可読プログラム命令を実行してもよい。いくつかの実施形態ではリモート接続は電波(例えばマイクロ波領域)を介するものである。
【0058】
本発明の態様について本明細書では、本発明の実施形態に係る方法、装置(システム)およびコンピュータプログラム製品の図面および/またはダイアグラムを参照しながら説明されている。当然のことながら、各説明図および/または図面およびそれらの組み合わせはコンピュータ可読プログラム命令によって実行することができる。
【0059】
これらのコンピュータ可読プログラム命令は、コンピュータのプロセッサまたは他のプログラマブルデータ処理装置により実行される命令が図面に指定されている機能/動作を実行するための手段を生成するような機械を作るために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供されてもよい。またこれらのコンピュータ可読プログラム命令は、命令が記憶されているコンピュータ可読記憶媒体が図面に指定されている機能/動作の態様を実行する命令を含む製造品を含むように、コンピュータ、プログラマブルデータ処理装置および/または他の装置に特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に記憶されていてもよい。
【0060】
またコンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置あるいは、他の装置上で実行される命令が図面に指定されている機能/動作を実行するように、コンピュータ、他のプログラマブルデータ処理装置または他の装置にロードして一連の動作工程をコンピュータ、他のプログラマブル装置または他の装置上で実行させて、コンピュータ実装プロセスを生成してもよい。
【0061】
いくつかの実施形態では、プログラムコードはハードウェアプロセッサによって実行可能である。
【0062】
いくつかの実施形態では、ハードウェアプロセッサは制御装置の一部である。
【0063】
いくつかの実施形態では、本明細書において提供される方法は、本明細書に記載されている装置を用いてそれを必要とする対象においてヘモグロビンレベルを決定するためのものである。
【0064】
いくつかの実施形態では、本方法は本明細書に記載されている装置を用いて、対象の複数の爪および皮膚とカラースケールバーとを含む規定の光条件下でキャプチャされた画像を前記カメラから受信する。
【0065】
いくつかの実施形態では、本方法はプログラム命令を実行するように動作し、かつ少なくとも1つのニューラルネットワークモデルを用いて対象の手の画像をセグメンテーションするようにさらに構成されていてもよい。
【0066】
いくつかの実施形態では、本方法はプログラム命令を実行するように動作し、かつ少なくとも1つのニューラルネットワークモデルを用いて対象の手の画像をセグメンテーションするようにさらに構成されていてもよい。
【0067】
いくつかの実施形態では、本方法はプログラム命令を実行するように動作し、かつ訓練されたニューラルネットワークなどにより画像データをヘモグロビンレベルに変換するようにさらに構成されていてもよい。
【0068】
「画像」という用語は、主題のグラフ表示を示すグラフィカルデジタル画像を指してもよい。いくつかの実施形態では、画像は画素またはベクターグラフィックスを使用して、1つ以上の爪などのオブジェクトの描写を表す。いくつかの実施形態では、画像はスキャンされた文書などの独立型画像である。追加または代わりとして、画像は動画フレームのセットを含む動画ストリーム内のフレームなどの画像の群に含められている。
【0069】
「セグメンテーション」という用語は、画像の関連する領域を決定するための画像の分析を指す。いくつかの実施形態では、セグメンテーションは画像の意味内容に基づいている。いくつかの実施形態では、画像に対して行われるセグメンテーション分析は、カラースケールバーと共に爪領域を示す画像の領域を示す。いくつかの実施形態では、セグメンテーション分析によりターゲットオブジェクトに対応する画像の領域を特定するセグメンテーションマスクなどのセグメンテーションデータを生成する。セグメンテーションデータは、例えば画像中の所与の画素が爪を示す画像領域の一部であるか否かを示す、分析された画像の1つ以上のセグメンテーションされた領域を示す。追加または代わりとして、セグメンテーションデータは所与の画素が爪を示す画像領域である確率を示すデータなどの数値データを示す。
【0070】
「マスク」という用語は、画像中のゼロ以外の画素値によって表される関心領域を指してもよい。いくつかの実施形態では、マスク、オブジェクトマスクまたはセグメンテーションマスクは、関心領域における画素の強度値がゼロ以外である場合の画像を指してもよく、画像の他の領域における画素のための強度値は背景値(例えばゼロ)に設定される。
【0071】
「ニューラルネットワーク」という用語は、目標を達成するように訓練することができる1つ以上のコンピュータ実装ネットワークを指してもよい。特に指示がない限り、本明細におけるニューラルネットワークへの言及は、1つのニューラルネットワークまたは一緒に訓練される複数の相互接続されたニューラルネットワークを含む。いくつかの実施形態では、ニューラルネットワーク(またはニューラルネットワークの構成要素)は、セグメンテーションデータ、画像特徴を示すデータまたは他の好適な種類のデータなどの出力データを生成する。ニューラルネットワークの例としては、限界されるものではないが、畳み込みニューラルネットワーク(CNN)、回帰型ニューラルネットワーク(RNN)、全結合層ニューラルネットワーク、エンコーダニューラルネットワーク(例えば、「エンコーダ」)、デコーダニューラルネットワーク(例えば、「デコーダ」)、密に接続されたニューラルネットワークおよび他の種類のニューラルネットワークが挙げられる。
【0072】
画像セグメンテーションを使用して、デジタル画像を複数のセグメントに分割してもよい。いくつかの実施形態では、画像を特定の境界(線、曲線など)を有するオブジェクトにセグメンテーションするか、画像前景または背景中の要素に分割してもよい。特に、同じマーク付けを有する画素が特定の特性を共有するように、画像の各画素にマーク付けしてもよい。セグメンテーションしたら、任意に当該セグメントまたは画像のブレ部分を抽出することにより、セグメントに従って画像を操作してもよい。
【0073】
いくつかの実施形態では、ニューラルネットワークは画像セグメンテーションを行う能力を有する。いくつかの実施形態では、画像を受信し、かつ画像の受信に応答してセグメンテーションマスクを出力するようにニューラルネットワークを訓練してもよい。いくつかの実施形態では、当該プログラムはマスキングによって訓練および試験セットを生成し、かつ爪の一部を示す関心領域を定めるためのオプションを提供する。いくつかの実施形態では、関心領域の定義は手動で行う。
【0074】
いくつかの実施形態では、当該プログラムは実行される一連の動作工程を有し、
図3から分かるように、そのフローチャートは指定されている機能およびプログラム命令を実行するための工程、すなわち
(i)対象の手指の爪およびカラースケールバーを含む所定および規定の光条件下でキャプチャされた画像を受信する工程(工程310)、
(ii)画像内の爪の一部に関連する関連画素の画像セグメンテーションを行う工程(工程320)、
(iii)訓練されたニューラルネットワークによって画像データをヘモグロビンレベルに変換する工程(工程330)、および
(iv)対象の決定されたヘモグロビンレベルを表示するために出力する工程(工程340)
を示す。
【0075】
爪の一部を示す関心領域は、手動で選択されても自動的に選択されてもよい。
【0076】
いくつかの実施形態では、工程310において、カメラのレンズが上側開口部18に面し、かつ箱2の中に配置された少なくとも爪を含む少なくとも一方の手の一部に向かって方向づけられるように、受信画像は装置100および/または150上に配置されたカメラによってキャプチャされる。少なくとも一方の手の一部は、少なくとも爪を含む少なくとも一方の手の一部を位置合わせして最適な角度にレンズに向かって方向づけるために角度を有するパッド30上に配置されてもよい。
【0077】
関心領域は少なくとも1本の手指、少なくとも2本の手指、少なくとも3本の手指または少なくとも4本の手指から選択されてもよい。関心領域は単一の画像を用いて、あるいはそれぞれが別個の関心領域を提供するいくつかの画像によって提供されてもよい。次いで、各領域から色データを抽出し、各対象のために手指全体を一緒に平均化してもよい。
【0078】
本発明の別の態様は、0.95g/dL未満の平均絶対誤差での非侵襲的かつ迅速な血液ヘモグロビンレベルの測定方法であって、高くても1ルーメンの規定の光条件下でカメラからキャプチャされた対象の爪の画像を受信する工程を含む方法に関する。いくつかの実施形態では、爪および皮膚を含む対象の手の少なくとも一部が箱2の中に位置している場合に、装置100および/または150の上に配置されたカメラから画像を受信してもよい。
【0079】
使用されるスマートフォンに関わらず、本方法を使用して実質的に同一の条件下でデータを収集し、故に患者画像プールのサイズを大きくし、深層機械学習技術の組み込みを容易にして、Hgb測定アルゴリズムをさらに改良してもよい。
【0080】
実験結果
カメラレンズが箱2の底12またはパッド30からの様々な距離に位置する場合の装置100および/または150を用いて撮影された画像の正確性の程度。表1は、距離「d」への平均絶対誤差の依存性を示す。はっきりと示されているように、その誤差が約1±0.1である50~400mmが最適な範囲である。
【0081】
【0082】
画像中の使用可能な画素とカメラのレンズの位置に対するパッド30上での手の一部の位置の水平偏位との相関。水平偏位は、カメラレンズから底面に延在する理論上の垂直線の位置から爪の位置までを測定する。表2は、mm単位での両方向の(±)水平偏位の関数として使用可能な画素の割合をまとめたものである。使用可能な画素は、ヘモグロビンレベルを決定するために使用することができる画素である。
【0083】
【0084】
表2に示すように、箱2の中でのユーザの手指および爪の配置は非常に重要である。パッド30は最小(例えば、±10mm未満)の水平偏位を保証するものでなければならない。
【0085】
いくつかの実施形態では、手の一部からのカメラレンズの距離および水平偏位は、本発明の実施形態に係る装置およびキットの重要なパラメータである。従って、そのような装置は、最小の水平偏位を保証するためのパッド30などのパッドおよび当該箱の底(例えばパッド30の位置)から50~400mmの距離で当該箱の上面に位置するカメラレンズのための開口部を備える。
【0086】
一般事項
本明細書で使用される「約」という用語は±10%を指す。
【0087】
「~を含む(comprises)」、「~を含む(comprising)」、「~を含む(includes)」、「~を含む(including)」、「~を有する(having)」という用語およびそれらの活用形は、「限定されるものではないが~を含む」を意味する。
【0088】
「~からなる(consisting of)」という用語は「~を含み、かつそれらに限定される」を意味する。
【0089】
「本質的に~からなる(consisting essentially of)」という用語は、本組成物、方法または構造がさらなる成分、工程および/または部分を含んでもよいが、さらなる成分、工程および/または部分が請求項に係る組成物、方法または構造の基本的および新規な特性を実質的に変えない場合にのみそうであることを意味する。
【0090】
「例示的」という言葉は本明細書では、「一例、実例または例示として機能すること」を意味するように使用される。「例示的」なものとして記載されている任意の実施形態は必ずしも、他の実施形態よりも好ましいか有利であるもの、および/または他の実施形態からの特徴の組み込みを排除するものとして解釈されるべきではない。
【0091】
「任意に」という言葉は本明細書では、「いくつかの実施形態では提供され、他の実施形態では提供されない」ことを意味するために使用される。本発明の任意の特定の実施形態は、そのような特徴が矛盾しない限り複数の「任意の」特徴を含み得る。
【0092】
本明細書で使用される単数形の「1つの(a)」、「1つの(an)」および「前記(その)(the)」は、その文脈が明らかにそうでないことを示していない限り複数の指示対象を含む。例えば「化合物」または「少なくとも1種の化合物」という用語は、それらの混合物を含む複数の化合物を含み得る。
【0093】
本明細書で使用される「実質的に」という用語は、その間の任意の範囲または値を含む少なくとも80%、少なくとも85%、少なくとも90%、少なくとも92%、少なくとも95%、少なくとも96%、少なくとも97%、少なくとも98%、少なくとも99%を指す。本出願全体を通して、本発明の様々な実施形態は範囲形式で示されている場合がある。当然のことながら範囲形式での記載は単に便宜および簡潔性のためのものであり、本発明の範囲に対する変更の余地がない限界として解釈されるべきではない。従って、範囲の記載は具体的に開示されている全ての可能な部分範囲ならびにその範囲内の個々の数値を有するように解釈されるべきである。例えば1~6などの範囲の記載は、1~3、1~4、1~5、2~4、2~6、3~6などの具体的に開示されている部分範囲など、ならびにその範囲内の個々の数、例えば1、2、3、4、5および6を有するように解釈されるべきできある。これはその範囲の幅に関わらず当てはまる。
【0094】
数の範囲が本明細書に示されている場合は常に、示されている範囲内の任意の列挙されている数(分数または整数)を含むことが意図されている。「第1の指示数と第2の指示数との間の範囲(にある)」という語句および「第1の指示数~第2の指示数の範囲(にある)」は本明細書では互換的に使用され、第1および第2の指示数およびその間の全ての分数および整数を含むことが意図されている。
【0095】
本明細書で使用される「方法」という用語は、限定されるものではないが化学、薬理学、生物学、生化学および医学分野の実施者に知られているか公知の様式、手段、技術および手順から容易に開発される様式、手段、技術および手順を含む、所与の作業を達成するための様式、手段、技術および手順を指す。
【0096】
明確性のために、別個の実施形態の文脈に記載されている本発明の特定の特徴が単一の実施形態において組み合わせで提供される場合もあることが理解される。逆に簡潔のために、単一の実施形態の文脈に記載されている本発明の様々な特徴は本発明の任意の他の記載されている実施形態において別々に、あるいは任意の好適な部分的組み合わせまたは好適な組み合わせとして提供される場合もある。様々な実施形態の文脈に記載されている特定の特徴は、当該実施形態がそれらの要素なしでは実施できないということがない限り、それらの実施形態の必須の特徴とみなされるべきではない。
【国際調査報告】