IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コーニンクレッカ フィリップス エヌ ヴェの特許一覧

特表2024-529431対象の呼吸情報を決定するためのデバイス、システム及び方法
<>
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図1
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図2
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図3
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図4
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図5
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図6
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図7
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図8
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図9
  • 特表-対象の呼吸情報を決定するためのデバイス、システム及び方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-06
(54)【発明の名称】対象の呼吸情報を決定するためのデバイス、システム及び方法
(51)【国際特許分類】
   A61B 5/087 20060101AFI20240730BHJP
   A61B 5/01 20060101ALI20240730BHJP
   A61B 5/00 20060101ALI20240730BHJP
   G01J 5/48 20220101ALI20240730BHJP
   G06T 7/00 20170101ALI20240730BHJP
【FI】
A61B5/087
A61B5/01 350
A61B5/00 G
G01J5/48 C
G06T7/00 612
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024504515
(86)(22)【出願日】2022-07-19
(85)【翻訳文提出日】2024-02-21
(86)【国際出願番号】 EP2022070258
(87)【国際公開番号】W WO2023006525
(87)【国際公開日】2023-02-02
(31)【優先権主張番号】21187786.5
(32)【優先日】2021-07-26
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】ロラト イーデ
(72)【発明者】
【氏名】デ ハーン ジェラルド
【テーマコード(参考)】
2G066
4C038
4C117
5L096
【Fターム(参考)】
2G066AC13
2G066BC15
2G066CA02
2G066CA04
2G066CA16
4C038SS04
4C038SS09
4C038ST01
4C038ST04
4C038SV00
4C038SX09
4C117XB01
4C117XD04
4C117XE24
4C117XE43
4C117XE48
4C117XJ01
4C117XJ17
4C117XJ18
5L096AA06
5L096BA06
5L096CA04
5L096DA02
5L096FA32
5L096FA33
5L096FA67
5L096GA55
(57)【要約】
本発明は、対象の呼吸情報を決定するためのデバイス、システム及び方法に関する。本デバイスは、対象の熱画像を取得するための画像入力部と、熱画像から対象の呼吸情報を決定するための処理ユニットと、対象の決定された呼吸情報を出力するための出力部とを備える。処理ユニットは、取得された熱画像中で、呼吸に関係する温度変動を示す呼吸ピクセル及び/又はピクセルグループを特定することと、呼吸器ピクセル及び/又はピクセルグループの中から、呼吸流量を示す呼吸流量ピクセル及び/又はピクセルグループを決定することであって、呼吸流量ピクセル及び/又はピクセルグループを、呼吸運動を示す呼吸運動ピクセル及び/又はピクセルグループと区別するために、1つ又は複数の空間フィルタが呼吸ピクセル及び/又はピクセルグループに適用される、呼吸流量を示す呼吸流量ピクセル及び/又はピクセルグループを決定することと、呼吸流量ピクセル及び/若しくはピクセルグループ、並びに/又は呼吸運動ピクセル及び/若しくはピクセルグループから、対象の呼吸情報を決定することとによって、対象の呼吸情報を決定する。
【特許請求の範囲】
【請求項1】
対象の呼吸情報を決定するためのデバイスであって、前記デバイスは、
前記対象の熱画像を取得するための画像入力部であって、前記熱画像が、前記対象の顔面野及び/又はその周囲の少なくとも一部を示す、画像入力部と、
前記熱画像から前記対象の呼吸情報を決定するための処理ユニットと、
前記対象の決定された前記呼吸情報を出力するための出力部と
を備え、
前記処理ユニットが、
取得された前記熱画像中で、呼吸に関係する温度変動を示す呼吸ピクセル及び/又はピクセルグループを特定することと、
前記呼吸ピクセル及び/又はピクセルグループの中から、呼吸流量を示す呼吸流量ピクセル及び/又はピクセルグループを決定することであって、前記呼吸流量ピクセル及び/又はピクセルグループを、呼吸運動を示す呼吸運動ピクセル及び/又はピクセルグループと区別するために、1つ又は複数の空間フィルタが前記呼吸ピクセル及び/又はピクセルグループに適用される、呼吸流量ピクセル及び/又はピクセルグループを決定することと、
前記呼吸流量ピクセル及び/若しくはピクセルグループ、並びに/又は前記呼吸運動ピクセル及び/若しくはピクセルグループから、前記対象の呼吸情報を決定することと
によって、前記対象の前記呼吸情報を決定する、デバイス。
【請求項2】
前記処理ユニットが、前記呼吸ピクセル及び/又はピクセルグループに、少なくとも2つの異なる空間フィルタ処理方向及び/又は1つ若しくは複数の空間周波数を有する、少なくとも2つの空間フィルタ、特に少なくとも2つのガボールフィルタを適用する、
請求項1に記載のデバイス。
【請求項3】
前記処理ユニットが、前記呼吸ピクセル及び/又はピクセルグループの中で、前記1つ又は複数の空間フィルタの使用によって前記呼吸運動ピクセル及び/又はピクセルグループを特定し、前記呼吸ピクセル及び/又はピクセルグループの残りのピクセル及び/又はピクセルグループが前記呼吸流量ピクセル及び/又はピクセルグループであると仮定する、
請求項1又は2に記載のデバイス。
【請求項4】
前記処理ユニットが、前記呼吸ピクセル及び/又はピクセルグループから呼吸信号を決定し、呼吸流量に関する情報として呼吸流量信号を取得するために前記呼吸信号に対する前記呼吸運動ピクセル及び/又はピクセルグループの寄与を除去又は低減する、
請求項1から3のいずれか一項に記載のデバイス。
【請求項5】
前記処理ユニットが、呼吸範囲内のピクセル値の時間周期又は擬周期的変動を個々に呈するピクセル及び/又はピクセルグループを組み合わせること、特にそのようなピクセル及び/又はピクセルグループを平均化することによって、或いは呼吸範囲内のピクセル値の時間周期又は擬周期的変動を個々に呈するピクセル及び/又はピクセルグループを選択することによって、前記呼吸信号を決定する、
請求項4に記載のデバイス。
【請求項6】
前記処理ユニットが、
前記呼吸ピクセル及び/若しくはピクセルグループの中から、取得された前記熱画像中のエッジ若しくは温度勾配を表すピクセル及び/若しくはピクセルグループを検出することによって、呼吸運動ピクセル及び/若しくはピクセルグループを決定すること、並びに/又は、
前記呼吸ピクセル及び/若しくはピクセルグループの中から、取得された前記熱画像中のエッジ若しくは温度勾配を表していないピクセル及び/若しくはピクセルグループを検出することによって、呼吸流量ピクセル及び/若しくはピクセルグループを決定すること、並びに/又は、
前記熱の空間フィルタ処理により呼吸信号の強度が著しく変化する、呼吸ピクセル及び/若しくはピクセルグループとして、呼吸運動ピクセル及び/若しくはピクセルグループを決定し、前記空間フィルタ処理により前記呼吸信号が実質的に同じままになる、呼吸ピクセル及び/若しくはピクセルグループとして、呼吸流量ピクセル及び/若しくはピクセルグループを決定すること
を行う、
請求項1から5のいずれか一項に記載のデバイス。
【請求項7】
前記処理ユニットが、取得された前記熱画像の特徴のセットのうちの1つ又は複数の特徴を決定することによって、呼吸流量ピクセル又はピクセルグループを決定し、特徴の前記セットが、
呼吸ピクセルの信号のスペクトルピークの高さを示す擬周期性と、
同様の頻度を有するピクセルのクラスタを示す呼吸数クラスタと、
熱画像中のエッジを示す勾配と、
ピクセルの時間領域信号が呼吸ピクセルの時間領域信号と相関しているかどうかを示す相関値と、
ピクセルの時間領域信号と呼吸流量ピクセルの時間領域信号との間の共分散を示す共分散値と
を含む、
請求項1から6のいずれか一項に記載のデバイス。
【請求項8】
前記処理ユニットが、特徴の前記セットのうちの2つ以上の前記特徴を組み合わせることによって流量マップを決定し、前記呼吸流量ピクセル及び/又はピクセルグループを決定するために前記流量マップに1つ又は複数の空間フィルタを適用する、
請求項7に記載のデバイス。
【請求項9】
前記処理ユニットが、特に、前記呼吸流量ピクセル及び/又はピクセルグループの前記時間領域信号を平均化することによって、前記対象の呼吸流量を表す呼吸流量情報を決定するために、呼吸流量情報と、呼吸努力情報と、閉塞性無呼吸と、中枢性無呼吸と、混合性無呼吸とのうちの1つ又は複数を決定する、
請求項1から8のいずれか一項に記載のデバイス。
【請求項10】
前記処理ユニットが、さらに、呼吸運動ピクセル及び/又はピクセルグループを検出し、前記呼吸運動ピクセル及び/又はピクセルグループと、前記呼吸流量ピクセル及び/又はピクセルグループとに基づいて、前記対象の無呼吸を検出する、
請求項1から9のいずれか一項に記載のデバイス。
【請求項11】
前記画像入力部は、さらに、前記熱画像が取得された放射よりも短い波長範囲内、特に可視光又は近赤外光など、400nmと2000nmとの間の波長範囲内の放射から取得された、前記対象の第2の画像を取得し、前記第2の画像が前記熱画像と同じ領域の少なくとも一部を実質的に示し、
前記処理ユニットが、さらに、取得された前記第2の画像中で、呼吸運動ピクセル及び/又はピクセルグループを特定し、取得された前記第2の画像中で特定された前記呼吸運動ピクセル及び/又はピクセルグループと、取得された前記熱画像中で特定された前記呼吸ピクセル及び/又はピクセルグループとを使用して、前記呼吸情報を決定する、
請求項1から10のいずれか一項に記載のデバイス。
【請求項12】
前記処理ユニットが、さらに、前記熱画像中で決定された前記呼吸ピクセル及び/又はピクセルグループのうちのどの呼吸ピクセル及び/又はピクセルグループが前記第2の画像中に存在しないかを検出し、前記熱画像中には存在するが、前記第2の画像中には存在しない前記呼吸ピクセル及び/又はピクセルグループの中から、前記呼吸流量ピクセル及び/又はピクセルグループを決定する、
請求項11に記載のデバイス。
【請求項13】
対象の呼吸情報を決定するためのシステムであって、前記システムは、
前記対象の熱画像を収集するための熱センサユニットであって、前記熱画像が、前記対象の顔面野及び/又はその周囲の少なくとも一部を示す、熱センサユニットと、
前記熱画像から前記対象の呼吸情報を決定するための、請求項1から12のいずれか一項に記載のデバイスと、
前記対象の前記呼吸情報を出力するための出力インターフェースと
を備える、システム。
【請求項14】
対象の呼吸情報を決定するための方法であって、前記方法は、
前記対象の熱画像を取得するステップであって、前記熱画像が、前記対象の顔面野及び/又はその周囲の少なくとも一部を示す、前記対象の熱画像を取得するステップと、
前記熱画像から前記対象の呼吸情報を決定するステップと、
前記対象の決定された前記呼吸情報を出力するステップと
を有し、
前記対象の前記呼吸情報が、
取得された前記熱画像中で、呼吸に関係する温度変動を示す呼吸ピクセル及び/又はピクセルグループを特定するステップと、
前記呼吸ピクセル及び/又はピクセルグループの中から、呼吸流量を示す呼吸流量ピクセル及び/又はピクセルグループを決定するステップであって、前記呼吸流量ピクセル及び/又はピクセルグループを、呼吸運動を示す呼吸運動ピクセル及び/又はピクセルグループと区別するために、1つ又は複数の空間フィルタが前記呼吸ピクセル及び/又はピクセルグループに適用される、呼吸流量を示す呼吸流量ピクセル及び/又はピクセルグループを決定するステップと、
前記呼吸流量ピクセル及び/若しくはピクセルグループ、並びに/又は前記呼吸運動ピクセル及び/若しくはピクセルグループから、前記対象の呼吸情報を決定するステップと
によって決定される、方法。
【請求項15】
コンピュータ上で実行されたときに、前記コンピュータに請求項14に記載の方法のステップを実行させるためのプログラムコード手段を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象、特に人間又は動物の呼吸情報を決定するためのデバイス、システム及び方法に関する。
【背景技術】
【0002】
呼吸数(respiration rate)(RR)は最も重要な生命兆候の1つであり、その低減は、即時の行動が必要とされることを示すことがある。対象の運動は、通常、呼吸の兆候を示すが、呼吸運動は、例えば睡眠時無呼吸におけるように、気道閉塞の場合に継続し得るので、最も情報量の多い測定値は流量である。睡眠中にこれらの無呼吸事象を非侵襲的に(unobtrusively)測定することは、現在のところ満たされていないニーズである。
【0003】
無呼吸(apnea)は、少なくとも20秒続く呼吸停止、或いは、乳幼児の場合に徐脈(bradycardia)及び/又は不飽和化(desaturation)を伴う場合は少なくとも10秒続く呼吸の停止として定義され、後者は一般に未熟児無呼吸発作(apnea of prematurity)と呼ばれる。成人では、一般に、無呼吸の発生と呼吸低下(hypopnea)とを含めるために睡眠呼吸障害(sleep disordered breathing)という用語が使用される。
【0004】
新生児集中治療室(Neonatal Intensive Care Unit)(NICU)において、呼吸を監視するための標準的な方法は、胸部インピーダンス又はインピーダンス呼吸記録(impedance pneumography)である。成人のための代表的な標準的な方法は、代わりにポリソムノグラフィ(polysomnography)(PSG)である。これは、患者の生命兆候を正確に監視するためにいくつかのセンサの使用を必要とする。PSG中に、呼吸動向を監視するために、鼻孔及び/又は口腔の近くのサーミスタと、胸部及び腹部の2つのベルトとを使用して、呼吸流量及び呼吸運動の両方が監視される。
【0005】
呼吸流量及び呼吸運動の両方を監視する必要は特定のタイプの無呼吸の差異によって生じる。無呼吸は、一般に、乳幼児及び成人の両方において、中枢性無呼吸(central apnea)と、閉塞性無呼吸(obstructive apnea)と、混合性無呼吸(mixed apnea)とに分類され得る。中枢性無呼吸では、呼吸が完全になくなり、呼吸流量及び呼吸運動の両方においてこのように見える。閉塞性無呼吸は、その間に依然として呼吸する努力が顕著である無呼吸のタイプであるが、流量は完全にない。混合性無呼吸は他の2つの無呼吸の混合である。無呼吸のタイプを検出し、分類するためには、呼吸流量及び呼吸運動の両方を監視する必要がある。
【0006】
呼吸を監視するために現在利用可能な方法及び技法は、しかしながら、侵襲的であり、不快感と皮膚刺激とを生じ、患者の睡眠を阻害することがある。したがって、接触法の代用として非侵襲的なソリューションが検討されている。非侵襲的な技術のカテゴリ内では、サーマルカメラの使用が、呼吸流量及び呼吸運動の両方を監視することが可能な唯一の方法であるが、呼吸運動は、可視光、近赤外光(NIR)における異なる撮像技術を使用して、及びレーダを使用して検出され得る。
【0007】
サーマルカメラは、呼吸流量及び呼吸運動のための接触監視方法の代替になり得る。しかしながら、無呼吸を検出することを可能にする呼吸流量信号を取得するためには、一般に、身体ランドマーク検出が必要とされる。知られているソリューションは、熱的な呼吸流量からの寄与と呼吸運動からの寄与とを区別する。これらは、サーマルカメラのみを使用する身体部位検出か、又はサーマルカメラと、RBG又はNIRカメラなど、別のタイプのカメラとを組み合わせることによる身体部位検出を必要とする。特定の身体部位の検出は、極めて複雑であり、病院環境では脆弱すぎて依拠できない可能性がある。身体を覆う毛布又はシーツの存在、及びいくつかの睡眠時の姿勢により、成人の場合にはこの複雑さが増加し、乳幼児の場合にはより一層この複雑さが増加する。
【0008】
ランドマークの特定を回避するために、カメラ中の呼吸情報を含んでいるピクセルを自動的に選択するためのソリューションが提案されている。これらの方法は、しかしながら、熱映像に対して使用されたときに呼吸流量の寄与と呼吸運動の寄与とを区別することは不可能である。したがって、出力は流量信号と運動信号との混合になり、それにより、無呼吸を正確に特定することが不可能になる。
【0009】
LORATO ILDEら「Multi-camera infrared thermography for infant respiration monitoring」、BIOMEDICAL OPTICS EXPRESS、vol.11、no.9、2020年9月1日は、複数のサーマルカメラビューをマージし、3つの特徴を使用して呼吸運動又は呼吸流量を含んでいるピクセルを自動的に検出するためのアルゴリズムを開示している。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の目的は、非侵襲的で正確な様式で対象の呼吸情報を決定するためのデバイス、システム及び方法を提供することである。
【課題を解決するための手段】
【0011】
本発明の第1の態様では、対象の呼吸情報を決定するためのデバイスであって、本デバイスは、
対象の熱画像を取得するための画像入力部であって、熱画像が、対象の顔面野及び/又はその周囲の少なくとも一部を示す、画像入力部と、
熱画像から対象の呼吸情報を決定するための処理ユニットと、
対象の決定された呼吸情報を出力するための出力部と
を備え、
処理ユニットが、
取得された熱画像中で、呼吸に関係する温度変動を示す呼吸ピクセル及び/又はピクセルグループを特定することと、
呼吸ピクセル及び/又はピクセルグループの中から、呼吸流量を示す呼吸流量ピクセル及び/又はピクセルグループを決定することであって、呼吸流量ピクセル及び/又はピクセルグループを、呼吸運動を示す呼吸運動ピクセル及び/又はピクセルグループと区別するために、1つ又は複数の空間フィルタが呼吸ピクセル及び/又はピクセルグループに適用される、呼吸流量ピクセル及び/又はピクセルグループを決定することと、
呼吸流量ピクセル及び/若しくはピクセルグループ、並びに/又は呼吸運動ピクセル及び/若しくはピクセルグループから、対象の呼吸情報を決定することと
によって、対象の呼吸情報を決定する、デバイスが提示される。
【0012】
本発明のさらなる一態様では、対象の呼吸情報を決定するためのシステムであって、本システムは、
対象の熱画像を収集するための熱センサユニットであって、熱画像が、対象の顔面野及び/又はその周囲の少なくとも一部を示す、熱センサユニットと、
熱画像から対象の呼吸情報を決定するための、本明細書で開示するデバイスと、
対象の呼吸情報を出力するための出力インターフェースと
を備える、システムが提示される。
【0013】
本発明のまたさらなる態様では、対応する方法、コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されたときに、コンピュータに本明細書で開示する方法のステップを実行させるためのプログラムコード手段を含む、コンピュータプログラム、並びに、プロセッサによって実行されたときに、本明細書で開示する方法を実行させるコンピュータプログラム製品をその中に記憶した非一時的コンピュータ可読記録媒体が提供される。
【0014】
本発明の好ましい実施形態は従属請求項において定義される。特許請求される方法、システム、コンピュータプログラム及び媒体は、特に、従属請求項において定義され、本明細書で開示する特許請求されるデバイスと同様の及び/又は同等の好ましい実施形態を有することを理解されたい。
【0015】
本発明は、動物又は人間の対象の呼吸情報の非侵襲的な決定を可能にする。呼吸情報として、概して、呼吸流量情報、呼吸努力情報、閉塞性無呼吸、中枢性無呼吸、及び混合性無呼吸など、呼吸(respiratory)(又は呼吸(breathing))特性に関係する任意の情報が決定される。例えば、呼吸流量、特に呼吸流量の存在を示す信号が決定される。
【0016】
熱センサユニット、例えば、(サーモグラフィカメラ、赤外線カメラ、熱撮像カメラ又はサーマルイメージャとも呼ばれる)サーマルカメラなど、2D熱センサアレイがこの目的のために使用される。本発明は、(呼吸運動ピクセル及び/又はピクセルグループ(1つのピクセルグループは複数の隣接するピクセルからなる)として検出される)運動誘発性熱変動は温度勾配上で発生し、(呼吸流量ピクセル又はピクセルグループとして検出される)呼吸流量誘発性熱変動は同様に熱画像の平坦な領域において発生するので、運動誘発性熱変動と呼吸流量誘発性熱変動とを区別することが可能であるという考えに基づいている。RR頻度変動のこの区別のために、空間フィルタを効率的に使用することができる。
【0017】
運動誘発性熱変動(すなわち、呼吸運動ピクセル及び/又はピクセルグループの時間変動値又は時間信号)は、呼吸数を確定するのに役立ち得るが、運動誘発性変動を呈する呼吸運動ピクセル及び/又はピクセルグループを実質的になくすことにより、呼吸流量信号など、他の呼吸情報の決定が可能になる。これにより、対象の呼吸及び呼吸努力の非侵襲的な監視が可能になるだけでなく、無呼吸の存在及びタイプ、無呼吸による呼吸停止などの検出も可能になる。
【0018】
「ピクセル及び/又はピクセルグループ」という表現は、本発明のコンテキストにおいて、単一ピクセル(のみ)、又はピクセルグループ(のみ)、又はピクセルとピクセルグループとの混合として理解されるべきであることに留意されたい。ピクセルグループは、複数のピクセル、特に複数の隣接するピクセルであると理解されるべきである。一般に、ピクセルグループは、完全な画像、すなわち画像のすべてのピクセルを含んでいることさえある。したがって、例えば、1つ又は複数の空間フィルタが呼吸ピクセル及び/又はピクセルグループに適用されるという特徴は、1つ又は複数の空間フィルタが、単一ピクセルに、又はピクセルグループに、又はピクセルとピクセルグループとの混合に、又は完全な画像(すなわち画像のすべてのピクセル)に適用されるという選択肢を、その特徴が含むようなものであると理解されるべきである。
【0019】
言い換えれば、呼吸ピクセルグループは、一般に、呼吸情報を呈するピクセルのグループとして、すなわち、ピクセルの値が特定の周波数範囲内で擬周期的な様式で経時的に変動するものとして理解されるべきである。空間フィルタ処理は、ピクセルが、(すべてが)呼吸情報を伝える必要がないそれらの空間的に隣接するピクセルと組み合わせられることを暗示する。その上、ただ画像全体を空間的にフィルタ処理し、次いで呼吸信号に対する効果(ピクセルの時間変動)を評価する方がより容易であることもある。
【0020】
好ましい一実施形態によれば、処理ユニットは、呼吸ピクセル及び/又はピクセルグループに、少なくとも2つの空間フィルタ、特に、少なくとも2つの異なる空間フィルタ処理方向及び/又は1つ若しくは複数の空間周波数を有する、少なくとも2つのガボール(Gabor)フィルタを適用する。状況に応じて、2つの異なる空間フィルタ処理方向と、共通の空間周波数とを有する、2つの異なる空間フィルタが適用される。他の実施形態では、2つ以上の異なる空間周波数をもつ2つ以上の空間フィルタが適用される。
【0021】
方向(又は方位)及び空間周波数は、ガボールフィルタなど、空間フィルタのための一般的な設定である。方向/方位を変動させることによって、異なる方位から熱画像中の変動を分析することが可能である。呼吸運動ピクセルが列に構成され、それにより、異なる方位から熱画像中の変動を分析する空間フィルタのセットが適用されると仮定すると、列に対して直交方向において行われたフィルタ処理において高い応答値が得られるが、他の方向におけるフィルタに対する応答値はより低くなるか又は0にさえなることが予想され得る。呼吸流量ピクセルは、列に構成されていないが、より円形に見える領域中に構成されているということは、呼吸流量についての空間フィルタに対する応答値がフィルタの方向とは無関係であると考えられ得るという仮定を可能にする。したがって、空間フィルタのセットが好適に適用され、次いで、呼吸流量を自動的に特定するために、応答値が掛け合わせられる。
【0022】
別の実施形態では、処理ユニットは、呼吸ピクセル及び/又はピクセルグループの中で、1つ又は複数の空間フィルタの使用によって呼吸運動ピクセル及び/又はピクセルグループを特定し、呼吸ピクセル及び/又はピクセルグループの残りのピクセル及び/又はピクセルグループが呼吸流量ピクセル及び/又はピクセルグループであると仮定する。このことは呼吸運動ピクセル及び/又はピクセルグループの迅速で効率的な特定を可能にする。一般に、2Dローパスフィルタなど、ただ単一の空間フィルタを使用し、結果を、フィルタ処理なしの場合と比較することが可能であり、したがって、呼吸運動信号中では効果が見られるが、呼吸流量信号中では著しい効果が見られない。
【0023】
別の実施形態では、処理ユニットは、呼吸ピクセル及び/又はピクセルグループから呼吸信号を決定し、呼吸流量に関する情報として呼吸流量信号を取得するために、呼吸信号に対する呼吸運動ピクセル及び/又はピクセルグループの寄与をなくすか又は低減する。上記で説明したように、1つ又は複数の空間フィルタの使用は、本発明の使用によって呼吸流量に関する情報(すなわち対象の呼吸流量を表す信号)を決定することができるように、熱画像中の呼吸運動と呼吸流量とを区別することを可能にする。
【0024】
処理ユニットは、さらに、呼吸範囲内のピクセル値の時間周期又は擬周期的変動を個々に呈するピクセル及び/又はピクセルグループを組み合わせること、特にそのようなピクセル及び/又はピクセルグループを平均化することによって、或いは呼吸範囲内のピクセル値の時間周期又は擬周期的変動を個々に呈するピクセル及び/又はピクセルグループを選択することによって、呼吸信号を決定する。この目的で、例えば、最良のSNRを有する単一のピクセルが選択される。
【0025】
呼吸運動ピクセル及び/又はピクセルグループと、呼吸流量ピクセル及び/又はピクセルグループとをどのように決定するかについて、処理ユニットにとって利用可能な複数の選択肢がある。一実施形態では、呼吸ピクセル及び/又はピクセルグループの中から、取得された熱画像中のエッジ又は温度勾配を表すピクセル及び/又はピクセルグループを検出することによって、呼吸運動ピクセル及び/又はピクセルグループが決定される。別の実施形態では、呼吸ピクセル及び/又はピクセルグループの中から、取得された熱画像中のエッジ又は温度勾配を表していないピクセル及び/又はピクセルグループを検出することによって、呼吸流量ピクセル及び/又はピクセルグループが決定される。さらに別の実施形態では、呼吸運動ピクセル及び/又はピクセルグループは、熱の空間フィルタ処理により呼吸信号の強度が著しく変化する、呼吸ピクセル及び/又はピクセルグループとして決定され、呼吸流量ピクセル及び/ピクセルグループは、空間フィルタ処理により呼吸信号が実質的に同じままになる、呼吸ピクセル及び/又はピクセルグループとして決定される。
【0026】
熱画像のエッジは、大幅な温度変化に近い領域及びピクセルを特定する。熱映像中の呼吸運動は、検出された温度の差がある場合にのみ存在するコントラストがある場合に見える。エッジは、温度差のエッジにあるピクセルを特定する。例えば、顔面は約37°Cであるが、毛布は約30°Cであり、したがって、顔面と毛布との間のエッジにあるピクセルは、エッジとして特定され、呼吸運動を含んでいることがある。エッジは、(例えば特徴として勾配を検出する)従来のエッジ検出器を使用することによって特定することができる。ピクセルの潜在的な選定から、次いで、運動誘発性呼吸を含んでいるピクセルの寄与をなくすために、エッジ上にあるすべてのピクセルを削除することができる。
【0027】
運動誘発性呼吸を破棄するために、エッジピクセルを完全になくすことが可能であるが、一般に、動いていないエッジピクセルをなくす必要はない。時間変動の強度が空間フィルタの方向に依存しない場合、それらは運動誘発性ではなく、それらは流量誘発性呼吸ピクセル又はピクセルグループとしてカウントされ得る。
【0028】
別の実施形態では、処理ユニットは、取得された熱画像の特徴のセットのうちの1つ又は複数の特徴を決定することによって、呼吸流量ピクセル又はピクセルグループを決定し、特徴のセットは、
呼吸ピクセルの信号のスペクトルピークの高さを示す擬周期性(pseudo-periodicity)と、
同様の頻度を有するピクセルのクラスタを示す呼吸数クラスタと、
熱画像中のエッジを示す勾配と、
ピクセルの時間領域信号が呼吸ピクセルの時間領域信号と相関しているかどうかを示す相関値と、
ピクセルの時間領域信号と呼吸流量ピクセルの時間領域信号との間の共分散を示す共分散値と
を含む。
【0029】
処理ユニットは、さらに、特徴のセットのうちの2つ以上の特徴を組み合わせることによって流量マップを決定し、呼吸流量ピクセル及び/又はピクセルグループを決定するために流量マップに1つ又は複数の空間フィルタを適用する。このことは呼吸流量ピクセル及び/又はピクセルグループの効率的な決定を可能にする。
【0030】
すでに述べたように、本発明の使用によって対象の呼吸に関係する様々な情報が決定される。処理ユニットは、したがって、特に、呼吸流量ピクセル及び/又はピクセルグループの時間領域信号を平均化することによって、対象の呼吸流量を表す呼吸流量情報を決定するために、呼吸流量情報と、呼吸努力情報と、閉塞性無呼吸と、中枢性無呼吸と、混合性無呼吸とのうちの1つ又は複数を決定する。一般に、呼吸数など、他の呼吸情報を決定することさえ可能である。
【0031】
一実施形態では、処理ユニットは、特に、呼吸運動ピクセル及び/又はピクセルグループを検出し、呼吸運動ピクセル及び/又はピクセルグループと、呼吸流量ピクセル及び/又はピクセルグループとに基づいて、対象の無呼吸を検出する。
【0032】
呼吸情報の決定における追加の用途のために第2の画像を感知するために、RGB又はNIRカメラなど、別のセンサユニットが随意にさらに使用される。したがって、一実施形態では、画像入力部は、さらに、熱画像が取得された放射よりも低い波長範囲内、特に可視光又は近赤外光など、400nmと2000nmとの間の波長範囲内の放射から取得された、対象の第2の画像を取得し、第2の画像は、熱画像と同じ領域の少なくとも一部を実質的に示す。処理ユニットは、次いで、取得された第2の画像中で、呼吸運動ピクセル及び/又はピクセルグループを特定し、取得された第2の画像中で特定された呼吸運動ピクセル及び/又はピクセルグループと、取得された熱画像中で特定された呼吸ピクセル及び/又はピクセルグループとを使用して、呼吸情報を決定する。
【0033】
これにより、好ましい一実施形態では、処理ユニットは、さらに、熱画像中で決定された呼吸ピクセル及び/又はピクセルグループのうちのどの呼吸ピクセル及び/又はピクセルグループが第2の画像中に存在しないかを検出し、熱画像中には存在するが、第2の画像中には存在しない呼吸ピクセル及び/又はピクセルグループの中から、呼吸流量ピクセル及び/又はピクセルグループを決定する。
【0034】
熱センサユニットは、好ましくは、2000~20000nmの波長範囲内、特に5000~20000nmの波長範囲内の放射を感知する。この目的で、サーマルカメラ又は熱センサアレイが使用される。
【0035】
熱画像が取得された放射よりも短い波長範囲内の放射を感知するように構成された実施形態では、随意の第2のセンサユニットが与えられる。それらの放射から対象の第2の画像を取得するために、可視光又は近赤外光など、400nmと2000nmとの間の波長範囲内の放射を感知することが好ましい。
【0036】
本発明のこれらの及び他の態様は、以下で説明する実施形態から明らかになり、それらの実施形態を参照すれば解明されよう。
【図面の簡単な説明】
【0037】
図1】本発明によるシステムの一実施形態の概略図を示す図である。
図2】本発明によるデバイスの一実施形態の概略図を示す図である。
図3】本発明による方法の一実施形態のフローチャートを示す図である。
図4】本発明によるシステムの別の実施形態の概略図を示す図である。
図5】ピクセルが自動的に選択された、現実の熱映像から取得された例示的な画像と、対応する呼吸信号とを示す図である。
図6】鼻孔の領域が手動で選択された例示的な画像と、対応する呼吸信号とを示す図である。
図7】熱映像に特徴を適用したときに得られた結果を示す図である。
図8】本発明の一実施形態の概念の概略図を示す図である。
図9】第1のウィンドウ中の3つの熱画像と特徴の一例とを示す図である。
図10】後続のウィンドウ中の3つの熱画像と特徴の一例とを示す図である。
【発明を実施するための形態】
【0038】
図1は、本発明による、対象の呼吸情報を決定するためのシステム1の一実施形態の概略図を示している。対象は、一般に、患者、新生児(newborn)、高齢者など、任意の人間、特に、新生児(neonate)、未熟児、又は呼吸器疾患若しくは機能不全がある患者など、呼吸の綿密な監視を必要とする人間である。
【0039】
呼吸情報は、一般に、対象の呼吸に関係する任意の情報である。呼吸流量情報と、呼吸努力情報と、閉塞性無呼吸と、中枢性無呼吸と、混合性無呼吸と、呼吸数とのうちの1つ又は複数が特に重要である。即時の行動が必要とされるか否かを決定するために重要である、無呼吸のタイプを決定するためには、対象の呼吸流量を表す呼吸流量情報の決定、及びそのような呼吸流量情報と対象の呼吸運動を表す呼吸運動情報との区別が有用である。
【0040】
システム1は、主に、病院環境中で、患者の監視を行う環境中で、或いは、必要とされる機器が使用できるか又はすでに利用可能である別の環境中で使用される。システム1は、睡眠時無呼吸の疑いがある、かかりつけ医師の診察を受けている患者に装置を与えることが有用である、自宅においても使用され得る。自宅において数夜の間、デバイスを試してみることにより、診断が助けられることがある。
【0041】
システム1は、対象の熱画像を収集するための熱センサユニット10であって、熱画像が、対象の顔面野及び/又はその周囲の少なくとも一部を示す、熱センサユニット10を備える。例えば、鼻(特に鼻孔)及び/若しくは口腔の領域又はそれらに近い領域並びに(鼻孔及び/又は口腔に隣接する枕、毛布、衣服の部分など)隣接する領域は特に重要であり、熱画像中に示されるものとする。熱センサユニット10は、一般に、サーマルカメラ又は熱センサアレイなど、対応する波長範囲内、特に2000~20000nmの、好ましくは5000~20000nmの波長範囲内の放射を感知することによって熱画像を収集することが可能である、任意の手段又はユニットである。
【0042】
システム1は、熱画像から対象の呼吸情報を決定するための、本明細書で開示し、以下で説明するデバイス20をさらに備える。デバイス20の詳細について以下で説明する。
【0043】
システム1は、対象の呼吸情報を出力するための出力インターフェース30をさらに備える。出力インターフェース30は、一般に、例えば、テキスト形式で、画像又は図形として、音又は話し言葉としてなど、視覚的又は可聴形式で情報を出力する、任意の手段又はユーザインターフェースである。例えば、出力インターフェース30は、ディスプレイ、ラウドスピーカー、タッチスクリーン、コンピュータモニタ、スマートフォン又はタブレットのスクリーンなどである。
【0044】
システム1は、さらにオプションで、熱画像が取得された放射よりも短い波長範囲内、特に、可視光又は近赤外光など、400nmと2000nmとの間の波長範囲内の放射を感知するための第2のセンサユニット40を備える。第2のセンサユニット40によって感知された放射から、対象の第2の画像、例えば、呼吸情報の決定のための特定の実施形態においてさらに使用される、RGB画像又はNIR画像が生成される。第2のセンサユニット40は、したがって、例えばRGB又はNIRカメラである。
【0045】
図2は、本発明によるデバイス20の一実施形態の概略図を示している。
【0046】
デバイス20は、対象の熱画像を取得するための画像入力部21であって、熱画像が、対象の顔面野及び/又はその周囲の少なくとも一部を示す、画像入力部21を備える。画像入力部21は、熱センサユニット10(及び利用可能な場合は、第2のセンサユニット40)に直接結合又は接続されるか、或いは、ストレージ、バッファ、ネットワーク、又はバスなどからそれぞれの画像を取得する(すなわち取り出すか又は受信する)。画像入力部21は、したがって、例えば、Bluetoothインターフェース、WiFiインターフェース、LANインターフェース、HDMI(登録商標)インターフェース、直接ケーブル接続、又はデバイス20への信号伝達を可能にする任意の他の好適なインターフェースなど、(ワイヤード又はワイヤレスの)通信インターフェース又はデータインターフェースである。
【0047】
デバイス20は、熱画像から対象の呼吸情報を決定するための処理ユニット22をさらに備える。処理ユニット22は、画像を処理し、呼吸情報を決定するための任意の種類の手段である。処理ユニット22は、例えば、プログラムされたプロセッサ若しくはコンピュータとして、又は、スマートフォン、スマートウォッチ、タブレット、ラップトップ、PC、ワークステーションなどのユーザデバイス上のアプリとして、ソフトウェア及び/又はハードウェアにおいて実装される。
【0048】
デバイス20は、対象の決定された呼吸情報を出力するための出力部23をさらに備える。出力部24は、一般に、決定された情報を与える、例えば、それを別のデバイスに送信するか、又は(例えば、スマートフォン、コンピュータ、タブレットなど)別のデバイスによる取出しのためにそれを与える、任意のインターフェースである。出力部は、したがって、一般に、任意の(ワイヤード又はワイヤレスの)通信又はデータインターフェースである。
【0049】
図3は、本発明による方法100の一実施形態のフローチャートを示している。方法100のステップはデバイス20によって実行され、本方法の主要なステップは処理ユニット22によって実行される。本方法は、例えば、コンピュータ又はプロセッサ上で動作するコンピュータプログラムとして実装される。
【0050】
第1のステップ101において、対象の熱画像が取得される。オプションで、いくつかの実施形態では、(RGB又はNIR画像など)第2の画像がさらに取得される。
【0051】
第2のステップ102において、熱画像から対象の呼吸情報が決定される。これはいくつかのステップを有する。
【0052】
ステップ103において、取得された熱画像中で、呼吸に関係する温度変動を示す呼吸ピクセル及び/又はピクセルグループが特定される。ステップ104において、呼吸ピクセル及び/又はピクセルグループの中から、呼吸流量を示す呼吸流量ピクセル及び/又はピクセルグループが決定される。この目的で、呼吸流量ピクセル及び/又はピクセルグループを、呼吸運動を示す呼吸運動ピクセル及び/又はピクセルグループと区別するために、ガボールフィルタなど、1つ又は複数の空間フィルタが呼吸ピクセル及び/又はピクセルグループに適用される。ステップ105において、呼吸流量ピクセル及び/若しくはピクセルグループ並びに/又は呼吸運動ピクセル及び/若しくはピクセルグループから、対象の所望の呼吸情報が決定される。
【0053】
最終ステップ106において、対象の決定された呼吸情報が出力される。
【0054】
図4は、本発明によるシステム200の別の実施形態の概略図を示している。システム200は、例えば熱センサの2Dアレイを使用して対象の少なくとも一部の放射を非侵襲的にキャプチャし、ピクセルデータ202を出力するために、(システム1中の熱センサユニット10を表す)センサ手段201を備える。システム1中のデバイス20、特にその処理ユニット22を実装する処理手段203及び合焦手段206が与えられる。処理手段203は、センサ手段201のピクセルデータ203から、特に呼吸ピクセル204から対象の呼吸信号(breathing signal)(呼吸信号(respiration signal))205を計算する。合焦手段206は、呼吸信号205から運動誘発性呼吸を含んでいるピクセルの寄与を低減するか又は実質的になくし、残っている呼吸流量(breathing-flow)信号(呼吸流量(respiratory flow)信号)207を出力する。
【0055】
一実施形態では、呼吸を含んでいるピクセルを自動的に特定するためにアルゴリズムが使用される。呼吸信号を含んでいるピクセルはそれらの起源(呼吸運動又は呼吸流量)とは無関係に位置を特定され得る。アルゴリズムの例示的な一実装形態は、コアピクセル、すなわち、基準に従って最も高い品質をもつ、対象の(運動誘発性又は流量誘発性であり得る)呼吸を表すピクセルの位置を特定するために、1つ又は複数の特徴を使用する、例えば3つの特徴を組み合わせる。例示的な基準は、振幅、信号対ノイズ比、スペクトル純度、スペクトルの歪度(skewness)など、又はいくつかの基準の組合せであり得る。次いで、例えば、ピクセルとコアピクセルとの相関値に基づいて、呼吸ピクセル(又はピクセルグループ)が決定される。特徴は、それぞれ、呼吸信号の特性と呼吸ピクセルの特性とに基づく。
【0056】
第1の特徴は擬周期性である。擬周期性により、各ピクセル値が、正規化されたスペクトルのピークの高さに対応する、マップが生成される。このマップは、呼吸が周期的であるということに基づいて、呼吸信号を含んでいるピクセルの位置を特定するべきである。
【0057】
第2の特徴は呼吸数クラスタである。第2の特徴は、呼吸ピクセルが孤立しておらず、クラスタに構成されているという観測に基づく。各ピクセル値がスペクトルのピークの頻度に対応する(例えば、ピクセル1の値は毎分50回の呼吸である)、マップが構築される。このマップ上で、近くのピクセルが同様の頻度を有する場合に、より高い重みを与える、2D非線形フィルタが適用される。
【0058】
第3の特徴は勾配である。この特徴は、呼吸運動ピクセルがエッジ上のみに位置するので、熱画像のエッジの位置を特定するために、エッジ検出器を使用する。この特徴のために標準的なエッジ検出器が使用され得る。呼吸流量ピクセルの場合、呼吸運動ピクセルはエッジ上に位置するが、呼吸流量ピクセルはたいていエッジ上に位置しないという知識に基づいて、勾配の逆数が使用される。
【0059】
随意の第4の特徴は相関マップである。相関マップは、(いわゆるコアピクセルから抽出された)呼吸信号であるように選択された信号との0.6(又は別の設定値)よりも高い絶対相関値を有する時間領域信号をもつピクセルを含んでいるマップである。コアピクセルは、擬周期性と呼吸数クラスタと勾配とを掛け合わせたときの最大値に対応するピクセルとして見つけられる。したがって、相関マップはバイナリマップ(0及び1)であり、1は呼吸ピクセルの可能な位置を示す。しかしながら、ピクセルが呼吸運動ピクセルであるか呼吸流量ピクセルであるかは知られていない。
【0060】
随意の第5の特徴は共分散マップである。共分散マップは、流量コアピクセル(すなわち、呼吸流量ピクセルである可能性が最も高いピクセル)が知られているときに構築される。共分散マップが知られると、流量コアピクセルから抽出された呼吸流量信号とは逆相のピクセルがある。これらのピクセルは、あり得る選択可能なピクセルから除外された呼吸運動ピクセルである(呼吸運動は熱画像中の2つのバリアント(variant)中に存在し、1つは流量信号とほぼ同相であり、1つはピクセル上の位置に応じてほぼ逆相である)。呼吸流量ピクセルは、呼吸流量によりその温度を変化させる組織又は寝具の熱容量によって引き起こされる、またそのような熱容量に応じた、追加の(より小さい)位相シフトを呈することがある。
【0061】
特徴(一例では最初の3つの特徴)を掛け合わせ、掛け合わせ後の最大値に対応するピクセルを選択することによって、コアピクセルが見つけられる。このコアピクセルは、次いで、相関値に基づいてすべての他の呼吸ピクセルを見つけるために使用される。コアピクセルの信号とすべての他のピクセルの信号との間で取得された相関係数の絶対値が、相関マップ(Correlation Map)と呼ばれる2Dマップ中に配置される。次いで、所定の値、例えば0.7又は0.8よりも高い絶対相関係数を有するピクセルを使用して、それらのピクセルを一緒に平均化することによって呼吸信号が生成される。
【0062】
一般に、特徴のより小さい(又はより大きい)セットを使用して、空間フィルタのための入力マップを構築することができる。しかしながら、ノイズの存在と、全く異なる記録のためのソリューションを一般化することの困難とにより、特徴の数が多いほど、結果は良くなる。例えば擬周期性又は呼吸数クラスタであり得る、呼吸を含んでいるすべてのピクセルを見つける、1つ又は複数の特徴が使用される。呼吸を含んでいるピクセルのこのセットから、呼吸流量を含んでいるピクセルが見つけられるであろう。呼吸を含んでいるこれらのピクセルが利用可能になると、呼吸運動を直接なくすために、空間フィルタ又は勾配の逆数を適用することができる。したがって、好ましくは、少なくとも2つの特徴が使用され、1つの特徴は、すべての呼吸ピクセルを見つけるために使用され、1つのストラテジー又は特徴は、これらの呼吸ピクセル中で(例えば空間フィルタを使用して、又はエッジをなくして)呼吸流量ピクセルを見つけるために使用される。
【0063】
図5図7は、乳幼児に関して収集された現実の熱映像に追加された(流量が存在せず、呼吸努力は依然として存在する)シミュレートされた閉塞性無呼吸を使用することによる本発明のアイデアを示している。
【0064】
図5は、ピクセルが自動的に選択された現実の熱映像から取得された例示的な画像を示している(鼻孔にあるピクセルはPによって示されており、毛布と顔面との間のエッジにある運動ピクセルはP’によって示されている)。さらに、この画像から取得された呼吸信号が示されている。呼吸運動ピクセルも選択されているので、手動で追加された閉塞性無呼吸は検出不可能である。
【0065】
図6は、(Nによって示されている)鼻孔の領域が手動で選択された例示的な画像を示している。さらに、閉塞性無呼吸が存在し、一般に検出可能であることを証明する、この画像から取得された呼吸信号が示されている。
【0066】
呼吸運動ピクセルに関係する情報と、呼吸流量ピクセルに関係する情報とを組み合わせると、流量ピクセルのみの検出に焦点を当てた特徴を構築することができる。図7は、これらの特徴を熱映像に適用したときに得られた結果を示している。(Fによって示されている)自動的に選択されたピクセルは、図5中で自動的に選択されたピクセルPとは対照的に、流量範囲のみに関する。この場合、シミュレートされた閉塞性無呼吸が見え、本発明を使用して検出することができる。
【0067】
より詳細には、この例示的な結果は、前に取得された相関マップにガボールフィルタのバンクを適用することによって取得された。ガボールフィルタに対するすべての応答値の掛け合わせによって、フィルタの向きとは無関係である、相関マップの部分が増幅される。呼吸流量ピクセルは、したがって、自動的に特定することができる。
【0068】
他の実施形態は、鼻孔領域上のみに焦点を当てるためのオプティクスを使用して、又は鼻孔の近くにカメラを配置することによって、流量を含んでいるピクセルを特定する。これは、最初に鼻孔領域を検出することが必要とされるので、かなり複雑であるか、又はカメラが近くにあることは対象にとって不快であることがある。その上、他の場所にある、例えば対象の鼻に近い枕上の熱画像中にはるかに強い流量信号が存在することがある。これらのより強い信号は、鼻孔検出器を使用したときからの恩恵を受けることができないが、本発明に従って、それらの信号を使用して、はるかに強いSNRを得るか、又は、鼻孔が見えなくても流量検出を可能にすることができる。
【0069】
本発明の別の例示的な実装形態では、(以下でRFピクセルとも呼ばれる)呼吸流量ピクセルの特定は、ガボールフィルタのバンクの新しい使用と組み合わせられた、上記ですでに部分的に説明した5つの特徴に基づく。これらのフィルタにより、RFピクセルの特性、すなわち、それらのピクセルが一般に2Dスムーズな領域中に発生することを活用することが可能になる。選定されたピクセルを使用して、RF信号と、流量ベースの呼吸数(RR)とを取得することができる。
【0070】
その上、複数の映像セグメント中で閉塞性無呼吸がシミュレートされ、(Lorato、I.、Stuijk、S.、Meftah、M.、Verkruijsse、W.、de Haan、G. Camera-Based On-Line Short Cessation of Breathing Detection.2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW).IEEE、2019年、1656~1663ページに記載されている)呼吸停止(COB)の検出のための知られている方法が使用された。これは、熱映像から取得された異なる呼吸信号(すなわち、混合呼吸信号(MR信号、すなわち、RF及び呼吸運動(RM)の両方に由来する呼吸信号)及びRF信号)中の閉塞性無呼吸の検出可能性を比較することを可能にする。
【0071】
これらのステップは、本発明の一実施形態の概念の概略図を示す図8に要約されている。RFピクセルは、熱映像(図8A)中で自動的に検出され(図8B)、RF信号と流量ベースのRRとを計算するために使用される(図8C)。その上、RFピクセルのロケーションは手動で注釈を付けられている(図8D)。OAの発生をシミュレートするために、注釈を付けられたRFピクセルがノイズと置き換えられる(図8E)。RF信号とMR信号との間でOA検出可能性の性能を比較するために、COB検出器が使用される(図8F)。例示的な実装形態について以下で説明する。
【0072】
最初に、前処理が実行される。1つ又は複数のカメラビュー、例えば3つのカメラビューに由来する熱画像が、同じ像平面上で、図8A中に見えるようにマージされ、それにより、180×80、すなわちM×Lの解像度をもつ単一の映像が取得される。不均一なサンプリングレートを補償するために、各ピクセル時間領域信号が1D線形補間を用いて補間された。得られたフレームレートは、赤外線カメラの平均フレームレートに近い9Hzである。
【0073】
次のステップにおいて、呼吸流量検出が実行される。RFピクセルの自動検出のために、上記で説明した実施形態が使用される。一実施形態では、RFピクセルを特定するために、例えば5つの特徴のセット(それらのうちの3つはすでに上記で説明しており、他の実施形態では、より多い又はより少ない特徴が使用され得る)が組み合わせられる。流量コアピクセル、すなわち、RFピクセルに属する可能性が最も高いピクセル(基準に従って最も高い品質をもつ対象の呼吸流量を表すピクセルであるが、その基準上でより一層高いスコアをもつ運動誘発性呼吸を表すピクセルが存在することがある)が、それが特徴のうちの1つの計算のための基礎として使用されるので、選択される。流量コアピクセルの正確な選択のために、空間フィルタ(例えばガボールフィルタ)が使用される。各ウィンドウ中の各ピクセルの時間領域信号はxm、l(nT)と呼ばれ、ここで、(m、l)はピクセル位置を示し、n=0+(j-1)/T、1+(j-1)/T、...、N+(j-1)/Tである。例示的な実装形態では、各ウィンドウは整数jによって識別され、1秒のステップにスライドする8秒のフラグメント中のN=72個の連続サンプルからなる。サンプリング周期TはT=0.111秒に等しい。
【0074】
ガボールフィルタは、テクスチャ及びエッジ検出のための画像処理において使用されるよく知られているバンドパスフィルタである。カーネルは、正弦波搬送波と2Dガウスエンベロープとによって形成される。いくつかのガボールフィルタは、正弦波の空間周波数とフィルタの向きとを変えることによって生成することができる。フィルタのセットを画像に適用することによって、エッジとテクスチャとを強調することができる。RFピクセルとRMピクセルとの分布の特性を検討して、すべての方位について同様の応答値を有するべきである流量ピクセルの位置を特定することを目的として、方位及び/又は空間周波数を変えることによって、ガボールフィルタのバンクが適用される。一方、RMピクセルの場合、たいていは、場合によっては屈曲した線に沿った特定の方向において、より高い応答値が予想される。方位について、及びフィルタの空間周波数について、パラメータのセット、λ=3、4、...、8ピクセル/サイクル及びθ=10°、20°、30°、...、170°が経験的に選択される。鼻孔/口腔において見える流量及び/又は繊維上に見える流量により、通常、異なるサイズをもつ流量の影響を受ける領域が生成されるので、本方法が、これらの流量の両方を用いて働くことが可能であるように、複数の空間周波数が選定される。
【0075】
各ガボールフィルタを用いて入力マップを畳み込むことによって、以下で定義する、流量マップ(Flow Map)と呼ばれる入力マップにガボールフィルタのバンクが適用される。特に、
【数1】
であり、ここで、Γ(λ、θ)はガボールフィルタを表し、FMは入力マップである。Ψ(λ、θ)は、空間周波数λ及び方位θの各々についてのガボール応答値の大きさである。流量コアピクセルは、すべてのガボール応答値Ψ(λ、θ)を掛け合わせることによって選択される。流量コアピクセルは、掛け合わせ
【数2】
から得られる画像中の最も高い値に対応するピクセルである。
【0076】
したがって、
【数3】
は、各ウィンドウ中の流量コアピクセルの位置を示す。ガボールフィルタへの入力として与えられるマップは、流量マップと呼ばれ、5つの特徴の組合せである。特に、
【数4】
である。共分散マップ(Covariance Map)と呼ばれる
【数5】
は、RFピクセルの位置をより正確に特定するために導入された新しい特徴である。各要素は、前のウィンドウ中に見つけられる流量コアピクセルの信号と、映像セグメント中の他のピクセルの信号との間の共分散を表す。
【数6】
は、共分散マップ
【数7】
の正規化されたバージョンである。
【数8】
は、したがって、前のウィンドウ
【数9】
中の選定された流量コアピクセルの信号と、位置(m、l)におけるピクセルの信号との間の共分散を表す。
【数10】
及び
【数11】
は、フィルタ処理された時間領域信号であり、一方、tは、第jのウィンドウ中のサンプルを通してスイープするインデックスである。時間領域信号は、1分当たり呼吸回数(BPM)30回と110回との間の通過帯域、すなわち乳幼児の予想される呼吸頻度範囲を用いてフィルタ処理される。
【数12】
は、次いで、正規化され、その結果、-1と1との間の行列、すなわち
【数13】
が得られる。共分散は、時間信号の標準偏差をも考慮に入れることを可能にし、そのことは、最も大きい熱変動が呼吸に関連付けられると仮定すると、有利であるので、共分散は相関係数よりも好ましい。その上、共分散の符号は維持され、それにより、運動のみに由来し得る逆相信号を拒否することが可能になる。
【0077】
熱映像からMR信号を取得するために、式(3)中の他の4つの特徴が開発される。すべての特徴について、第1~第5の特徴(擬周期性、呼吸数クラスタ、勾配、相関マップ、共分散マップ)として上記で説明した。
【0078】
これらの特徴は、MRピクセルの位置を特定するように設計されているが、RFピクセルの特定のために適応させることができる。Qは、擬周期性(Pseudo-periodicity)と呼ばれ、正規化されたスペクトルのピークの高さの推定に基づく。Wは、RRクラスタ(RR Cluster)と呼ばれ、近くの同様の周波数を有するピクセルの検出のための2D非線形フィルタの適用に基づく。Gは、熱画像のエッジを特定する勾配(Gradient)である。これらの3つの特徴を使用して、コアピクセル、すなわち、MR信号を最も良く表すピクセルを特定する。コアピクセルが見つけられると、ピアソン(Pearson)相関係数を使用して、呼吸信号を含んでいるすべての他のピクセルの位置を特定する。これらのピクセルを一緒に平均化することによって、MR信号が取得される。コアピクセルとすべての他のピクセルとの間で取得されたピアソン相関係数は、相関マップ中に配置され、Cを用いて示されている。コアピクセルから取得された相関マップを使用して、MRピクセルの位置を特定することができる。このマップは、0.6に等しい絶対値に対して経験的しきい値ξ1
【数14】
を適用することによって2値化される。この2値化された相関マップを、式(3)中の上記で説明した共分散マップ及び他の特徴と組み合わせることによって、流量マップを取得することができる。
【数15】
と、
【数16】
と、
Gとは、それぞれ、擬周期性特徴と、RRクラスタ特徴と、勾配特徴とを表し、ティルデは、それらの特徴が0と1との間で正規化されたことを示すために使用され、Gはすでにバイナリである。Jは、すべての1を含んでいるM×L行列であり、したがって、勾配特徴との組合せは、1に等しい重みを非エッジ領域に与える。次いで、0.2に等しい経験的しきい値、ξ2
【数17】
を適用することによって、流量マップが2値化された。これらの特徴の組合せにより、選択可能なピクセルからRMピクセルの大部分を削除することが可能であるが、第1のウィンドウ中では、共分散マップは計算されず、これらのピクセルのうちのいくつかは、依然として、2値化された流量マップ中に存在することがある。その上、流量コアピクセルを使用して、次のウィンドウ中の共分散マップを推定することを考えると、適正なピクセルの検出は特に重要である。さらに、流量マップは、依然として、いくつかのノイズピクセル、並びに流量ピクセルを含んでいることがある。したがって、流量コアピクセルを正確に選択するために、ガボールフィルタのバンクが導入され、式(1)において行われるように、バンクへの入力として
【数18】
が与えられる。
【0079】
したがって、RFピクセルが検出され、各映像セグメントの第1のウィンドウのみにおいて流量コアピクセルが使用され、その後、
【数19】
中のすべての非ゼロピクセルがRFピクセルと考えられる。
【数20】
flowは、したがって、検出されたRFピクセルの位置を含んでいるセットである。RFピクセル検出のための条件はかなり厳しい。ピクセルが全く見つけられないことが起こり得る。その場合、前に選定されたRFピクセルが現在ウィンドウ中で同様に使用される。Pflow中に含まれているすべてのRFピクセルを一緒に平均化することによって、RF信号が取得される。第1のウィンドウ中の特徴の一例が図9に示されている。次のウィンドウ中で取得された特徴が図10に示されている。これらの図では、注釈を付けられたRFピクセルのロケーションが外周とともに示されている。図9及び図10は、逆相RMピクセルを除外する、共分散マップの使用によってもたらされる利点を示している。結果として、図9に示されている流量マップと比較すると、図10に示されている流量マップはRMピクセルを含んでいない。MR信号も映像から取得され、比較目的のために使用される。
【0080】
次のステップにおいて、閉塞性無呼吸検出が実行される。(例えば、上述のLorato、I.、Stuijkらの文献に開示されている)COB検出器を使用して、上記に示されているようにシミュレートされた閉塞性無呼吸の検出可能性を評価する。COB検出器は、COBが、急激な振幅変化を監視することによって検出することができることと、COBが短期標準偏差と長期標準偏差との比較に基づくこととを仮定する。2つの標準偏差の計算のためのウィンドウの長さに関する適応がCOB検出器に対して行われる。これらのウィンドウの持続時間は、一般に、ターゲットにされたCOBに基づいて選定される。特に、短期標準偏差の計算のためのウィンドウは最小のCOB持続時間である10秒の無呼吸に近いが、短期標準偏差の中央値として計算される、長期標準偏差のためのウィンドウはCOB持続時間よりも長いことがある。さもなければ、長期標準偏差は無呼吸事象中に標準偏差に動的に適応する(すなわち、無呼吸が依然として継続している間に、事象の停止を検出する)。別の実装形態では、短期標準偏差は、RR推定のために使用されるものと同じスライディングウィンドウ手法である、8秒のウィンドウを使用して計算される。長期標準偏差は15秒のウィンドウ内で計算される(他の周期も適用され得る)。このウィンドウは、これが閉塞性無呼吸の設計された持続時間により近いという事実を考慮して、11秒まで短縮され得るが、このウィンドウは、シミュレートされていない事例に容易に適応するようにより長く保たれ得る。
【0081】
RF信号及びMR信号は、例えば、シミュレートされた閉塞性無呼吸をもつデータセットを使用して、上記で説明したように取得される。COB検出器は、提案する方法を適用することから取得されたRF信号に関して、また、無呼吸検出を目的とするときに、このタイプの信号を監視することの制限を目立たせるためにMR信号に関して、RFを監視したときに達成可能な結果の基準である、(すべての注釈を付けられたRFピクセルを一緒に平均化することによって取得される)基準RF(RefRF)信号に適用される。
【0082】
別の実施形態では、(第1のセンサユニットとも呼ばれる)熱センサユニットに加えて、対象を含む実質的に同じシーンを位置合わせする、光学カメラなど、第2のセンサユニット(40、図1参照)が使用される。アイデアは、サーマルカメラは呼吸流量及び呼吸運動の両方を位置合わせするが、光学カメラは呼吸運動しか位置合わせすることができないことである。組合せにより、2つの呼吸信号の分離が可能になる。
【0083】
運動誘発性熱変動は、サーマルカメラからの呼吸数を確定するのに役立ち得るが、光学カメラからのデータを使用して、運動誘発性変動を呈するピクセルを実質的になくすことにより、(カメラのビューに依存し得るキャプチャされた画像中に呼吸流量信号が存在することと、呼吸流量の可視性を保証するために、複数の角度から対象を見る複数のカメラが使用され得ることとを条件として)呼吸流量信号の測定が可能になる。さらに、第2のセンサユニットによってキャプチャされる波長範囲内の放射で対象を照射するために、照射手段(例えば、専用の照明手段又は単なる周囲光)が使用される。
【0084】
本デバイスの処理ユニット(図2中の22)は、そのような実施形態では、第1のセンサユニットからのピクセルと、第2のセンサユニットからのピクセルとの間の対応するピクセルデータを決定し、第2のセンサユニットによって収集された第2の画像中の対応する領域中に存在しない呼吸情報を呈する熱画像中の画像領域を探すように構成される。それらのピクセルのみに基づいて呼吸信号を計算することによって、呼吸流量が計算される。
【0085】
第1のセンサユニット及び第2のセンサユニットは、それらのセンサユニットが、対象の同じ部分を含むシーンの同じ部分をキャプチャするように配向させられる。それらのビュー間に必然的な視差がある場合、画像位置合わせ技法を使用して、対応するピクセルを画定するために画像を整合させる。
【0086】
サーマルイメージャも光学イメージャも、呼吸運動の検出が可能であり、両方とも、一般に、それらのそれぞれの画像中のエッジ上のこの運動を見つけるが、光学カメラは、通常、サーマルカメラが見つけるよりもはるかに多い画像エッジを見つけることを考慮に入れるべきである。熱画像は、一般に、ほとんど細部がなく、強いエッジは、主に、対象と彼/彼女の環境との境界に生じる。光学カメラも、一般に、これらのエッジが「見える」が、光の反射により、細部がはるかに豊かな画像が得られるので、はるかに多いエッジを位置合わせする。
【0087】
したがって、呼吸流量は熱画像の比較的平坦な領域中で利用可能であるが、光学画像中にかなりの細部が依然として存在し得る。細部領域からピクセルを削除するときに、呼吸流量のみを含んでいる領域からの熱画像から多すぎるピクセルが削除されることがある。しかしながら、残っているピクセルは、ほとんど確実に平坦な熱領域であるべきである平坦な光学的領域中にある。熱画像のそのような領域中に呼吸流量が発生した場合、それらのピクセルを使用して(初期)呼吸流量信号を出力することができる。
【0088】
さらなる結果は、熱画像からのピクセルを使用することができる可能性がほとんどないので、得られた信号が不十分な信号対ノイズ比(SNR)しか有さない恐れがあるということである。このことは、しかしながら、流量ベースの熱変動と運動ベースの熱変動とは信号の位相及び形状も異なることを認識することによって防ぐことができる。コアピクセル、すなわち、(相関値を使用して)同様の位相及び形状をもつピクセルを見つけるために最も強い擬周期的信号を呈するピクセルが使用され、コアピクセルは、ロバストな(高いSNRの)呼吸信号を取得するために、同様のピクセルと組み合わせられる。コアピクセルは、一般に、呼吸運動の方がしばしばより強いので、呼吸運動を有する。呼吸流量出力信号のSNRの改善のために組み合わせるべき同様のピクセルを見つけるために、「初期呼吸信号」の組み合わせられたピクセルを新しい「コアピクセル」として使用することができる。
【0089】
提案するデバイス、システム及び方法は、熱映像中の呼吸流量ピクセルの自動的な特定と、RF信号を取得することとにおいて有望な結果を得た。さらに、それらのデバイス、システム及び方法により、異なるタイプの呼吸情報、特に、無呼吸の検出及び無呼吸のタイプの決定が可能になる。
【0090】
実際的な実装形態は、熱映像中のRF可視性を最大にすることを目的とするべきである。映像中の口腔及び/又は鼻孔領域の可視性を保証するために、カメラのアレイが使用され得る。その上、対象は、好ましくは、仰向け位置にあるべきである。
【0091】
本発明は、特に、非侵襲的な生命兆候監視における患者監視のために適用される。本発明は、(限定はしないが)病院、専門的な睡眠センター(sleep centre)及び家庭における(乳児の)ケアなど、様々なシナリオ及び環境中で使用され得る。
【0092】
本発明について、図面及び上記の説明において詳細に例示及び説明したが、そのような例示及び説明は、例示的又は典型的なものと考えられるべきであり、限定的なものと考えられるべきでない。本発明は、開示した実施形態に限定されない。開示した実施形態の他の変形形態は、図面、本開示及び添付の特許請求の範囲の研究から、特許請求される発明を実施する際に、当業者によって理解され、実施され得る。
【0093】
特許請求の範囲において、「備える/有する」という単語は他の要素又はステップを除外せず、単数形の要素は複数を除外しない。単一の要素又は他のユニットは、特許請求の範囲に記載されたいくつかの項目の機能を果たし得る。いくつかの手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せを有利に使用することができないことを示さない。
【0094】
コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される、光記憶媒体又はソリッドステート媒体など、好適な非一時的媒体上に記憶/配布されるだけでなく、インターネット又は他のワイヤード若しくはワイヤレス電気通信システムを介してなど、他の形態でも配布され得る。
【0095】
特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきでない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【国際調査報告】