特許第6615089号(P6615089)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コーニンクレッカ フィリップス エヌ ヴェの特許一覧

特許6615089人への光及び音インパクトをモニタするシステム、方法及びデバイス
<>
  • 特許6615089-人への光及び音インパクトをモニタするシステム、方法及びデバイス 図000002
  • 特許6615089-人への光及び音インパクトをモニタするシステム、方法及びデバイス 図000003
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6615089
(24)【登録日】2019年11月15日
(45)【発行日】2019年12月4日
(54)【発明の名称】人への光及び音インパクトをモニタするシステム、方法及びデバイス
(51)【国際特許分類】
   A61B 5/00 20060101AFI20191125BHJP
【FI】
   A61B5/00 102A
   A61B5/00 C
【請求項の数】14
【全頁数】16
(21)【出願番号】特願2016-518913(P2016-518913)
(86)(22)【出願日】2014年6月2日
(65)【公表番号】特表2016-526961(P2016-526961A)
(43)【公表日】2016年9月8日
(86)【国際出願番号】EP2014061316
(87)【国際公開番号】WO2014198570
(87)【国際公開日】20141218
【審査請求日】2017年5月25日
【審判番号】不服2019-2141(P2019-2141/J1)
【審判請求日】2019年2月15日
(31)【優先権主張番号】13171351.3
(32)【優先日】2013年6月11日
(33)【優先権主張国】EP
(31)【優先権主張番号】61/833,475
(32)【優先日】2013年6月11日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】KONINKLIJKE PHILIPS N.V.
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(72)【発明者】
【氏名】カーステル シグフリード ウォルター
【合議体】
【審判長】 森 竜介
【審判官】 渡戸 正義
【審判官】 ▲高▼見 重雄
(56)【参考文献】
【文献】 特開2013−66704(JP,A)
【文献】 特表2009−520551(JP,A)
【文献】 特開2002−62186(JP,A)
【文献】 特開2007−276766(JP,A)
【文献】 特表2001−515755(JP,A)
【文献】 特開平10−272108(JP,A)
【文献】 特表平10−512039(JP,A)
【文献】 国際公開第2013/057608(WO,A1)
【文献】 Wim Verkruysee et al.,”Remote plethysmographic imaging using ambient light.”,Optics Express,Vol.16、Issue 26,2008年12月22日,pp.21434−21445
(58)【調査した分野】(Int.Cl.,DB名)
A61B5/00-5/22
(57)【特許請求の範囲】
【請求項1】
人に関する光及び音インパクトをモニタするシステムであって、
時間にわたり前記人環境光をキャプチャする光キャプチャユニットと、
時間にわたり前記人周囲音をキャプチャする音キャプチャユニットと、
キャプチャされた環境光の輝度が輝度閾値を超える場合及び/又はキャプチャされた周囲音の音レベルが音閾値を超える場合、トリガ信号を生成し出す閾値ユニットと、
前記人のストレスレベルを決定するストレスレベルプロセッサと、
前記トリガ信号を受信するとき、前記トリガ信号を受信する時間の周りでキャプチャされる環境光及び周囲音の断片、前記トリガ信号を受信する時間の周りでの前記人のストレスレベル情報の断片を格納する格納ユニットと、
前記環境光、周囲音及びストレスレベル情報の格納された断片に基づき前記トリガ信号をもたらした前記環境光及び/又は周囲音の本原因を識別し、前記識別された根本原因に基づき、斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするレビューユニットとを有する、システム。
【請求項2】
前記光キャプチャユニットが、前記人が所定の標準的な位置に配置されるとき、少なくとも前記人の目を含む記録領域の画像をキャプチャするカメラを有する、請求項1に記載のシステム。
【請求項3】
前記人の環境の概要画像をキャプチャする概要カメラを更に有し、
前記格納ユニットが、前記トリガ信号を受信するとき、前記トリガ信号を受信する時間の周りでキャプチャされる概要画像の断片を格納
前記レビューユニットは、前記本原因を識別するため、要画像の格納された断片を更に用いる、請求項1に記載のシステム。
【請求項4】
前記レビューユニットが、前記根本原因を自動的に識別す、請求項3に記載のシステム。
【請求項5】
前記レビューユニットが、前記根本原因を自動的に識別し、前記識別された根本原因に基づき、斯かる光及び/又は音を回避する方法を示すガイダンス情報を得、請求項1に記載のシステム。
【請求項6】
キャプチャされた周囲音の音レベルが音閾値を超えるかを前記閾値ユニットによりチェックする前に、スペクトル人間聴覚感度を表す重みを適用することにより、キャプチャされた周囲音を処理する音プロセッサを更に有する、請求項1に記載のシステム。
【請求項7】
キャプチャされた画像の光レベルが光閾値を超えるかを前記閾値ユニットによりチェックする前に、人間視覚感度を表す重みを適用することにより、キャプチャされた画像を処理する光プロセッサを更に有する、請求項1に記載のシステム。
【請求項8】
キャプチャされた画像の光レベルが光閾値を超えるかを前記閾値ユニットによりチェックする前に、前記人の目を含む又はこれに隣接する関心領域を画像において選択することにより、及び前記関心領域におけるすべてのピクセルの強度を平均化する又は最も明るいピクセルの強度を選択することで前記関心領域の輝度尺度を得ることにより、キャプチャされた画像を処理する画像プロセッサを更に有し、
前記輝度尺度が、キャプチャされた画像の光レベルが光閾値を超えるかを前記閾値ユニットがチェックするための光レベルとして使用される、請求項2に記載のシステム。
【請求項9】
キャプチャされた環境光の輝度が輝度閾値を超える場合及び/又はキャプチャされた周囲音の音レベルが音閾値を超える場合、警報を生成する警報ユニットを更に有する、請求項1に記載のシステム。
【請求項10】
前記光キャプチャユニットが、前記人が所定の標準的な位置に配置されるとき、少なくとも前記人の目を含む記録領域の画像をキャプチャするカメラを有し、
前記システムは、前記人のストレスレベルを決定する前記ストレスレベルプロセッサによる使用のためキャプチャされた画像から前記人のバイタルサインを得る遠隔フォトプレチスモグラフプロセッサを更に有する、請求項1に記載のシステム。
【請求項11】
人に関する光及び音インパクトをモニタする方法において、
時間にわたり前記人環境光をキャプチャするステップと、
時間にわたり前記人周囲音をキャプチャするステップと、
キャプチャされた環境光の輝度が輝度閾値を超える場合、及び/又は、キャプチャされた周囲音の音レベルが音閾値を超える場合、トリガを生成し出すステップと、
前記人のストレスレベルを決定するステップと、
前記トリガ信号を受信するとき、前記トリガ信号を受信する時間の周りでキャプチャされる環境光及び周囲音の断片と、前記トリガ信号を受信する時間の周りでの前記人のストレスレベル情報の断片とを格納するステップと、
前記環境光、周囲音及びストレスレベル情報の格納された断片に基づき前記トリガ信号をもたらした前記環境光及び/又は周囲音の根本原因を識別し、前記識別された根本原因に基づき、斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするステップとを有する、方法。
【請求項12】
人に関する光及び音インパクトをモニタするデバイスであって、
時間にわたりキャプチャされる前記人環境光の輝度が輝度閾値を超える場合及び/又時間にわたりキャプチャされる前記人周囲音の音レベルが音閾値を超える場合、トリガ信号を生成し出す閾値ユニットと、
前記人のストレスレベルを決定するストレスレベルプロセッサと、
前記トリガ信号を受信するとき、前記トリガ信号を受信する時間の周りでキャプチャされる環境光及び周囲音の断片、前記トリガ信号を受信する時間の周りでの前記人のストレスレベル情報の断片を格納する格納ユニットと、
前記環境光、周囲音及びストレスレベル情報の格納された断片に基づき前記トリガ信号をもたらした前記環境光及び/又は周囲音の本原因を識別し、前記識別された根本原因に基づき、斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするレビューユニットとを有する、デバイス。
【請求項13】
人に関する光及び音インパクトをモニタする方法において、
時間にわたりキャプチャされる前記人環境光の輝度が輝度閾値を超える場合、及び/又は、時間にわたりキャプチャされる前記人周囲音の音レベルが音閾値を超える場合、トリガを生成し出すステップと、
前記人のストレスレベルを決定するステップと、
前記トリガ信号を受信するとき、前記トリガ信号を受信する時間の周りでキャプチャされる環境光及び周囲音の断片と、前記トリガ信号を受信する時間の周りでの前記人のストレスレベル情報の断片とを格納するステップと、
前記環境光、周囲音及びストレスレベル情報の格納された断片に基づき前記トリガ信号をもたらした前記環境光及び/又は周囲音の根本原因を識別し、前記識別された根本原因に基づき、斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするステップとを有する、方法。
【請求項14】
コンピュータで実行されるとき、
時間にわたりキャプチャされる人の環境光の輝度が輝度閾値を超える場合、及び/又は、時間にわたりキャプチャされる前記人の周囲音の音レベルが音閾値を超える場合、トリガを生成して出すステップと、
前記人のストレスレベルを決定するステップと、
前記トリガ信号を受信するとき、前記トリガ信号を受信する時間の周りでキャプチャされる環境光及び周囲音の断片と、前記トリガ信号を受信する時間の周りでの前記人のストレスレベル情報の断片とを格納するステップと、
前記環境光、周囲音及びストレスレベル情報の格納された断片に基づき、前記トリガ信号をもたらした前記環境光及び/又は周囲音の根本原因を識別し、前記識別された根本原因に基づき、斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするステップとをコンピュータが実行することをもたらすプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人、特に例えば未熟児といった患者への光及び音のインパクトをモニタするシステム、方法及びデバイスに関する。
【背景技術】
【0002】
人、特に例えば未熟児といった患者をモニタする技術が存在する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
過剰な光及び音響ノイズは、未熟児の最適な発達を妨げる主な原因と特定された。乳児の睡眠周期は保護される必要があるが、これはしばしば、会話及び作業によりノイズをもたらす介護者及び訪問客のスケジュールと衝突する。生命維持及び患者モニタ装置はすべて、可聴警報及び他の音によりノイズを作り出す。
【0004】
WO2012/082297A2号は、小児微環境を含む乳児の生理的条件をモニタするシステムを開示する。モーションセンサが、微環境の周りに配置される。プロセッサが、モーションセンサに通信可能に接続される。プロセッサは、モーションセンサから運動信号を受信し、乳児のストレスレベルの指示を得るため、運動信号を処理する。乳児の生理的条件をモニタする方法は、モーションセンサで乳児の運動を検出することを含む。乳児に関するベースライン運動は、プロセッサを用いて検出された運動から得られる。少なくとも1つの補助パラメータにおける開始又は変化が、補助センサでモニタされる。乳児の運動は、少なくとも1つの補助パラメータにおける開始又は変化後モーションセンサでモニタされる。乳児のストレスレベルは、乳児のモニタされた運動から、プロセッサを用いて得られる。
【0005】
本発明の目的は、人に関する光及び音インパクトをモニタする改良されたシステム、方法及びデバイスを提供することである。
【課題を解決するための手段】
【0006】
本発明の第1の側面において、人に関する光及び音インパクトをモニタするシステムが提示され、これは、
時間にわたり人での環境光をキャプチャする光キャプチャユニットと、
時間にわたり人での周囲音をキャプチャする音キャプチャユニットと、
人のストレスレベルを決定するストレスレベルプロセッサと、
受信したトリガ信号に基づき、上記トリガ信号を受信する時間瞬間の周りでキャプチャされる環境光及び周囲音の断片、及び上記トリガ信号を受信する時間瞬間の周りでの上記人のストレスレベル情報の断片を格納する格納ユニットと、
環境光、周囲音及びストレスレベル情報の格納された断片をレビューし、レビューされた断片に格納される上記環境光及び周囲音の根本原因を識別し、識別された根本原因によりもたらされる斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするレビューユニットとを有する。
【0007】
本発明の更なる側面において、人に関する光及び音インパクトをモニタする開示されたシステムの一部として使用されることができる、例えばプロセッサ又はコンピュータの形の対応するデバイスが、提示され、これは、
時間にわたり上記人のキャプチャされる環境光の輝度が輝度レベルを超える場合及び/又時間にわたり上記人のキャプチャされる周囲音の音レベルが音閾値を超える場合、トリガ信号を生成し、及び出す閾値ユニットと、
上記人のストレスレベルを決定するストレスレベルプロセッサと、
受信したトリガ信号に基づき、上記トリガ信号を受信する時間瞬間の周りでキャプチャされる環境光及び周囲音の断片、及び上記トリガ信号を受信する時間瞬間の周りでの上記人のストレスレベル情報の断片を格納する格納ユニットと、
環境光、周囲音及びストレスレベル情報の格納された断片をレビューし、レビューされた断片に格納される上記環境光及び周囲音の根本原因を識別し、識別された根本原因によりもたらされる斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするレビューユニットとを有する。
【0008】
本発明のなお更なる側面において、人に関する光及び音インパクトをモニタする対応する方法が提示される。
【0009】
本発明の更に他の側面において、コンピュータで実行されるとき、本書に開示される方法のステップをコンピュータに実行させるプログラムコード手段を有するコンピュータプログラムと、コンピュータで実行されるとき、本書に開示される方法が実行されることをもたらすコンピュータプログラムを格納する非一時的コンピュータ可読の記録媒体とが提示される。
【0010】
本発明の好ましい実施形態は、従属項において規定される。請求項に記載のデバイス、方法、コンピュータプログラム及び媒体は、請求項に記載されるシステム及び従属項に規定されるシステムと類似する及び/又は同一の好ましい実施形態を持つ点を理解されたい。
【0011】
本発明は、モニタされる人に対するこれらの有害な刺激の原因を特定及び最小化するのに必要なサポートを提供するため、例えば、マイクロホンを持つ標準的なウェブカムを用いて、対応する光キャプチャ手段及び音キャプチャ手段により、それぞれ照射及び音レベルをモニタ及び追跡するというアイデアに基づかれる。得られた測定は、記録される。キャプチャされた(生の)音及び光データ断片を用いて、モニタされる人への光及び音のインパクトを除去する又は少なくとも減らすため、除去又は回避されるべき大きな声及びフラッシュするイベントの根本原因が識別される。
【0012】
斯かる有害刺激から好ましくは保護されるモニタされる人は例えば、乳児、新生児又は未熟児とすることができる。本発明は、介護者に必要なサポートを与えることができる。現代の新生児集中治療室(NICU)は、本発明により更にサポートされるいわゆる発達に関する看護モデルを適用することにより、これらの効果を受ける。他のモニタされる人は、病院における、特に集中治療室(ICU)における患者、高齢の人々、又は一般に、ノイズ及び/又は光に非常に敏感である、並びにノイズ及び/又は照射イベントに特別な注意と保護とを必要とするすべての人々である。
【0013】
ある実施形態において、上記光キャプチャユニットが、上記人が所定の標準的な位置に配置されるとき、少なくとも上記人の目を含む記録領域の画像、特に映像データをキャプチャするカメラ、例えばビデオカメラ又はウェブカムを有する。特に、人の目領域は、関心領域である。なぜなら、それが、所定の閾値(輝度レベル)を超える場合チェックされる光のインパクトを反映するからである。しかしながら、顔全体、頭全体、人の全身、又は人が通常配置される領域(例えば患者のベッド又は未熟児の保育器)の画像をキャプチャすることさえ可能である。評価のため、(好ましくは人の目を含む)関心領域が、例えば画像のセグメント化後、選択されることができる。画像は一般に、連続して記録されるが、間をおいて記録されることもできる。
【0014】
好ましい実施形態において、このシステムは、上記人の環境の概要画像、特に映像データをキャプチャする概要カメラを更に有し、上記格納ユニットが、受信されたトリガ信号に基づき、上記トリガ信号を受信する時間瞬間の周りでキャプチャされる概要画像の断片を格納するよう構成され、上記レビューユニットは、レビューされた断片に格納される上記環境光及び周囲音の根本原因を識別するため、環境光及び周囲音の格納された断片に加えて概要画像の格納された断片をレビューすることを可能にするよう構成される。これは、過度の音及び光イベントの識別を改善する。なぜなら、イベントが、記録された概要画像上で視覚的に認識可能であり、他の態様では認識可能でなかった根本原因を特定するのを更に助けることができるからである。
【0015】
好ましくは、上記レビューユニットが、レビューされた断片に格納される上記環境光及び周囲音の根本原因を識別するため、環境光及び周囲音の格納された断片に加えて概要画像の格納された断片を自動的にレビューするよう構成される。
【0016】
例えば、ある実施形態において、環境光及び/又は周囲音の格納された断片は、例えば以前の検出から根本原因がすでに知られている以前に記録された記録された断片を格納するデータベースと比較されることができる。こうして、システムは、自動学習システムとすることができる。そこでは、識別された根本原因並びに音及び/又は光の関連付けられる断片が、後の識別のためデータベースに記録される。
【0017】
有利には、上記レビューユニットが、環境光及び周囲音の格納された断片をレビューし、上記断片に格納される上記環境光及び周囲音の根本原因を識別し、識別された根本原因によりもたらされる斯かる光及び/又は音を回避する方法を示すガイダンス情報を得るよう構成される。このため、統計手段、(音及び/又は光)認識手段、画像認識手段、運動パターン認識手段等が使用されることができる。
【0018】
斯かるガイダンス情報は、モニタされる人の近くの介護者が、何をすべきか、何を避けるべきか、どのデバイスを使用すべきか、又は使用すべきではないか等に関する指示を含むことができる。これらの指示は、例えば発達に関する看護モデルをサポートするため、新規人員の訓練に関して、又は、人員の行動ルールに関する定期的な更新に関してトレーニングマテリアルとして使用されることができる。
【0019】
別の実施形態では、このシステムは、キャプチャされた周囲音の音レベルが音閾値を超えるかを上記閾値ユニットによりチェックする前に、スペクトル人間聴覚感度、特にモニタされる人に相当する人のスペクトル聴覚感度を表す重みを適用することにより、キャプチャされた周囲音を処理する音プロセッサを更に有する。これは、モニタリングの精度を更に改善し、実際には人にとって負でないノイズイベントの誤った認識を回避するか、又は、他方、本当に負のノイズイベントが信頼性高く認識されることを確実にする。
【0020】
光イベントの信頼性が高い認識に対する類似する改良は、キャプチャされた画像の光レベルが光閾値を超えるかを上記閾値ユニットによりチェックする前に、人間視覚感度、特にモニタされる人に相当する人の視覚感度を表す重みを適用することにより、キャプチャされた画像を処理する光プロセッサを更に提供することにより実現される。
【0021】
別の実施形態では、このシステムは、キャプチャされた画像の光レベルが光閾値を超えるかを上記閾値ユニットによりチェックする前に、上記人の目を含む又はこれに隣接する関心領域を画像において選択することにより、及び上記関心領域におけるすべてのピクセルの強度を平均化する又は最も明るいピクセルの強度を選択することで上記関心領域の輝度尺度を得ることにより、キャプチャされた画像を処理する画像プロセッサを更に有し、上記輝度尺度が、キャプチャされた画像の光レベルが光閾値を超えるかを上記閾値ユニットがチェックするための光レベルとして使用される。この場合も、この実施形態は、負の光イベントの認識の精度及び信頼性を更に改善する。
【0022】
別の実施形態では、キャプチャされた環境光の輝度が輝度レベルを超える場合及び/又はキャプチャされた周囲音の音レベルが音閾値を超える場合、警報を生成する警報ユニットが提供される。こうして、負のイベントの即時的な認識が、直ちに信号通知されることができ、これは、即時的な反応を可能にする。
【0023】
提案されるシステムは更に、人のストレスレベルを決定するストレスレベルプロセッサを有し、格納ユニットが、受信したトリガ信号に基づき、上記トリガ信号を受信する時間瞬間の周りでの上記人のストレスレベル情報の断片を格納するよう構成され、上記レビューユニットが、環境光及び周囲音の格納された断片に加えて、ストレスレベル情報の格納された断片をレビューすることを可能にし、レビューされた断片に格納される上記環境光及び周囲音の根本原因を識別するよう構成される。人のストレスレベルを決定するために用いられることができるセンサ信号を得るため、様々な種類のセンサが使用されることができる。斯かるセンサは、心拍センサ、呼吸レートセンサ、ECGセンサ、Sp02センサ、皮膚導電率センサ、皮膚水分センサ、モーションセンサなどの1つ又は複数を含むが、これに限定されるものではない。センサ信号は、人のストレスレベルを決定するため、ストレスセンサプロセッサに提供される。斯かる種類の信号からストレスレベル(生理的条件とも呼ばれる)を決定する方法は一般に、従来技術から知られており、例えば、上述したWO2012/082297A2号、WO2009/138923A1号又はWO2012/140537A1号に記載される。人のストレスレベルを知ることは、人の増加されたストレスを示すストレスレベルにより証明される人にとって本当に負であるノイズ又は光イベントの識別を更に改善する。これは、斯かるノイズ又は光イベントを回避する又は減らす方法に関するガイダンス情報の生成も改善する。
【0024】
更になお、改善された実施形態では、上記人が所定の標準的な位置に配置されるとき、上記光キャプチャユニットが、少なくとも上記人の目を含む記録領域の画像、特に映像データをキャプチャするカメラを有し、上記システムは、上述した一般に知られる方法を用いて、上記人のストレスレベルを決定する上記ストレスレベルプロセッサによる使用のためキャプチャされた画像から上記人のバイタルサインを得る遠隔フォトプレチスモグラフプロセッサ(遠隔PPG)を更に有する。こうして、有利なことに、カメラは、人の画像をキャプチャするために用いられるだけでなく、人の画像が、遠隔PPGの既知の原理に基づき、バイタルサイン(特に、呼吸レート、心拍、Sp02)を得るために評価される。バイタルサインの斯かる原理及び導出は、例えば、フォトプレチスモグラフ信号が、環境光及び従来の消費者向けレベルのビデオカメラを用いてリモートで測定されることを示したVerkruysseその他による「Remote plethysmographic imaging using ambient light」、Optics Express、16(26)、22 December 2008、pp. 21434-21445、又は異なる波長でのプレチスモグラフ信号の測定に基づき、組織における動脈の酸素飽和のコンタクトレスの撮像に関する遠隔PPGシステムを開示するWieringaその他による「Contactless Multiple Wavelength Photoplethysmographic Imaging: A First Step Toward "Sp02 Camera" Technology」、Ann. Biomed. Eng. 33、1034-1041 (2005)に記載される。このように得られたバイタルサインは、可能性として他のセンサ信号と結合して、人のストレスレベルを決定するために再度用いられることができる。
【0025】
更なる実施形態において、システムは、人を支持する患者支持部、特にベッド、ベビーベッド、幼児用暖熱装置又は保育器を更に有する。ここで、人は、患者、乳児又は新生児である。例えば、人(例えば未熟児)は、保育器といった微環境に配置される。そこでは(又は少なくともその近くでは)光キャプチャユニット及び音キャプチャユニットが配置される。
【図面の簡単な説明】
【0026】
図1】本発明による人に関する光及び音インパクトをモニタするシステムの実施形態の概略的なダイアグラムを示す図である。
図2】本発明による人に関する光及び音インパクトをモニタする方法の実施形態のフローチャートを示す図である。
【発明を実施するための形態】
【0027】
本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。
【0028】
図1は、本発明による人に関する光及び音インパクトをモニタするシステム100の実施形態の概略図を示す。人、ここでは、乳児1が、本実施形態では、ベッド、ベビーベッド若しくは幼児用暖熱ユニットといったオープンな環境において、又は、クローズドな保育器13(時々乳児の微環境と参照される)において配置される。ビデオカメラ2及び(好ましくはビデオカメラ2に含まれる)マイクロホン3が、乳児の感覚に関連する周囲音及び環境光をキャプチャするため、乳児1の近くに配置される。
【0029】
保育器13の場合、これは、マイクロホン3が好ましくは、関連する音を測定するため、少なくとも保育器13の内部に配置されるか、又はこれに音響的に接続されることを意味する。一方では、保育器13のインペラ及び加熱システムによる追加的なノイズ、並びに乳児に関して重要である保育器ドアの開閉によるノイズが生み出される。しかし、他方、保育器の壁は、周囲の部屋ノイズから守る。即ち、マイクロホン3を保育器13の内部又は外側に構成するかは、それらの他のノイズ源に依存する。
【0030】
それが乳児1に対して視野を持つ限り、カメラ2は好ましくは、保育器13の外側に構成される。カメラ2によりキャプチャされる画像は好ましくは、少なくとも乳児1の目又は頭部を含む。なぜなら、これは、光インパクトに関するからである。カメラ2が固定して取り付けられる場合、人が(図1に示されるように)所定の標準的な位置に位置するとき、それは一般に、少なくとも人の目又は頭部を含む記録領域20に向けられる。乳児1は移動できるので、好ましい実施形態では、例えば乳児の頭部又は目の位置に基づき、カメラを機械的に移動させる若しくは旋回させることにより、又は表示角度及び従って記録領域20を変化させることにより、カメラ2が同様に好ましく移動可能である。このため、キャプチャされた画像は、乳児1の位置を認識し、及び従ってカメラ2を制御するために用いられることができる。別の実施形態では、乳児1の目又は顔が画像においてもはや見えない場合、カメラの表示角度がより大きくされることができる。
【0031】
オープンシステムにおいて、カメラ2及びマイクロホン3の位置はそれほど重要でない。しかし、乳児1に近いことは、乳児の目及び耳に達する信号を表す音及び光レベルをキャプチャするのに役立つ。
【0032】
音声経路に沿って、キャプチャされた音声信号を増幅及びAD(アナログ‐デジタル)変換する増幅及びADユニット4が提供される。その出力は、(オプションの)サウンドプロセッサ5及び音声映像(AV)レコーダ7に供給される。
【0033】
サウンドプロセッサ5は好ましくは、典型的な聴覚周波数範囲(20Hz〜20000Hz)をカバーする生の音声波データを処理する。それは、ノイズモニタリングの分野において、知られる典型的なパラメータを得る。例えば、等価騒音レベルLeq、L10といったリミットレベル(時間の10%で、ノイズがL10を超える)、メディアンレベルL50及び類似する関心パラメータを得ることができる。サウンドプロセッサ5は、周波数帯域にわたる人間聴覚感度を表すため、ノイズモニタリング標準において使用されるA曲線のような重み付け曲線(又は重み付け関数)を適用することも可能にする。モニタされる個別の人1(本書の例では、未熟児)に対するノイズ歪みをより好適に表す他の任意の重み付け関数が適用されることができる点を理解されたい。成人ノイズ放出インパクトに関してA曲線は広く受け入れられるが、より適切な関数が好ましくは適用される乳児に関しては、A曲線は最適曲線ではない場合がある。
【0034】
システム100は、例えば音ポストプロセッサにおいて実現される音閾値ユニット6(音閾値検出器とも呼ばれる)を更に有する。これは、音量レベルが所定の(例えばユーザ定義可能な)音閾値を超える場合、音トリガ信号T1を作成する。この音トリガ信号T1は、そのトリガイベントの周囲の音データの断片S1(より一般的には周囲音)及び映像データの断片S2(より一般的には環境光)をAVレコーダが記録することをもたらす。即ち、音トリガ信号T1を受信する時間瞬間の周りで、カメラ2及びマイク3でそれぞれキャプチャされる音データ及び映像データの断片を記録する。上記断片S1、S2は好ましくは、後述するように、後のレビュー及び使用のため、傾向データベース10(一般に格納ユニット)において、トリガイベント(即ち音トリガ信号T1)と共に格納される。
【0035】
例えばLeq、L10、L50又は類似する関心パラメータといったノイズモニタリングの分野において知られる上述した典型的パラメータの1つ又は複数の形で、サウンドプロセッサ5の出力は好ましくは、連続的な音尺度Lである。音尺度Lは、トレンディング及び後のレビューのため、直接又は音閾値ユニット6(図1に示される)を介して、データベース10に格納される。しかしながら、音の連続的な記録は義務ではない。少なくとも、音記録の断片及び関連付けられる音尺度Lは、イベントの強度を分類するために用いられる。更に別の実施形態では、光だけがモニタ及び記録され、音はされない。
【0036】
ビデオ経路に沿って、キャプチャされた画像データを処理する(オプションの)画像プロセッサ8が提供される。ある実施形態において、画像プロセッサ8は、完全なビデオフレームから関心(ROI)領域を選択するよう構成される。関心領域は、乳児1に対する光歪みを整合させるため、乳児1の目を含む、又はこれにできるだけ近い。更なる実施形態では、輝度尺度を得るため、それは、ROIにおけるすべてのピクセルの強度を平均化する。例えば、ROIにおいて、最も明るいスポットが、輝度の指示として使用されることができる。
【0037】
カメラ2は、一度に3つのカラーフレームを与える標準RGBカメラ、1つの検出器を持つモノクロカメラ、又は専用のフィルタにより決定される波長の複数の検出器を持つ特別なカメラとすることができる。RGBといったさまざまなカラー要素の場合、それらは、重み付けされることができ、単一の出力輝度画像及び全体の値をつくるために加えられることが可能である。上述されたサウンドプロセッサ5同様、重み付け関数(視感度関数)は好ましくは、ルクスで測定される知覚される照明レベルをもたらす人間の目の感度を表すよう選択される。モニタされる人、例えばこの例では未熟児1の光学歪みにより好適に関連付けられる、他の任意の重み付けスキームが適用されることができる点を理解されたい。
【0038】
ROIからの環境光反射を正規化する(「較正する」)ため、(白又は灰色の)基準タグ(光学標準)が、好ましい実施形態において、ROIに配置されることができる。これは、入射光強度を推定するとき、ROIにおける皮膚カラー又は他の対象のインパクトを除去して、光度計結果を整合させるため測定をより正確にするのに望ましい。
【0039】
システム100は、例えば画像ポストプロセッサにおいて実現される光閾値ユニット9(光閾値検出器とも呼ばれる)を更に有する。これは、光レベルが、所定の(例えばユーザ定義可能な)光閾値を超える場合、光トリガ信号T2を作成する。音トリガ信号T1同様、この音トリガ信号T2は、そのトリガイベントの周囲の音データの断片S1(より一般的には周囲音)及び映像データの断片S2(より一般的には環境光)をAVレコーダが記録することをもたらす。即ち、音トリガ信号T2を受信する時間瞬間の周りで、カメラ2及びマイク3でそれぞれキャプチャされる音データ及び映像データの断片を記録する。上記断片S1、S2は好ましくは、後述するように、後のレビュー及び使用のため、傾向データベース10(一般に格納ユニット)において、トリガイベント(即ち音トリガ信号T1)と共に格納される。
【0040】
光プロセッサ8の出力は好ましくは、光束発散度(Mv)又は照度(Ev)又は非標準規定として、連続的な輝度尺度Bである。強度ストリームBは、トレンディング及び後のレビューのため、直接又は光閾値ユニット9(図1に示される)を介して、データベース10に格納される。しかしながら、光の連続的な記録は義務ではない。少なくとも、光記録の断片及び関連付けられる輝度尺度Bは、光の強度を分類するために用いられる。更に別の実施形態では、音だけがモニタ及び記録され、光はされない。
【0041】
好ましい実施形態では、図1に示されるシステム100おいて、音閾値ユニット6及び光閾値ユニット9の両方が存在し、両ユニットは、AVレコーダ7がトリガイベント周辺のキャプチャされた光及び音の断片をデータベース10に記録することをもたらす対応するトリガ信号を生成することができる。しかしながら、他の実施形態では、閾値ユニット6又は光閾値ユニット9だけが存在し、対応するトリガ信号を生成することができる。
【0042】
システム100は好ましくは、光閾値又は音強度閾値が越えられる場合、視覚的な及び/又は音声警報を作るよう構成又はプログラムされることができる警報ユニット12(例えば閃光、赤いランプ、ラウドスピーカ等)を有する。警報ユニット12は好ましくは、トリガ信号T1、T2の1つにより始動される。
【0043】
システム100は、乳児1に課される環境光及び音のモニタされたレベルを過去にさかのぼってチェックする、即ち環境光及び周囲音の格納された断片をレビューし、レビューされた断片に格納される環境光及び周囲音の根本原因を識別することを可能にする、レビューユニット11を更に有する。データベース10に格納される断片と共に、好ましい実施形態では、ユーザは、プリセットされた閾値を超えるイベントであって、乳児1での歪みの支配的な要素である可能性が高いイベントをレビューすることができる。好ましくは、元のビデオ及び音シーケンスが同様に格納される。これは、根本原因を識別するのを更に助けることができる。
【0044】
レビューユニット11は更に、識別された根本原因によりもたらされる斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にするよう構成される。言い換えると、顕著なノイズ及び光イベントを知ることは、発達に関するより好適な看護を提供するためNICUにおけるスタッフ及び訪問客を訓練するのを助けることができる。こうして、静かで薄明かりでプライベートな環境が提供されることができ、安全性及び睡眠を促進できる。更に、新生児集中治療室において、連続的な背景音及びトランジエント音が、時間連続ノイズレベル(Leq)で45デシベル(dB)及び時間L10(時間の10%に対して超えられるノイズレベル)で50dBを超えないことが確実にされることができる。更に、トランジエント音又はLmax(シングル最高音量レベル)が65dBを超えないことが確実にされることができる。更に、10〜600ルクス及び1〜60のフートキャンドルの間で変動する環境光源レベルが、調整可能にされることができ、各幼児ベッド空間で測定されることができる。
【0045】
より高度な実施形態において、レビューユニット11は、レビューされた断片に格納される環境光及び周囲音の根本原因を識別するため、環境光及び周囲音の格納された断片に加えて、概要画像の格納された断片を自動的にレビューするよう構成される。従って、過度のノイズ及び/又は光のイベントに関する原因の識別が自動化される。好ましくは、識別に基づくガイダンス情報の生成が、同様に自動化される。
【0046】
例えば、ある実施形態において、音及び光イベントがリアルタイムにおいて識別されることができるよう、レビューユニット11は構成される。(即時的な)フィードバックが、例えばクリアテキスト(例えば「大きく話すこと」)で使用に対して与えられることができ、又は(即時的な)指示(「ガイダンス情報」)が、(例えば「より低い音声」)出力されることができる。光イベントに関して、フィードバック又は指示は、「部屋の明かりを薄暗くする」、「カーテンを閉じる」等とすることができる。同じフィードバック及び指示が、一般のガイダンスに用いるため、又は人の後のフィードバックのために、後で生成されることができる(即ちリアルタイムにおいて、でない)。
【0047】
ガイダンス情報を生成するため、音記録及び光記録(及び可能性として他の情報、例えば部屋の映像データ)が好ましくは、根本原因を識別するために評価される(例えば部屋の映像データから、特定のアクション又は何かをしている人が認識されることができる)。映像データの断片は、特定の音及び/又は光イベントを回避するためにどの処理を抑制するべきかを人に教えるため、ガイダンス情報に含まれることができる。オプションで、システム100は、完全な保育器13及びその周りの領域を含み、更には部屋のドア及び窓さえ含む部屋全体といった乳児1の環境の概要画像、特に映像データをキャプチャする概要カメラ14を更に有する。受信したトリガ信号T1又はT2に基づき、トリガ信号を受信する時間瞬間の周りでキャプチャされる概要画像の断片S3が、同様に格納される。その結果、概要画像の格納された断片S3が環境光及び周囲音の格納された断片に加えてレビューユニット11により使用されることができる。これは、レビューされた断片に格納される環境光及び周囲音の根本原因の識別を可能にするか、又はこれを自動的に識別することをもたらす。こうして、根本原因の識別が改良される。なぜなら、例えば斯かる概要画像において、過剰なノイズ又は過剰な光の起源(例えば特定のデバイス)又は発信者(例えば、ノイズを起こすデバイスを用いる介護者)が見えるからである。これは、ガイダンス情報の生成も改善する。更に改良されたシステムでは、環境の異なる領域の画像を供給するため、単一の概要カメラだけでなく、複数の概要カメラが、モニタされる人の環境において提供される。更に、ある実施形態では、概要画像の断片S3が記録されるだけでなく、概要画像が連続して記録される。
【0048】
更なるオプションとして、システム100は追加的に、乳児1のストレスレベルを決定するストレスレベルプロセッサ15を有することができる。受信したトリガ信号T1又はT2に基づき、トリガ信号を受信する時間瞬間の周りでキャプチャされる乳児1のストレスレベル情報の断片S4が、データベース10に記録される。ストレスレベル情報のこれらの格納された断片S4は、レビューされた断片に格納される環境光及び周囲音の根本原因の識別を可能にする、又はこれを自動的に識別するため、環境光及び周囲音の格納された断片に加えて、レビューユニット11により使用されることができる。これは、ガイダンス情報の識別及び生成の精度及び信頼性を増加させることができる。なぜなら、決定されたストレスレベルを用いて、過剰な光又は音レベルが、モニタされた人に実際に負の影響を提供したかどうかが、容易に確認されることができるからである。
【0049】
ストレスレベルを決定するため、人の1つ又は複数の生理的信号が好ましくは評価される。斯かる生理的信号は、心拍、呼吸レート、ECG、血液酸化、皮膚伝導率、皮膚水分、体運動などの1つ又は複数を含む。斯かる生理的信号を得るため、モニタされた人に付けられる専用のセンサ(概略的にセンサ16により示される)が、ある実施形態において、使用されることができる。
【0050】
代替的に又は追加的に、少なくともこれらの生理的信号のいくつかを得るため、遠隔フォトプレチスモグラフィ(遠隔PPG)の一般的な原理を用いて、カメラ2の画像データが評価されることができる。このために、ある実施形態では、(好ましくはすでに提供されたカメラ2、又は、追加的なカメラ(図示省略)から)キャプチャされた画像から人のバイタルサインを得る遠隔フォトプレチスモグラフプロセッサ17がオプションで提供される。これらのバイタルサイン(例えば人の呼吸レート、心拍及び/又はSp02)は、人のストレスレベルを決定するストレスレベルプロセッサ15に提供される(1つ又は複数の他のセンサ16により提供されることができる他の生理的信号と共に又は(好ましくは)これを伴わずに)。
【0051】
簡単に要約すると、フォトプレチスモグラフィ(PPG)は、関心領域又はボリュームの光反射率又は透過の時間変動変化を評価する光学測定技術である。PPGは、血液が周囲組織より多くの光を吸収し、すべての心拍に伴う血液量における変動が、対応して透過又は反射率に影響を及ぼすという原理に基づかれる。心拍に関する情報の他に、PPG波形は、例えば呼吸といった更なる生理的現象に起因する情報を有することができる。異なる波長(典型的に赤及び赤外線)での透過性及び/又は反射率を評価することにより、血中酸素飽和が決定されることができる。
【0052】
対象の心拍及び(動脈状の)血中酸素飽和を測定する従来のパルス酸素濃度計が、対象の皮膚に、例えば指先、耳たぶ又は額に付けられる。従って、それらは、「接触」PPGデバイスと呼ばれる。典型的なパルス酸素濃度計は、光源としての赤色LED及び赤外線LEDと、患者組織を通過した光を検出する1つのフォトダイオードとを有する。市販のパルス酸素濃度計は、赤及び赤外線波長での測定の間を迅速に切り替え、これにより、2つの異なる波長での組織の同じ領域又はボリュームの透過性を測定する。これは、時間分割多重化と呼ばれる。各波長での時間にわたる透過性は、赤及び赤外線波長に関するPPGに波形を与える。接触PPGは基本的に非侵襲性技術として考えられているが、接触PPG測定はしばしば、不快なものとして経験される。なぜなら、パルス酸素濃度計は対象に対して直接付けられ、任意のケーブルが移動する自由を制限するからである。
【0053】
近年では、目立たない測定に関して非接触の遠隔PPGデバイスが導入された。遠隔PPGは、光源を利用するか、又は、関心対象から離れて配置される一般の放射線源を利用する。同様に、検出器、例えば、カメラ又は光検出器も、関心対象から離れて配置されることができる。従って、遠隔フォトプレチスモグラフシステム及びデバイスは、目立たないと考えられ、医療用途だけでなく非医学的な日々の用途にもよく適している。しかしながら、遠隔PPGデバイスは概して、より低い信号対ノイズ比を実現する。
【0054】
時間変動透過性及び/又は反射率を評価することに加えて、カメラベースのPPGは、対象の体の運動の評価も可能にする。呼吸運動と同様に脈動が、評価されることができる。
【0055】
この既知の技術は、多くの公報及び特許出願において記載される。例えば、Verkruysseその他による上記引用刊行物、Wieringaその他による上記引用刊行物において、及び(わずかに挙げれば)WO2012/093358A1号又はWO2013/030745A1号においてである。これらのコンテンツ、特に遠隔PPGの原理の説明は、参照により本書に含まれる。
【0056】
生理的信号又はバイタルサインからそれぞれ人のストレスレベルを決定することは、それらがどのように得られたかに関係なく、一般に従来技術において知られる。例えば、WO2012/082297A2号において、ユーザの精神的ストレスレベルを測定する装置及び方法が記載される。この装置は、ユーザの心拍変動性(HRV)信号を測定する第1の測定ユニットと、ユーザの呼吸信号を得る第2の測定ユニットと、得られた呼吸信号及び測定されたHRV信号に基づき、ユーザの精神的ストレスレベルを表す指示信号を生成する処理ユニットとを有する。WO2012/140537A1号において、ユーザのストレス、特に長期のストレスのレベルを決定するストレス測定デバイス及び方法が記載される。ストレス測定デバイスは、ユーザの皮膚コンダクタンスを示す皮膚コンダクタンス信号を受信する入力インタフェースを有する。時間にわたる皮膚コンダクタンス信号は、皮膚コンダクタンス・トレースデータを形成する。ストレス測定デバイスは更に、皮膚コンダクタンス・トレースデータを処理する処理ユニットを有する。この処理ユニットが、皮膚コンダクタンス・トレースデータの少なくとも一部にわたり、皮膚コンダクタンス・トレースデータの少なくとも2つの異なる点の間の立ち上がり時間の値を決定し、立ち上がり時間値の周波数分布を決定し、決定された周波数分布に基づきユーザのストレスのレベルを決定するよう構成される。これら及び他の方法は、ストレスレベルプロセッサ15を有する本発明によるシステムの実施形態に基づき使用されることができる。
【0057】
こうして、本発明は、発達に関する看護モデルをサポートするため、光及び音量レベルをモニタするのに、マイクロホンを持つカメラ(例えばウェブカム)がNICU環境においてどのように使用されることができるかを教示する。過剰な光及び音響ノイズは、未熟児の最適な発達を妨げる主要な原因と識別された。乳児の睡眠周期は保護される必要があるが、これはしばしば、会話及び作業によりノイズをもたらす介護者及び訪問客のスケジュールと衝突する。標準的なウェブカム器材により照明及び音量レベルをモニタリング及び追跡することは、未熟児に対するこれらの有害刺激の原因を識別及び最小化するのに必要な支援を介護者に提供できる。
【0058】
専用のマイクロホン及びディスプレイモジュールを用いて音響ノイズを測定及び追跡することが、ある実施形態において使用されることができる。しかし、これは標準的なウェブカムアプローチを用いて同様に実現されることができる。組み込まれたマイクロホンは、低コスト音メーターとして機能するよう、調整及び補正されることができる。音量レベルの較正又は評価は、人の耳感度関数(A-weightingフィルタ)を使用することを含むことができる。乳児に関しては、胎児が母の子宮において経験する音周波数プロファイルが、参照として機能しなければならない。胎児が子宮状態において最も発達すると仮定すると、それは、より低いピッチ音より、より高いピッチ音が不快であることを意味する。音モニタリングシステムが任意の所望の周波数感度関数に対して正規化されることができることは、当業者によりよく理解されている。
【0059】
標準的なレベルメーターを超える別の利点は、ウェブカムが、顕著なイベントを追跡し、一緒に、ビデオ及び音声の断片を格納できる点にある。これは、これらのイベントを過去にさかのぼってレビューして、原因を識別することを可能にする。これは、不健康なノイズ及び光イベントの根本原因を発見及び除去することを可能にし、未熟児の発達の状況を改善する。
【0060】
従って、提案された音及び光モニタリングシステムの実際的な実現は、
マイクロホンを持つウェブカムと、
乳児に関して重要である音圧力及び光レベル(平均)及びイベント(ピーク、閾値横断)を得る処理ユニットと、
顕著なイベントに関して音声及び映像のストレージ断片を記録する手段と、
履歴及びイベントをレビューする手段と、
光及び音イベントを自動的に識別及び分類する手段と、
乳児の局所にある(即時的なフィードバック)、又は遠隔中央点にあることができる表示及び警報手段とを有する。
【0061】
イベントの自動的な識別は、ノイズ及び光履歴のレビューを容易にすることができる。会話、乳児の泣き声、ドアを閉める音、装置の警報などの標準的な音パターンは、音認識システムにより検出される。更に、バイタルサインモニタといった他の用途のためマイクロホンを持つビデオカメラを共有することは、スペースが限られるNICUにおける追加的な器材を回避する。
【0062】
最終的に、人に関する光及び音インパクトをモニタする提案された方法の実施形態のフローチャートが、図2に示される。ステップS1において、人での環境光が時間にわたりキャプチャされる。平行して、ステップS2において、人での周囲音が時間にわたりキャプチャされる。ステップS3においてチェックされる、キャプチャされた環境光の輝度が輝度レベルを超える場合、及び/又はキャプチャされた周囲音の音レベルが音閾値を超える場合、ステップS4において、トリガ信号が生成され、出される。ステップS5において、受信したトリガ信号に基づき、トリガ信号を受信する時間瞬間の周りでキャプチャされる環境光及び周囲音の断片が記録される。最終的に、ステップS6において、環境光及び周囲音の格納された断片がレビューされる。これは、レビューされた断片に格納される環境光及び周囲音の根本原因を識別し、識別された根本原因によりもたらされる斯かる光及び/又は音を回避する方法を示すガイダンス情報を得ることを可能にする。
【0063】
本発明が図面及び前述の説明において、詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
【0064】
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
【0065】
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な非一時的な媒体に格納/配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
【0066】
請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。
図1
図2