▶ フィリップス ライティング ホールディング ビー ヴィの特許一覧
特表2023-542620感染症状を示す個人を検出及び追跡するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-11
(54)【発明の名称】感染症状を示す個人を検出及び追跡するためのシステム及び方法
(51)【国際特許分類】
G16H 50/80 20180101AFI20231003BHJP
G08B 31/00 20060101ALI20231003BHJP
G06T 7/00 20170101ALI20231003BHJP
【ＦＩ】
G16H50/80
G08B31/00 Z
G06T7/00 660B
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023513150
(86)(22)【出願日】2021-08-09
(85)【翻訳文提出日】2023-04-18
(86)【国際出願番号】 EP2021072158
(87)【国際公開番号】W WO2022043040
(87)【国際公開日】2022-03-03
(31)【優先権主張番号】63/070,518
(32)【優先日】2020-08-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】20197477.1
(32)【優先日】2020-09-22
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＤＡＬＩ
(71)【出願人】
【識別番号】516043960
【氏名又は名称】シグニファイ ホールディング ビー ヴィ
【氏名又は名称原語表記】ＳＩＧＮＩＦＹ ＨＯＬＤＩＮＧ Ｂ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ４８，５６５６ ＡＥ Ｅｉｎｄｈｏｖｅｎ，Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100163821
【弁理士】
【氏名又は名称】柴田 沙希子
(72)【発明者】
【氏名】ヤダブ ダクシャ
(72)【発明者】
【氏名】カウル ヤスリーン
(72)【発明者】
【氏名】マーディザデハグダム シャヒーン
【テーマコード（参考）】
5C087
5L096
5L099
【Ｆターム（参考）】
5C087AA02
5C087AA03
5C087AA04
5C087AA09
5C087AA24
5C087AA25
5C087BB18
5C087BB74
5C087DD03
5C087EE18
5C087FF01
5C087FF02
5C087FF04
5C087GG09
5C087GG66
5C087GG70
5L096BA02
5L096CA02
5L096DA02
5L096HA11
5L096KA04
5L099AA15
(57)【要約】
空間において感染症状を示す人を検出及びローカライズするためのシステムが提供される。システムは、空間及び空間における複数のコネクテッドセンサの位置情報を受けるように構成されるユーザインターフェースを含み、複数のコネクテッドセンサは、感染症状を示す人からのセンサ信号を捕捉するように構成される。システムはさらに、複数のコネクテッドセンサからの捕捉されたセンサ信号を信頼値に基づいて選択される少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）モデルに入力するように構成されるプロセッサを含み、プロセッサはさらに、有症者をロケーティングするように構成される。システムはさらに、プロセッサに接続される及び空間内の感染症状を示す人のロケーションを表示するように構成されるグラフィカルユーザインターフェースを含む。
【特許請求の範囲】
【請求項1】
空間において感染症状を示す人を検出及びローカライズするためのシステムであって、当該システムは、前記空間及び前記空間における複数のコネクテッドセンサの位置情報を受けるように構成されるユーザインターフェースであって、前記複数のコネクテッドセンサは、人に関するセンサ信号を捕捉するように構成される、ユーザインターフェースと、
前記複数のコネクテッドセンサ及び前記ユーザインターフェースに関連するプロセッサであって、前記プロセッサは、第１、第２及び第３の畳み込みニューラルネットワーク（ＣＮＮ）モデルのうちの少なくとも１つのＣＮＮモデル並びに前記複数のコネクテッドセンサからの捕捉されたセンサ信号に少なくとも部分的に基づいて人が感染症状を示しているかどうかを検出するように構成され、前記少なくとも１つのＣＮＮモデルは、前記第１のＣＮＮモデルの出力に関連する信頼値に基づいて選択され、前記プロセッサはさらに、前記空間における感染症状を示す人をロケーティングするように構成される、プロセッサと、
前記プロセッサに接続される及び前記空間内の感染症状を示す人のロケーションを表示するように構成されるグラフィカルユーザインターフェースと、
を含み、
前記プロセッサは、前記複数のコネクテッドセンサの第１のタイプのセンサからの捕捉されたセンサ信号を前記第１のＣＮＮモデルに入力するように構成され、
前記プロセッサは、前記複数のコネクテッドセンサの第１及び第２のタイプのセンサからの捕捉されたセンサ信号を前記第２のＣＮＮモデルに入力するように構成され、
前記プロセッサは、前記複数のコネクテッドセンサの第２のタイプのセンサからの捕捉されたセンサ信号を前記第３のＣＮＮモデルに入力するように構成される、システム。
【請求項2】
当該システムは、前記プロセッサと通信するイルミネーションデバイスを含み、前記イルミネーションデバイスは、前記空間に配置され、前記空間において感染症状を示すものとして検出された人のロケーションを他者に通知するために少なくとも１つの光効果を提供するように構成される、請求項１に記載のシステム。
【請求項3】
前記光効果は色の変化を含む、請求項２に記載のシステム。
【請求項4】
前記イルミネーションデバイスは照明器具である、請求項２又は３に記載のシステム。
【請求項5】
前記第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第１の所定の閾値を満たす関連する信頼値とを含み、前記少なくとも１つのＣＮＮモデルは、前記第１のＣＮＮモデルを含み、前記プロセッサは、前記複数のコネクテッドセンサの第１のタイプのセンサからの捕捉されたセンサ信号を前記第１のＣＮＮモデルに入力するように構成される、請求項１乃至４のいずれか一項に記載のシステム。
【請求項6】
前記第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも前記第１の所定の閾値を満たさないが、少なくとも前記第１の所定の閾値より小さい第２の所定の閾値を満たす関連する信頼値とを含み、前記少なくとも１つのＣＮＮモデルは、前記第２のＣＮＮモデルを含み、前記プロセッサは、前記複数のコネクテッドセンサの第１及び第２のタイプのセンサからの捕捉されたセンサ信号を前記第２のＣＮＮモデルに入力するように構成される、請求項５に記載のシステム。
【請求項7】
前記プロセッサは、前記第２のタイプのセンサからの信号の一部が前記第１のタイプのセンサからの信号を補完するように前記第１及び第２のタイプのセンサからの捕捉されたセンサ信号を融合するように構成される、請求項６に記載のシステム。
【請求項8】
前記第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも前記第２の所定の閾値を満たさない関連する信頼値とを含み、前記少なくとも１つのＣＮＮモデルは、前記第３のＣＮＮモデルを含み、前記プロセッサは、前記複数のコネクテッドセンサの第２のタイプのセンサからの捕捉されたセンサ信号を前記第３のＣＮＮモデルに入力するように構成される、請求項６に記載のシステム。
【請求項9】
複数のコネクテッドセンサを有する空間において１つ以上の感染症状を示す１人以上の人を識別するための方法であって、前記複数のコネクテッドセンサは、１人以上の人に関するセンサ信号を捕捉するように構成され、当該方法は、ユーザに関連するモバイルデバイスのユーザインターフェースによって、空間における１人以上の人が１つ以上の感染症状を示しているかどうかを決定するように構成されるプロセッサを含むシステムから感染症状存在情報を要求するステップと、
前記ユーザインターフェースによって、ユーザからの入力を受けるステップであって、前記入力は第１のユーザ許容レベルを含む、ステップと、
前記システムのプロセッサが、第１、第２及び第３の畳み込みニューラルネットワーク（ＣＮＮ）モデルのうちの少なくとも１つのＣＮＮモデル並びに前記複数のコネクテッドセンサからの捕捉されたセンサ信号に少なくとも部分的に基づいて１人以上の人が１つ以上の感染症状を示しているかどうかを検出するステップであって、前記少なくとも１つのＣＮＮモデルは、前記第１のＣＮＮモデルの出力に関連する信頼値に基づいて選択され、
信頼レベルが前記第１のユーザ許容レベルに従って選択され、
前記プロセッサは、前記複数のコネクテッドセンサの第１のタイプのセンサからの捕捉されたセンサ信号を前記第１のＣＮＮモデルに入力するように構成され、前記プロセッサは、前記複数のコネクテッドセンサの第１及び第２のタイプのセンサからの捕捉されたセンサ信号を前記第２のＣＮＮモデルに入力するように構成され、前記プロセッサは、前記複数のコネクテッドセンサの第２のタイプのセンサからの捕捉されたセンサ信号を前記第３のＣＮＮモデルに入力するように構成される、ステップと、
前記ユーザインターフェースによって、前記システムから、前記空間内の１人以上の人のうちの少なくとも１人が１つ以上の感染症状を示しているというインディケーションを受けるステップであって、前記インディケーションは、前記第１のユーザ許容レベルに従って選択される信頼レベルに基づく、方法。
【請求項10】
当該方法は、前記ユーザインターフェースによって、前記空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを受けるステップと、
前記空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを他者に通知するために前記システムのプロセッサと通信するイルミネーションデバイスによって少なくとも１つの光効果を提供するステップと、
を含む、請求項９に記載の方法。
【請求項11】
前記第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第１の所定の閾値を満たす関連する信頼値とを含み、前記少なくとも１つのＣＮＮモデルは、前記第１のＣＮＮモデルを含み、少なくとも１つのプロセッサは、前記複数のコネクテッドセンサの第１のタイプのセンサからの捕捉されたセンサ信号を前記第１のＣＮＮモデルに入力するように構成される、請求項９に記載の方法。
【請求項12】
前記第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも前記第１の所定の閾値を満たさないが、少なくとも前記第１の所定の閾値より小さい第２の所定の閾値を満たす関連する信頼値とを含み、前記少なくとも１つのＣＮＮモデルは、前記第２のＣＮＮモデルを含み、少なくとも１つのプロセッサは、前記複数のコネクテッドセンサの第１及び第２のタイプのセンサからの捕捉されたセンサ信号を前記第２のＣＮＮモデルに入力するように構成される、請求項１１に記載の方法。
【請求項13】
前記第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも前記第２の所定の閾値を満たさない関連する信頼値とを含み、前記少なくとも１つのＣＮＮモデルは、前記第３のＣＮＮモデルを含み、少なくとも１つのプロセッサは、前記複数のコネクテッドセンサの第２のタイプのセンサからの捕捉されたセンサ信号を前記第３のＣＮＮモデルに入力するように構成される、請求項１２に記載の方法。
【請求項14】
当該方法は、前記ユーザインターフェースによって、前記第１のユーザ許容レベルを、前記第１のユーザ許容レベルとは異なる第２のユーザ許容レベルに変更するステップを含む、請求項９に記載の方法。
【請求項15】
当該方法は、前記ユーザインターフェースによって、前記空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを受けるステップと、
前記ユーザインターフェースを介して、前記空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを避ける前記空間内の少なくとも１つのルートをレンダリングするステップと、
を含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、商業的及び／又は公共的環境における効果的なリソース管理のために病気の症状を示す個人を検出及び追跡するためのシステム及び方法に関する。より具体的には、本開示は、インターネットオブシングス（ＩｏＴ）システムを使用してオーディオ及びビデオセンサを組み込む並びにビデオフレームを使用して個人を追跡することにより、身体に音又は動きを出させ得る病気の症状を示す個人を検出するためのシステム及び方法に関する。
【背景技術】
【0002】
さまざまな呼吸器疾患が、世界のさまざまな地域における人々に一般的になっている。例えば、インフルエンザは、典型的には患者の鼻、喉、肺を侵す伝染性の呼吸器ウイルス疾患である。また、新型コロナウイルス（ＣＯＶＩＤ－１９）パンデミックは、咳、息切れ、喉の痛み等の症状を引き起こし、症状は、ウイルスに感染してから２～１４日後に示されることがある。これらの疾患は伝染性が高く、人々は感染に気づかないことがあるため、これらの症状を迅速且つ正確に検出するためのシステム及び方法を開発することが極めて重要である。
【0003】
スーパーマーケット及び空港等、人通りの多い環境において、咳及びくしゃみ等の症状を示す人がいることがあり、これは他の人を心配させることになり得る。この点から、潜在的感染エリアを検出及び消毒することは、店舗又は公共の場のポリシーたりうる。さらに、強制予防規制(mandatory prevention regulation)が、政府によって実施されることがある。残念ながら、空港、スーパーマーケット、駅等の公共の場でこのようなルールを実施することは、技術的に困難であり得る。難しい側面の１つは、予防及びソーシャルディスタンスのためにできるだけ早く当局及び公衆に通知することである。
【0004】
したがって、商業的及び／又は公共的環境において病気の症状（例えば、ウイルス及び細菌感染並びに呼吸器疾患）を示す個人を検出及び追跡する並びに当局及び公衆に通知するための改善されたシステム及び方法が当技術分野において緊急に必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、商業的環境における効果的なリソース管理(effective resource management)のために、咳、くしゃみ、及び伝染性感染症の他の症状の出どころ(source)をローカライズ(localize)及び追跡するための発明的なシステム及び方法に関する。一般に、本開示の実施形態は、インターネットオブシングス（ＩｏＴ）システムにオーディオ及びビデオセンサを組み込む並びにビデオフレームを使用して個人を追跡することにより、呼吸器疾患の症状を示す個人を検出するための改善されたシステム及び方法に関する。出願人は、入力データの補完的なソースなしにオーディオ信号を使用することは、特にオーディオ信号がノイジーである場合にくしゃみ及び咳等の症状を検出するには不十分であり得ることを認識し、理解している。本明細書におけるさまざまな実施形態及び実装形態は、マイクロフォンからのオーディオ信号を使用して症状を特定する、及び、オーディオデータが不十分である場合、症状を特定するためにカメラ及びサーモパイルセンサからの追加の信号を使用する方法に関する。マイクロフォン、カメラ、及びサーモパイルセンサは、屋内施設内の複数のデバイスのコネクテッドネットワーク(connected network of multiple devices)における発光デバイスに組み込まれる、又は発光デバイスに追加される。ディープラーニングモデルが、潜在的な症状を特定するために異なる症状に対して訓練され、後に、特定されるべき症状のラベル付きサンプルの必要性を低減するためにフィーチャアグリゲーション技術(feature aggregation technique)を使用する。コネクテッド照明システム(connected lighting system)は、症状が検出され次第視覚的な通知を提供することができる。自動クリーニング若しくは消毒及び／又は他の適切なアクションのために当局に通知されることができる。
【課題を解決するための手段】
【0006】
一般に、一態様において、空間において感染症状を示す人を検出及びローカライズする(localize)ためのシステムが提供される。システムは、空間及び空間における複数のコネクテッドセンサ(connected sensor)の位置情報(position information)を受けるように構成されるユーザインターフェースを含む。複数のコネクテッドセンサは、人に関するセンサ信号を捕捉するように構成される。システムはさらに、複数のコネクテッドセンサ及びユーザインターフェースに関連するプロセッサを含み、プロセッサは、第１、第２及び第３の畳み込みニューラルネットワーク(convolutional neural network)（ＣＮＮ）モデルのうちの少なくとも１つのＣＮＮモデル並びに複数のコネクテッドセンサからの捕捉されたセンサ信号に少なくとも部分的に基づいて人が感染症状を示しているかどうかを検出するように構成され、少なくとも１つのＣＮＮモデルは、第１のＣＮＮモデルの出力に関連する信頼値(confidence value)に基づいて選択される。プロセッサはさらに、空間における感染症状を示す人をロケーティングする(locate)ように構成される。システムはさらに、プロセッサに接続される及び空間内の感染症状を示す人のロケーション(location)を表示するように構成されるグラフィカルユーザインターフェースを含む。
【0007】
ある実施形態では、システムはさらに、プロセッサと通信するイルミネーションデバイス(illumination device)を含み、イルミネーションデバイスは、空間に配置され、空間において感染症状を示す人のロケーションを他者に通知するために少なくとも１つの光効果(light effect)を提供するように構成される。
【0008】
ある実施形態では、光効果は、色の変化を含む。
【0009】
ある実施形態では、第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第１の所定の閾値を満たす関連する信頼値とを含み、少なくとも１つのＣＮＮモデルは、第１のＣＮＮモデルを含み、プロセッサは、複数のコネクテッドセンサの第１のタイプのセンサからの捕捉されたセンサ信号を第１のＣＮＮモデルに入力するように構成される。
【0010】
ある実施形態では、第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第１の所定の閾値を満たさないが、少なくとも第１の所定の閾値より小さい第２の所定の閾値を満たす関連する信頼値とを含み、少なくとも１つのＣＮＮモデルは、第２のＣＮＮモデルを含み、プロセッサは、複数のコネクテッドセンサの第１及び第２のタイプのセンサからの捕捉されたセンサ信号を第２のＣＮＮモデルに入力するように構成される。ある実施形態では、プロセッサは、第２のタイプのセンサからの信号の一部が第１のタイプのセンサからの信号を補完するように第１及び第２のタイプのセンサからの捕捉されたセンサ信号を融合する(fuse)ように構成される。
【0011】
ある実施形態では、第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第２の所定の閾値を満たさない関連する信頼値とを含み、少なくとも１つのＣＮＮモデルは、第３のＣＮＮモデルを含み、プロセッサは、複数のコネクテッドセンサの第２のタイプのセンサからの捕捉されたセンサ信号を第３のＣＮＮモデルに入力するように構成される。
【0012】
ある実施形態では、部分的に述べたように、第１のタイプのセンサは、第２のタイプのセンサと異なる。例えば、第１のタイプのセンサはオーディオセンサであってもよく、第２のタイプのセンサはビデオセンサ、又は熱センサであってもよい。
【0013】
ある実施形態では、イルミネーションデバイスは、照明器具であってもよい。ある実施形態では、イルミネーションデバイスは、消毒アクション(disinfection action)が決定されるまで少なくとも１つの光効果を維持するように構成されてもよい。例えば、本発明によるプロセッサ、又はイルミネーションデバイスと通信する異なるプロセッサは、消毒アクションを決定し、前記消毒アクションを示す信号をイルミネーションデバイスに伝えるように構成されてもよく、イルミネーションデバイスは、前記信号を受信し、前記少なくとも１つの光効果を提供するのを停止してもよく、又は前記信号は、前記少なくとも１つの光効果を提供するのを停止するよう前記イルミネーションデバイスを制御するように構成されてもよい。したがって、前記信号は、「少なくとも１つの光効果をオフにする(turn off the at least one light effect)」制御信号であってもよい。これは、消毒アクションが決定される場合、システムは少なくとも１つの光効果をレンダリングしなくなり、空間は可能性のある感染(possible infection)から安全であると見なされることを可能にする。 一般に、別の態様において、空間において１つ以上の感染症状を示す１人以上の人を識別するための方法が提供される。空間は、１人以上の人に関するセンサ信号を捕捉するように構成される複数のコネクテッドセンサを含む。方法は、空間における１人以上の人が１つ以上の感染症状を示しているかどうかを決定するように構成されるプロセッサを有するシステムから感染症状存在情報(infectious symptom presence information)を要求するステップと、ユーザに関連するモバイルデバイスのユーザインターフェースによって、ユーザからの入力を受けるステップであって、入力は第１のユーザ許容レベル(user tolerance level)を含む、ステップと、ユーザに関連するモバイルデバイスのユーザインターフェースによって、空間内の人のうちの少なくとも１人が１つ以上の感染症状を示しているというインディケーション(indication)を受けるステップとを含む。インディケーションは、第１のユーザ許容レベルに従って選択される信頼レベル(confidence level)に基づく。システムは、第１、第２及び第３の畳み込みニューラルネットワーク（ＣＮＮ）モデルのうちの少なくとも１つのＣＮＮモデル並びに複数のコネクテッドセンサからの捕捉されたセンサ信号に少なくとも部分的に基づいて１人以上の人が１つ以上の感染症状を示しているかどうかを検出するように構成され、少なくとも１つのＣＮＮモデルは、第１のＣＮＮモデルの出力に関連する信頼値に基づいて選択される。
【0014】
ある実施形態では、方法はさらに、ユーザに関連するモバイルデバイスのユーザインターフェースによって、空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを受けるステップと、空間において１つ以上の感染症状を示す１人以上の人のロケーションを他者に通知するためにシステムのプロセッサと通信するイルミネーションデバイスによって少なくとも１つの光効果を提供するステップとを含む。
【0015】
ある実施形態では、第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第１の所定の閾値を満たす関連する信頼値とを含み、少なくとも１つのＣＮＮモデルは、第１のＣＮＮモデルを含み、少なくとも１つのプロセッサは、複数のコネクテッドセンサの第１のタイプのセンサからの捕捉されたセンサ信号を第１のＣＮＮモデルに入力するように構成される。
【0016】
ある実施形態では、第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第１の所定の閾値を満たさないが、少なくとも第１の所定の閾値より小さい第２の所定の閾値を満たす関連する信頼値とを含み、少なくとも１つのＣＮＮモデルは、第２のＣＮＮモデルを含み、少なくとも１つのプロセッサは、複数のコネクテッドセンサの第１及び第２のタイプのセンサからの捕捉されたセンサ信号を第２のＣＮＮモデルに入力するように構成される。
【0017】
ある実施形態では、第１のＣＮＮモデルの出力は、第１の予測ラベルと、少なくとも第２の所定の閾値を満たさない関連する信頼値とを含み、少なくとも１つのＣＮＮモデルは、第３のＣＮＮモデルを含み、少なくとも１つのプロセッサは、複数のコネクテッドセンサの第２のタイプのセンサからの捕捉されたセンサ信号を第３のＣＮＮモデルに入力するように構成される。
【0018】
ある実施形態では、方法はさらに、ユーザインターフェースによって、第１のユーザ許容レベルを、第１のユーザ許容レベルとは異なる第２のユーザ許容レベルに変更するステップを含む。
【0019】
ある実施形態では、方法はさらに、ユーザに関連するモバイルデバイスのユーザインターフェースによって、空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを受けるステップと、ユーザインターフェースを介して、空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを避ける空間内の少なくとも１つのルートをレンダリングするステップとを含む。
【0020】
一般に、さらなる態様において、人が感染症状を示しているかどうかを決定する方法が提供される。方法は、新しい症状の陽性クラス(positive class)からのサンプル、新しい症状の陰性クラス(negative class)からのサンプル、及びクエリ信号を受けるステップと、特徴抽出モジュールによって、新しい症状の陽性クラスのサンプル、新しい症状の陰性クラスのサンプル、及びクエリ信号から特徴を抽出するステップと、特徴集約モジュール(feature aggregation module)によって、クエリ信号と新しい症状の陽性クラスのサンプルからの特徴を集約して陽性クラス特徴表現(positive class feature representation)を生成するステップと、特徴集約モジュールによって、クエリ信号と新しい症状の陰性クラスのサンプルからの特徴を集約して陰性クラス特徴表現(negative class feature representation)を生成するステップと、比較モジュールによって、陽性クラス特徴表現及び陰性クラス特徴表現を受けるステップと、比較モジュールによって、クエリ信号が陽性クラス特徴表現又は陰性クラス特徴表現のどちらに類似するかを判断するステップとを含む。
【0021】
様々な実装形態において、本明細書で述べられるプロセッサは、ソフトウェア命令を実行するように構成される１つ以上のプロセッサ又はマイクロコントローラ、回路、１つ以上のコントローラ、フィールドプログラマブルゲートアレイ（ＦＧＰＡ）、又は特定用途向け集積回路（ＡＳＩＣ）等、任意の適切な形態をとってもよい。プロセッサに関連付けられるメモリは、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、若しくはダイナミックＲＡＭ（ＤＲＡＭ）等の揮発性メモリ、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリ、又は他の非一時的機械可読記憶媒体を含む、任意の適切な形態又は複数の形態をとってもよい。用語「非一時的(non-transitory)」は、一時的な信号を除くことを意味するが、可能なストレージの形態をさらに限定するものではない。一部の実装形態では、これらの記憶媒体は、１つ以上のプロセッサ及び／又はコントローラ上で実行されると、本明細書で論じられる機能の少なくとも一部を実行する、１つ以上のプログラムでエンコードされてもよい。プロセッサが、本明細書で述べられる機能の１つ以上をハードウェアで実装する実施形態では、他の実施形態でそのような機能に対応するものとして述べられるソフトウェアは省略されてもよいことは明らかであろう。様々な記憶媒体は、プロセッサ内に固定されてもよく、又は、それらの記憶媒体に記憶されている１つ以上のプログラムが、本明細書で論じられる様々な態様を実施するためにプロセッサにロードされることができるように、可搬性であってもよい。タグ及びセンサによって収集されるデータを分析するために必要なアルゴリズム又はソフトウェア等のデータ及びソフトウェア、オペレーティングシステム、ファームウェア、又は他のアプリケーションが、メモリにインストールされてもよい。
【0022】
上述の概念と、以下でより詳細に論じられる追加的概念との全ての組み合わせは（そのような概念が互いに矛盾しないという条件下で）、本明細書で開示される発明の主題の一部であると想到される点を理解されたい。特に、本開示の最後に記載されている特許請求される主題の全ての組み合わせは、本明細書で開示される発明の主題の一部であると想到される。
【図面の簡単な説明】
【0023】
図面中、同様の参照文字は、一般に、異なる図の全体にわたって同じ部分を指す。また、図面は、必ずしも縮尺通りではなく、その代わり一般的に、開示の原理を例示することに重点が置かれている。
【発明を実施するための形態】
【0024】
本開示は、コネクテッド照明システムにオーディオ及びビデオセンサを組み込む及びビデオフレームを使用して有症者を追跡することにより商業環境において有症者を検出及び追跡するためのシステム及び方法の様々な実施形態を述べる。出願人は、信頼値に基づいて選択される適切な畳み込みニューラルネットワーク（ＣＮＮ）を利用する動的症状検出システム(dynamic symptom detection system)を使用して症状を識別することが有益であることを認識し、理解している。異なるＣＮＮは、異なるデータで、及びこれらが少ない訓練サンプルしか必要としないようなやり方で訓練される。斯くして、ＣＮＮは、新しい症状に対して迅速に適応されることができる。出願人はまた、有症者を追跡するためにリカレントニューラルネットワーク(recurrent neural network)と共に訓練されたＣＮＮを利用することが有益であることを認識し、理解している。通知が、本開示の実施形態において適切なアクションを取るためにプロパティマネージャ又はアドミニストレータに送られることができる。適切なアクションには、ターゲット消毒(targeted disinfection)、特定の関心エリアへのアクセス制限等が含まれてもよい。通知は、コネクテッド照明システムによって提供される光効果を使用して有症者の近傍にいる他者に提供されることもできる。
【0025】
本開示は、マルチグリッド及びコネクテッドアーキテクチャ（例えば、コネクテッド照明インフラストラクチャ）に既に配置されているイルミネーションデバイスを利用することにより症状検出及び追跡センサの分散ネットワークを提供するためのシステム及び方法の様々な実施形態を述べる。このような既存のインフラストラクチャは、本明細書で述べられる追加の検出、追跡、及び通知機能のためのバックボーンとして使用されることができる。ＳｉｇｎｉｆｙのＳｌｉｍＢｌｅｎｄ（登録商標）吊り下げ型照明器具は、本明細書で述べられるマイクロフォン、カメラ、及びサーモパイル赤外線センサ等の組み込みＩｏＴセンサを備える適切なイルミネーションデバイスの一例である。ある実施形態では、イルミネーションデバイスは、レシーバ及びセンサ等のためのＵＳＢタイプのコネクタスロットを含む。センサレディインターフェース(sensor ready interface)を含むイルミネーションデバイスは、特に適しており、給電、照明器具の機能へのＤＡＬＩ(Digital Addressable Lighting Interface)接続性、及び標準化されたスロットジオメトリを既に提供する。天井埋め込み型又は表面取り付け型照明器具、吊り下げ型照明器具、壁取り付け型照明器具、及び床自立型照明器具等を含む、コネクテッド又はコネクタブル、及びセンサ対応である任意のイルミネーションデバイスが企図されていることを理解されたい。サーモパイル赤外線センサを含む吊り下げ型照明器具又は床自立型照明器具は、センサが人間のより近くに配置され、人々のより高い温度を検出することができるので有利である。さらに、サーモパイルセンサの分解能は、約３ｍの天井高さに取り付けられる天井埋め込み型又は表面取り付け型照明器具内に取り付けられるサーモパイルセンサの分解能よりも低くすることができる。
【0026】
本明細書で用いられる「照明器具(luminaire)」という用語は、同じ又は異なるタイプの１つ以上の光源を含む装置を指す。所与の照明器具は、（複数の）光源のための様々な取り付け構成、エンクロージャ／ハウジングの様々な構成及び形状、並びに／又は電気的及び機械的接続の様々な構成の任意のものを有してもよい。さらに、所与の照明器具は、任意選択的に、（複数の）光源の動作に関連する様々な他の構成要素（例えば、制御回路）に関連付けられてもよい（例えば、含んでもよく、結合されてもよく、及び／又は一体にパッケージ化されてもよい）。また、光源は、限定するものではないが、指示、表示、及び／又は照明を含む様々な用途に対し構成されてもよいことを理解されたい。
【0027】
図１を参照すると、空間における有症者をローカライズ及び追跡するためのシステム及び方法を示すフローチャートの概略図が提供される。フローチャートは、空間１０において感染症状を示す人Ｐを検出及びローカライズするためのシステム１を含み、システム１は、センサ信号及びデータ捕捉システム(sensor signal and data capturing system)１００と、動的症状検出システム(dynamic symptom detection system)１５０と、追跡システム(tracking system)１７０と、通知システム(notification system)１９０とを含む。センサ信号及びデータ捕捉システム１００は、イルミネーションデバイス１０２と、マイクロフォンセンサ１０４、画像センサ１０６（例えば、カメラ）、及びマルチピクセルサーモパイル赤外線センサ１０８等のオンボードセンサとを含むコネクテッド照明システムを含む。オンボードセンサは、ある実施形態では、ＺｉｇＢｅｅ（登録商標）トランシーバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）ラジオ、光センサ、及びＩＲレシーバを含むこともできることを理解されたい。動的症状検出システム１５０は、システム１００からの入力ソース（オーディオ、オーディオ＋補完的なビデオデータ、又はビデオデータ）を動的に選択し、選択された信号を適切な畳み込みニューラルネットワーク（ＣＮＮ）モデルに入力するように構成される。ある実施形態では、３つの別個のＣＮＮモデル、すなわち、オーディオ入力のための１つ、オーディオ＋補完的なビデオ入力のための１つ、及びビデオ入力のための別の１つがあり、各々が、従来のＣＮＮモデルよりも少ない訓練サンプルしか必要としないように症状検出のために訓練されている。追跡システム１７０は、ビデオフレームを使用して有症者を検出及びローカライズするように構成される。通知システム１９０は、建物管理者及び付近の他の占有者に通知するためにコネクテッド照明システムインフラストラクチャを使用するように構成される。これらのシステム及び方法は、以下でより詳細に述べられる。
【0028】
センサ信号及びデータ捕捉システム１００は、空間１０における症状ローカリゼーション(symptom localization)のための照明ＩｏＴシステムとして具現化される。システム１００は、コネクテッドセンサ（例えば、アドバンストセンサバンドル(advanced sensor bundle)（ＡＳＢ）を備える１つ以上のオーバーヘッドコネクテッド照明ネットワークを含む。オーバーヘッドコネクテッド照明ネットワーク(overhead connected lighting network)は、ネットワークに結合される２つ以上のデバイスの間での（例えば、デバイス制御、データ記憶、データ交換等のための）情報の伝送を容易にする（コントローラ又はプロセッサを含む）２つ以上のデバイスの任意の相互接続を指す。２つ以上のデバイスを相互接続するための任意の適切なネットワークは、任意の適切なトポロジ及び任意の適切な通信プロトコルを含むことが企図される。ＡＳＢのセンシングケイパビリティは、建物空間１０内の有症者を正確に検出及び追跡するために使用される。照明ＩｏＴシステム１００は、典型的なオフィス環境、ホテル、食料品店、空港、又は任意の適切な代替物に構成されることができることを理解されたい。
【0029】
照明ＩｏＴシステム１００は、１つ以上の発光ダイオード（ＬＥＤ）を含んでもよいイルミネーションデバイス１０２を含む。ＬＥＤは、１つ以上の光源ドライバによって特定の特性（すなわち、色強度及び色温度）の光を発するように駆動されるように構成される。ＬＥＤは、アクティブ（すなわち、オン）、非アクティブ（すなわち、オフ）、又は係数ｄ（０≦ｄ≦１）によって調光されてもよい。値ｄ＝０は、ＬＥＤがオフされることを意味し、ｄ＝１は、ＬＥＤがその最大照明にあることを表す。イルミネーションデバイス１０２は、対称的なグリッドに配置されてもよく、又は、例えば、線形、矩形、三角形、又は円形パターンに配置されてもよい。代替的に、イルミネーションデバイス１０２は、任意の不規則なジオメトリで配置されてもよい。オーバーヘッドコネクテッド照明ネットワークは、建物屋内空間全体をカバーするために十分に密なセンサネットワークを提供するために、イルミネーションデバイス１０２、ＡＳＢのセンサの中でも特に、マイクロフォンセンサ１０４、画像センサ１０６、サーモパイルセンサ１０８を含むことを理解されたい。一部の実施形態では、イルミネーションデバイス１０２、マイクロフォンセンサ１０４、画像センサ１０６、及びサーモパイルセンサ１０８はすべて一緒に統合され、有線又はワイヤレス接続を介して単一のデバイス内で通信するように構成されるが、他の実施形態では、マイクロフォンセンサ１０４、画像センサ１０６、及びサーモパイルセンサ１０８のいずれか１つ以上がイルミネーションデバイス１０２とは別個であり、有線又はワイヤレス接続を介してイルミネーションデバイス１０２と通信することも可能である。
【0030】
イルミネーションデバイス１０２は、１つ以上のＬＥＤの点滅(flashing)及び／又は１つ以上のＬＥＤの色の１つ以上の変化を含むことができる１つ以上の可視照明効果１０５を提供するように配置される。１つ以上のＬＥＤの点滅は、ある期間に規則的な間隔であるレベルで１つ以上のＬＥＤをアクティブにすること及びＬＥＤがアクティブである規則的な間隔間で１つ以上のＬＥＤを非アクティブ又はある量調光することを含むことができる。点滅する場合、ＬＥＤは任意の特定のレベル又は複数のレベルでアクティブになることができることを理解されたい。また、ＬＥＤは不規則な間隔で及び／又は時間の長さを増加若しくは減少させて点滅することができることも理解されたい。１つ以上のＬＥＤは、色の１つ以上の変化を含む可視照明効果も提供することができ、又は代替的に提供することができる。色変化は、１つ以上の強度レベルで生じることができる。イルミネーションデバイス１０２は、図１Ａに示されるように中央コントローラ１１２によって制御されることができる。例えば、本明細書で述べられるように、コントローラ１１２は、システムが人Ｐが呼吸器疾患の症状を示したと決定した後に人Ｐが位置すると決定される場所に基づいてイルミネーションデバイス１０２を一緒に又は個別に制御することができる。例示的な実施形態では、コントローラ１１２は、イルミネーションデバイス１０２のＬＥＤを、デフォルト設定から、当該エリアで払われる必要がある注意のレベルを示す１つ以上の色に変更させることができる。例えば、システムが、人Ｐが５０％の信頼レベルで症状を示していると決定する場合、人Ｐを囲むイルミネーションデバイスは、黄色に変化するように構成されることができる。システムが、人Ｐが９５％の信頼レベルで症状を示していると決定する場合、人Ｐを囲むイルミネーションデバイスは、赤色に変化するように構成されることができる。上述した黄色及び赤色の代わりに、任意の色が使用され得ることも理解されたい。さらに、ＬＥＤのスペクトルパワー分布は、コントローラ１１２によって調整されることができる。任意の適切な照明特性は、コントローラ１１２によって制御されることができる。
【0031】
コントローラ１１２は、ネットワークインターフェース１２０、メモリ１２２、及び１つ以上のプロセッサ１２４を含む。ネットワークインターフェース１２０は、コネクテッド照明器具が、同じワイヤレスプロトコル標準規格を利用するモバイルデバイス７００を含む他のデバイスと及び互いにワイヤレスで通信すること及び／又はネットワークアクティビティを監視することを可能にする、及び、コントローラ１１２が、コネクテッドセンサ１０４、１０６、及び１０８からデータを受信することを可能にするワイヤレストランシーバ又は任意の他のデバイスとして具現化されることができる。ある実施形態では、ネットワークインターフェース１２０は、有線通信リンクを使用してもよい。メモリ１２２及び１つ以上のプロセッサ１２４は、イルミネーションデバイス１０２の動作を制御、監視、及び／又は支援する、及び、本明細書で述べられるコントローラ１１２の他の機能を実行するための当技術分野における任意の適切な形態をとってもよい。プロセッサ１２４はまた、メモリ１２２に記憶された命令を実行する、又は、例えば、本明細書で述べられる方法の１つ以上のステップを実行するためにデータを処理することが可能である。プロセッサ１２４は、例えば、システム１００のデータ捕捉モジュール、システム１５０の動的症状検出モジュール、システム１７０の追跡モジュール、システム１９０の通知モジュール、及びシステム２００の特徴抽出２０８、特徴集約２１０及び比較２１２モジュール等、１つ以上のモジュールを含んでもよい。
【0032】
図１及び１Ａに示されるように、マイクロフォンセンサ１０４、カメラセンサ１０６、及びマルチピクセルサーモパイルセンサ１０８は、病気の兆候を示す人Ｐからセンサ信号を検出するように構成される。マイクロフォンセンサ１０４は、人Ｐからの音からオーディオデータＡＤを捕捉することができる。カメラセンサ１０６は、人Ｐのビデオデータを捕捉することができる。サーモパイルセンサ１０８は、人Ｐからの温度感受性放射(temperature-sensitive radiation)を捕捉することができる。追加のセンサも使用されることができる。例えば、１つ以上の前方監視型赤外線(forward-looking infrared)（ＦＬＩＲ）サーマルカメラが、人Ｐの体温を測定するために使用されることができる。イルミネーションデバイス、並びにマイクロフォン、カメラ、及びサーモパイルセンサは、空間内の特定の固定ロケーションに配置されるので、それらの固定ロケーションの位置情報は、ローカルに及び／又はメモリ１２２に記憶されることができる。
【0033】
図２に使用されるように、動的症状検出システム１５０は、照明ＩｏＴシステム１００から捕捉されるデータに依存して、捕捉されたデータが症状を示しているか否かを判断する際にバイナリ分類(binary classification)を実行する。具体的には、動的症状検出システム１５０は、バイナリ分類のためにオーディオＣＮＮモデル１５４への入力としてマイクロフォン信号を使用する。オーディオＣＮＮモデル１５４は、予測ラベル(predicted label)（例えば、症状か否か）を、予測ラベルにおけるモデルの信頼性(confidence)を示す信頼値とともに出力する。この信頼値を使用して、以下の３つのシナリオがある。
【0034】
第１のシナリオは、オーディオＣＮＮモデル１５４が高信頼値１５６Ａで予測ラベルを出力する場合に生じる。モデルがその予測について高い信頼性を有する場合、システムは、この出力をそのまま使用する（例えば、システムは、オーディオＣＮＮモデル１５８Ａのバイナリ分類の結果を出力する）。ある実施形態では、高信頼値１５６Ａは、所定の閾値に対して測定されることができる。信頼値１５６Ａが所定の閾値以上である場合、信頼値１５６Ａは、高信頼値又は十分に信頼できる値として適格である(qualify)。十分に信頼できる値(sufficiently confident value)は、オーディオ信号が、症状予測を形成するためにそれ自体で十分であることを意味する。
【0035】
第２のシナリオは、オーディオＣＮＮモデル１５４が中信頼値１５６Ｂで予測ラベルを出力する場合に生じる。言い換えれば、第２のシナリオにおいて、オーディオＣＮＮモデル１５４は、第１のシナリオにおける高信頼値よりも小さい信頼値で予測ラベルを出力する。例えば、信頼値１５６Ｂは、第１のシナリオで述べられる所定の閾値より小さく、低信頼レベルを示す別の低い所定の閾値以上であることができる。信頼値１５６Ｂが第１のシナリオで使用される所定の閾値未満であり、低信頼レベルを示すために使用される別の所定の閾値を超える場合、信頼値１５６Ｂは、中信頼値として適格である。このシナリオにおいて、オーディオ信号ＡＤは、カメラからのデータと融合され、この融合されたデータは、バイナリ分類のためにオーディオ＋カメラＣＮＮモデルに送られる。この第２のシナリオでは、システムは、オーディオ＋カメラＣＮＮモデル１５８Ｂのバイナリ分類の結果を出力する。ある実施形態では、使用されるカメラデータの量は、フルカメラデータではなくオーディオデータを補完するのに必要な量に限定されることを理解されたい。この第２のシナリオは、オーディオ信号がノイジーである可能性があり、モデルの信頼性がカメラからの追加データを活用することによって向上されることができる場合にとりわけ有利であり得る。
【0036】
第３のシナリオは、オーディオＣＮＮモデル１５４が低信頼値１５６Ｃで予測ラベルを出力する場合に生じる。言い換えれば、第３のシナリオにおいて、オーディオＣＮＮモデル１５４は、第２のシナリオで述べられる低信頼レベルを示す低い所定の閾値よりも小さい信頼値で予測ラベルを出力する。信頼レベル１５６Ｃが低い所定の閾値未満である場合、信頼値１５６Ｃは、低信頼値として適格であり、オーディオデータは、症状について結論を出すには不十分である。このシナリオでは、オーディオデータの代わりに、カメラからのデータが使用される。カメラデータは、バイナリ分類のためにカメラＣＮＮモデルに送られる。この第３のシナリオでは、システムは、カメラＣＮＮモデル１５８Ｃのバイナリ分類の結果を出力する。
【0037】
上記で示されるように、動的症状検出システム１５０を使用して、潜在的有症者(potentially symptomatic person)の機敏で、適応的で、正確なローカリゼーション(agile, adaptive, and precise localization)が提供される。
【0038】
オーディオＣＮＮモデル、オーディオ＋カメラＣＮＮモデル、及びカメラＣＮＮモデルは、Ｏｘｆｏｒｄ Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ（ＶＧＧ）、Ｉｎｃｅｐｔｉｏｎ等の典型的なＣＮＮアーキテクチャと比較して改善されたアーキテクチャを有する。典型的なＣＮＮアーキテクチャは、その精度レベルを達成するために大量の訓練データを必要とする。しかしながら、このような大量の訓練データは、症状分類を訓練するのに利用可能ではない可能性があり、訓練するのに多大な時間を要する可能性がある。本開示では、オーディオＣＮＮモデル、オーディオ＋カメラＣＮＮモデル、及びカメラＣＮＮモデルは、（少なくとも１つの症状を示す）陽性クラスの少ないサンプルのみを用いて訓練される。
【0039】
以下は、少ないサンプルで人が感染症状を示しているかどうかを決定するために図２のＣＮＮモデルを使用するプロセス２００及び４００を示す図３及び図４を考慮して理解されるべきである。第１のステップにおいて、陽性クラス（＋）２０２からのサンプル、陰性クラス（－）２０４からのサンプル、及びクエリ信号（？）２０６（例えば、潜在的症状(potential symptom)のオーディオ信号）が、特徴抽出モジュール２０８に送られる。クエリ信号（？）は、オーディオＣＮＮモデルのための潜在的症状のオーディオ信号であるが、オーディオ＋カメラＣＮＮモデルのためのクエリ信号（？）は、潜在的症状の融合されたオーディオ及びカメラデータの信号であり、カメラＣＮＮモデルのためのクエリ信号（？）は、潜在的有症者のカメラ信号であることを理解されたい。陽性クラス（＋）２０２からのサンプルは、実際の症状を示す特徴を含み、陰性クラス（－）２０４からのサンプルは、そのような特徴を有さない。斯くして、オーディオＣＮＮモデルのために、陽性クラス（＋）２０２からのサンプルは、少なくとも１つの実際の症状の特徴を有するオーディオ信号を含むサンプルであり、オーディオ＋カメラＣＮＮモデルのために、陽性クラス（＋）２０２からのサンプルは、少なくとも１つの実際の症状の特徴を有する融合されたオーディオ及びカメラデータを含むサンプルであり、カメラＣＮＮモデルのために、陽性クラス（＋）２０２からのサンプルは、少なくとも１つの実際の症状の特徴を有するカメラデータを含むサンプルであることを理解されたい。オーディオＣＮＮモデル、オーディオ＋カメラＣＮＮモデル、及びカメラＣＮＮモデルのための陰性クラス（－）２０４からのサンプルは、陽性クラスのサンプルに見られる実際の症状の特徴を含まない。
【0040】
図４に使用されるように、特徴抽出モジュール２０８は、ステップ４０２において、データベース内の複数の既知の症状を用いて訓練されることができる。特徴抽出モジュールが訓練された後、ステップ４０４において、特徴抽出モジュール２０８は、上述したように陽性クラス（＋）２０２からのサンプル、陰性クラス（－）２０４からのサンプル、及びクエリ信号（？）２０６を受けるように構成される。ステップ４０６において、特徴抽出モジュール２０８は、既知の症状に基づいて陽性クラス及び陰性クラスのサンプルから特徴を抽出するように構成される。ステップ４０８及び４１０において、特徴集約モジュール２１０は、２つの特徴表現、すなわち、クエリ信号及び陽性クラスのサンプルから集約された特徴の特徴表現と、クエリ信号及び陰性クラスのサンプルから集約された特徴の特徴表現とを作成する。言い換えれば、陽性クラスのサンプルからの特徴は、第１の特徴表現を生成するためにクエリ信号と集約され、陰性クラスのサンプルからの特徴は、第２の特徴表現を生成するためにクエリ信号と集約される。
【0041】
これら２つの特徴のセットは、様々な畳み込みレイヤを含む比較モジュール２１２に送られる。ステップ４１２において、比較モジュール２１２は、第１及び第２の特徴表現を受けるように構成され、ステップ４１４において、比較モジュール２１２は、クエリ信号が第１の特徴表現又は第２の特徴表現のどちらに似ているか又は類似しているかを判断するように構成される。陽性及び陰性特徴をクエリと組み合わせるこのフォーミュレーション(formulation)に起因して、ＣＮＮモデルを訓練することは、クエリが陽性クラス（症状）又は陰性クラス（症状のない他者）のどちらに近いかを学習するために著しく少ないサンプルしか必要としない。
【0042】
図４Ａに示されるように、人が感染症状を示しているかどうかを決定する例示的なプロセス４００Ａが提供される。方法は、新しい症状の陽性クラス２０２からのサンプル、新しい症状の陰性クラス２０４からのサンプル、及びクエリ信号２０６を受けること４０２Ａから始まる。ステップ４０４Ａにおいて、方法は、特徴抽出モジュール２０８によって、陽性クラスのサンプル、陰性クラスのサンプル、及びクエリ信号から特徴を抽出することを含む。ステップ４０６Ａにおいて、方法は、特徴集約モジュール２１０によって、陽性クラス特徴表現(positive class feature representation)を生成するためにクエリ信号と陽性クラスのサンプルからの特徴を集約することを含む。方法はさらに、ステップ４０８Ａにおいて、特徴集約モジュール２１０によって、陰性クラス特徴表現(negative class feature representation)を生成するためにクエリ信号と陰性クラスのサンプルからの特徴を集約することを含む。ステップ４１０Ａにおいて、方法は、比較モジュール２１２によって、陽性クラス特徴表現及び陰性クラス特徴表現を受けることを含む。最後に、ステップ４１２Ａにおいて、方法は、比較モジュール２１２によって、クエリ信号が陽性クラス特徴表現又は陰性クラス特徴表現のどちらに類似しているかを判断することをを含む。
【0043】
動的症状検出システム１５０が、空間において症状が予測されることを明らかにした場合、カメラデータが、図５のアーキテクチャ５００に示されるように当該症状のソースを監視するために使用されることができる。アーキテクチャ５００は、上述した追跡システム１７０の一部である。ある実施形態では、人追跡(people tracking)のために訓練されるディープラーニングモデルが、ビデオフレーム５０２に対して特徴抽出を行うために使用される。特徴抽出モデル５０４は、事前に訓練されたアクティビティ検出モデル（例えば、Ｋａｎｇらによる「Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｆｒｏｍ Ｖｉｄｅｏ Ｔｕｂｅｌｅｔｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」 Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．８１７～８２５）で述べられるＶＤＥＴＬＩＢ等）で初期化され、限られた訓練サンプルで微調整される(fine-tuned)ことができる。その後、各ビデオフレームから抽出された特徴は、有症者の位置をローカライズする(localize)ためにリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）５０６に供給される。リカレントニューラルネットワーク（ＲＮＮ）では、ノード間の接続が時系列であるため、時間的に動的な挙動を示すことが可能である。ＲＮＮモジュール５０６は互いにリンクされるので、提案されたアーキテクチャ５００は、いくつかの連続したフレームのシーケンスにわたって有症者を追跡し、アクションを咳、くしゃみ等として識別することができる。
【0044】
図６に示されるように、照明ＩｏＴシステムは、上述したように埋め込みセンサを有することができ、空間内のどのエリアが使用及びナビゲートするのに安全であるか及び空間内のどのエリアが避けられるべき又は注意して近づかれるべきかを空間における他の占有者にシグナリングする(signal)ように構成されることができる。図６のイルミネーションデバイスは、上述した通知システム１９０の一部である。図６に示されるように、各コネクテッドイルミネーションデバイスは、空間１０内の１つ以上の特定のエリアに関連付けられることができる。１つ以上の特定のイルミネーションデバイス６０２は、空間内の対応するエリアが使用及びナビゲートするのに安全であるかどうかを示すために特定の色又は一連の色を発するようにコントローラ１１２によって制御されることができる。言い換えれば、追跡システム１７０で決定される有症者のロケーションに依存して、通知システム１９０のイルミネーションデバイス６０２は、空間１０内の選択されたエリアを特定の色（例えば、デフォルトの白色、緑色、又は黄色）で照らし、当該エリアが安全である又は症状がない(symptom free)ことを示すことができる。また、通知システム１９０のイルミネーションデバイス６０４は、空間１０内の選択されたエリアを特定の色（例えば、赤色又はオレンジ色）で照らし、当該エリアが安全でない又は症状がある(not symptom free)ことを示すことができる。イルミネーションデバイス６０２及び６０４は、ある実施形態では、空間１０内の選択されたエリアを規則的な間隔で照らすように構成されることができる。また、イルミネーションデバイス６０２及び６０４は、有症者が動的症状検出システム１５０で予測され、追跡システム１７０でローカライズされた場合に空間１０内の選択されたエリアを照らすように構成されることができる。他の実施形態では、イルミネーションデバイス６０２及び６０４は、（例えば、入ろうとしている又は既に空間内にいるユーザからの）要求に応じて空間内の選択されたエリアを照らすように構成されることができる。例示的な実施形態では、イルミネーションデバイス６０２及び６０４によって発せられる色に基づいて、当局及び／又は施設管理者は、例えば、消毒ルーチン又は有症者の退去を実行する等のアクションを取るように促されることができる。光の色の変化は、咳又はくしゃみ等のある望ましくないアクティビティが検出されるエリアを示すので、このような是正措置が、迅速且つ正確に講じられることができる。また、他の占有者は、頭上に赤い光がある空間に入る場合にことさら注意を払うことができる。
【0045】
本明細書述べられるように、照明ＩｏＴシステム１００のセンサは、任意の適切な有線／ワイヤレスネットワーク通信チャネルを介してプロセッサ１２４にオーディオデータ、融合オーディオ／カメラデータ、及び／又はカメラデータを送信するように構成される。ある実施形態では、センサデータは、ネットワークを通ることなくコンピュータプロセッサ１２４に直接送信されることができる。センサデータは、有線／ワイヤレス通信チャネルを介してメモリ１２２に記憶されることができる。本開示の特定の実施形態は、空間を担当するアドミニストレータのためのアドミニストレータユーザインターフェースとして有用である。本開示の他の特定の実施形態は、空間内の他の占有者のために有用である。
【0046】
アドミニストレータ及び／又は他の占有者のための実施形態において、システム１００は、追加的に、通知システム１９０の一部として任意の適切なデバイス７００を含むことができる。適切なデバイス７００は、ユーザ入力を受ける、並びに、ソフトウェアアプリケーション又はプラットフォームの形態のコンピュータプログラムプロダクトを実行及び表示することが可能である。デバイス７００は、任意の適切なデバイス、例えば、モバイルハンドヘルドデバイス、例えば、モバイルフォン、パーソナルコンピュータ、ラップトップ、タブレット、又は任意の適切な代替物であることができる。ソフトウェアアプリケーションは、本明細書で述べられるようにアドミニストレータにとって有用な情報を受ける及び／又は表示するように構成されるユーザインターフェース（ＵＩ：User Interface）を含むことができる。一例では、ソフトウェアアプリケーションは、アドミニストレータが、空間１０において動的症状検出システム１５０で検出され、追跡システム１７０でローカライズされた有症者のロケーションを可視化することを可能にするオンラインアプリケーションである。デバイス７００は、入力７０２と、プロセッサ７０６を有するコントローラ７０４と、オペレーティングシステム、並びにセンサデータ及び／又はＣＮＮモデルからの出力データ、及び／又は追跡システム１７０からの出力を記憶することができるメモリ７０８とを含む。プロセッサ７０６は、入力７０２を介して本明細書で述べられる追跡システム１７０からの出力を受けるように構成される。追跡システム１７０からの出力は、メモリ７０８に記憶されることができる。ある実施形態では、デバイス７００はまた、任意のインターネットオブシングス(Internet of Things)システムを介してセンサ信号／データ捕捉システム１００内のセンサデータを送信するために使用されることができる。デバイス７００はまた、ＡＣパワーであることができる、又は充電式バッテリからのバッテリパワーであることができるパワーソース７１０を含むことができる。デバイスはまた、コントローラ１２２のワイヤレストランシーバと通信する及び／又はコントローラ１２２のワイヤレストランシーバにデータを送信するように構成及び／又はプログラムされる接続モジュール７１２を含むことができる。ある実施形態では、接続モジュールは、インターネット又はイントラネットを通じてＷｉ－Ｆｉ（登録商標）接続を介してメモリ１２２、プロセッサ１２４、又は他のロケーションと通信することができる。代替的に、接続モジュールは、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他のワイヤレス接続を介してローカルデバイス（例えば、別個のコンピューティングデバイス）、メモリ１２２、又は他のトランシーバと通信してもよい。例えば、接続モジュールは、記憶のため又は他のユーザとデータを共有するために別個のデータベースにデータを送信することができる。ある実施形態では、アドミニストレータは、有症者のロケーションを確認する(verify)ことができ、コントローラ１２２に本明細書で述べられるようにイルミネーションデバイス１０２を制御させる（例えば、特定のエリアにおいて色を変更させる）ためにデバイス７００を使用することができる。ある実施形態では、アドミニストレータは、適切なクリーニングプロトコルが完了した後、デフォルト設定（例えば、デフォルト色）を表示するようにコントローラ１２２にイルミネーションデバイス１０２を制御させることができる。
【0047】
アドミニストレータのための実施形態において、デバイス７００は、プロセッサ７０６に関連するＵＩを含む。空間１０のフロアプラン情報は、図８に示されるようにＵＩを介してアドミニストレータによって提供されることができる。フロアプラン情報は、デバイス７００にアップロードされる画像として具現化されることができる。代替的な実施形態では、フロアプラン情報は、システムバス又は任意の適切な代替物を介してメモリ７０８から取得されることができる。ＵＩは、アドミニストレータユーザとの通信を可能にするための１つ以上のデバイス又はソフトウェアを含んでもよい。デバイスは、タッチスクリーン、キーパッド、タッチセンシティブ及び／又は物理ボタン、スイッチ、キーボード、ノブ、レバー、ディスプレイ、スピーカ、マイクロフォン、１つ以上のインジケータライト、可聴アラーム、プリンタ、及び／又は他の適切なインターフェースデバイスを含むことができる。ユーザインターフェースは、情報が伝達及び／又は受けられることを可能にする任意のデバイス又はシステムであることができ、情報の入力及び／又は選択を受けるように構成されるビュー及び／又はフィールドをアドミニストレータユーザに提示するように構成されるグラフィックディスプレイを含んでもよい。例えば、図８及び図９に示されるように、アドミニストレータユーザは、フレームワークの初期コンフィギュレーション及びインストールのためにＵＩを使用することができる。図示されるように、ＵＩは、空間１０のフロアプラン情報、センサロケーション、及びデフォルトパラメータを設定するための機能性を提供することができる。初期コンフィギュレーションは、ある実施形態では、空間１０において実行される。ＵＩは、システムの１つ以上のコンポーネント（例えば、プロセッサ７０６）内に位置してもよく、又は、システム１００からリモートに位置し、有線／ワイヤレス通信チャネルを介してシステムと通信してもよい。図９では、アドミニストレータは、ＵＩを介して空間１０のフロアプラン内のセンサＳの位置情報を入力することができる。代替的な実施形態では、センサＳの位置情報は、メモリ７０８又はメモリ１２２から取得されることができる。図１０に示されるように、通知システム１９０の通知は、ＵＩを介してアドミニストレータに表示されることができる。ある実施形態において、図１０に描かれる各「Ｘ」は、動的症状検出システム１５０で検出され、追跡システム１７０でローカライズされた有症者を示す。図１０に示されるＵＩを使用して、アドミニストレータは、あらゆる潜在的な感染移動(potential infection transfer)のロケーションを可視化する(visualize)ことができ、これらのエリアで必要な消毒プロトコルを実施することができる。
【0048】
空間１０の他の占有者のための実施形態において、デバイス７００のＵＩは、空間の他の占有者が本明細書で述べられるシステムとインタラクトする(interact)ことができるように構成されることができる。図１１に示されるように、顧客／ユーザは、上述したようなフロアプラン情報及びセンサ情報を持つ空間１０に入る場合、他の占有者(occupant)及び症状検出予測を可視化するためにデバイス７００のＵＩを利用することができる。さらに、顧客／ユーザは、各症状検出予測に関連する信頼値を可視化することもできる。図１１に示されるように、別の占有者が、空間１０において、上述した動的症状検出システムを用いて該占有者から症状が発せられたことが検出されたという表記(notation)とともに見ることができる(visible)。また、表記には、上述した動的症状検出システムからの症状検出予測に関連する信頼値（例えば、９０％）が含まれる。
【0049】
ある実施形態では、図１１のＵＩとインタラクトする占有者は、自身の許容レベルを入力する及び／又は自身の許容レベルを変更することができる。許容レベルは、健康又は免疫の自身の知覚レベルに直接関連することができる。図１１に示されるように、ユーザは、０～１００の範囲のうち７５の許容レベル(tolerance level)を入力している。許容レベルは、図１１に示されるように数値であることができ、又はパーセント値若しくはある範囲の値であってもよいことを理解されたい。ある実施形態では、許容レベルはまた、ユーザの許容又は快適レベルを示す順序尺度等の非数値尺度であってもよい。ユーザが０～１００の範囲のうち０の許容レベルを入力する場合、ユーザは、潜在的な感染移動のいかなる量に対しても許容がないことを意味する。ユーザが０の許容レベルを入力する場合、ＵＩは、信頼レベルに関係なく、予測された症状のソースであると見なされるすべての占有者を表示することになる。ユーザが０～１００の範囲のうち１００の許容レベルを入力する場合、ユーザは、潜在的な感染移動のいかなる量も許容することができる(tolerate)ことを意味する。ユーザが１００の許容レベルを入力する場合、ＵＩは、信頼レベルに関係なく、予測された症状のソースであると見なされるすべての占有者を表示しないことになる。
【0050】
ある実施形態では、図１１のＵＩは、症状予測に関連する信頼値がユーザの許容レベル以上である場合、予測された症状のソースであると見なされる占有者を表示するように構成される。許容レベルは、１対１の関係で信頼値に関連付けられることができる。斯くして、例示的な実施形態では、５０の許容レベルは、５０％の信頼レベルに対応し、６５の許容レベルは、６５％の信頼レベルに対応し、等々である。例示的な実施形態では、１～１０の範囲のうちの５の許容レベルは、０～１００％の範囲内の５０～５９％の信頼レベルに対応する。斯くして、単一の許容レベルは、複数の信頼レベルに対応することができる。例示的な実施形態では、許容範囲が提供されることができ（例えば、５０～７５）、斯かる範囲は、０～１００％の範囲内の５０～７５％の信頼レベル、又は信頼値範囲がより小さい、例えば、０～６０である場合、３０～４５に対応することができる。斯くして、許容値範囲は、信頼値範囲と等しくなることができ、又は許容値範囲は、信頼値範囲より小さく若しくは大きくなることができる。
【0051】
図１１では、空間における占有者が、予測された症状に関連する信頼値が９０％であり、９０％はユーザの許容レベル７５を超えているので、該占有者は予測された症状のソースであるという表記でユーザに表示される。２人の占有者がＵＩを介して空間に表示され、両方の占有者が予測された症状のソースであると見なされる場合、値がユーザの許容レベル以上である限り、両方とも、症状予測に関連する同じ又は異なる信頼値で表示されることができる。例えば、一方の表記は、他方の表記に関連する信頼値よりも高い信頼値を有することができる。２つの信頼値の一方が７５％であり、他方が９５％である場合、ユーザは、信頼値７５％のエリアが、信頼値９５％のエリアよりもリスクが低いと決断することができる。また、ユーザは、信頼値９５％のエリアを避けることを決断することができる。ある実施形態では、ＵＩはまた、潜在的な感染移動に対して脆弱なエリアを避ける最適なルートをユーザに表示するように構成されることもできる。
【0052】
図１２を参照すると、空間において１つ以上の感染症状を示す１人以上の人を識別するための方法１０００が提供される。方法は、ステップ１００２において、顧客／ユーザが、空間における他の占有者に関するセンサ信号を捕捉するように構成される複数のコネクテッドセンサを有する空間に入る場合に開始される。顧客／ユーザは、本明細書で述べられるシステム１とインタラクトするように構成されるモバイルデバイスをもって空間に入る。
【0053】
方法のステップ１００４において、顧客／ユーザは、空間における他の占有者が感染症状を示しているかどうかを決定するように構成されるプロセッサを有するシステム（例えば、システム１）から感染症状存在情報(infectious symptom presence information)を要求する。システムは、上述した少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）モデル及びコネクテッドセンサからの捕捉されたセンサ信号に少なくとも部分的に基づいて空間における他の占有者が症状を示しているかどうかを検出するように構成される。第１、第２、及び第３のＣＮＮモデルのうちの少なくとも１つのＣＮＮモデルは、第１のＣＮＮモデルの出力に関連する信頼値に基づいて選択される。
【0054】
方法のステップ１００６において、顧客／ユーザは、自身が携帯しているモバイルデバイスに関連するＵＩを使用して第１のユーザ許容レベルを入力する。
【0055】
方法のステップ１００８において、顧客／ユーザは、ユーザのモバイルデバイスのＵＩによって、空間における占有者の少なくとも１人が感染症状を示しているというインディケーションを受ける。インディケーションは、第１のユーザ許容レベルに従って選択される少なくとも１つのＣＮＮモデルからの関連する信頼レベルに基づく。
【0056】
方法のステップ１０１０において、顧客／ユーザは、ユーザのモバイルデバイスのＵＩによって、空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを受ける。
【0057】
方法のステップ１０１２において、少なくとも１つの光効果が、空間において１つ以上の感染症状を示すものとして検出された１人以上の人のロケーションを他者に通知するためにシステム１のプロセッサと通信するイルミネーションデバイスによって提供される。
【0058】
方法のステップ１０１４において、顧客／ユーザは、ユーザのモバイルデバイスのＵＩによって、空間において１つ以上の感染症状を示す１人以上の人のロケーションを避ける空間内の少なくとも１つのルートを受ける。
【0059】
有利なことに、本明細書で述べられるシステム及び方法は、マイクロフォン及びカメラ等のコネクテッドセンサ及び動的症状検出システムを利用することにより有症者の改善されたローカライズ及び追跡を提供する。動的症状検出システムは、信頼値によって選択される畳み込みニューラルネットワーク（ＣＮＮ）モデルを利用する。異なるＣＮＮは、マイクロフォン信号、カメラデータ、又はマイクロフォン及びカメラ信号の融合で訓練される。ＣＮＮは、少ない訓練サンプルしか必要としないように訓練されるため、十分に大きな訓練データを有さない新しい症状にも迅速に適応されることができる。症状のインスタンス(instance)が検出され次第、有症者は、リカレントニューラルネットワークと共に人を追跡するために訓練されたＣＮＮモデルを使用して追跡されることができる。通知が、適切なアクションを取るためにプロパティマネージャ又はアドミニストレータに送られることができる。また、通知は、有症者と空間を共有している人々にも送られることができる。
【0060】
また、そうではないことが明確に示されない限り、２つ以上のステップ又は行為を含む、本明細書で特許請求されるいずれの方法においても、その方法のステップ又は行為の順序は、必ずしも、その方法のステップ又は行為が列挙されている順序に限定されるものではないことも理解されるべきである。
【0061】
本明細書で定義及び使用されるような、全ての定義は、辞書定義、参照により組み込まれる文書中での定義、及び／又は定義される用語の通常の意味を支配するように理解されるべきである。
【0062】
不定冠詞「ａ」及び「ａｎ」は、本明細書及び請求項において使用されるとき、そうではないことが明確に示されない限り、「少なくとも１つ」を意味するように理解されるべきである。
【0063】
語句「及び／又は」は、本明細書及び請求項において使用されるとき、そのように結合されている要素の「いずれか又は双方」、すなわち、一部の場合には接続的に存在し、他の場合には離接的に存在する要素を意味するように理解されるべきである。「及び／又は」で列挙されている複数の要素は、同じ方式で、すなわち、そのように結合されている要素のうちの「１つ以上」として解釈されるべきである。「及び／又は」の節によって具体的に特定されている要素以外の他の要素は、具体的に特定されているそれらの要素に関連するか又は関連しないかにかかわらず、オプションとして存在してもよい。
【0064】
本明細書及び請求項において使用されるとき、「又は」は、上記で定義されたような「及び／又は」と同じ意味を有するように理解されるべきである。例えば、リスト内の項目を分離する際、「又は」又は「及び／又は」は、包括的であるとして、すなわち、少なくとも１つを含むが、また、いくつかの要素又は要素のリストのうちの２つ以上を、オプションとして、列挙されていない追加項目も含むとして解釈されるものとする。その反対が明確に示される、「～のうちの１つのみ」若しくは「～のうちの厳密に１つ」、又は請求項で使用される場合の「～から成る」等の用語のみが、いくつかの要素又は要素のリストのうちの厳密に１つを含むことに言及する。一般に、用語「又は」は、本明細書で使用されるとき、「～のいずれか」、「～のうちの１つ」、「～のうちの１つのみ」、又は「～のうちの厳密に１つ」等の、排他性の用語に先行する場合にのみ、排他的選択肢（すなわち、「一方又は他方であるが、双方ではない」）を示すとして解釈されるものとする。
【0065】
本明細書及び請求項において使用されるとき、１つ以上の要素のリストを参照する語句「少なくとも１つ」は、その要素のリスト内の要素の任意の１つ以上から選択された、少なくとも１つを意味するが、必ずしも、その要素のリスト内で具体的に列挙されているそれぞれの要素のうちの、少なくとも１つを含むものではなく、その要素のリスト内の要素の、任意の組み合わせを排除するものではないことが理解されるべきである。この定義はまた、語句「少なくとも１つ」が言及する、その要素のリスト内で具体的に特定されている要素以外の要素が、具体的に特定されているそれらの要素に関連するか又は関連しないかにかかわらず、オプションとして存在してもよいことも可能にする。
【0066】
特許請求の範囲においても上記明細書においても、「備える」、「含む」、「担持する」、「有する」、「含有する」、「関与する」、「保持する」、「～で構成される」等のすべての移行句は、非制限的、すなわち、含むがそれに限定されないことを意味すると理解されるべきである。「～からなる」及び「本質的に～からなる」といった移行句のみが、それぞれ、クローズド(closed)又は半クローズド(semi-closed)移行句である。
【0067】
いくつかの発明実施形態が、本明細書で説明及び図示されてきたが、当業者は、本明細書で説明される機能を実行するための、並びに／あるいは、その結果及び／又は利点のうちの１つ以上を得るための、様々な他の手段及び／又は構造体を、容易に構想することとなり、そのような変形態様及び／又は修正態様は、本明細書で説明される発明実施形態の範囲内にあるものと見なされる。より一般的には、本明細書で説明される全てのパラメータ、寸法、材料、及び構成は、例示であることが意図されており、実際のパラメータ、寸法、材料、及び／又は構成は、本発明の教示が使用される特定の用途に応じて変化することを、当業者は容易に理解するであろう。当業者は、通常の実験のみを使用して、本明細書で説明される特定の発明実施形態に対する、多くの等価物を認識し、又は確認することが可能であろう。それゆえ、上述の実施形態は、例としてのみ提示されており、添付の請求項及びその等価物の範囲内で、具体的に説明及び特許請求されるもの以外の発明実施形態が実践されてもよい点を理解されたい。本開示の発明実施形態は、本明細書で説明される、それぞれの個別の特徴、システム、物品、材料、キット、及び／又は方法を対象とする。更には、２つ以上のそのような特徴、システム、物品、材料、キット、及び／又は方法の任意の組み合わせは、そのような特徴、システム、物品、材料、キット、及び／又は方法が相互に矛盾しない場合であれば、本開示の発明の範囲内に含まれる。
【図1】
【図1A】
【図2】
【図3】
【図4】
【図4A】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】