(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-16
(54)【発明の名称】ウェアラブルを必要としない床上検出のためのシステムと方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20220909BHJP
G06T 7/00 20170101ALI20220909BHJP
G06V 10/82 20220101ALI20220909BHJP
A61B 5/11 20060101ALI20220909BHJP
A61B 5/107 20060101ALI20220909BHJP
A61B 5/00 20060101ALI20220909BHJP
【FI】
G06T7/70 Z
G06T7/00 350C
G06V10/82
A61B5/11 200
A61B5/107 300
A61B5/00 102A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022501229
(86)(22)【出願日】2020-07-17
(85)【翻訳文提出日】2022-01-11
(86)【国際出願番号】 US2020042585
(87)【国際公開番号】W WO2021011889
(87)【国際公開日】2021-01-21
(32)【優先日】2019-07-18
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-02-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519025965
【氏名又は名称】アトラス5ディー, インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】バーサニック, ジョナサン エス.
(72)【発明者】
【氏名】シュバリエ, ティモシー ダブリュー.
(72)【発明者】
【氏名】キンメル, ゼバダイア エム.
【テーマコード(参考)】
4C038
4C117
5L096
【Fターム(参考)】
4C038VA04
4C038VA16
4C038VB01
4C038VB15
4C038VB40
4C038VC05
4C117XA07
4C117XB04
4C117XE43
4C117XE52
5L096AA06
5L096BA02
5L096CA05
5L096DA02
5L096FA60
5L096FA66
5L096FA67
5L096HA11
(57)【要約】
本明細書に提示されるのは、例えば、転倒または床への降下の他の手段の後など、ヒトまたは他のオブジェクトが床上にあることを検出するためのシステム及び方法である。開示された技術は、動きの履歴的な軌跡を必要とせず、また、開示された技術は、装着デバイスを必要としない。検出は、視覚データや深度データなどの環境データを使用して対象の構成を決定することによって実行される。装着されたセンサを必要とせずに、オブジェクトが床上にあることを検出する方法は、コンピューティングデバイスのプロセッサによって、環境データを受信することと、プロセッサによって、1つまたは複数のオブジェクトを環境データ内で自動的に識別することと、プロセッサによって、1つまたは複数のオブジェクトのそれぞれの構成を環境データ内で自動的に識別することと、プロセッサによって、オブジェクトのそれぞれに対する床上の状態を自動的に決定することと、を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
装着されたセンサを必要とせずに、オブジェクトが床上にあることを検出する方法であって、
コンピューティングデバイスのプロセッサによって、環境データを受信することと、
前記プロセッサによって、1つまたは複数のオブジェクトを前記環境データ内で自動的に識別することと、
前記プロセッサによって、前記1つまたは複数のオブジェクトのそれぞれの構成を前記環境データ内で自動的に識別することと、
前記プロセッサによって、前記1つまたは複数のオブジェクトのそれぞれに対する床上の状態を自動的に決定することと、
を含む、前記方法。
【請求項2】
前記環境データが、視覚データ、空間データ、温度データ、深度データのうちの1つまたは複数である、請求項1に記載の方法。
【請求項3】
前記1つまたは複数のオブジェクトを自動的に識別することは、機械学習、深層学習、パターン認識、ニューラルネットワークのうちの1つまたは複数を利用する、請求項1または請求項2に記載の方法。
【請求項4】
前記オブジェクトがヒト、動物、及び無生物のうちの1つまたは複数である、先行請求項のいずれか1項に記載の方法。
【請求項5】
前記それぞれの構成が、重心、姿勢、アスペクト比、関節の位置のうちの1つまたは複数によって決定される、先行請求項のいずれか1項に記載の方法。
【請求項6】
前記床上の状態が、少なくとも部分的に、前記床の近くの前記オブジェクトによる近接の持続時間によって決定される、先行請求項のいずれか1項に記載の方法。
【請求項7】
床面ではなく非床面(例えば、ソファなど)が使用される、先行請求項のいずれか1項に記載の方法。
【請求項8】
個人データまたはプライベートデータが前記環境データから削除される、先行請求項のいずれか1項に記載の方法。
【請求項9】
前記オブジェクトが床または他の表面に転倒したヒトである、先行請求項のいずれか1項に記載の方法。
【請求項10】
前記オブジェクトによって装着されたセンサを必要とせずに、ヒトなどのオブジェクトの床上の状態を検出するためのシステムであって、
周囲センサと、
プロセッサと、
その上に命令を記憶するメモリであって、前記命令は、前記プロセッサによって実行されるとき、前記プロセッサに、
環境データを受信することと、
前記環境内の1つまたは複数のオブジェクトを自動的に識別することと、
各オブジェクトの構成を自動的に識別することと、
各オブジェクトの床上の状態を自動的に決定することと、
を実行させる、前記メモリと、
を備える、前記システム。
【請求項11】
前記環境データが、視覚データ、空間データ、温度データ、深度データのうちの1つまたは複数である、請求項10に記載のシステム。
【請求項12】
前記1つまたは複数のオブジェクトを自動的に識別することは、機械学習、深層学習、パターン認識、ニューラルネットワークのうちの1つまたは複数を利用する、請求項10または請求項11に記載のシステム。
【請求項13】
前記オブジェクトが、ヒト、動物、及び無生物のうちの1つまたは複数である、請求項10~12のいずれか1項に記載のシステム。
【請求項14】
前記それぞれの構成が、重心、姿勢、アスペクト比、関節の位置のうちの1つまたは複数によって決定される、請求項10~13のいずれか1項に記載のシステム。
【請求項15】
前記床上の状態が、少なくとも部分的に、前記床の近くの前記オブジェクトによる近接の持続時間によって決定される、請求項10~14のいずれか1項に記載のシステム。
【請求項16】
床面ではなく非床面(例えば、ソファなど)が使用される、請求項10~15のいずれか1項に記載のシステム。
【請求項17】
個人データまたはプライベートデータが前記環境データから削除される、請求項10~16のいずれか1項に記載のシステム。
【請求項18】
前記オブジェクトが床または他の表面に転倒したヒトである、請求項10~17のいずれか1項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年7月18日出願の米国仮特許出願第62/875,899号及び2020年2月28日出願の米国仮特許出願第62/983,472号の利益を主張するものであり、これらは各々、参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、例えば、オブジェクトが転倒した後、または人が床にしゃがんだ後など、一般に、オブジェクト(人、動物、または他のオブジェクトなど)が直立ではなく床上にあることを検出するためのシステム及び方法に関する。
【背景技術】
【0003】
高齢化が進む中、在宅の高齢者や病院の患者など、人の転倒を自動検知することが活発な研究分野となっている。
【0004】
転倒自体は人を傷つけない。むしろ、1)例えば骨折を引き起こすなど、地面に衝突すること、または2)例えば意識を失うかまたは空腹の間に長期間床で身動きが取れなくなること、のいずれかから怪我が生じる。
【0005】
転倒が起こった可能性があることを検出するために使用される多くの方法、装置、及びシステムがある。これらには通常、ウェアラブル、軌道追跡、またはその両方が含まれる。しかし、前述の転落に関する情報がない場合に人が床に位置する可能性があることを検出できる解決策は、あるとしてもごくわずかである。
【0006】
人が転倒せずに床に居ることになってしまい得る多くの場合がある。例えば、(糖尿病性低血糖症などで)失神しそうになっていることに気づき、意識を失う前に自発的に地面にしゃがむ場合がある。例えば、床にしゃがんで日常の作業を行った後、上がる力が不足していることに気付く場合がある。例えば、座っている人が意識や筋緊張を失い、椅子やソファからゆっくりと床に滑り落ちる可能性がある。一般に、床上検出の解決策では、虚弱な人が床上に位置することになっている(身動きが取れなくなる可能性がある)という多くの重要な状況に対処できない。
【0007】
装着デバイス(「ウェアラブル」)には、運動学的センサ、生体力学的センサ、加速度計、さらには気圧センサが含まれる。このようなシステムでは、転倒の検出には、装着デバイスからのデータの受信と正確な分析が必要である。このデータは、例えば、経時的なデバイスの位置、速度、及び/または加速度を含み得る。このデータは、状況に応じて、床への降下を示している可能性がある。例えば、2018年7月12日に出願された米国特許公開第2018-0333083号は、転倒が発生したかどうかを判定するためにデータを継続的にキャプチャ及び分析するように構成された患者ウェアラブルデバイスを使用した転倒予測及び予防に関連するシステム及び方法を説明している。
【0008】
転倒検出デバイスによって収集される一般的な情報は、装着しているかどうか(「周囲」)にかかわらず、時間の経過に伴う位置、速度、及び/または加速度の測定を含む。ここで、転倒の検出には、床への降下を示す測定値の変化を認識する必要がある。例えば、2017年3月1日に出願された米国特許公開第2017-0172465号は、画像に基づく個人の軌道及び加速度情報を利用して、転倒が発生しているか、または差し迫っているかを判定する、転倒を検出する方法を記載する。
【0009】
既存の解決策は、さまざまな理由で転倒検出には不十分である。例えば、多くの人は転倒検出デバイスの着用を望まないか、従うことができない。そのような個人は、それが年齢及び病気を思い出させるものとして作用するので、そのデバイスを心理的に憂うつであると感じる可能性がある。さらに、一部の個人は、デバイスを着用または再充電することを覚えていないなどの認知的課題を抱えている可能性がある。さらに、一部の個人は、デバイスを配置するための物理的手段を欠いている可能性がある。そして、地面への降下が遅いか自発的である場合、デバイスは当然のことながら失敗する。したがって、ウェアラブルへのユーザの応諾に依存する既存の解決策は、拒否されるか、実際の環境では失敗することが多い。
【0010】
床への降下を示す軌道の数は事実上無限であるため、軌道追跡を使用する既存の解決策は制限される。例えば、人は速くまたはゆっくりと、一度にまたは段階的に、立った位置からまたは座った位置から、前方、後方、または横向きに、部分的に崩れるかまたは完全に崩落するか、などの転倒の可能性がある。転倒の軌道を検出することに依存する既存の解決策は、転倒する軌道と転倒しない軌道との間を区別するため不可能を試みることによって、窮地に立たされ、効果がなくなる。また、既存の解決策では、一般的に降下が速いことがさらに要求され、床へのゆっくりとした移行を発見することができない。
【0011】
既存の解決策は通常、床への転倒のみを検出でき、他の表面への転倒は検出できない。例えば、ソファなど、床より上にあるオブジェクトに人が倒れた場合、転倒軌道の使用に依存しているため、潜在的に危険ではあるが、既存の解決策を使用して転倒が認識される可能性は低くなる。
【0012】
要約すると、最も重大なギャップは、既存の解決策では、前述の急激な転倒がない場合に、人が床に位置づけられ、身動きが取れなくなる可能性がある状況に対処しないことである。
【0013】
したがって、装着デバイスを必要とせずに床上の位置(「床上」)を検出するための改善されたシステム及び方法が必要とされている。
【0014】
この背景セクションは、明確にするために提示されており、いかなるクレームに関する先行技術の説明としても意図されていない。
【発明の概要】
【課題を解決するための手段】
【0015】
本明細書では、とりわけ、床に移動した後(転倒など)の最終状態の観察に基づいて、対象(人または動物など)が床(または同様に配置された表面)上に位置を取ったことを検出するためのシステム及び方法が提示される。この文書では、簡潔にするために「床上」という用語を使用するが、ソファの表面など、床以外の表面も含まれる。開示された技術は、先行する運動または転倒中の履歴的な軌跡を必要としない。また、開示された技術は、必要な情報が1つまたは複数の周囲センサ、例えば、表面(床など)に対して空間的に関連する物理的身体特性の周囲センサ測定(例えば、視覚データ、空間データ、温度データ、及び/または深度データ)によって取得され得るので、装着デバイスを必要としない。
【0016】
例えば、技術の特定の実施形態では、周囲センサ(例えば、深度カメラ)を使用して、部屋に関するデータを収集し、表面(例えば、床)に対する部屋内のヒトの重心を計算する。ヒトの重心が表面まで特定の距離内にあることがわかった場合、システムは、ヒトが一定期間内に表面より上の少なくとも第2の距離に上昇するかどうかを判定する。人が床まで第2の距離内に留まっている場合、所与の時間内、ヒトは床上にいると判定される。次に、技術は、さらなる行為のため、床上の位置を緊急サービスや家族などの第3者に中継する場合がある。床上の位置は、前述のように、転倒によるまたはその他の原因によるものである可能性がある。
【0017】
一態様では、本発明は、オブジェクトが床上(または別の表面上)にあることを、装着センサを必要とせずに(例えば、オブジェクトの移動の履歴的な軌跡を必要とせずに)検出する方法に関し、方法は、コンピューティングデバイスのプロセッサによって、環境データを受信することと、プロセッサによって、環境データ内で1つまたは複数のオブジェクトを自動的に識別することと、環境データ内で、プロセッサによって、1つまたは複数のオブジェクトのそれぞれの構成を自動的に識別することと、プロセッサによって、1つまたは複数のオブジェクトのそれぞれに対する床上(または表面上)の状態を自動的に決定することと、を含む。
【0018】
特定の実施形態では、環境データは、例えば、視覚データ、空間データ、温度データ、及び深度データからなる群から選択される1つまたは複数の要素を含み、環境データは、1つまたは複数のオブジェクトの、例えば、特定の瞬間に空間環境に対応する。
【0019】
特定の実施形態では、1つまたは複数のオブジェクトを自動的に識別することは、機械学習、深層学習、パターン認識、及びニューラルネットワークからなる群から選択された1つまたは複数の要素を利用する。
【0020】
特定の実施形態では、オブジェクトは、ヒト、非ヒト動物、及び無生物からなる群から選択される要素である。
【0021】
特定の実施形態では、各構成は、少なくとも部分的に、検出された重心、姿勢、アスペクト比、及び1つまたは複数の関節の位置からなる群から選択される1つまたは複数の要素を使用して決定される。
【0022】
特定の実施形態では、床上(または他の表面)状態は、少なくとも部分的に、オブジェクトと床(または他の表面)との間の検出された時間的近接期間を使用して決定される。特定の実施形態では、床面ではなく、非床面(例えば、ソファなど)が使用される。
【0023】
特定の実施形態では、個人データまたはプライベートデータ(方法を実行するシステムが検出後の識別にいて個々のオブジェクト/人を参照する、許可されたデータまたは入力されたデータ(例えば、ユーザ名、名、または他の入力された呼称)とは別の例えば、個人を識別するデータ(例えば、顔の詳細))は、環境データから削除される。特定の実施形態では、オブジェクトは、床または他の表面に転倒したヒトである。
【0024】
別の態様では、本発明は、オブジェクトが着用するセンサを必要とせずに(例えば、オブジェクトの移動の履歴的な軌跡の必要なしに)、ヒトなどのオブジェクトの床上(または他の表面)状態を検出するためのシステムに関し、システムは、周囲センサと、プロセッサと、その上に命令を記憶するメモリと、を備え、命令は、プロセッサによって実行されるとき、プロセッサに、環境データを受信することと、環境内の1つまたは複数のオブジェクトを自動的に識別することと、各オブジェクトの構成を自動的に識別することと、各オブジェクトの床上の状態を自動的に決定することと、を実行させる。
【0025】
いくつかの態様では、対象(例えば、ヒトまたは動物(例えば、猫または犬))が、ウェアラブル(例えば、対象が装着するセンサ)を必要とせずに、及び対象の転倒の軌跡を検出することなく、転倒したことを検出する方法は、コンピューティングデバイスのプロセッサによって、特定の瞬間の環境に対応する空間的に分解されたデータ(例えば、視覚データ、空間データ、温度データ、深度データ)を受信することを含む。方法は、少なくとも部分的に空間的に分解されたデータに基づいて、プロセッサによって(例えば、機械学習を使用して、パターン認識を使用して)環境内の1つまたは複数の対象を(例えば、自動的に)識別することを含み得る。方法は、プロセッサによって、(例えば、自動的に)空間的に分解されたデータに基づく1つまたは複数の対象のうちの第1の対象の構成を識別すること(例えば、(例えば、自動的に)、重心、姿勢、アスペクト比、及び第1の対象の1つまたは複数の関節位置からなる群の1つまたは複数の要素を識別すること)を含み得る。方法は、プロセッサによって、第1の対象に関して、少なくとも部分的に、第1の対象の(例えば、自動的に)識別された対象の構成に基づいて転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)決定することを含み得る。
【0026】
いくつかの実施形態では、空間的に分解されたデータは、1つまたは複数の周囲センサ(例えば、光学カメラ、ボロメータ(例えば、赤外線カメラ)、または音響センサ)から受信される。いくつかの実施形態では、この方法は、1つまたは複数の周囲センサ(例えば、光学カメラ、ボロメータ(例えば、赤外線カメラ)、または音響センサ)を使用して、プロセッサによって空間的に分解されたデータを生成することを含む。いくつかの実施形態では、転倒状態は、特定の瞬間からの期間内に決定され、その期間は2分を過ぎない(例えば、1分、30秒、15秒、10秒、5秒、または1秒を過ぎない)である。
【0027】
いくつかの実施形態では、方法は、空間的に分解されたデータからいずれかの個人を識別するデータを削除することを含む。いくつかの実施形態では、空間的に分解されたデータは、個人を識別するデータを含まない。
【0028】
いくつかの実施形態では、方法は、プロセッサによって、個人を識別するデータを含む予備的な空間的に分解されたデータを受信することを含む。この方法は、プロセッサによって、予備的な空間的に分解されたデータから個人を識別するデータを除去することによって、空間的に分解されたデータを生成することを含み得る。
【0029】
いくつかの実施形態では、空間的に分解されたデータは深度データである。いくつかの実施形態では、この方法は、空間的に分解されたデータを前処理(例えば、閾値化、サイズ変更、フィルタリング、不明瞭化、正規化)することを含む。
【0030】
いくつかの実施形態では、この方法は、プロセッサによって、転倒状態を含むアラートを送信することを含む(例えば、自動監視サービス、介護者、または緊急提供者に)。
【0031】
いくつかの実施形態では、1つまたは複数の対象は、1人または複数のヒトである。いくつかの実施形態では、対象構成は、対象の重心、姿勢、アスペクト比、及び1つまたは複数の関節位置からなる群の1つまたは複数の要素を含む。
【0032】
いくつかの態様では、対象(例えば、ヒトまたは動物(例えば、猫または犬)が、ウェアラブル(例えば、対象が装着するセンサ)を必要とせずに、及び対象の転倒の軌跡を検出することなく、転倒したことを検出するためのシステムは、周囲センサ、プロセッサ、及びその上に命令を記憶するメモリを備え、命令は、プロセッサによって実行されるとき、プロセッサに、特定の瞬間の環境に対応する空間的に分解されたデータ(例えば、視覚データ、空間データ、温度データ、深度データ)を受信させる。命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に空間的に分解されたデータに基づいて、環境内の1つまたは複数の対象を(例えば、自動的に)さらに識別させる(例えば、機械学習を使用して、パターン認識を使用して)ことができる。命令は、プロセッサによって実行されるとき、プロセッサに、(例えば、自動的に)少なくとも部分的に空間的に分解されたデータに基づく1つまたは複数の対象のうちの第1の対象の構成をさらに識別させる(例えば、(例えば、自動的に)、第1の対象の重心、姿勢、アスペクト比、及び1つまたは複数の関節位置からなる群の1つまたは複数の要素を識別する)ことができる。命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に、第1の対象の(例えば、自動的に)識別された対象の構成に基づいて、第1の対象に関して、転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)さらに決定させることができる。
【0033】
いくつかの実施形態では、周囲センサは、光学カメラ、ボロメータ(例えば、赤外線カメラ)、及び音響センサからなる群から選択される要素を含む。
【0034】
いくつかの実施形態では、対象構成は、対象の重心、姿勢、アスペクト比、及び1つまたは複数の関節位置からなる群の1つまたは複数の要素を含む。
【0035】
いくつかの実施形態では、命令は、プロセッサによって実行されるとき、プロセッサに、空間的に分解されたデータからいずれかの個人を識別するデータを削除させる。いくつかの実施形態では、命令は、プロセッサによって実行されるとき、プロセッサに、周囲センサを使用して個人を識別するデータを含む予備的な空間的に分解されたデータを受信することと、予備的な空間的に分解されたデータセットから個人を識別するデータを削除することによって、空間的に分解されたデータを生成することと、を実行させる。
【0036】
いくつかの実施形態では、空間的に分解されたデータは深度データである。いくつかの実施形態では、命令は、プロセッサによって実行されるとき、プロセッサに、空間的に分解されたデータを前処理(例えば、閾値、サイズ変更、フィルタリング、不明瞭化、正規化)させる。
【0037】
いくつかの実施形態では、命令は、プロセッサによって実行されるとき、プロセッサに、転倒状態を含むアラートを送信させる(例えば、自動監視サービス、介護者、または緊急提供者に)。
【0038】
いくつかの実施形態では、1つまたは複数の対象は、1人または複数のヒトである。
【0039】
いくつかの態様では、対象(例えば、ヒトまたは動物(例えば、猫または犬))が、ウェアラブル(例えば、対象が装着するセンサ)を必要とせずに、及び/または対象の転倒の軌跡を検出することなく、転倒したことを検出する方法は、コンピューティングデバイスのプロセッサによって、特定の瞬間の環境に対応する空間的に分解されたデータ(例えば、視覚データ、空間データ、温度データ、深度データ)を受信することを含む。方法は、少なくとも部分的に空間的に分解されたデータに基づいて、プロセッサによって(例えば、機械学習を使用して、パターン認識を使用して)環境内の1つまたは複数の対象を(例えば、自動的に)識別することを含み得る。方法は、プロセッサによって、(例えば、自動的に)少なくとも部分的に空間的に分解されたデータに基づく1つまたは複数の対象のうちの第1の対象に関して、第1の対象の構成を識別すること(例えば、(例えば、自動的に)、第1の対象の重心、姿勢、アスペクト比、及び1つまたは複数の関節位置からなる群の1つまたは複数の要素を識別すること)を含み得る。方法は、少なくとも部分的に空間的に分解されたデータに基づいて、環境内の1つまたは複数の表面(例えば、床、1つの家具の表面、階段の表面)をプロセッサによって(例えば、自動的に)識別することを含み得る。方法は、少なくとも部分的に、空間的に分解されたデータに基づいて、1つまたは複数の表面の第1の表面に関して、第1の表面構成をプロセッサによって(例えば、自動的に)識別することを含み得る。方法は、プロセッサによって、第1の対象構成及び第1の表面構成を使用して、第1の空間測定値(例えば、第1の対象と第1の表面との間の最短距離)を(例えば、自動的に)決定することを含み得る。方法は、プロセッサによって、少なくとも部分的に、(例えば、自動的に)識別された第1の対象の構成及び/または第1の空間測定値に基づいて1つまたは複数の対象の第1の対象に関して、転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)決定することを含み得る。
【0040】
いくつかの実施形態では、空間的に分解されたデータは、1つまたは複数の周囲センサ(例えば、光学カメラ、ボロメータ(例えば、赤外線カメラ)、または音響センサ)から受信される。いくつかの実施形態では、方法は、1つまたは複数の周囲センサ(例えば、光学カメラ、ボロメータ(例えば、赤外線カメラ)、または音響センサ)を使用して、プロセッサによって空間的に分解されたデータを生成することを含む。いくつかの実施形態では、1つまたは複数の周囲センサは、光学カメラ、ボロメータ(例えば、赤外線カメラ)、及び音響センサからなる群の1つまたは複数の要素を含む。
【0041】
いくつかの実施形態では、(例えば、自動的に)表面構成を決定することは、プロセッサによって、表面に垂直な表面、表面の孤立した平面、または最も低い平面を決定することを含む。
【0042】
いくつかの実施形態では、転倒状態は、特定の瞬間からの期間内に決定され、その期間は2分を過ぎない(例えば、1分、30秒、15秒、10秒、5秒、または1秒を過ぎない)である。
【0043】
いくつかの実施形態では、方法は、空間的に分解されたデータから個人を識別するデータを削除することを含む。いくつかの実施形態では、空間的に分解されたデータは、個人を識別するデータを含まない。いくつかの実施形態では、方法は、プロセッサによって、個人を識別するデータを含む予備的な空間的に分解されたデータを受信することと、プロセッサによって、予備的な空間的に分解されたデータから個人を識別するデータを削除することによって、空間的に分解されたデータを生成することを含む。
【0044】
いくつかの実施形態では、空間的に分解されたデータは深度データである。いくつかの実施形態では、方法は、空間的に分解されたデータを前処理(例えば、閾値化、サイズ変更、フィルタリング、不明瞭化、正規化)することを含む。
【0045】
いくつかの実施形態では、方法は、プロセッサによって、転倒状態を含むアラートを送信することを含む(例えば、自動監視サービス、介護者、または緊急提供者に)。
【0046】
いくつかの実施形態では、1つまたは複数の表面の少なくとも1つは床である。いくつかの実施形態では、1つまたは複数の対象は、1人または複数のヒトである。いくつかの実施形態では、表面構成は、環境内の表面の空間的位置を定義する点及び/または平面の集合を含む。
【0047】
いくつかの実施形態では、方法は、プロセッサによって、少なくとも部分的に空間的に分解されたデータに基づいて、第2の表面の第2の表面構成を(例えば、自動的に)識別することを含む。方法は、プロセッサによって、第1の対象構成及び第2の表面構成を使用して、第2の空間測定値(例えば、第1の対象と第2の表面との間の最短距離)を(例えば、自動的に)決定することを含み得る。方法は、プロセッサによって、少なくとも部分的に、第2の空間測定値に基づいて、第1の対象の転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を、(例えば、自動的に)さらに決定することを含み得る。
【0048】
いくつかの態様では、対象(例えば、ヒトまたは動物(例えば、猫または犬)が、ウェアラブル(例えば、対象が装着するセンサ)を必要とせずに、及び/または対象の転倒の軌跡を検出することなく、転倒したことを検出するためのシステムは、周囲センサ、プロセッサ、及びその上に命令を記憶するメモリを備え、命令は、プロセッサによって実行されるとき、プロセッサに、特定の瞬間の環境に対応する空間的に分解されたデータ(例えば、視覚データ、空間データ、温度データ、深度データ)を受信させる。命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に空間的に分解されたデータに基づいて、環境内の1つまたは複数の対象をプロセッサによって(例えば、機械学習を使用して、パターン認識を使用して)(例えば、自動的に)さらに識別させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、(例えば、自動的に)1つまたは複数の対象のうちの第1の対象に関する第1の対象の構成をさらに識別させること(例えば、(例えば、自動的に)、重心、姿勢、アスペクト比、及び第1の対象の1つまたは複数の関節位置からなる群の1つまたは複数の要素を識別すること)ができる。命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に、空間的に分解されたデータに基づいて、環境内の1つまたは複数の表面(例えば、床、1つの家具の表面、階段の表面)を(例えば、自動的に)さらに識別させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、1つまたは複数の表面の第1の表面の第1の表面構成を(例えば、自動的に)さらに識別させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、第1の対象構成及び第1の表面構成を使用して第1の空間測定値(例えば、第1の対象と第1の表面との間の最短距離)をさらに(例えば、自動的に)決定させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に、識別された第1の対象の構成及び/または第1の空間測定値に(例えば、自動的に)基づいて、第1の対象に関して、転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)さらに決定させることができる。
【0049】
命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に第1の表面構成に基づいて転倒状態を決定させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、表面構成を決定させることができ、決定は、表面の垂直な表面、表面の孤立した平面、または最も低い平面を決定させることを含む。
【0050】
いくつかの実施形態では、周囲センサは、光学カメラ、ボロメータ(例えば、赤外線カメラ)、及び音響センサからなる群から選択される1つまたは複数の要素を含む。命令は、プロセッサによって実行されるとき、プロセッサに、周囲センサを使用して空間的に分解されたデータを生成させることができる。
【0051】
命令は、プロセッサによって実行されるとき、プロセッサに、特定の瞬間からのある期間内の転倒状態をさらに決定させることができ、その期間は2分を過ぎない(例えば、1分、30秒、15秒、10秒、5秒、または1秒を過ぎない)である。
【0052】
命令は、プロセッサによって実行されるとき、プロセッサに、空間的に分解されたデータから個人を識別するデータをさらに削除させることができる。いくつかの実施形態では、空間的に分解されたデータは深度データである。命令は、プロセッサによって実行されるとき、プロセッサに、空間的に分解されたデータをさらに前処理(例えば、閾値、サイズ変更、フィルタリング、不明瞭化、正規化)させることができる。
【0053】
命令は、プロセッサによって実行されるとき、プロセッサに、転倒状態を含むアラートを送信させる(例えば、自動監視サービス、介護者、または緊急提供者に)ことができる。
【0054】
いくつかの実施形態では、1つまたは複数の表面の少なくとも1つは床である。いくつかの実施形態では、1つまたは複数の対象は、1人または複数のヒトである。いくつかの実施形態では、表面構成は、環境内の表面の空間的位置を定義する点及び/または平面の集合を含む。
【0055】
命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に空間的に分解されたデータに基づいて、第2の表面の第2の表面構成をさらに自動的に識別させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、第1の対象構成及び第2の表面構成を使用して第2の空間測定値(例えば、第1の対象と第2の表面との間の最短距離)をさらに自動的に決定させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に第2の空間測定値に基づいて第1の対象に関する転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を自動的にさらに決定させることができる。
【0056】
いくつかの態様では、対象(例えば、ヒトまたは動物(例えば、猫または犬))が、ウェアラブル(例えば、対象が装着するセンサ)を必要とせずに、及び/または対象の転倒の軌跡を検出することなく、転倒したことを検出する方法は、コンピューティングデバイスのプロセッサによって、特定の瞬間の環境に対応する第1の空間的に分解されたデータセット(例えば、視覚データ、空間データ、温度データ、深度データ)を受信することを含む。方法は、プロセッサによって、対象及び表面が環境内にある、対象の第1の対象構成(例えば、重心、姿勢、アスペクト比、及び第1の対象の1つまたは複数の関節位置からなる群の1つまたは複数の要素を自動的に識別すること)及び表面の第1の表面構成(例えば、床、1つの家具の表面、階段の上面)を自動的に識別することを含み得る。方法は、プロセッサによって、第1の対象構成及び第1の表面構成を使用して、第1の空間測定値(例えば、第1の対象と第1の表面との間の最短距離)を(例えば、自動的に)決定することを含み得る。方法は、プロセッサによって、第1の空間測定値が第1の条件を満たす(例えば、第1の値を超えない)かどうかを(例えば、自動的に)判定することを含み得る。方法は、プロセッサによって、第1の空間測定値が第2の条件を満たす経過時間(例えば、空間測定値が第2の値を超えない期間)に基づいて、転倒した対象に対応する転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)決定することを含み得る。
【0057】
いくつかの実施形態では、この方法は、プロセッサによって、フロアカウントの閾値(例えば、20秒、30秒、1分、5分)を超えるフロアカウントに基づいて、対象が転倒したことに対応する転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)決定することを含む。
【0058】
いくつかの実施形態では、方法は、プロセッサによって、第1の瞬間の後の期間である第2の瞬間から第2の空間的に分解されたデータセットを(例えば、自動的に)受信することを含み、対象は、第2の瞬間に環境内にいる(例えば、移動した、またはしていない)。方法は、プロセッサによって、少なくとも部分的に、第2の空間的に分解されたデータセットに基づいて、対象の第2の対象構成を(例えば、自動的に)識別することを含み得る。方法は、プロセッサによって、第2の対象構成と第1の表面構成との間の第2の空間測定値を(例えば、自動的に)決定することを含み得る。方法は、プロセッサによって、第2の空間測定値が第2の条件を満たすかどうかを(例えば、自動的に)判定することを含み得る。方法は、プロセッサによって、第2の空間測定値が第2の条件を満たす場合に、フロアカウントを(例えば、自動的に)増分することを含み得る。方法は、プロセッサによって、フロアカウントをベース値(例えば、ゼロ)に(例えば、自動的に)リセットすることを含み得る(例えば、第2の空間測定値が第2の条件を満たさなくなったが、第1の条件を満たすとき)。
【0059】
いくつかの実施形態では、第1の表面構成は、環境内の表面の空間的位置を定義する点及び/または平面の集合を含む。いくつかの実施形態では、第1の空間測定値は、表面構成及び対象構成を使用する距離(例えば、平均距離、最小距離、または最大距離)を含む。いくつかの実施形態では、空間的に分解されたデータは、1つまたは複数の周囲センサ(例えば、光学カメラ、ボロメータ(例えば、赤外線カメラ)、または音響センサ)から受信される。
【0060】
いくつかの実施形態では、方法は、プロセッサによって、1つまたは複数の周囲センサ(例えば、光学カメラ、ボロメータ(例えば、赤外線カメラ)、または音響センサ)を使用して、空間的に分解されたデータを生成することを含む。いくつかの実施形態では、方法は、空間的に分解されたデータから個人を識別するデータを削除することを含む。いくつかの実施形態では、空間的に分解されたデータは、個人を識別するデータを含まない。いくつかの実施形態では、方法は、プロセッサによって、個人を識別するデータを含む予備的な空間的に分解されたデータセットを受信することと、プロセッサによって、予備的な空間的に分解されたデータセットから個人を識別するデータを削除することによって、空間的に分解されたデータを生成することを含む。
【0061】
いくつかの実施形態では、空間的に分解されたデータは深度データである。いくつかの実施形態では、方法は、空間的に分解されたデータを前処理(例えば、閾値化、サイズ変更、フィルタリング、不明瞭化、正規化)することを含む。
【0062】
いくつかの実施形態では、方法は、プロセッサによって、転倒状態を含むアラートを送信することを含む(例えば、自動監視サービス、介護者、または緊急提供者に)。
【0063】
いくつかの実施形態では、対象はヒトである。いくつかの実施形態では、表面は床である。
【0064】
いくつかの実施形態では、(例えば、自動的に)表面構成を決定することは、プロセッサによって、表面に垂直な表面、表面の孤立した平面、または最も低い平面を決定することを含む。
【0065】
いくつかの態様では、対象(例えば、ヒトまたは動物(例えば、猫または犬)が、ウェアラブル(例えば、対象が装着するセンサ)を必要とせずに、及び/または対象の転倒の軌跡を検出することなく、転倒したことを検出するためのシステムは、周囲センサ、プロセッサ、及びその上に命令を記憶するメモリを備え、命令は、プロセッサによって実行されるとき、プロセッサに、特定の瞬間の環境に対応する空間的に分解されたデータセット(例えば、視覚データセット、空間データセット、温度データセット、深度データセット)を受信させる。命令は、プロセッサによって実行されるとき、プロセッサに、対象及び表面が環境内にある、対象の第1の対象構成(例えば、(例えば、自動的に)重心、姿勢、アスペクト比、及び第1の対象の1つまたは複数の関節位置からなる群の1つまたは複数の要素を識別する)及び表面の第1の表面構成(例えば、床、1つの家具の表面、階段の上面)を(例えば、自動的に)さらに識別させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、第1の対象構成及び第1の表面構成を使用して第1の空間測定値(例えば、第1の対象と第1の表面との間の最短距離)をさらに(例えば、自動的に)決定させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、第1の空間測定値が第1の条件を満たす(例えば、第1の距離より大きくない)かどうかをさらに(例えば、自動的に)判定させることができる。命令は、プロセッサによって実行されるとき、さらに、プロセッサに、第2の条件(例えば、第2の距離よい大きくない)が満たされたままである経過した時間に基づいて、転倒した対象に対応する転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)決定させることができる。
【0066】
命令は、プロセッサによって実行されるとき、空間測定値が引き続き第2の条件を満たす場合、プロセッサに(例えば、自動的に)フロアカウントをさらに増分させることができる。命令は、プロセッサによって実行されるとき、さらに、プロセッサに、フロアカウントの閾値を超えるフロアカウント(例えば、20秒、30秒、1分、5分)に基づいて、転倒した対象に対応する転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)決定させることができる。
【0067】
いくつかの実施形態では、周囲センサは、光学カメラ、ボロメータ(例えば、赤外線カメラ)、及び音響センサからなる群から選択される要素を含む。
【0068】
命令は、プロセッサによって実行されるとき、プロセッサに、対象が、第2の瞬間の環境内にある(例えば、移動した、またはしていない)、第1の瞬間の後の期間である第2の瞬間から第2の空間的に分解されたデータセットをさらに(例えば、自動的に)受信させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、少なくとも部分的に第2の空間的に分解されたデータセットに基づいて、対象の第2の対象構成をさらに(例えば、自動的に)識別させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、第2の対象構成と第1の表面構成との間の第2の空間測定値をさらに(例えば、自動的に)決定させることができる。命令は、プロセッサによって実行されるとき、さらに、プロセッサに、第2の空間測定値が第2の条件を満たすと、(例えば、自動的に)決定させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、第2の空間測定値が第2の条件を満たす場合、さらに(例えば、自動的に)フロアカウントを増分させることができる。
【0069】
命令は、プロセッサによって実行されるとき、プロセッサに、フロアカウントをベース値(例えば、ゼロ)にさらに(例えば、自動的に)リセットさせることができる(例えば、第2の空間測定値が第2の条件を満たさなくなったが、第1の条件を満たすとき)。
【0070】
いくつかの実施形態では、表面構成は、環境内の表面の空間的位置を定義する点及び/または平面の集合を含む。いくつかの実施形態では、第1の空間測定値は、第1の表面構成と第1の対象構成との間に距離(例えば、平均距離、最小距離、または最大距離)を含む。
【0071】
命令は、プロセッサによって実行されるとき、プロセッサに、周囲センサを使用して空間的に分解されたデータをさらに生成させることができる。命令は、プロセッサによって実行されるとき、プロセッサに、空間的に分解されたデータからいずれかの個人を識別するデータをさらに削除させることができる。いくつかの実施形態では、空間的に分解されたデータは深度データである。命令は、プロセッサによって実行されるとき、プロセッサに、空間的に分解されたデータをさらに前処理(例えば、閾値、サイズ変更、フィルタリング、不明瞭化、正規化)させることができる。
【0072】
命令は、プロセッサによって実行されるとき、プロセッサに、転倒状態を含むアラートをさらに送信させる(例えば、自動監視サービス、介護者、または緊急提供者に)ことができる。
【0073】
いくつかの実施形態では、対象はヒトである。いくつかの実施形態では、システムは、2つ以上の周囲センサを含む。いくつかの実施形態では、表面は床である。
【0074】
いくつかの実施形態では、(例えば、自動的に)表面構成を決定することは、プロセッサによって、表面に垂直な表面、表面の孤立した平面、または最も低い平面を決定することを含む。
【0075】
いくつかの態様では、対象(例えば、ヒトまたは動物(例えば、猫または犬))が、ウェアラブルまたは軌跡を必要とせずに、転倒したことを検出する方法は、コンピューティングデバイスのプロセッサによって、特定の瞬間の環境に対応する空間的に分解されたデータ(例えば、視覚データ、空間データ、温度データ、深度データ)を受信することを含む。方法は、プロセッサによって、対象と床が環境内にある、対象の対象構成(例えば、重心、姿勢、アスペクト比、及び対象の1つまたは複数の関節位置のうちの1つまたは複数)及び床の床構成を(例えば、自動的に)識別することを含み得る。方法は、プロセッサによって、対象と床との間の位置関係(例えば、床に対する対象の重心)を反映する第1の空間測定値であって、該第1の空間測定値は、(例えば、自動的に)識別された対象構成及び(例えば、自動的に)識別された床構成を使用して決定された、第1の空間測定値を(例えば、自動的に)決定することを含み得る。方法は、プロセッサによって、第1の空間測定値が第1の条件を満たす(例えば、第1の測定閾値内にある)(例えば、第1の距離より大きくない)かどうかを(例えば、自動的に)判定することを含み得る。方法は、プロセッサによって、空間測定値が第1の条件を満たしている(例えば、第1の測定閾値内にある)場合(例えば、満たしているとき)、(例えば、自動的に)フロアカウントを増分することを含み得る。方法は、プロセッサによって、フロアカウントがフロアカウント閾値を超えたことに基づいて、転倒した対象に対応する転倒状態(例えば、対象が転倒したか否かに対応するバイナリ状態)を(例えば、自動的に)決定することを含み得る。
【0076】
いくつかの実施形態では、方法は、対象が環境内にいる(例えば、移動したか移動していない)、第1の瞬間の後の期間である、第2の瞬間から第2の空間的に分解されたデータを(例えば、自動的に)受信することをさらに含む。方法は、プロセッサによって、少なくとも部分的に、第2の空間的に分解されたデータに基づいて、対象の第2の対象構成を(例えば、自動的に)識別することを含み得る。方法は、プロセッサによって、第2の対象構成とフロア構成を使用して第2の空間測定値を(例えば、自動的に)決定することを含み得る。方法は、プロセッサによって、第2の空間測定値が第2の条件を満たしているかどうか(例えば、第2の測定閾値内にある(例えば、それは、第1の測定閾値と同じかまたは異なる(例えば、より大きいまたはより小さい))(例えば、第1の条件と同じかまたは異なる)を(例えば、自動的に)判定することを含み得る。
【0077】
方法は、プロセッサによって、第2の空間測定値が第2の条件を満たしている(例えば、第2の測定閾値内にある)場合、(例えば、自動的に)フロアカウントを増分することを含み得る。いくつかの実施形態では、方法は、プロセッサによって、第2の空間測定値が第2の条件を満たす(例えば、第2の測定閾値内にある)ことを(例えば、自動的に)決定すること、及びプロセッサによってフロアカウントを(例えば、自動的に)増分することを含む。
【0078】
いくつかの実施形態では、方法は、プロセッサによって、第2の空間測定値が第2の条件を満たしている(例えば、第2の測定閾値内にある)ことを(例えば、自動的に)決定すること、及び(例えば、自動的に)プロセッサによって、初期値(例えば、ゼロ)に対してフロアカウントをリセットすることを含み得る。いくつかの実施形態では、方法は、フロアカウントを初期値にリセットする前に、第1の空間測定値が第1の条件を満たさないことを最初に決定し、続いてプロセッサによって第2の空間測定値が第2の条件を満たしていることを決定することを含む。
【0079】
いくつかの実施形態では、方法は、プロセッサによって、第2の空間測定値が第2の条件(例えば、及び/または第1の条件)を満たさない(例えば、第2の測定閾値内にない)ことを(例えば、自動的に)決定し、その後、プロセッサによって、フロアカウントを初期値にリセットする(例えば、プロセッサによって、その後の決定の後、第2の瞬間の後のある期間の第3の瞬間に空間的に分解されたデータから決定された第3の空間測定値が第1の条件及び/または第2の条件を満たす)ことを含む。
【0080】
いくつかの実施形態では、方法は、プロセッサによって、(i)第1の瞬間後の(例えば、5秒、10秒、30秒、または1分を過ぎない)ある期間の第2の瞬間に空間的に分解されたデータからプロセッサによって決定された第2の対象構成、及び(ii)第2の空間測定値が第1の条件及び/または第2の条件を満たしていることを使用して第2の空間測定値を決定すること、ならびに任意選択で、プロセッサによってフロアカウントをリセットすることを含む。第2の対象構成は、プロセッサによって、第1の瞬間の後の期間である、対象が第2の瞬間において環境内にある(例えば、移動したかまたはしていない)第2の瞬間から第2の空間的に分解されたデータを(例えば、自動的に)受信すること、少なくとも部分的に、第2の空間的に分解されたデータに基づいて、対象の第2の対象構成を(例えば、自動的に)プロセッサによって、識別すること、及び第2の対象構成とフロア構成との間の第2の空間測定値を(例えば、自動的に)プロセッサによって決定すること、を決定することができる。
【0081】
方法は、プロセッサによって実行されたときに、プロセッサに方法のステップを実行させるシステムに含まれるメモリに命令として記憶することができる。システムは、周囲センサ及びプロセッサをさらに含み得る。
【0082】
本発明の一態様を含む実施形態の要素(例えば、組成物、例えば、システム、例えば、方法)は、本発明の他の態様を含む実施形態に適用することができ、逆もまた同様である。公開番号により本文献で引用されるすべての出版物は、参照によりそれらの全体が本明細書に組み込まれる。本明細書、この概要セクションまたは他の場所に記載されているシステムまたは方法の1つまたは複数の特徴を、本明細書、この概要セクションまたは他の場所に記載されている1つまたは複数の他の特徴と、追加の実施形態(複数可)として、操作性が維持されている限り組み合わせることができることが明確に企図される。
【0083】
添付図面とともに以下の説明を参照することによって、本開示の前述及び他の目的、態様、特徴、及び利点は、より明らかになり、より良好に理解され得る。
【図面の簡単な説明】
【0084】
【
図1】例示的な実施形態による、ウェアラブルまたは軌道を必要としない、ヒトまたは他のオブジェクトの床上検出の方法の高レベルのブロック流れ図である。
【
図2】例示的な実施形態による、ヒト及び表面(例えば、床またはソファ)が識別される、床上検出の方法200を示す高レベルのブロック流れ図である。
【
図3】例示的な実施形態による、ヒトの重心が識別される床上検出の方法300を示す高レベルのブロック流れ図である。
【
図4】特定の実施形態で使用される例示的なクラウドコンピューティング環境400のブロック図である。
【
図5】例示的な実施形態で使用するための、例示的なコンピューティングデバイス及び例示的なモバイルコンピューティングデバイスのブロック図である。
【発明を実施するための形態】
【0085】
本開示の特徴及び利点は、同様の参照文字が全体を通して対応する要素を識別する図面と併せて解釈されるとき、以下に記載される詳細な説明からより明らかになるであろう。図面において、同一の参照番号は、全体的に同一の、機能的に類似の、及び/または構造的に類似の要素を示す。
【0086】
定義
本開示をより容易に理解するために、特定の用語をまず以下に定義する。以下の用語及び他の用語の追加の定義は、本明細書全体にわたって記載される。
【0087】
本明細書で使用される場合、「床上検出」は、人が転倒した、倒れこんだ、崩れ落ちた、またはそうでなければ意図的な直立(例えば、立位または座位)姿勢を意図せずに維持できなかったことの識別を指す。説明をわかりやすくするために、この文書では「床上」という用語を使用するが、人が配置される表面は、床だけでなく、ソファなどの任意の表面であってよい。
【0088】
本書で使用されている「プライバシー」とは、個人の画像や写真の取得及び/または配布を防止することを指す。
(発明を実施するための形態)
【0089】
本明細書で説明されるシステム及び方法は、1つまたは複数の周囲(すなわち着用されていない)センサからの測定値を使用する床上検出に関する。センサは、ビデオや深度(空間)を含む、さまざまなモダリティを包含している場合がある。
【0090】
図1は、床上検出の方法100の例のフローチャートである。ステップ110では、データセットは、監視されるべき環境上の1つまたは複数のセンサを介して収集される。ウェブカム(視覚データ)、深度カメラ(空間データ)、及びボロメータ(温度データ)を含むがこれらに限定されない、環境に関するデータを収集することができる多種多様なセンサを利用することができる。ステップ115では、任意選択で、プライバシーを保護するために一部のデータを破棄することができる。例えば、ヒトの顔に対応する画像の部分は破棄され得る。ステップ120では、データは、任意選択で、以下の計算の準備として前処理される。そのような前処理は、例えば、当技術分野で標準的であるように、画像処理、画像サイズ変更、フィルタリング、不明瞭化、クリーニング、及び正規化を含み得る。
【0091】
ステップ125では、ヒトの存在は、例えば、機械学習及び/またはパターン認識技術の使用を通じて識別される。複数のヒトが存在する場合、本ステップ及び次のステップは、任意選択で各ヒトに対して繰り返され得る。ヒトの存在を特定する方法の例は、米国特許第9,341,464号、第9,600,993号、第9,737,239号、第9,817,017号、第9,974,466号及び第10,013,756号ならびにPCT/US/1744936に記載されており、これらは参照によりその全体が本明細書に組み込まれる。追加で、または代替で、ヒト以外のオブジェクトは、同様の技術を介して識別され得る。
【0092】
ステップ130では、ステップ125で識別されたヒトの構成が識別される。本明細書で使用される場合、「ヒトの構成」という用語は、ヒトの解剖学的構造の一部の配置及び/または空間的位置に対応するデータのセットを指す。特定の実施形態では、ヒトの構成は、ヒトの重心、姿勢、アスペクト比、及び関節の位置を特定する情報を含み得る。ヒトの構成を識別する方法は、米国特許第9,341,464号、第9,600,993号、第9,737,239号、第9,817,017号、第9,974,466号及び第10,013,756号ならびにPCT/US17/44936に記載されており、これらは参照によりその全体が本明細書に組み込まれる。追加で、または代替で、ヒト以外のオブジェクトの構成は、同様の技術を介して決定することができる。
【0093】
ステップ180では、ステップ130の出力は、ヒトが床上にいるかどうかを判定するために使用される。本発明のいくつかの実施形態では、ステップ180は、軌道などの履歴情報を必要としない。言い換えると、ステップ180は、ヒトの構成の単一の「スナップショット」で実行され得る。追加で、または代替で、ヒト以外のオブジェクトの床上の状態は、同様の技術を介して決定することができる。
【0094】
ステップ190では、床上の状態が報告される(例えば、自動監視サービス、介護者、または緊急提供者に)。
【0095】
図2は、ウェアラブルまたは軌道を必要としない床上検出の方法200の例のフローチャートであり、表面(例えば、床、ソファ、1つの家具の上部)が識別される。ステップ210~220は、
図1の同様の番号のステップと同等である。ステップ240では、表面の存在と構成とが決定される。特定の非限定的な実施形態では、表面構成は、例えば、環境内の表面の位置を含み得る。表面を見つける方法は当技術分野で知られており、例えば、表面に垂直なものを計算すること、平面を分離すること、及び最も低い平面を見つけることを含む。ステップ250では、上記のように、ヒトの存在及び構成が識別される。ステップ260では、表面に対するヒトの空間的関係が決定される。例えば、空間的関係は、ヒト(例えば、1つまたは複数の関節)及び表面上に見られる様々な場所からの平均的に最も近い距離であり得る。別の実施形態では、ヒトの重心と表面との間の最も近い距離が決定される。ステップ280は、ステップ260の出力を使用して、例えば、ステップ260で決定された距離を所定の値と比較することによって、床上の状態を決定する。例えば、特定の実施形態では、ステップ290は、上記のように、ステップ280の床上の状態の出力を報告する。
【0096】
図3は、ウェアラブルまたは転倒軌道の計算を必要としない床上検出の方法300の例のフローチャートである。いくつかの実施形態では、この方法は、ヒトの特定の測定基準(例えば、この場合は重心)及び表面(例えば、床)とのその関係を利用する。いくつかの実施形態では、表面は識別された床であるが、この例での床の使用は、上記のように限定することを意図していない。
【0097】
図3は、ステップ210~250と同等のステップで始まる。ステップ362は、周囲センサから取得されたデータを使用して、ヒトの数学的重心を決定する。次に、ステップ364は、重心からの距離が床からの第1の距離内に位置するかどうかを試験する。特定の実施形態では、床からヒトの重心までの距離は、重心と床とを分離する最小距離として計算される。ステップ364が「いいえ」を報告する場合(すなわち、重心が床までの特定の距離内にない場合)、ヒトは「床上状態」になく、ステップ374は、ステップ362に戻る前のある時間間隔の間休止する。ステップ364が「はい」を報告する場合、ヒトは「床上状態」にあり、ステップ366は、「床上状態」が持続する期間を追跡するために使用される「フロアカウント」を初期化する。ステップ368は、ステップ372に移動する前に、ある時間間隔(例えば、2秒、5秒、10秒、30秒、またはそれ以上、を過ぎない)の間休止する。
【0098】
ステップ372は、重心が床から第2の距離内に位置するかどうかを試験する(例えば、0.5メートル、1メートル、1.5メートル、またはそれ以上、を過ぎない)。いくつかの実施形態では、ステップ364の第1の距離は、「床上状態」に入るよりも出るのをより困難にするためステップ372の第2の距離とは異なる。これは、例えば、第2の距離を第1の距離よりも長く設定することによって達成することができる。ステップ372で、システムが「いいえ」を報告する場合、ヒトはもはや「床上状態」ではなく、ステップ374は、ステップ362に戻る前に、ある時間間隔(例えば、2秒、5秒、10秒、30秒、またはそれ以上、を過ぎない)の間休止する。ステップ372が「はい」を報告する場合、ヒトは「床上状態」のままであり、ステップ376は「フロアカウント」を増分させる。ステップ382は、「フロアカウント」がある累計期間(例えば、10秒、30秒、60秒、またはそれ以上、を過ぎない)を超えたかどうかを試験する。累計期間がステップ382で評価された閾値期間を超えていない場合、「いいえ」の報告が提出され、プロセスはステップ368に戻る。累計期間が閾値期間を超えた場合、ステップ382は「はい」を報告し、次にステップ390は確認された床上状態を報告する。特定の実施形態では、報告は、サードパーティの警報または監視サービスに提出することができる。
【0099】
図3では、ヒトの重心は、ヒトと床との空間的関係を決定するために使用される。ただし、重心の代わりに、または重心に加えて、他の測定基準を使用することもできる。使用できる他の測定基準の例には、姿勢(例えば、床に座っている対床に横たわっている)、体のアスペクト比(例えば、ほとんど水平対ほとんど垂直)、及び関節の位置(例えば、単独であるか組み合わされているかを問わず、上半身の関節の位置(例えば、関節の位置を平均化することによって))が含まれる。
【0100】
図1のステップ190及び
図2~3の同様の番号のステップ(すなわち、290及び390)では、床上検出の結果が、例えば、ユーザに中継され得る、データベースやディスクストレージなどの方法を介して記憶される、及び/あるいはインターネットを介してウェブサイト、サーバ、または電話警報などの他の処理ステップに送信され得る。これにより、例えば、サードパーティの監視サービスが、転倒後に苦しんでいるヒトを支援する可能性のある個人またはサービスに警報を提供できるようになる。
【0101】
ネットワーク及びコンピューティングの実装
図4に示すように、本明細書で説明されるようなシステム、方法、及びアーキテクチャを提供する際に使用するためのネットワーク環境400の実装が示され、説明される。ここで
図4を参照して簡単に概説すると、例示的なクラウドコンピューティング環境400のブロック図が示され、説明されている。クラウドコンピューティング環境400は、1つまたは複数のリソースプロバイダ402a、402b、402c(総称して、402)を含み得る。各リソースプロバイダ402は、コンピューティングリソースを含み得る。いくつかの実施態様では、コンピューティングリソースは、データを処理するために使用される任意のハードウェア及び/またはソフトウェアを含み得る。例えば、コンピューティングリソースは、アルゴリズム、コンピュータプログラム、及び/またはコンピュータアプリケーションを実行することができるハードウェアならびに/あるいはソフトウェアを含み得る。いくつかの実施態様では、例示的なコンピューティングリソースは、ストレージ及び検索機能を備えたアプリケーションサーバならびに/またはデータベースを含み得る。各リソースプロバイダ402は、クラウドコンピューティング環境400内の任意の他のリソースプロバイダ402に接続することができる。いくつかの実施態様では、リソースプロバイダ402は、コンピュータネットワーク408を介して接続され得る。各リソースプロバイダ402は、コンピュータネットワーク408を介して、1つまたは複数のコンピューティングデバイス404a、404b、404c(総称して、404)に接続することができる。
【0102】
クラウドコンピューティング環境400は、リソースマネージャ406を含み得る。リソースマネージャ406は、コンピュータネットワーク408を介してリソースプロバイダ402及びコンピューティングデバイス404に接続され得る。いくつかの実施態様では、リソースマネージャ406は、1つまたは複数のリソースプロバイダ402による1つまたは複数のコンピューティングデバイス404へのコンピューティングリソースの提供を容易にすることができる。リソースマネージャ406は、特定のコンピューティングデバイス404からコンピューティングリソースに対する要求を受信することができる。リソースマネージャ406は、コンピューティングデバイス404によって要求されたコンピューティングリソースを提供することができる1つまたは複数のリソースプロバイダ402を識別することができる。リソースマネージャ406は、コンピューティングリソースを提供するためにリソースプロバイダ402を選択することができる。リソースマネージャ406は、リソースプロバイダ402と特定のコンピューティングデバイス404との間の接続を容易にすることができる。いくつかの実施態様では、リソースマネージャ406は、特定のリソースプロバイダ402と特定のコンピューティングデバイス404との間の接続を確立することができる。いくつかの実施態様では、リソースマネージャ406は、特定のコンピューティングデバイス404を、要求されたコンピューティングリソースを備えた特定のリソースプロバイダ402にリダイレクトすることができる。
【0103】
図5は、本開示で説明される技術を実装するために使用することができるコンピューティングデバイス500及びモバイルコンピューティングデバイス550の例を示す。コンピューティングデバイス500は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。モバイルコンピューティングデバイス550は、携帯情報端末、携帯電話、スマートフォン、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことを意図している。ここに示されている構成要素、それらの接続と関係性、及びそれらの機能は、単なる例であることを意味し、限定することを意味しない。
【0104】
コンピューティングデバイス500は、プロセッサ502、メモリ504、記憶装置506、メモリ504及び複数の高速拡張ポート510に接続する高速インターフェース508、及び低速拡張ポート514及び記憶装置506に接続する低速インターフェース512を含む。プロセッサ502、メモリ504、記憶装置506、高速インターフェース508、高速拡張ポート510、及び低速インターフェース512のそれぞれは、様々なバスを使用して相互接続され、共通のマザーボードにまたは必要に応じて他の方法で取り付けられ得る。プロセッサ502は、メモリ504または記憶装置506に記憶された命令を含む、コンピューティングデバイス500内で実行するための命令を処理して、高速インターフェース508に結合されたディスプレイ516などの外部入力/出力デバイス上のGUIにグラフィック情報を表示する。他の実施態様では、複数のメモリ及び種類のメモリとともに、必要に応じて、複数のプロセッサ及び/または複数のバスを使用することができる。また、複数のコンピューティングデバイスを接続して、各デバイスが必要な動作の一部(例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)を提供することもできる。したがって、複数の機能が「プロセッサ」によって実行されると説明される場合、この用語が本明細書で使用されると、これは、複数の機能が任意の数のコンピューティングデバイス(1つまたは複数)の任意の数のプロセッサ(1つまたは複数)によって実行される実施形態を包含する。さらに、機能が「プロセッサ」によって実行されると説明される場合、これは、機能が任意の数のコンピューティングデバイス(1つまたは複数)の任意の数のプロセッサ(1つまたは複数)によって実行される実施形態を包含する(例えば、分散コンピューティングシステムにおいて)。
【0105】
メモリ504は、コンピューティングデバイス500内に情報を記憶する。いくつかの実施態様では、メモリ504は、1つまたは複数の揮発性メモリユニットである。いくつかの実施態様では、メモリ504は、1つまたは複数の不揮発性メモリユニットである。メモリ504はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であり得る。
【0106】
記憶装置506は、コンピューティングデバイス500に大容量記憶装置を提供することができる。いくつかの実施態様では、記憶装置506は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたは他の同様のソリッドステートメモリデバイス、記憶エリアネットワークまたは他の構成のデバイスを含むデバイスのアレイなどのコンピュータ可読媒体であり得るかまたはそれらを含み得る。命令は情報キャリアに記憶され得る。命令は、1つまたは複数の処理装置(例えば、プロセッサ502)によって実行されるとき、上記のような1つまたは複数の方法を実行する。命令はまた、コンピュータ可読媒体または機械可読媒体(例えば、メモリ504、記憶装置506、またはプロセッサ502上のメモリ)などの1つまたは複数の記憶装置によって記憶することができる。
【0107】
高速インターフェース508は、コンピューティングデバイス500用の帯域幅集約型の動作を管理し、一方、低速インターフェース512は、より低い帯域幅集約型の動作を管理する。このような機能の割り当ては一例にすぎない。いくつかの実施態様では、高速インターフェース508は、メモリ504、ディスプレイ516(例えば、グラフィックプロセッサまたはアクセラレータを介して)、及び様々な拡張カード(図示せず)を受け入れることができる高速拡張ポート510に結合される。実施態様では、低速インターフェース512は、記憶装置506及び低速拡張ポート514に結合される。様々な通信ポート(例えば、USB、Bluetooth(登録商標)、イーサネット(登録商標)、ワイヤレスイーサネット(登録商標))を含み得る低速拡張ポート514は、キーボード、ポインティングデバイス、スキャナ、またはスイッチやルーターなどのネットワークデバイス(例えば、ネットワークアダプタを介して)などの1つまたは複数の入力/出力デバイスに結合され得る。
【0108】
コンピューティングデバイス500は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、標準サーバ520として、またはそのようなサーバのグループ内で複数回実装され得る。追加で、それは、ラップトップコンピュータ522などのパーソナルコンピュータに実装され得る。それはまた、ラックサーバシステム524の一部として実装され得る。代替で、コンピューティングデバイス500からの構成要素は、モバイルコンピューティングデバイス550などのモバイルデバイス(図示せず)内の他の構成要素と組み合わせることができる。そのようなデバイスのそれぞれは、コンピューティングデバイス500及びモバイルコンピューティングデバイス550のうちの1つまたは複数を含み得、システム全体は、互いに通信する複数のコンピューティングデバイスから構成され得る。
【0109】
モバイルコンピューティングデバイス550は、他の構成要素の中でも、プロセッサ552、メモリ564、ディスプレイ554などの入力/出力デバイス、通信インターフェース566、及びトランシーバ568を含む。モバイルコンピューティングデバイス550はまた、追加の記憶装置を提供するために、マイクロドライブまたは他のデバイスなどの記憶装置を備えてもよい。プロセッサ552、メモリ564、ディスプレイ554、通信インターフェース566、及びトランシーバ568のそれぞれは、様々なバスを使用して相互接続され、いくつかの構成要素は、共通のマザーボードに、または必要に応じて他の方法で取り付けられ得る。
【0110】
プロセッサ552は、メモリ564に記憶された命令を含む、モバイルコンピューティングデバイス550内の命令を実行することができる。プロセッサ552は、別個の複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサ552は、例えば、ユーザインターフェースの制御、モバイルコンピューティングデバイス550によって実行されるアプリケーション、及びモバイルコンピューティングデバイス550による無線通信など、モバイルコンピューティングデバイス550の他の構成要素の調整のために提供することができる。
【0111】
プロセッサ552は、ディスプレイ554に結合された制御インターフェース558及びディスプレイインターフェース556を介してユーザと通信することができる。ディスプレイ554は、例えば、TFT(薄膜トランジスタ液晶ディスプレイ)ディスプレイまたはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェース556は、グラフィック及び他の情報をユーザに提示するためにディスプレイ554を駆動するための適切な回路を備え得る。制御インターフェース558は、ユーザからコマンドを受け取り、それらをプロセッサ552に提出するために変換することができる。追加で、外部インターフェース562は、モバイルコンピューティングデバイス550と他のデバイスとの近距離通信を可能にするために、プロセッサ552との通信を提供することができる。外部インターフェース562は、例えば、いくつかの実施態様における有線通信、または他の実施態様における無線通信を提供することができ、複数のインターフェースも使用することができる。
【0112】
メモリ564は、モバイルコンピューティングデバイス550内に情報を記憶する。メモリ564は、1つまたは複数のコンピュータ可読媒体、1つまたは複数の揮発性メモリユニット、または1つまたは複数の不揮発性メモリユニットのうちの1つまたは複数として実装することができる。拡張メモリ574もまた、例えば、SIMM(シングルインラインメモリモジュール)カードインターフェースを含み得る拡張インターフェース572を介して、モバイルコンピューティングデバイス550に提供され、接続され得る。拡張メモリ574は、モバイルコンピューティングデバイス550のための追加の記憶空間を提供することができるか、またはモバイルコンピューティングデバイス550のためのアプリケーションもしくは他の情報を記憶することもできる。具体的には、拡張メモリ574は、上記のプロセスを実行または補足するための命令を含むことができ、安全な情報も含むことができる。したがって、例えば、拡張メモリ574は、モバイルコンピューティングデバイス550のためのセキュリティモジュールとして提供され得、モバイルコンピューティングデバイス550の安全な使用を可能にする命令でプログラムされ得る。追加で、安全なアプリケーションは、SIMMカードにハッキングできない方法で識別情報を配置するなどの追加情報とともに、SIMMカードを介して提供され得る。
【0113】
メモリは、以下で説明するように、例えば、フラッシュメモリ及び/またはNVRAMメモリ(不揮発性ランダムアクセスメモリ)を含み得る。いくつかの実施態様では、命令は情報キャリアに記憶される。命令は、1つまたは複数の処理デバイス(例えば、プロセッサ552)によって実行されるとき、上記などの1つまたは複数の方法を実行する。命令はまた、1つまたは複数のコンピュータ機械可読媒体または機械可読媒体(例えば、メモリ564、拡張メモリ574、またはプロセッサ552上のメモリ)などの1つまたは複数の記憶装置によって記憶することができる。いくつかの実施態様では、命令は、例えば、トランシーバ568または外部インターフェース562を介して、伝播された信号で受信することができる。
【0114】
モバイルコンピューティングデバイス550は、必要に応じてデジタル信号処理回路を含み得る通信インターフェース566を介して無線で通信することができる。通信インターフェース566は、とりわけ、GSM音声通話(モバイル通信用グローバルシステム)、SMS(ショートメッセージサービス)、EMS(拡張メッセージングサービス)、またはMMSメッセージング(マルチメディアメッセージングサービス)、CDMA(符号分割多元接続)、TDMA(時分割多元接続)、PDC(パーソナルデジタルセルラ)、WCDMA(登録商標)(広帯域符号分割多元接続)、CDMA2000、またはGPRS(一般パケット無線サービス)などの様々なモードまたはプロトコルの下での通信を提供することができる。そのような通信は、例えば、無線周波数を使用するトランシーバ568を介して発生し得る。追加で、Bluetooth(登録商標)、Wi-Fi(商標)、または他のそのようなトランシーバ(図示せず)を使用するなどして、短距離通信が発生し得る。追加で、GPS(全地球測位システム)レシーバモジュール570は、モバイルコンピューティングデバイス550上で実行するアプリケーションによって適切に使用され得る、追加のナビゲーション及び位置関連の無線データをモバイルコンピューティングデバイス550に提供し得る。
【0115】
モバイルコンピューティングデバイス550はまた、音声コーデック560を使用して聴覚的に通信することができ、音声コーデック560は、ユーザから音声情報を受け取り、それを使用可能なデジタル情報に変換することができる。オーディオコーデック560は、同様に、例えば、モバイルコンピューティングデバイス550のハンドセット内の、スピーカーを通してなど、ユーザのために可聴音を生成することができる。そのような音は、音声電話からの音を含み得、録音された音(例えば、音声メッセージ、音楽ファイルなど)を含み得、また、モバイルコンピューティングデバイス550上で動作するアプリケーションによって生成された音を含み得る。
【0116】
モバイルコンピューティングデバイス550は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは携帯電話580として実装され得る。また、スマートフォン582、携帯情報端末、または他の同様のモバイルデバイスの一部として実装できる。
【0117】
本願で説明するシステム及び技術のさまざまな実装は、デジタル電子回路、集積回路、特別に設計されたASIC(アプリケーション固有の集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/またはそれらの組み合わせで実現できる。これらの様々な実施態様は、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からのデータ及び/または命令を受信し、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置にデータ及び/または命令を送信するように結合された、専用または汎用であり得る、少なくとも1つのプログラム可能なプロセッサを含んだプログラム可能なシステム上で実行可能及び/または解釈可能である1つまたは複数のコンピュータプログラムにおける実施を含み得る。
【0118】
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる)は、プログラム可能なプロセッサのための機械命令を含み、かつ高水準手続型及び/またはオブジェクト指向プログラミング言語、及び/またはアセンブリ/機械言語で実装されることができる。本明細書で使用される場合、「機械可読の媒体」及び「コンピュータ可読の媒体」とは、機械命令及び/またはデータを、機械可読の信号として機械命令を受け取る機械可読の媒体を含むプログラム可能なプロセッサに提供するために使用される、任意のコンピュータプログラム製品、装置及び/またはデバイス(例えば、磁気ディスク、光ディスク、メモリ、プログラム可能な論理デバイス(PLD))を指す。「機械可読の信号」という用語は、機械命令及び/またはデータをプログラム可能なプロセッサに提供するために使用される任意の信号を指す。
【0119】
特定の実施形態では、コンピュータプログラムは、1つまたは複数の機械学習モジュールを含む。本明細書で使用される場合、機械学習モジュールは、1つまたは複数の特定の機械学習アルゴリズムを実装するコンピュータ実装プロセス(例えば、機能)を指す。機械学習モジュールは、例えば、1つまたは複数の人工ニューラルネットワークを含み得る。特定の実施形態では、2つ以上の機械学習モジュールを組み合わせて、単一のモジュール及び/または単一のソフトウェアアプリケーションとして実装することができる。特定の実施形態では、2つ以上の機械学習モジュールもまた、例えば、別個のソフトウェアアプリケーションとして、別個に実装され得る。機械学習モジュールは、ソフトウェア及び/またはハードウェアであり得る。例えば、機械学習モジュールを完全にソフトウェアとして実装する、またはCNNモジュールの特定の機能を専用ハードウェア(例えば、特定用途向け集積回路(ASIC)を介して)実行することができる。
【0120】
ユーザとのやりとりを提供するために、本願に記載のシステム及び技術は、ユーザに情報を表示するための表示デバイス(例えばCRT(ブラウン管)またはLCD(液晶画面)モニタ)及びユーザがそれによってコンピュータへの入力を提供することができるキーボードならびにポインティングデバイス(例えば、マウスやトラックボール)を有するコンピュータ上に実装される。他の種類のデバイスもまた、ユーザとの対話を提供するために用いられることができる。例えば、ユーザに提供されるフィードバックは、あらゆる形式の感覚的フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であることができ、及びユーザからの入力は、音響、音声、または触覚入力を含む、任意の形態で受信することができる。
【0121】
本願に記載のシステム及び技術は、バックエンドコンポーネント(例えば、データサーバ)を含む、またはミドルウェアコンポーネント(例えば、アプリケーションサーバ)を含む、もしくはフロントエンドコンポーネント(例えば、ユーザがそれを通じて本願に記載のシステム及び技術の実装とやりとりできるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ)を含むコンピューティングシステムの中か、またはかかるバックウエア、ミドルウエア、またはフロントエンドコンポーネントの任意の組み合わせに実装され得る。システムのコンポーネントは、あらゆる形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、広域ネットワーク(「WAN」)、及びインターネットを含む。
【0122】
コンピューティングシステムは、クライアントとサーバを含むことができる。クライアントとサーバは、概して互いに遠く離れており、典型的に通信ネットワークを通じてやりとりする。クライアントとサーバの関係は、それぞれのコンピュータ上で動作するコンピュータプログラムにより、及びクライアントとサーバの関係を互いに有することにより生じる。
【0123】
本明細書に記載の異なる実施態様の要素を組み合わせて、上記に具体的に記載されていない他の実施態様を形成することができる。要素は、それらの動作に悪影響を与えることなく、本明細書に記載されているプロセス、コンピュータプログラム、データベースなどから除外することができる。追加で、図に示されている論理フローは、望ましい結果を達成するために、示されている特定の順序または連続した順序を必要としない。本明細書で説明する機能を実行するために、様々な個別の要素を1つまたは複数の個別の要素に組み合わせることができる。
【0124】
ステップの順序またはある特定の動作を行うための順序は、本発明が動作可能である限りは、重要でないことを理解されたい。さらに、2つ以上のステップまたは動作を、同時に実行してもよい。
【0125】
本発明を、その特定の好ましい実施形態を参照して具体的に示し、説明してきたが、当業者は、添付の特許請求の範囲に定義される、本発明の主旨及び範囲から逸脱することなく、形態及び詳細の様々な変更が行われてもよいことを理解されたい。
【国際調査報告】