(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075609
(43)【公開日】2024-06-04
(54)【発明の名称】スマートデバイスでレーダを利用するためのシステム、方法およびデバイス
(51)【国際特許分類】
G01S 7/40 20060101AFI20240528BHJP
G01S 13/42 20060101ALI20240528BHJP
G01S 13/78 20060101ALI20240528BHJP
G01S 13/75 20060101ALI20240528BHJP
G08B 25/10 20060101ALI20240528BHJP
G08B 17/00 20060101ALI20240528BHJP
【FI】
G01S7/40
G01S13/42
G01S13/78
G01S13/75
G08B25/10 A
G08B17/00 C
【審査請求】有
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024033709
(22)【出願日】2024-03-06
(62)【分割の表示】P 2023036871の分割
【原出願日】2017-05-10
(31)【優先権主張番号】62/455,449
(32)【優先日】2017-02-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/438,397
(32)【優先日】2016-12-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/336,515
(32)【優先日】2016-05-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/442,343
(32)【優先日】2017-01-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/590,976
(32)【優先日】2017-05-09
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】シルバースタイン,ブライアン
(72)【発明者】
【氏名】マーシャルコワスキー,エリック
(72)【発明者】
【氏名】シェリー,エデン
(72)【発明者】
【氏名】ゴールデンソン,アンドリュー
(57)【要約】 (修正有)
【課題】情報の収集および/またはレーダを介して通信するスマートデバイスで、レーダの使用および通信を管理する、方法、デバイスおよびシステムの提供。
【解決手段】コントローラおよびメモリを有するレーダ対応および無線対応の電子デバイスにおいて、レーダ技術を用いて場所情報を送信するかまたは反映させる要求を、標準無線通信プロトコルによってリモート電子デバイスから受信し、要求はデバイス識別情報を含み、受信されたデバイス識別情報が電子デバイスについてのデバイス識別情報と一致しているかどうかを判断し、受信されたデバイス識別情報が電子デバイスについてのデバイス識別情報に一致しているという判断に従って、1つ以上のレーダ技術を用いることに従って電子デバイスの位置および/または速度を示す信号を送信させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
電子デバイスであって、
1つ以上の回路基板と、
前記1つ以上の回路基板を覆うハウジングと、
前記1つ以上の回路基板に結合された通信モジュールとを含み、前記通信モジュールは、1つ以上のアンテナを含み、1つ以上のリモートデバイスと通信するように構成されており、前記電子デバイスはさらに、
前記1つ以上の回路基板に結合されたレーダモジュールを含み、前記レーダモジュールは、ホーム環境についてのレーダデータを生成するように構成されており、
1つ以上の低電力レーダ送信機と、
1つ以上のレーダ受信機とを含み、前記電子デバイスはさらに、
前記1つ以上の回路基板のうちの1つに搭載される1つ以上のプロセッサを含み、前記1つ以上のプロセッサは、
前記通信モジュールおよび前記レーダモジュールの動作を管理し、
前記レーダデータを分析することによって前記ホーム環境における検出された対象物の位置および/または動きを判断し、
前記検出された対象物について判断された前記位置および/または動きに少なくとも部分的に基づいて、前記検出された対象物に関連付けられた異常を検出する、ように構成され、前記電子デバイスはさらに、
前記1つ以上のプロセッサ、前記通信モジュールおよび前記レーダモジュールに結合された電源を含む、電子デバイス。
【請求項2】
前記レーダモジュールが、前記ハウジングの前面を通過する視野を有するように位置決めされている、請求項1に記載の電子デバイス。
【請求項3】
前記1つ以上の低電力レーダ送信機は無線チャープを送信するように構成され、
前記1つ以上のレーダ受信機は、前記無線チャープに対応するレーダ波を受信するように構成され、
前記レーダデータを分析することは前記受信されたレーダ波を分析することを含む、請求項1または2に記載の電子デバイス。
【請求項4】
前記レーダモジュールが、前記レーダモジュールの全検出範囲未満である制約された検出範囲で動作するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項5】
前記制約された検出範囲は前記ホーム環境の外周に対応する、請求項4に記載の電子デバイス。
【請求項6】
前記通信モジュールは、1つ以上のリモートデバイスと無線で通信するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項7】
前記1つ以上の低電力レーダ送信機および前記1つ以上のレーダ受信機は、前記1つ以上の回路基板のうちの1つ上に搭載される、先行するいずれかの請求項に記載の電子デバイス。
【請求項8】
前記1つ以上のプロセッサはさらに、異常を検出することに応じて通知を生成するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項9】
通知を生成することは、前記ホーム環境の占有者のパーソナルデバイスに警告を送信することを含む、請求項8に記載の電子デバイス。
【請求項10】
前記1つ以上のプロセッサはさらに、前記レーダデータに少なくとも部分的に基づいて前記ホーム環境の少なくとも一部の占有を判断するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項11】
前記1つ以上のプロセッサはさらに、前記レーダデータに少なくとも部分的に基づいて前記ホーム環境の占有者を認識するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項12】
前記通信モジュールはさらに、1つ以上のリモートデバイスからレーダデータを受信するように構成され、
前記1つ以上のプロセッサはさらに、前記生成されたレーダデータおよび前記受信されたレーダデータに基づいて前記ホーム環境における異常を検出するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項13】
前記電子デバイスは1つ以上の環境センサを含み、前記1つ以上の環境センサは、前記ホーム環境についての環境データを生成するように構成され、
前記1つ以上のプロセッサはさらに、前記生成されたレーダデータおよび前記生成された環境データに基づいて前記ホーム環境における異常を検出するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項14】
前記1つ以上の環境センサは、
周囲光センサと、
湿度センサと、
温度センサと、
モーションセンサと、
光学センサと、
オーディオセンサと、
煙検出器と、のうち1つ以上を含む、請求項13に記載の電子デバイス。
【請求項15】
前記電子デバイスはさらに、前記ホーム環境内における1つ以上の電子タグの位置および/または動きを追跡するように構成される、先行するいずれかの請求項に記載の電子デバイス。
【請求項16】
前記電子デバイスはさらに、前記1つ以上の電子タグの前記位置および/または動きに基づいてスマートホームコントローラにおける1つ以上のスマートホーム設定を調整するように構成される、請求項15に記載の電子デバイス。
【請求項17】
前記電子デバイスはさらに、前記1つ以上の電子タグの前記位置および/または動きに基づいて通知を生成するように構成される、請求項15に記載の電子デバイス。
【請求項18】
前記検出された対象物に関連付けられた異常を検出することは、検出された対象物が、予想外の速度、予想外の加速度および予想外の位置のうち1つ以上を有していると判断することを含む、先行するいずれかの請求項に記載の電子デバイス。
【請求項19】
前記電子デバイスはさらに、前記ホーム環境における対象物についての、予想される位置および動きの情報を取得するように構成され、
前記予想される位置および動きの情報は、前記ホーム環境についての履歴データに基づいている、請求項18に記載の電子デバイス。
【請求項20】
前記電子デバイスは、
スマートサーモスタットと、
スマートカメラと、
ハブデバイスと、
スマートハザード検出器と、
スマート潅漑デバイスと、
スマートメディア再生デバイスと、
スマート通路インターフェイスデバイスと、
スマートアプライアンスと、
スマートセキュリティデバイスと、からなる群から選択されるスマートホームデバイスを含む、先行するいずれかの請求項に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、概して、スマートデバイスとのレーダ通信を利用するための方法およびシステムを含むがこれらに限定されないコンピュータ技術に関する。
【背景技術】
【0002】
背景
スマートホーム環境におけるデバイスは、他のシステム、デバイスおよび/またはサーバとの通信を可能にするための多数の回路部品およびインターフェイスを含む。いくつかのスマートデバイスは、信号をさまざまな波長でネットワークを介して他のデバイスとの間で送受信するために、コンパクトな区域内に複数の無線機を含む。たとえば、いくつかのスマートデバイスは情報の収集および/またはレーダを介する通信を行なう。
【発明の概要】
【発明が解決しようとする課題】
【0003】
概要
したがって、レーダの使用および通信を管理するための方法、装置およびシステムが必要とされている。添付の特許請求の範囲内のシステム、方法およびデバイスのさまざまな実現例は各々、いくつかの局面を有するが、これらはいずれも、この明細書中に記載される属性に単独では関与しない。添付の特許請求の範囲を限定することなく、この開示を検討した後、特に「詳細な説明」と題された段落を検討した後であれば、スマートデバイスでレーダを管理するためにさまざまな実現例の局面が如何に使用されるかが理解されるだろう。一局面においては、電子タグは、第1の周波数で1つ以上の他のデバイスと通信するように構成された第1の回路と、レーダを介して当該1つ以上の他の装置と通信するように構成された第2の回路とを含む。
【課題を解決するための手段】
【0004】
いくつかの実現例においては、レーダサブシステムに固有の署名を提出するために位置ビーコン(位置タグと称されることもある)が用いられる。いくつかの実現例においては、署名は、レーダシステムと同じ周波数帯域で固有の署名を送信することによって符号化される。
【0005】
レーダシステムは、対象物の存在、方向、距離および/または速度を検出する。レーダは、パッシブ赤外線(passive infrared:PIR)モーションセンサなどの他の検出システムを上回る利点を提供する。レーダシステムは、広範囲にわたる速度を検出し、これにより、移動中の別々の対象物同士を区別することができる。たとえば、レーダシステムは住宅にいるペットと人とを区別することができる。加えて、レーダシステムは、対象物がレーダシステムに向かって移動しているかまたはレーダシステムから遠ざかっている(または接線方向にある)かどうかを検出することができる。レーダシステムは、心臓の鼓動などのわずかな人の動きを検出することができる。また、従来の熱検出システムと比べると、レーダシステムでの検出を免れることはより困難となる。たとえば、重い冬コートであれば、いくつかの熱検出システムでの検出を免れるのに十分であるかもしれない。
【0006】
PIRセンサに関して、一般に、レーダシステムは、PIRセンサよりもさらに離れたところにある対象物を検出することができる。さらに、レーダシステムはレンズを必要とせず、PIRセンサよりも広い視野を有している。レーダシステムは、概して、PIRセンサほど熱に弱くない。たとえば、PIRセンサは、熱により、日光により、または周囲
の構成要素の動作により、誤検出を引起す可能性がある。
【0007】
レーダシステムはまた、壁および他の対象物の透過も可能である。このため、レーダシステムは、住居における複数の部屋を監視し、住居におけるさまざまな対象物の背後における動きを検出することができる。したがって、レーダシステムは部屋同士の間における対象物を介した通信を可能にする。レーダシステムはまた、特定のジェスチャを検出し翻訳することができる。
【0008】
従来のカメラシステムとは異なり、レーダシステムは、部屋または住居における可視光のレベルとは無関係に動作する。加えて、レーダシステムは、デューティサイクルを調整することによって、および/または、短いパルスを設定された間隔で送出することによって、消費電力をより少なくするように構成することができる。
【0009】
レーダシステムは1次元(one-dimensional:1D)であってもよくまたは多次元であ
ってもよい。1次元レーダは1つの送信機および1つの受信機から成る。多次元レーダは、複数の送信機および/または複数の受信機(たとえば3つの送信機および4つの受信機)を含む。
【0010】
レーダシステムは、近接していることの検出、占有の判断、人の数、位置判断、1人の呼吸のモニタリング、モーションイベントの分類、複数人の呼吸のモニタリング、1人の識別および複数人の識別を含む複数の目的のために用いることができる。近接性および/または1人の呼吸モニタリングなどのいくつかの目的のために、1Dレーダシステムは、多次元レーダシステムと同程度に有効(またはほぼ有効)であり得る。位置判断および複数人の呼吸モニタリングなどの他の目的のために、多次元レーダシステムは、有意により高い精度および/または正確さを提供する。いくつかの実現例においては、単一の多次元レーダシステムと同程度に高いかまたはより高い精度および正確さを提供するために、複数の1Dレーダシステムが一緒にネットワーク化される。
【0011】
家庭用電子デバイスなどの電子デバイスが提供される。電子デバイスは、1つ以上のアンテナを含み、1つ以上のリモートデバイスと通信するように構成された通信モジュールと、ホーム環境などの環境用にレーダデータを生成するように構成されたレーダモジュールと、レーダデータを分析することによって住宅における対象物の位置および/または動きを判断するように構成された1つ以上のプロセッサとを備える。いくつかの例においては、検出された対象物の位置および/または動きに関連付けられた異常が判断されてもよい。これらの異常は、対象物が通常とは異なる態様で移動していると判断することを含み得るか、または、環境または環境の一部内に存在するべきでない対象物を含み得る。異常は、予想外の速度、予想外の加速および予想外の位置のうち1つ以上を含み得る。これらの要因が予想外のものであるかどうかの判断は、住宅において見出される対象物についての履歴データ、平均データまたは中央データなどの格納されたデータと比較することによって実行されてもよい。いくつかの例においては、レーダモジュールは、1つ以上の低電力レーダ送信機を含み得る。「低」という語は、家庭での使用に適した電力を意味しており、それらの詳細を以下の詳細な説明において述べる。レーダモジュールは、付加的には、1つ以上のレーダ受信機を含み得る。電子デバイスはさらに、1つ以上の回路基板と、1つ以上の回路基板を収容するハウジングとを含み。通信モジュールは1つ以上の回路基板に結合されてもよく、レーダモジュールは1つ以上の回路基板に結合されてもよく、1つ以上のプロセッサは1つ以上の回路基板に搭載されてもよい。1つ以上のプロセッサは、通信モジュールおよびレーダモジュールの動作を管理するように、および/または、検出された対象物について判断された位置および/または動きに少なくとも部分的に基づいて、検出された対象物に関連付けられた異常を検出するように、構成されてもよい。電子デバイスはさらに、1つ以上のプロセッサと通信モジュールとレーダモジュールとに結合
された電源を含み得る。
【0012】
レーダモジュールは、ハウジング内を貫通する、たとえばハウジングの前面を貫通する視野を有するように配置されてもよい。
【0013】
電子デバイスは、スマートサーモスタット;スマートカメラ;ハブデバイス;スマートハザード検出器;スマート灌漑デバイス;スマートメディア再生デバイス;スマート通路インターフェイスデバイス;スマートアプライアンス;およびスマートセキュリティデバイス;から成る群から選択されるようなスマートホーム電子デバイスであってもよい。「スマート(smart)」という語は、無線、有線などで直接的、間接的またはインターネッ
トによって他のデバイスと通信することができるデバイスを意味する。
【0014】
検出された対象物に関連付けられた異常の検出は、検出された対象物が予想外の速度、予想外の加速および予想外の位置のうち1つ以上を有すると判断することを含み得る。予想外の速度、予想外の加速および予想外の位置は、ホーム環境についての履歴データに基づいて、ホーム環境における対象物についての予想された位置および動きの情報と比較することによって判断されてもよい。
【0015】
以下の詳細な説明において記載されるような他の局面が追加されてもよく、または上述の例と組合わされてもよい。
【0016】
図面の簡単な説明
説明されたさまざまな実現例をよりよく理解するために、図全体にわたって同様の参照符号が対応する部分を指している添付の図面に関連付けて、以下の実現例の説明を参照されたい。
【図面の簡単な説明】
【0017】
【
図1】いくつかの実現例に従った、例示的なスマートホーム環境を示す図である。
【
図2】いくつかの実現例に従った、スマートホームネットワークを含む例示的なネットワークアーキテクチャを示すブロック図である。
【
図3】いくつかの実現例に従った、
図1のスマートホーム環境が一体化されている拡張可能なデバイスおよびサービスプラットフォームを示すネットワークレベル図である。
【
図4】いくつかの実現例に従った、スマートホーム環境のデバイスおよび処理エンジンに関連した、
図3の拡張可能なデバイスおよびサービスプラットフォームを示す抽象化された機能図である。
【
図5】いくつかの実現例に従った、サーバシステムがローカルスマートデバイスに通信可能に結合されたクライアントデバイスおよびハブデバイスと対話する代表的な動作環境を示す図である。
【
図6】いくつかの実現例に従った、代表的なハブデバイスを示すブロック図である。
【
図7A】いくつかの実現例に従った、代表的なサーバシステムを示すブロック図である。
【
図7B】いくつかの実現例によって用いられるさまざまなデータ構造を示す図である。
【
図8】いくつかの実現例に従った、ユーザアカウントに関連付けられた代表的なクライアントデバイスを示すブロック図である。
【
図9A】いくつかの実現例に従った、代表的なスマートデバイスを示すブロック図である。
【
図9B】いくつかの実現例に従った、代表的な電子タグを示すブロック図である。
【
図10】いくつかの実現例に従った、代表的なスマートホームプロバイダサーバシステムを示すブロック図である。
【
図11A】いくつかの実現例に従った、映像分析およびカテゴリ化のための代表的なシステムアーキテクチャを示す図である。
【
図11B】いくつかの実現例に従った、映像分析およびカテゴリ化のための代表的な処理パイプラインを示す図である。
【
図12A】いくつかの実現例に従った、レーダ信号を介して通信するための環境およびシステムを示す図である。
【
図12B】いくつかの実現例に従った、レーダタグを利用するための代表的なシステムおよびプロセスを示す図である。
【
図12C】いくつかの実現例に従った、レーダタグを利用するための代表的なシステムおよびプロセスを示す図である。
【
図12D】いくつかの実現例に従った、レーダデータの予想図である。
【
図13A】いくつかの実現例に従った、複数のレーダデバイスからのデータを利用するための環境およびシステムを示す図である。
【
図13B】いくつかの実現例に従った、複数のレーダ搭載デバイスからのレーダデータを利用するための代表的なシステムおよびプロセスを示す図である。
【
図14A】いくつかの実現例に従った代表的なレーダシステムを示すブロック図である。
【
図14B】いくつかの実現例に従った代表的なレーダシステムを示すブロック図である。
【
図14C】いくつかの実現例に従った代表的なレーダシステムを示すブロック図である。
【
図14D】いくつかの実現例に従った、代表的なレーダ制御モジュールを示すブロック図である。
【
図14E】いくつかの実現例に従った、代表的なアプリケーションプロセッサを示すブロック図である。
【
図15A】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15B】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15C】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15D】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15E】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15F】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15G】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15H】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15I】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15J】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15K】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15L】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図15M】いくつかの実現例に従った、カメラデバイス118のさまざまな組立図である。
【
図16A】いくつかの実現例に従った、サーモスタットのさまざまな構成要素図である。
【
図16B】いくつかの実現例に従った、サーモスタットのさまざまな構成要素図である。
【
図16C】いくつかの実現例に従った、サーモスタットのさまざまな構成要素図である。
【
図17A】いくつかの実現例に従った、ハザード検出器のさまざまな構成要素図である。
【
図17B】いくつかの実現例に従った、ハザード検出器のさまざまな構成要素図である。
【
図17C】いくつかの実現例に従った、ハザード検出器のさまざまな構成要素図である。
【
図17D】いくつかの実現例に従った、ハザード検出器のさまざまな構成要素図である。
【
図18】いくつかの実現例に従った、バイパス共存技術を利用するスマートデバイスの通信モジュールを示すブロック図である。
【
図19A】いくつかの実現例に従った、スマートホーム環境における複数の無線機を有するスマートデバイスのための共存スキームを示す図である。
【
図19B】いくつかの実現例に従った、スマートホーム環境における複数の無線機を有するスマートデバイスのための共存スキームを示す図である。
【
図20A】いくつかの実現例に従った、代表的なレーダデバイスを示す構成要素図である。
【
図20B】いくつかの実現例に従った、代表的なレーダデバイスを利用するホーム環境を示す図である。
【発明を実施するための形態】
【0018】
同様の参照番号は、添付の図面のうちいくつかの図の全体にわたって対応する部分を指している。
【0019】
実現例の説明
ここで、実現例を詳細に参照することとする。それら実現例の例は添付の図面に示されている。以下の詳細な説明においては、記載されるさまざまな実現例を充分な理解を可能にするために多数の具体的な詳細が述べられる。しかしながら、記載されるさまざまな実現例がこれらの具体的な詳細なしでも実施され得ることが当業者にとって明らかとなるだろう。他の場合には、実現例の局面を不必要に曖昧にすることを避けるために、周知の方法、手順、構成要素、回路およびネットワークは詳細には説明されない。
【0020】
図1は、いくつかの実現例に従った例示的なスマートホーム環境100である。スマートホーム環境100は、さまざまな一体化されたデバイスを備えた構造物150(たとえば家、オフィスビル、ガレージまたは移動住宅)を含む。デバイスが、共同住宅、分譲マンションまたはオフィス空間などの構造物150全体を含まないスマートホーム環境100にも一体化され得ることが認識されるだろう。さらに、スマートホーム環境100は、実際の構造物150の外側のデバイスを制御してもよく、および/または、外側のデバイスに結合されてもよい。実際には、スマートホーム環境100におけるいくつかのデバイスは、物理的に構造物150内にある必要がない。たとえば、プールヒータ114または潅漑システム116を制御するデバイスは、構造物150の外側に位置していてもよい。
【0021】
図示された構造物150は、壁154によって互いから少なくとも部分的に分離されている複数の部屋152を含む。壁154は内壁または外壁を含み得る。各々の部屋はさらに、床156および天井158を含み得る。デバイスは、壁154、床156もしくは天井158に装着されてもよく、壁154、床156もしくは天井158に張付けられてもよく、壁154、床156もしくは天井158と一体化されてもよく、および/または、壁154、床156もしくは天井158によって支持されていてもよい。いくつかの実現例においては、電子タグが、壁154、床156、天井158、窓またはドアに張付けられている。
【0022】
いくつかの実現例においては、スマートホーム環境100の一体化されたデバイスは、さまざまな有用なスマートホーム機能を提供するために、スマートホームネットワーク(たとえば、202(
図2))において互いにシームレスに一体化された、および/または、中央サーバもしくはクラウドコンピューティングシステムとシームレスに一体化された、インテリジェント型マルチセンサネットワーク接続デバイスを含む。スマートホーム環境100は、1つ以上のインテリジェント型マルチセンサネットワーク接続サーモスタット102(これ以降「スマートサーモスタット102」と称する)、1つ以上のインテリジェント型ネットワーク接続マルチセンサハザード検出ユニット104(これ以降「スマートハザード検出器104」と称する)、1つ以上のインテリジェント型マルチセンサネットワーク接続通路インターフェイスデバイス106および120(これ以降「スマートドアベル106」および「スマートドアロック120」と称する)、ならびに、1つ以上のインテリジェント型マルチセンサネットワーク接続アラームシステム122(これ以降「スマートアラートシステム122」と称する)を含み得る。
【0023】
いくつかの実現例においては、1つ以上のスマートサーモスタット102が周囲の気候特徴(たとえば温度および/または湿度)を検出し、それに応じてHVACシステム103を制御する。たとえば、それぞれのスマートサーモスタット102は周囲温度センサを含む。
【0024】
1つ以上のスマートハザード検出器104は、それぞれの熱源(たとえばストーブ、オーブン、他のアプライアンス、暖炉など)に向けられた熱放射センサを含み得る。たとえば、キッチン153におけるスマートハザード検出器104は、ストーブ/オーブン112に向けられた熱放射センサを含む。熱放射センサは、それが向けられているそれぞれの熱源(またはその部分)の温度を判断して、対応する黒体放射データを出力として提供し得る。
【0025】
スマートドアベル106および/またはスマートドアロック120は、或る位置(たとえば、外部ドア)への人の接近および/またはある位置からの人の出発を検出してもよく、ドアベル/ドアロック機能を制御(たとえば、スマートドアロック120のボルトを作動させるためのユーザ入力を携帯型電子デバイス166-1から受信)してもよく、音声手段もしくは視覚的手段によって人の接近または出発を知らせてもよく、ならびに/または、セキュリティシステム上の設定を制御しても(たとえば、居住者の外出および帰宅時にセキュリティシステムを起動するかもしくは停止させても)よい。
【0026】
スマートアラームシステム122は、(たとえば、内蔵のIRセンサを用いて)極近くにいる個人の存在を検出し、(たとえば内蔵スピーカを介して、または1つ以上の外部スピーカにコマンドを送ることによって)警告を鳴らし、スマートホームネットワーク100の内部/外部に存在するエンティティまたはユーザに通知を送信し得る。いくつかの実現例においては、スマートアラームシステム122はまた、ユーザの身元を確認するための1つ以上の入力デバイスまたはセンサ(たとえばキーパッド、バイオメトリックスキャナ、NFCトランシーバ、マイクロホン)、および1つ以上の電力デバイス(たとえばデ
ィスプレイ、スピーカ)を含む。いくつかの実現例においては、スマートアラームシステム122はまた、解除動作が実行されない限り、トリガ条件またはイベントの検出に応じて警告が鳴らされるように、「装備」モードに設定されてもよい。
【0027】
いくつかの実現例においては、スマートホーム環境100は、1つ以上のインテリジェント型マルチセンサネットワーク接続壁面スイッチ108(以降、「スマート壁面スイッチ108」と称する)を、1つ以上のインテリジェント型マルチセンサネットワーク接続壁面プラグインターフェイス110(以降、「スマート壁面プラグ110」と称する)と共に、備える。スマート壁面スイッチ108は、周囲の照明状態を検出し、在室状態を検出し、1つ以上の照明の電力および/または減光状態を制御し得る。いくつかの場合において、スマート壁面スイッチ108は、天井にある扇風機などの扇風機の電力状態または速度を制御してもよい。スマート壁面プラグ110は、部屋または囲い区画における在室を検出し、(たとえば、家の中に誰も居ない場合に電力がプラグに供給されないように)1つ以上の壁面プラグへの電力の供給を制御し得る。
【0028】
いくつかの実現例においては、
図1のスマートホーム環境100は、冷蔵庫、ストーブ、オーブン、テレビ、洗濯機、乾燥機、照明、ステレオ、インターコムシステム、車庫扉開閉装置、床の扇風機、天井の扇風機、壁面設置型空調装置、プールヒータ、灌漑システム、セキュリティシステム、スペースヒータ、窓用ACユニット、電動式ダクトベントなどの、複数のインテリジェント型マルチセンサネットワーク接続アプライアンス112(これ以降「スマートアプライアンス112」と称する)を備える。いくつかの実現例においては、コンセントに接続されると、アプライアンスは、このアプライアンス自体がどのような種類のアプライアンスであるかを示すことなどによって、このアプライアンスについてスマートホームネットワークに知らせ、スマートホームの制御デバイスと自動的に統合することができる。アプライアンスによるスマートホームへのこのような通信は、有線もしくは無線通信プロトコルによって容易にされ得る。スマートホームは、スマート壁面プラグ110によって制御され得る古い従来型の洗濯機/乾燥機、冷蔵庫などの、さまざまな非通信型の従来のアプライアンス140を備えていてもよい。スマートホーム環境100はさらに、スマートハザード検出器104またはスマート壁面スイッチ108によって供給されるIR信号によって制御され得る、赤外線(「IR」)制御壁面設置型空調装置または他のIR制御デバイスなどの、さまざまな部分的に通信を行なう従来のアプライアンス142を備えていてもよい。
【0029】
いくつかの実現例においては、スマートホーム環境100は、スマートホーム環境100における映像監視およびセキュリティを提供するように構成された1つ以上のネットワーク接続カメラ118を含む。カメラ118は、構造物150における在室および/または構造物150における特定の部屋152における在室を判断するために用いられてもよく、このため、人感センサとして機能し得る。たとえば、カメラ118によって取込まれた映像は、(たとえば、特定の部屋152における)構造物150内の占有者の存在を識別するために処理され得る。特定の個人は、たとえば、外見(たとえば身長、顔)および/または動き(たとえば歩行/足取り)に基づいて識別されてもよい。カメラ118は、任意には、1つ以上のセンサ(たとえばIRセンサ、レーダシステム、動き検知器)、入力デバイス(たとえば、音声を取込むためのマイクロホン)、および電力デバイス(たとえば、音声を出力するためのスピーカ)を含む。
【0030】
スマートホーム環境100は、付加的にまたは代替的には、1つ以上の他の人感センサ(たとえば、スマートドアベル106、スマートドアロック120、タッチスクリーン、IRセンサ、マイクロホン、周囲光センサ、動き検出器、スマート常夜灯170など)を含み得る。いくつかの実現例においては、スマートホーム環境100は、占有者上に配置されているかまたは占有者に埋込まれたRFIDタグに基づいて、占有を判断する無線周
波識別(radio-frequency identification:RFID)リーダを(たとえば、各部屋152またはその一部に)含む。たとえば、RFIDリーダはスマートハザード検出器104に一体化されていてもよい。
【0031】
スマートホーム環境100はまた、物理的な住宅の外側にあるが住宅の近接する地理範囲内にあるデバイスとの通信も含み得る。たとえば、スマートホーム環境100は、スマートホーム環境100内の他のデバイスに現在のプール温度を伝達する、および/または、プール温度を制御するためのコマンドを受信する、プールヒータモニタ114を備え得る。同様に、スマートホーム環境100は、スマートホーム環境100内の灌漑システムに関する情報を伝達し、および/または、そのような灌漑システムを制御するための制御情報を受信する、灌漑モニタ116を備えてもよい。
【0032】
いくつかの実現例においては、スマートホーム環境100は、レーダを介して1つ以上のスマートデバイスと通信するように構成された1つ以上の電子タグを含む。いくつかの実現例においては、電子タグは、窓、ドアまたは壁などの対象物に張付けられているとともに、対象物についてのレーダ署名を付与するように構成されている。いくつかの実現例においては、電子タグは、ペットなどのエンティティに張付けられるとともに、エンティティについてのレーダ署名を付与するように構成される。いくつかの実現例においては、電子タグは複数の波長および/またはプロトコルによって通信するように構成される。たとえば、特定の電子タグは、RFIDならびにレーダを介して通信するように構成される。いくつかの実現例においては、上述のスマートデバイスのいずれかなどのスマートデバイスは、対象物に反射して源に戻ってくる高周波数電磁波のパルスを送出することによって、対象物の存在、方向、距離および/または速度を検出するためのレーダモジュールを含む。いくつかの実現例においては、スマートデバイスはさらに、(たとえば、RFID、Wi-Fi、Bluetooth(登録商標)などによって)他のスマートデバイスおよび/または電子タグと通信するための、レーダモジュールとは異なる通信モジュールを含む。
【0033】
ネットワーク接続により、
図1のスマートホームデバイスのうち1つ以上はさらに、ユーザがデバイス付近にいなくても、ユーザが当該デバイスと対話することを可能にし得る。たとえば、ユーザは、コンピュータ(たとえば、デスクトップコンピュータ、ラップトップコンピュータもしくはタブレット)または他の携帯型電子デバイス166(たとえばスマートフォンなどの携帯電話)を用いて、デバイスと通信してもよい。ウェブページまたはアプリケーションは、ユーザからの通信を受信し、通信に基づいてデバイスを制御し、および/または、デバイスの動作に関する情報をユーザに提示するように構成され得る。たとえば、ユーザは、デバイス(たとえばストーブ)についての現在の設定点温度を見て、コンピュータを用いてこれを調整してもよい。ユーザは、この遠隔通信中に構造物内に居てもよいし、または構造物の外に居てもよい。
【0034】
上述のように、ユーザは、ネットワーク接続コンピュータまたは携帯型電子デバイス166を使用してスマートホーム環境100内のスマートデバイスを制御し得る。いくつかの例では、居住者(たとえば、家に住んでいる個人)の何人かまたは全員は、自身のデバイス166をスマートホーム環境100に登録してもよい。このような登録は、居住者および/またはデバイスをその家に関連付けられているものとして認証し、デバイスを使用して家の中のスマートデバイスを制御する許可を居住者に与えるために中央サーバにおいて実行され得る。居住者は、居住者が就業中であるか、または休暇中であるときなどに、自身の登録されたデバイス166を使用して家のスマートデバイスを遠隔制御することもできる。居住者は、居住者が家の中のカウチに座っているときなど、居住者が家の中に実際に居るときに、登録されたデバイスを使用してスマートデバイスを制御することもできる。デバイス166を登録する代わりに、または登録することに加えて、スマートホーム
環境100は、どの個人がその家に住んでいるか、したがって居住者であるか、かつ、どのデバイス166がそれらの個人に関連付けられているかに関して推論し得ることが理解されるはずである。そのため、スマートホーム環境は、誰が居住者であるかを「学習」し、それぞれの個人に関連付けられているデバイス166が家のスマートデバイスを制御することを許可する。
【0035】
いくつかの実現例においては、処理および検知機能を備えることに加えて、デバイス102、104、106、108、110、112、114、116、118、120および/または122(「スマートデバイス」と総称される)は、他のスマートデバイス、中央サーバもしくはクラウドコンピューティングシステムおよび/またはネットワーク接続されている他のデバイスに対して、データ通信および情報共有を行なうことができる。データ通信は、さまざまなカスタムもしくは標準の無線プロトコル(たとえば、IEEE802.15.4、Wi-Fi、ZigBee(登録商標)、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWiなど)、および/または、さまざまなカスタムもしくは標準の有線プロトコル(Ethernet(登録商標)、HomePlugなど)、または、この明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他の好適な通信プロトコル、を用いて実行され得る。
【0036】
いくつかの実現例においては、スマートデバイスはレーダを介して通信する。いくつかの実現例においては、スマートデバイスはレーダを介して1つ以上の電子タグと通信する。いくつかの実現例においては、スマートデバイスは、RFIDおよびレーダなどの複数の通信チャネルを用いて、互い同士および/または電子タグと通信する。いくつかの実現例においては、スマートデバイスは、3GHz~10GHz、24GHz~24.5GHz、57GHz~64GHzおよび/または77GHz~81GHzなどの1つ以上の無線周波数帯域を介して通信する。
【0037】
いくつかの実現例においては、スマートデバイスは、無線ルータまたは有線ルータとして機能する。いくつかの実現例においては、スマートデバイスのうちの第1のスマートデバイスは、無線ルータ160を介してスマートデバイスのうちの第2のスマートデバイスと通信する。スマートデバイスはさらに、インターネット162などのネットワークへの接続(ネットワークインターフェイス160)を介して互いに通信し得る。インターネット162を通じて、スマートデバイスはスマートホームプロバイダサーバシステム164(ここでは、中央サーバシステムおよび/またはクラウドコンピューティングシステムとも称される)と通信し得る。スマートホームプロバイダサーバシステム164は、スマートデバイスに関連付けられた製造業者、サポートエンティティまたはサービスプロバイダに関連付けられてもよい。いくつかの実現例においては、ユーザは、電話またはインターネット接続コンピュータなどの他の通信手段を使用しなくても、スマートデバイス自体を使用してカスタマサポートとコンタクトをとることができる。いくつかの実現例においては、ソフトウェア更新は、(たとえば、利用可能になったとき、購入したとき、または定期的間隔で)スマートホームプロバイダサーバシステム164からスマートデバイスに自動的に送信され得る。
【0038】
いくつかの実現例においては、ネットワークインターフェイス160は従来のネットワークデバイス(たとえばルータ)を含み、
図1のスマートホーム環境100は、ネットワーク162に直接またはネットワークインターフェイス160を介して通信可能に結合されたハブデバイス180を含む。ハブデバイス180はさらに、上述のインテリジェント型マルチセンサネットワーク接続デバイス(たとえば、スマートホーム環境100におけるスマートデバイス)のうち1つ以上のデバイスに通信可能に結合される。これらのスマートデバイスの各々は、任意には、少なくともスマートホーム環境100において利用可
能な1つ以上の無線通信ネットワーク(たとえば、ZigBee、Z-Wave、Insteon、Bluetooth、Wi-Fiおよび他の無線通信ネットワーク)を用いて、ハブデバイス180と通信する。いくつかの実現例においては、ハブデバイス180および当該ハブデバイスと結合/に結合されたデバイスは、スマートフォン、家庭用コントローラ、ラップトップ、タブレットコンピュータ、ゲーム機または同様の電子デバイス上で実行されるアプリケーション(場合によっては、スマートホームアプリケーションと称される)を介して制御および/または対話可能である。いくつかの実現例においては、このようなコントローラアプリケーションのユーザは、ハブデバイスまたは結合されたスマートデバイスの状態を視認することができ、ホームネットワークに新しく導入されたスマートデバイスと相互動作するようにハブデバイスを構成することができ、新しいスマートデバイスに権限委任することができ、接続されたスマートデバイスの設定を調整または視認すること等ができる。いくつかの実現例においては、ハブデバイスは、同じタイプの高性能スマートデバイスの能力に一致させるように低性能スマートデバイスの能力を拡張し、複数の異なるデバイスタイプの機能を異なる通信プロトコルにわたっても統合し、かつ、新しいデバイスの追加およびハブデバイスの権限委任を能率化するように構成されている。いくつかの実現例においては、ハブデバイス180はさらに、スマートホーム環境100のスマートデバイスに関するデータまたはスマートホーム環境100のスマートデバイスによって出力されたデータを格納するためのローカルストレージデバイスを含む。いくつかの実現例においては、データは、カメラデバイスによって出力される映像データ、スマートデバイスによって出力されるメタデータ、スマートデバイスのための情報設定、スマートデバイスのための使用ログなどのうち1つ以上を含む。
【0039】
いくつかの実現例においては、スマートホーム環境100は、スマートホーム環境100のスマートデバイスに関するデータまたはスマートホーム環境100のスマートデバイスによって出力されたデータを格納するためのローカルストレージデバイスを含む。いくつかの実現例においては、データは、カメラデバイス(たとえばカメラ118)によって出力される映像データ、スマートデバイスによって出力されるメタデータ、スマートデバイスについての設定情報、スマートデバイスについての使用ログなど、のうち1つ以上を含む。いくつかの実現例においては、ローカルストレージデバイスは、スマートホームネットワーク(たとえばスマートホームネットワーク202(
図2))を介して1つ以上のスマートデバイスに通信可能に結合される。いくつかの実現例においては、ローカルストレージデバイスは、有線および/または無線の通信ネットワークを介して1つ以上のスマートデバイスに選択的に結合される。いくつかの実現例においては、ローカルストレージデバイスは、外部ネットワーク条件が不良である場合に映像データを格納するために用いられる。たとえば、ローカルストレージデバイスは、カメラ118の符号化ビットレートが外部ネットワーク(たとえば、ネットワーク162)の利用可能帯域幅を上回る場合に、用いられる。いくつかの実現例においては、ローカルストレージデバイスは、サーバシステム(たとえば、サーバシステム508(
図5))に映像データを転送する前に、1つ以上のカメラ(たとえば、カメラ118)からの映像データを一時的に格納する。いくつかの実現例においては、ローカルストレージデバイスはカメラデバイスの一構成要素である。いくつかの実現例においては、各々のカメラデバイスはローカルストレージを含む。いくつかの実現例においては、ローカルストレージデバイスは、サーバシステム508(
図7A)に関連付けて以下に記載されるデータ処理のうちいくつかまたはすべてを実行する。いくつかの実現例においては、ローカルストレージデバイスは、データストレージデータベース7160、アカウントデータベース7162、デバイス情報データベース7164およびイベント情報データベース7166などのサーバシステム508に関連付けて以下に記載されるデータのうちのいくらかまたはすべてを格納している。いくつかの実現例においては、ローカルストレージデバイスは、サーバシステム508に関連付けてこの明細書中に記載された動作のうちのいくつかまたはすべてを実行する。
【0040】
「スマートホーム環境」が一戸建て住宅などの家のためのスマート環境を指し得ることが認識されるべきであるが、本教示の範囲はそのように限定されていない。本教示は、二世帯用住宅、タウンホーム、複数ユニットの共同住宅、ホテル、小売店、オフィスビル、工業用建物または他の構造物、より一般的には如何なる生活空間または作業空間にも適用可能であるが、これらに限定されない。
【0041】
ユーザ、顧客、設置者、住宅所有者、居住者、ゲスト、テナント、賃貸人、修繕者などの用語は、この明細書中に記載される何らかの特定の状況の文脈において動作する人または複数の人を指すのに使用され得るが、これらの言及は、このような動作を実行する人に関して本教示の範囲を限定するものではないことも認識されるはずである。したがって、たとえば、ユーザ、顧客、購入者、設置者、加入者、および住宅所有者という語は、一戸建て住居の場合において同じ人を指すことがあり得ることが多く、なぜならば、家長は、購入を判断し、ユニットを購入し、ユニットを設置および構成する人であるとともに、ユニットのユーザの1人でもあるからである。しかしながら、家主-テナント環境などの他の場合には、顧客はユニットの購入に関して家主であり得、設置者は地元の共同住宅監督者であり得、第1のユーザはテナントであり得、第2のユーザは遠隔制御機能に関しても家主であり得る。動作を実行する人物の身元は、1つ以上の実現例によって提供される特定の利点に密接に関連してもよいが、そのような身元は、以下の記述において、本教示の範囲を必ずしもこれらの特定の身元を有する特定の個人に限定するものとして解釈されるべきではない。
【0042】
図2は、いくつかの実現例に従った、スマートホームネットワーク202を含む例示的なネットワークアーキテクチャ200を示すブロック図である。いくつかの実現例においては、スマートホーム環境100におけるスマートデバイス204(たとえば、デバイス102、104、106、108、110、112、114、116、118、120および/または122)は、スマートホームネットワーク202においてメッシュネットワークを作成するようにハブデバイス180と組合わされる。いくつかの実現例においては、スマートホームネットワーク202における1つ以上のスマートデバイス204はスマートホームコントローラとして動作する。付加的には、および/または代替的には、ハブデバイス180はスマートホームコントローラとして動作する。いくつかの実現例においては、スマートホームコントローラは他のスマートデバイスよりも多くの計算能力を有する。いくつかの実現例においては、スマートホームコントローラは(たとえば、スマートデバイス204、電子デバイス166および/またはスマートホームプロバイダサーバシステム164からの)入力を処理するとともに、スマートホーム環境100の動作を制御するようにとのコマンドを(たとえば、スマートホームネットワーク202におけるスマートデバイス204に)送信する。いくつかの実現例においては、スマートホームネットワーク202における(たとえばメッシュネットワークにおける)スマートデバイス204のうちのいくつかは、「スポークスマン」ノード(たとえば204-1)であって、他のスマートデバイス204は「低電力」ノード(たとえば204-9)である。スマートホーム環境100におけるスマートデバイスのうちのいくつかは電池を動力源とするが、他のスマートデバイスは、スマートホーム環境の壁154の背後の配線(たとえば、120Vの線間電圧線)への接続などにより、通常の信頼性の高い電源を有する。通常の信頼性の高い電源を有するスマートデバイスは、「スポークスマン」ノードと称される。これらのノードは、典型的には、スマートホーム環境100内における他のさまざまなデバイスとの、さらにはスマートホームプロバイダサーバシステム164との双方向通信を円滑にする無線プロトコルを使用する能力を備える。いくつかの実現例においては、1つ以上の「スポークスマン」ノードがスマートホームコントローラとして動作する。他方で、電池を動力源とするデバイスは「低電力」ノードである。これらのノードは、スポークスマンノードよりも小型となる傾向があり、典型的には、単に、Zigbee、6LoWPAN、レーダなどの、極わずかな電力しか必要としない無線プロトコルを使用して通信する
だけである。
【0043】
いくつかの実現例においては、いくつかの低電力ノードは双方向通信を行なうことができない。これらの低電力ノードはメッセージを送信するが「聴く」ことはできない。そのため、スポークスマンノードなどの、スマートホーム環境100内の他のデバイスは、これらの低電力ノードに情報を送信することができない。いくつかの実現例においては、いくつかの低電力ノードはごく限られた双方向通信しか行なうことができない。たとえば、他のデバイスは一定期間中にのみ低電力ノードと通信することができる。
【0044】
上述のように、いくつかの実現例においては、スマートデバイスは、低電力ノードおよびスポークスマンノードとして機能して、スマートホーム環境100内でメッシュネットワークを形成する。いくつかの実現例においては、スマートホーム環境内における個々の低電力ノードは、何を感知しているかに関するメッセージを定期的に送出し、スマートホーム環境内における他の低電力ノードは、それら自体のメッセージを送出することに加えて、それらのメッセージを転送し、これにより、スマートホーム環境202全体にわたってノード間で(すなわち、デバイス間で)メッセージを移送させる。いくつかの実現例においては、スマートホームネットワーク202におけるスポークスマンノードは、IEEE802.11などの比較的高電力の通信プロトコルを用いて通信することができるものであるが、IEEE802.15.4などの比較的低電力の通信プロトコルに切換えて、これらのメッセージを受信し、これらのメッセージを他の通信プロトコルに変換して、変換されたメッセージを(たとえば、比較的高電力の通信プロトコル用いて)他のスポークスマンノードおよび/またはスマートホームプロバイダサーバシステム164に送信することができる。こうして、低電力通信プロトコルを使用する低電力ノードは、スマートホーム環境202全体にわたって、さらにはインターネット162を介して、メッセージをスマートホームプロバイダサーバシステム164に送信および/または受信することができる。いくつかの実現例においては、メッシュネットワークは、スマートホームプロバイダサーバシステム164が、定期的に家の中のスマートデバイスの大多数またはすべてからデータを受信し、データに基づき推論を行ない、スマートホームネットワーク202の内部または外部にあるデバイスにわたる状態同期を促進して、スマートホーム環境においてタスクを実行するようにとのコマンドをスマートデバイスのうちの1つ以上に送信することを可能にする。
【0045】
上述のように、スポークスマンノードと、低電力ノードのうちのいくつかとは「聴く」ことができる。したがって、ユーザ、他のデバイスおよび/またはスマートホームプロバイダサーバシステム164は低電力ノードに制御コマンドを伝達し得る。たとえば、ユーザは、電子デバイス166(たとえばスマートフォン)を用いて、インターネットを介してコマンドをスマートホームプロバイダサーバシステム164に送信してもよく、次いで、スマートホームプロバイダサーバシステム164が、スマートホームネットワーク202における1つ以上のスポークスマンノードにコマンドを中継する。スポークスマンノードは、低電力プロトコルを用いて、コマンドを、スマートホームネットワーク202全体を通して低電力ノードに伝達し得るとともに、スマートホームプロバイダサーバシステム164からコマンドを直接受信しなかった他のスポークスマンノードにも伝達し得る。
【0046】
いくつかの実現例においては、スマートデバイス204の一例であるスマート常夜灯170(
図1)は低電力ノードである。スマート常夜灯170は、光源を収容することに加えて、超音波またはパッシブIRセンサなどの人感センサと、フォトレジスタまたは室内の光を測定する単一ピクセルセンサなどの周囲光センサとを収容する。いくつかの実現例においては、スマート常夜灯170は、室内が暗いことを周囲光センサが検出したときに、かつ、室内に誰か居ることを人感センサが検出したときに、光源を作動させるように構成される。他の実現例においては、スマート常夜灯170は、単に、室内が暗いことをそ
の周囲光センサが検出したときに光源を作動させるように構成される。さらに、いくつかの実現例においては、スマート常夜灯170は低電力無線通信チップ(たとえば、ZigBeeチップ)を備える。低電力無線通信チップは、室内に人が居ることを人感センサが検出するのと同時に発生する瞬時メッセージを含む、在室状態および室内の光量に関するメッセージを定期的に送出する。上述のように、これらのメッセージは無線で(たとえば、メッシュネットワークを使用して)スマートホーム環境202内のノード間(すなわち、スマートデバイス間)で、さらにはインターネット162を介してスマートホームプロバイダサーバシステム164に送信され得る。
【0047】
低電力ノードの他の例として、電池作動型のスマートハザード検出器104がある。これらのスマートハザード検出器104は、一定の信頼性の高い電力にアクセスできない区域内に配置されることが多く、煙/火炎/熱センサ(たとえば、熱放射センサ)、一酸化炭素/二酸化炭素センサ、人感/モーションセンサ、周囲光センサ、周囲温度センサ、湿度センサなどの任意の数および種類のセンサを備え得る。さらに、スマートハザード検出器104は、任意には、上述されるようなメッシュネットワークを使用することなどによって、各センサにそれぞれ対応するメッセージを他のデバイスおよび/またはスマートホームプロバイダサーバシステム164に送信する。
【0048】
スポークスマンノードの例として、スマートドアベル106、スマートサーモスタット102、スマート壁面スイッチ108、およびスマート壁面プラグ110が挙げられる。これらのデバイスは、信頼性の高い電源の近くに配置されてこれに接続されることが多く、したがって、さまざまなプロトコルでの双方向通信が可能な1つ以上の通信チップなどの、電力をより消費する構成要素を備え得る。
【0049】
いくつかの実現例においては、スマートホーム環境は、電子タグ206-1および電子タグ206-2などの電子タグ206を含む。いくつかの実現例においては、電子タグ206はスマートホームネットワーク202における低電力ノードである。いくつかの実現例においては、電子タグ206は外部電源に接続されない。いくつかの実現例においては、電子タグ206は電池式である。いくつかの実現例においては、電子タグ(たとえば電子タグ206-1)はタグを動作させる際に使用するエネルギを取入れることができる。たとえば、電子タグが受取った熱エネルギ、震動エネルギ、電磁エネルギおよび/または太陽エネルギを取入れる。
【0050】
いくつかの実現例においては、電子タグ206は、第1の通信チャネル(たとえばRFIDチャネル)を介して「聴く」ことができるが、メッセージを送信することはできない。いくつかの実現例においては、電子タグ206はパッシブレーダデバイスである。パッシブレーダデバイスは、専用の送信機を持たないレーダデバイスを含む。
【0051】
パッシブレーダデバイスはコーナレフレクタデバイスおよび印刷レーダデバイスを含む。コーナレフレクタデバイスは、一般に、極低効率のレーダ断面積(radar cross section:RCS)しか持たない対象物からの強力なレーダエコーを生成するために用いられる
。コーナレフレクタは、交差して(たとえばちょうど90度の角度で)搭載される2つ以上の導電性表面を含む。入射する電磁波は、それらが入射してくる方向に向かって正確に複数回反射することによって後方散乱させられる。これにより、低RCSを備える小型対象物であっても強力なエコーをもたらす。
【0052】
いくつかの実現例においては、印刷レーダリフレクタは、追跡される対象物内において半波共振器を形成する単純なアルミニウム繊維(たとえば1枚の紙)を含む。レーダ反射繊維は、(典型的には、長さ6.5mmで直径が1.5μmである)紙繊維とほぼ同じ直径を有する。ランダムに配向されたレーダ反射繊維は、読取可能であるとともに将来の識
別用にデータベースに格納可能である固有の後方散乱パターンを備える。最適な後方散乱パターンを与える可能性のあるものであれば何であれ、個々の共振器が結合されるかまたは分離されるように順序付けられたパターンを設計することもできる。レーダで照らされると、後方散乱させた視野は、タグ付けされた1つの対象物を識別して他のタグ付された対象物から区別することを可能にする固有の干渉パターンを作成するように相互作用する。
【0053】
いくつかの実現例においては、電子タグ206は、いずれの受信波とも無関係に、無線周波数トーンまたはパルスを送信することができる能動的なレーダデバイスである。さまざまな実現例においては、電子タグ206は受信した電波を反射、増幅および/または変調させることができる。能動的なレーダデバイスは、シングルトランジスタデバイス、MEMSベースのデバイスおよび機械的なゲート制御された(閉じられた)デバイスを含む。
【0054】
いくつかの実現例においては、電子タグ206は、
図2におけるスマートデバイス204-6などのスマートデバイスから通信チャネル(たとえばRFIDチャネル)を介して受信された可能化コマンドに応答してレーダを介して通信するように構成される。いくつかの実現例においては、電子タグ206は、スマートデバイスによってプリセットされた間隔などの特定の間隔で、レーダを介して通信するように構成される。たとえば、電子タグ206-1および206-2は、タグのうちの1つだけがいずれの所与の時間にもレーダを介して通信を行なうように、デバイス204-6によって構成されている。いくつかの実現例においては、電子タグ206は、電子タグが貼付される対象物の動きなどの、環境における変化を検出することに応じて、レーダを介して通信を行なうように構成される。たとえば、いくつかの実現例においては、電子タグ206は、湿度センサ、温度センサ、加速度計、ジャイロスコープおよび/または光学センサのうち1つ以上を含む。この例においては、タグは、センサのうち1つ以上によって検出された変化に応じてレーダを介して通信を行なうように構成されている。
【0055】
いくつかの実現例においては、スマートホーム環境100は、自律した態様で、さまざまな家事のいずれかを実行するように構成されたサービスロボット168(
図1)を含む。
【0056】
図1に関連付けて上述したように、いくつかの実現例においては、
図1のスマートホーム環境100は、直接、またはネットワークインターフェイス160を介してネットワーク162に通信可能に結合されるハブデバイス180を含む。ハブデバイス180はさらに、少なくともスマートホーム環境100において利用可能な無線通信ネットワークを用いて、スマートデバイスのうち1つ以上と通信可能に結合される。無線通信ネットワークによって用いられる通信プロトコルは、ZigBee、Z-Wave、Insteon、EuOcean、Thread、OSIAN、Bluetooth低エネルギなどを含むがこれらに限定されない。いくつかの実現例においては、ハブデバイス180は、ネットワークインターフェイス160またはネットワーク162のデータフォーマット要件を満たすために各々のスマートデバイスから受信したデータを変換するだけでなく、対象とされたスマートデバイスに関連付けられたそれぞれの通信プロトコルのデータフォーマット要件を満たすためにネットワークインターフェイス160またはネットワーク162から受信した情報も変換する。いくつかの実現例においては、ハブデバイス180は、データフォーマット変換に加えて、さらに、スマートデバイスから受信したデータ、または、ネットワークインターフェイス160もしくはネットワーク162から予備的に受信した情報を処理する。たとえば、ハブデバイス180は、(同じタイプおよび/または異なるタイプのセンサ/デバイスを含む)複数のセンサ/接続されたデバイスからの入力を統合して、それらの入力に対してより高レベルの処理を実行することができ、(たとえば、全体
的な環境を評価してさまざまなセンサ/デバイス間での動作を連係させることができ)、および/または、入力の集合およびプログラムされた処理に基づいてさまざまなデバイスに命令を与えることができる。いくつかの実現例において、ネットワークインターフェイス160およびハブデバイス180が1つのネットワークデバイスに一体化されていることに留意されたい。この明細書中に記載される機能は、スマートデバイス、(スマートフォンなどの)代表的な電子デバイス上で実行される制御アプリケーション、ハブデバイス180、および、インターネットまたは他のワイドエリアネットワークを介してハブデバイスに結合されたサーバについての特定の実現例を表している。この機能および関連する動作のすべてまたは一部は、上述のシステムのいずれかの要素によって実行することができる、たとえば、ハブデバイスの実現例によって実行されるものとしてこの明細書中に記載されている機能のすべてまたは一部は、さまざまなシステム実現例において、サーバ上、1つ以上の接続されたスマートデバイス上および/もしくは制御アプリケーション上またはそれらのさまざまな組合わせ上、において全体的または部分的に実行することができる。
【0057】
図3は、いくつかの実現例に従った、
図1のスマートホーム環境が一体化されている拡張可能なデバイスおよびサービスプラットフォームを示すネットワークレベル図である。拡張可能なデバイスおよびサービスプラットフォーム300はスマートホームプロバイダサーバシステム164を含む。
図1に関連付けて記載されたインテリジェント型ネットワーク接続デバイス(たとえば、
図2~
図4に単に「デバイス」として識別されている102、104、106、108、110、112、114、116および118)の各々は、スマートホームプロバイダサーバシステム164と通信し得る。たとえば、インターネット162への接続は、直接的に(たとえば、無線キャリアへの3G/4G接続を使用して)、または、ネットワークインターフェイス160(たとえば、ルータ、スイッチ、ゲートウェイ、ハブデバイス、もしくはインテリジェント型の専用の家全体の制御ノード)を介して、またはこれらのいずれかの組合わせを通じて確立され得る。
【0058】
いくつかの実現例においては、デバイスおよびサービスプラットフォーム300は、スマートホーム環境100のスマートデバイスと通信してこれらスマートデバイスからデータを収集する。加えて、いくつかの実現例においては、デバイスおよびサービスプラットフォーム300は世界中の複数のスマートホーム環境と通信し、これら複数のスマートホーム環境からデータを収集する。たとえば、スマートホームプロバイダサーバシステム164は、1つ以上のスマートホーム環境100のデバイスからホームデータ302を収集し、デバイスは、定期的にホームデータを送信してもよく、または、特定の場合(たとえば、デバイスがホームデータ302に問合わせを行なうとき)にホームデータを送信してもよい。収集されたホームデータ302の例は、たとえば、消費電力データ、黒体放射データ、在室データ、HVAC設定および使用度データ、一酸化炭素レベルデータ、二酸化炭素レベルデータ、揮発性有機化合物レベルデータ、睡眠スケジュールデータ、調理スケジュールデータ、内部および外部温度湿度データ、テレビ視聴率データ、内部および外部騒音レベルデータ、圧力データ、映像データなどを含むが、これらに限定されない。
【0059】
いくつかの実現例においては、スマートホームプロバイダサーバシステム164は1つ以上のサービス304をスマートホームおよび/または第三者に提供する。サービス304の例として、ソフトウェア更新、カスタマサポート、センサデータ収集/ロギング、リモートアクセス、遠隔制御または分散制御、および/または、性能の改善、光熱費の低減、安全性の向上などのための(収集されたホームデータ202に基づいた)使用提案を含むが、これらに限定されない。いくつかの実現例においては、サービス304に関連付けられているデータは、スマートホームプロバイダサーバシステム164に格納され、スマートホームプロバイダサーバシステム164は、適切な時間(たとえば、定期的、ユーザから要求を受信したときなど)にデータを取出して送信する。
【0060】
いくつかの実現例においては、拡張可能なデバイスおよびサービスプラットフォーム300は処理エンジン306を含む。処理エンジン306は、単一のサーバに集中させてもよく、または、いくつかの異なるコンピューティングエンティティ間において分散させてもよいが、これらに限定されない。いくつかの実現例においては、処理エンジン306は、(たとえば、インターネット162および/またはネットワークインターフェイス160を介して)スマートホーム環境100のデバイスからデータを受信し、データにインデックスを付け、データを分析し、および/または、分析に基づいてまたは分析の一部として統計を生成するように構成されたエンジンを含む。いくつかの実現例においては、分析されたデータは、導き出されたホームデータ308として格納される。
【0061】
分析または統計の結果は、その後、結果を導き出すために使用されるホームデータを提供したデバイスに、他のデバイスに、デバイスのユーザにウェブページを提供するサーバに、または他の非スマートデバイスエンティティに送り返すことができる。いくつかの実現例においては、使用統計、他のデバイスの使用に関する使用統計、使用パターン、および/または、センサ読取り値を集約した統計が、処理エンジン206によって生成されて送信され得る。これらの結果または統計はインターネット162を介して提供され得る。このような態様で、処理エンジン306は、ホームデータ302からさまざまな有用な情報を導き出すように構成およびプログラムされ得る。単一のサーバが1つ以上のエンジンを備え得る。
【0062】
導き出されたホームデータ308は、家毎、近隣毎、または地域毎のデバイスの明確なプログラムされた制御(たとえば、電力事業のための需要応答プログラム)から、家毎に支援し得る推論抽象化の生成(たとえば、家の所有者が休暇で出かけたため、防犯用検出機器を最高感度に設定できるという推論を下せる)、政府または慈善目的に使用され得る統計量および関連する推論抽象化の生成に亘る、さまざまな有用な目的のためにさまざまな異なる粒度で使用され得る。たとえば、処理エンジン306は、デバイスの集団におけるデバイス使用度に関する統計を生成し得るとともに、その統計をデバイスユーザ、サービスプロバイダ、または他のエンティティ(たとえば、統計を要求したエンティティ、または統計に対する金銭的補償を提供したエンティティ)に送信し得る。
【0063】
いくつかの実現例においては、革新および研究を促進し、ユーザが利用できる製品およびサービスを増やすために、デバイスおよびサービスプラットフォーム300において、一連のアプリケーションプログラミングインターフェイス(application programming interface:API)210を第三者、たとえば、慈善事業体314、政府機関316(た
とえば、食品医薬品局または環境保護庁)、学術機関318(たとえば、大学の研究者)、企業320(たとえば、関連機器に対するデバイス保証またはサービスを提供したり、ホームデータに基づき広告を対象とする)、ガス・電力会社324および他の第三者など、に公開する。API310は第三者システムに結合され、第三者システムが、サービス304、処理エンジン306、ホームデータ302、および導出されたホームデータ308を含む、スマートホームプロバイダサーバシステム164と通信することを許可する。いくつかの実現例においては、API310は、第三者によって実行されるアプリケーションが、スマートホームプロバイダサーバシステム164によって実行される特定のデータ処理タスクを開始し、さらにはホームデータ302および導き出されたホームデータ308の動的な更新を受取ることを可能にする。
【0064】
たとえば、第三者は、サービスおよび情報をユーザに提供するためにスマートホームプロバイダサーバシステム164と統合するべきプログラムおよび/またはアプリケーション(たとえば、ウェブもしくはモバイルアプリケーション)を開発してもよい。このようなプログラムおよびアプリケーションは、たとえば、ユーザが、エネルギ消費量を減らし
たり、機先を制して欠陥機器を整備したり、高いサービス需要に応じる準備をしたり、過去のサービス実績などを追跡したり、または他の有益な機能もしくはタスクを実行したりするのを支援するように設計され得る。
【0065】
図4は、いくつかの実現例に従った、スマートホーム環境のデバイスおよび処理エンジン306に関連した、
図3の拡張可能なデバイスおよびサービスプラットフォーム300を示す抽象化された機能
図400である。スマートホーム環境内に配設されているデバイスは、多種多様な異なる個別の能力および制限を有し得るものの、これらデバイスは、それぞれがデータコンシューマ402(data consumer:DC)、データソース404(data source:DS)、サービスコンシューマ406(services consumer:SC)、および
サービスソース408(services source:SS)であるという点で共通の特性を共有し
ているものと考えられ得る。有利には、デバイスがローカルの直接的な目的を達成するために用いられる制御情報を提供することに加えて、拡張可能なデバイスおよびサービスプラットフォーム300は、これらのデバイスによって生成される大量のデータを使用するように構成されてもよい。その直接的機能に関してそれらデバイス自体の実際の動作を向上させるかまたは最適化することに加えて、拡張可能なデバイスおよびサービスプラットフォーム300は、さまざまな有用な目的を達成するためにさまざまな自動化された、拡張可能な、柔軟性の高い、および/またはスケーラブルな方法でそのデータを「別の目的に使う」ことに向けられてもよい。これらの目的は、たとえば、使用度パターン、デバイス効率および/または(たとえば、特定の機能を要求する)ユーザ入力に基づいて、事前に定義されるかまたは適応的に識別され得る。
【0066】
図4は、いくつかの処理パラダイム410を含むものとして処理エンジン306を示している。いくつかの実現例においては、処理エンジン306は、一次的または二次的なデバイス機能を監視および管理する管理サービスパラダイム410aを備える。デバイス機能は、ユーザ入力を与えられたデバイスの適切な動作を保証すること、侵入者が住居内に居るか、または住居内に入ろうとしていると推定する(たとえば、さらにそのような場合に応答する)こと、デバイスに結合されている機器の故障(たとえば、電球が切れている)を検出すること、エネルギ需要応答事象を実現するかもしくはこれに応答すること、または、現在もしくは予測された将来の事象もしくは特徴をユーザに警告することを含み得る。いくつかの実現例においては、処理エンジン306は、デバイス使用度に基づきユーザについて対象となる特性(たとえば、人口統計情報)、要望および/または製品を推定する広告/通信パラダイム410bを備える。次いで、サービス、販促、製品、またはアップグレードがユーザに対して提案されるかまたは自動的に提供され得る。いくつかの実現例においては、処理エンジン306はソーシャルパラダイム410cを備える。ソーシャルパラダイム410cは、ソーシャルネットワークからの情報を使用し、(たとえば、デバイス使用度に基づいて)情報をソーシャルネットワークに提供し、および/または、ユーザおよび/もしくはデバイスとソーシャルネットワークプラットフォームとの相互のやり取りに関連付けられているデータを処理する。たとえば、ソーシャルネットワーク上の信頼できる連絡先に報告されるようなユーザのステータスは、照明検出、セキュリティシステム停止またはデバイス使用度検出器に基づき、ユーザがいつ家に居るかを示すように更新され得る。別の例として、ユーザは、デバイス使用度統計を他のユーザと共有することができるものとしてよい。さらに別の例においては、ユーザは、請求される電気料金を減らせるHVAC設定を共有してもよく、他のユーザは、HVAC設定を自分のスマートサーモスタット102にダウンロードして、請求される自身の電気料金を減らしてもよい。
【0067】
いくつかの実現例においては、処理エンジン306は、異議/規則/コンプライアンス/報酬パラダイム410dを備える。異議/規則/コンプライアンス/報酬パラダイム410dは、ユーザに異議、競合、規則、コンプライアンス規定、および/または報酬を通
知するものであるとともに、ならびに/または、動作データを使用して、異議が対処されたかどうか、規則または規定が順守されているかどうか、および/または、報酬が獲得されたかどうかを判断するものである。異議、規則および/または規定は、省エネ、安全な生活(たとえば、熱源についての警告の発生を少なくする、有毒物質または発癌物質への露出を低減する)、お金の節約および/または機器の延命、健康改善などに対する取組みに関係し得る。たとえば、1つの異議は、1週間に1度サーモスタットを下げることを関与者に要求するものであり得る。この異議の履行に成功した関与者は、クーポン、仮想通貨、ステータスなどの報酬を受ける。コンプライアンスに関しては、一例として、賃貸不動産所有者が、特定の所有者の部屋への賃借人のアクセスを許可しないという規則を作ることが挙げられる。人感センサを有する部屋内のデバイスが、部屋がアクセスされたときに所有者に更新情報を送信してもよい。
【0068】
いくつかの実現例においては、処理エンジン306は、外来ソースからの外来情報412を統合するかまたは利用して、1つ以上の処理パラダイムの機能を改善する。外来情報316は、デバイスから受信したデータを解釈するため、デバイス付近の環境(たとえば、デバイスが封じ込められている構造物の外側)の特性を判断するため、ユーザが利用可能なサービスまたは製品を判断するため、ソーシャルネットワークまたはソーシャルネットワーク情報を識別するため、デバイス付近のエンティティ(たとえば、救急隊、警察もしくは病院などの公共サービスエンティティ)の連絡先情報を決定するため、家または近所に関連付けられている統計的もしくは環境的条件、傾向または他の情報を識別するため、などに使用され得る。
【0069】
図5は、サーバシステム508が1つ以上のカメラ118などの1つ以上のスマートデバイスのためにデータ処理を行なう代表的な動作環境500を示す。いくつかの実現例においては、サーバシステム508は、ビデオカメラ118によって取込まれた映像ストリームにおけるモーションイベントを監視してレビューし易くする。いくつかの実現例においては、サーバシステム508は、1つ以上のレーダ搭載スマートデバイスによって検出されたレーダイベントを監視してレビューし易くする。
図5に示されるように、いくつかの実現例においては、サーバシステム508は、さまざまな物理的位置(たとえば、住宅、レストラン、店舗、道路、駐車場および/または
図1のスマートホーム環境100内)に位置する(カメラ118を含む)映像源522から映像データを受信する。各々の映像源522は、1つ以上のレビュアーアカウントに結び付けられてもよく、サーバシステム508は、レビュアーアカウントに関連付けられたクライアントデバイス504に対して映像源522についての映像監視データを提供する。たとえば、携帯型電子デバイス166はクライアントデバイス504の一例である。
【0070】
いくつかの実現例においては、スマートホームプロバイダサーバシステム164またはその構成要素はサーバシステム508として機能する。いくつかの実現例においては、サーバシステム508は、サーバシステム508によって提供される他のサービスとは無関係に、映像源およびクライアントデバイス504に映像処理サービスを提供する専用の映像処理サーバを含む。いくつかの実現例においては、サーバシステム508は、さまざまなレーダ搭載デバイスおよびクライアントデバイス504のためにレーダ処理サービスを提供する専用のレーダ処理サーバを含む。
【0071】
いくつかの実現例においては、映像源522の各々は1つ以上のビデオカメラ118を含む。1つ以上のビデオカメラ118は、映像を取込んで、取込んだ映像を実質的にリアルタイムでサーバシステム508に送信する。いくつかの実現例においては、映像源522の各々は、任意には、1つ以上のカメラ118とサーバシステム508との間の媒介として機能するコントローラデバイス(図示せず)を含む。コントローラデバイスは、1つ以上のカメラ118から映像データを受信し、任意には、映像データに対していくつかの
予備的処理を実行し、1つ以上のカメラ118の代わりに、サーバシステム508に映像データを実質的にリアルタイムで送信する。いくつかの実現例においては、各々のカメラは、(予備的処理によって取得されたメタデータと共に)処理された映像データをコントローラデバイスおよび/またはサーバシステム508に送信する前に、取込まれた映像データに対していくつかの予備的処理を実行するための処理能力がそれ自体に内蔵されている。いくつかの実現例においては、取込まれた映像は、サーバシステム508にアップロードされる前にローカルストレージ(図示せず)に格納される。
【0072】
図5に示されるように、いくつかの実現例に従うと、クライアントデバイス504の各々はクライアント側モジュール502を含む。クライアント側モジュール502は、1つ以上のネットワーク162を介してサーバシステム508上で実行されるサーバ側モジュール506と通信する。クライアント側モジュール502は、イベント監視およびレビュー処理のためのクライアント側機能を備えており、サーバ側モジュール506と通信する。サーバ側モジュール506は、それぞれのクライアントデバイス504上に常駐しているいくつかのクライアント側モジュール502についてのイベント監視およびレビュー処理のためのサーバ側機能を備える。サーバ側モジュール506はまた、任意の数の制御デバイスおよびカメラ118を含む任意の数の映像源522についての映像処理およびカメラ制御のためのサーバ側機能を備える。
【0073】
いくつかの実現例においては、サーバ側モジュール506は、1つ以上のプロセッサ512、映像ストレージデータベース514、デバイスおよびアカウントデータベース516、1つ以上のクライアントデバイス518に対するI/Oインターフェイス、ならびに1つ以上の映像源520に対するI/Oインターフェイスを含む。1つ以上のクライアント518に対するI/Oインターフェイスは、サーバ側モジュール506のためのクライアント向けの入出力処理を容易にする。データベース516は、映像処理サーバに登録されたレビュアーアカウントについての複数のプロファイルを格納する。この場合、それぞれのユーザプロファイルは、それぞれのレビュアーアカウントについてのアカウントクレデンシャルと、それぞれのレビュアーアカウントにリンクされた1つ以上の映像源とを含む。1つ以上の映像源520に対するI/Oインターフェイスは、1つ以上の映像源522(たとえば、1つ以上のカメラ118および関連するコントローラデバイスのグループ)との通信を容易にする。映像ストレージデータベース514は、各レビュアーアカウント毎にイベント監視およびレビューのためにデータ処理する際に使用するための、モーションイベント、イベントカテゴリ、イベントカテゴリモデル、イベントフィルタおよびイベントマスクなどのさまざまなタイプのメタデータだけでなく、映像源522から受信された未処理の映像データも格納する。
【0074】
代表的なクライアントデバイス504の例として、ハンドヘルドコンピュータ、ウェアラブルコンピューティングデバイス、携帯情報端末(personal digital assistant:PDA)、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、スマートフォン、高速汎用パケット無線サービス(enhanced general packet radio service:EGPRS)携帯電話、メディアプレイヤ、ナビゲーションデバイス
、ゲーム機、テレビ、リモートコントロール、店舗販売時点情報管理(point-of-sale:
POS)端末、車両搭載コンピュータ、電子書籍リーダ、またはこれらのデータ処理デバイスもしくは他のデータ処理デバイスのうちいずれか2つ以上の組合せ、を含むが、これらに限定されない。
【0075】
1つ以上のネットワーク162の例は、インターネットなどのローカルエリアネットワーク(local area network:LAN)およびワイドエリアネットワーク(wide area network:WAN)を含む。1つ以上のネットワーク162は、任意には、Ethernet
、ユニバーサルシリアルバス(Universal Serial Bus:USB)、FIREWIRE(登
録商標)、ロングタームエボリューション(Long Term Evolution:LTE)、グローバ
ル移動体通信システム(Global System for Mobile Communications:GSM(登録商標
))、高度データGSM環境(Enhanced Data GSM Environment:EDGE)、符号分割
多元接続(code division multiple access:CDMA)、時分割多元接続(time division multiple access:TDMA)、Bluetooth、Wi-Fi、ボイス・オーバ・インターネット・プロトコル(voice over Internet Protocol:VoIP)、Wi-MAX、または他の好適な通信プロトコルなどのさまざま有線または無線プロトコルを含む、いずれかの公知のネットワークプロトコルを用いて実現される。
【0076】
いくつかの実現例においては、サーバシステム508は、1つ以上のスタンドアロンのデータ処理装置上で、またはコンピュータの分散型ネットワーク上で実現される。いくつかの実現例においては、サーバシステム508はまた、サーバシステム508の基礎的コンピューティングリソースおよび/またはインフラストラクチャリソースを提供するために、さまざまな仮想デバイスおよび/または第三者サービスプロバイダ(たとえば第三者クラウドサービスプロバイダ)のサービスを用いる。いくつかの実現例においては、サーバシステム508は、ハンドヘルドコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、またはこれらデータ処理デバイスもしくは他のデータ処理デバイスのうちいずれか2つ以上の組合せ、を含むがこれらに限定されない。
【0077】
図1に示されるサーバクライアント環境500は、クライアント側部分(たとえばクライアント側モジュール502)およびサーバ側部分(たとえばサーバ側モジュール506)の両方を含む。動作環境500のうちクライアント部分とサーバ部分との間の機能の分割は、実現例毎に異なり得る。同様に、映像源522とサーバシステム508との間の機能の分割は、実現例毎に異なり得る。たとえば、いくつかの実現例においては、クライアント側モジュール502はシン・クライアントであって、単にユーザ向けの入出力処理機能を提供し、バックエンドサーバ(たとえば、サーバシステム508)に他のすべてのデータ処理機能を委任するものである。同様に、いくつかの実現例においては、映像源522のそれぞれは、単純な映像取込みデバイスであって、映像データに対するローカルな予備的処理をなくしたり制限したりすることなく、映像データを連続的に取込んでサーバシステム508に送り込む。この技術の多くの局面をサーバシステム508の観点から説明しているが、クライアントデバイス504および/または映像源522によって実行される対応する動作が、如何なる創作的な労力もなしに、当業者にとって明らかになるだろう。同様に、この技術のいくつかの局面は、クライアントデバイスまたは映像源の観点から説明されてもよく、映像サーバによって実行される対応する動作は、如何なる創作的な労力なしに、当業者にとって明らかになるだろう。さらに、この技術のいくつかの局面は、サーバシステム508、クライアントデバイス504および映像源522によって協働的に実行されてもよい。
【0078】
サーバシステム508、映像源522およびビデオカメラ118を含む動作環境500が単なる一例に過ぎないことが理解されるはずである。動作環境500の多くの局面は、一般に、サーバシステムが、他のタイプの電子デバイス(たとえば、スマートサーモスタット102、スマートハザード検出器104、スマートドアベル106、スマート壁面プラグ110、アプライアンス112など)によって取込まれたデータを監視してレビューし易くするためのデータ処理を提供する他の動作環境において適用可能である。
【0079】
電子デバイス、クライアントデバイスまたはサーバシステムは、1つ以上の通信ネットワーク162を用いて互いと通信する。例示的なスマートホーム環境においては、2つ以上のデバイス(たとえばネットワークインターフェイスデバイス160、ハブデバイス180およびクライアントデバイス504-m)は、有線接続、WLANまたはBluet
oothパーソナルエリアネットワーク(Personal Area Network:PAN)を介して同
じサブネットワーク162Aにおいて通信可能に結合され得るように、互いに近接して配置される。Bluetooth PANは、任意には、従来のBluetooth技術またはBluetooth低エネルギ(Bluetooth Low Energy:BLE)技術に基づいて確立される。このスマートホーム環境はさらに、1つ以上の他の無線通信ネットワーク162Bを含む。これら1つ以上の他の無線通信ネットワーク162Bを介して、映像源522-nの電子デバイスのうちの少なくともいくつかがハブデバイス180とデータをやり取りする。代替的には、いくつかの状況においては、映像源522-nの電子デバイスのうちのいくつかは、デバイス160、180および504-mを結合する同じサブネットワーク162Aを介して、直接、ネットワークインターフェイスデバイス160と通信する。いくつかの実現例(たとえばネットワーク162C)においては、クライアントデバイス504-mおよび映像源522-nの電子デバイスはともに、ネットワークインターフェイスデバイス160またはハブデバイス180を通ることなく、ネットワーク162を介して直接通信する。
【0080】
いくつかの実現例においては、通常の動作中、ネットワークインターフェイスデバイス160およびハブデバイス180が互いと通信してネットワークゲートウエイを形成する。このネットワークゲートウエイを介して、映像源522-nの電子デバイスとデータがやり取りされる。上述のように、ネットワークインターフェイスデバイス160およびハブデバイス180は、任意には、サブネットワーク162Aを介して互いと通信する。
【0081】
図6は、いくつかの実現例に従った、代表的なハブデバイス180を示すブロック図である。いくつかの実現例においては、ハブデバイス180は、1つ以上の処理ユニット(たとえば、CPU、ASIC、FPGA、マイクロプロセッサなど)602、1つ以上の通信インターフェイス604、メモリ606、無線機640、および、これらの構成要素を相互に接続するための1つ以上の通信バス608を含む(チップセットと称されることもある)。いくつかの実現例においては、ハブデバイス180は入力を受信するための1つ以上のボタンなどの1つ以上の入力デバイス610を含む。いくつかの実現例においては、ハブデバイス180は、1つ以上の出力デバイス612、たとえば、1つ以上の表示灯、サウンドカード、スピーカ、テキスト情報を表示するための小型ディスプレイおよびエラーコードなどを含む。さらに、いくつかの実現例においては、ハブデバイス180は、キーボードを補足するかまたはキーボードを置換するために、マイクロホンおよび音声認識、またはカメラおよびジェスチャ認識を用いる。いくつかの実現例においては、ハブデバイス180は、ハブデバイス180の位置を判断するために、全地球測位衛星(global positioning satellite:GPS)または他のジオロケーション受信機などの位置検出デバイス614を含む。
【0082】
ハブデバイス180は、任意には、たとえば、1つ以上の熱放射センサ、周囲温度センサ、湿度センサ、IRセンサ、レーダ、(たとえば、RFIDセンサを用いる)人感センサ、周囲光センサ、モーション検出器、加速度計および/またはジャイロスコープを含む、1つ以上の内蔵センサ(図示せず)を含む。
【0083】
無線機640は、スマートホーム環境における1つ以上の無線通信ネットワークを可能化し、および/または当該無線通信ネットワークに接続し、ハブデバイスがスマートデバイス204と通信することを可能にする。いくつかの実現例においては、無線機640は、さまざまなカスタムまたは標準の無線プロトコル(たとえば、IEEE802.15.4、Wi-Fi、ZigBee、6L0WPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWiなど)、カスタムまたは標準の有線プロトコル(たとえばEthernet、HomePlugなど)、および/または、この明細書の出願日の時点でまだ開発されていない通
信プロトコルを含む他のいずれかの好適な通信プロトコル、のうちのいずれかを用いて、データ通信することができる。いくつかの実現例においては、無線機640は、各々が異なる通信プロトコルを実現する複数のさまざまな物理的な無線機を含む。たとえば、いくつかの実現例においては、無線機640はWi-Fi無線機、Bluetooth無線機およびIEEE802.15.4無線機を含む。これらすべては2.4GHzで動作する。いくつかの実現例においては、無線機640は1つ以上のレーダトランシーバを含む。いくつかの実現例においては、無線機のうちのいくつかが組合わされる。たとえば、いくつかの実現例においては、Bluetooth無線機およびWi-Fi無線機が単一アンテナに結合されたシングルチップに組込まれる。他の実現例においては、Bluetooth無線機およびIEEE802.15.4無線機が単一アンテナに結合されたシングルチップに組込まれる。これらの無線の如何なる組合せも、スマートホーム環境において採用されるスマートデバイスのいずれにおいても実現することができる。
【0084】
いくつかの実現例においては、ハブデバイス180はレーダサブシステムを含む。いくつかの実現例においては、レーダサブシステムは、対象物の範囲、角度、位置または速度を判断するために電波(レーダ信号と称されることもある)を用いる。いくつかの実現例においては、レーダサブシステムは、それらの経路における対象物から反射する電波(またはマイクロ波)を伝達する。レーダサブシステムはさらに、対象物の特性を判断するために反射波を受信して処理する。いくつかの実現例においては、レーダサブシステムは、メモリ606、1つ以上の無線機640および/または1つ以上の通信インターフェイス604において1つ以上の通信モジュール(たとえば、無線通信モジュール620)を含む。
【0085】
通信インターフェイス604は、たとえば、さまざまなカスタムもしくは標準の無線プロトコル(たとえば、IEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWiなど)、および/または、さまざまなカスタムもしくは標準の有線プロトコル(Ethernet、HomePlugなど)、または、この明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他の好適な通信プロトコル、のいずれかを使用してデータ通信を可能にするように、1つ以上の無線機640をハブデバイス180とインターフェイス接続することができるハードウェアを含む。いくつかの実現例においては、通信インターフェイス604は、無線機640によって管理される信号を送受信するための1つ以上のアンテナを含む。
【0086】
メモリ606は、DRAM、SRAM、DDR RAMまたは他のラングムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでおり、任意には、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイス、などの不揮発性メモリを含む。メモリ606、または代替的には、メモリ606内の不揮発性メモリは非一時的なコンピュータ読取り可能記憶媒体を含む。いくつかの実現例においては、メモリ606またはメモリ606の非一時的なコンピュータ読取り可能記憶媒体は、以下のプログラム、モジュールおよびデータ構造またはそれらのサブセットもしくはスーパーセットを格納する。
【0087】
● さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含む動作論理616。
【0088】
● 1つ以上の通信インターフェイス604を介して(有線または無線で)1つ以上のネットワーク162に接続された他のネットワークデバイス(たとえば、インターネット接続、ネットワーク化されたストレージデバイス、ネットワークルーチングデバイス、サ
ーバシステム508などを提供するルータなどのネットワークインターフェイス160)に接続して通信するためのハブデバイス通信モジュール618。
【0089】
● 1つ以上の無線通信デバイス(たとえば無線機640)を介してハブデバイス180を他のデバイス(たとえば、コントローラデバイス、スマートホーム環境100におけるスマートデバイス204、クライアントデバイス504および/または電子タグ)に接続するための無線通信モジュール620。
【0090】
● 1つ以上のデバイス(たとえばスマートホーム環境100におけるスマートデバイス204)についての設定、取込まれたデータおよび/または他のデータが構成され得るおよび/またはレビューされ得るユーザインターフェイスを提供して表示するためのユーザインターフェイスモジュール622。
【0091】
● ハブデバイスデータベース624。ハブデバイスデータベース624は、以下を含むが、以下のものに限定されない。
【0092】
・ ハブデバイス180および/または1つ以上の他のデバイス(たとえばスマートホーム環境100におけるスマートデバイス204)のうちの1つ以上のセンサによって受信、検出および/または送信されたデータを格納して管理するためのセンサ情報6240。
【0093】
・ 1つ以上のデバイス(たとえば、スマートホーム環境100において結合されたスマートデバイス204)のための動作設定、たとえば、デバイス識別、タイミング設定、レーダ設定、動作モードおよび/またはプリファレンス設定など、を格納するためのデバイス設定6242。
【0094】
・ 1つ以上のプロトコル(たとえば、ZigBee、Z-Waveなどの標準の無線プロトコル、および/または、Ethernetなどのカスタムもしくは標準の有線プロトコル)についてのプロトコル情報を格納して管理するための通信プロトコル情報6244。
【0095】
上述の識別された要素(たとえば、ハブデバイス180のメモリ206に格納されたモジュール)の各々は、先に言及したメモリデバイス(たとえば、スマートホーム環境100(
図1)におけるスマートデバイスのうちのいずれかのメモリ)のうち1つ以上に格納されてもよく、上述の機能を実行するための1セットの命令に対応している。上述の識別されたモジュールまたはプログラム(すなわち、1セットの命令)は別個のソフトウエアプログラム、手順またはモジュールとして実現される必要はなく、このため、これらのモジュールのさまざまなサブセットはさまざまな実現例において組合わされてもよく、または再配置されてもよい。いくつかの実現例においては、メモリ606は、任意には、上述において識別されたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ606は、任意には、上述されない付加的なモジュールおよびデータ構造を格納する。
【0096】
図7Aは、いくつかの実現例に従ったサーバシステム508を示すブロック図である。サーバシステム508は、典型的には、1つ以上の処理ユニット(processing unit:C
PU)702、(たとえば、1つ以上のクライアントデバイスに対するI/Oインターフェイスおよび1つ以上の電子デバイスに対するI/Oインターフェイスを含む)1つ以上のネットワークインターフェイス704、メモリ706、およびこれらの構成要素を相互接続するための1つ以上の通信バス708を含む(チップセットと称されることもある)。メモリ706は、DRAM、SRAM、DDR RAMまたは他のラングムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでおり、任意に
は、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含む。メモリ706は、任意には、1つ以上の処理ユニット702から遠隔に位置する1つ以上のストレージデバイスを含む。メモリ706または代替的にはメモリ706内の不揮発性メモリは非一時的なコンピュータ読取り可能記憶媒体を含む。いくつかの実現例においては、メモリ706またはメモリ706の非一時的なコンピュータ読取り可能記憶媒体は、以下のプログラム、モジュールおよびデータ構造またはそれらのサブセットもしくはスーパーセットを格納する。
【0097】
● さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含むオペレーティングシステム710。
【0098】
● 1つ以上のネットワークインターフェイス704を介して(有線または無線で)サーバシステム508を他のシステムおよびデバイス(たとえば、クライアントデバイス、電子デバイス、および1つ以上のネットワーク162に接続されたシステム(
図1~
図5))に接続するためのネットワーク通信モジュール712。
【0099】
● デバイス制御、データ処理およびデータレビューのためのサーバ側機能を提供するサーバ側モジュール714。サーバ側モジュール714は、以下を含むが以下のものに限定されない。
【0100】
・ 電子デバイスからデータ(たとえば、カメラ118から映像データおよび/またはレーダ搭載デバイスからレーダ情報)を受信して、データストレージデータベース7160におけるさらなる処理および格納のために受信データを準備するためのデータ受信モジュール7140。
【0101】
・ 電子デバイス(たとえば、スマートホーム環境100のデバイス)の動作モードを変更するためのサーバ主導の制御コマンドを生成して送信するための、および/または、電子デバイスの動作モードを変更するためのユーザ主導の制御コマンドを(たとえばクライアントデバイス504から)受信して転送するための、ハブおよびデバイス制御モジュール7142。
【0102】
・ 電子デバイスによって提供されるデータを処理するための、および/または、処理されたデータを準備してレビューのためにデバイス(たとえばユーザがレビューするためのクライアントデバイス504)に送信するためのデータ処理モジュール7144。データ処理モジュール7144は、以下を含むがこれらに限定されない。
【0103】
- レーダイベントを分類し、レーダによって検出されたエンティティを識別するためなどの、レーダ搭載デバイスによって提供されるレーダデータを処理するためのレーダ処理モジュール7145。
【0104】
- モーションイベントを分類してモーションエンティティを識別するためなどの、1つ以上のカメラによって提供される映像データを処理するための映像処理モジュール7146。
【0105】
- ユーザと通信する(たとえば、警告、タイムラインイベントなどを送ったり、ユーザ編集およびゾーン定義などを受信したりする)ためのユーザインターフェイスサブモジュール7150。
【0106】
● サーバデータベース716。サーバデータベース716は以下を含むが以下に限定
されない。
【0107】
・ 各々のユーザアカウントの各電子デバイス(たとえば各々のカメラ)に関連付けられたデータ、さらにはデータ処理モデル、処理データ結果、および、データに関連付けられた他の関連するメタデータ(たとえば、データ結果の名前、電子デバイスの位置、作成時間、期間、電子デバイスの設定など)を格納するためのデータストレージデータベース7160。この場合、(任意には)ハブデバイス180またはスマートデバイスに関連付けられたデータおよび/または処理のすべてまたは一部が安全に格納される。
【0108】
・ ユーザプロファイル7163などのユーザアカウント情報を含むユーザアカウントについてのアカウント情報、リンクされたハブデバイスおよび電子デバイスについての情報および設定(たとえばハブデバイス識別)、ハブデバイス特有の秘密、関連するユーザおよびハードウェアの特徴(たとえば、サービス層、デバイスモデル、記憶容量、処理能力など)、ユーザインターフェイス設定、データレビュープリファレンスなどを格納するためのアカウントデータベース7162。この場合、関連する電子デバイスについての情報は、1つ以上のデバイス識別子(たとえばMACアドレスおよびUUID)、デバイス特有の秘密、および表示されたタイトルを含むがこれらに限定されない。
【0109】
・ 対応するハブデバイスがいずれかのユーザアカウントに関連付けられていたかに関わらず、デバイスプロファイル7165などの1つ以上のデバイスに関するデバイス情報、たとえば、デバイス識別子およびハブデバイス特有の秘密、を格納するためのデバイス情報データベース7164。
【0110】
・ イベント記録7168などのイベント情報、たとえばイベントログ情報、イベントカテゴリなどを格納するためのイベント情報データベース7166。
【0111】
・ 1つ以上の電子タグについてのタグ情報、たとえばタグ識別子、タグ信号タイミング、タグ位置情報などを格納するためのタグ情報データベース7170。
【0112】
・ 1つ以上のスマートデバイスについてのレーダ情報、たとえば、レーダ帯域および/またはモード情報、履歴レーダデータ、レーダ対象物モデリング情報など、を格納するためのレーダ情報データベース7172。
【0113】
・ 1つ以上のスマートデバイスについてのタイミング情報、たとえば、さまざまなスマートデバイスを同期させるためのタイミング同期情報、を格納するためのデバイスタイミング情報7174。
【0114】
上述の識別された要素の各々は、上述のメモリデバイスのうち1つ以上に格納されてもよく、上述の機能を実行するための1セットの命令に対応している。上述の識別されたモジュールまたはプログラム(すなわち命令のセット)は、別個のソフトウエアプログラム、手順またはモジュールとして実現される必要はなく、このため、これらのモジュールのさまざまなサブセットはさまざまな実現例において組合わされてもよく、または再配置されてもよい。いくつかの実現例においては、メモリ706は、任意には、上述において識別されたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ706は、任意には、上述されない付加的なモジュールおよびデータ構造を格納する。
【0115】
図7Bは、イベント記録7168-i、ユーザプロファイル7163-iおよびデバイスプロファイル7165-iを含むいくつかの実現例によって用いられるさまざまなデータ構造を示す。イベント記録7168-iは、モーションイベントiおよびモーションイベントについてのデータに対応する。いくつかの場合には、モーションイベントiについ
てのデータは、モーション開始(キューポイントとも称される)データ71681、イベントセグメントデータ71682、未処理映像データ71683、モーション終了データ71684、イベント特徴データ71685、シーン特徴データ71686、関連ユーザ情報71687、および関連デバイス情報71688を含む。いくつかの場合には、イベント記録7168-iは上述のデータのサブセットだけを含む。いくつかの場合には、イベント記録7168-iは、イベント/モーションマスクに関するデータなどの(図示されない)付加的なイベントデータを含む。
【0116】
モーション開始データ71681は、タイムスタンプなどの日時情報を含み、任意には、存在するモーションの量および/またはモーション開始位置に関する情報などの付加的な情報を含む。同様に、モーション終了データ71684は、タイムスタンプなどの日時情報を含み、任意には、存在するモーションの量および/またはモーション終了位置に関する情報などの付加的な情報を含む。
【0117】
イベントセグメント71682は、モーションイベントiのセグメント化に関する情報を含む。いくつかの場合には、イベントセグメントは未処理映像データ71683とは別個に格納される。いくつかの場合には、イベントセグメントは未処理映像データよりも低い表示解像度で格納される。たとえば、イベントセグメントは、任意には、480pまたは780pで格納され、未処理映像データは1080iまたは1080pで格納される。イベントセグメントをより低い表示解像度で格納することにより、システムは、より少ない時間およびリソースを当てるだけでイベントセグメントを取出して処理することができる。いくつかの場合には、イベントセグメントは別個に格納されておらず、セグメント化情報は、イベントセグメントを再生するための日時情報とともに未処理映像データ71683を参照することも含む。
【0118】
イベント特徴データ71685は、イベントカテゴリ化/分類、対象物マスク、モーションマスク、識別された/認識された/追跡されたモーション対象物(ブロブと称されることもある)、モーション対象物の特徴に関する情報(たとえば、対象物の色、対象物の寸法、速度、サイズ変更など)、対象となっているゾーンにおける活動に関する情報などの、イベント特徴に関する情報を含む。シーン特徴データ71686は、イベントが行なわれるシーンに関する情報、たとえば、深度マップ情報、窓、テレビ、ファン、天井/床などの位置に関する情報、シーンが屋内であるかもしくは屋外であるかに関する情報、対象となるゾーンに関する情報などを含む。
【0119】
関連付けられたユーザ情報71687は、イベントにおいて識別されるユーザ、イベントの通知を受取るユーザなどの、イベントに関連付けられたユーザに関する情報を含む。いくつかの場合には、関連付けられたユーザ情報71687は、ユーザについてのユーザプロファイル7163に対するリンク、ポインタまたは基準を含む。関連付けられたデバイス情報71688は、イベントに関与するデバイスまたは複数のデバイス(たとえばイベントを記録したカメラ118)に関する情報を含む。いくつかの場合には、関連付けられたデバイス情報71688は、デバイスについてのデバイスプロファイル7165に対するリンク、ポインタまたは基準を含む。
【0120】
ユーザプロファイル7163-iは、ハブデバイス204のユーザ、ハブデバイス204によって識別されたユーザ、ハブデバイス204またはサーバシステム508からの通知を受信するユーザなどの、スマートホームネットワーク(たとえばスマートホームネットワーク202)に関連付けられたユーザiに対応する。いくつかの場合には、ユーザプロファイル7163-iは、ユーザ好み71631、ユーザ設定71632、関連デバイス情報71633、および関連イベント情報71634を含む。いくつかの場合には、ユーザプロファイル7163-iは上述のデータのサブセットだけを含む。いくつかの場合
には、ユーザプロファイル7163-iは、ユーザiに関連付けられた他のユーザに関する情報などの付加的なユーザ情報(図示せず)を含む。
【0121】
ユーザ好み71631は、ユーザによって入力される明確なユーザ好み、ならびに、システム(たとえばサーバシステム508および/またはクライアントデバイス504)によって判断される暗黙的および/または推量されたユーザ好みを含む。いくつかの場合には、推量されたユーザ好みは、履歴ユーザ活動および/または他のユーザの履歴活動に基づいている。ユーザ設定71632は、通知設定、デバイス設定などの、ユーザiによって設定される設定に関する情報を含む。いくつかの場合には、ユーザ設定71632は、ユーザiに関連付けられたデバイスのためのデバイス設定を含む。
【0122】
関連デバイス情報71633は、ユーザのスマートホーム環境100および/またはクライアントデバイス504内におけるデバイスなどの、ユーザiに関連付けられたデバイスに関する情報を含む。いくつかの場合には、関連デバイス情報71633は、対応するデバイスプロファイル7165に対するリンク、ポインタまたは基準を含む。関連イベント情報71634は、ユーザiが識別されたイベント、ユーザiに通知がなされたイベント、ユーザiのスマートホーム環境100に対応するイベントなどの、ユーザiに関連付けられたイベントに関する情報を含む。いくつかの場合には、関連イベント情報71634は、対応するイベント記録7168に対するリンク、ポインタまたは基準を含む。
【0123】
デバイスプロファイル7165-iは、ハブデバイス204、カメラ118、クライアントデバイス504などのスマートホームネットワーク(たとえばスマートホームネットワーク202)に関連付けられたデバイスiに対応している。いくつかの場合には、デバイスプロファイル7165-iは、デバイス設定71651、関連デバイス情報71652、関連ユーザ情報71653、関連イベント情報71654、および環境データ71655を含む。いくつかの場合には、デバイスプロファイル7165-iは上述のデータのサブセットだけを含む。いくつかの場合には、デバイスプロファイル7165-iは、デバイスがその時点でアクティブであるかどうかに関する情報などの付加的なデバイス情報(図示せず)を含む。
【0124】
デバイス設定71651は、位置情報、動作情報のモードなどの、デバイスiのその時点での設定に関する情報を含む。いくつかの場合には、デバイス設定71651は、ユーザ特有のものであって、デバイスiのそれぞれのユーザによって設定される。関連デバイス情報71652は、デバイスiにリンクされた他のデバイスおよび/またはデバイスiと同じスマートホームネットワークにおける他のデバイスなどの、デバイスiに関連付けられた他のデバイスに関する情報を含む。いくつかの場合には、関連デバイス情報71652は、関連デバイスに対応するそれぞれのデバイスプロファイル7165に対するリンク、ポインタまたは基準を含む。
【0125】
関連ユーザ情報71653は、デバイスから通知を受信するユーザ、デバイスに登録されたユーザ、デバイスのスマートホームネットワークに関連付けられたユーザなどの、デバイスに関連付けられたユーザに関する情報を含む。いくつかの場合には、関連ユーザ情報71653は、関連付けられたユーザに対応するユーザプロファイル7163に対するリンク、ポインタまたは基準を含む。
【0126】
関連イベント情報71654は、デバイスiを伴う履歴イベントなどの、デバイスiに関連付けられたイベントに関する情報を含む。いくつかの場合には、関連イベント情報71654は、関連付けられたイベントに対応するイベント記録7168に対するリンク、ポインタまたは基準を含む。
【0127】
環境データ71655は、デバイスiの環境に関する情報、たとえば、デバイスが屋外にあるかまたは屋内にあるかどうかに関する情報、環境の光レベルに関する情報、環境において予想される活動の量に関する情報(たとえば、デバイスがプライベートな住居にあるかまたは繁忙な営業用不動産にあるかどうかに関する情報)、環境上の対象物に関する情報(たとえばカメラについての深度マッピング情報)などを含む。
【0128】
図8は、いくつかの実現例に従った、ユーザアカウントに関連付けられた代表的なクライアントデバイス504を示すブロック図である。クライアントデバイス504は、典型的には、1つ以上の処理ユニット(CPU)802、1つ以上のネットワークインターフェイス804、メモリ806、および、これらの構成要素を相互に接続するための1つ以上の通信バス808を含む(チップセットと称されることもある)。任意には、クライアントデバイスはまた、ユーザインターフェイス810および1つ以上の内蔵センサ890(たとえば、加速度計およびジャイロスコープ)を含む。ユーザインターフェイス810は、1つ以上のスピーカおよび/または1つ以上の表示装置を含む、メディアコンテンツの表示を可能にする1つ以上の出力デバイス812を含む。ユーザインターフェイス810はまた、ユーザ入力を容易にするユーザインターフェイス構成要素(キーボード、マウス、音声コマンド入力ユニットまたはマイクロホン、タッチスクリーンディスプレイ、タッチセンサー式入力パッド、ジェスチャ取込みカメラ、または他の入力ボタンもしくは制御部など)を含む1つ以上の入力デバイス814を含む。さらに、いくつかのクライアントデバイスは、キーボードを補足するか交換するために、マイクロホンおよび音声認識またはカメラおよびジェスチャ認識を用いる。いくつかの実現例においては、クライアントデバイスは、画像を取込むための1つ以上のカメラ、スキャナまたはフォトセンサユニットを含む(図示せず)。任意には、クライアントデバイスは、クライアントデバイスの位置を判断するために、GPS(全地球測位衛星)または他のジオロケーション受信機などの位置検出デバイス816を含む。
【0129】
メモリ806は、DRAM、SRAM、DDR RAMまたは他のラングムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでおり、任意には、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含む。メモリ806は、任意には、1つ以上の処理ユニット802から遠隔に配置された1つ以上のストレージデバイスを含む。メモリ806、または代替的には、メモリ806内の不揮発性メモリは非一時的なコンピュータ読取り可能記憶媒体を含む。いくつかの実現例においては、メモリ806またはメモリ806の非一時的なコンピュータ読取り可能記憶媒体は、以下のプログラム、モジュールおよびデータ構造またはそれらのサブセットもしくはスーパーセットを格納する。
【0130】
● さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含むオペレーティングシステム818。
【0131】
● 1つ以上のネットワークインターフェイス804を介して(有線または無線で)他のシステムおよびデバイス(たとえば、クライアントデバイス、電子デバイス、および1つ以上のネットワーク162に接続されたシステム(
図1~
図5))にクライアントデバイス504を接続するためのネットワーク通信モジュール820。
【0132】
● 1つ以上の入力デバイス814のうちの1つからの1つ以上のユーザ入力または対話を検出し、検出された入力または対話を翻訳するための入力処理モジュール822。
【0133】
● デバイスを制御する(たとえば、設定などを構成するコマンドをハブデバイスおよ
び/または他のクライアントもしくは電子デバイスに送信する)ための、かつ、デバイスによって取込まれたデータ(たとえば、デバイス状態および設定、取込まれたデータ、またはハブデバイスもしくは他の接続されたデバイスに関する他の情報)をレビューするための、クライアントデバイス(たとえば、ゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーションおよび/または他のウェブもしくは非ウェブベースのアプリケーション)によって実行されるべき1つ以上のアプリケーション824。
【0134】
● 設定、取込まれたデータ、および/または、1つ以上のデバイス(たとえばスマートホーム環境100におけるスマートデバイス204)についての他のデータが構成および/またはレビューされ得るユーザインターフェイスを提供して表示するためのユーザインターフェイスモジュール622。
【0135】
● デバイス制御、データ処理およびデータレビューのためのクライアント側機能を提供するクライアント側モジュール828。クライアント側モジュール828は、以下を含むが以下のものに限定されない。
【0136】
・ ユーザ入力に従ってハブデバイスまたは電子デバイスの動作モードを変更するための制御コマンドを生成するためのハブデバイスおよびデバイス制御モジュール8280。
【0137】
・ サーバシステム508によって処理されたデータをレビューするためのユーザインターフェイスを提供するためのデータレビューモジュール8282。
【0138】
● ユーザアカウントおよび電子デバイスに関連付けられたデータを格納するクライアントデータ830。クライアントデータ830は、以下を含むが以下のものに限定されない。
【0139】
・ ユーザアカウントに関連付けられた(たとえば映像源522の)クライアントデバイスおよび電子デバイスにロードされた両方のユーザアカウントに関する情報を格納するアカウントデータ8300。このような情報は、キャッシュされたログイン・クレデンシャル、ハブデバイス識別子(たとえば、MACアドレスおよびUUID)、電子デバイス識別子(たとえば、MACアドレスおよびUUID)、ユーザインターフェイス設定、表示の好み、認証トークンおよびタグ、パスワードキー、などを含む。
【0140】
・ (たとえばカメラ118などの映像源522の)電子デバイスに関連付けられた未処理または処理済みデータを選択的に格納するためのローカルデータ・ストレージデータベース8302。
【0141】
上述の識別された要素の各々は、上述のメモリデバイスのうち1つ以上に格納されてもよく、上述の機能を実行するための1セットの命令に対応している。上述の識別されたモジュールまたはプログラム(すなわち命令のセット)は、別個のソフトウエアプログラム、手順、モジュールまたはデータ構造として実現される必要はなく、このため、これらのモジュールのさまざまなサブセットは、さまざまな実現例において組合わされてもよく、または再配置されてもよい。いくつかの実現例においては、メモリ806は、任意には、上述の識別されたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ806は、任意には、上述されない付加的なモジュールおよびデータ構造を格納する。
【0142】
いくつかの実現例においては、クライアントデバイス504は、スマートホーム環境においてスマートデバイスおよび/または電子タグを登録するための1つ以上のグラフィカルユーザインターフェイスおよび/または1つ以上のモジュールを含む。いくつかの実現
例においては、クライアントデバイス504は、スマートホーム環境と対話するための、スマートホームアプリケーションなどのアプリケーションを含む。いくつかの実現例においては、スマートホームアプリケーションは、スマートデバイスの登録、電子タグの登録、スマートデバイスの動作の調整、スマートデバイスからのデータのレビューなどのうち1つ以上のための1つ以上のユーザインターフェイスを含む。いくつかの実現例においては、スマートホームアプリケーションはユーザインターフェイスモジュール826およびクライアント側モジュール828を含む。
【0143】
図9Aは、いくつかの実現例に従った、代表的なスマートデバイス204を示すブロック図である。いくつかの実現例においては、スマートデバイス204(たとえば、カメラ118、スマートハザード検出器104、スマートサーモスタット102、ハブデバイス180などのスマートホーム環境100(
図1および
図2)のうちいずれかのデバイス)は、1つ以上の処理ユニット(たとえば、CPU、ASIC、FPGA、マイクロプロセッサなど)902、メモリ906、1つ以上の無線機940および無線機950を含む通信モジュール942、通信インターフェイス904、ならびにこれらの構成要素を相互に接続するための1つ以上の通信バス908を含む(チップセットと称されることもある)。いくつかの実現例においては、ユーザインターフェイス910は、1つ以上のスピーカおよび/または1つ以上の表示装置を含むとともにメディアコンテンツの表示を可能にする1つ以上の出力デバイス912を含む。いくつかの実現例においては、ユーザインターフェイス910はまた、キーボード、マウス、音声コマンド入力ユニットもしくはマイクロホン、タッチスクリーンディスプレイ、タッチセンサー式入力パッド、ジェスチャ取込みカメラまたは他の入力ボタンもしくは制御部などのユーザ入力を容易にするユーザインターフェイス構成要素を含む1つ以上の入力デバイス914を含む。さらに、いくつかのスマートデバイス204は、キーボードを補足するか交換するために、マイクロホンおよび音声認識またはカメラおよびジェスチャ認識を用いる。いくつかの実現例においては、スマートデバイス204は1つ以上の画像/映像取込みデバイス918(たとえばカメラ、ビデオカメラ、スキャナ、フォトセンサユニット)を含む。任意には、クライアントデバイスは、スマートデバイス204の位置を判断するために、GPS(全地球測位衛星)または他のジオロケーション受信機などの位置検出デバイス916を含む。
【0144】
内蔵センサ990は、たとえば、1つ以上の熱放射センサ、周囲温度センサ、湿度センサ、IRセンサ、(たとえば、RFIDセンサを用いる)人感センサ、周囲光センサ、モーション検出器、加速度計および/またはジャイロスコープを含む。
【0145】
無線機940および無線機950は、スマートホーム環境における1つ以上の無線通信ネットワークを可能化し、スマートデバイス204が他のデバイスと通信することを可能にする。いくつかの実現例においては、無線機940が行なうデータ通信は、さまざまなカスタムもしくは標準の無線プロトコル(たとえば、IEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWiなど)、カスタムもしくは標準の有線プロトコル(たとえば、Ethernet、HomePlugなど)、および/または、この明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他のいずれかの好適な通信プロトコル、を用いて実行することができる。いくつかの実現例においては、無線機940および/または無線機950はレーダ通信に利用される。
【0146】
通信インターフェイス904は、たとえば、さまざまなカスタムもしくは標準の無線プロトコル(たとえば、IEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWiなど)、および/または、さまざまなカ
スタムもしくは標準の有線プロトコル(Ethernet、HomePlugなど)、または、この明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他のいずれかの好適な通信プロトコルを用いてデータ通信を可能にするように、1つ以上の無線機940および950をスマートデバイス204とインターフェイス接続することができるハードウェアを含む。いくつかの実現例においては、各々の無線機940および無線機950は、それぞれの無線機のためのデータ通信を容易にして管理するためのそれぞれの通信インターフェイス904を有する一方で、他の実現例においては、複数の無線機940および/または950が単一の通信インターフェイス904によって管理されている。
【0147】
いくつかの実現例においては、無線機940および/または無線機950はスマートホーム環境における同じタイプまたは別個のタイプの信号を送受信するように構成される。たとえば、無線機940は、スマートホーム環境(たとえば、2つのスマートデバイス間、および複数のスマートデバイス間でデータを一方向/双方向に送信するためのIEEE802.15.4通信プロトコル)内で他のデバイス(たとえばスマートデバイス)間でデータを送信するように構成されたトランシーバを含み得る。デバイス間で送信された信号は、任意には、たとえば、重要なハザード情報(たとえば、スモークが検出されたことを示す「ピング(ping)」)またはデバイス状態情報(たとえば、低バッテリであることを示す「ピング」)に向けられた信号を含む。対照的に、いくつかの実現例においては、無線機950は、データネットワーク(たとえば、映像ストリームをスマートホームプロバイダサーバシステム164にアップロードするためのIEEE802.11 Wi-Fi)を介して高帯域幅データを送信するように構成されたトランシーバを含み得る。いくつかの実現例においては、無線機940および/または無線機950は、デバイスとの近距離通信(たとえば、デバイスプロビジョニングのためのBluetooth通信プロトコル)のために構成されたトランシーバを含む。いくつかの実現例においては、無線機940および/または無線機950は、低電力信号を送信するように構成されたトランシーバ(たとえば、永久電源に接続されないスマートハザード検出器104)を含む。いくつかの実現例においては、無線機940および/または無線機950は、スマートホーム環境において複数のタイプの信号を送信するように構成される(たとえば、Wi-Fi無線機950は、受取ったビーコンを他の近くのスマートデバイスにルーティングすることに加えて、スマートホームプロバイダサーバシステム164に映像ストリームデータをアップロードする)。いくつかの実現例においては、それぞれのデバイスの無線機940および/または無線機950は、それぞれのデバイスを他のデバイスに直接かつ通信可能に架橋するためのトランシーバを含む。たとえば、対になったデバイスは、Wi-Fiを用いることによってルータを介して通信するのではなく、Bluetoothを介して直接通信する。いくつかの実現例においては、無線機940および/または無線機950は、第1の無線機940を介して受信した信号を変換するように構成されるとともに、さらに、第1の無線機940および/または無線機950を用いて、変換された信号を再送信するように構成されている(たとえば、プロプライエタリメッセージフォーマットはBluetoothを介して受信されて変換される。この場合、変換されたメッセージはWi-Fiを用いて他のデバイスに再送信される)。
【0148】
いくつかの実現例においては、無線機940および/または無線機950は、(たとえば、電子タグおよび/または他のデバイスを識別する際に使用するべき)RFIDを介してデータを送信するように構成されたトランシーバを含む。いくつかの実現例においては、無線機940および/または無線機950は、(たとえば、距離、速度などを判断する際に使用するべき)レーダ動作のために構成されたトランシーバを含む。いくつかの実現例においては、無線機940および/または無線機950は、3GHz~10GHz、24GHz~24.5GHz、57GHz~64GHzおよび/または77GHz~81GHzなどの1つ以上の無線周波数帯域を介するレーダ動作のために構成される。
【0149】
通信モジュール942は、1つ以上の増幅器、発振器、アンテナ、フィルタ、スイッチ、メモリ、ファームウェア、および/または、他のいずれかのサポート回路または回路部品を含むそれぞれのスマートデバイス204によって信号を送受信することを可能化するためのさまざまな構成要素を含む。いくつかの実現例においては、1つ以上の無線機940および無線機950は、通信モジュール942(たとえば、システム・オン・ア・チップ(System on a Chip:SOC))のうちの一体型構成要素である。いくつかの実現例においては、1つ以上の無線機940および無線機950はそれぞれの回路部品を有する。代替的には、1つ以上の無線機940および無線機950は1つ以上の回路部品を共有する。
【0150】
いくつかの実現例においては、通信モジュール942は、1つの送信機および1つの受信機を有する1Dレーダサブシステムを含む。いくつかの実現例においては、通信モジュール842は多次元型レーダサブシステムを含む。たとえば、いくつかの実現例においては、通信モジュール842は2つのレーダ送信機および4つのレーダ受信機を含む。
【0151】
メモリ906は、DRAM、SRAM、DDR RAMまたは他のラングムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでおり、任意には、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含む。メモリ906、または代替的には、メモリ906内の不揮発性メモリは非一時的なコンピュータ読取り可能記憶媒体を含む。いくつかの実現例においては、メモリ906またはメモリ906の非一時的なコンピュータ読取り可能記憶媒体は、以下のプログラム、モジュールおよびデータ構造またはそれらのサブセットもしくはスーパーセットを格納する。
【0152】
・ さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含む動作論理920。
【0153】
・ 1つ以上の通信インターフェイス904を介して(有線または無線で)1つ以上のネットワーク162に接続された他のネットワークデバイス(たとえば、インターネット接続、ネットワーク化されたストレージデバイス、ネットワークルーチングデバイス、サーバシステム508などを提供するルータなどのネットワークインターフェイス160)に接続して通信するためのデバイス通信モジュール922。
【0154】
・ 通信モジュール942とともに無線通信を利用して、他のデバイス(たとえば、コントローラデバイス、スマートホーム環境100におけるスマートデバイス204、クライアントデバイス504)にスマートデバイス204を接続するための無線通信モジュール924。
【0155】
・ 1つ以上のユーザ入力を検出するかまたは1つ以上の入力デバイス914からの対話を検出して、検出された入力もしくは対話を翻訳するための入力処理モジュール926。
【0156】
・ 1つ以上のデバイス(たとえばスマートホーム環境100におけるスマートデバイス204および/または他のデバイス)についての設定、取込まれたデータおよび/または他のデータが構成され得るおよび/またはレビューされ得るユーザインターフェイスを提供して表示するためのユーザインターフェイスモジュール928。
【0157】
・ デバイスを制御(たとえば、コマンドを実行、コマンドを送信、ならびに/またはスマートデバイス204および/もしくは他のクライアント/電子デバイスの設定を構成
する)ための、かつ、デバイスによって取込まれたデータ(たとえばデバイス状態および設定、取込まれたデータ、またはスマートデバイス204および/もしくは他のクライアント/電子デバイスに関する他の情報)をレビューするためのスマートデバイス930によって実行される1つ以上のアプリケーション930(たとえば、ゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーション、および/または、他のウェブもしくは非ウェブベースのアプリケーション)。
【0158】
・ デバイス制御、データ処理およびデータレビューのためのデバイス側機能を提供するデバイス側モジュール932。デバイス側モジュール932は以下を含むが以下のものに限定されない。
【0159】
・ スマートデバイス204を動作させるための命令および制御コマンドを(たとえば、クライアントデバイス504から、スマートホームプロバイダサーバシステム164から、ユーザインターフェイス910上で検出されたユーザ入力等から)受信、転送および/または実行するためのコマンド受信モジュール9320。
【0160】
・ 1つ以上の入力、(たとえば、入力デバイス914、画像/映像取込みデバイス918、位置検出デバイス916)、センサ(たとえば、内蔵センサ990)、インターフェイス(たとえば、通信インターフェイス904、無線機940)、および/または、スマートデバイス204の他の構成要素によって取込まれたかまたは受信されたデータを処理するための、かつ、処理されたデータを準備して、レビューのためのデバイス(たとえば、ユーザによるレビュー用のクライアントデバイス504)に送信するための、データ処理モジュール9322。データ処理モジュール9322は、以下を含むが以下のものに限定されない。
【0161】
- スマートデバイス204によって取込まれたかまたは受信されたレーダデータを処理するための、たとえば、レーダイベントを分類するための、レーダエンティティを認識するための、および/または、レーダデータを他のセンサからのデータ(たとえば映像データ)と集約するための、レーダ処理モジュール9324。
【0162】
・ デバイス(たとえばスマートデバイス204)に関連付けられたデータを格納するデバイスデータ934。デバイスデータ934は以下を含むが以下のものに限定されない。
【0163】
・ スマートデバイス204にロードされたユーザアカウントに関する情報を格納するアカウントデータ9340。このような情報は、キャッシュされたログイン・クレデンシャル、スマートデバイス識別子(たとえば、MACアドレスおよびUUID)、ユーザインターフェイス設定、表示の好み、認証トークンおよびタグ、パスワードキーなどを含む。
【0164】
・ スマートデバイス204に関連付けられた未処理または処理済みデータ(たとえば、取込まれた映像素材および/またはレーダデータ)を選択的に格納するためのローカルデータ・ストレージデータベース9342。
【0165】
・ 無線機940および/または無線機950が、無線機940および/または無線機950に結合されたそれぞれのアンテナを介して信号を送信しており、これにより、バイパスラインまたは増幅器を介して無線機940および/または無線機950をそれぞれのアンテナに結合しているかどうかを検出するためのバイパスモジュール936。
【0166】
・ (たとえば、検出された制御信号および送信要求に基づいて)1つ以上の無線機9
40および/または無線機950に対する送信アクセスを許可するかまたは拒否するための送信アクセスモジュール938。
【0167】
・ (たとえば、通信モジュール942および/または通信インターフェイス904とともに)レーダ信号を送信、受信および/または操作するためのレーダモジュール944。
【0168】
上述の識別された要素の各々は、上述のメモリデバイスのうち1つ以上に格納されてもよく、上述の機能を実行するための1セットの命令に対応している。たとえば、いくつかの実現例においては、1つ以上の無線機940および無線機950は、メモリ906の1つ以上のプログラム/実行可能なモジュールを格納するためのそれぞれのメモリおよびファームウェアを含む。上述の識別されたモジュールまたはプログラム(すなわち命令のセット)は、別個のソフトウエアプログラム、手順またはモジュールとして実現される必要はなく、このため、これらのモジュールのさまざまなサブセットは、さまざまな実現例において組合わされてもよく、または再配置されてもよい。いくつかの実現例においては、メモリ906は、任意には、上述の識別されたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ906は、任意には、映像処理モジュールなどの、上述されない付加的なモジュールおよびデータ構造を格納する。
【0169】
図9Bは、いくつかの実現例に従った、代表的な電子タグ206を示すブロック図である。
図9Bは、通信回路903、レーダ回路913、コントローラ911、エネルギ貯蔵回路923および通信回線901を含む電子タグ206を示す。いくつかの実現例においては、電子タグ206は、湿度センサ、加速度計、ジャイロスコープ、温度センサ、光学センサなどの1つ以上の付加的なセンサ925を含む。いくつかの実現例においては、コントローラ911は通信回路903の一構成要素である。通信回路903はRFID信号などの信号を受信するための受信機905を含む。いくつかの実現例においては、通信回路903はRFID信号などの信号を送信するための送信機(図示せず)を含む。いくつかの実現例においては、通信回路903は受信機905を介して受信された信号をデコードおよび/または復号化するためのデコーダ907を含む。いくつかの実現例においては、デコーダ907はコントローラ911の一構成要素である。いくつかの実現例においては、コントローラ911は、受信機905を介して受信された信号をデコードおよび/または復号化する。いくつかの実現例においては、通信回路903は出力送信を符号化するためのエンコーダ(図示せず)を含む。
【0170】
レーダ回路913は、レーダ信号を受信するための受信機915、レーダ信号を送信するための送信機917、レーダ回路913のさまざまな構成要素(受信機915および/または送信機917など)を管理するためのコントローラ919、ならびに信号サブシステム921を含む。いくつかの実現例においては、コントローラ919はコントローラ911の一構成要素である。いくつかの実現例においては、信号サブシステム921は、レーダ信号を増幅、変調および/または生成するための構成要素を含む。いくつかの実現例においては、レーダ回路913は、パッシブレーダ回路を含む一方で、他の実現例においては、レーダ回路913はアクティブレーダ回路を含む。いくつかの実現例においては、エネルギ貯蔵回路923は、コンデンサまたは電池などのエネルギ貯蔵デバイスを含む。いくつかの実現例においては、エネルギ貯蔵回路923は、電池またはコンセントなどの外部電源に電子タグ206を結合するための回路を含む。いくつかの実現例においては、エネルギ貯蔵回路923は電力管理集積回路(integrated circuit:IC)を含む。いくつかの実現例においては、エネルギ貯蔵回路923は、電子タグのアンテナ(たとえば受信機905)を介して受信された信号からエネルギを取入れるための回路を含む。いくつかの実現例においては、エネルギ貯蔵回路923は、電子タグによって受信された熱エネルギ、震動エネルギ、電磁エネルギおよび/または太陽エネルギを取入れるための回路を
含む。
【0171】
いくつかの実現例においては、コントローラ911は、(1)1つ以上のアンテナを介して別のデバイスからコマンドを受信し、(2)(たとえば、電子デバイスの固有のIDに基づいて)コマンドが電子タグ用に意図されたものであったかどうかを判断し、(3)コマンドが電子タグ用に意図されたものであったという判断に従って、コマンドに従って動作し、および、(4)コマンドが電子タグ用に意図されたものではなかったという判断に従って、コマンドを無視するように構成されている。
【0172】
いくつかの実現例においては、電子タグ206は、調整可能なキャリアトーン範囲が1メガヘルツ(megahertz:MHz)に設定されるように構成される。いくつかの実現例に
おいては、電子タグ206は調整可能な変調範囲が100キロヘルツ(kilohertz:kH
z)に設定されるように構成される。いくつかの実現例においては、電子タグ206は、5ミリワット(milliwatt:mW)の電力などの10mW未満の電力を消費する。
【0173】
いくつかの実現例においては、電子タグ206は無線機を介してエネルギを取入れるように構成される。いくつかの実現例においては、電子タグ206は半波長ダイポールアンテナを介してエネルギを取入れるように構成される。
【0174】
図10は、いくつかの実現例に従ったスマートホームプロバイダサーバシステム164を示すブロック図である。スマートホームプロバイダサーバシステム164は、典型的には、1つ以上の処理ユニット(CPU)1002、1つ以上のネットワークインターフェイス1004(たとえば、1つ以上のクライアントデバイスに対するI/Oインターフェイスおよび1つ以上の電子デバイスに対するI/Oインターフェイスを含む)、メモリ1006、ならびに、これらの構成要素を相互に接続するための1つ以上の通信バス1008を含む(チップセットと称されることもある)。メモリ1006は、DRAM、SRAM、DDR RAMまたは他のラングムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでおり、任意には、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含む。メモリ1006は、任意には、1つ以上の処理ユニット1002から遠隔に位置する1つ以上のストレージデバイスを含む。メモリ1006、または代替的には、メモリ1006内の不揮発性メモリは非一時的なコンピュータ読取り可能記憶媒体を含む。いくつかの実現例においては、メモリ1006またはメモリ1006の非一時的なコンピュータ読取り可能記憶媒体は、以下のプログラム、モジュールおよびデータ構造またはそれらのサブセットもしくはスーパーセットを格納する。
【0175】
・ さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含むオペレーティングシステム1010。
【0176】
・ 1つ以上のネットワークインターフェイス1004を介して(有線または無線で)他のシステムおよびデバイス(たとえば、クライアントデバイス、電子デバイス、および1つ以上のネットワーク162に接続されたシステム(
図1~
図5))にスマートホームプロバイダサーバシステム164を接続するためのネットワーク通信モジュール1012。
【0177】
・ デバイス制御、データ処理およびデータレビューのためのサーバ側機能を提供するサーバ側モジュール1014。サーバ側モジュール1014は、以下を含むが以下のものに限定されない。
【0178】
・ 電子デバイスからデータ(たとえば、カメラ118から映像データ(
図1))を受信して、さらなる処理のために受信データを準備してデータストレージデータベース10160に格納するためのデータ受信モジュール10140。
【0179】
・ 電子デバイス(たとえば、スマートホーム環境100のデバイス)の動作モードを変更するようにサーバ主導の制御コマンドを生成して送信するための、および/または、電子デバイスの動作モードを変更するようにユーザ主導の制御コマンドを(たとえばクライアントデバイス504から)受信して転送するための、デバイス制御モジュール10142。
【0180】
・ 電子デバイスによって提供されたデータを処理するための、および/または、処理されたデータを準備してレビューのためにデバイス(たとえばユーザがレビューするためにクライアントデバイス504)に送信するためのデータ処理モジュール10144。
【0181】
・ サーバデータベース1016。サーバデータベース1016は以下を含むが以下のものに限定されない。
【0182】
・ 各々のユーザアカウントの各電子デバイス(たとえば各カメラ)に関連付けられたデータ、さらには、データ処理モデル、処理データ結果、および、データに関連付けられた他の関連するメタデータ(たとえば、データ結果の名前、電子デバイスの位置、作成時間、期間、電子デバイスの設定など)を格納するためのデータストレージデータベース10160。この場合、(任意には)電子デバイスに関連付けられたデータおよび/または処理のすべてまたは一部分が安全に格納される。
【0183】
・ ユーザアカウント情報を含むユーザアカウントについてのアカウント情報、リンクされたハブデバイスおよび電子デバイスについての情報および設定(たとえばハブデバイス識別)、ハブデバイス特有の秘密、関連するユーザおよびハードウェアの特徴(たとえば、サービス層、デバイスモデル、記憶容量、処理能力など)、ユーザインターフェイス設定、データレビュープリファレンスなどを格納するためのアカウントデータベース10162。この場合、関連する電子デバイスについての情報は、1つ以上のデバイス識別子(たとえばMACアドレスおよびUUID)、デバイス特有の秘密、および表示されたタイトルを含むがこれらに限定されない。
【0184】
上述の識別された要素の各々は、上述のメモリデバイスのうち1つ以上に格納されてもよく、上述の機能を実行するための1セットの命令に対応している。上述の識別されたモジュールまたはプログラム(すなわち命令のセット)は、別個のソフトウエアプログラム、手順またはモジュールとして実現される必要はなく、このため、これらのモジュールのさまざまなサブセットは、さまざまな実現例において組合わされてもよく、または再配置されてもよい。いくつかの実現例においては、メモリ1006は、任意には、上述の識別されたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ1006は、任意には、レーダデータ処理モジュールなどの、上述されない付加的なモジュールおよびデータ構造を格納する。
【0185】
さらに、いくつかの実現例においては、この明細書中に記載されるデバイスおよびシステム(たとえばハブデバイス180、サーバシステム508、クライアントデバイス504、スマートデバイス204、スマートホームプロバイダサーバシステム164)のいずれかの機能が、互いに互換性があるとともに、他のデバイスまたはシステムによって実行されてもよい。この場合、これらの機能の対応するサブモジュールは、付加的にはおよび/または代替的には、デバイスおよびシステムのいずれかの内部に位置し、いずれかによ
って実行され得る。
図6~
図10に示されてこれらの図に関連付けて説明されるデバイスおよびシステムは、単に例示的なものであって、この明細書中に記載された機能を実現するためのモジュールのさまざまな構成は、さまざまな実現例において実現可能である。
【0186】
図6~
図10に関連付けて記載されているように、スマートホーム環境におけるデバイスおよびタグ(たとえば、
図1のスマートホーム環境100におけるカメラ118、スマートサーモスタット102、スマートハザード検出器104などの、
図2におけるスマートデバイス204)は、他のシステム、デバイスおよび/またはサーバとの通信を可能にするための多数の回路部品およびインターフェイスを含む。たとえば、いくつかの実現例においては、スマートデバイスは通信モジュール(たとえば通信モジュール942(
図9A))を含む。当該通信モジュールは、ネットワークを介する他のデバイスに対する信号の送受信を行なうための1つ以上の無線機940および/または無線機950を含む(概して「トランシーバ」または「トランシーバデバイス」と称されることもある)。いくつかの実現例においては、1つ以上の無線機940および無線機950は、単一の集積回路(たとえばシステム・オン・ア・チップ(SOC))の構成要素である。スマートデバイスが典型的な物理的緻密度を有していると想定すると、通信モジュール942の構成要素およびデバイスの他の構成要素は、互いに物理的に密接して配置されることが多い。たとえば、典型的なスマートデバイスは複数の無線アンテナ、メモリデバイス、センサ、チップおよび他の電子部品を含んでいてもよい。しかしながら、スマートデバイス内でこれらが物理的に密接した間隔で配置された結果、かつ、導電性材料(たとえば、金属ケース、カメラ台、ワイヤなど)と密に接する構成要素と組合わされると、アンテナなどのデバイス構成要素は、典型的には、互いの送信からの隔絶が不十分となる。付加的には、これらのデバイスが動作時にしばしば同じまたは近似する周波数帯域(たとえば、2.4GHz周波数帯域を共有するIEEE802.11(すなわちWi-Fi)および802.15.4)を共有しているので、1つの構成要素によって送信された信号は、他の構成要素によって受信および/または送信された信号に干渉する傾向がある。最終的に、通信モジュール942の構成要素は、典型的には、不十分な信号対雑音比(signal-to-noise ratio
:SNR)、歪み、低いアナログ信号品質、および高いビット誤り率(bit error rate:BER)を実現する。
【0187】
さらに、これらのデバイスの隔絶が不十分であることは、デバイス構成要素の最大入力電力に付加的な影響を及ぼす。なぜなら、1つのトランシーバが送信する信号の送信電力が他の近くにあるトランシーバによって同時に受信された信号の予想される送信に予想外に加わるからである。このため、これらの入力電力しきい値を上回ると、しばしば高感度なデバイス構成要素が破損するリスクがある。
【0188】
システムアーキテクチャおよび処理パイプライン
図11Aは代表的なシステムアーキテクチャ1100を示し、
図11Bは対応するデータ処理パイプライン1116を示す。いくつかの実現例においては、サーバシステム508は、イベントプロセッサ7146、イベントカテゴライザ1107、レーダプロセッサ7145、レーダカテゴライザ1108、およびユーザ向けフロントエンド7150のための機能モジュールを含む。イベントプロセッサ7146は、(たとえば、映像ストリームを処理することによって、または映像源522からモーション開始情報を受信することによって)モーションイベント候補を取得する。イベントカテゴライザ7148はモーションイベント候補をさまざまなイベントカテゴリにカテゴリ化する。レーダプロセッサ7145は、レーダ情報1106(未処理および/または前処理されたレーダデータを含む)を1つ以上のレーダ源1101から取得し、レーダ情報1106を処理して、レーダイベント候補を取得する(たとえば、モーションエンティティおよび/または静止対象物を識別する)。いくつかの実現例においては、レーダプロセッサ7145は、デバイスid、デバイス位置情報などのレーダ源情報1105をレーダ源1101から受信する。レー
ダカテゴライザ1108は、レーダイベント候補をさまざまなレーダイベントカテゴリにカテゴリ化する。いくつかの実現例においては、レーダカテゴライザ1108は、(たとえば、レーダイベントカテゴリを更新するために)レーダイベント候補に基づいて機械学習を実行する。いくつかの実現例においては、レーダカテゴライザ1108は、カテゴリ化についての(たとえばユーザからの)1つ以上のレーダイベント候補および/またはフィードバックのカテゴリ化に基づいて1つ以上のレーダイベントカテゴリを調整する。いくつかの実現例においては、レーダカテゴライザ1108は、1つ以上のモーションイベント候補および/またはモーションイベントカテゴリに基づいて学習する。いくつかの実現例においては、サーバシステム508は、(たとえば、映像情報およびレーダ情報を集めることによって)映像情報およびレーダ情報の両方に基づいてイベント候補をカテゴリ化するための1つ以上の追加モジュールを含む。
【0189】
ユーザ向けフロントエンド7150はイベント警告を生成し、クライアントデバイス504上のレビューインターフェイスを介してレビュアーによるモーションイベントのレビューを容易にする。クライアント向けフロントエンドはまた、イベントカテゴリについてのユーザ編集、警告およびイベントフィルタについてのユーザ好み、ならびに対象となるゾーンについてのゾーン定義を受信する。イベントカテゴライザは、任意には、ユーザ向けフロントエンドによって受信されたユーザ編集に基づいてイベントカテゴリ化のモデルおよび結果を修正する。サーバシステム508はまた、映像およびレーダ源データ・データベース1109、カテゴリ化モデルデータベース1110(たとえば、レーダイベントおよび映像イベントの両方についてのカテゴリ化モデル)、ならびにイベントデータおよびイベントマスクデータベース1111を含む。いくつかの実現例においては、これらのデータベースの各々はサーバデータベース716の一部をなしている。いくつかの実現例においては、別個のデータベースは、レーダ関連情報(たとえば、レーダ源データおよびレーダカテゴリ化モデル)ならびに映像関連情報(たとえば、映像源データおよび映像カテゴリ化モデル)のために利用される。
【0190】
サーバシステム508は、映像源522から映像ストリーム1104を受信するとともに、任意には、カメラ118についてのデバイス設定(たとえば、カメラ118についてのデバイスプロファイル7165)などのモーション開始情報および映像源情報1103などのモーションイベント候補情報1102を受信する。いくつかの実現例においては、イベントプロセッササブモジュール7146は映像源522と通信する。サーバシステムは、モーションイベント1105およびモーションイベントタイムライン情報1107についての警告をクライアントデバイス504に送信する。いくつかの実現例においては、サーバシステム508は、任意には、イベントカテゴリ1109およびゾーン定義1111についての編集などのユーザ情報をクライアントデバイス504から受信する。
【0191】
サーバシステム508は、レーダ源1101(たとえば、レーダ搭載スマートデバイス)についてのレーダ情報1106を受信するとともに、任意には、レーダ源1101についてのデバイス設定などのレーダ源情報1105を受信する。いくつかの実現例においては、レーダプロセッサ7145はレーダ源1101と通信する。いくつかの実現例においては、サーバシステム508は、レーダイベントおよび/またはレーダイベントタイムライン情報についての警告をクライアントデバイスに送信する。いくつかの実現例においては、サーバシステム508は、任意には、レーダイベントカテゴリおよび/またはレーダゾーン定義に対する編集などのユーザ情報をクライアントデバイス504から受信する。
【0192】
データ処理パイプライン1116は、(たとえば、カメラ118および任意のコントローラデバイスを含む)映像源522から受信した生中継配信映像をリアルタイムで処理して、生中継配信映像におけるモーションイベントを識別してカテゴリ化し、リアルタイムのイベント警告およびリフレッシュされたイベントタイムラインを映像源522向けのレ
ビュアーアカウントに関連付けられたクライアントデバイス504に送信する。データ処理パイプライン1116はまた、映像源522からの格納された配信映像を処理して、モーションイベントに関して新しい情報が取得されたとき、および/または、モーションイベントカテゴリに関して新しい情報が取得されたとき(たとえば、新しい活動ゾーンがユーザから取得されたとき)などに、必要に応じてモーションイベントを再評価および/または再カテゴリ化する。
【0193】
映像データが映像源522(1117)に取込まれた後、映像データは、いずれかの潜在的なモーションイベント候補が映像ストリームに存在しているかどうかを判断するために処理される。映像データにおいて検出された潜在的なモーションイベント候補はキューポイントと称されることもある。このため、モーションイベント候補の最初の検出はモーション開始検出および/またはキューポイント検出と称される。モーション開始検出(1118)により、モーションイベント候補に対応する(「映像スライス」または「スライス」と称されることもある)映像セグメントに対するより完全なイベント識別プロセスの実行が引起される。いくつかの実現例においては、映像データは、映像源522において初めに処理される。このため、いくつかの実現例においては、映像源は、モーション開始情報などのモーションイベント候補情報をサーバシステム508に送信する。いくつかの実現例においては、映像データはモーション開始の検出のためにサーバシステム508において処理される。いくつかの実現例においては、映像ストリームは、(たとえば映像およびレーダ源データ・データベース1109における)サーバシステム508に格納される。いくつかの実現例においては、映像ストリームはサーバシステム508とは別のサーバに格納される。いくつかの実現例においては、キューポイントが検出された後、映像ストリームの関連部分が、ストレージ(たとえば、映像およびレーダ源ソースデータ・データベース1109)から検索される。
【0194】
いくつかの実現例においては、より完全なイベント識別プロセスは、映像ストリームを複数セグメントにセグメント化(1119)し、次いで、各々のセグメント内におけるモーションイベント候補をカテゴリ化する(1120)ことを含む。いくつかの実現例においては、モーションイベント候補のカテゴリ化は、モーションイベント候補についてのモーション特徴(11206)を生成するための、バックグラウンドファクタ、モーションエンティティ検出識別、各々のモーションエンティティについてのモーションベクトル生成、モーションエンティティ特徴、および、シーン特徴の集約を含む。いくつかの実現例においては、より完全なイベント識別プロセスはさらに、各々のセグメントをカテゴリ化する(11207)こと、セグメントのカテゴリ化に基づいてモーションイベントログを生成または更新する(11208)こと、セグメントのカテゴリ化に基づいてモーションイベントについての警告を生成する(11209)こと、完全なモーションイベントをカテゴリ化する(1123)こと、完全なモーションイベントに基づいてモーションイベントログを更新する(1124)こと、および、完全なモーションイベントに基づいてモーションイベントについての警告を生成する(1125)こと、を含む。いくつかの実現例においては、カテゴリ化は、モーションイベント候補が対象となる特定のゾーンの範囲内にあるという判断に基づいている。いくつかの実現例においては、カテゴリ化は、モーションイベント候補が対象となる1つ以上の特定のゾーンを含んでいるという判断に基づいている。
【0195】
イベント分析およびカテゴリ化プロセスは、映像源522およびサーバシステム508によって協働的に実行されてもよく、タスクの分割は、さまざまな実現例毎に、さまざまな設備能力構成、ならびに/または、さまざまなネットワークおよび/またはサーバ負荷状況毎に異なり得る。サーバシステム508がモーションイベント候補をカテゴリ化した後、イベント検出およびカテゴリ化の結果が、映像源522に関連付けられたレビュアーへと送信されてもよい。
【0196】
いくつかの実現例においては、サーバシステム508はまた、各々のモーションイベント候補についてのイベントマスクを判断し、対象となる選択されたゾーンに基づいてイベント検索において後に使用されるべきイベントマスクをキャッシュする。
【0197】
いくつかの実現例においては、サーバシステム508は、各々の映像源522毎に、未処理または圧縮済み映像データを(たとえば、映像およびレーダ源データ・データベース1109に)、イベントカテゴリ化モデルを(たとえ、カテゴリ化モデルデータベース1110に)、かつ、イベントマスクおよび他のイベントメタデータを(たとえば、イベントデータおよびイベントマスクデータベース1111に)格納する。いくつかの実現例においては、映像データは、480p、780p、1080i、1080pなどの1つ以上の表示解像度で格納される。
【0198】
上述の記載は、映像監視時にイベントを処理するためのシステムアーキテクチャ1100およびデータ処理パイプライン1116の概要である。処理パイプラインおよび処理技術のさらなる詳細を以下に記載する。
【0199】
図11Aに示されるように、システムアーキテクチャ1100は映像源522を含む。映像源522は、1つ以上のネットワーク(たとえば、ネットワーク162)を介してリモートサーバシステム508に生の配信映像または格納された配信映像を送信する。いくつかの実現例においては、映像データがカメラ118によって取込まれるのに応じて、映像データが連続的に送信される。いくつかの実現例においては、映像データの送信は映像データのコンテンツとは無関係に行われるものであり、映像データは、如何なるモーションイベントが映像データに取込まれたかどうかに関わらず、映像源522からサーバシステム508にアップロードされて格納される。いくつかの実現例においては、映像データはデフォルトで、映像源522のローカルストレージデバイスに格納されていてもよく、映像ストリームにおいて検出されたモーションイベント候補に対応する映像部分だけが、サーバシステム508に(たとえばリアルタイムで)アップロードされる。
【0200】
いくつかの実現例においては、映像源522は、映像ストリームがどのような表示解像度でサーバシステム508にアップロードされるべきであるかを動的に判断する。いくつかの実現例においては、映像源522は、映像ストリームのどの部分がサーバシステム508にアップロードされるべきであるかを動的に判断する。たとえば、いくつかの実現例においては、現在のサーバ負荷およびネットワーク状態に応じて、映像源522は、任意には、新しく検出されたモーションイベント候補に対応する映像部分を、如何なるモーションイベント候補も含まない映像ストリームの他の部分よりも前に優先的にアップロードするか、または、映像源522は、映像ストリームの他の部分よりも高い表示解像度で、新しく検出されたモーションイベント候補に対応する映像部分をアップロードする。このアップロードの優先順位は、ネットワーク状態およびサーバ負荷が最適未満である場合であっても、重要なモーションイベントが検出されてリアルタイムでレビュアーに警告されることを確実にするよう支援する。いくつかの実現例においては、映像源522は2つの平行なアップロード接続を実現する。2つの平行なアップロード接続は、カメラ118によって取込まれた連続的な映像ストリームをアップロードするための一方のアップロード接続と、検出されたモーションイベント候補に対応する映像部分をアップロードするための他方のアップロード接続とを含む。いずれの所与の時間にも、映像源522は、連続的な映像ストリームのアップロードを一時的に停止する必要があるかどうかを判断して、新しく検出されたモーションイベント候補に対応する映像セグメントのアップロードに十分な帯域幅が与えられることを確実にする。
【0201】
いくつかの実現例においては、クラウドストレージのためにアップロードされた映像ス
トリームは、モーションイベント処理のためにアップロードされた映像セグメントよりも低品質(たとえば、低い解像度、低いフレームレート、高い圧縮など)である。
【0202】
図11Aに示されるように、映像源522はカメラ118およびオプションのコントローラデバイスを含む。いくつかの実現例においては、カメラ118は、すべての必要なローカルな映像処理タスク(たとえば、モーションイベント候補についてのキューポイント検出、映像アップロードの優先順位付け、ネットワーク接続管理など)を実行するのに十分なオンボード処理電力含むとともに、カメラ118は、媒介として機能する如何なるコントローラデバイスもなしに、サーバシステム508と直接通信する。いくつかの実現例においては、カメラ118は、映像データを取込み、映像データを、必要なローカル映像処理タスクのためにコントローラデバイスに送信する。コントローラデバイスは、任意には、複数のカメラのためのローカル処理タスクを実行する。たとえば、1つのスマートホーム環境(たとえばスマートホーム環境100(
図1))に複数のカメラがあってもよく、単一のコントローラデバイスが各々のカメラから映像データを受信して、映像データを処理して、各々のカメラからの映像ストリームにおけるモーションイベント候補を検出する。コントローラデバイスは、モーションイベント候補を含む映像セグメントを各々のカメラからサーバに送信するために十分な送出ネットワーク帯域幅を割当ててから、残りの帯域幅を用いて映像ストリームを各々のカメラからサーバシステム508に送信する役割を果たす。いくつかの実現例においては、連続的な映像ストリームが送信され1つのサーバ設備に格納される一方で、モーションイベント候補を含む映像セグメントが異なるサーバ設備に送られて処理される。
【0203】
映像データがカメラ118によって取込まれた後、映像データが、任意には、リアルタイムで映像源522においてローカルに処理されて、より完全なイベント識別プロセスの実行を保証するキューポイントが映像データに存在しているかどうかが判断される。これにより、いくつかの実現例においては、映像源522は、キューポイント検出などのモーションイベント候補情報1102をサーバシステム508に送信する。いくつかの実現例においては、映像源522は、フレーム間のモーションの量などの付加的なメタデータをサーバシステム508に送信する。
【0204】
キューポイント検出は、一般に、実際のモーションイベントがすべての識別されたキューポイントのサブセットとなるように、わずかに過剰に含まれるように意図されている第1層モーションイベント識別である。いくつかの実現例においては、キューポイント検出は、映像ストリームの各フレームにおけるモーションピクセルの数に基づいている。いくつかの実現例においては、或るフレームにあるモーションピクセルを識別するいずれかの方法が用いられてもよい。たとえば、映像ストリームの各フレームにおけるモーションピクセルの数を判断するために、任意には、ガウス混合モデルが用いられる。いくつかの実現例においては、現在の画像フレームにおけるモーションピクセルの総数が予め定められたしきい値を上回ると、キューポイントが検出される。いくつかの実現例においては、各々の新しいフレームが処理されるたびに、所定数の連続フレームに対して、総モーションピクセルカウントの累計が計算される。また、累計が予め定められたしきい値を上回ると、キューポイントが検出される。いくつかの実現例においては、経時的な総モーションピクセルカウントのプロファイルが取得される。いくつかの実現例においては、予め定められた長さ(たとえば30秒)の現在のフレームシーケンスについて総モーションピクセルカウントのプロファイルが予め定められたトリガ基準(たとえば、プロファイル下の総ピクセルカウント>しきい値モーションピクセルカウント)を満たしている場合、キューポイントが検出される。いくつかの実現例においては、キューポイント検出計算は、モーションが発生したシーンがどこであるかに基づいている。たとえば、対象となる予め設定されたゾーンにおいて、またはそのゾーン付近において発生するモーションのためにより低い閾値が必要とされる。いくつかの実現例においては、より高いしきい値は、重要性の低
いモーションイベントを含む可能性があるものとして示された予め設定されたゾーン(たとえば通知が無効になる対象ゾーン)において、またはそのゾーン付近において発生するモーションのために必要とされる。いくつかの実現例においては、キューポイントは、通知が無効になる対象ゾーン内において発生するモーションのために抑制される。
【0205】
いくつかの実現例においては、キューポイント検出は、関連付けられたマイクロホンに対するオーディオ入力などの1つ以上の追加入力に基づいている。たとえば、キューポイントは、グラスの割れる音および/または人の声に少なくとも部分的に基づいていてもよい。
【0206】
いくつかの実現例においては、キューポイントが始まるのは、総モーションピクセルカウントが予め定められたしきい値(たとえば50モーションピクセル)を満たす時間である。いくつかの実現例においては、キューポイントに対応するモーションイベント候補が開始するとキューポイントが始まる。いくつかの実現例においては、モーションイベント候補の冒頭は、キューポイントの始まる前における予め定められた先行時間(たとえば5秒)である。いくつかの実現例においては、モーションイベント候補の冒頭は、より完全なイベント識別プロセスのためのモーションイベント候補に対応する映像部分を処理するために用いられる。
【0207】
いくつかの実現例においては、キューポイントを検出するためのしきい値が性能フィードバックに基づいて時間の経過に応じて調整される。たとえば、あまりにも多くの誤検知が検出される場合、モーションピクセルカウントについてのしきい値が任意に高くなる。あまりにも多くのモーションイベントが見落とされる場合、モーションピクセルカウントについてのしきい値が任意に小さくなる。いくつかの実現例においては、キューポイントを検出するためのしきい値は、モーションが検出されるシーンがどこであるかに基づいている。いくつかの実現例においては、しきい値は、モーションが対象の特定ゾーン内において検出されるかどうかに基づいている。いくつかの実現例においては、しきい値は、ユーザ(たとえば、クライアントデバイス504のユーザ(
図5))によって設定および/または調整されている。たとえば、しきい値は、ユーザインターフェイス内における対応するモーション感度スライダを調整することによって調整される。
【0208】
いくつかの実現例においては、キューポイント検出は映像源522において行なわれ、キューポイントが生中継映像ストリームにおいて検出された直後に、映像源522は、後続のイベント処理をトリガするためにサーバシステム508にイベント警告を送信する。いくつかの実現例においては、映像源522は、極限られた処理電力しか実装されていないビデオカメラを含むが、コントローラデバイスは含まれておらず、この明細書中に記載されているキューポイント検出は、カメラからサーバシステム508に送信された連続映像ストリーム上においてサーバシステム508によって実行される。
【0209】
いくつかの実現例においては、映像源522は付加的な映像源情報1103をサーバシステム508に送信する。この付加的な映像源情報1103は、カメラ状態(たとえば、IRモード、AEモード、DTPZ設定など)に関する情報、および/または、映像源522が位置する環境に関する情報(たとえば、屋内、屋外、夜間、日中時間など)を含み得る。いくつかの実現例においては、映像源情報1103は、キューポイント検出を実行するために、および/または、映像ストリーム1104内におけるモーションイベント候補をカテゴリ化するために、サーバシステム508によって用いられる。
【0210】
いくつかの実現例においては、キューポイント検出後、検出されたキューポイント後の映像部分が複数のセグメントに分割される。いくつかの実現例においては、モーション終了情報(「モーション終了信号(end-of-motion signal)」と称されることもある)が取
得されるまでセグメント化は続く。いくつかの実現例においては、セグメント化は、(たとえば、イベントプロセッサモジュール7146によって)サーバシステム508内において行なわれる。
【0211】
図11Bに示されるように、いくつかの実現例においては、映像ストリームが取込まれ(111)、モーションイベント候補に対応するモーション開始情報が取得される(1118)。モーション開始情報の取得後、映像ストリームは、上述されるようにセグメント化される(1119)。次に、各々のセグメントが処理され、カテゴリ化される(1120)。以下により詳細に記載されるように、この処理はシーンにおけるバックグラウンド(たとえばバックグラウンドファクタ)についての情報を取得すること(11201)、モーションエンティティを識別すること(11202)、モーションベクトルを取得すること(11203)を含む。いくつかの実現例においては、処理はまた、モーションエンティティ内における特定の色の量および/またはモーションエンティティの高さ幅比などの各々のモーションエンティティ(モーションエンティティ特徴)の付加的な特徴を識別すること(11204)を含む。いくつかの実現例においては、モーション特徴は、モーションエンティティに関連する対象となるゾーンが、いくらかでもあったとすれば、そのゾーンが何であれそのゾーンに関する情報を含む。いくつかの実現例においては、処理はまた、シーンの付加的な特徴、たとえば、シーン内における特定の色の比率、シーンに対応する聴覚情報および/またはシーン内におけるモーションの総量など、を識別すること(11205)を含む。いくつかの実現例においては、シーン特徴は、シーン内において対象となるゾーンに関する情報を含む。次に、バックグラウンドファクタ、モーションエンティティ、モーションベクトルおよびいずれかの付加的なモーションエンティティおよび/またはシーンの特徴が集約されて、結果として得られるモーション特徴を生成する(11206)。結果として生じるモーション特徴がカテゴリ化され、カテゴリがモーションイベント候補に割当てられる(11207)。いくつかの実現例においては、モーションイベント候補についてのログエントリが生成され(11208)、割当てられたカテゴリが内部に格納される。いくつかの実現例においては、警告が生成され、クライアントデバイス504に送信される(11209)。モーション終了情報が取得されると、最終的なセグメントが処理されてカテゴリ化される(1121)。いくつかの実現例においては、すべてのセグメントがカテゴリ化された後、マルチセグメント特徴が処理される(1122)。これらのマルチセグメント特徴は、任意には、イベントを含むさまざまなセグメントからのモーションイベントカテゴリ、イベントマスク、モーションエンティティ特徴などを比較することによって生成された特徴を含む。たとえば、個々のセグメントのためのモーションイベントマスクは、すべてのセグメントにわたって単一のモーションイベントマスクを形成するように組合わされる。いくつかの実現例においては、マルチセグメント特徴が処理された後、イベントカテゴリがマルチセグメント特徴に基づいて割当てられる(1123)。いくつかの実現例においては、イベントカテゴリは、個々のセグメントに割当てられたマルチセグメント特徴およびカテゴリに基づいて割当てられる。いくつかの実現例においては、モーションイベント候補に対応するイベントログが更新される(1124)。いくつかの実現例においては、イベントカテゴリに基づいて警告が生成される(1125)。
【0212】
いくつかの実現例においては、モーションイベント候補が映像ストリームにおいて検出された後、映像セグメントにおけるモーションエンティティのモーショントラックを識別するために、モーションイベント候補に対応する映像部分または映像部分内における特定のセグメントが用いられる。モーショントラックの識別は、任意には、映像源522においてローカルに、またはサーバシステム508において遠隔で実行される。いくつかの実現例においては、モーショントラック情報は、映像源522からサーバシステム508に送信されたモーションイベント候補情報1102に含まれている。いくつかの実現例においては、モーションイベント候補に対応する映像セグメントに基づいたモーショントラッ
クの識別は、イベントプロセッサモジュールによってサーバシステム508において実行される。いくつかの実現例においては、イベントプロセッサモジュールは、映像ストリームにおいて検出されたキューポイントについての警告を受信し、クラウドストレージ(たとえば、レーダ源データ・データベース1109(
図11A))または映像源522からキューポイントに対応する映像部分を検索する。いくつかの実現例においては、モーショントラックを識別するために用いられる映像部分は、クラウドストレージのためにアップロードされた映像よりも高品質である可能性があり、映像部分は、映像源522からアップロードされた連続的な配信映像とは別個に、映像源522から検索される。
【0213】
いくつかの実現例においては、イベントプロセッサモジュールがモーションイベント候補に対応する映像部分を取得した後、イベントプロセッサモジュール7146はバックグラウンドファクタを取得して、モーションエンティティ検出の識別、各々のモーションエンティティについてのモーションベクトルの生成および特徴の識別を実行する。イベントプロセッサモジュール7146がこれらのタスクを完了すると、イベントカテゴライザモジュール7148はすべての情報を集めて、モーションイベント候補についてのカテゴリ化を実行する。いくつかの実現例においては、誤検知の抑制は、任意には、モーションイベント候補がイベントカテゴリ化される前に、いくつかのモーションイベント候補を拒否するために実行される。いくつかの実現例においては、モーションイベント候補が誤検知であるかどうかを判断することは、モーションイベント候補が特定のゾーンにおいて生じたかどうかを判断することを含む。いくつかの実現例においては、モーションイベント候補が誤検知かどうかを判断することは、モーションイベント候補についての重要性スコアを分析することを含む。モーションイベント候補についての重要性スコアは、任意には、対応するキューポイントについての重要性スコアと同じであるか、または、対応するキューポイントについての重要性スコアを組込んでいる。モーションイベント候補についての重要性スコアは、任意には、モーションイベント候補、バックグラウンド特徴、モーションベクトル、シーン特徴、エンティティ特徴、モーション特徴、モーショントラックなどに関連する対象ゾーンに基づいている。
【0214】
いくつかの実現例においては、映像源522は、バックグラウンド推定、モーションエンティティ識別、モーションベクトル生成、および/または、特徴識別を実行するための十分な処理能力を有しており、これらを実行する。
【0215】
いくつかの実現例においては、モーションイベント候補を表わすモーションベクトルは、映像部分において示されているシーンにおけるモーションエンティティ(「モーション対象物」と称されることもある)の開始座標および終点座標によって規定される単純な2次元の線形ベクトルであり、モーションイベントカテゴリ化はモーションベクトルに基づいている。いくつかの実現例においては、モーションイベント候補についてのモーションベクトルは、各セグメント毎に独立して生成される。いくつかの実現例においては、単一のモーションベクトルはすべてのセグメントために用いられ、モーションベクトルは各々のセグメントが処理されるのに応じて修正される。単純な2次元の線形モーションベクトルをイベントカテゴリ化のために用いることの利点は、イベントデータが非常にコンパクトでありネットワーク上で高速に計算および送信できるという点である。ネットワーク帯域幅および/またはサーバ負荷が制約されている場合、代表的なモーションベクトルを単純化し、映像サーバシステム508のイベントプロセッサモジュールから映像源522にモーションベクトル生成をオフロードすることにより、多くの映像源のためのリアルタイムな警告生成およびイベントカテゴリ化を並行して実現することを支援することができる。
【0216】
いくつかの実現例においては、モーションイベント候補に対応する映像セグメントにおけるモーショントラックが判断された後、モーショントラックについてのトラック長が判
断される。いくつかの実現例においては、トラック長は各セグメント毎に独立して判断される。いくつかの実現例においては、後続の各セグメントが処理されるのに応じて、トラック長が修正される。いくつかの実現例においては、予め定められたしきい値(たとえば、8フレーム)よりも短いトラック長を有する「短いトラック」は、恐らくは、風で揺れる葉、池において揺らめく光など取るに足りない些細な動きによるものであるため、抑制される。いくつかの実現例においては、概ね逆方向である短い対のトラックは「ノイズのあるトラック」として抑制される。いくつかの実現例においては、トラック抑制の後、映像セグメントのために残存するモーショントラックがない場合、キューポイントが誤検知であると判断されて、モーションイベント候補はイベントカテゴリ化のためのイベントカテゴライザには送信されない。いくつかの実現例においては、トラック抑制の後、モーショントラックが残っていない場合、モーションイベント候補はイベント無(non-event)
としてカテゴリ化される。誤検知の抑制が実行された後に少なくとも1つのモーショントラックが残っている場合、残っている各モーショントラックのためにモーションベクトルが生成される。言いかえれば、複数のモーションエンティティが特定の映像セグメント内において識別され得る。キューポイント検出の後であってモーションベクトル生成の前に行なわれる誤検知抑制は、第2層の誤検知抑制であって、モーショントラックの特徴に基づいて誤検知を排除する。
【0217】
いくつかの実現例においては、レーダ情報1106が映像ストリーム1104とは無関係に処理される。いくつかの実現例においては、映像ストリーム1104がサーバシステム508の第1のサーバ上で処理され、レーダ情報1106がサーバシステム508の第2のサーバ上で処理される。いくつかの実現例においては、無線受信機を介して受信されるレーダ情報がレーダ源1101において処理される。いくつかの実現例においては、レーダ情報1106は、無線受信機からの未処理レーダ情報および/またはレーダキューポイント情報などの処理済みレーダ情報を含む。いくつかの実現例においては、映像処理と同様に、レーダ処理はキューポイント検出を含む。レーダキューポイントは、任意には、検出された総モーション、検出されたモーションの速度、モーションの角度もしくは位置、またはそれらの組合せに基づいている。いくつかの実現例においては、キューポイント検出を実行することなくレーダデータが処理される。レーダデータは、発信する無線送信および1つ以上の対応する受信済み無線送信に対応する。
【0218】
いくつかの実現例においては、レーダプロセッサ7145のレーダ処理により、移動する対象物の位置および速度が識別される。いくつかの実現例においては、レーダカテゴライザ1108は、位置および速度のデータを取得して、位置および速度のデータに基づいてレーダイベントカテゴリを割当てる。いくつかの実現例においては、付加的な情報がレーダカテゴライザ1108によって取得されて利用されることにより、モーション対象物の寸法に関する情報、モーション対象物の加速に関する情報、1つ以上のレーダタグからの情報、および、他のソースから受信したバックグラウンド情報(たとえば、1つ以上の検出された対象物についての識別情報)などのイベントをカテゴリ化する。いくつかの実現例においては、レーダプロセッサ7145および/またはレーダカテゴライザ1108は、複数のレーダ源からレーダ情報を受信して、レーダイベントカテゴリを割当てるための情報を処理する。たとえば、サーバシステム508は特定の部屋内の複数のレーダ源(たとえば1Dレーダ源)からレーダデータを受信して、特定の部屋において発生するイベントをカテゴリ化するためにレーダデータを集める。いくつかの実現例においては、サーバシステム508は、1つ以上のレーダ搭載スマートデバイスからおよび1つ以上のレーダタグからレーダデータを受信して、当該レーダタグを処理して、レーダイベントをカテゴリ化する。
【0219】
いくつかの実現例においては、複合イベントカテゴリが、レーダカテゴライザ1108によって割当てられたレーダカテゴリと、モーションイベントカテゴライザ1107によ
って割当てられたモーションイベントカテゴリとに基づいて、(たとえば複合カテゴライザによって)割当てられる。たとえば、モーションイベントカテゴリは、起動中のフラシュライトおよびスキーマスクを装着した人が部屋内で移動していることを示している。レーダカテゴリは、特定の人(ジョン)が部屋の後方に向かって歩いていることを示している。この例においては、複合イベントカテゴリは、ジョンが、スキーマスクを着用して起動中のフラシュライトを携えて歩きながら、部屋の後方に向かって歩いていることを示している。いくつかの実現例においては、割当てられたレーダカテゴリは処理パイプライン1116への入力として用いられる。たとえば、割当てられたレーダカテゴリが取得されて、モーションイベントセグメントをカテゴリ化する(11207)のに用いられ、および/または、モーションイベント全体をカテゴリ化する(1123)のに用いられる。いくつかの実現例においては、割当てられたモーションイベントカテゴリはレーダイベントをカテゴリ化するために用いられる。
【0220】
レーダタグ動作
図12Aは、いくつかの実現例に従った、レーダ信号を介して通信するための環境およびシステムを示す。
図12Aは、住居内において信号1206を介して電子タグ1202と通信する制御デバイス1200を示す。いくつかの実現例においては、制御デバイス1200は、カメラ、サーモスタット、ハザード検出器、ハブデバイスなどのスマートデバイスである。いくつかの実現例においては、制御デバイス1200は、
図1~
図9に開示された実現例のいずれか従ったスマートデバイス204(たとえば
図9A)(たとえば、カメラ118、スマートハザード検出器104、スマートサーモスタット102などのデバイス102、104、106、108、110、112、114、116、118、120および/または122(
図1))を含む。いくつかの実現例においては、電子タグ1202は電子タグ206(
図9B)を含む。いくつかの実現例においては、信号1206はRFID信号を含む。いくつかの実現例においては、信号1206は、同じ周波数で送信された信号を含み、他の実現例においては、少なくとも信号1206のサブセットは、別個の周波数(たとえば、周波数帯域内の別個の周波数)で送信される。いくつかの実現例においては、信号1206は各々、デバイス識別情報を含む。たとえば、電子タグ1202の各々は、信号1206-1を受信し、信号1206-1が特定のタグのために意図されたものであったかどうかを判断するために、含まれているデバイス識別情報を分析する。これにより、いくつかの実現例に従うと、信号1206-1は、電子タグ1202-1についてのデバイス識別を含み、信号1206-2は、電子タグ1202-2についてのデバイス識別を含み、信号1206-3は、タグ1202-3についてのデバイス識別を含み、信号1206-4は、タグ1202-4についてのデバイス識別を含む。制御デバイス1200はさらに、レーダ信号を送受信する。いくつかの実現例においては、レーダ信号は、信号範囲内における複数の対象物の移動についての距離、速度、加速度、位置および/または方向を判断するために用いられる。電子タグ1202はレーダ信号を介して制御デバイス1200と通信する。いくつかの実現例においては、電子タグ1202は、可能化信号(たとえば、信号1206-1)に応答してレーダ信号を介して通信する。いくつかの実現例においては、レーダ信号を介して通信することは、受信したレーダ信号を反射させること、変更すること、および/または、増幅することを含む。いくつかの実現例においては、レーダ信号を介して通信することは、タグによって受信された如何なるレーダ信号とも無関係に、電子タグにおいてレーダ信号を生成することを含む。
図12Aに示されるように、電子タグ1202は、任意には、壁および天井などの無生物、ドアおよび窓などの移動する対象物ならびに/または人々およびペットなどの移動するエンティティに貼付されるように構成される。
【0221】
図12Bはいくつかの実現例に従った、レーダタグを利用するための代表的なシステムおよびプロセスを示す図である。第1の時間において、電子タグ1202-1および1202-2のレーダ回路は、1208および1209によって示されるように、使用不能に
される。いくつかの実現例においては、レーダ回路を使用不能にすることは、電源からレーダ回路を切断することを含む。いくつかの実現例においては、レーダ回路を使用不能にすることは、レーダ回路が無線信号を送信するのを防ぐことを含む。
【0222】
第2の時間において、制御デバイス1200(たとえばスマートデバイス204)は側波帯(たとえばWi-Fi)を介して第1の可能化信号1210を送信する。電子タグ1202-1は第1の可能化信号1210を受信する。いくつかの実現例においては、電子タグ1202-1は、第1の可能化信号1210が電子タグ1202-1のために意図されたものであると判断する。いくつかの実現例においては、第1の可能化信号1210が電子タグ1202-1のために意図されたものであると判断することは、信号1210内のデバイス識別を電子タグ1202-1のデバイス識別と比較することを含む。第1の可能化信号1210を受信したことに応じて、または信号1210が電子タグ1202-1のために意図されたものであったと判断することに応じて、電子タグ1202-1はそのレーダ回路を可能化する(1212)。
【0223】
いくつかの実現例においては、電子タグ1202-2は、第1の可能化信号1210を受信して、第1の可能化信号が電子タグ1202-2のために意図されたものではないと判断する。
【0224】
第3の時間において、制御デバイス1200は、そのレーダ回路を用いて無線信号1214を送信する。電子タグ1202-1は無線信号1214を受信する。いくつかの実現例においては、電子タグ1202-1は受信した無線信号1214を変更する。いくつかの実現例においては、無線信号1214の変更は、無線信号1214を増幅することおよび/または無線信号1214を変調することを含む。いくつかの実現例においては、電子タグ1202-1は変更済みの無線信号1216を送信する。いくつかの実現例においては、電子タグ1202-1は、無線信号1214を受信したことに応じて無線パルスまたはトーンを送信する。無線信号1216を送信した後、電子タグ1202-1はそのレーダ回路を使用不能にする(1217)。
【0225】
制御デバイス1200は電子タグ1202-1から信号1216を受信する。いくつかの実現例においては、制御デバイス1200は、受信した信号1216を処理して、電子タグ1202-1の位置および/またはモーションを判断する。いくつかの実現例においては、制御デバイス1200は、無線信号1214および1216に関する情報を処理のために別のデバイス(たとえばサーバシステム508のデバイス)に送信する。
【0226】
第4の時間において、制御デバイス1200は、側波帯を介して第2の可能化信号1218を送信する。電子タグ1202-2は第2の可能化信号1218を受信する。いくつかの実現例においては、電子タグ1202-2は、第2の可能化信号1218が電子タグ1202-2のために意図されたものであると判断する。第2の可能化信号1218を受信したことに応じて、または信号1218が電子タグ1202-2のために意図されたものであったと判断することに応じて、電子タグ1202-2はそのレーダ回路を可能化する(1220)。
【0227】
第5の時間において、制御デバイス1200はそのレーダ回路を用いて無線信号1222を送信する。電子タグ1202-2は無線信号1222を受信する。いくつかの実現例においては、電子タグ1202-2は、受信した無線信号1222を変更する。いくつかの実現例においては、電子タグ1202-2は変更済みの無線信号1224を送信する。いくつかの実現例においては、電子タグ1202-2は、無線信号1222を受信したことに応じて無線パルスまたはトーン信号1224を送信する。無線信号1224を送信した後、電子タグ1202-2はそのレーダ回路を使用不能にする(1225)。
【0228】
制御デバイス1200は電子タグ1202-2から信号1224を受信する。いくつかの実現例においては、制御デバイス1200は、受信した信号1224を処理して、電子タグ1202-2の位置および/またはモーションを判断する。いくつかの実現例においては、制御デバイス1200は、無線信号1222および1224に関する情報を処理のために別のデバイス(たとえばサーバシステム508のデバイス)に送信する。
【0229】
図12Cは、いくつかの実現例に従った、レーダタグを利用するための代表的なシステムおよびプロセスを示す。制御デバイス1200は、電子タグ1202-1のための識別を取得する(1232)。いくつかの実現例においては、識別は、クライアントデバイス504上でスマートホームアプリケーションなどのアプリケーションを介して取得される。いくつかの実現例においては、クライアントデバイス504は、電子タグ1202-1のバーコードまたはQRコード(登録商標)をスキャンし、スキャンした情報を制御デバイス1200に送信する。
【0230】
制御デバイス1200は、電子タグ1202-1を可能化するようにとの要求を識別情報とともに送信する(1234)。いくつかの実現例においては、要求は第1の通信チャネル(たとえばRFID)を介して送信される。いくつかの実現例においては、制御デバイス1200は、送信前に要求を暗号化する(1236)。
【0231】
電子タグ1202-1は、電子タグ1202-1を可能化するようにとの要求を受信する(1238)。電子タグは、可能化要求が電子タグ1202-1のために意図されたものであったと判断する(1240)。いくつかの実現例においては、可能化要求が電子タグ1202-1のために意図されたものであったかどうかを判断する前に、電子タグ1202-1が可能化要求を復号化する(1242)。いくつかの実現例においては、可能化要求が電子タグ1202-1のために意図されたものであったと判断することは、要求内の識別情報を電子タグ1202-1に格納されたデバイス識別と比較することを含む。
【0232】
可能化要求が電子タグ1202-1のために意図されたものであったという判断に従って、電子タグ1202-1はそのレーダ回路を可能化する(1244)。いくつかの実現例においては、レーダ回路を可能化することは、レーダ回路内の1つ以上の構成要素に電力を供給することを含む。いくつかの実現例においては、レーダ回路を可能化することは、受信した無線信号(たとえば、特定の周波数を有するかまたは特定の周波数範囲内にある受信した無線信号)に応答するようにレーダ回路を構成することを含む。
【0233】
制御デバイス1200は無線信号を送信する(1246)。いくつかの実現例においては、制御デバイス1200は、無線信号を送信するためにレーダ回路を利用する。
【0234】
電子タグ1202-1は無線信号を受信する(1248)。いくつかの実現例においては、無線信号は電子タグ1202-1のレーダ回路を介して受信される。いくつかの実現例においては、電子タグ1202-2は受信した無線信号を変更する(1250)。いくつかの実現例においては、受信した無線信号を変更することは、受信した無線信号を増幅することおよび/または変調することを含む。電子タグ1202-1は制御デバイス1200によって送信された無線信号に対応する無線信号を送信する(1252)。いくつかの実現例においては、送信された信号は変更済みの信号を含む。いくつかの実現例においては、送信された信号は、電子タグ1202-1によって生成された無線トーンおよび/またはパルスを含む。
【0235】
制御デバイス1200は、電子タグ1202-1によって送信される無線信号を受信する(1254)。いくつかの実現例においては、制御デバイス1200は、受信した無線
信号を処理して、電子タグ1202-1の位置およびモーションを判断する。いくつかの実現例においては、制御デバイス1200は、電子タグ1202-1から受信されたその送信された無線信号に関する情報を、処理のために、第2のデバイスまたはサーバシステム(たとえばサーバシステム508)に送信する。
【0236】
いくつかの実現例においては、制御デバイス1200は、各々の電子タグ1202が貼付されている対象物に関する(たとえば、登録処理中の)情報を取得する。たとえば、制御デバイス1200は、電子タグ1202-1が壁に貼付されているという情報と、電子タグ1202-2が窓に貼付されているという情報と、電子タグ1202-3がドアに貼付されているという情報と、を取得する。いくつかの実現例においては、制御デバイス1200は、受信したレーダ信号を処理する際に対象物情報を利用する。たとえば、制御デバイス1200は、電子タグ1202-1が貼付されている壁の向こう側にある対象物に関するレーダ情報を無視する。
【0237】
いくつかの実現例においては、制御デバイス1200は、電子タグ通信間における干渉を減じるために、特定の時間に(または特定の時間間隔で)電子タグ1202の各々を可能化するように構成される。たとえば、制御デバイス1200は、1つの電子タグだけがレーダを介して所定の時間に伝達されるように構成される。いくつかの実現例においては、制御デバイス1200は、特定の電子タグについてのレーダ通信を可能化するために可能化信号を送信する。いくつかの実現例においては、制御デバイス1200は、特定の電子タグについてのレーダ通信を使用不能にするために不能化信号を送信する。
【0238】
いくつかの実現例においては、電子タグ1202の各々は、設定された間隔でレーダを介して通信するように構成される。いくつかの実現例においては、1つの電子タグ1202だけが所定の時間に伝達されるように、制御デバイス1200によって間隔が設定される。いくつかの実現例においては、これらの間隔は、電子タグが貼付されている対象物に少なくとも部分的に基づいている。たとえば、いくつかの実現例に従うと、壁に貼付された電子タグは、1日に1回通信を行ない、窓に貼付された電子タグは1分に1回通信を行なう。
【0239】
いくつかの実現例においては、電子タグ1202は、電子タグのセンサにおいて受信された刺激に応答してレーダを介して通信する。たとえば、電子タグ1202-3は、それが貼付されているドアの動きを(たとえば加速度計によって)検出したことに応じてレーダを介して通信する。いくつかの実現例においては、電子タグ1202は、それが貼付されている対象物の動きを検出し、これに応じて、(たとえば側波帯によって)制御デバイス1200に通知を送信する。いくつかの実現例においては、制御デバイス1200は通知を受信し、これに応答して、レーダ分析で使用される無線信号を送信する。
【0240】
いくつかの実現例においては、制御デバイス1200は、レーダシステムの正確さおよび精密度を改善するために、他のレーダ信号とともに電子タグ1202からのレーダ通信を用いる。たとえば、制御デバイス1200は、タグ1202-3が貼付されているドアのわずかな動きを、特定の時間フレームの間中に検出する。この例においては、同じ時間フレームの間中、タグ1202-3が信号を送信し、制御デバイス1200が、ドアの検出された動きとタグ1202-3からの信号とを用いて、(たとえば、ドアの検出された動きに基づいたマッピングよりも高い精密度/正確さで)ドアの動きをマッピングする。
【0241】
いくつかの実現例においては、電子タグ1202-3などの電子タグが対象物に(たとえば一時的に)貼付され、登録信号が制御デバイス1200に送信される。いくつかの実現例においては、登録信号は、クライアントデバイス504などのモバイルデバイス上でアプリケーション(たとえばスマートホームアプリケーション)を介して送信される。い
くつかの実現例においては、登録信号は、電子タグが貼付されている対象物についての情報(たとえば、対象物をドア、窓または壁であると識別する)を含む。いくつかの実現例においては、制御デバイス1200は、電子タグが貼付されている対象物を分類するために、および/または、制御デバイス1200に対する対象物の位置を判断するために、電子タグから受信した登録情報およびレーダ情報を処理することによって、登録処理を完了する。いくつかの実現例においては、分類および/または位置情報は将来のレーダ処理のために用いられる。いくつかの実現例においては、登録処理が完了した後、その電子タグは、将来、対象物をレーダ処理する際には用いられない。いくつかの実現例においては、登録処理が完了した後、その電子タグは1つ以上の付加的な対象物を登録するために用いられる。
【0242】
いくつかの実現例においては、対象物に添付されて対象物についてのレーダ署名を付与するための電子タグ(たとえば、電子タグ1202-1)は、第1の周波数で1つ以上の他のデバイスと通信するように構成された第1の回路(たとえば通信回路903(
図9B))を含む。いくつかの実現例においては、第1の回路は、(a)第1の周波数で通信するように構成された1つ以上のアンテナ(たとえば受信機905)と、(b)1つ以上のアンテナに結合されて1つ以上のアンテナを管理するように構成された第1のコントローラ(たとえばコントローラ911)とを含む。いくつかの実現例においては、電子タグは、レーダ(たとえばレーダ回路913)を介して1つ以上の他のデバイスと通信するように構成された第2の回路を含む。いくつかの実現例においては、第2の回路は、(a)レーダを介して通信するように構成された1つ以上の第2のアンテナ(たとえば受信機915および/または送信機917)と、(b)1つ以上の第2のアンテナおよび第1のコントローラ(たとえばコントローラ919)に結合されるとともに、第1のコントローラと通信し、かつ1つ以上の第2のアンテナを管理するように構成された第2のコントローラとを含む。
【0243】
いくつかの実現例においては、第1のコントローラはさらに、(1)1つ以上のアンテナを介して別のデバイスからコマンドを受信し、(2)(たとえば、電子デバイスの固有のIDに基づいて)コマンドが電子タグのために意図されたものであったかどうかを判断し、(3)コマンドが電子タグのために意図されたものであったという判断に従って、当該コマンドに応じて動作し、(4)コマンドが電子タグのために意図されたものではなかったという判断に従って、コマンドを無視する、ように構成されている。
【0244】
いくつかの実現例においては、コマンドは、レーダ通信を可能化するコマンドを含む。この場合、コマンドに従って動作する第1のコントローラは、第2のコントローラに可能化コマンドを伝達する第1のコントローラを含む。いくつかの実現例においては、コマンドは受信者識別を含む。この場合、第1のコントローラがコマンドが電子タグのために意図されたものであったかどうかを判断することは、受信者識別を電子タグの識別と比較することを含む。いくつかの実現例においては、コマンドが暗号化される。この場合、第1のコントローラはさらに、コマンドを復号化するように構成される。
【0245】
いくつかの実現例においては、第1の回路はさらに、1つ以上のアンテナを介して受信された信号をデコードするように構成されたデコーダを含む。いくつかの実現例においては、デコーダはさらに、コマンドを復号化するように構成される。いくつかの実現例においては、デコーダはさらに、コマンドが電子デバイスのために意図されたものであったかどうかを判断するように構成される。いくつかの実現例においては、デコーダは第1のコントローラの一構成要素である。いくつかの実現例においては、第2のコントローラはさらに、1つ以上の第2のアンテナを介して送信されたデータを暗号化するように構成される。
【0246】
いくつかの実現例においては、電子タグは、第1の回路および第2の回路に結合されたエネルギ貯蔵回路を含む。エネルギ貯蔵回路は、第1の回路および第2の回路に電力を与えるように構成されている。
【0247】
いくつかの実現例においては、エネルギ貯蔵回路は、(i)1つ以上のコンデンサと、(ii)1つ以上の電池と、(iii)電子タグのアンテナ(たとえば、1つ以上のアンテナのうちの1つ、1つ以上の第2のアンテナのうちの1つ、または取入れ専用の第3のアンテナ)を介して受信された信号からエネルギを取入れるように構成された回路と、(iv)電子タグによって受取られた熱エネルギ、震動エネルギ、電磁エネルギおよび/または太陽エネルギを取入れるように構成された回路と、のうち少なくとも1つを含む。
【0248】
いくつかの実現例においては、第2のコントローラはさらに、(i)受信した電波を(たとえば所与の波長で)を反射させること、(ii)受信した電波を増幅すること、(iii)受信した電波を変調すること、および(iv)電波を生成すること、のうち少なくとも1つを含め、1つ以上の第2のアンテナを介してレーダ通信を選択的に可能化するように構成される。いくつかの実現例においては、第2のコントローラは、第1のコントローラから可能化コマンドを受信したことに応じてレーダ通信を可能化するように構成される。
【0249】
いくつかの実現例においては、第2の回路はさらに、1つ以上の第2のアンテナを介して受信された電波を変調するように構成された変調器を含む。いくつかの実現例においては、第2の回路はさらに、特定の周波数で電波を生成するように構成された信号発生器を含む。
【0250】
いくつかの実現例においては、電子タグはさらに、第1のコントローラに結合された1つ以上の付加的なセンサを含む。1つ以上の付加的なセンサは、湿度センサ、温度センサ、加速度計、ジャイロスコープ、および光学センサ、のうち少なくとも1つを含む。
【0251】
いくつかの実現例においては、第1の回路は、1つ以上のアンテナを介してタグ情報(たとえば、バッテリ寿命、センサ読取り値などのタグ状態情報)を送信するように構成される。いくつかの実現例においては、第2の回路は、1つ以上の第2のアンテナを介してタグ情報(たとえばバッテリ寿命、センサ読取り値などのタグ状態情報)を送信するように構成される。
【0252】
いくつかの実現例においては、電子タグは、コーナレフレクタまたは印刷されたレーダタグなどのパッシブタグを含む。いくつかの実現例においては、パッシブタグは入来する無線信号を変調する。変調された入来信号は、送信デバイス(たとえば制御デバイス1200)に向かって反射し返される。いくつかの実現例においては、信号は、レーダシステムが反射信号を分析するときに、タグが特定の速度で移動しているように見えるように変調される。
【0253】
図12Dは、いくつかの実現例に従った、レーダデータの予想図である。
図12Dは、受信したレーダデータに基づいたさまざまな対象物についての検出された速度を示す。
図12Dにおいては、検出された対象物のほとんどが静止しているかまたはごくわずかしか速度を持たない。高速度である2つの対象物(対象物1260および対象物1262)が検出される。検出された対象物1260は、それがレーダデバイスから離れるように移動していることを示す高い負の速度で、距離d
1で検出される。検出された対象物1262は、それがレーダデバイスに近づいていることを示す高い正の速度で、距離d
2で検出される。
【0254】
いくつかの実現例に従うと、検出された対象物1260および1262はパッシブレーダタグを表わす。パッシブレーダタグは、タグが自体が静止している場合であってもこれらパッシブレーダタグが高速度で移動しているように見えるように、入来電波を変調するように構成される。変調によるレーダタグの見掛け速度は、しばしばファントム速度と称される。各々のレーダタグは、任意には、その変調が別個のファントム速度をもたらすように構成される。いくつかの実現例においては、レーダデバイスは、対象物1260および1262の速度が各々の速度の値に基づいたファントム速度であると判断する。たとえば、スマートホーム環境内に設置されたレーダ搭載デバイスは、速度が30マイル/時間である対象物を検出する。スマートホーム内の対象物は概してこのような高速では移動しないので、レーダ搭載デバイスは、速度がファントム速度であり対象物がレーダタグであると判断する。いくつかの実現例においては、レーダ搭載デバイスは、対象物1260および1262の速度が対象物の一定の位置に基づいたファントム速度であると判断する。たとえば、レーダ搭載デバイスは、第1のスキャンを実行し、見掛けの高速度で距離d1で対象物1260を検出する。レーダ搭載デバイスは、後に第2のスキャンを実行し、距離d1で再び対象物1260を検出する。対象物1260が両方のスキャンの際に同じ距離にあるので、速度はファントム速度であると判断される。いくつかの実現例においては、レーダ搭載デバイスは、(たとえば、レーダタグのための登録処理中に取得された)各タグの予想された距離および/または予想されたファントム速度とともにレーダタグ情報のリストを格納する。いくつかの実現例においては、レーダ搭載デバイスは、検出された如何なるタグをも識別するためにレーダタグ情報のリストを検出された結果と比較する。
【0255】
いくつかの実現例においては、レーダタグはドアまたは窓などの対象物に貼付される。いくつかの場合においては、デバイスが貼付されている対象物は、レーダスキャン中、移動している。これらの環境においては、レーダタグの検出された速度は、無線信号の変調によるファントム速度と、レーダタグが付与されている対象物の実際の速度との両方を含む。いくつかの実現例においては、レーダ搭載デバイスは、実際の速度の成分を識別し、これを、レーダタグが貼付されている対象物に関連付ける。たとえば、レーダタグはドアに貼付され、レーダ搭載デバイスは、レーダタグが1秒毎に1インチ移動していると判断する。この例においては、レーダ搭載デバイスは、1秒毎にインチの移動をドアに関連付けて、任意には、ドアの移動が検出されたことをスマートホーム環境のユーザに警告する。いくつかの実現例においては、レーダ搭載デバイスは、レーダタグの検出された距離(たとえば、一定の期間にわたって検出された距離)に基づいて実際の速度の成分を識別する。いくつかの実現例においては、レーダ搭載デバイスは、レーダタグについて予想されたファントム速度に基づいて絶対速度成分を識別する。
【0256】
いくつかの実現例においては、レーダタグは、それが複数のさまざまなファントム速度のうちの1つを呈するように、任意には選択的に入来電波を変調するように構成される。たとえば、特定のレーダタグは、それが時速10マイルのファントム速度を呈する第1の状態で動作するか、時速15マイルのファントム速度を呈する第2の状態で動作するか、または、時速20マイルのファントム速度を呈する第3の状態で動作する、ように構成され得る。いくつかの実現例においては、レーダタグの動作状態は、制御デバイス1200などの制御デバイスによって管理される。いくつかの実現例においては、レーダタグの動作状態は登録処理中に構成される。
【0257】
いくつかの実現例においては、方法は、1つ以上のプロセッサおよびメモリ(たとえば、制御デバイス1200)を有するコンピューティングシステムにおいて実行される。当該方法は、(1)リモートレーダデバイス(たとえば電子タグ1202-1)を可能化するようにとの要求を第1の送信機を介して送信するステップと、(2)要求に応じて、無線通信をレーダ受信機を介してレーダデバイスから受信するステップとを含む。
【0258】
いくつかの実現例においては、当該方法はさらに、(1)リモートレーダデバイスについての識別を取得するステップと、(2)識別を暗号化するステップとを含む。要求を送信するステップは、暗号化された識別を送信するステップを含む。
【0259】
いくつかの実現例においては、当該方法はさらに、レーダデバイスから無線通信を受信した後、第2のリモートレーダデバイスを可能化するようにとの要求を第1の送信機を介して送信するステップを含む。
【0260】
いくつかの実現例においては、当該方法はさらに、レーダデバイスから無線通信を受信した後、レーダデバイスによる無線通信を不能にする(たとえば第2のレーダデバイスによる通信に対する干渉を防ぐ)ようにとの要求を第1の送信機を介して送信するステップを含む。
【0261】
いくつかの実現例においては、当該方法はさらに、(1)要求を送信する前に、リモートレーダデバイスについての登録要求を受信するステップと、(2)登録要求の受信に応じて、リモートレーダデバイスの位置を判断するステップとを含む。
【0262】
いくつかの実現例においては、リモートレーダデバイスの位置を判断するステップは、受信した無線通信に基づいてリモートレーダデバイスの位置を判断するステップを含む。
【0263】
いくつかの実現例においては、登録要求は、アプリケーション(たとえば、モバイルデバイス上のアプリケーション)を介して受信される。
【0264】
いくつかの実現例においては、登録要求は、リモートレーダデバイスが貼付されている(たとえば、ドア、窓、壁などに取付けられた)対象物に関する情報を含む。
【0265】
いくつかの実現例においては、コンピューティングシステムはスマートデバイス(たとえばスマートデバイス204)を含む。
【0266】
いくつかの実現例においては、スマートデバイスは、サーモスタット、カメラ、ハブデバイス、ハザード検出器、灌漑デバイス、メディア再生デバイス、通路インターフェイスデバイス、アプライアンス、またはセキュリティデバイス、のうち1つを含む。
【0267】
いくつかの実現例においては、無線通信は、(i)コンピューティングデバイスによって送信された無線信号の反射、(ii)コンピューティングデバイスによって送信された無線信号の変調、および(iii)リモートレーダデバイスにおいて生成された無線信号(たとえばトーンまたはパルス)、のうち少なくとも1つを含む。
【0268】
いくつかの実現例においては、無線通信は、リモートレーダデバイスの動作に関する情報(たとえば、センサ読出し情報)を含む。
【0269】
いくつかの実現例においては、当該方法はさらに、レーダデバイスから通信(たとえばステータス情報)を第1の受信機を介して受信するステップを含む。
【0270】
いくつかの実現例においては、電子デバイス(たとえば電子タグ1202-1)において実行される方法は、(1)リモートデバイス(たとえば制御デバイス1200)から第1の受信機を介して可能化要求を受信するステップと、(2)可能化要求が電子デバイスのために意図されたものであったかどうかを判断するステップと、(3)可能化要求が電子デバイスのために意図されたものではなかったという判断に従って、可能化要求を無視するステップと、(4)可能化要求が電子デバイスのために意図されたものではなかった
という判断に従って、レーダを介してリモートデバイスと通信するステップとを含む。
【0271】
いくつかの実現例においては、可能化要求が暗号化されるとともに、当該方法はさらに、可能化要求を復号化するステップを含む。
【0272】
いくつかの実現例においては、可能化要求が電子デバイスのために意図されたものであったかどうかを判断するステップは、電子デバイスの識別を可能化要求における識別と比較するステップを含む。
【0273】
いくつかの実現例においては、可能化要求は、レーダを介してリモートデバイスと通信するためのタイミング情報を含む。また、当該方法はさらに、受信したタイミング情報(たとえば、1分毎、1時間毎または1日毎にパルスを送信する)に従ってレーダを介してリモートデバイスと通信するステップを含む。
【0274】
いくつかの実現例においては、当該方法はさらに、リモートデバイスに送信されるべき情報を暗号化するステップを含む。この場合、レーダを介してリモートデバイスと通信するステップは暗号化された情報を通信するステップを含む。
【0275】
いくつかの実現例においては、当該方法はさらに、(1)電子デバイスのうちの1つ以上のアンテナを介して受信されたエネルギを貯蔵するステップと、(2)貯蔵されたエネルギを利用してレーダを介してリモートデバイスと通信するステップとを含む。
【0276】
いくつかの実現例においては、レーダを介してリモートデバイスと通信するステップは、受信した電波を反射させるステップと、受信した電波を増幅するステップと、受信した電波を変調するステップと、電波を生成するステップと、のうち少なくとも1つを含む。
【0277】
複数のレーダ搭載デバイスの同期
図13Aは、いくつかの実現例に従った、複数のレーダデバイスからのデータを利用するための環境およびシステムを示す。
図13Aは、信号1304を介して第2のレーダ搭載デバイス1302(たとえばスマートハザード検出器104)と通信する第1のレーダ搭載デバイス1300(たとえばカメラ118)を示す。いくつかの実現例においては、信号1304は、Wi-Fiなどの精密なタイミングプロトコルを利用する無線信号を含む。たとえば、いくつかの実現例に従うと、デバイス1300およびデバイス1302は、IEEE1588精度時間プロトコル(Precision Time Protocol:PTP)を利用し
て通信する。いくつかの実現例においては、信号1304は、第1のデバイス1300および第2のデバイス1302同士の時間が正確に同期する(たとえば、互いにマイクロ秒またはナノ秒内で同期される)ことを可能にする。
【0278】
図13Aはさらに、無線信号1306-1を介してレーダを利用する第1のレーダ搭載デバイス1300と、無線信号1306-2を介してレーダを利用する第2のレーダ搭載デバイス1302とを示す。いくつかの実現例においては、第1のデバイス1300と第2のデバイス1302との間の同期を利用して、第1のデバイス1300からのレーダデータと第2のデバイス1302からのレーダデータとを組合わせる。レーダデータを組合わせることにより、対象物の位置およびモーションを判断する際の正確さおよび精密度をより高くすることができる。たとえば、いくつかの実現例に従うと、第1のデバイス1300および第2のデバイス1302の各々は1次元レーダシステムを含む。この例においては、各々のデバイスにおいて集められたレーダデータを組合わせることにより、正確さおよび/または精密度の点で、いずれかのデバイスに位置する単一の多次元レーダシステムと同等の、またはこれよりも優れた結果が生成される。このため、複数のレーダ搭載デバイスを同期させることにより、システムが、各々のデバイスにおいてより低次元のレー
ダシステム(たとえば、1Dレーダシステム)を利用しながらも、正確で精密な結果を生成することが可能となる。1次元レーダシステムは、概して、より小さな物理的フットプリント(たとえばより小型のアンテナ)を必要とし、消費する動作電力がより少なくなり、より高次元のレーダシステム(たとえば2次元レーダシステム)よりもデバイスが必要とする処理電力がより少なくなる。
【0279】
いくつかの実現例においては、デバイス間でレーダデータを組合わせることは、第2のデバイスによって送信された無線信号に対応する、第1のデバイスによって受信された無線信号を分析することを含む。たとえば、第2のデバイスは短期間の無線伝送(チャープ(chirp)と称されることもある)を発する。第1のデバイスは、(たとえば、無線信号
がさまざまな対象物/エンティティに跳ね返ったかまたは反射された後に)発せられた無線伝送に対応する無線信号を受信する。いくつかの実現例においては、デバイス間でレーダデータを組合わせることは、第1のデバイスによって送信された無線信号に対応する、第1のデバイスによって受信された第1の無線信号を分析することと、第2のデバイスによって送信された無線信号に対応する、第2のデバイスによって受信された第2の無線信号を分析することと、を含む。たとえば、第1の時間において、第1のデバイスが短期間の無線伝送を送出して、対応する無線信号を受信する。次いで、第2の時間において、第2のデバイスが、(たとえば、同じまたは実質的に同じ無線周波数を利用して)それ自体の短期間の無線伝送を送出して、対応する無線信号を受信する。この例においては、両方のデバイスからのレーダ情報が組合わされて分析される。
【0280】
いくつかの実現例においては、複数のレーダ搭載デバイスを同期させることにより、多次元レーダ処理が可能化される。たとえば、(たとえば、第1の送信機を利用して)第1のデバイスによって送信された無線信号は、第1のデバイスにおける受信機および第2のデバイスにおける受信機を含む複数の受信機によって受信される。別個の位置にある複数の受信機を利用することにより、システムは、対象物の位置をより高い正確さおよび精密度で判断することができる。たとえば、送信機と対象物との間の角度は、複数の受信機にわたって受信される散乱パターンに基づいて判断することができる。
【0281】
いくつかの実現例においては、システムは、複数の同期されたレーダ搭載デバイス(たとえばデバイス1300およびデバイス1302)を含む。システムは、どのデバイスが無線信号を送信すべきであるかを判断する。いくつかの実現例においては、システムは、どのデバイスが予め設定されたスケジュールに基づいて送信を行なうべきかを判断する。いくつかの実現例においては、システムは、対象となる特定の対象物に基づいてどのデバイスが送信を行なうべきであるかを判断する。たとえば、システムは、対象とされる対象物に最も近いレーダ搭載デバイスであることから、第1のデバイス(たとえばデバイス1302)が送信を行なうべきであると判断する。別の例においては、システムは、対象物の明瞭な視野を有することから、第2のデバイス(たとえばデバイス1300)が送信を行うべきであると判断する。いくつかの実現例においては、システムはハブデバイス(たとえばハブデバイス180)を含む。当該ハブデバイスは、複数のデバイスのレーダ動作を管理する(たとえば、どのデバイスが所定の時間に送信を行なうべきであるかについての判断を行なう)。いくつかの実現例においては、システムは、サーバ(たとえば、サーバシステム508のサーバ)を含む。当該サーバは、複数のデバイスのレーダ動作を管理する(たとえば、どのデバイスが所定の時間に送信を行なうべきであるかに関しての判断を行なう)。いくつかの実現例においては、複数の同期されたデバイスは、マスタデバイスとして指定された1つのデバイスを含む。いくつかの実現例においては、マスタデバイスは、複数のデバイスのレーダ動作を管理する。いくつかの実現例においては、複数のデバイスからのレーダデータの処理および分析はマスタデバイスにおいて行なわれる。
【0282】
いくつかの実現例においては、同期されたデバイス間の距離が無線信号によって判断さ
れる。たとえば、デバイス1300とデバイス1302との間の距離が信号1304を用いて判断される。いくつかの実現例においては、同期されたデバイス間の距離は、無線信号の移動時間に基づいて判断される。
【0283】
いくつかの実現例においては、第1のモードでは、システムは、複数の同期されたレーダ搭載デバイス間で循環する。この場合、各々のデバイスは順番に送信を行なう。たとえば、第1のデバイスは時間0において送信を行なう。第2のデバイスは時間5において送信を行なう。第3のデバイスは時間10において送信を行なう。いくつかの実現例においては、システムは、各々の送信で受信された無線信号を分析し、送信が対象となる対象物を含むかどうかを判断する。たとえば、システムは、検出された対象物が、対象物の位置、速度、移動方向および/または加速度などの対象物の位置または動きに基づいて、対象となる対象物であると判断する。この例においては、システムは、任意には、(1)対象物の位置が対象となるゾーン内であるか、または、1つ以上の他の予め規定された基準を満たしている(たとえば、送信デバイスから20フィート、10フィートまたは5フィート以内にある)、(2)対象物の速度が1つ以上の予め規定された基準を満たしている(たとえば、毎秒1メートル、毎秒1フィートまたは毎秒1インチなどの予め規定されたしきい値を上回っている)、(3)対象物の移動方向が1つ以上の予め規定された基準を満たしている(たとえば、対象となるゾーンの方向にあるかもしくは送信デバイスの方向にある)、または、(4)対象物の加速度が1つ以上の予め規定された基準を満たしている(たとえば、予め規定されたしきい値を上回っている)、と判断する。いくつかの実現例においては、検出された対象物が対象となる対象物であるという判断に従って、システムは第2のモードに切替わる。いくつかの実現例においては、第2のモードでは、システムは、複数のデバイスのうち第1のデバイスが、複数のデバイスの相対的位置および視野に基づいて、送信を行なうべきであると判断する。たとえば、システムは、第1のデバイスが対象となる対象物に最も近接している、および/または対象となる対象物の明瞭な視野を有している、と判断する。いくつかの実現例においては、第1のデバイスは、複数のデバイスの少なくとも1サブセットによって受信される無線信号を送信する。いくつかの実現例においては、受信された信号を分析することにより、対象となる対象物が最初に検出されたとき、および/または、対象となる対象物であると判断されたときよりも高い精密度および/または正確さとなる状況において、対象物の位置および動きを判断する。いくつかの実現例においては、システムは、解像度を高めるために送信アンテナにおける位相シフトなどの多入力および多出力(multiple-input and multiple-output:MIMO)方法を利用する。
【0284】
図13Bは、いくつかの実現例に従った、複数のレーダ搭載デバイスからのレーダデータを利用するための代表的なシステムおよびプロセスを示す。第1の時間において、レーダ搭載デバイス1300が信号1304を利用してレーダ搭載デバイス1302と同期させられる。いくつかの実現例においては、レーダ搭載デバイス1300は、信号1304と共にIEEE1588精度時間プロトコルを利用してレーダ搭載デバイス1302と同期させられる。
【0285】
第2の時間において、デバイス1300は無線信号1306-1を送信する(1314)。いくつかの実現例においては、デバイス1300は、レーダ回路を利用して無線信号1306-1を送信する。デバイス1300は送信された電波信号1306-1に対応する無線信号を受信する(1318)。たとえば、デバイス1300は、さまざまな対象物に当たって跳ね返ってデバイス1300に戻された送信電波信号から、電波を含む無線信号を受信する。デバイス1300は、受信された無線信号についての第1の無線情報を生成する(1320)。いくつかの実現例においては、デバイス1300は、送信された無線信号1306-1と受信された無線信号との間の関係を分析して、検出されたさまざまな対象物の位置および/または動きを判断する。いくつかの実現例においては、デバイス
1300は、受信された無線信号のタイミングおよび位相情報を生成する。
【0286】
デバイス1302は送信された無線信号1306-1を受信する(1316)。いくつかの実現例においては、デバイス1302は、そのレーダ回路を介して、送信された電波信号1306-1を受信する。デバイス1302は、受信された無線信号についての第2の無線情報を生成して送信する(1322)。いくつかの実現例においては、生成された第2の無線情報は、受信された無線信号のタイミングおよび/または位相情報を含む。いくつかの実現例においては、生成された第2の無線情報は、検出されたさまざまな対象物の位置および/または動きに関する情報を含む。いくつかの実現例においては、デバイス1302は、Wi-FiまたはBluetoothなどの無線通信チャネルを介して第2の無線情報を送信する。
【0287】
デバイス1300は送信された第2の無線情報を受信する(1324)。いくつかの実現例においては、デバイス1300は、Wi-FiまたはBluetoothなどの無線通信チャネルを介して、送信された第2の無線情報を受信する。デバイス1300は、信号範囲内のさまざまな対象物の位置および動きを判断するために、第1および第2の無線情報を処理する(1326)。たとえば、デバイス1300は、第1および第2の無線情報を送信された無線信号1306-1と比較して、対象物を検出し、それらの位置および動きを判断する。
【0288】
レーダ搭載スマートデバイス
図14A~
図14Cは、いくつかの実現例に従ったレーダシステムのブロック図を示す。いくつかの実現例においては、
図14A~
図14Cに示されるレーダシステムはスマートデバイス204のいくつかの構成要素である。たとえば、いくつかの実現例に従うと、
図9Aに図示されるスマートデバイス204の構成要素、たとえば、通信モジュール942、レーダモジュール944および/またはレーダ処理モジュール9324などは、
図14A~
図14Cに示されるレーダシステムのうちの1つを含む。
【0289】
図14Aは、いくつかの実現例に従った1次元レーダシステムのブロック図を示す。
図14Aにおける1次元レーダシステムは、レーダ制御モジュール1400、無線送信機1402および無線受信機1404を含む。いくつかの実現例においては、1次元レーダシステムは、送信機1402および受信機1404が単一面上で間隔を空けて既知の距離を空けて位置するように構成される。いくつかの実現例においては、送信機1402は、打ち抜き板金属アンテナ、接着型アンテナ(たとえば、固着型アンテナまたはテープ型アンテナ)、プリント回路基の表面上のトレースアンテナ(PCBアンテナまたは基板アンテナとも称される)、チップアンテナまたはセラミックアンテナなどのアンテナを含む。いくつかの実現例においては、受信機1404は、打ち抜き板金属アンテナ、接着型アンテナ、トレースアンテナ、チップアンテナまたはセラミックアンテナなどのアンテナを含む。
【0290】
図14Bおよび
図14Cは、多次元レーダシステムのブロック図を示す。
図14Bは、レーダ制御モジュール1410、無線送信機1412、ならびに無線受信機1414および1416を備えた多次元レーダシステムを示す。いくつかの実現例においては、無線送信機1412ならびに無線受信機1414および1416は各々、1つ以上の無線周波数帯域用に構成されたアンテナを含む。たとえば、送信機1412は、トーンまたはパルス(たとえば、77GHzトーン)などの無線信号を発する。受信機1414および1416は、発せられた無線信号に対応する電波を受信する。制御モジュール1410は、さまざまな検出された対象物の位置および/または動きを判断するために、受信された電波のタイミングおよび位相を発せられた無線信号と比較する。受信機1414において受信された電波と受信機1416において受信された電波との違いを分析することにより、検出
された対象物の位置/動きが、より高い正確さおよび/または精密度で判断される。
【0291】
図14Cは、レーダ制御モジュール1420、無線送信機1422、1424および1426、ならびに無線受信機1428、1430、1432および1434を備えた多次元レーダシステムを示す。いくつかの実現例においては、無線送信機1422、1424および1426、ならびに無線受信機1428、1430、1432および1434はすべて、対象となる寸法に対して垂直な同じ平面上にある。いくつかの実現例においては、無線送信機1422、1424および1426ならびに無線受信機1428、1430、1432および1434は各々、1つ以上の無線周波数帯域のために構成されたアンテナを含む。たとえば、最初に、送信機1422が無線信号を発する。受信機1428、1430、1432および1434が、発せられた無線信号に対応する電波を受信する。制御モジュール1420は、受信された電波のタイミングおよび位相を発せられた無線信号と比較して、さまざまな検出された対象物の位置および/または動きを判断する。それぞれの受信機において受信された電波間の違いを分析することにより、検出された対象物の位置/動きが、より高い正確さおよび/または精密度で判断される。次に、送信機1424が無線信号を発して、処理が繰返される。次いで、送信機1426が無線信号を発して、処理が再び繰返される。互いから既知の距離にある複数の送信機および複数の受信機を利用することにより、より正確でより精密な結果を得ることが可能となる。複数の受信機を利用することにより、同時に移動する複数の対象物の追跡も可能となる。たとえば、N個の対象物を正確に追跡するには、概して、少なくともN+1個の受信機が必要となる。
【0292】
いくつかの実現例においては、この明細書中に記載されるレーダシステムは連続波レーダを利用する。いくつかの実現例においては、レーダシステムは、ドップラー効果に基づいて、移動する対象物を検出するために、未変調の連続波レーダを利用する。いくつかの実現例においては、レーダシステムは、鋸歯状周波数変調または正弦波周波数変調などの周波数変調連続波レーダ(frequency-modulated continuous wave radar:FMCW)を
利用して、対象物の距離および動きを判断する。たとえば、いくつかの実現例に従うと、周波数は、3GHz~10GHz、24GHz~24.5GHz、57GHz~64GHz、および/または77GHz~81GHzなどの周波数帯域にわたって変調される。いくつかの実現例においては、レーダシステムはFMCWを利用し、対象物から反射したレーダ信号における位相シフトまたは位相シフト比率に基づいてさまざまな対象物の速度を判断する。いくつかの実現例においては、レーダシステムは位相シフト変調連続波レーダ(phase shifting modulation continuous wave radar:PMCW)を利用する。いくつ
かの実現例においては、レーダシステムはPMCWを利用して、偽似ランダム位相シフトシーケンスを生成することによって対象物の位置および動きを検出する。
【0293】
いくつかの実現例においては、この明細書中に記載されたレーダシステムは、スマートホーム環境(たとえば、
図1に示されるようなスマートホーム環境100)内に、またはこれに近接してレーダ送信機が展開されているために、比較的低電力のレーダ送信機を用いている。この場合、長距離レーダ検出は不要である。たとえば、いくつかの実現例に従うと、レーダ送信機は、アイドルモードまたは周期的な走査モード中には、消費する電力が1ワット未満となる。いくつかの実現例においては、レーダ送信機は、しきい値量未満(たとえば1W、100mWまたは10mW未満)の電力を消費するように構成された低電力レーダ送信機を含む。いくつかの実現例においては、レーダ送信機の動作は、(レーダ送信機の本来の範囲と比較しても)スマートホーム環境100全体またはスマートホーム環境100内の空間としての、スマートホーム環境100の特徴サイズ(たとえば、面積、容量、幅、深さ、高さなど)に基づいて、制限された範囲に抑制されている。いくつかの実現例においては、レーダ送信機範囲は、この明細書中に記載されたレーダタグ(たとえば、
図12A~
図12Dに関連付けて説明されるようなレーダタグ1202)を用いることによって抑制される。いくつかの実現例においては、レーダ送信機範囲は、サーバ
システム508または電子タグ206によって実行されるレーダ信号処理動作によって抑制される。このレーダ信号処理動作は、送信機から予め規定された距離よりも大きい距離が空けられている対象物から信号が戻るのを阻止する作用を有する。いくつかの実現例においては、レーダ送信機の動作は、このような送信機が一般に比較的ゆっくりと移動している人々(大人および子)およびペットを識別するためにスマートホーム環境において用いられている場合には、静止しているかまたはゆっくりと動いている対象物を識別するために抑制される。いくつかの実現例においては、ここに記載されるレーダシステムは、スマートホーム環境100内における対象物、人々および/または動物の異常を検出するために用いられる。たとえば、いくつかの実現例におけるレーダシステムによって検知可能な異常は、倒れてしまった個人、呼吸が不安定である個人、煙探知器の起動後に家に居る個人、認識されない個人(たとえば侵入者)、または、ガレージまたはプールへの出入口付近などの、家の制限区域内に居る子供などの、スマートホーム環境内における人々の異常な挙動を含む。
【0294】
さまざまなタイプの内部アンテナは、任意には、この明細書中に開示されるさまざまなデバイスと共に用いられる。内部アンテナは埋込みアンテナと称されることもある。この明細書中に用いられている内部アンテナは、デバイスケーシング内に位置する如何なるアンテナをも含む。内部アンテナは、一般に、金属ケースが効率性を低下させ得るので、金属ケース内においては実現されない。内部アンテナは、通信制御モジュール(たとえば、制御モジュール1400、1410または1420)に結合される。通信制御モジュールは、通信回路、無線モジュールまたは無線機と称されることもある。いくつかの実現例においては、通信制御モジュールは通信チップを含む。いくつかの実現例においては、内部アンテナは、1つ以上の制御されたインピーダンス構造、たとえば、同軸ケーブル、制御されたインピーダンス回路盤トレース(たとえば、マイクロストリップまたはストリップライン)、ばね荷重式ポゴピンまたはばね型指、制御されたインピーダンスラインを備えたフレックス回路など、を介して通信制御モジュールに結合される。いくつかの実現例においては、内部アンテナは1つ以上のフィルタ、増幅器および/またはスイッチを介して通信制御モジュールに結合される。ケーブルおよびトレースは損失を生じさせ得るので、慎重に考慮されるべきである。たとえば、ケーブルおよびトレースは、ノイズが受信機システムに入る機会を発生させてしまう。
【0295】
内部アンテナは、概して、(他の内部アンテナを含む)他のデバイス構成要素に対する干渉に影響され易い。いくつかの場合においては、主要なノイズ源はプロセッサおよびメモリなどのデジタル回路である。たとえば、いくつかの場合においては、プロセッサクロック、高速メモリ、ディスプレイおよびグラフィックスプロセッサは、最も高いノイズの源であって、最も広範囲の周波数を生成する。いくつかの実現例においては、デジタル電子機器は、基板が搭載されたシールド缶でシールドされる。いくつかの実現例においては、アンテナは最大ノイズの源から可能な限り遠くに配置されている。いくつかの実現例においては、アンテナ相互接続部は、最大ノイズの源から離れてルーティングされる。いくつかの実現例においては、シールドされていないアンテナ相互接続部(たとえば、ばね型指またはポゴピン)は最大ノイズの源への露出が制限されるように位置決めされる。
【0296】
金属薄板アンテナは打抜き型金属アンテナと称されることもある。いくつかの実現例においては、金属薄板アンテナは回路基板に搭載されて、通信モジュールに結合される。いくつかの実現例においては、金属薄板アンテナが回路基板の面に対して垂直に搭載される。いくつかの実現例においては、金属薄板アンテナは回路基板の面に対して平行に搭載される。いくつかの実現例においては、金属薄板アンテナは逆F型アンテナを含む。いくつかの実現例においては、金属薄板アンテナはパッチアンテナを含む。いくつかの実現例においては、パッチアンテナは印刷されたパッチアンテナである。いくつかの実現例においては、パッチアンテナは多層回路基板の表面上に印刷される。いくつかの実現例において
は、パッチアンテナは、デバイスの接地面から遠ざかるように配向された放射の主ローブを備えた指向性アンテナを含む。
【0297】
ローカルな接地面のサイズおよび形状、ならびにアンテナ素子までの接地面の比較的狭い間隔は各々、アンテナ設計に影響を及ぼす。金属薄板アンテナは、回路基板の端縁などの接地面の端縁上に、または平坦な接地面の上に最適に配置される。このため、金属薄板アンテナは、最適には、接地面および/または他の導電面によって囲まれていない。
【0298】
基板アンテナはまた、プリント回路基板(printed circuit board:PCB)アンテナ
またはPCBトレースアンテナと称されることもある。いくつかの実現例においては、基板アンテナは回路基板上に搭載され、通信モジュールに結合される。基板アンテナは、一般には、誘電率および散逸率などの回路基板の基板特性によって影響される。いくつかの実現例においては、基板アンテナはシングルエンドアンテナを含む。いくつかの実現例においては、基板アンテナは差動アンテナを含む。いくつかの実現例においては、基板アンテナは八木アンテナを含む。いくつかの実現例においては、基板アンテナはFアンテナを含む。いくつかの実現例においては、基板アンテナは逆Fアンテナを含む。いくつかの実現例においては、基板アンテナは回路基板表面上に積層される。いくつかの実現例においては、基板アンテナは、回路基板上を1つ以上の層が占有している。
【0299】
チップアンテナは、一般に、プリント回路基板上に搭載される。いくつかの実現例においては、チップアンテナは標準的な回路構成要素と同様に回路基板上に配置されるが、これらのアンテナは一般には効率が低下している。チップアンテナは、一般に、誘電率および散逸率などの回路基板の基板特性によって影響される。回路基板の基板材料によって、アンテナの共振長が短くなり、これにより、結果として、使用可能な帯域幅が減少する。回路基板はまた損失機構をもたらして、アンテナの効率を低下させてしまう。アンテナのために利用可能な基板空間が制限されているいくつかの場合においては、チップアンテナが最適なアンテナタイプとなる。いくつかの実現例においては、チップアンテナはセラミックチップアンテナを含む。いくつかの実現例においては、チップアンテナはFアンテナを含む。いくつかの実現例においては、チップアンテナは逆Fアンテナを含む。いくつかの実現例においては、チップアンテナはモノポールアンテナを含む。
【0300】
いくつかの実現例においては、接着型アンテナは、カバー(ケーシングまたはハウジングと称されることもある)に装着される。いくつかの実現例においては、接着型アンテナはテープアンテナを含む。いくつかの実現例においては、接着型アンテナは固着型アンテナを含む。いくつかの実現例においては、接着型アンテナは導電性ペイントアンテナを含む。いくつかの実現例においては、接着型アンテナはワイヤアンテナを含む。
【0301】
性能を最適化しつつノイズを減らすために、レーダシステム(たとえば、レーダアンテナおよび回路)は、一般に、レーダシステムが他の構成要素によって邪魔されないように位置決めされている。たとえば、複数の回路基板を備えたデバイスにおいては、レーダシステムは、一般に、レーダシステムが監視するように意図されている方向において、カバーに最も近い回路基板上に位置決めされている。電磁場を生成する金属ケーシングおよび他の同様の材料は、ノイズをもたらす可能性があるので、および/または検出範囲を狭くする可能性があるので、一般に、レーダシステムの前方には位置決めされない。いくつかの実現例においては、レーダシステムは、デバイスを出ていく送信電波/デバイスに入っていく送信電波についてのインピーダンス不整合を最小限にするようにスマートデバイス内に位置決めされている。いくつかの実現例においては、レーダシステムは、互いから遠隔にアンテナを位置決めすることにより(たとえば、回路基板の両端部にアンテナを配置することにより)、他の通信システムに対する干渉を最小限にするようにスマートデバイス内に位置決めされる。いくつかの実現例においては、レーダシステムは、対象となる面
積(または対象となる寸法)における解像度を最適化するように対象となる特定の面積(または対象となる寸法)に面するデバイスカバーに対して平行に位置決めされる。
【0302】
レーダ搭載スマートデバイス204などの、Wi-Fiシステムおよびレーダシステムの両方を備えたデバイスにおいては、Wi-Fi信号とレーダ信号との間の干渉は、任意には、レーダ周波数がWi-Fi周波数の高調波とならないようにデバイスを構成することによって最小限にされる。逆の場合も同様である。
【0303】
レーダ搭載サーモスタット102などの、レーダシステムおよび温度センサの両方を備えたデバイスにおいては、温度センサとレーダシステムとの間の干渉は、任意には、温度センサがレーダと同時に動作しないように、またはレーダ動作の直後に動作しないように、デバイスを構成することによって最小限にされる。いくつかの場合においては、レーダシステムの動作は、スマートホーム環境の温度センサ読取り値を不正確にするのに十分な熱を発生させる。いくつかの実現例においては、レーダシステムのためのデューティサイクルは、温度センサが温度読取りを実行する直前にレーダが電波を送信することがないように、構成される。
【0304】
図14Dは、いくつかの実現例に従った、レーダ制御モジュール1450を示すブロック図である。レーダ制御モジュール1450は、受信線1452および送信線1454を介して電波を送受信するための複数のアンテナ1448に結合される。いくつかの実現例においては、レーダ制御モジュール1450は、アンテナ1448に結合されたアナログフロントエンド1452を含む。
【0305】
いくつかの実現例においては、アナログフロントエンド1452は、アンテナから受信されたアナログ信号をデジタル信号に変換するための複数のアナログ/デジタル変換器(analog-to-digital converter:ADC)1454に結合される。いくつかの実現例にお
いては、複数のADC1454は、受信された信号の虚数成分を計算するための第1の複数のADCと、受信された信号の実成分を計算するための第2の複数のADCとを含む。
【0306】
いくつかの実現例においては、アナログフロントエンド1452は送信モジュール1456に結合される。いくつかの実現例においては、送信モジュール1456は、アンテナ1448によって送信されるべきさまざまな無線信号を生成するように構成される。いくつかの実現例においては、送信モジュール1456は、将来送信すべき無線信号を生成するのに使用されるアナログフロントエンドから受信した信号をサンプリングするように構成される。いくつかの実現例においては、送信モジュール1456はデジタル/アナログ変換器(DAC)1457および電力増幅器1459を含む。いくつかの実現例においては、送信モジュール1456は信号ミキサおよび/または発振器を含む。いくつかの実現例においては、送信モジュール1456は、アンテナ1448によって送信されるべきプログラマブルレーダ信号を構築するように構成される。
【0307】
いくつかの実現例においては、ADC1454はデジタル信号の処理のためにコントローラ1458に結合される。いくつかの実現例においては、コントローラ1458は、デジタル信号に対して高速フーリエ変換(fast Fourier transform:FFT)などのデジタル信号処理(digital signal processing:DSP)を実行する。いくつかの実現例にお
いては、コントローラ1458は、ARMリミテッド(ARM Limited)によって製造され
たARM(登録商標)プロセッサなどのマルチコアプロセッサを含む。
【0308】
いくつかの実現例においては、レーダ制御モジュール1450はストレージ1462を含む。いくつかの実現例においては、ストレージは、コントローラ1458および/または送信モジュール1456からのデータを格納するためのものである。いくつかの実現例
においては、ストレージは、アプリケーションプロセッサ1464から受信したデータを格納するために用いられる。いくつかの実現例においては、ストレージは複数のレジスタを含む。いくつかの実現例においては、ストレージは揮発性メモリおよび/または不揮発性メモリを含む。
【0309】
いくつかの実現例においては、レーダ制御モジュール1450は、ADC1454に結合されたデータマージャ1460を含む。いくつかの実現例においては、データマージャ1460は、その後の処理のために個々のADCによって出力されたデータを集約するように構成される。
【0310】
いくつかの実現例においては、レーダ制御モジュール1450は、レーダ制御モジュール1450のさまざまな構成要素に電力を提供するための電力サブモジュール(図示せず)を含む。
【0311】
いくつかの実現例においては、レーダ制御モジュール1450は、アプリケーションプロセッサ1464に結合されて、アプリケーションプロセッサ1464によってさらに処理できるようにデータマージャ1460および/またはコントローラ1458からデータを出力する。いくつかの実現例においては、制御モジュール1400、制御モジュール1410および/または制御モジュール1420はレーダ制御モジュール1450を含む。
【0312】
図14Eは、いくつかの実現例に従ったアプリケーションプロセッサ1464を示すブロック図である。
図14Eは、レーダ制御モジュール1450、映像源1466、ストレージ1468およびカテゴライザ1480に結合されたアプリケーションプロセッサ1464を示す。いくつかの実現例においては、アプリケーションプロセッサ1464は、スマートデバイス204などのレーダ搭載デバイスの一構成要素である。いくつかの実現例においては、アプリケーションプロセッサ1464は、サーバシステム508などのサーバシステムの一構成要素である。いくつかの実現例においては、アプリケーションプロセッサ1464はイベントプロセッサ7146およびレーダプロセッサ7145を含む。いくつかの実現例においては、カテゴライザ1480はイベントカテゴライザ1107および/またはレーダカテゴライザ1108を含む。いくつかの実現例においては、映像源1466は映像源1101を含む。いくつかの実現例においては、レーダ制御モジュール1450はレーダ源1101の一構成要素である。
【0313】
いくつかの実現例においては、アプリケーションプロセッサ1464は、映像源1466から受信した画像を処理するための画像信号プロセッサ(image signal processor:ISP)1472を含む。いくつかの実現例においては、画像を処理することは、ピクセル色を判断すること、露光を調整すること、焦点を調整すること、レンズ欠陥を補正すること、ノイズを減らすことなどを含む。
【0314】
いくつかの実現例においては、アプリケーションプロセッサ1464は、レーダ制御モジュール1450および/または画像プロセッサ1472から受信したデータを処理するための信号処理モジュール1470を含む。いくつかの実現例においては、信号処理モジュール1470は、データを集めて分析し易くするために高速フーリエ変換などのデータの変換を実行する。
【0315】
いくつかの実現例においては、アプリケーションプロセッサ1464は、レーダデータおよび/または画像データを分析するための複数のコントローラ1474を含む。いくつかの実現例においては、コントローラ1474は、レーダデータおよび/または画像データにおける対象となる対象物を識別する。いくつかの実現例においては、コントローラ1474は、識別された対象物、識別された対象物に割当てられたカテゴリおよび/または
識別された対象物のクラスタを分析することによって、機械学習を実行する。
【0316】
いくつかの実現例においては、カテゴライザ1480は、コントローラ1474によって識別された対象となる対象物をカテゴリ化する。いくつかの実現例においては、カテゴライザ1480は、コントローラ1474によって識別された対象となる1つ以上の対象物を含むレーダおよび/またはモーションイベントをカテゴリ化する。
【0317】
いくつかの実現例においては、アプリケーションプロセッサ1464はストレージ1468に結合される。いくつかの実現例においては、ストレージ1464は揮発性メモリおよび/または不揮発性メモリを含む。いくつかの実現例においては、ストレージ1464はDDRメモリを含む。いくつかの実現例においては、ストレージ1464は、ISP1472、コントローラ1474および/またはカテゴライザ1480によって出力されたデータを格納する。たとえば、ストレージ1464は、コントローラ1474によって識別された対象となる対象物を格納する。いくつかの実現例においては、ストレージ1464は、映像およびレーダ源データ・データベース1109、カテゴリ化モジュール・データベース1110および/またはイベントデータおよびイベントマスクデータベース1111を含む。
【0318】
図15A~
図15Mは、いくつかの実現例に従った、カメラデバイス118のさまざまな組立図を示す。特に、これらの実現例は、共存を改善するための構成要素レイアウト戦略の一環として構成要素の配置を示す。カメラ118(たとえば、カメラがスマートデバイス204である場合(
図9A))およびさまざまな実現例の構成要素が、全体にわたってより詳細に説明される。
【0319】
具体的には、
図15Aおよび
図15Bは、組立てられたカメラデバイス118の斜視図を示す。カメラデバイス118はマルチメディアデータ(画像データ、映像データおよび音声データ)をリアルタイムで取込み、未処理のマルチメディアデータまたは処理済みマルチメディアデータをリモートサーバを介してそのユーザに伝達する。取込まれた未処理のマルチメディアデータは、任意には、カメラデバイス118にローカルに、またはリモートサーバ(たとえばサーバシステム508)内において遠隔で、処理される。いくつかの実現例においては、カメラデバイス118にはレーダが搭載され、
図14A~
図14Cのレーダシステムのうちの1つなどのレーダシステムを含む。いくつかの実現例においては、レーダ搭載カメラデバイス118は、レーダデータを取込み、未処理のレーダデータまたは処理済みのレーダデータをリモートサーバシステム(たとえばサーバシステム508)に伝達して分析および/または格納できるようにする。
図15Aは、Wi-Fi通信帯域に対応する1つ以上の無線機1597と、15.4通信帯域に対応する1つ以上の無線機1599とを備えたカメラデバイス118を示す。いくつかの実現例においては、カメラデバイス118は、レーダを実現するための無線機、回路および/またはモジュールを含む。いくつかの実現例においては、カメラデバイス118は、RFID通信を実現するための無線機、回路および/またはモジュールを含む。
【0320】
図15Cは、カバー1502がカメラデバイス118アセンブリから取外されているカメラデバイス118の図を示す。
図15Cは、カバー1502の内部に取付けられたWi-Fiアンテナ1595および15.4アンテナ1593を示す。
図15Cはまた、カバーの内部の前面上の領域1501を示す。いくつかの実現例においては、
図14A~
図14Cのレーダシステムのうちの1つなどのレーダシステムが、少なくとも部分的に領域1401内に位置付けられている(たとえば、レーダアンテナが位置付けられている)。
図15Dおよび
図15Eはさらに、カメラデバイス118と、1つ以上のアンテナ(たとえば1504-1および1504-2)がカメラデバイス118アセンブリのカバー1502に対して位置決めされている位置とを示す。
図15Dに示されるように、ケーブル(た
とえば、RF同軸ケーブル)は、(
図15Hおよび
図15Iにより詳細に例示されている)カメラデバイス118の主回路基板にアンテナ1504-2(たとえば15.4アンテナ)を接続している。図示されていないが、いくつかの実現例においては、アンテナ1504-1(たとえばWi-Fiアンテナ)も同様のケーブルを用いて主回路基板に接続されている。いくつかの実現例においては、カメラ118は、RFIDまたはレーダなどの他の波長および/またはプロトコルによって通信するための1本以上の付加的なアンテナを含む。たとえば、1つ以上のレーダアンテナは、カバー1502に取付けられている、および/または、カバー1502付近にある回路基板に取付けられている。
【0321】
カメラデバイス118アセンブリ内のアンテナ(たとえばアンテナ1504およびレーダアンテナ)は、導電性構成要素および送信構成要素からの干渉が最小限にされるように配置されている。アンテナの配置は、用いられるアンテナのタイプに少なくとも部分的に基づいている。いくつかの実現例においては、アンテナは、任意には、固着剤もしくはテープに一体化されるかまたは固着剤もしくはテープによって固定される(かまたは代替的には非導電性接着剤を用いて固定される)。プラスチックなどの導電性材料がより低い(かまたは全くない)材料をカメラアセンブリの閉鎖型ハウジング(たとえば、カバー1502)の材料として選択することにより、これらのアンテナは、任意には、閉鎖型ハウジングの内部に沿って接着により固定され、これにより、他の場合に被る干渉の影響を低減させる。いくつかの実現例においては、アンテナのうちのいくつかまたはすべては型押しされた金属薄板アンテナである。これらのアンテナは、任意には、対応するトランシーバの位置の付近において回路基板上に搭載される三次元金属薄板アンテナとして構成される。一例として、平坦逆Fアンテナ(Planar Inverted-F Antenna:PIFA)の型押しさ
れた金属アンテナがある。いくつかの実現例においては、アンテナのうちのいくつかまたはすべては、プリント回路基板(PCB)内に/上に組込まれたトレースアンテナである。いくつかの実現例においては、トレースはPCBの表面上に積層される。いくつかの実現例においては、トレースは、多層基板のいくつかの層を占める。いくつかの実現例においては、アンテナのうちのいくつかまたはすべては、チップアンテナであって、任意にはセラミックから構成されたパッシブ表面実装型アンテナ構成要素である。いくつかの実現例においては、アンテナのうちのいくつかまたはすべてはカメラアセンブリの閉鎖型ハウジングの外側にある。
【0322】
図15Fはいくつかの実現例に従ったカメラデバイス118の分解図である。カメラデバイス118のこの図は、カメラレンズ1508、複数のLED1506および1つ以上のアンテナ1504を示す。いくつかの実現例においては、カメラデバイス118は、領域1503内などの、少なくとも部分的に回路基板1507上に位置決めされたレーダシステム(たとえば
図14A~
図14Cのレーダシステム)を含む。たとえば、レーダシステムは、1つ以上のアンテナが回路基板1507上の(たとえば領域1503における)LED1506の上方または下方に位置付けられている。いくつかの実現例においては、カメラデバイス118は、少なくとも部分的に回路基板1509上に位置決めされたレーダシステムを含む。たとえば、レーダシステムは、回路基板1507によって妨げられない視野を有するように、回路基板1509の周辺付近(たとえば、領域1511または領域1513)に1つ以上のアンテナが位置するように位置決めされている。いくつかの実現例においては、カメラデバイス118は、少なくとも部分的にカバー1502上に搭載されたレーダシステムを含む。たとえば、レーダシステムは、1つ以上のアンテナがカバー1502のうち前方に向いた部分上(たとえば領域1501に)位置するように搭載されている。
【0323】
定期的監視モードに従って、カメラデバイス118は、可視光源(たとえば、太陽または電球)によって照らされるスマートホーム環境における映像監視およびセキュリティを提供するように構成される。いくつかの実現例においては、カメラデバイス118は、暗
視モードおよび深度撮像モードなどの代替的な動作モードを含む。代替的な動作モードの各々はそれぞれの照明条件に関連付けられている。たとえば、暗視モードでは、カメラデバイス118は、可視光照明が全くないかまたは制限されている場合に、夜間に、スマートホーム環境における活動を取込むように構成されている。深度撮像モードでは、カメラデバイス118は、スマートホーム環境における対応する視野のために深度マップまたは画像を作成するように構成されている。深度マップは、次に、スマートホーム環境において対象物を正確に識別するために定期的監視モードで使用することができる。いくつかの実現例においては、深度画像は、視野の一部が選択的に照らされている場合に、取込まれた1つ以上の画像に基づいて作成される。したがって、いくつかの実現例においては、カメラデバイス118は、LED照明システムを含むように構成されるとともに、これを内部光源として用いて、カメラデバイス118の各々の代替的な動作モードに関連付けられたそれぞれの照明条件に従ってスマートホーム環境において照明を提供するように構成される。いくつかの実現例においては、カメラデバイス118はスマートホーム環境においてレーダ監視を行なうように構成される。いくつかの実現例においては、カメラデバイス118は、カメラデバイスの照明ベースの動作モードにかかわらずレーダ監視を行なうように構成される。
【0324】
具体的には、いくつかの実現例においては、複数のLED1506は赤外線LED1506を含む。赤外線LED1506は、カメラデバイス118の暗色の赤外線透明プラスチックカバー1502内に囲まれているため、カメラデバイス118の外部からは非可視となっている。プラスチックカバー1502は赤外光の透過が可能であると想定すると、カメラデバイス118は赤外線LED1506に依拠して、夜間に照明を提供することができる。暗視モードでは、夜間に赤外光で視野を照らすために複数のLEDの電源が入れられる。カメラデバイス118は、視野の赤外画像または映像クリップを取込む赤外画像センサを含む。深度撮像モードでは、複数のLED1506がいくつかのLEDセットにグループ化され、各々のLEDセットは、カメラデバイス118が配置されている現場に関連付けられた視野のそれぞれの部分を照らすように、選択的に電力供給される。これらのLEDセットに関連付けて取込まれた画像は、その現場における視野全体の深度マップを生成するように組合わせられる。
【0325】
代替的には、いくつかの実現例においては、複数のLED1506は、少なくとも1つの赤外線LEDおよび少なくとも1つの可視光LEDを含む赤外線LEDと可視光LEDとの組合せである。暗視モードでは、複数のLEDのうち少なくとも1つの赤外線LEDの電源を入れて、赤外光で視野を照らす。
【0326】
いくつかの実現例においては、複数のLED1506は、カメラデバイス118の内部アセンブリ構造に配置され、カメラデバイス118のカメラレンズ1508を囲むように構成される。いくつかの実現例においては、
図15Fの挿入図に示されるように、各々のLEDは、任意には、カメラレンズ1508の中心340を通過する光軸に対して角度を付けて傾けられる。ここで、光軸は、カメラレンズ1508の中心においてはレンズ表面に対して垂直である。いくつかの実現例においては、各々のLEDは、20度~40度の範囲の角度を付けてカメラの光軸から遠ざかるように傾けられている。この例においては、複数のLED1506は、4対のLEDにグループ化された8つのLEDを含む。4対のLEDは、カメラレンズ1508を囲む4つの象限内において対称的に配置される。いくつかの実現例においては、機械部品または電気部品314は、2つのLED対間に、または或るLED対内の2つのLED間に、配置されている。カメラレンズ1508は、上述の例示から、異なる物理的配列を有するいくつかのLEDによって囲むことができる(たとえば、カメラレンズ1508は、カメラレンズ1508を囲む3つの層において均一に分散された100個のLEDによって囲まれている)ことが留意される。
【0327】
いくつかの実現例においては、アンテナ(たとえばアンテナ1504および/またはレーダアンテナ)は、カメラデバイス118の形状因子に応じてカメラカバー1502の内壁上に取付けられる。アンテナの各々は、他のアンテナの存在および干渉からの影響を抑制するかまたは減じるために、他のアンテナに対してそれぞれの好ましい向きでそれぞれの好ましい位置に位置決めされている。いくつかの状況において、受信素子およびベースアセンブリは金属材料からできており、アンテナの各々は、受信素子およびベースアセンブリに対して、それらが存在していることで被る影響を抑制するかまたは減じるために、それぞれの好ましい向きでそれぞれの好ましい位置に位置決めされている。好ましい位置および向きにするために、アンテナの各々は、カメラカバー1502の内壁上にそれぞれのアンテナのアセンブリを導くように構成されたそれぞれのアラインメントマークで印が付けられている。
【0328】
いくつかの実現例においては、1つ以上のアンテナは少なくとも第1のアンテナおよび第2のアンテナを含む。第1のアンテナは、カメラデバイス118によって取込まれたデータをワイヤレスローカルエリアネットワーク(wireless local area network:WLA
N)を介して無線で転送するように構成されている。第2のアンテナは、カメラデバイス118をWLANに委任する目的で、第1の無線ネットワークを介してWLANに関連付けられた構成データを伝達するように構成される。いくつかの実現例においては、カメラデバイス118はさらに第3のアンテナを含む。第3のアンテナは、第1の無線ネットワークとは異なる第2の無線ネットワークを介してカメラデバイス118がローカルハブデバイス(たとえば、
図1に示されるハブデバイス180)と通信することを可能にする。いくつかの実現例においては、カメラデバイス118はさらに、カメラデバイス118がレーダ動作を実行することを可能にするための第3のアンテナを含む。いくつかの実現例においては、WLANならびに第1および第2の無線ネットワークは、カスタムまたは標準の無線プロトコル(たとえば、IEEE802.15.4、Wi-Fi、ZigBee、6L0WPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWiなど)に関連付けられる。具体的な例においては、第1のアンテナ、第2のアンテナおよび第3のアンテナは、それぞれ、IEEE802.11規格、IEEE802.15.4規格およびZigBee規格に従って無線でそれぞれのデータを転送するように構成される。別の例においては、第1のアンテナ、第2アンテナおよび第3のアンテナは、それぞれ、IEEE802.11、RFIDおよびレーダを介して無線でそれぞれのデータを転送するように構成される。
【0329】
いくつかの実現例においては、これらのアンテナは、別個の周波数帯域で動作するとともに別個の周波数帯域で無線信号を同時に送信する別個の無線送信機回路に電気的に結合される。いくつかの実現例においては、これらのアンテナは、単一の無線受信機回路へのそれらの接続を制御するデュプレックスフィルタまたはスイッチに電気的に結合される。
【0330】
図15G~
図15Mは、カメラデバイス118の付加的な図を示す。特に、
図15Gはカメラデバイス118の分解図を示す。
図15Hおよび
図15Iは、それぞれ、カメラデバイス118の主回路基板の上面図および底面図を示す。
図15Jおよび
図15Kは、それぞれ、カメラデバイス118のセンサ基板の上面図および底面図を示す。
図15Lおよび
図15Mは、それぞれ、カメラデバイス118のIR LED回路基板の上面図および底面図を示す。
【0331】
いくつかの実現例においては、カメラデバイス118は、前カバー1573、裏カバー1591、センサアセンブリ1571、センサ基板1585、LED基板1507、主基板1509、スピーカ1581、マイクロホン1577、および取付けねじ1565を含む。いくつかの実現例においては、主基板1509は、主基板をセンサ基板1585に結合するための基板間コネクタ1589と、メモリ1555(たとえばNANDメモリ)と
、画像処理、動き検出、圧縮などのためのプロセッサ1557(たとえば、Amberella A5S CPU)を含む。いくつかの実現例においては、センサ基板1585はヒートシンク15
53を含む。いくつかの実現例においては、LEDコントローラ1567はLED基板1507に結合される(たとえば、搭載される)。いくつかの実現例においては、裏カバー1591は熱の接触感覚を減らすために複数の隆起部1559を含む。いくつかの実現例においては、裏カバー1591は金属カバーを含む。
【0332】
いくつかの実現例においては、カメラアセンブリは、裏面1591、前面1573および周辺部(たとえばカメラ118(
図15A~
図15M))を有する閉鎖型ハウジングを含む。いくつかの実現例においては、カメラアセンブリはさらにレンズモジュール1571を含む。レンズモジュール1571は、ハウジング内に位置しており、前面(たとえばレンズ1508(
図15F))を介して光を受けるように構成されている。いくつかの実現例においては、レンズモジュールによって取込まれた映像データは、ワイヤレスローカルエリアネットワークを用いてカメラアセンブリとサーバとの間でやり取りされる。
【0333】
いくつかの実現例においては、カメラアセンブリはさらに通信回路を含む。通信回路は、ハウジング内に位置しており、複数の異なる通信プロトコルによって無線通信するように構成されている(たとえば、複数のトランシーバを含むカメラデバイス118の主回路基板1509)。いくつかの実現例においては、通信回路は、第1の通信プロトコル(たとえば、Wi-Fiトランシーバ)によって通信するように構成された第1の回路1579と、第2の通信プロトコル(たとえば802.15.4トランシーバ)によって通信するように構成された第2の回路1587とを含む。この場合、第1の回路および第2の回路は別個である。いくつかの実現例においては、通信回路は、第1の通信プロトコルおよび第2の通信プロトコルの両方によって通信するように構成された集積回路である(たとえば、Bluetooth LE用の無線機950-1およびWi-Fi用の無線機950-2を含む無線機950)。いくつかの実現例においては、通信回路は、少なくとも3つ以上の異なる通信プロトコル(たとえばWi-Fi、802.15.4およびBluetooth LE)によって無線で通信するように構成される。いくつかの実現例においては、第2のアンテナはさらに、通信プロトコルのうちの第3の通信プロトコルによって通信するように構成されている。いくつかの実現例においては、通信回路はさらに、第1の通信プロトコルによって通信するための送信アクセスを提供するとともに、起動された優先度制御信号を検出しながらも第2の通信プロトコルによって通信するための送信アクセスを拒否するように構成されている。いくつかの実現例においては、通信回路は、第1の通信プロトコル(たとえば、RFID)によって通信するように構成された第1の回路と、レーダを介して通信するように構成された第2の回路とを含む。いくつかの実現例においては、通信回路は、少なくとも部分的に複数の回路基板(たとえば、主基板1509およびLED基板1507)上に位置付けられている。
【0334】
いくつかの実現例においては、カメラアセンブリはさらに、周辺部の内面上の第1の位置に配置されているとともに通信プロトコルのうちの第1の通信プロトコル(たとえばWi-Fi)によって通信するように構成された第1のアンテナ(たとえばアンテナ1504-1)と、周辺部の内面上の第1の位置とは異なる第2の位置に配置されているとともに、通信プロトコルのうち第2の通信プロトコル(たとえば802.15.4)によって通信するように構成された第2のアンテナ(たとえば、アンテナ1504-2)とを含む。いくつかの実現例においては、第1のアンテナは、周辺部の内面上の第1の位置に配置されており、および/または、第2のアンテナは、接着剤によって周辺部の内面上の第2の位置に配置されている(たとえば
図15E)。いくつかの実現例においては、第1のアンテナは第1の向きを有し、第2のアンテナは第2の向きを有することで、互いのアンテナの存在および干渉から受ける影響が抑制されるようにされている(たとえば、アンテナ1504-1および1504-2をカメラアセンブリ内において互いに対して、かつ他の
構成要素に対して異なる角度に向ける)。いくつかの実現例においては、第1のアンテナおよび第2のアンテナは、カメラ蓋の内壁上にそれぞれのアンテナのアセンブリを誘導するように構成されたそれぞれのアラインメントマークで印が付けられている。
【0335】
いくつかの実現例においては、第1のアンテナおよび第2のアンテナは、同じ周波数(たとえば2.4GHz)で動作するように構成される。いくつかの実現例においては、第1のアンテナおよび第2のアンテナは、別個の周波数(たとえば2.4GHzおよび5GHz)で動作するように構成される。いくつかの実現例においては、第1のアンテナは、第1の通信プロトコルによって、他のスマートホームデバイスとの間で、警告、制御信号および状態情報のうち1つ以上を含む信号(たとえば、802.15.4を用いるハザード検出器104からの緊急警告、または、スマートデバイス204のいずれかによって送信/受信されるいずれかの信号)を送受信するように構成される。さらに、第2のアンテナは、スマートホームデバイスを構成するための信号を、第2の通信プロトコル(たとえば、カメラ118をプロビジョニングして設定するためのBluetooth LE)によって送受信し、かつ、スマートホームデバイスによって取込まれた映像に対応するデータを第3の通信プロトコル(たとえば、映像データをストリーミングするためのWi-Fi)によって送受信するように構成される。いくつかの実現例においては、第3のアンテナはレーダで使用される無線信号を送受信するように構成される。
【0336】
いくつかの実現例においては、第1のアンテナまたは第2のアンテナは、IEEE802.11規格に従ってワイヤレスローカルエリアネットワークで無線信号を送受信するように構成される。いくつかの実現例においては、第1のアンテナまたは第2のアンテナは、IEEE802.15.4規格に従ってワイヤレスパーソナルネットワークで無線信号を送受信するように構成される。いくつかの実現例においては、第1のアンテナまたは第2のアンテナは、Bluetooth低エネルギ(BLE)規格に従って無線信号を送受信するように構成される。いくつかの実現例においては、第1のアンテナまたは第2のアンテナは、レーダで使用される無線信号を送受信するように構成される。いくつかの実現例においては、第1のアンテナおよび第2のアンテナは、単一の無線受信機回路へのそれらの接続を制御するデュプレックスに電気的に結合される。
【0337】
いくつかの実現例においては、カメラアセンブリはループアームをさらに含む。ループアームは、閉鎖型ハウジングが当該ループアームにおける切欠き開口部内に挿入されたときに閉鎖型ハウジングを保持するように構成されている。いくつかの実現例においては、ループアームは金属材料でできており、第1のアンテナの第1の位置および第2のアンテナの第2の位置は、金属ループアームが存在することで受ける影響が抑制されるように設定されている(たとえば、ループアームと閉鎖型ハウジングとが接触する位置から最も遠い位置に配置されている)。
【0338】
いくつかの実現例においては、カメラデバイス118が含むレーダシステムは、
図14A~
図14Cのレーダシステムのうちの1つなどであるとともに主基板1509の上部に位置している。たとえば、いくつかの実現例においては、レーダシステムは、主基板の上側の下方領域(たとえば、センサ基板コネクタの下方)に位置する。いくつかの実現例においては、レーダシステムは、主基板の上側の上方領域(たとえば、領域1511または領域1513)に位置する。いくつかの実現例においては、レーダシステムはいくつかの領域に位置する。たとえば、制御モジュール(たとえば制御モジュール1420)は第1の領域(たとえば領域1511)に位置しており、送信機および/または受信機は第2の領域(たとえば領域1513)に位置している。
【0339】
いくつかの実現例においては、カメラデバイス118が含むレーダシステムは、
図14A~
図14Cのレーダシステムのうちの1つなどであるとともにセンサ基板の上部に位置
している。たとえば、いくつかの実現例においては、レーダシステムは、センサ基板の上側の上方領域(たとえば、画像センサの上方)に位置する。別の例として、レーダシステムは、センサ基板の上において少なくとも部分的に領域1515および/または領域1517に配置されている。
【0340】
いくつかの実現例においては、カメラデバイス118が含むレーダシステムは、
図14A~
図14Cのレーダシステムのうちの1つなどであるとともにLED基板1507の上部に位置している。たとえば、いくつかの実現例においては、レーダシステムは、LED基板の上側の左側の領域(たとえば、LEDの左側)に位置する。
【0341】
いくつかの実現例においては、カメラデバイス118は、主基板1509、LED基板1507および/またはセンサ基板に接続された回路基板(たとえば、フレックス回路基板)上に位置するレーダシステムを含む。
【0342】
いくつかの実現例においては、レーダシステムは、制御モジュール(たとえば制御モジュール1400)がカメラデバイス118の第1の構成要素上に位置するように、かつ、アンテナ(たとえば送信機1402および/または受信機1404)がカメラデバイス118の第2の構成要素上に位置するように、位置決めされる。いくつかの実現例においては、レーダシステムは、制御モジュール(たとえば制御モジュール1400)が第1の回路基板上(たとえば、主基板1509上の領域1511内)に位置するように、かつ、アンテナが第2の回路基板(たとえば、LED基板1507上の領域1504)に位置するように、位置決めされる。いくつかの実現例においては、アンテナのうち1つ以上は、フレックス回路基板上に位置するか、またはカメラデバイス118のカバー1502(たとえば領域1501内)に搭載される。
【0343】
図15Hは、いくつかの実現例に従った主基板1509の上面図を示す。いくつかの実現例においては、主基板1509はアンテナコネクタ1583(たとえばWi-Fiまたはレーダアンテナコネクタ)と、(たとえば、アンテナコネクタ1583と共に動作させるべき)通信モジュール1579と、センサ基板コネクタ1589と、PMIC1551と、通信モジュール1587(たとえば15.4またはレーダ通信モジュール)と、アンテナコネクタ1549(たとえば15.4またはレーダアンテナコネクタ)とを含む。いくつかの実現例においては、主基板1509は、領域1511または領域1513に搭載されたレーダモジュールを含む。いくつかの実現例においては、主基板1509は、領域1511または領域1513に搭載されたレーダアンテナを含む。
【0344】
図15Iは、いくつかの実現例に従った主基板1509の底面図を示す。いくつかの実現例においては、主基板1509は、プロセッサ1557、メモリ1555、スピーカ空間1547、リセットボタン1545、マイクロホンコネクタ1543、USBコネクタ1541、およびアンテナコネクタ1563(たとえば、レーダまたは15.4アンテナコネクタ)を含む。
【0345】
図15Jは、いくつかの実現例に従ったセンサ基板1585の上面図を示す。いくつかの実現例においては、センサ基板1585は、RGB状態LED1539、インダクタ1535、ブースト1533、集積回路(IC)1531および画像センサ1537を含む。いくつかの実現例においては、センサ基板1585はさらに、領域1515または領域1517に搭載されたレーダモジュールを含む。いくつかの実現例においては、センサ基板1585はさらに、領域1515または領域1517に搭載されたレーダアンテナを含む。
【0346】
図15Lは、いくつかの実現例に従ったLED基板1507の上面図を示す。いくつか
の実現例においては、LED基板1507は電流シンクオペアンプ(operational amplifier:OpAmp)1529を含む。いくつかの実現例においては、LED基板1507
はさらに、領域1503に搭載されたレーダモジュールを含む。いくつかの実現例においては、センサ基板1585はさらに、領域1503に搭載されたレーダアンテナを含む。
【0347】
図15Mは、いくつかの実現例に従ったLED基板1507の底面図を示す。いくつかの実現例においては、LED基板1507は深度モードコントローラ集積回路1527を含む。
【0348】
図16A~
図16Cは、先に記載されたように、任意にはスマートホーム環境100の一部として用いられるスマートサーモスタット(たとえばスマートサーモスタット102(
図1))のさまざまな図を示す。
【0349】
具体的には、
図16Aは、2つの構成要素(ヘッドユニット1600-Aおよびバックプレート1600-B)に対するスマートサーモスタット102の分解斜視図を示す。ヘッドユニット1600-Aは、(
図16Bに関連付けてさらに詳細に記載される)ヘッドユニット回路基板1650を含み、バックプレート1600-Bは、(
図16Cに関連付けてさらに詳細に記載される)バックプレート回路基板1660を含む。この明細書中において以下に例示される電気部品および機械部品のさまざまな部品のさらなる技術的および/または機能的説明は、米国出願連続番号第13/199、108号などの同一出願人による援用出願のうちの1つ以上において見出すことができる。示される図面においては、「z」方向は壁から外側に向かう方向であり、「y」方向は歩いているユーザについての頭からつま先までの上下方向であり、「x」方向はユーザの左右方向である。
【0350】
図16Bは、ヘッドユニットマイクロプロセッサ1602(Texas Instruments AM3703のチップなど)および関連する発振器1604を、メモリ1606(たとえば、DDR SDRAM)およびストレージ1608(たとえば大容量NANDストレージ)とともに含むスマートサーモスタット用のヘッドユニット回路基板1650の正面図を示す。無線通信能力(たとえばWi-Fi)のために、802.11b/g/n WLAN規格をサポートするTexas Instruments WL1270のチップセットに基づいたMurata Wireless Solutions LBWA19XSLZモジュールなどの無線通信モジュール1612が(たとえば、無線周波数(RF)シールド1610の別個の区画において)設けられている。無線通信モジュール1612のために、発振器1616を含む支持回路1614が設けられている。いくつかの実現例に従うと、ZigBee機能のために、テキサス・インスツルメンツ社(Texas Instruments)によるC2530F256モジュールなどのZigBeeモジュール16
18が(たとえば、別個にシールドされたRF区画に)設けられている。ZigBeeモジュール1618のために、発振器1622および低ノイズ増幅器1624を含む支持回路1620が設けられている。いくつかの実現例に従うと、スマートサーモスタットはまた、ディスプレイバックライト電圧変換回路1626、圧電駆動回路1628および/または電力管理回路1630(ローカルパワーレールなど)を含む。いくつかの実現例においては、フレックス回路コネクタ1634によってヘッドユニット回路基板の裏側に取付けられた回路基板1632(たとえばフレックス回路基板)上には、I2Cインターフェイスを備えたSilicon Labs SI1142近位/周囲光センサなどの近位光および周囲光センサ(PROX/ALS)が設けられている。いくつかの実現例においては、スマートサーモスタットは、電池充電-監視-切断回路2432およびスプリング/RFアンテナ1638のうち1つ以上を含む。いくつかの実現例においては、スマートサーモスタットはまた、(回路基板から異なる距離で2つの別個の温度検知要素を収容する、+z方向に回路基板に対して垂直に立ち上がっている)温度センサ1644と、PIRモーションセンサ1646とのうち、1つ以上を含む。いくつかの実現例においては、PIRモーションセンサ1646(および関連する回路)は、
図14A~
図14Cのレーダ
システムのうちのいずれかなどのレーダシステムと置換えられる。いくつかの実現例においては、スマートサーモスタットはPIRモーションセンサ1646に加えてレーダシステムを含む。いくつかの実現例においては、レーダシステムは、ヘッドユニット回路基板1650上に少なくとも部分的に位置している。たとえば、いくつかの実現例に従うと、レーダシステムは、ヘッドユニット回路基板1650の上側の底領域に(たとえば、PIRモーションセンサ1646の隣りに、またはPIRモーションセンサ1646の代わりに)位置している。いくつかの実現例においては、レーダシステムは、ヘッドユニット回路基板1650に結合されたフレックス回路基板上に少なくとも部分的に(たとえば、PROX/ALS回路に加えて、またはPROX/ALS回路の代わりに)位置している。
【0351】
いくつかの実現例においては、PROX/ALSおよび温度センサ1644ならびにPIRモーションセンサ1646がヘッドユニット回路基板1940上に物理的に位置しているとしても、これらのすべてのセンサは、それらが電気的に接続されるバックプレート回路基板上の低電力バックプレートマイクロコントローラによってポーリングされ制御される。いくつかの実現例においては、ヘッドユニット回路基板は、Bluetoothモジュール1648と、1つ以上の発振器、増幅器および/または他の支援回路を含む付加的な回路(図示せず)とを含む。いくつかの実現例においては、ヘッドユニット回路基板は、無線機とトランシーバとの組合せを含む1つ以上の集積回路を含む。たとえば、いくつかの実現例においては、無線通信モジュール1612およびBluetoothモジュール1648はシングルチップを含む。この場合、無線通信モジュール1612およびBluetoothモジュール1648は単一のアンテナ1638を用いて信号を送受信する。トランシーバ(たとえば、無線機940および無線機950)のさまざまな実現例が
図9Aに関連付けてより詳細に記載されている。
【0352】
図16Cは、内蔵メモリ1664を含むTexas Instruments MSP430Fシステム・オン・チップ・マイクロコントローラなどのバックプレートプロセッサ/マイクロコントローラ1662を含む、バックプレート回路基板1660の背面図を示す。バックプレート回路基板1660はさらに、任意には盗電回路を含む電源回路1666と、それぞれのHVAC機能を切換えるためのスイッチ回路1668とを含む。いくつかの実現例においては、各々のHVAC機能のために、スイッチ回路1668は絶縁トランス1670およびバック・トゥ・バック(back-to-back)NFETパッケージ1672を含む。スイッチング回路においてFETを使用すれば、100マイクロ秒などの極短い間隔だけHVACリレー回路から貯蔵コンデンサに一時的に電力を迂回させることによって、「有効な盗電」、すなわち、HVAC「ON」サイクル中に電力を取出すこと、が可能となる。この時間は短すぎて、HVACリレーをオフ状態にトリップするには不十分であるが、貯蔵コンデンサを充電するには十分である。FETを使用することで、このような高速の切換え時間(100マイクロ秒)が可能となる。このような高速の切換え時間は、一般には(数十ミリ秒の間持続する)リレーを用いて達成するには困難であるだろう。また、このようなリレーは、一般に、このタイプの高速切換え実施の質を低下させ、可聴ノイズを発生させることもある。対照的に、いくつかの実現例に従うと、FETは、可聴ノイズなしで、または本質的に可聴ノイズなしで動作する。いくつかの実現例においては、バックプレート回路基板1660はまた、Sensirion SHT21モジュールなどの温度/湿度センサモジュール1274の組合わせを含む。いくつかの実現例においては、バックプレートマイクロコントローラ1662は、さまざまなセンサのポーリング、設置時における機械的ワイヤ挿入の検知、電流対設定点温度条件に関するヘッドユニットへの警告およびこれに応じたスイッチの作動、ならびに、設置時における挿入されたワイヤ上の適切な信号の探索などの他の機能、のうち1つ以上を実行する。
【0353】
同一出願人による米国連続出願番号第13/269、501号、同一出願人による米国連続出願番号第13/275、307号および同一出願人によって援用された他の出願に
おける教示に従うと、スマートサーモスタット102(
図1)は、高度なマルチセンサマイクロプロセッサ制御インテリジェント型または「学習型」サーモスタットを表している。このサーモスタットは、処理能力、直観的で視覚的に好ましいユーザインターフェイス、ネットワーク接続性、および省エネルギ能力(ここに記載されている自動離隔/自動到着のアルゴリズムを含む)の豊富な組合せを提供する一方で、HVACシステムからのいわゆる「C-ワイヤ」または家庭用壁プラグからのライン電力を同時に必要とすることはない。いくつかの場合においては、このような高度な機能は、「盗電」オプション(すなわち、1つ以上のHVACコールリレーからより小量の電力を抽出する)が安全に提供し得るよりも大量の瞬時電力抜取りを必要とする可能性がある。一例として、いくつかの環境においては、ヘッドユニットマイクロプロセッサ1602は、起動されて処理されている間に250mWのオーダで抜取りを行ない、LCDモジュール(図示せず)は動作中に約250mWのオーダで抜取りを行なう。さらに、Wi-Fiモジュール1612は、動作中に250mWを抜取り、共通のシナリオにおいては一定の2%のデューティサイクルなどで一貫した態様で動作する必要がある。しかしながら、商業的に使用されている多数のHVACシステムのためのHVACリレーを誤ってトリップしてしまうのを避けるために、盗電回路は100mW~200mWのオーダの電力供給容量に制限されているが、これは、多くの共通のシナリオのために必要とされる電力を提供するには不十分であるだろう。
【0354】
いくつかの実現例においては、スマートサーモスタット102は、少なくとも、ハードウェア電力使用量が盗電によって安全に提供され得る量未満である時間間隔中に再充電するであろうとともにハードウェア電力使用量が盗電によって安全に提供され得る量を上回る時間間隔中に所要の余分な電力を提供するために放電するであろう再充電可能バッテリ(または同等の容量のオンボード電力貯蔵媒体)を使用することにより、かかる問題を解決する。再充電可能バッテリの電力消費の削減および耐用年数の延長を促進する電池重視の態様で動作させるために、サーモスタット1800は、(i)視覚的に心地よいユーザインターフェイス表示を推進すること、およびさまざまな数学的学習計算を行なうこと等の、より複雑な機能を迅速に行なうことが可能である、比較的強力で比較的電力集約型の第1のプロセッサ(Texas Instruments AM3703マイクロプロセッサ等)と、(ii)居住センサを駆動および制御することを含む、それほど集約的でない作業を行なうための、比較的強度が低く電力集約程度がより低い第2のプロセッサ(Texas Instruments MSP430マイクロコントローラ等)と、の両方が設けられている。いくつかの実現例においては、電力を節約するために、第1のプロセッサは、長い期間にわたって「スリープ」状態で維持され、その性能が必要とされる場合にのみ「ウェイクアップ」させられるのに対して、第2のプロセッサは、その比較的低電力の作業を行うために、多かれ少なかれ継続的にオンに維持される(但し、好ましくは、電力を節約するために短い周期的間隔にわたって減速されるかまたは一定の内部クロックを無効にする)。第1のプロセッサおよび第2のプロセッサは、「ウェイク・オン」機構と称され得る、いくつかのイベントが起こる第1のプロセッサを「ウェイク」させることができるように相互に構成されている。いくつかの実現例においては、これらのウェイク・オン機構は、達成されるべきさまざまな機能上の目標および/または電力節約目標の一環として、オンおよびオフにされ得る。たとえば、「ウェイク・オンPROX」機構を設けることができ、それによって第2のプロセッサは、それが接近してくるユーザに可視的表示を提供し、かつユーザらの手がダイヤルに触れるときにより迅速に反応できるように準備完了となり得るように、サーモスタットダイヤルに接近してくるユーザの手を検出するとき、アクティブ近位センサ(I2Cインターフェイスを備えるSilicon Labs SI1142近位/周囲光センサによって提供されるようなPROX)により、第1のプロセッサを「ウェイクアップさせる」であろう。別の例として、「ウェイク・オンPIR」機構を設けることができ、それによって第2のプロセッサは、サーモスタットの概ね近傍の場所でモーションを検出するとき、PerkinElmer DigiPyr
o PYD 1998デュアルエレメント高温検出器によって提供されるようなパッシブ赤外線(PIR)モーションセンサにより、第1のプロセッサをウェイクアップさせるであろう。とりわけ、ウェイク・オンPIRは、自動到着を呼び出すために、検知されたPIR活動のN個の連続バケットが存在する必要があり得るため、自動到着と同義でないのに対して、単一の十分なモーションイベントのみで、ウェイク・オンPIRウェイクアップを引起すことができる。
【0355】
いくつかの実現例においては、スマートサーモスタット102は、
図14A~
図14Cにおけるレーダシステムのうちの1つなどのレーダシステムを利用して、接近するユーザおよび/または手の接触を検出し、レーダシステムの検出に基づいて第1のプロセッサをウェイクアップさせる。
【0356】
いくつかの実現例においては、スマートサーモスタット102は、ヘッドユニット1600-Aの上部に位置する、
図14A~
図14Cのレーダシステムのうちの1つなどのレーダシステムを含む。たとえば、いくつかの実現例においては、レーダシステムは、ヘッドユニットカバーの内部において少なくとも部分的に領域1601内に位置している。いくつかの実現例においては、レーダシステムは、ヘッドユニットのカバーの上方領域に位置する。
【0357】
いくつかの実現例においては、スマートサーモスタット102は、ヘッドユニット回路基板1650の上部に位置する、
図14A~
図14Cのレーダシステムのうちの1つなどのレーダシステムを含む。たとえば、いくつかの実現例においては、レーダシステムは、ヘッドユニット回路基板1650の底部にあるPIRセンサ1646と置換えられる。別の例として、レーダシステムは、少なくとも部分的にPIRセンサ1646に隣接して(たとえば、PIRセンサ1646の左側または右側に)位置する。
【0358】
いくつかの実現例においては、スマートサーモスタット102は、ヘッドユニット回路基板1650またはバックプレート回路基板1660に接続されたフレックス回路基板1632などの回路基板(たとえばフレックス回路基板)上に少なくとも部分的に位置するレーダシステムを含む。
【0359】
いくつかの実現例においては、レーダシステムは、制御モジュール(たとえば、制御モジュール1400)がスマートサーモスタット102の第1の構成要素上に位置するように、かつ、アンテナ(たとえば、送信機1402および/または受信機1404)がスマートサーモスタット102の第2の構成要素上に位置するように、位置決めされている。いくつかの実現例においては、レーダシステムは、制御モジュール(たとえば、制御モジュール1400)が第1の回路基板(たとえばバックプレート回路基板1660上の領域1677)に位置するように、かつ、アンテナが第2の回路基板上に(たとえば、ヘッドユニット回路基板1650上のPIR1646の代わりに)位置するように、位置決めされている。いくつかの実現例においては、アンテナのうち1つ以上は、フレックス回路基板(たとえば、フレックス回路基板1632)上に位置するか、または、スマートサーモスタット102のカバーに(たとえば領域1601内に)搭載される。
【0360】
図17A~
図17Dは、先に記載されたように、スマートホーム環境100の一部として用いられ得るスマートハザード検出器(たとえば、スマートハザード検出器104(
図1))のさまざまな図を示す。いくつかの実現例に従うと、これらの図はまた、スマートハザード検出器104が搭載されている空間の占有者が視認可能な視覚的に好ましい設計を形成しているカバープレート1728の複数の穴または開口部を示す。
【0361】
具体的には、
図17Aは、スマートハザード検出器104の組立て図を示す。
図17A
は、スマートハザード検出器104の内部空間内に収容されている他のさまざまな構成要素とともに組立てられた構成における取付板1724、フロントケーシング1726およびカバープレート1728を示す。いくつかの実現例に従うと、カバープレート1728に対して中心に位置決めされるようにスマートハザード検出器104に取付けられたレンズボタン1732が示される。概説されるように、光リング1742は、任意には、レンズボタン1732のまわりおよびその背後に光のハローを出現させるために用いられる。組立てられたスマートハザード検出器104はコンパクトであるが多機能のデバイスを備える。
【0362】
図17Bは、スマートハザード検出器104の分解斜視図を示す。
図17Bに示されるように、スマートハザード検出器104は取付板1724を含む。取付板1724は、スマートハザード検出器104をそこに固定するために構造物の壁または天井に取付けられている。スマートハザード検出器104はまた、取付板1724に取付けられるバックプレート1730と、フロントケーシング1726とを含む。フロントケーシング1726は、スマートハザード検出器104の構成要素が収容されている内部領域を有するハウジングを規定するためにバックプレート1730に結合されるかまたは固定されている。いくつかの実現例においては、回路基板1700はバックプレート1730と結合されるかまたはバックプレートに取付けられている。さまざまな構成要素が任意に回路基板1700上に搭載される。たとえば、いくつかの実現例に従うと、スモークチャンバ1734が回路基板1700と結合されるかまたは回路基板1700上に搭載されており、煙の存在を検出するように構成されている。いくつかの実現例においては、スモークチャンバ1734は、回路基板1700に対して中央付近に搭載されており、このため、空気が回路基板1700よりも上方の位置および回路基板1700よりも下方の位置からスモークチャンバ1734に流れ込むようにされている。いくつかの実現例においては、スピーカ1736および/または警報装置が回路基板1700上に搭載されており、煙の存在がスモークチャンバ1734によって検出されたときに潜在的な火災の危険性を占有者にとって聞こえるように警告する。モーションセンサ、一酸化炭素センサ、マイクロプロセッサなどの他の構成要素は、任意には、この明細書中に記載されているように回路基板1700上に搭載される。いくつかの実現例においては、スマートハザード検出器104は、レーダ信号を送受信するために、
図14A~
図14Cのレーダシステムのうちの1つなどのレーダシステムまたはモジュールを含む。いくつかの実現例においては、スマートハザード検出器104は、(たとえばRFIDまたはWi-Fiによって)他のスマートデバイスおよび/または電子タグと通信するための通信モジュールを含む。
【0363】
いくつかの実現例においては、スマートハザード検出器104は、少なくとも部分的に回路基板1700上に搭載されたレーダシステムを含む。たとえば、1つ以上のレーダアンテナは回路基板1700上に位置する。いくつかの実現例においては、スマートハザード検出器104は、フロントケーシング1726上に少なくとも部分的に搭載されたレーダシステムを含む。たとえば、1つ以上のレーダアンテナはフロントケーシング1726上に位置するかまたはフロントケーシング1726に取付けられている。いくつかの実現例においては、スマートハザード検出器104は、カバープレート1728上に少なくとも部分的に搭載されたレーダシステムを含む。たとえば、1つ以上のレーダアンテナはカバープレート1728上に位置するかまたはカバープレート1728に取付けられている。
【0364】
いくつかの実現例においては、保護板1738が回路基板1700に取付けられているかまたは回路基板1700と結合されることで、スマートハザード検出器104の内部構成要素に対して視覚的に好ましい外観をもたらし、および/または、気流をスモークチャンバ1734に送り込むかまたは方向付ける。たとえば、ユーザが、バックプレート1730におけるベントなどを介してスマートハザード検出器104の内部構成要素を見たと
き、保護板1738は、比較的滑らかな表面の外観を呈しており、他の場合には、回路基板1700の構成要素または回路を隠している。保護板1738は、任意には、スモークチャンバ1734内への空気の流入およびスモークチャンバ1734からの空気の流出を容易にするように、空気流をバックプレート1730のベントからスモークチャンバ1734へと方向付けるように機能する。
【0365】
いくつかの実現例においては、スマートハザード検出器104は、スマートハザード検出器104のさまざまな構成要素に電力を与えるように構成されたバッテリパック1740を含む。たとえば、スマートハザード検出器104は、住宅または構造物の120V電源などの外部電源と結合されていない場合に、電力を提供する。いくつかの実現例においては、カバープレート1728は、スマートハザード検出器104に視覚的に好ましい外観を与えるために、および/または、他の機能的な目的のために、フロントケーシング1726と結合されている。いくつかの実現例においては、カバープレート1728は複数の穴または開口部を含む。複数の穴または開口部は、回路基板1700と結合された1つ以上のセンサが、スマートハザード検出器104の外部にある対象物を検知するようにカバープレート1728の表面を通して観察または視認することを可能にする。いくつかの実現例においては、カバープレート1728の複数の開口部は、住宅または建造物の居住者が見たときに視覚的に好ましい外観をもたらすように配置されている。いくつかの実現例においては、カバープレート1728の複数の開口部は、フィボナッチまたは他のシーケンスなどの繰返しパターンに従って配置される。
【0366】
いくつかの実現例においては、レンズボタン1732はカバープレート1728と結合されるかまたはカバープレート1728に装着される。レンズボタン1732は、任意には、1つ以上のセンサがさまざまな目的のためにレンズボタン1732を通じて視認することを可能にする。たとえば、いくつかの実現例においては、パッシブIRセンサ(図示せず)は、レンズボタン1732の背後に位置決めされており、住宅または建造物内の占有者または複数の占有者の存在を検出するためにレンズボタン1332を通じて視認できるように構成される。いくつかの実現例においては、レーダシステムはレンズボタン1732の背後に位置決めされており、住宅または建造物内の占有者または複数の占有者の存在を検出するためにレンズボタン1332を通じて視認できるように構成されている。いくつかの実現例においては、レンズボタン1732はまた、誤った条件または無害な条件に応じてトリガされる警告を止めたりするためにスマートハザード検出器104にさまざまなコマンドを入力するようにユーザによって動作可能であるボタンとして機能する。いくつかの実現例においては、光リング1742は、レンズボタン1732の背後に遠位側に位置決めされており、LEDなどから光を受信するように構成されるとともに、レンズボタン1732の背後にハローなどの所望の視覚的現象をもたらすためにリング1742内の光を分散させるように構成される。いくつかの実現例においては、光リング1742の背後における遠位側には、パッシブIRセンサ、LED、レーダ回路などの1つ以上の電気部品を含むフレキシブル回路基板1744が位置決めされている。フレキシブル回路基板1744(フレックスリング1744と称されることもある)は、スマートハザード検出器104の動作中に、回路基板(図示せず)上に搭載された1つ以上のマイクロプロセッサに命令を伝達するために、および/または当該1つ以上のマイクロプロセッサから命令を受信するために、回路基板1700と電気的に結合されてもよい。
【0367】
図17Cおよび
図17Dは、スマートハザード検出器(たとえば、スマートハザード検出器104(
図1))の回路基板1700の前方斜視図および後方斜視図を示す。回路基板1700は、前側もしくは前面または裏側もしくは裏面を有する本体1702を含む。この明細書中に記載されるように、さまざまな電気部品が回路基板1700に搭載されている。いくつかの実現例においては、これらの構成要素は、回路基板1700の前面、回路基板1700の前面とは反対側の裏面、または回路基板1700の両面に搭載される。
たとえば、いくつかの実現例に従うと、1つ以上のマイクロプロセッサおよび/または他のプロセッサ関連の構成要素は、保護板に面する回路基板1700の裏面に搭載されている一方で、1つ以上の機能構成要素(たとえば、警報装置、CO検出器、スピーカ、モーションセンサ、Wi-Fiデバイス、Zigbeeデバイス、Bluetoothデバイス、RFIDデバイス、レーダデバイスなど)は、スマートハザード検出器104が位置決めされている住宅または建造物の空間に面する回路基板1700の前面に搭載されている。いくつかの実現例においては、他の構成要素は、この明細書中に記載されるように、対向面が回路基板1700の両側に位置決めされるように、回路基板1700に対して中央付近に搭載されている。いくつかの実現例においては、回路基板1700は1つ以上の集積回路を含む。1つ以上の集積回路の各々は無線機とトランシーバとの組合せを含む。たとえば、いくつかの実現例においては、スマートハザード検出器104のWi-FiデバイスおよびBluetoothデバイスはシングル・チップを含み、Wi-FiデバイスおよびBluetoothデバイスは単一のアンテナを用いて信号を送受信する。トランシーバ(たとえば無線機940、無線機950)のさまざまな実現例が、
図9Aに関連付けてより詳細に記載される。
【0368】
図に17Cに示されるように、いくつかの実現例においては、回路基板1700の前面はCO検出器1704を含む。CO検出器1704は、一酸化炭素ガスレベルが高過ぎて判断できない(たとえば、予め規定されたしきい値を上回る)場合に、一酸化炭素ガスの存在を検出して警報装置1706をトリガするように構成される。故意に鋭い音または耳障りな音を発する圧電ブザーを任意に含む警報装置1706は、任意には、潜在的な危険について居住者に警告するためにスマートハザード検出器104が配置されている空間の居住者に面するように、回路基板1700の前面に搭載されている。いくつかの実現例においては、警報装置1706は、潜在的な危険について居住者に警告するために1つ以上の音声および/または信号を生成するように構成される。いくつかの実現例においては、回路基板1700の前面は、スピーカ(図示せず)が位置決めされている区域1708を含む。いくつかの実現例においては、スピーカは、部屋の居住者に可聴警告および/またはメッセージを与えるように構成される。たとえば、スピーカは、潜在的な危険について居住者に警告するとともに居住者に部屋を出るように指示するように構成される。いくつかの実現例においては、スピーカは、部屋および/または住宅または建造物を出る際に使用すべき出口ルートなどの具体的な指示を居住者に与える。いくつかの実現例においては、たとえば、低バッテリであること、部屋内のCOレベルが比較的高いこと、スマートハザード検出器104が定期的なクリーニングを必要としていることを、居住者に警告するため、および/または、ハザード検出器104またはその構成要素に関する他の何らかの異常もしくは問題点について居住者に警告するために、他のメッセージが居住者に伝達される。
【0369】
いくつかの実現例においては、回路基板1700は、その前面上に搭載された1つ以上のモーションセンサを含む。モーションセンサは、任意には、スマートハザード検出器104の部屋または周辺区域内における個人の存在を判断するために用いられる。いくつかの実現例においては、回路基板1700は、部屋または周辺区域での個人の存在を判断するために、その前面に搭載されたレーダシステムまたはその構成要素を含む。いくつかの実現例においては、この情報は、先に記載したように、共通ネットワークにおいて接続されているスマートハザード検出器104および/または1つ以上の他のデバイスの機能を変更するために用いられる。たとえば、いくつかの実現例に従うと、この情報は、スマートサーモスタットが1つ以上の学習された設定またはプログラムされた設定に従って住宅または建造物を調整し得るように、住宅または建造物の居住者が存在することをサーモスタットに通知するために、スマートサーモスタットに中継される。いくつかの実現例においては、スマートハザード検出器104は、この明細書中に記載されているように、またはさまざまな他の理由のために、(たとえば、静寂を求めるジェスチャに応答して)警報
装置を止めて静かにするためなどの1つ以上の目的のためにこの情報を用いる。
【0370】
いくつかの実現例においては、第1の超音波センサ1720および第2の超音波センサ1722が、回路基板1700の前面に搭載される。2つの超音波センサ1720および1722は、任意には、わずかに異なる方向を向くように、軸方向にオフセットされる。この向きでは、各々の超音波センサは、任意には、部屋および/または居住者に対するスマートハザード検出器104の向きに基づいて個人の動きを検出するために用いられる。いくつかの実現例においては、個人の動きの検出は、この明細書中に記載されるように、または他の理由のために、警報装置を停止して静かにするために用いられる。いくつかの実現例においては、第1の超音波センサ1720の軸が、スマートハザード検出器104に対して実質的に外方に方向付けられ、第2の超音波センサ1722の軸が第1の超音波センサ1720の軸に対して角度を付けて方向付けられている。いくつかの実現例においては、第1の超音波センサ1720は、スマートハザード検出器104が住宅または建造物の天井に搭載されているときに個人の動きを検知するように構成される。第1の超音波センサ1720がスマートハザード検出器104に対して実質的に外方に向けられているので、第1の超音波センサ1720は本質的にスマートハザード検出器104の下にいる個人を真直ぐに見下ろすこととなる。いくつかの実現例においては、第2の超音波センサ1722は、スマートハザード検出器104が住宅または建造物の壁に搭載されているときに、個人の動きを検知するように構成される。第2の超音波センサ1722が第1の超音波センサ1720およびスマートハザード検出器104に対して角度を付けて方向付けられているので、第2の超音波センサは、スマートハザード検出器104が住宅または建造物の壁に搭載されているとき、第1の超音波センサ1720のように直接外方向を向くのではなく、本質的に床に向かって見下ろすこととなる。いくつかの実現例においては、2つの超音波センサのオフセット角は約30°である。
【0371】
いくつかの実現例においては、2つの超音波センサ1720および1722は単一の超音波センサと置換えられるが、この単一の超音波センサは、スマートハザード検出器104内で回転するように構成されていることで、第1の超音波センサ1720と同様に真直ぐに外方向に向けることができるとともに、第2の超音波センサ1722と同様に下方向に向けることができる。いくつかの実現例においては、単一の超音波センサは、超音波センサがスマートハザード検出器104の向きに基づいて回転することを可能にするヒンジを介して回路基板1700に結合されている。たとえば、スマートハザード検出器104が住宅または建造物の天井に搭載されている場合、重力によって超音波センサが真直ぐ下方向を向くように方向付けられるのに対して、スマートハザード検出器104が住宅または建造物の壁に結合されている場合、重力により、超音波センサがヒンジを介して回転させられて、スマートハザード検出器104に対して床を見下ろすように向けられる。いくつかの実現例においては、モータはスマートハザード検出器104の向きに基づいて超音波センサを回転させるように単一の超音波センサと結合される。この態様では、超音波センサは、スマートハザード検出器の向きにかかわらず、スマートハザード検出器104を囲んでいる部屋または空間内の個人の動きを検出する可能性のある方向に向けられている。いくつかの実現例においては、単一の超音波センサは、スマートハザード検出器104の両方の搭載位置に対応することができる広い視野を有する。
【0372】
図17Cおよび
図17Dに示されるように、回路基板1700の本体1710はまた、実質的に中心に位置付けられたアパーチャ1712を含む。回路基板1700に対してスモークチャンバを中央付近に搭載するように、このアパーチャ1712を介してスモークチャンバが挿入される。アパーチャ1712は、任意には、1対の切欠き1714を含む。当該1対の切欠き1714を介してワイヤが挿入されて、スモークチャンバを回路基板1700と電気的に結合する。先に記載されたように、アパーチャ1712を介してスモークチャンバを中央付近に搭載することにより、煙および空気が、回路基板1700の前
側および回路基板1700の後側からスモークチャンバに入ることが可能となる。
【0373】
回路基板1700上の電気部品のさまざまな局面をここに記載しているが、それらの多くの位置は、この明細書中の記載ならびに
図17Cおよび
図17Dを鑑みると当業者にとって明らかになるだろう。いくつかの実現例においては、回路基板1700上には、システムプロセッサ、比較的高電力の無線通信回路およびアンテナ、比較的低電力の無線通信回路およびアンテナ、不揮発性メモリ、オーディオスピーカ、1つ以上のインターフェイスセンサ、セーフティプロセッサ、セーフティセンサ、警報装置1706、電源、ならびに電力供給回路のうち1つ以上が含まれる。これらの構成要素は、電力消費を最小限にする回路トポロジおよびパワーバジェット編成方法を用いてフェールセーフセーフティ検出特徴およびユーザインターフェイス特徴を提供するように動作可能である。いくつかの実現例に従うと、分岐型またはハイブリッドプロセッサ回路トポロジは、スマートハザード検出器104のさまざまな特徴を処理するために用いられる。この場合、セーフティプロセッサは、従来の煙/CO警報上に設けられるように、コアセーフティセンサ管理およびコア警報機能専用の比較的小型で比較的薄いプロセッサであるとともに、システムプロセッサは、クラウド通信、ユーザインターフェイス特徴、占有および他の高度な環境追跡特徴、およびより一般的には、「コア」または「従来の」セーフティ検知および警報タスクが考慮されないであろう他のタスクなどのより高度な特徴専用の、比較的より大型で比較的より高電力のプロセッサである。
【0374】
一例として、セーフティプロセッサは、任意には、Freescale KL15マイクロコントローラである一方で、システムプロセッサは任意にはFreescale K60マイクロコントローラである。好ましくは、セーフティプロセッサは、システムプロセッサの状況または状態にかかわらず、そのコアのセーフティ関連のデューティを作用させるとともに実行させることができるようにプログラムおよび構成される。このため、たとえば、システムプロセッサが利用可能でないかまたは如何なる機能も実行することができなくても、セーフティプロセッサはそのコアのセーフティ関連のタスクを実行し続けることで、(セーフティプロセッサの動作を可能にする十分な電力があるという条件で)スマートハザード検出器104に対して提供される煙、COおよび/または他のセーフティ関連の監視のために必要な産業界および/または政府の安全基準をすべて、スマートハザード検出器104が満たすようにする。システムプロセッサは、他方では、セーフティプロセッサの機能と重なる「オプションの」および/または「高度な」機能を実行する。この場合、「オプションの」または「高度な」とは、産業界および/または政府の安全基準に対するコンプライアンスのための特に必要とはされないタスクを指している。このため、システムプロセッサは、スマートハザード検出器104の全体的性能、特徴、設定および/または機能を改善することができる態様でセーフティプロセッサと相互に動作するように設計されているが、その動作は、スマートハザード検出器104がコアのセーフティ関連の産業界および/または政府の安全基準を満たすためには必要ではない。一般にセーフティプロセッサよりも大型でより高性能のプロセッサであれば、システムプロセッサは、一般に、システムプロセッサおよびセーフティプロセッサがともに動作中である場合にはセーフティプロセッサよりも多くの電力を消費するだろう。
【0375】
同様に、両方のプロセッサが停止中である場合、システムプロセッサは、一般に、依然としてセーフティプロセッサよりも多くの電力を消費するだろう。いくつかの実現例においては、システムプロセッサは、ユーザインターフェイス特徴を管理し、かつ(コアとなるセーフティ検知に直接関連していない人感センサ、オーディオセンサ、カメラなどの)インターフェイスセンサを監視するように動作可能である。たとえば、いくつかの実現例に従うと、システムプロセッサは、高電力および低電力の両方の無線通信回路の無線データトラフィックを方向付け、不揮発性メモリにアクセスし、セーフティプロセッサと通信し、スピーカから音声を発するようにする。別の例として、いくつかの実現例に従うと、
システムプロセッサは、インターフェイスセンサを監視して、いずれかの動作を取る(たとえば、警告を停止させるためのユーザの検出された動作に応答して鳴り響く警告を止める)必要があるかどうかを判断する。いくつかの実現例においては、セーフティプロセッサは、スマートハザード検出器104のコアセーフティ関連タスクを処理するように動作可能である。いくつかの実現例においては、セーフティプロセッサはセーフティセンサ(たとえば煙、CO)をポーリングし、セーフティセンサのうち1つ以上がハザードイベントの検出を示した場合に警報装置1706を起動する。いくつかの実現例においては、セーフティプロセッサは、システムプロセッサとは無関係に動作して、システムプロセッサの状態にかかわらず警報装置1706を起動させる。たとえば、システムプロセッサが能動的な機能を実行している(たとえば、Wi-Fi更新を実行している)かまたは電力制約のために停止される場合、セーフティプロセッサは、ハザードイベントの検出時に警報装置1706を依然として起動させる。
【0376】
いくつかの実現例においては、セーフティプロセッサ上で実行されるソフトウェアは永続的に固定されており、スマートハザード検出器104が工場から出荷された後にソフトウェアまたはファームアップ更新によって更新されるのが禁止されている。セーフティプロセッサは、一般に、システムプロセッサと比べて、より低消費電力プロセッサである。
【0377】
いくつかの実現例においては、比較的高電力の無線通信回路は、たとえば、802.11プロトコルのいずれかに従って通信することのできるWi-Fiモジュールを含む。一例として、比較的高電力の無線通信回路は、任意には、Broadcom BCM43362 Wi-Fiモジュールを用いて実現される。いくつかの実現例においては、比較的低電力の無線通信回路は、IEEE802.15.4プロトコルに従って通信することができる低電力無線パーソナルエリアネットワーク(6L0WPAN)モジュールまたはZigBeeモジュールを含む。たとえば、いくつかの実現例においては、比較的低電力の無線通信回路は、EmberEM357 6L0WPANモジュールを用いて実現される。いくつかの実現例においては、不揮発性メモリは、NANDフラッシュ、ハードディスクドライブ、NOR、ROMまたは相変化メモリなどのいずれかの好適な永久メモリストレージである。いくつかの実現例においては、不揮発性メモリは、スピーカ1736を用いて再生されるオーディオクリップを格納する。オーディオクリップは、任意には、1つ以上の言語でのインストール命令および/または警告を含む。いくつかの実現例においては、インターフェイスセンサは、システムプロセッサによって監視されるセンサを含む一方で、セーフティセンサは、セーフティプロセッサによって監視されるセンサを含む。センサは、任意には、プリント回路基板、フレキシブルプリント回路基板、システムのハウジングまたはそれらの組合せに搭載される。
【0378】
いくつかの実現例においては、インターフェイスセンサは、(離散的なフォトダイオードを用いて実現することができるような)周囲光センサ(ambient light sensor:ALS)、(Excelitas PYQ1348モジュールを用いて実現することができるような)パッシブ赤外線(PIR)モーションセンサ、(
図14A~
図14Cのレーダシステムなどの)レーダシステム、ならびに、(1つ以上のManorshi MS-P1640H12TRモジュールを用いて実現することができるような)1つ以上の超音波センサ、のうち1つ以上を含む。いくつかの実現例においては、セーフティセンサは、(たとえば、Excelitas IRモジュールを含む)煙検知チャンバ1734、(たとえば、FigaroTGS5342センサを含む)CO検出モジュール1704、および、(たとえば、Sensirion SHT20モジュールを含む)温湿度センサ、のうち1つ以上を含む。電源は、電力を供給して、スマートハザード検出器の動作を可能にするとともに、任意には、エネルギのいずれかの如何なる好適な源を含む。この明細書中に記載される実現例は、電力供給されたACライン、電力供給されたバッテリ、バッテリバックアップで電力供給されたACラインの組合せ、および/または、外部から電力供給され
たDC電力(たとえばUSB供給電源)を含む。ACライン電力、バッテリバックアップによるACライン電力または外部から供給されたDC電力を用いる実現例は、任意には、バッテリのみの実現例とは異なる電力節約の制約の対象となる。
【0379】
好ましくは、バッテリのみで電力供給される実現例は、少なくとも7年、8年、9年または10年などの最短期間にわたってスマートハザード検出器104が動作するように、その有限のエネルギ供給の消費を管理するように構成される。ラインにより電力供給される実現例はそれほどには制約されない。バッテリバックアップで電力供給されるラインの実現例は、任意には、バックアップバッテリの寿命を長くするための電力節約方法を用いる。バッテリのみの実現例においては、電源は任意には1つ以上のバッテリを含む。バッテリは、任意には、さまざまな異なる組成物(たとえば、アルカリまたはリチウムの二硫化鉄)から構成されており、(たとえば永久的であるか、ユーザが交換可能であるかまたはユーザが交換不可能である)さまざまなエンドユーザ構成が任意に用いられている。いくつかの実現例においては、Li-FeS2の6個のセルが2つのスタックを3つ並べて配置されている。このような配置は、スマートハザード検出器104のために合計で約27000mWhの利用可能な電力をもたらすことができる。
【0380】
いくつかの実現例においては、スマートハザード検出器104は、接近するユーザおよび/または手の接触を検出するために
図14A~
図14Cにおけるレーダシステムのうちの1つなどのレーダシステムを利用する。
【0381】
いくつかの実現例においては、スマートハザード検出器104は、カバープレート1728上に搭載された、
図14A~
図14Cのレーダシステムのうちの1つなどのレーダシステムを含む。たとえば、いくつかの実現例においては、レーダシステムは、カバープレート1728の内部において少なくとも部分的に領域1701内に位置している。いくつかの実現例においては、レーダシステムはカバープレート1728の上方領域に位置する。
【0382】
いくつかの実現例においては、スマートハザード検出器104は、フロントケーシング1726上に搭載されたレーダシステムを含む。たとえば、いくつかの実現例においては、レーダシステムはフロントケーシング1726の上方領域に位置する。
【0383】
いくつかの実現例においては、スマートハザード検出器104は、回路基板1700の上に位置するレーダシステムを含む。たとえば、いくつかの実現例においては、レーダシステムは、回路基板1700の上において少なくとも部分的に領域1708に位置している。いくつかの実現例においては、スマートハザード検出器104は、回路基板1700の底部に位置するレーダシステムを含む。たとえば、いくつかの実現例においては、レーダシステムは、回路基板1700の底部上において少なくとも部分的に区域1709に位置している。
【0384】
いくつかの実現例においては、スマートハザード検出器104は、回路基板1700に接続された回路基板(たとえばフレックス回路基板)上に少なくとも部分的に位置するレーダシステムを含む。
【0385】
いくつかの実現例においては、レーダシステムは、制御モジュール(たとえば制御モジュール1400)がスマートハザード検出器104の第1の構成要素上に位置するように、かつ、アンテナ(たとえば送信機1402および/または受信機1404)がスマートハザード検出器104の第2の構成要素上に位置するように、位置決めされている。いくつかの実現例においては、レーダシステムは、制御モジュール(たとえば制御モジュール1400)が回路基板1700上(たとえば領域1709)における第1の領域に位置す
るように、かつ、アンテナが第2の領域(たとえば領域1708)に位置するように、位置決めされている。いくつかの実現例においては、アンテナうち1つ以上が、フレックス回路基板上に位置しているか、またはスマートハザード検出器104のカバー(たとえば領域1701内)に搭載されている。
【0386】
いくつかの実現例においては、(たとえば
図14A~
図14Eに記載されるような)レーダシステムは、プールまたは熱い湯がはられた桶(ホットタブ)が占有されているかどうかを判断するために、スマートプールまたはスマートホットタブにおいて利用される。いくつかの実現例においては、占有されているかどうかの判断は、スマートプールまたはホットタブの動作を調整するためにスマートプールまたはホットタブによって利用される。いくつかの実現例においては、占有されているかどうかの判断は、水温を調整するためにスマートプールまたはホットタブによって利用される。いくつかの実現例においては、占有されているかどうかの判断は、(たとえば子供がプールの中で検出される場合に)警告を生成するために利用される。いくつかの実現例においては、占有されているかどうかの判断は、照明レベルを調整するためにスマートプールまたはホットタブによって利用される。
【0387】
いくつかの実現例においては、(たとえば
図14A~
図14Eに記載されるような)レーダシステムは、人が近くにいるかどうかを判断するためにスマート照明において利用される。いくつかの実現例においては、存在するかどうかの判断は、スマート照明の動作を調整するためにスマート照明によって利用される。いくつかの実現例においては、存在するかどうかの判断は、照明の明度を調整するためにスマート照明によって利用される。いくつかの実現例においては、存在するかどうかの判断は、照明を点灯したり消灯したりする(たとえば、人が検出された場合に照明を点ける)ためにスマート照明によって利用される。
【0388】
いくつかの実現例においては、(たとえば
図14A~
図14Eに記載されるような)レーダシステムは、人が近くにいるかどうかを判断するためにスマート潅漑システムにおいて利用される。いくつかの実現例においては、存在するかどうかの判断は、潅漑システムの動作を調整する(たとえば、一時的に潅漑を停止させるかまたは一時的に潅漑の方向を変える)ために、スマート潅漑システムによって利用される。
【0389】
いくつかの実現例においては、(たとえば
図14A~
図14Eに記載されるような)レーダシステムは、対象物を検出および/または追跡するためにスマートカメラにおいて利用される。いくつかの実現例においては、検出および追跡は、対象物の検出および追跡を向上させるために画像センサからの画像データと集約される。いくつかの実現例においては、検出および追跡は、異常を検出するとともに、検出された異常に画像センサの焦点を向けるために利用される。いくつかの実現例においては、検出および追跡は、(たとえば、煙または他の対象物のせいで)画像センサからの検出された対象物の照明条件が低下しているかまたは妨げられているなどの、画像検出および/または追跡が制限されている条件下で利用される。
【0390】
いくつかの実現例においては、(たとえば
図14A~
図14Eに記載されるような)レーダシステムは、人が近くにいるかどうかおよび/または特定の個人を認識するかどうかを判断するためにスマートサーモスタットにおいて利用される。いくつかの実現例においては、存在しているかどうかの判断は、HVACシステムの動作を調整する(たとえば、目標温度を上げるかまたは下げる)ために、スマートサーモスタットによって利用される。いくつかの実現例においては、特定の個人を認識することは、HVAC設定を個別化するために利用される。
【0391】
いくつかの実現例においては、(たとえば、
図14A~
図14Eに記載されるような)レーダシステムは、人が近くにいるかどうかおよび/または特定の個人を認識するかどうかを判断するためにスマートハザード検出器において利用される。いくつかの実現例においては、存在しているかどうかの判断は、警告を生成するためにスマートハザード検出器によって利用される。たとえば、存在しているかどうかの検出は、誰か(たとえば認識された個人)が火災の起こっている建造物内にいることを緊急時対応要員に通知するために用いられる。
【0392】
いくつかの実現例においては、(たとえば、
図14A~
図14Eに記載されるような)レーダシステムは、人が近くにいるかどうかおよび/または特定の個人を認識するかどうかを判断するためにスマートエントリデバイス(たとえばスマートドアベルまたはスマートドアロック)において利用される。いくつかの実現例においては、存在するかどうかの判断は、警告を生成するためにスマートエントリデバイスによって利用される。たとえば、存在するかどうかの検出は、人が通路において検出されたことを住宅所有者に通知するために用いられる。いくつかの実現例においては、特定の個人を認識することは、ドア、門扉または窓をロックおよび/またはロック解除するために利用される。いくつかの実現例においては、特定の個人を認識することは、スマートホーム構成を(たとえば、身元が識別された個人についての個別化された構成に)設定するために利用される。いくつかの実現例においては、特定の個人を認識することは、(たとえば、パスコードなどの、他のセンサからのデータおよび/または個人から受取った他の情報と共に)個人の身元を確認するために利用される。
【0393】
いくつかの実現例においては、(たとえば、
図14A~
図14Eに記載されるような)レーダシステムは、検出された対象物を分類するためにスマートレーダ撮像デバイスにおいて利用される。いくつかの実現例においては、レーダシステムからの分類情報、位置情報および/または移動情報は、どんなタイプの対象物がどこで検出されたかを識別し、(たとえば、スマートレーダ取込みデバイスに結合されたディスプレイスクリーン上で)ユーザに対して表示するために、スマートレーダ撮像デバイスによって利用される。たとえば、スマートレーダ撮像デバイスは、住宅の外側(たとえば前庭に)向けられて、車、歩行者、ペットなどの検出された対象物の位置(およびタイプ)を含む画像をユーザに対して表示する。
【0394】
図18は、いくつかの実現例に従った、バイパス回路を利用するスマートデバイスの通信モジュール942を示すブロック図である。
図18は、
図1~
図9に開示された実現例のいずれかに従った、スマートデバイス204(たとえば、カメラ118、スマートハザード検出器104、スマートサーモスタット102などのデバイス102、104、106、108、110、112、114、116、118、120および/または122)の通信モジュール942(たとえば
図9A)を示す。
【0395】
いくつかの実現例においては、通信モジュール942は、1つ以上の無線機940、1つ以上の無線機950、フロントエンドモジュール1800およびアンテナ1802を含む。いくつかの実現例においては、1つ以上の無線機940および無線機950は、通信可能に接続されており、各々が有するそれぞれのアンテナ1802を介してそれぞれの信号が送受信される。一例として、カメラ118の通信モジュール942は、映像データを送信するための第1のトランシーバ(たとえばWi-Fi、無線機950)を含み、付加的には、スマートホーム環境における他のスマートデバイスからパケットを送受信するための第2のトランシーバ(たとえばZigbee、無線機940)を含む。任意には、組合わされたトランシーバは、2つ以上の通信プロトコルに従ってデータを送受信するために構成される(たとえば、Wi-FiおよびBluetooth LEのために構成された無線機950)。いくつかの実現例においては、無線機950はレーダ通信のために利
用され、無線機940はWi-FiまたはBluetoothなどの無線通信のために利用される。通信モジュール942の構成要素(たとえば、無線機940、無線機950)は、
図9Aに関連付けてより詳細に記載される。
【0396】
通信モジュール942のフロントエンドモジュール1800は、無線機940によって送受信される信号を処理する(たとえば、増幅する)ためのさまざまな回路素子を含む。特に、フロントエンドモジュール1800は、増幅器(たとえば増幅器1806-1および低ノイズ増幅器1806-2)またはバイパスライン1808を選択的に用いることによって、無線機940とアンテナ1802とを結合するためのスイッチ1804を含む。フロントエンドモジュール1800が、低ノイズ増幅器1806-2またはバイパスライン1808によって無線機940とアンテナ1802とを結合するかどうかは、無線機950がアクティブであって第2のアンテナ1802-2を用いて信号を送信しているかどうかに応じて決まる。図示されていないが、フロントエンドモジュール1800の他の実現例は、1つ以上の付加的なスイッチ、増幅器、トランジスタ、および/または、能動素子もしくは受動素子のいずれかの組合せを含む、付加的な回路要素を含み得る。回路素子の組合せは、たとえば、通信モジュール942の感度と無線機940を介して送信および/または受信された信号とを変更するために、フロントエンドモジュール1400において用いられてもよい。
【0397】
先に記載されたように、信号絶縁が不十分であることは、典型的には、アンテナ1802同士が物理的に近接して配置されていることに起因する。特に、付近の送信チェーンにおける送信アンテナ(たとえば、Wi-Fi送信のためのアンテナ1802-2)の信号電力が、受信チェーン(たとえば、無線機940およびアンテナ1802-1によって形成される802.15.4受信チェーン)における構成要素の最大入力電力を上回る場合に、デバイス構成要素は破損するリスクがある。
【0398】
トランシーバデバイス(たとえば、無線機940、無線機950)の共存を可能にして向上させるためのいくつかの方法は、フロントエンドモジュール1800においてバイパスライン1808を使用することを含む。特に、無線機950(たとえばWi-Fi)が「オン」である場合にバイパスライン1808を自動的かつ選択的に可能化するためにスイッチ1804を用いることによって、かつ、アンテナ1802-2を介して信号を送信することによって(たとえば、無線機950が、「オン」であって送信中であることを接続1810を介してフロントエンドモジュール1400に信号で伝える)、アンテナ1802-1を介して受信された送信は、低ノイズ増幅器1806-2を通過せず、代わりにバイパスライン1808を通過して無線機940に達する。結果的に、フロントエンドモジュール1800によって許容され得る有効最大入力電力は、低ノイズ増幅器1806-2ではなくバイパスライン1808の特徴によって判断されるように、高くなる可能性がある(たとえば、バイパスライン1808が無線機940とアンテナ1802-1とを結合するために用いられる場合に、フロントエンドモジュール1800がより大きな入力電力しきい値を有する)。無線機950が「オフ」である場合、スイッチ1804は、受信機経路において低ノイズ増幅器1806-2で無線機940とアンテナ1802-1とを結合するように動作する。これにより、受信機のチェーン感度に関しては、低ノイズ増幅器1806-2が無線機940とアンテナ1802-1とを結合するために用いられる場合に、フロントエンドモジュール1800がより高い受信感度を有する。無線機950の活動に基づいて低ノイズ増幅器1806-2が選択的に動作すると想定すると、低ノイズ増幅器1806-2を用いることによって感度を向上させながらも、低ノイズ増幅器1806-2が破損するリスクが回避される。したがって、フロントエンドモジュール1800は、アンテナ1802-1を介して受信された信号が無線機940に到達するまでは増幅器1806-2によって増幅されないように、無線機950がアクティブであるとともにアンテナ1802-2を用いて信号を送信している場合にバイパスライン1808を介
して無線機940にアンテナ1802-1を結合するように構成される。フロントエンドモジュール1800はさらに、アンテナ1802-1を介して受信された信号が無線機940に到達する前に増幅器1806-2によって増幅されるように、無線機950がアンテナ1802-2を用いて信号を送信していない場合に増幅器1806-2を介してアンテナ1802-1を無線機940に結合するように構成される。
【0399】
図19Aおよび
図19Bは、いくつかの実現例に従った、スマートホーム環境100における複数の無線機を有するスマートデバイスのための共存スキームを示す。
【0400】
図19Aに示されるように、スマートデバイス204(たとえばカメラ118)は、近くにある他のデバイスおよび/または電子タグ(たとえば、スマートハザード検出器104、カメラ118、スマートサーモスタット102または電子タグ206)に対するデータの送信および受信を行なう。同時に、データ(たとえば、カメラ118によって記録された生中継映像ストリーム)は、ネットワークを介してリモートサーバシステム(たとえば、ネットワークインターフェイス160を通じてネットワーク162を介してスマートホームプロバイダサーバシステム164)に対して送受信される。いくつかの実現例においては、スマートホーム環境100におけるさまざまなデバイスはまた、通信可能に接続されているので、互い同士の間でデータを送信/受信し得る。
図19Aに例示および記載された具体的なスマートデバイスは、単なる例に過ぎず、他の実現例はスマートデバイスのさまざまな組合せ(図示されない)を含む。
【0401】
いくつかの実現例においては、カメラ118(または高帯域出力データを生成するいずれかのスマートデバイス204)は、付加的な処理、格納および/または許可されたユーザとの共有のために、1つ以上の映像ストリームをさまざまな解像度(たとえば180p、780pおよび1080p)でサーバシステム164に送信する必要がある。いくつかの状況においては、映像ストリームがライブの高解像度(たとえば780pまたは1080p)映像ストリームである場合に、これにより、カメラ118は、ネットワークインターフェイス160を介するサーバシステム164に対する低レイテンシで高帯域幅の接続を実質的な期間(たとえば数分から数時間に)にわたって維持することが必要となる。これは、映像ストリームを送信するためにサーバシステム164に接続するべきネットワーク162によって提供されるWi-Fi接続を用いるカメラ118によって、いくつかの実現例において達成される。同時に、カメラ118は、これらの警告がローカルに処理され得る(たとえば、カメラ118におけるシステム状態を変更するために用いられ得るか、他のシステムの警告および状態情報を考慮して一体的に処理するためにハブデバイス180に送信され得るか、他のスマートホームデバイス204に中継され得るか、または、許可されたユーザに向けられた警報を発行するように構成されたクライアントデバイス504に送信され得る)ように、および/または、サーバシステム164に送信され得るように、他のスマートデバイス204からの高優先順位の警告に応答する必要がある。いくつかの実現例においては、これらの警告は、(スマートハザード検出器304などの)他のスマートデバイス204における無線機によってBluetooth信号またはIEEE802.11.15.4信号を通じて発行され、カメラ118(またはいずれかの同等のスマートデバイス204)における対応する無線機によって受信される。これらの警告は、典型的には、長期間および高帯域である映像のストリーミングとは対照的に、短期間および低帯域幅である。いくつかの実現例においては、これらの警告は、Wi-Fi無線機(たとえば2.4GHz)と同じ周波数で動作するカメラ118(またはいずれかの同等のスマートデバイス204)における対応するBluetooth無線機またはIEEE802.11.15.4無線機によって他のスマートデバイス204に再送信される必要がある。これにより、通常の動作中(たとえば、他のスマートデバイス204からの警告が入力されていない場合)にWi-Fi無線機を介する高効率での映像ストリーミングが可能にされている一方で、カメラ118が、他のスマートデバイス204から受信され
た高優先順位の送信(たとえば煙またはCOの警告)が最小限のレイテンシで送信されるように無線機およびアンテナを優先的に使用することが必要となる。複数の無線機(たとえばWi-Fi、Bluetoothおよび802.11.15.4)を備えたデバイスは、いくつかの付加的な方法において利用されてもよい。いくつかの実現例においては、たとえば、デバイスのうちの1つ以上の無線機は(たとえばBluetoothを介する)セキュアなデバイスプロビジョニングのために用いられてもよい。付加的には、上述のとおり、1つ以上の無線機は、任意には、(たとえば、永久電源に接続されていないデバイスにおける)低電力通信のために用いられる。さらに、1つ以上の無線機が、任意にはレーダ動作のために用いられる。
【0402】
複数の無線機が利用されているか上述の動作のいずれかは、複数の無線機(たとえば2つ以上)の使用を管理する(この明細書中に記載された)共存戦略を必要とする。いくつかの実現例においては、共存戦略は、複数の無線機が、互いからの分離が不十分であるアンテナを使用して、同じ周波数で、または干渉する可能性のある周波数(たとえば、互いの高調波である周波数)で、信号を干渉なしに送信することを可能にする。いくつかの実現例においては、共存戦略は、複数の無線機が、互いに干渉することなく、電力を抜取り、熱を発生させ、および/または電磁場を生成することを可能にする。
【0403】
さまざまな実現例においては、スマートデバイス204は、この明細書中に記載されるのと同様の目的を含むさまざまな目的のために複数の無線機を用いるいずれかの種類のホームオートメーションデバイスである。たとえば、複数の無線機は、クラウドサービスに、またはローカルネットワークでデータをストリームするためのWi-Fi無線機;構成目的のためのBluetooth無線機;スマートホーム環境におけるスマートデバイス内の他のホームオートメーションデバイスとの通信を可能化にするためのIEEE802.11.15.4無線機;さまざまな対象物の位置/移動を監視するためのレーダ無線機;またはそれらの目的とは1つ以上の態様で異なる目的;のうち2つ以上を含む(たとえば、以下には限定されないが、データ、警告および/もしくは制御コマンドを他のスマートホームオートメーションデバイスと交換するために、および/または、他のスマートホームオートメーションデバイスの通信状態を監視するために、用いられるWi-Fi無線機;データ、警告および/もしくは制御コマンドを他のスマートホームオートメーションデバイスと交換するために、および/または、他のスマートホームオートメーションデバイスの通信状態を監視するために、用いられるBluetooth無線機;1つのホームオートメーションデバイスから別のデバイスに遠隔制御コマンドおよび居住者占有情報を送信するために用いられるIEEE802.11.15.4無線機;ならびに、スマートホーム環境における他のスマートデバイスおよび/または電子タグとの通信を可能化するためのRFID無線機)。たとえば、スマートデバイス204は、冷蔵庫、洗濯機、乾燥機または皿洗い機などのスマートアプライアンス/接続されたアプライアンス;テレビ、デジタルビデオレコーダ、音響/映像受信機、接続されたスピーカまたはメディアプロジェクタなどの家庭用娯楽機器;ネットワークルータ、スイッチまたはネットワークアタッチトストレージなどのホームネットワーキングデバイス;一体型セキュリティカメラもしくはハザード検出器を備えた接続されたドアロック、ガレージドアコントローラまたはドアベルなどのホームセキュリティ/アクセスデバイス;屋内および/または屋外の住宅照明装置;造園潅漑装置およびコントローラ;自動化された住宅窓カバーおよび/もしくは天窓;ならびに、加熱および冷却システム、であり得る。
【0404】
ホームオートメーションデバイス204の各々は、そのタイプおよび目的に基づいて具体的な特徴(たとえば、エンドユーザ特徴、動作特徴および/もしくはネットワーク/コラボレーション特徴)を有するとともに、ホームオートメーション環境および/またはそれぞれの自動化デバイスの目的/用途を促進するために制御および/または自動化され得る電子部品および電気機械部品を含む。たとえば、リッチな1セットの接続された特徴を
備えた特定のスマート冷蔵庫(すなわち、他のスマートホームデバイスおよび/またはスマートフォン、タブレット、ラップトップもしくはデスクトップなどのエンドユーザデバイス上で実行されるアプリケーションに対するさまざまなネットワーク接続を介して制御可能な特徴)は、任意には、コンプレッサ、角氷メーカー、内部および外部照明、冷凍庫部分、冷蔵庫部分、外部表示パネル、プロセッサ、オーディオレコーダ/マイクロホン、ビデオカメラ、メモリ、近接センサ、および3つのさまざまな無線機を有するが、これらはすべて、デバイス間通信および/またはデータストリーミングのうち1つ以上をサポートする。上述のとおり構成された冷蔵庫について想定すると、いくつかの実現例においては、冷凍庫部分および冷蔵庫部分、氷メーカ動作などの温度は、任意には、Wi-Fi、BluetoothまたはIEEE802.11.15.4接続を介して制御され、冷蔵庫性能データならびに記録済みおよび/またはライブの音響および映像は、任意には、Wi-Fi接続を介して送信され、状態および存在についてのメッセージおよび警告は、任意には、IEEE802.11.15.4接続を用いて他のホームオートメーションデバイスと交換される。別の例として、Wi-Fi無線機、Bluetooth無線機およびIEEE802.11.15.4無線機を備えた造園潅漑コントローラを想定すると、コントローラは、任意には、IEEE802.11.15.4接続を用いて、潅漑プログラムと適合する潅漑コマンド(たとえばONおよびOFF)を屋外スプリンクラーに対して送信し、(Wi-Fi接続を介して、インターネットおよび/またはローカルスマートホームオートメーションデバイス(たとえば屋外水分検出器)からの温度および予測降水量などの)天候情報を取得し、かつ、BluetoothまたはWi-Fi接続を用いて、対応する潅漑アプリケーションを実行するスマートフォンから動作コマンドおよび構成コマンドを受付ける。これらの例示的な実現例および他の同様の実現例においては、複数の無線機およびそれぞれのアンテナは、この明細書中に記載されるアンテナ配置原理に従って配置されており、複数の無線機は、この明細書中に記載される共存原理および信号を用いて共存する(すなわち、それらの関連付けられたアンテナを介して協働的に送信および受信する)ように構成されている。
【0405】
図19Aに示されるように、通信モジュール942のいくつかの実現例は、1つ以上の無線機940、無線機950、アンテナ1802、オプションのフロントエンドモジュール1800(
図18に記載)、および、1つ以上の制御ライン1900を含む。1つ以上の制御ライン1900は、1つ以上の無線機940と無線機950との間で信号を送信する(たとえば、制御ライン1900-1上のRADIO_PRI、制御ライン1900-2上のRADIO_REQおよび制御ライン1900-3上のWI-FI_GRANT)。通信モジュール942のさまざまな構成要素を
図9Aに関連付けてより詳細に記載する。
【0406】
いくつかの実現例においては、制御ライン1900は、共存方式に従ってトランシーバデバイスの動作を管理するために、1つ以上の無線機940と無線機950との間で制御信号を送信するのに用いられる。特に、以下により詳細に記載されているように、制御信号は、1つ以上の無線機940および無線機950によって送信されている信号の優先順位を示して判断するための手段として送信される。優先順位がより低いと判断されたトランシーバは、優先順位の高いトランシーバがデータを送信/受信し終えると、或る期間にわたって送信を一時停止することによって優先順位のより高いトランシーバを優先させ、これにより、トランシーバデバイスが同時に動作することに起因する不十分な分離という悪影響を減らすかまたは完全に回避する。一例として、RADIO_PRI(すなわち、送信優先順位についての要求)およびRADIO_REQ(たとえば、送信についての要求)制御ライン1900-1および1900-2が無線機940によってアサートされると、無線機950は、無線機940がデータを送信/受信している間、それ自体の送信を一時停止することによって無線機940による送信要求に応じる。
図19Aにおける例を参照すると、RADIO_PRI制御ライン1900-1およびRADIO_REQ制御
ライン1900-2がアサートされると、スマートデバイス204の無線機950(たとえばカメラ118のWi-Fiトランシーバ)は、スマートホームプロバイダサーバシステム164への記録済み映像のアップロードを瞬間的に一時停止するとともに、無線機940(たとえば802.15.4)が、WI-FI_GRANT制御信号を起動する(または「アサート」する)ことによって、スマートハザード検出器104から受信された重要なパケットをスマートサーモスタット102に送信することを許可する。別の例として、RADIO_PRI制御ライン1900-1およびRADIO_REQ制御ライン1900-2がアサートされると、スマートデバイスの無線機950は、データ伝送を瞬間的に一時停止する一方で、無線機940が動作する(たとえば、レーダ動作を実行する)ことを許可する。結果として、トランシーバデバイス間における干渉と送信との衝突が回避されるとともに、(たとえば、デバイス入力電力しきい値を超えることによって)ハードウェア構成要素を破損させるリスクが減らされ、および/または、重要なデータ(たとえば、スマートハザード検出器104からの緊急ピング)が送信されない。
【0407】
いくつかの実現例においては、トランシーバのうちの1つは、送信についての要求を受信してそれ自体と要求しているトランシーバとの間の送信を調節する「マスタ」デバイスとしての役割を果たす。示される例においては、無線機950(たとえばWi-Fiトランシーバ)は、制御ライン1900の方向によって示されるようにマスタである(すなわち、無線機950に関して、WI-FI_GRANTは出力であり、RADIO_PRIおよびRADIO_REQは入力である)。
【0408】
無線機940および/または無線機950は、任意には、ステーションモード(すなわち、トランシーバがルータなどのアクセスポイントに接続するクライアントとして機能する)で、アクセスポイント(AP)モード(すなわち、トランシーバが、他のデバイスが他の接続されたデバイスに接続してアクセスすることを可能にするアクセス・ポイントとしての機能する)で、および/または、アドホックモード(たとえば、ネットワーク接続されたデバイスが等しい状態を有しているとともに、範囲内にある他のネットワークデバイスと関連するモード)で、動作する。さらに、無線機940および/または無線機950は、任意には、さまざまな電力モード(たとえば、フルパワーモード、パワーセーブモード)で動作する。所与の例においては、WI-FI_GRANT制御信号は、無線機950がパワーセーブモードであるときには起動したままにされる。
【0409】
例は3本の制御ラインの使用を示しているが、他の実現例は、送信デバイスの要求優先順位を判断するための付加的な制御ラインおよび制御信号を含み得る。付加的な制御ラインおよび制御信号は、たとえば、複数のトランシーバデバイスがマスタデバイスと別個にアービトレーションを行なうことができるように、組合わされたデバイス(たとえば、組合わされたBluetoothおよび802.15.4チップ)に2つ以上の無線機940または無線機950を含む実現例において用いられてもよい。
【0410】
代替的には、いくつかの実現例においては、2つ以上の無線機940または無線機950は、組合わされたデバイス(たとえば、組合わされたBluetoothおよびWi-Fi 802.11チップ)として一体化され、別個のアービトレーションスキームは、2つの無線機940または無線機950が通信モジュール942の他のトランシーバとアービトレーションを行なう前に内部でアービトレーションを行なうように実現される。
図19Bは、単一デバイスにおいて組合わされたトランシーバ(たとえば、無線機950-1および950-2によって示される、単一のデバイスにおいて組合されたそれぞれのBluetoothトランシーバとWi-Fiトランシーバとの)間の内部アービトレーションスキームの例を示す。スイッチ1804-3を用いて、たとえば、無線機950-1および950-2は、どのトランシーバがアンテナ1802-2に対する制御を行ない得るかについて、互いの間で(たとえば、無線機950-1および/または950-2のフ
ァームウェア内の命令および論理に基づいて)決定する。このため、
図19Aの例示的な共存スキームは、無線機940または無線機950の間で実現されるいずれかの内部共存スキームからは独立して、但し、いずれかの内部共存スキームと同時に、動作する(たとえば、802.15.4またはレーダおよびWi-Fiを伴う共存スキームは、Wi-FiおよびBluetoothを伴う内部共存スキームから独立している)。
【0411】
概して802.15.4およびWi-Fiに関連付けて
図18および
図19A~
図19Bを記載しているが、他の実現例は、任意には、
図9Aに関連付けて先に記載されたように、他の伝送プロトコルの如何なる組合せをも含む。
【0412】
いくつかの環境においては、レーダ搭載デバイスの2つ以上のネットワークは、1つのネットワークからの信号が他のネットワークによって検知できるように、互いに近接して動作する。このような環境においては、一方のネットワークの動作が他方のネットワークにノイズを導入する可能性がある。たとえば、特定のネットワーク内では、レーダ搭載デバイスは、1つのデバイスだけがいずれの所与の時間にもレーダ信号を送信しているように構成される。この例においては、特定のネットワークによって管理されない第2のネットワークが同時に送信を行なってもよい。同時に送信するかまたは重複して送信することにより、一方または両方のネットワークによる結果が不明確および/または不正確になってしまう。
【0413】
いくつかの実現例においては、特定のネットワークは複数の別個の周波数で動作するように構成可能である。特定のネットワークは、信号範囲内の他のネットワークが複数の別個の周波数のうち1つ以上の周波数で動作しているかどうかを判断するためにスキャンを実行する。特定のネットワークは、次いで、他のネットワークに対する干渉を最小限にするように複数の別個の周波数のうち特定の周波数を選択する。いくつかの実現例においては、特定のネットワークは、ネットワークの送信を他のネットワークの送信から区別するように、(たとえば、PMCWスキームを用いて)位相シフトの擬似ランダムシーケンスを送信に組込むレーダスキームを利用する。いくつかの実現例においては、特定のネットワークは、他のネットワークに対する干渉を最小限にするようにその送信の1つ以上のパラメータを調整する。たとえば、特定のネットワークは、他のネットワークとの同時の送信または重複する送信を最小限にするためにレーダ送信期間を調整する。別の例においては、特定のネットワークは、他のネットワークからの送信と同じ周波数でのレーダ送信を最小限にするために、レーダ送信帯域幅および/または開始/終了周波数を調整する。
【0414】
いくつかの実現例においては、特定のネットワークは、送信優先順位を確立するかまたはアサートするためにバック・オフ・プロトコルを利用する。たとえば、特定のネットワークは、レーダ優先順位またはタイミング方式を確立するために、Wi-Fiなどの無線チャネルを介して1つ以上の他のネットワークと通信する。別の例においては、特定のネットワークは、レーダ優先順位またはタイミング方式を確立するために、レーダシステムを介して1つ以上の他のネットワークと通信する。
【0415】
図20Aは、いくつかの実現例に従った、レーダデバイス2000を示す構成要素図である。レーダデバイス2000は複数のアンテナ2002(たとえばアンテナ2002-1および2002-2)を含む。レーダデバイス2000はまた、1つ以上のプロセッサ2004、メモリ2008、I/Oインターフェイス2010、通信構成要素2006およびレーダ構成要素2012を含む。いくつかの実現例においては、レーダデバイス2000はスマートデバイス(たとえばスマートデバイス204(
図9A))を含む。いくつかの実現例においては、アンテナ2002は、(たとえば、3GHz~10GHz、24GHz~24.5GHz、57GHz~64GHzおよび/または77GHz~81GHzの周波数帯域を用いる)レーダと使用するために構成される。いくつかの実現例におい
ては、アンテナ2002は超音波レーダと使用するために構成される。いくつかの実現例においては、アンテナ2002は、レーダデバイス2000の周囲に沿って設定された間隔で配置される。いくつかの実現例においては、アンテナ2002は、レーダデバイス2000の周囲に沿って不規則な間隔で配置される。いくつかの実現例においては、アンテナ2002は、各々のアンテナが別個の方向に面するように配置される。いくつかの実現例においては、アンテナ2002は、レーダデバイスの周囲に沿った実質的にいずれかの位置から入来する電波を受信するように、レーダデバイス2000内に配置される。いくつかの実現例においては、各々のアンテナ2002が同じ周波数または周波数帯域で送信および/または受信するように構成されており、他の実現例においては、アンテナ2002が複数の別個の周波数で送信および/または受信するように構成されている。
【0416】
レーダ構成要素2012はアンテナ2002に結合して、レーダ動作を容易にする。いくつかの実現例においては、レーダ構成要素2012は、無線通信モジュール924、レーダ処理モジュール9324および/またはレーダモジュール944を含むか、またはこれらモジュールと同様の態様で動作するように構成される。いくつかの実現例においては、レーダ構成要素2012は、通信モジュール942および/または通信インターフェイス904を含むか、または、これらと同様の態様で動作するように構成される。いくつかの実現例においては、レーダ構成要素2012はアンテナ2002の動作を管理するように構成される。いくつかの実現例においては、レーダ構成要素2012はアンテナ2002による送信を制御するように構成される。たとえば、レーダ構成要素2012は、どのアンテナが所定の時間に送信を行うべきであるかを判断し、および/または、アンテナがどんな周波数で送信を行うべきであるかを判断する。いくつかの実現例においては、レーダ構成要素2012は、検出された対象物の位置決め/動きを判断するために、1つ以上のレーダ技術を用いて、受信された電波に対して分析を実行する。いくつかの実現例においては、レーダ構成要素は、最初のレーダデータを生成するために予備解析を実行し、最初のレーダデータが、その後の処理、分析および/または分類のためにサーバシステム(たとえばサーバシステム508)に送信される。たとえば、レーダ構成要素2012は、対象となる1つ以上の対象物を検出するために受信した電波を分析する。この例においては、レーダデバイス2000は、電波に対応するレーダデータをサーバシステムに送信し、サーバシステムは、レーダデータに対して付加的な分析を実行する。たとえば、サーバシステムは、対象となる対象物を分類(たとえば、対象となる対象物が人に対応していると判断)し、および/または、対象となる対象物に基づいてイベントを分類する(たとえば、対象となる対象物が裏庭でボール遊びをしている2人に対応していると判断する)。別の例として、サーバシステムは、対象となる各対象物が特定の外周内にあるかどうか判断し、特定の外周の外側にあったと判断した場合、対象となる対象物を無視する。
【0417】
いくつかの実現例においては、通信構成要素2006は、レーダデバイス2000と1つ以上のリモートデバイスとの間の無線通信および/または有線通信を容易にするように構成される。いくつかの実現例においては、通信構成要素2006は、データ通信可能である。通信構成要素2006のこのデータ通信は、さまざまなカスタムもしくは標準の無線プロトコル(たとえば、IEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWiなど)、カスタムもしくは標準の有線プロトコル(たとえば、Ethernet、HomePlugなど)、および/または、この明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他の好適な通信プロトコル、を使用して実行され得る。いくつかの実現例においては、アンテナ2002のうち1つ以上は、(たとえば通信構成要素2006と共に)リモートデバイスと無線通信するように構成される。いくつかの実現例においては、1つ以上の付加的なアンテナ(図示せず)が、無線通信を容易にするように通信構成要素2006と共に動作する。いくつかの実現例においては、レーダデバイス2000は、アンテナ2002のうち1つ以
上を介してレーダ信号を同時に送信し、通信構成要素2006を用いてリモートデバイスと通信するように構成される。いくつかの実現例においては、I/Oインターフェイス2010は、1つ以上のポート(たとえばUSBポート)、ディスプレイ(たとえばLEDディスプレイ)、マイクロホン、スピーカ、および/または、他のヒューマンインターフェイス要素(たとえばボタン、スライダなど)を含む。
【0418】
いくつかの実現例においては、レーダデバイス2000はレーダを介してその付近を監視するように構成される。いくつかの実現例に従うと、レーダデバイス2000は、第1のアンテナ2002を介して1つ以上のレーダ波を発し、1セットのアンテナ2002を介して1つ以上の反射されたレーダ波を受信する。たとえば、レーダデバイス2000は、アンテナ2002-1を用いてレーダ信号を送信し、アンテナ2002-1および隣接するアンテナ2002を用いて対応する反射されたレーダ信号を受信する。いくつかの実現例においては、レーダデバイス2000は、レーダデバイスの付近にある対象物/エンティティの位置決めおよび/または移動を確認するために1つ以上のレーダ技術を用いてレーダ信号を処理する。いくつかの実現例においては、各々のアンテナ2002はレーダ波を順番に送信する。このようにして、いくつかの実現例に従うと、レーダデバイス2000は、その周囲に沿って全方向における活動を監視する。いくつかの実現例においては、レーダデバイス2000は、レーダ波を複数のアンテナ2002を介して同時に送信する。たとえば、レーダデバイス2000は、アンテナ2002-1およびアンテナ2002-2を介して同時に送信を行う。
【0419】
一例として、第1の時間に、アンテナ2002-1およびアンテナ2002-2がともに無線信号を送信する。第1の時間窓中に、アンテナ2002-1および隣接するアンテナは、第1の時間にアンテナ2002-1によって送信された無線信号に対応する反射された無線信号を受信する。第1の時間窓中にも、アンテナ2002-2および隣接するアンテナは、第1の時間にアンテナ2002-2によって送信された無線信号に対応する反射された無線信号を受信する。その後、第2の時間に、アンテナ2002-1の右側にあるアンテナとアンテナ2002-2の右側にあるアンテナとが同時に無線信号を送信する。いくつかの実現例に従うと、各々のアンテナ2002が順番に送信を行なうのに応じてこのプロセスが続けられる。
【0420】
いくつかの実現例においては、レーダデバイス2000は、連続波(continuous wave
:CW)レーダ、ステップ連続波(ステップCW)レーダ、位相変調連続波(phase-modulated continuous wave:PMCW)および周波数変調連続波(FMCW)レーダのうち
1つ以上を利用する。いくつかの実現例においては、送信されたレーダ信号(たとえば電波)と受信された反射レーダ信号との間の位相差が、検出された対象物の位置決めおよび/または動きを判断するために利用される。いくつかの実現例においては、第1のアンテナ2002および第2のアンテナ2002において受信された、反射したレーダ信号間の時間差が、検出された対象物の位置決め/動きを判断するために用いられる。いくつかの実現例においては、アンテナ2002の相対的な位置決めが、検出された対象物の位置決め/動きを判断するために用いられる。
【0421】
いくつかの実現例においては、レーダデバイス2000は、各々の検出された対象物が予想される対象物を含むかどうかを判断するように構成される。たとえば、レーダデバイス2000は、新しい対象物が特定の区域内に存在するかどうかを判断する。いくつかの実現例においては、レーダデバイス2000は、検出された対象物を識別するかまたは検出された対象物の識別を取得し、検出された対象物が予想される対象物を含むかどうかを判断する。たとえば、レーダデバイス2000は、車を含むものとして検出された対象物を識別し、車がその位置(たとえば私有車道内)にあることが予想されると判断する。いくつかの実現例においては、レーダデバイス2000はさらに、特定の検出された対象物
が予想される対象物を含まないという判断に従って警告を生成するように構成される。たとえば、レーダデバイス2000は、ホーム環境の裏庭内にいる人を検出し、人が裏庭内にいるとは予想されないと判断する。したがって、この例においては、レーダデバイス2000は、検出された人に関する警告を生成する。いくつかの実現例においては、レーダデバイス2000は、特定の検出された対象物が予想される対象物を含まないという判断に従って1つ以上の追加スキャンを実行するように構成される。たとえば、レーダデバイスは、アンテナ2002-1を介してレーダ波を送信し、レーダ波に基づいて、予想外の対象物が存在していると判断する。この判断に従うと、レーダデバイスは、予想外の対象物の存在を確認するために、および/または、予想外の対象物についての付加的情報を判断するために、1つ以上の付加的なレーダ波を、アンテナ2002-1(またはアンテナ2002-1に隣接するアンテナのうちの1つ)を介して送信する。いくつかの実現例においては、レーダデバイス2000は、各々の検出された対象物が予想される速度を有するかどうかを判断し、かつ検出された対象物が予想外の速度を有する場合には警告を生成するように構成される。
【0422】
いくつかの実現例においては、レーダデバイス2000は、占有データおよび/または他のデバイス(たとえばホーム環境内の他のスマートデバイス)からのデータを利用して、対象物が予想される対象物を含むかどうかを判断する。いくつかの実現例においては、レーダデバイス2000は、機械学習を利用して、対象物が予想される対象物を含むかどうかを判断する。たとえば、レーダデバイス2000は、どのような対象物および/または動きが予想されているかを判断するためにホーム環境内の活動を監視する。
【0423】
図20Bは、いくつかの実現例に従った、レーダデバイス2000を利用するホーム環境2050を示す。いくつかの実現例に従うと、レーダデバイス2000は、住宅、オフィスまたは同様の建造物の外周を判断する。いくつかの実現例においては、住宅の外周は、1ヤードの外周または屋外区域を含む。
【0424】
いくつかの実現例においては、レーダデバイス2000は、住宅の地図またはレイアウトを取得することによって住宅の外周を判断する。たとえば、レーダデバイス200は、第2の電子デバイスから(たとえば、奥行きマッピングを用いて生成された)レイアウト地図を取得する。いくつかの実現例においては、レーダデバイス2000は、住宅の外周を判断するために設定モードまたはマッピングモードを利用する。たとえば、レーダデバイス2000のユーザは、マッピングモードでデバイスを設定し、次いで、レーダデバイス2000がレーダを介してユーザの経路を追跡している間、住宅の外周を歩行する。いくつかの実現例においては、レーダデバイス2000のユーザはレーダタグを携帯しており、レーダデバイス2000は、ユーザを追跡して住宅の外周をマッピングするようにレーダタグとともに作動する。いくつかの実現例においては、レーダデバイス2000のユーザは電子デバイス(たとえばスマートフォン)を携帯しており、レーダデバイス2000は、ユーザを追跡して住宅の外周をマッピングするようにユーザのデバイスと共に作動する。たとえば、ユーザのデバイスは、(たとえば、Bluetooth低エネルギ(BLE)および/またはWi-Fiを用いて)1つ以上の無線ネットワークを介してレーダデバイス2000に、GPSデータなどの位置決めデータを送信する。いくつかの実現例においては、ユーザのデバイスは、速度および/または加速度などの移動データをレーダデバイス2000に送信し、レーダデバイスは、ユーザの動きを追跡するようにレーダデータと共に移動データを利用する。特に、ノイズの多い環境においては、レーダデバイス2000がレーダタグまたはユーザデバイスと共に動作することにより、レーダデバイス2000が、より正確および/または精密にユーザの動きを追跡し、住宅外周をマップアウトすることを可能にする。
【0425】
いくつかの実現例においては、レーダデバイス2000は、住宅についての1つ以上の
マッピングを(たとえばメモリ2008内に)格納している。いくつかの実現例においては、レーダデバイス2000は、サーバシステム(たとえばサーバシステム508)から1つ以上のマッピングを取得する。いくつかの実現例においては、レーダデバイス2000は、外周2052に対応する外周マッピングを利用して、検出された対象物が住宅の内側にあるかまたは外側にあるかを判断する。いくつかの実現例においては、レーダデバイス2000がサーバシステムにレーダデータを送信し、サーバシステムは、外周マッピングを利用して、検出された対象物が外周内にあるかどうかを判断する。いくつかの実現例においては、サーバシステムは、外周(たとえば外周2054)の外側において検出された対象物/動きを無視するように構成される。いくつかの実現例においては、レーダデバイス2000は、外周2052の外側において検出された対象物/動きを無視するように構成される。いくつかの実現例においては、マッピングは、第1の外周2052(たとえば建造物に対応する内側外周)と、第2の外周2054(たとえば建造物および周囲の土地に対応する外側外周)とを含む。いくつかの実現例においては、レーダデバイス2000は、第1のレーダ構成を利用して(たとえば、第1の無線周波数帯を利用して)第1の外周2052内における対象物/動きを監視するとともに、第2のレーダ構成を利用して(たとえば、第2の無線周波数帯を利用して)第1の外周2052と第2の外周2054との間の対象物/動きを監視するように、構成される。いくつかの実現例においては、レーダデバイス2000は、ホーム環境の外側(たとえば外周2054の外側)において検出された対象物/動きを無視するように構成される。
【0426】
いくつかの実現例においては、マッピングは、ドア、窓などのエントリポイントの位置に関する情報を含む。いくつかの実現例においては、レーダデバイス2000は、対象物がホーム環境に入ってきているのかまたはホーム環境から去っているのかどうかを判断するためにエントリポイントを監視する。いくつかの実現例においては、レーダデバイス2000は、エントリポイントのうちの1つにおける予想外の対象物、またはエントリポイントのうちの1つの付近における予想外の対象物もしくはエントリポイントのうちの1つに向かって移動している予想外の対象物、を検出したことに応じて、通知または警告を生成する。いくつかの実現例においては、マッピングは、内壁、戸口、家具などの位置といった住宅の内部に関する情報を含む。いくつかの実現例においては、レーダデバイス2000は、住宅内部情報を利用して、特定の位置または住宅の特定の部屋内における検出された対象物もしくは検出された動きが異常なものであるかまたは予想外のものであるかを判断する。いくつかの実現例においては、レーダデバイス2000は、レーダデバイス2000と検出された対象物との間にある壁または対象物による、検出された対象物のレーダ署名の減衰を調整するために、住宅内部情報を利用する。
【0427】
いくつかの実現例においては、マッピングは、ホーム環境内の1つ以上の部屋またはゾーンについてのラベルを含む。たとえば、
図20Bに示されるレーダデバイス2000は、任意には、寝室、キッチン、居間などのためのラベルを格納する。いくつかの実現例においては、レーダデバイス2000は、検出された対象物がどこに位置しているかをユーザに通知するためにラベルを利用する。
【0428】
いくつかの実現例においては、レーダデバイス2000は、住宅外周内における対象物/動きを監視して、異常な対象物または動きを検出したことに従って警告または通知を生成するように構成される。いくつかの実現例においては、警告または通知がユーザデバイス(たとえばユーザの電話)に送信される。いくつかの実現例においては、警告/通知は、対象物および/または動きの記述を含む。たとえば、レーダデバイス2000は、ホーム環境2050内(たとえば裏庭内)において移動している予想外の対象物を検出し、対象物を人が歩いているものとして識別する。この例においては、レーダデバイスは、「人があなたの裏庭を歩いているのが検出された」と明示する警告を送信してもよい。いくつかの実現例においては、レーダデバイス2000は、対象物を識別するために、検出され
た対象物についての1つ以上のレーダ特徴を識別する。たとえば、レーダデバイス2000は、人のサイズ、呼吸パターン、心臓の鼓動、および/または足取りに基づいて、人を対象物であると識別する。いくつかの実現例においては、レーダデバイス2000は、各々の動物および/または人のサイズおよび/または足取りに基づいて、さまざまなタイプの動物と人とを区別する。
【0429】
いくつかの実現例においては、ホーム環境におけるレーダデバイスは、メモリ、1つ以上のプロセッサ、ならびにメモリおよびプロセッサに結合された複数のアンテナを含む。いくつかの実現例においては、レーダデバイスは、(1)複数のアンテナのうち少なくとも1つを介して1つ以上の無線周波数信号を送信し、(2)送信された信号に対応する1つ以上の無線周波数信号を受信し、(3)1つ以上のレーダ技術を利用して、受信された信号に基づいて1つ以上の検出された対象物の位置決め/動きを判断し、(4)1つ以上の検出された対象物が、予想外の対象物を含んでいるかまたは予想外の動きをする対象物を含んでいるかについての判断を取得し、(5)検出された対象物のうち少なくとも1つが予想外の対象物を含んでいるかまたは予想外の動きをするという判断を取得したことに応じて警告を生成する、ように構成される。いくつかの実現例においては、レーダデバイスは、ホーム環境および/またはホーム環境の占有者に関する1つ以上のレーダ技術および情報を利用して、検出された対象物のうち少なくとも1つを識別する。いくつかの実現例においては、レーダデバイスは360度の視野を有するように構成される。いくつかの実現例においては、レーダデバイスは、その外周全体に沿って(たとえば360度の周囲環境における)に活動を監視するように構成される。
【0430】
項目1:電子デバイスであって、(1)1つ以上の回路基板と、(2)上記1つ以上の回路基板を覆うハウジングと、(3)上記1つ以上の回路基板に結合された通信モジュールとを含み、上記通信モジュールは、1つ以上のアンテナを含み、上記1つ以上のリモートデバイスと通信するように構成されており、上記電子デバイスはさらに、(4)上記1つ以上の回路基板に結合されたレーダモジュールを含み、上記レーダモジュールは、ホーム環境についてのレーダデータを生成するように構成されており、(a)1つ以上の低電力レーダ送信機と、(b)1つ以上のレーダ受信機とを含み、上記電子デバイスはさらに、(5)上記1つ以上の回路基板のうちの1つに搭載されるプロセッサを含み、上記プロセッサは、(a)上記通信モジュールおよび上記レーダモジュールの動作を管理し、(b)上記レーダデータを分析することによって上記ホーム環境における検出された対象物の位置および/または移動を判断し、(c)上記検出された対象物についての判断された位置および/または動きに少なくとも部分的に基づいて、上記検出されたに対象物に関連付けられた異常を検出する、ように構成され、上記電子デバイスはさらに、(6)上記プロセッサ、上記通信モジュールおよび上記レーダモジュールに結合された電源を含む。
【0431】
項目2:上記レーダモジュールが、上記ハウジングの前面を通過する視野を有するように位置決めされている、項目1に記載の電子デバイス。
【0432】
項目3:上記レーダモジュールが、上記レーダモジュールの全検出範囲未満である制約された検出範囲で動作するように構成される、項目1または2に記載の電子デバイス。
【0433】
項目4:上記通信モジュールは、1つ以上のリモートデバイスと無線で通信するように構成される、項目1から3のいずれか1項に記載の電子デバイス。
【0434】
項目5:上記1つ以上の低電力レーダ送信機および上記1つ以上のレーダ受信機は、上記1つ以上の回路基板のうちの1つ上に搭載される、項目1から4のいずれか1項に記載の電子デバイス。
【0435】
項目6:上記電子デバイスは、(1)スマートサーモスタットと、(2)スマートカメラと、(3)ハブデバイスと、(4)スマートハザード検出器と、(5)スマート潅漑デバイスと、(6)スマートメディア再生デバイスと、(7)スマート通路インターフェイスデバイスと、(8)スマートアプライアンスと、(9)スマートセキュリティデバイスと、からなる群から選択されるスマートホームデバイスを含む、項目1から5のいずれか1項に記載の電子デバイス。
【0436】
項目7:カメラデバイスであって、(1)シーンの画像を取込むための光学センサと、(2)上記シーンにおける対象物からレーダデータを生成するためのレーダモジュールとを備え、上記レーダモジュールは、(a)1つ以上のレーダ送信機と、(b)1つ以上のレーダ受信機とを含み、上記カメラデバイスはさらに、(3)1つ以上のリモートデバイスと通信するための通信モジュールを備え、上記通信モジュールは、特定の通信プロトコルを利用して通信するように構成された1つ以上のアンテナを含む。
【0437】
項目8:照明を提供するための複数のLEDをさらに含む、項目7に記載のカメラデバイス。
【0438】
項目9:上記光学センサ、上記レーダモジュールおよび上記通信モジュールに結合されたプロセッサをさらに備え、上記プロセッサは、上記光学センサ、上記レーダモジュールおよび上記通信モジュールの動作を管理するために構成される、項目7または8に記載のカメラデバイス。
【0439】
項目10:上記プロセッサは、上記レーダモジュールの無線送信と上記通信モジュールの無線送信との間の無線干渉を回避するように、上記レーダモジュールおよび上記通信モジュールが動作することを可能にするように構成される、項目9に記載のカメラデバイス。
【0440】
項目11:上記プロセッサは、上記レーダデータに基づいて上記シーンにおける占有を判断するように構成される、項目9または10に記載のカメラデバイス。
【0441】
項目12:上記プロセッサは、上記レーダデータにおいて符号化されたバイオメトリック特徴に基づいて上記シーンにおける個人を認識するように構成される、項目9~11のいずれか1項に記載のカメラデバイス。
【0442】
項目13:上記プロセッサは、後の識別のために上記シーンに個人のバイオメトリックデータを保存するように構成される、項目9~12のいずれか1項に記載のカメラデバイス。
【0443】
項目14:上記プロセッサは、多次元レーダモード、一次元レーダモード、および対のレーダモードを含む複数のレーダ処理モードで動作するように構成される、項目9~13のいずれか1項に記載のカメラデバイス。
【0444】
項目15:上記プロセッサは、実質的に同時に存在するカメラデータおよびレーダデータに基づいてデータフュージョンおよびインテグレーション処理を実行するように構成される、項目9~14のいずれか1項に記載のカメラデバイス。
【0445】
項目16:上記カメラデバイスは、イベント分析および/または特徴付けのために上記レーダデータおよび上記カメラデータをフュージョンサーバに送信するように構成される、項目15に記載のカメラデバイス。
【0446】
項目17:上記特定の通信プロトコルは無線通信プロトコルを含み、上記通信モジュールはさらに、上記特定の通信プロトコルとは異なる第2の通信プロトコルを利用して通信するように構成された1つ以上の第2のアンテナを含む、項目7~16のいずれか1項に記載のカメラデバイス。
【0447】
項目18:上記レーダは、上記光学センサによって検知できないシーンにおける対象物の動きに反応する、項目7~17のいずれか1項に記載のカメラデバイス。
【0448】
項目19:上記1つ以上のレーダ送信機は無線チャープを送信するように構成され、上記1つ以上のレーダ受信機は、上記無線チャープに対応するレーダ波を受信するように構成される、項目7~18のいずれか1項に記載のカメラデバイス。
【0449】
項目20:サーモスタットデバイスであって、(1)1つ以上の温度センサと、(2)ユーザが所望の温度設定を調整することを可能にするように構成されたユーザインターフェイスと、(3)レーダデータを生成するためのレーダモジュールとを備え、上記レーダモジュールは、(a)1つ以上のレーダ送信機と、(b)1つ以上のレーダ受信機とを含み、上記サーモスタットデバイスはさらに、(4)暖房、換気および空調(heating, ventilation、 and air conditioning :HVAC)デバイスを含む1つ以上のリモートデバイスと通信するための通信モジュールを備え、上記通信モジュールは、特定の通信プロトコルを利用して通信するように構成された1つ以上のアンテナを含む。
【0450】
項目21:上記1つ以上の温度センサ、上記ユーザインターフェイス、上記レーダモジュール、および上記通信モジュールに電力を選択的に供給するように構成されたエネルギ貯蔵デバイスをさらに備える、項目20に記載のサーモスタットデバイス。
【0451】
項目22:上記1つ以上の温度センサ、上記ユーザインターフェイス、上記レーダモジュール、および上記通信モジュールに結合されたプロセッサをさらに備え、上記プロセッサは、上記1つ以上の温度センサ、上記ユーザインターフェイス、上記レーダモジュール、および上記通信モジュールの動作を管理するために構成されている、項目20または21に記載のサーモスタットデバイス。
【0452】
項目23:上記プロセッサは、上記レーダデータにおいて符号化されたバイオメトリック特徴に基づいて個人を認識するように構成される、項目22に記載のサーモスタットデバイス。
【0453】
項目24:上記プロセッサは、上記認識された個人に基づいて1つ以上の温度設定を調整するように構成される、項目23に記載のサーモスタットデバイス。
【0454】
項目25:上記プロセッサは、後の識別のために上記レーダデータにおいて符号化された個人のバイオメトリックデータを保存するように構成される、項目22から24のいずれか1項に記載のサーモスタットデバイス。
【0455】
項目26:上記プロセッサは、上記レーダモジュールの無線送信と上記通信モジュールの無線送信との間の無線干渉を回避するように、上記レーダモジュールおよび上記通信モジュールが動作することを可能にするように構成される、項目22から25のいずれか1項に記載のサーモスタットデバイス。
【0456】
項目27:上記特定の通信プロトコルは無線通信プロトコルを含み、上記通信モジュールはさらに、上記特定の通信プロトコルとは異なる第2の通信プロトコルを利用して通信するように構成された1つ以上の第2のアンテナを含む、項目20から26のいずれか1
項に記載のサーモスタットデバイス。
【0457】
項目28:上記サーモスタットデバイスは特定の部屋に位置し、上記サーモスタットデバイスは、上記レーダデータに基づいて上記特定の部屋の占有を判断するように構成される、項目20から27のいずれか1項に記載のサーモスタットデバイス。
【0458】
項目29:上記占有の判断に基づいて1つ以上の温度設定を調整するように構成されたプロセッサをさらに含む、項目28に記載のサーモスタットデバイス。
【0459】
項目30:占有の判断は、上記レーダデータに基づいて、動いている対象物が人であるかどうかを判断することを含む、項目28または29に記載のサーモスタットデバイス。
【0460】
項目31:上記1つ以上のレーダ送信機は無線チャープを送信するように構成され、上記1つ以上のレーダ受信機は、上記無線チャープに対応するレーダ波を受信するように構成される、項目20から30のいずれか1項に記載のサーモスタットデバイス。
【0461】
項目32:ハザード検出デバイスであって、(1)1つ以上の煙検出器と、(2)検出された危険をユーザに警告するように構成された警告モジュールと、(3)レーダデータを生成するためのレーダモジュールとを備え、上記レーダモジュールは、(a)1つ以上のレーダ送信機と、(b)1つ以上のレーダ受信機とを含み、上記ハザード検出デバイスはさらに、(4)1つ以上のリモートデバイスと通信するための通信モジュールを備え、上記通信モジュールは、特定の通信プロトコルを利用して通信するように構成された1つ以上のアンテナを含む。
【0462】
項目33:上記警告モジュール、上記レーダモジュールおよび上記通信モジュールに電力を選択的に供給するように構成されたエネルギ貯蔵デバイスをさらに備える、項目32に記載のハザード検出デバイス。
【0463】
項目34:上記1つ以上の煙検出器、上記レーダモジュールおよび上記通信モジュールに結合されたプロセッサをさらに備え、上記プロセッサは、上記1つ以上の煙検出器、上記レーダモジュール、および上記通信モジュールの動作を管理するために構成されている、項目32または33に記載のハザード検出デバイス。
【0464】
項目35:上記プロセッサは、上記レーダデータに基づいて特定の空間における占有を判断するように構成される、項目34に記載のハザード検出デバイス。
【0465】
項目36:上記プロセッサは、上記レーダデータにおいて符号化されたバイオメトリック特徴に基づいて個人を認識するように構成される、項目34または35に記載のハザード検出デバイス。
【0466】
項目37:上記プロセッサは、後の識別のために上記レーダデータにおいて符号化された個人のバイオメトリックデータを保存するように構成される、項目34から36のいずれか1項に記載のハザード検出デバイス。
【0467】
項目38:上記プロセッサは、上記レーダモジュールの無線送信と上記通信モジュールの無線送信との間の無線干渉を回避するように、上記レーダモジュールおよび上記通信モジュールが動作することを可能にするように構成される、項目34から37のいずれか1項に記載のハザード検出デバイス。
【0468】
項目39:上記特定の通信プロトコルは無線通信プロトコルを含み、上記通信モジュー
ルはさらに、上記特定の通信プロトコルとは異なる第2の通信プロトコルを利用して通信するように構成された1つ以上の第2のアンテナを含む、項目32から38のいずれか1項に記載のハザード検出デバイス。
【0469】
項目40:1つ以上の一酸化炭素検出器をさらに含む、項目32から39のいずれか1項に記載のハザード検出デバイス。
【0470】
項目41:ユーザが継続中の警告を不能化することを可能にするように構成されたユーザインターフェイスをさらに含む、項目32から40のいずれか1項に記載のハザード検出デバイス。
【0471】
項目42:ハザード条件の検出に応じて、上記ハザードデバイスは、個人が上記レーダデータに基づいて上記ハザード条件によって影響を受けた区域にいるかどうかを判断する、項目32から341のいずれか1項に記載のハザード検出デバイス。
【0472】
項目43:上記1つ以上のレーダ送信機は無線チャープを送信するように構成され、上記1つ以上のレーダ受信機は、上記無線チャープに対応するレーダ波を受信するように構成される、項目32から42のいずれか1項に記載のハザード検出デバイス。
【0473】
上述のシステムがユーザについての情報を収集する状況の場合、ユーザには、個人情報(たとえば、スマートデバイスについてのユーザの好みまたは使用法についての情報)を収集し得るプログラムまたは特徴を選択する/除外する機会が提供され得る。加えて、いくつかの実現例においては、特定のデータは、個人的に識別可能な情報が除外されるように、格納されるかまたは用いられる前に1つ以上の方法で匿名化されてもよい。たとえば、ユーザの身元が匿名化されてもよく、これにより、個人的に識別可能な情報をユーザのために判断することができなくなるかまたはユーザに関連付けることができなくなり、さらに、ユーザの好みまたはユーザの対話が、特定のユーザに関連付けられるのではなく一般化される(たとえば、ユーザ人口統計に基づいて一般化される)。
【0474】
さまざまな図面のうちのいくつかは特定の順序でいくつかの論理段階を示しているが、順序に依存しない段階が再度順序付けされてもよく、他の段階を組合わせてもよくまたは作り出してもよい。いくつかの再度の順序付けまたは他のグループ分けが具体的に言及されているが、他のものも当業者にとって明らかになるだろう。このため、この明細書中に記載される順序付けおよびグループ分けは代替例を網羅的に列挙するものではない。さらに、段階はハードウェア、ファームウェア、ソフトウェアまたはこれらのいずれかの組合せで実現され得ることが認識されるはずである。
【0475】
第1、第2などといった用語は、さまざまな要素を説明するためにここに使用され得るが、これらの要素はこれらの用語によって限定されるべきでない、ということが理解されるであろう。これらの用語は、1つの要素を別の要素と区別するために使用されているに過ぎない。たとえば、さまざまな記載の実現例の範囲から逸脱することなく、第1のタイプの信号を第2のタイプの信号と称してもよく、同様に、第2のタイプの信号を第1のタイプの信号と称してもよい。第1のタイプの信号および第2のタイプの信号はともに信号のタイプであるが、同じタイプの信号ではない。
【0476】
この明細書中においてさまざまに記載された実現例についての説明において用いられる用語は、特定の実現例のみを記載する目的であって、限定するように意図されたものではない。さまざまに記載された実現例および添付の特許請求の範囲の記載において用いられているように、単数形「ある/1つの」(a/an)および「その」(the)は、文脈が明確
に示していない限り、複数形も含むように意図されている。ここに使用されるように、「
および/または(and/or)」という用語は、関連する列挙された項目の1つ以上のいずれかおよびすべての実現可能な組合せを指すとともに含んでいる。「含む」(includes/including)、「備える」(comprises/comprising)という語は、この明細書中において用いられている場合、上述の特徴、整数、ステップ、動作、要素および/または構成要素の存在を指定しているが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素および/またはそれらのグループの存在または追加を除外するものではないことがさらに理解されるだろう。
【0477】
「もし」という語は、文脈に応じて、「とき」または「否や」または「判断に応じて」または「検出に応じて」または「との判断に応じて」を意味すると解釈し得る。同様に「もし~と判断された場合」または「もし[記載された条件または事象]が検出された場合」という表現は、文脈に応じて、「判断されるや否や」または「判断に応じて」または「[記載された条件または事象]が検出されるや否や」または「[記載された条件または事象]の検出に応じて」、または「[記載された条件または事象]の判断に応じて」を意味すると解釈し得る。
【0478】
上記の記載は、説明を目的として、特定の実施形態を参照して記載されている。しかしながら、上記の例示的な議論は、網羅的であるように意図されたものではなく、または、請求項の範囲を開示された正確な形態に限定するように意図されたものでもない。上記の教示に鑑みて多くの変更例および変形例が可能である。実現例は、請求項およびそれらの実際の適用例の基礎となる原理を最も良く説明するために選択されたものであり、これにより他の当業者が、企図された特定の用途に適するようにさまざまな変更を施した実現例を最適に使用することが可能となる。
【手続補正書】
【提出日】2024-03-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、
1つ以上のコントローラおよびメモリを有する、レーダ対応および無線対応の電子デバイスにおいて、
レーダ技術を用いて場所情報を送信するかまたは反映させることを可能にするようにとの要求を、標準無線通信プロトコルによって、リモート電子デバイスから受信するステップを含み、前記要求はデバイス識別情報を含み、前記方法はさらに、
受信されたデバイス識別情報が前記電子デバイスについてのデバイス識別情報と一致しているかどうかを判断するステップを含み、前記電子デバイスについての前記デバイス識別情報は前記電子デバイスに格納され、前記方法はさらに、
前記受信されたデバイス識別情報が前記電子デバイスについての前記デバイス識別情報に一致しているという判断に従って、1つ以上のレーダ技術を用いることに従って前記電子デバイスの位置および/または速度を示す信号を送信させるステップを含む、方法。
【請求項2】
前記リモート電子デバイスからレーダ信号を受信するステップをさらに含み、
前記信号を送信させるステップは、前記受信されたレーダ信号を変調するとともに反射させて、予め設定されたファントム速度が前記反射されたレーダ信号に存在するようにするステップを含む、請求項1に記載の方法。
【請求項3】
可能にするようにとの前記要求を受信するステップの前に、低電力モードで動作するステップと、
前記受信されたデバイス識別情報が前記電子デバイスについての前記デバイス識別情報と一致しているという判断に従って、レーダモードで動作するステップとを含み、前記レーダモードで動作するステップは、前記低電力モードで動作するステップよりも多くの電力を消費する、請求項1または2に記載の方法。
【請求項4】
レーダ搭載および無線対応の電子デバイスであって、
標準無線通信プロトコルによって1つ以上のリモート電子デバイスと通信するように構成された第1の構成要素を備え、前記第1の構成要素は、
前記標準無線通信プロトコルに対応する第1の周波数で通信するように構成された1つ以上のアンテナと、
前記1つ以上のアンテナに結合された第1のコントローラとを含み、前記第1のコントローラは、前記標準無線通信プロトコルに従って信号を伝達するように前記1つ以上のアンテナを管理するように構成され、前記レーダ搭載および無線対応の電子デバイスはさらに、
1つ以上のレーダ技術を用いて、前記1つ以上のリモート電子デバイスで位置および/または速度情報を伝達するように構成された第2の構成要素を備え、前記第2の構成要素は、
レーダ帯域を介して通信するように構成された1つ以上の第2のアンテナと、
前記1つ以上の第2のアンテナおよび前記第1のコントローラに結合されたレーダコントローラとを含み、前記レーダコントローラは、前記1つ以上のレーダ技術に従って信号を伝達するように前記1つ以上の第2のアンテナを管理するように構成される、レーダ搭載および無線対応の電子デバイス。
【請求項5】
前記第1のコントローラはさらに、
前記1つ以上のアンテナを介してリモートデバイスからコマンドを受信し、
前記コマンドが前記電子デバイスのために意図されたものであったかどうかを判断し、
前記コマンドが前記電子デバイスのために意図されたものであったという判断に従って、前記コマンドに従って動作し、
前記コマンドが電子デバイスのために意図されたものでなかったという判断に従って、前記コマンドを無視する、ように構成される、請求項4に記載のレーダ搭載および無線対応の電子デバイス。
【請求項6】
前記コマンドは、レーダ通信を可能にするためのコマンドを含み、前記第1のコントローラが前記コマンドに従って動作することは、前記第1のコントローラが前記レーダコントローラに可能化コマンドを伝達することを含む、請求項5に記載のレーダ搭載および無線対応の電子デバイス。
【請求項7】
前記コマンドは受信者識別を含み、前記コマンドが前記電子デバイスのために意図されたものであったかどうかを前記第1のコントローラが判断することは、前記受信者識別を前記電子デバイスの識別子と比較することを含む、請求項5または6に記載のレーダ搭載および無線対応の電子デバイス。
【請求項8】
前記コマンドは暗号化され、前記第1のコントローラはさらに、前記コマンドを復号化するように構成され、前記レーダコントローラはさらに、前記1つ以上の第2のアンテナを介して送信された情報を暗号化するように構成される、請求項5から7のいずれか1項に記載のレーダ搭載および無線対応の電子デバイス。
【請求項9】
前記第1のコントローラはさらに、前記1つ以上のアンテナを介して受信された信号をデコードするように構成されたデコーダを含む、請求項4から8のいずれか1項に記載のレーダ搭載および無線対応の電子デバイス。
【請求項10】
前記第1の構成要素および前記第2の構成要素に結合されたエネルギ貯蔵構成要素をさらに含み、前記エネルギ貯蔵構成要素は、前記第1の構成要素および前記第2の構成要素に選択的に電力を供給するように構成される、請求項4から9のいずれか1項に記載のレーダ搭載および無線対応の電子デバイス。
【請求項11】
前記エネルギ貯蔵構成要素は、
1つ以上のコンデンサと、
1つ以上のバッテリと、
電子タグのアンテナを介して受信された信号からエネルギを取入れるように構成された回路と、
前記電子タグが受取った熱エネルギ、震動エネルギ、電磁エネルギおよび/または太陽エネルギを取入れるように構成された回路と、のうち少なくとも1つを含む、請求項10に記載のレーダ搭載および無線対応の電子デバイス。
【請求項12】
前記レーダコントローラはさらに、前記1つ以上の第2のアンテナを介したレーダ通信を選択的に可能にするように構成され、前記レーダ通信は、
受信された電波を反射させること、
受信された電波を増幅すること、
受信された電波を変調すること、および、
電波を生成すること、のうち少なくとも1つを含む、請求項4から11のいずれか1項に記載のレーダ搭載および無線対応の電子デバイス。
【請求項13】
前記第2の構成要素はさらに、
前記1つ以上の第2のアンテナを介して受信された電波を変調するように構成された変調器と、
特定の周波数で電波を生成するように構成された信号発生器と、のうち少なくとも1つを含む、請求項4から12のいずれか1項に記載のレーダ搭載および無線対応の電子デバイス。
【請求項14】
前記第1のコントローラに結合された1つ以上の付加的なセンサをさらに備え、前記1つ以上の付加的なセンサは、
前記電子デバイスの周囲の湿度を検知するように構成された湿度センサと、
前記電子デバイスの温度および前記電子デバイスの周囲の周囲温度のうち1つ以上を検知するように構成された温度センサと、
前記電子デバイスの加速を検知するように構成された加速度計と、
前記電子デバイスの向きを検知するように構成されたジャイロスコープと、
前記電子デバイスの周囲の周囲光を検知するように構成された光学センサと、のうち少なくとも1つを含む、請求項4から13のいずれか1項に記載のレーダ搭載および無線対応の電子デバイス。
【請求項15】
前記第1の構成要素は、
前記1つ以上のアンテナと、
前記1つ以上の第2のアンテナと、のうち少なくとも1つを介してデバイス情報を送信するように構成され、
前記デバイス情報は、デバイス識別子と、1つ以上のデバイス設定と、前記電子デバイスの周囲に関する情報と、前記電子デバイスの動作条件に関する情報と、のうち1つ以上を含む、請求項4から14のいずれか1項に記載のレーダ搭載および無線対応の電子デバイス。
【外国語明細書】