IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-23
(45)【発行日】2022-02-04
(54)【発明の名称】ビデオカメラアセンブリ
(51)【国際特許分類】
   H04N 5/225 20060101AFI20220128BHJP
   H04N 5/232 20060101ALI20220128BHJP
   H05K 7/20 20060101ALI20220128BHJP
   H05K 5/03 20060101ALN20220128BHJP
【FI】
H04N5/225 600
H04N5/225 000
H04N5/232 290
H04N5/225 400
H04N5/225 200
H04N5/225 430
H05K7/20 B
H05K7/20 F
H05K5/03 A
【請求項の数】 15
(21)【出願番号】P 2019564859
(86)(22)【出願日】2018-03-05
(65)【公表番号】
(43)【公表日】2020-07-16
(86)【国際出願番号】 US2018020900
(87)【国際公開番号】W WO2018217268
(87)【国際公開日】2018-11-29
【審査請求日】2020-06-18
(31)【優先権主張番号】15/607,380
(32)【優先日】2017-05-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/511,302
(32)【優先日】2017-05-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】メディ,ラファット
(72)【発明者】
【氏名】ニーウッド,ベンジャミン
(72)【発明者】
【氏名】ゴールデン,ジェイソン・エバンズ
(72)【発明者】
【氏名】リー,チェン-ジョン
(72)【発明者】
【氏名】キルゴア,アダム・スコット
(72)【発明者】
【氏名】ボルマリング,アンバー・ラットマン
(72)【発明者】
【氏名】ボイド,ジェフリー
(72)【発明者】
【氏名】ロス,アディナ
(72)【発明者】
【氏名】ブリクナー,マイケル
(72)【発明者】
【氏名】ジョウ,ミ
(72)【発明者】
【氏名】ジェイコブ,ロクス
(72)【発明者】
【氏名】キム,ミンジョン
(72)【発明者】
【氏名】コルツ,サミュエル
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2009-219019(JP,A)
【文献】特開2015-139165(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/225
H04N 5/232
H05K 7/20
H05K 5/03
(57)【特許請求の範囲】
【請求項1】
ビデオカメラアセンブリであって、
前記ビデオカメラアセンブリを昼間モードおよび夜間モードで動作させるように構成された1つ以上のプロセッサと、
シーンの視野を有し、動作の前記昼間モードおよび動作の前記夜間モードの間前記シーンの第1の部分のビデオを取り込むように構成された画像センサとを備え、前記第1の部分は前記画像センサの視野に対応し、
動作の前記夜間モード中に前記画像センサがビデオを取り込む間、照明を提供するように構成された、1つ以上の赤外線(IR)照明器と、
(i)前記照明を前記シーンの前記第1の部分に実質的に制限するように、かつ(ii)前記画像センサの前記視野全体にわたって実質的に均一に前記第1の部分を照明するように、構成された、IR反射器コンポーネントと、
前記1つ以上のプロセッサと、前記画像センサと、前記1つ以上の赤外線(IR)照明器と、前記IR反射器コンポーネントとを含むハウジングと、を備える、ビデオカメラアセンブリ。
【請求項2】
前記シーンに対応する周囲光を検出するように構成された周囲光センサをさらに備え、
前記1つ以上のIR照明器は、前記周囲光センサからのデータに少なくとも一部基づいて照明を選択的に提供するように構成されている、請求項1に記載のビデオカメラアセンブリ。
【請求項3】
前記1つ以上のIR照明器は2つ以上のIR照明器を含み、
前記IR反射器コンポーネントは、前記2つ以上のIR照明器の照明の重なりを最小にするように構成されている、請求項1~2のいずれか1項に記載のビデオカメラアセンブリ。
【請求項4】
前記IR反射器コンポーネントはさらに、前記1つ以上のIR照明器からの光が、前記シーンの前記第1の部分と影響し合う前に前記画像センサに入ることを実質的に防止するように構成されている、請求項1~3のいずれか1項に記載のビデオカメラアセンブリ。
【請求項5】
前記1つ以上のIR照明器は特定の周波数のIR光を発するように構成されており、
前記画像センサは、前記特定の周波数のIR光を取り込むように最適化されておらず、
前記IR反射器コンポーネントは、動作の前記夜間モード中、前記画像センサが取り込む前記1つ以上のIR照明器からのIR光の量を最大にするように構成されている、請求項1~4のいずれか1項に記載のビデオカメラアセンブリ。
【請求項6】
カバーガラスをさらに備え、前記カバーガラスは、前記1つ以上のIR照明器からの光が前記カバーガラスを通して導かれ前記シーンからの光が前記画像センサに入る前に前記カバーガラスを通るように、前記画像センサ、前記1つ以上のIR照明器、および前記IR反射器の前方に配置される、請求項1~5のいずれか1項に記載のビデオカメラアセンブリ。
【請求項7】
前記1つ以上のIR照明器は1つ以上のIR発光ダイオード(LED)を含む、請求項1~6のいずれか1項に記載のビデオカメラアセンブリ。
【請求項8】
前記ビデオカメラアセンブリのユーザに情報を伝えるように構成された複数の可視光照明器と、
前記可視光照明器からの照明を導くように構成された可視光反射器コンポーネントとをさらに備える、請求項1~7のいずれか1項に記載のビデオカメラアセンブリ。
【請求項9】
前記1つ以上のプロセッサはさらに、
前記画像センサおよび前記1つ以上のIR照明器の動作を管理するように、かつ
前記画像センサが取り込んだ画像データを解析するように、構成されている、請求項1~8のいずれか1項に記載のビデオカメラアセンブリ。
【請求項10】
前記1つ以上のプロセッサはさらに、前記画像データ内の物体およびエンティティを認識するように構成されている、請求項に記載のビデオカメラアセンブリ。
【請求項11】
第1の通信プロトコルおよび第2の通信プロトコルを介した通信用に構成された1つ以上のトランシーバを含む通信回路と、
前記第1の通信プロトコルを介した通信用に構成された第1のアンテナと、
前記第2の通信プロトコルを介した通信用に構成された第2のアンテナとをさらに備える、請求項1~10のいずれか1項に記載のビデオカメラアセンブリ。
【請求項12】
前記画像センサが取り込んだビデオデータは、前記通信回路および前記第1のアンテナを介して前記ビデオカメラアセンブリとサーバとの間でやり取りされる、請求項11に記載のビデオカメラアセンブリ。
【請求項13】
前記第1の通信プロトコルはIEEE802.11標準規格に準拠し、前記第2の通信プロトコルはIEEE802.15.4標準規格に準拠する、請求項11~12のいずれか1項に記載のビデオカメラアセンブリ。
【請求項14】
前記ビデオカメラアセンブリのユーザに情報を伝えるように構成された1つ以上のスピーカと、
音声データを取り込むように構成された1つ以上のマイクとをさらに備える、請求項1~13のいずれか1項に記載のビデオカメラアセンブリ。
【請求項15】
一体型カバー要素をさらに備え、前記一体型カバー要素は、前記1つ以上のIR照明器からの光が前記カバー要素を通して導かれ前記シーンからの光が前記画像センサに入る前に前記カバー要素を通るように、前記画像センサおよび前記1つ以上のIR照明器の前方
に配置され、前記カバー要素は、
前記画像センサに対応し、可視光およびIR光を実質的に透過させる、第1の部分と、
前記1つ以上のIR照明器に対応し、IR光を実質的に透過させるようにコーティングされた、第2の部分と、
前記第1の部分と前記第2の部分との間にあり、IR光および可視光を実質的に通さないようにコーティングされた、第3の部分とを含む、請求項1~14のいずれか1項に記載のビデオカメラアセンブリ。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、概して、赤外線反射器を有するビデオカメラアセンブリを含むがこれに限定されないカメラアセンブリに関する。
【背景技術】
【0002】
背景
ビデオ監視カメラは広範囲にわたって使用される。住宅環境および商用環境におけるビデオカメラの使用は、ひとつには低価格および導入が容易という理由で、大幅に増加している。
【0003】
消費者需要の変化ならびにホームオートメーションおよび関連システムの複雑さの増大に伴い、このようなカメラ製品の設計において、熱および照明の管理等の各種の新たな課題が生じている。たとえば、効果的でないIR(赤外線)照明技術は、大量の電力を無駄に消費して大量の熱を発生するだけでなく、外観も望ましくない。別の例の場合、熱管理が複雑な製品において複数の無線通信技術を用いるには、アンテナ構造のインテリジェントデザインが必要である。さらに別の例の場合、カメラスタンドの外部にケーブル配線を設置することは、外観が望ましくないだけでなく、結果として動きの自由度の制限につながることが多い。
【発明の概要】
【0004】
概要
したがって、とりわけ、シーンの照明、取り込み、および解析のための、より効率的で正確で有効な方法を用いるシステムおよび/またはデバイスが必要である。このようなシステム、デバイス、および方法は、任意で、シーンの照明、取り込み、および解析のための従来のシステム、デバイス、および方法を、補完するまたはそれに取って代わるものである。
【0005】
本開示は、ハイパワーのオンカメラ処理、弱光(たとえば夜間)照明、パッシブ冷却、複数のHDビデオストリームを同時に送信する機能、および複数のプロトコル(たとえばWi-Fi(登録商標)、Bluetooth(登録商標)、およびIEEE15.4)を介して他のデバイスと無線通信する機能を備えた、コンパクトカメラ実装例について説明する。このようなデバイスは、大量の熱を(たとえばプロセッサから)発生するにもかかわらず、画像センサ等の熱に敏感なコンポーネントを含む。このようなデバイスの場合、カメラのコンパクトなパッシブ冷却という側面を保ちつつ、感度が高いコンポーネントから熱を逃がすことが重要である。加えて、カメラの画像センサは元来光に敏感であるため、カメラの照明器からの光、色、またはIRが画像センサに入らないようにすることが重要である。カメラの照明器からの光を操作するためのコンポーネント、たとえば反射器および拡散器は、取り込まれた画像の色あせまたは異常の防止に重要である。本明細書に記載の実装例は、敏感なカメラコンポーネントに熱および/または光が干渉することを防止するように構成された、IR反射器等のコンポーネントを含む。
【0006】
IR照明器のためのIR反射器が、カメラの視野内のシーンの部分を均一的に照らすように照明を向けることが望ましい。なぜなら、そうすることにより、異常が減じられ、画像センサが取り込んだ画像の品質が改善されるからである。また、IR反射器を、カメラの視野外に送られる照明の量を最小にするのに適することが望ましい。カメラの視野外に送られる照明の量を減じることにより、十分な照明を提供するのに必要なIR照明器の量および/または強度を減じる。
【0007】
また、一体型カバーガラス(またはその他の透明物質)を備えることが望ましい。なぜなら、これは、より好ましい見た目を作り出し、部品数の低減により生産コストを低減し、複数の部分を密にはめ合わせる必要を排除することにより複雑さを減じ、複数の部分間の継ぎ目をなくすことによりデバイスの防水性を高め、画像センサが取り込む画像の品質を高めるからである。
【0008】
また、カメラが視覚および/または音声フィードバックをユーザに与えることが望ましい。このフィードバックは、カメラ自体の動作状態、カメラに関連付けられた別の電子デバイスの動作状態、および/またはカメラに関連付けられた一組の電子デバイスの動作状態に関連し得る。
【0009】
職場環境または家庭環境(屋内または屋外)等の、セキュリティカメラが一般的に導入されている環境では、この環境内の人々に対し、カメラまたは彼らの動作を妨害することなく、カメラ処理作業を示すまたは補完するリアルタイムのカメラステータス情報および/または音声/視覚コンテンツを提供できる物理的特徴を備えるように、カメラを構成することが好都合である。いくつかの実装例において、このような物理的特徴は、カメラの周囲に設けられ当該環境にいる人々がこの環境内の広範囲にわたる位置から見ることができるように構成されたライトリングを含む。たとえば、いくつかのカメラ実装例において、ライトリングは、カメラの視野内に含まれる、環境の少なくとも複数のエリアを含む範囲の位置で見えるように構成される。いくつかのカメラ実装例において、ライトリングは複数の個別のライティング要素を有する。これらのライティング要素は各々、局所的なカメラステータスおよび/またはカメラ処理状態/動作を反映するように個別に制御可能な、対応付けられたライティング特性を有する。いくつかの構成において、上記制御可能なライティング特性は、オン/オフ状態、色相、飽和度および/または輝度/強度のうちの1つ以上を含む。いくつかの構成において、ライティング要素は、1つの表示色または2つ以上の異なる表示色からなる静的または動的でものであってもよい(たとえばリングの1つ以上の回転部分)全体パターン(たとえばリング全体またはリングの1つ以上の部分)を表示するように個別に制御される。各パターンは、視覚言語に従い、カメラステータスおよび/またはカメラ処理動作に対応し得る。たとえば、1つの色、または、2つ以上の異なる色のパターン(静的または動的)は、カメラが、オンもしくはオフであること、サーバ(たとえば画像処理を実行するまたは遠隔ユーザに対してビデオおよび通知を配信するサーバ)に対する有効または無効な接続を有すること、環境からのローカル情報を能動的に処理していること、または、家庭環境内の別のスマートデバイスからもしくはサーバから通知またはステータス情報を受けたことを、示すことができる。スピーカを含むカメラ実装例において、上記物理的特徴(たとえばライトリング)は、スピーカから再生されている音楽の可聴ビート/リズムに対応するパターンを、その音楽のテンポ/フィーリングに合うように選択された範囲の色で表示するように、カメラによって制御することができる。このような情報を光のパターンを介して提供することは好都合である。なぜなら、これは、可聴アラートがそうし得るように、環境内の人々の活動を邪魔することなく、環境内のすべての/ほとんどのユーザが容易に知覚するからである。
【0010】
また、各種相互接続ワイヤを封入するとともに広い回転自由度を有するスタンドをカメラが備えていることが望ましい。相互接続ワイヤを封入することで、ワイヤの摩耗を低減し、ワイヤが損傷する可能性を低減し、カメラの美しさを増し、カメラの回転自由度を高める。カメラの回転自由度が高まると、所望の視野が得られるようにカメラを配置できる場所の候補が増すので、カメラに対するユーザの満足度が増す。また、カメラスタンドがカメラを安定して支持することが望ましい。カメラは、その実質的なオンボード処理パワーおよび通信機能のために、そのサイズと比較して相対的に重い可能性があり、その一方では、カメラの配置における高度の柔軟性を可能にするとともに自立およびカメラの安定した使用を提供するために、または、広範囲の向きで広範囲の載置面にカメラを装着するために、コンパクトでポータブルでもある。
【0011】
また、カメラは継続してまたはほぼ継続して動作することが望ましく、そのため、発熱および放熱が非常に重要である。よって、電子デバイス内で発生した熱を当該電子デバイスの熱に敏感なアセンブリから遠ざかるように放散させる何らかの放熱機構を組み込んだ、実質的にコンパクトな電子デバイスが必要である。具体的には、いくつかの実装例に従うと、放熱機構は、熱に敏感な電子アセンブリおよび/または別の発熱する電子アセンブリが発した熱を、ファンを使用せずに、効率的に熱に敏感な電子アセンブリからパッシブに伝導する。電子デバイスのコンパクトなフォームファクタを考慮し、放熱機構はまた、熱に敏感な電子アセンブリ、発熱する電子アセンブリ、またはこれら双方を、電子デバイスの目的とする機能に干渉することなく、機械的に支持するように構成される。
【0012】
たとえば、電子デバイスは、コンパクトな筐体内に複数の電子アセンブリを含みビデオ画像をリアルタイムで取り込み、処理し、ストリーミングするための各種機能を有するインターネットカメラを含み得る。インターネットカメラの電子アセンブリは、ビデオ画像を取り込むおよび/または処理するように構成された画像センサアセンブリを含む。画像センサアセンブリは、自身が発したまたは別のシステムオンチップ(system-on-chip)(SoC)アセンブリが発した熱に敏感である。熱からの有害な影響を阻止するために、別々の二組の熱伝導性部品を用いて、発熱する電子アセンブリ(たとえばカメラの画像センサアセンブリ)および/または熱に敏感な電子アセンブリ(たとえばカメラのSoCアセンブリ)が発した熱を、熱に敏感な各電子アセンブリから逃がすために使用することができる。上記別々の二組の熱伝導性部品は、熱的には互いに分離されているが、コンパクトな筐体内に密に配置されている。
【0013】
ある局面において、いくつかの実装例はビデオカメラアセンブリを含み、このビデオカメラアセンブリは、(1)ビデオカメラアセンブリを昼間モードおよび夜間モードで動作させるように構成された1つ以上のプロセッサと、(2)シーンの視野を有し、動作の中間モードおよび動作の夜間モードの間シーンの第1の部分のビデオを取り込むように構成された画像センサとを備え、第1の部分は画像センサの視野に対応し、(3)動作の夜間モード中に画像センサがビデオを取り込む間、照明を提供するように構成された、1つ以上の赤外線(IR)照明器と、(4)(i)照明をシーンの第1の部分に実質的に制限するように、かつ(ii)画像センサの視野全体にわたって実質的に均一に第1の部分を照明するように、構成された、IR反射器コンポーネントとを備える。
【0014】
別の局面において、いくつかの実装例はカメラアセンブリを含み、このカメラアセンブリは、(1)シーンに対応する視野を有する画像センサと、(2)当該シーンを選択的に照明するように構成された1つ以上の赤外線(IR)照明器と、(3)一体型カバー要素とを備え、一体型カバー要素は、1つ以上のIR照明器からの光がカバー要素を通して導かれ当該シーンからの光が画像センサに入る前にカバー要素を通るように、画像センサおよび1つ以上のIR照明器の前方に配置され、カバー要素は、(a)画像センサに対応し、可視光およびIR光を実質的に透過させる、第1の部分と、(b)1つ以上のIR照明器に対応し、IR光を実質的に透過させるようにコーティングされた、第2の部分と、(c)第1の部分と第2の部分との間にあり、IR光および可視光を実質的に通さないようにコーティングされた、第3の部分とを含む。
【0015】
この特許または出願ファイルは、少なくとも1つのカラー図面を含む。カラー図面を有するこの特許または特許出願公報のコピーは、請求および必要な料金の支払に応じて庁から提供される。
【0016】
記載されている各種実装例がより良く理解されるよう、以下の図面に関連する下記実装例の説明を参照する。図面において、複数の図面の同様の参照番号は対応する部分を示す。
【図面の簡単な説明】
【0017】
図1】いくつかの実装例に係るスマートホーム環境の一例の図である。
図2A】いくつかの実装例に係るスマートホームネットワークを含む代表的なネットワークアーキテクチャを示すブロック図である。
図2B】いくつかの実装例に係るサーバシステムがクライアントデバイスおよびスマートデバイスとやり取りする代表的な動作環境の図である。
図3A】いくつかの実装例に係る代表的なサーバシステムを示すブロック図である。
図3B】いくつかの実装例が使用する各種データ構造を示す図である。
図4】いくつかの実装例に係る代表的なスマートデバイスを示すブロック図である。
図5】いくつかの実装例に係るビデオ解析および分類のための代表的なシステムアーキテクチャを示す図である。
図6】いくつかの実装例に係る代表的なクライアントデバイスを示すブロック図である。
図7A】いくつかの実装例に係る代表的なカメラアセンブリの斜視図である。
図7B】いくつかの実装例に係る代表的なカメラアセンブリの斜視図である。
図7C】いくつかの実装例に係る代表的なカメラアセンブリの構成要素図である。
図7D】いくつかの実装例に係る代表的なカメラアセンブリの構成要素図である。
図7E】いくつかの実装例に係る代表的なカメラアセンブリの構成要素図である。
図7F】いくつかの実装例に係る代表的なカメラアセンブリの構成要素図である。
図7G】いくつかの実装例に係る代表的なカメラアセンブリの構成要素図である。
図7H】いくつかの実装例に係る代表的なカメラアセンブリの構成要素図である。
図8A】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図8B】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図8C】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図9】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図10A】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図10B】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図10C】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図11】いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。
図12】いくつかの実装例に係る代表的な照明伝達パターンを示す図である。
【発明を実施するための形態】
【0018】
図面のうちのいくつかの図面において同様の参照番号は対応する部分を示す。
実装例の説明
図1は、いくつかの実装例に係る一例としてのスマートホーム環境100である。スマートホーム環境100は、さまざまな一体化されたデバイスを備えた構造物150(たとえば家、オフィスビル、ガレージまたは移動住宅)を含む。デバイスが、共同住宅、分譲マンションまたはオフィス空間等の構造物150全体を含まないスマートホーム環境100にも一体化され得ることが認識されるであろう。さらに、スマートホーム環境100は、実際の構造物150の外側のデバイスを制御してもよく、および/または、外側のデバイスに結合されてもよい。実際には、スマートホーム環境100におけるいくつかのデバイスは、物理的に構造物150内に存在していなくてもよい。たとえば、プールヒーター114または注水システム116を制御するデバイスは、構造物150の外側に位置していてもよい。
【0019】
「スマートホーム環境」は、一家族の家屋のような住宅のスマート環境を意味し得るが本教示の範囲はそのように限定されるものではないことが、理解されねばならない。本教示は、制限なしで、二世帯住宅、タウンホーム、多世帯共同住宅建築物、ホテル、小売店、オフィスビル、産業用ビル、および、より広くは任意の居住空間または労働空間にも適用可能である。
【0020】
また、ユーザ、顧客、インストーラ、住宅所有者、入居者、ゲスト、テナント、家主、修理工、およびそれに類似する用語は、本明細書に記載のいくつかの具体的な状況において活動している一人または複数の人物に言及するために使用することができるが、これらに言及することは、このような活動を実行している一人または複数の人物に関する本教示の範囲を限定する訳ではないことも、理解されねばならない。よって、たとえば、ユーザ、顧客、購入者、インストーラ、予約者、および住宅所有者という用語は、一家族の住居の場合同一人物を指すことが多いかもしれない。なぜなら、世帯主は、購入の決断を下し、一戸の住宅を購入し、その住宅を設置し構成し、かつその住宅のユーザのうちの一人でもあることが多いからである。しかしながら、家主-テナント環境等のその他のシナリオでは、一戸の住宅の購入に関しては顧客が家主であってもよく、インストーラがローカルな共同住宅の管理者であってもよく、第1のユーザがテナントであってもよく、第2のユーザも、遠隔制御機能に関しては家主であってもよい。重要なのは、その活動を実行している人物のアイデンティティは、実装例のうちの1つ以上が提供する特定の利点に密接な関係がある可能性があるが、このようなアイデンティティは、以下の説明において、本教示の範囲を、上記特定のアイデンティティを有する特定の個人に必ず限定するものと解釈されてはならないことである。
【0021】
図示された構造物150は、壁154によって互いから少なくとも部分的に分離されている複数の部屋152を含む。壁154は内壁または外壁を含み得る。各々の部屋はさらに、床156および天井158を含み得る。デバイスは、壁154、床156もしくは天井158に装着されてもよく、壁154、床156もしくは天井158と一体化されてもよく、および/または、壁154、床156もしくは天井158によって支持されていてもよい。
【0022】
いくつかの実装例において、スマートホーム環境100の一体化されたデバイスは、各種の有用なスマートホーム機能を提供するために、スマートホームネットワーク(たとえば202(図2A))において互いにシームレスに一体化された、および/または、中央サーバもしくはクラウドコンピューティングシステムとシームレスに一体化された、インテリジェント型マルチセンサネットワーク接続デバイスを含む。スマートホーム環境100は、1つ以上のインテリジェント型マルチセンサネットワーク接続サーモスタット102(以下「スマートサーモスタット102」と呼ぶ)、1つ以上のインテリジェント型ネットワーク接続マルチセンサハザード検出ユニット104(以下「スマートハザード検出器104」と呼ぶ)、1つ以上のインテリジェント型マルチセンサネットワーク接続通路インターフェイスデバイス106および120(以下「スマートドアベル106」および「スマートドアロック120」と呼ぶ)、ならびに、1つ以上のインテリジェント型マルチセンサネットワーク接続アラームシステム122(以下「スマートアラートシステム122」と呼ぶ)を含み得る。
【0023】
いくつかの実装例において、1つ以上のスマートサーモスタット102が、周囲の気候特徴(たとえば温度および/または湿度)を検出し、それに応じてHVACシステム103を制御する。たとえば、それぞれのスマートサーモスタット102は周囲温度センサを含む。
【0024】
1つ以上のスマートハザード検出器104は、それぞれの熱源(たとえばストーブ、オーブン、他のアプライアンス、暖炉など)に向けられた熱放射センサを含み得る。たとえば、キッチン153におけるスマートハザード検出器104は、ストーブ/オーブン112に向けられた熱放射センサを含む。熱放射センサは、それが向けられているそれぞれの熱源(またはその部分)の温度を判断して、対応する黒体放射データを出力として提供し得る。
【0025】
スマートドアベル106および/またはスマートドアロック120は、ある場所(たとえば、外部ドア)への人の接近および/またはある場所からの人の出発を検出してもよく、ドアベル/ドアロック機能を制御(たとえばスマートドアロック120のボルトを作動させるためのユーザ入力を携帯型電子デバイス166-1から受信)してもよく、音声手段もしくは視覚的手段によって人の接近または出発を知らせてもよく、ならびに/または、セキュリティシステム上の設定を制御しても(たとえば居住者の外出および帰宅時にセキュリティシステムを起動するかもしくは停止させても)よい。いくつかの実装例において、スマートドアベル106は、カメラ118の構成要素および特徴のうちのいくつかまたはすべてを含む。いくつかの実装例において、スマートドアベル106はカメラ118を含む。
【0026】
スマートアラームシステム122は、(たとえば内蔵のIRセンサを用いて)極近くにいる個人の存在を検出し、(たとえば内蔵スピーカを介して、または1つ以上の外部スピーカにコマンドを送ることによって)警告を鳴らし、スマートホームネットワーク100の内部/外部に存在するエンティティまたはユーザに通知を送信し得る。いくつかの実装例において、スマートアラームシステム122はまた、ユーザの身元を確認するための1つ以上の入力デバイスまたはセンサ(たとえばキーパッド、バイオメトリックスキャナ、NFCトランシーバ、マイク)、および1つ以上の出力デバイス(たとえばディスプレイ、スピーカ)を含む。いくつかの実装例において、スマートアラームシステム122はまた、解除動作が実行されない限り、トリガ条件またはイベントの検出に応じて警告が鳴らされるように、「装備」モードに設定されてもよい。
【0027】
いくつかの実装例において、スマートホーム環境100は、1つ以上のインテリジェント型マルチセンサネットワーク接続壁面スイッチ108(以下「スマート壁面スイッチ108」と呼ぶ)を、1つ以上のインテリジェント型マルチセンサネットワーク接続壁面プラグインターフェイス110(以下「スマート壁面プラグ110」と呼ぶ)とともに備える。スマート壁面スイッチ108は、周囲の照明状態を検出する、在室状態を検出する、1つ以上の照明の電力および/または減光状態を制御することができる。いくつかの場合において、スマート壁面スイッチ108は、天井ファン等のファンの電力状態または速度を制御することができる。スマート壁面プラグ110は、部屋または囲い区画における在室を検出し、(たとえば、家の中に誰も居ない場合に電力がプラグに供給されないように)1つ以上の壁面プラグへの電力の供給を制御することができる。
【0028】
いくつかの実装例において、図1のスマートホーム環境100は、冷蔵庫、ストーブ、オーブン、テレビ、洗濯機、乾燥機、照明、ステレオ、インターコムシステム、車庫扉開閉装置、床のファン、天井のファン、壁面設置型空調装置、プールヒーター、注水システム、セキュリティシステム、スペースヒーター、窓用ACユニット、電動式ダクトベント等の、複数のインテリジェント型マルチセンサネットワーク接続アプライアンス112(以下「スマートアプライアンス112」と呼ぶ)を備える。いくつかの実装例において、コンセントに接続されると、アプライアンスは、このアプライアンス自体がどのような種類のアプライアンスであるかを示すことなどによって、このアプライアンスについてスマートホームネットワークに知らせ、スマートホームの制御デバイスと自動的に統合することができる。アプライアンスによるスマートホームへのこのような通信は、有線もしくは無線通信プロトコルによって容易にすることができる。スマートホームは、スマート壁面プラグ110によって制御することができる古い従来型の洗濯機/乾燥機、冷蔵庫等の、さまざまな非通信型の従来のアプライアンス140を備えていてもよい。スマートホーム環境100はさらに、スマートハザード検出器104またはスマート壁面スイッチ108によって供給されるIR信号によって制御され得る、IR制御壁面設置型空調装置または他のIR制御デバイス等の、部分的に通信を行なうさまざまな従来のアプライアンス142を備えていてもよい。
【0029】
いくつかの実装例において、スマートホーム環境100は、スマートホーム環境100におけるビデオ監視およびセキュリティを提供するように構成された1つ以上のネットワーク接続カメラ118を含む。カメラ118は、構造物150における在室および/または構造物150における特定の部屋152における在室を判断するために用いられてもよく、このため、人感センサとして機能し得る。たとえば、カメラ118によって取り込まれた映像は、(たとえば特定の部屋152における)構造物150内の占有者の存在を識別するために処理されてもよい。特定の個人は、たとえば、その外見(たとえば身長、顔)および/または動き(たとえば歩行/足取り)に基づいて識別することができる。カメラ118はさらに、1つ以上のセンサ(たとえばIRセンサ、動き検知器)、入力デバイス(たとえば音声を取り込むためのマイク)、および出力デバイス(たとえば、音声を出力するためのスピーカ)を含み得る。いくつかの実装例において、各カメラ118は、昼間モードおよび弱光モード(たとえば夜間モード)で動作するように構成される。いくつかの実装例において、各カメラ118は、当該カメラが弱光モードで動作している間照明を提供するための1つ以上のIR照明器を含む。いくつかの実装例において、カメラ118は、1つ以上の屋外カメラを含む。いくつかの実装例において、屋外カメラは、耐候性および/または太陽光補償等のその他の特徴および/または構成要素を含む。
【0030】
スマートホーム環境100は、それに加えてまたはその代わりに、1つ以上の他の人感センサ(たとえばスマートドアベル106、スマートドアロック120、タッチスクリーン、IRセンサ、マイク、周囲光センサ、動き検出器、スマート常夜灯170など)を含み得る。いくつかの実装例において、スマートホーム環境100は、占有者上に配置されているかまたは占有者に埋込まれたRFIDタグに基づいて、在室を判断する無線周波識別(radio-frequency identification)(RFID)リーダを(たとえば各部屋152またはその一部に)含む。たとえば、RFIDリーダはスマートハザード検出器104に一体化されていてもよい。
【0031】
スマートホーム環境100はまた、物理的な住宅の外側にあるが住宅の近接する地理的範囲内にあるデバイスとの通信を含み得る。たとえば、スマートホーム環境100は、スマートホーム環境100内の他のデバイスに現在のプール温度を伝達する、および/または、プール温度を制御するためのコマンドを受信する、プールヒーターモニタ114を含み得る。同様に、スマートホーム環境100は、スマートホーム環境100内の注水システムに関する情報を伝達し、および/または、そのような注水システムを制御するための制御情報を受信する、注水モニタ116を含み得る。
【0032】
ネットワーク接続により、図1のスマートホームデバイスのうち1つ以上はさらに、ユーザがデバイス付近にいなくても、ユーザが当該デバイスと対話することを可能にし得る。たとえば、ユーザは、コンピュータ(たとえば、デスクトップコンピュータ、ラップトップコンピュータもしくはタブレット)または他の携帯型電子デバイス166(たとえばスマートフォンなどの携帯電話)を用いて、デバイスと通信してもよい。ウェブページまたはアプリケーションは、ユーザからの通信を受信し、通信に基づいてデバイスを制御し、および/または、デバイスの動作に関する情報をユーザに提示するように構成されてもよい。たとえば、ユーザは、デバイス(たとえばストーブ)の現在の設定点温度を見て、コンピュータを用いてこれを調整してもよい。ユーザは、この遠隔通信中に構造物内にいてもよく、または構造物の外にいてもよい。
【0033】
上述のように、ユーザは、ネットワーク接続コンピュータまたは携帯型電子デバイス166を使用してスマートホーム環境100内のスマートデバイスを制御し得る。いくつかの例では、居住者(たとえば、家に住んでいる個人)の何人かまたは全員は、自身のデバイス166をスマートホーム環境100に登録してもよい。このような登録は、居住者および/またはデバイスをその家に関連付けられているものとして認証し、デバイスを使用して家の中のスマートデバイスを制御する許可を居住者に与えるために中央サーバにおいて実行されてもよい。居住者は、居住者が就業中であるかまたは休暇中であるときなどに、自身の登録されたデバイス166を使用して家のスマートデバイスを遠隔制御することもできる。居住者は、居住者が家の中のカウチに座っているときなど、居住者が家の中に実際にいるときに、登録されたデバイスを使用してスマートデバイスを制御することもできる。デバイス166を登録する代わりに、または登録することに加えて、スマートホーム環境100は、どの個人がその家に住んでいるか、したがって居住者であるか、かつ、どのデバイス166がそれらの個人に関連付けられているかに関して推論し得ることが理解されるはずである。そのため、スマートホーム環境は、誰が居住者であるかを「学習」し、それぞれの個人に関連付けられているデバイス166が家のスマートデバイスを制御することを許可する。
【0034】
いくつかの実装例において、処理および検知機能を備えることに加えて、デバイス102、104、106、108、110、112、114、116、118、120および/または122(まとめて「スマートデバイス」と呼ぶ)は、他のスマートデバイス、中央サーバもしくはクラウドコンピューティングシステムおよび/またはネットワーク接続されている他のデバイスに対して、データ通信および情報共有を行なうことができる。データ通信は、さまざまなカスタムもしくは標準の無線プロトコル(たとえばIEEE802.15.4、Wi-Fi、ZigBee(登録商標)、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.5A、WirelessHART、MiWiなど)、および/またはさまざまなカスタムもしくは標準の有線プロトコル(たとえばEthernet(登録商標)、HomePlugなど)、または、この明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他の好適な通信プロトコルを用いて実行することができる。
【0035】
いくつかの実装例において、スマートデバイスは、無線リピータまたは有線リピータとして機能する。いくつかの実装例において、スマートデバイスのうちの第1のスマートデバイスは、スマートデバイスのうちの第2のスマートデバイスと、無線ルータ160を介して通信する。スマートデバイスはさらに、インターネット162等のネットワークへの接続(たとえばネットワークインターフェイス160)を介して互いに通信し得る。インターネット162を通じて、スマートデバイスは、サーバシステム164(本明細書では中央サーバシステムおよび/またはクラウドコンピューティングシステムとも呼ぶ)と通信し得る。サーバシステム164は、スマートデバイスに関連付けられた製造業者、サポートエンティティまたはサービスプロバイダに関連付けられてもよい。いくつかの実装例において、ユーザは、電話またはインターネット接続されたコンピュータ等の他の通信手段を使用しなくても、スマートデバイス自体を使用してカスタマサポートとコンタクトすることができる。いくつかの実装例において、ソフトウェア更新は、(たとえば利用可能になったとき、購入したとき、または定期的間隔で)サーバシステム164からスマートデバイスに自動的に送信される。
【0036】
いくつかの実装例において、ネットワークインターフェイス160は従来のネットワークデバイス(たとえばルータ)を含み、図1のスマートホーム環境100は、ネットワーク162に直接またはネットワークインターフェイス160を介して通信可能に結合されたハブデバイス180を含む。ハブデバイス180はさらに、上述のインテリジェント型マルチセンサネットワーク接続デバイス(たとえばスマートホーム環境100におけるスマートデバイス)のうちの1つ以上のデバイスに通信可能に結合される。これらのスマートデバイスの各々は、任意で、少なくともスマートホーム環境100において利用可能な1つ以上の無線通信ネットワーク(たとえばZigBee、Z-Wave、Insteon、Bluetooth、Wi-Fiおよび他の無線通信ネットワーク)を用いて、ハブデバイス180と通信する。いくつかの実装例においてブデバイス180および当該ハブデバイスと結合/に結合されたデバイスは、スマートフォン、家庭用コントローラ、ラップトップ、タブレットコンピュータ、ゲーム機または同様の電子デバイス上で実行されるアプリケーションを介して制御および/または対話可能である。いくつかの実装例において、このようなコントローラアプリケーションのユーザは、ハブデバイスまたは結合されたスマートデバイスの状態を視認することができ、ホームネットワークに新たに導入されたスマートデバイスと相互動作するようにハブデバイスを構成することができ、新たなスマートデバイスに権限委任することができ、接続されたスマートデバイスの設定を調整または視認すること等ができる。いくつかの実装例においてブデバイスは、同じタイプの高性能スマートデバイスの能力に一致させるように低性能スマートデバイスの能力を拡張し、複数の異なるデバイスタイプの機能を異なる通信プロトコルにわたっても統合し、かつ、新たなデバイスの追加およびハブデバイスの権限委任を能率化するように構成されている。いくつかの実装例においてブデバイス180はさらに、スマートホーム環境100のスマートデバイスに関するデータまたはスマートホーム環境100のスマートデバイスによって出力されたデータを格納するためのローカルストレージデバイスを含む。いくつかの実装例において、このデータは、カメラデバイスによって出力されたビデオデータ、スマートデバイスによって出力されたメタデータ、スマートデバイスの設定情報、スマートデバイスの使用ログなど、のうちの1つ以上を含む。
【0037】
いくつかの実装例において、スマートホーム環境100は、スマートホーム環境100のスマートデバイスに関するデータまたはスマートホーム環境100のスマートデバイスによって出力されたデータを格納するためのローカルストレージデバイス190を含む。いくつかの実装例において、このデータは、カメラデバイス(たとえばカメラ118)によって出力されたビデオデータ、スマートデバイスによって出力されたメタデータ、スマートデバイスの設定情報、スマートデバイスの使用ログなど、のうちの1つ以上を含む。いくつかの実装例において、ローカルストレージデバイス190は、スマートホームネットワーク(たとえばスマートホームネットワーク202、図2A)を介して1つ以上のスマートデバイスに通信可能に結合される。いくつかの実装例において、ローカルストレージデバイス190は、有線および/または無線通信ネットワークを介して1つ以上のスマートデバイスに選択的に結合される。いくつかの実装例において、ローカルストレージデバイス190は、外部ネットワーク条件が不良である場合にビデオデータを格納するために用いられる。たとえば、ローカルストレージデバイス190は、カメラ118の符号化ビットレートが外部ネットワーク(たとえばネットワーク162)の利用可能帯域幅を上回る場合に用いられる。いくつかの実装例において、ローカルストレージデバイス190は、サーバシステム(たとえばサーバシステム164)にビデオデータを転送する前に、1つ以上のカメラ(たとえばカメラ118)からのビデオデータを一時的に格納する。
【0038】
図2Aは、いくつかの実装例に係る、スマートホームネットワーク202を含む代表的なネットワークアーキテクチャ200を示すブロック図である。いくつかの実装例において、スマートホーム環境100におけるスマートデバイス204(たとえばデバイス102、104、106、108、110、112、114、116、118、120および/または122)は、スマートホームネットワーク202においてメッシュネットワークを作成するようにハブデバイス180と組合わされる。いくつかの実装例において、スマートホームネットワーク202における1つ以上のスマートデバイス204はスマートホームコントローラとして動作する。それに加えておよび/またはその代わりに、ハブデバイス180はスマートホームコントローラとして動作する。いくつかの実装例において、スマートホームコントローラは他のスマートデバイスよりも多くの計算能力を有する。いくつかの実装例において、スマートホームコントローラは(たとえばスマートデバイス204、電子デバイス166および/またはサーバシステム164からの)入力を処理するとともに、スマートホーム環境100の動作を制御することを求めるコマンドを(たとえばスマートホームネットワーク202におけるスマートデバイス204に)送信する。いくつかの実装例において、スマートホームネットワーク202における(たとえばメッシュネットワークにおける)スマートデバイス204のうちのいくつかは、「スポークスマン」ノード(たとえば204-1)であり、他のスマートデバイス204は「低電力」ノード(たとえば204-9)である。スマートホーム環境100におけるスマートデバイスのうちのいくつかは電池を動力源とするが、他のスマートデバイスは、スマートホーム環境の壁154の背後の配線(たとえば120Vの線間電圧線)への接続などにより、通常の信頼性の高い電源を有する。通常の信頼性の高い電源を有するスマートデバイスを「スポークスマン」ノードと呼ぶ。これらのノードは、典型的に、スマートホーム環境100における他のさまざまなデバイスとの、さらにはサーバシステム164との双方向通信を円滑にする無線プロトコルを使用する能力を備える。いくつかの実装例において、1つ以上の「スポークスマン」ノードがスマートホームコントローラとして動作する。他方で、電池を動力源とするデバイスは「低電力」ノードである。これらのノードは、スポークスマンノードよりも小型となる傾向があり、典型的には、Zigbee、ZWave、6LoWPAN、Thread、Bluetooth等の、極わずかな電力しか必要としない無線プロトコルを使用して通信するだけである。
【0039】
いくつかの実装例において、いくつかの低電力ノードは双方向通信を行なうことができない。これらの低電力ノードはメッセージを送信するが「聴く」ことはできない。そのため、スポークスマンノード等の、スマートホーム環境100内の他のデバイスは、これらの低電力ノードに情報を送信することができない。
【0040】
いくつかの実装例において、いくつかの低電力ノードはごく限られた双方向通信しか行なうことができない。たとえば、他のデバイスは一定期間中にのみ低電力ノードと通信することができる。
【0041】
上述のように、いくつかの実装例において、スマートデバイスは、低電力ノードおよびスポークスマンノードとして機能して、スマートホーム環境100内でメッシュネットワークを形成する。いくつかの実装例において、スマートホーム環境内の個々の低電力ノードは、何を感知しているかに関するメッセージを定期的に送出し、スマートホーム環境内の他の低電力ノードは、それら自体のメッセージを送出することに加えて、それらのメッセージを転送し、これにより、スマートホーム環境202全体にわたってノード間で(すなわちデバイス間で)メッセージを移送させる。いくつかの実装例において、スマートホームネットワーク202におけるスポークスマンノードは、IEEE802.11等の比較的高電力の通信プロトコルを用いて通信することができるものであるが、IEEE802.15.4等の比較的低電力の通信プロトコルに切換えて、これらのメッセージを受信し、これらのメッセージを他の通信プロトコルに変換して、変換されたメッセージを(たとえば比較的高電力の通信プロトコル用いて)他のスポークスマンノードおよび/またはサーバシステム164に送信することができる。こうして、低電力通信プロトコルを使用する低電力ノードは、スマートホーム環境202全体にわたって、さらにはインターネット162を介して、メッセージをサーバシステム164に送信および/または受信することができる。いくつかの実装例において、メッシュネットワークは、サーバシステム164が、定期的に家の中のスマートデバイスの大多数またはすべてからデータを受信し、データに基づき推論を行ない、スマートホームネットワーク202の内部または外部にあるデバイスにわたる状態同期を促進して、スマートホーム環境においてタスクを実行することを求めるコマンドをスマートデバイスのうちの1つ以上に送信することを可能にする。
【0042】
上述のように、スポークスマンノードと、低電力ノードのうちのいくつかとは「聴く」ことができる。したがって、ユーザ、他のデバイスおよび/またはサーバシステム164は低電力ノードに制御コマンドを伝達し得る。たとえば、ユーザは、電子デバイス166(たとえばスマートフォン)を用いて、インターネットを介してコマンドをサーバシステム164に送信してもよく、次いで、サーバシステム164が、スマートホームネットワーク202における1つ以上のスポークスマンノードにコマンドを中継する。スポークスマンノードは、低電力プロトコルを用いて、コマンドを、スマートホームネットワーク202全体を通して低電力ノードに伝達し得るとともに、サーバシステム164からコマンドを直接受信しなかった他のスポークスマンノードにも伝達し得る。
【0043】
いくつかの実装例において、スマートデバイス204の一例であるスマート常夜灯170(図1)は低電力ノードである。スマート常夜灯170は、光源を収容することに加えて、超音波またはパッシブIRセンサ等の人感センサと、フォトレジスタまたは室内の光を測定する単一ピクセルセンサなどの周囲光センサとを収容する。いくつかの実装例において、スマート常夜灯170は、室内が暗いことを周囲光センサが検出したときに、かつ、室内に誰か居ることを人感センサが検出したときに、光源を作動させるように構成される。他の実装例において、スマート常夜灯170は、単に、室内が暗いことをその周囲光センサが検出したときに光源を作動させるように構成される。さらに、いくつかの実装例において、スマート常夜灯170は低電力無線通信チップ(たとえばZigBeeチップ)を備える。低電力無線通信チップは、室内に人が居ることを人感センサが検出するのと同時に発生する瞬時メッセージを含む、在室状態および室内の光量に関するメッセージを定期的に送出する。上述のように、これらのメッセージは無線で(たとえば、メッシュネットワークを使用して)スマートホーム環境202内のノード間(すなわち、スマートデバイス間)で、さらにはインターネット162を介してサーバシステム164に送信され得る。
【0044】
低電力ノードの他の例として、電池作動型のスマートハザード検出器104がある。これらのスマートハザード検出器104は、一定の信頼性の高い電力にアクセスできない区域内に配置されることが多く、煙/火炎/熱センサ(たとえば、熱放射センサ)、一酸化炭素/二酸化炭素センサ、人感/モーションセンサ、周囲光センサ、周囲温度センサ、湿度センサ等の任意の数および種類のセンサを備え得る。さらに、スマートハザード検出器104は、任意で、上述されるようなメッシュネットワークを使用することなどによって、各センサにそれぞれ対応するメッセージを他のデバイスおよび/またはサーバシステム164に送信する。
【0045】
スポークスマンノードの例として、スマートドアベル106、スマートサーモスタット102、スマート壁面スイッチ108、およびスマート壁面プラグ110が挙げられる。これらのデバイスは、信頼性の高い電源の近くに配置されてこれに接続されることが多く、したがって、さまざまなプロトコルでの双方向通信が可能な1つ以上の通信チップ等の、電力をより消費する構成要素を含み得る。
【0046】
いくつかの実装例において、スマートホーム環境100は、自律した態様で、さまざまな家事タスクを実行するように構成されたサービスロボット168(図1)を含む。
【0047】
図1を参照しながら説明したように、いくつかの実装例において、図1のスマートホーム環境100は、直接またはネットワークインターフェイス160を介してネットワーク162に通信可能に結合されるハブデバイス180を含む。ハブデバイス180はさらに、少なくともスマートホーム環境100において利用可能な無線通信ネットワークを用いて、スマートデバイスのうちの1つ以上と通信可能に結合される。無線通信ネットワークによって用いられる通信プロトコルは、ZigBee、Z-Wave、Insteon、EuOcean、Thread、OSIAN、Bluetooth低エネルギなどを含むが、これらに限定されない。いくつかの実装例において、ハブデバイス180は、ネットワークインターフェイス160またはネットワーク162のデータフォーマット要件を満たすために各々のスマートデバイスから受信したデータを変換するだけでなく、対象とされたスマートデバイスに関連付けられたそれぞれの通信プロトコルのデータフォーマット要件を満たすためにネットワークインターフェイス160またはネットワーク162から受信した情報も変換する。いくつかの実装例において、ハブデバイス180は、データフォーマット変換に加えて、さらに、スマートデバイスから受信したデータ、または、ネットワークインターフェイス160もしくはネットワーク162から予備的に受信した情報を処理する。たとえば、ハブデバイス180は、(同じタイプおよび/または異なるタイプのセンサ/デバイスを含む)複数のセンサ/接続されたデバイスからの入力を統合して、それらの入力に対してより高レベルの処理を実行することができ、(たとえば全体的な環境を評価してさまざまなセンサ/デバイス間での動作を連係させることができ)、および/または、入力の集合およびプログラムされた処理に基づいてさまざまなデバイスに命令を与えることができる。いくつかの実装例において、ネットワークインターフェイス160およびハブデバイス180が1つのネットワークデバイスに一体化されることも注目される。本明細書に記載の機能は、スマートデバイス、(スマートフォン等の)代表的な電子デバイス上で実行される制御アプリケーション、ハブデバイス180、および、インターネットまたは他のワイドエリアネットワークを介してハブデバイスに結合されたサーバの、特定の実装例を表している。この機能および関連する動作のすべてまたは一部は、上述のシステムのいずれかの要素によって実行することができ、たとえば、ハブデバイスの実装例によって実行されるものとして本明細書に記載されている機能のすべてまたは一部は、さまざまなシステム実装例において、サーバ上、1つ以上の接続されたスマートデバイス上および/もしくは制御アプリケーション上またはそれらのさまざまな組合わせ上、において全体的または部分的に実行することができる。
【0048】
図2Bは、ビデオカメラ118が取り込んだビデオストリームにおけるイベント(たとえば動き、音声、セキュリィティなど)をモニタリングしそのレビューを容易にするためのデータ処理をサーバシステム164が提供する、代表的な動作環境を示す。図2Bに示されるように、サーバシステム164は、さまざまな物理的場所(たとえば、住居、レストラン、店舗、街路、駐車場、および/または図1のスマートホーム環境100の内部)に位置するビデオソース222(カメラ118を含む)からのビデオデータを受信する。各ビデオソース222は、1つ以上のレビュアーアカウントに結び付けることができ、サーバシステム164は、ビデオソース222に関するビデオモニタリングデータを、レビュアーアカウントに関連付けられたクライアントデバイス220に提供する。たとえば、携帯型電子デバイス166はクライアントデバイス220の一例である。いくつかの実装例において、サーバシステム164は、ビデオ処理サービスをビデオソースおよびクライアントデバイス220に提供するビデオ処理サーバである。
【0049】
いくつかの実装例において、ビデオソース222の各々は1つ以上のビデオカメラ118を含む。1つ以上のビデオカメラ118は、ビデオを取込んで、取込んだビデオを実質的にリアルタイムでサーバシステム164に送信する。いくつかの実装例において、ビデオソース222の各々は、1つ以上のカメラ118とサーバシステム164との間の媒介として機能するコントローラデバイス(図示せず)を含む。コントローラデバイスは、1つ以上のカメラ118からビデオデータを受信し、任意で、ビデオデータに対していくつかの予備的処理を実行し、1つ以上のカメラ118の代わりに、ビデオデータをサーバシステム164に実質的にリアルタイムで送信する。いくつかの実装例において、各カメラは、(予備的処理によって取得されたメタデータとともに)処理されたビデオデータをコントローラデバイスおよび/またはサーバシステム164に送信する前に、取込まれたビデオデータに対していくつかの予備的処理を実行するための処理能力がそれ自体に内蔵されている。
【0050】
いくつかの実装例に従うと、クライアントデバイス220の各々はクライアント側モジュールを含む。クライアント側モジュールは、1つ以上のネットワーク162を介してサーバシステム164上で実行されるサーバ側モジュールと通信する。クライアント側モジュールは、イベントモニタリングおよびレビュー処理のためのクライアント側機能を備えており、サーバ側モジュールと通信する。サーバ側モジュールは、各々が対応するクライアントデバイス220上に常駐している任意の数のクライアント側モジュールについてのイベントモニタリングおよびレビュー処理のためのサーバ側機能を提供する。サーバ側モジュールはまた、任意の数の制御デバイスおよびカメラ118を含む任意の数のビデオソース222についてのビデオ処理およびカメラ制御のためのサーバ側機能を提供する。
【0051】
いくつかの実装例において、サーバシステム164は、1つ以上のプロセッサ212と、ビデオストレージデータベース210と、アカウントデータベース214と、1つ以上のクライアントデバイス216に対するI/Oインターフェイスと、1つ以上のビデオソース218に対するI/Oインターフェイスとを含む。1つ以上のクライアント216に対するI/Oインターフェイスは、クライアント向けの入出力処理を容易にする。アカウントデータベース214は、ビデオ処理サーバに登録されたレビュアーアカウントについての複数のプロファイルを格納する。この場合、それぞれのユーザプロファイルは、それぞれのレビュアーアカウントについてのアカウントクレデンシャルと、それぞれのレビュアーアカウントにリンクされた1つ以上のビデオソースとを含む。1つ以上のビデオソース218に対するI/Oインターフェイスは、1つ以上のビデオソース222(たとえば1つ以上のカメラ118および関連するコントローラデバイスのグループ)との通信を容易にする。ビデオストレージデータベース210は、各レビュアーアカウントごとに、イベントモニタリングおよびレビューのためのデータ処理に使用する、モーションイベント、イベントカテゴリ、イベントカテゴリモデル、イベントフィルタおよびイベントマスク等のさまざまなタイプのメタデータだけでなく、ビデオソース222から受信した生ビデオデータも格納する。
【0052】
代表的なクライアントデバイス220の例は、ハンドヘルドコンピュータ、ウェアラブルコンピューティングデバイス、携帯情報端末(personal digital assistant:PDA)、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、スマートフォン、高速汎用パケット無線サービス(enhanced general packet radio service:EGPRS)携帯電話、メディアプレイヤ、ナビゲーションデバイス、ゲーム機、テレビ、リモートコントロール、店舗販売時点情報管理(point-of-sale:POS)端末、車載コンピュータ、電子書籍リーダ、またはこれらのデータ処理デバイスもしくは他のデータ処理デバイスのうちのいずれか2つ以上の組合せ、を含む。
【0053】
1つ以上のネットワーク162の例は、インターネット等のローカルエリアネットワーク(local area network:LAN)およびワイドエリアネットワーク(wide area network:WAN)を含む。1つ以上のネットワーク162は、Ethernet、ユニバーサルシリアルバス(Universal Serial Bus:USB)、FIREWIRE(登録商標)、ロングタームエボリューション(Long Term Evolution:LTE)、グローバル移動体通信システム(Global System for Mobile Communications:GSM(登録商標))、高度データGSM環境(Enhanced Data GSM Environment:EDGE)、符号分割多元接続(code division multiple access:CDMA)、時分割多元接続(time division multiple access:TDMA)、Bluetooth、Wi-Fi、ボイス・オーバ・インターネット・プロトコル(voice over Internet Protocol:VoIP)、Wi-MAX、または任意の他の好適な通信プロトコル等の、さまざま有線または無線プロトコルを含む、いずれかの公知のネットワークプロトコルを用いて実現される。
【0054】
いくつかの実装例において、サーバシステム164は、1つ以上のスタンドアロンのデータ処理装置上で、またはコンピュータの分散型ネットワーク上で実現される。いくつかの実装例において、サーバシステム164はまた、サーバシステム164の基礎的コンピューティングリソースおよび/またはインフラストラクチャリソースを提供するために、さまざまな仮想デバイスおよび/または第三者サービスプロバイダ(たとえば第三者クラウドサービスプロバイダ)のサービスを用いる。いくつかの実装例において、サーバシステム164は、サーバコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、またはこれらデータ処理デバイスもしくは他のデータ処理デバイスのうちのいずれか2つ以上の組合せ、を含むがこれらに限定されない。
【0055】
図2Bに示されるサーバ-クライアント環境は、クライアント側部分(たとえばクライアント側モジュール)およびサーバ側部分(たとえばサーバ側モジュール)双方を含む。動作環境におけるクライアント部分とサーバ部分との間における機能の分配は実装例によって異なり得る。同様に、ビデオソース222とサーバシステム164との間における機能の分配も実装例によって異なり得る。たとえば、いくつかの実装例において、クライアント側モジュールはシン・クライアントであって、ユーザ向けの入出力処理機能を提供するだけであり、他のすべてのデータ処理機能はバックエンドサーバ(たとえば、サーバシステム164)に委任するものである。同様に、いくつかの実装例において、ビデオソース222のそれぞれは、単純なビデオ取込みデバイスであって、ビデオデータに対するローカルな予備的処理をなくしたり制限したりすることなく、ビデオデータを連続的に取込んでサーバシステム164に送り込む。この技術の多くの側面をサーバシステム164の観点から説明しているが、クライアントデバイス220および/またはビデオソース222によって実行される対応する動作は当業者には明らかであろう。同様に、この技術のいくつかの側面をクライアントデバイスまたはビデオソースの観点から説明することもでき、ビデオサーバによって実行される対応する動作は当業者には明らかであろう。さらに、この技術のいくつかの側面は、サーバシステム164、クライアントデバイス220およびビデオソース222によって協働して実行されてもよい。
【0056】
いくつかの実装例において、ビデオソース222(たとえばカメラ118)は、1つ以上のビデオデータストリームをサーバシステム164に送信する。いくつかの実装例において、上記1つ以上のストリームは、カメラ118によって取り込まれた生ビデオの、それぞれの解像度および/またはフレームレートを有する複数のストリームを含み得る。いくつかの実装例において、上記複数のストリームは、カメラ118によって取り込まれた生ビデオに対応する、特定の解像度およびフレームレートを有する「プライマリ」ストリームと、その他1つ以上のストリームとを含み得る。その他のストリームは、解像度および/またはフレームレートは異なるが「プライマリ」ストリームと同一のビデオストリーム、または、「プライマリ」ストリームと同一のまたは異なる解像度および/またはフレームレートの「プライマリ」ストリームの一部を取り込むストリーム(たとえばプライマリストリームの視野または画素の一部を含むように切り取られたもの)、であってもよい。
【0057】
いくつかの実装例において、上記ストリームのうちの1つ以上は、ビデオソース222から直接クライアントデバイス220に(たとえばサーバシステム164に送られることなくまたはサーバシステム164によって処理されることなく)送られる。いくつかの実装例において、上記ストリームのうちの1つ以上はカメラ118(たとえばメモリ406、図4)および/またはデジタルビデオレコーダ(digital video recorder:DVR)等のローカルストレージデバイスに、格納される。たとえば、いくつかの実装例に従うと、カメラ118は、当該カメラが記録したビデオの場面の直近24時間分を格納する。いくつかの実装例において、1つ以上のストリームの一部は、カメラ118および/またはローカルストレージデバイス(たとえば対象とされる特定のイベントまたは時間に対応する部分)に格納される。
【0058】
いくつかの実装例において、サーバシステム164は、1つ以上のビデオデータストリームをクライアントデバイス220に送信することにより、ユーザによるイベントモニタリングを容易にする。いくつかの実装例において、上記1つ以上のストリームは、同じビデオフィードの、それぞれの解像度および/またはフレームレートを有する複数のストリームを含み得る。いくつかの実装例において、上記複数のストリームは、ビデオフィードに対応する、特定の解像度およびフレームレートを有する「プライマリ」ストリームと、その他1つ以上のストリームとを含み得る。その他のストリームは、解像度および/またはフレームレートは異なるが「プライマリ」ストリームと同一のビデオストリーム、または、「プライマリ」ストリームと同一のまたは異なる解像度および/またはフレームレートの「プライマリ」ストリームの一部を示すストリーム(たとえばプライマリストリームの視野または画素の一部を含むように切り取られたもの)、であってもよい。詳細は米国特許出願第15/594,518号に記載の通りである。
【0059】
図3Aは、いくつかの実装例に係るサーバシステム164を示すブロック図である。サーバシステム164は、典型的に、1つ以上の処理ユニット(CPU)302と、(たとえば1つ以上のクライアントデバイスに対するI/Oインターフェイスおよび1つ以上の電子デバイスに対するI/Oインターフェイスを含む)1つ以上のネットワークインターフェイス304と、メモリ306と、これらのコンポーネント(チップセットと呼ばれることもある)を相互接続するための1つ以上の通信バス308とを含む。メモリ306は、DRAM、SRAM、DDR RAMまたは他のラングムアクセスソリッドステートメモリデバイス等の高速ランダムアクセスメモリを含み、任意で、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイス等の不揮発性メモリを含む。メモリ306は、任意で、1つ以上の処理ユニット302から離れた場所に位置する1つ以上のストレージデバイスを含む。メモリ306、または代替的にメモリ306内の不揮発性メモリは、非一時的なコンピュータ読取可能記憶媒体を含む。いくつかの実装例において、メモリ306またはメモリ306の非一時的なコンピュータ読取可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットを格納する。
●さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含むオペレーティングシステム310。
●1つ以上のネットワークインターフェイス304を介して(有線または無線で)サーバシステム164を他のシステムおよびデバイス(たとえばクライアントデバイス、電子デバイス、および1つ以上のネットワーク162に接続されたシステム)に接続するためのネットワーク通信モジュール312。
●デバイス制御、データ処理およびデータレビューのためのサーバ側機能を提供するサーバ側モジュール314。サーバ側モジュール314は以下のものを含むがそれらに限定されない。
【0060】
〇電子デバイスからデータ(たとえばカメラ118からビデオデータ、図1)をハブデバイス180を介して受信し、データストレージデータベース3160におけるさらなる処理および格納のために受信データを準備するためのデータ受信モジュール3140。
【0061】
〇電子デバイス(たとえばスマートホーム環境100のデバイス)の動作モードを変更するためのサーバ主導の制御コマンドを生成して送信するための、および/または、電子デバイスの動作モードを変更するためのユーザ主導の制御コマンドを(たとえばクライアントデバイス220から)受信して転送するための、ハブおよびデバイス制御モジュール3142。
【0062】
〇電子デバイスによって提供されるデータを処理するための、および/または、処理されたデータを準備してレビューのためにデバイス(たとえばユーザがレビューするためにクライアントデバイス220)に送信するためのデータ処理モジュール3144。データ処理モジュール3144は以下のものを含むがそれらに限定されない。
【0063】
・イベント候補および/または受信したビデオストリーム(たとえばカメラ118からのビデオストリーム)内のイベントを処理するためのイベントプロセッササブモジュール3146。
【0064】
・イベント候補および/または受信したビデオストリーム内のイベントを分類するためのイベントカテゴライザ3148。
【0065】
・ユーザと通信する(たとえば警告、タイムラインイベントなどを送り、ユーザ編集およびゾーン定義などを受信する)ためのユーザインターフェイスサブモジュール3150。
●サーバデータベース316は以下のものを含むがそれらに限定されない。
【0066】
〇各ユーザアカウントの各電子デバイス(たとえば各カメラ)に関連付けられたデータ、ならびに、データ処理モデル、データ処理結果、および、当該データに関連付けられた他の関連するメタデータ(たとえばデータ結果の名前、電子デバイスの位置、作成時間、期間、電子デバイスの設定など)を格納するためのデータストレージデータベース3160。この場合、(任意で)ハブデバイス180またはスマートデバイスに関連付けられたデータおよび/または処理のすべてまたは一部が安全に格納される。
【0067】
〇ユーザプロファイル3163等のユーザアカウント情報を含むユーザアカウントについてのアカウント情報、リンクされたハブデバイスおよび電子デバイスについての情報および設定(たとえばハブデバイス識別)、ハブデバイス特有の秘密、関連するユーザおよびハードウェアの特徴(たとえばサービス層、デバイスモデル、記憶容量、処理能力など)、ユーザインターフェイス設定、データレビュープリファレンスなどを格納するためのアカウントデータベース3162。この場合、関連する電子デバイスについての情報は、1つ以上のデバイス識別子(たとえばMACアドレスおよびUUID)、デバイス特有の秘密、および表示されたタイトルを含むがこれらに限定されない。
【0068】
〇対応するハブデバイスがいずれかのユーザアカウントに関連付けられているか否かとは関係なく、デバイスプロファイル3165等の1つ以上のデバイスに関するデバイス情報、たとえばデバイス識別子およびハブデバイス特有の秘密、を格納するためのデバイス情報データベース3164。
【0069】
〇イベント記録3168等のイベント情報、たとえばイベントログ情報、イベントカテゴリなどを格納するためのイベント情報データベース3166。
【0070】
上記識別された要素の各々は、上述のメモリデバイスのうちの1つ以上に格納されてもよく、上記機能を実行するための1セットの命令に対応している。上記識別されたモジュールまたはプログラム(すなわち命令のセット)は、別々のソフトウェアプログラム、手順またはモジュールとして実現される必要はなく、このため、これらのモジュールのさまざまなサブセットは、さまざまな実装例において組合わされてもよく、そうでなければ再配置されてもよい。いくつかの実装例において、メモリ306は、任意で、先に述べたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ306は、任意で、先に述べていないその他のモジュールおよびデータ構造を格納する。
【0071】
図3Bは、イベント記録3168-i、ユーザプロファイル3163-iおよびデバイスプロファイル3165-iを含む、いくつかの実装例によって用いられるさまざまなデータ構造を示す。イベント記録3168-iは、イベントiおよびイベントiについてのデータに対応する。いくつかの場合において、モーションイベントiについてのデータは、イベントがいつおよび/または如何にして開始されたかを示すイベント開始データ31681と、イベントセグメントデータ31682と、生ビデオデータ31683と、いつおよび/または如何にしてイベントが終了したかを示すイベント終了データ31684と、イベント特徴データ31685と、シーン特徴データ31686と、関連ユーザ情報31687と、関連デバイス情報31688とを含む。いくつかの場合において、イベント記録3168-iは上述のデータのサブセットだけを含む。いくつかの場合において、イベント記録3168-iは、イベント/モーションマスクに関するデータ等の(図示されない)その他のイベントデータを含む。
【0072】
イベント開始データ31681は、タイムスタンプ等の日時情報を含み、任意で、存在するモーションの量、モーション開始場所、存在する音声の量、音声の特徴などといった追加情報を含む。同様に、イベント終了データ31684は、タイムスタンプ等の日時情報を含み、任意で、存在するモーションの量、モーション開始場所、存在する音声の量、音声の特徴などといった追加情報を含む。
【0073】
イベントセグメント31682は、モーションイベントiのセグメント化に関する情報を含む。いくつかの場合において、イベントセグメントは生ビデオデータ31683とは別に格納される。いくつかの場合において、イベントセグメントは生ビデオデータよりも低い表示解像度で格納される。たとえば、イベントセグメントは、任意で、480pまたは780pで格納され、生ビデオデータは1080iまたは1080pで格納される。イベントセグメントをより低い表示解像度で格納することにより、システムは、より少ない時間およびリソースを当てるだけでイベントセグメントを取出して処理することができる。いくつかの場合において、イベントセグメントは別個に格納されておらず、セグメント化情報は、イベントセグメントを再生するための日時情報とともに生ビデオデータ31683を参照することを含む。いくつかの実装例において、イベントセグメントは(たとえばビデオセグメントに対応する)1つ以上の音声セグメントを含む。
【0074】
イベント特徴データ31685は、イベントカテゴライズ/分類、対象物マスク、モーションマスク、識別された/認識された/追跡されたモーション対象物(ブロブと呼ばれることもある)、モーション対象物の特徴に関する情報(たとえば対象物の色、対象物の寸法、速度、サイズ変更など)、対象となっているゾーンにおける活動に関する情報などといった、イベント特徴に関する情報を含む。シーン特徴データ31686は、イベントが行なわれるシーンに関する情報、たとえば、深度マップ情報、窓、テレビ、ファン、天井/床などの位置に関する情報、シーンが屋内か屋外かに関する情報、対象となるゾーンに関する情報などを含む。いくつかの実装例において、イベント特徴データは、音量、ピッチ、特徴化などのような、音声データを含む。
【0075】
関連ユーザ情報31687は、イベントにおいて識別されるユーザ、イベントの通知を受取るユーザなどの、イベントに関連付けられたユーザに関する情報を含む。いくつかの場合において、関連ユーザ情報31687は、ユーザについてのユーザプロファイル3163に対するリンク、ポインタまたは参照を含む。関連デバイス情報31688は、イベントに関与するデバイスまたは複数のデバイス(たとえばイベントを記録したカメラ118)に関する情報を含む。いくつかの場合において、関連デバイス情報31688は、デバイスについてのデバイスプロファイル3165に対するリンク、ポインタまたは参照を含む。
【0076】
ユーザプロファイル3163-iは、ハブデバイス204のユーザ、ハブデバイス204によって識別されたユーザ、ハブデバイス204またはサーバシステム164からの通知を受信するユーザなどの、スマートホームネットワーク(たとえばスマートホームネットワーク202)に関連付けられたユーザiに対応する。いくつかの場合において、ユーザプロファイル3163-iは、ユーザプリファレンス31631、ユーザ設定31632、関連デバイス情報31633、および関連イベント情報31634を含む。いくつかの場合において、ユーザプロファイル3163-iは上述のデータのサブセットだけを含む。いくつかの場合において、ユーザプロファイル3163-iは、ユーザiに関連付けられた他のユーザに関する情報などの付加的なユーザ情報(図示せず)を含む。
【0077】
ユーザプリファレンス31631は、ユーザによって入力される明確なユーザプリファレンス、ならびに、システム(たとえばサーバシステム164および/またはクライアントデバイス220)によって判断される暗黙的および/または推量されたユーザプリファレンスを含む。いくつかの場合において、推量されたユーザプリファレンスは、履歴ユーザ活動および/または他のユーザの履歴活動に基づいている。ユーザ設定31632は、通知設定、デバイス設定などの、ユーザiによって設定される設定に関する情報を含む。いくつかの場合において、ユーザ設定31632は、ユーザiに関連付けられたデバイスのためのデバイス設定を含む。
【0078】
関連デバイス情報31633は、ユーザのスマートホーム環境100におけるデバイスおよび/またはクライアントデバイス220などの、ユーザiに関連付けられたデバイスに関する情報を含む。いくつかの場合において、関連デバイス情報31633は、対応するデバイスプロファイル3165に対するリンク、ポインタまたは参照を含む。関連イベント情報31634は、ユーザiが識別されたイベント、ユーザiに通知がなされたイベント、ユーザiのスマートホーム環境100に対応するイベント等の、ユーザiに関連付けられたイベントに関する情報を含む。いくつかの場合において、関連イベント情報31634は、対応するイベント記録3168に対するリンク、ポインタまたは参照を含む。
【0079】
デバイスプロファイル3165-iは、ハブデバイス204、カメラ118、クライアントデバイス220などの、スマートホームネットワーク(たとえばスマートホームネットワーク202)に関連付けられたデバイスiに対応している。いくつかの場合において、デバイスプロファイル3165-iは、デバイス設定31651、関連デバイス情報31652、関連ユーザ情報31653、関連イベント情報31654、および環境データ31655を含む。いくつかの場合において、デバイスプロファイル3165-iは上述のデータのサブセットのみを含む。いくつかの場合において、デバイスプロファイル3165-iは、デバイスがその時点でアクティブであるか否かに関する情報等の付加的なデバイス情報(図示せず)を含む。
【0080】
デバイス設定31651は、位置情報、動作モード情報などの、デバイスiのその時点での設定に関する情報を含む。いくつかの場合において、デバイス設定31651は、ユーザ固有のものであって、デバイスiのそれぞれのユーザによって設定される。関連デバイス情報31652は、デバイスiにリンクされた他のデバイスおよび/またはデバイスiと同じスマートホームネットワークにおける他のデバイス等の、デバイスiに関連付けられた他のデバイスに関する情報を含む。いくつかの場合において、関連デバイス情報31652は、関連デバイスに対応するそれぞれのデバイスプロファイル3165に対するリンク、ポインタまたは参照を含む。
【0081】
関連ユーザ情報31653は、デバイスから通知を受信するユーザ、デバイスに登録されたユーザ、デバイスのスマートホームネットワークに関連付けられたユーザ等の、デバイスに関連付けられたユーザに関する情報を含む。いくつかの場合において、関連ユーザ情報31653は、関連付けられたユーザに対応するユーザプロファイル3163に対するリンク、ポインタまたは参照を含む。
【0082】
関連イベント情報31654は、デバイスiを伴う履歴イベント等の、デバイスiに関連付けられたイベントに関する情報を含む。いくつかの場合には、関連イベント情報31654は、関連付けられたイベントに対応するイベント記録3168に対するリンク、ポインタまたは基準を含む。
【0083】
環境データ31655は、デバイスiの環境に関する情報、たとえば、デバイスが屋外にあるか屋内にあるかに関する情報、環境の光レベルに関する情報、環境において予想される活動の量に関する情報(たとえばデバイスが個人住宅にあるか賑やかな商業用地にあるかに関する情報)、環境上の対象物に関する情報(たとえばカメラについての深度マッピング情報)などを含む。
【0084】
図4は、いくつかの実装例に係る代表的なスマートデバイス204を示すブロック図である。いくつかの実装例において、スマートデバイス204(たとえばスマートホーム環境100の任意のデバイス、図1)は、1つ以上の処理ユニット(たとえばCPU、ASIC、FPGA、マイクロプロセッサなど)402と、1つ以上の通信インターフェイス404と、メモリ406と、無線機440を備える通信モジュール442と、これらのコンポーネント(チップセットと呼ばれることもある)を相互に接続するための1つ以上の通信バス408とを含む。いくつかの実装例において、ユーザインターフェイス410は、1つ以上のスピーカおよび/または1つ以上の視覚ディスプレイを含む、メディアコンテンツの提供を可能にする1つ以上の出力デバイス412を含む。いくつかの実装例において、ユーザインターフェイス410はまた、ユーザ入力を容易にするユーザインターフェイスコンポーネント、たとえばキーボード、マウス、音声コマンド入力ユニットもしくはマイク、タッチスクリーンディスプレイ、タッチセンサー式入力パッド、ジェスチャ取込カメラ、または他の入力ボタンもしくは制御部を含む、1つ以上の入力デバイス414を含む。さらに、いくつかのスマートデバイス204は、キーボードを補完するためまたはキーボードの代わりに、マイクと音声認識、またはカメラとジェスチャ認識を用いる。いくつかの実装例において、スマートデバイス204は、1つ以上の画像/ビデオ取込デバイス418(たとえばカメラ、ビデオカメラ、スキャナ、光検出器ユニット)を含む。
【0085】
内蔵センサ490は、たとえば、1つ以上の熱放射センサ、周囲温度センサ、湿度センサ、IRセンサ、(たとえばRFIDセンサを用いる)人感センサ、周囲光センサ、モーション検出器、加速度計、および/またはジャイロスコープを含む。
【0086】
無線機440は、スマートホーム環境における1つ以上の無線通信ネットワークを可能にし、スマートデバイス204が他のデバイスと通信できるようにする。いくつかの実装例において、無線機440は、さまざまなカスタムもしくは標準無線プロトコル(たとえばIEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.5A、WirelessHART、MiWiなど)、カスタムもしくは標準有線プロトコル(たとえばEthernet、HomePlugなど)、および/または、本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他のいずれかの好適な通信プロトコル、を用いてデータ通信することができる。
【0087】
通信インターフェイス404は、たとえば、さまざまなカスタムもしくは標準無線プロトコル(たとえばIEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.5A、WirelessHART、MiWiなど)、および/またはさまざまなカスタムもしくは標準有線プロトコル(たとえばEthernet、HomePlugなど)、または、本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む他のいずれかの好適な通信プロトコルを用いてデータ通信を行うことができるハードウェアを含む。
【0088】
メモリ406は、DRAM、SRAM、DDR RAMまたは他のラングムアクセスソリッドステートメモリデバイス等の高速ランダムアクセスメモリを含み、任意で、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイス等の不揮発性メモリを含む。メモリ406、または代替的にメモリ406内の不揮発性メモリは、非一時的なコンピュータ読取可能記憶媒体を含む。いくつかの実装例において、メモリ406またはメモリ406の非一時的なコンピュータ読取可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットもしくはスーパーセットを格納する。
●さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含む動作論理420。
●1つ以上の通信インターフェイス404を介して(有線または無線で)1つ以上のネットワーク162に接続された他のネットワークデバイス(たとえばインターネット接続、ネットワーク化されたストレージデバイス、ネットワークルーティングデバイス、サーバシステム164などを提供するルータ等のネットワークインターフェイス160)に接続して当該デバイスと通信するためのデバイス通信モジュール422。
●1つ以上の入力デバイス414からの1つ以上のユーザ入力またはインタラクションを検出し検出した入力またはインタラクションを翻訳するための入力処理モジュール426。
●1つ以上のデバイス(たとえばスマートホーム環境100におけるスマートデバイス204および/または他のデバイス)についての設定、取込まれたデータおよび/または他のデータを構成できるおよび/またはレビューできるユーザインターフェイスを提供して表示するためのユーザインターフェイスモジュール428。
●デバイスを制御(たとえばコマンドを実行、コマンドを送信、ならびに/またはスマートデバイス204および/もしくは他のクライアント/電子デバイスの設定を構成)するため、かつ、デバイスによって取込まれたデータ(たとえばデバイス状態および設定、取込まれたデータ、またはスマートデバイス204および/もしくは他のクライアント/電子デバイスに関する他の情報)をレビューするための、スマートデバイスによって実行される1つ以上のアプリケーション430(たとえばゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーション、および/または他のウェブもしくは非ウェブベースのアプリケーション)。
●デバイス制御、データ処理およびデータレビューのためのデバイス側機能を提供するデバイス側モジュール432。このデバイス側モジュールは以下のものを含むがそれらに限定されない。
【0089】
〇スマートデバイス204を動作させるための命令および制御コマンドを(たとえばクライアントデバイス220から、サーバシステム164から、ユーザインターフェイス410上で検出されたユーザ入力などから)受信、転送および/または実行するためのコマンド受信モジュール4320。
【0090】
〇1つ以上の入力(たとえば入力デバイス414、画像/ビデオ取込デバイス418、位置検出デバイス416)、センサ(たとえば内蔵センサ490)、インターフェイス(たとえば通信インターフェイス404、無線機440)、および/または、スマートデバイス204の他のコンポーネントによって取込まれたまたは受信されたデータを処理するため、かつ、処理されたデータを準備して、レビューのためにデバイス(たとえばユーザによるレビュー用のクライアントデバイス220)に送信するための、データ処理モジュール4322。
●デバイス(たとえばスマートデバイス204)に関連付けられたデータを格納するデバイスデータ434。このデバイスデータは以下のものを含むがそれらに限定されない。
【0091】
〇スマートデバイス204にロードされたユーザアカウントに関する情報を格納するアカウントデータ4340。このような情報は、キャッシュされたログインクレデンシャル、スマートデバイス識別子(たとえばMACアドレスおよびUUID)、ユーザインターフェイス設定、表示プリファレンス、認証トークンおよびタグ、パスワードキーなどを含む。
【0092】
〇スマートデバイス204に関連付けられた生のまたは処理済みのデータ(たとえばカメラ118が取込んだビデオ監視場面)を選択的に格納するためのローカルデータストレージデータベース4342。
●無線機440が、無線機440に結合されたそれぞれのアンテナを介して信号を送信しているか否かを検出し、それに応じて無線機440をバイパスラインまたは増幅器(たとえば低雑音増幅器)いずれかを介してそれぞれのアンテナに結合するための、バイパスモジュール436。
●(たとえば検出された制御信号および送信要求に基づいて)1つ以上の無線機440に対する送信アクセスを許可するかまたは拒否するための送信アクセスモジュール438。
【0093】
上記識別された要素の各々は、上述のメモリデバイスのうちの1つ以上に格納されてもよく、上記機能を実行するための1セットの命令に対応している。上記識別されたモジュールまたはプログラム(すなわち命令のセット)は、別々のソフトウェアプログラム、手順またはモジュールとして実現される必要はなく、このため、これらのモジュールのさまざまなサブセットは、さまざまな実装例において組合わされてもよく、そうでなければ再配置されてもよい。いくつかの実装例において、メモリ406は、任意で、先に述べたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ406は、任意で、先に述べていないその他のモジュールおよびデータ構造を格納する。
【0094】
図5は代表的なシステムアーキテクチャ500を示す。いくつかの実装例において、サーバシステム164は、イベントプロセッサ3146、イベントカテゴライザ3148、およびユーザ向けフロントエンド3150のための機能モジュールを含む。イベントプロセッサ3146は、(たとえばビデオストリームを処理することによって、またはビデオソース222からイベント開始情報を受信することによって)イベント候補を取得する。いくつかの実装例において、イベント候補は音声および/または視覚的な側面を含む。イベントカテゴライザ3148はイベント候補をさまざまなイベントカテゴリに分類する。ユーザ向けフロントエンド3150は、イベント警告を生成し、クライアントデバイス220上のレビューインターフェイスを介してレビュアーによるイベントのレビューを容易にする。クライアント向けフロントエンドはまた、イベントカテゴリについてのユーザ編集、警告およびイベントフィルタについてのユーザプリファレンス、ならびに対象となるゾーンについてのゾーン定義を受信する。イベントカテゴライザは、任意で、ユーザ向けフロントエンドによって受信されたユーザ編集に基づいてイベントカテゴライズモデルおよび結果を修正する。サーバシステム164はまた、ビデオおよびソースデータデータベース506と、イベントカテゴライズモデルデータベース510と、イベントデータおよびイベントマスクデータベース511とを含む。いくつかの実装例において、これらのデータベースの各々はサーバデータベース316の一部(たとえばデータストレージデータベース3160の一部)である。
【0095】
サーバシステム164は、ビデオソース222から1つ以上のビデオストリーム504を受信し、任意で、イベント開始情報(たとえばモーション開始情報)等のイベント候補情報502と、カメラ118のデバイス設定(たとえばカメラ118のデバイスプロファイル3165)等のソース情報503とを受信する。いくつかの実装例において、イベントプロセッササブモジュール3146はビデオソース222と通信する。サーバシステムは、イベント512およびイベントタイムライン情報513についての警告をクライアントデバイス220に送信する。サーバシステム164は、任意で、イベントカテゴリ514およびゾーン定義515についての編集等のユーザ情報をクライアントデバイス220から受信する。
【0096】
データ処理パイプライン516は、(たとえばカメラ118および任意のコントローラデバイスを含む)ビデオソース222から受信したビデオ情報(たとえばライブビデオフィード)および/または1つ以上のスマートデバイスから受信した音声情報をリアルタイムで処理することにより、スマートホーム環境で発生するイベントを識別してカテゴライズし、リアルタイムのイベント警告およびリフレッシュされたイベントタイムラインをスマートホーム環境のレビュアーアカウントに関連付けられたクライアントデバイス220に送信する。データ処理パイプライン516はまた、格納された情報(ビデオソース222からの格納されたビデオフィード等)を処理して、イベントに関して新しい情報が取得されたとき、および/または、イベントカテゴリに関して新しい情報が取得されたとき(たとえば新しい活動ゾーンがユーザから取得されたとき)などに、必要に応じてイベントを再評価および/または再カテゴライズする。
【0097】
ビデオおよび/または音声データがスマートデバイス(517)に取り込まれた後に、このデータが処理されて、何らかの潜在的なイベント候補が存在するか否かが判断される。いくつかの実装例において、このデータは最初にスマートデバイス(たとえばビデオソース222またはカメラ118)で処理される。したがって、いくつかの実装例において、スマートデバイスは、イベント開始情報等のイベント候補情報をサーバシステム164に送信する。いくつかの実装例において、このデータはイベント開始の検出のためにサーバシステム164で処理される。いくつかの実装例において、ビデオおよび/または音声データはサーバシステム164に(たとえばビデオおよびソースデータデータベース509に)格納される。いくつかの実装例において、ビデオストリームは、サーバシステム164とは異なるサーバに格納される。いくつかの実装例において、モーション開始の検出後、ビデオストリームの関連部分がストレージから(たとえばビデオおよびソースデータベース509から)取り出される。
【0098】
いくつかの実装例において、イベント識別プロセスは、ビデオストリームを複数のセグメントにセグメント化することと、各セグメント内におけるイベント候補をカテゴライズすることとを含む。いくつかの実装例において、イベント候補のカテゴライズは、イベント候補についてのモーション特徴を生成するための、バックグラウンドファクタ、エンティティ検出および識別、各モーションエンティティごとのモーションベクトル生成、エンティティ特徴、ならびにシーン特徴の集約を含む。いくつかの実装例において、イベント識別プロセスはさらに、各セグメントをカテゴライズすること、セグメントのカテゴライズに基づいてイベントログを生成または更新すること、セグメントのカテゴライズに基づいてイベントについての警告を生成すること、完全なイベントをカテゴライズすること、完全なイベントに基づいてイベントログを更新すること、および、完全なイベントに基づいてイベントについての警告を生成すること、を含む。いくつかの実装例において、カテゴライズは、対象となる特定のゾーン内でイベントが発生したという判断に基づいている。いくつかの実装例において、カテゴライズは、イベント候補が対象となる1つ以上の特定のゾーンを含んでいるという判断に基づいている。いくつかの実装例において、カテゴライズは、音声データおよび/または音声イベント特徴付けに基づいている。
【0099】
イベント解析およびカテゴライズプロセスは、スマートデバイス(たとえばビデオソース222)およびサーバシステム164によって協働して実行されてもよく、タスクの分配は、さまざまな実装例ごとに、さまざまな設備能力構成ごとに、および/またはさまざまなネットワークおよびサーバ負荷状況ごとに、異なり得る。サーバシステム164がイベント候補をカテゴライズした後、イベント検出およびカテゴライズの結果が、スマートホーム環境に関連付けられたレビュアーに送信されてもよい。
【0100】
いくつかの実装例において、サーバシステム164は、各ビデオソース222ごとに、生のまたは圧縮済みビデオデータを(たとえばビデオおよびソースデータデータベース509に)、イベントカテゴライズモデルを(たとえばイベントカテゴライズモデルデータベース510に)、かつ、イベントマスクおよび他のイベントメタデータを(たとえばイベントデータおよびイベントマスクデータベース511に)格納する。いくつかの実装例において、ビデオデータは、480p、780p、1080i、1080pなどの1つ以上の表示解像度で格納される。
【0101】
いくつかの実装例において、ビデオソース222(たとえばカメラ118)は、1つ以上のネットワーク(たとえばネットワーク162)を介してリモートサーバシステム164にライブビデオフィードを送信する。いくつかの実装例において、ビデオデータがカメラ118によって取込まれるとき、ビデオデータの送信は連続的である。いくつかの実装例において、ビデオデータの送信はビデオデータのコンテンツとは無関係であり、ビデオデータは、何らかのモーションイベントがビデオデータに取込まれたか否かに関わらず、ビデオソース222からサーバシステム164に格納のためにアップロードされる。いくつかの実装例において、ビデオデータはデフォルトで、ビデオソース222のローカルストレージデバイスに格納されていてもよく、ビデオストリームにおいて検出されたモーションイベント候補に対応するビデオ部分だけが、サーバシステム164に(たとえばリアルタイムで)アップロードされる。
【0102】
いくつかの実装例において、ビデオソース222は、ビデオストリームがどのような表示解像度でサーバシステム164にアップロードされるべきであるかを動的に判断する。いくつかの実装例において、ビデオソース222は、ビデオストリームのどの部分がサーバシステム164にアップロードされるべきであるかを動的に判断する。たとえば、いくつかの実装例において、現在のサーバ負荷およびネットワーク状態に応じて、ビデオソース222は、任意で、新しく検出されたモーションイベント候補に対応するビデオ部分を、いかなるモーションイベント候補も含まないビデオストリームの他の部分よりも前に、優先的にアップロードする、または、ビデオソース222は、ビデオストリームの他の部分よりも高い表示解像度で、新しく検出されたモーションイベント候補に対応するビデオ部分をアップロードする。このアップロードの優先順位は、ネットワーク状態およびサーバ負荷が最適に足りない場合であっても、重要なモーションイベントが検出されてリアルタイムでレビュアーに警告されることを確実にするのに役立つ。いくつかの実装例において、ビデオソース222は2つの平行なアップロード接続を実現する。2つの平行なアップロード接続は、カメラ118によって取込まれた連続的なビデオストリームをアップロードするための一方のアップロード接続と、検出されたモーションイベント候補に対応するビデオ部分をアップロードするための他方のアップロード接続とを含む。いずれの所与の時間にも、ビデオソース222は、連続的なビデオストリームのアップロードを一時的に停止する必要があるか否かを判断して、新しく検出されたモーションイベント候補に対応するビデオセグメントのアップロードに十分な帯域幅が与えられることを確実にする。
【0103】
いくつかの実装例において、クラウドストレージのためにアップロードされたビデオストリームは、モーションイベント処理のためにアップロードされたビデオセグメントよりも低品質(たとえば低い解像度、低いフレームレート、高い圧縮など)である。
【0104】
図5Aに示されるように、ビデオソース222はカメラ118および任意のコントローラデバイスを含む。いくつかの実装例において、カメラ118は、すべての必要なローカルビデオ処理タスク(たとえばモーションイベント候補についてのキューポイント検出、ビデオアップロードの優先順位付け、ネットワーク接続管理など)を実行するのに十分なオンボード処理パワーを含み、カメラ118は、媒介として機能する如何なるコントローラデバイスもなしに、サーバシステム164と直接通信する。いくつかの実装例において、カメラ118は、ビデオデータを取込み、ビデオデータを、必要なローカルビデオ処理タスクのためにコントローラデバイスに送信する。コントローラデバイスは、任意で、複数のカメラのためのローカル処理タスクを実行する。たとえば、1つのスマートホーム環境(たとえばスマートホーム環境100、図1)に複数のカメラがあってもよく、単一のコントローラデバイスが各々のカメラからビデオデータを受信し、ビデオデータを処理することにより、各々のカメラからのビデオストリームにおけるモーションイベント候補を検出する。コントローラデバイスは、モーションイベント候補を含むビデオセグメントを各々のカメラからサーバに送信するために十分な送出ネットワーク帯域幅を割当ててから、残りの帯域幅を用いてビデオストリームを各々のカメラからサーバシステム164に送信する役割を果たす。いくつかの実装例において、連続ビデオストリームが送信され1つのサーバ設備に格納される一方で、モーションイベント候補を含むビデオセグメントが異なるサーバ設備に送られて処理される。
【0105】
いくつかの実装例において、スマートデバイスは付加的なソース情報503をサーバシステム164に送信する。この付加的なソース情報503は、デバイス状態(たとえばIRモード、AEモード、DTPZ設定など)に関する情報、および/または、このデバイスが位置する環境に関する情報(たとえば屋内、屋外、夜間、昼間など)を含み得る。いくつかの実装例において、ソース情報503は、イベント検出を実行するために、および/または、イベント候補をカテゴライズするために、サーバシステム164によって用いられる。いくつかの実装例において、付加的なソース情報503は、カメラ118が実行するビデオ処理(たとえばカテゴライズ、オブジェクト認識、モーションマスクなど)からの1つ以上の主要な結果を含む。
【0106】
いくつかの実装例において、イベント開始インシデントの検出後のビデオ部分は複数のセグメントに分割される。いくつかの実装例において、セグメント化は、イベント終了情報(「イベント終了信号(end-of-event signal)」と呼ばれることもある)が得られるまで続く。いくつかの実装例において、セグメント化は、(たとえばイベントプロセッサモジュール3146によって)サーバシステム164内で行なわれる。いくつかの実装例において、セグメント化は一部重複するセグメントを生成することを含む。たとえば、毎秒10秒セグメントが生成され、新たなセグメントは先行するセグメントと9秒重複することになる。
【0107】
いくつかの実装例において、複数のセグメントは各々、存続期間が同一または同様である(たとえば各セグメントの存続期間は10~12秒)。いくつかの実装例において、第1のセグメントは後続のセグメントよりも存続期間が短い。第1のセグメントを短くしておくことにより、第1のセグメントの処理に基づいたリアルタイムでの初期カテゴライズおよび警告が可能である。次に、初期カテゴライズを、後続セグメントの処理に基づいて修正してもよい。いくつかの実装例において、モーションエンティティが、対象の新たなゾーンに入った場合は新たなセグメントが生成される。
【0108】
いくつかの実装例において、イベントプロセッサモジュールがイベント候補に対応するビデオ部分を取得した後、イベントプロセッサモジュール3146は、バックグラウンドファクタを取得し、モーションエンティティ検出の識別、各モーションエンティティごとのモーションベクトル生成、および特徴の識別を実行する。イベントプロセッサモジュール3146がこれらのタスクを完了すると、イベントカテゴライザモジュール3148が、すべての情報を集め、モーションイベント候補についてのカテゴライズを生成する。いくつかの実装例において、誤検知の抑制が、任意で、モーションイベント候補がイベントカテゴライズのために与えられる前にいくつかのモーションイベント候補を拒否するために実行される。いくつかの実装例において、モーションイベント候補が誤検知であるか否かを判断することは、モーションイベント候補が特定のゾーンで生じたか否かを判断することを含む。いくつかの実装例において、モーションイベント候補が誤検知か否かを判断することは、モーションイベント候補の重要度スコアを解析することを含む。モーションイベント候補の重要度スコアは、任意で、モーションイベント候補、バックグラウンド特徴、モーションベクトル、シーン特徴、エンティティ特徴、モーション特徴、モーショントラックなどに関連する対象ゾーンに基づく。
【0109】
いくつかの実装例において、ビデオソース222は、バックグラウンド推定、モーションエンティティ識別、モーションベクトル生成、および/または特徴識別を実行するための十分な処理能力を有しており、これらを実行する。
【0110】
図6は、いくつかの実装例に係るユーザアカウントに対応付けられた代表的なクライアントデバイス220を示すブロック図である。クライアントデバイス220は、典型的に、1つ以上の処理ユニット(CPU)602と、1つ以上のネットワークインターフェイス604と、メモリ606と、これらのコンポーネント(チップセットと呼ばれることもある)を相互接続するための1つ以上の通信バス608とを含む。任意で、クライアントデバイスはまた、ユーザインターフェイス610と、1つ以上の内蔵センサ690(たとえば加速度計およびジャイロスコープ)とを含む。ユーザインターフェイス610は、1つ以上のスピーカおよび/または1つ以上の視覚ディスプレイを含む、メディアコンテンツの提供を可能にする1つ以上の出力デバイス612を含む。ユーザインターフェイス610はまた、キーボード、マウス、音声コマンド入力ユニットもしくはマイク、タッチスクリーンディスプレイ、タッチセンサー式入力パッド、ジェスチャ取込カメラ、または他の入力ボタンもしくは制御部等の、ユーザ入力を容易にするユーザインターフェイスコンポーネントを含む、1つ以上の入力デバイス614を含む。さらに、いくつかのクライアントデバイスは、キーボードを補完するためまたはキーボードの代わりに、マイクと音声認識、またはカメラとジェスチャ認識を用いる。いくつかの実装例において、クライアントデバイスは、画像を取り込むために、1つ以上のカメラ、スキャナ、または光検出器ユニット(図示せず)を含む。任意で、クライアントデバイスは、クライアントデバイスの位置を求めるために、GPS(global positioning satellite)(全地球測位衛星)またはその他の地理的位置受信機等の位置検出デバイス616を含む。
【0111】
メモリ606は、DRAM、SRAM、DDR SRAMまたは他のラングムアクセスソリッドステートメモリデバイス等の高速ランダムアクセスメモリを含み、任意で、1つ以上の磁気ディスクストレージデバイス、1つ以上の光学ディスクストレージデバイス、1つ以上のフラッシュメモリデバイス、または1つ以上の他の不揮発性ソリッドステートストレージデバイス等の不揮発性メモリを含む。メモリ606は、任意で、1つ以上の処理ユニット602から離れた場所に位置する1つ以上のストレージデバイスを含む。メモリ606、または代替的にメモリ606内の不揮発性メモリは、非一時的なコンピュータ読取可能記憶媒体を含む。いくつかの実装例において、メモリ606またはメモリ606の非一時的なコンピュータ読取可能記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットもしくはスーパーセットを格納する。
●さまざまな基本的なシステムサービスを処理するための手順およびハードウェア依存タスクを実行するための手順を含むオペレーティングシステム618。
●1つ以上のネットワークインターフェイス604を介して(有線または無線で)クライアントデバイス220を他のシステムおよびデバイス(たとえばクライアントデバイス、電子デバイス、および1つ以上のネットワーク162に接続されたシステム)に接続するためのネットワーク通信モジュール620。
●1つ以上の入力デバイス614からの1つ以上のユーザ入力またはインタラクションを検出し検出した入力またはインタラクションを翻訳するための入力処理モジュール622。
●デバイスを制御する(たとえばハブデバイスおよび/またはその他のクライアントもしくは電子デバイスに対するコマンドを送信する、設定を構成する)ため、かつデバイスが取り込んだデータ(たとえばデバイス状態および設定、取り込んだデータ、またはハブデバイスもしくはその他の接続されたデバイスに関するその他の情報)をレビューするために、クライアントデバイスが実行する1つ以上のアプリケーション624(たとえばゲーム、ソーシャルネットワークアプリケーション、スマートホームアプリケーション、および/またはその他のウェブベースもしくは非ウェブベースのアプリケーション)。
●設定、取り込まれたデータ、および/または1つ以上のデバイス(たとえばスマートホーム環境100内のスマートデバイス204)についてのその他のデータを構成するおよび/または見ることができるユーザインターフェイスを提供し表示するためのユーザインターフェイスモジュール622。
●デバイス制御、データ処理およびデータレビューのためのクライアント側機能を提供するクライアント側モジュール628。クライアント側モジュールは以下のものを含むがそれらに限定されない。
【0112】
〇ユーザ入力に従ってハブデバイスまたは電子デバイスの動作モードを修正するために制御コマンドを生成するためのハブデバイスおよびデバイス制御モジュール6280。
【0113】
〇サーバシステム164が処理したデータをレビューするためにユーザインターフェイスを提供するためのデータレビューモジュール6282。
●ユーザアカウントおよび電子デバイスに関連付けられたデータを格納するためのクライアントデータ630。このクライアントデータは以下のものを含むがそれらに限定されない。
【0114】
〇(たとえばビデオソース222の)クライアントデバイスおよび電子デバイスにロードされた双方のユーザアカウントに関連する情報を格納するためのアカウントデータ6300。このような情報は、キャッシュされたログインクレデンシャル、ハブデバイス識別子(たとえばMACアドレスおよびUUID)、電子デバイス識別子(たとえばMACアドレスおよびUUID)、ユーザインターフェイス設定、表示プリファレンス、認証トークンおよびタグ、パスワードキーなどを含む。
【0115】
〇(たとえばカメラ118等のビデオソース222の)電子デバイスに関連付けられた生のまたは処理済のデータを選択的に格納するためのローカルデータストレージデバイス6302。
【0116】
上記要素の各々は、先に述べたメモリデバイスのうちの1つ以上に格納することができ、上記機能を実行するための1セットの命令に対応する。上記モジュールまたはプログラム(すなわち命令のセット)は、別々のソフトウェアプログラム、手順、モジュール、またはデータ構造として実現される必要はなく、したがって、各種実装例においてこれらのモジュールのさまざまなサブセットを組み合わせるかそうでなければ再配置することができる。いくつかの実装例において、メモリ606は、任意で、上記モジュールおよびデータ構造のサブセットを格納する。さらに、メモリ606は、任意で、先に述べていないその他のモジュールおよびデータ構造を格納する。
【0117】
図7A図7Bは、いくつかの実装例に係る代表的なカメラアセンブリの斜視図である。図7Aは代表的なカメラ118の第1の斜視図を示す。図7Aに示されるように、カメラ118は、ヘッドアセンブリ703と、スタンドアセンブリ702と、ケーブル714(たとえばカメラ118に電力を供給するためおよび/またはデータをカメラ118と第2の電子デバイスとの間で送信するため)とを含む。ヘッドアセンブリ703は、カバー要素704とケース701(筐体と呼ばれることもある)とを含む。いくつかの実装例に従うと、カバー要素704は、IR照明器のためのIR透過部分712と、画像センサのための視認できるIR透過部分716と、(周囲光センサに対応する)半透明部分710および(ステータスLEDに対応する)半透明部分708とを含む。いくつかの実装例に従うと、カバー要素704はまた、マイクのための開口部706を含む。いくつかの実装例に従うと、ケース701はマイクのための開口部706-3を含む。
【0118】
いくつかの実装例において、ケース701は2つ以上の層を有する。いくつかの実装例において、内側の層は熱伝導性樹脂からなる。いくつかの実装例において、外側の層は、湿気または電磁電荷(たとえば静電気)等の環境条件からカメラ118を保護するように構成された構造ジャケットである。いくつかの実装例において、構造ジャケットは、別の物体または地面との衝突等の衝撃からカメラ118を保護するように構成される。
【0119】
図7Bはカメラ118の背面図を示す。図7Bに示されるように、ケーブル714はスタンドアセンブリ702から取り外すことができる。たとえば、ユーザは、必要に応じてケーブル714をカメラ118とは別に収納することができる。いくつかの実装例に従うと、ケース710はスピーカのための複数の開口部717を含む。
【0120】
図7C図7Hは、いくつかの実装例に係る代表的なカメラアセンブリの構成要素図である。図7Cはいくつかの実装例に係るカメラ118の内部の図を示す。図7Cに示されるように、カメラ118は、カバー要素704と、画像センサアセンブリ732と、スピーカアセンブリ713と、主回路基板764とを含む。
【0121】
いくつかの実装例において、スピーカアセンブリ713は、スピーカ715とヒートシンク719とを含む。いくつかの実装例において、ヒートシンク719は、主基板764で発生した熱を放散させるように構成される。いくつかの実装例において、スピーカアセンブリ713は、図10Aに示されるカメラのシステムオンチップ(SoC)1004のためのヒートシンクとして作用する。いくつかの実装例において、SoC1004は、図10Aに示される熱パッド1002によってスピーカアセンブリ713に熱的に結合される。いくつかの実装例において、熱パッドの領域は、図7Fに示されるスピーカアセンブリの底面799よりも小さい。最適な放熱のためには、スピーカアセンブリの底面全体に熱パッドからの熱を拡散させることが有益である。いくつかの実装例において、熱グラファイトシート(たとえば熱伝導性シート766、図7F)は、この拡散を実現するために使用される。なぜなら、グラファイトは、面内熱伝導率が非常に高いからである。
【0122】
いくつかの実装例において、カメラ118は、強力な計算能力が組み込まれたビデオストリーミングデバイスである。そのため、いくつかの場合において、これは大量の電力を消費するとともに大量の熱を発生する。チップセットおよびその他の構成要素が熱によるダメージを受けないようにするために、断熱(サーマルリリーフ)(thermal relief)の解決策は、熱をCPU(たとえばSoC1004のCPU、図10A)からスピーカアセンブリ713に向けて導くことを含む。いくつかの実装例において、スピーカアセンブリ713は、構造的に適した熱伝導性プラスチックからなり、良好な熱拡散特性を有する。いくつかの実装例において、シールドの上にある熱パッド1002を用いて熱をスピーカアセンブリに導くことができる。熱をさらにスピーカ上に分散させるために、いくつかの実装例では、グラファイトシートをスピーカアセンブリの底面上に配置する。いくつかの実装例において、グラファイトシートのサイズを最大にすることにより、最高の断熱機能を得る。
【0123】
図7Dは、いくつかの実装例に係るカメラ118の内部の別の図を示す。図7Dに示されるように、カメラ118は、IR照明器のためのIR透過部分712を有するカバー要素704と、マイクのための開口部706と、ステータスLEDに対応する半透明部分708と、周囲光センサに対応する半透明部分710とを含む。カメラ118はまた、主基板764から熱を放散させるための複数の熱パッド720と、ケース701に対する熱受容構造728(たとえば以下「フライヤーポット728」と呼ぶフライ鍋の形状に似た形状を有する)と、他の電子デバイスと無線通信するための複数のアンテナ726と、画像センサアセンブリ732からカバー要素704に熱を放散および伝達するための熱マウント構造724(たとえば以下「フライヤーバスケット724」と呼ぶフライかごの形状に似た形状を有する)と、フライヤーバスケット724をフライヤーポット728から熱的に分離するためのパッド722とを含む。
【0124】
いくつかの実装例において、熱パッド720はフライヤーポット728からケース701に熱を伝達するのに適している。いくつかの実装例において、熱パッド720は、ケース701の内側層をフライヤーポット728に熱的に結合するのに適している。いくつかの実装例において、熱パッド722はプラスチックからなる。いくつかの実装例において、熱パッド722は、フライヤーポット728からフライヤーバスケット724を熱的に切り離す(de-couple)のに適している。
【0125】
いくつかの実装例において、フライヤーバスケット724はマグネシウムからなる。いくつかの実装例において、フライヤーバスケット724は、画像センサアセンブリ732から熱を放散させるのに適している。いくつかの実装例において、フライヤーバスケット724はカメラ118を構造的に支持するのに適している。いくつかの実装例において、フライヤーバスケット724は、物体および/または地面からの湿気および/または衝撃等の環境の力から画像センサアセンブリ732を保護するのに適している。
【0126】
いくつかの実装例において、アンテナ726は、異なる2つの周波数を同時に用いて動作するように構成される。いくつかの実装例において、アンテナ726は、異なる2つの通信プロトコルを同時に用いて動作するように構成される。いくつかの実装例において、アンテナ726のうちの1つ以上は、ブロードバンド通信(たとえばWi-Fi)および/または2点間通信(たとえばBluetooth)用に構成される。いくつかの実装例において、アンテナ726のうちの1つ以上は、メッシュネットワーキング通信(たとえばZWave)用に構成される。いくつかの実装例において、第1のアンテナ726(たとえばアンテナ726-1)は2.4GHzのWi-Fi通信用に構成され、第2のアンテナ726(たとえばアンテナ726-2)は5GHzのWi-Fi通信用に構成される。いくつかの実装例において、第1のアンテナ726(たとえばアンテナ726-1)は2.4GHzのWi-Fi通信および2点間通信用に構成され、第2のアンテナ726(たとえばアンテナ726-2)は5GHzのWi-Fi通信および2点間通信用に構成され、第3のアンテナ726(たとえばアンテナ726-3)はメッシュネットワーキング通信用に構成される。いくつかの実装例において、これらのアンテナ726のうちの2つ以上は、これらのアンテナ726のうちの他のアンテナと同時にデータを送信および/または受信するように構成される。
【0127】
MIMO(multi input multi output(多入力多出力))は、無線通信のより高いスループットおよびより良好な範囲という利点を提供する。アンテナシステムにおけるパラメータのうちの1つは、2つのアンテナ間の分離である。より良好に分離することにより、MIMOシステムにとって重要な、2つのアンテナを介して送信されるデータ間に相関がないことを保証できる。良好に分離する1つのやり方は、アンテナの分離を大きくすることである。しかしながら、現代の消費者電子機器においてアンテナに残される空間は非常に狭いので、アンテナ間に十分な間隔を設けることは不可能である。分離は重要であるが、アンテナ効率を犠牲にすることはできない。
【0128】
分離は、一方のアンテナから他方のアンテナに結合されるエネルギの量に直接関係がある。フリスの公式は、他方のアンテナが受ける電力を(1/R)2に反比例すると定義している。式中、Rは2つのアンテナ間の距離である。このため、アンテナ間隔を大きくすることは、良好な分離を実現する、1つの有効なやり方である。分離を実現する別の手段は、デカップリングネットワークを利用することである。例として、(たとえば空気を介する)元の結合チャネルに加えて人為的に結合チャネルを生成する。これら2つのチャネルを適切に管理することにより、良好な分離を得ることができる。
【0129】
いくつかの実装例において、アンテナ726は、少なくとも1つのデュアルバンド逆Fアンテナ(IFA)を含む。いくつかの実装例において、アンテナは、FPC、LDS、スタンピング、または、その他の最新アンテナ製造技術によって作られる。いくつかの実装例において、フライヤーポット728は、アンテナ726のうちの1つ以上のための系統接地である。いくつかの実装例において、アンテナのサイズは2.4GHzで約4分の1波長である。いくつかの実装例において、各アンテナは、放射要素と、フィードラインと、接地スタブとを含む。接地スタブは、放射要素とフライヤーポット728との間で発生する容量を補償するためのインダクタンスを示す。いくつかの実装例において、アンテナ726のうちの少なくとも1つは第2の接地スタブを含む。第2の接地スタブは、アンテナを2.4GHzおよび5GHz双方にマッチさせるのに適している。いくつかの実装例において、アンテナフィードは、2.4GHzおよび5GHzのWiFi信号のためのフィードポイントである。いくつかの実装例において、フィードポイントは、WiFiチップの出力に接続される。いくつかの実装例において、アンテナ726は同一の2つのIFAアンテナを含む。これらのアンテナはいずれもスピーカアセンブリ713に装着される。
【0130】
いくつかの実装例において、アンテナ726のうちの少なくとも1つは、第1の放射要素と、第2の放射要素と、第1の接地スタブと、第2の接地スタブとを有する第2のタイプのアンテナを含む。いくつかの実装例において、第1の放射要素のサイズは、5GHzの約4分の1波長である。いくつかの実装例において、2.4GHzにおける共振周波数は、(i)第2の放射要素のサイズ、(ii)第1の接地スタブの位置、および(iii)第2の接地スタブの位置によって決まる。いくつかの実装例において、第1の接地スタブは第2の放射要素のピストル端部に設けられる。いくつかの実装例において、第2の接地スタブは、第1の放射要素と第1の接地スタブとの間にある。いくつかの実装例において、第2の接地スタブが第2の放射要素に装着される位置を、2.4GHzの共振周波数にチューニングされるように調整する。いくつかの実装例において、第1の接地スタブは、アンテナの一部として作用するだけでなく、第1の接地スタブの左側からの結合を減じることができるシールド要素としても作用する。いくつかの実装例において、第2の接地スタブも、アンテナの左側からの結合をさらに減じるためのシールド要素である。いくつかの実装例において、第2のタイプのアンテナは、3つ以上の接地スタブを含む。より多くの接地スタブを使用することにより、同一の共振周波数(たとえば2.4GHz)を維持しつつ、アンテナの物理的なサイズを大きくすることができる。いくつかの実装例において、第1および第2の接地スタブを、第1の放射要素の右側に置くことにより、右側からの結合を減じる。いくつかの実装例において、アンテナ726は、第1のタイプ(たとえばIFA)の1つ以上のアンテナと、第2のタイプの1つ以上のアンテナとを含む。
【0131】
第1のタイプのアンテナ(たとえばIFA)および第2のタイプのアンテナ双方を含むアンテナのセットを用いることにより、2つのアンテナを、良好な効率とこれらのアンテナ間の良好な分離との両方を保ちつつ、狭いスペースに配置することができる。これにより、カメラ118を、無線接続の品質を犠牲にすることなく、コンパクトにすることができる。いくつかの実装例において、両タイプのアンテナは、従来のFPC技術により低コストで製造される。同様の分離レベルを達成するためにデカップリングシステムに依存するアンテナシステムとは異なり、IFAアンテナおよび第2のタイプのアンテナは、独立して最適化および/またはチューニングすることができる。
【0132】
図7Eは、いくつかの実装例に係るカメラ118の内部の別の図を示す。図7Eに示されるように、カメラ118は、カバー要素704と、スピーカ孔717を有するケース701と、画像センサアセンブリ732と、スピーカアセンブリ713とを含む。図示のように、いくつかの実装例において、スピーカ孔717は、スピーカから真っすぐ外に向かって延びているので、これらの孔の外面は楕円形である。いくつかの実装例において、スピーカ孔717は互いに平行である。いくつかの実装例において、スピーカ孔717は、これらの孔の外面が楕円形ではなく円形になるように(図示せず)、ケース701の裏面に一致する角度で外に向かって延びている。また、カメラ118は、光を光アセンブリからカメラ118の前面の外に導くための光ガイド734を含む。
【0133】
図7Fは、いくつかの実装例に係るカメラ118の拡大図を示す。図7Fに示されるように、カメラ118は、カバー要素704と、赤外線(IR)反射器742と、光拡散器744と、光ガイド746と、ライトリング748と、マイクアセンブリ750と、画像センサアセンブリ732と、フライヤーバスケット724と、スタンドカップリング要素756および758と、フライヤーポット728と、フライヤーポット728をフライヤーバスケット724から熱的に分離するのに適した断熱材762と、主基板764と、熱伝導性シート766と、アンテナ726と、スピーカアセンブリ713と、ケース701とを含む。いくつかの実装例において、ケース701は、光を光拡散器744からカメラ118の前面の外に向かって反射し導くためのリップ734を有する。
【0134】
いくつかの実装例において、カバー要素704は化学的に強化されたガラスを含む。いくつかの実装例において、カバー要素704はソーダ石灰ガラスを含む。
【0135】
いくつかの実装例において、画像センサアセンブリ732は、回路基板(たとえばPCB基板)と、IRカットフィルタと、レンズホルダと、画像センサとを含む。いくつかの実装例において、画像センサは4k画像センサを含む。いくつかの実装例において、画像センサは12メガピクセルセンサを含む。いくつかの実装例において、画像センサは広角レンズを含む。
【0136】
いくつかの実装例において、熱伝導性シート766は、主基板764から発生した熱を放散する、および/または後にケース701の裏部分を介してカメラの外側に熱が放散されるよう、熱を主基板764からスピーカアセンブリ713に伝達するのに適している。いくつかの実装例において、熱伝導性シート766はグラファイトシートである。グラファイトシートが、複数のアンテナを有するアンテナシステムの近傍に配置される場合、グラファイトシートは、アンテナ間の結合媒体を構成することができる。グラファイトによって結合が増すことにより、2つのアンテナ間の分離が減じられ、その結果、アンテナ効率が低下するまたはチップセットに恒久的なダメージが生じる可能性がある。
【0137】
いくつかの実装例において、アンテナ726は、ハブデバイス180、スマートデバイス204、および/またはサーバシステム164等の1つ以上のその他の電子デバイスとカメラ118とが無線通信できるように、構成される。
【0138】
いくつかの実装例において、フライヤーポット728はマグネシウムからなる。いくつかの実装例において、フライヤーポット728は、カメラ118を構造的に支持するのに適している。
【0139】
いくつかの実装例において、フライヤーポット728、主基板764、伝導性シート766、スピーカアセンブリ713、およびアンテナ726は、後方サブアセンブリを含む。フライヤーポット728からフライヤーバスケット724を熱的に切り離すことにより、主基板764から発生した熱が画像センサアセンブリ732に干渉するのを防止する。いくつかの実装例に従うと、主基板764の前面から発生した熱は、フライヤーポット728および熱パッド720に伝達され、ケース701(たとえばケースの側面)を介してカメラの外に放散される。いくつかの実装例に従うと、主基板764の裏面から発生した熱は、熱伝導性シート766およびスピーカアセンブリ713に伝達され、ケース701の裏部分を介してカメラの外に放散される。
【0140】
いくつかの実装例において、後方サブアセンブリは、1つ以上の固定具を介して(たとえば2~3個のねじを介して)ケース701に取り付けられる。いくつかの実装例において、カバー要素704、赤外線反射器742、光拡散器744、光ガイド746、ライトリング748、および画像センサアセンブリ732は、前方サブアセンブリを含む。いくつかの実装例において、前方サブアセンブリは、1つ以上の固定具(たとえば2~3個のねじ)を介してケース701に取り付けられる。いくつかの実装例において、前方サブアセンブリは、1つ以上の固定具を介して後方サブアセンブリに取り付けられる。
【0141】
いくつかの実装例において、フライヤーバスケット724は、画像センサアセンブリ732および/またはライトリング748から発生した熱を放散するのに適している。いくつかの実装例において、フライヤーバスケット724は、前方を向く1つ以上のマイクを含む。いくつかの実装例において、下方を向くマイク750は、フライヤーバスケット724上のマイクとともに動作することにより、入ってきた音の方向および/または位置を判断する。
【0142】
いくつかの実装例において、IR反射器742は赤外線および/または可視光反射コーティングで覆われている。いくつかの実装例において、IR反射器742は、IR照明器752からの光を、画像センサアセンブリ732の視野に対応するシーンに導くのに適している。
【0143】
いくつかの実装例において、ライトリング748は、複数の可視光照明器(たとえばRGB LED)と、複数のIR照明器752と、可視光照明器および/またはIR照明器に電力を供給するおよび/またはそれを動作させるための回路とを含む。いくつかの実装例において、光ガイド746は、可視光照明器からの光をカメラ118の前面の外に導くのに適している。いくつかの実装例において、光ガイド746は、可視光照明器からの光が画像センサアセンブリ732に入るのを防止するのに適している。いくつかの実装例において、光ガイド746は、可視光照明器からの光を実質的に均等に拡散させるのに適している。いくつかの実装例において、光ガイド746は透明材料からなる。いくつかの実装例において、光ガイド746はポリカーボネート材料からなる。いくつかの実装例において、光ガイド746は、照明器からの光を屈折させて光が画像センサアセンブリ732に入らないようにするために複数の小さなくぼみを有する。いくつかの実装例において、光ガイド746は、照明器からユーザに対しより均一的な色と光が出力されるようにするのに適している。いくつかの実装例において、光ガイド746は複数のセグメントを含み、各セグメントは可視光照明器に対応する。いくつかの実装例において、光ガイド746は、1つの照明器セグメントから別の照明器セグメントに光が漏れるのを防止するために、各セグメント間に配置された1つ以上の光吸収要素(たとえば黒色のステッカー)を含む。
【0144】
いくつかの実装例において、光拡散器744は2つ以上の部分(たとえば内側部分と外側部分)を含む。いくつかの実装例において、光拡散器744は、可視光照明器からの光を拡散させるのに適している。いくつかの実装例において、光拡散器744は、照明器からの光をケース701のリップ771に向けて導くのに適している。いくつかの実装例において、ライトリング748(および光ガイド746および/または光拡散器744等の対応する要素)は、円形の有色(または白色)光がカメラ118の前側から発せられるようにする。いくつかの実装例において、これらの構成要素および対応する光は、円形であり、カメラ118の前側の周辺に配置されている。これらは、画像センサアセンブリ732、IR照明器752、周囲光センサ751、ステータスLED、およびマイク開口部706等の、カメラ118のすべてまたは実質的にすべての要素を実質的に取り囲んでいてもよい。他の実装例において、これらは、周辺ではなく、内径に、たとえば画像センサアセンブリ732のみの周りに配置される。さらに他の実装例において、これらは、カメラ118の、前方を向く要素を囲んでいない。いくつかの実装例において、これらは、正方形、楕円形、または多角形等の円形ではない形状で配置される。いくつかの実装例において、これらは、デバイスの前面ではなく、デバイスの底等の他の面、たとえば底面、上面、側面または背面に、配置される。いくつかの実装例において、複数のこのようなライトリングおよび構成要素がカメラ118の同一のまたは異なる面上に配置される。
【0145】
図12に示されるように、ライトリング748(および対応する要素)は、カメラ118の、スマートホーム環境100の内部または外部の別のデバイス(たとえばカメラ118に対して通信可能に直接または間接的に結合された別のデバイス)の、および/または接続されたスマートホーム環境100全体のステータス(たとえばシステムステータス)を示すように動作することができる。ライトリング748(および対応する要素)は、このようなさまざまなステータスを示すさまざまな色および/またはアニメーションがユーザに対して表示されるようにすることができる。
【0146】
たとえば、カメラ118のステータスを伝えるという文脈において、カメラ118の1回目の起動中またはファクタリセット後、リングは1回低速で青色で脈動してもよい。カメラ118がセットアップを開始する準備ができたときに、リングは連続的に青色を放出してもよい。カメラ118が遠隔クラウドサービスに接続されプロビジョニングが完了した(すなわちカメラがユーザのネットワークおよびアカウントに接続された)ときに、リングは1回緑色で脈動してもよい。サービス接続および/またはプロビジョニングに失敗したとき、リングは高速で黄色で点滅してもよい。カメラ118が双方向トークを容易にするように動作している(すなわち、音声が遠隔デバイスから取り込まれカメラ118からの出力のためにカメラ118に伝えられるのと同時に、音声から音声が取り込まれ遠隔デバイスからの出力のために遠隔デバイスに伝えられる)とき、リングは連続的に高速で青色を放出してもよい。カメラ118がファクトリーリセット前の最後の秒をカウントダウンしているとき、リングは、リセットまでの時間(たとえば5秒)に等しいレートで自ら閉じてもよい。カメラ118がファクトリーリセットされ設定が消去されているとき、リングは連続的に青色で回転してもよい。カメラ118の電力が不足しているとき、リングは連続的に低速で赤色で点滅してもよい。視覚的表示は、任意で、同じまたは補足的なメッセージをユーザに信号で知らせる音声表示と、同時に、ともに、またはそれとは別に、伝えられる。たとえば、カメラ118が遠隔クラウドサービスに接続されプロビジョニングが完了した(すなわちカメラがユーザのネットワークおよびアカウントに接続された)とき、リングは1回緑色で脈動し、「遠隔クラウドサービスおよびプロビジョニングは完了」という音声メッセージを出力してもよい。
【0147】
それに加えてまたはその代わりに、カメラ118は、カメラ118と通信する別のデバイスのステータスを伝えてもよい。たとえば、ハザード検出器104が、警報を発するのに十分な煙または炎を検出したとき、カメラ118は、連続的に高速で赤色で脈動するライトリングを出力してもよい。ハザード検出器104が、ユーザに対して警告するには十分であるが警報を発するほどではない煙または炎を検出したとき、カメラ118は数回黄色で脈動するライトリングを出力してもよい。訪問者がスマートドアベル106を作動させたとき、カメラ118は、その作動に応じてライトリングを出力してもよい。たとえば、スマートドアベル106が動きを検出した場合、カメラ118は黄色のライトリングを出力してもよく、ユーザがスマートドアベル106上のコールボタンを押した場合、カメラ118は緑色のライトリングを出力してもよい。いくつかの実装例において、カメラ118をドアベル106と通信可能に結合することで、カメラとドアベルとの間の音声通信が可能になるようにしてもよい。その場合、ライトリングのアニメーションおよび/または色が、カメラ118または別のデバイスを通してユーザが訪問者に対して話しているか否かに応じて変化してもよい。
【0148】
それに加えてまたはその代わりに、カメラ118は、スマートホーム環境100におけるネットワーク接続された複数のデバイスの累積ステータスを伝えてもよい。たとえば、スマートアラームシステム122は、近接センサ、窓破損センサ、ドア移動検出器などを含み得る。全般的な家の状態は、このような複数のセンサ/検出器のステータスに基づいて判断することができる。たとえば、全般的な家の状態は、安全である(建物と敷地が安全であり警報を発する準備ができていることを示す)、警報状態である(侵入または非常事態が存在することを示す)、または、事前警報等のその中間である(侵入または非常事態がまもなくもしくは何らかの条件が満たされない場合に発生する可能性があるという判断を示す)場合がある。たとえば、カメラ118のライトリングは、全般的な家の状態が警報状態であるときは連続的に赤色で脈動してもよく、全般的な家の状態が事前警報状態であるときは黄色で脈動してもよく、および/または全般的な家の状態が安全であるときは緑色で点灯してもよい。いくつかの実装例において、このような視覚的表示は、同じまたは補足的なメッセージをユーザに対して信号で知らせる音声表示と同時に(またはそれとは別に)伝えられてもよい。たとえば、全般的な家の状態が警報状態であるとき、リングは1回赤色で脈動し、アラームを示す音声メッセージ「アラーム」を出力してもよい。いくつかの実装例において、音声メッセージは、ライトリングを介して伝達することができない補足的情報を提供することができる。たとえば、全般的な家の状態が、地下室の窓が割れているために警報状態であるとき、音声メッセージは、「アラーム-地下室の窓が割れました」であってもよい。別の例として、事前警報量の煙を、キッチンにあるハザード検出器104が検出したとき、音声メッセージは「警告-キッチンで煙が検出されています」であってもよい。
【0149】
いくつかの実装例において、カメラ118はさらに、または代わりに、ステータスLEDを有していてもよい。このようなステータスLEDは、カメラ118、他のデバイス、または複数のデバイスステータスの情報を、情報伝達性が低い状態で伝えるために使用できる。たとえば、ステータスライトは、初期セットアップ中、緑色で点灯したままでもよく、ビデオおよび/または音声データの通常のストリーミング中、緑色で点灯したままでもよく、誰かが遠くから観察しているときは緑色で点滅してもよく、誰かが遠くから観察しておりカメラ118を通して話しているときは緑色で点灯したままでもよく、カメラ118がオフにされたときまたはステータスLEDが無効にされたときはオフにされてもよい。ステータスLEDはライトリングと同時に表示できることが理解されるはずである。たとえば、ステータスLEDはセットアップ中緑色で点灯したままであってもよく、ライトリングは、デバイスがサービスに接続されプロビジョニングが完了してセットアップが終了するまで、青色で点滅してもよい。よって、ライトリングが緑色の1つのパルスに切り替わる一方でステータスLEDは緑色の点灯を続けてもよい。
【0150】
図7G図7Hは、いくつかの実装例に係るカメラ118の他の拡大図を示す。図7G図7Hに示されるように、カメラ118は、カバー要素704と、赤外線反射器742と、光拡散器744と、光ガイド746と、ライトリング748と、マイクアセンブリ750と、画像センサアセンブリ732と、フライヤーバスケット724と、スタンド結合要素756および758と、フライヤーポット728と、主基板764と、伝導性シート766と、アンテナ726と、スピーカアセンブリ713と、ケース701とを含む。
【0151】
図8A図8Cは、いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。図8Aは、カバー要素704と、IR反射器742と、光拡散器744と、光ガイド746と、ライトリング748とで構成されたカバー要素アセンブリの拡大図を示す。いくつかの実装例に従うと、カバー要素704はマイク開口部706を含む。いくつかの実装例に従うと、光拡散器744は第1の(内側)部分747と第2の(外側)部分745とを含む。いくつかの実装例において、内側部分747は、構造ポリカーボネートからなる。いくつかの実装例において、外側部分745は、可視光に対して透過性または半透過性である。いくつかの実装例に従うと、ライトリング748は、IR照明器(たとえばIR LED)752と、可視光照明器(たとえばRGB LED)749と、周囲光センサ751とを含む。いくつかの実装例において、可視光照明器749は、6個のRGB LEDを含む。いくつかの実装例において、可視光照明器749は、個別に制御される(たとえばSoC1004によって制御される)ように構成される。いくつかの実装例において、各照明器は、光ガイド746の一部分に対応する。たとえば、図8Aの光ガイド746は、照明器749-2に対応する第1の部分802-1と、照明器749-3に対応する第2の部分802-2とを含む。図8Aに示されるように、いくつかの実装例に従うと、各照明器749は、時計回り方向に向けられており、光ガイド746は、照明器749の位置から時計回り方向に延びている、対応する部分を含む。いくつかの実装例において、光ガイド746の各部分は、照明器からの光がライトガイドの他の部分に入るのを防止するのに適したセグメンタ(たとえば光吸収物質)を終端とするまたはそれによって囲まれる。いくつかの実装例において、カメラの前面に向いていない光ガイド746の1つ以上の表面は、照明器749からの光がその位置の光ガイド746から出ることを防止するために、光吸収物質(たとえば黒色インク)でコーティングされるかまたは光吸収物質で処理される。いくつかの実装例において、照明器749は、非時計回り(たとえば反時計回り)の向きである。
【0152】
いくつかの実装例において、IR照明器は、波長が940ナノメートルであるIR LEDを含む。いくつかの実装例において、IR照明器は、波長が850ナノメートルであるIR LEDを含む。いくつかの実装例において、カメラ118の画像センサは、850nmの光に対する感度よりも、940nmの光に対する感度の方が低い。したがって、波長が940nmであるIR LEDは、波長が850nmのIR LEDと比較して、画像センサに対する干渉が少ない。
【0153】
いくつかの実装例において、カバー要素704は、画像センサアセンブリ732およびIR照明器752双方を含む、カメラの前部分全体にある、一体要素(たとえばガラスまたはプラスチックレンズ)からなる。いくつかの実装例において、カバー要素704は、厚さが1mm、またはおよそ1mmである一体のカバーガラスである。一体要素の1つの問題は、IR光がある角度で要素に入り、分散し、この要素を出て画像センサに入ることである。これは、白色ゴースト効果を引き起こし、雑音を増し、目的とする視野の視認性を減じる。その結果、夜間の視覚性能が悪くなる。いくつかの実装例において、光吸収コーティング(たとえば膜またはインク)および反射防止コーティングを、当該要素の後ろ側に追加することにより、光の散乱を防止する。いくつかの実装例において、このコーティングは、IR照明のために使用される領域と、画像センサの入口との間に位置するが、これらはすべて、同一のカバー要素にある。いくつかの実装例において、コーティングは、光のすべての波長に対して光吸収性を有する滑らかな艶消しインクを含む。
【0154】
いくつかの実装例において、カバー要素704はシルクスクリーンロゴを含む。いくつかの実装例において、カバー要素704の第1の部分は、可視光およびIR光を吸収するのに適した不透明膜でコーティングされる。いくつかの実装例において、この膜はインクである。いくつかの実装例において、(たとえばIR照明器752に対応する)カバー要素704の第2の部分は、可視光の吸収(たとえば可視光に対して不透明または半透明)に適したIR透過膜でコーティングされる。いくつかの実装例において、カバー要素704の第3の部分は、半透明(たとえばIRおよび/または可視光に対して半透明)の膜でコーティングされ、第3の部分は、ステータス照明器および/または周囲光センサに対応する。いくつかの実装例において、カバー要素704は、反射防止膜でコーティングされる。たとえば、カバー要素704は、先ず薄い膜でコーティングされ、次にこの薄い膜の上の反射防止コーティングで覆われている。いくつかの実装例において、コーティングは、カバー要素704の内面に与えられる。いくつかの実装例において、これらのコーティングのうちの少なくとも1つは、カバー要素704の外面に与えられる。いくつかの実装例において、カバー要素704は、内面および外面双方に与えられた反射防止コーティングを有する。いくつかの実装例において、カバー要素704は、ライトリング748からの光が画像センサに入るのを防止または実質的に防止するための不透明コーティングを含む。
【0155】
いくつかの実装例において、コーティングのうちの1つ以上は、光を散乱させるのではなく吸収するのに適した滑らかなインクを含む。たとえば、可視光およびIR光を吸収するのに適した不透明なインクである。いくつかの実装例において、コーティングのうちの1つ以上は、光の少なくとも99%を吸収するのに適している。たとえば、不透明コーティングは、可視光およびIR光の少なくとも99%を吸収するのに適している。いくつかの実装例において、コーティングのうちの1つ以上は、光を散乱させるのに適した粗いインクを含む。いくつかの実装例において、コーティングのうちの1つ以上は、蒸着によって与えられる。いくつかの実装例において、コーティングのうちの1つ以上は、薄膜堆積によって与えられる。いくつかの実装例において、コーティングのうちの1つ以上は、パターン印刷プロセスを通して与えられる。いくつかの実装例において、コーティングのうちの1つ以上は、スプレーオンプロセスを通して与えられる。
【0156】
図8Bは、IR照明器752からの光を導くためのキャビティ802を有するIR反射器742を示す。いくつかの実装例において、IR反射器742は、IR照明器752の効率を改善するのに適している。IR反射器742は、画像センサにとって最適ではない波長を有するIR照明器を用いる場合に特に重要である。なぜなら、画像センサのシーンを照明するためにより高い強度が必要であるからである。いくつかの実装例において、IR反射器742は、複数のIR照明器からの照明が重なり合うことを原因とする、シーン内のホットスポットを防止するのに適している。いくつかの実装例において、IR反射器742は、IR照明器からの照明を、画像センサが取り込んだシーンの部分に導くおよび/または制限するのに適している。たとえば、画像センサがシーンの16:9の矩形部分を取り込むのに適している場合、IR反射器742は、実質的に均一的な照明をその部分に与えるがその部分の外側には実質的に照明を与えないようにするのに適している。
【0157】
いくつかの実装例において、カメラ118は、各々が特定のIR照明器に対応する複数のIR反射器を含む。たとえば、カメラ118は、4つの照明器と2つのIR反射器とを含み、第1のIR反射器は第1の2つのIR照明器からの光を導くためのものであり、第2のIR反射器は第2の2つのIR照明器からの光を導くためのものである。いくつかの実装例において、複数のIR反射器は、これら複数のIR反射器に対応するIR照明器からのIR照明を、カメラの視野に対応するシーンの部分に実質的に均一的な照明を与えこの部分の外側には実質的に照明が与えられないように、導くように、構成される。いくつかの実装例において、カメラの画像センサは、広角画像(たとえば魚眼ビュー)を取り込むのに適している。いくつかの実装例において、IR反射器は、広角の視野全体に、この視野の外側は実質的に照明されないように、実質的に均一的な照明を与えるように構成される。
【0158】
いくつかの実装例において、画像センサは、IR光(たとえば波長が940nmまたは850nmのIR光)を取り込むように構成される。いくつかの実装例において、IR光は、ユーザに対する表示のために白色光に変換される(たとえばカメラ118で)。いくつかの実装例において、IR照明器752は2つのIR LEDからなる。いくつかの実装例において、IR照明器752の波長は、可視スペクトルから遠くなるように調整される。たとえば、IR照明器の波長は、850nmではなく940nmに調整される。IR照明器を光の可視スペクトルから遠くなるように調整することは、当該照明器からのIR照明が、人間の目には見えにくい(または見えない)ことを意味する。いくつかの実装例において、画像センサは、940nmのIR光ではなく850nmのIR光にチューニングされる。いくつかの実装例において、IR照明器は、940nmのIR光を放出しより大きなパワー(たとえば2倍のパワー)で動作することにより、850nmを放出するように構成されたIR照明器が提供するものと同様の照明を画像センサ(たとえば850nmのIR光に対してチューニングされた画像センサ)に与えるように、構成される。よって、IR照明器ができる限り効率的に使用されることが重要である。たとえば、IR照明器は、画像センサが取り込んだシーンの部分のみを照明するように構成される。
【0159】
いくつかの実装例において、画僧センサは、縦+/-32度、横+/-56度に対応する矩形の視野を有する。いくつかの実装例において、IR照明器752は、半球パターンで光を放出するように構成される。したがって、視野外の照明を最小にしかつ検知画像のホットスポットを生じさせるIR照明器間の重なりを最小にする一方で、画像センサの視野を照明するように、IR照明器からの光を導き成形する必要がある。
【0160】
いくつかの実装例において、IR反射器742は、視野外の照明を最小にしかつ検知画像のホットスポットを生じさせるIR照明器間の重なりを最小にする一方で、画像センサの視野を照明するように、IR照明器からの光を導き成形するように構成される。いくつかの実装例において、IR反射器742は、プラスチックおよび/または金属からなる。いくつかの実装例において、IR反射器742は、IR反射コーティング(たとえば銀)で覆われている。いくつかの実装例において、IR反射器742は、実質的にすべてのIR光を反射する(たとえばIR光の95%、98%、99%が反射される)のに適している。いくつかの実装例において、IR反射器742は、各IR照明器752ごとに矩形キャビティ802を含む。いくつかの実装例において、矩形キャビティ802は各々、カメラ118の(たとえばカメラ118の画像センサの)視野に対応するように、IR照明器からのIR光を成形するように構成される。いくつかの実装例において、各キャビティ802は、対応するIR照明器752に対する開口を含む。いくつかの実装例において、キャビティ802および照明器752は、IR照明器752間の照明の重なりを最小にするように配置される。いくつかの実装例において、キャビティ802は、IR照明器752からの照明が、画像センサの視野全体にわたって実質的に均一になるように配置される。いくつかの実装例において、キャビティ802は、カメラの視野の中心の照明を増大させる(たとえば照明の1.2、1.5、または2倍になる)ように、配置される。
【0161】
いくつかの実装例において、IR反射器742は、IR照明器からの照明を、カメラの視野のみを照らすよう制限するように構成される。いくつかの実装例において、IR反射器742は、カメラの視野内における、IR照明器からのエネルギ分布を最適化するように構成される。いくつかの実装例において、IR反射器742は、画像センサの視野外で無駄に消費されるエネルギを最小にする一方で、画像センサの視野内におけるIR照明器からのエネルギを最大にするように構成される。いくつかの実装例において、IR反射器は、カメラの視野が均一的に照明されカメラの視野外の領域が照明されないように、IR照明器からの照明を成形するように構成される。
【0162】
図8Cは、いくつかの実装例に係るカメラ118のいくつかの構成要素を示す。図8Cは、フライヤーバスケット724の内部に置かれた画像センサアセンブリ732と、ライトリング748に装着されたIR反射器742と、フライヤーバスケット724および画像センサアセンブリ732からの熱をカバー要素704に伝達するように動作する熱拡散器810と、開口部706に対応するマイク816とを示す。いくつかの実装例において、熱拡散器810は、カバー要素704に装着される。いくつかの実装例において、熱拡散器810は、熱を画像センサアセンブリ732から遠ざかってカバー要素704に向かいカメラの前面の外側に放出されるように再び導くことにより、画像センサが取り込んだ画像に対して熱が影響を与えるのを実質的に防止するのに適している。
【0163】
図9は、いくつかの実装例に係るカメラ118のいくつかの構成要素の拡大図を示す。図9は、フライヤーバスケット724、断熱材902、およびフライヤーポット728を示す。いくつかの実装例において、断熱材902は、フライヤーバスケット724をフライヤーポット728から実質的に熱的に分離するのに適している。
【0164】
図10A図10Cは、いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。図10Aは、主基板764、電磁(EMI)シールド1000、熱パッド1002、熱伝導性シート766、スピーカアセンブリ713、およびアンテナ726を示す。図10Aに示されるように、主基板764は、システムオンチップ(SoC)1004と、メモリチップ1006(たとえばメモリとメモリコントローラとを含む)と、電源管理集積回路(power management integrated circuit)(PMIC)1008とを含む。いくつかの実装例において、熱伝導性シート766はグラファイトシートを含む。いくつかの実装例において、EMIシールド1000は、アルミニウム、ステンレス鋼、および/またはアルミニウム合金からなる。いくつかの実装例において、熱パッド1002は、SoC1004の上全体に広がるように配置される。いくつかの実装例において、熱パッド1002の大きさは、SoC1004に相当する大きさである。いくつかの実装例において、熱パッド1002の大きさは、EMIシールド1000に相当する大きさである。
【0165】
いくつかの実装例において、主基板764の後側は、(たとえばEMIシールド1000、熱パッド1002、および伝導性シート766を介した)熱の伝達および放散のために、スピーカアセンブリ713に熱的に結合される。いくつかの実装例において、主基板764の前側は、(たとえば基板の前側のEMIシールドを介した)熱の伝達および放散のために、フライヤーポット728に熱的に結合される。
【0166】
図10Bは、SoC1004を備えた主基板764の後側、メモリコントローラ1006、および電磁妨害(EMI)フェンス1020を示す。いくつかの実装例において、EMIフェンス1020は、EMIシールド1000とともに、SoC1004および/またはメモリコントローラ1006が外部ソースから電磁妨害されるのを実質的に防止するのに適している。いくつかの実装例において、SoC1004および/またはメモリチップ1006の上面は、SoC1004から熱を放散させるために熱物質(たとえばパテまたはペースト)でコーティングされている。いくつかの実装例において、熱物質は、EMIシールド1000をEMIフェンス1020に装着した後に、EMIシールド1000に接触する。よって、熱物質は、対応する構成要素(たとえばSoC1004)からEMIシールド(たとえばEMIシールド1000)に熱を伝達する。
【0167】
いくつかの場合において、グラファイトシート766をスピーカアセンブリの底面に設けることは、アンテナシステム726の動作に影響を与えるであろう。いくつかの場合および実装例において、アンテナ726のアンテナ効率は、グラフファイトシートがEMIシールドの上に置かれたときに、影響を受ける。いくつかの場合および実装例において、アンテナ効率は、グラファイトシート766がスピーカアセンブリ713の底面に装着されたときに、大幅に低下する。その理由は、少なくとも一部、グラファイトシートがスピーカアセンブリ713の底面にあるときにアンテナ間の結合が増すことにある。結合が増すと、効率の低下を引き起こすだけでなく、チップセットの恒久的なダメージも生じる。いくつかの実装例において、グラファイトシート766の中央付近に小さな切れ目を入れる(たとえばグラファイトシートを2つの部分に分割する)。いくつかの実装例において、この切れ目の位置は、グラファイトシートの各部分がそれでもなお熱パッド1002と接触するように、選択される。いくつかの実装例において、この切れ目の幅は、グラファイトの表面積が最大になるように、かつ熱パッドとの接触が最大になるように、最小にされる。いくつかの実装例において、この切れ目は各アンテナ726の結合チャネルを切断することにより、各アンテナの分離を大きくする。良好な分離は各アンテナの効率を元に戻す。いくつかの実装例において、これらのグラファイトシート部分はいずれも、SoCのホットスポット上に置かれた熱パッドと重なり合う。この配置において、熱はそれでもなお、グラファイトシート全体にわたって十分に分布する。いくつかの実装例において、グラファイトシート766は、2つの切れ目を含み、したがって、3つのアンテナ726に対応する3つの部分を有する。いくつかの実装例において、グラファイトシートは、N個の切れ目を有し、これは、N+1個のアンテナに対応する。よって、5個のアンテナを有するカメラアセンブリの場合、グラファイトシートは4つの切れ目を有することで、熱パッド1002からスピーカアセンブリ713になおも熱を伝達しつつ、アンテナ間の干渉を最小にする。
【0168】
図10Cは、無線機1032および1034を備えた主基板764の前側を示す。いくつかの実装例において、無線機1032および/または無線機1034は、ブロードバンド(たとえばWi-Fi、セルラーなど)通信用に構成される。いくつかの実装例において、無線機1032および/または無線機1034は、2点間(たとえばBluetooth)通信用に構成される。いくつかの実装例において、無線機1032および/または無線機1034は、メッシュネットワーキング(たとえばThread、Zigbee、ZWave、IEEE15.4など)通信用に構成される。無線機1032および1034はアンテナ(たとえばアンテナ726-1、726-2)に結合される。図10Cはまた、EMIフェンス1030、無線機1032の周りのEMIフェンス1040、および無線機1034の周りのEMIフェンス1042を示す。いくつかの実装例において、EMIフェンス(たとえばEMIフェンス1030、1040、および/または1042)は、(たとえば外部ソースからの、または無線機1032と無線機1034との間等、各種構成要素間の)電磁妨害を最小にするように構成される。いくつかの実装例において、EMIフェンス(たとえばEMIフェンス1030、1040および/または1042)は、対応する電気的構成要素をEMIフェンスの外部のソースから実質的に分離するように構成される。いくつかの実装例において、カメラ118はまた、図10Cに示される各EMIフェンスに対応するEMIシールドを含む。いくつかの実装例において、EMIシールドは、主基板764からの熱をフライヤーポット728に伝達するのに適している。いくつかの実装例において、EMIフェンス(たとえばEMIフェンス1020、1030、1040、および/または1042)は、アルミニウムおよび/またはアルミニウム合金からなる。いくつかの実装例において、EMIシールド(たとえばEMIシールド1000)は、対応するEMIフェンス(たとえばEMIフェンス1020)に装着される(たとえばスナップ留めされる)ように構成される。
【0169】
いくつかの実装例において、主基板764はまた、主基板764をライトリング748に通信可能に結合するためのコネクタ、主基板764を画像センサアセンブリ732に通信可能に結合するためのコネクタ、主基板764をケーブル714に通信可能に結合するためのコネクタ、主基板764をスピーカアセンブリ713に通信可能に結合するためのコネクタ、および/または主基板764をアンテナ726に通信可能に結合するためのコネクタ(たとえば無線機1034および1032をアンテナ726に通信可能に結合する)を含む。いくつかの実装例において、主基板764を画像センサアセンブリ732に通信可能に結合するためのコネクタは、可撓性コネクタを含む。いくつかの実装例において、主基板764をアンテナ726に通信可能に結合するためのコネクタは、ばねコネクタ(たとえばばね指コネクタ)を含む。
【0170】
図11は、いくつかの実装例に係る代表的なカメラアセンブリを示す構成要素図である。図11に示されるように、いくつかの実装例において、カメラ118は、第1のケーブル束と第2のケーブル束とに分けることができる1つ以上の相互接続ワイヤ1112を含む。たとえば、いくつかの実装例において、第1のケーブル束は電力を送るように構成され、第2のケーブル束はデータ信号(たとえばビデオデータ、音声データなど)を送信するように構成される。各ケーブル束は、その端部に、スタンドアセンブリ702(ベースアセンブリと呼ばれることもある)およびヘッドアセンブリ703に収容された電子回路に電気的に接続するための適切なコネクタ(たとえばワイヤから基板へのコネクタ)を有し得る。いくつかの実装例において、相互接続ワイヤ1112は、その第1の端部に、ヘッドアセンブリの電子デバイスの電子回路に接続するための第1のコネクタが設けられ、その第2の端部に、スタンドアセンブリに収容された(たとえば土台1110上に設けられた)1つ以上のPCBに接続するための第2のコネクタが設けられる。いくつかの実装例において、これらのケーブル束は、その中央部で物理的に接合されているが、その端部において互いに分離されている。いくつかの実装例において、ケーブル束の少なくとも一部には、保護層、たとえばアセテートテープが巻かれている。
【0171】
いくつかの実装例において、1つ以上の相互接続ワイヤ1112は、首部1106の中に通される第1のワイヤ部分と、背骨部分1114の表面に沿ってベース部分1102まで通される第2のワイヤ部分と、接合構造を通して背骨部分1114の表面から首部分1106の内部まで通される第3の部分とを含む。いくつかの実装例において、第1のワイヤ部分および第2のワイヤ部分の各々は、第3のワイヤ部分に対して角度が付けられている(たとえば斜めにまたは直交するように)。いくつかの実装例において、第1のワイヤ部分は、ヘッドアセンブリ内の回路に接続するためのコネクタから、首部分1106の第1の端部の第2の開口部を通って首部分1106の内腔に入る。いくつかの実装例において、第1のワイヤ部分はさらに、開口部を通ってピボット1113の中に入る。第1のワイヤ部分は、いくつかの実装例において、ピボット1113の内部の第1の屈曲部において、第3のワイヤ部分に移行する。いくつかの実装例において、第1の屈曲部は、第1のワイヤ部分と第3のワイヤ部分との間において、約80度から約100度、たとえば約90度の屈曲部を含む。いくつかの実装例において、第3のワイヤ部分は、ピボット1113から、開放されている第1の端部および背骨部分1114のフランジの開口部を通って外に延びている。いくつかの実装例において、第3のワイヤ部分は、第2の屈曲部において第2のワイヤ部分に移行する。いくつかの実装例において、第1の屈曲部は、第3のワイヤ部分と第2のワイヤ部分との間において、約80度から約100度、たとえば約90度の屈曲部を含む。いくつかの実装例において、第2のワイヤ部分は、第2の屈曲部から、背骨部分1114の外面に沿って延び、ベース部分1102の中に入る。いくつかの実装例において、第2のワイヤ部分480bは、少なくとも部分的に、ステムカバー470の内面と外面476との間に形成された隙間の中に配置される。いくつかの実装例において、第2のワイヤ部分は、ステムカバー1104のフランジと土台1110との間の空隙を通って延び、ベース部分1102の中に入る。いくつかの実装例において、第2のワイヤ部分はコネクタで終端をなす。これらのコネクタは、ベース部分1102に収容されたPCBと結合しかつ電子コネクタ714と電気的に結合するように構成される。いくつかの実装例において、土台1110には、第2のワイヤ部分をPCBまで導くための溝または通路が設けられる。いくつかの実装例において、1つ以上の相互接続ワイヤ1112は、この1つ以上の相互接続ワイヤの異なる部分において異なる断面形状を有する。たとえば、いくつかの実装例において、上記1つ以上の相互接続ワイヤは、第2のワイヤ部分で束ねられて、背骨部分1114の外面とステムカバー1104との間の隙間により良好にフィットするよう概ね平坦な断面形状を有する。さらに他の実装例において、1つ以上の相互接続ワイヤ1112は、首部分1106を通る第1の部分および/またはピボット1113を通る第3の部分において円形の断面形状を有するように束ねられる。
【0172】
いくつかの実装例に係る第1、第2、および第3のワイヤ部分の位置決めにより、背骨部分1104に対する首部分1106の動き度をより大きくすることができる。いくつかの実装例において、第1、第2、および第3のワイヤ部分の位置決めにより、首部分1106は、背骨部分1104に対し、上記1つ以上のワイヤを実質的に緩めることなく、その動き範囲全体にわたって旋回することができる。いくつかの実装例において、第3のワイヤ部分は、首部分1106が背骨部分1104に対して旋回するとき、背骨部分1104に対して実質的に移動しない。いくつかの実装例において、第1のワイヤ部分は、首部分1106が背骨部分1104に対して旋回するとき、第3のワイヤ部分から屈曲する。さらに他の実装例において、第1、第2、および第3のワイヤ部分の位置決めは、1つ以上のワイヤ1112のどの部分もヘッドアセンブリ703、ステム部分1104、およびベース部分1102の外側に見えることがないよう、1つ以上のワイヤ1112を完全に隠すように設定される。
【0173】
いくつかの実装例において、ベースカバーは、上面を含む上部分1102と、底面を含む底部分1108とを含む。いくつかの実装例において、上部分はさらに、ポートを画定してベース部分の内部に位置決めされた電子コネクタ714へのアクセスを提供する開放キャビティを含む。いくつかの実装例において、土台1110およびベース部分のその他の内部構成要素は、ベースカバーの上部分1102と底部分1108との間に挟まれている。これらの上部分および底部分は、いくつかの実装例において、金属、剛性プラスチック、またはその他の頑強な材料から作られる。いくつかの実装例において、カメラ118は、水平面において+/-90度、鉛直面において+/-90度回転するように構成される。
【0174】
上記システムが、ユーザに関する情報を収集するという状況において、個人情報(たとえばユーザの嗜好またはスマートデバイスの用途に関する情報)を収集し得るプログラムまたは特徴にオプトイン/からオプトアウトする機会をユーザに与えてもよい。加えて、いくつかの実装例において、特定のデータを、格納または使用する前に1つ以上のやり方で匿名化して、個人を特定できる情報を削除してもよい。たとえば、ユーザのアイデンティティを匿名化することで、個人を特定可能な情報を判定できないまたはユーザに対応付けられないようにし、ユーザの嗜好またはユーザのやり取りを、特定のユーザに対応付けるのではなく、一般化(たとえば、ユーザの人口統計に基づいて一般化)してもよい。
【0175】
さまざまな図面のうちのいくつかは特定の順序で複数の論理的段階を示すが、順序に依存しない段階を再度順序付けてもよく、他の段階を組み合わせたり切離したりしてもよい。何らかの再順序付けまたは他のグループ分けに具体的に言及がされるが、他のものが当業者には自明であり、そのため、本明細書中に提示される順序付けおよびグループ分けは代替策の網羅的な列挙ではない。さらに、ハードウェア、ファームウェア、ソフトウェア、またはその任意の組み合わせで段階を実現可能であることを認識すべきである。
【0176】
具体的な実装例を参照して、説明の目的のための以上の説明を記載した。しかしながら、例示的な上記の議論は、網羅的であることまたは開示される正確な形態に請求項の範囲を限定することを意図しない。上記教示に鑑みて多数の修正例および変更例が可能である。実装例は、請求項の基礎をなす原則およびそれらの実践的な適用例を最良に説明し、それにより、当業者が、企図される特定の用途に適するようなさまざまな修正例とともに実装例を最良に用いることができるようにするために選択された。
図1
図2A
図2B
図3A
図3B
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図8A
図8B
図8C
図9
図10A
図10B
図10C
図11
図12