ホーム > 特許ランキング > ＧＨＳＰ， ＩＮＣ．
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-01
(54)【発明の名称】対話型キッチンディスプレイ
(51)【国際特許分類】
G06F 3/0481 20220101AFI20220525BHJP
G06F 3/041 20060101ALI20220525BHJP
G06F 3/044 20060101ALI20220525BHJP
G06F 3/01 20060101ALI20220525BHJP
G06F 3/0488 20220101ALI20220525BHJP
H04N 7/18 20060101ALI20220525BHJP
H04N 21/431 20110101ALI20220525BHJP
H04L 12/28 20060101ALI20220525BHJP
H04L 67/54 20220101ALI20220525BHJP
G09F 9/00 20060101ALI20220525BHJP
【ＦＩ】
G06F3/0481
G06F3/041 550
G06F3/041 630
G06F3/044
G06F3/01 570
G06F3/0488
H04N7/18 U
H04N21/431
H04L12/28 500E
H04L67/54
G09F9/00 350Z
G09F9/00 366A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021557388
(86)(22)【出願日】2020-03-27
(85)【翻訳文提出日】2021-11-22
(86)【国際出願番号】 US2020025373
(87)【国際公開番号】W WO2020198642
(87)【国際公開日】2020-10-01
(31)【優先権主張番号】62/825,494
(32)【優先日】2019-03-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/905,778
(32)【優先日】2019-09-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】516173429
【氏名又は名称】ジーエイチエスピー・インコーポレイテッド
【氏名又は名称原語表記】ＧＨＳＰ， ＩＮＣ．
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100221729
【弁理士】
【氏名又は名称】中尾 圭介
(72)【発明者】
【氏名】セイジ、イーアン
(72)【発明者】
【氏名】コーウィン、コート・シー
(72)【発明者】
【氏名】ウメネイ、イーサイ
(72)【発明者】
【氏名】ボーンウェル、ジョシア
(72)【発明者】
【氏名】バーマン、デイヴィド・ダブリュ
(72)【発明者】
【氏名】ハリス、リチャード・ダブリュ
(72)【発明者】
【氏名】フォーリー、アンドルー
【テーマコード（参考）】
5C054
5C164
5E555
5G435
【Ｆターム（参考）】
5C054CA04
5C054CA05
5C054CC02
5C054DA09
5C054EA01
5C054EA03
5C054EA05
5C054FC01
5C054FC12
5C054FC13
5C054FE05
5C054FF03
5C054HA31
5C164UB41S
5C164UB71S
5C164UB81P
5C164YA12
5E555AA64
5E555AA65
5E555AA71
5E555BA15
5E555BA41
5E555BB15
5E555BC08
5E555BC17
5E555BE13
5E555CA12
5E555CA41
5E555CA42
5E555CA46
5E555CA47
5E555CB12
5E555CB66
5E555CC03
5E555DA03
5E555DA05
5E555DA06
5E555DA23
5E555DB53
5E555DC13
5E555DD07
5E555EA05
5E555EA07
5E555EA11
5E555FA00
5G435AA00
5G435BB04
5G435EE13
5G435EE49
5G435LL03
(57)【要約】
システムは、少なくとも２人のユーザによって同時にアクセス可能なマルチユーザ対話型ディスプレイエリアを有するタッチスクリーンを有する横長のディスプレイを提供する。センサは、横長のディスプレイに対するユーザの場所を決定するために使用され得る、ユーザの存在を識別するセンサ信号を送信するためになど、タッチスクリーンの対話型ディスプレイエリアにおける又はその近くのユーザをモニタすることができる。ユーザの特性もセンサで識別され得、特性は、ユーザプロフィールに対応し得る。横長のディスプレイは、ユーザの場所の近くの対話型ディスプレイエリアのセクションに画像を表示することができ、画像は、ユーザプロフィールの事前に選択された設定に対応する。
【特許請求の範囲】
【請求項1】
少なくとも２人のユーザによって同時にアクセス可能なマルチユーザの対話型ディスプレイエリアを提供するタッチスクリーンを有する横長のディスプレイと、前記タッチスクリーンの前記対話型ディスプレイエリアにおける又はその近くのユーザを捕捉するように構成されたセンサフィールドを有するセンサと、
コントローラと、
を含むシステムであって、
前記コントローラは、
前記センサフィールドをモニタしている前記センサからセンサ信号を受信することと、
前記受信されたセンサ信号に基づいて、前記横長のディスプレイに対する第１のユーザの場所を決定することと、
前記受信されたセンサ信号に基づいて、前記第１のユーザの特性を識別することであって、前記特性は、ユーザプロフィールに対応する、識別することと、
前記第１のユーザの前記場所の近くの前記対話型ディスプレイエリアのセクションに第１の画像を表示するために、前記横長のディスプレイに始動通信を送信することであって、前記第１の画像は、前記ユーザプロフィールの事前に選択された設定に対応する、送信することと、
を行うように構成される、システム。
【請求項2】
前記コントローラは、前記対話型ディスプレイエリアにおける前記第１のユーザによるジェスチャに応答して、前記タッチスクリーンからジェスチャ通信を受信することと、
前記第１のユーザによって提供された前記ジェスチャを確認する第２の画像を表示するために、前記横長のディスプレイに応答通信を送信することと、
を行うようにさらに構成される、請求項１に記載のシステム。
【請求項3】
前記コントローラは、前記第１のユーザも前記対話型ディスプレイエリア又はその近くに位置する間、前記対話型ディスプレイエリアにおける又はその近くの第２のユーザの第２の場所を決定することと、
前記センサ信号に基づいて、前記第２のユーザの特性を識別することと、
を行うようにさらに構成される、請求項１又は２に記載のシステム。
【請求項4】
前記コントローラは、前記第２のユーザの前記場所の近くの前記対話型ディスプレイエリアの第２のセクションに第２の画像を表示するために、前記横長のディスプレイに始動通信を送信するようにさらに構成される、請求項３に記載のシステム。
【請求項5】
前記横長のディスプレイは、壁面に配設されるように構成され、前記横長のディスプレイは、前記対話型ディスプレイエリアに沿って水平に配設された複数のセクションを含む、請求項１～３のいずれか一項に記載のシステム。
【請求項6】
前記第１の画像は、制御インタフェースを含む、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
前記センサは、前記対話型ディスプレイエリアを遮る物体を捕捉するように構成され、前記コントローラは、前記センサ信号に基づいて前記物体を識別し、且つ前記識別された物体と干渉しない前記横長のディスプレイのセクションに制御インタフェースを表示するように構成される、請求項１～６のいずれか一項に記載のシステム。
【請求項8】
前記横長のディスプレイは、横並びに配置された複数のディスプレイデバイスと、前記対話型ディスプレイエリアを画定するために、前記複数のディスプレイデバイスの少なくとも一部分を覆うように配設された容量性タッチスクリーンとを含む、請求項１～７のいずれか一項に記載のシステム。
【請求項9】
前記センサは、カメラ、熱イメージャ、マイクロフォン、占有センサ又は無線受信機の少なくとも１つを含む、請求項１～８のいずれか一項に記載のシステム。
【請求項10】
前記ユーザプロフィールの前記事前に選択された設定は、オーブン、冷蔵庫又はサーモスタットの少なくとも１つを動作させるように構成された制御インタフェースの配置を含む、請求項１～９のいずれか一項に記載のシステム。
【請求項11】
壁面に配設されるように構成される横長の連続ディスプレイエリアを画定するために、水平構成で横並びに配置された複数のディスプレイデバイスと、対話型ディスプレイエリアを画定するために、前記横長の連続ディスプレイエリアの少なくとも一部分にオーバーレイするタッチスクリーンと、
コントローラと、
を含む対話型ディスプレイアセンブリであって、
前記コントローラは、
前記タッチスクリーン上の前記対話型ディスプレイエリアにおけるタッチイベントに応答して、前記タッチスクリーンから第１の通信を受信することと、
前記タッチイベントの下にある場所に画像を表示するために、前記複数のディスプレイデバイスの少なくとも１つに第２の通信を送信することと、
を行うように構成される、対話型ディスプレイアセンブリ。
【請求項12】
前記複数のディスプレイデバイスは、少なくとも２つのＬＥＤディスプレイパネルを含む、請求項１１に記載の対話型ディスプレイアセンブリ。
【請求項13】
前記タッチスクリーンは、前記複数のディスプレイデバイスの少なくとも２つのディスプレイパネルを覆うように配設される、請求項１１又は１２に記載の対話型ディスプレイアセンブリ。
【請求項14】
前記タッチスクリーンは、容量性のタッチパネルを含む、請求項１１～１３のいずれか一項に記載の対話型ディスプレイアセンブリ。
【請求項15】
前記タッチスクリーンの縁に取り付けられた支持ベースをさらに含み、前記タッチスクリーンは、前記複数のディスプレイデバイス及び前記壁面から離れて前記支持ベースの周りで枢動するように構成される、請求項１１～１４のいずれか一項に記載の対話型ディスプレイアセンブリ。
【請求項16】
前記支持ベースは、前記複数のディスプレイデバイスの下縁部分を受け且つ支持するチャネルを含む、請求項１５に記載の対話型ディスプレイアセンブリ。
【請求項17】
前記チャネル内に配設される前記複数のディスプレイデバイスの前記下縁部分は、前記対話型ディスプレイエリアの一部ではない、請求項１６に記載の対話型ディスプレイアセンブリ。
【請求項18】
前記コントローラは、校正ルーチンを用いて前記対話型ディスプレイエリアを決定するように構成される、請求項１６又は１７に記載の対話型ディスプレイアセンブリ。
【請求項19】
前記支持ベースは、前記壁面とキャビネットのカウンタートップとの間に配設されるように構成され、前記支持ベースは、前記複数のディスプレイデバイスの奥行きに実質的に等しい厚さを有する、請求項１５～１８のいずれか一項に記載の対話型ディスプレイアセンブリ。
【請求項20】
前記タッチスクリーンの上縁に沿って取り付けられた電源タップをさらに含み、前記電源タップは、付属プラグを受けるように構成される少なくとも１つの差込口を有する、請求項１１～１９のいずれか一項に記載の対話型ディスプレイアセンブリ。
【請求項21】
前記タッチスクリーンの近くのエリアを包含するように構成されたセンサフィールドを有するセンサをさらに含み、前記センサは、前記横長の連続ディスプレイエリアのセクションの近くのユーザを識別するように構成される、請求項１１～１９のいずれか一項に記載の対話型ディスプレイアセンブリ。
【請求項22】
前記コントローラは、前記複数のディスプレイデバイスに、前記ユーザの最も近くで識別された前記横長の連続ディスプレイエリアの前記セクションに前記画像を表示させるように構成され、前記画像は、制御インタフェースを含む、請求項２１に記載の対話型ディスプレイアセンブリ。
【請求項23】
前記センサは、カメラ、熱イメージャ、マイクロフォン、占有センサ又は無線受信機の少なくとも１つを含む、請求項２１又は２２に記載の対話型ディスプレイアセンブリ。
【請求項24】
前記画像は、オーブン、冷蔵庫又はサーモスタットの少なくとも１つを動作させるように構成された制御インタフェースを含む、請求項１１～２３のいずれか一項に記載の対話型ディスプレイアセンブリ。
【請求項25】
前記タッチスクリーンの上縁に沿って取り付けられた光アセンブリをさらに含み、前記光アセンブリは、カウンタートップ表面に光を向けるように構成される光要素を有する、請求項１１～２４のいずれか一項に記載の対話型ディスプレイアセンブリ。
【請求項26】
対話型ディスプレイアセンブリを設置するための方法であって、横長のディスプレイエリアを画定するために、壁面において水平構成で横並びに複数のディスプレイデバイスを配置することと、
対話型ディスプレイエリアを提供するために、前記複数のディスプレイデバイスの少なくとも２つの部分の上にタッチスクリーンパネルをオーバーレイすることであって、前記タッチスクリーンパネルと前記横長のディスプレイエリアとは、オーバーラップする、オーバーレイすることと、
前記対話型ディスプレイエリアのアクセス可能な部分の境界線を画定する前記対話型ディスプレイエリアの仮想境界を決定するために、校正ルーチンを処理することと、
を含む方法。
【請求項27】
前記校正ルーチンは、前記対話型ディスプレイエリアのアクセス可能な隅の前記タッチスクリーンパネルにおいてタッチイベントを受信することを含み、前記タッチイベントは、前記仮想境界の縁の画定を提供する、請求項２６に記載の方法。
【請求項28】
タッチスクリーン上の前記対話型ディスプレイエリアの前記アクセス可能な部分におけるタッチイベントに応答して、前記タッチスクリーンから第１の通信を受信することと、前記タッチイベントの下にある場所に画像を表示するために、前記複数のディスプレイデバイスの少なくとも１つに第２の通信を送信することと、
をさらに含む、請求項２６又は２７に記載の方法。
【請求項29】
支持ベースは、タッチスクリーンの縁に取り付けられ、前記タッチスクリーンは、前記複数のディスプレイデバイスへのアクセスを提供するために、前記複数のディスプレイデバイス及び前記壁面から離れて前記支持ベースの周りで枢動するように構成される、請求項２６～２８のいずれか一項に記載の方法。
【請求項30】
前記支持ベースは、前記複数のディスプレイデバイスの下縁部分を覆い隠し、それにより、前記仮想境界は、前記複数のディスプレイデバイスの前記覆い隠された下縁部分の上方に配設される、請求項２９に記載の方法。
【請求項31】
タッチスクリーンにおける又はその近くのエリアを包含するセンサフィールドを有するセンサを用いて、前記横長のディスプレイエリアのセクションの近くのユーザを識別することをさらに含む、請求項２６～３０のいずれか一項に記載の方法。
【請求項32】
前記センサによって識別された前記ユーザの最も近くで識別された前記横長の連続ディスプレイエリアの前記セクションに画像を表示することをさらに含み、前記画像は、制御インタフェースを含む、請求項３１に記載の方法。
【請求項33】
前記制御インタフェースは、オーブン、冷蔵庫又はサーモスタットの少なくとも１つを動作させるように構成される、請求項３２に記載の方法。
【請求項34】
前記センサは、カメラ、熱イメージャ、マイクロフォン、占有センサ又は無線受信機の少なくとも１つを含む、請求項３２又は３３に記載の方法。
【請求項35】
タッチスクリーンにおける又はその近くのエリアを包含するセンサフィールドを有するセンサを用いて、前記横長のディスプレイエリアの第１のセクションにおける又はその近くの第１のユーザを識別することと、前記センサを用いて、前記横長のディスプレイエリアの第２のセクションにおける又はその近くの第２のユーザを識別することと、
前記第１のユーザとやり取りするために、前記横長のディスプレイエリアの前記第１のセクションに第１の画像を表示することと、
前記第２のユーザとやり取りするために、前記横長のディスプレイエリアの前記第２のセクションに第２の画像を表示することと、
をさらに含む、請求項２６～３４のいずれか一項に記載の方法。
【請求項36】
データ処理ハードウェアにおいて、キッチン環境内のセンサからセンサデータを受信することであって、前記センサは、前記キッチン環境内の鉛直壁に取り付けられたディスプレイと通信する、受信することと、前記データ処理ハードウェアにより、前記センサデータがユーザの存在を示すと決定することと、
前記データ処理ハードウェアにより、前記ユーザの前記存在に基づいてキッチンＡＰＩを起動することであって、前記キッチンＡＰＩは、前記キッチン環境内の１つ又は複数の電化製品ＡＰＩと通信するように構成され、各電化製品ＡＰＩは、前記キッチン環境内の少なくとも１つの電化製品を制御するように構成される、起動することと、
前記データ処理ハードウェアにより、前記キッチンＡＰＩの対話型ウィンドウを前記ディスプレイ上に表示することと、
を含む方法。
【請求項37】
前記ディスプレイは、前記キッチン環境の前記鉛直壁と一体化したバックスプラッシュを画定する、請求項３６に記載の方法。
【請求項38】
前記ディスプレイは、前記キッチン環境内の複数の鉛直壁に沿って延在する、請求項３６又は３７に記載の方法。
【請求項39】
前記キッチンＡＰＩは、ホームオートメーションシステムと通信するようにさらに構成される、請求項３６～３８のいずれか一項に記載の方法。
【請求項40】
前記センサは、前記ディスプレイを固着させるブラケットに取り付けられる、請求項３６～３９のいずれか一項に記載の方法。
【請求項41】
前記ブラケットは、前記鉛直壁に垂直なカウンタートップ表面から前記ディスプレイの外面まで延在する、請求項４０に記載の方法。
【請求項42】
前記ディスプレイは、タッチスクリーンオーバーレイを含む、請求項３６～４１のいずれか一項に記載の方法。
【請求項43】
前記センサは、周辺機器として前記ディスプレイに接続する、請求項３６～４２のいずれか一項に記載の方法。
【請求項44】
前記センサは、飛行時間（ＴＯＦ）センサ又は赤外線（ＩＲ）センサの少なくとも１つを含む、請求項３６～４３のいずれか一項に記載の方法。
【請求項45】
前記データ処理ハードウェアにおいて、更新されたセンサデータを前記センサから受信することと、前記データ処理ハードウェアにより、前記更新されたセンサデータがモーションジェスチャを示すと決定することであって、前記モーションジェスチャは、前記対話型ウィンドウのための関連付けられた動きを生成するように構成される、決定することと、
前記データ処理ハードウェアにより、前記モーションジェスチャに基づいて、前記対話型ウィンドウのための前記関連付けられた動きを生成することと、
をさらに含む、請求項３６～４４のいずれか一項に記載の方法。
【請求項46】
前記モーションジェスチャは、ハンドスワイプを含み、及び前記関連付けられた動きは、前記ユーザと位置合わせされた中心位置から、前記ユーザに対して位置ずれしたオフセット位置に前記対話型ウィンドウを動かす、請求項４５に記載の方法。
【請求項47】
前記モーションジェスチャは、手のひらを開いた状態から握った状態にすることを含み、及び前記関連付けられた動きは、前記ディスプレイのバックグラウンドから前記ディスプレイのフォアグラウンドに前記対話型ウィンドウを動かす、請求項４５に記載の方法。
【請求項48】
前記モーションジェスチャは、プッシュモーションを含み、及び前記関連付けられた動きは、前記ディスプレイのフォアグラウンドから前記ディスプレイのバックグラウンドに前記対話型ウィンドウを動かす、請求項４５に記載の方法。
【請求項49】
前記センサデータが前記ユーザの前記存在を示すと決定することは、前記キッチン環境内に存在する前記ユーザのアイデンティティを決定することと、
前記決定されたアイデンティティに基づいて、前記キッチンＡＰＩに存在する前記ユーザのための認可を決定することと、
をさらに含む、請求項３６～４８のいずれか一項に記載の方法。
【請求項50】
前記データ処理ハードウェアにより、それぞれの電化製品ＡＰＩと関連付けられたリモートサーバへのアクセス要求を生成することをさらに含み、前記アクセス要求は、ユーザ対話を含む、請求項３６～４９のいずれか一項に記載の方法。
【請求項51】
前記対話型ウィンドウは、前記キッチン環境内の前記ユーザの場所を追跡する、請求項３６～５０のいずれか一項に記載の方法。
【請求項52】
前記データ処理ハードウェアにおいて、更新されたセンサデータを前記センサから受信することと、前記データ処理ハードウェアにより、前記更新されたセンサデータに基づいて、前記キッチン環境において前記ユーザが位置を変更したと決定することと、
前記データ処理ハードウェアにより、前記キッチン環境内の前記ユーザの頭部の場所及び前記キッチン環境内の前記ユーザの前記頭部の向きを識別することと、
前記データ処理ハードウェアにより、前記ユーザの前記頭部の前記場所及び前記ユーザの前記頭部の前記向きの両方と位置合わせして前記対話型ウィンドウを表示することと、
をさらに含む、請求項３６～５１のいずれか一項に記載の方法。
【請求項53】
前記データ処理ハードウェアにおいて、更新されたセンサデータを前記センサから受信することと、前記データ処理ハードウェアにより、前記更新されたセンサデータに基づいて、前記キッチン環境において前記ユーザが位置を変更したと決定することと、
前記データ処理ハードウェアにより、前記キッチン環境内の前記ユーザの胴体の重心の場所を識別することと、
前記データ処理ハードウェアにより、前記ユーザの胴体の重心の前記場所と位置合わせして前記対話型ウィンドウを表示することと、
をさらに含む、請求項３６～５１のいずれか一項に記載の方法。
【請求項54】
センサと、キッチン環境内の鉛直壁に取り付けられたディスプレイであって、前記センサと通信し、且つセンサデータを受信するように構成されたディスプレイと、
データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアであって、前記データ処理ハードウェア上で実行されると、前記データ処理ハードウェアに動作を実行させる命令を格納するメモリハードウェアと、
を含むシステムであって、
前記動作は、
前記キッチン環境内の前記センサからセンサデータを受信することと、
前記センサデータがユーザの存在を示すと決定することと、
前記ユーザの前記存在に基づいてキッチンＡＰＩを起動することであって、前記キッチンＡＰＩは、前記キッチン環境内の１つ又は複数の電化製品ＡＰＩと通信するように構成され、各電化製品ＡＰＩは、前記キッチン環境内の少なくとも１つの電化製品を制御するように構成される、起動することと、
前記キッチンＡＰＩの対話型ウィンドウを前記ディスプレイ上に表示することと
を含む、システム。
【請求項55】
請求項３６～５３のいずれか一項に記載の方法が実行される、請求項５４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対話型キッチンディスプレイに関する。
【背景技術】
【0002】
長年にわたり、人々の家は、技術を受け入れ続けてきた。電話などの有線接続及び電化製品の時代から無線接続及びスマートデバイスまで、家は、多くの場合に現代技術の中心地である。スマートデバイス及びモノのインターネット（ＩＯＴ）の世界は、拡大し続けている。そのため、デバイスは、一般に、相互の、リモートサーバへの又はインターネットへのそれらの接続性を向上させている。相互接続性の向上と共に、家の環境は、周囲環境内の人々又は物体に適応する周囲環境への移行を始めている。そのような移行を容易にするために、以前には接続性又は接続性管理に欠けていた家のローカルエコシステムは、様々なセンサ及びセンサデータの相互通信を活用し始めている。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示の一態様は、対話型キッチンディスプレイのためのシステムを提供する。システムは、少なくとも２人のユーザによって同時にアクセス可能なマルチユーザ対話型ディスプレイエリアを提供するタッチスクリーンを有する横長のディスプレイを含む。いくつかの例では、横長のディスプレイは、バックスプラッシュエリアなどの壁に配設されるように構成される。バックスプラッシュエリアでは、対話型ディスプレイエリアは、カウンタートップに沿って水平に広がり、且つ上側のキャビネットまで延在して、シームレスなバックスプラッシュ表面を提供することができる。システムは、タッチスクリーンの対話型ディスプレイエリアにおける又はその近くのユーザを捕捉するように構成されたセンサフィールドを有するセンサも含む。システムは、コントローラをさらに含む。コントローラは、センサフィールドをモニタしているセンサからセンサ信号を受信することと、受信されたセンサ信号に基づいて、横長のディスプレイに対する第１のユーザの場所を決定することとを行うように構成される。コントローラは、受信されたセンサ信号に基づいて、第１のユーザの特性を識別することと、第１のユーザの場所の近くの対話型ディスプレイエリアのセクションに第１の画像を表示するために、横長のディスプレイに始動通信を送信することとを行うようにも構成される。特性は、ユーザプロフィールに対応し、及び第１の画像は、ユーザプロフィールの事前に選択された設定に対応する。いくつかの例では、第１の画像は、制御インタフェースである。
【0004】
本開示の実装形態は、以下の任意選択的な特徴の１つ又は複数を含み得る。いくつかの実装形態では、コントローラは、対話型ディスプレイエリアにおける第１のユーザによるジェスチャに応答して、タッチスクリーンからジェスチャ通信を受信することと、第１のユーザによって提供されたジェスチャを確認する第２の画像を表示するために、横長のディスプレイに応答通信を送信することとを行うようにさらに構成される。任意選択的に、コントローラは、第１のユーザも対話型ディスプレイエリア又はその近くに位置する間、対話型ディスプレイエリアにおける又はその近くの第２のユーザの第２の場所を決定することと、センサ信号に基づいて、第２のユーザの特性を識別することとを行うように構成され得る。ここで、コントローラは、第２のユーザの場所の近くの対話型ディスプレイエリアの第２のセクションに第２の画像を表示するために、横長のディスプレイに始動通信を送信するように構成され得る。
【0005】
いくつかの構成では、センサは、対話型ディスプレイエリアを遮る物体を捕捉するように構成される。この構成では、コントローラは、センサ信号に基づいて物体を識別し、且つ識別された物体と干渉しない横長のディスプレイのセクションに制御インタフェースを表示するようにも構成される。横長のディスプレイは、横並びに配置された複数のディスプレイデバイスと、対話型ディスプレイエリアを画定するために、複数のディスプレイデバイスの少なくとも一部分を覆うように配設された容量性タッチスクリーンとを含み得る。センサは、カメラ、熱イメージャ、マイクロフォン、占有センサ又は無線受信機の少なくとも１つを含み得る。ユーザプロフィールの事前に選択された設定は、オーブン、冷蔵庫又はサーモスタットの少なくとも１つを動作させるように構成された制御インタフェースの配置を含み得る。
【0006】
本開示の別の態様は、対話型ディスプレイアセンブリを提供する。対話型ディスプレイアセンブリは、壁面に配設されるように構成される横長の連続ディスプレイエリアを画定するために、水平構成で横並びに配置された複数のディスプレイデバイスを含む。対話型ディスプレイアセンブリはまた、対話型ディスプレイエリアを画定するために、横長の連続ディスプレイエリアの少なくとも一部分にオーバーレイするタッチスクリーンと、コントローラとを含む。コントローラは、タッチスクリーン上の対話型ディスプレイエリアにおけるタッチイベントに応答して、タッチスクリーンから第１の通信を受信するように構成される。コントローラは、タッチイベントの下にある場所に画像を表示するために、複数のディスプレイデバイスの少なくとも１つに第２の通信を送信するようにも構成される。
【0007】
この態様は、以下の任意選択的な特徴の１つ又は複数を含み得る。いくつかの例では、複数のディスプレイデバイスは、少なくとも２つのＬＥＤディスプレイパネルを含む。タッチスクリーンは、複数のディスプレイデバイスの少なくとも２つのディスプレイパネルを覆うように配設され得る。タッチスクリーンは、容量性タッチパネルを含み得る。
【0008】
いくつかの実装形態では、対話型ディスプレイアセンブリは、タッチスクリーンの縁に取り付けられた支持ベースを含み、タッチスクリーンは、複数のディスプレイデバイス及び壁面から離れて支持ベースの周りで枢動するように構成される。ここで、支持ベースは、複数のディスプレイデバイスの下縁部分を受け且つ支持するチャネルを含み得る。チャネル内に配設される複数のディスプレイデバイスの下縁部分は、対話型ディスプレイエリアの一部ではないことがあり得る。コントローラは、校正ルーチンを用いて対話型ディスプレイエリアを決定するように構成され得る。支持ベースは、壁面とキャビネットのカウンタートップとの間に配設されるように構成され得、且つ複数のディスプレイデバイスの奥行きに実質的に等しい厚さを有し得る。電源タップは、タッチスクリーンの上縁に沿って取り付けられ得、電源タップは、付属プラグを受けるように構成される少なくとも１つの差込口を有する。
【0009】
いくつかの構成では、対話型ディスプレイアセンブリは、タッチスクリーンの近くのエリアを包含するように構成されたセンサフィールドを有するセンサを含む。この構成では、センサは、横長の連続ディスプレイエリアのセクションの近くのユーザを識別するように構成される。ここで、コントローラは、複数のディスプレイデバイスに、ユーザの最も近くで識別された横長の連続ディスプレイエリアのセクションに画像を表示させるように構成され得、及び画像は、制御インタフェースを含み得る。任意選択的に、センサは、カメラ、熱イメージャ、マイクロフォン、占有センサ又は無線受信機の少なくとも１つを含み得る。
【0010】
いくつかの例では、画像は、オーブン、冷蔵庫又はサーモスタットの少なくとも１つを動作させるように構成された制御インタフェースを含む。対話型ディスプレイアセンブリは、タッチスクリーンの上縁に沿って取り付けられた光アセンブリを含み得、光アセンブリは、カウンタートップ表面に光を向けるように構成される光要素を有する。
【0011】
本開示のさらなる別の態様は、対話型ディスプレイアセンブリを設置するための方法を提供する。方法は、横長のディスプレイエリアを画定するために、壁面において水平構成で横並びに複数のディスプレイデバイスを配置することを含む。方法は、対話型ディスプレイエリアを提供するために、複数のディスプレイデバイスの少なくとも２つの部分の上にタッチスクリーンパネルをオーバーレイすることであって、タッチスクリーンパネルと横長のディスプレイエリアとは、オーバーラップする、オーバーレイすることも含む。方法は、対話型ディスプレイエリアのアクセス可能な部分の境界線を画定する対話型ディスプレイエリアの仮想境界を決定するために、校正ルーチンを処理することをさらに含む。
【0012】
本開示のこの態様の実装形態は、以下の任意選択的な特徴の１つ又は複数を含み得る。いくつかの実装形態では、校正ルーチンは、対話型ディスプレイエリアのアクセス可能な隅のタッチパネルにおいてタッチイベントを受信することを含み、タッチイベントは、仮想境界の縁の画定を提供する。方法は、タッチスクリーン上の対話型ディスプレイエリアのアクセス可能な部分におけるタッチイベントに応答して、タッチスクリーンから第１の通信を受信することと、タッチイベントの下にある場所に画像を表示するために、複数のディスプレイデバイスの少なくとも１つに第２の通信を送信することとを含み得る。
【0013】
いくつかの例では、支持ベースは、タッチスクリーンの縁に取り付けられ、タッチスクリーンは、複数のディスプレイデバイスへのアクセスを提供するために、複数のディスプレイデバイス及び壁面から離れて支持ベースの周りで枢動するように構成される。任意選択的に、支持ベースは、複数のディスプレイデバイスの下縁部分を覆い隠すことができ、それにより、仮想境界は、複数のディスプレイデバイスの覆い隠された下縁部分の上方に配設され得る。
【0014】
いくつかの構成では、方法は、タッチスクリーンにおける又はその近くのエリアを包含するセンサフィールドを有するセンサを用いて、横長のディスプレイエリアのセクションの近くのユーザを識別することを含む。方法は、センサによって識別されたユーザの最も近くで識別された横長の連続ディスプレイエリアのセクションに画像を表示することを含み得、画像は、制御インタフェースを含む。制御インタフェースは、オーブン、冷蔵庫又はサーモスタットの少なくとも１つを動作させるように構成され得る。センサは、カメラ、熱イメージャ、マイクロフォン、占有センサ又は無線受信機の少なくとも１つを含み得る。
【0015】
いくつかの例では、方法は、タッチスクリーンにおける又はその近くのエリアを包含するセンサフィールドを有するセンサを用いて、横長のディスプレイエリアの第１のセクションにおける又はその近くの第１のユーザを識別することと、センサを用いて、横長のディスプレイエリアの第２のセクションにおける又はその近くの第２のユーザを識別することとを含む。この例では、方法はまた、第１のユーザとやり取りするために、横長のディスプレイエリアの第１のセクションに第１の画像を表示することと、第２のユーザとやり取りするために、横長のディスプレイエリアの第２のセクションに第２の画像を表示することとを含む。
【0016】
本開示の別の態様は、対話型キッチンディスプレイのための方法を提供する。方法は、データ処理ハードウェアにおいて、キッチン環境内のセンサからセンサデータを受信することを含む。センサは、キッチン環境内の鉛直壁に取り付けられたディスプレイと通信する。方法は、データ処理ハードウェアにより、センサデータがユーザの存在を示すと決定することも含む。方法は、データ処理ハードウェアにより、ユーザの存在に基づいてキッチンＡＰＩを起動することをさらに含む。キッチンＡＰＩは、キッチン環境内の１つ又は複数の電化製品ＡＰＩと通信するように構成される。各電化製品ＡＰＩは、キッチン環境内の少なくとも１つの電化製品を制御するように構成される。方法は、データ処理ハードウェアにより、キッチンＡＰＩの対話型ウィンドウをディスプレイ上に表示することも含む。
【0017】
本開示の実装形態は、以下の任意選択的な特徴の１つ又は複数を含み得る。いくつかの実装形態では、ディスプレイは、キッチン環境の鉛直壁と一体化したバックスプラッシュを画定する。ディスプレイは、キッチン環境内の複数の鉛直壁に沿って延在することができる。キッチンＡＰＩは、ホームオートメーションシステムと通信するようにさらに構成され得る。センサは、ディスプレイを固着させるブラケットに取り付けられ得る。ブラケットは、鉛直壁に垂直なカウンタートップ表面からディスプレイの外面まで延在することができる。ディスプレイは、タッチスクリーンオーバーレイを含み得る。センサは、周辺機器としてディスプレイに接続することができる。センサは、飛行時間（ＴＯＦ）センサ又は赤外線（ＩＲ）センサの少なくとも１つを含み得る。
【0018】
いくつかの例では、方法は、データ処理ハードウェアにおいて、更新されたセンサデータをセンサから受信することと、データ処理ハードウェアにより、更新されたセンサデータがモーションジェスチャを示すと決定することであって、モーションジェスチャは、対話型ウィンドウのための関連付けられた動きを生成するように構成される、決定することとを含む。この例では、方法は、データ処理ハードウェアにより、モーションジェスチャに基づいて、対話型ウィンドウのための関連付けられた動きを生成することも含む。ここで、モーションジェスチャは、ハンドスワイプを含み得、及び関連付けられた動きは、ユーザと位置合わせされた中心位置から、ユーザに対して位置ずれしたオフセット位置に対話型ウィンドウを動かすことができる。任意選択的に、モーションジェスチャは、手のひらを開いた状態から握った状態にすることを含み得、及び関連付けられた動きは、ディスプレイのバックグラウンドからディスプレイのフォアグラウンドに対話型ウィンドウを動かすことができる。加えて又は代わりに、モーションジェスチャは、プッシュモーションを含み得、及び関連付けられた動きは、ディスプレイのフォアグラウンドからディスプレイのバックグラウンドに対話型ウィンドウを動かすことができる。
【0019】
いくつかの構成では、センサデータがユーザの存在を示すと決定することは、キッチン環境内に存在するユーザのアイデンティティを決定することと、決定されたアイデンティティに基づいて、キッチンＡＰＩに存在するユーザのための認可を決定することとをさらに含む。方法は、データ処理ハードウェアにより、それぞれの電化製品ＡＰＩと関連付けられたリモートサーバへのアクセス要求を生成することを含み得、アクセス要求は、ユーザ対話を含む。対話型ウィンドウは、キッチン環境内のユーザの場所を追跡することができる。
【0020】
いくつかの実装形態では、方法は、データ処理ハードウェアにおいて、更新されたセンサデータをセンサから受信することと、データ処理ハードウェアにより、更新されたセンサデータに基づいて、キッチン環境においてユーザが位置を変更したと決定することとを含む。この実装形態では、方法はまた、データ処理ハードウェアにより、キッチン環境内のユーザの頭部の場所及びキッチン環境内のユーザの頭部の向きを識別することと、データ処理ハードウェアにより、ユーザの頭部の場所及びユーザの頭部の向きの両方と位置合わせして対話型ウィンドウを表示することとを含む。
【0021】
いくつかの例では、方法は、データ処理ハードウェアにおいて、更新されたセンサデータをセンサから受信することと、データ処理ハードウェアにより、更新されたセンサデータに基づいて、キッチン環境においてユーザが位置を変更したと決定することとを含む。この例では、方法はまた、データ処理ハードウェアにより、キッチン環境内のユーザの胴体の重心の場所を識別することと、データ処理ハードウェアにより、ユーザの胴体の重心の場所と位置合わせして対話型ウィンドウを表示することとを含む。
【0022】
本開示の別の態様は、対話型キッチンディスプレイのためのシステムを提供する。システムは、センサと、キッチン環境内の鉛直壁に取り付けられたディスプレイとを含む。ディスプレイは、センサと通信し、且つセンサデータを受信するように構成される。システムはまた、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実行させる命令を格納する。動作は、キッチン環境内のセンサからセンサデータを受信することと、センサデータがユーザの存在を示すと決定することとを含む。動作は、ユーザの存在に基づいてキッチンＡＰＩを起動することも含む。キッチンＡＰＩは、キッチン環境内の１つ又は複数の電化製品ＡＰＩと通信するように構成される。各電化製品ＡＰＩは、キッチン環境内の少なくとも１つの電化製品を制御するように構成される。動作は、キッチンＡＰＩの対話型ウィンドウをディスプレイ上に表示することも含む。
【0023】
この態様は、以下の任意選択的な特徴の１つ又は複数を含み得る。いくつかの構成では、ディスプレイは、キッチン環境の鉛直壁と一体化したバックスプラッシュを画定する。ディスプレイは、キッチン環境内の複数の鉛直壁に沿って延在することができる。キッチンＡＰＩは、ホームオートメーションシステムと通信するようにさらに構成され得る。センサは、ディスプレイを固着させるブラケットに取り付けられ得る。ブラケットは、鉛直壁に垂直なカウンタートップ表面からディスプレイの外面まで延在することができる。ディスプレイは、タッチスクリーンオーバーレイを含み得る。センサは、周辺機器としてディスプレイに接続することができる。センサは、飛行時間（ＴＯＦ）センサ又は赤外線（ＩＲ）センサの少なくとも１つを含み得る。
【0024】
いくつかの例では、動作は、更新されたセンサデータをセンサから受信することと、更新されたセンサデータがモーションジェスチャを示すと決定することであって、モーションジェスチャは、対話型ウィンドウのための関連付けられた動きを生成するように構成される、決定することと、モーションジェスチャに基づいて、対話型ウィンドウのための関連付けられた動きを生成することとを含む。ここで、モーションジェスチャは、ハンドスワイプを含み得、及び関連付けられた動きは、ユーザと位置合わせされた中心位置から、ユーザに対して位置ずれしたオフセット位置に対話型ウィンドウを動かすことができる。任意選択的に、モーションジェスチャは、手のひらを開いた状態から握った状態にすることを含み得、及び関連付けられた動きは、ディスプレイのバックグラウンドからディスプレイのフォアグラウンドに対話型ウィンドウを動かすことができる。加えて又は代わりに、モーションジェスチャは、プッシュモーションを含み得、及び関連付けられた動きは、ディスプレイのフォアグラウンドからディスプレイのバックグラウンドに対話型ウィンドウを動かすことができる。
【0025】
いくつかの実装形態では、センサデータがユーザの存在を示すと決定することは、キッチン環境内に存在するユーザのアイデンティティを決定することと、決定されたアイデンティティに基づいて、キッチンＡＰＩに存在するユーザのための認可を決定することとを含む。動作は、それぞれの電化製品ＡＰＩと関連付けられたリモートサーバへのアクセス要求を生成することを含み得、アクセス要求は、ユーザ対話を含む。対話型ウィンドウは、キッチン環境内のユーザの場所を追跡することができる。
【0026】
いくつかの例では、動作は、更新されたセンサデータをセンサから受信することと、更新されたセンサデータに基づいて、キッチン環境においてユーザが位置を変更したと決定することと、キッチン環境内のユーザの頭部の場所及びキッチン環境内のユーザの頭部の向きを識別することと、ユーザの頭部の場所及びユーザの頭部の向きの両方と位置合わせして対話型ウィンドウを表示することとを含む。他の例では、動作は、更新されたセンサデータをセンサから受信することと、更新されたセンサデータに基づいて、キッチン環境においてユーザが位置を変更したと決定することと、キッチン環境内のユーザの胴体の重心の場所を識別することと、ユーザの胴体の重心の場所と位置合わせして対話型ウィンドウを表示することとを含む。
【0027】
本開示のこれらの及び他の目的、利点、目標及び特徴は、図面と併せて、以下の仕様を検討することで明らかになるであろう。
【図面の簡単な説明】
【0028】
【図1A】スマートデバイスを有する家の環境の例の概略図である。
【図1B】対話型ディスプレイを含む、家の環境内のローカルエコシステムとしてのキッチンの例の概略図である。
【図1C】対話型ディスプレイを含む、家の環境内のローカルエコシステムとしてのキッチンの例の斜視図である。
【図2A】対話型ディスプレイの例の斜視図である。
【図2B】対話型ディスプレイに対するディスプレイの例の断面図である。
【図2C】対話型ディスプレイに対するディスプレイの例の断面図である。
【図2F】対話型ディスプレイの例の概略図である。
【図2G】対話型ディスプレイの例の概略図である。
【図2H】対話型ディスプレイの例の概略図である。
【図2I】対話型ディスプレイの例の概略図である。
【図2J】ユーザ識別のため及び対話型ディスプレイとの対話のためのフローチャート図である。
【図2K】対話型ディスプレイに対する校正ルーチンの例の概略図である。
【図3A】対話型ディスプレイの例の斜視図である。
【図3B】対話型ディスプレイの例の斜視図である。
【図3C】対話型ディスプレイの例の斜視図である。
【図4A】対話型ディスプレイを使用したキッチンの例の斜視図である。
【図4B】対話型ディスプレイを使用したキッチンの例の斜視図である。
【図4C】対話型ディスプレイを使用したキッチンの例の概略図である。
【図4D】対話型ディスプレイを使用したキッチンの例の概略図である。
【図4E】対話型ディスプレイを使用したキッチンの例の概略図である。
【図5】対話型ディスプレイを起動するための動作の構成の例である。
【図6】対話型ディスプレイを起動するための動作の構成の例である。
【図7】コンピューティングデバイスの例の概略図である。
【発明を実施するための形態】
【0029】
様々な図面の同様の参照符号は、同様の要素を示す。
【0030】
図１Ａは、家の環境１０の例である。家の環境１０は、個人又は家族の永住又は半永住のために使用される空間環境である。空間環境として、家は、家の構造内部の屋内エリアのみならず、テラス及び／又は庭など、家の構造外部の屋外エリアも指す。家の環境１０は、１つ又は複数のネットワークデバイス３０（例えば、ルータ）によって接続された１つ又は複数のネットワーク２０（例えば、メッシュネットワーク又はローカルエリアネットワーク（ＬＡＮ））を含み得る。ネットワークデバイス３０は、一般に、コンピュータ、携帯電話、タブレット、モノのインターネット（ＩｏＴ）デバイス、スマートデバイスなどの他のデバイス４０、４０ａ～ｎをネットワーク２０に接続するように機能する。例えば、図１Ａは、スマートスピーカ４０、４０ａ～ｂ、スマートサーモスタット４０、４０ｃ、スマートテレビ４０、４０ｄ、スマートドアベル４０、４０ｅ及びスマート照明を使用したランプ４０、４０ｇを描写する。デバイス４０に対する接続ハブとして、ネットワークデバイス３０（例えば、一般に、理解のために家の外に示されているとしても家の環境１０におけるもの）は、ＬＡＮネットワーク２０、２０ａと、インターネットなどの広域ネットワーク（ＷＡＮ）２０、２０ｂとの間のブリッジを提供するゲートウェイ（例えば、家庭用ゲートウェイ）としての役割も果たす。
【0031】
ネットワークデバイス３０は、デバイス４０を管理し、これらのデバイス４０間において及び／又はリモートデバイス５０（例えば、ＬＡＮネットワーク２０の外部のリモートサーバ）と通信するためにデータのパケットを転送する（例えば、ＬＡＮネットワーク２０の間において）ように構成される。ここで、リモートデバイス５０は、例えば、リモートコンピューティングデバイス及び／又はリモートリソース５２（例えば、リモートデータ処理ハードウェア５４及び／又はリモートメモリハードウェア５６）を有するリモートシステム全体（例えば、クラウド環境）であり得る。いくつかの例では、家の環境１０内のＬＡＮネットワーク２０のデバイス４０は、インターネットサービスプロバイダ（ＩＳＰ）の機器とのネットワークデバイスの接続により、ネットワーク２０（例えば、ＷＡＮネットワーク２０）にわたってリモートシステムと通信する。リモートシステム（例えば、リモートサーバ）とローカルシステム（例えば、ネットワークデバイス３０によって構成されるもの）との間の通信の手段を有することにより、デバイス４０は、様々な格納又は処理のニーズに対して、ローカルコンピューティングリソース（例えば、ローカルデータ処理ハードウェア又はローカルメモリハードウェア）とは別々に又は組み合わせてリモートコンピューティングリソース５２を利用することができる。
【0032】
いくつかの実装形態では、ネットワークデバイス３０によってネットワーク接続性を管理することができるデバイス４０は、従来の接続デバイス（すなわち標準コンピューティングデバイス）である。例えば、デバイス４０は、コンピュータ又はモバイルデバイス（例えば、ラップトップ、タブレット、携帯電話、ウェアラブルなど）を指す。さらに、加えて又は代わりに、これらのデバイス４０は、ネットワーク２０への接続及び／又はデータの送信を行うように構成されている日常品など、従来と異なる接続デバイスであり得る。これらの従来と異なる接続デバイスは、モノのインターネット（ＩｏＴ）デバイス又は他のホームオートメーションデバイス（例えば、スピーカ、サーモスタット、セキュリティシステム、ドアベル、スプリンクラ、冷暖房システム、ロックなど）を指し得る。いくつかのものは、従来、ダムデバイスであったが、例えばリモート制御、モニタリング及び／又は通信を可能にする埋め込みハードウェア及び／又はソフトウェアに基づいて「スマート」デバイスになったものと呼ばれることもある。従って、「スマート」という用語は、通信能力が装備された従来と異なる接続デバイスを指す。いくつかの構成では、スマートデバイス４０は、センサを介して能動的及び／又は受動的にデータを集め、ネットワーク２０内又はネットワーク２０の外部の他のデバイス３０、４０、５０にデータを通信する。これらのデバイス４０は、無線デバイスである場合が多い。しかし、一部は、有線接続のための１つ又は複数の接続ポートを含み得る。いくつかの実装形態では、デバイス４０は、ネットワークデバイス３０のみならず、互いの間でも通信し合う。
【0033】
家の環境１０の構成に応じて、家の環境１０は、ローカルエコシステム（例えば、１つ又は複数の部屋）６０に細分することができる。例えば、図１Ａは、リビングルーム６０ａ、第１の寝室６０ｂ及び第２の寝室６０ｃに対応する３つのローカルエコシステム６０、６０ａ～ｃを描写する。各ローカルエコシステム６０は、他のデバイス４０若しくはネットワークデバイス３０のノードと通信するか、又はネットワークデバイス３０と直接通信するように構成されたデバイス４０を有する三次元空間を指す。換言すれば、所定の空間内の接続可能なデバイス３０、４０（例えば、特定の空間専用のもの）は、ローカルエコシステム６０を形成する。例示すると、ローカルエコシステム６０は、スマート照明、スマートディスプレイ（例えば、スマートテレビ又はモニタ）、スマート電化製品、スマートスピーカシステム、スマートブラインド、スマートサーモスタット、スマートベンチレーションなどのデバイス４０を含み得る。ここで、ローカルエコシステム６０は、複数のローカルエコシステム６０にわたって通信するより大きいホームオートメーションシステムと統合するか（例えば、スマートホーム又はスマートハブ）、又は家の環境１０内の他のローカルエコシステム６０から独立することもできる。
【0034】
図１Ｂ及び１Ｃを参照すると、ローカルエコシステム６０は、キッチン１００である。キッチン１００は、一般に、調理のための手段（例えば、調理デバイスである電化製品）及び食品貯蔵のための手段（例えば、冷蔵庫、食品貯蔵庫又はキャビネット構成）を含む、家の環境１０内の部屋を指す。ここで、キッチン１００は、電化製品１１０、１１０ａ～ｎの形態のいくつかの異なるタイプのデバイス４０を有し得る。電化製品１１０のいくつかの例は、冷蔵庫１１０、１１０ａ、食器洗い機１１０、１１０ｂ、オーブン１１０、１１０ｃ、コンロ／排気フード１１０、１１０ｄ（すなわち換気システム）、コーヒーメーカー、電子レンジ、温度計、調理デバイス（例えば、スロークッカー、圧力鍋又は真空低温調理デバイス）、水栓１１０、１１０ｅなどを含む。いくつかの構成では、これらの電化製品１１０は、キッチン１００内又は家の環境１０の他の場所に位置する他のデバイス４０（例えば、ホームオートメーションハブ、自動ブラインド、照明、モバイルデバイスなど）と通信する。デバイス４０のタイプのように、これらの電化製品１１０は、リモート操作で制御可能及び／又は通信可能なそれらの従来の機能性のいくつか又はすべてを有し得る。例えば、いくつかの例では、コンロは、リモート操作でオン又はオフの切り替え及び加熱要素の温度の通信を行うように構成することができる一方、他の例では、コンロは、オンになった時点で温度を通信することができるが、加熱要素の作動又は停止（すなわちオン及びオフの切り替え）をリモート制御することができない。
【0035】
いくつかの例では、電化製品１１０の１つ又は複数は、電化製品１１０と他のデバイス３０、４０、５０との間の通信手段としてインタフェース１１２を含む。これらの例では、インタフェース１１２は、アプリケーションプログラミングインタフェース（ＡＰＩ）であり得る。いくつかの実装形態では、電化製品１１０は、フロントエンドＡＰＩ １１２Ｆ、バックエンドＡＰＩ １１２Ｂ又はその両方の何らかの組合せを含む。ここで、フロントエンドＡＰＩ １１２Ｆは、ローカルエコシステム６０（又はより一般的には家の環境１０）内のユーザ７０が電化製品１１０の機能性と対話することができるような外装であるＡＰＩを指す。例えば、電化製品１１０は、ユーザ７０がフロントエンドＡＰＩ １１２Ｆを介して電化製品１１０の制御と対話できるようにするためのそれ自体のディスプレイを含む。フロントエンドＡＰＩ １１２Ｆを用いることで、ユーザ７０は、家の環境１０内の他のデバイス４０との通信を構成することが可能であり得る。例えば、ユーザ７０は、ユーザ７０のモバイルデバイス４０を認識するように電化製品１１０を構成する。
【0036】
対照的に、電化製品１１０は、ユーザ７０に対する外装ではないバックエンドＡＰＩ １１２Ｂを含み得る。代わりに、電化製品メーカー（例えば、設計者又は製造業者）は、所定の電化製品１１０への及び所定の電化製品１１０からの接続を制御することができる（例えば、認可により）。いくつかの構成では、バックエンドＡＰＩ １１２Ｂは、バックエンドＡＰＩ １１２Ｂと関連付けられた電化製品１１０の場所に対してローカルではない。いくつかの例では、バックエンドＡＰＩ １１２Ｂを用いることで、特定のデバイス４０（例えば、認可デバイス４０）のみがバックエンドＡＰＩ １１２Ｂに接続される。例えば、電化製品メーカーは、いくつかのタイプのデバイス４０が電化製品１１０と通信することを認可するが、他のタイプのものの通信を認可しない。例示すると、電化製品メーカーは、キッチン１００の他のタイプの電化製品１１０が電化製品１１０のバックエンドＡＰＩ １１２Ｂと通信することを認めることができる。いくつかの例では、電化製品メーカーは、いくつかの異なるタイプの電化製品１１０を生産し、これらの電化製品１１０間でのみ、バックエンドＡＰＩ １１２Ｂを通した通信を認める。例えば、この手法により、電化製品メーカーは、認可された電化製品１１０間のバックエンドＡＰＩ １１２Ｂにおける通信を事前にプログラムすることができる。
【0037】
いくつかの実装形態では、ＡＰＩ １１２Ｆ、１１２Ｂのいずれかは、リモートシステム（例えば、リモートサーバ）と通信するように構成することができる。いくつかの例では、電化製品メーカー又は電化製品メーカーと契約中の関係者は、特定の電化製品１１０又は電化製品１１０のグループとの通信を容易にするために専有サーバを動作させる。換言すれば、サーバは、電化製品１１０に対する及び／又は電化製品１１０間のデータ伝達及び／又は接続性を管理することができる。サーバを用いることで、サーバの管理者は、電化製品１１０と関連付けられたデータに対する通信、接続性、認証又はアクセスの制御などの機能を実行することができる。
【0038】
いくつかの電化製品メーカー（例えば、設計者及び／又は製造業者）は、特定の電化製品１１０及び／又は電化製品１１０のフィーチャに対する制御の態様を維持することを好む場合がある。これは、特に、安全性リスクによりキッチン１００において当てはまる。ここで、電化製品メーカーは、電化製品１１０に対するリモート制御能力が住宅火災又は住宅火災関連の負傷のリスクを増大させ得ることを懸念する場合が多い。特に、調理中のキッチン１００での火災は、一般的に既に住宅火災及び住宅火災関連の負傷の重大な原因である。例えば、統計的に言えば、ほとんどの住宅火災は、キッチンが火元である。家の環境１０では、特に注意が散漫になると、これらの注意散漫によって人の注意が調理場からそれ、放置されたままになることが珍しくない。従って、電化製品１１０、特に調理関連の電化製品１１０のリモート制御能力により、調理場を意図しない状態に至らせる頻度が増すという懸念が存在する。例示すると、ユーザ７０は、ユーザ７０が食料品店から家に帰る途中にリモート操作でオーブン又はコンロをオンにするが、ユーザ７０は、本当に必要な食料品を買い忘れたことに気付き、食料品店に引き返す場合がある。ここで、オーブン又はコンロは、ユーザ７０による当初の予想よりも長い時間にわたって放置されたままになる。それにより、リモート制御の利便性が家の環境１０の安全性を潜在的に脅かす結果となる。
【0039】
そのようなリスクにより、電化製品メーカー又はより一般的にはキッチン業界は、他のデバイス４０からのリモート接続及び／又はリモート制御を認めることを躊躇してきた。例えば、スマートホーム及び／又はホームオートメーションシステムは、キッチン１００内のすべての電化製品１１０はもちろんのこと、一部の電化製品１１０の制御及び／又は管理をほとんど行わないように見える。リモート制御の安全性に対する懸念を克服するため、しかし、依然として電化製品１１０のためのスマートハブを提供するため、キッチン１００は、対話型ディスプレイ２００を含む。対話型ディスプレイ２００は、多くの異なる形態（例えば、図３Ａ～３Ｃに示されるような）において、本明細書で説明される対話型機能性を有するように構成することができる。しかし、対話型ディスプレイ２００は、一般に、対話型バックスプラッシュ２００、２００ａ（スマートバックスプラッシュとも呼ばれる）として説明される。一般的に言えば、バックスプラッシュは、部屋（例えば、キッチン１００）内の壁（例えば、鉛直壁１０２として示される）を跳ね又は損傷から保護するカウンタートップ、流し台又はコンロの背後のパネルを指す。壁の保護として、バックスプラッシュ２００ａは、部屋（例えば、キッチン１００）の床１０４又は部屋の床１０４から１つ若しくは複数のキャビネット１０８の分だけオフセットされたカウンタートップなどの水平面１０６に垂直であるような鉛直構造である場合が多い。いくつかのキッチンでは、バックスプラッシュ２００ａは、複数の壁（例えば、壁１０２、１０２ａ）に沿って隣接する壁（例えば、隣接する壁１０２、１２０ｂ）まで延在する。例えば、流し台の背後の第１の壁１０２ｂからコンロの背後の第２の壁１０２ａ（例えば、第１の壁に隣接する）まで延在するタイル張りのバックスプラッシュをキッチンが含むことは珍しくない。これは、依然として部屋の構造コンポーネント（例えば、壁）を保護しながら、きれいな線又は線パターンを維持するための美的目的のためであり得る。
【0040】
図２Ａ及び２Ｂを参照すると、いくつかの例では、バックスプラッシュ２００ａは、上側の取り付け用ブラケット２１０及び下側の取り付け用ブラケット２２０を含む。各ブラケット２１０、２２０は、１つ又は複数の対話型ディスプレイ２３０を固着させるように構成される。下側のブラケット２２０は、下側のチャネル２２２を含む。いくつかの例では、下側のチャネル２２２は、１つ又は複数のコンセント差込口を含む（例えば、そのような差込口に差し込むことができる小さい電化製品又は他のデバイスへの給電を行うためにバックスプラッシュ２００ａにおいて電力を提供するため）。いくつかの実装形態では、下側のブラケット２２０は、カウンタートップなどの鉛直壁及び水平面に対して角度を成す。例えば、下側のブラケット２２０は、バックスプラッシュ２００ａ及びカウンタートップに対して４５度の角度で取り付けられる。上側のブラケット２１０は、スピーカ、光（例えば、紫外光）、ＬＥＤなどの付属品を含み得る。ディスプレイ２３０の１つの下縁部分は、下側のチャネル２２２（例えば、下側のチャネル２２２のブラケット２２０）によって受けられ得る。いくつかの実装形態では、ブラケット２２０におけるディスプレイ２３０の取り付けにより、ディスプレイ２３０は、下側のチャネル２２２の周りで枢動することができる（例えば、壁１０２から離れて）。例えば、ディスプレイ２３０の枢動は、ディスプレイ２３０又はバックスプラッシュ２００ａの他のコンポーネントへの有用なアクセスを提供する。チャネル２２２は、下側のブラケット２２０を押し出すことによってなど、ディスプレイ２３０の下縁部分を受け且つ支持する上向きチャネルを有するように形成することができる。ブラケット２２０又はチャネル２２２内に配設されるディスプレイ２３０の下縁部分は、対話型ディスプレイエリアの一部ではないという点において、対話型入力（例えば、タッチ入力）へのアクセスが可能でないことがあり得る。いくつかの構成では、下側のブラケット２２０は、一般に、壁１０２の表面と、下側のキャビネット１０８のカウンタートップ１０６の後縁との間に配設されるように構成される。例えば、図２Ｂに示されるように、壁１０２は、石膏ボード又はプラスター及び木摺りなどの壁パネルによってカバーされたスタッド付きの枠組み構造を有する。ブラケット２１０、２２０は、ディスプレイ２３０の前面を壁１０２の外面又はその近くに位置決めするためにスタッド間の壁１０２にはめ込まれる。ブラケット２１０、２２０及びディスプレイ２３０のそのようなはめ込み式取り付けは、一般に、カウンタートップの使用可能な水平面を占有するか又は別の方法で制限することはない。各ブラケット２１０、２２０は、ディスプレイ２３０の奥行きより大きいか又は実質的に等しい厚さを有し得る。代わりに、いくつかの実装形態は、ブラケット及びディスプレイを壁の外面に取り付ける。
【0041】
いくつかの例では、１つ又は複数のコンセント差込口は、ディスプレイ２３０の縁（例えば、上縁又は下縁）に沿って電源タップを形成し得る。電源タップは、従来のＮＥＭＡソケット若しくはＵＳＢソケット又は同様のものなど、付属電源プラグを受けるように構成された少なくとも１つの差込口を有する。ディスプレイ２３０と壁１０２の表面との間など、目に見えるか又は他に不便な場所での電源タップへの給電のためのワイヤのルーティングを回避するため、電源タップは、ディスプレイ２３０の上方の（すなわち上側のブラケット２１０に隣接する）キャビネット１０８の囲まれたエリアまで延在するケーブルを有し得る。いくつかの実装形態では、電源タップは、壁１０２の表面にバックスプラッシュ２００ａを固着させるために壁１０２又はキャビネット１０８に取り付けられるラッチ又は解除可能な締結具を含む。キャビネット下の照明を提供し、且つ／或いはディスプレイパネル及び／又はカウンタートップ作業面若しくはカウンタートップ上に載っているアイテムのＵＶ光殺菌を提供するためになど、電源タップに補助光源を組み込むか又は取り付けることができる。
【0042】
ディスプレイ２３０は、ディスプレイ２３０と関連付けられたディスプレイエリアにマルチメディアを表示するように構成されたデバイス（例えば、モニタ）である。ディスプレイ２３０は、ＬＥＤディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ又は他のタイプのディスプレイパネルであり得る。いくつかの例では、ディスプレイ２３０は、バックスプラッシュ２００ａの一部として、床に垂直な鉛直壁に沿って延在する高さを有する。他の例では、ディスプレイ２３０を固着させるブラケット２１０、２２０は、ディスプレイ２３０の背後の鉛直壁１０２の表面に対してある角度でディスプレイ２３０を構成する。ディスプレイ２３０は、壁に沿ってある程度の水平幅を延在する１つの連続スクリーン２３２（すなわち横長のディスプレイ）であり得るか、又は複数のスクリーン２３２、２３２ａ～ｎを含み得る。
【0043】
複数のスクリーン２３２として、スクリーン２３２は、第１のスクリーン２３２に表示されたコンテンツを別のスクリーン２３２に動かせるように（例えば、消失させることなく）互いに通信することができる。複数のスクリーン２３２を協調させるため、いくつかの実装形態では、ディスプレイ２３０は、拡張モニタモードで機能する。換言すれば、どれほど多くのスクリーン２３２がディスプレイ２３０に含まれようと、各スクリーンは、その近隣のスクリーンの拡張部分になる。いくつかの例では、ディスプレイ２３０の内部又は外部のオペレーティングシステム（ＯＳ）は、拡張モニタモードを有効化する。例えば、ディスプレイ２３０は、外部のコンピューティングデバイス（例えば、コンピューティングデバイス２５０）の周辺機器として機能する。
【0044】
いくつかの実装形態では、ディスプレイ２３０の各スクリーン２３２は、ルータ（例えば、ネットワークデバイス３０）と通信するように構成される。ここで、ルータ又はネットワークデバイス３０は、ディスプレイ２３０のスクリーン２３２間の相互作用を管理するサーバとしての役割を果たし得る。ルータがサーバとしての役割を果たすことで、ディスプレイ２３０の各スクリーン２３２は、スクリーン２３２の場所及び向きをルータに通信する初期化プロセスを経ることができる。この情報を用いることで、ルータは、ディスプレイ２３０上に示される情報（例えば、コンテンツ）をスクリーン２３２間で流動的に引き渡すことができる。いくつかの例では、ルータは、スクリーン２３２間で通信するために、インターネットプロトコル（ＩＰ）アドレスを各スクリーン２３２に割り当てる（例えば、初期化後）。デバイス２３０のスクリーン２３２を管理するための技法のいずれも、レイテンシを最小化し、スクリーン２３２間のウィンドウの流動的な動きを維持することができる。
【0045】
ディスプレイ２３０が複数のスクリーン２３２を含むとしても、ディスプレイ２３０の外観は、連続して見えるようにすることができる。視覚的な連続性を達成するため、ディスプレイ２３０は、ディスプレイ２３０の１つ又は複数のスクリーン２３２をカバーするオーバーレイ２３４（例えば、ガラスオーバーレイ２３４又は他の透明若しくは半透明なオーバーレイ）を含む。ここで、オーバーレイ２３４は、ユーザ７０が目にする最も外側の表面（すなわち外面）であり得る。従って、いくつかの例では、オーバーレイ２３４の基板は、実質的に途切れることのない平坦な外面を提供するために、透き通った又は不透明なシート材料を含む。いくつかの実装形態では、オーバーレイ２３４は、カウンタートップ、レンジトップ若しくは流し台又は同様のものの作業面において実行された典型的な活動により、タッチスクリーン表面に跳ねるか又は別の方法で接触し得る液体、ソース又は他の物質を容易にきれいに拭き取ることができるシームレスなバックスプラッシュ表面を提供するように構築することができる。キッチン１００内の他の表面と同様に、バックスプラッシュ２００ａ（例えば、オーバーレイ２３４及び／又はディスプレイ２３０）は、ＵＶ光又は物理的な洗浄プロセスを用いてなど、容易に浄化することができるように構築することができる（例えば、固体又は混合均質パネルとして）。
【0046】
いくつかの例では、視覚的な連続性の他に、オーバーレイ２３４は、触れることによってディスプレイが対話型（すなわちタッチスクリーン）になるようにすることができる。例えば、オーバーレイ２３４は、高触覚感度の能力を有効化するタッチセンサ回路を含む。オーバーレイ２３４に組み入れることができるタッチセンサ回路のいくつかの例は、５ワイヤ抵抗回路、容量性（例えば、表面型容量性若しくは投影型容量性）回路、表面弾性波（ＳＡＷ）回路又は赤外線方式タッチ回路を含む。いくつかの構成では、オーバーレイ２３４は、鉛直壁１０２に背を向け、ディスプレイ２３０の外面に取り付けられた（例えば、ブラケット２１０、２２０によって固着及び／又は取り付けられた）ディスプレイ２３０の周辺機器である。例えば、オーバーレイ２３４は、ユニバーサルシリアルバス（ＵＳＢ）によってディスプレイ２３０に接続される。オーバーレイ２３４は、適合可能なタッチスクリーンパネル又はシートを用いてなど、特定のバックスプラッシュエリアに対して容易にサイズ調整することができる。適合可能なタッチスクリーンパネル又はシートは、データコードに接続される近位縁と、近位縁と遠位縁との間の所望のパネル長さを提供するようにトリムすることができる遠位縁とを有し得、０．２５インチのインクリメントで切断することができるタッチスクリーンシートなどが挙げられる。
【0047】
いくつかの構成では、バックスプラッシュ２００ａは、ディスプレイ２３０のスクリーン２３２を壁１０２の表面において又は壁１０２の表面上に水平構成で横並びに配置する（例えば、横長のディスプレイエリアを画定する）ことによって設置することができる。タッチスクリーンパネル（すなわちオーバーレイ２３４）は、スクリーン２３２の使用可能な部分を覆うように（電化製品の背後に隠れた又は支持ベースのチャネル内に隠れたディスプレイの部分を除外するためになど）配設して、対話型ディスプレイエリアを提供することができる。タッチスクリーンパネル２３４と、ディスプレイ２３０のスクリーン２３２の横長のディスプレイエリアとは、オーバーラップする。
【0048】
加えて又は代わりに、図２Ｃは、投影ディスプレイ２３０、２３０ａを組み込むことができるバックスプラッシュ２００ａを描写する。投影ディスプレイ２３０ａは、非投影型ディスプレイ２３０の代替の形態であるか又は他の非投影ディスプレイ２３０と併せて使用することができる。投影ディスプレイ２３０ａは、一般に、ユーザ対話を可能にするバックスプラッシュ２００ａの一部分（例えば、バックスプラッシュ２００ａのタッチスクリーン部分として機能するオーバーレイ２３４）にディスプレイエリアを投影するように機能する。投影は、前面投影ビジュアルオーバーレイ又は背面投影ビジュアルオーバーレイ（例えば、バックスプラッシュ２００ａの背面からの投影）として起こり得る。図２Ｃなどのいくつかの例では、投影ディスプレイ２３０ａを有するバックスプラッシュ２００ａは、投影モジュール２３６を含む。投影モジュール２３６は、鉛直壁１０２の表面にディスプレイエリアを投影するプロジェクタヘッドなどのディスプレイハードウェア２３８を含み得る。例えば、図２Ｃに示されるように、プロジェクタモジュール２３６は、上側のキャビネット１０８の底面など、バックスプラッシュ壁１０２の表面の近くに取り付けることができる。いくつかの実装形態では、投影モジュール２３６は、そのディスプレイ能力と統合するために、センサ（例えば、以下でさらに説明される）を含むか、又はセンサから受信された情報を利用することがある。以下でさらに説明されるように、投影ディスプレイ２３０ａを有するバックスプラッシュ２００ａは、ディスプレイ２３０ａの投影によって形成されたディスプレイエリアとセンサフィールドとが壁１０２上でオーバーラップし得るように、センサ２４０も含み得る。オーバーレイ２３４とディスプレイエリアとを組み合わせることで、バックスプラッシュ２００ａは、透明な投影画像を表示することと、バックスプラッシュ２００ａの表面における正確なジェスチャ認識を実行することとの両方を行うように構成される。いくつかの例では、プロジェクタモジュール２３６によって提供されたディスプレイエリア及びセンサフィールドは、カウンタートップ１０６、キャビネット１０８又は壁１０２などのキッチン６０内の追加又は代替の表面に向けられる。
【0049】
横長のディスプレイ２３０として、ディスプレイ２３０は、ディスプレイ２３０の複数のユーザに同時に順応させることができる。例えば、図２Ｄは、バックスプラッシュ２００ａの２つのセクションＳ、Ｓ１～２（例えば、ディスプレイ２３０内のエリア）を描写し、ユーザの存在の決定に応答して画像を表示するために、識別されたユーザ７０の最も近くのセクションＳ１がどのように使用されるかを示すために概説されている。ディスプレイ２３０のディスプレイエリアの他のセクションＳ２も、ユーザ７０が他のセクションＳ２の近くに移動した際及び／又はバックスプラッシュ２００ａに対するディスプレイ２３０のオープン若しくは利用可能なセクションＳ２の近くのエリアに入った追加のユーザ７０が使用することができる際など、識別されたユーザ７０によって使用することができる。図２Ｄでは、ディスプレイ２３０は、２つのセクションＳを有するように示されている。しかし、他の例では、ディスプレイ２３０は、単一の平面に沿った複数のセクションＳ、ディスプレイ２３０の鉛直方向にセグメント化されたセクションＳ又は他の考えられるセクションセグメンテーションなど、追加のセクションＳを有するか、又は代替のセクション配置及び構成に細分することができる。
【0050】
以前に述べたように、バックスプラッシュ２００ａは、１つ又は複数のセンサ２４０も含む。バックスプラッシュ２００ａの各センサ２４０は、ディスプレイ２３０上に配設されるか、ディスプレイ２３０と統合されるか、ディスプレイ２３０に取り付けられるか（例えば、有線接続を介して）、又はディスプレイ２３０と通信する（例えば、無線接続を介して）ことができる。例えば、上側のブラケット２１０及び／又は下側のブラケット２２０は、センサ２４０を収納する。いくつかの例では、バックスプラッシュ２００ａのセンサ２４０は、ＵＳＢ周辺機器デバイスとしてバックスプラッシュ２００ａに接続される。いくつかの実装形態では、バックスプラッシュ２００ａは、ディスプレイに対して異なる場所にある複数のセンサ２４０を含む。センサ２４０は、一般に、それらの検知フィールド内の活動をモニタするように構成される。例えば、画像（例えば、バックスプラッシュ２００ａ上に表示されるメディアコンテンツ）の表示場所を更新するため、ユーザの場所は、１つ又は複数のセンサ２４０によって動的にモニタすることができる。ここで、メディアコンテンツの場所は、ユーザ７０又はバックスプラッシュ２００ａの機能性（例えば、センサ２４０によって集められたデータ）により修正するか又は位置決めし直すことができる（例えば、ユーザ７０に対するアクセス可能性／視認性を維持するため）。バックスプラッシュ２００ａに対するユーザ７０の場所は、様々な方法で決定することができる。それらの方法は、バックスプラッシュシステムに組み入れられるセンサ２４０のタイプに依存し得る。
【0051】
バックスプラッシュ２００ａのセンサ２４０のタイプは、バックスプラッシュ２００ａの設計及び／又は異なるアプリケーションに応じて変化し得る。一般的に言えば、センサ２４０は、視覚／画像センサ２４０（例えば、光学センサ）である。しかし、他のセンサ（例えば、慣性センサ、力センサ、運動センサなど）を利用することもできる。視覚センサ２４０のいくつかの例は、ステレオカメラ、飛行時間（ＴＯＦ）カメラ、走査光による検出及び測距（ＬＩＤＡＲ）センサ、走査レーザによる検出及び測距（ＬＡＤＡＲ）センサ、深度検知赤外線（ＩＲ）カメラ、熱画像カメラ、赤外線センサ又は他のタイプの深度カメラなどのカメラを含む。画像センサのいくつかのタイプは、ＣＣＤ画像センサ又はＣＭＯＳ画像センサを含む。いくつかの構成では、センサ２４０は、幅広い検知能力を提供するために複数のタイプのカメラ（例えば、ＴＯＦ及びＩＲ）を含む。いくつかの例では、センサ２４０は、センサ２４０に対応する検知範囲又は領域を画定する対応する視野Ｆｖ（例えば、図４Ｃに示される）を有する。いくつかの実装形態では、センサ２４０は、約３メートルの範囲を有する。それにより、キッチン１００内のバックスプラッシュ２００ａの近くの物体（例えば、ユーザ７０）の大半を検知することができる。
【0052】
いくつかの例では、センサ２４０は、追加のフィーチャを含み、例えばセンサ２４０が視野ＦＶを変更できるように、１つ又は複数の軸（例えば、床１０４との関連でｘ軸、ｙ軸又はｚ軸）の周りで回転又は枢動させるための手段などが挙げられる。加えて又は代わりに、センサ２４０は、マイクロフォン又はマイクロフォンアレイなどのオーディオ捕捉能力を含む。オーディオ捕捉能力を用いることで、センサ２４０は、バックスプラッシュ２００ａがユーザ７０からのスピーチ又は他のオーディオ入力（例えば、音声認識、スピーチ学習、スピーチ解析、スピーチモデリングなど）を解釈する能力を含むようにすることができる。例えば、センサ２４０は、ユーザ７０から音声コマンドを受信する。バックスプラッシュ２００ａは、ディスプレイ応答を実行する（例えば、ディスプレイ２３０がウィンドウを動かすか、ウィンドウを終了するか又はウィンドウを生成する）。検知音と適切な関係があるか又は検知音に関連するバックスプラッシュ２００ａのフィーチャを動作させるためのトリガイベントとして使用することができる他の環境音を検知するため、オーディオセンサ２４０（例えば、マイクロフォン）を使用することもできる。例えば、まな板の上で切り刻んでいる音をセンサが捕捉した場合、バックスプラッシュ２００ａは、レシピ、食料品の買い物若しくは調理と関連付けられるアプリケーション又はレンジトップ、電子レンジ若しくはオーブンの制御インタフェース或いは同様のものをディスプレイ２３０上に表示するようにプログラムすることができる。
【0053】
さらに、センサ２４０は、ユーザ７０が持ち運ぶ無線デバイス（デバイス３０、４０など）によって生成されたＢｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉ信号を介してなど、電波の受信が可能な無線受信機を含み得る。次いで、無線受信機は、例えば、ユーザの携帯電話ＢＴＬＥ、ＷｉＦｉ及びＭＡＣアドレスを介して、ユーザの場所を信号強度と共に決定するために使用することができる。センサ２４０は、超音波受信機又はＲＦＩＤ受信機などの占有センサを含み得ることも企図される。バックスプラッシュ２００ａは、所望のユーザ識別及び場所決定機能を提供するか又は別の方法で所望のトリガイベントをモニタするために、１つ又は複数のセンサ２４０及び様々なタイプのセンサ２４０（例えば、上記で論じられるような）を使用することができる。センサ２４０は、識別された１人又は複数のユーザ７０の場所を動的に更新するために、繰り返し更新するか又は別の方法で連続的に動作させることができる。例えば、バックスプラッシュ２００ａのディスプレイ２３０上のコンテンツは、表示コンテンツへのアクセス及び改善されたワークフローを提供するために連続的に位置決めし直すことができる。オーバーレイ２３４（例えば、タッチスクリーン）とのユーザのタッチ対話は、ディスプレイ２３０に対するユーザの更新場所の確認又は提供を行うこともできる。これにより、ユーザ７０は、ディスプレイ２３０に沿って表示された所望のコンテンツと連続的に対話すること及びバックスプラッシュ２００ａと通信するデバイス（例えば、デバイス３０、４０）を位置決めし直す必要なく、そのようなデバイスで表示コンテンツを容易且つ便利に閲覧できるようにすることができる。
【0054】
ディスプレイ２３０の近くに存在するユーザ７０の場所又は近接距離は、どのような画像若しくはデータを表示するか、画像若しくはデータをどのように提示するか及び／又は画像若しくはデータをディスプレイ２３０のどこに表示するかを決定する要因であり得る。しかし、バックスプラッシュ２００ａは、ユーザのアイデンティティ又はディスプレイの好みなどの他の要因に基づいて、表示コンテンツを開始することも同様に又は代わりに行うことができる。場所と同様に、ユーザ７０のアイデンティティは、様々な方法で決定することができる。それらの方法は、システム上で実装される１つ又は複数のセンサ２４０のタイプに依存し得る。例えば、センサ２４０は、ユーザの身長、体型、顔の特性、熱署名、音声、可聴パスワード若しくは音声命令、ＲＦＩＤタグ、無線デバイスの存在又はバックスプラッシュ２００ａによって利用されるセンサ２４０の１つ又は複数によって識別可能な他の考えられる特性など、ユーザ７０の１つ又は複数の特性を識別するために使用することができる。次いで、識別された特性は、バックスプラッシュ２００ａ（例えば、コンピューティングデバイス２５０）により、現在のユーザ７０をバックスプラッシュ２００ａのユーザプロフィールと一致させるために使用することができる。バックスプラッシュ２００ａのユーザプロフィールは、ローカル若しくはリモートで格納されたユーザデータ、事前に選択された任意の設定、適用可能なデバイス又は識別されたユーザと関連付けられた別の方法で利用可能な情報へのアクセスをシステムに提供することができる。
【0055】
加えて又は代わりに、いくつかの例では、バックスプラッシュ２００ａは、挙動、パターン又はユーザの挙動若しくはパターンの変化（例えば、センサ２４０によって検知される）に基づいて、表示コンテンツを適応的に開始することができる。例えば、センサ２４０は、バックスプラッシュ２００ａのセンサ範囲内の挙動又は活動に関連するデータを追跡するか又は集めることができる。いくつかの実装形態では、ユーザ７０の対話（例えば、タッチ、ジェスチャ又はバックスプラッシュ２００ａとの他の対話）は、ユーザの好み又はユーザのプロフィールと関連付けられた情報を理解するためにモニタすることができる（例えば、センサデータと共に）。例えば、ユーザプロフィールは、バックスプラッシュ２００ａにより、ユーザ７０の場所移動パターン、ユーザ７０が訪れた場所、ユーザ７０によって消費されたデジタルメディアコンテンツ、ユーザ７０がした買い物又はユーザプロフィールの様々な設定の更新についてモニタすることができる。いくつかの実装形態では、ユーザプロフィールは、アプリケーション（例えば、ソーシャルメディア、メディアコンテンツアカウントなど）又は他のデバイス３０、４０上のユーザ７０のアイデンティティなど、他のユーザアイデンティティと関連付けられる。例えば、ユーザアイデンティティがバックスプラッシュ２００ａに対するユーザプロフィールと関連付けられた際、バックスプラッシュ２００ａは、そのようなアイデンティティに関する変更又はユーザ挙動をモニタして識別することができる。換言すれば、バックスプラッシュ２００ａは、ソーシャルメディア使用量又はウェアラブルデバイスによって検知された物理的な活動を識別することができる。この様々な情報を用いることで、バックスプラッシュ２００ａは、ユーザ７０と関連付けられたユーザプロフィールの設定又は特性を更新することができる（例えば、ユーザプロフィールのユーザ７０によって構成された許可に基づいて）。表示コンテンツは、ユーザの挙動又はパターンにおいて検知された変更に応答するために更新することができ、例えば、栄養価が低い食べ物若しくはスナックを食べる頻度の増加の検知に応答して健康に良い食事のレシピを提案するコンテンツを表示すること又はユーザが疲れているようであると判断した際にコーヒーメーカーのスタートを提案することなどが挙げられる。
【0056】
いくつかの例では、ユーザプロフィールは、ディスプレイ２３０において画像又はメディアコンテンツ（例えば、デフォルトコンテンツ若しくはカスタマイズされたコンテンツ）を生成するか又は含む。例えば、ユーザプロフィールは、事前に選択されたレイアウト及び／又は制御インタフェースのコンテンツである。いくつかの例では、バックスプラッシュ２００ａのディスプレイ２３０上に表示される制御インタフェースのコンテンツは、アクセス可能なユーザ設定に対応し得る。
【0057】
ユーザ７０の入力及び存在又はディスプレイ２３０の近くで検知された活動に応答して、対話式で表示されたコンテンツ（例えば、画像）を提供することに加えて、バックスプラッシュ２００ａは、追加の機能に対して使用することができる。例えば、ディスプレイ２３０は、考えられるディスプレイイメージの中でも特に、屋外環境シミュレーション又は他のエンターテインメントメディアなど、周辺の装飾、望ましい写真又は映像との調和が望ましいバックスプラッシュタイルのパターン、色又はデザインなど、静的又は動的な壁紙又はバックグラウンド画像を表示するなどの装飾機能を有し得る。静的又は動的な壁紙又はバックグラウンド画像は、従来のタイルバックスプラッシュ表面の外観及び目に見えるテクスチャを模倣するため、より低い又は代替の光強度で表示することができる。
【0058】
さらに、ディスプレイ２３０の上縁に沿ってなど、ディスプレイ２３０の１つ又は複数の部分は、キャビネット１０８の下及びカウンタートップ１０６の作業面上に照明を提供するために使用することができる。ディスプレイ２３０の上部にわたるバーは、例えば、白色光又はユーザが好む色への調整が可能な光であり得る一方、その強度は、エリアにおける追加の光を提供するためにボックスサイズであり得る。ディスプレイ２３０のそのような照明機能は、ユーザ７０を追跡する光を夜間に又はそのように構成された際に提供するためなど、センサ２４０と併せて使用することもできる。
【0059】
一般的に言えば、バックスプラッシュ２００ａは、視覚入力（例えば、ジェスチャ若しくは位置）又はオーディオ入力（例えば、音声）などのいくつかの異なる入力メカニズムに対して構成することができる。例えば、センサ２４０からのセンサ信号は、バックスプラッシュ２００ａの機能性を動作させるためにトリガイベントの存在を示すことができる。トリガイベントは、ユーザの場所がバックスプラッシュ２００ａからの閾値距離内になること又は受信されたセンサ信号に基づいてユーザ７０の特性を識別することであり得る。トリガイベントが起こると、バックスプラッシュ２００ａ内のハードウェア（例えば、コンピューティングデバイス２５０）は、バックスプラッシュ２００ａに始動通信を送信することができる。この始動通信は、ディスプレイ２３０のセクションＳ（例えば、ディスプレイ２３０と関連付けられたスクリーン２３２の部分）において画像を表示するか又は変えるようにバックスプラッシュ２００ａに指示することができる。例えば、バックスプラッシュ２００ａは、ユーザ７０の識別された場所の近くに画像を生成するか、又は識別されたユーザ７０と関連付けられる事前に選択された設定を生成する。追加のユーザ７０が存在し、センサ２４０で識別されると、バックスプラッシュ２００ａは、追加の識別されたユーザ７０の近く又は追加の識別されたユーザ７０に有用な位置に画像を表示することにより、同様に反応することができる。例えば、図２Ｄは、バックスプラッシュ２００ａ上にコンテンツを表示することができる第１及び第２のセクションＳ１、Ｓ２を示す。ここで、第１のユーザ７０は、バックスプラッシュ２００ａの第１のセクションＳ１にコンテンツを表示することができる。第２のユーザ７０は、バックスプラッシュ２００ａの第２のセクションＳ２にコンテンツを表示する。
【0060】
図２Ｂをさらに参照すると、バックスプラッシュ２００ａは、それ自体のコンピューティング能力も含み得る。それにより、バックスプラッシュ２００ａは、データ処理ハードウェア２５４及びメモリハードウェア２５６などのローカルリソース２５２を有するコンピューティングデバイス２５０を含む。ここで、センサ２４０は、センサデータ２４２を格納するため（例えば、メモリハードウェア２５６に）又は動作を実行するため（例えば、データ処理ハードウェア２５４を使用して）に、コンピューティングデバイス２５０にセンサデータ２４２を通信する。従って、コンピューティングデバイス２５０は、センサデータ２４２を変換して、バックスプラッシュ２００ａの様々な機能性に入力又はフィードバックを提供するために、センサ処理を実行することができる。例えば、コンピューティングデバイス２５０による画像処理は、センサ２４０の検知フィールド内の物体（例えば、ユーザ７０、電化製品１１０、道具、調理器具、食品など）に対する近接及び場所情報を生成する。いくつかの例では、コンピューティングデバイス２５０は、ディスプレイ２３０上に示されるコンテンツを生成するＯＳを実行する（例えば、バックスプラッシュ２００ａの近くのユーザ７０又はユーザ７０の活動を検知することに基づいて）。ＯＳを用いることで、バックスプラッシュ２００ａは、ユーザ７０のための対話型ウィンドウ２６０として、アプリケーション（例えば、ワードプロセッサアプリケーション、スプレッドシートアプリケーション、アカウンティングアプリケーション、ウェブブラウザアプリケーション、電子メールクライアント、メディアプレーヤ、ファイルビューアなど）をディスプレイ２３０上に表示することができる。いくつかの例では、バックスプラッシュ２００ａは、コンピューティングデバイス２５０のアプリケーション（例えば、アプリケーションに関連する構成）を変えるように構成される。例えば、バックスプラッシュ２００ａは、ユーザ７０とバックスプラッシュ２００ａとの対話に基づいてアプリケーションの追加、除去又は修正を行うことができる。バックスプラッシュ２００ａのこの例は、ユーザ７０によって特定のアプリケーションが決して又はほとんど使用されないことをバックスプラッシュ２００ａが認識することであろう。ここで、バックスプラッシュ２００ａは、例えば、アプリケーションを除去する（又は隠す）ことにより、コンピューティングデバイス２５０のインタフェース又はコンピューティングリソースにおけるクラッタを低減することができる。
【0061】
いくつかの構成では、コンピューティングデバイス２５０は、バックスプラッシュ２００ａに対するキッチンＡＰＩ ２５８を管理する。キッチンＡＰＩ ２５８を用いることで、家１０内の又は家１０内にない他のデバイス４０は、バックスプラッシュ２００ａと統合することができる。例えば、バックスプラッシュ２００ａは、キッチン１００の電化製品１１０に対する中央ハブとして動作するミドルウェアデバイスである一方、他のデバイス３０、４０、５０との通信も行う。例えば、バックスプラッシュ２００ａは、家の環境１０のためのスマートハブと通信する。換言すれば、ユーザ７０は、バックスプラッシュ２００ａを使用して、家１０内のスマートライトをつけるか、又はキッチン１００で調理している間、幼い子供のためにスマートテレビのペアレンタル制御を有効化／無効化することができる。ユーザ７０は、一般に、バックスプラッシュ２００ａと対話するためにその場にいなければならない。そのため、電化製品メーカーは、バックスプラッシュ２００ａによる電化製品１１０の管理及び／又は制御を認めることができる。この手法を用いることで、キッチン１００内におけるユーザ７０の存在（例えば、センサ２４０によって認識可能である）と同時にバックスプラッシュ２００ａの機能性を調節することができる。そのため、バックスプラッシュ２００ａは、電化製品メーカーの安全性に対する懸念を和らげることができる。換言すれば、電化製品の制御は、バックスプラッシュ２００ａにおけるセンサ検出を条件とし得る。より具体的には、いくつかの実装形態では、バックスプラッシュ２００ａは、センサ２４０からセンサデータ２４２を受信する（例えば、コンピューティングデバイス２５０において）。バックスプラッシュ２００ａは、センサデータ２４２がユーザ７０の存在を示していると決定し、ユーザ７０の存在に基づいてキッチンＡＰＩ ２５８を起動する。ここで、キッチンＡＰＩ ２５８の起動と共に、バックスプラッシュ２００ａは、キッチンＡＰＩ ２５８のウィンドウ（例えば、対話型ウィンドウ）をディスプレイ２３０上に表示する。
【0062】
いくつかの例では、キッチンＡＰＩ ２５８は、様々な機能性を実行するようにプログラムされる。例えば、キッチンＡＰＩ ２５８は、ディスプレイ２３０上に表示されたテキストを構文解析するようにプログラムされる。ここで、テキストを構文解析又は解釈することにより、キッチンＡＰＩ ２５８は、コンテンツウィンドウ又は対話型コンテンツ（例えば、電化製品１１０のためのタッチスイッチ若しくは対話型制御パネル）を生成することができる。いくつかの実装形態では、ユーザ７０がレシピを表示すると、キッチンＡＰＩ ２５８は、テキストを構文解析して、映像コンテンツを生成するか（例えば、食べ物の準備法若しくは調理法を教えるため）、又はキッチン１００内の電化製品１１０の起動／停止を行う。例えば、キッチンＡＰＩ ２５８は、テキストから規定された温度までオーブンを予熱するか、又はユーザ７０のためにテキストから規定された時間からタイマーをスタートする。換言すれば、キッチンＡＰＩ ２５８は、キッチンＡＰＩ ２５８に接続された電化製品１１０及び／又はデバイス３０、４０、５０に対するタスクを生成することができる（例えば、ディスプレイ２３０で生成されたコンテンツに基づいて）。
【0063】
センサ２４０の能力と共に、バックスプラッシュ２００ａは、キッチン１００内のユーザ７０などの人物を理解するように構成される。例えば、バックスプラッシュ２００ａは、動き（例えば、ユーザ７０のジェスチャ）を推定するか、姿勢（例えば、ユーザ７０の向き）を推定するか、顔認識を実行するか（例えば、ユーザ７０を識別するため）、又は注視認識を実行する（例えば、ユーザ７０の視線方向を識別するため）。加えて又は代わりに、バックスプラッシュ２００ａは、人物以外の物体を理解するため又は人物と他の物体との相互作用を理解するためにセンサ２４０を使用する。例えば、バックスプラッシュ２００ａは、センサ２４０を使用して、電化製品１１０又はキャビネット１０８の開放又は閉鎖を認識する。他の例では、バックスプラッシュ２００ａは、ユーザ７０が食べ物を切り刻むために使用しているナイフなどの物体又はより一般的にはキッチン１００でユーザ７０が触れている食品物体を認識する。
【0064】
いくつかの例では、バックスプラッシュ２００ａは、ユーザ７０などの物体のモーションを認識する。最初に、ユーザ７０がキッチン１００に入ると、バックスプラッシュ２００ａのセンサ２４０は、ユーザ７０の存在を示すセンサデータ２４２を生成する。いくつかの例では、バックスプラッシュ２００ａは、センサデータ２４２を使用して顔認識を実行する。顔認識に対して、バックスプラッシュ２００ａは、ユーザ７０の顔のプロフィールを用いて事前にプログラムされ得るか（例えば、ユーザ７０の顔のプロフィールを生成する顔認識初期化プロセスを有する）、又はユーザ７０に対するセンサデータ２４２を収集して時間外にユーザ７０の顔のプロフィールを学習し得る。いずれの事例でも、バックスプラッシュ２００ａは、顔のプロフィールを生成するか又は受け入れるようにユーザ７０に促すことができる（例えば、キッチンＡＰＩ ２５８を介して）。いくつかの例では、バックスプラッシュ２００ａは、キッチン１００の環境及び／又はユーザ７０に合わせてバックスプラッシュ２００ａを始動するためのセットアッププロセスを有する。これらの例では、セットアッププロセスは、ユーザ７０の場所及び／又はユーザ７０の初期の好みを識別することができる。
【0065】
いくつかの構成では、顔のプロフィールは、キッチンＡＰＩ ２５８における好み又は制御権を有する。例えば、バックスプラッシュ２００ａのセンサ２４０は、ユーザ７０の認証メカニズムとしての役割を果たし、ユーザ７０がキッチンＡＰＩ ２５８における制御権の認可を得ているかを検証する。このフィーチャにより、第１のユーザ７０（例えば、親）は、キッチンＡＰＩ ２５８又はキッチンＡＰＩ ２５８のいくつかの機能性の使用が認可されていない第２のユーザ７０（例えば、子供）によって乗っ取られることなく、キッチンＡＰＩ ２５８を使用することができる。いくつかの例では、ユーザ７０が異なれば、電化製品１１０及び／又はキッチンＡＰＩ ２５８のフィーチャに関連する制御権のレベルも異なる。
【0066】
いくつかの実装形態では、バックスプラッシュ２００ａは、ユーザ７０と対話する１つ又は複数のウィンドウ２６０、２６０ａ～ｎをディスプレイ２３０内に生成する（例えば、コンピューティングデバイス２５０によって又はキッチンＡＰＩ ２５８を通して）（例えば、図２Ｅ、４Ａ及び４Ｂに示されるように）。ここで、ウィンドウ２６０は、テキスト、マルチメディア（例えば、画像若しくは映像）又はそれらの任意の組合せなどのコンテンツのエリアを指し得る。いくつかの例では、ウィンドウ２６０は、ユーザ７０の位置に応じてウィンドウ２６０のサイズを拡大又は縮小することによって対話する。例えば、バックスプラッシュ２００ａは、バックスプラッシュ２００ａからのユーザの深度ｄを決定し、ユーザの深度ｄに基づいて（例えば、ユーザの深度に比例して）、ウィンドウ２６０内のコンテンツ又はウィンドウ２６０自体のサイズをスケーリングする。いくつかの例では、バックスプラッシュ２００ａは、キッチン１００内のセンサ２４０の位置からキッチン１００内のユーザ７０の位置までのユーザの深度ｄを決定する（図４Ｃ～４Ｅ）。例えば、センサ２４０は、ＴＯＦセンサデータ２４２を使用して、ユーザ７０の深度ｄを決定する。スケーリングの目的のため、バックスプラッシュ２００ａは、事前にプログラムされたサイズ対深度比（すなわち深度に基づくコンテンツのサイズ）を有するように構成することができる。いくつかの例では、これらの比率は、ユーザ７０によってさらにカスタマイズすることができる（例えば、ユーザの近視、遠視又は乱視などの他の眼疾患に適応させる）。さらなる他の例では、バックスプラッシュ２００ａのユーザ７０は、センサ２４０からの１つ又は複数の深度におけるコンテンツサイズ又はデフォルトコンテンツサイズなどの好みをプログラムする（例えば、ユーザプロフィールにおいて）。
【0067】
図２Ｅに示されるように、バックスプラッシュ２００ａのディスプレイ２３０は、バックスプラッシュ２００ａのユーザ７０のための制御インタフェースを提供する画像又はメディアコンテンツを含み得る。制御インタフェースを用いることで、ユーザ７０は、バックスプラッシュ２００ａ自体及び／又はバックスプラッシュ２００ａと通信する接続デバイス３０、４０、１１０を動作させることができる。換言すれば、バックスプラッシュ２００ａにおける制御インタフェース及び／又は異なるタイプの対話型コンテンツにより、ユーザ７０は、バックスプラッシュ２００ａの機能性を実行する入力を生成することができる。ディスプレイ２３０におけるバックスプラッシュ２００ａは、ユーザ７０がキッチン１００において又はディスプレイ２３０の近くで検出された際にフィードバックを開始することによってなど、接続デバイス３０、４０、１１０からのフィードバックを提供することもできる。接続デバイス３０、４０、１１０からのフィードバックは、考えられる接続デバイスの表示の中でも特に、例えばコーヒーメーカーがスケール除去処置を必要としていること、食器洗い機が、中身がきれいであることを示し、中身を取り出すようにユーザに要求していること又は冷蔵庫が内部ウォータフィルタの交換の必要性を示していることを含み得る。接続デバイス３０、４０、１１０がカウンタートップ１０６上又はその近くにある事例では、フィードバックは、接続デバイス３０、４０、１１０の近くのディスプレイ２３０のセクションに部分的に又は完全に表示することもできる。例えば、ディスプレイ２３０上の点滅する矢印は、洗浄が必要なコーヒーメーカーを指し示すか、又はコーヒーが入り、ユーザ７０がいつでも飲める状態であるコーヒーメーカーを指し示すことがある。
【0068】
図２Ｅを参照すると、バックスプラッシュ２００ａは、円形構成のアイコン２７２、２７２ａ～ｅを有する制御インタフェース２７０を含むディスプレイ２３０（例えば、ディスプレイ２３０の１つ又は複数のウィンドウ２６０）を生成することができる。ここで、各アイコン２７２は、対応するシステム又はデバイス制御にアクセスするために、ユーザ７０による選択が可能な（例えば、タッチ能力でのオーバーレイにおけるタッチ接触を介して）対話型ボタンであり得る。アイコン２７２は、考えられる様々なアプリケーションの中でも特に、電話、レシピ、オーブン制御、電化製品、ホームセキュリティ、天気、設定（ディスプレイ用）、映像用など、対応する制御インタフェースを提供するために様々なアプリケーションにリンクすることができる。アイコン２７２に対応するボタンを選択することにより、例えばタッチスクリーンに指を押し付けることを介して、制御インタフェースは、消失させるか、位置決めし直すか若しくは最小化して選択コンテンツを表示するか、又は別の方法でディスプレイ２３０の利用可能なエリア若しくはセクションＳに表示することができる。
【0069】
図２Ｅは、２つのディスプレイウィンドウ２６０、２６０ａ～ｂを有するディスプレイ２３０の例である。各ウィンドウ２６０は、バックスプラッシュ２００ａのアプリケーションがコンテンツをどこに表示できるかを示すために概説されている。例えば、第１のウィンドウ２６０ａは、天気予報を表示するバックスプラッシュ２００ａを描写する。第２のウィンドウ２６０ｂは、インターネットブラウザを表示するバックスプラッシュ２００ａを描写する。ユーザの識別されたユーザプロフィールは、制御インタフェース２７０の制御パネルをナビゲートする必要なく、そのようなディスプレイエリアに自動的に表示するコンテンツに対する所望の設定又はディスプレイ２３０の事前に構成されたウィンドウ２６０若しくはエリアに表示することができる以前にアクセスしたアプリケーションに対する所望の設定も有し得る。本明細書で示され且つ説明されるものから考えられる様々な表示コンテンツ及びユーザインタフェース制御の配置、レイアウト及び設定が存在する。それらは、バックスプラッシュ２００ａの他の例にも組み込むことができる。例えば、バックスプラッシュ２００ａは、ユーザが定義したスキン若しくはバックグラウンドを組み込むか、又は別のユーザデバイス３０、４０（例えば、モバイルデバイス）の制御インタフェースのミラーリングの組み込み若しくは他の好ましい制御レイアウトの組み込みも可能である。
【0070】
いくつかの構成では、バックスプラッシュ２００ａは、バックスプラッシュ２００ａに隣接する物体によって遮られない場所において、アイコン２７２及び／又はウィンドウ２６０などのメディア又はグラフィカルコンテンツを表示するように構成される。換言すれば、バックスプラッシュ２００ａは、ユーザ７０の視線を遮ることになる物体の背後にコンテンツを表示することを避けるように試みる。例えば、トースター、スタンドミキサー、食料品のバッグ又は同様のものなどのカウンタートップ電化製品１１０又は物体がカウンター１０６上に存在し、大まかに元々表示されているコンテンツのユーザの視線上に置かれている際、ディスプレイコンテンツを動かすことができる。バックスプラッシュ２００ａは、１つ又は複数のセンサ２４０からのセンサデータを使用して、遮る物体を位置付けることができ、センサデータに基づいて、バックスプラッシュ２００ａは、ユーザの大まかな視線を決定し、且つ決定された視線上の１つ又は複数の検出物体の背後にコンテンツが表示されることを防ぐために、ユーザ７０の場所又はディスプレイ２３０上で生成されたコンテンツの場所に対する検出物体の場所をモニタすることができる（例えば、バックスプラッシュ２００ａと関連付けられたコンピューティングリソースを介して）。
【0071】
さらに、センサ２４０（又はセンサ２４０のニューラルネットワーク）は、センサ２４０の視野内の物体のタイプ（例えば、遮る物体）を識別することができる。物体を識別することで、バックスプラッシュ２００ａは、識別を使用して、物体をログ又は記録することができる。いくつかの例では、センサ２４０のセンサデータは、バックスプラッシュ２００ａの近くのカウンタートップ１０６上に置かれた食品のタイプの認識、モニタリング及び在庫確認のために使用することができる。センサデータは、認識された食品の使用をモニタするために使用することもできる。例えば、バックスプラッシュ２００ａは、センサデータ処理に基づいて、識別可能な食品アイテム（例えば、データ処理を使用して識別するようにプログラム又は学習された食品アイテム）をユーザ７０が消費した際、処分した際又は収納した際にそれを認識するように構成される。これにより、バックスプラッシュ２００ａ又はバックスプラッシュ２００ａと通信する他の記憶装置は、新鮮な果物及び野菜などの食品の在庫リストを維持できるようになる。例えば、バックスプラッシュ２００ａの在庫アプリケーションは、バックスプラッシュ２００ａによって検知されているその在庫に関連する時間データ（例えば、在庫確認日）及び／又はセンサデータをログする。バックスプラッシュ２００ａは、食品の推定される賞味期限に近づくのがいつか又は賞味期限を超えるのがいつかなど、食品の在庫状態をユーザ７０に思い出させるようにすることができる（例えば、そのアプリケーションを介して）。例えば、バックスプラッシュ２００ａは、カウンタートップ１０６上の果物収納バスケット内のりんご及びバナナの数を検知し、りんご又はバナナが少なくなった際、なくなった際又は腐った形跡が見られた際にそれをユーザ７０に知らせることができる。この機能性は、ユーザ７０にとって有利であり、ユーザ７０が食品廃棄物を削減するか、手元にある食品を組み込むレシピを推奨するか、ユーザの所望のダイエットを維持するうえで役立てることができる。
【0072】
ここで、図２Ｆを参照すると、様々な任意選択的な入力及び支援運用システムを有するバックスプラッシュ２００ａの例である。例えば、センサ２４０は、３人のユーザ７０、７０ａ～ｃを捕捉するセンサフィールドを有するカメラとして示されている。３人のユーザ７０、７０ａ～ｃの各々は、一意ユーザＩＤを有する。センサ２４０は、ローカル識別及び場所決定システム２８０と通信する。それにより、コントローラ（例えば、コンピューティングデバイス２５０）は、ユーザ７０（ユーザプロフィール又はＩＤに対応する）を識別し、ディスプレイ２３０に対してユーザ７０を位置付けることができる。同様に、センサ２４０としての無線受信機の使用を参照して上記で述べたように、ローカル識別及び場所決定システム２８０は、ユーザ識別及び場所決定を支援するためにデバイス３０、４０（例えば、モバイルデバイス）と通信することができる。図２Ｆに示されるシステムは、リモートリソース５２と、ディスプレイ２３０と通信するローカルメディア、カメラ、グラフィック背景及びインタフェースプロトコルなどのローカルリソース（例えば、コンピューティングデバイス２５０のもの）の両方との統合も示す。ここで、コンバータ２８２は、スケーリング及び／又は構文解析して映像出力２８４を出すことができる複数の映像入力を受信することができる。映像メディア、カメラ及びインタフェースプロトコルなどのリモートリソース５２も、制御オーバーレイ並びにワークスペース制御及び構成フィーチャを有するコントローラを通してバックスプラッシュ２００ａと通信することができる。
【0073】
図２Ｇに示されるように、クラウドコンピューティングを組み込む様々な任意選択的な入力及び支援運用システムを有するバックスプラッシュ２００ａの別の例が示されている。クラウドコンピューティングは、一般に、データの格納、管理及び処理のために、ローカルサーバ又はパーソナルコンピュータではなく、インターネット上でホストされるリモートサーバのネットワークの少なくともいくつかの使用によって参照される。図２Ｇに示される例では、リモートリソース５２とローカルリソース２５２との両方は、コンバータ２８２としての役割を果たす機能性を含み得るクラウド（すなわちリモートコンピューティングデバイス５０）を介して利用することができる。クラウドコンバータ２８２は、複数の映像入力など、表示することが望ましい画像データを受信し、クラウドコンピューティングリソース５２で全体的に又は部分的になど、その画像データをスケーリング及び／又は構文解析して映像出力２８４を出すことができる。
【0074】
図２Ｈを参照すると、様々な任意選択的な入力及び支援運用システムを有するバックスプラッシュ２００ａのさらなる例が示されている。この例では、ディスプレイ２３０及びタッチスクリーン２３４を制御するワークスペースプロセッサ２５２、２５２ａ～ｄは、ルータ３０に接続される。ルータ３０は、クラウドコンピューティングのさらなる使用及び統合を提供するためにリモートコンピューティング５０（例えば、クラウドコンピューティング）と通信する。この場合にもやはり、リモートリソース５２とローカルリソース２５２との両方は、クラウド５０を介して利用される。クラウド５０は、考えられる処理及びデータ格納能力の中でも特に、画像変換、スケーリング及び構文解析を提供する。本明細書で提供される例示的なバックスプラッシュ２００に加えて、バックスプラッシュ２００ａの他の例のバックグラウンドインフラストラクチャは、バックスプラッシュ２００ａに設置されるハードウェア２５４とのより多くの又はより少ないクラウドコンピューティング統合を提供するようになど、様々な他の方法で構成できることが企図される。
【0075】
図２Ｉに示されるように、複数のスクリーン２３２、２３２ａ～ｄにオーバーレイされた単一のタッチスクリーン（例えば、オーバーレイ２３４）を有するディスプレイ２３０を有するバックスプラッシュ２００ａの例が示されている。ディスプレイ２３０の対話型ディスプレイエリアは、タッチスクリーン２３４とスクリーン２３２とのオーバーラップエリアに配設される。各スクリーン２３２は、ワークスペースコントローラ２５２に接続される。ワークスペースコントローラ２５２は、ハブコンピュータ（例えば、コンピューティングデバイス２５０）に接続される。ハブコンピュータ２５０は、ユーザ７０を決定し、コンテンツを対話型ディスプレイエリア上で格納及び表示し、対話型ディスプレイエリアとの対話を制御するように動作することができる。図２Ｉに示されるように、ハブコンピュータ２５０は、考えられるクラウドコンピューティング統合の中でも特に、独立した映像及び出力コンバータへの複数の入力を操作するためにクラウド５０にアクセスすることができる。
【0076】
ユーザ識別及び対話型ディスプレイシステムとの場所に関する対話の例に関して、図２Ｊは、ユーザ７０が識別されているかどうかを判断する初期の決定ステップ２８６を示す。ユーザ７０が識別されている際、バックスプラッシュ２００ａのディスプレイ２３０において、制御のユーザプロフィールをロードするか又はユーザプロフィールにアクセスすることができる。検知されたユーザ７０が依然として識別されていない場合、例示的なプロセスは、バックスプラッシュ２００ａに接続されたセンサ２４０によって捕捉された画像データの画像処理を用いてなど、顔の識別を行えるかどうかを判断する。ステップ２８８における顔認識を介してなど、第１の識別が行われた時点において、第２の識別ステップ２９０を使用して、無線ルータ（例えば、ネットワークデバイス３０）からの電話識別を介してなど、ユーザ識別が正確であることをさらに保証することができる。所望のユーザ識別信頼性のみならず、所望のアクセスの容易さ及びユーザプロフィールに対するセキュリティレベルも提供するために、パスワード又は他の生体検知データを用いてなど、他の第２の識別を使用することができる。
【0077】
図２Ｊに示されるように、ステップ２８８及び２９０においてなど、ユーザ７０が識別された時点で、システムは、ステップ２９２において、バックスプラッシュ２００ａとの対話（例えば、タッチ対話）をモニタすることもできる。ステップ２９２で受信された対話イベント（例えば、タッチイベントとして示される）は、次いで、ステップ２９４において、ユーザ７０が場所を変更したかどうかを確かめるために評価することができる。ディスプレイ２３０に対するユーザの識別された動きにより、ディスプレイ２３０において表示コンテンツを再構成すべきかどうか及びどのように再構成すべきかを判断するための一連のステップを含むサブプロセス２９６を処理することができる。ユーザ識別及び場所の決定及びモニタリングを行うため、バックスプラッシュ２００ａにより、様々な代替のプロセスを使用できると考えられる。
【0078】
任意選択的に、バックスプラッシュ２００ａのコントローラ（例えば、コンピューティングデバイス２５０）は、最初のユーザ７０が依然として対話型ディスプレイエリア又はその近くに位置している間、ディスプレイ２３０の対話型ディスプレイエリア又はその近くの第２のユーザ７０を位置付けることができる。コントローラは、第２のユーザ７０のユーザプロフィールへのアクセスも行うために、センサ信号に基づいて第２のユーザ７０の特性を識別することもできる。コントローラは、バックスプラッシュ２００ａを動作させている他のユーザと実質的に同じ方法で同時に第２のユーザと対話することができる。しかし、ユーザ７０にとって便利な場所のディスプレイ上に対話が位置付けられ、識別された第２のユーザ７０の利用可能な好み及び設定でカスタマイズされ得ることを除く。システムは、優先されるユーザ７０に対して特別に表示された制御パネル及びコンテンツを位置決めし直すことを防止するなど、バックスプラッシュ２００ａの第１又は第２のユーザ７０にある優先権を与えるようにプログラムすることができる。システムは、バックスプラッシュ２００ａ及び環境が順応できるほどのより多くのユーザ７０に合わせてさらに動作することもできる。
【0079】
図２Ｋは、バックスプラッシュ２００ａに対する校正ルーチンの例である。校正ルーチンは、ディスプレイ２３０の対話型ディスプレイエリアの仮想境界を決定するために使用することができる。仮想境界は、対話型ディスプレイエリアのアクセス可能な部分の境界線を画定する。校正ルーチンは、タッチスクリーン２３４のタッチ座標をディスプレイ２３０の１つ又は複数のスクリーン２３２の画素表示座標にも位置合わせする。校正ルーチンは、対話型ディスプレイエリアのアクセス可能な場所（例えば、隅Ｃ）において入力（例えば、タッチイベント）を提供するようにユーザ７０に促すことができる。図２Ｋに示されるように、アクセス可能な隅Ｃ、Ｃ２（例えば、隅Ｃ２ａ～ｄ）は、ディスプレイ２３０を形成する１つ又は複数のスクリーン２３２の外周の隅に対応し得る。ただし、ディスプレイ２３０がタッチパネルを越えて延在する構成では（ディスプレイ２３０の一部分が電化製品１１０の背後に又は支持ベースのチャネル内に隠れている際など）、対話型ディスプレイエリアのアクセス可能な隅Ｃ２は、ディスプレイ２３０の外周の隅に対応しないことがあり得る。システムは、オーバーレイされるタッチスクリーン２３４で各スクリーン２３２を個別に校正するように、ディスプレイ２３０を形成する個々のスクリーン２３２の隅Ｃ、Ｃ１（例えば隅Ｃ１ａ～ｌ）を識別するように要求することもできる。アクセス可能な隅Ｃ２及び個々のスクリーン２３２の隅Ｃ１においてユーザがタッチイベントを提供した時点において、タッチイベントは、仮想境界の縁画定マーカーとして使用することができる。校正された仮想境界は、今後のすべての使用に対するアクセスのために、バックスプラッシュ２００ａに対してローカル及び／又はリモートで格納することができる。
【0080】
図３Ａ～３Ｃを参照すると、対話型ディスプレイ２００としてのバックスプラッシュ２００ａの機能性は、キッチン環境外のディスプレイ構造に変換することができる。例えば、ユーザ７０が住宅のキッチン設定（例えば、図１Ｃに示されるような）で動作するバックスプラッシュ２００ａを離れた際、ユーザ７０は、後に、別のディスプレイシステムにアクセスするための考えられる代替のデバイス又は環境の中でも特に、オフィス設定若しくは患者の病室などの職場環境のディスプレイアセンブリ２００、２００ｂ上（図３Ａ）、相乗り車両などの自動車内のディスプレイアセンブリ２００、２００ｃ上（図３Ｂ）又は飛行機などの公共交通車両内のディスプレイアセンブリ２００、２００ｄ（図３Ｃ）など、別のディスプレイシステム又はモバイルデバイスなどのデバイス上でコンテンツにアクセスすることができる。これらのデバイス又は追加のディスプレイシステム２００の各々では、ユーザ７０がアクセスしたアプリケーション及び以前にアクセスしたディスプレイシステムで表示されたコンテンツとシームレスに対話し、且つ／又はそれらを動作させることができるように、ユーザプロフィールにアクセスし、更新することができる。従って、ユーザプロフィールは、関連付けられたユーザ設定と共に、リモートリソース５２に格納することができる。それにより、これらの他のディスプレイアセンブリ２００ｂ～ｄを使用して、ユーザプロフィールにアクセスすることができる。ディスプレイシステム２００によるユーザ７０のユーザプロフィールへのアクセス及び使用が行われると、システム２００は、ユーザの設定、活動又は最近アクセスしたアプリケーション及び対応する使用量を格納又は更新することができる。１人又は複数のユーザ７０に対する設定及び構成を格納することにより、ディスプレイシステム２００は、ユーザ７０がそれぞれのディスプレイシステム２００と関連付けられたセンサフィールドを離れた際、ユーザの表示コンテンツを除去し、その後、ユーザ７０が互換性のあるディスプレイシステム２００（例えば、ユーザプロフィールの格納及び維持を行うリモートリソースと通信するディスプレイシステム２００）を有する任意の環境に戻った際、ユーザの表示コンテンツを生成することができる。この手法により、様々なディスプレイシステム２００は、ユーザ７０の活動及び対話構成をシームレスに再開することができる。ディスプレイシステム２００のこのユーザプロフィールは、ユーザ７０がディスプレイ２３０に表示されたフィーチャ（例えば、アプリケーション）及び／又はコンテンツの操作を継続できるようにするためにも、他のディスプレイシステム２００（例えば、システム２００ｂ～ｄ）又はデバイス３０、４０によってアクセスすることができる。
【0081】
図４Ａを参照すると、いくつかの例では、センサ２４０からのセンサデータ２４２は、ユーザ７０によるモーションジェスチャ７２を示す。ここで、バックスプラッシュ２００ａは、ユーザ７０を既に認識していることができる。いくつかの例では、最初にユーザ７０を認識していることで、バックスプラッシュ２００ａは、現在のセンサデータ２４２がユーザ７０の初期の姿勢Ｐからユーザ７０の姿勢Ｐへの変化を示すものであると決定する。姿勢Ｐは、ユーザ７０の向きを指し、ユーザの身体に加えて、ユーザの手足及び頭部の向きを含み得る。ユーザ７０が姿勢Ｐを変更したとバックスプラッシュ２００ａが決定すると、バックスプラッシュ２００ａは、姿勢Ｐの変化がモーションジェスチャ７２に対応するかどうかをさらに判断する。例えば、バックスプラッシュ２００ａは、ディスプレイ２３０におけるディスプレイ応答をトリガする特定のモーションジェスチャのセットを有するように構成することができる。いくつかの例では、ユーザ７０がモーションジェスチャ７２を実行しているとバックスプラッシュ２００ａが決定すると、バックスプラッシュ２００ａは、モーションジェスチャ７２に基づいて、対話型ウィンドウ２６０に対する関連付けられた動きを生成する。いくつかの実装形態では、バックスプラッシュ２００ａが、センサデータ２４２に基づいて、ユーザ７０によるモーションジェスチャ７２がハンドスワイプであると決定すると、バックスプラッシュ２００ａは、第１の位置からハンドスワイプの方向である第２の位置に対話型ウィンドウ２６０を動かす。換言すれば、対話型ウィンドウ２６０は、ユーザ７０と位置合わせされた中心位置から、ユーザ７０に対して位置ずれしたオフセット位置（例えば、ハンドスワイプの方向）に動かすことができる。モーションジェスチャ７２の他の例は、ユーザ７０によるプッシュ又はプル（例えば、手のひらを開いた状態から握った状態にする）モーションを含み、ディスプレイ２３０のフォアグラウンドからバックグラウンドにコンテンツウィンドウ２６０をプッシュするか、又はディスプレイ２３０のバックグラウンドからフォアグラウンドにコンテンツウィンドウ２６０をプルする。いくつかの例では、ユーザ７０は、その手のひらをコンテンツウィンドウ２６０上に位置合わせし、その手のひらを握り（すなわちコンテンツウィンドウ２６０を掴む）、ディスプレイ２３０の周りでウィンドウ２６０を移動させて最終位置にする。最終位置では、ユーザ７０は、再びその握った手のひらを開く（すなわちウィンドウ２６０を解放する）。
【0082】
残念ながら、バックスプラッシュ２００ａの感度が原因で、ユーザ７０が表示コンテンツを動かすか又は表示コンテンツと対話することを意図しない場合でも、バックスプラッシュ２００ａは、表示コンテンツを動かす場合がある。例えば、図４Ｂは、ユーザ７０の身体がほとんど動いていない場合でも、ユーザ７０の３つの姿勢Ｐ１～３間のスウェイが原因で、ユーザ７０の頭部が動いている様子を描写する。このシナリオでは、バックスプラッシュ２００ａは、頭部のスウェイと共に前後に表示コンテンツを動かす可能性があり、ユーザ７０の視認性問題を潜在的に引き起こす。この問題を克服するため、バックスプラッシュ２００ａは、少数の異なる手法を使用することができる。第１の手法では、バックスプラッシュ２００ａは、安定モードに移行する。安定モードでは、バックスプラッシュ２００ａが最初にユーザ７０を認識した時点（又は例えば、キッチン１００のバックスプラッシュ２００ａの前にいるユーザ７０を検知した時点）において、バックスプラッシュ２００ａは、ユーザ７０の姿勢Ｐにおけるささいな動き又は逸脱を検出する高感度レベルから低感度レベルに変更する。ここで、低感度レベルは、動き閾値を含み得る。バックスプラッシュ２００ａは、第１の時刻インスタンスにおけるユーザ７０の第１の位置（例えば、第１の姿勢Ｐ１）と、第２の時刻インスタンスにおけるユーザ７０の第２の位置（例えば、第２の姿勢Ｐ２）との差が動き閾値を満たす（例えば、動き閾値を超える）かどうかを最初に判断する。その差が動き閾値を満たす場合、バックスプラッシュ２００ａは、ユーザ７０に合わせて対話型ウィンドウ２６０を動かすことができる（又はインスタンス間の位置の変化に応答して動かすことができる）。例えば、バックスプラッシュ２００ａは、（ｉ）第１の時刻インスタンス及び第２の時刻インスタンスにユーザ７０のワイヤフレームアウトラインを生成し、（ｉｉ）ワイヤフレームに沿ったいくつかのポイント数（例えば、既定のポイント数）の位置の逸脱が動き閾値を満たすかどうかを判断する。
【0083】
別の例では、バックスプラッシュ２００ａは、視野ＦＶに対するグリッドを生成し、感度レベル（例えば、感度の解像度）に対応するようにグリッド内のセル（例えば、画素）のサイズを変更する。感度レベルに対してグリッドを調整することで、バックスプラッシュ２００ａは、次いで、グリッドに応じたユーザの動きを対話型ウィンドウ２６０の動きにつなげるべきかどうかを判断することができる。ここで、バックスプラッシュ２００ａは、グリッドに応じたユーザの動きを評価する際、動き閾値を利用することもできる。そうでなければ、バックスプラッシュ２００ａは、単に、ユーザ７０の新しい位置がグリッドのセルの変化につながるかどうかを判断し、ほとんどのセルが変化した際、対話型ウィンドウ２６０を動かすことができる。
【0084】
いくつかの構成では、センサデータ２４２により、バックスプラッシュ２００ａは、ユーザ７０の関節を決定することができる。関節情報を用いることで、バックスプラッシュ２００ａは、手足又は頭部に対応するユーザの身体上の部位間を区別することができる。別の手法では、バックスプラッシュ２００ａが最初にユーザ７０を認識した時点（又は例えばキッチン１００のバックスプラッシュ２００ａの前にいるユーザ７０を検知した時点）において、安定モードは、ユーザ７０の頭部及び／又は手足からの動きを無視することにより、動き認識を分離する。例えば、この手法では、バックスプラッシュ２００ａがユーザ７０の頭部によってユーザ７０の動きを追跡する代わりに、バックスプラッシュ２００ａは、捉えられた重心（すなわちユーザ７０の無視されない身体の重心）によってユーザ７０を追跡する。捉えられた重心によってユーザ７０を追跡することにより、依然としてさしたる量の揺らぎ（すなわち前後の動き）も生じることなく、ユーザの捉えられた重心と共に、対話型ウィンドウ２６０を通常通り動かすことができる。
【0085】
いくつかの例では、ユーザ７０の動きを追跡するためにウィンドウ２６０を動かす能力は、有効化又は無効化することができる（例えば、ユーザによって外部から又はバックスプラッシュ２００ａによって内部から）。例えば、ユーザ７０は、表示されるウィンドウ２６０の動きを有効化するために、「私についてきてください」など、口頭でのコマンドを提供することができる。ウィンドウ２６０を動かす能力を有効化する際、バックスプラッシュ２００ａは、以前に論じた安定モードを使用することができる。
【0086】
図４Ｃ～４Ｅをさらに参照すると、バックスプラッシュ２００ａは、ユーザ７０を追跡するようにウィンドウ２６０を有効にするように構成される。換言すれば、ユーザ７０がキッチン１００を動き回るにつれて、ウィンドウ２６０は、バックスプラッシュ２００ａに対応するエリア内のユーザ７０を追従することができる。例えば、図４Ｃ～４Ｅは、ユーザ７０の一連の動きを示す。ユーザ７０は、キッチンアイランド１０６、１０８の背後から冷蔵庫１１０ａまで移動し、次いで流し台１１０ｅまで移動している。この一連の動きの間、ユーザ７０を追跡するウィンドウ２６０の位置は、特定の場所Ｌにおいて「Ｘ」として示されている。これらの例では、バックスプラッシュ２００ａは、キッチン１００の隅で隣接する壁１０２に沿って延在する。いくつかの実装形態では、ウィンドウ２６０の場所Ｌは、バックスプラッシュ２００ａのサイズ（例えば、幅）、バックスプラッシュ２００ａに対するセンサデータ２４２を提供するセンサ２４０の場所及び／又はユーザ７０のヨー回転（例えば、センサ２４０に対する）を説明する。ヨー回転は、ユーザ７０の身長に沿って延在する軸、例えば一般的に鉛直方向に沿って延在する軸の周りの回転を指す。図４Ｃでは、ユーザ７０は、コンロ１１０ｄに面しており、センサ２４０に平行であり、センサ２４０から深度ｄ及び距離Ｄに位置する。これらのパラメータ及び各スクリーン２３２の場所（例えば、バックスプラッシュ２００ａの幅を画定する）の知識に基づいて、バックスプラッシュ２００ａは、ウィンドウ２６０の第１の場所Ｌ、Ｌ１を決定する。それは、ウィンドウ２６０を見るのに最適であるとバックスプラッシュ２００ａが決定した場所（例えば、ユーザのヨー回転に従ってユーザ７０から最短距離の場所）である。図４Ｄでは、ユーザ７０が冷蔵庫１１０ａまで移動すると、ユーザ７０は、距離Ｄに等しい深度ｄを有する。これらのパラメータ及びバックスプラッシュ２００ａが冷蔵庫１１０ａの端まで延在しない（例えば、食器洗い機１１０ｂで終端している）という知識に基づいて、バックスプラッシュ２００ａは、ユーザ７０の注視に順応させるために、センサ２４０に対するユーザの頭部のヨー回転も考慮することができる。この追加のパラメータをユーザの頭部のヨー回転に対応させることで、バックスプラッシュ２００ａは、センサ２４０の位置の近くの第２の場所Ｌ、Ｌ２にウィンドウ２６０を表示する。同じ手法を適用することにより、図４Ｅでは、ユーザ７０が流し台１１０ｅの前にいる際、バックスプラッシュ２００ａは、第３の場所Ｌ、Ｌ３にウィンドウ２６０を表示する。ここで、ユーザの頭部のヨー回転は、センサ２４０にほぼ垂直である。従って、この回転は、センサ２４０の場所の代わりに、流し台１１０ｅの背後にウィンドウ２６０を生成するようにバックスプラッシュ２００ａに影響を与える。
【0087】
いくつかの例では、バックスプラッシュ２００ａは、ユーザ７０に提案を提供するように構成される。これらの提案は、ユーザ７０がバックスプラッシュ２００ａと行った以前の対話又はユーザの好み（例えば、ユーザ７０によって設定されるか若しくはバックスプラッシュ２００ａによって学習される）に基づき得る。換言すれば、バックスプラッシュ２００ａは、キッチン１００のバックスプラッシュ２００ａのディスプレイ２３０内又は他の場所でアクションを実行すること及び／又は促すことができる（例えば、バックスプラッシュ２００ａとの対話のユーザ履歴に基づいて）。例えば、バックスプラッシュ２００ａは、挙動のパターンに基づいてユーザ７０に提案を行う。例示すると、ユーザ７０は、日常的な方法でバックスプラッシュ２００ａを使用できる場合が多い。例えば、ユーザ７０は、調理レシピを表示している際に調理法の映像を表示するために、バックスプラッシュ２００ａの操作に着手する場合が多い。従って、ここで、バックスプラッシュ２００ａは、ユーザ７０がレシピの表示を選んだ際にレシピに関係する調理法の映像を開始するようにユーザ７０に提案するか又は促す。加えて又は代わりに、バックスプラッシュ２００ａは、ユーザの好みを使用するか、又はユーザ７０のためのコンテンツを生成するためにバックスプラッシュ２００ａがユーザ７０の人口動態について学習した情報を使用する。例えば、バックスプラッシュ２００ａは、ユーザ７０の人口動態に基づいて特定の広告、メディアコンテンツ（例えば、音楽若しくは映像）又はレシピを生成する。ここで、バックスプラッシュ２００ａは、ユーザ７０に対するコンテンツ提案を生成するために、プールされた人口動態学的モデルを使用することができる。
【0088】
いくつかの実装形態では、バックスプラッシュ２００ａは、ユーザ７０がキッチン１００で異なるタスクを実行している際、ユーザ７０が特定のアプリケーションを楽しんでいることを学習する。換言すれば、バックスプラッシュ２００ａは、バックスプラッシュ２００ａへのユーザの入力と、ユーザ入力に応答したバックスプラッシュ２００ａによる出力（例えば、表示又はコンピューティング実行）との間の関連性をもたらす。ここで、ユーザ入力は、能動的な入力（すなわちユーザ７０がバックスプラッシュ２００ａと対話する意図的な入力）又は受動的な入力（すなわちバックスプラッシュ２００ａによって検知されたキッチン１００におけるユーザアクション）であり得る。いくつかの例では、バックスプラッシュ２００ａは、これらのタイプの関連性の少なくとも１つのデータログ又はデータセットを形成する（例えば、機械学習のために）。例えば、ユーザ７０がキッチン１００で調理している際、ユーザ７０は、一般に、例えば音楽を再生するメディアアプリケーションを通して音楽を聴いている。この例では、ユーザ７０が調理していることをバックスプラッシュ２００ａが認識すると、バックスプラッシュ２００ａは、ユーザ７０がメディアアプリケーションのサインイン／使用を望んでいるのではないかということを示唆するプロンプトを表示することができる。ここで、メディアアプリケーションは、バックスプラッシュ２００ａのコンピューティングデバイス２５０のアプリケーション又はバックスプラッシュ２００ａと通信する別のデバイスのメディアアプリケーションであり得る。いくつかの例では、バックスプラッシュ２００ａは、ユーザ７０のための特定のアプリケーションに自動的にサインインするための許可を有するように構成される。いくつかの構成では、バックスプラッシュ２００ａは、特定のアプリケーション内のアクションを提案することさえもできる。例えば、ユーザ７０が熱心なジャズリスナーであるか又はある時刻に特定のプログラムを聞く（例えば、午後６時にローカルニュースを聞く）場合、バックスプラッシュ２００ａは、その経験の提供が可能なアプリケーションにサインインするのみならず、アプリケーション内のその経験を開始することもできる。換言すれば、バックスプラッシュ２００ａは、ジャズ音楽の再生を始めるか又は午後６時のローカルニュースのフィードを立ち上げる。いくつかの例では、バックスプラッシュ２００ａは、ユーザ認識（例えば、ユーザ７０の顔認識）に基づいて様々なアプリケーションにサインインするように構成される。換言すれば、第１のユーザ７０は、あるアプリケーションにおいてあるマルチメディアプロフィールを有する。第２のユーザ７０は、同じアプリケーション（又は異なるアプリケーション）において異なるマルチメディアプロフィールを有し得る。ここで、バックスプラッシュ２００ａが第１のユーザ７０を認識すると、バックスプラッシュ２００ａは、第１のユーザ７０と関連付けられたアプリケーションプロフィールを立ち上げ、且つ／又はアプリケーションプロフィールにサインインするように構成することができる。
【0089】
いくつかの実装形態では、バックスプラッシュ２００ａは、捉えられたユーザ挙動に基づいて予測アクションを実行する。例えば、バックスプラッシュ２００ａは、クッキーシートで手が塞がっているユーザ７０がオーブンに近づいていることを認識する。バックスプラッシュ２００ａは、オーブンと通信してオーブンのドアを開ける。他の例では、バックスプラッシュ２００ａは、ユーザ７０の他のアクションに基づいて、ユーザ７０がバックスプラッシュ２００ａ上に表示することを希望するコンテンツを予測する。例えば、ユーザ７０がバックスプラッシュ２００ａ上にレシピを表示し、冷蔵庫に近づくと、バックスプラッシュ２００ａは、冷蔵庫内に見られ得るアイテムをバックスプラッシュ２００ａのディスプレイ２３０上又は冷蔵庫のディスプレイスクリーン上に表示することができる。
【0090】
いくつかの構成では、バックスプラッシュ２００ａは、ユーザ７０がバックスプラッシュ２００ａのセンサ範囲内にいる際、ユーザ７０の感情分析を実行する。ここで、感情分析は、ユーザ７０の気分を決定するためにセンサ２４０からのセンサデータ２４２を使用することを指す。いくつかの例では、バックスプラッシュ２００ａは、ユーザ７０の表情によって感情分析を実行するように構成される。例えば、顔認識の域を越えて、バックスプラッシュ２００ａは、表情を識別するためにユーザ７０の顔に対応するセンサデータ２４２を分析する。いくつかの例では、バックスプラッシュ２００ａは、様々な気分と関連付けられた顔マーカーのデータベースを有するように事前に構成される。他の例では、バックスプラッシュ２００ａは、ユーザ７０のアクションに基づいてユーザ７０の気分を推測するように構成される。例えば、ユーザ７０は、スローミュージック又は陰鬱なものとして知られている音楽を再生する。加えて又は代わりに、バックスプラッシュ２００ａは、センサデータ２４２を使用してユーザ７０の体位を分析する。換言すれば、体位は、人物の気分の別の兆候であり得る。例えば、ある人物が悲しい気分であるか又は気がめいっている際、その人物は、ユーザ７０が完全に直立した状態よりも低い位置でその背中が前方に丸まった前かがみの体位を有し得る。別の例は、ユーザ７０が楽しい気分であるか又は興奮している際、ユーザ７０が完全に直立した位置までその肩が持ち上げられ得るというものである（例えば、ユーザは、楽しい気分のときには自信にあふれており、完全に直立した姿勢に向かって自然とその胸を張るものである）。
【0091】
いくつかの実装形態では、バックスプラッシュ２００ａは、バックスプラッシュ２００ａがユーザ７０に提供するコンテンツに基づいて、ユーザ７０の気分を変更することを試みる。例えば、ユーザ７０が悲しい気分であるか又は気がめいっているように見える際、バックスプラッシュ２００ａは、面白いか又は気持ちが高まるコンテンツを表示することができる。例示すると、バックスプラッシュ２００ａは、ユーザ７０に聞こえるようにジョークを伝えるか、又はコメディ効果があるものとして知られている映像を再生することができる。いくつかの例では、バックスプラッシュ２００ａは、感情分析に基づいてディスプレイ２３０のバックグラウンドを変更する。例えば、ユーザ７０が悲しい気分であるように見える場合、バックスプラッシュ２００ａは、そのバックグラウンドをニュートラルな表示（例えば、単一の基本色）から夢想的なバックグラウンド（例えば、海辺のバックグラウンド又は美しい景色）に変更する。別の例では、バックスプラッシュ２００ａは、画像が、思い出に残る瞬間の静止フレームを描写する場合が多いため、ユーザが所有する（例えば、バックスプラッシュ２００ａがアクセス可能な格納空間に格納してある）画像（例えば、スライドショーのようなもの）を示す。
【0092】
図５は、バックスプラッシュ２００ａを動作させる方法５００の例である。動作５０２では、方法５００は、キッチン環境１００内のセンサ２４０からセンサデータ２４２を受信する。センサ２４０は、キッチン環境１００内の鉛直壁１０２に取り付けられたディスプレイ２３０と通信する。動作５０４では、方法５００は、センサデータ２４２がユーザ７０の存在を示すと決定する。動作５０６では、方法５００は、ユーザ７０の存在に基づいてキッチンＡＰＩ ２５８を起動する。ここで、キッチンＡＰＩ ２５８は、キッチン環境１００内の１つ又は複数の電化製品ＡＰＩ １１２と通信するように構成される。各電化製品ＡＰＩ １１２は、キッチン環境１００内の少なくとも１つの電化製品１１０を制御するように構成される。動作５０６では、方法５００は、キッチンＡＰＩ ２５８の対話型ウィンドウ２６０をディスプレイ２３０上に表示する。
【0093】
図６は、対話型ディスプレイ２００を設置するための動作の方法６００の例である。動作６０２では、方法６００は、横長のディスプレイエリアを画定するために壁１０２の表面に水平構成で横並びに複数のディスプレイデバイス２３２、２３０を配置する。動作６０４では、方法６００は、対話型ディスプレイエリアを提供するために、複数のディスプレイデバイス２３２、２３０の少なくとも２つの部分にタッチスクリーンパネル２３４をオーバーレイし、タッチスクリーンパネル２３４と横長のディスプレイエリアとがオーバーラップする。動作６０６では、方法６００は、対話型ディスプレイエリアのアクセス可能な部分の境界線を画定する対話型ディスプレイエリアの仮想境界を決定するために校正ルーチンを処理する。
【0094】
図７は、本明細書で説明されるシステム（例えば、対話型ディスプレイ２００）及び方法（例えば、方法５００、６００）を実装するために使用することができるコンピューティングデバイス７００の例の概略図である。コンピューティングデバイス７００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム及び他の適切なコンピュータなど、デジタルコンピュータの様々な形態を表すことが意図される。ここで示されるコンポーネント、それらの接続及び関係並びにそれらの機能は、単なる例示であることを目的とし、本明細書で説明される及び／又は特許請求される本発明の実装形態を限定することを目的としない。
【0095】
コンピューティングデバイス７００は、プロセッサ７１０（例えば、データ処理ハードウェア）と、メモリ７２０（例えば、メモリハードウェア）と、記憶装置７３０と、メモリ７２０及び高速拡張ポート７５０に接続された高速インタフェース／コントローラ７４０と、低速バス７７０及び記憶装置７３０に接続された低速インタフェース／コントローラ７６０とを含む。コンポーネント７１０、７２０、７３０、７４０、７５０及び７６０の各々は、様々なバスを使用して相互接続され、共通のマザーボード上に取り付けるか又は他の適切な方法で取り付けることができる。プロセッサ７１０は、コンピューティングデバイス７００内で実行するための命令を処理することができ、高速インタフェース７４０に結合されたディスプレイ７８０など、外部の入力／出力デバイス上のグラフィカルユーザインタフェース（ＧＵＩ）に対するグラフィカル情報を表示するために、メモリ７２０に又は記憶装置７３０上に格納された命令が含まれる。他の実装形態では、複数のメモリ及び複数のタイプのメモリと共に、複数のプロセッサ及び／又は複数のバスを適切に使用することができる。複数のコンピューティングデバイス７００を接続することもできる。各デバイスは、必要な動作の一部分を提供する（例えば、サーババンク、ブレードサーバのグループ又はマルチプロセッサシステムとして）。
【0096】
メモリ７２０は、コンピューティングデバイス７００内に情報を非一時的に格納する。メモリ７２０は、コンピュータ可読媒体、揮発性メモリユニット又は不揮発性メモリユニットであり得る。非一時的なメモリ７２０は、コンピューティングデバイス７００による使用のために一時的又は永久的にプログラム（例えば、命令のシーケンス）又はデータ（例えば、プログラム状態情報）を格納するために使用される物理的なデバイスであり得る。不揮発性メモリの例は、これらに限定されないが、フラッシュメモリ及び読み取り専用メモリ（ＲＯＭ）／プログラム可能読み取り専用メモリ（ＰＲＯＭ）／消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）／電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）（例えば、典型的にはブートプログラムなどのファームウェアに対して使用される）を含む。揮発性メモリの例は、これらに限定されないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）及びディスク又はテープを含む。
【0097】
記憶装置７３０は、コンピューティングデバイス７００のための大容量記憶装置を提供することが可能である。いくつかの実装形態では、記憶装置７３０は、コンピュータ可読媒体である。様々な異なる実装形態では、記憶装置７３０は、フロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス又はテープデバイス、フラッシュメモリ若しくは他の同様のソリッドステートメモリデバイス又はそれらのデバイスのアレイであり得、ストレージエリアネットワーク又は他の構成のデバイスを含む。追加の実装形態では、コンピュータプログラム製品は、情報キャリアにおいて有形に具体化される。コンピュータプログラム製品は、命令を内包する。命令は、実行されると、上記で説明されるものなどの１つ又は複数の方法を実行する。情報キャリアは、メモリ７２０、記憶装置７３０又はプロセッサ７１０上のメモリなど、コンピュータ又は機械可読媒体である。
【0098】
高速コントローラ７４０は、コンピューティングデバイス７００に対する帯域幅集約型動作を管理する。低速コントローラ７６０は、より低い帯域幅集約型動作を管理する。そのような義務の割り当ては、単なる例示である。いくつかの実装形態では、高速コントローラ７４０は、メモリ７２０と、ディスプレイ７８０（例えば、グラフィックプロセッサ又はアクセラレータを通して）と、様々な拡張カード（図示せず）を受けることができる高速拡張ポート７５０とに結合される。いくつかの実装形態では、低速コントローラ７６０は、記憶装置７３０と、低速拡張ポート７９０とに結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポート７９０は、キーボード、ポインティングデバイス、スキャナ又はスイッチ若しくはルータなどのネットワーク接続デバイスなど、例えばネットワークアダプタを通して１つ又は複数の入力／出力デバイスに結合することができる。
【0099】
コンピューティングデバイス７００は、図に示されるような多くの異なる形態で実装することができる。例えば、コンピューティングデバイス７００は、標準のサーバ７００ａとして実装するか若しくはそのようなサーバ７００ａのグループで複数回実装すること、ラップトップコンピュータ７００ｂとして実装すること又はラックサーバシステム７００ｃの一部として実装することができる。
【0100】
本明細書で説明されるシステム及び技法の様々な実装形態は、デジタル電子及び／若しくは光学回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア並びに／又はそれらの組合せにおいて実現することができる。これらの様々な実装形態は、プログラマブルシステム上で実行可能及び／又は解釈可能な１つ又は複数のコンピュータプログラムにおける実装形態を含み得る。プログラマブルシステムは、専用又は汎用のものであり得る少なくとも１つのプログラマブルプロセッサを含み、記憶システム、少なくとも１つの入力デバイス及び少なくとも１つの出力デバイスからデータ及び命令を受信し、且つ記憶システム、少なくとも１つの入力デバイス及び少なくとも１つの出力デバイスにデータ及び命令を送信するために結合される。
【0101】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られている）は、プログラマブルプロセッサのための機械命令を含み、高水準手続き型及び／若しくはオブジェクト指向型プログラミング言語並びに／又はアセンブリ／機械語で実施することができる。本明細書で使用される場合、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用されるいかなるコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置及び／又はデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））も指し、機械可読信号として機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用されるいかなる信号も指す。
【0102】
本明細書で説明されるプロセス及び論理のフローは、１つ又は複数のプログラマブルプロセッサによって実行することができる。１つ又は複数のプログラマブルプロセッサは、入力データに基づいて動作して出力を生成することによって機能を実行するために、１つ又は複数のコンピュータプログラムを実行する。プロセス及び論理のフローは、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）など、専用論理回路によって実行することもできる。コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサとの両方及び任意の種類のデジタルコンピュータの１つ又は複数のプロセッサを含む。一般に、プロセッサは、読み取り専用メモリ若しくはランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納するための１つ又は複数のメモリデバイスとである。一般に、コンピュータは、データを受信するか若しくはデータを伝達するか又はその両方を行うために、データを格納するための１つ又は複数の大容量記憶装置、例えば磁気、光磁気ディスク若しくは光学ディスクも含むか、又は大容量記憶装置に動作可能に結合される。しかし、コンピュータは、そのようなデバイスを有さなくてもよい。コンピュータプログラム命令及びデータの格納に適したコンピュータ可読媒体は、不揮発性メモリ、媒体及びメモリデバイスのすべての形態を含み、例として半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスク又はリムーバブルディスク、光磁気ディスク並びにＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサ及びメモリは、専用論理回路によって補充するか又は専用論理回路に組み込むことができる。
【0103】
ユーザとの対話を提供するため、本開示の１つ又は複数の態様（例えば、バックスプラッシュ２００ａ）は、コンピュータ（例えば、コンピューティングデバイス２５０）上で実装することができる。コンピュータは、ユーザに情報を表示するためのディスプレイデバイス（例えば、ディスプレイ２３０）並びに任意選択的にユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス、例えばマウス又はトラックボールを有する。ユーザとの対話を提供するために、他の種類のデバイスを使用することもできる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック又は触覚フィードバックなど、感覚フィードバックのいかなる形態でもあり得る。また、ユーザからの入力は、音響、スピーチ又は触覚入力を含むいかなる形態でも受信することができる。加えて、コンピュータは、ユーザによって使用されるデバイス（例えば、デバイス３０、４０、５０）に文書を送信すること及びデバイスから文書を受信することにより、例えばウェブブラウザから受信された要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することにより、ユーザと対話することができる。
【0104】
多くの実装形態について説明してきた。それにもかかわらず、本開示の趣旨及び範囲から逸脱することなく、様々な修正形態がなされ得ることが理解されるであろう。従って、他の実装形態は、以下の特許請求の範囲内にある。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図2H】
【図2I】
【図2J】
【図2K】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5】
【図6】
【図7】
【国際調査報告】