(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】スマートミラーシステムおよびその使用の方法
(51)【国際特許分類】
A45D 44/00 20060101AFI20240814BHJP
A47G 1/00 20060101ALI20240814BHJP
A47G 1/02 20060101ALI20240814BHJP
【FI】
A45D44/00 A
A47G1/00 D
A47G1/00 F
A47G1/02 Z
(21)【出願番号】P 2021566021
(86)(22)【出願日】2020-05-06
(86)【国際出願番号】 IB2020054302
(87)【国際公開番号】W WO2020225756
(87)【国際公開日】2020-11-12
【審査請求日】2023-04-13
(32)【優先日】2019-05-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521483216
【氏名又は名称】カレオス
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】モウイジナ アリ
(72)【発明者】
【氏名】セルヴァル トマ
【審査官】宮部 愛子
(56)【参考文献】
【文献】特開2016-139382(JP,A)
【文献】特開2012-078469(JP,A)
【文献】米国特許出願公開第2018/0032227(US,A1)
【文献】米国特許第10043317(US,B2)
【文献】国際公開第2017/108703(WO,A1)
【文献】米国特許出願公開第2018/0348861(US,A1)
【文献】米国特許出願公開第2016/0128450(US,A1)
【文献】米国特許出願公開第2019/0035163(US,A1)
【文献】米国特許出願公開第2018/0005448(US,A1)
【文献】米国特許出願公開第2019/0026013(US,A1)
【文献】米国特許出願公開第2007/0040033(US,A1)
【文献】特開2018-197628(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A45D 44/00
A47G 1/00
A47G 1/02
G06F 3/01
G06F 3/048
(57)【特許請求の範囲】
【請求項1】
システムであって、
フレームと
前記フレームに結合されたミラー
であって、ユーザ側から入射する光を部分的に反射し、部分的に透過するミラーと、
前記フレームに結合された電子ディスプレイデバイスであって、
前記電子ディスプレイデバイスによって生成された光の一部分が、前記ミラーを通って前記ユーザ側に透過されるように、前記ミラーの少なくとも一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、
前記システムの閾値距離内にあるユーザの部分を検出するように構成された1つ以上のセンサと、
前記フレームに結合されたカメラであって、視野を有するカメラと、
1つ以上のプロセッサであって、前記システ
ムに、
前記電子ディスプレイデバイス上に、前記カメラの前記視野内に位置付けられた前記ユーザの少なくとも一部分のリアルタイムビデオフィードを連続的に表示することと、
前記1つ以上のセンサから出力されたデータを使用した前記検出に基づいて、前記ユーザの顔が前記システムの前記閾値距離内にあることを検出することと、
前記1つ以上のセンサによって前記閾値距離内にあることが検出された前記ユーザの顔の前記データにもとづき、前記ユーザの顔の輪郭を決定することと、
前記ユーザの顔の前記輪郭にもとづき、前記電子ディスプレイデバイス上に、前記ユーザの顔の外周に位置合わせされた、光のリングを表示することと、
前記システムに対する前記ユーザの顔の動きにもとづき前記光のリングの前記表示を更新し、前記ユーザの顔が前記システムに対して動く際に、前記光のリングがユーザの顔の外周に位置合わせされ続けるようにすることと、
前記カメラの前記視野内のオブジェクトを識別する
ことであって、前記オブジェクトは、前記ユーザが使用することができる製品であることと、
前記識別に続いて、少なくとも前記識別されたオブジェクトに基づいて、前記連続的に表示されるリアルタイムビデオフィードを変更することと、を行
わせるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【請求項2】
前記ユーザの前記少なくとも一部分が、前記ユーザの顔、前記ユーザの髪、前記ユーザの胴体、前記ユーザの腕、前記ユーザの脚、前記ユーザの頭、またはこれらの任意の組み合わせを含む、請求項1に記載のシステム。
【請求項3】
前記識別されたオブジェクトが、前記ユーザに適用することができる美容製品であり、前記変更された連続的に表示されるリアルタイムビデオフィードは、前記美容製品が前記ユーザに適用された結果を示す、請求項1に記載のシステム。
【請求項4】
前記識別されたオブジェクトが、染毛剤を含み、前記変更された連続的に表示されるリアルタイムビデオフィードが、前記染毛剤に関連付けられている髪の色を有する前記ユーザを示す、請求項3に記載のシステム。
【請求項5】
前記識別されたオブジェクトが、口紅を含み、前記変更された連続的に表示されるリアルタイムビデオフィードが、前記口紅に関連付けられている唇の色を有する前記ユーザを示す、請求項3に記載のシステム。
【請求項6】
前記識別されたオブジェクトが、化粧を含み、変更された連続的に表示されるリアルタイムビデオフィードは、前記化粧が前記ユーザに適用されている前記ユーザを示す、請求項3に記載のシステム。
【請求項7】
前記識別されたオブジェクトが、眼鏡であり、前記変更された連続的に表示されるリアルタイムビデオフィードが、前記眼鏡を着用している前記ユーザを示す、請求項3に記載のシステム。
【請求項8】
前記連続的に表示されるリアルタイムビデオフィードが、前記システムが前記ユーザからのプロンプトを受信することに応答して変更される、請求項1に記載のシステム。
【請求項9】
前記ユーザからの前記プロンプトが、前記カメラの前記視野内の前記オブジェクトの前記識別、前記ディスプレイ上に表示されるユーザ選択可能アイコンのユーザ選択、音声コマンド、またはユーザジェスチャである、請求項8に記載のシステム。
【請求項10】
前記ユーザの前記少なくとも一部分の前記変更された連続的に表示されるリアルタイムビデオフィードは、前記ユーザの変更された一部分のみを示し、(i)前記ユーザの前記変更された部分が前記ユーザに前記ディスプレイ内で前記ミラーを通じて視認可能であり、かつ(ii)前記ユーザの変更されていない一部分が前記ユーザに前記ミラー内で視認可能であるようになっている、請求項1に記載のシステム。
【請求項11】
前記ユーザの前記少なくとも一部分の前記変更された連続的に表示されるリアルタイムビデオフィードが、前記ユーザの変更された一部分および前記ユーザの変更されていない一部分を示し、前記ユーザの前記変更された部
分と前記ユーザの前記変更されていない部
分のいずれも、前記ディスプレイ内で視認可能
になっている、請求項1に記載のシステム。
【請求項12】
前記連続的に表示されるリアルタイムビデオが、前記オブジェクトの前記識別から約20ミリ秒以内、または、前記オブジェクトの前記識別から約20マイクロ秒以内に変更される、請求項1に記載のシステム。
【請求項13】
前記変更が、さらに、前記ディスプレイ上に表示されるユーザ選択可能アイコンのユーザ選択、音声コマンド、ユーザジェスチャ、周囲状況、または地域の気象状況に基づいている、請求項1に記載のシステム。
【請求項14】
前記1つ以上のプロセッサが、さらに、
前記システムに、
前記ユーザの気分を決定することと、
前記ユーザの前記気分を決定することに続いて、少なくとも前記ユーザの前記決定された気分に基づいて、前記連続的に表示されるリアルタイムビデオフィードを変更することと
、
を行わせるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、請求項1に記載のシステム。
【請求項15】
前記ユーザの前記少なくとも一部分の前記変更された連続的に表示されるリアルタイムビデオフィードが、前記ユーザの前記決定された気分に基づいて前記ユーザの変更されたバージョンを示す、請求項14に記載のシステム。
【請求項16】
前記ミラーが、前記電子ディスプレイデバイスのサイズおよび形状に概ね一致するサイズおよび形状を有する、請求項1に記載のシステム。
【請求項17】
前記1つ以上のプロセッサが、1つ以上の外部デバイスと接続するように構成されており、前記1つ以上のメモリデバイスが、前記1つ以上の外部デバイスの各々からのデータを受信するように構成されている、請求項1に記載のシステム。
【請求項18】
前記1つ以上の外部デバイスが、携帯電話、ラップトップコンピュータ、デスクトップコンピュータ、オンラインサーバ、フィットネストラッカー、体重計、クラウドサービス、インターネット接続された水筒、インターネット接続されたサーモスタット、スマートウォッチ、スマートスピーカー、またはこれらの任意の組み合わせのうちの少なくとも1つを含む、請求項17に記載のシステム。
【請求項19】
前記1つ以上のプロセッサが、(i)前記1つ以上の外部デバイスのうちの第1のデバイスから受信した第1のデータ、および前記1つ以上の外部デバイスのうちの第2のデバイスから受信した第2のデータを分析し、かつ(ii)前記第1のデータの一部分を前記第2のデータの一部分と相関させるように構成されている、請求項17に記載のシステム。
【請求項20】
前記1つ以上のプロセッサは、推奨が前記ユーザに伝達されるように構成されており、前記推奨が、前記第1のデータ
の第1の部分および前記第2のデータ
の第2の部分に少なくとも部分的に基づく、請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年5月6日に出願された「SMART MIRROR AND METHODS OF USE THEREOF」と題された米国仮特許出願第62/843,980号の利点および優先権を主張し、この出願は参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、対話型ミラーデバイスに関し、より具体的には、本開示は、顔およびオブジェクトを認識する能力を備えた対話型ミラーに関する。
【背景技術】
【0003】
日常生活において、人々はミラーの前で、自分の歯を磨く、シェービングする、化粧を適用する、および一般に1日の準備をするなど、多くの作業を行う。これらのアクティビティは、しばしば十分でない照明条件で行われ、人々がその日の準備を十分に行えないという問題を引き起こす可能性がある。例えば、人々のミラーが配置されている洗面所または寝室の照明が不十分なために、化粧を誤って適用する場合がある。別の例では、人はシェービングするときに自分の顔を正しく見ることができず、剃り残しがある可能性がある。追加の例では、周囲照明条件は、人が1日を通して経験する実際の照明条件の現実的な推定ではない可能性があり、したがって、適切な照明でしか自分自身を見ることができない場合、自分自身が十分に準備ができていることを確認できない。本開示は、これらの問題を解決し、かつ他の必要性に対処することを目的とする。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の実装形態によれば、システムは、フレームと、ミラーと、電子ディスプレイデバイスと、カメラと、1つ以上のプロセッサと、1つ以上のメモリデバイスと、を備える。ミラーはフレームに結合されている。電子ディスプレイデバイスは、電子ディスプレイデバイスがミラーの少なくとも一部分に隣接して位置付けられるようにフレームに結合されている。カメラはフレームに結合されている。1つ以上のプロセッサは、システムが、電子ディスプレイデバイス上に、カメラの視野内に位置付けられたユーザの少なくとも一部分のリアルタイムビデオフィードを連続的に表示することと、カメラの視野内のオブジェクトを識別することと、識別に続いて、少なくとも識別されたオブジェクトに基づいて、連続的に表示されるリアルタイムビデオフィードを変更することと、を行うことをさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている。
【0005】
本開示の実装形態によれば、システムは、フレームと、ミラーと、電子ディスプレイデバイスと、カメラと、1つ以上のプロセッサと、1つ以上のメモリデバイスと、を備える。ミラーはフレームに結合されている。電子ディスプレイデバイスは、電子ディスプレイデバイスがミラーの少なくとも一部分に隣接して位置付けられるようにフレームに結合されている。カメラはフレームに結合されている。1つ以上のプロセッサは、システムが、電子ディスプレイデバイス上に、カメラの視野内に位置付けられたユーザの少なくとも一部分のリアルタイムビデオフィードを連続的に表示することと、プロンプトを受信することに続いて、少なくともプロンプトに基づいて、連続的に表示されるリアルタイムビデオフィードを変更することと、を行うようことをさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている。
【0006】
本開示の実装形態によれば、システムは、フレームと、ミラーと、電子ディスプレイデバイスと、カメラと、1つ以上のプロセッサと、1つ以上のメモリデバイスと、を備える。ミラーはフレームに結合されている。電子ディスプレイデバイスは、電子ディスプレイデバイスがミラーの少なくとも一部分に隣接して位置付けられるようにフレームに結合されている。カメラはフレームに結合されている。1つ以上のプロセッサは、システムが、カメラを使用して、カメラの視野内に位置付けられたユーザを監視することと、電子ディスプレイデバイス上に、ユーザの第1の部分のリアルタイムビデオフィードを連続的に表示し、ユーザの第2の部分がユーザにミラー内で視認可能であるようになっていることと、プロンプトを受信することと、プロンプトを受信することに続いて、連続的に表示されるリアルタイムビデオフィード内のユーザの表示された第1の部分を変更することと、を行うようことをさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている。
【0007】
本開示の実装形態によれば、システムは、フレームと、ミラーと、電子ディスプレイデバイスと、カメラと、1つ以上のプロセッサと、1つ以上のメモリデバイスと、を備える。ミラーはフレームに結合されている。電子ディスプレイデバイスは、電子ディスプレイデバイスがミラーの少なくとも一部分に隣接して位置付けられるようにフレームに結合されている。カメラはフレームに結合されている。1つ以上のプロセッサは、システムが、カメラを使用して、カメラの視野内に位置付けられたユーザを監視することと、電子ディスプレイデバイス上に、ユーザの少なくとも一部分のリアルタイムビデオフィードを連続的に表示することと、ユーザの気分を決定することと、ユーザの気分を決定することに続いて、少なくともユーザの決定された気分に基づいて、連続的に表示されるリアルタイムビデオフィードを変更することと、を行うようことをさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている。
【0008】
本開示の上述のおよび追加的な態様および実装形態は、図面を参照して、次にその概要が提供される、様々な実施形態および/または実装形態の詳細な説明を考慮すれば、当業者に明らかになるであろう。
【図面の簡単な説明】
【0009】
本開示の上述のおよび他の利点は、以下の詳細な説明を読み、図面を参照することで明らかになるであろう。
【0010】
【
図1】本開示のいくつかの実装形態による、スマートミラーシステムのブロック図である。
【
図2】本開示のいくつかの実装形態による、
図1のスマートミラーシステムの斜視図である。
【
図3A】本開示のいくつかの実装形態による、
図1のスマートミラーシステムの正面立面図である。
【
図3B】は、本開示のいくつかの実装形態による、
図1のスマートミラーシステムの側面立面図である。
【
図4A】本開示のいくつかの実装形態による、ユーザの映像を示す
図1のスマートミラーシステムの斜視図である。
【
図4B】本開示のいくつかの実装形態による、ミラーの後ろに取り付けられたディスプレイを使用してユーザを照射する
図1のスマートミラーシステムの斜視図である。
【
図5】本開示のいくつかの実装形態による、
図1のスマートミラーシステムを使用してユーザの顔を照射する方法を示すフローチャートである。
【
図6A】本開示のいくつかの実装形態による、ユーザの顔を照射していないときの
図1のスマートミラーシステムの電子ディスプレイの実装形態である。
【
図6B】本開示のいくつかの実装形態による、ユーザの顔を照射している間の
図1のスマートミラーシステムの電子ディスプレイの実装形態である。
【
図7】本開示のいくつかの実装形態による、識別されたオブジェクトに基づいて、
図1のスマートミラーシステムによって実行されているアプリケーションを変更する方法を示すフローチャートである。
【
図8】本開示のいくつかの実装形態による、
図1のスマートミラーシステムを使用して、ユーザを照明し、周囲照明条件を補償する方法を示すフローチャートである。
【
図9】本開示のいくつかの実装形態による、
図1のスマートミラーシステムを使用してユーザの画像を捕捉する方法を示すフローチャートである。
【
図10】本開示のいくつかの実装形態による、ユーザの画像を捕捉する方法の間の
図1のスマートミラーシステムの電子ディスプレイの実装形態である。
【
図11A】本開示のいくつかの実装形態による、第1の電子ディスプレイと、第2の電子ディスプレイと、それらの間に配置されたカメラと、を含むスマートミラーシステムの実装形態である。
【
図11B】本開示のいくつかの実装形態による、第1の電子ディスプレイと、第2の電子ディスプレイと、それらの間に配置された2つのカメラと、を含むスマートミラーシステムの実装形態である。
【
図12】本開示のいくつかの実装形態による、楕円形形状のミラーと、長方形形状のセンサフレームと、を備えたスマートミラーシステムの実装形態である。
【
図13】本開示のいくつかの実装形態による、長方形形状のミラーおよびより小さな長方形形状のセンサフレームを備えたスマートミラーシステムの実装形態である。
【
図14】本開示のいくつかの実装形態による、ミラーが内側ゾーンと2つの外側ゾーンとに分割されたスマートミラーシステムの実装形態である。
【
図15】本開示のいくつかの実装形態による、障害物がカメラの視野を少なくとも部分的に遮断している状態のスマートミラーシステムの実装形態である。
【
図16A】本開示のいくつかの実装形態による、
図15の障害物の上面斜視図である。
【
図16B】本開示のいくつかの実施形態による、
図15の障害物の底面斜視図である。
【
図17A】本開示のいくつかの実装形態による、ユーザおよびユーザが保持しているオブジェクトを表示するスマートミラーシステムの図である。
【
図17B】本開示のいくつかの実装形態による、スマートミラーシステムがユーザが保持しているオブジェクトを識別した後のスマートミラーシステムの図である。
【
図18A】本開示のいくつかの実装形態による、アイライナーを適用するためのチュートリアルの第1のステップの図である。
【
図18B】本開示のいくつかの実装形態による、アイライナーを適用するためのチュートリアルの第2のステップの図である。
【
図18C】本開示のいくつかの実装形態による、アイライナーを適用するためのチュートリアルの第3のステップの図である。
【
図19A】本開示のいくつかの実装形態による、拡大機能の第1の段階の図である。
【
図19B】本開示のいくつかの実装形態による、拡大機能の第2の段階の図である。
【
図20A】本開示のいくつかの実装形態による、染毛チュートリアルの第1のステップの図である。
【
図20B】本開示のいくつかの実装形態による、染毛チュートリアルの第2のステップの図である。
【
図20C】本開示のいくつかの実装形態による、染毛チュートリアルの第3のステップの図である。
【
図20D】本開示のいくつかの実装形態による、染毛チュートリアルの第4のステップの図である。
【
図20E】本開示のいくつかの実装形態による、染毛チュートリアルの第5のステップの図である。
【
図20F】本開示のいくつかの実装形態による、タイマーを含む染毛チュートリアルの第6のステップの図である。
【
図21A】本開示のいくつかの実装形態による、ユーザの360°ビデオを記録するスマートミラーシステムの図である。
【
図21B】本開示のいくつかの実装形態による、ユーザの3Dモデルを表示するスマートミラーシステムの図である。
【
図22A】本開示のいくつかの実装形態による、ユーザの前の画像を捕捉するスマートミラーシステムの図である。
【
図22B】本開示のいくつかの実装形態による、前の画像をユーザに表示するスマートミラーシステムの図である。
【
図22C】本開示のいくつかの実装形態による、ユーザの第1の特徴に関連付けられている第1の複数のユーザ選択可能オプションを表示するスマートミラーシステムの図であり、各ユーザ選択可能オプションが、第1の特徴に対する固有の提案された変更を表している。
【
図22D】本開示のいくつかの実装形態による、ユーザの第2の特徴に関連付けられている第2の複数のユーザ選択可能オプションを表示するスマートミラーシステムの図であり、各ユーザ選択可能オプションが、第2の特徴に対する固有の提案された変更を表している。
【
図22E】本開示のいくつかの実施形態による、第1の特徴に対する複数の潜在的な変更、第2の特徴に対する複数の潜在的な変更、および前の画像を表示するスマートミラーシステムの図である。
【
図22F】本開示のいくつかの実装形態による、第1の特徴に対する選択された変更および第2の特徴に対する選択された変更を表示するスマートミラーシステムの図である。
【
図22G】本開示のいくつかの実装形態による、ユーザの後の画像を捕捉するスマートミラーシステムの図である。
【
図22H】本開示のいくつかの実装形態による、ユーザの前の画像と後の画像との両方を表示するスマートミラーシステムの図である。
【
図23】本開示のいくつかの実装形態による、スマートミラーシステムによって放出される光の特徴を調整するためのユーザオプションを提示するスマートミラーシステムの図である。
【
図24A】待機モードのスマートミラーシステムの図である。
【
図24B】ユーザのリアルタイムビデオフィードを示すスマートミラーシステムの図である。
【
図24C】オブジェクトを保持しているユーザのリアルタイムビデオフィードを示すスマートミラーシステムの図である。
【
図24D】識別されたオブジェクトに基づいて、ユーザの変更されたリアルタイムビデオフィードを示すスマートミラーシステムの図である。
【0011】
本開示は、様々な修正例および代替的な形態が可能であるが、特定の実装形態および実施形態を例示として図面に示し、本明細書で詳細に説明する。しかしながら、本開示は、開示する特定の形態に限定することを意図するものではないことを理解するべきである。むしろ、本開示は、添付の特許請求の範囲によって定義される本開示の趣旨および範囲内に入るすべての修正物、等価物、および代替物を包含するものである。
【発明を実施するための形態】
【0012】
図1を参照すると、本開示によるスマートミラーシステム10は、ミラー12と、1つ以上の電子ディスプレイ14と、1つ以上のセンサ16と、1つ以上の光源18と、1つ以上のカメラ20と、を含む。システム10はまた、一般に、メモリ24を備えた少なくとも1つのプロセッサ22も含む。メモリ24は、一般に、プロセッサ22によって実行されると、ディスプレイ14上でオペレーティングシステムおよび/またはアプリケーションを実行するプロセッサ実行可能命令を含む。ミラー12は、一般に、片面ミラーと呼ばれるタイプであるが、両面ミラーと呼ばれることもある。ミラー12は、その表面に入射する光の第1の部分をミラー12の反対側に透過し、その表面に入射する光の第2の部分を反射するように構成されている。これは、部分反射コーティングの薄層を一般に透明な基板材料に適用して、入射光のすべてよりも少ないものが部分反射コーティングによって反射されるようにすることによって達成することができる。残りの光は、ミラー12を通って反対側に透過される。同様に、ユーザが立っている側の反対側でミラー12に当たる光の一部は、ミラー12を透過し、ユーザはその透過光を見ることができる。この部分反射コーティングは、一般に、基板材料のディスプレイ側、基板材料のユーザ側、またはその両方の基板材料の表面に適用することができる。したがって、部分反射コーティングは、ミラー12のディスプレイ側およびユーザ側の一方または両方の表面に存在することができる。いくつかの実装形態では、部分反射コーティングは銀で作られている。一般に透明な材料は、ガラス、アクリル、または任意の他の好適な材料であり得る。ミラー12は、長方形形状、楕円形形状、円形形状、正方形形状、三角形形状、または任意の他の好適な形状を有することができる。プロセッサ22は、電子ディスプレイ14、1つ以上のセンサ16、1つ以上の光源18、および1つ以上のカメラ20と通信可能に結合されている。
【0013】
ここで
図2を参照すると、ミラー12は、ベース26に取り付けることができる。ミラー12はまた、カウンター、壁、または任意の他の構造物に直接取り付けることができる。電子ディスプレイ14は、ミラー12の第1の側に取り付けられるか、結合されるか、または他の方法で配設され、一方、1つ以上のセンサ16を含むセンサフレーム28は、ミラー12の反対側の第2の側に配設される。ディスプレイ14が配置されているミラー12の側は、一般に、ミラー12のディスプレイ側と呼ばれる。センサフレーム28が配置されているミラー12の側は、一般に、ミラー12のユーザ側と呼ばれ、これは、操作中にユーザが配置されているミラー12の側である。
【0014】
電子ディスプレイ14は、一般に、ミラー12のディスプレイ側の表面のすぐ近傍に取り付けられる。電子ディスプレイ14は、LCDスクリーン、LEDスクリーン、プラズマディスプレイ、OLEDディスプレイ、CRTディスプレイ、LEDドットマトリックスディスプレイなどの任意の好適なデバイスであり得る。いくつかの実装形態では、LEDドットマトリックスディスプレイは、比較的低解像度のLEDディスプレイである。例えば、比較的低解像度のLEDディスプレイは、1平方インチ当たり約1~約5個のLED、1平方インチ当たり約1~約10個のLED、1平方インチ当たり約1~約25個のLED、または1平方インチ当たり約1~約50個のLEDを含むことができる。ミラー12の部分反射性により、ディスプレイ14が作動されると(例えば、オンにされ、画像を表示するために光を放出する)、ミラー12のユーザ側に立っているユーザは、ミラー12を通して光を放出しているディスプレイ14の任意の部分を見ることができる。ディスプレイ14がオフにされると、ミラー12のユーザ側に周囲から入射する光は、部分的に反射され、部分的に透過される。ディスプレイ14がオフであるため、ミラー12を通してディスプレイ側からミラー12のユーザ側に光が透過することはない。したがって、ミラー12の前に立っているユーザは、ミラー12のユーザ側に入射し、ミラー12で反射されてユーザに戻る光による自分の映像を見ることができる。ディスプレイ14が作動すると、ディスプレイ側からミラー12に入射する、ディスプレイ14によって生成された光の一部分が、ミラー12を通ってユーザ側に透過される。ミラー12およびディスプレイ14は、一般に、任意の所与の点でディスプレイ14からミラー12を透過する光の強度が、ユーザ側からミラー12のその点で反射される任意の光の強度よりも大きくなるように構成されている。したがって、ミラー12を見るユーザは、光を放出しているディスプレイ14の部分を見ることができるが、ディスプレイ光が透過されているそれらのミラー12の部分内の自分の映像を見ることができない。
【0015】
電子ディスプレイ14はまた、ミラー12のユーザ側に配置されているユーザまたは他のオブジェクトを照射するために使用することもできる。プロセッサ22は、ミラー12に対するオブジェクトの場所に概ね位置合わせするディスプレイ14のセグメントを作動させることができる。一実装形態では、ディスプレイ14のこのセグメントは、1つ以上のセンサ16のうちの1つがミラー12のユーザ側上のオブジェクトおよびその場所を検出することに応答して作動される。ディスプレイ14のセグメントは、ディスプレイ14の作動されていないセグメントを取り囲むディスプレイ14の作動されたセグメントを含むリング形状の構成を有することができる。ディスプレイ14の作動されていないセグメントは、光が放出されないように構成することができ、または作動されていないセグメントのディスプレイ14によっていくらかの光が放出されるが、それはミラー12を通してユーザに見られるには弱すぎるか、または強度が低すぎるように構成することができる。一実装形態では、ディスプレイ14の作動されたセグメントは、一般に、オブジェクトの外側外周と位置合わせし、一方、ディスプレイ14の作動されていないセグメントは、一般に、オブジェクト自体と位置合わせする。したがって、オブジェクトがユーザの顔である場合、ユーザは、ディスプレイ14の作動されたセグメントを、自分の顔を取り囲む光のリングとして見ることができる。ディスプレイ14の作動されていないセグメントは、ユーザの顔と位置合わせし、その結果、ユーザは、ミラー12を透過した光のリング内での自分の顔の映像を見ることができる。別の実装形態では、ディスプレイ14の作動されていないセグメントは、オブジェクトと位置合わせし、ディスプレイ14の残り全体が作動されたセグメントとなる。この実装形態では、オブジェクトと位置合わせするディスプレイ14のセグメントを除いて、ディスプレイ14全体が作動される。
【0016】
一般に、システム10は、センサフレーム28内に配設された1つ以上のセンサ16を含む。センサフレーム28は、ミラー12の第2の側(ユーザ側)に取り付けられるか、結合されるか、または他の方法で配設される。センサ16は、一般に、ミラー12のユーザ側表面から約5インチ未満の範囲内に配置されている。他の実装形態では、センサ16は、ミラー12の表面からさらに離れた間、例えば、約5インチ~約10インチに配設することができる。センサ16は、ユーザがミラー12から閾値距離内にあるときに、ユーザの手、指、顔、または他の身体部分の存在を検出するように構成されている。この閾値距離は、センサ16がミラー12のユーザ側表面から離れて配置されている距離である。センサ16は、プロセッサ22および/またはメモリ24に通信可能に結合されている。センサ16がミラー12(したがってディスプレイ14)の特定の点に位置合わせされたユーザの存在を検出すると、プロセッサ22は、ミラー12の点に対応するディスプレイ14上の場所において、ユーザがディスプレイ14にタッチしたかまたはクリックしたかのようにディスプレイ14を反応させるように構成されている。したがって、センサ16は、ミラー12/ディスプレイ14の組み合わせをタッチセンシティブディスプレイに変換することができ、ユーザは、ミラー12に触れるか、または指、手、顔、もしくは他の身体部分をミラー12のユーザ側の表面のすぐ近傍に近づけることによって、ディスプレイ14上で実行されるアプリケーションと対話し、これを操作することができる。いくつかの実装形態では、センサ16は、ユーザの声を記録するマイクロフォンを含むことができる。マイクロフォンからのデータをプロセッサ22に送信して、ユーザが自分の声を使用してシステム10と対話することを可能にすることができる。
【0017】
1つ以上のセンサ16は、一般に赤外線センサであるが、電磁スペクトルの他の部分で電磁放射を利用するセンサも利用することができる。センサフレーム28は、長方形の形状、楕円形の形状、円形の形状、正方形の形状、三角形の形状、または任意の他の好適な形状を有することができる。一実装形態では、センサフレーム28の形状は、ミラー12の形状と一致するように選択される。例えば、ミラー12およびセンサフレーム28の両方は、長方形の形状を有することができる。別の実装形態では、センサフレーム28およびミラー12は異なる形状を有する。一実装形態では、センサフレーム28は、ミラー12とほぼ同じサイズであり、一般に、ミラー12の外周と位置合わせされている。別の実装形態では、センサフレーム28は、ミラー12よりも小さく、一般に、ミラー12の外周の内部に配置されたミラー12の領域と位置合わせされている。さらなる実装形態では、センサフレーム28は、ミラー12よりも大きくすることができる。
【0018】
一実装形態では、ミラー12は、一般に、第1の軸および第2の軸を有する。1つ以上のセンサ16は、ミラー12の第1の軸に対してセンサ16と対話するオブジェクトの第1の軸方向位置、およびミラー12の第2の軸に対してセンサ16と対話するオブジェクトの第2の軸方向位置を検出するように構成されている。一実装形態では、第1の軸は垂直軸であり、第2の軸は水平軸である。したがって、ユーザの視点からセンサフレーム28を見ると、センサフレーム28は、第1の垂直部分28Aおよび反対側の第2の垂直部分28B、ならびに第1の水平部分28Cおよび対向する第2の水平部分28Dを有することができる。第1の垂直部分28Aは、その中に配設された1つ以上の赤外線送信機を有し、第2の垂直部分28Bは、その中に配設された1つ以上の対応する赤外線受信機を有する。各個々の送信機は、対応する個々の受信機によって受信される赤外線のビームを放出する。ユーザがミラー12のすぐ近傍に指を置くと、ユーザの指は、受信機が赤外線のビームを検出しないように、この赤外線のビームを遮ることができる。これは、ユーザがその送信機/受信機の対の間のどこかに指を置いたことをプロセッサ22に伝える。一実装形態では、複数の送信機が第1の垂直部分28Aの長さに沿って断続的に配設され、一方、対応する複数の受信機が第2の垂直部分28Bの長さに沿って断続的に配設される。どの送信機/受信機の対がユーザの指(または他の身体部分)の存在を検出するかに応じて、プロセッサ22は、ディスプレイ14に対するユーザの指の垂直位置を決定することができる。ミラー12の第1の軸および第2の軸は、長方形形状のミラー、正方形形状のミラー、楕円形形状のミラー、円形形状のミラー、三角形形状のミラー、または任意の他の形状のミラーのためのものであってもよい。
【0019】
同様に、センサフレーム28は、第1の水平部分28Cの長さに沿って断続的に配設された1つ以上の赤外線送信機と、第2の水平部分28Dの長さに沿って断続的に配設された対応する数の赤外線受信機とを有する。これらの送信機/受信機の対は、センサフレーム28の垂直部分28A、28Bに沿って配設されたものと同様の方法で動作し、ユーザの指の存在およびディスプレイ14に対するユーザの指の水平位置を検出するために使用される。したがって、1つ以上のセンサ16は、ユーザが対話することができ、システム10がそのような対話を検出することができる、ミラー12のユーザ側表面に平行な2次元グリッドを形成する。
【0020】
他の実装形態では、センサフレーム28は、1つ以上の近接センサを含むことができ、これは、例えば、飛行時間センサであり得る。飛行時間センサは、個別の送信機および受信機に依存しないが、代わりに、放出された信号がオブジェクトで反射して源に戻るまでにかかる時間を測定する。したがって、センサフレーム28の一端にある複数の近接センサを使用して、ユーザの手、指、顔などのオブジェクトの垂直位置と水平位置との両方を決定することができる。例えば、左端または右端のいずれかの近接センサの列が、どの近接センサが作動されたかを決定することによってオブジェクトの垂直位置を決定することができ、その近接センサを使用してオブジェクトが近接センサからどれだけ離れているかを測定することによって水平位置を決定することができる。同様に、上端または下端の近接センサの列は、どの近接センサが作動されたかを決定することによってオブジェクトの水平位置を決定することができ、その近接センサを使用してオブジェクトが近接センサからどれだけ離れているかを測定することによって垂直位置を決定することができる。1つ以上の近接センサが、ユーザの指または他の身体部分(例えば、手、顔、腕など)の存在を検出するとき、ユーザの指または他の身体部分は、センサの「視線」内にあると言われる。
【0021】
センサフレーム28内のセンサ16(IR送信機/受信機対および/または近接センサのいずれか)は、システム10によって使用されて、ユーザとシステム10との間の異なるタイプの対話を決定することができる。例えば、システム10は、使用が水平方向(左/右)、垂直方向(上/下)、斜め方向(左/右および上/下の組み合わせ)、またはこれらの任意の組み合わせでスワイプしているかどうかを決定することができる。システム10はまた、ユーザがスワイプする代わりにどこかを単にタップしたときを検出することができる。いくつかの実装形態では、センサフレーム28は、ユーザがミラー12の表面から約3センチメートル~約15センチメートルにあるときに、ユーザとシステム10との間の対話を検出するように構成されている。携帯電話アプリケーションなどのタッチスクリーンで使用するために設計されたタッチベースのアプリケーションを含む、様々な異なるアプリケーションおよびプログラムをプロセッサ22によって実行することができる。一般に、ユーザの指(または他の身体部分)と携帯電話(または他のデバイス)のタッチセンシティブディスプレイとの間の物理的接触に依存するか、またはこれを検出する携帯電話アプリケーションの命令またはコードは、ミラー12の前でのユーザのジェスチャに依存するか、またはこれを検出する命令またはコードに変換することができる。
【0022】
プロセッサ22によって実行され、ディスプレイ14によって表示される任意のアプリケーションは、センサフレーム28内のセンサ16を使用して、ユーザによって操作されてもよい。一般に、センサフレーム28内のセンサ16は、ユーザによるアクションを検出し、これにより、プロセッサ22は何らかのアクションを実行する。例えば、ユーザ選択可能アイコンをディスプレイ14に表示することができる。ユーザは、ユーザ選択可能アイコンを選択することができ、これにより、プロセッサ22は、ディスプレイ14上に新しい画像または画面を表示するなど、いくつかの対応するアクションを実行するようにトリガーされる。システム10とのユーザの対話によるプロセッサ22のトリガーは、少なくとも2つの異なる実装形態を使用して影響を受ける可能性がある。
【0023】
第1の実装形態では、プロセッサ22は、ユーザの指(または他の身体部分)がディスプレイ14および/またはセンサ16の近傍から離れると、例えば、センサ16の視線から離れると、何らかのアクションをとるようにトリガーされる。例えば、ユーザがディスプレイ14上に表示されたユーザ選択可能アイコンを選択したい場合、ユーザの指がセンサ16の視線上にあるように、ミラー12にタッチすることなく、表示されたユーザ選択可能アイコンのすぐ近傍に自分の指を移動させることができる。しかしながら、センサ16の視線に入っても、プロセッサ22が何らかのアクションをとることをトリガーせず、例えば、ユーザは、ディスプレイ14上のアイコンの近くに自分の指を置いてアイコンをまだ選択していないことになる。ユーザがディスプレイ14上のアイコンおよびセンサ16の視線の近傍から自分の指を離すと、プロセッサ22がトリガーされて何らかのアクションを実行する。このように、ユーザがアイコンの近傍から自分の指を離したときにのみ、ユーザはユーザ選択可能アイコンを選択する。
【0024】
第2の実装形態では、プロセッサ22は、ユーザの指(または他の身体部分)がディスプレイ14および/またはセンサ16の近傍に移動されたときに、例えば、センサ16の視線内に移動されたときに、何らかのアクションをとるようにトリガーされる。この実装形態では、ユーザがディスプレイ14上のユーザ選択可能アイコンのすぐ近傍に指を移動させると(例えば、センサ16の視線内に自分の指を移動させると)、プロセッサ22は、アイコンのセクションに対応する何らかのアクションをとるようにトリガーされる。したがって、ユーザは、アイコンを選択するために、自分の指をアイコン/センサ16の近くに移動させてからその指を離す必要はなく、代わりに、その指をアイコン/センサ16の近くに移動させるだけでよい。いくつかのそのような実装形態では、アイコンの選択は、ユーザが所定の時間(例えば、1秒、1.5秒、2秒、3秒など)アイコンの近くに指を保持することを必要とする。
【0025】
システム10を制御する他の方法も使用することができる。例えば、システム10は、システム10の音声制御を可能にするために、マイクロフォンを含む(またはマイクロフォンを含むデバイスと通信する)ことができる。システム10はまた、システム10と対話し、システム10を制御するために、ユーザが物理的に作動させることができる1つ以上の物理的なボタンまたはコントローラも含むことができる。別の例では、システム10は、システム10を制御するために、ユーザが対話する別個のデバイス(携帯電話、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなど)と通信することができる。いくつかのそのような実装形態では、ユーザのスマートフォンおよび/またはタブレットは、システム10のディスプレイ14をスマートフォンおよび/またはタブレットのディスプレイ上にミラーリングし、ユーザがスマートフォンおよび/またはタブレットに直接タッチおよび/またはタップすることによってシステム10を制御することを可能にすることによって、システム10を制御するための入力デバイスとして使用することができる。システム10はまた、音楽、ポッドキャスト、ラジオ、または他の音声を再生するための1つ以上のスピーカーも含むことができる。1つ以上のスピーカーはまた、特定のアクションまたは決定のユーザフィードバックまたは確認を提供することもできる。
【0026】
システム10はさらに、1つ以上の光源18を含む。一実装形態では、光源18は、プロセッサ22によって制御することができる可変の色および強度値を有する発光ダイオード(LED)である。他の実装形態では、光源18は、白熱電球、ハロゲン電球、蛍光電球、ブラックライト、放電ランプ、または任意の他の好適な光源とすることができる。光源18は、システム10のベース26に結合するか、もしくはこの中に配設することができ、または、それらは、センサフレーム28に結合するか、もしくはこの中に配設することができる。例えば、
図2は、システム10の下部分に配設された2つの光源18のみを示しているが、光源18が一般にミラー12を取り囲むように、複数の光源18をフレームの周りに配設することができる。いくつかの実装形態では、光源18は、ミラー12のユーザ側またはミラー12のディスプレイ側のいずれかに配設することができる。ミラー12のユーザ側に配設すると、光源18によって放出された光は、ミラー12を通ってユーザに向かって進むように構成されてもよい。光源18はまた、センサフレーム28またはシステム10の他の部分に回転的または並進的に結合されてもよく、その結果、光源18は、ユーザによって物理的に調整され、異なる方向に発光することができる。光源18は、ミラー12とディスプレイ14との両方から分離された個々のハウジングに配設することもできる。光源18は、一般に、ミラー12から離れてユーザに向かって外側に向けられる光を生成するように構成されている。したがって、1つ以上の光源18によって生成された光を使用して、ユーザ(またはミラー12のユーザ側に配設された任意の他のオブジェクト)を照射することができる。それらは色および強度が可変であるため、光源18を使用して、ユーザを取り囲む周囲光条件を調整することができる。
【0027】
システム10はまた、ミラー12に取り付けられた、またはミラー12に結合された1つ以上のカメラ20も含む。カメラ20は、可視光、赤外線(IR)カメラ、三次元(深度)カメラ、または任意の他の好適なタイプのカメラを使用して動作する光学カメラとすることができる。1つ以上のカメラ20は、ミラー12のディスプレイ側に配設されている。一実装形態では、1つ以上のカメラ20は、電子ディスプレイ14の上に配置されているが、ユーザの視点からは依然としてミラー12の後ろにある。1つ以上のカメラ20のレンズは、ミラー12の方を向いており、したがって、ミラー12のユーザ側を監視するように構成されている。一実装形態では、1つ以上のカメラ20は、ミラー12上の部分反射コーティングを通して、ミラー12のユーザ側を監視する。別の実装形態では、1つ以上のカメラ20は、部分反射コーティングが存在しないミラー12の場所に配設され、したがって、1つ以上のカメラ20は、ミラー12の残りの透明材料を通してミラー12のユーザ側を監視する。1つ以上のカメラ20は静止していてもよく、またはそれらは左右および上下に傾斜するように構成されていてもよい。カメラ20はまた、軌道上に移動可能に取り付けられ、左右および上下に移動するように構成されてもよい。1つ以上のカメラ20は、ミラー12のユーザ側の静止画像またはビデオ画像を捕捉するように構成されてもよい。ディスプレイ14は、1つ以上のカメラ20によって捕捉されたリアルタイムまたは保存された静止画像またはビデオ画像を表示することができる。
【0028】
1つ以上のカメラ20は、プロセッサ22に通信可能に結合されている。プロセッサ22は、コンピュータビジョンの原理を利用して、1つ以上のカメラ20によって捕捉された静止画像またはビデオ画像に基づいて様々なオブジェクトを検出および識別するオブジェクト認識(OR)アルゴリズムを実行することができる。プロセッサ22は、カメラ20およびプロセッサ22によって検出および識別されたオブジェクトに基づいて、新しいアプリケーションを自動的に起動するか、または既存のアプリケーションで特定のアクションをとるなど、プロセッサ22によって実行されているアプリケーションの実行を変更するように構成することができる。例えば、ユーザの手にあるオブジェクトの検出およびそのオブジェクトの歯ブラシとしての識別に続いて、プロセッサ22は、歯磨きアプリケーションを自動的に起動してディスプレイ14上で実行するか、または現在のアプリケーションで歯磨き機能を起動するように構成することができる。プロセッサ22は、かみそりを検出および識別したにユーザがシェービングするのを支援するアプリケーションを、または口紅、アイシャドウなどのあらゆる種類の化粧道具を検出および識別したときに、ユーザが化粧を適用するのを支援するアプリケーションを自動的に起動するように構成することができる。1つ以上のカメラ20はまた、ユーザの顔を認識し、複数のユーザを区別することもできる。例えば、カメラ20は、ミラー12の前に立っている人を認識し、そのユーザに固有のアプリケーションを実行することができる。例えば、アプリケーションは、そのユーザのために記憶されたデータを表示したり、ユーザに関連するリアルタイムデータを表示したりすることができる。
【0029】
一実装形態では、プロセッサ22は、ディスプレイ14が第1のアプリケーションに関連する第1のタイプの情報を表示している間に、第1のアプリケーションを実行するように構成することができる。システム10によるオブジェクトの識別に応答して、プロセッサは、ディスプレイ14に、第1のアプリケーションに関連する第2のタイプの情報を表示させるように構成されており、第2のタイプの情報は、(i)第1のタイプの情報とは異なっており、(ii)識別されたオブジェクトに基づいている。別の実装形態では、オブジェクトの識別に応答して、プロセッサは、第1のアプリケーションとは異なる第2のアプリケーションを実行するように構成されており、第2のアプリケーションは、識別されたオブジェクトに基づいている。
【0030】
いくつかの実装形態では、システム10の構成要素は一般に防水であり、これにより、システム10は、洗面所など、水または湿気が存在する可能性のある領域をより安全に操作することを可能にする。例えば、防水シール機構をミラー12とセンサフレーム28との間に使用して、水分がミラー12の後ろから電子構成要素に侵入しないようにすることができる。この防水シール機構は、UV接着剤などの防水接着剤、ミラー12のユーザ側とミラーのディスプレイ側との両方でミラー12の外周を取り囲むゴムシール、または任意の他の好適な防水シール機構を含むことができる。さらに、防水または撥水カバーは、スピーカーまたはマイクロフォンなど、保護する必要のあるシステム10の任意の構成要素の上または近くに配置することができる。いくつかの実装形態では、このカバーは撥水生地である。
【0031】
システム10の構成要素はまた、熱放散を増加させるように設計することもできる。熱放散の増加は、電源の削減または特定の電源のフォームファクタを使用することを含む、様々な方法で実現することができる。システム10はまた、ヒートシンクおよびファンを含む、ミラー12の後ろから熱を分配するための様々な機構も含むことができる。いくつかの実装形態では、電子構成要素(ディスプレイ14、センサ16、光源18、カメラ20、プロセッサ22、およびメモリ24など)はすべてモジュール式であるため、システム10を容易にカスタマイズすることができる。
【0032】
図3Aは、システム10の正面立面図を示しており、
図3Bは、システム10の側面立面図を示している。
図3Aに見られるように、センサフレーム28はミラー12を取り囲み、一方、作動されたディスプレイ14の部分は、ミラー12を通して視認可能である。
図3Aはまた、ユーザの指、頭、または他の身体部分を検出するために使用されるセンサフレーム28内のセンサ16によって形成され得る二次元グリッドを示している。この二次元グリッドは、一般に、操作中はユーザには視認可能ではない。
図3Bは、センサフレーム28、センサ16、ミラー12、ディスプレイ14、およびカメラ20の配置を示している。一実装形態では、プロセッサ22およびメモリ24は、ディスプレイ14の後ろに取り付けることができる。他の実装形態では、プロセッサ22およびメモリ24は、システム10内の他の部分に配置されていてもよく、またはシステム10の外部に完全に配置されていてもよい。システム10はまた、一般に、ディスプレイ14、カメラ20、およびプロセッサ22を収容および保護するハウジングを形成するハウジング構成要素43A、43Bも含む。
【0033】
図4Aおよび
図4Bは、ユーザ30がミラー12内の自分の映像32を見ることができ、ミラー12の後ろにあるディスプレイ14の作動されたセグメントを見ることができるようにするシステム10の能力を示している。
図4Aおよび
図4Bはまた、ディスプレイ14でオブジェクト(ユーザの顔など)を照射するシステム10の能力も示している。
図4Aでは、ディスプレイ14の大きなセグメントは作動されておらず、例えば、ディスプレイはオフであるか、黒い画面を示しているか、または他の場合には、ミラー12を通してユーザが見ることができない光を放出している。ユーザは、大きなセグメントでディスプレイ14から放出されたいかなる光も見ることができないので、ユーザ30の目に届く光は、ミラー12のユーザ側に入射し、反射してユーザ30に戻る光のみである。したがって、ユーザ30は、ミラー12のユーザ側表面で反射された光による、ユーザ自身およびその周囲の映像32を見る。ディスプレイ14が作動されているディスプレイ14の上部および下部の小さなセグメントにおいてのみ、ユーザ30は映像32を見ることができず、代わりにディスプレイ14を見る。
【0034】
図4Bでは、ミラー12のディスプレイ側のディスプレイ14の中央のセグメントが作動されており、光をミラー12に向けている。
図4Bに示される実装形態では、ディスプレイ14の作動されたセグメントはリング形状の構成を有し、したがって、ディスプレイ14は、光のリング34を示している。ディスプレイ14から放出された光は、ミラー12を通ってミラー12のユーザ側に透過され、したがって、放出された光の右が、ユーザ30に視認可能であるようになる。見てわかるように、ミラー12上の所与の点においてミラー12を透過する光は、その点においてミラー12のユーザ側表面から反射される光よりも強い。ミラー12のそれらの点において、ユーザ30は、ミラー12における自分の映像32ではなく、ミラー12を通してディスプレイ14のみを見る。
図4Bでは、光のリングは、一般にユーザ30の顔を取り囲むように、ミラー12を透過する。図に示すように、ミラー12におけるユーザ30の映像32は、ディスプレイ14からミラー12を透過した光のリング34によって遮られる。光のリング34は、ユーザ30の顔を照射するために使用することができる。したがって、ディスプレイの作動されたセグメントは、一般に、ユーザの顔の外周に位置合わせされ、一方、ディスプレイの囲まれた作動されていないセグメントは、一般に、ユーザの顔自体に位置合わせされ、ユーザが自分の顔の映像を見ることを可能にする。
【0035】
ユーザの顔を照射する方法500が
図5Aに示されている。ステップ502において、システム10の1つ以上のセンサ16が作動される。ステップ504において、1つ以上のセンサ16は、ミラー12のユーザ側表面の前の領域を監視する。1つ以上のセンサ16は、ユーザがミラー12の閾値距離内に配置する、ユーザの指または顔などのユーザの任意の部分を検出するように構成されている。一実装形態では、この閾値距離は、約5インチ未満、約0.1~4インチ、約1~約3インチ、または約2インチ未満である。閾値距離も約5インチより大きくなる可能性がある。ステップ506において、1つ以上のセンサ16は、ユーザと、センサ16によって画定された二次元グリッドとの間の複数の異なる対話点を検出する。これらの対話は、ユーザが自分の顔をミラー12のユーザ側表面から閾値距離内に配置していることを示している。1つ以上のセンサ16は、ユーザと1つ以上のセンサ16によって画定される二次元グリッドとの間の複数の対話を検出することによって、ユーザが単一の指ではなくミラー12に自分の顔を向けたことを認識する。一実装形態では、1つ以上のセンサ16が5つの接触点を検出し、5つの接触点が約60平方インチ未満内にある場合、システム10は、これを、ユーザが自分の顔をミラー12のユーザ側表面から閾値距離内に配置したと解釈する。
【0036】
ステップ508において、システム10は、センサ16との対話の検出された点からユーザの顔の輪郭を決定する。システム10は、ユーザの顔とセンサ16との間のすべての対話点によって画定される外側境界を決定し、この境界をユーザの顔の輪郭の推定値として使用する。ステップ510において、電子ディスプレイ14が作動されて、光のリングでユーザの顔の輪郭を描く。一般に、このステップにおけるディスプレイ14は、光のリングを除いて黒い画面を表示する。これは、一般に、1つ以上のセンサ16によって検出されるユーザの顔の外側境界に対応する。ディスプレイ14はまた、時間または他のアイコンなどの様々な他のマイナーな構成要素も表示することができる。したがって、ミラー12の表面を見ているユーザは、自分の映像を見ることができ、また、ディスプレイ14からミラー12を透過している光のリングも見ることができる。この光のリングは、一般に、ミラー12におけるユーザの顔の映像を取り囲み、ユーザの実際の顔を照射する。照射は、シェービング、自分の歯を磨く、化粧を適用するなど、ユーザが行おうとしているあらゆるアクティビティを支援することができる。システム10はまた、ユーザの顔をリアルタイムで追跡し、したがって、表示された光のリングの位置を常に更新することができる。これにより、ユーザは、ディスプレイ14によって常に依然として自分の顔を照射したまま、自分の顔を移動させることができる。
【0037】
方法500の間に電子ディスプレイ14に表示されるものの実装形態が、
図6Aおよび
図6Bに示されている。
図6Aでは、ディスプレイ14は主に黒い画面を示している。ディスプレイ14はまた、時間36、または照明アイコン38などの他の機能も示すことができる。照明アイコン38は、光源18によって放出されている光の現在の状態、周囲光の現在の条件、またはその両方を示すことができる。照明アイコン38はまた、ユーザが光源18によって放出される光を調整することを可能にするために対話型とすることもできる。
図6Bでは、システム10は、ディスプレイ14上に光のリング34を表示することによって、ユーザの顔を検出し、照射している。見てわかるように、この状態のディスプレイ14は、作動されていないセグメントが光リング34の内部に配置されるように、作動されていないセグメントを実質的に取り囲むリング形状構成の作動されたセグメントを含む。これにより、ユーザは、ディスプレイ14からの干渉を受けずに、ミラー12における自分自身の映像を見ることができる。光のリング34は、ディスプレイ14上のユーザの顔の外周に概ね対応する位置に表示される。この光のリング34は、ディスプレイ14を透過し、一般に、ユーザの顔に入射し、したがって、ユーザの顔を照射する。
【0038】
オブジェクトを検出および識別し、プロセッサ22によって実行されているアプリケーションを変更する方法700が
図7に示されている。ステップ702において、システム10の1つ以上のカメラ20が作動される。このステップにおいて、システム10のプロセッサ22は、アプリケーションを実行し、そのアプリケーションに関連する情報をディスプレイ14上に表示する。アプリケーションは、プロセッサ22のメモリ24にインストールされた特定のプログラムであってもよく、または単に基本的なオペレーティングシステムであってもよい。ステップ704において、1つ以上のカメラ20は、ミラー12のユーザ側の領域を監視して、ユーザおよびユーザが保持している可能性のある任意のオブジェクトを探す。一実装形態では、カメラ20によって記録された画像は、ディスプレイ14上にリアルタイムで表示することができる。ステップ706において、プロセッサ22は、1つ以上のカメラ20から画像を受信し、ユーザがオブジェクトを保持していることを検出する。ステップ708において、プロセッサ22は、プロセッサ22が認識できる所定の数のオブジェクトのうちの1つから、ユーザが保持しているオブジェクトを識別する。システム10のプロセッサ22は、ユーザが保持しているオブジェクトを検出および識別するように構成されたコンピュータビジョンアルゴリズムでプログラムすることができる。例えば、システム10は、ユーザが歯ブラシ、かみそり、コーム、口紅、またはアイシャドウなどの化粧道具、カールヘアアイロン、ストレートヘアアイロン、ブロードライヤー、またはユーザがミラー12の前にいる間に一般的に保持している可能性のある任意の他のオブジェクトを保持しているときに検出するように構成することができる。いくつかの実装形態では、ユーザは、異なるオブジェクトを識別するようにシステム10を訓練することができる。例えば、システム10は、ユーザが特定のオブジェクト、例えば歯ブラシを持ち上げるように要求することができる。次に、システム10を歯ブラシおよび歯ブラシに固有の任意の特徴を識別するように訓練することができる。このようにして、システム10は、様々な異なるオブジェクトの認識を改善するように訓練することができる。
【0039】
ステップ710において、ユーザが保持しているオブジェクトの識別に応答して、またそれに基づいて、プロセッサ22は、アプリケーションの実行を変更する。一実装形態では、アプリケーションの実行の変更は、オブジェクトの識別の前に表示されたものとは異なる情報をディスプレイ14上に表示することを含む。別の実装形態では、アプリケーションの実行の変更は、オブジェクトの識別の前に実行されていたアプリケーションとは異なる新しいアプリケーションの実行を含む。
【0040】
例えば、システム10が、ユーザが保持しているオブジェクトを歯ブラシとして識別する場合、システム10は、人々が自分の歯を磨くのを支援するために、歯磨きアプリケーション設計を起動することができる。システム10はまた、現在実行中のアプリケーションで歯磨き機能を開始することもできる。システム10がかみそりを識別する場合、システム10は、ユーザが自分の顔をシェービングするのを支援するために、現在実行中のアプリケーションでシェービングアプリケーションまたはシェービング機能を起動することができる。システム10が何らかのタイプの化粧道具を識別する場合、システム10は、ユーザが保持している化粧のタイプおよび色に基づいて化粧チュートリアルを起動することができる。さらに、ユーザの顔を検出および照射することに関して上述したセンサ16を使用することに加えて、1つ以上のカメラ20は、ユーザの顔を認識および/または識別し、この認識に基づいて所定のアクションを実行するように構成することもできる。このアクションは、上述したようにユーザの顔を照射することであってもよく、または、他のアクションであってもよい。
【0041】
他の実装形態では、システム10は、オブジェクトもしくはオブジェクトのパッケージ上の製品バーコードをスキャンすることによって、またはオブジェクトもしくはオブジェクトのパッケージの一部または結合されたRFIDタグを検出することによって、オブジェクトを識別してもよい。バーコードをスキャンするために、システム10は、バーコードスキャナを含むことができ、またはシステム10のカメラ20は、バーコードをスキャンするように構成することができる。RFIDタグを検出するために、システム10は一般に、製品がシステム10の近くにあるときにRFIDタグを検出して読み取るように構成されたRFIDリーダーを含む。
【0042】
いくつかの実装形態では、システム10は、システム10のオブジェクトの識別を確認するようにユーザに要求することができる。例えば、システム10は、ディスプレイ14に、「はい」および「いいえ」インジケータとともに、オブジェクトの名前を表示させることができる。ユーザは、インジケータのうちの1つを選択して、オブジェクトが正しく識別されたかどうかをシステム10に示すことができる。他の実装形態では、ユーザは「はい」または「いいえ」を大声で言うことができ、これはマイクロフォンによって検出することができる。マイクロフォンからのデータをプロセッサに送信して、システム10がオブジェクトを正しく識別したかどうかをユーザが確認することを可能にすることができる。
【0043】
周囲照明条件を補償する方法が
図8に示されている。一般に、システム10は、ユーザおよびシステム10が配置されている領域の周囲照明条件を認識および補償して、所望の照明条件のセットでユーザを照射することができる。ステップ802において、システム10は、周囲照明条件を監視および検出する。一実装形態では、周囲照明条件の監視および検出は、1つ以上のカメラ20によって行われる。別の実装形態では、システム10は、周囲照明条件を監視および検出するように特別に構成された別個の光学センサを含む。周囲照明条件は、既知の反射特性を備えたカメラ20/光学センサの視野内のオブジェクトの色または色相を検知することから決定することができる。システム10はまた、ユーザの顔の画像を捕捉し、捕捉された画像を分析して現在の周囲照明条件を決定することによって、周囲照明条件を検出することができる。さらに、システム10は、光学センサを使用して周囲光を収集および分析することにより、周囲照明条件を検出することができる。システム10はまた、周囲光条件を検出するために、上記または他の方法の任意の組み合わせも使用することができる。
【0044】
ステップ804において、検出された周囲照明条件と所望の周囲照明条件との間の差が決定される。差は、色温度/ホワイトバランスの観点から測定することができる。所望の周囲照明条件は、ユーザによって手動で入力することができ、またはユーザはまた、複数の所定の所望の周囲照明条件のうちの1つから選択することもできる。別の実装形態では、ユーザは、センサまたは他のデバイスを使用して、所望の場所、例えば、ユーザのオフィスで周囲照明条件を測定し、次いで、この測定値をシステム10にアップロードすることができる。次に、システム10は、検出された周囲照明条件を、アップロードされた周囲照明条件と比較することができる。アップロードされた周囲照明条件は、単純な数値データの形式とすることができるが、所望の照明条件を伴う所望の場所の画像を含むこともできる。ステップ806において、システム10は、1つ以上の光源18の色、強度、および他のパラメータを調整して、検出された周囲光条件を補償し、所望の照明条件を生成する。この所望の照明条件は、1つ以上の光源18に様々な色合いおよび強度の白色光を放出させることによって達成することができる。所望の照明条件はまた、1つ以上の光源18に、赤、緑、青、紫、黄、オレンジなどであるがこれらに限定されない異なる色の光を放出させることによって達成することができる。周囲照明条件によるオブジェクトの照射と、1つ以上の光源18によって生成された光によるオブジェクトの照射が組み合わさって、オブジェクトが所望の照明条件によって照明されるようにする。
【0045】
いくつかの実装形態では、システム10は、周囲照明条件を連続的に検出し、光源18から放出される光を調整し、新たに周囲照明条件を検出し、次いで、光源から放出される光を再調整する。システム10はまた、検出された周囲照明条件を使用してそれ自体を較正することができ、システム10がユーザによって作動されるたびに、システム10が自動的に光源18を調整して、所望の周囲照明条件をもたらすようにする。システム10はまた、ユーザがミラー12内の映像によって、またはディスプレイ14上に1つ以上のカメラ20からのライブフィードを表示することによって、プロセスを監視し、更新された照明条件を表示することを可能にすることができる。ユーザはまた、自分の好みに応じて、1つ以上の光源18から放出される光を手動で調整することもできる。
【0046】
システム10は、ユーザが撮影するユーザ自身または他のオブジェクトの写真を改善するために、周囲光を監視および調整することができる。システム10はまた、ユーザが自分自身またはオブジェクトを移動することを提案する、ユーザがカメラ20を移動することを提案する、またはカメラ20を自動的に移動するなど、画像を改善するためにユーザにフィードバックを提供することができる。
【0047】
ユーザの画像を捕捉する方法900が
図9に示されている。ステップ902において、1つ以上のカメラ20が作動され、ミラー12のユーザ側の領域の監視を開始する。ステップ904において、ユーザの顔のリアルタイム画像が、ディスプレイ14上の、一般にユーザの顔と位置合わせするディスプレイ14の領域に表示される。したがって、ユーザは、自分の映像ではなく、1つ以上のカメラ20から自分自身のリアルタイム画像を見る。ステップ906において、1つ以上のユーザ選択可能アイコンがディスプレイ14上に表示される。ユーザ選択可能アイコンの各々は、自然光、無光、柔らかい光、日没、日の出、虹色、または他の所望の周囲照明条件など、様々な周囲照明条件に対応している。ステップ908において、システム10は、ユーザ選択可能アイコンのうちの1つの選択に対応するユーザ入力を検出する。ステップ910において、システム10は、所望の周囲照明条件でユーザを照射するように、1つ以上の光源18によって放出される光の色、強度、または他のパラメータを調整する。ステップ912において、ユーザの顔および/またはユーザの他の部分の画像が捕捉される。
【0048】
別の実装形態では、システム10は、ユーザが1つ以上のカメラ20の視野に足を踏み入れたときにユーザの顔を認識する。システム10は、ユーザ選択可能アイコンを表示する代わりに、システム10がどのユーザを認識したかに基づいて、所定の照明プロファイルを自動的に選択する。例えば、特定のユーザは、柔らかい光でシステム10を使用して自分自身の画像を捕捉することを好む場合があり、したがって、柔らかい光で自分の顔を自動的に照射するようにシステム10を構成することができる。画像の捕捉は、ユーザが手動でトリガーすることも、所望の照明条件が達成されると自動的にトリガーすることもできる。システム10はまた、ユーザが画像を捕捉するための準備をすることができるように、ユーザにカウントダウンを与えることもできる。
【0049】
方法900の間に電子ディスプレイ14に表示されるものの実装形態が、
図10に示されている。
図10では、ディスプレイ14は、複数のアイコン40A、40B、40Cを示しており、これらは各々、ユーザが選択することができる異なる周囲光条件に対応する。アイコン40Aは無光に対応する。アイコン40Bは自然光に対応する。アイコン40Cは柔らかい光に対応する。ユーザは、これらのアイコンのいずれかを選択して、ユーザを取り囲む領域の周囲光条件が選択したアイコンに対応するように、光源によって生成される光をプロセッサに調整させることができる。ディスプレイ14はまた、時間36、または照明条件を示す照明アイコン38を表示することもでき、ユーザがそれらを調整することを可能にする。一実装形態では、ディスプレイはユーザに命令を示すことができる。別の実装形態では、ディスプレイは、カメラ20によって捕捉されたユーザのリアルタイム画像を示す。
【0050】
ここで
図11Aを参照すると、システム10の実装形態は、第1のディスプレイ14Aおよび第2のディスプレイ14Bを含む。第1のディスプレイ14Aと第2のディスプレイ14Bとは両方とも、ユーザが配置されている場所の反対側のミラー12の側に配置されている。第1のディスプレイ14Aおよび第2のディスプレイ14Bは、一般に、それらの間に隙間が画定されるように離間されている。システム10は、第1のディスプレイ14Aおよび第2のディスプレイ14Bと同じミラー12の側に配置されている1つ以上のカメラ20をさらに含む。しかしながら、1つ以上のカメラ20は、ミラー12の上部近くにあるのではなく、第1のディスプレイ14Aと第2のディスプレイ14Bとの間の隙間に配置されている。システム10は、一般に、1つ以上のセンサ16、および1つ以上の光源を含むセンサフレーム28を含む。したがって、システム10は、本明細書に開示される他の実装形態と概ね同じ方法で動作する。しかしながら、1つ以上のカメラ20を第1のディスプレイ14Aと第2のディスプレイ14Bとの間に配置することにより、1つ以上のカメラ20は、一般に、ユーザの顔と同じ高さに位置付けられ、したがって、より適切な視野角でユーザの画像を取得することができる。
【0051】
図11Bは、2つのディスプレイ14Aおよび15B、ならびに2つのカメラ20Aおよび20Bを含むシステム10の実装形態を示している。図示するように、システム10のこの実装形態は、左カメラ20Aおよび右カメラ20Bを含む。左カメラ20Aの視野は、一般に、ユーザの顔の左側の画像またはビデオを捕捉するように、ユーザの顔の中心からユーザの顔の左端の境界(例えば、ユーザの左耳の外縁)まで広がる。同様に、右カメラ20Bの視野は、一般に、ユーザの顔の右側の画像またはビデオを捕捉するように、ユーザの顔の中心からユーザの顔の右端の境界(例えば、ユーザの右耳の外縁)まで広がる。2つのカメラ20A、20Bからの画像および/またはビデオを組み合わせて、ユーザの顔の単一の正面向きの画像を形成することができる。いくつかの実装形態では、ユーザの顔のすべてがカメラ20A、20Bのうちの少なくとも1つによって捕捉されることを確実にするために、ユーザの顔の中心近くの2つのカメラ20A、20Bの視野にわずかな重複がある。
【0052】
図12は、ミラー12およびセンサフレーム28が異なる形状を有するシステム10の実装形態を示している。この実装形態では、ミラー12は楕円形形状であり、センサフレーム28は長方形形状である。
図13は、ミラー12およびセンサフレーム28が同じ形状であるが異なるサイズを有するシステム10の実装形態を示している。ミラー12とセンサフレーム28とは両方とも長方形形状であるが、ミラー12はセンサフレーム28よりも大きい。この実装形態では、センサフレーム28は、一般に、ミラー12の内部の領域からミラー12の外周に位置合わせされる。
【0053】
スマートミラーシステム10の他の実装形態は、本開示に従って企図される。例えば、システム10は、ミラー12を使用せずに動作することができる。カメラ20によって捕捉された画像は、ミラー12内の映像の代わりにディスプレイデバイス上に表示されてもよい。
【0054】
本開示のいくつかの実装形態では、システム10は、1つ以上の他のデバイスと(例えば、無線で、1つ以上の有線接続を介して、またはこれらの組み合わせを介して)接続する。接続するとは、システム10が、1つ以上の他のデバイスからデータを受信し、かつ/またはデータおよび/もしくは命令を1つ以上の他のデバイスに送信することができることを意味する。例えば、システム10は、1つ以上の携帯電話、1つ以上のラップトップコンピュータ、1つ以上のデスクトップコンピュータ、1つ以上のオンラインサーバ、1つ以上のフィットネストラッカー、1つ以上の体重計(例えば、インターネット接続された体重計)、1つ以上のクラウドサービス(例えば、アプリケーション対応のスマートデバイスのバックエンド)、1つ以上のインターネット接続された水筒、1つ以上のインターネット接続されたサーモスタット、1つ以上のスマートウォッチ、1つ以上のスマートスピーカー、任意の他のスマートデバイス、またはこれらの任意の組み合わせと接続することができる。
【0055】
いくつかの実装形態では、システム10は、システム10に接続された任意の他のデバイスから収集されたすべてのデータを集約し、ユーザが集約されたデータを表示および/または操作および/または分析するための容易にアクセス可能な場所および/またはポータルを提供する。したがって、システム10は、ユーザが現在使用しているすべてのデバイスおよび/またはサービスのための集中型ハブ(例えば、基地局)として機能することができる。このような集中型ハブは、ユーザが使用および/または定期購入している任意のサービスから、これらのサービスに関連付けられているデバイスと通信することによって(例えば、無線接続または有線接続を介して、および/または、それぞれのデバイスからデータを受信する接続されたクラウドサービスを介してデバイスと直接通信することによって)、データを収集することができる。いくつかの実装形態では、ユーザがアクセスできるように、データを集中型ハブによってローカルに記憶することができる。追加または代替の実装形態では、システム10は、サービスのそれぞれのバックエンドにデータを送信することができる。
【0056】
いくつかの実装形態では、システム10は、他のデバイスから収集/集約されたデータのすべてまたは一部を分析し、異なるイベントを相関させる。いくつかのそのような実装形態では、システム10は、分析された集約データに少なくとも部分的に基づいて、ユーザにアドバイスを提供する。例えば、システム10は、ユーザのインターネット接続された体重計からデータを取得する。システム10は、データを分析し、ユーザが所与の時間期間に体重を減少させたことを決定する。いくつかの実装形態では、体重減少の決定を考慮して、システム10は、体重減少の対応する時間期間中にデータを生成する他の接続されたデバイスのうちの1つ以上のからのデータを分析して、体重減少に寄与した可能性のあるユーザが経験した他のアクティビティおよび/またはイベントを決定する。例えば、システム10は、ユーザが体重を減少させた関連する時間期間中に、ユーザがまた、一定量の水を飲んだこと、1日に一定の時間睡眠をとったこと、一定量のアクティビティ日を経験したこと、またはこれらの任意の組み合わせを認識することができる。システム10は、このすべてのデータを相関させ、それをユーザに提示し、ユーザの体重減少につながった可能性のあるもの、およびさらなる体重減少または増加につながる可能性のあるものについてアドバイスを提供することができる。
【0057】
システム10と他のデバイスとの接続により、システム10は、通常は不可能な方法で、他の接続されたデバイスおよび/またはサービスのうちの1つ以上のからの任意のデータまたはデータの一部を利用することができる。これは、他の接続されたデバイスおよび/またはサービスのうちの1つからのそのようなデータは、他のデバイスおよび/またはサービスの別のものから一般にアクセスできないためである。したがって、システム10は、過去に通信しなかった別々の独立したプラットフォームを統合するのに役立つ。
【0058】
一実装形態では、システム10は、ほくろ、しわ、または美容スポットなどの身体または顔の特徴部を監視することができる。システム10は、カメラ20を使用してユーザの初期画像を捕捉する。ユーザは、捕捉された画像を表示し、システム10が監視するための1つ以上の特徴部を選択することができる。特徴部がユーザによって選択されると、システム10は、画像処理および/またはコンピュータビジョンアルゴリズムを使用して、ユーザによって選択された特徴部のより細かい選択または描写を可能にすることができる。別の実装形態では、システム10は、ユーザが選択することなく特徴部をマークすることができる。特徴が選択され、システム10によってマークされると、選択された特徴部の初期位置、色、および他の特徴部がシステム10のメモリに記憶される。システム10は、ユーザの後続の画像を捕捉し、選択された特徴部を識別することができる。特徴部の特徴の逸脱は、システム10によって監視することができる。異常な逸脱は、システム10によってユーザに報告することができる。いくつかの実装形態では、システム10は、ほくろ、腫瘍、ただれ、または皮膚癌もしくは他の疾患を示す可能性があるユーザの皮膚に現れ得る他の特徴部などの特徴部を監視することができる。システム10は、特徴部自体の画像のみを見ることによって特徴部を監視することができ、またはユーザの顔および/または身体全体の画像を分析することによって特徴部を監視することができる。システム10はまた、病状または疾患を示す他の特徴部を監視することができる。例えば、システム10は、ユーザの髪を監視して、ユーザの髪のいずれかが抜け落ちているかどうかを決定することができる。システム10はまた、虫歯、歯周病、または他の病気の兆候がないか、ユーザの歯、歯茎、または唇を監視することができる。また、ユーザの目を監視して、あらゆる種類の区別できる特徴部を監視することもできる。
【0059】
ここで
図14を参照すると、システム10のいくつかの実装形態では、ミラー12は、内側ゾーン13と、2つの外側ゾーン15Aおよび15Bと、を含む。内側ゾーン13は、部分反射コーティングを含むミラー12のいずれかの表面(または両方)上の領域を画定する。外側ゾーン15Aおよび15Bは、部分反射コーティングが存在しないミラー12の両方の表面上の領域を画定する。いくつかの実装形態では、外側ゾーン15Aおよび15Bは、一般に垂直のバンドまたはストリップとして形成される。これらの領域では、ミラー12は、一般に透明な基板材料(例えば、ガラス、アクリルなど)のみを備える。いくつかの実装形態では、1つ以上の光源(本明細書で説明する光源18など)をミラー12のディスプレイ側に位置付けることができる。光源は、ミラー12に向かって光を放出するように位置付けられ、ミラー12は、一般に透明な基板材料を通って伝播し、次にユーザに伝播する。したがって、光源は、ミラー12の概ね透明な基板材料を通して光を照らして、ユーザ、ユーザを取り囲む領域もしくはオブジェクト、またはその両方を照射することができる。
【0060】
いくつかの実装形態では、外側ゾーン15Aおよび15内のミラー12のディスプレイ側表面およびミラー12のユーザ側表面の一方または両方をサンドブラストすることができる。部分反射コーティングは、外側ゾーン15Aおよび15B内の一般に透明な基板材料のどちらの表面にも存在しないので、一般に透明な基板材料自体がサンドブラストされる。基板材料の表面をサンドブラストすることにより、光源によってユーザに向けて放出された光は、基板材料を通過するときに拡散される。システム10は、ミラー12を通して放出された光をユーザに向けて拡散することにより、ユーザおよびユーザを取り囲む領域/オブジェクトのより均一な照明を実現する。さらに、外側ゾーン15Aおよび15Bの両方がサンドブラストされ、部分反射コーティングを含む場合、光源によってユーザに向けて透過される結果として生じる光は、一般に鈍く、十分な照明を提供しないであろう。したがって、外側のゾーン15Aおよび15Bは、一般に、サンドブラストのみが施される。しかしながら、特定の実装形態では、外側ゾーン15Aおよび15B、または内側ゾーン13は、サンドブラストされ、部分反射コーティングを含み得る。
【0061】
一実装形態では、部分反射コーティングは、内側ゾーン13内の基板材料のユーザ側の表面にのみ存在し、一方、基板材料は、外側ゾーン15Aおよび15B内のディスプレイ側にのみサンドブラストされる。基板材料のユーザ側表面のみを部分的に透明なコーティングでコーティングすることにより、ミラー12のディスプレイ側のディスプレイによってミラー12を通してユーザに示すように設計された画像がより視認可能であるようになる。さらに、外側ゾーン15Aおよび15B内の基板材料のユーザ側表面がサンドブラストされる場合、結果として生じる多孔質表面は、液体またはシェービングクリーム、歯磨き粉などの他の物質をより容易に吸収することができる。基板材料のディスプレイ側をサンドブラストするだけで、外側ゾーン15Aおよび15B内の基板材料のユーザ側は、一般に望ましくない物質を吸収することはない。部分反射コーティングは、外側ゾーン15Aおよび15B内の基板材料のユーザ側表面には存在しないので、光源によって放出されてミラー12を透過する光を鈍らせることはない。
【0062】
別の実装形態では、部分反射コーティングは、内側ゾーン13内の基板材料のディスプレイ側の表面にのみ存在し、一方、基板材料は、外側ゾーン15Aおよび15B内のユーザ側にのみサンドブラストされる。他の実装形態では、部分反射コーティングは、サンドブラストされた基板材料の同じ側に存在する。これらの実装形態では、基板材料のユーザ側およびディスプレイ側のいずれかまたは両方が、内側ゾーン13内の部分反射コーティングによってコーティングされている。基板材料の同じ側の外側ゾーン15Aおよび15Bは、サンドブラストされている。いくつかの実装形態では、部分反射コーティングは、内側ゾーン13および外側ゾーン15Aおよび15Bを含む、基板材料の所望の表面全体に堆積される。次に、外側ゾーン15Aおよび15B内の部分反射コーティングは、サンドブラストプロセスまたはサンドブラストプロセスに先行する別のプロセスのいずれかによって除去することができる。さらに他の実装形態では、部分反射コーティングは、内側ゾーン13内でのみ所望の表面に堆積される。
【0063】
ここで
図15を参照すると、システム10は、カメラ20の視野を少なくとも部分的に遮断または不明瞭にするように構成された障害物100を含むことができる。これにより、ユーザは、自分自身がカメラ20に見られるのを防ぐことができ、また、カメラ20がユーザを取り囲む領域を見るのを防ぐことができる。いくつかの実装形態では、ユーザは、障害物100を、格納位置と展開位置との間で手動で移動させることができる。他の実装形態では、障害物100は、ソレノイド、ばね、レバー、磁石、これらの任意の組み合わせ、または任意の他の好適なデバイスを含むことができる1つ以上の電子作動デバイスを使用して、格納位置と展開位置との間で移動させることができる。
図15は、展開位置にある障害物100を示している。他の実装形態では、システム10のプロセッサは、障害物100を格納位置と展開位置との間で移動させるように構成されている。
図15の実装形態に示すように、障害物100は、フレームの上部分の下側に取り付けることができ、カメラ20の視野を遮断する下向きに突出する一部分を含む。いくつかの実装形態では、障害物100は、フレームに枢動可能に結合されている。他の実装形態では、障害物100は、フレームに摺動可能または並進可能に結合されている。
【0064】
図16Aおよび16Bは、障害物100の上部および下部の斜視図を示している。図示するように、障害物100は、一般に、ベースプレート102および突出部分104を含む。ベースプレート102は、障害物100をシステム10のフレーム(または別の構成要素)に固定するために使用される様々な留め具開口部106A~106Hを含む。いくつかの実装形態では、それぞれの留め具は、留め具開口部106A~106Hを通ってフレーム内に延在して、障害物100をフレームに固定する。留め具は、ねじ、釘、ピン、ロッド、クリップなどとすることができる。他の実装形態では、障害物100は、留め具および留め具開口部106A~106Hを使用せずに、例えば接着剤を使用することによってフレームに固定することができる。
【0065】
突出部分104は、突出部分104が格納位置と展開位置との間を移動することを可能にする方法でベースプレート102に結合されている。
図16Aおよび16Bは、展開位置にある突出部分104を示している。この展開位置では、突出部分104は、カメラ20の視野を遮断するように、ベースプレート102から離れて延びる。いくつかの実装形態では、突出部分104は、ヒンジまたは他の構造を介してベースプレート102に枢動可能に結合され、これにより、突出部分104は、ベースプレート102に対して枢動することができる。さらに他の実装形態では、突出部分104は、一般に、格納位置と展開位置との間の一次元に沿って移動するように構成されている。ベースプレート102は、突出部分104が格納位置に移動されたときに突出部分104を収容するようにサイズ決定された、その中に画定された窪み108を含むことができる。突出部分104および窪み108は、突出部分104が格納位置にあるときに障害物100が概ね平坦な表面を有するようにサイズ決定することができる。
【0066】
いくつかの実装形態では、突出部分104は、格納位置または展開位置のいずれかに向かって偏っていてもよく、または両方の位置に向かって選択的に偏っていてもよい。さらに他の実装形態では、突出部分104はどちらの位置にも偏っていない。突出部分104は、ばねなどの任意の好適な機構を使用して偏らせることができる。突出部分104を、格納位置および展開位置のうちの1つのみに向かって偏らせる場合、障害物100は、一般に、突出部分104を偏っていない位置に保持する保持機能を含む。保持機能は、クリップ、ストラップ、または他の同様の機能とすることができる。保持機能はまた、ベースプレート102上の対応する窪みに嵌まる突出部分104上の構造を含むことができる。
【0067】
いくつかの実装形態では、保持機能は、窪み108であり、これは、摩擦嵌合を介して窪み108内に突出部分104を保持するようにサイズ決定することができる。例えば、窪み108の外側外周を形成するベースプレート102の部分は、小さな半弾性隆起を含み得る。半弾性隆起は、突出部分104の直径よりわずかに小さい直径を有する円を形成することができる。突出部分104が格納位置に移動されると、突出部分104に付与される力は、突出部分104と半弾力性隆起との間の摩擦力に打ち勝つことができるので、突出部分104は窪み108に着座してそこに保持される。
【0068】
突出部分104を格納位置と展開位置の両方で選択的に偏らせる場合、突出部分104は、偏りが交互になるまで、突出部分104をどちらかの位置から一定量移動させなければならず、これにより突出部分104は他方の位置に向かって移動し続けることになる。例えば、突出部分104が両方の位置に向かって選択的に偏っている場合、現在格納位置にある場合、ユーザ(またはシステム10の構成要素)は、突出部分104をベースプレート102から離れる方向に移動させ始めなければならない。突出部分104がベースプレート102から一定量離れる方向に移動し、変曲点に達すると、偏りは展開位置に向かって交互に変化する。突出部分104を展開位置から格納位置に移動させることも同様の方法で行われる。いくつかの実装形態では、変曲点は、格納位置と展開位置との間の約中間にあってもよい。これらの実装形態では、突出部分104は常にそれが現在格納される位置に向かって偏っているので、保持機能は必要ない。
【0069】
突出部分104がどちらの位置にも偏っていない実装形態では、障害物100は、重力によって突出部分104が位置間で移動するのを防ぐための保持機能を依然として一般に含む。例えば、突出部分104は、重力の影響によって突出部分104が展開位置に向かって移動するのを防ぐために、依然としてベースプレート102の窪み108に嵌めることができる。これらの実装形態では、突出部分104をベースプレート102に結合するために使用される構造の摩擦は、突出部分104をいずれかの位置に保持することができる。例えば、突出部分104をベースプレート102に枢動可能に結合するために使用されるヒンジまたは他の枢動機構における摩擦は、重力によって突出部分104に加えられる力よりも大きい力を突出部分104に与えることができる。これにより、重力が突出部分104に格納位置に向かって力を与えている場合でも、突出部分104は格納位置に留まる。
【0070】
障害物100は、いかなる光も通過させない不透明な材料、または光の一部分のみを通過させる部分的に透明な材料から形成することができる。例えば、障害物100は、異なる波長の光を遮断またはラスするように構成された1つ以上の光学フィルタで形成することができる。
【0071】
異なる実装形態では、カメラ20は、システム10の他の構成要素に対して様々な位置を有することができる。いくつかのそのような実装形態では、カメラ20は、ミラー12がカメラ20とユーザとの間に位置付けられるように、ミラー12のユーザ側に配置される。これらの実装形態は、
図3B、
図11Aおよび11Bに示されている。これらの実装形態では、カメラ20は、
図3Bに示すように、ディスプレイ14の上に位置付けることができる。カメラ20はまた、
図11Aおよび11Bに示すように、別個の表示部分14Aおよび14Bの間にも位置付けることができる。他の実装形態では、カメラ20は、ディスプレイ14またはディスプレイ部分14Aおよび14Bの下または横に配置することができる。
【0072】
さらに他の実装形態では、カメラ20は、ミラー12がカメラ20とユーザとの間に位置付けられないような領域に配置される。これらの実装形態では、カメラ20は、カメラ20に入る光の実質的にすべてが最初にミラー12を通過しないような、ユーザへの直接の視線を有する。これらの実装形態のいくつかでは、カメラ20がミラー12とユーザとの間に位置付けられるように、カメラ20はミラー12の前および/または上に位置付けられる。カメラ20は、依然としてシステム10のフレーム28内にあってもよく、一般に、ディスプレイ14に対して任意の方向、例えば、ディスプレイ14の上、下、または横に配置されてもよい。いくつかの実装形態では、カメラ20は、システム10のフレーム28の外側に位置付けられる。これらの実装形態では、ミラー12は、カメラ20とユーザとの間に位置付けられ、カメラ20は、ミラー12のディスプレイ側またはミラー12のユーザ側のいずれかに位置付けることができる。さらに他の実装形態では、カメラ20はミラー12の内側に位置付けられている。しかしながら、カメラ20によって受け取られたときに光が通過するミラー12の部分(例えば、カメラ20が「見る」ミラー12の部分)は、基板材料上に反射コーティングをほとんどまたは全く有さなくてもよい。したがって、カメラ20は、鏡面/反射膜を通してではなく、一般に透明な基板材料を通してユーザおよびその周囲の領域を効果的に見て、それによって、カメラ20によって生成される画像の品質を改善する。
【0073】
ミラー12は、一般に、ユーザ30の上半身のかなりの部分の映像が収まって、視認可能であるフルサイズの長方形のミラーとして描かれているが、ミラー12は、任意の所望のサイズおよび/または形状を有することができる。例えば、ミラー12は、化粧を適用するか、またはシェービングするために通常使用される比較的小さいミラー、財布および//またはポケットに格納することができるハンドヘルドミラー、ユーザ30の頭および首の映像を示す比較的大きいミラー、または任意の他の好適なサイズであってもよい。いくつかの実装形態では、ミラー12は、約4インチ~約12インチの間の長い寸法を有する、一般に長方形の形状を有することができる。他の実装形態では、ミラー12は、約4インチ~約12インチの直径を有する円形とすることができる。さらに他の実装形態では、ミラー12は、3インチ×3インチ、4インチ×4インチ、5インチ×インチ、または任意の他の好適なサイズである正方形の形状を有する。さらに他の実装形態では、ミラー12は、ディスプレイ14のサイズおよび形状に一致するように設計されたサイズおよび形状を有し、様々なデバイスをディスプレイ14として使用することができる。例えば、ディスプレイ14は、ハンドヘルドデバイス(ユーザ30のスマートフォンなど)であってもよく、ミラー12は、ハンドヘルドデバイスのサイズと同様のサイズを有することができる。ミラー12は、タブレットまたはラップトップと同様のサイズおよび形状を有することができるので、ミラー12は、タブレットコンピュータまたはラップトップコンピュータで使用することができる。さらに他の実装形態では、LEDドットマトリックスディスプレイをディスプレイ14として使用することができ、ミラー12は、LEDドットマトリックスディスプレイとともに使用するようにサイズ決定することができる。したがって、ミラー12およびディスプレイ14は、ユーザ12が様々な異なる用途または様々な異なる場所で使用することができる携帯型および/またはモジュール式デバイスとして使用することができる。
【0074】
本明細書で説明するように、システム10は、一般に、カメラ20の視野内のオブジェクトを認識し、識別されたオブジェクトに基づいて起動およびアプリケーションまたはチュートリアルを行うように構成されている。いくつかの実装形態では、このチュートリアルでは、特定の製品を適用する方法をユーザに示すことができ、この製品は、化粧(例えば、口紅、アイライナーなど)、染毛剤、歯磨き粉(ユーザが自分の歯を磨くことなど)、またはユーザがミラー12の前に適用することができる任意の他の製品であってもよい。
【0075】
図17Aおよび17Bは、システム10が、オブジェクト認識アルゴリズムを使用してユーザによって保持されたオブジェクトまたは製品を識別し、そのオブジェクトまたは製品に基づいてチュートリアルを起動するときのミラー12およびディスプレイ14の実装形態を示している。図示するように、ディスプレイは、時間36を表示することができ、また、ユーザのスケジュールに関連する情報37を表示することができる。図示される実装形態では、情報37は、ユーザが自分の目的地に向けて出発することになっている時間の指示を含む。この情報は、システム10のメモリに記憶することができるか、または別のデバイスまたは場所から同期され得る、ユーザのカレンダーに基づくことができる。ディスプレイはまた、対話型であってもなくてもよい様々なアイコンも示している。本明細書で説明するように、ディスプレイ14は、照明アイコン38を表示することができる。ディスプレイはまた、天気アイコン42を表示することができ、雲、太陽、雪などの現在の気象条件を示す画像を表示することができる。音声プレーヤーアイコン44は対話型であり、音楽、ポッドキャスト、ラジオ局、または他の音声源を再生するためにユーザが操作することができる。
【0076】
図17Aに示すように、システム10は、ユーザ46およびユーザ46によって保持されているオブジェクト48を含む画像45を示している。画像45は、ミラー12内の映像であってもよく、またはディスプレイ14上に表示される静止画像またはリアルタイムビデオフィードであってもよい。画像45がミラー12内の映像として現れるとき、ディスプレイ14上は、ユーザ46およびオブジェクト48の映像が現れる中央で作動されない状態になる。オブジェクト48がカメラ20の視野内にあるとき、システム10は、オブジェクト48および(該当する場合)そこに含まれる製品を検出および識別することができる。
【0077】
図17Bは、ユーザ46がアイライナーのボトルを保持していることをそのオブジェクト48が検出したときのシステム10の状態を示している。図示するように、ディスプレイは、アイライナーの画像50(ストック画像またはカメラ20によって捕捉された画像であってもよい)およびオブジェクト48またはそこに含まれる製品の説明53を表示することができる。システム10は、ユーザ46の画像45を、ディスプレイ上の静止画像もしくはリアルタイムビデオフィードとして、またはミラー12内の映像として再び表示することができる。ディスプレイはまた、チュートリアルアプリケーションを起動するためにユーザ46によって作動され得る開始アイコン52を示し、これは、アイライナーを適用する方法をユーザ46に示すことができる。開始アイコン52は、「チュートリアルを開始する」という単語を含むことができ、または他のテキストまたは画像を示すことができる。最後に、ディスプレイは、ユーザ46がチュートリアルを続行したくない場合にこの段階を終了するために対話することができるキャンセルアイコン54を示す。キャンセルアイコン54を作動すると、システム10は前の段階に戻る。これは、例えば、システム10が、ユーザが保持しているオブジェクト48を誤って識別する場合、またはユーザ46が自分の気が変わってオブジェクト48を使用したくなくなった場合に有用であり得る。
【0078】
図18A、18B、および18Cは、システム10によって実行されるチュートリアルアプリケーションのステップを示している。チュートリアルは、ユーザが
図17Bに示される開始アイコン52と対話することに応答して起動されてもよい。チュートリアルはまた、音声作動などの別の方法で起動されてもよい。
図18A、18B、および18Cに示すように、ユーザ46の画像45は、ミラー12内の映像として、またはディスプレイ上に示されるリアルタイムビデオフィードとして示される。ディスプレイはまた、アイライナーを適用する方法を示すライブアクションビデオからの画像フレーム56も示す。対話型アイコン58は、画像フレーム56上にオーバーレイすることができる。ユーザ46がアイコン58と対話すると、ディスプレイはユーザ46のビデオを再生する。ビデオは、システム10のメモリに記憶され得るか、または別の場所からダウンロードされ、ユーザがアイコンを作動することに応答して再生されてもよい。ビデオの再生は、ループで再生することも、設定した回数再生することもできる。
図18A、18B、および18Cは、チュートリアルの間に画像フレーム56上にオーバーレイされたアイコン58を示しているが、実写ビデオは、チュートリアルの間に繰り返し再生することができる。チュートリアルアプリケーションの間、ディスプレイはまた、ユーザによって作動されたときに拡大機能を開始する拡大アイコン60を表示することができる。拡大アイコン60は、「拡大鏡」という単語などのテキストを含むことができ、または画像として表示することもできる。
【0079】
チュートリアルアプリケーションは、アイライナーを適用するステップを示す画像または一連の画像を表示することもできる。一実装形態では、ディスプレイは、ユーザにステップを示すアニメーションGIF(Graphics Interchange Format)を表示する。
図18Aは、アプリケーションプロセスの第1のステップを示すGIFの第1のフレーム62Aを示すディスプレイを示している。
図18Bは、アプリケーションプロセスの第2のステップを示すGIFの第2のフレーム62Bを示すディスプレイを示している。
図18Cは、アプリケーションプロセスの第3のステップを示すGIFの第3のフレーム62Cを示すディスプレイ14を示している。
【0080】
フレーム62A~62Cの各々は、とるべきアクションを示す番号および他のマーキングで示されている。例えば、
図18A、18B、および18Cの各ステップは、アイライナーを適用して所望の結果を達成するためにどの動きをとるべきかをユーザに示す矢印64A、64B、または64Cを含む。チュートリアルの間、ディスプレイは、ユーザ46がアイライナーの適用を終了するまで、適用プロセスの各フレーム62A~62Cを順番に繰り返し表示することができる。アイライナーを適用するステップを示す画像または一連の画像は、他のファイルタイプの形式をとることもできる。例えば、GIFを表示する代わりに、ディスプレイにJPEGファイルまたはPNGファイルなどの一連の個別の静止画像ファイルを表示することができる。一部の実装形態では、ディスプレイは、画像または一連の画像の代わりにアニメーションビデオを示す。一般に、GIFは、チュートリアルに関連付けられているアニメーション、例えば、製品の適用方法を示すループビデオをユーザに提示する。
【0081】
図18A、18B、および18Cに示すように、チュートリアルアプリケーションの間のディスプレイ14は、時間36、ユーザ46のスケジュールに関連する情報37、照明アイコン38、現在の気象条件に関連する天気アイコン42、およびユーザが音楽または他の音声を再生することを可能にする音声プレーヤーアイコン44を依然として表示することができる。
【0082】
いくつかの実装形態では、システム10は、製品を適用する必要があるユーザ46の顔の部分を強調表示することによって、ユーザ46がアクティビティを行う(アイライナーを適用する)のを支援することができる。一例では、システム10の光源は、製品を適用する場所を強調するために、ユーザ46の一部分(例えば、ユーザの顔)に光を放出することができる。光源は、LED、レーザー、または他の好適なタイプの発光デバイスを含むことができる。光源によって放出される光は、ドット、円、正方形、三角形、曲線、円弧、アーチ、線、これらの任意の組み合わせ、または任意の他の好適な形状など、任意の好適な形状または形態を有することができる。ユーザ46の顔に投射された光は、ミラー12内の映像、またはディスプレイ上の画像のいずれかとして、ユーザ46の画像45に視認可能であるようになるであろう。
【0083】
別の実装形態では、ディスプレイは、ユーザ46を案内し、テンプレート機能をユーザ46の顔にオーバーレイして、ユーザがアクティビティを行うのを支援するために使用される。例えば、ユーザ46の画像45がディスプレイ上のリアルタイム画像である場合、ディスプレイは、製品を適用するためのユーザ46の顔の部分を強調することができる。別の実装形態では、ユーザ46の画像45は、ミラー12内の映像である可能性があるが、ディスプレイは、製品を適用するユーザ46の顔の任意の部分を依然として強調することができる。ディスプレイからのこの場所の光は、この場所のミラー12で反射する光よりも明るくなり、したがって、ユーザ46は、製品を適用することになっている場所を示す光を見ることができる。ディスプレイによって表示できるテンプレート機能は、ドット、円、正方形、三角形、曲線、円弧、アーチ、線、これらの任意の組み合わせ、または任意の他の好適な形状など、任意の好適な形状または形態をとることができる。
【0084】
図19Aおよび19Bは、ユーザが
図18A~18Cに示すように拡大アイコン60を選択することによって拡大機能を開始したときのシステム10の状態を示している。ディスプレイは、ビデオの画像フレーム56およびビデオを再生するために作動され得るアイコン58を引き続き示すことができ、またはビデオ自体を引き続き示すことができる。ディスプレイは、アイライナー(GIFなど)を適用するステップに関連付けられているアニメーションを示すループビデオのステップも引き続き示す。
図19Aに示される拡大機能の第1の段階では、ディスプレイは、キャプション68とともに、ユーザ46の顔のフルサイズ画像66を表示する。キャプション68は、「どこでもタップしてズームインしてください」という命令を含めることができ、チュートリアルの間、システム10は、ミラー12内の単なる映像としてユーザ46の顔を表示することができるが、拡大機能が作動されると、ユーザ46の顔は、ディスプレイ上に画像として示される。
【0085】
図19Bは、拡大機能の第2の段階を示している。ユーザ46が関心領域で自分の顔の画像66をタップするか、または他の方法でこれと対話すると、ディスプレイは、その関心領域を含むユーザの顔のズームインした画像70を示す。例えば、
図19Bに示すように、ユーザが自分のまつげにアイライナーを適用しているとき、ユーザは、自分のまつげを含む顔の部分にズームインすることができる。これにより、ユーザはアイライナーを適用するときに自分のまつげをよりよく見ることができる。ユーザはまた、ディスプレイと対話することによって、ズームインした画像70を操作することもできる。ユーザは、ズームインした画像をスワイプまたはドラッグして、ユーザの顔の様々な領域に配置できる。ユーザはもう一度タップしてズームアウトすることもできる。ディスプレイは、ズームインした画像70を操作する方法をユーザに示す命令72を示すことができる。いくつかの実装形態では、システム10は、ユーザが移動するときに関心領域を追跡するように構成されている。したがって、ディスプレイは、関心領域のズームインしたビューを示し、ユーザが移動するにつれて、関心領域のズームインしたビューを表示し続ける。関心領域は、ユーザの目、鼻、耳、口、歯など、またはユーザの顔または身体の任意の他の特徴部であってもよい。
【0086】
図20A~20Fは、システム10がユーザのために実行することができる染毛剤を適用するためのチュートリアルを示している。チュートリアルの間、ディスプレイは、時間36、ユーザのスケジュールに関連する情報37、照明アイコン38、気象アイコン40、音声プレーヤーアイコン41、およびキャンセルアイコン54を含む、上述と同じ情報およびアイコンを表示することができる。
図20Aに示すようなチュートリアルの最初のステップにおいて、ディスプレイは、ユーザが染毛剤を適用する必要があるアイテムのリスト73を示すことができる。このリスト73は、システム10がユーザが保持しているオブジェクトを染毛剤として識別した後に表示される。ディスプレイはまた、ユーザがチュートリアルを開始するために対話することができる開始アイコン52を表示することができる。ディスプレイはまた、染毛剤の適用を完了するのに必要な時間に関連する警告74をユーザに示すこともできる。例えば、ユーザが一定の時間期間(ディスプレイ上の情報37を介してユーザに伝達される)に出発しなければならないが、通常、製品の適用を完了するのにその時間期間よりも長い時間がかかる場合、システム10は、この事実を示す警告74をユーザに発行することができる。
【0087】
ユーザが開始アイコン52と対話することによってチュートリアルを開始すると、ディスプレイは、染毛剤を適用する方法を示すいくつかの画像をユーザに示すことができる。
図20Bは、染毛剤を混合および調製する方法を示す画像76Aを、染毛剤を混合および調製するための命令78Aとともにユーザに表示するディスプレイを示している。
図20Cは、染毛剤から皮膚および衣類を保護する方法を示す画像76Bを、染毛剤から自分の皮膚および衣類を保護するための命令78Bとともにユーザに表示するディスプレイを示している。
図20Dは、染色プロセスのために髪を準備するためのユーザの画像76Cを、染色プロセスのためにユーザの髪を準備するための命令78Cとともに表示するディスプレイを示している。
図20Eは、染毛剤を髪に適用するユーザの画像76Dを、染毛剤を適用するための命令78Dとともに表示するディスプレイを示している。最後に、
図20Fは、染毛剤を自分の髪から洗い流すユーザの画像76Eを、染毛剤を自分の髪から洗い流すタイミングと方法に関する命令78Eとともに表示するディスプレイを示している。
図20Fに示されるこの最後のステップにおいて、ディスプレイはまた、自分の髪から染毛剤を洗い流す前にその髪に染毛剤を保持する必要がある時間を示すタイマー80を示すことができる。システム10はまた、タイマー80がゼロに達したときにユーザに通知するためのアラームも含むことができ、ユーザは、自分の髪から染毛剤を洗い流し始めることができる。アラームは、音声アラーム、視覚アラーム、これらの組み合わせ、または任意の他の好適なタイプのアラームであってもよい。
【0088】
図20Eに示すように、染毛剤を適用するための命令78Dはまた、360°視覚化機能を使用するための提案も含むことができる。これは、ユーザが背面および側面を含む頭全体に均一に染毛剤を適用したことを確認できるようにするためである。このステップにおいて、ディスプレイは、ユーザが360°視覚化機能を起動するために選択することができるアイコン82を表示し、これは、
図21Aおよび21Bに示されている。視覚化機能が起動されると、カメラ20は、ユーザの記録を開始することができ、例えば、カメラ20は、ユーザの画像またはビデオとして再現可能な画像データの生成を開始することができる。この時点で、ディスプレイは、テキスト命令84および描画命令86とともに、ユーザのライブビデオフィード88を表示することができる。テキスト命令84は、例えば、カメラ20がユーザの頭を記録することができるように後ろを向いていることを使用に指示することができる。描画命令86は、回転する方向をユーザに示すループ矢印を含むことができる。記録が完了すると、ディスプレイは、
図21Bに示すように、記録されたビデオに基づいてユーザの3Dモデル90を表示することができる。この3Dモデルは、ユーザが操作して、ユーザの頭の様々な部分を回転および/またはそれにズームインすることができる。
【0089】
図18A~21Bは、アイライナーおよび染毛剤のチュートリアルを示しているが、システム10は、任意のタイプの製品またはその適用に一般に適用可能なチュートリアルを提供することができる。例えば、システム10は、化粧の適用、保湿剤の適用、染毛剤の適用、ヘアジェルの適用、シェービングクリームの適用、シェービング、歯磨き、眉毛ワックスがけ、ワックスがけ、眉毛スレッディング、スレッディング、フェイシャル、耳掃除、ヘアスタイリング、コンタクトレンズの適用、フェイシャルマスクの適用、またはこれらの任意の組み合わせのためのチュートリアルを提供することができる。さらに、これらの図または他の図に関して記載された機能のいずれかは、任意のタイプのチュートリアルと組み合わせて、またはシステム10が実行することができる他の非チュートリアルアプリケーションのために利用することができる。例えば、360°視覚化機能は、染毛チュートリアルだけでなく、システム10によって実行されるユーザまたはアプリケーションによって取得されたものと組み合わせて使用することができる。
【0090】
ここで
図22A~22Hを参照すると、システム10はまた、ユーザの異なる特徴の変更に基づいて、ユーザが自分自身の変更された画像を見ることができるようにするアプリケーションを実行することもできる。例えば、ユーザは、様々なタイプの製品または手順を適用した後、例えば、様々な染毛剤を適用するか、または様々な髪型を取得した後の様子を示す自分自身の画像を見ることができる。このプロセスの一部として、システム10は、
図22Aに示すように、「前」の画像を捕捉することができる。ここで、ディスプレイは、ユーザを含むディスプレイ上にリアルタイムビデオフィード200を表示することができる。ディスプレイはまた、高品質の前の画像を捕捉するために自分自身をどこに位置付けるかをユーザに示すセンタリング指標202を含むことができる。センタリング指標202の目的は、システム10がユーザについて捕捉するあらゆる画像が、すべて同じ場所にいるユーザを示すことを確実にすることである。ディスプレイはまた、前の画像を捕捉するための命令204を表示する。ユーザがシステム10に前の画像を捕捉するように命令すると(例えば、ディスプレイとの物理的対話を介して、または音声作動を介して)、ディスプレイは、
図22Bに示すように前の画像206を示すことができる。ディスプレイはまた、ユーザが適用する様々なタイプの製品または手順の選択を開始できる開始アイコン52も表示する。
【0091】
図22Cに示すように、ディスプレイは、複数のユーザ選択可能オプション210A~210Hを示すことができる。ユーザ選択可能オプション210A~210Hの各々は、ユーザに関連する第1の特徴の固有の変更に関連付けられている。この例では、その特徴は髪の色であり、個々のユーザ選択可能オプション210A~21Hは、その特徴の固有の提案された変更、例えば異なる髪の色に関連付けられている。ユーザ選択可能オプション210A~210Hの各々はまた、異なる提案された変更を示す画像も含むことができる。いくつかの実装形態では、画像は、その提案された変更を伴う人の画像を示してもよい。他の実装形態では、画像は、提案された変更を表すある種の指標を示してもよい。
【0092】
ユーザ選択可能オプション210A~210Hとともに、ディスプレイは、前の画像206を表示することができる。システム10が、入力デバイスを介して、オプション210A~210Hのうちの1つのユーザからの選択を受信すると、ディスプレイは、選択されたオプションに対応する特徴の提案された変更をユーザに示す変更された画像208を示すことができる。この例では、変更された画像208は、選択オプションに対応する髪の色でユーザを示している。いくつかの実装形態では、ディスプレイは、異なる変更(例えば、髪の色)がユーザによって選択されると、リアルタイムで変更されるユーザのリアルタイムビデオフィードを表示する。ユーザが提案された変更のいずれかを気に入った場合、ユーザは、アイコン212をタップするかまたはこれと対話して、そのことをメモすることができる。ユーザが気に入った提案された変更を少なくとも1つ識別したら、ユーザは、確認アイコン214をタップして次の段階に進むことができる。他の実装形態では、システム10は、ユーザが第1の特徴を最後に変更したときに捕捉されたユーザの前の画像を、選択されたオプションと同じように表示することができる。これにより、ユーザは自分の履歴をチェックして、どの変更を気に入ったかを決定することができる。
【0093】
いくつかの実装形態では、システム10は、ユーザが選択するためのオプション210A~210Hを表示する代わりに、ユーザが保持しているオブジェクトを識別し、その識別に基づいて変更された画像208を示すことができる。例えば、システム10は、ユーザが特定の色の染毛剤を保持していることを決定でき、識別された染毛剤に対応する色を髪の毛でユーザに示す変更された画像208を生成することができる。
【0094】
次に、
図22Dに示すように、ディスプレイは、ユーザに関連する第2の特徴の固有の提案された変更に対応する、ユーザ選択可能オプション218A~218Eの第2のセットを表示することができる。この実装形態では、第2の特徴は髪型である。オプション218A~218Eの第2のセットの各々は、提案された変更を示す画像、またはいくつかの他の指標を含むことができる。ユーザが異なる髪型を選択すると、ディスプレイは、その髪型を有する人の画像216を示すことができる。一般に、ユーザの第2の特徴が何であるかに応じて、システム10は、その特徴に対する提案された変更を伴うユーザの静止またはリアルタイムの画像/ビデオを表示できない場合がある。例えば、システム10が、異なる髪の色でユーザの変更された静止画像またはリアルタイムビデオを表示することが難しい場合がある。しかしながら、システム10は、代わりに、その髪型を有する人のストック画像またはビデオを単に示してもよい。
【0095】
ユーザがアイコン212を使用して第2の特徴に対してオプション218A~218Eのうちの少なくとも1つを選択した後、ユーザはアイコン220と対話して、
図22Eに示される段階に移動することができる。ここで、ディスプレイは、ユーザの前の画像206を、前の画像206ではあるが、第1の特徴に対する選択された変更を有するユーザを示す複数の画像222A、222B、222Cとともに表示することができる。ディスプレイはまた、第2の特徴に対する選択された変更に対応する画像224A、224B、224Cも示すことができる。画像224A、224B、224Cは、他の人の画像であってもよい。第1および第2の特徴の変更のオプションを検討した後、システム10は、
図22Fに示すように、第1の特徴に対する所望の変更を示す画像226および第2の特徴に対する所望の変更を示す画像228を表示することができる。
【0096】
図22Gに示すように、ユーザが特徴に対して選択された変更を実際に行うと(例えば、ユーザが自分の髪を染色およびカットした)、システム10は「後の」画像230を取得することができる。図示するように、ディスプレイは、リアルタイムビデオフィード200およびセンタリング指標202を示すことができる。センタリング指標202は、前の画像206と後の画像230との両方が同じ角度からユーザを示すことを確実にする。システム10が後の画像230を捕捉すると、システム10は、前の画像206および後の画像230を並べて表示して、ユーザがそれらを比較することを可能にすることができる。システム10はまた、前の画像206および後の画像230を使用して、それ自体を訓練して、ユーザの特徴に対する提案された変更をよりよく示すことができてもよい。例えば、システム10は、それが生成した画像を比較して、潜在的な変更を示し、ユーザがその変更を受けた後の実際の画像と比較することができる。システム10は、あらゆる差を識別し、それを使用して、将来的に、変更された画像の生成を改善することができる。
【0097】
図22A~22Hに関連して説明した機能は、一般に、任意のタイプのアクティビティに関連して、一般に任意の組み合わせで使用することができる。例えば、これらの機能は、化粧の適用など、ユーザの髪をカットまたは染色すること以外のアクティビティで使用できる。さらに、ユーザの任意の特徴について、ディスプレイは、その特徴に対する様々な異なる変更を説明する画像を表示することができる。画像は、ユーザ自身の変更された画像、または変更を示している他の人の画像のいずれかであってもよい。
【0098】
システム10はまた、ユーザのアクティビティの写真履歴を維持することもできる。一実装形態では、ディスプレイは、ユーザがアクティビティ(例えば、化粧または他の物質を適用する)を完了した後、ユーザに前後の画像を示して、ユーザがアクティビティをどれだけうまく行ったかを調べることができる。別の実装形態では、ディスプレイは、化粧または他の物質を適用した過去の結果をユーザに示すことができる。これにより、ユーザは自分の過去の適用を調べて、試行および回避する必要のある何らかのエラーが発生したかどうかを決定することができる。またこれにより、ユーザは自分の履歴をチェックして、自分が繰り返したいアクティビティのタイプ(例えば、ユーザがもう一度行いたい過去のヘアカット)を決定することもできる。
【0099】
ここで
図23を参照すると、システム10は、ユーザがタップまたはスワイプを介して光源によって放出される光を調整することを可能にするように構成されている。一例では、ディスプレイは、色を調整するための命令232をユーザに示す。水平アイコン234Aおよび234Bを操作して(アイコンをタップするか、またはアイコンをスワイプすることにより)、明るさ、暖かさ、色、温度などの光の特性を調整することができる。垂直アイコン236Aおよび236Bも、同じ方法で操作することができる。いくつかの実装形態では、水平アイコン234Aおよび234Bを使用して、放出された光の第1の特性(例えば、明るさ)を調整することができ、垂直アイコン236Aおよび236Bを使用して、放出された光の第2のプロパティ(例えば、色)を調整することができる。
【0100】
いくつかの実装形態では、ディスプレイ14は、休止モードまたはオフモードにあるときに、仮想電源ボタンをユーザに表示する。ユーザが仮想電源ボタンと対話すると、システム10が起動するか、またはオンになる。ユーザは、仮想電源ボタンが表示されているミラー12の表面にタッチすること(または自分の指をミラー12の表面のすぐ近傍に移動させること)によって、この仮想電源ボタンと対話することができる。他の実装形態では、システム10は、ユーザが対話することができる物理的な電源ボタンを含む。さらに他の実装形態では、システム10は、ユーザが少なくとも指定された時間期間、ミラー12のユーザ側表面の閾値距離内に自分の指を近づけたことを検出するように構成された近接センサを含む。これを検出すると、システム10が起動するかまたはオンになる。
【0101】
いくつかの実装形態では、システム10は、アプリケーションを実行して、ユーザの視力またはユーザの目に関連する他の特性を検査することができる。このアプリケーションは、ユーザが手動で起動できます。しかしながら、システム10はまた、ユーザが自分の視力に問題を感じていることを検出すると、アプリケーションを自動的に起動することができる。視力が低下している人は、通常より目を細め始めることが多い。システム10は、例えば、目を細めたときにユーザの目の近くの顔に現れるしわを検出することによって、目を細めていることを検出するように構成することができる。システム10はまた、ユーザが他の方法で目を細めていることを検出することができる。アプリケーションが起動されると、システム10は、例えば、ますます小さくなる一連の数字および/または文字を表示し、ユーザに、依然として適切に見ることができる一連の数字を識別させることによって、ユーザに対して様々な視力検査を実行することができる。
【0102】
いくつかの実装形態では、システム10は、ストレッチングアプリケーションを実行することができる。このアプリケーションの一部として、システム10は、ユーザの姿勢(座っているのか、立っているのか、歩いているのか、走っているのか、ジャンプしているのか、など)を検出し、ユーザの姿勢を改善するための運動を推奨することができる。
【0103】
図24A~24Dは、
図22Cに示されているものと同様に、システム10が実行することができる拡張現実アプリケーションを示している。拡張現実アプリケーションは、ディスプレイ14に、ユーザ自身の様々な変更された画像またはビデオをユーザに表示させることができる。例えば、ユーザは、人に適用することができる美容製品(例えば、口紅、アイシャドウ、染毛剤など)を保持していてもよい。ディスプレイ14は、あたかも美容製品をユーザ自身に適用したかのようにユーザを示す、ユーザ(またはユーザの一部分)のリアルタイムビデオフィードを連続的に表示することができる。
図24Aは、待機モードのシステム10を示している。待機モードでは、ユーザまたはその周囲の領域の画像またはビデオはディスプレイ14に示されない。しかしながら、様々な他のアイコンがディスプレイ14上に表示されてもよい。待機モードでは、システム10が待機モードにあるとき、ディスプレイ14は一般に何も表示しないので、ミラー12の前のオブジェクトは、一般に、ミラー12内の映像として視認可能であるようになる。
【0104】
図24Bは、ユーザがミラー12の前でシステム10の近くを歩いた後のシステム10の図を示している。この図では、ディスプレイ14は、ユーザ304のリアルタイムビデオフィード302を連続的に示している。しかしながら、ディスプレイ14はまた、ユーザ30fが単にミラー12内の自分の映像を見るようにオフにすることができる。いくつかの実装形態では、システム10は、カメラ20を使用してミラー12を取り囲む領域を絶えず監視し、これによりユーザ304がミラー12の前を歩いたら、またはユーザ304がミラー12の前を歩いた後の一定の時間期間後に、ディスプレイ14がユーザ304のビデオフィード302を自動的に表示するようにする。他の実装形態では、ユーザ304は、ディスプレイ14内で自分自身のビデオフィード302を見るために、システム10を作動するか、またはシステム10を待機モードから起動させなければならない。いずれの実装形態においても、ユーザ304は、ディスプレイ14が作動し、ディスプレイ14がユーザ304のリアルタイムビデオフィード302を示す前に、ミラー12内の自分の映像を見ることができる。
【0105】
図24Cは、カメラ20の視野内でオブジェクト306を保持しているユーザ304を示している。システム10のプロセッサ22は、ユーザ304が保持しているオブジェクト306を検出および認識するために、連続的に、またはユーザからのある種のコマンド(例えば、音声コマンド、タッチコマンド、ジェスチャコマンドなど)に基づいて、オブジェクト認識(OR)アルゴリズムを実行する。
図17Aおよび17Bと同様に、システム10は、カメラ20によって生成されたデータを使用してオブジェクト306を認識することができる。ORアルゴリズムはまた、オブジェクト306の特定の特徴を検出することもできる。例えば、ORアルゴリズムが、ユーザ304が口紅の筒を保持していることを検出した場合、ORアルゴリズムは、ユーザ304が保持している口紅のブランドおよび色を識別することができる。ORアルゴリズムはまた、本明細書に記載するように、ユーザ304が保持し得る他のタイプのオブジェクト306を検出するために使用することもできる。
【0106】
システム10がユーザ304が保持しているオブジェクトを識別すると、ディスプレイ14は、識別されたオブジェクト306に基づいて、ユーザ304の連続的に表示されるリアルタイムビデオフィード302を変更することができる。
図24Dは、システム10が、
図24Cのユーザ304の連続的に表示されたリアルタイムビデオフィード302を変更したシステム10の図を示している。
図24Cでは、ディスプレイ14上のビデオフィード302は、ユーザ304およびユーザ304を取り囲む領域の部分を示している。
図24Dの変更されたビデオフィードでは、ユーザ304の変更された部分とユーザ304の変更されていない部分との両方が示されている。変更された部分は、ユーザ304が自分の唇に口紅を適用したかのように見える。ユーザ304の変更されていない部分は正常に見える。したがって、システム10は、ユーザ304のビデオフィード302が、ORアルゴリズムが検出したオブジェクトをユーザ304が保持しているかのように使用している様子を示すように、ユーザ304の連続表示リアルタイムビデオフィード302を変更する。例えば、オブジェクト306がユーザ304に適用することができる美容製品である場合、ユーザ304の変更されたビデオ302は、あたかもユーザが美容製品を自分自身に適用したかのようにユーザ304を示すであろう。ディスプレイ14は、オブジェクトが何であるかをユーザ304に示すことができる。
図24Cに示される実装形態では、ディスプレイ14は、「口紅」という単語を表示する。
【0107】
いくつかの実装形態では、ユーザ304の変更されたビデオフィード302は、ユーザ304の変更された部分とユーザ304の変更されていない部分との両方を示す。したがって、ユーザ304の顔および頭全体がディスプレイ14上に示される。この実装形態では、ディスプレイ14からミラー12を通ってユーザ304に向かって放出される光は、ミラー12から反射されてユーザ304に向かって戻ってくる光よりも強く、したがって、ユーザ304は、ディスプレイ14上のリアルタイムビデオフィード302内の自分自身の変更された部分と変更されていない部分との両方を見る。他の実装形態では、ディスプレイ14は、ユーザ304の変更された部分のみを示し、一方、ユーザ304の変更されていない部分(例えば、ユーザ304の顔および/または頭の残りの部分)は、ミラー12内の映像として示される。例えば、システム10が、ユーザ304が口紅を適用した場合にどのように見えるかをユーザ304に示す場合、ディスプレイ14は、口紅と同じ色に着色されたユーザ304の唇のみを表示し、ディスプレイ14の残りの部分は暗くなってもよい。ディスプレイ14は、ミラー12上でユーザ304の実際の唇と一般に位置合わせされている場所にあるユーザ304の唇を示すことになる。したがって、ユーザ304は、通常は自分の増強されていない唇の映像を見る場所と位置合わせされた場所で、ディスプレイ14内の自分の唇の変更されたバージョンを見るであろう。したがって、ユーザ304は、(1)ミラー12を通してディスプレイ14上のリアルタイムビデオ302上で自分自身の変更された部分(例えば、彼らの唇)、および(2)自分自身の変更されていない部分(例えば、自分の唇以外の顔および頭)をミラー12内の映像として見ることになる。
【0108】
システム10は、様々な方法で変更されたユーザ304のリアルタイムビデオフィード302を表示することができる。例えば、ユーザ304の変更されたビデオフィード302は、(1)眼鏡を着用しているユーザ304、(2)ユーザ304が通常眼鏡を着用している場合には眼鏡を着用していないユーザ304は、(3)髪の色が異なるユーザ304、(4)髪型が異なるユーザ304、(5)自分の顔の形を加工もしくは変更したユーザ304、(6)自分の皮膚の異常(そばかすまたはにきびなど)を除去したユーザ304、(7)顔色が変更された(例えば、日焼けもしくは日焼けを伴う)ユーザ304、または(8)任意の他の好適または所望の変更を示すことができる。
【0109】
いくつかの実装形態では、変更されたビデオフィード302は、ユーザ304が保持しているオブジェクト306を検出すると自動的に表示される。他の実装形態では、変更されたビデオ302は、表示されたユーザ選択可能アイコンのユーザ選択、音声コマンド、または物理的トリガー機構(ボタンまたはタッチセンサ式コントローラなど)のユーザ作動などの、何らかのタイプのプロンプトを、システム10が受信または識別することに応答して表示される。プロンプトはまた、システム10がオブジェクト306を検出および識別することができるように、オブジェクト306をカメラ20の視野に持ってくることであってもよい。いくつかの実装形態では、ユーザ304が配置されている部屋の周囲条件(光、温度、湿度など)、地域の気象条件、または周囲条件もしくは地域の気象条件の変化もまた、ユーザ304のリアルタイムビデオフィード302を変更するためのシステム10へのプロンプトとして機能し得る。さらに、変更されたビデオ302によって示される実際の変更は、ユーザ304によって保持されているオブジェクト306の識別以外のものに基づくことができる。例えば、ディスプレイ14に変更されたビデオを表示させるシステム10によって受信または識別されたプロンプトはまた、変更されたビデオに表示する変更のタイプを選択することもできる。変更されたビデオ内の変更は、ユーザ304が配置されている部屋の周囲条件、地域の気象条件、または任意の他の好適な機構に基づくこともできる。
【0110】
一般に、システム10は、ユーザの画像データを生成し、画像データを処理し、リアルタイムまたはほぼリアルタイムで連続的に表示されるユーザのビデオフィードを変更できなければならない。この時間期間は、システム10の応答時間として知られている。一般に、システム10は、約20ミリ秒で画像データを処理し、ビデオフィードを変更することができる。したがって、例えば、ユーザ304がカメラ20の視野内を移動すると、ユーザ304の新しい場所が、約20ミリ秒以内にディスプレイ14上に示される。他の実装形態では、システム10の応答時間は、約20ミリ秒未満、約5ミリ秒~20ミリ秒、約10ミリ秒~約20ミリ秒、または約10ミリ秒未満とすることができる。他の実装形態では、システム10は、画像データを処理し、約50マイクロ秒以内にユーザ304のビデオフィードを変更することができる。約10マイクロ秒~約50マイクロ秒、約20マイクロ秒~約40マイクロ秒、約10マイクロ秒~約30マイクロ秒、または約20マイクロ秒。さらに他の実装形態では、システム10は、画像データを処理し、約1秒以内にビデオフィードを変更する。本明細書で使用される場合、少なくとも連続的に表示されるユーザのビデオフィードに関連して使用される「リアルタイム」という用語は、システム10が画像データを処理し、本明細書で説明される時間枠または期間内でユーザのビデオフィードを変更する実装形態を指す。
【0111】
ディスプレイ14がリアルタイムビデオフィード302内のユーザ304の変更された部分のみを表示する実装形態では、システム10の応答時間を短縮することができる。システム10のプロセッサ22は、ビデオフィード302内で変更されているユーザ304の部分に対応する画像データを処理するだけでよいので、ビデオフィード302の変更は、一般に、ユーザ304のすべて(またはさらにはユーザ304のより大きな部分)のビデオフィード302が変更されている場合よりも時間がかからない。
【0112】
カメラ20によって生成された画像データを処理するとき、システム10は、結果として生じる画像またはビデオフィード302がユーザ304がミラー12内で見るものと一致するように、ユーザ304の結果として生じる画像またはビデオフィード302を垂直軸を中心に反転させることができる。ミラー12内のユーザ304の映像は垂直軸を中心に反転されるので、カメラ20によって捕捉されてディスプレイ14に表示される通常の画像またはビデオフィードは、ユーザ304の映像と一致しないことになる。したがって、ディスプレイ14に表示される画像またはビデオフィード302は、ミラー12内の映像と一致するように垂直軸を中心に反転される。
【0113】
システム10はまた、ユーザ304の気分を決定し、ユーザ304の気分を変更または改善するためのアクションをとるためにも使用することができる。一実装形態では、システム10は、ユーザ304の特定のアクションまたは特徴を検出することによって、ユーザ304がネガティブな気分を有しているかどうかを決定することができる。例えば、システム10は、ユーザ304が眉をひそめているとき、ユーザ304が肩を落としているとき、ユーザ304が頭を垂れているとき、またはネガティブな気分を示し得る任意の他の好適なアクションを検出することができる。ネガティブな気分を検出した後、システム10は、ユーザ304の気分を改善することを試みるためにいくつかの行動をとることができる。例えば、システム10は、ユーザ304のお気に入りの曲を再生するか、ユーザ304を取り囲む領域の周囲照明を改善し、ユーザ304にポジティブな記憶の保存された写真またはビデオを示すか、ユーザ304に所望の地域の気象条件(現在または将来)を示すか、何らかの所望の機能を有するユーザ304の変更されたビデオを表示するか、または任意の他の好適なアクションをとることができる。
【0114】
別の実装形態では、システム10は、例えば、ユーザ304の笑顔を検出することによって、またはポジティブな気分に関連付けられている任意の他のアクションを検出することによって、ユーザ304がポジティブな気分を有するかどうかを決定することができる。システム10は、ユーザ304がポジティブな気分になっている理由に関する情報を記憶することができ、これは、将来、ユーザ304のネガティブな気分を改善するために使用することができる。
【0115】
さらに他の実装形態では、システム10は、ユーザ304の様々な特徴(characteristic)または特徴(feature)を検出した後、アドバイザーまたはモチベーターとして機能することができる。例えば、システム10が、ユーザ304が体重を増加させたことを知っているかまたは検出した場合、システム10は、ユーザ304に対して、ユーザがより頻繁に運動すること、毎日のステップをより多くとること、より健康的な食事をすることなどを提案することができる。別の例では、システム10は、ユーザ304の動機付けを図るために、体型が整っているか、または体型が崩れているかのいずれかのユーザ自身の変更されたビデオまたは写真をユーザ304に見せることができる。さらなる例では、システム10は、ユーザ304の目の下のくま、過度のあくびなどを監視することによって、ユーザ304が十分な睡眠をとっていないかどうかを検出し、ユーザ304に、より多くの睡眠をとることを提案することができる。さらに別の例では、システム10は、ユーザ304が通常よりも自分の目を細めているか、または大きく開いていることを検出することなどによって、ユーザ304が見るのが困難であるかどうかを検出することができる。システム10は、視力検査を実施することができ、および/またはユーザ304が眼鏡またはコンタクトを入手するために眼科医を訪問することを提案することができる。
【0116】
本開示を、1つ以上の特定の実装形態またを参照して説明してきたが、当業者であれば本開示の趣旨および範囲から逸脱することなく、数多くの変更が行われ得ることを認識するであろう。これらの実装形態およびそれらの明らかな変形例の各々は、本開示の趣旨および範囲内に入るものとして想到される。また、本開示の態様による追加の実装形態が、本明細書に記載される実装形態のいずれかからの任意の数の特徴を組み合わせ得ることも想到される。
【0117】
代替的な実装形態
代替的な実装形態1.システムであって、第1の側と反対側の第2の側とを有するミラーであって、ミラーが、第1の側に入射する光の第1の部分がミラーを通って透過することを可能にし、かつ第1の側に入射する光の第2の部分がミラーから反射することを可能にするように構成されている、ミラーと、ミラーの第2の側に隣接して位置付けられた電子ディスプレイであって、電子ディスプレイ少なくとも部分的に作動することに応答して、電子ディスプレイがミラーの第1の側を通して少なくとも部分的に視認可能であるように位置付けられている、電子ディスプレイと、一般にミラーの外周の周りに位置付けられ、ミラーの第1の側に隣接して位置付けられたオブジェクトの存在および相対位置を検出するように構成された1つ以上のセンサと、光を生成し、オブジェクトがミラーの第1の側に隣接することに応答してオブジェクトを照射することを少なくとも部分的に支援するように構成された光源と、ミラーの第2の側に隣接して位置付けられたカメラであって、オブジェクトを検出するように構成されている、カメラと、を備える、システム。
【0118】
代替的な実装形態2.光源の色または強度を調整するように構成された1つ以上のプロセッサをさらに備える、代替的な実装形態1に記載のシステム。
【0119】
代替的な実装形態3.光源がもう1つの発光ダイオードを含む、代替的な実装形態1に記載のシステム。
【0120】
代替的な実装形態4.ミラーが第1の軸と第1の軸に垂直な第2の軸とを有し、1つ以上のセンサが、ミラーの第1の軸に対するオブジェクトの第1の軸方向位置、およびミラーの第2の軸に対するオブジェクトの第2の軸方向位置を検出するように構成されている、代替的な実装形態1に記載のシステム。
【0121】
代替的な実装形態5.1つ以上のセンサが、第1の軸に平行なミラーの第1の部分に沿って配設された1つ以上の送信機の第1のセットと、第1の軸に平行なミラーの第2の反対側の部分に沿って配設された1つ以上の受信機の第1のセットと、を含み、1つ以上の送信機の第1のセットおよび1つ以上の受信機の第1のセットが、オブジェクトの第1の軸方向位置を検出するように構成されている、代替的な実装形態4に記載のシステム。
【0122】
代替的な実装形態6.1つ以上のセンサが、第2の軸に平行なミラーの第3の部分に沿って配設された1つ以上の送信機の第2のセットと、第2の軸に平行なミラーの第4の反対側の部分に沿って配設された1つ以上の受信機の第2のセットと、を含み、1つ以上の送信機の第2のセットおよび1つ以上の受信機の第2のセットが、オブジェクトの第2の軸方向位置を検出するように構成されている、代替的な実装形態5に記載のシステム。
【0123】
代替的な実装形態7.第1の軸が垂直軸であり、第2の軸が水平軸である、代替的な実装形態6に記載のシステム。
【0124】
代替的な実装形態8.1つ以上のセンサの少なくとも一部分が、ミラーの外周に結合されたセンサフレーム内に配設されている、代替的な実装形態6に記載のシステム。
【0125】
代替的な実装形態9.ディスプレイの少なくとも一部分を作動させることによって、オブジェクトを照射することをディスプレイに支援させるように構成された1つ以上のプロセッサをさらに備える、代替的な実装形態1に記載のシステム。
【0126】
代替的な実装形態10.1つ以上のプロセッサは、1つ以上のセンサのうちの少なくとも1つが、ミラーの第1の側に隣接して位置付けられたオブジェクトの存在および相対位置を検出することに応答してディスプレイの部分を作動させるように構成されている、代替的な実装形態9に記載のシステム。
【0127】
代替的な実装形態11.ディスプレイの作動された部分は、ディスプレイの作動された部分が一般にオブジェクトの外側外周と位置合わせするようにリング形状の構成を含む、代替的な実装形態9に記載のシステム。
【0128】
代替的な実装形態12.ディスプレイの作動された部分がディスプレイの作動されていない部分を実質的に包囲しており、ディスプレイの作動されていない部分が一般にオブジェクトの外側外周の内部と位置合わせされている、代替的な実装形態11に記載のシステム。
【0129】
代替的な実装形態13.ディスプレイの作動された部分がオブジェクトの形状に対応する形状を有する、代替的な実装形態9に記載のシステム。
【0130】
代替的な実装形態14.オブジェクトが顔であり、ディスプレイは、顔がミラーから閾値距離内に配置されることに応答して作動される、代替的な実装形態9に記載のシステム。
【0131】
代替的な実装形態15.閾値距離が約5インチ未満である、代替的な実装形態14に記載のシステム。
【0132】
代替的な実装形態16.周囲光条件を検出するように構成された周囲光センサをさらに備える、代替的な実装形態1に記載のシステム。
【0133】
代替的な実装形態17.検出された周囲光条件と所望の光条件との間の差を決定するように構成された1つ以上のプロセッサをさらに備える、代替的な実装形態16に記載のシステム。
【0134】
代替的な実装形態18.1つ以上のプロセッサのうちの少なくとも1つが、検出された周囲光条件と所望の光条件との間の決定された差に基づいて、光源によって生成された光を調整し、周囲条件および光源によって生成された光が組み合わさって、オブジェクトが所望の光条件に従って照射されるようにするように構成されている、代替的な実装形態17に記載のシステム。
【0135】
代替的な実装形態19.周囲光センサがカメラに含まれている、代替的な実装形態16に記載のシステム。
【0136】
代替的な実装形態20.ディスプレイが、ミラーを通してユーザに視認可能である1つ以上のユーザ選択可能アイコンを表示するように構成されており、1つ以上のプロセッサが、1つ以上のユーザ選択可能アイコンのうちの1つの選択に応答して、光源によって生成された光を調整するように構成されている、代替的な実装形態1に記載のシステム。
【0137】
代替的な実装形態21.ディスプレイが、カメラによって捕捉されたリアルタイムビデオ画像を表示するように構成されている、代替的な実装形態1に記載のシステム。
【0138】
代替的な実装形態22.第1のアプリケーションを実行するように構成された1つ以上のプロセッサをさらに備え、ディスプレイが、第1のアプリケーションに関連する第1のタイプの情報を表示するように構成されている、代替的な実装形態1に記載のシステム。
【0139】
代替的な実装形態23.カメラが、ミラーの第1の側に隣接する領域を監視するように構成されており、1つ以上のプロセッサのうちの少なくとも1つが、オブジェクトを識別するように構成されている、代替的な実装形態22に記載のシステム。
【0140】
代替的な実装形態24.オブジェクトの識別に応答して、1つ以上のプロセッサのうちの少なくとも1つが、第1のアプリケーションに関連する第2のタイプの情報をディスプレイに表示させるように構成されており、第2のタイプの情報が、(i)第1のタイプの情報とは異なっており、(ii)識別されたオブジェクトに基づいている、代替的な実装形態23に記載のシステム。
【0141】
代替的な実装形態25.オブジェクトの識別に応答して、1つ以上のプロセッサのうちの少なくとも1つが、第1のアプリケーションとは異なる第2のアプリケーションを実行するように構成されており、第2のアプリケーションが、識別されたオブジェクトに基づいている、代替的な実装形態23に記載のシステム。
【0142】
代替的な実装形態26.オブジェクトが歯ブラシ、かみそり、コーム、化粧道具、ユーザの顔、またはこれらの任意の組み合わせである、代替的な実装形態1に記載のシステム。
【0143】
代替的な実装形態27.アプリケーションの実行を変更する方法であって、電子ディスプレイデバイスおよびミラーを提供することであって、ミラーが、第1の側および反対側の第2の側を有し、電子ディスプレイデバイスが、ミラーの第2の側に隣接して位置付けられ、そのような電子ディスプレイデバイスが、電子ディスプレイデバイスが作動されることに応答してミラーの第1の側を通して少なくとも部分的に視認可能である、提供することと、電子ディスプレイデバイスに通信可能に結合された1つ以上の処理デバイス上で、第1のアプリケーションを実行することと、電子ディスプレイデバイス上に、第1のアプリケーションに関連する第1のタイプの情報を表示することと、1つ以上の処理デバイスに通信可能に結合されたカメラを用いて、ミラーの第1の側に隣接する領域を監視することと、1つ以上の処理デバイスを用いて、ミラーの第1の側に隣接する領域に配設されたオブジェクトを検出することと、1つ以上の処理デバイスを用いて、複数の所定の潜在的なオブジェクトからの検出されたオブジェクトを識別することと、検出されたオブジェクトの識別に応答して、識別された検出されたオブジェクトに基づいて第1のアプリケーションの実行を変更することと、を含む、方法。
【0144】
代替的な実装形態28.第1のアプリケーションの実行を変更することは、第1のアプリケーションに関連する第2のタイプの情報を表示することを含み、第2のタイプの情報が、第1のタイプの情報とは異なる、代替的な実装形態27に記載の方法。
【0145】
代替的な実装形態29.第1のアプリケーションの実行を変更することが、第1のアプリケーションとは異なる処理デバイス上で第2のアプリケーションを実行することを含む、代替的な実装形態27に記載の方法。
【0146】
代替的な実装形態30.オブジェクトが歯ブラシ、かみそり、化粧道具、またはこれらの任意の組み合わせである、代替的な実装形態27に記載の方法。
【0147】
代替的な実装形態31.顔を照明する方法であって、電子ディスプレイデバイスおよびミラーを提供することであって、ミラーが、第1の側および反対側の第2の側を有し、電子ディスプレイデバイスが、ミラーの第2の側に隣接して位置付けられ、そのような電子ディスプレイデバイスが、電子ディスプレイデバイス作動されていることに応答してミラーの第1の側を通して少なくとも部分的に視認可能である、提供することと、1つ以上のセンサを用いて、ミラーの第1面に隣接する領域を監視することと、1つ以上のセンサを用いて、顔がミラーの第2の側のミラーの表面から閾値距離内に位置付けられることに応答して顔を検出することと、1つ以上のセンサに通信可能に結合された1つ以上のプロセッサを使用して、顔の外側外周を決定することと、電子ディスプレイデバイスの一部分を起動して、顔を照射することと、を含む、方法。
【0148】
代替的な実装形態32.電子ディスプレイデバイスの作動された部分は、電子ディスプレイデバイスの作動された部分が一般に顔の外側外周と位置合わせされるようなリング形状の構成を含む、代替的な実装形態31に記載の方法。
【0149】
代替的な実装形態33.電子ディスプレイデバイスの作動された部分がディスプレイの作動されていない部分を実質的に包囲しており、電子ディスプレイデバイスの作動されていない部分が一般に顔の外側外周の内部と位置合わせされている、代替的な実装形態32に記載の方法。
【0150】
代替的な実装形態34.電子ディスプレイデバイスの作動された部分が、一般に顔の形状に対応する形状を有する、代替的な実装形態31に記載の方法。
【0151】
代替的な実装形態35.閾値距離が約5インチ未満である、代替的な実装形態31に記載の方法。
【0152】
代替的な実装形態36.ユーザの顔を照射するためのシステムであって、スマートミラーデバイスであって、フレームと、フレームに結合されたミラーと、フレームに結合され、ミラーの外周の少なくとも一部分に概ね隣接して位置付けられた1つ以上のセンサと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、1つ以上のプロセッサであって、スマートミラーデバイスに、ユーザの顔がミラーの表面からの閾値距離内に位置付けられることに応答して、1つ以上のセンサのうちの少なくとも1つを介して、ユーザの顔を検出すること、顔の外側外周を決定すること、および電子ディスプレイデバイスの一部分を作動させて、顔を照射することを支援すること、を行うことをさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を含む、スマートミラーデバイスを備える、システム。
【0153】
代替的な実装形態37.電子ディスプレイの作動された部分が、略楕円形形状、略円形形状、略湾曲形状、またはこれらの任意の組み合わせを有する、代替的な実装形態36に記載のシステム。
【0154】
代替的な実装形態38.電子ディスプレイの作動された部分がまた、ミラー内の顔の映像を照射することを支援する、代替的な実装形態36に記載のシステム。
【0155】
代替的な実装形態39.ミラーは、ミラーが電子ディスプレイの画面から1インチ未満になるようにフレームに結合されている、代替的な実装形態36に記載のシステム。
【0156】
代替的な実装形態40.周囲光条件を補償する方法であって、電子ディスプレイデバイスおよびミラーを提供することであって、ミラーが、第1の側および反対側の第2の側を有し、電子ディスプレイデバイスが、ミラーの第2の側に隣接して位置付けられ、そのような電子ディスプレイデバイスが、電子ディスプレイデバイスが作動されることに応答して、ミラーの第1の側を通して少なくとも部分的に視認可能である、提供することと、周囲光センサを使用して、オブジェクトを照射する周囲光条件を検出することと、周囲光センサに通信可能に結合された1つ以上のプロセッサを使用して、検出された周囲光条件と所望の光条件との間の差を決定することと、周囲光条件と所望の光条件との間の決定された差に基づいて、1つ以上の光源を使用して光を生成することと、周囲光条件および生成された光が組み合わさって、所望の照明条件に従ってオブジェクトが照射されるように、生成された光を用いてオブジェクトを照明することと、を含む、方法。
【0157】
代替的な実装形態41.周囲光センサがカメラである、代替的な実装形態40に記載の方法。
【0158】
代替的な実装形態42.オブジェクトの画像を捕捉することと、捕捉された画像を分析することと、によって周囲光条件が検出される、代替的な実装形態41に記載の方法。
【0159】
代替的な実装形態43.周囲照明条件を補償するためのシステムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された周囲照明センサと、1つ以上の光源と、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、1つ以上のプロセッサであって、スマートミラーデバイスに、周囲照明センサを使用して、システムに隣接する周囲照明条件を検出すること、検出された周囲照明条件と所望の照明条件との違いを決定すること、および周囲照明条件と所望の照明条件との間の決定された差に基づいて、1つ以上の光源を介して光を放出すること、を行うことをさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を含む、スマートミラーデバイスを備える、システム。
【0160】
代替的な実装形態44.ユーザの画像を捕捉する方法であって、電子ディスプレイデバイスおよびミラーを提供することとであって、ミラーが、第1の側および反対側の第2の側を有し、電子ディスプレイデバイスが、ミラーの第2の側に隣接して位置付けられ、そのような電子ディスプレイデバイスが、電子ディスプレイデバイスが作動されることに応答して、ミラーの第1の側を通して少なくとも部分的に視認可能である、提供することと、1つ以上の光源によって生成された光を使用して、ミラーの第1の側に隣接して配置されているユーザを照明することと、カメラを使用して、ミラーの第1の側に隣接して配置されているユーザの第1の画像を捕捉することと、捕捉されたユーザの第1の画像を電子ディスプレイデバイス上に表示することと、電子ディスプレイデバイス上に、1つ以上のユーザ選択可能アイコンを表示することであって、各アイコンが異なる照明条件に対応している、表示することと、1つ以上のユーザ選択可能アイコンのうちの少なくとも1つのユーザ選択を検出することと、ユーザが選択された照明条件によって照射されるように、1つ以上のユーザ選択可能アイコンのうちの少なくとも1つのユーザ選択に基づいて、1つ以上の光源によって生成される光を調整することと、カメラを使用して、選択された照明条件によって照射されたユーザの第2の画像を捕捉することと、含む、方法。
【0161】
代替的な実装形態45.ミラーおよびセンサフレームが同一の形状を有する、代替的な実装形態6に記載のシステム。
【0162】
代替的な実装形態46.ミラーおよびセンサフレームが異なる形状を有する、代替的な実装形態6に記載のシステム。
【0163】
代替的な実装形態47.センサフレームが、長方形形状、正方形形状、三角形形状、円形形状、または楕円形形状を有する、代替的な実装形態6に記載のシステム。
【0164】
代替的な実装形態48.センサフレームが、長方形形状、正方形形状、三角形形状、円形形状、または楕円形形状を有する、代替的な実装形態6に記載のシステム。
【0165】
代替的な実装形態49.システムであって、第1の側および反対側の第2の側を有するミラーであって、ミラーが、第1の側に入射する光の第1の部分がミラーを通って透過することを可能にし、かつ第1の側に入射する光の第2の部分がミラーから反射することを可能にするように構成されている、ミラーと、第1の電子ディスプレイが少なくとも部分的に作動されることに応答して、ミラーの第2の側に隣接して位置付けられた第1の電子ディスプレイであって、第1の電子ディスプレイが少なくとも部分的に作動されることに応答して、ミラーの第1の側を通して少なくとも部分的に視認可能であるように位置付けられている、第1の電子ディスプレイと、ミラーの第2の側に隣接して位置付けられた第2の電子ディスプレイであって、第2の電子ディスプレイが少なくとも部分的に作動されることに応答して、ミラーの第1の側を通して少なくとも部分的に視認可能であるように位置付けられており、第2の電子ディスプレイは、第1の電子ディスプレイと第2の電子ディスプレイとの間に隙間が画定されるように、第1の電子ディスプレイから離間している、第2の電子ディスプレイと、一般にミラーの外周の周りに位置付けられ、ミラーの第1の側に隣接して位置付けられたオブジェクトの存在および相対位置を検出するように構成された1つ以上のセンサと、光を生成し、オブジェクトがミラーの第1の側に隣接することに応答して、オブジェクトを照射することを少なくとも部分的に支援するように構成された光源と、オブジェクトを検出するように構成されたカメラであって、カメラが、ミラーの第2の側に隣接して位置付けられ、第1の電子ディスプレイと第2の電子ディスプレイとの間の隙間内に位置付けられている、カメラと、を備える、システム。
【0166】
代替的な実装形態50.システムであって、フレームと、フレームに結合されたミラーであって、ミラーが、第1の側および反対側の第2の側を有し、ミラーは、第1の側に入射する光の第1の部分がミラーを透過することを可能にし、かつ第1の側に入射する光の第2の部分がミラーから反射することを可能にするように構成されている、ミラーと、フレームに結合された電子ディスプレイであって、ミラーの第2の側に隣接して位置付けられるように結合されている、電子ディスプレイと、ミラーの外周の少なくとも一部分の概ね周りに位置付けられ、ミラーの第1の側に隣接して位置付けられたオブジェクトの存在および相対位置を検出するように構成された複数のセンサと、カメラであって、ミラーの第2の側に隣接して位置付けられており、オブジェクトがミラーの第1の側に隣接して位置付けられることに応答してカメラの視野内にあるようにオブジェクトが位置付けられている、カメラと、障害物であって、フレームに結合されており、障害物がカメラの視野を遮る第1の位置と、障害物がカメラの視野を遮らない第2の位置との間を移動するように構成されている、障害物と、を備える、システム。
【0167】
代替的な実装形態51.障害物がフレームに枢動可能に結合されている、代替的な実装形態50に記載のシステム。
【0168】
代替的な実装形態52.障害物が、フレームに摺動可能に結合されている、代替的な実装形態50に記載のシステム。
【0169】
代替的な実装形態53.障害物が、不透明な材料を含む、代替的な実装形態50に記載のシステム。
【0170】
代替的な実装形態54.障害物が、部分的に透明な材料を含み、光の一部分のみがその材料を通過できるようにする、代替的な実装形態50に記載のシステム。
【0171】
代替的な実装形態55.障害物が、1つ以上の光学フィルタを含む、代替的な実装形態50に記載のシステム。
【0172】
代替的な実装形態56.障害物が、第1の位置に向かって偏っている、代替的な実装形態50に記載のシステム。
【0173】
代替的な実装形態57.障害物が、第2の位置に向かって偏っている、代替的な実装形態50に記載のシステム。
【0174】
代替的な実装形態58.障害物が、第1の位置または第2の位置に向かって偏るように構成されている、代替的な実装形態50に記載のシステム。
【0175】
代替的な実装形態59.障害物が第1の位置と第2の位置との間で手動で移動されるように構成されている、代替的な実装形態50に記載のシステム。
【0176】
代替的な実装形態60.障害物が、1つ以上の電子作動デバイスを使用して、第1の位置と第2の位置との間で自動的に移動されるように構成されている、代替的な実装形態50に記載のシステム。
【0177】
代替的な実装形態61.1つ以上の作動デバイスが、ソレノイド、ばね、レバー、磁石、またはこれらの任意の組み合わせを含む、代替的な実装形態60に記載のシステム。
【0178】
代替的な実装形態62.電子ディスプレイが作動された場合にのみ、電子ディスプレイがミラーの第1の側を通して少なくとも部分的に視認可能であるようになっている、代替的な実装形態50に記載のシステム。
【0179】
代替的な実装形態63.光を生成し、オブジェクトを照射するのを少なくとも部分的に支援するように構成された光源をさらに備える、代替的な実装形態50に記載のシステム。
【0180】
代替的な実装形態64.システムであって、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイであって、ミラーの後側に隣接して位置付けられるように結合されている、電子ディスプレイと、フレームに結合されたカメラであって、カメラの視野がミラーの前側に隣接する領域を含むように結合されている、カメラと、障害物であって、フレームに結合されており、障害物が第1の位置にあることに応答して、第1の位置と第2の位置との間を移動するように構成されており、障害物は、障害物が第2の位置にあることに応答して、カメラの視野の少なくとも一部分を遮るように構成されており、障害物が、カメラの視野を遮らないように構成されている、障害物と、を備える、システム。
【0181】
代替的な実装形態65.ミラーは、カメラの視野がミラーの前側に隣接する領域に延びることができるように、両面ミラーである、代替的な実装形態64に記載のシステム。
【0182】
代替的な実装形態66.電子ディスプレイデバイスは、カメラの視野が開口部を通ってミラーの前側に隣接する領域内に延びることができるように、開口部を含む、代替的な実装形態64に記載のシステム。
【0183】
代替的な実装形態67.開口部が電子ディスプレイデバイスの概ね中央部分に配置されている、代替的な実装形態66に記載のシステム。
【0184】
代替的な実装形態68.チュートリアルを提供するためのシステムであって、システムが、スマートミラーデバイスであって、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、1つ以上のプロセッサであって、スマートミラーデバイスに、第1のチュートリアルディスプレイを開始するための入力を受信することに応答して、電子ディスプレイデバイス上に、(i)第1のタイプのアクティビティのハウツーチュートリアルを実行する人間を示す第1のループビデオ、(ii)第1のループビデオに示されるハウツーチュートリアルに関連するアニメーションを示す第2のループビデオ、および(iii)ユーザのリアルタイムビデオフィードを表示すること、ならびに表示されたリアルタイムビデオフィード内のユーザの一部分に関連付けられている拡大鏡入力を受信することに応答して、電子ディスプレイデバイス上で、ユーザの部分を含むユーザのズーンインされたビューを表示すること、を行うことをさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を含む、スマートミラーデバイスを備える、システム。
【0185】
代替的な実装形態69.スマートミラーが、ユーザの一部分に光を放出するように構成された光源をさらに含む、代替的な実装形態68に記載のシステム。
【0186】
代替的な実装形態70.光源が、1つ以上の形状をユーザに投影するように構成された1つ以上のレーザーを含む、代替的な実装形態69に記載のシステム。
【0187】
代替的な実装形態71.1つ以上の形状が、ドット、円、正方形、三角形、曲線、円弧、アーチ、線、またはこれらの任意の組み合わせを含む、代替的な実装形態70に記載のシステム。
【0188】
代替的な実装形態72.ユーザに投影される1つ以上の形状が、ユーザが第1のタイプのアクティビティに関連付けられている1つ以上の製品を適用するための1つ以上の場所を示す、代替的な実装形態70に記載のシステム。
【0189】
代替的な実装形態73.第1のタイプのアクティビティが、化粧の適用、保湿剤の適用、染毛剤の適用、ヘアジェルの適用、シェービングクリームの適用、シェービング、歯磨き、眉毛ワックスがけ、ワックスがけ、眉毛スレッディング、スレッディング、フェイシャル、耳掃除、ヘアスタイリング、コンタクトレンズの適用、フェイシャルマスクの適用、またはこれらの任意の組み合わせである、代替的な実装形態68に記載のシステム。
【0190】
代替的な実装形態74.1つ以上のプロセッサは、スマートミラーデバイスが、ユーザのリアルタイムビデオフィードに隣接して、選択可能な拡大鏡要素を表示させられるように、1つ以上のメモリデバイスに記憶された命令を実行するようにさらに構成されている、代替的な実装形態68に記載のシステム。
【0191】
代替的な実装形態75.チュートリアルを提供するためのシステムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、1つ以上のプロセッサであって、システムが、第1のチュートリアルを開始するための入力を受信することに応答して、電子ディスプレイデバイス上で、第1のタイプのアクティビティのハウツーチュートリアルを実行する人間を示す第1のループビデオを表示することを、行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0192】
代替的な実装形態76.システムがさらに、第1のループビデオに示されるハウツーチュートリアルに関連付けられているアニメーションを示す第2のループビデオを表示させられる、代替的な実装形態75に記載のシステム。
【0193】
代替的な実装形態77.第2のループビデオが第1のループビデオの下に表示され、第1のループビデオの中心線と第2のループビデオの中心線とが一致するように位置合わせされる、代替的な実装形態76に記載のシステム。
【0194】
代替的な実装形態78.システムがさらに、ユーザのリアルタイムビデオフィードを表示させられる、代替的な実装形態75に記載のシステム。
【0195】
代替的な実装形態79.システムがさらに、表示されたリアルタイムビデオフィード内のユーザの一部分に関連付けられている拡大鏡入力を受信することに応答して、電子ディスプレイデバイス上で、ユーザの部分を含むユーザのズームインされたビューを表示させられる、代替的な実装形態78に記載のシステム。
【0196】
代替的な実装形態80.システムがさらに、ユーザの静止画像を表示させられる、代替的な実装形態75に記載のシステム。
【0197】
代替的な実装形態81.システムがさらに、表示された静止画像内のユーザの一部分に関連付けられている拡大鏡入力を受信することに応答して、電子ディスプレイデバイス上に、ユーザの部分を含むユーザのズームインされた静止画像を表示させられる、代替的な実装形態80に記載のシステム。
【0198】
代替的な実装形態82.チュートリアルを提供するためのシステムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、1つ以上のプロセッサであって、システムが、第1のチュートリアルを開始するための入力を受信することに応答して、電子ディスプレイデバイス上で、(i)第1のタイプのアクティビティのハウツーチュートリアルを実行する人間を示す第1のループビデオ、(ii)ユーザのリアルタイムビデオフィードを表示すること、およびユーザのリアルタイムビデオフィードを変更して、第1のタイプのアクティビティに関連付けられている1つ以上のテンプレート機能をユーザの一部分にオーバーレイすること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0199】
代替的な実装形態83.第1のタイプのアクティビティが、化粧の適用、保湿剤の適用、染毛剤の適用、ヘアジェルの適用、シェービングクリームの適用、シェービング、歯磨き、眉毛ワックスがけ、ワックスがけ、眉毛スレッディング、スレッディング、フェイシャル、耳掃除、ヘアスタイリング、コンタクトレンズの適用、フェイシャルマスクの適用、またはこれらの任意の組み合わせである、代替的な実装形態82に記載のシステム。
【0200】
代替的な実装形態84.1つ以上のテンプレート機能が、1つ以上のドット、1つ以上の円、1つ以上の正方形、1つ以上の三角形、1つ以上の曲線、1つ以上の円弧、1つ以上のアーチ、1つ以上の線、またはこれらの任意の組み合わせを含む、代替的な実装形態82に記載のシステム。
【0201】
代替的な実装形態85.1つ以上のテンプレート機能は、ユーザが第1のタイプのアクティビティを実施することを支援する、代替的な実装形態82に記載のシステム。
【0202】
代替的な実装形態86.ユーザの画像を捕捉および表示するためのシステムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、フレームに結合されたカメラと、1つ以上のプロセッサであって、システムが、カメラを使用して、ユーザの少なくとも一部分に関連付けられているビデオデータを生成すること、電子ディスプレイデバイス上に、生成されたビデオデータをユーザの少なくとも一部分のリアルタイムビデオフィードとして表示すること、ビデオデータから、ユーザの少なくとも一部分の第1の画像として再現可能な第1の画像データを捕捉すること、第1の画像および選択可能オプションの第1のセットを表示することであって、選択可能オプションの第1のセットが、ユーザの第1の特徴に関連付けられている、表示すること、入力デバイスを介して、選択可能オプションの第1のセットのうちの1つの選択を受信すること、および選択可能オプションの1つまたは第1のセットの選択を受信することに応答して、ユーザの第2の画像を表示することであって、ユーザの第2の画像が、ユーザの第1の画像の変更されたバージョンであり、ユーザの第1の特徴に対する提案された変更を示しており、変更が、選択可能オプションの第1のセットのうちの1つの選択に基づいている、表示すること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0203】
代替的な実装形態87.システムがさらに、選択可能オプションの第2のセットを表示することであって、選択可能オプションの第2のセットが、ユーザの第2の特徴に関連付けられている、表示すること、および入力デバイスを介して、選択可能オプションの第2のセットのうちの1つの選択を受信すること、を行うようにさせられる、代替的な実装形態86に記載のシステム。
【0204】
代替的な実装形態88.システムがさらに、選択可能なオプション第2の第2のセットのうちの1つの選択を受信することに応答して、ユーザの第3の画像を表示することであって、ユーザの第3の画像が、ユーザの第1の画像の第2の変更されたバージョンであり、第2の変更が、選択可能オプションの第2のセットのうちの1つの選択に基づいている、表示することを行うようにさせられる、代替的な実装形態87に記載のシステム。
【0205】
代替的な実装形態89.システムがさらに、ユーザの第1の画像、ユーザの第2の画像、およびユーザの第3の画像を同時に表示するように構成されている、代替的な実装形態88に記載のシステム。
【0206】
代替的な実装形態90.システムがさらに、選択可能オプションの第2のセットのうちの1つの選択を受信することに応答して、(i)ユーザの第1の画像、(ii)ユーザの第2の画像、および(iii)選択可能オプションの第2のセットのうちの1つの選択に関連付けられている第3の画像を表示することであって、第3の画像が、ユーザの第2の特徴に対する提案された変更を示している、表示することを行うようにさせられるように構成される、代替的な実装形態87に記載のシステム。
【0207】
代替的な実装形態91.ユーザの第1の特徴が、ユーザの髪の色である、代替的な実装形態87に記載のシステム。
【0208】
代替的な実装形態92.ユーザの第1の画像が既存の髪の色を有するユーザを示し、ユーザの第2の画像が変更された髪の色を有するユーザを示し、変更された髪の色が、選択可能オプションの第1のセットのうちの1つの選択に対応している、代替的な実装形態91に記載のシステム。
【0209】
代替的な実装形態93.選択可能オプションの第1のセットの各々が別個の髪の色に関連付けられている、代替的な実装形態91に記載のシステム。
【0210】
代替的な実装形態94.ユーザの第2の特徴が、ユーザの髪型である、代替的な実装形態91に記載のシステム。
【0211】
代替的な実装形態95.選択可能オプションの第2のセットの各選択可能オプションが、別個の髪型に関連付けられている、代替的な実装形態94に記載のシステム。
【0212】
代替的な実装形態96.選択可能オプションの第1のセットの各々が、ユーザの第1の特徴の固有の提案された変更である、代替的な実装形態86に記載のシステム。
【0213】
代替的な実装形態97.ユーザ選択可能なオプションの第1のセットの各々が、ユーザの第1の特徴の固有の提案された変更に関連付けられている画像を含む、代替的な実装形態86に記載のシステム。
【0214】
代替的な実装形態98.画像を表示するためのシステムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、フレームに結合されたカメラと、1つ以上のプロセッサであって、システムが、電子ディスプレイデバイス上に、ユーザのリアルタイムビデオフィードを表示すること、ユーザの第1の画像として再現可能な第1の画像データを捕捉すること、第1の画像内のユーザによって保持されているオブジェクトを識別すること、および第1の画像内のユーザによって保持されているオブジェクトを識別することに応答して、ユーザの第2の画像を表示することであって、ユーザの第2の画像が、ユーザの第1の画像の変更されたバージョンであり、変更が、ユーザによって保持されている識別されたオブジェクトに基づいている、表示すること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0215】
代替的な実装形態99.オブジェクトが染毛剤を含み、ユーザの第2の画像が、染毛剤に関連付けられている髪の色を有するユーザを示す、代替的な実装形態98に記載の方法。
【0216】
代替的な実装形態100.オブジェクトが口紅を含み、ユーザの第2の画像が、口紅に関連付けられている唇の色を有するユーザを示す、代替的な実装形態98に記載の方法。
【0217】
代替的な実装形態101.オブジェクトが化粧を含み、ユーザの第2の画像が、識別された化粧に基づいて変更された第1の画像の変更されたバージョンである、代替的な実装形態98に記載の方法。
【0218】
代替的な実装形態102.画像を表示するためのシステムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、フレームに結合されたカメラと、1つ以上のプロセッサであって、システムが、電子ディスプレイデバイス上に、ユーザのリアルタイムビデオフィードを表示すること、入力デバイスを介して、ユーザのリアルタイムビデオフィードに示されるユーザの関心領域の選択を受信すること、電子ディスプレイデバイス上に、ユーザの関心領域のズームインされたリアルタイムビデオフィードを表示すること、および電子ディスプレイデバイス上に、ユーザの移動に応答して、ユーザの関心領域のズームインされたリアルタイムビデオフィードを表示し続けること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0219】
代替的な実装形態103.システムであって、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの少なくとも一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、フレームに結合されたカメラと、視野を有するカメラと、1つ以上のプロセッサであって、システムが、電子ディスプレイデバイス上に、カメラの視野内に位置付けられたユーザの少なくとも一部分のリアルタイムビデオフィードを表示し続けること、カメラの視野内のオブジェクトを識別すること、および識別に続いて、少なくとも識別されたオブジェクトに基づいて、連続的に表示されるリアルタイムビデオフィードを変更すること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0220】
代替的な実装形態104.フレームが壁に取り付けられるように構成されている、代替的な実装形態103に記載のシステム。
【0221】
代替的な実装形態105.ユーザの少なくとも一部分が、ユーザの顔、ユーザの髪、ユーザの胴体、ユーザの腕、ユーザの脚、ユーザの頭、またはこれらの任意の組み合わせを含む、代替的な実装形態103に記載のシステム。
【0222】
代替的な実装形態106.識別されたオブジェクトが、ユーザに適用することができる美容製品であり、変更された連続的に表示されるリアルタイムビデオフィードは、美容製品がユーザに適用された結果を示す、代替的な実装形態103に記載のシステム。
【0223】
代替的な実装形態107.識別されたオブジェクトが染毛剤を含み、変更された連続的に表示されるリアルタイムビデオフィードが、染毛剤に関連付けられている髪の色を有するユーザを示す、代替的な実装形態106に記載のシステム。
【0224】
代替的な実装形態108.識別されたオブジェクトが口紅を含み、変更された連続的に表示されるリアルタイムビデオフィードが、口紅に関連付けられている唇の色を有するユーザを示す、代替的な実装形態106に記載のシステム。
【0225】
代替的な実装形態109.識別されたオブジェクトが、化粧を含み、変更された連続的に表示されるリアルタイムビデオフィードは、化粧がユーザに適用されているユーザを示す、代替的な実装形態106に記載のシステム。
【0226】
代替的な実装形態110.識別されたオブジェクトが眼鏡であり、ユーザの第2のリアルタイムビデオが眼鏡を着用しているユーザを示す、代替的な実装形態103に記載のシステム。
【0227】
代替的な実装形態111.識別されたオブジェクトが、ユーザによって保持されている、代替的な実装形態103に記載のシステム。
【0228】
代替的な実装形態112.連続的に表示されるリアルタイムビデオフィードは、システムがユーザからのプロンプトを受信することに応答して変更される、代替的な実装形態103に記載のシステム。
【0229】
代替的な実装形態113.ユーザからのプロンプトが、カメラの視野内のオブジェクトの識別、ディスプレイ上に表示されるユーザ選択可能アイコンのユーザ選択、音声コマンド、またはユーザジェスチャである、代替的な実装形態112に記載のシステム。
【0230】
代替的な実装形態114.ユーザの少なくとも一部分の変更された連続的に表示されるリアルタイムビデオフィードは、ユーザの変更された一部分のみを示し、(i)ユーザの変更された部分がユーザにディスプレイ内でミラーを通じて視認可能であり、かつ(ii)ユーザの変更されていない一部分がユーザにミラー内で視認可能であるようになっている、代替的な実装形態103に記載のシステム。
【0231】
代替的な実装形態115.ユーザの少なくとも一部分の変更された連続的に表示されるリアルタイムビデオフィードが、ユーザの変更された一部分およびユーザの変更されていない一部分を示し、ユーザの変更された部分もユーザの変更されていない部分も、ディスプレイ内で視認可能でないようになっている、代替的な実装形態103に記載のシステム。
【0232】
代替的な実装形態116.連続的に表示されるリアルタイムビデオが、オブジェクトの識別から約20ミリ秒以内に変更される、代替的な実装形態103に記載のシステム。
【0233】
代替的な実装形態117.連続的に表示されるリアルタイムビデオが、オブジェクトの識別から約20マイクロ秒以内に変更される、代替的な実装形態103に記載のシステム。
【0234】
代替的な実装形態118.システムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、フレームに結合されたカメラと、視野を有するカメラと、1つ以上のプロセッサであって、システムが、電子ディスプレイデバイス上に、カメラの視野内に位置付けられたユーザの少なくとも一部分のリアルタイムビデオフィードを表示し続けること、およびプロンプトを受信することに続いて、少なくともプロンプトに基づいて、連続的に表示されるリアルタイムビデオフィードを変更すること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0235】
代替的な実装形態119.プロンプトが、カメラの視野内のオブジェクトの識別、ディスプレイ上に表示されるユーザ選択可能アイコンのユーザ選択、音声コマンド、またはユーザジェスチャである、代替的な実装形態118に記載のシステム。
【0236】
代替的な実装形態120.変更が、カメラの視野内のオブジェクトの識別、ディスプレイ上に表示されるユーザ選択可能アイコンのユーザ選択、音声コマンド、ユーザジェスチャ、周囲条件、または地域の気象条件に基づいている、代替的な実装形態118に記載のシステム。
【0237】
代替的な実装形態121.ユーザの少なくとも一部分の変更された連続的に表示されるリアルタイムビデオフィードが、ユーザの変更された一部分のみを示し、(i)ユーザの変更された部分がユーザにディスプレイ内で視認可能であり、かつ(ii)ユーザの変更されていない一部分がユーザにミラー内で視認可能であるようになっている、代替的な実装形態118に記載のシステム。
【0238】
代替的な実装形態122.ユーザの少なくとも一部分の変更された連続的に表示されるリアルタイムビデオフィードが、ユーザの変更された一部分およびユーザの変更されていない一部分を示し、ユーザの変更された部分もユーザの変更されていない部分も、ディスプレイ内で視認可能でないようになっている、代替的な実装形態118に記載のシステム。
【0239】
代替的な実装形態123.画像またはビデオを表示するためのシステムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、フレームに結合されたカメラと、視野を有するカメラと、1つ以上のプロセッサであって、システムが、カメラを使用して、カメラの視野内に位置付けられているユーザを監視すること、電子ディスプレイデバイス上に、ユーザの第1の部分のリアルタイムビデオフィードを連続的に表示し、ユーザの第2の部分がミラー内のユーザに視認可能であるようにすること、プロンプトを受信すること、およびプロンプトを受信することに続いて、連続的に表示されるリアルタイムビデオフィード内の表示されているユーザの第1の部分を変更すること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0240】
代替的な実装形態124.プロンプトが、カメラの視野内に配置されているオブジェクトを識別することを含む、代替的な実装形態123に記載のシステム。
【0241】
代替的な実装形態125.システムであって、システムが、フレームと、フレームに結合されたミラーと、フレームに結合された電子ディスプレイデバイスであって、ミラーの一部分に隣接して位置付けられるように結合されている、電子ディスプレイデバイスと、フレームに結合されたカメラと、視野を有するカメラと、1つ以上のプロセッサであって、システムが、カメラを使用して、カメラの視野内に位置付けられているユーザを監視すること、電子ディスプレイデバイス上に、ユーザの少なくとも一部分のリアルタイムビデオフィードを連続的に表示すること、ユーザの気分を決定すること、およびユーザの気分の決定に続いて、少なくともユーザの決定された気分に基づいて、連続的に表示されるリアルタイムビデオフィードを変更すること、を行うようにさせられるように、1つ以上のメモリデバイスに記憶された命令を実行するように構成されている、1つ以上のプロセッサと、を備える、システム。
【0242】
代替的な実装形態126.ユーザの少なくとも一部分の変更された連続的に表示されるリアルタイムビデオフィードが、ユーザの決定された気分に基づくユーザの変更されたバージョンを示す、代替的な実装形態125に記載のシステム。
【0243】
代替的な実装形態127.ミラーが、約4インチ~約12インチの長さ寸法を有する長方形形状を有する、代替的な実装形態103に記載のシステム。
【0244】
代替的な実装形態128.ミラーが約4インチ~約12インチの直径を有する円形形状を有する、代替的な実装形態103に記載のシステム。
【0245】
代替的な実装形態129.ミラーが、(i)約3インチ×約3インチ、(ii)約4インチ×約4インチ、または(iii)約5インチ×約5インチである正方形形状を有する、代替的な実装形態103に記載のシステム。
【0246】
代替的な実装形態130.ミラーが、(i)ユーザの上半身、(ii)ユーザの頭および首、または(iii)ユーザの頭のみの映像に適合するようにサイズ決定される、代替的な実装形態103に記載のシステム。
【0247】
代替的な実装形態131.ミラーが、電子ディスプレイデバイスのサイズおよび形状に概ね一致するサイズおよび形状を有する、代替的な実装形態103に記載のシステム。
【0248】
代替的な実装形態132.1つ以上のプロセッサが、1つ以上の外部デバイスと接続するように構成されており、1つ以上のメモリデバイスが、1つ以上の外部デバイスの各々からのデータを受信するように構成されている、代替的な実装形態103に記載のシステム。
【0249】
代替的な実装形態133.1つ以上の外部デバイスが、携帯電話、ラップトップコンピュータ、デスクトップコンピュータ、オンラインサーバ、フィットネストラッカー、体重計、クラウドサービス、インターネット接続された水筒、インターネット接続されたサーモスタット、スマートウォッチ、スマートスピーカー、またはこれらの任意の組み合わせのうちの少なくとも1つを含む、代替的な実装形態132に記載のシステム。
【0250】
代替的な実装形態134.1つ以上のプロセッサが、電子ディスプレイデバイスに、1つ以上の外部デバイスの第1のデバイスから受信された第1のデータに関連し、かつ1つ以上の外部デバイスのうちの第2のデバイスから受信された第2のデータに関連する情報を表示させる構成されている、代替的な実装形態132に記載のシステム。
【0251】
代替的な実装形態135.1つ以上のプロセッサが、(i)1つ以上の外部デバイスのうちの第1のデバイスから受信した第1のデータおよび1つ以上の外部デバイスのうちの第2のデバイスから受信した第2のデータを分析し、かつ(ii)第1のデータの一部分を第2のデータの一部分と相関させるように構成されている、代替的な実装形態132に記載のシステム。
【0252】
代替的な実装形態136.1つ以上のプロセッサが、電子ディスプレイデバイスに、第1のデータの部分および第2のデータの部分に関連する情報を表示させる構成されている、代替的な実装形態135に記載のシステム。
【0253】
代替的な実装形態137.1つ以上のプロセッサが、推奨をユーザに伝達させるように構成されており、推奨が、第1のデータの第1の部分および第2のデータの第2の部分に少なくとも部分的に基づいている、代替的な実装形態135に記載のシステム。
【0254】
上記の代替的な実装形態のうちのいずれか1つの任意の要素は、他の代替的な実装形態のいずれかの1つ以上の任意の要素と組み合わせることができ、そのような組み合わせは、本開示の範囲に含まれることが意図される。