IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル インコーポレイテッドの特許一覧

特許7587015ディスプレイのエッジに表示される視覚状態通知
<>
  • 特許-ディスプレイのエッジに表示される視覚状態通知 図1
  • 特許-ディスプレイのエッジに表示される視覚状態通知 図2
  • 特許-ディスプレイのエッジに表示される視覚状態通知 図3
  • 特許-ディスプレイのエッジに表示される視覚状態通知 図4A
  • 特許-ディスプレイのエッジに表示される視覚状態通知 図4B
  • 特許-ディスプレイのエッジに表示される視覚状態通知 図4C
  • 特許-ディスプレイのエッジに表示される視覚状態通知 図4D
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】ディスプレイのエッジに表示される視覚状態通知
(51)【国際特許分類】
   H04M 1/72454 20210101AFI20241112BHJP
   G06F 3/0481 20220101ALI20241112BHJP
【FI】
H04M1/72454
G06F3/0481
【請求項の数】 13
(21)【出願番号】P 2023504095
(86)(22)【出願日】2020-08-19
(65)【公表番号】
(43)【公表日】2023-10-12
(86)【国際出願番号】 US2020046972
(87)【国際公開番号】W WO2022039734
(87)【国際公開日】2022-02-24
【審査請求日】2023-07-19
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ワントランド,ティム
(72)【発明者】
【氏名】サチダナンダム,ビグネッシュ
【審査官】山中 実
(56)【参考文献】
【文献】米国特許出願公開第2012/0311493(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04M 1/72454
G06F 3/0481
(57)【特許請求の範囲】
【請求項1】
コンピューティング装置の1つ以上のプロセッサが、前記コンピューティング装置の状態の変化を判断することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記状態の前記変化に基づいて、視覚通知を決定することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記視覚通知に基づいて光パターンを出力するように、前記コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、
前記ディスプレイは、前記第1の部分と、前記第1の部分とは別個に前記1つ以上のプロセッサに接続された第2の部分とを含み、
前記第1の部分は、前記ディスプレイの周辺の実質的な部分を含み、かつ、前記ディスプレイの前記第2の部分を除外する、方法。
【請求項2】
ユーザ入力を検出することをさらに含み、
前記コンピューティング装置の前記状態の前記変化を判断することは、前記ユーザ入力に基づいて、前記コンピューティング装置の前記状態の前記変化を判断することを含む、請求項1に記載の方法。
【請求項3】
異なる装置への無線接続が利用可能であることを検出することをさらに含み、
前記状態の前記変化を判断することは、前記異なる装置への前記無線接続が利用可能であることを判断することを含む、請求項1または2に記載の方法。
【請求項4】
方法であって、
コンピューティング装置の1つ以上のプロセッサが、前記コンピューティング装置の状態の変化を判断することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記状態の前記変化に基づいて、視覚通知を決定することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記視覚通知に基づいて光パターンを出力するように、前記コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、
前記ディスプレイは、前記第1の部分と、第2の部分とを含み、
前記第1の部分は、前記ディスプレイの周辺の実質的な部分を含み、かつ、前記ディスプレイの前記第2の部分を除外し、前記方法はさらに、
異なる装置への無線接続が利用可能であることを検出することをさらに含み、
前記状態の前記変化を判断することは、前記異なる装置への前記無線接続が利用可能であることを判断することを含み、前記方法はさらに、
前記コンピューティング装置に対する前記異なる装置の方向を判断することをさらに含み、
前記視覚通知を決定することは、前記コンピューティング装置に対する前記異なる装置の前記方向を示す方向性視覚通知を決定することを含み、
前記ディスプレイの前記第1の部分とインターフェイス接続することは、前記方向性視覚通知に基づいて、前記コンピューティング装置に対する前記異なる装置の前記方向を示す前記光パターンを出力するように、前記ディスプレイの前記第1の部分とインターフェイス接続することを含む、方法。
【請求項5】
前記方向性視覚通知は、前記異なる装置と前記コンピューティング装置との間の相対距離を示す近接視覚通知を含む、請求項4に記載の方法。
【請求項6】
コンピューティング装置の1つ以上のプロセッサが、前記コンピューティング装置の状態の変化を判断することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記状態の前記変化に基づいて、視覚通知を決定することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記視覚通知に基づいて光パターンを出力するように、前記コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、
前記ディスプレイは、前記第1の部分と、第2の部分とを含み、
前記第1の部分は、前記ディスプレイの周辺の実質的な部分を含み、かつ、前記ディスプレイの前記第2の部分を除外し、
前記視覚通知は、前記コンピューティング装置のセンサの前記状態の変化を示し、
前記ディスプレイの前記第1の部分とインターフェイス接続することは、前記視覚通知に基づいて、前記コンピューティング装置における前記センサの位置を示す前記光パターンを出力するように、前記ディスプレイの前記第1の部分とインターフェイス接続することを含む、方法。
【請求項7】
前記センサは、カメラおよびマイクロフォンのうち、1つ以上を含む、請求項6に記載の方法。
【請求項8】
コンピューティング装置の1つ以上のプロセッサが、前記コンピューティング装置の状態の変化を判断することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記状態の前記変化に基づいて、視覚通知を決定することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記視覚通知に基づいて光パターンを出力するように、前記コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、
前記ディスプレイは、前記第1の部分と、第2の部分とを含み、
前記第1の部分は、前記ディスプレイの周辺の実質的な部分を含み、かつ、前記ディスプレイの前記第2の部分を除外し、
前記ディスプレイの前記第1の部分は、第1のディスプレイであり、
前記ディスプレイの前記第2の部分は、前記第1のディスプレイとは別個の第2のディスプレイである、方法。
【請求項9】
前記視覚通知は、前記コンピューティング装置がユーザ入力を受け入れるように構成されていることを示す、請求項1~8のいずれか1項に記載の方法。
【請求項10】
前記ディスプレイの前記第1の部分は、前記ディスプレイの前記第2の部分に対して非ゼロ角度で配置されている、請求項1~9のいずれか1項に記載の方法。
【請求項11】
コンピューティング装置の1つ以上のプロセッサが、前記コンピューティング装置の状態の変化を判断することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記状態の前記変化に基づいて、視覚通知を決定することと、
前記コンピューティング装置の前記1つ以上のプロセッサが、前記視覚通知に基づいて光パターンを出力するように、前記コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、
前記ディスプレイは、前記第1の部分と、第2の部分とを含み、
前記第1の部分は、前記ディスプレイの周辺の実質的な部分を含み、かつ、前記ディスプレイの前記第2の部分を除外し、
前記視覚通知は、
様々なサイズのピクセル、または様々な輝度もしくは色の出力を有するピクセルの1つ以上のグループのアクティブ化を示すデータ、
ピクセルの2つ以上の別個のグループのアクティブ化を示すデータ、
アニメーション化された前記光パターンを出力するピクセルのアクティブ化を示すデータ、
強度を示すデータ、および
リモート装置との近接度を示すデータ
の少なくとも1つを表す、方法。
【請求項12】
実行されると、1つ以上のプロセッサに請求項1~11のいずれか1項に記載の方法を実行させる命令を記憶する、コンピュータプログラム。
【請求項13】
請求項12に記載のコンピュータプログラムを格納するように構成されたメモリと、
前記コンピュータプログラムを実行するように構成された1つ以上のプロセッサとを備える、コンピューティング装置。
【発明の詳細な説明】
【背景技術】
【0001】
背景
コンピューティング装置は、コンピューティング装置の状態変化を示す様々な通知を可能にすることが多い。例えば、(いわゆる「スマートフォン」を含む)携帯電話は、振動、着信音または他の可聴アラート、視覚メッセージまたは他のグラフィック要素などを用いて、セルラーインターフェイスまたは他の無線インターフェイスが電話の着信を受信したことを示す通知を発行することができる。セルラー電話は、セルラーインターフェイスおよび/または他のワイヤレスインターフェイスがテキストメッセージを受信したことを示す同様の通知を発行することができる。
【発明の概要】
【発明が解決しようとする課題】
【0002】
しかしながら、セルラー装置は、セルラー電話の他の機能に対して矛盾する通知を発行することがある。例えば、セルラー電話は、近距離無線通信(NFC)インターフェイス、パーソナルエリアネットワーク(PAN)インターフェイス(例えば、ブルートゥース(登録商標)インターフェイス)などを含むことができる。セルラー電話は、これらのインターフェイスを介して、他のコンピューティング装置と対話することができるが、これらのインターフェイスが他の互換性のある装置、例えば、(スマートスピーカまたはスマートパーソナルアシスタントスピーカを含む)ワイヤレススピーカ、ディスプレイ(例えば、テレビ、スマートテレビ、スマートディスプレイ、パーソナルアシスタントディスプレイ装置)、スマートウォッチ、スマートグラス、(スマートライト、スマートサーモスタット、自動ブラインド、スマートプラグなどを含む)ホームオートメーション装置、カメラなどを検出するときに、限られた通知を提示するまたは通知を提示しない。したがって、セルラー電話の異なる機能の間で矛盾する通知が発行されると、セルラー電話および他の電子装置のユーザは、セルラー電話を用いて他の装置とインターフェイス接続することができなくなるか、またはセルラー電話の使用を完全に理解できなくなる。
【0003】
概要
一般的に、本開示は、コンピューティング装置のエッジ照明素子を利用して、コンピューティング装置の状態の変化に応答して(例えば、ユーザ入力、位置の変更、コンピューティング装置に近接する他の装置の変更、コンピューティング装置のセンサの変更に応答して)決定された視覚通知に基づいて、コンピューティング装置の現在の状態を示す光パターンを出力する一体化通知システムを提供する。視覚通知は、(例えば、異なる色、異なるアニメーションを含む)光の異なるパターンを表すことができ、エッジ照明素子に沿った異なる位置の画素を用いて光パターンを出力するようにエッジ照明素子を設定することができる。例えば、コンピューティング装置のカメラがオンになった場合、エッジ照明素子は、カメラの近傍または隣接する位置で特定の色、特定のパターンまたは特定のアニメーションを出力することができる。別の例として、ユーザがコンピューティング装置のスピーカの音量レベルを変更するための入力を提供する場合、エッジ照明素子は、(一般的に、コンピューティング装置のスピーカ、ワイヤレスでコンピューティング装置に接続されたスピーカ、例えばワイヤレススピーカおよび/またはワイヤレスヘッドホン、または有線接続でコンピューティング装置に接続されたスピーカ、例えば有線スピーカおよび/または有線ヘッドホンを指し得る)スピーカの最大音量レベルに対する現在の音量レベルを示す特定の色のサイズ変化を出力することができる。
【0004】
したがって、本開示の技法は、(エッジ照明を用いて、コンピューティング装置の各状態変化を表すことによって)直感的且つ一体化した方法で、コンピューティング装置に関する追加の情報を提供することができる。一体化エッジ照明によって、コンピューティング装置のユーザは、様々なシステムレベルの構成パラメータの検査に潜在的に頼ることなく、(不均一な状態通知システムを特徴とするコンピューティング装置と比較して)コンピューティング装置の状態変化をより迅速に特定することができる。したがって、エッジ照明技法の様々な態様は、タスクを実行するためにまたはコンピューティング装置の現在の状態を決定するために必要とされるユーザ入力の数を低減することができるため、コンピューティングリソース(例えば、プロセッササイクル、メモリ空間、メモリバス帯域幅)の消費を低減することができ、これによって、コンピューティング装置自体の電力効率を潜在的に改善することができる。
【課題を解決するための手段】
【0005】
一例において、本技法の様々な態様は、以下を含む方法に関する。この方法は、コンピューティング装置の1つ以上のプロセッサが、コンピューティング装置の状態の変化を判断することと、コンピューティング装置の1つ以上のプロセッサが、状態の変化に基づいて、視覚通知を決定することと、コンピューティング装置の1つ以上のプロセッサが、視覚通知に基づいて光パターンを出力するように、コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、ディスプレイは、第1の部分と、第2の部分とを含み、第1の部分は、ディスプレイの周辺の実質的な部分を含み、かつ、ディスプレイの第2の部分を除外する。
【0006】
別の例において、本技法の様々な態様は、コンピューティング装置に関する。このコンピューティング装置は、第1の部分と第2の部分とを含むディスプレイを備え、第1の部分は、ディスプレイの周辺の実質的な部分を含み、ディスプレイの第2の部分を除外する。このコンピューティング装置は、1つ以上のプロセッサを備える。1つ以上のプロセッサは、コンピューティング装置の状態の変化を判断し、状態の変化に基づいて視覚通知を決定し、視覚通知に基づいて光パターンを出力するように、コンピューティング装置のディスプレイの第1の部分とインターフェイス接続するよう構成されている。
【0007】
別の例において、本技法の様々な態様は、実行されると、コンピューティング装置の1つ以上のプロセッサに以下の動作を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体に関する。動作は、コンピューティング装置の状態の変化を判断することと、状態の変化に基づいて視覚通知を決定することと、視覚通知に基づいて光パターンを出力するように、コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、ディスプレイは、第1の部分と、第2の部分とを含み、第1の部分は、ディスプレイの周辺の実質的な部分を含み、かつ、ディスプレイの第2の部分を除外する。
【図面の簡単な説明】
【0008】
図1】本開示の1つ以上の技法に従って、装置の周辺に光パターンを提供するように構成された例示的な通信システムを示す概念図である。
図2】本開示の1つ以上の態様に従って、エッジ照明を介して視覚通信を提供するように構成された例示的なコンピューティング装置を示すブロック図である。
図3】本開示の1つ以上の態様に従って、エッジ照明を介して視覚通信を提供するためのコンピューティング装置の例示的な動作を示す流れ図である。
図4A】本開示の様々な技法に従って、エッジ照明を介して視覚通信を行うための例示的なコンピューティング装置を示す概念図である。
図4B】本開示の様々な技法に従って、エッジ照明を介して視覚通信を行うための例示的なコンピューティング装置を示す概念図である。
図4C】本開示の様々な技法に従って、エッジ照明を介して視覚通信を行うための例示的なコンピューティング装置を示す概念図である。
図4D】本開示の様々な技法に従って、エッジ照明を介して視覚通信を行うための例示的なコンピューティング装置を示す概念図である。
【発明を実施するための形態】
【0009】
詳細な説明
一般的に、本開示は、エッジ照明を用いて、コンピューティング装置の状態変化に関する視覚通信をユーザに提供するように構成されたコンピューティング装置を記載する。コンピューティング装置は、コンピューティング装置の周りに、例えば中央ディスプレイの周りに沿ったディスプレイを含んでもよい。コンピューティング装置は、例えば、入力(例えば、タッチ入力、音声入力、ボタン入力、モーション入力、タッチレスジェスチャ入力、リモート装置入力)の受信に応答して、状態を変更することができる。状態変化を示すために、コンピューティング装置は、視覚通知を決定することができる。コンピューティング装置は、視覚通知に基づいて、コンピューティング装置の周辺に沿ってディスプレイ上に光パターンを表示することができる。いくつかの例において、コンピューティング装置は、視覚通知に基づいて、コンピューティング装置が入力を受信する方向に沿って別個の光セグメントを出力することによって、入力に応答して生じた状態変化を示すようにディスプレイを構成することができる。
【0010】
コンピューティング装置は、ディスプレイの周辺のピクセルの一部をアクティブ化することによって、視覚通信をユーザに提供するためのエッジ照明を出力することができる。ディスプレイの一部のピクセル(ディスプレイの第1の部分)は、ディスプレイの周辺を実質的に含み、ディスプレイの周辺を含まないディスプレイの第2の部分のピクセル(ディスプレイの第2の部分)を除外することができる。ディスプレイの周辺は、ディスプレイの外縁を実質的に取り囲むピクセルの連続バンドまたは不連続バンド(例えば、ディスプレイの周辺の50%超またはそれより少し高いパーセントを取り囲むピクセルの連続バンド。このバンドは、ディスプレイのピクセル全体の一定のパーセント、例えば1%、5%、10%、20%または30%未満のピクセル幅を有してもよく、またはそれより高いが、ディスプレイの全ての利用可能なピクセルの50%未満のピクセル幅を有してもよい)を意味する。エッジ照明は、異なる輝度または色によって1つ以上のピクセルの他のグループから区別可能な1つ以上のアクティブ化ピクセルのグループを含んでもよい。コンピューティング装置は、ピクセルグループのアクティブ化を経時的に変化させ、ピクセルグループを点滅させるなどのアニメーションを引き起こすことができる。
【0011】
本明細書で開示する技法は、コンピューティング装置の効率を改善することができ、コンピューティング装置との対話に関するユーザの混乱を低減することができる。コンピューティング装置が複雑になることにつれて、コンピューティング装置は、コンピューティング装置によって提供される機能性に関するユーザの理解を容易にする方法を必要とする。様々な異なる方法(例えば、警告メッセージまたは状態警告などの視覚通知、チャイムまたは警告などの聴覚通知、振動などの触覚通知)を用いて、ユーザとインターフェイス接続するのではなく、コンピューティング装置は、一貫した通知システムを提供することができる。装置上の異なるアプリケーションおよび特徴がランダムな方法で機能性をユーザに通知するまたは完全に通知しないの代わりに、コンピューティング装置は、光パターンを一体化通知システムとして出力する。
【0012】
さらに、ユーザが望まない状態変更を実行することによってコンピューティング装置が不必要にリソース(例えば、帯域幅、メモリ、処理能力)を消費するのではなく、コンピューティング装置は、(コンピューティングリソースの観点から)より効率的に状態変更を実行するように構成されてもよい。場合によっては、コンピューティング装置は、視覚通知に基づいて、コンピューティング装置がどのようにリソース(例えば、プロセッササイクル、メモリ、メモリバス帯域幅)を使用していることをユーザに通信するための光パターンを出力することができる。例えば、「視覚言語」と呼ばれるものがない場合、コンピューティング装置は、ユーザの知識なしにパーソナルエリアネットワーク(PAN)を介して装置をスキャンすることによって、バッテリ電力を消耗する可能性がある。対照的に、いわゆる視覚言語を利用する場合、コンピューティング装置は、ディスプレイとインターフェイス接続して、光パターンを出力することによって、コンピューティング装置がスキャンを実行していることをユーザに通知することができ、ユーザがPANをオフにするようにコンピューティング装置を構成することを可能にする。言い換えれば、コンピューティング装置は、ユーザがコンピューティング装置をユーザの好みにより良く適応するように構成することを可能にする。したがって、視覚言語は、コンピューティングリソースの無駄な消費を容易に排除することができる。
【0013】
図1は、本開示の1つ以上の技法に従って、装置の周辺に光パターンを提供するように構成された例示的な通信システムを示す概念図である。図1に示すように、システム100は、コンピューティング装置110と、リモート装置130と、リモートシステム120A~120N(以下、「リモートシステム120」と称する)とを含む。コンピューティング装置110は、ネットワーク140を介してまたは直接に、リモート装置130およびリモートシステム120と通信し、コンピューティング装置110の周辺の周辺ディスプレイ118上に光パターンを提供することができる。
【0014】
コンピューティング装置110の例は、ポータブル装置、モバイル装置、または他の装置、例えば、(スマートフォンを含む)携帯電話、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、スマートテレビプラットフォーム、サーバコンピュータ、メインフレームなどを含むが、これらに限定されない。例えば、図1の例において、コンピューティング装置110は、スマートウォッチなどの装着可能なコンピューティング装置であってもよい。
【0015】
図1の例に示すように、コンピューティング装置110は、ユーザインターフェイス装置112を含む。コンピューティング装置110のユーザインターフェイス装置112は、コンピューティング装置110の入力装置および/または出力装置として機能するように構成されてもよい。ユーザインターフェイス装置112は、種々の技術を用いて実装されてもよい。例えば、ユーザインタフェース装置112は、触覚入力、聴覚入力、視覚入力、タッチレスジェスチャ入力、モーション入力、および/またはリモート装置入力を受信するように構成されてもよい。入力装置の例は、存在感知ディスプレイ、存在感知またはタッチ感知入力装置、マウス、キーボード、音声応答システム、カメラ、マイクロフォン、ボタン、スイッチ、レーダ、またはユーザもしくはリモート装置130によってコンピューティング装置110の環境からの信号を検出するための任意の他の種類の装置を含む。いくつかの例において、存在感知ディスプレイは、タッチ感知または存在感知入力スクリーン、例えば、抵抗性タッチスクリーン、表面音波タッチスクリーン、容量性タッチスクリーン、投影容量性タッチスクリーン、または他の存在感知技術を含む。すなわち、ユーザインターフェイス装置112は、コンピューティング装置110のユーザから触覚入力を受信できる存在感知装置を含んでもよい。
【0016】
ユーザインターフェイス装置112は、ユーザからの1つ以上のタッチジェスチャ(例えば、タップ、スワイプ、ホールド、ボタン押下)を検出することによって、触覚入力の指示を受信することができる。入力装置の例は、モーションを検出するためのセンサ(例えば、加速度計、ジャイロスコープ)、位置を検出するためのセンサ(例えば、GPS、気圧計、磁力計)、タッチレスジェスチャを検出するためのセンサ(例えば、電波送受信機)、または他の装置(例えば、赤外線送受信機)をさらに含んでもよい。
【0017】
追加的にまたは代替的に、ユーザインターフェイス装置112は、触覚刺激、聴覚刺激または視覚刺激を用いて出力をユーザに提供するための出力装置として機能するように構成されてもよい。出力装置の例は、サウンドカード、ビデオグラフィックスアダプタカード、または1つ以上のディスプレイ装置のいずれか、例えば、液晶ディスプレイ(LCD)、ドットマトリックスディスプレイ、発光ダイオード(LED)ディスプレイ、マイクロ発光ダイオード(マイクロLED)ディスプレイ、量子発光ダイオード(QLED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、電子インク、または可視情報をコンピューティング装置110のユーザに出力することができるモノクロディスプレイまたはカラーディスプレイを含む。出力装置のさらなる例は、スピーカ、液晶ディスプレイ(LCD)、またはユーザに与える理解可能な出力を生成することができる他の装置を含む。
【0018】
例えば、ユーザインターフェイス装置112は、コンピューティング装置110によって提供される機能に関連付けられ得るグラフィカルユーザインターフェイスとして、出力をコンピューティング装置110のユーザに提示することができる。このようにして、ユーザインターフェイス装置112は、コンピューティング装置110上で実行されているまたはそれによってアクセス可能なアプリケーション(例えば、電子メッセージアプリケーション、インターネットブラウザアプリケーション)の様々なユーザインターフェイスを提示することができる。コンピューティング装置110のユーザは、アプリケーションの各ユーザインターフェイスと対話することによって、機能に関連する動作をコンピューティング装置110に実行させることができる。
【0019】
いくつかの例において、コンピューティング装置110のユーザインターフェイス装置112は、2次元および/または3次元ジェスチャを、コンピューティング装置110のユーザからの入力として検出することができる。例えば、ユーザインターフェイス装置112のセンサは、ユーザインターフェイス装置112のセンサの閾値距離内のユーザの動作(例えば、手、腕、ペン、スタイラスを動かす動作)を検出することができる。ユーザインターフェイス装置112は、動作の2次元または3次元ベクトル表現を決定し、ベクトル表現を、複数の次元を有するジェスチャ入力(例えば、手振り、ピンチ、拍手、ペンストローク)に相関させることができる。言い換えれば、いくつかの例において、ユーザインターフェイス装置112は、ユーザインターフェイス装置112が表示情報を出力するための画面または表面でもしくはその近くでユーザがジェスチャすることを要求することなく、多次元ジェスチャを検出することができる。代わりに、ユーザインターフェイス装置112は、ユーザインターフェイス装置112が表示情報を出力するための画面または表面の近くに配置され得るセンサでまたはその近くで行われた多次元ジェスチャを検出することができる。
【0020】
図1の例において、コンピューティング装置110は、ユーザインターフェイスモジュール114を含む。ユーザインターフェイスモジュール114は、コンピューティング装置110に常駐するおよび/またはコンピューティング装置110上で動作するハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを用いて、本明細書に記載された1つ以上の動作を実行することができる。コンピューティング装置110は、1つのプロセッサまたは複数のプロセッサを用いて、ユーザインターフェイスモジュール114を実行することができる。いくつかの例において、コンピューティング装置110は、基礎をなすハードウェア上で動作する仮想マシンとしてユーザインターフェイスモジュール114を実行することができる。ユーザインターフェイスモジュール114は、オペレーティングシステムまたはコンピューティングプラットフォームの1つ以上のサービスとして実行されてもよく、1つ以上の実行可能プログラムとしてコンピューティングプラットフォームのアプリケーション層において実行されてもよい。
【0021】
図1の例に示すように、ユーザインターフェイスモジュール114は、1つ以上の機能を実行するように、例えば、入力を受信し、この入力の指示をコンピューティング装置110に関連付けられた他の構成要素に送信するように、コンピューティング装置110によって動作可能である。また、ユーザインターフェイスモジュール114は、コンピューティング装置110に関連付けられた構成要素からデータを受信することができる。受信したデータを用いて、ユーザインターフェイスモジュール114は、ユーザインターフェイス装置112などのコンピューティング装置110と関連付けられた他の構成要素に、受信したデータに基づいた出力を提供させることができる。例えば、ユーザインタフェースモジュール114は、GUIを表示するためのデータを受信することができる。
【0022】
リモートシステム120は、コンピューティング装置110によって使用されるデータを記憶および/または管理するように構成された任意のリモートコンピューティングシステム、例えば、1つ以上のデスクトップコンピュータ、ラップトップコンピュータ、メインフレーム、サーバ、クラウドコンピューティングシステムを表す。例えば、リモートシステム120は、ネットワーク140を介してアクセス可能なウェブサーバ、データベース管理システムなどを含んでもよい。
【0023】
リモート装置130は、ネットワーク140を介してまたは直接にコンピューティング装置110と通信することができる任意の追加のコンピューティング装置であってもよい。リモート装置130の例は、ポータブル装置、モバイル装置、または他の装置、例えば、(スマートフォンを含む)携帯電話、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、スマートテレビプラットフォーム、サーバコンピュータ、メインフレームなどを含むが、これらに限定されない。例えば、図1の例において、リモート装置130は、スマートウォッチなどの装着可能なコンピューティング装置であってもよい。
【0024】
コンピューティング装置110は、多様なまたは不明瞭な方法で、通知を表示することができる。コンピューティング装置110は、バナーを介して、テキストメッセージをユーザに通知することができる。コンピューティング装置110は、シャッター音を介して、カメラで写真を撮影したことをユーザに通知することができる。コンピューティング装置110は、構成パラメータのリストで、ネスト化メニュー内の状態変化の指示を提供することができる。コンピューティング装置110は、振動で、不成功な顔認識をユーザに通知することができる。
【0025】
コンピューティング装置110は、特定の状態変化の指示があったとしても、提供しない場合がある。例えば、コンピューティング装置110は、典型的には、無線スキャンの周波数を示さない。別の例として、コンピューティング装置110は、(例えば、レーダまたは他の形の無線ジェスチャ検出を介して検出された)タッチレスジェスチャの信号の受信を示さない場合がある。コンピューティング装置110は、(例えば、コンピューティング装置110を裏向きにする)モーションによる状態変化を示さない場合がある。特定の状態変化の指示があったとしてもコンピューティング装置110が提供しないこれらの事例において、コンピューティング装置110は、ユーザが望ましくない様々なアクティビティ(例えば、顔認識、キーワードの検出、近接の検出、コンパニオン装置の検出、および透過的な他のアクティビティまたはそうでなければユーザに能動的に通信されない他のアクティビティ)の実行にリソースを消費するため、コンピューティングリソース(例えば、電力、プロセッササイクル、メモリ、メモリ帯域幅)を不必要に消費する。
【0026】
コンピューティング装置110は、定期的にまたは周期的に(場合によって絶えずに、または様々な状況において、例えば、特定の無線ネットワークに接続される時に)ネットワーク140などのネットワークをスキャンすることによって、リモート装置130などのコンパニオン装置を検出することができ、これによって、リモート装置130とインターフェイス接続することができる。リモート装置130からの信号は、コンピューティング装置110への入力を表すことができる。コンピューティング装置110は、ネスト化メニューにおいて発見することが困難であり、現在のオペレーティングシステムにおいて提示され得る設定または他の構成パラメータ以外に、スキャンまたは他の透明なアクティビティをユーザに警告しないように構成されてもよい。
【0027】
本開示の1つ以上の技法によれば、コンピューティング装置110は、エッジ照明の出力を介して、コンピューティング装置110の状態変化に関する一体化および一貫した視覚通知をユーザに提供するように構成されてもよい。ユーザインターフェイス装置112は、中央ディスプレイ116を取り囲む周辺ディスプレイ118を含んでもよい。周辺ディスプレイ118は、異なるパターンの光を提示することによって、一貫した方法でコンピューティング装置110の状態変化をユーザに通知することができる。コンピューティング装置110の状態変化は、例えば、タッチ入力、音声入力、ボタン入力、モーション入力、タッチレスジェスチャ入力、リモート装置入力などの入力によって引き起こされてもよい。状態変化を示すために、まず、コンピューティング装置110は、視覚通知を決定することができる。次に、コンピューティング装置110は、周辺ディスプレイ118とインターフェイス接続して、視覚通知に基づいて、光パターンを出力することができる。
【0028】
光パターンを出力するときに、コンピューティング装置110は、周辺ディスプレイとインターフェイス接続して、光パターンを表す視覚通知に基づいて周辺ディスプレイ118内のピクセルをアクティブ化することによって、光パターンを出力することができる。周辺ディスプレイ118は、異なる輝度および/または色によって1つ以上のピクセルの他のグループから区別可能な1つ以上のアクティブ化ピクセルのグループを含むことができる。コンピューティング装置110は、ピクセルグループのアクティブ化を経時的に変化させ、ピクセルグループの点滅、発光、波動、点滅、強度または輝度の変化、色の変化、パターンの経時的な変化などのアニメーションを引き起こすことができる。
【0029】
動作時、ユーザインターフェイス装置112は、中央ディスプレイ116と、周辺ディスプレイ118とを含んでもよい。(ディスプレイ116/118の第1の部分を表し得る)周辺ディスプレイ118は、(ディスプレイ116/118の第2の部分を表し得る)中央ディスプレイ116を実質的に取り囲むことができ、したがって中央ディスプレイ116を除外することができる。周辺ディスプレイ118は、周辺ディスプレイ118がディスプレイ116/118の外縁を実質的に取り囲む連続または不連続ピクセルのバンドを含み得るという点で、中央ディスプレイ116を実質的に取り囲むことができる。周辺ディスプレイ118は、ディスプレイ116/118の外縁を実質的に取り囲むピクセルの連続バンドまたは不連続バンド(例えば、ディスプレイ116/118の周辺の50%超またはそれより少し高いパーセントを取り囲むピクセルの連続バンド。このバンドは、ディスプレイのピクセル全体の一定のパーセント、例えば1%、5%、10%、20%または30%未満のピクセル幅を有してもよく、またはそれより高いが、ディスプレイ116/118の全ての利用可能なピクセルの50%未満のピクセル幅を有してもよい)を意味する。エッジ照明は、異なる輝度または色によって1つ以上のピクセルの他のグループから区別可能な1つ以上のアクティブ化ピクセルのグループを含んでもよい。
【0030】
いくつかの例において、中央ディスプレイ116および周辺ディスプレイ118は、単一のディスプレイの異なる部分であってもよい。他の例において、中央ディスプレイ116および周辺ディスプレイ118は、別個のディスプレイであってもよい。周辺ディスプレイ118は、様々な幅(例えば、3ピクセル、4ピクセル)を有してもよい。いくつかの例において、中央ディスプレイ116および周辺ディスプレイ118は、同一平面上にあってもよい(すなわち、中央ディスプレイ116および周辺ディスプレイ118は、コンピューティング装置110の前面上にあってもよい)。他の例において、中央ディスプレイ116および周辺ディスプレイ118は、異なる平面上にあってもよい。例えば、中央ディスプレイ116は、コンピューティング装置110の前面上にあってもよく、周辺ディスプレイ118は、コンピューティング装置110のエッジ上にあってもよい(例えば、中央ディスプレイ116は、周辺ディスプレイ118に対して、直角、鋭角、鈍角、または任意の非ゼロ角度で配置されてもよい)。ユーザインターフェイス装置112は、中央ディスプレイ116を介して、アプリケーションの様々なユーザインターフェイスを提供することができる。ユーザインターフェイス装置112は、周辺ディスプレイ118を介して、エッジ照明として光パターンを出力することができる。
【0031】
コンピューティング装置110は、コンピューティング装置110の状態変化に応答して、周辺ディスプレイ118を介して光パターンを出力することができる。場合によっては、状態変化は、ユーザインターフェイス装置112の種々のセンサのうち、1つ以上の起動から生じてもよい。ユーザインターフェイス装置112は、マイクロホン、カメラ、レーダ、ボタンなどを含むセンサから入力の指示を受信することができる。したがって、入力は、触覚入力、聴覚入力、視覚入力、モーション入力、電波送信入力、または(この例において、スマートフォンまたは他のモバイルコンピューティング装置などのセルラーハンドセットであると仮定される)コンピューティング装置110によって受信される任意の他の入力を含んでもよい。
【0032】
ユーザインターフェイス装置112は、ユーザからの入力、またはリモートシステム120もしくはリモート装置130などの別の装置からの入力を検出することができる。ユーザインターフェイス装置112は、ボタン押下などのローカル入力、または超広帯域(UWB)信号などの環境入力を検出することができる。ユーザインターフェイスモジュール114は、入力を処理することによって、ユーザコマンドまたは将来のユーザコマンドの指示を決定し、入力の検出に応答して、対応するプロセス(例えば、リモート装置130とのペアリングプロセスを開始すること、ユーザがコンピューティング装置110の視認距離内にいると検出される時に、中央ディスプレイ116を起動すること、マイクロフォン、カメラ、または他のセンサを起動すること)を実行することができる。他の場合において、状態変化は、センサの起動に起因しなくてもよい。状態変化は、内部プロセスに起因してもよく、所定のタスクの実行に起因してもよい。コンピューティング装置110は、内部プロセスまたは所定のタスクの実行に応答して、前述した動作のうちの1つ以上を実行することができる。
【0033】
動作の実行は、コンピューティング装置110の状態を変更する可能性がある。ユーザインターフェイスモジュール114は、例えば、写真を撮影するコマンドまたは音量を増加するコマンドの実行を開始してもよい。ユーザインターフェイスモジュール114は、コンピューティング装置110が記録モードまたは発見モードなどの新たな動作モードに入るべきであることを判断することができる。例えば、記録モードにおいて、コンピューティング装置110は、マイクロフォンを起動して、可聴入力を受信、記憶、および/または分析することができる。別の例として、発見モードにおいて、コンピューティング装置110は、コンピューティング装置110の機能、例えば、押すために利用可能なボタン、音声(例えば、発話)を取得するために利用可能なマイクロフォン、リモート装置130とのペアリングの起動を表示することができる。
【0034】
コンピューティング装置110は、まず、状態変化を表す視覚通知を決定することによって状態変化を示すことができる。ユーザインターフェイスモジュール114は、状態変化がユーザに関連することを判断することができる。ユーザインターフェイスモジュール114は、周辺ディスプレイ118とインターフェイス接続することによって、視覚通知に基づいて、状態変化をユーザに警告するための光パターンを出力することができる。さらに、ユーザインターフェイスモジュール114は、コンピューティング装置110上に制御感度を示すことができる。ユーザインターフェイスモジュール114は、視覚通知によって指定された光パターンを出力することによって、機能性の発見可能性およびフィードバックをユーザに提供することができる。ユーザインターフェイスモジュール114は、視覚通知に基づいて光パターンを出力することによって、潜在的に未知の機能または誤って構成された機能を発見するユーザを積極的に支援することができる。
【0035】
ユーザインターフェイスモジュール114は、視覚通知を決定し、周辺ディスプレイ118とインターフェイス接続することによって、コンピューティング装置110上のアプリケーションにわたって、一貫性を持って周辺ディスプレイ118上のピクセルをアクティブ化することができる。言い換えれば、ユーザインターフェイスモジュール114は、様々な状態変化(例えば、ユーザが以前に構成されたが、忘れた可能性のある異なる機能、ユーザが触れたくないまたは有効にしたくないデフォルト構成、ユーザが誤って構成され、有効にしたくないデフォルト構成)の明確な指示を可能にすることができる。ユーザインターフェイスモジュール114は、本開示に記載されたエッジ照明技法の様々な態様を用いて、アプリケーションレベルの状態変化をユーザに警告することができるが、アプリケーションレベルではなくシステムレベルでこのような状態変化の指示を提供することができる。
【0036】
場合によっては、ユーザインターフェイスモジュール114は、単語またはアイコンを使用せず、視覚通知に基づいて光パターンを出力することによって、状態変化を示すことができる。単語またはアイコンの代わりに、ユーザインターフェイス装置112は、周辺ディスプレイ118とインターフェイスことによって、視覚通知に基づいて光パターンを出力することができる。ユーザインターフェイスモジュール114は、周辺ディスプレイ118の種々のピクセルをアクティブ化することによって、コンピューティング装置110の様々な機能または他の能力をユーザに通知する種々の光パターンを表すように、周辺ディスプレイ118を構成することができる。場合によっては、ユーザインターフェイスモジュール114は、周辺ディスプレイ118上の全てのピクセルをアクティブ化することができる。他の場合には、ユーザインターフェイスモジュール114は、周辺ディスプレイ118上のピクセルの一部をアクティブ化することができる。ユーザインターフェイスモジュール114は、輝度および/または色の変化によってピクセルのグループをアクティブ化することができる。
【0037】
ユーザインターフェイスモジュール114は、コンピューティング装置110上の位置と整合するようにまたはコンピューティング装置110が入力を受信した方向を示すように、アクティブ化ピクセルの1つ以上のグループの位置を決定することができる。場合によっては、ユーザインターフェイスモジュール114は、周辺ディスプレイ118が光パターンのアニメーションを出力するように、ピクセルの経時的なアクティブ化の動的変動を決定することができる。他の場合には、ユーザインターフェイスモジュール114は、ピクセルの静的アクティブ化を決定することができる。
【0038】
光パターンは、ユーザとコンピューティング装置110との対話に関するフィードバックをユーザに与えることができる。例えば、ユーザが(物理ボタンまたは仮想ボタンである)音量ボタンを押すことによってコンピューティング装置110のオーディオ出力の音量を増大させる場合、周辺ディスプレイ118は、音量ボタン付近で、最大音量レベルに対して音量に比例して長さが増加する光セグメントを出力することができる。別の例として、ユーザがカメラアプリを用いて写真を撮影するときに、周辺ディスプレイ118は、周辺ディスプレイ118全体に沿ってまたはカメラセンサに近接した位置で光を出力することができる。
【0039】
さらに、光パターンは、周辺インテリジェンスを介して、コンピューティング装置110とリモート装置130のような別の装置との対話に関するフィードバックをユーザに与えることができる。例えば、コンピューティング装置110は、例えばPANまたはUWBを介して、近くのリモート装置130を発見することができ、周辺ディスプレイ118は、周辺の部分に沿って、リモート装置130の方向に対応する光セグメントを出力することができる。別の例として、コンピューティング装置110は、2つのリモートコントロールを発見するスマートTVであってもよく、スマートTVの周辺ディスプレイ118は、周辺ディスプレイ118の2つの部分に沿って、2つのリモートコントロールの各々の方向を示す2つの光セグメントを出力してもよい。
【0040】
場合によっては、ユーザインターフェイスモジュール114は、ピクセルのアクティブ化パターンが、出力の輝度が変動するピクセル、出力の色が変動するピクセル、またはアクティブ化および非アクティブ化が変動するピクセルのグループを含むすべきであると決定することができる。例えば、ユーザインターフェイスモジュール114は、入力装置と整合するまたはリモート装置130の方向もしくはリモートジェスチャを示すパターンの様々なグループ(パターンの様々なグループを表す視覚通知)の場所を決定することができる。別の例として、ユーザインターフェイスモジュール114は、ピクセルアクティブ化の経時的な変化を判断し、フラッシュまたはアクティブ化ピクセルグループのサイズの変化などのアニメーションを生成することができる。他の場合には、ユーザインターフェイスモジュール114は、固有の変動を有するピクセルのグループを区別しなくてもよい。この場合、ユーザインターフェイスモジュール114は、単一の強度および色を有する均一なピクセルアクティブ化パターンを決定することができる。
【0041】
ユーザインターフェイスモジュール114は、周辺ディスプレイ118上に光パターンを出力することができる。周辺ディスプレイ118は、光パターンを生成するための複数のピクセルを含むことができる。周辺ディスプレイ118は、様々な長さ、輝度、色などの光セグメントを出力するように、異なる時間でアクティブ化される異なるピクセルを有してもよい。周辺ディスプレイ118は、視覚通信がない場合または光パターンにおいて暗いセグメントの場合、非アクティブピクセルを有してもよい。
【0042】
本明細書に開示された技法は、ユーザとコンピューティング装置110との効率的な対話を促進することができる。エッジ照明の共通の設計実装は、装置の複雑さの増加に関するユーザの混乱および不満を低減することができる。エッジ照明によって、共生のハードウェアおよびソフトウェア設計は、直感的な対話パターンを生成することができる。コンピューティング装置110は、このようなエッジ照明を介してフィードバックを提供することによって、ユーザがタッチレスジェスチャをより効率的に使用することを可能にするか、または望ましくないタッチレスジェスチャの使用を回避することを可能にする。コンピューティング装置110は、エッジ照明を介して発見可能性ガイダンスを提供することによって、ユーザがあまり一般的ではない特徴とより効率的に対話することを可能にし、それによってこのような特徴の採用を促進する。いくつかの例において、コンピューティング装置110は、中央ディスプレイ116の全体を取り囲む周辺ディスプレイ118によって、ユーザに360°の状況認識を提供することができる。このようにして、エッジ照明は、一貫した視覚通信のモードを提供することによって、コンピューティング装置110のユーザ体験を高めることができる。
【0043】
さらに、コンピューティング装置110は、エッジ照明の視覚通信を用いて、ユーザが望まないコンピューティング装置110の動作モードを発見することを可能にすることによって、ユーザがこれらの動作モード中に実行される様々な動作を無効にすることを可能にする。コンピューティング装置110は、ユーザとの明確な通信によって、エネルギー、メモリ、または計算リソースを不必要に枯渇させることを回避することができるため、コンピューティング装置110自体のより効率な動作を可能にする。
【0044】
図2は、本開示の1つ以上の態様に従って、エッジ照明を介して、例示的なコンピューティング装置の状態変化に関する視覚通信を提供するように構成された例示的なコンピューティング装置を示すブロック図である。以下、図2のコンピューティング装置200を図1のコンピューティング装置110の例として説明する。図2は、コンピューティング装置200の1つの特定の例のみを示しており、コンピューティング装置200の多くの他の例は、他の事例において使用されてもよく、コンピューティング装置200に含まれる構成要素の一部を含んでもよく、または図2に示されていない追加の構成要素を含んでもよい。
【0045】
図2の例に示すように、コンピューティング装置200は、1つ以上のプロセッサ210と、1つ以上の通信ユニット220と、1つ以上のセンサ250と、1つ以上の記憶要素240と、中央ディスプレイ270と、周辺ディスプレイ280とを含む。コンピューティング装置200の記憶要素240は、ユーザインターフェイスモジュール262と、視覚通知(VN)260とを含む。ユーザインタフェースモジュール262は、図1のユーザインタフェースモジュール114と同じまたは実質的に同様であってもよい。ユーザインターフェイスモジュール262は、入力検出ユニット242と、状態変化監視ユニット244と、通知決定ユニット246と、表示インターフェイスユニット248とを含む。
【0046】
通信チャネル230は、要素間通信を(物理的に、通信可能に、および/または動作可能に)行うために、要素210、220、240、250、270、および280の各々を相互接続する。いくつかの例において、通信チャネル230は、システムバス、ネットワーク接続、プロセス間通信データ構造、またはデータを通信するための任意の他の方法を含んでもよい。
【0047】
1つ以上の通信ユニット220は、1つ以上の有線および/または無線ネットワークを介して、1つ以上のネットワーク上でネットワーク信号を送信および/または受信することによって外部装置と通信する。通信ユニット220の例は、ネットワークインターフェイスカード(例えば、イーサネット(登録商標)カード)、光トランシーバ、無線周波数トランシーバ、GPSレシーバ、または情報を送信および/または受信することができる任意の他の種類の装置を含む。通信ユニット220の他の例は、短波無線機、セルラデータ無線機、ワイヤレスネットワーク無線機、およびユニバーサルシリアルバス(USB)コントローラを含んでもよい。
【0048】
1つ以上のセンサ250は、入力を受信することができる。センサ250の例は、容量性タッチスクリーン、投影容量性タッチスクリーン、抵抗性タッチスクリーン、表面音波タッチスクリーン、カメラ、マイクロフォン、ボタン、スイッチ、加速度計、ジャイロスコープ、気圧計、磁力計、レーダなどを含むが、これらに限定されない。センサ250は、通信ユニット220(例えば、UWBインターフェイス、パーソナルエリアネットワーク(PAN)インターフェイス、全地球測位システム(GPS)レシーバ、レーダ検出器)と連携して、電波入力などの入力を受信することができる。
【0049】
1つ以上の記憶要素240は、コンピューティング装置200の動作中に処理される情報を記憶する。いくつかの例において、記憶要素240は、一時メモリである。これは、記憶要素240の主な目的が長期記憶ではないことを意味する。コンピューティング装置200上の記憶要素240は、情報を短期記憶するために揮発性メモリとして構成されてもよい。したがって、電源オフにされた場合、記憶要素240は、記憶されたコンテンツを保持しない。揮発性メモリの例は、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、および当技術分野で知られている他の種類の揮発性メモリを含む。
【0050】
いくつかの例において、記憶要素240は、1つ以上のコンピュータ可読記憶媒体を含む。いくつかの例において、記憶要素240は、1つ以上の非一時的なコンピュータ可読記憶媒体を含む。記憶要素240は、揮発性メモリによって通常記憶される情報よりも多い量の情報を記憶するように構成されてもよい。記憶要素240は、不揮発性メモリ空間として情報を長期記憶するようにさらに構成され、電源オン/オフサイクル後に情報を保持することができる。不揮発性メモリの例は、磁気ハードディスク、光ディスク、フロッピー(登録商標)ディスク、フラッシュメモリ、または電気的プログラマブルメモリ(EPROM)もしくは電気的消去可能プログラマブル(EEPROM)メモリを含む。記憶要素240は、入力検出ユニット242、状態変化監視ユニット244、通知決定ユニット246、表示インターフェイスユニット248、およびVN260に関連するプログラム命令および/または情報(例えば、データ)を記憶することができる。
【0051】
1つ以上のプロセッサ210は、コンピューティング装置200に関連する機能を実装し、および/または命令を実行することができる。プロセッサ210の例は、アプリケーションプロセッサ、ディスプレイコントローラ、補助プロセッサ、1つ以上のセンサハブ、およびプロセッサ、処理ユニットまたは処理装置として機能するように構成された任意の他のハードウェアを含む。入力検出ユニット242、状態変化監視ユニット244、通知決定ユニット246および表示インターフェイスユニット248は、コンピューティング装置200の様々な動作、操作、または機能を実行するように、プロセッサ210によって実行可能な命令を含んでもよい。例えば、プロセッサ210は、記憶要素240によって記憶され、入力検出ユニット242、状態変化監視ユニット244、通知決定ユニット246、および表示インターフェイスユニット248に起因する本明細書に記載の動作をプロセッサ210に実行させる命令を読み出し、実行することができる。これらの命令がプロセッサ210によって実行されると、コンピューティング装置200は、情報を記憶要素240に、例えばVN260に記憶することができる。
【0052】
コンピューティング装置200の構成要素は、図2の例では単一の装置の一部として示されているが、いくつかの例において、異なる装置の内部におよび/または異なる装置の一部として配置されてもよい。例えば、いくつかの例において、入力検出ユニット242、状態変化監視ユニット244、通知決定ユニット246、および表示インターフェイスユニット248の機能のいくつかまたは全ては、同じまたは異なるコンピューティングシステムに設けられてもよい。すなわち、いくつかの例において、本開示の技法は、単一のコンピューティング装置によって実行および利用されてもよいが、他の例において、複数のコンピューティングシステム、例えば分散型または「クラウド」コンピューティングシステムにわたって実行および/または利用されてもよい。
【0053】
コンピューティング装置200は、第1の部分と第2の部分とを有するディスプレイを含んでもよい。周辺ディスプレイ280は、ディスプレイ265の周辺の実質的な部分(例えば、ディスプレイの周辺の50%超またはそれより少し高いパーセントを取り囲むピクセルの連続バンド。このバンドは、ディスプレイのピクセル全体の一定のパーセント、例えば1%、5%、10%、20%または30%未満のピクセル幅を有してもよく、またはそれより高いが、ディスプレイの全ての利用可能なピクセルの50%未満のピクセル幅を有してもよい)を含み得る第1の部分を表し得るが、中央ディスプレイ270は、ディスプレイ265の第2の部分を表し得る。中央ディスプレイ270は、周辺ディスプレイ280を含まなくてもよい。周辺ディスプレイ280は、図1の周辺ディスプレイ118の例を表すことができ、中央ディスプレイ270は、図1の中央ディスプレイ116の例を表すことができる。コンピューティング装置200は、周辺ディスプレイ280とインターフェイス接続することによって、コンピューティング装置200の状態変化を示すVN260のうち、1つ以上を示す光パターンを出力することができる。
【0054】
動作中、状態変化監視ユニット244は、まず、コンピューティング装置200の状態の変化を判断することができる。状態変化は、多くの異なる条件に応じて生じることができる。例えば、コンピューティング装置200は、(例えば、特定のワイヤレスネットワークに接続される時に、GPSセンサによって示された特定の位置にある時に)(例えば、レーダまたは他の近接センサを介してユーザを検出するように)環境、ネットワーク(例えば、PAN、セルラーネットワークを含むいずれかの無線ネットワーク)、または他の媒体を周期的またはコンテキスト的にスキャンすることによって、様々なセンサまたはインターフェイスを起動して、環境、ネットワークまたは他の媒体内のリモート装置130、ユーザ、または他の活動を特定するように構成されてもよい。ユーザに警告することなくセンサまたは他のインターフェイスをサイレントに起動してスキャンを実行するのではなく、状態変化監視ユニット244は、(センサ250、通信ユニット220およびプロセッサ210などのうち、1つの状態の変化を含み得る)コンピューティング装置200の状態の変化を検出し、通知決定ユニット246とインターフェイス接続することによって、状態の変化を表す指示を提供することができる。
【0055】
さらに、コンピューティング装置200は、ユーザまたは別の装置、例えば、スマートウォッチ、スマートグラス、スマートスピーカ、ホームハブなどのコンパニオン装置からの入力に応じて、状態を変更することができる。リモート装置130は、これらのコンパニオン装置の一例を表し得る。いずれにしても、入力検出ユニット242は、(中央ディスプレイ270が、タッチ入力を受信することができる存在感知ディスプレイを表す場合)ユーザが中央ディスプレイ270、ボタンまたは他のセンサ250を介して提供された(ジャイロスコープおよび/または加速度計によって検出されたモーション入力、センサ250の気象センサによって検知された気象入力(例えば、湿度、気圧、温度、風速)、コンピューティング装置200の位置を表すGPS入力を含む)入力を検出することができる。
【0056】
言い換えれば、入力検出ユニット242は、通信ユニット220および/またはセンサ250から入力の指示を受信することができる。入力検出ユニット242は、触覚入力、聴覚入力、視覚入力、タッチレスジェスチャ入力、モーション入力、または二次装置入力の指示を受信することができる。センサ250は、ボタン押下、シングルタッチジェスチャ、またはマルチタッチジェスチャを受信することができる。センサ250は、音声アシスタントへの音声コマンドまたはキーワード(例えば、「コンピュータ」)を識別することができる。センサ250は、QRコード(登録商標)または画像キー(例えば、顔認識)を受信することができる。通信ユニット220および/またはセンサ250は、コンピューティング装置200への手伸ばしまたはコンピューティング装置200に対する手振りを検出することができる。通信ユニット220および/またはセンサ250は、(例えば、ジャイロスコープを介して)コンピューティング装置200の物理的な動き、例えば、コンピューティング装置200の持ち上げまたは回転を検出することができる。通信ユニット220および/またはセンサ250は、二次装置から、有線接続信号、UWB信号、ブルートゥース(登録商標)信号、またはWiFi(登録商標)信号などの入力を受信することができる。通信ユニット220および/またはセンサ250が通信チャネル230を介して入力を検出したことに応答して、入力検出ユニット242は、入力の指示を受信することができる。
【0057】
このようなユーザ入力およびセンサ入力は、コンピューティング装置200の状態の変化をもたらすことができるため、コンピューティング装置200は、状態の変化に応答して何らかの動作を独立して実行することができる。入力検出ユニット242は、これらの動作をサイレントに実行するのではなく、状態変化監視ユニット244とインターフェイス接続することによって、入力の指示を提供することができ、状態変化監視ユニット244は、入力の指示に基づいて状態の変化を判断することができる。次いで、状態変化監視ユニット244は、状態の変化を表す指示を通知決定ユニット246に提供することができる。
【0058】
いくつかの例において、コンピューティング装置200上にインストールされたソフトウェアは、入力に応答し、ソフトウェアの各々の命令に従って、コンピューティング装置200上で動作を開始することができる。例えば、カメラアプリは、タッチスクリーン上のボタンタップに応答して、センサ250のカメラを起動して、写真を撮影することができる。別の例として、手振りジェスチャに応答して、アラームアプリは、アラームをスヌーズすることができる。さらに別の例として、音量コントローラは、センサ250のボタンの押下に応答して、コンピューティング装置200の音量を増減することができる。さらに別の例として、通信ユニット220によって受信されたUWB信号に応答して、リモート装置ペアリングコントローラは、第2のコンピューティング装置(例えば、リモート装置130)を発見することができる。
【0059】
状態変化監視ユニット244は、コンピューティング装置200上のソフトウェアがコンピューティング装置200の動作モードを変更することによる状態の変化を決定することができる。例えば、リモート装置(例えば、リモート装置130)から送信された電波に起因して、コンピューティング装置200は、ペアリングモードに入ることができる。この場合、状態の変化は、コンピューティング装置200がパーソナルエリアネットワークまたはUWB接続を介してリモート装置とペアリングすることを含む。別の例として、タッチスクリーン上のボタンタップに起因して、コンピューティング装置200は、記録モードに入ることができる。この場合、コンピューティング装置200は、マイクロフォンへの入力を受信、記憶、および/または分析する。さらに別の例として、ユーザがコンピューティング装置200を持ち上げることに起因して、コンピューティング装置200は、発見モードに入ることができる。この場合、コンピューティング装置200は、コンピューティング装置200の機能、例えば、押すために利用可能なボタンまたは話すために利用可能なマイクロフォンを示す。
【0060】
他の場合には、状態変化監視ユニット244は、コンピューティング装置200上の動作を分析し、重要な状態の変化を判断することができる。状態変化監視ユニット244は、動作の顕著な特性に基づいて、状態変化の有意性を判断することができる。状態変化監視ユニット244は、コンピューティング装置200の注目すべきハードウェア(例えば、センサ250内のカメラまたはマイクロフォン、通信ユニット220内の電波レシーバおよび/またはトランスミッタ)の起動を分析することができる。状態変化監視ユニット244は、範囲内の値(例えば、音量、画面輝度)の変化を分析することができる。この場合、状態変化監視ユニット244は、状態変化の指示を通知決定ユニット246に提供することができる。
【0061】
通知決定ユニット246は、状態変化を表す指示を受信することができる。通知決定ユニット246は、状態変化に基づいて、VN260のうち、状態変化を示すピクセルアクティブ化のパターンを表す1つを選択することができる。通知決定ユニット246は、VN260のうち、選択されたVNの指示を提供する表示インターフェイスユニット248とインターフェイス接続することができる。VN260のうち、選択されたVNの指示に基づいて、表示インターフェイスユニット248は、周辺ディスプレイ280とインターフェイス接続し、周辺ディスプレイ280を構成することによって、VN260のうち、通知決定ユニット246によって選択されたVNによって示されるピクセルをアクティブ化して、光パターンを出力することができる。
【0062】
状態変化に基づいて、通知決定ユニット246は、状態変化をユーザに伝達するための視覚通知を決定することができる。通知決定ユニット246は、コンピューティング装置200の状態変化の有意性を判断することができる。通知決定ユニット246は、状態変化に関するユーザの知識がユーザによる行動の変化を引き起こすか否かを予測することによって、有意性を判断することができる。例えば、通知決定ユニット246は、状態変化のユーティリティスコア(utility score)を計算し、ユーティリティスコアが閾値ユーティリティスコアを満たす場合、状態変化が有意であると判断することができる。場合によっては、通知決定ユニット246は、状態変化によってユーザが新しい行動に参加し(例えば、新たにペアリングされたリモート装置に音楽をストリーミングし始める、コンピューティング装置200上のコントロールの新しい機能を発見する等)、より高いユーティリティスコアをもたらすと判断することができる。他の場合には、通知決定ユニット246は、状態変化によってユーザが行動への参加を停止し(例えば、ボリュームの増加を中止する、またはカメラアプリのボタンを解放する)、より高いユーティリティスコアをもたらすと判断することができる。
【0063】
場合によっては、通知決定ユニット246は、ソフトウェアアプリケーションによって引き起こされた状態変化の有意性を示すデータオブジェクトを、ソフトウェアアプリケーションから受信することができる。言い換えれば、ソフトウェアアプリケーションは、VN260のうちの1つを指定する指示を提供するように構成されてもよい。例えば、カメラアプリは、画像の撮影を有意な状態変化として特定し、画像(および/または動画)を撮影するカメラを起動することに関連するVN260のうちの1つを指定する指示を、状態変化監視ユニット244に提供することができる。別の例として、モーションセンサコントローラは、ユーザがコンピューティング装置200を持ち上げ、マイクロフォンに話すことを予測することができ、マイクロフォンの将来の使用を有意な状態変化として特定し、マイクロフォンのアクティブ化に関連するVN260のうちの1つを指定する指示を提供することができる。
【0064】
通知決定ユニット246は、(ユーティリティスコアによって測定される)状態変化の有意性がVN260のうちの1つの提示に値することを判断することができる。有意な状態変化がVN260のうちの1つの選択をもたらすと判断した後、通知決定ユニット246は、VN260のうちの1つを選択することができる。
【0065】
また、いくつかの例において、通知決定ユニット246は、状態変化の特徴を判断することによって、VN260のうちの1つを選択することができる。特徴は、状態変化に対応する方向を含んでもよい。状態変化は、コンピューティング装置200上のハードウェアに対応する特徴、例えば、センサまたはボタンを含んでもよい。状態変化は、コンピューティング装置200に対して既知の位置を有するリモート装置またはタッチレスジェスチャに対応する特徴を含んでもよい。特徴は、状態変化に対応する強度を含むことができる。いくつかの例において、状態変化は、音量範囲またはリモート装置とコンピューティング装置200との間の距離に対応する特徴を含んでもよい。代替的に、通知決定ユニット246は、状態変化が方向性または強度などの有意な特徴を有しないと判断することができる。
【0066】
通知決定ユニット246が状態変化の方向性を判断する例において、通知決定ユニット246は、状態変化の方向性を示す変動を含むピクセルアクティブ化のパターンを表すVN260のうちの1つを選択することができる。例えば、VN260のうちの選択された1つは、(周辺ディスプレイ280の)第1のピクセルグループのアクティブ化と、(周辺ディスプレイ280の)第2のピクセルグループの非アクティブ化と、(周辺ディスプレイ280の)別のピクセルグループよりも高い強度の出力を有するピクセルグループのアクティブ化と、または(周辺ディスプレイ280の)別のピクセルグループとは異なる色の出力を有するアクティブピクセルグループのアクティブ化を指定することができる。別個のピクセルグループの配置は、状態変化に対応するセンサまたは別の入力機構の位置を示すことができる。例えば、入力検出ユニット242が音量の増加または減少を開始するボタン押下の指示を受信した場合、通知決定ユニット246は、ボタンと一致するピクセルグループの位置を指定するVN260のうちの1つを選択することができる。別の例として、コンピューティング装置200がマイクロフォン入力を記録している場合、通知決定ユニット246は、周辺ディスプレイ280上に位置し、マイクロフォンと一致するピクセルグループをアクティブ化するVN260のうちの1つを選択することができる。
【0067】
コンピューティング装置200がコンピューティング装置200によって提供された機能をユーザに通知する例において、通知決定ユニット246は、コンピューティング装置200の機能に関連する機構と一致するピクセルの別個のグループをアクティブ化するVN260のうちの1つを選択することができる。このような場合、通知決定ユニット246は、ピクセルのパターンが追加の入力を受信するコンピューティング装置200の能力を示すように、ピクセルの配列をアクティブ化するVN260のうちの1つを選択することができる。例えば、通知決定ユニット246は、電源ボタンが関連アプリケーション(例えば、カメラアプリケーション)を開くことを示すように、電源ボタンと一致するピクセルのグループを含むピクセルのパターンをアクティブ化するVN260のうちの1つを選択することができる。場合によっては、通知判断ユニット246は、ピクセルグループが2つのパルスを出力するように、ピクセルグループをアクティブ化するVN260のうちの1つを選択することができる。2つのパルスが提示されると、電源ボタンの2回の押圧が、関連するアプリケーション(例えばカメラアプリケーション)を開くことができることを示す。
【0068】
通知決定ユニット246は、コンピューティング装置200に対するリモート装置130またはタッチレスジェスチャなどからのリモート入力の方向を示すように、周辺ディスプレイ280のピクセルの配列をアクティブ化するVN260のうちの1つを選択することができる。コンピューティング装置200がリモート装置とペアリングする場合、ピクセルの別個のグループの位置は、コンピューティング装置200に対するリモート装置の方向と整列され、コンピューティング装置200に対するリモート装置の方向を示す。コンピューティング装置200が手振りジェスチャに応答して通知信号を沈黙させる場合、通知決定ユニット246は、コンピューティング装置200に対する手振りの方向と一致するピクセルの別個のグループをアクティブ化するVN260のうちの1つを選択することができる。追加的にまたは代替的に、通知決定ユニット246は、他の状態変化を示すピクセルグループ中の他の変化を判断し、(通知決定ユニット246が新しいVNを作成するために修正できるテンプレートとして機能する)VN260のうちの既存のものを修正または変更することができる。
【0069】
他の例において、通知決定ユニット246は、変動なく、1つの別個のグループを含むピクセルのパターンをアクティブ化するVN260のうちの1つを選択することができる。例えば、パターンは、1つのレベルの輝度および1つの色を含んでもよい。このような例において、通知決定ユニット246は、状態変化が関連する方向または位置に対応していないと判断することができる。
【0070】
通知決定ユニット246は、ピクセルのグループが周辺ディスプレイ280の全体を取り込むべきであることを示すVN260のうちの1つを選択することができる。通知決定ユニット246は、コンピューティング装置200のカメラが写真またはビデオを撮影する目的で起動されていること、コンピューティング装置200がスクリーンショットを撮影すること、および/またはコンピューティング装置200がロック解除することを示す状態変化に応答して、このようなパターンを表すVN260のうちの1つを選択することができる。
【0071】
通知決定ユニット246は、アニメーションで周辺ディスプレイ280を表すピクセルのパターンを表すVN260のうちの1つを選択することができる。通知決定ユニット246は、アクティブ化の動的時系列(例えば、アクティブ化後の非アクティブ化、アクティブ化ピクセルの色または強度の変化、他のピクセル変化と比較して遅延後の変化)を表すVN260のうちの1つをアニメーションとして選択することができる。通知決定ユニット246は、ピクセルのグループのアクティブ化、非アクティブ化、および再アクティブ化などによるピクセルのグループ全体のアクティブ化の変化を表すVN260のうちの1つを選択することができる。
【0072】
実際には、アクティブ化の変化は、周辺ディスプレイ280上に出力されたときに、ピクセルのフラッシュまたはパルスとして表示されてもよい。通知決定ユニット246は、周辺ディスプレイ280のピクセルのグループが経時的により多くのアクティブ化ピクセルを含むように、または周辺ディスプレイ280のピクセルのグループが経時的により少ないアクティブ化ピクセルを含むように、ピクセルのグループ中のピクセルの数の経時的な変化を表すVN260のうちの1つを選択することができる。
【0073】
実際には、周辺ディスプレイ280のピクセルのグループ内のピクセルの数の変化は、周辺ディスプレイ280によってアクティブ化されたときに、ピクセルのグループの増加または減少として表示されてもよい。アニメーションは、状態変化に対応してもよい。例えば、コンピューティング装置200がコンピューティング装置200の機能を提案しているときに、ピクセルのグループは、点滅することによって、ユーザの注意を引き付けることができる。別の例として、ピクセルアクティブ化のパターンは、点滅することによって、ユーザが機能を発見することを支援することができる。例えば、電源ボタンに隣接するピクセルのグループのアクティブ化、非アクティブ化、および再アクティブ化をすることによって、ダブルクリックがカメラアプリケーションを起動することを示すことができる。
【0074】
場合によっては、通知決定ユニット246は、状態変化に対応する高さに比例するアクティブ化ピクセルのグループのサイズを表すVN260のうちの1つを選択することができる。通知決定ユニット246は、変化する高さに比例してサイズを変更するように、VN260のうちの選択されたVNを修正することができる。通知決定ユニット246は、ピクセルのグループの他のピクセルと比較して遅延後にいくつかのピクセルをアクティブ化または非アクティブ化することによって、ピクセルのグループのサイズを変更することができる。
【0075】
いくつかの例において、アニメーションは、出力の強度または色を変化させるピクセルのグループを含んでもよい。例えば、(例えば、非アクティブピクセルと比較してアクティブ化によって区別される、または他のアクティブ化ピクセルと比較して輝度または色によって区別される)音量変化に対応するピクセルの別個のグループは、音量が増加するにつれてサイズが増大することができ、音量が減少するにつれてサイズが縮小することができる。このようなピクセルは、周辺ディスプレイ280によって表される離散ピクセルに対応する。
【0076】
別の例として、図1の例に示されたリモート装置130などのリモート装置を示すピクセルの別個のグループは、コンピューティング装置110とリモート装置130との近接度に比例してサイズを変更する。すなわち、リモート装置130がコンピューティング装置110に近づくにつれて、サイズが増大し(例えば、アクティブ化ピクセルを追加し)、リモート装置130がコンピューティング装置110から離れるにつれて縮小する(例えば、いくつかのピクセルを非アクティブ化する)。追加的にまたは代替的に、通知決定ユニット246は、他の状態変化を示すために、ピクセルのパターンの他のアニメーションを決定することができる。
【0077】
場合によっては、通知決定ユニット246は、状態変化を表すパターンを構築することができる。他の場合には、通知決定ユニット246は、データオブジェクトを通知決定ユニット246に提供するソフトウェアアプリケーションのような、状態変化に関連するソフトウェアアプリケーションによって示されるパターンを使用することができる。さらに他の場合において、通知決定ユニット246は、コンピューティング装置200に記憶されたパターンをVN260として使用することができる。ソフトウェアアプリケーションによって示されたパターンまたはVN260からのパターンは、1つ以上の強度、1つ以上の色、1つ以上の方向、および/または1つ以上のアニメーションを指定することができる。VN260のパターンは、状態変化または状態変化の特徴を示すことができる。したがって、通知決定ユニット246は、状態変化を検出すると、VN260内の対応するパターンを参照することができる。
【0078】
コンピューティング装置200のユーザは、ユーザインターフェイスを介して、パターンをカスタマイズすることができる。通知決定ユニット246は、カスタマイズされたパターンをVN260として記憶することができる。カスタマイズは、強度、色、および/またはアニメーションを含んでもよい。通知決定ユニット246は、ユーザが変更し得るデフォルト値を提供することができる。ユーザは、通知決定ユニット246がパターンを決定するための状態変化の種類をさらにカスタマイズすることができる。例えば、通知決定ユニット246は、ユーザによって設定構成においてまたはデフォルト構成として示されたときのように、コンピューティング装置200がフィードバックまたは発見可能性を提供するように構成されたときのみ、フィードバックまたは発見可能性モードを表すVN260のうちの1つを選択し、修正することができる。
【0079】
通知決定ユニット246がVN260のうちの1つを選択した後、表示インターフェイスユニット248は、周辺ディスプレイ280とインターフェイス接続して、VN260のうちの選択された1つに基づいて、視覚通知を光パターンとして出力することができる。表示インターフェイスユニット248は、通知決定ユニット246によって決定されたVN260のうちの1つによって指定されたピクセルアクティブ化を実行することができる。通知決定ユニット246は、光パターンを表すVN260のうちの1つを決定し、VN260のうちの決定された1つの指示を表示インターフェイスユニット248に提供することができる。
【0080】
表示インターフェイスユニット248は、周辺ディスプレイ280および/または中央ディスプレイ270とインターフェイス接続するように構成されたユニットを表すことができる。表示インターフェイスユニット248は、VN260のうちの決定された1つを受信することに応答して、VN260のうちの決定された1つによって表される光パターンを出力するように(中央ディスプレイ270ではなく)周辺ディスプレイ280を構成することができる。言い換えれば、表示インターフェイスユニット248は、VN260のうちの決定されたものによって表される光パターンを出力するように、ピクセルのアクティブ化をもたらす様々な値を記憶するように、中央ディスプレイ270のディスプレイバッファとは別個であり得る(または中央ディスプレイ270のディスプレイバッファと一体化され得る)ディスプレイバッファを構成することができる。
【0081】
したがって、周辺ディスプレイ280は、中央ディスプレイとは別個のディスプレイバッファを含んでもよく、または周辺ディスプレイ280と中央ディスプレイ270の両方は、共通のディスプレイバッファを共有してもよい。ディスプレイバッファが共有される場合、表示インターフェイスユニット248は、共通のインターフェイスを用いてデータを共有バッファに記憶することができるが、ディスプレイプロセッサは、中央ディスプレイ270のピクセルをアクティブ化するディスプレイバッファのコンテンツをコピーし、表示インターフェイスユニット248によって提供されるデータを用いて周辺ディスプレイ280のピクセルをアクティブ化するデータを置換することによって、(いくつかの例では)周辺ディスプレイ280の光パターンの出力のみを変更する。中央ディスプレイ270および周辺ディスプレイ280の各々の別個のディスプレイバッファは、中央ディスプレイ270のために記憶されたデータのコピーを回避することによって性能を潜在的に改善することができるが、別個のバッファに関連するコストを増加させる。
【0082】
場合によっては、コンピューティング装置200は、周辺ディスプレイ280および中央ディスプレイ270への命令を各々処理するための2つのディスプレイプロセッサを含んでもよい。他の場合には、コンピューティング装置200は、周辺ディスプレイ280および中央ディスプレイ270に各々対応する2つの別個のフレームバッファを有する単一のディスプレイプロセッサを含んでもよい。場合によっては、コンピューティング装置200は、2つの部分に論理的に分割された単一のフレームバッファを含んでもよい。
【0083】
図3は、本開示の1つ以上の態様に従って、エッジ照明を介して視覚通信を提供するためのコンピューティング装置の例示的な動作を示す流れ図である。以下、例示のみを目的として、図2の文脈内で、図3の例示的な動作を説明する。
【0084】
図3の例において、コンピューティング装置200は、第1の部分(すなわち、図2の例に示された周辺ディスプレイ280)および第2の部分(すなわち、図2の例に示された中央ディスプレイ270)を有するディスプレイ265を含む。第1の部分は、ディスプレイ265の外周のみを含み、第2の部分は、ディスプレイ265の外周を除外する。すなわち、第1の部分は、第2の部分(例えば、ディスプレイの周辺の50%超またはそれより少し高いパーセントを取り囲むピクセルの連続バンド。このバンドは、ディスプレイのピクセル全体の一定のパーセント、例えば1%、5%、10%、20%または30%未満のピクセル幅を有してもよく、またはそれより高いが、ディスプレイの全ての利用可能なピクセルの50%未満のピクセル幅を有してもよい)を実質的に取り囲む。
【0085】
場合によっては、第1の部分および第2の部分は、単一のディスプレイの2つの部分である。他の場合において、第1の部分および第2の部分は、別個のディスプレイである。第1の部分は、様々な幅(例えば、1、2、...、20ピクセル)を有してもよい。いくつかの例において、第1の部分および第2の部分は、同一平面上にあってもよい(例えば、第1の部分および第2の部分は、コンピューティング装置の前面上にあってもよい)。他の例において、第1の部分および第2の部分は、互いに対して異なる非ゼロ角度で配置されてもよい。第2の部分は、コンピューティング装置の前面上にあってもよく、第1の部分は、コンピューティング装置のエッジ上にあってもよい(例えば、第1の部分は、第2の部分に対して非ゼロ角度で配置されてもよい)。
【0086】
コンピューティング装置200は、入力を検出することができる。コンピューティング装置200は、様々なセンサおよび/または通信装置(例えば、存在感知タッチスクリーン、マイクロフォン、カメラ、加速度計、レーダ)のいずれかを用いて、例えば、通信ユニット220、センサ250、および/またはディスプレイ265を介して、入力を検出することができる。いくつかの例において、入力は、触覚入力、例えば、(ディスプレイ265が存在感知検出を実行するように構成されるときに表し得る)コンピューティング装置200のタッチスクリーン上のシングルタッチもしくはマルチタッチ、またはコンピューティング装置上のボタンの押下であってもよい。他の例において、入力は、音声コマンドなどの聴覚入力であってもよい。さらに他の例において、入力は、QRコード(登録商標)などの視覚入力であってもよい。さらに他の例において、入力は、コンピューティング装置の動作、例えば、コンピューティング装置を持ち上げる動作またはひっくり返す動作であってもよい。さらに他の例において、入力は、タッチレスジェスチャ(例えば、電波)または別のコンピューティング装置からの信号(例えば、UWB信号)などの電波送信であってもよい。
【0087】
上記で説明たように、コンピューティング装置200は、入力に応答して、コンピューティング装置の状態の変化を判断することができる(304)。状態の変化は、例えば、動作の実行または動作モードの変更であってもよい。例えば、コンピューティング装置200は、カメラを介して(例えば、顔認識を用いて)提示した視覚パスワードに応答して、ディスプレイの第2の部分をロック解除することができる。別の例として、コンピューティング装置200は、PAN信号の受信に応答して、(図1の例に示された)リモート装置130とのペアリングモードに入ることができる。
【0088】
コンピューティング装置200は、状態の変化に基づいて、上記の光パターンを表す視覚通知260を決定することができる(306)。視覚通知260は、光パターンを出力する周辺ディスプレイ280のピクセルのアクティブ化を示すことができる。視覚通知260は、様々なサイズのピクセル、または様々な輝度もしくは色の出力を有するピクセルの1つ以上のグループのアクティブ化を示すデータを表すことができる。場合によっては、視覚通知260のうちの選択された1つは、変動なしピクセルの単一のグループのアクティブ化を示すデータを含んでもよい。他の場合には、視覚通知260のうちの選択された1つは、異なる輝度または異なる色によって区別可能な2つ以上のグループのアクティブ化を示すデータを含んでもよい。視覚通知260のうちの選択された1つは、ピクセルグループを経時的に点滅させるまたはそのサイズを経時的に変更することによって、アニメーション化された光パターンを出力するピクセルのアクティブ化を示すデータを含んでもよい。
【0089】
コンピューティング装置200は、パターンの状態の変化の特性を強調することができる。状態の変化は、例えば、リモート装置130の方向またはコンピューティング装置200のハードウェア要素(例えば、マイクロホン、ボタン)の方向を含むことができる。このような例において、視覚通知260のうちの選択された1つは、ピクセルの2つ以上の別個のグループのアクティブ化を示すデータを含むことができ、各グループは、方向と整列される。視覚通知260のうちの選択された1つは、音量などの強度またはリモート装置との近接度を示すデータを含むことができる。視覚通知260のうちの選択された1つは、ピクセルの2つ以上の別個のグループのアクティブ化を示すデータを含むことができ、各グループのサイズは、強度に対応する。さらに、視覚通知260のうちの選択された1つは、アニメーションをもたらすピクセルのアクティブ化を示すデータを含むことができる。したがって、アクティブ化ピクセルのいくつかのグループは、リモート装置130に対するコンピューティング装置200の強度または近接度の増加または減少に応じて、増大または縮小する。
【0090】
この点において、パターンは、視覚通信をユーザに提供することができる。パターンは、コンピューティング装置が入力を処理していることをユーザに確認させることができる。例えば、パターンは、ユーザによる手振りなどのリモートジェスチャの方向を示することができ、コンピューティング装置200がこのジェスチャを検出したことをユーザに確認させることができる。パターンは、動作をユーザに提案することができる。例えば、パターンは、(例えば、コンピューティング装置の電源ボタンと整列されたピクセルのグループのアクティブ化、非アクティブ化、および再アクティブ化を介して)ユーザが電源ボタンを2回押すことによって写真を撮ることができることを示すことができる。
【0091】
コンピューティング装置200は、表示インターフェイスユニット248を呼び出して、周辺ディスプレイ280とインターフェイス接続することによって、視覚通知260のうちの選択された1つに基づいて、光パターンを出力することができる(308)。周辺ディスプレイ280は、視覚通知260のうちの選択された1つに従ってピクセルアクティブ化を実行し、対応する光パターンを生成することができる。これにより、周辺ディスプレイ280は、光パターンを出力することができる。周辺ディスプレイ280を介して光パターンを表示することによって、コンピューティング装置200は、環境の360度の状況認識をユーザに示すことができる。光パターンの持続時間は、様々な持続時間(例えば、半秒、1秒、2秒)のうちのいずれかであってもよい。
【0092】
図4A~4Dは、本開示の様々な技法に従って、エッジ照明を介して視覚通信を提供するための例示的なコンピューティング装置を示す概念図である。
【0093】
図4Aは、中央ディスプレイおよび周辺ディスプレイ402を含むスマートフォン404を有する例示的なシナリオ400を示す。スマートフォン404は、図2の例に示されたコンピューティング装置200の一例を表すことができる。図4Aの例において、スマートフォン404は、PANまたはUWB信号などを介してリモートスピーカ408を検出しており、リモートスピーカ408は、リモート装置130の一例を表す。スマートフォン404は、周辺ディスプレイ402上に光パターンを生成することによって、リモートスピーカ408の存在をユーザに通信する。
【0094】
すなわち、スマートフォン404は、リモートスピーカ408の検出に応答して、リモート装置(この例では、リモートスピーカ408)と通信する能力を有するという点で状態を変更したことを判断することができる。したがって、スマートフォン404は、状態の変化に基づいて、VN260のうちの1つを選択することができる。スマートフォン404は、周辺ディスプレイ402とインターフェイス接続して、作動された部分406を介して、VN260のうちの選択された1つに基づいて、光パターンを提示することができる。
【0095】
光パターンは、周辺ディスプレイ402の残りの部分とは異なる周辺ディスプレイ402の部分406を介して、リモートスピーカ408の方向に対応する位置に光セグメントを出力することによって、スマートフォン404に対するリモートスピーカ408の方向を示す。部分406は、異なる輝度または色を出力する結果として、周辺ディスプレイ402の残りの部分とは異なってもよい。場合によっては、スマートフォン404は、周辺ディスプレイ402とインターフェイス接続して、部分406によって出力された光セグメントをアニメーション化することによって、リモートスピーカ408との近接度の変化を示すことができる。例えば、部分406は、スマートフォン404がリモートスピーカ408に近づくにつれてサイズ(部分406に含まれたピクセルのうち、以前にアクティブ化されたピクセルの数に対して、部分406に含まれたピクセルのうち、現在アクティブ化されたピクセルの数)を増大することができ、スマートフォン404がリモートスピーカ408から離れるにつれてサイズ(部分406に含まれたピクセルのうち、以前にアクティブ化されたピクセルの数に対して、部分406に含まれたピクセルのうち、現在アクティブ化されたピクセルの数)を減少することができる。
【0096】
図4Bは、中央ディスプレイ418および周辺ディスプレイ416を含むスマートTV415を有する例示的なシナリオ410を示す。スマートTV418は、図2の例に示されたコンピューティング装置200の別の例を表す。スマートTV415は、PANまたはUWB信号などを介してリモートコントロール412Aおよびリモートコントロール412B(「リモートコントロール412」と総称される)を検出する。リモートコントロール412は、それぞれ、図1の例に示されたリモート装置130の例を表す。このように、リモートコントロール412を検出することによって、スマートTV418は、スマートTV415の状態の変化を検出することができ、スマートTV415は、VN260のうちの1つを選択することができる。
【0097】
スマートTV415は、周辺ディスプレイ416を介して光パターンを生成することによって、リモートコントロール412の存在をユーザに通信する。したがって、スマートTV415は、表示インターフェイスユニット248を呼び出し、周辺ディスプレイ416とインターフェイス接続して、VN260のうちの選択された1つに基づいて、VN260のうちの選択された1つによって表される光パターンを出力することができる。光パターンは、周辺ディスプレイ416の部分414Aおよび414Bを作動させてリモコン412の方向に対応する位置に光セグメントを提示することによって、スマートTV415に対するリモコン412の各々の方向を示す。
【0098】
部分414Aおよび部分414B(「部分414」)は、部分414が異なる輝度または色を生成するため、周辺ディスプレイ416の残りの部分とは異なる。場合によっては、部分414は、アニメーション化された光セグメントを出力して、リモートコントロール412との近接度の変化を示すことができる。例えば、部分414Aは、リモートコントロール412AがスマートTV415に近づくにつれてサイズが増大する光セグメントを出力することができる。別の例として、部分414Bは、リモートコントロール412BがスマートTV418から離れるにつれてサイズが減少する光セグメントを出力することができる。
【0099】
図4Cは、中央ディスプレイ424および周辺ディスプレイ422を含む例示的なスマートフォン420を示す。スマートフォン420は、図2の例に示されたコンピューティング装置200の一例を表すことができる。スマートフォン420は、ユーザからの入力、例えば、中央ディスプレイ424のタッチスクリーン上のタッチまたはスマートフォン420のカメラを用いた顔認識を検出する。スマートフォン420は、タッチまたは顔認識に応答した状態変化が特定の方向に対応していないが、依然としてユーザへの視覚通信に値することを判断することができる。
【0100】
スマートフォン420は、検出された状態の変化(ユーザ入力の検出)に基づいて、検出された状態の変化に対応するVN260のうちの1つを決定することができる。スマートフォン420は、VN260のうちの決定されたVNに基づいて、周辺ディスプレイ422を、変動のない単一の光セグメント(すなわち、均一な輝度および色の光セグメント)を有する光パターンを生成するように構成することができる。このようにして、スマートフォン420は、スマートフォン420が入力を受信し、処理していることをユーザに通信することができる。
【0101】
スマートフォン420は、中央ディスプレイ424上に表示される追加のコンテンツにかかわらず、光パターンを生成するように周辺ディスプレイ422を構成することができる。場合によっては、周辺ディスプレイは、中央ディスプレイ424上にコンテンツを生成する際の遅延があった場合に、光パターンを生成するように構成されてもよい。他の場合には、周辺ディスプレイ422は、スマートフォン420にインストールされた全てのアプリにわたってユーザへの視覚通信を標準化するために、光パターンを生成するように構成されてもよい。
【0102】
図4Dは、中央ディスプレイおよび周辺ディスプレイ432を含む例示的なスマートフォン430を示す。スマートフォン430は、図2の例に示されたコンピューティング装置200の別の例を表す。スマートフォン430は、音量制御ボタン434に対するユーザのボタン押下を検出する。ボタン押下に応答して、スマートフォン430は、状態の変化を、スマートフォン430による音声出力の音量の変化として決定することができる。次に、スマートフォン430は、検出された状態の変化に基づいて、VN260のうちの1つを選択することができる。
【0103】
スマートフォン430は、周辺ディスプレイ432とインターフェイス接続することによって、周辺ディスプレイ432のVN260のうちの選択されたVNに基づいて、部分436を介して光パターンを出力することによって、音量変化をユーザに伝達する。光パターンは、光パターンを音量制御ボタン434と整列することによって、スマートフォン430上の音量制御ボタン434の位置を示す。一例として、出力された光セグメントは、異なる輝度または色によって、周辺ディスプレイ432によって出力された光の残りの部分とは異なる。スマートフォン430は、部分436によって出力された光セグメントをアニメーション化して音量の変化を示すように、周辺ディスプレイ432を構成することができる。例えば、部分436は、音量が増加するにつれてサイズ(部分436に含まれたピクセルのうち、以前にアクティブ化されたピクセルの数に対して、部分436に含まれたピクセルのうち、現在アクティブ化されたピクセルの数)を増大し、音量が減少するにつれてサイズ(部分436に含まれたピクセルのうち、以前にアクティブ化されたピクセルの数に対して、部分436に含まれたピクセルのうち、現在アクティブ化されたピクセルの数)を減少することによって、スマートフォン430の音量の変化をユーザに示すことができる。
【0104】
このようにして、本技法の様々な態様は、以下の項を可能にすることができる。
項1
方法であって、
コンピューティング装置の1つ以上のプロセッサが、コンピューティング装置の状態の変化を判断することと、
コンピューティング装置の1つ以上のプロセッサが、状態の変化に基づいて、視覚通知を決定することと、
コンピューティング装置の1つ以上のプロセッサが、視覚通知に基づいて光パターンを出力するように、コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、
ディスプレイは、第1の部分と、第2の部分とを含み、第1の部分は、ディスプレイの周辺の実質的な部分を含み、かつ、ディスプレイの第2の部分を除外する。
【0105】
項2
ユーザ入力を検出することをさらに含み、
コンピューティング装置の状態の変化を判断することは、ユーザ入力に基づいて、コンピューティング装置の状態の変化を判断することを含む、項1に記載の方法。
【0106】
項3
異なる装置への無線接続が利用可能であることを検出することをさらに含み、
状態の変化を判断することは、異なる装置への無線接続が利用可能であることを判断することを含む、項1および2の任意の組み合わせに記載の方法。
【0107】
項4
コンピューティング装置に対する異なる装置の方向を判断することをさらに含み、
視覚通知を決定することは、コンピューティング装置に対する異なる装置の方向を示す方向性視覚通知を決定することを含み、
ディスプレイの第1の部分とインターフェイス接続することは、方向性視覚通知に基づいて、コンピューティング装置に対する異なる装置の方向を示す光パターンを出力するように、ディスプレイの第1の部分とインターフェイス接続することを含む、項3に記載の方法。
【0108】
項5
方向性視覚通知は、異なる装置とコンピューティング装置との間の相対距離を示す近接視覚通知を含む、項3に記載の方法。
【0109】
項6
視覚通知は、コンピューティング装置のセンサの状態の変化を示し、
ディスプレイの第1の部分とインターフェイス接続することは、視覚通知に基づいて、コンピューティング装置におけるセンサの位置を示す光パターンを出力するように、ディスプレイの第1の部分とインターフェイス接続することを含む、項1~5の任意の組み合わせに記載の方法。
【0110】
項7
センサは、カメラおよびマイクロフォンのうち、1つ以上を含む、項6に記載の方法。
【0111】
項8
ディスプレイの第1の部分は、第1のディスプレイであり、
ディスプレイの第2の部分は、第1のディスプレイとは異なる第2のディスプレイである、項1~7の任意の組み合わせに記載の方法。
【0112】
項9
視覚通知は、コンピューティング装置がユーザ入力を受け入れるように構成されることを示す、項1~8の任意の組み合わせに記載の方法。
【0113】
項10
ディスプレイの第1の部分は、ディスプレイの第2の部分に対して非ゼロ角度で配置される、項1~9の任意の組み合わせに記載の方法。
【0114】
項11
コンピューティング装置であって、
第1の部分と第2の部分とを含むディスプレイを備え、第1の部分は、ディスプレイの周辺の実質的な部分を含み、かつ、ディスプレイの第2の部分を除外し、
コンピューティング装置は、1つ以上のプロセッサをさらに備え、
1つ以上のプロセッサは、
コンピューティング装置の状態の変化を判断し、
状態の変化に基づいて、視覚通知を決定し、
視覚通知に基づいて光パターンを出力するように、コンピューティング装置のディスプレイの第1の部分とインターフェイス接続するように構成されている。
【0115】
項12
1つ以上のプロセッサは、ユーザ入力を検出するようにさらに構成され、
1つ以上のプロセッサは、ユーザ入力に基づいて、コンピューティング装置の状態の変化を判断するように構成されている、項11に記載のコンピューティング装置。
【0116】
項13
1つ以上のプロセッサは、異なる装置への無線接続が利用可能であることを検出するようにさらに構成され、1つ以上のプロセッサは、異なる装置への無線接続が利用可能であることを決定するように構成されている、項11および12の任意の組み合わせに記載のコンピューティング装置。
【0117】
項14
1つ以上のプロセッサは、コンピューティング装置に対する異なる装置の方向を判断するようにさらに構成され、
1つ以上のプロセッサは、
コンピューティング装置に対する異なる装置の方向を示す方向性視覚通知を決定し、
方向性視覚通知に基づいて、コンピューティング装置に対する異なる装置の方向を示す光パターンを出力するように、ディスプレイの第1の部分とインターフェイス接続するように構成されている、項13に記載のコンピューティング装置。
【0118】
項15
方向性視覚通知は、異なる装置とコンピューティング装置との間の相対距離を示す近接視覚通知を含む、項13に記載のコンピューティング装置。
【0119】
項16
視覚通知は、コンピューティング装置のセンサの状態変化を示し、
1つ以上のプロセッサは、視覚通知に基づいてコンピューティング装置のセンサの位置を示す光パターンを出力するように、ディスプレイの第1の部分とインターフェイス接続するように構成されている、項11~15の任意の組み合わせに記載のコンピューティング装置。
【0120】
項17
センサは、カメラおよびマイクロフォンのうちの1つ以上を含む、項16に記載のコンピューティング装置。
【0121】
項18
ディスプレイの第1の部分は、第1のディスプレイであり、
ディスプレイの第2の部分は、第1のディスプレイとは異なる第2のディスプレイである、項11~17の任意の組み合わせに記載のコンピューティング装置。
【0122】
項19
視覚通知は、コンピューティング装置がユーザ入力を受け入れるように構成されることを示す、項11~18の任意の組み合わせに記載のコンピューティング装置。
【0123】
項20
ディスプレイの第1の部分は、ディスプレイの第2の部分に対して非ゼロ角度で配置される、項11~19の任意の組み合わせに記載のコンピューティング装置。
【0124】
項21
実行されると、コンピューティング装置の1つ以上のプロセッサに以下の動作を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体であって、動作は、
コンピューティング装置の状態の変化を判断することと、
状態の変化に基づいて、視覚通知を決定することと、
視覚通知に基づいて光パターンを出力するように、コンピューティング装置のディスプレイの第1の部分とインターフェイス接続することとを含み、
ディスプレイは、第1の部分と、第2の部分とを含み、
第1の部分は、ディスプレイの周辺の実質的な部分を含み、かつ、ディスプレイの第2の部分を除外する。
【0125】
1つ以上の例において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されてもよい。ソフトウェアで実装される場合、機能は、1つ以上の命令またはコードとしてコンピュータ可読媒体上に記憶され、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、例えば、データ記憶媒体または通信媒体などの有形媒体に対応し、通信プロトコルに従って、コンピュータプログラムをある場所から別の場所に転送するができる任意の媒体を含むコンピュータ可読記憶媒体を含んでもよい。この場合、コンピュータ可読媒体は、一般的に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示で説明する技法を実装するための命令、コードおよび/またはデータ構造を読み出すために、1つ以上のコンピュータまたは1つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含んでもよい。
【0126】
限定ではなく例として、このようなコンピュータ可読記憶媒体は、命令またはデータ構造の形にした所望のプログラムコードを記憶するために使用され、コンピュータによってアクセスされ得るRAM、ROM、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、フラッシュメモリ、または任意の他の媒体を含むことができる。また、いかなる接続もコンピュータ可読媒体として適切に呼ばれる。例えば、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を用いて、命令をウェブサイト、サーバ、または他のリモートソースから送信する場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線などのワイヤレス技術、およびマイクロ波は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まないが、代わりに非一時的な有形記憶媒体を含む。ディスク(Diskおよびdisc)は、本明細書に使用された場合、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスクおよびブルーレイ(登録商標)ディスクを含む。ディスク(Disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザでデータを光学的に再生する。上記の組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。
【0127】
命令は、1つ以上のプロセッサ、例えば、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の等価な集積回路またはディスクリート論理回路によって実行されてもよい。したがって、「プロセッサ」という用語は、本明細書に使用された場合、前述した構造、または本明細書に記載の技法の実装に好適な任意の他の構造のいずれかを指してもよい。さらに、いくつかの態様において、本明細書に記載の機能は、専用ハードウェアおよび/またはソフトウェアモジュール内で実装されてもよい。また、本明細書に記載の技法は、1つ以上の回路または論理要素内で完全に実装されてもよい。
【0128】
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICセット(例えば、チップセット)を含む多種多様な装置または設備において実装されてもよい。本開示において、開示された技法を実行するように構成された装置の機能的特徴を強調するように、様々な要素、モジュール、またはユニットを説明したが、これらの要素、モジュール、またはユニットの実現は、必ずしも異なるハードウェアユニットを必要するとは限らない。むしろ、上述したように、様々なユニットは、適切なソフトウェアおよび/またはファームウェアと共に、ハードウェアユニットに組み合わせられてもよく、または上述した1つ以上のプロセッサを含む相互動作ハードウェアユニットの集合によって提供されてもよい。
【0129】
様々な例を説明した。これらの例および他の例は、以下の特許請求の範囲内に含まれる。
図1
図2
図3
図4A
図4B
図4C
図4D