(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025060888
(43)【公開日】2025-04-10
(54)【発明の名称】折り畳み可能なスクリーン装置におけるユーザインタフェース操作
(51)【国際特許分類】
G06F 3/0483 20130101AFI20250403BHJP
G06F 3/01 20060101ALI20250403BHJP
【FI】
G06F3/0483
G06F3/01 510
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2024230182
(22)【出願日】2024-12-26
(62)【分割の表示】P 2022555158の分割
【原出願日】2021-03-15
(31)【優先権主張番号】62/991,553
(32)【優先日】2020-03-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/008,473
(32)【優先日】2020-04-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/031,385
(32)【優先日】2020-09-24
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(72)【発明者】
【氏名】菅野 真音
(72)【発明者】
【氏名】デイビッド マイケル ダフィー
(72)【発明者】
【氏名】ジャン ジャスパー ヴァン デン バーグ
(72)【発明者】
【氏名】バーナデット エリオット-ボウマン
(57)【要約】 (修正有)
【課題】ユーザデバイスが、フレキシブルな、折り畳み可能な、または他の方法で再構成可能なディスプレイに表示される機密情報を傍観者から隠し、かつ不明瞭にできる一方で、主要ユーザへの独占的なアクセス性を維持または改善できるユーザインタフェース(UI)操作技術を提供する。
【解決手段】技術の例は、ユーザデバイスが特定の折り畳み角度(及び/又は視野角)に物理的に構成されたとき、主として意図したとおりに見られるだけであるようUIを操作できる。いくつかの例では、UIは、ユーザの現在の環境に対して最適なセキュリティ構成を提供できる特定のデバイス構成(例えば折り畳み角度)を促すようにカスタマイズされ得る。表示画面上に表示されるUIは、現在の環境に適応するように、及び/又は、表示されたコンテンツにおける秘密度に基づいて、フォームファクタ(例えば、ユーザにより見られるように意図されたサイズ)を変更できる。
【選択図】
図5
【特許請求の範囲】
【請求項1】
情報をプライベートに表示する方法であって、前記方法は、
モバイルデバイス上に機密情報を表示するための指示を受信することであって、前記モ
バイルデバイスは、折り畳み可能なディスプレイを含む、受信すること、
前記機密情報がどのように表示されるかに関するフォームファクタを決定することであ
って、前記フォームファクタは、前記折り畳み可能なディスプレイの全領域よりも小さい
、決定すること、
決定された前記フォームファクタに基づいて、前記折り畳み可能なディスプレイに表示
されるユーザインタフェースを生成することであって、前記ユーザインタフェースは、前
記フォームファクタで前記機密情報を表示するが、前記折り畳み可能なディスプレイが選
択された角度に操作されない限りユーザに対して視覚的に変形される、生成すること、
前記モバイルデバイス上のユーザに面する目検出器から、前記ユーザの目の位置を検出
すること、および、
検出された前記ユーザの前記目の前記位置に応答して、前記ユーザインタフェースを調
整すること、
を備える方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、「User Interface Manipulation in a Foldable Screen Device」と題され
、2020年4月10日に出願された米国仮出願第63/008,473号、および「Fo
ldable Phone UI Manipulation for Privacy」と題され、2020年3月18日に出願さ
れた米国仮出願第62/991,553号に対する優先権を主張する。これらの出願の各
々は、その全体が参照により本明細書に組み込まれる。
【0002】
(技術分野)
本開示は、一般に、データセキュリティに関し、より詳細には、モバイルエンドユーザ
デバイスに表示される機密情報を、そのような情報を盗用するための傍観者(onlookers
)の試みから保護することに関する。
【背景技術】
【0003】
コンピュータと携帯電子デバイスの普及に伴い、情報提示の好ましいモードは、紙から
電子に移行して久しい。一般に、このような電子デバイスは、人間のユーザに視覚情報を
提示する表示画面(例えば、液晶ディスプレイ(LCD)画面)を備えている。
【0004】
多くの場合、例えば、金融または商取引に関わる場合、社会保障番号または銀行口座番
号のような機密情報が表示画面上に表示され得る。この技術の状態は、非良心的な傍観者
が、デバイスの横からユーザの情報を見ること、および、心象の又は実際の写真を撮るこ
とにより、ユーザから機密の個人および金融情報を盗むという脆弱性を生じさせている。
【図面の簡単な説明】
【0005】
本開示の1以上の実施形態は、例として、限定されずに添付図面の図に示され、その中
で、同様の参照は同様の要素を示している。
【0006】
【
図1A】
図1Aは、ここで紹介されるような折り畳み可能な電話機のユーザインタフェース(UI)が実施され得る一例の環境を示す。
【0007】
【
図1B】
図1Bは、一例の折り畳み可能な電話機の折り畳み角度を示す。
【0008】
【
図1C】
図1Cは、人間のユーザに対する一例の折り畳み可能な電話機の視野角(viewing angle)を示す。
【0009】
【
図1D】
図1Dは、開示されたUI操作技術の異なる構成を示す表を示す。
【0010】
【
図2A】
図2Aは、ここで紹介されるような折り畳み可能な電話機UIが、異なるプライバシーシナリオに関してどのように実施され得るかの例を示す。
【0011】
【
図2B】
図2Bは、ユーザから見たUIと対比した実際のUIに表示される視覚ガイダンス指標およびテキストガイダンスの一例を示す。
【0012】
【
図2C】
図2Cは、紹介された折り畳み可能な電話機のUI操作技術のいくつかの例に関する追加の実装的な詳細を示す。
【0013】
【
図3】
図3は、折り畳み可能な電話機のUI操作技術を実装するために利用できる一例のUI操作エンジンの機能ブロック図を示す。
【0014】
【
図4A】
図4Aは、
図3のUI操作エンジンのいくつかの例示の構成要素で折り畳み可能な電話機のUI操作技術を実装するための一例のデータフロー図を示す。
【0015】
【
図4B】
図4Bは、
図3のUI操作エンジンのいくつかの例示の構成要素で折り畳み可能な電話機のUI操作技術を実装するための別の例のデータフロー図を示す。
【0016】
【
図4C】
図4Cは、
図3のUI操作エンジンのいくつかの例示の構成要素で折り畳み可能な電話機のUI操作技術を実装するためのさらに別の例のデータフロー図を示す。
【0017】
【
図5】
図5は、折り畳み可能な電話機のUI操作技術を実装するための一例の方法を示すフローチャートを示す。
【0018】
【
図6】
図6は、折り畳み可能な電話機のUI操作技術を実装するための他の例の方法を示すフローチャートを示す。
【0019】
【
図7A】
図7Aは、折り畳み可能な電話機のUI操作技術のいくつかの実施形態において、歪んだUIが生成され得る方法に関するより詳細な例を示す。
【0020】
【0021】
【0022】
【0023】
【
図7E】
図7Eは、視野角の変更に応答して、実際の、生成されたUIにおける角度歪み(例えば、どのように傾いているか)を補償するために、どのようにUIが調整できるかの一例を示す。
【0024】
【
図7F】
図7Fは、角度歪みの調整量と視野角の変化との間の一例の関係を示す。
【0025】
【
図8】
図8は、グリップ操作技術を実装するための一例の方法を示すフローチャートを示す。
【0026】
【
図9】
図9は、UI駆動型グリップ操作技術を実装するための一例の方法を示すフローチャートを示す。
【0027】
【
図10A】
図10Aは、
図3のUI操作エンジンのいくつかの例示の構成要素を使用してグリップ操作技術を実装するための一例のデータフローである。
【0028】
【
図10B】
図10Bは、
図3のUI操作エンジンのいくつかの例示の構成要素を使用してグリップ操作技術を実装するための別の例のデータフローである。
【0029】
【
図11A】
図11Aは、ユーザデバイスに近接している個人が、ユーザデバイスにより示される機密情報を見ることができ得る方法を示す。
【0030】
【
図11B】
図11Bは、UI操作エンジンが、プライバシーを確保するためにどの方向を見えなくするべきかを、近くの個人の位置に基づいて計算し得る方法を示す。
【0031】
【
図11C】
図11Cは、UI操作エンジンが、最適グリップ位置に手を位置する際にユーザを支援する視覚ガイダンス指標の表示を生じ得る方法を示す。
【0032】
【
図11D】
図11Dは、手が最適グリップ位置に配置されるとき、ユーザデバイスにより示される機密情報が、近くの個人から隠され得る方法を示す。
【0033】
【
図12】
図12は、ここで紹介される技術に関連する少なくともいくつかの動作が実装され得るモバイルシステムの一例を示す高レベルブロック図を示す。
【発明を実施するための形態】
【0034】
本明細書における「一実施形態」、「1つの実施形態」等への言及は、説明される特定
の特徴、機能、構造、または特性が、本開示の少なくとも1つの実施形態に含まれること
を意味する。本明細書におけるこのような語句の出現は、必ずしも全てが同じ実施形態を
指すとは限らない。一方、言及される実施形態はまた、必ずしも相互に排他的ではない。
【0035】
上述したように、金融及び商取引は、紙の代わりにコンピュータ及び携帯電話のような
他の携帯電子デバイスで行われることが多くなっている。一般に、そのような電子デバイ
スは、人間のユーザに視覚情報を提示する表示画面(例えば、液晶ディスプレイ(LCD
)画面)を備えている。多くの場合、例えば、金融または商取引に関わる場合、社会保障
番号または銀行口座番号のような機密情報が表示画面上に表示され得る。スマートフォン
が決済市場でますます大きなシェアを占めるようになり、より多くの人々が定期的にスマ
ートフォンをバンキングアプリケーションのために使用している。人々は、非常に安全性
の低い、公共の場において、プライベートデータを入力および読み取ろうとするかもしれ
ない。この技術の状態は、ユーザのデバイスとのユーザのやりとりを物理的に見ることが
でき、かつ、デバイスの横からユーザの情報を見ることにより、および、心象のまたは実
際の写真を撮ることにより、ユーザから機密の個人および金融情報を盗むことができる悪
意のある人々およびエージェントに対する脆弱性を生じさせている。
【0036】
一方、過去10年間に、主に有機発光ダイオード(OLED)ディスプレイ技術の進歩
により、(例えば、ファブリック(布)ベースの基板を用いた)フレキシブルディスプレ
イの作製において大きな進歩があった。これらのフレキシブルディスプレイデバイスは、
アプリケーションのニーズと可変の物理的構成に対応するために、可変のスクリーンサイ
ズを可能にするなど、単一のデバイス内で異なる構成を可能にする。フレキシブルディス
プレイが改良されると、ユーザインタフェースとインタラクションのモードについて、さ
まざまな新たな物理的構成が可能になる。折り畳み可能な(折り畳み式)携帯電話のUI
要素(例えば、スクリーン(複数可))は、異なる形状に素早く操作されるか、または、
異なる折り畳み角度に変更され得る。フレキシブルディスプレイに加えて、従来のディス
プレイでさえ普及し製造コストが下がり続けており、硬いディスプレイを有するが2つ以
上の画面を有するデバイス(例えば、2つの画面を有する二つ折り式電話)も市場に現れ
ている。
【0037】
したがって、ここに紹介されるのは、ユーザデバイスが、主要なユーザに対してのみそ
のアクセス性を維持または改善しながら、傍観者から、フレキシブルな、折り畳み可能な
、または他の方法で再構成可能なディスプレイ上に表示される機密情報を隠し、かつ不明
瞭にできるユーザインタフェース(UI)操作技術である。より具体的には、開示される
技術の1以上の実施形態は、ユーザデバイスがある折り畳み角度に物理的に構成されたと
きに、主として意図された通りにしか見ることができないように、UIを操作できる。い
くつかの例では、UIは、ユーザの現在の周辺について最適なセキュリティ構成を提供で
きる特定のデバイス構成(例えば、折り畳み角度)を促すようにカスタマイズされ得る。
表示画面上に表示されるUIは、現在の環境に適応するように(例えば、ユーザがある環
境から他に移動するとき、またはユーザの周りで環境が変化するときに)フォームファク
タ(例えば、ユーザにより見られる意図されたサイズ)を変更できる。加えて、または代
替的に、表示されるUIは、表示されるコンテンツにおける秘密度に基づいて、そのフォ
ームファクタを変更できる。
【0038】
UI操作により、ここで紹介される技術は、ユーザにとって使いやすさと読みやすさが
維持される直観的な方法で、デバイスに表示される情報を隠したり見えなくしたりするこ
とを可能にし、それにより、ユーザがセキュリティにとって最適な画面構成を容易に実現
し、かつ、傍観者に対する意図しないデータ損失を防ぐのに役立つ効果的なユーザインタ
フェースシステムを実施できる。
【0039】
以下の説明では、技術の様々な側面を説明するために、例示のみを目的として、折り畳
み可能なモバイルデバイスの例が使用される。しかし、ここで紹介される技術は、折り畳
み可能な携帯電話または任意の他の特定の種類のデバイスへの適用性において制限されな
いことに留意されたい。また、以下の説明は、開示された技術の様々な態様を携帯電話で
実施することに焦点を当てているが、他の電子デバイスまたはシステム(例えば、ラップ
トップまたはタブレット)も、同様の方法で本技術に適合し得る。用語「折り畳み可能な
ディスプレイ」または「折り畳み可能なスクリーン」は、文脈により他に明らかにされな
い限り、ここでは互換的に用いられ、表示領域が折り畳み可能であるディスプレイの任意
の変形を指し、それは2つの変形を少なくとも含むべきである:(1)折り畳み可能に構
成された少なくとも1つのフレキシブルスクリーン(例えば、1つのフレキシブルOLE
Dディスプレイスクリーン)を有するディスプレイ、および、(2)少なくとも2つのセ
クションを有するディスプレイであって、2つのセクションの各々はスクリーンを有する
が、2つのセクションが一緒に(または集合的に)1つのスクリーンとして機能するよう
に構成され、2つのセクションが折り畳み機構を介して互いに機械的に結合される、ディ
スプレイ。折り畳み可能なスクリーンのいくつかの例は、二つ折りディスプレイ、三つ折
りディスプレイなどを含む。
【0040】
本明細書において、用語「ユーザ」は、一般に、モバイルデバイスを物理的に操作する
者を指し、用語「傍観者」は、一般に、ユーザの物理的に近傍にいるがモバイルデバイス
を物理的に操作していない者を指す。また、ここで紹介されるUI操作技術は、(例えば
、1900x1200ピクセルのディスプレイを単に1680x1050ピクセルのディ
スプレイに縮小するように、表示するためにより少ないピクセルを使用することにより、
)情報を表示するために全領域よりも小さい領域を単に使用する技術とは区別され、ここ
で検討するように、UI操作技術は、ユーザがUIを正しく見ることができる前に特定の
物理的なデバイス構成(例えば、折り畳み角度)に電話を配置することをユーザに直観的
に要求するような視覚的変形を利用することに留意されたい。このように、本開示におけ
る、かつディスプレイの文脈における用語「フォームファクタ」は、一般に、ディスプレ
イが、第三者(例えば、傍観者)からではなく、ユーザに対して(すなわち、ユーザの視
点から見たときに)視覚的にどの程度大きくまたは小さく見えるべきかを意味する。同様
の意味で、本明細書の検討の目的では、明細書の文脈で特に明らかにされない限り、用語
「見られる」または「知覚される」は、他の当事者からではなく、該当するデバイスのユ
ーザの視点に関して使用される。
【0041】
ここに提示された図面は、開示されたUI操作技術の検討を容易にするための単なる例
であり、それらは縮尺通りに描かれていないことに留意されたい。
[アプリケーション環境]
【0042】
図1Aは、ここで紹介されるような折り畳み可能な電話機のユーザインタフェースが実
施され得る環境100を示す。環境100に図示されているのは、多数の傍観者140の
存在下で、折り畳み可能なモバイルデバイス130上の折り畳み可能なスクリーン120
とやりとりするユーザ110である。傍観者140が環境100に存在するため、モバイ
ルデバイス130のユーザインタフェースに表示される(すなわち、従来の方法で折り畳
み可能なスクリーン120に直接表示される)ユーザの情報を傍観者140が盗むかもし
れない高い可能性がある。
図1Aに示すように、モバイルデバイス130は、ユーザのプ
ライバシーに対するリスクがあるところで、ユーザのプライベート及び機密情報を表示し
ている。そのため、ユーザ110の情報を傍観者140により盗まれることから保護する
必要がある。
【0043】
したがって、以下でより詳細に検討されるように、ここで開示されるUI操作技術は、
デバイスがユーザにより、(たとえば、ある折り畳み角度で折り畳まれ、および/または
、いくつかの実施形態では、ある視野角から見られる)選択されたデバイス構成に構成/
再構成されたときのみに、ユーザに実質的に視認可能になるような方法でUIを操作でき
る。言い換えれば、開示されたUIシステムは、ユーザデバイスが特定の折り畳み角度お
よび/または視野角に物理的に構成されるとき、結果として生じるUIがユーザ110の
視点から、セキュリティを高めるサイズおよび/または角度で視覚的に見えるように、U
Iを操作できる。
【0044】
1つ以上の例において、開示されたUI操作システムは、ユーザの周辺における傍観者
の存在の可能性および潜在的な数を求めることにより、ユーザの周辺環境のプライバシー
リスクのレベルを決定できる。加えて、または代替的に、UIシステムは、ユーザのモバ
イルデバイス130上に提示されるプライベートおよび機密情報の秘密度のレベルを決定
できる。次に、いくつかの実施形態では、ユーザの周辺環境のプライバシーリスクのレベ
ル及び/又はユーザのモバイルデバイス130上に提示されるプライベートおよび機密情
報の秘密度のレベルに基づいて、UIシステムは、ユーザ110のみが機密情報の歪みの
ないビューを得る位置にいるように、機密情報がどのように折り畳み可能なスクリーン1
20上に表示されるかに関するフォームファクタを決定できる。これらの実施形態では、
折り畳み可能なスクリーン120が選択された折り畳み角度及び/又は選択された視野角
に操作されない限り、機密情報は、ユーザ110に対しても歪んだままとなり得る。別の
言い方をすれば、いくつかの例では、UIは、ユーザの現在の環境100に関する最適な
セキュリティ構成を提供できる特定のデバイス構成(例えば、折り畳み角度及び/又は視
野角)を促すようにカスタマイズされ得る。
[折り畳み角度]
【0045】
図1Bは、折り畳み可能な電話(例えば、ユーザデバイス130)の折り畳み角度13
8を示す。
図1Bに示されるように、折り畳み角度138は、マルチセクションの折り畳
み可能なモバイルデバイス(例えば、ユーザデバイス130)のセクションの間の角度で
ある。より具体的には、折り畳み角度138は、2つの軸:折り畳み可能な電話130の
第1のセクション(例えば、左のセクション)の表面に沿って延びる第1の軸132、及
び、折り畳み可能な電話130の第2のセクション(例えば、右のセクション)の表面に
沿って延びる第2の軸134の間の角度により形成される。折り畳み可能な電話130の
第1及び第2のセクションは、機械的に接続され、かつ、ヒンジ軸136に沿って折り畳
まれる。
図1Bに示されるように、デバイス130上のUIは、折り畳み可能なディスプ
レイの左および右セクションにより集合的に(まとめて)表示される。
【0046】
検討を簡単にするために、ここで説明する二つ折りディスプレイの実施形態は、横方向
(例えば、左から右)に折り畳む構成に焦点を当てているが、開示する技術は、縦方向(
例えば、上から下)に折り畳む構成を有するそれらの実施形態に同様に適用できることに
留意されたい。それらの実施形態のいくつかでは、構成は、例えば、手動または自動の画
面回転機能を介して、構成がユーザの好みおよび現在のデバイスの向きにより合うことが
できるように、交換可能であり得る。
【0047】
本実施形態によれば、折り畳み角度138は選択されることができ、かつ、UIはそれ
に応じて歪められ、折り畳み可能な電話130の折り畳み可能なスクリーン(例えば、ス
クリーン120)が、選択された折り畳み角度(または所望の折り畳み角度)に折り畳ま
れるか操作されると、ユーザインタフェースは、ユーザ110により最適に読めるが周辺
の残りの者(例えば、傍観者130)に対して歪められる。選択された折り畳み角度は、
ディスプレイスクリーン120が折り畳まれる最適な内角と表現されることもできる。例
えば、ディスプレイが二つ折りディスプレイ(例えば、シングルヒンジ)である場合、折
り畳み角度は、ディスプレイが折り畳まれる内角である。
【0048】
いくつかの実施形態では、所望の折り畳み角度は、ユーザインタフェースに表示される
プライベート情報の秘密度、及び/又は、ユーザの周辺の潜在的な傍観者の存在に基づい
て、ユーザのプライベートな画面上の情報のビューを遮るように決定され得る。例えば、
ユーザがプライベート又はセキュアデータにアクセスしたい場合、ユーザの周辺における
任意の潜在的な傍観者の存在を判断するために、電話のカメラのデータが使用され得る。
【0049】
電話の最適折り畳み角度が決定されると、ユーザインタフェースは、それが最適折り畳
み角度で読めるように、生成され/歪められ/カスタマイズされ得る。ユーザは、ユーザ
インタフェースがユーザの位置で読めるようにするために、電話をある程度折り畳み、潜
在的な傍観者の視野がユーザの個人情報を見渡すことを妨げる。例えば、ユーザは、バス
に乗っているときに自身の銀行口座の情報を見たい。ここで紹介される折り畳み可能な電
話にインストールされたソフトウェアアプリケーション(例えば、銀行の独自のアプリケ
ーション)にユーザがアクセスすると、電話は、歪んで見えるユーザインタフェースをユ
ーザに提示する。ユーザは、ユーザの視点からユーザインタフェースが視覚的に読めるよ
うになる(例えば、エッジとフォントが斜めに/歪んで見えない)まで、電話をより狭い
角度まで閉じ、その間に(電話をより狭い角度まで閉じたことにより)コンテンツをユー
ザの周りの潜在的な傍観者から妨げる。
[視野角]
【0050】
図1Cは、一例の折り畳み可能な電話機(例えば、ユーザデバイス130)のユーザ(
例えば、ユーザ110)に対する視野角148を示す。一般に、視野角は、ユーザ110
に対するモバイルデバイス130の向きの角度である。視野角はまた、折り畳み可能なデ
バイス130に対するユーザ110の目の位置として理解されることもできる。
図1Cに
示されるように、二つ折り電話の例では、視野角148は、デバイス130の非折り畳み
エッジに垂直(すなわち、90°)である第1の軸142と、ユーザ110の視線との間
の角度であり得る。
図1Cの二つ折りデバイスは、中央に位置する(例えば、ヒンジ軸1
36と同じ構成である)ヒンジ軸146を中心に折り畳める。
【0051】
図1Cに示されるように、便宜上、ここでの開示は、注視点(すなわち、ユーザの目が
焦点を合わせる場所)が画面の中心であると仮定していることに留意されたい。注視点は
、視野角148が測定され得る開始エッジを定義する。この視野角の定義及び/又は注視
点の仮定は、実装に応じて変化し得るが(例えば、注視点は、画面の上部または下部にあ
り得る、または、いくつかの実装では、注視点は、センサにより動的に決定され得る)、
ここに開示されるUI操作技術は、視野角の定義及び/又は注視点の位置の変化にかかわ
らず、同様に適用可能である。
[静的と対比した動的なUI調整]
【0052】
ここでのUI操作技術により生成されたUIは、一般に、折り畳み可能なスクリーンが
意図された折り畳み角度に折り畳まれ、かつ、スクリーンが意図された視野角から見られ
るときにのみ、視覚的に変形または歪んでいないとして、ユーザが(すなわち、ユーザの
視点から)見ることができるという効果を有する。このように、実施形態によっては、ユ
ーザデバイスは、UI歪みを動的にまたは静的に調整するオプションを有することができ
る。ここでの検討の目的のために、用語「静的なUI操作」は、最適折り畳み角度で及び
/又は最適な視野角から見るために、UIが(例えば、後述の
図2Aに関して説明される
方法で)操作され/曲げられるだけであり、UIレンダリングがデバイスの実際の折り畳
み角度またはユーザの目の位置/注視点の実際の位置に基づいて変化しないという意味で
「静的」である、ことを意味する。これに対して、用語「動的なUI操作」は、UIレン
ダリングが、デバイスの実際の折り畳み角度及び/又はユーザの目の位置/注視点の実際
の位置に基づいて変化し、かつ、調整を受けることを意味する。
【0053】
より具体的には、
図1Dの表150に示すように、4つの異なるUI調整構成がある:
(A)折り畳み角度UI調整と視野角UI調整の両方が静的である、(B)静的な折り畳
み角度UI調整と動的な視野角UI調整、(C)動的な折り畳み角度UI調整と静的な視
野角UI調整、及び(D)折り畳み角度UI調整と視野角UI調整との両方が動的である
、組み合わせの4つが存在する。静的な折り畳み角度調整を実施する実施形態については
、生成されるUI歪みは、デバイスの実際の折り畳み角度を考慮する必要はなく、むしろ
、UIは、選択された最適折り畳み角度に基づいて生成され、正しいUIを見るために(
例えば、画面を折り畳むことにより)最適折り畳み角度にデバイスを再構成することは、
ユーザ次第である。同様に、静的な視野角調整を実施する実施形態については、生成され
るUI歪みは、ユーザの目の位置/注視点を考慮する必要はなく、むしろ、UIは、選択
された最適視野角に基づいて生成され、ユーザが正しいUIを見るために、最適視野角か
らデバイスが見られるように、デバイスを保持位置/向き/等に調整すること、及び/又
は、デバイスに対してユーザの目を動かすことは、ユーザ次第である。
【0054】
これに対して、動的な折り畳み角度調整を実施する実施形態については、UI歪みは、
デバイスの実際の折り畳み角度を考慮することで動的に生成および調整される、すなわち
、UIは、実際の折り畳み角度が変化すると変形できる。同様に、動的な視野角調整を実
施する実施形態では、生成されるUI歪みは、ユーザの目の位置/注視点を考慮する。言
い換えれば、UIは、ユーザの目の実際の位置/注視点に基づいて動的に生成および調整
される。動的な視野角調整で、ユーザは、保持位置/向き/等を調整する必要がなく、か
つ、一般にユーザが利用可能な任意の視野角から正しいUIを見ることができる。
【0055】
簡略化のために、文脈により明らかにされない限り、UI操作技術に関する以下の説明
は、静的な折り畳み角度UI調整および動的な視野角UI調整を採用する構成、すなわち
、構成(B)に主に焦点を合わせる。ここで、構成(B)は、第1に、静的な折り畳み角
度がユーザに折り畳み角度の変更を強制し、したがって傍観者に対する機密データの保護
が容易であり、第2に、ユーザの目の位置がどこにあるかに基づいてUI歪みを変化させ
る動的視野角が、利便性を提供し、かつ、ユーザに対する使い勝手を向上するという、少
なくとも2つの利点のために、多くのフィールドアプリケーションで好まれ得ることが認
められる。比較すると、構成(A)は、ユーザの視線追跡システムなどの余分なセンサシ
ステムがコストが高く、および/または、電力を消費しすぎる可能性がある、低コストお
よび/または低電力の実施において好ましいかもしれない。一方、構成(D)は、ユーザ
の現在の折り畳み角度または注視点に関係なく、UIがユーザにとって見ることができる
ままであるので、最もシームレスなユーザ体験を比較的に提供するが、しかし、UIの見
やすさがユーザにとって同じであれば、ユーザは何らかの調整(例えば、電話を狭く折り
畳む)を行いたいと思わなくなるため、静的な折り畳み角度を有する構成よりも安全性が
低くなるであろう。
【0056】
構成(B)が好まれるにもかかわらず、開示された技術は、構成(A)、(C)、及び
(D)にも同様に適用可能である。具体的には、最適折り畳み角度の決定と生成が検討さ
れる以下の説明において、(例えば、静的な視野角調整を伴うそれらの実施のための)最
適な視野角の決定と生成に、同じ又は同様の検討(例えば、ユーザデバイスの内部及び/
又は外部の情報に関する)を適用できる。いくつかの実施形態では、ユーザは、異なる構
成の中から選択するオプションを与えられ得る。
【0057】
さらに、いくつかの実施形態において、UI歪みは、ユーザの個人情報の秘密度の決定
されたレベルおよび/またはプライバシーリスクの決定されたレベルに基づいて「更新」
され得ることに留意されたい。UI歪みのこれらの「更新」も、ある意味で一般的に「動
的」として理解され得るが、それは、秘密度または周辺のプライバシーリスクの表示デー
タのいずれか、または両方の変化に応答して行われるため、このタイプの検討は、文脈で
明らかにされ、かつ、ユーザの注視点および/または折り畳み角度(即ち、ユーザのコン
トロールの範囲内にあるパラメータ)に応答する動的UI操作の一般的検討と混同されな
い。
[機密データ保護のためのユーザインタフェース操作]
【0058】
図2Aは、ここに紹介するような折り畳み可能な電話機のユーザインタフェースが、プ
ライバシー及び機密データ保護のためにどのように実施され得るかの例を示す。
図2Aに
示されるのは、ヒンジ軸236を中心に折り畳まれる二つ折りディスプレイ220を有す
る折り畳み可能な携帯電話230である。また、
図2Aに示されるのは、4つの異なる例
示的プライバシーシナリオ-(1)プライベート空間、(2)相対的に安全な空間、(3
)公共だが静かな空間、および(4)混雑した公共空間、において異なる折り畳みのため
に折り畳み可能な携帯電話230がどのように操作され得るかという、4セットの組み合
わせ(すなわち、第1セットは例示のUI201-202であり、第2セットは例示のU
I203-204である、など)をそれぞれ示す例示のUI201-208である。以下
では、プライバシーシナリオとそれらの対応する保持角度は単に検討のためのものであり
、実装に応じて、より多く又はより少ないシナリオを採用することができ、かつ、異なる
保持角度が採用され得る。
【0059】
例示のUI201,203,205,および207は、異なるプライバシーシナリオに
おいてユーザ(例えば、ユーザ110)に見えるUIを示し、例示のUI202,204
,206,および208は、二つ折りスクリーン220に表示される実際のUIを示す。
具体的には、例示のUI202,204,206,および208における実際のUI表現
は、ユーザのプライベート/機密情報が、二つ折りディスプレイ(例えば、二つ折りディ
スプレイ220)を有する電話機のユーザインタフェース上にどのようにレイアウトされ
得るかを示す。言い換えれば、「実際のUI」表現は、折り畳み可能な電話230が各シ
ナリオで完全に開かれたときに、ユーザインタフェースがユーザにどのように見えるかを
正確に示すものである。比較すると、「ユーザから見たUI」表現は、二つ折りディスプ
レイ220がシナリオのそれぞれについて最適折り畳み角度で折り畳まれた(及び、いく
つかの実施形態では、最適な視野角から見られた)ときに、ユーザのプライベート/機密
情報が電話230のユーザインタフェース上でユーザに対して視覚的にどのように見える
かを示している。
【0060】
第1のプライバシーシナリオ-プライベート空間-を例として挙げる。例示のUI20
2は、折り畳み可能な携帯電話230の二つ折りディスプレイ220が完全に開いている
ときの、電話230上のユーザのプライベート/機密情報の実際のUIレンダリングを表
す。比較すると、ユーザに見えるUI、例示のUI201は、二つ折りディスプレイ22
0の2つのセクション(すなわち左および右セクション)が、すなわち、完全に開き、か
つ、折り畳み可能なディスプレイ220の全領域を占めるとき、実際のUI202がユー
ザに対して視覚的にどのように見えるかを示す。折り畳み可能なディスプレイ220の表
示領域を完全に利用するので、ユーザは一般的に、自宅などのユーザのプライベート空間
で折り畳み可能な携帯電話230を完全に開いておくことを好むであろうことが理解され
る。完全に開いた状態では、実際のUI(すなわち、例示のUI202)は、ユーザの最
適視野角でユーザに見えるUI(すなわち、例示のUI201)と同じであることに留意
されたい。
【0061】
第2の例のプライバシーシナリオ-オフィスの小部屋-は、一般に比較的安全と分類さ
れ得る場所であるが、ユーザの自宅ほど安全ではないので、傍観者がユーザの電話を見る
可能性がまだ少しあるので、ユーザが電話230を完全に開いておくことは得策でないか
もしれない。このような場合、電話230を多少折り畳んでいても大きい角度にしておけ
ば、ユーザのプライベート/機密情報を傍観者に盗まれることから保護する上で十分であ
る。例示のUI203は、ユーザが相対的に安全な空間に位置している場合のシナリオに
ついて、電話230上のユーザのプライベート/機密情報の実際のUIレンダリングを表
している。このような環境では、二つ折りディスプレイ220の2つのセクションが大き
い角度(例えば、135°以上)に折り畳まれると、ユーザにとって最適なビューが達成
され得る。比較すると、ユーザに見えるUI、例示のUI203は、二つ折りディスプレ
イ220の2つのセクションが、相対的に(しかし完全ではない)安全な空間に関する最
適折り畳み角度に折り畳まれたときに、実際のUI204がユーザにどのように見えるか
を示している。また、ここで、ユーザから見たUI203は、折り畳み可能な携帯電話2
30が最適な視野角から見られたときに実際のUI204がユーザにどのように見えるか
を表すことにも留意されたい(
図1C-1Dに関する上記説明を参照されたい)。ユーザ
から見たUI203は、相対的に安全な空間における最適折り畳み角度で、(例えば、U
I201と比較して)ディスプレイの全領域よりも小さく見えるが、ユーザには歪んでい
ないユーザインタフェースである。一方、同じユーザインタフェースが傍観者には歪んで
見える(例えば、UI204)。
【0062】
同様に、第3のプライバシーシナリオ、公園のような、一般に公共の場であるがまだ静
かな空間として分類され得る場所では、特にユーザがオフィスのようなより安全な場所に
位置していたときの第2のシナリオと比較して、ユーザは狭い角度まで電話230を折り
畳んでおくことが得策かもしれない。これは、オフィスのようなより安全な場所に比べて
、公園では傍観者がユーザの電話を見ている可能性が高いからである。このような場合、
携帯電話を狭い角度で折りたたんでおくことは、ユーザのプライベート/機密情報を傍観
者に盗まれることから保護できる。例示のUI206は、ユーザが公共の場であるがまだ
静かな空間に位置している場合のシナリオのための、電話230上のユーザのプライベー
ト/機密情報の実際のUIレンダリングである。このような環境では、二つ折りディスプ
レイ220の2つのセクションが狭い角度(例えば、135°-75°)に折り畳まれる
と、ユーザにとって最適なビューが達成され得る。ユーザから見たUI205は、折り畳
み可能な携帯電話230が公共の場であるがまだ静かな空間について最適な折り畳み角度
に折り畳まれたときに、実際のUI206がユーザにどのように見えるかを示している。
このようにして、ユーザにより知覚される表示領域が(例えば、UI201と比較して)
折り畳み可能なディスプレイ220の全領域よりも小さくなったとしても、最適折り畳み
角度において、ユーザから見たUI205はユーザに対して歪みのないままである。しか
しながら、同じユーザインタフェースは、そのより狭い折り畳み角度のために、傍観者に
対してより隠されるようになり、かつ、第2のシナリオと比較して、傍観者にはさらに歪
んだものとして見える。
【0063】
最後に、第4のプライバシーシナリオ、バス又は地下鉄のような一般に混雑した公共空
間として分類され得る場所では、ユーザは、前のシナリオ(例えば、公園)と比較して、
電話230をさらに狭い角度に折り畳んでおくことが得策であり得る。これは、公園と比
較して、バスでは傍観者がユーザの電話を見る可能性がより高いからである。このような
場合、電話230をさらに狭い角度で折り畳んでおくことは、傍観者に盗まれることから
ユーザのプライベート/機密情報を保護できる。例示のUI208は、ユーザが混雑した
公共空間にいるときのシナリオのための電話230のユーザのプライベート/機密情報の
実際のUIレンダリングである。このような環境では、二つ折りディスプレイ220の2
つのセクションが4つのシナリオのすべてにおいて最も狭い角度(例えば、75°以下)
に折り畳まれるとき、ユーザにとって最適なビューが達成され得る。ユーザから見たUI
207は、折り畳み可能な携帯電話230が混雑した公共空間に関する最適な折り畳み角
度に折り畳まれたとき、実際のUI208がユーザにどのように見えるかを示している。
図2Aに示すように、ユーザにより知覚される表示領域が(UI201,203,及び2
05と比較して)全ての4つの中で最も小さいにもかかわらず、最適折り畳み角度におい
て、ユーザから見たUI207はユーザにとって歪みのないままであることができる。し
かしながら、最初の3つのシナリオと比較して、例示のUI208は、最も狭い折り畳み
角度のために傍観者に対して最も隠され、かつ、前のすべてのシナリオと比較して、最も
歪んだものとして傍観者に見える。折り畳み可能なディスプレイが中央でまたは中央付近
で折り畳まれるように構成された実施形態(例えば、二つ折りディスプレイ構成)におい
て、本技術を実装するユーザインタフェース(例えば、UI204,206,および20
8)は、折り畳み可能なディスプレイ(例えば、ディスプレイ220)のヒンジ(例えば
、軸236)に沿った軸について対称に変形されてもよいことに留意されたい。
【0064】
このようにして、開示されたUI操作/歪み技術は、ユーザインタフェースのコンテン
ツが実際のUI表現において視覚的に歪められ、かつ、ディスプレイ(複数可)(例えば
、ディスプレイ220)が特定の角度に折り畳まれたときにのみ歪められず読み取り可能
に見えることができる、直観的なユーザインタフェースシステムを提供する。このことは
、傍観者が実際のUI表現(例えば、例示のUI204,206,および208)として
示されるそれらの例のような歪んだユーザインタフェース表示のみを見ることができるの
で、傍観者(例えば、傍観者140)により盗まれることからのユーザのプライベートお
よび機密情報の保護を可能にする。さらに、ユーザから見たUI表現(例えば、例示のU
I203,205,及び207)として示されるそれらの例のような読み取り可能なUI
をユーザが見ているときに、ユーザは特定の折り畳み角度でディスプレイを折り畳んだり
閉じたりして傍観者の視野を遮断するので、傍観者は、ユーザのプライベート及び機密情
報を盗むことをさらに妨げられる。
【0065】
図2Bは、ユーザから見たUIと対比した実際のUIに表示されるような視覚ガイダン
ス指標250およびテキストガイダンス252の例を示す。ここで検討したように、折り
畳み可能なまたはフレキシブルディスプレイ上に表示されるUIは、選択された折り畳み
角度に基づいて生成されることができ、その結果、UIは、折り畳み可能な電話の画面が
選択された折り畳み角度に折り畳まれたときのみに通常通りユーザに視覚的に見えるであ
ろう。この技術から生成されたUIは、少なくとも、電話が選択された構成(例えば、選
択された折り畳み角度まで折り畳まれる)にないとき、さもなければコンテンツが異常(
例えば、歪んだ又は斜めになった)に見えるので、ユーザにとって直観的である。
【0066】
それにもかかわらず、ユーザが電話を直観的に構成及び/又は方向付けることをさらに
可能にし、かつ、ユーザを案内するために表示されているコンテンツの歪みへの依存を低
減するために、生成されたUIは、ユーザが折り畳み可能なディスプレイを選択された折
り畳み角度に操作することを案内する視覚ガイダンス指標(例えば、ガイダンス指標25
0)を追加的に含むことができる。いくつかの実装では、視覚ガイダンス指標250は、
ディスプレイの上部に、またはユーザからUI内の通常のコンテンツを妨げない場所に表
示され得る。視覚ガイダンス指標250は、円、四角形、三角形、菱形などの選択された
幾何学的形状であり得る。開示されたUI操作技術の実装により、視覚ガイダンス指標は
、折り畳み可能なディスプレイが最適折り畳み角度に操作されるときにのみ、選択された
幾何学的形状(例えば、
図2Bの「ユーザから見たUI」表現に示されるような円)とし
てユーザに見えるであろう。例えば、選択された幾何学的形状が円である場合、折り畳み
可能なディスプレイが最適折り畳み角度に操作されないとき、実際のUIは、円以外の形
状(例えば、
図2Bの「実際のUI」表現に示すような、傾いた楕円)としてユーザに見
え得る。言い換えると、直観的なユーザインタフェース上の幾何学的形状は、折り畳み可
能なディスプレイが最適折り畳み角度に操作されるときのみに、円として見える。いくつ
かの実施形態では、実際のUIは、選択された幾何学的形状が何であるかをユーザに示す
ディスプレイ上の追加のヒント(これは、後述のテキストガイダンス252の一部である
こともできる)を含んでもよい。次に、ユーザは、楕円が円に見えるまで、電話をより狭
い角度に調整できる。ユーザインタフェースは、ユーザの視点から読みやすく、かつ、視
覚的に正常となるが、ユーザの周辺の傍観者には、さもなければコンテンツはブロックさ
れるか、または、視覚的に歪められる。
【0067】
加えて、又は代替的に、生成されたUIは、
図8-11Dに関して検討されたグリップ
操作技術に従って、ユーザに自身のグリップ(つかみ)を操作することを案内する視覚ガ
イダンス指標を含むことができる。したがって、1つ以上の実施形態において、生成され
たUIは、UI操作技術のための視覚ガイダンス指標と、グリップ操作技術のための視覚
ガイダンス指標とを含んでもよい。しかしながら、視覚ガイダンス指標は、互いに独立し
て生成されてもよい。グリップ操作技術のための視覚ガイダンス指標は、UI操作技術か
ら独立して(すなわち、視覚的歪みを伴わずに)、又はUI操作技術と関連して(すなわ
ち、視覚的歪みを伴って)生成されてもよい。
【0068】
加えて、又は代替案として、ここでのUI操作システムの1以上の実施形態は、現在の
折り畳み角度を最適折り畳み角度に変更するようにユーザを案内するためのテキストガイ
ダンス(例えば、テキストガイダンス252)をユーザインタフェース上に含んでもよい
。例えば、テキストガイダンス252は、「折り畳み可能なディスプレイをもっと開け」
又は「折り畳み可能なディスプレイをもっと閉じろ」のような言葉でユーザに指示できる
。いくつかの変形例では、テキストガイダンスは、例えば、「楕円が真円になるまで電話
を閉じろ」という指示として、現在読みやすいフォントで(すなわち、歪んでいない方法
で)表示され得る。
【0069】
この態様において、視覚ガイダンス250及び/又はテキストガイダンス252は、ユ
ーザの個人情報から潜在的な傍観者の視野を遮断して、ユーザの位置からユーザインタフ
ェースを読み取り可能にするために、ちょうどよい量だけ電話を折り畳むようにユーザを
誘導できる。実際の例として、ユーザは、バスに乗っているときに自身の銀行口座の情報
を見たい。ユーザが折り畳み可能な電話でその情報にアクセスするとき、電話は歪んで見
えるUIをユーザに提示する。上部に楕円形があり、現在読みやすいフォントで書かれて
いるのは、指示:「黒い楕円が真円になる(かつ、UIが一直線で水平に見える)まで、
より狭い折り畳み角度にあなたの電話を折り畳んでください」である。ユーザは、楕円が
円に見えるまで、電話に対してより狭い角度まで電話を閉じる。調整後、ユーザインタフ
ェースは、ユーザの位置から完全に読み取り可能になったが、それの上のコンテンツは潜
在的な傍観者に対してブロックされるようになった。
【0070】
さらに、いくつかの例では、UI操作システムは、機密情報がUI上でユーザに表示さ
れ得る前に、ユーザデバイスが最適な構成に配置されることを要求できる。例えば、UI
操作システムは、補助UI要素のみを表示し、かつ、折り畳み可能なディスプレイが最適
デバイス構成(例えば、最適折り畳み角度)に操作されない限り/されるまで、ユーザデ
バイスの画面上への機密データの表示を積極的にブロックする、ぼかす、マスクする、さ
もなければ妨げる、又は単に禁止するよう構成され得る。例えば、UIは、ユーザがガイ
ダンス指示に従い、かつ、折り畳み可能な電話を選択された最適折り畳み角度に再構成ま
たは操作するまで、ガイダンス情報(例えば、視覚的指標250および/またはテキスト
ガイダンス252)のみをユーザに表示できる。そのとき初めて、UI操作システムは、
(例えば、上述した方法で)UI上に機密情報を表示する。
【0071】
図2Cは、折り畳み可能な電話のUI操作技術のいくつかの例に関する追加の任意の実
装の詳細を示す。ここで検討されるように、紹介されたUI操作技術の少なくともいくつ
かの例は、ユーザにより知覚される折り畳み可能なディスプレイの表示領域を(例えば、
UI201をUI203,205,および207に対して比較して)減少または縮小する
視覚効果を有するので、いくつかの実施形態では、ディスプレイのコンテンツは、折り畳
み可能なディスプレイに関する決定された有効なフォームファクタに基づいて自動的に調
整され得る。具体的には、様々な実施形態において、機密情報の元のレイアウトは、決定
されたフォームファクタに従って代替レイアウトに変更または再配置されることができ、
代替レイアウトは、折り畳み可能なディスプレイの全エリアと比較してより小さいフォー
ムファクタに適している。例えば、元のレイアウト(例えば、それはデスクトップ/タブ
レットディスプレイのようなより大きなディスプレイ用に設計されてもよい)は、小さい
又はより小さい画面を有するモバイルデバイス用に設計された代替レイアウト(例えば、
それは異なるフォントサイズ、グラフィックス、および/またはナビゲーションの配置を
有してもよい)に変更され得る。
【0072】
図2Cに示されているのは、2つの例示のUI270と272であり、ここで例示のU
I270は、画面が完全に開いているときに表示されるべきコンテンツの元のレイアウト
を示す。UI操作技術を実装するデバイスが折り畳まれるとき、表示されるレイアウトは
、例示のUI272により示される代替レイアウトに自動的に変更され得る。追加的に、
または代替的に、スクロールバー274などの追加のUI要素が、表示されたUIにさら
に追加されることができ、模擬された縮小された画面サイズにおいてコンテンツをナビゲ
ートすることでユーザを支援する。
[例示のシステム構成要素およびデータフロー]
【0073】
図3は、ここで紹介する折り畳み可能な電話機のUI操作技術を実装するために利用で
きる一例のUI操作エンジン300の機能ブロック図を示す。
【0074】
一例のUI操作エンジン300は、ユーザのモバイルデバイス(例えば、モバイルデバ
イス130,230)に実装され、その上で実行され得る。
図3に示されるように、UI
操作エンジン300は、UI秘密度抽出システム310、周辺状態評価システム320、
最適ディスプレイ構成ファインダ330、実ディスプレイ構成ファインダ340、ユーザ
状態評価システム350、UI歪み生成部360及び補助UI要素生成部370を含むこ
とができる。
図3に示される構成要素は単なる例示であり、よく知られている特定の構成
要素、例えば、中央処理装置(CPU)、メモリモジュール、スクリーンディスプレイ(
複数可)、及び通信回路は、簡略化のために示されていないことに留意されたい。ここで
紹介する1以上のシステム、サブシステム、構成要素、及び/又はモジュールは、ソフト
ウェアアプリケーションとして実装され得るか又はソフトウェアアプリケーションを含み
得ることに留意されたい。しかしながら、これらのシステム/サブシステム/モジュール
の任意の適切な組み合わせは、同じ又は同様の機能を達成するためにハードウェア又はフ
ァームウェア構成要素として実装され得る。同様に、
図3における例示の構成要素は、本
明細書における検討を容易にする目的で示されており、より多くの又はより少ない構成要
素が使用されてもよく、構成要素は、実際の実装に応じて、組み合わせ又は分割されても
よい。
【0075】
いくつかの実装によれば、UI操作エンジン300は、(例えば、モバイルデバイスの
折り畳み可能なディスプレイ上に)機密情報が表示されることになるという指示を受信す
ると、動作開始できる。例えば、アプリケーションプログラミングインタフェース(AP
I)は、エンジン300が命令として(例えば、ソフトウェアアプリケーションから)ソ
フトウェア関数呼び出しを受け取ることができるように、エンジン300のために実装さ
れ得る。変形例では、エンジン300は、オペレーティングシステム(OS)により提供
される関数セットの一部として、またはシステムソフトウェアライブラリ等に実装され得
る。追加または代替の実施形態では、エンジン300は、メモリに常駐するスタンドアロ
ンソフトウェアであることができ、かつ、表示される機密情報を傍受/検出する。
【0076】
表示されるべき機密情報があるという指示を受け取った後、UI操作エンジン300は
、それに対する最適ディスプレイ構成を決定し、かつ、そうするために、エンジン300
は、外部及び/又は内部情報に基づくものを含む1以上の要因を考慮する。より具体的に
は、紹介されたUI操作技術に従って、知覚されるディスプレイ画面がどれだけ小さくさ
れるべきか(すなわち、そのフォームファクタ)の決定に影響を与え得る情報は、一般に
2つのカテゴリがある:(1)電話の内部にある情報、および(2)電話の外部にある情
報。前者(すなわち、内部情報)は、UI秘密度抽出システム310により抽出されるこ
とができ、後者(すなわち、外部情報)は、周辺状態評価システム320により抽出され
ることができる。
[A.UI秘密度抽出システム]
【0077】
図4Aは、
図3のUI操作エンジンのいくつかの例示の構成要素で折り畳み可能な電話
機のUI操作技術を実施するための一例のデータフロー400である。データフロー40
0は、UI操作システム(例えば、エンジン300)内の様々なブロックの間でデータが
どのように流れることができるかの一例を示す。
図3および4Aを同時に参照し、データ
フロー400は、UI操作エンジン300の機能ブロック図とともに、ここで説明される
。
【0078】
UI秘密度抽出システム310は、ユーザデバイスに表示されるデータのプライバシー
秘密度を決定でき、UI秘密度データを出力できる。言い換えれば、UI秘密度抽出シス
テム310は、ユーザのモバイルデバイス上に提示される情報の秘密度のレベルを決定で
きる。
【0079】
いくつかの例では、UI秘密度データは、現在画面上に表示されている異なる特徴の様
々な秘密度レベルを記述し得る。高い秘密度項目の例は、パスワード入力ボックス、銀行
口座情報、クレジットカード情報などを含み得る。実装によっては、中間の秘密度は、社
会保障番号、誕生日、自宅住所、または電話番号などの個人情報を含むことができる。U
I秘密度抽出システム310は、パブリックドメイン情報、汎用ウェブサイトテキスト、
または画像などの低い秘密度項目も識別できる。多数の実施形態において、ユーザは、こ
れらの項目をユーザ自身の好みに調整または編集するオプションを有することができる。
加えて、又は代替的に、UI秘密度データは、ページ上の最も高い秘密度の特徴に合った
画面の全体的な秘密度評価を記述し得る。
【0080】
いくつかの実施形態によれば、UI秘密度抽出システム310は、ローカルリソース及
び/又はリモートリソースからUI秘密度データを取得できる。これらのリソースの例は
、一般的に見られるソフトウェアアプリケーション/コンポーネント/機能に関する秘密
度評価が記録され得るルックアップテーブルまたはデータベースを含み得る。たとえば、
ソフトウェアモバイルアプリケーションが銀行アプリケーションである場合、アプリケー
ションウィンドウがパスワード入力画面を示す場合、特定の機能(たとえば、銀行取引明
細書の表示)を提供するウェブページがトリガされる場合、またはUI要素がパスワード
入力フィールドを含む場合、リソース(複数可)は、高い秘密度として識別し得る。追加
の又は代替の実施形態として、UI秘密度抽出システム310は、メタデータ、例えば送
信者が誰であるかに関するメッセージメタデータ、メッセージの性質に関するメタデータ
、メッセージの緊急性、及び/又は受信者のアドレス(仕事又はプライベート電子メール
に基づく秘密度の区別など)を介してUI秘密度データを取得できる。さらに、APIが
UI操作エンジン300のために実装されるいくつかの変形例では、UI秘密度抽出シス
テム310は、APIから(例えば、関数呼び出しの1以上のパラメータを介して)UI
秘密度データを受信できる。
【0081】
1以上の実施形態において、UI秘密度抽出システム310は、コンテンツ分析を通じ
てUI秘密度データを取得できる。特定の例では、UI秘密度抽出システム310は、送
信または受信されたメッセージにおけるキーワード(例えば、「高い機密性(highly con
fidential)」)の存在に基づいて、または(例えば、既知の画像処理および認識アルゴ
リズムを用いることにより)グラフィック/写真コンテンツを分析すること通じて、秘密
度のレベルを決定することが可能である。UI秘密度抽出システム310のいくつかの実
施形態は、機械学習技術(例えば、教師あり機械学習)を使用することによりUI秘密度
データを生成することもできる。例えば、UI秘密度抽出システム310は、UI秘密度
決定データモデルを確立するために、その秘密度がラベル付けされたトレーニングデータ
のセットにより最初にトレーニングされ得る。トレーニングデータの例は、実際のコンテ
ンツ(例えば、テキスト、文書、画像、又は動画)と、それらの対応する秘密度の評価と
を含むことができる。このようにして、UI秘密度抽出システム310は、オンザフライ
の機密UIコンテンツの秘密度の評価を生成できる。
【0082】
さらに、UI秘密度抽出システム310のいくつかの変形例は、ユーザの気分変化から
可能性の高い秘密度を推論することによるなど、ユーザ感情分析を通じてUI秘密度デー
タを生成できる。例えば、ユーザがアプリケーションを操作する際に、ユーザがより秘密
主義的に行動し、顔の表情、気分などを変化させた場合、UI秘密度抽出システム310
は、そのアプリケーションの秘密度のレベルを一般的なアプリケーションより高いと推論
し得る。これらの推論的な秘密度レベルの判断は、例えば、ジェスチャー認識、表情認識
、及び/又は脳波測定に基づくことができる。
[B.周辺状態評価システム]
【0083】
周辺状態評価システム320は、ユーザの周辺のプライバシー状態を決定および分析す
るために使用され得る、システムハードウェア、ファームウェア、および/またはソフト
ウェアコンポーネントの組を含む。
図3に示すように、周辺状態評価システム320は、
周辺状態センサ322、周辺状態データプリプロセッサ324、および周辺状態ファイン
ダ326という3つの例示の構成要素を含む。
【0084】
より具体的には、周辺状態評価システム320は、例えば、周辺状態センサ322から
の読み取り値に基づいて、モバイルデバイスの周辺環境におけるプライバシーリスクのレ
ベルを識別するために使用され得る。この特定されたプライバシーリスクレベルは、最適
ディスプレイ構成ファインダ320及びUI歪み生成部360により使用されることがで
き、モバイルデバイス上に表示されるべきユーザのプライベート/機密情報の最適なフォ
ームファクタを決定する。いくつかの実施形態では、モバイルデバイス上に表示されるべ
きユーザのプライベート/機密情報のフォームファクタは、識別されたプライバシーリス
クのレベルに逆相関させることができる。すなわち、識別されたプライバシーリスクのレ
ベルが高いほど、ユーザから見たUIのフォームファクタは小さくなるであろう。例えば
、上記の
図2Aに関して説明したように、プライバシーリスクの4つのレベル-プライベ
ート空間、相対的に安全な空間、公共だがまだ静かな空間、及び混雑した公共空間-があ
ることができ、周辺が混雑しているほど、ユーザにより知覚されるUIはより小さくなる
であろう。
【0085】
周辺状態センサ324は、ユーザの周辺に関する情報(すなわち、「周辺データ」)を
取得するために使用され得る1以上のセンサを含むことができる。様々な例において、周
辺データは、ユーザの位置の視覚的画像又は記録、特定の地理的位置情報(例えば、グロ
ーバルポジショニングシステム(GPS)座標)、音声情報(例えば、背景音データ及び
/又は周辺からの音声データ)、デバイス接続情報(例えば、接続データなど、ユーザの
周辺の人々のデバイスを検出するための情報)、及び/又はユーザの周辺の人々の存在及
び状態を決定するために使用され得る他の適切なデータを含み得る。適用可能な周辺デー
タを得るために、周辺状態センサ324の例は、背面および/または前面カメラ、または
、ユーザの位置から光フィードを生成できる他の光ベース(例えば赤外線)イメージング
技術、衛星位置情報を生成できるGPSセンサ、ユーザの位置から収集された音声信号を
生成できるマイクロフォンまたは音声センサ、および/またはユーザのモバイルデバイス
の周辺(例えば、トランシーバの範囲に基づいた、10メートル)内のデバイスの署名を
生成できる無線ネットワークトランシーバ(例えば、Bluetooth(登録商標))
のようなセンサを含むことができる。実施形態によっては、これらのセンサは、ユーザの
モバイルデバイスに搭載されてもよく、またはデバイスに個別に接続され得る。
【0086】
具体的には、1以上の実施形態によれば、周辺状態センサ322は、次に、周辺データ
を周辺状態データプリプロセッサ324に送信でき、それは、その後の分析のために周辺
データを(例えば、信号対雑音比(SNR)を適切な品質まで高めるために)前処理でき
る。さらに、周辺状態データプリプロセッサ324は、収集されたデータの種類に応じて
、様々な適用可能な種類の前処理を周辺データに適用し得る。例えば、いくつかの実施形
態では、周辺状態データプリプロセッサ324は、周辺状態センサ322内の光センサ(
例えば、カメラ)から生成された光学データを前処理して、シーンの照度、焦点、振動、
モーションアーチファクト、反射、及び他の特徴を補正してもよい。さらに、これらの実
施形態の多くでは、周辺状態データプリプロセッサ324は、マシンビジョン技術を使用
して、人々または顔などの主要な特徴を識別し、かつ(例えば、メタデータまたはタグを
追加することにより)ラベル付けするために、光学データを前処理できる。
【0087】
さらに、周辺状態データプリプロセッサ324のいくつかの実装は、背景ノイズ(例え
ば、風またはロードノイズ)を除去し、特定の音声の特徴(例えば、声)を増幅し、SN
Rを高めることにより音声品質をさらに向上させるために音声データを前処理できる。上
述のビデオ前処理の実施形態と同様に、特定の実施形態では、周辺状態データプリプロセ
ッサ324は、明瞭な音声又は耳にしたフレーズワードなどの主要な特徴にメタデータ又
はタグを追加するために音声データを前処理してもよい。
【0088】
さらに、特定の実施形態において、周辺状態データプリプロセッサ324は、接続デー
タを前処理して、ユーザの周辺における固有のデバイス署名を識別し、数え、かつ潜在的
に位置を特定できる。たとえば、周辺状態データプリプロセッサ324は、固有のデバイ
ス署名および/または地理的位置を識別し、数え、および/または位置を特定するために
、Wi-Fi管理フレーム、リクエスト、ビーコン、およびピン(ping)に含まれる情報
を利用できる。周辺状態データプリプロセッサ324は、いくつかの例において、GPS
/衛星データを前処理して、ユーザが現在位置する場所の特定の質的特性(例えば、店名
、道路名、またはランドマーク)を特定することもできる。これらのGPS/衛星/位置
データは、電話の既存の地図サービス(例えばGoogleマップ)と組み合わせて考え
ることができる。実装によっては、位置データの前処理は、(例えば、特徴をフィルタリ
ングし、分類するために)機械学習技術を利用し得る。
【0089】
次に、周辺状態ファインダ326は、周辺状態データプリプロセッサ324により生成
された前処理された周辺データを分析することにより、ユーザの周辺の現在の状態(すな
わち、「周辺状態」)を評価できる。その後、周辺状態ファインダ326は、ユーザの周
辺状態に基づいて、ユーザの周辺におけるプライバシーリスクのレベルを決定できる。1
以上の実装では、周辺状態ファインダ326は、周辺状態を決定する際に、周辺データか
ら関連情報を抽出できる。
【0090】
特に、1以上の実施例では、周辺データは、近くにいる他の人々(例えば、傍観者)の
数を含むことができる。これらの例のいくつかにおいて、周辺状態ファインダ326は、
近くにいる他の人々の数を決定する際に、周辺状態データプリプロセッサ324による前
処理中にカメラフィードに追加された異なる人々の特徴タグのカウントを実行できる。他
の実施形態では、周辺状態ファインダ326は、近くのユーザの数を数えるためにマシン
ビジョン顔認識技術を使用することにより、近くの他の人々の数を決定できる。変形例で
は、ブルートゥース技術(または他の適切な短距離無線接続技術)を介して検出された近
くのデバイスの数を数えることにより、近くにいる他の人々の数が決定され得る。追加で
、または代替的に、周辺状態ファインダ326は、周辺データの前処理中に識別された固
有の人間の声の数を数えることにより、傍観者の数を決定できる。実施形態の特定の変形
は、周辺データにおいて、所与の時間間隔にわたる音声ピーク振幅の変化に基づいて、周
辺における総音響レベルの単純な推定を提供できる。
【0091】
さらに、いくつかの実施形態では、周辺データは、近くの人々の空間分布及び視線方向
を含み得る。これらの例のいくつかでは、周辺状態ファインダ326は、例えば、誰かが
ユーザの左または右に立っているがおそらくユーザデバイスから離れる方を向いているこ
と(これは、より小さいセキュリティ脅威となり得る)とは対照的に、誰かがユーザの後
ろに立っていてユーザデバイスに向いていること(これはセキュリティ脅威となり得る)
を識別するために、カメラデータおよびマシンビジョン技術を使用して、この情報を検出
できる。多くの実装において、周辺データは、ユーザの位置に関連する既知の特性、例え
ば、ユーザのGPS座標の予測評価に基づいて、ユーザの位置がどの程度混雑しているか
/公共であるかを予測することを含んでもよい。例えば、周辺状態ファインダ326は、
ユーザが公共の場所にいることをユーザデバイスのGPSデータから検出でき、それによ
り、他の人々が近くにいる可能性が高いと推論する。別の例では、周辺状態ファインダ3
26は、GPSデータを通じて、ユーザが大きな州立公園の野原にいることを発見でき、
それにより、他の人々が近くにいる可能性が低いことを推論する。いくつかの実施形態で
は、周辺状態ファインダ326は、ユーザデバイスのネットワーク接続からユーザの位置
の既知のプロパティをさらに関連付けることができる。例えば、ユーザデバイスが「ホー
ムWi-Fi」又は「カーWi-Fi」に接続するとき、周辺状態ファインダ326は、
プライバシーレベルを高く(すなわち、リスクレベルを低く)決定してもよく、対照的に
、ユーザデバイスが「パブリックWi-Fi」又は「空港フリーWi-Fi」に接続する
とき、周辺状態ファインダ326は、プライバシーレベルを低く(すなわち、リスクレベ
ルを高く)決定してもよい。
【0092】
周辺状態データに基づき、かつ、上述した例示の方法を通じて、周辺状態ファインダ3
26は、ユーザデバイスを使用するときにユーザのデータが暴露される可能性がどの程度
あるかを示す周辺状態出力を生成できる。言い換えれば、周辺状態ファインダ326から
の周辺状態出力は、ユーザの周辺におけるプライバシーリスクのレベルをUI操作エンジ
ン300の他の構成要素に伝達できる。いくつかの実施形態では、後続のシステム構成要
素への周辺状態の伝達は、他の情報のうち、データ暴露リスクをユーザに提供する多数の
人物の、それらの位置、視線角度、ユーザとの距離を含む、具体的な説明の形態であり得
る。変形例では、後続のシステム構成要素への周辺状態の伝達は、ユーザリスク(例えば
、「データ暴露リスク」)に関する汎用メトリックの形態であってよく、周辺状態ファイ
ンダ326は、ユーザのデータが現在の場所で暴露され得る可能性を決定するために、分
析された周辺データの態様に重み付けを適用できる。いくつかの追加的または代替的な例
では、周辺状態ファインダ326は、ユーザの周辺のプライバシーリスクの評価またはレ
ベルを直接生成できる。
[C.最適ディスプレイ構成ファインダ]
【0093】
最適ディスプレイ構成ファインダ330は、近くの他の人々による観察を防ぐために、
折り畳み式またはフレキシブルスクリーンの最適な物理的構成(すなわち、「最適ディス
プレイ構成」)を決定できる。具体的には、最適ディスプレイ構成ファインダ330は、
(1)ユーザのモバイルデバイス上に提示されるプライベートおよび機密情報の秘密度の
レベル、および/または(2)ユーザの周辺環境のプライバシーリスクのレベルを使用で
き、画面のコンテンツが非良心的な傍観者に見られる確率が減少され、最小化され、また
は除去さえされる物理的構成を特定する。言い換えれば、最適ディスプレイ構成ファイン
ダ330は、UI秘密度データ(例えば、上述のUI秘密度抽出システム310により生
成された)及び/又は周辺状態(例えば、同じく上述の周辺状態評価システム320によ
り生成された)を使用でき、画面のコンテンツが傍観者に盗用されることを避けるように
ディスプレイの最適なプライバシー構成(例えば、折り畳み角度)を決定する。
【0094】
具体的には、いくつかの実施形態において、最適ディスプレイ構成ファインダ330は
、ユーザデバイスの内部の情報、すなわち、UI秘密度抽出システム310により生成さ
れるユーザのプライベート情報の秘密度の決定されたレベルに基づいて、最適折り畳み角
度を決定できる。いくつかの他の実施形態では、最適ディスプレイ構成ファインダ330
は、ユーザデバイスの外部の情報、すなわち、周辺状態評価システム320により生成さ
れるプライバシーリスクの決定されたレベルに基づいて、最適折り畳み角度を決定できる
。追加的に、または代替的に、最適ディスプレイ構成ファインダ330は、ユーザのプラ
イベート情報の秘密度の決定されたレベルおよびプライバシーリスクの決定されたレベル
の両方に基づいて、最適折り畳み角度を決定できる。静的な視野角調整を実行するそれら
の実施形態では、最適ディスプレイ構成ファインダ330は、最適な視野角をさらに決定
できる。
【0095】
次に、最適ディスプレイ構成ファインダ330のいくつかの実施形態は、最適折り畳み
角度、すなわち、ディスプレイが折り畳まれる最適な内部角度を決定できる(
図1B及び
上記の関連説明を参照されたい)。ユーザデバイスのディスプレイが単一の関節(例えば
、単一ヒンジ式ディスプレイまたは複数のディスプレイ)を含むそれらの実施形態では、
最適ディスプレイ構成は、ディスプレイが折り畳まれる最適折り畳み角度であることがで
きる。例えば、鋭角の折り畳み角度は、(ディスプレイの知覚されるサイズの減少を犠牲
にして)より高い表示プライバシーを提供してもよく、かつ、高いプライバシーリスク領
域及び/又は高い秘密度のコンテンツに最適であり、鈍角の折り畳み角度は、ディスプレ
イのより大きな知覚されるサイズを提供しながらより低い表示プライバシーを提供しても
よく、かつ、低いプライバシーリスク領域及び/又は低い秘密度のコンテンツに最適であ
る。
【0096】
最適ディスプレイ構成は、ユーザデバイスの物理的特性により変化できる。例えば、い
くつかの実施形態では、デバイスは、特定の所定の折り畳み構成で設計された2つ以上の
折り畳みセクションを有するデバイスであってよい。このような装置では、画面の折り畳
みの角度及び回転方向が制限されてもよく、そのため、最適ディスプレイ構成は、各折り
畳みセクションについて、折り畳み角度に特定の回転方向のベクトルを加えた組み合わせ
であってもよい。さらに、特定の例では、デバイスは、一般的にフレキシブルディスプレ
イファブリックを有するデバイスであってもよい。そのようなデバイスは、所定の折り畳
み動作に限定されない、動的に構成可能な折り畳み動作を有する単一ピースの折り畳みス
クリーンであってもよい。このようなデバイスでは、スクリーンの折り畳みの角度と回転
方向があまり制限されない。このように、最適ディスプレイ構成は、特定の、選択された
形状を含んでもよく、構成は、例えば、スクリーンが折り畳まれるべき方向と、スクリー
ン表面上の折り畳みの中心(例えば、折り畳み線など)の位置とをさらに含んでもよい。
この折り畳み角度と折り畳み線の組み合わせは、例えば、補助UI要素生成部370(後
述)により利用されることができ、ディスプレイファブリックを選択された形状に折り畳
むようにユーザを誘導する。この文脈では、折り畳み線の多くの例は、折り畳み可能な(
例えば、二つ折り式)ディスプレイについてここで紹介したヒンジ軸と同様とすることが
できる。
【0097】
いくつかの例では、ユーザデバイスに内蔵された加速度計/ジャイロスコープセンサか
らのデータを使用して、ユーザが現在どのようにデバイスを保持しているかを識別し、そ
れを通じて、最適ディスプレイ構成ファインダ330は、最適折り畳み角度がデバイスの
片側または両側を折り畳むことにより物理的に達成され得るか否かを決定できることに留
意されたい。
【0098】
最適ディスプレイ構成が決定された後、それは最適ディスプレイ構成ファインダ330
により出力され得る。純粋な静的UI操作の実施形態(すなわち、UIが実際の折り畳み
角度またはユーザの目の位置の変化に伴って変形/変化しないもの)、例えば、上述した
構成(A)については、最適折り畳み角度および/または視野角は、UIレンダリングお
よび表示のためにUI歪み生成部360に出力され得る。
[D.実ディスプレイ構成ファインダ]
【0099】
図4Bは、
図3のUI操作エンジンのいくつかの例示の構成要素を使用して折り畳み可
能な電話機のUI操作技術を実施するための例示のデータフロー402である。データフ
ロー402は、UI操作システム(例えば、エンジン300)内の様々なブロックの間で
データがどのように流れることができるかの一例を示している。
図3および
図4Bを同時
に参照しながら、データフロー402は、UI操作エンジン300の機能ブロック図とと
もに、次に説明される。
【0100】
先に紹介したように、開示されたUI操作技術の多数の実施形態は、動的UI操作、す
なわち、ユーザの実際の注視点が変化したとき(例えば、構成(B)において)、または
ユーザデバイスの実際の折り畳み角度が変化したとき(例えば、構成(C)において)、
またはその両方(例えば、構成(D)において)で、UI歪みが変化または変形するもの
を採用している。これらの実施形態がこれらの動的UI調整の基礎として依存する1以上
のシステム構成要素(例えば、実ディスプレイ構成ファインダ340、またはユーザ状態
評価システム350)が、以下に紹介される。
【0101】
実ディスプレイ構成ファインダ340は、ユーザデバイスの現在の構成(または、「実
際のディスプレイ構成」)を決定できる。例えば、実ディスプレイ構成ファインダ340
は、デバイスに内蔵された1以上のディスプレイ構成センサから得られるデバイスデータ
を使用して、実際のディスプレイ構成を決定できる。これらのディスプレイ構成センサか
ら得られる情報の例は、現在の折り畳み角度および/または折り畳み方向構成、デバイス
位置、および/またはデバイスの向き(例えば、傾斜角度)を含むことができる。いくつ
かの例では、デバイスの向きは、加速度計、ジャイロスコープ、またはユーザデバイスに
搭載されている他の適切なセンサからのデータにより取得され得る。これらのデータは、
ユーザが現在どのようにデバイスを保持しているか、及び/又は、最適な視野角を達成す
るためにユーザがどのようにモバイルデバイスを動かすべきか(例えば、視野角調整が静
的である実施形態について)を特定するために使用され得る。
【0102】
いくつかの実施形態では、デバイスデータを収集するために実ディスプレイ構成ファイ
ンダ340により使用されるディスプレイ構成センサは、機械的センサを含んでもよい。
例えば、2つのパネル(例えば、2つのセクション又は二つ折り)のフレキシブルディス
プレイでは、機械的センサは、2つのパネルを接合するヒンジに組み込まれてもよい。特
定の例では、センサは、ヒンジが閉じたり開いたりすると抵抗が変化する柔軟な電子材料
を含むことができ、その結果、それはスクリーンの折り畳み角度を測定できる。折り畳み
角度データは、折り畳み可能なスクリーンが現在どのように折り畳まれているか、及び/
又は、最適折り畳み角度を達成するためにユーザが折り畳み可能なスクリーンをどのよう
に再構成すべきかを特定するために使用され得る(例えば、折り畳み角度調整が静的であ
る実施形態について)。
【0103】
一般的にフレキシブルディスプレイ(例えば、ファブリックディスプレイ)については
、実際のディスプレイ構成のいくつかの実施形態は、表面全体にわたる表面の歪みを記述
するために、ディスプレイの表面にわたる複数点におけるディスプレイの歪みを十分に高
い密度で含み得る。例えば、これらの実施形態の多くでは、実際のディスプレイ構成は、
表面上の各点について、歪みの振幅及び角度のスカラー量を有するベクトル場を表すデー
タを含むことができる。
【0104】
さらに、ディスプレイ構成センサのいくつかの変形例は、1以上のカメラも含むことが
できる。例えば、一般的にフレキシブルディスプレイの実施形態では、カメラ(それはデ
バイスに内蔵され得るか、またはサードパーティのデバイスから得られる)から集められ
た光学データは、実ディスプレイ構成ファインダ340により使用されることができ、現
在のデバイス表面の法線マップまたはベクトル場を作成する。いくつかの追加のまたは代
替の実施形態では、カメラ(複数可)はまた、実ディスプレイ構成ファインダ340によ
り使用されることができ、相対的なデバイスの向きを決定し、かつ、デバイスの空間位置
を推定する。さらに、いくつかの実施形態では、実ディスプレイ構成ファインダ340は
、カメラデータ及び画像処理技術を利用でき、実際のディスプレイ構成を3Dで捕捉し、
それは、3Dモデルファイル、例えばSTLファイルをもたらすことができる。
【0105】
様々な実装において、ディスプレイ構成センサは、光がオブジェクトまで移動し、オブ
ジェクトから反射されて戻ってくるのにかかる時間を使用してオブジェクトまでの距離を
測定する飛行時間(ToF)センサを含むことができる。例えば、内蔵のToFセンサは
、デバイスと人または他の物理的特徴との間の距離の測定を実行することによりデバイス
位置を得るために、実ディスプレイ構成ファインダ340により使用され得る。追加的に
、または代替的に、ディスプレイ構成センサは、レーダを含んでもよい。例えば、レーダ
または他の物体もしくはモーションセンシング技術は、ディスプレイ要素間、またはディ
スプレイ要素とユーザとの間の空間的関係を決定するために、実ディスプレイ構成ファイ
ンダ340により使用され得る。
[E.ユーザ状態評価システム]
【0106】
ユーザ状態評価システム350は、ユーザの物理的状態を決定し分析するために使用さ
れるシステム構成要素の組合せとすることができる。ユーザ状態評価システム350は、
ユーザ状態センサ352及びユーザ状態ファインダ354などの例示の構成要素を含むこ
とができる。
【0107】
ユーザ状態センサ352は、ユーザの状態(又は「ユーザ状態」)に関するデータを得
るためにユーザ状態評価システム350により使用され得る1つ以上のセンサを含む。よ
り具体的には、ユーザ状態センサ352により取得され得るユーザ状態の例は、ユーザが
焦点を合わせているスクリーン上の位置であるユーザ注視点、ディスプレイに対するユー
ザの頭部の角度である頭部角度、ディスプレイに対するユーザの眼の角度である視野角、
及び/又は、ディスプレイに対するユーザの全身の向きである頭部の向き、を含むことが
できる。実装によっては、ユーザ状態センサ352は、専用の、視線追跡センサシステム
とすることができ、または、ユーザデバイスに搭載されているセンサの組み合わせとする
ことができる。ユーザ状態センサ352の例示的な構成要素は、例えば、1つ以上の前面
カメラ、モーションセンサ(これは、ユーザデバイス上にあるか、またはスマートバンド
のようにユーザにより装着され得る)、適切なプロジェクタ、および/または飛行時間セ
ンサを含むことができる。例えば、プロジェクタは、特定の光または光パターン(例えば
、赤外線又は近赤外線)をユーザの目に投影でき、カメラは、ユーザの目及びパターンの
画像を撮ることができ、その後、画像処理及びマシンビジョン技術がユーザの目の位置及
び注視点を決定するために適用されてもよい。別の例では、飛行時間センサは、スクリー
ンからのユーザの距離を検出できる。
[F.UI歪み生成部]
【0108】
UI歪み生成部360は、ユーザインタフェースにおける視覚的歪み(ここでは、「U
I歪み」、「UI変形」、または「UI操作」とも呼ばれる)を生成する。UI歪みは、
最適ディスプレイ構成(例えば、最適折り畳み角度)におけるユーザの現在の視点からの
みユーザインタフェースの最適なビューが得られるように、表示されたUIの可視性を操
作する。任意の他の傍観者の視点からのディスプレイの可視性は、(閉じた折り畳み角度
のために)減少し、かつ(視覚的歪みのために)不明瞭になり、傍観者が見逃すことによ
りユーザデバイスからユーザの個人情報を盗む可能性が低くなる。
【0109】
実装によっては、UI歪みは、異なる変換および歪みの組み合わせを含むことができる
。
たとえば、UI歪みは、ユーザインタフェースに適用される一連の変換(たとえば、並進
、回転、または傾き)を含んでもよい。多数の本実施形態によれば、UI歪み生成部36
0は、UIおよびUI上の対象情報を所望の角度および/または距離からのみ読み取り可
能に表現できる「錯視」をユーザインタフェース(例えば、
図2Aで検討されたものなど
)に適用できる。「ホログラフィックディスプレイ」ハードウェアを有する特定の実施形
態について、UI歪み生成部360は、例えば、異なるピクセルのピクセル光がどの角度
に調整されるべきかを含む命令のセットを生成でき、プライバシーに敏感なUI要素が特
定の角度および/または物理デバイス構成からだけ見ることができる。
図2Aに関して上
述したように、歪みのタイプおよび歪みの程度は、表示される情報の秘密度のレベルを考
慮する。高い秘密度のUIコンテンツに適用される変換または歪みは、UIコンテンツが
ターゲットユーザ以外のものにとってはるかに読みにくくなるように(例えば、UIの例
203と比較した、UIの例207)、より極端になることができる。
【0110】
特定の例では、UI歪み生成部360は、UI歪みを決定し生成する際、ユーザ状態デ
ータおよび/または実際のディスプレイ構成を考慮する。たとえば、ユーザ状態データ(
たとえば、ユーザの注視点)を使用して、UI歪み生成部は、ユーザの目の位置が移動す
るとき、UI歪みがユーザにとって見やすいままであるように、UI歪みの視野角を調整
できる。実際のディスプレイ構成を使用して、UI歪み生成部360の多数の実施形態は
また、折り畳み角度の任意の変化に応答してUI歪みを連続的に修正できる。このように
して、UI歪みを通じて生成される知覚されるUIのフォームファクタ(例えば、サイズ
)は、新たな実際のディスプレイ構成及び/又はユーザ状態に応答して(例えば、リアル
タイム又はほぼリアルタイムの方法で)更新及び調整されることが可能である。
【0111】
さらに、UI歪み生成部360のいくつかの実施形態は、実際のディスプレイ構成を補
償するためのデバイスハードウェア用の命令を生成できる。いくつかの実装形態では、U
I歪み生成部360は、例えば、視円錐の外縁で画面を見ることによる視覚的劣化を補償
するために、見られるべきUI要素の特定の部分において画素の輝度を増加させる命令を
生成し得る。他の変形例では、UI歪み生成部360は、新たなUIにおける、新たなア
スペクト比、UI位置決め、UI要素の歪みなどにおいてジェスチャがまだ機能できるよ
うに、デバイスの3D制御ジェスチャの再キャリブレーション用の指示を生成してもよい
。
【0112】
さらに、改善されたユーザ体験及びユーザビリティのために、UI歪み生成部360の
いくつかの実施形態は、UIの1以上の特徴を修正できる。例えば、UI歪み生成部36
0は、ユーザインタフェース特徴の寸法を修正してもよい。加えて、又は代替的に、UI
歪み生成部360は、ディスプレイ上のUI要素の位置決めを修正できる。例えば、UI
歪み生成部360は、極端な折り畳みに必要な歪みの量を減らすために、ディスプレイの
エッジから中央へ要素を移動させてもよい。いくつかの実施形態では、UI歪み生成部3
60は、例えば、色、明るさ、又は画素分布を含む多くのユーザインタフェース特徴を修
正してもよい。いくつかの例では、UI歪み生成部360は、(
図2Cに関して上述した
例のような)デバイスがより狭い折り畳み角度に閉じられるとき、より小さいディスプレ
イに適したレイアウトに(すなわち、ユーザにより知覚されるように)UIを再配置でき
る。
[G.補助UI要素生成部]
【0113】
図4Cは、
図3のUI操作エンジンのいくつかの例示の構成要素を使用して折り畳み可
能な電話機のUI操作技術を実施するための一例のデータフロー404である。データフ
ロー404は、UI操作システム(例えば、エンジン300)内の様々なブロックの間で
データがどのように流れることができるかの一例を示している。
図3および
図4Cを同時
に参照しながら、データフロー404は、UI操作エンジン300の機能ブロック図とと
もに、次に説明される。
【0114】
補助UI要素生成部370は、最適ディスプレイ構成を達成するためにユーザを導くた
めに使用され得るUI要素又は機能、及び/又はハードウェア有効化機能(例えば、スタ
ンドアロンLEDインジケータ)を生成できる。より具体的には、いくつかの例では、補
助UI要素生成部370は、ユーザが折り畳みスクリーンを正しく操作して最適ディスプ
レイ構成(例えば、最適折り畳み角度)を達成したときに補助UI要素の特徴がユーザに
示すために変化できるように、(例えば、UI歪み生成部360からのUI歪み及び/又
は最適ディスプレイ構成ファインダ330からの最適ディスプレイ構成パラメータを用い
て)1以上の補助UI要素を表示することを選択できる。
【0115】
より具体的には、いくつかの実施形態では、補助UI要素は、UI自体に対する歪み及
び/又は追加の視覚ガイダンス指標(例えば、選択された幾何学的形状)など、ユーザが
直観的に理解し得る形状又はパターンに対する寸法の変化を含んでもよい。例えば、補助
UI要素は、画面が最適ディスプレイ構成に変更されたときにのみ完全に丸くなる歪んだ
円(または楕円、例えば、
図2Bの指標250)を含んでもよい。いくつかの例では、選
択された幾何学的形状が何であるか(例えば、円)をユーザに示す追加のテキストガイダ
ンスがディスプレイ上に生成され得る。ユーザにとってより有用な支援を提供するために
、1つ以上の実施形態は、この追加のテキストガイダンスが、デバイスが最適ディスプレ
イ構成に(例えば、最適折り畳み角度で)構成される(例えば折り畳まれる)ことなく(
又はその前に)、ユーザが見ることができる向きで表示されることを提供する-そのよう
な例は、
図2Bのテキストガイダンス252として示される。テキストガイダンスの内容
は、いくつかの実装では、実際のディスプレイ構成(例えば、現在の折り畳み角度)と最
適ディスプレイ構成(例えば、選択した折り畳み角度)との間の差に基づいて生成され得
る。例えば、テキストガイダンスは、折り畳み角度を変更すること、すなわち、より開く
か閉じるかをユーザに指示できる。いくつかの例では、幾何学的形状の代わりとして、画
像が使用され得る。
【0116】
追加の実施形態として、補助UI要素は、ディスプレイが最適ディスプレイ構成にある
ときのLEDインジケータなどのハードウェア有効化機能を含むことができる。変形例で
は、ホログラフィックディスプレイインジケータが含まれてよく、これは、ディスプレイ
が最適ディスプレイ構成にあるときに正しい色または輝度を表示できる。加えて、または
代替として、補助UI要素は、ディスプレイが最適ディスプレイ構成になると特定の形状
または画像としてのみ現れるであろう画素のパターン、または照明の点を含んでもよい。
例えば、ファブリック状のディスプレイでは、ファブリックが最適な形状に操作されたと
きにのみ、画素が機械可読の1次元又は2次元のバーコード(例えば、QRコード(登録
商標))として現れてもよく、それにより最適ディスプレイ形状が達成されたことの確認
として機能する。
【0117】
さらに、いくつかの変形例では、補助UI要素生成部370は、補助UI要素のみを表
示し、かつ、折り畳み可能なディスプレイが最適デバイス構成(例えば、最適折り畳み角
度)に操作されない限り/されるまで、ユーザデバイスの画面上に機密データを表示する
ことを積極的にブロックし、ぼかし、マスクし、さもなければ妨げ、または単に禁止でき
る。例えば、補助UI要素生成部370は、機密資料を表示するUIがブロックされるよ
うにUI歪み生成部360を制御し、かつ、ガイダンス情報(例えば、視覚的指標250
、テキストガイダンス252(
図2Bにおける)、および/または上述のLEDインジケ
ータ)のみをユーザに示し、その後、ユーザが指示に従い、かつ、折り畳み可能な電話を
選択した最適折り畳み角度に変更した場合にのみ、UI操作エンジン300は、(例えば
、
図2Aに関して上述した方法で)UI上に機密情報を示す。
[方法論]
【0118】
図5は、折り畳み可能な電話機のUI操作技術を実装するための一例の方法500を示
すフローチャートを示す。方法500は、折り畳み可能なUIディスプレイ上の機密の、
プライベートな情報およびデータを傍観者に対して保護するために、ユーザデバイス(例
えば、デバイス130、230;
図1A,2A)上のUI歪みおよびレンダリングのため
のUI操作エンジン(例えば、エンジン300;
図3)の様々な構成要素(例えば、構成
要素310-370;
図3)により実施されることが可能である。方法500は、
図2A
-2Cおよび
図3を同時に参照しながら紹介される。
【0119】
まず、UI操作エンジンは、モバイルデバイス(例えば、デバイス230)のディスプ
レイ(例えば、ディスプレイ220)上に機密情報を表示するための指示を受信できる(
510)。そのような指示の一例は、ソフトウェア関数呼び出しであり得る。いくつかの
例では、モバイルデバイスは、折り畳み可能なディスプレイを含むことができる。次に、
UI操作エンジンは、機密情報がどのように表示されるべきかについて最適ディスプレイ
構成を決定できる(520)。多数の実施形態において、UI操作エンジンは、まず、ユ
ーザの画面上に表示されるべき情報の秘密度のレベルを識別し(522)、そして次に、
機密情報がどのように表示されるべきかについてのフォームファクタを決定する。追加で
、または代替的に、UI操作エンジンは、知覚されるUIに関するフォームファクタを決
定する際、ユーザデバイスの周辺環境におけるプライバシーのリスク(又はどれだけ混雑
しているか)を決定できる(524)。フォームファクタは、上述したように、一般に、
知覚されるディスプレイサイズ、すなわち、UI歪み技術の後、ユーザが(例えば、二つ
折り可能ディスプレイを最適折り畳み角度に折り畳むことにより)デバイスを最適デバイ
ス構成に操作する(例えば折り畳む)ときにユーザにより見られるディスプレイのサイズ
を含むことができる。一般に、表示されるデータの秘密度が高いほど、または周辺環境の
プライバシーリスクが高いほど、表示されるUIの知覚されるフォームファクタ(例えば
サイズ)は小さくなる。すなわち、フォームファクタは、周辺環境からのリスク及び/又
は表示されるデータの秘密度に逆相関させることができる。開示されたUI操作技術の1
以上の実施形態に従って、決定されたフォームファクタは、例えば、傍観者が存在し得る
プライバシーシナリオのために、折り畳み可能なディスプレイの全領域よりも小さくなる
。
【0120】
次に、UI操作エンジンは、決定されたフォームファクタに基づいて、折り畳み可能な
ディスプレイ上に表示されるUIを生成できる(530)。例えば、UI操作エンジンは
、実際の電話構成を受信でき(532)、UI操作エンジンにより表示されるUIは、フ
ォームファクタ(例えば、知覚されるサイズ)において機密情報を表示するが、折り畳み
可能なディスプレイが選択された物理的電話構成(例えば、選択された折り畳み角度及び
/又はいくつかの実施形態では選択された視野角のいずれか)に操作されなければ、ユー
ザに対して視覚的に変形される。
図2Aの例示のUIに示されるように、折り畳み可能な
ディスプレイの実施形態では、UIは、折り畳み可能なディスプレイの複数のセクション
により集合的に表示され得る。特定の実装では、折り畳み可能なディスプレイは、二つ折
りディスプレイとすることができる。
【0121】
具体的には、折り畳み可能なディスプレイを備える1以上の実施形態では、モバイルデ
バイスのディスプレイセクションが折り畳み角度に折り畳まれない限り、ユーザインタフ
ェースがユーザに対して歪んで見えるように、UI歪みが生成される。すなわち、最適折
り畳み角度が決定された後、モバイルデバイスのディスプレイセクションが折り畳み角度
に折り畳まれない限り、ユーザインタフェースはユーザに対して歪んで見える。1以上の
例では、UIは、折り畳み可能なディスプレイのヒンジに沿った軸について対称に変形さ
れる(例えば、それらのUIの例204、206、及び208と同様である)。他の例で
は、UI歪みエンジンは、例えば、モバイルデバイス上の1つ以上の方位センサから、モ
バイルデバイスの現在の方位状態を受信でき、そして、受信されたモバイルデバイスの現
在の方位状態に応答して、UIをさらに調整できる。
【0122】
さらに、いくつかの実施形態では、UI操作エンジンは、例えば、ユーザの注視点であ
り得るユーザ状態を検出できる(534)。ユーザ状態に基づいて、UI操作エンジンは
、(例えば、動的視野角調整を実行するそれらの実施形態において、)モバイルデバイス
がユーザに対して視野角に向けられない限りユーザインタフェースがユーザに対して歪ん
で見える視野角を決定できる。これらの例のいくつかでは、UI操作エンジンは、ユーザ
の目の位置を決定でき、ユーザの目の検出された位置に応答してUIを調整できる。特定
の実装では、UI操作エンジンは、モバイルデバイス上のユーザに面する目検出器を採用
でき、UIのための新たな最適な視野角がユーザの目の検出された位置を反映するように
、UIをさらに調整できる。
【0123】
図6は、折り畳み可能な電話機のUI操作技術を実装するための別の例の方法600を
示すフローチャートである。方法600は、折り畳み可能なUIディスプレイ上の機密の
、プライベートな情報およびデータを傍観者に対して保護するために、ユーザデバイス(
例えば、デバイス130、230;
図1A,2A)上のUI歪みおよびレンダリングを更
新するためのUI操作エンジン(例えば、エンジン300;
図3)の様々な構成要素(例
えば、構成要素310-370;
図3)により実施されることが可能である。方法600
は、
図2A-2Cおよび
図3を同時に参照しながら紹介される。
【0124】
UI操作エンジンは、ユーザデバイスの実際の現在の物理的構成に関する更新(例えば
、現在の折り畳み角度)を受信または取得する(610)と、UI歪みの更新を実行でき
る。より具体的には、実施形態によっては、UI操作エンジンは、以下の新たな情報のう
ちの1以上を検出できる:それは、表示される機密データの新たな指示を検出できる(6
12)、それは、ユーザデバイスの周辺環境におけるプライバシーリスクの新たなレベル
を検出できる(614)、それは、新たなユーザ状態(たとえば、新たな注視点またはユ
ーザの新たな目の位置)を検出できる(616)、及び/又は、それは、新たな実際のデ
バイス構成(例えば、新たな実際の折り畳み角度又は新たなデバイスの方向)を検出でき
る(618)。
【0125】
次に、(例えば、
図3に関して)上述した態様と一致して、UI操作エンジンは、新た
な最適デバイス構成を決定し得る(620)。いくつかの例では、ディスプレイ用の機密
データの新たなレベルまたは更新レベルがあるとき(612)、および/または、周辺の
プライバシーリスクの新たなレベルがあるとき(614)、UI操作エンジンは、新たな
最適デバイス構成(例えば、新たな最適折り畳み角度、および/または、いくつかの実施
形態では新たな最適な視野角)を決定できる(620)。さらに、動的視野角調整を実装
するものについては、検出された新たなユーザ状態(たとえば、新たな注視点)があると
き(616)、UI操作エンジンは、UI歪み生成のための新たな最適デバイス構成(た
とえば、新たな視野角)を決定する(620)必要がある。同様に、動的折り畳み角度調
整を実装するものについては、検出された新たな実際のデバイス構成(例えば、新たな実
際の折り畳み角度)があるとき(618)、UI操作エンジンは、UI歪み生成のための
新たな最適デバイス構成(例えば、新たな折り畳み角度)を決定する(620)必要があ
る。
【0126】
その後、UI操作エンジンは、更新された新たな最適デバイス構成に従ってUIを調整
する(630)。1以上の実装では、UI歪み更新は、ユーザが折り畳みディスプレイを操
作する際に実質的にリアルタイムで実行される。1以上の例において、ステップ610-
630の選択ステップは、繰り返しまたは再帰的に実行され得る。
[動作例]
【0127】
図7Aは、折り畳み可能なスクリーンデバイス(例えば、デバイス130、
図1A;デ
バイス230、
図2A)の二つ折りディスプレイ(例えば、ディスプレイ120、
図1A
;220、
図2A)上で歪んだUIが(例えば、UI歪み生成部360により;
図3)生
成され得る方法のより詳しい例を示す。より具体的には、(例えば、
図3に関して上述し
たように)機密情報がどのように表示されるべきかのUIフォームファクタが決定された
後、決定されたフォームファクタに基づいて、折り畳み可能なディスプレイ上に表示され
るべき実際のUIが生成される。UIがどのように歪んで表示されるべきかを決定するた
めに、以下に提供されるのは、
図7Aの上記の入力パラメータを与えられてUI変換を計
算する例示の方法の方程式と説明である。
【0128】
図7Aに示されるように、モバイルデバイス730は、中心軸736(例えばヒンジ)
を中心に折り畳まれる二つ折り可能なディスプレイ720を含む。以下の計算例では、中
心軸736から二つ折り可能なディスプレイ720のエッジまでの距離(X
1)は既知で
あると仮定する。さらに、中心軸736からユーザの目までの距離(X
2)が、(例えば
、デバイス730に搭載され得るアイトラッカー及び/又はToFセンサなどのセンサに
基づいて)検出されることが可能なこと、及び/又は推定されることが可能なことを仮定
する。最後に、
図7Aに示される例では、折り畳み角度は(α)により表され、視野角は
(β)により表される。
【0129】
操作されたUIのエッジの結果の長さを(Y
1)とし、操作されたUIの中央の結果の
長さを(Y
2)とする(
図7Aに示すように)。元の歪んでいないUIのエッジの初期の
長さを(Y
0)とする(
図7Bに示すように)。Y
0、Y
1、及びY
2の間の関係は、以
下の変換により表され得る。
【数1】
ここで、T
1は、折り畳み角度αの変更による変換であり、かつ、α、X
1、及びX
2
の関数である。T
2は、視野角βの変更による変換であり、かつ、β、X
1、及びX
2の
関数である。なお、折り畳み角度αと異なり、視野角βは、角度が3次元で変化できるた
め、3成分を持つことができ、したがって、T
2は、次のように表され得る。
【数2】
つまり、3つの直交平面のそれぞれの回転に対して1つの変換である。また、α=18
0°、β=0°のとき、Y
0=Y
1=Y
2であることに留意されたい。
【0130】
図7Cは、
図7Aの例における折り畳み角度αの変更による一例の変換計算を示す。具
体的には、以下は、T
1における一例の計算方法を示す。
【0131】
図7C及び7Aを引き続き参照すると、視野角βが一定であると仮定すると、
図7Cの
(中心軸又はヒンジがある、ディスプレイの中心における)点P
1は、デバイスの元の平
面に対して静止していると仮定される。デバイスの厚さがΔX
2と比較して無視できると
仮定すると、変換T
1は、距離X
2における観察者の視点から(ディスプレイのエッジに
おける)点P
2におけるUI特徴の高さの知覚される変化の増加を補償するために適用さ
れ得る。
【0132】
この座標系では、ディスプレイの中心、折り畳み軸(P1)(例えば軸736)におけ
るUI特徴の大きさは変化しないままであるので、Y2=Y0であり、T1は中心軸にお
けるUI特徴に適用される必要はない。
【0133】
原点から距離X
1離れた(例えば、初期高さY
0の)点P
2においてUI特徴を決定す
るために、変換T
1は、特徴が観察者に量ΔX
2だけ近いことによるサイズの知覚される
増加を補償するために適用され得る。したがって、変換は、より小さい高さY
1を得るた
めにP
1(高さY
0と仮定する)における特徴に適用され得る。このような変換は、次の
ように表すことができる。
【数3】
ここで、以下の通りである。
【数4】
【0134】
このように、
図7Cのこの例の座標系に基づいて、変換T
1は、以下のように表すこと
ができる。
【数5】
【0135】
図7Dは、
図7Aの例における視野角βの変化による変換計算の一例を示す。具体的に
は、以下は、T
2における計算方法の一例を示す。
【0136】
引き続き
図7D及び
図7Aを参照すると、折り畳み角度αが一定であると仮定すると、
図7Dの(注視点がある、ディスプレイの中心における)点P
1は、デバイスの元の平面
に対して静的であると仮定される。デバイスの厚さがΔX
2と比較して無視できると仮定
すると、変換T
2は、距離X
2における観察者の視点から(ディスプレイのエッジにおけ
る)点P
2におけるUI特徴の高さの知覚される変化の増加を補償するために適用され得
る。
【0137】
三次元(3D)空間における視野角βには3つの成分があり、xy平面、yz平面、及
びzx平面における回転についてそれぞれ1つである。それぞれは独立して考慮され得る
が、同様の方程式が計算用に適用され得る。
【0138】
上記の座標系では、Y2=Y0であり、かつ、中心におけるUI特徴にT2が適用され
る必要がないように、中心軸(P1)におけるUI特徴の大きさは、変更されないままで
ある。
【0139】
原点から距離X
1離れた(例えば、初期高さY
0の)点P
2におけるUI特徴に対して
、変換T
2は、特徴が量ΔX
2だけ観察者に近いことによるサイズの知覚される増加を補
償するために適用され得る。したがって、変換は、より小さい高さY
1を得るためにP
1
(高さY
0と仮定する)における特徴に適用され得る。
【数6】
ここで、以下の通りである。
【数7】
【0140】
したがって、
図7Dの例示の座標系に基づいて、変換成分T
2xyは、以下のように表
すことができる
【数8】
【0141】
同様の変換が、βの他の成分:βyz及びβzxについても適用されてよく、変換成分
T2yz及びT2zxをもたらし、これらは、次に(式(2)を用いて)変換T2を表す
ために使用される。
【0142】
図7Eは、視野角の変更に応答して、実際の、生成されたUIにおける角度歪み(例え
ば、どのように傾いているか)を補償するために、どのようにUIが調整できるかの一例
を示す。まず、
図7Eに示されるのは、(たとえば、最適ディスプレイ構成ファインダ3
30、
図3により決定されるような)UI要素がユーザに対して視覚的にどのように見え
るべきかを示す例示のUI701である。例示のUI701は、ディスプレイの平らなセ
クションに表示されることができ、それは、例えば、ここで検討される折り畳み可能なデ
ィスプレイを一緒に形成するディスプレイセクションの1つのセクションであることがで
きる。検討を簡単にするために、以下の説明は、1つのセクションの角度歪みの調整に焦
点を当てるが、同じ技術は、折り畳み可能なディスプレイの複数のセクションに同様に適
用され得る。UI701がyz平面上に表示され、x軸が、
図7Eを示すページ内に延び
ると仮定する。図示されるように、UI701は、丸いドットにより示され、かつ、視覚
的に直角(例えば、90°)を形成するであろう角(コーナー)を含む。以下の検討は、
この角を利用して、視野角βの変化に応答して、一例の角度歪み調整がどのように実行さ
れ得るかを説明する。この角が形成する角度は(γ)であると仮定する。
【0143】
さらに
図7Eに示されるのは、例示のUI702、703、704、および705であ
る。例示のUI702-703は、ディスプレイセクションがユーザにより鋭角の視野角
β(すなわち90°未満)から見られる場合を示し、UI704-705は、ディスプレ
イセクションがユーザにより鈍角の視野角β(すなわち90°より大きい)から見られる
場合を示している。ここで、視野角の変化に対する補償がない場合、例示のUI702に
示されるように、ディスプレイセクションが鈍角の視野角βから見られるとき、角の角度
γは(UI701の直角とは対照的に)鋭角となることが認められる。同様に、視野角の
変化に対する補償がない場合、例示のUI704に示されるように、ディスプレイセクシ
ョンが鋭角の視野角βから見られるとき、角の角度γは(UI701の直角とは対照的に
)鈍角になる。
【0144】
したがって、少なくともいくつかの実施形態(例えば、上述した動的視野角UI調整を
実行するもの)によれば、UIは、ユーザの視野角の変化による傾斜角の知覚された変化
を考慮するために、角度歪み調整(例えば、ボックスUI要素の角におけるように、傾斜
角の変化)を受けることが可能である。視野角UI調整で、例示のUI703および70
5に示されるように、視野角変化に起因する角度歪みが補償され得る。言い換えれば、こ
こに開示されるいくつかの実施形態は、視野角βの変化に基づいて、UIにおけるこれら
の傾斜角度がどれだけ調整される必要があるかを決定する機構を採用できる。
【0145】
具体的には、いくつかの例では、ユーザの知覚から、角の角度γは、双曲線正接関数(
これは「tanh()」関数としても知られている)に基づいて、視野角βとともに変化
できる。すなわち、特定の実施形態において、表示された角の角度γと視野角βとの間の
関係は、例えば、tanh()に基づく式に基づいて記述され得る。
【数9】
【0146】
図7Fは、角度歪みの調整量と視野角の変化との間の関係の一例、より具体的には式(
9)を示す。
図7Fに示すように、UI上の角度は、tanh(β)に反比例する量だけ
増加または減少させられ得る。視野角βが90°のとき、実際のUI上の表示された角の
角度γも90°であり、すなわち、視野角βが垂直の場合、角度γの調整は不要であるこ
とに留意されたい。
【0147】
実際の実装では、式(9)の1以上のパラメータ(すなわち、「a」、「b」、「c」
、及び/又は「d」)は、実際のデバイス設計及びアプリケーション環境、例えば、特定
のディスプレイ特性、ディスプレイサイズ、及び/又はセンサ入力(ユーザの目がどれだ
け遠いか及び/又はどこにあるのかなど)に基づいて、最適化又は調整され得ることに留
意されたい。
図7Fに示される実施形態では、a=1.5、b=2、c=π、及びd=1
である。いくつかの実施態様では、パラメータは、異なる人のユーザ習慣及び個人的特徴
(例えば、保持角度または距離)により合うようにユーザ毎に能動的に調整され得る。
【0148】
また、ここで、上述したtanh()関数は単なる一例であり、1以上の実施形態では
、同様の効果を得るためにtanh()関数以外の関数が使用され得ることに留意された
い。例えば、ある変形例では、「シグモイド」関数(そのプロットは「tanh」に類似
している)が使用され得る。さらに、いくつかの例は、直線、または、異なる傾きを有す
る複数の直線の組み合わせを使用でき、ここで説明した視覚効果に近づく。ここで、適切
な関数は、(1)原点を90°で横切り(すなわち、βが90°のとき、γも90°であ
る)、かつ、(2)原点について対称であるプロットにより特徴付けられ得ることが認め
られる。実施形態によっては、それは、(3)βの増加はγの減少をもたらし、その逆も
また同様である(すなわち、βとγは逆相関している)ことによりさらに特徴付けられて
もよい。いくつかの実施形態では、βが0°付近であるとき、γは180°付近であり、
逆に、βが180°付近であるとき、γは0°付近である。
【0149】
上述した態様において、開示されたUI操作技術は、その主要なユーザに対するUIの
アクセス性を維持又は改善しながら、フレキシブルな、折り畳み可能な、又は他の方法で
再構成可能なディスプレイに表示される機密情報を傍観者から隠す又は不明瞭にすること
を可能にする。このように、ユーザデータの損失を防ぎ、かつUIの使い勝手と読みやす
さを維持するだけでなく、デバイスの構成は動的にカスタマイズされることができ、ユー
ザの現在の環境に合わせた最適なセキュリティ構成を提供する。さらに、補助UI要素に
より、ユーザがセキュリティに最適な画面構成を容易に達成するのを補助できる直観的な
UIシステムが実装され得る。
【0150】
ここで、少なくともいくつかの実施形態において、紹介されたUI操作技術は、入力パ
ラメータ(例えば、寸法、折り畳み角度、又は視野角)を与えられたUIに対する変換(
例えば、上述したように)の実行を助けることができる1以上の既存のソフトウェア開発
キット(SDK)に基づいて実装され得る。一般に、紹介されたUI技術が構築され得る
変換のクラスは、幾何学的画像変換に関連したSDKの下のサブカテゴリであり得る透視
変換(perspective transformations)と呼ばれ得る。透視変換のために利用可能な関数
を有するこのようなSDKの一例は、OpenCV
TMである。これらのSDKにおいて
、入力画像の寸法(例えば、
図7BにおけるY
0のようなUIのエッジの元の歪んでいな
い長さ)、透視基準(例えば、視野角、またはオブジェクト平面)を記述する入力、およ
び所望の出力を受け取ることができる多数の関数が存在できる。多くの場合、関数は、1
つの平面上の画像を「まっすぐに伸ばし」、かつ、それらを観察者に面する平面上に提示
するように、利用され、プログラムされ、または他の方法で指示され得る。本開示のいく
つかの実施形態では、所望の出力は、視野角及び/又は折り畳み角度の変化を考慮した「
予め歪められた」グラフィックからであり得る。
[機密データ保護のためのグリップ操作]
【0151】
上述したように、近くの傍観者から機密情報を遮る1つのアプローチは、折り畳み角度
を操作するようにユーザに促す視覚ガイダンス指標をユーザデバイスの折り畳み可能なデ
ィスプレイ上に表示させることである。視覚ガイダンス指標は、折り畳み可能なディスプ
レイが選択された折り畳み角度に操作されたときにのみ、それが選択された幾何学的形状
(例えば、円)として見えるように設計されてもよい。視覚ガイダンス指標は、折り畳み
可能なディスプレイが最適折り畳み角度に操作されないとき、別の形状(例えば、傾いた
楕円形)として見えてもよい。
【0152】
近くの傍観者から機密情報を遮る別のアプローチは、近くの傍観者の視野を遮るユーザ
デバイスのグリップ位置(つかみ位置)を採用するようユーザに促す視覚ガイダンス指標
の表示を引き起こすことである。適切なグリップ位置は、データ損失のリスクを低減する
ために、手と指の最適な配置に基づいて決定されてもよい。データ損失のリスクは、複数
の傍観者がユーザデバイスの周辺に存在する決定された角度と、したがってディスプレイ
のどの部分がそれらの傍観者に現在見える可能性があるかとに基づいてもよい。
【0153】
例えば、選択された幾何学的形状(例えば円)は、選択された手(例えば左手)の選択
された指(例えば人差し指)を選択された幾何学的形状に置く指示と共に、ユーザデバイ
スの折り畳み可能なディスプレイ上に示されてもよい。そのような実施形態において、選
択された幾何学的形状の位置は、折り畳み角度と近くの傍観者(複数可)の位置(複数可
)とに基づいてもよい。実施形態は、折り畳み可能なディスプレイを有するユーザデバイ
スの文脈で説明され得るが、特徴は、フレキシブルな、または他の方法で再構成可能なデ
ィスプレイを有するユーザデバイスにも同様に適用可能である。したがって、以下に説明
するプロセスは、表面上自然な方法で機密情報の損失を防止するために、フレキシブルま
たは折り畳み可能ではない再構成可能なディスプレイを有するユーザデバイスにより採用
されてもよい。
【0154】
以下でさらに検討されるように、ユーザデバイスの周辺の潜在的なセキュリティおよび
プライバシーリスクに関するデータ、および/または、ユーザデバイスにより表示される
情報の秘密度に関するデータは、近くの個人への情報損失を回避するための最適グリップ
位置を決定するために使用され得る。最適グリップ構成は、その構成を採用するようにユ
ーザを奨励または支援するUI要素(複数可)を生成するために使用され得る。例えば、
現在のグリップ位置のデータは、ユーザが最適グリップ位置に自身のグリップを移すよう
に、どのUI要素(複数可)が生成されるべきかを決定するために使用され得る。現在の
グリップ位置は、例えば、タッチセンシティブ素子、圧力センシティブ素子、近接センサ
、周辺光センサ等により生成された読み取り値に基づいて決定され得る。
【0155】
図8は、グリップ操作技術を実施するための一例の方法800示すフローチャートを示
す。方法800は、ユーザデバイスにより示される機密情報を近くの個人から保護するた
めに、UI操作エンジン(例えば、エンジン300;
図3)の様々な構成要素(例えば、
構成要素310-370;
図3)により実施され得る。高いレベルでは、方法800は、
ユーザデバイスにより示される機密情報の意図しない開示を最適に防止するであろう手の
姿勢を決定するためのアルゴリズムのアプローチとして記述され得る。
【0156】
最初に、UI操作エンジンは、ユーザデバイスのディスプレイ上に機密情報を表示する
ための指示を受信できる(810)。そのような指示の一例は、ソフトウェア関数呼び出
しであり得る。上述のように、ユーザデバイスは、折り畳み可能なディスプレイ、フレキ
シブルディスプレイ、又は別の方法で再構成可能なディスプレイを含み得る。次に、UI
操作エンジンは、機密情報がどのように表示されるかについての最適ディスプレイ構成(
「最適グリップ位置」とも呼ばれる)を決定できる(820)。多数の実施形態において
、UI操作エンジンは、表示される情報の秘密度のレベルを識別し(822)、次に、機
密情報がどのように表示されるかに関するフォームファクタを決定する。追加で、または
代替的に、UI操作エンジンは、UIのためのフォームファクタを決定する際に、ユーザ
デバイスの周辺環境におけるプライバシーのリスクを決定できる(824)。一般に、表
示されるデータの秘密度のレベルが高いほど、または周辺環境のプライバシーリスクが高
いほど、UIのフォームファクタは小さい。すなわち、フォームファクタは、周辺環境か
らのリスク及び/又は情報の秘密度に逆相関していてもよい。
【0157】
さらに、UI操作エンジンは、機密情報を不明瞭にするための最適グリップ構成を決定
できる(830)。最適グリップ構成(「最適グリップ位置」とも呼ばれる)は、周辺状
態ファインダ(例えば、周辺状態ファインダ326;
図3)により決定されるような、近
くの個人の位置に基づいてもよい。例えば、周辺状態ファインダは、ディスプレイの視認
を防ぐためにこれらの個人の視線をブロックすることが目的であるので、マシンビジョン
顔認識技術を使用して近くの個人の数を決定してもよい。ユーザデバイスのディスプレイ
がフレキシブルまたは折り畳み可能である場合、UI操作エンジンは、現在の形状または
折り畳み角度に基づいて最適グリップ位置をさらに決定してもよい。したがって、UI操
作エンジンは、周辺環境及び/又は情報秘密度に関するデータを使用してもよく、ディス
プレイのプライバシー要件を決定し、かつ、そこに示される機密情報を不明瞭にするため
の最適グリップ位置を特定する。
【0158】
いくつかの実施形態では、最適グリップ位置は、ユーザの物理的な寸法及び能力(集合
的に「手の特性」と呼ばれる)によりさらに通知される。手の特性の例は、手、指、及び
手のひらのサイズ(例えば、幅及び長さの観点から測定される)及び柔軟性を含む。これ
らの手の特性は、ユーザにより手動で入力されてもよく、又はこれらの手の特性は、モバ
イルデバイスとの過去の相互作用に基づいてアルゴリズム的に決定されてもよい。あるい
は、これらの手の特性は、人口統計学の平均値に基づいて所定のユーザについて推定され
てもよい。この推定値は、アルゴリズムにより直接使用されてもよく、又はこの平均は、
上述のアプローチを使用してさらに改良されてもよい。
【0159】
上述のように、最適グリップ位置は、ディスプレイの視野が遮られるべき近くの個人の
位置に基づいて決定されてもよい。より具体的には、UI操作エンジンは、(例えば、周
辺データから決定されるような)これらの近くの個人の視線を遮るための最適グリップ位
置を決定してもよく、(例えば、UI秘密度データから決定されるような)ディスプレイ
の機密部分を彼らが見ることを妨げる。一例として、UI操作エンジンは、各々の近くの
個人の視野角を決定してもよく、次に、機密情報を保護するためにどの視経路(viewing
paths)がブロックされる必要があるかを決定してもよい。次に、UI操作エンジンは、
(i)視経路をブロックし、かつ(ii)ユーザの手の特性を考慮して実現可能である、
1以上のグリップパターンを生成してもよい。
【0160】
次に、UI操作エンジンは、最適ディスプレイ構成及び最適グリップ構成に基づいて、
ディスプレイに表示されるUIを生成できる(840)。例えば、UI操作エンジンは、
ユーザデバイスの実際の構成及び近くの個人(複数可)の位置(複数可)に関するデータ
を受信してもよく(842)、次に、少なくとも機密情報が提示されるディスプレイの一
部分を隠すためにユーザが手を置くべき場所を示すUI要素(複数可)を表示させてもよ
い。このように、ディスプレイの性質に応じて、UI操作エンジンは、向き、折り畳み角
度、または形状を示すデータを取得し得る。
図10の例示のUIに示されるように、手が
最適グリップ位置にあることを確実にするために選択した指をどこに置くべきかを示す1
以上のUI要素が示されてもよい。
【0161】
図9は、UI駆動型グリップ操作技術を実装するための一例の方法900を示すフロー
チャートを示す。方法900は、ユーザデバイスにより示される機密情報を近くの個人か
ら保護するために、UI操作エンジン(例えば、エンジン300;
図3)の様々な構成要
素(例えば、構成要素310-370;
図3)により実施され得る。
【0162】
UI操作エンジンは、ユーザデバイスの実際の現在の物理的構成に関する更新を受信す
ると(910)、UIの更新を実行できる。たとえば、UI操作エンジンは、次の新たな
情報のうちの1以上を検出し得る:それは、表示される機密データの新たな表示を検出で
きる(912)、それは、ユーザデバイスの周辺環境におけるプライバシーリスクの新た
なレベルを検出できる(914)、それは、新たなユーザ状態(たとえば、新たなグリッ
プ位置)を検出できる(916)、および/または、それは、新たな実際のデバイス構成
(たとえば、新たな方向、折り畳み角度、または形状)を検出できる(918)。
【0163】
一例として、UI操作エンジンは、ユーザデバイスに組み込まれた1以上のセンサ(「
グリップ位置センサ」と呼ばれる)により生成されたデータ(「グリップデータ」と呼ば
れる)を調べることにより、グリップ位置を継続的に監視し得る。グリップ位置センサの
例は、タッチスクリーン支持部品(例えば、タッチセンシティブ素子および圧力センシテ
ィブ素子)、近接センサ、周辺光センサ、ジャイロスコープ、加速度計などを含む。いく
つかの実施形態では、グリップ位置の感知は、振動(例えば、モータまたは圧電素子によ
り生成される)などの刺激の能動的な生成により支援される。加えて、又は代替的に、例
えば、角膜反射に基づいて手の位置を決定するために、ユーザに面する光学センサ(例え
ば、カメラ)を含む技術が採用され得る。グリップデータは、ユーザデバイスおよびその
ディスプレイに対する手のひらの位置、ならびに、ユーザデバイスおよびそのディスプレ
イに対する親指(複数可)の位置を含む、グリップ位置の様々な特徴を記述してもよい。
したがって、UI操作エンジンは、グリップ位置センサ(複数可)により生成されたグリ
ップデータを取得してもよく、次に、グリップデータを調べて最適グリップ位置を決定し
てもよい。
【0164】
次に、(例えば、
図8に関して)上述したアプローチと一致して、UI操作エンジンは
、新たな最適グリップ位置を決定できる(920)。たとえば、UI操作エンジンは、デ
ィスプレイ用の機密情報の新たな又は更新されたレベルがある場合(912)、および/
または周辺環境におけるプライバシーリスクの新たなレベルがある場合(914)、新た
な最適グリップ位置を決定し得る。一例として、UI操作エンジンが、周辺環境がより混
雑するようになった(それによりプライバシーが低下する)と決定した場合、UI操作エ
ンジンは、機密情報のさらなる不明瞭化をもたらす新たな最適グリップ位置が必要であり
得ると決定し得る。
【0165】
その後、UI操作エンジンは、新たな最適グリップ構成に従ってUIを調整できる(9
30)。
図11に関して以下でさらに検討するように、調整は、ユーザが選択した指(複
数可)をどこに置くべきかを示すUI要素(複数可)の追加を含み得る。1以上の実施態
様において、UI調整は、ユーザがディスプレイを操作する際に(例えば、その向き、折
り畳み角度、または形状を変更することにより)実質的にリアルタイムで実行される。同
様に、UI調整は、ユーザがユーザデバイスに対して手を動かすときに、実質的にリアル
タイムで実行されてもよい。例えば、機密情報の位置は、ディスプレイと相互作用する(
例えば、触れる)ためにユーザが手を動かしたという決定に応答して変更されてもよい。
ステップ910-930は、繰り返し又は再帰的に実行されてもよい。
【0166】
図10Aは、
図3のUI操作エンジンのいくつかの例示の構成要素を使用してグリップ
操作技術を実装するための一例のデータフロー1000である。データフロー1000は
、UI操作システム(例えば、エンジン300)内の様々なブロックの間でデータがどの
ように流れることができるかの一例を示す。データフロー1000は、
図4Aのデータフ
ロー400に実質的に類似している。しかしながら、ここでは、ユーザの手の特性に関す
るデータも、最適ディスプレイ構成ファインダ330により取得される。上述したように
、これらのデータは、どのグリップ位置がユーザにより実現可能に達成され得るかを決定
するために使用され得る。
【0167】
一方、
図10Bは、
図3のUI操作エンジンのいくつかの例示の構成要素を使用してグ
リップ操作技術を実装するための別の例のデータフロー1002である。上述したように
、グリップ位置センサ(複数可)910は、手の位置が推測され得るグリップデータを生
成する役割を担ってよい。グリップ位置センサの例は、タッチスクリーン支持部品(例え
ば、タッチセンシティブ素子および圧力センシティブ素子)、近接センサ、周辺光センサ
、ジャイロスコープ、加速度計などを含む。加えて、又は代替的に、例えば、角膜反射に
基づいて手の位置を決定するために、ユーザに面する光学センサ(例えば、カメラ)を含
む技術が採用され得る。グリップデータを使用して、グリップ位置ファインダ920は、
ユーザの実際のグリップ位置を決定できる。別の言い方をすれば、グリップ位置ファイン
ダ920は、グリップ位置センサ(複数可)910により生成されたグリップデータの分
析に基づいて、手の実際の位置を確定でき得る。実際のグリップ位置に関する情報は、補
助UI要素生成部370に提供されてもよく、これは、最適ディスプレイ構成ファインダ
330により決定される最適ディスプレイ構成と、グリップ位置ファインダ920により
決定される実際のグリップ位置とに基づいて、グリップ操作技術を実施するためにUI要
素(複数可)を生成するように構成され得る。
【0168】
図11A-Dは、グリップ操作技術の一例の実装を示す。初めに、ユーザデバイス11
00上で実行されるUI操作エンジン(例えば、エンジン300;
図3)は、
図8-9に
関して上述したように、近くの個人1102a-cの位置を確立できる。このようなアプ
ローチは、これらの個人がユーザデバイス1100のディスプレイを観察できないように
するためにブロックされなければならない視覚経路をUI操作が特定できるようにする。
より具体的には、UI操作エンジンは、
図11Bに示されるように、プライバシーを確保
するためにどの方向(複数可)がブロックされなければならないかを計算できる。
【0169】
次に、UI操作エンジンは、ディスプレイ上に提示するための適切なUI要素(複数可
)を特定できる。例えば、UI操作エンジンは、計算された方向(複数可)に基づいて、
視覚ガイダンス指標がディスプレイ上のどこに示されるべきかを決定し得る。
図11Cで
は、例えば、UI操作エンジンは、ディスプレイの右上隅に視覚ガイダンス指標1104
の提示を引き起こしている。いくつかの実施形態では、視覚ガイダンス指標1104は、
ディスプレイ上に示される複数の視覚ガイダンス指標のうちの1つである。例えば、UI
操作エンジンは、混雑した環境では複数の視覚ガイダンス指標が必要であると判断し得る
。複数の視覚ガイダンス指標は、同じ手または異なる手における指を選択することに対応
してもよい。
【0170】
視覚ガイダンス指標1104は、視覚ガイダンス指標上に選択された指を配置するため
の指示を伴ってもよい。ユーザが選択された指1106を視覚ガイダンス指標1104上
に置くと、近くの個人1102a-cの視野は妨げられるであろう(それにより、機密情
報が非公開のままであることを確実にする)。いくつかの実施形態では、視覚ガイダンス
指標1104は、選択された指1106により実質的に覆われるように設計される。ここ
では、例えば、選択された指1106は、ディスプレイの一部が見える一方、視覚ガイダ
ンス指標1104を完全に覆っている。
【0171】
多くのユーザデバイスは、マルチタッチ機能(または単に「マルチタッチ」)を許可す
るように設計されている。マルチタッチは、タッチセンシティブディスプレイが、同時に
ディスプレイに接触する複数の点の存在を認識することを可能にする。したがって、ユー
ザデバイス1100は、ある指がある領域に保持される一方で別の指が別の領域に触れる
とき、複数の接触点を検出でき得る。これを考慮するために、タッチセンシティブディス
プレイの一部は、いくつかの実施形態においてマルチタッチターゲットエリアの外側とし
て定義されてもよい。例えば、ユーザデバイス1100は、タッチセンシティブディスプ
レイの固定領域(例えば、視覚ガイダンス指標1104及びその周辺)内で発生するタッ
チイベントを検出しないように指示されてもよく、又は、ユーザデバイス1100は、マ
ルチタッチ動作の決定のためにそのようなタッチイベントを使用しないように指示されて
もよい。したがって、タッチセンシティブディスプレイは、タッチイベントがマルチタッ
チの目的のために認識される少なくとも1つの部分と、タッチイベントがマルチタッチの
目的のために認識されない少なくとも1つの部分とを有してよく、視覚ガイダンス指標(
または複数の視覚ガイダンス指標)は、タッチイベントがマルチタッチの目的のために認
識されないそれらの部分(複数可)に配置されてもよい。
【0172】
視覚ガイダンス指標1104はまた、選択された指1106をタッチセンシティブディ
スプレイの境界の外に完全に配置するための指示を代表し得ることに留意されたい。一例
として、
図11Cに示される視覚ガイダンス指標1104は、選択された指1106がユ
ーザデバイス1100の上部又は側面に沿って配置されるべきことを示す矢印として表現
され得る。
【0173】
高いレベルでは、UI操作エンジンにより生成されたUI要素(複数可)は、一般に、
2つの目的のうちの1つを果たす。第1に、ユーザは、所望の機能を起動するために必要
な最適グリップ位置をとるために、これらのUI要素(複数可)と相互作用する必要があ
り得る。第2に、ユーザは、所望の機能を実行するために、これらのUI要素(複数可)
と相互作用する必要があり得る。所望の機能の例は、支払いの確認、パスワードの入力、
及び金融又は個人情報の閲覧を含む。したがって、最適グリップ位置がとられるまで、ユ
ーザは所望の機能を実行できないかもしれない。
【0174】
いくつかの実施形態では、UI要素(複数可)は、所定の機能に対して必要とされる既
存の要素を表す。例えば、UI操作エンジンは、UI要素として「パスワードを表示」と
ラベル付けされた既存のグラフィックを使用してもよいが、その特性(例えば、位置およ
びサイズ)は、上述した要件を満たすように調整されてもよい。他の実施形態では、UI
要素(複数可)は、上述した要件を満たす新たな要素を表す。例えば、UI操作エンジン
は、選択された指(複数可)がどこに置かれるべきかを示す指紋(複数可)を、所定の機
能が完了され得るUIに重ねさせてもよい。
【0175】
UI操作エンジンにより作成された各UI要素は、その外観、機能、および位置を決定
するプロパティを有する。このようなプロパティの例は、寸法、色、アニメーション、お
よび位置を含む。同様に、これらのプロパティは、対応するUI要素の起動を引き起こす
ために必要な動作を、もしあれば、指定し得る(例えば、プレスアンドホールド、スワイ
プ、繰り返しのタップ)。いくつかの実施形態では、これらのプロパティは、UI要素(
複数可)が作成/選択される基礎となるUIの基本的な特徴により影響される。例えば、
UI要素(複数可)の色は、基礎となるUIのカラースキームに適合するように変更され
得る。
【0176】
いくつかの実施形態では、グリップ操作技術の態様は、ユーザデバイス1100のユー
ザにより制御される。例えば、ユーザは、(例えば、位置を示すためにディスプレイのエ
ッジをタップすることにより)近くの個人1102a-cがどこに位置するかを指定する
ように促され得る。別の例として、ユーザは、視覚ガイダンス指標(例えば、視覚ガイダ
ンス指標1104)の位置、数、または配置に影響を与えることが可能であってもよい。
例えば、ユーザは、最初、視覚ガイダンス指標1104上に選択された指を置くように促
され得るが、ユーザは、ある動作(例えば、少なくとも2回タップし、次にドラッグする
)を行うことにより、視覚ガイダンス指標1104の位置を変更できてもよい。上述した
ように、ユーザの手の特性は、ユーザデバイス1100に示される視覚ガイダンス指標の
適切な位置を決定するために使用されてもよい。いくつかの実施形態では、ユーザは、視
覚ガイダンス指標の異なる配置がユーザデバイス1100のディスプレイ上に示されるキ
ャリブレーションプロセスを完了するように促されてもよい。これらの配置は、様々な場
所に配置される異なる数の視覚ガイダンス指標を含んでもよい。ユーザが、各配置に含ま
れる1以上の視覚ガイダンス上に選択された指を配置できる速度および容易さに基づき、
UI操作エンジンは、ユーザにとって最も適切な配置を学習してもよい。
[コンピュータシステム及びデバイスアーキテクチャ]
【0177】
図12は、ここに記載される少なくともいくつかの動作が実装され得るコンピューティ
ングシステム1200の一例を示すブロック図である。たとえば、UI操作エンジン(た
とえば、
図3のUI操作エンジン300)を含むコンピューティングデバイス(たとえば
、
図1Aおよび2Aのユーザデバイス130、230)を実装するために利用されるコン
ピューティングシステム1200のいくつかの構成要素である。
【0178】
コンピューティングシステム1200は、バス1216に通信可能に接続された、1以
上の中央処理装置(「プロセッサ」とも呼ばれる)1202、メインメモリ1206、不
揮発性メモリ1210、ネットワークアダプタ1212(例えば、ネットワークインタフ
ェース)、映像ディスプレイ1218、入力/出力装置1220、制御装置1222(例
えば、キーボード及びポインティングデバイス)、記録媒体1226を含む駆動ユニット
1224、及び信号生成装置1230を含み得る。バス1216は、適切なブリッジ、ア
ダプタ、またはコントローラにより接続される1以上の物理バスおよび/またはポイント
ツーポイント接続を表す抽象的なものとして図示されている。したがって、バス1216
は、システムバス、PCI(Peripheral Component Interconnect)バスまたはPCI-
Expressバス、HyperTransportまたはISA(industry standard
architecture)バス、SCSI(Small Computer System Interface)バス、USB(Uni
versal serial Bus)、IIC(I2C)バス、またはIEEE(Institute of Electrical
and Electronics Engineers)標準1394バス(「Firewire(登録商標)」と
も呼ばれる)などを含み得る。
【0179】
コンピューティングシステム1200は、パーソナルコンピュータ、タブレットコンピ
ュータ、携帯電話、ゲーム機、音楽プレーヤー、ウェアラブル電子デバイス(例えば、時
計またはフィットネストラッカー)、ネットワーク接続(「スマート」)デバイス(例え
ば、テレビまたはホームアシスタント装置)、仮想/拡張現実システム(例えば、ヘッド
マウントディスプレイ)、または、コンピューティングシステム1200により行われる
アクション(複数可)を指定する命令のセットを(連続に又は別の方法で)実行できる別
の電子デバイスのものと同様のコンピュータプロセッサ・アーキテクチャを共有してもよ
い。
【0180】
メインメモリ1206、不揮発性メモリ1210、および記録媒体1226(「機械可
読媒体」とも呼ばれる)は単一の媒体であるように示されているが、用語「機械可読媒体
」および「記録媒体」は、1組以上の命令1228を格納する単一の媒体または複数の媒
体(例えば、集中/分散型データベースおよび/または関連キャッシュおよびサーバ)を
含むように解釈されるべきである。また、用語「機械可読媒体」及び「記録媒体」は、コ
ンピューティングシステム1200による実行のための命令セットを記憶し、符号化し、
又は運ぶことができる任意の媒体を含むと解釈されるものとする。
【0181】
一般に、本開示の実施形態を実装するために実行されるルーチンは、オペレーティング
システムまたは特定のアプリケーション、構成要素、プログラム、オブジェクト、モジュ
ール、または命令のシーケンス(集合的に「コンピュータプログラム」と呼ばれる)の一
部として実装され得る。コンピュータプログラムは、典型的には、コンピューティングデ
バイス内の様々なメモリ及び記憶装置に様々なタイミングで設定された1以上の命令(例
えば、命令1204、1208、1228)を備える。1以上のプロセッサ1202によ
り読み取られ実行されると、命令(複数可)は、コンピューティングシステム1200に
、本開示の様々な態様に関わる要素を実行するための動作を実行させる。
【0182】
さらに、実施形態は、完全に機能するコンピューティングデバイスの文脈で説明されて
きたが、当業者は、様々な実施形態が、様々な形態のプログラム製品として配布可能であ
ることを理解するであろう。本開示は、実際に配布を実現するために使用される機械また
はコンピュータ読み取り可能な媒体の特定のタイプに関係なく適用される。
【0183】
機械可読記録媒体、機械可読媒体、またはコンピュータ可読媒体のさらなる例は、揮発
性および不揮発性メモリデバイス1210、フロッピー(登録商標)ディスクおよび他の
リムーバブルディスク、ハードディスクドライブ、光ディスク(例えば、コンパクトディ
スクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD))など
の記録可能タイプ媒体、ならびに、デジタルおよびアナログ通信リンクなどの伝送タイプ
媒体を含む。
【0184】
ネットワークアダプタ1212は、コンピューティングシステム1200が、コンピュ
ーティングシステム1200と外部エンティティとによりサポートされる任意の通信プロ
トコルを通じて、コンピューティングシステム1200の外部であるエンティティとネッ
トワーク1214内のデータを仲介することを可能にする。ネットワークアダプタ121
2は、ネットワークアダプタカード、無線ネットワークインタフェースカード、ルータ、
アクセスポイント、無線ルータ、スイッチ、マルチレイヤスイッチ、プロトコル変換器、
ゲートウェイ、ブリッジ、ブリッジルータ、ハブ、デジタルメディアレシーバ、および/
またはリピータを含むことができる。
【0185】
ネットワークアダプタ1212は、コンピュータネットワーク内のデータへのアクセス
/プロキシ許可を決定および/または管理し、かつ、異なるマシン及び/又はアプリケー
ション間の様々な信頼レベルを追跡するファイアウォールを含んでもよい。ファイアウォ
ールは、マシンとアプリケーション、マシンとマシン、及び/又はアプリケーションの特
定のセット間のアクセス権の所定のセットを強制できる(例えば、これらのエンティティ
間のトラフィック及びリソース共有の流れを規制する)ハードウェア及び/又はソフトウ
ェアコンポーネントの任意の組み合わせを有する任意の数のモジュールであり得る。ファ
イアウォールは、さらに、個人、マシン、及び/又はアプリケーションによるオブジェク
トのアクセス権及び操作権、並びに許可権が立つ状況を含むパーミッションを詳述するア
クセス制御リストへのアクセスを管理し、及び/又は有してもよい。
【0186】
ここに紹介する技術は、プログラム可能な回路(例えば、1以上のマイクロプロセッサ
)、ソフトウェアおよび/またはファームウェア、特別な目的のハードワイヤード(すな
わち、プログラム不可能な)回路、またはそのような形態の組み合わせにより実装され得
る。特別な目的の回路は、1以上の特定用途向け集積回路(ASIC)、プログラマブル
論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)等の形態
であり得る。
[備考]
【0187】
請求された主題の様々な実施形態の前述の説明は、例示及び説明の目的で提供されたも
のである。それは、網羅的であること、または請求された主題を開示された正確な形態に
限定することを意図していない。多くの修正および変形が当業者には明らかであろう。実
施形態は、本発明の原理及びその実用的用途を最もよく説明するために選択及び説明され
、それにより、関連する技術の当業者は、請求された主題、様々な実施形態、及び企図さ
れた特定の用途に適する様々な修正を理解できるようになる。
【0188】
詳細な説明は、特定の実施形態および企図される最良の態様を説明しているが、詳細な
説明がいかに詳細に見えても、本技術は多くの方法で実施できる。実施形態は、本明細書
に包含されながら、その実装の詳細においてかなり異なる場合がある。様々な実施形態の
特定の特徴または側面を説明するときに使用される特定の用語は、その用語が関連付けら
れる技術の任意の特定の特性、特徴、または側面に限定されるように、本明細書で再定義
されることを意味するものと解釈されるべきではない。一般に、以下の特許請求の範囲で
使用される用語は、それらの用語が本明細書で明示的に定義されない限り、本明細書に開
示される特定の実施形態に技術を限定するように解釈されるべきではない。したがって、
本技術の実際の範囲は、開示された実施形態だけでなく、実施形態を実施または実装する
すべての等価な方法をも包含する。
【0189】
本明細書で使用される言語は、主として、読みやすさと説明のために選択されたもので
ある。それは、主題を画定または囲い込むために選択されたものではない。したがって、
本技術の範囲は、この詳細な説明によってではなく、むしろ、これに基づく出願で発行さ
れる任意の請求項により限定されることが意図される。したがって、様々な実施形態の開
示は、以下の特許請求の範囲に規定される技術の範囲を例示するものであるが、限定する
ものではないことを意図している。
【産業上の利用可能性】
【0190】
本開示は、データセキュリティに適用できる。