特許 7261569 層化された視覚的モンタージュを通じてユーザに周囲情報を提供するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-12

(45)【発行日】2023-04-20

(54)【発明の名称】層化された視覚的モンタージュを通じてユーザに周囲情報を提供するためのシステムおよび方法

(51)【国際特許分類】

   G06T 11/80 20060101AFI20230413BHJP

   G09G 5/00 20060101ALI20230413BHJP

   G09G 5/37 20060101ALI20230413BHJP

   G09G 5/377 20060101ALI20230413BHJP

【ＦＩ】

G06T11/80 D

G09G5/00 550B

G09G5/37 600

G09G5/377 110

【請求項の数】 8

(21)【出願番号】P 2018223019

(22)【出願日】2018-11-29

(65)【公開番号】P2019114245

(43)【公開日】2019-07-11

【審査請求日】2021-11-24

(31)【優先権主張番号】15/853,434

(32)【優先日】2017-12-22

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】グレゴリー・マイケル・ヤングブラッド

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２００１－３１８７５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０１３２７６７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０ － １１／８０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

視覚的モンタージュを生成するためのコンピュータ実装方法であって、
前記視覚的モンタージュ内の複数の層を判定することであって、それぞれの層が、現在の視聴時間に対する将来の時間範囲と、グラフィカルオブジェクトを割り当てるための複数の所定のスロットとに関連付けられる、判定することと、
グラフィカルオブジェクトのセットと、前記グラフィカルオブジェクトに関連付けられた制約とを表すデータを取得することと、
ユーザを取り囲むデジタルおよび現実世界の両方を含む周囲環境から、イベントおよびそれぞれの時間に関連付けられた情報を取得することと、
前記それぞれの時間が特定の層の時間範囲内にあると判定することと、
前記視覚的モンタージュを生成するために、前記グラフィカルオブジェクトに関連付けられた制約に従って、少なくとも１つのグラフィカルオブジェクトを前記特定の層に割り当てることと、
前記視覚的モンタージュを、前記イベントを表す前記グラフィカルオブジェクトと共に表示画面上に表示することと、を含み、
前記複数の層が、少なくともフォアグラウンド層およびバックグラウンド層を含み、前記フォアグラウンド層が、最も新しい時間範囲に関連付けられ、前記バックグラウンド層が、最も古い時間範囲に関連付けられる、方法。

【請求項2】

１つ以上のグラフィカルオブジェクトとのユーザ対話に対する応答を指定する規則を決定することと、
選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記選択されたグラフィカルオブジェクトに関連付けられた規則を実行して、前記ユーザに応答を提供することと、をさらに含む、請求項１に記載の方法。

【請求項3】

選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記グラフィカルオブジェクトによって表されるデバイスを制御することをさらに含む、請求項１に記載の方法。

【請求項4】

特定のグラフィカルオブジェクトに関連付けられた時間の変化を判定することに応答して、前記グラフィカルオブジェクトを前記視覚的モンタージュの別の層に移動させることをさらに含む、請求項１に記載の方法。

【請求項5】

視覚的モンタージュを生成するためのコンピューティングシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、方法を実行させる命令を記憶した前記１つ以上のプロセッサに結合された非一時的コンピュータ可読媒体と、を備え、前記方法が、
前記視覚的モンタージュ内の複数の層を判定することであって、それぞれの層が、現在の視聴時間に対する将来の時間範囲と、グラフィカルオブジェクトを割り当てるための複数の所定のスロットとに関連付けられる、判定することと、
グラフィカルオブジェクトのセットと、前記グラフィカルオブジェクトに関連付けられた制約とを表すデータを取得することと、
ユーザを取り囲むデジタルおよび現実世界の両方を含む周囲環境から、イベントおよびそれぞれの時間に関連付けられた情報を取得することと、
前記それぞれの時間が特定の層の時間範囲内にあると判定することと、
前記視覚的モンタージュを生成するために、前記グラフィカルオブジェクトに関連付けられた制約に従って、少なくとも１つのグラフィカルオブジェクトを前記特定の層に割り当てることと、
前記視覚的モンタージュを、前記イベントを表す前記グラフィカルオブジェクトと共に表示画面上に表示することと、を含み、
前記複数の層が、少なくともフォアグラウンド層およびバックグラウンド層を含み、前記フォアグラウンド層が、最も新しい時間範囲に関連付けられ、前記バックグラウンド層が、最も古い時間範囲に関連付けられる、システム。

【請求項6】

前記方法が、
１つ以上のグラフィカルオブジェクトとのユーザ対話に対する応答を指定する規則を決定することと、
選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記選択されたグラフィカルオブジェクトに関連付けられた規則を実行して、前記ユーザに応答を提供することと、をさらに含む、請求項５に記載のシステム。

【請求項7】

前記方法が、
選択されたグラフィカルオブジェクトと対話するユーザ入力を受信することに応答して、前記グラフィカルオブジェクトによって表されるデバイスを制御することをさらに含む、請求項５に記載のシステム。

【請求項8】

コンピュータによって実行されるとき、前記コンピュータに、視覚的モンタージュを生成するための方法を実行させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
前記視覚的モンタージュ内の複数の層を判定することであって、それぞれの層が、現在の視聴時間に対する将来の時間範囲と、グラフィカルオブジェクトを割り当てるための複数の所定のスロットとに関連付けられる、判定することと、
グラフィカルオブジェクトのセットと、前記グラフィカルオブジェクトに関連付けられた制約とを表すデータを取得することと、
ユーザを取り囲むデジタルおよび現実世界の両方を含む周囲環境から、イベントおよびそれぞれの時間に関連付けられた情報を取得することと、
前記それぞれの時間が特定の層の時間範囲内にあると判定することと、
前記視覚的モンタージュを生成するために、前記グラフィカルオブジェクトに関連付けられた制約に従って、少なくとも１つのグラフィカルオブジェクトを前記特定の層に割り当てることと、
前記視覚的モンタージュを、前記イベントを表す前記グラフィカルオブジェクトと共に表示画面上に表示することと、を含み、
前記複数の層が、少なくともフォアグラウンド層およびバックグラウンド層を含み、前記フォアグラウンド層が、最も新しい時間範囲に関連付けられ、前記バックグラウンド層が、最も古い時間範囲に関連付けられる、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

モバイルデバイス、スマートウォッチ、スマートテレビ、およびデスクトップコンピューティングデバイスを含むコンピューティングデバイスは、ユーザが重要な情報を迅速に理解することを可能にするインターフェースによって、ユーザに情報を提示し得る。例えば、スマートウォッチは、グランスインターフェースを用いてユーザに情報を提示し得、それにより、ユーザは、時計での短いグランスで重要な情報を迅速に理解し得る。モバイルデバイスは、ユーザがより長い時間対話する可能性のあるインターフェースを利用し得るが、グランスインターフェースおよびモバイルインターフェースの両方は、典型的には、ユーザに関与して情報を伝えるために、短いセッション時間を有する。ユーザは、典型的に、情報（例えば、時間、状態）をナビゲートした後、単一の文脈で５秒以下のグランスインターフェースを使用する。モバイルインターフェースは、典型的に、単一のセッションでは９０秒未満のモバイルセッション時間を有し、多くの場合、複数の文脈（例えば、情報の確認、読み込み、コメントなど）を伴う。

【0002】

既存のインターフェースの１つの問題は、多くのアプリケーションが、活動報告、感知／追跡、社会的、およびユーザに迅速かつ効率的で魅力的な方法で伝達される必要がある他のイベント等のいくつかの側面を含むことである。ユーザは、ダイヤル機器および番号を有する複数のダッシュボードを表示することを望まない場合がある。また、ユーザは、常に通知を受信すること、またはユーザのアイコンのすべてをユーザの注意を引くことを争うようなバッジで装飾させることを望まない場合がある。これらは、重大な視覚的混乱を招き、ユーザに迅速かつ効率的かつひきつけるよう方法で通知しない。

【図面の簡単な説明】

【0003】

【図1】一実施形態による、層化された視覚的モンタージュを介して周囲情報を提供するための例示的なシステムを示すブロック図を提示する。

【図2】一実施形態による、層化された視覚的モンタージュを生成するための例示的な方法を示すフローチャートを提示する。

【図3】一実施形態による、例示的な層化された視覚的モンタージュを示すブロック図である。

【図4】一実施形態による、視覚的モンタージュのための例示的な層を示すブロック図を示す。

【図5】一実施形態による会話グループオーナメントを用いた例示的な視覚的モンタージュを示すブロック図を提示する。

【図6】一実施形態による例示的な気象層（この例では小雨）を示すブロック図を提示する。

【図7】一実施形態によるコーチの例示的な描写を示すブロック図を提示する。

【図8】一実施形態による視覚的モンタージュの層の分解図を示すブロック図を提示する。

【図9】一実施形態による、複数の層を合成することによって生成された視覚的モンタージュを示すブロック図を提示する。

【図10】一実施形態による、層化された視覚的モンタージュを生成して表示する例示的な装置を示すブロック図を提示する。

【図11】一実施形態による、層化された視覚的モンタージュを生成して表示する、例示的なコンピュータおよび通信システムを示す。

【0004】

以下の説明は、当業者に、実施形態を作製および使用することを可能にするために提示され、特定の用途およびその要件の観点から提供されている。開示された実施形態に対する様々な修正形態が当業者にはすぐに明らかになり、本明細書に定義されている一般原則が、本開示の趣旨および範囲を逸脱しない限り、他の実施形態および用途に適用されてもよい。したがって、本発明は、示されている実施形態に限定されるものでなく、本明細書に開示されている原則および特徴と合致している最も広い範囲が与えられるべきである。

【0005】

概要
本明細書で説明される実施形態は、ユーザ（例えば、視覚的モンタージュの視聴者）に関連付けられた周囲環境情報に基づいて、複数の層を有する視覚的モンタージュを生成することによって、グランスインターフェースを改善することの問題を解決する。複数の層はそれぞれ、状態、イベント、人物、活動、および／または提示される周囲環境からの任意の他の情報または概念を表すそれぞれの時間範囲およびオーナメントのセットと関連付けられてもよい。周囲環境は、例えば、ユーザの地理的位置および物理的環境、地元の天気、ユーザの社会活動データ、およびユーザのモバイルアプリケーションからの情報を含む、ユーザを取り囲むデジタルおよび現実世界の両方を含む。

【0006】

視覚化システムは、オーナメントを層に配置して、層に対応する時間範囲とオーナメントによって表される情報との間の関連性を示すことができる。各層は、オーナメントを置くための複数のオーナメントスロット、ユーザがモンタージュを見ている時間に対して決定される時間範囲、バックグラウンド画像、および／または重要度に関連付けられてもよい。これらの層は、層および／または任意の包含された副層のために定義された描画順序と関連付けられてもよい。

【0007】

オーナメントは、周囲環境からの状態、実世界オブジェクト、人物、活動、および／またはイベントを表すために、視覚的モンタージュに描写された環境上に異なる組み合わせで合成することができるグラフィカルオブジェクトである。オーナメントは、グラフィカルオブジェクトと称されることもある。オーナメントの一例は、会話をしている３人の人物の絵である。システムは、層および複数のオーナメントを使用して、視聴者に関連する情報を迅速に伝達することができる視覚化を生成することができる。層およびオーナメントによって、システムは、比較的小さなセットの交換可能なグラフィカル要素で大量の情報を伝えることができる。

【0008】

システムは、オーナメントを層および／または副層のオーナメントスロットに割り当てることによって、視覚的モンタージュを生成し得る。システムは、視覚化プロセス中にオーナメントをオーナメントスロットに置くための規則および関連付けられた閾値を定義することができる。システムはオーナメントのセットからオーナメントを選び、オーナメント用スロット内に置き得る。システムは、視聴者に親しみがあり、意味のある毎日のオブジェクトを表すオーナメントを表示し得る。例えば、システムは、メッセージを書いた看板を表示し、ユーザにメッセージを通知し得る。システムはまた、ユーザのソーシャルグループに関連付けられた人々が会話に参加していることを示すために、会話を有する人々のグループを表すオーナメントを表示してもよい。

【0009】

層内のオーナメントの配置は、オーナメントに関連付けられたイベント（または、会話または他のアクティビティもしくは状態）が層に関連付けられた時間範囲内で発生することを意味する。時間範囲は、現在の視聴時間に対する過去または将来の時間範囲であってもよい。例えば、システムは、「１２時間以内にパーティが立ち上がる」という看板を表すオーナメントをバックグラウンド層に配置することができる。８時間後、システムは、フォアグラウンド層に「４時間以内にパーティが行われます」という言葉によるサインを表すオーナメントを配置し得る。パーティの８時間後に、システムは、「８時間前にパーティが行われました」という言葉によるサインを表すオーナメントをミドルグラウンド層に配置し得る。

【0010】

いくつかの実施形態では、層は、フォアグラウンド層、ミドルグラウンド層、バックグラウンド層、およびスカイ層を含むことができる。システムは、様々な層のバックグラウンド画像を生成、記憶、および／または使用し得る。フォアグラウンド層は、最近の時間範囲を表し、バックグラウンド層は、過去または将来の最も遠い時間を表すことができる。すなわち、視覚的モンタージュの底部（例えば、フォアグラウンド層）からの層の距離は、過去または将来の時間に対応する。例えば、フォアグラウンド層は現在の時間に関連付けられてもよく、ミドルグラウンド層は、約１週間前または１週間後に発生する時間範囲に関連付けられてもよい。バックグラウンド層は、約２週間前または２週間後に発生する時間範囲に関連付けられてもよい。システムは、オーナメントをバックグラウンド層からフォアグラウンド層に移動させて、オーナメントに関連付けられた状態、活動および／または他の情報が時間内に出現していることを示すことができる。同様に、オーナメントをフォアグラウンド層からバックグラウンド層に移動することは、オーナメントに関連付けられた状態、活動、および／または他の情報が過去に消えつつあることを示す。

【0011】

各層はまた、ある程度の重要性と関連付けられ得る。フォアグラウンド層に表示されるオーナメントは、バックグラウンド層よりもユーザにとってより重要であり得る。例えば、システムは、フォアグラウンド層にコーチのオーナメントを表示し、バックグラウンド層に話している人々とのグループディスカッションを表示し得る。コーチングセッションは、グループディスカッションよりもユーザにとってより重要であり得る。

【0012】

システムは、層および／または任意の副層のために定義された描画順序を有し得る。システムは、副層を自由に配置し得るか、または副層は、層を横切って移動する機能に従い得る。例えば、システムは、スカイ層を横切って移動する太陽を有する副層を表示し得る。

【0013】

システムはまた、周囲環境からユーザに対するイベント、人、または関心のある他のトピックに関連するメッセージを有するバナーの表示等、オーナメントに注釈を付けることもできる。注釈には、時間の経過と共に複数の画像を通して提示される物語（ストーリー）も含まれ得る。例えば、システムは、ミドルグラウンド層に表示された２人の人物を表すオーナメントを、フォアグラウンド層における８人を表すオーナメントに置き換え得る。これは、会話に参加している人の数が時間と共に増加していることを、視聴者に伝える。

【0014】

システムは、視覚的モンタージュ上に表示された要素と対話するためのユーザ入力を受信し得る。例えば、ユーザは、ソーシャルメディアフィードを見るためにオーナメントをタップし得るか、またはユーザは、室温を調整するためにサーモスタットを表すオーナメントに触れ得る。

【0015】

周囲環境から視覚的モンタージュへのマッピング
周囲環境に基づいて視覚的モンタージュを生成する場合、システムは、時間対空間マッピング、空間対空間マッピング、および／または論理対機能対空間マッピングを実行し得る。システムは、周囲環境から異なる情報をクラスタリングし、クラスタ化された情報を視覚的モンタージュ内の空間的関係にマッピングし得る。システムは、情報のクラスタからグラフィカルオブジェクトへのマッピングのための閾値を定義することができる。システムは、ユーザのクラスタリング構成情報を自動的に決定し、および／または情報のクラスタリングのための選好を指定するユーザ入力を受信し得る。

【0016】

システムは、周囲環境から視覚的モンタージュへの時間対空間マッピングを実行し得る。例えば、システムは、異なる時間に発生する２つの会議を視覚的モンタージュの異なる層にマッピングし得る。

【0017】

システムは、周囲環境（例えば、実際の環境）から視覚的モンタージュまでの空間対空間マッピングを実行することができる。例えば、視覚的モンタージュは、ビジネスにおける会議室の描写を含み、モンタージュの中でそのビジネスに関連付けられた他の様々な場所への遷移を含み得る。オフィスワーカーは、会議室で発生したすべての会議を視覚的モンタージュ上で見ることができ、いずれの部屋で最近終了した会議が行われたかを含む。

【0018】

システムはまた、周囲環境から視覚的モンタージュへの論理対機能対空間マッピングを実行してもよい。システムおよび／またはユーザは、論理機能およびシステムが情報をどのようにクラスタ化するかを定義することができる。論理機能のパラメータおよび／または論理機能に関連付けられた規則を指定することができる。例えば、ユーザは、共通空間対個人空間を視覚的モンタージュにマッピングするための選好を指定することができる。例えば、システムは、視覚的モンタージュでの表示のために、企業の異なる技術グループを共にグループ化し得る。システムは、異なる技術グループを視覚的モンタージュの異なる層に表示することができる。

【0019】

システムは、各個人の選好に応じて、環境から視覚的モンタージュへのマッピングを個人化し得る。システムは、ユーザの身元を判定し、ユーザに特定的な視覚的モンタージュを生成し得る。システムは、機械学習またはユーザ構成入力を通じてユーザの選好を学習し得る。

【0020】

視覚化
迅速な理解を容易にするために、視覚化は、一次メッセージを一目で把握する感覚を提供し、時間の許す限り二次メッセージおよび他のメッセージのさらなるイントロスペクションを与えるべきである。例えば、社会的活動が最も重要であるように、表現されたアプリケーションで行われる多くの社会活動がある場合、視覚化はその側面を非常に明確にすべきである。ユーザが視覚化を通じて、多くの社会活動が存在すると知覚する場合、ユーザはその社会活動に従事したいと望むことがある。このように、本システムは、所望のユーザ対話をもたらす情報を提供する。

【0021】

任意の所与のアプリケーションにおいて、システムがユーザの注意を集中させ得る、一連の主要な活動のセットおよびこれらの活動の順序がある。この視点は、ユーザの選好によってバイアスがかけられ、システムによって考慮され得る。例えば、ユーザがより内向的であり、社会的活動に従事していない場合、上記のシナリオでは、システムは異なる主メッセージに視覚化を集中させ得る。この一次メッセージは、ユーザにとってより有用で魅力的なものであるべきである。ユーザは、迅速かつ一目で視覚化することで、一次メッセージを理解できるはずである。ユーザは、さらに重要度の低い二次メッセージおよび他のメッセージを見るようさらに検査し得る。

【0022】

効率的な視覚化は、記号と、記号が意味する要素との間の記号論がユーザに明確であることを確実にすることによって、記号論における最善の実施を利用し、それによって、ユーザは、著しい解釈の負担なく、それらが表明する意味を迅速に把握することができるようにされる。実世界の看板、シンボル、状況を使用すること等、このことを達成するための多くの方法がある。例えば、停止標識の形状および色は国際的に整合性があり、容易に認識可能である。別の例は、システムが特定のアプリケーションから学習された記号を使用し、学習された記号を視覚化に組み込み得る。また、システムは、より複雑なインターフェース上でユーザを訓練し得る。また、いくつかのシステムは、ユーザにとって解釈を困難にするおそれのある潜在的な問題に対応するように適合され得る。例えば、システムは、表示色を、赤－緑色の色盲であるユーザが見ることができるように変更し得る。

【0023】

視覚化は、審美的（知覚的）、物語的（注釈的）、および／または対話的（協調的）を含む３つの方法でユーザの興味を引くことができる。高度に興味を引く視覚化は、物語を伝え、あるレベルの対話を提供はずである知覚的に満足のいく提示を提供する。

【0024】

これらの因子はすべてターゲット集団によって変動する可能性があり、集団内でこれらの因子を最大限にするための試験を行うべきである。しかし、そのような探索を導くためのフレームワークが必要である。特定の視覚化の中には、データ提示の形式に依存して発生し得るいくつかの副次的な問題が存在する場合がある。これらの副次的な問題は、時間の経過を伝えること、重要性の順序の感覚を伝えること、および／またはより大きなグループの文脈を持つユーザ特有の要素に注意を引くこと（が、問題を生じさせている複数の主要な一次的注意とみなすことができること）を含む。全体として、視覚化がどのように作成されるかの限界を考慮して表現力を維持しながら、制約を定義するという問題もある。手続き的に描画された視覚化の場合、このことは、作成の負担が主に定義された制約内の機械描画に依存するため、重大な問題ではないこともある。ただし、制約を定義するのは難しい場合がある。アーティストが作成したイラストレーションのセットが視覚化の一部である場合、限られた図面で高い表現力を維持することは難しい場合がある。このような問題に対する現在の解決策は、通常は、作成者によって、多くの場合その場限りの方法でケースバイケースで実装されるが、様々なソースからの以前のフォームおよび設計ガイドラインに基づいて案内される。概説された技術は、いくつかの問題に直接対処するためのフレームワークを提供することによって、これらの問題を著しく低減すると同時に、他のものに対する境界を定義して、それらを扱いやすくする。

【0025】

ビジュアライゼーションフレームワーク
本明細書で開示される視覚化手順フレームワーク１）は、階層的フォーカス要素を表し、複数の同じ階層要素をサポートし、２）よく理解された表現の使用をサポートし、３）知覚的、注釈的、および協調的な方法による魅力的な提示を提供し、４）組成の最小セットを通して表現力を最大にする。

【0026】

層化された視覚的モンタージュは、スタックされた層の視覚的制約を定義する手段を提供する。各層は、視覚的モンタージュの全体構成における時間的側面または重要性の側面と関連付けられ得る。

【0027】

各拘束層は、層のグローバルセット内および副層内の関連付けられたバックグラウンドまたはベース画像領域の両方に定義された描画順序を有し得、その層（例えば、副層）内のどこにグラフィカルオブジェクトを配置するかに関するガイダンスおよび制約に関連付けられ得る。各層には、オブジェクトの配置を案内するオーナメントスロット（例えば、オーナメントサイトとも呼ばれる）が関連付けられている。これらのオーナメントスロットは、オブジェクト配置の機会を提供し、そこに配置された特定のオーナメントの制約を定義することができる。これらの制約は、バックグラウンド等の層の他のアーティファクトに関連している可能性がある。システムは、副層を自由に配置し得るか、または副層は、配置のための関数（例えば、太陽が空を通過することができる）に従い得る。いくつかの組成では、他の層の上または前の層は、下層の一部分を閉塞する例示的なオブジェクトを含み得る。この場合、システムは、影響を受けた層に対する制約として、遮蔽境界に注釈を付け得る。さらに、異なる実施形態は、本明細書に記載の層と異なる層を含み得る。

【0028】

層構造および／またはサイズは、深さまたは重要性の錯覚を提供することができる。ユーザにより近接して見えるより大きいオブジェクトは、より容易に目につくため、より顕著であると考えられる傾向があり、これらのオブジェクトは、印象を残す唯一のオブジェクトであり得る。同じ大きさと審美的品質を持つ同じ階層の複数のオブジェクトは、同等の顕著な意味を提供することができる。システムはまた、階層的構造を使用して、ユーザに近づく次回のイベント、または時間の経過と共に離れた層に消え去る過去のイベント等の時間的側面を表現し得る。さらに、独自のグラフィック要素、またはユーザを特に呼び出す（例えば、ユーザの絵を示す、もしくは名前を使用する）グラフィカル要素は、異なるグローバルな文脈または文脈のセットの設定内で、視覚的メッセージに異なる文脈またはパーソナル文脈を提供し得る。

【0029】

フレームワークは、グラフィカルオブジェクトを使用して構図を生成することによって視覚的に提示することができる任意の表現をサポートすることができる。ストーリーテリング形式に限定されるものではないが、時間と共にストーリーまたはストーリーを伝えるグラフィカルオブジェクトは、伝えられた視覚的メッセージにおいてより物語的であることができる。システムは、視覚的モンタージュを見るパーティの文化的または地域的な理解に従って、表示されたグラフィカルオブジェクトを適合させ得る。いくつかのシナリオでは、表示されるグラフィカルオブジェクトの解釈は、文化および地理的領域等の要因に基づいてグループごとに異なり得る。

【0030】

このフレームワークが対話をサポートする媒体に適用されるシナリオでは、システムは、グラフィカルオブジェクトを、適切なタイプのユーザ対話に応答するインタラクティブレセプタと関連付け得る。例えば、ユーザ対話は、タッチ、凝視、匂い、指示音声、ジェスチャ、力等を含み得るが、これらに限定されない。１つ以上の機能は、感知された対話を入力として受信し、感知された対話に応答して、視覚的モンタージュの外部および／または内部の要素（例えば、光スイッチまたは光調光器）を制御し得る。

【0031】

例えば、空間の光レベルを表すグラフィカルオブジェクトに触れると、視覚的モンタージュを収容する実際の環境の周囲光レベルが変化するか、グラフィカルオブジェクトでスピーチを指示すると、グラフィカルオブジェクトの状態が変化し得る。例えば、グラフィカルオブジェクトは、ユーザへの注意の増加の表示を表示することによって反応し得る。

【0032】

サブコンポーネントを層間で様々な変換（サイズ、色、サブコンポジションなど）で再使用可能にするかまたは簡単に操作することを可能にすることにより、システムは、コンポジションの組み合わせ効果を最大限に活用するイヤの層および要素を作成し得る。これにより、著作者の負担を軽減し、モンタージュの表現力を最大にし得る。

【0033】

例示的な視覚化システム
図１は、一実施形態による、層化された視覚的モンタージュを通して環境情報を提供するための例示的なシステム１００を示すブロック図を提示する。ユーザ１０２は、モバイルデバイス１０４を動作させ得る。モバイルデバイス１０４は、内部センサを含み得、通信ネットワーク１１０を介してアクセス可能な外部センサ１０６およびセンサ１０８等の他のセンサにアクセスすることもできる。内部センサおよび／または外部センサは、例えば、周囲雑音デシベルレベル、周囲温度、空気圧、および／または周囲環境の他の特性を検出するセンサであってもよい。センサは、システムが視覚的モンタージュを生成するために使用できるデータを提供する。

【0034】

モバイルデバイス１０４はまた、データソース１１２を含み得るか、またはデータソース１１２に通信可能に接続し得る。データソース１１２は、例えば、視覚化アプリケーション１１４のためのコードを含むデータを記憶し得る。データストア１１２は、どのようにして副層および／または状態間の遷移の規則を組み立てるかを示すデータ１１６を記憶し得る。データストア１１２はまた、ユーザ対話のための規則を記憶し得る。データストア１１２は、ユーザの選好およびユーザ識別情報（例えば、視覚的モンタージュを潜在的に見ることができるパーティの識別情報）に関連付けられたデータを記憶し得る。

【0035】

視覚化アプリケーション１１４は、ネットワーク１１０を介して１つ以上のサーバと通信して、ユーザに関連付けられた情報を取得し得る。例えば、視覚化アプリケーション１１４は、地方および国の気象データを記憶するデータベース１２０を有する国立気象局サーバ１１８と通信し得る。視覚化アプリケーション１１４は、視覚的モンタージュを生成するために気象データを取得し得る。

【0036】

視覚化アプリケーション１１４は、ソーシャルメディアサーバ１２２および関連付けられたデータベース１２４からソーシャルメディア情報を取得し、グループアクティビティサーバ１２６および関連付けられたデータベース１２８からアクティビティ情報をグループ化し得る視覚化アプリケーション１１４は、ソーシャルメディア情報およびグループ活動情報に基づいて視覚的モンタージュを生成し得、また、視覚的モンタージュを生成するためのデータを得るために、図１に描写されていない他のサーバにアクセスし得る。

【0037】

システムは、複数のソースから異なるタイプの情報を取得して表示し得る。取得される情報の種類は、例えば、気象情報、周囲照明情報、ソーシャルネットワーキング情報、およびグループ活動情報を含み得る。システムはまた、会議室のマイクロフォン等のマイクロフォンからのノイズレベル（例えば、デシベルレベル）を測定し、会話または他の活動に関与している人のおよその数を判定し得る。システムはまた、無線周波数チャッタまたは熱的効果等の他のセンサデータを取得して測定し、視覚的モンタージュ上にデータを表し得る。また、ＷｉＦｉホットスポットを使用している人の数を測定し、この情報を表示することで、ユーザは、より高速でより混雑していないＷｉＦｉホットスポットを見つけることができる。さらに、システムは、グラフで編成することができる任意の情報を取り、その情報を視覚的モンタージュと共に提示し得る。

【0038】

例示的なアプリケーション
周囲視覚化モンタージュ技術は、グランス（ウェアラブル）、バースト（モバイル）、または環境（デスクトップまたはウォールディスプレイ）インターフェースに好適である。これは、分析サービスの付属物として機能することができ、詳細の代わりに、に大きい絵またはシステムウェルネスビューに関心を持つ上位レベルのステークホルダーのニーズに対応し得る。ユーザは、周囲視覚化モンタージュを使用して、最初の検索を指示するか、または表示画像に基づいて分析にドリルダウンし得る。視覚的モンタージュは、迅速かつ効率的な対話型情報伝達手段を提供する。

【0039】

視覚化システムは、異なる使用のケースのシナリオで視覚的モンタージュを提示し得る。視覚的モンタージュを提示する表示画面は、例えば、スマートウォッチ、携帯電話、タブレット、大画面テレビ、または高速道路の側に位置するビルボードであることができる。広告掲示板は、運転者が通常、運転中に看板を見るために数秒のみを有する場合の、グランスインターフェースの一例である。例えば、表示画面上に提示される視覚的モンタージュは、ある都市におけるある時間範囲にわたる火災の数または犯罪の数を示すことができる。視聴者は、画面をさっと一目見て、表示画面上の情報の要点を理解することができる。

【0040】

いくつかの実施形態では、視覚的モンタージュは、スマートホーム環境ディスプレイとして利用されてもよい。視覚的モンタージュは、居住者および訪問者に見せるための好ましい絵であることができ、家庭環境で視覚的にはより注意を引かない場合がある生データまたはチャートよりも好ましい。視覚的モンタージュは、例えば、家の状態、近隣の状態、近隣のイベント、および／またはユーザのソーシャルサークル内のイベントを示すことができる。ユーザは、周囲環境内で活動の感覚を取得し得る。このような周囲視覚化は、審美的に快く、邪魔をしない周囲環境状態情報を偶然の観察者に一見して提供することができる。システムは、必要に応じてユーザに警告するか、またはすべてが設計通りに動作しているときに安心を提供し得る。

【0041】

いくつかの実施形態では、システムは、所定の閾値を超える多数のセキュリティインシデントを有する組織および／または地理的領域内のグループが、ディスプレイ上のグラフィカルオブジェクトにマッピングされ得ることを決定し得る。システムは、セキュリティインシデントに関連付けられた時間に対応する層にグラフィカルオブジェクトを配置することができる。そして、システムは、異なる時間における組織内のすべてのセキュリティインシデントを表示する視覚的モンタージュを提示し得る。ユーザが（例えば、グラフィカルオブジェクトに触れる、またはスライドさせることによって）視覚的モンタージュと対話するとき、ユーザは、例えば、ドアをロックさせるか、コンピュータをシャットダウンさせることができる。また、システムは、セキュリティイベントを表すグラフィカルオブジェクトを、バックグラウンド層からフォアグラウンド層に移動することによって、今後発生するセキュリティイベントを示し得る。

【0042】

いくつかの実施形態では、情報を選択的にクラスタリングすると共に、システムは、視覚的モンタージュ上に表示するために周囲環境からの情報をフィルタリングし得る。いくつかの実施形態では、システムは、周囲環境において視聴者に物理的および／または時間的に最も近い状態、イベント、オブジェクトおよび／または場所をクラスタリングし得る。次いで、システムは、ユーザのモバイルデバイスから受信した選好および／またはセキュリティデータに基づいて、情報をフィルタリングし得る。例えば、ユーザの選好データは、ユーザが、個人情報を視覚的モンタージュ上に表示させることを望まないことを示し得る。そして、システムは、ユーザの選好を満たす情報のみを表示し得る。システムは、ワイヤレス（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））接続を介して、ユーザのモバイルデバイス（または電子識別バッジもしくは任意の他の電子デバイス）からデータ（例えば、選好および／またはセキュリティデータ）を取得し得る。システムは、ユーザの装置がディスプレイを制御するコンピュータの通信範囲内に入ったときに情報を取得し得る。

【0043】

ユーザが１つの場所から別の場所に移動すると（例えば、組織のキャンパスの入り口から会議室へ移動する等）、ユーザに対して視覚的モンタージュを表示するすべてのデバイスは、ユーザの選好に従ってフィルタリングされたマテリアルを表示する利益を有し得る。システムは、全地球測位システム（ＧＰＳ）データを収集し、ユーザの電子デバイス（および／または電子識別バッジ）から識別情報を受信して、ユーザにとって最も近い表示画面を判定し得る。いくつかの実施形態では、表示装置は、ユーザの電子装置からユーザの選好を受信および記憶する中央コンピュータに通信可能に接続され得、中央コンピュータは、周囲環境から情報をフィルタリングし得る。データ収集およびフィルタリングを集中化することにより、システムはユーザからのデータ収集の効率を向上させ、表示するデータの収集およびフィルタリングの効率を向上させる。システムは、ユーザの電子デバイスから複数回データを収集する必要はない。これにより、ネットワークのデータ使用量を削減し、帯域幅を解放することにより、ネットワークの効率が向上する。システムは、表示された複数の視覚的モンタージュを制御および／またはフィルタリングするために、ユーザの選好データの単一のコピーを記憶するだけでよい。これにより、記憶領域の使用量が削減されるため、記憶領域の使用率が向上する。

【0044】

対話型の層化された視覚的モンタージュの生成
図２は、一実施形態による、層化された視覚的モンタージュを生成し、ユーザ対話に応答する例示的な方法を示すフローチャートを提示する。異なる実施形態は、以下に記載される動作と異なり得、本発明の実施形態は、以下に記載される例示的な実施形態に限定されない。いくつかの実施形態では、システムは、以下の動作を異なる順序で実行してもよく、または異なる動作の１つの動作について以下に説明する動作を実行してもよい。

【0045】

以下の動作を実行するとき、システムは、ユーザ（例えば、視覚的モンタージュを見ているパーティ）の識別情報を判定し、ユーザに関連付けられた構成選好を使用し得る。さらに、システムは、ユーザ入力なしで動作２０２～２１０を自動的に実行し得るが、ユーザ（例えば、管理者）は、任意で動作の様々な態様を構成することができる。いくつかの実施形態では、システムは、視覚的モンタージュの視覚的部分を生成すると同時に、以下の１つ以上の動作を同時に実行し得る。

【0046】

動作中、システムは、視覚的モンタージュの層および層の制約を決定し得る（動作２０２）。システムは、適切な審美性を提供するためのレイアウトを設計し得る。システムは、層に関連付けられた画像を決定および／または生成し、時間範囲を各層に関連付け得る。システムはまた、どのようにして物語が層内で伝えられるかを定義し得る。システムはまた、オーナメントを割り当てるために潜在的に使用されることができるオーナメントスロットの位置を決定し得る。

【0047】

システムは、グラフィカルオブジェクトセット（例えば、オーナメント）および各層の上下の遮蔽を含む制約を判定し得る（動作２０４）。システムは、グラフィカルオブジェクト上のグラフィカルオブジェクトセットおよび制約、および／または層内のグラフィカルオブジェクトの配置を定義し得る。

【0048】

システムは、適切な象徴表現および審美を用いて、グラフィカルオブジェクトセットを設計し得る。システムは、グラフィカルオブジェクトセットおよびグラフィカルオブジェクトに対する制約に関連付けられた（例えば、それを表現する）画像データを取得し得る。システムは、視覚的モンタージュに組み込むことができるグラフィカルオブジェクトセットに関連付けられた画像を生成し得る。システムは、層内部および層間の各グラフィカルオブジェクトの効用を最大にすることができるオブジェクト変換のセットを定義し得る。システムはまた、どのようにして注釈が層内で伝えられるかを定義し得る。

【0049】

システムは、グラフィカルオブジェクトの表示またはグラフィカルオブジェクトの変化をトリガする周囲環境からの条件を判定し、どのようにしてディスプレイ上に条件を表現するかを判定し得る。これらの条件は、イベント、活動、状況、および／または他の情報または概念に関連付けられ得る。システムは、ディスプレイ上のグラフィカルオブジェクトにマッピングされる周囲環境からの情報の閾値範囲および粒度を決定することができる。視覚的モンタージュのグラフィカルオブジェクトの描写の変化をトリガする所定の閾値を含む。システムは、イベント、活動、状態、および／または他の情報または概念に関連付けられた時間を判定し得る。システムは、イベント、活動、状態、および／または他の情報または概念を表すオーナメントを、時間に関連付けられた層に割り当て得、割り当ては、オーナメントおよび／または層に関連付けられた制約に基づき得る。いくつかの層は、ゼロのグラフィカルオブジェクトに関連付けられ得る。

【0050】

システムは、情報のタイプおよび情報を表示するための閾値範囲を判定し得る。例えば、視聴者が活動に興味がある場合、システムは、講堂等の共通空間内の人数を表示し得る。システムは、グループ内のゼロ人、グループ内の少人数、グループ内の中程度の人数、およびグループ内の多人数に対応する異なるグラフィカルオブジェクトによって、グラフィカルオブジェクトのセットを定義し得る。システムは、講堂内の実際の人数を最も正確に表すグラフィカルオブジェクトを表示し得る。

【0051】

システムは、どのようにして各副層を組み立てる（例えば、生成する）か、および状態間の遷移を判定する論理規則を判定し得る（動作２０６）。論理規則は、データベース等のデータソースに記憶され得る。論理規則は、どのようにして副層および／またはオーナメントが１つの状態から別の状態に遷移するかを指定し得る。いくつかの実施形態では、システムはまた、どのようにして各層を組み立てるか、およびどのようにして層、副層、および／またはオーナメントが１つの状態から別の状態に遷移するかを判定する論理規則を取得し得る。様々な実施形態では、システムはまた、規則に従って、オーナメントスロットにオーナメントを割り当て得る。

【0052】

例えば、システムは、オブジェクトがディスプレイ上でどのように動くか、およびオブジェクトがディスプレイ上でどのようにグループ化されるかを、規則に基づいて判定し得る。例えば、システムは、太陽の描写がディスプレイ上でどのように動くかを決定することができる。いくつかの実施形態では、システムは、機械学習を使用して論理規則を学習することができる。

【0053】

別の例では、システムは、ユーザの周囲環境に関連付けられたデータに基づいて、視覚的モンタージュ上のオーナメントのサイズがどの程度縮小するかに関す規則を判定し得る。規則の一例では、時間が進み、グループ活動が終了すると、システムは、グループ活動を表すオーナメントのサイズを縮小させ、オーナメントを異なる層に移動させると判定し得る。

【0054】

システムは、その後、ユーザ対話が可能なオブジェクトと、ユーザ対話を受け入れて対処するための論理規則とを判定し得る（動作２０８）。例えば、システムは、画面上のオーナメントまたは他のオブジェクトとのユーザ対話を受信することに応答して、機械、スイッチ、または他のオブジェクトをどのように制御するかを決定する規則を取得し得る。例えば、画面上に表示されたオブジェクト（例えば、光源の視覚的描写）と対話するユーザ入力を受信することに応答して、オーバーヘッド光（または他の光源）を暗くする規則が存在し得る。例えば、画面上に表示される物体（例えば、サーモスタットまたは温度計の絵）と対話するユーザ入力を受信することに応答して、サーモスタットを制御して室温を上昇させる規則が存在し得る。

【0055】

いくつかの実施形態では、ユーザが視覚的モンタージュ上のグラフィカルオブジェクトと対話するとき、システムは、制御信号を現実世界のデバイスに送信して、デバイスを制御し得る（例えば、調整し得るかまたはオンにし得る）。制御信号からのコマンドに応答した後、デバイスは、応答信号をシステムに送信して、デバイスの状態を示し得る。次いで、システムは、視覚的モンタージュ上の装置の視覚的描写（または表現）を更新し得る。

【0056】

システムは、判定された層、制約、オブジェクト、および／または規則に基づいて視覚的モンタージュの生成を完了し得る（動作２１０）。いくつかの実施形態では、システムは、上記動作の１つ以上の間に、視覚的モンタージュの表示可能な部分を生成し得る。システムは、生成された視覚的モンタージュを表示画面に提示し得る。

【0057】

システムは、各ユーザの選好に基づいて個人化された情報を表示し得る。システムは、機械学習を通じてユーザの個人的選好を学習してもよく、またはユーザ（例えば、管理者）が選好情報を構成してもよい。例えば、システムは、社会活動に関心を持つユーザに対し、社会情報に関連付けられたオーナメントを表示し得る。システムは、ミドルグラウンド層に会話を有するグループに３人の人物に似たオーナメントを表示して、関心のある人が会話していることを示し得る。システムは、地理（例えば、都市）を表すオーナメントまたはユーザに関連するイベントを表示し得る。例えば、システムは、人からの通信（例えば、ソーシャルメディアを介する）があることを示すために、人の絵と共に掲示板を表すオーナメントを表示し得る。システムはまた、バックグラウンドで飛行機を表すオーナメントを後続のバナーと共に表示し得、バナーは、ユーザに対して書かれたメッセージを含み得る。

【0058】

システムは、グラフィカルオブジェクト（例えば、オーナメント）と対話するユーザ入力を受信し得る（動作２１２）。例えば、システムは、画面上に表示されたグラフィカルオブジェクト（例えば、サーモスタットまたは温度計の絵）と対話するユーザ入力を受信し得る。

【0059】

ユーザは、視覚的モンタージュと対話するために表示画面に触れる必要はない。一例では、訪問者が建物に入ると、システムは、訪問者が身に着けている電子識別バッジを検出し、訪問者の識別情報に基づいて、訪問者の選好を判定し得る。システムは、訪問客のために大きなフラットパネルディスプレイ画面上に表示される視覚的モンタージュを調節し得る。訪問者が表示画面を見ると、訪問者は、訪問者に対する対象の情報を見る。その後、システムは、建物の次の訪問者に対する表示画面を調節し得る。

【0060】

システムは、グラフィカルオブジェクトに対応する外部オブジェクトを制御し得る（動作２１４）。外部オブジェクトは、実世界のオブジェクトまたは他の場所に表示もしくは記憶されているデジタルオブジェクト等の、視覚的モンタージュの外側の任意のオブジェクトである。例えば、システムは、画面上に表示される物体（例えば、サーモスタットまたは温度計の絵）と対話するユーザ入力を受信することに応答して、室温を上昇させるサーモスタットを制御し得る。システムは、スイッチ、機械、調整可能な装置、および／またはシステムによって通信可能に接続されるかまたはアクセス可能な任意の他の外部（例えば、実世界）オブジェクトを制御し得る。例えば、ユーザは、デバイス（例えば、ランプ）を表すオーナメントに触れて、デバイス（例えば、ユーザの部屋に位置するランプ光）をオフにし得る。ランプ光は、ネットワークを介して、視覚的モンタージュを表示するコンピューティングデバイスに接続し得る。例えば、ユーザは、太陽を表すオーナメントに触れて、ユーザの室内の温度を調整し得る。

【0061】

例示的な層化された視覚的モンタージュ
図３は、一実施形態による例示的な層化された視覚的モンタージュを示すブロック図３００を提示する。例示的なシナリオでは、システムは、ソーシャルチームの物理的および会話的活動を伝達するためのモバイルアプリケーションにおいて周囲視覚化を生成し得る。モバイルアプリケーションの設計仕様およびモバイルアプリケーションの画面ショットの例は、以下に説明されるとおりであり得る。

【0062】

視覚的モンタージュの視覚化は、スカイ層３０２、バックグラウンド層３０４、ミドルグラウンド層３０６、フォアグラウンド層３０８、気象層、およびコーチ層３１０等の、６つの層を含み得る。コーチ層３１０は、フォアグラウンド層３０８で始まり、他の層に達するように現れ得る。画面の下部にテキスト用スペース３１２があってもよい。

【0063】

各層は、１つ以上のオーナメントサイトを含む１組のバックグラウンド環境を含むことができる。オーナメントは、状態を反映するように環境上で異なる組み合わせで合成できる副要素である。オーナメント物をフォアグラウンド層からミドル層を経てバックグラウンド層に移動することによって、システムは時間を伝えることができる。キャラクターは旅の様々な環境を移動することがあるが、フォアグラウンドで提示されるキャラクターは、旅の終わりにバックグラウンドで終わるキャラクターと同じである必要がある。これは、文字が遠くに移動する際に、文字の状態と時間の経過をユーザに認識させるためのものである。例示的な視覚化の様々な層を以下に説明する。

【0064】

スカイ層３０２は、夜間、夜明け、昼間、夕暮れ、荒天の日中、および／または荒天の夕方／午後に対する環境を含み得る。

【0065】

視覚化に表示されるオーナメントは、例えば、雲、太陽、月、雷雲、雷などを含み得る。雲は、気象サービスから報告された現在のユーザの気象条件に等しい密度で、可変速度で左から右へ空を横切ってゆっくりと移動し得る。太陽は、ローカルな昼時間に基づいて放物弧で移動し得る。これは、ユーザの位置での太陽の移動を模倣することが意図される。月は、ローカルな夜時間に基づいて放物弧で移動し得る。これは、ユーザの場所における月の移動を模倣することが意図される。天気予報で荒天が予測されることが報じられると、雷雲が雲のように動き得る。気象サービスが荒天を報告すると、雷がランダムに現れ得る。

【0066】

バックグラウンド、ミドルグラウンド、およびフォアグラウンド層は、夜間、夜明け、昼間、夕暮れ、昼間の荒天、および／または夕方／午前の荒天に対する複数の環境を包含し得る。システムは、ローカル環境を反映するために、適切なローカル時間におけるこれらの環境をユーザに表示し得る。

【0067】

オーナメントは、例えば、会話グループおよび活動実行グループ、ピアコンタクトインジケータ、新しいデータインジケータ、ユーモラスであるが特定のインジケータ、ならびに休日シーンに類似した表現を含み得る。

【0068】

会話グループオーナメントは、ユーザの環境からの会話活動を反映し得る。例えば、視覚化は、会話に参加する１、２、３、または６人を表す会話グループを含み得る。

【0069】

グループオーナメントを行う活動は、ユーザの環境からのフィットネス活動を反映し得る。例えば、視覚化は、活動に参加する１、２、３または６人の活動実行グループを含み得る。

【0070】

ピアコンタクトインジケータは、別のユーザがユーザに接触しているときに通知され得る。例えば、ピアコンタクトインジケータは、広告掲示板上の顔、飛行機に後続するバナー上の顔、および／または人によって運ばれる標識上の顔を含み得る。

【0071】

新しいデータインジケータは、例えば、チャートまたはデータの他の提示を含み得る。例えば、チャートは、ユーザがユーザに接触しようとしていることを示し得る。

【0072】

面白いが具体的な指標は、例えば、静かな時間を表すフィールドに描写されたクリケット、何も起きていないときのステップごとに成長する植えられたフィールド、および／またはハロウィーンの時のゾンビを含み得る。

【0073】

休日シーンは、例えば、正月祝い（米国、中国等）、バレンタインデー、退役軍人の日、聖パトリックの日、イースター、独立記念日、感謝祭、および／またはクリスマスを含む。

【0074】

図４は、一実施形態による、視覚的モンタージュの例示的な層を示すブロック図４００を提示する。

【0075】

図４は、スカイ層４０４を有する視覚的モンタージュの複数の層４０２のラベルを描写する。図４に示すように、スカイ層４０４、バックグラウンド層４０６、ミドルグラウンド層４０８、およびフォアグラウンド層４１０が存在してもよい。また、ディスプレイの下部にテキスト４１２用のスペースがあってもよい。

【0076】

図５は、一実施形態による、会話グループオーナメントを有する例示的な視覚的モンタージュを示すブロック図５００を提示する。図５に図示されるように、システムは、グループ会話を表すオーナメント５０２を、任意のオーナメント５０６なしで視覚的モンタージュのフォアグラウンド層５０４に追加し得る。システムは、オーナメントスロット５０８によって示される位置にオーナメント５０２を追加し得る。任意のオーナメント５０６を使用せずにオーナメント５０２を視覚的モンタージュに追加することによって、システムは視覚的モンタージュ５１０を生成する。ユーザが視覚的モンタージュ５１０を見ると、ユーザは進行中のグループ会話があることを理解する。

【0077】

図６は、一実施形態による例示的な気象層（この例では小雨）を示すブロック図６００を提示する。気象層は、雨（例えば、弱雨、中雨、強雨、風雨、および／もしくは強風雨）または雪を表す図６に描写される全ページレイオーバ要素を含むことができる。例えば、図６に描写されている天気は、小雨である。システムは、地元の天気予報に従って天気を描写し得る。

【0078】

図７は、一実施形態による、コーチの例示的な描写を示すブロック図７００を提示する。コーチ層は、以下のポーズの１つを有する女性または男性の形態のコーチの描写を含むことができる：１）友好的な一般的ポーズ７０２、２）リマインダ７０４の提示、３）キーアイテムに注意を引く、４）ディープコーチングモード（帽子付き）７０６、５）重要なことを強調、６）警告、７）ユーザ７０８を停止。

【0079】

上記のすべてのポーズは、アクティブな会話と口を閉じたバージョンを持つべきである。ポーズは、コーチがメッセージエリアで伝えている情報に依存し得る。

【0080】

合成命令
図８は、一実施形態による、視覚的モンタージュの層の分解図を示すブロック図８００を提示する。この図は、展開された場合に現れる層を図示する。ベース層８０２は、青空８０４と、時刻を表す太陽８０６の位置とを含む。太陽は、時刻に応じて日中に動き得る。層に描写された斜面８０８、８１０は、それぞれの層の時間範囲に関連付けられている。オーナメント８１２は、活動に参加する人々のグループを示す。また、コーチ８１４は、ユーザに対してメッセージ８１６を通信している。

【0081】

システムは、内部層合成後、１～６個の層順で画像を合成し得る。モンタージュに合成されると、層は、図９の視覚化を作成する。

【0082】

図９は、一実施形態による、複数の層を合成することによって生成される視覚的モンタージュを示すブロック図９００を提示する。図９は、フィットネスコーチングアプリケーション（例えば、Ｆｉｔｔｌｅ）からの例示的な画面ショット９０２を図示する。視覚的モンタージュに描写された情報は、集められたデータから組み立てられ、１０の層にわたって分散される。画面ショットは、フォアグラウンド層において、他の層に伸びるコーチ９０４を描写する。コーチは、ユーザに対してメッセージ９０６を通信している。いくつかの実施形態では、システムは、規則を使用して、ユーザに話すコーチのアニメーションを制御し得る。例えば、規則は、ユーザの周囲環境に関連付けられたデータから得られたパラメータを用いて、パラメータ化されたセンテンスを話すコーチを制御し得る。システムは、テキストスピーチトランスレータを介して文を実行し得る。

【0083】

斜面９０８、９１０、９１２は、視覚的モンタージュの層に関連付けられ、斜面は、斜面に関連して描写された活動の時間枠を示す。

【0084】

人々のグループを表すオーナメント９１６は、人々が歩行活動を行っていることを視聴者に示す。２人を表す別のオーナメント９１８は、２人の人が小さな体重を持ち上げて運動をしていることを視聴者に示す。併せて、オーナメントは、より多くの人々が過去よりも現在に活動をしていることを示している。空白の斜面９２０は、誰も関連付けられた時間枠内で活動を行っていないことを示している。

【0085】

システムが視覚的モンタージュを提示するとき、これはユーザがより多くの活動に従事するように促し得る。

【0086】

例示的な装置
図１０は、一実施形態による例示的な視覚化装置１０００を示すブロック図を提示する。装置１０００は、有線または無線通信チャネルを介して互いに通信することができる複数のモジュールを備えることができる。装置１０００は、１つ以上の集積回路を使用して実現されてもよく、図１０に示されるモジュールよりも少ないかまたは多いモジュールを含んでもよい。さらに、装置１０００は、コンピュータシステムに統合されてもよく、または他のコンピュータシステムおよび／または装置と通信することができる別個の装置として実現されてもよい。

【0087】

具体的には、装置１０００は、グラフィカルオブジェクトおよび層管理モジュール１００２、規則管理モジュール１００４、ユーザ対話モジュール１００６、およびデータ管理１００８の任意の組み合わせを含むことができる。装置１０００は、図１０に描写されていない追加のモジュールおよびデータも含み得、異なる実施が、異なるモジュールのセットに従って機能性を配列することができることに留意されたい。本明細書で開示される実施形態は、モジュールの何らかの特定の配置に限定されない。

【0088】

いくつかの実装形態は、グラフィカルオブジェクトおよび視覚的モンタージュの層を決定することを含む動作を行い得るグラフィカルオブジェクトおよび層管理モジュール１００２を含み得る。グラフィカルオブジェクトおよび層管理モジュール１００２は、ストレージ内のグラフィカルオブジェクトも管理し得る。規則管理モジュール１００４は、副層がどのように組み立てられているかを決定する規則および状態間の遷移を定義する規則を取得および管理し得る。規則管理モジュール１００４はまた、ユーザ対話に反応するための規則を取得および管理してもよい。ユーザ対話モジュール１００６は、ユーザ対話に反応するための規則に従って特定の機能を実行することができる。例えば、機能は、サーモスタットを制御することによって部屋の温度を上昇させることができる。データ管理モジュール１００８は、ユーザ選好データを含むデータを管理することができる。データ管理モジュール１００８は、ソーシャルメディアサーバおよび任意の他のサーバからデータを取得することもできる。

【0089】

例示的なシステム
図１１は、一実施形態による、例示的な視覚化システム１１００を示す。視覚化システム１１０２は、プロセッサ１１０４、メモリ１１０６、および記憶装置１１０８を含む。メモリ１１０６は、管理されたメモリとして働く揮発性メモリ（例えば、ＲＡＭ）を含むことができ、１つ以上のメモリプールを記憶するのに使用され得る。さらに、コンピュータおよび通信システム１１０２は、ディスプレイデバイス１１１０、キーボード１１１２、およびポインティングデバイス１１１４に結合されることができる。

【0090】

記憶装置１１０８は、アプリケーション１１１６ならびに１１１８およびオペレーティングシステム１１２０等のいくつかのアプリケーションを記憶することができる。記憶装置１１０８は、グラフィカルオブジェクトおよび層管理モジュール１１０２、規則管理モジュール１１０４、ユーザ対話モジュール１１０６、およびデータ管理１１０８のためのコードを記憶することもできる。グラフィカルオブジェクトおよび層管理モジュール１１０２は、グラフィカルオブジェクトおよび視覚的モンタージュの層を決定することを含む動作を実行することができる。グラフィカルオブジェクトおよび層管理モジュール１１０２はまた、ストレージ内のグラフィカルオブジェクトを管理してもよい。規則管理モジュール１１０４は、副層がどのように組み立てられているかを決定する規則および状態間の遷移を定義する規則を取得および管理し得る。規則管理モジュール１１０４はまた、ユーザ対話に反応するための規則を取得および管理してもよい。ユーザ対話モジュール１１０６は、ユーザ対話に反応するための規則に従って特定の機能を実行し得る。例えば、機能は、サーモスタットを制御することによって部屋の温度を上昇させ得る。データ管理モジュール１１０８は、ユーザ選好データを含むデータを管理し得る。データ管理モジュール１１０８はまた、ソーシャルメディアサーバおよび任意の他のサーバからデータを取得してもよい。

【0091】

動作中、グラフィカルオブジェクトおよび層管理モジュール１１０２等の１つ以上のアプリケーションが、記憶装置１１０８からメモリ１１０６にロードされ、プロセッサ１１０４によって実行される。プログラムを実行する間、プロセッサ１１０４は前述の機能を実行する。

【0092】

この詳細な説明に説明されているデータ構造およびコードは、コンピュータシステムによる使用のためのコードおよび／またはデータを記憶することができるいずれのデバイスまたは媒体であってもよい、コンピュータ可読記憶媒体上に通常記憶されている。コンピュータ可読記憶媒体は、揮発性メモリ、不揮発性メモリ、またディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタルバーサタイルディスクまたはデジタルビデオディスク）等の磁気および光記憶デバイス、または現在知られているかまたは後に開発されるコンピュータ可読媒体を記憶することができる他の媒体を含むが、それらに限定されるものではない。

【0093】

詳細な説明の項に説明されている方法およびプロセスは、上に説明されているようなコンピュータ可読記憶媒体に記憶され得る、コードおよび／またはデータとして具体化され得る。コンピュータシステムが、コンピュータ可読記憶媒体上に記憶されているコードおよび／またはデータを読み取り、実行すると、コンピュータシステムは、データ構造およびコードとして具体化され、かつコンピュータ可読記憶媒体内に記憶されている方法およびプロセスを行う。

【0094】

さらに、上に説明されている方法およびプロセスは、ハードウェアモジュールまたは装置に含まれ得る。ハードウェアモジュールまたは装置は、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、特定の時点で特定のソフトウェアモジュールまたは１つのコードを実行する専用または共有のプロセッサ、および現在知られているかまたは後に開発される他のプログラマブル論理デバイスを含むことができるが、それらに限定されるものではない。ハードウェアモジュールまたは装置が起動されると、それらは、それら内に含まれている方法およびプロセスを行う。

【0095】

本明細書に記載された前述の本発明の実施形態の説明は、例示および説明のためにのみ提示されたものである。それらは、網羅的であること、または本明細書に記載された実施形態を開示された形態に限定することを意図するものではない。したがって、当業者には多くの修正および変更が明らかであろう。加えて、上記の開示は本明細書に記載された実施形態に限定されることは意図されていない。本発明の範囲は、添付の特許請求の範囲によって画定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】