特許 6896779 イベント・アーカイビング、システム、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6896779

(24)【登録日】2021年6月11日

(45)【発行日】2021年6月30日

(54)【発明の名称】イベント・アーカイビング、システム、及び方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20210621BHJP

【ＦＩ】

   G06Q50/10

【請求項の数】25

【全頁数】19

(21)【出願番号】特願2019-14985(P2019-14985)

(22)【出願日】2019年1月31日

(62)【分割の表示】特願2016-224128(P2016-224128)の分割

【原出願日】2013年5月24日

(65)【公開番号】特開2019-83053(P2019-83053A)

(43)【公開日】2019年5月30日

【審査請求日】2019年1月31日

(31)【優先権主張番号】61/651,179

(32)【優先日】2012年5月24日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】513253467

【氏名又は名称】ナント ホールディングス アイピー，エルエルシー

(74)【代理人】

【識別番号】110002572

【氏名又は名称】特許業務法人平木国際特許事務所

(72)【発明者】

【氏名】ソン−シオン，パトリック

【審査官】 貝塚 涼

(56)【参考文献】

【文献】 特表２００４−５１０２５５（ＪＰ，Ａ）

【文献】 特開２００７−２８０３０９（ＪＰ，Ａ）

【文献】 特開２０１０−１１８０５６（ＪＰ，Ａ）

【文献】 特開２００７−１２９４３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

イベント情報を検索するコンピュータで実施される方法であって、
コンピューティングデバイスをイベント・アーカイビング・エンジンとして動作するように構成することと、
前記イベント・アーカイビング・エンジンによって時間の中での出来事を表わすイベント・オブジェクトを取得することと、
前記イベント・アーカイビング・エンジンによって前記イベント・オブジェクトを、時間に従って編成される複数のイベント・オブジェクトを含む、エンティティに関連するタイムラインに結合することと、
前記タイムラインに結合されたイベント・オブジェクトから、イベント・オブジェクトを選択することと、
記念オブジェクトに関連する認識可能な特徴の組に基づいて、前記認識可能な特徴の組を含み、前記イベント・オブジェクトを検索するために用いられる索引付け情報を生成することと、
前記イベント・アーカイビング・エンジンによって、前記タイムラインにおける前記生成された索引付け情報を前記選択されたイベント・オブジェクトに登録することと、
前記認識可能な特徴の組の少なくとも一部の特徴が第２のタイミングで取得された記念オブジェクトの第２のデジタル表現から導出された特徴に対応することを要求するという認識基準が満たされる場合、前記イベント・アーカイビング・エンジンによって、前記索引付け情報を介して前記選択されるイベント・オブジェクトを前記タイムラインから検索することと、を含み、
前記認識可能な特徴の組は、前記第２のタイミングよりも時間的に前の第１のタイミングで取得された記念オブジェクトの第１のデジタル表現から導出された情報のベクトルを含み、当該ベクトルの各要素は、異なるモダリティを表し、(1)対応するモダリティに対する１以上の関連する特徴および(2)前記１以上の関連する特徴に対応する認識閾値を有する前記認識基準を含む、方法。

【請求項2】

前記デバイスをイベント・アーカイビング・エンジンとして動作するように構成するステップが、アプリケーションプログラム・インターフェース、サーチエンジン・インターフェース、ソーシャルネットワーク・インターフェース、セルフォン・インターフェース、ブラウザ・インターフェース、及びセンサ・インターフェースのうちの少なくとも１つにアクセスすることを含む、請求項１に記載の方法。

【請求項3】

前記イベント・オブジェクトを取得するステップが、前記イベント・アーカイビング・エンジンとして動作するコンピューティングデバイスがユーザデバイスによって送信された前記イベント・オブジェクトを受信することによって前記イベント・オブジェクトを取得すること、前記イベント・アーカイビング・エンジンとして動作するコンピューティングデバイスが前記ユーザのデバイスから前記イベント・オブジェクトを引き出すことによって前記イベント・オブジェクトを取得すること、前記イベント・アーカイビング・エンジンとして動作するコンピューティングデバイスが前記イベント・オブジェクトを自動的に受信することによって前記イベント・オブジェクトを受信すること、及び前記イベント・アーカイビング・エンジンとして動作するコンピューティングデバイスが前記イベント・オブジェクトをネットワーク上で受信すること、のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項4】

前記イベント・オブジェクトがメディア・オブジェクトを含む、請求項１に記載の方法。

【請求項5】

前記イベント・オブジェクトがマルチメディア・オブジェクトを含む、請求項４に記載の方法。

【請求項6】

前記イベント・オブジェクトが、音声データ、ビデオデータ、画像データ、モーションデータ、加速度データ、温度データ、位置データ、時間データ、メタデータ、識別データ、好みデータ、ゲームデータ、及びセキュリティデータのうちの少なくとも１つを含む、請求項４に記載の方法。

【請求項7】

前記イベント・オブジェクトがタイムスタンプを含む、請求項１に記載の方法。

【請求項8】

前記エンティティが、人、動物、会社、組織、グループ、家族、学校、卒業アルバム、建造物、及び車両のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項9】

前記イベント・オブジェクトが、パーティ、コンサート、スポーツイベント、及びアクシデントのうちの少なくとも１つを表わす、請求項１に記載の方法。

【請求項10】

前記タイムラインが、ライフステージ、ライフタイム、年、月、週、及び日のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項11】

前記選択されるイベント・オブジェクトを前記タイムラインから探索するステップが、タイムライン・データベースにクエリを提出することによって前記イベント・オブジェクトを取得することを含み、前記クエリは、前記イベント・オブジェクトの属性を含む、請求項１に記載の方法。

【請求項12】

前記選択されるイベント・オブジェクトを選択するステップが、前記選択されるイベント・オブジェクトをランダムに選択することを含む、請求項１に記載の方法。

【請求項13】

前記選択されるイベント・オブジェクトを選択するステップが、前記タイムライン上の指定されたタイムスパン内のイベント・オブジェクトから前記選択されるイベント・オブジェクトをランダムに選択することを含む、請求項１２に記載の方法。

【請求項14】

前記生成された索引付け情報を前記選択されたイベント・オブジェクトに登録するステップが、前記認識可能な特徴の組に従って前記選択されるイベント・オブジェクトを索引付けすることを含む、請求項１に記載の方法。

【請求項15】

前記選択されたイベント・オブジェクトを前記タイムラインから検索するステップが、前記記念オブジェクトのデジタル表現から導出される特徴に対応する登録された認識可能な特徴を有するイベント・オブジェクトを探索することを含む、請求項１に記載の方法。

【請求項16】

前記認識可能な特徴の組が、音声データ特徴、画像データ特徴、色、形状、オブジェクトの次元、メイク、モデル、エンコードされるデータ、エンコードされない情報、属性、およびテクスチャのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項17】

前記導出された特徴組は、音声データ特徴、画像データ特徴、色、形状、オブジェクトの次元、メイク、モデル、エンコードされるデータ、エンコードされない情報、属性、およびテクスチャのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項18】

前記記念オブジェクトが少なくとも実質的に二次元オブジェクトを含む、請求項１に記載の方法。

【請求項19】

前記記念オブジェクトが少なくとも三次元オブジェクトを含む、請求項１８に記載の方法。

【請求項20】

前記記念オブジェクトが少なくとも四次元オブジェクトであって、前記三次元オブジェクトに時間の次元を追加して定義される四次元オブジェクトを含む、請求項１９に記載の方法。

【請求項21】

前記選択されるイベント・オブジェクトに基づいて、前記記念オブジェクトを生産するためのデータを提供することをさらに含む、請求項１に記載の方法。

【請求項22】

前記記念オブジェクトが、画像、カード、置物、デバイス、及び可動オブジェクトのうちの１つを含む、請求項１に記載の方法。

【請求項23】

前記選択されるイベント・オブジェクトを選択するステップが、第２の異なるタイムラインに基づいて前記選択されるイベント・オブジェクトを選択することを含む、請求項１に記載の方法。

【請求項24】

前記イベント・オブジェクトを前記タイムラインに結合するステップが、前記イベント・オブジェクトを複数のタイムラインに結合することを含む、請求項１に記載の方法。

【請求項25】

前記イベント・オブジェクトを結合するステップが、前記イベント・オブジェクト内のオブジェクトを認識し、当該認識されたオブジェクトに基づいて前記イベント・オブジェクトを前記タイムラインに結合することを含む、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１２年５月２４日に出願された米国特許仮出願第６１／６５１１７９号に基づく優先権の利益を主張するものである。本明細書で説明されるこの及びすべての他の外的資料は、引用によりそれらの全体が組み込まれる。

【背景技術】

【0002】

本発明の技術分野は情報アーカイビング技術である。

【0003】

最近、Ｆａｃｅｂｏｏｋ（登録商標）が、いつ情報がＦａｃｅｂｏｏｋに入力されたかに従って又はユーザが情報をタイムラインにどのようにリンクするかに基づいてユーザ情報が編成される、タイムラインの概念を導入した。こうした情報の編成は、ユーザが自分の人生の中の時間に関係するイベントを回顧できるようにすることでユーザにとって有用となり得る。残念なことに、Ｆａｃｅｂｏｏｋタイムラインに記憶された情報は、Ｆａｃｅｂｏｏｋなしではアクセスできず、利用可能な情報をユーザに思い出させることができるどのような機構も欠いている。

【0004】

後で検索するために情報をアーカイビングすることに向けていくつかの試みがなされている。例えば、２００３年１０月２７日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｒｅｃｏｒｄｉｎｇ」と題するＳｔｅｐｈｅｎｓ他の米国特許出願第２００４／０１０７２７０号は、コラボレーションセッションがアーカイブされるシステムを説明している。こうした手法は、通信セッションのコラボレーションに有用である。しかしながら、Ｓｔｅｐｈｅｎｓのシステムはまた、個々のユーザに記憶の手掛かりを提供することに失敗している。

【0005】

オブジェクトを認識することに向けての試みもなされている。例えば、Ｂｏｎｃｙｋ他が共有する２００１年１１月５日に出願された「Ｉｍａｇｅ ｃａｐｔｕｒｅ ａｎｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ ａｎｄ ｐｒｏｃｅｓｓ」と題する米国特許第７，０１６，５３２号、２００４年５月２０日に出願された「Ｉｍａｇｅ ｃａｐｔｕｒｅ ａｎｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ ａｎｄ ｐｒｏｃｅｓｓ」と題する第７，４７７，７８０号、２００５年８月１５日に出願された「Ｕｓｅ ｏｆ ｉｍａｇｅ−ｄｅｒｉｖｅｄ ｉｎｆｏｒｍａｔｉｏｎ ａｓ ｓｅａｒｃｈ ｃｒｉｔｅｒｉａ ｆｏｒ ｉｎｔｅｒｎｅｔ ａｎｄ ｏｔｈｅｒ ｓｅａｒｃｈ ｅｎｇｉｎｅｓ」と題する第７，６８０，３２４号、及び２００５年１月２６日に出願された「Ｄａｔａ ｃａｐｔｕｒｅ ａｎｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ ａｎｄ ｐｒｏｃｅｓｓ」と題する第７，５６５，００８号は、オブジェクトを認識する及び認識されたオブジェクトに基づいてコンテンツ情報を戻す種々の態様を説明している。しかしながら、これらの特許はまた、興味深いイベントを人のタイムラインに結合することへの見通しを提供していない。

【0006】

本明細書で説明されるこれらの及びすべての他の外的資料は、引用によりそれらの全体が組み込まれる。組み込まれる引用文献での用語の定義又は使用が、本明細書で提供される該用語の定義と一致しない又は反する場合、本明細書で提供される該用語の定義が当てはまり、引用文献での該用語の定義は当てはまらない。

【0007】

文脈が反して定めない限り、本明細書に記載のすべての範囲は、それらの端点を包括するものとして解釈されるべきであり、オープンエンドの範囲は、商業上実用的な値を含むように解釈されるべきである。同様に、値のすべてのリストは、文脈が反して示さない限り、中間にある値を包括するものとして考えられるべきである。

【発明の概要】

【発明が解決しようとする課題】

【0008】

理想的に、人々又は他のエンティティは、イベントをアーカイブすることができ、イベントを回想するのに用いることができる記念を有することがある。したがって、ユーザに記憶をトリガする又は取り戻させることができるアーカイバル・システムが依然として必要とされている。

【課題を解決するための手段】

【0009】

発明的な主題は、タイムラインに従って寿命の中の１つ以上のイベントを追跡し、記念を介してイベントに関係する情報を検索することができる装置、システム、及び方法を提供する。発明的な技術の１つの態様はイベント情報を検索する方法を含む。考慮される方法は、ユーザが１つ以上のインターフェース（例えば、セルフォン、ＡＰＩ、ブラウザ、ソーシャルネットワーク、サーチエンジンなど）を介してイベント・アーカイブ・エンジンにアクセスすることを可能にする。アーカイブ・エンジンは、好ましくは、ことによるとネットワーク上で、イベント・オブジェクトを受信するように構成され、イベント・オ
ブジェクトは、エンティティ（例えば、人、動物、ペット、建造物、車両、又は他のアイテム）の寿命の中の或る出来事を表わすデータを含む。例えば、方法は、ユーザのセルフォンによって取り込まれたコンサートのビデオを受信するアーカイブ・エンジンを含むことができ、ビデオは、イベント・オブジェクトとみなすことができる。アーカイブ・エンジンはまた、イベント・オブジェクトをエンティティに関連するタイムラインに結合することができ、タイムラインは、時間によって編成される複数のイベント・オブジェクトを表す。また別の方法ステップは、記念オブジェクトと結合される又は関連付けられるべき１つ以上のイベント・オブジェクトを選択することを含む。アーカイブ・エンジンは、ことによると中間的な索引付け情報を介して、記念オブジェクトの１つ以上の認識可能な特徴を選択イベント・オブジェクトとマッピングすることによって記念オブジェクトをイベント・オブジェクトに登録することができる。アーカイブ・エンジンは、記念オブジェクトのデジタル表現から１つ以上の導出される特徴を導出し、該導出される特徴を選択されたイベントを探索するための根拠として用いることを通じて、選択されたイベントを検索することができる。

【0010】

発明的な主題の種々の目的、特徴、態様、及び利点は、同様の番号が同様の構成要素を表す付属の図面を併用した好ましい実施形態の以下の詳細な説明からより明らかとなるであろう。

【図面の簡単な説明】

【0011】

【図1】イベント・アーカイビング・エコシステムの概略図である。

【図2】タイムライン・オブジェクト、記念オブジェクト、及びイベント・オブジェクト間のリンクを示す図である。

【図3】記念に基づいてイベント情報を検索する可能な方法を表わす図である。

【発明を実施するための形態】

【0012】

以下の説明は、コンピュータ／サーバに基づくイベント・アーカイビング・システムを表わしているが、種々の代替的な構成も適切であると考えられ、個々に又は集合的に動作するサーバ、インターフェース、システム、データベース、エージェント、ピア、エンジン、コントローラ、又は他のタイプのコンピューティングデバイスを含む種々のコンピューティングデバイスを採用してもよいことに留意されたい。こうした用語は、有形の一時的でないコンピュータ可読記憶媒体（例えば、ハードドライブ、ソリッドステートドライブ、ＲＡＭ、フラッシュ、ＲＯＭなど）上に格納されたソフトウェア命令を実行するように構成されたプロセッサを含むコンピューティングデバイスを表わすと考えられると理解されたい。ソフトウェア命令は、好ましくは、コンピューティングデバイスを、開示された装置に関して後述するような役割、責任、又は他の機能性を提供するように構成する。
特に好ましい実施形態では、種々のサーバ、システム、データベース、又はインターフェースは、ことによるとＨＴＴＰ、ＨＴＴＰＳ、ＡＥＳ、パブリック−プライベートキー交換、ウェブサービスＡＰＩ、公知の金融取引プロトコル、又は他の電子情報交換方法に基づいて、標準化されたプロトコル又はアルゴリズムを用いてデータを交換する。データ交換は、好ましくは、パケット交換ネットワーク、インターネット、ＬＡＮ、ＷＡＮ、ＶＰＮ、又は他のタイプのパケット交換ネットワーク上で行われる。

【0013】

開示された技術は、アーカイバル・エンジンに送られる認識信号に基づいてイベント情報を検索することを含む多くの有利な技術的効果を提供することを理解されたい。

【0014】

以下の説明は、発明的な主題の多くの例示的な実施形態を提供する。各実施形態は、発明的な要素の単一の組み合わせを表すが、発明的な主題は、開示された要素のすべての可能な組合せを含むとみなされる。したがって、第１の実施形態が要素Ａ、Ｂ、及びＣを含み、第２の実施形態が要素Ｂ及びＤを含む場合、発明的な主題はまた、明示的に開示されない場合であっても、Ａ、Ｂ、Ｃ、又はＤの他の残りの組合せを含むとみなされる。

【0015】

文脈が別途定めない限り、本明細書で用いられる場合の「〜に結合される」という用語は、直接結合（互いに結合される２つの要素が互いに接触する）と間接的結合（２つの要素間に少なくとも１つの付加的な要素が存在する）との両方を含むことを意図される。したがって、「〜に結合される」及び「〜と結合される」という用語は、同意語として用いられる。ネットワーキングの文脈での「〜に結合される」及び「〜と結合される」という用語はまた、「〜と通信可能に結合される」を意味するように婉曲的に用いられる。

【0016】

図１は、タイムラインに従って１つ以上のイベント・オブジェクト１４５Ａ〜１４５Ｂを記憶するように構成又はプログラムされたイベント・アーカイビング・エンジン１３０を備えるアーカイバル・システム１００を示す。発明的な主題と共に用いるように適切に適合させることができるコンピューティング・プラットフォームの例は、サーチエンジン、ソーシャルネットワーキングサイト、オンラインコミュニティ、ＣＲＭデータベース、ソース制御エンジン、フォーラム、製品レビューサイト、オンラインゲーミングプラットフォーム、マルチプレーヤ・オンラインゲーム、又は情報を記憶する他のコンピューティングシステムを含む。

【0017】

以下の説明は、イベント・アーカイビング・エンジン１３０を、ネットワーク１１５上でイベント記念有料サービスへのアクセスを提供するものとして説明し、イベント・アーカイビング・エンジン１３０は、ことによるとプラットフォーム・アズ・ア・サービス（ＰａａＳ）、インフラストラクチャ・アズ・ア・サービス（ＩａａＳ）、ソフトウェア・アズ・ア・サービス（ＳａａＳ）、又は他のタイプのプラットフォームとして動作する１つ以上のサーバを備える。しかしながら、イベント・アーカイビング・エンジン１３０は、セルフォン、パーソナルコンピュータ、タブレット、又は他のデバイスを含む他のコンピューティングデバイスを表わすこともできることを理解されたい。したがって、いくつかの実施形態では、ユーザは、ユーザのスマートフォンにアプリをインストールすることができ、この場合、該アプリは、該セルフォンをイベント・アーカイビング・エンジン１３０として動作するようにプログラムする。

【0018】

図示される例では、デバイス１６０Ａのユーザは、時間の中での出来事を表わすイベント１１０のデータを取り込む。例えば、個人が、結婚式又はスポーツイベントに参加し、結婚式又はスポーツイベントの画像又は他のコンテンツを取り込むのに自分のセルフォンのカメラを用いることがある。デバイス１６０Ａによって取り込まれるイベント１１０に関係したコンテンツは、ことによるとネットワーク１１５（例えば、ネットワーク接続、インターネット、ＬＡＮ、ＷＡＮ、ＶＰＮ、ＰＡＮなど）上で、イベント・アーカイビング・エンジン１３０に提出することができる。図示される例では、デバイス１６０Ａはセルフォンとして示される。しかしながら、他のタイプのデバイスも、タブレット、コンピュータ、セキュリティカメラ、又は他のセンサデバイスを含むデバイス１６０Ａとして動作できる可能性がある。さらに、イベント１１０を表すコンテンツは、画像データ、ビデオデータ、音声データ、スピーチデータ、モーションデータ、加速度データ、温度データ、テキストデータ、バイオメトリックデータ、又は他のタイプのデータモダリティを含む広範なデータモダリティを含む。イベント・アーカイビング・エンジン１３０は、サービスインターフェース１３５（例えば、セルラインターフェース、ＧＵＩ、ＡＰＩ、ＨＴＴＰサーバなど）上でイベント１１０に関係したコンテンツを受信し、総じてイベント・オブジェクト１４５と呼ばれるイベント・オブジェクト１４５Ａ〜１４５Ｂのうちの１つ以上をインスタンス化する。

【0019】

イベント・アーカイビング・エンジン１３０は、人生の間の出来事をイベント・オブジェクト１４５として記憶し、イベント・オブジェクト１４５は、出来事又はイベント１１０を表すデータを含む。各イベント・オブジェクト１４５は、システムの他のオブジェクトに対して別個の管理可能なオブジェクトとみなすことができる。例えば、イベント・オブジェクト１４５は、任意の付加的なコンテンツと共に前述のように取り込むことができる画像、ビデオ、又は他のタイプのデータとみなすことができる。イベント・オブジェクト１４５はまた、イベント又は出来事の性質を記述するメタデータ（例えば、属性、特性、特徴など）を含むことができる。いくつかの実施形態では、ユーザは、ローカルコンピューティングデバイス、おそらくはデバイス１６０Ａから画像を選択し、サービスインターフェース１３５（例えば、ＦＴＰ）を介して画像ファイルをイベント・アーカイビング・エンジン１３０にアップロードしてもよい。ユーザは、次いで、イベント・アーカイビング・エンジン１３０に、画像ファイルから及び任意の付加的な提供されるコンテンツ（例えば、タイムスタンプ、コメントなど）からイベント・オブジェクト１４５Ａをインスタンス化するように指示することができる。メタデータを提供することで、イベント・アーカイビング・エンジン１３０がイベント・オブジェクト１４５を管理する、分析する、検索する、又は他の方法で操作することが可能となる。イベント・オブジェクト１４５を時間との関連で管理するために、イベント・オブジェクト１４５は、アーカイブ・エンジンがタイムラインをタイムライン・オブジェクト１５５によって表されるものとして構築するべくイベント・オブジェクト１４５を時間に基づいて編成できるようにする、１つ以上のタイムスタンプを含むことができる。

【0020】

イベント・オブジェクト１４５は多様なデータタイプを含む。好ましいイベント・オブジェクトは、メディア・オブジェクト、又はことによるとマルチメディア・オブジェクトを含む。イベント・オブジェクト１４５に組み込むことができる例示的なデータタイプは、音声データ、ビデオデータ、画像データ、モーションデータ、加速度データ、温度データ、位置データ、時間データ、メタデータ、識別データ、好みデータ、ゲームデータ、センサデータ、セキュリティデータ、又は他のタイプのデータを含む。

【0021】

イベント・オブジェクト１４５に関してさらに理解しやすくするために、イベント・オブジェクト１４５は、「回想する」又は「思い出す」ことができる１つ以上のイベント又は出来事の表現とみなすことができる。アーカイブする又は検索することができる例示的な出来事は、パーティ、コンサート、スポーツイベント、ニュースイベント、プロジェクトタスク、アクシデント、又は他のタイプの出来事を含むことができる。いくつかの実施形態では、イベント・オブジェクト１４５は、文脈周囲データ（ｃｏｎｔｅｘｔｕａｌ ａｍｂｉｅｎｔ ｄａｄａ）（例えば、センサデータ）に基づいて又はユーザにより供給されるデータ（例えば、カレンダ）に基づいて自動的に分類することができる。

【0022】

イベント・オブジェクト１４５の文脈自動作成の例として、人が結婚式に参加するシナリオを考える。イベント・アーカイビング・エンジン１３０は、人のセルフォンからデータフィードを得ることができ、データフィードは、ＧＰＳセンサからの地理位置データ、タイムスタンプデータ、ビデオデータ、ユーザＩＤ（例えば、電話番号、ＩＰアドレス、電子メールアドレス、ユーザ名など）、又は他のセンサフィードデータを含む。イベント・アーカイビング・エンジン１３０は、ことによると他のソースから入手可能な外部情報と共に、データフィードを受信する。例えば、外部情報は、「結婚式に参加する」の形態のテキストを有する人のカレンダ内のエントリを含むこともできる。データフィード及び外部情報は、イベント・オブジェクト１４５のうちの１つ以上のインスタンス化を自動的にトリガすることができる。対応する結婚式イベント・オブジェクトは、結婚式の時間、結婚式の場所、及び出来事を祝うコンテンツの１つ以上の部分を含むこともできる。したがって、イベント・アーカイビング・エンジン１３０は、出来事コンテンツをイベント・オブジェクト１４５としてインスタンス化させる基準をトリガする文脈を含むメモリに格納される１つ以上のルールセットを含むことができる。

【0023】

イベント・オブジェクト１４５は、イベントデータベース１４０に格納することができる。イベントデータベース１４０は、デバイス１６０Ａ内、イベント・アーカイビング・エンジン１３０内、又はこの両方のデバイスの外部に収納することができ、若しくはネットワーク１１５上の遠隔の場所に配置することができる。いくつかの実施形態では、イベントデータベース１４０は、サーチエンジン、ＣＲＭシステム、又は他のタイプのデータ検索システムの一部とすることができる。

【0024】

イベント・アーカイビング・エンジン１３０はまた、タイムラインをタイムライン・オブジェクト１５５によって表される別個のオブジェクトとして管理することができ、タイムラインは、時間で順序付けられるイベント・オブジェクト１４５を含む。したがって、タイムライン・オブジェクト１５５は、人生の間に起こる興味深いイベントを表すことができる。いくつかのポイントを理解されたい。第１に、タイムラインは、要望に応じてセグメント化することができる。例示的なセグメント化は、ライフステージ、年、月、日、又は他のタイムスパン又は基準に基づくタイムラインのセグメント化を含むことができる。第２に、タイムラインは、ことによるとペット、人、場所、建造物、車両、会社、動物、組織、グループ、家族、学校、卒業アルバム、又は他のタイプのエンティティを含むあらゆるエンティティと関連付けることができる。第３に、タイムライン・オブジェクト１５５は、それらを編成、管理、分析、又は他の方法で操作することができるそれら独自の属性を含むことができる。例えば、タイムラインは、位置情報又はユーザ識別情報によって区別することができる。このような場合、イベント・アーカイビング・エンジン１３０は、ＧＰＳ座標に関係するすべてのタイムライン・オブジェクト１５５の人口統計学的分析を提供することができる可能性があり、又はタイムラインが空間座標又は位置座標並びにタイムスタンプ座標によって編成される空間タイムラインを生み出すこともできる。

【0025】

イベント・オブジェクト１４５と同様に、タイムライン・オブジェクト１５５は、タイムライン・データベース１５０に格納することができ、そこでタイムライン・オブジェクト１５５を検索することができる。イベント・アーカイビング・エンジン１３０がイベント・オブジェクト１４５を処理する際に、イベント・アーカイビング・エンジン１３０は、１つ以上のタイムライン属性（例えば、ユーザＩＤ、地理位置、タイムラインのタイプなど）に基づいて所望のタイムライン・オブジェクト１５５を検索するためにタイムライン・データベース１５０に問い合わせることができる。

【0026】

示されるように、イベント・オブジェクト１４５は、１つ以上の記念オブジェクト１２０と関連付けることができ、これは、ユーザがイベント・オブジェクト１４５又はイベント・オブジェクト１４５に関連する情報を検索するために活用することができる。イベント・アーカイビング・エンジン１３０は、異なる技術に従って記念オブジェクト１２０にリンクされる又は登録されるべき１つ以上のイベント・オブジェクト１４５を選択することができる。いくつかのシナリオでは、ことによるとタイムライン上のタイムスパン内に入る又は地理位置属性値に基づくイベント・オブジェクト１４５の場合、イベント・オブジェクト１４５は、ランダムに選択される。他の実施形態では、イベント・オブジェクト１４５は、好み、ユーザ選択、投票、ランキング、又は他の技術を通じて選択することができる。

【0027】

記念オブジェクト１２０は、２Ｄオブジェクト（例えば、画像、写真、カード、ポスターなど）、３Ｄオブジェクト（例えば、物理的な物、フィギュア、車など）、又はさらには４Ｄオブジェクト（例えば、動くフィギュア、時間とともに変化するオブジェクト、複数の関連性の次元を有するオブジェクトなど）を含む広範なオブジェクトを含むことができる。好ましくは、記念オブジェクト１２０は、記念オブジェクト１２０のデジタル表現１２３に基づいてイベント・アーカイビング・エンジン１３０によって認識することができる。デジタル表現１２３は、画像データ、ビデオデータ、音声データ、センサデータ、又は他のデータモダリティを含む種々の形態のデジタルデータを含むことができる。発明的な主題と共に用いるように適合させることができるオブジェクトを認識するのに用いることができる例示的な技術は、共有される米国特許第７，０１６，５３２号、第７，４７７，７８０号、第７，６８０，３２４号、及び第７，５６５，００８号で開示された技術を含む。

【0028】

イベント・アーカイビング・エンジン１３０は、記念オブジェクト１２０の認識可能な特徴のうちの１つ以上の組１２５を、選択されるイベント・オブジェクト１４５に登録する。図示される例では、イベント・オブジェクト１４５Ａが登録され、後でイベント・オブジェクト１４５Ｂとして検索される。デバイス１６０Ａと同じデバイスとすることもできるデバイス１６０Ｂは、記念オブジェクト１２０となる結婚指輪の画像を取り込む。デジタル表現１２３は、画像を含み、特徴の組１２５を生成するために、ことによるとデータのタイプに従って、イベント・アーカイビング・エンジン１３０によって分析される。特徴の組１２５は、次いで、イベント・オブジェクト１４５Ａに関する索引付け情報となり、タイムライン・オブジェクト１５５内の記念オブジェクト１２０に登録される。後の時点でイベント・アーカイビング・エンジン１３０が特徴の組１２５の少なくとも一部に再び遭遇するときに、イベント・アーカイビング・エンジン１３０は、イベント・オブジェクト１４５Ｂを検索し、対応する「思い出される」情報をデバイス１６０Ｂに戻すことができる。

【0029】

記念オブジェクト１２０がクリスマスカードを含む別の例示的な使用例を考える。エンジン１３０は、認識可能な特徴の組１２５（例えば、サイズ、形状、寸法、色、ＳＩＦＴ特徴、バーコード、エンコードされるデータ、エンコードされないデータ、記述子、フォント、カラーヒストグラム、又は他の属性）を生成するためにカードの特徴を分析することができる。特徴は、次いで、例えば前のクリスマスに対応するイベント・オブジェクト１４５に登録することができる。認識可能な特徴の組１２５は、イベント・オブジェクト１４５に関する索引付け情報を生成するのに用いることができる。いくつかの実施形態では、認識可能な特徴又は値は索引として用いられ、一方、他の実施形態では、認識可能な特徴は記念オブジェクト１２０を有効な記念オブジェクトとして認識するための根拠として用いられる。有効な記念オブジェクトは、次いで、タイムライン・オブジェクト１５５内の該当するイベント・オブジェクト１４５にアクセスするために索引付け情報と関連付けることができる。

【0030】

アーカイビング・エンジン１３０は、特徴の１つ以上の組１２５を導出するために記念オブジェクト１２０のデジタル表現１２３を分析することによって１つ以上のイベント・オブジェクト１４５を検索することができる。前の例を続けると、クリスマスカードを受け取った人は、カードを自分のセルフォン（例えば、デバイス１６０Ｂ）に映し出すことができる。カードは、アーカイビング・エンジン１３０が特徴の組１２５を介してカードを認識するように既に「アクティブ化」されており、特徴の組１２５は、ことによると計算される信頼レベル内の、記念カード・オブジェクトの認識可能な特徴のうちの１つ以上に対応する導出される特徴を含むことができる。アーカイビング・エンジン１３０は、対応するイベント・オブジェクト１４５Ｂを見つけるために特徴の組１２５又は認識された記念オブジェクトに関係した他の情報を用いる。次いで、イベント・オブジェクト１４５を、出力デバイス１６０Ｂ（例えば、セルフォン、ブラウザ、キオスク、器具、テレビなど）上に提示することができる。

【0031】

特徴の組１２５は、イベント１１０ではなく記念オブジェクト１２０のデジタル表現１２３から導出されることを理解されたい。この手法は、記念オブジェクト１２０からの特徴の組１２５をタイムライン・オブジェクト１５５内のイベント・オブジェクト１４５Ａに登録することを提供する。アーカイビング・エンジン１３０が同様の特徴に再び遭遇するときに、これは、イベント・オブジェクト１４５Ｂによって表される場合の登録されたイベント・オブジェクトを検索することができる。したがって、記念オブジェクト１２０は、イベント１１０を「思い出す」又は「回想する」ための根拠として役立つ。

【0032】

提示される主題と共に用いるように適合させることができるイベント・オブジェクト１４５を検索する又は提示するのに適する技術は、ストリーミングされるコンテンツを探索又は検索できるようにするＶｅｒｉｚｏｎ（登録商標）Ｖｉｅｗｄｉｎｉ（商標）を含む（ＵＲＬ ｎｅｗｓ．ｃｎｅｔ．ｃｏｍ／８３０１−１０２３＿３−５７４３９０５６−９３／ｖｅｒｉｚｏｎ−ｕｎｖｅｉｌｓ−ｖｉｅｗｄｉｎｉ−ｖｉｄｅｏ−ｓｅｒｖｉｃｅ−ｆｏｒ−ｍｏｂｉｌｅ−ｄｅｖｉｃｅｓ／参照）。Ｖｉｅｗｄｉｎｉは、イベント・オブジェクト１４５を検索するために記念オブジェクト１２０の特徴を認識できるように強化することができる。Ｖｉｅｗｄｉｎｉは、ユーザへの一連の利用可能なストリーミングされるイベントとしてタイムライン情報を提示するように適合させることができる。さらに、記念オブジェクト１２０を認識すると、Ｖｉｅｗｄｉｎｉは、タイムライン上の特定のイベント・オブジェクト１４５にジャンプし、ユーザがタイムライン上のユーザのリファレンスポイントを比較的より早い時間又は将来の時間に移動することによってシフトできるようにする「タイムシフト」機能を提供するように適合させることができる。例えば、タイムシフトするために、人が、記念オブジェクト１２０を、デバイス１６０Ｂの視野に対する種々の位置又は配向にシフトすることができる。おそらく、記念オブジェクト１２０を視野の右側におくことは、アーカイビング・エンジン１３０にタイムライン・オブジェクト１５５のイベント・オブジェクト１４５を早送りさせるかもしれない。同様に、記念オブジェクト１２０を視野の左側の近くにおくことは、アーカイビング・エンジン１３０にタイムライン・オブジェクト１５５のイベント・オブジェクト１４５を巻き戻させることもできる。さらにまた、イベント・オブジェクト１４５に提示されるコンテンツに基づいて１つのタイムライン・オブジェクト１５５から別のタイムライン・オブジェクトにジャンプできる可能性がある。例えば、２人の人がビデオイベント・オブジェクトに提示される場合、インターフェースは、ユーザがビデオの中の数人又はすべての人々に関連するタイムラインにジャンプできるようにすることができる。

【0033】

アーカイビング・エンジン１３０は、多くの技術を通じてイベント・オブジェクト１４５をインスタンス化するのに用いられるイベント１１０に関係したコンテンツを取得する又は他の方法で受信することができる。いくつかのシナリオでは、イベントコンテンツは、取り込みデバイス１６０Ａからアーカイビング・エンジン１３０にプッシュすることができる。代替的に、アーカイビング・エンジン１３０は、取り込みデバイス１６０Ａからイベントコンテンツを引き出すことができる。さらにまた、アーカイビング・エンジン１３０は、ことによるとネットワーク１１５上で、イベントコンテンツを自動的に、周期的に、又は他のトリガ条件で検索することができる。こうした手法は、適正な認証が与えられることを前提として、最小限のユーザ対話でタイムライン・オブジェクト１５５を自動構築できるようにする。

【0034】

イベント・オブジェクト１４５は、１つよりも多いタイムライン・オブジェクト１５５に結合することができることを理解されたい。例えば、誕生日会のビデオは、数人の個人の画像を含むことがある。アーカイブ・エンジン１３０は、ビデオ又はイベントコンテンツの中の個人又は他のオブジェクトを認識し、個人が各々のタイムラインを有するかどうかを判定することができる。その場合、適正に認証されることを前提として、アーカイビング・エンジン１３０は、イベント・オブジェクト１４５Ａを認識された個人のタイムラインに結合することができる。

【0035】

開示された主題は、中央アーカイビング・エンジンに関して提示されるが、エンジンの種々の役割又は責任を複数のデバイス間で分散させることができることを理解されたい。例えば、セルフォンは、記念オブジェクト１２０から特徴の組１２５を導出するために認識エンジンとして動作することができる。さらに、エンジン１３０は、複数のサーチエンジン、ネットワークインフラストラクチャ機器（例えば、スイッチ、ルータなど）、デバイス１６０Ａ又は１６０Ｂ、ソーシャルネットワークサービス、クラウドサービス、セットトップボックス、ゲーミングデバイス、又は他のデバイスを含む複数のコンピューティングデバイスにわたって分散することができる。

【0036】

人がコンサート又は他のイベントに参加する場合の使用例を考える。ユーザは、自分のスマートフォンを通じてコンサートに関連するデータを取り込む。取り込んだ情報は、会話の録音、バンドのビデオ、友達の画像、又は他のイベントコンテンツを含むこともできる。取り込んだデータは、アーカイビング・エンジン１３０を介してイベント・オブジェクト１４５に組み込むことができる。アーカイビング・エンジン１３０は、イベントコンテンツデータを、ことによるとタイムスタンプに基づいて、ユーザのタイムラインに割り当てる。さらに、アーカイビング・エンジン１３０は、位置データを入手できる場合にイベントコンテンツデータのうちのいくつか又はすべてを会場のタイムラインに割り当てることができる。いくつかの実施形態では、ユーザはまた、チケットをイベント１１０の記念オブジェクト１２０として登録するために自分のコンサートチケットの画像を取り込むこともできる。将来、ユーザがチケットを再び映し出すたびに、ユーザはイベント情報（例えば、会話、ビデオ、画像など）をすぐに回想することができる。

【0037】

記念オブジェクトは、アーカイビング・エンジン１３０若しくはアーカイビング・エンジン１３０を所有する又は動作させるものと接続される記念サービス（例えば、３Ｄプリンタ、ＣＮＣマシン、製造ウェブサイトなど）によって生産することができることも考慮される。記念サービスは、タイムライン・オブジェクト１５５のイベント・オブジェクト１４５に基づいて記念オブジェクト１２０を構築する又は製造するのにイベントデータを用いることができる。例えば、おそらく子供の誕生日のために、「トレーディングカード」の組を製造することができ、この場合、各カードは、子供の人生の最新の年の間のイベントに対応し、これにより「一年の振り返り」を形成する。各トレーディングカードは、人がカードの画像を取り込むことによって対応するイベントデータを得ることができるようにするためにアクティブ化させる（例えば、特徴の組１２５を記念オブジェクト１２０に登録する）ことができる。カードは、対応するイベントから得られる画像を含むことができる。別の例は、思い出の品、ことによると人形、アクションフィギュア、チャーム、プレート、ジュエリー、ゲームトークン、又は他のタイプのアイテムの生産を含むこともできる。いくつかの実施形態では、複数の個人が同じ記念オブジェクト１２０、例えば同じチャームを受け取ってもよい。こうした場合、イベント・オブジェクト１４５又はタイムライン・オブジェクト１５５は、ユーザ識別子、位置、デバイス識別子、又は他の因子を含むシステムで利用可能な付加的な情報に基づいて区別することができる。代替的に、各複製の記念オブジェクトは、同じイベント・オブジェクトを単に示す。

【0038】

図２は、タイムライン・オブジェクト２５５と、記念オブジェクト２２３と、総じてイベント・オブジェクト２４５と呼ばれるイベント・オブジェクト２４５Ａ〜２４５Ｎとの間の関係性を示す。タイムライン・オブジェクト２５５は、時間に従って順序付けられ、且つエンティティ（例えば、人、車両、建造物、場所など）と関連付けられる、イベントを表す。タイムライン・オブジェクト２５５はまた、説明されるエコシステム内の別個の管理可能なオブジェクトとすることができ、タイムライン・オブジェクト２５５は、インスタンス化する、移動させる、コピーする、分岐する、削除する、インベントリ化する、又は他の方法で管理することができる。さらに、システムのタイムライン・オブジェクト２５５又は他のオブジェクトは、一時的でないコンピュータ可読媒体上に格納することができる。

【0039】

タイムライン・オブジェクト２５５は、タイムライン・オブジェクト２５５の管理を助ける多くの特徴を含むことができる。いくつかのより好ましい実施形態では、タイムライン・オブジェクト２５５は、タイムライン・オブジェクト２５５の性質を記述する１つ以上のタイムライン属性を含むことができる。例示的な属性は、タイムラインの識別子、所有者ＩＤ（例えば、ユーザ名、キー、トークンなど）、タイムライン型識別子（例えば、個人タイムライン、建造物タイムライン、場所タイムラインなど）、他のタイムラインへのポインタ又は参照、ユーザ人口統計、イベント・オブジェクトカウント、時間の範囲、場所又は位置、又は他の属性を含むことができる。エンティティがタイムライン・オブジェクト２５５にアクセスする又はこれを管理する際に、エンティティは、タイムライン・データベースに１つ以上のクエリを提出することによってタイムライン・オブジェクト２５５を検索することができ、クエリは、タイムライン属性に関して定義することができる。例えば、地理位置座標の組及び１８〜３４歳の男性に関連付けられるすべてのタイムライン・オブジェクト２５５を検索することもできる。

【0040】

タイムライン・オブジェクト２５５は、記念オブジェクト２２３に関係した認識可能な特徴のうちの１つ以上の組を表わすインデックス情報をさらに含むことができる。索引付け情報は、認識特徴の関数として定義される種々の受入認識基準を含むことができ、基準は、対応するイベント・オブジェクトにアクセスするために満たされるべき満足条件又は要件を示す。したがって、タイムライン・オブジェクト２５５は、イベント・オブジェクト２４５を指す認識特徴の組を格納するミニ又はマイクロオブジェクト認識データベースとみなすことができる。示されるように、索引付け情報は、スケール不変特徴（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ）（例えば、ＳＩＦＴ。Ｌｏｗｅ他の米国特許第６，７１１，２９３号参照）、コーナー検出特徴（例えば、ＦＡＳＴ。ＵＲＬ ｗｗｗ．ｅｄｗａｒｄｒｏｓｔｅｎ．ｃｏｍ／ｗｏｒｋ／ｆａｓｔ．ｈｔｍｌ参照）、視覚パターン認識特徴（例えば、Ｅｖｏｌｕｔｉｏｎ ＲｏｂｏｔｉｃｓからのＶｉＰＲ（登録商標）；ｖＳＬＡＭ。Ｋａｒｌｓｓｏｎの米国特許７，０１５，８３１参照、など）、音声パターン認識特徴、光学文字認識特徴、又は他の認識特徴を含むことができる。各特徴の組はまた、タイムラインの対応するイベント・オブジェクト２４５を参照する１つ以上のポインタを含むことができる。さらに、索引付け情報は、アーカイビング・エンジンが対応するイベント・オブジェクトを検索するために満たされるべき条件を含むことができる。

【0041】

タイムライン・オブジェクト２５５はまた、イベントが時間に従って順序付けられるタイムラインを含む。図示される例では、タイムラインは、いくつかのイベントがすでに定まっている、生まれてから死ぬまででの人のタイムラインを表す。タイムライン内のイベントは、タイムライン内で構築する実際のデータとして表すことができ、又は示されるようにイベント・オブジェクト２４５として外部的に格納することができる。イベント・オブジェクト２４５がタイムライン・オブジェクト２５５の外部にあるときに、タイムラインは、イベント・オブジェクト２４５へのリンク又は他のポインタと共に構築することができる。例えば、ＥＯ＿Ｌｉｎｋによって表されるポインタは、対応するイベント・オブジェクト２４５が格納される場所を決めるＵＲＬ、ＵＲＩ、ネットワークアドレス、デジタルオブジェクト識別子（ＤＯＩ）、イベントＧＵＩＤ、索引キー、又は他のアドレスを含むこともできる。

【0042】

いくつかの実施形態では、タイムライン・オブジェクト２５５は、ことによるとエンティティのタイプに対応するテンプレート・タイムラインに基づいてインスタンス化することができる。このようなシナリオでは、タイムラインは、イベント・オブジェクトに関するプレースホルダと共に適正な線引き（例えば、秒、分、時間、日、週、月、年など）を有するように先験的に（ａ ｐｒｉｏｒｉ）作成することができる。タイムライン・オブジェクト２５５は、タイムラインの１つの可能な構造を表すことをさらに理解されたい。代替としては、イベント・オブジェクトの順序付けられたリンクリストを作成すること又はイベント・オブジェクト２４５へのポインタの順序リストを作成することが挙げられる。

【0043】

イベント・オブジェクト２４５Ａは、イベント・オブジェクトの可能な構造として提示される。イベント・オブジェクト２４５Ａは、対応するイベントの性質を記述するイベント属性を含むことができる。タイムライン属性と同様に、イベント属性は、種々のコンピューティングデバイスがイベント属性ベースのクエリを用いてイベント・オブジェクト２４５を探索することを可能にする。例示的なイベント属性は、イベントＩＤ、イベント・オブジェクトＩＤ、所有者ＩＤ、イベントタイプＩＤ、関係するタイムライン・オブジェクトへのポインタ又はリンク、他のイベント・オブジェクトへのポインタ、タイムスタンプ、場所スタンプ、又は他のタイプの属性を含むことができる。さらに、イベント・オブジェクト２４５は、イベントコンテンツ又はイベントコンテンツへのリンクを含むことができる。例えば、イベント・オブジェクト２４５Ａは、実際のコンテンツと共にインスタンス化されてもよく、画像データ、音声データ、ビデオデータ、外部コンテンツへのリンク、又は他のタイプのコンテンツデータを含むこともできる。

【0044】

図３は、エンティティが記念オブジェクトの認識特徴の組をイベントコンテンツに登録することができる、イベント情報を検索する方法３００を表す。エンティティは、次いで、記念オブジェクトを、イベントコンテンツを検索するための基礎として用いることができる。記念オブジェクトは、少なくとも二次元（例えば、陰影、画像、写真、絵など）、三次元（例えば、アクションフィギュア、顔、指輪、動画など）、四次元（例えば、可動アクションフィギュア、可動車両など）、又はより多くの関連性の次元を含むこともできる実世界の物理的オブジェクトを表すことを理解されたい。

【0045】

ステップ３１０は、コンピューティングデバイスをイベント・アーカイビング・エンジンとして動作するように構成することを含む。例示的なコンピューティングデバイスは、サーバ、ワークステーション、セルフォン、キオスク、器具、車両、サーチエンジン、ＣＲＭシステム、又は他のタイプのコンピューティングデバイスを含むことができる。コンピューティングデバイスは、コンピューティングデバイスのメモリ内の命令の１つ以上の組のインストールを通じて構成することができ、命令は、コンピューティングデバイスのプロセッサに方法３００の種々のステップを実行させる。例えば、セルフォンは、適切に構成されたアプリをセルフォンにインストールすることによって個人イベント・アーカイビング・エンジンを動作させるように構成することができる。他の実施形態では、ユーザは、イベント情報をアーカイブする及び検索する有料サービスとして動作するリモートサーバと係合するために自分のパーソナルコンピューティングデバイスを用いてもよい。さらに、１つ以上のコンピューティングデバイスは、イベント・アーカイビング・エンジンのサービスへのアクセスを支援するために、以下のインターフェース、すなわち、アプリケーションプログラム・インターフェース、サーチエンジン・インターフェース、ソーシャルネットワーク・インターフェース、メモリアクセス・インターフェース、セルフォン・インターフェース、ブラウザ・インターフェース、センサ・インターフェース、又はエンジンにアクセス可能にする他のインターフェースのうちの少なくとも１つにアクセスするようにプログラムすることができる。

【0046】

ステップ３２０は、時間の中での出来事を表わすイベント・オブジェクトを受信することを含む。例示的なイベントは、パーティ、コンサート、スポーツイベント、アクシデント、医学的緊急事態、仮想世界のイベント、ゲームイベント、又は他のタイプの出来事を含む。イベント・オブジェクトは、複数の技術を通じて得ることもできる。いくつかの実施形態では、イベント・オブジェクトは、出来事を反映するイベントコンテンツからインスタンス化される。他の実施形態では、イベント・オブジェクトのデータベースからイベント・オブジェクトを検索することができる。

【0047】

人がスポーツイベントを「回想する」ことを望む場合の例を考える。イベント・アーカイビング・エンジンがイベント・オブジェクトを受信することができる複数の選択肢を、人に提示することもできる。前述のように、イベント・オブジェクトは、種々のタイプのマルチメディアデータを有するメディア・オブジェクトを含むことができる。例示的なマルチメディアデータは、音声データ、ビデオデータ、画像データ、モーションデータ、加速度データ、温度データ、位置データ、時間データ、メタデータ、識別データ、好みデータ、ゲームデータ、セキュリティデータ、又は他のタイプのデータを含む。ステップ３２１は、イベント・オブジェクトをイベント・アーカイビング・エンジンにプッシュすることを含むこともできる。例えば、人が自分のセルフォンを介してスポーツイベントから画像、音声、又は他のデータを取り込む際に、セルフォンは、イベントデータをイベント・オブジェクトにパッケージし、イベント・オブジェクトをその関連するイベントコンテンツデータと共にイベント・アーカイビング・エンジンにプッシュすることができる。代替的に、ステップ３２３は、イベント・アーカイビング・エンジンがセルフォン又は他のコンピューティングデバイスからイベント・オブジェクトを引き出すことを含むこともでき
る。ステップ３２５は、おそらくイベントデータに提出される文脈クエリに基づいてイベント・オブジェクトを自動的に受信することを含むこともできる。イベント・オブジェクトは、必要なとき又は要求されるときに、ステップ３２７によって提案されるようにネットワーク上で受信することができることを理解されたい。

【0048】

ステップ３３０は、イベント・オブジェクトをエンティティに関連するタイムラインに結合することを含み、タイムラインは、時間に従って編成される複数のイベント・オブジェクトを含む。エンティティは、人、動物、会社、組織、グループ、家族、学校、卒業アルバム、建造物、車両、又は他のタイプのエンティティを含むこともできる。イベント・オブジェクトは、ことによるとユーザ・インターフェースを通じて、タイムラインに自動的に又は手動で結合することができる。各タイムラインは、ライフタイム、ライフステージ、年、月、週、日、時間、又は他の一時的セグメント化に基づく時間の境界を含むことができる。人のタブレットコンピュータが、ウィットネス（ｗｉｔｎｅｓｓｅｄ）・タイムライン・オブジェクトをおそらく毎日自動的に構築する、個人のウィットネス（例えば、イベント・アーカイビング・エンジン）として動作するシナリオを考える。日、週、又は月の全体を通して、タブレットは、人のイベントの画像を取り込む。タブレットは、イベント・オブジェクトを作成するのに画像を用い、画像をイベント・オブジェクトとしてウィットネス・タイムライン・オブジェクトに結合することによってタイムラインを自動的に構築することができる。イベント・オブジェクトが到着する際に、タブレットは、ステップ３３５によって提案されるように、イベント・オブジェクトをそれらの出来事に従ってタイムラインに配置することができる。したがって、タイムライン・オブジェクトは、時間順の又はさらにはスペース順であり得るイベントのリストを作り上げる。さらに、エンジンは、おそらくイベント・オブジェクトのイベントコンテンツデータ内のオブジェクトを認識することに基づいて、イベント・オブジェクトを複数のタイムラインに結合することができる。例として、イベント・オブジェクトは、数人の友達の画像又は写真を含むこともできる。認識プラットフォームとして動作するイベント・アーカイビング・エンジンは、各友達の顔を認識し、次いで、イベント・オブジェクトを画像と共に認識された各人のタイムラインに結合することができる。

【0049】

イベント・オブジェクトを記念に登録することに備えて、ステップ３４０は、タイムラインに結合されたイベント・オブジェクトから、選択されるイベント・オブジェクトを選択することを含む。選択されるイベント・オブジェクトは、選択前のタイムラインから先験的に独立していることもできることを理解されたい。したがって、ステップ３３０は、ステップ３４０の選択プロセスの後で行うこともできる。イベント・オブジェクトは、種々の技術を通じて選択することができる。通常、ユーザは、イベントコンテンツデータ（例えば、画像、音声、ビデオ、温度、バイオメトリクスなど）に基づいてイベント・オブジェクトをインスタンス化させるであろう。さらに、ユーザ又は他のエンティティは、ステップ３４３によって提案されるように、イベント・オブジェクトを探索することもできる。例えば、タイムラインは、多くの先験的に結合されたイベント・オブジェクトを含んでもよい。後の時点で、ユーザは、指定されたタイムスタンプ、コンテンツ、又は他の必要な属性を有するタイムライン内のイベント・オブジェクトを探索することができる。

【0050】

ステップ３４１によって提案されるように、選択されるイベント・オブジェクトを第２の異なるタイムラインに基づいて選択することができることも考慮される。２人の個人が別々の個別のタイムラインを有し、且つ共通のイベント、例えば医学的緊急事態に関与するシナリオを考える。双方の個人は、彼らのそれぞれのタイムラインにイベント・オブジェクトを作成することがある。１人の個人が、負った傷跡の画像に基づいて回想できるイベントを作成することを望み、且つ２つのタイムライン間で重なるイベントベースのイベント・オブジェクトを選択することを望むことがある。こうした手法は、患者と医療ケア提供者との間で共有される医療タイムラインを構築するときに有利とみなされるであろう。

【0051】

いくつかのタイムラインは、イベントに関連する実質的に同様のタイムスタンプを有する多くのイベント・オブジェクトを含むことが考慮される。例えば、誕生日会は、短いタイムスパン内で撮影される１００枚の写真を含むこともできる。こうした状況では、ステップ３４５は、ことによると利用可能なイベント・オブジェクトの組から、選択されるイベント・オブジェクトをランダムに選択することを含むことができる。加えて、選択されるイベント・オブジェクトは、利用可能なイベント・オブジェクトの組をさらに制限することもできる付加的な基準に基づいて選択することもできる。おそらく、選択されるイベント・オブジェクトは、ステップ３４７によって提案されるように、タイムライン上の指定されたタイムスパン内のイベント・オブジェクトから選択される。誕生日の例に戻って言及すると、ユーザは、特に興味深いサブイベント（例えば、ろうそくを吹き消す、プレゼントを開けるなど）のあたりのタイムスパンを指定してもよい。タイムスパンは、相対的時間（例えば、或る時点プラス又はマイナス）に基づいて又は絶対的時間（例えば、開始時間から終了時間まで）に基づいて定義することができる。

【0052】

ステップ３６０は、タイムラインの索引付け情報を記念オブジェクトに関係した認識可能な特徴の組に基づいて選択されるイベント・オブジェクトに登録することを含むことができる。認識可能な特徴の組は、選択されるイベント・オブジェクトをタイムラインから検索することができる１つ以上の索引とみなすことができる。認識可能な特徴の組は、記念オブジェクトのデジタル表現に１つ以上のアルゴリズムを適用することによって導出することができる。デジタル表現内の画像データに関して、例示的なアルゴリズムは、ＳＩＦＴ、ＦＡＳＴ、ＶｉＰＲ、ＢＲＩＳＫ、ＯＣＲ、又は他の画像処理アルゴリズムを含むこともできる。ビデオデータは、同様の画像処理アルゴリズム、ｖＳＬＡＭ、ビデオコンテンツ分析（Ｖｉｊｖｅｒｂｅｒｇ他による「Ｔｗｏ ｎｏｖｅｌ ｍｏｔｉｏｎ−ｂａｓｅｄ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｓｕｒｖｅｉｌｌａｎｃｅ ｖｉｄｅｏ ａｎａｌｙｓｉｓ ｏｎ ｅｍｂｅｄｄｅｄ ｐｌａｔｆｏｒｍｓ ｐｒｏｈｉｂｉｔｅｄ」参照、ＵＲＬ ｄｘ．ｄｏｉ．ｏｒｇ／１０．１１１７／１２．８５１３７１参照）、又は他のビデオ処理アルゴリズムによって処理することもできる。デジタル表現の音声データからの特徴は、動的時間伸縮法、隠れマルコフモデル、ニューラルネットワーク、又は他のアルゴリズムを用いる自動スピーチ認識（ＡＳＲ）に基づいて抽出することができる。認識可能な特徴の組は、記念オブジェクトのデジタル表現の種々のモダリティと整合する特徴を含むことができることを理解されたい。認識可能な特徴の組は、デジタル表現から導出可能な音声データ特徴、画像データ特徴、色、形状、関連性の次元、メイク、モデル、エンコードされるデータ、エンコードされない情報、テクスチャ、又は他の情報を含むことができる。したがって、認識可能な特徴の組は、ベクトルとして表わすことができる可能性があり、ベクトルの各部材は、異なるモダリティ（例えば、画像、音声、ビデオ、空間的、時間的、温度など）を表す。さらに、ベクトルの各部材は、該当する特徴のリストを含むこともできる。認識可能な特徴の組はまた、認識成功「ヒット」を判定するために特徴に関して満たされるべき１つ以上の基準を含むことができる。例えば、記念オブジェクトを表すのに画像データだけが用いられ、特徴の組がＳＩＦＴ特徴だけを含む場合、認識基準は、特徴のうちの少なくとも７５％が、認識され、対応するイベント・オブジェクトの検索をトリガするべき記念オブジェクトに関して存在しなければならないことを要求することがある。認識基準は、イベント・アーカイビング・エンジンによって、ユーザによって、又は他の技術によって自動的に判定することができる。

【0053】

ステップ３６５は、認識可能な特徴の組に従って選択されるイベント・オブジェクトに索引付けすることを含むことができる。選択されるイベント・オブジェクトは、認識可能な特徴の組のうちの１つ以上のメンバーを索引として用いることにより選択されるイベント・オブジェクトをイベントデータベース内に格納することによって索引付けすることができる。さらに、タイムラインは、タイムライン自体が、少なくとも或る程度、小さい認識データベースとして動作し、イベント・アーカイビング・エンジンが同様の認識可能な特徴に遭遇することに基づいてイベント・オブジェクトを検索する様態で、索引として認識可能な特徴の組と共に更新することができる。選択されるイベント・オブジェクトは、タイムラインに統合することができ、若しくはポインタ又はリンク（例えば、ネットワークアドレス、ＧＵＩＤなど）を通じてタイムラインによって参照することができる。

【0054】

ステップ３７０は、記念オブジェクトのデジタル表現から導出される少なくとも１つの導出される特徴から少なくとも部分的に得られる索引付け情報を介して、選択されるイベント・オブジェクトをタイムラインから検索することを含み、導出される特徴は、認識可能な特徴の組における認識可能な特徴に対応する。例えば、後の時点でエンティティがイベント・オブジェクトを回想する又は思い出すことを望むときに、彼らはイベント・オブジェクトが登録されている記念オブジェクトの新しいデジタル表現を取り込むことができる。アーカイビング・エンジンは、１つ以上の導出される特徴を得るために新しいデジタル表現に１つ以上のアルゴリズム（例えば、ＳＩＦＴ、ＢＲＩＳＫ、ＦＡＳＴ、ｖＳＬＡＭなど）を適用する。認識可能な特徴と同様に、導出される特徴は、新しいデジタル表現から導出可能な音声データ特徴、画像データ特徴、色、形状、関連性の次元、メイク、モデル、エンコードされるデータ、エンコードされない情報、属性、テクスチャ、場所、時間、又は他の特徴を含むことができる。エンジンは、次いで、類似の認識可能な特徴に基づいて索引付されている登録されたイベント・オブジェクトをタイムラインに問い合わせるために１つ以上の導出される特徴を用いる。いくつかの実施形態では、ステップ３７５によって提案されるように、タイムラインは、イベント・アーカイビング・エンジンを、導出される特徴に対応する登録された認識可能な特徴を有するイベント・オブジェクトに関してタイムラインを探索するイベントサーチエンジンとして構成するとみなすことができる。したがって、イベント・アーカイビング・エンジンは、記念に基づいてイベント・オブジェクトを「回想する」又は「思い出す」ことができる。イベント・オブジェクトを検索するのに用いられる索引付け情報は、イベント・オブジェクト自体のコンテンツではなく記念オブジェクトに関係することを理解されたい。

【0055】

ステップ３５０は、随意的に、選択されるイベント・オブジェクトに基づいて記念オブジェクトを生産することを含むことができる。いくつかの実施形態では、イベント・アーカイビング・エンジンは、提案された記念オブジェクトに関する１つ以上の推奨を提供することができる。例えば、イベント・アーカイビング・エンジンがイベントコンテンツデータ、おそらくは画像データを受信する際に、アーカイビング・エンジンは、実世界オブジェクトを構築するために１つ以上の画像を選択することができる。おそらく、画像データは、ユーザに送ることができる写真、キーチェーン、画像、カード、置物、デバイス、可動オブジェクト（例えば、アクションフィギュア、ボブルヘッドなど）、又は他の物理的アイテムを作製するのに用いることができる。こうした手法は、エンティティが記憶を強化するためにそれらの記念を特定のイベントに合わせる又はカスタマイズすることを可能にするので有利とみなされる。

【0056】

本発明の発明概念から逸脱することなく既に説明したもの以外の多くのさらなる修正が可能であることが当業者には明らかであろう。したがって、発明的な主題は、付属の請求項の範囲内以外に制約されない。さらに、明細書と特許請求の範囲との両方を解釈するにあたり、すべての用語は、文脈と一致する最も広い可能な様態で解釈されるべきである。特に、含む（「ｃｏｍｐｒｉｓｅｓ」及び「ｃｏｍｐｒｉｓｉｎｇ」）という用語は、要素、コンポーネント、又はステップを排他的でない様態で指すものとして、且つ言及される要素、コンポーネント、又はステップが、明確に言及されない他の要素、コンポーネント、又はステップに存在し得る、又はこれらと共に用いられ得る、又はこれらと組み合わされ得ることを示すものとして解釈されるべきである。明細書及び請求項が、Ａ、Ｂ、Ｃ・・・、及びＮからなる群から選択されたもののうちの少なくとも１つに言及する場合、その文は、Ａ＋Ｎ又はＢ＋Ｎなどではなく該群からの１つだけの要素を求めるものとして解釈されるべきである。

【図1】

【図2】

【図3】