特許 7379326 アプリケーションエコシステムを備える、ウェアラブルマルチメディアデバイス及びクラウドコンピューティングプラットフォーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-06

(45)【発行日】2023-11-14

(54)【発明の名称】アプリケーションエコシステムを備える、ウェアラブルマルチメディアデバイス及びクラウドコンピューティングプラットフォーム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20231107BHJP

   H04N 21/233 20110101ALI20231107BHJP

   H04N 21/258 20110101ALI20231107BHJP

   H04N 23/60 20230101ALI20231107BHJP

【ＦＩ】

H04N21/234

H04N21/233

H04N21/258

H04N23/60 300

【請求項の数】 20

(21)【出願番号】P 2020512774

(86)(22)【出願日】2018-05-10

(65)【公表番号】

(43)【公表日】2020-07-02

(86)【国際出願番号】 US2018032089

(87)【国際公開番号】W WO2018209105

(87)【国際公開日】2018-11-15

【審査請求日】2021-05-10

(31)【優先権主張番号】62/504,488

(32)【優先日】2017-05-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519402074

【氏名又は名称】ヒューメイン・エルエルシー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】イムラン・エー・チャウドリ

(72)【発明者】

【氏名】ベサニー・ボンジョルノ

(72)【発明者】

【氏名】シャザド・チャウドリ

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１１－２３９１４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３３５５０６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／０２４５９４４（ＵＳ，Ａ１）

【文献】特開２００９－２３９４６６（ＪＰ，Ａ）

【文献】特開２００２－１３３５８８（ＪＰ，Ａ）

【文献】特開２０１７－０１６０５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｎ ２３／００ － ２３／９５９

(57)【特許請求の範囲】

【請求項1】

方法であって、
クラウドコンピューティングプラットフォームの１つ以上のプロセッサによって、ウェアラブルマルチメディアデバイスからのコンテキストデータを受信することであって、前記ウェアラブルマルチメディアデバイスが、前記コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含む、受信することと、
前記１つ以上のプロセッサによって、前記コンテキストデータ及びユーザの要求した処理の１つ以上の特性に基づいて、１つ以上のアプリケーションを含むデータ処理パイプラインを作成することであって、前記データ処理パイプラインは複数のデータストリームからストリームを前記１つ以上のアプリケーションのそれぞれのアプリケーションに送信する、作成することと、
前記１つ以上のプロセッサによって、前記データ処理パイプラインを通して前記コンテキストデータを処理することと、
前記１つ以上のプロセッサによって、前記データ処理パイプラインの出力を、前記ウェアラブルマルチメディアデバイス又は前記出力を提示するための他のデバイスに送信することと、を含む、方法。

【請求項2】

前記コンテキストデータが、ビデオ及びオーディオを含み、前記処理が、
前記オーディオが発話の形態でユーザ要求を含むと判定することと、
前記発話をテキストに変換することと、
前記テキストをビデオプロセッサに送信することと、
前記テキストに少なくとも部分的に基づいて、前記ビデオ内のオブジェクトを識別することと、
コンテキストデータが補足された位置情報を含む場面説明、及び前記ビデオの場面内のオブジェクトの説明を生成することと、
前記場面説明を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１に記載の方法。

【請求項3】

前記コンテキストデータが、ビデオ及びオーディオを含み、前記処理が、
前記オーディオが発話の形態でユーザ要求を含むと判定することと、
前記発話をテキストに変換することと、
前記テキストを輸送サービスプロセッサに送信することと、
前記テキストに従って、データ構造を受信することと、
輸送ステータスを確認するようにコールバックをセットアップすることと、
前記輸送ステータス及び車両の説明を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１に記載の方法。

【請求項4】

前記コンテキストデータが、ビデオ及びポイントクラウドデータを含み、前記１つ以上のアプリケーションが、仮想現実（virtual reality、ＶＲ）又は拡張現実（augmented reality、ＡＲ）アプリケーションを含み、前記処理が、
前記ＶＲ又はＡＲアプリケーションによって、前記ビデオに基づいて、ＶＲ又はＡＲコンテンツを生成することと、
前記ＶＲ又はＡＲコンテンツを前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１に記載の方法。

【請求項5】

前記１つ以上のアプリケーションが、人工知能アプリケーションを含み、前記処理が、
前記人工知能アプリケーションによって、ユーザ要求の過去の履歴からユーザの好みを判定することと、
前記１つ以上のアプリケーションによって、前記ユーザの好みに従って、前記コンテキストデータを処理することと、を更に含む、請求項１に記載の方法。

【請求項6】

前記コンテキストデータが、１つ以上の画像を含み、前記１つ以上のアプリケーションが、位置特定アプリケーションを含み、前記処理が、
前記位置特定アプリケーションによって、前記１つ以上の画像に基づいて、前記ウェアラブルマルチメディアデバイスの位置を判定することと、
前記位置を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１に記載の方法。

【請求項7】

前記コンテキストデータが、金融取引の金融取引データ、生物測定データ、及び前記金融取引の位置を指標する位置データを含み、前記１つ以上のアプリケーションが、金融アプリケーションを含み、前記処理が、
前記金融アプリケーションによって、前記金融取引データ、生物測定データ、及び位置データに基づいて、前記金融取引の金融記録を作成することと、
前記金融記録を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１に記載の方法。

【請求項8】

前記コンテキストデータが、環境センサデータを含み、前記１つ以上のアプリケーションが、環境アプリケーションを含み、前記処理が、
前記環境アプリケーションによって、環境センサデータに基づいて、前記ウェアラブルマルチメディアデバイスの動作環境に関連付けられたコンテンツを生成することと、
前記コンテンツを前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１に記載の方法。

【請求項9】

前記コンテキストデータが、ビデオ及びオーディオを含み、前記１つ以上のアプリケーションが、ビデオ編集アプリケーションを含み、前記処理が、
特定の映画様式に対するユーザ要求又はユーザの好みに従って、前記ビデオ及びオーディオを編集することと、
前記編集されたビデオ及びオーディオを前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１に記載の方法。

【請求項10】

システムであって、
１つ以上のプロセッサと、
命令を記憶するメモリであって、前記命令が、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
クラウドコンピューティングプラットフォームの１つ以上のプロセッサによって、ウェアラブルマルチメディアデバイスからのコンテキストデータを受信することであって、前記ウェアラブルマルチメディアデバイスが、前記コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含む、受信することと、
前記１つ以上のプロセッサによって、前記コンテキストデータ及びユーザの要求した処理の１つ以上の特性に基づいて、１つ以上のアプリケーションを含むデータ処理パイプラインを作成することであって、前記データ処理パイプラインは複数のデータストリームからストリームを前記１つ以上のアプリケーションのそれぞれのアプリケーションに送信する、作成することと、
前記１つ以上のプロセッサによって、前記データ処理パイプラインを通して前記コンテキストデータを処理することと、
前記１つ以上のプロセッサによって、前記データ処理パイプラインの出力を、前記ウェアラブルマルチメディアデバイス又は前記出力を提示するための他のデバイスに送信することと、を含む動作を実施させる、システム。

【請求項11】

前記コンテキストデータが、ビデオ及びオーディオを含み、前記処理が、
前記オーディオが発話の形態でユーザ要求を含むと判定することと、
前記発話をテキストに変換することと、
前記テキストをビデオプロセッサに送信することと、
前記テキストに少なくとも部分的に基づいて、前記ビデオ内のオブジェクトを識別することと、
コンテキストデータが補足された位置情報を含む場面説明、及び前記ビデオの場面内のオブジェクトの説明を生成することと、
前記場面説明を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１０に記載のシステム。

【請求項12】

前記コンテキストデータが、ビデオ及びオーディオを含み、前記処理が、
前記オーディオが発話の形態でユーザ要求を含むと判定することと、
前記発話をテキストに変換することと、
前記テキストを輸送サービスプロセッサに送信することと、
前記テキストに従って、データ構造を受信することと、
輸送ステータスを確認するようにコールバックをセットアップすることと、
前記輸送ステータス及び車両の説明を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１０に記載のシステム。

【請求項13】

前記コンテキストデータが、ビデオ及びポイントクラウドデータを含み、前記１つ以上のアプリケーションが、仮想現実（ＶＲ）又は拡張現実（ＡＲ）アプリケーションを含み、前記処理が、
前記ＶＲ又はＡＲアプリケーションによって、前記ビデオに基づいて、ＶＲ又はＡＲコンテンツを生成することと、
前記ＶＲ又はＡＲコンテンツを前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１０に記載のシステム。

【請求項14】

前記１つ以上のアプリケーションが、人工知能アプリケーションを含み、前記処理が、
前記人工知能アプリケーションによって、ユーザ要求の過去の履歴からユーザの好みを判定することと、
前記１つ以上のアプリケーションによって、前記ユーザの好みに従って、前記コンテキストデータを処理することと、を更に含む、請求項１０に記載のシステム。

【請求項15】

前記コンテキストデータが、１つ以上の画像を含み、前記１つ以上のアプリケーションが、位置特定アプリケーションを含み、前記処理が、
前記位置特定アプリケーションによって、前記１つ以上の画像に基づいて、前記ウェアラブルマルチメディアデバイスの位置を判定することと、
前記位置を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１０に記載のシステム。

【請求項16】

前記コンテキストデータが、金融取引の金融取引データ、生物測定データ、及び前記金融取引の位置を指標する位置データを含み、前記１つ以上のアプリケーションが、金融アプリケーションを含み、前記処理が、
前記金融アプリケーションによって、前記金融取引データ、生物測定データ、及び位置データに基づいて、前記金融取引の金融記録を作成することと、
前記金融記録を前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１０に記載のシステム。

【請求項17】

前記コンテキストデータが、環境センサデータを含み、前記１つ以上のアプリケーションが、環境アプリケーションを含み、前記処理が、
前記環境アプリケーションによって、環境センサデータに基づいて、前記ウェアラブルマルチメディアデバイスの動作環境に関連付けられたコンテンツを生成することと、
前記コンテンツを前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１０に記載のシステム。

【請求項18】

前記クラウドコンピューティングプラットフォームが、分散ストリーミングプラットフォームである、請求項１０に記載のシステム。

【請求項19】

前記コンテキストデータが、ビデオ及びオーディオを含み、前記１つ以上のアプリケーションが、ビデオ編集アプリケーションを含み、前記処理が、
特定の映画様式に対するユーザ要求又はユーザの好みに従って、前記ビデオ及びオーディオを編集することと、
前記編集されたビデオ及びオーディオを前記ウェアラブルマルチメディアデバイス又は他のデバイスに送信することと、を更に含む、請求項１０に記載のシステム。

【請求項20】

非一時的なコンピュータ可読記憶媒体であって、そこに記憶された命令を有し、前記命令が、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
クラウドコンピューティングプラットフォームの１つ以上のプロセッサによって、ウェアラブルマルチメディアデバイスからのコンテキストデータを受信することであって、前記ウェアラブルマルチメディアデバイスが、前記コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含む、受信することと、
前記１つ以上のプロセッサによって、前記コンテキストデータ及びユーザの要求した処理の１つ以上の特性に基づいて、１つ以上のアプリケーションを含むデータ処理パイプラインを作成することであって、前記データ処理パイプラインは複数のデータストリームからストリームを前記１つ以上のアプリケーションのそれぞれのアプリケーションに送信する、作成することと、
前記１つ以上のプロセッサによって、前記データ処理パイプラインを通して前記コンテキストデータを処理することと、
前記１つ以上のプロセッサによって、前記データ処理パイプラインの出力を、前記ウェアラブルマルチメディアデバイス又は前記出力を提示するための他のデバイスに送信することと、を含む動作を実施させる、非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、クラウドコンピューティング及びマルチメディア編集に関する。

【背景技術】

【0002】

最新のモバイルデバイス（例えば、スマートフォン、タブレットコンピュータ）は、多くの場合、ユーザが自発的出来事のデジタル画像又はビデオを撮ることを可能にする、埋め込み型カメラを含む。これらのデジタル画像及びビデオは、モバイルデバイスのメモリを解放するために、ユーザアカウントに関連付けられたオンラインデータベースに記憶され得る。ユーザは、それらの画像及びビデオを友人及び家族と共有し、彼らの様々なプレイバックデバイスを使用して、要求に応じて画像及びビデオをダウンロード又はストリームすることができる。これらの埋め込み型カメラは、より大きくて扱いにくく、多くの場合、ショットをセットアップするためにより多くの時間を必要とする従来のデジタルカメラと比べて、著しい利点を提供する。

【0003】

カメラが埋め込まれたモバイルデバイスの利便性にもかかわらず、瞬間が発生するのが急すぎるため、これらのデバイスによって捕捉されないか、又はユーザがその瞬間に感情的に巻き込まれてしまうため、ユーザが単に画像やビデオを撮るのを忘れてしまう、多くの重要な瞬間がある。

【発明の概要】

【0004】

ウェアラブルマルチメディアデバイスによって捕捉されたマルチメディアデータを処理するためのアプリケーションエコシステムを備える、ウェアラブルマルチメディアデバイス及びクラウドコンピューティングプラットフォームのためのシステム、方法、デバイス、及び非一時的なコンピュータ可読記憶媒体を開示する。

【0005】

一実施形態では、方法は、クラウドコンピューティングプラットフォームの１つ以上のプロセッサによって、ウェアラブルマルチメディアデバイスからのコンテキストデータを受信することであって、ウェアラブルマルチメディアデバイスが、コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含む、受信することと、１つ以上のプロセッサによって、コンテキストデータ及びユーザ要求の１つ以上の特性に基づいて、１つ以上のアプリケーションを含むデータ処理パイプラインを作成することと、１つ以上のプロセッサによって、データ処理パイプラインを通してコンテキストデータを処理することと、１つ以上のプロセッサによって、データ処理パイプラインの出力を、ウェアラブルマルチメディアデバイス又は出力を提示するための他のデバイスに送信することと、を含む。

【0006】

一実施形態では、システムは、１つ以上のプロセッサと、命令を記憶するメモリと、を備え、命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、クラウドコンピューティングプラットフォームの１つ以上のプロセッサによって、ウェアラブルマルチメディアデバイスからのコンテキストデータを受信することであって、ウェアラブルマルチメディアデバイスが、コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含む、受信することと、１つ以上のプロセッサによって、コンテキストデータ及びユーザ要求の１つ以上の特性に基づいて、１つ以上のアプリケーションを含むデータ処理パイプラインを作成することと、１つ以上のプロセッサによって、データ処理パイプラインを通してコンテキストデータを処理することと、１つ以上のプロセッサによって、データ処理パイプラインの出力を、ウェアラブルマルチメディアデバイス又は出力を提示するための他のデバイスに送信することと、を含む動作を実施させる。

【0007】

一実施形態では、非一時的なコンピュータ可読記憶媒体は、クラウドコンピューティングプラットフォームの１つ以上のプロセッサによって、ウェアラブルマルチメディアデバイスからのコンテキストデータを受信することであって、ウェアラブルマルチメディアデバイスが、コンテキストデータを捕捉するための少なくとも１つのデータ捕捉デバイスを含む、受信することと、１つ以上のプロセッサによって、コンテキストデータ及びユーザ要求の１つ以上の特性に基づいて、１つ以上のアプリケーションを含むデータ処理パイプラインを作成することと、１つ以上のプロセッサによって、データ処理パイプラインを通してコンテキストデータを処理することと、１つ以上のプロセッサによって、データ処理パイプラインの出力を、ウェアラブルマルチメディアデバイス又は出力を提示するための他のデバイスに送信することと、を行うための命令を含む。

【0008】

本明細書に開示される特定の実施形態は、以下の利点のうちの１つ以上を提供する。ウェアラブルマルチメディアデバイスは、ユーザによる最小限のインタラクションを伴う自発的瞬間及び取引のマルチメディアデータを捕捉する。マルチメディアデータは、ユーザの好みに基づいて、クラウドコンピューティングプラットフォーム上で自動的に編集及びフォーマットされ、次いで、様々なユーザプレイバックデバイスで再生するためにユーザに対して利用可能にされる。一実施形態では、データ編集及び／又は処理は、プロプライエタリであり、かつ／又は第三者開発者から提供／許諾されているアプリケーションのエコシステムによって実施される。アプリケーションエコシステムは、第三者開発者が当該開発者のアプリケーションをアップロード、検証、及び更新することを可能にする様々なアクセスポイント（例えば、ウェブサイト、ポータル、ＡＰＩ）を提供する。クラウドコンピューティングプラットフォームは、エコシステムアプリケーション、ユーザの好み、並びに他の情報（例えば、データのタイプ若しくはフォーマット、データの量及び品質）のうちの１つ以上を使用して、各マルチメディアデータストリームのためのカスタム処理パイプラインを自動的に構築する。

【0009】

開示される実施形態の詳細を、添付の図面及び以下の説明に記載する。他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかである。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る、ウェアラブルマルチメディアデバイスによって捕捉されたマルチメディアデータを処理するためのアプリケーションエコシステムを備える、ウェアラブルマルチメディアデバイス及びクラウドコンピューティングプラットフォームのための動作環境のブロック図である。

【図2】一実施形態に係る、図１のクラウドコンピューティングプラットフォームによって実装されるデータ処理システムのブロック図である。

【図3】一実施形態に係る、コンテキストデータストリームを処理するためのデータ処理パイプラインのブロック図である。

【図4】一実施形態に係る、輸送アプリケーションのコンテキストデータストリームを処理するための別のデータ処理のブロック図である。

【図5】一実施形態に係る、図２のデータ処理システムによって使用されるデータオブジェクトを例示する。

【図6】一実施形態に係る、データパイプライン処理のフロー図である。

【図7】一実施形態に係る、クラウドコンピューティングプラットフォームのアーキテクチャである。

【図8】一実施形態に係る、ウェアラブルマルチメディアデバイスのアーキテクチャである。

【0011】

様々な図面において使用される同じ参照記号は、同様の要素を指標する。

【発明を実施するための形態】

【0012】

概要
ウェアラブルマルチメディアデバイスは、張力留め金、インターロックピンバック、磁石、又は任意の他の取り付け機構を使用して、ユーザの衣類又はオブジェクトに取り付けることができる、軽量で小さなフォームファクタのバッテリ式電動デバイスである。ウェアラブルマルチメディアデバイスは、ユーザが、最小限のユーザインタラクション又はデバイスセットアップで、生活の出来事（「瞬間」）のマルチメディアデータ（例えば、ビデオ、オーディオ、深度データ）及び文書取引（例えば、金融取引）を自発的に捕捉することを可能にする、デジタル画像捕捉デバイス（例えば、光学画像安定装置（optical image stabilizer、ＯＩＳ）を備える１８０°ＦＯＶ）を含む。無線マルチメディアデバイスによって捕捉されたマルチメディアデータ（「コンテキストデータ」）は、コンテキストデータを、１つ以上のアプリケーション（例えば、人工知能（Artificial Intelligence、ＡＩ）アプリケーション）によって、ウェアラブルマルチメディアデバイス及び／又は任意の他のプレイバックデバイスでダウンロード及び再生することができる任意の所望の提示フォーマット（例えば、単一画像、画像ストリーム、ビデオクリップ、オーディオクリップ、マルチメディア提示、画像ギャラリ）に処理、編集、及びフォーマットすることができるアプリケーションエコシステムを備えるクラウドコンピューティングプラットフォームにアップロードされる。例えば、クラウドコンピューティングプラットフォームは、ビデオデータ及びオーディオデータを、ユーザによって指定された任意の所望の映画製作様式（例えば、ドキュメンタリー、ライフスタイル、キャンディッド、フォトジャーナリズム、スポーツ、ストリート）に変形させ得る。

【0013】

一実施形態では、コンテキストデータは、ユーザの好みに基づいて、クラウドコンピューティングプラットフォームのサーバコンピュータ（複数可）によって処理される。例えば、ユーザの好みに基づいて、ユーザが追体験することを望む瞬間に対して、画像を完全に色等級付けし、安定化させ、及びトリミングすることができる。ユーザの好みを、ウェブサイト又はポータルを通じてアクセス可能なオンラインアカウントを介してユーザによって作成されたユーザプロファイルに記憶することができるか、又はユーザの好みを、（例えば、機械学習を使用して）経時的にプラットフォームによって学習することができる。一実施形態では、クラウドコンピューティングプラットフォームは、拡張可能な分散コンピューティング環境である。例えば、クラウドコンピューティングプラットフォームは、データストリームに変形させるか、又はそれに反応する、リアルタイムストリーミングデータパイプライン及びストリーミングアプリケーションを備える、分散ストリーミングプラットフォーム（例えば、Ａｐａｃｈｅ Ｋａｆｋａ（商標））であり得る。

【0014】

一実施形態では、ユーザは、コマンド又は任意の他の入力機構を発語することによって、ウェアラブルマルチメディアデバイスでのコンテキストデータ捕捉セッションを、単純なタッチジェスチャ（例えば、タップ又はスワイプ）で、開始及び停止することができる。ウェアラブルマルチメディアデバイスの全て又は一部は、１つ以上のセンサ（例えば、近接センサ、光センサ、加速度計、ジャイロスコープ）を使用して、当該デバイスがユーザによって着用されていないことを検出すると、自動的に電力を落とすことができる。一実施形態では、デバイスは、バッテリ寿命及び誘導充電回路構成（例えば、Ｑｉ）を持続させて、充電マット及び無線オーバージエア（over-the-air、ＯＴＡ）充電に対する誘導充電を可能にするための光起電表面技術を含み得る。

【0015】

コンテキストデータは、暗号化及び圧縮され、任意の所望の暗号化又は圧縮技術を使用して、ユーザアカウントに関連付けられたオンラインデータベースに記憶され得る。コンテキストデータは、ユーザによって設定することができる、指定された期間にわたって記憶され得る。ユーザは、ウェブサイト、ポータル、又はモバイルアプリケーションを介して、オプトイン機構と、それらのデータ及びデータプライバシーを管理するための他のツールとを備えることができる。

【0016】

一実施形態では、コンテキストデータは、例えば、アプリケーションエコシステム内の拡張現実（augmented reality、ＡＲ）及び仮想現実（virtual reality、ＶＲ）アプリケーションを使用して処理することができる、三次元（three-dimensional、３Ｄ）表面のマップされたオブジェクトを提供するためのポイントクラウドデータを含む。ポイントクラウドデータは、ウェアラブルマルチメディアデバイスに埋め込まれた深度センサ（例えば、ＬｉＤＡＲ又は飛行時間（Time of Flight、ＴＯＦ））によって生成され得る。

【0017】

一実施形態では、ウェアラブルマルチメディアデバイスは、コンテキストデータが捕捉されたときに、デバイスを着用しているユーザの位置及び向きを判定するための、全地球航法衛星システム（Global Navigation Satellite System、ＧＮＳＳ）受信機（例えば、全地球測位システム（Global Positioning System、ＧＰＳ））、及び１つ以上の慣性センサ（例えば、加速度計、ジャイロスコープ）を含む。一実施形態では、コンテキストデータ内の１つ以上の画像を、アプリケーションエコシステム内の、視覚オドメトリアプリケーションなどの位置特定アプリケーションによって使用して、ユーザの位置及び向きを判定することができる。

【0018】

一実施形態では、ウェアラブルマルチメディアデバイスはまた、周囲光センサ、磁力計、圧力センサ、音声活動検出器などを含むが、これらに限定されない、１つ以上の環境センサを含み得る。このセンサデータをコンテキストデータに含めて、瞬間を捕捉するために使用することができる追加情報を含むコンテンツ提示を強化することができる。

【0019】

一実施形態では、ウェアラブルマルチメディアデバイスは、心拍センサ、指紋スキャナなどの１つ以上の生物測定センサを含み得る。このセンサデータをコンテキストデータに含めて、取引を文書化するか、又は瞬間の間のユーザの感情的状態を指標することができる（例えば、心拍数の上昇は、興奮又は恐怖を指標し得る）。

【0020】

一実施形態では、ウェアラブルマルチメディアデバイスは、音声コマンドを受信し、周囲オーディオを捕捉するための、ヘッドセット又はイヤフォン、及び１つ以上のマイクロフォンを接続するヘッドフォンジャックを含む。代替的な実施形態では、ウェアラブルマルチメディアデバイスは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１５．４（ＺｉｇＢｅｅ（商標））、及び近距離無線通信（near field communication、ＮＦＣ）を含むが、これらに限定されない、狭域通信技術を含む。狭域通信技術は、ヘッドフォンジャックに加えて、又はその代わりに、無線ヘッドセット若しくはイヤフォンに無線接続するために使用されてもよく、かつ／又は任意の他の外部デバイス（例えば、コンピュータ、プリンタ、レーザプロジェクタ、テレビ、及び他のウェアラブルデバイス）に無線接続することができる。

【0021】

一実施形態では、ウェアラブルマルチメディアデバイスは、無線送受信機と、ＷｉＦｉ、３Ｇ、４Ｇ、及び５Ｇ通信技術を含む様々な通信技術のための通信プロトコルスタックと、を含む。一実施形態では、ヘッドセット又はイヤフォンはまた、ヘッドジェスチャを用いてコマンドを提供するために、ユーザが向いている方向に関する情報を提供するセンサ（例えば、生物測定センサ、慣性センサ）を含む。一実施形態では、カメラ視野がユーザの視野方向を追従するように、カメラ方向をヘッドジェスチャによって制御することができる。一実施形態では、ウェアラブルマルチメディアデバイスは、ユーザの眼鏡に埋め込まれ得るか、又はそれに取り付けられ得る。

【0022】

一実施形態では、ウェアラブルマルチメディアデバイスは、ユーザが壁又はテーブル面などの表面上で瞬間を再生することを可能にするレーザプロジェクタを含む（又は、外部レーザプロジェクタに有線若しくは無線で結合され得る）。別の実施形態では、ウェアラブルマルチメディアデバイスは、レーザプロジェクタ又は他の出力デバイスに接続し得る出力ポートを含む。

【0023】

一実施形態では、ウェアラブルマルチメディア捕捉デバイスは、タッチジェスチャ（例えば、タップ、マルチタップ、又はスワイプジェスチャ）に応答するタッチ面を含む。ウェアラブルマルチメディアデバイスは、情報を提示するための小さいディスプレイと、オン／オフのステータス、電力状態、又は任意の他の所望のステータスを指標するための１つ以上の光インジケータと、を含み得る。

【0024】

一実施形態では、クラウドコンピューティングプラットフォームは、ユーザが自身の環境内のオブジェクトを指し、「その建物は何ですか？」と言うなどの発話クエリと組み合わせて、コンテキストベースのジェスチャ（例えば、エアジェスチャ）によって駆動され得る。クラウドコンピューティングプラットフォームは、エアジェスチャを使用して、カメラの視野ポートの範囲を狭め、建物を隔離する。建物の１つ以上の画像が捕捉され、クラウドコンピューティングプラットフォームに送信され、ここで、画像認識アプリケーションは、画像クエリを作動し、その結果を記憶するか、又はそれをユーザに返却することができる。エアジェスチャ及びタッチジェスチャを、例えば、ユーザインターフェース要素に応答する、投影された一過性のディスプレイ上で実施することもできる。

【0025】

一実施形態では、コンテキストデータをデバイス及びクラウドコンピューティングプラットフォーム上で暗号化することができ、その結果、ユーザ又は任意の認可された視認者のみが、接続されたスクリーン（例えば、スマートフォン、コンピュータ、テレビなど）上で、又は表面上へのレーザ投影として、瞬間を追体験することができる。図８を参照して、ウェアラブルマルチメディアデバイスのための例示的なアーキテクチャを説明する。

【0026】

個人的な生活の出来事に加えて、ウェアラブルマルチメディアデバイスは、スマートフォンによって現在扱われている金融取引の捕捉を単純化する。日々の取引（例えば、ビジネス取引、マイクロ取引）の捕捉は、ウェアラブルマルチメディアデバイスによって提供される視力支援型コンテキストアウェアネスを使用することによって、より単純で、より速く、より流動的に行われる。例えば、ユーザが金融取引（例えば、購入を行うこと）に従事しているとき、ウェアラブルマルチメディアデバイスは、日付、時間、量、当事者のデジタル画像若しくはビデオ、オーディオ（例えば、取引を説明するユーザ解説）、及び環境データ（例えば、位置データ）を含む、金融取引をメモリアライズするデータを生成するであろう。データは、クラウドコンピューティングプラットフォームに送信されたマルチメディアデータストリームに含まれてもよく、ここで、そのデータをオンラインで記憶し、かつ／又は１つ以上の金融アプリケーション（例えば、金融管理、会計、予算、納税、在庫など）によって処理することができる。

【0027】

一実施形態では、クラウドコンピューティングプラットフォームは、グラフィカルユーザインターフェースをウェブサイト又はポータル上に提供し、これにより、様々な第三者アプリケーション開発者が、アプリケーションエコシステム内で開発者自身のアプリケーションをアップロード、更新、及び管理することを可能にする。いくつかの例示的なアプリケーションとしては、個人的な生放送（例えば、Ｉｎｓｔａｇｒａｍ（商標）Ｌｉｆｅ、Ｓｎａｐｃｈａｔ（商標））、高齢者監視（例えば、最愛の人が薬剤をとったことを確実にするため）、メモリ呼び出し（例えば、先週の子供のサッカーの試合を見せること）、及び個人的なガイド（例えば、ユーザの位置を認知し、措置を実施するようにユーザをガイドする、ＡＩ対応型の個人的なガイド）を挙げることができるが、これらに限定されない。

【0028】

一実施形態では、ウェアラブルマルチメディアデバイスは、１つ以上のマイクロフォン及びヘッドセットを含む。いくつかの実施形態では、ヘッドセットワイヤは、マイクロフォンを含む。一実施形態では、デジタルアシスタントがウェアラブルマルチメディアデバイスに実装され、これは、ユーザのクエリ、要求、及びコマンドに応答する。例えば、親が着用したウェアラブルマルチメディアデバイスは、子供のサッカーの試合の瞬間のコンテキストデータ、特に、子供がゴールを決めた「瞬間」を捕捉する。ユーザは、プラットフォームがゴールのビデオクリップを作成し、それをユーザ自身のユーザアカウントに記憶することを（例えば、発話コマンドを使用して）要求することができる。ユーザによる任意の更なる措置なしに、クラウドコンピューティングプラットフォームは、ゴールが決められたときに、瞬間のコンテキストデータの正しい部分を（例えば、顔認識、視覚的合図、又は可聴合図を使用して）識別し、瞬間のコンテキストデータをビデオクリップに編集し、そのビデオクリップをユーザアカウントに関連付けられたデータベースに記憶する。
例示的な動作環境

【0029】

図１は、一実施形態に係る、ウェアラブルマルチメディアデバイスによって捕捉されたマルチメディアデータを処理するためのアプリケーションエコシステムを備える、ウェアラブルマルチメディアデバイス及びクラウドコンピューティングプラットフォームのための動作環境のブロック図である。動作環境１００は、ウェアラブルマルチメディアデバイス１０１、クラウドコンピューティングプラットフォーム１０２、ネットワーク１０３、アプリケーション（「アプリ」）開発者１０４、及び第三者プラットフォーム１０５を含む。クラウドコンピューティングプラットフォーム１０２は、ウェアラブルマルチメディアデバイス１０１によってアップロードされたコンテキストデータを記憶するための１つ以上のデータベース１０６に結合される。

【0030】

前述のように、ウェアラブルマルチメディアデバイス１０１は、張力留め金、インターロックピンバック、磁石、又は任意の他の取り付け機構を使用して、ユーザの衣類又はオブジェクトに取り付けることができる、軽量で小さなフォームファクタのバッテリ式電動デバイスである。ウェアラブルマルチメディアデバイス１０１は、ユーザが、最小限のユーザインタラクション又はデバイスセットアップで、「瞬間」のマルチメディアデータ（例えば、ビデオ、オーディオ、深度データ）を自発的に捕捉し、日々の取引（例えば、金融取引）を文書化することを可能にする、デジタル画像捕捉デバイス（例えば、ＯＩＳを備える１８０°ＦＯＶ）を含む。無線マルチメディアデバイス１０１によって捕捉されたコンテキストデータは、クラウドコンピューティングプラットフォーム１０２にアップロードされる。クラウドコンピューティングプラットフォーム１０１は、コンテキストデータを、１つ以上のサーバ側のアプリケーションによって、ウェアラブルマルチメディアデバイス及び／又は他のプレイバックデバイスでダウンロード及び再生することができる任意の所望の提示フォーマット（例えば、単一画像、画像ストリーム、ビデオクリップ、オーディオクリップ、マルチメディア提示、画像ギャラリ）に処理、編集、及びフォーマットすることができるアプリケーションエコシステムを含む。

【0031】

一例として、子供の誕生日会において、親は、カメラレンズが親自身の視認方向に向くように、ウェアラブルマルチメディアデバイスを親自身の衣類にクリップ留めする（又は、デバイスをネックレス又はチェーンに取り付け、親自身の首の周りに着用する）ことができる。カメラは、ユーザが現在見ているほぼ全てをカメラが捕捉することを可能にする、１８０°ＦＯＶを含む。ユーザは、デバイスの表面を単にタップするか、又はボタンを押すことによって、記録を開始することができる。追加のセットアップは必要ない。誕生日の特別な瞬間（例えば、ロウソクを吹き消す瞬間）を捕捉するマルチメディアデータストリーム（例えば、オーディオを含むビデオ）が記録される。この「コンテキストデータ」は、無線ネットワーク（例えば、ＷｉＦｉ、セルラー）を介してリアルタイムでクラウドコンピューティングプラットフォーム１０２に送信される。一実施形態では、コンテキストデータは、それを後でアップロードすることができるように、ウェアラブルマルチメディアデバイスに記憶される。別の実施形態では、ユーザは、コンテキストデータを別のデバイス（例えば、パーソナルコンピュータハードドライブ、スマートフォン、タブレットコンピュータ、サムドライブ）に伝達し、後でアプリケーションを使用して、コンテキストデータをクラウドコンピューティングプラットフォーム１０２にアップロードすることができる。

【0032】

一実施形態では、コンテキストデータは、クラウドコンピューティングプラットフォーム１０２によってホスト及び管理されるアプリケーションエコシステムの１つ以上のアプリケーションによって処理される。アプリケーションは、それらの個々のアプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）を通じてアクセスされ得る。カスタム分散ストリーミングパイプラインは、データのタイプ、データの量、データの品質、ユーザの好み、テンプレート、及び／又は任意の他の情報のうちの１つ以上に基づいて、コンテキストデータを処理して、ユーザの好みに基づいて所望の提示を生成するように、クラウドコンピューティングプラットフォーム１０２によって作成される。一実施形態では、機械学習技術を使用して、ユーザの好みの有無にかかわらず、データ処理パイプライン内に含めるための好適なアプリケーションを自動的に選択することができる。例えば、データベース（例えば、ＮｏＳＱＬデータベース）に記憶された履歴ユーザコンテキストデータを使用して、任意の好適な機械学習技術（例えば、深層学習又は畳み込みニューラルネットワーク）を使用するデータ処理のためのユーザの好みを判定することができる。

【0033】

一実施形態では、アプリケーションエコシステムは、コンテキストデータを処理する第三者プラットフォーム１０５を含み得る。セキュアなセッションは、コンテキストデータを送信／受信するように、クラウドコンピューティングプラットフォーム１０２と第三者プラットフォーム１０５との間にセットアップされる。この設計は、第三者アプリプロバイダが、プロバイダ自身のアプリケーションへのアクセスを制御し、更新を提供することを可能にする。他の実施形態では、アプリケーションはクラウドコンピューティングプラットフォーム１０２のサーバ上で作動され、更新はクラウドコンピューティングプラットフォーム１０２に送信される。後者の実施形態では、アプリ開発者１０４は、クラウドコンピューティングプラットフォーム１０２によって提供されるＡＰＩを使用して、アプリケーションエコシステム内に含まれるアプリケーションをアップロード及び更新することができる。
例示的なデータ処理システム

【0034】

図２は、一実施形態に係る、図１のクラウドコンピューティングプラットフォームによって実装されるデータ処理システムのブロック図である。データ処理システム２００は、レコーダ２０１、ビデオバッファ２０２、オーディオバッファ２０３、写真バッファ２０４、吸収サーバ２０５、データストア２０６、ビデオプロセッサ２０７、オーディオプロセッサ２０８、写真プロセッサ２０９、及び第三者プロセッサ２１０を含む。

【0035】

ウェアラブルマルチメディアデバイスで作動中のレコーダ２０１（例えば、ソフトウェアアプリケーション）は、カメラ及びオーディオサブシステムによって捕捉されたビデオ、オーディオ、及び写真データ（「コンテキストデータ」）を記録し、データをバッファ２０２、２０３、２０４にそれぞれ記憶する。次いで、このコンテキストデータは、クラウドコンピューティングプラットフォーム１０２の吸収サーバ２０５に（例えば、無線ＯＴＡ技術を使用して）送信される。一実施形態では、データは、各々が一意のストリーム識別子（ストリームＩＤ）を有する別々のデータストリームで送信され得る。ストリームは、次の例示的な属性、位置（例えば、緯度、経度）、ユーザ、オーディオデータ、様々な持続時間のビデオストリーム、及びＮ個の写真、を包含し得る別個のデータ片である。ストリームは、１～ＭＡＸＳＴＲＥＡＭ＿ＬＥＮ秒の持続時間を有することができ、この例では、ＭＡＸＳＴＲＥＡＭ＿ＬＥＮ＝２０秒である。

【0036】

吸収サーバ２０５は、ストリームを吸収し、ストリームレコードをデータストア２０６に作成して、プロセッサ２０７～２０９の結果を記憶する。一実施形態では、オーディオストリームを最初に処理し、それを使用して、必要とされる他のストリームを判定する。吸収サーバ２０５は、ストリームＩＤに基づいて、ストリームを適切なプロセッサ２０７～２０９に送信する。例えば、ビデオストリームはビデオプロセッサ２０７に送信され、オーディオストリームはオーディオプロセッサ２０８に送信され、写真ストリームは写真プロセッサ２０９に送信される。一実施形態では、ウェアラブルマルチメディアデバイス（例えば、画像データ）から収集されたデータの少なくとも一部は、所与のアプリケーションによって更に処理され、ウェアラブルマルチメディアデバイス又は他のデバイスに送信し戻され得るように、メタデータに処理されて暗号化される。

【0037】

プロセッサ２０７～２０９は、前述のように、プロプライエタリなアプリケーション又は第三者アプリケーションを作動し得る。例えば、ビデオプロセッサ２０７は、ビデオバッファ２０２に記憶された生ビデオデータを、ユーザの好み又は他の情報に基づいて、１つ以上の画像処理／編集アプリケーション２１１、２１２のセットに送信する、ビデオ処理サーバであり得る。プロセッサ２０７は、要求をアプリケーション２１１、２１２に送信し、その結果を吸収サーバ２０５に返却する。一実施形態では、第三者プロセッサ２１０は、それ自体のプロセッサ及びアプリケーションを使用して、ストリームのうちの１つ以上を処理し得る。別の例では、オーディオプロセッサ２０８は、オーディオバッファ２０３に記憶された発話データを発話ツーテキスト変換器アプリケーション２１３に送信する、オーディオ処理サーバであり得る。
例示的な場面識別アプリケーション

【0038】

図３は、一実施形態に係る、コンテキストデータストリームを処理するためのデータ処理パイプラインのブロック図である。この実施形態では、データ処理パイプライン３００は、ユーザによって着用されたウェアラブルマルチメディアデバイスによって捕捉されたコンテキストデータに基づいて、ユーザが見ているものを判定するように作成及び構成される。吸収サーバ３０１は、ウェアラブルマルチメディアデバイスのオーディオバッファ２０３からオーディオストリーム（例えば、ユーザ解説を含む）を受信し、オーディオストリームをオーディオプロセッサ３０５に送信する。オーディオプロセッサ３０５は、オーディオストリームをアプリ３０６に送信し、アプリ３０６は、発話ツーテキスト変換を実施し、解析されたテキストをオーディオプロセッサ３０５に返却する。オーディオプロセッサ３０５は、解析されたテキストを吸収サーバ３０１に返却する。

【0039】

ビデオプロセッサ３０２は、解析されたテキストを吸収サーバ３０１から受信し、要求をビデオ処理アプリ３０７に送信する。ビデオ処理アプリ３０７は、ビデオ場面内のオブジェクトを識別し、解析されたテキストを使用して、オブジェクトをラベル付けする。ビデオ処理アプリ３０７は、場面（例えば、ラベル付けされたオブジェクト）を説明する応答をビデオプロセッサ３０２に送信する。次いで、ビデオプロセッサは、応答を吸収サーバ３０１に転送する。吸収サーバ３０１は、応答をデータマージ処理３０８に送信し、データマージ処理３０８は、応答をユーザの位置、向き、及びマップデータとマージする。データマージ処理３０８は、場面説明を有する応答を、ウェアラブルマルチメディアデバイス上のレコーダ３０４に返却する。例えば、応答は、マップの位置及び場面内のオブジェクトの説明（例えば、場面内の人々を識別する）を含む、子供の誕生日会のような場面を説明するテキストを含み得る。レコーダ３０４は、場面説明を、ウェアラブルマルチメディアデバイスに記憶されたマルチメディアデータに（例えば、ストリームＩＤを使用して）関連付ける。ユーザがデータを呼び出すと、データは場面説明で強化される。

【0040】

一実施形態では、データマージ処理３０８は、位置及びマップデータ以上のものを使用し得る。オントロジの概念も存在し得る。例えば、画像内に捕捉されたユーザの父の顔の特徴を、クラウドコンピューティングプラットフォームによって認識し、ユーザの名前ではなく「父」として返却することができ、「５５５ Ｍａｉｎ Ｓｔｒｅｅｔ，Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ」などの住所を「自宅」として返却することができる。オントロジは、ユーザに固有であり得、ユーザの入力から成長及び学習することができる。
例示的な輸送アプリケーション

【0041】

図４は、一実施形態に係る、輸送アプリケーションのコンテキストデータストリームを処理するための別のデータ処理のブロック図である。本実施形態では、データ処理パイプライン４００は、自宅への交通手段を得るために、輸送会社（例えば、Ｕｂｅｒ（登録商標）、Ｌｙｆｔ（登録商標））を呼ぶように作成される。ウェアラブルマルチメディアデバイスからのコンテキストデータは、吸収サーバ４０１によって受信され、オーディオバッファ２０３からのオーディオストリームは、オーディオプロセッサ４０５に送信される。オーディオプロセッサ４０５は、オーディオストリームを、発話をテキストに変換するアプリ４０６に送信する。解析されたテキストは、解析されたテキストを吸収サーバ４０１に返却するオーディオプロセッサ４０５に返却される（例えば、輸送のためのユーザ発話要求）。処理されたテキストは、第三者プロセッサ４０２に送信される。第三者プロセッサ４０２は、ユーザ位置及びトークンを第三者アプリケーション４０７（例えば、Ｕｂｅｒ（登録商標）又はＬｙｆｔ（商標）（登録商標）アプリケーション）に送信する。一実施形態では、トークンは、ユーザの代わりに要求を仲介するために使用されるＡＰＩ及び認可トークンである。アプリケーション４０７は、応答データ構造を第三者プロセッサ４０２に返却し、これは、吸収サーバ４０１に転送される。吸収サーバ４０１は、応答データ構造内の交通手段到着ステータス（例えば、ＥＴＡ）を確認し、ユーザコールバック待ち行列４０８内のユーザへのコールバックをセットアップする。吸収サーバ４０１は、車両説明を有する応答を、ウェアラブルマルチメディアデバイス上のラウドスピーカを通じて、又は有線若しくは無線接続を介してユーザのヘッドフォン若しくはイヤフォンを通じて、デジタルアシスタントによってユーザに対して発話することができるレコーダ４０４に返却する。

【0042】

図５は、一実施形態に係る、図２のデータ処理システムによって使用されるデータオブジェクトを例示する。データオブジェクトは、クラウドコンピューティングプラットフォームでインスタンス化されたソフトウェア構成要素インフラストラクチャの一部である。「ストリーム」オブジェクトは、データのストリームＩＤ、デバイスＩＤ、開始、終了、緯度、経度、属性、及びエンティティを含む。「ストリームＩＤ」は、ストリーム（例えば、ビデオ、オーディオ、写真）を識別し、「デバイスＩＤ」は、ウェアラブルマルチメディアデバイス（例えば、モバイルデバイスＩＤ）を識別し、「開始」は、コンテキストデータストリームの開始時間であり、「終了」は、コンテキストデータストリームの終了時間であり、「緯度」は、ウェアラブルマルチメディアデバイスの緯度であり、「経度」は、ウェアラブルマルチメディアデバイスの経度であり、「属性」は、例えば、誕生日、顔の点、肌の色調、オーディオ特性、住所、電話番号などを含み、「エンティティ」は、オントロジを構成する。例えば、「Ｊｏｈｎ Ｄｏ」という名前は、ユーザに応じて、「父」又は「兄弟」にマッピングされることになる。

【0043】

「ユーザ」オブジェクトは、データのユーザＩＤ、デバイスＩＤ、電子メール、ｆ名、及びｌ名を含む。ユーザＩＤは、一意の識別子を有するユーザを識別し、デバイスＩＤは、一意の識別子を有するウェアラブルデバイスを識別し、電子メールは、ユーザの登録された電子メールアドレスであり、ｆ名は、ユーザの第１の名前であり、ｌ名は、ユーザの姓である。「ユーザデバイス」オブジェクトは、データのユーザＩＤ及びデバイスＩＤを含む。「デバイス」オブジェクトは、データのデバイスＩＤ、開始、状態、修正、及び作成を含む。一実施形態では、デバイスＩＤは、デバイスの一意の識別子である（例えば、ＭＡＣアドレスとは別個である）。開始は、デバイスが最初に開始されたときである。状態は、オン／オフ／スリープである。修正は、最後の状態の変化、又はオペレーティングシステム（operating system、ＯＳ）の変化を反映する最後の修正日である。作成は、デバイスをオンにした最初の時間である。

【0044】

「処理結果」オブジェクトは、データのストリームＩＤ、ａｉ、結果、コールバック、持続時間の精度を含む。一実施形態では、ストリームＩＤは、汎用一意識別子（Universally Unique Identifier、ＵＵＩＤ）としての各ユーザストリームである。例えば、８：００ＡＭ～１０：００ＡＭに開始されたストリームは、ｉｄ：１５ｈ１５８ｄｈｂ４を有し、１０：１５ＡＭ～１０：１８ＡＭに開始するストリームは、このストリームに接触したＵＵＩＤを有するであろう。ＡＩは、このストリームに接触したプラットフォームアプリケーションの識別子である。結果は、プラットフォームアプリケーションから送信されたデータである。コールバックは、使用されたコールバックである（バージョンは変更することができ、したがって、プラットフォームが要求を再生する必要がある場合にはコールバックが追跡される）。精度は、結果セットがどのくらい正確であるかについてのスコアである。一実施形態では、処理結果は、１）マージサーバに結果の全セットを通知するため、２）ユーザ体験を強化することができるように最速のａｉを判定するため、及び３）最も正確なａｉを判定するためなど、多くの事項のために使用され得る。使用事例に応じて、精度よりも速度を優先するか、又はその逆の場合もある。

【0045】

「エンティティ」オブジェクトは、データのエンティティＩＤ、ユーザＩＤ、エンティティ名、エンティティタイプ、及びエンティティ属性を含む。エンティティＩＤは、エンティティのＵＵＩＤであり、エンティティＩＤが１つのエンティティを参照する複数の入力を有するエンティティである。例えば、「Ｂａｒａｃｋ Ｏｂａｍａ」は、１４４のエンティティＩＤを有し得、これは、関連表においてＰＯＴＵＳ４４又は「Ｂａｒａｃｋ Ｈｕｓｓｅｉｎ Ｏｂａｍａ」若しくは「Ｐｒｅｓｉｄｅｎｔ Ｏｂａｍａ」にリンクされ得る。ユーザＩＤは、エンティティレコードが作成されたユーザを識別する。エンティティ名は、ユーザＩＤがエンティティを呼ぶ名前である。例えば、エンティティＩＤ１４４のＭａｌｉａ Ｏｂａｍａのエンティティ名は、「父」又は「お父さん」であり得る。エンティティタイプは、人、場所、又はものである。エンティティ属性は、そのエンティティのユーザＩＤの理解に特有のエンティティに関する属性の配列である。このマップは、例えば、Ｍａｌｉａが「父が見えますか？」という発話クエリを行うと、クラウドコンピューティングプラットフォームが、クエリをＢａｒａｃｋ Ｈｕｓｓｅｉｎ Ｏｂａｍａに翻訳し、それを、第三者に要求を仲介する際、及びシステム内で情報を検索する際に使用することができるように、エンティティを一緒にマッピングする。
例示的な処理

【0046】

図６は、一実施形態に係る、データパイプライン処理のフロー図である。処理６００は、図１～図５を参照して説明される、ウェアラブルマルチメディアデバイス１０１及びクラウドコンピューティングプラットフォーム１０２を使用して実装され得る。

【0047】

処理６００は、ウェアラブルマルチメディアデバイス（６０１）からコンテキストデータを受信することによって開始し得る。例えば、コンテキストデータは、ウェアラブルマルチメディアデバイスのカメラ及びオーディオサブシステムによって捕捉されたビデオ、オーディオ、並びに静止画像を含み得る。

【0048】

処理６００は、コンテキストデータ及びユーザの要求／好みに基づいて、アプリケーションを含むデータ処理パイプラインを作成する（例えば、インスタンス化する）ことによって継続し得る（６０２）。例えば、ユーザの要求又は好みに基づいて、並びにまたデータのタイプ（例えば、オーディオ、ビデオ、写真）に基づいて、１つ以上のアプリケーションを論理的に接続して、データ処理パイプラインを形成し、コンテキストデータを、ウェアラブルマルチメディアデバイス又は別のデバイスでプレイバックされる提示に処理することができる。

【0049】

処理６００は、データ処理パイプライン内のコンテキストデータを処理することによって継続し得る（６０３）。例えば、瞬間又は取引中のユーザ解説からの発語をテキストに変換することができ、次いで、それを使用して、ビデオクリップ内のオブジェクトをラベル付けする。

【0050】

処理６００は、データ処理パイプラインの出力をウェアラブルマルチメディアデバイス及び／又は他のプレイバックデバイスに送信することによって継続し得る（６０４）。
例示的なクラウドコンピューティングプラットフォームアーキテクチャ

【0051】

図７は、一実施形態に係る、図１～図６を参照して説明されるクラウドコンピューティングプラットフォーム１０２の例示的なアーキテクチャ７００である。より多いか又はより少ない構成要素を有するアーキテクチャを含む、他のアーキテクチャが可能である。いくつかの実施態様では、アーキテクチャ７００は、１つ以上のプロセッサ（複数可）７０２（例えば、デュアルコアＩｎｔｅｌ（登録商標）Ｘｅｏｎ（登録商標）プロセッサ）、１つ以上のネットワークインターフェース（複数可）７０６、１つ以上の記憶デバイス（複数可）７０４（例えば、ハードディスク、光ディスク、フラッシュメモリ）、及び１つ以上のコンピュータ可読媒体（複数可）７０８（例えば、ハードディスク、光ディスク、フラッシュメモリなど）を含む。これらの構成要素は、１つ以上の通信チャネル（複数可）７１０（例えば、バス）を介して通信及びデータを交換することができ、当該通信チャネルは、構成要素間のデータ及び制御信号の伝達を容易にするための様々なハードウェア及びソフトウェアを利用することができる。

【0052】

「コンピュータ可読媒体」という用語は、不揮発性媒体（例えば、光学ディスク又は磁気ディスク）、揮発性媒体（例えば、メモリ）、及び伝送媒体を含むが、これらに限定されない、実行用にプロセッサ（複数可）７０２に命令を提供することに関与する任意の媒体を指す。伝送媒体としては、同軸ケーブル、銅ワイヤ、及び光ファイバが挙げられるが、これらに限定されない。

【0053】

コンピュータ可読媒体（複数可）７０８は、オペレーティングシステム７１２（例えば、Ｍａｃ ＯＳ（登録商標）サーバ、Ｗｉｎｄｏｗｓ（登録商標）ＮＴサーバ、Ｌｉｎｕｘ（登録商標）サーバ）、ネットワーク通信モジュール７１４、インターフェース命令７１６、及びデータ処理命令７１８を更に含み得る。

【0054】

オペレーティングシステム７１２は、マルチユーザ、マルチ処理、マルチタスキング、マルチスレッド、リアルタイムなどであり得る。オペレーティングシステム７１２は、デバイス７０２、７０４、７０６、及び７０８からの入力を認識し、これらのデバイスに出力を提供することと、コンピュータ可読媒体（複数可）７０８（例えば、メモリ又は記憶デバイス）のファイル及びディレクトリを追跡及び管理することと、周辺機器デバイスを制御することと、１つ以上の通信チャネル（複数可）７１０のトラフィックを管理することと、を含むが、これらに限定されない、基本タスクを実施する。ネットワーク通信モジュール７１４は、ネットワーク接続（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰなどのような通信プロトコルを実装するためのソフトウェア）を確立及び維持するため、並びに、例えば、Ａｐａｃｈｅ Ｋａｆｋａ（商標）を使用して、分散ストリーミングプラットフォームを作成するための、様々な構成要素を含む。データ処理命令７１６は、図１～図６を参照して説明されるように、サーバ側動作を実装するためのサーバ側又はバックエンドソフトウェアを含む。インターフェース命令７１８は、図１を参照して説明されるように、ウェアラブルマルチメディアデバイス１０１、第三者アプリケーション開発者１０４、及び第三者プラットフォーム１０５とデータの送信及び受信を行うためのウェブサーバ及び／又はポータルを実装するためのソフトウェアを含む。

【0055】

アーキテクチャ７００は、各々が１つ以上の処理コアを有するローカルネットワーク又は分散ネットワーク内の１つ以上のサーバコンピュータを含む、任意のコンピュータデバイス内に含まれ得る。アーキテクチャ７００は、並列処理若しくはピアツーピアインフラストラクチャ、又は１つ以上のプロセッサを備える単一のデバイスで実装され得る。ソフトウェアは、複数のソフトウェア構成要素を含み得るか、又は単一のコード本体であり得る。
例示的なウェアラブルマルチメディアデバイスアーキテクチャ

【0056】

図８は、図１～図６を参照して説明される、特徴及び処理を実装するウェアラブルマルチメディアデバイスのための例示的なアーキテクチャ８００のブロック図である。アーキテクチャ８００は、図１～図６を参照して説明される、特徴及びプロセッサを実装するための任意のウェアラブルマルチメディアデバイス１０１内に実装され得る。アーキテクチャ８００は、メモリインターフェース８０２、データプロセッサ（複数可）、画像プロセッサ（複数可）又は中央処理ユニット（複数可）８０４、及び周辺機器インターフェース８０６を含み得る。メモリインターフェース８０２、プロセッサ（複数可）８０４、又は周辺機器インターフェース８０６は、別々の構成要素であり得るか、又は１つ以上の集積回路内に統合され得る。１つ以上の通信バス又は信号線は、様々な構成要素を結合し得る。

【0057】

センサ、デバイス、及びサブシステムを周辺機器インターフェース８０６に結合して、複数の機能を容易にすることができる。例えば、運動センサ（複数可）８１０、生物測定センサ（複数可）８１２、深度センサ８１４を周辺機器インターフェース８０６に結合して、運動、向き、生物測定、及び深度の検出機能を容易にすることができる。いくつかの実装例では、運動センサ（複数可）８１０（例えば、加速度計、レートジャイロスコープ）を利用して、ウェアラブルマルチメディアデバイスの動き及び向きを検出することができる。

【0058】

環境センサ（複数可）（例えば、温度センサ、気圧計、周囲光）などの他のセンサを周辺機器インターフェース８０６に接続して、環境検知機能を容易にすることもできる。例えば、生物測定センサは、指紋、顔認識、心拍数、及び他のフィットネスパラメータを検出することができる。一実施形態では、触覚モータ（図示せず）を周辺機器インターフェースに結合することができ、これにより、触覚フィードバックとして振動パターンをユーザに提供することができる。

【0059】

位置プロセッサ８１５（例えば、ＧＮＳＳ受信機チップ）を周辺機器インターフェース８０６に接続して、ジオ参照を提供することができる。電子磁力計８１６（例えば、集積回路チップ）を周辺機器インターフェース８０６に接続して、磁北方向を判定するために使用され得るデータを提供することもできる。したがって、電子磁力計８１６を、電子コンパスアプリケーションによって使用することができる。

【0060】

カメラサブシステム８２０及び光学センサ８２２、例えば、電荷結合デバイス（charged coupled device、ＣＣＤ）又は相補型金属酸化膜半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）光学センサを利用して、写真及びビデオクリップを記録するなどのカメラ機能を容易にすることができる。一実施形態では、カメラは、１８０°ＦＯＶ及びＯＩＳを有する。深度センサは、ドットを既知のパターンでオブジェクト／サブジェクトに投影する赤外線エミッタを含み得る。次いで、ドットを専用赤外線カメラによって撮影し、分析して、深度データを判定する。一実施形態では、飛行時間（ＴＯＦ）カメラを使用して、既知の光の速度に基づいて距離を決定し、カメラと、画像の各点についてのオブジェクト／サブジェクトとの間の光信号の飛行時間を測定することができる。

【0061】

通信機能を、１つ以上の通信サブシステム８２４を介して容易にすることができる。通信サブシステム（複数可）８２４は、１つ以上の無線通信サブシステムを含み得る。無線通信サブシステム８２４は、ラジオ周波数受信機及び伝送機、並びに／又は光（例えば、赤外線）受信機及び伝送機を含み得る。有線通信システムは、ポートデバイス、例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）ポート、又はいくつかの他の有線接続ポートの接続を含むことができ、これらを使用して、他の通信デバイス、ネットワークアクセスデバイス、パーソナルコンピュータ、プリンタ、ディスプレイスクリーン、又はデータを受信若しくは伝送することができる他の処理デバイス（例えば、レーザプロジェクタ）などの他のコンピューティングデバイスへの有線接続を確立することができる。

【0062】

通信サブシステム８２４の具体的な設計及び実装例は、デバイスが動作することが意図されている、通信ネットワーク（複数可）又は媒体（複数可）に依存し得る。例えば、デバイスは、グローバルシステムフォーモバイルコミュニケーションズ（global system for mobile communications、ＧＳＭ（登録商標、以下同じ））ネットワーク、ＧＰＲＳネットワーク、拡張データＧＳＭ環境（enhanced data GSM environment、ＥＤＧＥ）ネットワーク、ＩＥＥＥ８０２．ｘｘ通信ネットワーク（例えば、ＷｉＦｉ、ＷｉＭａｘ、ＺｉｇＢｅｅ（商標））、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、符号分割多元接続（code division multiple access、ＣＤＭＡ）ネットワーク、近距離無線通（ＮＦＣ）、Ｗｉ－Ｆｉダイレクト、及びＢｌｕｅｔｏｏｔｈ（登録商標）ネットワークを介して動作するように設計された無線通信サブシステムを含み得る。無線通信サブシステム８２４は、デバイスが他の無線デバイスのための基地局として構成され得るように、ホスティングプロトコルを含み得る。別の例として、通信サブシステムは、デバイスが、例えば、ＴＣＰ／ＩＰプロトコル、ＨＴＴＰプロトコル、ＵＤＰプロトコル、ＩＣＭＰプロトコル、ＰＯＰプロトコル、ＦＴＰプロトコル、ＩＭＡＰプロトコル、ＤＣＯＭプロトコル、ＤＤＥプロトコル、ＳＯＡＰプロトコル、ＨＴＴＰライブストリーミング、ＭＰＥＧ Ｄａｓｈ、及び任意の他の既知の通信プロトコル又は技術など、１つ以上のプロトコル又は通信技術を使用して、ホストデバイスと同期することを可能にし得る。

【0063】

オーディオサブシステム８２６をスピーカ８２８及び１つ以上のマイクロフォン８３０に結合して、音声認識、音声複製、デジタル記録、電話機能、及びビーム形成などの音声対応機能を容易にすることができる。

【0064】

Ｉ／Ｏサブシステム８４０は、タッチコントローラ８４２及び／又は別の入力コントローラ（複数可）８４４を含み得る。タッチコントローラ８４２をタッチ面８４６に結合することができる。タッチ面８４６及びタッチコントローラ８４２は、例えば、容量性技術、抵抗性技術、赤外線技術、及び表面弾性波技術、並びにタッチ面８４６との１つ以上の接触点を判定するための他の近接センサ配列又は他の要素を含むが、これらに限定されない、いくつかのタッチ感度技術のいずれかを使用して、タッチ面８４６及びタッチコントローラ８４２の接触及び動き、又は故障を検出し得る。一実装例では、タッチ面８４６は、ユーザによる入力／出力デバイスとして使用され得る、仮想ボタン又はソフトボタンを表示し得る。

【0065】

他の入力コントローラ（複数可）８４４は、１つ以上のボタン、ロッカスイッチ、サムホイール、赤外線ポート、ＵＳＢポート、及び／又はスタイラスなどのポインタデバイスなどの他の入力／制御デバイス８４８に結合され得る。１つ以上のボタン（図示せず）は、スピーカ８２８及び／又はマイクロフォン８３０の音量制御のためのアップ／ダウンボタンを含み得る。

【0066】

いくつかの実装例では、デバイス８００は、ＭＰ３、ＡＡＣ、及びＭＰＥＧビデオファイルなどの、ユーザが記録したオーディオファイル及び／又はビデオファイルをプレイバックする。いくつかの実装例では、デバイス８００は、ＭＰ３プレイヤの機能性を含み得、他のデバイスにテザリングするためのピンコネクタ又は他のポートを含み得る。他の入力／出力及び制御デバイスを使用することができる。一実施形態では、デバイス８００は、直接通信リンク又は間接通信リンクを介してアクセサリデバイスにオーディオをストリーミングするためのオーディオ処理ユニットを含み得る。

【0067】

メモリインターフェース８０２をメモリ８５０に結合することができる。メモリ８５０は、１つ以上の磁気ディスク記憶デバイス、１つ以上の光学記憶デバイス、又はフラッシュメモリ（例えば、ＮＡＮＤ、ＮＯＲ）などの、高速ランダムアクセスメモリ又は不揮発性メモリを含み得る。メモリ８５０は、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、ｉＯＳ、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓのような埋め込み型オペレーティングシステムなどのオペレーティングシステム８５２を記憶し得る。オペレーティングシステム８５２は、基本システムサービスを扱うため、及びハードウェア依存タスクを実施するための命令を含み得る。いくつかの実装例では、オペレーティングシステム８５２は、カーネル（例えば、ＵＮＩＸ（登録商標）カーネル）を含み得る。

【0068】

メモリ８５０はまた、図１～図６を参照して説明されるように、無線アクセサリデバイスとのピアツーピア通信を含む、１つ以上の追加のデバイス、１つ以上のコンピュータ又はサーバとの通信を容易にするための通信命令８５４を記憶し得る。通信命令８５４はまた、デバイスの地理的位置に基づいて、デバイスによって使用するための動作モード又は通信媒体を選択するために使用され得る。

【0069】

メモリ８５０は、図１～図６を参照して説明されるように、センサ関連の処理及び機能を容易にするためのセンサ処理命令８５８と、記録機能を容易にするためのレコーダ命令８６０と、を含み得る。他の命令としては、ＧＮＳＳ及びナビゲーション関連処理を容易にするためのＧＮＳＳ／ナビゲーション命令、カメラ関連処理を促進するためのカメラ命令、及びタッチ入力を解釈するためのタッチモデルを含むユーザインターフェース処理を容易にするためのユーザインターフェース命令を挙げることができる。

【0070】

上で識別される命令及びアプリケーションの各々は、上に記載される１つ以上の機能を実施するための命令のセットに対応し得る。これらの命令は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はない。メモリ８５０は、追加の命令又はより少ない命令を含み得る。更に、デバイスの様々な機能は、１つ以上の信号処理及び／又は特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）を含む、ハードウェア及び／又はソフトウェアに実装され得る。

【0071】

記載される特徴は、デジタル電子回路構成、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはそれらの組み合わせで実装され得る。特徴は、プログラム可能なプロセッサによる実行のために、情報搬送機内、例えば、機械可読記憶デバイス内に有形的に具現化されたコンピュータプログラム製品で実装され得る。方法ステップは、入力データ上で動作し、出力を生成することによって、記載される実装例の機能を実施するための命令のプログラムを実行するプログラム可能なプロセッサによって実施され得る。

【0072】

記載される特徴は、データ記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、データ記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスにデータ及び命令を伝送するように結合された少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行可能な１つ以上のコンピュータプログラムにおいて有利に実装され得る。コンピュータプログラムは、ある特定の活動を実施するため、又はある特定の結果をもたらすために、コンピュータにおいて直接的又は間接的に使用され得る命令のセットである。コンピュータプログラムは、コンパイル又は解釈された言語を含む任意の形態のプログラミング言語（例えば、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｊａｖａ（登録商標））に書き込まれてもよいし、スタンドアロンプログラムとして、又はモジュール、構成要素、サブルーチン、若しくはコンピューティング環境での使用に好適な他のユニットとしてのものを含む、任意の形態で展開されてもよい。

【0073】

命令のプログラムの実行に好適なプロセッサとしては、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のコンピュータの単独のプロセッサ、又は複数のプロセッサ若しくはコアのうちの１つが挙げられる。概して、プロセッサは、リードオンリーメモリ若しくはランダムアクセスメモリ又はその両方から命令及びデータを受信するであろう。コンピュータの必須要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための１つ以上のメモリである。概して、コンピュータは、データファイルを記憶するための大容量記憶デバイスと通信し得る。これらの大容量記憶デバイスは、内部ハードディスク及び取り外し可能なディスク、光磁気ディスク、並びに光学ディスクなどの、磁気ディスクを含み得る。コンピュータプログラム命令及びデータを有形的に具現化するのに好適な記憶デバイスとしては、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスク及び取り外し可能なディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、全ての形態の不揮発性メモリが挙げられる。プロセッサ及びメモリは、ＡＳＩＣ（特定用途向け集積回路）によって補完され得るか、又はＡＳＩＣ内に組み込まれ得る。ユーザとのインタラクションを提供するために、特徴は、情報を作成者に表示するための、ＣＲＴ（ブラウン管：cathode ray tube）、ＬＥＤ（発光ダイオード：light emitting diode）、又はＬＣＤ（液晶ディスプレイ：liquid crystal display）ディスプレイ又はモニタなどの表示デバイス、キーボード、並びに作成者が入力をコンピュータに提供し得るマウス又はトラックボールなどのポインティングデバイス、を有するコンピュータ上に実装され得る。

【0074】

開示される実施形態の１つ以上の特徴又はステップは、アプリケーションプログラミングインターフェース（ＡＰＩ）を使用して実装され得る。ＡＰＩは、呼び出しアプリケーションと、データを提供するサービス又は動作若しくは計算を実施するサービスを提供する他のソフトウェアコード（例えば、オペレーティングシステム、ライブラリルーチン、機能）との間で渡される、１つ以上のパラメータを定義し得る。ＡＰＩは、ＡＰＩ仕様書で定義される呼び出し規約に基づいて、パラメータリスト又は他の構造を介して１つ以上のパラメータを送信又は受信する、プログラムコード内の１つ以上の呼び出しとして実装され得る。パラメータは、定数、キー、データ構造、オブジェクト、オブジェクトクラス、変数、データタイプ、ポインタ、配列、リスト、又は別の呼び出しであり得る。ＡＰＩ呼び出し及びパラメータは、任意のプログラミング言語で実施され得る。プログラミング言語は、プログラマがＡＰＩをサポートする機能にアクセスするために用いるであろう、語彙及び呼び出し規約を定義し得る。いくつかの実装例では、ＡＰＩ呼び出しは、入力能力、出力能力、処理能力、電力能力、通信能力などのような、アプリケーションを作動するデバイスの能力をアプリケーションに報告し得る。

【0075】

いくつかの実装例を記載してきた。それにもかかわらず、様々な修正が行われ得ることが理解されよう。１つ以上の実装例の要素は、更なる実装例を形成するために組み合わされても、削除されても、修正されても、補完されてもよい。更に別の実施例では、図に描写される論理フローは、所望の結果を達成するために、示される特定の順序、又は連続的な順序を必要としない。加えて、他のステップが提供されても、ステップが、記載されるフローから排除されてもよいし、他の構成要素が、記載されるシステムに追加されても、又はそこから除去されてもよい。したがって、他の実装例は、以下の特許請求の範囲の範囲内である。

【符号の説明】

【0076】

１００ 動作環境
１０１ ウェアラブルマルチメディアデバイス
１０２ クラウドコンピューティングプラットフォーム
１０３ ネットワーク
１０４ アプリ開発者
１０５ 第三者プラットフォーム
１０６ データベース
２００ データ処理システム
２０１ レコーダ
２０２ ビデオバッファ
２０３ オーディオバッファ
２０４ 写真バッファ
２０５ 吸収サーバ
２０６ データストア
２０７ ビデオプロセッサ
２０８ オーディオプロセッサ
２０９ 写真プロセッサ
２１０ 第三者プロセッサ
２１１、２１２、２１３ アプリケーション
３００ データ処理パイプライン
３０１ 吸収サーバ
３０２ ビデオプロセッサ
３０４ レコーダ
３０５ オーディオプロセッサ
３０６ アプリ
３０７ ビデオ処理アプリ
３０８ データマージ処理
４００ データ処理パイプライン
４０１ 吸収サーバ
４０２ 第三者プロセッサ
４０４ レコーダ
４０５ オーディオプロセッサ
４０６、４０７ アプリケーション
４０８ ユーザコールバック待ち行列
７００ アーキテクチャ
７０２ プロセッサ（複数可）
７０４ 記憶デバイス（複数可）
７０６ ネットワークインターフェース（複数可）
７０８ コンピュータ可読媒体（複数可）
７１０ 通信チャネル（複数可）
７１２ オペレーティングシステム
７１４ ネットワーク通信モジュール
７１６ データ処理命令
７１８ インターフェース命令
８００ デバイス
８０２ メモリインターフェース
８０４ プロセッサ（複数可）
８０６ 周辺機器インターフェース
８１０ 運動センサ（複数可）
８１２ 生物測定センサ（複数可）
８１４ 深度センサ
８１５ 位置プロセッサ
８１６ 電子磁力計
８２０ カメラサブシステム
８２２ 光学センサ
８２４ 無線通信サブシステム
８２６ オーディオサブシステム
８２８ スピーカ
８３０ マイクロフォン
８４０ サブシステム
８４２ タッチコントローラ
８４４ 他の入力コントローラ（複数可）
８４６ タッチ面
８４６ タッチ面
８４８ 制御デバイス
８５０ メモリ
８５２ オペレーティングシステム命令
８５４ 通信命令
８５８ センサ処理命令
８６０ レコーダ命令

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】