特許 7005698 オーディオコンテンツおよびビジュアルコンテンツのための管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-07

(45)【発行日】2022-01-21

(54)【発明の名称】オーディオコンテンツおよびビジュアルコンテンツのための管理システム

(51)【国際特許分類】

   H04L 67/00 20220101AFI20220114BHJP

【ＦＩ】

H04L67/00

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2020116243

(22)【出願日】2020-07-06

(62)【分割の表示】P 2019512270の分割

【原出願日】2017-08-25

(65)【公開番号】P2020173843

(43)【公開日】2020-10-22

【審査請求日】2020-07-17

(31)【優先権主張番号】15/267,286

(32)【優先日】2016-09-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】サムター，ジョージ・コーディ

(72)【発明者】

【氏名】ケリー，クリストファー・ジェイムズ

(72)【発明者】

【氏名】テイト，マシュー・デイビッド

(72)【発明者】

【氏名】チャンデル，アロク

(72)【発明者】

【氏名】ブレナン，シェーン・ライリー

【審査官】木村 雅也

(56)【参考文献】

【文献】特開２００２－２０２７８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０３５０１２９（ＵＳ，Ａ１）

【文献】特開２０１１－０２２８１７（ＪＰ，Ａ）

【文献】特開２００７－１７３９２０（ＪＰ，Ａ）

【文献】特開２０１４－０２７３６０（ＪＰ，Ａ）

【文献】特表２０１７－５２３６２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ２９／００

(57)【特許請求の範囲】

【請求項1】

異なるデバイスを介したオーディオコンテンツおよびビジュアルコンテンツの配信を管理するためのブローカーとして機能するように構成されたコンピューティングデバイスであって、
ディスプレイと、
オーディオデバイスと無線通信するためのインターフェースと、
前記ディスプレイおよび前記インターフェースと通信可能な１つ以上のプロセッサとを備え、前記１つ以上のプロセッサは、
メッセージのコンテンツを互いに異なるオーディオデータおよびビジュアルデータにパースし、
前記コンピューティングデバイスに無線で接続されたオーディオデバイスであって前記オーディオデータをユーザに配信するためのオーディオデバイスを選択し、
前記オーディオデバイスを介した前記オーディオデータの配信と、前記ディスプレイを介した前記ビジュアルデータの配信とを統合するように構成され、前記オーディオデータの配信と前記ビジュアルデータの配信とを統合することは、前記オーディオデータおよび前記ビジュアルデータを前記ユーザに配信するタイミングを合わせることを含み、
前記１つ以上のプロセッサは、さらに、
前記ディスプレイ上の前記ビジュアルデータを閲覧するための情報を前記オーディオデバイスに提供するように構成されている、コンピューティングデバイス。

【請求項2】

前記メッセージをパースすることは、テキストを特定し、当該テキストをオーディオデータに変換することを含む、請求項１に記載のコンピューティングデバイス。

【請求項3】

前記メッセージは別のデバイスから受信される、請求項１または２に記載のコンピューティングデバイス。

【請求項4】

前記コンピューティングデバイスはウェアラブルデバイスである、請求項１から３のいずれか１項に記載のコンピューティングデバイス。

【請求項5】

前記オーディオデバイスはウェアラブルデバイスである、請求項１から４のいずれか１項に記載のコンピューティングデバイス。

【請求項6】

前記オーディオデバイスを選択することは、複数のデバイスの中で優先度の高いデバイスを決定することを含む、請求項１から５のいずれか１項に記載のコンピューティングデバイス。

【請求項7】

前記優先度は、各前記複数のデバイスの動作状態に基づくものである、請求項６に記載のコンピューティングデバイス。

【請求項8】

前記オーディオデータの配信と前記ビジュアルデータの配信とを統合することは、さらに、前記ディスプレイ上で前記ビジュアルデータが利用可能である旨の通知を前記オーディオデバイスを介して提供することを含む、請求項１から７のいずれか１項に記載のコンピューティングデバイス。

【請求項9】

前記コンピューティングデバイスは、メディアをストリーミング配信するためのデバイスを含む、請求項１から８のいずれか１項に記載のコンピューティングデバイス。

【請求項10】

ブローカーデバイスによって異なるデバイスを介したオーディオコンテンツおよびビジュアルコンテンツの配信を管理するための方法であって、
１つ以上のプロセッサが、メッセージのコンテンツを互いに異なるオーディオデータおよびビジュアルデータにパースするステップと、
前記１つ以上のプロセッサが、前記ブローカーデバイスの通信インターフェースを介して前記ブローカーデバイスに無線で接続されたオーディオデバイスであって前記オーディオデータをユーザに配信するためのオーディオデバイスを選択するステップと、
前記１つ以上のプロセッサが、前記選択されたオーディオデバイスを介した前記オーディオデータの配信と、前記ブローカーデバイスのディスプレイを介した前記ビジュアルデータの配信とを統合するステップとを含み、前記オーディオデータの配信と前記ビジュアルデータの配信とを統合するステップは、前記オーディオデータおよび前記ビジュアルデータを前記ユーザに配信するタイミングを合わせるステップを含み、
前記方法は、さらに、
前記ディスプレイ上の前記ビジュアルデータを閲覧するための情報を前記オーディオデバイスに提供するステップを含む、方法。

【請求項11】

前記メッセージをパースするステップは、テキストを特定し、当該テキストをオーディオデータに変換するステップを含む、請求項１０に記載の方法。

【請求項12】

前記メッセージは別のデバイスから受信される、請求項１０または１１に記載の方法。

【請求項13】

前記ブローカーデバイスはウェアラブルデバイスである、請求項１０から１２のいずれか１項に記載の方法。

【請求項14】

前記オーディオデバイスはウェアラブルデバイスである、請求項１０から１３のいずれか１項に記載の方法。

【請求項15】

前記オーディオデバイスを選択するステップは、複数のデバイスの中で優先度の高いデバイスを決定するステップを含む、請求項１０から１４のいずれか１項に記載の方法。

【請求項16】

前記優先度は、各前記複数のデバイスの動作状態に基づくものである、請求項１５に記載の方法。

【請求項17】

前記オーディオデータの配信と前記ビジュアルデータの配信とを統合するステップは、さらに、前記ディスプレイ上で前記ビジュアルデータが利用可能である旨の通知を前記オーディオデバイスを介して提供するステップを含む、請求項１０から１６のいずれか１項に記載の方法。

【請求項18】

前記ブローカーデバイスは、メディアをストリーミング配信するためのデバイスを含む、請求項１０から１７のいずれか１項に記載の方法。

【請求項19】

請求項１０から１８のいずれか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

分野
本開示は、概して、デバイスエコシステム内の異なるまたは相反する技術的能力または技術的条件を管理することに関する。

【背景技術】

【0002】

背景
個人が同時にいくつかの個人用の電子デバイスを携帯することがしばしばある。それは、携帯電話、タブレット、ラップトップコンピュータなどを含み得る。ある人にメッセージ（例えば、電子メール）が送信されると、メッセージはその人のデバイスの各々で受信され得る。メッセージは、テキスト部分と画像部分とを含み得る。各デバイスは、可聴音および／または振動によってメッセージの受信をユーザに通知し得る。しかしながら、デバイスの技術的能力の違い、またはデバイスにおいて実施されている技術的条件（例えば、リフレッシュレート、処理など）の違いに起因して、各通知が異なるタイミングでユーザに配信される場合がある。さらに、各デバイスは、技術的理由により、受信時に電子メールのメッセージおよび画像を閲覧することが適当ではない場合がある。例えば、ユーザが歩道を歩いている最中であり、ラップトップコンピュータを閲覧できないかもしれない。デバイスのうちの１つが、画像の描写も含めてユーザに対してメッセージを音声で読み上げたとしても、ユーザはメッセージの内容を完全には理解できないかもしれない。

【発明の概要】

【課題を解決するための手段】

【0003】

概要
本明細書に記載のさまざまな実現例は、いくつかのデバイスの一群における異なるデバイスに係る異なる（または相反する）技術的能力／技術的条件を、如何にして管理するかという技術的問題を解決することに向けられる。本開示の実施形態の局面および利点は、以下の記載において一部が説明され、または、その記載から知ることができ、または、実施形態の実施によって知ることができるであろう。

【0004】

本開示の局面の一例は、メッセージコンテンツを管理するための、コンピュータによって実現される方法に向けられる。方法は、１つ以上のコンピューティングデバイスが、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信するステップを含む。方法は、１つ以上のコンピューティングデバイスが、オーディオコンテンツを表わす第１のセットのデータをオーディオデバイスに送信するステップを含む。オーディオデバイスは、オーディオデバイスのユーザにオーディオコンテンツを伝達するように構成されている。方法は、１つ以上のコンピューティングデバイスが、ビジュアルメディアコンテンツを表わす第２のセットのデータを表示デバイスに送信するステップを含む。表示デバイスは、ユーザに対してビジュアルメディアコンテンツを表示するように構成されている。方法は、１つ以上のコンピューティングデバイスが、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をオーディオデバイスのユーザに提供するステップを含む。このように、表示デバイスにおいて実施されている特定の技術的条件を示すもの、特に、ビジュアルメディアコンテンツが表示デバイス上で閲覧可能であることを示すものが、通知によって提供される。

【0005】

本開示の局面の別の例は、メッセージコンテンツを管理するためのコンピューティングシステムに向けられる。システムは、１つ以上のプロセッサと、命令を格納する１つ以上の有形の非一時的なコンピュータ読取可能な媒体とを備え、命令は、１つ以上のプロセッ
サによって実行されると、通信範囲内にある複数のユーザデバイスを検出することをコンピューティングシステムに行わせる。命令はさらに、複数のユーザデバイスのうちの少なくとも第１のユーザデバイスをオーディオデバイスとして選択し、複数のユーザデバイスのうちの少なくとも第２のユーザデバイスを表示デバイスとして選択することをコンピューティングシステムに行わせる。命令はさらに、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信することをコンピューティングシステムに行わせる。命令はさらに、オーディオコンテンツを表わす第１のセットのデータを第１のユーザデバイスに送信することをコンピューティングシステムに行わせる。第１のユーザデバイスは、第１のユーザデバイスのユーザに対してオーディオコンテンツを伝達するように構成されている。命令はさらに、ビジュアルメディアコンテンツを表わす第２のセットのデータを第２のユーザデバイスに送信することをコンピューティングシステムに行わせる。第２のユーザデバイスは、ユーザに対してビジュアルメディアコンテンツを表示するように構成されている。

【0006】

本開示の局面のさらに別の例は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに動作を行わせるコンピュータ読取可能な命令を格納する１つ以上の有形の非一時的なコンピュータ読取可能な媒体に向けられる。動作はさらに、通信範囲内にある複数のユーザデバイスを検出することを含む。動作はさらに、複数のユーザデバイスの少なくとも部分集合における各ユーザデバイスの１つ以上の能力およびステータスを判定することを含む。動作はさらに、ユーザデバイスの各々の１つ以上の能力およびステータスに少なくとも部分的に基づいて、ユーザデバイスの部分集合のうちの少なくとも１つのユーザデバイスをオーディオデバイスとして選択し、ユーザデバイスの部分集合のうちの少なくとも１つのユーザデバイスを表示デバイスとして選択することを含む。動作はさらに、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信することを含む。動作はさらに、オーディオコンテンツを表わす第１のセットのデータをオーディオデバイスに送信することを含む。オーディオデバイスは、オーディオデバイスのユーザに対してオーディオコンテンツを伝達するように構成されている。動作はさらに、ビジュアルメディアコンテンツを表わす第２のセットのデータを表示デバイスに送信することを含む。表示デバイスは、ユーザに対してビジュアルメディアコンテンツを表示するように構成されている。動作はさらに、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をオーディオデバイスのユーザに提供することを含む。

【0007】

本開示の局面の他の例は、メッセージコンテンツを管理するための、システム、装置、方法、有形の非一時的なコンピュータ読取可能な媒体、メモリデバイス、および電子デバイスに向けられる。

【0008】

さまざまな実施形態の上記および他の特徴、局面、および利点は、以下の記載および添付の特許請求の範囲を参照することによって、より良く理解されるであろう。本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本開示の実施形態を図示するとともに、以下の記載と合わせて、関連する原理を説明するのに役立つ。

【0009】

当業者に向けられた実施形態の詳細な説明を明細書で述べる。明細書では、添付の図面に言及する。

【図面の簡単な説明】

【0010】

【図1】本開示の実施形態の例に従う複数のユーザデバイスの例を示す図である。

【図2】本開示の実施形態の例に従うユーザデバイスの序列の例を示す図である。

【図3】本開示の実施形態の例に従うシステムの例を示す図である。

【図4】本開示の実施形態の例に従うシステムの例のユーザ実装例を示す図である。

【図5】本開示の実施形態の例に従うシステムの例の別のユーザ実装例を示す図である。

【図6】本開示の実施形態の例に従う方法の例のフローチャートを示す図である。

【図7】本開示の実施形態の例に従うシステムの例を示す図である。

【発明を実施するための形態】

【0011】

詳細な説明
実施形態について詳細に述べる。実施形態の１つ以上の例を図面に示している。各例は、実施形態を説明するために提供されるものであって、本開示を限定するものではない。実際、本開示の範囲または精神から逸脱することなく、実施形態をさまざまに変更および変形可能であることは、当業者には明らかであろう。例えば、ある実施形態の一部として図示または説明された特徴を別の実施形態で用いることによって、さらに他の実施形態を作り出すことが可能である。したがって、本開示の局面が、このような変更例および変形例をカバーすることが意図される。

【0012】

本開示の局面の例は、ユーザデバイスエコシステム内のメッセージコンテンツを管理することに向けられる。エコシステムは、複数のユーザデバイス（例えば、ウェアラブルユーザデバイス）を含んでもよく、それらのうちのいくつかは、ブローカーデバイス、オーディオデバイス、および表示デバイスとして機能し得る。例えば、ブローカーデバイスは、ユーザによって装着されている他のユーザデバイス（例えば、ブルートゥース（登録商標）ヘッドセット、およびディスプレイ付きスマートウォッチなど）の存在を検出可能なユーザの携帯電話であってもよい。ブローカーデバイスは、オーディオデバイスとして使用するためのブルートゥースヘッドセットを選択し、表示デバイスとして使用するためのスマートウォッチを選択し得る。ブローカーデバイスは、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信し、そのようなコンテンツをオーディオデバイスおよび表示デバイスを介してユーザに伝達することを統括し得る。例えば、携帯電話は、テキスト（例えば、オーディオコンテンツ）、およびその中に埋め込まれた画像（例えば、ビジュアルメディアコンテンツ）を含むテキストメッセージを受信し得る。ブローカーデバイスは、必要に応じて、テキストをユーザに対して再生可能な形式に変換し、それをオーディオデバイス（例えば、ブルートゥースヘッドセット）に送信し得る。ブローカーデバイスは、ビジュアルメディアコンテンツを表示デバイス（例えば、スマートウォッチ）に送信し得る。ブルートゥースヘッドセットは、メッセージのテキストをユーザに伝達し、メッセージのうちの画像を含む部分を得た場合には、ブルートゥースヘッドセットは、スマートウォッチ上で閲覧可能なビジュアルメディアコンテンツ（例えば、画像）が存在することを知らせる通知をユーザに提供し得る。通知は、例えば「ウォッチを見て下さい。」などのフレーズや、音声（例えば、「ビープ」）などを含み得る。次いで、スマートウォッチは、ユーザが閲覧できるようにビジュアルメディアコンテンツを表示させ得る。このようにして、システムは、エコシステム内の個々のユーザデバイスのさまざまな能力を利用することによって、ユーザへのメッセージの伝達を統括することができる。

【0013】

より特定的には、本開示の局面に従うシステムの例は、複数のユーザデバイスを含み得る。ユーザデバイスは、マルチデバイスエコシステム内に含まれ得る。例えば、上述のように、ユーザデバイスは、携帯電話、ブルートゥースヘッドセット、コンピュータ制御のウォッチ（例えば、スマートウォッチ）、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア、他のタイプのウェアラブルコンピューティングデバイスなどの、ウェアラブルユーザデバイスであってもよい。別の例では、ユーザデバイスは、デスクトップコンピュータ、統合デバイス（例えば、グーグルクロームキャスト（登録商標））、テレビ、スピーカーシステムなどの、「非ウェアラブル」ユーザデバイスであってもよい。ユーザデバイスのうちの１つ以上は、エコシステムのための、１つ以上のブローカーデバイス、オーディオデバイス、および／または、表示デバイスとして機能し得る。

【0014】

ブローカーデバイスは、エコシステム内のいずれのユーザデバイスをオーディオデバイスおよび表示デバイスとして機能させるかを選択し得る。例えば、ブローカーデバイスは、いずれのユーザデバイスがエコシステム内にあるか（例えば、いずれのユーザデバイスが当該ブローカーデバイスの通信範囲内にあるか）を検出し得る。ブローカーデバイスは、各ユーザデバイスの１つ以上の能力およびステータスを判定し得る。能力は、オーディオ能力、表示能力、処理能力、パワー能力などを含み得る。ユーザデバイスのステータスは、デバイスがアクティブ（例えば、現在処理中、ダウンロード中、アップロード中）であるか否か、デバイスがパッシブ（例えば、スリープモード、画面ロック中）であるか否か、および／または、ユーザデバイスが現在使用中（例えば、ユーザがデバイスと対話中）であるか否かを示し得る。ブローカーデバイスは、少なくとも部分的にデバイスの能力およびステータスに基づいて、オーディオデバイスとして潜在的に使用可能なものとして、および／または表示デバイスとして潜在的に使用可能なものとして、１つ以上のユーザデバイスを特定（例えば、ランク付け）し得る。

【0015】

一例として、ユーザの携帯電話は、少なくとも１つのユーザデバイスをオーディオデバイスとして選択し、少なくとも１つのユーザデバイスを表示デバイスとして選択することのできるブローカーデバイスとして機能し得る。携帯電話は、ブルートゥースヘッドセット、コンピュータ制御のアイウェア、およびディスプレイ付きスマートウォッチが、当該携帯電話の通信範囲内にあることを検出し得る。ブルートゥースヘッドセットおよびスマートウォッチはともに、聞こえるように音を出力するためのスピーカーを含み得る。このように、携帯電話は、オーディオデバイスとして潜在的に使用可能なものとして、ブルートゥースヘッドセットおよびスマートウォッチの両方を特定し得る。しかしながら、オーディオデバイスとして潜在的に使用可能なものとして、ブルートゥースヘッドセットはスマートウォッチよりも優先（例えば、上位にランク付け）され得る。なぜなら、ブルートゥースヘッドセットはスマートウォッチよりも高いオーディオ能力（例えば、より高品質なスピーカー、よりプライベートなオーディオ配信）を有するからである。スマートウォッチおよびコンピュータ制御のアイウェアはともに、表示デバイスとして潜在的に使用可能なものとして特定され得る。しかしながら、表示デバイスとして潜在的に使用可能なものとして、スマートウォッチはコンピュータ制御のアイウェアよりも優先（例えば、上位にランク付け）され得る。なぜなら、コンピュータ制御のアイウェアが（例えば、ユーザのポケットの中で）パッシブである間、スマートウォッチはアクティブであり得るからである。したがって、携帯電話（例えば、ブローカーデバイス）は、オーディオデバイスとして使用するためにブルートゥースヘッドセットを選択し、表示デバイスとして使用するためにスマートウォッチを選択し得る。追加的および／または代替的に、本明細書でさらに説明するように、携帯電話自体がオーディオデバイスおよび／または表示デバイスとして機能してもよい。

【0016】

ブローカーデバイスは、オーディオデバイスおよび表示デバイスを介して異なるタイプのコンテンツをユーザに配信することを統括し得る。例えば、ブローカーデバイスは、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信し得る。メッセージは、テキストメッセージ、電子メールメッセージ、ポッドキャスト、セミナー、オーディオブック、オーディオイラストブック、テレビプログラム、ストリーミングデータ、記事、文書、および／または、ユーザが聴いたり、および／または、読んだりすることのできる他の如何なるタイプの情報も含み得る。メッセージは、オーディオコンテンツとビジュアルメディアコンテンツとを含み得る。オーディオコンテンツは、聞こえるように出力可能なオーディオ形式（例えば、ＷＡＶ、ＡＩＦＦ、ＡＵ、ＦＬＡＣ、ＭＰ３、可逆的または不可逆的に圧縮された他の形式）のデータ、および／または、聞こえるように出力可能な形式に変換可能なテキスト形式（例えば、ｄｏｃ、ｐｄｆ、ｔｘｔ、ｈｔｍｌ、ｘｍｌ、他の形式）のデータを含み得る。ビジュアルメディアコンテンツは、画像デ
ータ、動画、絵文字、ステッカー（例えば、ｂｉｔｍｏｊｉ）、マップ、ＧＩＦ、ＭＩＭＥ、テキストブックフィギュア、グラフィック描写（例えば、ヒートマップ）、ダイヤグラム、アニメーション、イラスト、および／または、ユーザが閲覧可能な他のタイプの情報を含み得る。

【0017】

ブローカーデバイスは、メッセージのオーディオコンテンツと、メッセージのビジュアルメディアコンテンツとを特定し、それらをそれぞれオーディオデバイスと表示デバイスとに分配し得る。例えば、携帯電話（例えば、ブローカーデバイス）は、テキストメッセージを受信し得る。テキストメッセージは、テキストデータ（例えば、「私の犬を見て。かわいいでしょう？」）と、画像データ（例えば、犬の画像）とを含み得る。携帯電話は、テキストデータをオーディオコンテンツとして特定し、それを（必要に応じて）オーディオ形式に変換し、それをブルートゥースヘッドセット（例えば、オーディオデバイス）に送信し得る。ブルートゥースヘッドセットは、テキストをユーザに伝達するように構成され得る。さらに、携帯電話は、画像をビジュアルメディアコンテンツとして特定し、それをスマートウォッチ（例えば、表示デバイス）に送信し得る。スマートウォッチは、ユーザに対して犬の画像を表示するように構成され得る。

【0018】

ブローカーデバイスは、ユーザがオーディオコンテンツを聴いている際の適切な時にビジュアルメディアコンテンツを閲覧することができるように、ユーザに通知を提供し得る。通知は、表示デバイス上でビジュアルメディアコンテンツが閲覧可能であることをユーザに示すことのできる用語、フレーズ、イアコン、音声、ノイズ、振動、などであり得る。いくつかの実現例では、ブローカーデバイスは、通知を表わすデータをオーディオデバイスに送信し得る。オーディオデバイスは、通知をオーディオデバイスのユーザに対して伝達し得る。通知は、動作（例えば、「ウォッチを見て下さい。」というフレーズ）、コンテンツのタイプ（例えば、「写真／動画／絵文字の閲覧」）、および／または、実際のコンテンツ（例えば、「犬の」）を示し得る。追加的および／または代替的に、ブローカーデバイスは、通知を表わすデータを表示デバイスに送信し得る。表示デバイスは通知（例えば、振動）をユーザに提供し得る。いずれの実現例においても、ユーザがテキストメッセージを読んだ場合に、ビジュアルメディアコンテンツを閲覧する可能性が最も高いであろう時に、ユーザに通知を提供することができる。これは、例えば、オーディオコンテンツがユーザに伝達される前、オーディオコンテンツが（例えば、ブルートゥースヘッドセットを介して）ユーザに伝達されている最中、および／または、オーディオコンテンツがユーザに伝達された後であってもよい。いくつかの実現例では、表示デバイスは、ユーザが閲覧しようとする動作（例えば、視線を投げかけるジェスチャー（glance gesture））に応答して、および／または、設定された時間（例えば、通知が提供された後、３０秒間）の間、ビジュアルメディアコンテンツを表示し得る。

【0019】

いくつかの実現例では、ブローカーデバイスは、コンテンツがユーザに配信されている際に、オーディオデバイスおよび／または表示デバイスとして使用するための異なるデバイスを選択し得る。例えば、ブローカーデバイスは、少なくとも１つのユーザデバイスに関係するステータスの変更を判定し、オーディオデバイスおよび／または表示デバイスとして異なるユーザデバイスを選択し得る。一例として、オーディオコンテンツ（例えば、メッセージのテキスト）がブルートゥースヘッドセットを介してユーザに提供されている最中に、ユーザがポケットからコンピュータ制御のアイウェアを取り外し、そのアイウェアを（例えば、顔の上で）使用し始める場合がある。携帯電話（例えば、ブローカーデバイス）は、コンピュータ制御のアイウェアのステータスが（例えば、パッシブから現在使用中へ）変更されたことを検出し得る。したがって、携帯電話は、コンピュータ制御のアイウェアを表示デバイスとして選択し、ビジュアルメディアコンテンツ（例えば、犬の画像）を表わすデータをコンピュータ制御のアイウェアに送信し得る。コンピュータ制御のアイウェアは、ビジュアルメディアコンテンツをユーザに対して表示し得る。

【0020】

本開示のシステムおよび方法は、ユーザデバイスコンピューティング技術の向上をもたらす。例えば、システムおよび方法は、オーディオコンテンツを表わす第１のセットのデータを（ユーザに伝達するために）オーディオデバイスに送信し、ビジュアルメディアコンテンツを表わす第２のセットのデータを（ユーザに対して表示するために）表示デバイスに送信し、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をユーザに提供することによって、より効果的にメッセージコンテンツの配信を統括することができる。デバイス能力およびステータスに少なくとも部分的に基づいて、ある複数のユーザデバイスに異なるタイプのコンテンツ（例えば、オーディオコンテンツ、ビジュアルメディアコンテンツ）を選択的に提供することによって、システムおよび方法は、確実に、最も効果的にユーザにメッセージコンテンツを提示することができる。さらに、システムおよび方法は、（メッセージ全体を各デバイスに送信するのではなく）該当デバイスが提示すべき必要なコンテンツのみを送信することによって、ユーザデバイスの処理リソースおよび電源を節約することができる。さらに、本明細書に記載のシステムおよび方法は、マルチデバイスエコシステム内のユーザデバイスを同期させて、各デバイスの最も適切な機能を利用することができる。したがって、ユーザは、フィデリティーが最も高い状態でユーザデバイスを体験することができる。これにより、システムはデバイス使用を管理することができるとともに、ユーザ体験をばらばらにする原因となり得る反復的な非同期のコンテンツ配信を排除することができる。

【0021】

本開示の局面の例に従ってユーザへの異なるタイプのコンテンツの配信を統括することによって、マルチデバイスエコシステムは、当該エコシステム内のデバイスのさまざまな能力を効果的に利用することができる。さらに、ビジュアルメディアコンテンツをいつ閲覧すべきかについては、ユーザに通知を提供することによって、ユーザは他のタスク（例えば、歩行）に集中したままでいることができ、そのコンテンツを閲覧するか否かを選ぶことができる。このように、このシステムおよび方法では、ユーザデバイスの能力を利用することによって、ユーザがまだメッセージを受信しているうちにマルチタスクを効果的に行なうことができる。

【0022】

次に、図面を参照して、本開示の実施形態の例をより詳細に説明する。図１は、本開示の実施形態の例に従う複数のユーザデバイス１００の例を示す。複数のユーザデバイス１００は、マルチデバイスエコシステム内に含まれてもよく、および／または、マルチデバイスエコシステムを構成してもよい。複数のユーザデバイス１００は、任意の好適なタイプの携帯型コンピューティングデバイス、ユーザに付随するデバイス、電話、スマートフォン、コンピュータ制御のウォッチ（例えば、スマートウォッチ）、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア、他のタイプのウェアラブルコンピューティングデバイス、タブレット、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、統合デバイス、オーディオシステム、テレビ、ゲームシステム、メディアプレーヤー、電子書籍リーダー、テレビプラットフォーム、ナビゲーションシステム、デジタルカメラ、アプライアンス、埋込まれたコンピューティングデバイス、音声システム、または、本明細書に記載の動作を実行するように構成された他の任意のタイプの携帯型および／または非携帯型コンピューティングデバイスを含み得る。いくつかの実現例では、複数のユーザデバイス１００は、１つ以上のウェアラブルコンピューティングデバイス（例えば、携帯電話、ブルートゥースヘッドセット、スマートウォッチ、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア）を含み得る。いくつかの実現例では、複数のユーザデバイス１００は、デスクトップコンピュータ、統合デバイス（例えば、グーグルクロームキャスト（登録商標））、テレビ、スピーカーシステムなどの、「非ウェアラブル」ユーザデバイスであってもよい。

【0023】

１つ以上のコンピューティングデバイスは、１つ以上のブローカーデバイス１０２とし
て機能するように構成され得る。ブローカーデバイス１０２は、例えば、本明細書に記載のメッセージコンテンツを管理するための機能を果たすソフトウェアアプリケーションを含み得る。例えば、ブローカーデバイス１０２（例えば、１つ以上のコンピューティングデバイス）は、通信範囲１０４内にある複数のユーザデバイス１００を検出するように構成され得る。通信範囲１０４は、例えば、ブローカーデバイス１０２が１つ以上の他のユーザデバイス１０６Ａ～Ｄにデータを少なくとも送信することのできる範囲であってもよい。いくつかの実現例では、通信範囲１０４は、ブローカーデバイス１０２およびユーザデバイス１０６Ａ～Ｄがデータを互いに送信および／または受信することのできる範囲であってもよい。いくつかの実現例では、ブローカーデバイス１０２およびユーザデバイス１０６Ａ～Ｄは、ユーザに付随するものであってもよく、および／または、ユーザのメッセージを受信および／または送信するための許可／認可が与えられたものであってもよい。いくつかの実現例では、ブローカーデバイス１０２は、サーバ側システム上に実装され得る。

【0024】

ブローカーデバイス１０２は、ユーザデバイス１０６Ａ～Ｄを検索および特定するように構成され得る。例えば、ブローカーデバイス１０２は、いずれかのユーザデバイス１０６Ａ～Ｄが通信範囲１０４内にあるか否かを判定するための１つ以上の第１の信号を（例えば、ブルートゥースプロトコル、ＵＷＢ、ＲＦを介して）送信し得る。第１の信号は符号化され、受信デバイスからの応答信号を要求および／または誘発し得る。例えば、１つ以上のユーザデバイス１０６Ａ～Ｄは、第１の信号を受信し、１つ以上の第２の信号をブローカーデバイス１０２に送信し得る。第２の信号は、ユーザデバイス１０６Ａ～Ｄが通信範囲１０４内にあること、および／または、ユーザデバイス１０６Ａ～Ｄがブローカーデバイス１０２からデータを受信可能であることを示し得る。また、第２の信号は、追加的および／または代替的に、（例えば、第２の信号を送信した）それぞれのユーザデバイス１０６Ａ～Ｄを示し得る。ブローカーデバイス１０２は、第２の信号に少なくとも部分的に基づいて、（例えば、通信範囲１０４内にある）１つ以上のユーザデバイス１０６Ａ～Ｄを特定するように構成され得る。

【0025】

ブローカーデバイス１０２によってユーザデバイス１０６Ａ～Ｄを特定するための手法を説明したが、これに限定することを意図するものではない。ユーザデバイス１０６Ａ～Ｄが通信範囲１０４内にあるか否か、および／または、どのユーザデバイス１０６Ａ～Ｄが通信範囲１０４内にあるか、および／または、ユーザデバイス１０６Ａ～Ｄがブローカーデバイス１０２からデータを受信可能であるか否か、および／または、どのユーザデバイス１０６Ａ～Ｄがブローカーデバイス１０２からデータを受信可能であるかをブローカーデバイス１０２が判定するために、さまざまな技術および／または方法が用いられ得ることを、当業者ならば理解するであろう。例えば、いくつかの実現例では、ユーザデバイス１０６Ａ～Ｄは、ブローカーデバイス１０２から第１の信号を受信せずに、ブローカーデバイス１０２に信号（例えば、通信範囲１０４内にあるユーザデバイス１０６Ａ～Ｄを表示および／または特定する信号）を提供してもよい。

【0026】

ブローカーデバイス１０２は、ユーザデバイス１０６Ａ～Ｄに関係する１つ以上のパラメータ１０８を判定するように構成され得る。例えば、ブローカーデバイス１０２は、複数のユーザデバイス１００の少なくとも部分集合における各ユーザデバイスの１つ以上の能力１１０および／またはステータス１１２を判定するように構成され得る。１つ以上の能力１１０は、オーディオ能力１１４Ａ、表示能力１１４Ｂ、処理能力１１４Ｃ、パワー能力１１４Ｄ、および／または、それぞれのユーザデバイス１０６Ａ～Ｄの他の能力を含み得る。ユーザデバイス１０６Ａ～Ｄのオーディオ能力１１４Ａは、例えば、それぞれのユーザデバイス１０６Ａ～Ｄのオーディオハードウェア（および／または、関連ソフトウェア）のタイプ、質、明瞭性、量、ボリュームレベル、プライバシーレベル（例えば、ヘッドホン、スピーカー）などを示すものであり得る。ユーザデバイス１０６Ａ～Ｄの表示
能力１１４Ｂは、例えば、それぞれのユーザデバイス１０６Ａ～Ｄの表示ハードウェア（および／または、関連ソフトウェア）のタイプ、質、明瞭性、解像度、鮮明さ、量、プライバシーレベル（例えば、画面サイズ、他人から隠す能力）などを示すものであり得る。ユーザデバイス１０６Ａ～Ｄのステータス１１２は、ユーザデバイスの現在の動作状態を示すものであり得る。例えば、ステータス１１２は、それぞれのユーザデバイス１０６Ａ～Ｄがアクティブステータス１１６Ａ（例えば、現在処理中、ダウンロード中、アップロード中）であるか否かを示してもよく、それぞれのユーザデバイス１０６Ａ～Ｄがパッシブステータス１１６Ｂ（例えば、スリープモード、画面ロック中）であるか否かを示してもよく、および／または、ユーザデバイスが現在使用中ステータス１１６Ｃ（例えば、ユーザが当該デバイスと対話中である）であるか否かを示してもよい。追加的および／または代替的に、ステータス１１２は、ユーザデバイスがオンかオフかを示すものであり得る。ブローカーデバイス１０２は、各ユーザデバイスの能力１１０および／またはステータス１１２を（例えば、連続的に／周期的に／予定に従って）監視し、例えば、ユーザデバイスに関係する能力１１０および／またはステータス１１２の変更を判定するように構成され得る。

【0027】

ブローカーデバイス１０２は、オーディオデバイスとして潜在的に使用可能なものとして、および／または表示デバイスとして潜在的に使用可能なものとして、１つ以上のユーザデバイスを特定するように構成され得る。いくつかの実現例では、ブローカーデバイス１０２は、ユーザデバイス１０６Ａ～Ｄに関係するパラメータ１０８に少なくとも部分的に基づいて、オーディオデバイスおよび／または表示デバイスとして潜在的に使用可能なものとして、１つ以上のユーザデバイス１０６Ａ～Ｄを特定するように構成され得る。これは、ユーザデバイス１０６Ａ～Ｄの能力１１０および／またはステータス１１２の評価を含み得る。

【0028】

ブローカーデバイス１０２は、１つ以上のユーザデバイスの各々の１つ以上の能力１１０およびステータス１１２に少なくとも部分的に基づいて、オーディオデバイスとして潜在的に使用可能なものとして、１つ以上のユーザデバイスを特定するように構成され得る。一例として、複数のユーザデバイス１００は、ブローカーデバイス１０２として機能し得るユーザの携帯電話を含み得る。携帯電話は、複数のユーザデバイスが通信範囲１０４内にあることを検出し得る。ユーザデバイスの少なくとも部分集合は、第１のユーザデバイス１０６Ａ（例えば、ブルートゥースヘッドセット）、第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）、第３のユーザデバイス１０６Ｃ（例えば、コンピュータ制御のアイウェア）、および第４のユーザデバイス１０６Ｄ（例えば、タブレット）を含み得る。ブローカーデバイス１０２（例えば、携帯電話）は、第１のユーザデバイス１０６Ａ（例えば、ブルートゥースヘッドセット）、第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）、および第４のユーザデバイス１０６Ｄ（例えば、タブレット）が、聞こえるように音を出力するためのオーディオ出力コンポーネント（例えば、スピーカー、ヘッドホン）を有していることを特定し得る。このように、ブローカーデバイス１０２は、オーディオデバイスとして潜在的に使用可能なものとして、第１、第２、および第４のユーザデバイス１０６Ａ～Ｂ、Ｄを特定し得る。

【0029】

図２に示すように、ブローカーデバイス１０２は、オーディオデバイスとして潜在的に使用可能なものとして、これらのユーザデバイスをランク付けし得る。このようなランク付けは、ユーザデバイスの各々の１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいてもよい。例えば、オーディオデバイスとして潜在的に使用可能なものとして、第１のユーザデバイス１０６Ａ（例えば、ブルートゥースヘッドセット）は第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）よりも優先（例えば、上位にランク付け）され得る。なぜなら、第１のユーザデバイス１０６Ａは第２のユーザデバイス１０６Ｂよりも高いオーディオ能力（例えば、より高品質なスピーカー、より
プライベートなオーディオ配信）を有し得るからである。追加的および／または代替的に、第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）は第４のユーザデバイス１０６Ｄ（例えば、タブレット）よりも優先（例えば、上位にランク付け）され得る。なぜなら、第２のユーザデバイス１０６Ｂは、（例えば、より小型のスピーカーによって）第４のユーザデバイス１０６Ｄよりもプライベートにオーディオコンテンツをユーザに配信できるからである。したがって、ブローカーデバイス１０２は、オーディオデバイスとして潜在的に使用可能なものとして、第１、第２、および第４のユーザデバイス１０６Ａ～Ｂ、Ｄを、その順でランク付けし得る。

【0030】

ブローカーデバイス１０２は、１つ以上のユーザデバイスの各々の１つ以上の能力１１０およびステータス１１２に少なくとも部分的に基づいて、表示デバイスとして潜在的に使用可能なものとして、１つ以上のユーザデバイスを特定するように構成され得る。例えば、ブローカーデバイス１０２（例えば、携帯電話）は、第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）、第３のユーザデバイス１０６Ｃ（例えば、コンピュータ制御のアイウェア）、および第４のユーザデバイス１０６Ｄ（例えば、タブレット）が、ビジュアルメディアコンテンツをユーザに閲覧可能にするための表示出力コンポーネント（例えば、表示画面）を有していることを特定し得る。このように、ブローカーデバイス１０２は、表示デバイスとして潜在的に使用可能なものとして、第２のユーザデバイス１０６Ｂ、第３のユーザデバイス１０６Ｃ、および第４のユーザデバイス１０６Ｄを特定し得る。

【0031】

図２に示すように、ブローカーデバイス１０２は、表示デバイスとして潜在的に使用可能なものとして、これらのユーザデバイスをランク付けし得る。このようなランク付けは、ユーザデバイスの各々の１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいてもよい。例えば、表示デバイスとして潜在的に使用可能なものとして、第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）は第３のユーザデバイス１０６Ｃ（例えば、コンピュータ制御のアイウェア）よりも優先（例えば、上位にランク付け）され得る。なぜなら、第３のユーザデバイス１０６Ｃがパッシブステータス１１６Ｂである（例えば、ユーザのポケットの中で画面ロック中である）間、第２のユーザデバイス１０６Ｂはアクティブステータス１１６Ａ（例えば、処理中）、および／または現在使用中ステータス１１６Ｃであり得るからである。追加的および／または代替的に、第３のユーザデバイス１０６Ｃ（例えば、コンピュータ制御のアイウェア）は第４のユーザデバイス１０６Ｄ（例えば、タブレット）よりも優先（例えば、上位にランク付け）され得る。なぜなら、第３のユーザデバイス１０６Ｃは第４のユーザデバイス１０６Ｄ（例えば、タブレット表示画面）よりも高いビジュアル能力を有し得る（例えば、光学ヘッド付きディスプレイによって、よりプライベートで高品質なビジュアルコンテンツの配信をユーザに対して行なう）からである。したがって、ブローカーデバイス１０２は、表示デバイスとして潜在的に使用可能なものとして、第２、第３、および第４のユーザデバイス１０６Ｂ～Ｄを、その順でランク付けし得る。

【0032】

このようにして、ブローカーデバイス１０２は、ユーザにコンテンツを伝達するためのオーディオデバイスおよび／または表示デバイスとして潜在的に使用可能なユーザデバイスの１つ以上の序列２００（図２に図示）を作成し得る。１つ以上の序列２００は、複数のユーザデバイス１００の少なくとも部分集合におけるそれぞれのユーザデバイス１０６Ａ～Ｄの１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいてもよい。序列２００は、各機能についてのそれらのデバイスの優先順位に少なくとも部分的に基づいて編成されたユーザデバイスのリスト、ランク付け、優先度、順位などを含み得る。ブローカーデバイス１０２は、オーディオデバイスおよび／または表示デバイスとして使用するためのユーザデバイスを選択する際に、１つ以上の序列２００を表わすデータを格納、および／または、そのデータにアクセスし得る。このように、本明細書
に記載の方法で使用可能なデバイスの序列を特定することによって、本開示のシステムおよび方法は、メッセージコンテンツを特定してそれを最も適切なデバイスに割当て、計算リソースを節約し、ユーザデバイスを用いたユーザの体験を向上させることができる。

【0033】

潜在的に使用可能なものとしてユーザデバイス１０６Ａ～Ｄを特定して序列２００を作成するための手法を説明したが、これに限定することを意図するものではない。当業者ならば、さまざまな技術および／または方法が使用され得ることを理解するであろう。例えば、いくつかの実現例では、ブローカーデバイス１０２は、ユーザデバイス１０６Ａ～Ｄに対して、オーディオデバイスおよび／または表示デバイスとしてのそれぞれの潜在的使用可能性に関して重み付けすることによって序列２００を作成してもよい。各ユーザデバイスに与えられる重みは、１つ以上のパラメータ１０８に少なくとも部分的に基づいてもよい。

【0034】

いくつかの実現例では、ユーザデバイスは、オーディオデバイスおよび表示デバイスの両方として、潜在的に使用可能なものとして特定され得る。例えば、図２に示すように、ユーザデバイスのうちの１つ以上（例えば、第２のユーザデバイス１０６Ｂ、第４のユーザデバイス１０６Ｄ）は、オーディオデバイスとして潜在的に使用可能なユーザデバイスの序列、および、表示デバイスとして潜在的に使用可能なユーザデバイスの序列に含まれ得る。このようなケースは、ある特定のユーザデバイスが、当該ユーザデバイスをオーディオデバイスおよび／または表示デバイスとして機能させるオーディオ能力およびビジュアル能力を有する場合に生じ得る。

【0035】

いくつかの実現例では、ユーザデバイスの序列２００にブローカーデバイス１０２が含まれることもある。例えば、ブローカーデバイス１０２は、ブローカーデバイス１０２の能力および／またはステータスに少なくとも部分的に基づいて、オーディオデバイスおよび／または表示デバイスとして潜在的に使用可能なものとして、１つ以上のブローカーデバイス１０２を特定し得る。一例として、ユーザの携帯電話がブローカーデバイス１０２として機能する場合、携帯電話は、そのオーディオ能力（例えば、スピーカー）に起因してオーディオデバイスとして潜在的に使用可能なものとして特定されてもよく、および／または、そのビジュアル能力（例えば、表示画面）に起因して表示デバイスとして潜在的に使用可能なものとして特定されてもよい。さらに、ユーザの携帯電話は、現在使用中ステータス１１６Ｃであり得る。その場合、その携帯電話は、表示デバイスとして潜在的に使用可能な最も優先度の高い（最も上位にランク付けされる）ユーザデバイスとなる。図２では、１つ以上の序列２００において、ブローカーデバイス１０２がリストの最後に記載されているが、これに限定することを意図するものではない。いくつかの実現例では、ブローカーデバイス１０２は、序列２００における任意の位置（例えば、オーディオデバイスおよび／または表示デバイスとして潜在的に使用可能な最も優先度の高いデバイスとしての位置を含む）にランク付けされ得る。

【0036】

いくつかの実現例では、ブローカーデバイス１０２は、ユーザデバイス１０６Ａ～Ｄの能力１１０および／またはステータス１１２の変更に少なくとも部分的に基づいて、１つ以上の序列２００を調整するように構成され得る。上述のように、ブローカーデバイス１０２は、複数のユーザデバイス１００のうちの１つ以上のユーザデバイスの能力１１０および／またはステータス１１２を（例えば、１つ以上の通信を介して）監視するように構成され得る。ブローカーデバイス１０２は、監視された能力および／またはステータスに少なくとも部分的に基づいて、オーディオデバイスとして潜在的に使用可能なユーザデバイスの序列２００を調整し得る。追加的および／または代替的に、ブローカーデバイス１０２は、監視された能力および／またはステータスに少なくとも部分的に基づいて、表示デバイスとして潜在的に使用可能なユーザデバイスの序列２００を調整し得る。

【0037】

例えば、ブローカーデバイス１０２は、ユーザデバイス１０６Ａ～Ｄの能力１１０の変更に少なくとも部分的に基づいて、１つ以上の序列２００を調整し得る。一例として、ユーザは、第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）のオーディオ能力１１４Ａの低下（例えば、スピーカーの損傷）により、第２のユーザデバイス１０６Ｂを外してもよい。ブローカーデバイス１０２は、（例えば、第２のユーザデバイス１０６Ｂとの間の１つ以上の通信を介して）能力１１０の変更を特定し、（例えば、損傷したスピーカーによって）低下したオーディオ能力１１４Ａに少なくとも部分的に基づいて、オーディオデバイスとしての潜在的使用可能性に関して、序列２００における第２のユーザデバイス１０６Ｂのランクを下げてもよい。

【0038】

追加的および／または代替的に、ブローカーデバイス１０２は、ユーザデバイス１０６Ａ～Ｄのステータス１１２の変更に少なくとも部分的に基づいて、１つ以上の序列２００を調整し得る。例えば、ユーザがポケットから第３のユーザデバイス１０６Ｃ（例えば、コンピュータ制御のアイウェア）を取り外し、第３のユーザデバイス１０６Ｃを（例えば、顔の上で）使用し始める場合がある。ブローカーデバイス１０２は、第３のユーザデバイス１０６Ｃのステータス１１２の（例えば、パッシブから現在使用中への）変更を検出／特定し得る。したがって、ブローカーデバイス１０２は、（例えば、パッシブステータスから現在使用中ステータスへ）変更されたステータス１１２に少なくとも部分的に基づいて、表示デバイスとしての潜在的使用可能性に関して、序列２００における第３のユーザデバイス１０６Ｃのランクが上がるように、序列２００を調整し得る。

【0039】

いくつかの実現例では、１つ以上の新たなユーザデバイスが１つ以上の序列２００に追加され得る。例えば、図１に戻って、ブローカーデバイス１０２は、複数のユーザデバイス１００（例えば、デバイスエコシステム）に追加される１つ以上の新たなユーザデバイス１１８があるか否かを（例えば、連続的に／周期的に／予定に従って）監視するように構成され得る。これは、通信範囲１０４内にある、および／または、ユーザに付随するデバイスを含み得る。例えば、ユーザは、新たなユーザデバイス１１８（例えば、ラップトップコンピュータ）をオンにしたり、使用を開始したり、新たなユーザデバイス１１８の範囲内に移動したりし得る。ブローカーデバイス１０２は、新たなユーザデバイス１１８が複数のユーザデバイス１００に追加されたこと（および／または、通信範囲１０４内にあること）を検出し、当該新たなユーザデバイス１１８の１つ以上の能力１１０および／またはステータス１１２を判定するように構成され得る。さらに、ブローカーデバイス１０２は、新たなユーザデバイス１１８の各々の１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいて、オーディオデバイスおよび／または表示デバイスとして潜在的に使用可能なものとして、新たなユーザデバイス１１８を特定し得る。いくつかの実現例では、ブローカーデバイス１０２は、オーディオデバイスおよび／または表示デバイスとして潜在的に使用可能な新たなユーザデバイス１１８を、１つ以上の序列２００に追加し得る。

【0040】

図２に戻って、ブローカーデバイス１０２は、オーディオデバイスおよび／または表示デバイスとして使用するための１つ以上のユーザデバイスを選択するように構成され得る。この選択は、パラメータ１０８に少なくとも部分的に基づいてもよい。ブローカーデバイス１０２は、それぞれのユーザデバイスの１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいて、ユーザデバイスの部分集合（例えば、１０６Ａ～Ｄ）のうちの少なくとも１つのユーザデバイス（例えば、１０６Ａ）をオーディオデバイスとして選択し、ユーザデバイスの部分集合のうちの少なくとも１つのユーザデバイス（例えば、１０６Ｂ）を表示デバイスとして選択し得る。追加的および／または代替的に、ブローカーデバイス１０２は、１つ以上の序列２００に少なくとも部分的に基づいて、オーディオデバイスおよび／または表示デバイスとして使用するためのユーザデバイスを選択し得る。一例として、ブローカーデバイス１０２は、複数のユーザデバイス１００
のうちの少なくとも第１のユーザデバイス（例えば、１０６Ａ）をオーディオデバイスとして選択し、複数のユーザデバイスのうちの少なくとも第２のユーザデバイス（例えば、１０６Ｂ）を表示デバイスとして選択し得る。第１のユーザデバイス１０６Ａは、オーディオデバイスとして使用するための、（例えば、序列において）最も優先度が高く、１番目にランク付けされ、最優先のデバイスである。第２のユーザデバイス１０６Ｂは、表示デバイスとして使用するための、（例えば、序列において）最も優先度が高く、１番目にランク付けされ、最優先のデバイスである（図２に図示）。最も優先度が高く、トップにランク付けされたユーザデバイスがオーディオデバイスおよび／または表示デバイスとして使用できない場合には、ブローカーデバイス１０２は、序列２００における２番目のユーザデバイスを選択し得る。いくつかの実現例では、ブローカーデバイス１０２がオーディオデバイスおよび／または表示デバイスとして使用可能な１つ以上のユーザデバイスを見つけるまで、これが続けられてもよい。いくつかの実現例では、ブローカーデバイス１０２は、必要に応じて、パッシブステータス１１６Ｂであるユーザデバイス（例えば、ロックされた画面上にビジュアルメディアコンテンツが表示されているユーザデバイス）を選択し得る。

【0041】

図３は、本開示の実施形態の例に従うシステム３００の例を示す。図示のように、システム３００は、ブローカーデバイス１０２と、オーディオデバイス３０２と、表示デバイス３０４とを含み得る。上述のように、少なくとも第１のユーザデバイス（例えば、１０６Ａ）がオーディオデバイス３０２として使用され、および／または、少なくとも第２のユーザデバイス（例えば、１０６Ｂ）が表示デバイス３０４として使用され得る。ブローカーデバイス１０２は、オーディオデバイス３０２および表示デバイス３０４で、異なるタイプのコンテンツをユーザに配信するように構成され得る。

【0042】

ブローカーデバイス１０２は、メッセージ３０６を受信するように構成され得る。メッセージ３０６は、テキストメッセージ、電子メールメッセージ、カレンダーメッセージ／招待状／リマインダー、ポッドキャスト、セミナー、オーディオブック、オーディオイラストブック、テレビプログラム、ラジオプログラム、記事、文書、ソーシャルメディアメッセージ、ストリーミングデータを表わすデータ、および／または、ユーザが読んだり、および／または、聴いたりすることのできる他の任意のタイプの情報を表わすデータを含み得る。いくつかの実現例では、ブローカーデバイス１０２は、別のコンピューティングデバイス３０８（例えば、別のユーザの携帯電話、クラウドベースのサーバ）からメッセージ３０６（例えば、テキストメッセージ、電子メールメッセージ）を受信し得る。いくつかの実現例では、ブローカーデバイス１０２は、当該ブローカーデバイス１０２に関連付けられた、または当該ブローカーデバイス１０２に含まれる１つ以上のメモリデバイスからメッセージ３０６（例えば、ポッドキャスト）を受信したり、獲得したり、メッセージ３０６にアクセスしたりし得る。いくつかの実現例では、ブローカーデバイス１０２は、当該ブローカーデバイス１０２上で実行中のソフトウェアアプリケーションからメッセージを受信し得る。

【0043】

メッセージ３０６は、異なるタイプのコンテンツを含み得る。例えば、メッセージ３０６は、オーディオコンテンツ３１０などの第１のタイプのコンテンツと、ビジュアルメディアコンテンツ３１２などの第２のタイプのコンテンツとを含み得る。オーディオコンテンツ３１０は、聞こえるように出力可能なオーディオ形式（例えば、ＷＡＶ、ＡＩＦＦ、ＡＵ、ＦＬＡＣ、ＭＰ３、可逆的または不可逆的に圧縮された他の形式）のデータ、および／または、聞こえるように出力可能な形式に変換可能なテキスト形式（例えば、ｄｏｃ、ｐｄｆ、ｔｘｔ、ｈｔｍｌ、ｘｍｌ、他の形式）などの別の形式のデータを含み得る。ビジュアルメディアコンテンツ３１２は、画像データ、動画、絵文字、ステッカー（例えば、ｂｉｔｍｏｊｉ）、マップ、ＧＩＦ、ＭＩＭＥ、テキストブックフィギュア、グラフィック描写（例えば、ヒートマップ）、ダイヤグラム、アニメーション、イラスト、およ
び／または、ユーザが閲覧可能な他のタイプの情報を含み得る。いくつかの実現例では、さらなる文脈情報をユーザに提供するために、テキスト形式のコンテンツ（例えば、太字フォントのテキスト、感嘆符）がビジュアルメディアコンテンツとして表示されてもよい。

【0044】

ブローカーデバイス１０２は、メッセージ３０６に含まれる異なるタイプのコンテンツを特定するように構成され得る。例えば、いくつかの実現例では、メッセージ３０６は、複数のフィールドを含むメッセージ通知とともに、ブローカーデバイス１０２によって受信され得る。少なくとも１つのフィールドは、第１のタイプのコンテンツ（例えば、オーディオコンテンツ３１０）を含んでもよく、少なくとも１つのフィールドは、第２のタイプのコンテンツ（例えば、ビジュアルメディアコンテンツ３１２）を含んでもよい。ブローカーデバイス１０２は、異なるタイプのコンテンツを分離して異なる状態にし得る。例えば、ブローカーデバイス１０２は、オーディオコンテンツ３１０をビジュアルメディアコンテンツ３１２から分離し得る。追加的および／または代替的に、メッセージ３０６は、異なるタイプのコンテンツを特定することを可能にするアプリケーションプログラミングインターフェース（ＡＰＩ）を介して、ブローカーデバイス１０２に提供され得る。いくつかの実現例では、オーディオコンテンツ３１０および／またはビジュアルメディアコンテンツ３１２は、ＡＰＩを介してブローカーデバイス１０２のために特定され得る。

【0045】

ブローカーデバイス１０２は、異なるタイプのコンテンツをユーザデバイスに送信するように構成され得る。例えば、ブローカーデバイス１０２は、第１のタイプのコンテンツ（例えば、オーディオコンテンツ３１０）を表わす第１のセットのデータ３１４を、（例えば、オーディオデバイス３０２として機能する）第１のユーザデバイス１０６Ａに送信するように構成され得る。第１のユーザデバイス１０６Ａは、第１のユーザデバイス１０６Ａのユーザに、第１のタイプのコンテンツ（例えば、オーディオコンテンツ３１０）を伝達するように構成され得る。ブローカーデバイス１０２は、第２のタイプのコンテンツ（例えば、ビジュアルメディアコンテンツ３１２）を表わす第２のセットのデータ３１６を、（例えば、表示デバイス３０４として機能する）第２のユーザデバイス１０６Ｂに送信するように構成され得る。第２のユーザデバイス１０６Ｂは、第２のタイプのコンテンツ（例えば、ビジュアルメディアコンテンツ３１２）をユーザに対して表示するように構成され得る。

【0046】

一例として、ブローカーデバイス１０２（例えば、携帯電話）は、テキストメッセージを受信し得る。テキストメッセージは、テキストデータ（例えば、「私の犬を見て。かわいいでしょう？」）と、画像データ（例えば、犬の画像）とを含み得る。ブローカーデバイス１０２は、テキストデータをオーディオコンテンツ３１０として特定し、それを（必要に応じて）オーディオ形式に変換し、オーディオコンテンツ３１０を表わすデータをオーディオデバイス３１２（例えば、ブルートゥースヘッドセット）に送信し得る。オーディオデバイス３１２は、テキストをユーザに伝達するように構成され得る。さらに、ブローカーデバイス１０２（例えば、携帯電話）は、画像をビジュアルメディアコンテンツ３１２として特定し、ビジュアルメディアコンテンツ３１２を表わすデータを表示デバイス３０４（例えば、スマートウォッチ）に送信し得る。表示デバイス３０４は、ユーザに対して犬の画像を表示するように構成され得る。

【0047】

ブローカーデバイス１０２は、（表示デバイス３０４として機能する）第２のユーザデバイス１０６Ｂ上のビジュアルメディアコンテンツ３１２をユーザが適切な時に閲覧できるように、（オーディオデバイス３０２として機能する）第１のユーザデバイス１０６Ａのユーザに通知を提供するように構成され得る。通知は、表示デバイス３０４上でビジュアルメディアコンテンツ３１２が閲覧可能であることをユーザに示すことのできる用語、フレーズ、イアコン、音声、ノイズ、振動、などであり得る。例えば、ブローカーデバイ
ス１０２は、通知を表わすデータ３２０をオーディオデバイス３０２（例えば、第１のユーザデバイス１０６Ａ）に送信するように構成され得る。オーディオデバイス３０２（例えば、第１のユーザデバイス１０６Ａ）は、オーディオデバイス３０２のユーザに通知を伝達するように構成され得る。追加的および／または代替的に、ブローカーデバイス１０２は、通知を表わすデータ３２０を、表示デバイス３０４（例えば、第２のユーザデバイス１０６Ｂ）に送信するように構成され得る。表示デバイス３０４（例えば、第２のユーザデバイス１０６Ｂ）は、ユーザに通知を提供するように構成され得る。

【0048】

図４は、本開示の実施形態の例に従うシステム３００の例のユーザ実装例４００を示す。図示のように、ブローカーデバイス１０２、オーディオデバイス３０２、および／または表示デバイス３０４は、ユーザ４０２に装着され、または他の方法で保持されるウェアラブルデバイスであり得る。例えば、ブローカーデバイス１０２は、ユーザ４０２の携帯電話を含んでもよく、オーディオデバイス３０２は第１のユーザデバイス１０６Ａ（例えば、ブルートゥースヘッドセット）を含んでもよく、表示デバイス３０４は第２のユーザデバイス１０６Ｂ（例えば、スマートウォッチ）を含んでもよい。上述のように、ブローカーデバイス１０２は、オーディオコンテンツ３１０（例えば、テキスト）とビジュアルメディアコンテンツ３１２（例えば、画像）とを含むメッセージ３０６（例えば、テキストメッセージ）を受信し得る。ブローカーデバイス１０２は、オーディオコンテンツ３１０（例えば、オーディオ形式に変換されたテキスト）を表わすデータをオーディオデバイス３０２（例えば、ブルートゥースヘッドセット）に送信し得る。オーディオデバイス３０２は、メッセージ３０６のテキストをユーザ４０２に伝達し得る。また、ブローカーデバイス１０２は、ビジュアルメディアコンテンツ３１２（例えば、画像）を表わすデータを表示デバイス３０４（例えば、スマートウォッチ）に送信し得る。表示デバイス３０４は、メッセージ３０６の画像をユーザ４０２に伝達し得る。

【0049】

ユーザ４０２がビジュアルメディアコンテンツ３１２を適切な時に閲覧できるように、ブローカーデバイス１０２は、オーディオデバイス３０２を介してユーザ４０２に通知４０４を提供し得る。通知４０４は、例えば、「ウォッチを見て下さい。」、「Ｘさんから画像が届きました。ウォッチに表示されています。」などのフレーズ、音声などを含み得る。追加的および／または代替的に、ブローカーデバイス１０２は、表示デバイス３０４を介してユーザ４０２に通知４０６を提供し得る。通知４０６は、例えば、振動、ビジュアル通知（例えば、光の点滅）などを含み得る。いくつかの実現例では、通知４０６は、フレーズ、音声などを含み得る。通知４０４、４０６がユーザ４０２に提供されるのは、オーディオコンテンツ３１０がユーザ４０２に伝達される前であってもよく、オーディオコンテンツ３１０がユーザ４０２に伝達されている最中であってもよく、および／または、オーディオコンテンツ３１０がユーザ４０２に伝達された後であってもよい。このようにして、ユーザがテキストメッセージを読んだ場合に、ビジュアルメディアコンテンツを閲覧する可能性が最も高いであろうタイミングで、ユーザに通知を提供することができる。これにより、複数のユーザデバイスを用いたユーザの体験を向上させることができる。

【0050】

いくつかの実現例では、ユーザ４０２がシステムおよび方法を使用すればするほど、および／または、システムおよび方法に慣れれば慣れるほど、通知４０４、４０６が精妙さを増してもよい。例えば、通知が初めてユーザ４０２に提供される場合、通知４０４は、あるフレーズ（例えば、「ウォッチを見て下さい。」）を含み得る。通知が閾値の回数だけユーザ４０２に提供されると、通知４０４が精妙さを増してもよい。例えば、閾値に達すると、通知４０４は、フレーズ（例えば、「ウォッチを見て下さい。」）ではなく音声（例えば、「ビープ」）を含んでもよい。ブローカーデバイス１０２および／またはユーザデバイスは、ユーザ４０２に提供された通知回数、通知回数の閾値、および／または、通知回数の閾値に達したか否かを判定および格納（例えば、関連メモリデバイス内）するように構成され得る。

【0051】

表示デバイス３０４は、異なる時間方式に従ってビジュアルメディアコンテンツ３１２を表示するように構成され得る。表示デバイス３０４は、オーディオコンテンツ３１０および／または通知４０４、４０６がユーザ４０２に伝達される前、オーディオコンテンツ３１０および／または通知４０４、４０６がユーザ４０２に伝達されている最中、および／または、オーディオコンテンツ３１０および／または通知４０４、４０６がユーザ４０２に伝達された後に、ビジュアルメディアコンテンツ３１２を表示するように構成され得る。例えば、通知４０４、４０６は第１の時４０８にオーディオデバイス３０２のユーザ４０２に提供され、表示デバイス３０４は、第１の時４０８にユーザに対してビジュアルメディアコンテンツ３１２を表示するように構成され得る。いくつかの実現例では、表示デバイス３０４は、通知４０４、４０６がユーザ４０２に提供される前または後のある時間（例えば、決まった時間、デフォルト時間、ユーザが設定した時間、コンテンツに応じて異なった時間）でビジュアルメディアコンテンツ３１２を表示し始めてもよい。

【0052】

いくつかの実現例では、表示デバイス３０４は、時間４１０（「ｔ_ｐ」）の間ビジュアルメディアコンテンツ３１２を表示し得る。時間４１０は、デフォルト時間であってもよく、および／または、（例えば、ユーザインターフェースを介して）ユーザ４０２によって設定された時間であってもよい。いくつかの実現例では、時間４１０は、ビジュアルメディアコンテンツ３１２のタイプ（例えば、動画、画像、絵文字）に少なくとも部分的に基づいて変化してもよい。例えば、表示デバイス３０４は、通知４０４、４０６がユーザ４０２に提供される前または後の時（例えば、第１の時４０８）から１０秒間、２０秒間、３０秒間、１分間などの間、画像を表示するように構成され得る。別の例では、ビジュアルメディアコンテンツ３１２は、動画を含み得る。表示デバイス３０４は、通知４０４、４０６がユーザ４０２に提供されると同時に（または提供された後）、動画を再生し始めてもよい。いくつかの実現例では、ユーザ４０２は、表示デバイス３０４と対話することにより、動画を巻き戻し、早送り、再生、一時停止、停止、終了し得る。

【0053】

いくつかの実現例では、表示デバイス３０４は、ユーザ４０２による動作に少なくとも部分的に基づいて、ビジュアルメディアコンテンツ３１２をユーザ４０２に伝達するように構成され得る。例えば、表示デバイス３０４は、ユーザ４０２が閲覧しようとする動作４１２に少なくとも部分的に基づいて、ユーザ４０２に対してビジュアルメディアコンテンツ３１２を表示するように構成され得る。閲覧しようとする動作４１２は、例えば、表示デバイス３０４によって検出可能な視線を投げかけるジェスチャーであってもよい。いくつかの実現例では、表示デバイス３０４は、閲覧しようとする動作４１２に応答してビジュアルメディアコンテンツ３１２を表示するように構成され得る。表示デバイス３０４は、（例えば、表示デバイス３０４による）閲覧しようとする動作４１２の検出時に開始される動作ウィンドウ内に、ビジュアルメディアコンテンツ３１２（例えば、画像）を表示するように構成され得る。いくつかの実現例では、表示デバイス３０４は、ビジュアルメディアコンテンツ３１２を表示し、さらに、当該ビジュアルメディアコンテンツ３１２が表示され続けるために必要な、閲覧しようとする動作４１２の時間枠を含んでもよい。いくつかの実現例では、表示デバイス３０４は、ユーザ４０２が閲覧しようとする動作４１２を行なうまでは、ユーザ４０２に対してビジュアルメディアコンテンツ３１２を表示しなくてもよい。

【0054】

あるタイプのビジュアルメディアコンテンツについては、表示デバイス３０４は、通知４０４、４０６をユーザ４０２に提供することなく、ビジュアルメディアコンテンツをユーザ４０２に対して表示するように構成され得る。例えば、メッセージ３０６は、絵文字が含まれたテキスト部分を含む電子メールメッセージを含み得る。本明細書で記載するように、テキスト部分は、オーディオデバイス３０２によってユーザ４０２に伝達され得る。絵文字を示すデータは、ブローカーデバイス１０２によって表示デバイス３０４に送信
され得る。ブローカーデバイス１０２がユーザ４０２に通知を提供することなく、表示デバイス３０４は、絵文字がテキスト部分に現れるタイミングでユーザ４０２に対して絵文字を表示してもよい。例えば、当初から絵文字が入っていた電子メールテキストのセンテンスをオーディオデバイス３０２が伝達する際には、表示デバイス３０４は、通知４０４、４０６をユーザ４０２に提供することなく絵文字を表示してもよい。このようにして、システムおよび方法は、ユーザによるメッセージ３０６の文脈理解のために重要度が低いビジュアルメディアコンテンツ３１２の場合には、ユーザ４０２に消極的に提供するように構成されてもよい。

【0055】

オーディオコンテンツ３１０および／またはビジュアルメディアコンテンツ３１２がユーザ４０２に伝達されている最中であっても、ブローカーデバイス１０２は、オーディオデバイス３０２および／または表示デバイス３０４として、新たなデバイスを選択するように構成されてもよい。例えば、ブローカーデバイス１０２は、複数のユーザデバイス１００のうちの少なくとも１つのユーザデバイスに関係するステータス１１２の変更を判定するように構成され得る。ブローカーデバイス１０２は、ステータス１１２の変更に少なくとも部分的に基づいて、（当初に選択されたものとは）異なるユーザデバイスを、オーディオデバイス３０２および／または表示デバイス３０４として選択するように構成され得る。一例として、図５に示すように、オーディオコンテンツ３１０（例えば、メッセージのテキスト）がオーディオデバイス３０２（例えば、ヘッドセット）を介してユーザ４０２に提供されている最中に、ユーザ４０２がポケットから第３のユーザデバイス１０６Ｃ（例えば、コンピュータ制御のアイウェア）を取り外し、そのデバイスを（例えば、顔の上で）使用し始める場合がある。ブローカーデバイス１０２は、第３のユーザデバイス１０６Ｃのステータス１１２が（例えば、パッシブステータスから現在使用中ステータスへ）変化したことを検出し得る。ブローカーデバイス１０２は、第３のユーザデバイス１０６Ｃ（例えば、コンピュータ制御のアイウェア）を表示デバイス３０４として選択し、ビジュアルメディアコンテンツ３１２（例えば、画像）を表わすデータを第３のユーザデバイス１０６Ｃに送信するように構成され得る。第３のユーザデバイス１０６Ｃは、ユーザ４０２に対してビジュアルメディアコンテンツ３１２を表示し得る。いくつかの実現例では、コンテンツがユーザ４０２に伝達されている最中であっても、ブローカーデバイス１０２は新たなユーザデバイス（例えば、１１８）が追加されたことを検出し、オーディオデバイス３０２および／または表示デバイス３０４として使用するために、その新たなユーザデバイスを選択するように構成され得る。

【0056】

図６は、本開示の実施形態の例に従う、メッセージコンテンツを管理する方法６００の例のフローチャートを示す。方法６００のうちの１つ以上の部分は、例えば、図１および図７に示すブローカーデバイスおよび／またはユーザデバイスなどのコンピューティングデバイスによって実現することが可能である。図６は、例示および説明のために、特定の順序で行なわれるステップを示す。当業者ならば、本明細書で提供される開示内容を用いると、本明細書で説明されているいずれの方法のステップも、本開示の範囲から逸脱することなく、さまざまな態様で適合、再編成、発展、省略、または変更され得ることを理解するであろう。

【0057】

方法６００は、（６０２）において、１つ以上のユーザデバイスを検出することを含み得る。例えば、１つ以上のブローカーデバイス１０２（例えば、１つ以上のコンピューティングデバイス）は、当該１つ以上のブローカーデバイス１０２の通信範囲１０４内の１つのユーザデバイスおよび／または複数のユーザデバイス１００を検出し得る。方法６００は、（６０４）において、ユーザデバイスの１つ以上のパラメータを判定することを含み得る。例えば、ブローカーデバイス１０２は、複数のユーザデバイス１００の少なくとも部分集合における各ユーザデバイス１０６Ａ～Ｄの１つ以上の能力１１０およびステータス１１２を判定し得る。本明細書で記載するように、１つ以上の能力１１０は、例えば
、オーディオ能力１１４Ａおよび／または表示能力１１４Ｂのうちの少なくとも１つを示すものであり得る。（ユーザデバイスの）ステータス１１２は、例えば、アクティブステータス１１６Ａ、パッシブステータス１１６Ｂ、および現在使用中ステータス１１６Ｃのうちの少なくとも１つを示すものであり得る。

【0058】

方法６００は、（６０６）において、オーディオデバイスとして潜在的に使用可能なものとして、１つ以上のユーザデバイスを特定することを含み得る。例えば、ブローカーデバイス１０２は、１つ以上のユーザデバイスの各々の１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいて、オーディオデバイス３０２として潜在的に使用可能なものとして、ユーザデバイスの少なくとも部分集合のうちの１つ以上のユーザデバイス（例えば、１０６Ａ～Ｂ、Ｄ）を特定し得る。これは、上述のように、１つ以上のユーザデバイスの各々の１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいて、オーディオデバイス３０２として潜在的に使用可能なものとして、１つ以上のユーザデバイスを（例えば、ブローカーデバイス１０２によって）ランク付けすることを含み得る。例えば、ブローカーデバイス１０２は、図２に示すような、オーディオデバイス３０２として潜在的に使用可能なユーザデバイスの序列２００を作成し得る。

【0059】

方法６００は、（６０８）において、表示デバイスとして潜在的に使用可能なものとして、１つ以上のユーザデバイスを特定することを含み得る。例えば、ブローカーデバイス１０２は、１つ以上のユーザデバイスの各々の１つ以上の能力１１０および／またはステータス１１２に少なくとも部分的に基づいて、表示デバイス３０４として潜在的に使用可能なものとして、ユーザデバイスの少なくとも部分集合のうちの１つ以上のユーザデバイス（例えば、１０６Ｂ～Ｄ）を特定し得る。これは、本明細書で記載するように、１つ以上のブローカーデバイス１０２が、１つ以上のユーザデバイスの各々の１つ以上の能力１１０およびステータス１１２に少なくとも部分的に基づいて、表示デバイス３０４として潜在的に使用可能なものとして１つ以上のユーザデバイスをランク付けすることを含み得る。例えば、ブローカーデバイス１０２は、ユーザデバイスの各々の能力１１０および／またはステータス１１２に少なくとも部分的に基づいて、表示デバイス３０４として潜在的に使用可能なユーザデバイスの序列２００を作成し得る。いくつかの実現例では、上述のように、ブローカーデバイス１０２は、オーディオデバイス３０２および／または表示デバイス３０４として潜在的に使用可能なものとして、１つ以上のブローカーデバイス自体を特定し得る。

【0060】

方法６００は、（６１０）において、オーディオデバイスおよび表示デバイスを選択することを含み得る。ブローカーデバイス１０２は、パラメータ１０８、１つ以上の序列２００などに少なくとも部分的に基づいて、オーディオデバイス３０２および／または表示デバイス３０４として使用するための１つ以上のユーザデバイスを選択し得る。例えば、ブローカーデバイス１０２は、オーディオデバイス３０２として使用するために、複数のユーザデバイス１００のうちの第１のユーザデバイス１０６Ａを選択し、表示デバイス３０４として使用するために、複数のユーザデバイス１００のうちの第２のユーザデバイス１０６Ｂを選択し得る。いくつかの実現例では、ブローカーデバイス１０２は、オーディオデバイス３０２および／または表示デバイス３０４とは異なるデバイスであってもよい。いくつかの実現例では、ブローカーデバイス１０２は、オーディオデバイス３０２および／または表示デバイス３０４として機能してもよい。上述のように、１つ以上のブローカーデバイス１０２（例えば、コンピューティングデバイス）、オーディオデバイス３０２、および／または表示デバイス３０４のうちの少なくとも１つは、ウェアラブルデバイスであってもよい。

【0061】

追加的および／または代替的に、ブローカーデバイス１０２（例えば、コンピューティ
ングデバイス）、オーディオデバイス３０２、および／または表示デバイス３０４のうちの少なくとも１つは、非ウェアラブルデバイスであってもよい。一例として、複数のユーザデバイスは、ユーザの家の中の、統合デバイス（例えば、グーグルクロームキャスト（登録商標））、スピーカーシステム、および、テレビを含み得る。統合デバイスは、ユーザの家のデバイスエコシステム内の他のデバイスを検出することのできるブローカーデバイス１０２として機能してもよい。統合デバイスは、オーディオデバイス３０２として使用するためにスピーカーシステムを選択し、表示デバイス３０４として使用するためにテレビを選択し得る。

【0062】

方法６００は、（６１２）および（６１４）において、メッセージを受信し、そのメッセージのオーディオコンテンツとビジュアルメディアコンテンツとを特定することを含み得る。例えば、ブローカーデバイス１０２は、オーディオコンテンツ３１０とビジュアルメディアコンテンツ３１２とを含むメッセージ３０６を受信し得る。いくつかの実現例では、ブローカーデバイス１０２は、メッセージ３０６受信の前、最中、および／または後に、ステップ（６０２）～（６１０）のうちの１つ以上を行ってもよい。ブローカーデバイス１０２は、本明細書で記載するように、メッセージ３０６に含まれるオーディオコンテンツ３１０とビジュアルメディアコンテンツ３１２とを特定し得る。ブローカーデバイス１０２は、（６１６）において、オーディオコンテンツ３１０を表わす第１のセットのデータ３１４をオーディオデバイス３０２に送信し得る。また、ブローカーデバイス１０２は、（６１８）において、ビジュアルメディアコンテンツ３１２を表わす第２のセットのデータ３１６を表示デバイス３０４に送信し得る。オーディオデバイス３０２は、当該オーディオデバイス３０２のユーザ４０２にオーディオコンテンツ３１０を伝達するように構成され得る。また、表示デバイス３０４は、ユーザ４０２に対してビジュアルメディアコンテンツ３１２を表示するように構成され得る。いくつかの実現例では、オーディオデバイス３０２がオーディオコンテンツ３１０をユーザに伝達している際に、表示デバイス３０４はビジュアルメディアコンテンツ３１２を表示するように構成され得る。

【0063】

一例として、ブローカーデバイス１０２として機能する統合デバイス（例えば、グーグルクロームキャスト（登録商標））は、教育のセミナーポッドキャストなどのメッセージ３０６を受信し得る。統合デバイスは、ポッドキャストのオーディオコンテンツ３１０（例えば、講義部分）、および、ポッドキャストを聴いている際にユーザ４０２に表示される任意のビジュアルメディアコンテンツ３１２（例えば、ダイヤグラム、チャート、インフォグラフィックスを用いた表示）を特定し得る。統合デバイスは、講義を表わすデータをオーディオデバイス３０２（例えば、スピーカーシステム）に送信し、表示を表わすデータを表示デバイス３０４（例えば、テレビ）に送信し得る。スピーカーシステムは、ユーザ４０２に対して講義（例えば、オーディオコンテンツ）を再生するように構成されてもよく、テレビは、対応するビジュアルメディアコンテンツ３１２（例えば、ダイヤグラム、チャート、インフォグラフィックスを用いた表示）をユーザ４０２に対して表示するように構成され得る。

【0064】

方法６００は、（６２０）において、閲覧可能なビジュアルメディアコンテンツをユーザに通知することを含み得る。例えば、ブローカーデバイス１０２は、表示デバイス３０４上のビジュアルメディアコンテンツ３１２を閲覧させるための通知をオーディオデバイス３０２のユーザに提供し得る。そのようにするために、いくつかの実現例では、ブローカーデバイス１０２は、通知４０４を表わすデータ３２０をオーディオデバイス３０２に送信し得る。オーディオデバイス３０２（例えば、スピーカーシステム）は、オーディオデバイス３０４のユーザに、通知４０４（例えば、「テレビを見て下さい。」というフレーズ）を伝達するように構成されている。通知は第１の時４０８にオーディオデバイス３０２のユーザに提供され、表示デバイス３０４は、第１の時４０８にユーザに対してビジュアルメディアコンテンツ３１２を表示するように構成され得る。例えば、スピーカーシ
ステムは、講義の中で説明されているダイヤグラムがテレビ上に表示されたときに、ユーザにテレビを見るように伝えてもよい。本明細書で記載するように、いくつかの実現例では、オーディオデバイス３０２のユーザに通知が伝達され、表示デバイス３０４は、ユーザが閲覧しようとする動作（例えば、視線を投げかけるジェスチャー）に少なくとも部分的に基づいて、ユーザに対してビジュアルメディアコンテンツ３１２を表示するように構成され得る。

【0065】

いくつかの実現例では、方法６００は、（６２２）において、ユーザデバイスステータスの変更を判定すること、（６２４）において、１つ以上の異なるユーザデバイスをオーディオデバイスおよび／または表示デバイスとして選択することを含み得る。例えば、ブローカーデバイス１０２は、複数のユーザデバイス１００のうちの少なくとも１つのユーザデバイスに関係するステータス１１２の変更を判定し得る。いくつかの実現例では、ブローカーデバイス１０２は、ステータス１１２の変更に少なくとも部分的に基づいて、第１のユーザデバイス１０６Ａとは異なるユーザデバイスをオーディオデバイス３０２として選択し得る。例えば、ユーザがタブレットを使用し始めたことを統合デバイスが検出した場合、（ブローカーデバイス１０２として機能する）統合デバイスは、（スピーカーシステムの代わりに）そのタブレットを選択してユーザに講義を伝達してもよい。いくつかの実現例では、ブローカーデバイス１０２は、ステータス１１２の変更に少なくとも部分的に基づいて、第２のユーザデバイス１０６Ｂとは異なるユーザデバイスを表示デバイス３０４として選択してもよい（例えば、図５に図示）。

【0066】

図７は、本開示の実施形態の例に従うシステム７００の例を示す。システム７００は、１つ以上のブローカーデバイス７０２と、１つ以上のユーザデバイス７０４とを含み得る。ブローカーデバイス７０２は、本明細書で記載するようなブローカーデバイス（例えば、１０２）に対応し得る。ユーザデバイス７０４は、本明細書で記載するようなユーザデバイス（例えば、１０６Ａ～Ｄ、１１８）に対応し得る。ブローカーデバイス７０２およびユーザデバイス７０４は、ウェアラブルおよび／または非ウェアラブルユーザデバイスのエコシステムなどの、複数のユーザデバイス（例えば、１００）に含まれ得る。さらに、ブローカーデバイス７０２およびユーザデバイス７０４は、１つ以上のネットワーク７０６を介して互いに通信し得る。

【0067】

ブローカーデバイス７０２は、１つ以上のコンピューティングデバイス７０８を含み得る。１つ以上のコンピューティングデバイス７０８は、１つ以上のプロセッサ７１０Ａと１つ以上のメモリデバイス７１０Ｂとを含み得る。プロセッサ７１０Ａは、マイクロプロセッサ、マイクロコントローラ、集積回路、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、論理デバイス、１つ以上の中央処理装置（ＣＰＵ）、画像を効率的にレンダリングすること、または他の特殊な計算を実行することに特化したグラフィックス・プロセッシング・ユニット（ＧＰＵ）などの、如何なる好適な処理デバイスを含んでもよい。メモリデバイス７１０Ｂは、１つ以上のコンピュータ読取可能な媒体を含み得る。１つ以上のコンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体、ＲＡＭ、ＲＯＭ、ハードドライブ、フラッシュメモリ、または他のメモリデバイスを含むが、これらに限定されない。

【0068】

メモリデバイス７１０Ｂは、プロセッサ７１０Ａがアクセス可能な情報（プロセッサ７１０Ａによって実行され得る命令７１０Ｃを含む）を格納し得る。命令７１０Ｃは、任意の好適なプログラミング言語で記述されたソフトウェアであってもよいし、または、ハードウェアで実現されてもよい。追加的および／または代替的に、命令７１０Ｃは、プロセッサ７１０Ａにおいて論理的および／または仮想的に分離したスレッドで実行されてもよい。

【0069】

命令７１０Ｃは、プロセッサ７１０Ａによって実行されることによって、プロセッサ７１０Ａ（および／またはコンピューティングシステム７００）に動作を行わせてもよい。例えば、システム７００のブローカーデバイス７０２は、コンピュータ読取可能な命令を格納する１つ以上の有形の非一時的なコンピュータ読取可能な媒体を含み得る。コンピュータ読取可能な命令は、１つ以上のプロセッサ７１０Ａによって実行されると、当該１つ以上のプロセッサ７１０Ａ（および／またはコンピューティングシステム）に動作を行わせる。動作は、本明細書で記載するようなブローカーデバイス１０２が構成される動作および機能のうちの任意のもの、ブローカーデバイス１０２の動作および機能のうちの任意のもの、メッセージコンテンツを管理するための動作および機能（例えば、方法６００）、および／または、ブローカーデバイス１０２の他の任意の動作または機能を含み得る。一例として、動作は、本明細書で記載するように、通信範囲内にある複数のユーザデバイスを検出すること、複数のユーザデバイスの少なくとも部分集合における各ユーザデバイスの１つ以上の能力およびステータスを判定すること、それぞれのユーザデバイスの１つ以上の能力およびステータスに少なくとも部分的に基づいて、ユーザデバイスの部分集合のうちの少なくとも１つのユーザデバイスをオーディオデバイスとして選択し、ユーザデバイスの部分集合のうちの少なくとも１つのユーザデバイスを表示デバイスとして選択すること、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信すること、オーディオコンテンツを表わす第１のセットのデータをオーディオデバイスに送信すること、ビジュアルメディアコンテンツを表わす第２のセットのデータを表示デバイスに送信すること、および／または、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をオーディオデバイスのユーザに提供することを含み得る。

【0070】

また、命令７１０Ｃがプロセッサ７１０Ａによって実行されることによって、メッセージコンテンツのタイプが特定されてもよい。いくつかの実現例では、命令７１０Ｃがプロセッサ７１０Ａによって実行されることによって、メッセージのオーディオコンテンツが、オーディオデバイスのユーザに伝達可能な形式に変換されてもよい。例えば、命令７１０Ｃは、プロセッサによって実行されることによって、プロセッサ７１０Ｃに、テキストコンテンツを示すデータをパースさせ、そのデータをユーザに聞こえるように出力可能な形式に変換させてもよい。

【0071】

１つ以上のメモリデバイス７１０Ｂは、１つ以上のプロセッサ７１０Ａによって検索、操作、作成、または格納され得るデータ７１０Ｄも含み得る。データ７１０Ｄは、例えば、メッセージ３０６、オーディオコンテンツ３１０および／またはビジュアルメディアコンテンツ３１２を表わすデータ３１４、３１６、パラメータ１０８に関係するデータ、１つ以上の序列２００に関係するデータ、システム７００の別のコンポーネントに関係するデータ、通知（例えば、４０４、４０６）に関係するデータ、および／または、本明細書に記載の他の任意のデータ／情報を含み得る。

【0072】

いくつかの実現例では、コンピューティングデバイス７０８は、オーディオ出力コンポーネント７１０Ｅおよび／または表示出力コンポーネント７１０Ｆを含み得る。オーディオ出力コンポーネント７１０Ｅは、ユーザに聞こえるようにオーディオコンテンツを出力するためのハードウェアを含み得る。例えば、オーディオ出力コンポーネント７１０Ｅは、１つ以上のスピーカー、イヤホン、ヘッドセット、ハンドセットなどを含み得る。表示出力デバイス７１０Ｆは、ユーザに対してビジュアルメディアコンテンツを表示するためのハードウェアを含み得る。例えば、表示出力デバイス７１０Ｆは、表示画面、ＣＲＴ、ＬＣＤ、プラズマ画面、タッチスクリーン、テレビ、プロジェクタなどを含み得る。いくつかの実現例では、コンピューティングデバイス７０８は、１つ以上のセンサ７１０Ｇを含み得る。センサ７１０Ｇは、運動センサ、位置センサ、熱センサ、加速度計、ジャイロスコープ、および／または他のタイプのセンサを含み得る。センサ７１０Ｇは、例えば、
ユーザが閲覧しようとする動作（例えば、視線を投げかけるジェスチャー）を検出するように構成され得る。

【0073】

また、コンピューティングデバイス７０８は、システム７００のうちの１つ以上の他のコンポーネント（例えば、ユーザデバイス７０４）と通信してデータを送信および／または受信するために用いられる通信インターフェース７１０Ｈも含み得る。通信インターフェース７１０Ｈは、例えば、送信機、受信機、ポート、コントローラ、アンテナ、または他の好適なコンポーネントを含む１つ以上のネットワークにインタフェースするための任意の好適なコンポーネントを含み得る。

【0074】

ユーザデバイス７０４は、１つ以上のプロセッサ７１２Ａと１つ以上のメモリデバイス７１２Ｂとを含み得る。プロセッサ７１２Ａは、マイクロプロセッサ、マイクロコントローラ、集積回路、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、論理デバイス、１つ以上の中央処理装置（ＣＰＵ）、画像を効率的にレンダリングすること、または他の特殊な計算を実行することに特化したグラフィックス・プロセッシング・ユニット（ＧＰＵ）などの、如何なる好適な処理デバイスを含んでもよい。メモリデバイス７１２Ｂは、１つ以上のコンピュータ読取可能な媒体を含み得る。１つ以上のコンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体、ＲＡＭ、ＲＯＭ、ハードドライブ、フラッシュメモリ、または他のメモリデバイスを含むが、これらに限定されない。

【0075】

メモリデバイス７１２Ｂは、プロセッサ７１２Ａがアクセス可能な情報（プロセッサ７１０Ａによって実行され得る命令７１２Ｃを含む）を格納し得る。命令７１２Ｃは、任意の好適なプログラミング言語で記述されたソフトウェアであってもよいし、または、ハードウェアで実現されてもよい。追加的および／または代替的に、命令７１２Ｃは、プロセッサ７１２Ａにおいて論理的および／または仮想的に分離したスレッドで実行されてもよい。命令７１０Ｃは、プロセッサ７１０Ａによって実行されることによって、プロセッサ７１０Ａ（および／またはユーザデバイス７０４）に動作を行わせてもよい。例えば、システム７００のユーザデバイス７０４は、コンピュータ読取可能な命令を格納する１つ以上の有形の非一時的なコンピュータ読取可能な媒体を含み得る。コンピュータ読取可能な命令は、１つ以上のプロセッサ７１２Ａによって実行されると、当該１つ以上のプロセッサ７１２Ａに動作を行わせる。動作は、本明細書で記載するようなユーザデバイス１０６Ａ～Ｄ、１１８のために構成される動作および機能のうちの任意のもの、ユーザデバイス１０６Ａ～Ｄ、１１８の動作および機能のうちの任意のもの、メッセージコンテンツおよび／または通知を受信および伝達するための動作および機能、および／または、ユーザデバイスの他の任意の動作または機能を含み得る。

【0076】

１つ以上のメモリデバイス７１２Ｂは、１つ以上のプロセッサ７１２Ａによって検索、操作、作成、または格納され得るデータ７１２Ｄも含み得る。データ７１２Ｄは、例えば、オーディオコンテンツ３１０および／またはビジュアルメディアコンテンツ３１２を表わすデータ３１４、３１６、パラメータ１０８に関係するデータ、１つ以上の序列２００に関係するデータ、ユーザに関係するデータ、システム７００の別のコンポーネントに関係するデータ、通知（例えば、４０４、４０６）に関係するデータ３２０、および／または、本明細書に記載の他の任意のデータ／情報を含み得る。

【0077】

いくつかの実現例では、ユーザデバイス７０４は、オーディオ出力コンポーネント７１２Ｅおよび／または表示出力コンポーネント７１２Ｆを含み得る。オーディオ出力コンポーネント７１２Ｅは、ユーザに聞こえるようにオーディオコンテンツを出力するためのハードウェアを含み得る。例えば、オーディオ出力コンポーネント７１２Ｅは、１つ以上のスピーカー、イヤホン、ヘッドセット、ハンドセットなどを含み得る。表示出力デバイス
７１２Ｆは、ユーザに対してビジュアルメディアコンテンツを表示するためのハードウェアを含み得る。例えば、表示出力デバイス７１２Ｆは、表示画面、ＣＲＴ、ＬＣＤ、プラズマ画面、タッチスクリーン、テレビ、プロジェクタなどを含み得る。いくつかの実現例では、ユーザデバイス７０４は、１つ以上のセンサ７１２Ｇを含み得る。センサ７１２Ｇは、運動センサ、位置センサ、熱センサ、加速度計、ジャイロスコープ、および／または他のタイプのセンサを含み得る。センサ７１２Ｇは、例えば、ユーザが閲覧しようとする動作（例えば、視線を投げかけるジェスチャー）を検出するように構成され得る。

【0078】

また、ユーザデバイス７０４は、システム７００のうちの１つ以上の他のコンポーネント（例えば、ブローカーデバイス７０２）と通信してデータを提供および／または受信するために用いられる通信インターフェース７１２Ｈも含み得る。通信インターフェース７１２Ｈは、例えば、送信機、受信機、ポート、コントローラ、アンテナ、または他の好適なコンポーネントを含む１つ以上のネットワークにインタフェースするための任意の好適なコンポーネントを含み得る。

【0079】

ネットワーク７０６は、ローカルエリアネットワーク（例えば、イントラネット）、ワイドエリアネットワーク（例えば、インターネット）、セルラーネットワーク、またはそれらのうちの何らかの組み合わせなど、如何なるタイプの通信ネットワークであってもよい。ネットワーク７０６は、ブローカーデバイス７０２とユーザデバイス７０４との間の直接の接続（有線および／または無線）を含み得る。一般的に、ブローカーデバイス７０２とユーザデバイス７０４との間の通信は、さまざまな通信プロトコル（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＳＭＴＰ、ＦＴＰ）、符号または形式（例えば、ＨＴＭＬ、ＸＭＬ）、および／または、保護方式（例えば、ＶＰＮ、セキュアＨＴＴＰ、ＳＳＬ）を用いて、任意のタイプの有線接続および／または無線接続によってネットワークインターフェースを介して行なうことができる。

【0080】

本明細書に記載される技術では、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータに基づくシステム、ならびに、行なわれる動作、およびそれらのシステムとの間でやり取りされる情報について言及されている。コンピュータに基づくシステムに本来備わっている柔軟性により、コンポーネント間のタスクおよび機能の構成、組み合わせ、および分割が様々に可能であることを、当業者ならば認識するであろう。例えば、本明細書に記載のサーバ処理は、単一のサーバを用いて実施してもよいし、または、協働する複数のサーバを用いて実施してもよい。データベースおよびアプリケーションは、単一のシステムに実装されてもよいし、または、複数のシステム間に分配されてもよい。分配されたコンポーネントは、逐次動作してもよいし、または、並行して動作してもよい。

【0081】

さらに、本明細書においてサーバで実行されるものとして説明されたコンピューティングタスクは、代わりにユーザデバイスで実行されてもよい。同様に、本明細書においてユーザデバイス（例えば、ブローカーデバイス）で実行されるものとして説明されたコンピューティングタスクは、代わりにサーバで実行されてもよい。

【0082】

本主題を、その実施形態および方法の具体例に関して詳細に説明したが、当業者が上述の記載を理解すれば、それらの実施形態の変更、変形、および均等物を容易に生み出すことができることが理解されるであろう。したがって、本開示の範囲は限定ではなく例示であって、この主題の開示内容は、当業者に容易に明らかになるであろう本主題への変更、変形、および／または追加を除外するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】