特許 6363758 関連コンテンツを見るためのジェスチャー・ベースのタグ付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6363758

(24)【登録日】2018年7月6日

(45)【発行日】2018年7月25日

(54)【発明の名称】関連コンテンツを見るためのジェスチャー・ベースのタグ付け

(51)【国際特許分類】

   G06F 17/30 20060101AFI20180712BHJP

   G06F 3/0481 20130101ALI20180712BHJP

【ＦＩ】

   G06F17/30 340A

   G06F17/30 220B

   G06F3/0481

【請求項の数】10

【外国語出願】

【全頁数】41

(21)【出願番号】特願2017-80394(P2017-80394)

(22)【出願日】2017年4月14日

(62)【分割の表示】特願2014-547270(P2014-547270)の分割

【原出願日】2012年12月4日

(65)【公開番号】特開2017-142846(P2017-142846A)

(43)【公開日】2017年8月17日

【審査請求日】2017年4月19日

(31)【優先権主張番号】13/324,435

(32)【優先日】2011年12月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100120112

【弁理士】

【氏名又は名称】中西 基晴

(72)【発明者】

【氏名】キム，ウン・ヒュン

(72)【発明者】

【氏名】オソティオ，ニール

(72)【発明者】

【氏名】ウィス，ジョン・シー

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／０１３１６０５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／０２８９３９２（ＵＳ，Ａ１）

【文献】 特開２００５−１８４３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

コンピューター実装方法であって、
ユーザー・デバイスに結合された動き検出システムにより、ユーザーの体の動きを検出してタグ付けジェスチャーを決定するステップであって、前記タグ付けジェスチャーが前記ユーザー・デバイスにおいて表示されたメディア・コンテンツ内の領域を示し、前記領域が物品を含む、ステップと、
前記タグ付けジェスチャーを決定したことに基づいて、前記タグ付けジェスチャーにより示された前記領域の表現を前記ユーザー・デバイスにおける表示のために提供するステップと、
計算デバイスのプロセッサーにおいて、前記タグ付けジェスチャーに基づいて、前記物品を特定し、前記物品がタグ付けされた物品であることを決定するステップと、
前記タグ付けされた物品に関連したタグ−物品データーを特定するステップと、
前記タグ付ジェスチャーに応答して、前記タグ付けされた物品に関係するコンテンツに対する検索を自動的に開始するステップであって、前記検索が、検索クエリーに基づいて開始され、前記検索クエリーが、前記特定されたタグ−物品データーと、ユーザー・データーとに基づいて行われ、前記ユーザー・データーが、前記タグ付けジェスチャーに関連して前記ユーザーによりタグ付けされた以前のタグ付けされた物品の履歴を含む、ステップと、
前記検索クエリーに応答して前記タグ付けされた物品に関係する前記コンテンツを受けるステップであって、前記タグ付けされた物品に関係する前記受けたコンテンツが、特定された前記タグ−物品データーと前記ユーザー・データーとに基づく、ステップと、
前記タグ付けされた物品に関係する前記コンテンツを提示させるステップであって、前記タグ付けされた物品に関係する前記コンテンツが、前記タグ付けされた物品に関連して提示される、ステップと、
を含む、コンピューター実装方法。

【請求項2】

請求項１記載の方法において、更に、前記タグ付けされた物品に関係する前記コンテンツに関連して物品アクションを提示させるステップを含み、前記物品アクションが、前記タグ付けされた物品に関して取られるべきアクションの指示を含む、方法。

【請求項3】

請求項２記載の方法において、前記物品アクションは、前記タグ付けされた物品に関係する前記コンテンツのユーザー選択に応答して提示される、方法。

【請求項4】

請求項２記載の方法において、前記タグ付けされた物品に関係する前記コンテンツは、前記タグ付けされた物品に関連したタグ付けされた情報の購入を含み、前記タグ付けされた物品に関係する前記コンテンツは、前記メディア・コンテンツ内の前記タグ付けされた物品と同時に提示される、方法。

【請求項5】

請求項１記載の方法において、前記タグ付けされた物品に関係する前記コンテンツは、前記メディア・コンテンツに重なりかつ前記タグ付けされた物品に隣接して提示される、方法。

【請求項6】

請求項１記載の方法において、前記物品を特定するステップは、前記メディア・コンテンツに含まれるタグ付け可能な物品のメタデーターが、前記タグ付けされた物品に関連した前記メディア・コンテンツ内の時間と位置の少なくとも一方に対応することを決定することを含む、方法。

【請求項7】

命令を格納する１つ以上のコンピューター読み取り可能記憶媒体であって、プロセッサーによって前記命令が実行されると方法を実施させ、該方法が、
ユーザー・デバイスに結合された動き検出システムにより、ユーザーの体の動きを検出してタグ付けジェスチャーを決定する動作であって、前記タグ付けジェスチャーが前記ユーザー・デバイスにおいて表示されたメディア・コンテンツ内の領域を示し、前記領域が物品を含む、動作と、
前記タグ付けジェスチャーを決定したことに基づいて、前記タグ付けジェスチャーにより示された前記領域の表現を前記ユーザー・デバイスにおける表示のために提供する動作と、
前記タグ付けジェスチャーに基づいて、前記物品を特定し、前記物品がタグ付けされた物品であることを決定する動作と、
前記タグ付けされた物品に関連するタグ−物品データーを特定する動作と、
前記タグ付ジェスチャーに応答して、前記タグ付けされた物品に関係するコンテンツに対する検索を自動的に開始する動作であって、前記検索が、検索クエリーに基づいて開始され、前記検索クエリーが、前記特定されたタグ−物品データーと、ユーザー・データーとに基づいて行われ、前記ユーザー・データーが、前記タグ付けジェスチャーに関連して前記ユーザーによりタグ付けされた以前のタグ付けされた物品の履歴を含む、動作と、
前記検索クエリーに応答して前記タグ付けされた物品に関係する前記コンテンツを受ける動作であって、前記タグ付けされた物品に関係する前記受けたコンテンツが、特定された前記タグ−物品データーと前記ユーザー・データーとに基づく、動作と、
前記タグ付けされた物品に関係する前記コンテンツを提示させる動作であって、前記タグ付けされた物品に関係する前記コンテンツが前記タグ付けされた物品に関連して提示される、動作と、
を含む、1つ以上のコンピューター読み取り可能記憶媒体。

【請求項8】

請求項７記載の媒体において、前記タグ付けジェスチャーが、前記表示されたメディア・コンテンツ内に提示された前記物品の境界を実質的になぞる形状に対応する動きを含む、媒体。

【請求項9】

計算システムであって、
１つ以上のプロセッサーと、
コンピューター実行可能命令を格納したコンピューター記憶メモリーと、
を含み、前記コンピューター実行可能命令が前記１つ以上のプロセッサーにより実行されると方法を実施し、該方法が、
ユーザー・デバイスに結合された動き検出システムにより、ユーザーの体の動きを検出してタグ付けジェスチャーを決定するステップであって、前記タグ付けジェスチャーが前記ユーザー・デバイスにおいて表示されたメディア・コンテンツ内の領域を示し、前記領域が物品を含む、ステップと、
前記タグ付けジェスチャーを決定したことに基づいて、前記タグ付けジェスチャーにより示された前記領域の表現を前記ユーザー・デバイスにおける表示のために提供するステップと、
前記タグ付けジェスチャーに基づいて、前記物品を特定し、前記物品がタグ付けされた物品であることを決定するステップと、
前記タグ付けされた物品に関連したタグ−物品データーを特定するステップと、
前記タグ付ジェスチャーに応答して、前記タグ付けされた物品に関係するコンテンツに対する検索を自動的に開始するステップであって、前記検索が、検索クエリーに基づいて開始され、前記検索クエリーが、前記特定されたタグ−物品データーと、ユーザー・データーとに基づいて行われ、前記ユーザー・データーが、前記タグ付けジェスチャーに関連して前記ユーザーによりタグ付けされた以前のタグ付けされた物品の履歴を含む、ステップと、
前記検索クエリーに応答して前記タグ付けされた物品に関係する前記コンテンツを受けるステップであって、前記タグ付けされた物品に関係する前記受けたコンテンツが、特定された前記タグ−物品データーと前記ユーザー・データーとに基づく、ステップと、
前記タグ付けされた物品に関係する前記コンテンツを提示させるステップであって、前記タグ付けされた物品に関係する前記コンテンツが、前記タグ付けされた物品に関連して提示される、ステップと、
を含む、計算システム。

【請求項10】

請求項９記載の計算システムであって、前記方法が更に、表示された前記メディア・コンテンツ内に提示された追加の物品に対し第三者が興味を示したことの指示を提示させるステップを含む、計算システム。

【発明の詳細な説明】

【背景技術】

【0001】

[0001] ユーザーに提示されたメディア・コンテンツ内に表示された物品(item)に関するコンテンツを発見するために、ユーザーは検索サービスを利用することが多い。インターネット検索エンジンの例は当技術分野では周知であり、例えば、一般に知られている商用エンジンに、ワシントン州、RedmondのMicrosoft Corporationが提供するＢＩＮＧ検索エンジンがある。

【発明の概要】

【発明が解決しようとする課題】

【0002】

一般に、ユーザーが表示されたメディア・コンテンツ内において興味ある物品を見るとき、任意の関連コンテンツを特定するために、ユーザーは最初にウェブ・ブラウザーを開き、この特定の検索サービスと関連するホーム・ページにナビゲートする。その後、ユーザーは、例えば、検索サービスによって提供される検索ボックスを介して、所望の検索結果を得るために検索クエリーを入力することができる。このような検索プロセスは、時間がかかり非効率的になる可能性がある。

【課題を解決するための手段】

【0003】

[0002] この摘要は、メディア・コンテンツ内において興味がある物品に関するコンテンツを見るためのジェスチャー・ベースのタグ付けの概念を紹介する。ジェスチャー・ベースのタグ付けについては、詳細な説明において以下で更に詳しく説明する。この摘要は、特許請求する主題の必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するときに使用されることを意図するのでもない。

【0004】

[0003] 本願は、メディア・コンテンツ内に表示される物品に関するコンテンツを見やすくする実施形態例について説明する。一実施形態例では、ユーザーはタグ付けすることができる物品を有するメディア・コンテンツを見ることができる。したがって、ユーザー・デバイスに関連する表示画面は、ビデオのような、何らかのメディア・コンテンツを表示することができる。ジェスチャーを使用して、ユーザーはメディア・コンテンツの中で彼または彼女が興味のある特定の物品の指示を与えることができる。物品の興味を示したことに応答して、この物品に関するコンテンツをユーザーに表示することができ、ユーザーはこのような関連コンテンツ（例えば、広告、取引、物品情報、提案、または推奨等）を容易に見ることができる。実現例では、特定の物品に関するコンテンツが、物品のコンテンツおよび／またはユーザー・データーにしたがって選択される場合もある。

【図面の簡単な説明】

【0005】

[0004] 本発明の実施形態について、添付図面を参照しながら以下で詳しく説明する。

【図1】図１は、本発明の実施形態を実現するのに適した計算デバイス例のブロック図である。

【図2】図２は、ジェスチャー・ベース・タグ付けを実現するために使用可能なユーザー・デバイスを含む環境例の模式図である。

【図3】図３は、ユーザー・デバイスのディスプレイ上に提示されたコンテンツ例の模式図である。

【図4】図４は、本発明の実施形態による、メディア・コンテンツ内における特定の物品に対するユーザーの注目を示す模式図である。

【図5】図５は、本発明の一実施形態によるジェスチャー・ベース・タグ付けのプロセス例の模式図である。

【図6】図６は、本発明の実施形態による、物品に関連付けて提示された物品に関するコンテンツの模式図である。

【図7】図７は、本発明の一実施形態による物品アクション(item action)のユーザー選択例の模式図である。

【図8】図８は、本発明の実施形態にしたがって、後の時点に見ることができる広告例の模式図である。

【図9】図９は、本発明の実施形態にしたがって、物品に関連付けて提示された他のエンティティによってタグ付けされた物品に関するコンテンツの模式図である。

【図10】図１０は、本発明の一実施形態にしたがって、タグ付け可能なコンテンツを生成する方法例を示す。

【図11】図１１は、本発明の一実施形態にしたがって物品にタグ付けする方法例を示す。

【図12】図１２は、本発明の一実施形態にしたがって物品に関するコンテンツを見るためにジェスチャー・ベース・タグ付けを利用する方法例を示す。

【図13】図１３は、本発明の一実施形態にしたがって物品に関するコンテンツを特定するためにジェスチャー・ベース・タグ付けを利用する方法例を示す。

【図14】図１４は、本発明の一実施形態にしたがって、他者が関するコンテンツを見ることができるように第三者が物品タグ付けを開始する方法例を示す。

【図15】図１５は、本発明の一実施形態にしたがって、物品に関するコンテンツを他者に提供するために第三者タグ付けを利用する方法例を示す。

【図16】図１６は、本発明の一実施形態にしたがって、ユーザー・デバイスにおいて関連コンテンツを見るために第三者タグ付けを利用する方法例を示す。

【発明を実施するための形態】

【0006】

全体像
[0021] 通例、ユーザーが見ているメディア・コンテンツ内においてある物品に関するある情報をユーザーが検索したいとき、ユーザーはウェブ・ブラウザーを開いて検索サービスと接続する。ユーザーは、検索クエリーを入力することによって、検索エンジンに問い合わせることができる。このような検索クエリーは、ウェブ・ブラウザーおよび／またはウェブ・ページと一体になった検索ボックスまたはツールバーとしてウェブ・ブラウザーと共に実行する検索ボックスを介して、またはウェブ・ブラウザーを検索を完了するためのプラットフォームとして使用する別のアプリケーションによって入力することができる。いずれの場合でも、ユーザーは、タイプ入力するかまたは検索クエリーをカットおよびペーストすることによって、手作業で検索クエリーを入力する。他の既存の技術では、利用可能であれば、ユーザーのデバイスの音声認識機能をアクティブ化して音声コマンドおよび／または音声入力を入力することによって、ユーザーが検索クエリーを入力することを可能にするものもある。音声コマンドおよび／または音声入力は、ユーザーのデバイスの検索アプリケーションまたは検索サービスによってテキストに変換される。

【0007】

[0022] 検索クエリーを受けたことに応答して、検索サービスは、検索結果を戻し結果ページにおいてユーザーに提示することができる。ユーザーが検索を変更したい場合、ユーザーは変更した検索クエリーをテキスト・ボックスに入力し、変更した検索クエリーを検索エンジンに提出することができ、一方検索エンジンは新たな検索結果をユーザーに戻す。一旦ユーザーが所望の情報を見つけたならば、彼または彼女はこの検索サービスを終了し、元に戻って彼／彼女が元々見ていたメディア・コンテンツを見る。ユーザーが検索結果を参照するまたは他の検索を実行する必要がある場合、ユーザーは、メディア・コンテンツを見ることと、見ているメディア・コンテンツに関するコンテンツを特定するための検索を実行することとの間で何度も切り替えなければならず、彼または彼女のコンテンツ視聴が邪魔されることになる。

【0008】

[0023] この状況は、ユーザーによって使用されるデバイスが複数のアプリケーション
を同時に実行する能力が制限されている場合、またはこの能力を有していない場合、一層悪化する。これらの問題は、特に移動体デバイスでは破壊的であり、ユーザーは多くの場合同時にメディア・コンテンツを見ながらインターネット検索を実行することができない。

【0009】

[0024] 例えば、ユーザーが特定の帽子を有するビデオを見ていて、この帽子にユーザーが興味を持つということもあり得る。しかしながら、ユーザーはこの帽子の銘柄や、その帽子を買う場所を知らないかもしれず、したがってインターネットを介してその帽子を検索するかもしれない。このユーザーは、例えば、ウェブ・ブラウザーを開き、検索エンジンによってホストされたウェブ・ページに行き、この帽子についての情報を含むクエリー（例えば、その帽子を着用する俳優、その帽子が提供されたビデオのタイトル、その帽子の色、その帽子の様式等）をウェブ・ページによって提供される検索ボックスに入力し、このクエリーを検索エンジンに提出することができる。あるいは、ユーザーが関連する帽子情報を検索アプリケーションに、音声コマンドおよび／または音声入力によって入力することもできる。移動体デバイスの小型ディスプレイ、物理キーボードおよび／または音声認識能力の欠如を想定すると、しかしながら、ユーザーはこの検索プロセスが実行するのが難しいと思うかもしれない。この状況は、帽子に関する詳細が分からない場合には一層悪化する可能性がある。このような場合、ユーザーは、帽子の製造業者のような詳細に関して想像し、それによって正しくない情報を入手することもあり得る。あるいは、ユーザーは帽子の製造業者のような、帽子についての所望の情報を得るために、種々の検索を実行しなければならない場合もある。

【0010】

[0025] 他の例では、ユーザーに興味がある物品を含むメディア・コンテンツをこのユーザーが見ていることもあり得る。ユーザーは、その物品を求める検索を実行したいかもしれない。この検索を行うために、ユーザーはその物品をどのように説明するか習得し、以上で説明した検索プロセスと同様に、画像の文書記述を検索エンジンに供給しなければならないこともあり得る。あるいは、ユーザーが最初に同様の画像を発見しこの同様の画像をデバイスのローカル・メモリーに保存し、次いで同様の画像を検索エンジンにアップロードする場合もあり、検索エンジンがコンテンツ−ベースの画像引き出しを可能にする。しかしながら、双方の場合、ユーザーは検索を実行するために複数のステップを辿ることを要求される。

【0011】

[0026] 本開示は、ユーザーが物品に関するコンテンツを見ることを可能にするための、メディア・コンテンツ内にある物品のジェスチャー・ベース・タグ付けについて記載する。このようなジェスチャー・ベースのタグ付けは、ユーザーによって提示されるジェスチャーに応答して、ユーザーが見ているメディア・コンテンツ内に提示された興味深い物品に関するコンテンツ（即ち、データーまたは情報）をユーザーが見ることを可能にする。一般に、ユーザー・デバイスは表示画面を介してメディア・コンテンツをユーザーに表示する。このようなメディア・コンテンツは、ユーザー・デバイスを介して提示することができる任意のメディア・コンテンツであればよい。例えば、ユーザー・デバイスがビデオおよび／またはオーディオをユーザーに再生することもできる。ユーザー・デバイスは、続いて、特定の物品に関するコンテンツを見る意図を示す、ユーザーからのジェスチャーを検出することができる。場合によっては、ユーザー・デバイスが、ディスプレイ上に表示されたコンテンツ内において物品を定めるまたは指定する、ユーザーからのジェスチャーを検出することもできる。ジェスチャーは、ユーザー・デバイスのタッチ・スクリーンまたはタッチ・パネルへのタッチ入力、ユーザー・デバイスの画像キャプチャー・デバイスによって検出される体の動き、および／またはマウスまたは他のユーザー入力デバイスによって制御されるカーソルの動きを含むことができるが、これらに限定されるのではない。例えば、ジェスチャーによって定められるコンテンツの領域が、実質的にジェスチャーによって結び付けられる物品を有する領域（たとえば、全体的に円形のジェスチャー
）、ジェスチャーによってタッチされるまたは重ねられる物品を有する領域等であってもよい。他の例では、ジェスチャーが、物品を選択することによって（例えば、ある物品上でホバリングするおよび／または選択するカーソルまたはセレクターによって）その物品を指定することもできる。

【0012】

[0027] 加えてまたは代わりに、ジェスチャーがユーザー・デバイス自体の動きを含むこともできる。ユーザー・デバイスの動きは、例えば、加速度計、高度計、コンパス等によって検出することができる。ユーザー・デバイスの動きは、ユーザー・デバイスによって表示される物品に関するコンテンツを見るユーザーの意図を示すことができ、例えば、特定の物品に関連する情報の検索を行わせる。

【0013】

[0028] 実施形態では、ユーザー・デバイスが、表示されたコンテンツ上でのジェスチャーによって定められるコンテンツの領域の表現を表示し、このジェスチャーのサイズおよび形状について視覚フィードバックをユーザーに供給できるのでもよい。コンテンツの領域の表現は、例えば、コンテンツの領域を囲む線、コンテンツの領域の強調ビュー、および／またはコンテンツの領域の拡大レンズ・ビューを含むことができる。場合によっては、物品を有するコンテンツの領域が、ジェスチャーによって定められるテキスト情報、絵図情報、画像情報、オーディオ情報、および／またはビデオ情報を含むこともできる。

【0014】

[0029] ジェスチャーの完了に応答して、ユーザー・デバイスは興味深い物品に関連するタグ−物品データー(tag-item data)を認識することができ、例えば、タグ−物品デー
ターに基づいて、タグ付けされた物品に関するコンテンツを求める検索を実行させることができる。実施形態では、タグ付けされた物品に関するコンテンツを検索するために、コンテキスト・データーおよび／またはユーザー・データーを利用するのでもよい。例えば、ユーザー・データーおよび／またはコンテキスト・データーが、関連コンテンツの検索を定式化する(formulate)、リファインする、あるいはそれ以外では生成する、変更する
、または強調するために参照されるまたは特定されるのでもよい。

【0015】

[0030] 本明細書において記載するジェスチャー・ベース・タグ付け技法は、ユーザーが、単にジェスチャーを入力することによって、メディア・コンテンツ内に提示される物品に関するコンテンツを継ぎ目なく見ることを可能にする。ジェスチャーは、例えば、メディア・コンテンツ内において興味深い物品を定める、指定する、または指示する。これに関して、ユーザーは、ウェブ・ブラウザーを開くことなく、検索エンジンによってホストされるウェブ・ページにナビゲートすることなく、そして例えば、タイプ入力や音声入力によって検索クエリーを手作業で入力することなく、興味深い物品に関連する情報を見ることができ、これによってユーザーの検索および／またはメディア視聴体験を改善する。このように、本明細書において記載するジェスチャー・ベース・タグ付け技法は、ユーザーがメディア・コンテンツを見ている間に情報検索を開始するプロセスを合理化および簡略化することによって、ユーザーの生産性を高める。

【0016】

[0031] 本明細書において記載する発明の実施形態は、メディア・コンテンツ内における物品に関するコンテンツの視聴を容易にするコンピューター実装方法を含む。この方法は、コンピューター実行可能命令で構成された１つ以上のプロセッサーの制御の下で、ユーザーに提示されたメディア・コンテンツ内に提示された物品に対するユーザーの興味を示すタグ付けジェスチャーを検出するステップを含む。このタグ付けステップは、表示されたコンテンツにおいてその物品を有する領域を定める。タグ付けジェスチャーを検出したことに応答して、その物品に関係する第三者によって提供される広告が提示される。

【0017】

[0032] 第２の例示的実施形態では、１つ以上のコンピューター読み取り可能媒体が命令を格納し、この命令がプロセッサーによって実行されると、アクト(act)を実行するよ
うにこのプロセッサーを構成する。アクトは、表示されたメディア・コンテンツ内に提示された物品を示すタグ付きジェスチャーを検出することを含む。タグ付けジェスチャーによって示される物品に関連するタグ−物品データーが特定される。この特定されたタグ−物品データーとユーザー・データーおよびコンテンツ−物品データーの内少なくとも１つを使用して実行される検索が開始される。タグ−物品データーとユーザー・データーおよびコンテンツ−物品データーの内少なくとも１つとに基づく物品に関するコンテンツが受信される。関連コンテンツは、物品と関連付けて提示される。

【0018】

[0033] 第３の例示的実施形態では、クライアント・デバイスが、プロセッサーと、このプロセッサーに通信可能に結合されたメモリーと、メディア・コンテンツをユーザーに表示するように構成された表示画面とを含む。表示画面は、リモート・ユーザー・デバイスに関連する他のユーザーが、当のユーザーに表示されている同じメディア・コンテンツ内に提示されたある物品に対する興味を示すことの指示を表示する。このような指示は、メディア・コンテンツがユーザーによって視聴されている間に表示される。

【0019】

[0034] 以下では複数のそして様々な実現例および実施形態について説明する。以下の章では、ジェスチャー・ベース・タグ付けを実現するのに適した環境例について説明する。以下の章では、ジェスチャー・ベース・タグ付け技法の例示的な形態について説明する。
アーキテクチャ例
[0035] 本発明の実施形態の種々の形態は、コンピューター・コードまたは機械使用可能命令という一般的なコンテキストで説明することができ、コンピューター、あるいはパーソナル・データー・アシスタントまたは他のハンドヘルド・デバイスというような他の機械によって実行されるプログラム・モジュールのような、コンピューター実行可能命令を含む。一般に、プログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造等を含み、特定のタスクを実行するコード、または特定の抽象データー型を実装するコードを指す。本発明の実施形態は、専用サーバー、汎用コンピューター、ラップトップ、更に特殊な計算デバイス等を含む、種々のシステム構成で実施することができる。また、本発明の実施形態は、分散型計算環境において実施することもでき、この場合、タスクは、通信ネットワークを通じてリンクされるリモート処理デバイスによって実行される。

【0020】

[0036] コンピューター読み取り可能媒体は、揮発性および不揮発性媒体双方の、リムーバブルおよび非リムーバブル媒体を含み、データーベース、プロセッサー、および種々の他のネットワーク接続された計算デバイスによって読み取り可能なメディアを想定する。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、情報の格納のための任意の方法または技術で実現される媒体を含む。格納される情報の例には、コンピューター実行可能命令、データー構造、プログラム・モジュール、および他のデーター表現が含まれる。媒体の例には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）、ホログラフ媒体および他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ、または他の磁気記憶デバイスが含まれるが、これらに限定されるのではない。これらの技術は、データーを瞬時的、一時的、または永続的に格納することができる。

【0021】

[0037] 本発明の種々の態様を実現することができる動作環境例について、本発明の種々の形態について全体的なコンテキストを与えるために、以下に説明する。最初に図１を参照すると、本発明の実施形態を実現するのに適した動作環境例が図示されており、全体的に計算デバイス１００として示されている。計算デバイス１００は、適した計算環境の一例に過ぎず、本発明の使用範囲や機能に関して何ら限定を示唆する意図はない。また、
計算デバイス１００が、図示されるコンポーネントのいずれか１つに関しても、またはその組み合わせに関しても、何らかの依存性または要件を有するというように解釈してはならない。

【0022】

[0038] 計算デバイス１００は、以下のデバイスを直接または間接的に結合するバス１００を含む。メモリー１１２、１つ以上のプロセッサー１１４、１つ以上のプレゼンテーション・コンポーネント１１６、入力／出力（Ｉ／Ｏ）ポート１１８、Ｉ／Ｏモジュール１２０、および例示の電源１２２。バス１１０は、１つ以上のバス（アドレス・バス、データー・バス、またはその組み合わせ）であってもよいものを代表する。図１の種々のブロックは、明確さのために線で示されるが、実際には、種々のコンポーネントの境界分けはそれ程明確ではなく、例えて言えば、線は、更に正確にするならば、灰色および曖昧になるであろう。例えば、ディスプレイ・デバイスのようなプレゼンテーション・コンポーネントをＩ／Ｏコンポーネントであると見なす者もいると考えられる。また、プロセッサーはメモリーを有する。本発明者は、このようなことは技術の本質であると認識しており、図１の図は、本発明の１つ以上の実施形態と共に使用することができる計算デバイス例を例示するに過ぎないことを繰り返しておく。「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルド・デバイス」、「タブレット」等の間に区別は行わない。何故なら、これらは全て図１に範囲に入ると考えられ、「計算デバイス」を指すからである。

【0023】

[0039] メモリー１１２は、揮発性および／または不揮発性メモリーに格納されるコンピューター実行可能命令（図示せず）を含む。このメモリーは、リムーバブル、非リムーバブル、またはその組み合わせであってもよい。ハードウェア・デバイスの例には、ソリッド・ステート・メモリー、ハード・ドライブ、光ディスク・ドライブ等が含まれる。メモリー１１２は、コンピューター読み取り可能媒体の一例である。コンピューター読み取り可能媒体は、少なくとも２つのタイプのコンピューター読み取り可能媒体、即ち、コンピューター記憶媒体および通信媒体を含む。

【0024】

[0040] コンピューター記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというような情報の格納のための任意の方法または技術で実現される。コンピューター記憶媒体は、相変化メモリー（ＰＲＡＭ）、スタティック・ランダム・アクセス・メモリー（ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリー（ＤＲＡＭ）、他のタイプのランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、電気的消去可能プログラマブル・リード・オンリー・メモリー（「ＥＥＰＲＯＭ」）、フラッシュ・メモリーまたは他のメモリー技術、コンパクト・ディスク・リード・オンリー・メモリー（ＣＤ−ＲＯＭ）、ディジタル・バーサタイル・ディスク（「ＤＶＤ」）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは計算デバイスによるアクセスのために情報を格納するために使用することができる任意の他の非一時的媒体を含むが、これらに限定されるのではない。

【0025】

[0041] 対照的に、通信媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターを、搬送波のような変調データー信号または他の送信メカニズムにおいて具体化することができる。本明細書において定められる場合、コンピューター記憶媒体は通信媒体を含まないこととする。

【0026】

[0042] 計算デバイス１００は、システム・バス１１０と結合された１つ以上のプロセッサー１１４を含み、プロセッサー１１４は、メモリー１１２またはＩ／Ｏコンポーネント１２０のような種々のエンティティからデーターを読み出す。一実施形態では、１つ以
上のプロセッサー１１４は、コンピューター実行可能命令によって定められる種々のタスクおよび方法を実行するために、コンピューター実行可能命令を実行する。プレゼンテーション・コンポーネント（１つまたは複数）は、システム・バス１１０に結合され、ユーザーまたは他のデバイスにデーター指示を提示する。プレゼンテーション・コンポーネント１１６の例には、ディスプレイ・デバイス、スピーカー、印刷コンポーネント等が含まれる。

【0027】

[0043] Ｉ／Ｏポート１１８は、計算デバイス１００を、Ｉ／Ｏコンポーネント１２０を含む他のデバイスに論理的に結合することを可能にする。Ｉ／Ｏコンポーネント１２０の一部は内蔵されていてもよい。コンポーネントの例には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー、プリンター、ワイヤレス・デバイス、キーボード、ペン、音声入力デバイス、タッチ入力デバイス、タッチ・スクリーン・デバイス、インタラクティブ・ディスプレイ・デバイス、またはマウスが含まれる。また、Ｉ／Ｏコンポーネント１２０は、計算デバイス１００を、例えば、他の計算デバイス、サーバー、ルータ等のようなリモート・デバイスに通信可能に接続するのを容易にする通信接続も含むことができる。

【0028】

[0044] 図２は、メディア・コンテンツ内の物品に関するコンテンツを見やすくするために使用可能な環境例２００の模式図である。環境２００は、コンテンツ・プロバイダー２０２、ユーザー・デバイス２０４、広告主デバイス２０６、ネットワーク関係者デバイス(network-contact device)２０８、および関連コンテンツ・システム２１０を含む。コンテンツ・プロバイダー２０２、ユーザー・デバイス２０４、広告主デバイス２０６、およびネットワーク関係者デバイス２０８は、ネットワークまたはネットワークの組み合わせ（図示せず）を介して通信することができ、ネットワークは、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、セルラ・ネットワーク、ピア−ツー−ピア（Ｐ２Ｐ）ネットワーク、移動体ネットワーク、またはネットワークの組み合わせというような、任意の数のネットワークを含むことができる。

【0029】

[0045] 図２に示すネットワーク環境２００は、１つの適したネットワーク環境の一例であり、本文書全体にわたって開示される本発明の実施形態の使用範囲や機能に関して限定も示唆することは全く意図していない。また、ネットワーク環境例２００が、本明細書において示される任意の１つのコンポーネントまたはコンポーネントの組み合わせに対して何らかの依存性または要件を有するように解釈してはならない。例えば、これらのコンポーネントの内１つ以上が、例えば、ＨＤＭＩ（高品位マルチメディア・インターフェース）、ＤＶＩ（デジタル・ビジュアル・インターフェース）等を介して互いに直接通信することもできる。

【0030】

[0046] コンテンツ・プロバイダー２０２は、タグ付け可能コンテンツを提供することができる任意の種類の１つまたは複数の計算デバイスとすることができる。例えば、コンテンツ・プロバイダー２０２は、図１を参照して以上で説明した計算デバイス１００のような計算デバイスとすることができる。一実施形態では、コンテンツ・プロバイダー２０２は、メディア・サーバーまたはメディア・サーバーのネットワークであり、インターネットのようなネットワークを介してタグ付け可能コンテンツを提供する。他の実施形態では、コンテンツ・プロバイダー２０２は、ＤＶＤ、Ｂｌｕｅ−ｒａｙ Ｄｉｓｋ（商標）というようなタグ付け可能コンテンツの有形形態、または他の携行可能なストレージ等を提供する。

【0031】

[0047] コンテンツ・プロバイダー２０２は、タグ付け可能コンテンツ２１２のような、タグ付け可能コンテンツを提供するように構成される。タグ付け可能コンテンツとは、
本明細書において使用する場合、タグ付けすることができるコンテンツ内に少なくとも１つの物品が提示された媒体を指す。即ち、タグ付け可能コンテンツとは、関連コンテンツを見ることができるように、少なくとも１つのタグ付け可能な物品を含むメディア・コンテンツのことである。これに関して、タグ付け可能コンテンツは、メディア・コンテンツ内に少なくとも１つの物品を含み、これが選択されると（例えば、ジェスチャーによって）、関連コンテンツが表示される結果となる。したがって、実現例では、タグ付け可能コンテンツが、関連コンテンツを見ることができる物品を示すメタデーターを含むのでもよい。メディア・コンテンツは、例えば、テレビジョン番組、ムービー、オンデマンド番組、生番組、ビデオ・クリップ等であってもよい。タグ付け可能な物品とは、メディア・コンテンツ内で提示され、ユーザーによってタグ付けすることができる物品である。タグは、ユーザーが特定の物品に興味があることの指示または指定を与える。このように、物品にタグ付けすると、それに関するコンテンツを検索し提示することが可能になる。物品は、メディア・コンテンツ内で提示される任意の物品または物品の組み合わせとすることができる。例えば、図３を参照すると、帽子３１０が１つの物品であることができ、シャツ３１２が第２物品であることができ、個人３１４が第３物品であることができ、首ひも３１６が第４物品であることができる等である。

【0032】

[0048] 認めることができようが、ビデオのようなタグ付け可能コンテンツ内では、任意の数の物品がタグ付け可能であってもよい。例えば、図３を参照すると、帽子３１０、シャツ３１２、個人３１４、および首ひも３１６がタグ付け可能物品であってもよいが、個人３１８、帽子３２０、個人３２２がタグ付け可能物品でなくてもよい。即ち、非タグ付け可能物品は、関連コンテンツを見ることができるように物品の興味を示すためにユーザーによってタグ付けすることができない。場合によっては、タグ付け可能コンテンツ内の各物品がタグ付け可能であってもよい。あるいは、タグ付け可能コンテンツ内の物品の一部が、タグ付け可能であってもよい。実施形態では、タグ付け可能と見なされるまたは指定される物品は、自動的に選択されてもよく、あるいは、例えば、メディア・コンテンツの著者、ディレクター、プロバイダー、または編者(composer)、広告主等によって選択されてもよい。

【0033】

[0049] タグ付け可能コンテンツは、例えば、ユーザー・デバイス２０４のようなユーザー・デバイス、広告主デバイス２０６のような広告主デバイス、ネットワーク関係者デバイス２０８のようなネットワーク関係者デバイス２０８、および／または関連コンテンツ・システム２１０のような関連コンテンツ・システムに供給することができる。コンテンツ・プロバイダー２０２は、タグ付け可能コンテンツ２１２をこのようなデバイスにネットワーク（図示せず）を介して供給することができる。このようなタグ付け可能コンテンツ２１２は、コンテンツ・プロバイダー２０２によって、ダウンロード、ストリーミング、またはそれ以外で供給されてもよい。

【0034】

[0050] 実施形態では、コンテンツ・プロバイダー２０２がタグ付け可能コンテンツ２１２を生成する場合もある。他の実施形態では、他のエンティティがタグ付け可能コンテンツを生成する場合もある。タグ付け可能コンテンツを生成するとき、メディア・コンテンツ内の物品が、タグ付け可能であると特定または指定されて、タグ付け可能コンテンツになるのでもよい。これに関して、メディア・コンテンツに関連するメタデーターが、タグ付け可能物品の指示を含んでもよい。実施形態では、タグ付け可能コンテンツに関連するメタデーターが、タグ付け可能物品または１組のタグ付け可能物品に関連してユーザーによって行われてもよい、１組の１つ以上の可能な物品アクションも示すとよい場合もある。

【0035】

[0051] ユーザー・デバイス２０４は、タグ付け可能コンテンツを提示することができ、タグ付け可能コンテンツに関連する物品に関するコンテンツをユーザーが見ることを可
能にする、任意の種類の計算デバイスとすることができる。例えば、一実施形態では、ユーザー・デバイス２０４が、図１を参照して先に説明した計算デバイス１００のような計算デバイスであることができる。ユーザー・デバイス２０４は、例えば、デスクトップ・コンピューター、ノートブックまたはラップトップ・コンピューター、ネットブック、タブレットまたはスレート・コンピューター、サーフェイス計算デバイス、電子ブック・リーダー・デバイス、ワークステーション、移動体デバイス（例えば、スマートフォン、パーソナル・ディジタル・アシスタント、車内ナビゲーション・デバイス等）、ゲーム・コンソール、セット・トップ・ボックス、テレビジョン、またはその組み合わせというような、種々の従来からの計算デバイスの内任意の１つとして実現されてもよい。認めることができようが、ユーザー・デバイス２０４は、タグ付け可能コンテンツおよび関連コンテンツをユーザーに提示することができるように、表示画面と関連付けられる。このような表示画面は、ユーザー・デバイス２０４と統合されても、これとは離れていてもよい。

【0036】

[0052] ユーザー・デバイス２０４は、タグ付け可能コンテンツを含む、メディア・コンテンツの提示を容易にするように構成される。これに関して、ユーザー・デバイス２０４は、ユーザーがコンテンツを見ることができるように、タグ付け可能コンテンツを提示する。

【0037】

[0053] 動作において、ユーザー・デバイス２０４は、タグ付け可能コンテンツ２１２のような、タグ付け可能コンテンツを再生または提示する。したがって、タグ付け可能コンテンツはユーザー・デバイス２０４によって消費される。一例としてそして限定ではなく、タグ付け可能コンテンツが、ユーザー・デバイス２０４に関連するディスプレイ上に表示されてもよい。このようなディスプレイは、ユーザー・デバイス２０４と統合されても、離れていてもよい。タグ付け可能コンテンツは、ウェブ・ブラウザー、電子メール・クライアント、またはユーザー・デバイス２０４における任意の他のアプリケーションというようなアプリケーション内で表示されてもよい。加えてまたは代わりに、ビデオおよび／またはオーディオのようなタグ付け可能コンテンツが、ユーザー・デバイス２０４のメディア・プレーヤーによって再生されてもよい。タグ付け可能コンテンツが、テキスト、画像（１つまたは複数）、写真（１つまたは複数）、オーディオ・コンテンツの視覚表現、および／またはビデオを含むのでもよい。

【0038】

[0054] ユーザー・デバイス２０４は、タグ付け機能(tagging feature)がイネーブル
されたか否か認識または識別する。タグ付け機能は、ユーザーがメディア・コンテンツ内でタグ付け物品を開始すること、および／またはタグ付き物品（例えば、ユーザー、広告主、ネットワーク関係者等によってタグ付けされた物品）に関するコンテンツを見ることを可能にする。これに関して、タグ付け機能は、ユーザーが、ユーザーまたは第三者によってタグ付けされた物品に関するコンテンツを見ることを可能にする。一実施形態では、ユーザー・デバイス２０４が、ユーザー・タグ付け機能および／または第三者タグ付け機能がイネーブルされたか否か認識する。ユーザー・タグ付け機能は、ユーザーがタグ付き物品に関するコンテンツを見るために、物品のタグ付けを開始することを可能にする。第三者タグ付け機能は、ユーザーが、広告主またはネットワーク関係者のような第三者によってタグ付けされた物品に関するコンテンツを見ることを可能にする。

【0039】

[0055] タグ付け機能は、例えば、ユーザーの選択によってイネーブルすることができる。このような実施形態では、ユーザーはユーザー・タグ付け機能および／または第三者タグ付け機能をイネーブルすることを選択することができる。このようなタグ付け機能は、例えば、メディア・コンテンツ（例えば、タグ付け可能コンテンツ）の提示前または最中にイネーブルすることができる。例えば、メディア・コンテンツの提示前または最中に、ユーザーがユーザーおよび／またはユーザーに関連するまたは関係する第三者によってタグ付けされた物品に関するコンテンツの視聴を可能にすることを選択することができる
。

【0040】

[0056] 認めることができようが、ユーザーは、ユーザー・デバイスに対する設定（１つまたは複数）を構成することと関連付けて、またはユーザーが望むように、メディア・コンテンツを見るとき毎に、一方または双方のタグ付け機能をイネーブルすることを選択してもよい。他の場合では、ユーザー・デバイスに、一方または双方のタグ付け機能（即ち、ユーザー・タグ付け機能および第三者タグ付け機能）をイネーブルまたはディスエーブルするデフォルト設定を構成してもよい。

【0041】

[0057] ユーザー・タグ付け機能がイネーブルされると、ユーザー・デバイス２０４は、ユーザーが物品にタグ付けするのを開始すること、および／またはこのような物品に関するコンテンツを見るのを開始することを可能にする。したがって、ユーザー・タグ付け機能がイネーブルされると、ユーザー・デバイス２０４はタグ付けジェスチャーを検出することができる。タグ付けジェスチャーとは、ユーザーにとって興味があるタグ付け可能物品にタグ付けするために、ユーザーによって与えられる指示を指す。タグ付け可能物品とは、タグ付け可能コンテンツ内に提示される物品の内、タグ付けできるものである。場合によっては、タグ付け可能物品が、ディスプレイ上に表示される物品であって、タグ付けすることができることもある。例えば、アルバム・タイトル・サムネイル、ムービー・ポスター・サムネイル等が、場合によって、メディア・コンテンツ内に提示されるか否かには関係なく、タグ付け可能であってもよい。いずれの場合でも、タグ付け可能物品は、関連コンテンツを特定または提示することができる物品である。認めることができようが、実施形態では、タグ付け可能物品が、例えば、視覚的または聴覚的に、ユーザーによって認識できる場合もある。例えば、メディア・コンテンツを見るユーザーがタグ付けすることができる物品を容易に認識できるように、メディア・コンテンツ内でタグ付けすることができる物品が強調されても、縁取りされても、またはそれ以外で視覚的に特定されてもよい。

【0042】

[0058] ユーザーは、ある物品を目的にするタグ付けジェスチャーを行うことができる。即ち、ユーザーは、ユーザーに興味がある物品を選択する、指定する、またはそれ以外で指示するためにタグ付けジェスチャーを行うことができる。したがって、ユーザー・デバイス２０４は、ユーザー・デバイス２０４に入力されたタグ付けジェスチャーまたはそれに関連する成分を検出するように構成することができる。例の中には、１つのタグ付けジェスチャーが物品を選択する、および／または物品を定める（例えば、物品を有するコンテンツの領域を定めることによって）ことができ、特定された物品に関するコンテンツを入手させる場合もある。例えば、ユーザー・デバイス２０４は、ビデオを再生するというように、コンテンツを消費することができる。タグ付けジェスチャーは、ユーザーの１本以上の指あるいはスタイラスまたはディジタル・ペンのようなポインティング・デバイスからのタッチ入力を含むことができる。ユーザー・デバイス２０４は、タッチ・スクリーン、タッチ・パッド、またはユーザー・デバイス２０４の他の入力／出力インターフェースを介して、ユーザーからのタッチ入力を検出することができる。他の実施形態では、タグ付けジェスチャーが、ユーザーの目の動きを含むのでもよい。ユーザー・デバイス２０４は、ユーザー・デバイス２０４の画像キャプチャー・デバイスによって、目の動きを検出することができる。

【0043】

[0059] 更に他の実施形態では、タグ付けジェスチャーが、ユーザーの体、あるいは指、手、頭、および／または腕というようなユーザーの体の一部の動きを含んでもよい。ユーザー・デバイス２０４は、カメラ、他の画像キャプチャー・デバイス、またはユーザー・デバイス２０４の任意の動き検出コンポーネントによって、体の動きを検出することができる。例えば、ユーザー・デバイスが、Kinect（商標）動き検出システムが構成されたＸｂｏｘ（登録商標）ゲーミング・コンソールというような、カメラまたは他の動き検出
インターフェースを有するゲーミング・デバイスであってもよい。これらは双方とも、ワシントン州、RedmondのMicrosoft Corporationから入手可能である。ユーザー・デバイスは、画像または信号を受信し、このユーザー・デバイスが受信した画像または信号を解釈して、ユーザーが行っている動きを判定することができる。ユーザーの動きは、関連コンテンツの検索をトリガーすること、および／または関連コンテンツの検索の範囲を定めることができる。加えてまたは代わりに、関連コンテンツの検索の範囲は、物品が表示されているコンテキスト、ユーザーに関連するデーター等を参照して判定することもできる。これについては以下で更に詳しく説明する。

【0044】

[0060] 実施形態では、タグ付けジェスチャーが、ユーザーによって制御されるリモート・コントローラー（例えば、ポインター、ジョイスティック、ゲーム・コントローラー等）の動きまたは選択を含むこともできる。ユーザー・デバイス２０４は、ユーザーによって制御されるリモート・コントローラーの動きを、このリモート・コントローラーに近接する検出器によって検出し、この検出器は、リモート・コントローラーの動きの情報をユーザー・デバイス２０４に送信する。

【0045】

[0061] 他の実施形態では、タグ付けジェスチャーが、マウス、トラック・ボール、またはユーザー・デバイス２０４の入力／出力インターフェースに結合された他の入力デバイスによって制御されるカーソルの動きまたは選択を含むこともできる。この場合、ユーザー・デバイス２０４は、入力デバイスによって制御されるカーソルの動きを検出することができる。カーソルまたはセレクターは、表示画面上の位置を示す可動シンボルを指す。表示画面内におけるカーソルまたはセレクターの動きまたは選択は、計算デバイスに接続される、例えば、マウス、トラック・ボール等によって制御することができる。

【0046】

[0062] また、ユーザー・デバイス２０４は、音声コマンドおよび／または入力を認識し、この音声コマンドおよび入力をテキスト入力に変換するために使用可能な音声認識を含むこともできる。次いで、ユーザー・デバイス２０４は、これらのテキスト入力を使用して、検索クエリーまたはデーター（例えば、タグ−物品データー）を定式化するまたは定めることができる。ユーザー・デバイス２０４が１人よりも多いユーザーによって使用される場合、現在のユーザーを認識することができ、この現在のユーザーに関する履歴情報（例えば、１時間以内というような、予め定められた時間期間内の）を引き出して、クエリーまたはデーターを定式化またはリファインすることができる。

【0047】

[0063] 更に、ユーザー・デバイス２０４は、ユーザーが１つ以上のジェスチャーを定めることを可能にするために、ジェスチャーの学習を含むこともできる。例えば、ユーザー・デバイス２０４は、物品を購入する、物品に関する情報を検索する、物品に関するメディア・コンテンツを検索する、タグ付き物品を保存する等というような、種々のアクションを開始するためのカスタム・ジェスチャーをユーザーが定めることを可能にするのでもよい。ユーザー・デバイス２０４は、曲線、ジェスチャー速度等というような、これらのユーザー定義ジェスチャーの各々について情報を収集して、ユーザー定義ジェスチャーを互いに区別することができる。

【0048】

[0064] 以上の実施形態では別々のタグ付けジェスチャーについて説明したが、１つのタグ付けジェスチャーが以上で説明したような１つ以上のタグ付けジェスチャーの組み合わせを含んでもよい。

【0049】

[0065] ユーザー・デバイス２０４は、更に、ジェスチャー追跡を含むこともできる。ジェスチャー追跡は、ユーザーによるタグ付けジェスチャーの入力に応答して、ユーザー・デバイス２０４に関連するディスプレイ上のタグ付けジェスチャーの線または他の表現を表示することを可能にする。このタグ付けジェスチャーの表現は、セレクターの位置ま
たはタグ付けジェスチャーの動きにしたがって表示することができる。この表現は、ユーザーが丁度入力したジェスチャーのサイズ、形状、および／または位置を示すフィードバックをユーザーに供給する。この表現は、物品を囲む線、物品の強調ビュー、セレクターの経路を追跡する線、セレクターの位置の指示、および／または物品の拡大レンズ・ビューを含むことができるが、これらに限定されるのではない。

【0050】

[0066] メディア・コンテンツ内のタグ付け可能物品またはディスプレイ上に表示された物品に関連するタグ付けジェスチャーを検出すると、ユーザー・デバイス２０４は、ユーザーによって示されたしかるべき物品を特定しこれにタグ付けするように構成される。これに関して、物品にタグ付けする指示またはジェスチャーを検出すると、指定された物品が識別または認識される。タグ付き物品は、物品を任意のやり方で一意に識別また指示する物品識別子を使用して識別することができる。例えば、物品識別子は、物品の名称、主題、値、記述、または他のインディケーターであってもよい。

【0051】

[0067] 一実施形態では、物品を識別または認識するために、タグ付け可能コンテンツに関連するメタデーターを利用してもよい。例えば、メタデーターは、メディア・コンテンツ内における特定のフレーム、位置、または時間に関連する物品（１つまたは複数）を示すことができる。これに関して、タグ付け可能コンテンツに入ってから１時間５分３２秒の時点において、「帽子」がメディア・コンテンツ内でタグ付け可能物品であることを示すことができる。したがって、ユーザー・デバイス２０４またはその一部は、メディア・コンテンツのどの時点において、または表示されたコンテンツ内のどの位置で、選択された該当物品が存在するのか検出または特定することができる。認めることができようが、このようなメタデーターは、タグ付け可能コンテンツと統合されても、タグ付け可能コンテンツとは別であってもよい。

【0052】

[0068] あるいはまたは加えて、例えば、ユーザー・デバイスまたは他のデバイス（例えば、リモート・サーバー）によって物品を認識することによって、その物品が認識されるのでもよい。例えば、ユーザー・デバイス２０４自体が、物品の画像に基づいてその物品を認識することもできる。したがって、ユーザー・デバイス２０４は、コンテンツの領域またはタグ付けジェスチャーによって定められるコンテンツの部分において１つ以上の物品を識別することができる画像認識モジュール（図示せず）を含むこともできる。

【0053】

[0069] 他の例では、ユーザー・デバイス２０４は、更に、物品の画像、またはその指示を、所与のウェブサイト、アプリケーション、または物品の情報を検出するおよび／または提供するサービスへのクエリーとして提出することもできる。例えば、ユーザー・デバイス２０４は画像抽出モジュール（図示せず）を含むこともできる。画像抽出モジュールは、タグ付けジェスチャーによって定められた画像の一部をその画像から抽出し、画像の抽出部分を、画像検索のために検索サービスに提出することができる。

【0054】

[0070] ジェスチャーによって選択された物品というような、興味のある物品を認識または特定すると、指定された物品にタグが付けられる。これに応じて、ユーザー・デバイス２０４はタグ付け可能物品をユーザーに興味がある物品として認識または指定することができる。タグ付き物品は、ユーザーが、このタグ付き物品に関するコンテンツを見ることを可能にする。これに関して、物品にタグが付けられると、この物品に関するコンテンツは、物品のタグ付けを開始したユーザーによってまたは第三者によって見ることができる。物品のタグ付けは、特定の物品がユーザーに興味があることの指示を与える任意のやり方で行うことができる。例えば、物品識別子をタグ付き物品リストに含ませることができ、物品識別子にタグを関連付けることができ、あるいは物品識別子をそれ以外の方法でタグ付き物品または興味のある物品として示すことができる。タグ付き物品、またはその指示は、例えば、ユーザー・デバイス、ユーザー、メディア・コンテンツ識別子等に関連
付けて保存することができる。したがって、タグ付き物品の物品識別子（例えば、タグ付き物品データー）は、例えば、ユーザー・デバイス、関連コンテンツ・システム等と関連付けて保存することができる。これに関して、タグ付けされた特定の物品を識別する物品識別子を保存することができる。

【0055】

[0071] 興味のある物品を識別することに加えて（例えば、物品にタグ付けするために使用される物品識別子）、他のタグ−物品データーもユーザー・デバイス２０４によって認識または識別することができる。タグ−物品データーとは、物品を記述、指示、または識別する、その物品に関連する任意のデーターを指す。したがって、タグ−物品データーは、例えば、物品識別子、物品の説明、物品の詳細、物品の概要、物品の表現、その物品がメディア・コンテンツにおいて現れる時刻または位置、メディア・コンテンツのタイトル識別子または著者識別子、物品にタグ付けされた時刻または位置、物品に関連する画像等であってもよい。これに関して、ユーザー・デバイス２０４は、ユーザーによって選択された物品を分析してその物品に関連するあらゆるタグ−物品データーを識別するためのコンテンツ分析、メディア・コンテンツに関連するメタデーターを分析してまたは検討してその物品に関連するあらゆるタグ−物品データーを識別するためのメタデーター分析、ジェスチャーを分析してその物品に関連するあらゆるタグ−物品データー（例えば、タグ付けジェスチャーの位置または時刻）を識別するジェスチャー分析等を実行することができる。

【0056】

[0072] 実施形態では、ユーザー・デバイス２０４が物品−コンテキスト・データーを参照または識別することもできる。即ち、ユーザー・デバイス２０４は物品−コンテキスト・データーにアクセスし、これを判定、識別、または認識することができる。物品−コンテンツ・データーまたはコンテンツ・データーとは、物品（例えば、タグ付き物品）のコンテキストを記述または指示する任意のデーターまたは情報を指す。これに関して、ユーザー・デバイス２０４は、物品が、例えば、提示されるコンテキストに関する信号を供給するコンテキスト情報を分析することができる。一例として、そして限定ではなく、コンテキスト情報は、物品に近接するコンテンツ、提示されるメディア・オブジェクトのタイトル、表示されるコンテンツに関連するメタデーター（例えば、タグ付き物品と同じフレーム内の他の物品、メディア・コンテンツの他のフレーム内の他の物品、メディア・コンテンツの他の部分に関連するメタデーター、物品に関連するオーディオ等）を含むことができる。物品−コンテキスト・データーは、少なくとも部分的にコンテキスト情報に基づいて一層関連深いクエリーを定式化することによって、提示される関連コンテンツの関連性を高めるために使用することができる。

【0057】

[0073] ユーザー・デバイス２０４は、ユーザーによって選択された物品のコンテキストを分析して物品に関連するあらゆる物品−コンテキスト・データーを識別するためにコンテンツ分析を実行し、メディア・コンテンツに関連するメタデーターを分析してまたは検討して物品に関連するあらゆる物品−コンテキスト・データーを識別するメタデーター分析を実行し、ジェスチャーを分析して物品に関連するいずれの物品−コンテキスト・データー（例えば、タグ付けジェスチャーの位置または時刻）を識別するジェスチャー分析を実行することができる。一例のみとして、ユーザーが「帽子」物品のタグ付けを開始すると仮定する。更に、メディア・コンテンツ内でその「帽子」を着用している俳優がシャツおよび靴も着用していると仮定する。場合によっては、ユーザー・デバイス２０４がこの場面またはフレームを分析し、その帽子を着用している俳優が、帽子と同じ銘柄を有するシャツおよび靴も着用していることを認識することもできる。他の場合では、ユーザー・デバイス２０４が、俳優がタグ付けされた「帽子」を着用している場面またはフレームに関連するメタデーターを検討し、このメタデーターにしたがって、帽子、シャツ、および靴が同じ銘柄であることを認識することもできる。

【0058】

[0074] 加えてまたは代わりに、ユーザー・デバイス２０４がユーザー・データーを参照または識別するのでもよい。即ち、ユーザー・デバイス２０４がユーザー・データーにアクセスし、これを判定し、識別し、または認識することもできる。ユーザー・データーとは、ユーザーに関するまたは関連する任意のデーターまたは情報を指す。ユーザー・データーは、ユーザー識別子、ＧＰＳデーターのようなユーザー・デバイス２０４の位置、１つ以上の履歴タグ、アクション、および／またはユーザーのセッション（例えば、以前にタグ付けされた物品またはタグ付けされた物品を有するメディア・コンテンツ）、ユーザーによって開始されたアクション、ユーザー・デバイスのパラメーターまたは属性（例えば、それが移動体デバイスか否か、移動体デバイスのタイプ、デバイスの能力（１つまたは複数）等）、デバイスに関連する本拠地(home)の地理的位置、ユーザーの年齢層、ユーザーの好み等を含むことができるが、これらに限定されるのではない。ユーザー・データーは、更に、ソーシャル・ネットワークから収集されるソーシャル・データー、連絡先、電話記録、テキスト・メッセージ記録、ユーザーの交友関係および会員資格(membership)等も含むことができる。また、ユーザー・データーは、文書、ファイル、画像、写真、電子メール、あるいはユーザー・デバイスに格納される任意の他のコンテンツまたはデーターも含むことができる。

【0059】

[0075] ユーザー・デバイス２０４は、ユーザー・データーを合体して、検索クエリーまたは送信データーを定式化またはリファインし、これによって関連コンテンツの関連性を高めることができる。場合によっては、検索クエリーを定式化するために任意の個人情報も使用する前に、ユーザーがこの情報を共有することを望むか否か促し、常にこの情報を共有する選択肢、この情報を決して共有しない選択肢、または情報を共有する前に毎回促す選択肢を与えることができる。

【0060】

[0076] 一例としてそして限定ではなく、ユーザー・デバイス２０４は、最新のタグ付けされた物品に基づいて、ユーザーがＲ＆Ｂジャンルに関連するアパレルに興味があると判断し、これによって、ユーザーはＲ＆Ｂジャンルに関する現タグ付け(instant tagging)の関連コンテンツを見ることを優先するであろうと推論することができる。他の例とし
て、ユーザー・デバイスが特定の地理的領域内にある場合、ユーザーがユーザー・デバイスの地理的領域（例えば、地方の音楽関連の店）に関連する現タグ付けの関連コンテンツに興味がありそうであると推論することができる。

【0061】

[0077] タグ付き物品データー、コンテキスト−物品データー、および／またはユーザー・データーというような、タグ付け物品に関連するデーターを識別すると、このようなデーターを関連コンテンツ・システム２１０に伝達することができる（例えば、クエリーの形態で）。以下で更に詳しく説明するが、関連コンテンツ・システム２１０は、このようなデーターを利用して、物品（１つまたは複数）に関するコンテンツを識別し、ユーザーに表示するために提供することができる。これに関して、関連コンテンツ・システム２１０はタグ付き物品データー、コンテキスト−物品データー、および／またはユーザー・データーを使用して、現タグ付け物品に関するコンテンツを識別し供給することができる。

【0062】

[0078] 本明細書において説明する種々の実施形態は、ユーザー・デバイス２０４が、タグ付けジェスチャーを受けたことに応答して、関連コンテンツ・システム２１０を介してリモート検索（例えば、インターネット検索）を開始することができると説明したが、本開示はリモート検索に限定されるのではない。一実施形態では、ユーザー・デバイス２０４は、加えてまたは代わりに、コンテンツの領域または物品を定めるタグ付けジェスチャーを受けたことに応答して、ローカル検索を開始することもできる。他の実施形態では、ローカル検索が、ユーザー・デバイス２０４全体のローカル・メモリー内での検索、あるいはユーザー・デバイス２０４の指定メモリーまたはフォルダ内の検索を含むこともで
きる。

【0063】

[0079] ユーザー・デバイス２０４がタグ付き物品（１つまたは複数）（例えば、関連コンテンツ・システム２１０からの関連コンテンツ・データー）に関するコンテンツを受信すると、関連コンテンツ・データーをユーザー・デバイス２０４を介してユーザーに、ユーザーに提示されるタグ付け可能コンテンツと共に提示することができる。関連コンテンツ・データーまたは関連コンテンツとは、本明細書において使用する場合、タグ付き物品に関する任意の情報を指す。例えば、関連コンテンツ・データーは、物品を記述するまたは詳述する情報、物品に関連する広告、物品に関する提案等であってもよい。一実施形態では、関連コンテンツ情報は、関連コンテンツ・データーがメディア・コンテンツと統合されて現れるように、タグ付け可能コンテンツと重なり合う。他の実施形態では、タグ付け可能コンテンツは、関連コンテンツ・データーをメディア・コンテンツと統合するために変更することができる。

【0064】

[0080] 認めることができようが、関連コンテンツ・データーは、タグ付き物品に関して任意の位置に表示することができる。一実施形態では、関連コンテンツ・データーは、タグ付き物品に隣接して、その上に、またはその近くに表示される。他の実施形態では、関連コンテンツ・データーは、右下角等のような、表示画面上の特定位置に表示される。更に他の実施形態では、関連コンテンツ・データーは、メディア・コンテンツに基づいて最適位置に表示される。したがって、場合によっては、ユーザー・デバイスが、関連コンテンツ・データーおよび／または物品アクションを表示する位置を決定するのでもよい。

【0065】

[0081] 実施形態では、１つ以上の物品アクションを、関連コンテンツ・データーと関連付けて提示することができる。これに関して、物品アクション（１つまたは複数）を、関連コンテンツ・データーと同時に提示することもできる。あるいは、物品アクションが、関連コンテンツ・データーの提示のときに提示されてもよい。例えば、物品に関するコンテンツが最初にメディア・コンテンツ内の物品と併せて提示されると仮定する。そして、ユーザーがその物品または関連コンテンツ・データーを選択すると仮定する。このような場合、物品アクション（１つまたは複数）がここで提示されてもよい。

【0066】

[0082] 物品アクションとは、物品に関連して行うことができる任意のアクションの指示を指す。物品アクションは、後に見るまたは購入するためにタグ付き物品を保存すること、タグ付き物品を購入すること、タグ付き物品についてもっと多くの情報を見ること、タグ付き物品の電子メールを送ること、タグ付き物品をポストすること、タグ付き物品についての音声（例えば、広告または情報）を聞くこと、物品を共有すること等を含むが、これらに限定されるのではない。

【0067】

[0083] 関連コンテンツ・データーと関連付けて表示される特定の物品アクションは、提示されるデフォルトの物品アクションに基づいてもよい。これに関して、具体的な１組の１つ以上の物品アクションを、タグ付けされた具体的な物品に係わらず、ある物品と関連付けて提示することができる。他の実施形態では、表示される物品アクションは、タグ付け物品に対して可能なアクションを示す、タグ付け可能コンテンツのメタデーターによって決定するのでもよい。このような実施形態では、ユーザー・デバイス２０４は、タグ付け可能コンテンツについてのメタデーターに基づいて、表示するアクション（１つまたは複数）を識別することもできる。例えば、特定の物品または１組の物品に関連するメタデーターが、ユーザーが行うことができる可能な物品アクションを指定することもできる。更に他の実施形態では、表示する物品アクションは、関連コンテンツ・システムまたは他の計算デバイスによって決定または識別されてもよく、あるいはユーザー履歴のユーザーの好みに基づいてもよい。

【0068】

[0084] 物品アクションが関連コンテンツ・データーと関連付けて提示される実施形態では、ユーザー・デバイス２０４が、ユーザーが開始することを意図するアクションを識別、認識、または決定することができる。このようなアクション指示は、ユーザーによって、ジェスチャー・タグ付けについて先に説明した方法のような、任意の方法を使用して入力することができる。例えば、ユーザーが、開始する特定のアクションを選択するまたはそれ以外で指定するためのジェスチャーを行うのでもよい。物品アクションの選択にしたがって、ユーザー・デバイスはそのアクションを開始することができる。例えば、ユーザーが物品「購入」アクションを選択したと仮定する。このような場合、ユーザー・デバイスは物品の購入を容易にすることができる（例えば、その物品を販売するウェブサイトにリンクする）。

【0069】

[0085] 認めることができようが、実施形態では、ユーザーに提示されるタグ付け可能コンテンツが、物品にタグ付けすることおよび／または関連コンテンツを見ることに関係して一時中止されることもある。タグ付け可能コンテンツの一時中止は、ユーザーが物品にタグ付けするためおよび／または関連コンテンツを見るために、タグ付け可能コンテンツを一時中止するユーザーの指示に基づいて行うことができる。他の場合では、タグ付け可能コンテンツは、例えば、タグ付けジェスチャーの開始を検出したときに、自動的に一時停止される。

【0070】

[0086] 図２の関連コンテンツ・システム２１０は、物品と関連付けた提示のために、物品に関するコンテンツを識別または決定するように構成される。関連コンテンツまたは関連コンテンツ・データーは、広告、物品を記述する情報、物品を識別する情報、製品情報、物品に関する提案、第三者のタグ付け情報等のような、任意のコンテンツまたはデーターであってもよい。関連コンテンツ・システム２１０は、任意の数の計算デバイス、サービス、またはエンジンを採用して、関連コンテンツを識別することもできる。図２は、推奨エンジン２２０、検索エンジン２２２、広告エンジン２２４、およびソーシャル・ネットワーク・エンジン２２６の使用を示す。このような各エンジンは、実施形態によれば、サーバー・システム、プログラム・モジュール、仮想マシン、１つまたは複数のサーバーのコンポーネント、ネットワーク等として実現することができる。説明を明確にするために、推奨エンジン、検索エンジン、広告エンジン、およびソーシャル・ネットワーク・エンジンが別々になっている実施形態について説明するが、本発明の範囲内に該当すると考えられる種々の構成では、これが該当しない場合もあることは理解されてしかるべきである。

【0071】

[0087] ユーザー・タグ付け機能にしたがって、タグ付けジェスチャーに応答して関連コンテンツ・データーの検索を容易にするために、ユーザー・デバイス２０４は関連コンテンツ・システム２１０またはその一部（１つまたは複数）と通信する。推奨エンジン２２０、検索エンジン２２２、および広告エンジン２２４は、タグ−物品データー、ユーザー・データー、および／またはコンテキスト−物品データーを受けまたは参照し、タグ付けされた物品に関するコンテンツを識別し供給するためにこのようなデーターを利用するように機能する。一実施形態では、タグ−物品データー、ユーザー・データー、および／またはコンテンツ−物品データーは、ユーザー・デバイス２０４のような、ユーザー・デバイスから受けることができる。例えば、タグ−物品データー、ユーザー・データー、および／またはコンテキスト−物品データーは、タグ付き物品に関するコンテンツの検索を開始するための検索クエリーの形態で受けることができる。他の実施形態では、他のソースからタグ−物品データー、ユーザー・データー、および／またはコンテキスト−物品データーを参照することができる。一例として、場合によっては、物品識別子のようなタグ−物品データーの一部、そしてユーザー・デバイス位置のようなユーザー・データーの一部をユーザー・デバイス２０４に伝達することもできる。追加のタグ-物品データー、コ
ンテキスト-物品データー、および／またはユーザー・データーを参照することもできる
。例えば、ユーザー識別子に関連する履歴タグ付きデーターまたはその一部が、格納され、関連コンテンツ・システム２１０によってアクセスされてもよい。更に、物品識別子が、タグ付き物品に関連する追加の情報を参照するために使用されてもよい。

【0072】

[0088] 場合によっては、ユーザー・データーをユーザー・データー・ストア２２８から参照することができる。例えば、場合によっては、ユーザー・データーは予めユーザー・デバイスから送られ、ユーザー・データー・ストア２２８にキャプチャーされる。このような場合、ユーザー・データーを参照し、関連コンテンツを識別するために利用することができる。認めることができようが、ユーザー・データーが、タグ付けされた画像と関連付けて、ユーザー・デバイス２０４から伝達されても、ユーザー・データーをユーザー・データー・ストア２２８から参照することができる。例えば、物品にタグ付けするとき、デバイス位置のような、あるユーザー・データーがユーザー・デバイスから伝達されてもよく、ユーザー・タグ付け履歴のような他のユーザー・データーをユーザー・データー・ストア２２８から参照することができる。同様に、図示しないが、タグ−物品データーおよび／またはコンテキスト−物品データーは、メディア・コンテキストに関連するデーターを収容する関連コンテンツ・システム２１０に関連するデーター・ストアから参照することができる。

【0073】

[0089] 前述のように、推奨エンジン２２０、検索エンジン２２２、および／または広告エンジン２２４、タグ−物品データー、ユーザー・データー、および／または物品−コンテキスト・データー（例えば、クエリーの形態で）を使用して一層関連がある関連コンテンツを提供することができる。例えば、ユーザー・デバイスの位置に基づいて、購入または視聴のアクションを完了するために、ローカル・ストアに特定の広告を供給することができる。更に他の例として、使用されるデバイスのパラメーターを認識し、最も適したフォーマットで関連コンテンツ・データーを選択し送るために使用することができる（例えば、ＨＤ品質広告、ＨＤＴＶ、移動体デバイス等）。

【0074】

[0090] 実施形態では、関連コンテンツ・システム２１０、またはその一部がタグ付き物品の指示（例えば、物品識別子）および／または他のデーター（例えば、タグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データー）を受ける。このようなデーターは、後の使用のために、関連コンテンツ・システム２１０に格納することができる。例えば、このようなデーターは、ユーザーによる後の使用のためにユーザー・データー・ストア２２８に格納されてもよく、および／または第三者による使用のためにネットワーク・データー・ストア２３０に格納されてもよい。これについては、以下で更に詳しく説明する。更に、実施形態では、提示のためにユーザー・デバイス２０４に送信される関連コンテンツは、関連コンテンツ・システム２１０内に格納することもできる。例えば、このような関連コンテンツ、またはその指示が、ユーザーによる後の使用のためにユーザー・データー・ストア２２８におよび／または第三者による使用のためにネットワーク２３０に格納されてもよい。

【0075】

[0091] 推奨エンジン２２０は、タグ付き物品に基づいてユーザーに推奨または提案される関連コンテンツを供給する。したがって、推奨エンジン２２０は、例えば、同様のメディア・コンテンツ、製品、またはサービスを、物品ベース・データー、物品−コンテキスト・データー、ユーザー・データー等に基づいて推奨または提案することができる。一実施形態では、推奨エンジン２２０は、ユーザー・デバイス２０４から受けるタグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データーを利用して（例えば、クエリーの形態で）、タグ付き物品に関する推奨コンテンツまたは提案コンテンツを特定または決定する。あるいはまたは加えて、推奨エンジン２２０は、ユーザー・デバイス２０４から受けたデーター（例えば、クエリーの形態で）を使用して、追加のデーター（例えば、タグ−物品データー、物品−コンテキスト・データー、および／また
はユーザー・データー）を特定または認識することができる。例えば、推奨エンジン２２０が物品識別子およびユーザー識別子を受け、その後これらの識別子を使用して他のタグ−物品データーおよびユーザー・データーをそれぞれ参照する(reference)または調べる
（look up)こともできる。次いで、推奨エンジン２２０によって参照されたデーターは、タグ付き物品に関する推奨コンテンツまたは提案コンテンツを特定するために使用することができる。

【0076】

[0092] 一例のみとして、ユーザーがタグ付け可能コンテンツを見ている時点、タグ付け可能コンテンツを見るために使用されるデバイスのタイプ、および／またはユーザーがタグ付け可能コンテンツを見ている時点におけるデバイスの位置を利用して、推奨エンジン２２０がタグ付き物品に関する推奨を識別することもできる。タグ付き物品に関連するタグ付け可能コンテンツを見る時刻および位置に基づいて、推奨エンジン２２０は、ユーザーに興味があるかもしれない、ムービーのような、他のメディア・コンテンツを提案または推奨することができる。これに関して、提案されたメディア・コンテンツが、地方の映画館で特定の時刻に上映している特定のムービーであってもよい。

【0077】

[0093] 認めることができようが、推奨エンジン２２０は、コンテンツ・データー・ストア２３６のような、データー・ストアを参照して、提案または推奨されたコンテンツを特定、参照、または調査することもできる。したがって、推奨エンジン２２０は、タグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データー（例えば、クエリーの形態で受信される）を、コンテンツ・データー・ストア２３６と関連付けて利用して、ユーザー・デバイス２０４のユーザーのための推奨または提案コンテンツ（例えば、メディア・コンテンツおよび関連データー）を特定することができる。

【0078】

[0094] 検索エンジン２２２は、タグ付き物品に関するデーターまたは情報を提供する。これに関して、検索エンジン２２２は、物品ベース・データー、物品−コンテキスト・データー、ユーザー・データー等に基づいて、タグ付き物品に関連する任意の詳細を供給することができる。一実施形態では、検索エンジン２２２は、ユーザー・デバイス２０４から受信されるタグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データーを（例えば、クエリーの形態で）利用して、タグ付き物品に関連があるコンテンツを特定または決定する。あるいはまたは加えて、検索エンジン２２２は、ユーザー・デバイス２０４から（例えば、クエリーの形態で）受けたデーターを使用して、追加のデーター（例えば、タグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データー）を特定または認識する。例えば、検索エンジン２２２が、物品識別子およびユーザー識別子を受け、その後これらの識別子を使用して、他のタグ−物品データーおよびユーザー・データーをそれぞれ参照または調査することもできる。検索エンジン２２２によって参照されたデーターは、次に、タグ付き物品に関連するコンテンツを識別するために使用することができる。

【0079】

[0095] 一例のみとして、検索エンジン２２２が現タグ付き物品の識別を、ユーザーによって過去にタグ付けされた物品と共に利用して、この現タグ付き物品に関連するコンテンツを識別することもできる。現在タグが付けられている物品およびユーザーによって以前にタグ付けされた物品に基づいて、検索エンジン２２２は、その中に含まれ、現タグ付き物品に関連する検索結果または情報を特定することができる。これに関して、検索エンジン２２２によって特定された関連コンテンツ・データーが、タグ付き物品の銘柄、タグ付き物品についての情報を含むウェブサイトへのＵＲＬ、タグ付き物品を配置することができる位置またはストア、タグ付き物品の価格、タグ付き物品の説明、タグ付き物品の詳細、タグ付き物品の画像、タグ付き物品に関連するオーディオ等であってもよい。

【0080】

[0096] 認めることができようが、検索エンジン２２２が、検索データー・ストア２３
４のようなデーター・ストアを参照して、関連コンテンツを識別、参照、または調査することもできる。したがって、検索エンジン２２２は、タグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データー（クエリーの形態で受信）を、検索データー・ストア２３４と関連付けて利用して、ユーザー・デバイス２０４のユーザーのために関連コンテンツ（例えば、検索結果またはその一部）を特定することができる。認めることができようが、検索エンジン２２２は、インターネット検索エンジンの形態をなしてもよい。例えば、一般に知られている商用エンジンに、ワシントン州、RedmondのMicrosoft Corporationによって提供されるＢＩＮＧ検索エンジンがある。

【0081】

[0097] 広告エンジン２２４は、広告の形態とした関連コンテンツ・データーを提供する。これに関して、広告エンジン２２４は、製品またはサービスを販売促進する広告に関連する任意の情報を提供することができる。広告は、例えば、製品および／またはサービスを提供するエンティティの指示、クーポン、取引、製品および／またはサービスを販売促進する報償(incentive)等を含む。認めることができようが、広告は、広告エンティテ
ィのような、第三者によって提出することができる。したがって、広告エンジン２２４は、タグ付き物品と対応する広告に関連する任意の詳細を提供することができる。一実施形態では、検索エンジン２２２は、ユーザー・デバイス２０４から受信したタグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データーを（クエリーの形態で）利用して、タグ付き物品に関連する広告コンテンツを特定または決定する。あるいはまたは加えて、広告エンジン２２４は、ユーザー・デバイス２０４から（クエリーの形態で）受けたデーターを使用して、追加のデーター（例えば、タグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データー）を特定または認識する。例えば、広告エンジン２２４が物品識別子およびユーザー識別子を受けて、その後これらの識別子を使用して他のタグ−物品データーおよびユーザー・データーをそれぞれ参照または調査することもできる。次いで、広告エンジン２２４によって参照されたデーターは、タグ付き物品に関連するコンテンツを特定するために使用することができる。

【0082】

[0098] 一例のみとして、広告エンジン２２４は、現タグ付き物品の識別を、ユーザーによって過去にタグ付けされた物品と共に利用して、現タグ付き物品に関連する広告を特定することもできる。現在タグ付けされている物品およびユーザーによって以前にタグ付けされた物品に基づいて、広告エンジン２２４は現タグ付き物品に関連する広告（１つまたは複数）を特定することができる。これに関して、広告エンジン２２４によって特定された広告は、物品を購入することができる店舗の指示、物品の販売促進、物品のためのクーポン等であってもよい。

【0083】

[0099] 認めることができようが、広告エンジン２２４が、広告データー・ストア２３２のようなデーター・ストアを参照して、関連する広告を特定、参照、または調査することもできる。したがって、広告エンジン２２４は、タグ−物品データー、物品−コンテキスト・データー、および／またはユーザー・データー（例えば、クエリーの形態で受信）を、広告データー・ストア２３２と関連付けて利用して、ユーザー・デバイス２０４のユーザーのために関連するコンテンツ（例えば、検索結果またはその一部）を特定することができる。

【0084】

[00100] 認めることができようが、関連コンテンツを検索するためには、任意の数の
エンジンを利用することができる。例えば、ユーザー・デバイス２０４は、クエリーおよび／またはデーターを任意のエンジンまたはエンジンの組み合わせ（例えば、推奨エンジン２２０、検索エンジン２２２、広告エンジン２２４等）に送ることができる。場合によっては、ユーザー・デバイス２０４は、関連コンテンツを要求するエンジンまたは１組のエンジンを決定することができる。他の場合には、関連コンテンツ・システムが、関連コンテンツを要求するエンジンまたは１組のエンジンを決定することができる。このような
決定は、例えば、物品または物品のタイプあるいはそれに関連するメタデーターに基づいて行うことができる。

【0085】

[00101] 第三者タグ付け機能に移り、先に説明したように、第三者タグ付け機能がユ
ーザー・デバイス２０４に適用されてもよい。このような機能の有効化(enablement)は、ユーザー・デバイス２０４のユーザーによって示されるのでも、自動的に適用される（例えば、デフォルトの設定）のでもよい。第三者タグ付け機能を実現すると、ユーザーは、第三者（即ち、ユーザーとは異なる個人またはエンティティ）によってタグ付けされた物品を認識することが可能になる。一般に、第三者は、ユーザー・デバイスとは別のデバイスを使用して物品にタグ付けする。場合によっては、第三者が広告主であることもある。他の場合では、第三者がネットワーク関係者であることもある。ネットワーク関係者とは、ネットワークまたは連絡サービス(contact service)を介したユーザーの連絡先である
個人を指す。例えば、関係者が、電子メール、住所録、インスタント・メッセージング、ソーシャル・ネットワーク等のようなアプリケーションを介してユーザーと接続されるのでもよい。実施形態では、ユーザーが、当のユーザーに興味がある特定の第三者（１つまたは複数）を示すことができる。例えば、ユーザーが、彼または彼女が広告主から、ネットワーク関係者から、特定の広告主（１つまたは複数）から、特定のネットワーク関係者（１つまたは複数）から、任意の広告主またはネットワーク関係者（１つまたは複数）等からのタグ付き物品を見たいことを示すのでもよい。

【0086】

[00102] 実現例では、第三者が、計算デバイスを介して、メディア・コンテンツ内で
タグ付き物品を開始する(initiate)ことができる。これに関して、タグ付け可能コンテンツ２１２のようなタグ付け可能コンテンツが、第三者に関連する計算デバイスに供給される。例えば、コンテンツ・プロバイダー２０２がタグ付け可能コンテンツ２１２を広告主デバイス２０６および／またはネットワーク関係者デバイス２０８に供給し、対応する第三者がこのタグ付け可能コンテンツ内で物品にタグ付けすることができるようにする。一例として、広告主が、広告主デバイス２０６を介してタグ付け可能コンテンツ内の物品にタグ付けを開始し、ネットワーク関係者が、ネットワーク関係者デバイス２０８を介して、タグ付け可能コンテンツ内の物品にタグ付けを開始する。第三者は、例えば、ユーザー・デバイス２０４のユーザーによって供給されるタグ付けジェスチャーに関係付けて既にもっと詳しく説明したように、任意のやり方で物品にタグ付けすることができる。他の例では、タグ付け可能コンテンツを使用せずに、第三者がタグ付き物品を供給する、または特定の物品にタグ付けする優先度を示すこともできる。例えば、広告主が、特定のメディア・コンテンツにおいて任意の「帽子」にタグ付けする指示、任意のメディア・コンテンツにおいて任意の「帽子」にタグ付けする指示等を与えることもできる。

【0087】

[00103] 第三者がある物品に対するタグ付けを開始すると、この物品は、この物品に
対する特定の興味を示すためにタグ付けされる。一実施形態では、タグ付けされた物品に関連するタグ−物品データーが特定され、関連コンテンツ・システム２１０に供給される。他の実施形態では、タグ付き物品、またはその指示が関連コンテンツ・システム２１０に供給され、その後、その物品に関連するタグ−物品データーを特定するために使用される。同様に、第三者によってタグ付けされた物品に関連する物品−コンテキスト・データーおよび／または第三者データーを特定することができる（例えば、第三者デバイスまたは関連コンテンツ・システム２１０において）。第三者データーとは、第三者と対応する任意のデーターを指す。第三者データーは、例えば、第三者識別子、ＧＰＳデーターのような第三者デバイスの位置、第三者の１人以上の過去のアクションおよび／またはセッション（例えば、以前にタグ付けされた物品またはタグ付け物品があるメディア・コンテンツ）、第三者デバイスのパラメーターまたは属性（例えば、それが移動体デバイスか否か、移動体デバイスのタイプ、デバイスの能力（１つまたは複数）等）、デバイスに関連する本拠地の地理的位置、第三者の年齢層、第三者の好み、ソーシャル・ネットワークから
収集されたソーシャル・データー、電話記録、テキスト・メッセージ記録、第三者の交友関係および会員、第三者デバイスに格納された文書、ファイル、画像、写真、電子メール、あるいは任意の他のコンテンツまたはデーター、第三者によって行われたアクション（１つまたは複数）、物品タグ付けの時刻または位置、タグ付け物品の第三者格付け、第三者に提供された任意の関連コンテンツ等であってもよい。タグ−物品データー、物品−コンテキスト・データー、および／または第三者データーは、以上でもっと詳しく説明したように、ユーザー・デバイスに関係して特定することができる。

【0088】

[00104] タグ付き物品および／またはタグ−物品データー、第三者データー、ならび
に物品−コンテキスト・データーの指示は、関連コンテンツ・システム２１０に伝達され、それに関連付けて格納することができる。例えば、ネットワーク関係者に関連するタグ付き物品（１つまたは複数）の指示を含むタグ-物品データーが、ネットワーク・データ
ー・ストア２３０に格納されてもよく、広告主に関連するタグ付き物品（１つまたは複数）の指示を含むタグ-物品データーが、広告データー・ストア２３２に格納されてもよい
。このようなデーターは、特定の物品にタグ付けされた第三者の指示と関連付けて格納することができる。場合によっては、第三者デバイスによって収集された物品に関連する全てのデーターが保存されてもよい。他の場合では、第三者デバイスによって収集された物品に関連するデーターの一部が保存されるのでもよい。例えば、関連コンテンツ・システム２１０は、単にタグ付き物品の指示を保存するだけでもよい。他の場合では、関連コンテンツ・システム２１０が、タグ付き物品の指示、第三者データー等を保存するのでもよい。

【0089】

[00105] 再度ユーザー・デバイス２０４を参照すると、見ようとするメディア・コン
テンツまたは見られているメディア・コンテンツの指示を関連コンテンツ・システム２１０に伝達することができる。例えば、ユーザーが第三者タグ付け機能の有効化を示し、および／または見ようとするメディア・コンテンツを選択したとき、このメディア・コンテンツの指示を送信することができる。このような場合、関連コンテンツ・システム２１０は、ユーザーに興味がある任意の対応する第三者が、ユーザー・デバイス２０４においてユーザーによって見られるメディア・コンテンツ内にあるいずれかのタグ付き物品に関連付けられているか否か識別することができる。例えば、ユーザー・デバイスのユーザーが、ネットワーク関係者によってタグ付けされた物品を見ることを望むと仮定する。このような場合、ソーシャル・ネットワーク・エンジン２２６は、任意のネットワーク関係者（または特定のネットワーク関係者（１人または複数））が、ユーザーによって見られているメディア・コンテンツ内の任意のタグ付き物品と関連付けられているか否か識別することができる。これに関して、ソーシャル・ネットワーク・エンジン２２６は、ネットワーク・データー・ストア２３０にアクセスして、ネットワーク関係者によってタグ付けされた任意の物品を特定することもできる。同様に、ユーザー・デバイスのユーザーが、広告主によってタグ付けされた物品を見ることを望むと仮定する。このような場合、広告エンジン２２４は、任意の広告主が、ユーザーによって見られているメディア・コンテンツ内で任意の物品にタグ付けしたか否か識別することができる。これに関して、広告エンジン２２４は、広告データー・ストア２３２にアクセスして、広告主によってタグ付けされた任意の物品を特定することもできる。

【0090】

[00106] 少なくとも１つの物品が対象の第三者によってタグ付けされたことが識別さ
れたとき、関連コンテンツ・システム２１０は、しかるべき情報をユーザー・デバイス２０４に提供することができる。これに関して、関連コンテンツ・システム２１０は関連コンテンツをユーザー・デバイス２０４に供給することができる。このような関連コンテンツ・データーは、第三者によってタグ付けされた物品と対応する任意のデーターであることができる。例えば、関連コンテンツ・データーが、タグ付き物品の指示、タグ付き物品の時刻、タグ付き物品に関係して第三者によって行われたアクション、推奨、検索結果、
広告、物品にタグ付けした第三者の指示等であってもよい。一実施形態では、ユーザー・デバイス２０４に供給されたタグ付き物品に関するコンテンツが、第三者に提示されたのと同じコンテンツであってもよい。例えば、ネットワーク関係者がネットワーク関係者デバイス２０８によって第１メディア・コンテンツにおける物品にタグ付けし、応答して、このタグ付き物品に関する広告を見ると仮定する。このような場合、関連コンテンツ（例えば、広告またはその広告の指示）を保存し、ユーザー・デバイス２０４のユーザーが、第三者（１つまたは複数）によってタグ付けされた物品を見る要望を示すときに、同じ広告がユーザー・デバイス２０４に供給され、第三者によってタグ付けされた物品と関連付けてユーザーによって見られるようにすることができる。

【0091】

[00107] 他の実施形態では、ユーザー・デバイス２０４に供給されたタグ付き物品に
関するコンテンツが、第三者に提示されたコンテンツとは無関係であってもよい。一例として、ネットワーク関係者が、第１メディア・コンテンツにおいてある物品にネットワーク関係者デバイス２０８によってタグ付けし、応答して、このタグ付けされた物品に関する広告を見ると仮定する。更に、ユーザー・デバイス２０４のユーザーが、第三者（１つまたは複数）によってタグ付けされた物品を見ることを望むと仮定する。このような場合、第三者によってタグ付けされた物品と関連付けられ、ユーザー・デバイス２０４によってユーザーに提示された広告または他のデーターは、第三者に提示される広告とは異なる場合がある。ユーザー・デバイス２０４のユーザーに提示された広告の方が、ユーザー・デバイス２０４のユーザーに一層関連が深い(pertinent or relevant)こともあり得る。
これに関して、関連コンテンツ・システム２１０は、ユーザー・デバイス２０４のユーザーに関連するユーザー・データーを利用して、ユーザーに一層特定である関連コンテンツを特定することができ（例えば、推奨エンジン、検索エンジン、広告エンジン等によって）、一方第三者に提示される広告は、第三者のユーザー・データー（例えば、第三者デバイスの位置、第三者デバイスのタイプ等）に基づくのでもよい。

【0092】

[00108] したがって、このような実施形態では、第三者タグ、ユーザー・データー、
または他のデーターを見る意図または要求も、ユーザー・デバイス２０４から関連コンテンツ・システム２１０に伝達するのでもよい。あるいは、関連コンテンツ・システム２１０がこのようなデーター（例えば、ユーザー・データー・ストア２２８からのユーザー・データー）を参照するのでもよい。

【0093】

[00109] ユーザー・デバイス２０４に供給される第三者タグ付けデーターは任意のデ
ーターとすることができる。例えば、第三者によってタグ付けされた物品の指示（例えば、物品識別子）をユーザー・デバイス２０４に供給することができる。この場合、ユーザー・デバイス２０４によって再生されるメディア・コンテンツにおいて「帽子」物品が視覚的に特定されて、ユーザーがこの「帽子」を選択し、恐らくある「ネットワーク関係者」がこの物品にタグ付けしたことの通知を見ることができるようにするとよい。他の例では、視覚的に特定された「帽子」を選択したときに、関連コンテンツがユーザーに提示されてもよく、このような関連コンテンツが、第三者に提示されるものと同じであっても、またはユーザー・デバイス２０４のユーザーに一層関連が深くてもよい（例えば、デバイスの位置、デバイスのタグ付け履歴等というような、ユーザーのユーザー・データーを利用する）。他の例では、友人の数、または物品にタグ付けした特定の友人（１人または複数）を表示してもよい。更に他の例では、第三者によって物品に関係して行われたアクションを提示することができる（例えば、「アダムがこの物品を購入した」または「アダムがこの帽子をフェースブック（登録商標）に２０１１年９月２２日午後１２時１５分にポストした」）。これらの例は、本発明の範囲を限定することを意図するのではなく、本発明者は、任意の数のデーターをユーザーに提示できることも分かっている。

【0094】

[00110] したがって、ユーザー・デバイス２０４がこのような関連コンテンツ・デー
ターを受信したとき、ユーザー・デバイス２０４は、見られるメディア・コンテンツと関係して、しかるべき情報を表示することができる。このような情報は、メディア・コンテンツの上に重ねること、またはメディア・コンテンツと統合することができる。この情報は、表示画面上の任意の位置に提示することができる。例えば、この情報がデフォルト位置、決定された位置、第三者によってタグ付けされた物品の近く(near)またはこれに隣接して等で提示されてもよい。

【0095】

[00111] 認めることができようが、第三者によってタグ付けされた物品は、ユーザー
・デバイス２０４のユーザーによってリアル・タイムで知覚されることが可能である。このように、関連コンテンツ・システム２１０が、ユーザー・デバイス２０４が特定のメディア・コンテンツを見ていることを認識し、第三者と関連付けてタグ付けされた同じメディア・コンテンツの物品の指示を受けたとき、この第三者が開始したタグの指示を直ちにユーザー・デバイス２０４に供給することができる。

【0096】

[00112] 代替実現例では、第三者によるタグの指示を受信したとき、関連コンテンツ
・システム２１０は、タグ付き物品がユーザー・デバイス２０４に適用可能か否か評価することなく、しかるべきデーターをユーザー・デバイス２０４に供給することができる。このような実現例では、ユーザー・デバイス２０４が関連コンテンツ・データー（例えば、タグ付き物品の指示）を受信し、このデーターを格納し、および／またはこのようなデーターが現在再生しているメディア・コンテンツに現在(presently)適用可能か否か確認
することができる。
使用シナリオ例
[00113] 図３から図９は、関連コンテンツを見るために物品のジェスチャー・ベース
・タグ付けを使用する、可能なシナリオ例を示す。この使用シナリオは、便宜上図２の環境例２００を参照しながら説明する。しなしながら、使用シナリオは図２の環境例２００との使用に限定されるのではない。

【0097】

[00114] 図３は、ユーザー３０２がタグ付け可能コンテンツ３０４を、表示画面３０
８に関連するクライアント・デバイス３０６を介して見ている例を示す。提示されるコンテンツは、テキスト、画像、オーディオ・コンテンツの表現、および／またはビデオを含むのでもよい。実施形態では、メディア・コンテンツが、ウェブ・ブラウザー、電子メール・アプリケーション、ニュース・アプリケーション等のようなウェブ可能アプリケーションによって表示されてもよい。他の実施形態では、このアプリケーションが、ウェブ可能でないアプリケーションでもよい。本明細書において説明するジェスチャー・ベース・タグ付け技法は、コンテンツをユーザーに表示するまたはそれ以外で提示する任意のアプリケーションに適用可能である。

【0098】

[00115] 以前であれば、ユーザー３０２が表示されたコンテンツについて更に学習す
ることに興味があった場合、ユーザーは彼らがその時見ていたコンテンツを終了しまたは最短で済ませて、検索を行うためにウェブ・ブラウザーを開くか、または検索を行うために他の計算デバイスを利用したに違いないであろう。本明細書において説明するジェスチャー・ベース・タグ付け技法は、ユーザーまたは第三者がタグ付けされた物品に関する情報を見ることができるように、ユーザーが物品のタグ付けを開始する(initiate)ことを可能にする。

【0099】

[00116] 図４に示すように、ユーザー４０２がメディア・コンテンツ４０４内におけ
る特定の物品４１０に興味がある。図５は、ジェスチャー・ベース・タグ付け技法のプロセス例を示し、タグ付けジェスチャーの一例５１２が、ディスプレイ５００上に提示される特定の物品５１０を有するコンテンツ５１４の領域を定めることを示す。図示する例では、ユーザー５０２のタグ付けジェスチャー５１２は、楕円状運動またはほぼ楕円状運動
、円運動またはほぼ円運動、あるいは自由形態で沿う運動というような、物品の境界をなぞる形状またはほぼなぞる形状を含む。

【0100】

[00117] 図示する例では、ユーザー・デバイスのジェスチャー追跡モジュールが、ユ
ーザー５０２によるタグ付けジェスチャー５１２の入力に応答して、ディスプレイ５００上におけるタグ付けジェスチャーのコンテンツ５１４の領域の線表現をレンダリングすることができる。タグ付けジェスチャーの表現は、ユーザー５０２によって入力されたタグ付けジェスチャー５１２の動きを近似し、ユーザーが丁度入力したばかりのジェスチャーのサイズおよび形状の視覚フィードバックをユーザーに供給する。先に説明したように、強調および／または拡大レンズというような、他のタイプの視覚表現も、タグ付けする物品を特定するために使用することができる。

【0101】

[00118] 物品５１０を有するコンテンツ５１４の領域は、検索の範囲を定め、検索ク
エリーを定式化するために使用することができる。形状は領域周囲の完全な境界を形成するのではないが、この形状は実質的に領域をなぞる（例えば、形状の開始点と終点との間にギャップがあり、形状は少なくとも部分的に領域をなぞらない）。一例では、境界におけるギャップがジェスチャーの全長のある端数未満である場合、形状は領域を実質的になぞると言える。他の実施形態では、タグ付けジェスチャーが任意の形状の動きを含むこともできる。タグ付けジェスチャーがある領域をなぞらないまたは実質的になぞらない場合、このジェスチャーは、タグ付けジェスチャーによってタッチされた領域、タグ付けジェスチャーに近接する領域、タグ付けジェスチャーと重複する領域、またはタグ付けジェスチャーと関連付けられた領域として、コンテンツの領域を定めることができる。

【0102】

[00119] 選択されたコンテンツ５１４の領域内に表示される物品５１０は、関連タグ
−物品データー（コンテンツに関連するメタデーターを使用する）と共に特定され、クエリーを定式化するために使用することができる。検索クエリーの定式化および／またはタグ−物品データーの特定の完了に応答して、ユーザー・デバイスは自動的に検索クエリーおよび／またはタグ−物品データーを検索エンジンまたは検索サービスに提出することができる。加えてまたは代わりに、ユーザー・デバイスはこの検索クエリーをユーザーにディスプレイ上で提示して、ユーザーにこの検索クエリーを確認および／または変更するように求めることもできる。他の実施形態では、ユーザー・デバイスが複数の可能な検索クエリーをユーザーに提示し、ユーザーにこれらの複数の検索クエリーから、検索を行うために使用する１つを選択させることもできる。更に、実施形態では、ユーザー・デバイスが、ユーザーに、ディスプレイ上に表示された検索クエリーまたは可能な検索クエリーを変更させてもよい。ユーザー・デバイスは、選択された検索クエリーまたは変更された検索クエリーを検索エンジンまたは検索サービスに提出することができる。

【0103】

[00120] 一実施形態では、関連コンテンツ・システム（例えば、図２の検索エンジン
２２２、図２の推奨エンジン２２０、図２の広告エンジン２２４）が、選択された物品５１０に関するコンテンツをユーザー・デバイスに戻すこともでき、ユーザー・デバイスは、次に、この関連コンテンツをユーザーに提示することができる。関連コンテンツ・データーを関連コンテンツ・システム２１０から受信すると、ユーザー・デバイス２０４はこの関連コンテンツをディスプレイ上に提示することができる。したがって、図６に示すように、ユーザー・デバイス６０６は、タグ付け可能コンテンツ６０４に関するコンテンツである関連コンテンツ・データー６１６を表示することができる。図６において、関連コンテンツ・データー６１６は広告を含むが、任意のタイプのデーターでもよい。例えば、関連コンテンツが、提案された製品、サービス、物品、その物品に関連する情報等であってもよい。

【0104】

[00121] 実施形態では、図５のタグ付けジェスチャー５１２が受け取られた後直ちに
、関連コンテンツが表示されてもよい。一実施形態では、ユーザー・デバイス６０６が、表示されたコンテンツ６０４の一部の上に、関連コンテンツ・データー６１６を重ね合わせることもできる。これによって、ユーザーがそれまで関わっていたアプリケーションまたはタスクを終了するまたは最短で済ませることなく、ユーザーは関連コンテンツを見ることが可能になる。一例としてそして限定ではなく、関連コンテンツ・データーを含むスライド・アウト・ウィンドウ(slide out window)が、表示されたコンテンツの一部の上に重ね合わされてもよい。実施形態では、ユーザー・デバイスが、表示されたコンテンツの内、タグ付けジェスチャーによって定められたコンテンツの領域を含まない一部の上に、関連コンテンツを重ね合わせることもできる。一実施形態では、ユーザーに提示される関連コンテンツが、関連コンテンツ・システムから受信した検索結果の簡略化バージョンであってもよい。例えば、提示される関連コンテンツ・データーが、タイトルのみ、またはタイトルと制限された数のキャラクタを含むのでもよい。

【0105】

[00122] 関連コンテンツを見たとき、ユーザーが検索の範囲を広げる、狭める、リフ
ァインする、照準を変える(refocus)、またはそれ以外で変更することを望むことがあり
得る。例えば、元のタグ付けジェスチャーが、ユーザーが関連情報を望んだ物品を包含しなかったと、ユーザーが判断するかもしれない。その場合、ユーザーは、意図する物品を含むように検索を広げることを望むであろう。

【0106】

[00123] 一例のみとして、元のタグ付けジェスチャーに加えて、１つ以上の新たなタ
グ付けジェスチャーを検出したことに応答して、検索範囲を変更することができる。例えば、ユーザーは、意図する物品を取り込むためにコンテンツの第２領域を定める第２のタグ付けジェスチャーを行うことができる。ジェスチャー検出モジュールは、第２ジェスチャーを検出し、ジェスチャー追跡モジュールに、第２コンテンツ領域の第２表現を表示のために出力するように命令する。すると、ユーザー・デバイスは、少なくとも第１コンテンツ領域および／または第２コンテンツ領域に基づいて、検索クエリーおよび／またはタグ−物品データーを定式化し直すことができる。実施形態では、新たな検索クエリーを定式化するときに、第１コンテンツ領域に含まれる情報および第２コンテンツ領域に含まれる情報に、同じ重みまたは異なる重みを与えることもできる。他の実施形態では、ユーザー・デバイスは、第２コンテンツ領域に含まれる情報を使用して、元の検索結果の中から結果の部分集合を検索することによって、検索をリファインすることもできる。

【0107】

[00124] 図６に示すように、関連コンテンツ・データー６１６は、１組の１つ以上の
物品アクション６１８と共に表示することができる。物品アクション６１８は、選択された物品と関連付けて開始または実行することができる、利用可能なアクションをユーザーに提供する。一例のみとして、選択された物品６１０に関連する物品アクション６１８は、物品保存アクション６２０を含み、このアクションが選択されると、後の使用のために（例えば、後の物品購入、後の物品視聴等）この物品の指示を保存することができる。物品送出アクション６２２は、選択されると、物品の指示またはそれに関連する関連コンテンツを送ることができる。例えば、物品送出アクション６２２を選択すると、その物品の「好意」(like)をフェースブック（登録商標）にポストすることができ、または電子メールでその物品をユーザーまたは他の関係者に送ることができる等である。このような実施形態では、図２の関連コンテンツ・システム２１０またはユーザー・デバイス２０４が、検索クエリーまたはタグ−物品データーを解釈し、ユーザーが完了したいかもしれないタスク（例えば、予約する、物品を購入する等）を特定することもできる。関連コンテンツ・システムまたはユーザー・デバイスは、更に、その物品を有するコンテンツの領域に関するコンテキスト情報に基づいて、および／またはユーザー・データーに基づいて、検索クエリーを解釈し、ユーザーが完了したいかもしれないタスクを特定することもできる。例えば、関連コンテンツ・システム２１０が、検索クエリーにおいてレストランの店名を特定することおよび／またはコンテキスト情報を特定することに基づいて、ユーザーがレ
ストランの位置を探していると特定することもできる。他の例では、ユーザー・デバイスが、ユーザーによって開始された過去のアクションまたはタグに基づいて、推奨および／または広告を受けるおよび／または与えることもできる。

【0108】

[00125] 図７は、参照番号７２４によって示される、物品保存アクションのユーザー
選択を示す。このような選択は、任意の数の方法で行うことができる。例えば、ユーザーは、タグ付けジェスチャーを参照して先に説明した方法の内任意のものを使用して、アクション物品を選択することができる。物品を保存するとき、またはそれに関連する情報を保存するとき、ユーザーは後の時点でその物品を見ることができ、またはその物品に関連付けてアクションを実行することができる。

【0109】

[00126] 例えば、図８に示すように、クーポンまたは取引(deal)のような広告８２６
を見ること、および／または後の時点（例えば、その物品を有するメディア・コンテンツをユーザーが見るとき）で利用することができる。認めることができようが、実施形態では、ユーザーは、任意のユーザー・デバイス（例えば、移動体デバイス）を使用して、保存した物品またはそれに関連する情報にアクセスする、それを見る、または使用することができる。

【0110】

[00127] この例を続けると、図５のユーザー５０２によるタグ付けジェスチャー５１
２を検出し、そしてその後、タグ付けジェスチャー５１２に関連する物品５１０にタグ付けすると、他の個人またはエンティティが、この物品に関するコンテンツを見ることができる。図９を参照して、他のユーザー９２８（即ち、タグ付けジェスチャー５１２を行ったユーザー５０２とは異なる）が、ユーザー５０２によって見られているメディア・コンテンツまたはユーザー５０２によって以前に見られたメディア・コンテンツと対応するメディア・コンテンツ９０４を見ていると仮定する。更に、図５のユーザー５０２によってタグ付けされた物品５１０が、物品９１０としてユーザー９２８にメディア・コンテンツ９０４内において提示されると仮定する。メディア・コンテンツ５０４内の物品５１０が、ユーザー９２８とのネットワーク関係者である、図５におけるユーザー５０２によってタグ付けされたことを認識すると、ユーザー・デバイス９０６は、ユーザー９２８が見るために、物品９１０に関するコンテンツ９３０を提示することができる。図９はこのような関連コンテンツ９３２を、物品のタグ付けを開始したユーザー（１人または複数）の指示として示すが、このような関連コンテンツ９３０は、任意のタイプの情報とすることができる。例えば、図５のユーザー５０２によって選択された物品５１０に基づいてユーザー９２８に提示される関連コンテンツ９３０が、物品がタグ付けジェスチャーにしたがってタグ付けされたこと（例えば、物品の強調）の視覚的指示、ユーザー５０２に提示されたコンテンツと同じである物品に関するコンテンツ（例えば、同じ広告、推奨、検索結果、または他の関連情報）、ユーザー５０２に提示されたコンテンツとは異なる物品に関するコンテンツ（例えば、異なる広告、推奨、検索結果、または他の関連情報）等であってもよい。
方法例
[00128] ジェスチャー・ベース検索を実行する方法例について、図１０から図１６を
参照しながら説明する。これらの方法例は、コンピューター実行可能命令という一般的なコンテキストで説明することができる。一般に、コンピューター実行可能命令は、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造、手順、モジュール、関数等を含み、これらは特定の機能を実行するかまたは特定の抽象データー型を実装する。また、これらの方法は分散型計算環境において実施することもでき、この場合、機能は、通信ネットワークまたは通信クラウドを介してリンクされるリモート処理デバイスによって実行される。分散型計算環境では、コンピューター実行可能命令は、メモリー記憶デバイスを含む、ローカルおよびリモート双方のコンピューター記憶媒体に配置することもできる。

【0111】

[00129] これらの方法例は、動作のシーケンスを表す論理フロー・グラフにおけるブ
ロックの集合体として示され、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせで実現することができる。これらの方法を説明する順序は限定として解釈されることを意図しておらず、説明する方法ブロックの内任意の数を任意の順序で組み合わせてこれらの方法、または代わりの方法を実現することができる。加えて、個々の動作は、本明細書において説明した主題の主旨や範囲から逸脱することなく、これらの方法から省略してもよい。ソフトウェアのコンテキストでは、ブロックは、１つ以上のプロセッサーによって実行されると、列挙される動作(recited operation)を実行するコンピュータ
ー命令を表す。

【0112】

[00130] 図１０は、タグ付け可能コンテンツを生成する方法例１０００を示す。方法
１０００については、例示を容易にするために、図２のコンテンツ・プロバイダー例２０２のコンテキストで説明するが、このようなコンテキストで実行されることに限定されるのではない。

【0113】

[00131] ブロック１００２において、物品を有するメディア・コンテンツを参照する
。参照する特定のメディア・コンテンツは、例えば、特定のメディア・コンテンツを見るためのユーザーの選択、特定のメディア・コンテンツの自動選択等に基づけばよい。メディア・コンテンツは、ビデオのような物品を有する任意のメディア・コンテンツであってよい。ブロック１００４において、少なくとも１つの物品をタグ付け可能物品として指定する。ブロック１００６において、タグ付け可能物品（１つまたは複数）を有するタグ付け可能コンテンツを生成する。タグ付け可能コンテンツは、任意のやり方で生成することができる。例えば、一実施形態では、メディア・コンテンツに関連するメタデーターを、タグ付け可能物品の指示を含むように構成することができる。ブロック１００８において、タグ付け可能コンテンツを、ユーザーが見るために供給する。実施形態では、タグ付け可能コンテンツは、ユーザー・デバイスのユーザーがタグ付け可能コンテンツを見ることができるように、ネットワークを介してユーザー・デバイスに供給される。このようなタグ付け可能コンテンツは、任意の時点で供給することができる。例えば、タグ付け可能コンテンツをコンテンツ・プロバイダーと関連付けて格納し、ユーザー・デバイスからのタグ付け可能コンテンツを送信する要求に基づいて、ユーザー・デバイスに供給するのでもよい。タグ付け可能コンテンツは、ユーザー・デバイスにおいて、ウェブ・ブラウザーまたはメディア・プレーヤーというような、アプリケーション内で表示することができる。

【0114】

[00132] 図１１は、物品にタグ付けする方法例１１００を示す。方法１１００につい
ては、例示を容易にするために、図２のユーザー・デバイス例２０４のコンテキストで説明するが、このようなコンテキストで実行されることに限定されるのではない。

【0115】

[00133] ブロック１１０２において、タグ付け可能メディア・コンテンツを提示する
。これに関して、ユーザーはタグ付け可能コンテンツを見ることができる。場合によっては、タグ付け可能コンテンツが目視でまたは聞こえるようにタグ付けが可能な物品を示すこともできる。例えば、タグ付け可能コンテンツ内のタグ付け可能物品を強調して、このような物品に関するコンテンツを提示できることを示すことができる。ブロック１１０４において、タグ付けする物品を示すタグ付けジェスチャーを検出する。実施形態では、タグ付けジェスチャーは、ユーザーに興味がある物品を有するコンテンツの領域を定めることができる。タグ付けジェスチャーは、タッチ・スクリーンまたはタッチ・パッド上のタッチ入力、画像キャプチャー・デバイスによって検出される体の動き、および／またはユーザー入力デバイスによって制御されるカーソルの動きを含むことができる。タグ付けジェスチャーによって定められたコンテンツの物品または領域は、タグ付けジェスチャーによってあるいはタグ付けジェスチャーによってタッチされた領域、タグ付けジェスチャー
に近接する領域、またはタグ付けジェスチャーと重複する領域をなぞるまたは実質的になぞる領域を含むことができる。一例では、タグ付けジェスチャーが、対象の物品をなぞるまたは実質的になぞる動きまたは実質的に円形の動きを含むこともできる。

【0116】

[00134] タグ付けジェスチャーを検出したことに応答して、ブロック１１０６におい
て、このタグ付けジェスチャーによって定められるコンテンツの領域の表現を、表示されたコンテンツの上に表示することができる。コンテンツの領域の表現は、コンテンツの領域を取り囲む線、コンテンツの領域の強調ビュー、および／またはコンテンツの領域の拡大レンズ・ビューを含むことができる。

【0117】

[00135] ブロック１１０８において、タグ付けジェスチャーに関連する少なくとも１
つの物品を特定する。これに関して、対象の物品は、タグ付け可能メディア・コンテンツに関連するメタデーターを使用して特定することができる。このようなメタデーターは、メディア・コンテンツ内における特定の位置にあるタグ付け可能物品を示す（例えば、フレーム、時刻、位置等）。これに関して、タグ付けジェスチャーの位置が、メタデーターにおいて示される物品の位置と一致すればよい。他の実施形態では、画像認識モジュール（例えば、ユーザー・デバイスにまたはユーザー・デバイスから離れて配置される）を使用して、特定することもできる。

【0118】

[00136] ブロック１１１０において、特定した物品（１つまたは複数）にタグ付けす
る。これに関して、選択された物品に対するユーザーの興味の指示を示すかまたは指定する。例えば、一実施形態では、メディア・コンテンツに関連するメタデーターが、特定の物品に興味があることを示すことができる。他の実施形態では、物品をメタデーターとは別のタグとして示すことができる。タグ付き物品（１つまたは複数）は、このタグ付き物品に関するコンテンツを見るために使用することができる。これに関して、タグ付き物品を開始した(initiate)ユーザーまたは第三者が、このタグ付き物品に関するコンテンツを見ることができる。方法１１００は、メディア・コンテンツ内における物品のタグ付けというコンテキストで説明したが、先に説明したように、タグ付き物品は、アルバム・タイトル・サムネイル(thumbail)、ムービー・ポスター・サムネイル等というような、ディスプレイ上に表示される物品の内ユーザーに興味がある任意のものであってよい。

【0119】

[00137] 図１２は、物品に関するコンテンツを見るためにジェスチャー・ベース・タ
グ付けを利用する方法例１２００を示す。方法１２００については、例示を容易にするために、図２のユーザー・デバイス例２０４のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。

【0120】

[00138] ブロック１２１０において、メディア・コンテンツを見る指示を受ける。ブ
ロック１２１２において、ユーザー・タグ付け機能をイネーブルする指示を認識する。ユーザー・タグ付け機能は、ユーザーが、このユーザーに興味がある物品に関するコンテンツを見ることを可能にする。実施形態では、ユーザーがメディア・コンテンツを見る指示、および／またはユーザー・タグ付け機能をイネーブルする指示を与えることができる。

【0121】

[00139] ブロック１２１４において、タグ付け可能コンテンツを受信する。ブロック
１２１６において、タグ付け可能コンテンツを、例えば、ユーザーにユーザー・デバイスを介して提示する。場合によっては、タグ付け可能コンテンツが目視でまたは聞き取れるように、メディア・コンテンツ内においてタグ付け可能な１つまたは複数の物品を区別することもできる。その後、ブロック１２１８において、タグ付けジェスチャーを検出する。タグ付けジェスチャーは、タグ付け可能コンテンツ内において、ユーザーに興味がある物品を示す。これに関して、タグ付けジェスチャーが、ユーザーがより多くの情報を見ることまたはアクションを実行すること（例えば、物品を購入する）を望む物品を示すこと
もできる。

【0122】

[00140] ブロック１２２０において、ユーザーに興味がある物品を特定する。このよ
うな物品は、提示されたタグ付け可能コンテンツに関連するメタデーターを利用すること、画像検出を使用して画像を認識すること等を含むがこれらに限定されない任意のやり方で特定することができる。ブロック１２２２において、ユーザーによって選択または指定された物品にタグ付けする。したがって、選択された物品は、ユーザーに興味があるものとして指定される。

【0123】

[00141] ブロック１２２４において、タグ付き物品に関連するタグ−物品データーを
参照する。このようなタグ−物品データーは、例えば、提示されたタグ付け可能コンテンツ等に関連するメタデーターから参照することができる。ブロック１２２６において、タグ付き物品に関連するコンテキスト・データーを参照する。コンテキスト・データーは、タグ付き物品のコンテキストを示す任意のデーターであってよい。ブロック１２２８において、ユーザーに関連するユーザー・データーを参照する。このようなユーザー・データーは、例えば、ユーザーの指示、ユーザー・デバイスの指示、ユーザー・デバイスの場所の指示等を含むことができる。

【0124】

[00142] ブロック１２３０において、タグ−物品データー、コンテキスト・データー
、およびユーザー・データーを利用して、タグ付き物品に関するコンテンツを得るための検索クエリーを定式化する。実施形態では、この検索クエリーが、被参照データー(referenced data)（例えば、タグ−物品データー、コンテキスト・データー、およびユーザー
・データー）、またはその一部である場合もある。検索クエリーは、タグ付けジェスチャーによって定められるコンテンツの領域に基づいて定式化されるのでもよい。検索クエリーは、その領域内のコンテンツに基づくのでもよく、更に、恐らくは、検索に関連するコンテキスト情報および／またはユーザー・データーに基づくのでもよい。コンテキスト情報は、コンテンツの領域に近接するコンテンツ、表示されたコンテンツに関連するメタデーター等を含むことができる。

【0125】

[00143] ブロック１２３２において、関連コンテンツを得るために、検索クエリーを
１つ以上の検索エンジンに伝達する。一実施形態では、検索クエリーを図２の関連コンテンツ・システム２１０に伝達する。関連コンテンツ・システム２１０は、１つ以上の検索エンジンを利用して、物品に関するコンテンツを特定することができる。他の実施形態では、例えば、所望の情報のユーザーの好み、特定のエンジン（１つまたは複数）の決定、デフォルトのエンジン（１つまたは複数）等に関連する検索エンジン（１つまたは複数）に基づいて、１つ以上の特定のエンジンに検索クエリーを伝達する。検索クエリーを使用する検索は、タグ付けジェスチャーの完了に応答して、自動的に実行させることもできる。検索クエリーは、ユーザーのユーザー・デバイスとは別のリモート検索エンジンに送られても良い。加えてまたは代わりに、検索がユーザー・デバイスにおいてローカルに行われてもよい。

【0126】

[00144] ブロック１２３４において、タグ付き物品に関するコンテンツを受信する。
このような関連コンテンツは、例えば、推奨エンジン、検索エンジン、広告エンジン等から供給することができる。

【0127】

[00145] その後、ブロック１２３６において、関連コンテンツを、タグ付き物品と関
連付けて提示する。したがって、関連コンテンツは、タグ付け可能コンテンツと関連付けて、クライアント・デバイスのディスプレイ上に表示することができる。場合によっては、関連コンテンツの配置(placement)を決定することもできる。例えば、ユーザーの好み
またはデフォルトの位置（例えば、表示画面の中央または上辺）を使用して、検索結果の
配置を決定することができる。他の例では、検索結果の配置に好ましい位置が、関連コンテンツが関連付けられる物品の近くであってもよい。

【0128】

[00146] 関連コンテンツは、ある時間期間の経過および／またはイベントの発生まで
表示することができる。一例としてそして限定ではなく、関連コンテンツは、この関連コンテンツが使用されないまま所定の時間期間が経過するまで（例えば、ユーザーが見る、選択する等）、ユーザーが関連コンテンツに関連するアクションを開始するまで（例えば、物品を購入する、物品を保存するというような物品アクションを選択する）等、アクティブなままであってもよい、即ち、表示画面上に表示されてもよい。更に他の例として、隠すまたは折り畳む指示を受けることができ、ユーザーの視聴を中断することなく、効果的に元のコンテンツが表示される結果となる。

【0129】

[00147] 実施形態では、１つ以上の物品アクションと関連付けて、関連コンテンツが
表示される。このような物品アクションは、ユーザー・デバイスまたは関連コンテンツ・システムにおいて特定されてもよい。この物品アクションは、ユーザーがタグ付き物品または関連コンテンツに関連するアクションを開始することを可能にする。

【0130】

[00148] 図１３は、物品に関するコンテンツを特定するためにジェスチャー・ベース
・タグ付けを利用する方法例１３００を示す。方法１３００は、図２の推奨エンジン２２０、検索エンジン２２２、または広告エンジン２２４というような、検索エンジンまたは検索サービス例のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。

【0131】

[00149] 最初にブロック１３１０において、ユーザーに興味がある物品を示す検索ク
エリーをユーザー・デバイスから受ける。このような検索クエリーは、タグ−物品データー、コンテキスト・データー、および／またはユーザー・データーを含む、またはこれらから定式化することができる。ブロック１３１２において、ユーザーに関連するユーザー・データーを参照する。例えば、ユーザー・データーを含むデーター・ストアを使用して、ユーザーに関連するユーザー・データーを特定することができる。ブロック１３１４において、検索クエリーおよびユーザー・データーの少なくとも一部を利用して、興味がある物品に関するコンテンツを特定する。これに関して、データーを含むデーター・ストアを利用して、興味のある物品に関するコンテンツを特定することができる。ブロック１３１６において、この物品または関連コンテンツに関連して実行することができる１つ以上のアクションを特定する。ブロック１３１８において、関連コンテンツおよび１つ以上のアクションをユーザー・デバイスに伝達する。

【0132】

[00150] 図１４は、他者が物品に関するコンテンツを見ることができるように、第三
者がその物品のタグ付けを開始する方法例１４００を示す。方法１４００は、例示を容易にするために、図２のネットワーク関係者デバイス例２０８のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。

【0133】

[00151] ブロック１４１０において、タグ付け可能メディア・コンテンツを提示する
。これに関して、第三者がタグ付け可能コンテンツを見ることができる。場合によっては、タグ付け可能コンテンツが、タグ付けできる物品を目視でまたは聞き取れるように示すこともできる。例えば、タグ付け可能コンテンツ内においてタグ付け可能物品を強調して、このような物品に関するコンテンツを提示できることを示すことができる。ブロック１４１２において、タグ付けする物品を示すタグ付けジェスチャーを検出する。実施形態では、タグ付けジェスチャーは、ユーザーに興味がある物品を有するコンテンツの領域を定めることができる。タグ付けジェスチャーは、タッチ・スクリーンまたはタッチ・パッド上のタッチ入力、画像キャプチャー・デバイスによって検出される体の動き、および／ま
たはユーザー入力デバイスによって制御されるカーソルの動きを含むことができる。タグ付けジェスチャーによって定められるコンテンツの物品または領域は、タグ付けジェスチャーによってなぞられるまたは実質的になぞられる領域、タグ付けジェスチャーによってタッチされた領域、タグ付けジェスチャーに近接する領域、またはタグ付けジェスチャーと重複する領域を含むことができる。一例では、タグ付けジェスチャーが、興味のある物品をなぞるまたは実質的になぞる動きあるいは実質的に円形の動きを含むこともできる。

【0134】

[00152] ブロック１４１４において、タグ付けジェスチャーに関連する少なくとも１
つの物品を特定する。これに関して、対象の物品は、タグ付け可能メディア・コンテンツに関連するメタデーターを使用して特定することができる。このようなメタデーターは、メディア・コンテンツ内における特定の位置にあるタグ付け可能物品を示す（例えば、フレーム、時刻、位置等）。他の実施形態では、画像認識モジュール（例えば、ユーザー・デバイスにまたはユーザー・デバイスから離れて配置される）を使用して、物品を特定することもできる。

【0135】

[00153] ブロック１４１６において、特定した物品（１つまたは複数）にタグ付けす
る。これに関して、選択された物品に対する第三者の興味の指示を示すかまたは指定する。例えば、一実施形態では、メディア・コンテンツに関連するメタデーターが、特定の物品に関心があることを示すことができる。他の実施形態では、物品をメタデーターとは別のタグとして示すことができる。

【0136】

[00154] ブロック１４１８において、タグ付き物品に関連するデーターを参照する。
したがって、タグ−物品データー、物品−コンテキスト・データー、第三者データー（例えば、物品にタグ付けした第三者の識別）等を参照する、特定する、または決定することができる。ブロック１４２０において、タグ付き物品の指示、およびこのタグ付き物品に関連する被参照データーを、他者がタグ付き物品に関するコンテンツを見ることができるように、処理のために関連コンテンツ・システムに伝達する。

【0137】

[00155] 図１５は、物品に関するコンテンツを他者に供給するために第三者タグ付け
を利用する方法例１５００を示す。方法１５００は、図２のソーシャル・ネットワーク・エンジン２２６、推奨エンジン２２０、検索エンジン２２２、および／または広告エンジン２２４というような、検索エンジンまたは検索サービス例のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。

【0138】

[00156] 最初に、ブロック１５１０において、メディア・コンテンツ内において第１
ユーザーに興味がある物品の指示を受ける。ブロック１５１２において、興味がある物品に関するデーターを受ける。このようなデーターは、例えば、第三者データー（例えば、第１ユーザーの識別、興味がある物品に関連して第１ユーザーによって開始されたアクション）、タグ−物品データー（例えば、第１ユーザーの識別）、物品−コンテンツ・データー等であってもよい。ブロック１５１４において、第１ユーザーに興味がある物品の指示、および興味がある物品に関するデーターを、例えば、第１ユーザーおよび／またはこの物品を含むメディア・コンテンツと関連付けて、格納するまたは取り込む。

【0139】

[00157] ブロック１５１６において、第２ユーザーによって見られているメディア・
コンテンツの指示を受ける。その後、ブロック１５１８に示すように、第２ユーザーに関連する他のエンティティが、メディア・コンテンツ内である物品にタグ付けしたか否か判定する。場合によっては、このような判定が、関連する時間枠に基づいて行われてもよい。例えば、第２ユーザーがそのメディア・コンテンツを最後に見てから所定の時間枠（例えば、１週間）内に他のエンティティが物品にタグ付けしたというようなのでもよい。更に、実現例では、第２ユーザーに関連するしかるべきエンティティの決定を行ってもよい
。例えば、タグ付けジェスチャーを行ったエンティティは、第２ユーザーが興味を示す好ましいエンティティである。このような好みは、デフォルト・データーまたはユーザーによって提出される好みに基づけばよい。

【0140】

[00158] 第２ユーザーに関連する他のエンティティがメディア・コンテンツ内で物品
にタグ付けしなかった場合、ブロック１５２０において、第２ユーザーがメディア・コンテンツを見続けているか否か判定する。見続けていない場合、本方法はブロック１５２２において終了する。見続けている場合、本方法はブロック１５１８に戻って、第２ユーザーに関連する他のエンティティがメディア・コンテンツ内である物品にタグ付けしたか否か判定し続ける。このようなプロセスは、第２ユーザーに他のエンティティによってタグ付けされた物品をリアル・タイムで通知することを可能にする。

【0141】

[00159] 一方、第２ユーザーに関連する他のエンティティがメディア・コンテンツ内
である物品にタグ付けした場合、その指示を、第２ユーザーのユーザー・デバイスに供給する。これをブロック１５２４に示す。ブロック１５２６において、他のエンティティによってタグ付けされた物品に関するコンテンツを特定する。このようなコンテンツは、他者に関連するデバイスから伝達されたデーター（例えば、第三者データー、タグ−物品データー、物品−コンテキスト・データー）および／または関連コンテンツ・システムにおいて決定されたデーターを含むことができる。例えば、関連コンテンツ・システムが、第２ユーザーに興味があるかもしれないタグ付き物品に関するコンテンツを検索することができる。したがって、関連コンテンツ・システムが、第２ユーザーに関連するユーザー・データーを利用して、第２ユーザーに関連があるかもしれないタグ付き物品に関するコンテンツを得ることもできる。タグ付き物品に関するコンテンツは、ブロック１５２８に示すように、第２ユーザーのユーザー・デバイスに供給される。このような関連コンテンツは、例えば、タグ付き物品の指示、物品のタグ付けを開始した第三者の指示、物品に関連する提案または推奨、物品に関連する広告等でもよい。

【0142】

[00160] 図１６は、ユーザー・デバイスにおいて関連コンテンツを見るために第三者
のタグ付けを利用する方法例１６００を示す。方法１６００は、図２のユーザー・デバイス２０４のような、ユーザー・デバイス例のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。

【0143】

[00161] 最初に、ブロック１６１０において、見ようとするメディア・コンテンツの
指示を受ける。ブロック１６１２において、このような指示を関連コンテンツ・システムに供給する。ブロック１６１４において、第三者（１人または複数）によってタグ付けされた物品に関するコンテンツを見る指示を受ける。その後、ブロック１６１６において、このような指示を関連コンテンツ・システムに供給する。ブロック１６１８において、ユーザー・データーを参照して、関連コンテンツ・システムに供給する。このようなユーザー・データーは、ユーザーの指示、ユーザーによって使用されるデバイスの指示、ユーザーによって使用されるデバイスの位置の指示、ユーザーに関連する好み、ユーザーによって以前にタグ付けされた物品等を含むこともできる。

【0144】

[00162] ブロック１６２０に示すように、メディア・コンテンツを提示する。ブロッ
ク１６２２において、メディア・コンテンツ内において第三者によってタグ付けされた物品の指示を受ける。その後、第三者によってタグ付けされた物品を、ユーザーによって見られているメディア・コンテンツ内においてといように、視覚的に示す。これをブロック１６２４に示す。例えば、タグ付き物品を強調する、点滅させる、着色する、部分的に透明にする等としてもよい。ブロック１６２６において、物品に関する情報を見る指示を受ける。このような指示は、例えば、ユーザーがその物品の上でカーソルまたはセレクターをホバリングすることによって、またそれ以外では物品に関連する選択またはジェスチャ
ーを行うことによって、供給することができる。このような指示に応答して、ブロック１６２８において、物品に関するコンテンツを受信する。その後、ブロック１６３０に示すように、関連コンテンツをユーザー・デバイスによって表示する。受信および表示される関連コンテンツは、例えば、物品にタグ付けした第三者の指示、物品にタグ付けされた時刻、タグ付き物品に関する情報、物品に関連して第三者によって行われたアクション等とすることができる。

【0145】

[00163] 方法１６００では、物品に関するコンテンツを見る指示を受けると説明した
が、認めることができるように、このような情報を見るユーザー指示を最初に受けることなく、任意の関連コンテンツを自動的に提示することができる。例えば、最初にタグ付き物品を視覚的に特定する代わりに、関連コンテンツを物品と関連付けて最初に表示して、他にユーザーによるアクションがなくても、それがユーザーには容易に明らかになるようにしてもよい。場合によっては、関連コンテンツの第１部分を表示してもよく、追加の関連コンテンツを見るユーザー指示のときに、関連コンテンツの第２部分を表示するのでもよい。一例のみとして、最初に、物品にタグ付けした特定の第三者の指示を表示してもよい（例えば、「ダンがこの帽子にタグ付けした」）。ユーザーが提示された関連コンテンツのこの物品の上でホバリングしたときに、または他の方法で選択を行ったときに、この帽子に関する更なる詳細を表示することができる（例えば、この帽子の広告、価格、銘柄、入手可能な色等というような、帽子に関する詳細、この帽子を購入する場所の推奨、同じまたは同様の帽子を含む他のメディア・コンテンツの推奨等）。

【0146】

[00164] 本明細書において説明した方法の任意のものでは、そのアクト(act)の内任意のものは、少なくとも部分的に、プロセッサーまたは他の電子デバイスによって、１つ以上のコンピューター読み取り可能媒体に格納された命令に基づいて実現することもできる。認めることができようが、本明細書において説明した方法の複数の実施態様を採用することができる。本明細書において説明した方法は、例示であり、発明の範囲を限定するのではないことを意図している。
結論
[00165] 以上、構造的特徴および／または方法論的動作に特定の文言で本発明につい
て説明したが、本発明は、説明した特定の特徴や動作には必ずしも限定されないことは言うまでもない。逆に、特定の特報および動作は、本発明を実現する形態例として開示したまでである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】