(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】トラッキングされるビデオズーミング
(51)【国際特許分類】
H04N 21/431 20110101AFI20231219BHJP
H04N 21/44 20110101ALI20231219BHJP
G09G 5/14 20060101ALI20231219BHJP
G09G 5/373 20060101ALI20231219BHJP
【ＦＩ】
H04N21/431
H04N21/44
G09G5/14 E
G09G5/373 100
【請求項の数】
12
(21)【出願番号】P 2020511211
(86)(22)【出願日】2018-08-23
(65)【公表番号】
(43)【公表日】2020-11-12
(86)【国際出願番号】 US2018047731
(87)【国際公開番号】W WO2019046095
(87)【国際公開日】2019-03-07
【審査請求日】2021-08-23
(31)【優先権主張番号】62/552,032
(32)【優先日】2017-08-30
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ルイ・ケロフスキー
(72)【発明者】
【氏名】エデュアルド・アスバン
【審査官】大西 宏
(56)【参考文献】
【文献】特開平０９－０６５２２５（ＪＰ，Ａ）
【文献】特開２００６－０９９４０４（ＪＰ，Ａ）
【文献】特開２００６－０８７０９８（ＪＰ，Ａ）
【文献】特開２００９－０６９１８５（ＪＰ，Ａ）
【文献】特表２０１６－５３８６０１（ＪＰ，Ａ）
【文献】特表２０１７－５０８１９２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０２９９８３２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１４／０２１８６１１（ＵＳ，Ａ１）
【文献】国際公開第２０１７／０５８６６５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ －２１／８５８
Ｇ０９Ｇ ５／００ － ５／４０
(57)【特許請求の範囲】
【請求項1】
表示装置に表示するための動的なピクチャーインピクチャーを生成する方法であって、ビデオコンテンツをサーバから受信することと、
オブジェクト認識またはメタデータに基づいて前記ビデオコンテンツの第１のフレーム内のオブジェクトの第１の位置を判定することと、
前記オブジェクトの前記第１の位置に基づいて第１のウィンドウの位置を判定することであって、前記第１のウィンドウの位置は、前記オブジェクトと重なっており、前記第１のウィンドウは、前記第１のフレームの視覚的に拡大された部分を備え、前記第１のフレームの視覚的に拡大された部分は、視覚的に拡大されたバージョンの前記オブジェクトを備える、ことと、
前記表示装置に表示するための前記第１のフレーム内の前記第１のウィンドウを生成することと、
オブジェクト認識またはメタデータに基づいて前記ビデオコンテンツの第２のフレーム内の前記オブジェクトの第２の位置を判定することであって、前記第２のフレームは、前記第１のフレームに時間的に続いており、前記オブジェクトの前記第２の位置は、前記オブジェクトの前記第１の位置とは異なる、ことと、
前記オブジェクトの前記第２の位置に基づいて第２のウィンドウの位置を判定することであって、前記第２のウィンドウの位置は、前記オブジェクトと重なっており、前記第２のウィンドウは、前記第２のフレームの視覚的に拡大された部分を備え、前記第２のフレームの視覚的に拡大された部分は、視覚的に拡大されたバージョンの前記オブジェクトを備える、ことと、
前記表示装置に表示するための前記第２のフレーム内の前記第２のウィンドウを生成することと、
オブジェクト認識またはメタデータに基づいて前記ビデオコンテンツの第３のフレーム内の前記オブジェクトの第３の位置を判定することと、
前記表示装置に表示するための第４のフレーム内の所定の位置の第３のウィンドウを生成することであって、前記第３のウィンドウは、前記第３のフレームの視覚的に拡大された部分を備え、前記第３のフレームの視覚的に拡大された部分は、視覚的に拡大されたバージョンの前記オブジェクトを備え、前記第４のフレームは、前記第３のフレームに時間的に続いている、ことと
を備える方法。
【請求項2】
前記第１のウィンドウは、前記オブジェクトのユーザ選択に基づいて前記第１のフレームの視覚的に拡大された部分を備える、請求項１の方法。
【請求項3】
前記ビデオコンテンツのさらに前のフレーム内の複数のオブジェクトを識別することであって、前記複数のオブジェクトは前記オブジェクトを備える、ことと、前記表示装置に表示するための前記さらに前のフレーム内の複数のウィンドウを生成することであって、前記複数のウィンドウのそれぞれは、前記複数のオブジェクトのそれぞれのオブジェクトを備え、前記複数のウィンドウのそれぞれは、前記それぞれのオブジェクトのインジケーションを提供する、ことと、
ユーザ入力に基づいて前記複数のウィンドウの焦点ウィンドウを繰り返し表示することと
をさらに備える、請求項１の方法。
【請求項4】
前記複数のオブジェクトのうちのオブジェクトに関連付けられるユーザ選択を受信することと、前記ユーザ選択に基づいて前記第１のウィンドウ内の前記オブジェクトを拡大することと
をさらに備える、請求項３の方法。
【請求項5】
前記メタデータは、前記ビデオコンテンツのフレーム内の前記オブジェクトの位置を示す情報を備える、請求項１の方法。
【請求項6】
前記第１のフレームまたは前記第２のフレーム内の前記オブジェクトに関連する前記表示装置に表示するための情報を生成することをさらに備える、請求項１の方法。
【請求項7】
ビデオコンテンツをサーバから受信し、オブジェクト認識またはメタデータに基づいて前記ビデオコンテンツの第１のフレーム内のオブジェクトの第１の位置を判定し、
前記オブジェクトの前記第１の位置に基づいて第１のウィンドウの位置を判定し、前記第１のウィンドウの位置は、前記オブジェクトと重なっており、前記第１のウィンドウは、前記第１のフレームの視覚的に拡大された部分を備え、前記第１のフレームの視覚的に拡大された部分は、視覚的に拡大されたバージョンの前記オブジェクトを備え、
表示装置に表示するための前記第１のフレーム内の前記第１のウィンドウを生成し、
オブジェクト認識またはメタデータに基づいて前記ビデオコンテンツの第２のフレーム内の前記オブジェクトの第２の位置を判定し、前記第２のフレームは、前記第１のフレームに時間的に続いており、前記オブジェクトの前記第２の位置は、前記オブジェクトの前記第１の位置とは異なり、
前記オブジェクトの前記第２の位置に基づいて第２のウィンドウの位置を判定し、前記第２のウィンドウの位置は、前記オブジェクトと重なっており、前記第２のウィンドウは、前記第２のフレームの視覚的に拡大された部分を備え、前記第２のフレームの視覚的に拡大された部分は、視覚的に拡大されたバージョンの前記オブジェクトを備え、
前記表示装置に表示するための前記第２のフレーム内の前記第２のウィンドウを生成し、
オブジェクト認識またはメタデータに基づいて前記ビデオコンテンツの第３のフレーム内の前記オブジェクトの第３の位置を判定し、
前記表示装置に表示するための第４のフレーム内の所定の位置の第３のウィンドウを生成し、前記第３のウィンドウは、前記第３のフレームの視覚的に拡大された部分を備え、前記第３のフレームの視覚的に拡大された部分は、視覚的に拡大されたバージョンの前記オブジェクトを備え、前記第４のフレームは、前記第３のフレームに時間的に続いている
ように構成されたプロセッサを備えたデバイス。
【請求項8】
前記第１のウィンドウは、前記オブジェクトのユーザ選択に基づいて前記第１のフレームの視覚的に拡大された部分を備える、請求項７のデバイス。
【請求項9】
前記プロセッサは、前記ビデオコンテンツのさらに前のフレーム内の複数のオブジェクトを識別し、前記複数のオブジェクトは前記オブジェクトを備え、
前記表示装置に表示するための前記さらに前のフレーム内の複数のウィンドウを生成し、前記複数のウィンドウのそれぞれは、前記複数のオブジェクトのそれぞれのオブジェクトを備え、前記複数のウィンドウのそれぞれは、前記それぞれのオブジェクトのインジケーションを提供し、
ユーザ入力に基づいて前記複数のウィンドウの焦点ウィンドウを繰り返し表示する
ように構成される、請求項７のデバイス。
【請求項10】
前記プロセッサは、前記複数のオブジェクトのうちのオブジェクトに関連付けられるユーザ選択を受信し、
前記ユーザ選択に基づいて前記第１のウィンドウ内の前記オブジェクトを拡大する
ように構成される、請求項９のデバイス。
【請求項11】
前記メタデータは、前記ビデオコンテンツのフレーム内の前記オブジェクトの位置を示す情報を備える、請求項７のデバイス。
【請求項12】
前記プロセッサは、前記第１のフレームまたは前記第２のフレーム内の前記オブジェクトに関連する前記表示装置に表示するための情報を生成するように構成される、請求項７のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2017年8月30日に出願された米国特許仮出願第62/552,032号の利益を主張するものであり、その内容は、参照によって本明細書に組み込まれている。
本出願は、2017年8月30日に出願された米国特許仮出願第62/552,032号の利益を主張するものであり、その内容は、参照によって本明細書に組み込まれている。
【背景技術】
【0002】
様々なデジタルビデオ圧縮技術が、効率的なデジタルビデオ通信、配信、および消費を可能にする。標準化されたビデオ圧縮技術のいくつかの例は、Ｈ．２６１、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６３、ＭＰＥＧ－４ ｐａｒｔ２、およびＨ．２６４／ＭＰＥＧ－４ ｐａｒｔ １０ ＡＶＣである。高効率ビデオ符号化（ＨＥＶＣ）などの進んだビデオ圧縮技術は、Ｈ．２６４／ＡＶＣに比較して、同じビデオ品質で２倍の圧縮または半分のビットレートを提供することができる。
【発明の概要】
【0003】
クライアントによる動的なピクチャーインピクチャー（ＰＩＰ）のためのシステム、方法、および手段が開示される。クライアントは、例えば、有線デバイス（例えば、テレビジョン（ＴＶ））または無線送受信ユニット（ＷＴＲＵ）（例えば、スマートＴＶ、ハンドヘルド無線デバイス等）などの任意のデバイス上に存在することが可能である。デバイスは、サーバからビデオコンテンツを受信すること、およびオブジェクト認識またはメタデータのうちの少なくとも１つを使用してビデオコンテンツ内のオブジェクトを識別することが可能である。メタデータは、ビデオコンテンツのフレーム内のオブジェクトのロケーションを示す情報を含むことが可能である。メタデータは、ビデオコンテンツにおいて、またはビデオコンテンツとともに提供されてよい。デバイスは、ユーザによるオブジェクトの選択を受信すること、およびオブジェクト認識またはメタデータのうちの少なくとも１つを使用してビデオコンテンツのフレームを横断するオブジェクトの位置データを決定すること（例えば、ビデオコンテンツのフレームを横断してオブジェクトをトラッキングすること）が可能である。デバイスは、ビデオコンテンツのフレームを横断するＰＩＰ内にオブジェクトの拡大されたおよび時間遅延されたバージョンを表示することが可能である。それぞれのフレーム内のＰＩＰのロケーションは、固定されること（例えば、事前に決定されて、それぞれのフレーム内のオブジェクトのロケーションに結合されていないこと）が可能であり、またはそれぞれのフレーム内のオブジェクトのロケーションに基づくこと（例えば、オブジェクトのロケーションに基づいてそれぞれのビデオフレーム間で「浮動すること」、オブジェクトに対して最も近いコーナー内に配置されることなど）が可能である。
【0004】
いくつかの例においては、デバイスは、サーバからビデオコンテンツを受信すること、およびオブジェクト認識またはメタデータのうちの少なくとも１つを使用してビデオコンテンツ内のオブジェクトを識別することが可能である。デバイスは、ユーザによるオブジェクトの選択を受信すること、およびオブジェクト認識またはメタデータのうちの少なくとも１つを使用してビデオコンテンツのフレームを横断するオブジェクトの位置データを決定すること（例えば、フレーム ビデオコンテンツを横断してオブジェクトをトラッキングすること）が可能である。デバイスは、ビデオコンテンツのフレームを横断するピクチャーインピクチャー（ＰＩＰ）内にオブジェクトの拡大されたバージョンを表示することが可能であり、例えば、フレーム内のＰＩＰのロケーションは、ビデオコンテンツのフレーム内のオブジェクトの位置データに基づいて決定される（例えば、ＰＩＰは、トラッキングされているオブジェクトのロケーションに基づいてフレームを横断して「浮動している」）。ＰＩＰは、ビデオコンテンツのフレーム内にあるさらに小さなウィンドウであることが可能である。
【0005】
いくつかの例においては、デバイスは、サーバ（例えば、コンテンツサーバ）からビデオコンテンツを受信することが可能である。デバイスは、オブジェクト認識またはメタデータに基づいてビデオコンテンツの第１のフレーム内のオブジェクトの第１の位置を決定することが可能である。例えば、デバイスは、（例えば、オブジェクト認識またはメタデータに基づいて）オブジェクトを識別すること、および（例えば、オブジェクト認識またはメタデータに基づいて）ビデオコンテンツのフレームに伴うオブジェクトのロケーションを決定することが可能である。デバイスは、オブジェクトの第１の位置に基づいて第１のウィンドウの位置を決定することが可能である。例えば、第１のウィンドウの位置は、第１のビデオフレームにおけるオブジェクトの位置と直接相関付けられること（例えば、それと重なること、またはそれを包含すること）が可能である。第１のウィンドウは、第１のフレームの視覚的に拡大された部分を含むことが可能であり、第１のフレームの視覚的に拡大された部分は、オブジェクトを含むことが可能である。デバイスは、ディスプレイデバイス上の第１のフレーム内に第１のウィンドウを表示することが可能である。
【0006】
デバイスは、オブジェクト認識またはメタデータに基づいてビデオコンテンツの第２のフレーム内のオブジェクトの第２の位置を決定することが可能であり、例えば、第２のフレームは、ビデオコンテンツにおいて第１のフレームに時間的に後続すること（例えば、その後にあること）が可能である。オブジェクトの第２の位置は、オブジェクトの第１の位置とは異なることが可能である（例えば、オブジェクトは、フレームを横断して移動したように見えることが可能である）。デバイスは、オブジェクトの第２の位置に基づいて第２のウィンドウの位置を決定することが可能である。第２のウィンドウは、第２のビデオフレームの視覚的に拡大された部分を含むことが可能であり、第２のビデオフレームの視覚的に拡大された部分は、オブジェクトを含むことが可能である。第２のウィンドウの位置は、（例えば、第１のフレームから第２のフレームへのオブジェクトの位置における変化に基づいて）第１のウィンドウの位置とは異なることが可能である。デバイスは、ディスプレイデバイス上の第２のフレーム内に第２のウィンドウを表示することが可能である。いくつかの例においては、デバイスは、オブジェクトに関連している情報を第２のフレーム内に表示すること（例えば、情報をオブジェクトの上にオーバーレイすること）が可能である。
【0007】
デバイスは、複数のオブジェクトをトラッキングすることが可能であり、複数のオブジェクトをトラッキングしているときに、オブジェクトが互いにきわめて近接した場合には、それらのオブジェクトのためのマージされたウィンドウを作成することが可能である。例えば、デバイスは、オブジェクト認識またはメタデータに基づいてビデオコンテンツの第３のフレーム内の第２のオブジェクト（例えば、第２のサッカープレーヤ）の位置を決定することが可能であり、第３のフレーム内の第２のオブジェクトの位置に基づいて、第３のフレームにおける第２のオブジェクトを含むウィンドウの位置を決定することが可能である。デバイスは、オブジェクト認識またはメタデータに基づいて第３のフレーム内のオブジェクト（例えば、「第１の」オブジェクト）の第３の位置を決定すること、およびオブジェクトの第３の位置に基づいて、第３のフレームにおけるオブジェクトを含むウィンドウの位置を決定することも可能である。デバイスは次いで、第３のフレームにおけるオブジェクトを含むウィンドウが、第３のフレームにおける第２のオブジェクトを含むウィンドウと重なっていると決定することが可能である。次にデバイスは、ディスプレイデバイス上で、オブジェクトと第２のオブジェクトとを含むマージされたウィンドウを第３のフレーム内に表示することが可能である。マージされたウィンドウのロケーションは、例えば、第３のフレームにおけるオブジェクトの位置および第２のオブジェクトの位置に基づくことが可能である（例えば、それによって、マージされたウィンドウは、オブジェクトおよび第２のオブジェクトの両方を含む）。
【0008】
デバイスは、複数のトラッキングされているオブジェクトが互いから離れて移動した場合には、マージされたウィンドウをアンマージすることが可能である。例えば、デバイスは、オブジェクト認識またはメタデータに基づいてビデオコンテンツの第４のフレーム内のオブジェクトの位置を決定すること、および第４のフレーム内のオブジェクトの位置に基づいて、第４のフレームにおけるオブジェクトを含むウィンドウの位置を決定することが可能である。デバイスは、オブジェクト認識またはメタデータに基づいて第４のフレーム内の第２のオブジェクトの位置を決定すること、および第４のフレーム内の第２のオブジェクトの位置に基づいて、第４のフレームにおける第２のオブジェクトを含むウィンドウの位置を決定することが可能である。その後、デバイスは、第４のフレームにおけるオブジェクトを含むウィンドウが、第４のフレームにおける第２のオブジェクトを含むウィンドウともはや重なっていないと決定することが可能であり、次にデバイスは、ディスプレイデバイス上で、オブジェクトを含むウィンドウと、第２のオブジェクトを含むウィンドウとを第４のフレーム内に表示すること（例えば、２つの別々のウィンドウ、すなわち、それぞれのオブジェクトを伴うウィンドウを表示すること）が可能である。
【0009】
デバイスは、トラッキングされているオブジェクトを含むウィンドウの表示に時間遅延を組み込むことが可能である。例えば、デバイスは、オブジェクト認識またはメタデータに基づいてビデオコンテンツの第３のフレーム内のオブジェクトの第３の位置を決定することが可能である。その後、デバイスは、ディスプレイデバイス上の第４のフレーム内の事前に決定されたロケーションに第３のウィンドウを表示することが可能であり、第４のフレームは、第３のフレームに時間的に後続する。事前に決定されたロケーションは、例えば、オブジェクトのロケーションに結合されていないこと、および／またはビデオフレームを横断する固定されたロケーションにあることが可能である。ある例においては、第３のウィンドウは、第３のビデオフレームの視覚的に拡大された部分を含むことが可能であり、第３のビデオフレームの視覚的に拡大された部分は、オブジェクトを含むことが可能である。
【0010】
デバイスは、選択可能であるオブジェクトのユーザ選択を可能にすること、および／またはユーザがＰＩＰのための（例えば、ＰＩＰ内での拡大のための）オブジェクトを選択するのを可能にすることができる。例えば、第１のウィンドウは、オブジェクトのユーザ選択に基づいて第１のビデオフレームの視覚的に拡大された部分を含むことが可能である。さらに、デバイスは、ユーザが選択のために複数のオブジェクトを繰り返し表示することを可能にすることもできる。例えば、デバイスは、ビデオコンテンツのさらに前のビデオフレーム内の複数のオブジェクトを識別することが可能であり、それらの複数のオブジェクトは、そのオブジェクトを含む。複数のオブジェクトは、ユーザによって選択され得る（例えば、選択可能である）。デバイスは、さらに前のビデオフレーム内の複数のウィンドウを表示することが可能であり、複数のウィンドウのそれぞれは、複数のオブジェクトのそれぞれのオブジェクトを含むことが可能であり、例えば、複数のウィンドウのそれぞれは、それぞれのオブジェクトのインジケーションを提供することが可能である。デバイスは、ユーザ入力に基づいて複数のウィンドウのうちの焦点ウィンドウを繰り返し表示することが可能である。焦点ウィンドウは、例えば、どのオブジェクトが現在選択可能であるかをユーザが識別することをやはり可能にする強調表示されたウィンドウであることが可能である。デバイスは、複数のオブジェクトのうちのオブジェクトのユーザ選択を受信すること、およびそのユーザ選択に基づいてそのオブジェクトを第１のウィンドウ内で拡大することが可能である。デバイスは、ユーザが複数のオブジェクトからオブジェクトを除去することを可能にすることもできる。例えば、デバイスは、複数のウィンドウのうちの望まれていないウィンドウのユーザ選択を受信すること、および望まれていないウィンドウの表示をやめること（例えば、ユーザが繰り返し表示することが可能であるオブジェクトからそのオブジェクトを除去すること）が可能である。
【0011】
トラッキングされるビデオズーミングのためのシステム、方法、および手段が開示される。クライアント側（オンデバイス）またはローカルトラッキングが、ユーザがトラッキングおよびズーミングのために任意のオブジェクトを選択することを可能にすることができる。例えば、クライアント側トラッキングに加えて、またはそれに対する代替として、トラッキングメタデータが提供されてよい（例えば、ビデオブロードキャストが、ビデオフレームにおけるオブジェクトのロケーションを記述するメタデータを含むことが可能である）。メタデータは、トラッキングされているオブジェクトに関する強化された情報を含むことが可能である。ユーザは、（例えば、ピクチャーインピクチャー（ＰＩＰ）において）示されているオブジェクトと対話して、さらなる情報を入手することが可能である。（例えば、ＰＩＰにおける）ビデオズーミングが、固定されたロケーション、および／または（例えば、トラッキングされているオブジェクトとともに移動する）浮動するロケーションにおいて提供されてよい。複数のオブジェクトが、（例えば、複数のＰＩＰにおいて）同時にトラッキングおよびズームされることが可能である。ユーザは、（例えば、ＰＩＰにおいてトラッキングおよびズームされているオブジェクトを切り替えるために）複数のトラッキングされているオブジェクトを繰り返し表示して、それらの間で選択を行うことが可能である。ＰＩＰズームは、進んだ機能、例えば、複数のＰＩＰウィンドウを結合すること、ＰＩＰウィンドウを分割すること、一時停止およびズーム、時間遅延ズーム、ＰＩＰおよびソーシャルメディア、並びにＰＩＰを再配置することを伴って提供され得る。
【図面の簡単な説明】
【0012】
図における同様の参照番号は、同様の要素を示す。
【図1】オンデバイストラッキングを伴うテレビジョンの例示的なシステム図である。
【図2A】
クライアント側オブジェクトトラッキングの例を提供する図である。
【図2B】
クライアント側オブジェクトトラッキングの例を提供する図である。
【図3】最初のオブジェクトウィンドウ位置（例えば、赤色のボックス）および探索ウィンドウ位置（例えば、黄色のボックス）の例を示す図である。
【図4A】
ビデオフレームの探索ブロックにおける彩度機能の例を提供する図である。
【図4B】
ビデオフレームの探索ブロックにおける色相機能の例を提供する図である。
【図5】逆投影確率およびターゲットウィンドウの例を示す図である。
【図6】新たなオブジェクトウィンドウ位置（例えば、赤色のボックス）および探索ウィンドウ位置（例えば、黄色のボックス）の例を示す図である。
【図7】ＰＩＰウィンドウにおいて（例えば、右下のボックスにおいて）ズームされたトラッキングされているオブジェクトの例を示す図である。
【図8】フレームに適用されるオブジェクト確率の例を示す図である。
【図9】フィールドから離れている応答を除去することによってきれいにされた確率マップの例を示す図である。
【図10】オープニングおよびクロージングのモルフォロジー演算の例示的な結果を示す図である。
【図11】メタデータから入手された情報を使用して複数のオブジェクトをトラッキングすることの例を示す図である。
【図12】固定されたロケーション（例えば、右下）におけるＰＩＰにおいてズームされている選択されたオブジェクトの例を示す図である。
【図13】（例えば、選択されたオブジェクトの上の）浮動ウィンドウにおけるＰＩＰにおいてズームされている選択されたオブジェクトの例を示す図である。
【図14】複数のトラッキングされているオブジェクトを繰り返し表示することの例を示す図である。
【図15A】複数のトラッキングされているオブジェクトに関する複数のＰＩＰウィンドウを結合することの例を提供する図である。
【図15B】複数のトラッキングされているオブジェクトに関する複数のＰＩＰウィンドウを結合することの例を提供する図である。
【図15C】複数のトラッキングされているオブジェクトに関する複数のＰＩＰウィンドウを結合することの例を提供する図である。
【図15D】複数のトラッキングされているオブジェクトに関する複数のＰＩＰウィンドウを結合することの例を提供する図である。
【図15E】複数のトラッキングされているオブジェクトに関する複数のＰＩＰウィンドウを結合することの例を提供する図である。
【図15F】複数のトラッキングされているオブジェクトに関する複数のＰＩＰウィンドウを結合することの例を提供する図である。
【図16A】１つまたは複数の開示されている実施形態が実施され得る例示的な通信システムを示すシステム図である。
【発明を実施するための形態】
【0013】
様々な図を参照して、例示的な実施形態の詳細な説明が記述される。この説明は、可能な実施態様の詳細な例を提供するが、それらの詳細は、例示的なものであり、決して本出願の範囲を限定するものではないことを意図されているという点に留意されたい。
【0014】
スマートＴＶは、ＴＶコンテンツとの対話を可能にすることができる。例えば、ＴＶは、ユーザが拡大鏡ユーティリティーを使用してビデオをナビゲートすることを可能にすることができる。ユーザは、例えば、スクリーンの領域を指すことによって、手動でピクチャーインピクチャー（ＰＩＰ）コンテンツを選択することが可能である。拡大および／またはＰＩＰは、ＴＶ視聴者インターフェースを強化することが可能である。ＰＩＰは、例えば、アクティビティーに関する第２のビデオソースをモニタするために使用されることが可能である（例えば、ユーザは、ディスプレイのメインエリアにおいて第１のＴＶチャネルを見ながらＰＩＰにおいて第２のＴＶチャネルを見ることが可能である）。メインビューおよびＰＩＰビューは、切り替えられることが可能である。
【0015】
外部の放送事業者から供給されることが可能であるトラッキング情報が、例えば、（例えば、シーンをナビゲートする際に視聴者を支援する目的で）プレーヤ位置の表示を作成するために使用されることが可能である。例えば、シーンをナビゲートする際に視聴者を支援するために（例えば、オーディオおよびプレーヤロケーションデータを使用して）アクティビティーグラフが作成されることが可能である。
【0016】
テレビジョン視聴経験は、静的であること、およびパーソナライズされていないことが可能である。ＰＩＰは、メインテレビジョンディスプレイの小さなウィンドウにおいて第２のビデオソースを表示するために使用されることが可能である。ＰＩＰは、異なるチャネルまたはビデオ入力に割り振られることが可能である。ユーザは、最小のカスタマイゼーションおよび対話を用いて、ＰＩＰにおいて示されているチャネルまたはソースを選択することが可能である。
【0017】
進んだ画像分析技術は、ピクセルのアレイおよびコンテンツの説明をユーザに提供することをサポートすることが可能である。ユーザは、例えば、ビデオの特定の部分の上でクローズアップまたはズームインを見ることが可能である。拡大鏡が提供されることが可能であり、それによってユーザは、動いているビデオコンテンツにおける関心のある領域へズームインするためにスクリーンの上で操作を行うことが可能である。ユーザは、例えば、関心のあるオブジェクトに追随するために、（例えば、モーションリモコンまたはその他のポインティングデバイスを使用して）拡大鏡を移動させることが可能である。
【0018】
ビデオズームの提示を制御するためにオブジェクトトラッキングが使用されることが可能である。オブジェクトトラッキングは、例えば、ユーザによって選択されたオブジェクトのクライアント側トラッキングを含むことが可能である。ビデオフレームに伴うメタデータとしてオブジェクトロケーション情報が提供されてよい。関心のある複数のオブジェクトの間で選択を行うためにポインティングデバイス（例えば、リモコン）が使用されてよい。ポインティングデバイスは、例えば、関心のある（例えば、単一の）オブジェクト（例えば、チーム上の単一のプレーヤ）を選択するために使用されることが可能であり、（例えば、結果として）１つまたは複数の関連付けられている（例えば、さらなる）オブジェクト（例えば、同じチーム上の複数のプレーヤ）が、（例えば、選択されたオブジェクトとともに）（例えば、加えて）選択およびトラッキングされることが可能である。複数の使用モードが提供されてよい（例えば、固定されたＰＩＰズームおよび浮動するＰＩＰズーム）。オブジェクトは、トラッキングおよび／または処理（例えば、ズーミング）のために、例えば、自動的に（例えば、１つもしくは複数の選択基準に基づいて）、および／または（例えば、ユーザが）複数のトラッキングされているオブジェクトを繰り返し表示することによって選択され得る。
【0019】
コンテンツの選択と、（例えば、デバイス上でローカルに、またはコンテンツとともに受信されたトラッキングメタデータを介して動作する）オブジェクトトラッキングと、例えば、固定されたロケーションにおける、または浮動する（例えば、トラッキングデータに追随する）（例えば、ＰＩＰにおける）再生とが実行されることが可能である。
【0020】
図１は、オンデバイストラッキングを伴うディスプレイデバイス（例えば、ＴＶ）の例示的なシステム図２００を示している。リモコンからのリモートデータ２０２が、ディスプレイデバイスのモーションエンジン２０４によって受信されることが可能である。リモートデータ２０２は、ビデオフレームのオブジェクトのユーザの選択に関連している情報を含むことが可能である。ユーザは、（例えば、トラッキングをサポートする目的で）関心のあるオブジェクトを選択するためにリモコンを使用することが可能である。リモコンは、例えば、「モーションリモコン」であることが可能であり、それは、ユーザがオンスクリーンポインタを制御することを可能にすることができる。モーションエンジン２０４は、リモートデータ２０２に基づいてユーザのポインタのロケーションを決定することが可能である。例えば、ユーザがＰＩＰのために選択することが可能であるオブジェクトを彼らに示すために、ディスプレイデバイス上のビデオフレームにカーソル２０６がオーバーレイされることが可能である。
【0021】
いくつかの実施形態においては、リモコンは、モーションリモコンではないことが可能であり、例えば、オブジェクト選択のためのタッチスクリーンを含むことが可能である。そのような例においては、リモートデータ２０２は、ディスプレイデバイスのトラッキングモジュール（例えば、ＣａｍＳｈｉｆｔ）２０８に直接提供されてよい。
【0022】
トラッキングモジュール２０８は、例えば、（例えば、リモコン上のボタンを押すことによる）トラッキング機能のアクティブ化２１０の際にオブジェクト位置情報を受信することが可能である。トラッキングモジュール２０８は、（例えば、オブジェクトを含む）ソースビデオフレーム２１６を受信することも可能である。オブジェクトの位置は、時間とともにビデオフレーム２１６を横断してトラッキングされることが可能である。境界ボックス（例えば、小さなボックスなど、オブジェクトのインジケーション）が決定されて、ビデオフレームにおいて（例えば、それぞれのソースビデオフレーム２１６において）オブジェクトを囲んで表示されることが可能である。
【0023】
オブジェクト位置情報は、例えば、ＰＩＰ構築モジュール２１８に提供されてよい。ＰＩＰ構築モジュール２１８は、ソースビデオフレーム２１６を含むことも可能である。アクティブ化された場合には、ＰＩＰ構築モジュール２１８は、オブジェクトを含むビデオフレームのいくらかの部分を囲んでウィンドウ（例えば、ＰＩＰウィンドウ）を生成することが可能である。いくつかの例においては、ＰＩＰ構築モジュール２１８は、ＰＩＰウィンドウ内のオブジェクトを含むビデオフレームの部分を視覚的に拡大することが可能である（例えば、ズームオペレーションが実行されることが可能である）。視覚的な拡大（例えば、ズーミング）は、例えば、補間（例えば、バイリニアもしくはバイキュービック）またはリサンプリング（例えば、Ｌａｎｃｚｏｓ）などの画像スケーリング手順を使用して実行されることが可能である。ＰＩＰ構築モジュール２１８は、ＰＩＰウィンドウをソースビデオフレーム２１６上へオーバーレイすることが可能である。結果として生じるフレームは、合成フレーム（例えば、ソースビデオフレームとＰＩＰウィンドウとを合わせたもの）と呼ばれることが可能である。ＰＩＰ構築モジュール２１８は、合成フレームを、ユーザへの提示のためにディスプレイ２２０に提供することが可能である。
【0024】
ＰＩＰウィンドウは、例えば、ズームの基礎となるオブジェクトに関する境界ボックスに比較して、拡大されたサイズを有することが可能である。例えば、オブジェクトに関する境界ボックスは、２００×２２５ピクセルであると決定されることが可能である。例示的なズーム比は、２ｘであることが可能である。ズームされているオブジェクトを表示するＰＩＰウィンドウは、例えば、４００×４５０ピクセルであることが可能である。ＰＩＰウィンドウは、例えば、ディスプレイの固定されたロケーションにおいて（例えば、ディスプレイのコーナーにおいて）、またはトラッキングされているオブジェクトとともに移動するなど、モバイル／移動するロケーション（例えば、浮動するＰＩＰ）において表示されることが可能である。さらに、ある例においては、ＰＩＰウィンドウは、（例えば、オブジェクトのロケーションに基づいて、下にあるソースビデオフレームからのディスプレイ情報に基づいてなどで）ディスプレイのコーナー間を移動することが可能である。オブジェクトおよびその関連付けられている位置（例えば、中心位置）は時間とともに変化する可能性があるので、例えば、オブジェクトの位置（例えば、中心位置）に基づいて、ズームされるオブジェクトを含むＰＩＰウィンドウが表示されることが可能である。浮動するＰＩＰウィンドウは、例えば、それが基づくことが可能であるオブジェクトを、例えば、そのオブジェクトを囲んでいるエリアとともに塞ぐことまたはブロックすることが可能である。
【0025】
クライアント側（オンデバイス）トラッキングは、ユーザがトラッキングのためにオブジェクト（例えば、任意のオブジェクト）を選択することを可能にすることができ、それは、（例えば、ユーザに自分自身の関心のあるオブジェクトを選択させることによって）ユーザ経験を改善することが可能である。デバイスは、ユーザ選択に基づいて１つまたは複数のオブジェクトを視覚的に拡大することが可能である。クライアント側トラッキングは、（例えば、トラッキングがクライアントによってオブジェクト認識に基づいて実行されることが可能であるので、）ＴＶ放送の一部としてオブジェクト位置情報を受信する必要性を回避することが可能である。クライアント側トラッキングは、インタラクティブズームシステムが任意の受信されたコンテンツとともに機能することを可能にすることができる。デバイス上の計算要件は、例えば、控えめなリソースを利用することが可能であって、かつリアルタイムに実行されることが可能であるアルゴリズムを実施することによって管理されることが可能である。時間とともにビデオフレームを横断してオブジェクトのロケーションに追随するための１つまたは複数のビデオオブジェクトトラッキングアルゴリズム、例えば、「ＣＡＭｓｈｉｆｔ」および「平均シフト」などが使用されてよい（ただし、その他のアルゴリズムが利用されることも可能である）。
【0026】
オブジェクトトラッキングのフローは、初期化ステージおよびトラッキングステージなど、複数の（例えば、２つの）ステージにあることが可能である。図２Ａは、クライアント側オブジェクトトラッキングの初期化手順２３０の例を示している。図３Ａは、オブジェクト３０２と、オブジェクトウィンドウ位置３０４と、探索ウィンドウ位置３０６とを含む例示的なビデオフレーム３００を示している。
【0027】
デバイスは、トラッキングするための１つまたは複数のオブジェクトを決定することが可能である。例えば、デバイスは、２３２におけるユーザ選択に基づいて、トラッキングするためのオブジェクトを決定することが可能である。ユーザは、１つまたは複数のオブジェクト（例えば、任意のオブジェクト）を選択することが可能である。例においては、ユーザは、リモコンまたはその他のポインティングデバイスを使用して、スクリーンのあちこちにカーソルまたはボックスを移動させること、引くこと、またはその他の形で位置付けること、および選択されたオブジェクトをトラッキングしたいという要望を（例えば、ボタンを押すことによって）示すことが可能である。デバイスは、オブジェクトの開始位置に基づいてオブジェクトトラッキングを実行することが可能である。２３４において、デバイスは、ビデオフレームのビデオ特徴（例えば、解像度、フレームレート、色空間、ＳＤＲ／ＨＤＲ）を受信することが可能である。
【0028】
２３６において、デバイスは、関心のあるオブジェクト（例えば、オブジェクト３０２）を含むオブジェクトウィンドウ（例えば、オブジェクトウィンドウ３０４）を定義することが可能である。デバイスは、例えば、ビデオの特徴（例えば、解像度、フレームレート、色空間、ＳＤＲ／ＨＤＲ）に基づいて、オブジェクトウィンドウのサイズを決定することが可能である。２３８において、デバイスは、探索ウィンドウ（例えば、探索ウィンドウ３０６）を決定することが可能である。探索ウィンドウは、フレーム間においてオブジェクトをトラッキングする際に使用されてよい。デバイスは、ビデオフレームの特徴を使用して探索ウィンドウのサイズを決定することが可能である。
【0029】
デバイスは、例えば、オブジェクトウィンドウ内のピクセルがオブジェクトの一部である可能性を決定するために、確率マップを決定すること（例えば、構築すること）が可能である。デバイスは、確率マップを構築するために様々な機能を使用することが可能である。例えば、デバイスは、確率マップを構築するためにカラーヒストグラムを使用することが可能である。デバイスは、オブジェクトを含むオブジェクトウィンドウを分析して、確率推定を形成することが可能である。２４０において、デバイスは、オブジェクトウィンドウにおけるピクセルを、例えば、ＨＳＶ色空間へ変換することが可能である。２４２において、デバイスは、オブジェクトウィンドウ内のピクセルの（例えば、図４Ａ～図４Ｂにおける例によって示されているような）色相および彩度値の２次元（２Ｄ）ヒストグラムを算出することが可能である。図４Ａは、ビデオフレームの探索ブロックにおける色相機能４００の例を示しており、その一方で図４Ｂは、ビデオフレームの探索ブロックにおける彩度機能４１０の例を示している。２４４において、デバイスは、例えば、ピクセルが、トラッキングされているオブジェクトの一部である確率推定を形成するために、２Ｄヒストグラムを使用することが可能である。図５は、逆投影確率およびターゲットウィンドウ５００の例を示している。図５は、「平均シフト」反復のもとでの検知された領域の移動を示す長方形５０４、５０６を伴うピクセルごとの確率を表す画像５０２の例を示している。
【0030】
図２Ｂは、クライアント側オブジェクトトラッキング手順２５０の例を示している。図６は、オブジェクトウィンドウ６０４と探索ウィンドウ６０６とを伴うオブジェクト６０２を含む例示的なビデオフレーム６００を示している。ビデオフレーム６００は、ビデオフレーム３００の後の時間的に後続の時点で生じることが可能である（例えば、ビデオフレーム３００の後に来ることが可能である）。ビデオフレーム６００のオブジェクト６０２は、ビデオフレーム３００のオブジェクト３０２と同じオブジェクトであることが可能である。
【0031】
オブジェクトトラッキング手順２５０は、例えば、ユーザがオブジェクト（例えば、オブジェクト６０２）をトラッキングすることをやめるか、またはオブジェクトのトラッキングが失われるまで、（例えば、後続のビデオフレームにおいて）実行されることが可能である。２５２において、デバイスは、探索ウィンドウ（例えば探索ウィンドウ６０６）におけるピクセルをＨＳＶ色空間へ変換することが可能である。２５４において、デバイスは、探索ウィンドウ内のピクセルの色相および彩度値の２Ｄヒストグラムを算出することが可能である。２５６において、デバイスは、探索ウィンドウ内のピクセルが、関心のあるオブジェクトのピクセルである確率推定を形成することが可能である。例えば、デバイスは、関心のあるオブジェクトに関する探索ウィンドウ内で、例えば、探索ウィンドウ内のピクセルに関する確率マップを構築することによって、探索を実行することが可能である。例えば、デバイスは、ピクセルが、トラッキングされているオブジェクトに属するかどうかを決定するために、探索ウィンドウ内のそれぞれのピクセルの確率を使用することが可能である。
【0032】
デバイスが２５８においてオブジェクトを見つけ出さなかった場合には、デバイスは、探索タイマー上に時間が残っているかどうかを２６８において決定することが可能である。探索タイマー上に時間が実際に残っている場合には、デバイスは、２７０において探索ウィンドウのサイズを増やすこと、および／または確率閾値を下げること、並びにオブジェクトを求めて探索ウィンドウを探索し続けることが可能である。例えば、デバイスは、例えば、２５８においてオブジェクトが探索ウィンドウにおいて見つからない場合には、（例えば、デコードされたフレームがスクリーン上にレンダリングされることが可能になる前に十分な時間が残っている状態で）探索ウィンドウを拡大すること、および／または確率閾値を減らすことが可能である。２６８において探索タイマーが切れた場合には、デバイスは、オブジェクトのトラッキングが失われているという何らかの視覚的な手掛かりを２７２において提供すること、および２７４において終了することが可能である。例えば、デバイスは、オブジェクトのトラッキングが失われたということを示すための視覚的な手掛かりまたはインジケーションを表示することが可能であり、ユーザは、要望に応じて、トラッキングのための新たなオブジェクトを選択すること（例えば、同じオブジェクトを再選択すること）が可能である。
【0033】
デバイスは、オブジェクトが探索ウィンドウ内で見つかった場合には、ビデオフレーム内のオブジェクトの新たな位置を（例えば、さらに前のビデオフレームにおけるオブジェクトのロケーションに比較して）決定することが可能である。例えば、デバイスが２５８において探索ウィンドウ内でオブジェクトを見つけ出した場合には、デバイスは、２６０においてオブジェクトウィンドウの位置上で平滑化フィルタを使用することが可能である。例えば、デバイスは、時間とともにオブジェクトのトラッキングされた位置を平滑化するためのフィルタを、例えば、変動を最小化してユーザ経験を改善するために使用することが可能である（例えば、オブジェクト位置は広く変わる可能性がある）。デバイスは、任意のタイプの平滑化フィルタ（例えば、ローパスフィルタ、メジアンフィルタ）と、例えば、コンテンツのタイプ（例えば、映画、スポーツなど）に応じて、様々な数の過去のオブジェクト位置とを使用することが可能である。
【0034】
デバイスは、２６２においてオブジェクトの位置に基づいてオブジェクトウィンドウおよび探索ウィンドウの位置を更新することが可能である。例えば、デバイスは、例えば、トラッキングされているオブジェクトに関するＮ個の過去の位置を把握しておくことによって、フィルタを適用することが可能であり、Ｎは、オブジェクトが識別された前のビデオフレームの数である。フィルタは、１つまたは複数の過去のビデオフレームおよび／または現在のビデオフレームからのオブジェクトの位置を使用して、現在のビデオフレームに関する更新されたオブジェクト位置を、例えば、下記の式またはロジックに従って入手することが可能である。
現在のビデオフレームに関する更新された位置＝ｆｉｌｔｅｒ（現在の位置，Ｎ個の過去の位置）
現在のビデオフレームに関する更新された位置＝ｆｉｌｔｅｒ（現在の位置，Ｎ個の過去の位置）
【0035】
例においては、Ｎ＝４個の過去の位置（ｔ１、ｔ２、ｔ３、ｔ４）とともに現在の位置（ｔ０）にメジアンフィルタが適用されることが可能であり、それは、例えば、下記の結果をもたらすことが可能である。
【0036】
現在のフレームに関する更新された位置＝ｍｅｄｉａｎ｛ｐｏｓ（ｔ０），ｐｏｓ（ｔ１），ｐｏｓ（ｔ２），ｐｏｓ（ｔ３），ｐｏｓ（ｔ４）｝
【0037】
デバイスは、例えば、オブジェクトがビデオフレームを横断してあちこち移動するにつれてそれに追随するために、（例えば、フレームごとに）オブジェクトウィンドウの位置を更新することが可能である。デバイスは、（例えば、フレームごとに）探索ウィンドウの位置を更新することが可能であり、それは、オブジェクトウィンドウを中心にして囲むように配置されることが可能である。デバイスは、２６４において、オブジェクトウィンドウに含まれているビデオフレームの部分を視覚的に拡大すること（例えば、ズームすること）が可能である。デバイスは、２６６において、結果として生じるビデオフレームを、オブジェクトを含むビデオフレームの部分を含むＰＩＰウィンドウとともに表示することが可能である。例えば、デバイスは、ＰＩＰウィンドウを、（例えば、図７における例によって示されているような）固定されたウィンドウとして、または浮動ウィンドウ（例えば、オブジェクトのロケーションに基づくロケーションを有するウィンドウ。例えば、そのウィンドウは、オブジェクトがフレームを横断して移動するにつれてフレームからフレームへディスプレイスクリーンのあちこちを移動する）として表示することが可能である。
【0038】
図７は、ＰＩＰウィンドウ７０８においてズームされたトラッキングされているオブジェクト７０２を含むビデオフレーム７００の例を示している。ビデオフレーム７００は、図６のビデオフレーム６００と同じビデオフレームであることが可能であるが、オーバーレイされたＰＩＰウィンドウ７０８を含んでいる。従って、オブジェクト７０２は、オブジェクト６０２と同じであることが可能である。ＰＩＰウィンドウ７０８に含まれているビデオフレームの視覚的に拡大された部分は、探索ウィンドウ７０６の内側にあるビデオフレームの同じ視覚的に拡大された部分であることが可能である。ＰＩＰウィンドウ７０８に関するズームレベルは、例えば、ビデオフレームの特徴に基づいて、ユーザによって（例えば、利用可能なズームレベルのセットから）選ばれたものとして、などで選択されること（例えば、自動的に選択されること）が可能である。
【0039】
デバイスは、カラーヒストグラムを生成するために（例えば、ユーザ選択によって）決定されて１つまたは複数の後続フレームにおける探索のための基礎を提供するピクセルを使用することが可能である。デバイスは、ピクセルのサブセットに基づいて、例えば、オブジェクトおよび背景のセグメンテーションまたは色差閾値に基づいて、カラーヒストグラムを決定することが可能である。オブジェクトは、時間が経過するにつれてシーンのあちこちを移動する可能性があり、照明が変化する可能性があり、および／またはオブジェクトは、以前のビデオフレームにおいては見えなかった新たな情報を明らかにするようになる可能性がある。従って、より前の（例えば、最初の）カラーヒストグラムは、探索ウィンドウにおいてオブジェクトを識別する際に良好な結果をもはや生み出さない可能性がある。従って、デバイスは、ピクセルが、トラッキングされているオブジェクトの一部である確率推定を算出するために使用されるカラーヒストグラムを更新すること（例えば、後続のビデオフレームにおける情報に基づいてカラーヒストグラムを更新すること）が可能である。
【0040】
デバイスは、ビデオフレームを横断して１つまたは複数のオブジェクトをトラッキングすることが可能である。デバイスは、（例えば、リモートポインティングデバイスを使用してオブジェクトが識別される場合には）ローカルにオブジェクトをトラッキングすることが可能である。例においては、デバイスは、ビデオフレームにおいて存在する可能性がある複数のオブジェクト（例えば、同じチームのプレーヤ）のトラッキングを初期化するためにオブジェクトの選択を活用することが可能である。例えば、トラッキングするためのオブジェクトが（例えば、ポインティングを介して）選択され得る。デバイスは、例えば、逆投影を介して、オブジェクトの一部であることが可能であるピクセルを決定するための確率マップを算出することが可能である。例えば、新たな位置を探索するために、例えば、トラッキングされているオブジェクトの以前の位置の周囲のちょっとした近辺において、逆投影が使用されてよい。確率マップがビデオフレームに適用されることが可能であり、それは、類似のオブジェクト（例えば、同じチームのプレーヤ）を強調表示することが可能である。
【0041】
図８は、ビデオフレーム８００に適用されるオブジェクト確率の例を示している。図８は、１つの（例えば、単一の）オブジェクトを選択すること、および１つのフレーム（例えば、その全体）への確率マップの適用の例を示している。個々の明色の（例えば、白色の）スポットは、同じチームのプレーヤであることが可能である。示されているように、フィールドから離れて配置されている類似の色からの多大な応答がある場合がある（例えば、チームカラーのファンたち）。デバイスは、例えば、（例えば、色相を介して）フィールドの境界を識別することによって、フィールドから離れて配置されているさらなる要素（例えば、フィールドから離れている白色の要素）を拒否して（例えば、無視して）、フィールド内の明色のスポットに焦点を合わせることが可能である。
【0042】
図９は、ビデオフレーム８００のフィールドから離れている応答を除去することによって（例えば、ファンたちによって作成されている明色のスポット、マーケティングバナー、および、プレイフィールド上に配置されていないその他のオブジェクトを除去することによって）きれいにされた確率マップ９００の例を示している。デバイスは、例えば、オープニングおよびクロージングのモルフォロジカル画像処理アプリケーションを介してフィールドの領域を統一することが可能である。
【0043】
図１０は、図９の確率マップ９００を使用したオープニングおよびクロージングのモルフォロジー演算の例示的な結果１０００を示している。結果１０００において示されているように、デバイスは、選択されたチームの７人のプレーヤ（例えば、７つのオブジェクト）に対応する７つの明色のスポットを識別することが可能である。デバイスは、例えば、それぞれの対応するプレーヤのトラッキングを初期化するために、７つの明色のスポットのロケーションを使用することが可能である。デバイスは、複数の（例えば、全ての）オブジェクトに関する選択されたオブジェクトに対応するヒストグラムを再利用することが可能であり、それは、例えば、デバイスが複数のオブジェクトのそれぞれに関する個々のオブジェクトヒストグラムを再作成するのを回避することを可能にすることができる。デバイスは、複数のオブジェクト（例えば、同じチームの同じユニフォームを着たプレーヤたち）を識別すること、および、例えば、単一の初期化子の選択（例えば、単一のプレーヤの選択）に基づいて、（例えば、上述のように）オブジェクトをトラッキングすることが可能である。
【0044】
デバイスは、例えば、ビデオストリーム内で、またはビデオストリームとともに、トラッキングメタデータを受信することが可能である。デバイスは、例えば、クライアント側トラッキングに加えて、またはそれに対する代替として、１つまたは複数のオブジェクトを識別および／またはトラッキングするために（例えば、１つまたは複数のオブジェクトのロケーションを識別および／またはトラッキングするために）メタデータを使用することが可能である。例えば、ビデオブロードキャストは、例えば、クライアント側でオブジェクトのローカルトラッキングを実行することに加えて、またはそれに対する代替として、それぞれのビデオフレームにおけるオブジェクトのロケーションを記述するメタデータを含むことが可能である。例においては、境界ボックスを記述するために、Ｈ．２６４およびＨ．２６５ビデオ符号化標準における補助強化情報（ＳＥＩ）メッセージ（例えば、パンスキャン長方形ＳＥＩメッセージ）が使用されてよい。メッセージは、オブジェクト識別子に対応することが可能である境界ボックスにおけるピクセルの範囲を記述することが可能である。ビデオサーバは、例えば、クライアント側デバイスにおいてオブジェクトトラッキングリソースが限られている可能性がある場合には、より進んだオブジェクトトラッキングを使用することが可能である。複数のオブジェクトが（例えば、ビデオサーバによってリアルタイムまたはオフラインで）トラッキングされることが可能であり、それらの位置情報がブロードキャストされることが可能であり、それは、ユーザが複数のオブジェクトから選択を行うこと、およびトラッキングされているオブジェクトのリストを通じてトラッキングフォーカスを切り替えることを可能にすることをディスプレイデバイスが行うのを可能にすることができる。
【0045】
オブジェクトトラッキングを改善するための他の技術が使用されることも可能である。例えば、それぞれのビデオオブジェクト（例えば、それぞれのスポーツチームプレーヤ）が、（例えば、フットボールゲーム中に）正確なトラッキングを可能にする無線周波数識別（ＲＦＩＤ）チップを有することが可能である。ＲＦＩＤチップからの情報は、ビデオストリーム内のトラッキングされているオブジェクトの位置へ変換されることが可能である。デバイスは、ビデオストリームのブロードキャストを介してトラッキング情報を受信することができ、ＲＦＩＤチップからのロケーション情報を使用して、ビデオフレームを横断してオブジェクト（例えば、プレーヤ）をトラッキングすることが可能である。
【0046】
デバイス（例えば、クライアント）は、例えば、ビデオストリームにおいてサーバからオブジェクトトラッキング情報を受信しているときに、ビデオビットストリームから情報を抽出すること（例えば、ＳＥＩメッセージを抽出すること）が可能である。トラッキング情報は、例えば、ビデオフレーム内のオブジェクトのロケーション、「オブジェクトボックス」のサイズ、および／または関連のある可能性があるその他の（例えば、さらなるまたは代替の）メタデータ（例えば、オブジェクト識別子、プレーヤの名前または位置、プレーヤが属するチームの名前など）を含むことが可能である。デバイスは、例えば、図１１において示されているように、スクリーン上のオブジェクトのサブセット上にボックスをオーバーレイすることが可能である。
【0047】
図１１は、メタデータから入手された情報を使用して複数のオブジェクトをトラッキングする例を示している。例えば、デバイスは、オブジェクト１１０２をトラッキングすることが可能であり、トラッキングされているオブジェクト１１０２を、ビデオフレームの一部分とトラッキングされているオブジェクト１１０２とを含むウィンドウ１１０４内に表示することが可能である。デバイスは、オブジェクト１１１２をトラッキングすることが可能であり、トラッキングされているオブジェクト１１１２を、ビデオフレームの一部分とトラッキングされているオブジェクト１１１２とを含むウィンドウ１１１４内に表示することが可能である。さらに、デバイスは、オブジェクト１１２２をトラッキングすることが可能であり、トラッキングされているオブジェクト１１２２を、ビデオフレームの一部分とトラッキングされているオブジェクト１１２２とを含むウィンドウ１１２４内に表示することが可能である。オブジェクト１１０２、１１１２、１１２２は、クライアントによって（例えば、チームのプレーヤたち、チームの最も重要なプレーヤたち等など、固定されることまたは選択できることが可能である１つまたは複数の基準に基づいて）選択され得る。オブジェクト１１０２、１１１２、１１２２は、ユーザによって好み（例えば、ユーザ定義）に基づいて、または選択肢のメニューから選択を行うことによって選ばれることが可能である。ユーザは、トラッキングするためのオブジェクト１１０２、１１１２、１１２２を選択することが可能である。デバイスは、ビデオフレームを横断してオブジェクト１１０２、１１１２、１１２２をトラッキングすることが可能であり、トラッキングされているオブジェクトを含むウィンドウをそれぞれの各フレームにおいて表示することが可能である。
【0048】
デバイスは、オブジェクトを視覚的に拡大すること（例えば、ズームすること）が可能であり、視覚的に拡大されたオブジェクトを、例えば、図１２において示されているように、ディスプレイ上のＰＩＰウィンドウ内に表示することが可能である。図１２は、オブジェクト１２２２を囲んでいるウィンドウ１２２４と、ビデオフレーム１２００からのオブジェクト１２３２の視覚的に拡大されたコピーを示すＰＩＰウィンドウ１２３０とを含むビデオフレーム１２００の例を示している。固定されたＰＩＰウィンドウ１２３０として示されている（例えば、ＰＩＰウィンドウ１２３０は、固定されたロケーション、例えば、右下にある）が、デバイスは、オブジェクト１２２２にオーバーレイする浮動するＰＩＰを表示することが可能であるということを理解されたい。ビデオフレーム１２００は、ビデオフレーム１１００と同じであることが可能であるが、ＰＩＰウィンドウ１２３０が含まれており、ウィンドウ１１０４、１１１４が除去されているということを理解されたい。さらに、ＰＩＰウィンドウ１２３０は、オブジェクト１２３２の視覚的に拡大されたバージョンを示しているが、ある例においては、ＰＩＰウィンドウ１２３０は、オブジェクト１２２２がＰＩＰウィンドウ１２３０内で視覚的に拡大されないようにサイズ設定および構成されることが可能である。
【0049】
デバイスは、ユーザがオブジェクト（例えば、ＰＩＰウィンドウ内に配置されているオブジェクト）と対話することを可能にすることができる。デバイスは、トラッキングされているオブジェクトに関する強化された情報を含むメタデータを受信することが可能である。例においては、メタデータは、例えば、映画における女優の名前、またはＮＦＬゲームにおけるプレーヤのリアルタイム統計を含むことが可能である。デバイスは、ユーザがＰＩＰにおけるオブジェクトと対話してオブジェクトに関するさらなる情報を入手することを可能にすることができる。例においては、メタデータは、情報をデータベース（例えば、ローカルもしくはリモートデータベース）に、またはウェブサイトに要求するためにデバイスによって使用されてよいオブジェクト識別子を含むことが可能である。デバイスは、例えば、ＰＩＰにおいて示されているオブジェクトに対応することが可能であるオブジェクト識別子をメタデータからフェッチすることが可能である。デバイスは、利用可能な情報をデータベースまたはウェブサイトに要求することが可能であり、ディスプレイスクリーン上に（例えば、メインまたはＰＩＰウィンドウにおいて、その中のメニューにおいてなどで）情報を提示することが可能である。デバイスは、スクリーンの固定されたロケーションにおいて、または対応するトラッキングされているオブジェクトの位置に追随することが可能である浮動するオーバーレイにおいて、情報を表示することが可能である。デバイスは、例えば、スクリーンの周辺（例えば、底部）において示されるニュースクロールと同様に、自動的にユーザ／視聴者へ情報を提示することが可能である。ユーザ／視聴者の関心のあるオブジェクトに関する情報をＰＩＰにおいて提示することは、無関係である可能性がある一般的な情報を提示すること、またはいかなる情報も提示しないことに比較して、ユーザ／視聴者に関連のある情報を提示することが可能である。この機能は、ユーザの関心を引くこと、およびパーソナライズ感を作り出すことが可能である。
【0050】
例においては、デバイスは、第２のスクリーン（例えば、第２のＴＶスクリーン、スマートフォン、タブレットなど）の上にＰＩＰを表示するシステムにおいて使用されることが可能であり、それは、ＴＶスクリーン上のスペースの一部分を遮るのを回避することが可能である。第２のスクリーンは、ユーザとの強化された対話（例えば、映画において女優によって着用されている衣服を求めるショッピング）を可能にすることができ、それは、ブロードキャスト情報に関する一種の直接または間接の広告および収益を提供することが可能である。
【0051】
デバイスは、固定されたロケーションにおいてＰＩＰを表示することが可能であり、またはＰＩＰは、（例えば、オブジェクトのロケーションに基づいて）オブジェクトとともにスクリーンのあちこちを浮動することが可能である。デバイスは、（例えば、オブジェクト認識またはメタデータに基づいて）オブジェクトトラッキング情報を受信することが可能であり、デバイスは、オブジェクトトラッキング情報を使用してＰＩＰウィンドウを生成することが可能である。ある例においては、ＰＩＰウィンドウは、オブジェクトのロケーションにかかわらずに、固定されたロケーション（例えば、スクリーンの右下）において保持されることが可能である。デバイスは、例えば、図１２におけるＰＩＰウィンドウ１２３０によって示されているように、トラッキングされているコンテンツを、固定されたＰＩＰロケーションへとマップすることが可能である。ＰＩＰコンテンツは、例えば、ローカルにトラッキングされているオブジェクトの位置情報、および／またはビデオコンテンツとともに受信されることが可能であるトラッキングメタデータを使用して、トラッキングされているオブジェクト１２２２に追随することが可能である。ＰＩＰウィンドウ１２３０内のビデオフレームの部分は、例えば、図１２において示されているように、（例えば、視聴者によって選ばれることが可能である様々な係数によって）拡大されることが可能である。さらに、ある例においては、ＰＩＰウィンドウ１２３０は、ＰＩＰウィンドウ１２３０内でオブジェクト１２２２が視覚的に拡大されないようにサイズ設定および構成されることが可能である。
【0052】
デバイスは、浮動するＰＩＰウィンドウを表示することが可能であり、例えば、浮動するＰＩＰウィンドウのロケーションは、トラッキングされているオブジェクトのロケーションに基づく。デバイスは、（例えば、ローカルなオブジェクト認識または受信されたメタデータに基づいて）オブジェクトトラッキング情報を受信することが可能であり、デバイスは、（例えば、ローカルなオブジェクト認識または受信されたメタデータに基づいて）オブジェクトトラッキング情報を使用してＰＩＰウィンドウに関するロケーションを決定することが可能である。
【0053】
図１３は、トラッキングされているオブジェクト１３０２を含む浮動するＰＩＰウィンドウ１３０４を含むビデオフレーム１３００の例を示している。デバイスは、トラッキングされているオブジェクト１３０２の上に、浮動するＰＩＰウィンドウ１３０４を表示することが可能である。デバイスは、（例えば、ローカルなオブジェクト認識または受信されたメタデータに基づいて、）トラッキングされているオブジェクト１３０２のロケーションを決定すること、およびトラッキングされているオブジェクト１３０２のロケーションに基づいて、浮動するＰＩＰウィンドウ１３０４のロケーションを決定することが可能である。従って、ある例においては、ＰＩＰウィンドウ１３０４の位置は、オブジェクト１３０２がビデオフレームを横断してディスプレイスクリーンのあちこちを移動するにつれてオブジェクト１３０２に追随することが可能である。例えば、デバイスは、オブジェクト１３０２の上に（例えば、オブジェクト１３０２の中心の上に）直接ＰＩＰウィンドウ１３０４を表示することが可能であり、それによって元のトラッキングされているオブジェクト１３０２を隠し、または代替として、デバイスは、トラッキングされているオブジェクト１３０２のロケーションに基づくロケーション（例えば、ディスプレイスクリーンの４つのコーナーのうちの１つ）において（例えば、トラッキングされているオブジェクト１３０２に最も近いコーナーにおいて）ＰＩＰウィンドウ１３０４を表示することが可能である。さらに、示されているように、ＰＩＰウィンドウ１３０４内のビデオフレームの部分は、（例えば、オブジェクト１３０２そのものを含んで）視覚的に拡大されることが可能である。しかしながら、ある例においては、ＰＩＰウィンドウ１３０４は、ＰＩＰウィンドウ１３０４内でオブジェクト１３０２が視覚的に拡大されないようにサイズ設定および構成されることが可能である。
【0054】
デバイスは、ユーザが、例えば、１つまたは複数のトラッキングされているオブジェクトを選択するために（例えば、ＰＩＰウィンドウにおいてトラッキングおよび／またはズームされているオブジェクトを切り替えるために、アクティブにトラッキングされているオブジェクトのリストからオブジェクトを除去するためになどで）複数のトラッキングされているオブジェクトを繰り返し表示することを可能にすることができる。図１４は、ユーザが複数のトラッキングされているオブジェクト１～Ｎを繰り返し表示することを可能にするためにデバイスによって実行される例示的なプロセス１４００を示している。オブジェクトは、例えば、サーバによって（例えば、メタデータは、トラッキングされているオブジェクトがリストにおいてどのように順序付けられることが可能であるかに関する情報を含むことが可能である）、および／またはクライアントもしくはユーザによって、リストにおいて順序付けられることが可能である。デバイスは、（例えば、メタデータにおけるトラッキング情報を受信した後に）ユーザの好みに基づいて（例えば、アルファベット順に、チーム別に、ユーザ選択によって、および／または利用可能なオブジェクトのサブセットの順序付けによってなどで）、トラッキングされているオブジェクトを順序付けることが可能である。代替として、または追加として、デバイスは、（例えば、オブジェクトＩＤに基づいて、）トラッキングされているオブジェクトのリストを作成するために１つまたは複数の手順を使用することが可能である。Ｎ個のオブジェクトがビデオフレームを横断してトラッキングされることが可能である例においては、デバイスは、ＰＩＰにおいてズームするためのオブジェクト（例えば、オブジェクトｉ）をユーザが選択することを可能にすることができる。ユーザは、例えば、動いているビデオまたは一時停止されたビデオフレームから１つまたは複数のオブジェクトを選択することによってオブジェクトを選択すること（例えば、１つまたは複数のオブジェクトを選択すると再開する再生を伴う）が可能である。
【0055】
いったんリストが作成されて、ユーザが、ＰＩＰウィンドウのための選択用のオブジェクトを繰り返し表示する用意ができたら、デバイスは、焦点ウィンドウを生成することが可能である。デバイスは、選択用の現在のオブジェクトをユーザに示すために焦点ウィンドウ内にオブジェクトを表示することが可能である。焦点ウィンドウは、例えば、ＰＩＰウィンドウと同様に見えることが可能である（例えば、ただし、オブジェクトを含むビデオフレームの部分の視覚的な拡大は伴わない）。いくつかの例においては、焦点ウィンドウは、ＰＩＰウィンドウとは異なる色または形状のものであることが可能である。デバイスは、ユーザがリスト（例えば、リスト１４０２）に従ってオブジェクトを繰り返し表示することを可能にすることができ、オブジェクト１～Ｎは、それぞれの焦点ウィンドウを通じて繰り返し表示される。例えば、ユーザが繰り返し表示するにつれて、焦点ウィンドウ内のオブジェクトは、（例えば、ユーザ入力に基づいて）リストからの次のトラッキングされるオブジェクトになる可能性がある。デバイスは、リストの終わりに達すると、例えば、図１４において示されているように、リストの始めに戻ることが可能である。焦点ウィンドウの位置は、固定されること（例えば、常にスクリーンのコーナーにあること）が可能であり、または（例えば、焦点ウィンドウによって強調表示されたオブジェクトのロケーションに基づいて）浮動していることが可能である。
【0056】
デバイスは、１つまたは複数のＰＩＰの進んだ機能を実行することが可能であり、それらは、複数のＰＩＰウィンドウを結合すること、ＰＩＰウィンドウを複数のＰＩＰウィンドウへと分割すること、ＰＩＰウィンドウ内のコンテンツを一時停止すること、ＰＩＰウィンドウのコンテンツを拡大または最小化すること、ＰＩＰウィンドウ内のコンテンツに時間遅延を提供すること、ソーシャルメディアをＰＩＰウィンドウ内にまたはＰＩＰウィンドウとともに組み込むこと、（例えば、ユーザ選択に基づいて）ＰＩＰウィンドウを再配置すること等などであるが、それらには限定されない。
【0057】
図１５Ａ～図１５Ｆは、複数のトラッキングされているオブジェクトに関する複数のＰＩＰウィンドウを結合することの例を提供している。図１５Ａは、複数のトラッキングされているオブジェクトを含む例示的なビデオフレーム１５００を示している。図１５Ｂは、複数のトラッキングされているオブジェクトに対応する複数のズームＰＩＰウィンドウを含む例示的なビデオフレーム１５００’を示している。図１５Ｃは、トラッキングされているオブジェクトが互いに近づくにつれて重なる複数のズームＰＩＰウィンドウを含む例示的なビデオフレーム１５３０を示している。図１５Ｄは、互いに重なっている複数のトラッキングされているオブジェクトを含むビデオフレーム１５３２の例を示している。図１５Ｅは、複数の重なっているオブジェクトを含む結合されたＰＩＰウィンドウを含む例示的なビデオフレーム１５３２’を示している。図１５Ｆは、複数の重なっているオブジェクトを含む結合されたＰＩＰウィンドウを含む例示的なビデオフレーム１５３２’’を示している。
【0058】
デバイスは、複数のビデオフレームを横断して関心のある複数のオブジェクトをトラッキングすることが可能である。デバイスは、（例えば、デバイスにおいて）オブジェクト認識技術を使用して、および／または（例えば、ビデオストリームもしくはブロードキャストの一部として受信されることが可能である）メタデータに基づいて、オブジェクトトラッキング（例えば、それぞれのビデオフレーム内でオブジェクトを識別すること、および／またはオブジェクトのロケーションを決定すること）を実行することが可能である。デバイスは、同時表示（例えば、ズームされているまたはズームされていない表示）のために複数のトラックオブジェクトを選択することが可能であり、および／またはそれらのトラックオブジェクトをユーザが選択することを可能にすることができる。デバイスは、複数のトラッキングされているオブジェクトに関して複数のＰＩＰウィンドウ（例えば、浮動するまたは固定されたＰＩＰウィンドウ）を表示することが可能である。例えば、図１５Ａのビデオフレーム１５００を参照すると、デバイスは、オブジェクト１５０２、１５１２、１５２２をトラッキングすることが可能であり、トラッキングされているオブジェクト１５０２、１５１２、１５２２のそれぞれに関して、デバイスは、ウィンドウ１５０４、１５１４、１５２４など、オブジェクトを囲んでウィンドウを表示することが可能である。さらに、デバイスは、ウィンドウ内のトラッキングされているオブジェクトを含むフレームの部分を視覚的に拡大することが可能である。例えば、デバイスは、トラッキングされているオブジェクト１５０２、１５１２、１５２２をそれぞれ含むビデオフレームの視覚的に拡大された部分を表示するウィンドウ１５０６、１５１６、１５２６を含むフレーム１５００’を表示することが可能である。図１５Ａのウィンドウ１５０４、１５１４、１５２４、および図１５Ｂのウィンドウ１５０６、１５１６、１５２６のロケーションは、それぞれの各オブジェクト１５０２、１５１２、１５２２のロケーションに基づいて決定されること（例えば、オブジェクトの上に中心を置かれて、ビデオフレームを横断してオブジェクトとともに移動すること）が可能であるということを理解されたい。
【0059】
デバイスは、ビデオフレームを横断して移動する（すなわち、複数のビデオフレームが時間とともに順次表示されるにつれて移動する）複数の浮動するＰＩＰウィンドウ（例えば、それぞれのトラッキングされているオブジェクトごとに１つ）を表示することが可能である。例えば、浮動するＰＩＰウィンドウは、それらの浮動するＰＩＰウィンドウのそれぞれに関連付けられているトラッキングされているオブジェクトの移動に従って、互いに独立して移動することが可能である。いくつかの例においては、トラッキングされているオブジェクトが時間とともに（例えば、ビデオフレームを横断して）移動するにつれて、トラッキングされているオブジェクトに関連付けられているＰＩＰウィンドウは、ともに近づくまたは重なる場合があり、それは、１つまたは複数のＰＩＰウィンドウを塞ぐ場合がある。
【0060】
例えば、図１５Ｃのビデオフレーム１５３０を参照すると、オブジェクト１５０２および１５１２にそれぞれ関連付けられているウィンドウ１５０８および１５１８が重なっており、その一方で、オブジェクト１５２２に関連付けられているウィンドウ１５２８は、別のウィンドウと重なっていない。２つ以上のオブジェクトが近づく場合があり、それらの浮動するＰＩＰウィンドウが（例えば、やはり）ともに近づく、または重なり始める場合がある。デバイスは、複数のトラッキングされているオブジェクトのＰＩＰウィンドウを単一の、より大きなＰＩＰウィンドウ（例えば、マージされたＰＩＰウィンドウ）へと合併することが可能であり、それは、例えば、図１５Ｄ～図１５Ｆにおいて示されているように、複数のオブジェクト（例えば、結合されたＰＩＰウィンドウに関連付けられているオブジェクト）のズームされたビューを含むことが可能である。
【0061】
図１５Ｄのビデオフレーム１５３２を参照すると、デバイスは、互いに重なるウィンドウ１５５２、１５６２、１５７２（例えば、探索ウィンドウまたはＰＩＰウィンドウ）を有する複数のオブジェクト１５０２、１５１２、１５２２をトラッキングすることが可能である。デバイスは、それぞれのトラッキングされているオブジェクトを含むマージされたＰＩＰウィンドウを生成することが可能である。例えば、図１５Ｅのビデオフレーム１５３２’を参照すると、デバイスは、トラッキングされているオブジェクト１５０２、１５１２、１５２２を含むマージされたＰＩＰウィンドウ１５５０を生成および表示することが可能である。デバイスは、トラッキングされているオブジェクト１５０２、１５１２、１５２２のロケーションに基づいて、マージされたＰＩＰウィンドウのロケーションを決定することが可能である（例えば、それによって、トラッキングされているオブジェクト１５０２、１５１２、１５２２は、ＰＩＰウィンドウ内の比較的中心に置かれる）。いくつかの例においては、マージされたＰＩＰウィンドウは、下にあるトラッキングされているオブジェクトを含むビデオフレームの拡大された部分を表示することが可能である。例えば、図１５Ｆのビデオフレーム１５３２’’を参照すると、デバイスは、トラッキングされているオブジェクト１５０２、１５２１、１５２２を含むビデオフレーム１５３２’’の視覚的に拡大された部分を含むマージされたＰＩＰウィンドウ１５６０を生成および表示することが可能である。マージされたＰＩＰウィンドウは、（例えば、図１５Ｅ～図１５Ｆにおいて示されているように）浮動していることが可能であり、または事前に決定されたロケーションにおいて（例えば、ビデオフレームのコーナーにおいて）固定されることが可能である。例えば、さらなるビデオフレームが表示されるにつれて、マージされたＰＩＰウィンドウは、対応するトラッキングされているオブジェクト１５０２、１５１２、１５２２とともに移動することが可能である。
【0062】
デバイスは、例えば、トラッキングされているオブジェクト１５０２、１５１２、１５２２のうちの１つまたは複数が互いから離れて移動する場合には、マージされたＰＩＰウィンドウを２つ以上の個々のＰＩＰウィンドウへと分割することが可能であり、それらのそれぞれのＰＩＰウィンドウが（例えば、１つまたは複数の近接度閾値に基づいて）別々のＰＩＰウィンドウとして表示された場合には、それらはもはや重なっていない。ＰＩＰウィンドウが浮動している場合には、分割した後に、ＰＩＰウィンドウは、下にあるトラッキングされているオブジェクト１５０２、１５１２、１５２２の動きに従って（例えば、再び）独立して移動することが可能である。
【0063】
デバイスは、例えば、２つ以上の対応する浮動するＰＩＰウィンドウをマージするかどうかを決定するために、個々のトラッキングされているオブジェクトの近さまたは隔たりの１つまたは複数の度合いを指定すること（例えば、オブジェクト位置間における距離を第１の距離閾値に比較すること）が可能である近接度閾値を使用することが可能である。代替として、または追加として、デバイスは、表示されているＰＩＰウィンドウの重なりの検知に基づいて、ＰＩＰウィンドウをマージすることを決定することが可能である。デバイスは、例えば、マージされた（例えば、浮動する）ＰＩＰウィンドウを２つ以上のコンポーネントＰＩＰウィンドウへと分割するかどうかを決定する場合に、個々のトラッキングされているオブジェクトの隔たりまたは近さの何らかの度合いを指定すること（例えば、オブジェクト位置間における距離を第２の距離閾値に比較すること）が可能である近接度閾値を使用することが可能である。代替として、または追加として、デバイスは、例えば、分割から生じるであろう２つ以上のコンポーネントＰＩＰウィンドウがビデオフレーム内で空間的に重ならないことが可能である（例えば、重ならないであろう）という決定に基づいて、マージされた（例えば、浮動する）ＰＩＰウィンドウを分割することを決定することが可能である。
【0064】
デバイスは、例えば、ユーザのコマンド（例えば、トラッキングおよび／またはズームされるオブジェクトの選択）に基づいて、ビデオフレームの一時停止およびズームを実行することが可能である。例えば、デバイスは、例えばユーザのコマンドに基づいて、ビデオフレームを一時停止することが可能である。ユーザは、ビデオフレームのあちこちにズームの焦点を移動させることが可能である。この機能は、例えばスポーツを観ている間に、有用である場合があり、ユーザが、例えばプレーヤたちの位置（例えば、フィールドにおける、コート上での）を観察するために、アクションを停止してメインウィンドウにおけるオブジェクトたちを見回すことを可能にする。デバイスは、（例えば、放送されているビデオを見続ける目的で）ライブビデオを見せるためにＰＩＰウィンドウを使用することが可能であり、その一方で別のＰＩＰウィンドウは、一時停止されたビデオフレーム上にズームインするために使用されてよい。
【0065】
デバイスは、ビデオコンテンツの複数のフレームにわたってＰＩＰウィンドウ内にオブジェクトの時間遅延されたバージョンを表示することが可能である。それぞれのフレーム内のＰＩＰウィンドウのロケーションは、固定されること（例えば、事前に決定されて、それぞれのフレーム内のオブジェクトのロケーションに結合されていないこと）が可能であり、またはそれぞれのフレーム内のオブジェクトのロケーションに基づくこと（例えば、オブジェクトのロケーションに基づいてそれぞれのビデオフレーム間で「浮動すること」、オブジェクトに対して最も近いコーナー内に配置されることなど）が可能である。さらに、ＰＩＰウィンドウ内のオブジェクトの時間遅延されたバージョンは、（例えば、ＰＩＰウィンドウによって取り込まれた周囲のビデオフレームとともに）視覚的に拡大されることが可能である。例えば、デバイスは、時間的に後続のビデオフレーム内の（例えば、またはそれと重なる）ビデオフレームの一部分を含む第１のＰＩＰウィンドウを表示することが可能である。すなわち、いくつかの例においては、デバイスは、（例えば、数秒だけ）遅れた視覚的に拡大されたコンテンツを伴うＰＩＰウィンドウを表示して、例えば、ユーザがメインウィンドウに注意を払って、重要なプレイまたはシーンを識別した後にＰＩＰウィンドウを見ることを可能にすることができる。ＰＩＰウィンドウのロケーションは、事前に決定されたロケーション（例えば、ディスプレイのコーナーなど）の中に固定されることが可能である。デバイスは、ある数のフレーム（例えば、１２０フレーム、３０ＨｚのＴＶ放送において４秒に相当する）にわたってオブジェクトを含むウィンドウを保存することが可能であり、ある遅延（例えば、４秒）を伴って時間遅延されたＰＩＰウィンドウを含む後続のビデオフレームを表示することが可能である。ある例においては、デバイスは、ユーザがＰＩＰウィンドウ（例えば、時間遅延されたＰＩＰウィンドウ）のオン／オフを切り替えることを可能にすることができる。
【0066】
デバイスは、ＰＩＰウィンドウのコンテンツがソーシャルメディアとともに使用されることを可能にすることができる。例えば、ユーザは、ＴＶ放送からの関心のある何かを友達と共有したい場合がある。デバイスは、ユーザがリモコンを使用してＰＩＰウィンドウのスクリーンショットを撮ることを可能にすることができる。ユーザは、スクリーンショットに注釈を付けること、その上に描くこと、効果を加えることなどが可能である。デバイスは、ユーザがＰＩＰウィンドウのもとのまたは修正された（例えば、注釈を付けられた）スクリーンショットを、例えば、公正な使用のコンテキストにおいて、または宣伝のコンテキストにおいて（例えば、ソーシャルメディアを介して）他者と共有することを可能にすることができる。例えば、コンテンツプロバイダたちは、彼らのコンテンツの部分を、マーケティングの（例えば、新たなショーもしくは映画に関する情報を作成する）目的で、またはコンテスト（例えば、ショーにおけるお気に入りの瞬間、もしくは競技会におけるお気に入りの歌手に関する投票）の一部としてユーザたちが共有することを可能にしたい場合がある。デバイスは、（例えば、ソーシャルメディアでの共有を可能にするために）ＰＩＰウィンドウのスクリーンショットをＴＶからモバイルデバイスにおけるリンクされているアプリへ送って、ユーザがそれをソーシャルメディアにおいて共有することを可能にすることができる。
【0067】
デバイスは、（例えば、固定されたＰＩＰウィンドウのコンテキストにおいて）ユーザがＰＩＰウィンドウのロケーションを再配置することを可能にすることができる。例えば、ユーザは、スクリーンの底部において示されている情報に関心がある場合がある。デバイスは、ユーザが（例えば、関心のある情報を見るために、）固定されたＰＩＰウィンドウの位置をスクリーンの別の部分へ移動させることを可能にすることができる。いくつかの例においては、デバイスは、例えば、トラッキングされているオブジェクトの現在のロケーションに基づいて（例えば、あるコーナーにオブジェクトが近づきすぎた場合には、デバイスは、ＰＩＰウィンドウを別のコーナーへ切り替えることが可能である）、下にあるビデオコンテンツからの情報に基づいて（例えば、ゲームのスコアまたはプレーヤ情報が右下に表示された場合には、デバイスは、ＰＩＰウィンドウのロケーションを切り替えて、そのコンテンツと重なるのを回避することが可能である）などで、ＰＩＰウィンドウのロケーションを切り替えることを自動的に決定することが可能である。さらに、ある例においては、ユーザは、リモコンを使用してＰＩＰ再配置機能をアクティブ化することが可能である。デバイスは、ユーザによって示されることが可能である新たなロケーションへＰＩＰウィンドウを移動させることが可能である。新たなロケーションは、別の固定されたＰＩＰウィンドウロケーション（例えば、ディスプレイの別のコーナーまたはエッジ）であることが可能である。固定されたＰＩＰウィンドウは、（例えば、代替として、または追加として）「浮動する」ＰＩＰウィンドウへ変換されることが可能であり、それは、対応するトラッキングされているオブジェクト位置に基づいて（例えば、そこに中心を置かれて）配置されることが可能である。
【0068】
図１６Ａは、１つまたは複数の開示されている実施形態が実施され得る例示的な通信システム１００を示す図である。通信システム１００は、コンテンツ、例えば、音声、データ、ビデオ、メッセージング、放送などを複数の無線ユーザに提供する多元アクセスシステムであることが可能である。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム１００は、１つまたは複数のチャネルアクセス方法、例えば、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ－Ｓｐｒｅａｄ ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ－ＯＦＤＭ）、リソースブロックフィルタードＯＦＤＭ、フィルタバンクマルチキャリア（ＦＢＭＣ）などを採用することが可能である。
【0069】
図１６Ａにおいて示されているように、通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、ＲＡＮ１０４／１１３、ＣＮ１０６／１１５、公衆交換電話ネットワーク（ＰＳＴＮ）１０８、インターネット１１０、および他のネットワーク１１２を含むことが可能であるが、開示されている実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を想定しているということが理解されるであろう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれは、無線環境において動作および／または通信するように構成されている任意のタイプのデバイスであることが可能である。例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ（これらのいずれも、「ステーション」および／または「ＳＴＡ」と呼ばれることが可能である）は、無線信号を送信および／または受信するように構成されることが可能であり、ユーザ機器（ＵＥ）、移動局、固定式または移動式のサブスクライバーユニット、サブスクリプションベースのユニット、ページャー、セルラー電話、ＰＤＡ、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはＭｉ－Ｆｉデバイス、ＩｏＴデバイス、腕時計またはその他のウェアラブル、ヘッドマウントディスプレイ（ＨＭＤ）、乗り物、ドローン、医療デバイスおよびアプリケーション（例えば、遠隔手術）、工業デバイスおよびアプリケーション（例えば、工業および／または自動化された処理チェーンのコンテキストにおいて動作するロボットおよび／またはその他の無線デバイス）、家庭用電子機器、商業および／または工業無線ネットワーク上で動作するデバイスなどを含むことが可能である。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および１０２ｄのいずれも、ＵＥと言い換え可能に呼ばれることが可能である。
【0070】
通信システム１００は、基地局１１４ａおよび／または基地局１１４ｂを含むことも可能である。基地局１１４ａ、１１４ｂのそれぞれは、１つまたは複数の通信ネットワーク、例えば、ＣＮ１０６／１１５、インターネット１１０、および／または他のネットワーク１１２へのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つとワイヤレスにインターフェース接続するように構成されている任意のタイプのデバイスであることが可能である。例えば、基地局１１４ａ、１１４ｂは、ベーストランシーバステーション（ＢＴＳ）、Ｎｏｄｅ－Ｂ、ｅＮｏｄｅ Ｂ、ホームＮｏｄｅ Ｂ、ホームｅＮｏｄｅ Ｂ、ｇＮＢ、ＮＲ ＮｏｄｅＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータなどであることが可能である。基地局１１４ａ、１１４ｂは、それぞれ単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことが可能であるということが理解されるであろう。
【0071】
基地局１１４ａは、ＲＡＮ１０４／１１３の一部であることが可能であり、ＲＡＮ１０４／１１３は、その他の基地局および／またはネットワーク要素（図示せず）、例えば、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどを含むことも可能である。基地局１１４ａおよび／または基地局１１４ｂは、１つまたは複数のキャリア周波数上で無線信号を送信および／または受信するように構成されることが可能であり、それらのキャリア周波数は、セル（図示せず）と呼ばれることが可能である。これらの周波数は、ライセンス供与されているスペクトル、ライセンス供与されていないスペクトル、またはライセンス供与されているスペクトルと、ライセンス供与されていないスペクトルとの組合せであることが可能である。セルは、比較的固定されることが可能である、または時間とともに変わることが可能である特定の地理的エリアへの無線サービスのためのカバレッジを提供することが可能である。セルは、セルセクタにさらに分割されることが可能である。例えば、基地局１１４ａに関連付けられているセルは、３つのセクタへと分割されることが可能である。従って、一実施形態においては、基地局１１４ａは、３つのトランシーバ、すなわち、セルのそれぞれのセクタごとに１つのトランシーバを含むことが可能である。実施形態においては、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を採用することが可能であり、セルのそれぞれのセクタごとに複数のトランシーバを利用することが可能である。例えば、所望の空間方向において信号を送信および／または受信するためにビームフォーミングが使用されてよい。
【0072】
基地局１１４ａ、１１４ｂは、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数と通信することが可能であり、エアインターフェース１１６は、任意の適切な無線通信リンク（例えば、無線周波数（ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であることが可能である。エアインターフェース１１６は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立されることが可能である。
【0073】
より具体的には、上述されているように、通信システム１００は、多元アクセスシステムであることが可能であり、１つまたは複数のチャネルアクセス方式、例えば、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡなどを採用することが可能である。例えば、ＲＡＮ１０４／１１３における基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ユニバーサルモバイルテレコミュニケーションズシステム（ＵＭＴＳ）テレストリアルラジオアクセス（ＵＴＲＡ）などの無線技術を実施することが可能であり、この無線技術は、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインターフェース１１５／１１６／１１７を確立することが可能である。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／またはエボルブドＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことが可能である。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）および／または高速ＵＬパケットアクセス（ＨＳＵＰＡ）を含むことが可能である。
【0074】
実施形態においては、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ－Ａ）および／またはＬＴＥアドバンストプロ（ＬＴＥ－Ａ Ｐｒｏ）を使用してエアインターフェース１１６を確立することが可能であるエボルブドＵＭＴＳテレストリアル無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実施することが可能である。
【0075】
実施形態においては、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、新無線（ＮＲ）を使用してエアインターフェース１１６を確立することが可能であるＮＲ無線アクセスなどの無線技術を実施することが可能である。
【0076】
実施形態においては、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実施することが可能である。例えば、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、例えばデュアル接続（ＤＣ）原理を使用して、ＬＴＥ無線アクセスおよびＮＲ無線アクセスをともに実施することが可能である。従って、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、および／または複数のタイプの基地局（例えば、ｅＮＢおよびｇＮＢ）へ／から送られる送信によって特徴付けられることが可能である。
【0077】
他の実施形態においては、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、無線技術、例えば、ＩＥＥＥ８０２．１１（すなわち、ＷｉＦｉ（Wireless Fidelity）、ＩＥＥＥ８０２．１６（すなわち、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ＥＶ－ＤＯ、暫定標準２０００（ＩＳ－２０００）、暫定標準９５（ＩＳ－９５）、暫定標準８５６（ＩＳ－８５６）、ＧＳＭ（登録商標）（Global System for Mobile Communications）、ＥＤＧＥ（(Enhanced Data Rates for GSM Evolution）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などを実施することが可能である。
【0078】
図１６Ａにおける基地局１１４ｂは、例えば、無線ルータ、ホームＮｏｄｅ Ｂ、ホームｅＮｏｄｅ Ｂ、またはアクセスポイントであることが可能であり、局所的なエリア、例えば、事業所、家庭、乗り物、キャンパス、工業施設、空中回廊（例えば、ドローンによる使用のための）、車道などにおける無線接続を容易にするために、任意の適切なＲＡＴを利用することが可能である。一実施形態においては、基地局１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立するために、ＩＥＥＥ８０２．１１などの無線技術を実施することが可能である。実施形態においては、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立するために、ＩＥＥＥ８０２．１５などの無線技術を実施することが可能である。さらに別の実施形態においては、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、ピコセルまたはフェムトセルを確立するために、セルラーベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用することが可能である。図１６Ａにおいて示されているように、基地局１１４ｂは、インターネット１１０への直接接続を有することが可能である。従って、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスすることを求められないことが可能である。
【0079】
ＲＡＮ１０４／１１３は、ＣＮ１０６／１１５と通信状態にあることが可能であり、ＣＮ１０６／１１５は、音声、データ、アプリケーション、および／またはＶｏＩＰサービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数に提供するように構成されている任意のタイプのネットワークであることが可能である。データは、様々なサービス品質（ＱｏＳ）要件、例えば、別々のスループット要件、待ち時間要件、エラー許容範囲要件、信頼性要件、データスループット要件、モビリティー要件などを有することが可能である。ＣＮ１０６／１１５は、呼制御、料金請求サービス、モバイル位置情報サービス、プリペイドコーリング、インターネット接続、ビデオ配信などを提供すること、および／またはハイレベルセキュリティー機能、例えばユーザ認証を実行することが可能である。図１６Ａにおいては示されていないが、ＲＡＮ１０４／１１３および／またはＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを採用しているその他のＲＡＮと直接または間接の通信状態にあることが可能であるということが理解されるであろう。例えば、ＣＮ１０６／１１５は、ＮＲ無線技術を利用していることが可能であるＲＡＮ１０４／１１３に接続されていることに加えて、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、またはＷｉＦｉ無線技術を採用している別のＲＡＮ（図示せず）と通信状態にあることも可能である。
【0080】
ＣＮ１０６／１１５は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄがＰＳＴＮ１０８、インターネット１１０、および／またはその他のネットワーク１１２にアクセスするためのゲートウェイとしての役割を果たすことも可能である。ＰＳＴＮ１０８は、単純旧式電話サービス（ＰＯＴＳ）を提供する回線交換電話ネットワークを含むことが可能である。インターネット１１０は、一般的な通信プロトコル、例えば、ＴＣＰ／ＩＰインターネットプロトコルスイートにおけるＴＣＰ、ＵＤＰ、および／またはＩＰを使用する相互接続されたコンピュータネットワークおよびデバイスからなるグローバルシステムを含むことが可能である。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営されている有線通信ネットワークおよび／または無線通信ネットワークを含むことが可能である。例えば、ネットワーク１１２は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを採用することが可能である１つまたは複数のＲＡＮに接続されている別のＣＮを含むことが可能である。
【0081】
通信システム１００におけるＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちのいくつかまたは全ては、マルチモード機能を含むことが可能である（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、別々の無線リンクを介して別々の無線ネットワークと通信するために複数のトランシーバを含むことが可能である）。例えば、図１６Ａにおいて示されているＷＴＲＵ１０２ｃは、セルラーベースの無線技術を採用することが可能である基地局１１４ａと、およびＩＥＥＥ８０２無線技術を採用することが可能である基地局１１４ｂと通信するように構成されることが可能である。
【0082】
図１６Ｂは、例示的なＷＴＲＵ１０２を示すシステム図である。図１６Ｂにおいて示されているように、ＷＴＲＵ１０２は、数ある中でも、プロセッサ１１８、トランシーバ１２０、送受信要素１２２、スピーカー／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、取り外し不能メモリ１３０、取り外し可能メモリ１３２、電源１３４、ＧＰＳチップセット１３６、および／または他の周辺機器１３８を含むことが可能である。ＷＴＲＵ１０２は、実施形態との整合性を保持しながら、上述の要素の任意の下位組合せを含むことが可能であるということが理解されるであろう。
【0083】
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連付けられている１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡ回路、その他の任意のタイプの集積回路（ＩＣ）、状態マシンなどであることが可能である。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／または、ＷＴＲＵ１０２が無線環境において動作することを可能にするその他の任意の機能を実行することが可能である。プロセッサ１１８は、トランシーバ１２０に結合されることが可能であり、トランシーバ１２０は、送受信要素１２２に結合されることが可能である。図１６Ｂは、プロセッサ１１８およびトランシーバ１２０を別々のコンポーネントとして示しているが、プロセッサ１１８およびトランシーバ１２０は、電子パッケージまたはチップにおいてともに統合されることが可能であるということが理解されるであろう。
【0084】
送受信要素１２２は、エアインターフェース１１６を介して、基地局（例えば、基地局１１４ａ）に信号を送信するように、または基地局（例えば、基地局１１４ａ）から信号を受信するように構成されることが可能である。例えば、一実施形態においては、送受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されているアンテナであることが可能である。実施形態においては、送受信要素１２２は、例えば、ＩＲ信号、ＵＶ信号、または可視光信号を送信および／または受信するように構成されているエミッタ／検知器であることが可能である。さらに別の実施形態においては、送受信要素１２２は、ＲＦ信号および光信号の両方を送信および／または受信するように構成されることが可能である。送受信要素１２２は、無線信号の任意の組合せを送信および／または受信するように構成されることが可能であるということが理解されるであろう。
【0085】
送受信要素１２２は、図１６Ｂにおいては単一の要素として示されているが、ＷＴＲＵ１０２は、任意の数の送受信要素１２２を含むことが可能である。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を採用することが可能である。従って、一実施形態においては、ＷＴＲＵ１０２は、エアインターフェース１１６を介して無線信号を送信および受信するために、２つ以上の送受信要素１２２（例えば、複数のアンテナ）を含むことが可能である。
【0086】
トランシーバ１２０は、送受信要素１２２によって送信されることになる信号を変調するように、および送受信要素１２２によって受信される信号を復調するように構成されることが可能である。上述されているように、ＷＴＲＵ１０２は、マルチモード機能を有することが可能である。従って、トランシーバ１２０は、ＷＴＲＵ１０２が、例えばＮＲおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを介して通信することを可能にするために複数のトランシーバを含むことが可能である。
【0087】
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカー／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されることが可能であり、そこからユーザ入力データを受信することが可能である。プロセッサ１１８は、ユーザデータをスピーカー／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８へ出力することも可能である。加えて、プロセッサ１１８は、任意のタイプの適切なメモリ、例えば、取り外し不能メモリ１３０および／または取り外し可能メモリ１３２からの情報にアクセスすること、およびそれらのメモリにデータを格納することが可能である。取り外し不能メモリ１３０は、ＲＡＭ、ＲＯＭ、ハードディスク、または他の任意のタイプのメモリストレージデバイスを含むことが可能である。取り外し可能メモリ１３２は、ＳＩＭカード、メモリスティック、ＳＤメモリカードなどを含むことが可能である。その他の実施形態においては、プロセッサ１１８は、ＷＴＲＵ１０２上に物理的に配置されていない、例えば、サーバまたはホームコンピュータ（図示せず）上のメモリからの情報にアクセスすること、およびそのメモリにデータを格納することが可能である。
【0088】
プロセッサ１１８は、電源１３４から電力を受け取ることが可能であり、ＷＴＲＵ１０２における他のコンポーネントへの電力を分配および／または制御するように構成されることが可能である。電源１３４は、ＷＴＲＵ１０２に電力供給するための任意の適切なデバイスであることが可能である。例えば、電源１３４は、１つまたは複数の乾電池（例えば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池などを含むことが可能である。
【0089】
プロセッサ１１８は、ＧＰＳチップセット１３６に結合されることも可能であり、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在のロケーションに関するロケーション情報（例えば、経度および緯度）を提供するように構成されることが可能である。ＷＴＲＵ１０２は、ＧＰＳチップセット１３６からの情報に加えて、またはその情報の代わりに、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１６を介してロケーション情報を受信すること、および／または２つ以上の近隣の基地局から受信される信号のタイミングに基づいてそのロケーションを決定することが可能である。ＷＴＲＵ１０２は、実施形態との整合性を保持しながら、任意の適切なロケーション決定方法を通じてロケーション情報を取得することが可能であるということが理解されるであろう。
【0090】
プロセッサ１１８は、他の周辺機器１３８にさらに結合されることが可能であり、他の周辺機器１３８は、さらなる特徴、機能性、および／または有線接続もしくは無線接続を提供する１つまたは複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことが可能である。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星トランシーバ、デジタルカメラ（写真および／またはビデオ用）、ＵＳＢポート、振動デバイス、テレビジョントランシーバ、ハンドフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタルミュージックプレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および／または拡張現実（ＶＲ／ＡＲ）デバイス、アクティビティートラッカーなどを含むことが可能である。周辺機器１３８は、１つまたは複数のセンサを含むことが可能であり、それらのセンサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接度センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、バロメータ、ジェスチャーセンサ、バイオメトリックセンサおよび／または湿度センサのうちの１つまたは複数であることが可能である。
【0091】
ＷＴＲＵ１０２は、（例えば、ＵＬ（例えば、送信用）およびダウンリンク（例えば、受信用）の両方に関して特定のサブフレームに関連付けられている）信号のうちのいくつかまたは全ての送信および受信が並列および／または同時であることが可能である全二重無線を含むことが可能である。全二重無線は、ハードウェア（例えば、チョーク）、またはプロセッサを介した（例えば、別個のプロセッサ（図示せず）もしくはプロセッサ１１８を介した）信号処理を介して自己干渉を減らすおよび／または実質的になくすための干渉管理ユニットを含むことが可能である。実施形態においては、ＷＲＴＵ１０２は、（例えば、ＵＬ（例えば、送信用）またはダウンリンク（例えば、受信用）のいずれかに関して特定のサブフレームに関連付けられている）信号のうちのいくつかまたは全ての送信および受信のための半二重無線を含むことが可能である。
【0092】
図１６Ｃは、実施形態によるＲＡＮ１０４およびＣＮ１０６を示すシステム図である。上述されているように、ＲＡＮ１０４は、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するためにＥ－ＵＴＲＡ無線技術を採用することが可能である。ＲＡＮ１０４は、ＣＮ１０６と通信状態にあることも可能である。
【0093】
ＲＡＮ１０４は、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃを含むことが可能であるが、ＲＡＮ１０４は、実施形態との整合性を保持しながら、任意の数のｅＮｏｄｅ－Ｂを含むことが可能であるということが理解されるであろう。ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃはそれぞれ、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するために１つまたは複数のトランシーバを含むことが可能である。一実施形態においては、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実施することが可能である。従って、ｅＮｏｄｅ－Ｂ１６０ａは、例えば、ＷＴＲＵ１０２ａに無線信号を送信するために、および／またはＷＴＲＵ１０２ａから無線信号を受信するために、複数のアンテナを使用することが可能である。
【0094】
ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃのそれぞれは、特定のセル（図示せず）に関連付けられることが可能であり、無線リソース管理の決定、ハンドオーバーの決定、ＵＬおよび／またはＤＬにおけるユーザのスケジューリングなどを取り扱うように構成されることが可能である。図１６Ｃにおいて示されているように、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェースを介して互いに通信することが可能である。
【0095】
図１６Ｃにおいて示されているＣＮ１０６は、モビリティー管理エンティティー（ＭＭＥ）１６２、サービングゲートウェイ（ＳＧＷ）１６４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ（またはＰＧＷ）１６６を含むことが可能である。上述の要素のうちのそれぞれは、ＣＮ１０６の一部として示されているが、これらの要素のうちのいずれかが、ＣＮオペレータ以外のエンティティーによって所有および／または運営されることが可能であるということが理解されるであろう。
【0096】
ＭＭＥ１６２は、Ｓ１インターフェースを介してＲＡＮ１０４におけるｅＮｏｄｅ－Ｂ１６２ａ、１６２ｂ、１６２ｃのそれぞれに接続されることが可能であり、制御ノードとしての役割を果たすことが可能である。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラのアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの最初の接続中に特定のサービングゲートウェイを選択することなどを担当することが可能である。ＭＭＥ１６２は、ＲＡＮ１０４と、ＧＳＭおよび／またはＷＣＤＭＡなどのその他の無線技術を採用しているその他のＲＡＮ（図示せず）との間における切り替えを行うための制御プレーン機能を提供することが可能である。
【0097】
ＳＧＷ１６４は、Ｓ１インターフェースを介してＲＡＮ１０４におけるｅＮｏｄｅ Ｂ１６０ａ、１６０ｂ、１６０ｃのそれぞれに接続されることが可能である。ＳＧＷ１６４は一般に、ユーザデータパケットをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃへ／ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃからルーティングおよび転送することが可能である。ＳＧＷ１６４は、その他の機能、例えば、ｅＮｏｄｅ Ｂ間でのハンドオーバー中にユーザプレーンを固定すること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにとってＤＬデータが利用可能である場合にページングをトリガーすること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理および格納することなどを実行することが可能である。
【0098】
ＳＧＷ１６４は、ＰＧＷ１６６に接続されることが可能であり、ＰＧＷ１６６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと、ＩＰ対応デバイスとの間における通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することが可能である。
【0099】
ＣＮ１０６は、他のネットワークとの通信を容易にすることが可能である。例えば、ＣＮ１０６は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと、従来の地上通信線通信デバイスとの間における通信を容易にするために、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することが可能である。例えば、ＣＮ１０６は、ＣＮ１０６とＰＳＴＮ１０８との間におけるインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことが可能であり、またはそうしたＩＰゲートウェイと通信することが可能である。加えて、ＣＮ１０６は、その他のネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することが可能であり、その他のネットワーク１１２は、その他のサービスプロバイダによって所有および／または運営されているその他の有線ネットワークおよび／または無線ネットワークを含むことが可能である。
【0100】
ＷＴＲＵは、図１６Ａ～図１６Ｄにおいて無線端末として記述されているが、特定の代表的な実施形態においては、そのような端末は、通信ネットワークとの有線通信インターフェースを（例えば、一時的にまたは永久に）使用することが可能であると想定される。
【0101】
代表的な実施形態においては、その他のネットワーク１１２は、ＷＬＡＮであることが可能である。
【0102】
インフラストラクチャーベーシックサービスセット（ＢＳＳ）モードにおけるＷＬＡＮは、ＢＳＳ用のアクセスポイント（ＡＰ）と、ＡＰに関連付けられている１つまたは複数のステーション（ＳＴＡ）とを有することが可能である。ＡＰは、ＢＳＳとの間で出入りするトラフィックを搬送する配信システム（ＤＳ）または別のタイプの有線／無線ネットワークへのアクセスまたはインターフェースを有することが可能である。ＢＳＳの外部から生じるＳＴＡへのトラフィックは、ＡＰを通じて着信することが可能であり、ＳＴＡへ配信されることが可能である。ＳＴＡからＢＳＳの外部の宛先へ生じるトラフィックは、ＡＰへ送られて、それぞれの宛先へ配信されることが可能である。ＢＳＳ内のＳＴＡ間におけるトラフィックは、例えば、ソースＳＴＡがトラフィックをＡＰへ送ることが可能であり、ＡＰがそのトラフィックを宛先ＳＴＡへ配信することが可能である場合には、ＡＰを通じて送られることが可能である。ＢＳＳ内のＳＴＡ間におけるトラフィックは、ピアツーピアトラフィックとみなされること、および／または呼ばれることが可能である。ピアツーピアトラフィックは、直接リンクセットアップ（ＤＬＳ）を用いてソースＳＴＡと宛先ＳＴＡとの間において（例えば、間において直接）送られることが可能である。特定の代表的な実施形態においては、ＤＬＳは、８０２．１１ｅ ＤＬＳまたは８０２．１１ｚトンネルドＤＬＳ（ＴＤＬＳ）を使用することが可能である。独立ＢＳＳ（ＩＢＳＳ）モードを使用するＷＬＡＮは、ＡＰを有さないことが可能であり、ＩＢＳＳ内のまたはＩＢＳＳを使用するＳＴＡ（例えば、ＳＴＡのうちの全て）は、互いに直接通信することが可能である。通信のＩＢＳＳモードは、本明細書においては、時には通信の「アドホック」モードと呼ばれることが可能である。
【0103】
オペレーションの８０２．１１ａｃインフラストラクチャーモードまたはオペレーションの同様のモードを使用する場合には、ＡＰは、プライマリーチャネルなどの固定されたチャネル上でビーコンを送信することが可能である。プライマリーチャネルは、固定された幅（例えば、２０ＭＨｚの幅の帯域幅）またはシグナリングを介した動的に設定される幅であることが可能である。プライマリーチャネルは、ＢＳＳの動作チャネルであることが可能であり、ＡＰとの接続を確立するためにＳＴＡによって使用されてよい。特定の代表的な実施形態においては、例えば８０２．１１システムにおいて、搬送波感知多重アクセス／衝突回避方式（ＣＳＭＡ／ＣＡ）が実施され得る。ＣＳＭＡ／ＣＡに関しては、ＡＰを含むＳＴＡ（例えば、あらゆるＳＴＡ）は、プライマリーチャネルを感知することが可能である。特定のＳＴＡによってプライマリーチャネルが感知／検知され、および／またはビジーであると決定された場合には、その特定のＳＴＡは、引き下がることが可能である。１つのＳＴＡ（例えば、１つのステーションのみ）が、所与のＢＳＳにおいて任意の所与の時点で送信を行うことが可能である。
【0104】
高スループット（ＨＴ）ＳＴＡは、例えば、プライマリー２０ＭＨｚチャネルと、隣り合っているまたは隣り合っていない２０ＭＨｚのチャネルとの組合せを介して、通信のために４０ＭＨｚの幅のチャネルを使用して、４０ＭＨｚの幅のチャネルを形成することが可能である。
【0105】
超高スループット（ＶＨＴ）ＳＴＡは、２０ＭＨｚ、４０ＭＨｚ、８０ＭＨｚ、および／または１６０ＭＨｚの幅のチャネルをサポートすることが可能である。４０ＭＨｚのチャネル、および／または８０ＭＨｚのチャネルは、隣接している２０ＭＨｚのチャネルを組み合わせることによって形成されることが可能である。１６０ＭＨｚのチャネルは、８つの隣接している２０ＭＨｚのチャネルを組み合わせることによって、または２つの隣接していない８０ＭＨｚのチャネルを組み合わせること（これは、８０＋８０構成と呼ばれることが可能である）によって形成されることが可能である。８０＋８０構成に関しては、データは、チャネルエンコーディングの後に、セグメントパーサに通されることが可能であり、セグメントパーサは、そのデータを２つのストリームへと分割することが可能である。逆高速フーリエ変換（ＩＦＦＴ）処理、および時間ドメイン処理が、それぞれのストリーム上で別々に行われることが可能である。それらのストリームは、２つの８０ＭＨｚのチャネル上にマップされることが可能であり、データは、送信側ＳＴＡによって送信されることが可能である。受信側ＳＴＡの受信機においては、８０＋８０構成に関する上述のオペレーションは、逆にされることが可能であり、組み合わされたデータは、媒体アクセス制御（ＭＡＣ）へ送られることが可能である。
【0106】
オペレーションのサブ１ＧＨｚモードが、８０２．１１ａｆおよび８０２．１１ａｈによってサポートされている。チャネル動作帯域幅、およびキャリアは、８０２．１１ａｆおよび８０２．１１ａｈにおいては、８０２．１１ｎおよび８０２．１１ａｃにおいて使用されるものに比べて低減される。８０２．１１ａｆは、ＴＶホワイトスペース（ＴＶＷＳ）スペクトルにおける５ＭＨｚ、１０ＭＨｚ、および２０ＭＨｚの帯域幅をサポートし、８０２．１１ａｈは、非ＴＶＷＳスペクトルを使用する１ＭＨｚ、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、および１６ＭＨｚの帯域幅をサポートする。代表的な実施形態によれば、８０２．１１ａｈは、マクロカバレッジエリアにおけるＭＴＣデバイスなど、メータタイプ制御／マシンタイプ通信をサポートすることが可能である。ＭＴＣデバイスは、特定の能力、例えば、特定のおよび／または限られた帯域幅に関するサポートを（例えば、それらに関するサポートのみを）含む限られた能力を有することが可能である。ＭＴＣデバイスは、（例えば、非常に長いバッテリー寿命を保持するために）閾値を上回るバッテリー寿命を有するバッテリーを含むことが可能である。
【0107】
複数のチャネル、およびチャネル帯域幅、例えば、８０２．１１ｎ、８０２．１１ａｃ、８０２．１１ａｆ、および８０２．１１ａｈをサポートすることが可能であるＷＬＡＮシステムは、プライマリーチャネルとして指定されることが可能であるチャネルを含む。プライマリーチャネルは、ＢＳＳにおける全てのＳＴＡによってサポートされている最大の共通動作帯域幅に等しい帯域幅を有することが可能である。プライマリーチャネルの帯域幅は、ＢＳＳにおいて動作している全てのＳＴＡのうちで、最小の帯域幅動作モードをサポートしているＳＴＡによって設定および／または制限されることが可能である。８０２．１１ａｈの例においては、たとえＡＰ、およびＢＳＳにおけるその他のＳＴＡが、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、１６ＭＨｚ、および／またはその他のチャネル帯域幅動作モードをサポートしても、１ＭＨｚモードをサポートする（例えば、サポートするだけである）ＳＴＡ（例えば、ＭＴＣタイプデバイス）に関しては、プライマリーチャネルは、１ＭＨｚの幅であることが可能である。キャリア感知および／またはネットワーク割り当てベクトル（ＮＡＶ）設定は、プライマリーチャネルのステータスに依存する場合がある。例えば（１ＭＨｚの動作モードだけをサポートする）ＳＴＡがＡＰへの送信を行っていることに起因して、プライマリーチャネルがビジーである場合には、利用可能な周波数帯域の全体は、たとえそれらの周波数帯域の大部分がアイドルのままであって利用可能である可能性があっても、ビジーとみなされる場合がある。
【0108】
米国においては、８０２．１１ａｈによって使用されてよい利用可能な周波数帯域は、９０２ＭＨｚから９２８ＭＨｚまでである。韓国においては、利用可能な周波数帯域は、９１７．５ＭＨｚから９２３．５ＭＨｚまでである。日本においては、利用可能な周波数帯域は、９１６．５ＭＨｚから９２７．５ＭＨｚまでである。８０２．１１ａｈにとって利用可能な合計の帯域幅は、国コードに応じて６ＭＨｚから２６ＭＨｚである。
【0109】
図１６Ｄは、実施形態によるＲＡＮ１１３およびＣＮ１１５を示すシステム図である。上述されているように、ＲＡＮ１１３は、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するためにＮＲ無線技術を採用することが可能である。ＲＡＮ１１３は、ＣＮ１１５と通信状態にあることも可能である。
【0110】
ＲＡＮ１１３は、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃを含むことが可能であるが、ＲＡＮ１１３は、実施形態との整合性を保持しながら、任意の数のｇＮＢを含むことが可能であるということが理解されるであろう。ｇＮＢ１８０ａ、１８０ｂ、１８０ｃはそれぞれ、エアインターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するために１つまたは複数のトランシーバを含むことが可能である。一実施形態においては、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実施することが可能である。例えば、ｇＮＢ１８０ａ、１８０ｂは、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃへ信号を送信するために、および／またはｇＮＢ１８０ａ、１８０ｂ、１８０ｃから信号を受信するために、ビームフォーミングを利用することが可能である。従って、ｇＮＢ１８０ａは、例えば、ＷＴＲＵ１０２ａへ無線信号を送信するために、および／またはＷＴＲＵ１０２ａから無線信号を受信するために、複数のアンテナを使用することが可能である。実施形態においては、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、キャリアアグリゲーション技術を実施することが可能である。例えば、ｇＮＢ１８０ａは、複数のコンポーネントキャリアをＷＴＲＵ１０２ａ（図示せず）へ送信することが可能である。これらのコンポーネントキャリアのサブセットが、ライセンス供与されていないスペクトル上にあることが可能であり、その一方で残りのコンポーネントキャリアが、ライセンス供与されているスペクトル上にあることが可能である。実施形態においては、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、協調マルチポイント（ＣｏＭＰ）技術を実施することが可能である。例えば、ＷＴＲＵ１０２ａは、ｇＮＢ１８０ａおよびｇＮＢ１８０ｂ（および／またはｇＮＢ１８０ｃ）から協調送信を受信することが可能である。
【0111】
ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、スケーラブルなニューメロロジーに関連付けられている送信を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することが可能である。例えば、ＯＦＤＭシンボルスペーシングおよび／またはＯＦＤＭサブキャリアスペーシングは、別々の送信、別々のセル、および／または無線送信スペクトルの別々の部分ごとに異なることが可能である。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔（ＴＴＩ）（例えば、様々な数のＯＦＤＭシンボルおよび／または持続する様々な長さの絶対時間を含む）を使用して、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することが可能である。
【0112】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、スタンドアロンの構成および／またはスタンドアロンではない構成でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するように構成されることが可能である。スタンドアロンの構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、その他のＲＡＮ（例えば、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃなど）にアクセスすることも伴わずに、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することが可能である。スタンドアロンの構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つまたは複数をモビリティーアンカーポイントとして利用することが可能である。スタンドアロンの構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ライセンス供与されていないバンドにおける信号を使用してｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信することが可能である。スタンドアロンではない構成においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃと通信する／それらに接続する一方で、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃなどの別のＲＡＮと通信すること／それらに接続することも可能である。例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＤＣ原理を実施して、１つまたは複数のｇＮＢ１８０ａ、１８０ｂ、１８０ｃおよび１つまたは複数のｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃと実質的に同時に通信することが可能である。スタンドアロンではない構成においては、ｅＮｏｄｅ－Ｂ１６０ａ、１６０ｂ、１６０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのためのモビリティーアンカーとしての役割を果たすことが可能であり、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにサービス提供するためのさらなるカバレッジおよび／またはスループットを提供することが可能である。
【0113】
ｇＮＢ１８０ａ、１８０ｂ、１８０ｃのそれぞれは、特定のセル（図示せず）に関連付けられることが可能であり、無線リソース管理の決定、ハンドオーバーの決定、ＵＬおよび／またはＤＬにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアル接続、ＮＲとＥ－ＵＴＲＡとの間におけるインターワーキング、ユーザプレーン機能（ＵＰＦ）１８４ａ、１８４ｂへのユーザプレーンデータのルーティング、アクセスおよびモビリティー管理機能（ＡＭＦ）１８２ａ、１８２ｂへの制御プレーン情報のルーティングなどを取り扱うように構成されることが可能である。図１６Ｄにおいて示されているように、ｇＮＢ１８０ａ、１８０ｂ、１８０ｃは、Ｘｎインターフェースを介して互いに通信することが可能である。
【0114】
図１６Ｄにおいて示されているＣＮ１１５は、少なくとも１つのＡＭＦ１８２ａ、１８２ｂ、少なくとも１つのＵＰＦ１８４ａ、１８４ｂ、少なくとも１つのセッション管理機能（ＳＭＦ）１８３ａ、１８３ｂ、および場合よってはデータネットワーク（ＤＮ）１８５ａ、１８５ｂを含むことが可能である。上述の要素のうちのそれぞれは、ＣＮ１１５の一部として示されているが、これらの要素のうちのいずれかが、ＣＮオペレータ以外のエンティティーによって所有および／または運営されることが可能であるということが理解されるであろう。
【0115】
ＡＭＦ１８２ａ、１８２ｂは、Ｎ２インターフェースを介してＲＡＮ１１３におけるｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つまたは複数に接続されることが可能であり、制御ノードとしての役割を果たすことが可能である。例えば、ＡＭＦ１８２ａ、１８２ｂは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ネットワークスライシングに関するサポート（例えば、別々の要件を伴う別々のＰＤＵセッションを取り扱うこと）、特定のＳＭＦ１８３ａ、１８３ｂを選択すること、登録エリアの管理、ＮＡＳシグナリングの終了、モビリティー管理などを担当することが可能である。ネットワークスライシングは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されているサービスのタイプに基づいてＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのためにＣＮサポートをカスタマイズするためにＡＭＦ１８２ａ、１８２ｂによって使用されてよい。例えば、超高信頼低遅延（ＵＲＬＬＣ）アクセスに依存するサービス、拡張大容量モバイルブロードバンド（ｅＭＢＢ）アクセスに依存するサービス、マシンタイプ通信（ＭＴＣ）アクセスに関するサービス等などの別々の使用事例に関して、別々のネットワークスライスが確立されることが可能である。ＡＭＦ１６２は、ＲＡＮ１１３と、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏなどのその他の無線技術、および／またはＷｉＦｉなどの非３ＧＰＰアクセス技術を採用しているその他のＲＡＮ（図示せず）との間において切り替えを行うための制御プレーン機能を提供することが可能である。
【0116】
ＳＭＦ１８３ａ、１８３ｂは、Ｎ１１インターフェースを介してＣＮ１１５におけるＡＭＦ１８２ａ、１８２ｂに接続されることが可能である。ＳＭＦ１８３ａ、１８３ｂは、Ｎ４インターフェースを介してＣＮ１１５におけるＵＰＦ１８４ａ、１８４ｂに接続されることも可能である。ＳＭＦ１８３ａ、１８３ｂは、ＵＰＦ１８４ａ、１８４ｂを選択および制御すること、並びにＵＰＦ１８４ａ、１８４ｂを通るトラフィックのルーティングを構成することが可能である。ＳＭＦ１８３ａ、１８３ｂは、その他の機能、例えば、ＵＥ ＩＰアドレスを管理することおよび割り当てること、ＰＤＵセッションを管理すること、ポリシー施行およびＱｏＳを制御すること、ダウンリンクデータ通知を提供することなどを実行することが可能である。ＰＤＵセッションタイプは、ＩＰベース、非ＩＰベース、イーサネットベースなどであることが可能である。
【0117】
ＵＰＦ１８４ａ、１８４ｂは、Ｎ３インターフェースを介してＲＡＮ１１３におけるｇＮＢ１８０ａ、１８０ｂ、１８０ｃのうちの１つまたは複数に接続されることが可能であり、Ｎ３インターフェースは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間における通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することが可能である。ＵＰＦ１８４、１８４ｂは、その他の機能、例えば、パケットをルーティングおよび転送すること、ユーザプレーンポリシーを施行すること、マルチホームＰＤＵセッションをサポートすること、ユーザプレーンＱｏＳを取り扱うこと、ダウンリンクパケットをバッファリングすること、モビリティーアンカリングを提供することなどを実行することが可能である。
【0118】
ＣＮ１１５は、その他のネットワークとの通信を容易にすることが可能である。例えば、ＣＮ１１５は、ＣＮ１１５とＰＳＴＮ１０８との間におけるインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことが可能であり、またはそうしたＩＰゲートウェイと通信することが可能である。加えて、ＣＮ１１５は、その他のネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することが可能であり、その他のネットワーク１１２は、その他のサービスプロバイダによって所有および／または運営されているその他の有線ネットワークおよび／または無線ネットワークを含むことが可能である。一実施形態においては、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＵＰＦ１８４ａ、１８４ｂへのＮ３インターフェース、およびＵＰＦ１８４ａ、１８４ｂとローカルデータネットワーク（ＤＮ）１８５ａ、１８５ｂとの間におけるＮ６インターフェースを介して、ＵＰＦ１８４ａ、１８４ｂを通じてＤＮ１８５ａ、１８５ｂに接続されることが可能である。
【0119】
図１６Ａ～図１６Ｄ、および図１６Ａ～図１６Ｄの対応する説明を考慮すると、ＷＴＲＵ１０２ａ～ｄ、基地局１１４ａ～ｂ、ｅＮｏｄｅ－Ｂ１６０ａ～ｃ、ＭＭＥ１６２、ＳＧＷ１６４、ＰＧＷ１６６、ｇＮＢ１８０ａ～ｃ、ＡＭＦ１８２ａ～ｂ、ＵＰＦ１８４ａ～ｂ、ＳＭＦ１８３ａ～ｂ、ＤＮ１８５ａ～ｂ、および／または本明細書において記述されているその他の任意のデバイスのうちの１つまたは複数に関連して本明細書において記述されている機能のうちの１つもしくは複数または全ては、１つまたは複数のエミュレーションデバイス（図示せず）によって実行されることが可能である。エミュレーションデバイスは、本明細書において記述されている機能のうちの１つもしくは複数または全てをエミュレートするように構成されている１つまたは複数のデバイスであることが可能である。例えば、エミュレーションデバイスは、その他のデバイスをテストするために、並びに／またはネットワークおよび／もしくはＷＴＲＵ機能をシミュレートするために使用されてよい。
【0120】
エミュレーションデバイスは、ラボ環境において、および／またはオペレータネットワーク環境においてその他のデバイスの１つまたは複数のテストを実施するように設計されることが可能である。例えば、１つまたは複数のエミュレーションデバイスは、有線および／または無線の通信ネットワーク内のその他のデバイスをテストするためにその通信ネットワークの一部として全体的にまたは部分的に実装および／または展開されている間に、１つもしくは複数のまたは全ての機能を実行することが可能である。１つまたは複数のエミュレーションデバイスは、有線および／または無線の通信ネットワークの一部として一時的に実装／展開されている間に、１つもしくは複数のまたは全ての機能を実行することが可能である。エミュレーションデバイスは、テスティングの目的のために別のデバイスに直接結合されることが可能であり、および／またはオーバージエアー無線通信を使用してテスティングを実行することが可能である。
【0121】
１つまたは複数のエミュレーションデバイスは、有線および／または無線の通信ネットワークの一部として実装／展開されていない間に、全ての機能を含む１つまたは複数の機能を実行することが可能である。例えば、エミュレーションデバイスは、１つまたは複数のコンポーネントのテスティングを実施するために、テスティングラボラトリー並びに／または展開されていない（例えば、テスティングの）有線および／もしくは無線の通信ネットワークにおけるテスティングシナリオにおいて利用されることが可能である。１つまたは複数のエミュレーションデバイスは、テスト機器であることが可能である。直接ＲＦ結合、および／または、ＲＦ回路（例えば、１つもしくは複数のアンテナを含むことが可能である）を介した無線通信が、エミュレーションデバイスによってデータを送信および／または受信するために使用されてよい。
【0122】
トラッキングされるビデオズーミングのためのシステム、方法、および手段が開示されてきた。クライアント側（オンデバイス）またはローカルトラッキングが、ユーザがトラッキングおよびズーミングのために任意のオブジェクトを選択することを可能にすることができる。例えば、クライアント側トラッキングに加えて、またはそれに対する代替として、トラッキングメタデータが提供されてよい（例えば、ビデオブロードキャストが、ビデオフレームにおけるオブジェクトのロケーションを記述するメタデータを含むことが可能である）。メタデータは、トラッキングされているオブジェクトに関する強化された情報を含むことが可能である。ユーザは、（例えば、ＰＩＰにおいて）示されているオブジェクトと対話して、さらなる情報を入手することが可能である。（例えば、ＰＩＰにおける）ビデオズーミングが、固定されたロケーション、および／または（例えば、トラッキングされているオブジェクトとともに移動する）浮動するロケーションにおいて提供されてよい。複数のオブジェクトが、（例えば、複数のＰＩＰにおいて）同時にトラッキングおよびズームされることが可能である。ユーザは、（例えば、ＰＩＰにおいてトラッキングおよびズームされているオブジェクトを切り替えるために）複数のトラッキングされているオブジェクトを繰り返し表示して、それらの間で選択を行うことが可能である。ＰＩＰズームは、進んだ機能、例えば、複数のＰＩＰウィンドウを結合すること、ＰＩＰウィンドウを分割すること、一時停止およびズーム、時間遅延ズーム、ＰＩＰおよびソーシャルメディア、並びにＰＩＰを再配置することを伴って提供されてよい。
【0123】
特徴および要素が特定の組合せで上述されているが、それぞれの特徴または要素は、単独で、またはその他の特徴および要素との任意の組合せで使用されてよいということを当技術分野における標準的な技術者なら理解するであろう。加えて、本明細書において記述されている方法は、コンピュータまたはプロセッサによって実行するためにコンピュータ可読媒体に組み込まれているコンピュータプログラム、ソフトウェア、またはファームウェアで実施され得る。コンピュータ可読メディアの例は、（有線接続または無線接続を介して送信される）電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、ＲＯＭ、ＲＡＭ、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび取り外し可能ディスクなどの磁気メディア、光磁気メディア、並びに、ＣＤ－ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光メディアを含むが、それらには限定されない。ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実施するために、ソフトウェアに関連付けられているプロセッサが使用されてよい。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図15F】
【図16A】
【図16B】
【図16C】
【図16D】