(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6169690
(24)【登録日】2017年7月7日
(45)【発行日】2017年7月26日
(54)【発明の名称】装置方位能力交換シグナリング及び装置方位に応答するマルチメディアコンテンツのサーバ適応
(51)【国際特許分類】
G06F 13/00 20060101AFI20170713BHJP
H04M 1/00 20060101ALI20170713BHJP
H04N 21/2665 20110101ALI20170713BHJP
H04N 21/437 20110101ALI20170713BHJP
【FI】
G06F13/00 550L
H04M1/00 R
H04N21/2665
H04N21/437
【請求項の数】26
【全頁数】20
(21)【出願番号】特願2015-520358(P2015-520358)
(86)(22)【出願日】2013年6月24日
(65)【公表番号】特表2015-531903(P2015-531903A)
(43)【公表日】2015年11月5日
(86)【国際出願番号】US2013047284
(87)【国際公開番号】WO2014022018
(87)【国際公開日】20140206
【審査請求日】2015年1月5日
(31)【優先権主張番号】61/679,627
(32)【優先日】2012年8月3日
(33)【優先権主張国】US
(31)【優先権主張番号】61/719,241
(32)【優先日】2012年10月26日
(33)【優先権主張国】US
(31)【優先権主張番号】13/719,402
(32)【優先日】2012年12月19日
(33)【優先権主張国】US
【前置審査】
(73)【特許権者】
【識別番号】593096712
【氏名又は名称】インテル コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】オイマン,オズグル
【審査官】
田中 啓介
(56)【参考文献】
【文献】
特開2008−079228(JP,A)
【文献】
米国特許出願公開第2012/0110120(US,A1)
【文献】
特開2009−059160(JP,A)
【文献】
特開2003−296232(JP,A)
【文献】
特開2002−342218(JP,A)
【文献】
特開2012−141570(JP,A)
【文献】
特開2003−111054(JP,A)
【文献】
特開2005−222401(JP,A)
【文献】
国際公開第2004/111932(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01、3/048−3/0489
G06F13/00
H04B7/24−7/26
H04M1/00、1/24−1/82
H04N7/10、7/14−7/173
7/20−7/56
21/00−21/858
H04W4/00−8/24
8/26−16/32
24/00−28/00
28/02−72/02
72/04−74/02
74/04−74/06
74/08−84/10
84/12−88/06
88/08−99/00
(57)【特許請求の範囲】
【請求項1】
ユーザ機器(UE)であって、リモートメディアコンテンツサーバと無線で通信し及び能力交換シグナリングを開始するよう構成され、前記UEは、
方位センサと、
ディスプレイ装置と、
無線周波数通信機と、
前記無線周波数通信機に動作可能に結合されるプロセッサと、
前記プロセッサに動作可能に結合されるメモリと、
を有し、
前記メモリは、前記プロセッサを、前記無線周波数通信機を介して、前記UEの装置方位能力を前記リモートメディアコンテンツサーバ又は装置プロファイルサーバに提供する情報を送信するよう構成する命令を格納し、前記UEの前記装置方位能力は、前記方位センサにより提供される方位情報に対応する1又は複数の所定の方位位置を含み、
前記UEの装置方位能力を提供する前記情報は、1又は複数の指示を提供する装置方位位置のリストを含み、該指示は、ビデオディスプレイ装置方位モードと、ビデオキャプチャ装置方位モードと、ビデオディスプレイ装置方位角と、ビデオキャプチャ装置方位角と、前記UEが方位の変化に応答するか否かを示す値を有するブール値指示子と、レンダリング及び表示のための規定装置方位と、キャプチャのための規定装置方位と、前記方位センサがビデオキャプチャ及び表示の両方の間に方位変化を検出するよう構成される90度間隔の等間隔の角度粒度レベルの数と、前記UEに関連するカメラの数と、水平ミラーリングサポートと、を有するグループから選択される、UE。
【請求項2】
前記命令は、前記プロセッサを、
前記リモートメディアコンテンツサーバから、前記UEの前記装置方位能力の中で示される方位状態に従って前記ディスプレイ装置で再生するために構成されるビデオコンテンツの複数のバージョンを記述する明示的ファイルを受信する、
よう更に構成する、請求項1に記載のUE。
【請求項3】
前記ビデオコンテンツの前記複数のバージョンは、モバイル装置ディスプレイで再生するために装置方位能力に基づき符号化され、前記命令は、前記プロセッサを、
ストリーミング又はダウンロード配信のために、前記UEの現在の方位状態に基づき、前記明示的ファイルの中で記述される前記ビデオコンテンツのバージョンを選択する、
よう更に構成する、請求項2に記載のUE。
【請求項4】
前記明示的ファイルはMPD(media presentation description)ファイルを有し、前記命令は、前記プロセッサを、
HTTP(hypertext transfer protocol)POSTメッセージにより前記リモートメディアコンテンツサーバに前記UEの前記装置方位能力を示す情報を提供し、
HTTP GETメッセージを介して前記リモートメディアコンテンツサーバから前記MPDファイルを要求し、
前記リモートメディアコンテンツサーバから前記MPDファイルを受信し、
DASH(dynamic adaptive streaming over HTTP)を用いて、前記リモートメディアコンテンツサーバから前記ビデオコンテンツの前記選択されたバージョンを要求する、
よう更に構成する、請求項3に記載のUE。
【請求項5】
前記命令は、前記プロセッサを、
前記方位センサにより提供される方位情報に基づき、前記UEの現在の方位状態を決定し、
前記リモートメディアコンテンツサーバへ、前記現在の方位状態を示し及び前記UEの前記装置方位能力に基づき前記ディスプレイ装置で再生するためのビデオコンテンツの要求を含むメッセージを送信し、
前記リモートメディアコンテンツサーバから、ビデオコンテンツの配信のためにSDP(session description protocol)ファイルを受信し、該ビデオコンテンツは、
RTSP(real-time streaming protocol)に従って該ビデオコンテンツをストリーミングする、
DASH(dynamic adaptive streaming over HTTP)を用いて該ビデオコンテンツを通信する、及び
HTTP又はFLUTE(File Delivery over Unidirectional Transport)プロトコルを介して、該ビデオコンテンツをダウンロードする、
を有するグループから選択され、
前記リモートメディアコンテンツサーバから、前記SDPファイルの中で識別され及び前記UEの前記現在の方位状態に基づき前記リモートメディアコンテンツサーバにより選択された該ビデオコンテンツを受信する、
よう更に構成する、請求項1に記載のUE。
【請求項6】
前記リモートメディアコンテンツサーバは、IMS(IP multimedia subsystem)に基づくパケット交換ストリーミングサービスを有し、前記命令は、前記プロセッサを、
SIP(session initiation protocol)SUBSCRIBEメッセージの中で、インターネットプロトコルマルチメディアコアネットワークサブシステムへ、サービス発見中に、前記UEの装置方位能力を提供する情報を送信する、
よう更に構成する、請求項5に記載のUE。
【請求項7】
無線ネットワークを介するサーバからユーザ機器(UE)へのマルチメディアコンテンツのストリーミング又はダウンロードの配信を制御する方法であって、
クライアントでサポートされる装置方位モードに従って前記サーバからのビデオ方位情報を解釈するために、能力交換シグナリングを介して、前記サーバに前記クライアントの装置方位能力を示す情報を提供するステップと、
前記情報に応答して、前記サーバから、前記クライアントへのストリーミング又はダウンロードのために利用可能な前記マルチメディアコンテンツのバージョンを識別し及びディスプレイ装置の方位モードのために構成されるメタデータファイルを受信するステップと、
前記クライアントの前記ディスプレイ装置の前記方位モードを決定するステップと、
前記無線ネットワークを介して、前記メタデータファイルの中で識別され前記UEの物理的方位に基づき選択されるマルチメディアコンテンツのバージョンをストリーミング又はダウンロードするステップであって、前記無線ネットワークは、PSS(packet switched streaming service)、IMS(integrated multimedia subsystems)に基づくPSS、及びIMS PSS MBMS(multimedia broadcast and multicast service)のうちの少なくとも1つを用いる、ステップと、
を有し、
前記クライアントの装置方位能力を示す前記情報は、1又は複数の指示を提供する装置方位位置のリストを含み、該指示は、ビデオディスプレイ装置方位モードと、ビデオキャプチャ装置方位モードと、ビデオディスプレイ装置方位角と、ビデオキャプチャ装置方位角と、前記クライアントが方位の変化に応答するか否かを示す値を有するブール値指示子と、レンダリング及び表示のための規定装置方位と、キャプチャのための規定装置方位と、方位センサがビデオキャプチャ及び表示の両方の間に方位変化を検出するよう構成される90度間隔の等間隔の角度粒度レベルの数と、前記UEに関連するカメラの数と、水平ミラーリングサポートと、を有するグループから選択される、方法。
【請求項8】
前記クライアントはモバイル装置を有し、前記情報は、前記モバイル装置を型により識別するモバイル装置アイデンティティ情報を有し、前記サーバはPSSサーバを有し、前記提供するステップは、
前記PSSサーバと、複数のモバイル装置型の装置能力プロファイルを格納する装置プロファイルサーバとの間で装置能力プロファイル交換を開始するステップであって、装置能力プロファイルは前記クライアントによりサポートされる所定の装置方位モードのリストを含む、ステップ、
を有する、請求項7に記載の方法。
【請求項9】
前記クライアントの前記物理的方位に対する変化に基づき、前記マルチメディアコンテンツのストリーム間で動的に切り替えるステップ、
を更に有する請求項7に記載の方法。
【請求項10】
前記メタデータファイルは、前記マルチメディアコンテンツの配信のためのSDP(session description protocol)ファイルを有し、該マルチメディアコンテンツの配信は、
RTSP(real-time streaming protocol)に従って該マルチメディアコンテンツをストリーミングする、
DASH(dynamic adaptive streaming over HTTP)を用いて該マルチメディアコンテンツを配信する、及び
HTTP又はFLUTE(File Delivery over Unidirectional Transport)プロトコルを介して該マルチメディアコンテンツをダウンロードする、
を有するグループから選択される、請求項7に記載の方法。
【請求項11】
前記メタデータファイルは、DASH(dynamic adaptive streaming over HTTP)に従って前記マルチメディアコンテンツをストリーミングするためのMPD(media presentation description)ファイルを有する、請求項8に記載の方法。
【請求項12】
コンピュータプログラムであって、実行されると、メディアコンテンツサーバに、
通信ネットワークを介して、無線通信ネットワークのクライアント端末によりサポートされる装置方位位置のリストを含む装置方位属性を受信させ、前記装置方位位置は、前記クライアント端末にあるパケット交換ストリーミングサービスアプリケーションによりサポートされるトランスポートプロトコルを介するビデオコンテンツのストリーミング又はダウンロードに関連し、前記装置方位位置の各々は装置方位モードに対応し、前記装置方位モードは、ビデオディスプレイ装置方位モードと、ビデオキャプチャ装置方位モードと、ビデオディスプレイ装置方位角と、ビデオキャプチャ装置方位角と、前記クライアント端末が方位の変化に応答するか否かを示す値を有するブール値指示子と、レンダリング及び表示のための規定装置方位と、キャプチャのための規定装置方位と、方位センサがビデオキャプチャ及び表示の両方の間に方位変化を検出するよう構成される90度間隔の等間隔の角度粒度レベルの数と、前記クライアント端末に関連するカメラの数と、水平ミラーリングサポートと、を有するグループから選択され、
コンテンツ選択、キャプチャ、圧縮、及びトランスコーディング動作を含む1又は複数の処理を通じて、前記装置方位属性に基づきビデオコンテンツを適応させ、
前記装置方位属性に基づきストリーミング又はダウンロードセッションを確立するために、セッション記述又はメタデータファイルを生成させ、
前記適応したビデオコンテンツ及び前記生成したセッション記述又はメタデータファイルを前記クライアント端末に配信させる、
コンピュータプログラム。
【請求項13】
前記トランスポートプロトコルは、
RTP(real-time transport protocol)、及び
HTTP(hypertext transport protocol)、
を有するグループから選択される、請求項12に記載のコンピュータプログラム。
【請求項14】
前記セッション記述又はメタデータファイルは、前記ビデオコンテンツの配信のためのSDP(session description protocol)ファイルであり、該ビデオコンテンツの配信は、
RTSP(real-time streaming protocol)に従って該ビデオコンテンツをストリーミングする、
DASH(dynamic adaptive streaming over HTTP)を用いて該ビデオコンテンツをストリーミングする、及び
HTTP又はFLUTE(File Delivery over Unidirectional Transport)プロトコル、又はDASHのためのMPD(media presentation description)ファイルを介して該ビデオコンテンツをダウンロードする、
を有するグループから選択される、請求項12に記載のコンピュータプログラム。
【請求項15】
前記コンピュータプログラムは、実行されると、前記メディアコンテンツサーバに、さらに、
前記装置方位属性に基づき、前記ビデオコンテンツをトランスコーディングし又は前記ビデオコンテンツのフォーマットを変換させる、
請求項12に記載のコンピュータプログラム。
【請求項16】
前記装置方位属性は、前記通信ネットワークを介して装置プロファイルサーバから受信され、前記クライアント端末はユーザ機器(UE)を有する、請求項12に記載のコンピュータプログラム。
【請求項17】
3GPP(third generation partnership project)ネットワーク内で、ビデオ方位を調整するよう構成されるユーザ機器(UE)であって、
前記3GPPネットワークのRAN(radio access network)を通じてPSS(packet-switched streaming service)サーバと通信するネットワークインタフェースと、
PSSクライアントであって、
ビデオ方位情報を解釈するために、前記ネットワークインタフェースを通じて、前記PSSクライアントの能力を前記PSSサーバにシグナリングし、
前記ネットワークインタフェースを通じて、前記PSSサーバから、SDP(session description protocol)ファイルを受信し、前記SDPファイルはビデオの現在の方位を示す現在のビデオ方位情報を含み、
前記ビデオを前記PSSサーバから受信し、
前記ビデオを受信することに応答して、前記現在のビデオ方位情報の中で示される前記現在の方位に基づき、前記PSSサーバから受信した前記ビデオを回転する、PSSクライアントと、
を有するUE。
【請求項18】
前記PSSクライアントは、前記PSSサーバと能力交換を実行するよう更に構成され、前記能力交換は、前記ビデオ方位情報を解釈するための前記PSSクライアントの能力と、前記ビデオ方位情報に基づき前記ビデオを表示するための前記PSSクライアントの能力と、のうちの少なくとも1つを有する、請求項17に記載のUE。
【請求項19】
前記能力交換は、前記UEにより提供される回転角の粒度の指示を更に有し、前記粒度の指示は、
90度回転モードに対応する低い粒度、及び
90度間隔の範囲内の複数の等間隔の角度粒度レベルに対応する高い粒度、
を有するグループから選択される、請求項18に記載のUE。
【請求項20】
前記PSSクライアントは、 前記ビデオを回転した後、前記現在のビデオ方位情報の中で示される前記現在の方位に基づき、前記ビデオを水平にフリッピングする、
よう更に構成される、請求項17に記載のUE。
【請求項21】
無線通信装置及び無線ネットワークのうちの少なくとも1つと無線通信する1又は複数のアンテナと、
スピーカ、マイクロフォン、接続ポート、キーボード、タッチスクリーン、バッテリ、及びメモリポートのうちの少なくとも1つと、
を更に有する請求項17に記載のUE。
【請求項22】
コンピュータプログラムであって、実行されると、メディアコンテンツサーバに、
3GPP(third generation partnership project)ネットワークを通じてユーザ機器(UE)とPSS(packet-switched streaming service)能力交換を実行させ、前記PSS能力交換は、ビデオ方位の調整のための装置能力属性を指定させ、
前記PSS能力交換に基づき、画像の第1の方位を有するコンテンツを選択させ、及び
前記UEへ前記画像の前記第1の方位をシグナリングさせる、
コンピュータプログラム。
【請求項23】
前記コンピュータプログラムは、実行されると、前記メディアコンテンツサーバに、さらに、
前記UEの現在の方位の変化の指示を受信させ、
前記UEの現在の方位の変化の前記指示に応答して、前記メディアコンテンツサーバにある、前記画像の第2の方位を有するコンテンツを選択させ、及び
前記UEに前記画像を回転させるために、前記UEに、前記画像の前記第2の方位をシグナリングさせる、
請求項22に記載のコンピュータプログラム。
【請求項24】
前記コンピュータプログラムは、実行されると、前記メディアコンテンツサーバに、さらに、
SDP(session description protocol)ファイル及びRTP(real-time transport protocol)で、前記UEへ前記画像の前記第1の方位をシグナリングさせる、
請求項22に記載のコンピュータプログラム。
【請求項25】
前記コンピュータプログラムは、実行されると、前記メディアコンテンツサーバに、さらに、
前記PSS能力交換から前記3GPPネットワークを通じて、3GPPファイルフォーマットファイルに含まれ及び前記UEにあるパケット交換ストリーミングサービスアプリケーションにより処理され得るビデオに関連する、前記UEによりサポートされる1又は複数の装置方位位置のリストを有する装置方位属性を受信させ、及び
前記装置方位属性に基づき、前記UEにコンテンツを配信させ、
1又は複数の装置方位位置の前記リストは、規定方位モードと、前記UEの方位センサにより示される現在の方位モードと、を有する、請求項22に記載のコンピュータプログラム。
【請求項26】
請求項12乃至16及び22乃至25のいずれか一項に記載のコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、UEからネットワークサーバに方位センサ情報を提供する能力交換シグナリング技術に関する。
【背景技術】
【0002】
ストリーミング及び会話サービスを含むマルチメディアサービスの成長は、モバイル広帯域技術及び規格の向上を促進する。メディア圧縮及び無線ネットワーク基盤の発展と連動するマルチメディアサービスに対する高い消費者需要は、セルラ及びモバイル広帯域システムのマルチメディアサービス能力を向上する機会を提供する。サービス能力は、通常、高い品質経験(quality of experience:QoE)を消費者に提供し、同時に任意の場所から、任意の時間に、任意の装置種類及び技術によるビデオコンテンツ及びサービスへのユビキタスアクセスを保証することにより、向上される。ユビキタスに高いQoEを有するマルチメディアコンテンツの配信を保証するために、技術及び規格は、種々のモバイルサービスをサポートし、種々の装置クラス及び能力のために合わせられたメディア処理手順及びセッション管理プロトコルを提供する。
【0003】
モバイル装置は、重力のような基準又は他の方位基準に対する装置方向を示す方位センサを有する場合が多い。これらの装置で実行されるソフトウェアアプリケーションは、装置方位モード又は状態を決定するために及び検出した方位モードに従って装置機能を調整するために、装置方位情報を用いている。例えば、モバイル装置ソフトウェアアプリケーションは、装置の検出された方位モードに基づき、ポートレイト又はランドスケープモードに、ユーザインタフェースディスプレイに表示されるビデオコンテンツを回転する場合が多い。したがって、リアルタイムビデオ通信コンテンツを表示するために用いられるモバイル装置は、該コンテンツを提供するサーバとは無関係に、検出された装置方位モードに従って表示のために受信したコンテンツを回転し整列させるか否かを決定するために方位センサに依存する場合が多い。
【0004】
能力交換シグナリング(又は、単に能力シグナリング)は、マルチメディアコンテンツサーバが、コンテンツを要求している特定のクライアントモバイル装置(ユーザ機器、又は単にUEと称される)に合わせられた該コンテンツを種々の装置に提供することを可能にする。能力シグナリングは、3GPP(Third Generation Partnership Project)パケット交換ストリーミングサービス(packet switched streaming service:PSS)、DASH(dynamic adaptive streaming over HTTP)、及びIMS(integrated multimedia subsystem)に基づくPSS及びマルチメディアブロードキャスト及びマルチキャストサービス(multimedia broadcast and multicast service:MBMS)(IMS PSS MBMSと略す)を含む1又は複数のストリーミングサービス標準種類を用い得るサーバの標準機能である。例えば、能力シグナリングは、3GPP TS26.234、「Transparent end-to-end packet switched streaming service(PSS); Protocols and codecs」、3GPP TS26.247、「Transparent end-to-end packet switched streaming service(PSS); Progressive download and dynamic adaptive streaming over HTTP (3GP-DASH)」、3GPP TS26.237、「IP Multimedia Subsystem (IMS) basedPacket Switch Streaming (PSS) and Multimedia Broadcast/Multicast Service (MBMS) User Service; Protocols」で標準化されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、UEからネットワークサーバに方位センサ情報を提供する能力交換シグナリングを行うユーザ機器(UE)、方法、コンピュータ可読媒体を提供する。
【図面の簡単な説明】
【0006】
【
図1】一実施形態による、能力交換シグナリングを実行するPSSコンポーネントのブロック図である。
【
図2】一実施形態による、PSS及びIMS PSS MBMSストリーミングサービスのための装置能力プロファイルを示すRDF(Resource Description Framework)表記法のグラフである。
【
図3】一実施形態による、装置方位に従って適応されるマルチメディアコンテンツをDASHに基づきストリーミングするDASHクライアント及びサーバの上位ブロック図である。
【
図4】
図3のDASHクライアント及びサーバを詳細に示すブロック図である。
【
図5】一実施形態による、装置方位に従って適応されるマルチメディアコンテンツをRTSP(Real-time Streaming Protocol)に基づきストリーミングするRTSPクライアント及びサーバの上位ブロック図である。
【
図6】一実施形態による、IMS PSS MBMSストリーミングサービスにおいて、subscribe及びnotificationメッセージを用いたSIP(session initiation protocol)に基づくサービス発見を示すメッセージフロー制御図である。
【
図7】一実施形態による、能力シグナリング及びマルチメディア適応を実装する情報処理システムのブロック図である。
【
図8】モバイルタブレットコンピュータの実施形態に従う、
図7の情報処理システムの等尺図である。
【発明を実施するための形態】
【0007】
本開示は、UEからネットワークサーバに方位センサ情報を提供する能力交換シグナリング技術を記載する。幾つかの実施形態によると、方位センサ情報は、方位センサ能力に対する装置のサポート、又は装置の現在の方位状態を記述する。例えば、マルチメディアコンテンツサーバは、クライアントUEが方位センサを有するという情報を得る。このような情報に基づき、サーバは、装置によりサポートされる異なる装置方位モードのためにマルチメディアコンテンツの異なる符号化バージョンを提供する。サーバは、装置の現在の方位モードに又は装置自体の種々の中間方位状態及び空間位置に合わせられた(つまり最適化された)コンテンツを生成するために、動的に及びリアルタイムに、メディアキャプチャ又はトランスコードパラメータを適応しても良い。これらの技術は、ネットワーク側でコンテンツを適応する機会をサーバに提供し、クライアント経験の向上を実現する。
【0008】
本開示に記載される技術は、2次元(2D)及び3次元(3D)ビデオアプリケーションの両方、並びにUE方位センサ情報に基づく制御入力をUEから受け付ける他のネットワークサービスにも用いることができる。例えば、2Dビデオコンテンツの場合には、ポートレイト及びランドスケープビデオ視野角(又はそれらの間の中間視野角)は、サポートされる視野角で表示するために符号化されている特有のビデオコンテンツストリームを生成し又は識別するためにユーザにより用いられても良い。3Dビデオコンテンツでは、(重力のような)基準に対する異なる視野角又は装置の空間位置における変化は、装置方位に基づきコンテンツを適応する(例えば、ビデオキャプチャカメラ機器を変換又は制御する)ために用いられ得る方位状態を提供する。
【0009】
図1は、PSSのための能力交換シグナリングシステム100の一例を示す。モバイル端末110(又はUE110)は、HTTP要求に型種類及び製造者、装置能力プロファイルを特定するためのURL、又は他の識別情報を含めることにより、自身のアイデンティティをPSSサーバ112に説明する(115)。次に、サーバ112は、それぞれ特定のモバイル端末種類の能力を一覧表にする装置能力プロファイル135を格納する装置プロファイルサーバ130から、対応する装置能力プロファイルを要求する(125)。サーバ112は、対応するプロファイルを受信し(140)、サポートされる方位モードを示す装置能力プロファイルから得た情報に従って、装置110に合ったマルチメディアコンテンツを照合する(145)。次に、選択されたマルチメディアコンテンツは、HTTP又はRTSPのようなストリーミングプロトコルを用いて、装置110へストリーミングされる(150)。
【0010】
ストリーミングセッションの設定中、サーバ112は、モバイル端末110に互換性のあるマルチメディアコンテンツを提供するために、装置能力プロファイル内の情報を用いる。
【0011】
したがって、サーバ112は、リモートメディアコンテンツサーバ112、メディアサーバ112、ウェブサーバ112、等とも表される。言い換えると、サーバ112は、ネットワークを介して、モバイル端末の能力を記述する情報を得る。サーバ112は、該情報を、接続中端末への供給のためのメディアコンテンツストリームを決定するために用いる。例えば、サーバ112は、接続中端末と互換性のあるメディアストリームの複数の利用可能な変形を識別するために、再生能力及びモバイル端末の特徴を比較し得る。次に、端末110は、識別されたストリームを要求できる。幾つかの実施形態では、サーバは、(PSS又はIMS PSS MBMSの文脈では)SDP(session description protocol)ファイル又は(DASHの文脈では)MPD(media presentation description)メタデータファイルを選択し又は生成するために、装置能力プロファイルを用いる。これらのファイルは、接続中端末110の能力に合ったストリームを識別する。
【0012】
図1は、種々の実施形態による、ネットワーク環境160も概略的に示す。ネットワーク環境160は、RAN(radio access network)168に無線で結合されるUE110を有する。RAN168は、OTA(over-the-air)インタフェースを介してUE110と通信するよう構成されるeNB(enhanced node base station)を有する。RAN168は、3GPP(third generation partnership project)LTE(long-term evolution)アドバンストネットワークの部分であっても良く、EUTRANと称されても良い。他の実施形態では、他の無線アクセスネットワーク技術が用いられても良い。
【0013】
UE110は、RAN168を通じてリモートメディアサーバ112と通信しても良い。eNB172はRAN168を介してネットワークエンティティと直接通信しているように示されるが、種々の実施形態では、通信は多数の中間ネットワークコンポーネント、例えばスイッチ、ルータ、ゲートウェイ、又は他のネットワーク装置を通じて流れても良いことが理解されるだろう。例えば、幾つかの実施形態では、RAN168は、メディアサーバ112が一部であると考えられるより大きなネットワーク、例えば広域ネットワークにRAN168を通信可能に結合するCSN(core services network)に結合されても良い。
【0014】
図1は無線通信ネットワークとしてネットワーク環境を記載するが、他の実施形態は、他の種類のネットワーク、例えば有線ネットワークで用いられても良い。本発明の実施形態が用いられ得る他のネットワーク環境は、
図1に示した例に明示的に示されるものより、多数の、少数の、又は異なるコンポーネントを有しても良いことが理解できる。例えば、有線ネットワークで用いられる本発明の実施形態は、RAN168を有しないで、メディアサーバ112とUE110とを互いに通信させても良い。
【0015】
図2は、PSS及びIMS PSS MBMSサービスのための装置能力プロファイルに含まれるメタデータ情報200の一例を示す。装置能力プロファイルは、W3C(World Wide Web Consortium)勧告「RDF Vocabulary Description Language 1.0: RDF Schema」、http://www.w3.org/TR/2004/RECrdf-schema-20040210/、2004年2月で仕様を定められるような、RDFスキームに従ってフォーマットされた拡張マークアップ言語のメタデータ情報を含む電子文書ファイルである。装置能力プロファイルRDF文書は、W3C勧告「Composite Capability/Preference Profiles (CC/PP): Structure and Vocabularies 1.0」、http://www.w3.org/TR/2004/REC-CCPP-struct-vocab-20040115/、2004年1月で仕様を定められるような、RDFの語彙拡張であるCC/PP(Composite Capabilities/Preference Profiles)の構造に従う。幾つかの実施形態では、装置能力プロファイルは、無線装置に固有の能力及び選好情報の記述に携わるCC/PPのアプリケーションであるUAProf(User Agent Profile)である。言い換えると、UAProf−Open Mobile Alliance「User Agent Profile Version 2.0」、2006年2月−は、UE能力及び選好を指定するために用いられる値を有する属性の語彙を含む。
【0016】
図2は、属性名、許容値、及びセマンティクスの例示的なセットを示す。上述のように、本願明細書に記載の特定の実施形態に従って、このような情報は、クライアント装置のために適切にフォーマットされたコンテンツを生成し又は供給するために、コンテンツプロバイダにより用いることができる。例えば、「[TerminalHardware]」コンポーネントメタデータフィールド210は、UE110がカラーコンテンツ220を4ビット毎ピクセルで表示できること230、適応型ストリーミングをサポートすること240を示す。上述のTS26.234で仕様を定められるような装置能力シグナリング中の他の関心のある属性(図示しない)は、次のパラメータを有しても良い(しかし、これらに限定されない)。プレデコーダバッファサイズ;初期バッファリング期間;デコーダ能力;スクリーンサイズ、解像度、ビット深さ、又は他の特性のようなディスプレイ特性;RTSP、HTTP等を含むストリーミング方法の適応サポート;QoEサポート;拡張RTP(Real-time Transport Protocol)(RTCPと略す)サポートの報告;高速コンテンツ切り替えサポート;並びにサポートされるRTPプロファイル及びSDP(Session Description Protocol)属性;である。
【0017】
PSS及びIMS PSS MBMSサーバは、モバイル端末の固有能力の記述、つまり装置能力記述を得る。方位能力を解析するPSS及びIMS PSS MBMSサービスでは、UAProf語彙は実質的に再利用され、ストリーミングのためにサーバ側コンテンツ交渉を実現するために追加のサービス固有語彙が定められる。幾つかの実施形態では、PSS語彙は、「Orientation」及び「DefaultOrientation」の装置能力交換シグナリング属性を有する。以下の表1及び2は、TS26.234で仕様を定められるPSSベースの語彙の「[PssCommon]」コンポーネントメタデータフィールド250(
図2)に含まれる「Orientation」及び「DefaultOrientation」属性の個々の例を示す。
【0019】
【表2】
幾つかの実施形態では、規定の及び現在の方位能力は、キャプチャとレンダリング/表示との両方について定められる。例えば、PSS語彙のPSSCommonコンポーネントについて定められる4個の属性は次の通りである。キャプチャ及び表示のためにクライアントによりサポートされる異なる装置方位モードの2個の属性リスト;キャプチャ及び表示のための規定装置方位のための情報を提供する2個の他の属性;である。規定装置方位は、方位センサが無効にされる又は存在しないときに用いられても良い。これら4個の属性の例示的なシンタックスは次の通りである。
【0023】
【表6】
幾つかの実施形態では、方位モードのセットは、装置の方位変化に基づき中間角度(例えば、90度方位モードの間の角度)で表示された画像を回転させる更なるモードを有しても良い。例えば、以上に定められたOrientationModesCapture及びOrientationModesDisplay属性は、もっと粒度を細かく、中間方位位置角を定める追加法定値を有しても良い。したがって、2つの追加属性は、装置方位センサの能力を特徴付けるため、及び装置センサがキャプチャ中又は表示のレンダリング中の方位変化を検出できる角度粒度に相応した、装置の方位認識を実現するために、用いられても良い。このような属性の例は、次の通りである。
【0025】
【表8】
表7及び8のこれらの例では、方位変化の検出のための最高の可能な角度粒度は、11.25度と推定された。したがって、属性値は、90度方位モードの間(例えば、ランドスケープとポートレイトの間)の8個の中間位置を示す1乃至8の間の整数値に限定される。しかしながら、他の実施形態では、より多くの又は少ない粒度レベルが、より高度な方位センサ能力により可能にされても良い。したがって、表7及び8の属性は、以上に指定した8個の値より高い(又はより低い)最大法定(legal)中間値数を有し得る。
【0026】
幾つかの実施形態では、表7及び8の属性は、キャプチャ及びレンダリング表示の両方のために、装置の方位認識を特徴付けるために、結合される。例えば、このような属性は以下のように定められても良い。
【0027】
【表9】
別の実施形態では、属性は、端末にあるキャプチャカメラの数を識別するために定められても良い。通常、1より多い値は、装置が前面及び背面カメラの両方を有することを示し得る。これは、方位認識適応にとって有利であり得る。通常2つのカメラが端末に含まれるが、以下の実施形態ではカメラの最大数は4と仮定される。他の例も可能である。
【0028】
【表10】
別の実施形態では、属性は、装置が水平ミラーリング、つまり回転後の画像の水平フリッピング(flipping)をサポートするか否かを示すために定められても良い。この属性は、画像センサ構成による水平にミラーリングされた画像をキャプチャする幾つかの装置のために用いられても良い。したがって、サーバが、受信側クライアントは水平ミラーリングをサポートすることを(以下に提案する能力交換シグナリングに基づき)知ったとき、サーバはミラーリングを補償する媒体を提供できる。水平ミラーリング属性は、以下のシンタックスを有しても良い。
【0029】
【表11】
図1に戻ると、装置プロファイルサーバ130は、HTTP要求125メッセージに応答して、PSSサーバ112に装置能力プロファイルを提供する。幾つかの実施形態では、モバイル端末110は、サーバ130により提供されるアイデンティティシグナリングを追加属性で補完し、又は自身の規定装置能力プロファイルの中で定められた属性を無効にする。この追加情報交換は、プロファイル差分(ProfDiff)交換シグナリングとして示され、装置能力プロファイルの属性を調整することを一時的に可能にする。一例では、このような一時的調整は、ユーザ選好によりトリガされても良い。例えば、端末はステレオ音声を処理及び生成する能力があるが、特定のセッションのユーザがモノラル音声を受信したい場合である。
【0030】
幾つかの実施形態では、端末製造者又はソフトウェア供給者は、装置プロファイルサーバ130を維持し、自身のUE製品のための装置能力プロファイルでプロファイル135を更新する。他の実施形態では、専用オペレータが、自身の加入者のために装置プロファイルサーバ130を管理し、加入者がプロファイル135に対してユーザ固有更新を行えるようにする。幾つかの実施形態では、装置プロファイルサーバ130は、マルチメディアコンテンツサーバ112と共有するサーバハードウェアにホストされても良い。
【0031】
端末の方位センサ能力の装置能力交換シグナリングに基づくマルチメディア適応方法は、2つのコンポーネントを有する。第1に、クライアント装置は、クライアントが方位センサを有するか否か、及びどんな方位モードがサポートされるか、例えば、ポートレイト、ランドスケープ、シースケープ、又は他の中間状態(表1)を示す情報をサーバにシグナリングする。さらに、クライアント装置は、ProfDiff交換シグナリングにより現在の装置方位をシグナリングすることにより、DefaultOrientation(表2)属性を一時的に無効にしても良い。第2に、サーバは、クライアント装置からの方位センササポート信号を検討し、異なる可能な装置方位モード(より一般的には、方位状態、視野角、又は単に方位と呼ばれる)に最適な形式でコンテンツの異なる符号化バージョンを提供する。さらに、サーバがコンテンツ生成/準備のためのキャプチャプロセスを制御する場合、サーバは、異なる可能な装置方位に最適な、同じコンテンツの複数のコピーをキャプチャし及び圧縮するよう、カメラユニットに指示しても良い。例えば、フットボールゲームをストリーミングしているユーザは、カメラがズームインしフットボール場に居る特定のフットボール選手を隔離すべきであることを示すために、UE110を再配置し得る。サーバは、コンテンツを現在の装置方位に一致させるために、オンザフライでトランスコードを動的に実行しても良い。
【0032】
上述の装置方位に基づくマルチメディア適応方法は、プル型ストリーミング及びプッシュ型ストリーミングの枠組みのために用いられても良い。プル型ストリーミングの一例はDASHである。プッシュ型ストリーミングの例は、それぞれTSP及びSIP(session initiation protocol)に基づくPSS及びIMS PSS MBMSサービスを含む。
【0033】
図3は、DASHの文脈で上位サーバ−クライアント相互作用300を示す。この環境では、サーバ130は、種々のサポートされる装置方位状態を得るために、クライアント装置330から装置能力交換シグナリングを受信しても良い(320)。装置能力シグナリング320は、クライアント330からの更なるシグナリングが存在しない場合に装置方位を示すDefaultOrientation属性(表2)を有しても良い。装置方位のセット及び対応するコンテンツ情報は、MPDメタデータファイルでクライアント330に伝達される(340)。次に、クライアントプレイヤは、現在の装置方位状態を監視し、現在の装置方位に合ったMPDファイル内で指定されたコンテンツの対応するバージョンを要求する。さらに、HTTPでMPDを検索するとき、クライアント330は、ProfDiffに基づく装置方位に対する一時的調整を含み、GET要求に装置方位情報を含めても良い(現在の装置方位は、規定装置方位と異なっても良い)。したがって、HTTPサーバ310は、最適化されたMPD340をUE330に配信する。
【0034】
図4は、DASHの可能な適応型ストリーミングネットワーク400を示す。ネットワーク400は、ウェブサーバ310(
図3)からマルチメディアサービスを得るクライアント330を有する。また、ウェブサーバ310は、マルチメディアコンテンツが格納されているウェブ又はメディアサーバ414からのマルチメディアコンテンツを供給する。ウェブ/メディアサーバ414は、オーディオ/ビデオ入力416を介して、ライブ入力ストリーム又は予め格納されたメディアコンテンツであっても良いマルチメディアコンテンツを受信する。ここで、メディアはクライアント410にストリーミングされる。ウェブ/メディアサーバ414は、メディアコンテンツを適切なフォーマットに符号化するメディア符号器424と、入力メディアコンテンツをストリーミングに適するフラグメント又はチャンクのシリーズに分けるメディアセグメンタ426と、を有しても良い。クライアント410は、ウェブサーバ412と相互作用するためのウェブブラウザ418と、ストリーミングマルチメディアコンテンツを復号化しレンダリングするためのメディア復号器/再生機420と、を有しても良い。
【0035】
幾つかの実施形態では、クライアント410は、1又は複数の標準HTTPサーバ又はキャッシュへの1又は複数のTCPコネクションを開く。次に、クライアント410は、ウェブ/メディアサーバ414に格納されたメディアコンテンツの構造、並びに例えば異なるビットレート、フレームレート、解像度、コーデック種類及びDASH MPDデータモデル標準ISO/IEC23009-1:2012(E)で仕様の定められる他の情報を含む異なるバージョンに関する情報を提供するMPD(メタデータ)ファイルを検索する。MPDは、セグメントをメディア提示時系列にマッピングするために、各セグメントのHTTP URL及び関連するメタデータ情報を伝達するために用いられる。クライアント410は、メディアファイルの選択されたバージョンのより小さなデータセグメントを得るためにHTTP GET又は部分(partial)HTTP GETメッセージを用いて(HTTP GET URL(FRAG1 REQ), FRAGMENT 1, HTTP GET URL(FRAGi REQ), FRAGMENTi)、チャンク内の新しいデータを要求する。ここで、個々のHTTP GETメッセージは、
図4に示すように、短いダウンロードによりストリーミングをまねる。HTTP GETメッセージのURLは、クライアントがどの1又は複数のセグメントを要求しているかをウェブサーバ412に教える。その結果、ウェブブラウザ418は、ウェブサーバ412からメディアをセグメント毎(又は、バイト範囲要求に基づき、サブセグメント毎に)に引き出す。
【0036】
図5は、プッシュ型ストリーミング(PSS及びIMS PSS MBMS)の文脈で、上位サーバ−クライアント相互作用500を示す。この環境では、サーバ510は、クライアント520から能力交換シグナリング情報530を受信し、装置方位に基づきコンテンツを適応する。プッシュ型モデルでは、サーバ510は、格納されたコンテンツバージョンの中からコンテンツバージョンを選択し、又は現在の装置方位に基づきコンテンツを動的にトランスコードし該コンテンツをクライアント520へストリーミングする。セッション関連メタデータは、装置方位情報に関連するストリーミングされるコンテンツを記述するSDP(session description protocol)でクライアント520に提供される(540)。
【0037】
PSSサービスでは、クライアント520は、通常、RTSP DESCRIBEメッセージ内で装置方位情報をサーバ510へ送信する。このメッセージは、クライアント520からの更なるシグナリングが存在しない場合に装置方位を示すDefaultOrientation属性(表2)を有しても良い。さらに、ProfDiffシグナリングは、現在の装置方位が規定装置方位と異なるとき、装置能力プロファイルを一時的に調整するために用いられる。能力交換をサポートするPSSコンテンツサーバは、任意の他の後続のHTTP又はRTSP要求の中で、クライアントから装置方位情報を受信できる。
【0038】
IMS PSS MBMSサービスでは、クライアント520は、サービス発見中に、SIP SUBSCRIBEメッセージ内の装置方位情報をIPマルチメディア(IM)コアネットワーク(CN)サブシステムへ送信できる。次に、IM CNサブシステムは、該メッセージをサービス発見機能(Service Discovery Function:SDF)へ転送する。例えば、
図6は、UE610(UE110と同じ又は同義)と、IM CNサブシステム620と、SDF630との間の装置方位メッセージ交換600を示す。IM CNサブシステム620及びSDF630は、アクセスネットワークドメイン、例えばRAN168(
図1)と接続するコアネットワークドメインの部分であっても良い。
【0039】
SIP SUBSCRIBEメッセージ640は、クライアント610からの更なるシグナリングが存在しない場合に装置方位を示す規定装置方位属性を有しても良い。SDF630は、例えばUE610の能力に従って、ユーザのプロファイルのための適正なサービス発見情報を決定する(Personalized Service Discovery)。SDF630は、サービス発見情報を含むUE610へのSIP NOTIFYメッセージ650をIM CNサブシステム620宛に送信する。IM CNサブシステム620は、SIP NOTIFYメッセージ650をUE610へと中継して返す。各メッセージ中継は、SIP OKメッセージにより肯定応答される。このメッセージ交換の枠組みは、PSS及びMBMSユーザサービスにおける装置方位情報を利用してサービス発見を最適化できる。続いて、IMサブシステム(IMS)セッション中、UE610は、現在の装置方位が規定装置方位と異なる場合にProfDiffに基づく装置方位に対する任意の一時的調整を含む更新を示すためにSIPシグナリングを用いても良い。更新は、現在の装置方位情報を含む更なるSIP SUBSCRIBEメッセージを通じて加入をリフレッシュすることにより伝達される。
【0040】
図7は、1又は複数の実施形態による、装置方位能力交換シグナリング及び装置方位に応答してマルチメディアコンテンツのサーバ適応を実装できる情報処理システム700のブロック図を示す。
図7の情報処理システム700は、
図1、3、4又は5に示し説明したネットワーク100のネットワーク要素のうちの任意のもののうちの1又は複数を有形に具現しても良い。例えば、情報処理システム700は、クライアント110、メディアサーバ112、又は装置能力サーバ130のハードウェアを表しても良い。ここで、特定の装置又はネットワーク要素のハードウェア仕様に依存してより多くの又は少ないコンポーネントがある。例えば、UEとして、システム700は、通常、方位センサを有し得る。情報処理システム700は、幾つかの種類のコンピューティングプラットフォームの一例を示すが、情報処理システム700は、
図7に示したものより多くの又は少ない要素及び/又は要素の異なる配置を有しても良い。
【0041】
情報処理システム700は、プロセッサ710及び/又は712のような、1又は複数の処理コアを有しても良い1又は複数のプロセッサを有する。プロセッサ710、712のうちの1又は複数は、メモリブリッジ714を介して、プロセッサ710、712のうちの1又は複数の外部に又は少なくとも部分的に内部に配置されても良い1又は複数のメモリ716及び/又は718に結合されても良い。メモリ716及び/又はメモリ718は、種々の種類の半導体に基づくメモリ、例えば揮発性型メモリ及び/又は不揮発性型メモリを有しても良い。メモリブリッジ714は、情報処理システム700に結合されるディスプレイ装置(図示しない)を駆動するグラフィックシステム720に結合しても良い。
【0042】
情報処理システム700は、種々の種類のI/Oシステムに結合する入力/出力(I/O)ブリッジ722を更に有しても良い。I/Oシステム724は、1又は複数の周辺装置を情報処理システム700に結合するために、例えばUSB(universal serial bus)型システム、IEEE(Institute of Electrical and Electronics Engineers)1394型システム、等を有しても良い。バスシステム726は、1又は複数の周辺装置を情報処理システム700に接続するために、PCI(peripheral component interconnect)express型バス等のような1又は複数のバスシステムを有しても良い。ハードディスクドライブ(HDD)制御システム728は、1又は複数のハードディスクドライブ等を情報処理システム700、例えばシリアルATA型ドライブ等、又は代替でフラッシュメモリ、位相変化及び/又はカルコゲニド型メモリ等を備える半導体に基づくドライブに結合しても良い。スイッチ730は、1又は複数の交換装置をI/Oブリッジ722、例えばギガビットイーサネット(登録商標)型装置等に結合するために用いられても良い。さらに、
図7に示すように、情報処理システム700は、他の無線通信装置との及び/又は
図4の伝送システム400のような無線ネットワークを介した無線通信のために1又は複数のアンテナ734に結合するRF回路及び装置を有する無線周波数(RF)通信機732を有しても良い。情報処理システムが複数のアンテナ734を有する場合、RF受信機732は、MIMO(multiple-input, multiple-output)通信方式を実装しても良い。しかしながら、請求される主題の範囲はこれに関して限定されない。UEの文脈で情報処理システムの例示的な実施形態は、以下に
図8に示され
図8と関連して説明される。
【0043】
図8は、携帯電話機、スマートフォン、タブレット型装置、等として具現化される、
図7の情報処理システム700の等尺図である。システム700は、
図1のクライアント110を有する。また、システム700は、装置方位能力交換シグナリングを実装し、装置方位に応答してマルチメディアコンテンツのサーバ適応を開始する。情報処理システム700は、ユーザの指816を介して及び/又はスタイラス818を介して1又は複数のプロセッサ710又は712を制御するための触覚入力制御及びコマンドを受信するタッチスクリーン814を備えても良いディスプレイ812を含む筐体810を有しても良い。筐体810は、情報処理システム700の1又は複数のコンポーネント、例えば1又は複数のプロセッサ710、712、1又は複数のメモリ716、718、又は通信機732を収容しても良い。情報処理システム700は、任意で、1又は複数のボタン又はスイッチを介して情報処理システムを制御するためのキーボード又はボタンを含む物理アクチュエータ領域820を更に有しても良い。情報処理システム700は、例えばSD(secure digital)カード又はSIM(subscriber identity module)カードの形式のフラッシュメモリのような不揮発性メモリを受けるポート又はスロット822を有しても良い。任意で、情報処理システム700は、1又は複数のスピーカ823及びマイクロフォン824と、情報処理システム700を別の電子装置、ドック、ディスプレイ、バッテリ充電器、等に接続する接続ポートと、を更に有しても良い。さらに、情報処理システム700は、筐体810の片側又は両側に、ヘッドフォン又はスピーカジャック828と、1又は複数のカメラ830と、を有しても良い。システム700は、内部方位センサ840を有する。留意すべきことに、
図7及び8の情報処理システム700は、種々の配置で、図示のものより多くの又は少ない要素を有しても良い。
【0044】
当業者は、本発明の基礎的な原理から逸脱することなく、上述の実施形態の詳細事項に対して多くの変更が行われ得ることを理解するだろう。したがって、本発明の範囲は、添付の請求の範囲によってのみ決定されるべきである。
【0045】
[関連出願]
本願は、35U.S.C.§119(e)に基づき、米国仮特許出願番号第61/679,627号、2012年8月3日出願(代理人管理番号P46630Z)、及び米国仮特許出願番号第61/719,241号、2012年10月26日出願(代理人管理番号P50328Z)の優先権の利益を請求する。米国仮特許出願番号第61/679,627号及び米国仮特許出願番号第61/719,241号は、参照することにより、全体が本願明細書に組み込まれる。