特許 6239629 ビデオ方位に基づくマルチメディア適応

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6239629

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】ビデオ方位に基づくマルチメディア適応

(51)【国際特許分類】

   H04N 21/437 20110101AFI20171120BHJP

   H04N 21/414 20110101ALI20171120BHJP

   H04M 11/00 20060101ALI20171120BHJP

   H04N 21/258 20110101ALI20171120BHJP

【ＦＩ】

   H04N21/437

   H04N21/414

   H04M11/00 302

   H04N21/258

【請求項の数】22

【全頁数】29

(21)【出願番号】特願2015-534836(P2015-534836)

(86)(22)【出願日】2013年10月28日

(65)【公表番号】特表2016-502296(P2016-502296A)

(43)【公表日】2016年1月21日

(86)【国際出願番号】US2013067048

(87)【国際公開番号】WO2014066885

(87)【国際公開日】20140501

【審査請求日】2015年3月26日

(31)【優先権主張番号】61/719,241

(32)【優先日】2012年10月26日

(33)【優先権主張国】US

(31)【優先権主張番号】61/753,914

(32)【優先日】2013年1月17日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】593096712

【氏名又は名称】インテル コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】オイマン，オズグル

【審査官】 福西 章人

(56)【参考文献】

【文献】 特開２０１２−１４１５７０（ＪＰ，Ａ）

【文献】 特開２００８−０７９２２８（ＪＰ，Ａ）

【文献】 特開２００５−０４９８３４（ＪＰ，Ａ）

【文献】 特開２００５−１４８３２６（ＪＰ，Ａ）

【文献】 特開２００４−２４０８７８（ＪＰ，Ａ）

【文献】 Transparent end-to-end Packet-switched Streaming Service (PSS); Protocols and codecs，３ＧＰＰ ＴＳ２６．２３４ Ｖ９．３．０，３ＧＰＰ，２０１０年 ６月，pp.120-122，151，ＵＲＬ，http://www.qtc.jp/3GPP/Specs/26234-930.pdf

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｍ １１／００

Ｈ０４Ｎ ５／３８−５／４６

Ｈ０４Ｎ ５／７６−５／９５６

(57)【特許請求の範囲】

【請求項1】

方位認識処理能力を提供するモバイル端末（ＭＴ）であって、
前記ＭＴのビデオ方位能力を決定するプロセッサと、
ＰＳＳ（packet switched streaming service）装置能力交換シグナリングにより、サーバにビデオ方位能力情報を送信する通信機と、
を有し、
前記プロセッサは、
装置方位に基づき指定されたメディアセグメントの指定されたビデオ方位でビデオをキャプチャし、
３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイルにＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイルのインスタンス化として、前記キャプチャされたビデオのビデオ方位情報を埋め込む、
よう更に構成される、
モバイル端末。

【請求項2】

モバイル端末の現在のビデオ方位能力情報は、プロファイル差分（Profdiff）シグナリングを介して規定ビデオ方位能力情報を上書きする、請求項１に記載のモバイル端末。

【請求項3】

前記ビデオ方位情報は、
前記３ＧＰファイルのビデオトラック又はＲＴＰ（real-time transport protocol）ヒントトラック、
「ｍｏｏｖ」ボックス初期化セグメント又は「ｍｏｏｆ」ボックスメディアセグメントであるファイルレベルＩＳＯ−ＢＭＦＦボックス、
前記ＩＳＯ−ＢＭＦＦの時限メタデータトラック、又は
ＩＳＯファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ（SampleEntry）、
に埋め込まれる、請求項１に記載のモバイル端末。

【請求項4】

前記通信機は、ＨＴＴＰ（hypertext transfer protocol）ストリーム又はＤＡＳＨ（dynamic adaptive streaming over HTTP）のための前記３ＧＰファイルをアップロードする、
よう更に構成される、請求項１に記載のモバイル端末。

【請求項5】

前記通信機は、
ＰＳＳ（packet switched streaming service）装置能力交換シグナリングによりビデオ方位属性を送信し、前記ビデオ方位属性はＰＳＳ共通コンポーネントであり、前記ＰＳＳ共通コンポーネントは、
クライアント装置によりサポートされる異なるビデオ方位状態のリストから選択される方位（Orientation）属性、
コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位（DefaultOrientation）属性、
キャプチャリングのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ（OrientationModesCapture）属性、
レンダリング及びディスプレイのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ（OrientationModesDisplay）属性、
方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ（DefaultOrientationCapture）属性、
前記方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ（DefaultOrientationDisplay）属性、
装置センサが前記キャプチャ中にビデオ方位変化を検出できる９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ（OrientationAngularGranularityCapture）属性、
装置センサが前記レンダリング及び前記ディスプレイ又は前記キャプチャ並びに前記レンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる前記９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ（OrientationAngularGranularityDisplay）属性、
装置にある多数のカメラから選択されるカメラ数（NumOfCameras）属性、又は
前記装置が方位を認識するとき前記装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート（HorizontalMirroringSupport）属性、
を有する、よう更に構成される、請求項１に記載のモバイル端末。

【請求項6】

前記ビデオ方位能力情報は、３ＧＰＰ（third generation partnership project）ＬＴＥ（long term evolution）ＰＳＳ（packet switched streaming service）セッション、ＤＡＳＨ（dynamic adaptive streaming over ＨＴＴＰ（hypertext transfer protocol））セッション、又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳ（ＩＭＳ（integrated multimedia subsystem） base ＰＳＳ及びＭＢＭＳ（multimedia broadcast and multicast service）セッションの中で提供される、請求項１に記載のモバイル端末。

【請求項7】

前記モバイル端末の方位を決定する方位センサ、
を更に有する請求項１に記載のモバイル端末。

【請求項8】

前記通信機は、
ＲＴＰ（real-time transport protocol）ストリームのためのＲＴＰ拡張ヘッダを受信し、又はＨＴＴＰ（hypertext transfer protocol）ストリーム又はＤＡＳＨ（dynamic adaptive streaming over HTTP）のための３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイルを受信する、
よう更に構成され、
前記プロセッサは、
前記３ＧＰファイル内のビデオ方位情報の存在を識別するためにＭＰＤ（media presentation description）メタデータファイルをパースし、又は埋め込まれたビデオ方位情報について前記３ＧＰファイルをパースし、
前記パースしたビデオ方位情報及び前記モバイル端末の現在の方位に基づき、方位補正項を決定し、及び
前記決定した方位補正項に基づき、不整合について、前記ＨＴＴＰストリーム又はＤＡＳＨのレンダリング方位を補正し、又は
前記ＲＴＰストリーム内のビデオ方位情報の存在を識別するためにＳＤＰ（session description protocol）ファイルをパースし、又は埋め込まれたビデオ方位情報について前記ＲＴＰストリームのＲＴＰ拡張ヘッダをパースし、
前記パースしたビデオ方位情報及び前記モバイル端末の前記現在の方位に基づき、前記方位補正項を決定し、及び
前記決定した方位補正項に基づき、不整合について、前記ＲＴＰストリームのレンダリング方位を補正する、
よう更に構成され、
前記レンダリング方位は、前記ＭＴの前記方位の回転又はフリップを補償する、請求項１に記載のモバイル端末。

【請求項9】

前記モバイル端末（ＭＴ）は、クライアント装置、ユーザ機器（ＵＥ）、又は移動局（ＭＳ）を有し、
前記モバイル端末は、アンテナ、カメラ、接触感応ディスプレイスクリーン、スピーカ、マイクロフォン、グラフィックプロセッサ、アプリケーションプロセッサ、内部メモリ、又は不揮発性メモリポートを有する、
請求項１に記載のモバイル端末。

【請求項10】

ビデオ方位に基づくマルチメディア適応のために動作するサーバであって、コンピュータ回路を有し、該コンピュータ回路は、
ＰＳＳ（packet switched streaming service）装置能力交換シグナリングを介してクライアント装置から装置能力を受信し、前記装置能力はビデオ方位能力を有し、
前記装置のビデオ方位能力に基づき、ビデオ方位認識マルチメディア適応を実行する、
よう構成され、
前記コンピュータ回路は、
異なるビデオ方位のビデオセグメントをキャプチャし及び圧縮するよう前記クライアント装置に指示し、
３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイル又はＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイルのインスタンス化にビデオ方位情報を埋め込むよう前記クライアント装置に指示する、
よう更に構成される、
サーバ。

【請求項11】

前記コンピュータ回路は、更新されたビデオ方位能力がプロファイル差分（Profdiff）シグナリングによりクライアント装置から受信されると、前記クライアント装置の規定ビデオ方位能力情報を上書きするよう更に構成される、請求項１０に記載のサーバ。

【請求項12】

ビデオ方位認識マルチメディア適応を実行するよう構成される前記コンピュータ回路は、
方位認識コンテンツ適応、方位認識コンテンツ選択、方位認識トランスコーディング、又は方位認識フォーマット変換を実行して、ビデオ方位不整合を補正し、前記クライアント装置において正しいビデオ方位によるコンテンツ再生を保証する、
よう更に構成される、請求項１０に記載のサーバ。

【請求項13】

前記コンピュータ回路は、
前記クライアント装置のビデオ方位能力に基づき、ストリーミングサービス又はダウンロードサービスを介して、前記クライアント装置へ、方位認識適応されたコンテンツを配信し、前記方位認識適応されたコンテンツは、ＨＴＴＰ（hypertext transfer protocol）ストリーム又はＤＡＳＨ（dynamic adaptive streaming over HTTP）のための前記クライアント装置のビデオ方位能力に従って異なる符号化コンテンツを有するＭＰＤ（media presentation description）メタデータファイルを有し、或いは、前記方位認識適応されたコンテンツは、対応するＲＴＰストリーム内の方向付けられたビデオコンポーネントの存在を示すＳＤＰ（session description protocol）ファイル及びＲＴＰ（real-time transport protocol）ストリームのための現在のビデオ方位情報を示すＲＴＰヘッダ拡張を有する、
よう更に構成される、請求項１０に記載のサーバ。

【請求項14】

方位認識マルチメディア適応を実行するよう構成される前記コンピュータ回路は、
前記クライアント装置の前記装置能力が方位認識処理能力を有しないとき、ＨＴＴＰ（hypertext transfer protocol）ストリーム、ＤＡＳＨ（dynamic adaptive streaming over HTTP）又はＲＴＰ（real-time transport protocol）ストリームのマルチメディアコンテンツを異なるビデオ方位に動的にトランスコーディング又は変換し、又は
前記クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがって、前記クライアント装置が前記クライアント装置のビデオ方位処理エンジンを起動し帯域内メディアストリーム内のビデオ方位指示情報を得ることができるとき、ＭＰＤ（media presentation description）メタデータファイル又はＳＤＰ（session description protocol）ファイルに前記ビデオ方位指示情報を埋め込み、又は
前記クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがって前記クライアント装置が前記マルチメディアコンテンツの表示方位を変更できるとき、ＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイル又はＲＴＰ（real-time transport protocol）拡張ヘッダに、ビデオ方位情報を埋め込む、
よう更に構成される、請求項１０に記載のサーバ。

【請求項15】

前記装置能力を受信するよう構成される前記コンピュータ回路は、
ＰＳＳ（packet switched streaming service）装置能力交換シグナリングによりビデオ方位属性を受信し、前記ビデオ方位属性はＰＳＳ共通コンポーネントであり、前記ＰＳＳ共通コンポーネントは、
クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位（Orientation）属性、
コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位（DefaultOrientation）属性、
キャプチャリングのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ（OrientationModesCapture）属性、
レンダリング及びディスプレイのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ（OrientationModesDisplay）属性、
方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ（DefaultOrientationCapture）属性、
前記方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ（DefaultOrientationDisplay）属性、
装置センサが前記キャプチャ中にビデオ方位変化を検出できる９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ（OrientationAngularGranularityCapture）属性、
装置センサが前記レンダリング及び前記ディスプレイ又は前記キャプチャ並びに前記レンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる前記９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ（OrientationAngularGranularityDisplay）属性、
装置にある多数のカメラから選択されるカメラ数（NumOfCameras）属性、又は
前記装置が方位を認識するとき前記装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート（HorizontalMirroringSupport）属性、
を有する、よう更に構成される、請求項１０に記載のサーバ。

【請求項16】

前記ビデオ方位情報は、
前記３ＧＰファイルのビデオトラック又はＲＴＰ（real-time transport protocol）ヒントトラック、
「ｍｏｏｖ」ボックス初期化セグメント又は「ｍｏｏｆ」ボックスメディアセグメントであるファイルレベルＩＳＯ−ＢＭＦＦボックス、
前記ＩＳＯ−ＢＭＦＦの時限メタデータトラック、又は
ＩＳＯファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ（SampleEntry）、
に埋め込まれる、請求項１０に記載のサーバ。

【請求項17】

前記サーバは、３ＧＰＰ（third generation partnership project）ＬＴＥ（long term evolution）ＰＳＳ（packet switched streaming service）サーバ、ＤＡＳＨ（dynamic adaptive streaming over ＨＴＴＰ（hypertext transfer protocol））サーバ、又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳ（ＩＭＳ（integrated multimedia subsystem） base ＰＳＳ及びＭＢＭＳ（multimedia broadcast and multicast service）サーバを有する、請求項１０に記載のサーバ。

【請求項18】

モバイル端末（ＭＴ）の装置方位に基づくサーバにおけるマルチメディア適応の方法であって、
前記サーバにおいて、ＰＳＳ（packet switched streaming service）装置能力交換シグナリングを介して前記ＭＴのビデオ方位能力を受信するステップと、
装置のビデオ方位能力に基づき前記ＭＴにおける不整合を補正するためのマルチメディアコンテンツを方位認識処理するステップと、
キャプチャされた画像の一連のビデオ方位値の連続記録としてビデオをキャプチャするよう前記ＭＴに指示するステップと、
３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイル又はＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイルに、時限ビデオ方位情報を埋め込むよう前記ＭＴに指示するステップと、
を有する方法。

【請求項19】

前記ビデオ方位情報は、
前記３ＧＰファイルのビデオトラック又はＲＴＰ（real-time transport protocol）ヒントトラック、
「ｍｏｏｖ」ボックス初期化セグメント又は「ｍｏｏｆ」ボックスメディアセグメントであるファイルレベルＩＳＯ−ＢＭＦＦボックス、
前記ＩＳＯ−ＢＭＦＦの時限メタデータトラック、又は
ＩＳＯファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ（SampleEntry）、
に埋め込まれる、請求項１８に記載の方法。

【請求項20】

前記ビデオ方位情報は、ＧＳＭＡ（ＧＳＭ（global system for mobile communications） association）ＲＣＳ（rich communication services）５．１プロファイルにおける、９０度の粒度、水平フリップのためのフリップビット、又は前面又は背面カメラ方向を示すカメラビットをサポートするために回転ビットを有する、請求項１８に記載の方法。

【請求項21】

方位認識処理は、
前記装置のビデオ方位能力に基づき、複数の格納されたコンテンツバージョンからキャプチャされたコンテンツのコンテンツバージョンを選択するステップ、又は
前記装置のビデオ方位能力に基づき、キャプチャされたコンテンツを動的にトランスコーディング又は変換するステップ、及び
ＰＳＳ（packet switched streaming service）ＲＴＰ（real-time transport protocol）ストリーミング、ＰＳＳダウンロード、又はＭＢＭＳ（multimedia broadcast and multicast service）ダウンロードで方向付けられたビデオコンポーネントを有する前記キャプチャされたコンテンツをプッシュするステップ、又は
ＨＴＴＰ（hypertext transfer protocol）ストリーム、ＤＡＳＨ（dynamic adaptive streaming over HTTP）ストリーム、ＲＴＰ（real-time transport protocol）ストリーム、又はＳＤＰ（session description protocol）ファイル内のビデオ方位情報の存在を示す及びＲＴＰストリームのＲＴＰ拡張ヘッダ内の対応するビデオ方位情報を示すＲＴＳＰ（real time streaming protocol）の中の、方向付けられたビデオコンポーネントを有する前記キャプチャされたコンテンツを動的に配信するステップ、
を更に有する、請求項１８に記載の方法。

【請求項22】

請求項１８に記載の方法を実行するよう適応されるコンピュータプログラムコード手段を有するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

ビデオ方位に基づくマルチメディア適応の技術が開示される。

【背景技術】

【0002】

無線モバイル通信技術は、種々の規格及びプロトコルを用いて、ノード（例えば、送信局）と無線装置（例えば、モバイル装置）との間でデータを伝送する。幾つかの無線装置は、ダウンリンク（ＤＬ）送信でＯＦＤＭＡ（orthogonal frequency-division multiple access）を、アップリンク（ＵＬ）送信でＳＣ−ＦＤＭＡ（single carrier frequency division multiple access）を用いて通信する。信号送信のためにＯＦＤＭ（orthogonal frequency-division multiplexing）を用いる規格及びプロトコルは、３ＧＰＰ（third generation partnership project）ＬＴＥ（long term evolution）、ＷｉＭＡＸ（Worldwide interoperability for Microwave Access）として業界団体に一般に知られているＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１６標準（例えば、８０２．１６ｅ、８０２．１６ｍ）、及びＷｉＦｉとして業界団体に一般に知られているＩＥＥＥ８０２．１１標準を含む。

【0003】

３ＧＰＰ ＲＡＮ（radio access network）ＬＴＥシステムでは、ノードは、Ｅ−ＵＴＲＡＮ（Evolved Universal Terrestrial Radio Access Network）ＮｏｄｅＢ（evolved Node B、enhanced Node B、eNodeB、又はeNBとしても一般的に表記される）と、ユーザ機器（ＵＥ）として知られる無線装置と通信するＲＮＣ（Radio Network Controllers）との組合せであり得る。ダウンリンク（ＤＬ）送信は、ノード（例えば、eNodeB）から無線装置（例えば、ＵＥ）への通信であり得る。また、アップリンク（ＵＬ）送信は、無線装置からノードへの通信であり得る。

【0004】

無線装置は、ＨＴＴＰ（hypertext transfer protocol）ストリーミングのような種々のプロトコルを用いてインターネットビデオのマルチメディア配信を受信するために使用され得る。ビデオストリーミングのＨＴＴＰに基づく配信を提供するためのプロトコルは、ＤＡＳＨ（dynamic adaptive streaming over HTTP）を含み得る。

【発明の概要】

【発明が解決しようとする課題】

【0005】

ビデオ方位に基づくマルチメディア適応の技術を提供する。

【図面の簡単な説明】

【0006】

本開示の特徴及び利点は、例として本開示の特徴を共に図示する添付の図面と関連する以下の詳細な説明から明らかである。

【図1】一例による、パケット交換ストリーミングサービス（packet switched streaming service：ＰＳＳ）能力交換における機能コンポーネントの図を示す。

【図2】一例による、パケット交換ストリーミングサービス（packet switched streaming service：ＰＳＳ）、統合マルチメディアサブシステム（integrated multimedia subsystem：ＩＭＳ）に基づくＰＳＳ、マルチメディアブロードキャスト及びマルチキャストサービス（multimedia broadcast and multicast service：ＭＢＭＳ）（IMS_PSS_MBMS）サービスのための例示的な装置能力プロファイルを示す。

【図3】一例による、例示的なビデオ方位への適応を有するＨＴＴＰ上の動的適応ストリーミング（dynamic adaptive streaming over hypertext transfer protocol：DASH）に基づくストリーミングを示す。

【図4】一例による、例示的なビデオ方位への適応を有するリアルタイムストリーミングプロトコル（real-time streaming protocol：ＲＴＳＰ）に基づくストリーミングを示す。

【図5】一例による、統合マルチメディアサブシステム（integrated multimedia subsystem：ＩＭＳ）に基づくパケット交換ストリーミングサービス（packet switched streaming service：ＰＳＳ）、マルチメディアブロードキャスト及びマルチキャストサービス（multimedia broadcast and multicast service：ＭＢＭＳ）（IMS_PSS_MBMSと略す）サービスのためのsubscribe及びnotifyを有する例示的なサービス発見を示す。

【図6】一例による、ビデオ方位情報を埋め込まれたコンテンツの受信に基づき、方位を意識したマルチメディア適応を用いる、例示的なサーバ−クライアント相互作用を示す。

【図7】一例による、ＩＳＯ（International Organization for Standardization）に基づくメディアファイルフォーマット（ＩＳＯ−ＢＭＦＦ）を用いて、３ＧＰＰ（third generation partnership project）ファイルフォーマット（３ＧＰ）ファイルにビデオ方位情報を埋め込む例を示す。

【図8】一例による、ビデオ方位情報を埋め込まれたコンテンツの受信に基づき、装置方位を意識したマルチメディア適応を用いる、例示的なサーバ−クライアント相互作用を示す。

【図9】一例による、ＩＳＯ（International Organization for Standardization）ファイルフォーマットボックス構造階層を示す。

【図10】一例による、モバイル端末（ＭＴ）の装置方位に基づく、サーバにおけるマルチメディア適応の方法のフローチャートを示す。

【図11】一例による、ビデオ方位に基づくマルチメディア適応のために動作するサーバのコンピュータ回路の機能を示す。

【図12】一例による、サーバ、ノード、及びユーザ機器（ＵＥ）の図を示す。

【図13】一例による、無線装置（例えば、ＵＥ）の図を示す。 以下では、図示の例示的な実施形態を参照し、本願明細書ではそれらを説明するために固有の言語が用いられる。しかしながら、それにより本発明の範囲の如何なる限定も意図されないことが理解されるだろう。

【発明を実施するための形態】

【0007】

本発明が開示され説明される前に、本発明は本願明細書に開示される特定の構造、処理ステップ又は材料に限定されず、関連分野の当業者により認識されるように、それらの等価物にまで拡張されることが理解されるべきである。本願明細書で用いられる用語は、特定の例を説明することのみを目的としており、限定を目的としていないことが理解されるべきである。異なる図中の同じ参照符号は、同じ要素を表す。フローチャート及び処理中に提供される数値は、ステップ及び動作を説明する際に明確性のために提供されるものであり、必ずしも特定の順序又は配列を示さない。

【0008】

＜例示的な実施形態＞
以下に、技術的実施形態の最初の概略が提供され、次に特定の技術的実施形態が詳細に説明される。この最初の概要は、読者が技術をより仁族に理解するのを助けることを目的としており、技術の主要な特徴又は基本的特徴を特定することを意図せず、あるいは請求される主題の範囲を限定することを意図しない。

【0009】

ストリーミング及び会話サービスを含むマルチメディアサービスの成長は、新しいモバイル広帯域技術及び標準への進化の要因の１つである。メディア圧縮及び無線ネットワーク基盤における発展に伴うマルチメディアサービスへの高い消費者要求により、携帯電話機及びモバイル広帯域システムのマルチキャストサービス能力を拡張することが望ましい。ここで、マルチキャストサービス能力は、高いＱｏＥ（quality of experience）を消費者に供給するために用いることができ、任意の場所から任意の時間に任意の装置及び技術によるビデオコンテンツ及びサービスへのユビキタスアクセスを保証する。種々のモバイル装置をサポートし、種々の装置クラス及び能力に最適化されたメディア処理手順及びセッション管理プロトコルを提供することは、ユビキタス方式で高いＱｏＥによりマルチメディアコンテンツの供給を可能にするために使用できる。

【0010】

リアルタイムビデオ通信で使用されるモバイル装置に方位センサを導入することにより、ディスプレイコンテンツは、装置方位に揃えて回転できる。例えば、方位センサは、重力場を測定することにより装置方位を検出できる。他の種類の方位センサが使用されても良い。次に、装置方位は、方位に従って装置機能を調整するためにアプリケーションで用いることができる。例えば、装置は、ユーザインタフェース又はビデオ方位を装置方位に基づきポートレイト又はランドスケープモードに回転できる。

【0011】

幾つかのクライアント装置は方位センサを含むので、コンテンツ又はサービスプロバイダは、異なる装置方位に最適化されたコンテンツの異なる符号化バージョンを提供しても良い。或いは、コンテンツ／サービスプロバイダは、最適化された経験を供給するために、コンテンツキャプチャ中に（例えば、オンザフライで）コンテンツをキャプチャ又はトランスコーディング（transcode）しても良い。ユーザ機器（ＵＥ）からネットワークへの方位センサ能力及び／又は現在の装置方位のシグナリングは、高品質クライアント経験を供給するためにネットワーク側でコンテンツを適応する機会を提供できる。マルチメディア適応に基づく装置及び／又はビデオ方位適応は、２次元（２Ｄ）及び３次元（３Ｄ）ビデオアプリケーションの両方に適用できる。２Ｄビデオの例では、ポートレイト又はランドスケープビデオビュー及び／又は異なる視角は、装置方位に基づき適応されても良い。３Ｄビデオの例では、異なる視角及び深さ情報は、装置方位に基づき適応されても良い。

【0012】

能力交換シグナリングは、３ＧＰＰ（third generation partnership project）のＰＳＳ（packet switched streaming service）（３GPP technical specification (TS) ２６.２３４ VI １.１.０ (２０１２-０９)に記載される）、ＤＡＳＨ（dynamic adaptive streaming over HTTP）（３GPP technical specification (TS) ２６.２４７ VI １.０.０ (２０１２-０９)に記載される）、及びＩＭＳ（integrated multimedia subsystem）に基づくＰＳＳ及びＭＢＭＳ（multimedia broadcast and multicast service）（IMS_PSS_MBMSと略し、３GPP technical specification (TS) ２６.２３７ VI １.０.０(２０１２-０６)に記載される）において重要な機能であり得る。能力交換は、ＰＳＳ、ＤＡＳＨ及びＩＭＳ＿ＰＳＳ＿ＭＢＭＳサーバが、広範な装置に対象の特定の装置に適したコンテンツを提供できるようにする。ストリーミングのためのサーバ側コンテンツ交渉を実現するために、ＰＳＳ又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳサーバは、装置能力記述を介してモバイル装置（ＭＴ）の特定の能力の記述へのアクセスを有しても良い。装置能力記述は、多数の属性を有し得る。ＤＡＳＨでは、装置能力の属性のシグナリングは、以下のパラメータを有し得る。プレデコーダバッファサイズ、初期バッファリング期間、デコーダ能力、ディスプレイ特性（例えば＜スクリーンサイズ、解像度、又はビット深さ）、ストリーミング方法（例えば、ＲＴＳＰ（real-time streaming protocol）又はＨＴＴＰ）適応サポート、ＱｏＥサポート、拡張ＲＴＰ（real-time transport protocol）制御プロトコル（RTP control protocol：ＲＴＣＰ）レポートサポート、及び高速コンテンツ切り替えサポート、並びにサポートされるＲＴＰプロファイル及びセッション記述プロトコル（session description protocol：ＳＤＰ）属性である。ストリーミングセッションの設定中に、サーバは、正しい種類のマルチメディアコンテンツをモバイル端末に提供するために、記述を用いることができる。サーバは、どのストリームを接続している端末に提供するかを決定するために、モバイル端末の能力に関する情報を用いることができる。例えば、サーバは、特定のモバイル端末に最も適したストリームを決定するために、ストリームの複数の利用可能な変形についてモバイル端末にかかる要件を、接続している端末の実際の能力と比較し得る。能力交換は、ＰＳＳ又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳセッションのために適なセッション記述プロトコル（session description protocol：ＳＤＰ）ファイルをクライアント端末（例えば、モバイル端末）に、又はＤＡＳＨセッションおために最適化されたメディア提示記述（media presentation description：ＭＰＤ）メタデータファイルをクライアント端末に、供給することも可能にする。

【0013】

図１は、ＰＳＳサービスについて、どのように交換能力が実行され得るかを例示する。最も単純な説明では、モバイル端末１１０（又はクライアント装置又はクライアント端末）は、ＰＳＳサーバに、ＭＴのアイデンティティを知らせ得る。したがって、ＰＳＳサーバは、装置プロファイルサーバ１２０から装置能力プロファイルを検索できる。装置プロファイルサーバ１２０は、モバイル端末の装置能力プロファイル１２２を格納し得る。ＭＴは、ＨＴＴＰ及び／又はＲＴＳＰ要求をＰＳＳサーバへ送信し得る（１７０）。ＨＴＴＰ及び／又はＲＴＳＰ要求は、ＵＲＬ（uniform resource locator）記述子（URLdesc）及び／又はプロファイル差分（profileDiff）ヘッダを有し得る。ＰＳＳサーバは、ＭＴの装置能力プロファイルについてＨＴＴＰ要求を装置プロファイルサーバへ送信し得る（１６０）。装置プロファイルサーバは、ＭＴの装置能力プロファイルと共にＨＴＴＰ応答をＰＳＳサーバへ送信し得る（１６２）。ＰＳＳサーバは、装置能力プロファイルを照合又はコピーし得る（１３２）。ＰＳＳサーバは、ＨＴＴＰ及び／又はＲＴＳＰ応答を送信し（１７２）、ＭＴの装置能力プロファイルに基づきＭＴへマルチメディアコンテンツを送信し得る（１７４）。一例では、端末製造者又はソフトウェアベンダは、製造者又はベンダの製品の装置能力プロファイルを提供するために、装置プロファイルサーバを維持し得る。別の例では、オペレータは、オペレータの加入者のために装置プロファイルサーバを管理し得る。これは、加入者がユーザ固有更新を加入者プロファイルに対して行うことを可能にし得る。装置プロファイルサーバは、要求により、ＰＳＳサーバへ装置能力プロファイルを提供し得る。特定のシナリオでは、モバイル端末は、アイデンティティシグナリングを追加属性で補強し、又はＭＴの装置能力プロファイルで既に定められた属性を上書きしても良い。これはＰｒｏｆｄｉｆｆ（ProfDiff又はprofileDiff）と称される。Ｐｒｏｆｄｉｆｆは、装置能力プロファイルの属性を調整することを一時的に許可し得る。一例では、このような一時的調整は、ユーザ選好によりトリガされても良い（例えば、特定のセッションのユーザが、モバイル端末がステレオ能力を有しているのに、モノサウンドを受信したい場合）。

【0014】

ユーザエージェントプロファイル（user agent profile、ＵＡＰｒｏｆ）仕様は、無線装置のキャプチャリング能力及び選好情報のためのプロトコルを提供できる。この能力及び選好情報は、特有装置の適切なフォーマットでコンテンツを生成するために、コンテンツプロバイダにより使用され得る。ＵＡＰｒｏｆは、ＷＷＷ（World Wide Web）コンソーシアムにより策定されたＣＣ／ＰＰ（composite capabilities/preference profiles）仕様に関連し得る。装置能力プロファイルは、ＣＣ／ＰＰフレームワーク及びＣＣ／ＰＰ用途ＵＡＰｒｏｆの後続に従うＲＤＦ（resource description framework）ドキュメントであり得る。属性は、装置能力及び選好を指定するために使用され得る。属性名、許容値、及びセマンティクスは、ＣＣ／ＰＰを構成し、ＲＤＦスキームにより定められ得る。ＰＳＳ及びＩＭＳ＿ＰＳＳ＿ＭＢＭＳサービスでは、ＵＡＰｒｏｆボキャブラリは再利用され、追加サービス固有ボキャブラリが定められ得る。図２は、ＰＳＳ及びＩＭＳ＿ＰＳＳ＿ＭＢＭＳサービスのための例示的な装置能力プロファイルを提供する。これは、TerminalHardware、PSSCommon、Streaming、ThreeGPFileFormat（３GP）又はPssSmilのような種々のＣＣ／ＰＰコンポーネント（ccpp:component）を定め得る。

【0015】

本願明細書に記載のような技術（例えば、サーバ、クライアント装置又は端末、モバイル端末、方法、コンピュータ回路及びシステム）は、モバイル端末又はクライアント装置の方位センサ能力の装置能力交換シグナリングに基づくマルチメディア適応を提供できる。

【0016】

一例では、少なくとも２段階の処理が実行され得る。例えば、クライアント装置は、クライアント装置が方位センサを有するか否か、及びどんなビデオ方位（例えば、ページ方位）状態をクライアント装置がサポートするか（例えば、ポートレイト、ランドスケープ、又はシースケープ）（図６及び８の２８０を参照）に関して、サーバにシグナリングできる。ビデオ方位は、ＰＳＳボキャブラリの装置能力属性の新しいセットであり得る。これは、ＩＭＳ＿ＰＳＳ＿ＭＢＭＳ及びＤＡＳＨセッションに適用可能である。クライアント装置（例えばＵＥ）の装置方位能力についての装置能力属性は、指示を提供する装置方位位置のリストを含み、該指示は、ビデオディスプレイ装置方位モード、ビデオキャプチャ装置方位モード、ビデオディスプレイ装置方位角、ビデオキャプチャ装置方位角、ＵＥが方位の変化に応答するか否かを示すブール値指示子、レンダリング及び表示のための規定装置方位、キャプチャのための規定装置方位、方位センサがビデオキャプチャ及び表示の両方の間に方位変化を検出するよう構成される９０度間隔の等間隔の角度粒度レベルの数、ＵＥに関連するカメラの数、又は水平ミラーリングサポート、の指示を提供する。追加で、クライアント装置は、規定装置方位属性を一時的に上書きすることにより、ＰｒｏｆＤｉｆｆシグナリングを介して現在の装置方位もシグナリングしても良い。これは、装置能力交換シグナリングボキャブラリに追加される別の属性であり得る。

【0017】

別のステップで、サーバは、クライアント装置からの方位センササポート信号を検討し、コンテンツの異なる符号化バージョンを、異なる可能な装置方位に最も適したフォーマットで提供し得る（図６の２８４及び２８６、又は図８の２９４及び２８６を参照）。セッション管理レベルにおいて、クライアントの装置方位情報及び／又は方位能力へのアクセスは、ＰＳＳ又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳセッションでＲＴＳＰ／ＲＴＰストリーミングのために最適化されたＳＤＰ（session description protocol）を、或いはＤＡＳＨセッションでＤＡＳＨ（dynamic adaptive streaming over HTTP）のために最適化されたＭＰＤ（media presentation description）を、サーバが供給することを可能にし得る。さらに、サーバがコンテンツ生成／準備のためのキャプチャプロセスも制御する場合、サーバは、異なる可能な装置方位に最適な、同じコンテンツの複数のコピーをキャプチャし及び圧縮するよう、カメラユニット（例えば、別のクライアント装置）に指示し得る（図６及び８の２８２を参照）。サーバは、クライアント装置の方位能力にコンテンツを最も適合させるために、オンザフライでトランスコーディング及び／又はフォーマット変換を動的に実行しても良い。

【0018】

本願明細書に記載の技術は、２Ｄ及び３Ｄビデオアプリケーションに適用できる。異なるストリーミングパラダイム（例えば、ＰＳＳ、ＤＡＳＨ、及びＩＭＳ＿ＰＳＳ＿ＭＢＭＳ）は、異なるマルチメディア適応メソッド及びプロセスを使用し得る。これは、後に詳述する。

【0019】

サービスは、プル型ストリーミングプロセス又はプッシュ型ストリーミングプロセスを用い得る。

【0020】

ＤＡＳＨは、プル型ストリーミングの一例を提供する。ＤＡＳＨセッションでは、図３に示すように、ＨＴＴＰサーバ２３０は、異なる装置方位に最適化されたコンテンツをＤＡＳＨクライアント２２０に提供する。ＨＴＴＰサーバは、種々のサポートされる装置方位状態を記述するＤＡＳＨクライアントからの装置能力交換シグナリングを用いても良い（２４０）。ＤＡＳＨクライアントからの装置能力シグナリングは、ＤＡＳＨクライアントからの更なるシグナリングが存在しない場合に、装置方位を示す規定装置方位属性を有しても良い。装置方位及び対応するコンテンツ情報のセットは、異なる装置方位のための異なる符号化コンテンツと共にＭＰＤ（media presentation description）メタデータファイルでＤＡＳＨクライアントにシグナリングされ得る（２４２）。このサーバ−クライアント相互作用は、図３に示される。次に、ＤＡＳＨクライアントプレイヤは、クライアント装置方位を追跡し、現在の装置方位のために最適化されたコンテンツの対応するバージョンを要求し得る。さらに、ＨＴＴＰでＭＰＤを検索するとき、ＤＡＳＨクライアントは、ＰｒｏｆＤｉｆｆに基づく装置方位に対する一時的調整を含み、ＧＥＴ要求に装置方位情報を含めても良い（例えば、現在の装置方位は、規定装置方位と異なっても良い）。このＤＡＳＨ装置能力交換シグナリングプロセスを用いて、ＨＴＴＰサーバは、ＤＡＳＨクライアント（例えば、ＵＥ）に最適化されたＭＰＤを供給できる。

【0021】

ＲＴＳＰ（real-time streaming protocol）に基づくＰＳＳサービス及びＳＩＰ（session initiation protocol）に基づくＩＭＳ＿ＰＳＳ＿ＭＢＭＳサービスは、プッシュ型ストリーミングの例を提供する。ＰＳＳ又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳサービスでは、図４に示すように、サーバ２３２は、クライアント２２２から現在の装置方位情報を受信し（２４４）、装置方位に基づきコンテンツを適応できる。例えば、サーバは、格納されたコンテンツバージョンの中で最も適したコンテンツバージョンを選択し、或いは、現在の装置方位に基づきコンテンツを動的にトランスコーディングし、クライアントへコンテンツをストリーミングし得る（２４６）。このサーバ−クライアント相互作用は、図４に示される。ＳＤＰ（session description protocol）で伝達されるセッション関連メタデータは、ストリーミングされるコンテンツの装置方位情報を伝達しても良い。

【0022】

ＰＳＳサービスでは、クライアントは、通常、ＲＴＳＰ ＤＥＳＣＲＩＢＥメッセージ内で装置方位情報をサーバへ送信し得る。ＲＴＳＰ ＤＥＳＣＲＩＢＥメッセージは、クライアントからの更なるシグナリングが存在しない場合に装置方位を示す規定装置方位属性を有しても良い。現在の装置方位が規定装置方位と異なる場合、この相違は、ＰｒｏｆＤｉｆｆシグナリングに基づく一時的調整としてシグナリングされても良い。一例では、能力交換をサポートするＰＳＳコンテンツサーバは、ＨＴＴＰ又はＲＴＳＰ要求の中で、クライアントから装置方位情報を受信できる。

【0023】

ＩＭＳ＿ＰＳＳ＿ＭＢＭＳサービスでは、図５に示されるように、クライアント（例えば、ＵＥ２５０）は、サービス発見中に、ＳＩＰ ＳＵＢＳＣＲＩＢＥメッセージ２６０の中で装置方位情報を、ＩＰ（Internet protocol）マルチメディア（ＩＭ）コアネットワーク（core network：ＣＮ）サブシステム（ＩＭ ＣＮサブシステム）２５２へ送信し得る。次に、ＩＭ ＣＮサブシステムは、ＳＩＰ ＳＵＢＳＣＲＩＢＥメッセージ２６２をＳＤＦ（service discovery function）２５４に転送し得る。ＳＩＰ ＳＵＢＳＣＲＩＢＥメッセージは、クライアントからの更なるシグナリングが存在しない場合に装置方位を示す規定装置方位属性を有し得る。ＳＤＦは、（例えば、ＵＥ能力又はユーザのプロファイル（例えば、個人サービス発見）に従って）サービス発見情報を決定し得る。ＳＤＦは、ＳＩＰ２００ＯＫメッセージ２６４により、ＩＭ ＣＮサブシステムへのＳＩＰ ＳＵＢＳＣＲＩＢＥメッセージに対して肯定応答し得る。ＩＭ ＣＮサブシステムは、ＳＩＰ２００ＯＫメッセージ２６６をＵＥへ転送し得る。

【0024】

ＳＤＦ２５４は、サービス付属情報を生成及び／又は提供し、及び／又は個人サービス発見を提供し得る。ＩＭ ＣＮサブシステム２５２は、ユーザ登録及び認証、モビリティ及びローミング、マルチメディアセッションの制御、ＱｏＳ（quality of service）制御、ポリシ制御、課金、及び回線交換システムとの相互接続をサポートできる。

【0025】

ＳＤＦ２５４は、サービス発見情報を含むＵＥ２５０宛のＳＩＰ ＮＯＴＩＦＹメッセージ２６８をＩＭ ＣＮサブシステム２５２へ送信し得る。ＩＭ ＣＮサブシステム２５２は、ＳＩＰ ＮＯＴＩＦＹメッセージ２７０をＵＥへと中継して返す。ＵＥは、ＳＩＰ２００ＯＫメッセージ２７２により、ＩＭ ＣＮサブシステムへのＳＩＰ ＮＯＴＩＦＹメッセージに対して肯定応答し得る。ＩＭ ＣＮサブシステムは、ＳＩＰ２００ＯＫメッセージ２７４をＳＤＦへ転送し得る。一例では、ＳＤＦ及びＩＭ ＣＮサブシステムフレームワークの使用は、ＰＳＳ及びＭＢＭＳユーザサービスにおいて装置方位情報を利用して最適化されたサービス発見を可能にし得る。後にＩＭＳセッションで、ＵＥは、ＰｒｏｆＤｉｆｆに基づく装置方位の任意の一時的調整を含む更新を示すために、ＳＩＰシグナリングを用いても良い（例えば、現在の装置方位が規定装置方位と異なる場合）。これは、更なるＳＩＰ ＳＵＢＳＣＲＩＢＥメッセージを通じてサブスクリプションをリフレッシュすることにより実行され得る。ＳＩＰ ＳＵＢＳＣＲＩＢＥメッセージは、装置方位情報の更新に関する情報を有し得る。

【0026】

新しい属性が、ＰＳＳボキャブラリ装置能力交換シグナリングに追加され得る。例えば、属性「Orientation」及び「DefaultOrientation」（又は同様の機能を有する属性）は、ＴＳ２６．２３４のＰＳＳに基づくボキャブラリのＰＳＳＣｏｍｍｏｎコンポーネントに含まれ得る。属性は、名称、定義、関連コンポーネント、種類、法定値（又は有効オプション）、及び決定ルールを有し得る。

【0027】

一例では、「Orientation」及び「DefaultOrientation」のコンテキストは、次のように定めることができる。

【0028】

属性名：方位（Orientation）
属性定義：クライアントによりサポートされる異なる装置方位状態のリストコンポーネント：PssCommon
種類：直定数（Literal）（Bag）
法定値：「ポートレイト」、「ランドスケープ」、「シースケープ」、等
決定ルール：付加
例：

【0029】

【数1】

属性名：方位（DefaultOrientation）
属性定義：コンテンツ生成／選択のための基準として取り入れられるべき規定装置方位
コンポーネント：PssCommon
種類：直定数（Literal）
法定値：「ポートレイト」、「ランドスケープ」、「シースケープ」、等
決定ルール：固定
例：

【0030】

【数2】

別の例では、キャプチャ及びレンダリング及び／又はディスプレイ中の装置方位認識の観点から可能性のある差を識別すること、ＰＳＳボキャブラリのＰＳＳCommonコンポーネントについて定められ得る。２つの属性は、キャプチャ及びディスプレイのためにクライアントによりサポートされる異なる装置方位モードのリストを有し得る（例えば、「OrientationModes Capture」及び「OrientationModesDisplay」）。２つの属性は、（方位センサが無効である又は存在しない場合）キャプチャ及びディスプレイのために規定装置方位のリストを有し得る（例えば、「DefaultOrientationCapture」及び「DefaultOrientationDisplay」）このような属性の可能なシンタックスは次の通りである。

【0031】

属性名：方位モードキャプチャ（OrientationModesCapture）
属性定義：キャプチャのためにクライアントによりサポートされる異なる装置方位モードのリスト
コンポーネント：PssCommon
種類：直定数（Literal）（Bag）
法定値：「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール：付加
例：

【0032】

【数3】

属性名：方位モードディスプレイ（OrientationModesDisplay）
属性定義：レンダリング及びディスプレイのためにクライアントによりサポートされる異なる装置方位モードのリスト
コンポーネント：PssCommon
種類：直定数（Literal）（Bag）
法定値：「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール：付加
例：

【0033】

【数4】

属性名：規定方位キャプチャ（DefaultOrientationCapture）
属性定義：カメラセンサのインストールに基づくキャプチャ中の規定装置方位（方位センサが無効である又は存在しない場合）
コンポーネント：PssCommon
種類：直定数（Literal）
法定値：「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール：固定
例：

【0034】

【数5】

属性名：規定方位ディスプレイ（DefaultOrientationDisplay）
属性定義：レンダリング及びディスプレイのための規定装置方位（方位センサが無効である又は存在しない場合）
コンポーネント：PssCommon
種類：直定数（Literal）
法定値：「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール：固定
例：

【0035】

【数6】

別の構成では、方位モードのセットは、装置の方位変化に基づき９０度より小さい角度で画像の回転を可能にする更なるモードを有しても良い。角度が９０度より小さいとき、以上に定めた「OrientationModes Capture」及び「OrientationModesDisplay」属性（又は同様の機能を有する属性）は、より粒度の細かい方法でこのような画像の回転を実現する方位モードに関する追加法定値を有しても良い。

【0036】

別の例では、２つの追加属性（例えば、「OrientationAngularGranularityCapture」及び「OrientationAngularGranularityDisplay」）は、装置センサがキャプチャ又はレンダリング／表示中の方位変化を検出できる角度粒度に対して、装置センサの能力及び装置の方位認識を特徴付けるために、用いられても良い。例えば、２つのこのような属性は以下のように定められても良い。

【0037】

属性名：方位角粒度キャプチャ（OrientationAngularGranularityCapture）
属性定義：装置センサがキャプチャ中に方位変化を検出できる９０度間隔の等間隔角度粒度レベルの数
コンポーネント：PssCommon
種類：数値
法定値：１乃至８の整数値
決定ルール：固定
例：

【0038】

【数7】

属性名：方位角粒度ディスプレイ（OrientationAngularGranularityDisplay）
属性定義：装置センサがレンダリング及びディスプレイ中に方位変化を検出できる９０度間隔の等間隔角度粒度レベルの数コンポーネント：PssCommon
種類：数値
法定値：１乃至８の整数値
決定ルール：固定
例：

【0039】

【数8】

「OrientationAngularGranularityCapture」及び「OrientationAngularGranularityDisplay」についての上述の例で、方位変化の検出のための最高可能角度粒度は１１．２５度であると仮定され、したがって、属性値は１乃至８の整数値に限定された。他の例では、より高度な方位センサ能力により、粒度のより高いレベルが可能であっても良い。したがって、属性は、より高い整数値を使用できる。

【0040】

別の構成では、装置センサが方位変化を検出できる角度粒度に関して装置の方位認識を特徴付けるために、単一の属性（例えば、「OrientationAngularGranularityDisplay」）が使用されても良い。したがって、属性は、キャプチャ及びレンダリング／表示の両方について有効であり得る。このような設定では、追加属性は次のように定められ得る。

【0041】

属性名：方位角粒度ディスプレイ（OrientationAngularGranularityDisplay）
属性定義：装置センサがキャプチャ及びレンダリング／ディスプレイの両方の間に方位変化を検出できる９０度間隔の等間隔角度粒度レベルの数
コンポーネント：PssCommon
種類：数値
法定値：１乃至８の整数値
決定ルール：固定
例：

【0042】

【数9】

別の例では、クライアント装置（例えば、モバイル端末）にあるキャプチャカメラの数を識別するために、別の属性（例えば、「NumOfCameras」）が定められても良い。１より大きい値は、クライアント装置が前面及び背面カメラの両方を有することを示し得る。これは、方位認識適応にとって有利であり得る。「NumOfCameras」属性により示される例では、最大カメラ数は４と仮定される。他の例及び多数のカメラも可能である。

【0043】

属性名：カメラ数（NumOfCameras）
属性定義：装置にあるカメラの数
コンポーネント：PssCommon
種類：数値
法定値：１乃至４の整数値
決定ルール：固定
例：

【0044】

【数10】

別の実施形態では、別の属性（例えば、「HorizontalMirroringSupport」）は、装置が水平ミラーリング（例えば、回転後の画像の水平フリッピング（flipping））をサポートするか否かを示すために定められても良い。この追加属性は、幾つかの装置に、センサ構成により水平ミラーリングされた画像をキャプチャできるようにし得る。例えば、水平ミラーリングの能力交換シグナリングに基づき、受信クライアント装置は水平ミラーリングをサポートするとサーバが決定すると、サーバは、受信クライアント装置はミラーリングを有し水平ミラーリングを補償できることを決定できる。水平ミラーリング属性の例は、次の通りであり得る。

【0045】

属性名：水平ミラーリングサポート（HorizontalMirroringSupport）
属性定義：装置が方位を認識している場合、この属性は、該装置が水平ミラーリング、つまりセンサ構成に基づく回転語の画像のフリッピングもサポートするか否かを示す。

【0046】

コンポーネント：PssCommon
種類：直定数（Literal）
法定値：「有（Yes）」、「無（No）」
決定ルール：固定
例：

【0047】

【数11】

記載の技術は、方向付けられたビデオコンポーネントを有するコンテンツのストリーミング又はダウンロードを提供する。装置方位認識マルチメディア適応は、方向付けられたビデオコンポーネントを有する予めキャプチャされアップロードされたコンテンツのストリーミング又はダウンロードを提供する。例えば、ＰＳＳダウンロード又はＭＢＭＳダウンロードアプリケーションの部分として、サーバは、方向付けられたビデオコンポーネントを有するキャプチャされたコンテンツを、後の再生のために非リアルタイム方式でクライアントへプッシュしても良い。或いは、ＤＡＳＨに基づくストリーミングサービスの部分として、ＨＴＴＰサーバは、方向付けられたビデオコンポーネントを含み得るユーザの生成したコンテンツ（user-generated content：ＵＧＣ）を、ＤＡＳＨクライアントへ配信しても良い。ＵＧＣのＲＴＰに基づくストリーミングでは、コンテンツは、ＰＳＳサーバから配信されても良い。これらの状況では、サーバは、クライアント装置によりサポートされるビデオ方位能力に関する情報を受信し、端末のビデオ方位能力に基づき最適配信方針を決定し（例えば、種々の格納されたコンテンツバージョンの中から最適なコンテンツバージョンを選択し及び／又はコンテンツを動的にトランスコーディングし）、最適な選択されたコンテンツをクライアントへ供給しても良い。

【0048】

例えば、サーバは、コンテンツが方位認識端末によりキャプチャされたことを（例えば、３ＧＰに基づくコンテンツファイルの検査を通じて）決定し、一方で、受信クライアント装置が方位を認識しない（例えば、ＰＳＳ装置能力シグナリングメカニズムに基づき分かる）場合、サーバは、コンテンツを処理して（例えば、トランスコーディングを適用して）、後のレンダリング及びディスプレイ中の不整合（misalignment、ずれ）問題を是正及び回避しても良い。受信クライアント装置が方位を認識する場合、サーバは、不整合を補正する必要がないが、代わりに、コンテンツに（例えば、ＲＴＰストリーミングではＲＴＰ拡張ヘッダの中に、又はＨＴＴＰストリーミング及びＤＡＳＨでは３ＧＰファイルの内部に）埋め込まれたビデオ方位情報と一緒に、コンテンツを「そのまま」送信するために選択でき、したがって、受信クライアント装置は不整合を補正できる。

【0049】

図６は、埋め込まれたビデオ方位情報を有するコンテンツの受信に基づく方位認識メディア配信を実現する例示的なサーバ−クライアント相互作用を示す。例えば、キャプチャリングクライアント２２４は、埋め込まれたビデオ方位情報を有するコンテンツ（例えば、３ＧＰファイル）をキャプチャ及びサーバ２３２にアップロードする（２８２）と共に、ビデオ方位情報をキャプチャできる。別の例では、レンダリングクライアント２２６は、ビデオ方位能力情報を有する装置プロファイルを、サーバにシグナリングできる（２８０）。サーバは、前述のように、レンダリングクライアントにおいて起こり得る不整合を補正するために、方位処理を実行できる（２８４）。次に、サーバは、ストリーミング又はダウンロードサービスの部分として、レンダリングクライアントに適応されたコンテンツを配信できる（２８６）。

【0050】

本願明細書に記載の技術は、３ＧＰファイルのようなキャプチャされたコンテンツにビデオ方位情報を埋め込むこともできる。図７に示すように、ストリーミング及びダウンロードアプリケーションの部分としてサーバによる後の使用のために、ＩＳＯ（International Organization for Standardization）ＢＭＦＦ（Base Media File Format）３１０のインスタンス化のような（３GPP technical specification (TS) ２６.２４４ V１１.１.０(２０１２-０９)に記載のような、例えば、ＭＰＥＧ（moving picture experts group）−４ファイルフォーマット３１２のｍｐ４ファイル３１４）３ＧＰファイルへのビデオ方位情報の埋め込みは、有利であり得る。このように３ＧＰファイルにビデオ方位情報を包含することは、装置へのコンテンツ配信を最適化する方位認識マルチメディア適応（例えば、方位を認識しない装置へ送信する前に不整合問題を回避するためにビデオを補正する）をサーバに良好に実行させ得る。埋め込まれたビデオ方位情報は、ＰＳＳボキャブラリ及び装置能力シグナリングフレームワークにおける装置方位能力属性で提供され得る。コンテンツファイル（例えば、ｍｐ４フィアル３１４）は、「ｍｏｏｖ」ボックス３１６及びメディアデータ（ｍｄａｔ３１８）のような初期化セグメントを有し得る。ｍｏｏｖボックスは、初期オブジェクト記述子（initial object descriptor：ＩＯＤ）３２０、シーンのバイナリフォーマット（Binary Format for Scene：ＢＩＦＳ）ｔｒａｋ３２２、オブジェクト記述子（object descriptor：ＯＤ）ｔｒａｋ、ビデオ（video）ｔｒａｋ３２６、及びオーディオ（audio）ｔｒａｋ３２８を有し得る。埋め込まれたビデオ方位情報３３０は、ビデオｔｒａｋ（又はトラック）に含まれ得る。ｍｄａｔは、インターリーブド、時間順序付け、ＢＩＦＳ、ＯＤ、ビデオ、及びオーディオアクセスユニット（access unit：ＡＣ）を有し得る。

【0051】

図８は、埋め込まれたビデオ方位情報を有するコンテンツの受信に基づく方位認識メディア配信を実現する例示的なサーバ−クライアント相互作用を示す。例えば、キャプチャリングクライアント２２４は、埋め込まれたビデオ方位情報を有するコンテンツ（例えば、３ＧＰファイル）をキャプチャ及びサーバ２３２にアップロードする（２８２）と共に、ビデオ方位情報をキャプチャできる。別の例では、レンダリングクライアント２２６は、ビデオ方位能力情報を有する装置プロファイルを、サーバにシグナリングできる（２８０）。前述のように、サーバは、方位認識コンテンツ適応、選択、トランスコーディング及び／又はフォーマット変換を実行して、起こり得る不整合を補正し、レンダリングクライアントの方位能力に関してコンテンツ配信を最適化する（２９４）。次に、サーバは、ストリーミング又はダウンロードサービスの部分として、レンダリングクライアントに適応されたコンテンツを配信できる（２８６）。

【0052】

したがって、一例では、ビデオ方位情報の包含は、キャプチャされた画像の一連の方位値の連続記録として、３ＧＰファイル内に記録され得る。ボックスは、ＩＳＯ−ＢＭＦＦ（ISO base media file format）又は時限（timed）ビデオ方位情報のための３ＧＰＰファイルフォーマットで定められ得る。例えば、３ＧＰ（３GPP file format）のビデオトラック又はＲＴＰヒントトラックは、方位情報を埋め込むために用いられても良い。図７に示すように、ＤＡＳＨに基づきフォーマット化されたコンテンツでは、ビデオ方位情報は、初期化セグメント（例えば、ＩＳＯ−ＢＭＦＦでは「ｍｏｏｖ」ボックス内）又はメディアセグメント（例えば、ＩＳＯ−ＢＭＦＦでは「ｍｏｏｆ」ボックス内）のようなファイルレベルＩＳＯ−ＢＭＦＦボックス内で伝達されても良い。別の例では、ＩＳＯ−ＢＭＦＦの時限メタデータトラックは、ビデオ方位情報を含むためのトラックとして選択されても良い。例えば、新しいボックスは、ビデオ方位パラメータの記述でMetaDataSampleEntryを拡張するビデオ方位のために特に生成され得る。図９に示すように、ＩＳＯファイルフォーマットボックス構造階層内のサンプル記述ボックス３５０内の他のボックスは、MP４VisualSampleEntry、AVCSampleEntry又はHintSampleEntryを含み得るビデオ方位情報を有するために用いられても良い。

【0053】

ＩＳＯファイルフォーマットボックス構造階層は、映画ボックス３４０、トラックボックス３４２、メディアボックス３４４。メディア情報ボックス３４６、サンプルテーブルボックス３４８、及びサンプル記述ボックスを有し得る。ここで、上位ボックスが先に列挙されている。

【0054】

別の構成では、ビデオ方位情報は、９０度粒度、ＧＳＭＡ（ＧＳＭ（global system for communications, originally groupe special mobile） association）の豊富な通信サービス（ＲＣＳ）５．１プロファイルによってもサポートされる（例えば、水平フリップのための）フリップビット、及びＲＣＳ５．１におけるような（前面対背面カメラをシグナリングするための）カメラビットをサポートしても良い。

【0055】

例えば、ビデオ方位情報（例えば、キャプチャされた画像の方位のセット）は、次のようにフォーマット化されたバイトとして伝達されても良い（３GPP technical specification (TS) ２６.１１４V１１.５.０(２０１２-０９)の適応されたフォーマットと整合する）。

【0056】

【数12】

定義（Definition）に関して、Ｒ＝予約であり、予約されたビットはゼロに設定され、将来の使用のために予約される。Ｃ＝カメラであり、ビデオストリームに使用されるカメラの方向を示す（例えば、０はユーザの方を向いている前面カメラを示し、カメラ方向が不明な場合には、０が用いられ得る。１はユーザから離れた方向を向いている背面カメラを示し得る。）。Ｆ＝フリップであり、リンクで送信されるときのビデオに関する水平（左右フリップ）ミラー動作を示す（例えば、０はフリップ動作が無いことを示し、１は水平フリップ動作を示し得る）。Ｒ１、Ｒ０＝回転であり、回転シグナリングのための表１に示すような、リンクで送信されるときのビデオの回転を示す。方位認識受信機は、ビデオを回転して、該回転を補償できる（例えば、９０度半時計回り回転は、表示する前に、受信機（例えば、レンダリングクライアント装置）により、９０度時計回り回転で補償できる）。代替で、ビデオは、非方位認識クライアント受信機（例えば、レンダリングクライアント装置）へ送信する前に、サーバにより回転されても良い。別の例では、他の定義が用いられても良い。

【0057】

【表1】

図１０のフローチャートに示すように、別の例は、モバイル端末（mobile terminal：ＭＴ）の装置方位に基づくサーバにおけるマルチメディア適応の方法５００を提供する。方法は機械又はコンピュータ回路で命令として実行されても良い。ここで、命令は、少なくとも１つのコンピュータ可読媒体若しくは非一時的機械可読記憶媒体に含まれる。方法は、ブロック５１０におけるように、サーバにおいて、モバイル端末（ＭＴ）のビデオ方位能力を受信する動作を有する。方法の次の動作は、ブロック５２０におけるように、装置のビデオ方位能力に基づきMTにおける不整合を補正するための、マルチメディアコンテンツの方位認識処理であり得る。

【0058】

一例では、方法は、キャプチャされた画像の一連のビデオ方位値の連続記録としてビデオをキャプチャするようＭＴに指示する動作と、３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイル又はＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイルに、時限ビデオ方位情報を埋め込むようＭＴに指示する動作と、を更に有し得る。

【0059】

ビデオ方位情報は、３ＧＰファイルのビデオトラック又はＲＴＰ（real-time transport protocol）ヒントトラック、ファイルレベルＩＳＯ−ＢＭＦＦボックス；ＩＳＯ−ＢＭＦＦの時限メタデータトラック；又はＩＳＯファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ（SampleEntry）；に埋め込まれ得る。ここで、ファイルレベルＩＳＯ−ＢＭＦＦボックスは、「ｍｏｏｖ」ボックス初期化セグメント又は「ｍｏｏｆ」ボックスメディアセグメントである。ビデオ方位情報は、ＧＳＭＡ（ＧＳＭ（global system for mobile communications） association）ＲＣＳ（rich communication services）５．１プロファイルにおける、９０度の粒度、水平フリップのためのフリップビット、又は前面又は背面カメラ方向を示すカメラビットをサポートするために回転を有し得る。別の例では、ビデオをキャプチャするようＭＴに指示する動作は、キャプチャされたビデオの複数のコピー又は方位をキャプチャし圧縮するようＭＴに指示する動作を更に有し得る。

【0060】

別の構成では、方位認識処理の動作は、装置のビデオ方位能力に基づき、複数の格納されたコンテンツバージョンからキャプチャされたコンテンツのコンテンツバージョンを選択し、又は装置のビデオ方位能力に基づき、キャプチャされたコンテンツを動的にトランスコーディング又は変換する動作と、ＰＳＳ（packet switched streaming service）ＲＴＰ（real-time transport protocol）ストリーミング、ＰＳＳダウンロード、又はＭＢＭＳ（multimedia broadcast and multicast service）ダウンロードで方向付けられたビデオコンポーネントを有するキャプチャされたコンテンツをプッシュし、又はＨＴＴＰ（hypertext transfer protocol）ストリーム、ＤＡＳＨ（dynamic adaptive streaming over HTTP）ストリーム、ＲＴＰ（real-time transport protocol）ストリーム、又はＲＴＳＰ（real time streaming protocol）で、ＳＤＰ（session description protocol）ファイル内のビデオ方位情報の存在を示す及びＲＴＰストリームのＲＴＰ拡張ヘッダ内の対応するビデオ方位情報を示す方向付けられたビデオコンポーネントを有するキャプチャされたコンテンツを動的に配信する動作と、を更に有し得る。

【0061】

図１１のフローチャートに示すように、別の例は、ビデオ方位に基づくマルチメディア適応のために動作可能なサーバのコンピュータ回路の機能６００を提供する。機能は方法として実施されても良い。あるいは、機能は機械において命令として実行されても良い。ここで、命令は、少なくとも１つのコンピュータ可読媒体若しくは非一時的機械可読記憶媒体に含まれる。ブロック６１０におけるように、コンピュータ回路は、クライアント装置から装置能力を受信するよう構成され得る。ここで、装置能力は、ビデオ方位能力を有する。ブロック６２０におけるように、コンピュータ回路は、装置ビデオ方位能力に基づくビデオ方位認識マルチメディア適応を実行するよう更に構成され得る。

【0062】

一例では、コンピュータ回路は、更新されたビデオ方位能力がプロファイル差分（Profdiff）シグナリングによりクライアント装置から受信されると、クライアント装置の規定ビデオ方位能力情報を上書きするよう更に構成され得る。別の例では、ビデオ方位認識マルチメディア適応を実行するよう構成されるコンピュータ回路は、方位認識コンテンツ適応、方位認識コンテンツ選択、方位認識トランスコーディング、又は方位認識フォーマット変換を実行して、ビデオ方位不整合を補正し、クライアント装置において正しいビデオ方位によるコンテンツ再生を保証するよう更に構成され得る。

【0063】

別の構成では、コンピュータ回路は、クライアント装置のビデオ方位能力に基づき、ストリーミングサービス又はダウンロードサービスにより、方位認識適応されたコンテンツを配信するよう更に構成され得る。方位認識適応コンテンツは、ＨＴＴＰ（hypertext transfer protocol）又はＤＡＳＨ（dynamic adaptive streaming over HTTP）のためのクライアント装置のビデオ方位能力に従った異なる符号化コンテンツを有するＭＰＤ（media presentation description）メタデータファイルを有し得る。方位認識適応されたコンテンツは、対応するＲＴＰストリーム内の方向付けられたビデオコンポーネントの存在を示すＳＤＰ（session description protocol）ファイル、及びＲＴＰ（real-timetransport protocol）ストリームのための現在のビデオ方位情報を示すＲＴＰヘッダ拡張を有し得る。

【0064】

別の例では、ビデオ方位認識マルチメディア適応を実行するよう構成されたコンピュータ回路は、クライアント装置の装置能力が方位認識処理能力を有しないとき、ＨＴＴＰ（hypertext transfer protocol）ストリーム、ＤＡＳＨ（dynamic adaptive streaming over HTTP）又はＲＴＰ（real-timetransport protocol）ストリームのマルチメディアコンテンツを異なるビデオ方位に動的にトランスコーディング又は変換するよう更に構成され得る。或いは、ビデオ方位認識マルチメディア適応を実行するよう構成されたコンピュータ回路は、クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがって、クライアント装置がクライアント装置にあるビデオ方位処理エンジンを起動し帯域内メディアストリーム内のビデオ方位情報を得ることができるとき、ＭＰＤ（media presentation description）メタデータファイル又はＳＤＰ（session description protocol）ファイルにビデオ方位指示情報を埋め込むよう更に構成され得る。或いは、ビデオ方位認識マルチメディア適応を実行するよう構成されたコンピュータ回路は、クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがってクライアント装置がマルチメディアコンテンツの表示方位を変更できるとき、ＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイル又はＲＴＰ（real-time transport protocol）拡張ヘッダに、ビデオ方位情報を埋め込むよう更に構成され得る。

【0065】

別の構成では、装置能力を受信するよう構成されるコンピュータ回路は、ＰＳＳ（packet switched streaming service）装置能力交換シグナリングにより、ビデオ方位属性を受信するよう更に構成され得る。ビデオ方位属性は、ＰＳＳ共通コンポーネントを有し得る。ＰＳＳ共通コンポーネントは、クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位（Orientation）属性、コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位（DefaultOrientation）属性、キャプチャリングのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ（OrientationModesCapture）属性、レンダリング及びディスプレイのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ（OrientationModesDisplay）属性、方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ（DefaultOrientationCapture）属性、方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ（DefaultOrientationDisplay）属性、装置センサがキャプチャ中にビデオ方位変化を検出できる９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ（OrientationAngularGranularityCapture）属性、装置センサがレンダリング及びディスプレイ又はキャプチャ並びにレンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ（OrientationAngularGranularityDisplay）属性、装置にある多数のカメラから選択されるカメラ数（NumOfCameras）属性、又は装置が方位を認識するとき装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート（HorizontalMirroringSupport）属性を有する。

【0066】

別の例では、コンピュータ回路は、異なるビデオ方位のビデオセグメントをキャプチャし及び圧縮するようクライアント装置に指示し、３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイル又はＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイルのインスタンス化に、ビデオ方位情報を埋め込むようクライアント装置に指示する、よう更に構成され得る。ビデオ方位情報は、３ＧＰファイルのビデオトラック又はＲＴＰ（real-time transport protocol）ヒントトラック、ファイルレベルＩＳＯ−ＢＭＦＦボックス；ＩＳＯ−ＢＭＦＦの時限メタデータトラック；又はＩＳＯファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ（SampleEntry）；に埋め込まれ得る。ここで、ファイルレベルＩＳＯ−ＢＭＦＦボックスは、「ｍｏｏｖ」ボックス初期化セグメント又は「ｍｏｏｆ」ボックスメディアセグメントである。

【0067】

別の構成では、サーバは、３ＧＰＰ（third generation partnership project）ＬＴＥ（long term evolution）ＰＳＳ（packet switched streaming service）サーバ、ＤＡＳＨ（dynamic adaptive streaming over ＨＴＴＰ（hypertext transfer protocol））サーバ、又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳ（ＩＭＳ（integrated multimedia subsystem） base ＰＳＳ及びＭＢＭＳ（multimedia broadcast and multicast service）サーバを有し得る。

【0068】

図１２は、方位認識処理能力を提供する例示的なクライアント装置７２０、ノード７１０、及びサーバ７３０を示す。図１０の５００で説明したように、サーバは、モバイル端末（ＭＴ）の装置方位におけるマルチメディア適応のために構成され得る。図１１の６００で説明したように、別の構成では、サーバは、ビデオ方位に基づくマルチメディア適応のために動作し得る。ノード７１０は、基地局（ＢＳ）、ＮＢ（Node B）、ｅＮＢ（evolved Node B）、ベースバンドユニット（baseband unit：ＢＢＵ）、ＲＲＨ（remote radio head）、ＲＲＥ（remote radio equipment）、ＲＲＵ（remote radio unit）、又はＣＰＭ（central processing module）を有し得る。

【0069】

図１２に戻ると、クライアント装置７２０は、プロセッサ７２２、通信機７２４、及び方位センサ７２６を有し得る。プロセッサは、ビデオ方位能力を決定するよう構成され得る。通信機は、ビデオ方位能力情報をサーバへ送信するよう構成され得る。

【0070】

一例では、クライアント装置の現在のビデオ方位能力情報は、プロファイル差分（Profdiff）シグナリングにより、規定方位能力情報を上書きし得る。プロセッサ７２２は、装置方位に基づき指定されたメディアセグメントの指定されたビデオ方位でビデオをキャプチャし、３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイルにＩＳＯ−ＢＭＦＦ（ＩＳＯ（International Organization for Standardization） base media file format）ファイルのインスタンス化として、キャプチャされたビデオのビデオ方位情報を埋め込む、よう構成され得る。ビデオ方位情報は、３ＧＰファイルのビデオトラック又はＲＴＰ（real-time transport protocol）ヒントトラック、ファイルレベルＩＳＯ−ＢＭＦＦボックス；ＩＳＯ−ＢＭＦＦの時限メタデータトラック；又はＩＳＯファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ（SampleEntry）；に埋め込まれ得る。ここで、ファイルレベルＩＳＯ−ＢＭＦＦボックスは、「ｍｏｏｖ」ボックス初期化セグメント又は「ｍｏｏｆ」ボックスメディアセグメントである。別の例では、ビデオ方位情報は、ＧＳＭＡ（ＧＳＭ（global system for mobile communications） association）ＲＣＳ（rich communication services）５．１プロファイルにおける、９０度の粒度、水平フリップのためのフリップビット、又は前面又は背面カメラ方向を示すカメラビットをサポートするために回転を有し得る。通信機７２２は、ＨＴＴＰ（hypertext transfer protocol）ストリーム又はＤＡＳＨ（dynamic adaptive streaming over HTTP）のための３ＧＰファイルをアップロードするよう更に構成され得る。

【0071】

別の構成では、通信機７２２は、ＰＳＳ（packet switched streaming service）装置能力交換シグナリングにより、ビデオ方位属性を送信するよう更に構成され得る。ビデオ方位属性は、ＰＳＳ共通コンポーネントを有し得る。ＰＳＳ共通コンポーネントは、クライアント装置によりサポートされる異なるビデオ方位状態のリストから選択される方位（Orientation）属性、コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位（DefaultOrientation）属性、キャプチャリングのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ（OrientationModesCapture）属性、レンダリング及びディスプレイのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ（OrientationModesDisplay）属性、方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ（DefaultOrientationCapture）属性、方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ（DefaultOrientationDisplay）属性、装置センサがキャプチャ中にビデオ方位変化を検出できる９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ（OrientationAngularGranularityCapture）属性、装置センサがレンダリング及びディスプレイ又はキャプチャ並びにレンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる９０度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ（OrientationAngularGranularityDisplay）属性、装置にある多数のカメラから選択されるカメラ数（NumOfCameras）属性、又は装置が方位を認識するとき装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート（HorizontalMirroringSupport）属性を有する。

【0072】

別の例では、ビデオ方位能力情報は、３ＧＰＰ（third generation partnership project）ＬＴＥ（long term evolution）ＰＳＳ（packet switched streaming service）セッション、ＤＡＳＨ（dynamic adaptive streaming over ＨＴＴＰ（hypertext transfer protocol））セッション、又はＩＭＳ＿ＰＳＳ＿ＭＢＭＳ（ＩＭＳ（integrated multimedia subsystem） base ＰＳＳ及びＭＢＭＳ（multimedia broadcast and multicast service）セッションの中で提供され得る。別の構成では、クライアント装置は、クライアント装置の方位を決定するために方位センサ７２６を有し得る。

【0073】

別の例では、通信機７２４は、ＲＴＰ（real-time transport protocol）ストリームのためのＲＴＰ拡張ヘッダを受信し、又はＨＴＴＰ（hypertext transfer protocol）ストリーム又はＤＡＳＨ（dynamic adaptive streaming over HTTP）のための３ＧＰ（３ＧＰＰ（third generation partnership project）ファイルフォーマット）ファイルを受信するよう更に構成され得る。プロセッサ７２２は、３ＧＰファイル内のビデオ方位情報の存在を識別するためにＭＰＤ（media presentation description）メタデータファイルをパースし、又は埋め込まれたビデオ方位情報について３ＧＰファイルをパースし、パースしたビデオ方位情報及びクライアント装置の現在の方位に基づき方位補正項を決定し、決定した方位補正項に基づき不整合についてＨＴＴＰストリーム又はＤＡＳＨのレンダリング方位を補正する、よう更に構成され得る。或いは、プロセッサは、ＲＴＰストリーム内のビデオ方位情報の存在を識別するためにＳＤＰ（session description protocol）ファイルをパースし、又は埋め込まれたビデオ方位情報についてＲＴＰストリームのＲＴＰ拡張ヘッダをパースし、パースしたビデオ方位情報及びクライアント装置の現在の方位に基づき方位補正項を決定し、決定した方位補正項に基づき不整合についてＲＴＰストリームのレンダリング方位を補正する、よう更に構成され得る。

【0074】

レンダリング方位の補正は、方位の回転又はフリップを補償し得る。

【0075】

図１３は、モバイル端末（ＭＴ）、モバイルノード、ユーザ機器（ＵＥ）、移動局（ＭＳ）、モバイル無線装置、モバイル通信装置、タブレット、ハンドセット、又は他の種類の無線装置のようなクライアント装置の例示的説明を提供する。無線装置は、ノード、マクロノード、低電力ノード（low power node：ＬＰＮ）、又は基地局（ＢＳ）、ｅＮＢ（evolved Node B）、ベースバンドユニット（baseband unit：ＢＢＵ）、ＲＲＨ（remote radio head）、ＲＲＥ（remote radio equipment）、中継局（ＲＳ）、無線機器（radio equipment：ＲＥ）、ＲＲＵ（remote radio unit）、ＣＰＭ（central processing module）若しくは他の種類の無線広域ネットワーク（wireless wide area network：ＷＷＡＮ）アクセスポイントのような送信局と通信するよう構成される１又は複数のアンテナを有し得る。無線装置は、３ＧＰＰ ＬＴＥ、ＷｉＭＡＸ、ＨＳＰＡ（High Speed Packet Access）、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＷｉＦｉを含む少なくとも１つの無線通信規格を用いて通信するよう構成され得る。無線装置は、無線通信規格毎に別個のアンテナを又は複数の無線通信規格のための共有アンテナを用いて通信できる。無線装置は、ＷＬＡＮ（wireless local area network）、ＷＰＡＮ（wireless personal area network）、及び／又はＷＷＡＮ内で通信できる。

【0076】

図１３は、無線装置からの音声入力及び出力のために用いられ得るマイクロフォン及び１又は複数のスピーカの説明も提供する。ディスプレイスクリーンは、ＬＣＤ（liquid crystal display）スクリーン、又はＯＬＥＤ（organic light emitting diode）ディスプレイのような他の種類のディスプレイスクリーンであっても良い。ディスプレイスクリーンは、タッチスクリーンのように構成され得る。タッチスクリーンは、容量性、抵抗性、又は別の種類のタッチスクリーン技術を用いても良い。アプリケーションプロセッサ及びグラフィックプロセッサは、処理及び表示能力を提供するために内部メモリに結合され得る。不揮発性メモリポートも、ユーザに入力／出力オプションを提供するために用いられ得る。不揮発性メモリポートは、無線装置のメモリ容量を拡張するために用いられても良い。キーボードは、追加ユーザ入力を提供するために、無線装置に統合され又は無線装置に無線接続されても良い。仮想キーボードは、タッチスクリーンを用いて提供されても良い。

【0077】

種々の技術又はその特定の態様若しくは部分は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ（compact disc-read-only memory）、ハードドライブ、非一時的コンピュータ可読記憶媒体、又は任意の他の機械可読記憶媒体のような有形媒体に具現化されるプログラムコード（つまり、命令）の形式をとっても良く、プログラムコードがコンピュータのような機械に読み込まれ実行されると、該機械は、種々の技術を実施するための装置になる。回路は、ハードウェア、プログラムコード、実行可能コード、コンピュータ命令、及び／又はソフトウェアを有し得る。非一時的コンピュータ可読記憶媒体は、信号を含まないコンピュータ可読記憶媒体であり得る。プログラム可能なコンピュータでプログラムコードが実行される場合、コンピューティング装置は、プロセッサ、該プロセッサにより読み取り可能な記憶媒体（揮発性及び不揮発性メモリ、及び／又は記憶素子を含む）、少なくとも１つの入力装置、及び少なくとも１つの出力装置を含んでも良い。揮発性及び不揮発性メモリ及び／又は記憶素子は、ＲＡＭ（random-access memory）、ＥＰＲＯＭ（erasable programmable read only memory）、フラッシュドライブ、光ドライブ、磁気ハードドライブ、固体ドライブ、又は電子データを格納する他の媒体であっても良い。ノード及び無線装置は、通信機モジュール（つまり、通信機）、カウンタモジュール（つまり、カウンタ）、処理モジュール（つまり、プロセッサ）、及び／又はクロックモジュール（つまり、クロック）若しくはタイマモジュール（つまり、タイマ）を有しても良い。ここに記載した種々の技術を実施し又は利用し得る１又は複数のプログラムは、ＡＰＩ（application programming interface）、再利用可能制御、等を用いても良い。このようなプログラムは、コンピュータシステムと通信するために、高度な手続き又はオブジェクト指向プログラミング言語で実装されても良い。しかしながら、プログラムは、望ましい場合には、アセンブラ又は機械語で実装されても良い。いずれの場合にも、言語は、コンパイルされた又はインタープリットされた言語であっても良く、ハードウェア実装と結合されても良い。

【0078】

理解されるべきことに、本願明細書に記載の機能ユニットの多くは、それらの実装独立性を特に強調するために、モジュールとしてラベル付けされた。例えば、モジュールは、カスタムＶＬＳＩ（very-large-scale integration）回路又はゲートアレイ、ロジックチップ、トランジスタ若しくは他の個別部品のようなオフザシェルフ（off-the-shelf）半導体を有するハードウェア回路として実装されても良い。モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、等のようなプログラマブルハードウェア素子内に実装されても良い。

【0079】

モジュールは、種々の種類のプロセッサにより実行されるソフトウェアで実装されても良い。例えば、実行可能コードの識別されるモジュールは、例えばオブジェクト、プロシジャ又は関数として編成され得るコンピュータ命令の１又は複数の物理又は論理ブロックを有しても良い。しかしながら、識別されるモジュールの実行ファイルは、物理的に一緒に配置される必要はなく、論理的に一緒にされるとモジュールを有しモジュールの提示される目的を達成する異なる場所に格納される別個の命令を有しても良い。

【0080】

実際に、実行可能コードのモジュールは、単一命令又は多くの命令であっても良く、幾つかの異なるコードセグメントに渡り、異なるプログラムの間で、及び幾つかのメモリ装置に渡り分散されても良い。同様に、運用データは、ここにモジュール内で識別され示され、任意の適切な形式で実装され、任意の適切な種類のデータ構造で編成されても良い。運用データは、単一データセットとして集められても良く、異なる記憶装置に渡ることを含む異なる場所に渡り分散されても良く、少なくとも部分的にシステム又はネットワーク上の電子信号として単に存在しても良い。モジュールは、所望の機能を実行するよう動作するエージェントを含み、受動的又は能動的であっても良い。

【0081】

本願明細書を通じて「一例」又は「例示的」という言及は、その例と関連して記載された特定の特徴、構造、機能又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本願明細書を通じて種々の場所にある「一例では」という表現又は「例示的な」という語の出現は、必ずしも全て同じ実施形態を参照していない。

【0082】

ここで用いられるように、複数の用語、構造的要素、組成要素、及び／又は材料は、便宜のために共通のリストに現れ得る。しかしながら、これらのリストは、該リストの各構成要素が別個の及びユニークな構成要素として個々に識別されるものと考えられるべきである。したがって、このようなリストのいかなる個々の構成要素も、断りのない限り、事実上、共通グループ内での出現に基づき同じリストの任意の他の構成要素の等価物として考えられるべきである。さらに、本発明の種々の実施形態及び例は、その種々の成分の代替物とともにここで言及されても良い。理解されるべきことに、このような実施形態、例、及び代替は、事実上互いの等価物として考えられるべきではないが、本発明の別個の及び自主的表現として考えられるべきである。

【0083】

更に、記載の特徴、構造又は特性は、１又は複数の実施形態において、任意の適切な方法で結合されても良い。以下の記載では、本発明の実施形態の完全な理解を提供するために、レイアウトの例、距離、ネットワーク例、等のような多くの特定の詳細事項が提供される。しかしながら、当業者は、本発明が特定の詳細事項のうちの１又は複数がなくても又は他の方法、コンポーネント、レイアウト、等で実施できることを理解するだろう。他の例では、良く知られた構造、材料又は動作は、本発明の態様を不明瞭にしないために詳細に示されず又は記載されない。

【0084】

前述の例は１又は複数の特定の用途における本発明の原理の説明であるが、当業者には、発明力を行使しないで及び本発明の原理及び概念から逸脱することなく、実装の形式、使用方法及び詳細事項において多くの変更を行うことができることが明らかである。したがって、以下に記載の請求の範囲を除いて、本発明は限定されるものではない。

【0085】

［関連出願］
本願は、参照されることにより全体が本願明細書に組み込まれる米国仮特許出願番号第６１/７１９,２４１号、２０１２年１０月２６日出願、代理人管理番号P５０３２８Zの利益を請求する。本願は、参照されることにより全体が本願明細書に組み込まれる米国仮特許出願番号第６１/７５３,９１４号、２０１３年１月１７日出願、代理人管理番号P５３５０４Zの利益を請求する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】