(58)【調査した分野】(Int.Cl.,DB名)
フレーム圧縮フォーマットの前記リストは、垂直インターリービングフレーム互換性圧縮フォーマット、水平インターリービングフレーム互換性圧縮フォーマット、サイド‐バイ‐サイドフレーム互換性圧縮フォーマット、トップ‐ボトムフレーム互換性圧縮フォーマット、チェッカーボードフレーム互換性圧縮フォーマットまたは一時的な最高解像度パービューインターリービング圧縮フォーマットの指示を含む請求項1に記載のプログラム。
前記リストは、サポートされた1または複数のフレーム圧縮フォーマットにそれぞれ対応する、1または複数の整数値のリストを含む請求項1または2に記載のプログラム。
モバイルデバイスにより無線で受信された立体3次元(3−D)動画コンテンツをデコードし、かつ、前記モバイルデバイスのディスプレイ上でレンダリングするメディアプレーヤと、
前記メディアプレーヤによってサポートされた3−D動画コーデックおよびフォーマットを含むデバイス機能情報を特定し、前記デバイス機能情報を含む1または複数のメッセージをデバイスプロファイルサーバに送信し、立体3−D動画コンテンツについての要求と、前記デバイス機能情報についての何らかの一時的な調整を含む少なくとも1つのメッセージをメディアサーバに送信するコンテンツ管理モジュールと、
を備える装置。
前記フォーマットタイプは、フレーム互換性圧縮フォーマットまたは最高解像度パービュー圧縮フォーマットに対応するフレーム圧縮フォーマットタイプか、サイマルキャストフォーマットタイプか、或いは2次元プラス補助フォーマットタイプである請求項10に記載の装置。
前記フォーマットタイプは、垂直インターリービング、水平インターリービング、サイド‐バイ‐サイド、トップ‐ボトムまたはチェッカーボードを示す値を有するフレーム互換性圧縮フォーマットたるフレーム圧縮フォーマットタイプである請求項11に記載の装置。
前記コンテンツ管理モジュールは、サービス検出の間に、インターネットプロトコルマルチメディアコアネットワークサブシステムへのセッション開始プロトコル(SIP)サブスクライブメッセージ内で、前記デバイス機能情報を送信する請求項9から12の何れか一項に記載の装置。
サービス検出の後に、前記コンテンツ管理モジュールは、サポートされた3−D動画コーデックおよびフォーマットの群をアップデートするべく、SIPシグナリングを使用する請求項14に記載の装置。
前記メディアプレーヤは、さらに前記ストリームに関連するメディアプレゼンテーション記述(MPD)メタデータファイルまたはセッション記述プロトコル(SDP)ファイルを受信する請求項16に記載の装置。
【発明を実施するための形態】
【0004】
本開示の例示的な実施形態は、通信ネットワークにおけるクライアントデバイスの立体3次元動画コンテンツ機能をシグナリングするための方法、システム、コンピュータ可読媒体および装置を含むが、これに限定されない。この文脈において本願発明のいくつかの実施形態は、ワイヤレス通信ネットワークにおけるモバイルデバイスの立体3次元動画コンテンツ機能をシグナリングするための方法、システム、コンピュータ可読媒体および装置に関するであろう。
【0005】
他の当業者に対して研究内容を伝達するべく当業者によって通常使用される用語を用いて、例示的な実施形態の様々な態様が説明される。しかしながら、説明された態様のいくつかのみによって、別の実施形態が実施されうることは当業者にとって明らかであろう。説明ために具体的な数、材料および構成が、例示的な実施形態の深い理解を提供する目的で記載される。しかしながら、別の実施形態が、具体的な詳細なしに実施され得ることは、当業者にとっては明らかであろう。他の例では、例示的な実施形態を不明瞭にしないようにするため、公知の特徴は省略または簡素化されている。
【0006】
さらに、様々なオペレーションが、例示的な実施形態の理解を最もよく助ける態様で、複数の別個のオペレーションとして、順に記載されるであろう。しかしながら、記載の順序は、これらのオペレーションが必ず順序に依存しなければならないと暗示していると解釈されるべきではない。特に、これらのオペレーションは提示の順序で実行される必要はない。
【0007】
「いくつかの実施形態において」という文言が繰り返し用いられる。この文言は概して、同じ実施形態を指しているのではないが、指していてもよい。「備える(comprising)」、「有する(having)」および「含む(including)」という用語は、文脈がそうではないように記述されない限り、同義である。「Aおよび/またはB」という文言は、(A)、(B)、または(AおよびB)の意味である。「A/B」という文言は、「Aおよび/またはB」という文言と同様に、(A)、(B)、または(AおよびB)の意味である。「A、BおよびCのうち少なくとも1つ」という文言は、(A)、(B)、(C)、(AおよびB)、(AおよびC)、(BおよびC)または(A、BおよびC)を意味する。「(A)B」という文言は、(B)または(AおよびB)、すなわちAは任意であることを意味する。
【0008】
具体的な実施形態が本明細書にて図示され、説明されるが、多種多様な、代替および/または同等の実施例が、本開示の実施形態の範囲を逸脱することなく、示され説明される具体的な実施形態の代用となり得ることは、当業者にとって理解されよう。本願は、本明細書にて議論される実施形態の何れの適用形態または変形形態も網羅することが意図されている。故に、本開示の実施形態は、請求項およびそれと同等なものによってのみ限定されることが明確に意図される。
【0009】
本明細書にて用いられるように、「モジュール」という用語は、1または複数のソフトウェアまたはファームウェアプログラムを実行する、特定用途向け集積回路(ASIC)、電子回路、プロセッサ(共有された、専用の、または群の)および/またはメモリ(共有された、専用の、または群の)、組み合わせ論理回路、および/または、説明された機能を提供する他の適したコンポーネント、を指すか、の一部であるか、または、を含み得る。
【0010】
動画圧縮機能における顕著な進歩がH.264/MPEG−4アドバンスト動画コーディング(AVC)規格の導入によって示されている。当該規格が発達して以来、ITU−T動画コーディングエキスパートグループ(VCEG)の共同動画チームと、国際標準化機構(ISO)/国際電気標準会議(IEC)ムービングピクチャーエクスパーツグループ(MPEG)は、マルチビュー動画コーディング(MVC)と呼ばれるAVCの拡張もまた規格化している。MVCは、複数の同期化された動画カメラなどのような、動画シーンの多重ビューのためのコンパクトな表現を提供する。
【0011】
立体3−D動画アプリケーションにおいては、2つのビューが表示される。1つは左目に関し、1つは右目に関する。立体3−D動画コンテンツのビューのフォーマットには様々な方法がある。一実施形態では、立体的なペアの(stereo-paired)3−D動画のエンコードは、左右ビューがMVCを介して生成されるような、MVCの特別な場合であっても良い。3−D動画コンテンツの生成についての他の符号化フォーマットもまた可能である。様々なデバイスが、これらの異なるフォーマットのデコードおよびレンダリングに関し、異なる機能を有していても良い。本明細書で説明される実施形態は、例えば進化型ユニバーサル地上波無線アクセスネットワーク(EUTRAN)などの無線ネットワークのような通信ネットワークにおける、3−D動画コンテンツの配信および鑑賞を容易化し得るデバイス機能交換の様々なパラメータを提供する。
【0012】
図1は、様々な実施形態に係るネットワーク環境100を概略的に示す。ネットワーク環境100は、クライアント端末またはモバイルデバイスとも呼ばれるユーザ機器(UE)104を含む。UE104は、無線アクセスネットワーク(RAN)108に無線で連結される。RAN108は、無線(OTA)インタフェースを介してUE104と通信するよう構成されたエンハンスト基地局(eNB)112を含んでも良い。RAN108は、第3世代パートナーシッププロジェクト(3GPP)ロングタームエボリューション(LTE)アドバンストネットワークの一部であっても良い。RAN108は、EUTRANと呼ばれても良い。他の実施形態では、他の無線アクセスネットワーク技術が利用されても良い。
【0013】
UE104は、RAN108を介してリモートメディアサーバ116と通信しても良い。eNB112はメディアサーバと直接的に通信するよう図示されてはいるが、様々な実施形態において、例えばスイッチ、ルータおよびゲートウェイ等の多数の中間ネットワーキングコンポーネントを介して通信が行われても良いことは理解されるであろう。例えば、いくつかの実施形態において、RAN108は、メディアサーバ116が一部と見なされ得る大型ネットワーク、例えば広域ネットワークなどをRAN108に対して通信可能に連結するコアサービスネットワーク(CSN)に連結されても良い。
【0014】
図1は無線通信ネットワークとしてのネットワーク環境を示しているが、他の実施形態は他のタイプのネットワーク、例えば有線ネットワークに用いられても良い。本願発明の実施形態が使用され得る他のネットワーク環境が、
図1の例で明示的に示されるコンポーネントと比べて、更なるコンポーネント、より少ないコンポーネント、或いは異なるコンポーネントを含んでも良いことは理解されるであろう。例えば、有線ネットワークに使用される本願発明の実施形態は、RAN108無しに互いに通信するメディアサーバ116およびUE104を有しても良い。
【0015】
UE104およびメディアサーバ116は、3−D動画コンテンツのアクセス、記憶、送信および表示を容易化するよう構成された多数のコンポーネントを有しても良い。例えば、UE104は、コンテンツ管理モジュール120、ストリーミングアプリケーション126を有するメディアプレーヤ124、およびディスプレイ128を含んでも良い。ストリーミングアプリケーション126は、3−D動画コンテンツおよび関連情報を受信するための十分な機能、3−D動画をデコードし、解凍し、さもなければ再アセンブルするための十分な機能、および、ディスプレイ128上で3−D動画をレンダリングするための十分な機能を有しても良い。様々な実施形態において、ストリーミングアプリケーション126は、使用されるストリーミング技術との関係で言及されても良い。例えば、パケット交換方式のストリーミングサービス(PSS)によってコンテンツがストリーミングされる実施形態においては、ストリーミングアプリケーション126はPSSアプリケーションと呼ばれても良い。コンテンツ管理モジュール120は、メディアプレーヤ124のオペレーションを容易化する態様でのデータの受信を有効にするべく、例えばデバイス機能パラメータ等を含むストリーミングパラメータをネゴシエーションしても良いし、或いは通信しても良い。
【0016】
メディアサーバ116は、ストリーミングアプリケーション134、コンテンツ管理モジュール136およびコンテンツ記憶装置140を有するコンテンツ配信モジュール132を含んでも良い。コンテンツ配信モジュール132は、1または複数のUE、例えばUE104に送信するために、コンテンツ記憶装置140に記憶された3−D動画コンテンツをエンコードしても良いし、圧縮しても良いし、或いはアセンブルしても良い。コンテンツ管理モジュール136は、例えばデバイス機能パラメータ等を含むストリーミングパラメータをネゴシエーションしても良いし、或いは通信しても良い。また、コンテンツ管理モジュール136は、3−Dコンテンツの配信を容易化するやり方でコンテンツ配信モジュール132を制御しても良い。
【0017】
いくつかの実施形態において、メディアサーバ116の一部として示されるコンポーネントのうち1または複数は、メディアサーバ116と別々に配置され、通信リンクによってメディアサーバと通信可能に結合されても良い。例えば、いくつかの実施形態においてコンテンツ記憶装置140は、コンテンツ配信モジュール132およびコンテンツ管理モジュール136から離れて配置されても良い。
【0018】
いくつかの実施形態において、コンテンツ配信モジュール132は、3GPPストリーミング規格に従い、一例ではeNB112を介して、UE104に3−D動画コンテンツを配信しても良い。例えば、3−D動画コンテンツは、例えば3GPP TS 26.234 V11.0.0 (March 16, 2012)等のPSS規格、例えば3GPP TS 26.247 V. 11.0.0 (March 16, 2012)等のDynamic Adaptive Streaming over HTTP(DASH)規格、例えばTS 26.346 V11.1.0 (June 29, 2012)等のマルチメディアブロードキャストアンドマルチキャストサービス(MBMS)規格、および/または、例えばTS 26.237 V. 11.0.0 (June 29, 2012)等のIMSベースのPSSおよびMBMSサービス(IMS_PSS_MBMS)規格に従って送信されても良い。ストリーミングアプリケーション126は、例えばリアルタイムトランスポートプロトコル(RTP)、ハイパーテキストトランスポートプロトコル(HTTP)等の多数のトランスポートプロトコルの何れによっても3−D動画コンテンツを受信するよう構成され得る。
【0019】
機能交換によってメディアサーバ116などのようなメディアストリーミングサーバは、広い範囲のデバイスに対し、該当の特定デバイスに適したビデオコンテンツを提供することが有効になる。ストリーミングされる、サーバ側のコンテンツのネゴシエーションを容易化するべく、メディアサーバ116は、UE104の具体的な機能を特定しても良い。
【0020】
コンテンツ管理モジュール120およびコンテンツ管理モジュール136は、3−D動画コンテンツストリーミングセッションのパラメータをネゴシエーションしても良いし、或いは通信しても良い。このネゴシエーションは、RAN108を介したセッションレベルシグナリングによって行われても良い。いくつかの実施形態においては、セッションレベルシグナリングは、メディアプレーヤ124の立体3−D動画デコーディングおよびレンダリング機能を含むデバイス機能情報に関する送信を含んでも良い。様々な実施形態において、デバイス機能情報は、プレデコーダバッファサイズ、イニシャルバッファ処理、デコーダ機能、ディスプレイプロパティ(画面サイズ、解像度、ビット深度など)、ストリーミング方法(リアルタイムストリーミングプロトコル(RTSP)、HTTPなど)適用サポート、体感品質(QoE)サポート、拡張リアルタイムトランスポートプロトコル(RTCP)報告サポート、ファストコンテンツ切り替えサポート、サポートされたRTPプロファイル、セッション記述プロトコル(SDP)属性などをさらに含んでも良い。
【0021】
ストリーミングセッションのセットアップの間に、コンテンツ管理モジュール136は、適切なタイプのマルチメディアコンテンツをUE104に提供するやり方でコンテンツ配信モジュール132を制御するべく、デバイス機能情報を使用しても良い。例えば、メディアサーバ116は、UE104の実際の機能に基づいて、その端末に最も適したストリームを判断するべく、ビデオストリームの複数の利用可能なバリアント(variants)のうち何れのバリアントが所望されるかを判断しても良い。これにより、3−D動画コンテンツと、例えば、SDPファイルまたはメディアプレゼンテーション記述(MPD)ファイル等の関連セッション記述およびメタデータファイルとの、UE104に対する改善された配信が可能になるかもしれない。
【0022】
コンテンツ配信モジュール132は、コンテンツ/関連ファイルの配信に先立ってネゴシエーションされたセッションパラメータに従って、コンテンツ記憶装置140のコンテンツにアクセスしても良いし、コンテンツおよび/または関連セッション記述およびメタデータファイル、例えばSDP/MPDファイルを適応させても良い。コンテンツは、UE104に配信されたときに、メディアプレーヤ124によってデコードされ、ディスプレイ128上でレンダリングされても良い。
【0023】
いくつかの具体例に係る、コンテンツおよび/または関連セッション記述およびメタデータファイルの適用が
図2A〜
図2Bに示され、具体例に係るストリーミングセッションのセットアップが
図3に示される。
【0024】
図2Aは、いくつかの実施形態に係る3−D動画フォーマットの適用と共に、DASHベースのスクリーミングの実施形態を示す。特に、
図2Aは、DASHクライアント208と通信しており、プル型(pull−based)ストリーミングの実施形態を実装しているHTTPサーバ204を示す。プル型(pull-based)ストリーミングの実施形態では、ストリーミング制御がサーバではなくクライアントによって維持され、MPDの検査(inspection)後の、HTTPベースの要求‐応答のトランザクションのシリーズを介してクライアントがサーバからコンテンツをダウンロードする。DASHベースのスクリーミングにおいて、MPDメタデータファイルは、HTTPサーバ204に記憶されたメディアコンテンツ表現(representations)の構造および異なるバージョンに関する情報(異なるビットレート、フレームレート、解像度、コーデックタイプなどを含む)を提供する。セグメントと、それらがどのようにメディアプレゼンテーションを形成するかとの関係を説明するこのMPDメタデータ情報に基づいて、DASHクライアント208は、HTTP GETまたは部分的なGET法を用いてメディアセグメントを要求しても良い。HTTPサーバ204およびDASHクライアント208は、それぞれメディアサーバ116およびUE104と同様で、かつ、実質的に互換性を有していても良い。
【0025】
DASHにおいて、3−D動画フォーマットおよび対応するコンテンツ情報の群は、MPD内でDASHクライアント208にシグナリングされても良い。DASHクライアント208の機能プロファイルと、そのサポートされた3−Dフォーマットに応じて、HTTPサーバ204は、異なるフォーマットのコンテンツを提供しても良い。例えば、HTTPサーバ204は、MPDにおいてDASHクライアント208にサポートされていない3−Dフォーマットを除外し、DASHクライアント208にサポートされた3−Dフォーマットのみを含めても良い。この文脈において、HTTPサーバ204は、異なる3−D動画フォーマットのために最適化されたコンテンツをDASHクライアント208に提供しても良い。この間に、HTTPサーバ204は、サポートされた様々な3−D動画フォーマットを説明するDASHクライアント208からのデバイス機能交換シグナリングを使用しても良い。このときDASHクライアント208は、DASHクライアント208にサポートされた3−D動画コンテンツの対応バージョンを要求しても良い。さらに、HTTPと共にMPDを取得するとき、DASHクライアント208は、プロファイルの差(ProfDiff)に基づいて3−D動画フォーマットに対する何らかの一時的な調整を含むGET要求に、3−D動画コーデックおよびフォーマット情報を含めても良い。一例では、差は、コンテンツプレゼンテーションセッションのための1または複数のMPDパラメータを一時的に修正するよう構成され得る。例えば、差は、コンテンツプレゼンテーションセッションが終了するまでMPDを修正するよう構成され得、または、その後の差(最初に通信された差に対応)はHTTPサーバ204に通信される。これによりHTTPサーバ204は、DASHクライアント208に最適化されたMPDを配信しても良い。
【0026】
図2Bは、いくつかの実施形態に係る3−D動画フォーマットの適用と共に、RTSPベースのストリーミングの実施形態を示す。特に、
図2Bは、プッシュ型(push−based)ストリーミング法を実装しているサーバ212およびクライアント216を示す。プッシュ型ストリーミング法では、ストリーミングおよびセッション制御は、クライアント216ではなくサーバ212によって維持される。サーバ212およびクライアント216は、それぞれメディアサーバ116およびUE104と同様で、かつ、実質的に互換性を有していても良い。
【0027】
プッシュ型ストリーミングの例は、それぞれRTSPおよびセッション開始プロトコル(SIP)に基づくPSSおよびIMS PSS MBMSサービスを含む。この文脈において、サーバ212は、サポートされた3−D動画コーデックおよびフォーマットの群をクライアント216から受信し、この情報に基づいてコンテンツを適応させる。例えば、サーバ212は、記憶されたコンテンツバージョンの中から最も適したコンテンツバージョンを選択するか、またはサポートされた3−D動画フォーマットに基づいてコンテンツを動的にコード変換してコンテンツをクライアント216にストリーミングする。SDPで搬送されるセッション関連メタデータは、ストリーミングされるコンテンツに関する3−D動画フォーマット情報を伝達しても良い。
【0028】
図3は、いくつかの実施形態に係るIMS PSS MBMSサービスに関する予約/通知を有するサービス検出を示す。特に、
図3は、UE304、IPマルチメディア(IM)コアネットワーク(CN)サブシステム308、およびサービス検出機能(SDF)312の間の相互作用を示す。UE304は、UE104と同様で、かつ、実質的に互換性を有していても良い。IM CNサブシステム308およびSDF312は、アクセスネットワークドメイン、例えばRAN108と相互作用するコアネットワークドメインの一部であっても良い。
【0029】
IMS PSS MBMSサービスにおいて、UE304は、サービス検出の間に、IM CNサブシステム308に対するSIPサブスクライブメッセージ内で、デバイス機能情報、例えばサポートされた3−D動画コーデックおよびフォーマットを送信することができる。このときIM CNサブシステム308は、SDF312にメッセージを転送しても良い。SDF312は、例えば、ユーザのプロファイル(Personalized Service Discovery)で説明されるように、UE304の機能に従って適切なサービス検出情報を判断する。このときSDF312は、サポートされた3−D動画コーデックおよびフォーマットも含む、送信済みのデバイス機能情報に基づいて、セッション初期化を確認するためにUE304に送られるSIP200 OKメッセージをIM CNサブシステム308に送信しても良い。その後、SDF312は、SIP NOTIFYメッセージをUE304に送り返すIM CNサブシステム308に対し、サービス検出情報と共にSIP NOTIFYメッセージを送信しても良い。このときUE304は、その後SDF312に送られるSIP200 OKメッセージをIM CNサブシステム308に送信することで返信しても良い。
【0030】
そのようなフレームワークは、IMSベースのPSSおよびMBMSユーザサービスにおいてサポートされた3−D動画フォーマットを利用する、最適化されたサービス検出を有効にする。後のIMSセッションの間に、UE304は、ProfDiff(例えば、電流デバイスオリエンテーションがデフォルトデバイスオリエンテーションと異なる場合)に基づいて、サポートされた3−D動画コーデックおよびフォーマットの群に対する何らかの一時的な調整を含むアップデートを示すためのSIPシグナリングもまた使用しても良い。これは、3−D動画フォーマット情報のアップデートについての情報を含む、更なるSIPサブスクライブメッセージを通じて予約(subscription)をリフレッシュすることで行われる。
【0031】
再び
図1を参照し、いくつかの実施形態において、メディアサーバ116は、UE104のプロファイル情報を有するデバイスプロファイルサーバ144に連結されても良い。プロファイル情報は、デバイス機能情報のいくつかまたは全てを含んでも良い。そのような実施形態において、メディアサーバ116は、UE104から識別情報を受信し、このときデバイスプロファイルサーバ144からプロファイル情報を取得しても良い。これは、セッションレベルシグナリングの一部として行われても良い。
【0032】
いくつかの実施形態において、UE104は、デバイスプロファイルサーバ144から取得したプロファイル情報を、ProfDiffシグナリングに基づいて、追加属性(extra attributes)で補足するか、または、そのデバイス機能プロファイルで既に定義された属性に対するオーバーライドで補足しても良い。一例では、そのような一時的な調整は、例えば、仮に端末が3−D動画のレンダリングが可能であっても具体的なセッションに関してユーザが2次元(2−D)動画の受信のみを望む場合には、ユーザ選択によって引き起こされても良い。
【0033】
ストリーミングアプリケーション134は、ネットワーク環境100における送信のために、各ストリームタイプが関連フレームタイプを有する状況で、多数の異なるストリームタイプに従って、3−D動画コンテンツをエンコードしても良い。フレームタイプは、フレーム圧縮、サイマルキャスト(simulcast)、または2−Dプラス補助フレームタイプ(2−D plus auxiliary frame types)を含んでも良い。
【0034】
フレーム圧縮は、フレーム互換性圧縮フォーマットおよび最高解像度パービュー(FRPV)圧縮フォーマットを含んでも良い。フレーム互換性パケットフォーマットにおいて、ストリーミングアプリケーション134は、ステレオペアの構成フレームを空間的に圧縮して単一フレームにし、当該単一フレームをエンコードしても良い。ストリーミングアプリケーション126によって生成される出力フレームは、ステレオペアの構成フレームを含む。パッケージングされた単一フレームおよび各ビューのオリジナルフレームの空間解像度は同じであっても良い。この場合には、ストリーミングアプリケーション134は、圧縮オペレーションの前に2つの構成フレームをダウンサンプリングしても良い。フレーム互換性圧縮フォーマットは、
図4(a)〜(e)のそれぞれに図示されるように、垂直インターリービング、水平インターリービング、サイド‐バイ‐サイド、トップ‐ボトム、またはチェッカーボードフォーマットを使用しても良く、ダウンサンプリングは適宜、実行されても良い。
【0035】
いくつかの実施形態において、ストリーミングアプリケーション134は、H. 264/AVC規格で規定されるように、1または複数のフレーム圧縮アレンジメントサプリメンタルエンハンストインフォメーション(SEI:supplemental enhancement information)メッセージをビットストリームに含めることで使用されたフレーム圧縮フォーマットを示しても良い。ストリーミングアプリケーション126は、フレームをデコードし、デコーダの出力フレームから2つの構成フレームを解凍し、エンコーダ側のダウンサンプリング処理をリバートするべくフレームをアップサンプリングし、ディスプレイ128上で構成フレームをレンダリングしても良い。
【0036】
FRPV圧縮フォーマットは、一時的なインターリービングを含んでも良い。一時的なインターリービングにおいては、各親ピクチャおよびそれに続くピクチャがステレオペア(左右ビュー)を構成する状態で、3−D動画はオリジナル動画の2倍のフレームレートでエンコードされても良い。時間的にインターリーブされた立体動画のレンダリングは典型的には高フレームレートで実行されても良く、高フレームレートでは、それぞれの目で不正確なビューを混合するためにアクティブ(シャッタ)メガネが用いられる。これは、メガネと画面の間の正確な同期に依存しても良い。
【0037】
フレームタイプのサイマルキャストを使用する実施形態では、左右のビューは別々のサイマルキャストストリームで送信されても良い。別々に送信されるストリームは、ストリーミングアプリケーション126によって組み合わされ、共同でデコードされても良い。
【0038】
2−Dプラス補助フレームタイプを使用する実施形態では、2−Dビデオコンテンツは、ディスプレイ128上で3−D動画をレンダリングするためにストリーミングアプリケーション126によって使用され得る補助情報と共に、ストリーミングアプリケーション134によって送信されても良い。この補助情報は例えば深度/視差マップであっても良く、深度/視差マップは、各ピクセルが関連2−D動画フレームにおける1または複数のピクセルの深度/視差を定義する2−Dマップである。
【0039】
いくつかの実施形態においては、他のフレームタイプが使用されても良い。例えば、いくつかの実施形態において、ストリーミングアプリケーション134は、同じストリームまたは異なるストリームで送信され得るベースビューストリームおよび非ベースビューストリームに、立体ビューをエンコードすることができても良い。いくつかの実施形態において、これは立体動画のためのMVC−ベース(MVC−based)と呼ばれても良い。非ベースビューストリームは、空間の/一時的な予測情報を提供する中間ビュー(inter−view)予測フレームを含んでも良い。ベースビューストリームは、例えば2−D等の単一ビューのデコーダがベースビューを2−D動画としてレンダリングするのに十分であっても良い。一方、非ベースビューストリームは、3−D動画をレンダリングするために十分な情報と共に、例えばストリーミングアプリケーション126等の3−Dデコーダを提供しても良い。メディアサーバ116がUEの機能を知っている場合には、3−D動画をサポートしないか、あるいは3−D動画をサポートするのに十分なビットレートを有していないデバイスに対し、非ベースビューストリームの送信を省略することができる。
【0040】
様々な実施形態において、コンテンツ管理モジュール120および/またはデバイスプロファイルサーバ144からコンテンツ管理モジュール136に送信されるデバイス機能情報は、ストリーミングアプリケーション126でサポートされた関連の送信プロトコル、例えばRTPまたはHTTPによる立体3−D動画のストリーミングに適した1または複数のフォーマットのリストを含む3−Dフォーマット属性を有しても良い。いくつかの実施形態において、3−Dフォーマット属性は、垂直インターリービングのための整数値「1」、水平インターリービングのための「2」、サイド‐バイ‐サイドのための「3」、トップ‐ボトムのための「4」、チェッカーボードのための「0」、または一時的なインターリービングのための「5」を有する、RTP又はHTTPのためのストリーミングフレーム圧縮フォーマットであっても良い。いくつかの実施形態において、同じ3−Dフォーマット属性は、具体的なファイルまたはコンテナフォーマットでサポートされたフレーム圧縮フォーマットを示すために用いられても良い。いくつかの実施形態において、3−Dフォーマット属性は、より一般化された値、例えばフレーム圧縮のための「FP」を含んでも良い。
【0041】
いくつかの実施形態において、3−Dフォーマット属性は、サイマルキャストのための値「SC」、或いは2−D動画プラス補助情報のための「2DA」を含む他のストリーミングフォーマットでも良い。
【0042】
UE104が1より多くのフォーマットタイプをサポートする実施形態において、それは、1または複数の好ましいフォーマットタイプをさらに示しても良い。これは、好みのインジケータを選択フォーマットタイプ等と関連付けて、好みの順序でフォーマットタイプをリスト化することで行われ得る。
【0043】
いくつかの実施形態において、フレームタイプ属性を提供することに加えて、コンテンツ管理モジュール120および/またはデバイスプロファイルサーバ144は、1または複数のコンポーネントタイプ属性を提供しても良い。コンポーネントタイプ属性は、ストリーミングアプリケーション126によってサポートされ、かつ/または選択された、立体3−D動画の構成エレメントである動画コンポーネントの具体的タイプに関する更なる詳細を提供しても良い。
【0044】
コンポーネントタイプ属性は、センタービューのストリームを示すための値「C」、センタービューのストリームおよび深度マップを示すための「CD」、センタービューのストリームおよび視差マップを示すための「CP」、深度マップを示すための「D」、視差マップを示すための「P」、左ビューストリームを示すための「L」、左ビューストリームおよび深度マップを示すための「LD」、左右ビューからの互い違いの走査線を含む動画フレームを示すための「LIL」、左ビューストリームおよび視差マップを示すための「LP」、右ビューストリームを示すための「R」、フレームシーケンシャルを示すための「Seq」(例えば、左右のストリームからの互い違いのフレームを含むビデオストリーム‐追加シグナリング、例えばAVC SEIメッセージは、何れのフレームが左右ビューを含むかを示すのに必要とされても良い)、サイド‐バイ‐サイドを示すための「SbS」、および、トップアンドボトムを示すための「TaB」を有しても良い。
【0045】
各フォーマットタイプ属性は、コンポーネントタイプ属性の群にそれぞれ関連付けられても良い。例えば、フォーマットタイプがSCの場合には、関連コンポーネントタイプは、それぞれ左右ビューを示すLまたはRであっても良い。
【0046】
PSS記述3GPP TS 24.234におけるデバイス機能交換シグナリング機能は、広い範囲のデバイスに対し、該当の特定デバイスに適したコンテンツをサーバが提供することを有効にする。クライアント端末に対する立体3−D動画コンテンツの配信を改善する目的で、本開示は、デバイス機能交換シグナリングのためのPSSボキャブラリーに含まれ得る属性の新たな群を説明する。これらの提案される属性は、いずれの3−D動画フレーム圧縮フォーマットをクライアントがサポートするかを含めて、クライアント端末の3−D動画デコーディングおよびレンダリング機能を説明しても良い。これにより、例えば、サーバおよびネットワークは、送信された3−D動画コンテンツをクライアントデバイスの機能に合致させる目的で適切なトランスコーディングおよび3−Dフォーマット変換を実行するだけでなく、最適化されたRTSP SDPまたはDASH MPDをクライアント端末に提供することが可能になる。
【0047】
サポートされた3−D動画コーデックおよびフォーマットのデバイス機能交換シグナリングは、PSSボキャブラリーに3つの新たな属性が包含された3GPP TS 26.234で有効になっても良く、:(1)ストリーミングコンポーネントのための2つの属性は、それぞれRTPおよびHTTPによる立体3−D動画のストリーミングに適した、サポートされたフレーム圧縮フォーマットのリストを示し、(2)ThreeGPFileFormatコンポーネントのための1つの属性は、3GPPベースのマルチメディアサービスのために通常、使用されるマルチメディアコンテナフォーマットである3GPPファイルフォーマット(3GP)ファイルに含まれ得る立体3−D動画に適した、サポートされたフレーム圧縮フォーマットのリストを示す。いくつかの実施形態に係る属性定義の詳細が以下に説明される。
【0048】
属性名:StreamingFramePackingFormatsRTP
属性定義:PSSアプリケーションによってサポートされたRTPによる立体3−D動画のストリーミングに適した、サポートされたフレーム圧縮フォーマットのリスト。
立体3−D動画の範囲内のフレーム圧縮フォーマットは、以下を含む。
【0049】
フレーム互換性圧縮フォーマット:1=垂直インターリービング、2=水平インターリービング、3=サイド‐バイ‐サイド、4=トップ‐ボトム、0=チェッカーボード
最高解像度パービュー圧縮フォーマット:5=一時的なインターリービング
コンポーネント:ストリーミング
タイプ:リテラル(バッグ)
リーガルバリュー(Legal values):サポートされたフレーム圧縮フォーマットに対応する整数値のリスト
解像ルール(Resolution rule):付加
例:<StreamingFramePackingFormatsRTP>
<rdf:Bag>
<rdf:li>3</rdf:li>
<rdf:li>4</rdf:li>
</rdf:Bag>
</StreamingFramePackingFormatsRTP>
【0050】
属性名:StreamingFramePackingFormatsHTTP
【0051】
属性定義:PSSアプリケーションによってサポートされたHTTPによる立体3−D動画のストリーミングに適した、サポートされたフレーム圧縮フォーマットのリスト
立体3−D動画の範囲内のフレーム圧縮フォーマットは、以下を含む。
【0052】
フレーム互換性圧縮フォーマット:1=垂直インターリービング、2=水平インターリービング、3=サイド‐バイ‐サイド、4=トップ‐ボトム、0=チェッカーボード
最高解像度パービュー圧縮フォーマット:5=一時的なインターリービング
コンポーネント:ストリーミング
タイプ:リテラル(バッグ)
リーガルバリュー:サポートされたフレーム圧縮フォーマットに対応する整数値のリスト
解像ルール:付加
例:<StreamingFramePackingFormatsHTTP>
<rdf:Bag>
<rdf:li>3</rdf:li>
<rdf:li>4</rdf:li>
</rdf:Bag>
</StreamingFramePackingFormatsHTTP>
【0053】
属性名:ThreeGPFramePackingFormats
属性定義:PSSアプリケーションによって3GPファイルに含められて処理される立体3−D動画に適した、サポートされたフレーム圧縮フォーマットのリスト
【0054】
コンポーネント:ThreeGPFileFormat
タイプ:リテラル(バッグ)
【0055】
リーガルバリュー:サポートされたフレーム圧縮フォーマットに対応する整数値のリスト
整数値はサイド‐バイ‐サイドおよびトップ‐アンド‐ボトムフレーム圧縮フォーマットそれぞれに対応する3または4のいずれかであるものとする。
【0056】
解像ルール:付加
例:<ThreeGPFramePackingFormats>
<rdf:Bag>
<rdf:li>3</rdf:li>
<rdf:li>4</rdf:li>
</rdf:Bag>
</ThreeGPFramePackingFormats>
【0057】
いくつかの実施形態において、MPDで説明されるように、メディアプレゼンテーションは、例えば、アダプテーションセット(Adaptation Set)、レプレゼンテーション(Representation)およびサブレプレゼンテーション(SubRepresentation)に共通の属性およびエレメントを含んでも良い。そのような1つの共通のエレメントは、フレーム圧縮エレメントであっても良い。フレーム圧縮エレメントは、動画メディアコンポーネントタイプのフレーム圧縮アレンジメント情報を指定しても良い。動画コンポーネントにフレーム圧縮エレメントが提供されないときには、フレーム圧縮は動画メディアコンポーネントのために用いられなくても良い。
【0058】
フレーム圧縮エレメントは、使用されるフレーム圧縮構成スキームを識別するためのユニフォームリソースインジケータ(URI)を含む@schemeIdUri属性を含んでも良い。いくつかの実施形態において、フレーム圧縮エレメントは、記述子エレメントに値を提供するための@value属性をさらに含んでも良い。
【0059】
いくつかの実施形態において、複数のフレーム圧縮エレメントが存在しても良い。その場合には、各エレメントは、説明表現(described representation)を選択または拒否するための十分な情報を含んでも良い。
【0060】
全てのフレーム圧縮エレメントのスキームまたは値が認識されない場合には、クライアントは、説明されたレプレゼンテーションを無視しても良い。クライアントは、フレーム圧縮エレメントの観察に基づいてアダプテーションセットを拒否しても良い。
【0061】
ISO/IECインフォメーションテクノロジー‐コーディングオブオーディオビジュアルオブジェクト‐パート10:アドバンスト動画コーディング(ISO/IEC 14496‐10:2012)に従った動画コンポーネントを含むアダプテーションセット(Adaptation Set)または表現(Representations)に関し、FramePackin@schemeIdUriに対する単一のリソース番号は、フレーム圧縮エレメント(FramePacking element)に含まれるべき、ISO/IEC 14496‐10:2012('Defintion of frame_packing_arrangement_type')の表D−8で定義されるように、フレーム圧縮アレンジメント(frame−packing arrangement)を示すように定義され得るurn:mpeg:dash:14496:10:frame_packing_arrangement_type:2011であっても良い。ISO/IEC 14496‐10:2012の表D−8で規定されるように、@valueは「Value」列であっても良いし、同じ表の「Interpretation」列に従って解釈されても良い。
【0062】
図5は、いくつかの実施形態に係る、3−D動画デバイス機能のシグナリング方法500を示す。方法500は、例えばUE104等のUEのコンポーネントによって実行されても良い。いくつかの実施形態において、UEは、実行されたときにUEまたはそのコンポーネントに方法500を実行させる命令が格納された1または複数のコンピュータ可読媒体を含んでも良く、かつ/または、当該コンピュータ可読媒体に対するアクセスを有しても良い。
【0063】
504で、UEは、デバイス機能情報を特定しても良い。上述したように、デバイス機能情報は、メディアプレーヤのデコードおよびレンダリング機能に関する情報を含んでも良い。いくつかの実施形態において、UE等に位置するコンテンツ管理モジュールは、機能を直接テストするべくUEで1または複数のスクリプトを実行することによりこの情報を特定しても良い。他の実施形態において、コンテンツ管理モジュールは、関連情報を含む、記憶された1または複数のファイルにアクセスしても良い。
【0064】
508で、UEは、UEでのメディアプレーヤの立体3−D動画デコーディングおよびレンダリング機能を含むデバイス機能情報をメディアサーバ116またはデバイスプロファイルサーバ144に提供しても良い。上述したように、デバイス機能情報は、UEのストリーミングアプリケーションによってサポートされたフレームタイプのリストを表す1または複数のフォーマットタイプ属性を含んでも良い。いくつかの実施形態において、デバイス機能情報は、512での要求の前または後に提供されても良い。
【0065】
いくつかの実施形態において、デバイス機能情報のいくつかまたは全ては、他のエンティティ、例えばデバイスプロファイルサーバによってメディアサーバに提供されても良い。
【0066】
512で、UEは、3−D動画コンテンツを要求しても良い。いくつかの実施形態において、要求は、適切なストリーミング/トランスポートプロトコル、例えばHTTP、RTP、RTSP、DASH、MBMS、PSS、IMS PSS MBMS等に従っても良い。要求は、メディアサーバを対象としても良いし、要求されたコンテンツまたはその一部の、ユニフォームリソースロケータ(URL)またはいくつかの他のインジケータを含んでも良い。いくつかの実施形態において、デバイス機能情報の一時的な調整は、(例えばProfDiffシグナリングを介して)508で要求と共に提供されてもまた良い。適宜UEは、デバイスプロファイルサーバから取得したプロファイル情報を、ProfDiffシグナリングに基づいて、追加属性(extra attribute)で補足するか、またはそのデバイス機能プロファイルで定義済みの属性に対するオーバーライドで補足しても良い。一例では、そのような一時的な調整は、例えば、仮に端末が3−D動画のレンダリングが可能であってもユーザが具体的なセッションのために2次元(2−D)動画の受信のみを望む等、ユーザ選択によって引き起こされても良い。
【0067】
516で、UEは、要求された3−D動画コンテンツを受信してUEのディスプレイ上でコンテンツをレンダリングしても良い。コンテンツのレンダリングは、デコード、アップコンバーティング、解凍、シーケンシングなどの多様な処理を含んでも良いが、これに限定されない。
【0068】
図6は、いくつかの実施形態に係る、3−D動画コンテンツのシグナリング方法600を示す。方法600は、例えばメディアサーバ116等のメディアサーバのコンポーネントによって実行されても良い。いくつかの実施形態において、メディアサーバは、実行されたときにメディアサーバまたはそのコンポーネントに方法600を実行させる命令が格納された1または複数のコンピュータ可読媒体を含んでも良く、かつ/または、当該コンピュータ可読媒体に対するアクセスを有しても良い。
【0069】
604で、メディアサーバは、デバイス機能情報を特定しても良い。いくつかの実施形態において、メディアサーバは、例えばセッションレベルシグナリングの一部として、UEまたはデバイスプロファイルサーバから情報を受信することにより、デバイス機能情報を特定しても良い。
【0070】
608で、メディアサーバは、3−D動画コンテンツに対する要求を受信しても良い。いくつかの実施形態において、要求は、適切なストリーミング/トランスポートプロトコル、例えばHTTP、RTP、RTSP、DASH、MBMS、PSS、IMS PSS MBMS等に従っても良い。要求は、UEからであっても良いし、要求されたコンテンツまたはその一部の、ユニバーサルリソースロケータ(URL)またはいくつかの他のインジケータを含んでも良い。いくつかの実施形態において、608で受信される要求は、デバイス機能情報604の特定と同時に、特定の前に、または特定の後に行われても良い。いくつかの実施形態において、デバイス機能情報の一時的な調整は、(例えばProfDiffシグナリングを介して)608で要求と共に受信されてもまた良い。適宜メディアサーバには、ProfDiffシグナリングに基づいて、デバイスプロファイルサーバから取得したプロファイル情報が、追加属性、またはそのデバイス機能プロファイルで定義済みの属性に対するオーバーライドと共に補足されても良い。
【0071】
612で、メディアサーバは、例えば、UEでのメディアプレーヤの立体3−D動画デコーディングおよびレンダリング機能を説明しているデバイス機能情報に基づいてSDPファイルまたはメディアプレゼンテーション記述(MPD)等のストリーミングセッションを確立するべく、セッション記述および/またはメタデータファイルを生み出しても良い。
【0072】
616で、メディアサーバは、デバイス機能情報においてUEでサポートされていることが示されたフォーマットタイプで3−D動画コンテンツをエンコードしても良い。このとき3−D動画コンテンツは、モバイルデバイスにストリーミングされても良い。
【0073】
本明細書で説明されるコンポーネント、例えばUE104、メディアサーバ116および/またはデバイスプロファイルサーバ144は、所望される通り構成するための、何らかの適切なハードウェアおよび/またはソフトウェアを用いたシステムに実装されても良い。一実施形態に関し、
図7は、1または複数のプロセッサ704、プロセッサ704のうち少なくとも1つに連結されたシステム制御ロジック708、システム制御ロジック708に連結されたシステムメモリ712、システム制御ロジック708に連結された不揮発性メモリ(NVM)/記憶装置716、システム制御ロジック708に連結されたネットワークインタフェース720、およびシステム制御ロジック708に連結された入出力(I/O)デバイス732を備えるシステム700を示している。
【0074】
プロセッサ704は、1または複数のシングルコアまたはマルチコアのプロセッサを含んでも良い。プロセッサ704は、汎用プロセッサおよび専用プロセッサ(例えばグラフィックプロセッサ、アプリケーションプロセッサ、ベースバンドプロセッサ等)の如何なる組み合わせを含んでも良い。
【0075】
一実施形態に関するシステム制御ロジック708は、プロセッサ704のうち少なくとも1つ、および/または、システム制御ロジック708と通信している何らかの適切なデバイスまたはコンポーネントに対する何らかの適切なインタフェースを提供するべく、何らかの適切なインタフェースコントローラを含んでも良い。
【0076】
一実施形態に関するシステム制御ロジック708は、システムメモリ712に対するインタフェースを提供するための1または複数のメモリコントローラを含んでも良い。システムメモリ712は、データおよび/または命令、例えばロジック724の読み書きのために用いられても良い。一実施形態に関するシステムメモリ712は、例えば、適切なダイナミックランダムアクセスメモリ(DRAM)など、何らかの適切な揮発性メモリを含んでも良い。
【0077】
NVM/記憶装置716は、データおよび/または命令、例えばロジック724の格納のために用いられる1または複数の実体的な非一時的コンピュータ可読媒体を含んでも良い。NVM/記憶装置716は、例えば、フラッシュメモリなど、何らかの適切な不揮発性メモリを含み、かつ/または、例えば、1または複数のハードディスクドライブ(HDD)、1または複数のコンパクトディスク(CD)ドライブおよび/または1または複数のデジタルバーサタイルディスク(DVD)ドライブなど、何らかの適切な不揮発性記憶デバイスを含んでも良い。
【0078】
NVM/記憶装置716は、システム700がインストールされたデバイスの物理的な一部である記憶資源を備えても良く、或いは、一部である必要はないが、当該デバイスにアクセス可能でも良い。例えば、NVM/記憶装置716は、ネットワークインタフェース720を介してネットワークによりアクセスされ、かつ/または、入出力(I/O)デバイス732によりアクセスされても良い。
【0079】
ロジック724は、プロセッサ704のうち少なくとも1つによって実行されたときに、UE104、メディアサーバ116、および/または、デバイスプロファイルサーバ144について本明細書で説明されたオペレーションをシステムに実行させても良い。ロジック724は、システムの他のコンポーネント、例えばシステム制御ロジック708に追加的/代替的に配置されても良く、ハードウェア、ソフトウェアまたはファームウェアコンポーネントの何らかの組み合わせを含んでも良い。
【0080】
ネットワークインタフェース720は、1または複数のネットワークを横切って、かつ/または何らかの他の適したデバイスと、通信するべく、システム700に無線インターフェースを提供するためのトランシーバ722を備えても良い。様々な実施形態において、トランシーバ722は、システム700の他のコンポーネントと統合されても良い。例えば、トランシーバ722は、プロセッサ704のプロセッサ、システムメモリ712のメモリ、および、NVM/記憶装置716のNVM/記憶装置を含んでも良い。ネットワークインタフェース720は、何らかの適切なハードウェアおよび/またはファームウェアを含んでも良い。ネットワークインタフェース720は、複数の入力、複数の出力の無線インターフェースを提供するための複数のアンテナを含んでも良い。一実施形態に関するネットワークインタフェース720は、例えば、有線ネットワークアダプタ、無線ネットワークアダプタ、電話モデム、および/または、ワイヤレスモデムを含んでも良い。
【0081】
一実施形態に関し、プロセッサ704のうち少なくとも1つは、システム制御ロジック708の1または複数のコントローラのためのロジックと共にパッケージ化されても良い。一実施形態に関し、プロセッサ704のうち少なくとも1つは、システムインパッケージ(SiP)を形成するべく、システム制御ロジック708の1または複数のコントローラのためのロジックと共に共にパッケージ化されても良い。一実施形態に関し、プロセッサ704のうち少なくとも1つは、システム制御ロジック708の1または複数のコントローラのためのロジックと共に同じダイに統合されても良い。一実施形態に関し、プロセッサ704のうち少なくとも1つは、システムオンチップ(SoC)を形成するべく、システム制御ロジック708の1または複数のコントローラのためのロジックと共に同じダイに統合されても良い。
【0082】
様々な実施形態において、I/Oデバイス732は、ユーザとシステム700の相互作用を有効にするよう設計されたユーザインタフェース、周辺機器コンポーネントとシステム700の相互作用を有効にするよう設計された周辺機器コンポーネントインタフェース、および/または、システム700に関する環境条件および/または位置情報を判断するよう設計されたセンサ、を含んでも良い。
【0083】
様々な実施形態において、ユーザインタフェースは、3−D動画をレンダリングするためのディスプレイ(例えば、液晶ディスプレイ、タッチスクリーンディスプレイ、裸眼立体視ディスプレイなど)、スピーカ、マイクロフォン、1または複数のカメラ(例えばスチルカメラおよび/または動画カメラ)、フラッシュライト(例えば発光ダイオードフラッシュ)、およびキーボードを含むことができるが、これに限定されない。
【0084】
様々な実施形態において、周辺機器コンポーネントインタフェースは、不揮発性メモリポート、ユニバーサルシリアルバス(USB)ポート、オーディオジャック、および電源供給インタフェースを含んでも良いが、これに限定されない。
【0085】
様々な実施形態において、センサは、ジャイロセンサ、加速度計、近接センサ、アンビエントライトセンサ、および測位ユニットを含んでも良いが、これに限定されない。測位ユニットもまた、例えば全地球測位システム(GPS)衛星などの即位ネットワークのコンポーネントと通信するべく、ネットワークインタフェース720の一部であっても良いし、ネットワークインタフェース720と相互作用しても良い。
【0086】
様々な実施形態において、システム700は、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、ネットブック、スマートフォンなどのモバイルコンピューティングデバイスであっても良いが、これに限定されない。様々な実施形態において、システム700は、多かれ少なかれ、コンポーネント、および/または、異なるアーキテクチャを有しても良い。
【0087】
記載する目的で、特定の実施形態が本明細書で図示され、説明されてきたが、同じ目的を達成すべく意図された多種多様な別の、および/または同等な実施形態または実装が、本開示の範囲を逸脱することなく示され、説明される実施形態の代用になり得る。本願は、本明細書で議論された実施形態の任意の適用及び変形を網羅することが意図される。したがって、本明細書で説明された実施形態は請求項と、その同等のものによってのみ限定されることが明確に意図される。
本明細書によれば、以下の各項目に記載の事項もまた開示される。
[項目1]
デバイスに、
無線通信ネットワークのクライアント端末によってサポートされたフレーム圧縮フォーマットのリストを含み、前記クライアント端末のパケット交換方式のストリーミングサービス(PSS)アプリケーションによってサポートされたトランスポートプロトコルによる立体3−D動画のストリーミングに適したストリーミングフレーム圧縮フォーマット属性を、デバイスプロファイルサーバから取得する手順であって、前記トランスポートプロトコルがリアルタイムトランスポートプロトコル(RTP)またはハイパーテキスト転送プロトコル(HTTP)である手順と、
前記ストリーミングフレーム圧縮フォーマット属性に基づいてコンテンツを適応させる手順と、
前記ストリーミングフレーム圧縮フォーマット属性に基づいて、ストリーミングセッションを確立するべく、セッション記述またはメタデータファイルを生成する手順と、
前記適応されたコンテンツと、前記生み出されたセッション記述またはメタデータファイルを前記クライアント端末に送信する手順と
を実行させるためのプログラム。
[項目2]
フレーム圧縮フォーマットの前記リストは、垂直インターリービングフレーム互換性圧縮フォーマット、水平インターリービングフレーム互換性圧縮フォーマット、サイド‐バイ‐サイドフレーム互換性圧縮フォーマット、トップ‐ボトムフレーム互換性圧縮フォーマット、チェッカーボードフレーム互換性圧縮フォーマットまたは一時的な最高解像度パービューインターリービング圧縮フォーマットの指示を含む項目1に記載のプログラム。
[項目3]
前記リストは、サポートされた1または複数のフレーム圧縮フォーマットにそれぞれ対応する、1または複数の整数値のリストを含む項目1または2に記載のプログラム。
[項目4]
1または複数の整数値の前記リストは、
垂直インターリービングフレーム互換性圧縮フォーマットに対応するa1、
水平インターリービングフレーム互換性圧縮フォーマットに対応するa2、
サイド‐バイ‐サイドフレーム互換性圧縮フォーマットに対応するa3、
トップ‐ボトムフレーム互換性圧縮フォーマットに対応するa4、
チェッカーボードフレーム互換性圧縮フォーマットに対応するa0、または
一時的な最高解像度パービューインターリービング圧縮フォーマットに対応するa5を含む項目3に記載のプログラム。
[項目5]
前記トランスポートプロトコルはRTPを含む項目1または2に記載のプログラム。
[項目6]
前記トランスポートプロトコルはHTTPを含む項目1または2に記載のプログラム。
[項目7]
前記セッション記述またはメタデータファイルは、リアルタイムストリーミングプロトコル(RTSP)セッション記述プロトコル(SDP)ファイル、またはハイパーテキストトランスポートプロトコルを利用した動的適応型ストリーミング(DASH)メディアプレゼンテーション記述(MPD)ファイルである項目1または2に記載のプログラム。
[項目8]
コンテンツは、3−D動画コンテンツであり、
前記デバイスに、さらに、
前記ストリーミングフレーム圧縮フォーマット属性に基づいて前記3−D動画コンテンツをコード変換するか、或いは前記3−D動画コンテンツのフォーマットを変換する手順を実行させるための項目1または2に記載のプログラム。
[項目9]
デバイスに、
ユーザ機器によってサポートされた1または複数のフレーム圧縮フォーマットのリストを含み、第3世代パートナーシッププロジェクトファイルフォーマット(3GP)ファイルに含まれ得るとともに前記ユーザ機器のパケット交換方式のストリーミングサービス(PSS)アプリケーションで処理され得る立体3−D動画に適したフレーム圧縮フォーマット属性を、デバイスプロファイルサーバから取得する手順と、
前記フレーム圧縮フォーマット属性に基づいて前記ユーザ機器にコンテンツを送信する手順と、
を実行させるためのプログラム。
[項目10]
フレーム圧縮フォーマットの前記リストは、サイド‐バイ‐サイドフレーム圧縮フォーマットまたはトップ‐ボトムフレーム圧縮フォーマットの指示を含む項目9に記載のプログラム。
[項目11]
前記リストは、1または複数のフレーム圧縮フォーマットにそれぞれ対応する、1または複数の整数値のリストを含む項目9または10に記載のプログラム。
[項目12]
1または複数の整数値の前記リストは、サイド‐バイ‐サイドフレーム圧縮フォーマットに対応するa3、またはトップ‐ボトムフレーム圧縮フォーマットに対応するa4を含む項目11に記載のプログラム。
[項目13]
モバイルデバイスにより無線で受信された立体3次元(3−D)動画コンテンツをデコードし、かつ、前記モバイルデバイスのディスプレイ上でレンダリングするメディアプレーヤと、
前記メディアプレーヤによってサポートされた3−D動画コーデックおよびフォーマットを含むデバイス機能情報を特定し、前記デバイス機能情報を含む1または複数のメッセージをデバイスプロファイルサーバに送信し、立体3−D動画コンテンツについての要求と、前記デバイス機能情報についての何らかの一時的な調整を含む少なくとも1つのメッセージをメディアサーバに送信するコンテンツ管理モジュールと、
を備える装置。
[項目14]
前記デバイス機能情報は、前記メディアプレーヤによってサポートされたフォーマットタイプを含む3−Dフォーマット属性を有する項目13に記載の装置。
[項目15]
前記フォーマットタイプは、フレーム互換性圧縮フォーマットまたは最高解像度パービュー圧縮フォーマットに対応するフレーム圧縮フォーマットタイプか、サイマルキャストフォーマットタイプか、或いは2次元プラス補助フォーマットタイプである項目14に記載の装置。
[項目16]
前記フォーマットタイプは、垂直インターリービング、水平インターリービング、サイド‐バイ‐サイド、トップ‐ボトムまたはチェッカーボードを示す値を有するフレーム互換性圧縮フォーマットたるフレーム圧縮フォーマットタイプである項目15に記載の装置。
[項目17]
前記3−D動画コンテンツは、パケット交換方式のストリーミングサービスを介して前記モバイルデバイスにより無線で受信される項目13から16の何れか一項に記載の装置。
[項目18]
前記コンテンツ管理モジュールは、サービス検出の間に、インターネットプロトコルマルチメディアコアネットワークサブシステムへのセッション開始プロトコル(SIP)サブスクライブメッセージ内で、前記デバイス機能情報を送信する項目13から16の何れか一項に記載の装置。
[項目19]
サービス検出の後に、前記コンテンツ管理モジュールは、サポートされた3−D動画コーデックおよびフォーマットの群をアップデートするべく、SIPシグナリングを使用する項目18に記載の装置。
[項目20]
前記メディアプレーヤはさらに、
前記要求された立体3−D動画コンテンツを含むストリームを受信し、
前記メディアプレーヤはさらに、ハイパーテキストトランスポートプロトコルを利用した動的適応型ストリーミング(DASH)プロトコル、パケット交換方式のストリーミング(PSS)プロトコル、または、インターネットプロトコルマルチメディアサブシステム(IMS)ベースのPSSおよびマルチメディアブロードキャスト/マルチキャスト(MBMS)サービスプロトコルに従って前記ストリームを受信する項目13から16の何れか一項に記載の装置。
[項目21]
前記メディアプレーヤは、さらに前記ストリームに関連するメディアプレゼンテーション記述(MPD)メタデータファイルまたはセッション記述プロトコル(SDP)ファイルを受信する項目20に記載の装置。
[項目22]
項目13から16の何れか一項に記載の装置を備えるモバイルデバイス。
[項目23]
前記メディアプレーヤの制御下で前記3−D動画コンテンツをレンダリングする裸眼立体視ディスプレイをさらに備える項目22に記載のモバイルデバイス。
[項目24]
デバイスプロファイルサーバに、
ユーザ機器に関する3−D機能情報についての要求をメディアサーバから取得する手順と、
フレーム圧縮フォーマットのリストを含み、前記ユーザ機器によってサポートされ、前記ユーザ機器のパケット交換方式のストリーミングサービス(PSS)アプリケーションによってサポートされたトランスポートプロトコルによる立体3−D動画のストリーミングに適したストリーミングフレーム圧縮フォーマット属性を提供する手順と、
を実行させ、
前記トランスポートプロトコルは、リアルタイムトランスポートプロトコル(RTP)またはハイパーテキスト転送プロトコル(HTTP)であるプログラム。
[項目25]
フレーム圧縮フォーマットの前記リストは、
垂直インターリービングフレーム互換性圧縮フォーマット、水平インターリービングフレーム互換性圧縮フォーマット、サイド‐バイ‐サイドフレーム互換性圧縮フォーマット、トップ‐ボトムフレーム互換性圧縮フォーマット、チェッカーボードフレーム互換性圧縮フォーマットまたは一時的な最高解像度パービューインターリービング圧縮フォーマットの指示を含む項目24に記載のプログラム。
[項目26]
前記トランスポートプロトコルはRTPを含む項目24に記載のプログラム。
[項目27]
前記トランスポートプロトコルはHTTPを含む項目24に記載のプログラム。
[項目28]
前記リストは、サポートされた1または複数のフレーム圧縮フォーマットにそれぞれ対応する、1または複数の整数値のリストを含む項目24から27の何れか一項に記載のプログラム。
[項目29]
1または複数の整数値の前記リストは、
垂直インターリービングフレーム互換性圧縮フォーマットに対応するa1、
水平インターリービングフレーム互換性圧縮フォーマットに対応するa2、
サイド‐バイ‐サイドフレーム互換性圧縮フォーマットに対応するa3、
トップ‐ボトムフレーム互換性圧縮フォーマットに対応するa4、
チェッカーボードフレーム互換性圧縮フォーマットに対応するa0、または
一時的な最高解像度パービューインターリービング圧縮フォーマットに対応するa5を含む項目28に記載のプログラム。