(58)【調査した分野】(Int.Cl.,DB名)
前記変換されたメタデータが前記メディアデータの取得に関連した情報を含む場合、前記メディアデータの取得に関連した情報を用いて前記メディアデータを取得するステップと、
前記取得したメディアデータを再生するステップと、を有することを特徴とする請求項7に記載の方法。
【発明を実施するための形態】
【0015】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【0016】
同一の構成要素が異なる図面に記載されていたとしても、当該同一の構成要素は、できるだけ同一の参照符号及び参照番号を付して参照することとする。下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合には、その詳細な説明を省略する。また、後述する用語は、本発明の機能を考慮して定義されたものであって、ユーザー、オペレータの意図、又は慣例によって変化しうる。したがって、上記用語は、本明細書の全体内容に基づいて定義されなければならない。
【0017】
以下に説明する本発明の実施形態は説明の便宜のために互いに分離されているが、相互にコンフリクトを起こさない範囲内で少なくとも2つ以上の実施形態を組み合わせることができる。
【0018】
‘第1’、‘第2’のように序数を含む用語は多様な構成要素を説明するために使用されるが、構成要素は、上記用語により限定されるものではない。これら用語は、一つの構成要素を他の構成要素から区別する目的のみで使われる。例えば、本発明の開示範囲から外れない範囲で、第1の構成要素は第2の構成要素と称することが可能であり、同様に第2の構成要素を第1の構成要素と称することも可能である。‘及び/又は’との用語は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のうちいずれかの項目を含む。
【0019】
本発明で提案する装置及び方法は、ロングタームエボリューション(LTE)移動通信システム、LTE-A(LTE-Advanced)移動通信システム、高速ダウンリンクパケットアクセス(HSDPA)移動通信システム、高速アップリンクパケットアクセス(HSUPA)移動通信システム、3GPP2 (3rd Generation Project Partnership 2)の高速レートパケットデータ(HRPD)移動通信システム、3GPP2の広帯域符号分割多重アクセス(WCDMA(登録商標))移動通信システム、3GPP2の符号分割多重アクセス(CDMA)移動通信システム、IEEE(Institute of Electrical and Electronics Engineers)802.16m通信システム、進化したパケットシステム(EPS)、モバイルインターネットプロトコル(Mobile IP)システムのような多様な通信システムに適用可能である。
図1は、一般的なブロードキャストネットワークサービスのサービスエコシステムを構成するエンティティの一例を示す。
【0020】
図1を参照すると、スタジオ110で作成されたコンテンツは、地上波ブロードキャストネットワーク120を介してブロードキャストプロバイダ130に配信された後、ブロードキャストプロバイダ130によって視聴者のユーザー装置140に直接配信されるか、あるいはMVPD((Multichannel Video Programming Distributor)135を通してケーブル、衛星、またはIPネットワークを介して加入者のユーザー装置145に再送信できる。また、MVPD135は、ケーブルネットワーク125を通じてコンテンツを直接受信し、ケーブル、衛星、またはIPネットワークを介して加入者に配信する。
【0021】
図2は、一般的なセットトップボックス(STB)210とTV220のメディア配信構成を示す図である。
【0022】
図2を参照すると、セットトップボックス210は、MVPDからブロードキャスト信号を受信し、このブロードキャスト信号は、セットトップボックス210の入力処理部(processor)211でデジタル信号に変換されて送信処理部212に送信される。
【0023】
送信処理部212は、入力されたデジタル信号を用いて所定のフォーマットを有するデータユニットを復元し、復元したデータユニットをメディア処理部213に送信する。このとき、データユニットは、MPEG2-TSパケット、IPパケット、MMTP(MPEG media transport Protocol)パケット、またはメディアファイルの形態を有し、このデータユニットは、サービスを構成するビデオ、オーディオデータ、またはメタデータを送信することができる。メディア処理部213は、データユニットからビデオデータを抽出してビデオ処理部214に送信し、オーディオデータを抽出してオーディオ処理部215に送信する。
【0024】
メタデータは、メディア処理部213がビデオ処理部214とオーディオ処理部215の動作を制御するために使用できる。一般的に、ビデオ処理部214とオーディオ処理部215に送信されるビデオデータとオーディオデータは、所定の圧縮アルゴリズムを通じて圧縮されており、ビデオ処理部214は、ビデオデータを非圧縮(uncompressed)形態に回復させてセットトップボックス210の出力処理部216に送信し、オーディオ処理部215は、オーディオデータをそのまま(非圧縮形態または圧縮形態にて)セットトップボックス出力処理部216に送信、すなわちバイパスすることができる。圧縮アルゴリズムは、例えばMPEG-Hで定義されたHEVC(High Efficiency Video Coding)または3D-Audioであり得る。
【0025】
セットトップボックス210の出力処理部216は、ビデオ及びオーディオ信号を、送信媒体を通じてTV220の入力処理部221に送信する。送信媒体は、例えば、HDMI(登録商標)(High Definition Multimedia Interface)ケーブル、RGB(Red-Green-Blue)ケーブル、またはコンポーネントケーブルであり得る。TV220の入力処理部221は、送信媒体を通じて送信されたビデオ及びオーディオ信号をA/Vレンダリング部223に伝送し、A/Vレンダリング部223は、受信したビデオ及びオーディオ信号を用いてブロードキャストサービスを再生する。
【0026】
上記したメディア送信過程において、コンテンツに含まれた各種メタデータ情報が損失するという問題が発生する可能性がある。例えば、HDMI(登録商標)/RGBケーブルなどを介してビデオ及びオーディオ信号がセットトップボックス210からTV220に送信される前に、セットトップボックス210に入力されるメディアデータは、セットトップボックス210のメディア処理部213またはビデオ処理部214及びオーディオ処理部215で処理されつつ、メタデータ情報がすべて消費または除去され、メタデータが含まれない純粋なビデオ及びオーディオ信号のみが非圧縮(uncompressed)された形態でTV220に送信され得る。この場合、TV220で使用可能なメタデータが失われてTV220がメタデータを使用できないという問題が発生する。
【0027】
参考として、メタデータは、例えばTV220が現在再生中であるブロードキャストサービスに関連した付加コンテンツをインターネットネットワークを介して取得できる情報であり得る。このような例でメタデータが失われる場合、TV220は、追加コンテンツを取得することができない。
【0028】
本発明の実施形態による圧縮されたメディアフォーマットの出力ストリームはメタデータを含む。以下に、メタデータが所定フォーマットのオーディオ信号の出力ストリームに含まれる例を説明する。所定のフォーマットは、MPEG-H 3D Audioに基づいて説明されるが、本発明の実施形態が他のメディアフォーマットに適用されることは明らかである。参考として、MPEG-H 3D Audioは、MPEGで標準化している次世代高品質オーディオコーデックである。
【0029】
<MPEG-H 3D Audioの実施形態1>
MPEG-H 3D Audioの第1の実施形態は、コアビットストリーム内の「mpegh3daFrame()」内に存在する拡張エレメントを用いてメタデータをストリーム内に含める方式であって、この方式は、ビットストリームの修正が最も容易であり、必要なビット消費(bit-consumption)も最小化することができる。第1の実施形態による「mpegh3daExtElementConfig()」の例は、下記の<表1>のようである。
【0031】
<表1>において、“usacExtElementType”は、ビットストリームの拡張形式(bit stream extension type)を知らせるための構成要素であって、その具体的な意味は下記の<表2>のように定義できる。
【0033】
<表3>は、“usacExtElementType”による“usacExtElementSegmentData”の例を示す。
【0035】
<表3>のSysMetaFrame()の一例は、下記の<表4>のようなものである。
【0037】
<表4>に含まれた“msgType”は、メタデータが該当ストリームに含まれるか否か及びメタデータがセグメンテーションされるか否かをシグナリングするための構成要素であって、その具体的な値の一例は、下記の<表5>のようになる。
【0039】
さらに、<表4>に含まれた“sysType”は、メタデータの表現タイプ及びメタデータを処理するためのMPEGシステムをシグナリングするための構成要素であって、その具体的な値の一例は下記の<表6>のようになる。
【0041】
<表6>を参照すれば、“sysType”が“SYS_MP2TS”である場合、メタデータは、MPEG2-TSパケットの形態で構成され、“sysType”が“SYS_MMT”である場合に、メタデータは、MMTPパケットの形態で構成されることがわかる。
【0042】
他の実施形態において、MPEG2-TSパケット及びMMTPパケットは、シグナリングメッセージを送信するためのパケット構成を有することができる。また、“sysType”が“SYS_DASH”である場合、メタデータは、DASH(Dynamic Adaptive Streaming over HTTP)MPD(Media Presentation Description)のようなxml形態の文書であり、あるいは他の実施形態でTVがxml文書を取得するためのURL(Uniform Resource Locator)情報であり得る。
【0043】
<表6>を使用する実施形態では、パケットが送信されると仮定したが、実際の実現においては、次のような多様なタイプのメタデータが送信され得る。
【0044】
- MMTシグナリングメッセージ
- MMTシグナリングテーブル
- MPEG2セクション
- 追加オーディオデータ
- 追加サービスの取得のためのブートストラップ情報(例えば、URL)
- メタデータが送信されるオーディオビットストリームの識別子またはオーディオを含むサービスの識別子(例えば、Asset_id)
あるいは、SysMetaFrame()を通じて一般的なファイルフォーマットのデータを送信し、sysTypeはSYS_FILEの値を有することができる。さらに、ファイルフォーマットのデータは、SysMetaFrame()に属するタイプでなく、別途のフレームで構成され送信されることに留意すべきである。さらに、メタデータの形態は、<表6>のsysTypeを拡張して、一般的なIPパケットまたはHTML(HyperText Markup Language)形態の文書などを含んでいてもよい。
【0045】
<MPEG-H 3D Audioの実施形態2>
MPEG-H 3D Audioの第2の実施形態では、<MPEG-H 3D Audioの実施形態1>で説明された実施形態より上位レベルである「mpegh3daFrame()」にメタデータを追加する方式である。第2の実施形態は、オーディオコーデックの特性によるフィールドである“usacElementType”フィールドにメタデータを追加する方式であって、“usacElementType”フィールドは、MPEG-H 3D AudioでなくUSAC(Unified Speech and Audio Coding)に定義されている。本発明の第2の実施形態による「mpegh3daFrame()」の例は、下記の<表7>のようになる。
【0047】
上記の<表7>の「mpegh3daSysMetaElement()」は、<表4>の「SysMetaFrame()」と類似した形態で構成され、ここで詳細な文法は省略する。
【0048】
<MPEG-H 3D Audioの実施形態3>
MPEG-H 3D Audioの第3の実施形態において、メタデータは、「mpegh3daConfigExtension()」に含まれる。第3の実施形態は、主に構成ファイルに対する修正がある場合に使用され、一つのmp4ファイルに一つの参照が必要である。本発明の第3の実施形態による「mpegh3daConfigExtension()」の一例は、下記の<表8>のようである。
【0050】
<表8>の“usacConfigExtType”は、下記の<表9>のように定義できる。
【0052】
<表8>のsysConfig()は、上記の<表4>のSysMetaFrame()に類似した形態で構成され、ここで詳細な文法は省略する。
【0053】
以下に、マルチメディアコンテンツに含まれるメタデータをユーザー装置に送信する実施形態について説明する。
【0054】
本発明の実施形態によるメタデータは、ケーブル、衛星、IPのようなMVPD送信ネットワークとセットトップボックスを通してユーザー装置(またはメディア再生装置)まで送信され、ユーザー装置で使用可能なすべてのデータを含む。ユーザー装置は、例えばTVであり、以下、TVはユーザー装置の代表例として説明される。
【0055】
本発明において、メタデータは、次の情報を含むことができる。
【0056】
一例として、メタデータは、メタデータを含むオーディオビットストリームが含まれたサービスに対する識別子を含むことができる。このとき、識別子は、オーディオビットストリームで圧縮されたオーディオサービスを識別するためのものであり、他の実施形態では、オーディオサービスに関連したビデオサービスまたはオーディオサービスとビデオサービスすべてを含むマルチメディアサービスを識別するためのものであってもよい。
【0057】
他の例では、メタデータは、TVにおいて、セットトップボックスから送信されないビデオ/オーディオデータを他の送信媒体を介して取得して再生するための情報を含むことができる。すなわち、メタデータは、メディア取得に関連した情報を含むことができる。このとき、他の送信媒体は、有線インターネット又はWi-Fiネットワーク、3G/4G/5Gモバイルネットワーク、及びUSB(Universal Serial Bus)のような格納媒体などを含むことができる。さらに、MPEGなどの団体で定義されたMPEG2-TS、MMT(MPEG Media Transport)、DASH(Dynamic Adaptive Streaming over HTTP)のような標準技術、またはHLS(HTTP Live Streaming)のような技術を、ビデオ/オーディオデータを取得する機構として使用できる。このとき、メタデータのタイプは、上記したビデオ/オーディオデータを取得するメカニズムにおいて定義されるパケットのタイプに従ってもよく、あるいはシグナリングメッセージのメタデータの表現タイプに従ってもよい。
【0058】
もう一つの実施形態において、メタデータは、TVに適用されるファームウェア(firmware)、各種ソフトウェア、または一般的なファイルの送信に関連した情報を含むことができる。メタデータは、一般的なビットストリーム形態、または標準団体で定義されたファイルフォーマットまたはパケット形態で構成され得る。パケットは、IPパケット、UDPパケット、RDPパケットのように現在産業界で使われるプロトコルで定義された方式を使用できる。メタデータは、メタデータが送信されるアプリケーションに関する情報をさらに含むことができる。
【0059】
一方、本発明の実施形態では、メタデータを生成する主体は、
図1に示したエンティティのうち少なくとも一つであり得る。
【0060】
一実施形態において、メタデータは、スタジオ110によるコンテンツ作成過程で生成され圧縮されたオーディオビットストリームに含まれ得る。他の実施形態において、スタジオ110で生成されたメタデータは、ブロードキャストネットワーク120及びケーブルネットワーク125などで新たに生成されたメタデータに置き換えられてもよい。もう一つの実施形態では、メタデータは、ブロードキャストプロバイダ130またはMVPD135で新たに生成されるか、あるいは修正される。また、メタデータは、加入者のTV145に接続されたセットトップボックスにおいて新たに生成または修正されてもよい。
【0061】
図2を参照すると、本発明の実施形態によるセットトップボックスは、次のように構成できる。
【0062】
オーディオ処理部215は、オーディオビットストリームを受信し、受信したオーディオビットストリームを非圧縮処理することなく、そのままセットトップボックス出力装置216に伝送、すなわちバイパスする。したがって、オーディオビットストリームに含まれたメタデータは、TVの入力処理部221を通してTV220に送信される。
【0063】
本発明の実施形態によるTV内のオーディオ処理部222は、オーディオビットストリームを通じて送信されたメタデータを処理するためのオーディオメタデータ処理部(図示せず)を含む。上記したオーディオメタデータの実施形態によると、オーディオビットストリームに含まれたオーディオメタデータの種類に従ってオーディオメタデータ処理部の動作が判定される。
【0064】
図3は、本発明の実施形態によるTVのオーディオメタデータ処理部の構成例を示す。
【0065】
まず、メタデータがメディアデータの再生に必要な情報とメディアデータの取得に関連した情報を含む場合の動作について説明する。
【0066】
図3を参照すると、オーディオメタデータ処理部300は、
図2のオーディオ処理部220からメタデータを受信する。メタデータ抽出部310は、メタデータを抽出するための処理プロセスを実行できる。抽出されたメタデータは、メタデータ分析部(parser)320に送信され、メタデータ分析部320は、メタデータをメタデータ処理部300の動作に必要な情報のタイプに変換する。
【0067】
メタデータ分析部320で分析されたメタデータのうち、メディアの再生に関連した情報はメディア表現処理部330に送信され、メディアデータの取得に関連した情報(例えば、メディアデータが格納されたURL)はメディア送信処理部340に伝送される。メディア表現処理部330は、メディア再生に必要な情報を抽出及び加工してメディア再生部380に伝送する。メディア送信処理部340は、メディアデータの取得に関連した情報(例えば、URL)を用いて別の送信インターフェース及びプロトコル350,360を通して、メディアサーバ(図示せず)からメディアデータを取得し、取得したメディアデータをデコーダ370に送信する。
図3において、別のプロトコルの例は、MMTP350とHTTP360として示す。メディア再生部380は、メディア表現処理部330から受信した情報を用いて復号化されたメディアデータを再生する。
【0068】
このようにメタデータは、メディアの再生に必要な情報の全部を含まないことがある。この場合、メディア送信処理部340は、メディアデータの取得に必要な情報を用いてメディア再生に必要な追加情報を別のサーバから送信インターフェース及びプロトコル350,360を用いて取得し、取得したメディアの再生に必要な追加情報をメディア表現処理部330に送信する。
【0069】
参考として、上記した実施形態において、オーディオ処理部222の出力は、MMTシグナリングメッセージを含むMMTPパケットの形態であり得る。この場合、メタデータ抽出部310は、MMTPパケットからMMTシグナリングメッセージを抽出してメタデータ分析部320に送信する。
【0070】
メタデータがコンテンツの識別子を含む場合、オーディオメタデータ処理部330は、識別子により識別される追加サービスのリストを確認し、ユーザーの選択又は所定のポリシーによって追加サービスのメディアデータ及び再生に必要な情報を別途の送信媒体を通じて取得し、これをデコーダ370及びメディア再生部380に伝送できる。
【0071】
一方、メタデータがDASH MPD(Media Presentation Description)の形態を有する場合、オーディオメタデータ処理部330は、別途のDASH処理部(図示せず)にてDASH MPDを送信し、メタデータがDASH MPDのURLである場合には、URLを用いてDASH MPDを取得してDASH処理部に送信する。
【0072】
他の実施形態において、メタデータが特定アプリケーションで使用されるデータを含む場合、メタデータ処理部300は、オーディオ処理部222から送信されたメタデータをアプリケーションで使用されるインターフェースに合わせて送信できる。
【0073】
参考として、別の送信インターフェースは、イーサネット(登録商標)、Wi-Fi、3G/4G/5Gモバイルネットワーク、及びUSBのような格納媒体などを含むことができる。上記したように、送信プロトコルは、MMTP350及びHTTP360などを含むことができる。
【0074】
一方、上記した実施形態において、オーディオメタデータ処理部300は、メタデータのフォーマットによって各々のフォーマットを処理するために別のユニットで構成されてもよく、あるいは複数のフォーマットを一つのユニットで処理できるメタデータ分析部320のような構成要素を用いて一つのユニットで構成されてもよい。
【0075】
さらに、オーディオメタデータ処理部300の構成要素のうち、全体または一部はオーディオ処理部222に含まれ、オーディオ処理部222はオーディオ信号を復号化するオーディオデコーダ(図示せず)を含むことができる。
【0076】
以下、
図1に示したMVPD135の構成について説明する。
【0077】
図4は、本発明の実施形態によるMVPDの構成例を示す。
【0078】
図4を参照すると、MVPD400は、
図1のケーブルネットワーク125またはブロードキャストプロバイダ130からブロードキャストサービスデータを受信する。受信されたブロードキャストサービスデータは、デマルチプレクサ410でビデオ信号、オーディオ信号、及びシグナリング情報にデマルチプレクシングされ、各々ビデオトランスコーダ430、オーディオトランスコーダ440、及びシグナリング変換部450に配信される。このとき、ビデオ信号及びオーディオ信号を構成するビットストリームは、ケーブルネットワーク125、ブロードキャストプロバイダ130、またはスタジオ110により挿入されたメタデータを含むことができる。
【0079】
トランスコーダ430,440は、受信したビデオデータの解像度またはオーディオデータのビットレートを変換するなどビットストリームを適切に変換する動作を実行できる。一方、ビデオトランスコーダ430、オーディオトランスコーダ440、及びシグナリング変換部450の出力は、マルチプレクサ460を通じてユーザー装置145に送信される。
【0080】
本発明の実施形態によるMVPD400は、メタデータ生成部420を含む。メタデータ生成部420は、加入者のユーザー装置、例えばTVに伝送されるメタデータと加入者のセットトップボックスに送信されるメタデータを生成する。加入者のTVに配信されるメタデータは、ビデオトランスコーダ430またはオーディオトランスコーダ440に送信され、加入者のセットトップボックスに送信されるメタデータはシグナリング変換部450に送信される。
【0081】
ビデオトランスコーダ430及びオーディオトランスコーダ440は、ビットストリームを解析し、受信したビットストリームに含まれたメタデータを削除したり、受信したビットストリームに含まれたメタデータをメタデータ生成部420から送信されたメタデータに取り換えたり、受信したビットストリームに含まれたメタデータを維持したままメタデータ生成部420から受信したメタデータを追加したりして、新たなビットストリームを生成することができる。
【0082】
MVPD400の入/出力インターフェースがメディアデータの種類による別のメカニズムを有する場合、
図4でMVPD400は、デマルチプレクサ410及びマルチプレクサ460を含まないことがある。
【0083】
メタデータ生成部420は、MVPD自体のサービス構成に関連した情報、個人用広告、及び加入者のTVまたはセットトップボックスに送信しようとする情報を含むメタデータを生成し、あるいは別の契約関係によって第三者が加入者のTVまたはセットトップボックスに伝送しようとするメタデータを第三者から受信し、受信したメタデータを加入者のTVまたはセットトップボックスに送信することができる。
【0084】
他の実施形態において、MVPD400が加入者のセットトップボックス及びTVに個人用メタデータを送信できる送信媒体を有する場合、メタデータ生成部420で生成されたメタデータは、その用途に従って加入者のセットトップボックス及びTVに直ちに送信できる。このとき、本発明の実施形態によるTVのオーディオメタデータ処理部300は、オーディオ処理部222でなく別のインターフェースを用いてメタデータを取得し処理することができる。
【0085】
上記したMVPD400の動作は、MVPD400だけでなくブロードキャストプロバイダ130がブロードキャストネットワーク120から受信したブロードキャストサービスをMVPD135に送信する場合、及びブロードキャストサービスデータを送信するいかなるエンティティにも同様に適用され得る。
【0086】
図5は、本発明の実施形態によるセットトップボックス500の構成の一例を示す。
【0087】
図5を参照すれば、セットトップボックス500は、MVPD400からブロードキャスト信号を受信し、ブロードキャスト信号は、セットトップボックス500の入力処理部510でデジタル信号に変換されて送信処理部520に送信される。
【0088】
送信処理部530は、入力されたデジタル信号を用いて所定のフォーマットを有するデータユニットを復元し、復元したデータユニットをメディア処理部530に送信する。データユニットは、MPEG2-TSパケット、IPパケット、MMTPパケット、またはメディアファイルの形態を有し、サービスを構成するビデオデータ、オーディオデータ、またはメタデータのうち少なくとも一つを含むことができる。
【0089】
メディア処理部530は、受信したデータユニットからビデオデータを抽出してビデオ処理部550に送信し、オーディオデータを抽出してオーディオ処理部560に送信する。メタデータは、ビデオ処理部550、オーディオ処理部560の動作を制御するためにメディア処理部530に使用され、TVに送信されるメタデータはメタデータ生成部540に送信され得る。
【0090】
メタデータ生成部540は、送信処理部520、メディア処理部530、または別の入力インターフェースのうち少なくとも一つからメタデータを取得し、TVに送信されるメタデータをオーディオ処理部560に送信する。
【0091】
他の実施形態において、セットトップボックス500がWi-Fiを通してTVとデータを交換する場合、メタデータ生成部420で生成されたメタデータは、その用途に応じて加入者のTVに直ちに送信され得る。このとき、TV220のオーディオメタデータ処理部300は、オーディオ処理部222でなく、別のインターフェースを用いてメタデータを取得して処理できる。
【0092】
一方、オーディオ処理部560は、受信したビットストリームを解析し、受信したビットストリームに含まれたメタデータを削除し、受信したビットストリームに含まれたメタデータをメタデータ生成部540から受信したメタデータに取り換え、あるいは受信したビットストリームに含まれたメタデータを維持したままメタデータ生成部540から配信されたメタデータを追加して新たなビットストリームを生成することができる。
【0093】
図5に示されていないが、本発明の実施形態によるビデオ処理部550は、オーディオ処理部560と同様にビットストリームを解析し、既存のビットストリームに含まれたメタデータを削除したり、既存のビットストリームに含まれたメタデータをメタデータ生成部540から受信されたメタデータに取り換えたり、既存のビットストリームに含まれたメタデータを維持したままメタデータ生成部540から受信されたメタデータを追加したりして、新たなビットストリームを生成できる。
【0094】
以下、本発明の実施形態によってセットトップボックスでメタデータを生成または処理する方式について説明する。
【0095】
図6は、本発明の実施形態によるセットトップボックス内部に位置したメタデータ生成部600の構成の一例を示す。
【0096】
サービスプロバイダ(SP)は、自分の所有物であるセットトップボックスの存在とその機能/仕様/MMTサポートの有無に関して正確な情報を知っており、コンテンツプロバイダ(CP)は、SPとの契約(contract)有無に従ってセットトップボックスの情報を正確に知るか、あるいは知らないこともある。しかしながら、2つのケースの両方において、サービスプロバイダまたはコンテンツプロバイダは、ユーザーが購入し設置したTVがMMTをサポートする装置であるか否かが不明である場合がある。
【0097】
このとき、オーディオメタデータの送信経路上に位置したセットトップボックスとTVが、すべての特定フォーマット、例えばMMT(又はDASH)のパケットをサポートする装置であり、セットトップボックスとTVのうちいずれか一つの装置が特定フォーマットのパケットを処理するための動作を実行すべきであるか不明である。以下の説明では、特定フォーマットはMMTであると仮定して説明する。
【0098】
コンテンツプロバイダ(CP)によりオーディオビットストリームに挿入されるメタデータをセットトップボックスで処理する必要がある場合、メタデータを含むオーディオビットストリームがそのままTVに送信される場合に問題が発生する可能性がある。このために、セットトップボックスとTVがMMTをサポートする装置であるか否か、すなわちセットトップボックスとTVの能力(capability)によって、セットトップボックスは、オーディオメタデータ情報を追加、変更、代替、及び削除のうち少なくとも一つを実行して、TVがメタデータに関連して意図しない誤動作を実行しないようにする必要がある。
【0099】
図6を参照すると、メタデータ生成部600は、サーバ情報受信部610、送信処理部情報受信部620、メディア処理部情報受信部630、TV情報受信部640から放送メディアコンテンツを受信するクライアント装置(例えば、TV)タイプ及び/または性能に関連した情報を受信する。受信した情報は、クライアントプロトコル検出部650に送信され、クライアントプロトコル検出部650は、上記情報に基づいて現在のセットトップボックス、またはセットトップボックスに接続されたTVがMMTフォーマットをサポートする装置であるか、あるいはDASHフォーマットをサポートする装置であるかを判定する。クライアントプロトコル検出部650の具体的な動作は、以下の通りである。
【0100】
クライアントプロトコル検出部650は、送信処理部情報受信部620から送信されたパケットのタイプ(例えば、TS、MMT、DASH等)から現在のセットトップボックスがMMTフォーマットをサポートする装置であるか否かを判定するために使用される情報を抽出できる。
【0101】
クライアントプロトコル検出部650は、メディア処理部情報受信部630から送信された情報を受信した後、上記情報から復元されたメディアタイプ(例えば、MMT PAメッセージ、DASH MPD)の情報を用いて現在のセットトップボックスがMMTフォーマットをサポートする装置であるか否かを判定するために使用される情報を取得できる。
【0102】
クライアントプロトコル検出部650は、サーバ情報受信部610、送信処理部情報受信部620、及びメディア処理部情報受信部630から送信されたパケットから抽出した情報から、現在のセットトップボックスがMMTフォーマットをサポートする装置であるか否かを決定することが難しい場合、プロバイダのサーバにフォーマットの判定に関する情報のクエリ(query)を行い、その応答を受信して現在のセットトップボックスがMMTをサポートする装置であるか否かを判定するために使用される情報を取得できる。
【0103】
クライアントプロトコル検出部650は、TV情報受信部640から送信された情報から、現在のセットトップボックスに接続されたTVがMMTフォーマットをサポートする装置であるか否かを判定するために使用される情報を取得できる。このようなケースは、例えば、セットトップボックス600がドングル(Dongle)またはWi-FiにてTVに接続される場合である。
【0104】
クライアントプロトコル検出部650は、セットトップボックス情報受信部645から現在のセットトップボックス自体が保有したデバイスAPI(Application Programming Interface)を通じて、現在セットトップボックスがMMTフォーマットをサポートする装置であるか否かを判定するために使用される情報を取得できる。
【0105】
セットトップボックス600のエンティティ610〜645からセットトップボックス600に接続されたTVがサポートするプロトコルタイプを判定するために必要な情報を受信した後、クライアントプロトコル検出部650は、現在のセットトップボックスまたは現在のセットトップボックスに接続されたTVがMMT(またはDASH)フォーマットをサポートする端末であるか否かを判定する。現在のセットトップボックス及びTVがMMT(またはDASH)をサポートする装置であるか否かに従って、オーディオビットストリームにシステムに関連したメタデータがそのまま挿入されてTVに送信されないように、メタデータを削除または修正する動作が実行できる。
【0106】
以下、セットトップボックスとセットトップボックスに接続されたTVがMMTフォーマットをサポートするか否かに従って、可能なケースでセットトップボックスの動作について説明する。
【0107】
<ケース1>
現在セットトップボックスとセットトップボックスに接続されたTVが両方ともMMTをサポートする装置である場合、不要なシステムメタデータがオーディオビットストリームに挿入されてセットトップボックスを通してそのままTVに送信される場合、TVが誤作動する可能性がある。この場合、セットトップボックスのクライアントプロトコル検出部650は、オーディオビットストリームに含まれたメタデータをメタデータ生成部660を通じてセットトップボックスのオーディオ処理部222に送信し、オーディオ処理部222は、メタデータを削除してTVに不必要なメタデータが伝送されないようにする。
【0108】
<ケース2>
現在のセットトップボックスがMMTをサポートする装置であり、セットトップボックスに接続されたTVがMMTをサポートしない装置である場合、TVは、単純なディスプレイとしての役割のみを実行するようになる。したがって、メタデータがTVに配信されてもTVには特別な問題が発生しない。したがって、セットトップボックスは、オーディオビットストリーム内のメタデータを削除してもよく、削除しなくてもよい。
【0109】
<ケース3>
現在のセットトップボックスがMMTをサポートしない装置であり、セットトップボックスに接続されたTVがMMTをサポートする装置である場合、TVのみがMMTフォーマットを処理する動作を実行できるので、セットトップボックスは、オーディオビットストリーム内のメタデータをそのままTVに伝送、すなわち、バイパスする。
【0110】
<ケース4>
現在のセットトップボックスとセットトップボックスに接続されたTVが両方ともMMTをサポートしない装置である場合、MMTフォーマットを処理できる装置はない。したがって、セットトップボックスは、メタデータに対して何らの動作を実行する必要がない。
【0111】
図7は、本発明の実施形態によるTVに含まれる
図3に示したメタデータ分析部300の構成の一例を示す。
【0112】
メタデータ分析部300は、システムメタデータ検出部710、システムメタデータ管理部720、システムデモン部730、及びMMT処理部740を含む。
【0113】
システムメタデータ検出部710は、TVのメタデータ抽出部310から送信されるシステム情報から、TVに含まれる(図示せず)構成要素から受信される情報に基づき、TVがMMT(またはDASH)フォーマットをサポートするか否かを判定する。図示されない構成要素は、
図6で説明した構成要素610〜645に対応する。システムメタデータ管理部720は、情報に基づいてTVが受信したメタデータをMMT(またはDASH)を用いて処理するか否かを判定できる。
【0114】
以下、セットトップボックスとセットトップボックスに接続したTVがMMTフォーマットをサポートするか否かに従って可能なケースでTVの動作について説明する。
【0115】
<ケース1>
現在のセットトップボックスとセットトップボックスに接続されたTVが両方ともにMMTをサポートする装置であるとき、不要なシステムメタデータがオーディオビットストリームに挿入されてセットトップボックスを介してTVに配信される場合、TVが誤作動することがある。この場合、TVのシステムメタデータ管理部720は、オーディオビットストリームに含まれたメタデータを受信してもメタデータを処理しない。
【0116】
<ケース2>
現在のセットトップボックスがMMTをサポートする装置であり、セットトップボックスに接続されたTVがMMTをサポートしない装置である場合、TVは、単純なディスプレイとしての役割のみを果たす。したがって、TVは、特別な動作を実行しなくても関係ない。
【0117】
<ケース3>
現在のセットトップボックスがMMTをサポートしない装置であり、セットトップボックスに接続されたTVがMMTをサポートする装置である場合、MMTフォーマットを処理する動作はTVのみができるので、TVは、受信されたオーディオビットストリーム内のメタデータに対する適切な動作を実行する。
【0118】
<ケース4>
現在のセットトップボックスとセットトップボックスに接続されたTVが両方ともにMMTをサポートしない装置である場合、MMTフォーマットを処理できる装置がない。したがって、TVは、メタデータに対して特別な動作を実行する必要がない。
【0119】
以下、本発明の実施形態によるセットトップボックス及びTVの主動作について説明する。
【0120】
図8は、本発明の実施形態によるセットトップボックスのメタデータに関連した動作を示す。
【0121】
セットトップボックスは、コンテンツデータを受信する。コンテンツデータは、メタデータを含むオーディオビットストリーム及びビデオビットストリームを含む(801)。
【0122】
セットトップボックスは、セットトップボックスとメディア再生装置がMMTフォーマットをサポートするか否かを判定する(803)。これは、
図6で説明したように実行できる。
【0123】
セットトップボックスは、セットトップボックスとメディア再生装置のうち少なくとも一つがMMTフォーマットをサポートするか否かに従ってメタデータを処理する。すなわち、メタデータを含むオーディオビットストリームをセットトップボックスに接続されたTVにバイパスするか、あるいは他の動作を実行する(805)。この動作は、
図6にて説明したとおりである。一方、セットトップボックスは、上記した
図6のようにメタデータを追加、削除、置換、及び変更することもできる。
【0124】
図9は、本発明の実施形態によるメディア再生装置(例えば、TV)のメタデータに関連した動作を示す。
【0125】
TVは、セットトップボックスがバイパスするメタデータを含むオーディオビットストリームを受信すると仮定する(901)。TVは、オーディオビットストリームからメタデータを抽出し(903)、メタデータをメタデータの処理に必要な形式に変換する(905)。
【0126】
以後、メタデータに含まれた情報によって後続動作を実行する(907)。これに関しては、
図3で説明した。具体的に、メタデータがメディアデータの取得に関連した情報とメディアデータの再生に必要な情報を含む場合、メディアデータは、メディアデータの取得に関連した情報(例えば、URL)を用いて別の送信インターフェース及びプロトコル350,360を通じてメディアサーバから取得され、取得されたメディアデータとメディアデータの再生に関する情報を用いて再生される。
【0127】
上記した本発明の特定態様は、コンピュータ読み取り可能な記録媒体に対するコンピュータ読み取り可能なコードとして実施することができる。このコンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータを格納するデータストレージデバイスとなり得る。コンピュータ読み取り可能な記録媒体の例としては、ROM(Read-Only Memory)、RAM(Random-Access Memory)、CD-ROM、磁気テープ、フロッピーディスク、光データ格納装置、及び搬送波(インターネットを介するデータ伝送のような)を含むことができる。また、このコンピュータ読み取り可能な記録媒体は、ネットワーク接続されたコンピュータシステムにわたって分散されることによって、コンピュータ読み取り可能なコードは分散形態で格納及び実行される。さらに、本発明を達成するための機能(function)プログラム、コード、及びコードセグメントは、当該技術分野における熟練されたプログラマにとっては容易に理解できる。
【0128】
本発明の実施形態による装置及び方法は、ハードウェア、ソフトウェア、又は適切なハードウェア及びソフトウェアの組み合わせの形態で実現可能であるとことがわかる。このようなソフトウェアは、削除可能あるいは再書き込み可能の有無に関係なく、ROMなどの格納装置のような揮発性又は非揮発性格納装置、または例えば、RAM(Random Access Memory)、メモリチップ、装置または集積回路のようなメモリ、あるいは例えばCD、DVD、磁気ディスク又は磁気テープのような光学的又は磁気的に記録可能であり、かつ機械(例えば、コンピュータ)で読み取り可能な格納媒体に格納することができる。本発明の一実施形態による方法は、制御部及びメモリを含むコンピュータまたは携帯端末により実現され、メモリは、本発明の実施形態を実現する指示を含むプログラムまたはプログラムを格納するのに適合した機械読み取り可能な格納媒体の一例であることがわかる。
【0129】
したがって、本発明は、本請求項に記載された装置または方法を実現するためのコードを含むプログラム、及びこのようなプログラムを格納する機械(例えば、コンピュータ)読み取り可能な格納媒体を含む。このプログラムは、有線または無線接続を通じて伝送される通信信号のような任意の媒体を介して電気的に伝送でき、これに均等なものと共に本発明に含まれる。
【0130】
さらに、本発明の一実施形態による装置は、有線または無線で接続されるプログラム提供装置でからプログラムを受信し格納することができる。プログラム提供装置は、プログラム処理装置が予め設定されたコンテンツ保護方法を実行するようにする指示を含むプログラム、コンテンツ保護方法に必要な情報などを格納するためのメモリ、グラフィック処理装置との有線または無線通信を実行するための通信部、及びグラフィック処理装置の要請または自動で該当プログラムを送受信装置に送信する制御部を含むことができる。