(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
1.第1の実施の形態
図面を参照しながら、本実施の形態に係るコンテンツ配信システムについて説明する。本実施の形態に係るコンテンツ配信システムは、コンテンツを配信する配信サーバと、配信されたコンテンツを再生する再生装置からなるものである。
【0011】
1.1 立体視について
先ず始めに、立体視の原理について簡単に述べる。立体視の実現法としては、ホログラフィ技術等の光線再生方式を用いる方法と、視差画像を用いる方式とがある。
【0012】
まず、1つ目のホログラフィ技術の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピューター、及び1mmの間に数千本の線を引けるだけの解像度を持った表示装置が必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。
【0013】
次に、2つ目の視差画像を用いる方式について説明する。一般に右目と、左目は、その位置の差に起因して、右目から見える像と左目から見える像には見え方に若干の差がある。この差を利用して人間は目に見える像を立体として認識できるのである。視差画像を用いて立体表示をする場合には、人間の視差を利用し平面の画像があたかも立体に見えるようにしている。
【0014】
この方式のメリットは、高々右目用と左目用の2つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、継時分離方式を始めとするいくつかの技術が実用化されている。
【0015】
継時分離方式とは、左目用映像及び右目用映像を時間軸方向で交互に表示させ、目の残像反応により左右のシーンを脳内で重ね合わさせて、立体映像として認識させる方法である。
【0016】
本実施の形態における再生装置は、3D映像の視聴が可能なテレビであり、
図1(a)は、当該再生装置の、使用行為についての形態を示す図である。本図に示すように、デジタルテレビ100と3D眼鏡200とから構成され、ユーザによる使用が可能となる。
【0017】
デジタルテレビ100は、2D映像及び3D映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。
【0018】
本実施形態のデジタルテレビ100は、3D眼鏡200をユーザが着用することで立体視を実現するものである。3D眼鏡200は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。
図1(b)は、左目用映像の表示時を示す。画面上に左目用の映像が表示されている瞬間において、前述の3D眼鏡200は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。同図(c)は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
【0019】
以上が、再生装置の使用形態についての説明である。
【0020】
ここでは、立体視に使う視差画像を表示する方法を説明する。
【0021】
視差画像方式は、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャだけが入るようにして立体視を行う方法である。
図2は、ユーザの顔を左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。右目及び左目の透光、遮光から繰り返されば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
【0022】
視差画像のうち、左目に入る画像を左目画像(L画像)といい、右目に入る画像を右目画像(R画像)という。そして、各々のピクチャが、L画像になっている動画像をレフトビュービデオといい、各々のピクチャがR画像になっている動画像をライトビュービデオという。
【0023】
レフトビュービデオとライトビュービデオを合成して圧縮符号化する3D方式には、フレーム互換方式とサービス互換方式がある。
【0024】
まず1つ目のフレーム互換方式は、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。一例としては、
図3に示すような、Side−by−Side方式がある。Side−by−Side方式では、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ水平方向に1/2に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方再生時は、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に2倍に伸長されることによって、レフトビュービデオとライトビュービデオの対応する各ピクチャが得られる。得られたレフトビュービデオのピクチャ(L画像)とライトビュービデオのピクチャ(R画像)を交互に表示することによって、
図2に示すような立体視画像を得ることができる。フレーム互換方式にはSide−by−Side方式の他に、左右画像を上下に並べるTop and Bottom方式や、ピクチャ内の1ライン毎に左右画像を交互に配置するLine Alternative方式などがある。
【0025】
次に、2つ目のサービス互換方式について説明する。サービス互換方式では、レフトビュービデオ、ライトビュービデオをデジタル化し、圧縮符号化することにより得られるビデオストリームである、レフトビュービデオストリームとライトビュービデオストリームを用いる。
【0026】
図4は、サービス互換方式による立体視のためのレフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図である。
【0027】
本図の第2段目は、レフトビュービデオストリームの内部構成を示す。このストリームには、ピクチャデータI1、P2、Br3、Br4、P5、Br6、Br7、P9というピクチャデータが含まれている。これらのピクチャデータは、Decode Time Stamp(DTS)に従いデコードされる。第1段目は、左目画像を示す。そうしてデコードされたピクチャデータI1、P2、Br3、Br4、P5、Br6、Br7、P9をPresentation Time Stamp(PTS)に従い、I1、Br3、Br4、P2、Br6、Br7、P5の順序で再生することで、左目画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する1つの符号化の単位である。また、既に処理済の1枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと、既に処理済みの2枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャとそれぞれ呼ばれる。
【0028】
第4段目は、ライトビュービデオストリームの内部構成を示す。このライトビュービデオストリームには、P1、P2、B3、B4、P5、B6、B7、P8というピクチャデータが含まれている。これらのピクチャデータは、DTSに従いデコードされる。第3段目は、右目画像を示す。そうしてデコードされたピクチャデータP1、P2、B3、B4、P5、B6、B7、P8をPTSに従い、P1、B3、B4、P2、B6、B7、P5の順序で再生することで、右目画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じPTSが付された左目画像と右目画像とのペアうち一方の表示を、PTSの間隔の半分の時間(以下、「3D表示ディレイ」という)分だけ遅延して表示する。
【0029】
第5段目は、3D眼鏡200の状態をどのように変化させるかを示す。この第5段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。
【0030】
これらのレフトビュービデオストリーム、ライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したピクチャ間予測符号化によって圧縮されている。ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。
【0031】
例えば、ライトビュービデオストリームの先頭Pピクチャは、レフトビュービデオストリームのIピクチャを参照し、ライトビュービデオストリームのBピクチャは、レフトビュービデオストリームのBrピクチャを参照し、ライトビュービデオストリームの二つ目のPピクチャは、レフトビュービデオストリームのPピクチャを参照している。
【0032】
そして、圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号化が可能になるものを“ベースビュービデオストリーム”という。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、“ディペンデントビューストリーム”という。なおベースビュービデオストリームとディペンデントビューストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばMPEG2−TSなどの同一のストリームに多重化されてもよい。
【0033】
1.2 コンテンツ配信システム1の概要
コンテンツ配信システム1は、
図5に示すように、デジタルテレビ100と配信サーバ300とから構成されている。
【0034】
ここで、デジタルテレビ100と配信サーバ300とは、インターネット等のようなネットワーク2を介して接続されており、ネットワーク2を介して、番組コンテンツ等のデータの送受信を行う。なお、以下において、番組コンテンツを、単にコンテンツという。
【0035】
また、デジタルテレビ100は、例えばプラズマテレビであり、3D映像を含むコンテンツを視聴する場合には3D眼鏡200を用いて視聴する。
【0036】
配信サーバ300は、H.264|MPEG4/AVC規格に基づいてストリーム化された複数のコンテンツ(以下、単に「ストリーム」という。)を記憶している。そして、配信サーバ300は、デジタルテレビ100からコンテンツの要求があると、要求されたコンテンツに対応する再生制御ファイルをデジタルテレビ100へ送信する。ここで、再生制御ファイルとは、対応するコンテンツの属性や、格納場所(URL)等の再生に必要な情報を記述したものである。さらに、再生制御ファイルは、対応するコンテンツが、2D映像のみからなるコンテンツ、3D映像のみからなるコンテンツ及び2D映像と3D映像とが混在するコンテンツの何れであるかを識別する情報をも含んでいる。
【0037】
配信サーバ300は、再生制御ファイルの送信後、デジタルテレビ100からの要求により、要求されたコンテンツに対するストリームを、ネットワーク2を介してデジタルテレビ100へ配信する。
【0038】
デジタルテレビ100は、視聴者の操作により当該視聴者が希望するコンテンツの要求をネットワーク2を介して配信サーバ300に対して行い、その後、要求したコンテンツに対するストリームを受信すると、当該ストリームの再生を行う。
【0039】
H.264|MPEG4/AVCに基づくストリームは、公知のものであるが、簡単に説明する。
【0040】
ストリームは、連続した複数のGOP(Group Of Pictures)から構成されている。GOPには、複数のフレーム(ピクチャー)が、参照関係に従った順序で符号化されている。なお、復号化(デコード)する際には、表示順序に並べ直して当該復号化が行われる。
【0041】
また、各フレームには、“Frame packing arrangement SEI(Supplemental Enhance Information)”と呼ばれる付加的情報が付されており、このSEI内に、対応するフレームが3D映像であるか2D映像であるかを識別するための識別情報が設定されている。なお、このSEIは省略可能であり、省略されている場合は2D映像と解釈する。さらに、対応する再生制御ファイルに2D映像のみからなるコンテンツまたは3D映像のみからなるコンテンツであると記載されている場合には、コンテンツ全編に渡りこのSEIの記載を省略してもよい。
【0042】
デジタルテレビ100は、再生制御ファイルに含まれる情報から2D映像と3D映像とが混在するコンテンツであると判別した場合において、2D映像のフレームと3D映像のフレームとが混在するストリームを受信すると、フレームをデコードする際には、対応するSEIの識別情報を参照して当該フレームが3D映像であるか2D映像であるかを判別して、その結果に応じて、デコード及び再生を行う。
【0043】
デジタルテレビ100は、再生制御ファイルの記述内容により、視聴者から要求されたストリームが2D映像のみからなるもの及び3D映像のみからなるものであると判別する場合には、SEIの識別情報を参照することなく、デコード及び再生を行う。
【0044】
以下、各装置(デジタルテレビ100及び配信サーバ300)について、詳細に説明する。
【0045】
1.3 配信サーバ300の構成
配信サーバ300は、
図6に示すように、コンテンツ記憶部301、配信制御部302及び入出力部303から構成されている。
【0046】
(1)コンテンツ記憶部301
コンテンツ記憶部301は、
図7に示すように、コンテンツ管理テーブル310を有している。
【0047】
コンテンツ管理テーブル310は、再生制御ファイルURL311、再生制御ファイル312、コンテンツURL313及びコンテンツ314からなる組を複数記憶するための領域を有している。
【0048】
コンテンツ314は、コンテンツURL313にて外部より特定されるコンテンツである。なお、ここでは、ストリーム化されて記憶されているものとする。
【0049】
再生制御ファイル312は、対応するコンテンツの再生制御ファイルであり、再生制御ファイルURL311にて外部より特定される。
【0050】
具体的には、コンテンツAについては、コンテンツURLは“http://aaa.com/bbb.tts”であり、対応する再生制御ファイルは“ファイルA”であって、再生制御ファイルURLは“http://aaa.com/bbb.cpc”である。
【0051】
ここで、再生制御ファイルについて説明する。
【0052】
再生制御ファイル320は、
図8に示すようなデータ構造からなる。
【0053】
ヘッダ部(<header>)には、当該ファイルの作成日(<date>)、作成時(<time>)及び対応するコンテンツが暗号されているか否かを示す情報(<encryption>)が格納される。
【0054】
リソース情報部(<startup>)には、コンテンツのタイトル(<content_title>)、概要(<content_abstract>)、コンテンツの時間長(<duraction>)及び参照先(<start>)が格納される。参照先(<start>)は、コンテンツURLに対応する。
【0055】
チャプタ情報部(<content_chapter_info>)には、チャプタ番号(<chapter>)、チャプタの開始点(<chapter_point>)及びチャプタのタイトル(<chapter_title>)が格納される。なお、チャプタ番号、チャプタの開始点及びチャプタのタイトルからなる組は複数あってもよい。
【0056】
ES(Elementary Stream)情報部(<es_info>)には、映像ESの情報(<video_info>)、音声ESの情報(<audio_info>)、字幕ESの情報(<caption_info>)が格納される。
【0057】
本実施の形態では、ES情報部の映像ESの情報に、新たな記述要素321を追加する。
【0058】
記述要素321における記述“s3d_frame_compatible structure=”sbs“”は、対応するストリームがSide−by−Side方式で生成されたフレームを含む、つまり3D映像を含むことを示す。なお、Top and Bottom方式の場合には“sbs”の代わりに“tab”が記述される。なお、以下において、“structure=”sbs“”を3D構成状態フラグという。構成状態フラグがSide−by−Side方式を示すとはsbsが設定されていることを意味し、構成状態フラグがTop and Bottom方式を示すとはtabが設定されていることを意味するものとする。
【0059】
また、“signaling=“xxxx”“は、フレーム毎に対応するSEIの識別情報を参照するか否かを指定するものである。ここでは、xxxxは、
図8に示すように”true“及び”false“の何れかが設定される。trueが設定されている場合にはSEIの識別情報を参照することを示し、falseが設定されている場合には参照しないことを示す。つまり、falseが設定されている場合には、ストリームに含まれる全てのフレームは、3D映像であることを示す。なお、以下において、“signaling=“xxxx”“を番組状態フラグという。番組状態フラグがSEIの識別情報を参照することを示すとは“signaling=“true”“を意味し、番組状態フラグがSEIの識別情報を参照しないことを示すとは“signaling=“false”“を意味するものとする。
【0060】
“beginnig=“yy”“は、ストリームの冒頭のフレームが2D映像であるか3D映像であるかを示すものである。ここでは、yyは、
図8に示すように”2d“及び”3d“の何れかが設定される。2dが設定されている場合には冒頭のフレームは2D映像であることを示し、3dが設定されている場合には冒頭のフレームは3D映像であることを示す。なお、以下において、“beginning=“yy”“は、冒頭フレーム状態フラグという。冒頭フレーム状態フラグが3Dを示すとは“beginning=“3d”“を意味し、冒頭フレーム状態フラグが2Dを示すとは“beginning=“2d”“を意味するものとする。また、冒頭フレームとは、本実施の形態においては、一番組についてのストリームにおいて、当該一番組の先頭に対応するフレームをいう。
【0061】
さらに、“true</s3d_frame_compatible>”で記載されているtrueは、ストリームには3D映像のフレームが含まれていることを示す。
【0062】
また、記述要素321がES情報部内に存在しない場合、または上記” true”の代わりに”false”が記載されている場合には、ストリームに含まれる全てのフレームが2D映像であることを示す。
【0063】
(2)配信制御部302
配信制御部302は、デジタルテレビ100の要求に応じた再生制御ファイルの送信、及びストリームの配信を行うものである。
【0064】
配信制御部302は、デジタルテレビ100から配信対象となるコンテンツ(ストリーム)に対応する再生制御ファイルURLを含むファイル要求情報を受信すると、受信したファイル要求情報に含まれるURLで識別される再生制御ファイルをコンテンツ管理テーブル310から取得する。
【0065】
配信制御部302は、取得した再生制御ファイルを、入出力部303を介してデジタルテレビ100へ送信する。
【0066】
配信制御部302は、配信対象となるストリームを要求する旨の情報と、当該ストリームを識別するコンテンツURLとを含むストリーム要求情報を受信すると、受信したストリーム要求情報に含まれるコンテンツURLで識別されるストリームをコンテンツ管理テーブル310から取得し、入出力部303を介してデジタルテレビ100へ送信する。
【0067】
(3)入出力部303
入出力部303は、ネットワーク2を介してデジタルテレビ100から受信した情報(ファイル要求情報、ストリーム要求情報)を配信制御部302へ出力する。
【0068】
また、入出力部303は、配信制御部302から受け取った再生制御ファイル及びストリームを、ネットワーク2を介してデジタルテレビ100へ送信する。
【0069】
1.4 デジタルテレビ100の構成
デジタルテレビ100は、具体的には、プラズマテレビであり、ネットワーク2を介して配信サーバ300からストリームを受信し、再生する。
【0070】
デジタルテレビ100は、
図9に示すように、コンテンツ出力装置101と表示装置102とから構成される。
【0071】
コンテンツ出力装置101は、配信サーバ300から受信したストリームを復号化し、復号化したストリームを、当該ストリームが2D映像であるか3D映像であるかに応じて、2D映像の出力形態と3D映像の出力形態の何れかに切り替えて出力するものである。ここで、2D映像の出力形態とは出力周期を60Hzとして映像を出力することであり、3D映像の出力形態とは出力周期を120Hzとして映像を出力することである。ここで、3D映像用再生制御(3D用の出力形態)とは出力周期を120Hzとして映像を出力することであり、2D映像用再生制御(2D用の出力形態)とは出力周期を60Hzとして映像を出力することである。
【0072】
表示装置102は、コンテンツ出力装置101から出力された映像を表示するものである。
【0073】
以下、コンテンツ出力装置101の構成について説明する。
【0074】
コンテンツ出力装置101は、TSバッファ110、符号化映像バッファ111、復号化映像バッファ112、入出力部113、多重化分離部114、映像デコード部115、音声デコード部116、再生制御部117、出力処理部118及び操作制御部119から構成される。
【0075】
(1)操作制御部119
操作制御部119は、ユーザ(視聴者)の操作により、配信が要求されたコンテンツを識別する再生制御ファイルURLを特定する。
【0076】
操作制御部119は、特定した再生制御ファイルURLを含むファイル要求情報を生成し、生成したファイル要求情報を、入出力部113を介して配信サーバ300へ送信する。
【0077】
再生制御ファイルURLの特定は、例えば、以下のように行う。
【0078】
操作制御部119は、配信サーバ300からコンテンツの配信を要求する際に、先ず配信サーバで管理されているコンテンツ(ストリーム)それぞれの再生制御ファイルURLと、コンテンツの名称を配信サーバ300から受け取ると、表示装置102でコンテンツの名称を一覧表示させる。操作制御部119は、一覧表示されたコンテンツの名称から一の名称がユーザの操作により選択されると、選択されたコンテンツの名称に対応する再生制御ファイルURLを特定する。
【0079】
(2)入出力部113
入出力部113は、操作制御部119からファイル要求情報を受け取ると、ネットワーク2を介して配信サーバ300へ送信する。
【0080】
入出力部113は、配信サーバ300から再生制御ファイルを受信すると、受信した再生制御ファイルを再生制御部117へ出力する。
【0081】
入出力部113は、配信サーバ300からストリームを受信すると、TSバッファ110へ格納する。
【0082】
(3)再生制御部117
再生制御部117は、
図9に示すように、番組判定部125及び冒頭フレーム判定部126を有している。
【0083】
(3−1)番組判定部125
番組判定部125は、
図8で示す記述要素321が存在するか否を判断する。つまり番組判定部125は、再生制御ファイルを用いて配信される対象のストリームが2D映像のみからなるものであるか3D映像を含むものであるかを判断する。
【0084】
2D映像のみからなるストリームであると判断する場合には、番組判定部125は、SEIの識別情報を参照しない旨の第1参照指示及び、出力形態を2D用の出力形態とする旨の2D出力指示を出力処理部118へ出力する。
【0085】
再生制御ファイルに記述要素321は存在する、つまり、配信される対象のストリームが3D映像を含むものであると判断する場合には、番組判定部125は、番組状態フラグがSEIの識別情報を参照することを示すか参照しないことを示すかを特定する。
【0086】
参照することを示すと特定した場合には、番組判定部125は、記述要素321の3D構成状態フラグで設定されている内容に基づいて、3D映像がSide−by−Side方式で生成されているかTop and bottom方式で生成されているかを示す構成情報と、SEIの識別情報を参照する旨の第2参照指示とを出力処理部118へ出力する。
【0087】
参照しないことを示すと特定した場合には、番組判定部125は、第1参照指示、構成情報及び出力形態を3D用の出力形態とする旨の3D出力指示を出力処理部118へ出力する。
【0088】
(3−2)冒頭フレーム判定部126
冒頭フレーム判定部126は、番組判定部125で再生制御ファイルに記述要素321は存在すると判定され、且つ番組状態フラグがSEIの識別情報を参照することを示していると特定された場合に、以下の動作を行う。
【0089】
冒頭フレーム判定部126は、冒頭フレーム状態フラグが3Dを示しているのか2Dを示しているのかを特定する。
【0090】
2Dを示していると特定する場合には、冒頭フレーム判定部126は、2D出力指示を出力処理部118へ出力する。3Dを示していると特定する場合には、冒頭フレーム判定部126は、3D出力指示を出力処理部118へ出力する。
【0091】
(4)TSバッファ110
TSバッファ110は、配信サーバ300から配信されたストリームを格納する領域を有しているバッファである。
【0092】
(5)多重化分離部114
多重化分離部114は、受信したストリームを、映像を構成する映像ストリームと、音声を構成する音声ストリームとに分離し、映像ストリームを符号化映像バッファ111へ、音声ストリームを音声デコード部116へ出力する。
【0093】
(6)符号化映像バッファ111
符号化映像バッファ111は、映像ストリームを格納するための領域を有している。この時点では、映像ストリームは復号化される前のフレーム、つまり符号化されたフレームを含んでいる。
【0094】
(7)映像デコード部115
映像デコード部115は、2D及び3Dを構成する映像ストリームを符号化映像バッファ111から読み出し、読み出した映像ストリームをデコードして映像フレームを得るとともに、当該映像フレームに付されているSEIを取得する。なお、3D映像のフレームがデコードされた時点では、左目用の映像と右目用の映像との切り分けはなされていない。
【0095】
映像デコード部115は、デコードした映像フレームを復号化映像バッファ112へ格納し、取得したSEIを出力処理部118へ出力する。
【0096】
(8)復号化映像バッファ112
復号化映像バッファ112は、デコードされた映像フレームを格納するための領域を有するバッファである。
【0097】
(9)出力処理部118
出力処理部118は、デコードされた映像フレームを、当該映像フレームが2D映像であるか3D映像であるかに応じて、出力形態を切り替えて表示装置102へ出力するものである。
【0098】
出力処理部118は、
図9に示すように、フレームバッファ120、映像処理部121及び出力制御部122を有している。
【0099】
(9−1)フレームバッファ120
フレームバッファ120は、
図10に示すように、第1バッファ130と第2バッファ131とを有している。
【0100】
第1バッファ130は、2D映像の映像フレーム(以下、「2D映像フレーム」という。)を格納するためのものである。
【0101】
第2バッファ131は、L映像バッファ132とR映像バッファ133とを有し、3D映像のフレームを格納するためのものである。ここでは、L映像バッファ132には左目用の映像フレーム(以下、「L映像フレーム」という。)が、R映像バッファ133には右目用の映像フレーム(以下、「R映像フレーム」という。)が格納される。
【0102】
(9−2)映像処理部121
映像処理部121は、再生制御部117からの指示に応じて、SEIの識別情報を参照して出力すべき映像フレームの処理、及び参照することなく出力すべき映像フレームの処理を行う。
【0103】
(SEIの識別情報を参照する場合)
映像処理部121は、再生制御部117の番組判定部125から第2参照情報及び構成情報を受け取る。
【0104】
映像処理部121は、復号化映像バッファ112から処理対象の映像フレームを読み出すと、対応するSEIの識別情報が存在しない場合もしくは2Dを示す場合には読み出した映像フレームを第1バッファ130へ書き込むとともに、出力制御部122へ出力形態が2Dであることを示す2D出力指示を出力する。
【0105】
映像処理部121は、復号化映像バッファ112から処理対象の映像フレームを読み出すと、対応するSEIの識別情報が3Dを示す場合には当該SEI中の構成情報に基づいて、読み出した映像フレームからL映像フレーム及びR映像フレームを生成し、生成したL映像フレームをL映像バッファ132へ、R映像フレームをR映像バッファ133へそれぞれ書き込む。さらに、映像処理部121は、出力制御部122へ出力形態が3Dであることを示す3D出力指示を出力する。具体的には、映像フレームがSide−by−Side方式で生成されている場合には、映像処理部121は、左右に分割して、分割した各映像フレームを横方向に拡大して、L映像フレーム及びR映像フレームを得る。また、Top and bottom方式で生成されている場合には、上下に分割して、分割した各映像を縦方向に拡大して、L映像フレーム及びR映像フレームを得る。
【0106】
(SEIの識別情報を参照しない場合)
映像処理部121は、第1参照指示のみを受け取ると、出力すべきストリームは全て2D映像であると特定する。映像処理部121は、復号化映像バッファ112から処理対象の映像フレームを読み出すと、SEIの識別情報を参照することなく、読み出した映像フレームを第1バッファ130へ書き込む。
【0107】
映像処理部121は、第1参照指示と構成情報とを受け取ると、出力すべきストリームは全て3D映像であると特定する。映像処理部121は、復号化映像バッファ112から処理対象の映像フレームを読み出すと、SEIの識別情報を参照することなく、受け取った構成情報に基づいて、読み出した映像フレームからL映像フレーム及びR映像フレームを生成する。映像処理部121は、生成したL映像フレームをL映像バッファ132へ、R映像フレームをR映像バッファ133へそれぞれ書き込む。なお、構成情報に基づくL映像フレーム及びR映像フレームの生成は上記と同様であるので、ここでの説明は省略する。
【0108】
(9−3)出力制御部122
出力制御部122は、
図10に示すように、切替制御部140、出力部141及びスイッチ142を有している。
【0109】
(スイッチ142)
スイッチ142は、出力部141との接続先として、第1バッファ130及び第2バッファ131の何れかへ切り替えるスイッチである。
【0110】
(切替制御部140)
切替制御部140は、接続先となるバッファの切り替えを行うものである。具体的には、切替制御部140は、再生制御部117及び映像処理部121から2D出力指示を受け取ると、接続先が第1バッファ130となるようスイッチ142を制御する。また、切替制御部140は、再生制御部117及び映像処理部121から3D出力指示を受け取ると、接続先が第2バッファ131となるようスイッチ142を制御する。
【0111】
(出力部141)
出力部141は、再生制御部117及び映像処理部121からの指示に基づいて、映像の出力周期を変更して、映像を表示装置102へ出力するものである。具体的には、出力部141は、再生制御部117及び映像処理部121からの指示が2D出力指示である場合には、出力周期を60Hzとして、スイッチ142の接続先である第1バッファ130から出力対象である2Dの映像を読み出して、表示装置102へ出力する。また、出力部141は、再生制御部117及び映像処理部121からの指示が3D出力指示である場合には、出力周期を120Hzとして、スイッチ142の接続先である第2バッファ131のL映像バッファ132及びR映像バッファ133から出力対象である映像を交互に読み出して、表示装置102へ出力する。なお、初期状態(再生制御ファイルを受信した時点)では、出力周期は60Hzであるとする。
【0112】
ここで、出力部141は、再生制御部117及び映像処理部121から受け取った指示が示す出力形態と、受け取る直前の出力形態とが同一である場合には、切替は行わない。例えば、受け取った指示が示す2D出力指示であり、現状の出力形態、つまり出力周期が60Hzである場合には出力周期の切替は行わない。また、受け取った指示が示す3D出力指示であり、現状の出力形態、つまり出力周期が120Hzである場合についても出力周期の切替は行わない。
【0113】
これによると、出力部141は、再生制御部117から3D出力指示を受け付けると、出力形態を3Dの出力形態(出力周期を120Hz)に変更している。この変更のタイミングでは、ストリームのデコードは行われていない。つまり、出力部141は、ストリームのデコードが開始される前に、冒頭フレームが3Dである場合には出力形態を3D用のものへと変更し、映像処理部で上記の処理が行われることを待っている状態、つまり出力の準備状態となっていることが分かる。従って、出力部141は、再生制御部117から受け取った指示に応じて、フレームの出力形態を2D用のもの、3D用のものに設定して、出力の準備を行っている。
【0114】
(10)音声デコード部116
音声デコード部116は、多重化分離部114から音声ストリームを受け取ると、受け取った音声ストリームをデコードして、音声を生成し、出力する。
【0115】
1.5 動作
(1)コンテンツ配信システム1の動作概要
ここでは、コンテンツ配信システム1の動作概要について、
図11に示す流れ図を用いて説明する。
【0116】
デジタルテレビ100は、ユーザの操作により配信を要求するコンテンツ(ストリーム)の選択がなされると(ステップS5)、選択されたコンテンツに対応する再生制御ファイルURLを含むファイル要求情報を配信サーバ300へ送信する(ステップS10)。
【0117】
配信サーバ300は、デジタルテレビ100から受信した再生制御ファイルURLに対応する再生制御ファイルを特定し(ステップS15)、特定した再生制御ファイルをデジタルテレビ100へ送信する(ステップS20)。
【0118】
デジタルテレビ100は、再生制御ファイルを受信すると、受信した再生制御ファイルの内容を解釈し(ステップS25)、その後、ストリーム要求情報を配信サーバ300へ送信する(ステップS30)。
【0119】
配信サーバ300は、ストリーム要求情報を受信すると、配信要求のあったコンテンツ(ストリーム;TS)をデジタルテレビ100へ配信する(ステップS35、S40)。
【0120】
デジタルテレビ100は、受信したストリームをデコードし、2D映像及び3D映像に応じた出力形態で、映像を再生する(ステップS45)。
【0121】
(2)デジタルテレビ100の再生動作
ここでは、デジタルテレビ100がストリームを再生する際における動作、特に
図11で示すステップS25及びS45の詳細な動作について、
図12に示す流れ図を用いて説明する。
【0122】
番組判定部125は、
図8で示す記述要素321が存在するか否を判断、つまり配信されるストリームが3D映像を含むものであるか否かを判断する(ステップS100)。
【0123】
番組判定部125で、配信されるストリームが3D映像を含まない、つまり2D映像のみからなるものであると判断する場合(ステップS100における「No」)、出力処理部118は、2Dの出力形態で、ストリームに含まれるフレーム毎にSEIの識別情報を参照することなく、ストリームに含まれる全ての映像フレームを再生する(ステップS105)。
【0124】
配信されるストリームが3D映像を含むものであると判断する場合(ステップS100における「Yes」)、番組判定部125は、番組状態フラグがSEIの識別情報を参照することを示しているか参照しないことを示しているかを判断する(ステップS110)。
【0125】
番組判定部125で、SEIの識別情報を参照しない、つまりsignalingで指定されている内容が“false”であると判断する場合(ステップS110における「No」)、出力処理部118は、3Dの出力形態で、ストリームに含まれるフレーム毎にSEIの識別情報を参照することなく、ストリームに含まれる全ての映像フレームを再生する(ステップS115)。
【0126】
番組判定部125で、SEIの識別情報を参照する、つまりsignalingで指定されている内容が“true”であると判断する場合(ステップS110における「Yes」)、冒頭フレーム判定部126は、冒頭フレーム状態フラグが2Dを示しているか3Dを示しているかを判断する(ステップS120)。
【0127】
冒頭フレーム判定部126で冒頭フレーム状態フラグが3Dを示している、つまりbeginningで設定されている内容が“3d”であると判断する場合(ステップS120における「Yes」)、出力処理部118は、映像の出力形態を3Dの出力形態へと変更する(ステップS125)。具体的には、切替制御部140はスイッチ142の接続先を第2バッファ131となるようスイッチ142を切り替え、出力部141は出力周期を120Hzに変更する。
【0128】
ステップS125の実行後、及び冒頭フレーム判定部126で冒頭フレーム状態フラグが2Dを示している(つまり、beginningで設定されている内容が“2d”である)と判断する場合(ステップS120における「No」)、出力処理部118は、2D及び3Dの混在用の再生処理を行う(ステップS130)。
【0129】
(3)2D用出力形態による再生の動作
ここでは、
図12に示すステップS105で行われる2D用出力形態による再生処理の動作について、
図13に示す流れ図を用いて説明する。
【0130】
なお、当該処理の開始時点において、
図12で示すステップS100の判断結果により、映像処理部121は、再生制御部117から第1参照指示のみを受け取っているものとする。つまり、映像処理部121は、出力すべきストリームは全て2D映像であると特定しているものとする。また、
図11で示すステップS100の判断結果により、出力制御部122は、再生制御部117から2D出力指示を受け取っているものとする。
【0131】
映像デコード部115は、符号化映像バッファ111に格納されている映像ストリームをデコードし、得られた映像フレームを復号化映像バッファ112へ書き込む(ステップS200)。
【0132】
映像処理部121は、復号化映像バッファ112から処理対象の映像フレーム、つまり2D映像フレームを読み出すと、SEIの識別情報を参照することなく、読み出した2D映像フレームを第1バッファ130へ書き込む(ステップS205)。
【0133】
出力部141は、出力周期を60Hzとして、スイッチ142の接続先である第1バッファ130から出力対象である2Dの映像を読み出して、表示装置102へ出力する(ステップS210)。
【0134】
映像デコード部115は、次にデコードすべき映像があるか否かを判断する(ステップS215)。次にデコードすべき映像があると判断する場合には(ステップS215における「Yes」)、映像デコード部115は、ステップS200を実行する。次にデコードすべき映像はないと判断する場合には(ステップS215における「No」)、処理は終了する。
【0135】
(4)3D用出力形態による再生の動作
ここでは、
図12に示すステップS115で行われる3D用出力形態による再生処理の動作について、
図14に示す流れ図を用いて説明する。
【0136】
なお、当該処理の開始時点において、
図11で示すステップS100及びS110の判断結果により、映像処理部121は、再生制御部117から第1参照指示及び構成情報の双方を受け取っているものとする。つまり、映像処理部121は、出力すべきストリームは全て3D映像であると特定しているものとする。
【0137】
切替制御部140は、再生制御部117から3D出力指示を受け取ると、スイッチ142の接続先を第2バッファ131となるようスイッチ142を切り替える(ステップS300)。また、出力部141は、出力周期を120Hzへ変更する。
【0138】
映像デコード部115は、符号化映像バッファ111に格納されている映像ストリームをデコードし、得られた映像フレームを復号化映像バッファ112へ書き込む(ステップS305)。
【0139】
映像処理部121は、復号化映像バッファ112から処理対象の映像フレームを読み出すと、SEIの識別情報を参照することなく、受け取った構成情報の内容に基づいて、読み出した映像フレームからL映像フレーム及びR映像フレームを生成する(ステップS310)。映像処理部121は、生成したL映像フレームをL映像バッファ132へ、R映像フレームをR映像バッファ133へそれぞれ書き込む(ステップS315)。
【0140】
出力部141は、出力周期を120Hzとして、スイッチ142の接続先である第2バッファ131のL映像バッファ132及びR映像バッファ133から出力対象である映像を交互に読み出して、表示装置102へ出力する(ステップS320)。
【0141】
映像デコード部115は、次にデコードすべき映像があるか否かを判断する(ステップS325)。次にデコードすべき映像があると判断する場合には(ステップS325における「Yes」)、映像デコード部115は、ステップS305を実行する。次にデコードすべき映像はないと判断する場合には(ステップS325における「No」)、処理は終了する。
【0142】
(5)2D及び3D映像の混在用再生の動作
ここでは、
図12に示すステップS130で行われる2D及び3D映像の混在用再生処理の動作について、
図15に示す流れ図を用いて説明する。
【0143】
なお、当該処理の開始時点において、
図11で示すステップS100及びS110の判断結果により、映像処理部121は、再生制御部117から第2参照指示及び構成情報の双方を受け取っているものとする。つまり、映像処理部121は、出力すべきストリームには2D映像及び3D映像が混在していると特定しているものとする。
【0144】
映像デコード部115は、符号化映像バッファ111に格納されている映像ストリームをデコードし、得られた映像フレームを復号化映像バッファ112へ書き込む(ステップS400)。
【0145】
映像処理部121は、処理対象の映像フレームに対応するSEIの識別情報が3Dを示すか否かを判断する(ステップS405)。
【0146】
映像処理部121でSEIの識別情報が3Dであることを示すと判断する場合には(ステップS405における「Yes」)、出力制御部122の出力部141は、現時点での出力形態、つまり出力周期が3D用のものであるか否かを判断する(ステップS410)。具体的には、映像処理部121は、SEIの識別情報が3Dであることを示すと判断する場合には、3D出力指示を出力制御部122へ出力する。出力制御部122は、映像処理部121から3D出力指示を受け取ると、前回のフレームに対する指示が3D出力指示であるか2D出力指示であるかを判断する。前回の指示が3D出力指示であれば現時点での出力形態(出力周期)は3D用のものと特定し、前回の指示が2D出力指示であれば現時点での出力形態(出力周期)は2D用のものと特定することができる。
【0147】
出力形態が3D用でないと判断する場合には(ステップS410における「No」)、出力部141は、出力形態を3D用に変更、つまり出力周期を120Hzへ変更し(ステップS415)、処理はステップS420へ移行する。出力形態が3D用であると判断する場合には(ステップS410における「Yes」)、処理は、出力形態を変更することなくステップS420へ移行する。
【0148】
映像処理部121は、復号化映像バッファ112から処理対象の映像フレームを読み出すと、当該SEI中の構成情報の内容に基づいて、読み出した映像フレームからL映像フレーム及びR映像フレームを生成する(ステップS420)。映像処理部121は、生成したL映像フレームをL映像バッファ132へ、R映像フレームをR映像バッファ133へそれぞれ書き込む(ステップS425)。
【0149】
出力部141は、出力周期を120Hzとして、スイッチ142の接続先である第2バッファ131のL映像バッファ132及びR映像バッファ133から出力対象である映像を交互に読み出して、表示装置102へ出力する(ステップS430)。
【0150】
映像処理部121でSEIの識別情報が3Dでない、つまり2Dであることを示すと判断する場合には(ステップS405における「No」)、出力部141は、現時点での出力形態、つまり出力周期が2D用のものであるか否かを判断する(ステップS435)。具体的には、映像処理部121は、SEIの識別情報が2Dであることを示すと判断する場合には、2D出力指示を出力制御部122へ出力する。出力制御部122は、上述したように、映像処理部121から2D出力指示を受け取ると、前回のフレームに対する指示が3D出力指示であるか2D出力指示であるかを判断する。
【0151】
出力形態が2D用でないと判断する場合には(ステップS435における「No」)、出力部141は、出力形態を2D用に変更、つまり出力周期を60Hzへ変更し(ステップS440)、処理はステップS445へ移行する。出力形態が2D用であると判断する場合には(ステップS435における「Yes」)、出力形態を変更することなくステップS445へ移行する。
【0152】
映像処理部121は、復号化映像バッファ112から処理対象の映像フレーム、つまり2D映像フレームを読み出すと、読み出した2D映像フレームを第1バッファ130へ書き込む(ステップS445)。
【0153】
出力部141は、出力周期を60Hzとして、スイッチ142の接続先である第1バッファ130から出力対象である2Dの映像を読み出して、表示装置102へ出力する(ステップS450)。
【0154】
映像デコード部115は、次にデコードすべき映像があるか否かを判断する(ステップS455)。次にデコードすべき映像があると判断する場合には(ステップS455における「Yes」)、映像デコード部115は、ステップS200を実行する。次にデコードすべき映像はないと判断する場合には(ステップS455における「No」)、処理は終了する。
【0155】
(6)動作の具体例
ここでは、各構成要素間における処理の受け渡しを明示した流れ図を用いて、再生処理に係る動作を説明する。
【0156】
(6−1)SEIの識別情報を参照する場合
ここでは、SEIの識別情報を参照しながらの再生処理について、
図16に示す流れ図を用いて説明する。なお、ここでは、再生制御ファイルにおいて、要素記述321の存在が存在し、当該要素記述321にて3D構成状態フラグはSide−by−Side方式を、番組状態フラグはSEIの識別情報を参照することを、冒頭フレーム状態フラグが2Dを、それぞれ示しているものとする。
【0157】
配信サーバ300は、再生制御ファイルをデジタルテレビ100へ送信する(ステップS500)。
【0158】
再生制御部117は、受信した再生制御ファイルにおいて、要素記述321の存在の有無、及び存在する場合にはその要素記述321に含まれる各状態フラグの内容を解釈する(ステップS505)。ここでは、再生制御部117は、配信されるストリームは2D映像及び3D映像が混在し、3D映像はSide−by−Side方式で生成され、且つ冒頭フレームは2D映像であると解釈する。
【0159】
再生制御部117は、再生制御ファイルの3D構成状態フラグの解釈結果に応じた構成情報(ここでは、構成情報は、Side−by−Side方式で生成されていることを示す。)を映像処理部121へ出力する(ステップS508)。
【0160】
再生制御部117は、ストリーム要求情報を配信サーバ300へ送信する(ステップS510)。
【0161】
配信サーバ300は、要求のあったストリームをデジタルテレビ100へ送信する(ステップS515)。
【0162】
入出力部113は、受信したストリームをTSバッファ110へバッファリングする(ステップS520)。多重化分離部114は、TSバッファ110に書き込まれたストリームを多重化分離、ここでは、映像ストリームと音声ストリームに分離する(ステップS525)。このとき、分離された映像ストリームは、符号化映像バッファ111に書き込まれる。
【0163】
映像デコード部115は、符号化映像バッファ111に書き込まれた映像ストリームをデコードして、得られた映像フレームを復号化映像バッファ112へ書き込む(ステップS530)。
【0164】
映像処理部121は、処理対象の映像フレームに対応するSEIの識別情報を参照して、当該映像フレームが2D映像であるか3D映像であるかを判断する(ステップS535)。映像処理部121は、判断結果に応じた指示を出力制御部122へ出力する(ステップS540)。具体的には、映像処理部121は、処理対象のフレームが2Dであると判断する場合には2D出力指示を、処理対象のフレームが3Dであると判断する場合には3D出力指示を、それぞれ出力する。
【0165】
映像処理部121は、映像フレームに対して、ステップS535の判断結果に応じたバッファリングを行う(ステップS545)。具体的には、映像処理部121は、処理対象のフレームが2Dであると判断する場合には、復号化映像バッファ112から処理対象の映像フレームを読み出すと、当該映像フレームを第1バッファ130へ格納する。映像処理部121は、処理対象のフレームが3Dであると判断する場合には、復号化映像バッファ112から処理対象の映像フレームを読み出すと、当該SEI中の構成情報の内容に基づいて、読み出した映像フレームからL映像フレーム及びR映像フレームを生成し、生成したL映像フレームをL映像バッファ132へ、R映像フレームをR映像バッファ133へそれぞれ書き込む。
【0166】
出力制御部122は、映像処理部121から受け取った指示に応じて、出力形態の切替を行い(ステップS550)、フレームバッファ120に格納された映像を出力する(ステップS555)。
【0167】
(6−2)SEIの識別情報を参照し、冒頭フレーム状態フラグが3Dの場合
ここでは、SEIの識別情報を参照しながら再生処理を行う場合の再生であって、冒頭フレーム状態フラグが3Dの場合について、
図16と異なる点を中心に説明する。
【0168】
配信サーバ300及びコンテンツ出力装置101の再生制御部117により、
図16に示すステップS500からステップS508が行われる。このとき、ステップS505では、再生制御部117は、配信されるストリームは2D映像及び3D映像が混在し、3D映像はSide−by−Side方式で生成され、且つ冒頭フレームは3D映像であると解釈する。
【0169】
そして、再生制御部117によりステップS510が実行される前に、再生制御部117及び出力制御部122により、以下の処理が実行される。
【0170】
再生制御部117は、冒頭フレーム状態フラグの解釈結果に基づいて、3D出力指示を出力制御部122へ出力する。
【0171】
出力制御部122は、出力形態を3D用に設定する。具体的には、切替制御部140は、スイッチ142の接続先を第2バッファ131となるようスイッチ142を切り替え、出力部141は、出力周期を120Hzへ変更する。
【0172】
これら処理(3D出力指示の出力及び出力形態を3D用に設定)が行われた後、
図16に示すステップS510以降の処理が実行される。
【0173】
なお、ステップS510以降の処理の動作については、既に説明しているので、ここでの説明は省略する。
【0174】
この動作によると、映像処理部121において冒頭フレームが3Dであると判別されても、出力制御部122は、再生制御部117からの3D出力指示により出力形態を3D用に既に設定しているので、ステップS550による切り替えを行う必要がない。
【0175】
(6−3)SEIの識別情報を参照しない場合
ここでは、SEIの識別情報を参照することなく再生処理を行う場合の再生について、
図17に示す流れ図を用いて説明する。なお、ここでは、再生制御ファイルにおいて、要素記述321の存在が存在し、当該要素記述321にて3D構成状態フラグはSide−by−Side方式を、番組状態フラグはSEIの識別情報を参照しないことを、冒頭フレーム状態フラグが3Dを、それぞれ示しているものとする。
【0176】
配信サーバ300は、再生制御ファイルをデジタルテレビ100へ送信する(ステップS600)。
【0177】
再生制御部117は、受信した再生制御ファイルにおいて、要素記述321の存在の有無、及び存在する場合にはその要素記述321に含まれる各状態フラグの内容を解釈する(ステップS605)。ここでは、再生制御部117は、配信されるストリームは3D映像のみからなり、3D映像はSide−by−Side方式で生成され、且つ冒頭フレームは3D映像であると解釈する。
【0178】
再生制御部117は、再生制御ファイルの3D構成状態フラグの解釈結果に応じた構成情報(ここでは、構成情報は、Side−by−Side方式で生成されていることを示す。)を映像処理部121へ出力し(ステップS610)、さらに、冒頭フレーム状態フラグの解釈結果に基づいて、3D出力指示を出力制御部122へ出力する(ステップS615)。
【0179】
出力制御部122は、出力形態を3D用に設定する(ステップS620)。具体的には、切替制御部140は、スイッチ142の接続先を第2バッファ131となるようスイッチ142を切り替える、出力部141は、出力周期を120Hzへ変更する。
【0180】
再生制御部117は、ストリーム要求情報を配信サーバ300へ送信する(ステップS625)。
【0181】
配信サーバ300は、要求のあったストリームをデジタルテレビ100へ送信する(ステップS630)。
【0182】
入出力部113は、受信したストリームをTSバッファ110へバッファリングする(ステップS635)。多重化分離部114は、TSバッファ110に書き込まれたストリームを多重化分離、ここでは、映像ストリームと音声ストリームに分離する(ステップS640)。このとき、分離された映像ストリームは、符号化映像バッファ111に書き込まれる。
【0183】
映像デコード部115は、符号化映像バッファ111に書き込まれた映像ストリームをデコードして、得られた映像フレームを復号化映像バッファ112へ書き込む(ステップS645)。
【0184】
映像処理部121は、復号化映像バッファ112から処理対象の映像フレームを読み出すと、処理対象の映像フレームに対応するSEIの識別情報を参照することなく、構成情報の内容に基づいて、読み出した映像フレームからL映像フレーム及びR映像フレームを生成し、生成したL映像フレームをL映像バッファ132へ、R映像フレームをR映像バッファ133へそれぞれ書き込む(ステップS650)。
【0185】
出力制御部122は、3D用の出力形態で、フレームバッファ120に格納された映像を出力する(ステップS655)。
【0186】
1.6 変形例
以上、第1の実施の形態に基づいて説明したが、本発明は上記の第1の実施の形態に限られない。例えば、以下のような変形例が考えられる。
【0187】
(1)上記実施の形態の再生制御ファイルにおいて、新たな記述要素321を記述する際に、番組状態フラグ及び冒頭フレーム状態フラグの双方とも設定するものとしたが、これに限定されない。
【0189】
この場合の記述内容について、
図18(a)、(b)に示す。
【0190】
図18(a)に示す記述要素321aは、3D映像のフレームの生成方式、及びSEIの識別情報の参照の有無について指定がなされている場合の記述内容である。
【0191】
この場合の動作は、
図12のステップS120及びステップS125を削除することで実現できる。
【0192】
図18(b)に示す記述要素321bは、3D映像のフレームの生成方式、及び冒頭フレームの映像の種別について指定がなされている場合の記述内容である。
【0193】
この場合の動作は、
図12のステップS110及びステップS115を削除することで実現できる。
【0194】
また、上記実施の形態では、番組状態フラグ及び冒頭フレーム状態フラグの双方とも一番組についてのストリームに応じたものであるとしたが、これに限定されない。
【0195】
ストリームに応じたコンテンツが複数のチャプタからなる場合には、チャプタ単位に番組状態フラグ及び冒頭フレーム状態フラグを設定してもよい。
【0196】
この場合における再生制御ファイルの記述要素322の一例を
図18(c)に示す。例えば、チャプタ単位に冒頭フレーム状態フラグを設定する場合には、チャプタの開始点(<chapter_point>)を指定する記述において、冒頭フレーム状態フラグを追加すればよい。
【0197】
この場合、デジタルテレビ100は、ユーザから視聴したいチャプタについての情報、例えばチャプタの番号を受け付けると、
図12に示す処理を行う。なお、ステップS120では、
図8で示す“es_info”内の冒頭フレーム状態フラグではなく、
図18(c)で示す“content_chapter_info”内のうち受け付けたチャプタに対応する冒頭フレーム状態フラグが2dであるか3dであるかを判断する。
【0198】
また、ストリーム再生を一時停止後に再開する場合など、任意の位置からの再生に対して、番組状態フラグ及び冒頭フレーム状態フラグを動的に生成してもよい。
【0199】
さらには、
図19に示す記述であってもよい。
【0200】
(1−1)
図19について
図19は、一の番組について、当該番組全編が3D映像であること、及び冒頭フレームが3Dであるか2Dであるかを示すファイル記述330aを表している。
【0201】
破線で囲んだ記述331aには、ファイル記述330aで示される番組が3D番組であり、その詳細を示す内容が記載されている。具体的には、フレームがSide−bi−Side方式であること、番組全編が3Dであるか、一部のみが3Dあるか、及び番組の先頭が3D映像であるか2D映像であるかを示すものとなっている。
【0202】
記述332aでは、フレームがSide−bi−Side方式であることが記載されている。
【0203】
記載333aでは、番組全編が3Dであるか、一部のみが3Dあるか、及び番組の先頭が3D映像であるか2D映像であるかを示すものとなっている。例えば、entire3dが記載されている場合には番組全編が3D映像であることを示している。この場合、デジタルテレビ100は、かくフレームの識別情報を参照することなく3D出力形態による再生処理(
図14参照)を行うことができる。
【0204】
また、partial3d_start3dが記載されている場合には、番組は、一部3D映像であり、番組の先頭が3D映像であることを示している。この場合、予め出力形態を3D用に変更した上で、2D及び3D混在用の再生処理を行うことができる。
【0205】
さらに、partial3d_start2dが記載されている場合には、番組は、一部3D映像であり、番組の先頭が2D映像であることを示している。この場合、再生開始時には出力形態を初期状態(2D用)のままとして、2D及び3D混在用の再生処理を行うことができる。
【0206】
(2)上記実施の形態において、3D構成状態フラグ、番組状態フラグ及び冒頭フレーム状態フラグは、再生制御ファイル内の<video_info>において設定したが、これに限定されない。
【0207】
再生制御ファイルにおいて、これら状態フラグが解釈できる位置でどこでもよい。または、別ファイルとしてもよし、配信するストリームのヘッダにこれら内容と同様の内容を設定してもよい。
【0208】
(3)上記実施の形態において、配信されるストリームのフォーマットは、H.264|MPEG4/AVC規格に基づいたものとしたが、これに限定されない。
【0209】
ストリームのフォーマットは、MPEG2規格や他の映像圧縮符号化方式に基づくものであってもよい。
【0210】
(4)上記実施の形態において、ストリームを受信し、再生する再生装置としてデジタルテレビを用いて説明したが、当該装置は、デジタルテレビに限定されない。
【0211】
ストリームを受信し、再生する再生装置を、レコーダやセットトップボックスとしてもよい。
【0212】
(5)上記実施の形態において、デジタルテレビ100と配信サーバ300はインターネットで接続されているものとしたが、これに限定されない。
【0213】
専用線を用いて接続されているものとして、デジタルテレビ100と配信サーバ300とを1つの装置として扱ってもよい。例えば、配信サーバ300は、コンテンツをストリーム化して格納している可搬型の記録媒体(SDカード、DVD Disc、Blu−ray Disc等)の着脱可能な装置としてもよい。
【0214】
(6)上記実施の形態において、コンテンツは、インターネットを介して、ストリーム配信されるものとしたが、これに限定されない。
【0215】
コンテンツは、ストリーム形式で記録されたパッケージメディアであってもよい。または、放送波により放送されたコンテンツであって、録画装置で録画された後のものであってもよい。または、インターネットを介して、ダウンロード形式で配信されてもよい。または、ビデオカメラ等で撮影された動画像であってもよい。つまりは、コンテンツ(ストリーム)と、上記にて示す記述要素321に相当する内容を記述したファイルとが対応付けられて記憶されていればよい。
【0216】
(7)上記実施の形態において、プラズマテレビを用いて、2D映像と3D映像の出力周期の切り替えについて説明したが、これに限定されない。
【0217】
プラズマテレビに限らず、2D映像の表示時と3D映像の表示時で異なるパネル駆動方式が用いられることで、切り替えの時間がかかる(1映像フレーム期間内に完了しない)表示デバイスを有する装置に、上述した切り替えの技術を適用してもよい。
【0218】
(8)上記実施の形態において、フレームバッファは、第1バッファと、第2バッファ(L映像バッファ、R映像バッファ)とは、物理的に異なるものとしたが、これに限定されない。
【0219】
第1バッファ、L映像バッファ、R映像バッファが物理的には共通で、時分割で切り替えて用いられる形態でもよい。
【0220】
(9)上記実施の形態では、2D映像の出力周期は、1/60秒としたが、これに限定されない。
【0221】
2D映像は他の出力周期(例えば、1/50秒)であってもよい。この場合、3Dの出力周期は、2D映像の出力周期の半分(例えば、1/100秒)となる。
【0222】
(10)上記実施の形態では、Side−by−Side等のフレーム互換方式を用いて説明したが、これに限定されない。
【0223】
例えば、H.264/MVC等の符号化方式を用いたサービス互換方式に適用しても良い。
【0224】
この場合、2Dと3Dが混在するコンテンツの各フレームの2D/3Dの識別は、Subset sequence parameter set等を用いたdependent viewの有無の検出、dependent viewを格納したElementary Stream自体の有無の検出、あるいはPMTにおいてdependent viewの有無を記述したMVC_extension_descriptorもしくはhierarchy_descriptorを解釈することによって行うことができる。
【0225】
(11)上記実施の形態ではコンテンツの情報を再生制御ファイルに記述する形態にて説明したが、これに限定されない。
【0226】
例えば、同等の情報を、HTMLやBML文書のobject要素やvideo要素の属性として記述しても良い。
【0227】
(12)上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、CPU(Central Processing Unit)などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
【0228】
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。
【0229】
(13)上記の各実施の形態にかかる各構成は、集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらの構成は、1チップ化されても良いし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIと表現したが、回路の集積度の違いによっては、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと称呼されることもある。また、集積回路化の手法は、LSIに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー(ReConfigurable Processor)を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、DSP(Digital Signal Processor)やCPU(Central Processing Unit)などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
【0230】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。
【0231】
(14)上記実施の形態及び変形例を組み合わせるとしてもよい。
【0232】
1.7 補足
(1)本発明の一実施態様である、コンテンツ配信システムは、番組コンテンツに係る番組ストリームを配信する配信サーバと、前記番組ストリームをデコードして再生する再生装置とからなり、前記配信サーバは、前記番組ストリームと、当該番組コンテンツに対応付けられ、且つ当該番組コンテンツの全編が3Dであるか否かを示す番組状態フラグとを、前記再生装置へネットワークを介して配信する配信手段を備え、前記再生装置は、前記番組ストリームと、前記番組状態フラグとを受信する受信手段と、受信した前記番組ストリームのデコードに先立って、受信した前記番組状態フラグが当該番組コンテンツの全編が3Dであることを示すか否かを判断する判断手段と、前記番組状態フラグが前記番組コンテンツの全編が3Dであること示すと判断する場合には、前記番組ストリームをデコードする際に前記番組ストリームに含まれる全てのフレームについて各フレームが3Dであるか否かを確認することなく、3D映像用の再生制御により再生する再生手段とを備えることを特徴とする。
【0233】
上記の構成によると、コンテンツ配信システムの配信サーバはストリームと番組状態フラグとを再生装置に送信し、再生装置は、番組ストリームのデコード前に番組状態フラグを用いて当該番組ストリームを示す番組コンテンツの全編が3Dであると判断する場合には、各フレームが3Dであるか否かを確認することなく、番組ストリームをデコードして再生する。これにより、コンテンツを配信するサービスにおいて全編が3Dである番組コンテンツが1つの配信対象のコンテンツとして配信される場合には、当該コンテンツ配信システムを用いることで、各フレームについて3Dであるか否かを確認するという処理を抑止することができる。
【0234】
(2)また、本発明の一実施態様である、再生装置は、番組コンテンツに係る番組ストリームを配信サーバから受信し、当該番組ストリームをデコードして再生する再生装置であって、前記番組ストリームと、当該番組コンテンツに対応付けられ、且つ当該番組コンテンツの全編が3Dであるか否かを示す番組状態フラグとを、ネットワークを介して前記配信サーバから受信する受信手段と、受信した前記番組ストリームのデコードに先立って、受信した前記番組状態フラグが当該番組コンテンツの全編が3Dであることを示すか否かを判断する判断手段と、前記番組状態フラグが前記番組コンテンツの全編が3Dであること示すと判断する場合には、前記番組ストリームをデコードする際に前記番組ストリームに含まれる全てのフレームについて各フレームが3Dであるか否かを確認することなく、3D映像用の再生制御により再生する再生手段とを備えることを特徴とする。
【0235】
この構成によると、再生装置は、番組ストリームのデコード前に番組状態フラグを用いて当該番組ストリームを示す番組コンテンツの全編が3Dであると判断する場合には、各フレームが3Dであるか否かを確認することなく、番組ストリームをデコードして再生する。これにより、番組コンテンツの全編が3Dである場合には、各フレームについて3Dであるか否かを確認するという処理を抑止することができる。
【0236】
(3)ここで、前記番組ストリームに含まれる各フレームには、当該フレームが2D映像であるか3D映像であるかを識別する識別情報が対応付けられており、前記再生手段は、前記番組状態フラグが、当該番組コンテンツの全編が3Dでないことを示す場合には、前記番組ストリームをデコードする際に当該番組ストリームに含まれる各フレームについて対応する識別情報を参照し、当該フレームが2D映像であるときには当該フレームを2D映像用の再生制御により再生し、当該フレームが3D映像であるときには当該フレームを3D映像用の再生制御により再生するとしてもよい。
【0237】
この構成によると、再生装置は、番組ストリームのデコード前に全編が3Dでないと判断する場合には、フレーム毎に対応付けられた識別情報を用いて当該フレームが2D映像のフレームであるか3D映像のフレームであるかに応じた再生制御で、当該フレームを再生することができる。
【0238】
(4)また、本発明の一実施態様である、配信サーバは、番組コンテンツに係る番組ストリームを、当該番組ストリームをデコードして再生する再生装置へ配信する配信サーバであって、前記番組ストリームと、当該番組コンテンツに対応付けられ、且つ当該番組コンテンツの全編が3Dであるか否かを示す番組状態フラグとを、前記再生装置へネットワークを介して配信する配信手段を備えることを特徴とする。
【0239】
この構成によると、配信サーバは、番組コンテンツの全編が3Dであるか否かを示す番組状態フラグを送信するので、再生装置側では、当該番組状態フラグを参照することで、番組コンテンツの全編が3Dであると判断することができる。そして、再生装置は、全編が3Dであると判断する場合には、各フレームが3Dであるか否かを確認することなく、番組ストリームをデコードして再生することができる。これにより、番組コンテンツの全編が3Dである場合には、各フレームについて3Dであるか否かを確認するという処理を抑止することができる。