特許第6730320号(P6730320)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートの特許一覧

特許6730320ステレオスコピックビデオデータを処理するためのMMT装置および方法
<>
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000005
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000006
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000007
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000008
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000009
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000010
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000011
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000012
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000013
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000014
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000015
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000016
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000017
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000018
  • 特許6730320-ステレオスコピックビデオデータを処理するためのMMT装置および方法 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6730320
(24)【登録日】2020年7月6日
(45)【発行日】2020年7月29日
(54)【発明の名称】ステレオスコピックビデオデータを処理するためのMMT装置および方法
(51)【国際特許分類】
   H04N 13/161 20180101AFI20200716BHJP
   H04N 13/178 20180101ALI20200716BHJP
   H04N 13/286 20180101ALI20200716BHJP
   H04N 19/597 20140101ALI20200716BHJP
   H04N 21/236 20110101ALI20200716BHJP
   H04H 20/28 20080101ALI20200716BHJP
   H04H 60/07 20080101ALI20200716BHJP
【FI】
   H04N13/161
   H04N13/178
   H04N13/286
   H04N19/597
   H04N21/236
   H04H20/28
   H04H60/07
【請求項の数】13
【全頁数】25
(21)【出願番号】特願2017-557980(P2017-557980)
(86)(22)【出願日】2016年6月15日
(65)【公表番号】特表2018-526839(P2018-526839A)
(43)【公表日】2018年9月13日
(86)【国際出願番号】KR2016006333
(87)【国際公開番号】WO2016204502
(87)【国際公開日】20161222
【審査請求日】2019年1月8日
(31)【優先権主張番号】10-2015-0086168
(32)【優先日】2015年6月17日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2015-0088689
(32)【優先日】2015年6月22日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2015-0153397
(32)【優先日】2015年11月2日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2016-0072720
(32)【優先日】2016年6月10日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE
(74)【代理人】
【識別番号】100091982
【弁理士】
【氏名又は名称】永井 浩之
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100082991
【弁理士】
【氏名又は名称】佐藤 泰和
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100096921
【弁理士】
【氏名又は名称】吉元 弘
(72)【発明者】
【氏名】リー、ジン、ヨン
(72)【発明者】
【氏名】ユン、クグ、ジン
(72)【発明者】
【氏名】チョン、ウォン、シク
【審査官】 秦野 孝一郎
(56)【参考文献】
【文献】 特表2014−534696(JP,A)
【文献】 特開2011−244411(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00−13/398
H04N 19/00−19/98
H04N 21/00−21/858
H04H 20/28
H04H 60/07
(57)【特許請求の範囲】
【請求項1】
ステレオスコピックビデオデータを処理するためのMMT装置において、
前記ステレオスコピックビデオデータを含む単一のアセットファイルを生成するアセットファイル生成部;および
前記ステレオスコピックビデオデータのためのシグナリングメッセージを生成するシグナリングメッセージ生成部を含み、
記シグナリングメッセージが前記ステレオスコピックビデオデータと関連したステレオスコピックビデオ情報を含み、
前記ステレオスコピックビデオデータが、基本階層及び向上階層に関連したスケラーブルHEVC(SHVC)に基づいて符号化されるとき、各ビューの位置を決定するための2D/3D指示子(Multi_view_position_SEI)が提供され、
前記2D/3D指示子(Multi_view_position_SEI)は、num_viewと、前記num_viewに関連したビュー位置(View_position)を含むことを特徴とする、MMT装置。
【請求項2】
前記ステレオスコピックビデオ情報は
ステレオスコピックビデオを構成する左映像と右映像の組み合わせ方式を指示する組み合わせ類型情報;
前記ステレオスコピックビデオで前記左映像と前記右映像間の順序を指示する映像順序指示情報;および
前記ステレオスコピックビデオを構成する特定ビューの映像が左映像であるかまたは右映像であるかを指示する映像種類指示情報を含むことを特徴とする、請求項1に記載のMMT装置。
【請求項3】
前記組み合わせ類型情報は、左右方式、垂直ライン交差方式、フレームシーケンス方式、左/右ビューシーケンス方式および上下方式のうちいずれか一つを指示することを特徴とする、請求項2に記載のMMT装置。
【請求項4】
前記映像種類指示情報は、前記組み合わせ類型情報が左/右ビューシーケンス方式を指示する場合にのみ前記ステレオスコピックビデオ情報に含まれることを特徴とする、請求項3に記載のMMT装置。
【請求項5】
前記ステレオスコピックビデオ情報は、ISO/IEC23008−11標準に規定されているステレオスコピックビデオメディア情報(svmi)ボックスのシンタックスフォーマットで記述されて前記単一のアセットファイルに含まれることを特徴とする、請求項4に記載のMMT装置。
【請求項6】
前記ステレオスコピックビデオ情報は、ISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報ディスクリプタのシンタックスフォーマットで記述されて前記シグナリングメッセージのMMTパッケージ(MMT Package、MP)テーブルに含まれることを特徴とする、請求項4に記載のMMT装置。
【請求項7】
前記ステレオスコピックビデオ情報は
ステレオスコピックビデオが2Dビデオサービスに互換できるかを指示するサービス互換性情報;
前記ステレオスコピックビデオを構成する特定ビューの映像が左映像であるかまたは右映像であるかを指示する映像種類指示情報;
前記ステレオスコピックビデオを構成する特定ビューの映像が2Dビデオサービスに利用できるかを指示する基本映像指示情報;
前記ステレオスコピックビデオを構成する左映像と右映像の組み合わせ方式を指示する組み合わせ類型情報;および
前記ステレオスコピックビデオで前記左映像と前記右映像との間の順序を指示する映像順序指示情報を含み、
前記映像種類指示情報と前記基本映像指示情報は前記サービス互換性情報が互換可能であることを指示する場合にのみ含まれ、
前記組み合わせ類型情報と前記基本映像指示情報は前記サービス互換性情報が互換不可であることを指示する場合にのみ含まれることを特徴とする、請求項1に記載のMMT装置。
【請求項8】
前記ステレオスコピックビデオ情報は、ISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報(svin)ボックスのシンタックスフォーマットで記述されて前記単一のアセットファイルに含まれることを特徴とする、請求項7に記載のMMT装置。
【請求項9】
前記ステレオスコピックビデオ情報は、ISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報ディスクリプタのシンタックスフォーマットで記述されて前記シグナリングメッセージのMMTパッケージ(MMT Package、MP)テーブルに含まれることを特徴とする、請求項7に記載のMMT装置。
【請求項10】
MMT装置でステレオスコピックビデオデータを処理する方法において、
前記ステレオスコピックビデオデータを含む単一のアセットファイルを生成する段階;および
前記ステレオスコピックビデオデータのためのシグナリングメッセージを生成する段階を含み、
記ステレオスコピックビデオデータと関連したステレオスコピックビデオ情報を含めて前記シグナリングメッセージを生成し、
前記ステレオスコピックビデオデータが、基本階層及び向上階層に関連したスケラーブルHEVC(SHVC)に基づいて符号化されるとき、各ビューの位置を決定するための2D/3D指示子(Multi_view_position_SEI)が提供され、
前記2D/3D指示子(Multi_view_position_SEI)は、num_viewと、前記num_viewに関連したビュー位置(View_position)を含むことを特徴とする、方法。
【請求項11】
前記ステレオスコピックビデオ情報は、ステレオスコピックビデオを構成する左映像と右映像の組み合わせ方式を指示する組み合わせ類型情報、前記ステレオスコピックビデオで前記左映像と前記右映像間の順序を指示する映像順序指示情報および前記ステレオスコピックビデオを構成する特定ビューの映像が左映像であるかまたは右映像であるかを指示する映像種類指示情報を含み、
前記組み合わせ類型情報は、左右方式、垂直ライン交差方式、フレームシーケンス方式、左/右ビューシーケンス方式および上下方式のうちいずれか一つを指示し、
前記映像種類指示情報は、前記組み合わせ類型情報が左/右ビューシーケンス方式を指示する場合にのみ前記ステレオスコピックビデオ情報に含まれることを特徴とする、請求項10に記載の方法。
【請求項12】
前記ステレオスコピックビデオ情報は、ISO/IEC23008−11標準に規定されているステレオスコピックビデオメディア情報(svmi)ボックスのシンタックスフォーマットで記述されて前記単一のアセットファイルに含まれることを特徴とする、請求項11に記載の方法。
【請求項13】
前記ステレオスコピックビデオ情報は、ISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報ディスクリプタのシンタックスフォーマットで記述されて前記シグナリングメッセージのMMTパッケージ(MMT Package、MP)テーブルに含まれることを特徴とする、請求項11に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エムペグマルチメディア転送(Mpeg Multimedia Transport、MMT)技術に関するもので、より具体的にはステレオスコピックビデオデータを処理するためのMMT装置と方法に関するものである。
【背景技術】
【0002】
MMT(MPEG Media Transport)は、MPEGシステム分科(systems sub−working group)でマルチメディアコンテンツの保存および転送のために開発した新しい標準技術である。MPEGシステム分科による既存の標準技術は、放送網においてマルチメディアコンテンツを転送するために必要なパケット化、同期化、マルチプレキシングなどの機能を規定したものであって、MPEG−2TS(Transport Stream)技術として標準化されて現在広く用いられている。ところが、MPEG−2TS技術は既存の放送網を前提として開発された技術であり、IP(Internet Protocol、IP)基盤のネットワーク環境に基づいたIPTV放送やモバイル放送のためのマルチメディアコンテンツの転送には不適法な要素が存在するので非効率的である。したがって、MPEGシステム分科では、新しいメディア転送の環境はもちろん、今後予想されるメディア転送の環境を考慮して新しいメディア転送標準の必要性を認識するようになり、その結果、MMT標準を開発することになった。
【0003】
現在開発済みのMMT標準である「ISO/IEC23008−1」は、メディアデータの保存および転送に関連した標準であり、MMTシステムを利用してメディアデータであるアセット(Asset)に対するカプセル化処理を通じて個別ファイルとして保存したり転送することに関して規定している。ところが、現在制定済みのMMT標準は2D映像を含むマルチメディアコンテンツの処理および消費機能を支援しているが、ステレオスコピックビデオを含むマルチメディアコンテンツに対する処理および消費機能は支援していない。
【0004】
一方、最近デジタル放送、インターネットを介したストリーミングを通じた高解像度ビデオサービスが普遍化するにつれて、超高鮮明テレビ(Ultra High Definition Television、UHDTV)サービスが浮上しており、これと共にステレオスコピックビデオ、すなわち3D映像を利用したデジタル放送サービスも次世代放送サービスとして注目を浴びている。特に、4K以上の高画質の商用ステレオスコピックディスプレイの発売などのような関連技術の発達により、各家庭において3D映像を楽しむことができる3DTVサービスが近い将来に提供され得るものと予想されている。
【0005】
このような趨勢に伴って、一例として、ATSC(Advanced Television Systems Committee)は4K UHD放送サービスを目的として標準化(ATSC3.0)を進めている。このような状況で3DTVサービスを提供するためには、まず2Dコンテンツに対する4K UHD放送サービスとの互換性を維持しながら3Dコンテンツも転送する方式を採択せざるを得ないが、問題は3Dコンテンツを転送するためには2Dコンテンツを転送するより多くの帯域幅が必要とされるということである。ATSCではこれを解決するために、既存のチャネルに別途のチャネルを結合して3DTV放送サービスを提供する方式で技術を開発している。すなわち、ATSC3.0では2個のUHDチャネルやHDチャネル、すなわちマルチチャネル基盤の3DTV放送サービスに対する標準化が進められており、これをサービスするための符号化方法としては高効率ビデオコーディング(High Efficiency Video Coding、HEVC)やSHVC(Scalable HEVC)を採択している。
【0006】
しかし、ATSC3.0においてもまだ3DTV放送サービスのためにステレオスコピックビデオデータをどのように転送すればよいのかについて具体的に提案していない。3DTV放送サービスを提供するために、MPEGシステムを通じて3Dコンテンツを提供する方法も一つの方案として考慮することもできるが、前述した通り、MPEG−2TS技術は現在の放送網に適合していない側面があり、MMT技術はまだ3Dコンテンツの転送は支援していない。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする一つの課題は、MMTシステムでステレオスコピックビデオコンテンツを保存および/または転送できるように、ステレオスコピックビデオデータを処理するためのMMT装置と方法を提供することである。
【0008】
本発明が解決しようとするもう一つの課題は、2DTV放送サービスとの互換性を維持しながら高画質の3DTV放送サービスが提供できるステレオスコピックビデオデータを処理するためのMMT装置と方法を提供することである。
【課題を解決するための手段】
【0009】
前記の課題を解決するための本発明の一実施例に係るステレオスコピックビデオデータを処理するためのMMT装置は、前記ステレオスコピックビデオデータの全部または一部を含む単一のアセットファイルを生成するアセットファイル生成部および前記ステレオスコピックビデオデータの伝達または消費のためのシグナリングメッセージを生成するシグナリングメッセージ生成部を含む。そして、前記単一のアセットファイルと前記シグナリングメッセージのうち少なくとも一つが前記ステレオスコピックビデオデータと関連したステレオスコピックビデオ情報を含む。
【0010】
前記実施例の一側面によると、前記ステレオスコピックビデオ情報はステレオスコピックビデオを構成する左映像と右映像の組み合わせ方式を指示する組み合わせ類型情報、前記ステレオスコピックビデオで前記左映像と前記右映像間の順序を指示する映像順序指示情報および前記ステレオスコピックビデオを構成する特定ビューの映像が左映像であるかまたは右映像であるかを指示する映像種類指示情報を含むことができる。この時、前記組み合わせ類型情報は、左右方式、垂直ライン交差方式、フレームシーケンス方式、左/右ビューシーケンス方式および上下方式のうちいずれか一つを指示することができる。そして、前記映像種類指示情報は、前記組み合わせ類型情報が左/右ビューシーケンス方式を指示する場合にのみ前記ステレオスコピックビデオ情報に含まれ得る。このようなステレオスコピックビデオ情報は、ISO/IEC23008−11標準に規定されているステレオスコピックビデオメディア情報(svmi)ボックスのシンタックスフォーマットで記述されて前記単一のアセットファイルに含まれるか、またはISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報ディスクリプタのシンタックスフォーマットで記述されて前記シグナリングメッセージのMMTパッケージ(MMT Package、MP)テーブルに含まれ得る。
【0011】
前記実施例の他の側面によると、前記ステレオスコピックビデオ情報は、ステレオスコピックビデオが2Dビデオサービスに互換できるかを指示するサービス互換性情報、前記ステレオスコピックビデオを構成する特定ビューの映像が左映像であるか、または右映像であるかを指示する映像種類指示情報、前記ステレオスコピックビデオを構成する特定ビューの映像が2Dビデオサービスに利用できるかを指示する基本映像指示情報、前記ステレオスコピックビデオを構成する左映像と右映像の組み合わせ方式を指示する組み合わせ類型情報および前記ステレオスコピックビデオで前記左映像と前記右映像間の順序を指示する映像順序指示情報を含み、前記映像種類指示情報と前記基本映像指示情報は前記サービス互換性情報が互換可能であることを指示する場合にのみ含まれ、前記組み合わせ類型情報と前記基本映像指示情報は前記サービス互換性情報が互換不可であることを指示する場合にのみ含まれ得る。このようなステレオスコピックビデオ情報は、ISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報(svin)ボックスのシンタックスフォーマットで記述されて前記単一のアセットファイルに含まれるか、またはISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報ディスクリプタのシンタックスフォーマットで記述されて前記シグナリングメッセージのMMTパッケージ(MMT Package、MP)テーブルに含まれ得る。
【0012】
前記の課題を解決するための本発明の一実施例に係るMMT装置でステレオスコピックビデオデータを処理する方法は、前記ステレオスコピックビデオデータの全部または一部を含む単一のアセットファイルを生成する段階、および前記ステレオスコピックビデオデータの伝達または消費のためのシグナリングメッセージを生成する段階を含む。そして、前記単一のアセットファイルの生成段階と前記シグナリングメッセージの生成段階のうち少なくとも一つの段階において前記ステレオスコピックビデオデータと関連したステレオスコピックビデオ情報を含めて前記単一のアセットファイルまたは前記シグナリングメッセージを生成することができる。
【0013】
前記実施例の一側面によると、前記ステレオスコピックビデオ情報はステレオスコピックビデオを構成する左映像と右映像の組み合わせ方式を指示する組み合わせ類型情報、前記ステレオスコピックビデオで前記左映像と前記右映像間の順序を指示する映像順序指示情報および前記ステレオスコピックビデオを構成する特定ビューの映像が左映像であるかまたは右映像であるかを指示する映像種類指示情報を含み、前記組み合わせ類型情報は左右方式、垂直ライン交差方式、フレームシーケンス方式、左/右ビューシーケンス方式および上下方式のうちいずれか一つを指示し、前記映像種類指示情報は前記組み合わせ類型情報が左/右ビューシーケンス方式を指示する場合にのみ前記ステレオスコピックビデオ情報に含まれ得る。そして、このようなステレオスコピックビデオ情報は、ISO/IEC23008−11標準に規定されているステレオスコピックビデオメディア情報(svmi)ボックスのシンタックスフォーマットで記述されて前記単一のアセットファイルに含まれるかまたはISO/IEC23008−1標準に規定されているステレオスコピックビデオ情報ディスクリプタのシンタックスフォーマットで記述されて前記シグナリングメッセージのMMTパッケージ(MMT Package、MP)テーブルに含まれ得る。
【発明の効果】
【0014】
前述した本発明の実施例によると、アセットファイルおよび/またはシグナリングメッセージにステレオスコピックビデオ情報を含めるので、MMTシステムでステレオスコピックビデオコンテンツを保存および/または転送することが可能である。併せて、ステレオスコピック情報は組み合わせ類型情報、映像順序指示情報および映像種類指示情報などを含むので、DTV放送サービスとの互換性を維持しながら高画質の3DTV放送サービスを提供することができる。
【図面の簡単な説明】
【0015】
図1】MMTシステムの各機能領域が含まれた階層構造を図示した図面。
図2】MMTパッケージの論理的構造を示している図面。
図3】本発明の一実施例に係るステレオスコピックビデオデータを処理するためのMMT装置の構成を概略的に示したブロック図。
図4図3のアセットファイル生成部が生成したアセットファイルの概略的な構成の一例を示している図面である。
図5図4のアセットファイルヘッダを表現するためのファイルシンタックスの一例を示している図面。
図6図3のアセットファイル生成部が生成したアセットファイルの概略的な構成の他の例を示している図面。
図7図6のアセットファイルヘッダを表現するためのファイルシンタックスの一例を示している図面。
図8】MPテーブルに含まれ得るステレオスコピックビデオ情報ディスクリプタの一例を示している図面。
図9】MPテーブルに含まれ得るステレオスコピックビデオ情報ディスクリプタの他の例を示している図面。
図10】2個の独立HEVCコーデックを利用して3DTV放送サービスを提供するためのサービスシナリオを図式的に示した図面。
図11】1個のSHVCコーデックを利用して3DTV放送サービスを提供するためのサービスシナリオを図式的に示した図面。
図12】システムレベルで転送されるステレオスコピックビデオ情報の他の例としてHEVCステレオスコピックビデオ情報ディスクリプタ(HEVC_stereoscopic_video_info_descriptor)を示している図面。
図13】2D/3D指示子(Multi_view_position_SEI)メッセージの一例を示している図面。
図14図10に図示されたサービスシナリオに沿ってビデオレベルで2DTV番組と3DTV番組を区分する方法の一例を図式的に示している図面。
図15図11に図示されたサービスシナリオに沿ってビデオレベルで2DTV番組と3DTV番組を区分する方法の一例を図式的に示している図面。
【発明を実施するための形態】
【0016】
以下、添付された図面を参照して実施例をより詳細に説明する。しかし、このような図面は技術的思想の内容と範囲を簡単に説明するための例示に過ぎないものであり、これによって技術的範囲が限定または変更されるものではない。そして、このような例示に基づいて技術的思想の範囲内で多様な変形と変更が可能であることは通常の技術者にとっては自明である。また、本明細書で用いられる用語および単語は実施例での機能を考慮して選択された用語であって、その用語の意味は使用者、運用者の意図または慣例などにより異なり得る。したがって、後述する実施例において用いられる用語は、本明細書に具体的に定義されている場合にはその定義に従い、具体的に定義されていない場合は通常の技術者が一般的に認識する意味に解釈されるべきである。
【0017】
図1は、MMTシステムの各機能領域が含まれた階層構造を図示した図面である。図1を参照すれば、MMTシステム100は、カプセル化機能階層(Encapsulation Function Layer、Layer E)110、伝達機能階層(Delivery Function Layer、Layer D)120、およびシグナリング機能階層(Signaling Function Layer、Layer S)130から構成される。
【0018】
メディア符号化階層(Media Coding Layer、12)で圧縮されたマルチメディアデータは、カプセル化機能階層110を経てファイルフォーマットと類似の形態でパッケージ化されて出力される。カプセル化機能階層110は、メディア符号化階層から提供されるコーディングされたメディアデータを入力としてMMTサービスのための小さい単位であるデータフラグメント(fragment)またはセグメント(segment)を生成し、データフラグメントを使ってMMTサービスのためのアクセスユニット(Access Unit、AU)を生成する。また、カプセル化機能階層110は、アクセスユニット(AU)を結合および/または分割することによって複合コンテンツの生成およびその保存および/または転送のための所定フォーマットのデータを生成する。
【0019】
伝達機能階層120は、ネットワークを通じて転送されるメディアのネットワークフローマルチプレキシング(network flow multiplexing)、ネットワークパケット化(network packetization)、QoS制御などを遂行することができる。より具体的には、伝達機能階層120はカプセル化機能階層110から出力される一つ以上のデータユニット(Data Unit、DU)をMMTペイロードフォーマットに変換した後、MMT転送パケットヘッダ(MMT transport packet header)を付加してMMTパケットで構成するか、または既存の転送プロトコルであるRTP(Real−time Protocol)を使ってRTPパケットで構成することができる。伝達機能階層120で構成されたパケットは、UDP(User Datagram Protocol)またはTCP(Transport Control Protocol)のような転送プロトコル階層14を経て最終的にインターネットプロトコル(IP)階層16でIPパケット化されて転送される。
【0020】
そして、シグナリング機能階層130は、パッケージの転送および消費に必要な制御情報あるいはシグナリング情報を所定フォーマットのメッセージとして生成する。生成されたシグナリングメッセージはメディアデータとともにMMTパケット化されて転送されるか、または別途のシグナリングメッセージとしてMMTパケット化されて受信側に転送され得る。
【0021】
そして、図2はMMTパッケージ(MMT package)の論理的構造(logical structure)を示している図面であり、MMTパッケージを構成する構成要素と各溝性要素との間の関係を示している。
【0022】
図2を参照すると、MMTパッケージはメディアコンテンツデータおよびこれと関連したメタデータの集合であって、表現情報(Presentation Information、PI)、一つ以上のアセット(Assets)、そして転送特性(Transport Characteristics、TCs)で構成されている。PIはアセットの時空間的な関係を説明する情報である。アセットは、オーディオ、ビデオまたはウェブページなどのようなエンコーディングされたメディアデータであり、各アセットはアセットID(Asset ID)を識別子として有する。アセットはそれぞれ一つ以上のメディアプロセッシングユニット(Media Processing Unit、MPU)を含むことができるが、MPUはISO−BMFF(International Standard Organization − Base Media File Format)形態のファイルとして独立して消費され得る。一つのアセット内で連続する2個のMPUが同じメディアサンプルを含むことはできない。そして、TCはアセットの転送のために必要なQoS情報を提供するが、一つのアセットは一つのTCのみを有することができるものの、一つのTCは複数のアセット(Multiple Assets)に使うことができる。
【0023】
MMT技術によると、左映像と右映像が別個のフレームで構成されたステレオスコピックビデオの場合に、左映像と右映像はそれぞれ別個のアセットIDを有する。そして、MMT技術ではコンテンツの転送や再生およびこのためのデータ処理やサービス品質管理などは、アセット単位で別個のファイルと見なされて独立して処理されるので、左映像と右映像を復元して再生するためには左映像アセットと右映像アセットを時間的に同期化して3D映像で再生することが必要である。また、左映像アセットと右映像アセットで構成されたステレオスコピックビデオの場合には、2Dディスプレイにも再生できるようにすることが好ましい。
【0024】
併せて、ステレオスコピックビデオは左映像と右映像が別個のフレームで構成されてもよいが、左映像と右映像が一つのフレームに多様な方式で組み合わせられて構成されてもよい。例えば、ステレオスコピックビデオは、左右方式(side−by−side type)、上下方式(top−bottom type)または垂直ライン交差方式(vertical line interleaved type)で組み合わせられて一つのフレームを構成することもできる。この場合、左右の映像が組み合わせられたステレオスコピックビデオは全体が一つのアセットと見なされてもよいが、これに限定されず、左映像と右映像がそれぞれ別個のアセットと見なされてもよい。
【0025】
このように、ステレオスコピックビデオは多様な方式で組み合わせられて構成され得る。そして、一つのフレームに組み合わせられたステレオスコピックビデオはそれ自体が一つのアセットで構成されてもよいが、左映像と右映像がそれぞれ別個のアセットで構成されてもよい。併せて、ステレオスコピックビデオデータは3Dディスプレイを利用して再生することはもちろん、2Dディスプレイを利用して再生することもできることが好ましい。したがって、MMTシステムを通じてステレオスコピックビデオデータを保存するか、またはMMT送信エンティティ(MMT sending entity)からMMT受信エンティティ(MMT receiving entity)に転送され得るようにするためには、前述したステレオスコピックビデオに固有特性を十分に考慮してステレオスコピックビデオデータを処理する必要がある。
【0026】
図3は、本発明の一実施例に係るステレオスコピックビデオデータを処理するためのMMT装置の構成を概略的に示したブロック図である。図3を参照すると、MMT装置200は、アセットファイル生成部210およびシグナリングメッセージ生成部220を含む。そして、MMT装置200は転送部230をさらに含むこともできる。図3に図示されたMMT装置は、その構成要素(または機能)の一部または全部がMMT標準に規定されているMMT送信エンティティの構成要素(または機能)として具現され得る。
【0027】
アセットファイル生成部210は、各アセットに対しアクセスユニット(Access Unit、AU)を基盤としてアセットファイルを生成する。ここで、「アセットファイル」とは、必ずしも物理的に一つのファイルを意味せず、複数のファイルの集合であり得る。すなわち、「アセットファイル」とは、単一アセットを構成するエンコーディングされたステレオスコピックビデオデータはもちろん、これと関連したステレオスコピックビデオ情報を含む一つ以上のファイルの集合である。前述した通り、ステレオスコピックビデオの場合には、左映像と右映像がそれぞれ一つのアセットファイルを構成するか、または所定の方式で一つのフレームに組み合わせられたステレオスコピックビデオ映像それ自体が一つのアセットファイルを構成することもできる。前者の場合にはステレオスコピックビデオデータの一部が単一のアセットファイルに含まれるが、後者の場合にはステレオスコピックビデオデータの全部が単一のアセットファイルに含まれる。
【0028】
図3のアセットファイル生成部210が生成したアセットファイルは保存媒体に保存され得るが、この場合に生成されるアセットファイルにはステレオスコピックビデオ情報が必ず含まれる。これとは異なり、アセットファイル生成部210が生成したアセットファイルは転送部230に入力されてMMT受信装置に転送されることもあるが、この場合には生成されるアセットファイルにはステレオスコピックビデオ情報が含まれるか、または含まれないこともある。それは、後述するようにシグナリングメッセージ生成部220が生成するシグナリングメッセージにステレオスコピックビデオ情報が含まれ得るためである。以下、アセットファイル生成部210が生成するアセットファイルにステレオスコピックビデオ情報が含まれる場合について説明する。
【0029】
図4は、図3のアセットファイル生成部210が生成したアセットファイルの概略的な構成の一例を示している図面である。図4を参照すると、アセットファイル、はアセットファイルヘッダ(asset file header、300a)およびアセットファイル本体(asset file body、300b)を含む。このようなアセットファイル300の構成は、各ユニットに含まれるデータの特性による論理的なものであり、物理的には多様な形態で具現され得る。例えば、アセットファイルヘッダ300aとアセットファイル本体300bは必ずしも一つのファイルである必要はなく、それぞれが一つのファイルで構成されるか、またはそれぞれが複数のファイルで構成されてもよい。
【0030】
アセットファイル本体300bは少なくともステレオスコピックビデオデータを含むユニットであって、例えば多数のMPUを含んで構成され得る。アセットファイル本体300bはステレオスコピックデータが含まれる部分であって、アセットファイルのペイロード(payload)に該当すると言える。前述した通り、MPUは所定フォーマットでエンカプセレーションされたISOBMFF形態のファイルであり得、エンカプセレーションされたMPUはアセットIDとともに固有の一連番号(sequence number)を有している。同じアセットを構成するMPUはすべて同じアセットIDを有する。MPUはエンコーディングされたステレオスコピックビデオデータを含むが、各MPUは多くても一つのメディアトラックを含む。
【0031】
アセットファイルヘッダ300aは該当アセットに関連した様々な情報、すなわちアセットファイル情報(asset file information)を含む。特に、アセットがステレオスコピックビデオデータを構成する左映像アセットであるかまたは右映像アセットである場合に、アセットファイルヘッダ300aはアセットファイル情報の一つとしてステレオスコピックビデオ情報310を含むことができる。その他にも、アセットファイルヘッダ300aはアセットIDの構造(scheme)、長さ(length)、値(value)などのようなアセットIDに関する情報をさらに含むこともできる(図5および図7参照)。
【0032】
本実施例の一側面によると、ステレオスコピック情報310は、組み合わせ類型情報311、映像順序指示情報312および映像種類指示情報313を含むことができる。組み合わせ類型情報311は、ステレオスコピックビデオを構成する左映像と右映像が組み合わせられた方式を指示する。例えば、組み合わせ類型情報311は、左右方式、垂直ライン交差方式、フレームシーケンス方式(frame sequential type)、左/右ビューシーケンス方式(Left/Right view sequence type)、上下方式のうちいずれか一つを指示することができる。
【0033】
表1はこのような組み合わせ類型情報311の一例を表わしている。表1を参照すると、組み合わせ類型情報311として左右方式と上下方式の場合に、全体(full)映像とハーフ(half)映像の2種類が存在することが分かる。そして、表1において左側のコラムの値(value)が例示的なものであることは当業者にとって自明である。
【0034】
【表1】
【0035】
映像順序指示情報312は組み合わせられたステレオスコピックビデオで左映像と右映像との間の順序を指示する情報である。例えば、映像順序指示情報312は左映像が先なのか(is_left_first)または右映像が先なのか(is_right_first)を表わす方式で表示され得る。表2はこのような映像順序指示情報312の一例を表わしたものである。表2を参照すると、各組み合わせ類型の場合について、映像順序指示情報(表2の場合にはis_left_firstの値)によって左側の映像(left view)と右側の映像(right view)のそれぞれがフレームのどのような位置であるのか、または一連のフレームシーケンスのうち奇数番目のフレームまたは偶数番目のフレームであるのかが分かる。
【0036】
【表2】
【0037】
映像種類指示情報313は該当ビュー映像の左映像であるかまたは右映像であるかを指示する情報である。例えば、映像種類指示情報313は該当ビューが左映像であるか(is_left)または右映像であるか(is_right)を表わす方式で表示され得る。したがって、映像種類指示情報313は組み合わせ類型情報311が指示する左映像と右映像の組み合わせ方式が左/右ビューシーケンス方式(表1でその値が「0×03」の場合)の場合にのみ含まれる情報であり得る。
【0038】
図5は、図4のアセットファイルヘッダ300aを表現するためのファイルシンタックス(syntax)の一例を示している図面である。図5のファイルシンタックスは、ISO/IEC23008−11のステレオスコピックビデオメディア情報(Stereoscopic Video Media Information、svmi)ボックスのファイルフォーマットに基づいて作成されたものであって、これは単に例示的なものである。図4のアセットファイルヘッダ300aは他の標準や他の形式のファイルフォーマットに基づいて作成されてもよい。
【0039】
図5を参照すると、図4の組み合わせ類型情報311は、「stereoscopic_composition_type」というエレメント(element)で表現されているが、一例としてこのエレメントは前述した表1に図示された内容を指示することができる。そして、図4の映像順序指示情報312は「is_left_first」というエレメントで表現されており、一例としてこのエレメントは前述した表2に図示された内容を指示することができる。また、図4の映像種類指示情報313は「is_left」というエレメントで表現されているが、該当エレメントは「stereoscopic_composition_type」の値が0×03であって、左/右ビューシーケンス類型の場合にのみ含まれることが分かる。その他にも、ファイルシンタックスはアセットIDの構造、長さ、値などを指示するためのエレメントを含むことができる。
【0040】
図6は、図3のアセットファイル生成部210が生成したアセットファイルの概略的な構成の他の例を示している図面である。図6のアセットファイル400の構成も各ユニットに含まれるデータの特性による論理的なものであって、物理的には多様な形態で具現され得る。例えば、アセットファイルヘッダ400aとアセットファイル本体400bはそれぞれ一つまたは複数のファイルで構成され得る。図6を参照すると、アセットファイル400はアセットファイルヘッダ400aおよびアセットファイル本体400bを含むという点で図4のアセットファイル300とその構成が同じである。そして、アセットファイル本体400bは少なくともステレオスコピックビデオデータを含むユニットであり、例えば多数のMPUを含んで構成され得るという点でも図4のアセットファイル本体300bと同じであるため、ここではこれについての具体的な説明は省略する。
【0041】
アセットファイルヘッダ400aは該当アセットに関連した様々な情報、すなわちアセットファイル情報を含み、特にアセットがステレオスコピックビデオデータを構成する左映像アセットであるか、または右映像アセットである場合に、アセットファイルヘッダ400aはアセットファイル情報としてステレオスコピックビデオ情報410を含むことができるという点で、図4のアセットファイルヘッダ300aと同じである。ただし、アセットファイルヘッダ400aはその具体的な構成においてアセットファイルヘッダ300aと差があるが、より具体的には、ステレオスコピック情報410はサービス互換性情報411、映像種類指示情報412、基本映像指示情報413、組み合わせ類型情報414および映像順序指示情報415を含むことができる。
【0042】
サービス互換性情報411はステレオスコピックビデオが2Dビデオを提供するサービスにも利用できるか(is_service_compatible)を指示する情報である。例えば、ステレオスコピックビデオに対して特別な映像処理技術を適用せずとも2Dビデオサービスに活用できる場合であれば、該当ステレオスコピックビデオは2Dビデオサービスと互換性があると言える。通常、左/右ビューシーケンス方式で組み合わせられたステレオスコピックビデオの場合に、該当ステレオスコピックビデオから左映像ビューまたは右映像ビューのみを抽出して2Dビデオサービスを提供することが可能である。その反面、それ以外の方式で組み合わせられたステレオスコピックビデオの場合には、2Dビデオサービスを提供するためには各フレームの映像に対して追加の映像処理が必要である。
【0043】
映像種類指示情報412と基本映像指示情報413はステレオスコピックビデオが2Dビデオサービスと互換性がある場合、すなわちサービス互換性情報411が互換可能であることを指示する値を有する場合にのみステレオスコピック情報410に含まれる情報であり得る。ここで、映像種類指示情報412は該当ビューの映像が左映像であるか、または右映像であるかを指示する情報である。例えば、映像種類指示情報412は該当ビューが左映像であるか(is_left)または右映像であるか(is_right)を表わす方式で表示され得る。そして、基本映像指示情報413は該当ビューの映像が2Dビデオサービスにも利用できるか、すなわち基本映像(is_base)であるかを指示する情報である。したがって、基本映像指示情報413によって基本映像と特定されたビューの映像のみが2Dビデオサービスに利用され得る。
【0044】
組み合わせ類型情報414はステレオスコピックビデオを構成する左映像と右映像が組み合わせられた方式を指示する。例えば、組み合わせ類型情報411は左右方式、垂直ライン交差方式、フレームシーケンス方式および上下方式のうちいずれか一つを指示することができる。このような組み合わせ類型情報414は、左/右ビューシーケンス方式がないという点で表1の組み合わせ類型情報311と差がある。
【0045】
表3はこのような組み合わせ類型情報414の一例を示すものである。表3を参照すると、組み合わせ類型情報414として左右方式と上下方式の場合に全体(full)映像とハーフ(half)映像の2種類が存在することが分かる。そして、表3において左側コラムの値(value)が例示的なものであることは当業者にとって自明である。
【0046】
【表3】
【0047】
映像順序指示情報415は組み合わせられたステレオスコピックビデオで左映像と右映像との間の順序を指示する情報である。例えば、映像順序指示情報415は左映像が先なのか(is_left_first)または右映像が先なのか(is_right_first)を表わす方式で表示され得る。このような映像順序指示情報415の一例は表2を参照して前述したので、これについての具体的な説明は省略する。
【0048】
図7は、図6のアセットファイルヘッダ400aを表現するためのファイルシンタックス(syntax)の一例を示している図面である。図7のファイルシンタックスは、ISO/IEC23008−1のステレオスコピックビデオ情報(Stereoscopic Video Information、svin)ボックスのファイルフォーマットに基づいて作成されたものであって、これは単に例示的なものである。すなわち、図6のアセットファイルヘッダ400aは他の標準や他の形式のファイルフォーマットに基づいて作成されてもよい。
【0049】
図7を参照すると、図6のサービス互換性情報411は、「is_service_compatible」というエレメントで表現されているが、一例としてその値が「0」であれば2Dビデオサービスと互換されないものの、その値が「1」の場合には2Dビデオサービスと互換されることを指示することができる。そして、図6の映像種類指示情報412と基本映像指示情報413はそれぞれ「is_left」および「is_base」というエレメントで表現されているが、該当エレメントは「is_service_compatible」が2Dビデオサービスと互換される場合を指示する場合に含まれることが分かる。その反面、「is_service_compatible」が2Dビデオサービスと互換されない場合を指示する場合には、組み合わせ類型情報414および映像順序指示情報415が含まれ得るが、それぞれ「stereoscopic_composition_type」および「is_left_first」というエレメントで表現されている。一例としてエレメント「stereoscopic_composition_type」は前述した表3に図示された内容を指示することができる。その他にも、ファイルシンタックスはアセットIDの構造、長さ、値などを指示するためのエレメントを含むことができる。
【0050】
引き続き図3を参照すると、シグナリングメッセージ生成部220は、ステレオスコピックビデオデータの伝達(delivery)および/または消費(consumption)のためのシグナリングメッセージを生成する。ここで、シグナリングメッセージは、ISO/IEC23008−1標準に規定されているフォーマットのメッセージであって、これにはシグナリングテーブル(signaling tables)やディスクリプタ(descriptors)などの形式で情報が含まれ得る。シグナリングメッセージ生成部220は該当アセットの表現情報、転送特性はもちろん、ステレオスコピックビデオデータとMMT受信エンティティから受信した多様な情報に基づいてシグナリングメッセージを生成することができる。
【0051】
本実施例の一側面によると、シグナリングメッセージ生成部220が生成するシグナリングメッセージには、ステレオスコピックビデオデータを含むMMTパッケージの消費のために必要なステレオスコピックビデオ情報が含まれ得る。例えば、シグナリングメッセージ生成部220は、図4に図示されているアセットファイル300のアセットファイルヘッダ310に含まれているステレオスコピックビデオ情報を含むシグナリングメッセージを生成することができる。すなわち、シグナリングメッセージ生成部220は、組み合わせ類型情報、映像順序指示情報および映像種類指示情報を含むシグナリングメッセージを生成することができる。その他の例として、シグナリングメッセージ生成部220は図6に図示されているアセットファイル400のアセットファイルヘッダ410に含まれているステレオスコピックビデオ情報を含むシグナリングメッセージを生成することができるが、この場合にサービス互換性情報、映像種類指示情報、基本映像指示情報、組み合わせ類型情報および映像順序指示情報を含むシグナリングメッセージを生成することができる。
【0052】
本実施例の他の側面によると、シグナリングメッセージ生成部220が生成するシグナリングメッセージには、図4または図6を参照して前述したステレオスコピックビデオ情報は含まれなくてもよい。この場合に、ISO/IEC23008−1標準で規定している他の種類の情報がシグナリングメッセージに含まれ得る。ただし、このような実施例には図4または図6に図示された通り、アセットファイルのアセットファイルヘッダにステレオスコピックビデオ情報が含まれる場合にのみ限定される。しかし、アセットファイルのアセットファイルヘッダにステレオスコピックビデオ情報が含まれる場合であっても、シグナリングメッセージ生成部220が生成するシグナリングメッセージにステレオスコピックビデオ情報の全部または一部が含まれ得るということは当業者にとって自明である。以下、シグナリングメッセージ生成部220が生成するシグナリングメッセージにステレオスコピックビデオ情報の全部が含まれる場合について説明する。
【0053】
一例として、シグナリングメッセージ生成部220は、ISO/IEC23008−1標準に規定されているMMTパッケージ(MP)テーブルにステレオスコピックビデオ情報を含めることができる。この場合に、ステレオスコピックビデオ情報はMPテーブルに含まれるディスクリプタのうちの一つであり得る。そして、このようなステレオスコピックビデオ情報ディスクリプタ(stereoscopic_video_info_descriptor)はMPテーブルのアセットディスクリプタループ(asset_descriptor loop)に含まれ得る。
【0054】
図8は、MPテーブルに含まれ得るステレオスコピックビデオ情報ディスクリプタの一例を示している図面である。図8を参照すると、ステレオスコピックビデオ情報ディスクリプタは、組み合わせ類型情報、映像順序指示情報および映像種類指示情報を含む。より具体的には、組み合わせ類型情報は「stereoscopic_composition_type」というエレメント(element)で表現されており、映像順序指示情報は「is_left_first」というエレメントで表現されており、また、映像種類指示情報は「is_left」というエレメントで表現されている。また、映像種類指示情報は「stereoscopic_composition_type」の値が0×03であって、左/右ビューシーケンス類型の場合にのみ含まれることが分かる(表1参照)。
【0055】
図9は、MPテーブルに含まれ得るステレオスコピックビデオ情報ディスクリプタの他の例を示している図面である。図9を参照すると、ステレオスコピックビデオ情報ディスクリプタ(stereoscopic_video_info_descriptor)は、サービス互換性情報、映像種類指示情報、基本映像指示情報、組み合わせ類型情報および映像順序指示情報を含む。より具体的には、サービス互換性情報は「is_service_compatible」というエレメントで表現されており、映像種類指示情報と基本映像指示情報はそれぞれ「is_left」および「is_base」というエレメントで表現されているが、該当エレメントは「is_service_compatible」が2Dビデオサービスと互換される場合を指示する場合に含まれることが分かる。その反面、「is_service_compatible」が2Dビデオサービスと互換されない場合を指示する場合には、組み合わせ類型情報および映像順序指示情報が含まれ得るが、それぞれ「stereoscopic_composition_type」および「is_left_first」というエレメントで表現されている。
【0056】
引き続き図3を参照すると、転送部230は、アセットファイル生成部210が生成したアセットファイルおよび/またはシグナリングメッセージ生成部220が生成したシグナリングメッセージの伝達を受けてMMT受信エンティティに転送する。ここで、転送部230は伝達を受けたアセットファイルおよび/またはシグナリングメッセージをISO/IEC23008−1標準に沿ったMMTプロトコル(MMT Protocol、MMTP)に従ってMMTパケットに変換してMMT受信装置に転送することができる。しかし、本実施例はこれに限定されず、転送部230は伝達を受けたアセットファイルおよび/またはシグナリングメッセージを他のインターネット転送プロトコルやリアルタイム転送プロトコルまたは3D放送プロトコルに従ってMMT受信装置に転送することもできる。
【0057】
次いで、前述したMMT装置を利用して3DTV放送サービスを提供する方法について説明する。後述する方法は、ATSC3.0で高画質ビデオを符号化するために採択されたHEVCまたはSHVCコーデックに基づいて2DTV放送サービスとの互換性を維持しながら高画質の3DTV放送サービスを提供することができるように、マルチチャネルに転送される3Dステレオスコピックビデオデータと関連した情報、すなわちステレオスコピックビデオ情報のシグナリング方法に関する。
【0058】
図10は、2個の独立HEVCコーデックを利用して3DTV放送サービスを提供するためのサービスシナリオを図式的に示した図面である。図10において、2Dは二つのチャネル、すなわち第1チャネル(Ch1)と第2チャネル(Ch2)でそれぞれ独立して提供される2DTV放送プログラムを意味し、3Dは二つのチャネルを連動して提供される3DTV放送プログラムを意味する。そして、3DTV放送プログラムの場合、独立した2個のHEVCストリームを同期化して提供するものであって、2個の基本階層ストリームを通じてサービスが提供されるものと見ることができる。
【0059】
図11は、1個のSHVCコーデックを利用して3DTV放送サービスを提供するためのサービスシナリオを図式的に示した図面である。図11においても、2Dは二つのチャネル、すなわち第1チャネル(Ch1)と第2チャネル(Ch2)でそれぞれ独立して提供される2DTV放送プログラムを意味し、3Dは二つのチャネルを連動して提供される3DTV放送プログラムを意味する。そして、3DTV放送プログラムの場合に、ステレオスコピックビデオデータをスケーラブルHEVCコーデック、すなわちSHVCコーデックで符号化して生成された基本階層(base layer)ストリームと向上階層(enhanced layer)ストリームを同期化して提供されるものと見ることができる。
【0060】
図10および図11を参照すると、3DTV放送サービスとして時間範囲t1では2DTV放送プログラムが放送され、時間範囲t2では3DTV放送プログラムが放送され、時間範囲t3では再び2DTV放送プログラムが放送されることが分かる。これは3DTV放送サービスを24時間の間3Dコンテンツを利用して放送し続けるよりは2Dコンテンツと3Dコンテンツを混ぜて放送する2DTV/3DTV混用放送サービスとして考慮されているためである。しかし、これが3DTV放送サービスとして24時間の間3Dプログラムを放送し続けることを排除するものではないことは当業者にとって自明である。
【0061】
図10または図11に図示されているサービスシナリオに沿って3DTV放送サービスを提供するためには、該当時間に放送されるプログラムが2DTV放送プログラムであるかまたは3DTV放送プログラムであるかを明確に表示することが必要である。例えば、2DTV放送プログラムと3DTV放送プログラムとの間の切換えがある場合に、放送プログラムの切換えがあるという事実を知らせる情報を転送する方法がある。併せて、3DTV放送プログラムと関連しては、2Dディスプレイを具備した受信装置でも3DTV放送プログラムの再生に必要な情報も共に転送することができる。
【0062】
他の例として、該当時間に放送される放送プログラムが2DTV放送プログラムであるかまたは3DTV放送プログラムであるかを指示するプログラム種類指示情報を転送する方法があり得る。ここで、該当放送プログラムが3DTV放送プログラムを指示する場合には、2Dディスプレイを具備した受信装置でも3DTV放送プログラムの再生に必要な情報もプログラム種類指示情報とともに転送され得る。以下ではプログラム種類指示情報と2Dディスプレイを具備した受信装置でも3DTV放送プログラムの再生に必要な情報を「ステレオスコピックビデオ情報」とする。
【0063】
この場合、ステレオスコピックビデオ情報はビデオレベルで転送されるかまたはシステムレベルで転送され得る。ビデオレベルでの転送は該当情報がビデオストリームに含まれて転送されることを指し示す。例えば、図4または図6に図示されたアセットファイルヘッダに含まれるステレオスコピックビデオ情報がビデオレベルで転送されるステレオスコピックビデオ情報となり得る。その反面、システムレベルでの転送は該当情報がビデオストリームではない別のストリームに含まれて転送されることを指し示す。例えば、図8または図9を参照して説明したシグナリングメッセージのMPテーブルに含まれるステレオスコピックビデオ情報ディスクリプタ(stereoscopic_video_info_descriptor)がシステムレベルで転送されるステレオスコピックビデオ情報となり得る。
【0064】
図12は、システムレベルで転送されるステレオスコピックビデオ情報の他の例として、HEVCステレオスコピックビデオ情報ディスクリプタ(HEVC_stereoscopic_video_info_descriptor)を示している図面である。図12を参照すると、HEVCステレオスコピックビデオ情報ディスクリプタは、ディスクリプタタグ(Descriptor_tag)情報、ディスクリプタ長さ(Descriptor_length)情報、サービス識別子(Service_id)情報、ビュー位置(View_position)情報および2D/3D指示子(Multi_view_position_SEI_present)情報を含む。
【0065】
ディスクリプタタグ情報はディスクリプタを識別するためのものである。ディスクリプタ長さ情報は該当ディスクリプタの長さを指示する。サービス識別子情報は左映像または右映像を転送するチャネル識別子(ID)またはサービス識別子(ID)を表わすものである。例えば、図10に図示された通り、第1チャネルを通じて左映像が提供され、また第2チャネルを通じて右映像が提供される場合に、第1チャネルを通じて転送されるHEVCステレオスコピックビデオ情報ディスクリプタのサービス識別子情報は第2チャネルのサービス識別子またはチャネル識別子を含むことができる。ビュー位置情報は、現在転送される映像が左映像であるかまたは右映像であるかを識別するためのものである。
【0066】
そして、2D/3D指示子存否情報は、HEVCまたはSHVC符号化ストリームに2D/3D指示子(Multi_view_position_SEI)情報が含まれているか否かを指示する。これは、該当ビデオストリームが2DTV番組であるのかまたは3DTV番組であるのかをより明確に区分するために用いられるものである。なぜならば、実際のシステムレベルの情報転送は各フレームまたはAU(Access Unit)単位で転送されるよりは一定の周期(例えば、500ms)を有して転送されるので、フレーム単位で該当コンテンツが2Dであるかまたは3Dコンテンツであるかを明確に認識することが難しいためである。したがって、2D/3D指示子存否(Multi_view_position_SEI_present)情報が「1」に設定される場合、受信機はこの情報に基づいて符号化ストリームレベルでより明確に2DTV番組であるのかまたは3DTV番組であるのかを認識することができる。また、該当記述子の存在有無に基づいてシステムレベルで2DTV番組であるのか3DTV番組であるのかを認識することができる。すなわち、該当記述子は3Dプログラムでのみ存在することになる。
【0067】
HEVC符号化標準(ISO/IEC23008−2)では2D/3D指示子(Multi_view_position_SEI)メッセージを定義しているが、これは複数のビューを含む多視点ビデオに対して符号化を行う時に各ビューの位置を提供するためである。このような2D/3D指示子(Multi_view_position_SEI)メッセージの一例は図13に図示されており、該当メッセージはHEVC符号化標準(ISO/IEC23008−2)に具体的に説明されているので、ここではこれについての説明を省略する。
【0068】
図14は、図10に図示されたサービスシナリオに沿ってビデオレベルで2DTV番組と3DTV番組を区分する方法の一例を図式的に示している図面である。図14を参照すると、図13に図示された2D/3D指示子(multi_view_position_SEI)メッセージは3Dプログラム区間にのみ転送されることが分かる。したがって、ビデオレベル、すなわち転送されるプログラムコンテンツに該当メッセージが含まれているか否かに基づいて2DTV番組であるのかまたは3DTV番組であるのかを判別することができる。
【0069】
そして、各チャネルを通じて独立した2個のHEVCコーデックを利用して符号化されたビデオストリームが転送される場合には、図14に図示された通り、第1チャネル(Ch1)と第2チャネル(Ch2)の両方を通じて2D/3D指示子メッセージがビデオストリームに含まれる。この時、第1チャネル(Ch1)と第2チャネル(Ch2)の符号化ストリーム内に転送される情報は単に独立したビデオストリーム一つのみが転送されるので、num_view_minus1=0およびview_position[0]==に割り当てられる。そして、この場合にはビデオレベルで左右の映像を区分することができないため、左右の映像の区分はシステムレベルで転送されるステレオスコピックビデオ情報、例えば図12で提案されたHEVCステレオスコピックビデオ情報ディスクリプタを活用することができる。
【0070】
また、2D/3D指示子(multi_view_position_SEI)メッセージは符号化ストリームのAUに割り当てられ得る。これによると、図14に図示された通り、2D/3D指示子(multi_view_position_SEI)メッセージは3DTV番組区間の間各AUごとに含まれることによって、フレームレベルで3DTV番組であるのかまたは2DTV番組であるのかを区分することが可能である。
【0071】
図15は、図11に図示されたサービスシナリオに沿ってビデオレベルで2DTV番組と3DTV番組を区分する方法の一例を図式的に示している図面である。図15を参照すると、図13に図示された2D/3D指示子(multi_view_position_SEI)メッセージは基本階層のビデオストリームにのみ含まれて転送されることが分かる。したがって、基本階層のビデオストリームに該当メッセージが含まれているか否かに基づいて2DTV番組であるのかまたは3DTV番組であるのかを判別することができる。この時、図15のサービスシナリオでは2個のビューの映像がSHVCで符号化されるので、基本階層のビデオストリームにはnum_view_minus1=1、view_position[0]=0およびview_position[1]=1で割り当てられる。この時、view_position[0]=0は左(右)映像を意味し、view_position[1]=1は右(左)映像を意味し得る。したがって、この場合にはビデオレベルで左右の映像を区分することが可能である。
【0072】
以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素およびソフトウェア構成要素の組み合わせで具現され得る。例えば、実施例で説明された装置および構成要素は、例えば、プロセッサ、コントローラー、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令(instruction)を実行し応答できる他の何らかの装置のように、一つ以上の汎用コンピュータまたは特殊目的のコンピュータを利用して具現され得る。処理装置は運営体制(OS)および前記運営体制上で遂行される一つ以上のソフトウェアアプリケーションを遂行することができる。また、処理装置はソフトウェアの実行に応答して、データを接近、保存、操作、処理および生成することもできる。理解の便宜のために、処理装置は一つが使われると説明された場合もあるが、該当技術分野で通常の知識を有する者は、処理装置が複数個の処理要素(processing element)および/または複数類型の処理要素を含むことができることが分かる。例えば、処理装置は複数個のプロセッサまたは一つのプロセッサおよび一つのコントローラーを含むことができる。また、並列プロセッサ(parallel processor)のような、他の処理構成(processing configuration)も可能である。
【0073】
ソフトウェアは、コンピュータプログラム(computer program)、コード(code)、命令(instruction)、またはこれらのうち一つ以上の組み合わせを含むことができ、望むとおりに動作するように処理装置を構成するか独立的にまたは結合的に(collectively)処理装置を命令することができる。ソフトウェアおよび/またはデータは、処理装置によって解析されるか処理装置に命令またはデータを提供するために、ある類型の機械、構成要素(component)、物理的装置、仮想装置(virtual equipment)、コンピュータ記録媒体または装置、或いは転送される信号波(signal wave)に永久的に、または一時的に具体化(embody)され得る。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散されて、分散された方法で保存されるか実行されてもよい。ソフトウェアおよびデータは一つ以上のコンピュータ可読記録媒体に保存され得る。
【0074】
実施例に係る方法は多様なコンピュータ手段を通じて遂行され得るプログラム命令の形態で具現されて、コンピュータ可読媒体に記録され得る。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、実施例のために特別に設計されて構成されたものであるかコンピュータソフトウェアの当業者に公知にされていて使用可能なものでもよい。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体(magnetic media)、CD−ROM、DVDのような光記録媒体(optical media)、フロプティカルディスク(floptical disk)のような磁気−光媒体(magneto−optical media)、およびロム(ROM)、ラム(RAM)、フラッシュメモリなどのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードを含む。前記ハードウェア装置は、実施例の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同じである。
【0075】
以上の説明は実施例に過ぎず、これによって限定されるものと解釈されてはならない。本発明の技術思想は特許請求の範囲に記載された発明によってのみ特定されるべきであり、それと同等の範囲内にあるすべての技術思想は本発明の権利範囲に含まれると解釈されるべきである。したがって、前述した実施例が多様な形態に変形されて具現され得るということは通常の技術者にとって自明である。
【産業上の利用可能性】
【0076】
本発明はメディアデータの保存や転送に関連した手続きや装置、放送産業などに有用に活用され得る。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15